(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-25
(45)【発行日】2024-12-03
(54)【発明の名称】制御装置、スピーカ装置および音声出力方法
(51)【国際特許分類】
H04R 3/00 20060101AFI20241126BHJP
H04R 1/00 20060101ALI20241126BHJP
G10K 11/178 20060101ALI20241126BHJP
【FI】
H04R3/00 310
H04R1/00 310
H04R1/00 318Z
G10K11/178
(21)【出願番号】P 2021543707
(86)(22)【出願日】2020-08-25
(86)【国際出願番号】 JP2020031969
(87)【国際公開番号】W WO2021044901
(87)【国際公開日】2021-03-11
【審査請求日】2023-07-06
(31)【優先権主張番号】P 2019160508
(32)【優先日】2019-09-03
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】110003339
【氏名又は名称】弁理士法人南青山国際特許事務所
(72)【発明者】
【氏名】竹田 裕史
(72)【発明者】
【氏名】錦織 修一郎
(72)【発明者】
【氏名】鈴木 志朗
(72)【発明者】
【氏名】渡邉 高弘
【審査官】堀 洋介
(56)【参考文献】
【文献】国際公開第2013/084958(WO,A1)
【文献】特開2010-258807(JP,A)
【文献】特表2009-513077(JP,A)
【文献】米国特許出願公開第2016/0073200(US,A1)
【文献】特開2014-239430(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04R 1/00- 1/02
H04R 3/00- 3/14
G10K 11/178
(57)【特許請求の範囲】
【請求項1】
触覚提示用の触覚信号に基づいて、触覚提示ユニットを駆動する触覚制御信号を生成する触覚制御部と、
第1の音声信号と、前記触覚信号を基に生成され前記触覚提示ユニットから発生する音声と逆位相の音声成分を含む第2の音声信号とに基づいて、音声出力ユニットを駆動する音声制御信号を生成する音声制御部と
、
前記触覚信号に基づいて前記第2の音声信号を生成するキャンセル信号生成部と
を具備
し、
前記キャンセル信号生成部は、前記音声出力ユニットの周波数特性と、前記触覚提示ユニットの周波数特性と、前記触覚提示ユニットで発生する振動から音への変換関数とに基づいて、前記第2の音声信号を生成する
制御装置。
【請求項2】
請求項1に記載の制御装置であって、
前記音声制御部は、前記第1の音声信号に前記第2の音声信号を加算することで前記音声制御信号を生成する
制御装置。
【請求項3】
請求項
1に記載の制御装置であって、
前記音声制御部は、前記第1の音声信号を再生する第1の音声出力ユニットを駆動する第1の信号を生成し、
前記キャンセル信号生成部は、前記第2の音声信号を再生する第2の音声出力ユニットを駆動する第2の信号を生成する
制御装置。
【請求項4】
触覚提示ユニットと、
音声出力ユニットと、
触覚提示用の触覚信号に基づいて、前記触覚提示ユニットを駆動する触覚制御信号を生成する触覚制御部と、
第1の音声信号と、前記触覚信号を基に生成され前記触覚提示ユニットから発生する音声と逆位相の音声成分を含む第2の音声信号とに基づいて、前記音声出力ユニットを駆動する音声制御信号を生成する音声制御部と
、
前記触覚信号に基づいて前記第2の音声信号を生成するキャンセル信号生成部と
を具備
し、
前記キャンセル信号生成部は、前記音声出力ユニットの周波数特性と、前記触覚提示ユニットの周波数特性と、前記触覚提示ユニットで発生する振動から音への変換関数とに基づいて、前記第2の音声信号を生成する
スピーカ装置。
【請求項5】
請求項
4に記載のスピーカ装置であって、
前記触覚信号および前記第1の音声信号を記憶する記憶部
をさらに具備する
スピーカ装置。
【請求項6】
請求項
4に記載のスピーカ装置であって、
前記触覚信号および前記第1の音声信号を記憶するサーバと通信可能な通信部をさらに具備する
スピーカ装置。
【請求項7】
請求項
4に記載のスピーカ装置であって、
前記音声出力ユニットは、前記第1の音声信号と前記第2の音声信号を再生する共通のスピーカユニットを有する
スピーカ装置。
【請求項8】
請求項
4に記載のスピーカ装置であって、
音声出力ユニットは、前記第1の音声信号を再生する第1のスピーカユニットと、前記第2の音声信号を再生する第2のスピーカユニットを有する
スピーカ装置。
【請求項9】
請求項
4に記載のスピーカ装置であって、
前記音声出力ユニットは、右スピーカと、左スピーカとを有し、
前記スピーカ装置は、前記右スピーカと前記左スピーカとを連結する首掛け用の連結体をさらに具備する
スピーカ装置。
【請求項10】
請求項
4に記載のスピーカ装置であって、
前記触覚提示ユニットは、振動デバイスを含む
スピーカ装置。
【請求項11】
請求項
4に記載のスピーカ装置であって、
前記触覚提示ユニットは、超音波発生装置、筋電気刺激装置、または空気砲発生装置を含む
スピーカ装置。
【請求項12】
触覚提示用の触覚信号と第1の音声信号を取得し、
前記触覚信号に基づいて、触覚提示ユニットを駆動する触覚制御信号を生成し、
前記触覚信号に基づいて前記触覚提示ユニットから発生する音声と逆位相の音声成分を含む第2の音声信号を生成し、
前記第1の音声信号と、前記第2の音声信号とに基づいて、音声出力ユニットを駆動する音声制御信号を生成する
音声出力方法
であって、
前記音声出力ユニットの周波数特性と、前記触覚提示ユニットの周波数特性と、前記触覚提示ユニットで発生する振動から音への変換関数とに基づいて、前記第2の音声信号を生成する
音声出力方法。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、触覚提示機能を有する音声出力装置を制御するための制御装置、スピーカ装置および音声出力方法に関する。
【背景技術】
【0002】
近年、触覚再生デバイスにより人間の皮膚などを介して触覚を刺激するアプリケーションが、様々な場面で利用されている。
そのための触覚再生デバイスに関しては、偏心モータ(ERM: Eccentric Rotating Mass)やリニアアクチュエータ(LRA: Linear Resonant Actuator)などが現在多く使用されており、それらは人間の触覚において感度の良い周波数(数100Hz程度)の共振周波数を持つデバイスが広く使用されている(例えば、特許文献1参照)。
【0003】
人間の触覚感度が高い周波数帯域が数100Hzであるため、振動再生デバイスにおいても、この数100Hzの帯域をターゲットにしたものが主流となっている。
その他の触覚再生デバイスには、触れている部分の摩擦係数を制御して所望の触覚を実現することを目的とした、静電気ディスプレイや弾性表面波ディスプレイが提案されている(例えば、特許文献2参照)。他にも収束させた超音波による音響放射圧を利用した空中超音波触覚ディスプレイや、触覚受容器に接続された神経や筋肉を電気的に刺激する電気触覚ディスプレイが提案されている。
【0004】
これらのデバイスを利用したアプリケーションとして、特に音楽リスニングにおいては、ヘッドフォン筐体に振動再生デバイスを組み込み、音楽を再生するのと同時に振動も再生することで、重低音を強調しているものがある。
またヘッドフォンの形態をとらず、首からスピーカをかける形で使用するウェアラブルスピーカが提案されている。これらがユーザの体に接することを利用して、スピーカから出力される音声とともに背面から振動をユーザに伝えるもの(例えば、特許文献3参照)や、スピーカ振動の背圧の共振を利用して振動をユーザに伝えるもの(例えば、特許文献4参照)がある。
【先行技術文献】
【特許文献】
【0005】
【文献】特開2016-202486号公報
【文献】特開2001-255993号公報
【文献】特開平10-200977号公報
【文献】特願2017-43602号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
触覚提示を行うヘッドフォンやウェアラブル(ネック)スピーカは、触覚提示のために備えられた振動子の振動、またはその他の触覚提示装置の駆動に伴うノイズがユーザの耳まで届き、音楽聴取を妨害することがある。ウェアラブルスピーカの構造により、ノイズが耳に届くのをある程度抑えることはできるが、例えば多彩な触覚を表現するために振動がより高周波の成分を含むようになれば、ヒトの耳にとってより感度が高い周波数のノイズが発生するようになる。
【0007】
以上のような事情に鑑み、触覚提示装置からのノイズを低減することができる制御装置、スピーカ装置および音声出力方法を提供することにある。
【課題を解決するための手段】
【0008】
本技術の一形態に係る制御装置は、触覚制御部と音声制御部とを具備する。
前記触覚制御部は、触覚提示用の触覚信号に基づいて、触覚提示ユニットを駆動する触覚制御信号を生成する。
前記音声制御部は、第1の音声信号と、前記触覚信号を基に生成され前記触覚提示ユニットから発生する音声と逆位相の音声成分を含む第2の音声信号とに基づいて、音声出力ユニットを駆動する音声制御信号を生成する。
【0009】
前記音声制御部は、前記第1の音声信号に前記第2の音声信号を加算することで前記音声制御信号を生成してもよい。
【0010】
前記触覚信号に基づいて前記第2の音声信号を生成するキャンセル信号生成部を、さらに具備してもよい。
【0011】
前記音声制御部は、前記第1の音声信号を再生する第1の音声出力ユニットを駆動する第1の信号を生成し、前記キャンセル信号生成部は、前記第2の音声信号を再生する第2の音声出力ユニットを駆動する第2の信号を生成してもよい。
【0012】
前記キャンセル信号生成部は、前記音声出力ユニットの周波数特性と、前記触覚提示ユニットの周波数特性と、前記触覚提示ユニットで発生する振動から音への変換関数とに基づいて、前記第2の音声信号を生成してもよい。
【0013】
本技術の一形態に係るスピーカ装置は、触覚提示ユニットと、音声出力ユニットと、触覚制御部と、音声制御部とを具備する。
前記触覚制御部は、触覚提示用の触覚信号に基づいて、前記触覚提示ユニットを駆動する触覚制御信号を生成する。
前記音声制御部は、第1の音声信号と、前記触覚信号を基に生成され前記触覚提示ユニットから発生する音声と逆位相の音声成分を含む第2の音声信号とに基づいて、前記音声出力ユニットを駆動する音声制御信号を生成する。
【0014】
前記触覚信号および前記第1の音声信号を記憶する記憶部をさらに備えてもよい。
【0015】
前記触覚信号および前記第1の音声信号を記憶するサーバと通信可能な通信部をさらに備えてもよい。
【0016】
前記音声出力ユニットは、前記第1の音声信号と前記第2の音声信号を再生する共通のスピーカユニットを有してもよい。
【0017】
前記音声出力ユニットは、前記第1の音声信号を再生する第1のスピーカユニットと、前記第2の音声信号を再生する第2のスピーカユニットを有してもよい。
【0018】
前記音声出力ユニットは、右スピーカと、左スピーカとを有し、
前記スピーカ装置は、前記右スピーカと前記左スピーカとを連結する首掛け用の連結体をさらに備えてもよい。
【0019】
前記触覚提示ユニットは、振動デバイスを含んでもよい。
【0020】
あるいは、前記触覚提示ユニットは、超音波発生装置、筋電気刺激装置、または空気砲発生装置を含んでもよい。
【0021】
本技術の一形態に係る音声出力方法は、触覚提示用の触覚信号と第1の音声信号を取得する。前記触覚信号に基づいて、触覚提示ユニットを駆動する触覚制御信号を生成する。前記触覚信号に基づいて前記触覚提示ユニットから発生する音声と逆位相の音声成分を含む第2の音声信号を生成する。前記第1の音声信号と、前記第2の音声信号とに基づいて、音声出力ユニットを駆動する音声制御信号を生成する。
【図面の簡単な説明】
【0022】
【
図1】本技術の第1の実施形態におけるスピーカ装置の斜視図である。
【
図2】上記スピーカ装置がユーザにマウントされた様子を示す斜視図である。
【
図3】上記スピーカ装置の要部の模式的な断面図である。
【
図4】上記スピーカ装置の一構成例を示すブロック図である。
【
図5】音声信号および振動信号が、ユーザの耳および皮膚に音および振動として伝達されるフローである。
【
図7】ノイズキャンセルの基本原理を示したイメージ図である。
【
図8】触覚提示用の振動信号からキャンセル信号を生成する処理手順を示すフローである。
【
図9】本技術の第2の実施形態におけるスピーカ装置を示すブロック図である。
【
図10】触覚提示用の振動信号から、ノイズが発生する様子を示す図である。
【
図11】本技術の第3の実施形態におけるスピーカ装置を示すブロック図である。
【発明を実施するための形態】
【0023】
以下、本技術に係る各実施形態を、図面を参照しながら説明する。
【0024】
<第1の実施形態>
(スピーカ装置の基本構成)
図1は、本技術の一実施形態におけるスピーカ装置の一構成例を示す斜視図である。このスピーカ装置(音声出力装置)100は、音声と同時にユーザUにアクティブに触覚(振動など)を提示する機能を有する。
図2に示されるように、スピーカ装置100は、例えばユーザUの両肩に載置されるウェアラブルスピーカである。
【0025】
スピーカ装置100は、右スピーカ100Rと、左スピーカ100Lと、右スピーカ100Rと左スピーカ100Lとを連結する連結体100Cとを備える。連結体100Cは、ユーザUの首に掛けることが可能な任意の形状に形成され、右スピーカ100Rおよび左スピーカ100LをユーザUの両肩あるいは胸部上方に位置させる。
【0026】
図3は、
図1および
図2のスピーカ装置100の右スピーカ100Rおよび左スピーカ100Lの要部の模式的な断面図である。右スピーカ100Rおよび左スピーカ100Lは、典型的には、左右で対称な構造を有する。なお、
図3はあくまでも模式図であるため、
図1および
図2に示したスピーカの形状や寸法比率に必ずしも対応していない。
【0027】
右スピーカ100Rおよび左スピーカ100Lは、例えば、音声出力ユニット250と、触覚提示ユニット251と、これらを収容する筐体254とを備える。右スピーカ100Rおよび左スピーカ100Lは、典型的には、音声信号をステレオ方式で再生する。再生音は、典型的には、楽曲、会話、効果音など、再生可能な音声あるいは音響であれば特に限定されない。
【0028】
音声出力ユニット250は、電気音響変換型のダイナミックスピーカである。音声出力ユニット250は、振動板250aと、振動板250aの中心部に巻回されたボイスコイル250bと、振動板250aを筐体254に保持する固定リング250cと、振動板250aに対向配置されたマグネットアセンブリ250dとを備える。ボイスコイル250bは、マグネットアセンブリ250dにおいて発生する磁束の方向に対して垂直に配置される。ボイスコイル250bに音声信号(交流電流)が供給されると、ボイスコイル250bに作用する電磁力によって振動板250aが振動する。振動板250aが音声信号の信号波形に合わせて振動することで、再生音波が発生する。
【0029】
触覚提示ユニット251は、偏心モータ(ERM)やリニアアクチュエータ(LRA)、圧電素子などの触覚振動を発生させることが可能な振動デバイス(振動子)を含む。触覚提示ユニット251は、再生信号とは別に用意された触覚提示用の触覚信号が入力されることで駆動される。振動の振幅、周波数も特に限定されない。触覚提示ユニット251は単一の振動デバイスで構成される場合に限られず、複数の振動デバイスで構成されてもよい。この場合、複数の振動デバイスは同時に駆動されてもよいし、別個に駆動されてもよい。
【0030】
筐体254は、音声出力ユニット250の振動板250aと対向する面に、音声出力(再生音)を外部に通すための開口部(導音口)254aを有する。開口部254aは、
図1に示すように筐体254の長手方向に沿うように直線状に形成されるが、これに限られず、複数の貫通孔などで構成されてもよい。
【0031】
触覚提示ユニット251は、例えば、筐体254の開口部254aと反対側の内面に配置される。触覚提示ユニット251は、筐体254を介して触覚振動をユーザへ提示する。触覚振動の伝達性を高めるため、筐体254の一部が剛性の比較的低い材料で構成されてもよい。筐体254の形状は図示する形状に限られず、円板型、直方体型などの適宜の形状が採用可能である。
【0032】
続いて、スピーカ装置100の制御系について説明する。
図4は、本実施形態において適用されるスピーカ装置の一構成例を示すブロック図である。
【0033】
スピーカ装置100は、右スピーカ100Rおよび左スピーカ100Lの音声出力ユニット250ならびに触覚提示ユニット251の駆動を制御する制御装置1を備える。制御装置1および後述するその他の要素は、右スピーカ100Rまたは左スピーカ100Lの筐体254に内蔵される。あるいは、制御装置1は、右スピーカ100Rおよび左スピーカ100Lと有線または無線で接続された外部機器として構成されてもよい。
【0034】
図3に示すように、制御装置1は、音声制御部13、触覚制御部14およびキャンセル信号生成部17を有する。
制御装置1は、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)等のコンピュータに用いられるハードウェア要素および必要なソフトウェアにより実現され得る。CPUに代えて、またはこれに加えて、FPGA(Field Programmable Gate Array)等のPLD(Programmable Logic Device)、あるいは、DSP(Digital Signal Processor)、その他ASIC(Application Specific Integrated Circuit)等が用いられてもよい。制御装置1は、所定のプログラムを実行することで、機能ブロックとしての音声制御部13、触覚制御部14およびキャンセル信号生成部17が構成される。
【0035】
スピーカ装置100は、その他のハードウェアとして、ストレージ(記憶部)11、復号部12、音声出力部15、触覚出力部16および通信部18を備える。
【0036】
触覚制御部14は、触覚提示用の触覚信号に基づいて、触覚出力部16を駆動する触覚制御信号を生成する。触覚信号は、後述するように、ストレージ11あるいはクラウドサーバ等の外部のサーバ装置50に格納された触覚提示用のデータ(触覚データ)である。触覚出力部16は、
図3に示した触覚提示ユニット251を含む。
【0037】
音声制御部13は、第1の音声信号と第2の音声信号とに基づいて、音声出力部15を駆動する音声制御信号を生成する。本実施形態において音声制御部13は、第1の音声信号に第2の音声信号を加算することで音声制御信号を生成する。
【0038】
ここで、第1の音声信号は、楽曲その他の音声信号である。第2の音声信号は、触覚信号を基に生成され、触覚出力部16から発生する音声と逆位相の音声成分を含む音声信号である。第1の音声信号は、ストレージ11あるいはサーバ装置50に格納された音声再生用のデータ(音声データ)である。また、第2の音声信号は、触覚出力部16の駆動時に発生する音声をキャンセルするためのキャンセル信号に相当し、キャンセル信号生成部17により生成される。
【0039】
キャンセル信号生成部17は、触覚信号に基づいて上記第2の音声信号を生成することが可能に構成される。触覚信号は、ストレージ11あるいはサーバ装置50に格納された触覚提示用のデータ(振動データ)である。本実施形態では、第2の音声信号がキャンセル信号生成部17において生成されるように構成されるが、これに限られず、第2の音声信号が第1の音声信号および触覚信号とともにストレージ11やサーバ装置50に格納されてもよい。
【0040】
ストレージ11は、第1の音声信号および触覚信号を記憶することが可能な不揮発性半導体メモリ等の記憶装置である。本実施形態において第1の音声信号および触覚信号は、適宜符号化されたデジタルデータとしてストレージ11に記憶される。
【0041】
復号部12は、ストレージ11に格納された第1の音声信号および触覚信号を復号する。復号部12は、制御装置1の一部の機能ブロックとして構成されてもよい。
【0042】
通信部18は、ネットワーク10に有線または無線で接続可能な通信モジュールで構成される。通信部18は、ネットワーク10を介してサーバ装置50と通信可能であり、サーバ装置50に格納された第1の音声信号および触覚信号を取得可能に構成される。
【0043】
音声出力部15は、例えば
図3に示した右スピーカ100Rおよび左スピーカ100Lの音声出力ユニット250を含む。
触覚出力部16は、例えば
図3に示した触覚提示ユニット251を含む。
【0044】
(スピーカ装置の動作)
次に、以上のように構成されるスピーカ装置100の典型的な動作について説明する。
【0045】
制御装置1は、サーバ装置50からの受信、または、ストレージ11からの読み出しにより、音声および触覚を出力するためのデジタル信号(第1の音声信号および触覚信号)を取得する。
【0046】
次に、復号部12が、取得したデータに対して適切な復号処理を施すことで、音声データ(第1の音声信号)および触覚データ(触覚信号)を取り出し、それぞれを音声制御部13および触覚制御部14に入力する。
【0047】
音声制御部13および触覚制御部14は、入力されたデータに対する種々の処理を行う。音声制御部13の出力(音声制御信号)は音声出力部15へ入力され、触覚制御部14の出力(触覚制御信号)は触覚出力部16へ入力される。音声出力部15および触覚出力部16は、それぞれD/A変換器、信号増幅器および再生装置(音声出力ユニット250、触覚提示ユニット251に相当)を含む。D/A変換器および信号増幅器は、音声制御部13および触覚制御部14に含められてもよい。信号増幅器は、ユーザUによって調整されるボリューム調整部を含んでもよい。
【0048】
触覚制御部14は、触覚データをキャンセル信号生成部17に送信する。キャンセル信号生成部17は、触覚出力部16から出力されるノイズをキャンセルするキャンセル信号(第2の音声信号)を生成して、音声制御部13へ送信する。キャンセル信号は、触覚データを基に生成され触覚出力部16から発生する音声(ノイズ)と逆位相の音声成分を含む。キャンセル信号の生成方法の詳細については後述する。
【0049】
触覚制御部14は、入力される触覚データに基づいて、触覚出力部16を駆動する触覚制御信号を生成する。音声制御部13は、入力される音声データとキャンセル信号とに基づいて、音声出力部15を駆動する音声制御信号を生成する。これにより、音声出力部15からは、触覚出力部16から発生する音声(ノイズ)を打ち消すための音声成分を含んだ再生音が出力される。
【0050】
(ノイズキャンセルの原理)
次に、キャンセル信号生成部17において生成されるキャンセル信号について説明する。ここでは、音声信号と、触覚を提示するための振動信号とを含むコンテンツを、アクティブに駆動可能な触覚提示用の振動子を備えた振動スピーカで再生し、振動付きの音楽を聴く場合について説明する。
【0051】
振動スピーカからユーザの体(皮膚)に伝達される振動は、振動信号によって駆動された振動子から出力されたものになる。その一方で、振動スピーカからユーザの耳に伝わる音は、音声信号によって駆動されたスピーカからのものだけでなく、振動信号によって駆動された振動子の振動が音へ変わったものとの、和となる。このスピーカからの音に足し合わされた、振動から音へ変換された成分が、しばしばノイズとしてユーザの音楽体験を妨げる。
【0052】
図5は、ノイズキャンセル機能を備えていないスピーカ装置の動作の説明図である。ここでは、音声信号と振動信号が音と振動に変換されてユーザの耳と皮膚に伝わる流れを示す。
図5に示すように、例えば、音声信号f
1のフーリエ変換F
1に対し、スピーカ部20から出力される音Yは、スピーカ部20の周波数特性H
1を掛け算した信号となる(以降、特に明示しない限り、信号はフーリエ変換されたものとして記述する)。
【0053】
その一方で、振動信号f2のフーリエ変換F2に対して、振動子21から出力される振動Zは、振動子21の周波数特性H2を掛け算した信号となり、これが皮膚に振動Zとして伝わる。さらに振動子21からは、振動から音への変換(変換関数H3)がかかった音が発生してユーザの耳に伝達される。
よってユーザUの耳に届く音Yは、
Y = H1 F1 + H3 H2 F2
となる。
【0054】
スピーカ部20の周波数特性H1は、例えばスピーカ部20そのものの周波数特性、または、この周波数特性に、スピーカ部20の前段に設けられた信号増幅器のゲインなどを掛け合わせたものである。
振動子21の周波数特性H2も、スピーカ部20の周波数特性H1と同様に定義される。振動から音への変換関数H3は、例えば振動子21の機械的な構造や配置に基づく関数(特性)として定義される。
【0055】
一方、
図6は、ノイズキャンセル機能を備えた本実施形態のスピーカ装置100の動作の説明図である。
図6に示すように、触覚制御部14から出力された振動信号F
2は、キャンセル信号生成部17に送信され、キャンセル信号生成部17においてキャンセル信号F
3が生成されて音声制御部13に送信される。キャンセル信号F
3は、上述した各特性H
1、H
2、H
3を用いて生成される。ここで、各特性H
1、H
2、H
3は公知の特性であれば既知の値としてもよく、また、出荷前テストとしてスピーカ装置100毎に事前の測定により特定された値でもよい。
【0056】
キャンセル信号F3を受け取った音声制御部13は、音声信号F1にキャンセル信号F3を加算し、スピーカ部20(音声出力部15)へ送信し、スピーカ部20において音声出力される。キャンセル信号F3は、ユーザUの耳に届く音のうち振動子21から発生する音のみをキャンセルするように生成される。その結果、ユーザUは、振動子21(触覚出力部16)から出力される振動Zをそのまま感知し、振動子21から発生するノイズ音がキャンセルされた音声を聞くことができる。
【0057】
図7においてキャンセル信号によるノイズキャンセルの基本原理について説明する。ユーザUに知覚させたくないノイズ40に対し、キャンセル信号41は、ノイズ40とキャンセル信号41とを足し合わせた信号42が最も小さくなるように生成される。このようなキャンセル信号41は、ノイズ40の波形と同一の振幅で逆位相の音声を発生させる信号が典型である。キャンセル信号41は、例えばdB単位で設定される。
【0058】
(ノイズキャンセルの具体例)
以下、音声ノイズをキャンセルするための処理について具体的に説明する。
キャンセル信号F3は、スピーカ部20から出力されたときに、振動子21からの音声ノイズに対して逆位相の音になっていることが望ましい。
よって、キャンセル信号F3を振動信号F2から生成するには、振動子21自体の周波数特性H2と、振動子21の振動から音への変換関数H3とを考慮して、振動子21から発生する音(H3 H2 F2)を推定し、スピーカ部20の周波数特性H1をさらに割引けばよい。
【0059】
これにより生成されるキャンセル信号F3を数式で表現すると、G1 H3 H2 F2となる。ここで、G1はスピーカ部20の周波数特性H1の特性を割引くことのできる逆特性をもった周波数特性である。
このキャンセル信号F3の算出は、各特性H1、H2およびH3の情報が必須であるため、これらは事前に測定しておく必要がある。この測定方法には、音響機器の特性同定方法を始めたとした既知の方法が用いられる。
【0060】
また、振動から音への変換関数H3は、このスピーカ装置100がユーザUに装着された場合を想定して、マネキンや被験者などにスピーカ装置100を装着した状態で測定されることが望ましい。
このキャンセル信号F3の算出処理は、例えばフーリエ変換した各周波数特性G1、H3、H2、F2の掛け算によって実現することができる。あるいは振動信号F2と、周波数特性G1、H3、H2の逆フーリエ変換とによって、つまり各システムのインパルス応答g1、h3、h2の畳み込みによっても実現できる。また、ハードウェアとしてキャンセル信号生成部17に特性(-G1 H3 H2)を有するフィルタを実装することでも実現できる。
【0061】
マイクを備えた振動スピーカによって振動子からの音をマイクでセンシングし、そのセンシング信号をキャンセル信号として利用する技術(ANC:Active Noise Control)も知られているが、本実施形態では、そのようなマイクを使用しない、触覚出力部16への入力である振動信号を利用したフィードフォワード制御によって、精度の高いノイズキャンセル機能を実現することができる。これは、スピーカ装置100においては触覚出力部16からのノイズをユーザUの耳に届きにくいように封じ込めるような構造上の工夫が可能であること、また、キャンセルしたいノイズがランダムな環境ノイズとは異なり、事前に測定された触覚出力部16からの音声ノイズであるため、ある程度は予測可能であること、などに由来する。
【0062】
このため、本実施形態のスピーカ装置100によれば、ノイズセンシング用のマイクを必要としないため、装置構成の簡素化あるいは小型化を図ることができる。また、ネットワーク10やストレージ11からバッファリングされている出力前の振動信号を利用することで、フィードフォワード制御としてノイズを全く遅延無くキャンセルすることが可能である。
【0063】
本実施形態のスピーカ装置100は、触覚出力部16が音声出力部15とは別ユニットとして構成されているため、触覚出力部16の設計の自由度が高まり、多様な触覚振動をユーザへ提示することができる。しかも、触覚出力部16の駆動に同期してキャンセル信号F3が再生されるため、触覚出力部16の駆動に伴うノイズを効果的に除去することができる。さらに、音声出力部15からの出力音声と異なるタイミング、または音声以上の広帯域で触覚を提示するようなコンテンツも再生可能である。
【0064】
スピーカ装置100には感度調整として、キャンセル信号の最大値を設定する単一のリミッタまたは弱・中・強などの複数のリミッタが、例えばdB単位で音声出力部15に設けられてもよい。これにより、ユーザU自身がノイズキャンセリングのレベルを選択することが可能となる。
【0065】
既知の振動子21の周波数特性H
2、振動から音への変換関数H
3、およびスピーカ部20の周波数特性H
1を用いて、振動信号F
2からキャンセル信号を生成するキャンセル信号生成部17および音声制御部13の処理のフローを
図8に示す。ここでは一例として、キャンセル信号は、周波数特性(-G
1 H
3 H
2)を有するフィルタを用いた、デジタル信号処理によって生成される。
【0066】
図8に示すように、まずステップS101において、キャンセル信号生成部17は、触覚制御部14から再生すべき振動信号f
2を取得する。次にステップS102において、キャンセル信号生成部17は、振動信号f
2に対して予め測定記録された係数(-G
1 H
3 H
2)の周波数特性を持つデジタルフィルタを適用する。これにより、キャンセル信号f
3(第2の音声信号)が生成される。
【0067】
音声制御部13は、このキャンセル信号f3を、音声信号f1(第1の音声信号)に加算することで、音声出力部15を駆動する音声制御信号を生成する。このとき、再生時に音声信号f1および振動信号f2のそれぞれにかけられる増幅率が考慮されてもよい。例えば音声信号f1をa1倍、そして振動信号f2をa2倍に増幅し、それぞれをスピーカ部20および振動子21から出力する場合、キャンセル信号生成部17は、これらの倍率の情報を音声制御部13および触覚制御部14から受け取り、ステップS103においてキャンセル信号f3に、これらの倍率比(a2/a1)を乗算する。
【0068】
その後ステップS104において、音声制御部13は、上記倍率比が乗算されたキャンセル信号(f3×(a2/a1))を音信号f1に加算することで、上記音声制御信号を生成する。これにより、ユーザUにとってノイズが知覚されない音Yが音声出力部15から出力される。
【0069】
以上の説明では、触覚出力部16における触覚提示デバイス(触覚提示ユニット251)として振動子21を例に挙げて説明したが、振動子以外の他の触覚提示デバイス(例えば、空中超音波発生装置、筋電気刺激装置、空気砲発生装置など)にも同様に適用可能である。
【0070】
<第2の実施形態>
続いて、本技術の第2の実施形態について説明する。
【0071】
上述の第1の実施形態において、音声出力部15(音声出力ユニット250)は、音声信号(第1の音声信号)とキャンセル信号(第2の音声信号)が共通のスピーカユニット(スピーカ部20)で再生されるように構成された。これに対して本実施形態では、音声信号(第1の音声信号)とキャンセル信号(第2の音声信号)がそれぞれ別々のスピーカで再生されるように構成される。
【0072】
図9は、本技術の第2の実施形態におけるスピーカ装置200の動作の説明図である。本実施形態のスピーカ装置200は、第1の信号としての音声信号F
1を再生するスピーカ部20(第1の音声出力ユニット、第1のスピーカ)に加えて、第2の信号としてのキャンセル信号F
3を再生するスピーカ部22(第2の音声出力ユニット、第2のスピーカ)をさらに有する。
【0073】
本実施形態において、キャンセル信号生成部27は、スピーカ部22からキャンセル信号F3を再生させるための制御信号をスピーカ部22へ出力する。キャンセル信号F3は、スピーカ部22の周波数特性H4を割引くことができる逆特性をもった主波数特性をG4とすると、(-G4 H3 H2 F2)の式で表される。これにより、スピーカ部20から出力される音声信号F1の再生音とスピーカ部22から出力されるキャンセル信号F3の再生音との合成音がユーザUへ提示されることになる結果、振動子21からの音をキャンセルすることができる。
【0074】
本実施形態においても上述の第1の実施形態と同様の作用効果を得ることができる。特に本実施形態によれば、音声信号F1を再生するスピーカ部20と異なる仕様でキャンセル信号F3を再生するスピーカ部22を構成できるため、各スピーカ部20,22の設計の自由度を高めることができる。
【0075】
<第3の実施形態>
上述の各実施形態では、触覚出力部16が振動デバイス(振動子21)である場合を例に挙げて説明したが、本実施形態では、触覚出力部16が振動デバイス以外の触覚提示デバイスである場合について説明する。
【0076】
振動デバイス以外の触覚提示デバイスとしては、例えばダイヤフラムの駆動によりユーザUに向けて空気流を飛ばすもの(空気砲発生装置)、ユーザUの体に焦点を合わせた超音波アレイで音響放射圧を与えるもの(超音波発生装置)、電気刺激によりユーザUの触覚受容器や筋肉を直接刺激するもの(筋電気刺激装置)などが挙げられる。換言すると、触覚提示デバイスとしては、振動に伴って直接皮膚を振動させることを目的としていない他のものであってもよい。
【0077】
これらの触覚提示デバイスにおいても、多くの場合その駆動に伴ってノイズ音が発生し、音楽聴取を妨げる可能性がある。よって各装置の特性を用いてキャンセル信号を生成してスピーカから出力することで、そのノイズ音がキャンセルされる。触覚提示デバイスの駆動から音への変換関数は、
図10に示すように、一例として、振動デバイスと同様に特定の周波数特性を有する関数H
5である場合が挙げられ、他の例では、駆動している区間(期間)において常に一定の振幅及び周波数の信号を出力する非線形関数H
6である場合が挙げられる。変換関数がH
5の場合、振動信号f
2から、
図10上に示す態様の音声ノイズ70が発生し、変換係数がH
6の場合、信号f
2から、
図10下に示す音声ノイズ71が発生する。音声ノイズの振る舞いが大きく異なる場合があるものの、ノイズキャンセル処理のフロー及び原理は、
図6および
図7と同様である。
【0078】
図11は、本実施形態におけるスピーカ装置300の動作の説明図である。図において第1の実施形態(
図6)と対応する部分については同一の符号を付し、その詳細な説明は省略する。
【0079】
図11において、触覚提示装置80は、振動デバイス以外の触覚提示デバイスを含む。ここでは、触覚提示装置80の駆動から音への変換関数をH
6、触覚提示装置が有する周波数特性をH
7とすると、キャンセル信号生成部17は、(-G
1 H
6 H
7 F
2)の式で表される特性を有するキャンセル信号F
3を生成する。これにより、ユーザUにとってノイズが知覚されない音Yがスピーカ部20(音声出力部15)から出力される。
【0080】
<変形例>
例えば以上の各実施形態では、スピーカ装置として、ユーザの首に掛けて使用されるウェアラブルスピーカ装置を例に挙げて説明したが、これに限られず、ユーザの頭部に装着されるヘッドフォンやイヤフォンにも本技術は適用可能である。この場合、触覚提示ユニットは、スピーカ装置とは別の機器として構成されてもよい。この場合、触覚提示ユニットを任意の位置に配置できるため、ユーザの身体の所望の位置へ触覚を提示することができる。
【0081】
なお、本技術は以下のような構成もとることができる。
(1)触覚提示用の触覚信号に基づいて、触覚提示ユニットを駆動する触覚制御信号を生成する触覚制御部と、
第1の音声信号と、前記触覚信号を基に生成され前記触覚提示ユニットから発生する音声と逆位相の音声成分を含む第2の音声信号とに基づいて、音声出力ユニットを駆動する音声制御信号を生成する音声制御部と
を具備する制御装置。
(2)上記(1)に記載の制御装置であって、
前記音声制御部は、前記第1の音声信号に前記第2の音声信号を加算することで前記音声制御信号を生成する
制御装置。
(3)上記(1)又は(2)に記載の制御装置であって、
前記触覚信号に基づいて前記第2の音声信号を生成するキャンセル信号生成部を、さらに具備する
制御装置。
(4)上記(3)に記載の制御装置であって、
前記音声制御部は、前記第1の音声信号を再生する第1の音声出力ユニットを駆動する第1の信号を生成し、
前記キャンセル信号生成部は、前記第2の音声信号を再生する第2の音声出力ユニットを駆動する第2の信号を生成する
制御装置。
(5)上記(3)又は(4)に記載の制御装置であって、
前記キャンセル信号生成部は、前記音声出力ユニットの周波数特性と、前記触覚提示ユニットの周波数特性と、前記触覚提示ユニットで発生する振動から音への変換関数とに基づいて、前記第2の音声信号を生成する
制御装置。
(6)触覚提示ユニットと、
音声出力ユニットと、
触覚提示用の触覚信号に基づいて、前記触覚提示ユニットを駆動する触覚制御信号を生成する触覚制御部と、
第1の音声信号と、前記触覚信号を基に生成され前記触覚提示ユニットから発生する音声と逆位相の音声成分を含む第2の音声信号とに基づいて、前記音声出力ユニットを駆動する音声制御信号を生成する音声制御部と
を具備するスピーカ装置。
(7)上記(6)に記載のスピーカ装置であって、
前記触覚信号および前記第1の音声信号を記憶する記憶部
をさらに具備する
スピーカ装置。
(8)上記(6)または(7)に記載のスピーカ装置であって、
前記触覚信号および前記第1の音声信号を記憶するサーバと通信可能な通信部をさらに備える
スピーカ装置。
(9)上記(6)~(8)のいずれか1つに記載のスピーカ装置であって、
前記音声出力ユニットは、前記第1の音声信号と前記第2の音声信号を再生する共通のスピーカユニットを有する
スピーカ装置。
(10)上記(6)~(8)のいずれか1つに記載のスピーカ装置であって、
音声出力ユニットは、前記第1の音声信号を再生する第1のスピーカユニットと、前記第2の音声信号を再生する第2のスピーカユニットを有する
スピーカ装置。
(11)上記(6)~(10)のいずれか1つに記載のスピーカ装置であって、
前記音声出力ユニットは、右スピーカと、左スピーカとを有し、
前記スピーカ装置は、前記右スピーカと前記左スピーカとを連結する首掛け用の連結体をさらに具備する
スピーカ装置。
(12)上記(6)~(11)のいずれか1つに記載のスピーカ装置であって、
前記触覚提示ユニットは、振動デバイスを含む
スピーカ装置。
(13)上記(6)~(11)のいずれか1つに記載のスピーカ装置であって、
前記触覚提示ユニットは、空中超音波、筋電、または空気砲を含む
スピーカ装置。
(14)触覚提示用の触覚信号と第1の音声信号を取得し、
前記触覚信号に基づいて、触覚提示ユニットを駆動する触覚制御信号を生成し、
前記触覚信号に基づいて前記触覚提示ユニットから発生する音声と逆位相の音声成分を含む第2の音声信号を生成し、
前記第1の音声信号と、前記第2の音声信号とに基づいて、音声出力ユニットを駆動する音声制御信号を生成する
音声出力方法。
【符号の説明】
【0082】
1…制御装置
10…外部ネットワーク
11…ストレージ
12…復号部
13…音声制御部
14…触覚制御部
15…音声出力部
16…触覚出力部
17、27…キャンセル信号生成部
20、22…スピーカ部
21…振動子
80…触覚提示装置
100,200,300…スピーカ装置
100C…連結体
100L…左スピーカ
100R…右スピーカ