IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ パナソニックIPマネジメント株式会社の特許一覧

<>
  • 特開-音響制御システムおよび音響制御方法 図1
  • 特開-音響制御システムおよび音響制御方法 図2
  • 特開-音響制御システムおよび音響制御方法 図3
  • 特開-音響制御システムおよび音響制御方法 図4
  • 特開-音響制御システムおよび音響制御方法 図5
  • 特開-音響制御システムおよび音響制御方法 図6
  • 特開-音響制御システムおよび音響制御方法 図7
  • 特開-音響制御システムおよび音響制御方法 図8
  • 特開-音響制御システムおよび音響制御方法 図9
  • 特開-音響制御システムおよび音響制御方法 図10
  • 特開-音響制御システムおよび音響制御方法 図11
  • 特開-音響制御システムおよび音響制御方法 図12
  • 特開-音響制御システムおよび音響制御方法 図13
  • 特開-音響制御システムおよび音響制御方法 図14
  • 特開-音響制御システムおよび音響制御方法 図15
  • 特開-音響制御システムおよび音響制御方法 図16
  • 特開-音響制御システムおよび音響制御方法 図17
  • 特開-音響制御システムおよび音響制御方法 図18
  • 特開-音響制御システムおよび音響制御方法 図19
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023091448
(43)【公開日】2023-06-30
(54)【発明の名称】音響制御システムおよび音響制御方法
(51)【国際特許分類】
   H04R 5/033 20060101AFI20230623BHJP
   H04R 1/10 20060101ALI20230623BHJP
   H04R 3/00 20060101ALI20230623BHJP
【FI】
H04R5/033 C
H04R1/10 104Z
H04R3/00 320
【審査請求】未請求
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2021206199
(22)【出願日】2021-12-20
(71)【出願人】
【識別番号】314012076
【氏名又は名称】パナソニックIPマネジメント株式会社
(74)【代理人】
【識別番号】110002000
【氏名又は名称】弁理士法人栄光事務所
(72)【発明者】
【氏名】山本 雅巳
【テーマコード(参考)】
5D005
5D220
【Fターム(参考)】
5D005BA13
5D220BA04
5D220BC05
(57)【要約】
【課題】ユーザが装着時に自ら発した音声が耳の中でこもるような違和感を持つことを抑制し、ユーザの利便性の向上を図る。
【解決手段】音響制御システムは、ユーザの左耳および右耳のそれぞれに装着される2つのイヤフォンと、ユーザにより携帯されるスマートフォンと、を備える。スマートフォンは、TSP信号を音響的に出力するスピーカ部と、TSP信号がスピーカ部から出力された際に2つのイヤフォンのそれぞれから送られた、外部マイクからの周囲音信号の音響特性および骨伝導センサからの音声信号の音響特性に基づいて、2つの音響パラメータを導出するプロセッサ部と、有する。
【選択図】図7
【特許請求の範囲】
【請求項1】
ユーザの左耳および右耳のそれぞれに装着される2つのイヤフォンと、
前記ユーザにより携帯される無線端末と、を備え、
それぞれの前記イヤフォンは、
前記ユーザの周囲音信号を検知する第1マイクと、
前記ユーザの発話に基づく音声信号を検知する第2マイクと、
前記第1マイクにより検知された前記周囲音信号あるいは前記第2マイクにより検知された前記音声信号の音響特性を調整する音響フィルタと、
前記無線端末との間で無線を介したデータ通信を行う第1通信デバイスと、を少なくとも有し、
前記無線端末は、
2つの前記イヤフォンとの間で無線を介したデータ通信を行う第2通信デバイスと、
所定信号を音響的に出力するスピーカと、
前記所定信号が前記スピーカから出力された際に2つの前記イヤフォンのそれぞれから送られた、前記第1マイクからの前記周囲音信号の音響特性および前記第2マイクからの前記音声信号の音響特性に基づいて、2つの音響パラメータを導出する信号処理部と、を少なくとも有し、
前記信号処理部は、
前記2つの音響パラメータの導出結果に基づいて、2つの前記イヤフォンのそれぞれの前記音響フィルタのパラメータ調整を2つの前記イヤフォンのそれぞれに指示する、
音響制御システム。
【請求項2】
前記無線端末は、ディスプレイをさらに有し、前記2つの音響パラメータの導出結果をグラフ形式で前記ディスプレイに表示する、
請求項1に記載の音響制御システム。
【請求項3】
前記2つの音響パラメータは、ITD(Interaural Time Difference)およびIID(Interaural Intensity Difference)である、
請求項1に記載の音響制御システム。
【請求項4】
前記無線端末は、
前記無線端末の本体が前記ユーザから見て右斜め前方に保持された状態で前記所定信号が出力された際、前記右耳側の前記イヤフォンの前記第1マイクからの前記周囲音信号、前記右耳側の前記イヤフォンの前記第2マイクからの前記音声信号、および前記左耳側の前記イヤフォンの前記第2マイクからの前記音声信号を用いて前記2つの音響パラメータを導出し、
前記無線端末の本体が前記ユーザから見て左斜め前方に保持された状態で前記所定信号が出力された際、前記左耳側の前記イヤフォンの前記第1マイクからの前記周囲音信号、前記左耳側の前記イヤフォンの前記第2マイクからの前記音声信号、および前記右耳側の前記イヤフォンの前記第2マイクからの前記音声信号を用いて前記2つの音響パラメータを導出する、
請求項1に記載の音響制御システム。
【請求項5】
前記無線端末は、前記2つの音響パラメータの導出に関する、前記ユーザのアクションあるいは選択を促すためのガイダンス情報を前記ディスプレイに表示する、
請求項2に記載の音響制御システム。
【請求項6】
前記無線端末は、前記ユーザの少なくとも性別および年齢に対応した前記2つの音響パラメータごとの調整値を規定するデータベースをさらに有し、その調整値が得られるように2つの前記イヤフォンのそれぞれの前記音響フィルタのパラメータの自動調整を指示する、
請求項1に記載の音響制御システム。
【請求項7】
前記無線端末は、前記2つの音響パラメータの調整に関する、前記ユーザの選択を促すためのガイダンス情報を前記ディスプレイに表示し、前記ユーザの選択に基づいて2つの前記イヤフォンのそれぞれの前記音響フィルタのパラメータの調整指示を送信する、
請求項2に記載の音響制御システム。
【請求項8】
前記無線端末は、一方の前記イヤフォンの前記第2マイクからの前記音声信号、および他方の前記イヤフォンの前記第2マイクからの前記音声信号のそれぞれをキャンセルするための、2つの前記イヤフォンのそれぞれの前記音響フィルタのパラメータ調整を指示する、
請求項1に記載の音響制御システム。
【請求項9】
前記無線端末は、前記ユーザの少なくとも性別および年齢に対応した音響パラメータごとの調整値を規定するデータベースをさらに有し、その調整値に基づいて、一方の前記イヤフォンの前記第2マイクからの前記音声信号、および他方の前記イヤフォンの前記第2マイクからの前記音声信号のそれぞれをキャンセルするための、2つの前記イヤフォンのそれぞれの前記音響フィルタのパラメータ調整を指示する、
請求項1に記載の音響制御システム。
【請求項10】
前記無線端末は、
一方の前記イヤフォンの前記第2マイクからの前記音声信号、および他方の前記イヤフォンの前記第2マイクからの前記音声信号のそれぞれをキャンセルするための、2つの前記音響パラメータの調整に関する前記ユーザの選択を促すためのガイダンス情報を前記ディスプレイに表示し、
前記ユーザの選択に基づいて2つの前記イヤフォンのそれぞれの前記音響フィルタのパラメータの調整指示を送信する、
請求項2に記載の音響制御システム。
【請求項11】
ユーザの左耳および右耳のそれぞれに装着される2つのイヤフォンと、前記ユーザにより携帯される無線端末と、を制御する音響制御方法であって、
それぞれの前記イヤフォンにおいて、
前記ユーザの周囲音信号を検知する第1収音ステップと、
前記ユーザの発話に基づく音声信号を検知する第2収音ステップと、
前記第1収音ステップにより検知された前記周囲音信号あるいは前記第2収音ステップにより検知された前記音声信号の音響特性を調整する音響フィルタステップと、
前記無線端末との間で無線を介したデータ通信を行う第1通信ステップと、を少なくとも有し、
前記無線端末において、
2つの前記イヤフォンとの間で無線を介したデータ通信を行う第2通信ステップと、
所定信号を音響的に出力する放音ステップと、
前記所定信号が前記放音ステップによって出力された際に2つの前記イヤフォンのそれぞれから送られた、前記第1収音ステップによって得られる前記周囲音信号の音響特性および前記第2収音ステップによって得られる前記音声信号の音響特性に基づいて、2つの音響パラメータを導出する信号処理ステップと、を少なくとも有し、
前記信号処理ステップでは、
前記2つの音響パラメータの導出結果に基づいて、2つの前記イヤフォンのそれぞれに対する、前記音響フィルタステップでのパラメータ調整を2つの前記イヤフォンのそれぞれに指示する、
音響制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、音響制御システムおよび音響制御方法に関する。
【背景技術】
【0002】
特許文献1には、装用者(ユーザ)の発話音声による骨振動を電気信号に変換する骨伝導マイクと、骨伝導マイクが変換した信号の周波数特性を調整するイコライザと、を備え、イコライザから出力された信号を発話音声信号として次段に出力するマイク装置が開示されている。このマイク装置は、装用者の発話音声による外界の空気振動を電気信号に変換する設定用マイクをさらに備え、設定モード時に、骨伝導マイクが変換した信号と設定用マイクが変換した信号とを比較し、この比較結果に基づいて、イコライザから出力される信号の周波数特性が、設定用マイクが変換した信号の周波数特性に近づくようにイコライザの特性を設定する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2002-125298号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
昨今、TWS(True Wireless Stereo)とも呼ばれる完全ワイヤレスイヤフォンをユーザが左右両耳にそれぞれ挿入して使用するスタイルが登場している。このような完全ワイヤレスイヤフォンには、音声信号を出力するスピーカだけでなく、ユーザの発話を検出するマイクが設けられている。完全ワイヤレスイヤフォンのユースケースとして、ユーザは、完全ワイヤレスイヤフォンを装着した状態で、近年普及しているテレワーク中に行われるウェブ会議に参加することが想定される。
【0005】
しかしながら、通常の発話時(つまり完全ワイヤレスイヤフォンを装着せずに発話する時)と異なってウェブ会議の参加中などで完全ワイヤレスイヤフォンを装着して発話する時、ユーザは、自ら発した音声の音声信号が完全ワイヤレスイヤフォンで行われる信号処理の影響により、自ら発した音声が耳の中でこもるような違和感を持ってしまうという課題があった。なお、この課題は、ユーザが完全ワイヤレスイヤフォンを装着して発話する状況であれば生じ得るものであり、ウェブ会議中の発話に限定されない。
【0006】
本開示は、上述した従来の事情に鑑みて案出され、ユーザが装着時に自ら発した音声が耳の中でこもるような違和感を持つことを抑制し、ユーザの利便性の向上を図る音響制御システムおよび音響制御方法を提供する。
【課題を解決するための手段】
【0007】
本開示は、ユーザの左耳および右耳のそれぞれに装着される2つのイヤフォンと、前記ユーザにより携帯される無線端末と、を備え、それぞれの前記イヤフォンは、前記ユーザの周囲音信号を検知する第1マイクと、前記ユーザの発話に基づく音声信号を検知する第2マイクと、前記第1マイクにより検知された前記周囲音信号あるいは前記第2マイクにより検知された前記音声信号の音響特性を調整する音響フィルタと、前記無線端末との間で無線を介したデータ通信を行う第1通信デバイスと、を少なくとも有し、前記無線端末は、2つの前記イヤフォンとの間で無線を介したデータ通信を行う第2通信デバイスと、所定信号を音響的に出力するスピーカと、前記所定信号が前記スピーカから出力された際に2つの前記イヤフォンのそれぞれから送られた、前記第1マイクからの前記周囲音信号の音響特性および前記第2マイクからの前記音声信号の音響特性に基づいて、2つの音響パラメータを導出する信号処理部と、を少なくとも有し、前記信号処理部は、前記2つの音響パラメータの導出結果に基づいて、2つの前記イヤフォンのそれぞれの前記音響フィルタのパラメータ調整を2つの前記イヤフォンのそれぞれに指示する、音響制御システムを提供する。
【0008】
また、本開示は、ユーザの左耳および右耳のそれぞれに装着される2つのイヤフォンと、前記ユーザにより携帯される無線端末と、を制御する音響制御方法であって、それぞれの前記イヤフォンにおいて、前記ユーザの周囲音信号を検知する第1収音ステップと、前記ユーザの発話に基づく音声信号を検知する第2収音ステップと、前記第1収音ステップにより検知された前記周囲音信号あるいは前記第2収音ステップにより検知された前記音声信号の音響特性を調整する音響フィルタステップと、前記無線端末との間で無線を介したデータ通信を行う第1通信ステップと、を少なくとも有し、前記無線端末において、2つの前記イヤフォンとの間で無線を介したデータ通信を行う第2通信ステップと、所定信号を音響的に出力する放音ステップと、前記所定信号が前記放音ステップによって出力された際に2つの前記イヤフォンのそれぞれから送られた、前記第1収音ステップによって得られる前記周囲音信号の音響特性および前記第2収音ステップによって得られる前記音声信号の音響特性に基づいて、2つの音響パラメータを導出する信号処理ステップと、を少なくとも有し、前記信号処理ステップでは、前記2つの音響パラメータの導出結果に基づいて、2つの前記イヤフォンのそれぞれに対する、前記音響フィルタステップでのパラメータ調整を2つの前記イヤフォンのそれぞれに指示する、音響制御方法を提供する。
【発明の効果】
【0009】
本開示によれば、ユーザが装着時に自ら発した音声が耳の中でこもるような違和感を持つことを抑制し、ユーザの利便性の向上を図ることができる。
【図面の簡単な説明】
【0010】
図1】イヤフォンの非装着状態での人が音声を認識する様子を説明する模式図
図2】イヤフォンの装着状態での人が音声を認識する様子を説明する模式図
図3】片方のイヤフォンから音声信号が出力された場合、その反対側にその音声が伝達する様子を説明する模式図
図4図2および図3に示す状態で片方の耳に伝達される音声信号を模式的に例示するグラフ
図5】実施の形態1に係るイヤフォンの内部のハードウェア構成を模式的に例示する断面図
図6図5に示す左右一対のイヤフォンのそれぞれの回路基板での処理を例示する機能ブロック図
図7図2に示すスマートフォンの構成を例示する機能ブロック図
図8図7に示すメモリ部に記憶保持される音響パラメータのデータベース構造を例示するテーブル
図9図6に示す回路基板による音響パラメータを導出するための動作フローを例示するフローチャート
図10図9に示すステップS2およびステップS8で行われるスマートフォンの配置操作を例示する模式図
図11図9に示すステップのそれぞれにおけるスマートフォンの表示部での表示を例示する模式図
図12図6に示すサイドトーンフィルタ部の調整の動作フローを例示する模式図
図13図12に示す、自動調整に係るステップのそれぞれにおけるスマートフォンの表示部での表示を例示する模式図
図14図12に示す、ユーザ調整に係るステップのそれぞれにおけるスマートフォンの表示部での表示を例示する模式図
図15図6に示すフィードバックフィルタ部の調整の動作フローを例示する模式図
図16図15に示す、全キャンセルに係るステップのそれぞれにおけるスマートフォンの表示部での表示を例示する模式図
図17図15に示す、自動調整に係るステップのそれぞれにおけるスマートフォンの表示部での表示を例示する模式図
図18図15に示す、手動調整に係るステップのそれぞれにおけるスマートフォンの表示部での表示を例示する模式図
図19】実施の形態1の変形例に係る、左右一対のイヤフォンのそれぞれの回路基板での処理を例示する機能ブロック図
【発明を実施するための形態】
【0011】
以下、適宜図面を参照しながら、本開示に係る音響制御システムおよび音響制御方法を具体的に開示した実施の形態を詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、すでによく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。また、添付図面のそれぞれは符号の向きに従って参照するものとする。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
【0012】
本開示に係る音響制御システムは、左右一対のイヤフォン2L,2R(後述参照)とスマートフォンPと、を有する。以下、これらのイヤフォン2L,2R同士が無線接続される完全なワイヤレスイヤフォン(TWS)の形態を説明する。しかし、この形態に限定されず、左右独立して設けられるものであれば本開示の内容を適宜適用することが可能である。
【0013】
また、実施の形態でいう「部」または「装置」とは単にハードウェアによって機械的に実現される物理的構成に限らず、その構成が有する機能をプログラムなどのソフトウェアにより実現されるものも含む。また、1つの構成が有する機能が2つ以上の物理的構成により実現されても、または2つ以上の構成の機能が例えば1つの物理的構成によって実現されていてもかまわない。
【0014】
(本開示に至った経緯)
本開示に係る実施の形態について具体的に説明する前に、まず図1図4を参照しながら本開示に至った経緯について説明する。図1は、イヤフォン2L,2Rの非装着状態での人が音声を認識する様子を説明する模式図である。図2は、イヤフォン2L,2Rの装着状態での人が音声を認識する様子を説明する模式図である。図3は、片方のイヤフォン2L,2Rから音声信号が出力された場合、その反対側にその音声が伝達する様子を説明する模式図である。図4は、図2および図3に示す状態で片方の耳に伝達される音声信号を模式的に例示するグラフである。
【0015】
図1に示すように、実施の形態に係る左右一対のイヤフォン2L,2Rが装着されていない、すなわち通常の状態では、イヤフォン2L,2Rが存在しないため外耳道は雰囲気(言い換えると、外気)に向けて開放された状態とされる。そのため、周囲音は外耳道をそのまま通過して鼓膜に到達する。また、その状態で人(例えばユーザU)が発話した場合、その発話は2つの経路で鼓膜に到達する。第1の到達経路は、外気で振動して周囲音とともに外耳道をそのまま通過して鼓膜に到達するという経路である。第2の到達経路は、ユーザUの人骨を振動して骨伝導振動として直接鼓膜へ到達するという経路である。このように通常の発話の場合、主に第1の到達経路および第2の到達経路を通じて発話および周囲音が鼓膜に到達し、その到達の結果、音声信号が脳へ伝達して認識される。
【0016】
その一方、図2に示すように、左右一対のイヤフォン2L,2Rが装着された場合、左右一対のイヤフォン2L,2Rが、物体として外耳道の蓋となり外耳道の内部空間を閉塞する。それにより、鼓膜への到達経路は増加して複雑となり、さらにそのイヤフォン2L,2Rの存在により音声の伝達に物理現象(振動現象)としても信号処理現象としても影響を与えてしまう。
【0017】
すなわち、物理的にイヤフォン2L,2Rには、周囲音、ならびに発話による外気振動(つまり外気経由での振動)および骨伝導振動(つまり人骨経由での振動)がイヤフォン2L,2Rに到達する。これら音声信号などは、イヤフォン2L,2Rのマイク群(内部マイク6L,6R、外部マイク7L,7R、発話用マイク8L,8R、骨伝導センサ9L,9Rなど:後述参照)によって検出される。この検出された音声は、イヤフォン2L,2Rの回路基板20L,20R(後述参照)によって合成されて信号処理され、閉塞された外耳道に放音される。この放音がその外耳道を通過して鼓膜に到達する。そして、ユーザUの鼓膜にはイヤフォン2L,2Rからの放音だけではなく、前述した通常の発話と同様に、発話による骨伝導で鼓膜に到達する経路も存在し、鼓膜はイヤフォン2L,2Rからの放音、および発話による骨伝導の両方が到達することになる。
【0018】
また、図3に示すように、左右一対のイヤフォン2L,2Rから放音された際、その放音による音声は、その装着された耳にだけ到達して内部マイク6L,6Rにより検出されるだけではなく、その他にユーザUの頭部を横断(クロス)して反対側の耳に到達して骨伝導センサ9R,9Lにより検出される。つまり、到達経路には、イヤフォン2L,2Rからの音声がユーザUの頭部をクロスして反対側の耳に到達する経路(以下「クロストーク経路」、またそのときの振動を「クロストーク振動」と称する)も存在する。クロストーク経路で到達する音声は、イヤフォン2L,2Rの耳栓効果によって外耳の内部空間で共鳴して増幅される可能性がある。
【0019】
このようにイヤフォン2L,2Rが装着された状態でユーザUが発話する場合、通常の発話と比べて到達経路が複雑となり、またイヤフォン2L,2Rの耳栓効果で、自ら発した音声が耳の中でこもるような違和感のある音声が脳へ伝達して認識される。その違和感はユーザUのそれぞれで大きく異なっている可能性が高い。そのため、ユーザUのそれぞれの個性に対応して細かな調整・補正が求められる。
【0020】
ところで、音源から耳までの特性を表す頭部伝達関数(Head-Related Transfer Function, HRTF)も合わせて考慮すると、イヤフォン2L,2Rが装着された状態でユーザUが発話する場合、片方の耳(鼓膜)に到達する音声信号は、例えば図4に示すようなグラフ(音響特性)で表現される。
【0021】
つまり、図4に示すように、片方の耳には3つの音声信号が到達しており、第1の音声信号は、その左右一方の耳に装着されたイヤフォン2L,2Rによってその発話が収音されて放音されたものである。第2の音声信号は、その左右一方側の人骨(例えば一方側の頭骨)での発話による骨伝導振動によるものである。第3の音声信号は、その左右他方側(反対側)の人骨(例えば他方側の頭骨)での発話による骨伝導振動によるものであり、すなわちユーザUの頭部を横切るように伝達するクロストーク経路によるものである(クロストーク振動)。
【0022】
前述の頭部伝達関数に従えば、第1の音声信号、第2の音声信号および第3の音声信号のそれぞれの間で時間差(時間遅延:以下「ITD」(Interaural Time Difference)と称する)、および強度差(レベル減衰:以下「IID」(Interaural Intensity Difference)と称する)が発生する。
【0023】
具体的には、図4に示すように、時間差については、第2の音声信号は、第1の音声信号を基準として時間差ITD12で遅延する。第3の音声信号は、第1の音声信号を基準として時間差ITD13、かつ、第2の音声信号を基準として時間差ITD23で遅延する。
【0024】
同様に、強度差については、第2の音声信号は、第1の音声信号を基準として強度差IID12で減衰する。第3の音声信号は、第1の音声信号を基準として強度差IID13、かつ、第2の音声信号を基準として強度差IID23で減衰する。
【0025】
実施の形態では、これら時間差ITD12,ITD13,ITD23、および強度差IID12,IID13,IID23の、これら2つの音響パラメータに着目しており、その2つ(2種類)の音響パラメータITD(時間差ITD12,ITD13,ITD23),IID(強度差IID12,IID13,IID23)を得るため、スマートフォンPで所定信号(例えばインパルス信号としてのTSP信号:後述参照)を放音して、その放音の結果を左右一対のイヤフォン2L,2Rのそれぞれで検知する。この検知の結果に基づいて、前述の2つの音響パラメータITD,IIDが左右のそれぞれで導出することが可能となる。そして、これら2つの音響パラメータITD,IIDの導出結果に基づいて、左右一対のイヤフォン2L,2Rのそれぞれのフィードバックフィルタ部53L,53Rおよびサイドトーンフィルタ部47L,47R(音響フィルタ:後述参照)のパラメータ調整が実行される。それにより、ユーザUが装着時に自ら発した音声が耳の中でこもるような違和感を持つことを抑制し、ユーザUの利便性の向上を図ることが可能となる。
【0026】
本開示に係る音響制御システム1および音響制御方法は、前述したような作用効果を得るため、以下に説明する実施の形態のように特別な構成を有する。
【0027】
(実施の形態1)
図5図18に基づいて本開示に係る実施の形態1について説明する。
【0028】
[・イヤフォンのハードウェア構成について]
図5を参照しながら、本実施の形態に係る音響制御システム1のイヤフォン2L,2Rのハードウェア構成について説明する。図5は、本実施の形態のイヤフォン2L,2Rの内部のハードウェア構成を模式的に例示する断面図である。なお、後述するように音響制御システム1は、ユーザUの左耳および右耳のそれぞれに装着される2つ(左右一対)のイヤフォン2L,2Rと、そのユーザUにより携帯されるスマートフォンP(無線端末の一例:後述参照)と、を備えて構成される。
【0029】
また、本実施の形態では、左右一対のイヤフォン2L,2Rにおいて左側のイヤフォン2Lおよび右側のイヤフォン2Rの構成は同一である。そのため、添付図面において、左側のイヤフォン2Lおよび右側のイヤフォン2Rのそれぞれの構成に対し、同一の構成には同一番号の符号を付す。ただし、その番号の末尾には左側の構成に係るものには「L」を、右側の構成に係るもの「R」を付加して左側の構成を右側の構成と区別(識別)可能となるように表記するものとする。また、以下の説明では、その一方の、右側のイヤフォン2Rのみを説明し、その他方の、左側のイヤフォン2Lの説明を省略または簡略化する。
【0030】
図5に示すように、左右一対のイヤフォン2L,2Rのそれぞれは、ユーザUの耳に装着して使用されるインナー型の音響装置であり、イヤフォン2L,2Rの本体のそれぞれに取り付けられるイヤーピース5L,5Rと、を有して構成される。なお、図5では説明の便宜上、左耳用のイヤフォン2Lの図示は省略されるが、前述したように左側のイヤフォン2Lも右耳用のイヤフォン2Rと同様に構成される。
【0031】
左右一対のイヤフォン2L,2Rは、左右一対で構成されており(左耳用のイヤフォン2Lと右耳用のイヤフォン2R)、ユーザUの左耳および右耳のそれぞれに装着される。例えば、イヤフォン2L,2Rのそれぞれは、ユーザUの耳に対しイヤーピース5L,5Rにより外耳道の内部に挿入された状態で保持され、この保持された状態がイヤフォン2L,2Rの使用状態とされる。
【0032】
また、本実施の形態では、イヤフォン2L,2RはBluetooth(登録商標)の通信規格によって通信可能な無線通信部33R,33L(第1通信デバイスの一例:後述参照)を有する。イヤフォン2L,2Rは、無線通信部33R,33Lを介して音楽再生用途としてはラジオ装置または音楽再生装置などの音源装置、あるいは電話用途としてはユーザUが携帯するスマートフォンP(後述参照)などの電話装置などに無線接続される。そして、イヤフォン2L,2Rは、これら装置から送信される音声信号および音楽信号などを受け取り、その音声信号を音波として出力したり、またはユーザUの発話を収音してその収音の結果をこれら装置に送信したりする。
【0033】
なお、本実施の形態では、イヤフォン2L,2Rが無線通信する装置の一例としてスマートフォンPを示して説明するが、これに限定されず無線通信可能であれば種々の装置と接続可能である。また、図5では、理解を容易にするため、右耳用のイヤフォン2Rは大きく図示され強調されている。
【0034】
右耳用のイヤフォン2Rは構造部材としてハウジング3Rを有し、その外観が丸みを帯びた箱状に形成される。ハウジング3Rは、合成樹脂、金属、セラミックなどの材料の複合体で設けられ、その内部に収納空間(具体的には、後室4Rおよび前室11R)が形成される。後室4Rおよび前室11Rは、仕切り板により区分して設けられる。また、ハウジング3Rには、その収納空間の前室11R側に連通する取付円筒部(不図示)が設けられる。
【0035】
イヤーピース5Rは、シリコンなどの柔軟性のある部材からなり、内筒部(不図示)および外筒部(不図示)を有して射出成型される。イヤーピース5Rは、その内筒部でハウジング3Rの取付円筒部に挿嵌して固定され、またこのハウジング3Rの取付円筒部に対し交換可能(着脱自在)に設けられる。イヤーピース5Rは、その外筒部でユーザUの外耳道に装着され、装着する外耳道の形状に応じて弾性変形する。この弾性変形により、イヤーピース5RはユーザUの外耳道に保持される。
【0036】
そして、イヤフォン2Rは、電気電子部材として、ドライバ10Rと、複数のマイク(内部マイク6R、外部マイク7R(第1マイクの一例)、発話用マイク8R)と、骨伝導センサ9R(第2マイクの一例)と、回路基板20Rと、を含んで構成される。これら電気電子部材は、主にハウジング3Rの収納空間に収納される。
【0037】
ドライバ10Rは、いわゆるスピーカなどと称される電子部品であり、音声信号を音波(空気の振動)に変換して出力する。具体的には、ドライバ10Rは、振動板(不図示)を有し、ドライバ10Rに入力される音声信号に基づいてその振動板を振動させることでその音声信号を音波に変換する。ドライバ10Rから出力される音波はイヤーピース5Rの空洞を通じてユーザUの耳の鼓膜に到達する。本実施の形態では、ドライバ10Rは、ユーザUが所持するスマートフォンPにより再生された音声信号あるいは音楽信号を、イヤーピース5Rを介して音響的に放音(出力)する。
【0038】
複数のマイクは、具体的には、内部マイク6Rと、外部マイク7Rと、発話用マイク8Rと、の3種類を少なくとも含んで構成される。本実施の形態では、これら複数のマイク(内部マイク6R,外部マイク7R,発話用マイク8R)は、イヤフォン2Rが耳介に装着された状態でのユーザUの周囲音、およびユーザUの発話などでの音声を検出可能にイヤフォン2Rに配設される。
【0039】
内部マイク6Rは、ハウジング3Rの収納空間の一部を構成する前室11Rの内部に配置されており、その検出部分がその前室11Rからドライバ10Rの放音部に向くように配置される。また、内部マイク6Rは、ハウジング3Rの前室11RにおいてユーザUの耳の外耳道に可能な限り近接して配置される。それにより、内部マイク6Rは、前室11Rの内部で物理的に発生する音声を、ドライバ10Rから出力される音波を含めて収音することが可能である。
【0040】
すなわち、内部マイク6Rは、ハウジング3Rおよびイヤーピース5Rなどを通じて前室11Rに侵入する雑音を、ドライバ10Rから出力される音声信号または音楽信号とともに回り込み音信号として収音可能に配設される。また、内部マイク6Rは、回路基板20Rに対し信号線によって電気的に接続される。
【0041】
外部マイク7Rおよび発話用マイク8Rは、後室4Rの内部に配置される。ただし、外部マイク7Rおよび発話用マイク8Rは、前述した内部マイク6Rとは異なって設けられる。すなわち、ハウジング3Rの表面に複数の貫通孔(不図示)が形成されており、外部マイク7Rおよび発話用マイク8Rはこの貫通孔のそれぞれを通じてイヤフォン2Rの外部の音声を収音可能にハウジング3Rに固設される。
【0042】
外部マイク7Rは、イヤフォン2Rの外部の周囲音などを収音(検知)可能に配置される。また、発話用マイク8Rは、少なくとも1つのイヤフォン2Rを装着したユーザUの発話に基づく音声信号を収音(検知)可能に配置される。そのため、イヤフォン2Rは、ユーザUのスマートフォンPなどの携帯電話装置に通信可能な状態でドライバ10Rとともにいわゆるハンズフリー通話を実現することが可能である。
【0043】
骨伝導センサ9Rは、ピエゾ素子(不図示)などを含んで構成され、ユーザUの人骨に伝達する振動(骨伝導振動)を電気信号に変換する。骨伝導センサ9Rは、耳周辺の顔表面または耳介の裏面に接触可能にイヤフォン2Rに取り付けられる。また、骨伝導センサ9Rはドライバ10Rと離間して配置される。ユーザUによって発話される音声信号はその顔や頭の骨に伝導するため、骨伝導センサ9Rは人骨の振動を検出し、その検出の結果を電気信号に変換して出力する。この電気信号によって、ユーザUの発話の有無が検出可能となる。また、骨伝導センサ9Rは、回路基板20Rに対し信号線によって電気的に接続される。
【0044】
回路基板20Rは、平板状に形成されており、その表面には複数の回路(後述参照)が配置されており、音声信号および音楽信号に対して信号処理を適宜行うイヤフォン2Rの制御基板として動作する。
【0045】
[・回路基板の構成について]
図6を参照しながら、回路基板20Rの構成について説明する。図6は、図5に示す左右一対のイヤフォン2L,2Rのそれぞれの回路基板20L,20Rでの処理を例示する機能ブロック図である。なお、以下では、左右一対のイヤフォン2L,2Rのうち、その一方(右側)の回路基板20Rについて説明するが、その他方(左側)の回路基板20Lはその右側の回路基板20Rと同じ構成である。そのため、図2においても同様に左側の回路基板20Lにおいて同等符号を付してその説明を省略または簡略化する。
【0046】
図6に示すように、回路基板20Rは、汎用の制御基板として構成される。具体的には、回路基板20Rには、演算回路として、メイン回路30Rと、ANC回路40Rと、検出回路60Rと、が少なくとも搭載される。
【0047】
これらメイン回路30R、ANC回路40Rおよび検出回路60Rは、例えばCPU(Central Processing Unit)、MPU(Micro Processing Unit)あるいはDSP(Digital Signal Processor)等のプロセッサを用いて構成されており、互いに制御信号に送受信することで整合的に制御し合い、また音声信号をPCM(Pulse Code Modulation)のデジタル信号でやり取りする。
【0048】
なお、回路基板20Rには、読み出し専用記憶装回路としてのROM(Read Only Memory)回路(不図示)、および書き込み可能な記憶回路としてのRAM(Random Access Memory)回路(不図示)などの回路も搭載される。ROM回路にはソフトウェアとしてのプログラム(不図示)が記憶保持されており、そのプログラムは演算回路としてのメイン回路30R、ANC回路40Rおよび検出回路60Rのそれぞれによって実行される(後述参照)。RAM回路は、その実行における一時的記憶保持回路として使用される。また、本実施の形態では、回路基板20Rには、その基板上に物理的に実装されるハードウェアとしての所定の処理を専門的に行う集積回路も複数実装される。
【0049】
つまり、図6に示すメイン回路30R、ANC回路40Rおよび検出回路60Rのそれぞれの内部に図示されるブロックのそれぞれは、プログラムなどのソフトウェアにより実現される機能、または専用の集積回路などのハードウェアにより実現される機能を表している。また、これら機能はメイン回路30R、ANC回路40Rおよび検出回路60Rのそれぞれによってオン・オフが制御可能に設けられる。
【0050】
なお、本実施の形態では、回路基板20Rで実現される機能はソフトウェアおよびハードウェアの両方により実現されるとしたが、これに限定されない。例えば、その機能全部が「装置」の物理的構成としてハードウェアによって構成されてもよい。
【0051】
また、イヤフォン2L,2Rのそれぞれは、スマートフォンPとの間で個別に無線通信を行うことが可能である。そのため、イヤフォン2L,2Rのそれぞれは、スマートフォンPから送信されるデータあるいは情報を受信することが可能である。
【0052】
メイン回路30Rは、音楽再生・電話モード切替部31Rと、音量調整部32Rと、無線通信部33R(第1通信デバイスの一例)と、を含んで構成される。なお、メイン回路30Rは、その無線通信部33Rを通じてユーザUのスマートフォンPに対し、その表示部77(図7参照)に所定のメッセージを表示するように指示可能に構成される。
【0053】
無線通信部33Rは、送信回路34Rおよび受信回路35Rを有して、右耳用のイヤフォン2RとユーザUのスマートフォンPとを送受信が可能に無線接続し、処理された音声信号をスマートフォンPに送信する。送信回路34Rは、スマートフォンPに処理された音声信号を含む各種信号および情報を送信する。受信回路35Rは、スマートフォンPから送信される、処理された音声信号を含む各種信号を受信する。また、右耳用のイヤフォン2Rおよび左耳用のイヤフォン2Lは、その無線通信部33L,33Rのそれぞれを介して互いに情報のやり取り(交換)が可能に構成される。なお、本実施の形態では、イヤフォン2L,2Rの無線通信部33L,33Rは、Bluetooth(登録商標)の通信規格に従った通信を行うが、これに限定されず、Bulutooth(登録商標)以外の近距離無線通信の通信規格に従った通信を行ってもよいし、他にはWiFi(登録商標)などの通信回線または移動体通信回線などに接続可能に設けられてもよい。
【0054】
音楽再生・電話モード切替部31Rは、回路基板20Rの無線通信部33Rを通じてスマートフォンPに無線接続され、スマートフォンPから送信された音声信号を受信する。すなわち、音楽再生・電話モード切替部31Rは、通話相手からの音声信号、または再生用の音楽信号を入力可能に設けられる。そして、音楽再生・電話モード切替部31Rは、受信した音声信号またはスマートフォンPから送信された制御信号に基づいて、イヤフォン2Rの動作モード(用途)が音楽再生用途なのか、または電話用途であるのかを判定してその入力を管理する。
【0055】
例えば本実施の形態では、音楽再生・電話モード切替部31Rは、ユーザUの通話相手から送信される音声信号を受話信号として受信し、この受信結果に基づいて電話用途であると判定する。そして、音楽再生・電話モード切替部31Rは、イヤフォン2Rの動作モードを電話用途に切り替えて、自己に入力される音声信号を音量調整部32Rに送信する。
【0056】
その送信された音声信号に対し、音量調整部32Rは、その音量レベルを調整してANC回路40Rの第1デジタル加算部50R(後述参照)に送信する。
【0057】
ANC回路40Rは、第1アンプ部41Rと、第2アンプ部42Rと、第3アンプ部43Rと、第4アンプ部44Rと、第1アナログ・デジタル変換部45Rと、第2アナログ・デジタル変換部46Rと、サイドトーンフィルタ部47Rと、アンビエントフィルタ・音量調整部48Rと、フィードフォワードフィルタ部49Rと、第1デジタル加算部50Rと、第2デジタル加算部51Rと、デジタル・アナログ変換部52Rと、フィードバックフィルタ部53Rと、アナログ加算部54Rと、を含んで構成される。
【0058】
第1アンプ部41Rは、外部マイク7Rに電気的に接続され、外部マイク7Rから出力される音声信号を増幅して、第1アナログ・デジタル変換部45Rに出力する。
【0059】
第2アンプ部42Rは、発話用マイク8Rに電気的に接続され、発話用マイク8Rから出力される音声信号を増幅して、第1アナログ・デジタル変換部45Rに出力する。
【0060】
第1アナログ・デジタル変換部45Rは、発話用マイク8Rまたは外部マイク7Rに基づく2チャンネル分のアナログ信号をデジタル信号に変換する。この2チャンネル分のデジタル信号を、第1アナログ・デジタル変換部45Rは、サイドトーンフィルタ部47R、アンビエントフィルタ・音量調整部48R、フィードフォワードフィルタ部49R、および検出回路60Rのビームフォーム部63R(後述参照)に送信する。
【0061】
第2アナログ・デジタル変換部46Rは、骨伝導センサ9Rに電気的に接続され、骨伝導センサ9Rから出力される電気信号をデジタル信号に変換する。このデジタル信号を、第2アナログ・デジタル変換部46Rは、検出回路60Rの発話検出部62R(後述参照)に送信する。
【0062】
サイドトーンフィルタ部47Rは、第1アナログ・デジタル変換部45Rから送信される、2チャンネル分の音声のデジタル信号を受信する。これら音声のデジタル信号は、外部マイク7Rおよび発話用マイク8Rに基づく信号成分であり、サイドトーンフィルタ部47Rは、これら音声のデジタル信号を第1デジタル加算部50Rに送信する。
【0063】
すなわち、イヤフォン2Rが電話用途で用いられる際には、外部マイク7Rおよび発話用マイク8Rは、ユーザUの発話を収音する。そのため、サイドトーンフィルタ部47Rの動作によって、結果的にドライバ10Rに出力される音声信号に、ユーザUの発話の一部がループバック(付加)される。それにより、ユーザUは、自分が発した音声をイヤフォン2Rで聴くことができ、イヤフォン2Rの電話用途での使用時において発話を容易にすることが可能となる。なお、サイドトーンフィルタ部47Rは、イヤフォン2Rが電話用途で使用されるときに限り、動作するように設定される。
【0064】
また、本実施の形態では、サイドトーンフィルタ部47Rは、外部マイク7Rにより検知された周囲音信号により検知された音声信号の音響特性(図4参照)を調整可能に構成される。具体的には、後述するようにスマートフォンPによって導出される、2つの音響パラメータITDの導出結果に基づいて、サイドトーンフィルタ部47Rは、その音響特性を調整してユーザUが装着時に自ら発した音声が耳の中でこもるような違和感を持つことを抑制する。
【0065】
アンビエントフィルタ・音量調整部48Rも同様に、第1アナログ・デジタル変換部45Rから出力される、2チャンネル分の音声のデジタル信号を受信する。アンビエントフィルタ・音量調整部48Rは、これら2チャンネル分の音声信号に対しその低周波成分を主に抽出してその抽出した成分の音量レベルを調整して第1デジタル加算部50Rに送信する。
【0066】
イヤフォン2Rの通常の使用状態では、イヤーピース5RなどによってユーザUの周囲音がユーザUの耳介内部に伝達するのが抑制される。そこで、アンビエントフィルタ・音量調整部48Rが動作することで、車両の騒音、警報のサイレンなどの周囲音を、外部マイク7Rおよび発話用マイク8Rを通じて能動的に取り込み、電気的にその周囲音を外界からユーザUの外耳道へ通り抜けさせることが可能となる。それにより、ユーザUは、イヤフォン2Rの装着時でも周囲音の状況を把握することが可能となる。なお、アンビエントフィルタ・音量調整部48Rは、ユーザUのスマートフォンPなどにインストールされたオペレーションシステムまたはアプリケーション(以下「アプリ」と称する)などによってその動作のオン(ON)・オフ(OFF)が制御される。
【0067】
フィードフォワードフィルタ部49Rも、同様に第1アナログ・デジタル変換部45Rから出力される、2チャンネル分の音声のデジタル信号を受信する。フィードフォワードフィルタ部49Rは、人の音声が多く含まれる中音域(中周波)成分を中心としてフィルタ処理を行い、その処理結果を第2デジタル加算部51Rに送信する。
【0068】
第1デジタル加算部50Rは、サイドトーンフィルタ部47Rまたはアンビエントフィルタ・音量調整部48Rから送信される音声のデジタル信号と、メイン回路30Rの音量調整部32Rから送信される音声のデジタル信号と、を加算した上で第2デジタル加算部51Rに送信する。
【0069】
第2デジタル加算部51Rは、第1デジタル加算部50Rおよびフィードフォワードフィルタ部49Rから送信される音声のデジタル信号を受信し、これらデジタル信号を加算して、その加算結果をデジタル・アナログ変換部52Rに送信する。
【0070】
デジタル・アナログ変換部52Rは、その加算結果をアナログ信号に変換して、その変換したアナログ信号をアナログ加算部54Rに出力する。
【0071】
第3アンプ部43Rは、内部マイク6Rに電気的に接続されており、内部マイク6Rから出力される音声信号(つまり回り込み音信号)を増幅して、フィードバックフィルタ部53Rに出力する。
【0072】
フィードバックフィルタ部53Rは、内部マイク6Rに基づくアナログ信号を逆位相に変換して逆位相信号を生成し、アナログ加算部54Rに出力する。
【0073】
アナログ加算部54Rは、デジタル・アナログ変換部52Rから出力される音声信号と、フィードバックフィルタ部53Rから出力される音声信号(逆位相信号)と、をアナログ信号として加算して第4アンプ部44Rに出力する。
【0074】
ここで、前述したように、内部マイク6Rは、イヤーピース5Rなどで抑制しきれず、ユーザUの耳介に侵入する雑音を、ドライバ10Rから出力される音声信号または音楽信号とともに回り込み音として収音する。この収音された回り込み音の音声信号を、フィードバックフィルタ部53Rは逆位相に変換してアナログ信号の逆位相信号を生成する。その逆位相信号を、アナログ加算部54Rは、ドライバ10Rに出力される直前のアナログ信号に加算する。これらアナログ信号の加算により、前述の雑音を能動的に除去することが可能となる。
【0075】
このように、フィードバックフィルタ部53Rおよびアナログ加算部54Rによって、ドライバ10Rから出力された音声信号の一部が内部マイク6Rに回り込んで収音された信号に基づいて、スマートフォンPからの音声信号に含まれる雑音が低減される。
【0076】
また、本実施の形態では、フィードバックフィルタ部53Rは、サイドトーンフィルタ部47Rと同様に、骨伝導センサ9Rにより検知された音声信号の音響特性(図4参照)を調整可能に構成される。後述する2つの音響パラメータITD,IIDの導出結果に基づいて、フィードバックフィルタ部53Rはその音響特性を調整してユーザUが装着時に自ら発した音声が耳の中でこもるような違和感を持つことを抑制する。
【0077】
第4アンプ部44Rは、ドライバ10Rに電気的に接続されており、アナログ加算部54Rから出力されるアナログ信号を増幅してドライバ10Rに出力する。ドライバ10Rは、その入力に基づいて、音声信号または音楽信号などの信号を物理的な空気振動(音波)として出力する。
【0078】
なお、フィードバックフィルタ部53Rおよびアナログ加算部54Rも同様に、スマートフォンPなどにインストールされたアプリケーションなどによってその動作のオン・オフが制御されており、またユーザUによってもそのオン・オフが任意に変更可能である。このようにオフに設定された場合、この設定に係る制御信号はアナログ加算部54Rに送信される。アナログ加算部54Rは、この制御信号に基づいてフィードバックフィルタ部53Rからの音声信号が自己に入力されないように制御する。
【0079】
検出回路60Rは、マイク音検出部61Rと、発話検出部62Rと、ビームフォーム部63Rと、雑音抑圧部64Rと、を含んで構成される。
【0080】
マイク音検出部61Rは、ANC回路40Rの第2アナログ・デジタル変換部46RおよびANC回路40Rの第1アナログ・デジタル変換部45Rに接続され、外部マイク7R、発話用マイク8Rまたは骨伝導センサ9Rからの音声信号を統合して検出する。マイク音検出部61Rは、その検出の結果を発話検出部62R、ビームフォーム部63R、雑音抑圧部64Rおよびメイン回路30Rに送信するとともに、その検出の結果に応じてこれら音声信号を選択的にスルーして伝送する。
【0081】
発話検出部62Rは、マイク音検出部61Rを介して、ANC回路40Rの第2アナログ・デジタル変換部46Rに接続され、第2アナログ・デジタル変換部46Rから送信されるデジタル信号を受信する。このデジタル信号は、骨伝導センサ9Rに基づく信号である。発話検出部62Rは、このデジタル信号によってユーザUの発話による骨伝導振動を検知し、ユーザUの発話の有無を判定(検出)する。この検出結果は、制御信号としてビームフォーム部63Rおよび雑音抑圧部64Rに送信される。
【0082】
ビームフォーム部63Rは、マイク音検出部61Rを介して、ANC回路40Rの第1アナログ・デジタル変換部45Rに接続され、第1アナログ・デジタル変換部45Rから送信される、2チャンネル分のデジタル信号を受信する。ビームフォーム部63Rは、これら2チャンネル分のデジタル信号に対し、ユーザUの発話以外の音声を抑制する音声処理を行う。この音声処理により、ビームフォーム部63Rは、ユーザUの口元から物理的に発せられる音声に対しその指向性を高めて収音し、その結果、いわゆるハンズフリー通話の際、通話相手に聞きやすい音声を送信(送話)することが可能となる。
【0083】
そして、ビームフォーム部63Rは、ユーザUの口元に指向性を高めた音声のデジタル信号を雑音抑圧部64Rに送信する。雑音抑圧部64Rは、受信した音声のデジタル信号に対し雑音抑制の処理を行い、その処理結果をメイン回路30Rの音量調整部32Rに送信する。
【0084】
以上、左右一対のイヤフォン2L,2Rのうち右側のイヤフォン2Rについて説明したが、もう一方の左側のイヤフォン2Lの構成についても前述した右側のイヤフォン2Rの構成と同様である。
【0085】
[・スマートフォンの構成について]
図7および図8を参照しながら、本実施の形態の音響制御システム1の一部をなし、ユーザUにより携帯される無線端末としてのスマートフォンPの構成について説明する。図7は、図2に示すスマートフォンPの構成を例示する機能ブロック図である。図8は、図7に示すメモリ部75に記憶保持される音響パラメータITD,IIDのデータベース構造を例示するテーブルである。
【0086】
なお、本実施の形態では、無線端末としてスマートフォンPが例示されるがこれに限定されない。例えば、その他に、携帯電話、タブレット、ラップトップコンピュータ、ネットブック、携帯情報端末(PDA)、ゲームデバイス、メディアプレーヤーまたは電子ブックなどが種々に採用可能である。無線端末は、通信ネットワークに接続可能であれば情報端末装置の形態は限定されない。
【0087】
図7に示すように、スマートフォンPは、マイク部71と、スピーカ部72(スピーカの一例)と、プロセッサ部73(信号処理部の一例)と、メモリ部75と、表示部77(ディスプレイの一例)と、操作部78と、通信部79(第2通信デバイスの一例)と、を含んで構成される。
【0088】
マイク部71は、スマートフォンPの本体の周囲、および(イヤフォン2L,2Rでハンズフリー通話を行わない際など)ユーザUの発話などの音声を検出可能に本体に配設される。
【0089】
スピーカ部72は、前述したイヤフォン2L,2Rのドライバ10L,10Rと同様に音声信号を音波に変換して出力して、スマートフォンPの本体の外部に向けて音響的に放音(出力)する。本実施の形態では、インパルス信号としてのTSP(Time Stretched Pulse)信号(所定信号の一例)が音響的に出力可能に構成される(後述参照)。なお、スピーカ部72から出力される所定信号は、TSP信号に限らず本発明の趣旨を逸脱しない範囲で適宜種々のものを採用することが可能である。
【0090】
プロセッサ部73は、種々のプログラムを実行することで各種機能を実現する。メモリ部75は、プロセッサ部73のワーキングメモリとして使用され、種々の記憶装置を含んで構成される。
【0091】
また、プロセッサ部73は、IID/ITD算出部74(信号処理部の一例)を含んで構成される。IID/ITD算出部74のプログラムはメモリ部75に記憶保持され、プロセッサ部73は、メモリ部75からこのIID/ITD算出部74のプログラムを読み出してIID/ITD算出部74の機能を実現する。
【0092】
IID/ITD算出部74は、TSP信号がスピーカ部72から出力された際に左右一対のイヤフォン2L,2Rのそれぞれから送信された、外部マイク7L,7Rからの周囲音信号の音響特性および骨伝導センサ9L,9Rからの音声信号の音響特性に基づいて、2つの音響パラメータITD,IIDを導出する(後述参照)。さらに、2つの音響パラメータITD,IIDの導出結果に基づいて、IID/ITD算出部74は、2つのイヤフォン2L,2Rのそれぞれのサイドトーンフィルタ部47L,47Rおよびフィードバックフィルタ部53L,53Rのパラメータ調整を2つのイヤフォン2L,2Rのそれぞれに指示する。
【0093】
また、メモリ部75には、データベース76が構築される。言い換えると、スマートフォンPはデータベース76を有して構成される。
【0094】
図8に示すように、データベース76は、ユーザUの性別および年齢のそれぞれに対応した2つの音響パラメータITD,IIDごとの調整値を規定可能に構築される。データベース76は、事前に定義されて設定されてもよいし、後述のAI(人工知能)による機械学習によって逐次構築されてもよい。また、データベース76は、性別および年齢の他、例えば身長、体重などの身体情報などを含んで構築されてもよい。なお、図8に示すテーブルの最下行には、イヤフォン2L,2Rの実際の所有者であるユーザUの調整値がユーザ値として記録されている例が示されている。
【0095】
図7に示すように、表示部77は、操作部78と一体に設けられる液晶パネルであり、その操作部78はタッチパネルである。表示部77には、前述の2つの音響パラメータITD,IIDの導出結果がグラフ形式で表示されたり、ユーザUの選択を促すためのガイダンス情報が表示されたりする(後述参照)。
【0096】
通信部79は、2つのイヤフォン2L,2Rとの間で無線を介したデータ通信を行う。スマートフォンPの通信部79による通信方式も同様に、Bluetooth(登録商標)とされるが、その他WAN(Wide Area Network)、LAN(Local Area Network)や電力線通信などの有線での通信方式や、WiFi(Wireless Fidelity)や携帯電話用のモバイル通信などの無線での通信方式なども適宜採用することが可能である。
【0097】
[・2つの音響パラメータの導出フローについて]
図9図11を参照しながら、2つの音響パラメータITD,IIDの導出フローについて説明する。図9は、図6に示す回路基板20L,20Rによる音響パラメータITD,IDを導出するための処理フローを例示するフローチャートである。図10は、図9に示すステップS2およびステップS8で行われるスマートフォンPの配置操作を例示する模式図である。図11は、図9に示すステップのそれぞれにおけるスマートフォンPの表示部77での表示を例示する模式図である。
【0098】
図9に示すように、スマートフォンPは、2つのイヤフォン2L,2RがユーザUの左耳および右耳に装着されていることを確認した後、例えば2つの音響パラメータITD,IIDの導出に関するアプリを起動する。
【0099】
この起動により、2つの音響パラメータITD,IIDの導出フローが開始する。このアプリの起動の際、スマートフォンPの表示部77には、例えば「測定を開始します」の旨のメッセージ、ならびに「はい」および「いいえ」の選択ボタンが表示される(図11の画面例D11参照)。つまり、後述でも同様に説明するように、スマートフォンPには、2つの音響パラメータITD,IIDの導出に関する、ユーザUのアクションあるいは選択を促すためのガイダンス情報がその表示部77に順次表示される。
【0100】
導出フローが開示されると、スマートフォンPは、その表示部77に例えば「静かな場所でお願いします」の旨のメッセージを表示し(図10図11の画面例D12参照)、ユーザUに静寂な場所への移動を促す(S1)。
【0101】
その後、スマートフォンPは、その表示部77に例えば「暗騒音を確認します」および「構えてください」の旨のメッセージを表示して、ユーザUに手を前方に伸ばした状態でその本体を把持させる(図10図11の画面例D13参照)。このとき、スマートフォンPは、そのマイク部71からその本体部の周囲音を収音して、その収音のレベルを検出する。その検出の結果、スマートフォンPは、その周囲音が所定のレベル(例えば10dB)以下であると判定される場合、その表示部77に「測定完了 10dB」の旨のメッセージを表示する(図11の画面例D14参照)。
【0102】
さらに、スマートフォンPは、その表示部77に「TSP信号を再生します」および「構えてください」の旨のメッセージをその表示部77に表示する。この表示により、スマートフォンPは、ユーザUにユーザUから見て右斜め前方に手を伸ばした状態でその本体を保持するように促す(S2)。
【0103】
スマートフォンPのスピーカは、インパルス信号としてTSP信号を音響的に出力する(S3)。すなわち、スマートフォンPの本体がユーザUにより右斜め前方に保持された状態でTSP信号が出力された際、左右のイヤフォン2L,2Rは、右耳側のイヤフォン2Rの外部マイク7Rから周囲音信号、右耳側のイヤフォン2Rの骨伝導センサ9Rからの音声信号、および左耳側のイヤフォン2Lの骨伝導センサ9Lからの音声信号を検出する。その検出の結果を、左右一対のイヤフォン2L,2Rは、それぞれの無線通信部33L,33Rを通じてスマートフォンPに送信する(S4)。
【0104】
左右のそれぞれから送信された音声信号の音響特性(図4参照)に基づいて、スマートフォンPのIID/ITD算出部74は、右側の検出として2種類(2つ)の音響パラメータITD(ITD12,ITD13),IID(IID12,IID13)を導出する(S5)。
【0105】
この導出の際、音響パラメータITD,IIDのうちそのレベルに関するものついて、IID/ITD算出部74は、右耳側のイヤフォン2Rの外部マイク7Rからの周囲音信号、右耳側のイヤフォン2Rの骨伝導センサ9Rからの音声信号、および左耳側のイヤフォン2Lの骨伝導センサ9Lからの音声信号の順で大きいか否かを判定する(S6)。その判定の結果、順で大きくない、換言すれば順で小さいと判定される場合(S6のNO)、動作フローはステップS3に戻り、TSP信号の出力がやり直される。
【0106】
順で大きいと判定される場合(S6のYES)、スマートフォンPのIID/ITD算出部74は、音響パラメータITD,IIDのうちその時間(遅延)に関するものについて、右耳側のイヤフォン2Rの外部マイク7Rからの周囲音信号、右耳側のイヤフォン2Rの骨伝導センサ9Rからの音声信号、および左耳側のイヤフォン2Lの骨伝導センサ9Lからの音声信号の順で早いか否かを判定する(S7)。その判定の結果、順で早くはない、換言すれば順に遅いと判定される場合(S7のNO)、同様に動作フローはステップS3に戻る。
【0107】
順で早いと判定される場合(S7のYES)、今後は左側に関する2つの音響パラメータITD,IIDの導出を同様に行う。すなわち、スマートフォンPは、「右の測定を完了しました」の旨のメッセージ、および「左を開始 次へ」の選択ボタンをその表示部77に表示する(図11の画面例D16参照)。その表示後、さらにスマートフォンPは、「TSP信号を再生します」および「構えてください」の旨のメッセージをその表示部77に表示する(図11の画面例D17参照)。この表示により、スマートフォンPは、今度はユーザUに対し左斜め前方に手を伸ばした状態でその本体を保持するように促す(S8)。
【0108】
スマートフォンPの本体がユーザUにより右斜め前方に保持された状態でTSP信号が出力された際(S9)、左右一対のイヤフォン2L,2Rは、左耳側のイヤフォン2Lの外部マイク7Lから周囲音信号、左耳側のイヤフォン2Lの骨伝導センサ9Lからの音声信号、および右耳側のイヤフォン2Rの骨伝導センサ9Rからの音声信号を検出する。その検出の結果を、左右一対のイヤフォン2L,2Rは、それぞれの無線通信部33L,33Rを通じてスマートフォンPに送信する(S10)。
【0109】
左右のそれぞれから送信された音声信号の音響特性(図4参照)に基づいて、スマートフォンPのIID/ITD算出部74は、左側の検出として2種類(2つ)の音響パラメータITD(時間差ITD12,ITD13),IID(強度差IID12,IID13)を導出する(S11)。
【0110】
この導出の際にも同様に、スマートフォンPのIID/ITD算出部74は、音響パラメータITDのうちそのレベルに関するものについて、左耳側のイヤフォン2Lの外部マイク7Lからの周囲音信号、左耳側のイヤフォン2Lの骨伝導センサ9Lからの音声信号、および右耳側のイヤフォン2Rの骨伝導センサ9Rからの音声信号の順で大きいか否かを判定する(S12)。その判定の結果、順で大きくないと判定される場合(S12のNO)、動作フローはステップS9に戻り、TSP信号の出力がやり直される。
【0111】
順で大きいと判定される場合(S12のYES)、IID/ITD算出部74は、音響パラメータITD,IIDのうちその時間(遅延)に関するものについて、左耳側のイヤフォン2Lの外部マイク7Lからの周囲音信号、左耳側のイヤフォン2Lの骨伝導センサ9Lからの音声信号、および右耳側のイヤフォン2Rの骨伝導センサ9Rからの音声信号の順で早いか否かを判定する(S13)。その判定の結果、順に早くはないと判定される場合(S13のNO)、同様に動作フローはステップS9に戻る。
【0112】
順に早いと判定される場合(S13のYES)、スマートフォンPは、その表示部77に「測定を完了しました」との旨のメッセージとともに、その2つの音響パラメータITD,IIDの導出結果をグラフ形式で表示して(S14:図11の画面例D18参照)、終了する(END)。
【0113】
[・サイドトーンフィルタ部の調整の動作フローについて]
図12図14を参照しながら、サイドトーンフィルタ部47L,47Rの調整の動作フローについて説明する。図12は、図6に示すサイドトーンフィルタ部47L,47Rの調整の動作フローを例示する模式図である。図13は、図12に示す、自動調整に係るステップのそれぞれにおけるスマートフォンPの表示部77での表示を例示する模式図である。図14は、図12に示す、ユーザ調整に係るステップのそれぞれにおけるスマートフォンPの表示部77での表示を例示する模式図である。
【0114】
なお、この動作フローの実行の際、スマートフォンPまたはイヤフォン2L,2Rは、ANC回路40L,40Rのサイドトーンフィルタ部47L,47Rが機能するようにON制御を行う。この動作フローを通じてサイドトーンフィルタ部47L,47Rの機能時、例えばイヤフォン2L,2Rの電話用途での発話における発話に係る違和感を低減することが可能となる。
【0115】
スマートフォンPは、その表示部77に「調整を開始します」の旨のメッセージとともに、「自動調整」または「ユーザ調整」の選択ボタン(ガイダンス情報の一例:図13の画面例D21参照)をその表示部77に表示する。スマートフォンPは、ユーザUの選択ボタンの操作(ユーザUの選択)に基づいて、自動調整が選択されたか否かを判定する(S21)。自動調整が選択されなかった、換言すればユーザ調整が選択されたと判定される場合、動作フローはステップS27に進む。
【0116】
自動調整が選択されたと判定される場合(S21のYES)、スマートフォンPは、その表示部77に性別および年齢を入力するための選択ボタンを表示し(ガイダンス情報の一例:図13の画面例D22参照)、この表示によってユーザUに性別および年齢を入力するようにユーザUの選択を促す(S22)。ユーザUによって選択操作されると、スマートフォンPは、そのメモリ部75から前述のデータベース76を呼び出して参照する(S23)。
【0117】
スマートフォンPのIID/ITD算出部74は、そのデータベース76の参照に基づいて強度(レベル減衰)に関する音響パラメータIID(IID12,IID13)を決定する。具体的には、IID/ITD算出部74は、第1の音声信号と第2の音声信号とのレベル差(IID12)、および第1の音声信号と第3の音声信号とのレベル差(IID13)を調整・補正して決定する(図4参照)。
【0118】
そして、時間(時間遅延)に関する音響パラメータITD(ITD12,ITD13)についても同様に、スマートフォンPのIID/ITD算出部74は、データベース76を参照して決定する。具体的には、IID/ITD算出部74は、第1の音声信号と第2の音声信号との時間差(ITD12)、および第1の音声信号と第3の音声信号との時間差(ITD13)を調整・補正して決定する(図4参照)。
【0119】
このように2つの音響パラメータITD,IIDを決定した上で、スマートフォンPは、その決定の結果を左右のイヤフォン2L,2Rのそれぞれに対し、サイドトーンフィルタ部47L,47Rのそれぞれのパラメータの調整指示を送信する。その調整指示に基づいて、左右のイヤフォン2L,2Rのそれぞれはサイドトーンフィルタ部47L,47Rのパラメータ調整を実行する(S24,S25)。
【0120】
パラメータ調整の完了後、スマートフォンPはその表示部77に「調整完了」および「発話してください」の旨のメッセージを表示し(図13の画面例D23参照)、ユーザUに発話させる。次にスマートフォンPは、その表示部77に「問題あり」または「問題なし」の選択ボタンを表示する(図13の画面例D24参照)。それとともに、スマートフォンPは、実際にその発話を左右のイヤフォン2L,2Rのそれぞれで収音および放音させて、そのパラメータ調整の結果に問題あるかないかをユーザUに確認させる。ユーザUの確認によって「問題なし」の選択ボタンが選択操作された場合(S26のYES)、動作フローは終了する(END)。
【0121】
ユーザUの確認によって「問題あり」の選択ボタンが選択操作された場合(S26のNO)、スマートフォンPはその表示部77に「ユーザ調整を開始します」の旨のメッセージを表示して(図14の画面例D31参照)、自動調整からユーザ調整へ切り替える(S27)。
【0122】
ユーザ調整への切替後、スマートフォンPは、2つの音響パラメータITD,IIDのそれぞれを手動調整のための設定インジケーター、および増減設定ボタン「(+)」「(-)」を表示する(図14の画面例D32参照)。本実施の形態では、この増減設定ボタンのそれぞれによって、時間に関する音響パラメータITDについては±10msec刻み(ピッチ)で、強度に関する音響パラメータIIDについては±1dB刻みで調整可能に設定される。
【0123】
ユーザUは、2つの音響パラメータITD,IIDを、増減設定ボタンを必要に応じて選択(押下)操作することで自分の好みに調整する。例えば、ユーザUは強度に関する音響パラメータIID(IID12,IID13)を±1dB刻み(ピッチ)で調整した後(S28)、時間に関する音響パラメータITD(ITD12,ITD13)を±10msec刻み(ピッチ)で調整する(S29)。
【0124】
そして、スマートフォンPは、このユーザUによる2つの音響パラメータITD,IIDの手動調整によって、TSP信号の発生時間およびその強度を基準として左側(右側)のイヤフォン2L(2R)の外部マイク7L(7R)からの周囲音信号、左側(右側)のイヤフォン2L(2R)の骨伝導センサ9L(9R)からの音声信号、および右側(左側)のイヤフォン2R(2L)の骨伝導センサ9R(9L)からの音声信号のピーク信号がこの順で大きくまたは早いか否かを判定する(S30)。その判定の結果、順で大きくないまたは早くないと判定される場合(S30のNO)、動作フローはステップS28に戻る。
【0125】
その一方、順で大きくまたは早いと判定される場合、スマートフォンPはその表示部77に「調整完了」および「発話してください」の旨のメッセージを表示し(図14の画面例D33参照)、ユーザUに発話させる。次にスマートフォンPは、その表示部77に「問題あり 再調整」または「問題なし」の選択ボタンを表示する(図14の画面例D34参照)。この表示により、スマートフォンPは、実際にその発話を左右のイヤフォン2L,2Rのそれぞれで収音および放音させて、そのパラメータ調整の結果に問題あるかないかをユーザUに確認させる(S31)。ユーザUの確認によって「問題なし」の選択ボタンが選択操作された場合(S31のYES)、動作フローは終了する(END)。「問題あり 再調整」の選択ボタンが選択操作された場合(S31のNO)、動作フローはS28に戻る。
【0126】
[・フィードバックフィルタ部の調整の動作フローについて]
図15図18を参照しながら、フィードバックフィルタ部53L,53Rの調整の動作フローについて説明する。図15は、図6に示すフィードバックフィルタ部53L,53Rの調整の動作フローを例示する模式図である。図16は、図15に示す、全キャンセルに係るステップのそれぞれにおけるスマートフォンPの表示部77での表示を例示する模式図である。図17は、図15に示す、自動調整に係るステップのそれぞれにおけるスマートフォンPの表示部77での表示を例示する模式図である。図18は、図15に示す、手動調整に係るステップのそれぞれにおけるスマートフォンPの表示部77での表示を例示する模式図である。
【0127】
なお、この動作フローの実行の際、スマートフォンPまたはイヤフォン2L,2Rは、ANC回路40L,40Rのフィードバックフィルタ部53L,53Rのそれぞれが機能するようにON制御を行う。また、図16図18で「ANC」の表記はActive Noise Cancelの略であり、フィードバックフィルタ部53L,53Rのことを意味する。
【0128】
図15に示すように、スマートフォンPは、その表示部77に「調整を開始します」の旨のメッセージとともに、「全キャンセル調整」「自動調整」および「ユーザ調整」の選択ボタン(ガイダンス情報の一例)を表示して(図16の画面例D41参照)、どの調整を選択するのかユーザUに選択を促す(S41)。ユーザUによって「自動調整」が選択操作された場合、動作フローはステップS45に進む。また、「ユーザ調整」が選択操作された場合、動作フローはステップS51に進む。
【0129】
「全キャンセル調整」が選択操作された場合(S41の「全キャンセル」)、スマートフォンPはその表示部77に「こもり成分を全てキャンセルします」の旨のメッセージを表示する(図16の画面例D42参照)。それと同時に、スマートフォンPは、イヤフォン2L,2Rのそれぞれにおいて、左側(右側)のイヤフォン2L(2R)の骨伝導センサ9L(9R)からの音声信号、および右側(左側)のイヤフォン2R(2L)の骨伝導センサ9R(9L)からの音声信号のそれぞれをキャンセルするための、2つのイヤフォン2L,2Rのそれぞれのフィードバックフィルタ部53L,53Rのパラメータ調整を指示する。
【0130】
この指示に基づいて、左右のイヤフォン2L,2Rのそれぞれのフィードバックフィルタ部53L,53Rはそのパラメータ調整を実行し、前述した左右耳のそれぞれでの直接的な骨伝導振動での音声信号(図2参照:以下「直接骨伝導振動」と称する)、およびクロストーク経路での音声信号(図3参照:以下「クロストーク振動」と称する)をキャンセルした状態で放音可能とする(S42,S43)。
【0131】
全キャンセル調整の完了後、スマートフォンPはその表示部77に「調整完了」および「発話してください」の旨のメッセージを表示し(図16の画面例D43参照)、ユーザUに発話させる。次にスマートフォンPは、その表示部77に「問題あり 自動調整へ」および「問題なし」の選択ボタンを表示する(図16の画面例D44参照)。それとともに、スマートフォンPは、実際にその発話を左右のイヤフォン2L,2Rのそれぞれで収音および放音させて、そのパラメータ調整の結果に問題あるかないかをユーザUに確認させる(S44)。ユーザUの確認によって「問題なし」の選択ボタンが選択操作された場合(S44のYES)、動作フローは終了する(END)。
【0132】
ユーザUの確認によって「問題あり 自動調整へ」の選択ボタンが選択操作された場合(S44のNO)、スマートフォンPはその表示部77に「自動調整を開始します」の旨のメッセージ、および性別および年齢を入力するための選択ボタンを表示する(図17の画面例D51参照)。この表示により、スマートフォンPは、ユーザUに性別および年齢を入力するようにユーザUに選択を促す(S45,S46)。ユーザUによって選択操作されると、スマートフォンPは、そのメモリ部75から前述のデータベース76を呼び出して参照する(S47)。スマートフォンPは、ユーザUの性別および年齢に対応した調整値を参照して、その調整値に基づいて、左右のイヤフォン2L,2Rのそれぞれに対して直接骨伝導振動およびクロストーク振動のキャンセル量の調整値を決定する。
【0133】
この決定により、スマートフォンPは、左右のイヤフォン2L,2Rのそれぞれに対しそのフィードバックフィルタ部53L,53Rのパラメータ調整を指示する。その指示に基づいて、左右のイヤフォン2L,2Rのそれぞれは、そのフィードバックフィルタ部53R,53Lのパラメータ調整を実行する(S48,S49)。
【0134】
パラメータ調整の完了後、スマートフォンPはその表示部77に「調整完了」および「発話してください」の旨のメッセージを表示し(図17の画面例D52参照)、ユーザUに発話させる。次にスマートフォンPは、その表示部77に「問題あり ユーザ調整へ」および「問題なし」の選択ボタンを表示する(図17の画面例D53参照)。それとともに、スマートフォンPは、実際にその発話を左右のイヤフォン2L,2Rのそれぞれで収音および放音させて、そのパラメータ調整の結果に問題があるか否かをユーザUに確認させる(S50)。ユーザUの確認によって「問題なし」の選択ボタンが選択操作された場合(S50のYES)、動作フローは終了する(END)。
【0135】
ユーザUの確認によって「問題あり ユーザ調整へ」の選択ボタンが選択操作された場合(S50のNO)、スマートフォンPはその表示部77に「ユーザ調整を開始します」の旨のメッセージを表示して(図18の画面例D61参照)、自動調整からユーザ調整へ切り替える(S51)。ユーザ調整への切替後、スマートフォンPは、直接骨伝導振動およびクロストーク振動のキャンセル量のそれぞれを手動調整のための設定インジケーター、および増減設定ボタン「(+)」「(-)」を表示する(図18の画面例D62参照)。本実施の形態では、この増減設定ボタンのそれぞれによって、±1dB刻み(ピッチ)で調整可能に設けられる。
【0136】
ユーザUは、直接骨伝導振動およびクロストーク振動のキャンセル量のそれぞれについて、増減設定ボタンを必要に応じて選択(押下)操作することで自分の好みに調整する。例えば、ユーザUは、直接骨伝導振動のキャンセル量を調整した後(S52)、クロストーク振動のキャンセル量を調整する(S53)。
【0137】
ユーザUによる手動調整の完了後、スマートフォンPはその表示部77に「調整完了」および「発話してください」の旨のメッセージを表示し(図18の画面例D63参照)、ユーザUに発話させる。次にスマートフォンPは、その表示部77に「問題あり 再調整」または「問題なし」の選択ボタンを表示する(図18の画面例D64参照)。それとともに、スマートフォンPは、実際にその発話を左右のイヤフォン2L,2Rのそれぞれで収音および放音させて、その調整の結果に問題があるか否かをユーザUに確認させる(S54)。ユーザUの確認によって「問題なし」の選択ボタンが選択操作された場合(S54のYES)、動作フローは終了する(END)。「問題あり 再調整」が選択操作された場合(S54のNO)、動作フローはステップS52に戻る。
【0138】
以上により、本実施の形態の音響制御システム1によれば、ユーザUの左耳および右耳のそれぞれに装着される2つのイヤフォン2L,2Rと、ユーザUにより携帯されるスマートフォンP(無線端末の一例)と、を備える。それぞれのイヤフォン2L,2Rは、ユーザUの周囲音信号を検知する外部マイク7L,7R(第1マイクの一例)と、ユーザUの発話に基づく音声信号を検知する骨伝導センサ9L,9R(第2マイクの一例)と、外部マイク7L,7Rにより検知された周囲音信号あるいは骨伝導センサ9L,9Rにより検知された音声信号の音響特性を調整するサイドトーンフィルタ部47L,47Rおよびフィードバックフィルタ部53L,53R(音響フィルタの一例)と、スマートフォンPとの間で無線を介したデータ通信を行う無線通信部33L,33R(第1通信デバイスの一例)と、を有する。スマートフォンPは、2つのイヤフォン2L,2Rとの間で無線を介したデータ通信を行う通信部79(第2通信デバイスの一例)と、TSP信号(所定信号の一例)を音響的に出力するスピーカ部72(スピーカの一例)と、TSP信号がスピーカ部72から出力された際に2つのイヤフォン2L,2Rのそれぞれから送られた、外部マイク7L,7Rからの周囲音信号の音響特性および骨伝導センサ9L,R9Rからの音声信号の音響特性に基づいて、2つの音響パラメータITD,IIDを導出するプロセッサ部73(信号処理部の一例)と、有する。プロセッサ部73は、2つの音響パラメータITD,IIDの導出結果に基づいて、2つのイヤフォン2L,2Rのそれぞれのサイドトーンフィルタ部47L,47Rおよびフィードバックフィルタ部53L,53Rのパラメータ調整を2つのイヤフォン2L,2Rのそれぞれに指示する。
【0139】
また、本実施の形態の音響制御方法によれば、ユーザUの左耳および右耳のそれぞれに装着される2つのイヤフォン2L,2Rと、ユーザUにより携帯されるスマートフォンP(無線端末)と、を制御する音響制御方法である。それぞれのイヤフォン2L,2Rに対しては、ユーザUの周囲音信号を検知する第1収音ステップと、ユーザUの発話に基づく音声信号を検知する第2収音ステップと、第1収音ステップにより検知された周囲音信号あるいは第2収音ステップにより検知された音声信号の音響特性を調整する音響フィルタステップと、スマートフォンPとの間で無線を介したデータ通信を行う第1通信ステップと、を少なくとも有する。スマートフォンPに対しては、2つのイヤフォン2L,2Rとの間で無線を介したデータ通信を行う第2通信ステップと、TSP信号(所定信号の一例)を音響的に出力する放音ステップと、そのTSP信号が放音ステップによって出力された際に2つのイヤフォン2L,2Rのそれぞれから送られた、第1収音ステップによって得られる周囲音信号の音響特性および第2収音ステップによって得られる音声信号の音響特性に基づいて、2つの音響パラメータITD,IIDを導出する信号処理ステップと、を少なくとも有する。信号処理ステップでは、2つの音響パラメータITD,IIDの導出結果に基づいて、2つのイヤフォン2L,2Rのそれぞれに対する、音響フィルタステップでのパラメータ調整を2つのイヤフォン2L,2Rのそれぞれに指示する。
【0140】
このため、インパルス信号としてのTSP信号が出力された際に左右のイヤフォン2L,2Rのそれぞれから送られた、周囲音信号に関する音響特性および骨伝導に関する音響特性に基づいて2つの音響パラメータITD,IIDを導出する。この導出により、発話に係る複数の音声信号間の時間差(例えばITD(Interaural Time Difference))およびレベル差(例えばIID(Interaural Intensity Difference))を明確にすることができ(図4参照)、この導出結果に基づいてスマートフォンPのプロセッサ部73は、サイドトーンフィルタ部47L,47Rおよびフィードバックフィルタ部53L,53Rのパラメータ調整をイヤフォン2L,2Rのそれぞれに実行させる。これにより、ユーザUが装着時に自ら発した音声が耳の中でこもるような違和感を持つことを抑制し、ユーザUの利便性の向上を図ることができる。
【0141】
また、本実施の形態の音響制御システム1によれば、スマートフォンP(無線端末の一例)は、表示部77(ディスプレイの一例)をさらに有し、2つの音響パラメータITD,IIDの導出結果をグラフ形式で表示部77に表示する。このため、例えばユーザUが手動でパラメータ調整を行う場合など、ユーザUは、発話に係る複数の音声信号間の時間差(例えばITD)およびレベル差(例えばIID)を容易に把握することができ、そのユーザ調整の利便性を高めることができる。
【0142】
また、本実施の形態の音響制御システム1によれば、2つの音響パラメータは、ITD(Interaural Time Difference)およびIID(Interaural Intensity Difference)である。このため、発話に係る複数の音声信号間の時間差(時間遅延)およびレベル差(レベル減衰)をより簡素(シンプル)かつ迅速に把握することができる。
【0143】
また、本実施の形態の音響制御システム1によれば、スマートフォンP(無線端末の一例)は、スマートフォンPの本体がユーザUにより右斜め前方に保持された状態でTSP信号(所定信号の一例)が出力された際、右耳側のイヤフォン2Rの外部マイク7R(第1マイクの一例)からの周囲音信号、右耳側のイヤフォン2Rの骨伝導センサ9R(第2マイクの一例)からの音声信号、および左耳側のイヤフォン2Lの骨伝導センサ9Lからの音声信号を用いて2つの音響パラメータITD,IIDを導出する。また、スマートフォンPの本体がユーザUにより左斜め前方に保持された状態でTSP信号が出力された際、左耳側のイヤフォン2Lの外部マイク7Lからの周囲音信号、左耳側のイヤフォン2Lの外部マイク7Lからの音声信号、および右耳側のイヤフォン2Rの骨伝導センサ9Rからの音声信号を用いて2つの音響パラメータITD,IIDを導出する。このため、前述したように鼓膜に複数の経路で伝達する、発話に係る複数の音声信号において発話に係る違和感の主原因となる音声信号をより的確に捉えて、ユーザUが装着時に自ら発した音声(発話)が耳の中でこもるような違和感を持つことをより確かに抑制することができる。
【0144】
また、本実施の形態の音響制御システム1によれば、スマートフォンP(無線端末の一例)は、2つの音響パラメータITD,IIDの導出に関する、ユーザUのアクションあるいは選択を促すためのメッセージおよび選択ボタン(ガイダンス情報の一例)をその表示部77(ディスプレイの一例)に表示する。このため、パラメータの調整の過程でユーザUはスマートフォンPの表示部77でどのように操作および対応を取ればよいのか適切に把握することができ、ユーザUの利便性をより高めることができる。
【0145】
また、本実施の形態の音響制御システム1によれば、スマートフォンP(無線端末の一例)は、ユーザUの性別および年齢に対応した2つの音響パラメータITD,IIDごとの調整値を規定するデータベース76をさらに有し、その調整値が得られるように2つのイヤフォン2L,2Rのそれぞれのサイドトーンフィルタ部47L,47Rおよびフィードバックフィルタ部53L,53R(音響フィルタの一例)のパラメータの自動調整を指示する。このため、データベース76の参照に基づいてユーザUの特性に対応したパラメータ調整が自動的に実行されるので、ユーザUの利便性をさらに高めることができる。
【0146】
また、本実施の形態の音響制御システム1によれば、スマートフォンP(無線端末の一例)は、2つの音響パラメータITD,IIDの調整に関する、ユーザUの選択を促すためのメッセージおよび選択ボタン(ガイダンス情報の一例)をその表示部77(ディスプレイの一例)に表示し、ユーザUの選択に基づいて2つのイヤフォン2L,2Rのそれぞれのサイドトーンフィルタ部47L,47Rおよびフィードバックフィルタ部53L,53R(音響フィルタの一例)のパラメータの調整指示を送信する。このため、ユーザUは自己の要望に応じて、例えば自動調整または手動調整を任意に選択することができ、その場合でも自ら発した音声が耳の中でこもるような違和感を適切に抑制した調整を実現することができる。
【0147】
また、本実施の形態の音響制御システム1によれば、スマートフォンP(無線端末の一例)は、一方のイヤフォン2L,2Rの骨伝導センサ9L,9R(第2マイクの一例)からの音声信号、および他方のイヤフォン2L,2Rの骨伝導センサ9L,9Rからの音声信号のそれぞれをキャンセルするための、2つのイヤフォン2L,2Rのそれぞれのフィードバックフィルタ部53L,53R(音響フィルタの一例)のパラメータ調整を指示する。このため、回路基板20L,20Rのフィードバックフィルタ部53L,53Rにより雑音として能動的に除去することができ、自ら発した音声が耳の中でこもるような違和感を持つことをより一層抑制することができる。
【0148】
また、本実施の形態の音響制御システム1によれば、スマートフォンP(無線端末の一例)は、ユーザUの性別および年齢に対応した音響パラメータITD,IIDごとの調整値を規定するデータベース76をさらに有し、その調整値に基づいて、一方のイヤフォン2L,2Rの骨伝導センサ9L,9R(第2マイクの一例)からの音声信号、および他方のイヤフォン2L,2Rの骨伝導センサ9L,9R(第2マイクの一例)からの音声信号のそれぞれをキャンセルするための、2つのイヤフォン2L,2Rのそれぞれのフィードバックフィルタ部53L,53R(音響フィルタの一例)のパラメータ調整を指示する。このため、フィードバックフィルタ部53L,53Rにより発話に係る違和感を能動的に除去する場合でも、データベース76の参照に基づいてユーザUの特性に対応したパラメータ調整が自動的に実行されるので、ユーザUの利便性をさらに高めることができる。
【0149】
また、本実施の形態の音響制御システム1によれば、スマートフォンP(無線端末の一例)は、一方のイヤフォン2L,2Rの骨伝導センサ9L,9R(第2マイクの一例)からの音声信号、および他方のイヤフォン2L,2Rの骨伝導センサ9L,9Rからの音声信号のそれぞれをキャンセルするための、2つの音響パラメータITD,IIDの調整に関するユーザUの選択を促すためのメッセージおよび選択ボタン(ガイダンス情報の一例)をその表示部77(ディスプレイの一例)に表示し、ユーザUの選択に基づいて2つのイヤフォン2L,2Rのそれぞれのフィードバックフィルタ部53L,53R(音響フィルタの一例)のパラメータの調整指示を送信する。このため、フィードバックフィルタ部53L,53Rにより発話に係る違和感を能動的に除去する場合でも、ユーザUは自己の要望に応じて、例えば自動調整または手動調整を任意に選択することができユーザUの利便性をより高めることができる。
【0150】
(変形例)
図19を参照しながら、前述の実施の形態1に係る変形例について説明する。図19は、本変形例に係る、左右一対のイヤフォン2L,2Rのそれぞれの回路基板20L,20Rでの処理を例示する機能ブロック図である。なお、前述の実施の形態1と同一または同等部分については、その説明が重複するため、図面に同一符号を付してその説明を省略あるいは簡略化する。
【0151】
図19に示すように、前述の実施の形態1のスマートフォンPのプロセッサ部73に設けられていたIID/ITD算出部84L,84Rは、本変形例ではイヤフォン2L,2Rの回路基板20L,20Rの検出回路60L,60Rのそれぞれに設けられる。
【0152】
本変形例のIID/ITD算出部84L,84Rは、マイク音検出部61L,61Rのそれぞれに接続されており、マイク音検出部61L,61Rを介して音声信号を受信する。また、受信した音声信号に基づいて、IID/ITD算出部84L,84Rは、前述したスマートフォンPのIID/ITD算出部74と同様に2つの音響パラメータITD,IIDを導出して、その導出結果に基づいてサイドトーンフィルタ部47L,47Rおよびフィードバックフィルタ部53L,53Rのパラメータ調整を指示する。また、本変形例のIID/ITD算出部84L,84Rは、スマートフォンPに対し無線通信部33L,33Rを通じて種々の情報を送受信可能に設けられる。その他の構成および作用効果は、前述の実施の形態1と同様である。
【0153】
なお、上述したとおり、本実施の形態の図8に関連して、ユーザUの性別および年齢のそれぞれに対応した2つの音響パラメータITD,IIDごとの調整値が規定可能に構築されるデータベース76の全てまたは一部が、ディープラーニングなどの機械学習の手法によって生成された学習データを用いて構築される場合、各学習データを生成するための学習は、1つ以上の統計的分類技術を用いて行っても良い。統計的分類技術としては、例えば、線形分類器(linear classifiers)、サポートベクターマシン(support vector machines)、二次分類器(quadratic classifiers)、カーネル密度推定(kernel estimation)、決定木(decision trees)、人工ニューラルネットワーク(artificial neural networks)、ベイジアン技術および/またはネットワーク(Bayesian echniques and/or networks)、隠れマルコフモデル(hidden Markov models)、バイナリ分類子(binary classifiers)、マルチクラス分類器(multi-class classifiers)、クラスタリング(a clustering technique)、ランダムフォレスト(a random forest technique)、ロジスティック回帰(a logistic regressioon technique)、線形回帰(a linear regression technique)、勾配ブースティング(a gradient boosting technique)等が挙げられる。但し、使用される統計的分類技術はこれらに限定されない。さらに、学習データの生成は、イヤフォン2L,2Rが無線通信する相手となる装置の一例としてのスマートフォンP内の処理部で行われても良いし、例えばネットワークを用いてスマートフォンPと接続されるサーバ装置で行われても良い。これにより、ユーザUの性別および年齢のそれぞれに対応した2つの音響パラメータITD,IIDごとの調整値は、イヤフォン2L,2Rを使用するユーザUに合わせて調整可能となる。また、ユーザUによるイヤフォン2L,2Rの使用状態の変化や、ユーザUの周囲の状況の変化に合わせて調整可能となる。
【0154】
以上、図面を参照しながら実施の形態について説明したが、本開示はかかる例に限定されないことはいうまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、前述した実施の形態における各構成要素を任意に組み合わせてもよい。
【産業上の利用可能性】
【0155】
ユーザが装着時に自ら発した音声が耳の中でこもるような違和感を持つことを抑制し、ユーザの利便性の向上を図ることができる音響制御システムおよび音響制御方法として有用である。
【符号の説明】
【0156】
1 音響制御システム
2L,2R イヤフォン
6L,6R 内部マイク
7L,7R 外部マイク
8L,8R 発話用マイク
9L,9R 骨伝導センサ
20L,20R 回路基板
30L,30R メイン回路
31L,31R 音楽再生・電話モード切替部
32L,32R 音量調整部
33L,33R 無線通信部
34L,34R 送信回路
35L,35R 受信回路
40L,40R ANC回路
41L,41R 第1アンプ部
42L,42R 第2アンプ部
43L,43R 第3アンプ部
44L,44R 第4アンプ部
45L,45R 第1アナログ・デジタル変換部
46L,46R 第2アナログ・デジタル変換部
47L,47R サイドトーンフィルタ部
48L,48R アンビエントフィルタ・音量調整部
49L,49R フィードフォワードフィルタ部
50L,50R 第1デジタル加算部
51L,51R 第2デジタル加算部
52L,52R デジタル・アナログ変換部
53L,53R フィードバックフィルタ部
54L,54R アナログ加算部
60L,60R 検出回路
61L,61R マイク音検出部
62L,62R 発話検出部
63L,63R ビームフォーム部
64L,64R 雑音抑圧部
71 マイク部
72 スピーカ部
73 プロセッサ部
74 IID/ITD算出部
75 メモリ部
76 データベース
77 表示部
78 操作部
79 通信部
84L,84R IID/ITD算出部
P スマートフォン
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19