知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-01-10
(45)【発行日】2025-01-21
(54)【発明の名称】聴覚支援装置及びシステム、並びに音源定位装置
(51)【国際特許分類】
G10L 21/0272 20130101AFI20250114BHJP
G10L 25/51 20130101ALI20250114BHJP
H04R 3/00 20060101ALI20250114BHJP
H04R 25/00 20060101ALI20250114BHJP
【ＦＩ】
G10L21/0272 100Z
G10L25/51 400
H04R3/00 320
H04R25/00 H
【請求項の数】
8
(21)【出願番号】P 2021019825
(22)【出願日】2021-02-10
(65)【公開番号】P2022122533
(43)【公開日】2022-08-23
【審査請求日】2023-12-20
【新規性喪失の例外の表示】特許法第３０条第２項適用 令和２年１１月５日、ウェブサイト ｈｔｔｐｓ：／／ｋｅｉｈａｎａｎａ－ｄｉｇｉｔａｌ．ｃｏｍ／ａｔｒ－ｏｐｅｎｈｏｕｓｅ２０２０／ｅｎｔｒａｎｃｅ 及び ｈｔｔｐｓ：／／ｋｅｉｈａｎａｎａ－ｄｉｇｉｔａｌ．ｃｏｍ／ｖｒ／ｋｓｃ２０２０／４２０／ｖｔｏｕｒ／ｔｏｕｒ．ｈｔｍｌ？ｓ＝ｐａｎｏ２８３０＆３ｈ＝１８０ で公開されたＡＴＲオープンハウス２０２０にて発表。
(73)【特許権者】
【識別番号】393031586
【氏名又は名称】株式会社国際電気通信基礎技術研究所
(74)【代理人】
【識別番号】100099933
【弁理士】
【氏名又は名称】清水 敏
(72)【発明者】
【氏名】イシイ カルロス トシノリ
(72)【発明者】
【氏名】劉 超然
【審査官】相澤 祐介
(56)【参考文献】
【文献】特開２０１７－０９２７３２（ＪＰ，Ａ）
【文献】特開２０１５－２１１３０３（ＪＰ，Ａ）
【文献】特開２０１６－１７７１５３（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ１０Ｌ ２１／０２７２
Ｇ１０Ｌ ２５／５１
Ｈ０４Ｒ ３／００
Ｈ０４Ｒ ２５／００
(57)【特許請求の範囲】
【請求項1】
利用者の聴覚を補助するための聴覚支援装置であって、対象物の位置を検出する位置検出装置の出力と、マイクロフォンアレイからの出力とを用いて音源の位置を特定し出力する音源定位手段と、
周囲の音声を表す音声信号を送信可能な端末からの音声信号、前記マイクロフォンアレイからの音声信号、及び前記音源定位手段により特定された前記音源の位置に基づき、前記音源からの音声を互いに分離して音声信号として出力するための音源分離手段と、
前記利用者の顔姿勢、前記音源定位手段により特定された前記音源の位置、及び前記音源分離手段により各音源について分離して出力された音声信号に基づき、特定の音源からの音声信号を選択的に再構成するための音声信号再構成手段と、
前記端末を管理する端末管理手段と、
前記端末管理手段により管理されている前記端末のうち任意の端末をターゲット又はアンチターゲットとして指定するための端末指定手段と、
前記端末指定手段により指定された端末からの音声信号を、指定にしたがって前記音声信号再構成手段による音声信号の再構成の対象として選択又は除外するためのターゲット選択・除外手段とを含み、
前記端末指定手段は、
前記端末管理手段により管理されている端末を表すシンボルと、前記音源分離手段により分離された音源を表すシンボルとを、各シンボルの位置を表す二次元的表示として表示装置上に表示するシンボル表示手段と、
前記表示装置に表示されている前記端末のシンボルのいずれかをユーザとの対話により選択して、ターゲット又はアンチターゲットとする指定に関するユーザ入力を受けるためのターゲット・アンチターゲット入力手段と、
前記端末管理手段により管理されている端末のうち、前記ターゲット・アンチターゲット入力手段によりターゲット又はアンチターゲットとして指定された端末に関し、当該指定を表すターゲットフラグを記憶するターゲットフラグ記憶手段とを含む、聴覚支援装置。
【請求項2】
さらに、前記端末からの音声信号が所定のアンチターゲットフラグにより標識されていることに応答して、当該端末からの音声信号を前記音声信号再構成手段による音声信号の再構成の対象から除外するためのアンチターゲット除外手段を含む、請求項１に記載の聴覚支援装置。
【請求項3】
前記端末管理手段は、前記聴覚支援装置による聴覚支援への参加を求める端末からの参加要求に応答して、当該端末の初期位置を決定して記憶するための位置記憶手段と、
前記表示装置に表示されている特定の端末を表す特定シンボルの、前記表示装置上での表示位置を変化させるユーザ入力に応答して、前記特定シンボルの前記表示装置上での表示位置に基づいて、前記位置記憶手段に記憶されている前記特定の端末の位置を更新する位置更新手段とを含む、請求項１又は請求項２に記載の聴覚支援装置。
【請求項4】
前記端末管理手段はさらに、参加可能な聴覚支援に関する情報を求める新規端末からの要求に応答して、当該新規端末に対して前記聴覚支援装置を識別する識別情報を送信する識別情報送信手段と、
前記識別情報に応答して前記新規端末から前記識別情報を指定した参加要求があったことに応答して、当該新規端末に関する情報を記憶するための新たなレコードを前記位置記憶手段に生成するレコード生成手段とを含む、請求項３に記載の聴覚支援装置。
【請求項5】
前記端末は所定の通信規格により無線通信を行う機能を持つ通信端末であり、前記聴覚支援装置は、前記所定の通信規格に従う無線通信を行う無線通信装置をさらに含み、
前記音源分離手段は、前記無線通信装置が前記端末から受信する音声信号を用いて前記音源の位置を決定する、請求項１から請求項４のいずれか１項に記載の聴覚支援装置。
【請求項6】
前記通信端末はスマートフォンである、請求項５に記載の聴覚支援装置。
【請求項7】
利用者の聴覚を補助するための聴覚支援システムであって、対象物の位置を検出する位置検出装置と、
少なくとも１つのマイクロフォンアレイと、
前記位置検出装置の出力と、前記マイクロフォンアレイからの出力とを用いて音源の位置を特定し出力する音源定位手段と、
周囲の音声を表す音声信号を送信可能な端末からの音声信号、前記マイクロフォンアレイからの音声信号、及び前記音源定位手段により特定された前記音源の位置に基づき、各前記音源からの音声を互いに分離して音声信号として出力するための音源分離手段と、
前記利用者の顔姿勢、前記音源定位手段により特定された前記音源の位置、及び前記音源分離手段により各音源について分離して出力された音声信号に基づき、特定の音源からの音声信号を選択的に再構成するための音声信号再構成手段と、
前記端末を管理する端末管理手段と、
前記端末管理手段により管理されている前記端末のうち任意の端末をターゲット又はアンチターゲットとして指定するための端末指定手段と、
前記端末指定手段により指定された端末からの音声信号を、指定にしたがって前記音声信号再構成手段による音声信号の再構成の対象として選択又は除外するためのターゲット選択・除外手段とを含み、
前記端末指定手段は、
前記端末管理手段により管理されている端末を表すシンボルと、前記音源分離手段により分離された音源を表すシンボルとを、各シンボルの位置を表す二次元的表示として表示装置上に表示するシンボル表示手段と、
前記表示装置に表示されている前記端末のシンボルのいずれかをユーザとの対話により選択して、ターゲット又はアンチターゲットとする指定に関するユーザ入力を受けるためのターゲット・アンチターゲット入力手段と、
前記端末管理手段により管理されている端末のうち、前記ターゲット・アンチターゲット入力手段によりターゲット又はアンチターゲットとして指定された端末に関し、当該指定を表すターゲットフラグを記憶するターゲットフラグ記憶手段とを含む、聴覚支援システム。
【請求項8】
利用者の聴覚を補助するための聴覚支援システムで使用される音源定位装置であって、対象物の位置を検出する位置検出装置の出力と、マイクロフォンアレイからの出力とを用いて音源の位置を特定し出力する音源定位手段と、
周囲の音声を表す音声信号を送信可能な端末からの音声信号、前記マイクロフォンアレイからの音声信号、及び前記音源定位手段により特定された前記音源の位置に基づき、各前記音源からの音声を互いに分離して音声信号として出力するための音源分離手段と、
前記音源定位手段により特定された前記音源の位置を示す音源位置情報と、前記音源分離手段により音源ごとに分離された音声信号とを互いに関連付けて出力する出力手段と、
前記端末を管理する端末管理手段と、
前記端末管理手段により管理されている前記端末のうち任意の端末をターゲット又はアンチターゲットとして指定するための端末指定手段と、
前記端末指定手段により指定された端末からの音声信号を、指定にしたがって前記出力手段による音声信号の出力の対象として選択又は除外するためのターゲット選択・除外手段とを含み、
前記端末指定手段は、
前記端末管理手段により管理されている端末を表すシンボルと、前記音源分離手段により分離された音源を表すシンボルとを、各シンボルの位置を表す二次元的表示として表示装置上に表示するシンボル表示手段と、
前記表示装置に表示されている前記端末のシンボルのいずれかをユーザとの対話により選択して、ターゲット又はアンチターゲットとする指定に関するユーザ入力を受けるためのターゲット・アンチターゲット入力手段と、
前記端末管理手段により管理されている端末のうち、前記ターゲット・アンチターゲット入力手段によりターゲット又はアンチターゲットとして指定された端末に関し、当該指定を表すターゲットフラグを記憶するターゲットフラグ記憶手段とを含む、音源定位装置。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、音源定位及び音源分離技術を用いて、利用者の聴覚の支援をするための技術に関する。
【背景技術】
【0002】
世界各国で共通して、その国における人口の1割～2割程度が難聴・聴覚障害を持っているといわれている。２００９年の日本補聴器販売店協会による「補聴器供給システムの在り方に関する研究」報告書の中で、日本の難聴者人口は15.7％(1944万人)と報告されている。65歳以上では25～40％、75歳以上では40～66％の割合で見られる。高齢者の難聴は、神経細胞等の老化現象としての老人性難聴である。今後、日本の人口の高齢化に伴い、難聴者数は更に増加すると予想される。
【0003】
しかし、日本で補聴器を使っている人は400万人程度であり、難聴者のうち５人に１人しか補聴器を使っていないことになる。補聴器を途中で使わなくなる難聴者も多い。利用者が補聴器の使用を止める原因は、多くの場合、利用者に合った補聴器を選べていない、又は設定が難しく誤った設定で使用しているためとされている。しかし、それらが適切であっても補聴器単体による快適さ（聞こえやすさ）には限界がある。
【0004】
補聴器があまり使用されない一つの理由として、一般の補聴器にはマイクが埋め込まれているため、周囲の雑音も増幅されてしまうという根本的な問題がある。また、このマイクのためにハウリング（ピーピー音）も起きやすく利用者に苦痛を感じさせる。ハウリング防止の信号処理を施しているものもあるが、その分、補聴器の音量を抑える必要があり、重度難聴には十分な音量が確保できない。
【先行技術文献】
【特許文献】
【0005】
【文献】特開2017-092732公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
従来の補聴器等の聴覚支援装置には、上記した問題だけではなく他の問題もある。例えば、複数の人物がいる場所で複数の人々が会話している状況を考える。通常、人間はこうした状況でも目的とする音声のみを選択し、周囲の音声と区別して聞き取ることができる。ところが、従来の補聴器を使用するだけではこのように選択的に音声を聞き取ることが難しいという問題がある。
【0007】
こうした問題を解決するための一つの提案が、上記特許文献１に開示されている。特許文献１の開示の全てを、ここに参照により援用する。
【0008】
図２０を参照して、特許文献１に開示された聴覚支援システム９００は、マイクロフォンアレイ群９１０と、対象物（話者）までの距離を計測するためのＬＲＦ（Ｌａｓｅｒ Rａｎｇｅｆｉｎｄｅｒ）群９１２と、マイクロフォンアレイ群９１０の出力及びＬＲＦ群９１２の出力に基づいて周囲に存在する音源（話者）の位置を決定しその情報を出力するための音源定位装置９１４と、利用者９１６が装着する、頭部姿勢センサ９１８を持つヘッドセット９２０と、音源定位装置９１４の出力及び頭部姿勢センサ９１８の出力に基づき、利用者が注目している方向の音源（話者）の音声に関し、利用者９１６に３次元的空間のその方向からの音声として聞こえるように音声信号を合成しヘッドセット９２０に出力するための空間感覚合成部９２４と、各音源の位置を２次元的に表示し、音源のうちから音声を再構成すべき音源と音声を抑圧すべき音源とを指定する利用者の入力に応答し、空間感覚合成部９２４に対してその情報を与えるための表示部９２２とを含む。
【0009】
空間感覚合成部９２４は、頭部姿勢センサ９１８の出力に基いて利用者９１６の顔の方向を推定する顔姿勢推定部９５４と、様々な状況における頭部伝達関数を記憶するデータベース９５２と、マイクロフォンアレイ群９１０の中のマイクロフォンアレイと音源との間の距離に基づき、音源定位装置９１４から出力される各音源からの音声信号（音源信号）の振幅を補正するための音量制御部９５０と、音量制御部９５０により音量が制御された音源信号に対し、顔姿勢推定部９５４により推定された利用者９１６の顔の方向及び音源の間の角度に基き、データベース９５２から利用者９１６の左右の耳のための適切な頭部伝達関数を選択して適用することで、利用者９１６の顔の向きに応じて音声空間を再構成する音声信号を生成するための音空間再構成部９５６とを含む。
【0010】
このとき、利用者９１６の顔の向きに応じ、顔の前方の所定範囲内にある音源からの音は強調され、所定範囲外にある音源からの音は減衰されるように、それぞれの音声が調節される。そのため、利用者は自己が注目している音源からの音声を、他の音声より強調した形で聞くことができる。利用者の顔姿勢に基づいて強調すべき音源を特定できるので、利用者にとって自然な形で自分が注目している話者の音声を聞くことができる。
【0011】
しかし、上記特許文献１に開示の聴覚支援システムは、複数のマイクロフォンアレイと複数のＬＲＦとを必要とする。例えば利用者が外出したり、必要な設備が整っていない部屋で会合に出席したりする場合、これらを全て携帯することは現実的ではない。したがって、特許文献１に開示されたような聴覚支援システムによる効果を、より手軽に実現できる聴覚支援システムが望まれている。
【0012】
それ故にこの発明は、目的となる音声を他の音声と区別して明瞭に聞くことができ、かつ手軽に実現できる聴覚支援装置及びシステム、音源定位装置、聴覚支援システムのための入力装置、コンピュータプログラム、並びに距離検出装置一体型マイクロフォンアレイを提供することを目的とする。
【課題を解決するための手段】
【0013】
本発明の第１の局面に係る、利用者の聴覚を補助するための聴覚支援装置は、対象物の位置を検出する位置検出装置の出力と、マイクロフォンアレイからの出力とを用いて音源の位置を特定し出力する音源定位手段と、周囲の音声を表す音声信号を送信可能な端末からの音声信号、マイクロフォンアレイからの音声信号、及び音源定位手段により特定された音源の位置に基づき、音源からの音声を互いに分離して音声信号として出力するための音源分離手段と、利用者の顔姿勢、音源定位手段により特定された音源の位置、及び音源分離手段により各音源について分離して出力された音声信号に基づき、特定の音源からの音声信号を選択的に再構成するための音声信号再構成手段とを含む。
【0014】
好ましくは、聴覚支援装置は、さらに、端末からの音声信号が所定のアンチターゲットフラグにより標識されていることに応答して、当該端末からの音声信号を音声信号再構成手段による音声信号の再構成の対象から除外するためのアンチターゲット除外手段を含む。
【0015】
より好ましくは、聴覚支援装置は、さらに、端末を管理する端末管理手段と、端末管理手段により管理されている端末のうち任意の端末をターゲット又はアンチターゲットとして指定するための端末指定手段と、端末指定手段により指定された端末からの音声信号を、指定にしたがって音声信号再構成手段による音声信号の再構成の対象として選択又は除外するためのターゲット選択・除外手段とを含む。
【0016】
さらに好ましくは、端末指定手段は、端末管理手段により管理されている端末を表すシンボルと、音源分離手段により分離された音源を表すシンボルとを、各シンボルの位置を表す二次元的表示として表示装置上に表示するシンボル表示手段と、表示装置に表示されている端末のシンボルのいずれかをユーザとの対話により選択して、ターゲット又はアンチターゲットとする設定に関するユーザ入力を受けるためのターゲット・アンチターゲット入力手段と、端末管理手段により管理されている端末のうち、ターゲット・アンチターゲット入力手段によりターゲット又はアンチターゲットとして設定された端末に関し、当該指定を表すターゲットフラグを記憶するターゲットフラグ記憶手段とを含む。
【0017】
好ましくは、端末管理手段は、聴覚支援装置による聴覚支援への参加を求める端末からの参加要求に応答して、当該端末の初期位置を決定して記憶するための位置記憶手段と、表示装置に表示されている特定の端末を表す特定シンボルの、表示装置上での表示位置を変化させるユーザ入力に応答して、特定シンボルの表示装置上での表示位置に基づいて、位置記憶手段に記憶されている特定の端末の位置を更新する位置更新手段とを含む。
【0018】
より好ましくは、端末管理手段はさらに、参加可能な聴覚支援に関する情報を求める新規端末からの要求に応答して、当該新規端末に対して聴覚支援装置を識別する識別情報を送信する識別情報送信手段と、識別情報に応答して新規端末から識別情報を指定した参加要求があったことに応答して、当該新規端末に関する情報を記憶するための新たなレコードを位置記憶手段に生成するレコード生成手段とを含む。
【0019】
さらに好ましくは、端末は所定の通信規格により無線通信を行う機能を持つ通信端末であり、聴覚支援装置は、所定の通信規格に従う無線通信を行う無線通信装置をさらに含み、音源分離手段は、無線通信装置が端末から受信する音声信号を用いて音源の位置を決定する。
【0020】
好ましくは、通信端末はスマートフォンである。
【0021】
本発明の第２の局面に係る聴覚支援システムは、利用者の聴覚を補助するための聴覚支援システムであって、対象物の位置を検出する位置検出装置と、少なくとも１つのマイクロフォンアレイと、位置検出装置の出力と、マイクロフォンアレイからの出力とを用いて音源の位置を特定し出力する音源定位手段と、周囲の音声を表す音声信号を送信可能な端末からの音声信号、マイクロフォンアレイからの音声信号、及び音源定位手段により特定された音源の位置に基づき、各音源からの音声を互いに分離して音声信号として出力するための音源分離手段と、利用者の顔姿勢、音源定位手段により特定された音源の位置、及び音源分離手段により各音源について分離して出力された音声信号に基づき、特定の音源からの音声信号を選択的に再構成するための音声信号再構成手段とを含む。
【0022】
本発明の第３の局面に係る音源定位装置は、利用者の聴覚を補助するための聴覚支援システムで使用される音源定位装置であって、対象物の位置を検出する位置検出装置の出力と、マイクロフォンアレイからの出力とを用いて音源の位置を特定し出力する音源定位手段と、周囲の音声を表す音声信号を送信可能な端末からの音声信号、マイクロフォンアレイからの音声信号、及び音源定位手段により特定された音源の位置に基づき、各音源からの音声を互いに分離して音声信号として出力するための音源分離手段と、音源定位手段により特定された音源の位置を示す音源位置情報と、音源分離手段により音源ごとに分離された音声信号とを互いに関連付けて出力する出力手段とを含む。
【0023】
本発明の第４の局面に係る入力装置は、利用者の聴覚を補助するための聴覚支援システムで使用される入力装置であって、少なくとも聴覚支援システムにおいて使用される端末を管理するための端末管理手段と、端末管理手段により管理されている端末を表すシンボルと、聴覚支援システム内の音源を表すシンボルとを、各端末の位置を表す二次元的表示として表示装置上に表示するシンボル表示手段と、表示装置に表示されている端末のシンボルのいずれかをユーザとの対話により選択して、ターゲット又はアンチターゲットとする設定に関するユーザ入力を受けるためのターゲット・アンチターゲット入力手段と、ターゲット・アンチターゲット入力手段による設定がされた端末と、当該端末に対する当該設定とを関連付けて出力する設定出力手段とを含む。
【0024】
好ましくは、入力装置はさらに、端末管理手段により管理されている端末の各々について、表示装置を使用した利用者との対話型処理により当該端末の位置を更新するための位置更新手段を含む。
【0025】
本発明の第５の局面に係るコンピュータプログラムは、マイクロフォンと、無線通信装置と、マイクロフォン及び無線通信装置に接続されたコンピュータとを含む通信端末を、利用者の聴覚を補助するための聴覚支援システムにおける音声入力装置として機能させるためのコンピュータプログラムであって、コンピュータを、通信端末を聴覚支援システムにおけるアンチターゲットとして設定するか否かに関するユーザ入力を設定する設定入力手段と、無線通信装置を介して、マイクロフォンから入力された音声信号を聴覚支援システム内の音源定位装置に送信する送信手段と、設定入力手段により入力された設定にしたがって、送信手段により送信される音声信号をアンチターゲットフラグにより標識するための標識手段として機能させる。
【0026】
本発明の第６の局面に係る距離検出装置一体型マイクロフォンアレイは、筐体と、筐体に設けられたマイクロフォンアレイと、筐体に設けられ、筐体の周囲に存在する対象物までの距離を検出する距離検出装置と、マイクロフォンアレイの出力及び距離検出装置の出力を外部に送信する無線通信機とを含む。
【0027】
好ましくは、距離検出装置は、各々が筐体に設けられ、筐体の周囲の所定角度範囲に存在する対象物までの距離を検出する、複数個のレーザレンジファインダを含む。
【0028】
より好ましくは、複数個のレーザレンジファインダは、当該複数個のレーザレンジファインダにより筐体の周囲の全周角度内に存在する距離を検出可能となるように配置されている。
【0029】
この発明の上記及び他の目的、特徴、局面及び利点は、添付の図面と関連して理解されるこの発明に関する次の詳細な説明から明らかとなるであろう。
【図面の簡単な説明】
【0030】
【発明を実施するための形態】
【0031】
以下の説明及び図面では、同一の部品には同一の参照番号を付してある。したがって、それらについての詳細な説明は繰返さない。
【0032】
第１ 第１実施形態
１ 構成
（１）概略構成
図１を参照して、室内に複数の話者５４、…、話者６４がいるものとする。これら話者のうち、話者５４は話者５６と、話者５８は話者６０と、話者６２は話者６４と、それぞれ会話している。この状況で、例えば聴覚に障害を持つ利用者５０がこれらの対話の内容を聞き取る場合を考える。この例では、１６個のＭＥＭＳ（Ｍｉｃｒｏ－Ｅｌｅｃｔｒｏ－Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ）マイクロフォンを半球状に離散的に配置した１台のマイクロフォンアレイと２台のＬＲＦとが一体となったＬＲＦ一体型マイクロフォンアレイ５２を用い、例えば話者が座っている前のテーブルの中央にこのＬＲＦ一体型マイクロフォンアレイ５２を配置する。ＬＲＦ一体型マイクロフォンアレイ５２が一体型であるため、このＬＲＦ一体型マイクロフォンアレイ５２は容易に携帯できる。またＬＲＦ一体型マイクロフォンアレイ５２の筐体には、前記した２台のＬＲＦが互いに背中合わせに設けられている。これらＬＲＦの各々はその前方１８０度の範囲の対象物までの距離を測定できる。その結果、ＬＲＦ一体型マイクロフォンアレイ５２は、その全周にわたりＬＲＦ一体型マイクロフォンアレイ５２から対象物までの距離を測定できる。またこの例では、ＭＥＭＳマイクロフォンは、それぞれ観葉植物を模して半球状に配置された１６枚の葉の中央に設けられている。
１ 構成
（１）概略構成
図１を参照して、室内に複数の話者５４、…、話者６４がいるものとする。これら話者のうち、話者５４は話者５６と、話者５８は話者６０と、話者６２は話者６４と、それぞれ会話している。この状況で、例えば聴覚に障害を持つ利用者５０がこれらの対話の内容を聞き取る場合を考える。この例では、１６個のＭＥＭＳ（Ｍｉｃｒｏ－Ｅｌｅｃｔｒｏ－Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ）マイクロフォンを半球状に離散的に配置した１台のマイクロフォンアレイと２台のＬＲＦとが一体となったＬＲＦ一体型マイクロフォンアレイ５２を用い、例えば話者が座っている前のテーブルの中央にこのＬＲＦ一体型マイクロフォンアレイ５２を配置する。ＬＲＦ一体型マイクロフォンアレイ５２が一体型であるため、このＬＲＦ一体型マイクロフォンアレイ５２は容易に携帯できる。またＬＲＦ一体型マイクロフォンアレイ５２の筐体には、前記した２台のＬＲＦが互いに背中合わせに設けられている。これらＬＲＦの各々はその前方１８０度の範囲の対象物までの距離を測定できる。その結果、ＬＲＦ一体型マイクロフォンアレイ５２は、その全周にわたりＬＲＦ一体型マイクロフォンアレイ５２から対象物までの距離を測定できる。またこの例では、ＭＥＭＳマイクロフォンは、それぞれ観葉植物を模して半球状に配置された１６枚の葉の中央に設けられている。
【0033】
この実施形態では、利用者５０はその両耳にマイク内蔵型のイヤホンを装着している。このイヤホンは通常時には補聴器としても動作する構成を持つ。ここでは、イヤホンには利用者５０の頭部の姿勢を検知するためのセンサも搭載されており、この実施形態に係る聴覚支援システムの中心である聴覚支援装置にその情報を送信する。頭部の姿勢に関する情報は、利用者５０の顔姿勢の推定に用いられる。
【0034】
図１に示すように利用者５０が話者５４及び話者５６の方を向いているときには、この聴覚支援装置は、頭部姿勢センサの出力に基いて利用者５０が話者５４及び話者５６の方向を向いていると判定する。そして、話者５４、…、話者６４の音声のうち、話者５４及び話者５６の音声のみを３次元空間的に話者５４及び話者５６からの音声として利用者５０が感じられるように、話者５４及び話者５６の音声を表わす音声信号を再構成し、利用者５０のイヤホンに送信する。利用者５０はイヤホンにより再生された音声により、話者５４及び話者５６の対話を明瞭に聞き取ることができる。
【0035】
一方、図２を参照して、利用者５０が話者６２及び話者６４の方向を向いたものとする。利用者５０の姿勢センサの出力に基づき、図示しない聴覚支援装置は利用者５０が注目している方向を推定し、その方向にいる話者６２及び話者６４の音声を図１の話者５４及び話者５６の音声と同様に再構成して得た音声信号を利用者５０のイヤホンに送信する。したがって図２に示す状態では利用者５０は、話者６２及び話者６４の音声を明瞭に聞き取ることができる。
【0036】
ところで、特許文献１に記載の聴覚支援システムでは、複数個のマイクロフォンアレイを使用することが前提とされている。それらのマイクロフォンアレイの出力と複数のＬＲＦの出力とを使用することで、複数の音源の定位と各音源からの音声の分離とが可能になる。
【0037】
しかし、図１及び図２に示すようにＬＲＦ一体型マイクロフォンアレイ５２のみを用いる場合、マイクロフォンアレイとの距離が大きな話者については、その音声を十分に取得できない。そのため、特許文献１に記載されたように特定の話者の音声を常に明瞭に再構成することが難しいという問題がある。マイクロフォンアレイが複数あればこうした問題を解決することは容易になるが、この実施形態のように聴覚支援システムを出先でも構築するという目的に照らすと複数のマイクロフォンアレイを用いることは現実的ではない。
【0038】
そこでこの実施形態では、ＬＲＦ一体型マイクロフォンアレイ５２が取得する音声だけではなく、話者５４、…、話者６４が持ついわゆるスマートフォンをマイクロフォン代わりに用いることとする。スマートフォンはマイクを持っているため、少なくともスマートフォンの近傍にいる話者の音声を電気信号に変換できる。さらにほとんど全てのスマートフォンはワイファイ通信機能を持っているため、ワイファイ通信を介して聴覚支援装置に対して音声を送信できる。聴覚支援装置はワイファイ通信を介して受信したスマートフォンの音声から、そのスマートフォンの近傍にいる特定の話者の音声を再構成できる。なおこの場合、各話者のスマートフォンを全て使用する必要はない。例えば話者５４、話者５６についてはいずれか一方が所有するスマートフォンのみを両者の間に置けば、１台のスマートフォンで両者の音声を取得できる。
【0039】
図３に、この実施形態に係る聴覚支援システム１００の概念的な概略構成を示す。図３を参照して、聴覚支援システム１００は、図１及び図２に示すＬＲＦ一体型マイクロフォンアレイ５２を含む。聴覚支援システム１００はさらに、追加のＬＲＦ１０４及びマイクロフォンアレイ１０６等をＬＲＦ一体型マイクロフォンアレイ５２とは別に入力装置として持つこともできる。ただしそのように追加のＬＲＦ及びマイクロフォンアレイを使用する場合、話者のスマートフォンを使用する必要はなく、実質的に特許文献１に開示された聴覚支援装置と同じ構成を持つことになる。したがって以下の説明では、ＬＲＦ１０４もマイクロフォンアレイ１０６も利用せず、ＬＲＦ一体型マイクロフォンアレイ５２のみを使用する場合を想定して聴覚支援システム１００の概略構成について説明する。
【0040】
ＬＲＦ一体型マイクロフォンアレイ５２は、マイクロフォンアレイ１３４と、ＬＲＦ１３０及びＬＲＦ１３２とを含む。ＬＲＦ１３０及びＬＲＦ１３２は互いに背中合わせにＬＲＦ一体型マイクロフォンアレイ５２の筐体に配置される。ＬＲＦ１３０及びＬＲＦ１３２は各々、前方の１８０度の範囲内に存在する対象物までの距離を検出可能である。したがってＬＲＦ１３０及びＬＲＦ１３２によりＬＲＦ一体型マイクロフォンアレイ５２の全周について、ＬＲＦ一体型マイクロフォンアレイ５２から対象物までの距離を測定できる。
【0041】
聴覚支援システム１００はさらに、ＬＲＦ一体型マイクロフォンアレイ５２のＬＲＦ１３０及びＬＲＦ１３２からの出力に基づき、人の位置を検出し追跡してその情報を出力する人位置検出追跡部１１２と、ユーザの指示を受けるための操作Ｉ／Ｆ１２２と、人位置検出追跡部１１２のマイクロフォンアレイ１３４からの音声、人位置検出追跡部１１２の出力、利用者が装着するユーザマイク１１８及び頭部姿勢センサ１２０、操作Ｉ／Ｆ１２２を介して受けたアンチターゲット（音声を抑圧する対象の話者）に関する利用者の指示、及びこの聴覚支援システム１００に参加している話者が使用しているスマートフォン１０８、１１０等及びユーザマイク１１８からの音声信号に基づき、ユーザが注目している範囲に存在する話者の音声を強調して音空間の再構成を行い、ユーザが装着しているステレオイヤホン１１６に音声信号を送信するための注意指向・取捨選択型聴覚支援装置１１４とを含む。
【0042】
注意指向・取捨選択型聴覚支援装置１１４は、人位置検出追跡部１１２の出力及びマイクロフォンアレイ１３４の出力に基いて、各音源の音声を分離し追跡する音声追跡部１３６と、人位置検出追跡部１１２の出力する各音源の位置、音声追跡部１３６により追跡されている各音源からの音声信号及び頭部姿勢センサ１２０の出力から推定される利用者の顔の向き（顔姿勢）に基き、利用者のステレオイヤホン１１６の左右のチャネルに対応した頭部伝達関数ＨＲＴＦ（Ｈｅａｄ－Ｒｅｌａｔｅｄ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）を用いてステレオイヤホン１１６で再生する左右の音声信号を再構成して合成するＨＲＴＦ処理部１３８とを含む。
【0043】
（２）詳細構成
ア 聴覚支援システム１００
図４以下を参照して、図３に示す聴覚支援システム１００について、その具体的な構成について説明する。聴覚支援システム１００は、環境センサネットワーク１５０、音環境処理装置１５２、利用者指向音声再生部１５４及び利用者装着デバイス１５６を含む。
ア 聴覚支援システム１００
図４以下を参照して、図３に示す聴覚支援システム１００について、その具体的な構成について説明する。聴覚支援システム１００は、環境センサネットワーク１５０、音環境処理装置１５２、利用者指向音声再生部１５４及び利用者装着デバイス１５６を含む。
【0044】
環境センサネットワーク１５０は図３に示すＬＲＦ一体型マイクロフォンアレイ５２、マイクロフォンアレイ１０６、ＬＲＦ１０４、スマートフォン１０８及びスマートフォン１１０を含む。なお、図４では環境センサネットワーク１５０はマイクロフォンアレイ群及び距離センサ群を含む。しかし、以下の説明ではマイクロフォンアレイ群としては図３に示すマイクロフォンアレイ１３４のみを使用し、距離センサ群としては図３に示すＬＲＦ１３０及びＬＲＦ１３２のみを使用する。この実施形態は、ＬＲＦ一体型マイクロフォンアレイ５２のみが使用可能であることを想定しているためである。これ以上の数のマイクロフォンアレイ及び距離センサを使用する場合、聴覚支援システム１００の構成及び動作が実質的に特許文献１による処理と同様の構成と同様になると考えられる。
【0045】
図４を参照して、利用者が装着する利用者装着デバイス１５６は、左右マイク２２０、左イヤホン２２２及び右イヤホン２２４、並びに頭部姿勢センサ１２０を含む。
【0046】
【0047】
音環境処理装置１５２は、マイクロフォンアレイ群の出力に基づいて、ＬＲＦ一体型マイクロフォンアレイ５２の位置を中心とする３次元の音源方向を推定する３次元空間音源方向推定部１７０と、距離センサ群の出力に基いて各測定時点での各話者の位置を検出するための人位置検出部１７２と、３次元空間音源方向推定部１７０の出力及び人位置検出部１７２の出力に基づき、３次元の音環境（音源の位置）を示す音環境知能地図を作成する音環境知能地図作成部１７６と、音環境知能地図作成部１７６が作成する音環境知能地図を記憶するための音環境知能地図記憶部１７４と、環境センサネットワーク１５０のマイクロフォンアレイ群及びスマートフォン群が出力する音声信号と、音環境知能地図作成部１７６により作成された音環境知能地図による音源の配置（位置）とに基いて、利用者ごとに選択的に音源を分離する利用者別音源分離部１７８、１８０、及び１８２とを含む。例えば利用者別音源分離部１７８は、第１の利用者を支援するために、第１の利用者が注目する音源からの音声を環境センサネットワーク１５０からの音声信号から選択的に分離し、各音源の位置に関する情報（位置情報）とともに出力する選択的音源分離部１９０を含む。利用者別音源分離部１８０及び１８２も同様に構成されている。
【0048】
音環境知能地図作成部１７６による音源の位置の推定は以下のようにして行われる。３次元空間音源方向推定部１７０により、マイクロフォンアレイに到来する音声の到来方向が推定される。人位置検出部１７２の出力とＬＲＦ一体型マイクロフォンアレイ５２の位置とに基づき、距離センサ群が検知した物体の位置に関する情報が得られる。距離センサ群が検知した物体のいずれかが、マイクロフォンアレイから音源の方向に引いた半直線のいずれかの上、又はその半直線から所定の範囲内にあれば、その物体がその音声の音源であると判定し、距離センサ群が検知した位置をその音源の位置と判定する。以下の説明では、利用者以外の話者がＪ人いるものとする。
【0049】
なお、ここでいう「利用者」とは、聴覚支援システムの支援を受ける利用者のことをいい、単に聴覚支援システム内の会話に参加している「話者」とは異なる。この聴覚支援システムは、一つの聴覚支援システムのみを運用してその中で複数の利用者を支援することもできるし、複数の聴覚支援システムを運用しながら、各システムの利用者を別々に支援することもできる。以下では、説明を簡明にするために、支援対象となる利用者が１名のみ、例えば利用者別音源分離部１７８に対応する第１の利用者のみであるものとする。
【0050】
また、選択的音源分離部１９０は、音源分離を行うときに、左右マイク２２０が収集する利用者の声が左イヤホン２２２及び右イヤホン２２４を介して少し遅れて利用者に聞こえることを防ぐよう、左右マイク２２０の出力を受けて各音声信号に利用者の声を抑圧する機能を持つ。
【0051】
利用者指向音声再生部１５４は、頭部姿勢センサ１２０の出力に基いて利用者の頭部動作（姿勢）を追跡するための利用者の頭部動作追跡部２０６と、選択的音源分離部１９０から受けた各音源、ＬＲＦ一体型マイクロフォンアレイ５２及び各スマートフォンの位置と、聴覚支援システム１００の支援を受ける利用者の位置とを表示装置上に表示し、利用者の操作により後述するようにスマートフォンの位置、及びターゲット（音声を聞く対象となる話者）又はアンチターゲットの指定を利用者との対話型処理により受け、更新後の状況を表示する音選択インターフェイス２００と、選択的音源分離部１９０から受ける各音源の音声信号、音選択インターフェイス２００から受ける各音源及び各スマートフォンの位置、ターゲット／アンチターゲットの指定、及び利用者の頭部動作追跡部２０６から受ける利用者の顔の推定角度２３０を使用して、利用者の注意対象及び各話者のプライバシーを考慮した選択的な音量制御を各音源からの音声に対して行うための選択的音量制御部２０２と、利用者の頭部動作追跡部２０６から受ける利用者の頭部姿勢並びに選択的音源分離部１９０から受ける各音源の方向・位置情報及び推定された利用者の顔の向きに応じて音源の位置を再構成し、利用者の両耳のための左右のチャネルに対応した正確な頭部伝達関数をそれぞれ生成するための音源の空間的変換部２０４と、音源の空間的変換部２０４により再構成された頭部伝達関数を用いて、利用者の両耳のための音声信号を左右のチャネルについてそれぞれ生成し、左イヤホン２２２及び右イヤホン２２４に出力するための音声信号生成部２０８とを含む。
【0052】
なお、利用者装着デバイス１５６は聴覚支援システム１００を用いた聴覚支援のための音声信号の再生にも用いられるが、単独で補聴器としても用いられる。したがって、利用者装着デバイス１５６には、聴覚支援システム１００による支援を受けるために利用するときと、補聴器として使用するときとで、異なる音量バランスで左右マイク２２０からの音声を左イヤホン２２２及び右イヤホン２２４にフィードバックするための音量制御機構（図示せず）が設けられる。
【0053】
図５を参照して、音選択インターフェイス２００には、音環境知能地図作成部１７６により作成された音環境知能地図に応じて、ＬＲＦ一体型マイクロフォンアレイ５２、各話者（話者５４、…、話者６４）、及び利用者５０がそれぞれに対応する位置にシンボルで表示される。ＬＲＦ一体型マイクロフォンアレイ５２、話者、及び利用者５０はそれぞれ異なるシンボルで表示され、各話者は同じシンボルだが例えば互いに異なる番号（図示せず）が重畳される。また、音源とは別にこのシステムに参加しているスマートフォン２５０、…、スマートフォン２５４もこれらとは別のシンボルで表示される。デフォルトではＬＲＦ一体型マイクロフォンアレイ５２が画面中央に配置される。図５の場合には、この図はＬＲＦ一体型マイクロフォンアレイ５２の前面が右に来るように描画されるが、利用者５０が画面の下部中央にくるように回転して表示することもできる。
【0054】
例えば利用者指向音声再生部１５４は利用者５０が持つタブレット型コンピュータにより実現され、図５に示す画面はそのディスプレイに表示される。利用者が特定の音源をターゲット又はアンチターゲットとして指定する場合、利用者５０はその音源に対応するシンボルをディスプレイ上でタップする。所定のダイアログがディスプレイに現れ、利用者はその音源をターゲット又はアンチターゲットとして指定する。スマートフォン２５０、…、スマートフォン２５４については、この実施形態では、後述するように各スマートフォンが聴覚支援システム１００に参加するときに、そのＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）機能により得た位置情報をタブレット型コンピュータに送信する。この位置情報を受信したタブレット型コンピュータはその位置にスマートフォンのシンボルを表示する。その位置は必ずしも正確とは言えないが、そのシンボルを利用者５０がドラッグアンドドロップによりし正しい位置に移動させることにより、利用者指向音声再生部１５４の音選択インターフェイス２００がスマートフォンの位置を正しく決定できる。
【0055】
図６を参照して、図４に示す選択的音源分離部１９０は、マイクロフォンアレイ１３４から各音源の音声を分離した音源信号２９２、…、音源信号２９４を、ユーザマイク１１８から利用者５０の音声信号を、スマートフォンマイク２８６、…、スマートフォンマイク２８８から各スマートフォンの音声信号をそれぞれ受け、各デバイスからの信号を同期した後、チャネル間の干渉信号（妨害音）の漏れを抑える処理を行うためのチャネル間抑圧部２９０とを含む。チャネル間抑圧部２９０は、マイクロフォンアレイ１３４からの音源信号２９２、…、２９４についてはそれぞれチャネル間抑圧後の音源信号３１０、…、３１２を、スマートフォンマイク２８６、…、２８８については同様にチャネル間抑圧後の音源信号３１４、…、３１６を、それぞれ出力する。チャネル間抑圧部２９０は、ユーザマイク１１８からの音声については、チャネル間抑圧の際に用いるだけで、出力はしない。
【0056】
選択的音源分離部１９０はさらに、チャネル間抑圧部２９０から出力される、マイクロフォンアレイ１３４からの信号である音源信号３１０、…、３１２について、マイクロフォンアレイ１３４から各音源までの距離を要素とする距離ベクトルｒ１を用いて、距離による音声信号の振幅の正規化をし正規化された音源信号群３３０を出力するためのゲイン正規化部３００と、スマートフォンマイク２８６、…、２８８から各話者までの距離ｒｐ１、…、ｒｐｎを用いてこれらの出力する音声信号の、距離による正規化を行い正規化された音源信号３３４及び３３６を出力するゲイン正規化部３０４、…、３０６とを含む。
【0057】
なお、ここではマイクロフォンアレイがマイクロフォンアレイ１３４の１個だけの場合を示している。しかしマイクロフォンアレイが２個以上あってもよいことは当然であり、それは特許文献１に記載されているとおりである。ただし、前述したようにこの発明はマイクロフォンアレイが１個だけのときに特に意味がある。マイクロフォンアレイが複数個あるときにはスマートフォンを使用する必要がないため、その構成及び動作は特許文献１と基本的に同様であると考えてよい。したがって、ここでは、マイクロフォンアレイ１３４以外のマイクロフォンアレイは存在していないものとして説明する。
【0058】
また、図６の前段の処理として、図６には図示してないが、スマートフォンからの信号に含まれるターゲット・アンチターゲットフラグを参照し、このフラグの値が「１」のときにはその信号に対するゲインを０とする処理が存在する。この処理については図１７を参照して後述する。
【0059】
チャネル間抑圧部２９０は、マイクロフォンアレイ１３４によるビームフォーミングでは十分な音源分離が出来ずチャネル間で干渉信号（妨害信号）の漏れがあるときに、そのような干渉信号の漏れを抑えるための処理である。この処理には、例えば特許文献１に記載のようにウィーナーフィルタを用いればよい。
【0060】
図７を参照して、図６に示すマイクロフォンアレイ１３４がＮ１個のマイクを持つものとする。これらは図７ではマイク１
１、…、１
Ｎ１として示されている。マイクロフォンアレイ１３４は、これらＮ１個のマイクからの音声信号の各々についてノイズの抑圧を行うためのノイズ処理部３２０と、ノイズ処理部３２０によりノイズが抑圧された音声信号を、図４に示す音環境知能地図作成部１７６により推定された各音源（話者）の位置に関する情報を用いたビームフォーミングにより分離し、分離後の音声信号（音源信号２９２、…、音源信号２９４）を出力するためのビームフォーマ生成部３２２とを含む。前述したように、ここでは、利用者以外の話者が全部でＪ人いるものとしている。
【0061】
ノイズ処理部３２０は、マイクロフォンアレイ１３４の１番目のマイク１
１からの音声信号のノイズを推定するためのノイズ推定部３４０と、ノイズ推定部３４０により推定されたノイズをマイク１
１の音声信号から除去することによりノイズを抑圧するためのノイズ抑圧部３４４とを含む。ノイズ処理部３２０は以下同様にして、マイクロフォンアレイ１３４のＮ１番目のマイク１
Ｎ１からの音声信号のノイズを推定するためのノイズ推定部３４２と、ノイズ推定部３４２により推定されたノイズをマイク１
Ｎ１からの音声信号から除去することによりノイズを抑圧するためのノイズ抑圧部３４６まで、全部でＮ１個のノイズ推定部及びノイズ抑圧部の組を含む。ここでの抑圧の対象となるノイズは定常ノイズであって、対象となる音源からの音声信号が存在しない区間での平均スペクトルとして推定される。
【0062】
ビームフォーマ生成部３２２は、音環境知能地図作成部１７６により推定された第１話者の位置に基づき、ノイズ処理部３２０に含まれるノイズ推定部３４２、…、３４６の出力を用いたＤＳ（Ｄｅｌａｙ－Ｓｕｍ）ビームフォーミングを行い、第１話者からの音声を分離・強調した音源信号２９２として出力するＤＳビームフォーマ３６０を含む。以下同様にして、ビームフォーマ生成部３２２は、話者が全部でＪ人いるものとして、第Ｊ話者からの音声を分離・強調した信号を出力するＤＳビームフォーマ３６２まで、全部でＪ個のＤＳビームフォーマを含む。
【0063】
図８を参照して、図６に示すスマートフォンマイク２８６は、ノイズ推定部３８０と、ノイズ推定部３８０の出力に基づきスマートフォンマイク２８６の音声信号からノイズを除去するノイズ抑圧部３８２とを含む。この構成は基本的に図７に示すノイズ処理部３２０の各マイクに関するものと同じである。図６に示すスマートフォンマイク２８８もまたスマートフォンマイク２８６と同様の構成を持つ。
【0064】
図９を参照して、図６に示すゲイン正規化部３００は、チャネル間抑圧部２９０から出力されるノイズが抑圧された音源信号３１０、…、３１２に対し、ＬＲＦ一体型マイクロフォンアレイ５２から各話者までの距離ｒ１、…、ｒJを用いて、ｇ＝１／ｒｉ（ｉ＝１、…、Ｊ）により示されるゲインをそれぞれ乗じることによりゲイン正規化を行い正規化された音源信号群３３０を出力するためのＪ個の個別ゲイン正規化部４００、…、４０２を含む。
【0065】
図１０を参照して、図４に示す選択的音量制御部２０２及び音声信号生成部２０８はそれぞれ以下のような構成を持つ。なお、この実施形態では、前述したようにマイクロフォンアレイが１個の場合を想定する。したがって図１０以下では、図６に示すマイクロフォンアレイ１３４及びゲイン正規化部３００については説明するが、それ以外のマイクフォロンアレイに関する構成は図示していないことに注意が必要である。
【0066】
選択的音量制御部２０２は、ゲイン正規化部３００からの正規化された音源信号群３３０（音源信号４１４、…、音源信号４１６）、ゲイン正規化部３０４、…、３０６からの音源信号３３４、…、３３６を受け、音源信号のうち、利用者がターゲットとして指定した音源からの信号についてはゲインを１に、利用者又はスマートフォンの所有者がアンチターゲットとして指定した音源からの信号についてはゲインを０に、それぞれ設定するためのターゲット／アンチターゲット選択部４２０と、ターゲット／アンチターゲット選択部４２０が出力する各音源信号のうち、図４に示す利用者の頭部動作追跡部２０６により推定された利用者の顔の推定角度２３０により、利用者が注意を向けている方向の対象音源に３ｄＢのゲインをかけ、それ以外の方向には－３ｄＢのゲインをかけることにより、利用者の注意に応じた音源からの音声を選択的に強調するための注意対象の自動選択部４２２とを含む。
【0067】
より詳細には、この実施形態では、注意対象の自動選択部４２２は図１１の加算器５１０により示すようなゲインを利用者の顔の方向に対する角度に基いて、各方向の音声信号に乗ずる。この実施形態では注意対象の自動選択部４２２は、顔の方向を０度とする相対角度で－３０度から３０度の範囲のビームに対し、コサイン波で－３ｄＢから３ｄＢとなるようゲインを自動調整している。このゲインをアテンション・ゲインと呼ぶ。このアテンション・ゲインにより、利用者の顔が向いている方向を中心とするその両側３０度内に存在する音源からの音声が、それ以外の音声に対して選択的に強調される。ゲインは、利用者の顔が向いている方向が最大となり、そこからはなれるほど小さくなり、利用者の顔が向いている方向から３０度以上離れたところからは一定のゲインとなる。
【0068】
音声信号生成部２０８は、注意対象の自動選択部４２２が出力するマイクロフォンアレイからの音源信号、及びスマートフォンからの音源信号に対しそれぞれ設けられ、それら音源信号に対し、利用者の顔の方向と、利用者から音源への方向との間の角度に基いてそれぞれ適切な頭部伝達関数に基づいて利用者に与える左右の音声信号を生成し出力する音像再構築部４５０を含む。
【0069】
音像再構築部４５０は、各音源に対して設けられ、各音源からの音源信号にそれぞれの音源について算出された頭部伝達関数に基くフィルタを適用し、左右の音声信号を出力するための複数のＨＲＴＦ処理部４７０、…、４７８を含む。これらＨＲＴＦ処理部４７０、…、４７８はいずれも同じ構成を持つ。
【0070】
例えばＨＲＴＦ処理部４７０はマイクロフォンアレイ１３４からの第１話者の音源信号に対する処理を行う。ＨＲＴＦ処理部４７０は、利用者の顔の方向と、利用者の位置及び第１話者の位置とから、利用者の顔の方向と、利用者から第１話者への方向との相対的角度を算出するためのターゲット角度算出部４８０と、算出されたターゲット角度に基いて適切な頭部伝達関数を選択し、注意対象の自動選択部４２２からの第１話者の音源信号に対しこの頭部伝達関数に基づく左耳用のフィルタを通し、左耳用の音声信号を生成するための左耳ＨＲＴＦフィルタ４８２と、同じく右耳用の音声信号を生成するための右耳ＨＲＴＦフィルタ４８４とを含む。ＨＲＴＦ処理部４７２、…、４７６等の構成もＨＲＴＦ処理部４７０と同様である。したがって音像再構築部４５０からは、話者の数×２＋スマートフォンの数×２の数だけの音声信号が出力される。
【0071】
音声信号生成部２０８はさらに、音像再構築部４５０の出力のうち、左耳用の音声信号を全て加算し左耳のための音声信号を生成する左音声合成部４９０と、同様に音像再構築部４５０の出力のうち、右耳用の音声信号を全て加算して右耳用の音声信号を生成する右音声合成部４９２とを含む。
【0072】
左音声合成部４９０は、ＨＲＴＦ処理部４７０、…、４７６からの左耳用の音声信号を全て加算する加算器５００と、加算器５００の出力に対し、利用者装着デバイス１５６を単体で使用するときと、聴覚支援システム１００を利用したときとの音量バランスを設定するためのフィードバックゲイン設定部５０２と、フィードバックゲイン設定部５０２による設定にしたがって加算器５００の出力を調整する加算器５０４とを含む。
【0073】
右音声合成部４９２も同様の構成であり、ＨＲＴＦ処理部４７０、…、４７６からの右耳用の音声信号を全て加算する加算器５１０と、加算器５１０の出力に対し、利用者装着デバイス１５６を単体で使用するときと、聴覚支援システム１００を利用したときとの音量バランスを設定するためのフィードバックゲイン設定部５１２と、フィードバックゲイン設定部５１２による設定にしたがって加算器５１０の出力を調整する加算器５１４とを含む。
【0074】
２ 動作
図１２を参照して、聴覚支援システム１００は以下のように動作する。以下の説明では、この実施形態に係る聴覚支援システム１００は、図４に示す音環境処理装置１５２として機能するコンピュータシステム５３０と、スマートフォン２５０、スマートフォン２５２及びスマートフォン２５４と、図４に示す利用者指向音声再生部１５４として機能する、ユーザが保持するタブレット型コンピュータ５３２と、タブレット型コンピュータ５３２とペアリングされる、１組で図４に示す利用者装着デバイス１５６として機能する左イヤホン２２２及び右イヤホン２２４とを含むものとする。左イヤホン２２２及び右イヤホン２２４は無線によりタブレット型コンピュータ５３２と通信可能である。また図１２には示していないが、左イヤホン２２２及び右イヤホン２２４には、それぞれ図４に示す左右マイク２２０と頭部姿勢センサ１２０とが組み込まれている。ＬＲＦ一体型マイクロフォンアレイ５２、コンピュータシステム５３０、スマートフォン２５０、…、２５４及びタブレット型コンピュータ５３２はいずれも所定の無線規格によって高速に通信可能である。
図１２を参照して、聴覚支援システム１００は以下のように動作する。以下の説明では、この実施形態に係る聴覚支援システム１００は、図４に示す音環境処理装置１５２として機能するコンピュータシステム５３０と、スマートフォン２５０、スマートフォン２５２及びスマートフォン２５４と、図４に示す利用者指向音声再生部１５４として機能する、ユーザが保持するタブレット型コンピュータ５３２と、タブレット型コンピュータ５３２とペアリングされる、１組で図４に示す利用者装着デバイス１５６として機能する左イヤホン２２２及び右イヤホン２２４とを含むものとする。左イヤホン２２２及び右イヤホン２２４は無線によりタブレット型コンピュータ５３２と通信可能である。また図１２には示していないが、左イヤホン２２２及び右イヤホン２２４には、それぞれ図４に示す左右マイク２２０と頭部姿勢センサ１２０とが組み込まれている。ＬＲＦ一体型マイクロフォンアレイ５２、コンピュータシステム５３０、スマートフォン２５０、…、２５４及びタブレット型コンピュータ５３２はいずれも所定の無線規格によって高速に通信可能である。
【0075】
ここでは、利用者がタブレット型コンピュータ５３２、コンピュータシステム５３０及びＬＲＦ一体型マイクロフォンアレイ５２を所持しており、ある部屋にセットアップしたものとする。利用者はＬＲＦ一体型マイクロフォンアレイ５２を部屋の中央等、音源定位がしやすい場所に配置する。利用者がコンピュータシステム５３０及びタブレット型コンピュータ５３２の電源を入れ、コンピュータシステム５３０では聴覚支援プログラムを、タブレット型コンピュータ５３２では聴覚支援クライアントアプリを、それぞれ起動することによりＬＲＦ一体型マイクロフォンアレイ５２、コンピュータシステム５３０及びタブレット型コンピュータ５３２が協調してこの実施形態に係る聴覚支援システム１００としての動作を開始する。
【0076】
例えばスマートフォン２５０を持つ話者がこのシステムに参加するものとする。話者がＬＲＦ一体型マイクロフォンアレイ５２が管理可能な範囲に入ると、図３に示すＬＲＦ一体型マイクロフォンアレイ５２のＬＲＦ１３０及びＬＲＦ１３２のいずれかがその位置を検知し図４に示す人位置検出部１７２に位置情報を与える。この話者が何らかの音声を発すると、その音声が図３に示すマイクロフォンアレイ１３４によりキャプチャされ、ＬＲＦ一体型マイクロフォンアレイ５２から見たその話者の方向（所定方向を基準とする角度）が図３に示す３次元空間音源方向推定部１７０により推定される。３次元空間音源方向推定部１７０はこの角度を示す情報を音環境知能地図作成部１７６に与える。
【0077】
音環境知能地図作成部１７６は、前述したように人位置検出部１７２から入力された対象物の位置と、３次元空間音源方向推定部１７０から与えられた音源方向の情報とに基づき、空間内の話者の位置を推定し、音環境知能地図を作成する。この地図は音環境知能地図記憶部１７４に保存される。新たな話者はこのようにして自動的に音環境知能地図作成部１７６により認識される。話者が減少するときも同様である。音環境知能地図作成部１７６は、このようにして話者が増減するたびに音環境知能地図記憶部１７４を更新する。
【0078】
スマートフォン２５０を持つ利用者は、そのスマートフォン２５０で所定の聴覚支援用アプリを起動し、その聴覚支援用アプリをコンピュータシステム５３０で動作している聴覚支援プログラムに接続する。その手順等については後述する。この実施形態では、後述するように聴覚支援用アプリを起動することで、スマートフォン２５０の持つマイクロフォンが図６に示すスマートフォンマイク２８６として機能し、スマートフォン２５０が収集するその周囲の音声を示す音声信号をコンピュータシステム５３０に無線で送信する。
【0079】
このようにして複数の話者がこの聴覚支援システムに参加するものとする。ただし、例えば会話に参加する全ての話者がスマートフォンをコンピュータシステム５３０に接続させる必要はない。スマートフォンのマイクロフォンは特定の話者に限らず周囲の音声を収集するので、例えば互いに近い位置に２人の話者がいるときには、そのうちの一方のみがそのスマートフォンを聴覚支援システムに参加させればよい。
【0080】
またこの実施形態では、聴覚支援システムに参加するスマートフォンの各々について、参加する話者のプライバシーを保護するために、聴覚支援アプリにおいてそのスマートフォンをアンチターゲットとすることを指定できる。スマートフォンを持つ話者は、いつでもそのスマートフォンをターゲットとアンチターゲットとの間で自由に切り替えることができる。
【0081】
同様に、利用者の側でも、興味のない話については利用者装着デバイス１５６により収集されないよう、スマートフォンごとにターゲットとアンチターゲットとを指定できる。この指定は、図１２に示すタブレット型コンピュータ５３２を用いた対話型の処理により行われる。ただし、利用者がターゲットとして指定したスマートフォンであっても、スマートフォン側でアンチターゲットを指定している場合には利用者にはその音声は聞こえない。こうすることで、利用者にとって不要な音は抑圧でき、またスマートフォンの近傍の話者のプライバシーが保護される。
【0082】
図４を参照して、このようにして音環境処理装置１５２がリアルタイムに音環境知能地図を更新している間に、図３に示すマイクロフォンアレイ１３４からの音声信号が選択的音源分離部１９０により音源ごとに分離された音源信号として選択的音量制御部２０２に入力される。同様にスマートフォン２５０、…、２５４からの音声信号がこれらから無線により音環境処理装置１５２に送信され選択的音源分離部１９０を経て選択的音量制御部２０２に入力される。
【0083】
具体的には、図３及び図６に示すマイクロフォンアレイ１３４は以下のように動作する。図７に示すように、マイクロフォンアレイ１３４のノイズ処理部３２０のうち、ノイズ推定部３４０は、音源からの音声信号が存在しない区間の音声信号から、その平均スペクトルとして定常ノイズを推定しノイズ抑圧部３４４に与える。ノイズ抑圧部３４４は、マイク１
１の出力する音声信号からこの定常ノイズを減算することでマイク１
１の音声信号のノイズを抑圧し、ビームフォーマ生成部３２２に与える。他のノイズ推定部３４２及びノイズ抑圧部３４６等も同様に動作する。この結果、ノイズ処理部３２０からビームフォーマ生成部３２２へは、各マイクが収集した周囲の音声を示す音声信号がマイクの数だけ与えられる。
【0084】
ビームフォーマ生成部３２２のＤＳビームフォーマ３６０には、図３に示す音環境知能地図作成部１７６から第１話者の位置を示す情報が与えられる。ＤＳビームフォーマ３６０はこの情報に基いてノイズ処理部３２０から与えられる各マイクからの音声信号を用いて第１話者の位置に対するビームフォーミングを行い、第１話者の音声を選択し強調し音源信号２９２として図６に示すチャネル間抑圧部２９０に与える。他のビームフォーマにもそれぞれ対応する各話者の位置を示す情報が与えられる。例えばＤＳビームフォーマ３６２には第Ｊ話者の位置情報が与えられ、ＤＳビームフォーマ３６２はマイクロフォンアレイ１３４の出力に基づき、第Ｊ話者の音声を選択し強調した音源信号２９４を出力してチャネル間抑圧部２９０（図６）に与える。
【0085】
図８に示すスマートフォンマイク２８６において、ノイズ推定部３８０及び３８２も図７のノイズ推定部３４０及び３４４と同様の処理をスマートフォンからの音声信号に対して行い、処理の音声信号をチャネル間抑圧部２９０に与える。他のスマートフォンマイク、例えばスマートフォンマイク２８８も同様である。
【0086】
チャネル間抑圧部２９０はこうして入力された各音源からの音源信号について、チャネル間の干渉信号の漏れを防ぐよう、前述したとおりウィーナーフィルタを通し音源信号３１０、…、３１２、３１４、…、３１６として図１０に示すターゲット／アンチターゲット選択部４２０に与える。
【0087】
図９を参照して、ゲイン正規化部３００には、第１話者から第Ｊ話者というＪ個の音源にそれぞれ対応するノイズが抑圧された音源信号３１０、…、３１２が与えられる。音源信号３１０は個別ゲイン正規化部４００に与えられ、以下他の音源信号も同様にして対応の個別ゲイン正規化部に与えられる。例えば最後の音源信号３１２は個別ゲイン正規化部４０２に与えられる。
【0088】
個別ゲイン正規化部４００には、図３に示すマイクロフォンアレイ１３４の位置（ＬＲＦ一体型マイクロフォンアレイ５２の位置）から第１話者までの距離ｒ１
１が与えられる。個別ゲイン正規化部４００はこの距離ｒ１
１を用い、１／ｒ１
１で示されるゲインを音源信号３１０に乗ずることで距離による振幅の正規化を行う。他の個別ゲイン正規化部、例えば個別ゲイン正規化部４０２も同様である。すなわち個別ゲイン正規化部４０２には、第Ｊ話者までの距離ｒ１
Ｊが与えられる。個別ゲイン正規化部４０２は１／ｒ１
Ｊで示されるゲインを音源信号３１２に乗ずることで距離による振幅の正規化を行う。このようにして音源信号４１４、…、４１６からなる正規化された音源信号群３３０が図１０に示す選択的音量制御部２０２のターゲット／アンチターゲット選択部４２０に与えられる。
【0089】
図６に示すスマートフォンマイク２８６、…、２８８等からの音声信号についても同様の処理が行われる。これらについて距離の正規化が行われた音源信号３３４、…、３３６も同様に図１０に示す選択的音量制御部２０２のターゲット／アンチターゲット選択部４２０に与えられる。
【0090】
図１０を参照して、ターゲット／アンチターゲット選択部４２０は、正規化された音源信号群３３０（音源信号４１４、…、４１６）、及び各スマートフォンからの正規化された音源信号３３４、…、３３６のうち、話者又は利用者によりアンチターゲットとして指定されたスマートフォンの音声信号についてはゲインを０に、話者によりアンチターゲットして指定されてないスマートフォンのうち、利用者がターゲットとして指定したスマートフォンからの音声信号についてはゲインを１にして音声信号に乗じ注意対象の自動選択部４２２に出力する。
【0091】
注意対象の自動選択部４２２は、このようにして得られた各音源の音源信号に対し、利用者の顔の推定角度２３０と、その方向並びに各音源及び各スマートフォンへの方向との間の相対的な角度に基づき、各音声信号に図１１のゲイン波形５２０に示すような大きさのゲインを利用者の顔の方向を基準として乗じる。この結果、利用者の注意対象となっている音源からの音声信号が自動的に選択され強調され、それ以外の音源からの音声信号は自動的に減衰される。
【0092】
音声信号生成部２０８の音像再構築部４５０は、音源及びスマートフォンからの音声信号について、それぞれ利用者の顔の方向と対応する音源との間の相対的角度を算出して、適切な頭部伝達関数により左耳用の音声信号と右耳用の音声信号とを生成し音声合成部４５２に与える。音声合成部４５２の左音声合成部４９０は、音像再構築部４５０から出力された左耳用の音声信号を全て加算し、さらにフィードバックゲイン設定部５０２により設定されたフィードバックゲインを加算することで利用者の左耳用音声信号を生成し、左イヤホン２２２に与える。音声合成部４５２も同様にして右耳用音声信号を生成し、右イヤホン２２４に与える。
【0093】
この結果、左イヤホン２２２及び右イヤホン２２４から再生される音声により、利用者の注意対象としている音声が選択的に強調された上で利用者にとって音響空間が再構築され、利用者が注意対象としている話者の音声が適切な方向から明確に聞こえてくるという経験ができる。マイクロフォンアレイの代わりにスマートフォンを使用できるので、複数のマイクフォンアレイが不要で、ＬＲＦ一体型マイクロフォンアレイ５２のみを用いて手軽に聴覚支援システムを構築し運用できる。
【0094】
またこの聴覚支援システムを利用する利用者が複数いるときでも、コンピュータシステム５３０で音響知能地図を共有するようにしてそれらのためのプロセスを複数個動かし、各利用者がタブレット型コンピュータ５３２又はスマートフォンを音声信号生成部２０８として機能させることで、同時に利用できる。また各スマートフォンの所有者はそのスマートフォンをアンチターゲットに指定できるので、各話者のプライバシーも保護できる。
【0095】
３ コンピュータによる実現
図１３を参照して、この発明の上記実施の形態に係る聴覚支援システム１００の一部を構成するコンピュータシステム５３０及びその構成要素は、コンピュータハードウェアと、そのコンピュータハードウェアにより実行されるプログラムと、コンピュータハードウェアに格納されるデータとにより実現される。図１３はコンピュータシステム５３０のハードウェア構成を示す。
図１３を参照して、この発明の上記実施の形態に係る聴覚支援システム１００の一部を構成するコンピュータシステム５３０及びその構成要素は、コンピュータハードウェアと、そのコンピュータハードウェアにより実行されるプログラムと、コンピュータハードウェアに格納されるデータとにより実現される。図１３はコンピュータシステム５３０のハードウェア構成を示す。
【0096】
図１３を参照して、コンピュータシステム５３０は、ネットワーク５５６に接続可能なコンピュータ５４０と、コンピュータ５４０に接続される入力機器であるマウス５４６及びキーボード５４４と、コンピュータ５４０に接続される出力機器であるモニタ５４２と、モニタ５４２に接続されるスピーカ５５０及びマイクロフォン５５２と、モニタ５４２に着脱可能で、随時読み出し・書き換えが可能なＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ５５４とを含む。
【0097】
コンピュータ５４０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉt）５６０と、ＣＰＵ５６０が接続されるバス５８０と、バス５８０に接続され、多数の積和演算を並列かつ高速に実行可能なＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５６２と、バス５８０に接続され、コンピュータシステム５３０のブートアッププログラム等を記憶するＲＯＭ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）５６６と、バス５８０に接続され、プログラム命令、システムプログラム、及び作業データ等を記憶する随時書き換え及び読み出し可能なＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）５６８と、バス５８０に接続された不揮発性メモリであるＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）５７０と、バス５８０に接続され、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）５４８が装着可能なＤＶＤドライブ５７２とを含む。
【0098】
コンピュータ５４０はさらに、バス５８０に接続され、ネットワーク５５６への接続を提供するネットワークＩ／Ｆ５７８と、バス５８０に接続され、ＵＳＢメモリ５５４が着脱可能に装着されるＵＳＢポート５７６と、バス５８０に接続され、スピーカ５５０への音声信号の出力及びマイクロフォン５５２からの音声信号をデジタル化してＣＰＵ５６０が処理可能となるようにする音声Ｉ／Ｆ５７４とを含む。
【0099】
本実施の形態では、図４に示す音環境知能地図記憶部１７４、音選択インターフェイス２００により設定されるターゲット／アンチターゲット情報、図１１に示すコンピュータシステム５２０を特定するデータその他、プログラム実行中に生成されるデータは、プログラム実行時には基本的にＲＡＭ５６８に記憶され、必要に応じてＳＳＤ５７０に書き出され、ＳＳＤ５７０から読み出されてＲＡＭ５６８にロードされる。
【0100】
基本的にこのコンピュータ５４０が実行するコンピュータプログラムは、高級言語で書かれたソースプログラムをコンパイラによりコンパイルしてＣＰＵ５６０が解釈及び実行可能な機械語に変換した後、必要な処理を実現するためにシステムに予めインストールされているライブラリの一部とリンクされたオブジェクトプログラムとして生成される。このコンピュータプログラムは、ＤＶＤ５４８又はＵＳＢメモリ５５４に記憶され、ＤＶＤドライブ５７２又はＵＳＢポート５７６を介してＳＳＤ５７０に転送される。又は、このコンピュータプログラムはネットワーク５５６を通じてコンピュータ５４０に送信されネットワークＩ／Ｆ５７８からＳＳＤ５７０に格納されてもよい。プログラムは実行の際にＲＡＭ５６８にロードされ、実行中には必要に応じてシステムに予めインストールされたライブラリ中のルーチンと動的にリンクされる。又はこのプログラムは、ＤＶＤ５４８からＤＶＤドライブ５７２を介して、ＵＳＢメモリ５５４からＵＳＢポート５７６を介して、又はネットワーク５５６及びネットワークＩ／Ｆ５７８を介して、他の端末又はネットワークに接続された記憶装置から直接にＲＡＭ５６８にロードされてもよい。
【0101】
このプログラムは、コンピュータ５４０にこの実施の形態の聴覚支援システム１００の一部である音環境処理装置１５２として機能させる複数の命令を含む。この動作を行わせるのに必要な基本的機能のいくつかはソースプログラムをコンパイルした後、リンカにより所定のライブラリからリンクされる。さらに他の基本的機能のいくつかは、コンピュータ５４０上で動作するオペレーティングシステム（ＯＳ）若しくはサードパーティのプログラム、又はコンピュータ５４０にインストールされる各種ツールキットのモジュールにより、プログラムの実行時に動的リンクを介して提供される。したがって、このプログラムはこの実施の形態のシステム及び方法を実現するのに必要な機能全てを必ずしも含まなくてよい。このプログラムは、命令のうち、所望の結果が得られるように制御されたやり方で適切な機能又は機械語ルーチンを呼出すことにより、上記したコンピュータシステム５３０及びその構成要素としての動作を実行する命令のみを含んでいればよい。コンピュータシステム５３０の動作は周知であるので、ここでは繰返さない。
【0102】
図１４は、タブレット型コンピュータ５３２のハードウェア構成を示すブロック図である。図１４を参照して、タブレット型コンピュータ５３２は、プロセッサ６６０、ペリフェラルＩ／Ｆ６６４及びメモリコントローラ６６２を搭載した集積回路６３８を含む。プロセッサ６６０、ペリフェラルＩ／Ｆ６６４及びメモリコントローラ６６２は互いにバス６６６を介して通信可能である。
【0103】
集積回路６３８のメモリコントローラ６６２にはメモリ６２８が接続されている。メモリ６２８はこの実施の形態では揮発性メモリと不揮発性メモリとの組み合わせを含む。不揮発性メモリは書き換え可能なフラッシュメモリを含み、例えばプロセッサ６６０を動作させるための基本的プログラム、アプリケーションプログラム等を記憶している。揮発性メモリは作業用メモリ、プログラムの実行時の作業用メモリとして使用される。
【0104】
タブレット型コンピュータ５３２はさらに、ペリフェラルＩ／Ｆ６６４を介してプロセッサ６６０との相互通信が可能な無線通信装置６２０、オーディオ回路６２２、センサ群６２４、ディスプレイコントローラ６３２及びカメラコントローラ６３６と、集積回路６３８に接続され、図示しない可搬型メモリ、可搬型ハードディスク等が接続可能な外部ポート６２６とを含む。ディスプレイコントローラ６３２にはさらにタッチパネルディスプレイ６３０が接続される。カメラコントローラ６３６には同様にカメラ６３４が接続される。
【0105】
タブレット型コンピュータ５３２の動作も基本的には図１３に示すコンピュータシステム５３０と同様である。ただし、タブレット型コンピュータ５３２の場合には、プログラムはメモリ６２８内の不揮発メモリに記憶されており、実行時にはメモリ６２８内の揮発性メモリにロードされる。無線通信装置６２０は、いわゆるワイファイによる通信に加え、近距離で他の装置と直接に通信することもできる。携帯電話回線を介して他の装置と通信可能な機能を持っていてもよい。スマートフォンの場合も構成は図１４に示すものと同様である。ただしスマートフォンの場合には、無線通信装置６２０は携帯電話回線による無線通信及び通話も可能である。またオーディオ回路６２２はマイク、スピーカ及びイヤホン出力回路、並びにデジタル及びアナログ変換回路を含み、マイクにより収集された音声をデジタル変換した後、プロセッサ６６０によりさらに通信用に処理され、無線通信装置６２０を介してパケットとしてタブレット型コンピュータ５３２に送信される。
【0106】
図１５は、スマートフォン（例えばスマートフォン２５０）において、スマートフォン２５０をアンチターゲットとして処理するために、コンピュータプログラムと図１４に示すようなハードウェアとの協働により実現される機能を示す。図１５を参照して、スマートフォン２５０は、プロセッサ６６０のようなプロセッサが実行するプログラムにより、図１４に示すタッチパネルディスプレイ６３０を用いたユーザとの対話処理により、アンチターゲットの設定及び非設定の入力を受け付けるアンチターゲット情報入力部６０４と、アンチターゲット情報入力部６０４により入力されたアンチターゲットに関する設定を記憶するためのアンチターゲット情報記憶部６０６と、マイクロフォン６０２が収集した周囲の音声をデジタル化する音声取得部６０８と、音声取得部６０８によりデジタル化された音声をさらに通信に適した形式に変換した後、所定長の一連のパケットとして組み立てるためのパケット組立部６１０として機能する。
【0107】
スマートフォン２５０はさらに、パケット組立部６１０が組み立てた一連のパケットの各々について、そのパケットヘッダ内の所定の位置にアンチターゲット情報記憶部６０６に記憶されたアンチターゲットに関する情報を示すフラグを設定するパケットヘッダ設定部６１２と、パケットヘッダ設定部６１２が出力する各パケットを、無線通信装置６１６を介してコンピュータシステム５３０に送信するためのパケット送信部６１４として機能する。
【0108】
スマートフォン２５０を持つ話者が、自分たちの会話を利用者に聞いてほしくないと思ったときには、その話者はユーザインターフェイス６００を介してスマートフォン２５０をアンチターゲットに指定する。この設定はアンチターゲット情報入力部６０４からアンチターゲット情報記憶部６０６により与えられ記憶される。
【0109】
一方、音声取得部６０８はマイクロフォン６０２により収集された周囲の音声をデジタル化し、パケット組立部６１０に与える。パケット組立部６１０はこの音声を通信に適するように符号化し、送信先アドレス等を含むヘッダとデータからなるボディとを含むデータパケットを組み立て、パケットヘッダ設定部６１２に順次与える。パケットヘッダ設定部６１２は、これらデータパケットのヘッダ内の、ターゲット／アンチターゲットを示す情報部分にアンチターゲット情報記憶部６０６に記憶されているターゲット／アンチターゲットを示すフラグをセットし、パケット送信部６１４に与える。パケット送信部６１４はこのパケットを、無線通信装置６１６を介してコンピュータシステム５３０に送信する。ここでは、ターゲット／アンチターゲットを示すフラグは、１のときにアンチターゲットを示し、それ以外のときにターゲットであることを示すものとする。
【0110】
図１６は、図１２及び図１３に示すタブレット型コンピュータ５３２が、図４に示す音選択インターフェイス２００の一部として、利用者からターゲット及びアンチターゲットに関する設定を受けるために、プログラムと図１４に示されるハードウェアとの協働により実現する機能を示すブロック図である。
【0111】
図１６を参照して、タブレット型コンピュータ５３２は、図１４に示すタッチパネルディスプレイ６３０及びディスプレイコントローラ６３２と、プログラムとにより、ユーザから任意のスマートフォンについてのターゲット／アンチターゲットの設定の入力を受けるためのターゲット・アンチターゲット情報入力部６４２と、各音源及び各スマートフォンの位置情報を図４に示す選択的音源分離部１９０から受信して記憶し、ターゲット・アンチターゲット情報入力部６４２により指定されたスマートフォンについて、ターゲット・アンチターゲット情報入力部６４２により設定されたターゲット／アンチターゲット情報を記憶するための記憶装置６４４と、記憶装置６４４に記憶された各音源及び各スマートフォンの位置情報に基づき、図５に示すような音源配置を、各音源及び各スマートフォンを表わすシンボルとして図１４に示すタッチパネルディスプレイ６３０上に表示するための音環境知能地図表示部６４６と、音環境知能地図表示部６４６に表示されたスマートフォンのシンボルに対してユーザインターフェイス６４０を介してユーザが表示上の位置を変更する処理を行ったことに応答して、記憶装置６４４に記憶されているそのスマートフォンの位置を変更するためのスマートフォン位置設定部６４８として機能する。音環境知能地図表示部６４６による表示はユーザインターフェイス６４０による操作と記憶装置６４４の記憶内容の変化とに応じ、スマートフォンの位置の変化をリアルタイムで反映する。
【0112】
タブレット型コンピュータ５３２はさらに、記憶装置６４４に記憶されたスマートフォンの位置に変更があったことに応答して、スマートフォンを識別する情報と、その新たな位置とを無線通信装置６５２を介して図４に示す音環境知能地図作成部１７６に送信するための通信制御部６５０を含む。
【0113】
コンピュータシステム５３０では各スマートフォンからの音声データを受信するプログラムが動作している。その制御構造を図１７に示す。図１７を参照してこのプログラムは、データパケットを受信するたびに起動され、そのパケットヘッダを読み（ステップ６８０）、ターゲット／アンチターゲットフラグの値が１か否かを判定し、判定結果にしたがって制御の流れを分岐させる（ステップ６８２）。ステップ６８２の判定が肯定であれば、そのスマートフォンからの音声信号に対するゲインを０に設定し（ステップ６８４）、このデータパケットに対する処理を終了する。
【0114】
ステップ６８２の判定が否定であればさらに、該当するスマートフォンについてタブレット型コンピュータ５３２により設定されたターゲット／アンチターゲットフラグを読む（ステップ６８６）。さらにこのターゲット／アンチターゲットフラグが１か否かを判定し（ステップ６８８）、判定結果にしたがって制御の流れを分岐させる。ステップ６８８の判定が肯定であれば制御はステップ６８４に進み、そのスマートフォンからの音声信号に対するゲインを０に設定してプログラムの実行を終了する。ステップ６８８の判定が否定であれば制御はステップ６９０に進み、そのスマートフォンからの音声信号に対するゲインを１に設定しプログラムの実行を終了する。
【0115】
このような機能を実装することにより、スマートフォンの近くの話者がそのスマートフォンをアンチターゲットに指定すると、その指定は直ちにコンピュータシステム５３０及びタブレット型コンピュータ５３２に送信され記憶される。そのスマートフォンからの音声信号に関する選択的音量制御部２０２でのゲインは直ちに０に設定される。したがって利用者にそのスマートフォンからの会話音声が聞こえることはない。そのスマートフォンをターゲットに指定すると、その指定も直ちにコンピュータシステム５３０及びタブレット型コンピュータ５３２に直ちに送信され記憶される。したがってすぐにそのスマートフォンからの音声が利用者に聞こえるようになる。
【0116】
同様に、利用者がタブレット型コンピュータ５３２により特定のスマートフォンについてアンチターゲットに指定すると、そのスマートフォンからの音声信号のゲインは０となる。またターゲットに指定すると、そのスマートフォンからの音声信号のゲインは１となる。
【0117】
以上の処理の結果、スマートフォンを持つ話者のプライバシーを尊重しながら、かつ利用者に不要な音は利用者に聞こえないようにしながら、利用者が聞きたい音声については利用者が明瞭に聴くことができる。マイクフォロンアレイを複数個準備しなくとも、話者が持っているスマートフォンを利用して、利用者の聴覚支援を手軽に行うことができる。
【0118】
第２ 第２実施形態
１ 構成
第１実施形態では、図６に示すように、チャネル間抑圧部２９０の後段に各音源信号のゲイン正規化を行っている。しかしこの発明はそのような実施形態に限定される訳ではない。この第２実施形態では、ゲイン正規化をチャネル間抑圧部２９０の前段に設ける。
１ 構成
第１実施形態では、図６に示すように、チャネル間抑圧部２９０の後段に各音源信号のゲイン正規化を行っている。しかしこの発明はそのような実施形態に限定される訳ではない。この第２実施形態では、ゲイン正規化をチャネル間抑圧部２９０の前段に設ける。
【0119】
図１８を参照して、この第２実施形態に係る利用者別音源分離部７００は、図６に示す第１実施形態の選択的音源分離部１９０に代えて用いることができる。利用者別音源分離部７００は、図６と同様のマイクロフォンアレイ１３４、ユーザマイク１１８、スマートフォンマイク２８６、…、２８８と、マイクロフォンアレイ１３４から各音源までの距離を要素とする距離ベクトルｒ１を受ける、図９に示す個別ゲイン正規化部４００と同様の構成を持つゲイン正規化部７２０と、ユーザマイク１１８の出力に対しユーザマイク１１８から利用者までの距離ｒＵを受け、その距離ｒＵによりユーザマイク１１８の出力に対し距離による振幅の正規化を行うゲイン正規化部７３０と、スマートフォンマイク２８６、…、２８８の出力に対し、それらとその所持者との間の距離ｒｐ１、…、ｒｐｎを用いて、図６に示すゲイン正規化部３０４、…、３０６と同様、距離による振幅の正規化を行うゲイン正規化部７３２、…、７３４とを含む。
【0120】
ゲイン正規化部７２０の出力する音源信号群、ゲイン正規化部７３０、…、７３２の出する音源信号は、いずれもチャネル間抑圧部２９０に入力され、チャネル間抑圧部２９０でチャネル間の干渉信号の抑圧がされる。
【0121】
その他の点では、この実施形態に係る聴覚支援システムは第１実施形態に係る聴覚支援システム１００と同様の構成を持ち、同様に動作する。
【0122】
このようにゲイン正規化部をチャネル間抑圧部２９０の前に配置することにより、デバイス間のゲインの違いを補正し、チャネル間抑圧の処理で過度または不十分な抑圧を防げるという効果がある。
【0123】
第３ 聴覚支援システムへの参加シーケンス
図１９を参照して、スマートフォンを聴覚支援システムに参加させる際の、聴覚支援システムとスマートフォンとの通信シーケンスは以下のとおりである。ここでは、同じ、又は隣接する空間で、２つの聴覚支援装置７６２及び７６４がそれぞれ別々の聴覚支援システムのサービスを提供しているものとする。上記実施形態に関する説明からも分かるように、聴覚支援装置７６２及び聴覚支援装置７６４は互いに重なり合う空間でも別々に聴覚支援システムを形成できる。
図１９を参照して、スマートフォンを聴覚支援システムに参加させる際の、聴覚支援システムとスマートフォンとの通信シーケンスは以下のとおりである。ここでは、同じ、又は隣接する空間で、２つの聴覚支援装置７６２及び７６４がそれぞれ別々の聴覚支援システムのサービスを提供しているものとする。上記実施形態に関する説明からも分かるように、聴覚支援装置７６２及び聴覚支援装置７６４は互いに重なり合う空間でも別々に聴覚支援システムを形成できる。
【0124】
例えば聴覚支援装置７６２にスマートフォン７６０が参加する場合を想定する。スマートフォン７６０は、近隣の聴覚支援装置に対し、近隣支援システムへの参加のために、各聴覚支援装置の識別子の返信要求を無線通信によりブロードキャストする（ステップ７８０）。この要求に対して聴覚支援装置７６２及び７６４はそれぞれ自分の位置（又はそれらで使用しているＬＲＦ一体型マイクロフォンアレイの位置）と、それぞれが運営している聴覚支援システムの識別子とをスマートフォン７６０に返信する（ステップ７８２、ステップ７８４）。
【0125】
スマートフォン７６０は、これらの配置を、識別子を付したアイコンのようなシンボルで２次元的に表示する。スマートフォン７６０の利用者は、いずれかのシンボルをクリックすることでそのシンボルにより表される聴覚支援装置（例えば聴覚支援装置７６２）を選択する（ステップ７８６）。スマートフォン７６０は、聴覚支援装置７６２への接続要求をスマートフォン７６０の位置情報とともに聴覚支援装置７６２に通知する（ステップ７８８）。この通知を受けた聴覚支援装置７６２はスマートフォン７６０を音環境知能地図に登録し（ステップ７９０）、スマートフォン７６０からの音声信号の処理を行うサービスを開始する（ステップ７９２）。
【0126】
一方、聴覚支援装置７６４では、聴覚支援装置７６４の通知を送信した後、所定時間内にスマートフォン７６０からの参加通知がない場合には、スマートフォン７６０の参加はないものとし、スマートフォン７６０に関する以後の処理を停止する（ステップ７９４）。
【0127】
以上のような手順でスマートフォンを聴覚支援システムに参加させることにより、例えば比較的狭い場所で複数組の聴覚支援システムが別々に運営されているときでも、スマートフォンを適切な聴覚支援システムに参加させることができる。その結果、多くの人が存在している場所で様々なグループが話をしているときでも、利用者は所望のグループの所望の話を選択して明瞭に聴くことが可能になる。
【0128】
また上記実施形態では利用者の顔の方向を、利用者が装着した頭部姿勢センサにより検 第４ 変形例
上記実施形態では、図７に示されるように、ノイズ抑圧をビームフォーマの前に行っている。しかしこの発明はそうした実施形態に限定されるわけではなく、ノイズ抑圧をビームフォーマの後に行うようにしてもよい。
上記実施形態では、図７に示されるように、ノイズ抑圧をビームフォーマの前に行っている。しかしこの発明はそうした実施形態に限定されるわけではなく、ノイズ抑圧をビームフォーマの後に行うようにしてもよい。
【0129】
また上記実施形態では利用者の顔の方向を、利用者が装着した頭部姿勢センサにより検出している。しかしこの発明はそのような実施形態に限定されるわけではない。たとえばＬＲＦ一体型マイクロフォンアレイ５２に利用者の上半身を撮像するカメラを設け、このカメラにより撮影された利用者の画像から、利用者の顔の方向を検出するようにしてもよい。
【0130】
今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味及び範囲内での全ての変更を含む。
【符号の説明】
【0131】
５０ ユーザ
５２ ＬＲＦ一体型マイクロフォンアレイ
５４、５６、５８、６０、６２、６４ 話者
１００、９００ 聴覚支援システム
１０４、１３０、１３２ ＬＲＦ
１０６、１３４ マイクロフォンアレイ
１０８、１１０、２５０、２５２、２５４、７６０ スマートフォン
１１２ 人位置検出追跡部
１１４ 注意指向・取捨選択型聴覚支援装置
１１６ ステレオイヤホン
１１８ ユーザマイク
１２０、９１８ 頭部姿勢センサ
１２２ 操作Ｉ／Ｆ
１３６ 音声追跡部
１３８ ＨＲＴＦ処理部
１５０ 環境センサネットワーク
１５２ 音環境処理装置
１５４ 利用者指向音声再生部
１５６ 利用者装着デバイス
１７０ ３次元空間音源方向推定部
１７２ 人位置検出部
１７４ 音環境知能地図記憶部
１７８、１８０、１８２、７００ 利用者別音源分離部
１９０ 選択的音源分離部
２０２ 選択的音量制御部
２０４ 音源の空間的変換部
２０６ 利用者の頭部動作追跡部
２０８ 音声信号生成部
２９０ チャネル間抑圧部
２９２、２９４、３１４、３１６、４１４、４１６ 音源信号
３００、３０２、３０４、３０６、７２０、７３０、７３２、７３４ ゲイン正規化部
３１０、３１２ 音源信号群
４２０ ターゲット／アンチターゲット選択部
４２２ 注意対象の自動選択部
４５０ 音像再構築部
４５２ 音声合成部
４８０ ターゲット角度算出部
６０４ アンチターゲット情報入力部
６０６ アンチターゲット情報記憶部
６０８ 音声取得部
６１２ パケットヘッダ設定部
６１４ パケット送信部
６４２ ターゲット・アンチターゲット情報入力部
６４４ 記憶装置
６４６ 音環境知能地図表示部
６４８ スマートフォン位置設定部
６６０ プロセッサ
７６２、７６４ 聴覚支援装置
５２ ＬＲＦ一体型マイクロフォンアレイ
５４、５６、５８、６０、６２、６４ 話者
１００、９００ 聴覚支援システム
１０４、１３０、１３２ ＬＲＦ
１０６、１３４ マイクロフォンアレイ
１０８、１１０、２５０、２５２、２５４、７６０ スマートフォン
１１２ 人位置検出追跡部
１１４ 注意指向・取捨選択型聴覚支援装置
１１６ ステレオイヤホン
１１８ ユーザマイク
１２０、９１８ 頭部姿勢センサ
１２２ 操作Ｉ／Ｆ
１３６ 音声追跡部
１３８ ＨＲＴＦ処理部
１５０ 環境センサネットワーク
１５２ 音環境処理装置
１５４ 利用者指向音声再生部
１５６ 利用者装着デバイス
１７０ ３次元空間音源方向推定部
１７２ 人位置検出部
１７４ 音環境知能地図記憶部
１７８、１８０、１８２、７００ 利用者別音源分離部
１９０ 選択的音源分離部
２０２ 選択的音量制御部
２０４ 音源の空間的変換部
２０６ 利用者の頭部動作追跡部
２０８ 音声信号生成部
２９０ チャネル間抑圧部
２９２、２９４、３１４、３１６、４１４、４１６ 音源信号
３００、３０２、３０４、３０６、７２０、７３０、７３２、７３４ ゲイン正規化部
３１０、３１２ 音源信号群
４２０ ターゲット／アンチターゲット選択部
４２２ 注意対象の自動選択部
４５０ 音像再構築部
４５２ 音声合成部
４８０ ターゲット角度算出部
６０４ アンチターゲット情報入力部
６０６ アンチターゲット情報記憶部
６０８ 音声取得部
６１２ パケットヘッダ設定部
６１４ パケット送信部
６４２ ターゲット・アンチターゲット情報入力部
６４４ 記憶装置
６４６ 音環境知能地図表示部
６４８ スマートフォン位置設定部
６６０ プロセッサ
７６２、７６４ 聴覚支援装置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】