知財求人 - 知財ポータルサイト「IP Force」
特開2024-10864情報処理装置、情報処理プログラム、および、情報処理方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024010864
(43)【公開日】2024-01-25
(54)【発明の名称】情報処理装置、情報処理プログラム、および、情報処理方法
(51)【国際特許分類】
H04R 25/00 20060101AFI20240118BHJP
H04R 3/00 20060101ALI20240118BHJP
【ＦＩ】
H04R25/00 H
H04R3/00 320
【審査請求】未請求
【請求項の数】14
【出願形態】ＯＬ
(21)【出願番号】P 2022112417
(22)【出願日】2022-07-13
(71)【出願人】
【識別番号】000000295
【氏名又は名称】沖電気工業株式会社
(74)【代理人】
【識別番号】100140958
【弁理士】
【氏名又は名称】伊藤 学
(74)【代理人】
【識別番号】100137888
【弁理士】
【氏名又は名称】大山 夏子
(74)【代理人】
【識別番号】100190942
【弁理士】
【氏名又は名称】風間 竜司
(72)【発明者】
【氏名】松宮 正太
【テーマコード（参考）】
5D220
【Ｆターム（参考）】
5D220BA06
5D220BC05
(57)【要約】
【課題】補聴器の装着者の利便性のさらなる向上に資する技術を提供する。
【解決手段】補聴器を両耳に装着している装着者の位置と、複数の外部マイクの各々との位置関係に基づいて、前記外部マイクにより収音される話者の音声を音声処理することにより、前記補聴器から前記装着者の前記両耳の各々に出力される前記音声のそれぞれに方向感および距離感を持たせる処理である第一の音声処理を行う、音声処理部と、を備える、情報処理装置。
【選択図】図１
【解決手段】補聴器を両耳に装着している装着者の位置と、複数の外部マイクの各々との位置関係に基づいて、前記外部マイクにより収音される話者の音声を音声処理することにより、前記補聴器から前記装着者の前記両耳の各々に出力される前記音声のそれぞれに方向感および距離感を持たせる処理である第一の音声処理を行う、音声処理部と、を備える、情報処理装置。
【選択図】図１
【特許請求の範囲】
【請求項1】
補聴器を両耳に装着している装着者の位置と、複数の外部マイクの各々との位置関係に基づいて、前記外部マイクにより収音される話者の音声を音声処理することにより、前記補聴器から前記装着者の前記両耳の各々に出力される前記音声のそれぞれに方向感および距離感を持たせる処理である第一の音声処理を行う、音声処理部と、
を備える、情報処理装置。
を備える、情報処理装置。
【請求項2】
前記音声処理部は、前記第一の音声処理として、前記装着者の両耳の各々に出力される前記音声のそれぞれに音量差をもたせる処理を行う、
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項3】
前記音声処理部は、前記第一の音声処理において、前記装着者の位置と、前記音声が収音された前記外部マイクの各々との間の距離が遠いほど、前記装着者の両耳の各々に出力される前記音声のそれぞれの音量を小さくする処理を行う、
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項4】
前記音声処理部は、前記第一の音声処理において、前記音声が収音された外部マイクの各々が、前記装着者の位置を基点とした左右方向のいずれに位置するかを判断し、
前記装着者の両耳の各々に出力される前記音声のそれぞれのうち、前記音声が収音された外部マイクの位置する前記左右方向により近い前記装着者の耳に出力される音声の音量が、もう一方の前記装着者の耳に出力される音量より大きくなるよう音声処理を行う、
請求項２または３に記載の情報処理装置。
前記装着者の両耳の各々に出力される前記音声のそれぞれのうち、前記音声が収音された外部マイクの位置する前記左右方向により近い前記装着者の耳に出力される音声の音量が、もう一方の前記装着者の耳に出力される音量より大きくなるよう音声処理を行う、
請求項２または３に記載の情報処理装置。
【請求項5】
前記外部マイクの各々の位置を示す位置情報を保持する記憶部をさらに備える、
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項6】
所定の入力操作に基づいて前記装着者の位置を確定する位置確定部と、
前記位置確定部において確定された前記装着者の位置を前記記憶部に記憶させる制御を行う、制御部と、
をさらに備える、請求項５に記載の情報処理装置。
前記位置確定部において確定された前記装着者の位置を前記記憶部に記憶させる制御を行う、制御部と、
をさらに備える、請求項５に記載の情報処理装置。
【請求項7】
前記制御部は、前記装着者による前記所定の入力操作が行われる都度、前記記憶部に記憶される前記装着者の位置を更新させる制御を行う、
請求項６に記載の情報処理装置。
請求項６に記載の情報処理装置。
【請求項8】
前記補聴器との通信を行う通信部をさらに備え、
前記通信部は、前記補聴器に設定される、前記装着者が聴取可能な最低音量を示す最低音量情報を取得し、
前記音声処理部は、前記第一の音声処理後の前記装着者の両耳の各々に出力される前記音声である、第一処理後音声のそれぞれのうち、少なくともいずれか一方の音声の音量が前記最低音量を下回る場合、
第二の音声処理として、前記第一処理後音声のうち音量がより小さい方の音声の音量を、前記最低音量以上となるよう増加させるとともに、他方の音声の音量を、より小さい方の音声の音量の増加分と同じだけ増加させる処理を行う、
請求項１に記載の情報処理装置。
前記通信部は、前記補聴器に設定される、前記装着者が聴取可能な最低音量を示す最低音量情報を取得し、
前記音声処理部は、前記第一の音声処理後の前記装着者の両耳の各々に出力される前記音声である、第一処理後音声のそれぞれのうち、少なくともいずれか一方の音声の音量が前記最低音量を下回る場合、
第二の音声処理として、前記第一処理後音声のうち音量がより小さい方の音声の音量を、前記最低音量以上となるよう増加させるとともに、他方の音声の音量を、より小さい方の音声の音量の増加分と同じだけ増加させる処理を行う、
請求項１に記載の情報処理装置。
【請求項9】
前記装着者の両耳の各々に出力される前記音声の話者の位置を、前記装着者が視認可能な態様で提示する話者位置表示画面を生成する生成部をさらに備える、
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項10】
前記補聴器との通信を行う通信部をさらに備え、
前記補聴器は、前記情報処理装置の前記音声処理部による音声処理が行われた前記音声を前記装着者の両耳の各々に出力する機能である傾聴機能と、前記補聴器が有する収音部により収音された音声を増幅し前記装着者の両耳の各々に出力する機能である補聴器機能と、の切替を制御し、
前記通信部は、前記補聴器から前記傾聴機能への切替が行われたことの通知を受信すると、前記音声処理部による音声処理後の前記音声の前記補聴器への送信を開始する、
請求項１に記載の情報処理装置。
前記補聴器は、前記情報処理装置の前記音声処理部による音声処理が行われた前記音声を前記装着者の両耳の各々に出力する機能である傾聴機能と、前記補聴器が有する収音部により収音された音声を増幅し前記装着者の両耳の各々に出力する機能である補聴器機能と、の切替を制御し、
前記通信部は、前記補聴器から前記傾聴機能への切替が行われたことの通知を受信すると、前記音声処理部による音声処理後の前記音声の前記補聴器への送信を開始する、
請求項１に記載の情報処理装置。
【請求項11】
前記補聴器は、前記通信部との通信接続が確立されると、前記補聴器の実行する機能を前記補聴器機能から前記傾聴機能へ切替える、
請求項１０に記載の情報処理装置。
請求項１０に記載の情報処理装置。
【請求項12】
前記補聴器は、前記通信部との通信接続が切断されると、前記補聴器の実行する機能を前記傾聴機能から前記補聴器機能へ切替える、
請求項１１に記載の情報処理装置。
請求項１１に記載の情報処理装置。
【請求項13】
コンピュータを、
補聴器を両耳に装着している装着者の位置と、複数の外部マイクの各々との位置関係に基づいて、前記外部マイクにより収音される話者の音声を音声処理することにより、前記補聴器から前記装着者の前記両耳の各々に出力される前記音声のそれぞれに方向感および距離感を持たせる処理である第一の音声処理を行う、音声処理部、
として機能させるための、プログラム。
補聴器を両耳に装着している装着者の位置と、複数の外部マイクの各々との位置関係に基づいて、前記外部マイクにより収音される話者の音声を音声処理することにより、前記補聴器から前記装着者の前記両耳の各々に出力される前記音声のそれぞれに方向感および距離感を持たせる処理である第一の音声処理を行う、音声処理部、
として機能させるための、プログラム。
【請求項14】
補聴器を両耳に装着している装着者の位置と、複数の外部マイクの各々との位置関係に基づいて、前記外部マイクにより収音される話者の音声を音声処理することにより、前記補聴器から前記装着者の前記両耳の各々に出力される前記音声のそれぞれに方向感および距離感を持たせる処理である第一の音声処理を行うこと、
を含む、コンピュータにより実行される情報処理方法。
を含む、コンピュータにより実行される情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理プログラム、および、情報処理方法に関する。
【背景技術】
【0002】
補聴器の装着者が複数人の話者と会話する際に、装着者が、話者の音声をより聞き取りやすくするための技術が検討されている。例えば、特許文献１には、円卓の中心に置かれたマイクアレイで話者の音声を収音し、両耳の補聴器に付属するマイクで収音された音に基づいて上記話者の音声の方向感を算出する技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】国際公開第２０１０／０８４７６９号
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記技術のように、補聴器の装着者の利便性のさらなる向上に資する技術が望まれる。
【0005】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、補聴器の装着者の利便性のさらなる向上に資することが可能な、新規かつ改良された技術を提供することにある。
【課題を解決するための手段】
【0006】
上記課題を解決するために、本発明のある観点によれば、補聴器を両耳に装着している装着者の位置と、複数の外部マイクの各々との位置関係に基づいて、前記外部マイクにより収音される話者の音声を音声処理することにより、前記補聴器から前記装着者の前記両耳の各々に出力される前記音声のそれぞれに方向感および距離感を持たせる処理である第一の音声処理を行う、音声処理部と、を備える、情報処理装置が提供される。
【0007】
前記音声処理部は、前記第一の音声処理として、前記装着者の両耳の各々に出力される前記音声のそれぞれに音量差をもたせる処理を行ってもよい。
【0008】
前記音声処理部は、前記第一の音声処理において、前記装着者の位置と、前記音声が収音された前記外部マイクの各々との間の距離が遠いほど、前記装着者の両耳の各々に出力される前記音声のそれぞれの音量を小さくする処理を行ってもよい。
【0009】
前記音声処理部は、前記第一の音声処理において、前記音声が収音された外部マイクの各々が、前記装着者の位置を基点とした左右方向のいずれに位置するかを判断し、前記装着者の両耳の各々に出力される前記音声のそれぞれのうち、前記音声が収音された外部マイクの位置する前記左右方向により近い前記装着者の耳に出力される音声の音量が、もう一方の前記装着者の耳に出力される音量より大きくなるよう音声処理を行ってもよい。
【0010】
前記情報処理装置は、前記外部マイクの各々の位置を示す位置情報を保持する記憶部をさらに備えてもよい。
【0011】
前記情報処理装置は、所定の入力操作に基づいて前記装着者の位置を確定する位置確定部と、前記位置確定部において確定された前記装着者の位置を前記記憶部に記憶させる制御を行う、制御部と、をさらに備えてもよい。
【0012】
前記制御部は、前記装着者による前記所定の入力操作が行われる都度、前記記憶部に記憶される前記装着者の位置を更新させる制御を行ってもよい。
【0013】
前記補聴器との通信を行う通信部をさらに備え、前記通信部は、前記補聴器に設定される、前記装着者が聴取可能な最低音量を示す最低音量情報を取得し、前記音声処理部は、前記第一の音声処理後の前記装着者の両耳の各々に出力される前記音声である、第一処理後音声のそれぞれのうち、少なくともいずれか一方の音声の音量が前記最低音量を下回る場合、第二の音声処理として、前記第一処理後音声のうち音量がより小さい方の音声の音量を、前記最低音量以上となるよう増加させるとともに、他方の音声の音量を、より小さい方の音声の音量の増加分と同じだけ増加させる処理を行ってもよい。
【0014】
前記情報処理装置は、前記装着者の両耳の各々に出力される前記音声の話者の位置を、前記装着者が視認可能な態様で提示する話者位置表示画面を生成する生成部をさらに備えてもよい。
【0015】
前記情報処理装置は、前記補聴器との通信を行う通信部をさらに備えてもよく、前記補聴器は、前記情報処理装置の前記音声処理部による音声処理が行われた前記音声を前記装着者の両耳の各々に出力する機能である傾聴機能と、前記補聴器が有する収音部により収音された音声を増幅し前記装着者の両耳の各々に出力する機能である補聴器機能と、の切替を制御し、前記通信部は、前記補聴器から前記傾聴機能への切替が行われたことの通知を受信すると、前記音声処理部による音声処理後の前記音声の前記補聴器への送信を開始してもよい。
【0016】
前記補聴器は、前記通信部との通信接続が確立されると、前記補聴器の実行する機能を前記補聴器機能から前記傾聴機能へ切替えてもよい。
【0017】
前記補聴器は、前記通信部との通信接続が切断されると、前記補聴器の実行する機能を前記傾聴機能から前記補聴器機能へ切替えてもよい。
【0018】
また、上記課題を解決するために本発明の別の観点によれば、コンピュータを、補聴器を両耳に装着している装着者の位置と、複数の外部マイクの各々との位置関係に基づいて、前記外部マイクにより収音される話者の音声を音声処理することにより、前記補聴器から前記装着者の前記両耳の各々に出力される前記音声のそれぞれに方向感および距離感を持たせる処理である第一の音声処理を行う、音声処理部、として機能させるための、プログラムが提供される。
【0019】
また、上記課題を解決するために本発明の別の観点によれば、補聴器を両耳に装着している装着者の位置と、複数の外部マイクの各々との位置関係に基づいて、前記外部マイクにより収音される話者の音声を音声処理することにより、前記補聴器から前記装着者の前記両耳の各々に出力される前記音声のそれぞれに方向感および距離感を持たせる処理である第一の音声処理を行うこと、を含む、コンピュータにより実行される情報処理方法が提供される。
【発明の効果】
【0020】
以上説明したように本発明によれば、補聴器の装着者の利便性のさらなる向上に資することが可能な技術が提供される。
【図面の簡単な説明】
【0021】
【図1】本発明の一実施形態による情報処理システムの概要を説明するための説明図である。
【図2】本実施形態による補聴器１０の機能構成例を説明するためのブロック図である。
【図3】本実施形態による情報処理装置２０の機能構成例を説明する為のブロック図である。
【図4】本実施形態による音声処理部２５３の第一の音声処理を説明するための説明図である。
【図5】本実施形態による外部マイク３０の機能構成例を説明する為のブロック図である。
【図6】本実施形態による表示装置４０の機能構成例を説明するためのブロック図である。
【図7】情報処理装置２０により生成されて表示部４３０に表示される話者位置表示画面の一例を示す説明図である。
【図8】本実施形態による情報処理システムの動作例を説明するためのフローチャート図である。
【図10】本発明の一実施形態による情報処理装置２０のハードウェア構成例を示す図である。
【発明を実施するための形態】
【0022】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0023】
また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字またはアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、複数の構成要素の各々に同一符号のみを付する。
【0024】
＜１．本発明の一実施形態による情報処理システムの概要＞
本発明は、補聴器の装着者の利便性のさらなる向上に資することが可能な技術に関する。より詳細には、本発明の一実施形態による情報処理システムによれば、両耳型の補聴器の装着者が、会議などの、複数人の話者の音声を聴取する場面において、発言中の話者を識別することをより容易にすることが可能である。本情報処理システムは、収音された話者の音声に、当該話者と補聴器の装着者との位置関係に応じた方向感および距離感をもたせる音声処理を行う。これにより、補聴器の装着者が複数人の話者のうち発言中の話者をより容易に識別することが可能となる。
本発明は、補聴器の装着者の利便性のさらなる向上に資することが可能な技術に関する。より詳細には、本発明の一実施形態による情報処理システムによれば、両耳型の補聴器の装着者が、会議などの、複数人の話者の音声を聴取する場面において、発言中の話者を識別することをより容易にすることが可能である。本情報処理システムは、収音された話者の音声に、当該話者と補聴器の装着者との位置関係に応じた方向感および距離感をもたせる音声処理を行う。これにより、補聴器の装着者が複数人の話者のうち発言中の話者をより容易に識別することが可能となる。
【0025】
図１は、本発明の一実施形態による情報処理システムの概要を説明するための説明図である。図１に示したように、本実施形態による情報処理システムは、補聴器１０、情報処理装置２０、および、外部マイク３０を含む。補聴器１０、情報処理装置２０、および、外部マイク３０は、互いに通信可能に構成されている。補聴器１０、情報処理装置２０、および、外部マイク３０は、無線通信により通信可能に構成されていてもよいし、有線接続により通信可能に構成されていてもよい。
【0026】
図１に示した説明図は、補聴器１０の装着者Ｗが、複数人の話者を含む会議に参加している場面の例を示している。図１に示した例では、補聴器１０の装着者Ｗと、７人の話者Ｕとが、会議用テーブルをはさんで向かい合っている。また、装着者Ｗと、話者Ｕとのそれぞれの前には、外部マイク３０が１ずつ設置されていることが理解される。外部マイク３０は、装着者Ｗおよび話者Ｕのそれぞれの音声を収音して情報処理装置２０に送信する。
【0027】
（補聴器１０）
補聴器１０は、装着者Ｗによって装着される、両耳型の補聴器である。図１に示した例では、補聴器１０は、左耳用の左耳補聴器１０Ｌと、右耳用の右耳補聴器１０Ｒとの２の構成によって実現される。補聴器１０は、補聴器１０自身に付属するマイクにより収音される周囲音を増幅して出力する、一般的な補聴器としての機能（以下、補聴器機能）を有する。
補聴器１０は、装着者Ｗによって装着される、両耳型の補聴器である。図１に示した例では、補聴器１０は、左耳用の左耳補聴器１０Ｌと、右耳用の右耳補聴器１０Ｒとの２の構成によって実現される。補聴器１０は、補聴器１０自身に付属するマイクにより収音される周囲音を増幅して出力する、一般的な補聴器としての機能（以下、補聴器機能）を有する。
【0028】
さらに、本実施形態による補聴器１０は、装着者Ｗの両耳のそれぞれに出力する音声を、上述の補聴器１０自身に付属するマイクにより収音される音声と、情報処理装置２０から受信する音声との、いずれかに切替える機能を有する。
【0029】
（情報処理装置２０）
情報処理装置２０は、外部マイク３０により収音される音声を取得し、当該音声に方向感および距離感を持たせる音声処理を行う機能を有する。より詳細には、情報処理装置２０は、装着者Ｗおよび外部マイク３０の各々との位置関係に基づいて、装着者Ｗの位置から見た外部マイク３０の各々の方向および距離を判断する。情報処理装置２０は、判断した結果に基づいて、上記音声が、装着者Ｗにとって、当該音声の話者の方向から聞こえたと感じられるように音声処理を行う。情報処理装置２０は、音声処理を行った後の当該音声を、補聴器１０に送信する。当該音声は、補聴器１０から装着者Ｗの両耳のそれぞれに出力される。
情報処理装置２０は、外部マイク３０により収音される音声を取得し、当該音声に方向感および距離感を持たせる音声処理を行う機能を有する。より詳細には、情報処理装置２０は、装着者Ｗおよび外部マイク３０の各々との位置関係に基づいて、装着者Ｗの位置から見た外部マイク３０の各々の方向および距離を判断する。情報処理装置２０は、判断した結果に基づいて、上記音声が、装着者Ｗにとって、当該音声の話者の方向から聞こえたと感じられるように音声処理を行う。情報処理装置２０は、音声処理を行った後の当該音声を、補聴器１０に送信する。当該音声は、補聴器１０から装着者Ｗの両耳のそれぞれに出力される。
【0030】
また、情報処理装置２０は、装着者Ｗに、話者Ｕの各々の位置と、発言中の話者がいずれの話者Ｕであるのかを視認可能に提示する話者位置表示画面を生成する機能を有してもよい。話者位置表示画面は、装着者Ｗが視認可能な表示装置に送信され表示されてもよい。図１に示したように、表示装置は、例えば装着者Ｗが装着しているＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）であってもよい。
【0031】
（外部マイク３０）
外部マイク３０は、装着者Ｗまたは話者Ｕの音声を収音することが可能なマイク（マイクロフォン）である。外部マイク３０を実現するマイクの種類は、特に限定されない。例えば、外部マイク３０の各々は、１のマイクであってもよいし、２ｃｈ（Ｃｈａｎｎｅｌ）以上を有するマイクアレイであってもよい。また、外部マイク３０は、指向性を持たないマイクであってもよいし、指向性を有するマイクであってもよい。外部マイク３０は、収音した音声を情報処理装置２０に送信する機能を有する。
外部マイク３０は、装着者Ｗまたは話者Ｕの音声を収音することが可能なマイク（マイクロフォン）である。外部マイク３０を実現するマイクの種類は、特に限定されない。例えば、外部マイク３０の各々は、１のマイクであってもよいし、２ｃｈ（Ｃｈａｎｎｅｌ）以上を有するマイクアレイであってもよい。また、外部マイク３０は、指向性を持たないマイクであってもよいし、指向性を有するマイクであってもよい。外部マイク３０は、収音した音声を情報処理装置２０に送信する機能を有する。
【0032】
（表示装置４０）
表示装置４０は、情報処理装置２０により生成される、話者位置表示画面を表示することが可能な装置である。表示装置４０は、情報処理装置２０と通信可能な通信機能を少なくとも有する表示装置であればよく、例えばスマートフォン、タブレット端末、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、または、スマートウォッチ等によって実現され得る。図１に示した例では、表示装置４０は、ユーザの頭部に装着され、ユーザに仮想空間を提示する機能を有するＨＭＤである。
表示装置４０は、情報処理装置２０により生成される、話者位置表示画面を表示することが可能な装置である。表示装置４０は、情報処理装置２０と通信可能な通信機能を少なくとも有する表示装置であればよく、例えばスマートフォン、タブレット端末、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、または、スマートウォッチ等によって実現され得る。図１に示した例では、表示装置４０は、ユーザの頭部に装着され、ユーザに仮想空間を提示する機能を有するＨＭＤである。
【0033】
このような表示装置４０は、例えば、ユーザの眼に実空間が直接見える状態で当該実空間に仮想空間の情報である画像（仮想オブジェクト）を重畳的に表示することが可能な、拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術、または、ＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術を実現する光学透過型ディスプレイにより実現される。この場合、表示装置４０は、メガネ型端末、または、ゴーグル型の端末であってもよい。
【0034】
または、表示装置４０は、ユーザの視界を表示部で覆う非透過型ディスプレイにより実現されてよい。この場合、情報処理装置２０は、３Ｄモデル等が配置された仮想空間内をユーザが任意の視点から視聴することが出来るＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）技術を用いて、表示装置４０に話者位置表示画面を表示させてもよい。なお、図１では、本実施形態による情報処理システムが表示装置４０を含んで構成される例を示したが、本発明はこれに限られない。本発明による情報処理システムは、表示装置４０を有しなくてもよい。この場合、情報処理装置２０は、表示装置４０に話者位置表示画面を表示させてもよい。
【0035】
（課題の整理）
図１に示した例のように、補聴器を装着している難聴者が、複数の話者との会話を聴取する必要がある会議等の場面では、話者の音声を明瞭に聴取し、かつ、発言中の話者の位置を特定できることが望ましい。特に、一般的な企業で行われる会議では、複数の話者のうちに、装着者Ｗにとって初対面の人物が含まれる場合も少なくない。この場合、装着者Ｗが、発言した人物を瞬時に判断できるようにすることは、会議の効率を向上させ、装着者Ｗが円滑に会話に参加するために重要である。
図１に示した例のように、補聴器を装着している難聴者が、複数の話者との会話を聴取する必要がある会議等の場面では、話者の音声を明瞭に聴取し、かつ、発言中の話者の位置を特定できることが望ましい。特に、一般的な企業で行われる会議では、複数の話者のうちに、装着者Ｗにとって初対面の人物が含まれる場合も少なくない。この場合、装着者Ｗが、発言した人物を瞬時に判断できるようにすることは、会議の効率を向上させ、装着者Ｗが円滑に会話に参加するために重要である。
【0036】
そこで、例えば上述した特許文献１には、円卓の中心に置かれたマイクアレイで話者の音声を収音し、両耳の補聴器に付属するマイクで収音された音に基づいて上記話者の方向を特定して、上記音声の方向感を算出する技術が開示されている。
【0037】
しかし、複数の話者が参加する会議等の場面では、補聴器の装着者の位置と話者との間の距離が、補聴器に付属のマイクの収音可能範囲外となる場合がある。一般に、補聴器に付属するマイクの有効範囲は３ｍ程度である場合が多い。この場合、上記技術では、上記マイクによる収音可能な範囲外の話者の音声を取得することができず、当該話者の音声の方向感を算出することが困難であった。
【0038】
そこで、本件発明者は、上記事情を一着眼点にして本発明の実施形態を創作するに至った。本発明の実施形態によれば、補聴器の装着者の利便性のさらなる向上に資する技術が提供される。以下、このような本発明の実施形態による補聴器１０、情報処理装置２０、および、外部マイク３０の構成および動作を順次詳細に説明する。
【0039】
＜２．機能構成例＞
＜２－１．補聴器１０＞
図２は、本実施形態による補聴器１０の機能構成例を説明するためのブロック図である。図２に示したように、補聴器１０は、通信部１１０、機能切替処理部１３０、音出力部１５０、補聴機能部１７０、および、収音部１９０を有する。
＜２－１．補聴器１０＞
図２は、本実施形態による補聴器１０の機能構成例を説明するためのブロック図である。図２に示したように、補聴器１０は、通信部１１０、機能切替処理部１３０、音出力部１５０、補聴機能部１７０、および、収音部１９０を有する。
【0040】
機能切替処理部１３０および補聴機能部１７０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などを含み、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）により記憶されているプログラムがＣＰＵによりＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）に展開されて実行されることにより、その機能が実現され得る。このとき、当該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。あるいは、機能切替処理部１３０および補聴機能部１７０は、専用のハードウェアにより構成されてもよいし、複数のハードウェアの組み合わせにより構成されてもよい。
【0041】
演算装置による演算に必要なデータは、図示しない記憶部によって適宜記憶される。図示しない記憶部は、ＲＡＭ、ハードディスクドライブまたはフラッシュメモリなどのメモリによって構成されてよい。
【0042】
（通信部１１０）
通信部１１０は、情報処理装置２０と通信を行う機能を有する。例えば、通信部１１０は、情報処理装置２０から、外部マイク３０により収音され、情報処理装置２０により音声処理が行われた音声を受信する。また、通信部１１０は、機能切替処理部１３０の制御に従って、機能切替処理部１３０が補聴器１０の機能を後述する補聴器機能または傾聴機能のいずれかに切替えたことの通知を、情報処理装置２０に送信してもよい。
通信部１１０は、情報処理装置２０と通信を行う機能を有する。例えば、通信部１１０は、情報処理装置２０から、外部マイク３０により収音され、情報処理装置２０により音声処理が行われた音声を受信する。また、通信部１１０は、機能切替処理部１３０の制御に従って、機能切替処理部１３０が補聴器１０の機能を後述する補聴器機能または傾聴機能のいずれかに切替えたことの通知を、情報処理装置２０に送信してもよい。
【0043】
（機能切替処理部１３０）
機能切替処理部１３０は、補聴器１０が実行する機能の切替えの制御を行う機能を有する。より詳細には、機能切替処理部１３０は、補聴器１０が実行する機能を、補聴器としての機能である補聴器機能と、情報処理装置２０による音声処理後の音声を出力する傾聴機能とのいずれかに切り替える機能を有する。補聴器１０の補聴器機能は、後述する補聴機能部１７０により実現される。
機能切替処理部１３０は、補聴器１０が実行する機能の切替えの制御を行う機能を有する。より詳細には、機能切替処理部１３０は、補聴器１０が実行する機能を、補聴器としての機能である補聴器機能と、情報処理装置２０による音声処理後の音声を出力する傾聴機能とのいずれかに切り替える機能を有する。補聴器１０の補聴器機能は、後述する補聴機能部１７０により実現される。
【0044】
例えば、機能切替処理部１３０は、通信部１１０と情報処理装置２０との通信接続が確立されると、補聴器１０の機能を補聴器機能から傾聴機能に切り替える制御を行ってもよい。また、機能切替処理部１３０は、通信部１１０と情報処理装置２０との通信接続が切断されると、補聴器１０の機能を、傾聴機能から補聴器機能に切り替えてもよい。なお、補聴器１０の起動時の初期状態では、補聴器１０は補聴器機能を実行するものとする。
【0045】
機能切替処理部１３０による、補聴器１０と情報処理装置２０との通信接続状況の検出方法は、特に限定されない。一例として、例えば補聴器１０と情報処理装置２０との通信接続がＢｌｕｅｔｏｏｔｈ（登録商標）である場合には、機能切替処理部１３０は、Ｂｌｕｅｔｏｏｔｈの受信電波強度を示すＲＳＳＩ（Ｒｅｃｅｉｖｅｄ Ｓｉｇｎａｌ Ｓｔｒｅｎｇｔｈ Ｉｎｄｉｃａｔｏｒ）を用いた方法により通信接続状況を検出してもよい。機能切替処理部１３０は、ＲＳＳＩに基づき、補聴器１０と情報処理装置２０との距離を算出し、算出された距離が一定距離を超えた場合に、補聴器１０と情報処理装置２０との通信接続が切断されたと検出してもよい。これにより、補聴器１０が情報処理装置２０から一定距離以上離れると、機能切替処理部１３０により、補聴器１０の実行する機能が傾聴機能から補聴器機能に切り替えられる。従って、例えば補聴器１０を装着している装着者Ｗが、情報処理装置２０が設置されている会議の場から離れると、装着者Ｗによる切り替え操作等を要さずに、補聴器１０の機能を傾聴機能から補聴器機能に切り替えることが可能である。
【0046】
機能切替処理部１３０による通信接続状況の検出の他の一例として、補聴器１０と情報処理装置２０との通信接続が有線接続である場合には、装着者Ｗが当該有線接続を物理的に遮断する（例えば、ケーブルを抜く）ことも可能である。この場合、機能切替処理部１３０は、補聴器１０と情報処理装置２０との間で通信信号が一定期間届かなくなったことに基づいて、補聴器１０と情報処理装置２０との通信接続が切断されたことを検出し、補聴器１０の実行する機能を傾聴機能から補聴器機能へ切り替える制御を行ってもよい。
【0047】
（音出力部１５０）
音出力部１５０は、機能切替処理部１３０または補聴機能部１７０の制御に従って、音声を出力する機能を有する。例えば、音出力部１５０は、補聴機能部１７０の制御に従い、収音部１９０により得られる音を出力する。または、音出力部１５０は、機能切替処理部１３０の制御に従い、情報処理装置２０から通信部１１０が受信する音声を出力する。
音出力部１５０は、機能切替処理部１３０または補聴機能部１７０の制御に従って、音声を出力する機能を有する。例えば、音出力部１５０は、補聴機能部１７０の制御に従い、収音部１９０により得られる音を出力する。または、音出力部１５０は、機能切替処理部１３０の制御に従い、情報処理装置２０から通信部１１０が受信する音声を出力する。
【0048】
（補聴機能部１７０）
補聴機能部１７０は、一般的な補聴器が有する補聴器機能を有する。例えば、補聴機能部１７０は、収音部１９０により収音された音声を増幅し補聴器１０の装着者Ｗの両耳の各々に出力する。また、補聴器１０には、予め、図示しない記憶部に、装着者Ｗの聴取可能な最低音量を示す最低音量情報が保持されているものとする。補聴機能部１７０は、当該最低音量情報に基づいて、出力される音量を決定してもよい。また、最低音量情報は、補聴器１０の装着者Ｗの難聴の度合いに応じて適宜設定される。
補聴機能部１７０は、一般的な補聴器が有する補聴器機能を有する。例えば、補聴機能部１７０は、収音部１９０により収音された音声を増幅し補聴器１０の装着者Ｗの両耳の各々に出力する。また、補聴器１０には、予め、図示しない記憶部に、装着者Ｗの聴取可能な最低音量を示す最低音量情報が保持されているものとする。補聴機能部１７０は、当該最低音量情報に基づいて、出力される音量を決定してもよい。また、最低音量情報は、補聴器１０の装着者Ｗの難聴の度合いに応じて適宜設定される。
【0049】
（収音部１９０）
収音部１９０は、音を収音する機能を有するマイクである。例えば、収音部１９０は、補聴器１０の周囲で発生する音を収音する。
収音部１９０は、音を収音する機能を有するマイクである。例えば、収音部１９０は、補聴器１０の周囲で発生する音を収音する。
【0050】
【0051】
＜２－２．情報処理装置２０＞
図３は、本実施形態による情報処理装置２０の機能構成例を説明する為のブロック図である。図３に示したように、情報処理装置２０は、通信部２１０、記憶部２３０、および、制御部２５０を含む。
図３は、本実施形態による情報処理装置２０の機能構成例を説明する為のブロック図である。図３に示したように、情報処理装置２０は、通信部２１０、記憶部２３０、および、制御部２５０を含む。
【0052】
（通信部２１０）
通信部２１０は、補聴器１０、外部マイク３０、および、表示装置４０と通信を行う機能を有する。例えば、通信部２１０は、外部マイク３０により収音された音を外部マイク３０から受信する。また、通信部２１０は、補聴器１０の機能切替処理部１３０が補聴器１０の機能を補聴器機能または傾聴機能のいずれかに切替えたことの通知を、補聴器１０から受信してもよい。また、通信部２１０は、後述する音声処理部２５３により音声処理が行われた音声を、補聴器１０に送信してもよい。
通信部２１０は、補聴器１０、外部マイク３０、および、表示装置４０と通信を行う機能を有する。例えば、通信部２１０は、外部マイク３０により収音された音を外部マイク３０から受信する。また、通信部２１０は、補聴器１０の機能切替処理部１３０が補聴器１０の機能を補聴器機能または傾聴機能のいずれかに切替えたことの通知を、補聴器１０から受信してもよい。また、通信部２１０は、後述する音声処理部２５３により音声処理が行われた音声を、補聴器１０に送信してもよい。
【0053】
さらに、通信部２１０は、装着者Ｗの位置を確定する所定の入力操作が行われたことの通知を受信してもよい。所定の入力操作の一例は後に詳細に説明する。
【0054】
また、通信部２１０は、補聴器１０から、補聴器１０に予め設定される、装着者Ｗが聴取可能な最低音量を示す最低音量情報を取得してもよい。
【0055】
（記憶部２３０）
記憶部２３０は、情報処理装置２０の動作に必要なソフトウェアおよび各種データを保持する。例えば、記憶部２３０は、外部マイク３０の各々の位置を示す位置情報を保持する。外部マイク３０の各々の位置情報は、例えば、外部マイク３０の各々に予め付与された識別情報（例えば、各外部マイク３０に付与された番号）と関連付けて、外部マイク３０の各々の位置関係（距離および向き）を示す情報であればよく、情報形式は特に限定されない。一例として、外部マイク３０の各々の位置情報は、外部マイク３０同士の相対位置情報であってもよい。
記憶部２３０は、情報処理装置２０の動作に必要なソフトウェアおよび各種データを保持する。例えば、記憶部２３０は、外部マイク３０の各々の位置を示す位置情報を保持する。外部マイク３０の各々の位置情報は、例えば、外部マイク３０の各々に予め付与された識別情報（例えば、各外部マイク３０に付与された番号）と関連付けて、外部マイク３０の各々の位置関係（距離および向き）を示す情報であればよく、情報形式は特に限定されない。一例として、外部マイク３０の各々の位置情報は、外部マイク３０同士の相対位置情報であってもよい。
【0056】
また、外部マイク３０の各々の位置情報は、予め、情報処理装置２０の操作者により記憶部２３０に設定されていてもよい。または、外部マイク３０の各々の位置情報は、情報処理装置２０の操作者が図３に図示しない操作部を操作することにより、記憶部２３０に登録および更新されてもよい。
【0057】
また、記憶部２３０は、制御部２５０の制御に従って、装着者Ｗの位置を示す位置情報を記憶および更新する機能を有する。
【0058】
（制御部２５０）
制御部２５０は、情報処理装置２０の動作全般を制御する機能を有する。例えば、制御部２５０は、通信部２１０による各種情報の送受信を制御する。例えば、制御部２５０は、後述する音声処理部２５３による音声処理後の音声を、通信部２１０に、補聴器１０へ送信させる。このような制御部２５０は、位置確定部２５１、音声処理部２５３、および、生成部２５５としての機能を有する。
制御部２５０は、情報処理装置２０の動作全般を制御する機能を有する。例えば、制御部２５０は、通信部２１０による各種情報の送受信を制御する。例えば、制御部２５０は、後述する音声処理部２５３による音声処理後の音声を、通信部２１０に、補聴器１０へ送信させる。このような制御部２５０は、位置確定部２５１、音声処理部２５３、および、生成部２５５としての機能を有する。
【0059】
位置確定部２５１は、装着者Ｗによる所定の入力操作に基づいて、装着者Ｗの位置を確定する機能を有する。例えば、位置確定部２５１は、装着者Ｗが、所定の位置情報と関連付けられたボタンを押す操作を行ったことに基づいて、装着者Ｗの位置を確定してもよい。ボタンは、例えば、外部マイク３０が備える操作部であってもよい。この場合、位置確定部２５１は、ボタンが押下された外部マイク３０の位置を、装着者Ｗの位置として確定する。
【0060】
また、位置確定部２５１は、情報処理装置２０の動作処理中に装着者Ｗによる所定の入力操作が行われる都度、装着者Ｗの位置を確定する処理を行う。
【0061】
制御部２５０は、位置確定部２５１において確定された装着者Ｗの位置を、通信部２１０に記憶させる制御を行う。また、２５０は、装着者Ｗによる所定の入力操作が行われる都度、位置確定部２５１により確定される装着者Ｗの位置に基づき、通信部２１０に記憶される装着者Ｗの位置を更新させる制御を行う。
【0062】
音声処理部２５３は、外部マイク３０により収音され、通信部２１０が受信する話者Ｕの音声を音声処理する機能を有する。音声処理部２５３により音声処理が行われた音声は、通信部２１０から補聴器１０に送信され、補聴器１０の機能が傾聴機能である場合に、補聴器１０から装着者Ｗの両耳の各々に出力される。
【0063】
より詳細には、音声処理部２５３は、次のような音声処理を行う。音声処理部２５３は、第一の音声処理として、補聴器１０を両耳に装着している装着者Ｗの位置と、複数の外部マイク３０の各々との位置関係に基づいて、話者Ｕの音声を音声処理することにより、補聴器１０から装着者Ｗの両耳の各々に出力される音声のそれぞれに方向感および距離感を持たせる処理を行う。
【0064】
音声に方向感および距離感を持たせる方法としては、例えば、装着者Ｗの両耳の各々に出力される音声に、強度差を持たせる方法がある。より具体的には、例えば音声処理部２５３は、装着者Ｗの両耳の各々に出力される音声のそれぞれに音量差を持たせる処理を行ってもよい。
【0065】
このとき、音声処理部２５３は、記憶部２３０に保持される装着者Ｗの位置と、音声が収音された話者Ｕの各々との間の距離が遠いほど、装着者Ｗの両耳の各々に出力される音声のそれぞれの音量を小さくする処理を行ってもよい。これにより、装着者Ｗの両耳の各々に出力される音声に、装着者Ｗの位置と話者Ｕとの距離に応じた距離感を持たせ得る。
【0066】
さらに、音声処理部２５３は、音声が収音された外部マイク３０の各々が、装着者Ｗの位置を基点とした左右方向のいずれに位置するかを判断してもよい。音声処理部２５３は、装着者Ｗの両耳の各々に出力される音声のそれぞれのうち、音声が収音された外部マイク３０の位置する左右方向により近い装着者Ｗの耳に出力される音声の音量が、もう一方の装着者Ｗの耳に出力される音量より大きくなる様音声処理を行ってもよい。これにより、装着者Ｗの両耳の各々に出力される音声に、装着者Ｗの位置から見た話者Ｕの方向に応じた方向感を持たせ得る。ここで、図４を参照して、音声処理部２５３による第一の音声処理についてより具体的に説明する。
【0067】
図４は、本実施形態による音声処理部２５３の第一の音声処理を説明するための説明図である。図４は、外部マイク３０が設置されている場所の一例である会議用テーブル（Ｔａｂｌｅ）上に、外部マイク３０Ａ～外部マイク３０Ｈの８の外部マイク３０が設置されている状態の俯瞰図を表している。また、図４に示したように、外部マイク３０Ａ～外部マイク３０Ｈには、それぞれ１～８のマイク番号が、各外部マイク３０の識別情報として付与されているものとする。さらに、補聴器１０を装着している装着者Ｗの位置が、外部マイク３０Ａに対応する位置に確定されているものとする。矢印Ｄ２は、装着者Ｗの位置から見て左方向の方角を表す。矢印Ｄ１は、装着者Ｗの位置から見て右方向の方角を表す。また、図４に示した例では、外部マイク３０Ｈにより収音された話者Ｕの音声に対して第一の音声処理が行われる例を説明する。
【0068】
図４に示した例では、外部マイク３０の各々と装着者Ｗの位置との距離が、装着者Ｗの位置を基点とした左右方向の直線上、または、その平行線上において、装着者Ｗに対応付けられた外部マイク３０Ａのマイク番号から、マイク番号がいくつ分離れているかによって特定されるものとする。さらに、上記距離は、外部マイク３０の各々が外部マイク３０Ａからみて左方向に位置する場合には負の数、外部マイク３０Ａからみて右方向に位置する場合には正の数で表されるものとする。
【0069】
例えば、マイク番号８の外部マイク３０Ｈは、外部マイク３０Ａからみて左方向に位置している。さらに、外部マイク３０Ａからみた左方向の直線の平行線上において、外部マイク３０Ｈと外部マイク３０Ａとは、マイク番号３つ分の距離がある事が理解される。従ってこの場合、音声処理部２５３は、装着者Ｗの位置から外部マイク３０Ｈまでの距離をー３と判断する。
【0070】
次に、音声処理部２５３は、以下の式を用いて、外部マイク３０の各々に対応する基準音量Ｖ１…ｎを算出してもよい。
Ｖ１…ｎ＝Ｖ－Ｇｖ|ｌ１…ｎ|
（数式１）
Ｖ：基準再生音量
Ｇｖ：パラメータ
ｌ1…ｎ：装着者Ｗの位置と対象の外部マイク３０との距離
Ｖ１…ｎ＝Ｖ－Ｇｖ|ｌ１…ｎ|
（数式１）
Ｖ：基準再生音量
Ｇｖ：パラメータ
ｌ1…ｎ：装着者Ｗの位置と対象の外部マイク３０との距離
【0071】
上記算出式において、ｎは、外部マイク３０の合計数であり、図４に示した例ではｎ＝８である。また、Ｖは、装着者Ｗが任意に決定できる音量である。Ｇｖは定数であり、ｌ１…ｎの単位によって適宜決定され得る。ｌ１…ｎは正負の符号付きの距離であり、図４に示した例では、装着者Ｗの位置から見て右方向が正となる。
【0072】
上記数式１によれば、音声処理部２５３は、装着者Ｗの位置からみて遠い位置にある外部マイク３０により収音される音声ほど、基準音量Ｖ１…ｎを小さく算出する。
【0073】
続いて、音声処理部２５３は、基準音量Ｖ１…ｎに基づいて、各外部マイク３０により収音される音声が、音声処理後に補聴器１０において装着者Ｗの両耳に出力される際の、左右の音量を決定する。例えば、音声処理部２５３は、以下の式を用いて、左耳の音量ＶＬ、および、右耳の音量ＶＲを算出してもよい。
【0074】
（算出対象の外部マイク３０の位置が装着者Ｗからみて左方向（負の方向）にある場合）
ＶＬ＝Ｖ１…ｎ＋Ｖｐ，ＶＲ＝Ｖ１…ｎ－Ｖｐ
（数式２）
（算出対象の外部マイク３０の位置が装着者Ｗからみて右方向（正の方向）にある場合）
ＶＬ＝Ｖ１…ｎ－Ｖｐ，ＶＲ＝Ｖ１…ｎ＋Ｖｐ
（数式３）
Ｖｐ：音量調節パラメータ
ＶＬ＝Ｖ１…ｎ＋Ｖｐ，ＶＲ＝Ｖ１…ｎ－Ｖｐ
（数式２）
（算出対象の外部マイク３０の位置が装着者Ｗからみて右方向（正の方向）にある場合）
ＶＬ＝Ｖ１…ｎ－Ｖｐ，ＶＲ＝Ｖ１…ｎ＋Ｖｐ
（数式３）
Ｖｐ：音量調節パラメータ
【0075】
音量調節パラメータＶｐは、任意の固定値である。上記の数式２によれば、音声処理部２５３は、装着者Ｗの位置からみて外部マイク３０が左方向に位置する場合には、当該外部マイク３０により収音される音声が音声処理後に補聴器１０において装着者Ｗの両耳に出力される際の、右耳の音声の音量を、左耳の音声の音量よりも小さく算出し得る。同様に、上記の数式３によれば、音声処理部２５３は、装着者Ｗの位置からみて外部マイク３０が右方向に位置する場合には、当該外部マイク３０により収音される音声が音声処理後に補聴器１０において装着者Ｗの両耳に出力される際の、左耳の音声の音量を、右耳の音声の音量よりも小さく算出し得る。
【0076】
なお、音量調節パラメータＶｐは、装着者Ｗと外部マイク３０との位置関係に応じて変化する変数であってもよい。例えば、図４に示した例では、対象の外部マイクが、外部マイク３０Ａ～外部マイク３０Ｄの位置する列にあるか、または、外部マイク３０Ｅ～外部マイク３０Ｈの位置する列にあるかによって、音量調節パラメータＶｐの値が変化してもよい。さらに、音量調節パラメータＶｐは、対象の外部マイクの位置が、装着者Ｗの左右方向の直線上から距離が離れた平行線上にあるほど、値が大きくなる変数であってもよい。これにより、音声処理部２５３は、装着者Ｗの位置を基点とした左右方向の直線上に位置する外部マイク３０Ｂ～外部マイク３０Ｄにより収音される音声と、当該直線の平行線上に位置する外部マイク３０Ｅ～外部マイク３０Ｈにより収音される音声とで、音量差を持たせることが可能となる。これにより、補聴器１０を装着している装着者Ｗが、補聴器１０から出力される音声により、外部マイク３０の各々との距離感をより認識し易くなる。
【0077】
以上、図４を参照して、音声処理部２５３による第一の音声処理について説明した。
【0078】
図３に戻って、本実施形態による情報処理装置２０の機能構成例の説明を続ける。音声処理部２５３は、さらに、第二の音声処理として、次のような処理を行う機能を有していてもよい。音声処理部２５３は、通信部２１０により補聴器１０から取得される、装着者Ｗが聴取可能な最低音量を示す最低音量情報を取得する。音声処理部２５３は、上述した第一の音声処理後の装着者Ｗの両耳の各々に出力される音声である、第一処理後音声のそれぞれのうち、少なくともいずれか一方の音声の音量が最低音量を下回る場合、第一処理後音声のうち音量がより小さい方の音声の音量を、最低音量以上となるよう増加させるとともに、他方の音声の音量を、より小さい方の音声の音量の増加分と同じだけ増加させる。
【0079】
より具体的には、音声処理部２５３は、まず、第一の音声処理後の左耳の音量ＶＬおよび右耳の音量ＶＲと、最低音量Ｖｍｉｎの差Ｖｄｉｆｆを、以下の式を用いて算出する。
Ｖｄｉｆｆ＝Ｖｍｉｎ－Ｖｓ
（数式４）
Ｖｓ：第一の音声処理後に算出されたＶＬおよびＶＲのうち、いずれかより小さい値
Ｖｄｉｆｆ＝Ｖｍｉｎ－Ｖｓ
（数式４）
Ｖｓ：第一の音声処理後に算出されたＶＬおよびＶＲのうち、いずれかより小さい値
【0080】
次いで、音声処理部２５３は、下記の式を用いて、左耳の音量ＶＬと、右耳の音量ＶＲに設定する音量を再算出し、最終決定する。
ＶＬ＝ＶＬ＋Ｖｄｉｆｆ，ＶＲ＝ＶＲ＋Ｖｄｉｆｆ
（数式５）
ＶＬ＝ＶＬ＋Ｖｄｉｆｆ，ＶＲ＝ＶＲ＋Ｖｄｉｆｆ
（数式５）
【0081】
このように、音声処理部２５３が、第一の音声処理後の左耳の音量および右耳の音量に対して第二の音声処理を行うことにより、第一の音声処理において算出された左右の音量差を維持しながら、装着者Ｗが聴取可能な最低音量以上の音量が保障され得る。
【0082】
（生成部２５５）
生成部２５５は、図示しない情報処理装置２０の表示部、または、他の表示装置に表示される、各種情報の画面を生成する機能を有する。例えば、生成部２５５は、装着者Ｗの両耳の各々に出力される音声の話者Ｕの位置を、装着者Ｗが視認可能な態様で提示する話者位置表示画面を生成してもよい。
生成部２５５は、図示しない情報処理装置２０の表示部、または、他の表示装置に表示される、各種情報の画面を生成する機能を有する。例えば、生成部２５５は、装着者Ｗの両耳の各々に出力される音声の話者Ｕの位置を、装着者Ｗが視認可能な態様で提示する話者位置表示画面を生成してもよい。
【0083】
【0084】
＜２－３．外部マイク３０＞
図５は、本実施形態による外部マイク３０の機能構成例を説明する為のブロック図である。図５に示したように、外部マイク３０は、通信部３１０、制御部３３０、マイク部３５０、および、操作部３７０を含む。
図５は、本実施形態による外部マイク３０の機能構成例を説明する為のブロック図である。図５に示したように、外部マイク３０は、通信部３１０、制御部３３０、マイク部３５０、および、操作部３７０を含む。
【0085】
（通信部３１０）
通信部３１０は、情報処理装置２０と通信を行う機能を有する。例えば、通信部３１０は、マイク部３５０により収音される音声を情報処理装置２０に送信する。
通信部３１０は、情報処理装置２０と通信を行う機能を有する。例えば、通信部３１０は、マイク部３５０により収音される音声を情報処理装置２０に送信する。
【0086】
（制御部３３０）
制御部３３０は、外部マイク３０の動作全般を制御する機能を有する。例えば、制御部３３０は、通信部３１０に、マイク部３５０により取得される音声を、情報処理装置２０へ送信させる。
制御部３３０は、外部マイク３０の動作全般を制御する機能を有する。例えば、制御部３３０は、通信部３１０に、マイク部３５０により取得される音声を、情報処理装置２０へ送信させる。
【0087】
また、制御部３３０は、操作部３７０において装着者Ｗによる所定の入力操作が行われたことが検出されると、所定の入力操作が行われたことの通知を、通信部２１０に、情報処理装置２０へ送信させてもよい。
【0088】
（マイク部３５０、操作部３７０）
マイク部３５０は、音を収音する機能を有するマイクである。操作部３７０は、外部マイク３０の操作者による各種情報の入力を受け付けることが可能な操作部である。例えば、装着者Ｗは、操作部３７０を操作することにより、所定の入力操作を行うことが出来る。
マイク部３５０は、音を収音する機能を有するマイクである。操作部３７０は、外部マイク３０の操作者による各種情報の入力を受け付けることが可能な操作部である。例えば、装着者Ｗは、操作部３７０を操作することにより、所定の入力操作を行うことが出来る。
【0089】
【0090】
【0091】
（通信部４１０）
通信部４１０は、情報処理装置２０と通信を行う機能を有する。例えば、通信部４１０は、情報処理装置２０から、話者位置表示画面を受信する。
通信部４１０は、情報処理装置２０と通信を行う機能を有する。例えば、通信部４１０は、情報処理装置２０から、話者位置表示画面を受信する。
【0092】
（表示部４３０）
表示部４３０は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置などの表示装置であり、画像データを画像に変換して出力する。
表示部４３０は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置などの表示装置であり、画像データを画像に変換して出力する。
【0093】
図７は、情報処理装置２０により生成されて表示部４３０に表示される話者位置表示画面の一例を示す説明図である。図７に示したように、話者位置表示画面ＤＰは、装着者Ｗの位置および外部マイク３０の各々の位置を表す、自己位置アイコンＢ１および話者アイコンＢ２を含む。
【0094】
図７に示した例では、装着者Ｗの位置を表す自己位置アイコンＢ１と、発言中の話者Ｕの音声を収音している外部マイク３０を表す話者アイコンＢ２とが、それぞれ互いに異なるハッチングで強調表示されている。これにより、装着者Ｗは、話者位置表示画面ＤＰを参照して、装着者Ｗ自身の位置と、発言中の話者Ｕとを、より容易に識別することが出来る。
【0095】
また、図７に示した例では、発言中の話者Ｕに対応する話者アイコンＢ２の上方に、スピーカーアイコンＢ３が表示されている。このような表示により、装着者Ｗは、発言中の話者をより容易に識別することが出来る。
【0096】
【0097】
＜３．動作例＞
図８は、本実施形態による情報処理システムの動作例を説明するためのフローチャート図である。まず、補聴器１０の機能切替処理部１３０は、補聴器１０と情報処理装置２０との通信接続が確立しているか否かを判定する（Ｓ１０１）。通信接続が確立していない場合（Ｓ１０１／ＮＯ）、機能切替処理部１３０は、補聴器１０の実行する機能を、補聴器機能に切り替え（Ｓ１２１）、処理を終了する。
図８は、本実施形態による情報処理システムの動作例を説明するためのフローチャート図である。まず、補聴器１０の機能切替処理部１３０は、補聴器１０と情報処理装置２０との通信接続が確立しているか否かを判定する（Ｓ１０１）。通信接続が確立していない場合（Ｓ１０１／ＮＯ）、機能切替処理部１３０は、補聴器１０の実行する機能を、補聴器機能に切り替え（Ｓ１２１）、処理を終了する。
【0098】
通信接続が確立している場合（Ｓ１０１／ＹＥＳ）、機能切替処理部１３０は、補聴器１０の実行する機能を、傾聴機能に切り替える。通信部１１０は、機能切替処理部１３０により、補聴器１０の実行する機能が傾聴機能に切り替えられたことの通知を、情報処理装置２０に送信する（Ｓ１０３）。
【0099】
装着者Ｗは、外部マイク３０の操作部３７０を操作することにより、所定の入力操作を行う（Ｓ１０５）。上記入力操作が行われた外部マイク３０の通信部３１０は、所定の入力操作が行われたことを情報処理装置２０に通知する。さらに、通信部３１０は、自身の位置、または、自身の位置に関連付けられたマイク番号を情報処理装置２０に送信してもよい。情報処理装置２０の位置確定部２５１は、上記所定の入力操作の通知に基づいて、装着者Ｗの位置を確定する（Ｓ１０７）。
【0100】
情報処理装置２０の音声処理部２５３は、装着者Ｗの位置と、外部マイク３０の各々との位置関係に基づいて、各外部マイク３０に対応する、装着者Ｗの装着者の両耳に出力される音声の各々の音量差を算出する（Ｓ１０９）。
【0101】
次いで、情報処理装置２０は、話者Ｕの音声が収音された外部マイク３０から、当該話者Ｕの音声と、当該外部マイク３０のマイク番号とを受信し取得する（Ｓ１１１）。情報処理装置２０は、受信した音声に音声処理を行う（Ｓ１１３）。情報処理装置２０は、処理後音声を補聴器１０へ送信する（Ｓ１１５）。
【0102】
補聴器１０は、情報処理装置２０から受信した処理後音声を出力する（Ｓ１１７）。
【0103】
補聴器１０の機能切替処理部１３０は、再度、補聴器１０と情報処理装置２０との通信接続が確立しているか否かを判定する（Ｓ１１９）。通信接続が確立していない場合（Ｓ１１９／ＮＯ）、Ｓ１２１に進み、一連の処理を終了する。通信接続が確立している場合（Ｓ１１９／ＹＥＳ）、Ｓ１１１～Ｓ１１７の処理を繰り返す。
【0104】
【0105】
図９は、図８に示したフローチャートのＳ１１３において実行される、音声処理部２５３による音声処理の動作例を説明するフローチャート図である。まず、音声処理部２５３は、外部マイク３０の各々のうち、対象の外部マイク３０の基準音量Ｖを決定する（Ｓ３０１）。
【0106】
次いで、音声処理部２５３は、確定された装着者Ｗの位置に対応する外部マイク３０と、対象のマイクとの距離が、負の距離（本実施形態では、装着者Ｗからみて左方向の距離）であるか否かを判定する（Ｓ３０３）。
【0107】
上記距離が負の距離である場合（Ｓ３０３／ＹＥＳ（話者が左方向に位置））、音声処理部２５３は、基準音量Ｖよりも左耳の音量ＶＬの音量を大きく、かつ、基準音量Ｖよりも右耳の音量ＶＲの音量を小さく算出して、左右の音量を決定する（Ｓ３０５）。
【0108】
上記距離が正の距離である場合（Ｓ３０３／ＮＯ（話者が右方向に位置））、音声処理部２５３は、基準音量Ｖよりも左耳の音量ＶＬの音量を小さく、かつ、基準音量Ｖよりも右耳の音量ＶＲの音量を大きく算出して、左右の音量を決定する（Ｓ３０７）。
【0109】
次いで、音声処理部２５３は、Ｓ３０５またはＳ３０７において決定した左右の音量のうち、いずれかが最低音量より小さいか否かを判定する（Ｓ３０９）。
【0110】
左右いずれの音量も最低音量以上である場合（Ｓ３０９／ＮＯ）、Ｓ３１３に進む。左右いずれかの音量が最低音量より小さい場合（Ｓ３０９／ＹＥＳ）、音声処理部２５３は、小さい方の音量を最低音量以上に設定し、かつ、もう一方の音量を、小さい方の音量の増加分と同じだけ増加させる（Ｓ３１１）。
【0111】
音声処理部２５３は、全ての外部マイク３０について、音量設定が完了したか否かを判定する（Ｓ３１３）。完了していない場合（Ｓ３１３／ＮＯ）、音声処理部２５３は、全ての外部マイク３０について処理が完了するまで、Ｓ３０１～Ｓ３１１の処理を繰り返す。完了している場合（Ｓ３１３／ＹＥＳ）、音声処理部２５３は処理を終了する。
【0112】
【0113】
＜４．ハードウェア構成例＞
以上、本発明の一実施形態を説明した。上述した、情報処理装置２０による、第一の音声処理、第二の音声処理、および、話者位置表示画面の生成等の処理は、ソフトウェアと、情報処理装置２０のハードウェアとの協働により実現される。以下では、本発明の実施形態による情報処理装置２０のハードウェア構成例について説明する。
以上、本発明の一実施形態を説明した。上述した、情報処理装置２０による、第一の音声処理、第二の音声処理、および、話者位置表示画面の生成等の処理は、ソフトウェアと、情報処理装置２０のハードウェアとの協働により実現される。以下では、本発明の実施形態による情報処理装置２０のハードウェア構成例について説明する。
【0114】
なお、以下に説明する情報処理装置２０のハードウェア構成例は、情報処理装置２０のハードウェア構成の一例に過ぎない。したがって、情報処理装置２０のハードウェア構成は、以下に説明する情報処理装置２０のハードウェア構成から不要な構成が削除されてもよいし、新たな構成が追加されてもよい。
【0115】
図１０は、本発明の一実施形態による情報処理装置２０のハードウェア構成例を示す図である。情報処理装置２０は、ＣＰＵ１００１と、ＲＯＭ１００２と、ＲＡＭ１００３と、内部バス１００４と、入出力インターフェース１０１０と、表示装置１０１１と、入力装置１０１２と、音声出力部１０１３と、記憶装置１０１４と、ドライブ１０１５と、ネットワークインターフェース１０１６と、外部インターフェース１０１７と、を備えることができる。
【0116】
ＣＰＵ１００１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置２０内の動作全般を制御する。ＣＰＵ１００１が後述するＲＯＭ１００２、ＲＡＭ１００３およびソフトウェアと協働することにより、例えば、制御部２５０の機能が実現され得る。
【0117】
ＲＯＭ１００２は、ＣＰＵ１００１が使用するプログラムおよび演算パラメータ等を記憶する。ＲＡＭ１００３は、ＣＰＵ１００１の実行において使用するプログラム、およびその実行において適宜変化するパラメータ等を一時記憶する。
【0118】
ＣＰＵ１００１、ＲＯＭ１００２、ＲＡＭ１００３は、内部バス１００４によって相互に接続され、さらに入出力インターフェース１０１０を介して後述する表示装置１０１１、入力装置１０１２、音声出力部１０１３、記憶装置１０１４、ドライブ１０１５、ネットワークインターフェース１０１６および外部インターフェース１０１７と接続される。
【0119】
表示装置１０１１は、例えば、ＣＲＴディスプレイ装置、液晶ディスプレイ（ＬＣＤ）、ＯＬＥＤ装置などの表示装置であり、映像データを映像に変換して出力する。また、入力装置１０１２は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、センサ、スイッチおよび制御回路などから構成され得る。また、音声出力部１０１３は、スピーカおよびヘッドフォンなどの音声出力装置であり、音声データなどを音声に変換して出力する。
【0120】
記憶装置１０１４は、本実施形態による記憶部２３０の一例として構成されたデータ記憶用の装置である。記憶装置１０１４は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでいてもよい。記憶装置１０１４は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）またはＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、あるいは同等の機能を有するメモリ等で構成される。この記憶装置１０１４は、ストレージを駆動し、ＣＰＵ１００１が実行するプログラムまたは各種データを記憶する。
【0121】
ドライブ１０１５は、記憶媒体用リーダライタであり、情報処理装置２０に内蔵、または外付けされる。ドライブ１０１５は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記憶媒体に記憶されている情報を読み出して、ＲＡＭ１００３に出力する。また、ドライブ１０１５は、リムーバブル記憶媒体に情報を書き込むことも可能である。
【0122】
ネットワークインターフェース１０１６は、例えば、インターネットなどの通信網に接続するためのデバイス等で構成された通信インターフェースである。また、ネットワークインターフェース１０１６は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置であってもよいし、有線ＬＡＮによる通信を行うワイヤー通信装置であってもよい。
【0123】
外部インターフェース１０１７は、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）ポート、ＲＳ－２３２Ｃポートまたは光オーディオ端子などのような外部接続機器を接続するための接続ポートで構成された接続インターフェースである。
【0124】
＜５．補足＞
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【0125】
例えば、本実施形態による情報処理装置２０の音声処理部２５３は、補聴器１０を装着している装着者Ｗの両耳の各々に出力される音声に音量差を持たせることにより、当該音声に方向感を持たせる音声処理を行うとした。しかし、本発明はこれに限られない。例えば、音声処理部２５３は、装着者Ｗの両耳の各々に出力される音声に、出力時の時間差を持たせる処理を行うことにより、上記音声に方向感を持たせる音声処理を行ってもよい。
【0126】
また、本実施形態による補聴器１０、情報処理装置２０、外部マイク３０、および表示装置４０の動作の処理におけるステップは、必ずしも説明図として記載された順序に沿って時系列に処理する必要はない。例えば、補聴器１０、情報処理装置２０、外部マイク３０、および表示装置４０の動作の処理における各ステップは、説明図として記載した順序と異なる順序で処理されてもよく、並列的に処理されてもよい。
【0127】
また、上述した補聴器１０、情報処理装置２０、外部マイク３０、および表示装置４０に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアに、本実施形態による情報処理システムの機能を発揮させるための１以上のコンピュータプログラムも作成可能である。また、当該１以上のコンピュータプログラムを記憶させたコンピュータにより読み取り可能な記憶媒体も提供される。
【0128】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本発明に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【符号の説明】
【0129】
１０ 補聴器
１０Ｌ 左耳補聴器
１０Ｒ 右耳補聴器
１１０ 通信部
１３０ 機能切替処理部
１５０ 音出力部
１７０ 補聴機能部
１９０ 収音部
２０ 情報処理装置
２１０ 通信部
２３０ 記憶部
２５０ 制御部
２５１ 位置確定部
２５３ 音声処理部
２５５ 生成部
３０ 外部マイク
３１０ 通信部
３３０ 制御部
３５０ マイク部
３７０ 操作部
４０ 表示装置
４１０ 通信部
４３０ 表示部
１０Ｌ 左耳補聴器
１０Ｒ 右耳補聴器
１１０ 通信部
１３０ 機能切替処理部
１５０ 音出力部
１７０ 補聴機能部
１９０ 収音部
２０ 情報処理装置
２１０ 通信部
２３０ 記憶部
２５０ 制御部
２５１ 位置確定部
２５３ 音声処理部
２５５ 生成部
３０ 外部マイク
３１０ 通信部
３３０ 制御部
３５０ マイク部
３７０ 操作部
４０ 表示装置
４１０ 通信部
４３０ 表示部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】