(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023165528
(43)【公開日】2023-11-16
(54)【発明の名称】ビームフォーミング方法、ビームフォーミングシステム
(51)【国際特許分類】
G10L 21/0272 20130101AFI20231109BHJP
G10L 21/0308 20130101ALI20231109BHJP
【ＦＩ】
G10L21/0272 100B
G10L21/0272 100A
G10L21/0308 A
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2022076676
(22)【出願日】2022-05-06
(71)【出願人】
【識別番号】000115636
【氏名又は名称】リオン株式会社
(74)【代理人】
【識別番号】100120592
【弁理士】
【氏名又は名称】山崎 崇裕
(74)【代理人】
【識別番号】100192223
【弁理士】
【氏名又は名称】加久田 典子
(72)【発明者】
【氏名】昼間 信彦
(72)【発明者】
【氏名】藤坂 洋一
(57)【要約】 （修正有）
【課題】適切なビームフォーミングを実現する方法、装置及びシステムを提供する。
【解決手段】入力を２チャンネルとした両耳聴取装置１００の両耳ビームフォーマ１において、複数のマイクロホンに入力した音に対応する入力信号に対し、最小分散無歪応答法（ｍｉｎｉｍｕｍ ｖａｒｉａｎｃｅ ｄｉｓｔｏｒｔｉｏｎｌｅｓｓ ｒｅｓｐｏｎｓｅ；ＭＶＤＲ）を用いてビームフォーミングを行うビームフォーミング方法は、所定の設計がなされたＭＶＤＲフィルタ２４－１～２４－４に入力信号を通した結果に基づいて係数を算出し、係数を用いてＦＩＲフィルタ２７－１～２７－４を切り替えるフィルタ更新工程と、入力信号をＦＩＲフィルタで畳み込む畳み込み工程と、を含む。
【選択図】図４
【解決手段】入力を２チャンネルとした両耳聴取装置１００の両耳ビームフォーマ１において、複数のマイクロホンに入力した音に対応する入力信号に対し、最小分散無歪応答法（ｍｉｎｉｍｕｍ ｖａｒｉａｎｃｅ ｄｉｓｔｏｒｔｉｏｎｌｅｓｓ ｒｅｓｐｏｎｓｅ；ＭＶＤＲ）を用いてビームフォーミングを行うビームフォーミング方法は、所定の設計がなされたＭＶＤＲフィルタ２４－１～２４－４に入力信号を通した結果に基づいて係数を算出し、係数を用いてＦＩＲフィルタ２７－１～２７－４を切り替えるフィルタ更新工程と、入力信号をＦＩＲフィルタで畳み込む畳み込み工程と、を含む。
【選択図】図４
【特許請求の範囲】
【請求項1】
複数のマイクロホンに入力した音に対応する入力信号に対し、ＭＶＤＲを用いてビームフォーミングを行うビームフォーミング方法であって、
所定の設計がなされたＭＶＤＲフィルタに前記入力信号を通した結果に基づいて係数を算出し、前記係数を用いてＦＩＲフィルタを切り替えるフィルタ更新工程と、
前記入力信号を前記ＦＩＲフィルタで畳み込む畳み込み工程と
を含むビームフォーミング方法。
所定の設計がなされたＭＶＤＲフィルタに前記入力信号を通した結果に基づいて係数を算出し、前記係数を用いてＦＩＲフィルタを切り替えるフィルタ更新工程と、
前記入力信号を前記ＦＩＲフィルタで畳み込む畳み込み工程と
を含むビームフォーミング方法。
【請求項2】
請求項１に記載のビームフォーミング方法において、
前記ＭＶＤＲフィルタは、
前記入力信号に含まれる雑音成分の両耳間相互相関度を保持する度合いを踏まえて設計されていることを特徴とするビームフォーミング方法。
前記ＭＶＤＲフィルタは、
前記入力信号に含まれる雑音成分の両耳間相互相関度を保持する度合いを踏まえて設計されていることを特徴とするビームフォーミング方法。
【請求項3】
請求項２に記載のビームフォーミング方法において、
前記度合いを変更可能とする調整工程をさらに含むことを特徴とするビームフォーミング方法。
前記度合いを変更可能とする調整工程をさらに含むことを特徴とするビームフォーミング方法。
【請求項4】
請求項３に記載のビームフォーミング方法において、
前記ＭＶＤＲフィルタは、
そのコスト関数が前記度合いを制御するパラメータを含んだ式で表され、
前記調整工程では、
前記パラメータの値を変更可能とすることを特徴とするビームフォーミング方法。
前記ＭＶＤＲフィルタは、
そのコスト関数が前記度合いを制御するパラメータを含んだ式で表され、
前記調整工程では、
前記パラメータの値を変更可能とすることを特徴とするビームフォーミング方法。
【請求項5】
請求項１から４のいずれかに記載のビームフォーミング方法において、
前記畳み込み工程では、
第１の信号経路上で、前記入力信号を畳み込み、
前記フィルタ更新工程では、
前記第１の信号経路から分岐した第２の信号経路上で、前記入力信号に対応する周波数領域の信号に対して周波数帯域毎に所定の演算を行う周波数領域のゲインにＭＶＤＲのゲインを掛けた結果に基づいて、前記係数を算出することを特徴とするビームフォーミング方法。
前記畳み込み工程では、
第１の信号経路上で、前記入力信号を畳み込み、
前記フィルタ更新工程では、
前記第１の信号経路から分岐した第２の信号経路上で、前記入力信号に対応する周波数領域の信号に対して周波数帯域毎に所定の演算を行う周波数領域のゲインにＭＶＤＲのゲインを掛けた結果に基づいて、前記係数を算出することを特徴とするビームフォーミング方法。
【請求項6】
複数のマイクロホンに入力した音に対応する入力信号に対し、ＭＶＤＲを用いてビームフォーミングを行うビームフォーミングシステムであって、
所定の設計がなされたＭＶＤＲフィルタに前記入力信号を通した結果に基づいて係数を算出し、前記係数を用いてＦＩＲフィルタを切り替えるフィルタ更新部と、
前記入力信号を前記ＦＩＲフィルタで畳み込む畳み込み部と
を備えたビームフォーミングシステム。
所定の設計がなされたＭＶＤＲフィルタに前記入力信号を通した結果に基づいて係数を算出し、前記係数を用いてＦＩＲフィルタを切り替えるフィルタ更新部と、
前記入力信号を前記ＦＩＲフィルタで畳み込む畳み込み部と
を備えたビームフォーミングシステム。
【請求項7】
請求項６に記載のビームフォーミングシステムにおいて、
前記ＭＶＤＲフィルタは、
前記入力信号に含まれる雑音成分の両耳間相互相関度を保持する度合いを踏まえて設計されていることを特徴とするビームフォーミングシステム。
前記ＭＶＤＲフィルタは、
前記入力信号に含まれる雑音成分の両耳間相互相関度を保持する度合いを踏まえて設計されていることを特徴とするビームフォーミングシステム。
【請求項8】
請求項７に記載のビームフォーミングシステムにおいて、
前記度合いを変更可能とする調整部をさらに備えたことを特徴とするビームフォーミングシステム。
前記度合いを変更可能とする調整部をさらに備えたことを特徴とするビームフォーミングシステム。
【請求項9】
請求項８に記載のビームフォーミングシステムにおいて、
前記ＭＶＤＲフィルタは、
そのコスト関数が前記度合いを制御するパラメータを含んだ式で表され、
前記調整部は、
前記パラメータの値を変更可能とすることを特徴とするビームフォーミングシステム。
前記ＭＶＤＲフィルタは、
そのコスト関数が前記度合いを制御するパラメータを含んだ式で表され、
前記調整部は、
前記パラメータの値を変更可能とすることを特徴とするビームフォーミングシステム。
【請求項10】
請求項６から９のいずれかに記載のビームフォーミングシステムにおいて、
前記畳み込み部は、
第１の信号経路上で、前記入力信号を畳み込み、
前記フィルタ更新部は、
前記第１の信号経路から分岐した第２の信号経路上で、前記入力信号に対応する周波数領域の信号に対して周波数帯域毎に所定の演算を行う周波数領域のゲインにＭＶＤＲのゲインを掛けた結果に基づいて、前記係数を算出することを特徴とするビームフォーミングシステム。
前記畳み込み部は、
第１の信号経路上で、前記入力信号を畳み込み、
前記フィルタ更新部は、
前記第１の信号経路から分岐した第２の信号経路上で、前記入力信号に対応する周波数領域の信号に対して周波数帯域毎に所定の演算を行う周波数領域のゲインにＭＶＤＲのゲインを掛けた結果に基づいて、前記係数を算出することを特徴とするビームフォーミングシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ビームフォーミング、特に、最小分散無歪応答法（minimum variance distortionless response；以下、「ＭＶＤＲ」と称する。）を用いた両耳ビームフォーミングの方法及びその方法を適用した装置やシステムに関する。
【背景技術】
【0002】
ＭＶＤＲを用いた両耳ビームフォーミングは、所望の音声の空間情報を保持することが保証されているアルゴリズムであるものの、雑音の空間情報が歪み、雑音も所望の音声と同一方向から到来するように知覚されてしまうことが知られている（例えば、非特許文献１を参照。）。
【0003】
また、両耳間相互相関度（interaural coherence；以下、「ＩＣ」と称する。）、両耳間レベル差及び両耳間時間差等のバイノーラルキューが、音源の定位の幅や拡散性を決定し、空間知覚に大きな役割を果たし、所望の音声と雑音との空間的分離が音声受信閾値（speech reception threshold；以下、「ＳＲＴ」と称する。）の改善に役立つことが知られている（例えば、非特許文献２－４を参照。）。
【先行技術文献】
【非特許文献】
【0004】
【非特許文献1】Daniel Marquardtら著，「Interaural Coherence Preservation for Binaural Noise Reduction Using Partial Noise Estimation and Spectral Postfiltering」，「IEEE/ACM Transaction on Audio, Speech, and Language processing」，Vol.26，No.7，2018年7月
【非特許文献2】A. W. Bronkhorstら著,「The effect of head-induced interaural time and level differences on speech intelligibility in noise」，The Journal of the Acoustical Society of America，Vol.83，No.4，p.1508-1516，1988年4月
【非特許文献3】Iris Arweilerら著，「The influence of spectral characteristics of early reflections on speech intelligibility」，The Journal of the Acoustical Society of America，Vol.130，No.2，p.996-1005，2011年8月
【非特許文献4】Monica L. Hawleyら著，「The benefit of binaural hearing in a cocktail party: Effect of location and type of interferer」，The Journal of the Acoustical Society of America，Vol.115，No.2，p.833-843，2004年
【発明の概要】
【発明が解決しようとする課題】
【0005】
上述したような背景の下で、ＩＣを保持したＭＶＤＲ－ＩＣが提案されており、ＭＶＤＲ－ＩＣを用いることで所望の音声のバイノーラルキューと拡散性雑音のＩＣの特性を保持した処理が可能とされている。しかしながら、ＭＶＤＲ－ＩＣのアルゴリズムにおいては、雑音抑圧とＩＣ保持との間でトレードオフが生じるため、この点に関して改善が求められる。
【0006】
そこで、本発明は、適切なビームフォーミングを実現する技術の提供を課題とする。
【課題を解決するための手段】
【0007】
上記の課題を解決するため、本発明は以下のビームフォーミング方法及びこの方法が適用されたビームフォーミングシステム（ビームフォーミング装置）を採用する。なお、以下の括弧書中の文言はあくまで例示であり、本発明はこれに限定されるものではない。
【0008】
すなわち、本発明の第１態様のビームフォーミング方法は、複数のマイクロホンに入力した音に対応する入力信号に対し、ＭＶＤＲを用いてビームフォーミングを行うビームフォーミング方法であって、所定の設計がなされたＭＶＤＲフィルタに入力信号を通した結果に基づいて係数を算出し、係数を用いてＦＩＲフィルタを切り替えるフィルタ更新工程と、入力信号をＦＩＲフィルタで畳み込む畳み込み工程とを含んでいる。
【0009】
好ましくは、第１態様のビームフォーミング方法において、ＭＶＤＲフィルタは、入力信号に含まれる雑音成分の両耳間相互相関度を保持する度合いを踏まえて設計されている（第２態様）。
【0010】
より好ましくは、第２態様のビームフォーミング方法において、度合いを変更可能とする調整工程をさらに含んでいる（第３態様）。
【0011】
さらに好ましくは、第３態様のビームフォーミング方法において、ＭＶＤＲフィルタは、そのコスト関数が度合いを制御するパラメータを含んだ式で表され、調整工程では、パラメータの値を変更可能とする（第４態様）。
【0012】
ＭＶＤＲフィルタを用いて拡散性雑音成分のＩＣを保持したビームフォーミングを行う場合、すなわちＭＶＤＲ－ＩＣのアルゴリズムによりビームフォーミングを行う場合には、雑音抑圧性能とＩＣ保持性能との間でトレードオフが生じる。
【0013】
これに対し、上述したいずれかの態様のビームフォーミング方法においては、ＭＶＤＲフィルタに所定の設計、より具体的には入力信号に含まれる雑音成分のＩＣ保持の度合い（ひいてはトレードオフの度合い）を踏まえた設計がなされており、さらに、その度合い、より具体的には、度合いを制御するパラメータの値を変更可能とされている。したがって、上述したいずれかの態様のビームフォーミング方法によれば、畳み込み工程を経て外部に出力された音をユーザが確認しながらパラメータを適宜調整したり、或いは、環境に応じてパラメータを自動的に調整したりすることで、聴取環境に応じた適切なビームフォーミングを実現することができる。
【0014】
また、好ましくは、上述した態様のビームフォーミング方法において、畳み込み工程では、第１の信号経路上で、入力信号を畳み込み、フィルタ更新工程では、第１の信号経路から分岐した第２の信号経路上で、入力信号に対応する周波数領域の信号に対して周波数帯域毎に所定の演算を行う周波数領域のゲインにＭＶＤＲのゲインを掛けた結果に基づいて、係数を算出する（第５態様）。
【0015】
入力信号に対する周波数領域での各種のフィルタリングが第１の信号経路上で実行される場合には、周波数分析を行うまでの入力バッファリング及びフィルタリング後に周波数領域の信号を時間領域に合成する際に生じる遅延が周波数分解能に応じて大きくなることが問題となる。
【0016】
これに対し、第５態様のビームフォーミング方法においては、第１の信号経路上から分岐した第２の信号経路上で周波数領域での周波数帯域毎に各種のゲイン演算が実行されて、この過程でＭＶＤＲのゲインが適用され、その結果を踏まえた係数が第２の信号経路上で算出されて第１の信号経路上のＦＩＲフィルタに供給される。したがって、第５態様のビームフォーミング方法によれば、分析および合成による遅延がなく、第１の信号経路上のＦＩＲフィルタによってフィルタリングが達成可能なため、ビームフォーミングを低遅延で実現することができ、より自然な聞こえを実現することができる。
【発明の効果】
【0017】
以上のように、本発明によれば、適切なビームフォーミングを実現することができる。
【図面の簡単な説明】
【0018】
【図1】一実施形態の両耳ビームフォーマ１を備えた両耳聴取装置１００の構成例を簡略的に示すブロック図である。
【図2】両耳ビームフォーミングの基本構成例を示す図である。
【図3】両耳ビームフォーミングの基本構成例をより具体的に示す図である。
【図4】入力を２チャンネルとした両耳聴取装置１００の構成例を詳細に示すブロック図である。
【図5】実施形態のフィルタバンクにおける処理の流れの一例を示す図である。
【図6】比較例のフィルタバンクにおける処理の流れの一例を示す図（１／２）である。
【図7】比較例のフィルタバンクにおける処理の流れの一例を示す図（２／２）である。
【図8】入力チャンネル数を増やした場合における両耳ビームフォーミングの基本構成例を示す図である。
【発明を実施するための形態】
【0019】
以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下の実施形態は好ましい例示であり、本発明はこの例示に限定されるものではない。
【0020】
図１は、一実施形態の両耳ビームフォーマ（両耳ビームフォーミング装置、両耳ビームフォーミングシステム）１を備えた両耳聴取装置１００の構成例を簡略的に示すブロック図である。
【0021】
両耳ビームフォーマ１は、周波数帯域毎にゲインを適用可能とした様々な両耳聴取装置（例えば、補聴器等）に搭載することができる。両耳聴取装置１００は、例えば、複数チャンネルを有する音入力部１０と、両耳ビームフォーマ１及びパラメータ調整部２を有する信号処理部２０と、左右の２チャンネルを有する音出力部３０と、ユーザの操作を受け付ける操作入力部４０とで構成される。
【0022】
音入力部１０は、マイクロホンであり、複数のマイクロホンに入力した音を電気信号に変換して（以下、この信号を「入力信号」と称する。）、信号処理部２０に送る。これを受けて、両耳ビームフォーマ１は、各マイクロホンの入力信号に対し、ＭＶＤＲを用いたビームフォーミングを含む各種の信号処理を行って、処理後の信号を音出力部３０に出力する。両耳ビームフォーマ１には、ＭＶＤＲ－ＩＣのアルゴリズムが適用されている。なお、ＭＶＤＲフィルタの詳細については、詳しく後述する。音出力部３０は、マイクロホンやスピーカであり、両耳ビームフォーマ１から出力された左右の各チャンネル向けの信号を音に変換して外部に出力する。信号処理部２０は、例えば、ＤＳＰ（digital signal processor）等のプロセッサによる信号処理によって実装可能である。
【0023】
ところで、両耳ビームフォーマ１での処理においては、上述したようにＩＣ保持と雑音抑圧との間でトレードオフが生じる。そこで、両耳聴取装置１００には、両耳ビームフォーマ１に対してトレードオフを外部から制御するための構成が設けられている。具体的には、雑音成分のＩＣ保持の度合いを制御するためのパラメータ（以下、「トレードオフパラメータ」と称する。）に関し、例えば、複数種類の設定値がプリセットされており、ユーザの選択に応じて聴取環境に適したトレードオフパラメータに調整可能とされている。
【0024】
操作入力部４０は、例えば、操作ボタンやタッチパネル等である。操作入力部４０は、ユーザの操作に応じて、トレードオフパラメータの設定値の変更を受け付けてパラメータ調整部２に通知する。これを受けて、パタメータ調整部２は、両耳ビームフォーマ１が処理の過程で使用するトレードオフパラメータの設定値をユーザにより選択された設定値に変更する。これにより、両耳ビームフォーマ１は、変更後のトレードオフパラメータを用いて、より正確には、トレードオフパラメータを用いた式をＭＶＤＲフィルタのコスト関数として、信号処理を行うこととなる。
【0025】
なお、両耳ビームフォーマ１は、パラメータ調整部２を介して調整されうるトレードオフパラメータを用いて信号処理を行うことから、パラメータ調整部２を両耳ビームフォーマ１の一部として捉える（すなわち、信号処理部２０全体を両耳ビームフォーマ１として捉える）ことも可能である。
【0026】
また、上述したトレードオフパラメータの調整態様は、あくまで一例として挙げたものであり、これに限定されない。例えば、トレードオフパラメータに関して複数種類の設定値をプリセットするのに代えて、環境に応じたトレードオフパラメータを自動的に調整し適応アルゴリズム等を適用して自動化することも可能である。また、トレードオフパラメータの値を自動的に徐々に変更していき、変更後のトレードオフパラメータが反映された音をユーザがイヤホンで確認しながら、聞こえが最も良好であるとユーザが感じたところで操作入力部４０を操作すると、その時点でのトレードオフパラメータの値を保存し、学習するよう構成することも可能である。
【0027】
図２は、両耳ビームフォーマ１におけるビームフォーミングの基本構成例を示す図である。図２中の「ｗＬ」は、左チャンネル出力用のＭＶＤＲフィルタであり、「ｗＲ」は、右チャンネル出力用のＭＶＤＲフィルタである。
【0028】
入力を２チャンネルとする場合には、図２に示されるように、フィルタｗＬ及びフィルタｗＲのそれぞれに、入力２チャンネルの入力信号ｙＬ，ｙＲが入力され、各フィルタｗＬ，ｗＲにおいて入力信号の指向性を分析した結果として、フィルタｗＬからは信号ｚＬが出力され、フィルタｗＲからは信号ｚＲが出力される。
【0029】
図中の各信号は、以下の数式により定義される。なお、説明の便宜のため、定義の表現においては、左チャンネルに対応する信号を添え字が「Ｌ」の変数で表し、右チャンネルに対応する信号を添え字が「Ｒ」の変数で表している。また、左右両チャンネルの信号が重ねられた信号については、各チャンネルの信号と同じ変数を用いつつ書体を異ならせて表している。
【0030】
【数1】
【0031】
上記の数式において、「ｙ」は入力信号を示し、「ｘ」は入力信号に含まれる所望の音声信号（以下、単に「音声信号」と称する。）を示し、「ｎ」は入力信号に含まれる雑音信号を示している。雑音信号に関して、「ｎｉ」は指向性雑音信号を示し、「ｎｖ」は拡散性雑音信号を示している。また、「ｓ」はドライソースの音声信号を示し、「ａ」は音響伝達関数（acoustic transfer function；以下、「ＡＴＦ」と称する。）、すなわち所望の音声が音源からマイクロホンに到達するまでの伝達関数を示している。「Ｔ」は転置を示している。これらの定義を踏まえ、ＭＶＤＲフィルタのコスト関数ＪＭＶＤＲは、次の数式で表すことができる。
【0032】
【数2】
【0033】
上記の数式から分かるように、コスト関数ＪＭＶＤＲによれば、音声信号の保存が保証される。そして、このコスト関数ＪＭＶＤＲを最小化する解ｗＬ，ｗＲは、それぞれ以下の数式により求められる。
【0034】
【数3】
【0035】
なお、上記の数式において、「＊」及び「Ｈ」はいずれも共役転置を示し、「Ｅ」は期待値を示している。
【0036】
ところで、上述したように「ａ」は所望の音声のＡＴＦを表しているが、これを実際の環境で直接的に推定することは困難である。そこで、フィルタ係数は、事前に音声区間及び雑音区間が既知であることを前提として、次の数式により算出される。
【0037】
【数4】
【0038】
なお、上記の数式において、「Ｎ」は入力チャンネル数を示している。
【0039】
ＭＶＤＲは、音声信号の歪みを最小化する上では最適なフィルタとなるが、その一方で、雑音信号も音声信号と同一方向から到来するように知覚されることが問題となる。この点に関し、拡散した雑音環境において所望の音声成分及び雑音成分がいずれも同一方向から到来する場合に、５０％の音声明瞭度に相当するＳＲＴは改善しないことが、上記の非特許文献４にて報告されている。そこで、両耳ビームフォーマ１においては、出力音声成分と残留雑音成分との空間的分離のために、ＩＣを保持するＭＶＤＲ－ＩＣを採用している。ＭＶＤＲ－ＩＣのコスト関数ＪＭＶＤＲ－ＩＣは、次の数式で表すことができる。
【0040】
【数5】
【0041】
上記の数式において、「λ」はトレードオフパラメータを示している。また、拡散性雑音成分の入力側及び出力側のＩＣ（ＩＣｖ
ｉｎ，ＩＣＶ
ｏｕｔ）は、それぞれ以下の数式により求められる。
【0042】
【数6】
【0043】
拡散性雑音成分のＩＣを保持することは、雑音を抑圧することとトレードオフになることが知られている。この点に関して、両耳ビームフォーマ１は、外部からトレードオフパラメータλを調整可能に構成されているため、聴取環境に応じて、ユーザ自ら、或いは自動的にトレードオフパラメータλを調整することができ、ビームフォーミングをより適切に実現することができる。
【0044】
【0045】
４つのＭＶＤＲフィルタのうち、図３中の「ｗＬＬ」及び「ｗＬＲ」は、図２中に示した左チャンネル出力用のＭＶＤＲフィルタｗＬに相当し、図３中の「ｗＲＬ」及び「ｗＲＲ」は、図２中に示した右チャンネル出力用のＭＶＤＲフィルタｗＲに相当する。言い換えると、左チャンネル出力用のＭＶＤＲフィルタｗＬは、フィルタｗＬＬ，ｗＬＲを要素に持つ行列として表されており、右チャンネル出力用のＭＶＤＲフィルタｗＲは、フィルタｗＲＬ，ｗＲＲを要素に持つ行列として表されている。説明の便宜のため、以下の説明においては、フィルタｗＬＬを「第１ＭＶＤＲフィルタ」、フィルタｗＲＬを「第２ＭＶＤＲフィルタ」、フィルタｗＬＲを「第３ＭＶＤＲフィルタ」、フィルタｗＲＲを「第４ＭＶＤＲフィルタ」と称する。
【0046】
左入力チャンネルの入力信号ｙＬは、第１ＭＶＤＲフィルタｗＬＬ及び第２ＭＶＤＲフィルタｗＲＬに入力し、右入力チャンネルの入力信号ｙＲは、第３ＭＶＤＲフィルタｗＬＲ及び第４ＭＶＤＲフィルタｗＲＲに入力し、各ＭＶＤＲフィルタから入力信号の指向性を踏まえた結果が出力される。そして、第１ＭＶＤＲフィルタｗＬＬを経た信号と第３ＭＶＤＲフィルタｗＬＲを経た信号とが加算されて左チャンネルに出力され、第２ＭＶＤＲフィルタｗＲＬを経た信号と第４ＭＶＤＲフィルタｗＲＲを経た信号とが加算されて右チャンネルに出力されることとなる。
【0047】
図４は、入力を２チャンネルとした両耳聴取装置１００の構成例を詳細に示すブロック図である。なお、両耳ビームフォーマ１の理解を促進するため、図４においては、パラメータ調整部２及び操作入力部４０の図示を省略している。
【0048】
両耳聴取装置１００は、２つのマイクロホン１０と、両耳ビームフォーマ１と、２つのイヤホン３０とを備えており、両耳ビームフォーマ１は、例えば、２つの入力バッファ２１と、２つの変換部２２と、２つの補聴処理部２３と、４つのＭＶＤＲフィルタ２４と、４つの乗算部２５と、４つの逆変換部２６と、４つのＦＩＲフィルタ２７と、２つの加算部２８とを含む。
【0049】
音がマイクロホン１０に入力すると、入力信号が周波数分析のために入力バッファ２１にバッファされたのち、変換部２２が、所望のタイミングで入力信号（時間領域の信号）に対し高速フーリエ変換（以下、「ＦＦＴ」と称する。）を行って周波数領域の信号を生成する。周波数領域の信号に対しては、補聴処理部２３が、ＷＤＲＣ（wide dynamic range compression）による圧縮利得等を周波数帯域毎に計算して補聴処理を行い、乗算部２５が、補聴処理後の信号に対してＭＶＤＲフィルタ２４を適用し、逆変換部２６が、ＭＶＤＲフィルタ適用後の信号に対して逆高速フーリエ変換（以下、「ＩＦＦＴ」と称する。）を行う。ＩＦＦＴにより、補聴処理ゲイン及びＭＶＤＲフィルタを加味した時間領域のインパルス応答、すなわちＦＩＲフィルタ２７の係数が得られる。ＩＦＦＴにより得られた係数はＦＩＲフィルタ２７に供給され、ＦＩＲフィルタ２７はこれを係数として入力信号の畳み込みを行う。
【0050】
このようにして、周波数領域でなされる処理の結果としてビームフォーミングの内容を踏まえた係数が得られ、この係数がＦＩＲフィルタ２７に供給されることでＦＩＲフィルタ２７が切り替えられ、結果としてビームフォーミングの内容が切り替えられる。ビームフォーミングの内容を踏まえた係数を更新してＦＩＲフィルタ２７を切り替える「フィルタ更新部」には、局所的に捉えれば、係数を算出してＦＩＲフィルタ２７に供給する逆変換部２６が該当し、広く捉えれば、周波数分析がなされてから係数が供給されるまでの処理に関わる構成、すなわち周波数分析に関わる変換部２２、補聴処理部２３、ＭＶＤＲフィルタ２４、乗算部２５及びこれらを経た結果に基づき係数を算出してＦＩＲフィルタ２７に供給する逆変換部２６が該当する。
【0051】
図５は、実施形態のフィルタバンクの一例を示す図であり、実施形態において入力信号が入力バッファ２１に入ってからＦＩＲフィルタ２７で処理されるまでの流れを示している。図５に示されるように、実施形態においては、周波数分析のライン（ステップＳＦ１～ＳＦ４の信号経路）が入力信号のライン（ステップＳＳ１～ＳＳ２の信号経路）から分岐して分離された、いわゆるサイドブランチ構成のフィルタバンクを採用している。サイドブランチ構成のフィルタバンクにおいては、周波数分析のライン上で実行される周波数領域の信号処理と入力信号のライン上で実行される時間領域の信号処理とが並行して実行される。
【0052】
周波数分析のラインでは、ＦＦＴがなされた上で（ステップＳＦ１）、周波数帯域毎に補聴処理がなされ（ステップＳＦ２）、ＭＶＤＲのゲインが適用されて（ステップＳＦ３）、逆フーリエ変換がなされる（ステップＳＦ４）。これにより、周波数分析の結果に基づいて決定された補聴処理ゲインとＭＶＤＲのゲインが加味されたＦＩＲフィルタの係数が得られる。時間領域での畳み込み（ＦＩＲフィルタ）は周波数領域では乗算で表現されるが、この構成では周波数帯域毎に補聴処理が加えられるため、補聴処理が加えられたゲインにＭＶＤＲのゲインを掛けることでビームフォーミングを実現することができる。一方、入力信号のラインでは、バッファされた入力信号に対して（ステップＳＳ１）、有限インパルス応答（ＦＩＲ）の畳み込みを行って出力する（ステップＳＳ２）。
【0053】
このように、フィルタバンクをサイドブランチ構成とすることにより、周波数領域の補聴処理が加えられたゲインにＭＶＤＲのゲインを掛けることでビームフォーミングが実現でき、入力される時間領域信号にＦＩＲフィルタを掛ける単純な構成となる。したがって、ビームフォーミングを実現するための追加の遅延が生じないため、信号処理の過程で生じうる遅延時間を短く抑制することができる。
【0054】
図６及び図７は、比較例として、３つのフィルタバンクの例を示す図である。このうち、比較例１及び比較例２は、サイドブランチ構成でない、いわば分析・再構築系のフィルタバンクの一例を示しており、比較例３は、比較だけを目的として、実施形態の一部を敢えて変形させたサイドブランチ構成のフィルタバンクの一例を示している。
【0055】
比較例１は、周波数分析のライン（ステップＳ３´～Ｓ５´の信号経路）が入力信号のライン（ステップＳ１´～Ｓ６´の信号経路）上に直列的に構成されており、入力信号のラインから分離されていない点、また、ＭＶＤＲフィルタが入力信号に対して直接適用される点（ステップＳ１´）において、実施形態のフィルタバンクと異なっている。
【0056】
一般的に、複数のマイクロホンを用いたアレイ信号処理を行う際には、システムの入力段でなされることが多く、その場合には入力段で処理の遅延が生じる（第１の遅延）。比較例１のフィルタバンクにおいては、時間領域の信号に対して直接ＭＶＤＲフィルタが適用されるため（ステップＳ１´）、ここで第１の遅延が生じ、バッファされたサンプル数が多いほど遅延は大きくなる。
【0057】
また、分析・再合成系のフィルタバンクでビームフォーミングを実現する場合には、入力信号をバッファし（ステップＳ２´）周波数分析して周波数領域で処理を加えた後に、その信号を時間領域に変換する必要があるため、分析から合成までの間にも遅延が生じる（第２の遅延）。比較例１のフィルタバンクにおいては、ＭＶＤＲフィルタ適用後の信号に対し、入力信号のライン上で周波数分析がなされて時間領域の信号に変換された上で（ステップＳ３´～Ｓ５´）、信号の合成がなされるため（ステップＳ６´）、ここで第２の遅延が生じ、周波数分解能が高いほど遅延は大きくなる。
【0058】
また、比較例２においては、ＭＶＤＲフィルタが入力信号に対して直接適用されずに、周波数領域でなされる補聴処理のフィルタに対して適用されるため（Ｓ１３´～Ｓ１４´）、第１の遅延は生じないものの、サイドブランチ構成でないことから周波数領域の信号を時間領域に変換して合成する必要があるため、第２の遅延は避けられない。
【0059】
そして、比較例３においては、サイドブランチ構成が採られているため、第２の遅延は周波数分析そのものに起因して生じうる範囲内に抑えられるものの、ＭＶＤＲフィルタが入力信号に対して直接適用されるため（ＳＳ１´）、第１の遅延は避けられない。
【0060】
このように、比較例のフィルタバンクにおいては、上記の２つの要因による大きな遅延の発生が避けられない。
【0061】
これに対し、実施形態のフィルタバンクにおいては、ＭＶＤＲフィルタが周波数分析のライン上で適用されるため、第１の遅延は発生しない。また、実施形態のフィルタバンクにおいては、周波数分析のラインが信号入力のラインから分離されており、周波数分析の結果に基づいて得られるＦＩＲフィルタの係数を供給することで周波数分析の結果をＦＩＲフィルタに反映させることができることから、比較例のように周波数領域から時間領域に信号を変換する処理が不要であるため、第２の遅延のうち、周波数分析そのものに起因して生じうる僅かな遅延以外は発生しない。
【0062】
したがって、実施形態のフィルタバンクによれば、比較例のフィルタバンクと比較して、遅延時間を大幅に短縮することができるため自然な聞こえを実現することができ、また、処理に要する演算量が少なく済むため消費電力を低減することができる。
【0063】
〔図４：ＭＶＤＲフィルタ２４を参照〕
また、図４に示されるように、両耳ビームフォーマ１は、入力２チャンネル（左マイクロホン１０－１、右マイクロホン１０－２）に対応して、４つのＭＶＤＲフィルタ２４を有している。具体的には、第１ＭＶＤＲフィルタ２４－１（ｗＬＬ）に左チャンネルの入力信号ｙＬが入力し、第２ＭＶＤＲフィルタ２４－２（ｗＲＬ）及び第３ＭＶＤＲフィルタ２４－３（ｗＬＲ）のそれぞれに左チャンネル及び右チャンネルの入力信号ｙＬ，ｙＲが入力し、第４ＭＶＤＲフィルタ２４－４（ｗＲＲ）に右チャンネルの入力信号ｙＲが入力する。
また、図４に示されるように、両耳ビームフォーマ１は、入力２チャンネル（左マイクロホン１０－１、右マイクロホン１０－２）に対応して、４つのＭＶＤＲフィルタ２４を有している。具体的には、第１ＭＶＤＲフィルタ２４－１（ｗＬＬ）に左チャンネルの入力信号ｙＬが入力し、第２ＭＶＤＲフィルタ２４－２（ｗＲＬ）及び第３ＭＶＤＲフィルタ２４－３（ｗＬＲ）のそれぞれに左チャンネル及び右チャンネルの入力信号ｙＬ，ｙＲが入力し、第４ＭＶＤＲフィルタ２４－４（ｗＲＲ）に右チャンネルの入力信号ｙＲが入力する。
【0064】
そして、左入力チャンネル用の第１補聴処理部２３－１での補聴処理と第１ＭＶＤＲフィルタ２４－１の係数が加味された第１ＦＩＲフィルタ２７－１で左チャンネルの入力信号ｙＬが畳み込まれ、左チャンネル用の第１補聴処理部２３－１での補聴処理と第２ＭＶＤＲフィルタ２４－２の係数が加味された第２ＦＩＲフィルタ２７－２で左チャンネルの入力信号ｙＬが畳み込まれ、右チャンネル用の第２補聴処理部２３－２での補聴処理と第３ＭＶＤＲフィルタ２４－３の係数が加味された第３ＦＩＲフィルタ２７－３で右チャンネルの入力信号ｙＲが畳み込まれ、右入力チャンネル用の第２補聴処理部２３－２での補聴処理と第４ＭＶＤＲフィルタ２４－４の係数が加味された第４ＦＩＲフィルタ２７－４で右チャンネルの入力信号ｙＲが畳み込まれる。
【0065】
その上で、第１ＦＩＲフィルタ２７－１及び第３ＦＩＲフィルタ２７－３で畳み込まれた各信号が第１加算部２８－１で加算されて、左イヤホン３０－１に出力される。これにより、左チャンネルで音が出力される。また、第２ＦＩＲフィルタ２７－２及び第４ＦＩＲフィルタ２７－４で畳み込まれた各信号が第２加算部２８－２で加算されて、右イヤホン３０－２に出力される。これにより、右チャンネルで音が出力される。
【0066】
以上のような構成を採ることにより、両耳ビームフォーマ１は、入力信号の指向性を踏まえて、入力信号に含まれる雑音信号を適度に抑制しながら所望の音声信号を際立たせることができ、結果として所望の音声信号が強調されたような状態を得られることから、所望の音声をより自然に、より聞こえ易くすることができる。
【0067】
〔本発明の優位性〕
以上のように、上述した実施形態によれば、以下のような効果が得られる。
以上のように、上述した実施形態によれば、以下のような効果が得られる。
【0068】
（１）両耳ビームフォーマ１において、トレードオフパラメータが外部から調整可能に構成されているため、環境に応じたトレードオフパラメータを外部から選択して、ＩＣ保持性能と雑音抑圧性能とのトレードオフを外部から調整することができる。例えば、両耳ビームフォーマ１のユーザが自ら、左右のイヤホン３０－１，３０－２から出力される音を確認しながら、トレードオフパラメータを適宜調整することができる。結果として、聴取環境に応じたより適切なビームフォーミングを実現することができる。
【0069】
（２）サイドブランチ構成のフィルタバンクが用いられ、周波数領域での処理が時間領域での処理と並行して実行されるとともに、周波数領域のゲインにＭＶＤＲのゲインを掛けることによりビームフォーミングがなされるため、分析、再構築を行うフィルタバンクを用いる場合と比較して、処理の過程で発生する演算量が少なく済み、遅延を大幅に短縮することができる。結果として、ビームフォーミングを低遅延で実現することができ、より自然な聞こえを実現することができる。
【0070】
本発明は、上述した実施形態に制約されることなく、種々に変形して実施することが可能である。
【0071】
上述した実施形態においては、入力が２チャンネルの構成としているが、入力チャンネル数は任意の数Ｎに増やすことが可能である。
【0072】
図８は、入力チャンネルをＮ個とした場合における両耳ビームフォーミングの基本構成例を示す図である。この場合には、左チャンネル出力用のＭＶＤＲフィルタｗＬ及び右チャンネル出力用のＭＶＤＲフィルタｗＲのそれぞれに、２Ｍ＝Ｎ個（Ｍ，Ｎは自然数）のマイクロホンの入力信号ｙＬ１，ｙＬ２，・・・，ｙＬＭが入力され、各フィルタｗＬ，ｗＲで入力信号の指向性を分析した結果として、フィルタｗＬから信号ｚＬが出力され、フィルタｗＲから信号ｚＲが出力されるように、ＭＶＤＲフィルタｗＬ，ｗＲの各行列の要素となるＭＶＤＲフィルタ（図３及び図４に示される複数のＭＶＤＲフィルタに相当）を、入力チャンネル数に応じた個数で設けるとともに、それに対応する個数の乗算部、逆変換部、ＦＩＲフィルタ設けるよう構成すればよい。
【0073】
その他、両耳ビームフォーマ１及び両耳聴取装置１００に関する説明の過程で挙げた構成や数値等はあくまで例示であり、本発明の実施に際して適宜に変形が可能であることは言うまでもない。
【符号の説明】
【0074】
１ 両耳ビームフォーマ
２ パラメータ調整部 （調整工程、調整部）
１０ マイクロホン
２０ 信号処理部
２１ 入力バッファ
２２ 変換部 （フィルタ更新工程、フィルタ更新部）
２３ 補聴処理部 （フィルタ更新工程、フィルタ更新部）
２４ ＭＶＤＲフィルタ （フィルタ更新工程、フィルタ更新部）
２５ 乗算部 （フィルタ更新工程、フィルタ更新部）
２６ 逆変換部 （フィルタ更新工程、フィルタ更新部）
２７ ＦＩＲフィルタ （畳み込み工程、畳み込み部）
２８ 加算部
３０ イヤホン
１００ 両耳聴取装置
２ パラメータ調整部 （調整工程、調整部）
１０ マイクロホン
２０ 信号処理部
２１ 入力バッファ
２２ 変換部 （フィルタ更新工程、フィルタ更新部）
２３ 補聴処理部 （フィルタ更新工程、フィルタ更新部）
２４ ＭＶＤＲフィルタ （フィルタ更新工程、フィルタ更新部）
２５ 乗算部 （フィルタ更新工程、フィルタ更新部）
２６ 逆変換部 （フィルタ更新工程、フィルタ更新部）
２７ ＦＩＲフィルタ （畳み込み工程、畳み込み部）
２８ 加算部
３０ イヤホン
１００ 両耳聴取装置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】