知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-01-19
(45)【発行日】2023-01-27
(54)【発明の名称】会話支援装置
(51)【国際特許分類】
G10K 11/178 20060101AFI20230120BHJP
H04R 3/02 20060101ALI20230120BHJP
【ＦＩ】
G10K11/178 120
H04R3/02
【請求項の数】
9
(21)【出願番号】P 2020508299
(86)(22)【出願日】2019-03-15
(86)【国際出願番号】 JP2019010723
(87)【国際公開番号】W WO2019181758
(87)【国際公開日】2019-09-26
【審査請求日】2020-09-24
(31)【優先権主張番号】P 2018050337
(32)【優先日】2018-03-19
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】314012076
【氏名又は名称】パナソニックＩＰマネジメント株式会社
(74)【代理人】
【識別番号】100106116
【弁理士】
【氏名又は名称】鎌田 健司
(74)【代理人】
【識別番号】100131495
【弁理士】
【氏名又は名称】前田 健児
(72)【発明者】
【氏名】大橋 宏正
【審査官】渡邊 正宏
(56)【参考文献】
【文献】米国特許出願公開第２００５／０２０７５８５（ＵＳ，Ａ１）
【文献】特開平０５－０３５２８４（ＪＰ，Ａ）
【文献】特開２０１２－１９５８０１（ＪＰ，Ａ）
【文献】米国特許第０６４９６５８１（ＵＳ，Ｂ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ１０Ｌ １３／００－１３／１０
Ｇ１０Ｌ １９／００－１９／２６
Ｇ１０Ｌ ２１／００－２１／１８
Ｇ１０Ｌ ２５／００－２５／９３
Ｇ１０Ｌ ９９／００
Ｇ１０Ｋ １１／００－１３／００
Ｈ０４Ｒ ３／００－ ３／１４
(57)【特許請求の範囲】
【請求項1】
スピーカと、マイクと、
雑音を示す雑音信号を取得する雑音源取得部と、
前記スピーカと前記マイクとの間の二次経路の伝達特性を算出する第一の算出部と、
前記二次経路の伝達特性を用いて、前記スピーカと前記マイクとの間のエコーを抑圧するエコー抑圧部と、
前記二次経路の伝達特性および前記雑音信号に基づいて、適応フィルタの係数を算出する第二の算出部と、
前記適応フィルタの係数、前記雑音信号および前記エコーが抑圧されたエコー抑圧後信号を用いて、前記雑音の抑圧を制御する制御信号を生成する能動的雑音抑圧制御部と、を備える、
会話支援装置。
【請求項2】
前記第二の算出部は、帯域制限フィルタを含み、前記能動的雑音抑圧制御部は、前記帯域制限フィルタによって帯域が制限された信号を用いて、前記制御信号を生成する、
請求項１に記載の会話支援装置。
【請求項3】
前記第二の算出部は、前記第一の算出部と連携して動作する、請求項１に記載の会話支援装置。
【請求項4】
前記第二の算出部は、前記第一の算出部が前記二次経路の伝達特性の算出を完了した後に、前記適応フィルタの係数を算出する、請求項３に記載の会話支援装置。
【請求項5】
前記第一の算出部は、前記マイクへの入力と、前記スピーカからの出力とに基づいて、前記二次経路の伝達特性を算出する、請求項１に記載の会話支援装置。
【請求項6】
前記マイクは、入力信号を取得し、前記エコー抑圧部は、前記二次経路の伝達特性を用いてキャンセル信号を生成し、
前記能動的雑音抑圧制御部は、前記入力信号、前記キャンセル信号、および、前記制御信号に基づき、出力信号を生成し、
前記スピーカは、前記出力信号に基づいて音を出力する、
請求項１に記載の会話支援装置。
【請求項7】
前記二次経路の伝達特性は、次式で求められるように決定され、
【数12】
ｃ＾ （ｋ） ｆ は時刻ｋにおいて推定される適応フィルタであり、ｃ＾ （ｋ） ｆ は、１時刻前の適応フィルタに適応フィルタ更新量Δｃ＾ ｆ に比例した値を加算することによって更新され、μは一回の更新あたりの更新量を制御するためのステップパラメータである、
請求項１に記載の会話支援装置。
【請求項8】
スピーカとマイクとの間の二次経路の伝達特性を算出し、前記二次経路の伝達特性を用いて、前記スピーカと前記マイクとの間のエコーを抑圧し、
前記二次経路の伝達特性および雑音源取得装置から取得した雑音信号に基づいて、適応フィルタの係数を算出し、
前記適応フィルタの係数、前記雑音信号および前記エコーが抑圧されたエコー抑圧後信号を用いて、前記雑音の抑圧を制御する制御信号を生成する、
会話支援方法。
【請求項9】
前記二次経路の伝達特性は、次式で求められるように決定され、
【数12】
ｃ＾ （ｋ） ｆ は時刻ｋにおいて推定される適応フィルタであり、ｃ＾ （ｋ） ｆ は、１時刻前の適応フィルタに適応フィルタ更新量Δｃ＾ ｆ に比例した値を加算することによって更新され、μは一回の更新あたりの更新量を制御するためのステップパラメータであり、
請求項８に記載の会話支援方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、聞き取りたい音声が雑音によって妨害される環境において、話者の位置における雑音を抑圧する会話支援装置に関する。
【背景技術】
【0002】
特許文献１は、車室内に備え付けられたマイクおよびスピーカを用いて、話者間の双方向での会話支援を実現するための双方向会話補助装置を開示する。この双方向会話補助装置は、第１話者と第２話者による双方向の会話を拡声して補助する双方向会話補助装置であって、第１話者の第１音声を入力するための第１マイクと、第１音声を出力するための第１スピーカと、第２話者の第２音声を入力するための第２マイクと、第２音声を出力するための第２スピーカと、エコー・クロストークキャンセラと、を備える。エコー・クロストークキャンセラは、第２スピーカへの入力信号を用いて、第２スピーカから出力された第２音声が第１マイクに入力される第１エコー、及び、第２音声が第１マイクに入力されるクロストークの程度を示す妨害信号の推定値を算出する。そして、エコー・クロストークキャンセラは、算出した妨害信号の推定値を、第１マイクの出力信号から除去する。
【0003】
特許文献２は、車室内においてロードノイズやエンジン騒音を含む車室内騒音を車室内空間において抑圧するための能動的騒音抑圧装置を開示する。この能動的騒音抑圧装置は、車室内の騒音を空間的に相殺するための相殺音を生成するための制御部と、騒音を抑圧するための相殺音を出力するスピーカと、前記騒音と前記相殺音との相殺誤差音を検出するための誤差検出マイクを備える。前記制御部は、予め同定された前記相殺音出力スピーカと前記誤差検出マイクとの間の伝達特性に対応する補正値に基づいて、前記相殺音スピーカより再生された相殺音を前記誤差検出マイクにより検出された相殺誤差音からキャンセルするためのエコーキャンセル信号を生成するエコーキャンセル部を備える。
【先行技術文献】
【特許文献】
【0004】
【文献】国際公開第２０１７／０６４８３９号
【文献】特開２００８－２４７３４２号公報
【発明の概要】
【0005】
本開示は、マイクとスピーカとの間において周囲環境変化に伴う音の伝達経路が変化した場合であっても、その変化に追従することによって能動的雑音抑圧を実現する会話支援装置を提供する。
【0006】
本開示における会話支援装置は、スピーカと、マイクと、雑音を示す雑音信号を取得する雑音源取得部と、スピーカとマイクとの間の二次経路の伝達特性を算出する第一の算出部と、二次経路の伝達特性を用いて、スピーカとマイクとの間のエコーを抑圧するエコー抑圧部と、二次経路の伝達特性および雑音信号に基づいて、適応フィルタの係数を算出する第二の算出部と、適応フィルタの係数、雑音信号およびエコーが抑圧されたエコー抑圧後信号を用いて、雑音の抑圧を制御する制御信号を生成する能動的雑音抑圧制御部と、を備える。
【0007】
本開示における会話支援装置は、マイクとスピーカとの間での環境が変化した場合であっても、その変化に追従することによって能動的雑音抑圧を実現することができる。
【図面の簡単な説明】
【0008】
【発明を実施するための形態】
【0009】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【0010】
なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより請求の範囲に記載の主題を限定することは意図されていない。
【0011】
以下、図１～２を用いて、本開示における会話支援装置１の構成を説明する。
【0012】
図１は、本開示におけるエコーキャンセル装置４０および能動的雑音制御装置５０を備えた会話支援装置１の構成図である。本開示においては、会話支援装置１の使用例として自動車を一例に説明する。すなわち、会話支援装置１は、自動車等の乗物に設けられている。
【0013】
本開示における会話支援装置１は、近端側マイク１１、遠端側マイク２１、近端側スピーカ１２、遠端側スピーカ２２、エコーキャンセル装置４０、能動的雑音制御装置５０を備える。
【0014】
近端側マイク１１は、近端側話者２の発話を収音しつつ、雑音源３０より近端側話者２近傍へと到来する雑音をモニタリングする。すなわち、近端側マイク１１は、近端側話者２の発話を収音するための収音マイクと、近端側話者２近傍の雑音と能動的雑音制御装置５０により生成し再生された雑音相殺音との誤差をモニタリングするための誤差マイクとを兼用する。
【0015】
遠端側マイク２１は、遠端側話者３の発話を収音しつつ、雑音源３０より遠端側話者３近傍へと到来する雑音をモニタリングする。すなわち、遠端側マイク２１は、遠端側話者３の発話を収音するための収音マイクと、遠端側話者３近傍の雑音と能動的雑音制御装置５０により生成し再生された雑音相殺音との誤差をモニタリングするための誤差マイクとを兼用する。
【0016】
近端側スピーカ１２は、遠端側話者３の発話を拡声しつつ、近端側話者２近傍の雑音を消去するための信号を再生する。すなわち、近端側スピーカ１２は、遠端側話者３の発話を拡声するための拡声スピーカと、近端側話者２近傍の雑音を消去するための消去スピーカとを兼用する。言い換えると、近端側スピーカ１２は、遠端側マイク２１と電気的に接続されており、遠端側マイク２１への入力に基づいて音を出力する。
【0017】
遠端側スピーカ２２は、近端側話者２の発話を拡声しつつ、遠端側話者３近傍の雑音を消去するための信号を再生する。すなわち、遠端側スピーカ２２は、近端側話者２の発話を拡声するための拡声スピーカと、遠端側話者３近傍の雑音を消去するための消去スピーカとを兼用する。言い換えると、遠端側スピーカ２２は、近端側マイク１１と電気的に接続されており、近端側マイク１１への入力に基づいて音を出力する。
【0018】
なお、近端側は、車体における進行方向に対して近い側のことであり、例えば、運転席側または助手席側を指す。また、遠端側は、車体における進行方向に対して遠い側のことであり、例えば、後列席側を指す。
【0019】
エコーキャンセル装置４０は、近端側スピーカ１２より再生された音声信号が空間を伝搬し近端側マイク１１へと伝達することにより発生する到来エコー信号を、近端側マイク１１による収音信号から除去する。さらに、エコーキャンセル装置４０は、遠端側スピーカ２２より再生された音声信号が空間を伝搬し遠端側マイク２１へと伝達することにより発生する到来エコー信号を、遠端側マイク２１による収音信号から除去する。
【0020】
能動的雑音制御装置５０は、近端側マイク１１によりモニタリングされた近端側話者２近傍の雑音信号と、別途手段により取得される雑音源３０の雑音信号とを用いて近端側話者２近傍の雑音量を制御するための制御信号を生成する。さらに、能動的雑音制御装置５０は、遠端側マイク２１によりモニタリングされた遠端側話者３近傍の雑音信号と、別途手段により取得される雑音源３０の雑音信号とを用いて遠端側話者３近傍の雑音量を制御するための制御信号を生成する。
【0021】
会話支援装置１では、近端側から遠端側に対しては、近端側マイク１１により収音された近端側話者２の発話をエコーキャンセル装置４０へと入力する。そして、不要な到来エコー信号の除去を行った発話信号を遠端側スピーカ２２から遠端側話者３に向けて拡声する。これにより、車室内における近端側話者２から遠端側話者３への会話支援が実現される。
【0022】
すなわち、遠端側では会話支援装置１により近端側話者２の発話が拡声される。これにより、例えば走行中に雑音が発生する環境において、近端側話者２の発話が聴取困難な場合でも、近端側話者２の音声に対する聞き取りが向上できる。
【0023】
このとき、能動的雑音制御装置５０は、会話支援装置１による拡声により聴取を補助するだけでなく、遠端側受聴位置での雑音の抑圧も行う。そのため、双方向の会話支援を向上することができる。
【0024】
図２は、本開示における会話支援装置１の構成を示す図である。会話支援装置１は、近端側マイク１１、近端側スピーカ１２、遠端側マイク２１、遠端側スピーカ２２、二次経路推定部６０、エコーキャンセル装置４０、雑音源取得部８０、能動的雑音制御装置５０を備える。エコーキャンセル装置４０は、エコー抑圧部７０を含む。能動的雑音制御装置５０は、能動的雑音制御信号生成部９０を含む。なお、雑音源取得部８０、二次経路推定部６０、エコーキャンセル装置４０、および能動的雑音制御装置５０の全部または一部は、一または複数の集積回路で実現されてもよい。また、雑音源取得部８０、二次経路推定部６０、エコーキャンセル装置４０、および能動的雑音制御装置５０の全部または一部は、会話支援装置１が備えるメモリに格納されたプログラムを、会話支援装置１が備えるプロセッサが実行することによって実現されてもよい。
【0025】
二次経路推定部６０は、近端側では近端側マイク１１からエコーを抑圧した後の信号であるエコー抑圧後信号、および、近端側スピーカ１２における拡声信号を用いて、二次経路情報を推定する。また、二次経路推定部６０は、遠端側では、遠端側マイク２１からエコーを抑圧した後の信号であるエコー抑圧後信号、および、遠端側スピーカ２２における拡声信号を用いて、二次経路情報を推定する。ここで、近端側の二次経路情報は、近端側スピーカ１２における出力信号が近端側マイク１１へと伝達する際の空間の伝達特性である。また、遠端側の二次経路情報は、遠端側スピーカ２２における出力信号が遠端側マイク２１へと伝達する際の空間の伝達特性である。
【0026】
なお、以下では、エコーキャンセル装置４０、および能動的雑音制御装置５０に関して近端側マイク１１にて収音した音声を対象として説明を行う。しかし、遠端側マイク２１に対しても同様の説明が成り立つ。
【0027】
エコー抑圧部７０は、エコーキャンセル装置４０に備えられる。エコー抑圧部７０は、近端側マイク１１で収音された音声の信号である収音信号を入力し、エコー信号を抑圧するための疑似エコー信号を生成する。そして、エコー抑圧部７０は、生成した疑似エコー信号を収音信号から減算することによってエコー信号を抑圧する。ここで、エコー信号は、近端側スピーカ１２から拡声された音声が空間を伝搬することで近端側マイク１１に収音される信号である。
【0028】
なお、エコー抑圧部７０は、近端側スピーカ１２から出力される出力信号と、二次経路情報と、を用いて、疑似エコー信号を生成する。すなわち、二次経路情報がエコー抑圧部７０へ入力されることで、エコー抑圧部７０は疑似エコー信号を生成する。
【0029】
エコー抑圧部７０によりエコー信号が抑圧されたエコー抑圧後信号は、別途遠端側に備えられた能動的雑音制御装置５０により生成された制御信号と加算され、遠端側スピーカ２２より再生される。
【0030】
雑音源取得部８０は、雑音源３０の雑音を示す雑音信号を取得する。例えば、雑音源３０がエンジン回転音の場合、エンジンの近傍に外部マイクを配置することで、雑音源取得部８０は、エンジン回転音を雑音信号として取得することができる。また、雑音源取得部８０は、エンジンパルスの波形を雑音信号として取得しても良い。なお、上記の外部マイクは、一般的に、参照マイクまたは雑音参照マイクとも呼ばれる。
【0031】
また、雑音源３０が道路とタイヤの間で生じる雑音である場合には、タイヤ近傍に外部マイクを配置することで、雑音源取得部８０は、雑音信号を取得することができる。なお、雑音源取得部８０は、雑音源取得部８０という独立した構成としたが、近端側マイク１１または遠端側マイク２１に備えられる構成であってもよい。
【0032】
能動的雑音制御信号生成部９０は、近端側話者２近傍の雑音を制御するための制御信号を生成する。能動的雑音制御信号生成部９０は、生成された制御信号を近端側スピーカ１２の再生信号に加算し、加算後の信号を拡声する。これにより、近端側マイク１１近傍の雑音を制御することができる。また、制御信号は、雑音発生位置から近端側話者２近傍へと到来する騒音を空間的に抑圧するための信号として推定される。すなわち、制御信号は、アクティブノイズコントロール（ＡＮＣ）のための信号である。
【0033】
能動的雑音制御信号生成部９０が制御信号を生成するためには、雑音源取得部８０によって取得された雑音信号と、近端側話者２の近傍の制御空間上での雑音抑圧量を測るための誤差信号と、二次経路情報と、が必要である。ここで、誤差信号は、近端側話者２の近傍位置での雑音信号が、近端側スピーカ１２より再生された制御信号によって空間的にどれだけ抑圧されているかを、近端側マイク１１でモニタリングすることによって得られる。また、二次経路情報は、近端側スピーカ１２から再生された制御信号が雑音源３０をモニタリングする位置においてどのように変化するかを表す情報である。
【0034】
しかしながら、近端側マイク１１でモニタリングする信号には近端側スピーカ１２より再生された遠端側話者３の発話などのエコー信号が混入している。そのため、能動的雑音制御装置５０においては、エコー抑圧部７０がエコー信号を消去したエコー抑圧後信号を誤差信号として用いる必要がある。また、予め二次経路推定部６０によって推定された二次経路情報を能動的雑音制御信号生成部９０へと入力することによって、二次経路情報は得られる。
【0035】
以上のように、能動的雑音制御信号生成部９０は、雑音信号、誤差信号、そして二次経路情報を用いて制御信号を生成する。
【0036】
（実施の形態１）
以下、図３～６を用いて、実施の形態１における会話支援装置１の処理を説明する。
以下、図３～６を用いて、実施の形態１における会話支援装置１の処理を説明する。
【0037】
［１－１．会話支援装置における処理］
図３は実施の形態１における会話支援装置におけるブロック図である。
図３は実施の形態１における会話支援装置におけるブロック図である。
【0038】
ここで近端側を添字ｆ、遠端側を添字ｒで表すとする。また、ｋを離散時間インデックスとする。数式において太字で表現されている記号はベクトルであり、時系列信号ベクトルまたは時系列に対応した係数ベクトルを表す。
【0039】
なお、本実施の形態では、一例として近端側の動作について説明するが、近端側、遠端側のどちらも同様の動作を行うとして良い。
【0040】
近端側マイク１１によって収音されるマイク（入力）信号ｍｆ［ｋ］は、近端側話者２による発話などを表す音声信号ｓｆ［ｋ］、到来エコー信号ｄｆ［ｋ］、雑音信号ｎｆ［ｋ］の和として、数式１のように表現される。
【0041】
【数1】
【0042】
ここで、到来エコー信号ｄｆ［ｋ］は、数式２に示すように、消去信号加算前の近端側スピーカ１２の再生信号ｙｆ［ｋ］の時系列信号ｙｆに、二次経路情報ｃｆを畳み込むことによって得られる。二次経路情報ｃｆとは、近端側スピーカ１２から近端側マイク１１への空間的な伝達特性を有限長のＦＩＲフィルタとして表現した際の経路情報である。
【0043】
【数2】
【0044】
ここで＊は畳み込み演算を表す。
【0045】
また、二次経路情報ｃｆはフィードフォワード型の能動的雑音制御装置５０から見た際の二次経路の伝達特性である。なお、フィードフォワード型とは、雑音の影響が及ぶ前に雑音を打ち消す制御動作である。ここで、二次経路は、直接音の伝達経路および反射音の伝達経路を含む。すなわち、二次経路は、スピーカから出力された音波が空気を介してマイクへと伝搬する経路を意味する。
【0046】
到来雑音信号ｎｆ［ｋ］は、数式３に示すように、雑音源３０を表すｖ１［ｋ］の時系列信号ｖ１に、一次経路情報ｈｆを畳み込むことによって得られる。一次経路情報ｈｆとは、雑音源位置から近端側マイク１１への空間的な伝達特性を有限長のＦＩＲフィルタとして表現した際の経路情報である。
【0047】
【数3】
【0048】
なお、雑音源３０を表すｖの添字の１は、複数の雑音源が存在することを想定した場合の１番目の雑音源を表す。また、一次経路情報ｈｆはフィードフォワード型の能動的雑音制御装置５０から見た場合の一次経路の伝達特性である。
【0049】
以上のように、マイク信号ｍｆ［ｋ］には、近端側スピーカ１２から到来したエコー信号ｄｆ［ｋ］と、雑音源３０から到来した到来雑音信号ｎｆ［ｋ］が重畳する。会話支援装置１は、この混入した到来エコー信号ｄｆ［ｋ］を抑圧することによって、近端側話者２の発話ｓｆ［ｋ］だけを遠端側話者３へと伝える必要がある。
【0050】
また、能動的雑音制御装置５０は、混入したエコー信号を抑圧した後のエコー抑圧後信号と、エコーキャンセルの際に得られた二次経路と、を用いて、空間的に雑音を抑圧するための制御信号を生成する必要がある。
【0051】
この目的を達成するため、本開示では以下のようなフローでの処理を実施する。
【0052】
まず、エコー抑圧部７０は、マイク信号ｍｆ［ｋ］からエコー信号ｄｆ［ｋ］の除去を行う。
【0053】
エコー信号の除去の際に、エコー抑圧部７０は、エコー信号ｄｆ［ｋ］を除去するための疑似エコー信号ｄ＾
ｆ［ｋ］を生成する。
【0054】
次に、二次経路推定部６０は、疑似エコー信号ｄ＾
ｆ［ｋ］を生成するために二次経路情報ｃｆを二次経路情報ｃ＾
ｆとして推定する。例えば、二次経路推定部６０は、近端側マイク１１への入力と、近端側スピーカ１２からの出力とに基づいて、二次経路情報ｃ＾
ｆ（二次経路の伝達特性）を算出する。具体的な到来エコー信号ｄｆ［ｋ］の抑圧方法については、図４を用いて後述する。
【0055】
エコー抑圧後信号ｅｆ［ｋ］は、数式４に示すように、得られた疑似エコー信号ｄ＾
ｆ［ｋ］をマイク信号ｍｆ［ｋ］から減算することで、得られる。
【0056】
【数4】
【0057】
ここで、疑似エコー信号ｄ＾
ｆ［ｋ］は数式５のように表現される。
【0058】
【数5】
【0059】
すなわち、疑似エコー信号ｄ＾
ｆ［ｋ］は、近端側スピーカ１２から再生される信号に対し、二次経路推定部６０で推定した二次経路情報ｃ＾
ｆを畳み込んで生成される信号である。
【0060】
そして、到来エコー信号ｄｆ［ｋ］と疑似エコー信号ｄ＾
ｆ［ｋ］が一致した場合にエコー抑圧が達成されることが分かる。
【0061】
次に、雑音源取得部８０から得られた雑音信号と、到来エコー信号が抑圧されたエコー抑圧後信号ｅｆ［ｋ］と、二次経路推定部６０によって推定された二次経路情報ｃ＾
ｆと、を用いて、能動的雑音制御信号生成部９０は、空間的に雑音を制御かつ抑圧するための制御信号ｎ＾’
ｆ［ｋ］を生成する。
【0062】
すなわち、二次経路推定部６０で推定した二次経路情報ｃ＾ｆを利用することにより、二次経路変動時においても安定して能動的雑音制御が実現できる。
【0063】
なお、能動的雑音制御信号生成部９０における制御信号の具体的な説明については図５を用いて後述する。
【0064】
得られた制御信号ｎ＾’
ｆ［ｋ］は、近端側スピーカ１２による再生信号ｙｆ［ｋ］から減算され、再生信号ｙ’
ｆ［ｋ］（＝ｙｆ［ｋ］ － ｎ＾’
ｆ［ｋ］）が得られる。
【0065】
再生信号ｙ’
ｆ［ｋ］の時系列信号ｙ’
ｆが近端側スピーカ１２から再生された場合、ｄ’
ｆ［ｋ］は、数式６のように表される。
【0066】
【数6】
【0067】
ここで、打ち消し雑音信号ｎ＾
ｆ［ｋ］は、数式７のように表される。
【0068】
【数7】
【0069】
すなわち、制御信号ｎ＾’
ｆ［ｋ］に二次経路情報ｃｆが畳み込まれると近端側マイク１１の位置での雑音を抑圧するための打ち消し雑音信号ｎ＾
ｆ［ｋ］が得られる。そして、打ち消し雑音信号ｎ＾
ｆ［ｋ］が近端側スピーカ１２から出力された場合、数式１は数式８のように修正される。
【0070】
【数8】
【0071】
また、数式８の表現により、数式４は数式９のように修正される。
【0072】
【数9】
【0073】
数式８、９のどちらも、到来雑音信号ｎｆ［ｋ］と、制御信号ｎ＾’
ｆ［ｋ］に二次経路情報ｃｆが畳み込まれて生成された打ち消し雑音信号ｎ＾
ｆ［ｋ］とが一致した場合に、雑音抑圧が達成される。
【0074】
そのため、雑音抑圧動作はエコーキャンセルとは異なり、信号処理上ではなく、実際にスピーカから制御信号が出力され空間的に加算されることによって実現される。そのため、空間上におけるマイク位置において効果がさらに発揮される。
【0075】
以上のように、会話支援装置１は、収音したマイク信号に対し、制御信号をスピーカから出力することによる空間的な雑音抑圧と、雑音が抑圧された信号に対しエコーキャンセラによるエコー抑圧と、を同時に実現することができる。近端側マイク１１は、マイク信号ｍｆ［ｋ］（入力信号）を取得する。エコー抑圧部７０は、二次経路の伝達特性ｃ＾
ｆを用いて疑似エコー信号ｄ＾
ｆ［ｋ］（キャンセル信号）を生成する。能動的雑音制御信号生成部９０は、マイク信号ｍｆ［ｋ］、疑似エコー信号ｄ＾
ｆ［ｋ］、制御信号ｎ＾’
ｆ［ｋ］に基づき、エコー抑圧後信号ｅｆ［ｋ］（出力信号）を生成する。近端側スピーカ１２は、エコー抑圧後信号ｅｆ［ｋ］に基づいて音を出力する。
【0076】
また、数式９において、エコー抑圧および雑音抑圧が理想的に実現された場合、数式９は、数式１０と表現される。このとき、本来収音する対象である近端側話者２の発話を表す音声信号ｓｆ［ｋ］のみを通過させる。
【0077】
【数10】
【0078】
なお、上記構成は遠端側マイク２１および遠端側スピーカ２２に対しても同様な構成を取ることが可能である。しかし、当業者による理解を容易にするべく簡略化するため、図３においては省略している。
【0079】
［１－２．会話支援装置における二次経路推定部６０およびエコー抑圧部７０の処理］
図４は、実施の形態１における二次経路推定部６０およびエコー抑圧部７０の構成を示すブロック図である。
図４は、実施の形態１における二次経路推定部６０およびエコー抑圧部７０の構成を示すブロック図である。
【0080】
エコー抑圧部７０は、数式４のようにエコーキャンセルを行う。数式４に数式２および数式５を代入すると、エコー抑圧後信号ｅｆ［ｋ］は、数式１１のように表現される。
【0081】
【数11】
【0082】
これにより、エコー抑圧を達成するためには空間の伝達特性である二次経路情報ｃｆと、適応フィルタとして推定された二次経路情報ｃ＾
ｆと、が一致する必要がある。
【0083】
二次経路情報ｃ＾
ｆは二次経路推定部６０にて推定される。二次経路推定部６０は、数式１２のように逐次更新式による適応フィルタとしての二次経路情報ｃ＾
ｆの推定を行う。
【0084】
【数12】
【0085】
ここで、ｃ＾（ｋ）
ｆは時刻ｋにおいて推定される適応フィルタである。ｃ＾（ｋ）
ｆは、１時刻前の適応フィルタに適応フィルタ更新量Δｃ＾
ｆに比例した値を加算することによって更新される。また、μは一回の更新あたりの更新量を制御するためのステップパラメータであり、一般に適応フィルタのタップに応じて減衰するような値である。
【0086】
また、Δｃ＾
ｆを求める方法としては、一般にＬＭＳ法や学習同定法（ＮＬＭＳ法）、時間領域ＩＣＡといった手法が用いられる。いずれの手法においても数式１３のようにエコー抑圧後信号ｅｆ［ｋ］によりエコー消去量を反映し、到来エコー信号の元となるスピーカ信号ｙｆ［ｋ］を参照することにより、Δｃ＾
ｆは求められる。
【0087】
【数13】
【0088】
ここでｌは適応フィルタにおけるｌタップ目を表すインデックスである。
【0089】
また、Ｎｆ［ｋ］は更新量を正規化するためのノルム信号である。Ｎｆ［ｋ］として、現在時刻ｋから一定時間過去までの参照信号パワーなどが用いられる。また、数式１３では誤差信号ｅｆ［ｋ］をそのまま乗算しているが、時間領域ＩＣＡにおいては符号関数やｔａｎｈ関数により非線形変換した値を用いる。なお、適応フィルタの推定方法としてはアフィン射影法（ＡＰＡ法）や再帰最小二乗法（ＲＬＳ法）といった、複数時刻に渡るサンプルを用いる適応フィルタ推定法を用いても良い。
【0090】
数式１３により算出された更新量Δｃ＾
ｆは、二次経路推定部６０において数式１２のように適応フィルタｃ＾（ｋ）
ｆへと加算される。このようにして算出された適応フィルタｃ＾（ｋ）
ｆがエコー抑圧部７０においてスピーカ信号ｙｆに畳み込まれることで、エコーキャンセルが実現される。
【0091】
［１－３．会話支援装置における能動的雑音抑圧信号生成部の処理］
図５は、実施の形態１における能動的雑音制御信号生成部９０の構成を示すブロック図である。なお、図５では、図３および図４に示した詳細ブロック図において記載した二次経路推定部６０およびエコー抑圧部７０を省略している。
図５は、実施の形態１における能動的雑音制御信号生成部９０の構成を示すブロック図である。なお、図５では、図３および図４に示した詳細ブロック図において記載した二次経路推定部６０およびエコー抑圧部７０を省略している。
【0092】
能動的雑音制御信号生成部９０は、参照信号生成部９１、適応フィルタ推定部９２、制御信号生成部９３を備える。
【0093】
なお、実施の形態１においては、フィードフォワード型の能動的雑音制御装置５０において、ｆｉｌｔｅｒｅｄ－ｘ型の適応フィルタ更新を行うことを前提とする。しかし、同様な構成を持ったフィードバック型の能動的雑音制御についても実現が可能である。
【0094】
数式８で説明したように、能動的雑音制御装置５０においては、内部で生成した制御信号を拡声スピーカから再生することにより、近端側マイク１１位置において空間的な雑音抑圧が実現される。能動的雑音制御装置５０では、上記制御信号を生成するための適応フィルタの係数ｗｆを内部的に推定する。制御信号生成部９３は、内部的に推定した適応フィルタの係数ｗｆを雑音源取得部８０で取得された雑音信号ｖ１［ｋ］の時系列信号ｖ１に畳み込むことで制御信号ｎ＾’
ｆ［ｋ］を数式１４のように生成する。
【0095】
【数14】
【0096】
なお、適応フィルタの係数ｗｆは、雑音源位置から一次経路情報ｈｆを伝達してマイクロホンへと到来する雑音信号を二次経路情報ｃｆの影響を踏まえながら打ち消すための係数である。適応フィルタの係数ｗｆは、適応フィルタ推定部９２において推定される。
【0097】
適応フィルタの係数ｗｆの推定のためには、参照信号生成部９１において生成された参照信号が必要となる。
【0098】
参照信号生成部９１は、二次経路推定部６０により推定された二次経路情報ｃ＾
ｆを元に、フィードフォワード型の能動的雑音制御装置５０における参照信号ｒ１［ｋ］を、数式１５のように生成する。参照信号ｒ１［ｋ］は、エコーキャンセル内部で適応フィルタとして推定された二次経路情報ｃ＾
ｆと雑音源取得部８０で取得された雑音信号ｖ１［ｋ］の時系列信号ｖ１に基づいて生成される。
【0099】
【数15】
【0100】
フィードフォワード型の能動的雑音制御では、生成した制御信号を近端側スピーカ１２から拡声する場合、近端側スピーカ１２から近端側マイク１１位置まで音が伝搬する際の空間特性（二次経路情報）が制御信号に畳み込まれる。そのため、参照信号を生成する理由として、能動的雑音制御で用いる適応フィルタを推定するためにはこの二次経路の影響を考慮した雑音信号を参照する必要があるということが挙げられる。
【0101】
数式１４で表現される制御信号ｎ＾’
ｆ［ｋ］は、近端側マイク１１位置においては数式７で示したように二次経路情報ｃｆが畳み込まれた信号として観測される。したがって、近端側マイク１１位置で実際に観測される雑音抑圧後の誤差信号は、数式１０に数式３、数式７、数式１５を代入し、到来エコーが理想的にキャンセルされ、近端側発話信号ｓｆ［ｋ］が存在しない場合として、数式１６のように表される。
【0102】
【数16】
【0103】
数式１６から分かるように、一次経路情報ｈｆが適応フィルタの係数ｗｆに二次経路情報ｃｆを畳み込んだ特性と一致した場合に雑音の消去が達成されることとなる。この場合、適応フィルタの係数ｗｆは二次経路情報ｃｆの逆フィルタと一次経路情報ｈｆを畳み込んだ特性に収束するものと考えられる。
【0104】
ここで、二次経路情報ｃｆは制御信号を近端側スピーカ１２から再生した場合に、自動的に空間上を伝達することにより畳み込まれる特性である。数式１６の誤差信号を最小化するための適応フィルタの係数ｗｆを推定するための参照信号は、数式１６の第三番目の変形式第二項の畳み込みの順番を変更すると、数式１７として表現できる。
【0105】
【数17】
【0106】
そのため、雑音源取得部８０で取得された雑音信号ｖ１［ｋ］の時系列信号ｖ１をｃｆに畳み込むことによって変形したｃｆ ＊ ｖ１を参照する。これによって適応フィルタの係数ｗｆを推定することが可能であると考えられる。
【0107】
このように二次経路情報を畳み込んだ参照信号を用いて適応フィルタの係数を推定する能動的雑音制御の方式はｆｉｌｔｅｒｅｄ－Ｘ型の能動的雑音制御と呼ばれる。この方式は、能動的雑音制御装置５０においては従来から広く用いられているものである。ｆｉｌｔｅｒｅｄ－Ｘ型の能動的雑音制御において、参照信号ｃｆ ＊ ｖ１の生成に用いられる二次経路情報ｃｆは、一般には予め静的に測定しておく必要がある。しかし、静的に測定した二次経路情報を用いた場合、測定時と使用時において二次経路の伝達特性が異なると、想定した消音性能を発揮することができないという点が問題となる。
【0108】
そこで、本開示においてはこの二次経路情報として、二次経路推定部６０において適応フィルタとして推定された二次経路情報ｃ＾
ｆを用いる。そして、数式１５のように参照信号を生成することにより、動的な経路変動を能動的雑音制御装置５０に反映させることができる。
【0109】
数式１５で表現される参照信号ｒ１［ｋ］と、数式１０で表現される誤差信号ｅｆ［ｋ］とにより、適応フィルタ推定部９２は、能動的雑音制御用の適応フィルタの係数ｗｆの推定を行う。
【0110】
適応フィルタの係数ｗｆを推定するためには、エコーキャンセルにおける適応フィルタと同じく、次の逐次更新するための数式１８を用いる。
【0111】
【数18】
【0112】
ここでｗ（ｋ）
ｆは時刻ｋにおいて推定される適応フィルタである。ｗ（ｋ）
ｆは、１時刻前の適応フィルタに適応フィルタ更新量Δｗｆに比例した値を加算することによって更新される。μは一回の更新あたりの更新量を制御するためのステップパラメータであり、一般に適応フィルタのタップに応じて減衰するような値である。
【0113】
Δｗｆを求める方法としては、一般にＬＭＳ法や学習同定法（ＮＬＭＳ法）、時間領域ＩＣＡといった手法が用いられる。いずれの手法においても、Δｗｆは、数式１９のように誤差信号ｅｆ［ｋ］により空間的な雑音抑圧量を反映し、数式１５で表現される参照信号ｒ１［ｋ］を参照することにより求められる。
【0114】
【数19】
【0115】
ここでｌは適応フィルタにおけるｌタップ目を表すインデックスである。またＮ１［ｋ］は更新量を正規化するためのノルム信号である。Ｎ１［ｋ］として、現在時刻ｋから一定時間過去までの参照雑音信号パワーなどが用いられる。数式１９では誤差信号ｅｆ［ｋ］をそのまま乗算しているが、時間領域ＩＣＡにおいては符号関数やｔａｎｈ関数により非線形変換した値を用いる。なお、エコーキャンセラにおける適応フィルタと同様に、アフィン射影法（ＡＰＡ法）や再帰最小二乗法（ＲＬＳ法）といった、複数時刻に渡るサンプルを用いる適応フィルタ推定法を用いることも考えられる。
【0116】
以上より、能動的雑音制御信号生成部９０は、学習された適応フィルタの係数ｗｆを数式１４のように雑音信号ｖ１に畳み込むことによって制御信号ｎ＾’
ｆ［ｋ］を生成する。そして、制御信号ｎ＾’
ｆ［ｋ］を近端側スピーカ１２から再生することにより、数式１０のように雑音抑圧が実現される。
【0117】
［１－４．帯域制限フィルタ（ＬＰＦ）による学習用信号の帯域制限］
図５において、適応フィルタ推定部９２に入力される数式１５で生成された参照雑音信号、および数式１０で表現される誤差信号のそれぞれの後段に、帯域を制御するためのローパスフィルタ（ＬＰＦ）９２１が挿入されている。二次経路推定部６０で推定された二次経路情報ｃ＾ ｆが全帯域信号を用いて学習されている場合、数式１５で生成された参照信号も全帯域成分を含む信号となる。
図５において、適応フィルタ推定部９２に入力される数式１５で生成された参照雑音信号、および数式１０で表現される誤差信号のそれぞれの後段に、帯域を制御するためのローパスフィルタ（ＬＰＦ）９２１が挿入されている。二次経路推定部６０で推定された二次経路情報ｃ＾ ｆが全帯域信号を用いて学習されている場合、数式１５で生成された参照信号も全帯域成分を含む信号となる。
【0118】
数式１０の誤差信号についても、適応フィルタ推定部９２に入力される手前までで帯域制限が行われていない場合は、全帯域信号を含むこととなる。
【0119】
一方、能動的雑音制御の対象とする周波数帯域は騒音源となる信号の種類によると考えられる。例えばエンジンノイズに起因する雑音信号を抑圧する場合は、騒音源周波数はエンジン回転数によって決まる。そのため、高々３００Ｈｚ程度までの制御信号が生成できれば良い。
【0120】
ただし、参照雑音を取得するために、エンジンパルスではなく外部マイクを用いた場合においては、制御したい帯域を誤差マイクロホン位置やスピーカ位置などに応じて決めた上でＬＰＦ９２１の制御周波数を変えることとなる。
【0121】
このように制御したい周波数帯域が予め決まっている場合、全帯域信号を用いて能動騒音制御用適応フィルタを学習するのではなく、それらに用いられる学習用信号を帯域制限した上で学習に用いる。これにより、学習される適応フィルタの通過帯域を制限することが可能となる。
【0122】
能動的雑音制御信号生成部９０は、このようにして学習された適応フィルタを雑音信号に畳み込む。これにより、実際の制御信号生成時はＬＰＦによる群遅延を雑音信号が受けることなく制御信号を生成することができる。すなわち、適応フィルタ推定部９２は、ＬＰＦ９２１（帯域制限フィルタ）を含む。制御信号生成部９３は、ＬＰＦ９２１によって帯域が制限された信号を用いて、制御信号ｎ＾’
ｆ［ｋ］を生成する。具体的には、図５に示すように、適応フィルタ推定部９２は、雑音信号ｖ１を二次経路情報ｃ＾
ｆに畳み込むことによって得られた参照信号ｒ１［ｋ］の帯域をＬＰＦ９２１によって制限する。制御信号生成部９３は、ＬＰＦ９２１によって帯域が制限された信号を用いて、制御信号ｎ＾’
ｆ［ｋ］を生成する。
【0123】
［１－５．誤差信号に含まれる音声信号への対処］
数式１３で表現されるエコーキャンセラ適応フィルタの更新式や数式１９で表現される能動的雑音制御用適応フィルタの更新式において、分子に現れる数式１０で表現される誤差信号は、音声信号ｓｆ［ｋ］が存在しない場合、０に近づく。すなわち、理想的に各適応フィルタの学習が行われた場合、到来エコーや到来雑音が抑圧されることにより、誤差信号は０に近づく。これにより、数式１３、数式１９の更新量はｓｆ［ｋ］が存在しない区間では０に近づく。
数式１３で表現されるエコーキャンセラ適応フィルタの更新式や数式１９で表現される能動的雑音制御用適応フィルタの更新式において、分子に現れる数式１０で表現される誤差信号は、音声信号ｓｆ［ｋ］が存在しない場合、０に近づく。すなわち、理想的に各適応フィルタの学習が行われた場合、到来エコーや到来雑音が抑圧されることにより、誤差信号は０に近づく。これにより、数式１３、数式１９の更新量はｓｆ［ｋ］が存在しない区間では０に近づく。
【0124】
一方で、数式１０に含まれる音声信号ｓｆ［ｋ］が存在する場合、数式１３、数式１９の更新量は０とならず、誤差量を０に近付けずに誤った方向に適応フィルタ係数を修正するダブルトークが発生する。このダブルトークを回避するためには、ｓｆ［ｋ］が存在しない区間を検出するためにダブルトーク検出器（ＤＴＤ）を設けるか、あるいはダブルトーク状態でも学習が可能である更新則（時間領域ＩＣＡなど）を用いる必要がある。
【0125】
［１－６．エコーキャンセル装置の適応フィルタの収束状態が能動的雑音制御装置の適応フィルタに及ぼす影響］
［１－５］で述べたように、誤差信号中に学習において誤った方向に適応フィルタを修正し得る信号が含まれている場合、適応フィルタ係数の更新に影響が発生する。この点は、数式１０において左側等式の右辺第二項が０ではない場合にも同様の現象が発生する。上記の場合とは、エコーキャンセル装置４０の適応フィルタの収束が不十分であり到来エコーの抑圧が達成されきっていない場合、あるいは、第三項が０ではない場合、すなわち能動的雑音制御装置５０において適応フィルタの収束が不十分であり到来雑音の抑圧が達成されきっていない場合である。
［１－５］で述べたように、誤差信号中に学習において誤った方向に適応フィルタを修正し得る信号が含まれている場合、適応フィルタ係数の更新に影響が発生する。この点は、数式１０において左側等式の右辺第二項が０ではない場合にも同様の現象が発生する。上記の場合とは、エコーキャンセル装置４０の適応フィルタの収束が不十分であり到来エコーの抑圧が達成されきっていない場合、あるいは、第三項が０ではない場合、すなわち能動的雑音制御装置５０において適応フィルタの収束が不十分であり到来雑音の抑圧が達成されきっていない場合である。
【0126】
能動的雑音制御装置５０は、エコーキャンセル装置４０における適応フィルタの係数を二次経路情報とみなして動的な経路変動に対応する。そのため、能動的雑音制御装置５０の動作はエコーキャンセル装置４０の適応フィルタの収束状態に依存することとなる。すなわち、エコーキャンセル装置４０の適応フィルタが収束していない場合、数式１５で算出される参照雑音信号が正しく算出されないだけでなく、誤差信号中のエコー抑圧残差信号により適応フィルタの更新に影響が及ぶこととなる。したがって、能動的雑音制御装置５０における適応フィルタの学習は、エコーキャンセル装置４０の適応フィルタの学習状態を反映させる必要があると考えられる。
【0127】
エコーキャンセル装置４０の適応フィルタの学習状態を把握する方法として、シングルトーク区間においてエコーキャンセル装置の入出力のレベル比率を計算することが考えられる。ここで、シングルトーク区間とは数式１において近端音声ｓｆ［ｋ］が存在しない区間のことを言う。
【0128】
近端音声ｓｆ［ｋ］が存在しない区間を検出するために、近端側マイク１１と近端側スピーカ１２の間にダブルトークディテクタ（ＤＴＤ）を設ける。
【0129】
ＤＴＤは、近端側マイク信号と近端スピーカ信号を監視し、それぞれの平均信号レベルや最大ピークレベルを元にシングルトーク区間およびダブルトーク区間を検出するための装置である。ここで、ダブルトーク区間とは近端音声ｓｆ［ｋ］およびエコー信号ｄｆ［ｋ］が同時に存在する区間のことを言う。
【0130】
ＤＴＤは、ダブルトーク区間でなく、シングルトーク区間を検出した際に、エコーキャンセル装置４０の入出力信号のレベル比を算出する。
【0131】
エコーキャンセル装置４０の入力信号はエコー信号ｄｆ［ｋ］および雑音信号ｎｆ［ｋ］が加算された信号である。また、出力信号はエコー消去後信号（ｄｆ［ｋ］－ｄ＾
ｆ［ｋ］）および雑音信号ｎｆ［ｋ］が加算された信号である。そのため、そのレベル比率は｛（ｄｆ［ｋ］－ｄ＾
ｆ［ｋ］）＋ ｎｆ［ｋ］｝／ ｛ｄｆ［ｋ］＋ ｎｆ［ｋ］｝となる。エコーキャンセラが収束していない状態では打ち消しエコー信号ｄ＾
ｆ［ｋ］が０となるため、この比率は１に近い値となる。
【0132】
一方、適応フィルタが理想的に収束している場合は分子第一項が０に近い値に近付くため、この比率は１よりも小さい値となる。
【0133】
従って、エコーキャンセル装置４０の入出力比を計算することによって、エコーキャンセル装置４０における適応フィルタの収束度合いを判定することができる。
【0134】
この入出力信号は瞬時値ではなく、一定時間に渡る平均信号レベルや、他適当な手段によって算出されたそれぞれの信号ノルムによる比率であっても良い。
【0135】
上記手段によって計算された信号レベル比率を元に能動的雑音制御装置５０の適応フィルタ更新を制御する場合、例えば前記信号レベル比率が適当に定めたしきい値よりも下回った場合のみに能動的雑音制御装置５０の適応フィルタを学習させることが考えられる。または、能動的雑音制御装置５０の適応フィルタは常時学習させておくが、前記信号レベル比率がしきい値を下回った場合には学習におけるステップサイズを増加させることなどが考えられる。
【0136】
なお、適応フィルタ振幅のおおよその収束点が測定などによって事前に分かっている場合は、エコーキャンセル装置４０の学習状態を把握するための他の方法としてエコーキャンセル装置４０の適応フィルタの振幅ピーク最大値を監視する。そして、予め定めたしきい値を超過した場合に能動的雑音制御装置５０側の適応フィルタの学習を制御することも考えられる。
【0137】
なお、能動的雑音制御装置５０側の適応フィルタが収束していない場合のエコーキャンセル装置４０側適応フィルタ学習についても同様の事項が発生する。
【0138】
この問題の解決方法としては、エコーキャンセル装置４０の適応フィルタの更新則として主信号に雑音が重畳した状態においても学習が可能となるような更新則を用いることが考えられる。あるいは、図６に示したように、エコーキャンセル装置４０に近端音声信号を入力する前段で、雑音源取得部８０によって取得した雑音信号を参照する。そして、これとマイク信号を用いて適応的に雑音を消去するための適応フィルタｇｆを推定し、適応的に雑音成分を回線上で差し引く雑音除去部を設ける構成が考えられる。
【0139】
この雑音除去部は電気的に雑音成分を消去するためのブロックとなり、能動的雑音制御装置５０による空間的な雑音抑圧による効果と重なる。そのため、このブロックはエコーキャンセル装置４０における適応フィルタが安定化するまでの間のみ動作させ、その後は停止させるといった方法が考えられる。適応フィルタの安定化の判定としては、エコーキャンセル装置の入出力レベル比などを用いて行うことができる。
【0140】
以上のように、適応フィルタ推定部９２は、二次経路推定部６０と連携して動作する。具体的には、適応フィルタ推定部９２は、二次経路推定部６０が二次経路の伝達特性（二次経路情報ｃ＾
ｆ）の算出を完了した後に、適応フィルタの係数ｗｆを算出する。
【0141】
（実施の形態２）
以下、図７を用いて、実施の形態２における会話支援装置１の処理を説明する。
以下、図７を用いて、実施の形態２における会話支援装置１の処理を説明する。
【0142】
［２－１．遠端側スピーカを併用した能動的雑音制御装置］
図７は実施の形態２における会話支援装置１の構成を示すブロック図である。
図７は実施の形態２における会話支援装置１の構成を示すブロック図である。
【0143】
図７ではエコー抑圧部７０における記号との区別を図るため、記号の下添字を到来元スピーカ位置（近端：ｆ、遠端：ｒ）および到達先マイク位置（近端：ｆ、遠端：ｒ）を順に並べることで表す。
【0144】
例えば、遠端側スピーカ２２から近端側マイク１１へと到来するフィードバック特性をｃｒｆ、フィードバック信号をｄｒｆ［ｋ］と表すこととする。
【0145】
また、伝達特性に対応した能動的雑音制御に用いる適応フィルタは対応する二次経路と同じ下添字を用いることとする。
【0146】
図７では近端側マイク１１に関係する構成のみを示しているが、遠端側マイク２１側に着目した場合においても同様のブロック構成を取ることが可能である。
【0147】
会話支援装置１では、近端側マイク１１で収録された音声が遠端側スピーカ２２で再生された後に拡声音が近端側マイク１１へと空間的にフィードバック信号ｄｒｆ［ｋ］として伝達する問題が発生する。フィードバック信号ｄｒｆ［ｋ］を消去するために、会話支援装置１は、フィードバック特性ｃｒｆを推定するための適応フィルタ推定部９２を備える。さらに、会話支援装置１は、適応フィルタ推定部９２において推定した適応フィルタを用いて疑似フィードバック信号ｄ＾ｒｆ［ｋ］を生成し、これをマイク入力信号から差し引くことによってフィードバック信号を消去するフィードバック消去部（不図示）を備える。
【0148】
実施の形態２においては、前記フィードバック特性を能動的雑音制御における二次経路として捉える。これにより、実施の形態１における近端側スピーカ１２を用いた能動的雑音制御装置５０と同様の構成によって、遠端側スピーカ２２を用いた能動的雑音制御を行う。
【0149】
図７におけるマイク（入力）信号ｍｆ［ｋ］は、近端側入力音声ｓｆ［ｋ］、近端側スピーカ１２からの到来エコー信号ｄｆｆ［ｋ］、到来フィードバック信号ｄｒｆ［ｋ］、雑音を示すｖ１［ｋ］から一次経路情報ｈｆを伝達し到来する雑音信号ｎｆ［ｋ］の和として数式２０のように定式化される。
【0150】
【数20】
【0151】
マイク信号から到来エコー信号を消去するために、数式２０のマイク信号ｍｆ［ｋ］から、疑似エコー信号ｄ＾ｆｆ［ｋ］および疑似フィードバック信号ｄ＾ｒｆ［ｋ］を差し引くことで誤差信号ｅｆ［ｋ］を計算する（数式２１）。ここで、疑似エコー信号ｄ＾ｆｆ［ｋ］は、エコー信号が到来する伝達特性を適応フィルタとして推定した二次経路情報ｃ＾ｆｆに近端側スピーカ信号ｙｆ［ｋ］を畳み込むことで推定される。また、疑似フィードバック信号ｄ＾ｒｆ［ｋ］は、フィードバック信号が到来する伝達特性を適応フィルタとして推定した二次経路情報ｃ＾ｒｆに遠端側スピーカ信号ｙｒ［ｋ］を畳み込むことで推定される。
【0152】
【数21】
【0153】
誤差信号ｅｆ［ｋ］はエコー伝達特性ｃｆｆを推定するため、エコー伝達特性に対応した二次経路推定部６０へと近端側スピーカ信号と共に入力される。また、誤差信号ｅｆ［ｋ］はフィードバック伝達特性ｃｒｆを推定するため、フィードバック伝達特性に対応した二次経路推定部６０へと遠端側スピーカ信号と共に入力される。二次経路推定部６０において推定された適応フィルタとしての二次経路情報ｃ＾ｆｆ，ｃ＾ｒｆは、雑音源３０より取得された雑音信号ｖ１［ｋ］を時系列信号として表したｖ１に畳み込むことにより、能動的雑音制御における適応フィルタ推定部９２へと誤差信号とともに入力される。能動的雑音制御における適応フィルタ推定部９２において推定された適応フィルタの係数ｗｆｆおよびｗｒｆを雑音源信号ベクトルｖ１を畳み込むことで、能動的雑音制御における制御信号ｎ＾’
ｆｆ［ｋ］、ｎ＾’
ｒｆ［ｋ］を生成する。
【0154】
制御信号ｎ＾’
ｆｆ［ｋ］を近端スピーカ信号から減算し、またｎ＾’
ｒｆ［ｋ］を遠端側スピーカ信号から減算することで、最終的なスピーカ再生信号ｙ’ｆ［ｋ］およびｙ’ｒ［ｋ］が生成される。スピーカ再生信号ｙ’ｆ［ｋ］およびｙ’ｒ［ｋ］に含まれる制御信号ｎ＾’
ｆｆ［ｋ］、ｎ＾’
ｒｆ［ｋ］は、二次経路情報ｃｆｆおよびｃｒｆを伝達することにより相殺ノイズｎ＾
ｆｆ［ｋ］、ｎ＾
ｒｆ［ｋ］となる。
【0155】
従って、数式２０で表されるマイク信号は、能動的雑音制御によって数式２２のように表される。
【0156】
【数22】
【0157】
従って、誤差マイクにおける到来ノイズｎｆ［ｋ］は能動的雑音制御によって相殺ノイズｎ＾
ｆｆ［ｋ］、ｎ＾
ｒｆ［ｋ］の和と一致する際に消去されることとなる。
【0158】
また、数式２１の誤差信号は数式２３のように表される。
【0159】
【数23】
【0160】
数式２３は理想的にエコー抑圧、フィードバック抑圧、および雑音抑圧が実現された場合、近端側のマイク信号のみを通過させることとなる。
【0161】
なお、図７では到来エコー信号と到来フィードバック信号は同時に消去を行い、その誤差信号を適応フィルタの学習に用いる並列構成となっている。しかし、到来エコー信号のみを消去した誤差信号を用いて適応フィルタとしての二次経路情報ｃ＾ｆｆを学習し、前記誤差信号から更に到来フィードバック信号を消去した誤差信号を用いて適応フィルタとしての二次経路情報ｃ＾ｒｆを学習する直列構成となっていても良い。
【0162】
また、当構成は遠端側マイク２１が存在しない前方から後方への片方向会話支援を想定した場合においても、フィードバック特性のみを二次経路情報として用いる能動的雑音制御として実現が可能である。即ち遠端側スピーカ２２から近端側マイク１１へのフィードバック信号のみが近端側マイク１１に混入する場合においても、能動的雑音制御を行うことが可能となる。
【0163】
実施の形態２の例としては、車両の２列目ドアスピーカを遠端側スピーカ２２として用いる会話支援装置において、遠端側スピーカ２２を用いた能動的雑音制御を実現する場合が考えられる。
【0164】
（設置例）
［３－１．マイクおよびスピーカの設置箇所について］
本開示における近端側マイク１１は音声発話に対する収音用マイクロホンと能動的雑音制御装置５０における誤差マイクを兼用する。したがって設置箇所としては話者口元の近傍であることが好ましく、また話者耳元位置に近接していることがより強く要求される。
［３－１．マイクおよびスピーカの設置箇所について］
本開示における近端側マイク１１は音声発話に対する収音用マイクロホンと能動的雑音制御装置５０における誤差マイクを兼用する。したがって設置箇所としては話者口元の近傍であることが好ましく、また話者耳元位置に近接していることがより強く要求される。
【0165】
図８にマイク設置箇所の一例を示す。図８では座席頭上または側面上部に近端側マイク１１を設置している。図８以外の設置の例としては、マイクをヘッドレストに埋め込む構成も考えられる。実際のマイク設置箇所は能動的雑音制御装置５０によって制御したい周波数帯域に従って決定する必要がある。これは高い周波数であればあるほど波長としては短くなるためであり、耳元からマイクへの距離が離れれば離れるほど制御可能な周波数が低くなる。
【0166】
また、単一のマイクを用いるのでなく、図８に示すように複数のマイクをアレイ構成として用いるマイクアレイを用いても良い。マイクアレイを用いる理由としては、指向性合成を行うことによって話者方向音声のみを高ＳＮ比で収音し、かつ複数の誤差マイクを用いた能動的雑音制御を行うことに寄って、耳元での消音性能を向上させるためである。この場合、指向性合成、または能動的雑音制御装置５０に先駆けてマイクアレイの各マイクからエコー信号を除去することが必要となる。そのため、各マイクに対応した複数のエコーキャンセル装置４０およびエコー抑圧部７０を設けることが必要となる。また、能動的雑音制御装置に関しても、各マイクに対応した能動的雑音制御装置５０および能動的雑音制御信号生成部９０を設ける必要がある。
【0167】
ここで、能動的雑音制御装置５０は制御したい領域内に存在する各マイクに対してのみ設ければ良い。これらの能動的雑音制御装置５０によって生成された雑音制御御信号は、近端側スピーカ信号に加算される。
【0168】
スピーカの設置位置としては、エコーキャンセルの観点からは近端側の音響結合量が増えるため近端側マイク１１からできるだけ遠い位置となることが好ましい。しかし、能動的雑音制御の観点からは雑音制御信号を低い空間遅延で放射するため、近端側誤差マイクに対してできるだけ近い位置となることが好ましい。これは、雑音信号を検知した後で、その雑音が制御領域に空間的に到達するまでに雑音制御信号を生成し、スピーカから放射する必要があるためである。従って、スピーカの設置位置としてはエコーキャンセル動作に支障が生じない程度に近端側マイク１１に近接した位置となることが好ましい。
【0169】
（実施の形態のまとめ１）
本開示の一態様に係る会話支援装置１は、図２および図５に示すように、近端側スピーカ１２と、近端側マイク１１と、雑音源取得部８０と、二次経路推定部６０（第一の算出部の一例）と、エコー抑圧部７０と、適応フィルタ推定部９２（第二の算出部の一例）と、制御信号生成部９３（能動的雑音抑圧制御部の一例）とを備える。
本開示の一態様に係る会話支援装置１は、図２および図５に示すように、近端側スピーカ１２と、近端側マイク１１と、雑音源取得部８０と、二次経路推定部６０（第一の算出部の一例）と、エコー抑圧部７０と、適応フィルタ推定部９２（第二の算出部の一例）と、制御信号生成部９３（能動的雑音抑圧制御部の一例）とを備える。
【0170】
雑音源取得部８０は、雑音源３０の雑音を示す雑音信号ｖ１を取得する。二次経路推定部６０は、近端側スピーカ１２と近端側マイク１１との間の二次経路の伝達特性（二次経路情報ｃ＾
ｆ）を算出する。エコー抑圧部７０は、二次経路情報ｃ＾
ｆを用いて、近端側スピーカ１２から近端側マイク１１へのエコーを抑圧する（数式５および数式９参照）。適応フィルタ推定部９２は、二次経路情報ｃ＾
ｆおよび雑音信号ｖ１に基づいて、適応フィルタの係数ｗｆを算出する（数式１５，数式１８および数式１９参照）。制御信号生成部９３は、適応フィルタの係数ｗｆおよび雑音信号ｖ１を用いて、雑音の抑圧を制御する制御信号ｎ＾’
ｆ［ｋ］を生成する（数式１４参照）。
【0171】
（実施の形態のまとめ２）
本開示の別の態様に係る会話支援装置１Ａは、図９に示すように、会話支援装置１のエコーキャンセル装置４０に代えて、フィードバックキャンセル装置４０Ａを備える。フィードバックキャンセル装置４０Ａは、フィードバック抑圧部７０Ａを含む。
本開示の別の態様に係る会話支援装置１Ａは、図９に示すように、会話支援装置１のエコーキャンセル装置４０に代えて、フィードバックキャンセル装置４０Ａを備える。フィードバックキャンセル装置４０Ａは、フィードバック抑圧部７０Ａを含む。
【0172】
本態様においては、二次経路推定部６０は、例えば、遠端側スピーカ２２と近端側マイク１１との間の二次経路の伝達特性を算出する。フィードバック抑圧部７０Ａは、上記二次経路の伝達特性を用いて、遠端側スピーカ２２から近端側マイク１１へのフィードバックを抑圧する。
【0173】
これにより、本態様に係る会話支援装置１Ａは、二次経路の伝達特性を用いて、フィードバックおよび近端側マイク１１の位置における雑音を抑圧することができる。なお、会話支援装置１Ａが抑圧できるフィードバックは、遠端側スピーカ２２から近端側マイク１１へのフィードバックに限定されない。会話支援装置１Ａは、近端側スピーカ１２と遠端側マイク２１との間の二次経路を算出することによって、近端側スピーカ１２から遠端側マイク２１へのフィードバックを抑圧することもできる。
【0174】
（実施の形態のまとめ３）
本開示のさらに別の態様に係る会話支援装置１Ｂは、図１０に示すように、会話支援装置１のエコーキャンセル装置４０に代えて、キャンセル装置４０Ｂを備える。キャンセル装置４０Ｂは、抑圧部７０Ｂを含む。
本開示のさらに別の態様に係る会話支援装置１Ｂは、図１０に示すように、会話支援装置１のエコーキャンセル装置４０に代えて、キャンセル装置４０Ｂを備える。キャンセル装置４０Ｂは、抑圧部７０Ｂを含む。
【0175】
二次経路推定部６０は、近端側スピーカ１２と近端側マイク１１との間の二次経路（第一の二次経路）の伝達特性ｃ＾
ｆｆと、遠端側スピーカ２２と近端側マイク１１との間の二次経路（第二の二次経路）の伝達特性ｃ＾
ｒｆとを算出する。抑圧部７０Ｂは、第一の二次経路の伝達特性ｃ＾
ｆｆを用いて近端側マイク１１に到来するエコーを抑圧し、第二の二次経路の伝達特性ｃ＾
ｒｆを用いて近端側マイク１１に到来するフィードバックを抑圧する。適応フィルタ推定部９２は、第一の二次経路の伝達特性ｃ＾
ｆｆおよび雑音信号ｖ１に基づいて、第一の適応フィルタの係数ｗｆｆを算出し、第二の二次経路の伝達特性ｃ＾
ｒｆおよび雑音信号ｖ１に基づいて、第二の適応フィルタの係数ｗｒｆを算出する。制御信号生成部９３は、第一の適応フィルタの係数ｗｆｆおよび雑音信号ｖ１を用いて、雑音の抑圧を制御する第一の制御信号ｎ＾’
ｆｆ［ｋ］を生成し、第二の適応フィルタの係数ｗｒｆおよび雑音信号ｖ１を用いて、雑音の抑圧を制御する第二の制御信号ｎ＾’
ｒｆ［ｋ］を生成する。
【0176】
これにより、本態様に係る会話支援装置１Ｂは、第一および第二の制御信号ｎ＾’
ｆｆ［ｋ］，ｎ＾’
ｒｆ［ｋ］を用いて近端側マイク１１の位置における雑音をさらに抑圧することができる。上記では近端側マイク１１を用いる例を示したが、会話支援装置１Ｂは、遠端側マイク２１を用いることで、遠端側マイク２１の位置における雑音を抑圧することもできる。
【0177】
なお、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【0178】
本開示は、聞き取りたい音声を妨害する雑音が発生される環境において、話者の位置において雑音を抑圧する会話支援装置に適用可能である。具体的には、自動車、飛行機内、電車、船などの乗物に、本開示は適用可能である。
【符号の説明】
【0179】
１，１Ａ，１Ｂ 会話支援装置
２ 近端側話者
３ 遠端側話者
１１ 近端側マイク
１２ 近端側スピーカ
２１ 遠端側マイク
２２ 遠端側スピーカ
３０ 雑音源
４０ エコーキャンセル装置
５０ 能動的雑音制御装置
６０ 二次経路推定部
７０ エコー抑圧部
８０ 雑音源取得部
９０ 能動的雑音制御信号生成部
９１ 参照信号生成部
９２ 適応フィルタ推定部
９３ 制御信号生成部
２ 近端側話者
３ 遠端側話者
１１ 近端側マイク
１２ 近端側スピーカ
２１ 遠端側マイク
２２ 遠端側スピーカ
３０ 雑音源
４０ エコーキャンセル装置
５０ 能動的雑音制御装置
６０ 二次経路推定部
７０ エコー抑圧部
８０ 雑音源取得部
９０ 能動的雑音制御信号生成部
９１ 参照信号生成部
９２ 適応フィルタ推定部
９３ 制御信号生成部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】