IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカの特許一覧

<>
  • 特許-収音装置、収音方法及び収音プログラム 図1
  • 特許-収音装置、収音方法及び収音プログラム 図2
  • 特許-収音装置、収音方法及び収音プログラム 図3
  • 特許-収音装置、収音方法及び収音プログラム 図4
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-04
(45)【発行日】2024-12-12
(54)【発明の名称】収音装置、収音方法及び収音プログラム
(51)【国際特許分類】
   G10L 21/0208 20130101AFI20241205BHJP
   G10L 21/0224 20130101ALI20241205BHJP
   H04R 3/02 20060101ALI20241205BHJP
【FI】
G10L21/0208 100B
G10L21/0224
H04R3/02
【請求項の数】 9
(21)【出願番号】P 2021566886
(86)(22)【出願日】2020-11-05
(86)【国際出願番号】 JP2020041412
(87)【国際公開番号】W WO2021131346
(87)【国際公開日】2021-07-01
【審査請求日】2023-09-13
(31)【優先権主張番号】62/953,737
(32)【優先日】2019-12-26
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】P 2020144392
(32)【優先日】2020-08-28
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】514136668
【氏名又は名称】パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
【氏名又は名称原語表記】Panasonic Intellectual Property Corporation of America
(74)【代理人】
【識別番号】100115381
【弁理士】
【氏名又は名称】小谷 昌崇
(74)【代理人】
【識別番号】100118049
【弁理士】
【氏名又は名称】西谷 浩治
(72)【発明者】
【氏名】杠 慎一
【審査官】浜岸 広明
(56)【参考文献】
【文献】特開2008-042816(JP,A)
【文献】特開2009-094802(JP,A)
【文献】国際公開第2017/132958(WO,A1)
【文献】特開2003-273782(JP,A)
【文献】米国特許出願公開第2016/0019909(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G10L 21/0208
G10L 21/0224
H04R 3/02
(57)【特許請求の範囲】
【請求項1】
参照信号から、マイクロホンによって取得された入力信号に含まれる雑音信号の成分を示す推定雑音信号を生成する適応フィルタと、
前記入力信号から前記推定雑音信号を減算した雑音除去信号を生成する信号生成部と、
前記雑音除去信号を用いて前記適応フィルタのフィルタ係数を更新する係数更新部と、
前記雑音除去信号の絶対値が最大である信号サンプル位置から所定番目に大きい信号サンプル位置までの複数の信号サンプル位置のうちの少なくとも1つの信号サンプル位置を特定する特定部とを備え、
前記係数更新部は、前記特定部によって特定された前記少なくとも1つの信号サンプル位置において前記フィルタ係数を更新する、
収音装置。
【請求項2】
前記少なくとも1つの信号サンプル位置は、前記雑音除去信号の絶対値が最大である信号サンプル位置である、
請求項1記載の収音装置。
【請求項3】
前記参照信号は、スピーカへ出力される再生信号である、
請求項1又は2記載の収音装置。
【請求項4】
前記係数更新部は、前記少なくとも1つの信号サンプル位置における前記雑音除去信号の前記絶対値の大きさに応じて、前記フィルタ係数を更新する更新速度を変化させる、
請求項1~3のいずれか1項に記載の収音装置。
【請求項5】
前記係数更新部は、前記少なくとも1つの信号サンプル位置における前記雑音除去信号の前記絶対値が閾値より大きい場合、前記更新速度を現在よりも速くし、前記少なくとも1つの信号サンプル位置における前記雑音除去信号の前記絶対値が前記閾値以下である場合、前記更新速度を現在よりも遅くする、
請求項4記載の収音装置。
【請求項6】
前記入力信号を複数の周波数帯域に分割する第1帯域分割部と、
前記参照信号を前記複数の周波数帯域に分割する第2帯域分割部と、
前記複数の周波数帯域毎に生成された前記雑音除去信号を合成する帯域合成部と、
をさらに備え、
前記適応フィルタは、前記複数の周波数帯域毎に前記推定雑音信号を生成する複数の適応フィルタ手段を含み、
前記信号生成部は、前記複数の周波数帯域毎に前記雑音除去信号を生成する複数の信号生成手段を含み、
前記特定部は、前記複数の周波数帯域毎に前記少なくとも1つの信号サンプル位置を特定する複数の特定手段を含み、
前記係数更新部は、前記複数の周波数帯域毎に前記少なくとも1つの信号サンプル位置において前記フィルタ係数を更新する複数の係数更新手段を含む、
請求項1~5のいずれか1項に記載の収音装置。
【請求項7】
前記適応フィルタは、
参照信号から、第1マイクロホンによって取得された第1入力信号に含まれる雑音信号の成分を示す第1推定雑音信号を生成する第1適応フィルタと、
参照信号から、前記第1マイクロホンとは異なる第2マイクロホンによって取得された第2入力信号に含まれる雑音信号の成分を示す第2推定雑音信号を生成する第2適応フィルタと、
を含み、
前記信号生成部は、
前記第1入力信号から前記第1推定雑音信号を減算した第1雑音除去信号を生成する第1信号生成部と、
前記第2入力信号から前記第2推定雑音信号を減算した第2雑音除去信号を生成する第2信号生成部と、
を含み、
前記係数更新部は、
前記第1雑音除去信号を用いて前記第1適応フィルタのフィルタ係数を更新する第1係数更新部と、
前記第2雑音除去信号を用いて前記第2適応フィルタのフィルタ係数を更新する第2係数更新部と、
を含み、
前記特定部は、
前記第1雑音除去信号の絶対値が最大である信号サンプル位置から所定番目に大きい信号サンプル位置までの複数の信号サンプル位置のうちの少なくとも1つの信号サンプル位置を特定する第1特定部と、
前記第2雑音除去信号の絶対値が最大である信号サンプル位置から所定番目に大きい信号サンプル位置までの複数の信号サンプル位置のうちの少なくとも1つの信号サンプル位置を特定する第2特定部と、
を含む、
請求項1~のいずれか1項に記載の収音装置。
【請求項8】
適応フィルタ、信号生成部、係数更新部及び特定部を備える収音装置における収音方法であって、
前記適応フィルタが、参照信号から、マイクロホンによって取得された入力信号に含まれる雑音信号の成分を示す推定雑音信号を生成し、
前記信号生成部が、前記入力信号から前記推定雑音信号を減算した雑音除去信号を生成し、
前記特定部が、前記雑音除去信号の絶対値が最大である信号サンプル位置から所定番目に大きい信号サンプル位置までの複数の信号サンプル位置のうちの少なくとも1つの信号サンプル位置を特定し、
前記係数更新部が、特定された前記少なくとも1つの信号サンプル位置において前記雑音除去信号を用いて前記適応フィルタのフィルタ係数を更新する、
収音方法。
【請求項9】
参照信号から、マイクロホンによって取得された入力信号に含まれる雑音信号の成分を示す推定雑音信号を生成する適応フィルタと、
前記入力信号から前記推定雑音信号を減算した雑音除去信号を生成する信号生成部と、
前記雑音除去信号を用いて前記適応フィルタのフィルタ係数を更新する係数更新部と、
前記雑音除去信号の絶対値が最大である信号サンプル位置から所定番目に大きい信号サンプル位置までの複数の信号サンプル位置のうちの少なくとも1つの信号サンプル位置を特定する特定部としてコンピュータを機能させ、
前記係数更新部は、前記特定部によって特定された前記少なくとも1つの信号サンプル位置において前記フィルタ係数を更新する、
収音プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、マイクロホンによって取得された入力信号に含まれる雑音信号を除去する収音装置、収音方法及び収音プログラムに関するものである。
【背景技術】
【0002】
従来、マイクロホンとスピーカとを用いた拡声型の双方向通話システムが存在している。このような拡声型の双方向通話システムにおいて、送話側の話者が話した音声は、送話側のマイクロホンに入力され、送話信号として通信回線を介して受話側の機器へ送信され、受話側のスピーカで再生される。受話側のスピーカで再生された音声は、受話側の空間を伝搬し受話側のマイクロホンに入力され、送話側に送信される。このとき、送話側のスピーカからは、通信回線を通過した時間と受話側の空間を伝搬した時間とを経過した自身の発話した声が再生される。このように、受話側のスピーカからマイクロホンの間で伝搬する音声は音響エコーと呼ばれ、通話品質の劣化に繋がる。
【0003】
例えば、特許文献1に示す雑音消去装置は、音声入力端子に入力された音声および雑音に応じた第1受音信号を生成し、参照入力端子に入力された雑音に応じた第2受音信号を生成し、適応フィルタにより第2受音信号から擬似雑音信号を生成し、第1受音信号から擬似雑音信号を減算して雑音抑圧信号を生成し、雑音抑圧信号を用いて適応フィルタのフィルタ係数を更新し、雑音源と参照入力端子および音声入力端子との相対的位置関係により、フィルタ係数がピーク値となるタップを示すピークタップ位置を導出し、ピークタップ位置を利用して、フィルタ係数に対応するタップ位置の区間を分類し、分類した区間毎に、区間に対応するフィルタ係数の更新頻度を制御している。
【0004】
しかしながら、上記従来の技術では、雑音を除去するための演算量を削減するために、更なる改善が必要とされていた。
【先行技術文献】
【特許文献】
【0005】
【文献】特許第5205935号明細書
【発明の概要】
【0006】
本開示は、上記の問題を解決するためになされたもので、雑音を除去するための演算量を削減することができる技術を提供することを目的とするものである。
【0007】
本開示の一態様に係る収音装置は、参照信号から、マイクロホンによって取得された入力信号に含まれる雑音信号の成分を示す推定雑音信号を生成する適応フィルタと、前記入力信号から前記推定雑音信号を減算した雑音除去信号を生成する信号生成部と、前記雑音除去信号を用いて前記適応フィルタのフィルタ係数を更新する係数更新部と、前記雑音除去信号の絶対値が最大である信号サンプル位置から所定番目に大きい信号サンプル位置までの複数の信号サンプル位置のうちの少なくとも1つの信号サンプル位置を特定する特定部とを備え、前記係数更新部は、前記特定部によって特定された前記少なくとも1つの信号サンプル位置において前記フィルタ係数を更新する。
【0008】
本開示によれば、雑音を除去するための演算量を削減することができる。
【図面の簡単な説明】
【0009】
図1】本開示の実施の形態1における通話装置の構成を示す図である。
図2】本開示の実施の形態1における収音装置の動作を説明するためのフローチャートである。
図3】本開示の実施の形態2における通話装置の構成を示す図である。
図4】本開示の実施の形態3における通話装置の構成を示す図である。
【発明を実施するための形態】
【0010】
(本開示の基礎となった知見)
上記の従来の技術では、雑音源と参照入力端子および音声入力端子との相対的位置関係により、フィルタ係数がピーク値となるタップを示すピークタップ位置を導出し、ピークタップ位置を利用して、フィルタ係数に対応するタップ位置の区間を分類し、分類した区間毎に、区間に対応するフィルタ係数の更新頻度を制御している。すなわち、従来の技術は、ピークタップ位置の近傍の第1の区間を特定し、第1の区間以外の区間におけるフィルタ係数の更新頻度を、第1の区間におけるフィルタ係数の更新頻度よりも低くしている。これにより、従来の技術は、装置又は環境によるフィルタ係数の変動が小さい区間におけるフィルタ係数の更新頻度を低くすることにより、計算量を抑えている。
【0011】
上記の従来の技術は、雑音源と参照入力端子および音声入力端子との相対的位置関係により、フィルタ係数がピーク値となるタップを示すピークタップ位置を算出しているが、音声入力端子が生成する信号から適応フィルタが生成する擬似雑音信号を減算した差信号のピーク値を算出していない。そのため、上記従来の技術は、雑音を除去するための演算量をさらに削減するための更なる改善が可能であると考えられる。
【0012】
以上の課題を解決するために、本開示の一態様に係る収音装置は、参照信号から、マイクロホンによって取得された入力信号に含まれる雑音信号の成分を示す推定雑音信号を生成する適応フィルタと、前記入力信号から前記推定雑音信号を減算した雑音除去信号を生成する信号生成部と、前記雑音除去信号を用いて前記適応フィルタのフィルタ係数を更新する係数更新部と、前記雑音除去信号の絶対値が最大である信号サンプル位置から所定番目に大きい信号サンプル位置までの複数の信号サンプル位置のうちの少なくとも1つの信号サンプル位置を特定する特定部とを備え、前記係数更新部は、前記特定部によって特定された前記少なくとも1つの信号サンプル位置において前記フィルタ係数を更新する。
【0013】
従来は所定のサンプリング周波数の全ての信号サンプル位置においてフィルタ係数が更新されていた。これに対し、本構成によれば、雑音除去信号の絶対値が最大である信号サンプル位置から所定番目に大きい信号サンプル位置までの複数の信号サンプル位置のうちの少なくとも1つの信号サンプル位置が特定され、特定された少なくとも1つの信号サンプル位置において適応フィルタのフィルタ係数が更新される。したがって、適応フィルタのフィルタ係数の更新処理回数が削減されるので、雑音を除去するための演算量を削減することができる。
【0014】
また、上記の収音装置において、前記少なくとも1つの信号サンプル位置は、前記雑音除去信号の絶対値が最大である信号サンプル位置であってもよい。
【0015】
この構成によれば、雑音除去信号の絶対値が最大である信号サンプル位置において適応フィルタのフィルタ係数が更新されるので、フィルタ係数の更新処理回数が1フレーム毎に1回となり、雑音を除去するための演算量をより削減することができる。
【0016】
また、上記の収音装置において、前記参照信号は、スピーカへ出力される再生信号であってもよい。
【0017】
この構成によれば、マイクロホンによって取得された入力信号に含まれる音響エコーの成分を除去することができる。
【0018】
また、上記の収音装置において、前記係数更新部は、前記少なくとも1つの信号サンプル位置における前記雑音除去信号の前記絶対値の大きさに応じて、前記フィルタ係数を更新する更新速度を変化させてもよい。
【0019】
この構成によれば、例えば、更新速度を速くすることにより、雑音除去信号を大まかに収束させることができ、更新速度を遅くすることにより、雑音除去信号を細かく収束させることができる。
【0020】
また、上記の収音装置において、前記係数更新部は、前記少なくとも1つの信号サンプル位置における前記雑音除去信号の前記絶対値が閾値より大きい場合、前記更新速度を現在よりも速くし、前記少なくとも1つの信号サンプル位置における前記雑音除去信号の前記絶対値が前記閾値以下である場合、前記更新速度を現在よりも遅くしてもよい。
【0021】
この構成によれば、少なくとも1つの信号サンプル位置における雑音除去信号の絶対値が閾値より大きい場合、更新速度が現在よりも速く設定されるので、雑音除去信号を大まかに収束させることができる。また、少なくとも1つの信号サンプル位置における雑音除去信号の絶対値が閾値以下である場合、更新速度が現在よりも遅く設定されるので、雑音除去信号を細かく収束させることができる。この結果、演算速度の向上と、演算精度の向上との両立を図ることができる。
【0022】
また、上記の収音装置において、前記入力信号を複数の周波数帯域に分割する第1帯域分割部と、前記参照信号を前記複数の周波数帯域に分割する第2帯域分割部と、前記複数の周波数帯域毎に生成された前記雑音除去信号を合成する帯域合成部と、をさらに備え、前記適応フィルタは、前記複数の周波数帯域毎に前記推定雑音信号を生成する複数の適応フィルタを含み、前記信号生成部は、前記複数の周波数帯域毎に前記雑音除去信号を生成する複数の信号生成部を含み、前記特定部は、前記複数の周波数帯域毎に前記少なくとも1つの信号サンプル位置を特定する複数の特定部を含み、前記係数更新部は、前記複数の周波数帯域毎に前記少なくとも1つの信号サンプル位置において前記フィルタ係数を更新する複数の係数更新部を含んでもよい。
【0023】
この構成によれば、入力信号及び参照信号が複数の周波数帯域に分割され、複数の周波数帯域毎に、推定雑音信号の生成処理、雑音除去信号の生成処理、信号サンプル位置の特定処理及びフィルタ係数の更新処理が行われるので、演算時間を短縮することができるとともに、単位時間あたりの演算量を削減することができる。
【0024】
また、上記の収音装置において、前記適応フィルタは、参照信号から、第1マイクロホンによって取得された第1入力信号に含まれる雑音信号の成分を示す第1推定雑音信号を生成する第1適応フィルタと、参照信号から、前記第1マイクロホンとは異なる第2マイクロホンによって取得された第2入力信号に含まれる雑音信号の成分を示す第2推定雑音信号を生成する第2適応フィルタと、を含み、前記信号生成部は、前記第1入力信号から前記第1推定雑音信号を減算した第1雑音除去信号を生成する第1信号生成部と、前記第2入力信号から前記第2推定雑音信号を減算した第2雑音除去信号を生成する第2信号生成部と、を含み、前記係数更新部は、前記第1雑音除去信号を用いて前記第1適応フィルタのフィルタ係数を更新する第1係数更新部と、前記第2雑音除去信号を用いて前記第2適応フィルタのフィルタ係数を更新する第2係数更新部と、を含み、前記特定部は、前記第1雑音除去信号の絶対値が最大である信号サンプル位置から所定番目に大きい信号サンプル位置までの複数の信号サンプル位置のうちの少なくとも1つの信号サンプル位置を特定する第1特定部と、前記第2雑音除去信号の絶対値が最大である信号サンプル位置から所定番目に大きい信号サンプル位置までの複数の信号サンプル位置のうちの少なくとも1つの信号サンプル位置を特定する第2特定部と、を含んでもよい。
【0025】
この構成によれば、マイクロホンが1つ増える毎に、適応フィルタ、信号生成部、係数更新部及び特定部もそれぞれ1つずつ増える。しかしながら、マイクロホンが増えたとしても、個々の処理の演算量は従来よりも削減されるので、処理全体の演算量を従来よりも削減することができる。
【0026】
本開示の他の態様に係る収音方法は、適応フィルタ、信号生成部、係数更新部及び特定部を備える収音装置における収音方法であって、前記適応フィルタが、参照信号から、マイクロホンによって取得された入力信号に含まれる雑音信号の成分を示す推定雑音信号を生成し、前記信号生成部が、前記入力信号から前記推定雑音信号を減算した雑音除去信号を生成し、前記特定部が、前記雑音除去信号の絶対値が最大である信号サンプル位置から所定番目に大きい信号サンプル位置までの複数の信号サンプル位置のうちの少なくとも1つの信号サンプル位置を特定し、前記係数更新部が、特定された前記少なくとも1つの信号サンプル位置において前記雑音除去信号を用いて前記適応フィルタのフィルタ係数を更新する。
【0027】
従来は所定のサンプリング周波数の全ての信号サンプル位置においてフィルタ係数が更新されていた。これに対し、本構成によれば、雑音除去信号の絶対値が最大である信号サンプル位置から所定番目に大きい信号サンプル位置までの複数の信号サンプル位置のうちの少なくとも1つの信号サンプル位置が特定され、特定された少なくとも1つの信号サンプル位置において適応フィルタのフィルタ係数が更新される。したがって、適応フィルタのフィルタ係数の更新処理回数が削減されるので、雑音を除去するための演算量を削減することができる。
【0028】
本開示の他の態様に係る収音プログラムは、参照信号から、マイクロホンによって取得された入力信号に含まれる雑音信号の成分を示す推定雑音信号を生成する適応フィルタと、前記入力信号から前記推定雑音信号を減算した雑音除去信号を生成する信号生成部と、前記雑音除去信号を用いて前記適応フィルタのフィルタ係数を更新する係数更新部と、前記雑音除去信号の絶対値が最大である信号サンプル位置から所定番目に大きい信号サンプル位置までの複数の信号サンプル位置のうちの少なくとも1つの信号サンプル位置を特定する特定部としてコンピュータを機能させ、前記係数更新部は、前記特定部によって特定された前記少なくとも1つの信号サンプル位置において前記フィルタ係数を更新する。
【0029】
従来は所定のサンプリング周波数の全ての信号サンプル位置においてフィルタ係数が更新されていた。これに対し、本構成によれば、雑音除去信号の絶対値が最大である信号サンプル位置から所定番目に大きい信号サンプル位置までの複数の信号サンプル位置のうちの少なくとも1つの信号サンプル位置が特定され、特定された少なくとも1つの信号サンプル位置において適応フィルタのフィルタ係数が更新される。したがって、適応フィルタのフィルタ係数の更新処理回数が削減されるので、雑音を除去するための演算量を削減することができる。
【0030】
以下添付図面を参照しながら、本開示の実施の形態について説明する。なお、以下の実施の形態は、本開示を具体化した一例であって、本開示の技術的範囲を限定するものではない。
【0031】
(実施の形態1)
図1は、本開示の実施の形態1における通話装置の構成を示す図である。なお、通話装置は、自動車等に搭載される拡声型のハンズフリー通話システム、拡声型の双方向通信会議システム及びインターホンシステムなどに利用される。
【0032】
図1に示す通話装置は、収音装置1、マイクロホン11、入力端子12、スピーカ13及び出力端子17を備える。
【0033】
マイクロホン11は、送話者がいる空間内に配置され、送話者の音声を収音する。マイクロホン11は、収音した音声を示す入力信号を収音装置1に出力する。
【0034】
入力端子12は、受話側の通話装置(不図示)から受信した再生信号を収音装置1及びスピーカ13へ出力する。
【0035】
スピーカ13は、入力された再生信号を外部へ出力する。ここで、スピーカ13から出力された音声が、マイクロホン11によって収音された場合、受話側のスピーカからは、受話側の話者の発話した音声が遅れて再生されることになり、いわゆる音響エコーが発生する。
【0036】
収音装置1は、エコーキャンセラ14、雑音除去信号生成部15及び係数更新判断部16を備える。
【0037】
エコーキャンセラ14は、適応フィルタ141及びフィルタ係数更新部142を備える。
【0038】
適応フィルタ141は、参照信号から、マイクロホン11によって取得された入力信号に含まれる雑音信号の成分を示す推定雑音信号を生成する。参照信号は、例えば、スピーカ13へ出力される再生信号である。雑音信号は、例えば、音響エコー信号である。適応フィルタ141は、フィルタ係数と参照信号とを畳み込むことにより、入力信号に含まれる雑音信号の成分を示す推定雑音信号を生成する。なお、推定雑音信号は、擬似エコー信号とも呼ばれる。
【0039】
雑音除去信号生成部15は、入力信号から推定雑音信号を減算した雑音除去信号を生成する。雑音除去信号生成部15は、入力信号から推定雑音信号を減算することにより、雑音除去信号を生成する。雑音除去信号生成部15は、生成した雑音除去信号を係数更新判断部16及び出力端子17へ出力する。
【0040】
係数更新判断部16は、絶対値算出部161及びサンプル位置特定部162を備える。
【0041】
絶対値算出部161は、雑音除去信号生成部15によって生成された雑音除去信号の絶対値を算出する。
【0042】
サンプル位置特定部162は、雑音除去信号の絶対値が最大である信号サンプル位置から所定番目に大きい信号サンプル位置までの複数の信号サンプル位置のうちの少なくとも1つの信号サンプル位置を特定する。
【0043】
フィルタ係数更新部142は、所定のサンプリング周期で、雑音除去信号を用いて適応フィルタ141のフィルタ係数を更新する。適応フィルタ141は、フィルタ係数更新部142によって更新されたフィルタ係数と参照信号とを畳み込むことにより推定雑音信号を生成する。フィルタ係数更新部142は、サンプル位置特定部162によって特定された少なくとも1つの信号サンプル位置においてフィルタ係数を更新する。少なくとも1つの信号サンプル位置は、雑音除去信号の絶対値が最大である信号サンプル位置である。
【0044】
フィルタ係数更新部142は、適応アルゴリズムを用いて、雑音除去信号が最小となるようにフィルタ係数を更新する。適応アルゴリズムとしては、例えば、学習同定法(NLMS(Normarized Least Mean Square)法)、アフィン射影法又は再帰的最小2乗法(RLS(Recursive Least Square)法)が用いられる。
【0045】
出力端子17は、収音装置1によって入力信号から雑音成分(音響エコー成分)をキャンセルした雑音除去信号を出力する。出力端子17は、雑音除去信号生成部15によって生成された雑音除去信号を出力する。
【0046】
なお、入力端子12及び出力端子17は、通信部(不図示)に接続されている。通信部は、ネットワークを介して受話側の通話装置(不図示)へ雑音除去信号を送信するとともに、ネットワークを介して受話側の通話装置(不図示)から再生信号を受信する。ネットワークは、例えば、インターネットである。
【0047】
ここで、本実施の形態1におけるフィルタ係数の更新について説明する。
【0048】
従来のフィルタ係数は、下記の式(1)を用いて算出される。
【0049】
【数1】
【0050】
上記の式(1)において、pfCoef[n]はタップ位置nにおけるフィルタ係数を表し、μはステップゲインを表し、pfSpk[n+k]は参照信号を表し、err[n+k]は雑音除去信号を表し、kは1フレーム中における信号サンプル位置を表す。1フレームあたりの信号サンプル数はL個であり、信号サンプル位置kは0~L-1の値を取り得る。また、タップ数はM個であり、タップ位置nは0~M-1の値を取り得る。
【0051】
上記の式(1)に示すように、1フレームあたりの信号サンプル数はL個であるため、従来のフィルタ係数は、1フレームあたりL回更新される。さらに、タップ数はM個であるため、従来のフィルタ係数の1フレームあたりの演算処理数は、L*M回となる。
【0052】
一方、本実施の形態1におけるフィルタ係数は、下記の式(2)を用いて算出される。
【0053】
【数2】
【0054】
上記の式(2)において、pfCoef[n]はタップ位置nにおけるフィルタ係数を表し、μはステップゲインを表し、pfSpk[n+t]は参照信号を表し、err_maxは1フレーム中における雑音除去信号の絶対値の最大値を表し、tは1フレーム中における雑音除去信号の絶対値が最大となる信号サンプル位置を表す。1フレームあたりの信号サンプル数はL個であり、信号サンプル位置kは0~L-1の値を取り得る。また、タップ数はM個であり、タップ位置nは0~M-1の値を取り得る。
【0055】
上記の式(2)に示すように、L個の信号サンプル位置の中から雑音除去信号の絶対値が最大となる1つの信号サンプル位置tが特定されるため、本実施の形態1のフィルタ係数は、1フレームあたり1回のみ更新される。さらに、タップ数はM個であるため、本実施の形態1のフィルタ係数の1フレームあたりの演算処理数は、1*M回となる。
【0056】
このように、本実施の形態1におけるフィルタ係数更新部142は、フィルタ係数を更新するための演算量を従来に比べて大幅に削減することができる。
【0057】
また、上記の式(1)及び式(2)におけるステップゲインμは、ステップサイズとも呼ばれ、フィルタ係数の更新速度を決定する正の定数である。
【0058】
フィルタ係数更新部142は、少なくとも1つの信号サンプル位置における雑音除去信号の絶対値の大きさに応じて、フィルタ係数を更新する更新速度を変化させてもよい。すなわち、フィルタ係数更新部142は、雑音除去信号の絶対値が最大である信号サンプル位置における雑音除去信号の絶対値の大きさに応じて、フィルタ係数を更新する更新速度を変化させてもよい。フィルタ係数更新部142は、少なくとも1つの信号サンプル位置における雑音除去信号の絶対値が閾値より大きい場合、更新速度を現在よりも速くし、少なくとも1つの信号サンプル位置における雑音除去信号の絶対値が閾値以下である場合、更新速度を現在よりも遅くする。
【0059】
フィルタ係数更新部142は、上記の式(2)におけるステップゲインμを調整することにより、フィルタ係数の更新速度を変化させることができる。すなわち、フィルタ係数更新部142は、雑音除去信号の絶対値が最大である信号サンプル位置における雑音除去信号の絶対値が閾値より大きい場合、ステップゲインμを大きくする。これにより、フィルタ係数の更新速度が現在よりも速くなる。一方、フィルタ係数更新部142は、雑音除去信号の絶対値が最大である信号サンプル位置における雑音除去信号の絶対値が閾値以下である場合、ステップゲインμを小さくする。これにより、フィルタ係数の更新速度は現在よりも遅くなる。
【0060】
このように、少なくとも1つの信号サンプル位置における雑音除去信号の絶対値が閾値より大きい場合、更新速度が現在よりも速く設定されるので、雑音除去信号を大まかに収束させることができる。また、少なくとも1つの信号サンプル位置における雑音除去信号の絶対値が閾値以下である場合、更新速度が現在よりも遅く設定されるので、雑音除去信号を細かく収束させることができる。この結果、演算速度の向上と、演算精度の向上との両立を図ることができる。
【0061】
続いて、本開示の実施の形態1における収音装置1の動作について説明する。
【0062】
図2は、本開示の実施の形態1における収音装置の動作を説明するためのフローチャートである。
【0063】
まず、ステップS1において、雑音除去信号生成部15は、マイクロホン11からの入力信号を取得する。このとき、マイクロホン11は、入力信号を雑音除去信号生成部15へ出力する。
【0064】
次に、ステップS2において、エコーキャンセラ14の適応フィルタ141は、入力端子12からの参照信号を取得する。このとき、入力端子12は、受話側の通話装置(不図示)から受信した再生信号を収音装置1及びスピーカ13へ出力する。適応フィルタ141は、入力端子12からスピーカ13へ出力される再生信号を参照信号として取得する。
【0065】
次に、ステップS3において、適応フィルタ141は、フィルタ係数と参照信号とを畳み込むことにより、入力信号に含まれる雑音信号の成分を示す推定雑音信号を生成する。
【0066】
次に、ステップS4において、雑音除去信号生成部15は、入力信号から推定雑音信号を減算することにより、雑音除去信号を生成する。雑音除去信号生成部15は、生成した雑音除去信号を係数更新判断部16及び出力端子17へ出力する。
【0067】
次に、ステップS5において、出力端子17は、雑音除去信号生成部15によって生成された雑音除去信号を出力する。
【0068】
次に、ステップS6において、係数更新判断部16の絶対値算出部161は、雑音除去信号生成部15によって生成された雑音除去信号を取得する。
【0069】
次に、ステップS7において、絶対値算出部161は、1フレーム分の雑音除去信号を取得したか否かを判断する。
【0070】
なお、収音装置1は、不図示のメモリを備えている。雑音除去信号生成部15によって生成された雑音除去信号はメモリに記憶される。絶対値算出部161は、1フレーム分の雑音除去信号がメモリに記憶されているか否かを判断することにより、1フレーム分の雑音除去信号を取得したか否かを判断してもよい。
【0071】
ここで、1フレーム分の雑音除去信号を取得していないと判断された場合(ステップS7でNO)、ステップS1に処理が戻る。
【0072】
一方、1フレーム分の雑音除去信号を取得したと判断された場合(ステップS7でYES)、ステップS8において、絶対値算出部161は、1フレームの信号サンプル位置毎に取得された各雑音除去信号の絶対値を算出する。
【0073】
次に、ステップS9において、サンプル位置特定部162は、雑音除去信号の絶対値が最大である信号サンプル位置を特定する。
【0074】
次に、ステップS10において、フィルタ係数更新部142は、サンプル位置特定部162によって特定された雑音除去信号の絶対値が最大である信号サンプル位置においてフィルタ係数を更新する。
【0075】
従来は所定のサンプリング周波数の全ての信号サンプル位置においてフィルタ係数が更新されていた。これに対し、本実施の形態1によれば、雑音除去信号の絶対値が最大である信号サンプル位置から所定番目に大きい信号サンプル位置までの複数の信号サンプル位置のうちの少なくとも1つの信号サンプル位置が特定され、特定された少なくとも1つの信号サンプル位置において適応フィルタ141のフィルタ係数が更新される。したがって、適応フィルタ141のフィルタ係数の更新処理回数が削減されるので、雑音を除去するための演算量を削減することができる。
【0076】
なお、本実施の形態1では、フィルタ係数更新部142は、雑音除去信号の絶対値が最大である信号サンプル位置においてフィルタ係数を更新しているが、本開示は特にこれに限定されない。フィルタ係数更新部142は、雑音除去信号の絶対値が2番目に大きい信号サンプル位置においてフィルタ係数を更新してもよく、雑音除去信号の絶対値が3番目に大きい信号サンプル位置においてフィルタ係数を更新してもよい。すなわち、フィルタ係数更新部142は、雑音除去信号の絶対値が最大である信号サンプル位置から所定番目に大きい信号サンプル位置までの複数の信号サンプル位置のうちの1つの信号サンプル位置においてフィルタ係数を更新してもよい。
【0077】
また、フィルタ係数更新部142は、雑音除去信号の絶対値が最大である信号サンプル位置及び雑音除去信号の絶対値が2番目に大きい信号サンプル位置においてフィルタ係数を更新してもよい。すなわち、フィルタ係数更新部142は、雑音除去信号の絶対値が最大である信号サンプル位置から所定番目に大きい信号サンプル位置までの複数の信号サンプル位置のうちの2つ以上の信号サンプル位置においてフィルタ係数を更新してもよい。
【0078】
また、本実施の形態1では、スピーカ13に出力される再生信号が参照信号として適応フィルタ141に入力され、入力信号に含まれる音響エコー信号の成分を示す推定雑音信号が生成されるが、本開示は特にこれに限定されない。マイクロホン11とは異なる他のマイクロホンが、マイクロホン11が設置されている空間内に設置されてもよい。他のマイクロホンは、マイクロホン11が取得対象とする音声以外の空間内の雑音を取得し、取得した雑音信号を適応フィルタ141へ参照信号として出力してもよい。
【0079】
また、本実施の形態1では、エコーキャンセラ14には、時間領域の再生信号が入力され、雑音除去信号生成部15には、時間領域の入力信号が入力されるが、本開示は特にこれに限定されず、エコーキャンセラ14には、周波数領域の再生信号が入力され、雑音除去信号生成部15には、周波数領域の入力信号が入力されてもよい。
【0080】
この場合、入力端子12とスピーカ13との間には、エコーキャンセラ14に入力される時間領域の再生信号を周波数領域の再生信号に変換する高速フーリエ変換部が設けられてもよい。また、マイクロホン11と雑音除去信号生成部15との間には、雑音除去信号生成部15に入力される時間領域の入力信号を周波数領域の入力信号に変換する高速フーリエ変換部が設けられてもよい。また、雑音除去信号生成部15と出力端子17との間には、雑音除去信号生成部15から出力端子17に入力される周波数領域の雑音除去信号を時間領域の雑音除去信号に変換する逆高速フーリエ変換部が設けられてもよい。
【0081】
(実施の形態2)
実施の形態1における通話装置は、1つのマイクロホン11を備えているが、実施の形態2における通話装置は、複数のマイクロホンを備えている。
【0082】
図3は、本開示の実施の形態2における通話装置の構成を示す図である。
【0083】
図3に示す通話装置は、収音装置1A、第1マイクロホン11A、第2マイクロホン11B、入力端子12、スピーカ13、第1出力端子17A及び第2出力端子17Bを備える。なお、実施の形態2において、実施の形態1と同じ構成については同じ符号を付し説明を省略する。
【0084】
第1マイクロホン11A及び第2マイクロホン11Bは、送話者がいる空間内に配置され、送話者の音声を収音する。第1マイクロホン11Aは、収音した音声を示す第1入力信号を収音装置1Aに出力する。第2マイクロホン11Bは、収音した音声を示す第2入力信号を収音装置1Aに出力する。
【0085】
第1出力端子17Aは、収音装置1Aによって第1入力信号から雑音成分(音響エコー成分)をキャンセルした第1雑音除去信号を出力する。第2出力端子17Bは、収音装置1Aによって第2入力信号から雑音成分(音響エコー成分)をキャンセルした第2雑音除去信号を出力する。
【0086】
なお、入力端子12、第1出力端子17A及び第2出力端子17Bは、通信部(不図示)に接続されている。通信部は、ネットワークを介して受話側の通話装置(不図示)へ雑音除去信号を送信するとともに、ネットワークを介して受話側の通話装置(不図示)から再生信号を受信する。
【0087】
収音装置1Aは、第1エコーキャンセラ14A、第1雑音除去信号生成部15A、第1係数更新判断部16A、第2エコーキャンセラ14B、第2雑音除去信号生成部15B及び第2係数更新判断部16Bを備える。
【0088】
第1エコーキャンセラ14Aは、第1適応フィルタ141A及び第1フィルタ係数更新部142Aを備える。第2エコーキャンセラ14Bは、第2適応フィルタ141B及び第2フィルタ係数更新部142Bを備える。
【0089】
第1適応フィルタ141Aは、参照信号から、第1マイクロホン11Aによって取得された第1入力信号に含まれる雑音信号の成分を示す第1推定雑音信号を生成する。
【0090】
第2適応フィルタ141Bは、参照信号から、第1マイクロホン11Aとは異なる第2マイクロホン11Bによって取得された第2入力信号に含まれる雑音信号の成分を示す第2推定雑音信号を生成する。
【0091】
第1雑音除去信号生成部15Aは、第1入力信号から第1推定雑音信号を減算した第1雑音除去信号を生成する。第1雑音除去信号生成部15Aは、第1入力信号から第1推定雑音信号を減算することにより、第1雑音除去信号を生成する。第1雑音除去信号生成部15Aは、生成した第1雑音除去信号を第1係数更新判断部16A及び第1出力端子17Aへ出力する。
【0092】
第2雑音除去信号生成部15Bは、第2入力信号から第2推定雑音信号を減算した第2雑音除去信号を生成する。第2雑音除去信号生成部15Bは、第2入力信号から第2推定雑音信号を減算することにより、第2雑音除去信号を生成する。第2雑音除去信号生成部15Bは、生成した第2雑音除去信号を第2係数更新判断部16B及び第2出力端子17Bへ出力する。
【0093】
第1係数更新判断部16Aは、第1絶対値算出部161A及び第1サンプル位置特定部162Aを備える。第2係数更新判断部16Bは、第2絶対値算出部161B及び第2サンプル位置特定部162Bを備える。
【0094】
第1絶対値算出部161Aは、第1雑音除去信号生成部15Aによって生成された第1雑音除去信号の絶対値を算出する。
【0095】
第1サンプル位置特定部162Aは、第1雑音除去信号の絶対値が最大である信号サンプル位置から所定番目に大きい信号サンプル位置までの複数の信号サンプル位置のうちの少なくとも1つの信号サンプル位置を特定する。
【0096】
第2絶対値算出部161Bは、第2雑音除去信号生成部15Bによって生成された第2雑音除去信号の絶対値を算出する。
【0097】
第2サンプル位置特定部162Bは、第2雑音除去信号の絶対値が最大である信号サンプル位置から所定番目に大きい信号サンプル位置までの複数の信号サンプル位置のうちの少なくとも1つの信号サンプル位置を特定する。
【0098】
第1フィルタ係数更新部142Aは、第1雑音除去信号を用いて第1適応フィルタ141Aのフィルタ係数を更新する。第1適応フィルタ141Aは、第1フィルタ係数更新部142Aによって更新されたフィルタ係数と参照信号とを畳み込むことにより第1推定雑音信号を生成する。第1フィルタ係数更新部142Aは、第1サンプル位置特定部162Aによって特定された少なくとも1つの信号サンプル位置においてフィルタ係数を更新する。少なくとも1つの信号サンプル位置は、第1雑音除去信号の絶対値が最大である信号サンプル位置である。
【0099】
第2フィルタ係数更新部142Bは、第2雑音除去信号を用いて第2適応フィルタ141Bのフィルタ係数を更新する。第2適応フィルタ141Bは、第2フィルタ係数更新部142Bによって更新されたフィルタ係数と参照信号とを畳み込むことにより第2推定雑音信号を生成する。第2フィルタ係数更新部142Bは、第2サンプル位置特定部162Bによって特定された少なくとも1つの信号サンプル位置においてフィルタ係数を更新する。少なくとも1つの信号サンプル位置は、第2雑音除去信号の絶対値が最大である信号サンプル位置である。
【0100】
なお、本実施の形態2におけるフィルタ係数の更新処理は、実施の形態1におけるフィルタ係数の更新処理と同じである。
【0101】
また、本実施の形態2では、通話装置は2つマイクロホンを備えているが、本開示は特にこれに限定されず、通話装置は3つ以上のマイクロホンを備えてもよい。
【0102】
このように、マイクロホンが1つ増える毎に、エコーキャンセラ及び係数更新判断部もそれぞれ1つずつ増える。しかしながら、マイクロホンが増えたとしても、個々の処理の演算量は従来よりも削減されるので、処理全体の演算量を従来よりも削減することができる。
【0103】
(実施の形態3)
実施の形態3における収音装置は、入力信号を複数の周波数帯域に分割し、参照信号を複数の周波数帯域に分割し、複数の周波数帯域毎に雑音除去信号を生成し、複数の周波数帯域毎に生成された雑音除去信号を合成する。
【0104】
図4は、本開示の実施の形態3における通話装置の構成を示す図である。
【0105】
図4に示す通話装置は、収音装置1B、マイクロホン11、入力端子12、スピーカ13及び出力端子17を備える。なお、実施の形態3において、実施の形態1と同じ構成については同じ符号を付し説明を省略する。
【0106】
収音装置1Bは、第1エコーキャンセラ14A、第1雑音除去信号生成部15A、第1係数更新判断部16A、第2エコーキャンセラ14B、第2雑音除去信号生成部15B、第2係数更新判断部16B、第3エコーキャンセラ14C、第3雑音除去信号生成部15C、第3係数更新判断部16C、第4エコーキャンセラ14D、第4雑音除去信号生成部15D、第4係数更新判断部16D、第1帯域分割部21、第2帯域分割部22及び帯域合成部23を備える。
【0107】
第1帯域分割部21は、マイクロホン11から出力された入力信号を複数の周波数帯域に分割する。本実施の形態3では、入力信号は4つの周波数帯域に分割されている。第1帯域分割部21は、フルバンドの入力信号を周波数帯域が異なる4つのサブバンドの入力信号に分割する。第1帯域分割部21は、4つのサブバンドの入力信号のそれぞれを、第1雑音除去信号生成部15A、第2雑音除去信号生成部15B、第3雑音除去信号生成部15C及び第4雑音除去信号生成部15Dへ出力する。
【0108】
第2帯域分割部22は、入力端子12から出力された参照信号を複数の周波数帯域に分割する。本実施の形態3では、参照信号は4つの周波数帯域に分割されている。第2帯域分割部22は、フルバンドの参照信号を周波数帯域が異なる4つのサブバンドの参照信号に分割する。第2帯域分割部22は、4つのサブバンドの参照信号のそれぞれを、第1エコーキャンセラ14A、第2エコーキャンセラ14B、第3エコーキャンセラ14C及び第4エコーキャンセラ14Dへ出力する。
【0109】
第1エコーキャンセラ14A、第2エコーキャンセラ14B、第3エコーキャンセラ14C及び第4エコーキャンセラ14Dの構成は、実施の形態1におけるエコーキャンセラ14の構成と同じである。すなわち、第1エコーキャンセラ14A、第2エコーキャンセラ14B、第3エコーキャンセラ14C及び第4エコーキャンセラ14Dは、それぞれ適応フィルタ141及びフィルタ係数更新部142を備える。
【0110】
第1係数更新判断部16A、第2係数更新判断部16B、第3係数更新判断部16C及び第4係数更新判断部16Dの構成は、実施の形態1における係数更新判断部16の構成と同じである。すなわち、第1係数更新判断部16A、第2係数更新判断部16B、第3係数更新判断部16C及び第4係数更新判断部16Dは、それぞれ絶対値算出部161及びサンプル位置特定部162を備える。
【0111】
複数の適応フィルタ141は、複数の周波数帯域毎に推定雑音信号を生成する。
【0112】
第1雑音除去信号生成部15A、第2雑音除去信号生成部15B、第3雑音除去信号生成部15C及び第4雑音除去信号生成部15Dは、複数の周波数帯域毎に雑音除去信号を生成する。
【0113】
複数のサンプル位置特定部162は、複数の周波数帯域毎に少なくとも1つの信号サンプル位置を特定する。
【0114】
複数のフィルタ係数更新部142は、複数の周波数帯域毎に少なくとも1つの信号サンプル位置においてフィルタ係数を更新する。なお、本実施の形態3におけるフィルタ係数の更新処理は、実施の形態1におけるフィルタ係数の更新処理と同じである。
【0115】
帯域合成部23は、複数の周波数帯域毎に生成された雑音除去信号を合成する。帯域合成部23は、第1雑音除去信号生成部15A、第2雑音除去信号生成部15B、第3雑音除去信号生成部15C及び第4雑音除去信号生成部15Dによって生成された雑音除去信号を合成する。帯域合成部23は、4つのサブバンドの雑音除去信号をフルバンドの雑音除去信号に合成する。帯域合成部23は、フルバンドの雑音除去信号を出力端子17へ出力する。
【0116】
なお、本実施の形態3では、入力信号及び参照信号が4つの周波数帯域に分割されるが、本開示は特にこれに限定されず、入力信号及び参照信号が2つの周波数帯域に分割されてもよいし、3つの周波数帯域に分割されてもよいし、5つ以上の周波数帯域に分割されてもよい。
【0117】
このように、入力信号及び参照信号が複数の周波数帯域に分割され、複数の周波数帯域毎に推定雑音信号の生成処理、雑音除去信号の生成処理、信号サンプル位置の特定処理及びフィルタ係数の更新処理が行われるので、演算時間を短縮することができるとともに、単位時間あたりの演算量を削減することができる。
【0118】
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。また、プログラムを記録媒体に記録して移送することにより、又はプログラムをネットワークを経由して移送することにより、独立した他のコンピュータシステムによりプログラムが実施されてもよい。
【0119】
本開示の実施の形態に係る装置の機能の一部又は全ては典型的には集積回路であるLSI(Large Scale Integration)として実現される。これらは個別に1チップ化されてもよいし、一部又は全てを含むように1チップ化されてもよい。また、集積回路化はLSIに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。LSI製造後にプログラムすることが可能なFPGA(Field Programmable Gate Array)、又はLSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【0120】
また、本開示の実施の形態に係る装置の機能の一部又は全てを、CPU等のプロセッサがプログラムを実行することにより実現してもよい。
【0121】
また、上記で用いた数字は、全て本開示を具体的に説明するために例示するものであり、本開示は例示された数字に制限されない。
【0122】
また、上記フローチャートに示す各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、同様の効果が得られる範囲で上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時(並列)に実行されてもよい。
【産業上の利用可能性】
【0123】
本開示に係る技術は、雑音を除去するための演算量を削減することができるので、マイクロホンによって取得された入力信号に含まれる雑音信号を除去する技術に有用である。
図1
図2
図3
図4