(58)【調査した分野】(Int.Cl.,DB名)
上記相関成分除去部が、上記第2の推定エコー信号の振幅スペクトルと、上記第1の推定エコー信号の振幅スペクトルとの差分をとることで上記相関成分を除去することを特徴とする請求項2に記載のステレオエコー抑圧装置。
1又は複数のマイクロホンからそれぞれの近端入力信号を入力する請求項1〜4のいずれかに記載の1又は複数のステレオエコー抑圧装置を備えることを特徴とするエコー抑圧装置。
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、従来のエコーキャンセラ装置を単にステレオ化した構成では、適応フィルタに入力される遠端信号のLチャンネルとRチャンネルに相関があると、正しいエコーパス特性を推定できないという係数不確定性の問題が発生する。この係数不確定性の問題は、適応アルゴリズムの誤差が小さくなるように適応フィルタを更新するときに、解が無数に存在することが原因で発生する。
【0007】
この問題を解決する手法についても非特許文献1に開示されているが、非特許文献1の記載技術は、遠端信号に無相関なノイズや総合相関の変動を加えているため、遠端信号自体を歪めてしまい、音質や通話品質の劣化を引き起こすという問題が新たに生じ得る。
【0008】
そこで、適応アルゴリズムを使用せず、周波数領域でのステレオエコーを抑圧するステレオエコー抑圧装置を使用することも考えられる。ステレオエコー抑圧処理は、適応アルゴリズムを使用しないので係数不確定問題は発生しない。
【0009】
しかし、遠端信号のLチャンネルとRチャンネルに相関がある信号が入力されると、1回目の抑圧処理で音響エコー信号がほぼ抑圧されるにもかかわらず、2回目の抑圧処理で相関のある音響エコー信号を抑圧しようとするので、過度な抑圧(引きすぎ)が生じ得る。
【0010】
よって、非特許文献1のステレオエコー抑圧装置では、遠端信号に相関がある信号が入力されると、過度の抑圧が発生し近端側の話者音声に歪が発生し得る。
【0011】
そのため、遠端信号のLチャンネルとRチャンネルに相関がある信号が入力されても、過度の抑圧が発生しないようにし、安定的に音響エコー信号を抑圧するステレオエコー抑圧装置、エコー抑圧装置、ステレオエコー抑圧方法及びステレオエコー抑圧プログラムが望まれている。
【課題を解決するための手段】
【0012】
本発明は、上記課題に鑑みてなされたものであり、次のような構成を備える。
【0013】
第1の本発明に係るステレオエコー抑圧装置は、近端入力信号と、ステレオ信号としての2チャンネルの遠端信号とに基づく音響エコー信号を抑圧するステレオエコー抑圧装置において、(1)入力された第1の遠端信号を周波数領域の信号に変換して、第1の遠端信号の振幅スペクトルを求める第1の遠端信号振幅スペクトル算出手段と、(2)入力された第2の遠端信号を周波数領域の信号に変換して、第2の遠端信号の振幅スペクトルを求める第2の遠端信号振幅スペクトル算出手段と、(3)入力された近端入力信号を周波数領域の信号に変換して、近端入力信号の振幅スペクトルを求める近端入力信号振幅スペクトル算出手段と、(4)保持している
第1の遠端信号のエコーパス特性と第1の遠端信号の振幅スペクトルとを乗算して第1の推定エコー信号の振幅スペクトルを求める第1の推定エコー信号推定手段と、(5)保持している
第2の遠端信号のエコーパス特性と第2の遠端信号の振幅スペクトルとを乗算して第2の推定エコー信号の振幅スペクトルを求める第2の推定エコー信号推定手段と、(6)第1の推定エコー信号の振幅スペクトルと近端入力信号の振幅スペクトルとを用いて第1のエコーサプレスゲインを算出して、近端入力信号に重畳されている音響エコー信号を抑圧する第1のエコーサプレス手段と、(7)第1の推定エコー信号の振幅スペクトルと第2の推定エコー信号の振幅スペクトルとの相関結果に応じて第2のエコーサプレスゲインを求め、近端入力信号に重畳されている音響エコー信号を抑圧する第2のエコーサプレス手段と、(8)第1の遠端信号の振幅スペクトルと近端入力信号の振幅スペクトルを用いて第1の遠端信号のエコーパス特性を算出して、更新する第1のエコーパス特性更新手段と、(9)第2の遠端信号の振幅スペクトルと近端入力信号の振幅スペクトルを用いて第2の遠端信号のエコーパス特性を算出して、更新する第2のエコーパス特性更新手段とを備えることを特徴とする。
【0014】
第2の本発明に係るエコー抑圧装置は、1又は複数のマイクロホンからそれぞれの近端入力信号を入力する1又は複数の第1の本発明に係るステレオエコー抑圧装置を備えることを特徴とする。
【0015】
第3の本発明に係るステレオエコー抑圧方法は、近端入力信号と、ステレオ信号としての2チャンネルの遠端信号とに基づく音響エコー信号を抑圧するステレオエコー抑圧方法において、(1)第1の遠端信号振幅スペクトル算出手段が、入力された第1の遠端信号を周波数領域の信号に変換して、第1の遠端信号の振幅スペクトルを求め、(2)第2の遠端信号振幅スペクトル算出手段が、入力された第2の遠端信号を周波数領域の信号に変換して、第2の遠端信号の振幅スペクトルを求め、(3)近端入力信号振幅スペクトル算出手段が、入力された近端入力信号を周波数領域の信号に変換して、上記近端入力信号の振幅スペクトルを求め、(4)第1の推定エコー信号推定手段が、保持している
第1の遠端信号のエコーパス特性と第1の遠端信号の振幅スペクトルとを乗算して第1の推定エコー信号の振幅スペクトルを求め、(5)第2の推定エコー信号推定手段が、保持している
第2の遠端信号のエコーパス特性と第2の遠端信号の振幅スペクトルとを乗算して第2の推定エコー信号の振幅スペクトルを求め、(6)第1のエコーサプレス手段が、第1の推定エコー信号の振幅スペクトルと近端入力信号の振幅スペクトルとを用いて第1のエコーサプレスゲインを算出して、近端入力信号に重畳されている音響エコー信号を抑圧し、(7)第2のエコーサプレス手段が、第1の推定エコー信号の振幅スペクトルと第2の推定エコー信号の振幅スペクトルとの相関結果に応じて第2のエコーサプレスゲインを求め、近端入力信号に重畳されている音響エコー信号を抑圧し、(8)第1のエコーパス特性更新手段が、第1の遠端信号の振幅スペクトルと近端入力信号の振幅スペクトルを用いて第1の遠端信号のエコーパス特性を算出して、更新し、(9)第2のエコーパス特性更新手段が、第2の遠端信号の振幅スペクトルと近端入力信号の振幅スペクトルを用いて第2の遠端信号のエコーパス特性を算出して、更新することを特徴とする。
【0016】
第4の本発明に係るステレオエコー抑圧プログラムは、近端入力信号と、ステレオ信号としての2チャンネルの遠端信号とに基づく音響エコー信号を抑圧するステレオエコー抑圧プログラムにおいて、コンピュータを、(1)入力された第1の遠端信号を周波数領域の信号に変換して、第1の遠端信号の振幅スペクトルを求める第1の遠端信号振幅スペクトル算出手段と、(2)入力された第2の遠端信号を周波数領域の信号に変換して、第2の遠端信号の振幅スペクトルを求める第2の遠端信号振幅スペクトル算出手段と、(3)入力された近端入力信号を周波数領域の信号に変換して、近端入力信号の振幅スペクトルを求める近端入力信号振幅スペクトル算出手段と、(4)保持している
第1の遠端信号のエコーパス特性と第1の遠端信号の振幅スペクトルとを乗算して第1の推定エコー信号の振幅スペクトルを求める第1の推定エコー信号推定手段と、(5)保持している第2の遠端信号のエコーパス特性と第2の遠端信号の振幅スペクトルとを乗算して第2の推定エコー信号の振幅スペクトルを求める第2の推定エコー信号推定手段と、(6)第1の推定エコー信号の振幅スペクトルと近端入力信号の振幅スペクトルとを用いて第1のエコーサプレスゲインを算出して、近端入力信号に重畳されている音響エコー信号を抑圧する第1のエコーサプレス手段と、(7)第1の推定エコー信号の振幅スペクトルと第2の推定エコー信号の振幅スペクトルとの相関結果に応じて第2のエコーサプレスゲインを求め、近端入力信号に重畳されている音響エコー信号を抑圧する第2のエコーサプレス手段と、(8)第1の遠端信号の振幅スペクトルと近端入力信号の振幅スペクトルを用いて第1の遠端信号のエコーパス特性を算出して、更新する第1のエコーパス特性更新手段と、(9)第2の遠端信号の振幅スペクトルと近端入力信号の振幅スペクトルを用いて第2の遠端信号のエコーパス特性を算出して、更新する第2のエコーパス特性更新手段として機能させることを特徴とする。
【発明の効果】
【0017】
本発明によれば、遠端信号のLチャンネルとRチャンネルに相関がある信号が入力されても、係数不確定性の問題が発生することなく音響エコー信号を抑圧することができる。
【発明を実施するための形態】
【0019】
(A)第1の実施形態
以下では、本発明に係るステレオエコー抑圧装置、エコー抑圧装置、ステレオエコー抑圧方法及びステレオエコー抑圧プログラムの第1の実施形態を、図面を参照しながら詳細に説明する。
【0020】
第1の実施形態では、例えば、テレビ会議システムや電話会議システム等の拡声通話システムの音声送受信装置に搭載されるエコー抑圧装置、プログラム及び方法に、本発明を適用する場合を例示する。
【0021】
(A−1)第1の実施形態の構成
図1は、第1の実施形態に係るエコー抑圧装置の構成を示すブロック図である。
【0022】
第1の実施形態に係るエコー抑圧装置100は、2つのマイクと、2つのスピーカとを有してステレオ信号を出力する音声送受信装置に実装されるものである。
【0023】
この実施形態では、エコー抑圧装置100には、2チャンネル(例えば、Lチャンネル、Rチャンネル)のステレオ信号が遠端信号として入力して、2チャンネルのステレオ信号を2つのスピーカから出力する場合を例示するが、チャンネル数は特に限定されるものではない。
【0024】
なお、以下では、ステレオ音信号のうち、一方の音信号を用いて処理する構成要素については符号に「a」を付しており、他方の音信号を用いて処理する構成要素については符号に「b」を付している。
【0025】
図1において、第1の実施形態に係るエコー抑圧装置100は、遠端信号入力端子101a及び101b、DA変換器102a及び102b、スピーカ103a及び103b、マイク104a及び104b、AD変換器105a及び105b、ステレオエコー抑圧装置100a及び100b、近端信号出力端子
116a及び
116bを有する。
【0026】
また、ステレオエコー抑圧装置100a及び100bは、遠端信号周波数領域変換部106a及び106b、遠端信号振幅スペクトル計算部107a及び107b、エコーパス特性保持部108a及び108b、推定エコー信号計算部109a及び109b、相関成分除去部110、近端入力信号周波数領域変換部111、近端入力信号振幅スペクトル計算部112、エコーサプレスゲイン計算部113a及び113b、エコーサプレス部114a及び114b、近端出力信号時間領域変換部115、エコーパス特性計算部117a及び117b、エコーパス特性更新部118a及び118bを有する。
【0027】
なお、特許請求の範囲に記載の「第1のエコーサプレス手段」は、エコーサプレスゲイン計算部113a、エコーサプレス部114aを含むものであり、「第2のエコーサプレス手段」は、相関成分除去部110、エコーサプレスゲイン計算部113b、エコーサプレス部114bを含むものである。
【0028】
ステレオエコー抑圧装置100a、100bは、1つのマイク104a、104bから入力された近端入力信号に対してステレオエコーサプレス処理(ステレオエコー抑圧処理)を行なうものである。ステレオエコー抑圧装置100a、100bは、遠端信号が音響エコー信号として近端側の空間を伝達しマイク104a及び104bに回り込んで入力されたときでも、近端入力信号に対してステレオエコーサプレス処理(ステレオエコー抑圧処理)を施し、音響エコー信号を適切に抑圧するものである。
【0029】
ステレオエコー抑圧装置100a及び100bは、例えば専用ボードとして構築されるようにしても良いし、DSP(デジタルシグナルプロセッサ)へのエコー抑圧プログラムの書き込みによって実現されたものであっても良く、CPUと、CPUが実行するソフトウェア(ステレオエコー抑庄プログラム)によって実現されたものであっても良いが、機能的には、
図1で表すことができる。また、ステレオエコー抑圧装置100a及び100bの各構成要素は、全てをハードウェアにより構築しても良いし、一部の構成要素だけをソフトウェア(プログラム)により構築しても良い。
【0030】
なお、ステレオエコー抑圧装置100a及び100bは、同じ構成となるので、以下では、ステレオエコー抑圧装置100aの説明のみとし、ステレオエコー抑圧装置100bの説明は重複することになるためここでは省略する。
【0031】
遠端信号入力端子101a、101bは、例えば、インターネットプロトコル(IP)網等のネットワークや、携帯電話等の無線ネットワークの電波等に接続されており、接続されている回線を介して遠端側(相手側)の遠端信号が入力される。
【0032】
遠端信号入力端子101a、101bに入力された遠端信号は、DA変換器102a、102bに出力され、DA変換器102a、102bにおいて、デジタル音信号からアナログ音信号に変換され、スピーカ103a、103bを通して近端側に出力される。
【0033】
一方、近端側の話者が発した音声等の音信号や、環境音や、音響エコー信号(例えば、スピーカ103a、103bから出力されたアナログ音信号が近端側の空間を伝達して回り込んだ信号)等が重畳したアナログ音信号は、マイク104a、104bにおいて受音され、AD変換器105a、105bにおいてデジタル音信号に変換され、デジタル音信号を近端入力信号としてステレオエコー抑圧装置100に入力される。
【0034】
遠端信号周波数領域変換部106a、106bは、遠端信号入力端子101a、101bに入力された遠端信号をそれぞれ取得し、例えば、高速フーリエ変換(FFT)等により、時間領域の信号である各遠端信号を周波数領域の信号に変換し、遠端信号の周波数スペクトルを出力する。遠端信号周波数領域変換部106a、106bは、遠端信号の周波数スペクトルを、遠端信号振幅スペクトル計算部107a、107bに出力する。
【0035】
遠端信号振幅スペクトル計算部107a、107bは、遠端信号の周波数スペクトルに基づいて、遠端信号の振幅スペクトルを算出し、算出した遠端信号の振幅スペクトルを推定エコー信号計算部109a、109bとエコーパス特性計算部117a、117bとに出力する。
【0036】
エコーパス特性保持部108a、108bは、エコーパス特性を保持しており、保持しているエコーパス特性を、推定エコー信号計算部109a、109bと、エコーパス特性更新部118a、118bとに出力する。
【0037】
推定エコー信号計算部109a、109bは、遠端信号の振幅スペクトルとエコーパス特性とを乗じて推定エコー信号の振幅スペクトルを算出するものである。推定エコー信号計算部109aは、算出した推定エコー信号の振幅スペクトルを、相関成分除去部110とエコーサプレスゲイン計算部113aとに出力する。また、推定エコー信号計算部109bは、算出した推定エコー信号を、相関成分除去部110に出力する。
【0038】
相関成分除去部110は、推定エコー信号計算部109bからの推定エコー信号の振幅スペクトルに含まれている推定エコー信号計算部109aからの推定エコー信号の振幅スペクトルの相関成分を除去するものである。また、相関成分除去部110は、相関成分を除去した推定エコー信号を、エコーサプレスゲイン計算部113bに出力する。
【0039】
近端
入力信号周波数領域変換部111は、AD変換器105aから出力された近端入力信号を取得し、例えば、高速フーリエ変換(FFT)等により、近端入力信号を周波数領域の信号に変換するものである。近端信号周波数領域変換部111は、近端入力信号の周波数スペクトルを、近端入力信号振幅スペクトル計算部112、エコーサプレス部114aに出力する。
【0040】
近端入力信号振幅スペクトル計算部112は、近端入力信号の周波数スペクトルに基づいて、近端入力信号の振幅スペクトルを算出し、算出した近端入力信号の振幅スペクトルをエコーサプレスゲイン計算部113a、113b、エコーパス特性計算部117a、117bに出力する。
【0041】
エコーサプレスゲイン計算部113aは、近端入力信号振幅スペクトル計算部112からの近端入力信号の振幅スペクトルと、推定エコー信号計算部109aからの推定エコー信号の振幅スペクトルとを用いて、近端入力信号に重畳されている音響エコー信号を抑圧するエコーサプレスゲインを算出するものである。エコーサプレスゲイン計算部113aは、算出したエコーサプレスゲインをエコーサプレス部114aに出力する。
【0042】
エコーサプレスゲイン計算部113bは、近端入力信号振幅スペクトル計算部112からの近端入力信号の振幅スペクトルと、相関成分除去部110により相関成分が除去された推定エコー信号の振幅スペクトルとを用いて、近端入力信号に重畳されている音響エコー信号を抑圧するエコーサプレスゲインを算出するものである。エコーサプレスゲイン計算部113bは、算出したエコーサプレスゲインをエコーサプレス部114bに出力する。
【0043】
エコーサプレス部114aは、エコーサプレスゲイン計算部113aからのエコーサプレスゲインと、近端入力信号周波数領域変換部11からの近端入力信号の周波数スペクトルとを乗じることにより、近端入力信号に重畳されている音響エコー信号を抑圧した周波数スペクトルを求めるものである。エコーサプレス部114aは、音響エコー信号を抑圧した周波数スペクトルを、エコーサプレス部114bに出力する。
【0044】
エコーサプレス部114bは、エコーサプレスゲイン計算部113bからのエコーサプレスゲインと、エコーサプレス部114aからの周波数スペクトルとを乗じることにより、近端入力信号に重畳されている音響エコー信号を抑圧した周波数スペクトルを求めるものである。エコーサプレス部114bは、音響エコー信号を抑圧した周波数スペクトルを近端出力信号の周波数スペクトルとして、近端出力信号時間領域変換部115に出力する。
【0045】
近端出力信号時間領域変換部115は、近端出力信号の周波数スペクトルを、例えば、逆高速フーリエ変換(InverseFFT)等により、時間領域のデジタル音信号に変換し、近端出力信号を近端信号出力端子116に出力する。
【0046】
近端信号出力端子116は、例えば、インターネットプロトコル(IP)網等のネットワークや、携帯電話等の無線ネットワークの電波等に接続されており、接続されている回線を介して遠端側(相手側)へ近端出力信号が出力される。
【0047】
エコーパス特性計算部117a、117bは、遠端信号振幅スペクトル計算部107a、107bからの遠端信号の振幅スペクトルと、近端入力信号振幅スペクトル計算部112からの近端入力信号の振幅スペクトルとに基づいて、現フレームのエコーパス特性を算出し、その算出した現フレームのエコーパス特性をエコーパス特性更新部118a、118bに出力する。
【0048】
エコーパス特性更新部118a、118bは、エコーパス特性計算部117a、117bにより算出された現フレームのエコーパス特性と、エコーパス特性保持部108a、108bに保持しているエコーパス特性とに基づき、エコーパス特性を更新し、更新したエコーパス特性をエコーパス特性保持部108a、108bに保存する。
【0049】
(A−2)第1の実施形態の動作
次に、本発明の実施形態に係るエコー抑圧装置100におけるエコー抑圧処理の動作を詳細に説明する。動作の説明においても、ステレオエコー抑圧装置100a、100bのうち、ステレオエコー抑圧装置100aを代表して説明する。
【0050】
まず、エコー抑圧装置100の動作開始後、例えば、インターネットプロトコル(IP)網等のネットワークや、携帯電話等の無線ネットワークの電波等に接続されており接続されている回線を介して、遠端側の遠端信号が遠端信号入力端子101a、101bに入力される。
【0051】
遠端信号入力端子101a、101bに入力された遠端信号は、DA変換器102a、102bに遠端信号を出力され、DA変換器102a、102bにおいて、デジタル音信号からアナログ音信号に変換され、スピーカ103a、103bを通して近端側に出力される。
【0052】
一方、近端側の話者が発した音声等の音信号や、環境音や、音響エコー信号(例えば、スピーカ103a、103bから出力されたアナログ音信号が近端側の空間を伝達して回り込んだ信号)等が重畳したアナログ音信号は、マイク104、において受音され、AD変換器105おいてデジタル音信号に変換され、デジタル音信号を近端入力信号としてステレオエコー抑圧装置100に入力される。
【0053】
遠端信号周波数領域変換部106a、106bでは、例えば、高速フーリエ変換(FFT)等により、遠端信号を周波数領域の信号に変換し、変換された遠端信号の周波数スペクトルROUTa(i,ω),ROUTb(i,ω)を遠端信号振幅スペクトル計算部107a、107bに出力する。
【0054】
遠端信号振幅スペクトル計算部107a、107bでは、周波数スペクトルROUTa(i,ω),ROUTb(i,ω)を用いて、(1)式と(2)式に従い、遠端信号の振幅スペクトル|ROUTa(i,ω)|、|ROUTb(i,ω)|が求められる。
【0055】
【数1】
ここで、iはフレーム、ωは周波数ビン、ROUTa_real(i,ω)とROUTa_image(i,ω)は、フレームiにおける周波数ビンωの遠端信号の周波数スペクトルROUTa(i,ω)の実数部と虚数部、ROUTb_real(i,ω)とROUTb_image(i,ω)は、フレームiにおける周波数ビンωの遠端信号の周波数スペクトルROUTb(i,ω)の実数部と虚数部を示しており、遠端信号の周波数スペクトルROUTa(i,ω)、ROUTb(i,ω)は、(3)式、(4)式で表すことができる。
【0056】
【数2】
(3)式、(4)式のjは虚数を表している。そして、遠端信号振幅スペクトル許算部107a、107bにより求められた遠端信号の周波数スペクトル|ROUTa(i,ω)|、|ROUTb(i,ω)|は、推定エコー信号許算部109a、109b、推定エコー信号計算部117a、117bに出力される。
【0057】
推定エコー信号計算部109a、109bでは、エコーパス特性保持部108a、108bに保持されているエコーパス特性|Ha(i−1,ω)|、|Hb(i−1,ω)|と、遠端信号の振幅スペクトル|ROUTa(i,ω)|、|ROUTb(i,ω)|とを用いて、(5)式と(6)式により、推定エコー信号の振幅スペクトル|ECHOa(i,ω)|、|ECHOb(i,ω)|が求められる。
【0058】
【数3】
(5)式、(6)式は、遠端信号の振幅スペクトル|ROUTa(i,ω)|、|ROUTb(i,ω)|に、エコーパス保持部110に保持しているエコーパス特性|Ha(i−1,ω)|、|Hb(i−1,ω)|の対応する周波数ビンを乗じて、当該周波数ビンの推定エコー信号の振幅スペクトル|ECHOa(i,ω)|、|ECHOb(i,ω)|を求める。そして、推定エコー信号計算部109aにより求められた推定エコー信号の振幅スペクトル|ECHOa(i,ω)|は、エコーサプレスゲイン計算部113a及び相関成分除去部110に出力される。また、推定エコー信号計算部109bにより求められた推定エコー信号の振幅スペクトル|ECHOb(i,ω)|は相関成分除去部110に出力される。
【0059】
相関成分除去部110では、|ECHOb(i,ω)|に含まれている|ECHOa(i,ω)|と|ECHOb(i,ω)|との相関成分の除去した振幅スペクトル|ECHO_corr_rejection(i,ω)|を(7)式に従い求める。
【0060】
【数4】
相関成分除去部110は、相関成分が除去された相関成分の除去した振幅スペクトル|ECHO_corr_rejection(i,ω)|をエコーサプレスゲイン計算部113bに出力する。
【0061】
一方、近端入力信号周波数領域変換部111では、AD変換器105aから出力されたデジタル音信号である近端入力信号が、例えば、高速フーリエ変換(FFT)等により、近端入力信号を周波数領域の信号に変換される。変換された近端入力信号の周波数スペクトルSIN(i,ω)が、近端入力信号振幅スペクトル計算部112及びエコーサプレス部114aに出力される。
【0062】
近端入力信号振幅スペクトル計算部112は、近端入力信号の周波数スペクトルSIN(i,ω)を用いて、(8)式に従い、近端入力信号の振幅スペクトル|SIN(i,ω)|が求められる。
【0063】
【数5】
ここで、SIN_real(i,ω)とSIN_image(i,ω)は、フレームiにおける周波数ビンωの近端入力信号の周波数スペクトルの実数部と虚数部を示しており、近端入力信号の周波数スペクトルSIN(i,ω)は(9)式で表すことができる。
【0064】
【数6】
(9)式のjは虚数を表している。そして、近端入力信号振幅スペクトル許算部112により求められた近端入力信号の振幅スペクトル|SIN(i,ω)|は、エコーサプレスゲイン計算部113a、113b、及びエコーパス特性計算部117a、117bに出力される。
【0065】
エコーサプレスゲイン計算部113aでは、近端入力信号の振幅スペクトル|SIN(i,ω)|と推定エコー信号の振幅スペクトル|ECHOa(i、ω)|とを取得して、式(10)を用いて、エコーサプレスゲインGa(i,ω)を求める。
【0066】
【数7】
(10)式は、周波数ビン毎に、近端入力信号の振幅スペクトル|SIN(i,ω)|から推定エコー信号の振幅スペクトル|ECHOa(i,ω)|を差し引いた振幅スペクトルを、近端入力信号の振幅スペクトル|SIN(i,ω)|で除することで、エコーサプレスゲインGa(i,ω)を求める。エコーサプレスゲイン計算部113aにより求められたエコーサプレスゲインGa(i,ω)は、エコーサプレ部113aに出力される。
【0067】
エコーサプレスゲイン計算部113bでは、近端入力信号の振幅スペクトル|SIN(i,ω)|と|ECHOb(i、ω)|の相関成分が除去された推定エコー信号の振幅スペクトル|ECHO_corr_rejection(i、ω)|とを取得して、式(11)を用いて、エコーサプレスゲインGb(i,ω)を求める。
【0068】
【数8】
(11)式は、周波数ビン毎に、近端入力信号の振幅スペクトル|SIN(i,ω)|から推定エコー信号の振幅スペクトル|ECHO_corr_rejection(i,ω)|を差し引いた振幅スペクトルを、近端入力信号の振幅スペクトル|SIN(i,ω)|で除することで、エコーサプレスゲインGb(i,ω)を求める。エコーサプレスゲイン計算部113bにより求められたエコーサプレスゲインGb(i,ω)は、エコーサプレス部114bに出力される。
【0069】
エコーサプレス部114aでは、近端入力信号のスペクトルSIN(i,ω)とエコーサプレスゲインGa(i,ω)とを用いて、(12)式、(13)式に従い、近端入力信号のスペクトルSIN(i,ω)に重畳されている音響エコー信号を抑圧する。
【0070】
【数9】
ここで、SOUTa_real(i,ω)とSOUTa_image(i,ω)は、フレームiにおける周波数ビンωの近端出力信号の周波数スペクトルの実数部と虚数部を示しており、近端出力信号の周波数スペクトルSOUTa(i,ω)は下記式で表すことができる。
【0071】
【数10】
(14)式のjは虚数を表している。(12)式と(13)式は周波数スペクトルの実数部、虚数部にエコーサプレスゲインGa(i,ω)を周波数ビン毎に乗じて、音響エコー信号を抑圧した近端出力信号の周波数スペクトルSOUTa(i,ω)を求めるという式である。そして、エコーサプレス部114aにより求められた音響エコー信号が抑圧された近端出力信号の周波数スペクトルSOUTa(i,ω)をエコーサプレス部114bに出力する。
【0072】
エコーサプレス部114bでは、近端出カ信号のスペクトルSOUTa(i,ω)とエコーサプレスゲインGb(i,ω)とを用いて、(15)式、(16)式に従い、近端入力信号のスペクトルSINb(i,ω)に重畳されている音響エコー信号を抑圧する。
【0073】
【数11】
ここで、SOUTb_real(i,ω)とSOUTb_image(i,ω)は、フレームiにおける周波数ビンωの近端出力信号の周波数スペクトルの実数部と虚数部を示しており、近端出力信号の周波数スペクトルSOUTb(i,ω)は下記式で表すことができる。
【0074】
【数12】
(17)式のjは虚数を表している。(15)式と(16)式は周波数スペクトルの実数部、虚数部にエコーサプレスゲインGb(i,ω)を周波数ビン毎に乗じて、音響エコー信号を抑圧した近端出力信号の周波数スペクトルSOUTb(i,ω)を求めるという式である。そして、エコーサプレス部118により求められた音響エコー信号が抑圧された近端出力信号の周波数スペクトルSOUTb(i,ω)は、近端出力信号時間領域変換部115に出力される。
【0075】
近端出力信号時間領域変換部115では、近端出力信号のスペクトルSOUTb(i,ω)が、例えば、逆高速フーリエ変換(InverseFFT)等により、時間領域のデジタル音信号に変換され、近端出力信号が近端信号出力端子116に出力される。
【0076】
近端信号出力端子116は、例えば、インターネットプロトコル(IP)網等のネットワークや、携帯電話等の無線ネットワークの電波等に接続されており、近端出力信号を接続されている回線を介して通話相手である遠端側に出力する。
【0077】
エコーパス特性計算部117a、117bは、現フレームのエコーパス特性|Ha1(i,ω)|、|Hb1(i,ω)|を遠端信号振幅スペクトル計算部からの遠端信号の振幅スペクトル|ROUTa(i,ω)||ROUTb(i,ω)|と、近端出力信号振幅スペクトル計算部112からの近端出力信号の振幅スペクトル|SIN(i,ω)|を用いて求める。
【0078】
【数13】
現フレームのエコーパス特性|Ha1(i,ω)|、|Hb1(i,ω)|が求まれば、現フレームのエコーパス特性|Ha1(i,ω)|、|Hb1(i,ω)|が、エコーパス特性更新部118a、118bに出力される。
【0079】
エコーパス特性更新部118a、118bは、エコーパス特性計算部117a、117bからエコーパス特性|Ha1(i,ω)|、|Hb1(i,ω)|と、エコーパス特性保持部108a、108bに保持されているエコーパス特性|Ha(i−1,ω)|、|Hb(i−1,ω)|を読み出し、|Ha(i−1,ω)|と|Ha1(i,ω)|、|Hb(i−1,ω)|と|Hb1(i,ω)|、を用いてエコーパス特性を(20)式、(21)式に従って、エコーパス特性を更新する。
【0080】
【数14】
cは時定数フィルタの係数であり、cは0以上、1以下の値であって、エコーパス特性の更新を遅くしたい場合は1に近い値が望ましく(例えばc=0.99等の値)、更新を早くしたい場合は0に近い値が望ましい(例えばc=0.01等の値)。エコーパス特性更新部118a、118bは更新したエコーパス特性をエコーパス特性保持部108a、108bに出力する保持させる。
【0081】
(A−3)第1の実施形態の効果
以上のように、第1の実施形態によれば、相関がある信号が遠端信号として入力されても、推定エコー信号の相関成分を除去することで引きすぎによる音信号の歪を防止し、音響エコー信号を抑圧することができる。
【0082】
第1の実施形態によれば、適応アルゴリズムを使用せず、周波数領域でのステレオエコー抑圧処理を行う。このように適応アルゴリズムを使用しないことで係数不確定問題が発生せずに、音響エコー信号を抑圧することができる。さらに、第1の実施形態によれば、ステレオエコー抑圧処理で推定した推定エコー信号の相関を考慮し、遠端信号のLチャンネルとRチャンネルに相関がある信号のときは、過度の抑圧を防止し、音響エコー信号を抑圧することができる。
【0083】
(B)第2の実施形態
次に、本発明に係るステレオエコー抑圧装置、ステレオエコー抑圧プログラム及びステレオエコー抑圧方法の第2の実施形態を、図面を参照しながら説明する。
【0084】
第2の実施形態においても、例えば、テレビ会議システムや電話会議システム等の拡声通話システムの音声送受信装置に搭載されるステレオエコー装置、プログラム及び方法に、本発明を適用する場合を例示する。
【0085】
(B−1)第2の実施形態の構成
図2は、第2の実施形態に係るエコー抑圧装置200の構成を示すブロック図である。
図2において、第2の実施形態に係るエコー抑圧装置200は、遠端信号入力端子101a及び101b、DA変換器102a及び102b、スピーカ103a及び103b、マイク104a及び104b、AD変換器105a及び105b、ステレオエコー抑圧装置200a及び200b、近端信号出力端子
116a及び
116bを有する。
【0086】
また、ステレオエコー抑圧装置200a及び200bは、遠端信号周波数領域変換部106a及び106b、遠端信号振幅スペクトル計算部107a及び107b、エコーパス特性保持部108a及び108b、推定エコー信号計算部109a及び109b、相関計算部201、近端入力信号周波数領域変換部111、近端入力信号振幅スペクトル計算部112、エコーサプレスゲイン計算部113a、相関エコーサプレスゲイン計算部202、エコーサプレス部114a及び114b、近端出力信号時間領域変換部115、エコーパス特性計算部117a及び117b、エコーパス特性更新部118a及び118bを有する。
【0087】
なお、特許請求の範囲に記載の「第1のエコーサプレス手段」は、エコーサプレスゲイン計算部113a、エコーサプレス部114aを含むものであり、「第2のエコーサプレス手段」は、相関計算部201、相関エコーサプレスゲイン計算部202、エコーサプレス部114bを含むものである。
【0088】
第2の実施形態では、推定エコー信号の相関手法と、エコーサプレスゲインの計算手法が、第1の実施形態に係るエコー抑圧装置100と異なり、それ以外の構成要素は第1の実施形態に係る
図1のエコー抑圧装置100の構成要素と同一又は対応するものである。
【0089】
つまり、ステレオエコー抑圧装置200a、200bは、第1の実施形態で説明した相関成分除去部110の代わりに相関計算部201を有する点と、エコーサプレスゲイン計算部113bの代わりに相関エコーサプレスゲイン計算部202を有する点で、第1の実施形態に係るステレオエコー抑圧装置100a、100bと構成が異なる。
【0090】
なお、
図2において、第1の実施形態に係るエコーサプレス100の構成要素と同一又は対応するものについては同一の符号を付している。また、第1の実施形態と同一又は対応する構成要素の詳細な説明は重複することになるためここでは省略する。
【0091】
また、第2の実施形態でも、ステレオエコー抑圧装置200a、200bは同じ構成要素を備えるため、ステレオエコー抑圧装置100aのみの構成を説明する。
【0092】
相関計算部201は、推定エコー信号計算部109aから出力された推定エコー信号の振幅スペクトルと、推定エコー信号計算部109bから出力された推定エコー信号の振幅スペクトルとの相関を計算するものである。相関計算部201は、相関計算結果を、相関エコーサプレスゲイン計算部202に出力する。
【0093】
相関エコーサプレスゲイン計算部202は、近端入力信号振幅スペクトル計算部112からの近端入力信号の振幅スペクトルと、推定エコー信号計算部109bからの推定エコー信号の振幅スペクトルと、相関計算部201からの相関計算結果とを用いて、近端入力信号に重畳されている音響エコー信号を抑圧するエコーサプレスゲインを算出するものである。相関エコーサプレスゲイン計算部202は、算出したエコーサプレスゲインを、エコーサプレス部114bに出力する。
【0094】
(B−2)第2の実施形態の動作
次に、第2の実施形態に係るステレオエコー抑圧装置200におけるエコー抑圧処理の動作を詳細に説明する。ここでは、第2の実施形態に係るステレオエコー抑圧装置200aが有する、相関許算部201及び相関エコーパスゲイン計算部202の処理動作を詳細に説明する。
【0095】
ステレオエコーサプレス装置200では、相関計算部201が推定エコー信号計算部109a、109bから出力された推定エコー信号の振幅スペクトル|ECHOa(i,ω)|と|ECHOb(i,ω)|の相関を、例えば(22)式に従って計算する。
【0096】
【数15】
(22)式において、Corr(i)は相関係数、FFT_LENはFFT長を示している。また、aveECHOaは、推定エコー信号|ECHOa(i,ω)|の振幅スペクトルのフレーム平均値であり、また、aveECHObは、推定エコー信号|ECHOb(i,ω)|の振幅スペクトルのフレーム平均値である。aveECHOa、aveECHObはそれぞれ、例えば、(23)式、(24)式に従って求めることができる。
【0097】
【数16】
相関計算部201において、相関係数Corr(i)が求められると、その相関係数Corr(i)は相関エコーサプレスゲイン計算部202に出力される。
【0098】
なお、相関計算部201による相関の計算手法は、種々の方法を広く適用することができる。例えば、相関計算部201は、遠端信号の推定エコー信号の振幅スペクトル|ECHOa(i,ω)|と|ECHOb(i,ω)|との周波数ビン毎に差を求め、その差の合計値を相関係数Corr(i)として相関エコーパスゲイン計算部202に出力しても良い。この場合、差の合計値が小さいとき相関があり、差の合計が大きいと相関がないと判断できる。
【0099】
相関エコーパスゲイン計算部202では、近端入力信号の振幅スペクトル|SIN(i,ω)|と推定エコー信号の振幅スペクトル|ECHOb(i、ω)|と相関係数Corr(i)を取得して、式(25)を用いて、エコーサプレスゲインGb(i,ω)を求める。
【0100】
【数17】
THは闘値、gainは相関があるときのエコーサプレスゲインである。(25)式は、周波数ビン毎に相関係数Corr(i)より相関がないと判断されたフレームのときだけ近端入力信号の振幅スペクトル|SIN(i,ω)|から推定エコー信号の振幅スペクトル|ECHOb(i,ω)|を差し引いた振幅スペクトルを、近端入力信号の振幅スペクトル|SIN(i,ω)|で除することで、エコーサプレスゲインGb(i,ω)を求める。第2の実施形態の場合、相関係数Corr(i)は「−1」から「1」の値になり、Corr(i)が「1」に近いとき正の相関があり、Corr(i)が「−1」に近いとき負の相関があり、Corr(i)が0に近いとき相関がないので、(25)式のような条件となり、例えば、閾値TH=0.8,gain=1.0と設定することで、相関があるときはエコーサプレスゲインを1.0とする。エコーサプレスゲイン計算部113bにより求められたエコーサプレスゲインGb(i,ω)をエコーサプレ部114bに出力する。
【0101】
(B−3)第2の実施形態の効果
以上のように、第2の実施形態によれば、相関がある信号が遠端信号として入力されても、推定エコー信号の相関を計算し、相関があると判断すると2回目の減算は引きすぎないようにして、引きすぎによる音信号の歪を防止し、音響エコー信号を抑圧することができる。
【0102】
(C)他の実施形態
上述した各実施形態においても、種々の変形実施形態を説明したが、本発明は以下の変形実施形態についても適用することができる。
【0103】
(C−1)上述した各実施形態に係るエコー抑圧装置が2つのマイクを備える場合を例示したが、各実施形態に係るエコー抑圧装置のマイクの数を増設するようにしても良い。
【0104】
例えば、
図3は、第1の実施形態のエコー抑圧装置がマイクの数を増設した場合のエコー抑圧装置100Aの構成を示すブロック図である。また、
図4は、第2の実施形態のエコー抑圧装置がマイクの数を増設した場合のエコー抑圧装置200Aの構成を示すブロック図である。
【0105】
図3、
図4に示すように、エコー抑圧装置100A(200A)は、第1及び第2の実施形態で説明した通り、2チャンネル(Lチャンネル、Rチャンネル)のステレオ信号である遠端信号を入力すると共に、複数のマイク104a、104b、…、104nのそれぞれに対してステレオエコー抑圧装置100a、100b、…、100n(200a、200b、…、200n)を有する構成である。ステレオエコー抑圧装置100a、100b、…、100n(200a、200b、…、200n)のそれぞれの構成及び処理動作は、第1及び第2の実施形態で説明した構成及び処理動作を適用することができるため、ここでの詳細な説明は省略するが、マイクの増設に伴い、ステレオエコー抑圧装置を設けるようにすることで、マイク入力を多チャンネル化した場合でも、第1及び第2の実施形態と同様の効果を得ることができる。マイクを増設できる条件は、実装されている専用ボード、DSP、CPUなどの処理装置が処理できるまで増設することができる。
【0106】
(C−2)上述した各実施形態で説明したエコー抑圧装置は、例えば、テレビ会議システムや電話会議システム等に用いられる音声通信装置を含む装置に搭載されるようにしても良い。また、携帯電話機やスマートフォン等の携帯端末に本発明のエコー抑圧装置は搭載されるようにしても良い。