特許 5785674 デュアルマイクに基づく音声残響低減方法及びその装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5785674

(24)【登録日】2015年7月31日

(45)【発行日】2015年9月30日

(54)【発明の名称】デュアルマイクに基づく音声残響低減方法及びその装置

(51)【国際特許分類】

   H04R 3/00 20060101AFI20150910BHJP

【ＦＩ】

   H04R3/00 320

【請求項の数】10

【全頁数】28

(21)【出願番号】特願2015-524601(P2015-524601)

(86)(22)【出願日】2013年12月12日

(65)【公表番号】特表2015-523609(P2015-523609A)

(43)【公表日】2015年8月13日

(86)【国際出願番号】CN2013001557

(87)【国際公開番号】WO2014089914

(87)【国際公開日】20140619

【審査請求日】2015年1月30日

(31)【優先権主張番号】201210536578.X

(32)【優先日】2012年12月12日

(33)【優先権主張国】CN

【早期審査対象出願】

(73)【特許権者】

【識別番号】512280079

【氏名又は名称】ゴーアテック インコーポレイテッド

【氏名又は名称原語表記】ＧＯＥＲＴＥＫ ＩＮＣ

(74)【代理人】

【識別番号】100129425

【弁理士】

【氏名又は名称】小川 護晃

(74)【代理人】

【識別番号】100099623

【弁理士】

【氏名又は名称】奥山 尚一

(74)【代理人】

【識別番号】100087505

【弁理士】

【氏名又は名称】西山 春之

(74)【代理人】

【識別番号】100167025

【弁理士】

【氏名又は名称】池本 理絵

(74)【代理人】

【識別番号】100168642

【弁理士】

【氏名又は名称】関谷 充司

(74)【代理人】

【識別番号】100096769

【弁理士】

【氏名又は名称】有原 幸一

(74)【代理人】

【識別番号】100107319

【弁理士】

【氏名又は名称】松島 鉄男

(74)【代理人】

【識別番号】100114591

【弁理士】

【氏名又は名称】河村 英文

(72)【発明者】

【氏名】ルー，シャシャ

(72)【発明者】

【氏名】リー，ボー

(72)【発明者】

【氏名】ファン，ジョーチェン

【審査官】 下林 義明

(56)【参考文献】

【文献】 特開平０９−３２１８６０（ＪＰ，Ａ）

【文献】 特開２０１４−２３０２８０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｒ ３／００ − ３／１４

Ｈ０４Ｒ ２５／００ − ２５／０４

Ｈ０４Ｍ １／２４ − １／８２

(57)【特許請求の範囲】

【請求項1】

メインマイク入力信号及び補助マイク入力信号を受信し、フレームごとにメインマイク入力信号及び補助マイク入力信号によって、補助マイクからメインマイクまでの伝達関数ｈ（ｔ）を算出する処理と、
前記伝達関数ｈ（ｔ）のテーリング部分ｈ_ｒ（ｔ）を取得するとともに、該伝達関数ｈ（ｔ）によって残響の強さを判断して利得函数の調節因子βを算出する処理と、
前記補助マイク入力信号を用いてｈ_ｒ（ｔ）に畳み込みを行って、メインマイク入力信号の後期残響推定信号を得る処理と、
前記メインマイク入力信号の後期残響推定信号に対して時間ドメインから周波数ドメインへの変換を行って、メインマイク入力信号の後期残響スペクトルを得て、メインマイク入力信号に対して時間ドメインから周波数ドメインへの変換を行って、メインマイク入力信号の周波数スペクトルを得る処理と、
前記メインマイク入力信号の周波数スペクトル、前記利得函数の調節因子β及びメインマイク入力信号の後期残響スペクトルによって、利得函数を算出する処理と、
前記メインマイク入力信号の周波数スペクトルに利得函数を乗算して、メインマイク入力信号の残響除去後の周波数スペクトルを得る処理と、
前記メインマイク入力信号の残響除去後の周波数スペクトルに対して周波数ドメインから時間ドメインへの変換を行って、メインマイク入力信号の残響除去後の時間ドメイン信号を得る処理と、
前記メインマイク入力信号の残響除去後の時間ドメイン信号を、フレームごとに重畳加算してからメインマイク入力信号の残響除去後の連続信号を出力する処理とを、
行うことを含むことを特徴とするデュアルマイクに基づく音声残響低減方法。

【請求項2】

前記メインマイク入力信号の後期残響推定信号を得た後、時間ドメインから周波数ドメインへの変換を行う前に、
前記メインマイクと補助マイクとの間の距離が大きいほど、メインマイク入力信号の後期残響推定信号に対して周波数補償を行う度合いが小さくなるように、前記メインマイク入力信号の後期残響推定信号に対して周波数補償を行うことと、
この周波数補償が行われた信号に対して時間ドメインから周波数ドメインへの変換を行って、前記メインマイク入力信号の後期残響スペクトルを得ることとを、
更に含むことを特徴とする請求項１に記載のデュアルマイクに基づく音声残響低減方法。

【請求項3】

前記伝達関数ｈ（ｔ）によって残響の強さを判断することは、下記の式によって残響の強さを表すパラメータρを算出し、

そのうち、ｈ（ｔ）が補助マイクからメインマイクまでの伝達関数、Ｔがｈ（ｔ）の時間軸において指定された境界点であり、
前記利得函数の調節因子βを算出することは、下記の式によってβを算出し、

そのうち、ρ_１とρ_２が設定値である、
ことを特徴とする請求項１に記載のデュアルマイクに基づく音声残響低減方法。

【請求項4】

前記メインマイク入力信号の周波数スペクトル、前記利得函数の調節因子β及びメインマイク入力信号の後期残響スペクトルによって利得函数を算出することは、下記の式によって利得函数Ｇ（ｌ，ｋ）を算出し、

そのうち、ｌがフレーム番号、ｋが周波数ポイント番号、βが利得函数の調節因子、

がメインマイク入力信号の後期残響周波数スペクトル、Ｘ_２がメインマイク入力信号の周波数スペクトルである、
ことを特徴とする請求項１に記載のデュアルマイクに基づく音声残響低減方法。

【請求項5】

前記伝達関数ｈ（ｔ）のテーリング部分ｈ_ｒ（ｔ）を取得することは、
伝達関数ｈ（ｔ）の時間軸において早期残響と後期残響との境界点を取って、伝達関数ｈ（ｔ）の該境界点の前の値を０にセットして、伝達関数ｈ（ｔ）のテーリング部分ｈ_ｒ（ｔ）を得ることを含む、
ことを特徴とする請求項１に記載のデュアルマイクに基づく音声残響低減方法。

【請求項6】

メインマイク及び補助マイクに受信された信号に対してフレームごとに処理を行い、残響スペクトル推定ユニットとスペクトル減算ユニットとを含み、そのうち、
前記残響スペクトル推定ユニットは、メインマイク入力信号及び補助マイク入力信号を受信し、前記メインマイク入力信号及び補助マイク入力信号によって、前記補助マイクからメインマイクまでの伝達関数ｈ（ｔ）を算出して、該伝達関数ｈ（ｔ）のテーリング部分ｈ_ｒ（ｔ）を取得するとともに、前記伝達関数ｈ（ｔ）によって残響の強さを判断し、利得函数の調節因子βを算出してスペクトル減算ユニットに出力して、補助マイク入力信号を用いてｈ_ｒ（ｔ）に畳み込みを行って、メインマイク入力信号の後期残響推定信号を得て、メインマイク入力信号の後期残響推定信号に対して時間ドメインから周波数ドメインへの変換を行って、メインマイク入力信号の後期残響スペクトルを得てからスペクトル減算ユニットに出力するために用いられ、
前記スペクトル減算ユニットは、メインマイク入力信号、前記残響スペクトル推定ユニットから出力された利得函数の調節因子β及びメインマイク入力信号の後期残響スペクトルを受信し、メインマイク入力信号に対して時間ドメインから周波数ドメインへの変換を行って、メインマイク入力信号の周波数スペクトルを得て、前記メインマイク入力信号の周波数スペクトル、利得函数の調節因子β及びメインマイク入力信号の後期残響スペクトルによって利得函数を算出し、前記メインマイク入力信号の周波数スペクトルに利得函数を乗算して、メインマイク入力信号の残響除去後の周波数スペクトルを得て、前記メインマイク入力信号の残響除去後の周波数スペクトルに対して周波数ドメインから時間ドメインへの変換を行って、メインマイク入力信号の残響除去後の時間ドメイン信号を得て、前記メインマイク入力信号の残響除去後の時間ドメイン信号を、フレームごとに重畳加算してからメインマイク入力信号の残響除去後の連続信号を出力するために用いられる、
ことを特徴とするデュアルマイクに基づく音声残響低減装置。

【請求項7】

前記残響スペクトル推定ユニットは、伝達関数算出ユニット、伝達関数テーリング算出ユニット、残響強さ判断ユニット、後期残響推定ユニット及び第一の時間／周波数変換ユニットを含み、更に周波数補償ユニットを含み、
前記スペクトル減算ユニットは、第二の時間／周波数変換ユニット、利得函数算出ユニット、残響除去ユニット、周波数／時間変換ユニット及び重畳加算ユニットを含み、そのうち、
伝達関数算出ユニットは、メインマイク入力信号及び補助マイク入力信号を受信し、メインマイク入力信号及び補助マイク入力信号によって、補助マイクからメインマイクまでの伝達関数ｈ（ｔ）を算出して、伝達関数ｈ（ｔ）を伝達関数テーリング算出ユニット及び残響強さ判断ユニットに出力するために用いられ、
伝達関数テーリング算出ユニットは、前記伝達関数ｈ（ｔ）のテーリング部分ｈ_ｒ（ｔ）を求めて後期残響推定ユニットに出力するために用いられ、
残響強さ判断ユニットは、前記伝達関数ｈ（ｔ）によって残響の強さを判断し、利得函数の調節因子βを算出して利得函数算出ユニットに出力するために用いられ、
後期残響推定ユニットは、前記補助マイク入力信号を受信し、補助マイク入力信号を用いてｈ_ｒ（ｔ）に畳み込みを行って、メインマイク入力信号の後期残響推定信号を得てから周波数補償ユニットに出力するために用いられ、
周波数補償ユニットは、前記メインマイク入力信号の後期残響推定信号に対して周波数補償を行って、第一の時間／周波数変換ユニットに出力するために用いられ、そのうち、メインマイクと補助マイクとの間の距離が大きいほど、メインマイク入力信号の後期残響推定信号に対して周波数補償を行う度合いが小さくなり、
第一の時間／周波数変換ユニットは、前記周波数補償されたメインマイク入力信号の後期残響推定信号に対して時間ドメインから周波数ドメインへの変換を行って、メインマイク入力信号の後期残響スペクトルを得てから利得函数算出ユニットに出力するために用いられ、
第二の時間／周波数変換ユニットは、前記メインマイク入力信号を受信し、時間ドメインから周波数ドメインへの変換を行って、メインマイク入力信号の周波数スペクトルを得て利得函数算出ユニットに出力するために用いられ、
利得函数算出ユニットは、前記第二の時間／周波数変換ユニットから出力されたメインマイク入力信号の周波数スペクトル、残響強さ判断ユニットから出力された利得函数の調節因子β及び第一の時間/周波数変換ユニットから出力されたメインマイク入力信号の後期残響スペクトルによって、利得函数を算出して、残響除去ユニットに出力するために用いられ、
残響除去ユニットは、前記メインマイク入力信号の周波数スペクトルに利得函数を乗算して、メインマイク入力信号の残響除去後の周波数スペクトルを得て、周波数／時間変換ユニットに出力し、
周波数／時間変換ユニットは、前記メインマイク入力信号の残響除去後の周波数スペクトルに対して周波数ドメインから時間ドメインへの変換を行って、メインマイク入力信号の残響除去後の時間ドメイン信号を得て、重畳加算ユニットに出力するために用いられ、
重畳加算ユニットは、前記メインマイク入力信号の残響除去後の時間ドメイン信号を、フレームごとに重畳加算してから、メインマイク入力信号の残響除去後の連続信号を出力するために用いられる、
ことを特徴とする請求項６に記載のデュアルマイクに基づく音声残響低減装置。

【請求項8】

前記残響強さ判断ユニットは、下記の式によって残響の強さを表すパラメータρを算出するために用いられ、

そのうち、ｈ（ｔ）が補助マイクからメインマイクまでの伝達関数、Ｔがｈ（ｔ）の時間軸においての指定された境界点であり、
そして、下記の式によって利得函数の調節因子βを算出するために用いられ、

そのうち、ρ_１とρ_２が設定値である、
ことを特徴とする請求項７に記載のデュアルマイクに基づく音声残響低減装置。

【請求項9】

前記利得函数算出ユニットは、下記の式によって利得函数Ｇ（ｌ，ｋ）を算出するために用いられ、

そのうち、ｌがフレーム番号、ｋが周波数ポイント番号、βが利得函数の調節因子、

がメインマイク入力信号の後期残響周波数スペクトル、Ｘ_２がメインマイク入力信号の周波数スペクトルである、
ことを特徴とする請求項７に記載のデュアルマイクに基づく音声残響低減装置。

【請求項10】

前記伝達関数テーリング算出ユニットは、前記伝達関数ｈ（ｔ）の時間軸において早期残響と後期残響との境界点を取って、伝達関数ｈ（ｔ）の該境界点の前の値を０にセットして、伝達関数ｈ（ｔ）のテーリング部分ｈ_ｒ（ｔ）を得るために用いられることを特徴とする請求項７に記載のデュアルマイクに基づく音声残響低減装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、音声強調技術分野に関し、特に、デュアルマイクに基づく音声残響低減方法及びその装置に関する。

【背景技術】

【0002】

音響信号が室内での伝播過程中、壁、地面等のハードインターフェイスの音響に対する反射のため、マイクロフォンに到達した音響は、音源から直接に伝わってきた直接音に加えて、一回又は複数回の反射を経て伝わってきた音響信号も含まれており、これらの非直接音が残響信号を構成している。一回又は少ない回数の反射を経た音響信号が早期反射信号と称され、早期反射信号が早期残響信号を構成しており、早期残響信号が音声に対して強調作用を果たすことがある。複数回の反射を経た音響信号が後期反射信号と称され、後期反射信号が後期残響信号を構成しており、後期残響が強いと音声の明瞭度を低減することになる。

【0003】

一部のハンズフリー音声通信において、通話者がマイクロフォンから遠く離れており、音声の明瞭度が部屋の残響によって低下してしまい、通話品質が低下することになる。そのため、残響を低減し音声の明瞭度を高める技術が必要とされる。マイクロフォン受信信号は、直接音信号と残響信号とを含み、また、前述から分かるように、残響は、早期残響と後期残響に更に分かれている。そのうち、音声の明瞭度を低減するのは、主に後期残響であり、早期残響は、通常、音声に対して強調作用を果たす。従って、明瞭度を高める肝心な点は、後期残響信号を低減することである。

【0004】

種々の残響低減技術において、デュアルマイクに基づくスペクトル減算の残響除去方法が広く注目されている。従来の、デュアルマイクに基づくスペクトル減算の残響除去方法において、適応ビーム形成（ＧＳＣ）構造は二つの通路の信号が得られ、第一通路の信号が遅延／加算ビームフォーマの出力であり、第二通路の信号がブロッキング行列の出力である。二つの通路の信号のエネルギーエンベロープは、適応フィルタによって第一通路信号の残響を推定してから、スペクトル減算法によって残響を除去する。この方法には、以下の欠点がある。
１）早期残響が除去されて、処理後の音響が薄くなる。
２）残響の強さに対して判断せず、異なる残響の場合においても同じスペクトル減算処理を用いることで、残響が弱く、音声の明瞭度がそもそも高い場合に音声品質を損傷する可能性がある。
３）直接音の到来方向を正確に推定して、直接音を分離する必要があるので、マイクロフォンに高い一致性が要求され、音響設計に対しても厳しい制限がある。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明は、上記問題に鑑みて、上記問題が解消されるか又は少なくとも部分的に解消されるデュアルマイクに基づく音声残響低減方法及びその装置を提供する。

【課題を解決するための手段】

【0006】

本発明の一つの局面によると、メインマイク入力信号及び補助マイク入力信号を受信し、フレームごとにメインマイク入力信号及び補助マイク入力信号によって補助マイクからメインマイクまでの伝達関数ｈ（ｔ）を算出する処理と、
前記伝達関数ｈ（ｔ）のテーリング部分ｈ_ｒ（ｔ）を取得するとともに、該伝達関数ｈ（ｔ）によって残響の強さを判断して、利得函数の調節因子βを算出する処理と、
前記補助マイク入力信号を用いてｈ_ｒ（ｔ）に畳み込みを行ってメインマイク入力信号の後期残響推定信号を得る処理と、
前記メインマイク入力信号の後期残響推定信号に対して時間ドメインから周波数ドメインへの変換を行って、メインマイク入力信号の後期残響スペクトルを得て、メインマイク入力信号に対して時間ドメインから周波数ドメインへの変換を行ってメインマイク入力信号の周波数スペクトルを得る処理と、
前記メインマイク入力信号の周波数スペクトル、前記利得函数の調節因子β及びメインマイク入力信号の後期残響スペクトルによって、利得函数を算出する処理と、
前記メインマイク入力信号の周波数スペクトルに利得函数を乗算して、メインマイク入力信号の残響除去後の周波数スペクトルを得る処理と、
前記メインマイク入力信号の残響除去後の周波数スペクトルに対して周波数ドメインから時間ドメインへの変換を行って、メインマイク入力信号の残響除去後の時間ドメイン信号を得る処理と、
前記メインマイク入力信号の残響除去後の時間ドメイン信号を、フレームごとに重畳加算してから、メインマイク入力信号の残響除去後の連続信号を出力する処理とを行う、
デュアルマイクに基づく音声残響低減方法が提供される。

【0007】

本発明のもう一つの局面によると、メインマイク及び補助マイクに受信された信号に対してフレームごとに処理を行い、残響スペクトル推定ユニットとスペクトル減算ユニットとを含み、
前記残響スペクトル推定ユニットは、メインマイク入力信号及び補助マイク入力信号を受信し、前記メインマイク入力信号及び補助マイク入力信号によって、前記補助マイクからメインマイクまでの伝達関数ｈ（ｔ）を算出して、該伝達関数ｈ（ｔ）のテーリング部分ｈ_ｒ（ｔ）を取得するとともに、前記伝達関数ｈ（ｔ）によって残響の強さを判断し、利得函数の調節因子βを算出してスペクトル減算ユニットに出力し、補助マイク入力信号を用いてｈ_ｒ（ｔ）に畳み込みを行ってメインマイク入力信号の後期残響推定信号を得て、メインマイク入力信号の後期残響推定信号に対して時間ドメインから周波数ドメインへの変換を行ってメインマイク入力信号の後期残響スペクトルを得てからスペクトル減算ユニットに出力するために用いられ、
前記スペクトル減算ユニットは、メインマイク入力信号、前記残響スペクトル推定ユニットから出力された利得函数の調節因子β及びメインマイク入力信号の後期残響スペクトルを受信し、メインマイク入力信号に対して時間ドメインから周波数ドメインへの変換を行ってメインマイク入力信号の周波数スペクトルを得て、前記メインマイク入力信号の周波数スペクトル、利得函数の調節因子β及びメインマイク入力信号の後期残響スペクトルによって利得函数を算出し、前記メインマイク入力信号の周波数スペクトルに利得函数を乗算してメインマイク入力信号の残響除去後の周波数スペクトルを得て、前記メインマイク入力信号の残響除去後の周波数スペクトルに対して周波数ドメインから時間ドメインへの変換を行ってメインマイク入力信号の残響除去後の時間ドメイン信号を得て、前記メインマイク入力信号の残響除去後の時間ドメイン信号を、フレームごとに重畳加算してから、メインマイク入力信号の残響除去後の連続信号を出力するために用いられる、デュアルマイクに基づく音声残響低減装置が提供される。

【発明の効果】

【0008】

上記から分かるように、本発明は、メインマイク入力信号及び補助マイク入力信号によって補助マイクからメインマイクまでの伝達関数ｈ（ｔ）を算出し、伝達関数ｈ（ｔ）のテーリング部分ｈ_ｒ（ｔ）を取って、伝達関数ｈ（ｔ）によって残響の強さを判断して、利得函数の調節因子βを算出し、そして、補助マイク入力信号を用いてｈ_ｒ（ｔ）に畳み込みを行ってメインマイク入力信号の後期残響推定信号を得て、メインマイク入力信号の周波数スペクトル、利得函数の調節因子β及びメインマイク入力信号の後期残響スペクトルによって利得函数を算出し、メインマイク入力信号の周波数スペクトルに利得函数を乗算してメインマイク入力信号の残響除去後の周波数スペクトルを得て、即ち、スペクトル減算法によってメインマイク入力信号の周波数スペクトルからメインマイク入力信号の後期残響推定スペクトルを差し引くため、メインマイクの入力信号からその後期残響を効果的に除去するとともに早期残響を保留することができ、処理後の音響が薄くなることがなく、音声の品質が向上する。同時に、後期残響を推定するプロセスに、残響の強さによってスペクトル減算の強度を調節し、残響が弱い時にスペクトル減算を少なくするか又はしないようにして、残響が弱く、音声の明瞭度がそもそも高い場合に音声を損傷しないことが保証され、音声品質が保護される。そして、このような手段において、直接音の到来方向を正確に推定する必要がないため、マイクロフォンが高い一致性を持つことが要求されることなく、音響設計に対しても厳しい制限がない。

【図面の簡単な説明】

【0009】

【図1】本発明の実施例に挙げられた励磁信号からマイクロフォン入力信号までの伝達関数のグラフである。

【図2】本発明の実施例に挙げられた補助マイクからメインマイクまでの伝達関数のグラフである。

【図3】本発明の一つの実施例におけるデュアルマイクに基づく音声残響低減方法の流れの模式図である。

【図4】本発明のその他の実施例におけるデュアルマイクに基づく音声残響低減方法の全体的な流れの模式図である。

【図5A】本発明の実施例における音源からメインマイクまでの距離が０．５ｍである時の補助マイクからメインマイクまでの伝達関数のグラフである。

【図5B】本発明の実施例における音源からメインマイクまでの距離が１ｍである時の補助マイクからメインマイクまでの伝達関数のグラフである。

【図5C】本発明の実施例における音源からメインマイクまでの距離が２ｍである時の補助マイクからメインマイクまでの伝達関数のグラフである。

【図5D】本発明の実施例における音源からメインマイクまでの距離が４ｍである時の補助マイクからメインマイクまでの伝達関数のグラフである。

【図6A】本発明の実施例におけるメインマイクと補助マイクとの間の間隔が６ｃｍである時の周波数補償フィルタの振幅周波数特性のグラフである。

【図6B】本発明の実施例におけるメインマイクと補助マイクとの間の間隔が１８ｃｍである時の周波数補償フィルタの振幅周波数特性のグラフである。

【図7A】本発明の実施例におけるメインマイク入力信号の時間ドメインの図である。

【図7B】本発明の実施例におけるメインマイクに対して残響除去後の時間ドメインの図である。

【図7C】本発明の実施例におけるメインマイク入力信号の音声スペクトログラムである。

【図7D】本発明の実施例におけるメインマイクに対して残響除去後の音声スペクトログラムである。

【図8】本発明の実施例におけるデュアルマイクに基づく音声残響低減装置の全体構成図である。

【図9】本発明の一つの好ましい実施例におけるデュアルマイクに基づく音声残響低減装置の詳細な構成及びその入出力模式図である。

【発明を実施するための形態】

【0010】

まず、初めに、本出願書類の記載において、出願書類の簡潔のために、「マイクロフォン」を「マイク」と略称することとする。
従来技術に対する分析により、より良く残響を低減するために、後期残響を除去すると同時に直接音と早期残響とを保護する必要があるので、正確で安定な後期残響推定及び残響強さ判断が必要とされる。

【0011】

本発明は、デュアルマイク（メインマイク及び補助マイク）に基づく残響除去の手段を提出しており、残響とデュアルマイク空間の伝達関数との間の近似関係を十分に利用しており、デュアルマイク空間の伝達関数によって後期残響を推定するとともに残響の強さを判断し、スペクトル減算モジュールに合わせて、種々の残響環境においても明瞭度が満たされると同時に、最適に近い音声品質が得られる。また、本発明における手段は、直接音を分離する必要もなく、到来方向の推定を行う必要もないため、マイクの一致性が要求されることなく、音響設計に対する要求が緩和される。

【0012】

本発明の基本的な原理は、下記の通りになる。デュアルマイクの間の伝達関数の尾部によって後期残響を推定するため、スペクトル減算において直接音と早期残響を良好に保留することができる。そして、後期残響を推定するプロセスに、更に、デュアルマイクの間の伝達関数の頭部と尾部とのエネルギー差によって部屋の残響度合いを推定し、スペクトル減算の強度を調節し、残響が弱い時にスペクトル減算を少なくするか又はしないようにして、音声品質を保護する。

【0013】

本発明の技術手段を明らかにするために、以下、本発明の技術原理について分析説明を行う。
早期残響信号は、音声に対して強調作用を果たすことができるが、後期残響は、音声の明瞭度を低減することになる。図１は、本発明の実施例に挙げられた励磁信号からマイク入力信号までの伝達関数のグラフである。図１を参照して、励磁信号からマイク入力信号までの伝達関数において、ピークが最大の箇所は、直接音に対応しており、通常、最大ピークから離れた或る点を、早期反射と後期反射との境界点として、最大ピークから境界点までの部分が早期残響に対応し、境界点以降の部分が後期残響に対応する。図１において、該境界点が５０ｍｓである。

【0014】

励磁信号をｓ（ｔ）、マイク入力信号をｘ（ｔ）、励磁信号からマイク入力信号までの伝達関数をｔｆ（ｔ）、直接音と早期残響に対応する部分の伝達関数をｔｆ_ｄ（ｔ）、後期残響に対応する部分の伝達関数をｔｆ_ｒ（ｔ）とそれぞれ記すと、マイク入力信号は、励磁信号と伝達関数との畳み込みｘ（ｔ）＝ｓ（ｔ）＊ｔｆ（ｔ）と表すことができ、マイク入力信号の直接音と早期残響成分は、ｘ_ｄ（ｔ）＝ｓ（ｔ）＊ｔｆ_ｄ（ｔ）と表すことができ、マイク入力信号の後期残響成分は、ｘ_ｒ（ｔ）＝ｓ（ｔ）＊ｔｆ_ｒ（ｔ）と表すことができる。従って、マイク入力信号はｘ（ｔ）＝ｓ（ｔ）＊ｔｆ（ｔ）＝ｓ（ｔ）＊（ｔｆ_ｄ（ｔ）＋ｔｆ_ｒ（ｔ））＝ｘ_ｄ（ｔ）＋ｘ_ｒ（ｔ）と表すこともできる。

【0015】

音声の明瞭度はＣ_５０で表してもよい。その数式は、下記の通りになる。

（１）
ｗ（ｔ）は、励磁信号からマイク入力信号までの伝達関数である。０〜５０ｍｓが直接音と早期残響部分に対応し、５０ｍｓ以降が後期残響部分に対応する。残響が強いほど、Ｃ_５０の値が小さくなる。残響除去前後のＣ_５０の向上が残響除去効果を反映し得るため、Ｃ_５０は、残響除去の客観的評価指標としてもよい。

【0016】

本発明において、デュアルマイク（メインマイク及び補助マイク）に基づく残響推定原理は、下記の通りになる。図２に示すように、メインマイクの入力信号をｘ_２（ｔ）、補助マイクの入力信号をｘ_１（ｔ）、補助マイクからメインマイクまでの伝達関数をｈ（ｔ）とそれぞれ記す。図２は、本発明の実施例に挙げられた補助マイクからメインマイクまでの伝達関数ｈ（ｔ）のグラフである。

【0017】

メインマイクの入力信号ｘ_２（ｔ）が、補助マイクの入力信号ｘ_１（ｔ）と伝達関数ｈ（ｔ）との畳み込みに等しい。

（２）
ｈ（ｔ）は、頭部と尾部との二つの部分に分けることができる。

（３）
そのうち、ｈ_ｄ（ｔ）がｈ（ｔ）の頭部を表し、ｈ_ｒ（ｔ）がｈ（ｔ）の尾部を表す。
ｈ（ｔ）のテーリング部分ｈ_ｒ（ｔ）は、信号の、空間における複数回の反射を反映しているため、ｈ（ｔ）のテーリング部分ｈ_ｒ（ｔ）と補助マイク入力信号ｘ_１（ｔ）との畳み込み信号

は、メインマイクの後期残響成分に近く、メインマイク後期残響成分の推定信号とされる。ｈ（ｔ）において一つの点を選び取ってｈ_ｄ（ｔ）とｈ_ｒ（ｔ）の境界点として、ｈ（ｔ）の境界点の前の値を０にセットして、ｈ_ｒ（ｔ）が得られる。境界点からｈ（ｔ）の最大ピークまでの距離範囲を３０ｍｓ〜８０ｍｓ（経験値）に設置することができる。経験により、境界点からｈ（ｔ）までの最大ピークが５０ｍｓ以上である場合、メインマイクの後期残響推定信号

には、直接音と早期反射成分がまったく残留せず、音声への損傷を低減し得るため、本発明の実施例において、境界点として５０ｍｓを取ることを例として説明を行う。

【0018】

本発明の目的、技術手段及び利点を更に明らかにするために、以下、図面を参照しながら、本発明の実施形態について更に詳しい説明を行う。
図３は、本発明の一つの実施例におけるデュアルマイクに基づく音声残響低減方法の流れの模式図である。図３に示すように、該方法は、主に、残響スペクトル推定部分とスペクトル減算部分とを含み、具体的には、フレームごとに下記の処理を行う。

【0019】

ステップ１．１ メインマイク入力信号ｘ_２（ｔ）及び補助マイク入力信号ｘ_１（ｔ）を受信し、メインマイク入力信号及び補助マイク入力信号によって、補助マイクからメインマイクまでの伝達関数ｈ（ｔ）を算出する。
ステップ１．２ 伝達関数ｈ（ｔ）のテーリング部分ｈ_ｒ（ｔ）を取得する。
ステップ１．３ そして、伝達関数ｈ（ｔ）によって残響の強さを判断して、利得函数の調節因子βを算出する。
ステップ１．４ 補助マイク入力信号を用いてｈ_ｒ（ｔ）に畳み込みを行って、メインマイク入力信号の後期残響推定信号

を得る。
ステップ１．５ メインマイク入力信号の後期残響推定信号

に対して時間ドメインから周波数ドメインへの変換を行って、メインマイク入力信号の後期残響スペクトル

を得る。

【0020】

ステップ２．１ メインマイク入力信号ｘ_２（ｔ）に対して時間ドメインから周波数ドメインへの変換を行って、メインマイク入力信号の周波数スペクトルＸ_２を得る。
ステップ２．２ メインマイク入力信号の周波数スペクトルＸ_２、利得函数の調節因子β及びメインマイク入力信号の後期残響スペクトル

によって、利得函数Ｇを算出する。
ステップ２．３ メインマイク入力信号の周波数スペクトルＸ_２に利得函数Ｇを乗算して、メインマイク入力信号の残響除去後の周波数スペクトルＤを得る。
ステップ２．４ メインマイク入力信号の残響除去後の周波数スペクトルＤに対して周波数ドメインから時間ドメインへの変換を行って、メインマイク入力信号の残響除去後の時間ドメイン信号ｄ（ｔ）を得る。
ステップ２．５ メインマイク入力信号の残響除去後の時間ドメイン信号を、フレームごとに重畳加算してから、メインマイク入力信号の残響低減後の連続信号ｘ_ｄ（ｔ）を出力する。

【0021】

図３に示す方法において、補助マイク入力信号を用いてｈ_ｒ（ｔ）に畳み込みを行うことによりメインマイク入力信号の後期残響推定信号を得てから、スペクトル減算法によってメインマイク入力信号の周波数スペクトルからメインマイク入力信号の後期残響推定スペクトルを差し引くため、メインマイクの入力信号からその後期残響を効果的に除去するとともに早期残響を保留することができ、音声の品質が向上する。また、図３に示す方法では、後期残響を推定するプロセスに、残響の強さによってスペクトル減算の強度を調節し、残響が弱い時にスペクトル減算を少なくするか又はしないようにして、残響が弱く、音声の明瞭度がそもそも高い場合に音声品質を損傷しないことが保証され、音声品質が保護される。そして、このような方法において、直接音の到来方向を正確に推定する必要がないため、マイクが高い一致性を持つことが要求されることなく、音響設計に対しても厳しい制限がない。

【0022】

本発明の一つの実施例において、図３に示す方法に加えて、メインマイク入力信号の後期残響推定信号とメインマイク入力信号の真実の後期残響成分とを比べ、後期残響推定信号の低周波数域部分での推定不足という問題を更に考慮して、異なるマイク間隔に応じて、ローパスフィルタを設けて、後期残響推定信号に対して対応する周波数補償を行う。具体的には、図４に示す実施例を参照する。

【0023】

図４は、本発明のその他の実施例におけるデュアルマイクに基づく音声残響低減方法の全体的な流れの模式図である。図４に示すように、システム全体の入力が補助マイク入力信号ｘ_１（ｔ）及びメインマイク入力信号ｘ_２（ｔ）であり、出力が残響低減後の信号ｘ_ｄ（ｔ）である。大きくいうと、残響スペクトル推定プロセスとスペクトル減算プロセスという二つの部分を含む。図４は、図３に示す方法の流れと比べると、後期残響推定信号に対して周波数補償を行うステップが追加される（図４において、後期残響推定信号に対して周波数補償を行うステップがステップ１．４５であり、時間ドメイン／周波数ドメイン変換ステップは図３と同じくステップ１．５と記す）。以下、図４を参照しながら該方法を詳しく説明する。

【0024】

１．残響スペクトル推定
入力：補助マイクの入力信号ｘ_１（ｔ）、メインマイクの入力信号ｘ_２（ｔ）。
出力：利得函数の調節因子β（スペクトル減算プロセスにおいての一つの入力とする）、メインマイク入力信号の後期残響スペクトル

（スペクトル減算プロセスにおいての一つの入力とする）。
残響スペクトル推定は、ステップ１．１、ステップ１．２、ステップ１．３、ステップ１．４、ステップ１．４５、ステップ１．５との六つのステップを含む。

【0025】

２．スペクトル減算
入力：メインマイク入力信号ｘ_２（ｔ）、利得函数の調節因子β（残響スペクトル推定プロセスにおいての出力）、メインマイク入力信号の後期残響スペクトル

（残響スペクトル推定プロセスにおいての出力）。
出力：メインマイク入力信号の残響低減後の信号ｘ_ｄ（ｔ）（システム全体の出力でもある）。
スペクトル減算プロセスは、ステップ２．１、ステップ２．２、ステップ２．３、ステップ２．４、ステップ２．５との五つのステップを含む。

【0026】

以下、残響スペクトル推定プロセス及びスペクトル減算プロセスにおける各ステップ及びそれらの間の関係を詳しく説明する。
１．残響スペクトル推定プロセス
ステップ１．１ 補助マイクからメインマイクまでの伝達関数ｈ（ｔ）を算出する。
ステップ１．１の入力：補助マイクの入力信号ｘ_１（ｔ）及びメインマイクの入力信号ｘ_２（ｔ）。
ステップ１．１の出力：補助マイクからメインマイクまでの伝達関数ｈ（ｔ）（ステップ１．２の入力とする）。

【0027】

本発明の一つの実施例において、補助マイク入力信号ｘ_１（ｔ）とメインマイク入力信号ｘ_２（ｔ）とのクロスパワースペクトルＰ_ｘ２ｘ１及び補助マイク入力信号ｘ_１（ｔ）のパワースペクトルＰ_ｘ１ｘ１を用いて伝達関数Ｈを算出する。

（４）
周波数ドメインの伝達関数Ｈに対して逆フーリエ変換を行って、時間ドメインの伝達関数ｈ（ｔ）を得る。
本発明のその他の実施例において、ｈ（ｔ）の計算は、例えば適応フィルタリングの方法等の異なる方法を用いてもよく、ここでは詳述しない。

【0028】

ステップ１．２ 伝達関数ｈ（ｔ）のテーリング部分ｈ_ｒ（ｔ）を求める。
ステップ１．２の入力：補助マイクからメインマイクまでの伝達関数ｈ（ｔ）（ステップ１．１の出力）。
ステップ１．２の出力：補助マイクからメインマイクまでの伝達関数のテーリング部分ｈ_ｒ（ｔ）（ステップ１．４の入力とする）。

【0029】

本発明の実施例において、伝達関数ｈ（ｔ）の時間軸において、早期残響と後期残響との境界点を取って、伝達関数ｈ（ｔ）における該境界点の前の値を０にセットして、伝達関数ｈ（ｔ）のテーリング部分ｈ_ｒ（ｔ）を得る。本発明の一つの好ましい実施例において、伝達関数ｈ（ｔ）において一つの点を選び取って、この点のｈ（ｔ）までの最大ピークの距離を５０ｍｓにして、ｈ（ｔ）における該点の前の値を０にセットして、テーリング部分ｈ_ｒ（ｔ）と記す。

【0030】

ステップ１．３ 補助マイクからメインマイクまでの伝達関数ｈ（ｔ）により残響の強さを判断し、利得函数の調節因子βを求める。
ステップ１．３の入力：補助マイクからメインマイクまでの伝達関数ｈ（ｔ）（ステップ１．１の出力）。
ステップ１．３の出力：利得函数の調節因子β（スペクトル減算プロセスにおいての一つの入力とする）。

【0031】

残響が弱い場合の残響除去による音声に対する損傷を減少するため、このステップ１．３において、残響の強さを判断することで利得函数の調節因子βを算出する。本発明の実施例において、補助マイクからメインマイクまでの伝達関数の頭部のエネルギーとテーリング部分のエネルギーとの比に対して、対数を取ってρと記す。

（５）
そのうち、ｈ（ｔ）が補助マイクからメインマイクまでの伝達関数であり、Ｔがｈ（ｔ）の時間軸においての指定された境界点である。該境界点Ｔは、必ずしも早期残響と後期残響との境界点ではないが、該境界点Ｔの前は、必ず直接音を含み、更に、早期残響の一部又は全部を含んでもよい。

【0032】

図５Ａは、本発明の実施例における音源からメインマイクまでの距離が０．５ｍである時の補助マイクからメインマイクまでの伝達関数のグラフである。音源からメインマイクまでの距離がＬ＝０．５ｍであると、Ｔの数値範囲が２０ｍｓ〜５０ｍｓであり、ここでＴが５０ｍｓ（即ち境界点Ｔがｈ（ｔ）の最大ピークから５０ｍｓ離れた時間点）を取る時、音声の明瞭度指標がＣ_５０＝１２．３ｄＢ、ρ＝９．４ｄＢである。

【0033】

図５Ｂは、本発明の実施例における音源からメインマイクまでの距離が１ｍである時の補助マイクからメインマイクまでの伝達関数のグラフである。音源からメインマイクまでの距離がＬ＝１ｍであると、Ｔの数値範囲が２０ｍｓ〜５０ｍｓであり、ここでＴが５０ｍｓ（即ち境界点Ｔがｈ（ｔ）の最大ピークから５０ｍｓ離れた時間点）を取る時、音声の明瞭度指標がＣ_５０＝８．１ｄＢ、ρ＝６．０ｄＢである。

【0034】

図５Ｃは、本発明の実施例における音源からメインマイクまでの距離が２ｍである時の補助マイクからメインマイクまでの伝達関数のグラフである。音源からメインマイクまでの距離がＬ＝２ｍであると、Ｔの数値範囲が２０ｍｓ〜５０ｍｓであり、ここでＴが５０ｍｓ（即ち境界点Ｔがｈ（ｔ）の最大ピークから５０ｍｓ離れた時間点）を取る時、音声の明瞭度指標がＣ_５０＝５．４ｄＢ、ρ＝３．７ｄＢである。

【0035】

図５Ｄは、本発明の実施例における音源からメインマイクまでの距離が４ｍである時の補助マイクからメインマイクまでの伝達関数のグラフである。音源からメインマイクまでの距離がＬ＝４ｍであると、Ｔの数値範囲が２０ｍｓ〜５０ｍｓであり、ここでＴが５０ｍｓ（即ち境界点Ｔがｈ（ｔ）の最大ピークから５０ｍｓ離れた時間点）を取る時、音声の明瞭度指標がＣ_５０＝４．５ｄＢ、ρ＝２．２ｄＢである。

【0036】

音源がマイクから遠ざかるほど、残響が強くなる。図５Ａ〜図５Ｄから分かるように、残響が強くなるにつれて、補助マイクからメインマイクまでの伝達関数の頭部のエネルギーが低くなり、テーリング部分のエネルギーが高くなり、二者の比について取る対数ρが残響の強さを反映することができる。残響が強くなるにつれて、ρの値がだんだん小さくなる。従って、ρの値によって残響の強さを判断するとともに、これによって利得函数の調節因子βを求める。

【0037】

前記調節因子βを算出するには複数の方式があり、式（６）は、本発明の実施例におけるβを算出する経験式である。

（６）
ρ_１及びρ_２が設定値を取り、経験値であり、本発明の実施例において、ρ_１が９ｄＢ、ρ_２が２ｄＢを取る（マイク間隔が６ｃｍである）。

【0038】

ステップ１．４ 補助マイクの入力信号ｘ_１（ｔ）と、補助マイクからメインマイクまでの伝達関数のテーリング部分ｈ_ｒ（ｔ）とに畳み込みを行って、メインマイク入力信号の後期残響推定信号

を得る。
ステップ１．４の入力：補助マイクの入力信号ｘ_１（ｔ）、補助マイクからメインマイクまでの伝達関数のテーリング部分ｈ_ｒ（ｔ）（ステップ１．２の出力）。
ステップ１．４の出力：メインマイク入力信号の後期残響推定信号

（ステップ１．４５の入力とする）。
具体的には、下記の式のようになる。

（７）

【0039】

ステップ１．４５ メインマイク入力信号の後期残響推定信号

に対して周波数補償を行い、補償後の信号

を得る。
ステップ１．４５の入力：メインマイク入力信号の後期残響推定信号

（ステップ１．４の出力）。
ステップ１．４５の出力：周波数補償が行われたメインマイク入力信号の後期残響推定信号

（ステップ１．５の入力とする）。

【0040】

メインマイク入力信号の後期残響推定信号

とメインマイク入力信号の真実の後期残響成分とを比べると、後期残響推定信号

は、低周波数域部分において推定不足である。そのため、本発明において、メインマイク入力信号の後期残響推定信号

に対して周波数補償を行う。メインマイクと補助マイクとの間の間隔は、後期残響推定信号

に影響を及ぼすため、本発明の実施例において、異なるマイク間隔に応じてローパスフィルタを設けて、後期残響推定信号に対して対応する周波数補償を行い、補償後の後期残響推定信号

を得る。

【0041】

図６Ａは、本発明の実施例におけるメインマイクと補助マイクとの間の間隔が６ｃｍである時の周波数補償フィルタの振幅周波数特性のグラフである。図６Ｂは、本発明の実施例におけるメインマイクと補助マイクとの間の間隔が１８ｃｍである時の周波数補償フィルタの振幅周波数特性のグラフである。ここから分かるように、本発明の実施例において、メインマイクと補助マイクとの間の距離が大きいほど、メインマイク入力信号の後期残響推定信号

の低周波数域部分に対して周波数補償を行う度合いが小さくなる。

【0042】

ステップ１．５ 周波数補償が行われたメインマイク入力信号の後期残響推定信号

を時間ドメインから周波数ドメインに変換して、メインマイク入力信号の後期残響スペクトル

を得る。
ステップ１．５の入力：周波数補償が行われたメインマイク入力信号の後期残響推定信号

（ステップ１．４５の出力）。
ステップ１．５の出力：メインマイク入力信号の後期残響スペクトル

（スペクトル減算プロセスにおいての一つの入力とする）。
周波数補償が行われたメインマイクの後期残響推定信号

を周波数ドメインに変換して、メインマイク入力信号の後期残響スペクトル

が得られる。

（８）

【0043】

２．スペクトル減算プロセス
ステップ２．１ メインマイクの入力信号ｘ_２（ｔ）を時間ドメインから周波数ドメインに変換して、Ｘ_２と記す。
ステップ２．１の入力：メインマイクの入力信号ｘ_２（ｔ）。
ステップ２．１の出力：メインマイク入力信号の周波数スペクトルＸ_２（ステップ２．２の入力とされる）。
具体的には、下記の式のようになる。

（９）

【0044】

ステップ２．２ メインマイク入力信号の周波数スペクトルＸ_２及び推定されたメインマイクの後期残響スペクトル

から利得函数Ｇを算出するとともに、調節因子βによって利得函数を調節する。
ステップ２．２の入力：メインマイク入力信号の周波数スペクトルＸ_２（ステップ２．１の出力）、メインマイクの後期残響スペクトル

（残響スペクトル推定プロセスにおいてのステップ１．５の出力）、利得函数の調節因子β（残響スペクトル推定プロセスにおいてのステップ１．３の出力）。
ステップ２．２の出力：利得函数Ｇ（ステップ２．３の一つの入力とする）。

【0045】

本発明の一つの実施例において、パワースペクトル減算法を用いて、下記の式によって利得函数Ｇ（ｌ，ｋ）を算出する。

（１０）
そのうち、ｌがフレーム番号、ｋが周波数ポイント番号、βが利得函数の調節因子、

がメインマイク入力信号の後期残響周波数スペクトル、Ｘ_２がメインマイク入力信号の周波数スペクトルである。

【0046】

式（１０）から分かるように、利得函数の調節因子βによって利得函数Ｇ（ｌ，ｋ）の大きさを調節することができる。こうして、残響が弱い時にスペクトル減算を少なくするか又はしないようにすることができ、残響が弱く、音声の明瞭度が高い場合に音声を損傷しないことが保証され、音声品質が保護される。

【0047】

ステップ２．３ メインマイク入力信号の振幅スペクトル｜Ｘ_２｜に利得函数Ｇを乗算して、メインマイク入力信号の位相と組合わせて、メインマイク入力信号の残響除去後の周波数スペクトルＤを得る。
ステップ２．３の入力：メインマイク入力信号の周波数スペクトルＸ_２（ステップ２．１の出力）、利得函数Ｇ（ステップ２．２の出力）。
ステップ２．３の出力：メインマイク入力信号の残響除去後の周波数スペクトルＤ（ステップ２．４の入力とする）。
具体的には、下記の式によって、メインマイク入力信号の残響除去後の周波数スペクトルＤ（ｌ，ｋ）を算出する。

（１１）
そのうち、ｌがフレーム番号、ｋが周波数ポイント番号、｜Ｘ_２（ｌ，ｋ）｜がメインマイク入力信号の振幅スペクトル、Ｇ（ｌ，ｋ）が利得函数、ｐｈａｓｅ（ｌ，ｋ）がメインマイク入力信号の位相である。

【0048】

ステップ２．４ メインマイク入力信号の残響除去後の周波数スペクトルＤを時間ドメインに変換して、ｄ（ｔ）と記す。
ステップ２．４の入力：メインマイク入力信号の残響除去後の周波数スペクトルＤ（ステップ２．３の出力）。
ステップ２．４の出力：メインマイク入力信号の残響除去後の時間ドメイン信号ｄ（ｔ）（ステップ２．５の入力とする）。

（１２）

【0049】

ステップ２．５ メインマイク入力信号の残響除去後の時間ドメイン信号を、フレームごとに重畳加算して、メインマイク入力信号の残響低減後の連続信号ｘ_ｄ（ｔ）を得る。
ステップ２．５の入力：メインマイク入力信号の残響除去後の時間ドメイン信号ｄ（ｔ）（ステップ２．４の出力）。
ステップ２．５の出力：メインマイク入力信号の残響低減後の連続信号ｘ_ｄ（ｔ）（システム全体の出力）。

【0050】

図７Ａは、本発明の実施例におけるメインマイク入力信号の時間ドメインの図である。図７Ｂは、本発明の実施例におけるメインマイクに対して残響除去後の時間ドメインの図である。図７Ｃは、本発明の実施例におけるメインマイク入力信号の音声スペクトログラムである。図７Ｄは、本発明の実施例におけるメインマイクに対して残響除去後の音声スペクトログラムである。

【0051】

図７Ａ〜７Ｄを参照して、本実施例において、メインマイク及び補助マイクは音源と正対面しており、音源からデュアルマイクまでの垂直距離が２ｍで、メインマイクと補助マイクとの間隔が１８ｃｍである時、メインマイク入力信号から残響除去する前のＣ_５０が６．８ｄＢであり、図４に示す方法を用いて残響除去した後のＣ_５０が１０．５ｄＢであり、ここから分かるように、本発明の方法を採用した後、Ｃ_５０が３．７ｄＢ向上した。

【0052】

図８は、本発明の実施例におけるデュアルマイクに基づく音声残響低減装置の全体構成図である。該装置は、メインマイク及び補助マイクに受信された信号に対してフレームごとに処理を行い、図８に示すように、残響スペクトル推定ユニット７００とスペクトル減算ユニット８００とを含む。

【0053】

前記残響スペクトル推定ユニット７００は、メインマイク入力信号及び補助マイク入力信号を受信し、メインマイク入力信号及び補助マイク入力信号によって、補助マイクからメインマイクまでの伝達関数ｈ（ｔ）を算出して、伝達関数ｈ（ｔ）のテーリング部分ｈ_ｒ（ｔ）を取得するとともに、伝達関数ｈ（ｔ）によって残響の強さを判断して、利得函数の調節因子βを算出してスペクトル減算ユニット８００に出力し、そして、補助マイク入力信号を用いてｈ_ｒ（ｔ）に畳み込みを行ってメインマイク入力信号の後期残響推定信号を得て、メインマイク入力信号の後期残響推定信号に対して時間ドメインから周波数ドメインへの変換を行ってメインマイク入力信号の後期残響スペクトルを得てからスペクトル減算ユニット８００に出力するために用いられる。

【0054】

前記スペクトル減算ユニット８００は、メインマイク入力信号、残響スペクトル推定ユニット７００から出力された利得函数の調節因子β及びメインマイク入力信号の後期残響スペクトルを受信し、メインマイク入力信号に対して時間ドメインから周波数ドメインへの変換を行ってメインマイク入力信号の周波数スペクトルを得て、メインマイク入力信号の周波数スペクトル、利得函数の調節因子β及びメインマイク入力信号の後期残響スペクトルによって利得函数を算出し、メインマイク入力信号の周波数スペクトルに利得函数を乗算してメインマイク入力信号の残響除去後の周波数スペクトルを得て、メインマイク入力信号の残響除去後の周波数スペクトルに対して周波数ドメインから時間ドメインへの変換を行って、メインマイク入力信号の残響除去後の時間ドメイン信号を得て、メインマイク入力信号の残響除去後の時間ドメイン信号を、フレームごとに重畳加算してから、メインマイク入力信号の残響低減後の連続信号を出力するために用いられる。

【0055】

本発明の一つの実施例において、残響スペクトル推定ユニット７００は、補助マイク入力信号を用いてｈ_ｒ（ｔ）に畳み込みを行って、メインマイク入力信号の後期残響推定信号を得てから、まずメインマイク入力信号の後期残響推定信号に対して周波数補償を行い、そして、周波数補償された信号に対して時間ドメインから周波数ドメインへの変換を行って、メインマイク入力信号の後期残響スペクトルを得てからスペクトル減算ユニット８００に出力する。

【0056】

図９は、本発明の一つの好ましい実施例におけるデュアルマイクに基づく音声残響低減装置の詳細な構成及びその入出力模式図である。図９を参照して、該デュアルマイクに基づく音声残響低減装置は、残響スペクトル推定ユニット９１とスペクトル減算ユニット９２とを含む。そのうち、残響スペクトル推定ユニット９１は、伝達関数算出ユニット９１１、伝達関数テーリング算出ユニット９１２、残響強さ判断ユニット９１３、後期残響推定ユニット９１４、周波数補償ユニット９１５及び第一の時間／周波数変換ユニット９１６を含む。スペクトル減算ユニット９２は、第二の時間／周波数変換ユニット９２１、利得函数算出ユニット９２２、残響除去ユニット９２３、周波数／時間変換ユニット９２４及び重畳加算ユニット９２５を含む。

【0057】

前記伝達関数算出ユニット９１１は、メインマイク入力信号及び補助マイク入力信号を受信し、メインマイク入力信号及び補助マイク入力信号によって、補助マイクからメインマイクまでの伝達関数ｈ（ｔ）を算出するとともに、伝達関数ｈ（ｔ）を伝達関数テーリング算出ユニット９１２及び残響強さ判断ユニット９１３に出力するために用いられる。

【0058】

前記伝達関数テーリング算出ユニット９１２は、伝達関数ｈ（ｔ）のテーリング部分ｈ_ｒ（ｔ）を求めて後期残響推定ユニット９１４に出力するために用いられる。伝達関数テーリング算出ユニット９１２は、具体的に、伝達関数ｈ（ｔ）の時間軸において早期残響と後期残響との境界点を取って、伝達関数ｈ（ｔ）の該境界点の前の値を０にセットして、伝達関数ｈ（ｔ）のテーリング部分ｈ_ｒ（ｔ）を得る。

【0059】

前記残響強さ判断ユニット９１３は、伝達関数ｈ（ｔ）によって残響の強さを判断するとともに、利得函数の調節因子βを算出して利得函数算出ユニット９２２に出力するために用いられる。具体的に、残響強さ判断ユニット９１３は、前記の式（５）によって残響の強さを表すパラメータρを算出する。即ち、

そのうち、ｈ（ｔ）が補助マイクからメインマイクまでの伝達関数、Ｔがｈ（ｔ）の時間軸においての指定された境界点である。
そして、残響強さ判断ユニット９１３は、前記の式（６）によって利得函数の調節因子βを算出する。即ち、

そのうち、ρ_１とρ_２が設定値を取る。例えば、ρ_１が９ｄＢ、ρ_２が２ｄＢを取る（マイクの間隔が６ｃｍである）。

【0060】

後期残響推定ユニット９１４は、補助マイク入力信号を受信し、補助マイク入力信号を用いてｈ_ｒ（ｔ）に畳み込みを行って、メインマイク入力信号の後期残響推定信号を得てから周波数補償ユニット９１５に出力するために用いられる。

【0061】

周波数補償ユニット９１５は、メインマイク入力信号の後期残響推定信号に対して周波数補償を行い、周波数補償が行われた信号を第一の時間／周波数変換ユニット９１６に出力するために用いられる。メインマイクと補助マイクとの間の距離が大きいほど、周波数補償ユニット９１５がメインマイク入力信号の後期残響推定信号に対して周波数補償を行う度合いが小さくなる。

【0062】

第一の時間／周波数変換ユニット９１６は、周波数補償が行われたメインマイク入力信号の後期残響推定信号に対して時間ドメインから周波数ドメインへの変換を行って、メインマイク入力信号の後期残響スペクトルを得てから利得函数算出ユニット９２２に出力するために用いられる。

【0063】

第二の時間／周波数変換ユニット９２１は、メインマイク入力信号を受信し、時間ドメインから周波数ドメインへの変換を行って、メインマイク入力信号の周波数スペクトルを得てから利得函数算出ユニット９２２及び残響除去ユニット９２３に出力するために用いられる。

【0064】

利得函数算出ユニット９２２は、第二の時間／周波数変換ユニット９２１から出力されたメインマイク入力信号の周波数スペクトル、残響強さ判断ユニット９１３から出力された利得函数の調節因子β及び第一の時間／周波数変換ユニット９１６から出力されたメインマイク入力信号の後期残響スペクトルによって、利得函数を算出してから残響除去ユニット９２３に出力するために用いられる。利得函数算出ユニット９２２は、前記の式（１０）によって利得函数Ｇ（ｌ，ｋ）を算出し得る。即ち、

そのうち、ｌがフレーム番号、ｋが周波数ポイント番号、βが利得函数の調節因子、

がメインマイク入力信号の後期残響周波数スペクトル、Ｘ_２がメインマイク入力信号の周波数スペクトルである。

【0065】

残響除去ユニット９２３は、メインマイク入力信号の周波数スペクトルに利得函数を乗算して、メインマイク入力信号の残響除去後の周波数スペクトルを得てから、周波数／時間変換ユニット９２４に出力する。本実施例において、残響除去ユニット９２３は、前記の式（１１）によって、メインマイク入力信号の残響除去後の周波数スペクトルＤ（ｌ，ｋ）を算出する。即ち、

そのうち、ｌがフレーム番号、ｋが周波数ポイント番号、｜Ｘ_２（ｌ，ｋ）｜がメインマイク入力信号の振幅、Ｇ（ｌ，ｋ）が利得函数、ｐｈａｓｅ（ｌ，ｋ）がメインマイク入力信号の位相である。

【0066】

周波数／時間変換ユニット９２４は、メインマイク入力信号の残響除去後の周波数スペクトルに対して周波数ドメインから時間ドメインへの変換を行って、メインマイク入力信号の残響除去後の時間ドメイン信号を得てから重畳加算ユニット９２５に出力するために用いられる。

【0067】

重畳加算ユニット９２５は、周波数／時間変換ユニット９２４から出力された時間ドメイン信号に対してフレームごとに重畳加算して、メインマイク入力信号の残響除去後の連続信号を得るために用いられる。

【0068】

以上をまとめて、本発明の実施例のようなデュアルマイクに基づく音声残響低減装置は、メインマイク及び補助マイクに受信された信号に対して、フレームごとに処理を行う。該装置における残響スペクトル推定ユニット７００は、メインマイクの入力信号ｘ_２（ｔ）及び補助マイク入力信号ｘ_１（ｔ）を受信し、ｘ_２（ｔ）及びｘ_１（ｔ）によって補助マイクからメインマイクまでの伝達関数ｈ（ｔ）を算出して、ｈ（ｔ）のテーリング部分ｈ_ｒ（ｔ）を取得するとともに、ｈ（ｔ）によって残響の強さを判断して、利得函数の調節因子βを算出して該装置におけるスペクトル減算ユニット８００に出力する。このとき、ｘ_１（ｔ）を用いてｈ_ｒ（ｔ）に畳み込みを行って、ｘ_２（ｔ）の後期残響推定信号

を得て、

に対して時間ドメインから周波数ドメインへの変換を行って、ｘ_２（ｔ）の後期残響スペクトル

を得てから該装置におけるスペクトル減算ユニット８００に出力するために用いられる。該装置におけるスペクトル減算ユニット８００は、ｘ_２（ｔ）に対して時間ドメインから周波数ドメインへの変換を行って、ｘ_２（ｔ）の周波数スペクトルを得て、ｘ_２（ｔ）の周波数スペクトル、前記β及び

によって利得函数を算出し、ｘ_２（ｔ）の周波数スペクトルに利得函数を乗算して、ｘ_２（ｔ）の残響除去後の周波数スペクトルを得て、周波数ドメインから時間ドメインへの変換を行って、ｘ_２（ｔ）の残響除去後の時間ドメイン信号を得るために用いられる。

【0069】

本発明のような装置において、補助マイク入力信号ｘ_１（ｔ）とｈ_ｒ（ｔ）に畳み込みを行うことによりメインマイク入力信号ｘ_２（ｔ）の後期残響推定信号

を得てから、スペクトル減算法によって、メインマイク入力信号ｘ_２（ｔ）の周波数スペクトルからメインマイク入力信号の後期残響推定スペクトル

を差し引くため、メインマイクの入力信号ｘ_２（ｔ）からその後期残響を効果的に除去するとともに早期残響を保留することができ、音声の品質が向上する。同時に、本発明の後期残響を推定するプロセスに、残響の強さによってスペクトル減算の強度を調節し、残響が弱い時にスペクトル減算を少なくするか又はしないようにして、残響が弱く、音声の明瞭度が高い場合に音声を損傷しないことが保証され、音声品質が保護される。そして、このような装置において、直接音の到来方向を正確に推定する必要がないため、マイクが高い一致性を持つことが要求されることなく、音響設計に対しても厳しい制限がない。

【0070】

ここから分かるように、本発明の技術手段は、残響を除去すると同時に音声を有効に保護し、部屋の残響の強さの度合いを自動的に推定し、種々の環境においても適切な処理を選択して、最適に近い音声品質に達する。そして、マイクの一致性及び音響設計に対して厳しい制限がなく、応用がより柔軟で便利である。

【0071】

上述したのは、あくまでも本発明の好ましい実施例であり、本発明の保護範囲を限定するためのものではない。本発明の精神及び原則内になされたあらゆる変更、均等置換、改良等は、いずれも本発明の保護範囲内に含まれるものとする。

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図5C】

【図5D】

【図6A】

【図6B】

【図7A】

【図7B】

【図7C】

【図7D】

【図8】

【図9】