特開 2024-82932 音響処理装置、音響処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024082932

(43)【公開日】2024-06-20

(54)【発明の名称】音響処理装置、音響処理方法およびプログラム

(51)【国際特許分類】

   H04R 3/00 20060101AFI20240613BHJP

   G10L 21/0272 20130101ALN20240613BHJP

   H04R 1/40 20060101ALN20240613BHJP

【ＦＩ】

H04R3/00 320

G10L21/0272 100A

H04R1/40 320A

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022197160

(22)【出願日】2022-12-09

(71)【出願人】

【識別番号】000005326

【氏名又は名称】本田技研工業株式会社

(71)【出願人】

【識別番号】304021417

【氏名又は名称】国立大学法人東京工業大学

(74)【代理人】

【識別番号】100165179

【弁理士】

【氏名又は名称】田▲崎▼ 聡

(74)【代理人】

【識別番号】100126664

【弁理士】

【氏名又は名称】鈴木 慎吾

(74)【代理人】

【識別番号】100154852

【弁理士】

【氏名又は名称】酒井 太一

(74)【代理人】

【識別番号】100194087

【弁理士】

【氏名又は名称】渡辺 伸一

(72)【発明者】

【氏名】糸山 克寿

(72)【発明者】

【氏名】中臺 一博

(72)【発明者】

【氏名】藤田 侑樹

【テーマコード（参考）】

5D018

5D220

【Ｆターム（参考）】

5D018BB21

5D220BA06

5D220BB04

5D220BC05

(57)【要約】

【課題】現実の音響環境において安定的に音響伝達関数を推定する。
【解決手段】音源方向推定部は各フレームについて、チャネルごとの音響信号の周波数領域における変換係数と第１音響伝達関数に基づいて音源方向ごとに空間スペクトルを算出し、空間スペクトルが最大となる音源方向を推定音源方向として推定し、代表推定音源方向決定部は複数フレームからなる観測期間における推定音源方向の頻度分布に基づいて推定音源方向の代表値である代表推定音源方向を定め、外れ値除去部は推定音源方向が代表推定音源方向から予め定めた許容範囲の範囲外となるフレームの変換係数を除去し、音響伝達関数推定部は残されたフレームの音響信号の変換係数に基づいて、観測期間における音源から音響信号の収音部までの音響伝達関数の代表値を第２音響伝達関数として推定し、代表推定音源方向に対する第１音響伝達関数を、第２音響伝達関数を用いて更新する。
【選択図】図１

【特許請求の範囲】

【請求項1】

第１音響伝達関数を音源方向ごとに記憶する記憶部と、
各フレームについて、チャネルごとの音響信号の周波数領域における変換係数と前記第１音響伝達関数に基づいて音源方向ごとに空間スペクトルを算出し、
前記空間スペクトルが最大となる音源方向を推定音源方向として推定する音源方向推定部と、
複数フレームからなる観測期間における前記推定音源方向の頻度分布に基づいて前記推定音源方向の代表値である代表推定音源方向を定める代表推定音源方向決定部と、
前記推定音源方向が前記代表推定音源方向から予め定めた許容範囲の範囲外となるフレームの変換係数を除去する外れ値除去部と、
残されたフレームの前記音響信号の変換係数に基づいて、前記観測期間における音源から前記音響信号の収音部までの音響伝達関数の代表値を第２音響伝達関数として推定する音響伝達関数推定部と、
前記代表推定音源方向に対する第１音響伝達関数を、前記第２音響伝達関数を用いて更新する音響伝達関数更新部と、
を備える音響処理装置。

【請求項2】

前記音源方向推定部は、頻度が極大となる前記推定音源方向を前記代表推定音源方向として定める
請求項１に記載の音響処理装置。

【請求項3】

前記音響伝達関数更新部は、前記第１音響伝達関数と前記第２音響伝達関数の加重平均値を新たな第１音響伝達関数に更新する
請求項１に記載の音響処理装置。

【請求項4】

前記音響伝達関数更新部は、前記観測期間における前記推定音源方向が前記許容範囲の範囲内となる頻度に基づいて前記代表推定音源方向の信頼度を定め、
前記信頼度が高いほど前記第１音響伝達関数に対する前記第２音響伝達関数の比率を高くする
請求項３に記載の音響処理装置。

【請求項5】

前記許容範囲が前記代表推定音源方向と等しく、前記代表推定音源方向とは異なる方向を含まない
請求項１に記載の音響処理装置。

【請求項6】

前記音源方向推定部は、
チャネルごとの前記変換係数を含む入力ベクトルに、チャネルごとの前記第１音響伝達関数を含む音響伝達関数ベクトルの疑似逆行列を乗算して前記空間スペクトルを算出する
請求項１に記載の音響処理装置。

【請求項7】

コンピュータに請求項１に記載の音響処理装置として機能させるためのプログラム。

【請求項8】

第１音響伝達関数を音源方向ごとに記憶する記憶部を備える音響処理装置における音響処理方法であって、
前記音響処理装置が、
各フレームについて、チャネルごとの音響信号の周波数領域における変換係数と前記第１音響伝達関数に基づいて音源方向ごとに空間スペクトルを算出し、
前記空間スペクトルが最大となる音源方向を推定音源方向として推定する音源方向推定ステップと、
複数フレームからなる観測期間における前記推定音源方向の頻度分布に基づいて前記推定音源方向の代表値である代表推定音源方向を定める代表音源方向決定ステップと、
前記推定音源方向が前記代表推定音源方向から所定の許容範囲の範囲外となるフレームの変換係数を除去する外れ値除去ステップと、
残されたフレームの前記音響信号の変換係数に基づいて、前記観測期間における音源から前記音響信号の収音部までの音響伝達関数の代表値を第２音響伝達関数として推定する音響伝達関数推定ステップと、
前記代表推定音源方向に対する第１音響伝達関数を、前記第２音響伝達関数を用いて更新する音響伝達関数更新ステップと、
を実行する音響処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、音響処理装置、音響処理方法およびプログラムに関する。

【背景技術】

【0002】

マイクロホンアレイ処理は、音響信号処理の要素技術である。マイクロホンアレイ処理は、マイクロホンアレイを用いて収音された複数チャネルの音響信号を用いた音響処理であり、例えば、音源定位（sound source localization）、音源分離（sound source separation）などが掲げられる。音源定位は、複数チャネルの音響信号から音源方向を推定する手法である。音源分離は、複数チャネルの音響信号から個々の音源から到来する成分を抽出する手法である。音源定位ならびに音源分離は、騒音下で発話がなされる場合、複数音源が存在する場合など、個々の音を識別する際に有用である。音源定位や音源分離は、ロボット聴覚（robot audition）をはじめ、スマートスピーカ、通信会議システム、議事録作成など、種々の用途に応用されている。

【0003】

マイクロホンアレイ処理では、音源から受音点への音の伝達特性を示す音響伝達関数が用いられる。音源伝達関数は、例えば、自由音場を仮定して数理モデルを用いて幾何的に計算されることや、予め実験室において多方向に設置された音源を用いて測定されることがある。しかしながら、かかる音響伝達関数は、マイクロホンアレイ処理が現実に使用される音響環境（本願では、「使用環境」と呼ぶことがある）で測定されるものとは異なる。そのため、音源定位または音源分離の性能が低下する原因となりうる。音源定位または音源分離の性能を確保するため使用環境において予め音響伝達関数を測定しておくことも考えられる。音響環境の変化に伴い音響伝達関数も測定時から変化するが、音響伝達関数の再測定には多くの時間と労力を要する。そのため、使用環境下での再測定は現実的ではない。

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】中臺 一博、瀧ケ平 雅行、河合 熊輔、中島 弘史「伝達関数の常時オンライン適応による音源定位・分離の向上」人工知能学会第二種研究会資料 ＡＩチャレンジ研究会 SIG-Challenge-058-07、＜https://doi.org/10.11517/jsaisigtwo.2021.Challenge-058_07＞、2021年12月16日公開

【発明の概要】

【発明が解決しようとする課題】

【0005】

非特許文献１では、マイクロホンアレイで取得された音響信号を用いて音響伝達関数を推定し、逐次に更新する手法について記載されている。この手法によれば、再計測に係る機器の設営を伴わず、任意の音源を用いてオンラインで音響伝達関数を取得することができる。しかしながら、使用環境で取得される音響信号は、音響伝達関数を取得するうえで必ずしも好適とは限らない。例えば、音響信号には、顕著なノイズが一時的に混入されることがある。そのため、音響伝達関数が安定的に推定できないことがあった。

【0006】

本実施形態は上記の点に鑑みてなされたものであり、使用環境において安定的に音響伝達関数を推定することができる音響処理装置、音響処理方法およびプログラムを提供することを課題とする。

【課題を解決するための手段】

【0007】

（１）本願は上記の課題を解決するためになされたものであり、本実施形態の一態様は、第１音響伝達関数を音源方向ごとに記憶する記憶部と、各フレームについて、チャネルごとの音響信号の周波数領域における変換係数と前記第１音響伝達関数に基づいて音源方向ごとに空間スペクトルを算出し、前記空間スペクトルが最大となる音源方向を推定音源方向として推定する音源方向推定部と、複数フレームからなる観測期間における前記推定音源方向の頻度分布に基づいて前記推定音源方向の代表値である代表推定音源方向を定める代表推定音源方向決定部と、前記推定音源方向が前記代表推定音源方向から予め定めた許容範囲の範囲外となるフレームの変換係数を除去する外れ値除去部と、残されたフレームの前記音響信号の変換係数に基づいて、前記観測期間における音源から前記音響信号の収音部までの音響伝達関数の代表値を第２音響伝達関数として推定する音響伝達関数推定部と、前記代表推定音源方向に対する第１音響伝達関数を、前記第２音響伝達関数を用いて更新する音響伝達関数更新部と、を備える音響処理装置である。

【0008】

（２）本実施形態の他の態様は、（１）の音響処理装置であって、前記音源方向推定部は、頻度が極大となる前記推定音源方向を前記代表推定音源方向として定めてもよい。

【0009】

（３）本実施形態の他の態様は、（１）の音響処理装置であって、前記音響伝達関数更新部は、前記第１音響伝達関数と前記第２音響伝達関数の加重平均値を新たな第１音響伝達関数に更新してもよい。

【0010】

（４）本実施形態の他の態様は、（１）の音響処理装置であって、前記音響伝達関数更新部は、前記観測期間における前記推定音源方向が前記許容範囲の範囲内となる頻度に基づいて前記代表推定音源方向の信頼度を定め、前記信頼度が高いほど前記第１音響伝達関数に対する前記第２音響伝達関数の比率を高くしてもよい。

【0011】

（５）本実施形態の他の態様は、（１）の音響処理装置であって、前記許容範囲が前記代表推定音源方向と等しく、前記代表推定音源方向とは異なる方向を含まなくてもよい。

【0012】

（６）本実施形態の他の態様は、（１）の音響処理装置であって、前記音源方向推定部は、チャネルごとの前記変換係数を含む入力ベクトルに、チャネルごとの前記第１音響伝達関数を含む音響伝達関数ベクトルの疑似逆行列を乗算して前記空間スペクトルを算出してもよい。

【0013】

（７）本実施形態の他の態様は、コンピュータに（１）の音響処理装置として機能させるためのプログラムであってもよい。

【0014】

（８）本実施形態の他の態様は、第１音響伝達関数を音源方向ごとに記憶する記憶部を備える音響処理装置における音響処理方法であって、前記音響処理装置が、各フレームについて、チャネルごとの音響信号の周波数領域における変換係数と前記第１音響伝達関数に基づいて音源方向ごとに空間スペクトルを算出し、前記空間スペクトルが最大となる音源方向を推定音源方向として推定する音源方向推定ステップと、複数フレームからなる観測期間における前記推定音源方向の頻度分布に基づいて前記推定音源方向の代表値である代表推定音源方向を定める代表音源方向決定ステップと、前記推定音源方向が前記代表推定音源方向から所定の許容範囲の範囲外となるフレームの変換係数を除去する外れ値除去ステップと、残されたフレームの前記音響信号の変換係数に基づいて、前記観測期間における音源から前記音響信号の収音部までの音響伝達関数の代表値を第２音響伝達関数として推定する音響伝達関数推定ステップと、前記代表推定音源方向に対する第１音響伝達関数を、前記第２音響伝達関数を用いて更新する音響伝達関数更新ステップと、を実行する音響処理方法である。

【発明の効果】

【0015】

本実施形態によれば、現実の音響環境において安定的に音響伝達関数を推定することができる。
上述した（１）、（７）、（８）の構成によれば、代表推定音源方向から所定の範囲内の推定音源方向を与える音響信号の変換係数に基づいて第２音響伝達関数が算出され、算出された第２音響伝達関数を用いて代表推定音源方向と対応付けて第１音響伝達関数を更新することができる。統計的に代表推定音源方向、または、これに近似する推定音源方向を与える音響信号に基づいて得られる音響伝達関数の代表値が第２音響伝達関数として代表推定音源方向と対応付けて更新されるので、音源方向との対応関係が安定した第１音響伝達関数が得られる。

【0016】

上述した（２）の構成によれば、観測期間内での頻度が極大となる推定音源方向が代表推定音源方向として定まるため、可能性が最も高い推定音源方向が代表推定音源方向として簡素に定まる。

【0017】

上述した（３）の構成によれば、観測期間の変更に伴い、第１音響伝達関数は更新により第２音響伝達関数に完全に置き換わらず、その一部の成分が残される。第１音響伝達関数の急激な変動が回避されるため、システムの安定性が図られる。

【0018】

上述した（４）の構成によれば、信頼度が高い推定音源方向を与える音響信号ほど重視して第２音響伝達関数を用いて第１音響伝達関数を更新することができる。そのため、更新される第１音響伝達関数の信頼性を向上させることができる。

【0019】

上述した（５）の構成によれば、推定音源方向が代表推定音源方向と等しいか否かにより、推定音源方向を与える音響信号の変換係数を簡素に排除するか否かを定めることができる。

【0020】

上述した（６）の構成によれば、簡素な行列演算により算出される空間スペクトルに基づいて音源方向を推定することができる。多くの演算資源を要しないため、経済的な実現を図ることができる。

【図面の簡単な説明】

【0021】

【図1】本実施形態に係る音響処理システムの構成例を示す概略ブロック図である。

【図2】本実施形態に係る音響伝達関数適応処理の一例を示すデータフローチャートである。

【図3】収音部の構成例を示す図である。

【図4】音響伝達関数を例示する説明図である。

【図5】実験室を例示する図である。

【図6】観測期間ごとの成功率を例示する図である。

【図7】第１音響伝達関数の種類ごとの成功率を例示する図である。

【図8】本実施形態の第１変形例に係る音響処理システムの構成例を示す概略ブロック図である。

【図9】本実施形態の第２変形例に係る音響処理システムの構成例を示す概略ブロック図である。

【発明を実施するための形態】

【0022】

（第１の実施形態）
図面を参照しながら本発明の第１の実施形態について説明する。
図１は、本実施形態に係る音響処理システムＳ１の構成例を示す概略ブロック図である。
音響処理システムＳ１は、音響処理装置１０と、収音部２０と、を備える。

【0023】

音響処理装置１０には、音源からの音の伝達特性を示す第１音響伝達関数を音源方向ごとに予め記憶させておく。本願では音響処理装置１０に事前に、または一時的に記憶された音響伝達関数を「第１音響伝達関数」と呼び、収音部２０から取得された音響信号に基づいて推定した音響伝達関数を「第２音響伝達関数」とは呼ぶことで、両者を区別する。

【0024】

音響処理装置１０は、収音部２０から複数チャネルの音響信号を取得する。音響処理装置１０は、各フレームについてチャネルごとの音響信号の周波数領域における変換係数を算出し、算出した変換係数と第１音響伝達関数に基づいて音源方向ごとに空間スペクトルを算出する。音響処理装置１０は、空間スペクトルが極大（local maximum）となる音源方向を推定音源方向として推定する（音源定位）。音響処理装置１０は、フレームごとの推定音源方向と推定音源方向の推定に用いられた音響信号を集積し、複数フレームからなる観測期間における推定音源方向の頻度分布（ヒストグラム）を生成する。音響処理装置１０は、推定音源方向の頻度分布に基づいて推定音源方向の代表値を代表推定音源方向として定める。

【0025】

音響処理装置１０は、代表推定音源方向から予め定めた許容範囲の範囲外となる推定音源方向を与える音響信号のフレームを特定し、そのフレームの音響信号の変換係数を外れ値（outlier）として除去する。音響処理装置１０は、除去されずに残された変換係数に基づいて音源から収音部２０までの音響伝達関数を算出する。音響処理装置１０は、観測期間における音響伝達関数の代表値を第２音響伝達関数として推定する。音響処理装置１０は、定めた代表推定音源方向に対する第１音響伝達関数を推定した第２音響伝達関数を用いて更新する。

【0026】

音響処理装置１０は、更新した第１音響伝達関数を用いてマイクロホンアレイ処理を行ってもよい。マイクロホンアレイ処理には、音源定位の他、音源分離などの処理も含まれうる。音源分離は、収音部２０から取得される複数チャネルの音響信号から、推定した音源方向に基づいて個々の音源からの音の成分を音源成分として抽出する処理を含む。

【0027】

音響処理装置１０は、音源定位を行って推定した音源方向と、音源分離を行って抽出した音源成分を示す音源信号の一方または両方を、自装置において他の処理に用いてもよいし、出力先となる他の装置（図示せず、本願では「出力先機器」と呼ぶことがある）に出力してもよい。音響処理装置１０は、他の処理として、例えば、推定音源方向における物体の存在を推定してもよい。音響処理装置１０は、特定の音源方向（話者）からの音源成分もしくは音源信号に対して音声認識処理を行い、発話内容を示す発話テキストを取得してもよいし、話者を推定してもよい。

【0028】

収音部２０は、複数のマイクロホン２０－１～２０－Ｍを有し、マイクロホンアレイとして機能する。マイクロホン数Ｍは、２以上の整数である。マイクロホン数Ｍは、チャネル数に相当する。個々のマイクロホンは、それぞれ異なる位置に配置され、それぞれ自部に到来する音波を収音するアクチュエータを備える。アクチュエータは、到来した音波を音響信号に変換する。変換された音響信号は、音響処理装置１０に無線または有線で出力される。個々のマイクロホンは、音響信号のチャネルに対応する。

【0029】

複数のマイクロホンの配置は、固定されてもよいし、可変であってもよい。複数のマイクロホンの位置は、互いに異なっていればよい。図３に例示される収音部２０は、８チャネルの円形マイクロホンアレイとして構成されている。図３において、個々のマイクロホンは黒丸で示される。８個のマイクロホンは、円周上に等間隔となるように配置されている。８個のマイクロホンは、それぞれ垂直方向に平行な回転軸に対して回転対称性を有する回転体をなす筐体の側面に配置され、それぞれの位置関係が固定される。収音部２０は、出力インタフェース（図示せず）を備える。出力インタフェースは、個々のマイクロホンが収録した８チャネルの音響信号を集約し、有線で並列に音響処理装置１０に出力する。なお、マイクロホンの個数、配置は、これには限られない。マイクロホンの個数Ｍは、２個以上７個以下、または、９個以上であってもよい。個々のマイクロホンの位置は、図４に例示されるように直線上に配置されてもよい。

【0030】

音響処理装置１０は、ＰＣ（Personal Computer）、多機能携帯電話機、などの汎用の情報通信機器として構成されてもよいし、計測器、監視装置、など、専用の機器として構成されてもよい。
以下の説明では、収音部２０は、音響処理装置１０と別個に構成される場合を例にするが、音響処理装置１０とは別体でもよい。

【0031】

次に、本実施形態に係る音響処理装置１０の機能構成例について説明する。
音響処理装置１０は、入出力部１１０と、制御部１２０と、記憶部１５０と、を含んで構成される。
入出力部１１０は、他の機器と各種のデータを入力および出力可能に無線または有線で接続する。入出力部１１０は、入力データとして、収音部２０からＭチャネルの音響信号を制御部１２０に出力する。入出力部１１０は、制御部１２０から出力データが入力される場合には、入力される出力データを出力先機器（図示せず）に出力することができる。出力データには、マイクロホンアレイ処理により得られる情報が含まれうる。かかる情報は、例えば、推定音源方向を示す推定音源方向情報、音源から到来する音源成分を示す音源信号などが該当する。入出力部１１０は、例えば、入出力インタフェース、通信インタフェースなどのいずれか、または、それらの組み合わせであってもよい。

【0032】

制御部１２０は、音響処理装置１０の機能を実現するための処理、その機能を制御するための処理、などを実行する。制御部１２０は、全体として、もしくは、個々の機能に対して、専用の部材を用いて構成されてもよいが、ＣＰＵ（Central Processing Unit）などのプロセッサと各種の記憶媒体を含んでコンピュータシステムとして構成されてもよい。プロセッサは、予め記憶媒体に記憶された所定のプログラムを読み出し、読み出したプログラムに記述された各種の命令で指示される処理を実行して制御部１２０の機能を実現する。制御部１２０の機能構成については、後述する。

【0033】

記憶部１５０は、各種のデータを一時的または恒常的に記憶する記憶媒体を含んで構成される。記憶部１５０は、制御部１２０により用いられる各種のデータ（パラメータ等を含む）、制御部１２０またはその他の機能部により取得された各種のデータ（外部から入力された入力データ、処理中の中間データ、処理結果として生成された生成データを含む）を記憶する。記憶部１５０には、音響伝達関数セットが記憶される。音響伝達関数セットは、音源方向ごとに、各周波数について個々のマイクロホン（チャネル）について第１音響伝達関数を含んで構成される。本願では、音響伝達関数セットにおいて、第１音響伝達関数と関連付けられる音源方向を「目標方向（target direction）」と呼ぶことがある。

【0034】

第１音響伝達関数の初期値Ｈ_Ｔとして、予め測定された音響伝達関数が用いられてもよいし、所定の幾何モデルを用いて予め計算された音響伝達関数が用いられてもよい。幾何モデルとして、自由音場における平面波の伝搬を仮定した平面波モデル、収音部２０から所定の距離に存在する音源からの球面波の伝搬を仮定した球面波モデル、などが用いられてもよい。初期の音響伝達関数セットは、各チャネルおよび周波数について、音源方向ごとの第１音響伝達関数の初期値Ｈ_Ｔ（θ_１）～Ｈ_Ｔ（θ_Ｎ）を要素として含む。初期値Ｈ_Ｔ（θ_１）等は、音源方向θ_１等からの音波の到来を仮定して幾何モデルを用いて算出することができる。Ｎは、予め定めた音源方向の個数を示す。互いに隣接する音源方向の間隔は、音源定位により推定される音源方向の精度に直接的に影響する。音源方向の個数が多いほど音源方向の精度の向上が期待されるが、音源定位における空間スペクトルの算出に係る演算量が増大する。

【0035】

次に、本実施形態に係る制御部１２０の機能構成例について説明する。制御部１２０は、周波数分析部１２２、音源方向推定部１２４、代表推定音源方向決定部１２６、外れ値除去部１２８、代表音響信号決定部１３０、音響伝達関数推定部１３２および音響伝達関数更新部１３４を含んで構成される。特に断らない限り、音源方向推定部１２４、代表推定音源方向決定部１２６、外れ値除去部１２８、代表音響信号決定部１３０、音響伝達関数推定部１３２および音響伝達関数更新部１３４の処理は、それぞれ周波数ごとに独立に実行されてもよい。

【0036】

周波数分析部１２２には、収音部２０から入出力部１１０を経由してＭチャネルの音響信号が入力される。取得されるＭチャネルの音響信号は、それぞれ時間領域におけるサンプル時刻ごとの振幅の時系列（波形）を表す。周波数分析部１２２は、各チャネルについて時間領域の音響信号に対して、所定の期間（例えば、２０ｍｓ－１００ｍｓ）のフレームごとに周波数分析を行い、周波数領域における周波数ごとの変換係数に変換する。個々のチャネルにおいて、変換係数の周波数間のセットは周波数スペクトルを示す。周波数分析部１２２は、周波数分析において、例えば、短時間フーリエ変換（ＳＴＦＴ：Short Time Fourier Transform）、離散フーリエ変換（ＤＦＴ：Discrete Fourier Transform）などの手法が利用可能である。周波数分析部１２２は、変換により得られた変換係数を示す入力信号情報を音源方向推定部１２４および音響伝達関数推定部１３２に出力する。

【0037】

音源方向推定部１２４は、記憶部１５０に記憶された音響伝達関数セットを参照し、周波数分析部１２２から入力される入力信号情報に示される各チャネルの変換係数を用いて、周波数ごとに空間スペクトルＳ_ｓｐ（θ）を算出する。空間スペクトルＳ_ｓｐ（θ）は、収音部２０の位置を基準とする目標方向θごとに音源が存在する可能性の程度を示す指標とみることができる。音源方向推定部１２４は、第１音響伝達関数Ｈ_Ｅからなる音響伝達関数セット、目標方向θ、および、入力ベクトルＸを用いて算出することができる。音源方向推定部１２４は、式（１）に例示されるように、空間スペクトルが最大となる方向を推定音源方向φとして推定することができる。空間スペクトルＳ_ｓｐ（θ）を算出する手法の具体例については、後述する。音源方向推定部１２４は、推定した推定音源方向を示す推定音源方向情報を代表推定音源方向決定部１２６および外れ値除去部１２８に出力する。また、音源方向推定部１２４は、推定音源方向情報と対応付けて入力信号情報を外れ値除去部１２８に出力する。

【0038】

【数1】

【0039】

代表推定音源方向決定部１２６には、音源方向推定部１２４から推定音源方向情報が入力される。代表推定音源方向決定部１２６は、予め設定された観測期間ごとに、推定音源方向情報に示される推定音源方向φの頻度分布を生成する。観測期間は、一度に代表推定音源方向を定める複数のフレームを含む期間である。より具体的には、代表推定音源方向決定部１２６は、観測期間に含まれるフレームごとに推定音源方向情報に示される推定音源方向を特定し、特定した推定音源方向に対するフレーム数に１ずつ加算することで（インクリメント）、推定音源方向ごとのフレーム数を計数する。代表推定音源方向決定部１２６は、当該観測期間において計数された推定音源方向ごとのフレーム数（頻度）を推定音源方向の頻度分布（ヒストグラム）として取得することができる。

【0040】

代表推定音源方向決定部１２６は、特定した区間のうちフレーム数が最多となる推定音源方向（最頻値、mode）を代表推定音源方向θ’として定める。代表推定音源方向決定部１２６は、定めた代表推定音源方向θ’を示す代表推定音源方向情報を外れ値除去部１２８に出力する。

【0041】

外れ値除去部１２８には、音源方向推定部１２４から推定音源方向情報と入力信号情報が入力され、代表推定音源方向決定部１２６から代表推定音源方向情報から入力される。外れ値除去部１２８は、例えば、推定音源方向が代表推定音源方向と等しいか否かを判定する。外れ値除去部１２８は、推定音源方向が代表推定音源方向から所定の範囲内であるとき、その推定音源方向を示す推定音源方向情報に対応する入力信号情報を採用する。外れ値除去部１２８は、推定音源方向が代表推定音源方向とは異なるとき、その推定音源方向を示す推定音源方向情報に対応する入力信号情報を外れ値として除去し、棄却する。これにより、外れ値除去部１２８は、最頻値フィルタ（mode filter）として機能する。外れ値除去部１２８は、採用した入力信号情報を代表音響信号決定部１３０に出力する。

【0042】

代表音響信号決定部１３０は、観測期間ごとに、外れ値除去部１２８から入力される入力信号情報に示されるチャネルごとの変換係数のフレーム間の代表値（例えば、平均値）を各周波数について代表変換係数として定める。代表音響信号決定部１３０は、定めた代表変換係数を示す代表入力信号情報を音響伝達関数推定部１３２に出力する。

【0043】

音響伝達関数推定部１３２には、代表音響信号決定部１３０から代表入力信号情報が入力される。音響伝達関数推定部１３２は、各周波数について、代表入力信号情報に示されるチャネルごとの代表変換係数に基づいて、音源からそのチャネルに対応するマイクロホンまでの音響伝達関数を第２音響伝達関数Ｈ’として推定する。第２音響伝達関数H’は、観測期間において推定される音響伝達関数の代表値に相当する。音響伝達関数推定部１３２は、第２音響伝達関数Ｈ’を推定する際、例えば、チャネルごとの代表変換係数の振幅と位相のそれぞれをチャネル間で正規化する。

【0044】

音響伝達関数推定部１３２は、例えば、式（２）に従って、第２音響伝達関数Ｈ’を算出することができる。式（２）の例では、代表入力ベクトルＸは、そのノルム｜Ｘ｜で除算して、代表変換係数の振幅が正規化される。ノルムとして、例えば、二乗和の平方根が適用可能である。代表入力ベクトルＸは、ある周波数における各チャネルｍに対する代表変換係数Ｘ_ｍを要素として有するベクトルである。正規化された振幅は、０以上１以下の実数値となる。代表変換係数Ｘ_ｍのチャネル間の総和Σ_ｍＸ_ｍをその絶対値｜Σ_ｍＸ_ｍ｜で除算して得られる商の複素共役を乗算することで、代表変換係数の位相が正規化される。位相の正規化により、各チャンネルの代表変換係数の振幅で重みを付けたチャネル間の位相の平均値が０となる。本実施形態では、音響伝達関数はチャネル間で振幅ならびに位相が相対化された値であってもよく、必ずしも絶対値でなくてもよい。音響伝達関数推定部１３２は、推定した第２音響伝達関数Ｈ’を示す第２音響伝達関数情報を音響伝達関数更新部１３４に出力する。

【0045】

【数2】

【0046】

音響伝達関数更新部１３４には、音響伝達関数推定部１３２から第２音響伝達関数情報が入力され、代表推定音源方向決定部１２６から代表推定音源方向情報が入力される。音響伝達関数更新部１３４は、各周波数について、入力される第２音響伝達関数情報が示すチャネルごとの第２音響伝達関数Ｈ’を、代表推定音源方向情報に示される代表推定音源方向に対応する第２音響伝達関数として特定する。音響伝達関数更新部１３４、特定した第２音響伝達関数Ｈ’を用いて、記憶部１５０に記憶された音響伝達関数セットのうち代表推定音源方向に対応する第１音響伝達関数Ｈ_Ｅを更新する。

【0047】

音響伝達関数更新部１３４は、例えば、指数平滑法を用いて、その時点における第２音響伝達関数Ｈ’と更新対象とする代表推定音源方向θ’に係る第１音響伝達関数Ｈ_Ｅ（θ’）を加重平均して、新たに更新される第１音響伝達関数Ｈ_Ｅ（θ’）を算出する。式（３）の例では、第２音響伝達関数Ｈ’に乗算される重み係数βは、最大値が１となる所定の正の実数値である。更新前の第１音響伝達関数Ｈ_Ｅ（θ’）には重み係数（１－β）が乗じられる。重み係数β、（１－β）は、それぞれ第２音響伝達関数Ｈ’、第１音響伝達関数Ｈ_Ｅ（θ’）に対する比率に相当する。よって、重み係数βが大きいほど、第１音響伝達関数Ｈ_Ｅ（θ’）として第２音響伝達関数Ｈ’ほど重視されるように音響伝達関数の時間平均値が得られる。重み係数βが１である場合には、第２音響伝達関数Ｈ’はフレームごとに第１音響伝達関数Ｈ_Ｅに置き換わる。即ち、重み係数βが大きいほど、第２音響伝達関数Ｈ’に含まれる音源からの音の提示の有無、音響環境の一時的な変化、音源方向の誤推定などによる影響が第１音響伝達関数Ｈ_Ｅ（θ’）に含まれる。重み係数βが小さいほど、一時的な第２音響伝達関数Ｈ’の変動が平滑化される。

【0048】

音響伝達関数更新部１３４は、もとの更新前の第１音響伝達関数Ｈ_Ｅ（θ’）に代え、新たな第１音響伝達関数Ｈ_Ｅ（θ’）を推定音源方向θ’に対応付けて記憶部１５０に記憶する。

【0049】

【数3】

【0050】

音響伝達関数更新部１３４は、代表推定音源方向θ’の信頼度が高いほど、大きくなるように第２音響伝達関数Ｈ’に対する重み係数βを定めてもよい。音響伝達関数更新部１３４は、推定音源方向φが代表推定音源方向θ’から所定範囲内となるフレーム数の全フレーム数に対する比率を代表推定音源方向θ’の信頼度として用いることができる。より具体的には、音響伝達関数更新部１３４は、重み係数βをＬ／２Ｋと定めることができる。Ｌは、観測期間における推定音源方向φが代表推定音源方向θ’となるフレーム数、Ｋは観測期間における全フレーム数を示す。Ｌ＝Ｋとなるとき、重み係数βは最大値０．５となる。

【0051】

なお、代表推定音源方向決定部１２６は、計数されたフレーム数が予め設定されたフレーム数の下限よりも多い推定音源方向を有意な推定音源方向として特定し、互いに隣接する複数の有意な音源方向からなる区間を定めてもよい。代表推定音源方向決定部１２６は、特定した区間のうち、フレーム数が極大となる推定音源方向の代表値を代表推定音源方向として定めてもよい。これにより、特異的に孤立した推定音源方向が排除され、代表推定音源方向として選ばれなくなる。

【0052】

外れ値除去部１２８は、推定音源方向が代表推定音源方向から所定の許容範囲（例えば、±３～５°）の範囲内であるとき、その推定音源方向を示す推定音源方向情報に対応する入力信号情報を採用し、推定音源方向が代表推定音源方向から所定の範囲内を超えるとき、その推定音源方向を示す推定音源方向情報に対応する入力信号情報を外れ値として除去し、棄却してもよい。これにより、代表推定音源方向に近似した推定音源方向を与える音響信号に対する変換係数も第２音響伝達関数の推定に用いられる。許容範囲が０°である場合が、上記の最頻値フィルタに相当する。

【0053】

なお、一度に音が放射される音源の個数は、必ずしも１個に限られず、２個以上となることや、または、音源から一時的もしくは継続的に音が放射されないことがある。そこで、音源方向推定部１２４は、空間スペクトルＳ_ｓｐ（θ）が極大となり、かつ、所定の空間スペクトルの閾値よりも大きくなる方向が１個検出される場合に限り、検出された１個の方向を推定音源方向θ’として示す推定音源方向情報を代表推定音源方向決定部１２６と外れ値除去部１２８に出力してもよい。音響伝達関数更新部１３４は、上述のように、音源方向推定部１２４から推定音源方向情報で通知される１個の推定音源方向θ’に係る第１音響伝達関数Ｈ_Ｅ（θ’）を、第２音響伝達関数Ｈ’を用いて更新することができる。その場合、音響伝達関数更新部１３４は、重み係数βを定める際、観測期間における推定音源方向の個数が１個となるフレーム数をＬとし、その１個の推定音源方向φが代表推定音源方向θ’（または許容範囲内となる）フレーム数をＫとして、重み係数βを定めてもよい。

【0054】

言い換えれば、音源方向推定部１２４は、空間スペクトルＳ_ｓｐ（θ）が極大となり、かつ、所定の空間スペクトルの閾値よりも大きくなる方向が２個以上検出される場合と、空間スペクトルＳ_ｓｐ（θ）が極大となり、かつ、所定の空間スペクトルの閾値よりも大きくなる方向が検出されない場合には、推定音源方向情報を代表推定音源方向決定部１２６と外れ値除去部１２８に出力しない。そのため、第２音響伝達関数を定める際、推定音源方向の個数が２個以上となる場合、および、推定音源方向が検出されない場合に取得される入力信号情報は用いられない。他方、推定音源方向が２個以上検出される場合には、マイクロホンに複数の音源から到来した音が重畳されるため、チャネル間の変換係数の比が特定の１個の音源に係る音源方向に対する音響伝達関数の比を与えることにならない。音源方向が検出されない場合には、そもそも有意な音が音源からマイクロホンに到来しない。従って、検出される音源が１個の場合に音源定位、音響伝達関数の推定、更新を制限することで音響伝達関数の推定精度の劣化を抑えられる。

【0055】

二次元空間では、音源方向は収音部２０の代表点（例えば、重心）からの方位角で定義されうる。その際には、音響伝達関数セットをなす個々の第１音響伝達関数に対応付けられる音源方向の配置は、例えば、収音部２０の位置を中心とする水平面に平行な円周上に分布する一次元配列となりうる。三次元空間では、音源方向は方位角と仰角の組で定義されうる。音源方向の配置は、収音部２０の位置を中心とする球面上に分布する二次元配列となりうる。音響伝達関数セットは、音源位置ごとに第１音響伝達関数を含んで構成されてもよい。その場合には、音源位置の配置は、三次元空間における三次元分布となる。音源位置は、収音部２０の位置を基準とする三次元座標で表され、音源方向と基準位置からの距離との組み合わせに相当する。但し、本実施形態では主に音源位置の分布が一次元配列である場合を例にして説明するが、二次元配列または三次元配列である場合にも適用可能である。

【0056】

音響伝達関数セットが、音源位置ごとの第１音響伝達関数を含んで構成される場合には、音源方向推定部１２４は、推定対象とする情報として音源位置を推定することができる。音源方向推定部１２４は、音源方向に代え、音源位置ごとに空間スペクトルを算出し、空間スペクトルが極大（または最大）となる音源位置を特定すればよい。音響伝達関数更新部１３４は、特定された音源位置を推定音源位置とし、上記の手法を用いて音源方向推定部１２４が推定した第２音響伝達関数を用いて、推定音源位置に係る第１音響伝達関数を更新すればよい。

【0057】

（音源定位の例）
次に、音源定位の例について説明する。音源方向推定部１２４は、音源定位において、例えば、ビームフォーミング法（beam forming）を用いることができる。音源方向推定部１２４は、式（４）に例示される空間スペクトルＳ_ｓｐ（θ）の極大値を与える音源方向θを推定音源方向として算出することができる。空間スペクトルＳ_ｓｐ（θ）は、入力ベクトルＸに音響伝達関数ベクトルＨ（θ）の疑似逆行列Ｈ（θ）^＋を乗算して得られる。音響伝達関数ベクトルＨ（θ）は、チャネルごとに音源からマイクロホンまでの伝達関数を各列の要素として有するベクトル［Ｈ_１（θ），Ｈ_２（θ），…，Ｈ_Ｍ（θ）］^Ｔである。

【0058】

【数4】

【0059】

音源方向推定部１２４は、音源定位において、ビームフォーミング法以外の手法を用いてもよい。音源方向推定部１２４は、例えば、ＭＵＳＩＣ（Multiple Signal Classification,多重信号分類）法、遅延和法、などの手法を用いてもよい。

【0060】

（音響伝達関数適応処理）
次に、本実施形態に係る音響伝達関数適応処理について説明する。図２は、本実施形態に係る音響伝達関数適応処理の一例を示すデータフローチャートである。次の説明では、外れ値除去部が最頻値フィルタとして機能する場合を例にする。
（ステップＳ１０２）周波数分析部１１２には、収音部２０からＭチャネルの音響信号ｘが入力される。
（ステップＳ１０４）周波数分析部１１２は、各チャネルについてフレームごとに音響信号に対して周波数分析を行い周波数領域の変換係数を示す入力ベクトルＸ（入力信号情報）に変換する。観測期間におけるフレームごとの入力ベクトルの集合［Ｘ_１，Ｘ_２，…，Ｘ_Ｋ］が入力信号群Ｚを形成する。

【0061】

（ステップＳ１０６）音源方向推定部１２４は、音響伝達関数セットを参照し、フレームごとに入力ベクトルＸに示される変換係数を用いて、周波数ごとに空間スペクトルＳ_ｓｐ（θ）が最大となる音源方向を推定音源方向φとして算出する。観測期間におけるフレームごとの推定音源方向の集合［φ_１，φ_２，…，φ_Ｋ］が定位方向群Φを形成する。
（ステップＳ１０８）代表推定音源方向決定部１２６は、観測期間ごとに、推定音源方向ごとの頻度（フレーム数）を示す頻度分布を計数し、頻度が最も高い推定音源方向を代表推定音源方向θ’として定める。

【0062】

（ステップＳ１１０）外れ値除去部１２８は、フレームごとの入力ベクトルＸのうち、代表推定音源方向θ’と異なる推定音源方向φを与えるフレームの入力ベクトルＸ”を外れ値として除去する。除去されずに残された入力ベクトルの集合［Ｘ_１’，Ｘ_２’，…，Ｘ_Ｌ’］が外れ値除去入力信号群Ｚ’を形成する。

【0063】

（ステップＳ１１２）代表音響信号決定部１３０は、観測区間において外れ値が除去されずに残されたフレームの入力ベクトルＸ’に示されるチャネルごとの変換係数の代表値を代表変換係数として示す代表入力ベクトル＜Ｘ＞を生成する。
（ステップＳ１１４）音響伝達関数推定部１３２は、各周波数について、代表入力信号情報に示されるチャネルごとの代表変換係数をチャネル間で正規化し、音源からそのチャネルに対応するマイクロホンまでの音響伝達関数を第２音響伝達関数Ｈ’として推定する。
（ステップＳ１１６）音響伝達関数更新部１３４は、周波数ごとに、代表推定音源方向θ’に係る第１音響伝達関数Ｈ_Ｅと第２音響伝達関数Ｈ’の加重平均値（１－β）Ｈ_Ｅ＋βＨ’を新たな第１音響伝達関数Ｈ_Ｅとして更新する。

【0064】

なお、図２の処理は、観測期間ごとに繰り返されてもよいし、観測期間よりも短い周期、例えば、１フレームごとに繰り返されてもよい。

【0065】

（評価実験）
次に、上記の実施形態の有効性を評価するために実行した評価実験について説明する。評価実験は、一般的なオフィス環境と同様の音響環境を有する実験室内で行った。実験室内の形状は、ほぼ直方体である。実験室の大きさは、横（ｘ方向）、縦（ｙ方向）、高さ（ｚ方向）が、それぞれ７．０、４．０、３．０［ｍ］である（図５参照）。実験室は、実験室の中央部、周縁部には、それぞれテーブルが設置され、テーブルの周囲には複数の椅子が設置された。中央部のテーブルには、収音部２０として円形マイクロホンアレイ（図３参照）を設置し、テーブルの床面からの高さを０．９［ｍ］とした。周縁部のテーブルには、ノート型パーソナルコンピュータとその他の物品を配置した。

【0066】

評価実験に先立ち、音源信号を取得した。音源として日本語話し言葉コーパス（ＣＳＪ：Corpus of Spontaneous Japanese）から選択された男声を用いた。マイクロホンアレイの中央部からの距離が０．７８ｍとなる円周上に沿ってスピーカを時計回りにゆっくり移動させながら、音源信号に従って放音させた。スピーカ中央部の床面からの高さを１．０ｍとした。その状況下で、音源から到来しマイクロホンアレイで収音される音を示す８チャネルの音響信号を２０分間取得した。サンプリング周波数を１６ｋＨｚとした。その間におけるスピーカは円周上を３周した。
また、第１音響伝達関数の初期値Ｈ_Ｔとして、自由音場モデルを仮定して、目標方向に設置されたスピーカとマイクロホンアレイとの位置関係に基づいて算出した音響伝達関数を予め設定した。

【0067】

周波数分析部１２２は、周波数分析においてＳＴＦＴを実行した。ＳＴＦＴにおいて、フレーム長、シフト幅をそれぞれ、５１２点、２５６点とした。窓関数として、ハン窓（ハニング窓）を用いた。平均音圧が－２４ｄＢ以上となるフレームを有効フレームとし。有効フレームにおける音響信号を採用し、それ以外のフレームを無音区間として採用せずに、棄却した。観測期間に相当する時間が経過する都度、新たな観測期間を設定した。即ち、観測期間のシフト幅をその観測期間と同等の期間とした。

【0068】

評価実験は、２項目の検証から構成される。第１の検証では、最頻値フィルタの長さ（観測期間に相当）と音源定位性能との関係を調べた。第１の検証では、予め複数通りの観測期間のそれぞれに対して取得した音響信号を用いて図２に例示される処理を実行して第１音響伝達関数を更新した。観測期間を、６０フレーム（０．９６秒）から６００フレーム（９．６秒）までの６０フレーム間隔の１１通りとした。

【0069】

第１音響伝達関数に対する音源方向の方向分解能を５°とした。方向分解能は、個々の第１音響伝達関数に関連付けられた音源方向の間隔に相当する。処理対象とする周波数帯域の最大周波数、最小周波数を、それぞれ３００Ｈｚ、６０００Ｈｚとした。そして、更新により得られた第１音響伝達関数を含む音響伝達関数セットを用いて音源定位を実行し、推定音源方向と目標音源方向を比較した。目標音源方向は、正解となる既知の音源方向に相当する。音源定位の手法として遅延和法を用いた。

【0070】

音源定位性能の評価指標として、成功率を算出した。成功率は、有効フレーム数に対する成功フレーム数の比率に相当する。成功フレームは、音源定位に成功したフレームに相当する。本検証では、推定音源方向が目標音源方向から所定範囲（例えば、５°）以内であるフレームを成功フレームとして計数した。従って、成功率が高いほど音源定位性能が良好であることを意味する。本検証では、有効フレーム数は４３２２フレームとなった。

【0071】

図６は、観測期間ごとの成功率を例示する図である。図６によれば、観測期間が１２０フレーム（１．９２秒に相当）となるとき成功率が９０．４２％と最高となった。本検証においてスピーカを移動していたことを鑑みても、約１．９２秒間はスピーカが静止していると仮定しても音源定位の性能を低下させずに済むことを示す。また、全体として観測期間が短いほど成功率が高い傾向がある。観測期間が長いほど移動に伴う目標音源方向の変化により外れ値の発生頻度が高くなることと、第１音響伝達関数の更新頻度が低下することが原因として考えられる。他方、観測期間が短いと代表推定音源方向を定める際に用いられる推定音源方向の分布に対する統計的信頼性が低くなる。このことは、むしろ成功率が低下する要因となる。観測期間が１２０フレームとなるとき成功率が最高となる現象は、観測期間による増加と減少との表れとみることができる。

【0072】

第１の検証では、信頼度と第１音響伝達関数の種類との関係を調べた。第１音響伝達関数の種類として、次の３種類のそれぞれに対して成功率を定めた。（１）本実施形態：第１音響伝達関数と第２音響伝達関数の加重和を新たな第１音響伝達関数に更新、（２）既存手法（非特許文献１に記載の手法）：フレームごとに第１音響伝達関数を更新、（３）更新なし：第１音響伝達関数を更新しない。但し、観測期間を１２０フレームとした。

【0073】

図７は、第１音響伝達関数の種類ごとの成功率を例示する図である。図７は、更新無し、既存手法、本実施形態の順に成功率を示す。成功率は、既存手法、更新無し、本実施形態の順に高くなる。成功率は、更新無しでは、８５．５９％、既存手法では、８０．６３％、本実施形態では、９０．４２％となった。この結果は、本実施形態の有効性を裏付ける。既存手法での成功率が、更新無しでの成功率よりも低くなる現象は、フレームごとに一律に第１音響伝達関数を更新するため、外れ値が生じ信頼度が低い推定音源方向が得られるケースを棄却しないことが一因と推察される。

【0074】

（変形例）
次に、本実施形態の変形例について説明する。以下の説明では、上述の実施形態との差異を主とし、特に断らない限り、上述の実施形態と同一の符号を付してその説明を援用する。図８は、本実施形態の第１変形例に係る音響処理システムＳ１の構成例を示す概略ブロック図である。本変形例に係る音響処理システムＳ１は、音源分離に応用される。音響処理システムＳ１において、音響処理装置１０の制御部１２０は、周波数分析部１２２、音源方向推定部１２４、代表推定音源方向決定部１２６、外れ値除去部１２８、代表音響信号決定部１３０、音響伝達関数推定部１３２および音響伝達関数更新部１３４の他、さらに音源分離部１３６と音源信号生成部１３８を備える。

【0075】

周波数分析部１２２は、入力信号情報を音源方向推定部１２４、音響伝達関数推定部１３２の他、音源分離部１３６にも出力する。
音源方向推定部１２４は、推定音源方向情報を代表推定音源方向決定部１２６および外れ値除去部１２８の他、音源分離部１３６にも出力する。
音響伝達関数推定部１３２は、第２音響伝達関数情報を音響伝達関数更新部１３４の他、音源分離部１３６にも出力する。

【0076】

音源分離部１３６には、周波数分析部１２２から入力信号情報が入力され、音源方向推定部１２４から推定音源方向情報が入力される。音源分離部１３６は、入力信号情報に示されるチャネルごとの変換係数から推定音源方向から到来する音源成分を抽出する。音源分離部１３６は、例えば、記憶部１５０に記憶された音響伝達関数セットを参照し、推定音源方向θ’に係る第１音響伝達関数Ｈ_Ｅから分離行列Ｗ（Ｈ_Ｅ，θ’）を算出する。音源分離部１３６は、式（５）に例示されるように、入力ベクトルＸに分離行列Ｗ（Ｈ_Ｅ，θ’）を乗じて、その推定音源方向θ’に存在する音源から到来する音源成分として推定される出力値を各周波数について示す出力ベクトルＹ（分離音源）を算出することができる。入力ベクトルＸは、入力信号情報に示されるチャネルごとの変換係数を要素として含むベクトルである。推定音源方向が複数個検出される場合には、音源分離部１３６は、音源（推定音源方向）ごとに出力値を定めることができる。音源分離部１３６は、各音源について周波数ごとに定めた出力値を示す出力信号情報を音源信号生成部１３８に出力する。

【0077】

【数5】

【0078】

音源信号生成部１３８は、各音源について音源分離部１３６から入力される出力信号情報に示される周波数ごとの出力値を時間領域におけるサンプル時刻ごとの振幅の時系列に変換する。音源信号生成部１３８は、周波数領域における周波数ごとの出力値を振幅の時系列に変換する際、周波数分析との逆処理、例えば、逆離散フーリエ変換を用いることができる。音源信号生成部１３８は、各音源についてフレームごとに得られた振幅の時系列をフレーム間で連結して音源信号を生成することができる。音源信号生成部１３８は、生成した音源信号を出力先機器に入出力部１１０を経由して出力してもよいし、記憶部１５０に記憶してもよい。

【0079】

なお、音源方向推定部１２４は、空間スペクトルＳ_ｓｐ（θ）が極大となり、所定の空間スペクトルの閾値よりも大きくなる方向を複数個検出することがある。その場合には、音源方向推定部１２４は、複数個の音源方向をそれぞれ推定音源方向として示す推定音源方向情報を音源分離部１３６に出力してもよい。このような場合には、有意な音源が複数個存在すると推定されるためである。音源方向推定部１２４における音源定位と音源分離部１３６における音源分離は、音響伝達関数更新部１３４における第１音響電圧関数の更新と同時に実行されてもよいが、必ずしも同期しなくてもよい。即ち、検出される音源が２個以上となる場合に、推定音源方向情報を代表推定音源方向決定部１２６と外れ値除去部１２８に出力せず、代表推定音源方向決定部１２６から代表推定音源方向情報が音響伝達関数更新部１３４に入力されない場合でも音源分離部１３６における音源分離の実行は許容される。

【0080】

なお、音源分離部１３６は、音源分離の手法として、例えば、上記のビームフォーミング法を応用することができる。その場合、音源分離部１３６は、ビームフォーミング法を用いて推定された推定音源方向θ’に係る音響伝達関数ベクトルＨ（θ’）の疑似逆行列Ｈ^＋（θ’）を分離行列として採用すればよい。その他の音源分離の手法として、例えば、ＧＨＤＳＳ（Geometric-contrained High-order Decorrelation-based Source Separation, 幾何制約高次相関除去音源分離）法を用いることができる。ＧＨＤＳＳ法は、コスト関数Ｊ（Ｗ）が最小化するように分離行列Ｗを適応的に算出する過程を含む。コスト関数Ｊ（Ｗ）は、分離尖鋭度（Separation Sharpness）Ｊ_ＳＳ（Ｗ）と幾何制約度（Geometric Constrain）Ｊ_ＧＣ（Ｗ）との重み付き和となる。分離尖鋭度Ｊ_ＳＳ（Ｗ）は、ある音源の音源成分Ｙに他の音源の成分が混入する度合いを示す指標値である。幾何制約度Ｊ_ＧＣ（Ｗ）は、出力となる音源信号と音源から発されたもとの音源信号との誤差の度合いを表す指標値である。

【0081】

次に、本実施形態の第２変形例について説明する。以下の説明では、上述の実施形態ならびに変形例との差異を主とし、特に断らない限り、上述の実施形態と同一の符号を付してその説明を援用する。本変形例に係る音響処理システムＳ１は、ロボットシステム（図示せず）の一部をなす。図９は、本変形例に係る音響処理システムＳ１の構成例を示す概略ブロック図である。音響処理システムＳ１をなす音響処理装置１０と収音部２０の一方または両方は、ロボットの筐体に内蔵されてもよい。

【0082】

音響処理装置１０において、制御部１２０は、周波数分析部１２２、音源方向推定部１２４、代表推定音源方向決定部１２６、外れ値除去部１２８、代表音響信号決定部１３０、音響伝達関数推定部１３２、音響伝達関数更新部１３４、音源分離部１３６および音源信号生成部１３８の他、動作制御部１４０を備える。即ち、音響処理システムＳ１において、音源方向推定部１２４、音源分離部１３６および音源信号生成部１３８は、ロボット聴覚（robot audition）を実現するロボット聴覚機能ブロックとして機能してもよい。

【0083】

制御部１２０は、さらに音声認識処理部（図示せず）を備えてもよい。音声認識処理部は、個々の音源に係る音源成分に対して、公知の音声認識処理を実行して音源の種類を特定してもよい（音源同定）。音声認識処理部は、音源の種類として、人物である発話者が特定されてもよい。音源方向推定部１２４は、特定した種類の音源について、推定音源方向を示す推定音源方向情報を他の装置に通知してもよいし、特定した種類の音源について出力信号情報から変換された音源信号を他の装置に出力してもよい。
音源方向推定部１２４は、上記のように音源位置を推定可能とし、推定音源位置を示す推定音源方向情報を代表推定音源方向決定部１２６、外れ値除去部１２８および音源分離部１３６の他、動作制御部１４０に出力する。

【0084】

動作制御部１４０には、音源方向推定部１２４から推定音源方向情報が入力され、音源分離部１３６から音源成分を示す出力信号情報が入力される。動作制御部１４０は、推定音源位置と音源成分の一方または両方を用いて動作機構４０の動作を制御する。動作制御部１４０は、例えば、推定音源位置と音源成分に基づいて、自己位置推定と環境地図作成を実行してもよい（ＳＬＡＭ：Simultaneous Localization and Mapping、同時定位地図作成）。動作制御部１４０は、音源同定を実行することで推定音源位置における音源となる物体（人物を含む）の存在を推定することができる。動作制御部１４０は、推定音源位置に近いほど高くなるように所定の密度関数モデルを用いて音源となる物体の存在確率を定めてもよい。動作制御部１４０は、例えば、物体ごとに存在する存在確率の空間分布を物体間で重畳して環境地図を作成することができる。動作制御部１４０は、経路計画において、物体の存在確率が所定の存在確率よりも高い領域を通過しないように進行経路を定めてもよい。進行経路は、時刻ごとの目標位置により表される。動作制御部１４０は、所定の種類の音源の推定方向をロボットの正面に相対する目標方向と定めてもよい。動作制御部１４０は、その時点における目標位置と目標方向の一方または両方を示す制御信号を動作機構４０に出力する。

【0085】

動作機構４０は、ロボットの筐体に内蔵され、動作制御部１４０から入力される制御信号に基づいてロボットの動作を制御する。動作機構４０は、動力源となるモータ（図示せず）と自部の位置と方向を検出するエンコーダ（図示せず）を備える。モータは、制御信号で指示される目標位置または目標方向に近づくようにロボットを移動させる。エンコーダは、その時点において検出した位置と方向を動作状態として示す動作情報を逐次に動作制御部１４０に出力する。

【0086】

以上に説明したように、本実施形態に係る音響処理装置１０は、第１音響伝達関数を音源方向ごとに記憶する記憶部１５０と、各フレームについて、チャネルごとの音響信号の周波数領域における変換係数と第１音響伝達関数に基づいて音源方向ごとに空間スペクトルを算出し、空間スペクトルが最大となる音源方向を推定音源方向として推定する音源方向推定部１２４と、複数フレームからなる観測期間における推定音源方向の頻度分布に基づいて推定音源方向の代表値である代表推定音源方向を定める代表推定音源方向決定部１２６と、推定音源方向が代表推定音源方向から予め定めた許容範囲の範囲外となるフレームの変換係数を除去する外れ値除去部１２８と、残されたフレームの音響信号の変換係数に基づいて、観測期間における音源から音響信号の収音部までの音響伝達関数の代表値を第２音響伝達関数として推定する音響伝達関数推定部１３２と、代表推定音源方向に対する第１音響伝達関数を、第２音響伝達関数を用いて更新する音響伝達関数更新部１３４と、を備える。
この構成によれば、代表推定音源方向から所定の範囲内の推定音源方向を与える音響信号の変換係数に基づいて第２音響伝達関数が算出され、算出された第２音響伝達関数を用いて代表推定音源方向と対応付けて第１音響伝達関数を更新することができる。統計的に代表推定音源方向、または、これに近似する推定音源方向を与える音響信号に基づいて得られる音響伝達関数の代表値が第２音響伝達関数として代表推定音源方向と対応付けて更新されるので、音源方向との対応関係が安定した第１音響伝達関数が得られる。かかる第１音響伝達関数を用いることで、オンラインで任意の音響信号を用いて、音源定位、音源分離、その他のマイクロホンアレイ処理の信頼性を向上することができる。

【0087】

また、音源方向推定部１２４は、頻度が極大（例えば、最大）となる推定音源方向φを代表推定音源方向θ’として定めてもよい。
この構成によれば、観測期間内での頻度が極大となる推定音源方向が代表推定音源方向として定まるため、可能性が最も高い推定音源方向が代表推定音源方向として簡素に定まる。

【0088】

また、音響伝達関数更新部１３４は、第１音響伝達関数と第２音響伝達関数の加重平均値（例えば、βＨ’＋（１－β）Ｈ_Ｅ）を新たな第１音響伝達関数Ｈ_Ｅに更新してもよい。
この構成によれば、観測期間の変更に伴い、第１音響伝達関数は更新により第２音響伝達関数に完全に置き換わらず、その一部の成分が残される。第１音響伝達関数の急激な変動が回避されるため、システムの安定性が図られる。

【0089】

また、音響伝達関数更新部１３４は、観測期間における推定音源方向が許容範囲の範囲内となる頻度（例えば、フレーム数Ｌ）に基づいて代表推定音源方向の信頼度（例えば、Ｌ／Ｋ、Ｋは観測期間内のフレーム数）を定め、信頼度が高いほど第１音響伝達関数に対する第２音響伝達関数の比率βを高くしてもよい（例えば、Ｌ／２Ｋ）。
この構成によれば、信頼度が高い推定音源方向を与える音響信号ほど重視して第２音響伝達関数を用いて第１音響伝達関数を更新することができる。そのため、更新される第１音響伝達関数の信頼性を向上させることができる。

【0090】

また、推定音源方向の許容範囲は代表推定音源方向と等しく、前記代表推定音源方向とは異なる方向を含まなくてもよい。
この構成によれば、推定音源方向が代表推定音源方向と等しいか否かにより、推定音源方向を与える音響信号の変換係数を簡素に排除するか否かを定めることができる。

【0091】

また、音源方向推定部１２４は、チャネルごとの変換係数を含む入力ベクトルＸに、チャネルごとの第１音響伝達関数を含む音響伝達関数ベクトルの疑似逆行列Ｈ^＋を乗算して空間スペクトルを算出してもよい。
この構成によれば、簡素な行列演算により算出される空間スペクトルに基づいて音源方向を推定することができる。そのため、多くの演算資源を要しないため、経済的な実現を図ることができる。

【0092】

以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

【符号の説明】

【0093】

Ｓ１…音響処理システム、１０…音響処理装置、２０…収音部、４０…動作機構、１１０…入出力部、１２０…制御部、１２２…周波数分析部、１２４…音源方向推定部、１２６…代表推定音源方向決定部、１２８…外れ値除去部、１３０…代表音響信号決定部、１３２…音響伝達関数推定部、１３４…音響伝達関数更新部、１３６…音源分離部、１３８…音源信号生成部、１４０…動作制御部、１５０…記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】