特許 7171095 音源定位装置、音源定位方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-07

(45)【発行日】2022-11-15

(54)【発明の名称】音源定位装置、音源定位方法及びプログラム

(51)【国際特許分類】

   H04R 3/00 20060101AFI20221108BHJP

   H04R 1/40 20060101ALI20221108BHJP

   G10L 25/51 20130101ALI20221108BHJP

【ＦＩ】

H04R3/00 320

H04R1/40 320A

G10L25/51 400

【請求項の数】 11

(21)【出願番号】P 2021569026

(86)(22)【出願日】2021-09-16

(86)【国際出願番号】 JP2021034092

(87)【国際公開番号】W WO2022075035

(87)【国際公開日】2022-04-14

【審査請求日】2021-11-19

(31)【優先権主張番号】P 2020168766

(32)【優先日】2020-10-05

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000128566

【氏名又は名称】株式会社オーディオテクニカ

(74)【代理人】

【識別番号】100166006

【弁理士】

【氏名又は名称】泉 通博

(74)【代理人】

【識別番号】100154070

【弁理士】

【氏名又は名称】久恒 京範

(74)【代理人】

【識別番号】100153280

【弁理士】

【氏名又は名称】寺川 賢祐

(72)【発明者】

【氏名】金丸 真健

【審査官】大野 弘

(56)【参考文献】

【文献】特開２０１２－２３４１５０（ＪＰ，Ａ）

【文献】特開平０６－１９５０９７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｒ ３／００

Ｈ０４Ｒ １／４０

Ｇ１０Ｋ １１／３４

Ｇ１０Ｌ ２５／５１

Ｇ１０Ｌ ２５／１８

Ｇ１０Ｌ ２１／０２７２

(57)【特許請求の範囲】

【請求項1】

音源が発した音を受けた複数のマイクロホンが出力した複数の電気信号に基づく音信号ベクトルを生成する音信号ベクトル生成部と、
前記音信号ベクトルに含まれる信号成分に対応する信号部分空間と、前記音信号ベクトルに含まれる雑音成分に対応する雑音部分空間とを特定する部分空間特定部と、
遅延和アレイ法を前記音信号ベクトルに適用することにより、前記音源の方向の複数の候補を示す一以上の候補ベクトルを特定する候補特定部と、
前記信号部分空間と前記雑音部分空間との内積の２乗和を含む最適化評価関数に基づいて、前記一以上の候補ベクトルのうち少なくともいずれかに基づく初期解を用いて探索した音源方向ベクトルが示す方向を前記音源の方向として特定する方向特定部と、
を有する音源定位装置。

【請求項2】

前記候補特定部は、遅延和アレイ法を前記音信号ベクトルに適用することにより特定した前記一以上の候補ベクトルのうち、前記信号部分空間に対応する信号部分空間ベクトルとの内積の２乗和が所定の信頼性条件を満たす前記初期解を特定する、
請求項１に記載の音源定位装置。

【請求項3】

前記候補特定部は、前記部分空間特定部が前記信号部分空間及び前記雑音部分空間を特定する処理と並行して前記一以上の候補ベクトルを特定する処理を実行する、
請求項１又は２に記載の音源定位装置。

【請求項4】

前記音信号ベクトル生成部は、前記複数の電気信号をフーリエ変換することにより前記音信号ベクトルを生成し、
前記方向特定部は、前記フーリエ変換のフレームごとに前記音源の方向を特定する、
請求項１又は３に記載の音源定位装置。

【請求項5】

前記方向特定部は、前記フーリエ変換により生成される複数の周波数ビンに対応する複数の前記音源方向ベクトルを平均化して得られる平均方向ベクトルに基づいて前記音源の方向を特定する、
請求項４に記載の音源定位装置。

【請求項6】

前記候補特定部は、前記複数の電気信号をフーリエ変換した際の１つのフレーム内で前記一以上の候補ベクトルの演算を完了できるように前記周波数ビンを間引くことにより、前記一以上の候補ベクトルを特定する、
請求項５に記載の音源定位装置。

【請求項7】

前記方向特定部は、以下の式で表される前記最適化評価関数を用いる確率的勾配降下法を用いることにより前記音源方向ベクトルを特定する、
請求項４から６のいずれか一項に記載の音源定位装置。

【数13】

ただし、（θ，φ）は方向、ａ_ｋ（θ_Ｌ，φ_Ｌ）はθ、φ方向に目的音源があると仮定した場合の仮想的なステアリングベクトル、ｔはフレーム番号、ｋは周波数ビン番号、Ｑ_Ｎ（ｔ，ｋ）は雑音部分空間ベクトルである。

【請求項8】

前記部分空間特定部は、前記音信号ベクトルと、当該音信号ベクトルを前記信号部分空間に射影したベクトルとの差に基づく直交性評価関数に基づいて前記信号部分空間を特定する、
請求項４から７のいずれか一項に記載の音源定位装置。

【請求項9】

前記部分空間特定部は、以下の式で表される前記直交性評価関数に基づいて前記信号部分空間を特定する、
請求項８に記載の音源定位装置。

【数14】

ただし、βは忘却関数、ｔはフレーム番号、ｋは周波数ビン番号、Ｑ_Ｓ（ｔ，ｋ）は信号部分空間ベクトル、Ｑ_ＰＳ ^Ｈ（ｌ－１，ｋ）は前フレームでの信号部分空間ベクトルの推定結果、Ｘは音信号である。

【請求項10】

コンピュータが実行する、
音源が発した音を受けた複数のマイクロホンが出力した複数の電気信号に基づく音信号ベクトルを生成するステップと、
前記音信号ベクトルに含まれる信号成分に対応する信号部分空間と、前記音信号ベクトルに含まれる雑音成分に対応する雑音部分空間とを特定するステップと、
遅延和アレイ法を前記音信号ベクトルに適用することにより、前記音源の方向の複数の候補を示す複数の候補ベクトルを特定するステップと、
前記信号部分空間と前記雑音部分空間との内積の２乗和を含む第１評価関数に基づいて前記複数の候補ベクトルが示す方向から選択した音源方向ベクトルが示す方向を前記音源の方向として特定するステップと、
を有する音源定位方法。

【請求項11】

コンピュータに、
音源が発した音を受けた複数のマイクロホンが出力した複数の電気信号に基づく音信号ベクトルを生成するステップと、
前記音信号ベクトルに含まれる信号成分に対応する信号部分空間と、前記音信号ベクトルに含まれる雑音成分に対応する雑音部分空間とを特定するステップと、
遅延和アレイ法を前記音信号ベクトルに適用することにより、前記音源の方向の複数の候補を示す複数の候補ベクトルを特定するステップと、
前記信号部分空間と前記雑音部分空間との内積の２乗和を含む第１評価関数に基づいて前記複数の候補ベクトルが示す方向から選択した音源方向ベクトルが示す方向を前記音源の方向として特定するステップと、
を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、音源の位置を特定するための音源定位装置、音源定位方法及びプログラムに関する。

【背景技術】

【0002】

従来、音源の方向を特定するための方法が研究されている。特許文献１には、音源方向の事後分布と変関数との間の差異を表す関数を目的関数として、変分推論法に基づいて目的関数を最小化するように各種のパラメータを推定することにより音源の位置を推定する方法が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第６６２３１８５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来の方法のように変分推論法を用いる場合、推定値とともに、推定値を求めるための変数も確率変数であるため、未知のパラメータが複数となる。これらの複数の変数を推定するには多くの計算量が必要になるため、変分推論法を用いる従来の方法は会議のような場でリアルタイムに音源を定位する用途に適していなかった。

【0005】

そこで、本発明はこれらの点に鑑みてなされたものであり、音源定位に要する時間を短縮することを目的とする。

【課題を解決するための手段】

【0006】

本発明の第１の態様の音源定位装置は、音源が発した音を受けた複数のマイクロホンが出力した複数の電気信号に基づく音信号ベクトルを生成する音信号ベクトル生成部と、前記音信号ベクトルに含まれる信号成分に対応する信号部分空間と、前記音信号ベクトルに含まれる雑音成分に対応する雑音部分空間とを特定する部分空間特定部と、遅延和アレイ法を前記音信号ベクトルに適用することにより、前記音源の方向の複数の候補を示す一以上の候補ベクトルを特定する候補特定部と、前記信号部分空間と前記雑音部分空間との内積の２乗和を含む最適化評価関数に基づいて、前記一以上の候補ベクトルのうち少なくともいずれかに基づく初期解を用いて探索した音源方向ベクトルが示す方向を前記音源の方向として特定する方向特定部と、を有する。

【0007】

前記候補特定部は、遅延和アレイ法を前記音信号ベクトルに適用することにより特定した前記一以上の候補ベクトルのうち、前記信号部分空間に対応する信号部分空間ベクトルとの内積の２乗和が所定の信頼性条件を満たす前記初期解を特定してもよい。

【0008】

前記候補特定部は、前記部分空間特定部が前記信号部分空間及び前記雑音部分空間を特定する処理と並行して前記一以上の候補ベクトルを特定する処理を実行してもよい。

【0009】

前記音信号ベクトル生成部は、前記複数の電気信号をフーリエ変換することにより前記音信号ベクトルを生成し、前記方向特定部は、前記フーリエ変換のフレームごとに前記音源の方向を特定してもよい。

【0010】

前記方向特定部は、前記フーリエ変換により生成される複数の周波数ビンに対応する複数の前記音源方向ベクトルを平均化して得られる平均方向ベクトルに基づいて前記音源の方向を特定してもよい。

【0011】

前記候補特定部は、前記複数の電気信号をフーリエ変換した際の１つのフレーム内で前記一以上の候補ベクトルの演算を完了できるように前記周波数ビンを間引くことにより、前記一以上の候補ベクトルを特定してもよい。

【0012】

前記方向特定部は、以下の式で表される前記最適化評価関数を用いる確率的勾配降下法を用いることにより前記音源方向ベクトルを特定してもよい。

ただし、（θ，φ）は方向、ａ_ｋ（θ_Ｌ，φ_Ｌ）はθ、φ方向に目的音源があると仮定した場合の仮想的なステアリングベクトル、ｔはフレーム番号、ｋは周波数ビン番号、Ｑ_Ｎ（ｔ，ｋ）は雑音部分空間ベクトルである。

【0013】

前記部分空間特定部は、前記音信号ベクトルと、当該音信号ベクトルを前記信号部分空間に射影したベクトルとの差に基づく直交性評価関数に基づいて前記信号部分空間を特定してもよい。

【0014】

前記部分空間特定部は、以下の式で表される前記直交性評価関数に基づいて前記信号部分空間を特定してもよい。

ただし、βは忘却関数、ｔはフレーム番号、ｋは周波数ビン番号、Ｑ_Ｓ（ｔ，ｋ）は信号部分空間ベクトル、Ｑ_ＰＳ ^Ｈ（ｌ－１，ｋ）は前フレームでの信号部分空間ベクトルの推定結果、Ｘは音信号である。

【0015】

本発明の第２の態様の音源定位方法は、コンピュータが実行する、音源が発した音を受けた複数のマイクロホンが出力した複数の電気信号に基づく音信号ベクトルを生成するステップと、前記音信号ベクトルに含まれる信号成分に対応する信号部分空間と、前記音信号ベクトルに含まれる雑音成分に対応する雑音部分空間とを特定するステップと、遅延和アレイ法を前記音信号ベクトルに適用することにより、前記音源の方向の複数の候補を示す複数の候補ベクトルを特定するステップと、前記信号部分空間と前記雑音部分空間との内積の２乗和を含む第１評価関数に基づいて前記複数の候補ベクトルが示す方向から選択した音源方向ベクトルが示す方向を前記音源の方向として特定するステップと、を有する。

【0016】

本発明の第３の態様のプログラムは、コンピュータに、音源が発した音を受けた複数のマイクロホンが出力した複数の電気信号に基づく音信号ベクトルを生成するステップと、前記音信号ベクトルに含まれる信号成分に対応する信号部分空間と、前記音信号ベクトルに含まれる雑音成分に対応する雑音部分空間とを特定するステップと、遅延和アレイ法を前記音信号ベクトルに適用することにより、前記音源の方向の複数の候補を示す複数の候補ベクトルを特定するステップと、前記信号部分空間と前記雑音部分空間との内積の２乗和を含む第１評価関数に基づいて前記複数の候補ベクトルが示す方向から選択した音源方向ベクトルが示す方向を前記音源の方向として特定するステップと、を実行させる。

【発明の効果】

【0017】

本発明によれば、音源定位に要する時間を短縮することができるという効果を奏する。

【図面の簡単な説明】

【0018】

【図1】マイクロホンシステムの概要を説明するための図である。

【図2】マイクロホンアレイの設計モデルを示す図である。

【図3】音源定位装置の構成を示す図である。

【図4】音源定位装置が音源定位方法を実行する処理のフローチャートである。

【図5】方向特定部が音源方向を特定する処理のフローチャートである。

【発明を実施するための形態】

【0019】

［マイクロホンシステムＳの概要］
図１は、マイクロホンシステムＳの概要を説明するための図である。マイクロホンシステムＳは、マイクロホンアレイ１と、音源定位装置２と、ビームフォーミング装置３と、を備えている。マイクロホンシステムＳは、会議室又はホール等の空間内で複数の話者Ｈ（図１においては、話者Ｈ－１～Ｈ－４）が発した音声を収集するためのシステムである。

【0020】

マイクロホンアレイ１は、図１において黒丸（●）で示す複数のマイクロホン１１を有しており、話者Ｈが滞在する空間の天井、壁面又は床面に設置される。マイクロホンアレイ１は、複数のマイクロホン１１に入力された音声に基づく複数の音信号（例えば電気信号）を音源定位装置２に入力する。

【0021】

音源定位装置２は、マイクロホンアレイ１から入力された音信号を解析することにより、音声を発した音源（すなわち話者Ｈ）の方向を特定する。詳細については後述するが、音源の方向は、マイクロホンアレイ１を中心とする方位により表される。音源定位装置２は、例えばプロセッサを有しており、プロセッサがプログラムを実行することにより音源の方向を特定する。

【0022】

ビームフォーミング装置３は、音源定位装置２が特定した音源の方向に基づいて複数のマイクロホン１１に対応する複数の音信号の重み係数を調整することによりビームフォーミング処理を実行する。ビームフォーミング装置３は、例えば、話者Ｈが発する音声に対する感度を、話者Ｈがいる向き以外の向きから到来する音に対する感度よりも大きくする。音源定位装置２及びビームフォーミング装置３は、同一のプロセッサにより実現されてもよい。

【0023】

図１は、話者Ｈ－２が音声を発している状態を示している。図１に示す状態において、音源定位装置２は、話者Ｈ－２の方向から音声が発せられていることを特定し、ビームフォーミング装置３は、マイクロホンアレイ１の指向特性におけるメインローブが話者Ｈ－２の向きになるようにビームフォーミング処理を行う。

【0024】

マイクロホンシステムＳが会議での話者別の音声の分離又は音声の認識等に使用される場合、音源定位装置２は、話者の移り変わりや移動に応じて、発言中の話者の方向を短時間で特定する必要がある。したがって、音源定位装置２では、リアルタイム性を確保するために、音声信号をフーリエ変換した際の１つのフレーム内で音源定位処理を完了することが望ましい。また、多数の話者の音声を誤りなく分離するために、音源定位装置２には、高い精度で音源の方向を特定することも要求される。

【0025】

音源定位法の1つであるＭＵＳＩＣ（多重信号分類：MUltiple SIgnal Classification)は、信号部分空間と雑音部分空間の直交性に基づく高解像度定位法である。この手法は固有値分解を必要とし、マイクロホン１１の数をＭとすると、ＭＵＳＩＣの演算オーダーはＯ（Ｍ^３）となる。そのため、ＭＵＳＩＣでは、リアルタイムでの高速処理を実現することが困難である。また、ＭＵＳＩＣにより音源方向を特定する場合、音源が一つであっても、反射、残響及びエイリアシング等の影響で、正解方向とは異なる方向を音源方向として特定してしまう場合があり、ＭＵＳＩＣは精度の点でも不十分である。

【0026】

このような課題を解決するために、本実施形態に係る音源定位装置２は、固有値分解をすることなく信号部分空間を算出するＰＡＳＴ（Projection Approximation Subspace Tracking)を用いることにより、大幅に演算量を削減する。この手法においては、ＲＬＳ（Recursive Least Square）により、信号部分空間をフーリエ変換のフレームごとに逐次更新する。したがって、話者の移り変わりが発生したり話者が移動したりする場合であっても、音源定位装置２は、高速に信号部分空間を算出できる。

【0027】

また、音源定位装置２は、ＭＵＳＩＣスペクトル分母項を評価関数とする最小化問題を解くことにより、演算量をＯ（Ｍ^３）からＯ（Ｍ）まで削減する。具体的には、音源定位装置２は、確率的勾配降下法の１つであるＮａｄａｍ（Nesterov-accelerated adaptive moment estimation）を使用する。Ｎａｄａｍは、Ａｄａｍにネステロフの加速法を組み込んだものであり、１回の反復処理後の勾配情報を用いることで解への収束速度を向上させる手法である。音源定位装置２は、Ｎａｄａｍの反復回数を削減するために、遅延和アレイ法（ＤＳＡ：Delay-Sum Array Method）により探索した方向を初期解に使用することを特徴としている。

【0028】

具体的には、音源定位装置２は、遅延和アレイ法で求めた初期解候補を複数個求め、複数の初期解候補それぞれとＰＡＳＴにより求めた信号部分空間との内積を算出する。音源定位装置２は、複数の初期解候補のうち、内積が最大になる初期解候補をＮａｄａｍの初期解とすることで、音源の真の方向の周辺の範囲での解の探索を可能にする。音源定位装置２は、このように遅延和アレイ法により初期解となる方向の候補を算出することで、Ｎａｄａｍにおける処理の反復回数を削減し、短時間で最小化問題を収束させて音源の方向を特定する。

【0029】

［音源定位方法］
（設計モデル）
図２は、マイクロホンアレイ１の設計モデルを示す図である。図２においては、（θ_Ｌ，φ_Ｌ）方向の固定音源ｓ（ｎ）からの信号をＹ字マイクロホンアレイで受音することが想定されている。図２に示すように、各マイクロホン１１は、中心点からそれぞれｄ１、ｄ２の距離の位置に配置されている。マイクロホン１１が配置されている３つの方向の間の角度は１２０度である。ここで、音源とマイクロホンアレイ１との距離が十分に大きい場合、音信号はマイクロホンアレイ１の付近で平面波であると見なすことができる。この場合、受信した音信号Ｘ（ｔ，ｋ）は周波数領域の音信号ベクトルとして次式で表すことができる。

【数1】

【数2】

【数3】

【0030】

上記の式において、ｔはフーリエ変換におけるフレーム番号、ｋは周波数ビン番号、τ_ｍはマイクロホンｍにおける基準マイクロホン（例えばマイクロホン１１－０）に対する到達時間差、Ｓ（ｔ，ｋ）は音源信号の周波数表示、Γ（ｔ，ｋ）は観測雑音の周波数表示、Ｔは転置を表す。音源定位は、あるフレームｔにおいて受音信号Ｘ（ｔ，ｋ）から音源方向ベクトルｚ＝［θ_Ｌ，φ_Ｌ］^Ｔの推定値ｚ_ｅ＝［θ_ｅ，φ_ｅ］^Ｔを求める処理である。

【0031】

（信号部分空間の算出）
本音源定位方法は、信号部分空間を算出するために、ＭＵＳＩＣ及びＰＡＳＴを使用する。ＭＵＳＩＣは、音信号が到来している方向を推定する方法である。ＭＵＳＩＣは、相関行列Ｒ（ｔ，ｋ）＝Ｅ［Ｘ（ｔ，ｋ）Ｘ^Ｈ（ｔ，ｋ）］の固有値分解により算出される固有ベクトルで張られる信号部分空間ベクトルＱ_ｓ（ｔ，ｋ）＝ａ_ｋ（θ_Ｌ，φ_Ｌ）と雑音部分空間ベクトルＱ_Ｎ（ｔ，ｋ）との直交性に基づいて行われる。Ｅ［・］は期待値演算、Ｈはエルミート転置を表す。ＭＵＳＩＣは、式（４）で表されるＭＵＳＩＣスペクトルＰ_ｋ（θ，φ）を評価関数として用いる。

【数4】

【0032】

ａ_ｋ（θ_Ｌ，φ_Ｌ）は（θ，φ）方向に目的音源があると仮定した場合の仮想的なステアリングベクトルである。信号部分空間と雑音部分空間の直交性から、ａ_ｋ（θ，φ）＝ａ_ｋ（θ_Ｌ，φ_Ｌ）となった場合に式（４）の分母は０となり、Ｐ_ｋ（θ，φ）は最大値（ピーク）を示す。

【0033】

式（４）の最大値はフレームごとに算出する必要がある。フレームごとに固有値分解をすると演算負荷が大きくなる。そこで、音源定位装置２は、ＰＡＳＴを用いることにより、固有値分解をすることなくＱ_ｓ（ｔ，ｋ）をフレームごとに逐次更新を行う。すなわち音源定位装置２は、演算負荷を低減しつつＱ_ｓ（ｔ，ｋ）を算出し、式（４）の分母を最小とするＱ_N（ｔ，ｋ）を算出する。ＰＡＳＴは、式（５）のＪ（Ｑ_ｓ（ｔ，ｋ））を最小とするＱ_ｓ（ｔ，ｋ）を求める処理である。

【数5】

【0034】

式（５）は、信号部分空間ベクトルと雑音部分空間ベクトルとの直交性が大きい場合に小さな値となる直交性評価関数である。式（５）において、βは忘却係数であり、Ｑ_ＰＳ ^Ｈ（ｌ－１，ｋ）は前フレームでの信号部分空間ベクトルの推定結果Ｑｓである。Ｘ（ｌ，ｋ）は音信号ベクトルであり、Ｑ_Ｓ（ｔ，ｋ）Ｑ_ＰＳ ^Ｈ（ｌ－１，ｋ）Ｘ（ｌ，ｋ）は、音信号ベクトルを信号部分空間に射影したベクトルである。音源定位装置２は、式（５）に基づいて推定したＱ_ｓ（ｔ，ｋ）を用いて、Ｑ_Ｎ（ｔ，ｋ）Ｑ_Ｎ ^Ｈ（ｔ，ｋ）＝Ｉ－Ｑ_Ｓ（ｔ，ｋ）Ｑ_Ｓ ^Ｈ（ｔ，ｋ）を算出する。さらに音源定位装置２は、算出した値を式（４）に適用することで、ＭＵＳＩＣスペクトルＰ_ｋ（θ，φ）を算出する。ここで、Ｉは単位行列を表す。

【0035】

音源定位装置２がＰＡＳＴを用いてＱ_Ｎ（ｔ，ｋ）Ｑ_Ｎ ^Ｈ（ｔ，ｋ）を算出することで、ＭＵＳＩＣスペクトルを算出するために必要な演算オーダーは従来のＯ（Ｍ^３）からＯ（２Ｍ）に減少する。したがって、音源定位装置は、信号部分空間ベクトルを特定するための処理時間を大幅に短縮することができる。

【0036】

音源定位装置２は、雑音部分空間ベクトルを特定した後に、確率的勾配降下法の一つであるＮａｄａｍを用いる。Ｎａｄａｍの最適化評価関数には、次式を用いる。次式のＪ_ｋ（θ，φ）は、式（４）の分母であり、これを最小化する解が方向ベクトルｚ_ｅに対応する。

【数6】

【数7】

【0037】

音源定位装置２は、Ｊ_ｋ（θ，φ）を最小化する解を探索する際の初期解候補を遅延和アレイ法で推定することにより、探索の反復回数を削減する。遅延和アレイ法による空間スペクトルＱ_ｋ（θ，φ）は式（８）により表される。

【数8】

【0038】

Ｒ_ＤＳ（ｔ，ｋ）＝Ｅ［Ｘ_ＤＳ（ｔ，ｋ）Ｘ_ＤＳ ^Ｈ（ｔ，ｋ）］は遅延和アレイ法で使用する相関行列、ｂ_ｋ（θ，φ）はステアリングベクトルである。音源定位装置２は、Ｑ_ｋ（θ，φ）を以下の式（９）に示すように統合した値が所定の値以上になる方向を初期解候補として特定する。

【数9】

【0039】

初期解候補には高い精度が求められない。したがって、音源定位装置２は、初期解候補の演算負荷を軽減するために、周波数ビンｋ及び方向（θ，φ）を間引いて、周波数ビンｋ及び方向（θ，φ）の粗さを１フレーム内で初期解候補の演算が完了する程度にしてもよい。

【0040】

ただし、式（９）の算出結果によって、真のピーク方向（θ_Ｌ，φ_Ｌ）から離れた位置にピークが現れる場合がある。この現象は、空間スペクトルＱ_ｋ（θ，φ）がエイリアシング、反射、又は残響等の影響を受けることにより発生する。そこで、音源定位装置２は、式（９）に基づくピークサーチ時に、初期解候補となるピークをＲ個求めて、式（１０）により信頼度を算出してもよい。

【数10】

【0041】

式（１０）は、初期解候補とＰＡＳＴにより求めた信号部分空間ベクトルとの内積の２乗和である。式（１０）から得られる結果は、大きい値を取る方向（θ_ｒ，φ_ｒ）において、Ｑｓ（ｔ，ｋ）が張る信号部分空間ベクトルと近いことを表す。音源定位装置２は、式（１１）に示すように、最も信頼度が大きいピークを初期解ｚ’として特定する。

【数11】

【0042】

音源定位装置２は、初期解をｚ’に決定した後にｚ_ｅ＝ｚ’として、式（６）を用いたＮａｄａｍの手法により、各周波数ビンに対応する（θ_ｋ，φ_ｋ）を算出する。音源定位装置２は、これらの各周波数ビンに対応する（θ_ｋ，φ_ｋ）を平均した値を新たな音源方向ベクトルｚ_ｅとして推定する。Ｎａｄａｍを用いて解を探索する前に上記の方法で初期解ｚ’を求めることにより、音源定位装置２は、音源信号が張る信号部分空間に近い解を短時間で探索することが可能になる。

【0043】

［音源定位装置２の構成］
図３は、音源定位装置２の構成を示す図である。以下、図３を参照しながら、音源定位装置２が上記の音源定位方法を実施するための各部の動作を説明する。音源定位装置２は、音信号ベクトル生成部２１と、部分空間特定部２２と、候補特定部２３と、方向特定部２４と、を有する。候補特定部２３は、遅延和アレイ処理部２３１と、信頼度算出部２３２と、初期解特定部２３３と、を有する。音源定位装置２は、メモリに記憶されたプログラムをプロセッサが実行することにより、音信号ベクトル生成部２１、部分空間特定部２２、候補特定部２３、及び方向特定部２４として機能する。

【0044】

音信号ベクトル生成部２１は、音信号ベクトルを生成する。音信号ベクトルは、音源が発した音を受けた複数のマイクロホン１１が出力した複数の電気信号に基づいて生成される。具体的には、音信号ベクトル生成部２１は、複数のマイクロホン１１から入力された複数の電気信号をフーリエ変換（例えば高速フーリエ変換）することにより、周波数領域の音信号ベクトルを生成する。音信号ベクトル生成部２１は、生成した音信号ベクトルを部分空間特定部２２及び候補特定部２３に入力する。

【0045】

部分空間特定部２２は、音信号ベクトルに含まれる信号成分に対応する信号部分空間と、音信号ベクトルに含まれる雑音成分に対応する雑音部分空間とを特定する。部分空間特定部２２は、例えばＰＡＳＴを用いることにより、信号部分空間ベクトル及び雑音部分空間ベクトルを特定する。信号部分空間ベクトル及び雑音部分空間ベクトルは、音信号ベクトルと、当該音信号ベクトルを信号部分空間に射影したベクトルとの差に基づく式（５）に示した直交性評価関数に基づいて特定される。

【0046】

候補特定部２３は、遅延和アレイ法を音信号ベクトルに適用することにより、一以上の候補ベクトルを特定する。一以上の候補ベクトルは、音源の方向（すなわち音信号の到来方向）として想定される一以上の方向に対応する。そして、候補特定部２３は、特定した一以上の候補ベクトルのうち、信号部分空間ベクトルとの内積の２乗和が所定の信頼性条件を満たす候補ベクトルを特定する。信頼性条件は、例えば、候補ベクトルと信号部分空間ベクトルとの内積の２乗和が閾値以上であることである。信頼性条件は、予見される方向から到来する音信号の確率分布と、候補ベクトルが示す方向との内積２乗和の尤度が相対的に大きいことである。特定された候補ベクトルは、方向特定部２４が音源の方向を探索する処理を実行する際の初期解として用いられる。候補特定部２３は、部分空間特定部２２が実行する処理と並行して一以上の候補ベクトルを特定する動作を実行してもよく、部分空間特定部２２が信号部分空間ベクトル及び雑音部分空間ベクトルを特定する処理を実行した後に一以上の候補ベクトルを特定する動作を実行してもよい。

【0047】

なお、候補特定部２３は、初期解候補の演算負荷を軽減するために、音信号をフーリエ変換した際の１つのフレーム内で初期解候補となる一以上の候補ベクトルの演算を完了できるように周波数ビンｋ及び方向（θ，φ）を決定してもよい。候補特定部２３は、例えば、音信号のフーリエ変換により生成される複数の周波数ビンを間引くことにより、周波数ビンｋ及び方向（θ，φ）を決定する。

【0048】

遅延和アレイ処理部２３１は、公知の遅延和アレイ法を用いて、マイクロホン１１のそれぞれに音源が発した音信号が到達する時間の差に基づいて、音信号の到来方向の可能性がある複数の方向を示す複数の候補ベクトルを推定する。続いて、信頼度算出部２３２は、式（１０）を用いて、遅延和アレイ処理部２３１が推定した複数の候補ベクトルに対応する方向それぞれの信頼度を算出する。初期解特定部２３３は、信頼度算出部２３２が算出した信頼度が最も高い候補ベクトルを、方向特定部２４が実行する探索処理の初期解として方向特定部２４に入力する。

【0049】

方向特定部２４は、部分空間特定部２２が特定した信号部分空間ベクトルと雑音部分空間ベクトルとの内積の２乗和を含む式（６）により表される最適化評価関数に基づいて、音源の方向を特定する。方向特定部２４は、部分空間特定部２２が特定した一以上の候補ベクトルのうち少なくともいずれかに基づく初期解を用いて探索した音源方向ベクトルが示す方向を音源の方向として特定する。具体的には、方向特定部２４は、式（６）で表される最適化評価関数を用いる確率的勾配降下法を用いることにより音源方向ベクトルを特定する。

【0050】

方向特定部２４は、フーリエ変換のフレームごとに音源の方向を特定する。そして、方向特定部２４は、平均方向ベクトルに基づいて音源の方向を特定する。平均方向ベクトルは、フーリエ変換により生成される複数の周波数ビンに対応する複数の音源方向ベクトルを平均化して得られる。

【0051】

［音源定位装置２の処理フローチャート］
図４は、音源定位装置２が音源定位方法を実行する処理のフローチャートである。音信号ベクトル生成部２１は、マイクロホンアレイ１から音信号Ｘ（ｔ，ｋ）に対応する電気信号を取得すると（Ｓ１）、各変数を初期化する（Ｓ２）。音信号ベクトル生成部２１は、音信号Ｘ（ｔ，ｋ）を高速フーリエ変換することにより（Ｓ３）、周波数ビンｋ（ｋは自然数）により構成される周波数領域の音信号ベクトルを生成する（Ｓ４）。

【0052】

続いて、部分空間特定部２２は、音信号ベクトルを信号部分空間に射影することにより射影ベクトルを作成する（Ｓ５）。部分空間特定部２２は、式（５）に基づいて固有値を更新し（Ｓ６）、信号部分空間ベクトルＱ_ｓ（ｔ，ｋ）を更新する（Ｓ７）。部分空間特定部２２は、規定の回数にわたってＳ５からＳ７までの処理を実行したか否かを判定する（Ｓ８）。部分空間特定部２２は、規定の回数にわたって処理を実行したと判定した場合、最新の信号部分空間ベクトルを方向特定部２４に入力する。

【0053】

Ｓ５からＳ８までの処理と並行して、候補特定部２３は、相関行列Ｒ（ｔ，ｋ）＝Ｅ［Ｘ（ｔ，ｋ）Ｘ^Ｈ（ｔ，ｋ）］を作成し（Ｓ９）、式（９）を用いて周波数ビンごとの総和を算出する（Ｓ１０）。候補特定部２３は、算出した値が所定の条件を満たす方向（例えば閾値以上である方向）を示すベクトルを初期解の候補として特定する（Ｓ１１）。さらに候補特定部２３は、特定した初期解の候補の信頼度を式（１０）により算出し（Ｓ１２）、信頼度が最大となる初期解候補を初期解に決定する（Ｓ１３）。

【0054】

候補特定部２３は、決定した初期解を方向特定部２４に通知する。方向特定部２４は、部分空間特定部２２から通知された信号部分空間ベクトル及び候補特定部２３から通知された初期解に基づいて、式（６）に示した最適化評価関数を用いて音源の方向を特定する（Ｓ１４）。

【0055】

図５は、方向特定部２４が音源方向を特定する処理（Ｓ１４）のフローチャートである。まず、方向特定部２４は、Ｑ_Ｎ（ｔ，ｋ）Ｑ_Ｎ ^Ｈ（ｔ，ｋ）＝Ｉ－Ｑ_Ｓ（ｔ，ｋ）Ｑ_Ｓ ^Ｈ（ｔ，ｋ）を算出し（Ｓ１４１）、算出した結果に基づいて、式（６）に示したＪ_ｋ（θ，φ）の勾配を算出する（Ｓ１４２）。続いて、方向特定部２４は、Ｎａｄａｍの処理に用いる１次モーメントｍ_ｉ及び２次モーメントｎ_ｉを算出し（Ｓ１４３）、Nesterov加速による適応学習率を算出する（Ｓ１４４）。方向特定部２４は、算出した適応学習率に基づいて方向ベクトルの解を更新する（Ｓ１４５）。

【0056】

方向特定部２４は、規定回数に達するまでＳ１４２からＳ１４５の処理を繰り返し、全ての周波数ビンに対して得られた方向ベクトルの解の平均値を算出することにより、音源の方向を特定する（Ｓ１４７）。

【0057】

［実環境実験の結果］
本実施形態に係る音源定位方法の有効性を示すため、実環境実験を行なった。音信号の収録環境は、株式会社オーディオテクニカ本社第１会議室と第２会議室である。第１会議室の大きさは、５．３［ｍ］×４．７［ｍ］×２．６［ｍ］で、残響時間は０．１７秒である。第２会議室の大きさは、１２．９［ｍ］×６．０［ｍ］×４．０［ｍ］で、残響時間は０．８０秒である。環境雑音として、パーソナルコンピュータの排気音と空調音が存在していた。

【0058】

それぞれの会議室に設置したスピーカを音源とする男性の声を流しながら、マイクロホンアレイ１で声を録音した。表１に、音源方向の真値、及びマイクロホンアレイ１と話者間距離Ｓ_ｄを示す。

【表1】

【0059】

本実験においては、マイクロホン数Ｍ＝７、ｄ_１＝１５［ｍｍ］、ｄ_２＝４３［ｍｍ］、サンプリング周波数ｆ_ｓ＝１２［ｋＨｚ］、フレーム長Ｋ＝１２８、５０％オーバーラップ、使用周波数帯域２［ｋＨｚ］～５［ｋＨｚ］、ＰＡＳＴの忘却係数β＝０．９６、Ｒ＝２とした。また、Ｎａｄａｍのステップサイズを０．１とした。処理時間の測定には、Ｉｎｔｅｌ Ｃｏｒｅ（登録商標）ｉ７－７７００ＨＱ ＣＰＵ（２．８０ＧＨｚ），ＲＡＭ１６ＧＢのコンピュータを使用した。推定した音源の方向と真値とのずれの値を、式（１２）に示す平均値絶対誤差δ＝［δ_θ，δ_φ］を用いて評価した。ｚ＝［θ_Ｌ，φ_Ｌ］^Ｔは音源の真値方向である。

【数12】

【0060】

音源定位方法として、本実施形態に係る音源定位方法（以下、「本方法」という。）と、比較方法１、比較方法２を用いた。比較方法１は、式（１０）による信頼性の確認を行わない点を除いて本方法と同じ方法である。比較方法２は、固有値分解することによりＭＵＳＩＣスペクトルをピークサーチする方法である。なお、式（１２）の評価値を演算する際、無音区間を除いて評価値を算出した。

【0061】

表２は、各方法を用いて測定した結果の平均値絶対誤差δを示す。表２から、本方法及び比較方法２を用いる場合、真値に対する誤差は５［°］未満であることが確認できる。一方、信頼性確認を実施しない比較方法１は本方法よりも誤差が大きかった。比較方法２は、ＭＵＳＩＣスペクトルをそのままピークサーチしているため、本方法よりもわずかに誤差が小さいという傾向がある。

【表2】

【0062】

さらに、それぞれの方法の信号長１秒あたりの平均演算時間ＲＴＦ＝Ｓ_ｃ／Ｓ_ｌを比較した。ここで、Ｓ_ｃは演算時間（秒）、Ｓ_ｌは信号長（秒）である。平均演算時間が１（秒）未満になる場合、リアルタイムでの音源定位が可能である。

【0063】

表３は、それぞれの方法の平均演算時間を示す。本方法及び比較方法１では、平均演算時間が１（秒）を大きく下回っており、リアルタイム性を確保できることがわかる。一方、比較方法２では平均演算時間が１（秒）を大きく上回っており、リアルタイム性を確保できないことがわかる。

【表3】

【0064】

以上の実験結果から、本実施形態に係る音源定位方法を用いると、十分な精度を確保しつつ、リアルタイムで音源を定位することができることが明らかになった。

【0065】

［本実施形態に係る音源定位装置２による効果］
以上説明したように、本実施形態に係る音源定位装置２は、ＭＵＳＩＣに用いる固有ベクトルの算出にＰＡＳＴを用いることで、固有値分解をすることなく高速に信号部分空間を算出する。そして、音源定位装置２は、ＭＵＳＩＣスペクトルの分母を評価関数とするＮａｄａｍにより最適解を算出する前に、遅延和アレイ法で初期解候補を特定する。音源定位装置２は、遅延和アレイ法で特定した初期解候補の信頼度に基づいて初期解を決定することで、最適解の探索時間を短縮することができる。実環境実験により、音源定位装置２が実施する音源定位方法にはリアルタイム性があり、定位誤差を５°未満に抑えられることが確認できた。

【0066】

なお、以上の説明においては、固定音源を用いて動作を確認した。しかし、音源が移動する場合にも本実施形態に係る音源定位方法は適用することができる。本実施形態に係る音源定位方法は高速に最適解を探索することができる。そのため、本実施形態に係る音源定位方法は、高速・高精度の音源の追尾を可能にする。また、以上の説明においては、最適解を探索する手段としてＮａｄａｍを例示したが、最適解を探索する手段はＮａｄａｍに限らず、最小化問題を解くための他の手段が用いられてもよい。

【0067】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。

【符号の説明】

【0068】

１ マイクロホンアレイ
２ 音源定位装置
３ ビームフォーミング装置
１１ マイクロホン
２１ 音信号ベクトル生成部
２２ 部分空間特定部
２３ 候補特定部
２３１ 遅延和アレイ処理部
２３２ 信頼度算出部
２３３ 初期解特定部
２４ 方向特定部

【図1】

【図2】

【図3】

【図4】

【図5】