特許 7450911 音響解析装置、音響解析方法及び音響解析プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-08

(45)【発行日】2024-03-18

(54)【発明の名称】音響解析装置、音響解析方法及び音響解析プログラム

(51)【国際特許分類】

   G10L 21/028 20130101AFI20240311BHJP

   G10L 21/0308 20130101ALI20240311BHJP

【ＦＩ】

G10L21/028 B

G10L21/0308 Z

【請求項の数】 8

(21)【出願番号】P 2019220584

(22)【出願日】2019-12-05

(65)【公開番号】P2021089388

(43)【公開日】2021-06-10

【審査請求日】2022-12-02

【新規性喪失の例外の表示】特許法第３０条第２項適用 令和１年８月６日にプレプリントサーバに論文を発表

【新規性喪失の例外の表示】特許法第３０条第２項適用 令和１年８月２１日に日本音響学会２０１９年秋季研究発表会講演論文集に論文を発表

【新規性喪失の例外の表示】特許法第３０条第２項適用 令和１年９月４日に日本音響学会２０１９年秋季研究発表会にて発表

【新規性喪失の例外の表示】特許法第３０条第２項適用 令和１年１１月１９日にＡｓｉａ－Ｐａｃｉｆｉｃ Ｓｉｇｎａｌ ａｎｄ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ａｓｓｏｃｉａｔｉｏｎ Ａｎｎｕａｌ Ｓｕｍｍｉｔ ａｎｄ Ｃｏｎｆｅｒｅｎｃｅ ２０１９にて発表

(73)【特許権者】

【識別番号】504137912

【氏名又は名称】国立大学法人 東京大学

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(72)【発明者】

【氏名】猿渡 洋

(72)【発明者】

【氏名】久保 優騎

(72)【発明者】

【氏名】▲高▼宗 典玄

(72)【発明者】

【氏名】北村 大地

【審査官】山下 剛史

(56)【参考文献】

【文献】特開２０１８－３６３３２（ＪＰ，Ａ）

【文献】特開２０１５－１３５４３７（ＪＰ，Ａ）

【文献】特開２０１７－１５１２２６（ＪＰ，Ａ）

【文献】特開２０１７－１５２８２５（ＪＰ，Ａ）

【文献】久保優騎他，ランク制約付き空間共分散モデル推定法の逆行列展開による高速化，日本音響学会２０１９年秋季研究発表会講演論文集［ＣＤ－ＲＯＭ］，2019年09月，pp.287-290

【文献】北村大地他，独立低ランク行列分析に基づくブラインド音源分離，電子情報通信学会技術研究報告，2017年10月，Vol.117, No.255，pp.73-80

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｌ ２１／００－２５／９３

(57)【特許請求の範囲】

【請求項1】

複数のマイクにより測定した音響信号を取得する取得部と、
前記音響信号を、複数の音源から発せられる音響信号の推定値に分離する分離行列を算出する第１算出部と、
前記分離行列により定められ、周波数に関する空間相関行列、前記周波数に関する第１パラメータ並びに前記周波数及び時間に関する第２パラメータを含む第１モデルによって、拡散性雑音の音響信号を生成する第１生成部と、
前記分離行列により定められ、前記周波数に関するステアリングベクトル並びに前記周波数及び前記時間に関する第３パラメータを含む第２モデルによって、目的音源から発せられた音響信号を生成する第２生成部と、
前記第１パラメータ、前記第２パラメータ及び前記第３パラメータを、前記第１パラメータ、前記第２パラメータ及び前記第３パラメータの尤度を最大化するように決定する決定部と、を備え、
前記決定部は、前記周波数及び前記時間に関する行列の逆行列を、前記周波数に関する行列の逆行列に分解して、前記尤度を最大化するように、前記第１パラメータ、前記第２パラメータ及び前記第３パラメータを決定する、
音響解析装置。

【請求項2】

前記決定部は、前記周波数に関する行列の逆行列を、前記周波数に関する行列の疑似逆行列に分解して、前記尤度を最大化するように、前記第１パラメータ、前記第２パラメータ及び前記第３パラメータを決定する、
請求項１に記載の音響解析装置。

【請求項3】

前記周波数をｉと表し、前記時間をｊと表し、前記音響信号をｘ_ijと表し、前記分離行列をＷ_iと表し、ランクＭ－１の前記空間相関行列をＲ′_i ^(u)と表し、前記Ｒ′_i ^(u)の直交補空間ベクトルをｂ_iと表し、前記第１パラメータをλ_iと表し、前記第２パラメータをｒ_ij ^(u)と表すとき、
前記第１生成部は、以下の数式（１）により表される前記第１モデルによって、前記拡散性雑音の音響信号ｕ_ijを生成する、

【数1】

請求項１又は２に記載の音響解析装置。

【請求項4】

前記周波数をｉと表し、前記時間をｊと表し、前記ステアリングベクトルをａ_i ^(h)と表し、前記第３パラメータをｒ_ij ^(h)と表し、ハイパーパラメータα及びβで定められる逆ガンマ分布をＩｇ（α，β）と表すとき、
前記第２生成部は、以下の数式（２）により表される前記第２モデルによって、前記目的音源から発せられた音響信号ｈ_ijを生成する、

【数2】

請求項１から３のいずれか一項に記載の音響解析装置。

【請求項5】

前記決定部は、更新前の前記第１パラメータをチルダ付きのλ_iで表し、更新前の前記第２パラメータをチルダ付きのｒ_ij ^(u)で表し、更新前の前記第３パラメータをチルダ付きのｒ_ij ^(h)で表すとき、以下の数式（３）により、十分統計量ｒ_ij ^(h)及びＲ_ij ^(u)を算出し、

【数3】

以下の数式（４）により、前記第１パラメータλ_i、前記第２パラメータｒ_ij ^(u)及び前記第３パラメータｒ_ij ^(h)を更新し、

【数4】

更新の際に、以下の数式（５）によって、前記周波数及び前記時間に関する行列Ｒ_ij ^(x)の逆行列を、前記周波数に関する行列Ｒ_i ^(u)の逆行列に分解する、

【数5】

請求項３又は４に記載の音響解析装置。

【請求項6】

前記決定部は、更新の際に、以下の数式（６）によって、前記周波数に関する行列Ｒ_i ^(u)の逆行列を、前記周波数に関する行列の疑似逆行列（Ｒ′_i ^(u)）⁺に分解する、

【数6】

請求項５に記載の音響解析装置。

【請求項7】

音響解析装置に備えられたプロセッサによって、
複数のマイクにより測定した音響信号を取得することと、
前記音響信号を、複数の音源から発せられる音響信号の推定値に分離する分離行列を算出することと、
前記分離行列により定められ、周波数に関する空間相関行列、前記周波数に関する第１パラメータ並びに前記周波数及び時間に関する第２パラメータを含む第１モデルによって、拡散性雑音の音響信号を生成することと、
前記分離行列により定められ、前記周波数に関するステアリングベクトル並びに前記周波数及び前記時間に関する第３パラメータを含む第２モデルによって、目的音源から発せられた音響信号を生成することと、
前記第１パラメータ、前記第２パラメータ及び前記第３パラメータを、前記第１パラメータ、前記第２パラメータ及び前記第３パラメータの尤度を最大化するように決定することと、を含み、
前記周波数及び前記時間に関する行列の逆行列を、前記周波数に関する行列の逆行列に分解して、前記尤度を最大化するように、前記第１パラメータ、前記第２パラメータ及び前記第３パラメータを決定する、
音響解析方法。

【請求項8】

音響解析装置に備えられたプロセッサを、
複数のマイクにより測定した音響信号を取得する取得部、
前記音響信号を、複数の音源から発せられる音響信号の推定値に分離する分離行列を算出する第１算出部、
前記分離行列により定められ、周波数に関する空間相関行列、前記周波数に関する第１パラメータ並びに前記周波数及び時間に関する第２パラメータを含む第１モデルによって、拡散性雑音の音響信号を生成する第１生成部、
前記分離行列により定められ、前記周波数に関するステアリングベクトル並びに前記周波数及び前記時間に関する第３パラメータを含む第２モデルによって、目的音源から発せられた音響信号を生成する第２生成部、及び
前記第１パラメータ、前記第２パラメータ及び前記第３パラメータを、前記第１パラメータ、前記第２パラメータ及び前記第３パラメータの尤度を最大化するように決定する決定部、として機能させ、
前記決定部は、前記周波数及び前記時間に関する行列の逆行列を、前記周波数に関する行列の逆行列に分解して、前記尤度を最大化するように、前記第１パラメータ、前記第２パラメータ及び前記第３パラメータを決定する、
音響解析プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、音響解析装置、音響解析方法及び音響解析プログラムに関する。

【背景技術】

【0002】

従来、複数の音源から発せられ混合した音響信号を、複数のマイクロホンにより測定した場合に、音源や混合系の事前情報なしに元の信号へ分離する「ブラインド音源分離」が研究されている。ブラインド音源分離の手法の一つとして、非特許文献１及び２に記載の手法が知られている。

【0003】

非特許文献１及び２に記載の手法は、ＩＬＲＭＡ（Independent Low-Rank Matrix Analysis）と略称され、比較的高い精度で、安定的に信号を分離することができる。

【先行技術文献】

【非特許文献】

【0004】

【文献】D. Kitamura, N. Ono, H. Sawada, H. Kameoka, and H. Saruwatari, "Determined blind source separation unifying independent vector analysis and nonnegative matrix factorization," IEEE/ACM Trans. ASLP, vol. 24, no. 9, pp. 1626‐1641, 2016.

【文献】D. Kitamura, N. Ono, H. Sawada, H. Kameoka, and H. Saruwatari, "Determined blind source separation with independent low-rank matrix analysis," in Audio Source Separation, S. Makino, Ed. Cham: Springer, 2018, pp. 125‐155.

【発明の概要】

【発明が解決しようとする課題】

【0005】

ＩＬＲＭＡは、異なる方角から発せられる音響信号を分離することができる。しかしながら、１つの目的音源から発せられる音響信号と、全方位から発せられる雑音信号とが混合する場合、ＩＬＲＭＡでは、目的音源の音響信号と、その方位の雑音信号とが混合した信号が分離されるにとどまり、目的音源の音響信号のみを分離することはできない。

【0006】

そこで、本発明は、目的音源の音響信号をより高速に分離することができる音響解析装置、音響解析方法及び音響解析プログラムを提供する。

【課題を解決するための手段】

【0007】

本発明の一態様に係る音響解析装置は、複数のマイクにより測定した音響信号を取得する取得部と、音響信号を、複数の音源から発せられる音響信号の推定値に分離する分離行列を算出する第１算出部と、分離行列により定められ、周波数に関する空間相関行列、周波数に関する第１パラメータ並びに周波数及び時間に関する第２パラメータを含む第１モデルによって、拡散性雑音の音響信号を生成する第１生成部と、分離行列により定められ、周波数に関するステアリングベクトル並びに周波数及び時間に関する第３パラメータを含む第２モデルによって、目的音源から発せられた音響信号を生成する第２生成部と、第１パラメータ、第２パラメータ及び第３パラメータを、第１パラメータ、第２パラメータ及び第３パラメータの尤度を最大化するように決定する決定部と、を備え、決定部は、周波数及び時間に関する行列の逆行列を、周波数に関する行列の逆行列に分解して、尤度を最大化するように、第１パラメータ、第２パラメータ及び第３パラメータを決定する。

【0008】

この態様によれば、周波数及び時間に関する行列の逆行列を、周波数に関する行列の逆行列に分解することで、演算量を削減して、目的音源の音響信号をより高速に分離することができる。

【0009】

本発明の他の態様に係る音響解析方法は、音響解析装置に備えられたプロセッサによって、複数のマイクにより測定した音響信号を取得することと、音響信号を、複数の音源から発せられる音響信号の推定値に分離する分離行列を算出することと、分離行列により定められ、周波数に関する空間相関行列、周波数に関する第１パラメータ並びに周波数及び時間に関する第２パラメータを含む第１モデルによって、拡散性雑音の音響信号を生成することと、分離行列により定められ、周波数に関するステアリングベクトル並びに周波数及び時間に関する第３パラメータを含む第２モデルによって、目的音源から発せられた音響信号を生成することと、第１パラメータ、第２パラメータ及び第３パラメータを、第１パラメータ、第２パラメータ及び第３パラメータの尤度を最大化するように決定することと、を含み、周波数及び時間に関する行列の逆行列を、周波数に関する行列の逆行列に分解して、尤度を最大化するように、第１パラメータ、第２パラメータ及び第３パラメータを決定する、音響解析方法。

【0010】

この態様によれば、周波数及び時間に関する行列の逆行列を、周波数に関する行列の逆行列に分解することで、演算量を削減して、目的音源の音響信号をより高速に分離することができる。

【0011】

本発明の他の態様に係る音響解析プログラムは、音響解析装置に備えられたプロセッサを、複数のマイクにより測定した音響信号を取得する取得部、音響信号を、複数の音源から発せられる音響信号の推定値に分離する分離行列を算出する第１算出部、分離行列により定められ、周波数に関する空間相関行列、周波数に関する第１パラメータ並びに周波数及び時間に関する第２パラメータを含む第１モデルによって、拡散性雑音の音響信号を生成する第１生成部、分離行列により定められ、周波数に関するステアリングベクトル並びに周波数及び時間に関する第３パラメータを含む第２モデルによって、目的音源から発せられた音響信号を生成する第２生成部、及び第１パラメータ、第２パラメータ及び第３パラメータを、第１パラメータ、第２パラメータ及び第３パラメータの尤度を最大化するように決定する決定部、として機能させ、決定部は、周波数及び時間に関する行列の逆行列を、周波数に関する行列の逆行列に分解して、尤度を最大化するように、第１パラメータ、第２パラメータ及び第３パラメータを決定する、音響解析プログラム。

【0012】

この態様によれば、周波数及び時間に関する行列の逆行列を、周波数に関する行列の逆行列に分解することで、演算量を削減して、目的音源の音響信号をより高速に分離することができる。

【発明の効果】

【0013】

本発明によれば、目的音源の音響信号をより高速に分離することができる音響解析装置、音響解析方法及び音響解析プログラムを提供することができる。

【図面の簡単な説明】

【0014】

【図1】本発明の実施形態に係る音響解析装置の機能ブロックを示す図である。

【図2】本実施形態に係る音響解析装置の物理的構成を示す図である。

【図3】本実施形態に係る音響解析装置により算出される分離行列の概要を示す図である。

【図4】本実施形態に係る音響解析装置により目的音源から発せられる音響信号を分離する実験の構成を示す図である。

【図5】本実施形態に係る音響解析装置により目的音源から発せられる音響信号を分離した場合の分離性能を示す図である。

【図6】本実施形態に係る音響解析装置により目的音源から発せられる音響信号を分離した場合の演算時間を示す図である。

【図7】本実施形態に係る音響解析装置により実行される音響分離処理のフローチャートである。

【発明を実施するための形態】

【0015】

添付図面を参照して、本発明の実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。

【0016】

図１は、本発明の実施形態に係る音響解析装置１０の機能ブロックを示す図である。音響解析装置１０は、取得部１１と、第１算出部１２と、第１生成部１３と、第２生成部１４と、決定部１５とを備える。

【0017】

取得部１１は、複数のマイク２０により測定した音響信号を取得する。取得部１１は、複数のマイク２０により測定され、記憶部に記憶された音響信号を、記憶部から取得してもよいし、複数のマイク２０により測定している音響信号をリアルタイムで取得してもよい。

【0018】

第１算出部１２は、音響信号を、複数の音源から発せられる音響信号の推定値に分離する分離行列を算出する。分離行列については、図３を用いて説明する。

【0019】

第１生成部１３は、分離行列により定められ、周波数に関する空間相関行列、周波数に関する第１パラメータ並びに周波数及び時間に関する第２パラメータを含む第１モデル１３ａによって、拡散性雑音の音響信号を生成する。第１モデル１３ａによって、拡散性雑音の音響信号を生成する処理については、後に詳細に説明する。

【0020】

第２生成部１４は、分離行列により定められ、周波数に関するステアリングベクトル並びに周波数及び時間に関する第３パラメータを含む第２モデルによって、目的音源から発せられた音響信号を生成する。第２モデル１４ａによって、目的音源から発せられた音響信号を生成する処理については、後に詳細に説明する。

【0021】

第１生成部１３は、拡散性雑音の音響信号ｕ_ijを生成し、第２生成部１４は、目的音源から発せられた音響信号ｈ_ijを生成する。音響解析装置１０は、マイク２０で測定された音響信号ｘ_ijと、生成した音響信号との関係がｘ_ij＝ｈ_ij＋ｕ_ijとなるように、第１モデル１３ａに含まれる第１パラメータ及び第２パラメータと、第２モデル１４ａに含まれる第３パラメータとを決定する。

【0022】

決定部１５は、第１パラメータ、第２パラメータ及び第３パラメータを、第１パラメータ、第２パラメータ及び第３パラメータの尤度を最大化するように決定する。ここで、決定部１５は、周波数及び時間に関する行列の逆行列を、周波数に関する行列の逆行列に分解して、尤度を最大化するように、第１パラメータ、第２パラメータ及び第３パラメータを決定する。決定部１５による処理の詳細は、後に説明する。

【0023】

このように、周波数及び時間に関する行列の逆行列を、周波数に関する行列の逆行列に分解することで、演算量を削減して、目的音源の音響信号をより高速に分離することができる。

【0024】

また、決定部１５は、周波数に関する行列の逆行列を、周波数に関する行列の疑似逆行列に分解して、尤度を最大化するように、第１パラメータ、第２パラメータ及び第３パラメータを決定する。このように、周波数に関する行列の逆行列を、周波数に関する行列の疑似逆行列に分解することで、演算量をさらに削減して、目的音源の音響信号をさらに高速に分離することができる。

【0025】

図２は、本実施形態に係る音響解析装置１０の物理的構成を示す図である。音響解析装置１０は、演算部に相当するＣＰＵ（Central Processing Unit）１０ａと、記憶部に相当するＲＡＭ（Random Access Memory）１０ｂと、記憶部に相当するＲＯＭ（Read only Memory）１０ｃと、通信部１０ｄと、入力部１０ｅと、音声出力部１０ｆと、を有する。これらの各構成は、バスを介して相互にデータ送受信可能に接続される。なお、本例では音響解析装置１０が一台のコンピュータで構成される場合について説明するが、音響解析装置１０は、複数のコンピュータが組み合わされて実現されてもよい。また、図２で示す構成は一例であり、音響解析装置１０はこれら以外の構成を有してもよいし、これらの構成のうち一部を有さなくてもよい。

【0026】

ＣＰＵ１０ａは、ＲＡＭ１０ｂ又はＲＯＭ１０ｃに記憶されたプログラムの実行に関する制御やデータの演算、加工を行う制御部である。ＣＰＵ１０ａは、複数のマイクで測定した音響信号から、対象音源の音響信号を分離するプログラム（音響解析プログラム）を実行する演算部である。ＣＰＵ１０ａは、入力部１０ｅや通信部１０ｄから種々のデータを受け取り、データの演算結果を音声出力部１０ｆで出力したり、ＲＡＭ１０ｂに格納したりする。

【0027】

ＲＡＭ１０ｂは、記憶部のうちデータの書き換えが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＡＭ１０ｂは、ＣＰＵ１０ａが実行するプログラム、音響信号といったデータを記憶してよい。なお、これらは例示であって、ＲＡＭ１０ｂには、これら以外のデータが記憶されていてもよいし、これらの一部が記憶されていなくてもよい。

【0028】

ＲＯＭ１０ｃは、記憶部のうちデータの読み出しが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＯＭ１０ｃは、例えば音響解析プログラムや、書き換えが行われないデータを記憶してよい。

【0029】

通信部１０ｄは、音響解析装置１０を他の機器に接続するインターフェースである。通信部１０ｄは、インターネット等の通信ネットワークに接続されてよい。

【0030】

入力部１０ｅは、ユーザからデータの入力を受け付けるものであり、例えば、キーボード及びタッチパネルを含んでよい。

【0031】

音声出力部１０ｆは、ＣＰＵ１０ａによる演算で得られた音声解析結果を出力するものであり、例えば、スピーカにより構成されてよい。音声出力部１０ｆは、複数のマイクで測定された音響信号から分離された目的音源の音響信号を出力してよい。音声出力部１０ｆは、他のコンピュータに音響信号を出力してもよい。

【0032】

音響解析プログラムは、ＲＡＭ１０ｂやＲＯＭ１０ｃ等のコンピュータによって読み取り可能な記憶媒体に記憶されて提供されてもよいし、通信部１０ｄにより接続される通信ネットワークを介して提供されてもよい。音響解析装置１０では、ＣＰＵ１０ａが音響解析プログラムを実行することにより、図１を用いて説明した様々な動作が実現される。なお、これらの物理的な構成は例示であって、必ずしも独立した構成でなくてもよい。例えば、音響解析装置１０は、ＣＰＵ１０ａとＲＡＭ１０ｂやＲＯＭ１０ｃが一体化したＬＳＩ（Large-Scale Integration）を備えていてもよい。

【0033】

図３は、本実施形態に係る音響解析装置１０により算出される分離行列の概要を示す図である。複数の音源から発せられた音響信号（音源信号）は、周囲の環境やマイク２０の配置に応じて定まる混合系によって混合される。周波数をｉ（ｉ＝１～Ｉ）と表し、時間をｊ（ｊ＝１～Ｊ）と表し、複数の音源から発せられる音響信号の複素時間周波数成分をＮ次元ベクトルでｓ_ijと表し、マイク２０で測定される音響信号（観測信号）の複素時間周波数成分をＭ次元ベクトルでｘ_ijと表すとき、ｘ_ij＝Ａ_iｓ_ijと表される。ここで、Ｎは音源の数である。また、Ａ_i＝（ａ_i,1，ａ_i,2，…，ａ_i,N）は混合行列と呼ばれ、Ｍ×Ｎの複素行列である。ａ_i,nはステアリングベクトルと呼ばれ、Ｍ次元のベクトルである。ここで、Ｍはマイク２０の数である。

【0034】

第１算出部１２は、ｘ_ijが与えられた場合に、分離行列Ｗ_i＝Ａ_i ^-1を推定する。ここで、推定信号は、ｙ_ij＝Ｗ_iｘ_ijであり、ｙ_ijによってｓ_ijを再現する。

【0035】

第１算出部１２は、ＩＬＲＭＡを用いて、分離行列Ｗ_iを算出してよい。ＩＬＲＭＡでは、Ｍ＝ＮかつＡ_iが正則であることが条件となる。本実施形態に係る音響解析装置１０では、Ｍ＝ＮかつＡ_iが正則であることを前提とする。

【0036】

ランクＭ－１の空間相関行列をＲ′_i ^(u)と表し、Ｒ′_i ^(u)の直交補空間ベクトルをｂ_iと表し、第１パラメータをλ_iと表し、第２パラメータをｒ_ij ^(u)と表すとき、第１生成部１３は、以下の数式（１）により表される第１モデル１３ａによって、拡散性雑音の音響信号ｕ_ijを生成する。

【0037】

【数1】

【0038】

また、ステアリングベクトルをａ_i ^(h)と表し、第３パラメータをｒ_ij ^(h)と表し、ハイパーパラメータα及びβで定められる逆ガンマ分布をＩｇ（α，β）と表すとき、第２生成部１４は、以下の数式（２）により表される第２モデル１４ａによって、目的音源から発せられた音響信号ｈ_ijを生成する。ここで、ハイパーパラメータα，βは、例えば、α＝１．１、β＝１０^-16としてよい。

【0039】

【数2】

【0040】

更新前の第１パラメータをチルダ付きのλ_iで表し、更新前の第２パラメータをチルダ付きのｒ_ij ^(u)で表し、更新前の第３パラメータをチルダ付きのｒ_ij ^(h)で表すとき、決定部１５は、以下の数式（３）により、十分統計量ｒ_ij ^(h)及びＲ_ij ^(u)を算出する。数式（３）は、第１パラメータ、第２パラメータ及び第３パラメータをＥＭ（expectation‐maximization）法で算出する場合のＥステップに相当する。

【0041】

【数3】

【0042】

そして、決定部１５は、以下の数式（４）により、第１パラメータλ_i、第２パラメータｒ_ij ^(u)及び第３パラメータｒ_ij ^(h)を更新する。数式（４）は、第１パラメータ、第２パラメータ及び第３パラメータをＥＭ法で算出する場合のＭステップに相当する。

【0043】

【数4】

【0044】

ここで、決定部１５は、更新の際に、以下の数式（５）によって、周波数及び時間に関する行列Ｒ_ij ^(x)の逆行列を、周波数に関する行列Ｒ_i ^(u)の逆行列に分解する。

【0045】

【数5】

【0046】

Ｒ_ij ^(x)は、時間ｊに関する成分を有するが、数式（５）の右辺は、Ｒ_i ^(u)の逆行列だけを含み、周波数に関する成分のみ有し、時間ｊに関する成分を有さない。これにより、演算量がＯ（ＩＪＭ³）からＯ（ＩＭ³＋ＩＪＭ²）に削減される。

【0047】

決定部１５は、更新の際に、以下の数式（６）によって、周波数に関する行列Ｒ_i ^(u)の逆行列を、周波数に関する行列の疑似逆行列（Ｒ′_i ^(u)）⁺に分解する。

【0048】

【数6】

【0049】

ここで、Ｒ′_i ^(u)は、第１パラメータλ_i、第２パラメータｒ_ij ^(u)及び第３パラメータｒ_ij ^(h)に依存しない量であり、ＩＬＲＭＡによって空間相関行列Ｗ_iを算出することで定まる量である。また、Ｒ′_i ^(u)の直交補空間ベクトルをｂ_iもＩＬＲＭＡによって定まる量である。そのため、数式（６）の演算は、初回に計算したＩＬＲＭＡによって定まる量を用いることで高速に行うことができる。これにより、演算量がＯ（ＩＪ）まで削減される。

【0050】

本実施形態では、第１モデル１３ａ及び第２モデル１４ａとして正規分布を用いているが、マイク２０で測定された音響信号ｘ_ijを生成するモデルとして、例えば多変量複素一般化ガウス分布を用いてもよい。また、本実施形態では、パラメータの尤度を最大化するアルゴリズムとしてＥＭ法を用いているが、ＭＥ（majorization-equalization）法を用いたり、ＭＭ（majorization-minimization）法を用いたりしてもよい。

【0051】

図４は、本実施形態に係る音響解析装置１０により目的音源から発せられる音響信号を分離する実験の構成を示す図である。本実験では、雑音信号を発生させる複数のスピーカ５０を、マイク２０を中心とした半径１．５ｍの円周上に１０°間隔で配置し、対象音源の音響信号を発生させるスピーカ５１を、マイク２０から１．０の距離に所定の方位で配置する。本本実験では、４つのマイク２０を６．４５ｃｍの範囲に等間隔に配置している。なお、本実験における対象音源は、人の話し声であり、雑音も同様に人の話し声である。本実験は、多くの人が話している状況で特定の人の話し声を選択に聴取する、いわゆるカクテルパーティー効果を再現するタスクである。

【0052】

図５は、本実施形態に係る音響解析装置１０により目的音源から発せられる音響信号を分離した場合の分離性能を示す図である。同図では、E. Vincent, R. Gribonval, and C. Fevotte, "Performance measurement in blind audio source separation," IEEE Trans. ASLP, vol. 14, no. 4, pp. 1462‐1469, 2006.により提案されたＳＤＲ（source-to-distortion ratio）を評価指標として縦軸に示し、横軸に経過時間を対数スケールで示している。ＳＤＲが高いほど、音声がより良く分離されていることを表す。

【0053】

同図では、ＩＬＲＭＡを用いた場合のグラフＧ０と、本実施形態に係る音響解析装置１０を用いた場合のグラフＧ１と、本実施形態に係る音響解析装置１０において逆行列の分解のみ行った場合（疑似逆行列の分解は行わなかった場合）のグラフＧ２と、本実施形態に係る音響解析装置１０において逆行列の分解も疑似逆行列の分解も行わなかった場合のグラフＧ３とを示している。また、同図では、K. Sekiguchi, A. A. Nugraha, Y. Bando, and K. Yoshii, "Fast multichannel source separation based on jointly diagonalizable spatial covariance matrices," CoRR, vol. abs/1903.03237, 2019.で提案されたＦａｓｔＭＮＭＦと呼ばれる手法及びＩＬＲＭＡを用いた場合のグラフＧ４と、ＦａｓｔＭＮＭＦのみ用いた場合のグラフＧ５とを示している。また、「ILRMA initialization」と記載された区間は、ＩＬＲＭＡのアルゴリズムの実行時間を示している。

【0054】

グラフＧ１によれば、本実施形態に係る音響解析装置１０は、他のいずれの場合よりも早く最大のＳＤＲを達成することができている。本実施形態に係る音響解析装置１０によってＳＤＲの最大値を達成するまでの時間は、ＩＬＲＭＡの実行時間よりも僅かに長いだけであり、第１パラメータ、第２パラメータ及び第３パラメータのＥＭ法による算出は、すぐに収束していることが読み取れる。なお、グラフＧ２及びグラフＧ３は、疑似逆行列の分解を行わなかったり、逆行列の分解及び疑似逆行列の分解を行わなかったりする場合なので、計算に時間を要するが、本実施形態に係る音響解析装置１０と同等のＳＤＲを達成することができる。

【0055】

一方、ＦａｓｔＭＮＭＦを用いた場合を示すグラフＧ４及びグラフＧ５は、ＳＤＲの上昇に比較的長時間を要し、その最大値は本実施形態に係る音響解析装置１０場合よりも低い。

【0056】

このように、本実施形態に係る音響解析装置１０によれば、従来法よりも高速かつ高精度で対象音源を分離することができる。

【0057】

図６は、本実施形態に係る音響解析装置１０により目的音源から発せられる音響信号を分離した場合の演算時間を示す図である。同図では、第１比較例、第２比較例、本実施形態（逆行列の分解）及び本実施形態（逆行列の分解及び疑似逆行列）の場合について、それぞれ目的音源から発せられる音響信号を分離した場合の演算時間を示している。

【0058】

第１比較例は、ＦａｓｔＭＮＭＦであり、演算時間は０．７秒程度である。また、第２比較例は、本実施形態に係る音響解析装置１０において逆行列の分解も疑似逆行列の分解も行わない場合であり、演算時間は５秒程度である。

【0059】

一方、本実施形態に係る音響解析装置１０において逆行列の分解のみ行う場合、演算時間は０．８秒程度であり、本実施形態に係る音響解析装置１０において逆行列の分解及び疑似逆行列の分解を行う場合、演算時間は０．０６秒程度となる。

【0060】

本実施形態に係る音響解析装置１０において逆行列の分解も疑似逆行列の分解も行わない場合、演算量はＯ（ＩＪＭ³）であり、逆行列の分解のみ行う場合、演算量はＯ（ＩＭ³＋ＩＪＭ²）であり、逆行列の分解及び疑似逆行列の分解を行う場合、演算量はＯ（ＩＪ）となる。このように、本実施形態に係る音響解析装置１０によれば、演算量をＯ（ＩＪ）まで削減して音源の数（Ｍ＝Ｎ）に依存しない量とすることができ、従来法よりも高速に対象音源を分離することができる。具体的には、本実施形態に係る音響解析装置１０は、ＦａｓｔＭＮＭＦよりも約１２倍高速に対象音源を分離することができ、その精度もＦａｓｔＭＮＭＦより高い。

【0061】

図７は、本実施形態に係る音響解析装置１０により実行される音響分離処理のフローチャートである。はじめに、音響解析装置１０は、複数のマイク２０により測定した音響信号を取得する（Ｓ１０）。

【0062】

次に、音響解析装置１０は、ＩＬＲＭＡにより、分離行列を算出し（Ｓ１１）、分離行列に基づき、ランクＭ－１の空間相関行列及び直交補空間ベクトルを算出する（Ｓ１２）。また、音響解析装置１０は、空間相関行列、直交補空間ベクトル、第１パラメータ及び第２パラメータを含む第１モデルによって、拡散性雑音の音響信号を生成し（Ｓ１３）、ステアリングベクトル及び第３パラメータを含む第２モデルによって、目的音源から発せられた音響信号を生成する（Ｓ１４）。

【0063】

さらに、音響解析装置１０は、周波数及び時間に関する行列の逆行列を、周波数に関する行列の逆行列に分解し、疑似逆行列に分解して、十分統計量を算出する（Ｓ１５）。この処理は、ＥＭ法のＥステップに相当する。

【0064】

また、音響解析装置１０は、尤度を最大化するように、第１パラメータ、第２パラメータ及び第３パラメータを更新する（Ｓ１６）。この処理は、ＥＭ法のＭステップに相当する。

【0065】

第１パラメータ、第２パラメータ及び第３パラメータが収束していない場合（Ｓ１７：ＮＯ）、音響解析装置１０は、処理Ｓ１５及びＳ１６を再び実行する。収束は、パラメータを更新する前後における尤度の差が所定値以下であるかどうかによって判定してよい。

【0066】

第１パラメータ、第２パラメータ及び第３パラメータが収束した場合（Ｓ１７：ＹＥＳ）、音響解析装置１０は、第２モデルによって、目的音源から発せられた音響信号を生成し（Ｓ１８）、最終的な音声出力とする。

【0067】

以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。

【符号の説明】

【0068】

１０…音響解析装置、１０ａ…ＣＰＵ、１０ｂ…ＲＡＭ、１０ｃ…ＲＯＭ、１０ｄ…通信部、１０ｅ…入力部、１０ｆ…音声出力部、１１…取得部、１２…第１算出部、１３…第１生成部、１３ａ…第１モデル、１４…第２生成部、１４ａ…第２モデル、１５…決定部、２０…マイク、５０，５１…スピーカ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】