ホーム > 特許ランキング > 日本電信電話株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-06
(45)【発行日】2024-11-14
(54)【発明の名称】信号解析装置、信号解析方法及びプログラム
(51)【国際特許分類】
G10L 21/0272 20130101AFI20241107BHJP
G10L 21/028 20130101ALI20241107BHJP
【ＦＩ】
G10L21/0272 100B
G10L21/028 B
【請求項の数】
8
(21)【出願番号】P 2022028027
(22)【出願日】2022-02-25
(65)【公開番号】P2023124325
(43)【公開日】2023-09-06
【審査請求日】2024-01-26
(73)【特許権者】
【識別番号】000004226
【氏名又は名称】日本電信電話株式会社
(74)【代理人】
【識別番号】110001634
【氏名又は名称】弁理士法人志賀国際特許事務所
(72)【発明者】
【氏名】関 翔悟
(72)【発明者】
【氏名】亀岡 弘和
(72)【発明者】
【氏名】李 莉
【審査官】大野 弘
(56)【参考文献】
【文献】特開２０２０－０３４８７０（ＪＰ，Ａ）
【文献】特開２０１９－０７８８６４（ＪＰ，Ａ）
【文献】村島 允也 Naoya Murashima，識別的変分自己符号化器学習による特定話者モノラル音声分離，日本音響学会 ２０２１年 春季研究発表会講演論文集ＣＤ－ＲＯＭ ［ＣＤ－ＲＯＭ］，2021年03月12日，pp.205~208
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ１０Ｌ ２１／００－２１／１８
ＩＥＥＥ Ｘｐｌｏｒｅ
(57)【特許請求の範囲】
【請求項1】
複数の位置それぞれにおいて観測された多重音を表す観測信号から複数の音源それぞれの音を表す音源信号を分離するための多チャンネルウィナーフィルタを推定する信号解析装置であって、音源信号の特徴量及び音源を識別する音源ラベル情報を入力し、前記音源信号の特徴量を低次元化した潜在表現の平均及び分散を出力するエンコーダと、前記エンコーダが出力した前記平均及び前記分散に基づく潜在表現と前記音源ラベル情報とを入力し、前記エンコーダに入力された前記音源信号の特徴量を表す分散を出力するデコーダとを有する音源モデルの前記デコーダに、音源信号の初期値の潜在表現及び音源ラベル情報を入力する処理を学習用の観測信号が表す多重音の各音源について行って得られた出力に基づいて完全データに対する対数尤度関数の条件付き期待値ＬＥＭを算出するＥステップと、前記Ｅステップにおいて算出された前記条件付き期待値ＬＥＭを用いて前記音源それぞれの前記潜在表現及び前記音源ラベル情報を更新するＭステップと、前記Ｅステップにおいて得られた前記デコーダからの出力に基づいて前記音源それぞれの前記多チャンネルウィナーフィルタを算出するフィルタ算出処理とを行い、更新された前記潜在表現及び前記音源ラベル情報を前記デコーダへの入力に用いて前記Ｅステップ、前記Ｍステップ及び前記フィルタ算出処理を繰り返す学習部、
を備える信号解析装置。
【請求項2】
前記音源モデルは、ＧＭＶＡＥ（generalized multichannel variational autoencoder）法又はＡＣＶＡＥ（auxiliary classifier variational autoencoder）法に用いられるニューラルネットワークである、請求項１に記載の信号解析装置。
【請求項3】
前記音源それぞれに対応した初期値の前記潜在表現は、学習用の前記観測信号をＭＮＭＦ（multichannel non-negative matrix factorization）又はConvTasNetにより分離した前記音源それぞれの音源信号を、前記音源に対応した前記音源モデルの前記エンコーダに入力して得られた平均及び分散に基づいて生成される、請求項１又は請求項２に記載の信号解析装置。
【請求項4】
前記特徴量は、複素スペクトログラムであり、前記学習部は、前記フィルタ算出処理において、音源数Ｊのうちｊ番目の音源ｊに対応した前記デコーダからの出力に基づいて、音源ｊの周波数ｆ及び時間フレームｎにおける複素スペクトログラムの分散ｖｊ（ｆ，ｎ）及び周波数ｆの空間共分散モデルＲｊ（ｆ）を算出し、音源数Ｊの全ての音源ｊについて算出された前記分散ｖｊ（ｆ，ｎ）及び前記空間共分散モデルＲｊ（ｆ）を用いて、各音源ｊの周波数ｆ及び時間フレームｎの多チャンネルウィナーフィルタＭｊ（ｆ，ｎ）を算出する、
請求項１から請求項３のいずれか一項に記載の信号解析装置。
【請求項5】
音源ｊの分散ｖｊ（ｆ，ｎ）は、音源ｊに対応した前記デコーダからの出力における周波数ｆ及び時間フレームｎに対応した要素と音源ｊのスケールを表す変数ｇｊとの乗算により算出され、前記学習部は、前記Ｅステップにおいて、音源ｊに対応した前記デコーダからの出力に基づいて、学習用の前記観測信号の周波数ｆ及び時間フレームｎの複素スペクトログラムを並べたベクトルの直積についての音源ｊの条件付き期待値Λｊ（ｆ，ｎ）を算出し、音源数Ｊの全ての音源ｊの前記条件付き期待値Λｊ（ｆ，ｎ）及び前記空間共分散モデルＲｊ（ｆ）を用いて前記条件付き期待値ＬＥＭを算出し、前記Ｍステップにおいて、各音源ｊの前記変数ｇｊ及び前記空間共分散モデルＲｊを当該音源ｊの前記条件付き期待値Λｊ（ｆ，ｎ）を用いて更新する、
請求項４に記載の信号解析装置。
【請求項6】
前記学習部により更新された前記多チャンネルウィナーフィルタと、複数の前記位置それぞれにおいて観測された観測信号とに基づいて、複数の音源それぞれの音源信号を推定する推定部をさらに備える、請求項１から請求項５のいずれか一項に記載の信号解析装置。
【請求項7】
複数の位置それぞれにおいて観測された多重音を表す観測信号から複数の音源それぞれの音を表す音源信号を分離するための多チャンネルウィナーフィルタを推定する信号解析方法であって、音源信号の特徴量及び音源を識別する音源ラベル情報を入力し、前記音源信号の特徴量を低次元化した潜在表現の平均及び分散を出力するエンコーダと、前記エンコーダが出力した前記平均及び前記分散に基づく潜在表現と前記音源ラベル情報とを入力し、前記エンコーダに入力された前記音源信号の特徴量を表す分散を出力するデコーダとを有する音源モデルの前記デコーダに、音源信号の初期値の潜在表現及び音源ラベル情報を入力する処理を学習用の観測信号が表す多重音の各音源について行って得られた出力に基づいて完全データに対する対数尤度関数の条件付き期待値ＬＥＭを算出するＥステップと、前記Ｅステップにおいて算出された前記条件付き期待値ＬＥＭを用いて前記音源それぞれの前記潜在表現及び前記音源ラベル情報を更新するＭステップと、前記Ｅステップにおいて得られた前記デコーダからの出力に基づいて前記音源それぞれの前記多チャンネルウィナーフィルタを算出するフィルタ算出処理とを行う更新過程と、
更新された前記潜在表現及び前記音源ラベル情報を前記デコーダへの入力に用いて前記Ｅステップ、前記Ｍステップ及び前記フィルタ算出処理を繰り返す繰り返し過程と、
を有する信号解析方法。
【請求項8】
コンピュータを、請求項１から請求項６のいずれか一項に記載の信号解析装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、信号解析装置、信号解析方法及びプログラムに関する。
【背景技術】
【0002】
音源分離は、マイクロフォンアレイで観測される混合信号に含まれる個々の音源信号を分離する技術である。音源分離は、音声認識や話者ダイアライゼーションといった他のタスクの性能向上に大きく寄与する。音源分離の技術の一つとして、一般化ＭＶＡＥ（generalized multichannel variational autoencoder；ＧＭＶＡＥ）法が提案されている（例えば、非特許文献１参照）。
【先行技術文献】
【非特許文献】
【0003】
【文献】S. Seki, H. Kameoka, L. Li, T. Toda and K. Takeda, "Underdetermined Source Separation Based on Generalized Multichannel Variational Autoencoder", IEEE Access, vol. 7, pp. 168104-168115, 2019.
【発明の概要】
【発明が解決しようとする課題】
【0004】
上述のＧＭＶＡＥ法は、マイク数より音源数が多いような劣決定条件下でも音源分離が可能である。音源分離をより早く行うためには、計算量の低減が求められる。
【0005】
上記事情に鑑み、本発明は、音源分離の計算量を低減することができる信号解析装置、信号解析方法及びプログラムを提供することを目的としている。
【課題を解決するための手段】
【0006】
本発明の一態様は、複数の位置それぞれにおいて観測された多重音を表す観測信号から複数の音源それぞれの音を表す音源信号を分離するための多チャンネルウィナーフィルタを推定する信号解析装置であって、音源信号の特徴量及び音源を識別する音源ラベル情報を入力し、前記音源信号の特徴量を低次元化した潜在表現の平均及び分散を出力するエンコーダと、前記エンコーダが出力した前記平均及び前記分散に基づく潜在表現と前記音源ラベル情報とを入力し、前記エンコーダに入力された前記音源信号の特徴量を表す分散を出力するデコーダとを有する音源モデルの前記デコーダに、音源信号の初期値の潜在表現及び音源ラベル情報を入力する処理を学習用の観測信号が表す多重音の各音源について行って得られた出力に基づいて完全データに対する対数尤度関数の条件付き期待値ＬＥＭを算出するＥステップと、前記Ｅステップにおいて算出された前記条件付き期待値ＬＥＭを用いて前記音源それぞれの前記潜在表現及び前記音源ラベル情報を更新するＭステップと、前記Ｅステップにおいて得られた前記デコーダからの出力に基づいて前記音源それぞれの前記多チャンネルウィナーフィルタを算出するフィルタ算出処理とを行い、更新された前記潜在表現及び前記音源ラベル情報を前記デコーダへの入力に用いて前記Ｅステップ、前記Ｍステップ及び前記フィルタ算出処理を繰り返す学習部、を備える。
【0007】
本発明の一態様は、複数の位置それぞれにおいて観測された多重音を表す観測信号から複数の音源それぞれの音を表す音源信号を分離するための多チャンネルウィナーフィルタを推定する信号解析方法であって、音源信号の特徴量及び音源を識別する音源ラベル情報を入力し、前記音源信号の特徴量を低次元化した潜在表現の平均及び分散を出力するエンコーダと、前記エンコーダが出力した前記平均及び前記分散に基づく潜在表現と前記音源ラベル情報とを入力し、前記エンコーダに入力された前記音源信号の特徴量を表す分散を出力するデコーダとを有する音源モデルの前記デコーダに、音源信号の初期値の潜在表現及び音源ラベル情報を入力する処理を学習用の観測信号が表す多重音の各音源について行って得られた出力に基づいて完全データに対する対数尤度関数の条件付き期待値ＬＥＭを算出するＥステップと、前記Ｅステップにおいて算出された前記条件付き期待値ＬＥＭを用いて前記音源それぞれの前記潜在表現及び前記音源ラベル情報を更新するＭステップと、前記Ｅステップにおいて得られた前記デコーダからの出力に基づいて前記音源それぞれの前記多チャンネルウィナーフィルタを算出するフィルタ算出処理とを行う更新過程と、更新された前記潜在表現及び前記音源ラベル情報を前記デコーダへの入力に用いて前記Ｅステップ、前記Ｍステップ及び前記フィルタ算出処理を繰り返す繰り返し過程と、を有する。
【0008】
本発明の一態様は、コンピュータを、上述した信号解析装置として機能させるためのプログラムである。
【発明の効果】
【0009】
本発明により、音源分離の計算量を低減することが可能となる。
【図面の簡単な説明】
【0010】
【図1】本発明の一実施形態による信号解析装置の構成を示す機能ブロック図である。
【図2】同実施形態による信号解析装置のハードウェア構成例を示す図である。
【図3】同実施形態によるＧＭＶＡＥモデルを示す図である。
【図4】同実施形態によるＧＭＶＡＥモデルのエンコーダに用いられるＤＮＮを示す図である。
【図5】同実施形態によるＧＭＶＡＥモデルのデコーダに用いられるＤＮＮを示す図である。
【図6】同実施形態によるＡＣＶＡＥモデルを示す図である。
【図7】同実施形態によるＡＣＶＡＥモデルのエンコーダに用いられるＤＮＮを示す図である。
【図8】同実施形態によるＡＣＶＡＥモデルのデコーダに用いられるＤＮＮを示す図である。
【図9】同実施形態によるＡＣＶＡＥモデルの識別器に用いられるＤＮＮを示す図である。
【図10】同実施形態による信号解析装置の学習処理を示すフロー図である。
【図11】同実施形態による信号解析装置の音源分離処理を示すフロー図である。
【図12】同実施形態による信号解析装置を用いた実験結果を示す図である。
【図13】同実施形態による信号解析装置を用いた実験結果を示す図である。
【図14】同実施形態による信号解析装置を用いた実験結果を示す図である。
【図15】同実施形態による信号解析装置を用いた実験結果を示す図である。
【図16】同実施形態による信号解析装置を用いた実験結果を示す図である。
【図17】同実施形態による信号解析装置を用いた実験結果を示す図である。
【図18】同実施形態による信号解析装置を用いた実験結果を示す図である。
【発明を実施するための形態】
【0011】
以下、図面を参照しながら本発明の実施形態を詳細に説明する。本実施形態は、音響信号を分解する信号処理技術に関する。
【0012】
［１． 概要］
音源分離では、一般的に周波数領域表現を用いて問題が定式化される。このとき、音源信号や、音源とマイク間の空間的な伝達特性に対して様々なモデル化が用いられている。モデル化への有効なアプローチの一つとして、独立成分分析（independent component analysis；ＩＣＡ）が提案されている。ＩＣＡでは、観測信号から音源信号が得られる分離系とよばれる分離プロセスを仮定する。一方で、分離系とは反対に、音源信号から観測信号が得られる混合系とよばれる生成プロセスを仮定する手法がある。その一つとして、フルランク空間共分散分析（full-rank spatial covariance analysis；ＦＣＡ）が提案されている（例えば、参考文献１参照）。分離系と比較して制約がより緩和される混合系を仮定することで、ＦＣＡはマイク数より音源数が多いような劣決定条件下での音源分離が可能である。ＩＣＡおよびＦＣＡでは、いずれも周波数ごとに独立した音源分離問題を解く。そのため、それぞれの周波数で得られる分離信号がどの音源に属しているか対応づけるパーミュテーション整合を解決する必要がある。
音源分離では、一般的に周波数領域表現を用いて問題が定式化される。このとき、音源信号や、音源とマイク間の空間的な伝達特性に対して様々なモデル化が用いられている。モデル化への有効なアプローチの一つとして、独立成分分析（independent component analysis；ＩＣＡ）が提案されている。ＩＣＡでは、観測信号から音源信号が得られる分離系とよばれる分離プロセスを仮定する。一方で、分離系とは反対に、音源信号から観測信号が得られる混合系とよばれる生成プロセスを仮定する手法がある。その一つとして、フルランク空間共分散分析（full-rank spatial covariance analysis；ＦＣＡ）が提案されている（例えば、参考文献１参照）。分離系と比較して制約がより緩和される混合系を仮定することで、ＦＣＡはマイク数より音源数が多いような劣決定条件下での音源分離が可能である。ＩＣＡおよびＦＣＡでは、いずれも周波数ごとに独立した音源分離問題を解く。そのため、それぞれの周波数で得られる分離信号がどの音源に属しているか対応づけるパーミュテーション整合を解決する必要がある。
【0013】
パーミュテーション整合問題に対して、同一音源に由来する周波数成分の大きさは同期して時間変化しやすい、という傾向を音源のモデル化に取り入れた手法が提案されている。この手法として、これまでに、非負値行列因子分解（non-negative matrix factorization；ＮＭＦ）とよばれる、より一般化された音源のモデル化手法が利用されている（例えば、参考文献２参照）。ＮＭＦは、自動採譜タスクへの適用において有効性が示された手法である。ＮＭＦでは、各時刻で観測される混合信号のパワースペクトルを少数のスペクトルテンプレートの錐結合として近似する。ＮＭＦの枠組みは、ＩＣＡやＦＣＡにおける各音源パワースペクトログラムのモデル化に適用され、それぞれ独立低ランク行列分析（independent low-rank matrix analysis；ＩＬＲＭＡ)、多チャンネルＮＭＦ（multichannel NMF；ＭＮＭＦ）とよばれる手法が提案されている（例えば、参考文献３、４参照）。スペクトルテンプレートを音響的な手がかりとすることで、ＩＬＲＭＡやＭＮＭＦは、周波数ごとの音源分離問題とパーミュテーション整合を同時に解決することが可能となる。その一方で、ＮＭＦによるパワースペクトログラムのモデル化が困難な音源信号に対して、分離性能が限定されるといった問題がある。
【0014】
近年、深層ニューラルネットワーク（deep neural network；ＤＮＮ）を用いてＮＭＦより柔軟な音源のモデル化を行う生成的アプローチが提案されている。その一つとして、変分自己符号化器（variational autoencoder；ＶＡＥ）を用いた手法が注目されている。ＩＣＡやＩＬＲＭＡと同様に分離系を仮定して、音源数がマイク数と等しいという優決定条件での音源分離問題に対しては、多チャンネル変分自己符号化器（multichannel VAE；ＭＶＡＥ）法とよばれる条件つきＶＡＥ（conditional VAE；ＣＶＡＥ）を音源モデルに利用した手法が提案されている（例えば、参考文献５参照）。ＭＶＡＥ法では、ＣＶＡＥを用いた音源モデルがＮＭＦを用いた音源モデルに比べて高い表現能力をもつとともに、それぞれの音源をより正確に弁別することが可能であることから、高い分離性能が示されている。現在までにＭＶＡＥ法をＦＣＡやＭＮＭＦと同様に劣決定条件での音源分離へと拡張した一般化ＭＶＡＥ（generalized MVAE；ＧＭＶＡＥ）法についても提案されている（例えば、非特許文献１参照）。
【0015】
非特許文献１に記載のＧＭＶＡＥ法では、ＭＶＡＥ法と同様にmajorization-minimization/minorization-maximization（ＭＭ）法とよばれる反復アルゴリズムを利用した、収束性が保障されたパラメータの最適化アルゴリズムが導出されている。一方で、ＦＣＡやＭＮＭＦにおいては、ＭＭ方式のほか、expectation-maximization（ＥＭ）法とよばれる反復アルゴリズムを利用することでも、ＭＭ法と同様に収束性が保障される最適化アルゴリズムを設計することが知られている。これまで、ＦＣＡやＭＮＭＦにおいては、ＭＭ方式とＥＭ方式を用いた最適化アルゴリズムの比較について計算量や分離性能について報告されているが、ＧＭＶＡＥ法についてはいまだに検討されていない。
【0016】
本実施形態の信号解析装置は、以下の二つの特徴を備える。
一つ目の特徴は、ＥＭ方式に基づくパラメータ最適化アルゴリズムを利用することである。本実施形態の信号解析装置は、ＧＭＶＡＥ法において、ＥＭ方式に基づくパラメータ最適化アルゴリズムを行う。このアルゴリズムは、ＭＭ方式に基づくパラメータ最適化アルゴリズムと同様に、停留点への収束性が保障されるパラメータ推定が可能である。
一つ目の特徴は、ＥＭ方式に基づくパラメータ最適化アルゴリズムを利用することである。本実施形態の信号解析装置は、ＧＭＶＡＥ法において、ＥＭ方式に基づくパラメータ最適化アルゴリズムを行う。このアルゴリズムは、ＭＭ方式に基づくパラメータ最適化アルゴリズムと同様に、停留点への収束性が保障されるパラメータ推定が可能である。
【0017】
二つ目の特徴は、補助関数つきＶＡＥ（auxiliary classifier VAE；ＡＣＶＡＥ音源モデル（例えば、参考文献６参照）の利用である。ＧＭＶＡＥ法では、ＣＶＡＥ音源モデルが利用される。しかしながら、ＣＶＡＥから出力されるパワースペクトログラムが話者情報を無視したサンプルの場合がある。本実施形態の信号解析装置は、ＣＶＡＥ音源モデルを拡張し、別タスクにおいても有効性が示されているＡＣＶＡＥ法の音源モデルを利用することも可能である。
【0018】
［２． 装置構成］
図１は、本実施形態の信号解析装置１の構成を示す図である。信号解析装置１は、入力部１１と、記憶部１２と、学習部１３と、推定部１４とを備える。異なる位置に設置されたマイク６－１～６－Ｉ（Ｉは２以上の整数）はそれぞれ、音源７－１～７－Ｊ（Ｊは２以上の整数）それぞれからの音が混合された音を収音する。各マイク６－１～６－Ｉは、収音した音を示す観測信号を出力する。観測信号は、各音源の音が混合された混合信号である。以下では、マイク６－ｉ（ｉは１以上Ｉ以下の整数）をマイクｉ、音源７－ｊ（ｊは１以上Ｊ以下の整数）を音源ｊとも記載する。
図１は、本実施形態の信号解析装置１の構成を示す図である。信号解析装置１は、入力部１１と、記憶部１２と、学習部１３と、推定部１４とを備える。異なる位置に設置されたマイク６－１～６－Ｉ（Ｉは２以上の整数）はそれぞれ、音源７－１～７－Ｊ（Ｊは２以上の整数）それぞれからの音が混合された音を収音する。各マイク６－１～６－Ｉは、収音した音を示す観測信号を出力する。観測信号は、各音源の音が混合された混合信号である。以下では、マイク６－ｉ（ｉは１以上Ｉ以下の整数）をマイクｉ、音源７－ｊ（ｊは１以上Ｊ以下の整数）を音源ｊとも記載する。
【0019】
入力部１１は、学習用のデータや音源分離対象のデータなどの各種データを入力する。学習用のデータは、マイク６－１～６－Ｉそれぞれにおいて収音された観測信号や、音源７－１～７－Ｊそれぞれの音を表す音源信号を含む。音源分離対象のデータは、マイク６－１～６－Ｉそれぞれにおいて収音された音の観測信号を含む。なお、入力部１１は、入力するデータを、マイク６－１～６－Ｉ又は他の装置から受信してもよく、記録媒体から読み出してもよい。記憶部１２は、学習部１３及び推定部１４の処理に用いられる各種データを記憶する。
【0020】
学習部１３は、学習用のデータを用いて、音源分離モデルを学習する。音源分離モデルは、マイク６－１～６－Ｉにおいて得られた観測信号から、音源７－１～７－Ｊそれぞれの音源信号を推定するために用いられるモデルである。音源分離モデルは、観測信号の特徴量と音源信号の特徴量との対応を表す。学習部１３は、音源分離モデルの学習に、ＧＭＶＡＥ法の音源モデル、または、ＡＣＶＡＥ法の音源モデルを用いる。また、学習部１３は、これら音源分離モデルの学習に、ＥＭ方式に基づくパラメータ最適化アルゴリズムを使用する。推定部１４は、学習部１３により学習された音源分離モデルと、マイク６－１～６－Ｉそれぞれにおける観測信号とを用いて、音源７－１～７－Ｊそれぞれの推定の音源信号を得る。
【0021】
信号解析装置１は、例えば、コンピュータ装置により実現される。信号解析装置１をネットワークに接続される複数のコンピュータ装置により実現してもよい。この場合、信号解析装置１の各機能部を、これら複数のコンピュータ装置のいずれにより実現するかは任意とすることができる。例えば、学習部１３と、推定部１４とを異なるコンピュータ装置で実現してもよい。また、信号解析装置１の同一の機能部を複数のコンピュータ装置により実現してもよい。例えば、学習部１３を複数のコンピュータ装置で分散して実現してもよい。
【0022】
図２は、信号解析装置１のハードウェア構成例を示す装置構成図である。信号解析装置１は、プロセッサ５１と、記憶部５２と、通信インタフェース５３と、ユーザインタフェース５４とを備える。プロセッサ５１は、演算や制御を行う中央演算装置である。プロセッサ５１は、例えば、ＣＰＵ（central processing unit）やＧＰＵ（Graphics Processing Unit）である。記憶部５２は、記憶部１２を実現する。また、プロセッサ５１は、記憶部５２からプログラムを読み出して実行することにより、上述の学習部１３及び推定部１４の機能を実現する。記憶部５２は、さらに、プロセッサ５１が各種プログラムを実行する際のワークエリアなどを有する。通信インタフェース５３は、他装置と通信可能に接続するものである。ユーザインタフェース５４は、キーボード、ポインティングデバイス（マウス、タブレット等）、ボタン、タッチパネル等の入力装置や、ディスプレイなどの表示装置である。ユーザインタフェース５４により、人為的な操作が入力される。
【0023】
なお、記憶部１２、学習部１３及び推定部１４の機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されてもよい。
【0024】
以下では、信号解析装置１に用いられるアルゴリズムについて説明した後、信号解析装置１の動作及び効果を述べる。
【0025】
[３． 問題の定式化]
音源数をＪ、マイク数をＩとする。音源ｊ（ｊは１以上Ｊ以下の整数）の音源信号を短時間フーリエ変換（short-time Fourier transform；ＳＴＦＴ）して得られる複素スペクトログラムをｓｊ（ｆ，ｎ）とし、マイクｉ（ｉは１以上Ｉ以下の整数）の観測信号をＳＴＦＴして得られる複素スペクトログラムをｘｉ（ｆ，ｎ）とする。ここで、ｆは周波数のインデックスを表し、ｎは時間フレームのインデックスを表す。インデックスｆの周波数を周波数ｆとも記載し、インデックスｎの時間フレームを時間フレームｎとも記載する。
音源数をＪ、マイク数をＩとする。音源ｊ（ｊは１以上Ｊ以下の整数）の音源信号を短時間フーリエ変換（short-time Fourier transform；ＳＴＦＴ）して得られる複素スペクトログラムをｓｊ（ｆ，ｎ）とし、マイクｉ（ｉは１以上Ｉ以下の整数）の観測信号をＳＴＦＴして得られる複素スペクトログラムをｘｉ（ｆ，ｎ）とする。ここで、ｆは周波数のインデックスを表し、ｎは時間フレームのインデックスを表す。インデックスｆの周波数を周波数ｆとも記載し、インデックスｎの時間フレームを時間フレームｎとも記載する。
【0026】
以下の式（１）に示すようにｓｊ（ｆ，ｎ）を要素とするベクトルをｓ（ｆ，ｎ）とし、以下の式（２）に示すようにｘｉ（ｆ，ｎ）を要素とするベクトルをｘ（ｆ，ｎ）とする。
【0027】
【数1】
【0028】
【数2】
【0029】
ここで、（・）Ｔは転置であり、Ｃは複素数集合を表す。
【0030】
音源ｊの複素スペクトログラムｓｊ（ｆ，ｎ）について、局所ガウス音源モデル（local Gaussian modeling；ＬＧＭ）とよばれる、以下の式（３）に示す複素ガウス分布を仮定する。
【0031】
【数3】
【0032】
～ＮＣ（α１，α２）は、平均α１，共分散行列α２の複素ガウス分布を表す。つまり、複素スペクトログラムｓｊ（ｆ，ｎ）は、平均０、分散ｖｊ（ｆ，ｎ）の複素ガウス分布と仮定される。ここで、分散ｖｊ（ｆ，ｎ）は、以下の式（４）で示される。
【0033】
【数4】
【0034】
Ｅは、期待値の算出を表す。上記によれば、分散ｖｊ（ｆ，ｎ）は、音源ｊのパワースペクトル密度（power spectral density；ＰＳＤ）を表す。ｊ≠ｊ’であり、音源ｊの複素スペクトログラムｓｊ（ｆ，ｎ）と、音源ｊ’の複素スペクトログラムｓｊ’（ｆ，ｎ）とが統計的に独立であるとき、ベクトルｓ（ｆ，ｎ）は、以下の式（５）に示すように平均値が０、分散がＶ（ｆ，ｎ）の複素ガウス分布に従う。
【0035】
【数5】
【0036】
Ｖ（ｆ，ｎ）は、対角成分がｖ１（ｆ，ｎ），ｖ２（ｆ，ｎ），．．．，ｖＪ（ｆ，ｎ）で与えられる対角行列である。音源数Ｊがマイク数Ｉより大きいような状況も考慮可能な混合系は、以下の式（６）で与えられる。
【0037】
【数6】
【0038】
ここで、Ａ（ｆ）は、以下の式（７）に示す混合行列を表わす。
【0039】
【数7】
【0040】
式（５）及び式（６）より、ベクトルｘ（ｆ,ｎ）についても平均０、分散Ａ（ｆ）Ｖ（ｆ,ｎ）ＡＨ（ｆ,ｎ）の複素ガウス分布にしたがう。ここで、（・）Ｈは、共役転置を表す。また、混合行列に含まれる音源ｊのステアリングベクトルａｊ（ｆ）の直積について、以下の式（８）で与えられるフルランクな空間共分散（spatial covariance matrix；ＳＣＭ）モデルＲｊ（ｆ）を仮定する。
【0041】
【数8】
【0042】
上記のＲｊ（ｆ）を仮定することで、ベクトルｘ（ｆ,ｎ）は、以下の式（９）に示す複素ガウス分布として与えられる。
【0043】
【数9】
【0044】
したがって、対数尤度関数Ｌは、以下の式（１０）で表される。
【0045】
【数10】
【0046】
ｔｒ［・］は行列のトレースを表し、ｄｅｔ［・］は行列式を表す。また、以下は、パラメータに対する等号を表す。
【0047】
【数11】
【0048】
ベクトルＸ（ｆ,ｎ）は以下の式（１２）であり、ベクトル＾Ｘ（ｆ,ｎ）は以下の式（１３）である。
【0049】
【数12】
【0050】
【数13】
【0051】
｛ｖｊ（ｆ，ｎ）｝ｊ，ｆ，ｎおよび｛Ｒｊ（ｆ）｝ｊ，ｆを推定することで、音源ｊの分離信号は、多チャンネルウィナーフィルタＭｊ（ｆ，ｎ）及び逆ＳＴＦＴを適用することで得られる。＾ｓｊ（ｆ，ｎ）は、音源ｊの推定の観測信号の複素スペクトログラムである。すなわち、以下の式（１４）における多チャンネルウィナーフィルタＭｊ（ｆ，ｎ）が、信号解析装置１の学習部１３により学習される音源分離モデルである。
【0052】
【数14】
【0053】
[４． ＧＭＶＡＥ法]
ＧＭＶＡＥ法について説明する。
ＧＭＶＡＥ法について説明する。
【0054】
[４．１ ＣＶＡＥ音源モデル]
図３は、ＧＭＶＡＥ音源モデルを表す図である。エンコーダは、入力データ＾Ｓを低次元の潜在変数Ｚに圧縮するニューラルネットワーク（ＮＮ）である。エンコーダは、デコーダは、潜在変数Ｚから入力データ＾Ｓを復元するＮＮである。図４は、図３に示すエンコーダに用いられるＤＮＮの例を示す図であり、図５は、図３に示すデコーダに用いられるＤＮＮの例を示す図である。図４及び図５において、Ｃｏｎｖは畳み込み（Convolution）層を示し、ＢＮはバッチ正規化（Batch Normalization）層、ＧＬＵはGated Linear Unit層を示し、Ｄｅｃｏｎｖは逆畳み込み（Deconvolution）層を示す。また、［α１；α２］は、入力されるチャンネルα１と入力フレーム長α２を示し、（β１，β２）はフレームに沿ったカーネルサイズβ１とストライドサイズβ２を示す。エンコーダの入力（Ｉｎｐｕｔ）におけるチャンネル及びフレームはそれぞれ、周波数ｆ及び時間フレームｎに相当する。Ｆは周波数インデックス数を表し、Ｔは時間フレーム数を表す。
図３は、ＧＭＶＡＥ音源モデルを表す図である。エンコーダは、入力データ＾Ｓを低次元の潜在変数Ｚに圧縮するニューラルネットワーク（ＮＮ）である。エンコーダは、デコーダは、潜在変数Ｚから入力データ＾Ｓを復元するＮＮである。図４は、図３に示すエンコーダに用いられるＤＮＮの例を示す図であり、図５は、図３に示すデコーダに用いられるＤＮＮの例を示す図である。図４及び図５において、Ｃｏｎｖは畳み込み（Convolution）層を示し、ＢＮはバッチ正規化（Batch Normalization）層、ＧＬＵはGated Linear Unit層を示し、Ｄｅｃｏｎｖは逆畳み込み（Deconvolution）層を示す。また、［α１；α２］は、入力されるチャンネルα１と入力フレーム長α２を示し、（β１，β２）はフレームに沿ったカーネルサイズβ１とストライドサイズβ２を示す。エンコーダの入力（Ｉｎｐｕｔ）におけるチャンネル及びフレームはそれぞれ、周波数ｆ及び時間フレームｎに相当する。Ｆは周波数インデックス数を表し、Ｔは時間フレーム数を表す。
【0055】
ＧＭＶＡＥ法では、ラベルつきのデータセットで予め学習されたＣＶＡＥのデコーダを音源のパワースペクトログラムモデルとして利用する。正規化されたスペクトログラム～Ｓおよびone-hotエンコーディングされた音源ラベルｃを用いた場合に、ＣＶＡＥのエンコーダ出力の分布ｑφ（Ｚ｜～Ｓ，ｃ）が以下の式（１５）で表されるガウス分布で表され、デコーダ出力の分布ｐθ（～Ｓ｜Ｚ，ｃ）が以下の式（１６）で表される複素ガウス分布にしたがうと仮定する。音源ラベルｃは、音源ｊに対応した要素のみが１であり、他の要素が０のベクトルである。
【0056】
【数15】
【0057】
【数16】
【0058】
μφ（～Ｓ，ｃ）及びσφ
２（～Ｓ，ｃ）はエンコーダの出力であり、σθ
２（Ｚ，ｃ）はデコーダの出力である。なお、ｄｉａｇαは、対角要素にαを持つ対角行列を表す。
【0059】
ＣＶＡＥでは、エンコーダおよびデコーダのネットワークパラメータφ、θを以下の式（１７）に示す学習規準Ｉ（φ，θ）を最大化するように学習する。
【0060】
【数17】
【0061】
ここで、以下は、学習サンプルによる標本平均を表す。
【0062】
【数18】
【0063】
また、以下は、Kullback-Leivler（ＫＬ）ダイバージェンスを表す。
【0064】
【数19】
【0065】
また、上記のｐ（Ｚ）は、以下の標準ガウス分布である。
【0066】
【数20】
【0067】
デコーダの分布はＬＧＭと同形であることから、学習されたデコーダを用いることで、式（３）は、以下の式（２１）のように変形される。
【0068】
【数21】
【0069】
ここで、σθ
２（ｆ，ｎ；Ｚ，ｃ）は、要素（ｆ，ｎ）のデコーダ出力σθ
２（Ｚ，ｃ）を表す。また、ｇｊは、音源ｊのスケールを表す変数である。
【0070】
[４．２ ＭＭ方式に基づくパラメータ最適化アルゴリズム]
ＭＭ法は、最大化したい学習規準に対してminorizerとよばれる下限を表す代理関数を設計し、反復的に最大化することで目的とする学習基準における停留点を探索する反復アルゴリズムである。
ＭＭ法は、最大化したい学習規準に対してminorizerとよばれる下限を表す代理関数を設計し、反復的に最大化することで目的とする学習基準における停留点を探索する反復アルゴリズムである。
【0071】
式（１０）で与えられる対数尤度関数に対してＭＭ法を適用することで、以下の式（２２）に示すminorizerＬＭＭ（≦Ｌ）が得られる。なお、ｔｒは、正方行列の対角成分の和を示す。
【0072】
【数22】
【0073】
ここで、Ｐｊ（ｆ，ｎ）およびＫ（ｆ，ｎ）は、補助変数である。Ｐｊ（ｆ，ｎ）は以下の式（２３）で定義され、Ｋ（ｆ，ｎ）は以下の式（２４）で定義される。なお、←は、左辺の値を右辺の値に更新することを表す。
【0074】
【数23】
【0075】
【数24】
【0076】
ＭＭ方式に基づくパラメータ最適化アルゴリズムは、補助変数｛Ｐｊ（ｆ，ｎ）｝ｊ，ｆ，ｎ、｛Ｋ（ｆ，ｎ）｝ｆ，ｎの更新およびパラメータ｛ｇｊ｝ｊ、｛Ｚｊ｝ｊ、｛ｃｊ｝ｊ、｛Ｒｊ（ｆ）｝ｊ，ｆに対するminorizerＬＭＭの最大化によって構成される。デコーダ入力｛Ｚｊ｝ｊおよび｛ｃｊ｝ｊについては、以下の式（２５）に示すように誤差逆伝搬法により更新される。
【0077】
【数25】
【0078】
ここで、ηは学習率を表す。ラベル情報ｃｊの推定には総和が１となる制約を考慮する必要がある。これはｃｊを出力とするsoftmax層を用意し、その入力をパラメータとして扱うことで満たされる。｛ｇｊ｝ｊおよび｛Ｒｊ（ｆ）｝ｊ，ｆについては以下の式（２６）、式（２７）に示す更新式が導出できる。
【0079】
【数26】
【0080】
【数27】
【0081】
ここで、＃は二つの半正定値行列間の幾何平均を表す。Ψｊ（ｆ）は以下の式（２８）であり、Ωｊ（ｆ）は以下の式（２９）である。
【0082】
【数28】
【0083】
【数29】
【0084】
［５． 本実施形態におけるアルゴリズム］
［５．１ ＥＭ方式に基づくパラメータ最適化アルゴリズム］
ＥＭアルゴリズムは、Ｑ関数とよばれる完全データに対する対数尤度関数の条件つき期待値を、二つの手順（ＥステップおよびＭステップ）の繰り返しにより最大化することで、目的とする不完全データに対する対数尤度関数を最大化するアルゴリズムである。混合信号｛ｘ（ｆ，ｎ）｝ｆ，ｎを観測データ、音源信号｛ｓ（ｆ，ｎ）｝ｆ，ｎを非観測データとすると、以下の式（３０）に示すＱ関数ＬＥＭ（≦Ｌ）が得られる。
［５．１ ＥＭ方式に基づくパラメータ最適化アルゴリズム］
ＥＭアルゴリズムは、Ｑ関数とよばれる完全データに対する対数尤度関数の条件つき期待値を、二つの手順（ＥステップおよびＭステップ）の繰り返しにより最大化することで、目的とする不完全データに対する対数尤度関数を最大化するアルゴリズムである。混合信号｛ｘ（ｆ，ｎ）｝ｆ，ｎを観測データ、音源信号｛ｓ（ｆ，ｎ）｝ｆ，ｎを非観測データとすると、以下の式（３０）に示すＱ関数ＬＥＭ（≦Ｌ）が得られる。
【0085】
【数30】
【0086】
ここで、Λｊ（ｆ，ｎ）は、ｓ（ｆ，ｎ）の直積についての条件つき期待値であり、Ｅステップに相当する。Λｊ（ｆ，ｎ）は、以下の式（３１）で示される。
【0087】
【数31】
【0088】
Ｍステップは、パラメータ｛ｇｊ｝ｊ、｛Ｚｊ｝ｊ、｛ｃｊ｝ｊ及び｛Ｒｊ（ｆ）｝ｊ，ｆに対するＱ関数の最大化によって構成される。ＭＭ方式に基づくパラメータ最適化アルゴリズムと同様に、デコーダの出力｛Ｚｊ｝ｊ及び｛ｃｊ｝ｊは、以下の式（３２）に示すように誤差逆伝搬法により推定される。
【0089】
【数32】
【0090】
｛ｇｊ｝ｊには以下の更新式（３３）が導出でき、｛Ｒｊ（ｆ）｝ｊ，ｆには以下の更新式（３４）が導出できる。
【0091】
【数33】
【0092】
【数34】
【0093】
ＭＭ方式およびＥＭ方式に基づくパラメータ最適化アルゴリズムにおける逆行列および行列積の演算について注目する。アルゴリズムの各反復において、ＭＭ方式のアルゴリズムでは各パラメータをそれぞれ更新する際に補助変数Ｐｊ（ｆ，ｎ）およびＫｊ（ｆ，ｎ）の更新が必要となるとともに、｛Ｒｊ（ｆ）｝ｊ,ｆを更新する際にも逆行列演算および行列積演算が必要となる。最終的に（３Ｎ＋２Ｊ）Ｆ回の逆行列計算と（５Ｎ＋２）ＪＦ回の行列積計算が必要となる。一方でＥＭ方式のアルゴリズムでは、各反復において補助変数Λｊ（ｆ，ｎ）の更新は一度であり、｛Ｒｊ（ｆ）｝ｊ，ｆは、重みつき和によって更新される。そのため、（Ｎ＋Ｊ）Ｆ回の逆行列演算と２ＮＪＦ回の行列積計算のみとなる。したがって、ＥＭ方式に基づくパラメータ最適化アルゴリズムでは計算量が小さく、処理時間の削減が期待できる。
【0094】
［５．２ ＡＣＶＡＥ音源モデル］
図６は、ＡＣＶＡＥ音源モデルを示す図である。ＡＣＶＡＥは、ＣＶＡＥの拡張モデルである（例えば、参考文献６参照）。ＡＣＶＡＥは、図３に示すＧＭＶＡＥ音源モデルに、識別器を付加した構成である。図７は、図６に示すエンコーダに用いられるＤＮＮの例を示す図であり、図８は、図６に示すデコーダに用いられるＤＮＮの例を示す図であり、図９は、図６に示す識別器に用いられるＮＮの例を示す図である。図７～図９において、「ｗ」は幅、「ｃ」はチャンネル番号、「ｋ」はカーネルサイズを表す。また、図７～図９において、Ｃｏｎｖは１次元畳み込み（Convolution）層を示し、ＢＮはバッチ正規化（Batch Normalization）層、ＧＬＵはGated Linear Unit層、Ｄｅｃｏｎｖは１次元逆畳み込み（Deconvolution）層を示す。
図６は、ＡＣＶＡＥ音源モデルを示す図である。ＡＣＶＡＥは、ＣＶＡＥの拡張モデルである（例えば、参考文献６参照）。ＡＣＶＡＥは、図３に示すＧＭＶＡＥ音源モデルに、識別器を付加した構成である。図７は、図６に示すエンコーダに用いられるＤＮＮの例を示す図であり、図８は、図６に示すデコーダに用いられるＤＮＮの例を示す図であり、図９は、図６に示す識別器に用いられるＮＮの例を示す図である。図７～図９において、「ｗ」は幅、「ｃ」はチャンネル番号、「ｋ」はカーネルサイズを表す。また、図７～図９において、Ｃｏｎｖは１次元畳み込み（Convolution）層を示し、ＢＮはバッチ正規化（Batch Normalization）層、ＧＬＵはGated Linear Unit層、Ｄｅｃｏｎｖは１次元逆畳み込み（Deconvolution）層を示す。
【0095】
ＡＣＶＡＥは、デコーダの出力～Ｓ～ｐθ（～Ｓ｜Ｚ，ｃ）と音源ラベルｃができるだけ相関をもつよう、相互情報量Ｉ（ｃ；～Ｓ｜Ｚ）を学習基準として利用する。相互情報量を直接学習基準に利用するのは困難であるため、ＡＣＶＡＥでは以下の式（３５）に示す変分下限Ｊ（φ，θ，ψ）を代わりに利用する。
【0096】
【数35】
【0097】
ここで、ｒΨ（ｃ｜～Ｓ）は、ネットワークパラメータψをもつ識別器の出力の分布を表す。ＡＣＶＡＥでは、以下の式（３６）に示すクロスエントロピーＫ（ψ）も同様に学習基準として利用する。
【0098】
【数36】
【0099】
したがって、最終的なＡＣＶＡＥの学習基準は以下の式（３７）に示すＩ（φ，θ）で与えられる。
【0100】
【数37】
【0101】
ここで、λJ≧０及びλK≧０は、重みパラメータである。
【0102】
［６． 信号解析装置の動作］
続いて、信号解析装置１の動作について説明する。
続いて、信号解析装置１の動作について説明する。
【0103】
図１０は、信号解析装置１における学習処理を示すフロー図である。まず、信号解析装置１は、ラベル付きのデータセットで各音源ｊのＣＶＡＥのデコーダを学習する（ステップＳ１１）。具体的には、入力部１１は、音源ｊを表すラベルｃｊが付与された音源信号を複数入力する。学習部１３は、入力された音源信号をＳＴＦＴして複素スペクトログラムを生成する。学習部１３は、複素スペクトログラムを正規化し、ラベルｃｊ付きの～Ｓｊ＝｛ｓ（ｆ，ｎ）｝ｆ，ｎを生成する。なお、入力部１１は、ラベルｃｊ付きの～Ｓｊ＝｛ｓ（ｆ，ｎ）｝ｆ，ｎを入力してもよい。学習部１３は、音源ｊごとに、ラベルｃｊが付与された正規化パワースペクトログラム～Ｓｊを用いて以下のようにデコーダを学習する。
【0104】
学習部１３は、ＣＶＡＥ音源モデルを用いる場合、図３に示すエンコーダに、～Ｓｊと、音源ラベルｃｊとを入力する。音源ラベルｃｊは、～Ｓｊに付与されているラベルｃｊが表す音源ｊに対応した要素に１が設定されるようone-hotエンコーディングされたベクトルである。学習部１３は、エンコーダから出力された平均μφ（～Ｓｊ，ｃｊ）及び分散σφ
２（～Ｓｊ，ｃｊ）に基づいてランダムに潜在表現Ｚｊを生成する。学習部１３は、潜在表現Ｚｊと音源ラベルｃｊとをデコーダに入力して分散σθ
２（Ｚｊ，ｃｊ）を表す出力を得る。学習部１３は、式（１７）の学習基準を最大化するように音源ｊのエンコーダのパラメータφ及びデコーダのパラメータσを学習する。
【0105】
学習部１３は、ＡＣＶＡＥ音源モデルを用いる場合、ＣＶＡＥ音源モデルを用いる場合と同様にデコーダ出力を得る。すなわち、学習部１３は、図６に示すエンコーダに、～Ｓｊ及び音源ラベルｃｊを入力し、エンコーダから出力された平均μφ（～Ｓｊ，ｃｊ）及び分散σφ
２（～Ｓｊ，ｃｊ）に基づいてランダムに潜在表現Ｚｊを生成する。学習部１３は、潜在表現Ｚｊ及び音源ラベルｃｊをデコーダに入力し、分散σθ
２（Ｚｊ，ｃｊ）を出力として得る。学習部１３は、さらに、デコーダ出力の分散σθ
２（Ｚｊ，ｃｊ）を識別器に入力して、出力ｐｊを得る。学習部１３は、式（３７）の学習基準を最大化するように音源ｊのエンコーダのパラメータφ、デコーダのパラメータσ及び識別器のパラメータψを学習する。
【0106】
続いて、学習部１３は、ステップＳ１１において学習されたデコーダを用いて、各音源ｊについて、式（１４）における多チャンネルウィナーフィルタＭｊ（ｆ，ｎ）を学習する。入力部１１は、各マイク６－１～６－Ｉそれぞれの観測信号及び各音源７－１～７－Ｊの音源信号を学習用のデータとして入力する。学習部１３は、入力された観測信号及び音源信号をＳＴＦＴして、各観測信号の複素スペクトログラムｓｉ（ｆ，ｎ）及び各音源信号の複素スペクトログラムｘｉ（ｆ，ｎ）を算出する（ステップＳ１２）。あるいは、入力部１１は、各観測信号の複素スペクトログラムｓｉ（ｆ，ｎ）及び各音源信号の複素スペクトログラムｘｉ（ｆ，ｎ）を入力してもよい。
【0107】
学習部１３は、学習に用いる各音源ｊの初期値の潜在表現Ｚｊを算出するため、～Ｓｊ及び音源ラベルｃｊをステップＳ１１において学習した音源ｊのエンコーダに入力する。初期値の～Ｓｊとして、例えば、ＭＮＭＦ又はＣｏｎｖＴａｓＮｅｔを用いて観測信号から分離した音源ｊの音源信号の複素スペクトログラムを用いることができるが、これらに限定されない。学習部１３は、音源ｊ毎に、エンコーダから出力されたμφ（～Ｓｊ，ｃｊ）及びσφ
２（～Ｓｊ，ｃｊ）に基づいて初期値の潜在表現Ｚｊを生成する（ステップＳ１３）。
【0108】
学習部１３は、音源ｊ毎に、潜在表現Ｚｊ及び音源ラベルｃｊをステップＳ１１において学習した音源ｊのデコーダに入力してσθ
２（Ｚｊ，ｃｊ）を得る（ステップＳ１４）。学習部１３は、Ｅステップを実行する。すなわち、学習部１３は、音源ｊ毎に、現在の多チャンネルウィナーフィルタＭｊ（ｆ，ｎ）と、観測信号の複素スペクトログラムから得られるベクトルｘ（ｆ，ｎ）と、現在の空間共分散モデルＲｊ（ｆ）と、音源信号の複素スペクトログラムの分散ｖｊ（ｆ，ｎ）とを用いて式（３１）により更新後のΛｊ（ｆ，ｎ）を算出する。学習部１３は、分散ｖｊ（ｆ，ｎ）を、式（２１）のように、音源ｊの現在のスケールｇｊと音源ｊのデコーダの出力から得られるσθ
２（ｆ，ｎ；Ｚｊ，ｃｊ）との乗算により算出する。学習部１３は、さらに、音源ｊ毎に、全ての周波数ｆ、全ての時間フレームｎ、及び、全ての音源ｊとの組み合わせについてのΛｊ（ｆ，ｎ）と、分散ｖｊ（ｆ，ｎ）と、空間共分散モデルＲｊ（ｆ）とを用いて式（３０）によりＱ関数ＬＥＭを算出する（ステップＳ１５）。
【0109】
続いて、学習部１３は、Ｍステップを実行する。すなわち、学習部１３は、音源ｊ毎に、ステップＳ１５のＥステップにおいて算出されたＱ関数ＬＥＭと、｛Ｚｊ、ｃｊ｝ｊの勾配とを用いて、式（３２）により更新後の｛Ｚｊ、ｃｊ｝ｊを算出する（ステップＳ１６）。さらに、学習部１３は、音源ｊ毎に、音源ｊのデコーダの出力から得られるσθ
２（ｆ，ｎ；Ｚｊ，ｃｊ）と、現在の音源ｊの空間共分散モデルＲｊ（ｆ）と、ステップＳ１５において算出された音源ｊのΛｊ（ｆ，ｎ）とを用いて、式（３３）により更新後のスケールｇｊを算出する。学習部１３は、音源ｊのデコーダの出力から得られるσθ
２（ｆ，ｎ；Ｚｊ，ｃｊ）と、現在の音源ｊのスケールｇｊと、ステップＳ１５において算出された音源ｊのΛｊ（ｆ，ｎ）とを用いて、式（３４）により音源ｊの更新後のＲｊ（ｆ）を算出する（ステップＳ１７）。学習部１３は、音源ｊ毎に、式（２１）のように更新後のｇｊと、デコーダ出力から得られるσ２
θ（ｆ，ｎ；Ｚｊ，ｃｊ）とを乗算して、更新後の分散ｖｊ（ｆ，ｎ）を算出する。学習部１３は、音源ｊ毎に、全ての音源ｊそれぞれの更新後の空間共分散モデルＲｊ（ｆ）及び更新後の分散ｖｊ（ｆ，ｎ）を用いて、式（１４）における更新後の多チャンネルウィナーフィルタＭｊ（ｆ，ｎ）を算出する（ステップＳ１８）。
【0110】
学習部１３は、終了条件を満たしたか否かを判定する（ステップＳ１９）。終了条件は、例えば、繰り返し回数が所定値に達したこととすることができる。学習部１３は、終了条件を満たしていないと判定した場合は、ステップＳ１４からの処理を繰り返す。学習部１３が終了条件を満たしたと判断した場合、信号解析装置１は、ステップＳ１３～ステップＳ１９の処理を繰り返す。なお、ステップＳ１３において、学習部１３は、ステップＳ１６において算出された音源ｊの更新後の｛Ｚｊ、ｃｊ｝ｊを、音源ｊのデコーダに入力する。学習部１３は、終了条件を満たしたと判定した場合、音源ｊそれぞれの多チャンネルウィナーフィルタＭｊ（ｆ，ｎ）を記憶部１２に書き込み、図１０の処理を終了する。
【0111】
図１１は、信号解析装置１における音源分離処理を示すフロー図である。信号解析装置１の入力部１１は、マイク６－１～６－Ｉそれぞれの観測信号を入力する。推定部１４は、各観測信号をＳＴＦＴして複素スペクトログラムを算出し、周波数ｆ及び時間フレームｎの組み合わせ毎のベクトルｘ（ｆ，ｎ）を生成する（ステップＳ２１）。推定部１４は、記憶部１２から図１０の学習処理により学習された多チャンネルウィナーフィルタＭｊ（ｆ，ｎ）を読み出す。推定部１４は、式（１４）に示すようにベクトルｘ（ｆ，ｎ）に音源ｊの多チャンネルウィナーフィルタＭｊ（ｆ，ｎ）を乗算して、各音源ｊの推定の複素スペクトログラム＾ｓｊ（ｆ，ｎ）を算出する（ステップＳ２２）。推定部１４は、音源ｊごとに、周波数ｆ及び時間フレームｎの順に＾ｓｊ（ｆ，ｎ）を並べた後に逆ＳＴＦＴすることによって、音源ｊの音源信号を推定する（ステップＳ２３）。
【0112】
従来、ＧＭＶＡＥ法は、収束性が保障されたパラメータの最適化アルゴリズムを導出するための反復アルゴリズムにＭＭ方式を使用していた。しかし、最適化のための反復でパラメータ更新の度に複数回の逆行列演算および行列積演算が生じ、演算速度に問題があった。本実施形態では、深層ニューラルネットワークを用いてＧＭＶＡＥ法により音源分離を行う際に、Ｑ関数とよばれる完全データに対する対数尤度関数の条件つき期待値を、ＥステップおよびＭステップの２つの手順を繰り返して最大化する。これにより、目的とする不完全データに対する対数尤度関数を最大化するアルゴリズムを用いて最適解に収束させる。よって、計算量を抑えた音源分離が可能である。
【0113】
［７． 本実施形態の効果］
本実施形態の有効性を調査するために音源数３、マイク数２の劣決定条件を想定した音源分離実験を行った。
本実施形態の有効性を調査するために音源数３、マイク数２の劣決定条件を想定した音源分離実験を行った。
【0114】
ＶＣＣ２０１８データセットに含まれる男女各２名の音声計４００発話を学習データとして利用し、別の男女各２名の音声計４０発話をテストデータとして利用した。テストデータから無作為に音声信号を取り出して、残響環境がＴ６０＝７８ｍｓである３話者の混合信号を計４０サンプル作成した。サンプリング周波数は１６ｋＨｚとし、ＳＴＦＴ分析条件はフレーム長およびシフト長をそれぞれ１２８ｍｓ、６４ｍｓとした。
【0115】
本実施形態の信号解析装置１により観測信号から音源信号を分離する比較対象となるベースラインとして、ＥＭ方式のＭＮＭＦ、ＭＭ方式のＭＮＭＦ、及び、ConvTasNetを利用した。また、これらの手法を、本実施形態の信号解析装置１におけるＧＭＶＡＥ法の初期値として利用した。ＮＭＦの基底数は各話者ごとに１０とし、学習データに対して反復数１０００のItakura-Saito NMF（ＩＳ－ＮＭＦ）を適用することでスペクトルテンプレートを学習した。テスト時には、ＭＮＭＦの反復数を３００とするとともに、反復数が２００のときの分離信号をＧＭＶＡＥ法の初期化に利用した。ConvTasNetは、オープンソースasteroidで提供されている学習スクリプトを利用し、LibriSpeechデータから作成された３話者のモノラル混合信号データセットであるLibri3Mixを用いて学習した。テスト時には、マルチチャンネルの観測信号に対して、各チャンネルの信号をモノラル信号とみなしてネットワークへ入力し、出力された分離信号を結合することでマルチチャンネルの分離信号とした。また、ConvTasNetによって得られた分離信号についても、ＧＭＶＡＥ法の初期化に利用した。
【0116】
本実施形態の信号解析装置１におけるＧＭＶＡＥ法で用いられるＡＣＶＡＥ音源モデルとして、エンコーダ、デコーダ、識別器にはゲート機構をもつ３層の畳み込み、３層の逆畳み込み、４層の畳み込みネットワークをそれぞれ利用した。式（３７）が示す学習規準に含まれる重みパラメータλＪおよびλＫは１とし、学習エポック数は１０００とした。ネットワークの学習およびＧＭＶＡＥ法の誤差逆伝搬法における最適化アルゴリズムには学習率がそれぞれ０．０００１、０．０１であるAdamアルゴリズムを利用した。
【0117】
評価尺度として、分離性能を表すsignal-to-distortion ratio（ＳＤＲ）、source image-to-spatial distortion ratio（ＩＳＲ）、signal-to-inference ratio（ＳＩＲ）、signal-to-artifact ratio（ＳＡＲ）、音声品質を表すperceptual evaluation of speech quality（ＰＥＳＱ）、及び、明瞭性を表すshort-time objective intelligibility（ＳＴＯＩ）を用いた。
【0118】
図１２は、各手法による処理時間の比較結果の表を示す。図１２では、６．８９ｓ（秒）の音声信号の分離に要する処理時間［ｓ］を示している。ここでは、本実施形態と学習基準が同様のＭＮＭＦにＭＭ方式及びＥＭ方式を用いた場合と、ＧＭＶＡＥ法にＭＭ方式を用いた場合とを、本実施形態の信号解析装置１との比較対象としている。（）内の数値は誤差逆伝搬法による反復数を表す。また、図１２では、同一条件で処理時間が高速である手法を太字で示している。ＣＰＵおよびＧＰＵとして、Intel(R) Xeon(R) CPU E5-2680 v4 @ 2.40GHzおよびNVIDIA Tesla K80を用いた。上段はＣＰＵ利用時のＥＭ方式のＭＮＭＦ及びＥＭ方式のＧＭＶＡＥ法、ならびに、ＭＭ方式のＧＭＶＡＥ法及び本実施形態によるＥＭ方式のＧＭＶＡＥ法それぞれの処理時間を示す。下段はＧＰＵ利用時のＭＭ方式のＧＭＶＡＥ法、及び、本実施形態によるＥＭ方式のＧＭＶＡＥ法それぞれの処理時間を示す。図１２に示すように、ＭＮＭＦと異なり、ＧＭＶＡＥ法では本実施形態によるＥＭ方式のパラメータ最適化アルゴリズムがＭＭ方式と比較して、一貫して高速であることが確認された。また本実施形態のＥＭ方式のＧＭＶＡＥ法では、誤差逆伝搬法の反復回数がＧＰＵ利用時には１０［ｓ］未満、ＣＰＵ利用時でも反復数１の場合でＭＭ方式のＭＮＭＦと同程度に高速であった。
【0119】
図１３～図１８は、ＥＭ方式のＭＮＭＦ、ＭＭ方式のＭＮＭＦ及びConvTasNetそれぞれを初期化手法として用いた実験結果を示す。つまり、ステップＳ１３において、これらの初期化手法により算出された～Ｓを初期値の潜在表現Ｚを算出するためにエンコーダに入力した。図１３はＳＤＲ、図１４はＩＳＲ、図１５はＳＩＲ、図１６はＳＡＲ、図１７はＰＥＳＱ、図１８はＳＴＯＩを用いた分離性能を示す。エラーバーは９５％信頼区間を表す。()内の数値は誤差逆伝搬法による反復数を表す。
【0120】
ＧＭＶＡＥ法では、誤差逆伝搬法における更新回数の増加にともなって性能改善がみられ、ＥＭ方式およびＭＭ方式のいずれのパラメータ最適化アルゴリズムにおいても同等の分離性能が達成された。また、ConvTasNetといったより分離性能の高い手法を初期化として利用することで、大幅な性能改善が可能であることが示された。
【0121】
以上より、本実施形態のＥＭ方式に基づくＧＭＶＡＥ法が、（１）ＭＭ方式に基づくＭＮＭＦと同程度高速かつより高い分離性能を達成すること、（２）ＭＭ方式に基づくＧＭＶＡＥ法より高速かつ同程度の分離性能が達成可能であることが確認された。
【0122】
以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。
【0123】
（参考文献１）N. Q. Duong, E. Vincent, and R. Gribonval, "Under-Determined Reverberant Audio Source Separation Using a Full-Rank Spatial Covariance Model," IEEE Transactions on Audio, Speech, and Language Processing, vol. 18, no. 7, pp. 1830-1840, 2010.
【0124】
（参考文献２）D. D. Lee and H. S. Seung, "Learning the parts of objects by non-negative matrix factorization," Nature, vol. 401, no. 6755, pp. 788-791, 1999.
【0125】
（参考文献３）S. Arberet, A. Ozerov, N. Q.K. Duong, E. Vincent, R. Gribonval, F. Bimbot, and P. Vandergheynst, "Nonnegative matrix factorization and spatial covariance model for under-determined reverberant audio source separation," in Proc. International Conference on Information Science, Signal Processing and their Applications(ISSPA), pp. 1-4, 2010.
【0126】
（参考文献４）H. Sawada, H. Kameoka, S. Araki, and N. Ueda, "Multichannel Extensions of Non-Negative Matrix Factorization With Complex-Valued Data," IEEE Transactions on Audio, Speech, and Language Processing, vol. 21, no. 5, pp. 971-982, 2013.
【0127】
（参考文献５）D. P. Kingma, D. J. Rezende, S. Mohamed, and M. Welling, "Semi-Supervised Learning with Deep Generative Models," in Proc. Neural Information Processing Systems (NIPS), 2014.
【0128】
（参考文献６）H. Kameoka, T. Kaneko, K. Tanaka, and N. Hojo, "ACVAE-VC: Non-Parallel Voice Conversion With Auxiliary Classifier Variational Autoencoder," IEEE/ACM Transactions on Audio, Speech, and Language Processing, vol. 27, no. 9, pp. 1432-1443, 2019.
【符号の説明】
【0129】
１…信号解析装置、６－１～６－Ｉ…マイク、７－１～７－Ｊ…音源、１１…入力部、１２…記憶部、１３…学習部、１４…推定部、５１…プロセッサ、５２…記憶部、５３…通信インタフェース、５４…ユーザインタフェース
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】