特許 7567730 音源分離学習装置、音源分離学習方法、及び音源分離学習プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-07

(45)【発行日】2024-10-16

(54)【発明の名称】音源分離学習装置、音源分離学習方法、及び音源分離学習プログラム

(51)【国際特許分類】

   G10L 21/0272 20130101AFI20241008BHJP

   G10L 21/028 20130101ALI20241008BHJP

【ＦＩ】

G10L21/0272 100Z

G10L21/028 B

【請求項の数】 7

(21)【出願番号】P 2021152169

(22)【出願日】2021-09-17

(65)【公開番号】P2023044243

(43)【公開日】2023-03-30

【審査請求日】2023-07-31

(73)【特許権者】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】亀岡 弘和

(72)【発明者】

【氏名】渡邊 千紘

(72)【発明者】

【氏名】関 翔悟

(72)【発明者】

【氏名】李 莉

【審査官】菊池 智紀

(56)【参考文献】

【文献】特開２０２０－１３４６５７（ＪＰ，Ａ）

【文献】KAMEOKA, Hirokazu et al.，"ATTENTIOPIT: SOFT PERMUTATION INVARIANT TRAINING FOR AUDIO SOURCE SEPARATION WITH ATTENTION MECHANISM"，Proc. of the ICASSP2022，2022年04月27日，pp.706-710

【文献】OCHIAI, Tsubasa et al.，"A UNIFIED FRAMEWORK FOR NEURAL SPEECH SEPARATION AND EXTRACTION"，Proc. of the ICASSP2019，2019年04月17日，pp.6975-6979

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｌ ２１／０２－２１／０３６４

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

複数の音源信号が混合された混合信号を、ニューラルネットワークで構成された音源分離モデルにより複数の分離信号に分離する分離部と、
前記複数の分離信号の各々及び前記複数の音源信号の各々から抽出器により特徴量を抽出し、抽出した特徴量に基づいて、前記複数の分離信号の各々と前記複数の音源信号の各々との類似度を要素に持つ注意行列であって、各列の要素の和が１となり、かつ、各要素は、前記分離信号と前記音源信号とが類似しているほど１に近い値をとり、類似していないほど０に近い値をとる注意行列を算出する算出部と、
前記注意行列に基づいて対応付けした前記複数の音源信号の各々と前記複数の分離信号の各々との誤差を含み、前記注意行列が直交行列に近いほど小さい値をとる学習規準を最小化するように、前記音源分離モデル及び前記抽出器のパラメータを学習する学習部と、
を含む音源分離学習装置。

【請求項2】

前記抽出器は、ニューラルネットワークで構成されたエンコーダである請求項１に記載の音源分離学習装置。

【請求項3】

前記学習規準は、前記注意行列が直交行列に近いほど小さい値をとる正則化項を含み、
前記学習部は、前記学習規準における前記正則化項の重みを、学習が進むにしたがって大きくする請求項１又は請求項２に記載の音源分離学習装置。

【請求項4】

前記誤差を、前記複数の音源信号を表す音源信号行列及び前記複数の分離信号を表す分離信号行列の一方に前記注意行列を乗算した行列と、前記音源信号行列及び前記分離信号行列の他方との差とする請求項１～請求項３のいずれか１項に記載の音源分離学習装置。

【請求項5】

前記音源信号行列は、各音源信号を表す行ベクトルを縦に並べた行列であり、前記分離信号行列は、各分離信号を表す行ベクトルを縦に並べた行列であり、前記注意行列のｉ行ｊ列の要素は、前記音源信号行列及び前記分離信号行列の一方のｉ列目の行ベクトルと、前記音源信号行列及び前記分離信号行列の他方のｊ列目の行ベクトルとの類似度を表す値であり、前記注意行列を乗算した行列は、前記音源信号行列及び前記分離信号行列の一方に前記注意行列を右から乗じた行列である請求項４に記載の音源分離学習装置。

【請求項6】

分離部が、複数の音源信号が混合された混合信号を、ニューラルネットワークで構成された音源分離モデルにより複数の分離信号に分離し、
算出部が、前記複数の分離信号の各々及び前記複数の音源信号の各々から抽出器により特徴量を抽出し、抽出した特徴量に基づいて、前記複数の分離信号の各々と前記複数の音源信号の各々との類似度を要素に持つ注意行列であって、各列の要素の和が１となり、かつ、各要素は、前記分離信号と前記音源信号とが類似しているほど１に近い値をとり、類似していないほど０に近い値をとる注意行列を算出し、
学習部が、前記注意行列に基づいて対応付けした前記複数の音源信号の各々と前記複数の分離信号の各々との誤差を含み、前記注意行列が直交行列に近いほど小さい値をとる学習規準を最小化するように、前記音源分離モデル及び前記抽出器のパラメータを学習する
音源分離学習方法。

【請求項7】

コンピュータを、請求項１～請求項５のいずれか１項に記載の音源分離学習装置を構成する各部として機能させるための音源分離学習プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

開示の技術は、音源分離学習装置、音源分離学習方法、及び音源分離学習プログラムに関する。

【背景技術】

【0002】

複数の音源の音響信号が混在したモノラル混合音響信号から、各音源の信号を分離抽出する問題をモノラル音源分離という。モノラル音源分離技術は、深層ニューラルネットワークをベースにした手法が頭角を現して以来、飛躍的な進歩を遂げている。現在までに提案されているモノラル音源分離手法は、スペクトルベースと時間領域ベースとの２つの手法に大別されるが、現時点において、精度の面では後者が優位に立っている。

【0003】

時間領域ベースの手法では、混合信号を入力とし、Ｊ個の分離信号を出力するようなニューラルネットワークモデル（以下、「音源分離モデル」という）を適当に設計し、この音源分離モデルを学習することが目的となる。しかし、音源分離モデルから出力される各分離信号がどの音源に対応するかは、音源分離モデルのアーキテクチャやパラメータ次第であり、事前に予測することが難しい。そのため、混合信号に混合されている正解の音源信号（以下、「正解音源信号」という）を適当な順番で並べた上で、分離信号と正解音源信号との誤差を学習規準とする単純な方法では、音源分離モデルが期待どおりに学習されない場合があった。

【0004】

そこで、各学習サンプルについて、音源分離モデルから出力される各分離信号がどの正解音源信号に対応しているかを見つけた上で、分離信号と正解音源信号との誤差を評価し、その評価値に基づいて音源分離モデルのパラメータを更新するパーミュテーション不変学習（Ｐｅｒｍｕｔａｔｉｏｎ Ｉｎｖａｒｉａｎｔ Ｔｒａｉｎｉｎｇ；ＰＩＴ）と呼ばれる学習方式（非特許文献１）が提案され、現在多くの手法で採用されている。

【先行技術文献】

【非特許文献】

【0005】

【文献】D. Yu, M. Kolbak, Z. Tan, and J. Jensen, "Permutation invariant training of deep models for speaker-independent multitalker speech separation," in Proc. ICASSP, 2017, pp.241-245.

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかし、上述のＰＩＴでは、音源の数Ｊ個に対して、学習の計算コストがＯ（Ｊ！）となるため、混合されている音源の数が多い混合信号（例えば、１０音源以上の混合信号）を対象とした音源分離モデルの場合、現実的な計算コストでの学習が困難である。例えば、Ｊ＝２０の場合、Ｊ！は２．４×１０^１８と途方もない数となり、学習の計算コストも膨大となる。

【0007】

開示の技術は、上記の点に鑑みてなされたものであり、音源分離モデルの学習において、混合されている音源の数が多い混合信号を分離する場合でも、音源分離精度の低下を抑制しつつ、学習効率を向上させることを目的とする。

【課題を解決するための手段】

【0008】

本開示の第１態様は、音源分離学習装置であって、複数の音源信号が混合された混合信号を、ニューラルネットワークで構成された音源分離モデルにより複数の分離信号に分離する分離部と、前記複数の分離信号の各々及び前記複数の音源信号の各々から抽出器により特徴量を抽出し、抽出した特徴量に基づいて、前記複数の分離信号の各々と前記複数の音源信号の各々との類似度を要素に持つ注意行列を算出する算出部と、前記注意行列に基づいて対応付けした前記複数の音源信号の各々と前記複数の分離信号の各々との誤差を含む学習規準を最小化するように、前記音源分離モデル及び前記抽出器のパラメータを学習する学習部と、を含む。

【0009】

本開示の第２態様は、音源分離学習方法であって、分離部が、複数の音源信号が混合された混合信号を、ニューラルネットワークで構成された音源分離モデルにより複数の分離信号に分離し、算出部が、前記複数の分離信号の各々及び前記複数の音源信号の各々から抽出器により特徴量を抽出し、抽出した特徴量に基づいて、前記複数の分離信号の各々と前記複数の音源信号の各々との類似度を要素に持つ注意行列を算出し、学習部が、前記注意行列に基づいて対応付けした前記複数の音源信号の各々と前記複数の分離信号の各々との誤差を含む学習規準を最小化するように、前記音源分離モデル及び前記抽出器のパラメータを学習する方法である。

【0010】

本開示の第３態様は、音源分離学習プログラムであって、コンピュータを、上記の音源分離学習装置を構成する各部として機能させるためのプログラムである。

【発明の効果】

【0011】

開示の技術によれば、音源分離モデルの学習において、混合されている音源の数が多い混合信号を分離する場合でも、音源分離精度の低下を抑制しつつ、学習効率を向上させることができる。

【図面の簡単な説明】

【0012】

【図1】ＰＩＴの学習方式を説明するための図である。

【図2】音源分離学習装置のハードウェア構成を示すブロック図である。

【図3】音源分離学習装置の機能構成の例を示すブロック図である。

【図4】音源分離学習処理の流れを示すフローチャートである。

【図5】ＡｔｔｅｎｔｉｏｎＰＩＴの学習方式を説明するための図である。

【図6】ＡｔｔｅｎｔｉｏｎＰＩＴ及び参考方式の音源分離精度及び学習効率の評価結果の一例を示す図である。

【図7】音源分離装置の機能構成の例を示すブロック図である。

【発明を実施するための形態】

【0013】

以下、開示の技術の実施形態の一例を、図面を参照しつつ説明する。なお、各図面において同一又は等価な構成要素及び部分には同一の参照符号を付与している。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。

【0014】

＜問題の定式化＞
本実施形態に係る音源分離学習装置の詳細を説明する前に、本実施形態における問題を定式化する。なお、以下の各数式内の太字のアルファベットで表された記号は、行列又はベクトルを表す。文章内では、対応する記号を、そのアルファベットの前に行列又はベクトルの文字を付して表記する。また、数式内においてアクセント記号が付されたアルファベットは、文章内では、例えば、「＾Ｓ」のように、そのアルファベットの前にアクセント記号を付して表記する。その他、文章内で数式内と同様に表記することができない記号については、適宜説明を付して表記の変換を行う。

【0015】

音源ｊの音響信号（以下、「音源信号」という）をｓ_ｊ（ｎ）とすると、Ｊ個の音源信号ｓ_１（ｎ），．．．，ｓ_Ｊ（ｎ）が混在するモノラル混合信号ｙ（ｎ）は、下記（１）式で表される。

【0016】

【数1】

【0017】

ただし、ｎは時刻のインデックス、Ｎは混合信号の全標本点数である。モノラル音源分離の目的は、混合信号ｙ＝［ｙ（１），．．．，ｙ（Ｎ）］∈実数Ｒ^１×Ｎから各音源信号ｓ_ｊ＝［ｓ_ｊ（１），．．．，ｓ_ｊ（Ｎ）］∈実数Ｒ^１×Ｎ（ｊ＝１，．．．，Ｊ）を復元することである。

【0018】

下記（２）式を参照して、ニューラルネットワークを用いた時間領域ベースのモノラル音源分離手法について説明する。

【0019】

【数2】

【0020】

ニューラルネットワークを用いた時間領域ベースのモノラル音源分離手法は、（２）式に示すように、混合信号を表すベクトルｙを入力とし、各分離信号を表すベクトルを並べた行列（以下、「分離信号行列」という）＾Ｓ＝［ベクトル＾ｓ_１；．．．；ベクトル＾ｓ_Ｊ］∈実数Ｒ^Ｊ×Ｎを出力する関数ｆ_θ（・）を適当なアーキテクチャのニューラルネットワークでモデル化し、そのパラメータθを学習により決定するアプローチをとる。ただし、「；」は行列における改行を表す記号とする。ベクトル＾ｓ_１、．．．、ベクトル＾ｓ_Ｊがそれぞれどの音源に対応するかは、ｆ_θ（・）のアーキテクチャやパラメータに依存し、学習時に事前に予測することは必ずしも容易ではない。そのため、分離信号と正解音源信号との対応付けを行いつつ、パラメータθの学習を行う方法が必要となる。

【0021】

上記のような学習を行う方法が、上述した非特許文献１に記載のＰＩＴである。ＰＩＴでは、各学習サンプルである混合信号（ベクトルｙ）に混合されている正解音源信号を表すベクトルを並べた行列（以下、「正解音源信号行列」という）を行列Ｓ＝［ベクトルｓ_１，．．．，ベクトルｓ_Ｊ］とする場合、その学習規準は下記（３）式となる。

【0022】

【数3】

【0023】

ただし、Ｅ（数式内では二重線を含む表記）_{（行列Ｓ，ベクトルｙ）～ｐ＿Ｄ（行列Ｓ，ベクトルｙ）}［・］は全学習サンプルについての集合平均を表す。行列Ｐは各分離信号と各正解音源信号との対応関係を表すバイナリ行列である。集合Ｐ（数式内では筆記体表記）は置換行列の集合を表す。Ｄ（Ａ，Ｂ）はＡとＢとの誤差を表す尺度であり、例えば、絶対誤差、二乗誤差、負のスケール不変信号対歪比（Ｓｃａｌｅ－ＩｎｖａｒｉａｎｔＳｉｇｎａｌ－ｔｏ－ＤｉｓｔｏｒｔｉｏｎＲａｔｉｏ；ＳＩ－ＳＤＲ、参考文献１）等が用いられる。
参考文献１：J. Le Roux, S. Wisdom, H. Erdogan, and J. R. Hershey, "SDR - half-baked or well done?," arXiv:1811.02508 [cs.SD], 2018.

【0024】

ＰＩＴでは、図１に示すように、各学習サンプルについてＤ（ｆ_θ（ベクトルｙ）行列Ｐ，行列Ｓ）が最小となる行列Ｐを全列挙により探索した上で、パラメータθを更新する方法がとられる。そのため、学習の計算時間オーダーはＯ（Ｊ！）となる。音源の数Ｊが２や３の場合にはこの方法でも特に問題とならないが、Ｊが大きくなるにしたがって組み合わせ爆発が起こり、現実的な計算量で学習することが困難になる。

【0025】

そこで、本実施形態では、音源分離モデルから出力される各分離信号がどの正解音源信号に対応しているかを注意（Ａｔｔｅｎｔｉｏｎ）機構により見つけ出し、この対応を注意行列として算出する。そして、注意行列に基づいて分離信号又は正解音源信号を並び替えた上で、分離信号と正解音源信号との誤差を評価する。すなわち、本実施形態における学習方式は、注意機構に基づくアプローチにより、ＰＩＴの学習規準の緩和版に相当する学習規準を最適化する方式である。以下では、本実施形態における学習方式を「ＡｔｔｅｎｔｉｏｎＰＩＴ」と呼ぶ。以下、本実施形態に係る音源分離学習装置について詳述する。

【0026】

＜音源分離学習装置の構成＞
図２は、音源分離学習装置１０のハードウェア構成を示すブロック図である。図２に示すように、音源分離学習装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３、ストレージ１４、入力部１５、表示部１６、及び通信Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１７を有する。各構成は、バス１９を介して相互に通信可能に接続されている。

【0027】

ＣＰＵ１１は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ１１は、ＲＯＭ１２又はストレージ１４からプログラムを読み出し、ＲＡＭ１３を作業領域としてプログラムを実行する。ＣＰＵ１１は、ＲＯＭ１２又はストレージ１４に記憶されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。本実施形態では、ＲＯＭ１２又はストレージ１４には、後述する音源分離学習処理を実行するための音源分離学習プログラムが格納されている。

【0028】

ＲＯＭ１２は、各種プログラム及び各種データを格納する。ＲＡＭ１３は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ１４は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する。

【0029】

入力部１５は、マウス等のポインティングデバイス、及びキーボードを含み、各種の入力を行うために使用される。表示部１６は、例えば、液晶ディスプレイであり、各種の情報を表示する。表示部１６は、タッチパネル方式を採用して、入力部１５として機能してもよい。通信Ｉ／Ｆ１７は、他の機器と通信するためのインタフェースである。当該通信には、たとえば、イーサネット（登録商標）若しくはＦＤＤＩ等の有線通信の規格、又は、４Ｇ、５Ｇ、若しくはＷｉ－Ｆｉ（登録商標）等の無線通信の規格が用いられる。

【0030】

次に、音源分離学習装置１０の機能構成について説明する。図３は、音源分離学習装置１０の機能構成の例を示すブロック図である。図３に示すように、音源分離学習装置１０は、機能構成として、分離部１０１と、算出部１０２と、学習部１０３とを有する。各機能構成は、ＣＰＵ１１がＲＯＭ１２又はストレージ１４に記憶された音源分離学習プログラムを読み出し、ＲＡＭ１３に展開して実行することにより実現される。

【0031】

分離部１０１は、複数の音源信号が混合された混合信号を、ニューラルネットワークで構成された音源分離モデル１１１により複数の分離信号に分離する。

【0032】

具体的には、分離部１０１は、音源分離学習装置１０に入力された、学習サンプルとなる混合信号を取得し、取得した混合信号を表すベクトルｙを音源分離モデル１１１に入力する。上記の問題の定式化で説明したように、音源分離モデル１１１は、（２）式に示すように、混合信号を表すベクトルｙを入力とし、分離信号行列＾Ｓを出力する関数ｆ_θ（・）を適当なアーキテクチャのニューラルネットワークでモデル化したものである。分離部１０１は、音源分離モデル１１１から出力される分離信号行列＾Ｓを取得する。分離部１０１は、学習サンプルを構成する正解音源信号行列Ｓ、及び音源分離モデル１１１から出力された分離信号行列＾Ｓを算出部１０２へ受け渡す。

【0033】

算出部１０２は、複数の分離信号の各々及び複数の音源信号の各々から抽出器１１２により特徴量を抽出し、抽出した特徴量に基づいて、複数の分離信号の各々と複数の音源信号の各々との類似度を要素に持つ注意行列を算出する。

【0034】

抽出器１１２は、ニューラルネットワークで構成されたエンコーダである。このエンコーダは、分離信号行列＾Ｓ及び正解音源信号行列Ｓの各々を入力とし、入力と同じ行数で適当な列数の行列を出力する関数ｇ_φ（・）を適当なアーキテクチャのニューラルネットワークでモデル化したものである。そこで、分離信号行列＾Ｓ及び正解音源信号行列Ｓを入力した際のｇ_φ（・）の出力をそれぞれ下記（４）式及び下記（５）とする。

【0035】

【数4】

【0036】

行列Ｋ及び行列Ｑ∈実数Ｒ^Ｊ×Ｎ’は、分離信号行列＾Ｓ及び正解音源信号行列Ｓの特徴をそれぞれ強調（エンコード）したものとなる。ただし、Ｎ’は行列Ｋ及び行列Ｑの列数である。行列Ｋ及び行列Ｑを用いて算出される、分離信号＾ｓ_ｊと正解音源信号ｓ_ｊ’との類似度ａ_ｊｊ’（０以上１以下）を要素にもつ行列Ａ∈実数Ｒ^Ｊ×Ｊを「注意行列」と呼ぶ。注意行列Ａは、例えば、下記（６）式としてよい。

【0037】

【数5】

【0038】

ただし、ｓｏｆｔｍａｘ（・）は行列の各列にソフトマックス関数を適用する演算を意味する。よって、（６）式の場合、注意行列Ａの各列の要素の和は１となる。注意行列Ａの要素ａ_ｊｊ’は、分離信号＾ｓ_ｊと正解音源信号ｓ_ｊ’とが類似しているほど１に近い値をとり、類似していないほど０に近い値をとることになる。したがって、注意行列Ａの各要素が厳密に０か１のいずれかになっている場合、下記（７）式に示すように分離信号行列＾Ｓに右から注意行列Ａを乗じて得られる行列^～Ｓは、正解音源信号行列Ｓの各行に最も類似した分離信号行列＾Ｓの行を見つけ、それらを正解音源信号行列Ｓの行番号順に並べたような行列となる。

【0039】

【数6】

【0040】

具体的には、算出部１０２は、分離信号行列＾Ｓを抽出器１１２に入力し、抽出器１１２から出力される分離信号行列＾Ｓの特徴量（行列Ｋ）を取得する。また、算出部１０２は、正解音源信号行列Ｓを抽出器１１２に入力し、抽出器１１２から出力される正解音源信号行列Ｓの特徴量（行列Ｑ）を取得する。そして、算出部１０２は、取得した特徴量を用いて、例えば（６）式により、注意行列Ａを算出する。算出部１０２は、正解音源信号行列Ｓ及び分離信号行列＾Ｓと、算出した注意行列Ａとを学習部１０３へ受け渡す。

【0041】

学習部１０３は、注意行列Ａに基づいて対応付けした複数の音源信号の各々と複数の分離信号の各々との誤差を含む学習規準を最小化するように、音源分離モデル１１１のパラメータθ、及び抽出器１１２のパラメータφを学習する。（７）式に示す行列^～Ｓを正解音源信号行列Ｓにできるだけ近づけることが、パラメータθ及びφの学習目標となる。（６）式と（７）式とをまとめた式を下記（８）式とした場合、最小化したい学習規準Ｌ（θ，φ）は、下記（９）式及び（１０）式となる。

【0042】

【数7】

【0043】

各分離信号ｓ_ｊと各正解音源信号ｓ_ｊ’とは一対一で対応していることが望ましいが、これは注意行列Ａが置換行列の要件を満たしている場合に相当する。上記の学習規準のみでは、注意行列Ａが置換行列の要件を満たすように学習が行われるとは限らない。そこで、学習部１０３は、上記の学習規準に加え、注意行列Ａが直交行列に近いほど小さい値をとるような学習規準を用いて、パラメータθ及びφを学習してもよい。例えば、下記（１１）式に示すように、注意行列Ａとその転置行列Ａ^Ｔとの積と、単位行列との誤差を表す正則化項Ｒ（数式内では筆記体表記）（θ，φ）を含む学習規準を用いてもよい。

【0044】

【数8】

【0045】

（１１）式に示す正則化項は、注意行列Ａが置換行列になっている場合に０になる。ただし、λ≧０は正則化重み、行列ＩはＪ×Ｊの単位行列、||・||_ρは行列のρノルムである。λは、固定値としてもよいし、学習開始時は小さめの値に設定し、学習が進むに従って徐々に値を大きくするようにしてもよい。

【0046】

学習部１０３は、例えば、算出部１０２から受け渡された分離信号行列＾Ｓ及び注意行列Ａから、（７）式に示す行列^～Ｓを算出し、算出部１０２から受け渡された正解音源信号行列Ｓ及び行列^～Ｓから、（９）式に示す学習規準を算出する。学習部１０３は、算出した学習規準が小さくなるように、パラメータθ及びφを更新する。そして、学習部１０３は、終了条件を満たすまで、パラメータθ及びφの更新を繰り返す。終了条件は、パラメータθ及びφの更新が所定の繰り返し回数に達した場合、学習規準が所定値以下となった場合、前回算出された学習規準と今回算出された学習規準との差が所定値以下となった場合等としてよい。学習部１０３は、終了条件を満たした際のパラメータθを出力する。

【0047】

次に、音源分離学習装置１０の作用について説明する。

【0048】

図４は、音源分離学習装置１０による音源分離学習処理の流れを示すフローチャートである。ＣＰＵ１１がＲＯＭ１２又はストレージ１４から音源分離学習プログラムを読み出して、ＲＡＭ１３に展開して実行することにより、音源分離学習処理が行なわれる。また、 図５は、本実施形態における学習方式（ＡｔｔｅｎｔｉｏｎＰＩＴ）を表す概略図である。図４に示す音源分離学習処理について、図５も参照して説明する。

【0049】

ステップＳ１０１において、ＣＰＵ１１は、分離部１０１として、音源分離学習装置１０に入力された、学習サンプルとなる混合信号を取得する。次に、ステップＳ１０２で、ＣＰＵ１１は、分離部１０１として、取得した混合信号を表すベクトルｙを音源分離モデル１１１（ｆ_θ（・））に入力し、音源分離モデル１１１から出力される分離信号行列＾Ｓを取得する（図５のＡ）。

【0050】

次に、ステップＳ１０３で、ＣＰＵ１１は、算出部１０２として、上記ステップＳ１０２で取得された分離信号行列＾Ｓを抽出器１１２（ｇ_φ（・））に入力し、抽出器１１２から出力される分離信号行列＾Ｓの特徴量（行列Ｋ）を取得する（図５のＢ）。また、ＣＰＵ１１は、算出部１０２として、上記ステップＳ１０１で取得された学習サンプルを構成する正解音源信号行列Ｓを抽出器１１２（ｇ_φ（・））に入力し、抽出器１１２から出力される正解音源信号行列Ｓの特徴量（行列Ｑ）を取得する。そして、ＣＰＵ１１は、算出部１０２として、取得した特徴量を用いて、例えば（６）式により、注意行列Ａを算出する。

【0051】

次に、ステップＳ１０４で、ＣＰＵ１１は、学習部１０３として、上記ステップＳ１０２で取得された分離信号行列＾Ｓ、及び上記ステップＳ１０３で算出された注意行列Ａから、（７）式に示す行列^～Ｓを算出する（図５のＤ）。そして、ＣＰＵ１１は、学習部１０３として、正解音源信号行列Ｓと行列^～Ｓとの誤差を示す、例えば（９）式に示すような学習規準を算出し（図５のＥ）、算出した学習規準が小さくなるように、パラメータθ及びφを更新する。

【0052】

次に、ステップＳ１０５で、ＣＰＵ１１は、学習部１０３として、学習の終了条件を満たすか否かを判定する。学習の終了条件を満たす場合には、ステップＳ１０６へ移行し、満たさない場合には、ステップＳ１０２に戻る。ステップＳ１０６では、ＣＰＵ１１は、学習部１０３として、終了条件を満たした際のパラメータθを出力し、音源分離学習処理は終了する。

【0053】

ここで、本実施形態における学習方式（ＡｔｔｅｎｔｉｏｎＰＩＴ）の効果を、参考手法と比較して説明する。ここでは、参考手法を、ＳｉｎｋＰＩＴ（参考文献２）、及びＨｕｎｇａｒｉａｎＰＩＴ（参考文献３）とする。

【0054】

参考文献２：H. Tachibana, "Towards Listening to 10 People Simultaneously: An Efficient Permutation Invariant Training of Audio Source Separation Using Sinkhorn's Algorithm," arXiv:2010.11871 [cs.SD], 2020.
参考文献３：S. Dovrat, E. Nachmani, and L. Wolf, "Many-Speakers Single Channel Speech Separation with Optimal Permutation Training," arXiv:2104.08955 [cs.SD], 2021.

【0055】

ＳｉｎｋＰＩＴは、Ｓｉｎｋｈｏｒｎ－Ｋｎｏｐｐアルゴリズムにより任意の正値行列を二重確率行列に収束させられる点に着眼し、音源分離モデルの出力信号と正解信号との各ペアの誤差を要素にしたペアワイズ誤差行列を構成し、この誤差行列と、誤差行列を元にして作られる正値行列の収束先の二重確率行列との内積を学習規準とした方式である。ＳｉｎｋＰＩＴの計算コストは、Ｏ（Ｊ^２）である。

【0056】

ＨｕｎｇａｒｉａｎＰＩＴは、割当問題の求解法の１つであるハンガリアン法を用いて、音源分離モデルの出力信号と正解信号との最適割当を行った上で、音源分離モデルの出力信号と正解信号との誤差（ＰＩＴと同一の学習規準）を学習規準とする方式である。ＨｕｎｇａｒｉａｎＰＩＴの計算コストはＯ（Ｊ^３）である。

【0057】

本実施形態における学習方式（ＡｔｔｅｎｔｉｏｎＰＩＴ）は、ＳｉｎｋＰＩＴと同様の計算時間オーダーである。しかし、無限大のＪを考えない限り、各方式の実際の学習時間の長短は音源分離モデルのアーキテクチャや各方式のハイパーパラメータに依存して決まるため、各方式の優劣は音源分離精度及び学習時間を実験的に実測比較した上で議論する必要がある。

【0058】

図６に、１０話者の音声の混合信号を対象としたモノラル音源分離の実験について、各方式の音源分離精度（ＳＩ－ＳＤＲ改善値）及び学習効率（反復計算のサイクル毎秒）の評価結果を示す。本実験において、学習データ及びテストデータは、ＬｉｂｒＳｐｅｅｃｈを元に作られるＬｉｂｒｉＭｉｘと呼ぶデータセットを用い、ＣｏｎｖＴａｓＮｅｔ（参考文献４）を音源分離モデルとして用いた。各方式において、音源分離モデル及び学習の条件は同一である。なお、ＰＩＴで学習した場合の音源分離精度はＨｕｎｇａｒｉａｎＰＩＴで学習した場合と同等になる一方で、学習効率が著しく低かったため、比較対象の参考例から省略している。

【0059】

参考文献４：Y. Luo and N. Mesgarani, "Conv-TasNet: Surpassing ideal time frequency magnitude masking for speech separation," IEEE/ACM Transactions on Audio, Speech, and Language Processing, vol. 27, no. 8, pp. 1256-1266, 2019.

【0060】

図６の評価結果が示すように、音源分離精度においては、ＡｔｔｅｎｔｉｏｎＰＩＴは他の２方式に比べて優位であることが確認された。また、学習効率においては、ＡｔｔｅｎｔｉｏｎＰＩＴはＨｕｎｇａｒｉａｎＰＩＴには若干及ばなかったものの、ＳｉｎｋＰＩＴよりわずかに高効率であることが確認された。

【0061】

以上説明したように、本実施形態に係る音源分離学習装置は、複数の音源信号が混合された混合信号を、ニューラルネットワークで構成された音源分離モデルにより複数の分離信号に分離する。また、音源分離学習装置は、複数の分離信号の各々及び複数の音源信号の各々から抽出器により特徴量を抽出し、抽出した特徴量に基づいて、複数の分離信号の各々と複数の音源信号の各々との類似度を要素に持つ注意行列を算出する。そして、音源分離学習装置は、注意行列に基づいて対応付けした複数の音源信号の各々と複数の分離信号の各々との誤差を含む学習規準を最小化するように、音源分離モデル及び抽出器のパラメータを学習する。これにより、音源分離モデルの学習において、混合されている音源の数が多い混合信号を分離する場合でも、音源分離精度の低下を抑制しつつ、学習効率を向上させることができる。

【0062】

具体的には、本実施形態に係る音源分離学習装置は、ＰＩＴと同様に、分離信号と正解音源分離信号との対応付けを行った上で分離信号と正解音源分離信号との誤差を評価するため、音源分離精度の低下は抑制される。一方、ＰＩＴでは学習の計算コストがＯ（Ｃ！）であるのに対して、本実施形態に係る音源分離学習装置では、計算コストはＯ（Ｃ^２）であり、学習効率を向上させることができる。

【0063】

また、本実施形態に係る音源分離学習装置は、抽出器として、ニューラルネットワークで構成されたエンコーダを用いる。これにより、分離信号と正解音源信号との対応を注意機構により見つけ出すことができる。

【0064】

また、本実施形態に係る音源分離学習装置は、注意行列が直交行列に近いほど小さい値をとる正則化項を含む学習規準を用いてもよい。これにより、注意行列が置換行列の要件を満たす可能性が高まり、分離信号と正解音源信号とを一対一で対応させ易くなる。

【0065】

なお、上記実施形態では、（７）式に示すように、分離信号行列に注意行列を乗算した行列と、正解音源信号行列との誤差を含む学習規準を最小化する場合について説明したが、これに限定されない。正解音源信号行列に注意行列を乗算した行列と、分離信号行列との誤差を含む学習規準を最小化するようにしてもよい。

【0066】

また、本実施形態に係る音源分離学習装置で学習されたパラメータθを用いて構成される音源分離モデルは、混合されている複数の音源信号の各々が未知の推論対象の混合信号から、混合されている複数の音源信号の各々を推論する音源分離装置で利用される。図７に、音源分離装置３０の機能構成の一例を示す。音源分離装置３０は、推論対象の混合信号を、音源分離モデル３１１を用いて分離した複数の分離信号の各々を、推論対象の混合信号に含まれる複数の音源信号の各々を示す推論結果として出力する推論部３０１を含む。音源分離装置３０の所定の記憶領域に記憶される音源分離モデル３１１は、上記実施形態の音源分離学習装置１０における音源分離モデル１１１と同様のアーキテクチャであって、音源分離学習装置１０で学習されたパラメータθが設定されている。

【0067】

なお、上記実施形態でＣＰＵがソフトウェア（プログラム）を読み込んで実行した音源分離学習処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、及びＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、音源分離学習処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。

【0068】

また、上記各実施形態では、音源分離学習処理プログラムがＲＯＭ１２又はストレージ１４に予め記憶（インストール）されている態様を説明したが、これに限定されない。プログラムは、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等の非一時的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）記憶媒体に記憶された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

【0069】

以上の実施形態に関し、更に以下の付記を開示する。

【0070】

（付記項１）
メモリと、
前記メモリに接続された少なくとも１つのプロセッサと、
を含み、
前記プロセッサは、
複数の音源信号が混合された混合信号を、ニューラルネットワークで構成された音源分離モデルにより複数の分離信号に分離し、
前記複数の分離信号の各々及び前記複数の音源信号の各々から抽出器により特徴量を抽出し、抽出した特徴量に基づいて、前記複数の分離信号の各々と前記複数の音源信号の各々との類似度を要素に持つ注意行列を算出し、
前記注意行列に基づいて対応付けした前記複数の音源信号の各々と前記複数の分離信号の各々との誤差を含む学習規準を最小化するように、前記音源分離モデル及び前記抽出器のパラメータを学習する
ように構成されている音源分離学習装置。

【0071】

（付記項２）
音源分離学習処理を実行するようにコンピュータによって実行可能なプログラムを記憶した非一時的記録媒体であって、
前記音源分離学習処理は、
複数の音源信号が混合された混合信号を、ニューラルネットワークで構成された音源分離モデルにより複数の分離信号に分離し、
前記複数の分離信号の各々及び前記複数の音源信号の各々から抽出器により特徴量を抽出し、抽出した特徴量に基づいて、前記複数の分離信号の各々と前記複数の音源信号の各々との類似度を要素に持つ注意行列を算出し、
前記注意行列に基づいて対応付けした前記複数の音源信号の各々と前記複数の分離信号の各々との誤差を含む学習規準を最小化するように、前記音源分離モデル及び前記抽出器のパラメータを学習する
ことを含む非一時的記録媒体。

【符号の説明】

【0072】

１０ 音源分離学習装置
１１ ＣＰＵ
１２ ＲＯＭ
１３ ＲＡＭ
１４ ストレージ
１５ 入力部
１６ 表示部
１７ 通信Ｉ／Ｆ
１９ バス
１０１ 分離部
１０２ 算出部
１０３ 学習部
１１１ 音源分離モデル
１１２ 抽出器
３０ 音源分離装置
３０１ 推論部
３１１ 音源分離モデル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】