ホーム > 特許ランキング > 日本電信電話株式会社
特許7567716推定方法、推定プログラム、深層ニューラルネットワーク装置および推定装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-07
(45)【発行日】2024-10-16
(54)【発明の名称】推定方法、推定プログラム、深層ニューラルネットワーク装置および推定装置
(51)【国際特許分類】
G10L 25/03 20130101AFI20241008BHJP
G10L 25/30 20130101ALI20241008BHJP
【ＦＩ】
G10L25/03
G10L25/30
【請求項の数】
8
(21)【出願番号】P 2021136088
(22)【出願日】2021-08-24
(65)【公開番号】P2023030771
(43)【公開日】2023-03-08
【審査請求日】2023-08-02
【新規性喪失の例外の表示】特許法第３０条第２項適用 ［公開の事実１］ １．発行日：２０２０年８月２６日 ２．刊行物：一般財団法人日本音響学会 ２０２０年秋季研究発表会（講演予稿集） ｈｔｔｐｓ：／／ａｃｏｕｓｔｉｃｓ．ｊｐ／ａｎｎｕａｌｍｅｅｔｉｎｇ／ｐａｓｔ－ｍｅｅｔｉｎｇｓ／ ３．公開者：小泉悠馬、原田登、矢田部浩平、升山義紀、及川靖広 ［公開の事実２］ １．開催日：２０２０年９月９日～２０２０年９月１１日（公知日：２０２０年９月１０日） ２．集会名：一般財団法人日本音響学会 ２０２０年秋季研究発表会（オンライン開催） ｈｔｔｐｓ：／／ａｃｏｕｓｔｉｃｓ．ｊｐ／ａｎｎｕａｌｍｅｅｔｉｎｇ／ｐａｓｔ－ｍｅｅｔｉｎｇｓ／ ３．公開者：小泉悠馬、原田登、矢田部浩平、升山義紀、及川靖広 ［公開の事実３］ １．ウェブサイト掲載日：２０２０年１０月２８日 ２．ウェブサイトのアドレス ＩＥＥＥ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ （ｖｏｌ１５，Ｎｏ１，Ｊａｎ ２０２１） ｈｔｔｐｓ：／／ｉｅｅｅｘｐｌｏｒｅ．ｉｅｅｅ．ｏｒｇ／ｄｏｃｕｍｅｎｔ／９２４２２７９ ３．公開者：小泉悠馬、原田登、矢田部浩平、升山義紀、及川靖広
(73)【特許権者】
【識別番号】000004226
【氏名又は名称】日本電信電話株式会社
(74)【代理人】
【識別番号】100098394
【弁理士】
【氏名又は名称】山川 茂樹
(74)【代理人】
【識別番号】100153006
【弁理士】
【氏名又は名称】小池 勇三
(74)【代理人】
【識別番号】100064621
【弁理士】
【氏名又は名称】山川 政樹
(74)【代理人】
【識別番号】100121669
【弁理士】
【氏名又は名称】本山 泰
(72)【発明者】
【氏名】小泉 悠馬
(72)【発明者】
【氏名】安田 昌弘
(72)【発明者】
【氏名】矢田部 浩平
(72)【発明者】
【氏名】升山 義紀
【審査官】大野 弘
(56)【参考文献】
【文献】特開２０２０－１２２８５５（ＪＰ，Ａ）
【文献】Yoshiki Masuyama, Kohei Yatabe, Yuma Koizumi, Yasuhiro Oikawa, Noboru Harada，DEEP GRIFFIN-LIM ITERATION，2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)，2019年04月17日，https://ieeexplore.ieee.org/document/8682744，DOI: 10.1109/ICASSP.2019.8682744
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ１０Ｌ ２５／０３
Ｇ１０Ｌ ２５／３０
(57)【特許請求の範囲】
【請求項1】
複数回のゲート付き複素畳み込みステップと、最終回の前記ゲート付き複素畳み込みステップの出力の畳み込み演算を行う第１の複素畳み込みステップとを含み、
初回の前記ゲート付き複素畳み込みステップは、
第１の複素スペクトログラムの畳み込み演算を行う第２の複素畳み込みステップと、
前記第１の複素スペクトログラムと所望の音響信号の振幅スペクトログラムとを入力として前記第１の複素スペクトログラムの補正が必要な領域のみを選び出す第１の振幅ゲート演算ステップと、
前記第２の複素畳み込みステップの出力と前記第１の振幅ゲート演算ステップの出力とを乗算した結果を出力する第１の乗算ステップとを含み、
初回以外の前記ゲート付き複素畳み込みステップは、
直前の前記ゲート付き複素畳み込みステップの出力の畳み込み演算を行う第３の複素畳み込みステップと、
直前の前記ゲート付き複素畳み込みステップの出力と前記振幅スペクトログラムとを入力として直前の前記ゲート付き複素畳み込みステップの出力の補正が必要な領域のみを選び出す第２の振幅ゲート演算ステップと、
前記第３の複素畳み込みステップの出力と前記第２の振幅ゲート演算ステップの出力とを乗算した結果を出力する第２の乗算ステップとを含み、
深層ニューラルネットワークにより前記所望の音響信号の雑音成分の複素スペクトログラムを推定することを特徴とする推定方法。
【請求項2】
複数回のゲート付き複素畳み込みステップと、最終回の前記ゲート付き複素畳み込みステップの出力の畳み込み演算を行う第１の複素畳み込みステップとを含み、
初回の前記ゲート付き複素畳み込みステップは、
第１の複素スペクトログラムの畳み込み演算を行う第２の複素畳み込みステップと、
前記第１の複素スペクトログラムの補正が必要な領域のみを選び出す第１の振幅ゲート演算ステップと、
前記第２の複素畳み込みステップの出力と前記第１の振幅ゲート演算ステップの出力とを乗算した結果を出力する第１の乗算ステップとを含み、
初回以外の前記ゲート付き複素畳み込みステップは、
直前の前記ゲート付き複素畳み込みステップの出力の畳み込み演算を行う第３の複素畳み込みステップと、
直前の前記ゲート付き複素畳み込みステップの出力の補正が必要な領域のみを選び出す第２の振幅ゲート演算ステップと、
前記第３の複素畳み込みステップの出力と前記第２の振幅ゲート演算ステップの出力とを乗算した結果を出力する第２の乗算ステップとを含み、
前記第１の振幅ゲート演算ステップは、前記第１の複素スペクトログラムをＣ、実数の重みパラメータをＷ Ｒ としたとき、Ｓｉｇｍｏｉｄ（｜Ｃ｜＊Ｗ Ｒ ）により振幅ゲート演算を行うステップを含み、
前記第２の振幅ゲート演算ステップは、直前の前記ゲート付き複素畳み込みステップの出力である複素スペクトログラムをＣとしたとき、Ｓｉｇｍｏｉｄ（｜Ｃ｜＊Ｗ Ｒ ）により振幅ゲート演算を行うステップを含み、
深層ニューラルネットワークにより所望の音響信号の雑音成分の複素スペクトログラムを推定することを特徴とする推定方法。
【請求項3】
請求項１または２記載の推定方法において、位相と振幅が矛盾する第２の複素スペクトログラムと所望の音響信号の振幅スペクトログラムとを入力とし、前記振幅スペクトログラムに前記第２の複素スペクトログラムの位相を付与して、付与後の第１の信号を求める位相付与ステップと、
前記第１の信号を逆短時間フーリエ変換により時間波形に変換し、変換された時間波形を前記逆短時間フーリエ変換に対応する短時間フーリエ変換により周波数領域の第２の信号に変換する変換ステップと、
所望の音響信号に対応する学習用の音響信号の統計的性質に基づき、前記第２の複素スペクトログラムの位相を前記所望の音響信号の位相に近づける位相変更ステップとをさらに含み、
前記位相変更ステップは、前記複数回のゲート付き複素畳み込みステップと前記第１の複素畳み込みステップとを含み、前記深層ニューラルネットワークに入力する前記第１の複素スペクトログラムとして、前記第２の複素スペクトログラムと前記第１の信号と前記第２の信号とを用い、前記変換ステップの出力と前記深層ニューラルネットワークの出力との差分を出力するステップを含むことを特徴とする推定方法。
【請求項4】
請求項３記載の推定方法において、前記深層ニューラルネットワークは、
学習用の音響信号から得られる複素スペクトログラムとその振幅スペクトログラムとを用いて予め学習されたものであり、
前記第２の信号と前記第２の複素スペクトログラムとの残差の推定値を出力することを特徴とする推定方法。
【請求項5】
請求項１乃至４のいずれか１項に記載の各ステップをコンピュータに実行させることを特徴とする推定プログラム。
【請求項6】
縦続接続された複数のゲート付き複素畳み込み層と、終段の前記ゲート付き複素畳み込み層の出力の畳み込み演算を行うように構成された第１の複素畳み込み層とを備え、
初段の前記ゲート付き複素畳み込み層は、
第１の複素スペクトログラムの畳み込み演算を行うように構成された第２の複素畳み込み層と、
前記第１の複素スペクトログラムと所望の音響信号の振幅スペクトログラムとを入力として前記第１の複素スペクトログラムの補正が必要な領域のみを選び出すように構成された第１の振幅ゲート層と、
前記第２の複素畳み込み層の出力と前記第１の振幅ゲート層の出力とを乗算した結果を出力するように構成された第１の乗算部とから構成され、
初段以外の前記ゲート付き複素畳み込み層は、
前段の前記ゲート付き複素畳み込み層の出力の畳み込み演算を行うように構成された第３の複素畳み込み層と、
前段の前記ゲート付き複素畳み込み層の出力と前記振幅スペクトログラムとを入力として前段の前記ゲート付き複素畳み込み層の出力の補正が必要な領域のみを選び出すように構成された第２の振幅ゲート層と、
前記第３の複素畳み込み層の出力と前記第２の振幅ゲート層の出力とを乗算した結果を出力するように構成された第２の乗算部とから構成され、
前記所望の音響信号の雑音成分の複素スペクトログラムを推定することを特徴とする深層ニューラルネットワーク装置。
【請求項7】
縦続接続された複数のゲート付き複素畳み込み層と、終段の前記ゲート付き複素畳み込み層の出力の畳み込み演算を行うように構成された第１の複素畳み込み層とを備え、
初段の前記ゲート付き複素畳み込み層は、
第１の複素スペクトログラムの畳み込み演算を行うように構成された第２の複素畳み込み層と、
前記第１の複素スペクトログラムの補正が必要な領域のみを選び出すように構成された第１の振幅ゲート層と、
前記第２の複素畳み込み層の出力と前記第１の振幅ゲート層の出力とを乗算した結果を出力するように構成された第１の乗算部とから構成され、
初段以外の前記ゲート付き複素畳み込み層は、
前段の前記ゲート付き複素畳み込み層の出力の畳み込み演算を行うように構成された第３の複素畳み込み層と、
前段の前記ゲート付き複素畳み込み層の出力の補正が必要な領域のみを選び出すように構成された第２の振幅ゲート層と、
前記第３の複素畳み込み層の出力と前記第２の振幅ゲート層の出力とを乗算した結果を出力するように構成された第２の乗算部とから構成され、
前記第１の振幅ゲート層は、前記第１の複素スペクトログラムをＣ、実数の重みパラメータをＷ Ｒ としたとき、Ｓｉｇｍｏｉｄ（｜Ｃ｜＊Ｗ Ｒ ）により振幅ゲート演算を行うものであり、
前記第２の振幅ゲート層は、前段の前記ゲート付き複素畳み込み層の出力である複素スペクトログラムをＣとしたとき、Ｓｉｇｍｏｉｄ（｜Ｃ｜＊Ｗ Ｒ ）により振幅ゲート演算を行うものであり、
所望の音響信号の雑音成分の複素スペクトログラムを推定することを特徴とする深層ニューラルネットワーク装置。
【請求項8】
位相と振幅が矛盾する第２の複素スペクトログラムと所望の音響信号の振幅スペクトログラムとを入力とし、前記振幅スペクトログラムに前記第２の複素スペクトログラムの位相を付与して、付与後の第１の信号を求めるように構成された位相付与部と、前記第１の信号を逆短時間フーリエ変換により時間波形に変換し、変換された時間波形を前記逆短時間フーリエ変換に対応する短時間フーリエ変換により周波数領域の第２の信号に変換するように構成された変換部と、
所望の音響信号に対応する学習用の音響信号の統計的性質に基づき、前記第２の複素スペクトログラムの位相を前記所望の音響信号の位相に近づけるように構成された位相変更部とを備え、
前記位相変更部は、請求項６または７記載の深層ニューラルネットワーク装置を含み、前記深層ニューラルネットワーク装置に入力する第１の複素スペクトログラムとして、前記第２の複素スペクトログラムと前記第１の信号と前記第２の信号とを用い、前記変換部の出力と前記深層ニューラルネットワーク装置の出力との差分を出力することを特徴とする推定装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、振幅スペクトルのみから位相スペクトルを復元する音響信号復元技術に関するものである。
【背景技術】
【0002】
音声合成や音声強調などの多くの音響信号処理のアプリケーションは、時間領域の観測信号（波形）を短時間フーリエ変換（ＳＴＦＴ：Short-Time Fourier Transform）などを利用して時間周波数領域に変換して処理を行う。ＳＴＦＴスペクトルは複素数であり、ＳＴＦＴスペクトログラムから時間信号を復元するには、振幅スペクトログラムと位相スペクトログラムの両方が必要である。ところが、位相スペクトルはその扱いが難しい。このため、音声合成や音声強調では、振幅スペクトルのみを推定して制御し、位相スペクトルを最小位相や観測位相で代用して、時間信号へと逆変換することが多い。
【0003】
振幅スペクトログラムと位相スペクトログラムは独立変数ではないため、片方を制御した場合、もう片方はそれに対応した変数である必要がある。ゆえに、音声合成や音声強調では、振幅と位相の矛盾により、出力音の品質が低下することがあった。
【0004】
振幅スペクトログラムから、振幅と矛盾しない位相スペクトログラムを推定する技術として、非特許文献１に開示された技術が知られている。非特許文献１に開示された技術（Griffin-Limアルゴリズムと呼ばれている）は、以下の手順を繰り返すことで振幅スペクトログラムＡから、無矛盾な位相スペクトログラムを推定する技術である。
【0005】
【数1】
【0006】
ここで、Ｘは振幅がＡの複素スペクトログラム、ＧはＳＴＦＴ、Ｇ†は逆ＳＴＦＴ、◎は要素毎の乗算、：は要素毎の除算、｜・｜は要素毎の絶対値演算を表す。式（１）、式（２）は、以下の最適化問題を解いていることと等しい。
【0007】
【数2】
【0008】
ここで||・||Froはフロベニウスノルムを表す。なお、Ｂは振幅がＡのスペクトログラムの集合である。前述のとおり、位相スペクトルを最小位相や観測位相で代用するために、複素スペクトログラムＸに式（１）のＳＴＦＴと逆ＳＴＦＴを行うと、元の複素スペクトログラムＸに戻らない。そこで、式（２）により振幅を与えられた振幅スペクトログラムＡに固定し、式（３）により、正しい短時間フーリエ変換表現となるように位相を求める。
【0009】
非特許文献１に開示された方式は、あらゆる音響信号に対して適応可能である一方、膨大な回数の繰り返しが必要である。膨大な回数の繰り返しが必要な理由は、最適化の枠組みの中に、復元したい所望の音響信号の統計的性質について一切の仮定を置いていないためである。
【0010】
一方、非特許文献２では、非特許文献１に開示されたGriffin-Limアルゴリズムに深層学習を組み込む手法を提案している。すなわち、復元したい信号の統計的性質を、学習データを用いて訓練した深層ニューラルネットワーク（ＤＮＮ：Deep Neural Network）を利用して組み込む。図８に、非特許文献２に開示された推定装置の構成を示す。推定装置１００は、Ｍ個の推定部１１０－ｍ（ｍ＝０，１，２，・・・，Ｍ－１、Ｍは１以上の整数）と、位相付与部１２０とを備えている。
【0011】
図９は推定部１１０－ｍの構成を示すブロック図である。推定部１１０－ｍは、式（２）に対応する位相付与部１１１と、式（１）に対応する変換部１１２と、所望の音響信号に対応する学習用の音響信号の統計的性質に基づき、複素スペクトログラムＸの位相を所望の音響信号の位相に近づける位相変更部１１３とから構成される。位相変更部１１３は、ＤＮＮ１１４と、減算部１１５とから構成される。
【0012】
図８、図９に示したような構成において、Griffin-Limアルゴリズムの１回分の繰り返しの後にＤＮＮによる処理を行うことで、復元したい信号の統計的性質を考慮した無矛盾位相推定を実現する。図８、図９の構成は、内部のＤＮＮを繰り返し数Ｍ分スタッキングしていることと等価である。つまり、推定部１１０－ｍの繰り返し数Ｍを制御することで、処理時のＤＮＮのスケールを変化させることができる。繰り返し数Ｍを少なくすることは浅いＤＮＮを使うことと等価であり、処理性能は低下するが、高速な演算が可能になる。一方、繰り返し数Ｍを多くすることは深いＤＮＮを使うことと等価であり、処理速度は遅くなるが、高品質な出力音を得ることができる。
【0013】
ここで利用するＤＮＮは、復元したい信号の学習データから何らかの方式で学習されたものであればよく、Griffin-Limアルゴリズムの出力音の位相を、復元したい信号に近づける処理であれば何でもよい。ＤＮＮの学習方法の１例として、以下の残差学習の例を示す。
【0014】
Ｙ[m]＝ＰB（Ｘ[m]） ・・・（４）
Ｚ[m]＝ＰC（Ｙ[m]） ・・・（５）
Ｘ[m+1]＝Ｅ（Ｘ[m]） ・・・（６）
＝Ｚ[m]－Ｆθ（Ｘ[m]，Ｙ[m]，Ｚ[m]） ・・・（７）
Ｚ[m]＝ＰC（Ｙ[m]） ・・・（５）
Ｘ[m+1]＝Ｅ（Ｘ[m]） ・・・（６）
＝Ｚ[m]－Ｆθ（Ｘ[m]，Ｙ[m]，Ｚ[m]） ・・・（７）
【0015】
Ｙ[m]は位相付与部１１１の出力信号、Ｚ[m]は変換部１１２の出力信号、Ｘ[m+1]は位相変更部１１３の出力信号である。ここでＦθは実数畳み込み層とゲート付線形層とからなるＤＮＮである。つまり、図９の構成は、Griffin-Limアルゴリズムで生じた歪みや推定誤差を、復元したい信号の統計的性質に基づき学習されたＤＮＮが除去（減算）するという構成になっている。ここでＤＮＮは、復元したい信号を直接推定するのではなく、復元したい信号でない成分を推定していることになる。ＤＮＮは、例えば以下の目的関数を最小化するように学習される。
【0016】
【数3】
【0017】
ここで、Ｘ*は真の複素スペクトログラムである。Ｘチルダ、Ｙチルダ、Ｚチルダは次式のようになる。
【0018】
【数4】
【0019】
Ｎは複素ガウスノイズである。ただし、Griffin-Limアルゴリズムは位相スペクトルのみを復元する処理である。このため、Ｙチルダの振幅は、真の複素スペクトログラムＸ*の振幅と一致するようにする。
【0020】
非特許文献２に開示されたＤＮＮの学習段階について説明する。図１０は従来の学習装置の構成を示すブロック図である。図１０に示す学習装置２００は、復元したい信号の学習データ（クリーン音響信号Ｘ(L)*であり、複素スペクトログラムで表現される）とクリーン音響信号Ｘ(L)*の振幅スペクトログラムＡ(L)とノイズＮと各種最適化に必要なパラメータとを入力とする。
【0021】
学習装置２００は、ノイズ加算部２０９と、位相付与部２１１と、変換部２１２と、ＤＮＮ２１３と、減算部２１４と、パラメータ更新部２１５とから構成される。
【0022】
図１１はＤＮＮ２１３の構成を示すブロック図である。ＤＮＮ２１３は、複数の実数畳み込み層２１３０～２１３４と、複数のゲート付線形層２１３５～２１３８とから構成される。図１１において、ｓは畳み込みのストライド、ｃはチャネル数、ｋはカーネルサイズを表している。
【0023】
図１２は学習装置２００の動作を説明するフローチャートである。例えば、図示しない初期化部は、ＤＮＮ２１３のパラメータθを乱数で初期化する（図１２ステップＳ１００）。
ノイズ加算部２０９は、クリーン音響信号Ｘ(L)*とノイズＮとを入力とし、クリーン音響信号Ｘ(L)*にノイズＮを加算し、複素スペクトログラムＸチルダを出力する（図１２ステップＳ１０１）。
ノイズ加算部２０９は、クリーン音響信号Ｘ(L)*とノイズＮとを入力とし、クリーン音響信号Ｘ(L)*にノイズＮを加算し、複素スペクトログラムＸチルダを出力する（図１２ステップＳ１０１）。
【0024】
【数5】
【0025】
位相付与部２１１は、複素スペクトログラムＸチルダと振幅スペクトログラムＡ(L)とを入力とし、次式に示すように、振幅スペクトログラムＡ(L)に複素スペクトログラムＸチルダの位相を付与して、付与後の信号Ｙチルダを出力する（図１２ステップＳ１０２）。
【0026】
【数6】
【0027】
上記のとおり、◎は要素毎の乗算、：は要素毎の除算、｜・｜は要素毎の絶対値演算を表している。式（１３）は、複素スペクトログラムＸチルダの各要素に対して振幅スペクトログラムＡ(L)の各要素を乗算し、乗算結果を複素スペクトログラムＸチルダの振幅スペクトログラム｜Ｘチルダ｜で除算しているため、複素スペクトログラムＸチルダの振幅を振幅スペクトログラムＡ(L)の大きさに変換する処理といってもよい。
【0028】
変換部２１２は、信号Ｙチルダを入力とし、次式により、信号Ｙチルダを逆短時間フーリエ変換Ｇ†により時間波形に変換し、変換された時間波形を逆短時間フーリエ変換Ｇ†に対応する短時間フーリエ変換Ｇにより周波数領域の信号Ｚチルダに変換して出力する（図１２ステップＳ１０３）。
【0029】
【数7】
【0030】
ＤＮＮ２１３は、複素スペクトログラムＸチルダと、信号Ｙチルダと、信号Ｚチルダとを入力とし、Griffin-Limアルゴリズムで生じた歪みまたは推定誤差を推定し、推定値Ｆθ（Ｘチルダ，Ｙチルダ，Ｚチルダ）を出力する（図１２ステップＳ１０４）。
【0031】
一方、減算部２１４は、信号Ｚチルダとクリーン音響信号Ｘ(L)*との差分Ｚチルダ－Ｘ(L)*を求めて出力する（図１２ステップＳ１０５）。
【0032】
パラメータ更新部２１５は、差分Ｚチルダ－Ｘ(L)*と、推定値Ｆθ（Ｘチルダ，Ｙチルダ，Ｚチルダ）とを入力とし、これらの値を用いて、以下の目的関数を最小化するようにＤＮＮ２１３のパラメータθを更新する（図１２ステップＳ１０６）。
【0033】
【数8】
【0034】
学習法としては、確率的最急降下法などを利用すればよい。学習率は例えば１０-5程度に設定すればよい。
パラメータ更新部２１５は、所定の条件を満たすか否かを判定し（図１２ステップＳ１０７）、所定の条件を満たす場合には、その時点のＤＮＮ２１３を学習済みのＤＮＮとする。
パラメータ更新部２１５は、所定の条件を満たすか否かを判定し（図１２ステップＳ１０７）、所定の条件を満たす場合には、その時点のＤＮＮ２１３を学習済みのＤＮＮとする。
【0035】
所定の条件を満たさない場合には、新たなクリーン音響信号Ｘ(L)*と新たなノイズＮと更新後のパラメータθとを用いて、ステップＳ１０１～Ｓ１０６の処理が再び実施される。例えばステップＳ１０１～Ｓ１０６の処理を１０万回繰り返したときに、所定の条件を満たしたとしてＤＮＮ２１３の学習が終了する。
【0036】
図１３は推定装置１００の動作を説明するフローチャートである。推定装置１００は、位相と振幅が矛盾する複素スペクトログラムＸ[0]と、所望の音響信号の振幅スペクトログラムＡとを入力とし、振幅スペクトログラムＡに矛盾しない位相スペクトログラムを持つ複素スペクトログラムＹ[M]を求めて出力する。複素スペクトログラムＸ[0]の振幅は振幅スペクトログラムＡである。
【0037】
Ｍ個の推定部１１０－ｍ（ｍ＝０，１，２，・・・，Ｍ－１、Ｍは１以上の整数）は、位相と振幅が矛盾する複素スペクトログラムＸ[m]と、所望の音響信号の振幅スペクトログラムＡとを入力とし、推定した位相スペクトログラムを持つ複素スペクトログラムＸ[m+1]を求めて出力する。
【0038】
上記のとおり、推定部１１０－ｍは、位相付与部１１１と、変換部１１２と、位相変更部１１３とから構成される。位相変更部１１３は、ＤＮＮ１１４と、減算部１１５とから構成される。ＤＮＮ１１４には、図１０の学習装置２００で学習されたＤＮＮが設定されている。
【0039】
位相付与部１１１は、位相と振幅が矛盾する複素スペクトログラムＸ[m]と、所望の音響信号の振幅スペクトログラムＡとを入力とし、次式に示すように、振幅スペクトログラムＡに複素スペクトログラムＸ[m]の位相を付与して、付与後の信号Ｙ[m]＝ＰB（Ｘ[m]）を出力する（図１３ステップＳ２０１）。
【0040】
【数9】
【0041】
式（１６）は、複素スペクトログラムＸ[m]の各要素に対して振幅スペクトログラムＡの各要素を乗算し、乗算結果を複素スペクトログラムＸ[m]の振幅スペクトログラム｜Ｘ[m]｜で除算しているため、複素スペクトログラムＸ[m]の振幅を振幅スペクトログラムＡの大きさに変換する処理といってもよい。
【0042】
変換部１１２は、信号Ｙ[m]を入力とし、次式により、信号Ｙ[m]を逆短時間フーリエ変換Ｇ†により時間波形に変換し、変換された時間波形を逆短時間フーリエ変換Ｇ†に対応する短時間フーリエ変換Ｇにより周波数領域の信号Ｚ[m]＝ＰC（Ｙ[m]）に変換して出力する（図１３ステップＳ２０２）。
【0043】
【数10】
【0044】
ステップＳ２０２の処理は、位相と振幅が矛盾する複素スペクトログラムＹ[m]を時間波形に変換し、変換された時間波形を位相と振幅が矛盾しない複素スペクトログラムＺ[m]に変換する処理に相当する。
【0045】
位相変更部１１３は、複素スペクトログラムＸ[m]と信号Ｙ[m]と信号Ｚ[m]とを用いて、所望の音響信号に対応する学習用の音響信号の統計的性質に基づき、複素スペクトログラムＸ[m]の位相を所望の音響信号の位相に近づける。
【0046】
ＤＮＮ１１４は、複素スペクトログラムＸ[m]と信号Ｙ[m]と信号Ｚ[m]とを入力とし、Griffin-Limアルゴリズムで生じた歪みまたは推定誤差（Ｚ[m]－Ｘ[m]）を推定し、推定値Ｆθ（Ｘ[m]，Ｙ[m]，Ｚ[m]）を出力する（図１３ステップＳ２０３）。
【0047】
減算部１１５は、信号Ｚ[m]と推定値Ｆθ（Ｘ[m]，Ｙ[m]，Ｚ[m]）との差分Ｘ[m+1]＝Ｚ[m]－Ｆθ（Ｘ[m]，Ｙ[m]，Ｚ[m]）を求めて出力する（図１３ステップＳ２０４）。この減算処理が、Griffin-Limアルゴリズムで生じた歪みまたは推定誤差を除去する処理に相当し、複素スペクトログラムＸ[m]の位相スペクトログラムを所望の音響信号に近づける処理に相当する。
【0048】
ステップＳ２０１～Ｓ２０４の処理を推定部１１０－ｍの個数Ｍ回分繰り返し、Ｍ回の処理が終わると（図１３ステップＳ２０６においてＹＥＳ）、終段の推定部１１０－（Ｍ－１）から複素スペクトログラムＸ[M]が出力される。繰り返し数Ｍは例えば５程度とすればよい。
【0049】
位相付与部１２０は、複素スペクトログラムＸ[M]と振幅スペクトログラムＡとを入力とし、次式に示すように、振幅スペクトログラムＡに複素スペクトログラムＸ[M]の位相を付与して、付与後の信号Ｙ[M]＝ＰB（Ｘ[M]）を出力する（図１３ステップＳ２０７）。
【0050】
【数11】
【0051】
ステップＳ２０７の処理により、再度、複素スペクトログラムＸ[M]の振幅を振幅スペクトログラムＡの大きさに変換する。
以上の構成により、非特許文献２に開示された技術では、復元したい信号の統計的性質を利用して、振幅スペクトルのみから、矛盾のない位相スペクトルを復元することができる。
以上の構成により、非特許文献２に開示された技術では、復元したい信号の統計的性質を利用して、振幅スペクトルのみから、矛盾のない位相スペクトルを復元することができる。
【0052】
ただし、非特許文献２で用いられているＤＮＮの構造では、スペクトログラムの実部と虚部とをそれぞれ実数として連結したものを実数畳み込み層に入力していた。このようなＤＮＮでは、スペクトログラムの複素数としての代数構造を考慮できない。スペクトログラムの位相と振幅の関係は、スペクトログラムの複素数としての構造から得られるものである。このため、実数のみのＤＮＮの構造では、雑音成分の複素スペクトログラムを十分に推定できない可能性があった。
【先行技術文献】
【非特許文献】
【0053】
【文献】D.Griffin and J.Lim，“Signal estimation from modified shorttime Fourier transform”，IEEE Transactions on Acoustics，Speech，and Signal Processing，vol.32，no.2，pp.236-243，Apr.1984
【文献】Y.Masuyama，K.Yatabe，Y.Koizumi，Y.Oikawa，N.Harada，“DEEP GRIFFIN-LIM ITERATION”，International Conference on Acoustics，Speech，and Signal Processing，Oct.2019
【発明の概要】
【発明が解決しようとする課題】
【0054】
本発明は、上記課題を解決するためになされたもので、スペクトログラムの複素数としての代数構造を考慮した音響信号復元のための演算を行うことが可能な推定方法、推定プログラム、深層ニューラルネットワーク装置および推定装置を提供することを目的とする。
【課題を解決するための手段】
【0055】
本発明の推定方法は、複数回のゲート付き複素畳み込みステップと、最終回の前記ゲート付き複素畳み込みステップの出力の畳み込み演算を行う第１の複素畳み込みステップとを含み、初回の前記ゲート付き複素畳み込みステップは、第１の複素スペクトログラムの畳み込み演算を行う第２の複素畳み込みステップと、前記第１の複素スペクトログラムと所望の音響信号の振幅スペクトログラムとを入力として前記第１の複素スペクトログラムの補正が必要な領域のみを選び出す第１の振幅ゲート演算ステップと、前記第２の複素畳み込みステップの出力と前記第１の振幅ゲート演算ステップの出力とを乗算した結果を出力する第１の乗算ステップとを含み、初回以外の前記ゲート付き複素畳み込みステップは、直前の前記ゲート付き複素畳み込みステップの出力の畳み込み演算を行う第３の複素畳み込みステップと、直前の前記ゲート付き複素畳み込みステップの出力と前記振幅スペクトログラムとを入力として直前の前記ゲート付き複素畳み込みステップの出力の補正が必要な領域のみを選び出す第２の振幅ゲート演算ステップと、前記第３の複素畳み込みステップの出力と前記第２の振幅ゲート演算ステップの出力とを乗算した結果を出力する第２の乗算ステップとを含み、深層ニューラルネットワークにより前記所望の音響信号の雑音成分の複素スペクトログラムを推定することを特徴とするものである。
【0056】
また、本発明の推定方法は、複数回のゲート付き複素畳み込みステップと、最終回の前記ゲート付き複素畳み込みステップの出力の畳み込み演算を行う第１の複素畳み込みステップとを含み、初回の前記ゲート付き複素畳み込みステップは、第１の複素スペクトログラムの畳み込み演算を行う第２の複素畳み込みステップと、前記第１の複素スペクトログラムの補正が必要な領域のみを選び出す第１の振幅ゲート演算ステップと、前記第２の複素畳み込みステップの出力と前記第１の振幅ゲート演算ステップの出力とを乗算した結果を出力する第１の乗算ステップとを含み、初回以外の前記ゲート付き複素畳み込みステップは、直前の前記ゲート付き複素畳み込みステップの出力の畳み込み演算を行う第３の複素畳み込みステップと、直前の前記ゲート付き複素畳み込みステップの出力の補正が必要な領域のみを選び出す第２の振幅ゲート演算ステップと、前記第３の複素畳み込みステップの出力と前記第２の振幅ゲート演算ステップの出力とを乗算した結果を出力する第２の乗算ステップとを含み、前記第１の振幅ゲート演算ステップは、前記第１の複素スペクトログラムをＣ、実数の重みパラメータをＷ
Ｒ
としたとき、Ｓｉｇｍｏｉｄ（｜Ｃ｜＊Ｗ
Ｒ
）により振幅ゲート演算を行うステップを含み、前記第２の振幅ゲート演算ステップは、直前の前記ゲート付き複素畳み込みステップの出力である複素スペクトログラムをＣとしたとき、Ｓｉｇｍｏｉｄ（｜Ｃ｜＊Ｗ
Ｒ
）により振幅ゲート演算を行うステップを含み、深層ニューラルネットワークにより所望の音響信号の雑音成分の複素スペクトログラムを推定することを特徴とするものである。
【0057】
また、本発明の推定方法は、位相と振幅が矛盾する第２の複素スペクトログラムと所望の音響信号の振幅スペクトログラムとを入力とし、前記振幅スペクトログラムに前記第２の複素スペクトログラムの位相を付与して、付与後の第１の信号を求める位相付与ステップと、前記第１の信号を逆短時間フーリエ変換により時間波形に変換し、変換された時間波形を前記逆短時間フーリエ変換に対応する短時間フーリエ変換により周波数領域の第２の信号に変換する変換ステップと、所望の音響信号に対応する学習用の音響信号の統計的性質に基づき、前記第２の複素スペクトログラムの位相を前記所望の音響信号の位相に近づける位相変更ステップとをさらに含み、前記位相変更ステップは、前記複数回のゲート付き複素畳み込みステップと前記第１の複素畳み込みステップとを含み、前記深層ニューラルネットワークに入力する前記第１の複素スペクトログラムとして、前記第２の複素スペクトログラムと前記第１の信号と前記第２の信号とを用い、前記変換ステップの出力と前記深層ニューラルネットワークの出力との差分を出力するステップを含むことを特徴とするものである。
また、本発明の推定方法の１構成例において、前記深層ニューラルネットワークは、学習用の音響信号から得られる複素スペクトログラムとその振幅スペクトログラムとを用いて予め学習されたものであり、前記第２の信号と前記第２の複素スペクトログラムとの残差の推定値を出力することを特徴とするものである。
また、本発明の推定プログラムは、前記の各ステップをコンピュータに実行させることを特徴とするものである。
また、本発明の推定方法の１構成例において、前記深層ニューラルネットワークは、学習用の音響信号から得られる複素スペクトログラムとその振幅スペクトログラムとを用いて予め学習されたものであり、前記第２の信号と前記第２の複素スペクトログラムとの残差の推定値を出力することを特徴とするものである。
また、本発明の推定プログラムは、前記の各ステップをコンピュータに実行させることを特徴とするものである。
【0058】
また、本発明の深層ニューラルネットワーク装置は、縦続接続された複数のゲート付き複素畳み込み層と、終段の前記ゲート付き複素畳み込み層の出力の畳み込み演算を行うように構成された第１の複素畳み込み層とを備え、初段の前記ゲート付き複素畳み込み層は、第１の複素スペクトログラムの畳み込み演算を行うように構成された第２の複素畳み込み層と、前記第１の複素スペクトログラムと所望の音響信号の振幅スペクトログラムとを入力として前記第１の複素スペクトログラムの補正が必要な領域のみを選び出すように構成された第１の振幅ゲート層と、前記第２の複素畳み込み層の出力と前記第１の振幅ゲート層の出力とを乗算した結果を出力するように構成された第１の乗算部とから構成され、初段以外の前記ゲート付き複素畳み込み層は、前段の前記ゲート付き複素畳み込み層の出力の畳み込み演算を行うように構成された第３の複素畳み込み層と、前段の前記ゲート付き複素畳み込み層の出力と前記振幅スペクトログラムとを入力として前段の前記ゲート付き複素畳み込み層の出力の補正が必要な領域のみを選び出すように構成された第２の振幅ゲート層と、前記第３の複素畳み込み層の出力と前記第２の振幅ゲート層の出力とを乗算した結果を出力するように構成された第２の乗算部とから構成され、前記所望の音響信号の雑音成分の複素スペクトログラムを推定することを特徴とするものである。
【0059】
また、本発明の深層ニューラルネットワーク装置は、縦続接続された複数のゲート付き複素畳み込み層と、終段の前記ゲート付き複素畳み込み層の出力の畳み込み演算を行うように構成された第１の複素畳み込み層とを備え、初段の前記ゲート付き複素畳み込み層は、第１の複素スペクトログラムの畳み込み演算を行うように構成された第２の複素畳み込み層と、前記第１の複素スペクトログラムの補正が必要な領域のみを選び出すように構成された第１の振幅ゲート層と、前記第２の複素畳み込み層の出力と前記第１の振幅ゲート層の出力とを乗算した結果を出力するように構成された第１の乗算部とから構成され、初段以外の前記ゲート付き複素畳み込み層は、前段の前記ゲート付き複素畳み込み層の出力の畳み込み演算を行うように構成された第３の複素畳み込み層と、前段の前記ゲート付き複素畳み込み層の出力の補正が必要な領域のみを選び出すように構成された第２の振幅ゲート層と、前記第３の複素畳み込み層の出力と前記第２の振幅ゲート層の出力とを乗算した結果を出力するように構成された第２の乗算部とから構成され、前記第１の振幅ゲート層は、前記第１の複素スペクトログラムをＣ、実数の重みパラメータをＷ
Ｒ
としたとき、Ｓｉｇｍｏｉｄ（｜Ｃ｜＊Ｗ
Ｒ
）により振幅ゲート演算を行うものであり、前記第２の振幅ゲート層は、前段の前記ゲート付き複素畳み込み層の出力である複素スペクトログラムをＣとしたとき、Ｓｉｇｍｏｉｄ（｜Ｃ｜＊Ｗ
Ｒ
）により振幅ゲート演算を行うものであり、所望の音響信号の雑音成分の複素スペクトログラムを推定することを特徴とするものである。
【0060】
また、本発明の推定装置は、位相と振幅が矛盾する第２の複素スペクトログラムと所望の音響信号の振幅スペクトログラムとを入力とし、前記振幅スペクトログラムに前記第２の複素スペクトログラムの位相を付与して、付与後の第１の信号を求めるように構成された位相付与部と、前記第１の信号を逆短時間フーリエ変換により時間波形に変換し、変換された時間波形を前記逆短時間フーリエ変換に対応する短時間フーリエ変換により周波数領域の第２の信号に変換するように構成された変換部と、所望の音響信号に対応する学習用の音響信号の統計的性質に基づき、前記第２の複素スペクトログラムの位相を前記所望の音響信号の位相に近づけるように構成された位相変更部とを備え、前記位相変更部は、前記深層ニューラルネットワーク装置を含み、前記深層ニューラルネットワーク装置に入力する第１の複素スペクトログラムとして、前記第２の複素スペクトログラムと前記第１の信号と前記第２の信号とを用い、前記変換部の出力と前記深層ニューラルネットワーク装置の出力との差分を出力することを特徴とするものである。
【発明の効果】
【0061】
本発明によれば、複素畳み込みステップの結果と振幅ゲート演算ステップの結果とを乗算するゲート付き複素畳み込みステップを実行することにより、スペクトログラムの複素数としての代数構造を考慮した音響信号復元のための演算を行うことが可能になる。その結果、本発明では、雑音成分の複素スペクトログラムを精度良く推定することができ、従来の技術と比較して、より高品質な出力音を得ることが可能になる。
【図面の簡単な説明】
【0062】
【発明を実施するための形態】
【0063】
以下、本発明の実施例について図面を参照して説明する。本実施例では、非特許文献２におけるＤＮＮの構造として、ＡＩ－ＧＣＮＮ（amplitude-informed gated complex convolutional neural network）を提案する。
【0064】
複素スペクトログラムＣに対する複素畳み込みは、次式のように定義される。
ＣｏｎｖC（Ｃ）＝（ＷRe＊ＣRe－ＷIm＊ＣIm）＋ｉ（ＷRe＊ＣIm＋ＷIm＊ＣRe）
・・・（１９）
ＣｏｎｖC（Ｃ）＝（ＷRe＊ＣRe－ＷIm＊ＣIm）＋ｉ（ＷRe＊ＣIm＋ＷIm＊ＣRe）
・・・（１９）
【0065】
ｉは虚数単位、ＣReは複素スペクトログラムＣの実部、ＣImは複素スペクトログラムＣの虚部、ＷReは実部に対する重みパラメータ、ＷImは虚部に対する重みパラメータである。
【0066】
図１は本実施例に係るＤＮＮであるＡＩ－ＧＣＮＮの構成を示すブロック図である。ＡＩ－ＧＣＮＮは、縦続接続された複数のゲート付き複素畳み込み層１０００～１００２と、終段のゲート付き複素畳み込み層１００２の出力の畳み込み演算を行う複素畳み込み層１００３とから構成される。
【0067】
ゲート付き複素畳み込み層１０００～１００２の各々は、複素スペクトログラムの畳み込み演算を行う複素畳み込み層１００４と、複素スペクトログラムと所望の音響信号の振幅スペクトログラムとを入力として複素スペクトログラムの補正が必要な領域のみを選び出す振幅ゲート層１００５と、複素畳み込み層１００４の出力と振幅ゲート層１００５の出力とを要素毎に乗算した結果を出力する乗算部１００６とから構成される。
【0068】
図１において、ｃはチャネル数、ｋはカーネルサイズを表している。複素畳み込み層１００４と振幅ゲート層１００５のチャネル数は６４、カーネルサイズは５×３である。複素畳み込み層１００３のチャネル数は１、カーネルサイズは１×１である。各層の畳み込みのストライドは１とする。
【0069】
ＡＩ－ＧＣＮＮでは、非線形層として次式のように定義される振幅ゲート層を用いる。
ＡｍｐＧａｔｅWR（Ｃ）＝Ｓｉｇｍｏｉｄ（｜Ｃ｜＊ＷR） ・・・（２０）
ＡｍｐＧａｔｅWR（Ｃ）＝Ｓｉｇｍｏｉｄ（｜Ｃ｜＊ＷR） ・・・（２０）
【0070】
Ｃは入力される複素スペクトログラム、ＷRは実数の重みパラメータである。振幅ゲート層は、複素スペクトログラムに対して時間周波数マスクのように働き、スペクトログラムの補正が必要な領域のみを選びだすことが期待できる。この振幅ゲート層を複素畳みこみ層ＣｏｎｖWCに対して適用する操作として、次式のようにＡＧＣ（amplitude-basedgated complex convolution）層が定義される。
ＡＧＣWC,WR（Ｃ）＝ＣｏｎｖWC（Ｃ）◎ＡｍｐＧａｔｅWR（Ｃ） ・・（２１）
ＡＧＣWC,WR（Ｃ）＝ＣｏｎｖWC（Ｃ）◎ＡｍｐＧａｔｅWR（Ｃ） ・・（２１）
【0071】
上記のとおり、◎は要素毎の乗算を表す。さらに、時間周波数マスクの推定に有用であることが知られている振幅情報をより直接的に取り入れるため、ＡＧＣ層は次式のように定義されるゲート付き複素畳み込み（ＡＩ－ＧＣ：amplitude-informed gated complex convolution）層に拡張される。
【0072】
【数12】
【0073】
式（２３）の［Ａ，Ｃ］は振幅スペクトログラムＡと複素スペクトログラムＣのチャネル方向の結合を示している。式（２２）、式（２３）によれば、目的となる振幅スペクトログラムＡと複素スペクトログラムＣの振幅とを比較し、残差を抽出することが可能である。
このように、本実施例のゲート付き複素畳み込み層１０００～１００２は、複素スペクトログラムＣに加えて、振幅スペクトログラムＡも入力とする。
このように、本実施例のゲート付き複素畳み込み層１０００～１００２は、複素スペクトログラムＣに加えて、振幅スペクトログラムＡも入力とする。
【0074】
図２は本実施例に係るＤＮＮであるＡＩ－ＧＣＮＮの動作を説明するフローチャートである。ここでは、ゲート付き複素畳み込みステップの実行回数を数える変数をｎとする。
【0075】
初回（ｎ＝０）のゲート付き複素畳み込みステップでは、ゲート付き複素畳み込み層１０００の複素畳み込み層１００４により複素スペクトログラムＣの畳み込み演算を行い（図２ステップＳ１１）、ゲート付き複素畳み込み層１０００の振幅ゲート層１００５により複素スペクトログラムＣの補正が必要な領域のみを選び出す振幅ゲート演算を行う（図２ステップＳ１２）。ゲート付き複素畳み込み層１０００の乗算部１００６は、ゲート付き複素畳み込み層１０００の複素畳み込み層１００４と振幅ゲート層１００５の出力を要素毎に乗算した結果を出力する（図２ステップＳ１３）。
【0076】
２回目（ｎ＝１）のゲート付き複素畳み込みステップでは、ゲート付き複素畳み込み層１００１の複素畳み込み層１００４により前段のゲート付き複素畳み込み層１０００から出力された複素スペクトログラムの畳み込み演算を行い（ステップＳ１１）、ゲート付き複素畳み込み層１００１の振幅ゲート層１００５により前段のゲート付き複素畳み込み層１０００から出力された複素スペクトログラムの補正が必要な領域のみを選び出す振幅ゲート演算を行う（ステップＳ１２）。ゲート付き複素畳み込み層１００１の乗算部１００６は、ゲート付き複素畳み込み層１００１の複素畳み込み層１００４と振幅ゲート層１００５の出力を要素毎に乗算した結果を出力する（ステップＳ１３）。
【0077】
３回目（ｎ＝２）のゲート付き複素畳み込みステップでは、ゲート付き複素畳み込み層１００２の複素畳み込み層１００４により前段のゲート付き複素畳み込み層１００１から出力された複素スペクトログラムの畳み込み演算を行い（ステップＳ１１）、ゲート付き複素畳み込み層１００２の振幅ゲート層１００５により前段のゲート付き複素畳み込み層１００１から出力された複素スペクトログラムの補正が必要な領域のみを選び出す振幅ゲート演算を行う（ステップＳ１２）。ゲート付き複素畳み込み層１００２の乗算部１００６は、ゲート付き複素畳み込み層１００２の複素畳み込み層１００４と振幅ゲート層１００５の出力を要素毎に乗算した結果を出力する（ステップＳ１３）。
【0078】
３回のゲート付き複素畳み込みステップの終了後、複素畳み込み層１００３により前段のゲート付き複素畳み込み層１００２から出力された複素スペクトログラムの畳み込み演算を行う（図２ステップＳ１６）。
こうして、本実施例では、Griffin-Limアルゴリズムの出力（Ｚ[m]）に含まれる不要な残差をＤＮＮで抽出することが可能になる。
こうして、本実施例では、Griffin-Limアルゴリズムの出力（Ｚ[m]）に含まれる不要な残差をＤＮＮで抽出することが可能になる。
【0079】
本実施例では、ゲート付き複素畳み込み層１０００～１００２の数を３層（ゲート付き複素畳み込みステップの実行回数を３）としているが、これに限るものではなく、３層以上としてもよい。
また、複素畳み込み演算と振幅ゲート演算で用いられるパラメータは学習によって与えられるものであり、ｎ毎（層毎）に異なるパラメータを用いてもよい。
また、複素畳み込み演算と振幅ゲート演算で用いられるパラメータは学習によって与えられるものであり、ｎ毎（層毎）に異なるパラメータを用いてもよい。
【0080】
図３は本実施例に係る推定装置の構成を示すブロック図である。推定装置１００ａは、位相と振幅が矛盾する複素スペクトログラムＸ[m]と、所望の音響信号の振幅スペクトログラムＡとを入力とし、推定した位相スペクトログラムを持つ複素スペクトログラムＸ[m+1]を出力するＭ個の推定部１１０ａ－ｍ（ｍ＝０，１，２，・・・，Ｍ－１、Ｍは１以上の整数）と、振幅スペクトログラムＡに終段の推定部１１０ａ－（Ｍ－１）から出力された複素スペクトログラムＸ[M]の位相を付与する位相付与部１２０とを備えている。
なお、ｍ＝０の処理ブロック、すなわち初段の推定部１１０ａ－０に入力されるスペクトログラムＸ[0]は、振幅スペクトログラムＡであってもよい。
なお、ｍ＝０の処理ブロック、すなわち初段の推定部１１０ａ－０に入力されるスペクトログラムＸ[0]は、振幅スペクトログラムＡであってもよい。
【0081】
図４は推定部１１０ａ－ｍの構成を示すブロック図である。本実施例の推定部１１０ａ－ｍは、複素スペクトログラムＸ[m]と振幅スペクトログラムＡとを入力とし、振幅スペクトログラムＡに複素スペクトログラムＸ[m]の位相を付与する位相付与部１１１と、位相付与部１１１の出力信号を逆短時間フーリエ変換により時間波形に変換し、変換された時間波形を逆短時間フーリエ変換に対応する短時間フーリエ変換により周波数領域の信号に変換する変換部１１２と、所望の音響信号に対応する学習用の音響信号の統計的性質に基づき、複素スペクトログラムＸ[m]の位相を所望の音響信号の位相に近づける位相変更部１１３ａとから構成される。位相変更部１１３ａは、ＤＮＮ１１４ａと、減算部１１５とから構成される。
【0082】
図５は本実施例に係る学習装置の構成を示すブロック図である。学習装置２００ａは、ノイズ加算部２０９と、位相付与部２１１と、変換部２１２と、ＤＮＮ２１３ａと、減算部２１４と、パラメータ更新部２１５とから構成される。ＤＮＮ１１４ａ，２１３ａは、図１に示した構成を有する。
【0083】
次に、本実施例のＤＮＮ１１４ａ，２１３ａの学習段階について説明する。学習装置２００ａの動作の流れは非特許文献２に開示された学習装置２００と同様であるので、図１２を用いて学習装置２００ａの動作を説明する。
【0084】
学習装置２００ａの図示しない初期化部は、ＤＮＮ２１３ａのパラメータθを乱数で初期化する（図１２ステップＳ１００）。
ノイズ加算部２０９は、クリーン音響信号Ｘ(L)*とノイズＮとを入力とし、式（１２）に示すようにクリーン音響信号Ｘ(L)*にノイズＮを加算し、複素スペクトログラムＸチルダを出力する（図１２ステップＳ１０１）。
ノイズ加算部２０９は、クリーン音響信号Ｘ(L)*とノイズＮとを入力とし、式（１２）に示すようにクリーン音響信号Ｘ(L)*にノイズＮを加算し、複素スペクトログラムＸチルダを出力する（図１２ステップＳ１０１）。
【0085】
位相付与部２１１は、複素スペクトログラムＸチルダと振幅スペクトログラムＡ(L)とを入力とし、式（１３）に示すように、振幅スペクトログラムＡ(L)に複素スペクトログラムＸチルダの位相を付与して、付与後の信号Ｙチルダを出力する（図１２ステップＳ１０２）。式（１３）は、複素スペクトログラムＸチルダの各要素に対して振幅スペクトログラムＡ(L)の各要素を乗算し、乗算結果を複素スペクトログラムＸチルダの振幅スペクトログラム｜Ｘチルダ｜で除算しているため、複素スペクトログラムＸチルダの振幅を振幅スペクトログラムＡ(L)の大きさに変換する処理といってもよい。
【0086】
変換部２１２は、信号Ｙチルダを入力とし、式（１４）に示すように、信号Ｙチルダを逆短時間フーリエ変換Ｇ†により時間波形に変換し、変換された時間波形を逆短時間フーリエ変換Ｇ†に対応する短時間フーリエ変換Ｇにより周波数領域の信号Ｚチルダに変換して出力する（図１２ステップＳ１０３）。
【0087】
ＤＮＮ２１３ａは、複素スペクトログラムＸチルダと、信号Ｙチルダと、信号Ｚチルダと、振幅スペクトログラムＡ(L)とを入力とし、Griffin-Limアルゴリズムで生じた歪みまたは推定誤差を推定し、推定値Ｆθ（Ｘチルダ，Ｙチルダ，Ｚチルダ）を出力する（図１２ステップＳ１０４）。
【0088】
一方、減算部２１４は、信号Ｚチルダとクリーン音響信号Ｘ(L)*との差分Ｚチルダ－Ｘ(L)*を求めて出力する（図１２ステップＳ１０５）。
【0089】
パラメータ更新部２１５は、差分Ｚチルダ－Ｘ(L)*と、推定値Ｆθ（Ｘチルダ，Ｙチルダ，Ｚチルダ）とを入力とし、これらの値を用いて、式（１５）に示す目的関数を最小化するようにＤＮＮ２１３ａのパラメータθを更新する（図１２ステップＳ１０６）。
【0090】
学習法としては、確率的最急降下法などを利用すればよい。学習率は例えば１０-5程度に設定すればよい。
パラメータ更新部２１５は、所定の条件を満たすか否かを判定し（図１２ステップＳ１０７）、所定の条件を満たす場合には、その時点のＤＮＮ２１３ａを学習済みのＤＮＮとする。
パラメータ更新部２１５は、所定の条件を満たすか否かを判定し（図１２ステップＳ１０７）、所定の条件を満たす場合には、その時点のＤＮＮ２１３ａを学習済みのＤＮＮとする。
【0091】
所定の条件を満たさない場合には、新たなクリーン音響信号Ｘ(L)*と新たなノイズＮと更新後のパラメータθとを用いて、ステップＳ１０１～Ｓ１０６の処理が再び実施される。例えばステップＳ１０１～Ｓ１０６の処理を１０万回繰り返したときに、所定の条件を満たしたとしてＤＮＮ２１３ａの学習が終了する。
【0092】
次に、推定装置１００ａの動作について説明する。推定装置１００ａの動作の流れは非特許文献２に開示された推定装置１００と同様であるので、図１３を用いて推定装置１００ａの動作を説明する。
【0093】
推定装置１００ａは、位相と振幅が矛盾する複素スペクトログラムＸ[0]と、所望の音響信号の振幅スペクトログラムＡとを入力とし、振幅スペクトログラムＡに矛盾しない位相スペクトログラムを持つ複素スペクトログラムＹ[M]を求めて出力する。
【0094】
Ｍ個の推定部１１０ａ－ｍ（ｍ＝０，１，２，・・・，Ｍ－１、Ｍは１以上の整数）は、位相と振幅が矛盾する複素スペクトログラムＸ[m]と、所望の音響信号の振幅スペクトログラムＡとを入力とし、推定した位相スペクトログラムを持つ複素スペクトログラムＸ[m+1]を求めて出力する。
【0095】
図４に示したように、本実施例の推定部１１０ａ－ｍは、位相付与部１１１と、変換部１１２と、位相変更部１１３ａとから構成される。位相変更部１１３ａは、ＤＮＮ１１４ａと、減算部１１５とから構成される。ＤＮＮ１１４ａには、学習装置２００ａで学習されたＤＮＮが設定されている。
【0096】
位相付与部１１１は、位相と振幅が矛盾する複素スペクトログラムＸ[m]と、所望の音響信号の振幅スペクトログラムＡとを入力とし、式（１６）に示すように、振幅スペクトログラムＡに複素スペクトログラムＸ[m]の位相を付与して、付与後の信号Ｙ[m]＝ＰB（Ｘ[m]）を出力する（図１３ステップＳ２０１）。
【0097】
変換部１１２は、信号Ｙ[m]を入力とし、式（１７）に示すように、信号Ｙ[m]を逆短時間フーリエ変換Ｇ†により時間波形に変換し、変換された時間波形を逆短時間フーリエ変換Ｇ†に対応する短時間フーリエ変換Ｇにより周波数領域の信号Ｚ[m]＝ＰC（Ｙ[m]）に変換して出力する（図１３ステップＳ２０２）。
【0098】
ステップＳ２０２の処理は、位相と振幅が矛盾する複素スペクトログラムＹ[m]を時間波形に変換し、変換された時間波形を位相と振幅が矛盾しない複素スペクトログラムＺ[m]に変換する処理に相当する。
【0099】
位相変更部１１３ａは、複素スペクトログラムＸ[m]と信号Ｙ[m]と信号Ｚ[m]と振幅スペクトログラムＡとを用いて、所望の音響信号に対応する学習用の音響信号の統計的性質に基づき、複素スペクトログラムＸ[m]の位相を所望の音響信号の位相に近づける。
【0100】
ＤＮＮ１１４ａは、複素スペクトログラムＸ[m]と信号Ｙ[m]と信号Ｚ[m]と振幅スペクトログラムＡとを入力とし、Griffin-Limアルゴリズムで生じた歪みまたは推定誤差（Ｚ[m]－Ｘ[m]）を推定し、推定値Ｆθ（Ｘ[m]，Ｙ[m]，Ｚ[m]）を出力する（図１３ステップＳ２０３）。
【0101】
減算部１１５は、信号Ｚ[m]と推定値Ｆθ（Ｘ[m]，Ｙ[m]，Ｚ[m]）との差分Ｘ[m+1]＝Ｚ[m]－Ｆθ（Ｘ[m]，Ｙ[m]，Ｚ[m]）を求めて出力する（図１３ステップＳ２０４）。この減算処理が、Griffin-Limアルゴリズムで生じた歪みまたは推定誤差を除去する処理に相当し、複素スペクトログラムＸ[m]の位相スペクトログラムを所望の音響信号に近づける処理に相当する。
【0102】
ステップＳ２０１～Ｓ２０４の処理を推定部１１０ａ－ｍの個数Ｍ回分繰り返し、Ｍ回の処理が終わると（図１３ステップＳ２０６においてＹＥＳ）、終段の推定部１１０ａ－（Ｍ－１）から複素スペクトログラムＸ[M]が出力される。繰り返し数Ｍは例えば５程度とすればよい。
【0103】
位相付与部１２０は、複素スペクトログラムＸ[M]と振幅スペクトログラムＡとを入力とし、式（１８）に示すように、振幅スペクトログラムＡに複素スペクトログラムＸ[M]の位相を付与して、付与後の信号Ｙ[M]＝ＰB（Ｘ[M]）を出力する（図１３ステップＳ２０７）。ステップＳ２０７の処理により、再度、複素スペクトログラムＸ[M]の振幅を振幅スペクトログラムＡの大きさに変換する。
【0104】
本実施例では、図１に示したＤＮＮの構造によって複素数の代数構造を考慮した音響信号復元のための演算を行うことが可能になる。その結果、本実施例では、雑音成分の複素スペクトログラムを精度良く推定することができ、非特許文献２に開示された技術と比較して、より高品質な出力音を得ることが可能になる。
【0105】
なお、図１に示したＤＮＮは振幅スペクトログラムＡを利用するため、少ない反復回数（上記の繰り返し数Ｍ）で高い精度が得られる。ただし、真の振幅情報が利用できない場合には、図１に示したＤＮＮを使用することはできない。
【0106】
一方で、式（２１）に示したＡＧＣ層を用いたＤＮＮは、少ない反復回数（繰り返し数Ｍ）での精度は図１に示したＤＮＮに劣るものの、真の振幅情報が利用できない場合でも使用可能である。したがって、ＤＮＮ１１４ａ，２１３ａとして、図１に示したＤＮＮとＡＧＣ層を用いたＤＮＮを、目的に応じて使い分けることが望ましい。
【0107】
ＤＮＮ１１４ａ，２１３ａとしてＡＧＣ層を用いたＤＮＮを使用する場合には、図１に示した構成において各ゲート付き複素畳み込み層１０００～１００２の振幅ゲート層１００５の代わりに、式（２０）に示した振幅ゲート層を使用すればよい。この場合のＤＮＮの構成を図６に示す。
【0108】
図６に示すＤＮＮであるＡＧＣＮＮは、縦続接続された複数のゲート付き複素畳み込み層１０００ａ～１００２ａと、終段のゲート付き複素畳み込み層１００２ａの出力の畳み込み演算を行う複素畳み込み層１００３とから構成される。
【0109】
ゲート付き複素畳み込み層１０００ａ～１００２ａの各々は、複素畳み込み層１００４と、式（２０）に対応する振幅ゲート層１００５ａと、複素畳み込み層１００４の出力と振幅ゲート層１００５ａの出力とを要素毎に乗算した結果を出力する乗算部１００６とから構成される。振幅ゲート層１００５ａへの入力は、複素スペクトログラムＣのみとなる。学習装置２００ａにおける複素スペクトログラムＣはＸチルダ，Ｙチルダ，Ｚチルダ、推定装置１００ａにおける複素スペクトログラムＣはＸ[m]，Ｙ[m]，Ｚ[m]である。
【0110】
本実施例で説明した推定装置１００ａと学習装置２００ａは、ＣＰＵ（Central Processing Unit）、記憶装置及びインタフェースを備えたコンピュータと、これらのハードウェア資源を制御するプログラムによって実現することができる。このコンピュータの構成例を図７に示す。コンピュータは、ＣＰＵ３００と、記憶装置３０１と、インタフェース装置（Ｉ／Ｆ）３０２とを備えている。
【0111】
Ｉ／Ｆ３０２には、例えばネットワーク等が接続される。本発明の推定方法を実現させるための推定プログラムは、記憶装置３０１に格納される。また、プログラムをネットワークを通して提供してもよい。ＣＰＵ３００は、記憶装置３０１に格納されたプログラムに従って本実施例で説明した処理を実行する。
【0112】
また、コンピュータ上で所定のプログラムを実行させることにより、推定装置１００ａ、学習装置２００ａを構成することとしたが、推定装置、学習装置の処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【産業上の利用可能性】
【0113】
本発明は、振幅スペクトルのみから位相スペクトルを復元する音響信号復元技術に適用することができる。
【符号の説明】
【0114】
１００ａ…推定装置、１１０ａ－０～１１０ａ－（Ｍ－１）…推定部、１１１，１２０，２１１…位相付与部、１１２，２１２…変換部、１１３ａ…位相変更部、１１４ａ，２１３ａ…ＤＮＮ、１１５，２１４…減算部、２００ａ…学習装置、２０９…ノイズ加算部、２１５…パラメータ更新部、１０００，１０００ａ，１００１，１００１ａ，１００２，１００２ａ…ゲート付き複素畳み込み層、１００３，１００４…複素畳み込み層、１００５，１００５ａ…振幅ゲート層、１００６…乗算部。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】