特許 7293162 信号処理装置、信号処理方法、信号処理プログラム、学習装置、学習方法及び学習プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-06-09

(45)【発行日】2023-06-19

(54)【発明の名称】信号処理装置、信号処理方法、信号処理プログラム、学習装置、学習方法及び学習プログラム

(51)【国際特許分類】

   G10L 17/18 20130101AFI20230612BHJP

   G10L 21/0272 20130101ALI20230612BHJP

   G10L 21/028 20130101ALI20230612BHJP

   G10L 21/0308 20130101ALI20230612BHJP

   G10L 25/30 20130101ALI20230612BHJP

【ＦＩ】

G10L17/18

G10L21/0272 100A

G10L21/028 B

G10L21/0308 Z

G10L25/30

【請求項の数】 8

(21)【出願番号】P 2020070081

(22)【出願日】2020-04-08

(65)【公開番号】P2021167850

(43)【公開日】2021-10-21

【審査請求日】2022-07-28

【新規性喪失の例外の表示】特許法第３０条第２項適用 ＩＥＥＥ ＪＯＵＲＮＡＬ ＯＦ ＳＥＬＥＣＴＥＤ ＴＯＰＩＣＳ ＩＮ ＳＩＧＮＡＬ ＰＲＯＣＥＳＳＩＮＧ ＶＯＬ．１３，ＮＯ．４ 発行日 ２０１９年６月１３日 ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／２００１．０８３７８ ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ｐｄｆ／２００１．０８３７８．ｐｄｆ ウェブサイト掲載日 ２０２０年１月２３日

(73)【特許権者】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(73)【特許権者】

【識別番号】516087908

【氏名又は名称】ブルノ ユニバーシティー オブ テクノロジー

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】デルクロア マーク

(72)【発明者】

【氏名】落合 翼

(72)【発明者】

【氏名】木下 慶介

(72)【発明者】

【氏名】俵 直弘

(72)【発明者】

【氏名】中谷 智広

(72)【発明者】

【氏名】荒木 章子

(72)【発明者】

【氏名】モリコバ カテリナ

【審査官】大野 弘

(56)【参考文献】

【文献】特開２０２０－１８１０６０（ＪＰ，Ａ）

【文献】国際公開第２０１９／１９８３０６（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｌ ２１／０２８

Ｇ１０Ｌ ２１／０３０８

Ｇ１０Ｌ ２１／０２７２

Ｇ１０Ｌ ２５／３０

Ｇ１０Ｌ １７／１８

(57)【特許請求の範囲】

【請求項1】

目的話者の発話から得られた時間領域の音声信号を適応用特徴量に変換する第１変換部と、
複数の音源の音声を複数のマイクロホンで録音して得られたマルチチャネルの時間領域の混合音声信号を、ニューラルネットワークにより、適応前特徴量に変換する第２変換部と、
前記適応用特徴量を用いて前記適応前特徴量を前記目的話者に適応させた適応後特徴量を、ニューラルネットワークにより、出力用の情報に変換する第３変換部と、
を有することを特徴とする信号処理装置。

【請求項2】

前記混合音声信号の各チャネルに対応するマイクロホン間の位相差に関する情報を、空間情報特徴量に変換する第４変換部をさらに有し、
前記第３変換部は、前記空間情報特徴量を結合させた前記適応後特徴量を、前記出力用の情報に変換することを特徴とする請求項１に記載の信号処理装置。

【請求項3】

信号処理装置によって実行される信号処理方法であって、
目的話者の発話から得られた時間領域の音声信号を適応用特徴量に変換する第１変換工程と、
複数の音源の音声を複数のマイクロホンで録音して得られたマルチチャネルの時間領域の混合音声信号を、ニューラルネットワークにより、適応前特徴量に変換する第２変換工程と、
前記適応用特徴量を用いて前記適応前特徴量を前記目的話者に適応させた適応後特徴量を、ニューラルネットワークにより、出力用の情報に変換する第３変換工程と、
を含むことを特徴とする信号処理方法。

【請求項4】

コンピュータを、請求項１又は２に記載の信号処理装置として機能させるための信号処理プログラム。

【請求項5】

目的話者の発話から得られた時間領域の音声信号を適応用特徴量に変換する第１変換部と、
複数の音源の音声を複数のマイクロホンで録音して得られたマルチチャネルの時間領域の混合音声信号を、ニューラルネットワークにより、適応前特徴量に変換する第２変換部と、
前記適応用特徴量を用いて前記適応前特徴量を前記目的話者に適応させた適応後特徴量を、ニューラルネットワークにより、出力用の情報に変換する第３変換部と、
前記混合音声信号に含まれる前記目的話者の音声信号と前記出力用の情報とを基に計算される損失が最適化されるように、前記第２変換部で用いられるニューラルネットワーク及び前記第３変換部で用いられるニューラルネットワークのパラメータを更新することを特徴とする更新部と、
を有することを特徴とする学習装置。

【請求項6】

前記更新部は、前記出力用の情報によって示される前記目的話者の音声信号の推定結果と、前記目的話者の音声信号の正解との信号雑音比が最適化されるように、かつ、前記適応用特徴量による前記目的話者の音声信号の識別能力が向上するように、前記パラメータを更新することを特徴とする請求項５に記載の学習装置。

【請求項7】

コンピュータによって実行される学習方法であって、
目的話者の発話から得られた時間領域の音声信号を、適応用特徴量に変換する第１変換工程と、
複数の音源の音声を複数のマイクロホンで録音して得られたマルチチャネルの時間領域の混合音声信号を、ニューラルネットワークにより、適応前特徴量に変換する第２変換工程と、
前記適応用特徴量を用いて前記適応前特徴量を前記目的話者に適応させた適応後特徴量を、ニューラルネットワークにより、出力用の情報に変換する第３変換工程と、
前記混合音声信号に含まれる前記目的話者の音声信号と前記出力用の情報とを基に計算される損失が最適化されるように、前記第２変換工程で用いられるニューラルネットワーク及び前記第３変換工程で用いられるニューラルネットワークのパラメータを更新することを特徴とする更新工程と、
を含むことを特徴とする学習方法。

【請求項8】

コンピュータを、請求項５又は６に記載の学習装置として機能させるための学習プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、信号処理装置、信号処理方法、信号処理プログラム、学習装置、学習方法及び学習プログラムに関する。

【背景技術】

【0002】

複数の話者の音声から得られる混合音声信号から、目的話者の音声を抽出する技術としてスピーカービーム（SpeakerBeam）が知られている（例えば、非特許文献１を参照）。例えば、非特許文献１に記載の手法は、混合音声信号を周波数領域に変換し、周波数領域の混合音声信号から目的話者の音声を抽出するメインNN（neural network：ニューラルネットワーク）と、目的話者の音声信号から特徴量を抽出する補助NNとを有し、メインNNの中間部分に設けられた適応層に補助NNの出力を入力することで、周波数領域の混合音声信号に含まれる目的話者の音声信号を推定し、出力するものである。

【先行技術文献】

【非特許文献】

【0003】

【文献】K. Zmolikova, M. Delcroix, K. Kinoshita, T. Higuchi, A. Ogawa, and T. Nakatani, “Speaker-aware neural network based beamformer for speaker extraction in speech mixtures,” in Proc. of Interspeech’17, 2017, pp. 2655-2659.

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来の手法には、混合音声信号から目的話者の音声信号を精度良く抽出することができない場合があるという問題がある。例えば、混合音声信号に含まれる音声信号の特徴が似ている場合、非特許文献１に記載された手法では、十分な精度が得られない場合がある。例えば、同性の複数の話者の音声から得られた音声信号の特徴は、互いに似ることがある。

【課題を解決するための手段】

【0005】

上述した課題を解決し、目的を達成するために、信号処理装置は、目的話者の発話から得られた時間領域の音声信号を適応用特徴量に変換する第１変換部と、複数の音源の音声を複数のマイクロホンで録音して得られたマルチチャネルの時間領域の混合音声信号を、ニューラルネットワークにより、適応前特徴量に変換する第２変換部と、前記適応用特徴量を用いて前記適応前特徴量を前記目的話者に適応させた適応後特徴量を、１つ以上の層を備えたニューラルネットワークにより、出力用の情報に変換する第３変換部と、を有することを特徴とする。

【発明の効果】

【0006】

本発明によれば、混合音声信号から目的話者の音声信号を精度良く抽出することができる。

【図面の簡単な説明】

【0007】

【図1】図１は、第１の実施形態に係る信号処理装置の構成例を示す図である。

【図2】図２は、マイクロホン及び話者の配置例を示す図である。

【図3】図３は、第１の実施形態に係る信号処理装置の処理の流れを示すフローチャートである。

【図4】図４は、第１補助NNの処理の流れを示すフローチャートである。

【図5】図５は、メインNNの処理の流れを示すフローチャートである。

【図6】図６は、第２の実施形態に係る信号処理装置の構成例を示す図である。

【図7】図７は、第２の実施形態に係る信号処理装置の処理の流れを示すフローチャートである。

【図8】図８は、第２補助NNの処理の流れを示すフローチャートである。

【図9】図９は、メインNNの処理の流れを示すフローチャートである。

【図10】図１０は、第３の実施形態に係る学習装置の構成例を示す図である。

【図11】図１１は、第３の実施形態に係る学習装置の処理の流れを示すフローチャートである。

【図12】図１２は、実験用のデータを示す図である。

【図13】図１３は、実験結果を示す図である。

【図14】図１４は、実験結果を示す図である。

【図15】図１５は、実験結果を示す図である。

【図16】図１６は、実験結果を示す図である。

【図17】図１７は、プログラムを実行するコンピュータの一例を示す図である。

【発明を実施するための形態】

【0008】

以下に、本願に係る信号処理装置、信号処理方法、信号処理プログラム、学習装置、学習方法及び学習プログラムの実施形態を図面に基づいて詳細に説明する。なお、本発明は、以下に説明する実施形態により限定されるものではない。

【0009】

［第１の実施形態］
図１は、第１の実施形態に係る信号処理装置の構成例を示す図である。図１に示すように、信号処理装置１０は、第１補助NN１１を実行するための処理部として、第１変換部１１１及び統合部１１２を有する。また、信号処理装置１０は、メインNN１２を実行するための処理部として、第２変換部１２１、適応部１２２及び第３変換部１２３を有する。また、信号処理装置１０は、各ニューラルネットワークの重み及びバイアス等のパラメータをモデル情報１５として記憶する。ここでモデル情報１５として記憶されるパラメータの具体的な値は、後述の学習装置又は学習方法において予め学習させることで求めた情報を記憶しておけばよい。

【0010】

ここで、メインNN１２は、混合音声信号から目的話者の音声信号を抽出するためのニューラルネットワークである。また、第１補助NN１１は、メインNN１２を目的話者に適応させるための適応用特徴量を得るためのニューラルネットワークである。

【0011】

ここで、畳み込みブロックは、１次元の畳み込み及び正規化等を行うための層の集合である。また、エンコーダは、音声信号を所定の特徴空間にマッピング、すなわち音声信号を特徴量ベクトルに変換するニューラルネットワークである。逆に、デコーダは、所定の特徴空間上の特徴量を音声信号の空間にマッピングする、すなわち特徴量ベクトルを音声信号に変換するニューラルネットワークである。エンコーダ及びデコーダは、畳み込みブロックと同様の構成を有していてもよい。

【0012】

畳み込みブロック（1-D Conv）、エンコーダ及びデコーダの構成は、参考文献１（Y. Luo and N. Mesgarani, “Conv-TasNet: Surpassing ideal time-frequency magnitude masking for speech separation,” IEEE/ACM Trans. ASLP, vol. 27, no. 8, pp. 1256-1266, 2019.）に記載の構成と同様であってもよい。また、時間領域の音声信号は、参考文献１に記載の方法により得られたものであってもよい。また、以降の説明における各特徴量は、ベクトルで表されるものとする。

【0013】

第１変換部１１１は、目的話者の発話から得られた時間領域の音声信号を、適応用特徴量に変換する。つまり、第１変換部１１１は、時間領域の音声信号の入力を受け付け、適応用特徴量を出力する。図１の例では、第１変換部１１１はニューラルネットワークにより実現するものとし、時間領域の音声信号をニューラルネットワークにより、適応用特徴量に変換する。以降の説明では、第１変換部１１１で用いられるニューラルネットワークを第１のニューラルネットワークと呼ぶ。第１のニューラルネットワークは、第１補助NN１１の一部である。図１の例では、第１のニューラルネットワークには、エンコーダ及び畳み込みブロックが備えられている。適応用特徴量は、目的話者の埋め込みベクトルということができる。

【0014】

なお、第１変換部１１１は図１の構成例のように、ニューラルネットワークに限定されるものではなく、例えば、i-vectorかx-vector等の周知の話者埋め込みベクトル（embeddingベクトル）を抽出する手法を用いてもよい。

【0015】

また、統合部１１２は、適応用特徴量を複数時間フレームについて平均する。入力として与えられる目的話者の音声信号が短い発話であれば全ての時間フレームについて平均してもよいし、複数発話等の長時間の音声信号であれば、その一部の時間区間であって、第１変換部の処理単位である時間フレームよりも長い時間区間であればよい。つまり、統合部１１２は、平均化前の適応用特徴量の入力を受け付け、平均化した適応用特徴量を出力する。なお、統合部１１２は、複数の全結合層により構成されるものであってもよい。

【0016】

第２変換部１２１は、複数の音源の音声を複数のマイクロホンで録音して得られたマルチチャネルの時間領域の混合音声信号を、ニューラルネットワークにより、適応前特徴量に変換する。つまり、第２変換部１２１は、マルチチャネルの時間領域の音声信号の入力を受け付け、適応前特徴量を出力する。以降の説明では、第２変換部１２１で用いられるニューラルネットワークを第２のニューラルネットワークと呼ぶ。第２のニューラルネットワークは、メインNN１２の一部である。図１の例では、第２のニューラルネットワークには、エンコーダ及び畳み込みブロックが備えられている。

【0017】

適応部１２２は、平均化した適応用特徴量を用いて適応前特徴量を目的話者に適応させた特徴量である適応後特徴量に変換する。つまり、適応用特徴量と適応前特徴量の入力を受け付け、適応後特徴量を出力する。適応部１２２は、従来のスピーカービームと同様の方法で目的話者への適応を行うことができる。例えば、適応部１２２は、いずれも同じ次元数のベクトルである適応用特徴量と適応前特徴量の、要素ごとの積（element-wise product）を計算することにより適応後特徴量を得ることができる。

【0018】

ここで、適応部１２２は、ニューラルネットワークにおける層、すなわち適応層として実現される。図１に示すように、メインNN１２全体を見ると、適応層は、エンコーダに続く１番目の畳み込みブロックと２番目の畳み込みブロックとの間に挿入されている。

【0019】

第３変換部１２３は、適応後特徴量を、ニューラルネットワークにより、出力用の情報に変換する。つまり、第３変換部１２３は、適応後特徴量の入力を受け付け、出力用の情報を推定結果として出力する。出力用の情報は、入力された混合音声中の目的話者の音声信号に対応する情報であり、音声信号そのものであってもよいし、音声信号を導出可能な所定の形式のデータであってもよい。以降の説明では、第３変換部１２３で用いられるニューラルネットワークを第３のニューラルネットワークと呼ぶ。第３のニューラルネットワークは、メインNN１２の一部である。図１の例では、第３のニューラルネットワークには、１つ以上の畳み込みブロック及びデコーダが備えられている。

【0020】

ここで、第３変換部１２３は、第２変換部１２１のエンコーダから出力される中間特徴量と、第３変換部１２３の畳み込みブロックから出力される中間特徴量とから推定結果を得ることができる。また、目的話者への適応が行われるため、第３変換部１２３は、混合音声信号を話者ごとに分離するだけでなく、目的話者の音声信号を抽出して出力することができる。

【0021】

図２を用いて、混合音声信号の元になる混合音声の収録方法を説明する。図２は、マイクロホン及び話者の配置例を示す図である。マイクロホンアレイ３０は、マイクロホン３０１、マイクロホン３０２、マイクロホン３０３、マイクロホン３０４を有する。また、話者４１は目的話者である。また、話者４２は非目的話者である。

【0022】

マイクロホンアレイ３０の各マイクロホンは、話者４１及び話者４２の両方の音声を収録する。その結果、マイクロホンアレイ３０が収録した音声の音声信号は、各マイクロホンに対応するチャネルごとの音声信号として扱うことができる。第１の実施形態では、少なくとも２つのマイクロホンを備えたマイクロホンアレイによって収録された音声から得られた混合音声信号が用いられるものとする。なお、混合音声信号には、話者の発話によって生じる音声だけでなく、背景雑音等が含まれる場合がある。

【0023】

一方、目的話者の音声信号は、目的話者である話者４１の音声のみを収録することにより得られる。また、その場合マイクロホンは１つであってもよい。すなわち、目的話者の音声信号はシングルチャネルであってもよい。さらに、話者４１の位置は、混合音声信号を得るための収録を行う場合と、目的話者の音声信号を得るための収録を行う場合とで異なっていてもよい。

【0024】

図３は、第１の実施形態に係る信号処理装置の処理の流れを示すフローチャートである。図３に示すように、信号処理装置１０は、目的話者の音声信号及び混合音声信号の入力を受け付ける（ステップＳ１１）。

【0025】

信号処理装置１０は、第１補助NN１１を実行する（ステップＳ１２）。また、信号処理装置１０は、メインNN１２を実行する（ステップＳ１３）。ここで、信号処理装置１０は、第１補助NN１１とメインNN１２を並行して実行してもよい。ただし、メインNN１２には第１補助NN１１の出力が使用されるため、第１補助NN１１の実行が完了するまでは、メインNN１２の実行は完了しない。

【0026】

図４は、第１補助NNの処理の流れを示すフローチャートである。図４に示すように、第１変換部１１１は、入力された目的話者の時間領域の音声信号を適応用特徴量に変換する（ステップＳ１２１）。次に、統合部１１２は、適応用特徴量を時間フレームについて統合し出力する（ステップＳ１２２）。

【0027】

図５は、メインNNの処理の流れを示すフローチャートである。図５に示すように、まず、第２変換部１２１は、入力された時間領域の混合音声信号を混合音声特徴量に変換する（ステップＳ１３１）。適応部１２２は、統合済みの適応用特徴量を用いて混合音声特徴量を目的話者に適応させた適応後特徴量を取得する（ステップＳ１３２）。第３変換部１２３は、適応後特徴量を音声信号に変換し出力する（ステップＳ１３３）。

【0028】

これまで説明してきたように、第１変換部１１１は、目的話者の発話から得られた時間領域の音声信号を、適応用特徴量に変換する。また、第２変換部１２１は、複数の音源の音声を複数のマイクロホンで録音して得られたマルチチャネルの時間領域の混合音声信号を、第２のニューラルネットワークにより、適応前特徴量に変換する。また、第３変換部１２３は、適応用特徴量を用いて適応前特徴量を目的話者に適応させた適応後特徴量を、１つ以上の層を備えた第３のニューラルネットワークにより、出力用の情報に変換する。このように、信号処理装置１０に入力される混合音声信号はマルチチャンネルである。このため、混合音声信号には、音声を収録した際の空間に関する情報が含まれていることになる。その結果、第１の実施形態によれば、シングルチャネルの混合音声信号を入力する場合に比べて、目的話者の音声信号を精度良く抽出することができるようになる。

【0029】

［第２の実施形態］
第２の実施形態では、さらにIPD（Inter-microphone phase difference）特徴量を用いて空間に関する情報を取得する。以降の実施形態の説明においては、説明済みの実施形態と同様の機能を有する部には同じ符号を付し、適宜説明を省略する。

【0030】

IPD特徴量は、混合音声信号の各チャネルに対応するマイクロホン間の位相差に関する情報の一例である。IPD特徴量の要素を計算するための角度Φは、（１）式のように計算される。

【0031】

【数1】

【0032】

ここで、Y_i,t,fは、時間インデックスがt、周波数インデックスがfである場合の、混合音声信号のSTFT（short-time Fourier transform）のマイクロホンiに対応する係数である。さらに、IPD特徴量は、（２）式のように計算される。ただし、Fは周波数ビンの数である。また、∠は複素数表現された位相を表す。

【0033】

【数2】

【0034】

なお、IPD特徴量を得るためのSTFTのウィンドウサイズ及びシフト幅は、メインNN１２のエンコーダに応じて決定されるものであってもよい。

【0035】

図６は、第２の実施形態に係る信号処理装置の構成例を示す図である。図６に示すように信号処理装置１０ａは、第２補助NN１３を実行するための第４変換部１３２を有する。また、信号処理装置１０ａは結合部１２２ａを有する。また、信号処理装置１０ａは、各ニューラルネットワークの重み及びバイアス等のパラメータをモデル情報１５ａとして記憶する。

【0036】

第４変換部１３２は、混合音声信号の各チャネルに対応するマイクロホン間の位相差に関する空間情報を、空間情報特徴量に変換する。つまり、第４変換部１３２は、空間情報の入力を受け付け、空間情報特徴量を出力する。例えば、空間情報はIPD特徴量である。また、第４変換部１３２を構成するニューラルネットワークには、畳み込みブロック及びアップサンプリングのための層が備えられている。空間情報特徴量は、畳み込みブロックによって得られた特徴量をアップサンプリングした上で、さらに畳み込みブロックによる変換が行われた特徴量ということができる。

【0037】

結合部１２２ａは、適応部１２２によって出力される適応後特徴量と空間情報特徴量とを結合させる。結合部１２２ａは、単に、ベクトルである適応後特徴量の各要素の後に、ベクトルである空間情報特徴量の各要素が続くように結合してもよい。第３変換部１２３は、空間情報特徴量を結合させた適応後特徴量を、出力用の情報に変換する。

【0038】

図７は、第２の実施形態に係る信号処理装置の処理の流れを示すフローチャートである。図７に示すように、信号処理装置１０ａは、目的話者の音声信号、混合音声信号及び空間情報の入力を受け付ける（ステップＳ２１）。

【0039】

信号処理装置１０ａは、第１補助NN１１を実行する（ステップＳ２２）。また、信号処理装置１０ａは、第２補助NN１３を実行する（ステップＳ２３）。また、信号処理装置１０ａは、メインNN１２を実行する（ステップＳ２４）。信号処理装置１０ａが第１補助NN１１を実行する処理の流れは、図４で説明したものと同様である。

【0040】

図８は、第２補助NNの処理の流れを示すフローチャートである。図８に示すように、第４変換部１３２は、入力された空間情報を空間情報特徴量に変換する（ステップＳ２３１）。そして、第４変換部１３２は、空間情報特徴量をアップサンプリングして出力する（ステップＳ２３２）。

【0041】

図９は、メインNNの処理の流れを示すフローチャートである。図９に示すように、まず、第２変換部１２１は、入力された時間領域の混合音声信号を混合音声特徴量に変換する（ステップＳ２４１）。適応部１２２は、統合済みの適応用特徴量を用いて混合音声特徴量を目的話者に適応させた適応後特徴量を取得する（ステップＳ２４２）。

【0042】

ここで、結合部１２２ａは、空間情報特徴量を適応後特徴量に結合する（ステップＳ２４３）。第３変換部１２３は、空間情報特徴量を結合済みの適応後特徴量を音声信号に変換し出力する（ステップＳ２４４）。

【0043】

これまで説明してきたように、第４変換部１３２は、混合音声信号の各チャネルに対応するマイクロホン間の位相差に関する空間情報を、空間情報特徴量に変換する。また、第３変換部１２３は、空間情報特徴量を結合させた適応後特徴量を、出力用の情報に変換する。このように、信号処理装置１０ａは、空間情報がより明確になるような特徴量を利用して目的話者の音声を抽出することができる。その結果、第２の実施形態によれば、目的話者の音声信号をより精度良く抽出することができるようになる。

【0044】

適応部１２２によって実現される適応層では、目的話者の音声信号から得られる特徴量を手掛かりとして、混合音声信号の特徴量から目的話者の音声の特徴量を抽出する。さらに、第２の実施形態では、適応層より出力側の層では、空間情報を用いることで、混合音声中の各音声の方向を考慮した補正ができる。つまり、第２の実施形態では、適応後特徴量に本来必要ない方向の音声が含まれている場合に、その音声に係る特徴を取り除くことで、より分離性能の高い音声信号の特徴量を得ることができると考えられる。

【0045】

さらに、図６の例では、空間情報特徴量を適応層より出力側の層に入力している。一方で、空間情報特徴量を適応層より入力側の層に入力する実施形態も考えられる。ただし、適応層はスペクトラル的な情報に基づき話者を選択するものであるため、適応層より入力側の層に入力された空間情報特徴量は、話者を選択する作用に悪影響を与えることが考えられる。このことは、後に提示する実験結果にも表れる。

【0046】

［第３の実施形態］
第３の実施形態では、第１の実施形態の信号処理装置１０のモデル情報１５を生成するための学習処理を行う学習装置について説明する。図１０は、第３の実施形態に係る学習装置の構成例を示す図である。

【0047】

図１０に示すように、学習装置２０は、第１の実施形態の信号処理装置１０と同様に、学習用データに対し、第１補助NN１１及びメインNN１２を実行する。例えば、学習用データは、混合音声信号及び当該混合音声信号に含まれる目的話者の音声信号を正解として含むデータである。

【0048】

第１変換部１１１、第２変換部１２１及び第３変換部１２３は、第１の実施形態と同様の処理を行う。また、更新部２４は、混合音声信号に含まれる目的話者の音声信号と出力用の情報とを基に計算される損失が最適化されるように、第１のニューラルネットワーク、第２のニューラルネットワーク及び第３のニューラルネットワークのパラメータを更新する。例えば、更新部２４は、誤差逆伝播法によりパラメータを更新する。更新部２４は、各ニューラルネットワークのパラメータであるモデル情報２５を更新していく。

【0049】

ここで、更新部２４は、出力用の情報によって示される目的話者の音声信号の推定結果と、目的話者の音声信号の正解との信号雑音比が最適化されるように、かつ、適応用特徴量による目的話者の音声信号の識別能力が向上するように、パラメータを更新することができる。この場合、更新部２４は、（３）式のように計算される損失が最適化されるようにパラメータの更新を行う。言い換えると、学習装置２０は、音声認識と話者識別という２つのタスクの両方が正解に近づくようにマルチタスク学習を行う。

【0050】

【数3】

【0051】

（３）式に示すように、損失関数は、メインNN１２の出力に関する損失と、第１補助NN１１の出力に関する損失との重みづけ和である。メインNN１２の出力に関する損失は、例えば、（３）式の第１項に示すように、メインNNから出力される推定結果の音声信号^x_s（xの直上に^）と、学習データに含まれる目的話者の音声信号の正解x_sとの信号雑音比（signal-to-noise ratio:SiSNR）である。また、第１補助NN１１の出力に関する損失は、「入力された音声信号の話者が目的話者のものであるか否か」を識別する話者識別のタスクにおける識別能力を用いて表される。例えば、（３）式の第２項は、話者ラベルl^sと目的話者の特徴量e^s（第１補助NN１１の出力）を行列Wにより変換し、ソフトマックス関数σ(・)を適用した結果とのクロスエントロピー（CE）に重み（スケーリングパラメータ）αを掛けたものにより、第１補助NN１１の出力に関する損失を表現している。

【0052】

図１１は、第３の実施形態に係る学習装置の処理の流れを示すフローチャートである。図１１に示すように、学習装置２０は、目的話者の音声信号及び混合音声信号の入力を受け付ける（ステップＳ３１）。学習装置２０に入力される各音声信号は、正解が既知の学習用のデータである。

【0053】

学習装置２０は、第１補助NN１１を実行する（ステップＳ３２）。また、学習装置２０は、メインNN１２を実行する（ステップＳ３３）。ここで、更新部２４は、損失が最適化されるようにモデル情報２５を更新する（ステップＳ３４）。

【0054】

学習装置２０は、所定の条件が満たされている場合、収束したと判定し（ステップＳ３５、Yes）処理を終了する。一方、学習装置２０は、所定の条件が満たされていない場合、収束していないと判定し（ステップＳ３５、No）ステップＳ３２に戻り処理を繰り返す。例えば、条件は、所定の繰り返し回数に到達したこと、損失関数値が所定の閾値以下となったこと、パラメータの更新量（損失関数値の微分値等）が所定の閾値以下となったこと等である。

【0055】

これまで説明してきたように、第１変換部１１１は、目的話者の発話から得られた時間領域の音声信号を、１つ以上の層を備えた第１のニューラルネットワークにより、適応用特徴量に変換する。第２変換部１２１は、複数の音源の音声を複数のマイクロホンで録音して得られたマルチチャネルの時間領域の混合音声信号を、第１のニューラルネットワークに含まれる層の数と同じ数の層を備えた第２のニューラルネットワークにより、適応前特徴量に変換する。第３変換部１２３は、適応用特徴量を用いて適応前特徴量を目的話者に適応させた適応後特徴量を、１つ以上の層を備えた第３のニューラルネットワークにより、出力用の情報に変換する。更新部２４は、混合音声信号に含まれる目的話者の音声信号と出力用の情報とを基に計算される損失が最適化されるように、第１のニューラルネットワーク、第２のニューラルネットワーク及び第３のニューラルネットワークのパラメータを更新する。この結果、第３の実施形態によれば、目的話者の音声信号を抽出する精度を向上させることができる。

【0056】

更新部２４は、出力用の情報によって示される目的話者の音声信号の推定結果と、目的話者の音声信号の正解との信号雑音比が最適化されるように、かつ、適応用特徴量による目的話者の音声信号の識別能力が向上するように、パラメータを更新する。これにより、音声抽出のためのNNだけでなく、目的話者へ適応のためのNNの精度が向上する。その結果、第３の実施形態によれば、目的話者の音声信号を抽出する精度を向上させることができる。

【0057】

［実験結果］
ここで、実施形態と従来の手法とを比較するために行った実験の結果を説明する。図１２は、実験用のデータを示す図である。図１３から図１６は、実験結果を示す図である。実験では、図１２に示すマルチチャネルの２種類の混合音声WSJ（MC-WSJ0-2 mix）及びCSJ（CSJ-2mix）を使用した。なお、#Spksは話者の数、#Fは女性の話者の数、#Mは男性の話者の数、#Mixtureは混合発話の数である。

【0058】

図１３及び図１４は、各手法によって抽出した目的話者の音声信号をSDR（signal-to-distortionratio）によって評価した結果である。図１３の（７）は、第１の実施形態の推定方法に相当する。また、図１３の（９）は、第２の実施形態の推定方法に相当する。また、図１３の（８）は、第２の実施形態の推定方法において、空間情報特徴量を、適応層より入力側の層に入力した場合に相当する。また、FFは、女性の音声同士の混合音声を示している。また、MMは、男性の音声同士の混合音声を示している。また、FMは、女性と男性の音声の混合音声を示している。図１３に示すように、実施形態は、特に話者の性別が異なる場合の混合音声に対して高い精度を示している。また、（９）の手法は、話者の性別が同一である場合にさらに精度が向上する。

【0059】

図１４の（５）は、第１の実施形態の推定方法に相当し、さらに第３の実施形態による学習時の損失関数に第１補助NN１１の出力に関する損失を含まない場合の結果である。一方、（６）は、学習時の損失関数に第１補助NN１１の出力に関する損失（SI-loss）を含む場合の結果である。図１４に示すように、第１の実施形態は、従来の手法に比べて高い精度を示しており、SI-lossを導入することでさらに精度が向上する。特に、SI-lossを導入することで、FFの場合の精度が大きく向上した。

【0060】

図１５は、FF、MM、FMの各ケースにおけるSDRの向上度合いを示している。図１５に示すように、実施形態の手法（TD-SpkBeam、TD-SpkBeam+SI-loss）によれば、SDRが0を超えることが多く、精度が向上する。図１６は、学習用データの話者数に応じたSDRを示している。図１６に示すように、実施形態の手法（TD-SpkBeam、TD-SpkBeam+SI-loss）によれば、特に話者数が100を超える場合にSDRが大きく向上する。

【0061】

［システム構成等］
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示のように構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部又は任意の一部が、CPU（Central Processing Unit）及び当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

【0062】

また、本実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

【0063】

［プログラム］
一実施形態として、信号処理装置１０は、パッケージソフトウェアやオンラインソフトウェアとして上記の音声信号の抽出処理を実行する信号処理プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、上記の信号処理プログラムを情報処理装置に実行させることにより、情報処理装置を信号処理装置１０として機能させることができる。ここで言う情報処理装置には、デスクトップ型又はノート型のパーソナルコンピュータが含まれる。また、その他にも、情報処理装置にはスマートフォン、携帯電話機やPHS（Personal Handyphone System）等の移動体通信端末、さらには、PDA（Personal Digital Assistant）等のスレート端末等がその範疇に含まれる。

【0064】

また、信号処理装置１０は、ユーザが使用する端末装置をクライアントとし、当該クライアントに上記の信号処理に関するサービスを提供する信号処理サーバ装置として実装することもできる。例えば、信号処理サーバ装置は、混合音声信号を入力とし、目的話者の音声信号を抽出する信号処理サービスを提供するサーバ装置として実装される。この場合、信号処理サーバ装置は、Ｗｅｂサーバとして実装することとしてもよいし、アウトソーシングによって上記の信号処理に関するサービスを提供するクラウドとして実装することとしてもかまわない。

【0065】

図１７は、プログラムを実行するコンピュータの一例を示す図である。コンピュータ１０００は、例えば、メモリ１０１０、CPU１０２０を有する。また、コンピュータ１０００は、ハードディスクドライブインタフェース１０３０、ディスクドライブインタフェース１０４０、シリアルポートインタフェース１０５０、ビデオアダプタ１０６０、ネットワークインタフェース１０７０を有する。これらの各部は、バス１０８０によって接続される。

【0066】

メモリ１０１０は、ROM（Read Only Memory）１０１１及びRAM１０１２を含む。ROM１０１１は、例えば、BIOS（Basic Input Output System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１１００に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ１１００に挿入される。シリアルポートインタフェース１０５０は、例えばマウス１１１０、キーボード１１２０に接続される。ビデオアダプタ１０６０は、例えばディスプレイ１１３０に接続される。

【0067】

ハードディスクドライブ１０９０は、例えば、OS１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３、プログラムデータ１０９４を記憶する。すなわち、信号処理装置１０の各処理を規定するプログラムは、コンピュータにより実行可能なコードが記述されたプログラムモジュール１０９３として実装される。プログラムモジュール１０９３は、例えばハードディスクドライブ１０９０に記憶される。例えば、信号処理装置１０における機能構成と同様の処理を実行するためのプログラムモジュール１０９３が、ハードディスクドライブ１０９０に記憶される。なお、ハードディスクドライブ１０９０は、SSDにより代替されてもよい。

【0068】

また、上述した実施形態の処理で用いられる設定データは、プログラムデータ１０９４として、例えばメモリ１０１０やハードディスクドライブ１０９０に記憶される。そして、CPU１０２０が、メモリ１０１０やハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてRAM１０１２に読み出して実行する。

【0069】

なお、プログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限らず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ１１００等を介してCPU１０２０によって読み出されてもよい。あるいは、プログラムモジュール１０９３及びプログラムデータ１０９４は、ネットワーク（LAN（Local Area Network）、WAN（Wide Area Network）等）を介して接続された他のコンピュータに記憶されてもよい。そして、プログラムモジュール１０９３及びプログラムデータ１０９４は、他のコンピュータから、ネットワークインタフェース１０７０を介してCPU１０２０によって読み出されてもよい。

【符号の説明】

【0070】

１０、１０ａ 信号処理装置
１１ 第１補助NN
１２ メインNN
１５、１５ａ、２５ モデル情報
２０ 学習装置
２４ 更新部
３０ マイクロホンアレイ
４１、４２ 話者
１１１ 第１変換部
１１２ 統合部
１２１ 第２変換部
１２２ 適応部
１２２ａ 結合部
１２３ 第３変換部
１３２ 第４変換部
３０１、３０２、３０３、３０４ マイクロホン

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】