特許 7517601 ハイパーパラメータ最適化システム、方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-08

(45)【発行日】2024-07-17

(54)【発明の名称】ハイパーパラメータ最適化システム、方法およびプログラム

(51)【国際特許分類】

   G10L 21/0208 20130101AFI20240709BHJP

   G10L 25/30 20130101ALI20240709BHJP

   G10L 15/20 20060101ALN20240709BHJP

【ＦＩ】

G10L21/0208 100B

G10L25/30

G10L15/20 380

【請求項の数】 10

(21)【出願番号】P 2023517722

(86)(22)【出願日】2020-10-15

(65)【公表番号】

(43)【公表日】2023-10-02

(86)【国際出願番号】 JP2020038860

(87)【国際公開番号】W WO2022079848

(87)【国際公開日】2022-04-21

【審査請求日】2023-03-16

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100103090

【弁理士】

【氏名又は名称】岩壁 冬樹

(74)【代理人】

【識別番号】100124501

【弁理士】

【氏名又は名称】塩川 誠人

(72)【発明者】

【氏名】ワン チョンチョン

(72)【発明者】

【氏名】越仲 孝文

【審査官】毛利 太郎

(56)【参考文献】

【文献】国際公開第２０２０／０４５３１３（ＷＯ，Ａ１）

【文献】Micro Ravanelli, et al.，A Network of Deep Neural Networks for Distant Speech Recognition，ICASSP2017，米国，2017年06月19日，p.4880-4884，[online], <URL:https://ieeexplore.ieee.org/stamp/stamp.jsp?arnumber=7953084>, ［検索日：2020年11月17日］

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｌ １３／００ － ２５／９３

Ｇ１０Ｋ １１／００ － １１／３６

(57)【特許請求の範囲】

【請求項1】

スピーチデータとしてのテスト発話が入力されると、音声強調を行うマスクに基づいて生成される強調マスクを当該テスト発話から決定するスピーチ強調手段と、
前記テスト発話が入力されると、強調された当該テスト発話を用いて処理が行われる下流タスクを考慮して設定される、前記マスクを用いて前記テスト発話を表わす信号を維持する度合いを表わすハイパーパラメータである第一ハイパーパラメータを決定する第一ハイパーパラメータ最適化手段と、
決定された前記強調マスクおよび前記第一ハイパーパラメータから、前記下流タスクに適した前記テスト発話の強調を行う適応的マスクを生成するマスク生成手段とを備え、
前記マスク生成手段は、第一ハイパーパラメータを前記マスクの累乗とする適応的マスクを生成する
ことを特徴とするハイパーパラメータ最適化システム。

【請求項2】

第一ハイパーパラメータ最適化手段は、雑音を含むスピーチデータが入力された際に、第一ハイパーパラメータを出力するように、下流タスクの処理結果を示す下流タスクラベル、ノイズを含むトレーニングスピーチ、前記強調マスクおよび下流タスクのニューラルネットワークのパラメータを含む教師データを用いた機械学習処理が施された学習済みの第一ハイパーパラメータニューラルネットワークを有する
請求項１記載のハイパーパラメータ最適化システム。

【請求項3】

スピーチ強調手段は、雑音を含むスピーチデータが入力された際に、当該スピーチデータから強調マスクを出力するように機械学習処理が施された学習済みのスピーチ強調ニューラルネットワークを有する
請求項１または請求項２記載のハイパーパラメータ最適化システム。

【請求項4】

トレーニングスピーチ、強調マスクおよび下流タスクのニューラルネットワークのパラメータを含むデータを教師データとして用いた機械学習処理により、スピーチデータを受け付ける入力層と、第一ハイパーパラメータを出力する出力層とを含む第一ハイパーパラメータニューラルネットワークを学習する第一ハイパーパラメータニューラルネットワーク学習手段を備えた
請求項１から請求項３のうちのいずれか１項に記載のハイパーパラメータ最適化システム。

【請求項5】

トレーニングスピーチ、強調マスク、および、スピーチデータと下流タスクの正解ラベルとを対応付けたタスクトレーニングデータを教師データとして用いた機械学習処理により、スピーチデータを受け付ける入力層と第一ハイパーパラメータを出力する出力層とを含む第一ハイパーパラメータニューラルネットワーク、および、スピーチデータを受け付ける入力層と下流タスクによる処理結果を出力する出力層とを含む下流タスクニューラルネットワークを学習する第一ハイパーパラメータニューラルネットワーク＆下流タスクニューラルネットワーク学習手段を備えた
請求項１から請求項３のうちのいずれか１項に記載のハイパーパラメータ最適化システム。

【請求項6】

ノイズを含むスピーチデータ、マスクに基づいて算出される音声強調度合いを示すターゲット、スピーチデータと下流タスクの正解ラベルとを対応付けたタスクトレーニングデータおよび下流タスクのニューラルネットワークのパラメータを含むデータを教師データとして用いた機械学習処理により、スピーチデータを受け付ける入力層と第一ハイパーパラメータを出力する出力層とを含む第一ハイパーパラメータニューラルネットワーク、および、スピーチデータを受け付ける入力層と前記ターゲットを出力する出力層とを含むスピーチ強調ニューラルネットワークを学習する第一ハイパーパラメータニューラルネットワーク＆スピーチ強調ニューラルネットワーク学習手段を備えた
請求項１から請求項３のうちのいずれか１項に記載のハイパーパラメータ最適化システム。

【請求項7】

ノイズを含むスピーチデータ、マスクに基づいて算出される音声強調度合いを示すターゲット、および、スピーチデータと下流タスクの正解ラベルとを対応付けたタスクトレーニングデータを教師データとして用いた機械学習処理により、スピーチデータを受け付ける入力層と第一ハイパーパラメータを出力する出力層とを含む第一ハイパーパラメータニューラルネットワーク、スピーチデータを受け付ける入力層と前記ターゲットを出力する出力層とを含むスピーチ強調ニューラルネットワーク、および、スピーチデータを受け付ける入力層と下流タスクによる処理結果を出力する出力層とを含む下流タスクニューラルネットワークを学習する３種ニューラルネットワーク学習手段を備えた
請求項１から請求項３のうちのいずれか１項に記載のハイパーパラメータ最適化システム。

【請求項8】

音声強化ニューラルネットワークの訓練に使用される第２のハイパーパラメータを最適化する第二ハイパーパラメータ最適化手段と、
第二ハイパーパラメータ最適化手段から第２ハイパーパラメータを受け取り、第２ハイパーパラメータの累乗のマスクをターゲットとして算出するターゲット計算手段とを備えた
請求項６または請求項７記載のハイパーパラメータ最適化システム。

【請求項9】

スピーチデータとしてのテスト発話が入力されると、音声強調を行うマスクに基づいて生成される強調マスクを当該テスト発話から決定し、
前記テスト発話が入力されると、強調された当該テスト発話を用いて処理が行われる下流タスクを考慮して設定される、前記マスクを用いて前記テスト発話を表わす信号を維持する度合いを表わすハイパーパラメータである第一ハイパーパラメータを決定し、
決定された前記強調マスクおよび前記第一ハイパーパラメータから、前記下流タスクに適した前記テスト発話の強調を行う適応的マスクを生成し、
前記適応的マスクを生成する際、第一ハイパーパラメータを前記マスクの累乗とする適応的マスクが生成される
ことを特徴とするハイパーパラメータ最適化方法。

【請求項10】

コンピュータに、
スピーチデータとしてのテスト発話が入力されると、音声強調を行うマスクに基づいて生成される強調マスクを当該テスト発話から決定するスピーチ強調処理、
前記テスト発話が入力されると、強調された当該テスト発話を用いて処理が行われる下流タスクを考慮して設定される、前記マスクを用いて前記テスト発話を表わす信号を維持する度合いを表わすハイパーパラメータである第一ハイパーパラメータを決定する第一ハイパーパラメータ最適化処理、および、
決定された前記強調マスクおよび前記第一ハイパーパラメータから、前記下流タスクに適した前記テスト発話の強調を行う適応的マスクを生成するマスク生成処理を実行させ、
前記マスク生成処理で、第一ハイパーパラメータを前記マスクの累乗とする適応的マスクを生成させる
ためのハイパーパラメータ最適化プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、音声強調に用いられるマスクの最適なハイパーパラメータを決定するハイパーパラメータ最適化システム、ハイパーパラメータ最適化方法およびハイパーパラメータ最適化プログラムに関する。

【背景技術】

【0002】

ニュートラルネットワークベースの音声強調方法は、複数の前処理ステップを手動で行う一般的な方法よりも有望である。例えば、非特許文献１には、音声強調を行う際に用いられる分離アリゴリズムとして、ディープラーニングに基づく教師付き音声分離方法が記載されている。

【先行技術文献】

【非特許文献】

【0003】

【文献】D. L. Wang and J. Chen, "Supervised speech separation based on deep learning: An overview", IEEE/ACM, Trans. Audio Speech Lang. Process., 26, pp.1702-1726, 2018

【発明の概要】

【発明が解決しようとする課題】

【0004】

一方、音声強調の目的は音声品質を改良することである。そのため、音声強調は、例えば、音声認識や話者認識など、強調された音声を用いた後続のタスク（以下、下流のタスクと記す。）を保証するものではない。言い換えると、適切な音声強調方法は、下流のタスクによって異なる場合がある。そのため、例えば、非特許文献１に記載された音声強化を用いた場合、クリーンまたはノイズの少ないスピーチにより、下流のタスクの性能が低下する可能性がある。

【0005】

そこで、下流のタスクに応じて音声強調を行うマスクを設定することが考えられる。しかし、音声強調を行う際に用いられるマスクのハイパーパラメータをユーザが下流のタスクごとに適切に設定することは難しい。そのため、下流のタスクの性質に応じて音声強調を行うマスクの最適なハイパーパラメータを決定できることが好ましい。

【0006】

そこで、下流のタスクの性質に応じて音声強調を行うマスクの最適なハイパーパラメータを決定できるハイパーパラメータ最適化システム、ハイパーパラメータ最適化方法およびハイパーパラメータ最適化プログラムを提供することが、本開示の例示的な目的である。

【課題を解決するための手段】

【0007】

ハイパーパラメータ最適化システムは、スピーチデータとしてのテスト発話が入力されると、音声強調を行うマスクに基づいて生成される強調マスクをそのテスト発話から決定するスピーチ強調手段と、テスト発話が入力されると、強調されたそのテスト発話を用いて処理が行われる下流タスクを考慮して設定される、マスクを用いてテスト発話を表わす信号を維持する度合いを表わすハイパーパラメータである第一ハイパーパラメータを決定する第一ハイパーパラメータ最適化手段と、決定された強調マスクおよび第一ハイパーパラメータから、下流タスクに適したテスト発話の強調を行う適応的マスクを生成するマスク生成手段とを備え、マスク生成手段が、第一ハイパーパラメータをマスクの累乗とする適応的マスクを生成することを特徴とする。

【0008】

ハイパーパラメータ最適化方法は、スピーチデータとしてのテスト発話が入力されると、音声強調を行うマスクに基づいて生成される強調マスクをそのテスト発話から決定し、テスト発話が入力されると、強調されたそのテスト発話を用いて処理が行われる下流タスクを考慮して設定される、マスクを用いてテスト発話を表わす信号を維持する度合いを表わすハイパーパラメータである第一ハイパーパラメータを決定し、決定された強調マスクおよび第一ハイパーパラメータから、下流タスクに適したテスト発話の強調を行う適応的マスクを生成し、適応的マスクを生成する際、第一ハイパーパラメータをマスクの累乗とする適応的マスクが生成されることを特徴とする。

【0009】

ハイパーパラメータ最適化プログラムは、コンピュータに、スピーチデータとしてのテスト発話が入力されると、音声強調を行うマスクに基づいて生成される強調マスクをそのテスト発話から決定するスピーチ強調処理、テスト発話が入力されると、強調されたそのテスト発話を用いて処理が行われる下流タスクを考慮して設定される、マスクを用いてテスト発話を表わす信号を維持する度合いを表わすハイパーパラメータである第一ハイパーパラメータを決定する第一ハイパーパラメータ最適化処理、および、決定された強調マスクおよび第一ハイパーパラメータから、下流タスクに適したテスト発話の強調を行う適応的マスクを生成するマスク生成処理を実行させ、マスク生成処理で、第一ハイパーパラメータをマスクの累乗とする適応的マスクを生成させることを特徴とする。

【図面の簡単な説明】

【0010】

【図1】本開示によるハイパーパラメータ最適化システムの第一の実施形態の構成例を示すブロック図である。

【図2】第一の実施形態のハイパーパラメータ最適化システム１００の動作例を示すフローチャートである。

【図3】本開示によるハイパーパラメータ最適化システムの第二の実施形態の構成例を示すブロック図である。

【図4】第二の実施形態のハイパーパラメータ最適化システム２００の動作例を示すフローチャートである。

【図5】本開示によるハイパーパラメータ最適化システムの第三の実施形態の構成例を示すブロック図である。

【図6】第三の実施形態のハイパーパラメータ最適化システム３００の動作例を示すフローチャートである。

【図7】本開示によるハイパーパラメータ最適化システムの第四の実施形態の構成例を示すブロック図である。

【図8】第四の実施形態のハイパーパラメータ最適化システム４００の動作例を示すフローチャートである。

【図9】本開示によるハイパーパラメータ最適化システムの概要を示すブロック図である。

【図10】少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。

【発明を実施するための形態】

【0011】

以下、本開示の実施形態を図面を参照して説明する。

【0012】

なお、以下の説明では、テキストにギリシャ文字を使用する場合、ギリシャ文字の英語表記を大括弧（[]）で囲むことがある。また、各ブロック図で示す一方向性の矢印は、情報の流れの方向を端的に示したものであり、双方向性を排除するものではない。

【0013】

実施形態１．
図１は、本開示によるハイパーパラメータ最適化システムの第一の実施形態の構成例を示すブロック図である。第一の実施形態のハイパーパラメータ最適化システム１００は、トレーニングスピーチ入力部１２と、スピーチ強調ニューラルネットワークパラメータ（以下、スピーチ強調ＮＮパラメータと記す。）記憶部１４と、第一スピーチ強調部１６と、下流タスクニューラルネットワークパラメータ（以下、下流タスクＮＮパラメータと記す。）記憶部１８と、第一ハイパーパラメータニューラルネットワーク（以下、第一ハイパーパラメータＮＮと記す。）学習部２０と、第一ハイパーパラメータＮＮパラメータ記憶部２２と、第二スピーチ強調部２４と、第一ハイパーパラメータ最適化部２６と、マスク生成部２８と、適応的スピーチ強調部３０と、下流タスク処理部３２とを備えている。

【0014】

トレーニングスピーチ入力部１２は、後述する第一ハイパーパラメータＮＮ学習部２０が、トレーニングに用いるスピーチデータ（以下、トレーニングスピーチと記す。）を受け付ける。具体的には、トレーニングスピーチ入力部１２は、トレーニングスピーチとして、雑音を含むスピーチ（以下、雑音スピーチと記す。）を受け付ける。また、トレーニングスピーチには、雑音スピーチに対して後述する下流タスク処理部３２が行うと想定される処理結果を示すラベル（以下、下流タスクラベルと記すこともある。）が含まれる。

【0015】

雑音スピーチは、音声強調を行う対象のスピーチデータが取得される環境（例えば、雑音が含まれる状況や、言語、ドメインなど）に則して作成される。また、下流タスクラベルは、下流タスク処理部３２が行う処理の内容に応じて決定される。例えば、下流タスク処理部３２が話者認識を行う場合、下流タスクラベルは、話者ＩＤ等である。

【0016】

トレーニングスピーチ入力部１２は、外部のストレージサーバ（図示せず）からトレーニングスピーチの入力を受け付けてもよく、ハイパーパラメータ最適化システム１００が備える記憶部（図示せず）からトレーニングスピーチを取得してもよい。

【0017】

スピーチ強調ＮＮパラメータ記憶部１４は、音声強調を行うマスクに基づいて生成される強調マスク（以下、単にマスクと記すこともある。）をスピーチデータから生成するニューラルネットワークの学習済みパラメータを記憶する。また、スピーチ強調ニューラルネットワークをスピーチ強調ＮＮと記す。なお、強調マスクは、例えば、マスクのハイパーパラメータの累乗で定義され、所望の音声を強調するために用いられる。

【0018】

スピーチ強調ＮＮは、雑音を含むスピーチデータ（音声信号）から強調マスクを出力するよう、コンピュータを機能させるための学習済みモデルである。具体的には、スピーチ強調ＮＮは、雑音を含むスピーチデータが入力された際に、そのスピーチデータに含まれる所望の音声の強調に用いられる最適なマスク（すなわち、強調マスク）を算出するように、教師データを用いた機械学習処理が施された学習済みのニューラルネットワークである。

【0019】

本実施形態で用いられるマスクの態様は、特に限定されない。マスクは、例えば、理想比マスク、複素理想比マスク、スペクトルマグニチュードマスク、および位相感応マスクのうちの少なくとも１つの形態をとる実数または複素数の連続値からなる行列である。

【0020】

なお、第一の実施形態では、スピーチ強調ＮＮが他の学習装置（図示せず）等により予め学習され、学習されたスピーチ強調ＮＮのパラメータがスピーチ強調ＮＮパラメータ記憶部１４に記憶されているものとする。

【0021】

第一スピーチ強調部１６は、スピーチ強調ＮＮパラメータ記憶部１４に記憶されたスピーチ強調ＮＮパラメータを用いて、受け付けたトレーニングスピーチから音声強調に用いられるマスク（すなわち、強調マスク）を決定する。具体的には、第一スピーチ強調部１６は、スピーチ強調ＮＮパラメータで示されるニューラルネットワークの入力層にトレーニングスピーチを適用して、出力層から強調マスクを出力する。なお、第一スピーチ強調部１６は、スピーチ強調ＮＮパラメータ記憶部１４に記憶されたスピーチ強調ＮＮパラメータを取得することから、スピーチ強調ＮＮを有しているとも言える。

【0022】

下流タスクＮＮパラメータ記憶部１８は、後述する下流タスク処理部３２が処理を行う際に用いるニューラルネットワーク（以下、下流タスクＮＮと記す。）のパラメータを記憶する。以下、本実施形態では、下流タスクＮＮパラメータ記憶部１８は、既に学習された下流タスクＮＮのパラメータを記憶しているものとする。

【0023】

第一ハイパーパラメータＮＮ学習部２０は、後述する第一ハイパーパラメータ最適化部２６が、スピーチデータに対して下流タスクの処理に適した強調を行うマスク（以下、適応的マスクと記す。）の累乗に対応するハイパーパラメータγ（以下、第一ハイパーパラメータと記す。）を推定するニューラルネットワーク（以下、第一ハイパーパラメータＮＮと記す。）を学習する。なお、ハイパーパラメータγは、非負のスカラ値である。

【0024】

この第一ハイパーパラメータは、下流のタスクを考慮して設定される、マスクを用いてテストに用いられる発話データを表わす信号を維持する度合いを表わすハイパーパラメータであり、値が小さいほど、より多くの信号を維持することを示す。

【0025】

また、第一ハイパーパラメータＮＮは、雑音を含むスピーチデータが入力された際に、最適な第一ハイパーパラメータを算出するように、トレーニングスピーチ（下流タスクラベル含む）、マスク（強調マスク）および下流タスクＮＮのパラメータを含む教師データを用いた機械学習処理が施された学習済みニューラルネットワークである。

【0026】

具体的には、第一ハイパーパラメータＮＮ学習部２０は、スピーチデータの入力を受け付ける入力層と、第一ハイパーパラメータを出力する出力層とを含むニューラルネットワークに対し、ノイズを含むトレーニングスピーチ（下流タスクラベル含む）、マスクおよび下流タスクＮＮのパラメータを含むデータを教師データとして用いて、下流タスクラベルと後述する下流タスク処理部３２（下流タスクＮＮ）の処理結果との誤差を示す損失関数を最小化するようにニューラルネットワークの重み付け係数を学習する。

【0027】

なお、損失関数の内容は、下流タスクの態様に依存する。例えば、下流タスクが話者認識であり、下流タスク処理部３２が処理結果として、推定された話者ＩＤの事後確率を出力するとする。この場合、第一ハイパーパラメータＮＮ学習部２０は、下流タスクラベルが示す実際の話者ＩＤと、推定された話者ＩＤの事後確率と間のクロスエントロピー誤差を最小化するようにニューラルネットワークの重み付け係数を学習してもよい。

【0028】

第一ハイパーパラメータＮＮパラメータ記憶部２２は、第一ハイパーパラメータＮＮ学習部２０によって学習された第一ハイパーパラメータＮＮのパラメータを記憶する。

【0029】

第二スピーチ強調部２４は、テスト発話が入力されると、スピーチ強調ＮＮパラメータ記憶部１４に記憶されたスピーチ強調ＮＮパラメータを用いて、そのテスト発話から強調マスクを決定する。なお、マスクの決定方法は、第一スピーチ強調部１６が行う方法と同様である。なお、第二スピーチ強調部２４も、スピーチ強調ＮＮパラメータ記憶部１４に記憶されたスピーチ強調ＮＮパラメータを取得することから、スピーチ強調ＮＮを有していると言える。

【0030】

第一ハイパーパラメータ最適化部２６は、テスト発話が入力されると、入力されたテスト発話を第一ハイパーパラメータＮＮに適用して、最適化されたハイパーパラメータγ（すなわち、第一ハイパーパラメータ）を算出する。

【0031】

マスク生成部２８は、第二スピーチ強調部２４により決定された強調マスクおよび第一ハイパーパラメータ最適化部２６により最適化された第一ハイパーパラメータγから、下流タスクに適したテスト発話の強調を行うマスク（すなわち、適応的マスク）Ｍ^γを生成する。具体的には、マスク生成部２８は、第一ハイパーパラメータγをマスクの累乗とする適応的マスクを生成する。適応的マスクＭ^γも、実数値の時間周波数行列である。

【0032】

適応的スピーチ強調部３０は、テスト発話に適応的マスクＭ^γを適用して、強調されたスピーチデータ（以下、適応的スピーチデータと記す。）を生成する。なお、音声強調されたスピーチデータＹ´は、テスト発話をＹとすると、以下に例示する式１で表わされる。

【0033】

Ｙ´＝Ｙ＊Ｍ （式１）

【0034】

下流タスク処理部３２は、適応的スピーチ強調部３０によって生成された適応的スピーチデータを下流タスクＮＮに入力して、処理結果を出力する。なお、下流タスクＮＮの態様は、処理内容に応じて定められる。例えば、下流タスクの内容が、話者認識である場合、下流タスク処理部３２は、処理結果として、上述するように話者ＩＤの事後確率を出力してもよい。

【0035】

なお、第一ハイパーパラメータＮＮ学習部２０は、出力された処理結果に基づき、損失関数を用いて誤差を算出し、算出した誤差を第一ハイパーパラメータＮＮに伝播させる。

【0036】

トレーニングスピーチ入力部１２と、第一スピーチ強調部１６と、第一ハイパーパラメータＮＮ学習部２０と、第二スピーチ強調部２４と、第一ハイパーパラメータ最適化部２６と、マスク生成部２８と、適応的スピーチ強調部３０と、下流タスク処理部３２とは、プログラム（ハイパーパラメータ最適化プログラム）に従って動作するコンピュータのＣＰＵによって実現される。例えば、プログラムは、パラメータ最適化システムが備える記憶媒体（図示せず）に記憶され、ＣＰＵは、そのプログラムを読み込み、プログラムに従って、トレーニングスピーチ入力部１２、第一スピーチ強調部１６、第一ハイパーパラメータＮＮ学習部２０、第二スピーチ強調部２４、第一ハイパーパラメータ最適化部２６、マスク生成部２８、適応的スピーチ強調部３０および下流タスク処理部３２として動作してもよい。また、ハイパーパラメータ最適化システム１００の機能がＳａａＳ（Software as a Service ）形式で提供されてもよい。

【0037】

また、トレーニングスピーチ入力部１２と、第一スピーチ強調部１６と、第一ハイパーパラメータＮＮ学習部２０と、第二スピーチ強調部２４と、第一ハイパーパラメータ最適化部２６と、マスク生成部２８と、適応的スピーチ強調部３０と、下流タスク処理部３２とは、それぞれが専用のハードウェアで実現されていてもよい。また、各装置の各構成要素の一部又は全部は、汎用または専用の回路（circuitry ）、プロセッサ等やこれらの組合せによって実現されもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組合せによって実現されてもよい。

【0038】

また、各装置の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。

【0039】

また、スピーチ強調ＮＮパラメータ記憶部１４と、下流タスクＮＮパラメータ記憶部１８と、第一ハイパーパラメータＮＮパラメータ記憶部２２とは、例えば、磁気ディスク等により実現される。

【0040】

次に、本実施形態のハイパーパラメータ最適化システムの動作を説明する。図２は、第一の実施形態のハイパーパラメータ最適化システム１００の動作例を示すフローチャートである。

【0041】

第二スピーチ強調部２４は、テスト発話をスピーチ強調ＮＮに入力して強調マスクを決定する（ステップＳ１１）。また、第一ハイパーパラメータ最適化部２６は、テスト発話を第一ハイパーパラメータＮＮに入力して、第一ハイパーパラメータγを出力する（ステップＳ１２）。そして、マスク生成部２８は、決定された強調マスクおよび第一ハイパーパラメータから、適応的マスクＭ^γを生成する（ステップＳ１３）。

【0042】

以降、適応的スピーチ強調部３０が適応的マスクＭ^γを用いてテスト発話から適応的スピーチデータを生成し、下流タスク処理部３２が、生成された適応的スピーチデータを下流タスクＮＮに入力して、処理結果を出力する。

【0043】

なお、本実施形態では、第一ハイパーパラメータＮＮ学習部２０が、トレーニングスピーチ、強調マスクおよび下流タスクのニューラルネットワークのパラメータを含むデータを教師データとして用いた機械学習処理により、第一ハイパーパラメータＮＮを学習する。

【0044】

以上のように、本実施形態では、第二スピーチ強調部２４が、テスト発話が入力されると、音声強調を行うマスクに基づいて生成される強調マスクをそのテスト発話から決定し、第一ハイパーパラメータ最適化部２６が、テスト発話が入力されると、第一ハイパーパラメータγを決定する。そして、マスク生成部２８が、第一ハイパーパラメータをマスクの累乗とする適応的マスクＭ^γを生成する。よって、下流のタスクの性質に応じて音声強調を行うマスクの最適なハイパーパラメータを決定できる。

【0045】

すなわち、本実施形態では、第一ハイパーパラメータＮＮ学習部２０で学習された第一ハイパーパラメータＮＮから、下流タスクに適したテスト発話の強調を行う適応的マスクを生成する。その結果、音声の明瞭化と下流タスクの音声に対する処理精度とのトレードオフを考慮して、音声を強調することが可能になる。

【0046】

実施形態２．
次に、本開示のハイパーパラメータ最適化システムの第二の実施形態を説明する。第一の実施形態では、下流タスクＮＮのパラメータが予め学習され、下流タスクＮＮパラメータ記憶部１８に記憶されている構成を例示した。第二の実施形態では、第一ハイパーパラメータＮＮおよび下流タスクＮＮの学習を併せて行う構成例を説明する。

【0047】

図３は、本開示によるハイパーパラメータ最適化システムの第二の実施形態の構成例を示すブロック図である。第二の実施形態のハイパーパラメータ最適化システム２００は、トレーニングスピーチ入力部１２と、スピーチ強調ＮＮパラメータ記憶部１４と、第一スピーチ強調部１６と、下流タスクラベル記憶部３４と、第一ハイパーパラメータＮＮ＆下流タスクＮＮ学習部３６と、下流タスクＮＮパラメータ記憶部１８と、第一ハイパーパラメータＮＮパラメータ記憶部２２と、第二スピーチ強調部２４と、第一ハイパーパラメータ最適化部２６と、マスク生成部２８と、適応的スピーチ強調部３０と、下流タスク処理部３２とを備えている。

【0048】

すなわち、本実施形態のハイパーパラメータ最適化システム２００は、第一の実施形態のハイパーパラメータ最適化システム１００と比較し、下流タスクラベル記憶部３４をさらに備え、第一ハイパーパラメータＮＮ学習部２０の代わりに第一ハイパーパラメータＮＮ＆下流タスクＮＮ学習部３６を備えている点において異なる。それ以外の構成は、第一の実施形態と同様である。

【0049】

下流タスクラベル記憶部３４は、後述する第一ハイパーパラメータＮＮ＆下流タスクＮＮ学習部３６が下流タスクＮＮの学習に用いるタスクトレーニングデータを記憶する。タスクトレーニングデータは、スピーチデータと下流タスクの正解ラベル（すなわち、下流タスクラベル）とを対応付けたデータであり、下流タスクの内容に応じて定められる。例えば、下流タスクが話者認識の場合、下流タスクラベル記憶部３４は、タスクトレーニングデータとして、雑音のないスピーチ（以下、クリーンスピーチと記す。）と話者ＩＤとを対応付けたデータを記憶していてもよい。また、例えば、下流タスクが音声認識の場合、下流タスクラベル記憶部３４は、タスクトレーニングデータとして、雑音のないスピーチとテキストの内容とを対応付けたデータを記憶していてもよい。

【0050】

第一ハイパーパラメータＮＮ＆下流タスクＮＮ学習部３６は、第一ハイパーパラメータＮＮおよび下流タスクＮＮを学習する。具体的には、第一ハイパーパラメータＮＮ＆下流タスクＮＮ学習部３６は、スピーチデータの入力を受け付ける入力層と第一ハイパーパラメータを出力する出力層とを含む第一ハイパーパラメータＮＮ、および、スピーチデータの入力を受け付ける入力層と下流タスクによる処理結果を出力する出力層とを含む下流タスクＮＮに対し、トレーニングスピーチ、マスク、および、タスクトレーニングデータを教師データとして用いて、下流タスクラベルと下流タスク処理部３２の処理結果との誤差を示す損失関数を最小化するように、第一ハイパーパラメータＮＮ、および、下流タスクＮＮの重み付け係数を学習する。

【0051】

トレーニングスピーチ入力部１２と、第一スピーチ強調部１６と、第一ハイパーパラメータＮＮ＆下流タスクＮＮ学習部３６と、第二スピーチ強調部２４と、第一ハイパーパラメータ最適化部２６と、マスク生成部２８と、適応的スピーチ強調部３０と、下流タスク処理部３２とは、プログラム（ハイパーパラメータ最適化プログラム）に従って動作するコンピュータのＣＰＵによって実現される。

【0052】

次に、本実施形態のハイパーパラメータ最適化システムの動作を説明する。図４は、第二の実施形態のハイパーパラメータ最適化システム２００の動作例を示すフローチャートである。

【0053】

第一ハイパーパラメータＮＮ＆下流タスクＮＮ学習部３６は、トレーニングスピーチ、マスク、および、タスクトレーニングデータを教師データとして用いた機械学習処理により、第一ハイパーパラメータＮＮおよび下流タスクＮＮを学習する（ステップＳ２１）。以降、学習された第一ハイパーパラメータＮＮおよび下流タスクＮＮを用いて、図２におけるステップＳ１１からステップＳ１３の処理が行われる。

【0054】

以上のように、本実施形態では、第一ハイパーパラメータＮＮ＆下流タスクＮＮ学習部３６が、第一ハイパーパラメータＮＮおよび下流タスクＮＮを学習する。よって、第一の実施形態の効果に加え、下流タスクＮＮも同時に最適化できる。

【0055】

実施形態３．
次に、本開示のハイパーパラメータ最適化システムの第三の実施形態を説明する。第一の実施形態および第二の実施形態では、スピーチ強調ＮＮのパラメータが予め学習され、スピーチ強調ＮＮパラメータ記憶部１４に記憶されている構成を例示した。第三の実施形態では、第一ハイパーパラメータＮＮおよびスピーチ強調ＮＮの学習を併せて行う構成例を説明する。

【0056】

図５は、本開示によるハイパーパラメータ最適化システムの第三の実施形態の構成例を示すブロック図である。第三の実施形態のハイパーパラメータ最適化システム３００は、ノイズ記憶部４２と、クリーンスピーチ記憶部４４と、結合部４６と、ノイズスピーチ記憶部４８と、第二ハイパーパラメータ最適化部５０と、ターゲット計算部５２と、ターゲット記憶部５４と、第一ハイパーパラメータＮＮ＆スピーチ強調ＮＮ学習部５６とを備えている。

【0057】

さらに、第三の実施形態のハイパーパラメータ最適化システム３００は、第二の実施形態のハイパーパラメータ最適化システム２００と同様の構成として、スピーチ強調ＮＮパラメータ記憶部１４と、下流タスクラベル記憶部３４と、下流タスクＮＮパラメータ記憶部１８と、第一ハイパーパラメータＮＮパラメータ記憶部２２と、第二スピーチ強調部２４と、第一ハイパーパラメータ最適化部２６と、マスク生成部２８と、適応的スピーチ強調部３０と、下流タスク処理部３２とを備えている。

【0058】

ノイズ記憶部４２は、テスト発話に対して想定される一種類以上のノイズ信号を記憶する。また、クリーンスピーチ記憶部４４は、テスト発話と同様の条件（同様のドメイン）等で取得され得る、ノイズを含まないスピーチ（クリーンスピーチ）を記憶する。ノイズ信号およびクリーンスピーチは、ユーザ等により予め準備され、ノイズ記憶部４２およびクリーンスピーチ記憶部４４にそれぞれ記憶される。

【0059】

結合部４６は、ノイズ信号とクリーンスピーチとを組み合わせて、ノイズを含むスピーチ（以下、ノイズスピーチと記すこともある。）を生成する。生成されるノイズスピーチは、例えば、以下の式で表わされる。なお、ここでのｘは、生成されたノイズスピーチのＳＮＲ（音声ノイズ比：speech-noise ratio）を決定するために使用される。また、ノイズスピーチの生成方法は広く知られているため、ここでは詳細な説明は省略する。

【0060】

ノイズスピーチ＝（ノイズ信号＊ｘ＋クリーンスピーチ）

【0061】

結合部４６は、生成したノイズスピーチをノイズスピーチ記憶部４８に記憶させる。

【0062】

ノイズスピーチ記憶部４８は、ノイズスピーチを記憶する。ノイズスピーチ記憶部４８は、結合部４６によって生成されたノイズスピーチを記憶していてもよく、マルチＳＮＲ学習データを記憶していてもよい。

【0063】

第二ハイパーパラメータ最適化部５０は、スピーチ強調ＮＮがスピーチを維持する度合い（言い換えると、ノイズを除去する度合い）を示すハイパーパラメータαを決定する。以下の説明では、このハイパーパラメータαを、第二ハイパーパラメータと記す。

【0064】

より具体的には、第二ハイパーパラメータαは、マスクを用いた音声強調において、スピーチ強調ＮＮがスピーチを維持するためにどれだけの重みを置くか、およびノイズ除去にどれだけの重みを置くかをトレーニングにおいて制御するハイパーパラメータである。なお、第二ハイパーパラメータαは、正のスカラ値である。

【0065】

本実施形態では、第二ハイパーパラメータは、ユーザ等により手動で調整された予め定められるハイパーパラメータであり、第二ハイパーパラメータ最適化部５０は、このハイパーパラメータを第二ハイパーパラメータαとして用いると決定する。なお、第二ハイパーパラメータは、例えば、最急降下法に基づいて最適化された値であってもよい。

【0066】

ターゲット計算部５２は、音声強調に用いるとして予め定めたマスクおよび第二ハイパーパラメータαから、マスクの第二ハイパーパラメータαの累乗Ｍ^αを計算する。Ｍ^αは、マスクに基づいて算出される音声強調度合いを示す行列ということができ、このＭ^αのことを、“ターゲット”と記すこともある。Ｍ^αは、マスクＭおよびＭ^γと同様に、実数値の時間周波数行列である。

【0067】

ターゲット記憶部５４は、ターゲット計算部５２が計算したターゲットＭ^αを記憶する。

【0068】

第一ハイパーパラメータＮＮ＆スピーチ強調ＮＮ学習部５６は、第一ハイパーパラメータＮＮおよびスピーチ強調ＮＮを学習する。具体的には、第一ハイパーパラメータＮＮ＆スピーチ強調ＮＮ学習部５６は、ノイズスピーチ、ターゲット、タスクトレーニングデータおよび下流タスクＮＮのパラメータを含むデータを教師データとして用いて、（スピーチデータの入力を受け付ける入力層と第一ハイパーパラメータを出力する出力層とを含む）第一ハイパーパラメータＮＮに対し、下流タスクラベルと下流タスクの処理結果との誤差を示す第一損失と、（スピーチデータの入力を受け付ける入力層とターゲットを出力する出力層とを含む）スピーチ強調ＮＮに対し、教師データに含まれるターゲットと、スピーチ強調ＮＮにより出力されるターゲットとの誤差を示す第二損失との重み付き和を最小化するように、第一ハイパーパラメータＮＮの重み付け係数、および、スピーチ強調ＮＮの重み付け係数を学習する。

【0069】

結合部４６と、第二ハイパーパラメータ最適化部５０と、ターゲット計算部５２と、第一ハイパーパラメータＮＮ＆スピーチ強調ＮＮ学習部５６と、第二スピーチ強調部２４と、第一ハイパーパラメータ最適化部２６と、マスク生成部２８と、適応的スピーチ強調部３０と、下流タスク処理部３２とは、プログラム（ハイパーパラメータ最適化プログラム）に従って動作するコンピュータのＣＰＵによって実現される。

【0070】

次に、本実施形態のハイパーパラメータ最適化システムの動作を説明する。図６は、第三の実施形態のハイパーパラメータ最適化システム３００の動作例を示すフローチャートである。

【0071】

第一ハイパーパラメータＮＮ＆スピーチ強調ＮＮ学習部５６は、結合部４６によって生成されたノイズスピーチ、ターゲット計算部５２により計算されたターゲット、および、タスクトレーニングデータ、並びに、下流タスクＮＮのパラメータを教師データとして用いた機械学習処理により、第一ハイパーパラメータＮＮおよびスピーチ強調ＮＮを学習する（ステップＳ３１）。以降、学習された第一ハイパーパラメータＮＮおよびスピーチ強調ＮＮを用いて、図２におけるステップＳ１１からステップＳ１３の処理が行われる。

【0072】

以上のように、本実施形態では、第一ハイパーパラメータＮＮ＆スピーチ強調ＮＮ学習部５６が、第一ハイパーパラメータＮＮおよびスピーチ強調ＮＮを学習する。よって、第一の実施形態の効果に加え、スピーチ強調ＮＮも同時に最適化できる。

【0073】

実施形態４．
次に、本開示のハイパーパラメータ最適化システムの第四の実施形態を説明する。第四の実施形態では、第一ハイパーパラメータＮＮ、スピーチ強調ＮＮ、および、下流タスクＮＮの学習を併せて行う構成例を説明する。

【0074】

図７は、本開示によるハイパーパラメータ最適化システムの第四の実施形態の構成例を示すブロック図である。本実施形態のハイパーパラメータ最適化システム４００は、第三の実施形態のハイパーパラメータ最適化システム３００の構成と比較し、第一ハイパーパラメータＮＮ＆スピーチ強調ＮＮ学習部５６の代わりに、第一ハイパーパラメータＮＮ＆下流タスクＮＮ＆スピーチ強調ＮＮ学習部６２を備えている。それ以外の構成は、第三の実施形態と同様である。

【0075】

第一ハイパーパラメータＮＮ＆下流タスクＮＮ＆スピーチ強調ＮＮ学習部６２は、第一ハイパーパラメータＮＮ、下流タスクＮＮおよびスピーチ強調ＮＮを学習する。具体的には、第一ハイパーパラメータＮＮ＆下流タスクＮＮ＆スピーチ強調ＮＮ学習部６２は、ノイズスピーチ、ターゲット、および、タスクトレーニングデータを教師データとして用いて、（スピーチデータの入力を受け付ける入力層と第一ハイパーパラメータを出力する出力層とを含む）第一ハイパーパラメータＮＮ、および、（スピーチデータの入力を受け付ける入力層と下流タスクによる処理結果を出力する出力層とを含む）下流タスクＮＮに対し、下流タスクラベルと下流タスクの処理結果との誤差を示す第一損失と、（スピーチデータの入力を受け付ける入力層とターゲットを出力する出力層とを含む）スピーチ強調ＮＮに対し、教師データに含まれるターゲットとスピーチ強調ＮＮにより出力されるターゲットとの誤差を示す第二損失との重み付き和を最小化するように、第一ハイパーパラメータＮＮ、下流タスクＮＮ、および、スピーチ強調ＮＮの重み付け係数を学習する。

【0076】

結合部４６と、第二ハイパーパラメータ最適化部５０と、ターゲット計算部５２と、第一ハイパーパラメータＮＮ＆下流タスクＮＮ＆スピーチ強調ＮＮ学習部６２と、第二スピーチ強調部２４と、第一ハイパーパラメータ最適化部２６と、マスク生成部２８と、適応的スピーチ強調部３０と、下流タスク処理部３２とは、プログラム（ハイパーパラメータ最適化プログラム）に従って動作するコンピュータのＣＰＵによって実現される。

【0077】

次に、本実施形態のハイパーパラメータ最適化システムの動作を説明する。図８は、第四の実施形態のハイパーパラメータ最適化システム４００の動作例を示すフローチャートである。

【0078】

第一ハイパーパラメータＮＮ＆下流タスクＮＮ＆スピーチ強調ＮＮ学習部６２は、ノイズスピーチ、ターゲット、および、タスクトレーニングデータを教師データとして用いた機械学習処理により、第一ハイパーパラメータＮＮ、下流タスクＮＮ、および、スピーチ強調ＮＮを学習する（ステップＳ４１）。以降、学習された第一ハイパーパラメータＮＮ、下流タスクＮＮ、および、スピーチ強調ＮＮを用いて、図２におけるステップＳ１１からステップＳ１３の処理が行われる。

【0079】

以上のように、本実施形態では、第一ハイパーパラメータＮＮ＆下流タスクＮＮ＆スピーチ強調ＮＮ学習部６２が、第一ハイパーパラメータＮＮ、下流タスクＮＮ、および、スピーチ強調ＮＮを学習する。よって、第一の実施形態の効果に加え、スピーチ強調ＮＮおよび下流タスクＮＮも同時に最適化できる。

【0080】

次に、本開示の概要を説明する。図９は、本開示によるハイパーパラメータ最適化システムの概要を示すブロック図である。本発明によるハイパーパラメータ最適化システム８０（例えば、ハイパーパラメータ最適化システム１００～４００）は、スピーチデータとしてのテスト発話が入力されると、音声強調を行うマスク（例えば、Ｍ）に基づいて生成される強調マスクをそのテスト発話から決定するスピーチ強調手段８１（例えば、第二スピーチ強調部２４）と、テスト発話が入力されると、強調されたテスト発話を用いて処理が行われる下流タスクを考慮して設定される、マスクを用いてテスト発話を表わす信号を維持する度合いを表わすハイパーパラメータである第一ハイパーパラメータ（例えば、γ）を決定する第一ハイパーパラメータ最適化手段８２（例えば、第一ハイパーパラメータ最適化部２６）と、決定された強調マスクおよび第一ハイパーパラメータから、下流タスクに適したテスト発話の強調を行う適応的マスク（例えば、Ｍ^γ）を生成するマスク生成手段８３（例えば、マスク生成部２８）とを備えている。

【0081】

そして、マスク生成手段８３は、第一ハイパーパラメータを前記マスクの累乗とする適応的マスクを生成する。

【0082】

そのような構成により、下流のタスクの性質に応じて音声強調を行うマスクの最適なハイパーパラメータを決定できる。

【0083】

また、第一ハイパーパラメータ最適化手段は、雑音を含むスピーチデータが入力された際に、第一ハイパーパラメータを出力するように、下流タスクの処理結果を示す下流タスクラベル、ノイズを含むトレーニングスピーチ、強調マスクおよび下流タスクのニューラルネットワークのパラメータを含む教師データを用いた機械学習処理が施された学習済みの第一ハイパーパラメータニューラルネットワークを有していてもよい。

【0084】

また、スピーチ強調手段８１は、雑音を含むスピーチデータが入力された際に、当該スピーチデータから強調マスクを出力するように、機械学習処理が施された学習済みニューラルネットワークであるスピーチ強調ニューラルネットワークを有していてもよい。

【0085】

また、ハイパーパラメータ最適化システム８０は、トレーニングスピーチ、強調マスクおよび下流タスクのニューラルネットワークのパラメータを含むデータを教師データとして用いた機械学習処理により、スピーチデータを受け付ける入力層と、第一ハイパーパラメータを出力する出力層とを含む第一ハイパーパラメータニューラルネットワークを学習する第一ハイパーパラメータニューラルネットワーク学習手段（例えば、第一ハイパーパラメータＮＮ学習部２０）を備えていてもよい。

【0086】

また、ハイパーパラメータ最適化システム８０は、トレーニングスピーチ、強調マスク、および、スピーチデータと下流タスクの正解ラベルとを対応付けたタスクトレーニングデータを教師データとして用いた機械学習処理により、スピーチデータを受け付ける入力層と第一ハイパーパラメータを出力する出力層とを含む第一ハイパーパラメータニューラルネットワーク、および、スピーチデータを受け付ける入力層と下流タスクによる処理結果を出力する出力層とを含む下流タスクニューラルネットワークを学習する第一ハイパーパラメータニューラルネットワーク＆下流タスクニューラルネットワーク学習手段（例えば、第一ハイパーパラメータＮＮ＆下流タスクＮＮ学習部３６）を備えていてもよい。

【0087】

また、ハイパーパラメータ最適化システム８０は、ノイズを含むスピーチデータ、マスクに基づいて算出される音声強調度合いを示すターゲット、スピーチデータと下流タスクの正解ラベルとを対応付けたタスクトレーニングデータおよび下流タスクのニューラルネットワークのパラメータを含むデータを教師データとして用いた機械学習処理により、スピーチデータを受け付ける入力層と第一ハイパーパラメータを出力する出力層とを含む第一ハイパーパラメータニューラルネットワーク、および、スピーチデータを受け付ける入力層と前記ターゲットを出力する出力層とを含むスピーチ強調ニューラルネットワークを学習する第一ハイパーパラメータＮＮ＆スピーチ強調ニューラルネットワーク学習手段（例えば、第一ハイパーパラメータＮＮ＆スピーチ強調ＮＮ学習部５６）を備えていてもよい。

【0088】

また、ハイパーパラメータ最適化システム８０は、ノイズを含むスピーチデータ、マスクに基づいて算出される音声強調度合いを示すターゲット、および、スピーチデータと下流タスクの正解ラベルとを対応付けたタスクトレーニングデータを教師データとして用いた機械学習処理により、スピーチデータを受け付ける入力層と第一ハイパーパラメータを出力する出力層とを含む第一ハイパーパラメータニューラルネットワーク、スピーチデータを受け付ける入力層と下流タスクによる処理結果を出力する出力層とを含む下流タスクニューラルネットワーク、および、スピーチデータを受け付ける入力層と前記ターゲットを出力する出力層とを含むスピーチ強調ニューラルネットワークを学習する３種ニューラルネットワーク学習手段（例えば、第一ハイパーパラメータＮＮ＆下流タスクＮＮ＆スピーチ強調ＮＮ学習部６２）を備えていてもよい。

【0089】

また、ハイパーパラメータ最適化システム８０は、音声強化ニューラルネットワークの訓練に使用される第二のハイパーパラメータを最適化する第二ハイパーパラメータ最適化手段（例えば、第二ハイパーパラメータ最適化部５０）と、第二ハイパーパラメータ最適化手段から第二ハイパーパラメータを受け取り、その第二ハイパーパラメータの累乗のマスク（例えば、Ｍ^α）をターゲットとして算出するターゲット計算手段（例えば、ターゲット計算部５２）とを備えていてもよい。

【0090】

また、第２のハイパーパラメータは、勾配法の少なくとも１つに基づいて最適化されてもよい。

【0091】

また、マスクは、理想比マスク、複素理想比マスク、スペクトルマグニチュードマスク、および位相感応マスクのうちの少なくとも１つの形態をとる実数または複素数の連続値からなる行列であってもよい。

【0092】

また、ハイパーパラメータ最適化システム８０は、テスト発話に適応的マスクを適用して、強調されたスピーチデータである適応的スピーチデータを生成する適応的スピーチ強調手段（例えば、適応的スピーチ強調部３０）と、適応的スピーチデータを入力して処理結果を出力する下流タスク処理手段（例えば、下流タスク処理部３２）とを備えていてもよい。

【0093】

図１０は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。コンピュータ１０００は、ＣＰＵ１００１、主記憶装置１００２、補助記憶装置１００３、インタフェース１００４を備える。

【0094】

上述のハイパーパラメータ最適化システムは、コンピュータ１０００に実装される。そして、上述した各処理部の動作は、プログラム（ハイパーパラメータ最適化プログラム）の形式で補助記憶装置１００３に記憶されている。ＣＰＵ１００１は、プログラムを補助記憶装置１００３から読み出して主記憶装置１００２に展開し、当該プログラムに従って上記処理を実行する。

【0095】

なお、少なくとも１つの実施形態において、補助記憶装置１００３は、一時的でない有形の媒体の一例である。一時的でない有形の媒体の他の例としては、インタフェース１００４を介して接続される磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ（Compact Disc Read-only memory ）、ＤＶＤ－ＲＯＭ（Read-only memory）、半導体メモリ等が挙げられる。また、このプログラムが通信回線によってコンピュータ１０００に配信される場合、配信を受けたコンピュータ１０００が当該プログラムを主記憶装置１００２に展開し、上記処理を実行してもよい。

【0096】

また、当該プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、当該プログラムは、前述した機能を補助記憶装置１００３に既に記憶されている他のプログラムとの組み合わせで実現するもの、いわゆる差分ファイル（差分プログラム）であってもよい。

【0097】

例示的な実施形態を参照して本開示が説明されたが、本開示は上記実施形態に限定されるものではない。特許請求の範囲によって定義される本開示の精神および範囲から逸脱することなく、構成および詳細における様々な変更がなされ得ることは、当業者によって理解され得る。

【0098】

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

【0099】

（付記１）スピーチデータとしてのテスト発話が入力されると、音声強調を行うマスクに基づいて生成される強調マスクを当該テスト発話から決定するスピーチ強調手段と、
前記テスト発話が入力されると、強調された当該テスト発話を用いて処理が行われる下流タスクを考慮して設定される、前記マスクを用いて前記テスト発話を表わす信号を維持する度合いを表わすハイパーパラメータである第一ハイパーパラメータを決定する第一ハイパーパラメータ最適化手段と、
決定された前記強調マスクおよび前記第一ハイパーパラメータから、前記下流タスクに適した前記テスト発話の強調を行う適応的マスクを生成するマスク生成手段とを備え、
前記マスク生成手段は、第一ハイパーパラメータを前記マスクの累乗とする適応的マスクを生成する
ことを特徴とするハイパーパラメータ最適化システム。

【0100】

（付記２）第一ハイパーパラメータ最適化手段は、雑音を含むスピーチデータが入力された際に、第一ハイパーパラメータを出力するように、下流タスクの処理結果を示す下流タスクラベル、ノイズを含むトレーニングスピーチ、前記強調マスクおよび下流タスクのニューラルネットワークのパラメータを含む教師データを用いた機械学習処理が施された学習済みの第一ハイパーパラメータニューラルネットワークを有する
付記１記載のハイパーパラメータ最適化システム。

【0101】

（付記３）スピーチ強調手段は、雑音を含むスピーチデータが入力された際に、当該スピーチデータから強調マスクを出力するように機械学習処理が施された学習済みのスピーチ強調ニューラルネットワークを有する
付記１または付記２記載のハイパーパラメータ最適化システム。

【0102】

（付記４）トレーニングスピーチ、強調マスクおよび下流タスクのニューラルネットワークのパラメータを含むデータを教師データとして用いた機械学習処理により、スピーチデータを受け付ける入力層と、第一ハイパーパラメータを出力する出力層とを含む第一ハイパーパラメータニューラルネットワークを学習する第一ハイパーパラメータニューラルネットワーク学習手段を備えた
付記１から付記３のうちのいずれか１つに記載のハイパーパラメータ最適化システム。

【0103】

（付記５）トレーニングスピーチ、強調マスク、および、スピーチデータと下流タスクの正解ラベルとを対応付けたタスクトレーニングデータを教師データとして用いた機械学習処理により、スピーチデータを受け付ける入力層と第一ハイパーパラメータを出力する出力層とを含む第一ハイパーパラメータニューラルネットワーク、および、スピーチデータを受け付ける入力層と下流タスクによる処理結果を出力する出力層とを含む下流タスクニューラルネットワークを学習する第一ハイパーパラメータニューラルネットワーク＆下流タスクニューラルネットワーク学習手段を備えた
付記１から付記３のうちのいずれか１つに記載のハイパーパラメータ最適化システム。

【0104】

（付記６）ノイズを含むスピーチデータ、マスクに基づいて算出される音声強調度合いを示すターゲット、スピーチデータと下流タスクの正解ラベルとを対応付けたタスクトレーニングデータおよび下流タスクのニューラルネットワークのパラメータを含むデータを教師データとして用いた機械学習処理により、スピーチデータを受け付ける入力層と第一ハイパーパラメータを出力する出力層とを含む第一ハイパーパラメータニューラルネットワーク、および、スピーチデータを受け付ける入力層と前記ターゲットを出力する出力層とを含むスピーチ強調ニューラルネットワークを学習する第一ハイパーパラメータニューラルネットワーク＆スピーチ強調ニューラルネットワーク学習手段を備えた
付記１から付記３のうちのいずれか１つに記載のハイパーパラメータ最適化システム。

【0105】

（付記７）ノイズを含むスピーチデータ、マスクに基づいて算出される音声強調度合いを示すターゲット、および、スピーチデータと下流タスクの正解ラベルとを対応付けたタスクトレーニングデータを教師データとして用いた機械学習処理により、スピーチデータを受け付ける入力層と第一ハイパーパラメータを出力する出力層とを含む第一ハイパーパラメータニューラルネットワーク、スピーチデータを受け付ける入力層と前記ターゲットを出力する出力層とを含むスピーチ強調ニューラルネットワーク、および、スピーチデータを受け付ける入力層と下流タスクによる処理結果を出力する出力層とを含む下流タスクニューラルネットワークを学習する３種ニューラルネットワーク学習手段を備えた
付記１から付記３のうちのいずれか１つに記載のハイパーパラメータ最適化システム。

【0106】

（付記８）音声強化ニューラルネットワークの訓練に使用される第２のハイパーパラメータを最適化する第二ハイパーパラメータ最適化手段と、
第二ハイパーパラメータ最適化手段から第２ハイパーパラメータを受け取り、第２ハイパーパラメータの累乗のマスクをターゲットとして算出するターゲット計算手段とを備えた
付記６または付記７記載のハイパーパラメータ最適化システム。

【0107】

（付記９）第２のハイパーパラメータは、勾配法の少なくとも１つに基づいて最適化される
付記８記載のハイパーパラメータ最適化システム。

【0108】

（付記１０）マスクは、理想比マスク、複素理想比マスク、スペクトルマグニチュードマスク、および位相感応マスクのうちの少なくとも１つの形態をとる実数または複素数の連続値からなる行列である
付記１から付記９のうちのいずれか１つに記載のハイパーパラメータ最適化システム。

【0109】

（付記１１）テスト発話に適応的マスクを適用して、強調されたスピーチデータである適応的スピーチデータを生成する適応的スピーチ強調手段と、
前記適応的スピーチデータを入力して処理結果を出力する下流タスク処理手段とを備えた
付記１から付記１０のうちのいずれか１つに記載のハイパーパラメータ最適化システム。

【0110】

（付記１２）スピーチデータとしてのテスト発話が入力されると、音声強調を行うマスクに基づいて生成される強調マスクを当該テスト発話から決定し、
前記テスト発話が入力されると、強調された当該テスト発話を用いて処理が行われる下流タスクを考慮して設定される、前記マスクを用いて前記テスト発話を表わす信号を維持する度合いを表わすハイパーパラメータである第一ハイパーパラメータを決定し、
決定された前記強調マスクおよび前記第一ハイパーパラメータから、前記下流タスクに適した前記テスト発話の強調を行う適応的マスクを生成し、
前記適応的マスクを生成する際、第一ハイパーパラメータを前記マスクの累乗とする適応的マスクが生成される
ことを特徴とするハイパーパラメータ最適化方法。

【0111】

（付記１３）スピーチデータとしてのテスト発話が入力されると、音声強調を行うマスクに基づいて生成される強調マスクを当該テスト発話から決定し、
前記テスト発話が入力されると、強調された当該テスト発話を用いて処理が行われる下流タスクを考慮して設定される、前記マスクを用いて前記テスト発話を表わす信号を維持する度合いを表わすハイパーパラメータである第一ハイパーパラメータを決定し、
決定された前記強調マスクおよび前記第一ハイパーパラメータから、前記下流タスクに適した前記テスト発話の強調を行う適応的マスクを生成し、
第一ハイパーパラメータを前記マスクの累乗とする適応的マスクが生成される
処理をプロセッサに実行させるハイパーパラメータ最適化プログラムを記憶した非一時的でコンピュータ読み取り可能な情報記録媒体。

【0112】

（付記１４）コンピュータに、
スピーチデータとしてのテスト発話が入力されると、音声強調を行うマスクに基づいて生成される強調マスクを当該テスト発話から決定するスピーチ強調処理、
前記テスト発話が入力されると、強調された当該テスト発話を用いて処理が行われる下流タスクを考慮して設定される、前記マスクを用いて前記テスト発話を表わす信号を維持する度合いを表わすハイパーパラメータである第一ハイパーパラメータを決定する第一ハイパーパラメータ最適化処理、および、
決定された前記強調マスクおよび前記第一ハイパーパラメータから、前記下流タスクに適した前記テスト発話の強調を行う適応的マスクを生成するマスク生成処理を実行させ、
前記マスク生成処理で、第一ハイパーパラメータを前記マスクの累乗とする適応的マスクを生成させる
ためハイパーパラメータ最適化プログラム。

【符号の説明】

【0113】

１２ トレーニングスピーチ入力部
１４ スピーチ強調ニューラルネットワークパラメータ記憶部
１６ 第一スピーチ強調部
１８ 下流タスクニューラルネットワークパラメータ記憶部
２０ 第一ハイパーパラメータニューラルネットワーク学習部
２２ 第一ハイパーパラメータＮＮ記憶部
２４ 第二スピーチ強調部
２６ 第一ハイパーパラメータ最適化部
２８ マスク生成部
３０ 適応的スピーチ強調部
３２ 下流タスク処理部
３４ 下流タスクラベル記憶部
３６ 第一ハイパーパラメータＮＮ＆下流タスクＮＮ学習部
４２ ノイズ記憶部
４４ クリーンスピーチ記憶部
４６ 結合部
４８ ノイズスピーチ記憶部
５０ 第二ハイパーパラメータ最適化部
５２ ターゲット計算部
５４ ターゲット記憶部
５６ 第一ハイパーパラメータＮＮ＆スピーチ強調ＮＮ学習部
６２ スピーチ強調ＮＮ＆第一ハイパーパラメータＮＮ＆下流タスクＮＮ学習部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】