特表 2024-511198 シーケンスにわたって対照損失を用いる教師ありトレーニングおよび教師なしトレーニング

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-03-12

(54)【発明の名称】シーケンスにわたって対照損失を用いる教師ありトレーニングおよび教師なしトレーニング

(51)【国際特許分類】

   G10L 15/06 20130101AFI20240305BHJP

   G10L 15/16 20060101ALI20240305BHJP

   G10L 13/00 20060101ALI20240305BHJP

【ＦＩ】

G10L15/06 300Y

G10L15/16

G10L13/00 100Z

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023558999

(86)(22)【出願日】2022-03-22

(85)【翻訳文提出日】2023-10-31

(86)【国際出願番号】 US2022021368

(87)【国際公開番号】W WO2022204165

(87)【国際公開日】2022-09-29

(31)【優先権主張番号】63/166,908

(32)【優先日】2021-03-26

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】502208397

【氏名又は名称】グーグル エルエルシー

【氏名又は名称原語表記】Ｇｏｏｇｌｅ ＬＬＣ

【住所又は居所原語表記】１６００ Ａｍｐｈｉｔｈｅａｔｒｅ Ｐａｒｋｗａｙ ９４０４３ Ｍｏｕｎｔａｉｎ Ｖｉｅｗ， ＣＡ Ｕ．Ｓ．Ａ．

(74)【代理人】

【識別番号】100142907

【弁理士】

【氏名又は名称】本田 淳

(72)【発明者】

【氏名】ローゼンバーグ、アンドリュー

(72)【発明者】

【氏名】ラマバドラン、ブバナ

(72)【発明者】

【氏名】チェン、ジェフアイ

(72)【発明者】

【氏名】ワン、ユアン

(72)【発明者】

【氏名】チャン、ユー

(72)【発明者】

【氏名】エモンド、ジェシー

(57)【要約】

方法（５００）は、発話（３０４）に対応する音声データ（３０２）を受信する工程と、正の音声データ例（３１２）のペアを生成する工程とを含む。ここで、各正の音声データ例は、音声データの拡張コピーを含む。各それぞれの正の音声データ例について、方法は、エンコーダ出力のそれぞれのシーケンス（２１２）を生成する工程と、エンコーダ出力のそれぞれのシーケンスを対照損失空間に投影する工程とを含む。方法はまた、正の音声データ例に関するエンコーダ出力の投影シーケンス内の各対応するエンコーダ出力間のＬ２距離（３５２）を求める工程と、Ｌ２距離を平均することによって発話毎の一貫性損失（３５５）を求める工程とを含む。方法はまた、各それぞれの正の音声データ例について、対応する音声認識結果（３２２）を生成する工程を含む。方法はまた、それぞれの教師あり損失項（３３５）および発話毎の一貫性損失に基づいて、音声認識モデル（２００）のパラメータを更新する工程を含む。

【特許請求の範囲】

【請求項1】

データ処理ハードウェア（６１０）によって実行されると、前記データ処理ハードウェア（６１０）に動作を実行させる、コンピュータが実施する方法（５００）であって、前記動作は、
発話（３０４）に対応する音声データ（３０２）を受信する、音声データ受信工程と、
データ拡張モジュール（３１０）を使用して正の音声データ例（３１２）のペアを生成する工程であって、前記正の音声データ例（３１２）のペアにおける各正の音声データ例（３１２）は、前記発話（３０４）に対応する受信された前記音声データ（３０２）のそれぞれの拡張コピーを含む、ペア生成工程と、
前記正の音声データ例（３１２）のペアにおける各それぞれの正の音声データ例（３１２）について、
ニューラルネットワークエンコーダ（２１０）を使用してエンコーダ出力のそれぞれのシーケンス（２１２）を生成する工程と、
畳み込みニューラルネットワーク（ＣＮＮ）（３４０）を使用して前記それぞれの正の音声データ例（３１２）についての前記エンコーダ出力のそれぞれのシーケンス（２１２）を対照損失空間に投影する工程と、
前記正の音声データ例（３１２）についてのエンコーダ出力の投影された前記シーケンス（２１２）内の各対応するエンコーダ出力間のＬ２距離（３５２）を求める工程と、
前記エンコーダ出力の投影された前記シーケンス（２１２）内の前記エンコーダ出力について求められた前記Ｌ２距離（３５２）を平均することによって発話毎の一貫性損失（３５５）を求める工程と
音声認識モデル（２００）を使用して、前記正の音声データ例（３１２）のペアにおける各それぞれの正の音声データ例（３１２）について、対応する音声認識結果（３２２）を生成する、音声認識結果生成工程と、
各対応する音声認識結果（３２２）に関連付けられたそれぞれの教師あり損失項（３３５）および前記発話毎の一貫性損失（３５５）に基づいて、前記音声認識モデル（２００）のパラメータを更新する工程と、を備える、コンピュータが実施する方法（５００）。

【請求項2】

前記ＣＮＮ（３４０）は、正規化線形活性化関数（ＲｅＬＵ）活性化およびＬａｙｅｒＮｏｒｍ層が後に続く第１ＣＮＮ層と、線形活性化を有する第２ＣＮＮ層と、を備える、請求項１に記載の方法（５００）。

【請求項3】

前記データ拡張モジュール（３１０）は、ノイズ、残響のうちの１つ以上を追加するか、または受信された前記音声データ（３０２）のタイミングを操作する、請求項１または２に記載の方法（５００）。

【請求項4】

前記音声認識モデル（２００）は、コンフォーマベースのエンコーダおよび長短期記憶（ＬＳＴＭ）デコーダを有するシーケンストランスデューサモデルを含む、請求項１乃至３のいずれか一項に記載の方法（５００）。

【請求項5】

前記コンフォーマベースのエンコーダは、コンフォーマ層のスタックを備え、各コンフォーマ層は、一連のマルチヘッド自己注意層、深さ方向畳み込み層、およびフィードフォワード層を含む、請求項４に記載の方法（５００）。

【請求項6】

前記動作は、
トレーニング発話（３０４）のセットを受信する工程であって、前記トレーニング発話（３０４）のセット内の各トレーニング発話（３０４）は、対応する発話（３０４）の非合成音声表現（３６２）を含む、工程と、
前記トレーニング発話（３０４）のセット内の各トレーニング発話（３０４）について、テキスト－音声（ＴＴＳ）モデル（３６０）を使用して、前記対応する発話（３０４）のグラウンドトゥルーストランスクリプション（３０５）を変換することで、同一の前記対応する発話（３０４）の１つまたは複数の合成音声表現（３６４）を生成する工程と、をさらに備え、
前記音声データ受信工程は、前記対応する発話（３０４）の前記非合成音声表現（３６２）のうちの１つ、または前記対応する発話（１０６）の前記１つまたは複数の合成音声表現（３６４）のうちの１つを受信する工程を含む、請求項１乃至５のいずれか一項に記載の方法（５００）。

【請求項7】

前記音声認識結果生成工程は、デコーダ（３２０）を使用して、前記エンコーダ出力のそれぞれのシーケンス（２１２）について可能な音声認識仮説にわたる確率分布（３２２）を求める工程を含む、請求項１乃至６のいずれか一項に記載の方法（５００）。

【請求項8】

前記動作は、前記それぞれの正の音声データ例（３１２）についての前記対応する音声認識結果（３２２）と前記それぞれの正の音声データ例（３１２）の対応するグラウンドトゥルーストランスクリプション（３０５）とを比較することによって、前記それぞれの教師あり損失項（３３５）を求める工程をさらに備える、請求項１乃至７のいずれか一項に記載の方法（５００）。

【請求項9】

前記正の音声データ例（３１２）のペアにおける各正の音声データ例（３１２）は、前記正の音声データ例（３１２）のペアにおける他の各正の音声データ例（３１２）とは異なる、前記発話（３０４）に対応する受信された前記音声データ（３０２）のそれぞれの拡張コピーを含む、請求項１乃至８のいずれか一項に記載の方法（５００）。

【請求項10】

前記ペア生成工程は、前記発話（３０４）の一度の測定に基づいて、前記正の音声データ例（３１２）のペアにおける各正の音声データ例（３１２）を生成する工程を含む、請求項１乃至９のいずれか一項に記載の方法（５００）。

【請求項11】

システム（１００）であって、
データ処理ハードウェア（６１０）と、
前記データ処理ハードウェア（６１０）と通信するメモリハードウェア（６２０）と、を備え、前記メモリハードウェア（６２０）は、前記データ処理ハードウェア（６１０）上で実行されると前記データ処理ハードウェア（６１０）に動作を実行させる命令を記憶し、前記動作は、
発話（３０４）に対応する音声データ（３０２）を受信する、音声データ受信工程と、
データ拡張モジュール（３１０）を使用して正の音声データ例（３１２）のペアを生成する工程であって、前記正の音声データ例（３１２）のペアにおける各正の音声データ例（３１２）は、前記発話（３０４）に対応する受信された前記音声データ（３０２）のそれぞれの拡張コピーを含む、ペア生成工程と、
前記正の音声データ例（３１２）のペアにおける各それぞれの正の音声データ例（３１２）について、
ニューラルネットワークエンコーダ（２１０）を使用してエンコーダ出力のそれぞれのシーケンス（２１２）を生成する工程と、
畳み込みニューラルネットワーク（ＣＮＮ）（３４０）を使用して前記それぞれの正の音声データ例（３１２）についての前記エンコーダ出力のそれぞれのシーケンス（２１２）を対照損失空間に投影する工程と、
前記正の音声データ例（３１２）についてのエンコーダ出力の投影された前記シーケンス（２１２）内の各対応するエンコーダ出力間のＬ２距離（３５２）を求める工程と、
前記エンコーダ出力の投影された前記シーケンス（２１２）内の前記エンコーダ出力について求められた前記Ｌ２距離（３５２）を平均することによって発話毎の一貫性損失（３５５）を求める工程と
音声認識モデル（２００）を使用して、前記正の音声データ例（３１２）のペアにおける各それぞれの正の音声データ例（３１２）について、対応する音声認識結果（３２２）を生成する、音声認識結果生成工程と、
各対応する音声認識結果（３２２）に関連付けられたそれぞれの教師あり損失項（３３５）および前記発話毎の一貫性損失（３５５）に基づいて、前記音声認識モデル（２００）のパラメータを更新する工程と、を備える、システム（１００）。

【請求項12】

前記ＣＮＮ（３４０）は、正規化線形活性化関数（ＲｅＬＵ）活性化およびＬａｙｅｒＮｏｒｍ層が後に続く第１ＣＮＮ層と、線形活性化を有する第２ＣＮＮ層と、を備える、請求項１１に記載のシステム（１００）。

【請求項13】

前記データ拡張モジュール（３１０）は、ノイズ、残響のうちの１つ以上を追加するか、または受信された前記音声データ（３０２）のタイミングを操作する、請求項１１または１２に記載のシステム（１００）。

【請求項14】

前記音声認識モデル（２００）は、コンフォーマベースのエンコーダおよび長短期記憶（ＬＳＴＭ）デコーダを有するシーケンストランスデューサモデルを含む、請求項１１乃至１３のいずれか一項に記載のシステム（１００）。

【請求項15】

前記コンフォーマベースのエンコーダは、コンフォーマ層のスタックを備え、各コンフォーマ層は、一連のマルチヘッド自己注意層、深さ方向畳み込み層、およびフィードフォワード層を含む、請求項１４に記載のシステム（１００）。

【請求項16】

前記動作は、
トレーニング発話（３０４）のセットを受信する工程であって、前記トレーニング発話（３０４）のセット内の各トレーニング発話（３０４）は、対応する発話（３０４）の非合成音声表現（３６２）を含む、工程と、
前記トレーニング発話（３０４）のセット内の各トレーニング発話（３０４）について、テキスト－音声（ＴＴＳ）モデル（３６０）を使用して、前記対応する発話（３０４）のグラウンドトゥルーストランスクリプション（３０５）を変換することで、同一の前記対応する発話（３０４）の１つまたは複数の合成音声表現（３６４）を生成する工程と、をさらに備え、
前記音声データ受信工程は、前記対応する発話（３０４）の前記非合成音声表現（３６２）のうちの１つ、または前記対応する発話（１０６）の前記１つまたは複数の合成音声表現（３６４）のうちの１つを受信する工程を含む、請求項１１乃至１５のいずれか一項に記載のシステム（１００）。

【請求項17】

前記音声認識結果生成工程は、デコーダ（３２０）を使用して、前記エンコーダ出力のそれぞれのシーケンス（２１２）について可能な音声認識仮説にわたる確率分布（３２２）を求める工程を含む、請求項１１乃至１６のいずれか一項に記載のシステム（１００）。

【請求項18】

前記動作は、前記それぞれの正の音声データ例（３１２）についての前記対応する音声認識結果（３２２）と前記それぞれの正の音声データ例（３１２）の対応するグラウンドトゥルーストランスクリプション（３０５）とを比較することによって、前記それぞれの教師あり損失項（３３５）を求める工程をさらに備える、請求項１１乃至１７のいずれか一項に記載のシステム（１００）。

【請求項19】

前記正の音声データ例（３１２）のペアにおける各正の音声データ例（３１２）は、前記正の音声データ例（３１２）のペアにおける他の各正の音声データ例（３１２）とは異なる、前記発話（３０４）に対応する受信された前記音声データ（３０２）のそれぞれの拡張コピーを含む、請求項１１乃至１８のいずれか一項に記載のシステム（１００）。

【請求項20】

前記ペア生成工程は、前記発話（３０４）の一度の測定に基づいて、前記正の音声データ例（３１２）のペアにおける各正の音声データ例（３１２）を生成する工程を含む、請求項１１乃至１９のいずれか一項に記載のシステム（１００）。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、シーケンスにわたって対照損失を用いる教師ありトレーニングおよび教師なしトレーニングに関する。

【背景技術】

【0002】

ＡＳＲ（自動音声認識）は、音声入力を取得してテキストに起こすプロセスであり、モバイルデバイスおよび他のデバイスにおいて使用される重要な技術である。一般に、自動音声認識は、音声入力（例えば、音声発話）を取得してその音声入力をテキストに起こすことによって、人が話した内容の正確なトランスクリプションを提供しようと試みる。現代のＡＳＲモデルは、ディープニューラルネットワークの進行中の開発に基づいて、精度（例えば、低いＷＥＲ（単語誤り率））およびレイテンシ（例えば、ユーザの発話とトランスクリプションとの間の遅延）の両方において改善し続けている。しかしながら、深層学習ベースのＡＳＲモデルを開発する際の１つの課題は、ＡＳＲモデルのパラメータがトレーニングデータに過剰適合する傾向があり、それによって、トレーニングデータが十分に広範囲でない場合に、ＡＳＲモデルが未知のデータを一般化することが困難になることである。結果として、より大きなトレーニングデータセットについてＡＳＲモデルをトレーニングすることは、ＡＳＲモデルの精度を改善する。トレーニングデータセットにデータ拡張を適用することで、ＡＳＲモデルをトレーニングするために使用されるトレーニングデータセットの音響的多様性を増加させることができる。

【発明の概要】

【0003】

本開示の一態様は、データ処理ハードウェア上で実行されると、データ処理ハードウェアに、シーケンスにわたって対照損失を用いる教師ありトレーニングおよび教師なしトレーニングのための動作を実行させる、コンピュータが実施する方法を提供する。動作は、発話に対応する音声データを受信する、音声データ受信工程を含む。動作はまた、データ拡張モジュールを使用して正の音声データ例のペアを生成するペア生成工程を含む。ここで、正の音声データ例のペアにおける各正の音声データ例は、発話に対応する受信された音声データのそれぞれの拡張コピーを含む。正の音声データ例のペアにおける各それぞれの正の音声データ例について、動作は、ニューラルネットワークエンコーダを使用してエンコーダ出力のそれぞれのシーケンスを生成する工程と、ＣＮＮ（畳み込みニューラルネットワーク）を使用してそれぞれの正の音声データ例についてのエンコーダ出力のそれぞれのシーケンスを対照損失空間に投影する工程とを含む。動作はまた、正の音声データ例に関するエンコーダ出力の投影シーケンス内の各対応するエンコーダ出力間のＬ２距離を求める工程を含む。動作はまた、エンコーダ出力の投影シーケンス内のエンコーダ出力について求められたＬ２距離を平均することによって発話毎の一貫性損失を求める工程を含む。動作はまた、音声認識モデルを使用して、正の音声データ例のペアにおける各それぞれの正の音声データ例について、対応する音声認識結果を生成する、音声認識結果生成工程を含む。動作はまた、各対応する音声認識結果に関連付けられたそれぞれの教師あり損失項および発話毎の一貫性損失に基づいて、音声認識モデルのパラメータを更新する工程を含む。

【0004】

本開示の実装は、以下の選択的特徴のうちの１つまたは複数を含んでよい。いくつかの実装では、ＣＮＮは、正規化線形活性化関数（ＲｅＬＵ）活性化およびＬａｙｅｒＮｏｒｍ層が後に続く第１ＣＮＮ層と、線形活性化を有する第２ＣＮＮ層と、を含む。データ拡張モジュールは、ノイズ、残響のうちの１つ以上を追加するか、または受信された音声データのタイミングを操作してよい。いくつかの例では、音声認識モデルは、コンフォーマベースのエンコーダおよび長短期（ＬＳＴＭ）デコーダを有するシーケンストランスデューサモデルを含む。これらの例では、コンフォーマベースのエンコーダは、コンフォーマ層のスタックを含み、各コンフォーマ層は、一連のマルチヘッド自己注意層、深さ方向畳み込み層、およびフィードフォワード層を含む。

【0005】

いくつかの実装では、動作は、トレーニング発話のセットを受信する工程であって、各トレーニング発話は、対応する発話の非合成音声表現を含む、工程と、トレーニング発話のセット内の各トレーニング発話について、ＴＴＳ（テキスト－音声）モデルを使用して、対応する発話のグラウンドトゥルーストランスクリプションを変換することで、同一の対応する発話の１つまたは複数の合成音声表現を生成する工程と、をさらに含む。ここで、音声データ受信工程は、対応する発話の非合成音声表現のうちの１つ、または対応する発話の１つまたは複数の合成音声表現のうちの１つを受信する工程を含む。いくつかの例では、音声認識結果生成工程は、デコーダを使用して、エンコーダ出力のそれぞれのシーケンスについて可能な音声認識仮説にわたる確率分布を求めることを含む。

【0006】

動作は、それぞれの正の音声データ例についての対応する音声認識結果とそれぞれの正の音声データ例の対応するグラウンドトゥルーストランスクリプションとを比較することによって、それぞれの教師あり損失項を求める工程をさらに含んでよい。いくつかの実装では、正の音声データ例のペアにおける各正の音声データ例は、正の音声データ例のペアにおける他の各正の音声データ例とは異なる、発話に対応する受信された音声データのそれぞれの拡張コピーを含む。いくつかの例では、ペア生成工程は、発話の一度の測定に基づいて、正の音声データ例のペアにおける各正の音声データ例を生成する工程を含む。

【0007】

本開示の別の態様は、データ処理ハードウェアと、データ処理ハードウェア上で実行されるとデータ処理ハードウェアに動作を実行させる命令を記憶するメモリハードウェアとを含むシステムを提供する。動作は、発話に対応する音声データを受信する、音声データ受信工程を含む。動作はまた、データ拡張モジュールを使用して正の音声データ例のペアを生成するペア生成工程を含む。ここで、正の音声データ例のペアにおける各正の音声データ例は、発話に対応する受信された音声データのそれぞれの拡張コピーを含む。正の音声データ例のペアにおける各それぞれの正の音声データ例について、動作は、ニューラルネットワークエンコーダを使用してエンコーダ出力のそれぞれのシーケンスを生成する工程と、ＣＮＮ（畳み込みニューラルネットワーク）を使用してそれぞれの正の音声データ例についてのエンコーダ出力のそれぞれのシーケンスを対照損失空間に投影する工程とを含む。動作はまた、正の音声データ例に関するエンコーダ出力の投影シーケンス内の各対応するエンコーダ出力間のＬ２距離を求める工程を含む。動作はまた、エンコーダ出力の投影シーケンス内のエンコーダ出力について求められたＬ２距離を平均することによって発話毎の一貫性損失を求める工程を含む。動作はまた、音声認識モデルを使用して、正の音声データ例のペアにおける各それぞれの正の音声データ例について、対応する音声認識結果を生成する工程を含む。動作はまた、各対応する音声認識結果に関連付けられたそれぞれの教師あり損失項および発話毎の一貫性損失に基づいて、音声認識モデルのパラメータを更新する工程を含む。

【0008】

本開示の実装は、以下の選択的特徴のうちの１つまたは複数を含んでよい。いくつかの実装では、ＣＮＮは、正規化線形活性化関数（ＲｅＬＵ）活性化およびＬａｙｅｒＮｏｒｍ層が後に続く第１ＣＮＮ層と、線形活性化を有する第２ＣＮＮ層とを含む。データ拡張モジュールは、ノイズ、残響のうちの１つ以上を追加するか、または受信された音声データのタイミングを操作してよい。いくつかの例では、音声認識モデルは、コンフォーマベースのエンコーダおよび長短期（ＬＳＴＭ）デコーダを有するシーケンストランスデューサモデルを含む。これらの例では、コンフォーマベースのエンコーダは、コンフォーマ層のスタックを含み、各コンフォーマ層は、一連のマルチヘッド自己注意層、深さ方向畳み込み層、およびフィードフォワード層を含む。

【0009】

いくつかの実装では、動作は、トレーニング発話のセットを受信する工程であって、各トレーニング発話は、対応する発話の非合成音声表現を含む、工程と、トレーニング発話のセット内の各トレーニング発話について、ＴＴＳ（テキスト－音声）モデルを使用して、対応する発話のグラウンドトゥルーストランスクリプションを変換することで、同一の対応する発話の１つまたは複数の合成音声表現を生成する工程と、をさらに含む。ここで、音声データ受信工程は、対応する発話の非合成音声表現のうちの１つ、または対応する発話の１つまたは複数の合成音声表現のうちの１つを受信する工程を含む。いくつかの例では、音声認識結果生成工程は、デコーダを使用して、エンコーダ出力のそれぞれのシーケンスについて可能な音声認識仮説にわたる確率分布を求めることを含む。

【0010】

動作は、それぞれの正の音声データ例についての対応する音声認識結果とそれぞれの正の音声データ例の対応するグラウンドトゥルーストランスクリプションとを比較することによって、それぞれの教師あり損失項を求める工程をさらに含んでよい。いくつかの実装では、正の音声データ例のペアにおける各正の音声データ例は、正の音声データ例のペアにおける他の各正の音声データ例とは異なる、発話に対応する受信された音声データのそれぞれの拡張コピーを含む。いくつかの例では、ペア生成工程は、発話の一度の測定に基づいて、正の音声データ例のペアにおける各正の音声データ例を生成する工程を含む。

【0011】

本開示の１つまたは複数の実装の詳細は、添付の図面および以下の説明に記載される。他の態様、特徴、および利点は、説明および図面から、ならびに特許請求の範囲から明らかになるであろう。

【図面の簡単な説明】

【0012】

【図1】例示的な音声認識システムの概略図。

【図2】ＲＮＮ－Ｔ（回帰型ニューラルネットワーク－トランスデューサ）モデルアーキテクチャの概略図。

【図3】音声認識モデルの例示的なトレーニングプロセスの概略図。

【図4】非合成音声表現および合成音声表現を使用して正の音声データ例を生成する概略図。

【図5】シーケンスにわたって対照損失を用いる教師ありトレーニングおよび教師なしトレーニングの方法のための動作の例示的な構成のフローチャート。

【図6】本明細書で説明されるシステムおよび方法を実装するために使用され得る例示的なコンピューティングデバイスの概略図。

【発明を実施するための形態】

【0013】

様々な図面における同様の参照符号は、同様の要素を示す。
ＡＳＲ（自動音声認識）は、音声から文字シーケンスにマッピングするＳｅｑ２Ｓｅｑ（シーケンスツーシーケンス）モデルの導入によって非常に大きな進歩を遂げた。同時に、ＴＴＳ（テキスト－音声）または音声合成システムは、Ｓｅｑ２Ｓｅｑモデルをうまく適用することで、人間の耳には人間音声と区別不能なほどの自然で現実的に聞こえる最新技術の合成音声を得てきた。

【0014】

深層学習ベースのＡＳＲモデルを開発する際の１つの課題は、ＡＳＲモデルのパラメータがトレーニングデータに過剰適合する傾向があり、それによって、トレーニングデータが十分に広範囲ではない場合に、ＡＳＲモデルが未知のデータを一般化することが困難になることである。したがって、より大きなトレーニングデータセットについてＡＳＲモデルをトレーニングすることは、ＡＳＲモデルの精度を改善する。例えば、機械学習または他の統計的方法の使用は、１００００時間以上の文字起こしされた音声を含むトレーニングデータセットについてＡＳＲモデルをトレーニングすることができる。しかし、トレーニングデータに関連付けられたドメインがＡＳＲモデルの展開されるドメインとは異なる場合、推論中にＡＳＲモデルの性能は落ちる。例えば、ビデオ会議に関連付けられたドメインにおいて文字起こしされた音声についてＡＳＲモデルをトレーニングすることは、音声検索クエリに関連する音声を認識する際にあまり効果的ではなく、同様に、音声検索クエリに関連付けられたドメインにおいて文字起こしされた音声についてＡＳＲモデルをトレーニングすることは、ビデオ会議に関連する音声を認識する際にあまり効果的ではない。

【0015】

合成音声は、ＡＳＲモデルをトレーニングするために必要とされるラベル付けされた人間音声の量を大幅に抑制する可能性を有する一方で、異なるドメインにわたってＡＳＲモデルを横断する柔軟性も提供する。一般に、合成音声の使用は、最新技術の合成音声の例は人間音声と区別不能にもかかわらず、ＡＳＲトレーニングに対して人間音声とは異なる影響を与えることが示されている。合成音声と人間音声との間のこのギャップは、ＴＴＳ（テキスト－音声）システムが解決しようとしている困難な１対多マッピング問題から生じる、合成音声データにおける人間音声データとの不一致に起因する。すなわち、利用可能な合成音声の総合的な品質は非常に高いが、合成音声は、人間音声よりもはるかに少ない変動を示すだけでなく、最小限の音声の非流暢性を示す。結果として、合成音声データのみについてＡＳＲモデルをトレーニングすることにより、推論中に実際の音声発話を一般化することが困難になる。

【0016】

トレーニングデータセットの合成音声および非合成音声を拡張することにより、トレーニングデータセットの音響的多様性を増大させることができる。特に、トレーニング音声発話を拡張することは、単一のトレーニング音声発話から複数のトレーニング音声発話を生成し得る。本明細書では、異なる拡張技法が、複数の拡張されたトレーニング音声発話の各々に適用され得る。したがって、トレーニングデータセットの合成音声および非合成音声にデータ拡張を適用することはまた、ＡＳＲモデルをトレーニングするために必要とされるラベル付けされた人間音声の量を大幅に抑制し得る。

【0017】

本明細書の実装は、大量のラベル付けされたトレーニングデータが利用可能でないかまたはあまり普及していない場合に、ＡＳＲモデルをトレーニングするためのトレーニング発話を拡張する方法およびシステムを対象とする。より具体的には、本明細書の実装は、正則化下での一貫性を含むＡＳＲモデルの教師ありトレーニングプロセスを対象とする。トレーニングプロセスは、受信されたトレーニング発話のためのデータ拡張モジュールを使用して、正の音声データ例のペアを生成する工程を含む。各音声データ例は、受信されたトレーニング発話の異なる拡張コピーを含む。正のデータ例ごとに、エンコーダは、エンコーダ出力のそれぞれのシーケンスを生成し、エンコーダ出力のそれぞれのシーケンスを対照損失空間に投影する。一貫性損失モジュールは、エンコーダ出力の投影シーケンスの各対応するエンコーダ出力間のＬ２距離を求めるとともに、Ｌ２距離を平均することによって発話毎の一貫性損失（すなわち、対照損失）を求める。明らかになるように、ＡＳＲモデルのトレーニングは、教師あり損失および発話毎の一貫性損失の組合せに基づいてＡＳＲモデルのパラメータを更新することを含む。

【0018】

図１は、ユーザ１０４のユーザデバイス１０２および／またはユーザデバイス１０２と通信するリモートコンピューティングデバイス２０１（例えば、クラウドコンピューティング環境で実行される分散システムの１つまたは複数のサーバ）に常駐するＡＳＲモデル２００を実装するＡＳＲ（自動音声認識）システム１００を示す。ユーザデバイス１０２は、モバイルコンピューティングデバイス（例えば、スマートフォン）として示されているが、ユーザデバイス１０２は、限定されることなく、タブレットデバイス、ラップトップ／デスクトップコンピュータ、ウェアラブルデバイス、デジタルアシスタントデバイス、スマートスピーカ／ディスプレイ、スマート家電、自動車インフォテインメント（ｉｎｆｏｔａｉｎｍｅｎｔ）システム、またはＩｏＴ（モノのインターネット）デバイスなど、任意の種類のコンピューティングデバイスに対応してよいとともに、データ処理ハードウェア１１１およびメモリハードウェア１１３を備える。

【0019】

ユーザデバイス１０２は、ユーザ１０４によって話された発話１０６を受信（例えば、ユーザデバイス１０２は、話された発話１０６を記録するための１つまたは複数のマイクロフォンを含んでよい）するとともに、発話１０６を、ＡＳＲシステム１００によって処理が可能な入力音響フレーム１１０に関連付けられた対応するデジタルフォーマットに変換するよう構成されたオーディオサブシステム１０８を含む。図示の例では、ユーザは、「Ｗｈａｔ ｉｓ ｔｈｅ ｗｅａｔｈｅｒ ｉｎ Ｎｅｗ Ｙｏｒｋ Ｃｉｔｙ？」というフレーズについて英語の自然言語で各発話１０６を行い、オーディオサブシステム１０８は、ＡＳＲシステム１００への入力のために、発話１０６を対応する音響フレーム１１０に変換する。その後、ＡＳＲモデル２００は、発話１０６に対応する音響フレーム１１０を入力として受信するとともに、発話１０６の対応するトランスクリプション１２０（例えば、認識結果／仮説）を出力として生成／予測する。図示の例では、ユーザデバイス１０２および／またはリモートコンピューティングデバイス２０１はまた、発話１０６のトランスクリプション１２０の表示をユーザデバイス１０２のユーザ１０４に提示するよう構成されたユーザインターフェースジェネレータ１０７を実行する。いくつかの構成において、ＡＳＲシステム１００から出力されたトランスクリプション１２０は、ユーザコマンドを実行するために、例えば、ユーザデバイス１０２またはリモートコンピューティングデバイス２０１上で実行されるＮＬＵ（自然言語理解）モジュールによって処理される。追加的または代替的には、（例えば、ユーザデバイス１０２またはリモートコンピューティングデバイス２０１の任意の組合せ上で実行される）テキスト音声変換システムは、別のデバイスによる可聴出力用に、トランスクリプション１２０を合成音声に変換してもよい。例えば、元の発話１０６は、ユーザ１０４が友人に送信するメッセージに対応してよく、トランスクリプション１２０は、元の発話１０６で伝達されるメッセージを友人が聞くために可聴出力用に合成音声に変換される。

【0020】

図２を参照すると、例示的なフレームアライメントベースのトランスデューサモデル２００ａは、対話型アプリケーションに関連付けられたレイテンシ制約に従うＲＮＮ－Ｔ（回帰型ニューラルネットワーク－トランスデューサ）モデルアーキテクチャを含む。ＲＮＮ－Ｔモデルアーキテクチャの使用は例示的なものであり、フレームアライメントベースのトランスデューサモデル２００は、とりわけトランスフォーマ－トランスデューサモデルアーキテクチャおよびコンフォーマ－トランスデューサモデルアーキテクチャなどの他のアーキテクチャを含んでよい。ＲＮＮ－Ｔモデル２００は、小さな計算フットプリントを提供し、従来のＡＳＲアーキテクチャよりも少ないメモリ要件を利用することで、ＲＮＮ－Ｔモデルアーキテクチャを、完全にユーザデバイス１０２上で音声認識を実行するのに適したものにする（例えば、リモートサーバとの通信は必要とされない）。ＲＮＮ－Ｔモデル２００は、エンコーダネットワーク２１０、予測ネットワーク２２０、およびジョイントネットワーク２３０を含む。エンコーダネットワークエンコーダ２１０（単に「エンコーダ２１０」とも呼ばれる）は、従来のＡＳＲシステムにおけるＡＭ（音響モデル）に概ね類似しており、積み重ねられたＬＳＴＭ（長短期記憶）層の回帰ネットワークを含む。例えば、エンコーダは、ｄ次元特徴ベクトル（例えば、音響フレーム１１０（図１））ｘ＝（ｘ_１，ｘ_２，…，ｘ_Ｔ）のシーケンスを読み込む。ここで、

【0021】

【数1】

【0022】

であり、エンコーダは、各出力ステップにおいて、高次特徴表現を生成する。この高次特徴表現は、

【0023】

【数2】

【0024】

と表される。
同様に、予測ネットワーク２２０もＬＳＴＭネットワーク（すなわち、ＬＳＴＭデコーダ）であり、ＬＭ（言語モデル）のように、最後のソフトマックス層２４０によって出力された非ブランクシンボルのシーケンスｙ_０，．．．，ｙ_ｕｉ－１，を密表現

【0025】

【数3】

【0026】

に処理する。最後に、ＲＮＮ－Ｔモデルアーキテクチャを用いて、エンコーダおよび予測／デコーダネットワーク２１０、２２０によって生成された表現は、ジョイントネットワーク２３０によって結合される。予測ネットワーク２２０は、埋め込みルックアップテーブルによって置き換えられて、密表現を処理する代わりに、探索されたスパースな埋め込みを出力することによってレイテンシを改善してよい。次に、ジョイントネットワークは、次の出力シンボルにわたる分布である

【0027】

【数4】

【0028】

を予測する。言い換えれば、ジョイントネットワーク２３０は、各出力ステップ（例えば、時間ステップ）において、可能な音声認識仮説にわたる確率分布を生成する。本明細書では、「可能な音声認識仮説」は、指定された自然言語における記号／文字を各々が表す出力ラベルのセットに対応する。例えば、自然言語が英語であるとき、出力ラベルのセットは、２７個のシンボル、例えば、英語アルファベット中の２６文字の各々について１つのラベルと、スペースを指定する１つのラベルとを含み得る。したがって、ジョイントネットワーク２３０は、出力ラベルの所定のセットの各々の発生の可能性を示す値のセットを出力し得る。この値のセットは、ベクトルであってよいとともに、出力ラベルのセットにわたる確率分布を示すことができる。場合によっては、出力ラベルは書記素（例えば、個々の文字、ならびに潜在的には句読点および他のシンボル）であるが、出力ラベルのセットはそのように限定されない。例えば、出力ラベルのセットは、書記素に加えて、または書記素の代わりに、単語片および／または単語全体を含むことができる。ジョイントネットワーク２３０の出力分布は、異なる出力ラベルの各々に対する事後確率値を含むことができる。したがって、異なる書記素または他のシンボルを表す１００個の異なる出力ラベルが存在する場合、ジョイントネットワーク２３０の出力ｙ_ｉは、各出力ラベルに１つずつ、１００個の異なる確率値を含むことができる。次いで、確率分布を使用して、トランスクリプション１２０を決定するための（例えば、ソフトマックス層２４０による）ビーム探索プロセスにおいて、正書法候補要素（例えば、書記素、単語片、および／または単語）を選択するとともに、それらにスコアを割り当てることができる。

【0029】

ソフトマックス層２４０は、対応する出力ステップにおいてＲＮＮ－Ｔモデル２００によって予測される次の出力シンボルとして、分布において最も高い確率を有する出力ラベル／シンボルを選択するために、任意の技術を採用してもよい。このようにして、ＲＮＮ－Ｔモデル２００は、条件付き独立仮定を行わず、むしろ、各シンボルの予測は、音響だけでなく、これまでに出力されたラベルのシーケンスにも条件付けられる。ＲＮＮ－Ｔモデル２００は、出力シンボルが将来の音響フレーム１１０から独立していると仮定し、これにより、ＲＮＮ－Ｔモデルをストリーミング方式で使用することが可能になる。

【0030】

いくつかの例では、ＲＮＮ－Ｔモデル２００のエンコーダネットワーク（すなわち、オーディオエンコーダ）２１０は、コンフォーマ層のスタックを含むコンフォーマベースのエンコーダを含む。本明細書では、各コンフォーマ層は、一連のマルチヘッド自己注意層、深さ方向畳み込み層、およびフィードフォワード層を含む。エンコーダネットワーク２１０は、マルチヘッド自己注意機構を有する他の種類のエンコーダを含んでよい。例えば、エンコーダネットワーク２１０は、トランスフォーマベースのエンコーダまたはＬＣｏｎｖ（軽量畳み込み）ベースのエンコーダであってよい。エンコーダネットワーク２１０はまた、一連のＬＳＴＭ層を含むＲＮＮベースであってもよい。予測ネットワーク２２０は、２つの２０４８次元のＬＳＴＭ層を有してよく、６４０次元の投影層が各々の後に続く。代替的には、予測ネットワーク２２０は、ＬＳＴＭ層の代わりに、トランスフォーマまたはコンフォーマブロックのスタック、または埋め込みルックアップテーブルを含んでもよい。最後に、ジョイントネットワーク２３０はまた、６４０個の隠れユニットを有してよい。ソフトマックス層２４０は、複数のトレーニングデータセット内の一意の単語片または書記素をすべて使用して生成される、統合された単語片または書記素セットから構成されてよい。

【0031】

図３は、ＡＳＲモデル２００をトレーニングするための例示的なトレーニングプロセス３００を示す。本明細書では、例示的なトレーニングプロセス３００は、教師ありトレーニングコンポーネントおよび教師なしトレーニングコンポーネントを含む。例示的なトレーニングプロセス３００（単に「トレーニングプロセス３００」とも呼ばれる）は、トレーニング発話３０４、３０４ａ～ｎ（図４）のセットからのトレーニング発話３０４に対応する音声データ３０２を受信するデータ拡張モジュール３１０を含む。音声データ３０２は、図４を参照してより詳細に説明されるように、トレーニング発話３０４の非合成音声表現または合成音声表現を表してよい。

【0032】

データ拡張モジュール３１０は、ＡＳＲモデル２００をトレーニングするために使用されるトレーニング発話３０４の音響的多様性を増加するように構成される。いくつかの例では、データ拡張モジュール３１０は、音声データ３０２の雑音の追加／注入、残響の追加、および／またはタイミングの操作（例えば、伸張）のうちの１つ以上を含むデータ拡張技法を利用する。任意選択で、データ拡張技法はタイムワーピングを含むことができる。別のデータ拡張技法は、ＭＴＲ（マルチスタイルトレーニング）を使用して、様々な環境雑音を音声データ３０２に注入することを含む。

【0033】

データ拡張モジュール３１０は、受信された音声データ３０２に対してデータ拡張技法の任意の組合せを適用することで、正の音声データ例３１２のペアを生成する。図示の例では、正の音声データ例３１２のペアは、単に明確さのために、２つの正のデータ例（すなわち、第１の正の音声データ例３１２、３１２ａおよび第２の正の音声データ例３１２、３１２ｂ）を含むが、正の音声データ例３１２のペアは、任意の数の正の音声データ例３１２を含んでよいことを理解されたい。例えば、正の音声データ例３１２のペアは、５つの正の音声データ例３１２を含み得る（例えば、この例では、正の音声データ例３１２のペアは、正の音声データ例３１２のグループと呼ばれ得る）。

【0034】

データ拡張モジュール３１０は、トレーニング発話３０４に対応する音声データ３０２の一度の測定に基づいて、正の音声データ例３１２のペアにおける各正の音声データ例３１２を生成する。言い換えると、正の音声データ例３１２のペアにおける各正の音声データ例３１２は、同一の音声データ３０２および同一のトレーニング発話３０４を表す（すなわち、各ペアにおける音声データ例３１２は語彙的に同一である）。データ拡張モジュール３１０は、異なるデータ拡張技法（例えば、ノイズ、残響、および／またはタイミング操作）を正の音声データ例３１２のペアにおける各正の音声データ例３１２に対して適用することで、正の音声データ例３１２間の音響的多様性を提供してもよい。いくつかの事例では、データ拡張モジュール３１０は、各正の音声データ例３１２に対して同一のデータ拡張技法を適用するが、各正の音声データ例３１２に対して異なる量のデータ拡張技法を適用する。例えば、データ拡張モジュール３１０は、第１の量のノイズを第１の正の音声データ例３１２ａに対して適用するとともに、第２の量のノイズを第２の正の音声データ例３１２ｂに適用し得る。

【0035】

したがって、正の音声データ例３１２のペアにおける各正の音声データ例３１２は、トレーニング発話３０４に対応する受信された音声データ３０２のそれぞれの拡張コピーを含む。特に、各正の音声データ例３１２は、他の正の音声データ例３１２とは異なる受信された音声データ３０２のそれぞれの拡張コピーを含む。したがって、同一の受信された音声データ３０２の異なる拡張コピーの集合は、ＡＳＲモデル２００をトレーニングする際に使用される音声データ３０２の音響的多様性を増加させる。図示の例では、データ拡張モジュール３１０は、同一の発話に対応する音声データ３０２を使用して、第１の正の音声データ例３１２ａおよび第２の正の音声データ例３１２ｂを生成する。本明細書では、第１の正の音声データ例３１２ａは、音声データ３０２の第１拡張コピーを含み、第２の正の音声データ例３１２ｂは、第１拡張コピーとは異なる音声データ３０２の第２拡張コピーを含む。

【0036】

トレーニングプロセス３００はまた、ＡＳＲモデル２００のエンコーダ２１０を含む。エンコーダ２１０は、正の音声データ例３１２のペアにおける各正の音声データ例３１２を入力として受信するとともに、各正の音声データ例３１２に対応するエンコーダ出力のそれぞれのシーケンス２１２を出力として生成する。図示の例では、エンコーダ２１０は、第１の正の音声データ例３１２を受信するとともに、第１の正の音声データ例３１２ａに対応するエンコーダ出力の第１シーケンス２１２、２１２ａを生成する。示された例を続けると、エンコーダ２１０はまた、第２の正の音声データ例３１２ｂを受信するとともに、第２の正の音声データ例３１２ｂに対応するエンコーダ出力の第２シーケンス２１２、２１２ｂを生成する。

【0037】

いくつかの実装では、トレーニングプロセス３００は、正の音声データ例３１２ごとに、音声認識結果３２２に関連付けられた教師あり損失項３３５（例えば、教師ありトレーニングコンポーネント）を求める。これらの実装では、トレーニングプロセス３００は、デコーダ３２０と教師あり損失項モジュール３３０とを含む。デコーダ３２０は、エンコーダ２１０によって出力されたエンコーダ出力のシーケンス２１２を復号するとともに、可能な音声認識仮説にわたる確率分布３２２を求めるように構成される。すなわち、可能な音声認識仮説にわたる確率分布３２２は、異なる音声認識結果の確率を示す。したがって、可能な音声認識仮説にわたる音声認識結果３２２および確率分布３２２は、交換可能に使用され得る。

【0038】

いくつかの例では、デコーダ３２０は、ＡＳＲモデル２００のジョイントネットワーク２３０（すなわち、デコーダ）（図２）を含む。他の例では、デコーダ３２０は、ＣＴＣ（Ｃｏｎｎｅｃｔｉｏｎｉｓｔ Ｔｅｍｐｏｒａｌ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ）デコーダ、ＬＡＳ（Ｌｉｓｔｅｒ Ａｔｔｅｎｄ Ｓｐｅｌｌ）デコーダ、またはＲＮＮ－Ｔデコーダを含む、ＡＳＲモデル２００から独立した補助デコーダである。したがって、図３に示されるエンコーダ２１０およびデコーダ３２０を囲む点線は、いくつかの事例では、エンコーダ２１０およびデコーダ３２０が両方ともＡＳＲモデル２００の一部であり、他の事例では、デコーダ３２０がＡＳＲモデル２００とは別個の補助デコーダであることを示す。いくつかの実装では、デコーダ３２０は、音素のシーケンスを復号するよう構成された音素デコーダ、単語片のシーケンスを復号するよう構成された単語片デコーダ、または書記素のシーケンスを復号するよう構成された書記素デコーダのうちの１つ以上を含む。

【0039】

したがって、デコーダ３２０は、エンコーダ出力の各それぞれのシーケンス２１２を入力として受信するとともに、対応する正の音声データ例３１２について可能な音声認識仮説（すなわち、音声認識結果）にわたる確率分布３２２を出力として生成する。いくつかの例では、可能な音声認識仮説にわたる確率分布３２２は、可能な音素ラベルまたは可能な単語片ラベルのうちの１つを含む。図示の例では、デコーダ３２０は、エンコーダ出力の第１シーケンス２１２ａを使用して、可能な音声認識仮説にわたる第１確率分布３２２、３２２ａを生成するとともに、エンコーダ出力の第２シーケンス２１２ｂを使用して、可能な音声認識仮説にわたる第２確率分布３２２、３２２ｂを生成する。

【0040】

その後、教師あり損失項モジュール３３０は、可能な音声認識仮説にわたる確率分布３２２と、トレーニング発話３０４に対応するグラウンドトゥルーストランスクリプション３０５とに基づいて、教師あり損失項３３５を求めてよい。すなわち、いくつかの事例では、各トレーニング発話３０４は、対応するグラウンドトゥルーストランスクリプション３０５とペアにされる（すなわち、ペアにされたトレーニングデータ）。したがって、教師あり損失項モジュール３３０は、音声認識結果３２２と対応するグラウンドトゥルーストランスクリプション３０５とを比較することで、ＡＳＲモデル２００予測の精度を判定してよい。図示の例では、教師あり損失項モジュール３３０は、第１確率分布３２２ａとグラウンドトゥルーストランスクリプション３０５とを比較することで第１の教師あり損失項３３５、３３５ａを求めるとともに、第２確率分布３２２ｂとグラウンドトゥルーストランスクリプション３０５とを比較することで第２の教師あり損失項３３５、３３５ｂを求める。トレーニングプロセス３００は、教師あり損失項３３５に基づいてＡＳＲモデル２００のパラメータを更新する。例えば、トレーニングプロセス３００は、ＡＳＲモデル２００のエンコーダのパラメータを更新してもよい。

【0041】

いくつかの実装では、トレーニングプロセス３００は、ＡＳＲモデル２００の発話毎の一貫性損失３５５（例えば、教師なしトレーニングコンポーネント）を求める。本明細書では、グラウンドトゥルーストランスクリプション３０５は、トレーニング発話について利用可能でないことがあり、および／またはトレーニングプロセス３００は、音声データ３０２の異なる拡張コピーを有する正の音声データ例３１２にわたる一貫性を促進することを目的としてよい。これらの実装では、トレーニングプロセス３００は、ＣＮＮ（畳み込みニューラルネットワーク）３４０および一貫性損失項モジュール３５０を含む。ＣＮＮ３４０は、エンコーダ２１０から受信されたそれぞれの正の音声データ例３１２についてのエンコーダ出力のそれぞれのシーケンス２１２を、対照損失空間に投影する。すなわち、ＣＮＮ３４０は、エンコーダ出力の投影シーケンス３４２を生成する。

【0042】

いくつかの例では、ＣＮＮ３４０は、正規化線形活性化関数（ＲｅＬＵ）活性化およびＬａｙｅｒＮｏｒｍ層が後に続く、３５６（４×１）個のフィルタを有する第１ＣＮＮ層と、線形活性化を有する第２ＣＮＮ層１６（１×１）個のフィルタとを含む。すなわち、ＣＮＮ３４０は、エンコーダ出力のシーケンス２１２を対照損失空間にマッピングすることで、発話毎の一貫性損失３５５を求める。図示の例では、ＣＮＮ３４０は、エンコーダ出力の第１シーケンス２１２ａを対照損失空間に射影するとともに（例えば、エンコーダ出力の第１射影シーケンス３４２、３４２ａ）、エンコーダ出力の第２シーケンス２１２ｂを対照損失空間に射影する（例えば、エンコーダ出力の第２射影シーケンス３４２、３４２ｂ）。

【0043】

その後、一貫性損失項モジュール３５０は、エンコーダ出力の投影シーケンス３４２を受信するとともに、正の音声データ例３１２に関するエンコーダ出力の投影シーケンス３４２内の各対応するエンコーダ出力間のＬ２距離３５２を求める。すなわち、音声データ例３１２の正のペア（すなわち、ｘ_ｉおよびｘ_ｊ）は、以下のように表される対照損失またはＬ２距離３５２を有し得る。

【0044】

【数5】

【0045】

式１において、

【0046】

【数6】

【0047】

はコサイン類似度関数であり、τは温度パラメータを表す。
ＭＭＤ（最大平均不一致）は、エンコーダ出力のシーケンスｚ_ｉ：＝｛ｘ_１，．．．，ｘ_ｎ｝～Ｐおよびｚ_ｊ：＝｛ｘ_１，．．．，ｘ_ｎ｝～Ｑのノンパラメトリック距離測定値である。特に、ＭＭＤは、再生核ヒルベルト空間における２つの分布間のカーネル平均を測定する。エンコーダ出力のシーケンス間のＭＭＤ損失は、以下のように表され得る。

【0048】

【数7】

【0049】

ここで、ｋ（ｘ，ｙ）は以下のように表されるガウス核である。

【0050】

【数8】

【0051】

ここで、一貫性正則化は、異なる正のαデータ例３１２間のエンコーダ２１０の出力間のＬ２距離３５２を計算することを含んでよい。一貫性損失項モジュール３５０は、エンコーダ出力の投影シーケンス３４２のエンコーダ出力について求められたＬ２距離３５２を平均化することによって発話毎の一貫性損失３５５を求める。発話毎の一貫性損失３５５は、以下のように表され得る。

【0052】

【数9】

【0053】

図示の例では、一貫性損失項モジュール３５０は、エンコーダ出力の第１射影シーケンス３４２ａ内の各対応するエンコーダ出力とエンコーダ出力の第２射影シーケンス３４２ｂ内の各対応するエンコーダ出力との間のＬ２距離３５２を求めるとともに、各対応するエンコーダ出力について求められたＬ２距離３５２を平均化することによって発話毎の一貫性損失３５５を求める。したがって、発話毎の一貫性損失３５５は、正のトレーニング例３１２に対して適用されるデータ拡張にかかわらず、エンコーダ２１０が一貫して挙動するように促すことによって、教師なしトレーニングコンポーネントを提供する。

【0054】

トレーニングプロセス３００は、発話毎の一貫性損失３５５に基づいて、ＡＳＲモデル２００のパラメータを更新する。例えば、トレーニングプロセス３００は、ＡＳＲモデル２００のエンコーダ２１０のパラメータを更新してもよい。いくつかの例では、トレーニングプロセス３００は、発話毎の一貫性損失３５５および教師あり損失項３３５の両方を並行して使用して、ＡＳＲモデル２００のパラメータを更新する。ここで、発話毎の一貫性損失３５５および教師あり損失項３３５を含むＡＳＲ損失関数は、以下のように表され得る。

【0055】

【数10】

【0056】

式５において、Ｌ_ｒｎｎｔはＲＮＮ－Ｔ損失であり、Ｌ_ｃｏｎｓは一貫性項であり、θ_ｃｏｎｓは一貫性関数のための任意のパラメータであり、λは正則化係数である。いくつかの例においては、λ＝１である。

【0057】

次に図４の概略図を参照すると、いくつかの実装では、データ拡張モジュール３１０は、同一のトレーニング発話３０４についての非合成音声表現３６２および合成音声表現３６４を表す音声データ３０２を受信する。ここで、トレーニング発話３０４、３０４ａ～ｎのセットは、トレーニング発話のセット内の各トレーニング発話３０４についての非合成音声表現３６２を含む。トレーニング発話３０４は、ユーザ１０４（図１）によって話された発話１０６を含み得る。さらに、各トレーニング発話３０４は、対応するグラウンドトゥルーストランスクリプション３０５とペアにされてよい。ＴＴＳ（テキスト－音声）システム３６０は、グラウンドトゥルーストランスクリプション３０５を受信するとともに、それぞれのトレーニング発声３０４の合成音声表現３６４に対応する音声データ３０２を生成するように構成される。いくつかの実装では、ＴＴＳシステム３６０は、異なる合成音声表現３６４が互いに音響的に多様であるが語彙的には同一であるように、単一のトレーニング発話３０４に対して複数の異なる合成音声表現３６４を生成する。いくつかの例では、ＴＴＳシステム３６０は、各話されていないテキスト発話が合成や非合成音声表現とペアにされないように、テキストのみのデータ（すなわち、ペアにされていないデータ）を含む話されていないトレーニングテキスト発話を受信する。

【0058】

したがって、データ拡張モジュール３１０は、トレーニング発話３０４の非合成表現３６２の音声データ３０２を受信し、および／または同一のトレーニング発話３０４の合成音声表現３６４の音声データ３０２を受信する。したがって、データ拡張モジュール３１０は、非合成表現３６２を使用して非合成の正の音声データ例３１２、３１２Ｎのペアを生成するとともに、合成音声表現３６４を使用して合成の正の音声データ例３１２、３１２Ｓのペアを生成する。特に、非合成の正の音声データ例３１２Ｎおよび合成の正の音声データ例３１２Ｓのペアの両方は、同一のトレーニング発話３０４に対応することで、トレーニングプロセス３００（図３）がＡＳＲモデル２００をトレーニングするために使用し得るトレーニングデータの量を大幅に増加させる。すなわち、非合成音声表現３６２、合成音声表現３６４、またはそれらの何らかの組合せを含む音声データ３０２が、トレーニングプロセス３００（図３）によって使用され得る。前述のように、データ拡張モジュール３１０によって生成される非合成の正の音声データ例３１２Ｎの「ペア」は、２つの例に限定されず、同一の非合成音声表現３６２に対して生成される任意の数の正の音声データ例を含んでよい。同様に、データ拡張モジュール３１０によって生成される合成の正の音声データ例３１２Ｓの「ペア」は、同一の合成音声表現３６４に対して生成される任意の数の正の音声データ例を含んでよい。

【0059】

図５は、シーケンスにわたって対照損失を用いる教師ありおよび教師なしトレーニングのためにコンピュータが実施する方法５００のための動作の例示的な構成のフローチャートである。動作５０２では、方法５００は、トレーニング発話３０４に対応する音声データ３０２を受信する工程を含む。動作５０４では、方法５００は、データ拡張モジュール３１０を使用して正の音声データ例３１２のペア（すなわち、第１の正の音声データ例３１２ａおよび第２の正の音声データ例３１２ｂ）を生成する工程を含む。ここで、正の音声データ例３１２のペアにおける各正の音声データ例３１２は、トレーニング発話３０４に対応する受信された音声データ３０２のそれぞれの拡張コピーを含む。正の音声データ例３１２のペアにおける各正の音声データ例３１２に対して、方法５００は、動作５０６および５０８を実行する。動作５０６では、方法５００は、ニューラルネットワークエンコーダ２１０を使用してエンコーダ出力のそれぞれのシーケンス２１２を生成する工程を含む。動作５０８では、方法５００は、ＣＮＮ３４０を使用してそれぞれの正の音声データ例３１２についてのエンコーダ出力のそれぞれのシーケンス２１２を対照損失空間（すなわち、エンコーダ出力の投影シーケンス３４２）に投影する工程を含む。

【0060】

動作５１０では、方法５００は、正の音声データ例３１２に関するエンコーダ出力の投影シーケンス３４２内の各対応するエンコーダ出力間のＬ２距離３５２を求める工程を含む。動作５１２では、方法５００は、エンコーダ出力の投影シーケンス２４２内のエンコーダ出力について求められたＬ２距離３５２を平均することによって発話毎の一貫性損失３５５を求める工程を含む。動作５１４では、方法５００は、ＡＳＲモデル２００を使用して、正の音声データ例３１２のペアにおける各正の音声データ例３１２に対して、対応する音声認識結果３２２を生成する工程を含む。特に、デコーダ３２０は、エンコーダ出力のそれぞれのシーケンス２１２を復号することで、音声認識結果３２２を生成する。動作５１６では、方法５００は、各対応する音声認識結果３２２に関連付けられたそれぞれの教師あり損失項３３５および発話毎の一貫性損失３５５に基づいて、ＡＳＲモデル２００のパラメータを更新する工程を含む。

【0061】

図６は、本明細書で説明されたシステムおよび方法を実装するために使用され得る例示的なコンピューティングデバイス６００の概略図である。コンピューティングデバイス６００は、ラップトップ、デスクトップ、ワークステーション、携帯情報端末、サーバ、ブレードサーバ、メインフレーム、および他の適切なコンピュータ等、様々な形態のデジタルコンピュータを表すよう意図されている。本明細書で示される構成要素、それらの接続および関係、ならびにそれらの機能は、例示的なものに過ぎず、本明細書で説明および／または特許請求される本発明の実装を限定するものではない。

【0062】

コンピューティングデバイス６００は、プロセッサ６１０、メモリ６２０、記憶デバイス６３０、メモリ６２０および高速拡張ポート６５０に接続する高速インターフェース／コントローラ６４０、ならびに低速バス６７０および記憶デバイス６３０に接続する低速インターフェース／コントローラ６６０を含む。構成要素６１０、６２０、６３０、６４０、６５０、および６６０の各々は、様々なバスを使用して相互接続され、共通のマザーボード上に、または必要に応じて他の方法で実装され得る。プロセッサ６１０は、高速インターフェース６４０に接続されたディスプレイ６８０などの外部入力／出力デバイス上にＧＵＩ（グラフィカルユーザインターフェース）のためのグラフィカル情報を表示するようメモリ６２０または記憶デバイス６３０に記憶された命令を含む、コンピューティングデバイス６００内で実行するための命令を処理することができる。他の実装では、複数のメモリおよびメモリの種類とともに、必要に応じて複数のプロセッサおよび／または複数のバスが使用されてよい。また、複数のコンピューティングデバイス６００が接続されてもよく、各デバイスは、例えば、サーババンク、ブレードサーバのグループ、またはマルチプロセッサシステムとして、必要な動作の一部を提供する。

【0063】

メモリ６２０は、コンピューティングデバイス６００内に情報を非一時的に記憶する。メモリ６２０は、コンピュータ可読媒体、揮発性メモリユニット（複数可）、または不揮発性メモリユニット（複数可）であってもよい。非一時的メモリな６２０は、コンピューティングデバイス６００による使用のために一時的または永続的にプログラム（例えば、命令のシーケンス）またはデータ（例えば、プログラム状態情報）を記憶するために使用される物理的なデバイスであってもよい。不揮発性メモリの例は、フラッシュメモリおよびＲＯＭ（リードオンリーメモリ）／ＰＲＯＭ（プログラマブルリードオンリーメモリ）／ＥＰＲＯＭ（消去可能プログラマブルリードオンリーメモリ）／ＥＥＰＲＯＭ（電子的消去可能プログラマブルリードオンリーメモリ）（例えば、ブートプログラムなどのファームウェアに典型的に使用される）を含むが、これらに限定されない。揮発性メモリの例は、ＲＡＭ（ランダムアクセスメモリ）、ＤＲＡＭ（ダイナミックランダムアクセスメモリ）、ＳＲＡＭ（スタティックランダムアクセスメモリ）、ＰＣＭ（相変化メモリ）、およびにディスクまたはテープを含むが、これらに限定されない。

【0064】

記憶デバイス６３０は、コンピューティングデバイス６００に大容量ストレージを提供することが可能である。いくつかの実装では、記憶デバイス６３０はコンピュータ可読媒体である。様々な異なる実装では、記憶デバイス６３０は、フロッピーディスク（登録商標）デバイス、ハードディスクデバイス、光学ディスクデバイス、テープデバイス、フラッシュメモリもしくは他の同様のソリッドステートメモリデバイス、またはストレージエリアネットワークもしくは他の構成におけるデバイスを含むデバイスのアレイであってよい。追加の実装では、コンピュータプログラム製品は、情報担体として有形に具現化される。コンピュータプログラム製品は、実行されると、上記のような１つまたは複数の方法を実行する命令を含む。情報担体は、メモリ６２０、記憶デバイス６３０、またはプロセッサ６１０上のメモリなどのコンピュータ可読媒体または機械可読媒体である。

【0065】

高速コントローラ６４０は、コンピューティングデバイス６００のための帯域幅集中型の演算を管理し、低速コントローラ６６０は、より低い帯域幅集中型の演算を管理する。このようなデューティの割り当ては例示にすぎない。いくつかの実装では、高速コントローラ６４０は、メモリ６２０、ディスプレイ６８０（例えば、グラフィックスプロセッサまたはアクセラレータを介して）、および様々な拡張カード（図示せず）を受け入れ得る高速拡張ポート６５０に接続される。いくつかの実装では、低速コントローラ６６０は、記憶デバイス６３０および低速拡張ポート６９０に接続される。種々の通信ポート（例えば、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、イーサネット（登録商標）、無線イーサネット）を含み得る低速拡張ポート６９０は、例えばネットワークアダプタを通じて、キーボード、ポインティングデバイス、スキャナー、または、スイッチまたはルータ等のネットワークデバイス等の、１つまたは複数の入力／出力デバイスに接続されてよい。

【0066】

コンピューティングデバイス６００は、図６に示されるように、複数の異なる形態で実装されてよい。例えば、コンピューティングデバイス６００は、ラップトップコンピュータ６００ｂとして、ラックサーバシステム６００ｃの一部として、または標準的なサーバ６００ａとしてもしくはそのようなサーバ６００ａのグループにおいて複数回実装されてもよい。

【0067】

本明細書で説明されたシステムおよび技法の様々な実装は、デジタル電子回路および／または光回路、集積回路、特別に設計されたＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／またはそれらの組合せで実現され得る。これらの様々な実装は、記憶デバイス、１つ以上の入力デバイス、および１つ以上の出力デバイスに対してデータおよび命令を送信すると共にこれらからデータおよび命令を受信するよう接続された、特定目的または汎用目的の１つ以上のプログラマブルプロセッサを備えたプログラマブルシステム上で実行可能および／または翻訳可能な１つまたは複数のコンピュータプログラムでの実装を含んでよい。

【0068】

これらのコンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーションまたはコードとしても知られる）は、プログラマブルプロセッサのための機械命令を含み、高レベル手続き型および／またはオブジェクト指向プログラミング言語、および／またはアセンブリ／機械言語で実装され得る。本明細書で使用されるように、「機械可読媒体」および「コンピュータ可読媒体」という用語は、機械可読信号として機械命令を受信する機械可読媒体を含む、機械命令および／またはデータをプログラマブルプロセッサに提供するために使用される任意のコンピュータプログラム製品、非一時的コンピュータ可読媒体、機器および／または装置（例えば、磁気ディスク、光学ディスク、メモリ、ＰＬＤ（プログラマブル論理デバイス））を指す。「機械可読信号」という用語は、機械命令および／またはデータをプログラマブルプロセッサに提供するために使用される任意の信号を指す。

【0069】

本明細書で説明されるプロセスおよび論理フローは、入力データに対して動作かつ出力を生成することによって機能を実行するために１つまたは複数のコンピュータプログラムを実行する、データ処理ハードウェアとも呼ばれる１つまたは複数のプログラマブルプロセッサによって実行され得る。プロセスおよび論理フローは、特殊目的論理回路、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）によって実行することもできる。コンピュータプログラムの実行に適したプロセッサは、例として、汎用マイクロプロセッサおよび専用マイクロプロセッサの両方、ならびに任意の種類のデジタルコンピュータの任意の１つまたは複数のプロセッサを含む。一般に、プロセッサは、読み出し専用メモリもしくはランダムアクセスメモリまたはその両方から命令およびデータを受信する。コンピュータの必須要素は、命令を実行するプロセッサ、ならびに命令およびデータを記憶するための１つまたは複数のメモリデバイスである。一般的に、コンピュータはまた、データを記憶するための１つまたは複数の大容量記憶デバイス、例えば、磁気、光磁気ディスク、もしくは光学ディスクを含むか、またはそれらからデータを受信するか、それらにデータを転送するか、もしくはその両方を行うように動作可能に接続される。しかしながら、コンピュータはそのようなデバイスを有する必要はない。コンピュータプログラム命令およびデータを記憶するのに適したコンピュータ可読媒体は、例として、半導体メモリデバイス、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、およびフラッシュメモリデバイス、磁気ディスク、例えば、内蔵ハードディスクまたはリムーバブルディスク、光磁気ディスク、ならびにＣＤＲＯＭおよびＤＶＤ－ＲＯＭディスクを含む、すべての形態の不揮発性メモリ、媒体、およびメモリデバイスを含む。プロセッサおよびメモリは、特殊目的論理回路によって補完され得るか、または特殊目的論理回路に組み込まれ得る。

【0070】

ユーザとの対話を提供するために、本開示の１つまたは複数の態様は、ユーザに情報を表示するためのディスプレイデバイス、例えば、ＣＲＴ（陰極線管）、ＬＣＤ（液晶ディスプレイ）モニタ、またはタッチスクリーンと、任意選択で、ユーザがコンピュータに入力を提供することができるキーボードおよびポインティングデバイス、例えば、マウスまたはトラックボールとを有するコンピュータ上で実装されてよい。他の種類のデバイスを使用して、ユーザとの対話を提供してもよい。例えば、ユーザに提供されるフィードバックは、任意の形式の感覚的なフィードバック、例えば、視覚的フィードバック、聴覚的フィードバック、または触覚的フィードバックであってよく、ユーザからの入力は、音響的入力、音声的入力、または触覚的入力を含む任意の形式で取り込まれてよい。さらに、コンピュータは、ユーザによって使用されるデバイスに文書を送信し、デバイスから文書を受信することによって、例えば、ウェブブラウザから受信された要求に応答して、ユーザのクライアントデバイス上のウェブブラウザにウェブページを送信することによって、ユーザと対話することができる。

【0071】

複数の実装について説明してきたが、本開示の主旨および範囲から逸脱することなく、様々な変更が行われ得ることが理解されるであろう。したがって、他の実施形態は、以下の特許請求の範囲内にある。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【国際調査報告】