特表 2024-538019 多言語自動音声認識のための教師無しおよび教師有り共同トレーニング（ＪＵＳＴ）

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-10-18

(54)【発明の名称】多言語自動音声認識のための教師無しおよび教師有り共同トレーニング（ＪＵＳＴ）

(51)【国際特許分類】

   G10L 15/06 20130101AFI20241010BHJP

   G10L 15/16 20060101ALI20241010BHJP

【ＦＩ】

G10L15/06 300C

G10L15/16

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024520856

(86)(22)【出願日】2022-09-06

(85)【翻訳文提出日】2024-05-24

(86)【国際出願番号】 US2022075998

(87)【国際公開番号】W WO2023059969

(87)【国際公開日】2023-04-13

(31)【優先権主張番号】63/262,174

(32)【優先日】2021-10-06

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】502208397

【氏名又は名称】グーグル エルエルシー

【氏名又は名称原語表記】Ｇｏｏｇｌｅ ＬＬＣ

【住所又は居所原語表記】１６００ Ａｍｐｈｉｔｈｅａｔｒｅ Ｐａｒｋｗａｙ ９４０４３ Ｍｏｕｎｔａｉｎ Ｖｉｅｗ， ＣＡ Ｕ．Ｓ．Ａ．

(74)【代理人】

【識別番号】100142907

【弁理士】

【氏名又は名称】本田 淳

(72)【発明者】

【氏名】リー、ボー

(72)【発明者】

【氏名】バイ、ジュンウェン

(72)【発明者】

【氏名】チャン、ユー

(72)【発明者】

【氏名】バプナ、アンクル

(72)【発明者】

【氏名】シッダールタ、ニキル

(72)【発明者】

【氏名】シム、ケ チャイ

(72)【発明者】

【氏名】サイナス、ターラ エヌ

(57)【要約】

対応する潜在音声表現のターゲット（標的）量子化ベクトルトークン（３１２）および標的トークンインデックス（３１４）を生成する。対応するマスクされていない、またはマスク済み潜在音声表現（２１２ｕ、２１２ｍ）の対照コンテキストベクトル（３２２）を生成する。対応する対照コンテキストベクトルに対応する標的量子化ベクトルトークンに基づき、対照的な自己教師有り損失（３５５ａ）を導出する。対照コンテキストベクトルに基づき、高レベルコンテキストベクトル（３３４）を生成する。標的トークンインデックスに基づくクロスエントロピー損失（３５５ｂ）を使用することで標的トークンインデックスを予測するように学習する。音声認識仮説（３４２）を予測する。教師無し損失（３５５）および教師有り損失（３６５）を使用することで多言語自動音声認識ＡＳＲモデル（２００）をトレーニングする。

【特許請求の範囲】

【請求項1】

多言語自動音声認識（ＡＳＲ）モデル（２００）をトレーニングするための、教師無しおよび教師有り共同トレーニング（ＪＵＳＴ）フレームワーク（３００）であって、ＪＵＳＴフレームワーク（３００）は、
特徴エンコーダ（３１１）であって、
音声の発話（３０２、３０４）に対応するオーディオ特徴（１１０）を入力として受け取るように、かつ
複数の時間ステップの各々において、潜在音声表現（２１２）を生成するように、
構成されている、前記特徴エンコーダ（３１１）と、
量子化器（３１０）であって、
複数の前記時間ステップの各々において前記特徴エンコーダ（３１１）によって生成済みの前記潜在音声表現（２１２）を入力として受け取るように、かつ
複数の前記時間ステップの各々において、前記特徴エンコーダ（３１１）によって生成済みの対応する前記潜在音声表現（２１２）に対するターゲット量子化ベクトルトークン（３１２）およびターゲットトークンインデックス（３１４）を生成するとともに、前記ターゲットトークンインデックス（３１４）が、対応する前記潜在音声表現（２１２）を、コードブック（３１５）に記憶された前記ターゲット量子化ベクトルトークン（３１２）にマッピングするように、
構成されている、前記量子化器（３１０）と、
対照ネット（３２０）であって、
前記潜在音声表現（２１２）のサブセットをマスクした後、複数の前記時間ステップの各々において前記特徴エンコーダ（３１１）によって生成済みの前記潜在音声表現（２１２）を入力として受け取るように、
複数の前記時間ステップの各々において、対応するマスクされていない、またはマスク済み前記潜在音声表現（２１２ｕ、２１２ｍ）の対照コンテキストベクトル（３２２）を生成するように、かつ
複数の前記時間ステップの各々において、対応する前記対照コンテキストベクトル（３２２）と、対応する前記潜在音声表現（２１２）についての前記量子化器（３１０）によって生成済みの対応する前記ターゲット量子化ベクトルトークン（３１２）と、に基づき対照的な自己教師有り損失（３５５ａ）を導出するように、
構成されている、前記対照ネット（３２０）と、
マスク言語モデリング（ＭＬＭ）モジュール（３３０）であって、
複数の前記時間ステップの各々において、前記対照ネット（３２０）によって生成済みの、前記対照コンテキストベクトル（３２２）を入力として受け取るように、
複数の前記時間ステップの各々において、高レベルコンテキストベクトル（３３４）を生成するように、かつ
前記高レベルコンテキストベクトル（３３４）ごとに、対応する前記時間ステップにおいて、前記量子化器（３１０）によって生成済みの前記ターゲットトークンインデックス（３１４）に基づくクロスエントロピー損失（３５５ｂ）を使用することで、対応する前記時間ステップにおいて、前記ターゲットトークンインデックス（３１４）を予測するように学習するように、
構成されている、マスク言語モデリングＭＬＭモジュール（３３０）と、
デコーダ（３４０）であって、
複数の前記時間ステップの各々において、前記マスク言語モデリングＭＬＭモジュール（３３０）によって生成済みの前記高レベルコンテキストベクトル（３３４）を入力として受け取るように、かつ
前記発話（３０２、３０４）に対する音声認識仮説（３４２）を予測するように、
構成されている、前記デコーダ（３４０）と、を備えており、
多言語自動音声認識ＡＳＲモデル（２００）は、
前記対照的な自己教師有り損失（３５５ａ）および前記クロスエントロピー損失（３５５ｂ）に基づく教師無し損失（３５５）と、
予測済みの前記音声認識仮説（３４２）と、前記発話（３０２、３０４）のグラウンドトゥルース転写（３０６）と、に基づく教師有り損失（３６５）と、
に基づきトレーニングされる、ＪＵＳＴフレームワーク（３００）。

【請求項2】

前記特徴エンコーダ（３１１）は、２つの畳み込みニューラルネットワーク（ＣＮＮ）ブロックを備えている、
請求項１に記載のＪＵＳＴフレームワーク（３００）。

【請求項3】

前記潜在音声表現（２１１）の前記サブセットをマスクする工程は、前記潜在音声表現（２１２）の前記サブセットにおける各々の前記潜在音声表現（２１２）を、対応するランダムベクトルにランダムに置き換える工程を備えている、
請求項１または２に記載のＪＵＳＴフレームワーク（３００）。

【請求項4】

前記対照ネット（３２０）によって導出済みの前記対照的な自己教師有り損失（３５５ａ）は、前記潜在音声表現（２１２ｍ）のマスク済みサブセットからのマスク済み前記潜在音声表現（２１２ｍ）に対応する、前記コードブック（３１５）に記憶された前記ターゲット量子化ベクトルトークン（３１２）から均一にサンプリングされたＫ個の負のサンプル／ディストラクタにさらに基づく、
請求項１～３のいずれか１項に記載のＪＵＳＴフレームワーク（３００）。

【請求項5】

前記教師無し損失（３５５）は、前記コードブック（３１５）に関連付けられたエントロピーベースの多様性損失にさらに基づく、
請求項１～４のいずれか１項に記載のＪＵＳＴフレームワーク（３００）。

【請求項6】

前記多言語自動音声認識ＡＳＲモデル（２００）は、複数の異なる言語で話された前記発話（３０２、３０４）をトレーニングすることでトレーニングされる、
請求項１～５のいずれか１項に記載のＪＵＳＴフレームワーク（３００）。

【請求項7】

前記多言語自動音声認識ＡＳＲモデル（２００）をトレーニングする工程は、先の事前トレーニングを行なわずに前記多言語自動音声認識ＡＳＲモデル（２００）をトレーニングする工程を備えている、
請求項１～６のいずれか１項に記載のＪＵＳＴフレームワーク（３００）。

【請求項8】

前記多言語自動音声認識ＡＳＲモデル（２００）をトレーニングする工程は、事前トレーニング済みのチェックポイントから前記多言語自動音声認識ＡＳＲモデル（２００）を微調整する工程を備えている、
請求項１～６のいずれか１項に記載のＪＵＳＴフレームワーク（３００）。

【請求項9】

前記多言語自動音声認識ＡＳＲモデル（２００）をトレーニングする工程は、前記多言語自動音声認識ＡＳＲモデル（２００）を前記教師無し損失（３５５）および前記教師有り損失（３６５）で共同してトレーニングする工程を備えている、
請求項１～８のいずれか１項に記載のＪＵＳＴフレームワーク（３００）。

【請求項10】

前記教師有り損失（３６５）は、リカレントニューラルネットワークトランスデューサ（ＲＮＮ－Ｔ）損失を備えている、
請求項１～９のいずれか１項に記載のＪＵＳＴフレームワーク（３００）。

【請求項11】

コンピュータ実装方法（４００）であって、データ処理ハードウェア（５１０）によって実行されると、前記データ処理ハードウェア（５１０）に、
音声の発話（３０２、３０４）に対応するオーディオ特徴（１１０）を受け取る工程と、
複数の時間ステップの各々において、前記オーディオ特徴（１１０）に基づき潜在音声表現（２１２）を生成する工程と、
複数の前記時間ステップの各々において、対応する前記潜在音声表現（２１２）に対するターゲット量子化ベクトルトークン（３１２）およびターゲットトークンインデックス（３１４）を生成するとともに、前記ターゲットトークンインデックス（３１４）が、対応する前記潜在音声表現（２１２）を、コードブック（３１５）に記憶された前記ターゲット量子化ベクトルトークン（３１２）にマッピングする工程と、
複数の前記時間ステップの各々において、対応するマスクされていない、またはマスク済み潜在音声表現（２１２ｕ、２１２ｍ）の対照コンテキストベクトル（３２２）を生成する工程と、
複数の前記時間ステップの各々において、対応する前記対照コンテキストベクトル（３２２）および対応する前記ターゲット量子化ベクトルトークン（３１２）に基づき対照的な自己教師有り損失（３５５ａ）を導出する工程と、
複数の前記時間ステップの各々において、前記対照コンテキストベクトル（３２２）に基づき高レベルコンテキストベクトル（３３４）を生成する工程と、
前記高レベルコンテキストベクトル（３３４）ごとに、対応する前記時間ステップにおいて、前記ターゲットトークンインデックス（３１４）に基づくクロスエントロピー損失（３５５ｂ）を使用することで、前記ターゲットトークンインデックス（３１４）を予測するように学習する工程と、
前記高レベルコンテキストベクトル（３３４）に基づき前記発話（３０２、３０４）に対する音声認識仮説（３４２）を予測する工程と、
前記対照的な自己教師有り損失（３５５ａ）と前記クロスエントロピー損失（３５５ｂ）とに基づく教師無し損失（３５５）と、予測済みの前記音声認識仮説（３４２）と前記発話（３０２、３０４）のグラウンドトゥルース転写（３０６）とに基づく教師有り損失（３６５）と、を使用することで多言語自動音声認識ＡＳＲモデル（２００）をトレーニングする工程と、を備えている、動作を実行させる、
コンピュータ実装方法（４００）。

【請求項12】

前記潜在音声表現（２１２）を生成する工程は、特徴エンコーダ（３１１）によって、複数の前記時間ステップの各々において、前記潜在音声表現（２１２）を生成する工程を備えており、前記特徴エンコーダ（３１１）は、２つの畳み込みニューラルネットワーク（ＣＮＮ）ブロックを備えている、
請求項１１に記載のコンピュータ実装方法（４００）。

【請求項13】

前記動作は、前記潜在音声表現（２１２）のサブセットにおける各々の前記潜在音声表現（２１２）を、対応するランダムベクトルとでランダムに置き換えることによって前記潜在音声表現（２１２）の前記サブセットをマスクする工程、をさらに備えている、
請求項１１または１２に記載のコンピュータ実装方法（４００）。

【請求項14】

前記対照的な自己教師有り損失（３５５ａ）は、前記潜在音声表現（２１１ｍ）のマスク済みサブセットからのマスク済み前記潜在音声表現（２１１ｍ）に対応する、前記コードブック（３１５）に記憶された前記ターゲット量子化ベクトルトークン（３１２）から均一にサンプリングされたＫ個の負のサンプル／ディストラクタにさらに基づく、
請求項１１～１３のいずれか１項に記載のコンピュータ実装方法（４００）。

【請求項15】

前記教師無し損失（３５５）は、前記コードブック（３１５）に関連付けられたエントロピーベースの多様性損失にさらに基づく、
請求項１１～１４のいずれか１項に記載のコンピュータ実装方法（４００）。

【請求項16】

前記多言語自動音声認識ＡＳＲモデル（２００）は、複数の異なる言語で話された前記発話（３０２、３０４）をトレーニングすることでトレーニングされる、
請求項１１～１５のいずれか１項に記載のコンピュータ実装方法（４００）。

【請求項17】

前記多言語自動音声認識ＡＳＲモデル（２００）をトレーニングする工程は、先の事前トレーニングを行なわずに前記多言語自動音声認識ＡＳＲモデル（２００）をトレーニングする工程を備えている、
請求項１１～１６のいずれか１項に記載のコンピュータ実装方法（４００）。

【請求項18】

前記多言語自動音声認識ＡＳＲモデル（２００）をトレーニングする工程は、事前トレーニング済みのチェックポイントから前記多言語自動音声認識ＡＳＲモデル（２００）を微調整する工程を備えている、
請求項１１～１６のいずれか１項に記載のコンピュータ実装方法（４００）。

【請求項19】

前記多言語自動音声認識ＡＳＲモデル（２００）をトレーニングする工程は、前記多言語自動音声認識ＡＳＲモデル（２００）を前記教師無し損失（３５５）および前記教師有り損失（３６５）で共同してトレーニングする工程を備えている、
請求項１１～１８のいずれか１項に記載のコンピュータ実装方法（４００）。

【請求項20】

前記教師有り損失（３６５）は、リカレントニューラルネットワークトランスデューサ（ＲＮＮ－Ｔ）損失を備えている、
請求項１１～１９のいずれか１項に記載のコンピュータ実装方法（４００）。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、多言語自動音声認識（ＡＳＲ）の教師無しおよび教師有り共同（ジョイント＿アンスーパーバイズド＿アンド＿スーパーバイズド）トレーニングに関する。

【背景技術】

【0002】

自動音声認識（ＡＳＲ：オートマティックスピーチレコグニション）は、オーディオ入力を取得することでテキストに転写（トランスクライブ、書き起こし）する処理であり、モバイルデバイスおよびその他のデバイスで使用される重要な技術である。一般に、自動音声認識ＡＳＲは、オーディオ入力（たとえば、音声発話）を取得するとともに、そのオーディオ入力をテキストに転写することで、人が言った内容の正確な転写（トランスクリプション、書き起こし）を提供しようとする。最新の自動音声認識ＡＳＲモデルは、ディープ（深層）ニューラルネットワークの継続的な開発に基づき、精度（たとえば、低い単語誤り率（ＷＥＲ））および遅延（たとえば、ユーザの発話と転写との間の遅延）の両方の性能を継続的に改善させている。

【発明の概要】

【発明が解決しようとする課題】

【0003】

しかしながら、ディープラーニングベースの自動音声認識ＡＳＲモデルを開発する際の課題の１つは、自動音声認識ＡＳＲモデルのパラメータがトレーニングデータに過剰適合する傾向があることで、その結果、トレーニングデータが十分に広範囲ではない場合、自動音声認識ＡＳＲモデルが見ていないデータを一般化することが困難になることである。その結果、一層大きなトレーニングデータセットで自動音声認識ＡＳＲモデルをトレーニングすると、自動音声認識ＡＳＲモデルの精度が改善する。ラベル無しトレーニングデータとラベル付きトレーニングデータとを組み込むことで、自動音声認識ＡＳＲモデルをトレーニングするべく使用されるトレーニングデータの量を増やすことができる。

【課題を解決するための手段】

【0004】

本開示の１つの態様は、多言語自動音声認識（ＡＳＲ）モデルをトレーニングするための、教師無しおよび教師有りの共同トレーニング（ＪＵＳＴ）フレームワークを提供する。教師無しおよび教師有り共同トレーニングＪＵＳＴフレームワークには、音声の発話に対応するオーディオ特徴（フィーチャ）を入力として受け取ることで、かつ複数の時間ステップの各々で潜在音声表現（ラテントスピーチレプリゼンテーション）を生成するように構成されている特徴（フィーチャ）エンコーダが含まれる。教師無しおよび教師有り共同トレーニングＪＵＳＴフレームワークには、複数の時間ステップの各々において特徴エンコーダによって生成済みの潜在音声表現を入力として受け取るとともに、複数の時間ステップの各々において、特徴エンコーダによって生成済みの対応する潜在音声表現のターゲット量子化ベクトルトークンおよびターゲットトークンインデックスを生成するように構成されている量子化器（クオンタイザー）も含まれる。ここで、ターゲットトークンインデックスは、対応する潜在音声表現を、コードブックに記憶されたターゲット量子化ベクトルトークンにマッピングする。教師無しおよび教師有り共同トレーニングＪＵＳＴフレームワークは、潜在音声表現のサブセットをマスクした後、複数の時間ステップの各々において特徴エンコーダによって生成済みの潜在音声表現を入力として受け取ることで、複数の時間ステップの各々において、対応するマスクされていない、またはマスク済み潜在音声表現の対照（コントラスティブ）コンテキストベクトルを生成するとともに、複数の時間ステップの各々において、対応する対照コンテキストベクトルと、対応する潜在音声表現についての量子化器によって生成済みの対応するターゲット量子化ベクトルトークンと、に基づき対照的な自己教師有り損失（セルフスーパーバイズドロス）を導出するように構成されている対照（コントラスティブ）ネットも備えている。教師無しおよび教師有り共同トレーニングＪＵＳＴフレームワークは、複数の時間ステップの各々において対照ネットによって生成済みの対照コンテキストベクトルを入力として受け取ることで、複数の時間ステップの各々において高レベルコンテキストベクトルを生成するとともに、高レベルコンテキストベクトルごとに、対応する時間ステップにおいて量子化器によって生成済みのターゲットトークンインデックスに基づくクロスエントロピー損失を使用することで、対応する時間ステップにおけるターゲットトークンインデックスを予測するように学習するように構成されているマスク言語モデリング（ＭＬＭ）モジュールも備えている。教師無しおよび教師有り共同トレーニングＪＵＳＴフレームワークは、マスク言語（マスクドランゲージ）モデリングＭＬＭモジュールによって複数の時間ステップの各々で生成済みの高レベルコンテキストベクトルを入力として受け取ることで、発話に対する音声認識仮説を予測するように構成されているデコーダも備えている。ここで、教師無しおよび教師有り共同トレーニングＪＵＳＴフレームワークでは、クロスエントロピー損失と対照的な自己教師有り損失とに基づく教師無し損失と、予測済みの音声認識仮説と発話のグラウンドトゥルース転写とに基づく教師有り損失と、において多言語自動音声認識ＡＳＲモデルをトレーニングする。

【0005】

本開示の実施態様には、以下の任意選択の特徴の１つまたは複数が含まれる場合がある。いくつかの実施態様では、特徴エンコーダは２つの畳み込みニューラルネットワーク（ＣＮＮ）ブロックを備えている。いくつかの例では、潜在音声表現のサブセットをマスクする工程は、潜在音声表現のサブセットにおける各々の潜在音声表現を、対応するランダムベクトルにランダムに置き換える工程を備えている。対照ネットによって導出済みの対照的な自己教師有り損失は、潜在表現（潜在音声表現）のマスク済みサブセットからのマスク済み潜在音声表現に対応する、コードブックに記憶されたターゲット量子化ベクトルトークンから均一にサンプリングされたＫ個の負のサンプル／ディストラクタにさらに基づくものであってよい。

【0006】

いくつかの実施態様では、教師有り損失は、コードブックに関連付けられたエントロピーベースの多様性損失（ダイバーシティロス）にさらに基づく。多言語自動音声認識ＡＳＲモデルは、複数の異なる言語で話された発話をトレーニングすることでトレーニングされる。いくつかの例では、多言語自動音声認識ＡＳＲモデルのトレーニングは、先（プライアー）の事前トレーニング（プレ訓練）を行なわずに多言語自動音声認識ＡＳＲモデルのトレーニングを行なう工程を備えている。他の例では、多言語自動音声認識ＡＳＲモデルのトレーニングは、事前トレーニング済みのチェックポイントから多言語自動音声認識ＡＳＲモデルを微調整（ファインチューニング）する工程を備えている。いくつかの実施態様では、多言語自動音声認識ＡＳＲモデルのトレーニングは、多言語自動音声認識ＡＳＲモデルを教師無し損失および教師有り損失で共同して（ジョイントして）トレーニングする工程を備えている。教師有り損失は、リカレントニューラルネットワークトランスデューサ（ＲＮＮ－Ｔ）損失を含み得る。

【0007】

本開示の別の態様は、データ処理ハードウェアと、データ処理ハードウェア上で実行されるとデータ処理ハードウェアに動作を実行させる命令を記憶するメモリハードウェアと、を備えているシステムを提供する。動作は、音声の発話に対応するオーディオ特徴を受け取ることで、かつ複数の時間ステップの各々において、オーディオ特徴に基づき潜在音声表現を生成する工程を備えている。動作は、複数の時間ステップの各々において、対応する潜在音声表現のターゲット量子化ベクトルトークンおよびターゲットトークンインデックスを生成する工程も備えている。ターゲットトークンインデックスは、対応する潜在音声表現をコードブックに記憶されたターゲット量子化ベクトルトークンにマッピング（写像）する。動作は、複数の時間ステップの各々において、対応するマスクされていない、またはマスク済み潜在音声表現の対照コンテキストベクトルを生成する工程も備えている。動作は、複数の時間ステップの各々において、対応する対照ベクトルおよび対応するターゲット量子化ベクトルトークンに基づき対照的な自己教師有り損失を導出する工程も備えている。動作はまた、複数の時間ステップの各々において、対照コンテキストベクトルに基づき高レベルコンテキストベクトルを生成する工程と、各々の高レベルコンテキストベクトルについて、ターゲットトークンインデックスに基づくクロスエントロピー損失を使用することで対応する時間ステップでターゲットトークンインデックスを予測するように学習する工程と、を備えている。動作はまた、高レベルコンテキストベクトルに基づき発話の音声認識仮説を予測する工程と、かつ、対照的な自己教師有り損失とクロスエントロピー損失とに基づく教師無し損失と、予測済みの音声認識仮説と発話のグラウンドトゥルース転写とに基づく教師有り損失と、を使用することで多言語自動音声認識（ＡＳＲ）モデルをトレーニングする工程と、も備えている。

【0008】

本開示の実施態様には、以下の任意選択の特徴の１つまたは複数が含まれる場合がある。いくつかの実施態様では、潜在音声表現を生成する工程は、特徴エンコーダによって、複数の時間ステップの各々において潜在音声表現を生成する工程を備えている。特徴エンコーダは、２つの畳み込みニューラルネットワーク（ＣＮＮ）ブロックを備えている。動作は、潜在音声表現のサブセットにおける各々の潜在音声表現を、対応するランダムベクトルにランダムに置き換えることによって潜在音声表現のサブセットをマスクする工程、をさらに備えている。いくつかの例では、対照的な自己教師有り損失は、潜在音声表現のマスク済みサブセットからのマスク済み潜在音声表現に対応する、コードブックに記憶されたターゲット量子化ベクトルトークンから均一にサンプリングされたＫ個の負のサンプル／ディストラクタにさらに基づく。

【0009】

いくつかの実施態様では、教師無し損失は、コードブックに関連付けられたエントロピーベースの多様性損失にさらに基づく。多言語自動音声認識ＡＳＲモデルは、複数の異なる言語で話された発話をトレーニングすることでトレーニングされ得る。いくつかの例では、多言語自動音声認識ＡＳＲモデルのトレーニングは、先の事前トレーニングを行なわずに多言語自動音声認識ＡＳＲモデルのトレーニングを行なう工程を備えている。多言語自動音声認識ＡＳＲモデルをトレーニングする工程は、事前トレーニング済みのチェックポイントから多言語自動音声認識ＡＳＲモデルを微調整する工程を含み得る。いくつかの実施態様では、多言語自動音声認識ＡＳＲモデルをトレーニングする工程は、多言語自動音声認識ＡＳＲモデルを教師無し損失および教師有り損失で共同してトレーニングする工程を備えている。いくつかの例では、教師有り損失は、リカレントニューラルネットワークトランスデューサ（ＲＮＮ－Ｔ）損失を備えている。

【0010】

本開示の１つまたは複数の実施態様の詳細は、添付の図面および以下の説明において述べられる。他の態様、特徴、および利点、は説明および図面ならびに請求項から明らかになるであろう。

【図面の簡単な説明】

【0011】

【図1】音声認識システムの一例の概略図である。

【図2】リカレントニューラルネットワークトランスデューサ（ＲＮＮ－Ｔ）モデルアーキテクチャの概略図である。

【図3A】音声認識モデルをトレーニングするためのトレーニング処理の一例の概略図である。

【図3B】音声認識モデルをトレーニングするためのトレーニング処理の一例の概略図である。

【図4】教師無しトレーニングおよび教師有りトレーニングを使用することで自動音声認識モデルを共同トレーニングする方法の動作の配列例を示すフローチャートである。

【図5】本明細書に記載のシステムおよび方法を実装するべく使用され得るコンピューティングデバイスの一例の概略図である。

【発明を実施するための形態】

【0012】

様々な図面における同様の参照記号は、同様の要素を指す。
事前トレーニング（プレ訓練）済みの自動音声認識（ＡＳＲ）モデルの使用は、大規模なラベル無しトレーニングデータから一般的な潜在表現（潜在音声表現）を学習するための効果的な方法であることが実証されている。自動音声認識ＡＳＲモデルを事前トレーニングすると、下流の微調整におけるトレーニングの複雑さが大幅に軽減される。ここで、微調整（ファインチューニング）とは、自動音声認識ＡＳＲモデルが既にラベル無しトレーニングデータを使用することで事前トレーニングされているので、事前トレーニング済みの自動音声認識ＡＳＲモデルに対して小さなラベル付きトレーニングデータセットを使用することで教師有りトレーニングを実行することを指す。よって、自動音声認識ＡＳＲモデルが事前トレーニングされた後、事前トレーニング済みの自動音声認識ＡＳＲモデルは、より小さいおよび／またはより多様性の低いラベル付きトレーニングデータセットのみを使用することでトレーニング（すなわち、微調整トレーニング）され得る。特に、事前トレーニング済みの自動音声認識ＡＳＲモデルを、より小さなラベル付きトレーニングデータセットを使用することで微調整すると、事前トレーニングを受けずに一層大規模なおよび／または一層多様なラベル付きトレーニングデータセットを使用することでトレーニングする自動音声認識ＡＳＲモデルとで同等（またはそれ以上）の性能（パフォーマンス）が得られる。

【0013】

自動音声認識ＡＳＲモデルの事前トレーニングは通常、２段階のアプローチを備えている。第１段階では、自動音声認識ＡＳＲモデルは、ラベル無しトレーニングデータから導出済みの自己教師有り損失を使用することでトレーニングすることで一般的な潜在音声表現を学習する。その後、第２段階では、自動音声認識ＡＳＲモデルは教師有り損失に基づき、トレーニングを微調整する。ここで、自動音声認識ＡＳＲモデルはラベル無しトレーニングデータを使用することで既に事前トレーニングされているので、トレーニングの第２段階では、ラベル付きトレーニングデータ（すなわち、対応するラベル付きの転写を有しているオーディオデータ）の小さなセットのみが必要になる。この２段階のトレーニングアプローチはシーケンスモデリングでは成功していることが証明されているが、このアプローチにはいくつかの問題がある。たとえば、事前トレーニング済みモデルは壊滅的忘却（カタストロフィックフォーゲッティング）の影響を受けやすくなる。つまり、事前トレーニング済みモデルは、ラベル無しトレーニングデータを使用するトレーニングの第１段階で以前に学習済みの潜在音声表現を、忘れてしまう場合がある。言い換えれば、第２段階で教師有り損失を使用することで自動音声認識ＡＳＲモデルをトレーニングすると、第１段階のトレーニングで学習済みの潜在音声表現が上書きされるので、それによって、第１段階で自動音声認識ＡＳＲモデルを事前トレーニングすることで受けられるいずれの利益も減少する場合がある。以前に学習済みの潜在音声表現を忘れることは、ラベル付きトレーニングデータセットが大きいときに特によく起こる。

【0014】

２段階のトレーニングアプローチに関するもう１つの問題は、事前トレーニング済みのチェックポイントの選択である。事前トレーニング済みのチェックポイントは、自動音声認識ＡＳＲモデルの事前トレーニング（すなわち、第１段階）が終了しているとともに、微調整トレーニング（すなわち、第２段階）が開始されるポイントである。よって、事前トレーニング済みのチェックポイントは、自動音声認識ＡＳＲモデルが受ける事前トレーニングの量に基づき変化する。とりわけ、事前トレーニングをいつ停止するとともに微調整トレーニングを開始するかを決定することが問題である。特に、事前トレーニングを行ない過ぎると、実際に自動音声認識ＡＳＲモデルの性能が低下する虞がある。他方では、事前トレーニングが少な過ぎると、自動音声認識ＡＳＲモデルの性能が低下する虞もある。さらに、多言語自動音声認識ＡＳＲモデルでは、多言語トレーニングデータセットの互いに異なる言語同士のバランスが崩れていることが多いので、事前トレーニング済みのチェックポイントの選択の問題はより一層重大である。

【0015】

それ故に、本明細書における実施態様は、教師無しおよび教師有り共同トレーニング（ＪＵＳＴ）処理を使用することで、自動音声認識（ＡＳＲ）モデルをトレーニングすることに向けられている。教師無しおよび教師有り共同トレーニングＪＵＳＴ処理では、自動音声認識ＡＳＲモデルを最初からトレーニングする（つまり、いずれの事前トレーニングも受けていない自動音声認識ＡＳＲモデル）ことも、事前トレーニング済みの自動音声認識ＡＳＲモデルを事前トレーニング済みのチェックポイントからトレーニングすることも、行なってよい。さらに、教師無しおよび教師有り共同トレーニングＪＵＳＴ処理は、単一言語または多言語の自動音声認識ＡＳＲモデルをトレーニングしてもよい。明らかになるように、教師無しおよび教師有り共同トレーニングＪＵＳＴ処理は、クロスエントロピー損失および自己教師有り損失から導出済みの教師無し損失と、予測済みの音声認識仮説およびグラウンドトゥルース転写から導出済みの教師有り損失と、を使用することで自動音声認識ＡＳＲモデルをトレーニングする。

【0016】

図１は、ユーザ１０４のユーザデバイス１０２上、および／またはユーザデバイス１０２に通信するリモートコンピューティングデバイス２０１（たとえば、クラウドコンピューティング環境で実行される分散システムの１つまたは複数のサーバ）上に存在する自動音声認識ＡＳＲモデル２００を実装する自動音声認識（ＡＳＲ）システム１００を示す。ユーザデバイス１０２はモバイルコンピューティングデバイス（たとえば、スマートフォン）として示されているが、ユーザデバイス１０２は、タブレットデバイス、ラップトップ／デスクトップコンピュータ、ウェアラブルデバイス、デジタルアシスタントデバイス、スマートスピーカー／ディスプレイ、スマート器具、車載インフォテインメントシステム、またはモノのインターネット（ＩｏＴ）デバイス、などこれらに限定されないいずれのタイプのコンピューティングデバイスにも対応し得、データ処理ハードウェア１１１およびメモリハードウェア１１３を備えている。

【0017】

ユーザデバイス１０２は、ユーザ１０４が話した発話１０６を受け取るとともに（たとえば、ユーザデバイス１０２は、発した発話１０６を記録するための１つまたは複数のマイクロフォンを含み得る）、かつ、発話１０６を、自動音声認識ＡＳＲシステム１００によって処理可能な入力音響フレーム（すなわち、オーディオ特徴）１１０に関連付けられた対応するデジタルフォーマットに変換するように構成されているオーディオサブシステム１０８を備えている。示されている例では、ユーザは「ニューヨーク市の天気はどうですか？」（ワットイズザウェザーインニューヨークシティ）というフレーズについて、英語の自然言語で各々の発話１０６を話しているので、オーディオサブシステム１０８は、発話１０６を対応する音響フレーム１１０に変換することで自動音声認識ＡＳＲシステム１００に入力する。その後、自動音声認識ＡＳＲモデル２００は、発話１０６に対応する音響フレーム１１０を入力として受け取ることで、発話１０６の対応する転写１２０（たとえば、認識結果／仮説）を出力として生成／予測する。示されている例では、ユーザデバイス１０２および／またはリモートコンピューティングデバイス２０１は、発話１０６の転写１２０の表現をユーザデバイス１０２のユーザ１０４に提示するように構成されているユーザインタフェース生成器１０７も実行する。いくつかの構成では、自動音声認識ＡＳＲシステム１００から出力済みの転写１２０は、たとえば、ユーザデバイス１０２またはリモートコンピューティングデバイス２０１上で実行される自然言語理解（ＮＬＵ）モジュールによって処理されることで、ユーザコマンドが実行される。さらにまたは代替的には、テキスト読み上げシステム（たとえば、ユーザデバイス１０２またはリモートコンピューティングデバイス２０１の任意の組合せで実行される）は、転写を合成音声に変換することで別のデバイスで聞こえるように出力し得る。たとえば、元の発話１０６は、ユーザ１０４が友人に送るメッセージに対応し得、そのメッセージでは、転写１２０が合成音声に変換されることで、元の発話１０６で伝えられたメッセージを友人が聞くために聞こえるように出力される。

【0018】

図２を参照すると、例示の自動音声認識ＡＳＲモデル２００は、対話型アプリケーションに関連付けられた遅延制約に準拠したリカレントニューラルネットワークトランスデューサ（ＲＮＮ－Ｔ）モデルアーキテクチャを備えているフレームアライメントベースのトランスデューサモデル２００であってよい。ＲＮＮ－Ｔモデルアーキテクチャの使用は例示的なものであり、フレームアライメントベースのトランスデューサモデル２００は、とりわけトランスフォーマトランスデューサ、コンフォーマトランスデューサ、およびコンフォーマエンコーダモデルアーキテクチャ、などの他のアーキテクチャを含み得る。ＲＮＮ－Ｔモデル２００は、計算フットプリントが小さいとともに、従来の自動音声認識ＡＳＲアーキテクチャよりも利用するメモリ要件も少ないので、ＲＮＮ－Ｔモデルアーキテクチャは、ユーザデバイス１０２上で完全に音声認識を実行するのに適している（たとえば、リモートサーバとの通信は不要である）。ＲＮＮ－Ｔモデル２００は、エンコーダネットワーク２１０、予測ネットワーク２２０、および共同ネットワーク２３０、を備えている。従来の自動音声認識ＡＳＲシステムの音響モデル（ＡＭ）にほぼ類似したエンコーダネットワーク２１０は、積み重なったセルフアテンション層（たとえば、コンフォーマ層またはトランスフォーマ層）、または積み重ねられた長短期記憶（ＬＳＴＭ）層、の回帰ネットワークを備えている。たとえば、エンコーダネットワーク２１０は、ｄ次元特徴ベクトルのシーケンス（たとえば、音響フレーム１１０（図１））ｘ＝（ｘ_１，ｘ_２，…，ｘ_Ｔ）、式中ｘ_ｔ∈Ｒ_ｄ（Ｒは白抜き文字）を読み取ることで、各々の出力ステップで高次特徴表現を生成する。この高次特徴表現は、

【0019】

【数1】

【0020】

と記載される。
同様に、予測ネットワーク２２０もＬＳＴＭネットワークであり、言語モデル（ＬＭ）とで同様に、最終ソフトマックス層２４０によってこれまでに出力済みの非空白記号のシーケンスｙ_０，…，ｙ_ｕｉ－１，を密な表現

【0021】

【数2】

【0022】

に変換する。最後に、ＲＮＮ－Ｔモデルアーキテクチャでは、エンコーダネットワーク２１０および予測／デコーダネットワーク２２０によって生成済みの表現が、共同ネットワーク２３０によって結合される。予測ネットワーク２２０は、埋め込みルックアップテーブルに置き換えられて、高密度表現を処理する代わりにルックアップされた疎埋め込みを出力することによって遅延を改善し得る。次いで、共同ネットワーク２３０は、次の出力記号上の分布である

【0023】

【数3】

【0024】

を予測する。言い換えれば、共同ネットワーク２３０は、各々の出力ステップ（たとえば、時間ステップ）で、考えられる音声認識仮説の確率分布を生成する。ここで、「考えられる音声認識仮説」（ポッシブルスピーチレコグニションヒポセシス）は、指定された自然言語の記号／文字を各々表現する出力ラベルのセットに対応する。たとえば、自然言語が英語の場合、出力ラベルのセットには、英語のアルファベットの２６文字の各々に１つのラベルと、スペースを明示する１つのラベルと、などの２７個の記号が含まれる場合がある。それ故に、共同ネットワーク２３０は、所定の出力ラベルのセットの各々の発生確率を示す値のセットを出力し得る。この値のセットはベクトルであり得、出力ラベルのセットにわたる確率分布を示すことができる。場合によっては、出力ラベルは書記素（たとえば、個々の文字、ならびに潜在的に句読点およびその他の記号）であるが、出力ラベルのセットはそのように制限されない。たとえば、出力ラベルのセットは、書記素（グラフェム）に加えてまたは書記素の代わりに、単語片（ワードピース）および／または単語（ワード）全体を備えていることができる。共同ネットワーク２３０の出力分布は、異なる出力ラベルの各々に対する事後確率値を備えていることができる。よって、異なる書記素または他の記号を表す１００個の異なる出力ラベルがある場合、共同ネットワーク２３０の出力ｙ_ｉは、出力ラベルごとに１つずつ、１００個の異なる確率値を備えていることができる。次いで、確率分布を使用することで、ビームサーチ処理（たとえば、ソフトマックス層２４０によって）で候補正字法（オルソグラフィック）要素（たとえば、書記素（グラフェム）、単語片（ワードピース）、および／または単語（ワード））を選択するとともにこれにスコアを割り当てることで、転写（トランスクリプションん、書き起こし）１２０を決定することができる。

【0025】

ソフトマックス層２４０は、分布内で最も高い確率を持つ出力ラベル／記号を、対応する出力ステップでＲＮＮ－Ｔモデル２００によって予測される次の出力記号として選択するべく、任意の手法を採用することができる。このように、ＲＮＮ－Ｔモデル２００は条件付き独立性の仮定を行なわず、各記号の予測は音響だけでなく、これまでに出力済みのラベルのシーケンスにも条件付けられる。ＲＮＮ－Ｔモデル２００は、出力記号が将来の音響フレーム１１０から独立していると想定しており、これによって、ＲＮＮ－Ｔモデルをストリーミング方式で採用することができる。

【0026】

いくつかの例では、ＲＮＮ－Ｔモデル２００のエンコーダネットワーク２１０には、コンフォーマブロックなどのセルフアテンション（自己注意）層／ブロックのスタックが含まれる。ここで、各コンフォーマブロックは、一連のマルチヘッドセルフアテンション、深さ方向の畳み込み、およびフィードフォワード層を備えている。エンコーダネットワーク２１０には、セルフアテンション層／セルフアテンションブロックの代わりにＬＳＴＭ層が含まれる場合がある。

【0027】

予測ネットワーク２２０には、２０４８次元のＬＳＴＭ層が２つあり、各層の後には６４０次元の投影層が続く。あるいは、予測ネットワーク２２０には、ＬＳＴＭ層の代わりに、トランスフォーマブロックまたはコンフォーマブロックのスタック、または埋め込みルックアップテーブル、が含まれる場合がある。最後に、共同ネットワーク２３０には６４０個の隠れユニットが存在する場合もある。ソフトマックス層２４０は、複数のトレーニングデータセット内のすべての一意の単語片または書記素を使用することで生成される統合された単語片または書記素セットで構成され得る。

【0028】

図３Ａおよび図３Ｂは、自動音声認識ＡＳＲモデル２００（図２）をトレーニングするための教師無しおよび教師有り共同トレーニングＪＵＳＴのトレーニング処理３００の一例を示す。自動音声認識ＡＳＲモデル２００は、多言語自動音声認識ＡＳＲモデルであってもよいし、単一言語自動音声認識ＡＳＲモデルであってもよい。いくつかの実施形態では、例示の教師無しおよび教師有り共同トレーニングＪＵＳＴのトレーニング処理３００（単に「トレーニング処理３００」とも呼ばれる）は、トレーニングされていない自動音声認識ＡＳＲモデル２００をトレーニングする。つまり、トレーニング処理３００は、まだ事前トレーニングされていない自動音声認識ＡＳＲモデル２００をトレーニングする。他の例では、トレーニング処理３００は、事前トレーニング済みのチェックポイントから、事前トレーニング済みの自動音声認識ＡＳＲモデル２００をトレーニングする。ここでは、自動音声認識ＡＳＲモデル２００はすでに事前トレーニングされているので、トレーニング処理３００は事前トレーニング済みのチェックポイントから、事前トレーニング済みの自動音声認識ＡＳＲモデルを微調整する。

【0029】

トレーニング処理３００は、未転写音声発話（つまり、ラベル無しのトレーニングデータ）３０２のセットと、転写済み音声発話（つまり、ラベル付きトレーニングデータ）３０４のセットと、を備えている利用可能なトレーニングデータを使用することで、自動音声認識ＡＳＲモデル２００をトレーニングし得る。各未転写音声発話３０２には、オーディオのみのデータ（つまり、ペアになっていないデータ）が含まれているので、未転写音声発話３０２は、いずれの対応する転写ともペアになっていない。一方、各転写済み音声発話３０４には、各々転写済み音声発話３０４の対応する音声表現とでペアになった対応するグラウンドトゥルース転写３０６（すなわち、ペアになったデータ）が含まれる。さらに、未転写音声発話３０２のセットおよび転写済み音声発話３０４のセットには、各々、非合成音声表現か、テキスト発話（図示せず）を使用することでテキスト読み上げ（ＴＴＳ：テキストツースピーチ）システムによって生成済みの合成音声表現か、またはそれらの組合せか、のいずれかが含まれる場合がある。いくつかの例では、未転写音声発話３０２のセットおよび転写済み音声発話３０４のセットには各々、多言語自動音声認識ＡＳＲモデルをトレーニングするための複数の異なる言語で話された発話が含まれている。

【0030】

明瞭化するべく、トレーニング処理３００には、教師無し損失部分３００ａ（図３Ａ）と教師有り損失部分３００ｂ（図３Ｂ）とが含まれる。トレーニング処理３００は、教師無し損失部分３００ａからの教師無し損失３５５（図３Ａ）と、教師有り損失部分３００ｂからの教師有り損失３６５（図３Ｂ）と、に基づき自動音声認識ＡＳＲモデル２００をトレーニングする。いくつかの例では、トレーニング処理３００は、教師無し損失３５５および教師有り損失３６５を共同で使用することで自動音声認識ＡＳＲモデル２００をトレーニングする。

【0031】

図３Ａおよび図３Ｂを引き続き参照すると、教師無し損失部分３００ａおよび教師有り損失部分３００ｂは両方とも、特徴エンコーダ３１１、マスキングモジュール２１５、対照ネット３２０、およびマスク言語モデリング（ＭＬＭ）モジュール３３０、を備えている。ここで、トレーニング処理３００（つまり、教師無し損失部分３００ａおよび教師有り損失部分３００ｂ）は、未転写音声発話３０２のセット、転写済み音声発話３０４のセット、および／またはそれらの組合せ（図示せず）、を備えているトレーニングデータを使用することができる。他の例では、教師無し損失部分３００ａは、未転写音声発話３０２を使用することで自動音声認識ＡＳＲモデル２００をトレーニングしており、教師有り損失部分３００ｂは、転写済み音声発話３０４を使用することで自動音声認識ＡＳＲモデル２００をトレーニングする。

【0032】

特徴エンコーダ３１１は、入力として、未転写音声発話３０２の１つまたは転写済み音声発話３０４の１つに対応する入力オーディオ特徴／ベクトル

【0033】

【数4】

【0034】

のシーケンス（たとえば、図１の音響フレーム１１０のようなメル周波数スペクトログラム）を受け取るように構成されており、式中のＬはトレーニング音声発話の元の長さを表す。入力オーディオ特徴／ベクトルのシーケンスは、未転写音声発話３０２の１つまたは転写済み音声発話３０４の１つに関連付けられる。入力オーディオ特徴／ベクトルのシーケンスを受け取った後、特徴エンコーダ３１１は、複数の時間ステップＴの各々において、出力として潜在音声表現

【0035】

【数5】

【0036】

２１２を生成する。ここで、潜在音声表現２１２は、未転写音声発話３０２の１つ、または転写済み音声発話３０４の１つ、のうちの各々１つに対応する。いくつかの実施態様では、特徴エンコーダ３１１は、各々が３×３のフィルタサイズと、（２、２）のストライドと、を有している２つの畳み込みニューラルネットワーク（ＣＮＮ）ブロック（たとえば、２つの畳み込み層）を備えている。これらの実施態様では、２つのＣＮＮブロックのうちの第１ＣＮＮブロックには１２８個のチャネルが含まれ、２つのＣＮＮブロックのうちの第２ＣＮＮブロックには３２個のチャネルが含まれる。他の実施態様では、特徴エンコーダ３１１には、特徴の次元とシーケンス長とを４倍に縮小したサブサンプリングブロックが含まれる。

【0037】

特徴エンコーダ３１１から出力済みの潜在音声表現２１２は、マスキングモジュール２１５に送られてから、ここで潜在音声表現２１２の一部がランダムに選択されるとともに、すべてのマスキング済み時間ステップ同士間で共有されるトレーニング済みの特徴ベクトルに置き換えられることで、対応するマスキング済み潜在音声表現２１２、２１２ｍが提供される。代替的に、ランダムに選択済みの潜在音声表現２１２をランダム特徴ベクトルに置き換えることで、対応するマスク済み潜在音声表現２１２ｍが生成され得る。いくつかの例では、マスキングモジュール２１５は、開始インデックスとなるすべての時間ステップＴの一定の割合ｐを置換なしでランダムにサンプリングすることによって、ランダムに選択済みの潜在音声表現２１２をマスクしており、その後、すべてのサンプルインデックスから後続のＭ個の連続する時間ステップをマスクする。これによって、一部のスパン同士が重複する可能性がある。したがって、マスキングモジュール２１５は、潜在音声表現２１２の全体のセットのサブセットのみをマスクしており、その結果、マスク済み潜在音声表現２１２ｍのサブセットと、マスクされていない潜在音声表現２１２、２１２ｕのサブセットと、が生成される。

【0038】

対照（コントラスティブ）ネット３２０は、潜在音声表現２１２ｍのサブセットをマスクした後、複数の時間ステップの各々において特徴エンコーダ３１１によって生成済みの潜在音声表現２１２を入力として受け取るように構成されている。言い換えれば、対照ネット３２０は、マスク済み潜在音声表現２１２ｍのサブセットと、マスクされていない潜在音声表現２１２ｕのサブセットと、の両方を受け取る。その後、対照ネット３２０は、複数の時間ステップの各々において、対応するマスクされていない潜在音声表現２１２ｕまたは対応するマスク済み潜在音声表現２１２ｍの対照コンテキストベクトル

【0039】

【数6】

【0040】

３２２を生成する。対照ネット３２０には、各々がマルチヘッドセルフアテンションと、深さ方向畳み込みと、およびフィードフォワード層と、を備えたコンフォーマブロックのスタックが含まれる場合がある。たとえば、対照ネット３２０には８つのコンフォーマブロックが含まれ、各コンフォーマブロックには隠れ次元１０２４、８つのアテンションヘッド、およびサイズが５である畳み込みカーネル、が含まれる。

【0041】

ここで図３Ａを参照すると、いくつかの実施態様では、教師無し損失部分３００ａには、潜在音声表現２１２も受け取る量子化器３１０が含まれる。特に、量子化器３１０は、複数の時間ステップの各々において特徴エンコーダ３１１によって生成済みの潜在音声表現２１２を入力として受け取ることで、複数の時間ステップの各々において、出力として特徴エンコーダ３１１によって生成済みの対応する潜在音声表現２１２についてのターゲット量子化ベクトルトークン３１２およびターゲットトークンインデックス３１４を生成するように構成されている。このように、量子化器３１０は、マスキングを含まない潜在音声表現２１２を使用することで、ターゲット量子化ベクトルトークン（ｑ_ｉ）３１２およびターゲットトークンインデックス（ｙ_ｉ）３１４を生成する。ここで、量子化器３１０は

【0042】

【数7】

【0043】

に従ってターゲット量子化ベクトルトークン３１２を生成する。量子化器３１０は、すべての潜在音声表現２１２を、代表的なターゲット量子化ベクトルトークン（つまり、識別音声トークン）３１２に要約する。量子化器３１０によって生成済みの代表的なターゲット量子化ベクトルトークン３１２は、コードブック３１５と呼ばれる代表的なターゲット量子化ベクトルトークンの有限セットを表す。コードブック３１５は量子化器３１０に記憶されており、Ｖはコードブック３１５のサイズを表す。ターゲットトークンインデックス３１４は、対応する潜在音声表現２１２を、コードブック３１５に記憶されたターゲット量子化ベクトルトークン３１２の各々１つずつにマッピング（写像）する。さらに、コードブック３１５内の代表的なターゲット量子化ベクトルトークン３１２はすべて、トレーニング処理３００中に学習可能にされている。

【0044】

教師無し損失部分３００ａは、正と負の両方のトレーニング例を表現するべくコードブック３１５に依存する。したがって、トレーニング処理３００は、コードブック３１５に関連付けられたエントロピーベースの多様性損失（ダイバーシティロス）Ｌ_ｄを使用することで、コードブック３１５内の代表的なターゲット量子化ベクトルトークン３１２の使用を増加させる。つまり、トレーニング処理３００は、各コードブック（Ｇ）３１５のＶ個のエントリを均等に使用することを促進しており、それによって、次式で表されるトレーニング用発話のバッチ全体にわたって、各コードブック

【0045】

【数8】

【0046】

のコードブックエントリにわたって平均化されたソフトマックス分布のエントロピーを最大化する。

【0047】

【数9】

【0048】

いくつかの例では、トレーニング処理３００は、複数のコードブック３１５ではなく、単一のコードブック３１５を使用する。
マスク言語モデリングＭＬＭモジュール３３０は、複数の時間ステップの各々において対照ネット３２０によって生成済みの対照コンテキストベクトル３２２を入力として受け取ることで、複数の時間ステップの各々において高レベルコンテキストベクトル

【0049】

【数10】

【0050】

３３４を出力として生成するように構成されている。つまり、マスク言語モデリングＭＬＭモジュール３３０は、対照コンテキストベクトル３２２から高レベルのコンテキスト化された音声表現を抽出することによって、高レベルコンテキストベクトル３３４を生成する。各高レベルコンテキストベクトル３３４は、線形層によって生成済みのターゲットトークンインデックス予測を表す。マスク言語モデリングＭＬＭモジュール３３０には、各々が１０２４の隠れ次元、８つのアテンションヘッド、およびサイズが５である畳み込みカーネル、を持つ１６個のコンフォーマブロックのスタックが含まれる場合がある。

【0051】

いくつかの実施形態では、教師無し損失部分３００ａには、教師無し損失３５５を導出する教師無し損失モジュール３５０が含まれる。教師無し損失モジュール３５０は、対照ネット３２０（図示せず）上に存在してもよいし、マスク言語モデリングＭＬＭモジュール３３０上に存在してもよいし、独立したモジュール（たとえば、対照ネット３２０にもマスク言語モデリングＭＬＭモジュール３３０にも存在しない）であってもよい。教師無し損失モジュール３５０は、対照コンテキストベクトル３２２とターゲット量子化ベクトルトークン３１２とを受け取る。潜在音声表現２１２ごとに、教師無し損失モジュール３５０は、対照ネット３２０からの対応する対照コンテキストベクトル３２２と、量子化器３１０によって生成済みの対応するターゲット量子化ベクトルトークン３１２と、に基づき対照的な自己教師有り損失（３５５、３５５ａ）を導出する。教師無し損失モジュール３５０は、対照的な自己教師有り損失３５５ａ（Ｌ_ｃ）を次のように導出し得る。

【0052】

【数11】

【0053】

式（２）において、Ｌ_ｃは対照的な自己教師有り損失３５５ａを表しており、ｑ_ｉは正のサンプルとしてのターゲット量子化ベクトルトークン３１２を表しており、

【0054】

【数12】

【0055】

は、同じ発話内の他のマスク済み潜在音声表現２１２ｍのターゲット量子化ベクトルトークン（ｑ_ｊ）から均一にサンプリングされたＫ個の負のサンプル／ディストラクタを表す。さらに、式（２）において、ｓｉｍ（ａ，ｂ）はａとｂの間のコサイン類似度の指数を表す。したがって、教師無し損失モジュール３５０によって導出済みの対照的な自己教師有り損失３５５ａは、潜在音声表現２１２ｍのマスク済みサブセットからのマスク済み潜在音声表現２１２ｍに対応している、コードブック３１５に記憶されたターゲット量子化ベクトルトークン３１２から均一にサンプリングされたＫ個の負のサンプル／ディストラクタにさらに基づく。

【0056】

教師無し損失モジュール３５０はまた、ターゲットトークンインデックス３２４および高レベルコンテキストベクトル３３４を受け取る。ここで、潜在音声表現２１２ごとに、教師無し損失モジュール３５０は、対応するターゲットトークンインデックス３２４を、対応する高レベルコンテキストベクトル（つまり、ターゲットトークンインデックス予測）３３４とで比較することによって、クロスエントロピー損失（Ｌ_ｍ）（３５５、３５５ｂ）を判定する。したがって、高レベルコンテキストベクトル３３４ごとに、マスク言語モデリングＭＬＭモジュール３３０は、対応する時間ステップにおいて量子化器３１０によって生成済みのターゲットトークンインデックス３１４に基づき、クロスエントロピー損失３５５ｂを使用することで、対応する時間ステップにおいてターゲットトークンインデックス３１４を予測するように学習する。

【0057】

教師無し損失モジュール３５０は、対照的な自己教師有り損失３５５ａとクロスエントロピー損失３５５ｂとを備えている教師無し損失３５５を、自動音声認識ＡＳＲモデル２００へのフィードバックとして提供する。教師無し損失３５５（Ｌ_ｕ）は、次式で表されるように、対照的な自己教師有り損失３５５ａ（Ｌ_ｃ）とクロスエントロピー損失３５５ｂ（Ｌ_ｍ）とに基づく。

【0058】

【数13】

【0059】

式（３）において、Ｌ_ｕは教師無し損失３５５を表しており、αは重み付けパラメータを表す。トレーニング処理３００の教師無し損失部分３００ａは、教師無し損失３５５に基づき、自動音声認識ＡＳＲモデル２００のパラメータを更新し得る。

【0060】

ここで図３Ｂを参照すると、いくつかの実施態様では、教師有り損失部分３００ｂは、さらにデコーダ３４０および教師有り損失モジュール３６０を備えている。マスク言語モデリングＭＬＭモジュール３３０は、複数の時間ステップの各々において、対照ネット３２０によって生成済みの対照コンテキストベクトル３２２を入力として受け取ることで、複数の時間ステップの各々において、高レベルコンテキストベクトル

【0061】

【数14】

【0062】

３３４を出力として生成するように構成されている。つまり、マスク言語モデリングＭＬＭモジュール３３０は、対照コンテキストベクトル３２２から高レベルのコンテキスト化された音声表現を抽出することによって、高レベルコンテキストベクトル３３４を生成する。各高レベルコンテキストベクトル３３４は、線形層によって生成済みのターゲットトークンインデックス予測を表す。

【0063】

デコーダ３４０は、マスク言語モデリングＭＬＭモジュール３３０によって複数の時間ステップの各々において生成済みの高レベルコンテキストベクトル３３４を入力として受け取ることで、発話に対する音声認識仮説３４２を予測するように構成されている。デコーダ３４０には、３０７２個の隠れユニットを備えた２層７６８次元の長短期記憶（ＬＳＴＭ）ベースのリカレントニューラルネットワークトランスデューサ（ＲＮＮ－Ｔ）が含まれる場合がある。ここで、デコーダ３４０は、対応する高レベルコンテキストベクトル３３４に対して考えられる音声認識仮説３４２にわたって確率分布を生成することができる。教師有り損失モジュール３６０は、考えられる音声認識仮説３４２の確率分布とグラウンドトゥルース転写３０６とを比較することによって、教師有り損失（Ｌ_ｓ）３６５を生成する。つまり、教師有り損失モジュール３６０は、各々転写済み音声発話３０４に対する考えられる音声認識仮説３４２の確率分布を、各々転写済み音声発話３０４に対応するグラウンドトゥルース転写とで比較する。いくつかの例では、教師有り損失３６５にはＲＮＮ－Ｔ損失が含まれる。トレーニング処理３００の教師有り損失部分３００ｂは、教師有り損失３６５を自動音声認識ＡＳＲモデル２００へのフィードバックとして提供することができる。したがって、トレーニング処理３００の教師有り損失部分３００ｂは、教師有り損失３６５に基づき自動音声認識ＡＳＲモデル２００のパラメータを更新することができる。

【0064】

図３Ａおよび図３Ｂを再度参照すると、いくつかの実施態様では、トレーニング処理３００は、次式で表される教師無し損失３５５（Ｌ_ｕ）および教師有り損失３６５（Ｌ_ｓ）に基づく合計損失を判定する。

【0065】

【数15】

【0066】

式（４）において、Ｌは合計損失を表しており、βはトレードオフの重みを表現する。したがって、トレーニング処理３００は、合計損失Ｌを使用することで自動音声認識ＡＳＲモデル２００をトレーニングしているので、トレーニング処理３００が、教師無し損失３５５および教師有り損失３６５を使用することで自動音声認識ＡＳＲモデル２００を共同でトレーニングするようにしてもよい。特に、合計損失Ｌを使用することで自動音声認識ＡＳＲモデル２００を共同でトレーニングすると、トレーニング処理３００が、教師無し損失３５５および教師有り損失３６５の両方を使用することで自動音声認識ＡＳＲモデル２００を共同（ジョイントリー）で（つまり、同時（コンカレントリー）に）トレーニングする。したがって、自動音声認識ＡＳＲモデル２００が事前トレーニング中に以前に学習済みの潜在音声表現を忘れるリスクを排除する。さらに、トレーニング処理３００は、共同トレーニングアプローチであるので、事前トレーニング済みのチェックポイントの選択を排除する。つまり、トレーニング処理３００は、１段階のアプローチで教師無し損失３５５と教師有り損失３６５とを使用することで自動音声認識ＡＳＲモデル２００を共同でトレーニングしているので、それによって、２段階のアプローチを使用することで自動音声認識ＡＳＲモデル２００を事前トレーニングする際の問題を排除する。

【0067】

図４は、教師無しトレーニングおよび教師有りトレーニングを使用することで自動音声認識ＡＳＲモデル２００を共同トレーニングする方法４００の動作の配列例を示すフローチャートである。方法４００は、メモリハードウェア５２０（図５）に記憶された命令を使用することで、データ処理ハードウェア５１０（図５）上で実行することができる。データ処理ハードウェア５１０およびメモリハードウェア５２０は、コンピューティングデバイス５００（図５）に対応する図１のリモートコンピュータ／サーバ２０１上に存在してもよい。

【0068】

動作４０２では、方法４００は、未転写音声発話３０２の１つまたは転写済み音声発話３０４の１つに対応するオーディオ特徴１１０を受け取る工程を備えている。動作４０４では、方法４００は、複数の時間ステップの各々において、オーディオ特徴１１０に基づき潜在音声表現２１２を生成する工程を備えている。動作４０６では、方法４００は、複数の時間ステップの各々において、対応する潜在音声表現２１２のターゲット量子化ベクトルトークン３１２およびターゲットトークンインデックス３１４を生成する工程を備えている。ここで、ターゲットトークンインデックス３１４は、対応する潜在音声表現２１２をコードブック３１５に記憶されたターゲット量子化ベクトルトークン３１２にマッピングする。動作４０８では、方法４００は、複数の時間ステップの各々において、対応するマスクされていない、またはマスク済み潜在音声表現２１２ｕ、２１２ｍの対照（コントラスティブ）コンテキストベクトル３２２を生成する工程を備えている。動作４１０では、方法４００は、複数の時間ステップの各々において、対応する対照コンテキストベクトル３２２および対応するターゲット量子化ベクトルトークン３１２に基づき、対照的な自己教師有り損失３５５ａを導出する工程を備えている。

【0069】

動作４１２では、方法４００は、複数の時間ステップの各々において、対照コンテキストベクトル３２２に基づき高レベルコンテキストベクトル３３４を生成する工程を備えている。動作４１４では、高レベルコンテキストベクトル３３４ごとに、方法４００は、ターゲットトークンインデックス３１４に基づき、クロスエントロピー損失３５５ｂを使用することで、対応する時間ステップでターゲットトークンインデックス３１４を予測するように学習する工程を備えている。動作４１６では、方法４００は、高レベルコンテキストベクトル３３４に基づき発話に対する音声認識仮説３４２を予測する工程を備えている。動作４１６では、方法４００は、対照的な自己教師有り損失３５５ａとクロスエントロピー損失３５５ｂとに基づく教師無し損失３５５と、予測済みの音声認識仮説３４２と発話３０２、３０４のグラウンドトゥルース転写３０６とに基づく教師有り損失３６５と、を使用することで多言語自動音声認識ＡＳＲモデル２００をトレーニングする工程を備えている。

【0070】

図５は、本明細書に記載のシステムおよび方法を実装するべく使用され得るコンピューティングデバイス５００の一例の概略図である。コンピューティングデバイス５００は、ラップトップ、デスクトップ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレーム、およびその他の適切なコンピュータ、などさまざまな形式のデジタルコンピュータを表すことを意図する。ここに示された構成要素、それらの接続および関係、およびそれらの機能は例示的なものに過ぎず、本明細書に記載および／または特許請求される本発明の実施を限定するものではない。

【0071】

コンピューティングデバイス５００は、プロセッサ５１０、メモリ５２０、記憶デバイス５３０、メモリ５２０および高速拡張ポート５５０に接続する高速インタフェース／コントローラ５４０、および低速バス５７０および記憶デバイス５３０に接続する低速インタフェース／コントローラ５６０を備えている。各構成要素５１０、５２０、５３０、５４０、５５０、および５６０は、さまざまなバスを使用することで相互接続されており、共通のマザーボード上に、または適宜他の方法で実装され得る。プロセッサ５１０は、メモリ５２０または記憶デバイス５３０に記憶されている命令を備えている、コンピューティングデバイス５００内で実行するための命令を処理して、高速インタフェース５４０に結合されたディスプレイ５８０などの外部入出力デバイスにグラフィカルユーザインタフェース（ＧＵＩ）のグラフィカル情報を表示することができる。他の実施態様では、複数のメモリおよびメモリの種類とで共に、必要に応じて複数のプロセッサおよび／または複数のバスが使用され得る。また、複数のコンピューティングデバイス５００が接続されて各デバイスは必要な動作の一部を提供する（たとえば、サーババンク、ブレードサーバのグループ、またはマルチプロセッサシステムとして）。

【0072】

メモリ５２０は、コンピューティングデバイス５００内に情報を非一時的に記憶する。メモリ５２０は、コンピュータ可読媒体、揮発性メモリユニット（複数可）、または不揮発性メモリユニット（複数可）であってもよい。非一時的メモリ５２０は、コンピューティングデバイス５００で使用するべく、一時的または永続的にプログラム（たとえば、命令のシーケンス）またはデータ（たとえば、プログラム状態情報）を記憶するべく使用される物理デバイスであってもよい。不揮発性メモリの例には、フラッシュメモリおよび読み取り専用メモリ（ＲＯＭ）／プログラム可能な読み取り専用メモリ（ＰＲＯＭ）／消去可能なプログラム可能な読み取り専用メモリ（ＥＰＲＯＭ）／電子的に消去可能なプログラム可能な読み取り専用メモリ（ＥＥＰＲＯＭ）（たとえば、通常はブートプログラムなどのファームウェアに使用される）が含まれるが、これらに限定されない。揮発性メモリの例には、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、相変化メモリ（ＰＣＭ）ならびにディスクまたはテープなどが含まれるが、これらに限定されない。

【0073】

記憶デバイス５３０は、コンピューティングデバイス５００に大容量ストレージを提供することができる。いくつかの実施態様では、記憶デバイス５３０はコンピュータ可読媒体である。さまざまに異なる実施態様において、記憶デバイス５３０は、フロッピー（登録商標）ディスクデバイス、ハードディスクデバイス、光ディスクデバイス、またはテープデバイス、フラッシュメモリまたはその他の同様のソリッドステートメモリデバイス、またはストレージエリアネットワークまたはその他の構成内のデバイスを備えているデバイスのアレイであり得る。追加の実施態様では、コンピュータプログラム製品は、情報キャリア内に有形に具体化される。コンピュータプログラム製品は、実行されると、上記で説明されている方法などの、１つまたは複数の方法を実行する命令を備えている。情報キャリアは、メモリ５２０、記憶デバイス５３０、またはプロセッサ５１０上のメモリなどのコンピュータ可読媒体または機械可読媒体である。

【0074】

高速コントローラ５４０は、コンピューティングデバイス５００のための帯域幅を消費する動作を管理しており、低速コントローラ５６０は、より帯域幅を消費しない動作を管理する。このような機能の割当ては、例示に過ぎない。いくつかの実施態様では、高速コントローラ５４０は、メモリ５２０、（たとえば、グラフィックプロセッサまたはアクセラレータを介して）ディスプレイ５８０、およびさまざまな拡張カード（図示せず）を受け入れ得る高速拡張ポート５５０に結合される。いくつかの実施態様では、低速コントローラ５６０は、記憶デバイス５３０および低速拡張ポート５９０に結合される。様々な通信ポート（たとえば、ＵＳＢ、ブルートゥース（登録商標）、イーサネット（登録商標）、無線イーサネット（登録商標））を備えていることができる低速拡張ポート５９０は、キーボード、ポインティングデバイス、スキャナなどの１つまたは複数の入出力デバイスに、またはたとえばネットワークアダプタを介して、スイッチまたはルータなどのネットワークデバイスに結合されてもよい。

【0075】

コンピューティングデバイス５００は、図に示すように、いくつかの異なる形態で実装することができる。たとえば、標準サーバ５００ａとして、またはそのようなサーバ５００ａのグループ内で複数回、ラップトップコンピュータ５００ｂとして、またはラックサーバシステム５００ｃの一部として実装されてもよい。

【0076】

ここに記載するシステムおよび技術の様々な実施態様は、デジタル電気および／または光回路、集積回路、特別に設計されたＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／またはそれらの組合せで実現することができる。これらの様々な実施態様は、少なくとも１つのプログラム可能なプロセッサを備えているプログラム可能なシステム上で実行可能および／または解釈可能な１つまたは複数のコンピュータプログラムにおける実施態様を備えていることができ、プログラム可能なプロセッサは、専用または汎用であり得、ストレージシステム、少なくとも１つの入力デバイス、および少なくとも１つの出力デバイスに結合されており、データおよび命令を送受信する。

【0077】

これらのコンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーションまたはコードとしても知られる）は、プログラム可能なプロセッサ用の機械命令を備えており、高度な手順および／またはオブジェクト指向プログラミング言語で、および／またはアセンブリ／機械言語で実装することができる。本明細書で使用される場合、「機械可読媒体」および「コンピュータ可読媒体」という用語は、機械可読信号として機械命令を受信する機械可読媒体を備えているプログラム可能なプロセッサに機械命令および／またはデータを提供するのに使用される、（たとえば、磁気ディスク、光ディスク、メモリ、プログラム可能な論理装置（ＰＬＤ）などの）任意のコンピュータプログラム製品、非一時的なコンピュータ可読媒体、装置および／またはデバイスを指す。「機械可読信号」という用語は、機械命令および／またはデータをプログラム可能なプロセッサに提供するべく使用される任意の信号を指す。

【0078】

本明細書で説明されている処理および論理フローは、入力データに対して動作しており、出力を生成することによって機能を実行するべく１つまたは複数のコンピュータプログラムを実行する、データ処理ハードウェアとも呼ばれる１つまたは複数のプログラム可能なプロセッサによって実行することができる。処理および論理フローは、専用論理回路、たとえば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）によって実行することもできる。コンピュータプログラムの実行に適したプロセッサは、例として、汎用および専用の両方のマイクロプロセッサ、ならびに任意の種類のデジタルコンピュータの任意の１つまたは複数のプロセッサを備えている。一般に、プロセッサは、読み出し専用メモリまたはランダムアクセスメモリまたはその両方から指示およびデータを受け取る。コンピュータの本質的な要素は、命令を実行するためのプロセッサと、命令とデータとを記憶するための１つまたは複数のメモリデバイスである。一般に、コンピュータは、データを記憶するための１つまたは複数の大容量記憶デバイス、たとえば、磁気ディスク、光磁気ディスク、または光ディスクも備えているか、あるいはそれらからデータを受信、もしくはそれらにデータを送信、またはその両方を行なうように動作可能に結合される。しかしながら、コンピュータは、そのようなデバイスを有している必要はない。コンピュータプログラム命令とデータとを記憶するのに適したコンピュータ可読媒体は、例として、半導体メモリデバイス、たとえば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、およびフラッシュメモリデバイス、磁気ディスク、たとえば、内部ハードディスクまたはリムーバブルディスク、光磁気ディスク、ならびにＣＤ ＲＯＭおよびＤＶＤ－ＲＯＭディスクを備えている、すべての形態の不揮発性メモリ、媒体、およびメモリデバイスを備えている。プロセッサおよびメモリは、専用論理回路によって補完することができ、または専用論理回路の中に組み込むことができる。

【0079】

ユーザとの対話を提供するべく、本開示の１つまたは複数の態様は、ユーザに情報を表示するための表示デバイス、たとえば、ＣＲＴ（陰極線管）、ＬＣＤ（液晶ディスプレイ）モニタ、またはタッチスクリーンと、任意選択で、ユーザがコンピュータに入力を提供することができるキーボードおよびポインティングデバイス、たとえば、マウスまたはトラックボールとを有しているコンピュータ上に実装することができる。他の種類のデバイスも同様にユーザとの対話を提供するべく使用することができ、たとえば、ユーザに提供されるフィードバックは、任意の形態の感覚的フィードバック、たとえば、視覚的フィードバック、聴覚的フィードバック、または触覚的フィードバックとすることができ、ユーザからの入力は、音響的入力、音声入力、または触覚的入力を備えている任意の形態で受信することができる。それに加えて、コンピュータは、ユーザによって使用されるデバイスにドキュメントを送信しており、そのデバイスからドキュメントを受信することによって、たとえば、ユーザのクライアントデバイス上のウェブブラウザから受信された要求に応じて、ウェブブラウザにウェブページを送信することによって、ユーザとで対話することができる。

【0080】

いくつかの実施態様について説明してきた。それにもかかわらず、本開示の要旨および範囲から逸脱することなく、様々な変更が行なわれ得ることが理解されよう。したがって、他の実施態様は、以下の特許請求の範囲内に存在する。

【図1】

【図2】

【図3A】

【図3B】

【図4】

【図5】

【手続補正書】

【提出日】2024-05-24

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

多言語自動音声認識（ＡＳＲ）モデル（２００）をトレーニングするための、教師無しおよび教師有り共同トレーニング（ＪＵＳＴ）フレームワーク（３００）であって、ＪＵＳＴフレームワーク（３００）は、
特徴エンコーダ（３１１）であって、
音声の発話（３０２、３０４）に対応するオーディオ特徴（１１０）を入力として受け取るように、かつ
複数の時間ステップの各々において、潜在音声表現（２１２）を生成するように、
構成されている、前記特徴エンコーダ（３１１）と、
量子化器（３１０）であって、
複数の前記時間ステップの各々において前記特徴エンコーダ（３１１）によって生成済みの前記潜在音声表現（２１２）を入力として受け取るように、かつ
複数の前記時間ステップの各々において、前記特徴エンコーダ（３１１）によって生成済みの対応する前記潜在音声表現（２１２）に対するターゲット量子化ベクトルトークン（３１２）およびターゲットトークンインデックス（３１４）を生成するとともに、前記ターゲットトークンインデックス（３１４）が、対応する前記潜在音声表現（２１２）を、コードブック（３１５）に記憶された前記ターゲット量子化ベクトルトークン（３１２）にマッピングするように、
構成されている、前記量子化器（３１０）と、
対照ネット（３２０）であって、
前記潜在音声表現（２１２）のサブセットをマスクした後、複数の前記時間ステップの各々において前記特徴エンコーダ（３１１）によって生成済みの前記潜在音声表現（２１２）を入力として受け取るように、
複数の前記時間ステップの各々において、対応するマスクされていない、またはマスク済み前記潜在音声表現（２１２ｕ、２１２ｍ）の対照コンテキストベクトル（３２２）を生成するように、かつ
複数の前記時間ステップの各々において、対応する前記対照コンテキストベクトル（３２２）と、対応する前記潜在音声表現（２１２）についての前記量子化器（３１０）によって生成済みの対応する前記ターゲット量子化ベクトルトークン（３１２）と、に基づき対照的な自己教師有り損失（３５５ａ）を導出するように、
構成されている、前記対照ネット（３２０）と、
マスク言語モデリング（ＭＬＭ）モジュール（３３０）であって、
複数の前記時間ステップの各々において、前記対照ネット（３２０）によって生成済みの、前記対照コンテキストベクトル（３２２）を入力として受け取るように、
複数の前記時間ステップの各々において、高レベルコンテキストベクトル（３３４）を生成するように、かつ
前記高レベルコンテキストベクトル（３３４）ごとに、対応する前記時間ステップにおいて、前記量子化器（３１０）によって生成済みの前記ターゲットトークンインデックス（３１４）に基づくクロスエントロピー損失（３５５ｂ）を使用することで、対応する前記時間ステップにおいて、前記ターゲットトークンインデックス（３１４）を予測するように学習するように、
構成されている、マスク言語モデリングＭＬＭモジュール（３３０）と、
デコーダ（３４０）であって、
複数の前記時間ステップの各々において、前記マスク言語モデリングＭＬＭモジュール（３３０）によって生成済みの前記高レベルコンテキストベクトル（３３４）を入力として受け取るように、かつ
前記発話（３０２、３０４）に対する音声認識仮説（３４２）を予測するように、
構成されている、前記デコーダ（３４０）と、を備えており、
多言語自動音声認識ＡＳＲモデル（２００）は、
前記対照的な自己教師有り損失（３５５ａ）および前記クロスエントロピー損失（３５５ｂ）に基づく教師無し損失（３５５）と、
予測済みの前記音声認識仮説（３４２）と、前記発話（３０２、３０４）のグラウンドトゥルース転写（３０６）と、に基づく教師有り損失（３６５）と、
に基づきトレーニングされる、ＪＵＳＴフレームワーク（３００）。

【請求項2】

前記特徴エンコーダ（３１１）は、２つの畳み込みニューラルネットワーク（ＣＮＮ）ブロックを備えている、
請求項１に記載のＪＵＳＴフレームワーク（３００）。

【請求項3】

前記潜在音声表現（２１１）の前記サブセットをマスクする工程は、前記潜在音声表現（２１２）の前記サブセットにおける各々の前記潜在音声表現（２１２）を、対応するランダムベクトルにランダムに置き換える工程を備えている、
請求項１に記載のＪＵＳＴフレームワーク（３００）。

【請求項4】

前記対照ネット（３２０）によって導出済みの前記対照的な自己教師有り損失（３５５ａ）は、前記潜在音声表現（２１２ｍ）のマスク済みサブセットからのマスク済み前記潜在音声表現（２１２ｍ）に対応する、前記コードブック（３１５）に記憶された前記ターゲット量子化ベクトルトークン（３１２）から均一にサンプリングされたＫ個の負のサンプル／ディストラクタにさらに基づく、
請求項１～３のいずれか１項に記載のＪＵＳＴフレームワーク（３００）。

【請求項5】

前記教師無し損失（３５５）は、前記コードブック（３１５）に関連付けられたエントロピーベースの多様性損失にさらに基づく、
請求項１～３のいずれか１項に記載のＪＵＳＴフレームワーク（３００）。

【請求項6】

前記多言語自動音声認識ＡＳＲモデル（２００）は、複数の異なる言語で話された前記発話（３０２、３０４）をトレーニングすることでトレーニングされる、
請求項１～３のいずれか１項に記載のＪＵＳＴフレームワーク（３００）。

【請求項7】

前記多言語自動音声認識ＡＳＲモデル（２００）をトレーニングする工程は、先の事前トレーニングを行なわずに前記多言語自動音声認識ＡＳＲモデル（２００）をトレーニングする工程を備えている、
請求項１～３のいずれか１項に記載のＪＵＳＴフレームワーク（３００）。

【請求項8】

前記多言語自動音声認識ＡＳＲモデル（２００）をトレーニングする工程は、事前トレーニング済みのチェックポイントから前記多言語自動音声認識ＡＳＲモデル（２００）を微調整する工程を備えている、
請求項１～３のいずれか１項に記載のＪＵＳＴフレームワーク（３００）。

【請求項9】

前記多言語自動音声認識ＡＳＲモデル（２００）をトレーニングする工程は、前記多言語自動音声認識ＡＳＲモデル（２００）を前記教師無し損失（３５５）および前記教師有り損失（３６５）で共同してトレーニングする工程を備えている、
請求項１～３のいずれか１項に記載のＪＵＳＴフレームワーク（３００）。

【請求項10】

前記教師有り損失（３６５）は、リカレントニューラルネットワークトランスデューサ（ＲＮＮ－Ｔ）損失を備えている、
請求項１～３のいずれか１項に記載のＪＵＳＴフレームワーク（３００）。

【請求項11】

コンピュータ実装方法（４００）であって、データ処理ハードウェア（５１０）によって実行されると、前記データ処理ハードウェア（５１０）に、
音声の発話（３０２、３０４）に対応するオーディオ特徴（１１０）を受け取る工程と、
複数の時間ステップの各々において、前記オーディオ特徴（１１０）に基づき潜在音声表現（２１２）を生成する工程と、
複数の前記時間ステップの各々において、対応する前記潜在音声表現（２１２）に対するターゲット量子化ベクトルトークン（３１２）およびターゲットトークンインデックス（３１４）を生成するとともに、前記ターゲットトークンインデックス（３１４）が、対応する前記潜在音声表現（２１２）を、コードブック（３１５）に記憶された前記ターゲット量子化ベクトルトークン（３１２）にマッピングする工程と、
複数の前記時間ステップの各々において、対応するマスクされていない、またはマスク済み潜在音声表現（２１２ｕ、２１２ｍ）の対照コンテキストベクトル（３２２）を生成する工程と、
複数の前記時間ステップの各々において、対応する前記対照コンテキストベクトル（３２２）および対応する前記ターゲット量子化ベクトルトークン（３１２）に基づき対照的な自己教師有り損失（３５５ａ）を導出する工程と、
複数の前記時間ステップの各々において、前記対照コンテキストベクトル（３２２）に基づき高レベルコンテキストベクトル（３３４）を生成する工程と、
前記高レベルコンテキストベクトル（３３４）ごとに、対応する前記時間ステップにおいて、前記ターゲットトークンインデックス（３１４）に基づくクロスエントロピー損失（３５５ｂ）を使用することで、前記ターゲットトークンインデックス（３１４）を予測するように学習する工程と、
前記高レベルコンテキストベクトル（３３４）に基づき前記発話（３０２、３０４）に対する音声認識仮説（３４２）を予測する工程と、
前記対照的な自己教師有り損失（３５５ａ）と前記クロスエントロピー損失（３５５ｂ）とに基づく教師無し損失（３５５）と、予測済みの前記音声認識仮説（３４２）と前記発話（３０２、３０４）のグラウンドトゥルース転写（３０６）とに基づく教師有り損失（３６５）と、を使用することで多言語自動音声認識ＡＳＲモデル（２００）をトレーニングする工程と、を備えている、動作を実行させる、
コンピュータ実装方法（４００）。

【請求項12】

前記潜在音声表現（２１２）を生成する工程は、特徴エンコーダ（３１１）によって、複数の前記時間ステップの各々において、前記潜在音声表現（２１２）を生成する工程を備えており、前記特徴エンコーダ（３１１）は、２つの畳み込みニューラルネットワーク（ＣＮＮ）ブロックを備えている、
請求項１１に記載のコンピュータ実装方法（４００）。

【請求項13】

前記動作は、前記潜在音声表現（２１２）のサブセットにおける各々の前記潜在音声表現（２１２）を、対応するランダムベクトルとでランダムに置き換えることによって前記潜在音声表現（２１２）の前記サブセットをマスクする工程、をさらに備えている、
請求項１１に記載のコンピュータ実装方法（４００）。

【請求項14】

前記対照的な自己教師有り損失（３５５ａ）は、前記潜在音声表現（２１１ｍ）のマスク済みサブセットからのマスク済み前記潜在音声表現（２１１ｍ）に対応する、前記コードブック（３１５）に記憶された前記ターゲット量子化ベクトルトークン（３１２）から均一にサンプリングされたＫ個の負のサンプル／ディストラクタにさらに基づく、
請求項１１～１３のいずれか１項に記載のコンピュータ実装方法（４００）。

【請求項15】

前記教師無し損失（３５５）は、前記コードブック（３１５）に関連付けられたエントロピーベースの多様性損失にさらに基づく、
請求項１１～１３のいずれか１項に記載のコンピュータ実装方法（４００）。

【請求項16】

前記多言語自動音声認識ＡＳＲモデル（２００）は、複数の異なる言語で話された前記発話（３０２、３０４）をトレーニングすることでトレーニングされる、
請求項１１～１３のいずれか１項に記載のコンピュータ実装方法（４００）。

【請求項17】

前記多言語自動音声認識ＡＳＲモデル（２００）をトレーニングする工程は、先の事前トレーニングを行なわずに前記多言語自動音声認識ＡＳＲモデル（２００）をトレーニングする工程を備えている、
請求項１１～１３のいずれか１項に記載のコンピュータ実装方法（４００）。

【請求項18】

前記多言語自動音声認識ＡＳＲモデル（２００）をトレーニングする工程は、事前トレーニング済みのチェックポイントから前記多言語自動音声認識ＡＳＲモデル（２００）を微調整する工程を備えている、
請求項１１～１３のいずれか１項に記載のコンピュータ実装方法（４００）。

【請求項19】

前記多言語自動音声認識ＡＳＲモデル（２００）をトレーニングする工程は、前記多言語自動音声認識ＡＳＲモデル（２００）を前記教師無し損失（３５５）および前記教師有り損失（３６５）で共同してトレーニングする工程を備えている、
請求項１１～１３のいずれか１項に記載のコンピュータ実装方法（４００）。

【請求項20】

前記教師有り損失（３６５）は、リカレントニューラルネットワークトランスデューサ（ＲＮＮ－Ｔ）損失を備えている、
請求項１１～１３のいずれか１項に記載のコンピュータ実装方法（４００）。

【国際調査報告】