特表 2024-536388 非自己回帰デコーディングによるストリーミングＲＮＮトランスデューサの検討

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-10-04

(54)【発明の名称】非自己回帰デコーディングによるストリーミングＲＮＮトランスデューサの検討

(51)【国際特許分類】

   G10L 15/16 20060101AFI20240927BHJP

【ＦＩ】

G10L15/16

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024520917

(86)(22)【出願日】2022-09-16

(85)【翻訳文提出日】2024-05-24

(86)【国際出願番号】 US2022076584

(87)【国際公開番号】W WO2023059978

(87)【国際公開日】2023-04-13

(31)【優先権主張番号】63/262,180

(32)【優先日】2021-10-06

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】502208397

【氏名又は名称】グーグル エルエルシー

【氏名又は名称原語表記】Ｇｏｏｇｌｅ ＬＬＣ

【住所又は居所原語表記】１６００ Ａｍｐｈｉｔｈｅａｔｒｅ Ｐａｒｋｗａｙ ９４０４３ Ｍｏｕｎｔａｉｎ Ｖｉｅｗ， ＣＡ Ｕ．Ｓ．Ａ．

(74)【代理人】

【識別番号】100142907

【弁理士】

【氏名又は名称】本田 淳

(72)【発明者】

【氏名】ワン、ウェイラン

(72)【発明者】

【氏名】フー、キー

(72)【発明者】

【氏名】サイナス、ターラ エヌ

(57)【要約】

方法（４００）は第１パス中、トランスデューサデコーダモデル（２３０）によって生成済みの候補仮説（１２０ａ）の初期アライメント（２３４）を受信する工程を備える。候補仮説は発話（１０６）の候補トランスクリプションに対応し、候補仮説の初期アライメントは出力ラベルのシーケンスを備える。各出力ラベルは、空白記号または仮定のサブワード単位に対応する。本方法はまた発話（２２２）を特徴付けるオーディオエンコーディングの後続シーケンスを受信する工程を備える。初期改良ステップ中、本方法はまた、非自己回帰デコーダ（３００）を使用することで、出力ラベルの再スコアリング済みシーケンスに対する新しいアライメント（３２４）を生成する工程を備える。非自己回帰デコーダは、候補仮説の初期アライメントと、オーディオエンコーディングの後続シーケンスと、を受信するように構成される。

【特許請求の範囲】

【請求項1】

コンピュータ実施方法（４００）であって、データ処理ハードウェア（５１０）によって実行されるとき、前記データ処理ハードウェア（５１０）に動作を行なわせ、前記動作は、
発話（１０６）を特徴付けるオーディオエンコーディングの初期シーケンス（２１２）に基づき、第１パス中にトランスデューサデコーダモデル（２３０）によって生成済みの候補仮説（１２０ａ）の初期アライメント（２３４）を受信する工程であって、前記候補仮説（１２０ａ）は前記発話（１０６）の候補トランスクリプションに対応しており、前記候補仮説（１２０ａ）の前記初期アライメント（２３４）は、各々が空白記号または仮定のサブワード単位に対応する出力ラベルのシーケンスを備えている、前記初期アライメント（２３４）を受信する工程と、
前記発話（１０６）を特徴付けるオーディオエンコーディングの後続シーケンス（２２２）を受信する工程と、
初期改良ステップ中、前記第１パス中に前記トランスデューサデコーダモデル（２３０）によって生成済みの前記候補仮説（１２０ａ）の前記初期アライメント（２３４）と、前記オーディオエンコーディングの後続シーケンス（２２２）と、を受信するように構成された非自己回帰デコーダ（３００）を使用することで、出力ラベルの再スコアリング済みシーケンスに対する新しいアライメント（３２４）を生成する工程と、
を備えている、コンピュータ実施方法（４００）。

【請求項2】

前記非自己回帰デコーダ（３００）は複数の変換層（３１０）を備えており、複数の前記変換層（３１０）は、各々、
前記初期アライメント（２３４）に関連付けられたテキスト特徴に対してセルフアテンションを行なう工程と、
前記テキスト特徴に対して行なわれた前記セルフアテンションをクエリとして使用することで、キーおよび値の両方を表す前記オーディオエンコーディングの後続シーケンス（２２２）に対してクロスアテンションを行なうことによって、変換層出力（３１２）を提供する工程と、
を行なうように構成される、
請求項１に記載のコンピュータ実施方法（４００）。

【請求項3】

複数の前記変換層（３１０）のうちの初期変換層（３１０）に続く各変換層（３１０）の各々は、対応する以前変換層（３１０）からの前記変換層出力（３１２）を前記テキスト特徴として受信する、
請求項２に記載のコンピュータ実施方法（４００）。

【請求項4】

複数の前記変換層（３１０）のうちの最終変換層（３１０）は、前記出力ラベルの再スコアリング済みシーケンスの前記新しいアライメント（３２４）を予測するように構成された最終ソフトマックス層（３２０）に、前記変換層出力（３１２）を提供する、
請求項２または３に記載のコンピュータ実施方法（４００）。

【請求項5】

前記動作はさらに、前記初期改良ステップに続く１つまたは複数の追加の改良ステップの各々の期間中、前の改良ステップ中に生成済みの前記出力ラベルの再スコアリング済みシーケンスの前記新しいアライメント（３２４）を受信するように構成された前記非自己回帰デコーダ（３００）を使用することで、出力ラベルの再スコアリング済みシーケンスに対する新しいアライメント（３２４）を生成する工程を備えている、
請求項１～４のいずれか１項に記載のコンピュータ実施方法（４００）。

【請求項6】

前記出力ラベルの再スコアリング済みシーケンスに対する前記新しいアライメント（３２４）を生成する工程は、前記候補仮説（１２０ａ）の前記初期アライメント（２３４）の１つまたは複数の出力ラベルを挿入、削除、または置換、する工程を備えている、
請求項１～５のいずれか１項に記載のコンピュータ実施方法（４００）。

【請求項7】

前記動作はさらに、前記第１パス中にコーザルエンコーダ（２１０）によって、発話（１０６）に対応する音響フレーム（１１０）のシーケンスに基づき、前記オーディオエンコーディングの初期シーケンス（２１２）を生成する工程を備えている、
請求項１～６のいずれか１項に記載のコンピュータ実施方法（４００）。

【請求項8】

前記オーディオエンコーディングの後続シーケンス（２２２）は、前記オーディオエンコーディングの初期シーケンス（２１２）に基づき、非コーザルエンコーダ（２２０）によってエンコードされる、
請求項７に記載のコンピュータ実施方法（４００）。

【請求項9】

前記トランスデューサデコーダモデル（２３０）は、前記オーディオエンコーディングの初期シーケンス（２１２）を使用することで、前記候補仮説（１２０ａ）を生成する、
請求項７または８に記載のコンピュータ実施方法（４００）。

【請求項10】

前記候補仮説（１２０ａ）の前記候補トランスクリプションは、各々が仮定のサブワード単位に対応する出力ラベルのシーケンスを備えている、
請求項１～９のいずれか１項に記載のコンピュータ実施方法（４００）。

【請求項11】

データ処理ハードウェア（５１０）と、
前記データ処理ハードウェア（５１０）に通信するメモリハードウェア（５２０）と、を備えており、前記メモリハードウェア（５２０）は、前記データ処理ハードウェア（５１０）で実行されるとき、前記データ処理ハードウェア（５１０）に、動作を行なわせる命令を記憶しており、前記動作は、
発話（１０６）を特徴付けるオーディオエンコーディングの初期シーケンス（２１２）に基づき、第１パス中にトランスデューサデコーダモデル（２３０）によって生成済みの候補仮説（１２０ａ）の初期アライメント（２３４）を受信する工程であって、前記候補仮説（１２０ａ）は前記発話（１０６）の候補トランスクリプションに対応しており、前記候補仮説（１２０ａ）の前記初期アライメント（２３４）は、各々が空白記号または仮定のサブワード単位に対応する出力ラベルのシーケンスを備えている、前記初期アライメント（２３４）を受信する工程と、
前記発話（１０６）を特徴付けるオーディオエンコーディングの後続シーケンス（２２２）を受信する工程と、
初期改良ステップ中、前記第１パス中に前記トランスデューサデコーダモデル（２３０）によって生成済みの前記候補仮説（１２０ａ）の前記初期アライメント（２３４）と、前記オーディオエンコーディングの後続シーケンス（２２２）と、を受信するように構成された非自己回帰デコーダ（３００）を使用することで、出力ラベルの再スコアリング済みシーケンスに対する新しいアライメント（３２４）を生成する工程と、
を備えている、システム（１００）。

【請求項12】

前記非自己回帰デコーダ（３００）は複数の変換層（３１０）を備えており、複数の前記変換層（３１０）は、各々、
前記初期アライメント（２３４）に関連付けられたテキスト特徴に対してセルフアテンションを行なう工程と、
前記テキスト特徴に対して行なわれた前記セルフアテンションをクエリとして使用することで、キーおよび値の両方を表す前記オーディオエンコーディングの後続シーケンス（２２２）に対してクロスアテンションを行なうことによって、変換層出力（３１２）を提供する工程と、
を行なうように構成される、
請求項１１に記載のシステム（１００）。

【請求項13】

複数の前記変換層（３１０）のうちの初期変換層（３１０）に続く各変換層（３１０）の各々は、対応する以前変換層（３１０）からの前記変換層出力（３１２）を前記テキスト特徴として受信する、
請求項１２に記載のシステム（１００）。

【請求項14】

複数の前記変換層（３１０）のうちの最終変換層（３１０）は、前記出力ラベルの再スコアリング済みシーケンスの前記新しいアライメント（３２４）を予測するように構成された最終ソフトマックス層（３２０）に、前記変換層出力（３１２）を提供する、
請求項１２または１３に記載のシステム（１００）。

【請求項15】

前記動作はさらに、前記初期改良ステップに続く１つまたは複数の追加の改良ステップの各々の期間中、前の改良ステップ中に生成済みの前記出力ラベルの再スコアリング済みシーケンスの前記新しいアライメント（３２４）を受信するように構成された前記非自己回帰デコーダ（３００）を使用することで、出力ラベルの再スコアリング済みシーケンスに対する新しいアライメント（３２４）を生成する工程を備えている、
請求項１１～１４のいずれか１項に記載のシステム（１００）。

【請求項16】

前記出力ラベルの再スコアリング済みシーケンスに対する前記新しいアライメント（３２４）を生成する工程は、前記候補仮説（１２０ａ）の前記初期アライメント（２３４）の１つまたは複数の出力ラベルを挿入、削除、または置換、する工程を備えている、
請求項１１～１５のいずれか１項に記載のシステム（１００）。

【請求項17】

前記動作はさらに、前記第１パス中にコーザルエンコーダ（２１０）によって、発話（１０６）に対応する音響フレーム（１１０）のシーケンスに基づき、前記オーディオエンコーディングの初期シーケンス（２１２）を生成する工程を備えている、
請求項１１～１６のいずれか１項に記載のシステム（１００）。

【請求項18】

前記オーディオエンコーディングの後続シーケンス（２２２）は、前記オーディオエンコーディングの初期シーケンス（２１２）に基づき、非コーザルエンコーダ（２２０）によってエンコードされる、
請求項１７に記載のシステム（１００）。

【請求項19】

前記トランスデューサデコーダモデル（２３０）は、前記オーディオエンコーディングの初期シーケンス（２１２）を使用することで、前記候補仮説（１２０ａ）を生成する、
請求項１７または１８に記載のシステム（１００）。

【請求項20】

前記候補仮説（１２０ａ）の前記候補トランスクリプションは、各々が仮定のサブワード単位に対応する出力ラベルのシーケンスを備えている、
請求項１１～１９のいずれか１項に記載のシステム（１００）。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、非自己回帰デコーディングによるストリーミングＲＮＮトランスデューサの検討に関する。

【背景技術】

【0002】

自動音声認識（ＡＳＲ）システムは、各モデルが専用の目的がある複数のモデルから、単一のニューラルネットワークを使用することで、オーディオ波形（すなわち、入力シーケンス）を出力文（すなわち、出力シーケンス）に直接マッピングする統合モデルへと進化している。この統合によって、シーケンスツーシーケンスのアプローチをもたらしているので、オーディオ特徴のシーケンスが与えられたときに単語（または書記素）のシーケンスが生成される。統合構造によって、モデルの全ての構成要素を単一のエンドツーエンド（Ｅ２Ｅ）ニューラルネットワークとして共同でトレーニングされ得る。ここで、Ｅ２Ｅモデルは、アーキテクチャが完全にニューラルネットワークで構築されるモデルを指す。すなわち、外部構成要素、および／またはマニュアルで設計された構成要素（例えば、有限状態トランスデューサ、レキシコン、テキスト標準化モジュール）のない完全なニューラルネットワーク機能である。加えて、Ｅ２Ｅモデルをトレーニングするとき、これらのモデルは、通常、決定木からのブートストラッピングまたは別のシステムからの時間調整は必要ない。これらのＥ２Ｅ ＡＳＲシステムは驚異的な進歩を遂げ、単語誤り率（ＷＥＲ）を備えているいくつかの一般的なベンチマークで従来の自動音声認識ＡＳＲシステムを上回っている。

【発明の概要】

【発明が解決しようとする課題】

【0003】

例えば、音声検索またはオンデバイスのディクテーション等、ユーザとのインタラクションを伴う多くのアプリケーションでは、モデルがストリーミング方式で認識を行なう必要がある。オフラインビデオキャプチャ等の他のアプリケーションでは、モデルをストリーミングする必要がなく、将来のコンテキストを利用してパフォーマンスを向上させることができる。多くの場合、モデルがストリーミング方式で認識を行なうことで、同時に将来のコンテキストを利用する非ストリーミングモデルとで同様にパフォーマンスが向上することから恩恵を受けるだろう。

【課題を解決するための手段】

【0004】

本開示の一態様は、データ処理ハードウェアで実行されるとき、データ処理ハードウェアに、非自己回帰デコーディングによるストリーミングＲＮＮ－Ｔの検討を行なうための動作を行なわせるコンピュータ実施方法を提供する。動作は、第１パス中、トランスデューサデコーダモデルによって生成済みの候補仮説の初期アライメントを受信する工程を備えている。候補仮説は発話の候補トランスクリプションに対応しており、候補仮説の初期アライメントは、各々が空白記号または仮定のサブワード単位に対応する出力ラベルのシーケンスを備えている。動作はまた、発話を特徴付けるオーディオエンコーディングの後続シーケンスを受信する工程を備えている。初期改良ステップ中、動作は、第１パス中にトランスデューサモデルによって生成済みの候補仮説の初期アライメントと、オーディオエンコーディングの後続シーケンスと、を受信するように構成された非自己回帰デコーダを使用することで、出力ラベルの再スコアリング済みシーケンスに対する新しいアライメントを生成する工程を備えている。

【0005】

本開示の実施態様は以下の任意選択の特徴の１つまたは複数を含み得る。いくつかの実施態様では、非自己回帰デコーダは複数の変換層を備えており、複数の変換層は、各々、初期アライメントに関連付けられたテキスト特徴に対してセルフアテンション（自己注意）を行なうことで、テキスト特徴に対して行なわれたセルフアテンションをクエリとして使用することによって、キーおよび値の両方を表すオーディオエンコーディングの後続シーケンスに対してクロスアテンションを行なうことで、変換層出力を提供するように構成されている。これらの実施態様では、複数の変換層のうちの初期変換層に続く各変換層の各々は、対応する以前変換層からの変換層出力をテキスト特徴として受信する。複数の変換層のうちの最終変換層は、出力ラベルの再スコアリング済みシーケンスに対する新しいアライメントを予測するように構成された最終ソフトマックス層に、変換層出力を提供する。

【0006】

いくつかの例では、初期改良ステップに続く１つまたは複数の追加の改良ステップの各々の期間中、動作はさらに、前の改良ステップ中に生成済みの出力ラベルの再スコアリング済みシーケンスに対する新しいアライメントを受信するように構成された非自己回帰デコーダを使用することで、出力ラベルの再スコアリング済みシーケンスに対する新しいアライメントを生成する工程を備えている。出力ラベルの再スコアリング済みシーケンスに対する新しいアライメントを生成する工程は、候補仮説の初期アライメントの１つまたは複数の出力ラベルを挿入、削除、または置換、する工程を含み得る。

【0007】

いくつかの実施態様では、動作はさらに、第１パス中にコーザル（要因、因果）エンコーダによって、発話に対応する音響フレームのシーケンスに基づきオーディオエンコーディングの初期シーケンスを生成する工程を備えている。これらの実施態様では、オーディオエンコーディングの後続シーケンスは、オーディオエンコーディングの初期シーケンスに基づき、非コーザルエンコーダによってエンコードされる。トランスデューサデコーダは、オーディオエンコーディングの初期シーケンスを使用することで候補仮説を生成し得る。いくつかの例では、候補仮説の候補トランスクリプションは、各々が仮定のサブワード単位に対応する出力ラベルのシーケンスを備えている。

【0008】

本開示の別の態様は、データ処理ハードウェアと、データ処理ハードウェアで実行されるとき、データ処理ハードウェアに動作を行なわせる命令を記憶するメモリハードウェアと、を備えているシステムを提供する。動作は、第１パス中にトランスデューサデコーダモデルによって生成済みの候補仮説の初期アライメントを受信する工程を備えている。候補仮説は発話の候補トランスクリプションに対応しており、候補仮説の初期アライメントは、各々が空白記号または仮定のサブワード単位に対応する出力ラベルのシーケンスを備えている。動作はまた、発話を特徴付けるオーディオエンコーディングの後続シーケンスを受信する工程を備えている。初期改良ステップ中、動作は、第１パス中にトランスデューサモデルによって生成済みの候補仮説の初期アライメントと、オーディオエンコーディングの後続シーケンスと、を受信するように構成された非自己回帰デコーダを使用することで、出力ラベルの再スコアリング済みシーケンスに対する新しいアライメントを生成する工程を備えている。

【0009】

本開示の実施態様は以下の任意選択の特徴の１つまたは複数を含み得る。いくつかの実施態様では、非自己回帰デコーダは複数の変換層を備えており、複数の変換層は、各々、初期アライメントに関連付けられたテキスト特徴に対してセルフアテンションを行なうことで、テキスト特徴に対して行なわれたセルフアテンションをクエリとして使用することで、キーおよび値の両方を表すオーディオエンコーディングの後続シーケンスに対してクロスアテンションを行なうことによって、変換層出力を提供するように構成されている。これらの実施態様では、複数の変換層のうちの初期変換層に続く各変換層の各々は、対応する以前変換層からの変換層出力をテキスト特徴として受信する。複数の変換層のうちの最終変換層は、出力ラベルの再スコアリング済みシーケンスに対する新しいアライメントを予測するように構成された最終ソフトマックス層に、変換層出力を提供する。

【0010】

いくつかの例では、初期改良ステップに続く１つまたは複数の追加の改良ステップの各々の期間中、動作はさらに、前の改良ステップ中に生成済みの出力ラベルの再スコアリング済みシーケンスに対する新しいアライメントを受信するように構成された非自己回帰デコーダを使用することで、出力ラベルの再スコアリング済みシーケンスに対する新しいアライメントを生成する工程を備えている。出力ラベルの再スコアリング済みシーケンスに対する新しいアライメントを生成する工程は、候補仮説の初期アライメントの１つまたは複数の出力ラベルを挿入、削除、または置換、する工程を含み得る。

【0011】

いくつかの実施態様では、動作はさらに、第１パス中にコーザルエンコーダによって、発話に対応する音響フレームのシーケンスに基づきオーディオエンコーディングの初期シーケンスを生成する工程を備えている。これらの実施態様では、オーディオエンコーディングの後続シーケンスは、オーディオエンコーディングの初期シーケンスに基づき、非コーザルエンコーダによってエンコードされる。トランスデューサデコーダは、オーディオエンコーディングの初期シーケンスを使用することで候補仮説を生成し得る。いくつかの例では、候補仮説の候補トランスクリプションは、各々が仮定のサブワード単位に対応する出力ラベルのシーケンスを備えている。

【0012】

本開示の１つまたは複数の実施態様の詳細は、添付の図面および下記の説明において記載される。他の態様、特徴、および利点は、説明および図面、ならびに請求項から明らかになる。

【図面の簡単な説明】

【0013】

【図1】音声認識システムの例の概略図である。

【図2】非自己回帰デコーディングによる検討を行なう音声認識モデルの例の概略図である。

【図3】初期改良ステップ中の図２の音声認識モデルの非自己回帰デコーダの例の概略図である。

【図4】非自己回帰デコーディングによる検討を行なうコンピュータ実施方法の動作の例示的な配列のフローチャートである。

【図5】本明細書に説明されるシステムおよび方法を実施するべく使用され得るコンピューティングデバイスの例の概略図である。

【発明を実施するための形態】

【0014】

様々な図面における同様の参照記号は、同様の要素を指す。
エンドツーエンド（Ｅ２Ｅ）自動音声認識（ＡＳＲ）モデルは、従来、ストリーミングモードまたは非ストリーミングモードのどちらか一方で動作するように構造化される。従来、Ｅ２Ｅ ＡＳＲモデルは、エンコーダおよびデコーダをメイン構成要素として備えている。音声検索またはオンデバイスのディクテーション等、エンドユーザとのインタラクションを伴うアプリケーションは、モデルがストリーミング方式で認識を行なうことが必要になり得る。ここで、ストリーミング方式で認識を行なうことは、自動音声認識ＡＳＲモデルが発話された各単語を可能な限り遅延なく出力することを指す。オフラインビデオキャプショニング等の他のアプリケーションは、モデルをストリームすることが必要ではなく、パフォーマンスを向上させる将来のコンテキストを利用できる。例えば、検討モデルは、長短期記憶（ＬＳＴＭ）モデルまたは変換再スコアリングモデルとで比較すると、希少単語または語彙外（ＯＯＶ）単語の認識において大きな改善を示す。すなわち、検討モデルは、アテンションメカニズムを使用することで完全なオーディオコンテキストを調べることによって、初期音声認識結果を修正するのに優れている。

【0015】

検討モデルのパフォーマンスが向上すると、遅延が増加するとともに、モデルサイズが大きくなるという代償が伴うことによって、検討モデルはストリーミングまたはオンデバイスのアプリケーションには適さなくなる。特に、検討モデルは、多くの場合、初期音声認識結果を左から右の順序で検討するように制約された自己回帰モデルである。他方では、非自己回帰モデルは、左から右の順序で初期音声認識結果を検討することに制約されない。すなわち、非自己回帰モデルは、各出力ステップで、初期音声認識結果の複数の位置（例えば、出力フレーム）を同時に更新できる。したがって、非自己回帰モデルは遅延が低くなる傾向があるが、同様のサイズのシングルパス自己回帰モデルよりも精度（例えば、単語誤り率（ＷＥＲ））が低くなる。

【0016】

本明細書の実施態様は、非自己回帰デコーディングによるストリーミング再帰型ニューラルネットワークトランスデューサ（ＲＮＮ－Ｔ）の検討のための方法およびシステムを対象としている。より具体的には、非自己回帰デコーダは、第１パス中にトランスデューサデコーダモデルによって生成済みの発話の候補仮説の初期アライメントを受信する。ここで、トランスデューサデコーダは、低いＷＥＲおよび低遅延で候補仮説を生成する小さな自己回帰モデルであり得る。また、非自己回帰デコーダは、発話を特徴付けるオーディオエンコーディングの後続シーケンスも受信する。初期改良ステップ中、非自己回帰デコーダは、出力ラベルの再スコアリング済みシーケンスに対する新しいアライメントを生成する。特に、オーディオエンコーディングの後続シーケンスは、追加の右（ライト）コンテキストを使用することでカスケーディングエンコーダによって生成されるので、非自己回帰デコーダは、検討前に追加のオーディオコンテキストから恩恵を受ける。すなわち、非自己回帰デコーダは、左から右の順序で検討を行なう制約がなく、追加の右コンテキストからのラベル依存性に基づき新しいアライメントを生成する。さらに、明らかになるように、非自己回帰デコーダは、初期改良ステップに続く任意の数の追加の改良ステップを行ない得、それによって、追加の改良ステップごとに新しいアライメントが生成される。

【0017】

図１は、音声環境で動作するシステム１００の例である。音声環境では、ユーザ１０４がユーザデバイス１０等のコンピューティングデバイスとでインタラクトする方式は音声入力によって行なわれ得る。ユーザデバイス１０（一般的に、デバイス１０とも呼ばれる）は、音声環境内の１人以上のユーザ１０４からのサウンド（例えば、ストリーミングオーディオデータ）をキャプチャするように構成されている。ここで、ストリーミングオーディオデータは、可聴クエリ、ユーザデバイス１０に対するコマンド、またはデバイス１０によってキャプチャされた可聴通信、として機能するユーザ１０４による音声発話１０６を指し得る。ユーザデバイス１０の音声対応システムは、クエリに応じており、および／または１つまたは複数の下流アプリケーションによってコマンドを行なわせる／遂行させることによって、クエリまたはコマンドを処理し得る。

【0018】

ユーザデバイス１０は、ユーザ１０４に関連付けられており、オーディオデータを受信することが可能にされている任意のコンピューティングデバイスに対応し得る。ユーザデバイス１０のいくつかの例は、限定ではないが、モバイルデバイス（例えば、携帯電話、タブレット、ラップトップ）、コンピュータ、ウェアラブルデバイス（例えば、スマートウォッチ）、スマートアプライアンス、モノのインターネット（ＩｏＴ）デバイス、車両インフォテインメントシステム、スマートディスプレイ、スマートスピーカー等を備えている。ユーザデバイス１０は、データ処理ハードウェア１２と、データ処理ハードウェア１２に通信するメモリハードウェア１４と、を備えており、データ処理ハードウェア１２によって実行されるとき、データ処理ハードウェア１２に１つまたは複数の動作を行なわせる命令を記憶する。ユーザデバイス１０はさらにオーディオシステム１６を備えており、オーディオシステム１６は、音声環境内の音声発話１０６をキャプチャして電気信号に変換するオーディオキャプチャデバイス（例えば、マイク）１６、１６ａと、（例えば、ユーザデバイス１０からの出力オーディオデータとして）可聴音声信号を通信するための音声出力デバイス（例えば、スピーカー）１６、１６ｂと、を伴う。示される例では、ユーザデバイス１０は単一のオーディオキャプチャデバイス１６ａを実装しているが、ユーザデバイス１０は、本開示の範囲から逸脱することなく、オーディオキャプチャデバイス１６ａのアレイを実装し得る。それによって、アレイ内の１つまたは複数のキャプチャデバイス１６ａは、ユーザデバイス１０に物理的に常駐していないが、オーディオシステム１６に通信し得る。

【0019】

音声環境では、自動音声認識（ＡＳＲ）システム１１８が自動音声認識ＡＳＲモデル２００を実装しており、ユーザ１０４のユーザデバイス１０に、および／またはネットワーク４０を介してユーザデバイス１０に通信するリモートコンピューティングデバイス６０（例えば、クラウドコンピューティング環境で実行される分散システムの１つまたは複数のリモートサーバ）に、常駐する。いくつかの例では、自動音声認識ＡＳＲモデル２００は、再帰型ニューラルネットワークトランスデューサ（ＲＮＮ－Ｔ）モデルであり得る。ユーザデバイス１０および／またはリモートコンピューティングデバイス６０はまた、ユーザ１０４が話してオーディオキャプチャデバイス１６ａによってキャプチャされた発話１０６を受信することで、発話１０６を自動音声認識ＡＳＲシステム１１８によって処理することが可能な入力音響フレーム１１０に関連付けられた対応するデジタル形式に変換するように構成されたオーディオサブシステム１０８を備えている。示される例では、ユーザは各々の発話１０６を話しており、オーディオサブシステム１０８は、自動音声認識ＡＳＲシステム１１８に入力するべく、発話１０６を対応するオーディオデータ（例えば、音響フレームのシーケンス）１１０に変換する。その後、自動音声認識ＡＳＲモデル２００は、発話１０６に対応する音響フレーム１１０のシーケンスを入力として受信することで、自動音声認識ＡＳＲモデル２００が音響フレーム１１０のシーケンスで音響フレーム１１０の各々を受信（例えば、処理）すると、各出力ステップで、発話１０６の対応するトランスクリプション１２０（例えば、音声認識結果／仮説）を生成／予測する。

【0020】

示される例では、自動音声認識ＡＳＲモデル２００は、ストリーミング音声認識を行なって初期音声認識結果（例えば、候補仮説）１２０、１２０ａを生成しており、初期音声認識結果１２０ａを改善することによって最終音声認識結果（例えば、最終仮説）１２０、１２０ｂを生成し得る。初期音声認識結果１２０ａおよび最終音声認識結果１２０ｂは、部分的な音声認識結果または全体の音声認識結果のどちらか一方に対応し得る。言い換えれば、初期音声認識結果１２０ａおよび最終音声認識結果１２０ｂは、発話１０６の一部または発話１０６の全部のどちらか一方に対応し得る。例えば、部分的な音声認識結果は、音声発話の一部、または発話された用語の一部、にさえ対応し得る。しかしながら、後述するように、自動音声認識ＡＳＲモデル２００は最終音声認識結果１２０ｂに対して追加の処理を行なうため、最終音声認識結果１２０ｂは初期音声認識結果１２０ａよりも遅れ得る。

【0021】

ユーザデバイス１０および／またはリモートコンピューティングデバイス６０はまた、発話１０６のトランスクリプション１２０の表現をユーザデバイス１０のユーザ１０４に提示するように構成されたユーザインタフェースジェネレータ（ユーザーインターフェースジェネレーター）１０７を実行する。下記にさらに詳細に説明されるように、ユーザインタフェースジェネレータ１０７は、時間１中に初期音声認識結果１２０ａをストリーミング方式で表示しており、その後、時間２中に最終音声認識結果１２０ｂをストリーミング方式で表示し得る。特に、自動音声認識ＡＳＲモデル２００は、最終音声認識結果１２０ｂが初期音声認識結果１２０ａよりも改善しているにもかかわらず、最終音声認識結果１２０ｂをストリーミング方式で出力する。いくつかの構成では、自動音声認識ＡＳＲシステム１１８から出力されたトランスクリプション１２０は、発話１０６によって指定されたユーザコマンド／クエリを実行するべく（例えば、ユーザデバイス１０またはリモートコンピューティングデバイス６０で実行される自然言語理解（ＮＬＵ）モジュールによって）処理される。追加的または代替的に、テキスト読み上げシステム（図示せず）（例えば、ユーザデバイス１０またはリモートコンピューティングデバイス６０の任意の組合せで実行される）は、ユーザデバイス１０および／または別のデバイスによって可聴出力するべく、トランスクリプション１２０を合成音声に変換し得る。

【0022】

示される例では、ユーザ１０４は、自動音声認識ＡＳＲシステム１１８を使用するユーザデバイス１０のプログラムまたはアプリケーション５０（例えば、デジタルアシスタントアプリケーション５０）とでインタラクトする。例えば、図１は、ユーザ１０４がデジタルアシスタントアプリケーション５０に通信しており、デジタルアシスタントアプリケーション５０がユーザデバイス１０の画面上にデジタルアシスタントインタフェース１８を表示するので、ユーザ１０４とデジタルアシスタントアプリケーション５０との間の会話を示す。この例では、ユーザ１０４がデジタルアシスタントアプリケーション５０に「今夜のコンサートは何時？」と尋ねる。ユーザ１０４からのこの質問（クエスチョン）は、オーディオキャプチャデバイス１６ａによってキャプチャされることで、ユーザデバイス１０のオーディオシステム１６によって処理された音声発話１０６である。この例では、オーディオシステム１６は音声発話１０６を受信することで、それを自動音声認識ＡＳＲシステム１１８に入力するべく、音響フレーム１１０のシーケンスに変換する。

【0023】

例を続けると、自動音声認識ＡＳＲモデル２００は、ユーザ１０４が話すときに発話１０６に対応する音響フレーム１１０のシーケンスを受信しながら、音響フレーム１１０のシーケンスをエンコードしており、その後、音響フレーム１１０のエンコードされたシーケンスを初期音声認識結果１２０ａにデコードする。時間１中、ユーザインタフェースジェネレータ１０７は、デジタルアシスタントインタフェース１８を介して、発話１０６の初期音声認識結果１２０ａの表現を、ユーザデバイス１０のユーザ１０４にストリーミング方式で提示する。それによって、単語、単語の断片、および／または個々の文字、は話されるとすぐに画面に表示される。いくつかの例では、第１先読み（ルックアヘッド）オーディオコンテキストはゼロに等しくなる。

【0024】

時間２中、ユーザインタフェースジェネレータ１０７は、デジタルアシスタントインタフェース１８を介して、発話１０６の最終音声認識結果１２０ｂの表現を、ユーザデバイス１０のユーザ１０４にストリーミング方式で提示する。それによって、単語、単語の断片、および／または個々の文字、は自動音声認識ＡＳＲモデル２００によって生成されるとすぐに画面に表示される。いくつかの実施態様では、ユーザインタフェースジェネレータ１０７は、時間１に提示された初期音声認識結果１２０ａの表現を、時間２に提示された最終音声認識結果１２０ｂの表現に置き換える。ここで、時間１および時間２は、ユーザインタフェースジェネレータ１０７が各々の音声認識結果１２０を提示したときに対応するタイムスタンプを含み得る。この例では、時間１のタイムスタンプは、ユーザインタフェースジェネレータ１０７が最終音声認識結果１２０ｂよりも早い時間に初期音声認識結果１２０ａを提示することを示す。例えば、最終音声認識結果１２０ｂは、初期音声認識結果１２０ａよりも正確であると推定されるので、最終的にトランスクリプション１２０として表示される最終音声認識結果１２０ｂは、初期音声認識結果１２０ａで誤認識されている場合がある任意の用語を修正し得る。この例では、自動音声認識ＡＳＲモデル２００によって出力されたストリーミング初期音声認識結果１２０ａは、時間１にユーザデバイス１０の画面に表示されることで低遅延に関連付けられているので、ユーザ１０４にユーザのクエリが処理されているという応答性を提供する。一方で、自動音声認識ＡＳＲモデル２００によって出力されるとともに時間２において画面に表示される最終音声認識結果１２０ｂは、追加の音声認識モデルおよび／または言語モデルを活用することで精度の点で音声認識の品質を向上させるが、遅延が増加する。しかしながら、初期音声認識結果１２０ａは、ユーザが発話１０６を発話するときに表示されるので、最終音声認識結果１２０ｂを生成することで最終的に表示する際に関連付けられる長い遅延は、ユーザ１０４には気付かれない。

【0025】

図１に示される例では、デジタルアシスタントアプリケーション５０は、自然言語処理を使用することで、ユーザ１０４によって提示された質問（クエスチョン）に応答し得る。自然言語処理は、概して、文字言語（例えば、初期音声認識結果１２０ａおよび／または最終音声認識結果１２０ｂ）を解釈しており、文字言語がいずれかのアクションを促すかどうかを判定する処理を指す。この例では、デジタルアシスタントアプリケーション５０は自然言語処理を使用することで、ユーザ１０４からの質問がユーザのスケジュールに関するものであり、より具体的には、ユーザのスケジュールにあるコンサートに関するものであることを認識する。自然言語処理でこれらの詳細を認識することによって、「会場の開場は午後６時３０分であり、コンサートは午後８時に始まる。」と応答１９に提示される場合、自動アシスタントはユーザのクエリに対して応答１９を返す。いくつかの構成では、自然言語処理は、ユーザデバイス１０のデータ処理ハードウェア１２に通信するリモートサーバ６０上で発生する。

【0026】

ここで図２を参照すると、いくつかの例では、自動音声認識ＡＳＲモデル２００は、カスケーディングエンコーダ（エンコーダー）２０４、トランスデューサデコーダ（トランスデューサーデコーダー）２３０、および非自己回帰デコーダ（デコーダー）３００、を備えている。カスケーディングエンコーダ２０４は、エンコーディング経路に２つのエンコーダ２１０、２２０を備えており、第１エンコーダ（第１のエンコーダー）２１０の出力がデコーディング前に、第２エンコーダ（第２のエンコーダー）２２０の入力をフィードするようにカスケードするモデル構造を指す。ここで、第１エンコーダ２１０および第２エンコーダ２２０は、各エンコーダの基礎となるアーキテクチャに関係なくカスケードされ得る。エンコーダ２１０、２２０は、各々、マルチヘッド（例えば、８ヘッド）のアテンション層のスタックを含み得る。いくつかの例では、エンコーダ２１０、２２０のマルチヘッドアテンション層のスタックは、５１２次元コンフォーマ層のスタックを備えている。他の例では、コンフォーマ層の代わりに、変換層を使用し得る。

【0027】

第１エンコーダ２１０は、各々がセルフアテンション層として使用されるマルチヘッド（例えば、８ヘッド）アテンションメカニズムを備えた１７個のコンフォーマ層を備えているコーザル（要因、因果）エンコーダであり得る。さらに、第１エンコーダ２１０の各コンフォーマ層は、コーザル畳み込み層および左（レフト）コンテキストアテンション層を使用することで、第１エンコーダが任意の将来の入力（例えば、ゼロに等しい右（ライト）コンテキスト）を使用することを制限し得る。他方では、第２エンコーダ２２０は、各々がセルフアテンション層として使用されるマルチヘッド（例えば、８ヘッド）アテンションメカニズムを備えた４個のコンフォーマ層を備えている非コーザルエンコーダであり得る。第２エンコーダの各コンフォーマ層は、非コーザル畳み込み層および右コンテキストアテンション層を使用し得ることによって、第２エンコーダ２２０が将来の入力を使用する（例えば、注目する）ことを可能にする。すなわち、第２エンコーダ２２０は、追加の右コンテキスト（例えば、２．８８秒）を受信して処理することで、エンコーダ出力を生成し得る。

【0028】

図２を引き続き参照すると、第１エンコーダ２１０は、ｄ次元の特徴ベクトルのシーケンス（例えば、音響フレーム１１０のシーケンス）ｘ＝（ｘ_１、ｘ_２、・・・、ｘ_Ｔ）（ここで

【0029】

【数1】

【0030】

を受信することで、各出力ステップで、音響フレーム１１０のシーケンスにおける対応する音響フレーム１１０の第１高次特徴表現２１２を生成する。同様に、第２エンコーダ２２０は、第１エンコーダ２１０にカスケード接続されているので、第１高次特徴表現２１２を入力として受信することで、各出力ステップで、対応する第１高次特徴表現（例えば、オーディオエンコーディングの初期シーケンス）２１２に対する第２高次特徴表現２２２を生成する。特に、第２エンコーダ２２０は、追加の右コンテキストに注目しており、第２高次特徴表現（例えば、オーディオエンコーディングの後続のシーケンス）２２２の各々を生成する。しかしながら、場合によっては、第２エンコーダ２２０は、いずれの音響フレーム１１０も入力として受信することなく、第２高次特徴表現２２２を生成する。これらの例では、第２エンコーダ２２０は、第１高次特徴表現２１２だけを入力として使用することで、第２高次特徴表現２２２を生成する。カスケーディングエンコーダ２０４はストリーミング方式で動作し得、各出力ステップにおいて、カスケーディングエンコーダ２０４は、発話の一部または発話全部のどちらか一方に対応する第１高次特徴表現２１２および第２高次特徴表現２２２を生成する。

【0031】

トランスデューサデコーダ２３０は、ジョイントネットワーク２３２および予測ネットワーク２３６を有しているＲＮＮ－Ｔアーキテクチャを含み得る。いくつかの例では、トランスデューサデコーダ２３０は、非自己回帰デコーダ３００のモデルサイズよりも小さいモデルサイズを備えている自己回帰モデルである。トランスデューサデコーダは、ジョイントネットワーク２３２を使用することで、第１エンコーダ２１０によって出力された第１高次特徴表現２１２と、予測ネットワーク２３６から出力された密集表現（デンスレプリゼンテーション、稠密表現）２３８と、を組合せることでデコーダ出力を生成する。すなわち、ジョイントネットワーク２３２は、予測ネットワーク２３６から出力された密集表現２３８と、第１エンコーダ２１０によって生成済みの第１高次特徴表現２１２と、を入力として受信することで、各出力ステップで候補仮説１２０ａを生成するように構成されている。図示されていないが、トランスデューサデコーダ２３０は、トランスデューサデコーダ２３０の出力を受信する最終ソフトマックス層を含み得る。いくつかの実施態様では、ソフトマックス層はトランスデューサデコーダ２３０とは別であり、トランスデューサデコーダ２３０からの出力を処理する。次に、ソフトマックス層の出力はビーム検索処理で使用されており、正投影要素が選択される。いくつかの実施態様では、ソフトマックス層がトランスデューサデコーダ２３０に統合されていることによって、トランスデューサデコーダ２３０の出力はソフトマックス層の出力を表す。

【0032】

いくつかの実施態様では、トランスデューサデコーダ２３０によって出力された候補仮説１２０ａは、可能な初期アライメント２３４に対する確率分布（例えば、可能な初期アライメント２３４の各々に関連付けられた確率）を備えている。言い換えれば、ジョイントネットワーク２３２は、各出力ステップ（例えば、時間ステップ）において、可能な初期アライメント２３４に対する確率分布を生成する。ここで、「可能な初期アライメント２３４」の各々は、各々が空白記号または仮定のサブワード単位に対応する出力ラベル／フレームのシーケンスに対応する。仮定のサブワード単位の各々は、指定された自然言語の書記素（記号／文字）または単語の一部を表し得る。例えば、自然言語が英語であるとき、出力ラベルのシーケンス（すなわち、出力フレームのシーケンス）は、２８個の記号を備えているので、例えば、英語のアルファベットの２６文字の各々に１つのラベルと、スペースを指定する１つのラベルと、および空白記号を指定する１つのラベルと、を備えている。したがって、トランスデューサデコーダ２３０は、所定の出力ラベルのセットの各々の発生の尤度を示す値のセットを出力し得る。この値のセットはベクトル（例えば、ワンホットベクトル）であり、出力ラベルのセットに対する確率分布を示し得る。いくつかのシナリオでは、出力ラベルは書記素（例えば、個々の文字、および潜在的に句読点、ならびに他の記号）であるが、出力ラベルのセットはそれに制限されない。例えば、出力ラベルのセットは、書記素に加えて、または書記素の代わりに、空白記号、単語の断片、および／または単語全体、を含み得る。また、出力ラベルは、音素またはサブ音素等の他のタイプの音声単位であり得る。

【0033】

いくつかの実施態様では、トランスデューサデコーダ２３０の出力分布は、出力フレームのシーケンスの各出力フレームにおける異なる出力ラベルの各々に対する事後確率値を備えている。したがって、異なる書記素、空白記号、または他の記号、を表す１００個の異なる出力ラベルがある場合、トランスデューサデコーダ２３０によって出力された初期アライメント２３４は、出力フレームのシーケンスにおける各出力フレームで、出力ラベルごとに１つずつ、１００個の異なる確率値を含み得る。場合によっては、トランスデューサデコーダ２３０は、各出力フレームで対応する最高確率値を有している単一の出力ラベルを出力する。例えば、トランスデューサデコーダ２３０は、各々の出力フレームにおける確率分布から対応する最高確率を有している「アドベンチャー」（ａｄｖｅｎｔｕｒｅ）に基づき、出力フレームのシーケンスにおける各々の出力フレームとして、仮定のサブワード単位「アドベンチャー」を選択し得る。

【0034】

代替として、トランスデューサデコーダ２３０は、仮定のサブワード単位の各々の対応する確率が閾値確率値を満たさないと判定（決定）したことに基づき、出力フレームのシーケンスにおける各々の出力フレームとして空白記号を選択し得る。言い換えれば、トランスデューサデコーダ２３０が、閾値確率値を満たす仮定のサブワード単位のいずれに対しても対応する確率を生成しないとき、トランスデューサデコーダ２３０が正確な仮定のサブワード単位を選択する可能性は低いので、ひいては、トランスデューサデコーダ２３０は空白記号を選択する。例えば、トランスデューサデコーダ２３０は、「φφ＿ｐｕｌｌφφ＿ｐａｍｐ ｅｒ ｓ φφ」の初期アライメント２３４を生成し得、ここで、φは空白記号を表しており、そして「＿」、「ｐｕｌｌ」、「ｐａｍｐ」、「ｅｒ」、および「ｓ」は、各々、「ｐｕｌｌ ｃａｍｐｅｒｓ」（プルキャンパー）という発話に対応する各々の仮定のサブワード単位を表す。特に、トランスデューサデコーダ２３０によって出力された初期アライメント２３４は、発話された音声に正確に対応していない。

【0035】

いくつかの例では、トランスデューサデコーダ２３０は、初期アライメント２３４に基づき候補仮説１２０ａの候補トランスクリプションを生成する。特に、候補仮説１２０ａの候補トランスクリプションは、各々が仮定のサブワード単位に対応する出力ラベルのシーケンスを備えている。したがって、候補仮説１２０ａの候補トランスクリプションと、候補仮説１２０ａの初期アライメント２３４と、の間の違いとして、初期アライメント２３４の出力ラベルが空白記号を含み得るが、候補トランスクリプションは空白記号を含まないことが挙げられる。したがって、トランスデューサデコーダ２３０は、全ての空白記号を初期アライメント２３４から除去することによって、候補仮説１２０ａの候補トランスクリプションを生成し得る。上記の例を続けると、トランスデューサデコーダ２３０は、全ての空白記号φを除去することによって、初期アライメント２３４を使用することで「ｐｕｌｌ ｐａｍｐｅｒｓ」のトランスクリプションを生成し得る。トランスデューサデコーダ２３０は、候補仮説１２０ａのトランスクリプションをユーザデバイス１０（図１）に出力し得る。

【0036】

トランスデューサデコーダ２３０内では、予測ネットワーク２３６は２，０４８次元のＬＳＴＭ層を２つ有し得、また各層の後には６４０次元の投影層も続く。予測ネットワーク２３６は、ジョイントネットワーク２３２の最終ソフトマックス層によって出力された非空白記号のシーケンスを入力として受信することで、各出力ステップで密集表現２３８を生成する。ジョイントネットワーク２３２は、前の初期アライメント２３４の密集表現２３８を受信することで、密集表現２３８を使用することによって後続の初期アライメント２３４を生成する。非自己回帰デコーダ３００は、出力ステップの各々でトランスデューサデコーダ２３０によって生成済みの候補仮説１２０ａの初期アライメント２３４と、出力ステップの各々で第２エンコーダ２２０によって生成済みの第２高次特徴表現２２２と、を受信することで、出力ステップの各々で最終仮説１２０ｂを生成するように構成されている。最終仮説１２０は、出力ラベルの再スコアリング済みシーケンスに対する新しいアライメント３２４を含み得る。

【0037】

図３は、初期改良ステップを行なう非自己回帰デコーダ３００を示す。非自己回帰デコーダ３００は、マルチヘッドアテンション層３１０のスタックを含み得る。いくつかの例では、マルチヘッドアテンション層のスタックは、複数の変換層３１０を備えている。したがって、マルチヘッドアテンション層３１０のスタックおよび複数の変換層３１０は、本明細書では、互換的に使用され得る。他の例では、変換層の代わりに、コンフォーマ層を使用し得る。図３に示されるように、複数の変換層３１０は、分かりやすくするためだけに、３つの変換層３１０ａ～３１０ｃを備えているが、複数の変換層３１０は、任意の数の変換層３１０を含み得ることが理解される。

【0038】

変換層３１０の各々は、候補仮説１２０ａの初期アライメント２３４に関連付けられたテキスト特徴に対してセルフアテンションを行なうように構成されている。複数の変換層３１０のうちの初期変換層３１０は、テキスト特徴を初期アライメント２３４自体から抽出することでセルフアテンションを行なう。図３に示されるように、第１変換層（第１の変換層）３１０、３１０ａは、初期変換層３１０を備えており、テキスト特徴を初期アライメント２３４から抽出することでセルフアテンションを行なうように構成されている。他方では、複数の変換層３１０のうち初期変換層３１０に続く各変換層３１０の各々は、対応する以前変換層３１０から変換層出力３１２を受信することで、テキスト特徴を変換層出力３１２から抽出する。図３を引き続き参照すると、第２変換層（第２の変換層）３１０、３１０ｂは、第１変換層３１０ａによって出力された第１変換層出力３１２、３１２ａからテキスト特徴を抽出することでセルフアテンションを行ない、第３変換層（第３の変換層）３１０、３１０ｃは、第２変換層３１０ｂによって出力された第２変換層出力３１２、３１２ｂからテキスト特徴を抽出することでセルフアテンションを行なう。

【0039】

変換層３１０の各々はさらに、テキスト特徴に対して行なわれたセルフアテンションをクエリとして使用することで、キーおよび値の両方を表す第２高次特徴表現２２２に対してクロスアテンションを行なうことによって、変換層出力３１２を提供（すなわち、生成）するように構成されている。変換層３１０は、第２エンコーダ２２０から直接、または対応する以前変換層３１０から、第２高次特徴表現２２２を受信し得る。図３に示されるように、第１変換層３１０ａは、初期アライメント２３４からのテキスト特徴に対して行なわれたセルフアテンションをクエリとして使用することで、第２高次特徴表現２２２に対してクロスアテンションを行なうことで、第１変換層出力３１２ａを生成する。さらに、第２変換層３１０ｂおよび第３変換層３１０ｃは、各々の変換層出力３１２からのテキスト特徴に対して行なわれたセルフアテンションをクエリとして使用することで、第２高次特徴表現２２２に対してクロスアテンションを行なうことによって、各々、第２変換層出力３１２ｂおよび第３変換層出力３１２ｃを生成する。

【0040】

複数の変換層のうちの最終変換層３１０は、最終仮説１２０ｂを予測するように構成された最終ソフトマックス層３２０に変換層出力３１２を提供する。図３に示されるように、第３変換層３１０ｃは、複数の変換層３１０のうちの最終変換層３１０であり、それによって、第３変換層３１０ｃは、第３変換層出力３１２ｃを最終ソフトマックス層３２０に送信する。非自己回帰デコーダ３００は、最終仮説１２０ｂをユーザデバイス１０（図１）に送信し得る。

【0041】

非自己回帰デコーダ３００によって出力された最終仮説出力１２０ｂは、可能な新しいアライメント３２４に対する確率分布を含み得る。ここで、「可能な新しいアライメント３２４」の各々は、各々が空白記号または仮定のサブワード単位に対応する出力ラベル／フレームのシーケンスに対応する。非自己回帰デコーダ３００によって出力された確率分布は、出力フレームのシーケンスの各出力フレームにおける異なる出力ラベルの各々に対する事後確率値を含み得る。したがって、異なる書記素、空白記号、または他の記号、を表す１００個の異なる出力ラベルがある場合、非自己回帰デコーダ３００によって出力された新しいアライメント３２４は、出力フレームのシーケンスにおける各出力フレームで、出力ラベルごとに１つずつ、１００個の異なる確率値を含み得る。場合によっては、非自己回帰デコーダ３００は、各出力フレームで対応する最高確率値を有している単一の出力ラベルを出力する。これらの例では、非自己回帰デコーダ３００は、各出力フレームで対応する最高確率値を有している単一の出力ラベルを同時に出力し得る（例えば、並列貪欲デコーディングを行なう）。代替として、トランスデューサデコーダ２３０は、仮定のサブワード単位の各々の対応する確率が閾値確率値を満たさないと判定したことに基づき、出力フレームのシーケンスにおける各々の出力フレームとして空白記号を選択し得る。

【0042】

非自己回帰デコーダ３００によって出力された確率分布は、トランスデューサデコーダ２３０によって出力された確率分布とで同様であり得るが、非自己回帰デコーダ３００が複数の変換層３１０および第２高次特徴表現２２２を使用することで行なう追加処理のため、事後確率値は各出力フレームで異なり得る。すなわち、非自己回帰デコーダ３００は、第２高次特徴表現２２２および変換層出力３１２を使用することによって初期アライメント２３４を改善しており、新しいアライメント３２４を生成する。より具体的には、非自己回帰デコーダ３００は、初期アライメント２３４の１つまたは複数の出力ラベルを削除することによって、初期アライメント２３４を改善し得る。非自己回帰デコーダ３００はまた、新しいアライメント３２４の出力ラベルの再スコアリング済みシーケンスのうちの１つまたは複数を、初期アライメント２３４の出力ラベルのシーケンスに挿入または置換することによって、初期アライメント２３４を改善し得る。例えば、非自己回帰デコーダ３００は、初期アライメント２３４「φφ＿ｐｕｌｌφφ＿ｐａｍｐ ｅｒ ｓ φφ」と、対応する第２高次特徴表現２２２と、を受信することで、「φ＿ｐｕｌｌφφ＿ｃａｍｐ ｅｒ ｓφφφ」の新しいアライメント３２４を生成し得る。この例では、非自己回帰デコーダ３００は、初期アライメント２３４の先頭から空白記号を除去するだけでなく、初期アライメント２３４の末尾に空白記号を追加しているとともに、仮定のサブワード単位「ｐａｍｐ」を「ｃａｍｐ」の仮定のサブワード単位に置換することによって、新しいアライメント３２４を生成した。したがって、新しいアライメント３２４が初期アライメント２３４のエラーを改善することによって、新しいアライメント３２４が発話１０６「ｐｕｌｌ ｃａｍｐｅｒｓ」に正しく対応するようになる。

【0043】

いくつかの例では、非自己回帰デコーダ３００は、新しいアライメント３２４に基づき、最終仮説１２０ｂの最終トランスクリプションを生成する。特に、最終仮説１２０ｂの最終トランスクリプションは、各々が仮定のサブワード単位に対応する出力ラベルのシーケンスを備えている。したがって、最終仮説１２０ｂの最終トランスクリプションと、最終仮説１２０ｂの新しいアライメント３２４と、の間の違いとして、新しいアライメント３２４の出力ラベルは空白記号を含み得るが、最終トランスクリプションは空白記号を含まないことが挙げられる。したがって、非自己回帰デコーダ３００は、全ての空白記号を新しいアライメント３２４から除去することによって、最終トランスクリプションを生成し得る。上記の例を続けると、トランスデューサデコーダ２３０は、空白記号φの全てを除去することによって、新しいアライメント３２４を使用することで「ｐｕｌｌ ｃａｍｐｅｒｓ」のトランスクリプション（転写、書き起こし）を生成し得る。

【0044】

図３では、新しいアライメント３２４を生成するべく初期改良ステップを行なう非自己回帰デコーダ３００のみが示されるが、非自己回帰デコーダ３００は、１つまたは複数（例えば、任意の数）の追加の改良ステップを行ない得ることが理解される。初期改良ステップ（図３）に続く追加の改良ステップの各々の間に、非自己回帰デコーダ３００は、前の改良ステップ中に生成済みの新しいアライメント３２４を受信することで、出力ラベルの再スコアリング済みシーケンスに対して別の新しいアライメントを生成するように構成されている。例えば、第２改良ステップ（例えば、図３の初期改良ステップに続くステップ）は、初期改良ステップ中に生成済みの新しいアライメント３２４を受信するだろう。したがって、この例では、非自己回帰デコーダ３００は、新しいアライメント３２４（例えば、初期アライメント２３４ではなく）を第１変換層３１０ａへの入力として使用する。いくつかの実施態様では、非自己回帰デコーダ３００は、最終仮説１２０ｂをユーザデバイス１０（図１）に出力する前に、所定数の改良ステップを行なう。他の実施態様では、非自己回帰デコーダ３００は、新しいアライメント３２４が信頼閾値を満たすまで追加の改良ステップを行ない続ける。

【0045】

図４は、非自己回帰デコーディングによるストリーミングＲＮＮ－Ｔの検討を行なう方法４００の動作の例示的な配列を示すフローチャートである。方法４００は、メモリハードウェア５２０（図５）に記憶された命令を使用することで、データ処理ハードウェア５１０（図５）で実行し得る。データ処理ハードウェア５１０およびメモリハードウェア５２０は、コンピューティングデバイス５００（図５）に対応する図１のユーザデバイス１０および／またはリモートコンピューティングデバイス６０に常駐し得る。

【0046】

動作４０２において、方法４００は、第１パス中にトランスデューサデコーダモデル２３０によって生成済みの候補仮説１２０ａの初期アライメント２３４を受信する工程を備えている。ここで、候補仮説１２０ａは発話１０６の候補トランスクリプションに対応する。候補トランスクリプションは、各々が仮定のサブワード単位に対応する出力ラベルのシーケンスを備えている。他方で、候補仮説１２０ａの初期アライメント２３４は、各々が空白記号または仮定のサブワード単位に対応する出力ラベルのシーケンスを備えている。動作４０４において、方法４００は、発話１０６を特徴付ける第２高次特徴表現（例えば、オーディオエンコーディングの後続シーケンス）２２２を受信する工程を備えている。動作４０６において、方法４００は、非自己回帰デコーダ３００を使用することで、初期改良ステップ中に出力ラベルの再スコアリング済みシーケンスに対する新しいアライメント３２４を生成する工程を備えている。特に、非自己回帰デコーダ３００は、第１パス中にトランスデューサデコーダモデル２３０によって生成済みの候補仮説１２０ａの初期アライメント２３４と、第２高次特徴表現２２２と、を受信するように構成されている。さらに、非自己回帰デコーダ３００は、新しいアライメント３２４の出力ラベルのシーケンスから空白記号を除去することによって、最終仮説１２０ｂを生成し得る。

【0047】

図５は、この文書に説明されるシステムおよび方法を実施するべく使用され得るコンピューティングデバイス５００の例の概略図である。コンピューティングデバイス５００は、ラップトップ、デスクトップ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレーム、他の適切なコンピュータ等、様々な形式のデジタルコンピュータを表すことを意図している。ここで示される構成要素、それらの接続および関係、ならびにそれらの機能は、例示だけを意図しており、この文書で説明および／または特許請求されている発明の実施態様を制限することを意図していない。

【0048】

コンピューティングデバイス５００は、プロセッサ５１０、メモリ５２０、ストレージデバイス５３０、メモリ５２０および高速拡張ポート５５０に接続する高速インタフェース／コントローラ５４０、ならびに低速バス５７０およびストレージデバイス５３０に接続する低速インタフェース／コントローラ５６０を備えている。構成要素５１０、５２０、５３０、５４０、５５０、および５６０の各々は、様々なバスを使用することで相互接続されており、共通のマザーボードに取り付けられ得る、または必要に応じて他の方式で取り付けられ得る。プロセッサ５１０は、メモリ５２０内またはストレージデバイス５３０上に記憶された命令を備えている、コンピューティングデバイス５００内で実行するための命令を処理して、高速インタフェース５４０に接続されたディスプレイ５８０等の外部入力／出力デバイスにグラフィカルユーザインタフェース（ＧＵＩ）のグラフィカル情報を表示できる。他の実施態様では、複数のメモリおよび複数のタイプのメモリと一緒に、必要に応じて、複数のプロセッサおよび／または複数のバスを使用し得る。また、複数のコンピューティングデバイス５００が接続され得、各デバイスが（例えば、サーババンク、ブレードサーバのグループ、またはマルチプロセッサシステムとして）必要な動作の一部を提供する。

【0049】

メモリ５２０は、コンピューティングデバイス５００内に情報を非一時的に記憶する。メモリ５２０は、コンピュータ可読媒体、揮発性メモリユニット（複数可）、または不揮発性メモリユニット（複数可）であり得る。非一時的メモリ５２０は、コンピューティングデバイス５００で使用するべく一時的または永続的にプログラム（例えば、命令のシーケンス）またはデータ（例えば、プログラム状態情報）を記憶するべく使用される物理デバイスであり得る。不揮発性メモリの例は、限定ではないが、フラッシュメモリ、読み取り専用メモリ（ＲＯＭ）／プログラム可能な読み取り専用メモリ（ＰＲＯＭ）／消去可能なプログラム可能読み取り専用メモリ（ＥＰＲＯＭ）／電子的に消去可能なプログラム可能読み取り専用メモリ（ＥＥＰＲＯＭ）（例えば、通常、ブートプログラム等のファームウェアに使用される）を備えている。揮発性メモリの例は、限定ではないが、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、相変化メモリ（ＰＣＭ）、および、ディスクまたはテープ等を備えている。

【0050】

ストレージデバイス５３０は、コンピューティングデバイス５００にマスストレージを提供することが可能にされている。いくつかの実施態様では、ストレージデバイス５３０はコンピュータ可読媒体である。様々な異なる実施態様では、ストレージデバイス５３０は、フロッピー（登録商標）ディスクデバイス、ハードディスクデバイス、光ディスクデバイス、もしくはテープデバイス、フラッシュメモリ、または他の同様のソリッドステートメモリデバイス、あるいはストレージエリアネットワークまたは他の構成内のデバイスを備えているデバイスのアレイであり得る。追加の実施態様では、コンピュータプログラム製品は情報キャリア内に有形に具体化される。コンピュータプログラム製品は、実行されるとき、上記に説明した方法等の１つまたは複数の方法を行なう命令を備えている。情報キャリアは、メモリ５２０、ストレージデバイス５３０、またはプロセッサ５１０上のメモリ等のコンピュータまたは機械で可読媒体である。

【0051】

高速コントローラ５４０は、コンピューティングデバイス５００の帯域幅を集中的に使用する動作を管理する一方、低速コントローラ５６０は、より低い帯域幅を集中的に使用する動作を管理する。そのような役割の割り当ては単なる例である。いくつかの実施態様では、高速コントローラ５４０は、メモリ５２０、ディスプレイ５８０（例えば、グラフィックプロセッサまたはアクセラレータを経由して）、および様々な拡張カード（図示せず）を受け入れ得る高速拡張ポート５５０に結合される。いくつかの実施態様では、低速コントローラ５６０は、ストレージデバイス５３０および低速拡張ポート５９０に結合される。様々な通信ポート（例えば、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、イーサネット（登録商標）、無線イーサネット（登録商標））を含み得る低速拡張ポート５９０は、例えば、ネットワークアダプタを経由して、キーボード、ポインティングデバイス、スキャナ等の１つまたは複数の入力／出力デバイス、またはスイッチもしくはルーター等のネットワーキングデバイスに結合され得る。

【0052】

コンピューティングデバイス５００は、図に示されるように、様々な形式で実装され得る。例えば、標準サーバ５００ａとして、またはそのようなサーバ５００ａのグループで複数回、ラップトップコンピュータ５００ｂとして、またはラックサーバシステム５００ｃの一部として実装され得る。

【0053】

本明細書で説明されるシステムおよび技術の様々な実施態様は、デジタル電子回路および／または光学回路、集積回路、特別に設計されたＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／またはそれらの組合せにおいて実現できる。これらの様々な実施態様は、少なくとも１つのプログラマブルプロセッサを備えているプログラマブルシステムで実行可能および／または解読可能にされている１つまたは複数のコンピュータプログラムにおける実施態様を含み得、少なくとも１つのプログラマブルプロセッサは、ストレージシステム、少なくとも１つの入力デバイス、および少なくとも１つの出力デバイス、からデータおよび命令を受信することで、それらにデータおよび命令を送信するべく結合された、特殊または汎用のものであり得る。

【0054】

これらのコンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、またはコードとしても知られる）は、プログラマブルプロセッサに対する機械命令を備えており、高レベル手続き型プログラミング言語、および／またはオブジェクト指向プログラミング言語、および／またはアセンブリ／機械言語で実装できる。本明細書で使用される場合、「機械可読媒体」および「コンピュータ可読媒体」という用語は、機械可読信号として機械命令を受信する機械可読媒体を備えている、プログラマブルプロセッサに機械命令および／またはデータを提供するべく使用される任意のコンピュータプログラム製品、非一時的コンピュータ可読媒体、装置、および／またはデバイス（例えば、磁気ディスク、光学ディスク、メモリ、プログラマブル論理回路（ＰＬＤ））を指す。「機械可読信号」という用語は、プログラマブルプロセッサに機械命令および／またはデータを提供するべく使用される任意の信号を指す。

【0055】

本明細書に説明される処理および論理フローは、１つまたは複数のコンピュータプログラムを実行する１つまたは複数のプログラマブルプロセッサ（データ処理ハードウェアとも呼ばれる）によって行なわれ、入力データを操作して出力を生成することによって機能を行なうことができる。また、処理および論理フローは、専用論理回路、例えば、ＦＰＧＡ（フィールドプログラムゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）によって行なわれ得る。コンピュータプログラムの実行に適切なプロセッサは、例として、汎用マイクロプロセッサおよび専用マイクロプロセッサの両方、ならびに任意のタイプのデジタルコンピュータの任意の１つまたは複数のプロセッサを含み得る。概して、プロセッサは、読み取り専用メモリ、ランダムアクセスメモリ、またはそれら両方から命令およびデータを受信する。コンピュータの重要な要素として、命令を実行するためのプロセッサと、命令およびデータを記憶するための１つまたは複数のメモリデバイスとが挙げられる。概して、コンピュータはまた、データを記憶するための１つまたは複数のマスストレージデバイス（例えば、磁気ディスク、光磁気ディスク、または光ディスク）を備えている、あるいはマスストレージデバイスからデータを受信する、もしくはマスストレージデバイスにデータを転送する、またはそれら両方を行なうように動作可能に結合される。しかしながら、コンピュータはそのようなデバイスを有している必要はない。コンピュータプログラム命令およびデータを記憶するべく適切なコンピュータ可読媒体は、例として、半導体メモリデバイス（例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、およびフラッシュメモリデバイス）、磁気ディスク（例えば、内蔵ハードディスクまたはリムーバブルディスク）、光磁気ディスク、ならびにＣＤ－ＲＯＭディスクおよびＤＶＤ－ＲＯＭディスクを備えている、不揮発性メモリ、媒体、およびメモリデバイスの全ての形態を備えている。プロセッサおよびメモリは、専用論理回路によって補完できる、または専用論理回路に組み込みできる。

【0056】

ユーザとのインタラクションを提供するべく、本開示の１つまたは複数の態様は、ユーザに情報を表示するためのディスプレイデバイス、例えば、ＣＲＴ（陰極線管）またはＬＣＤ（液晶ディスプレイ）モニター、またはタッチスクリーン、および任意選択で、ユーザがコンピュータに入力を提供できるキーボードおよびポインティングデバイス、例えば、マウスまたはトラックボールを有しているコンピュータに実装できる。同様に、他の種類のデバイスを使用することで、ユーザとのインタラクションを提供できる。例えば、ユーザに提供されたフィードバックは、任意の形式の知覚フィードバック、例えば、視覚的フィードバック、聴覚的フィードバック、または触知的フィードバックであり得、ユーザからの入力は、音響入力、発話入力、または触知的入力を備えている、任意の形式で受信できる。さらに、コンピュータは、ユーザが使用するデバイスにドキュメントを送信することによって、またそのデバイスからドキュメントを受信することによって、ユーザとでインタラクトできる。例えば、ウェブブラウザから受信した要求に応じて、ユーザのクライアントデバイスのウェブブラウザにウェブページを送信することによってインタラクトする。

【0057】

いくつかの実施態様が説明されている。それにもかかわらず、本開示の趣旨および範囲から逸脱することなく、様々な修正がなされ得ることが理解される。したがって、他の実施態様は、以下の特許請求の範囲内に存在する。

【図1】

【図2】

【図3】

【図4】

【図5】

【手続補正書】

【提出日】2024-05-24

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

コンピュータ実施方法（４００）であって、データ処理ハードウェア（５１０）によって実行されるとき、前記データ処理ハードウェア（５１０）に動作を行なわせ、前記動作は、
発話（１０６）を特徴付けるオーディオエンコーディングの初期シーケンス（２１２）に基づき、第１パス中にトランスデューサデコーダモデル（２３０）によって生成済みの候補仮説（１２０ａ）の初期アライメント（２３４）を受信する工程であって、前記候補仮説（１２０ａ）は前記発話（１０６）の候補トランスクリプションに対応しており、前記候補仮説（１２０ａ）の前記初期アライメント（２３４）は、各々が空白記号または仮定のサブワード単位に対応する出力ラベルのシーケンスを備えている、前記初期アライメント（２３４）を受信する工程と、
前記発話（１０６）を特徴付けるオーディオエンコーディングの後続シーケンス（２２２）を受信する工程と、
初期改良ステップ中、前記第１パス中に前記トランスデューサデコーダモデル（２３０）によって生成済みの前記候補仮説（１２０ａ）の前記初期アライメント（２３４）と、前記オーディオエンコーディングの後続シーケンス（２２２）と、を受信するように構成された非自己回帰デコーダ（３００）を使用することで、出力ラベルの再スコアリング済みシーケンスに対する新しいアライメント（３２４）を生成する工程と、
を備えている、コンピュータ実施方法（４００）。

【請求項2】

前記非自己回帰デコーダ（３００）は複数の変換層（３１０）を備えており、複数の前記変換層（３１０）は、各々、
前記初期アライメント（２３４）に関連付けられたテキスト特徴に対してセルフアテンションを行なう工程と、
前記テキスト特徴に対して行なわれた前記セルフアテンションをクエリとして使用することで、キーおよび値の両方を表す前記オーディオエンコーディングの後続シーケンス（２２２）に対してクロスアテンションを行なうことによって、変換層出力（３１２）を提供する工程と、
を行なうように構成される、
請求項１に記載のコンピュータ実施方法（４００）。

【請求項3】

複数の前記変換層（３１０）のうちの初期変換層（３１０）に続く各変換層（３１０）の各々は、対応する以前変換層（３１０）からの前記変換層出力（３１２）を前記テキスト特徴として受信する、
請求項２に記載のコンピュータ実施方法（４００）。

【請求項4】

複数の前記変換層（３１０）のうちの最終変換層（３１０）は、前記出力ラベルの再スコアリング済みシーケンスの前記新しいアライメント（３２４）を予測するように構成された最終ソフトマックス層（３２０）に、前記変換層出力（３１２）を提供する、
請求項２に記載のコンピュータ実施方法（４００）。

【請求項5】

前記動作はさらに、前記初期改良ステップに続く１つまたは複数の追加の改良ステップの各々の期間中、前の改良ステップ中に生成済みの前記出力ラベルの再スコアリング済みシーケンスの前記新しいアライメント（３２４）を受信するように構成された前記非自己回帰デコーダ（３００）を使用することで、出力ラベルの再スコアリング済みシーケンスに対する新しいアライメント（３２４）を生成する工程を備えている、
請求項１～４のいずれか１項に記載のコンピュータ実施方法（４００）。

【請求項6】

前記出力ラベルの再スコアリング済みシーケンスに対する前記新しいアライメント（３２４）を生成する工程は、前記候補仮説（１２０ａ）の前記初期アライメント（２３４）の１つまたは複数の出力ラベルを挿入、削除、または置換、する工程を備えている、
請求項１～４のいずれか１項に記載のコンピュータ実施方法（４００）。

【請求項7】

前記動作はさらに、前記第１パス中にコーザルエンコーダ（２１０）によって、発話（１０６）に対応する音響フレーム（１１０）のシーケンスに基づき、前記オーディオエンコーディングの初期シーケンス（２１２）を生成する工程を備えている、
請求項１～４のいずれか１項に記載のコンピュータ実施方法（４００）。

【請求項8】

前記オーディオエンコーディングの後続シーケンス（２２２）は、前記オーディオエンコーディングの初期シーケンス（２１２）に基づき、非コーザルエンコーダ（２２０）によってエンコードされる、
請求項７に記載のコンピュータ実施方法（４００）。

【請求項9】

前記トランスデューサデコーダモデル（２３０）は、前記オーディオエンコーディングの初期シーケンス（２１２）を使用することで、前記候補仮説（１２０ａ）を生成する、
請求項７に記載のコンピュータ実施方法（４００）。

【請求項10】

前記候補仮説（１２０ａ）の前記候補トランスクリプションは、各々が仮定のサブワード単位に対応する出力ラベルのシーケンスを備えている、
請求項１～４のいずれか１項に記載のコンピュータ実施方法（４００）。

【請求項11】

データ処理ハードウェア（５１０）と、
前記データ処理ハードウェア（５１０）に通信するメモリハードウェア（５２０）と、を備えており、前記メモリハードウェア（５２０）は、前記データ処理ハードウェア（５１０）で実行されるとき、前記データ処理ハードウェア（５１０）に、動作を行なわせる命令を記憶しており、前記動作は、
発話（１０６）を特徴付けるオーディオエンコーディングの初期シーケンス（２１２）に基づき、第１パス中にトランスデューサデコーダモデル（２３０）によって生成済みの候補仮説（１２０ａ）の初期アライメント（２３４）を受信する工程であって、前記候補仮説（１２０ａ）は前記発話（１０６）の候補トランスクリプションに対応しており、前記候補仮説（１２０ａ）の前記初期アライメント（２３４）は、各々が空白記号または仮定のサブワード単位に対応する出力ラベルのシーケンスを備えている、前記初期アライメント（２３４）を受信する工程と、
前記発話（１０６）を特徴付けるオーディオエンコーディングの後続シーケンス（２２２）を受信する工程と、
初期改良ステップ中、前記第１パス中に前記トランスデューサデコーダモデル（２３０）によって生成済みの前記候補仮説（１２０ａ）の前記初期アライメント（２３４）と、前記オーディオエンコーディングの後続シーケンス（２２２）と、を受信するように構成された非自己回帰デコーダ（３００）を使用することで、出力ラベルの再スコアリング済みシーケンスに対する新しいアライメント（３２４）を生成する工程と、
を備えている、システム（１００）。

【請求項12】

前記非自己回帰デコーダ（３００）は複数の変換層（３１０）を備えており、複数の前記変換層（３１０）は、各々、
前記初期アライメント（２３４）に関連付けられたテキスト特徴に対してセルフアテンションを行なう工程と、
前記テキスト特徴に対して行なわれた前記セルフアテンションをクエリとして使用することで、キーおよび値の両方を表す前記オーディオエンコーディングの後続シーケンス（２２２）に対してクロスアテンションを行なうことによって、変換層出力（３１２）を提供する工程と、
を行なうように構成される、
請求項１１に記載のシステム（１００）。

【請求項13】

複数の前記変換層（３１０）のうちの初期変換層（３１０）に続く各変換層（３１０）の各々は、対応する以前変換層（３１０）からの前記変換層出力（３１２）を前記テキスト特徴として受信する、
請求項１２に記載のシステム（１００）。

【請求項14】

複数の前記変換層（３１０）のうちの最終変換層（３１０）は、前記出力ラベルの再スコアリング済みシーケンスの前記新しいアライメント（３２４）を予測するように構成された最終ソフトマックス層（３２０）に、前記変換層出力（３１２）を提供する、
請求項１２に記載のシステム（１００）。

【請求項15】

前記動作はさらに、前記初期改良ステップに続く１つまたは複数の追加の改良ステップの各々の期間中、前の改良ステップ中に生成済みの前記出力ラベルの再スコアリング済みシーケンスの前記新しいアライメント（３２４）を受信するように構成された前記非自己回帰デコーダ（３００）を使用することで、出力ラベルの再スコアリング済みシーケンスに対する新しいアライメント（３２４）を生成する工程を備えている、
請求項１１～１４のいずれか１項に記載のシステム（１００）。

【請求項16】

前記出力ラベルの再スコアリング済みシーケンスに対する前記新しいアライメント（３２４）を生成する工程は、前記候補仮説（１２０ａ）の前記初期アライメント（２３４）の１つまたは複数の出力ラベルを挿入、削除、または置換、する工程を備えている、
請求項１１～１４のいずれか１項に記載のシステム（１００）。

【請求項17】

前記動作はさらに、前記第１パス中にコーザルエンコーダ（２１０）によって、発話（１０６）に対応する音響フレーム（１１０）のシーケンスに基づき、前記オーディオエンコーディングの初期シーケンス（２１２）を生成する工程を備えている、
請求項１１～１４のいずれか１項に記載のシステム（１００）。

【請求項18】

前記オーディオエンコーディングの後続シーケンス（２２２）は、前記オーディオエンコーディングの初期シーケンス（２１２）に基づき、非コーザルエンコーダ（２２０）によってエンコードされる、
請求項１７に記載のシステム（１００）。

【請求項19】

前記トランスデューサデコーダモデル（２３０）は、前記オーディオエンコーディングの初期シーケンス（２１２）を使用することで、前記候補仮説（１２０ａ）を生成する、
請求項１７に記載のシステム（１００）。

【請求項20】

前記候補仮説（１２０ａ）の前記候補トランスクリプションは、各々が仮定のサブワード単位に対応する出力ラベルのシーケンスを備えている、
請求項１１～１４のいずれか１項に記載のシステム（１００）。

【国際調査報告】