特表2024-536387 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ グーグル　インコーポレイテッドの特許一覧

特表2024-536387言語アグノスティックの多言語エンドツーエンドストリーミングオンデバイス自動音声認識ＡＳＲシステム

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4
5
6

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-10-04

(54)【発明の名称】言語アグノスティックの多言語エンドツーエンドストリーミングオンデバイス自動音声認識ＡＳＲシステム

(51)【国際特許分類】

G10L 15/16 20060101AFI20240927BHJP

G10L 15/06 20130101ALI20240927BHJP

【ＦＩ】

G10L15/16

G10L15/06 300Y

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024520915

(86)(22)【出願日】2022-09-22

(85)【翻訳文提出日】2024-05-24

(86)【国際出願番号】 US2022076893

(87)【国際公開番号】W WO2023059992

(87)【国際公開日】2023-04-13

(31)【優先権主張番号】63/262,161

(32)【優先日】2021-10-06

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】502208397

【氏名又は名称】グーグルエルエルシー

【氏名又は名称原語表記】ＧｏｏｇｌｅＬＬＣ

【住所又は居所原語表記】１６００ＡｍｐｈｉｔｈｅａｔｒｅＰａｒｋｗａｙ９４０４３ＭｏｕｎｔａｉｎＶｉｅｗ，ＣＡＵ．Ｓ．Ａ．

(74)【代理人】

【識別番号】100142907

【弁理士】

【氏名又は名称】本田淳

(72)【発明者】

【氏名】リー、ボー

(72)【発明者】

【氏名】サイナス、ターラエヌ

(72)【発明者】

【氏名】パン、ルオミン

(72)【発明者】

【氏名】チャン、シュオ－イーン

(72)【発明者】

【氏名】シュー、チューミン

(72)【発明者】

【氏名】ストローマン、トレバー

(72)【発明者】

【氏名】チェン、ヴィンス

(72)【発明者】

【氏名】リャン、チャオ

(72)【発明者】

【氏名】リュー、フーグァン

(72)【発明者】

【氏名】ホー、ヤンチャン

(72)【発明者】

【氏名】ハガニ、パリサ

(72)【発明者】

【氏名】ビディチャンダニ、サミール

(57)【要約】

方法（５００）は、多言語自動音声認識（ＡＳＲ）モデル（２００）への入力として、１つまたは複数の発話（１０６）を特徴付ける音響フレーム（１１０）のシーケンスを受信する工程を備えている。方法はまた、対応する音響フレームの高次特徴表現（２０４）を生成する工程も備えている。方法はまた、最終ソフトマックス層（２４０）によって出力される非空白記号のシーケンス（２２２）に基づき、隠れ表現（３５５）を生成する工程も備えている。方法はまた、隠れ表現および高次特徴表現に基づき、可能な音声認識仮説にわたる確率分布を生成する工程も備えている。方法はまた、各発話の終わりに発話終了（ＥＯＵ）トークン（２３２）を予測する工程も備えている。方法はまた、各音響フレームを音声、初期無音、中間無音、または最終無音、のいずれかに分類する工程も備えている。

【特許請求の範囲】

【請求項1】

多言語自動音声認識（ＡＳＲ）システム（１００）であって、多言語自動音声認識（ＡＳＲ）システム（１００）は多言語自動音声認識ＡＳＲモデル（２００）と多言語エンドポインタモデル（２１０）とを備えており、
前記多言語自動音声認識ＡＳＲモデル（２００）は、
マルチヘッドアテンション層のスタックを備えているエンコーダ（２０２）であって、前記エンコーダ（２０２）が、
１つまたは複数の発話（１０６）を特徴付ける音響フレーム（１１０）のシーケンスを入力として受信するとともに、
複数の出力ステップの各々において、前記音響フレーム（１１０）のシーケンスの中の対応する音響フレーム（１１０）の高次特徴表現（２０４）を生成するよう構成されている、前記エンコーダ（２０２）と、
予測ネットワーク（３００）であって、
最終ソフトマックス層によって出力される非空白記号のシーケンス（２２２）を入力として受信することで、
複数の前記出力ステップの各々において、隠れ表現（３５５）を生成するよう構成されている、前記予測ネットワーク（３００）と、
第１ジョイントネットワーク（２２０）であって、
複数の前記出力ステップの各々において前記予測ネットワーク（３００）によって生成済みの前記隠れ表現（３５５）と、複数の前記出力ステップの各々において前記エンコーダ（２０２）によって生成済みの前記高次特徴表現（２０４）と、を入力として受信することで、
複数の前記出力ステップの各々において、可能な音声認識仮説にわたる確率分布（２２２）を生成するよう構成されている、前記第１ジョイントネットワーク（２２０）と、および
第２ジョイントネットワーク（２３０）であって、
複数の前記出力ステップの各々において前記予測ネットワーク（３００）によって生成済みの前記隠れ表現（３５５）と、複数の前記出力ステップの各々において前記エンコーダ（２０２）によって生成済みの前記高次特徴表現（２０４）と、を入力として受信することで、各発話（１０６）の終わりに発話終了（ＥＯＵ）トークン（２３２）を出力として予測するよう構成されている、前記第２ジョイントネットワーク（２３０）と、
を備えている、前記多言語自動音声認識ＡＳＲモデル（２００）であり、および
前記多言語エンドポインタモデル（２１０）は、前記音響フレーム（１１０）のシーケンス内の前記各音響フレーム（１１０）を音声、初期無音、中間無音、または最終無音、のいずれかに分類するように構成された前記多言語エンドポインタモデル（２１０）である、
多言語自動音声認識ＡＳＲシステム（１００）。

【請求項2】

前記第２ジョイントネットワーク（２３０）からの出力として予測される各発話終了ＥＯＵトークン（２３２）に応じてマイク閉じイベント（２５５）をトリガーするように構成されたマイククローザ（２５０）をさらに備えている、
請求項１に記載の多言語自動音声認識ＡＳＲシステム（１００）。

【請求項3】

前記多言語エンドポインタモデル（２１０）が前記音響フレーム（１１０）を前記最終無音として分類したことに応じて、マイク閉じイベント（２５５）をトリガーするように構成されたマイククローザ（２５０）をさらに備えている、
請求項１または２に記載の多言語自動音声認識ＡＳＲシステム（１００）。

【請求項4】

前記多言語エンドポインタモデル（２１０）は前記エンコーダ（２０２）から分岐しているとともに、前記マルチヘッドアテンション層のスタックからの前記マルチヘッドアテンション層の１つの計算を共有している、
請求項３に記載の多言語自動音声認識ＡＳＲシステム（１００）。

【請求項5】

前記多言語自動音声認識ＡＳＲモデル（２００）は、２段階のトレーニング処理を使用することでトレーニングされており、
前記２段階のトレーニング処理のうちの第１段階では、前記エンコーダ（２０２）、前記予測ネットワーク（３００）、および前記第１ジョイントネットワーク（２２０）、は音声認識品質について最適化されており、
前記２段階のトレーニング処理のうちの第２段階では、前記第２ジョイントネットワーク（２３０）は前記第１ジョイントネットワーク（２２０）で初期化されており、前記エンコーダ（２０２）、前記予測ネットワーク（３００）、および前記第１ジョイントネットワーク（２２０）、のパラメータは固定される、
請求項１～４のいずれか１項に記載の多言語自動音声認識ＡＳＲシステム（１００）。

【請求項6】

前記多言語自動音声認識ＡＳＲモデル（２２０）は、複数の異なる言語からサンプリングされた多言語トレーニング発話でトレーニングされる、
請求項１～５のいずれか１項に記載の多言語自動音声認識ＡＳＲシステム（１００）。

【請求項7】

前記各多言語トレーニング発話は、対応するドメイン識別子（ＩＤ）（１１２）に連結されている、
請求項６に記載の多言語自動音声認識ＡＳＲシステム（１００）。

【請求項8】

音声検索ドメインを表す対応するドメインＩＤ（１１２）に連結された前記多言語トレーニング発話は発話終了ＥＯＵトレーニングトークン（２３２）を備えており、
前記音声検索ドメイン以外のドメインを表す対応するドメインＩＤ（１１２）に連結された前記多言語トレーニング発話は、いずれの前記発話終了ＥＯＵトレーニングトークン（２３２）も含まない、
請求項７に記載の多言語自動音声認識ＡＳＲシステム（１００）。

【請求項9】

前記音響フレーム（１１０）の前記シーケンスは、第１言語で話された第１発話と、続いて前記第１言語とは異なる第２言語で話された第２発話と、を特徴付ける、
請求項１～８のいずれか１項に記載の多言語自動音声認識ＡＳＲシステム（１００）。

【請求項10】

前記マルチヘッドアテンション層の前記スタックは、コンフォーマ層のスタックを備えている、
請求項１～９のいずれか１項に記載の多言語自動音声認識ＡＳＲシステム（１００）。

【請求項11】

コンピュータ実装方法（５００）であって、データ処理ハードウェア（６１０）によって実行されるとき、前記データ処理ハードウェア（６１０）に、
多言語自動音声認識（ＡＳＲ）モデル（２００）への入力として、１つまたは複数の発話（１０６）を特徴付ける音響フレーム（１１０）のシーケンスを受信する工程と、
多言語自動音声認識ＡＳＲモデル（２００）のエンコーダ（２０２）によって、複数の出力ステップの各々において、前記音響フレーム（１１０）の前記シーケンス内の対応する音響フレーム（１１０）の高次特徴表現（２０４）を生成する工程とであって、前記エンコーダ（２０２）は、マルチヘッドアテンション層のスタックを備えている、前記高次特徴表現（２０４）を生成する工程と、
前記多言語自動音声認識ＡＳＲモデル（２００）の予測ネットワーク（３００）によって、複数の前記出力ステップの各々において、最終ソフトマックス層による非空白記号のシーケンスの出力（２２２）に基づき隠れ表現（３５５）を生成する工程と、
前記多言語自動音声認識ＡＳＲモデル（２００）の第１ジョイントネットワーク（２２０）によって、複数の前記出力ステップの各々において、複数の前記出力ステップの各々において前記予測ネットワーク（３００）によって生成済みの前記隠れ表現（２５５）と、複数の前記出力ステップの各々で前記エンコーダ（２０４）によって生成済みの前記高次特徴表現（２０４）と、に基づき可能な音声認識仮説にわたる確率分布（２２２）を生成する工程と、
前記多言語自動音声認識ＡＳＲモデル（２００）の第２ジョイントネットワーク（２３０）によって、複数の前記出力ステップの各々において前記予測ネットワーク（３００）によって生成済みの前記隠れ表現（３５５）と、複数の前記出力ステップの各々において前記エンコーダ（２０２）によって生成済みの前記高次特徴表現（２０４）と、に基づき各発話（１０６）の終わりに発話終了（ＥＯＵ）トークン（２３２）を予測する工程と、および
多言語エンドポインタモデル（２１０）によって、前記音響フレーム（１１０）のシーケンス内の各音響フレーム（１１０）を音声、初期無音、中間無音、または最終無音、のいずれかに分類する工程と、
を備えている動作を実行させる、
コンピュータ実装方法（５００）。

【請求項12】

前記動作は、前記第２ジョイントネットワーク（２３０）からの出力として予測される各発話終了ＥＯＵトークン（２３２）に応じて、マイククローザ（２５０）によってマイク閉じイベント（２５５）をトリガーする工程、をさらに備えている、
請求項１１に記載のコンピュータ実装方法（５００）。

【請求項13】

前記動作は、前記多言語エンドポインタモデル（２１０）が音響フレーム（１１０）を前記最終無音として分類したことに応じて、マイククローザ（２５０）によってマイク閉じイベント（２５５）をトリガーする工程、をさらに備えている、
請求項１１または１２に記載のコンピュータ実装方法（５００）。

【請求項14】

前記多言語エンドポインタモデル（２１０）は前記エンコーダ（２０２）から分岐しており、前記マルチヘッドアテンション層のスタックからの前記マルチヘッドアテンション層の１つの計算を共有している、
請求項１３に記載のコンピュータ実装方法（５００）。

【請求項15】

前記多言語自動音声認識ＡＳＲモデル（２００）は、２段階のトレーニング処理を使用することでトレーニングされており、
前記２段階のトレーニング処理のうちの第１段階では、前記エンコーダ（２０２）、前記予測ネットワーク（３００）、および前記第１ジョイントネットワーク（２２０）、が音声認識品質について最適化されており、
前記２段階のトレーニング処理のうちの第２段階では、前記第２ジョイントネットワーク（２３０）が前記第１ジョイントネットワーク（２２０）で初期化されており、前記エンコーダ（２０２）、前記予測ネットワーク（３００）、および前記第１ジョイントネットワーク（２２０）、のパラメータが固定される、
請求項１１～１４のいずれか１項に記載のコンピュータ実装方法（５００）。

【請求項16】

前記多言語自動音声認識ＡＳＲモデル（２００）は、複数の異なる言語からサンプリングされた多言語トレーニング発話でトレーニングされる、
請求項１１～１５のいずれか１項に記載のコンピュータ実装方法（５００）。

【請求項17】

各多言語トレーニング発話は、対応するドメイン識別子（ＩＤ）（１１２）に連結される、
請求項１６に記載のコンピュータ実装方法（５００）。

【請求項18】

音声検索ドメインを表す対応するドメインＩＤ（１１２）に連結された多言語トレーニング発話は発話終了ＥＯＵトレーニングトークン（２３２）を備えており、
前記音声検索ドメイン以外のドメインを表す対応するドメインＩＤ（１１２）に連結された多言語トレーニング発話は、いずれの発話終了ＥＯＵトレーニングトークン（２３２）も含まない、
請求項１７に記載のコンピュータ実装方法（５００）。

【請求項19】

前記音響フレーム（１１０）のシーケンスは、第１言語で話された第１発話と、続いて前記第１言語とは異なる第２言語で話された第２発話と、を特徴付ける、
請求項１１～１８のいずれか１項に記載のコンピュータ実装方法（５００）。

【請求項20】

前記マルチヘッドアテンション層のスタックがコンフォーマ層のスタックを備えている、
請求項１１～１９のいずれか１項に記載のコンピュータ実装方法（５００）。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、言語アグノスティックの多言語エンドツーエンドストリーミングオンデバイス自動音声認識ＡＳＲシステムに関する。

【背景技術】

【0002】

オンデバイスのエンドツーエンド（Ｅ２Ｅ）音声認識モデルは、単一言語の従来の音声認識モデルに関して質の向上を呈している。より具体的には、質の向上は、単語誤り率（ＷＥＲ）と、ユーザが話すのをやめてから音声認識モデルが認識結果を生成するまでの遅延であるレイテンシと、によって測定される。Ｅ２Ｅ音声認識モデルはまた、多言語音声（複数の異なる言語など）を認識できる従来の音声認識モデルに関して同様の質の向上を示している。

【発明の概要】

【発明が解決しようとする課題】

【0003】

しかし、これらのＥ２Ｅ音声認識モデルは、複数の異なる言語を認識するべく必要なモデルサイズが大きくなるので、オンデバイスのストリーミングアプリケーションには適していない。さらに、複数の異なる言語を認識できる音声認識モデルの発展および更新は、管理が厄介なものになる可能性がある。

【課題を解決するための手段】

【0004】

本開示の一態様は、マルチヘッドアテンション層のスタックを備えたエンコーダを備えている多言語自動音声認識ＡＳＲモデルを備えている多言語自動音声認識（ＡＳＲ）システムを提供する。エンコーダは、１つまたは複数の発話を特徴付ける音響フレームのシーケンスを入力として受信することで、複数の出力ステップの各々において、音響フレームのシーケンス内の対応する音響フレームの高次特徴表現を生成するように構成されている。多言語自動音声認識ＡＳＲモデルはまた、最終ソフトマックス層によって出力される非空白記号のシーケンスを入力として受信することで、複数の出力ステップの各々で隠れ表現（ヒドゥンレプリゼンテーション、隠し表現）を生成するように構成された予測ネットワークを備えている。多言語自動音声認識ＡＳＲモデルはまた、予測ネットワークによって複数の出力ステップの各々で生成済みの隠れ表現と、エンコーダによって複数の出力ステップの各々で生成済みの高次特徴表現と、を入力として受信することで、複数の出力ステップの各々で、可能な音声認識仮説（ポッシブルスピーチレコグニションヒポセシス）にわたる確率分布を生成するように構成された第１ジョイントネットワーク（第１のジョイントネットワーク）を備えている。多言語自動音声認識ＡＳＲモデルはまた、予測ネットワークによって複数の出力ステップの各々で生成済みの隠れ表現と、エンコーダによって複数の出力ステップの各々で生成済みの高次特徴表現と、を入力として受信することで、各発話の終了時に発話終了（ＥＯＵ）トークンを出力として予測するように構成された第２ジョイントネットワーク（第２のジョイントネットワーク）も備えている。多言語自動音声認識ＡＳＲシステムはまた、音響フレームのシーケンス内の各音響フレームを音声、初期無音、中間無音、または最終無音、のいずれかに分類するように構成された多言語エンドポインタモデルも備えている。

【0005】

本開示の実施態様は、以下の任意選択の特徴の１つまたは複数を含み得る。いくつかの実施態様では、多言語自動音声認識ＡＳＲシステムは、第２ジョイントネットワークからの出力として予測される各発話終了ＥＯＵトークンに応じて、マイク閉じ（クローズ）イベントをトリガーするように構成されたマイククローザ（マイククローザー）をさらに備えている。いくつかの例では、多言語自動音声認識ＡＳＲシステムは、多言語エンドポインタモデルが音響フレームを最終無音として分類したことに応じて、マイク閉じイベントをトリガーするように構成されたマイククローザをさらに備えている。これらの例では、多言語エンドポインタモデルはエンコーダから分岐しているとともに、マルチヘッドアテンション層のスタックからのマルチヘッドアテンション層の１つの計算を共有できる。いくつかの実施態様では、多言語自動音声認識ＡＳＲモデルは２段階のトレーニング処理を使用することでトレーニングされる。これらの実施態様では、２段階のトレーニング処理のうちの第１段階では、エンコーダ、予測ネットワーク、および第１ジョイントネットワーク、が音声認識品質について最適化されており、２段階のトレーニング処理のうちの第２段階では、第２ジョイントネットワークが第１ジョイントネットワークで初期化されているとともに、エンコーダ、予測ネットワーク、および第１ジョイントネットワーク、のパラメータが固定される。

【0006】

多言語自動音声認識ＡＳＲモデルは、複数の異なる言語からサンプリングされた多言語トレーニング発話でトレーニングされ得る。ここで、各多言語トレーニング発話は、対応するドメイン識別子（ＩＤ）に連結される場合がある。音声検索ドメインを表す対応するドメインＩＤに連結された多言語トレーニング発話は、発話終了ＥＯＵトレーニングトークンを含み得、音声検索ドメイン以外のドメインを表す対応するドメインＩＤに連結された多言語トレーニング発話はいずれの発話終了ＥＯＵトレーニングトークンも含まない。いくつかの実施態様では、音響フレームのシーケンスは、第１言語で話された第１発話と、続いて第１言語とは異なる第２言語で話された第２発話と、を特徴付ける。いくつかの例では、マルチヘッドアテンション層のスタックは、コンフォーマ層のスタックを備えている。

【0007】

本開示の別の態様は、データ処理ハードウェアで実行されるとき、データ処理ハードウェアが言語アグノスティック多言語エンドツーエンドストリーミングオンデバイスを実行するための動作を実行するコンピュータ実装方法を提供する。動作は、多言語自動音声認識（ＡＳＲ）モデルへの入力として、１つまたは複数の発話を特徴付ける音響フレームのシーケンスを受信する工程を備えている。動作は、複数の出力ステップの各々において多言語自動音声認識ＡＳＲモデルのエンコーダによって、音響フレームのシーケンス内の対応する音響フレームの高次特徴表現を生成する工程も備えている。ここで、エンコーダはマルチヘッドアテンション層のスタックを備えている。動作はまた、複数の出力ステップの各々において、多言語自動音声認識ＡＳＲモデルの予測ネットワークによって、最終ソフトマックス層によって出力される非空白記号のシーケンスに基づき隠れ表現を生成する工程も備えている。動作はまた、複数の出力ステップの各々で予測ネットワークによって生成済みの隠れ表現と、複数の出力ステップの各々でエンコーダによって生成済みの高次特徴表現と、に基づき可能な音声認識仮説にわたる確率分布を、複数の出力ステップの各々で、多言語自動音声認識ＡＳＲモデルの第１ジョイントネットワークによって生成する工程を備えている。動作はまた、多言語自動音声認識ＡＳＲモデルの第２ジョイントネットワークによって、複数の出力ステップの各々において予測ネットワークによって生成済みの隠れ表現と、複数の出力ステップの各々においてエンコーダによって生成済みの高次特徴表現と、に基づき各発話の終わりに発話終了（ＥＯＵ）トークンを予測する工程を備えている。この動作はまた、ただし多言語エンドポインタモデルが、音響フレームのシーケンス内の各音響フレームを、音声、初期無音、中間無音、または最終無音、のいずれかに分類する工程も備えている。

【0008】

本開示の実施態様は、以下の任意選択の特徴の１つまたは複数を含み得る。いくつかの実施態様では、動作は、第２ジョイントネットワークからの出力として予測される各発話終了ＥＯＵトークンに応じて、マイククローザによってマイク閉じイベントをトリガーする工程、をさらに備えている。いくつかの例では、動作は、多言語エンドポインタが音響フレームを最終無音として分類したことに応じて、マイククローザによってマイク閉じイベントをトリガーする工程、をさらに備えている。これらの例では、多言語エンドポインタはエンコーダから分岐しているとともに、マルチヘッドアテンション層のスタックからのマルチヘッドアテンション層の１つの計算を共有してもよい。いくつかの実施態様では、多言語自動音声認識ＡＳＲモデルは、２段階のトレーニング処理を使用することでトレーニングされる。これらの実施態様では、２段階のトレーニング処理のうちの第１段階では、エンコーダ、予測ネットワーク、および第１ジョイントネットワーク、が音声認識品質について最適化されており、２段階のトレーニング処理のうちの第２段階では、第２ジョイントネットワークが第１ジョイントネットワークで初期化されており、エンコーダ、予測ネットワーク、および第１ジョイントネットワーク、のパラメータが固定される。

【0009】

多言語自動音声認識ＡＳＲモデルは、複数の異なる言語からサンプリングされた多言語トレーニング発話でトレーニングされ得る。ここで、各多言語トレーニング発話は、対応するドメイン識別子（ＩＤ）に連結される場合がある。音声検索ドメインを表す対応するドメインＩＤに連結された多言語トレーニング発話は、発話終了ＥＯＵトレーニングトークンを含み得て、音声検索ドメイン以外のドメインを表す対応するドメインＩＤに連結された多言語トレーニング発話はいずれの発話終了ＥＯＵトレーニングトークンも含まない。いくつかの実施態様では、音響フレームのシーケンスは、第１言語で話された第１発話と、続いて第１言語とは異なる第２言語で話された第２発話と、を特徴付ける。いくつかの例では、マルチヘッドアテンション層のスタックは、コンフォーマ層のスタックを備えている。

【0010】

本開示の１つまたは複数の実施態様の詳細は、添付の図面および以下の説明において述べられる。他の態様、特徴、および利点、が説明および図面ならびに請求項から明らかになる。

【図面の簡単な説明】

【0011】

【図1】例示的な多言語音声認識システムの概略図である。

【図2】例示的な多言語音声認識モデルの概略図である。

【図3】図２の多言語音声認識モデルの例示的な予測ネットワークの概略図である。

【図4】多言語エンドポインタモデルによって予測されたシーケンス分類ラベルのプロットを示している。

【図5】言語アグノスティックの多言語エンドツーエンドストリーミングオンデバイスを実行するコンピュータ実装方法の例示的な動作の配置を示すフローチャートである。

【図6】本明細書に記載のシステムおよび方法を実装するべく使用できる例示的なコンピューティングデバイスの概略図である。

【発明を実施するための形態】

【0012】

種々の図面における同様の参照記号は、同様の要素を指す。
自動音声認識（ＡＳＲ）システムは、フレーズ、文、クエリ、コマンド、の終わりなどの、発話の終わりを認識するように構成できる。発話が終了したことを迅速かつ正確に判断することは、低レイテンシで正確な結果を提供するべく多くの場合に重要である。例えば、自動音声認識ＡＳＲシステムが音声のキャプチャと処理とを途中で終了した場合、ユーザの発話の終わりがカットオフされていることで、結果として得られるトランスクリプション（転写、文字起こし）が不完全または不正確になる可能性がある。一方、自動音声認識ＡＳＲシステムは発話が終了した後も追加の音声を待機し続けると、システムはユーザへの応答を不必要に遅らせる可能性がある。したがって、ユーザが話し終えたらすぐにユーザデバイスのマイクを閉じる（クローズする）ことが望ましいが、発話を途中で中断しないようにする必要がある。さらに、多言語音声認識が可能な自動音声認識ＡＳＲシステムの場合、対応すべき言語同士が互いに異なるので、この処理はさらに一層複雑になる。よって、多言語自動音声認識ＡＳＲシステムは非常に大きくなることが多いので、デバイス上のストリーミングアプリケーションには適していない。

【0013】

したがって、本明細書に記載の実施態様は、言語アグノスティックおよびデバイス上のストリーミング自動音声認識ＡＳＲアプリケーションに適した多言語自動音声認識ＡＳＲシステムに向けられている。より具体的には、多言語自動音声認識ＡＳＲシステムは、音響フレームのシーケンス内の対応する音響フレームに対して高次特徴表現を生成するエンコーダを備えている。音響フレームのシーケンスは、異なる言語の発話に対応する場合がある。場合によっては、音響フレームのシーケンスは、第１部分が第１言語で、第２部分が第２言語である単一の発話に対応する（つまり、コードスイッチング）。多言語自動音声認識ＡＳＲシステムはまた、高次特徴表現と、予測ネットワークによって生成済みの隠れ表現と、に基づき可能な音声認識仮説（例えば、音声認識結果）にわたる確率分布を生成する第１ジョイントネットワークも備えている。第２ジョイントネットワークは、高次特徴表現と隠れ表現とに基づき、各発話の終わりの発話終了（ＥＯＵ）トークンを予測する。マイククローザは発話終了ＥＯＵトークンを受信することで、発話終了ＥＯＵトークンの存在に基づきマイク閉じ（クロージング、終了）イベントを生成し得る。

【0014】

図１は、ユーザ１０４のユーザデバイス１０２、および／またはユーザデバイス１０２に通信するリモートコンピューティングデバイス２０１（例えば、クラウドコンピューティング環境で実行される分散システムの１つまたは複数のサーバ）に常駐する多言語自動音声認識ＡＳＲモデル２００を実装する自動音声認識ＡＳＲシステム１００を示している。ユーザデバイス１０２はモバイルコンピューティングデバイス（例えば、スマートフォン）として示されているが、ユーザデバイス１０２は、限定することなく、タブレットデバイス、ラップトップ／デスクトップコンピュータ、ウェアラブルデバイス、デジタルアシスタントデバイス、スマートスピーカー／ディスプレイ、スマートアプライアンス、自動車インフォテインメントシステム、またはモノのインターネット（ＩｏＴ）デバイス、などあらゆるタイプのコンピューティングデバイスに対応しており、データ処理ハードウェア１１１とメモリハードウェア１１３を備えている。

【0015】

ユーザデバイス１０２は、ユーザ１０４が発した発話１０６を受信することで、話されていた発話の発話１０６を自動音声認識ＡＳＲシステム１００で処理可能な入力音響フレーム１１０に関連付けられた対応するデジタル形式に変換するように構成されたオーディオキャプチャデバイス（例えば、マイク）１０８、１０８ａを備えたオーディオサブシステム１０８を備えている。オーディオサブシステム１０８はまた、ユーザデバイス１０２からの出力オーディオデータとして可聴オーディオ信号を通信するための音声出力デバイス（例えば、スピーカー）１０８、１０８ｂも含み得る。図示の例では、ユーザデバイス１０２は単一のオーディオキャプチャデバイス１０８ａを実装しているが、ユーザデバイス１０２は、本開示の範囲から逸脱することなく、オーディオキャプチャデバイス１０８ａのアレイを実装してよい。この場合、アレイ内の１つまたは複数のキャプチャデバイス１０８ａは、ユーザデバイス１０に物理的に常駐せず、オーディオサブシステム１０８に通信してもよい。

【0016】

示されている例では、ユーザは「ニューヨーク市の天気はどうですか」（どうであるか、ワットイズザウェザーインニューヨークシティ）というフレーズについて、英語の自然言語で各々の発話１０６を話しており、オーディオサブシステム１０８は発話１０６を、対応する音響フレーム１１０に変換して自動音声認識ＡＳＲシステム１００に入力する。その後、多言語自動音声認識ＡＳＲモデル（例えば、自動音声認識ＡＳＲモデル）２００は、発話１０６に対応する音響フレーム（すなわち、入力音声フレームのシーケンス）１１０を入力として受信することで、発話１０６の対応するトランスクリプション１２０（例えば、認識結果／仮説）を出力として生成／予測する。示されている例では、ユーザデバイス１０２および／またはリモートコンピューティングデバイス２０１は、発話１０６のトランスクリプション１２０の表現をユーザデバイス１０２のユーザ１０４に提示するように構成されたユーザインタフェース（インターフェース）ジェネレータ１０７も実行している。いくつかの構成では、自動音声認識ＡＳＲシステム１００から出力されたトランスクリプション１２０は、例えば、ユーザデバイス１０２またはリモートコンピューティングデバイス２０１で実行される自然言語理解（ＮＬＵ）モジュールによって処理されており、ユーザコマンドが実行される。さらに、または代わりに、テキスト読み上げシステム（例えば、ユーザデバイス１０２またはリモートコンピューティングデバイス２０１の任意の組合せで実行される）は、トランスクリプションを合成音声に変換するとともに、別のデバイスで聞こえるように出力することができる。例えば、元の発話１０６は、ユーザ１０４が友人に送信するメッセージに対応しており、そのメッセージでは、トランスクリプション１２０が合成音声に変換されているので、元の発話１０６で伝えられたメッセージを友人が聞くことができるように可聴出力される。

【0017】

明らかになるように、ユーザデバイス１０２は、自動音声認識ＡＳＲモデル２００からマイク閉じイベント２５５（図２）を受信することができる。マイク閉じイベント２５５を受信することに応じて、ユーザデバイス１０２は、マイク閉じイベント２５５の後にユーザデバイス１０２がそれ以上のオーディオデータをキャプチャするのを防ぐことができる。例えば、ユーザデバイス１０２は、１つまたは複数のマイク１０８ａを非アクティブ化するかまたは閉じることができる。さらに、ユーザデバイス１０２は、自動音声認識ＡＳＲモデル２００に指示することで、音響フレーム１１０のシーケンスに対するいずれかのアクティブな処理を停止しており、マイク閉じイベント２５５に応じて、ユーザデバイス１０２にトランスクリプションの機能を履行するように指示することができる。その結果、マイク閉じイベント２５５の後にマイク１０８ａによって後続の音声または背景ノイズがキャプチャされないので、音声認識の精度が向上する。

【0018】

図２を参照すると、自動音声認識ＡＳＲモデル２００には、エンコーダ２０２、デコーダ２０６、多言語エンドポインタモデル２１０、およびマイククローザ２５０、が含まれている。エンコーダ２０２は、１つまたは複数の発話１０６（図１）を特徴付ける音響フレーム１１０のシーケンスを入力として受信するように構成されている。自動音声認識ＡＳＲモデル２００は、複数の異なる言語からの発話を認識するように構成された多言語自動音声認識ＡＳＲモデルである。特に、自動音声認識ＡＳＲモデル２００は、複数の異なる言語からサンプリングされた多言語トレーニング発話でトレーニングすることができる。例えば、第１多言語トレーニング発話は英語で話されており、第２多言語トレーニング発話はオランダ語で話される場合がある。場合によっては、多言語トレーニング発話の音響フレーム１１０のシーケンスは、第１言語の第１部分に続いて、第１言語とは異なる第２言語で話された第２部分を特徴付ける。例えば、「ｄｅｊａｇｅｒｌｅｇｔｄｅｒｏｏｓｏｎｔｈｅｃｈａｉｒ」（猟師が椅子の上の的を射る）という多言語トレーニング発話には、オランダ語の第１部分「ｄｅｊａｇｅｒｌｅｇｔｄｅｒｏｏｓ」（猟師が的を射る）と英語の第２部分「ｏｎｔｈｅｃｈａｉｒ」（椅子の上の）が含まれる。１つまたは複数の異なる言語の用語を備えている単一の多言語トレーニング発話は、コードスイッチングと呼ばれる。

【0019】

いくつかの例では、各多言語トレーニング発話に対応する音響フレーム１１０のシーケンスが、対応するドメイン識別子（ＩＤ）１１２に連結される。ドメインＩＤ１１２は、多言語トレーニング発話に関連付けられたスピーキングドメインを示す。例えば、ドメインＩＤ１１２は、音声検索／コマンドドメイン、ビデオ会議ドメイン、またはダイアライゼーションドメイン、を表してもよい。明らかになるように、マイククローザ２５０は、発話終了トークン２３２、分類２１２、またはそれらの何らかの組合せ、に基づきマイク閉じイベント２５５を生成するかどうかを判定してもよい。例えば、マイククローザ２５０は、音声検索／コマンドドメインを示すドメインＩＤ１１２に連結された音響フレーム１１０のシーケンスの発話終了トークン２３２に基づき、マイク閉じイベント２５５を生成してもよい。他の例では、マイククローザ２５０は、音声検索／コマンドドメイン以外の任意のドメインＩＤ１１２に連結された音響フレーム１１０のシーケンスの分類２１２に基づき、マイク閉じイベント２５５を生成してもよい。したがって、音声検索／コマンドドメインを表す対応するドメインＩＤ１１２に連結された多言語トレーニング発話には、自動音声認識ＡＳＲモデル２００をトレーニングするための発話終了トレーニングトークンが含まれる可能性があるが、音声検索／コマンドドメイン以外のドメインを表す対応するドメインＩＤ１１２に連結された多言語トレーニング発話には、自動音声認識ＡＳＲモデル２００をトレーニングするためのいずれかの発話終了トレーニングトークン２３２は含まれない。

【0020】

音響フレーム１１０のシーケンスは、オーディオサブシステム１０８（図１）によって、パラメータ化された音響フレーム（例えば、メルフレームおよび／またはスペクトルフレーム）に事前に処理される場合がある。いくつかの実施態様では、パラメータ化された音響フレーム１１０は、ｌｏｇ－ｍｅｌ特徴を持つｌｏｇ－ｍｅｌフィルタバンクエネルギーに対応する。例えば、エンコーダ２０２に入力される発話１０６（図１）を表すパラメータ化された入力音響フレーム１１０は、ｘ＝（ｘ_１，・・・，ｘ_Ｔ）と表すことができ、式中

【0021】

【数1】

【0022】

はｌｏｇ－Ｍｅｌフィルタバンクのエネルギー、Ｔはｘ内のフレーム数、ｄはｌｏｇ－Ｍｅｌ特徴の数を表す。いくつかの例では、各パラメータ化された音響フレームは、短いシフトウィンドウ（例えば、３２ミリ秒で１０ミリ秒ごとにシフト）内で計算された１２８次元のｌｏｇ－ｍｅｌ特徴を備えている。各特徴は、前のフレーム（例えば、前の３つのフレーム）とで積み重ねられることで、より高次元のベクトル（例えば、前の３つのフレームを使用した５１２次元のベクトル）を形成する場合がある。次に、ベクトルを形成する特徴をダウンサンプリングする（例えば、３０ミリ秒のフレームレートに）ことができる。エンコーダ２０２に入力される音響フレーム１１０のシーケンス内の各音響フレーム１１０（ｘ_１：Ｔ）について、エンコーダ２０２は、各出力ステップで、音響フレーム１１０のシーケンス内の対応する音響フレーム１１０の第２高次特徴表現２０４を生成するように構成されている。

【0023】

いくつかの実施態様では、エンコーダ２０２は、各々がマルチヘッド（例えば、８ヘッド）のセルフアテンションメカニズムを備えているマルチヘッドアテンション層のスタックを備えている。例えば、セルフアテンション層のスタックは、コンフォーマ層または変換層のスタックを備えている場合がある。示されている例では、エンコーダ２０２は、コンフォーマエンコーダを備えており、コンフォーマエンコーダは、各々が一連のマルチヘッドセルフアテンション、深さ方向の畳み込み、およびフィードフォワード層を備えているコンフォーマ層のスタック（例えば、１２個のコンフォーマ層）を備えている。各コンフォーマ層は因果畳み込みを実行しており、左（レフト）コンテキストアテンションを備えており、エンコーダ２０２が音響フレーム１１０のシーケンス内の将来の音響フレーム１１０を使用することで第２高次特徴表現２０４を生成することを制限する。

【0024】

図２に示すように、エンコーダ２０２は、第１サブエンコーダ（第１のサブエンコーダ）２０２、２０２ａと第２サブエンコーダ（第２のサブエンコーダ）２０２、２０２ｂと、を備えている。第１サブエンコーダ２０２ａは、入力投影層と、各出力ステップで音響フレーム１１０のシーケンス内の対応する音響フレーム１１０の第１高次特徴表現２０３を生成するように構成された三（３）つのコンフォーマ層と、を有している。第２サブエンコーダ２０２ｂは、第１サブエンコーダ２０２ａからの二（２）つの隣接する出力を連結することで６０ミリ秒のフレームを形成する時間スタッキング層を有している。第２サブエンコーダ２０２ｂはまた、１０２４次元のコンフォーマ層、投影層、および八（８）つのコンフォーマ層とそれに続く層正規化、も備えている。第２サブエンコーダ２０２ｂは、第１高次特徴表現２０３を入力として受信することで、各出力ステップで第２高次特徴表現２０４を生成するように構成されている。

【0025】

多言語エンドポインタモデル２１０（単に「エンドポインタ２１０」とも呼ばれる）は、各音響フレーム１１０が発話の終わりであるかどうかを示す分類２１２を各音響フレーム１１０に対して生成するように構成されている。エンドポインタ２１０はエンコーダ２０２から分岐しており、マルチヘッドアテンション層のスタックからのマルチヘッドアテンション層の１つの計算を共有している。より具体的には、エンドポインタ２１０は、第１サブエンコーダ２０２ａの後、第２サブエンコーダ２０２ｂのスタッキング層の前にエンコーダ２０２から分岐する。いくつかの例では、エンドポインタ２１０は、図２に示すように、エンコーダ２０２の外部に常駐しながらも、依然第１サブエンコーダ２０２ａの計算を共有している。他の例では、エンドポインタはエンコーダ２０２に常駐しており、第１サブエンコーダ２０２ａ（図示せず）の計算を共有している。したがって、エンドポインタ２１０はエンコーダ２０２とで計算を共有しているので、エンドポインタ２１０とエンコーダ２０２との両方を同期的に発展および更新できる。

【0026】

エンドポインタ２１０は、音響フレーム１１０のシーケンスに対応する複数の出力ステップの各々において第１サブエンコーダ２０２ａによって生成済みの第１高次特徴表現２０３を入力として受信することで、各出力ステップにおいて、対応する第１高次特徴表現２０３の分類２１２を生成するように構成されている。エンドポインタ２１０は、各音響フレーム１１０の分類２１２をマイククローザ２５０に送信する。図４は、音響フレーム１１０のシーケンスによって表される発話１０６（図１）に対してエンドポインタ２１０によって出力される分類２１２の例示的なシーケンスのプロット４００を示す。プロット４００はまた、対応する出力ステップで第１ジョイントネットワーク２２０によって出力される対応する音声認識結果２２２も示している。特に、プロット４００に示される音声認識結果２２２は、「ボストンまでの距離」（ディスタンストゥーボストン）という発話に対応している。分類２１２のシーケンス内の各分類２１２は、音声（「０」）、初期無音（「１」）、中間無音（「２」）、または最終無音（「３」）、のいずれかを表す。エンドポインタ２１０が、各々の音響フレーム１１０の最終無音を示す分類２１２をマイククローザ２５０に出力するとき、マイククローザ２５０は、マイク閉じイベント２５５をトリガーするように構成されている。代替的に、エンドポインタ２１０が最終無音以外のいずれかの分類２１２をマイククローザ２５０に出力するとき、マイククローザ２５０はマイク閉じイベント２５５をトリガーしない。

【0027】

エンドポインタ２１０は、音響フレーム１１０に対応する第１高次特徴表現２０３の音響情報のみに基づき分類２１２を生成する。つまり、エンドポインタ２１０は、言語情報（例えば、隠れ表現３５５）からのいかなる情報に基づいても分類２１２を生成しない。さらに、エンドポインタ２１０は、最終無音を表す分類２１２の確率が発話全体にわたって時間の経過とともに増加すると判定し得る。

【0028】

デコーダ２０６は、第１ジョイントネットワーク２２０、第２ジョイントネットワーク２３０、および予測ネットワーク３００を備えたリカレントニューラルネットワークトランスデューサ（ＲＮＮ－Ｔ）アーキテクチャを含んでもよい。デコーダ２０６は、ジョイントネットワーク２２０、２３０を使用することで、エンコーダ２０２によって出力された第２高次特徴表現２０４と、予測ネットワーク３００によって出力された隠れ表現３５５と、を組合せることでデコーダ出力を生成する。より具体的には、第１ジョイントネットワーク２２０は、複数の出力ステップの各々において予測ネットワーク３００によって生成済みの隠れ表現３５５と、複数の出力ステップの各々においてエンコーダ２０２によって生成済みの高次特徴表現２０４と、を入力として受信することで、各出力ステップにおいて、可能な音声認識仮説（例えば、出力ラベル）にわたる確率分布２２２（ｙ）を生成するように構成されている。

【0029】

確率分布２２２に関連付けられた可能な音声認識仮説は、指定された自然言語の記号／文字を各々表す出力ラベルのセットに対応する。例えば、自然言語が英語のとき、出力ラベルのセットには２７個の記号が含まれ得る。例えば、英語のアルファベットの２６文字各々に１つのラベルと、スペースを表す１つのラベル（＜ＳＰ＞がある）と、である。したがって、第１ジョイントネットワーク２２０は、所定の出力ラベルセットの各々の発生尤度を示す値のセット（例えば、確率分布２２２）を出力し得る。この値のセットはベクトルであり得、出力ラベルのセット上の確率分布２２２を示すことができる。場合によっては、出力ラベルは書記素（個々の文字、潜在的な句読点やその他の記号など）であるが、出力ラベルのセットはそれに制限されない。例えば、出力ラベルのセットは、書記素に加えて、または書記素の代わりに、単語の一部および／または単語全体を備えていることができる。第１ジョイントネットワーク２２０によって出力される確率分布２２２は、異なる出力ラベル同士の各々に対する事後確率値を含み得る。したがって、互いに異なるグラフィムまたは他の記号を表す百（１００）個の互いに異なる出力ラベルが存在する場合、出力（ｙ）は、出力ラベルごとに１つずつ、計百（１００）個の互いに異なる確率値を備えていることができる。次に、確率分布２２２を使用することで、ビーム検索処理（例えば、第１ジョイントネットワーク２２０の最終ソフトマックス層による）で候補となる綴り要素（例えば、書記素、単語片、および／または単語）を選択することで、スコアを割り当てるとともに、トランスクリプション１２０（図１）を決定できる。つまり、第１ジョイントネットワーク２２０は、可能な音声認識仮説全体にわたって、対応する確率分布２２２から最も高い確率を有しているＮ個の最良の音声認識結果を出力することができる。したがって、可能な音声認識仮説にわたる確率分布２２２と音声認識結果２２２と、は本明細書では互換的に使用できる。

【0030】

図示されていないが、第１ジョイントネットワークは、可能な音声認識仮説にわたる確率分布２２２を受信するとともに、ビーム検索処理を実行することで、可能な音声認識仮説にわたる確率分布２２２から綴り要素を選択する最終ソフトマックス層を含んでもよい。いくつかの実施態様では、最終ソフトマックス層は第１ジョイントネットワーク２２０とは別個である。他の実施態様では、最終ソフトマックス層は第１ジョイントネットワーク２２０に統合されているので、第１ジョイントネットワーク２２０の出力が最終ソフトマックス層の出力を表す。

【0031】

図３は、自動音声認識ＡＳＲモデル２００の予測ネットワーク３００が、入力として、第１ジョイントネットワーク２２０の最終ソフトマックス層によって出力されたＮ個の以前の非空白記号に限定された非空白記号のシーケンスを受信することで、各出力ステップで、隠れ表現３５５を生成する様子を示している。つまり、第１ジョイントネットワーク２２０の最終ソフトマックス層によって出力される非空白記号シーケンス２２２、２２２ａ～ｎは、音声認識結果の非空白記号２２２に対応する可能性がある。したがって、非空白記号２２２のシーケンスと第２パス音声認識仮説２２２と、はここでは互換的に使用できる。いくつかの例では、Ｎは２に等しくなる。他の例では、Ｎは５に等しいが、開示は非限定的であり、Ｎは任意の整数に等しくなる可能性がある。いくつかの実施態様では、予測ネットワーク３００は、マルチヘッドアテンションメカニズム３０２を備えており、これは、マルチヘッドアテンションメカニズムの各ヘッド３０２Ａ～３０２Ｈにわたって共有埋込行列（共有埋め込みマトリックス）３０４を共有している。一例では、マルチヘッドアテンションメカニズム３０２は４つのヘッドを備えている。ただし、マルチヘッドアテンションメカニズム３０２では任意の数のヘッドを使用できる。特に、マルチヘッドアテンションメカニズムによって、モデルサイズの増加を最小限に抑えながらパフォーマンスが大幅に向上する。以下に詳しく説明するように、各ヘッド３０２Ａ～Ｈは独自の位置ベクトル３０８の行を備えているので、すべてのヘッドからの出力３１８Ａ～Ｈを連結することでモデルサイズが増加するのではなく、代わりにヘッド平均モジュール３２２によって出力３１８Ａ～Ｈが平均化される。

【0032】

マルチヘッドアテンションメカニズム３０２の第１ヘッド３０２Ａを参照すると、ヘッド３０２Ａは、共有埋込行列３０４を使用することで、複数の時間ステップからの対応する時間ステップで入力として受信された非空白記号のシーケンス２２２内の各非空白記号２２２に対して、対応する埋込３０６、３０６ａ～ｎ（例えば

【0033】

【数2】

【0034】

）を生成する。特に、共有埋込行列３０４は、マルチヘッドアテンションメカニズム３０２のすべてのヘッド間で共有されるので、他のヘッド３０２Ｂ～Ｈはすべて、各非空白記号に対して同じ対応する埋込３０６を生成する。ヘッド３０２Ａはまた、非空白記号のシーケンス２２２内の対応する各非空白記号に、各々の位置ベクトルＰＶ_{Ａａ～Ａｎ}３０８、３０８Ａａ～Ａｎ（例えば

【0035】

【数3】

【0036】

）を割り当てる。各非空白記号に割り当てられた各々の位置ベクトルＰＶ３０８は、非空白記号のシーケンスの履歴内の位置（例えば、第１ジョイントネットワーク２２０の最終ソフトマックス層によって出力されたＮ個の以前の非空白記号）を示す。例えば、最初の位置ベクトルＰＶ_Ａａは履歴の最新の位置に割り当てられ、一方で最後の位置ベクトルＰＶ_Ａｎは、第１ジョイントネットワーク２２０の最終ソフトマックス層によって出力されたＮ個の以前の非空白記号の履歴の最後の位置に割り当てられる。特に、埋込３０６の各々は、位置ベクトルＰＶ３０８の各々とで同じ次元（すなわち、次元サイズ）を含んでもよい。

【0037】

非空白記号のシーケンス２２２内の各非空白記号１２０ｂごとに共有埋込行列３０４によって生成される対応する埋込は、マルチヘッドアテンションメカニズム３０２のすべてのヘッド３０２Ａ～Ｈで同じであるが、各ヘッド３０２Ａ～Ｈは、位置ベクトル３０８の異なるセット／行を定義する。例えば、第１ヘッド３０２Ａは位置ベクトルの行ＰＶ_{Ａａ～Ａｎ}３０８Ａａ～Ａｎを定義しており、第２ヘッド３０２Ｂは位置ベクトルの異なる行ＰＶ_{Ｂａ～Ｂｎ}３０８Ｂａ～Ｂｎ、・・・を定義しており、第Ｈヘッド３０２Ｈは位置ベクトルの別の異なる行ＰＶ_{Ｈａ～Ｈｎ}３０８Ｈａ～Ｈｎを定義する。

【0038】

受信した非空白記号のシーケンス２２２内の各非空白記号２２２について、第１ヘッド３０２Ａは、重み付け層３１０を介して、対応する埋込とそれに割り当てられた各々の位置ベクトルＰＶ３０８との間の類似度に比例して、対応する埋込３０６に重み付ける。いくつかの例では、類似度にはコサイン類似度（例えば、コサイン距離）が含まれる場合がある。示されている例では、重み付け層３１０は、割り当てられた各々の位置ベクトルＰＶ３０８に比例して重み付けされた対応する埋込３０６が各々関連付けられた重み付けされた埋込３１２、３１２Ａａ～Ａｎのシーケンスを出力する。言い換えれば、重み付け層３１０によって各埋込３０６に対して出力される重み付けされた埋込３１２は、埋込３０６と各々の位置ベクトルＰＶ３０８との間のドット積に対応する可能性がある。重み付けされた埋込３１２は、各々の位置ベクトルＰＶ３０８に関連付けられた位置とどの程度類似しているかに比例して、埋込に注目していると解釈できる。計算速度を上げるべく、予測ネットワーク３００には非再帰層が含まれており、したがって、重み付けされた埋込３１２Ａａ～Ａｎのシーケンスは連結されず、代わりに加重平均モジュール３１６によって平均化されており、第１ヘッド３０２Ａからの出力として、次式で表される重み付けされた埋込３１２Ａａ～Ａｎの加重平均３１８Ａが生成される。

【0039】

【数4】

【0040】

式（１）において、ｈはヘッド３０２のインデックスを表しており、ｎはコンテキスト内の位置を表しており、ｅは埋込次元を表す。さらに、式（１）では、Ｈ、Ｎ、およびｄ_ｅ、は対応する次元のサイズを備えている。位置ベクトルＰＶ３０８はトレーニング可能にされている必要はなく、ランダムな値を含んでもよい。特に、重み付けされた埋込３１２が平均化されても、位置ベクトルＰＶ３０８は位置履歴情報を潜在的に保存できるので、予測ネットワーク３００の各層で再帰接続を提供する必要性が軽減される。

【0041】

第１ヘッド３０２Ａに関して上で説明した動作は、マルチヘッドアテンションメカニズム３０２の他の各ヘッド３０２Ｂ～Ｈでも同様に実行される。各ヘッド３０２によって定義された位置ベクトルＰＶ３０８の異なるセットによって、重み付け層３１０は、第１ヘッド３０２Ａの重み付けされた埋込３１２Ａａ～Ａａのシーケンスとは異なる、他の各ヘッド３０２Ｂ～Ｈの重み付けされた埋込３１２Ｂａ～Ｂｎ、３１２Ｈａ～Ｈｎのシーケンスを出力する。その後、加重平均モジュール３１６は、他の各対応するヘッド３０２Ｂ～Ｈからの出力として、非空白記号のシーケンスの対応する重み付けされた埋込３１２の各々の加重平均３１８Ｂ～Ｈを生成する。

【0042】

示されている例では、予測ネットワーク３００は、対応するヘッド３０２Ａ～Ｈから出力される加重平均３１８Ａ～Ｈを平均化するヘッド平均モジュール３２２を備えている。ＳＷＩＳＨ（スウィッシュ）を備えた投影層３２６は、加重平均３１８Ａ～Ｈの平均に対応するヘッド平均モジュール３２２からの出力３２４を入力として受信することで、投影出力３２８を出力として生成してもよい。最終層正規化３３０は、投影出力３２８を正規化することで、複数の時間ステップから対応する時間ステップにおける単一の埋込ベクトル（例えば、隠れ表現）３５５を提供することができる。予測ネットワーク３００は、初期時間ステップに続く複数の時間ステップの各々において、単一の埋込ベクトル３５５のみを生成する。

【0043】

いくつかの構成では、予測ネットワーク３００は、マルチヘッドアテンションメカニズム３０２を実装せず、第１ヘッド３０２Ａに関して上記の動作のみを実行する。これらの構成では、重み付けされた埋込３１２Ａａ～Ａｎの加重平均３１８Ａが、投影層３２６と層正規化３３０とを通過するだけで、単一の埋込ベクトル３５０が提供される。

【0044】

図２に戻って参照すると、第２ジョイントネットワーク２３０は、発話の終了を示す発話終了（ＥＯＵ）トークン２３２を予測するように構成されている。有利なことに、第２ジョイントネットワーク２３０は、追加の言語コンテキスト、すなわち、隠れ表現３５５に基づき発話終了ＥＯＵトークン２３２を生成する。言い換えれば、第２ジョイントネットワーク２３０は追加の言語コンテキストを処理しているので、それによってエンドポインタ２１０の音響ベースの分類２１２とで比較してより正確な発話終了ＥＯＵ予測を提供する。

【0045】

第２ジョイントネットワーク２３０は、複数の出力ステップの各々において予測ネットワーク３００によって生成済みの隠れ表現３５５と、複数の出力ステップの各々においてエンコーダ２０２によって生成済みの高次特徴表現２０４と、を入力として受信することで、各発話１０６の終わりの発話終了ＥＯＵトークン２３２を予測するように構成されている（図１）。第２ジョイントネットワーク２３０は、第２高次特徴表現２０４が各々の出力ステップで発話１０６（図１）の終わりを表していると第２ジョイントネットワーク２３０が判定したとき、発話終了ＥＯＵトークン２３２をマイククローザ２５０に出力し得る。つまり、第２ジョイントネットワーク２３０は、各出力ステップにおいて、隠れ表現３５５と第２高次特徴表現２０４とに基づき、各々の第２高次特徴表現２０４が発話１０６（図１）の終わりに対応する尤度を示すスコアを決定し得る。スコアがスコア閾値を満たすとき、第２ジョイントネットワーク２３０は、発話終了ＥＯＵトークン２３２をマイククローザ２５０に出力する。スコアがスコア閾値を満たさないとき、第２ジョイントネットワーク２３０は、発話終了ＥＯＵトークン２３２をマイククローザ２５０に出力するのを控える。したがって、マイククローザ２５０は、第２ジョイントネットワーク２３０からの出力として予測される各発話終了ＥＯＵトークン２３２に応じてマイク閉じイベント２５５をトリガーしているので、マイク閉じイベント２５５をユーザデバイス１０２（図１）に送信することで、１つまたは複数のマイク１０８ａ（図１）をクローズする。

【0046】

マイククローザ２５０は、音響フレームのシーケンス内の各音響フレーム１１０に対応する分類２１２および発話終了ＥＯＵトークン２３２を受信する（または、第２ジョイントネットワーク２３０が発話終了ＥＯＵトークン２３２を生成しないときは発話終了ＥＯＵトークン２３２を受信しない）場合がある。その後、マイククローザ２５０は、音響フレーム１１０の分類２１２または発話終了ＥＯＵ２３２に基づき、マイク閉じイベント２５５を生成するかどうかを判定（決定）し得る。特に、マイククローザ２５０は、音響フレーム１１０のシーケンスに関連付けられたドメインＩＤ１１２に基づき判定を行ない得る。例えば、マイククローザ２５０は、ドメインＩＤ１１２が音声検索／コマンドドメインを示しているときに、発話終了ＥＯＵトークン２３２の存在に基づきマイク閉じイベント２５５を生成し得る。特に、マイククローザ２５０の音声検索／コマンドドメイン発話が発話終了ＥＯＵトークン２３２次第であり、それは、これらの発話には、ビデオ会議やダイアライゼーションなどの他のドメインに関連付けられた発話によく含まれる長い休止が含まれていないからである。このように、マイククローザ２５０は、他のドメインの発話の質の低下（例えば、マイク閉じイベント２５５の早すぎる生成）を招くことなく、発話終了ＥＯＵトークン２３２を使用することで音声検索／コマンドドメイン発話のマイク閉じイベント２５５を生成する際のレイテンシを短縮し得る。

【0047】

自動音声認識ＡＳＲモデル２００は、２段階のトレーニング処理を使用することでトレーニングしてもよい。２段階のトレーニング処理のうちの第１段階では、エンコーダ２０２、予測ネットワーク３００、および第１ジョイントネットワーク２２０、が音声認識品質について最適化される。つまり、第１段階では、これらの構成要素は、最小の単語誤り率（ＷＥＲ）および／または最小のレイテンシになるように最適化される。２段階のトレーニング処理のうちの第２段階では、第２ジョイントネットワーク２３０が第１ジョイントネットワーク２２０で初期化されており、エンコーダ２０２、予測ネットワーク３００、および第１ジョイントネットワーク２２０のパラメータ、が第１段階で学習されたパラメータに基づき固定される。特に、第２ジョイントネットワーク２３０は、第１段階で学習された第１ジョイントネットワーク２２０のパラメータを使用することで初期化される。その後、第２段階では、第２ジョイントネットワーク２３０がパラメータをさらに改良する。

【0048】

図５は、言語アグノスティックの多言語エンドツーエンドストリーミングオンデバイスを実行する方法５００の動作の例示的な構成を示すフローチャートである。方法５００は、メモリハードウェア６２０（図６）に記憶された命令を使用することで、データ処理ハードウェア６１０（図６）で実行することができる。データ処理ハードウェア６１０およびメモリハードウェア６２０は、コンピューティングデバイス６００（図６）に対応する図１のユーザデバイス１０２および／またはリモートコンピューティングデバイス６０に存在し得る。

【0049】

動作５０２では、方法５００は、多言語自動音声認識ＡＳＲモデル２００のエンコーダ２０２への入力として、１つまたは複数の発話１０６を特徴付ける音響フレーム１１０のシーケンスを受信する工程を備えている。動作５０４において、方法５００は、エンコーダ２０２によって、複数の出力ステップの各々において、音響フレーム１１０のシーケンス内の対応する音響フレーム１１０の高次特徴表現（例えば、第２高次特徴表現）２０４を生成する工程を備えている。ここで、エンコーダ２０２はマルチヘッドアテンション層のスタックを備えている。動作５０６において、方法５００は、複数の出力ステップの各々において予測ネットワーク３００によって、第１ジョイントネットワーク２２０の最終ソフトマックス層によって出力される非空白記号のシーケンス２２２に基づき、隠れ表現３５５を生成する工程を備えている。動作５０８で、方法５００は、複数の出力ステップの各々で予測ネットワーク３００によって生成済みの隠れ表現３５５と、複数の出力ステップの各々でエンコーダ２０２によって生成済みの高次特徴表現２０４と、に基づき可能な音声認識仮説にわたる確率分布２２２を、複数の出力ステップの各々で、第１ジョイントネットワーク２２０によって生成する工程を備えている。動作５１０で、方法５００は、第２ジョイントネットワーク２３０によって、複数の出力ステップの各々において予測ネットワーク３００によって生成済みの隠れ表現３５５と、複数の出力ステップの各々においてエンコーダ２０２によって生成済みの高次特徴表現２０４と、に基づき各発話の終わりに発話終了（ＥＯＵ）トークン２３２を予測する工程を備えている。動作５１２において、方法５００は、多言語エンドポインタモデル２１０によって、音響フレーム１１０のシーケンス内の各音響フレーム１００を、音声、初期無音、中間無音、または最終無音、のいずれかに分類する工程を備えている。

【0050】

図６は、本文書に記載のシステムおよび方法を実装するべく使用できる例示的なコンピューティングデバイス６００の概略図である。コンピューティングデバイス６００は、ラップトップ、デスクトップ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレーム、およびその他の適切なコンピュータ、など様々な形式のデジタルコンピュータを表すことを意図している。ここで示されている構成要素、それらの接続と関係、およびそれらの機能は、例示のみを目的としており、この文書で説明および／または特許請求されている本発明の実施態様を制限することを意図してはいない。

【0051】

コンピューティングデバイス６００には、プロセッサ６１０、メモリ６２０、ストレージデバイス６３０、メモリ６２０および高速拡張ポート６５０に接続する高速インタフェース／コントローラ６４０、および低速バス６７０およびストレージデバイス６３０に接続する低速インタフェース／コントローラ６６０が含まれる。各構成要素６１０、６２０、６３０、６４０、６５０、および６６０は、様々なバスを使用することで相互接続されており、共通のマザーボードに据え付けられるか、または必要に応じて他の方法で存在することもできる。プロセッサ６１０は、メモリ６２０またはストレージデバイス６３０に記憶された命令を備えている、コンピューティングデバイス６００内で実行するための命令を処理して、高速インタフェース６４０に接続されたディスプレイ６８０などの外部入出力デバイスにグラフィカルユーザインタフェース（ＧＵＩ）のグラフィカル情報を表示することができる。他の実施態様では、複数のメモリおよびメモリの種類とともに、必要に応じて複数のプロセッサおよび／または複数のバスが使用される場合がある。また、複数のコンピューティングデバイス６００が接続されており、各デバイスが必要な動作の一部を行なう場合もある（例えば、サーババンク、ブレードサーバのグループ、またはマルチプロセッサシステムとして）。

【0052】

メモリ６２０は、コンピューティングデバイス６００内に情報を非一時的に記憶する。メモリ６２０は、コンピュータ可読媒体、揮発性メモリユニット（複数可）、または不揮発性メモリユニット（複数可）であってもよい。非一時的メモリ６２０は、コンピューティングデバイス６００で使用するべく一時的または永続的にプログラム（例えば、命令のシーケンス）またはデータ（例えば、プログラム状態情報）を記憶するべく使用される物理デバイスであり得る。不揮発性メモリの例は、フラッシュメモリ、読み取り専用メモリ（ＲＯＭ）／プログラム可能な読み取り専用メモリ（ＰＲＯＭ）／消去可能なプログラム可能な読み取り専用メモリ（ＥＰＲＯＭ）／電子的に消去可能なプログラム可能な読み取り専用メモリ（ＥＥＰＲＯＭ）（例えば、通常はブートプログラムなどのファームウェアに使用される）を備えているが、これらに限定されない。揮発性メモリの例は、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、相変化メモリ（ＰＣＭ）、ならびにディスク、またはテープを含んでいるがこれらに限定されない。

【0053】

ストレージデバイス６３０は、コンピューティングデバイス６００に大容量ストレージを設けることができる。いくつかの実施態様では、ストレージデバイス６３０はコンピュータ可読媒体である。様々な異なる実施態様において、ストレージデバイス６３０は、フロッピー（登録商標）ディスクデバイス、ハードディスクデバイス、光ディスクデバイス、またはテープデバイス、フラッシュメモリまたはその他の同様のソリッドステートメモリデバイス、またはストレージエリアネットワークまたはその他の構成のデバイスを備えている、デバイスのアレイである場合がある。追加の実施態様では、コンピュータプログラム製品は情報キャリアにおいて有形に具体化される。コンピュータプログラム製品は、実行されるとき、上記のような１つまたは複数の方法を実行する命令を備えている。情報キャリアは、メモリ６２０、ストレージデバイス６３０、またはプロセッサ６１０上のメモリなどのコンピュータ可読媒体または機械可読媒体である。

【0054】

高速コントローラ６４０は、コンピューティングデバイス６００の帯域幅集約動作を一層管理しており、低速コントローラ６６０は、帯域幅集約動作を一層少なく管理する。このような職務の割り当ては単なる例である。いくつかの実施態様では、高速コントローラ６４０は、メモリ６２０、ディスプレイ６８０（例えば、グラフィックプロセッサまたはアクセラレータを介して）、および様々な拡張カード（図示せず）を受け入れることができる高速拡張ポート６５０に結合される。いくつかの実施態様では、低速コントローラ６６０は、ストレージデバイス６３０および低速拡張ポート６９０に結合される。低速拡張ポート６９０には、様々な通信ポート（ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、イーサネット（登録商標）、ワイヤレスイーサネット（登録商標）など）が含まれる場合があり、ネットワークアダプタなどを介して、キーボード、ポインティングデバイス、スキャナ、またはスイッチやルータなどのネットワークデバイスなどの１つまたは複数の入出力デバイスに接続できる。

【0055】

コンピューティングデバイス６００は、図に示すように、多くの異なる形式で実装できる。例えば、標準サーバ６００ａとして、またはそのようなサーバ６００ａのグループで複数回、ラップトップコンピュータ６００ｂとして、またはラックサーバシステム６００ｃの一部として実装される場合がある。

【0056】

本明細書で説明するシステムおよび技術の様々な実施態様は、デジタル電子回路および／または光回路、集積回路、特別に設計されたＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／またはそれらの組合せで実現できる。これらの様々な実施態様は、ストレージシステムからのデータおよび命令を受信することで、ストレージシステムにデータおよび命令を送信するように結合された、特殊または汎用であり得る、少なくとも１つのプログラマブルプロセッサ、少なくとも１つの入力装置、および少なくとも１つの出力装置を含んだプログラム可能なシステムで実行可能および／または解釈可能な１つまたは複数のコンピュータプログラムにおける実装を含み得る。

【0057】

これらのコンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、またはコードとしても知られる）は、プログラマブルプロセッサのための機械命令を備えており、かつ高水準手続型および／またはオブジェクト指向プログラミング言語、および／またはアセンブリ／機械言語で実装されることができる。本願で使用される場合、「機械可読媒体」および「コンピュータ可読媒体」とは、機械命令および／またはデータを、機械可読の信号として機械命令を受信する機械可読の媒体を備えているプログラマブルプロセッサに提供するべく用いられる、あらゆるコンピュータプログラム製品、非一時的なコンピュータ可読媒体、装置および／またはデバイス（例えば、磁気ディスク、光ディスク、メモリ、プログラマブル論理回路（ＰＬＤ））を指す。「機械可読信号」という用語は、機械命令および／またはデータをプログラマブルプロセッサに提供するべく用いられるあらゆる信号を指す。

【0058】

本明細書で説明されている処理およびロジックフローは、データ処理ハードウェアとも呼ばれる１つまたは複数のプログラマブルプロセッサによって実行されており、１つまたは複数のコンピュータプログラムを実行することで、入力データに対して動作を行ない、出力を生成することによって機能を実行する。処理およびロジックフローはまた、特殊用途論理回路、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）によって行なわれ得る。コンピュータプログラムの実行に適切なプロセッサは、例示として、汎用プロセッサおよび特殊目的マイクロプロセッサの両方、並びいずれかの種類のデジタルコンピュータのいずれか１つまたは複数のプロセッサを備えている。概して、プロセッサは、リードオンリメモリ、ランダムアクセスメモリ、またはその両方から命令およびデータを受信してもよい。コンピュータの必須要素は、命令を実行するプロセッサと、命令とデータを記憶する１つまたは複数のメモリデバイスである。一般に、コンピュータには、磁気ディスク、光磁気ディスク、または光ディスクなどのデータを記憶するための１つまたは複数の大容量記憶装置も含まれるか、または、それらの記憶装置からデータを受信したり、それらの記憶装置にデータを転送したり、あるいはその両方を行なうように動作可能に結合されている。ただし、コンピュータにはそのようなデバイスは必須ではない。コンピュータプログラム命令およびデータを記憶するのに適したコンピュータ可読媒体には、あらゆる形態の不揮発性メモリ、媒体およびメモリデバイスが含まれ、例として半導体メモリデバイス、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、およびフラッシュメモリデバイス、磁気ディスク、例えば内部ハードディスクまたは着脱可能ディスクなディスク、磁気光ディスク、ならびにＣＤ－ＲＯＭおよびＤＶＤ－ＲＯＭディスクが含まれる。プロセッサとメモリは、専用ロジック回路によって補完されるか、または専用ロジック回路に組み込まれ得る。

【0059】

ユーザとのやりとりを提供するべく、本開示の１つまたは複数の態様は、ユーザに情報を表示するための表示デバイス、例えばＣＲＴ（ブラウン管）、ＬＣＤ（液晶画面）モニタ、またはタッチスクリーンを有しているコンピュータ、および任意選択でユーザがそれによってコンピュータへの入力を提供することができるキーボードならびにポインティングデバイス、例えば、マウスやトラックボールに実装され得る。他の種類のデバイスもまた、ユーザとのやりとりを提供するべく用いられることができる。例えば、ユーザに提供されるフィードバックは、あらゆる形式の感覚的フィードバック、例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバックであることができ、およびユーザからの入力は、音響、音声言語、または触覚入力であることができる。さらに、コンピュータは、ユーザが使用するデバイスにドキュメントを送受信することで、例えば、ウェブブラウザから受信した要求に応じて、ユーザのクライアントデバイス上のウェブブラウザにウェブページを送信することによってユーザとインタラクトすることができる。

【0060】

数多くの実施態様が説明されている。言うまでもなく、本発明の趣旨および範囲から逸脱することなく、多様な修正が成され得ることが理解される。したがって、他の実施態様は、以下の特許請求の範囲内である。

【図1】