特表 2024-546500 ラティス音声補正

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-12-24

(54)【発明の名称】ラティス音声補正

(51)【国際特許分類】

   G10L 15/08 20060101AFI20241217BHJP

   G10L 15/22 20060101ALI20241217BHJP

   G10L 15/197 20130101ALI20241217BHJP

【ＦＩ】

G10L15/08 200Z

G10L15/22 470F

G10L15/197

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024535991

(86)(22)【出願日】2021-12-15

(85)【翻訳文提出日】2024-07-04

(86)【国際出願番号】 US2021063508

(87)【国際公開番号】W WO2023113784

(87)【国際公開日】2023-06-22

(31)【優先権主張番号】63/265,366

(32)【優先日】2021-12-14

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】502208397

【氏名又は名称】グーグル エルエルシー

【氏名又は名称原語表記】Ｇｏｏｇｌｅ ＬＬＣ

【住所又は居所原語表記】１６００ Ａｍｐｈｉｔｈｅａｔｒｅ Ｐａｒｋｗａｙ ９４０４３ Ｍｏｕｎｔａｉｎ Ｖｉｅｗ， ＣＡ Ｕ．Ｓ．Ａ．

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(72)【発明者】

【氏名】アゴストン・ワイス

(72)【発明者】

【氏名】レオニド・ヴェリコヴィッチ

(57)【要約】

方法（５００）は、クエリに対応するオーディオデータ（１１２）を受信することと、オーディオデータを処理して、それぞれが仮定用語のそれぞれのシーケンスによって表された複数の候補仮説（１３５）を生成することと、を含む。候補仮説ごとに、本方法は、仮定用語のシーケンスが、フレーズ補正ペアのリスト（１２５）からのソースフレーズ（１２６）を含むかどうかを判定することを含む。各フレーズ補正ペアは、誤認識された対応するソースフレーズと、ソースフレーズを置き換える対応するターゲットフレーズ（１２８）と、を含む。仮定用語のそれぞれのシーケンスがソースフレーズを含むときに、本方法は、ソースフレーズを置き換える対応する追加候補仮説（１４５）を生成することを含む。また、本方法は、複数の候補仮説及び各対応する追加候補仮説をランク付けすることと、複数の候補仮説及び各追加候補仮説のうちの最高ランキングの１つを選択することによって、クエリのトランスクリプション（１７５）を生成することと、を含む。

【特許請求の範囲】

【請求項1】

データ処理ハードウェア（１２２）によって実行されるときに、前記データ処理ハードウェア（１２２）に、動作を行わせるコンピューターにより実施される方法（５００）であって、前記動作は、
ユーザーによって話されたクエリに対応するオーディオデータ（１１２）を受信することと、
音声認識器を使用して、前記オーディオデータ（１１２）を処理し、複数の候補仮説（１３５）を生成することであって、各候補仮説（１３５）は、前記クエリについての候補トランスクリプション（１７５）に対応し、仮定用語のそれぞれのシーケンスによって表され、
各候補仮説（１３５）に対して、
前記仮定用語のそれぞれのシーケンスは、フレーズ補正ペアのリスト（１２５）からのソースフレーズ（１２６）を含むかどうかを判定することであって、前記フレーズ補正ペアのリスト（１２５）内の各フレーズ補正ペアは、
前記ユーザーによってなされた以前の発話（４０１）について前記音声認識器によって転写された対応する以前のトランスクリプション（４７５）において誤認識された対応するソースフレーズ（１２６）と、
前記音声認識器によって転写された前記対応する以前のトランスクリプション（４７５）において誤認識された前記ソースフレーズ（１２６）を置き換えるユーザー補正に一致する対応するターゲットフレーズ（１２８）と、を含む、前記判定することと、
前記仮定用語のそれぞれのシーケンスが前記ソースフレーズ（１２６）を含むときに、前記仮定用語のそれぞれのシーケンスにおける前記ソースフレーズ（１２６）を、前記対応するターゲットフレーズ（１２８）に置き換える対応する追加候補仮説（１４５）を生成することと、を行う、前記生成することと、
前記複数の候補仮説（１３５）及び生成された各対応する追加候補仮説（１４５）をランク付けすることと、
前記複数の候補仮説（１３５）及び生成された各対応する追加候補仮説（１４５）のうちの最高ランキングの１つを選択することによって、前記ユーザーによって話された前記クエリのトランスクリプション（１７５）を生成することと、
を含む、前記コンピューターにより実施される方法（５００）。

【請求項2】

前記動作は、さらに、前記フレーズ補正ペアのリスト（１２５）内の各フレーズ補正ペアに対して、
前記対応するソースフレーズ（１２６）を含む言語モデル（３０２）のｎグラムを識別することと、
前記識別されたｎグラムにおける前記対応するソースフレーズ（１２６）を、前記対応するターゲットフレーズ（１２８）に置換する対応する新しいｎグラムをクローニングすることと、
前記言語モデル（３０２）を、
前記言語モデル（３０２）に、前記ソースフレーズ（１２６）を前記対応するターゲットフレーズ（１２８）に置換する前記新しいｎグラムを追加することと、
前記ターゲットフレーズ（１２８）のユニグラムの事前の尤度スコア（３０４）が、前記ソースフレーズ（１２６）のユニグラムよりも高くなることを判定するように、前記言語モデル（３０２）を条件付けることと、によって変更することと、
各追加候補仮説（１４５）を入力として受信するように構成された前記修正された言語モデル（３０２）を使用して、各追加候補仮説（１４５）について対応する事前の尤度スコア（３０４）を判定することと、を含み、
前記複数の候補仮説（１３５）及び各追加候補仮説（１４５）をランク付けすることは、各追加候補仮説（１４５）について判定された前記対応する事前の尤度スコア（３０４）に基づいている、請求項１に記載のコンピューターにより実施される方法（５００）。

【請求項3】

前記動作は、さらに、前記フレーズ補正ペアのリスト（１２５）内の各フレーズ補正ペアに対して、
前記対応するソースフレーズ（１２６）を誤認識した前記対応する以前のトランスクリプション（４７５）を表すｎグラムのオリジナルシーケンス（３２６）を取得することであって、前記ｎグラムのオリジナルシーケンス（３２６）は、前記対応するソースフレーズ（１２６）と、前記対応する以前のトランスクリプション（４７５）における前記対応するソースフレーズ（１２６）の前及び／または後にある１つ以上の他の用語とを含む、前記取得することと、
前記ｎグラムのオリジナルシーケンス（３２６）における前記ソースフレーズ（１２６）を前記対応するターゲットフレーズ（１２８）に置き換えるｎグラムの補正シーケンス（３２８）を取得することであって、前記ｎグラムの補正シーケンス（３２８）は、前記ターゲットフレーズ（１２８）と、前記対応する以前のトランスクリプション（４７５）における前記対応するソースフレーズ（１２６）の前及び／または後にある同じ１つ以上の他の用語とを含む、前記取得することと、
前記言語モデル（３０２）を、
前記ｎグラムのオリジナルシーケンス（３２６）及び前記ｎグラムの補正シーケンス（３２８）を、前記言語モデル（３０２）に追加することと、
前記ターゲットフレーズ（１２８）を含む前記ｎグラムの補正シーケンス（３２８）からのｎグラムの数の事前の尤度スコア（３０４）が、前記ソースフレーズ（１２６）を含む前記ｎグラムのオリジナルシーケンス（３２６）からの同じ数のｎグラムよりも高くなることを判定するように、前記言語モデル（３０２）を条件付けることと、によって変更することと、
各追加候補仮説（１４５）を入力として受信するように構成された前記変更された言語モデル（３０２）を使用して、各追加候補仮説（１４５）について対応する事前の尤度スコア（３０４）を判定することと、を含み、
前記複数の候補仮説（１３５）及び各追加候補仮説（１４５）をランク付けすることは、各追加候補仮説（１４５）について判定された前記対応する事前の尤度スコア（３０４）に基づいている、請求項１に記載のコンピューターにより実施される方法（５００）。

【請求項4】

前記ｎグラムの補正シーケンス（３２８）からの前記ｎグラムの数と、前記ｎグラムのオリジナルシーケンス（３２６）からの前記同じ数のｎグラムとについて前記言語モデル（３０２）によって判定された前記事前の尤度スコア（３０４）の間のマージンは、前記ｎグラムの補正シーケンス及びオリジナルシーケンスからの前記ｎグラムの数が増加するにつれて増加することを含む、請求項３に記載のコンピューターにより実施される方法（５００）。

【請求項5】

前記言語モデル（３０２）を条件付けることは、さらに、前記ターゲットフレーズ（１２８）を含む前記ｎグラムのシーケンスからのｎグラムの第１の数の事前の尤度スコア（３０４）が、前記ターゲットフレーズ（１２８）を含む前記ｎグラムのシーケンスからのｎグラムのより大きい第２の数よりも低くなることを判定するように、前記言語モデル（３０２）を条件付けること、を含む、請求項３または４に記載のコンピューターにより実施される方法（５００）。

【請求項6】

前記ｎグラムのオリジナルシーケンス及び補正シーケンスはそれぞれ、さらに、前記ユーザーによってなされた前記以前の発話（４０１）について、前記音声認識器によって転写された前記対応する以前のトランスクリプション（４７５）の文境界を表すｎグラムを含む、請求項３～５のいずれかに記載のコンピューターにより実施される方法（５００）。

【請求項7】

前記動作は、さらに、
前記音声認識器によって生成された前記複数の候補仮説（１３５）の各々について、前記音声認識器が前記対応する候補仮説（１３５）に割り当てた対応する尤度スコア（１５５）を取得することと、
各追加候補仮説（１４５）を生成した後に、追加仮説スコアラー（３００）を使用して、生成された各追加候補仮説（１４５）について対応する尤度スコア（１５５）を判定することと、を含み、
前記複数の候補仮説（１３５）及び生成された各対応する追加候補仮説（１４５）をランク付けすることは、前記音声認識器によって、前記複数の候補仮説（１３５）に割り当てられた前記対応する尤度スコア（１５５）と、前記追加仮説スコアラー（３００）を使用して、各追加候補仮説（１４５）について判定された前記対応する尤度スコア（１５５）とに基づいている、請求項１～６のいずれかに記載のコンピューターにより実施される方法（５００）。

【請求項8】

前記追加仮説スコアラー（３００）は、
オーディオデータ（１１２）を処理して、前記ソースフレーズ（１２６）もしくは前記ターゲットフレーズ（１２８）のいずれか一方を含む前記オーディオデータ（１１２）の一部分に関するアコースティックモデリングスコアを判定するように構成されたアコースティックモデル（３０１）、または、
各追加候補仮説（１４５）を入力として受信し、各追加候補仮説（１４５）について対応する事前の尤度スコア（３０４）を判定するように構成された言語モデル（３０２）、のうちの少なくとも１つを含み、
各追加候補仮説（１４５）について判定された前記対応する尤度スコア（１５５）は、前記アコースティックモデリングスコア、または前記追加候補仮説（１４５）について判定された前記対応する事前の尤度スコア（３０４）、のうちの少なくとも１つに基づいている、請求項７に記載のコンピューターにより実施される方法（５００）。

【請求項9】

前記言語モデル（３０２）は、前記音声認識器の外部にある補助言語モデル（３０２）、または前記音声認識器と統合された内部言語モデル（３０２）を含む、請求項８に記載のコンピューターにより実施される方法（５００）。

【請求項10】

前記音声認識器は、前記複数の候補仮説（１３５）の各々について、前記対応する尤度スコア（１５５）を生成するように構成されたエンドツーエンド音声認識モデルを含む、請求項８または９に記載のコンピューターにより実施される方法（５００）。

【請求項11】

前記音声認識器はアコースティックモデル（３０１）及び言語モデル（３０２）を含み、
前記音声認識器が前記複数の候補仮説（１３５）の各々に割り当てた前記対応する尤度スコア（１５５）は、前記アコースティックモデル（３０１）によって出力されたアコースティックモデリングスコア、または前記言語モデル（３０２）によって出力された対応する事前の尤度スコア（３０４）、のうちの少なくとも１つに基づいている、請求項７～９のいずれかに記載のコンピューターにより実施される方法（５００）。

【請求項12】

システム（１００）であって、
データ処理ハードウェア（１２２）と、
前記データ処理ハードウェア（１２２）と通信して、前記データ処理ハードウェア（１２２）で実行されるときに、前記データ処理ハードウェア（１２２）に動作を行わせる命令を記憶するメモリハードウェア（１２４）を含み、前記動作は、
ユーザーによって話されたクエリに対応するオーディオデータ（１１２）を受信することと、
音声認識器を使用して、前記オーディオデータ（１１２）を処理し、複数の候補仮説（１３５）を生成することであって、各候補仮説（１３５）は、前記クエリについての候補トランスクリプション（１７５）に対応し、仮定用語のそれぞれのシーケンスによって表され、
各候補仮説（１３５）に対して、
前記仮定用語のそれぞれのシーケンスは、フレーズ補正ペアのリスト（１２５）からのソースフレーズ（１２６）を含むかどうかを判定することであって、前記フレーズ補正ペアのリスト（１２５）内の各フレーズ補正ペアは、
前記ユーザーによってなされた以前の発話（４０１）について前記音声認識器によって転写された対応する以前のトランスクリプション（４７５）において誤認識された対応するソースフレーズ（１２６）と、
前記音声認識器によって転写された前記対応する以前のトランスクリプション（４７５）において誤認識された前記ソースフレーズ（１２６）を置き換えるユーザー補正に一致する対応するターゲットフレーズ（１２８）と、を含む、前記判定することと、
前記仮定用語のそれぞれのシーケンスが前記ソースフレーズ（１２６）を含むときに、前記仮定用語のそれぞれのシーケンスにおける前記ソースフレーズ（１２６）を、前記対応するターゲットフレーズ（１２８）に置き換える対応する追加候補仮説（１４５）を生成することと、を行う、前記生成することと、
前記複数の候補仮説（１３５）及び生成された各対応する追加候補仮説（１４５）をランク付けすることと、
前記複数の候補仮説（１３５）及び生成された各対応する追加候補仮説（１４５）のうちの最高ランキングの１つを選択することによって、前記ユーザーによって話された前記クエリのトランスクリプション（１７５）を生成することと、
を含む、前記システム（１００）。

【請求項13】

前記動作は、さらに、前記フレーズ補正ペアのリスト（１２５）内の各フレーズ補正ペアに対して、
前記対応するソースフレーズ（１２６）を含む言語モデル（３０２）のｎグラムを識別することと、
前記識別されたｎグラムにおける前記対応するソースフレーズ（１２６）を、前記対応するターゲットフレーズ（１２８）に置換する対応する新しいｎグラムをクローニングすることと、
言語モデル（３０２）を、
前記言語モデル（３０２）に、前記ソースフレーズ（１２６）を前記対応するターゲットフレーズ（１２８）に置換する前記新しいｎグラムを追加することと、
前記ターゲットフレーズ（１２８）のユニグラムの事前の尤度スコア（３０４）が、前記ソースフレーズ（１２６）のユニグラムよりも高くなることを判定するように、前記言語モデル（３０２）を条件付けることと、によって変更することと、
各追加候補仮説（１４５）を入力として受信するように構成された前記変更された言語モデル（３０２）を使用して、各追加候補仮説（１４５）について対応する事前の尤度スコア（３０４）を判定することと、を含み、
前記複数の候補仮説（１３５）及び各追加候補仮説（１４５）をランク付けすることは、各追加候補仮説（１４５）について判定された前記対応する事前の尤度スコア（３０４）に基づいている、請求項１２に記載のシステム（１００）。

【請求項14】

前記動作は、さらに、前記フレーズ補正ペアのリスト（１２５）内の各フレーズ補正ペアに対して、
前記対応するソースフレーズ（１２６）を誤認識した前記対応する以前のトランスクリプション（４７５）を表すｎグラムのオリジナルシーケンス（３２６）を取得することであって、前記ｎグラムのオリジナルシーケンス（３２６）は、前記対応するソースフレーズ（１２６）と、前記対応する以前のトランスクリプション（４７５）における前記対応するソースフレーズ（１２６）の前及び／または後にある１つ以上の他の用語とを含む、前記取得することと、
前記ｎグラムのオリジナルシーケンス（３２６）における前記ソースフレーズ（１２６）を前記対応するターゲットフレーズ（１２８）に置き換えるｎグラムの補正シーケンス（３２８）を取得することであって、前記ｎグラムの補正シーケンス（３２８）は、前記ターゲットフレーズ（１２８）と、前記対応する以前のトランスクリプション（４７５）における前記対応するソースフレーズ（１２６）の前及び／または後にある同じ１つ以上の他の用語とを含む、前記取得することと、
前記言語モデル（３０２）を、
前記ｎグラムのオリジナルシーケンス及び前記ｎグラムの補正シーケンスを、前記言語モデル（３０２）に追加することと、
前記ターゲットフレーズ（１２８）を含む前記ｎグラムの補正シーケンスからのｎグラムの数の事前の尤度スコア（３０４）が、前記ソースフレーズ（１２６）を含む前記ｎグラムのオリジナルシーケンスからの同じ数のｎグラムよりも高くなることを判定するように、前記言語モデル（３０２）を条件付けることと、によって変更することと、
各追加候補仮説（１４５）を入力として受信するように構成された前記変更された言語モデル（３０２）を使用して、各追加候補仮説（１４５）について対応する事前の尤度スコア（３０４）を判定することと、を含み、
前記複数の候補仮説（１３５）及び各追加候補仮説（１４５）をランク付けすることは、各追加候補仮説（１４５）について判定された前記対応する事前の尤度スコア（３０４）に基づいている、請求項１２に記載のシステム（１００）。

【請求項15】

前記ｎグラムの補正シーケンスからの前記ｎグラムの数と、前記ｎグラムのオリジナルシーケンスからの前記同じ数のｎグラムとについて前記言語モデル（３０２）によって判定された前記事前の尤度スコア（３０４）の間のマージンは、前記ｎグラムの補正シーケンス及びオリジナルシーケンスからの前記ｎグラムの数が増加するにつれて増加することを含む、請求項１４に記載のシステム（１００）。

【請求項16】

前記言語モデル（３０２）を条件付けることは、さらに、前記ターゲットフレーズ（１２８）を含む前記ｎグラムのシーケンスからのｎグラムの第１の数の事前の尤度スコア（３０４）が、前記ターゲットフレーズ（１２８）を含む前記ｎグラムのシーケンスからのｎグラムのより大きい第２の数よりも低くなることを判定するように、前記言語モデル（３０２）を条件付けること、を含む、請求項１４または１５に記載のシステム（１００）。

【請求項17】

前記ｎグラムのオリジナルシーケンス及び補正シーケンスはそれぞれ、さらに、前記ユーザーによってなされた前記以前の発話（４０１）について、前記音声認識器によって転写された前記対応する以前のトランスクリプション（４７５）の文境界を表すｎグラムを含む、請求項１４～１６のいずれかに記載のシステム（１００）。

【請求項18】

前記動作は、さらに、
前記音声認識器によって生成された前記複数の候補仮説（１３５）の各々について、前記音声認識器が前記対応する候補仮説（１３５）に割り当てた対応する尤度スコア（１５５）を取得することと、
各追加候補仮説（１４５）を生成した後に、追加仮説スコアラー（３００）を使用して、生成された各追加候補仮説（１４５）について対応する尤度スコア（１５５）を判定することと、を含み、
前記複数の候補仮説（１３５）及び生成された各対応する追加候補仮説（１４５）をランク付けすることは、前記音声認識器によって、前記複数の候補仮説（１３５）に割り当てられた前記対応する尤度スコア（１５５）と、前記追加仮説スコアラー（３００）を使用して、各追加候補仮説（１４５）について判定された前記対応する尤度スコア（１５５）とに基づいている、請求項１２～１７のいずれかに記載のシステム（１００）。

【請求項19】

前記追加仮説スコアラー（３００）は、
オーディオデータ（１１２）を処理して、前記ソースフレーズ（１２６）もしくは前記ターゲットフレーズ（１２８）のいずれか一方を含む前記オーディオデータ（１１２）の一部分に関するアコースティックモデリングスコアを判定するように構成されたアコースティックモデル（３０１）、または、
各追加候補仮説（１４５）を入力として受信し、各追加候補仮説（１４５）について対応する事前の尤度スコア（３０４）を判定するように構成された言語モデル（３０２）、のうちの少なくとも１つを含み、
各追加候補仮説（１４５）について判定された前記対応する尤度スコア（１５５）は、前記アコースティックモデリングスコア、または前記追加候補仮説（１４５）について判定された前記対応する事前の尤度スコア（３０４）、のうちの少なくとも１つに基づいている、請求項１８に記載のシステム（１００）。

【請求項20】

前記言語モデル（３０２）は、前記音声認識器の外部にある補助言語モデル（３０２）、または前記音声認識器と統合された内部言語モデル（３０２）を含む、請求項１９に記載のシステム（１００）。

【請求項21】

前記音声認識器は、前記複数の候補仮説（１３５）の各々について、前記対応する尤度スコア（１５５）を生成するように構成されたエンドツーエンド音声認識モデルを含む、請求項１９または２０に記載のシステム（１００）。

【請求項22】

前記音声認識器はアコースティックモデル（３０１）及び言語モデル（３０２）を含み、
前記音声認識器が前記複数の候補仮説（１３５）の各々に割り当てた前記対応する尤度スコア（１５５）は、前記アコースティックモデル（３０１）によって出力されたアコースティックモデリングスコア、または前記言語モデル（３０２）によって出力された対応する事前の尤度スコア（３０４）、のうちの少なくとも１つに基づいている、請求項１８～２０のいずれかに記載のシステム（１００）。

【発明の詳細な説明】

【技術分野】

【0001】

本開示はラティス音声補正に関する。

【背景技術】

【0002】

自動音声認識（ＡＳＲ）システムは、モバイルデバイス及び他のデバイスで通常使用される技術を提供する。一般に、ＡＳＲシステムは、ユーザーがモバイルデバイスに話す内容の正確なトランスクリプションを提供しようとする。いくつかの例では、ＡＳＲシステムは、ユーザーが話した内容と一致しない不正確なトランスクリプションを生成する。これらの例では、ユーザーは、モバイルデバイスにおいてトランスクリプションを補正するユーザー入力を提供することによって、不正確なトランスクリプションを補正し得る。ＡＳＲシステムの課題の１つとして、不正確なトランスクリプションを補正するユーザー入力をいかにして最大限に利用して、今後、正確なトランスクリプションを生成するかが含まれる。

【発明の概要】

【0003】

本開示の一態様は、データ処理ハードウェアで実行されるときに、データ処理ハードウェアに動作を行わせるコンピューターによる実施を提供し、動作は、ユーザーによって話されたクエリに対応するオーディオデータを受信することと、音声認識器を使用して、オーディオデータを処理し、複数の候補仮説を生成することと、を含む。各候補仮説は、クエリの候補トランスクリプションに対応し、仮定用語のそれぞれのシーケンスによって表される。各候補仮説について、本方法は、また、仮定用語のそれぞれのシーケンスがフレーズ補正ペアのリストからのソースフレーズを含むかどうかを判定することと、仮定用語のそれぞれのシーケンスがソースフレーズを含むときに、仮定用語のそれぞれのシーケンスにおけるソースフレーズを対応するターゲットフレーズに置き換える対応する追加候補仮説を生成することと、を含む。フレーズ補正ペアのリスト内の各フレーズ補正ペアは、ユーザーによってなされた以前の発話について音声認識器によって転写された対応する以前のトランスクリプションにおいて誤認識された対応するソースフレーズと、音声認識器によって転写された対応する以前のトランスクリプションにおいて誤認識されたソースフレーズを置き換えるユーザー補正に一致する対応するターゲットフレーズと、を含む。本方法は、また、複数の候補仮説及び生成された各対応する追加候補仮説をランク付けすることと、複数の候補仮説及び生成された各対応する追加候補仮説のうちの最高ランキングの１つを選択することによって、ユーザーによって話されたクエリのトランスクリプションを生成することと、を含む。

【0004】

本開示の実施態様は、以下の任意選択の特徴のうちの１つ以上を含み得る。いくつかの実施態様では、動作は、さらに、フレーズ補正ペアのリスト内の各フレーズ補正ペアに対して、対応するソースフレーズを含む言語モデルのｎグラムを識別することと、識別されたｎグラムにおける対応するソースフレーズを対応するターゲットフレーズに置換する対応する新しいｎグラムをクローニングすることと、言語モデルを変更することと、各追加候補仮説を入力として受信するように構成された変更された言語モデルを使用して、各追加候補仮説について対応する事前の尤度スコアを判定することと、を含む。ここでは、言語モデルを変更することは、言語モデルに、ソースフレーズを対応するターゲットフレーズに置換する新しいｎグラムを追加することと、ターゲットフレーズのユニグラムの事前の尤度スコアが、ソースフレーズのユニグラムよりも高くなることを判定するように、言語モデルを条件付けることと、を含む。これらの実施態様では、複数の候補仮説及び各追加候補仮説をランク付けすることは、各追加候補仮説について判定された対応する事前の尤度スコアに基づいている。

【0005】

追加の実施態様では、動作は、さらに、フレーズ補正ペアのリスト内の各フレーズ補正ペアに対して、対応するソースフレーズを誤認識した対応する以前のトランスクリプションを表すｎグラムのオリジナルシーケンスを取得することと、ｎグラムのオリジナルシーケンスにおけるソースフレーズを対応するターゲットフレーズに置き換えるｎグラムの補正シーケンスを取得して、言語モデルを変更することと、各追加候補仮説を入力として受信するように構成された変更された言語モデルを使用して、各追加候補仮説について対応する事前の尤度スコアを判定することと、を含む。ｎグラムのオリジナルシーケンスは、対応するソースフレーズと、対応する以前のトランスクリプションにおける対応するソースフレーズの前及び／または後にある１つ以上の他の用語とを含み、ｎグラムの補正シーケンスは、ターゲットフレーズと、対応する以前のトランスクリプションにおける対応するソースフレーズの前及び／または後にある同じ１つ以上の他の用語とを含む。ここでは、言語モデルを変更することは、ｎグラムのオリジナルシーケンス及びｎグラムの補正シーケンスを言語モデルに追加して、ターゲットフレーズを含むｎグラムの補正シーケンスからのｎグラムの数の事前の尤度スコアが、ソースフレーズを含むｎグラムのオリジナルシーケンスからの同じ数のｎグラムよりも高くなることを判定するように、言語モデルを条件付けることと、を含む。これらの実施態様では、複数の候補仮説及び各追加候補仮説をランク付けすることは、各追加候補仮説について判定された対応する事前の尤度スコアに基づいている。任意選択で、ｎグラムのオリジナルシーケンス及び補正シーケンスはそれぞれ、さらに、ユーザーによってなされた以前の発話について音声認識器によって転写された対応する以前のトランスクリプションの文境界を表すｎグラムを含み得る。

【0006】

前述の実施態様では、ｎグラムの補正シーケンスからのｎグラムの数と、ｎグラムのオリジナルシーケンスからの同じ数のｎグラムとについて言語モデルによって判定された事前の尤度スコアの間のマージンは、ｎグラムの補正シーケンス及びオリジナルシーケンスからのｎグラムの数が増加するにつれて増加し得ることを含む。追加的または代替的に、言語モデルを条件付けることは、さらに、ターゲットフレーズを含むｎグラムのシーケンスからのｎグラムの第１の数の事前の尤度スコアが、ターゲットフレーズを含むｎグラムのシーケンスからのｎグラムのより大きい第２の数よりも低くなることを判定するように、言語モデルを条件付けることを含み得る。

【0007】

いくつかの例では、動作は、さらに、音声認識器によって生成された複数の候補仮説の各々について、音声認識器が対応する候補仮説に割り当てた対応する尤度スコアを取得することと、各追加候補仮説を生成した後に、追加仮説スコアラーを使用して、生成された各追加候補仮説について対応する尤度スコアを判定することと、を含む。ここでは、複数の候補仮説及び生成された各対応する追加候補仮説をランク付けすることは、音声認識器によって複数の候補仮説に割り当てられた対応する尤度スコアと、追加仮説スコアラーを使用して各追加候補仮説について判定された対応する尤度スコアとに基づいている。これらの例では、追加仮説スコアラーは、オーディオデータを処理して、ソースフレーズもしくはターゲットフレーズのいずれか一方を含むオーディオデータの一部分に関するアコースティックモデリングスコアを判定するように構成されたアコースティックモデル、または、各追加候補仮説を入力として受信し、各追加候補仮説について対応する事前の尤度スコアを判定するように構成された言語モデル、のうちの少なくとも１つを含む。ここでは、各追加候補仮説について判定された対応する尤度スコアは、アコースティックモデリングスコア、または追加候補仮説について判定された対応する事前の尤度スコア、のうちの少なくとも１つに基づき得る。

【0008】

言語モデルは、音声認識器の外部にある補助言語モデル、または音声認識器と統合された内部言語モデルを含み得る。さらに、音声認識器は、複数の候補仮説の各々について対応する尤度スコアを生成するように構成されたエンドツーエンド音声認識モデルを含み得る。代替として、音声認識器は、アコースティックモデル及び言語モデルを含み得、音声認識器が複数の候補仮説の各々に割り当てた対応する尤度スコアは、アコースティックモデルによって出力されたアコースティックモデリングスコア、または言語モデルによって出力された対応する事前の尤度スコア、のうちの少なくとも１つに基づき得る。

【0009】

本開示の別の態様は、データ処理ハードウェアと、データ処理ハードウェアと通信するメモリハードウェアとを含むシステムを提供する。メモリハードウェアは、データ処理ハードウェアで実行されるときに、データ処理ハードウェアに行わせる動作を行わせる命令を記憶し、動作は、ユーザーによって話されたクエリに対応するオーディオデータを受信することと、音声認識器を使用して、オーディオデータを処理し、複数の候補仮説を生成することと、を含む。各候補仮説は、クエリの候補トランスクリプションに対応し、仮定用語のそれぞれのシーケンスによって表される。各候補仮説について、本方法は、また、仮定用語のそれぞれのシーケンスがフレーズ補正ペアのリストからのソースフレーズを含むかどうかを判定することと、仮定用語のそれぞれのシーケンスがソースフレーズを含むときに、仮定用語のそれぞれのシーケンスにおけるソースフレーズを対応するターゲットフレーズに置き換える対応する追加候補仮説を生成することと、を含む。フレーズ補正ペアのリスト内の各フレーズ補正ペアは、ユーザーによってなされた以前の発話について音声認識器によって転写された対応する以前のトランスクリプションにおいて誤認識された対応するソースフレーズと、音声認識器によって転写された対応する以前のトランスクリプションにおいて誤認識されたソースフレーズを置き換えるユーザー補正に一致する対応するターゲットフレーズと、を含む。本方法は、また、複数の候補仮説及び生成された各対応する追加候補仮説をランク付けすることと、複数の候補仮説及び生成された各対応する追加候補仮説のうちの最高ランキングの１つを選択することによって、ユーザーによって話されたクエリのトランスクリプションを生成することと、を含む。

【0010】

本態様は、以下の任意選択の特徴のうちの１つ以上を含み得る。いくつかの実施態様では、動作は、さらに、フレーズ補正ペアのリスト内の各フレーズ補正ペアに対して、対応するソースフレーズを含む言語モデルのｎグラムを識別することと、識別されたｎグラムにおける対応するソースフレーズを対応するターゲットフレーズに置換する対応する新しいｎグラムをクローニングすることと、言語モデルを変更することと、各追加候補仮説を入力として受信するように構成された変更された言語モデルを使用して、各追加候補仮説について対応する事前の尤度スコアを判定することと、を含む。ここでは、言語モデルを変更することは、言語モデルに、ソースフレーズを対応するターゲットフレーズに置換する新しいｎグラムを追加することと、ターゲットフレーズのユニグラムの事前の尤度スコアが、ソースフレーズのユニグラムよりも高くなることを判定するように、言語モデルを条件付けることと、を含む。これらの実施態様では、複数の候補仮説及び各追加候補仮説をランク付けすることは、各追加候補仮説について判定された対応する事前の尤度スコアに基づいている。

【0011】

追加の実施態様では、動作は、さらに、フレーズ補正ペアのリスト内の各フレーズ補正ペアに対して、対応するソースフレーズを誤認識した対応する以前のトランスクリプションを表すｎグラムのオリジナルシーケンスを取得することと、ｎグラムのオリジナルシーケンスにおけるソースフレーズを対応するターゲットフレーズに置き換えるｎグラムの補正シーケンスを取得して、言語モデルを変更することと、各追加候補仮説を入力として受信するように構成された変更された言語モデルを使用して、各追加候補仮説について対応する事前の尤度スコアを判定することと、を含む。ｎグラムのオリジナルシーケンスは、対応するソースフレーズと、対応する以前のトランスクリプションにおける対応するソースフレーズの前及び／または後にある１つ以上の他の用語とを含み、ｎグラムの補正シーケンスは、ターゲットフレーズと、対応する以前のトランスクリプションにおける対応するソースフレーズの前及び／または後にある同じ１つ以上の他の用語とを含む。ここでは、言語モデルを変更することは、ｎグラムのオリジナルシーケンス及びｎグラムの補正シーケンスを言語モデルに追加して、ターゲットフレーズを含むｎグラムの補正シーケンスからのｎグラムの数の事前の尤度スコアが、ソースフレーズを含むｎグラムのオリジナルシーケンスからの同じ数のｎグラムよりも高くなることを判定するように、言語モデルを条件付けることと、を含む。これらの実施態様では、複数の候補仮説及び各追加候補仮説をランク付けすることは、各追加候補仮説について判定された対応する事前の尤度スコアに基づいている。任意選択で、ｎグラムのオリジナルシーケンス及び補正シーケンスはそれぞれ、さらに、ユーザーによってなされた以前の発話について音声認識器によって転写された対応する以前のトランスクリプションの文境界を表すｎグラムを含み得る。

【0012】

前述の実施態様では、ｎグラムの補正シーケンスからのｎグラムの数と、ｎグラムのオリジナルシーケンスからの同じ数のｎグラムとについて言語モデルによって判定された事前の尤度スコアの間のマージンは、ｎグラムの補正シーケンス及びオリジナルシーケンスからのｎグラムの数が増加するにつれて増加し得ることを含む。追加的または代替的に、言語モデルを条件付けることは、さらに、ターゲットフレーズを含むｎグラムのシーケンスからのｎグラムの第１の数の事前の尤度スコアが、ターゲットフレーズを含むｎグラムのシーケンスからのｎグラムのより大きい第２の数よりも低くなることを判定するように、言語モデルを条件付けることを含み得る。

【0013】

いくつかの例では、動作は、さらに、音声認識器によって生成された複数の候補仮説の各々について、音声認識器が対応する候補仮説に割り当てた対応する尤度スコアを取得することと、各追加候補仮説を生成した後に、追加仮説スコアラーを使用して、生成された各追加候補仮説について対応する尤度スコアを判定することと、を含む。ここでは、複数の候補仮説及び生成された各対応する追加候補仮説をランク付けすることは、音声認識器によって複数の候補仮説に割り当てられた対応する尤度スコアと、追加仮説スコアラーを使用して各追加候補仮説について判定された対応する尤度スコアとに基づいている。これらの例では、追加仮説スコアラーは、オーディオデータを処理して、ソースフレーズもしくはターゲットフレーズのいずれか一方を含むオーディオデータの一部分に関するアコースティックモデリングスコアを判定するように構成されたアコースティックモデル、または、各追加候補仮説を入力として受信し、各追加候補仮説について対応する事前の尤度スコアを判定するように構成された言語モデル、のうちの少なくとも１つを含む。ここでは、各追加候補仮説について判定された対応する尤度スコアは、アコースティックモデリングスコア、または追加候補仮説について判定された対応する事前の尤度スコア、のうちの少なくとも１つに基づき得る。

【0014】

言語モデルは、音声認識器の外部にある補助言語モデル、または音声認識器と統合された内部言語モデルを含み得る。さらに、音声認識器は、複数の候補仮説の各々について対応する尤度スコアを生成するように構成されたエンドツーエンド音声認識モデルを含み得る。代替として、音声認識器は、アコースティックモデル及び言語モデルを含み得、音声認識器が複数の候補仮説の各々に割り当てた対応する尤度スコアは、アコースティックモデルによって出力されたアコースティックモデリングスコア、または言語モデルによって出力された対応する事前の尤度スコア、のうちの少なくとも１つに基づき得る。

【0015】

本開示の１つ以上の実施態様の詳細は、添付の図面及び下記の説明において記載されている。他の態様、特徴、及び利点は、説明及び図面、ならびに特許請求の範囲から明らかになる。

【図面の簡単な説明】

【0016】

【図1】フレーズ補正ペアを使用する自動音声認識のための例示的なシステムの概略図である。

【図2A】ワードラティスの例を示すダイヤグラムの概略図である。

【図2B】ワードラティスの例を示すダイヤグラムの概略図である。

【図3】候補仮説をスコアリングする言語モデル示す概略図である。

【図4A】誤認識された以前のトランスクリプションを補正するために入力インジケーションを提供するユーザーの概略図である。

【図4B】誤認識された以前のトランスクリプションを補正するために入力インジケーションを提供するユーザーの概略図である。

【図4C】誤認識された以前のトランスクリプションを補正するために入力インジケーションを提供するユーザーの概略図である。

【図5】ラティス音声補正の方法の動作の例示的な配置のフローチャートである。

【図6】本明細書に説明されるシステム及び方法を実施するために使用され得る例示的なコンピューティングデバイスの概略図である。

【発明を実施するための形態】

【0017】

様々な図面における同様の参照記号は、同様の要素を指す。

【0018】

ユーザーが話す内容のより正確なトランスクリプションを自動音声認識（ＡＳＲ）システムが提供し続けるため、クライアントデバイスにおいて、ＡＳＲシステムはますます普及しつつある。それでも、いくつかの例では、ＡＳＲシステムは、ユーザーが実際に話した内容を誤認識する不正確なトランスクリプションを生成する。これは、多くの場合、ワードが音響的に類似しているときに、またはユーザーがＡＳＲシステムに知られていないユニークなワードを話すときに起こる。例えば、「Ｉ ｓａｙ」及び「Ｉｃｅ ａｇｅ」は非常に類似した響きがあり、ＡＳＲシステムがどのフレーズをユーザーが伝えることを意図したかの曖昧さを除去することが困難であり得る。いくつかの例では、ユーザーが実際に「Ｉｃｅ ａｇｅ」を伝えることを意図したときに、クライアントデバイスが「Ｉ ｓａｙ」と不正確に転写する場合、ユーザーはクライアントデバイスを使用することによって（例えば、クライアントデバイスのキーボードを用いて、正しいトランスクリプションを入力することによって）、トランスクリプションを補正し得る。

【0019】

ＡＳＲシステムの特に困難なことのうちの１つとして、これらのユーザーの補正を活用して、ユーザーの後続の発話のためのより正確なトランスクリプションをいかにして生成するかが挙げられる。例えば、ＡＳＲシステムは、ユーザーによってなされた発話が「Ｉ ｓａｙ」及び「Ｉｃｅ ａｇｅ」と類似しているときは毎回、「Ｉｃｅ ａｇｅ」と単純に転写することはできない。すなわち、ユーザーが以前に「Ｉｃｅ ａｇｅ」を伝えることを意図していたからというだけで、ユーザーが後に「Ｉ ｓａｙ」を伝えることを決して意図しないことを意味しない。さらに、ユーザーが「Ｉｃｅ ａｇｅ」と伝え続けても、ＡＳＲシステムが不正確なトランスクリプション「Ｉ ｓａｙ」を繰り返し生成する場合、ユーザーはＡＳＲシステムへの信頼を失い得る。

【0020】

本明細書の実施態様は、ラティス音声補正を行うシステム及び方法を対象とする。特に、コンピューティングシステムは、ユーザーによってなされた発話のオーディオデータを受信し、コンピューティングシステムは、オーディオデータを処理して、候補仮説を生成する。次に、コンピューティングシステムは、候補仮説におけるいずれかのワードまたはフレーズが、コンピューティングシステムによって転写されたソースフレーズ（例えば、以前に誤認識されたフレーズ）を含むかどうかを判定する。コンピューティングシステムが、候補仮説がソースフレーズを含むと判定するときに、コンピューティングシステムは、ソースフレーズを補正フレーズ（例えば、ターゲットフレーズ）に置き換える追加候補仮説を生成する。その後、コンピューティングシステムは、候補仮説及び追加候補仮説の各々についての尤度スコアを生成する。ここでは、尤度スコアは、仮説がユーザーによってなされた発話の正しいトランスクリプションである確率を示す。コンピューティングシステムは、候補仮説または追加候補仮説のいずれか一方の最高尤度スコアを選択することによって、ユーザーによってなされた発話のトランスクリプションを生成する。

【0021】

図１は、発話（すなわち、クエリ）１０１に対応するオーディオデータ１１２を使用して、ユーザー１０によってなされた発話１０１の自動音声認識（ＡＳＲ）のためのシステム１００の例を示す。システム１００は、クライアントデバイス１１０、コンピューティングシステム１２０、及びネットワーク１１８を含む。コンピューティングシステム１２０は、スケーラブルな弾性リソースを有する分散システム（例えば、クラウドコンピューティング環境）であり得る。リソースは、コンピューティングリソース１２２（例えば、データ処理ハードウェア）及び／またはストレージリソース１２４（例えば、メモリハードウェア）を含む。ネットワーク１１８は、有線、無線、またはそれらの組み合わせであり得、プライベートネットワーク及び／またはインターネット等のパブリックネットワークを含み得る。

【0022】

いくつかの例では、コンピューティングシステム１２０は、オーディオデータ１１２をクライアントデバイス１１０から受信し、コンピューティングシステム１２０は、オーディオデータ１１２を処理して、オーディオデータ１１２に基づいて、発話１０１に対する複数の候補仮説１３５を生成する。ここでは、各候補仮説は、発話１０１の候補トランスクリプションに対応し、仮定用語のそれぞれのシーケンスによって表される。下記により詳細に説明されるように、各候補仮説１３５について、コンピューティングシステム１２０は、仮定用語のそれぞれのシーケンスが補正フレーズリスト１２５からのソースフレーズ１２６を含むかどうかを判定するように構成される。仮定用語のそれぞれのシーケンスが補正フレーズリスト１２５からのソースフレーズ１２６を含むときに、コンピューティングシステム１２０は、ソースフレーズ１２６を対応するターゲットフレーズ１２８に置き換える追加候補仮説１４５を生成するように構成される。その後、コンピューティングシステム１２０は、複数の候補仮説１３５または追加候補仮説１４５から最高ランキングの仮説を選択することによって、トランスクリプション１７５を生成する。

【0023】

図１は、データの流れを示す動作（Ａ）～（Ｇ）を示す。本明細書に説明されるように、コンピューティングシステム１２０は動作（Ｂ）～（Ｇ）を行う。しかしながら、クライアントデバイス１１０は、また、コンピューティングシステム１２０が動作を行うことに加えて、またはその代わりに、動作（Ｂ）～（Ｇ）を行い得ることが理解される。いくつかの例では、クライアントデバイス１１０は動作の第１の部分（例えば、動作（Ｂ）～（Ｄ））を行い、コンピューティングシステム１２０は動作の第２の部分（例えば、動作（Ｅ）～（Ｇ））を行う、またはその逆も同様である。

【0024】

クライアントデバイス１１０は、データ処理ハードウェア１１４及びメモリハードウェア１１６を含む。クライアントデバイス１１０は、ユーザー１０から発話１０１をキャプチャし、オーディオデータ１１２（例えば、電気信号）に変換するための１つ以上のオーディオキャプチャデバイス（例えば、マイクロフォン（複数可））１０３を含み得る。いくつかの例では、マイクロフォン１０３は、クライアントデバイス１１０とは分離しており、クライアントデバイス１１０と通信して、記録された発話１０１をクライアントデバイス１１０に提供する。クライアントデバイス１１０は、ネットワーク１１８を経由してコンピューティングシステム１２０と通信することが可能な任意のコンピューティングデバイスであり得る。クライアントデバイス１１０は、限定ではないが、ラップトップ、タブレット、スマートフォン、スマートスピーカー／ディスプレイ、スマートアプライアンス、モノのインターネット（ＩｏＴ）デバイス、及びウェアラブルコンピューティングデバイス（例えば、ヘッドセット及び／または時計）等、デスクトップコンピューティングデバイス及びモバイルコンピューティングデバイスを含む。

【0025】

図１の例では、ステージ（Ａ）の期間中、ユーザー１０が発話１０１をし、クライアントデバイス１１０のマイクロフォン１０３は発話１０１を記録する。この例では、発話１０１は、「ｃａｌｌ Ｂｅｓｈａｄ ｏｎ ｍｏｂｉｌｅ」と話しているユーザー１０を含む。クライアントデバイス１１０は、マイクロフォン１０３によって記録された発話１０１に対応するオーディオデータ１１２を、ネットワーク１１８を介してコンピューティングシステム１２０に伝送する。ステージ（Ｂ）の期間中、コンピューティングシステム１２０はオーディオデータ１１２を処理して、複数の候補仮説１３５、１３５ａ～ｎを生成する。ここでは、各候補仮説１３５は、発話１０１の候補トランスクリプションに対応し、仮定用語のそれぞれのシーケンスによって表される。例えば、コンピューティングシステム１２０は、オーディオデータ１１２に基づいて発話１０１に対して可能性のある複数の候補仮説トランスクリプション１３５を示すワードラティス２００を作るために、音声認識器モジュール１３０（例えば、自動音声認識（ＡＳＲ）モジュール）を実行し得る。音声認識器モジュール１３０は、ワードラティス２００を通る潜在的なパスを評価して、複数の候補仮説１３５を判定し得る。

【0026】

図２Ａは、図１の音声認識器モジュール１３０によって提供され得るワードラティス２００、２００ａの例を示す。ワードラティス２００ａは、発話１０１に対して異なる候補仮説１３５を形成し得るワードの複数の可能な組み合わせを表す。

【0027】

ワードラティス２００ａは、ワード間の、可能性のある境界に対応する１つ以上のノード２０２ａ～ｇを含む。ワードラティス２００ａは、ワードラティス２００ａから生じる候補仮説の、可能性のあるワードの複数のエッジ２０４ａ－ｌを含む。さらに、エッジ２０４ａ－ｌのそれぞれは、そのエッジが対応するノードからの正しいエッジである１つ以上の重みまたは確率を有し得る。重みは、音声認識器モジュール１３０によって判定され、例えば、音声データとそのエッジのワードとの一致の信頼性と、ワードがワードラティス２００ａの他のワードと文法的に及び／または語彙的に適合している程度とに基づき得る。

【0028】

例えば、最初に、ワードラティス２００ａを通る最高確度のパス（例えば、最高確度の候補仮説１３５）は、テキスト「ｗｅ’ｒｅ ｃｏｍｉｎｇ ａｂｏｕｔ １１：３０」を有する、エッジ２０４ｃ、２０４ｅ、２０４ｉ、２０４ｋを含み得る。ワードラティス２００ａを通る第２の最良パス（例えば、第２の最良の候補仮説１３５）は、テキスト「ｄｅｅｒ ｈｕｎｔｉｎｇ ｓｃｏｕｔｓ ７：３０」を有する、エッジ２０４ｄ、２０４ｈ、２０４ｊ、２０４ｌを含み得る。

【0029】

ノードの各ペアは、様々な候補仮説１３５における代替ワードに対応する１つ以上のパスを有し得る。例えば、ノード２０２ａで始まり、ノード２０２ｃで終わるノードペア間の初期の最高確度のパスは、エッジ２０４ｃ「ｗｅ’ｒｅ」である。このパスは、エッジ２０４ａ、２０４ｂ「ｗｅ ａｒｅ」及びエッジ２０４ｄ「ｄｅｅｒ」を含む代替パスを有する。

【0030】

図２Ｂは、図１の音声認識器モジュール１３０によって提供され得る階層ワードラティス２００、２００ｂの例である。ワードラティス２００ｂは、発話１０１に対する様々な候補仮説１３５を構成するワードを表すノード２５２ａ－ｌを含む。ノード２５２ａ～ｌの間のエッジは、可能性のある候補仮説１３５が、（１）ノード２５２ｃ、２５２ｅ、２５２ｉ、２５２ｋ「ｗｅ’ｒｅ ｃｏｍｉｎｇ ａｂｏｕｔ １１：３０」、（２）ノード２５２ａ、２５２ｂ、２５２ｅ、２５２ｉ、２５２ｋ「ｗｅ ａｒｅ ｃｏｍｉｎｇ ａｂｏｕｔ １１：３０」、（３）ノード２５２ａ、２５２ｂ、２５２ｆ、２５２ｇ、２５２ｉ、２５２ｋ「ｗｅ ａｒｅ ｃｏｍｅ ａｔ ａｂｏｕｔ １１：３０」、（４）ノード２５２ｄ、２５２ｆ、２５２ｇ、２５２ｉ、２５２ｋ「ｄｅｅｒ ｃｏｍｅ ａｔ ａｂｏｕｔ １１：３０」、（５）ノード２５２ｄ、２５２ｈ、２５２ｊ、２５２ｋ「ｄｅｅｒ ｈｕｎｔｉｎｇ ｓｃｏｕｔｓ １１：３０」、及び（６）ノード２５２ｄ、２５２ｈ、２５２ｊ、２５２ｌ「ｄｅｅｒ ｈｕｎｔｉｎｇ ｓｃｏｕｔｓ ７：３０」を含む。

【0031】

この場合も、ノード２４２ａ～ｌの間のエッジは、音声認識の信頼性（例えば、候補仮説）及び結果として得られるテキストの文法／語彙分析に基づいて、関連する重みまたは確率を有し得る。この例では、「ｗｅ ａｒｅ ｃｏｍｉｎｇ ａｂｏｕｔ １１：３０」は現時点で最良の仮説であり得、「ｄｅｅｒ ｈｕｎｔｉｎｇ ｓｃｏｕｔｓ ７：３０」は次に最良の仮説であり得る。ワードとその代替語を一緒にグループ化する１つ以上のディビジョン３５４ａ～ｄは、ワードラティス２００ｂに作ることができる。例えば、ディビジョン２５４ａは、ワード「ｗｅ’ｒｅ」と、代替語「ｗｅ ａｒｅ」及び「ｄｅｅｒ」とを含む。ディビジョン２５２ｂは、ワード「ｃｏｍｍｉｎｇ」と、代替語「ｃｏｍｅ ａｔ」及び「ｈｕｎｔｉｎｇ」とを含む。ディビジョン２５４ｃはワード「ａｂｏｕｔ」及び代替語「Ｓｃｏｕｔｓ」を含み、ディビジョン２５４ｄはワード「１１：３０」及び代替語「７：３０」を含む。

【0032】

図１を再び参照すると、音声認識器モジュール１３０は、ワードラティス２００から複数の候補仮説１３５を生成し得る。すなわち、音声認識器モジュール１３０は、ワードラティス２００の候補仮説１３５の各々に対して、尤度スコア１５５を生成する。各尤度スコア１５５は、候補仮説１３５が正しい（例えば、発話１０１に一致する）確率を示す。いくつかの実施態様では、音声認識器モジュール１３０は、オーディオデータ１１２を受信し、ワードラティス２００を生成するように構成されたエンドツーエンド（Ｅ２Ｅ）音声認識モデルを含む。特に、Ｅ２Ｅ音声認識モデルは、オーディオデータ１１２を処理して、ワードラティス２００からの複数の候補仮説１３５の各々について、対応する尤度スコア１５５を生成する。いくつかの例では、音声認識器モジュール１３０は、別個のアコースティックモデル、言語モデル、及び／または発音モデルを含む。音声認識器モジュール１３０は、アコースティックモデル及び言語モデル（例えば、アコースティックモデル３０１及び言語モデル３０２）を追加仮説スコアラー３００と共有し得る、または独立型のアコースティックモデル及び言語モデルを有し得る。

【0033】

いくつかの例では、音声認識器モジュール１３０はアコースティックモデル及び／または言語モデルを含み、これらのモデルは、オーディオデータ１１２に基づいて、ワードラティス２００を生成する、またはそうでなければ、発話１０１に対する複数の候補仮説１３５を生成する。ここでは、複数の候補仮説１３５の尤度スコア１５５は、アコースティックモデルからのアコースティックモデリングスコア及び／または言語モデルからの事前の尤度スコアの組み合わせを含み得る。言い換えれば、尤度スコア１５５は、アコースティックモデルによって出力されたアコースティックモデリングスコア、及び／または言語モデルによって出力された事前の尤度スコア、のうちの少なくとも１つを含む。

【0034】

ステージ（Ｃ）の期間中、コンピューティングシステム１２０は、ワードラティス２００における複数の候補仮説１３５から、最高ランキングの候補仮説１３５のセットを識別する。例えば、音声認識器モジュール１３０からの尤度スコア１５５を使用して、コンピューティングシステム１２０は、最高尤度スコア１５５を伴うｎ個の候補仮説１３５を選択する（ｎは整数である）。いくつかの例では、コンピューティングシステム１２０は、尤度スコア閾値を満たす尤度スコア１５５を伴う候補仮説１３５を選択する。任意選択で、音声認識器モジュール１３０は、尤度スコア１５５を使用して、最高ランキングの候補仮説１３５のセットをランク付けし得る。

【0035】

示される例では、音声認識器モジュール１３０は、ユーザー１０によってなされた発話１０１「ｃａｌｌ Ｂｅｓｈａｄ ｏｎ ｍｏｂｉｌｅ」について、候補仮説１３５を生成する。この例では、上位２つの候補トランスクリプション（例えば、正しい可能性が最も高い２つ）は、最高ランキングの候補仮説１３５のセットとして選択される。最高ランキングの候補仮説１３５は、尤度スコア１５５が０．８の第１の候補仮説１３５「ｃａｌｌ ｂｅｓｔ ｓｈｏｔ ｏｎ ｍｏｂｉｌｅ」と、尤度スコア１５５が０．２の第２の候補仮説１３５「ｇｏａｌ ｂｅｓｔ ｓｈｏｔ ｉｍｍｏｂｉｌｅ」と、を含む。ここでは、尤度スコア１５５が高いほど、候補仮説１３５が正しいという信頼性が高くなることを示す。とりわけ、最高ランキングの候補仮説１３５のいずれも、ユーザー１０によって実際になされた発話１０１（例えば、「ｃａｌｌ Ｂｅｓｈａｄ ｏｎ ｍｏｂｉｌｅ」を含まない。したがって、コンピューティングシステム１２０が最高ランキングの候補仮説１３５のいずれかを選択する場合、ユーザー１０に出力されたトランスクリプション１７５は不正確になる。

【0036】

ステージ（Ｄ）の期間中、コンピューティングシステム１２０は、各候補仮説１３５について、仮定用語のそれぞれのシーケンスが、補正フレーズリスト１２５からのソースフレーズ１２６を含むかどうかを判定するラティスオーグメンター１４０を実行する。補正フレーズリスト１２５は、フレーズ補正ペアのリストを含む。補正フレーズリスト１２５内の各フレーズ補正ペアは、ソースフレーズ１２６及び対応するターゲットフレーズ１２８を含む。したがって、補正フレーズリスト（例えば、フレーズ補正ペアのリスト）１２５は、複数のソースフレーズ１２６、１２６ａ～ｎと、複数の対応するターゲットフレーズ１２８、１２８ａ～ｎとを含む。特に、ソースフレーズ１２６は、音声認識器モジュール１３０によって以前に生成された誤認識トランスクリプションを表し、ターゲットフレーズ１２８は、誤認識トランスクリプションに対する補正トランスクリプションを表す。

【0037】

図４Ａ～図４Ｃは、誤認識されたトランスクリプションを補正し、補正トランスクリプションを記憶して、補正フレーズリスト１２５（図１）を生成することを示す。いくつかの実施態様では、音声認識器モジュール１３０は、ユーザー１０によってなされた以前の発話４０１を誤認識する誤認識トランスクリプション４７５を生成する。本明細書で使用される場合、以前の発話４０１及びの誤認識トランスクリプション４７５は、トランスクリプション１７５及び発話１０１（図１）を受信する前の時点で、クライアントデバイス１１０において受信される。明らかになるように、誤認識トランスクリプション４７５及び以前の発話４０１を使用して、補正フレーズリスト１２５（図１）を生成して、クライアントデバイス１１０が発話１０１（図１）を後で受信するときに、音声認識精度を向上させることができる。

【0038】

図４Ａは、クライアントデバイス１１０のマイクロフォン１０３が、ユーザー１０が以前の発話４０１「ｃａｌｌ Ｂｅｓｈａｄ ｏｎ ｍｏｂｉｌｅ」を話すことを記録することを示す。クライアントデバイス１１０は、以前の発話４０１をオーディオデータ４１２に変換して、オーディオデータ４１２を音声認識器モジュール１３０に伝送する。音声認識器モジュール１３０は、オーディオデータ４１２を処理して、オーディオデータ４１２に対応する誤認識トランスクリプション４７５を生成する。示される例では、音声認識器モジュール１３０は、ユーザー１０によって話された以前の発話４０１の誤認識である誤認識トランスクリプション４７５「ｃａｌｌ ｂｅｓｔ ｓｈｏｔ」を生成する。クライアントデバイス１１０は、グラフィカルユーザーインタフェース（ＧＵＩ）１１１を介して、以前のトランスクリプション４７５をユーザー１０に表示する。

【0039】

ここで図４Ｂを参照すると、ユーザー１０は、ＧＵＩ１１１上に表示された誤認識トランスクリプション４７５が以前の発話４０１と一致しないことを識別し得る。したがって、ユーザー１０は、クライアントデバイス１１０のＧＵＩ１１１に、誤認識トランスクリプション４７５の誤認識フレーズ４２５の選択を示す入力インジケーションを提供する。いくつかの例では、入力インジケーションは、ユーザー１０が、誤認識トランスクリプション４７５から誤認識フレーズ４２５を選択するＧＵＩ１１１にタッチ入力を提供することを含む。誤認識フレーズ４２５は、誤認識されたトランスクリプション４７５の全体またはその一部分を含み得る。示される例では、誤認識フレーズ４２５「ｂｅｓｔ ｓｈｏｔ」は、以前のトランスクリプション４７５の不正確な部分だけを含む。

【0040】

図４Ｃは、ユーザー１０が、誤認識トランスクリプション４７５の誤認識フレーズ４２５を補正フレーズ４３０に置き換えることを示す。いくつかの例では、ユーザー１０は、クライアントデバイス１１０のキーボード１１９を使用して、補正フレーズ４３０を提供するためにテキストを入力する。任意選択で、キーボード１１９は、クライアントデバイス１１０がユーザー１０から入力インジケーションを受信することに応答して表示し得る（図４Ｂ）。これらの例では、ユーザー１０は、クライアントデバイス１１０のキーボード１１８を使用して、補正フレーズ（例えば、「Ｂｅｓｈａｄ」）をタイプし得る。他の例では、ユーザー１０は、クライアントデバイス１１０に話すことによって、補正フレーズ４３０を入力する。すなわち、ユーザー１０は、補正フレーズ４３０の各文字（例えば、「Ｂ－Ｅ－Ｓ－Ｈ－Ａ－Ｄ」）を話し得る。補正フレーズ４３０を受信した後に、クライアントデバイス１１０は、誤認識フレーズ４２５を補正フレーズ４３０に置き換えて、以前の発話４０１の正確なトランスクリプションを表す以前の補正トランスクリプション４７６を生成する。

【0041】

したがって、コンピューティングシステム１２０は、誤認識フレーズ４２５及び補正フレーズ４３０を、それぞれソースフレーズ１２６及びターゲットフレーズ１２８として、補正フレーズリスト１２５にフレーズ補正ペアとして記憶し得る。いくつかの例では、コンピューティングシステムは、誤認識トランスクリプション４７５及び以前の補正トランスクリプション４７６を、それぞれソースフレーズ及びターゲットフレーズ１２８として、補正フレーズリスト１２５にフレーズ補正ペアとして記憶する。フレーズ補正ペアは、クライアントデバイス１１０のメモリハードウェア１１６に、及び／またはコンピューティングシステム１２０のメモリハードウェア１２４に記憶され得る。フレーズ補正ペアは、また、補正履歴データストア３２０（図３）に記憶され得る。明らかになるように、コンピューティングシステム１２０は、フレーズ補正ペアを使用して、コンピューティングシステム１２０がソースフレーズ１２６（例えば、ｂｅｓｔ ｓｈｏｔ）を再度検出するときに、正確なトランスクリプション１７５を生成する。

【0042】

図１を再び参照すると、いくつかの実施態様では、ラティスオーグメンター１４０は、候補仮説１３５及び補正フレーズリスト１２５を使用して、追加候補仮説１４５、１４５ａ～ｎを生成するように構成される。特に、ラティスオーグメンター１４０は、候補仮説１３５及び補正フレーズリスト１２５を受信し、各候補仮説１３５について、仮定用語のそれぞれのシーケンスが補正フレーズリスト１２５からのソースフレーズ１２６のうちの１つを含むかどうかを判定する。仮定用語のそれぞれのシーケンスがソースフレーズ１２６のうちの１つを含むときに、ラティスオーグメンター１４０は、仮定用語のそれぞれのシーケンスにおけるソースフレーズ１２６を対応するターゲットフレーズ１２８に置き換える追加候補仮説１４５を生成する。

【0043】

示される例を続けて説明すると、ラティスオーグメンター１４０は、第１の候補仮説１３５「ｃａｌｌ ｂｅｓｔ ｓｈｏｔ ｏｎ ｍｏｂｉｌｅ」及び第２の候補仮説「ｇｏａｌ ｂｅｓｔ ｓｈｏｔ ｉｍｍｏｂｉｌｅ」が、両方とも、補正フレーズリスト１２５からのソースフレーズ「ｂｅｓｔ ｓｈｏｔ」を含むかどうかを判定する。したがって、ラティスオーグメンター１４０は、第１の追加候補仮説１４５「ｃａｌｌ Ｂｅｓｈａｄ ｏｎ ｍｏｂｉｌｅ」及び第２の追加候補仮説１４５「ｇｏａｌ Ｂｅｓｈａｄ ｉｍｍｏｂｉｌｅ」を生成する。ここでは、ラティスオーグメンター１４０は、追加候補仮説１４５の各々において、ソースフレーズ１２６「ｂｅｓｔ ｓｈｏｔ」をターゲットフレーズ１２８「Ｂｅｓｈａｄ」に置き換える。

【0044】

いくつかの実施態様では、コンピューティングシステム１２０は、追加仮説スコアラー３００（単に「仮説スコアラー３００」とも呼ばれる）を実行し、追加仮説スコアラー３００は、ラティスオーグメンター１４０によって生成された各追加候補仮説１４５に対して尤度スコア１５５を判定するように構成される。すなわち、追加候補仮説１４５を単純に生成することは、追加候補仮説１４５が発話１０１の正しいトランスクリプション１７５を含むことを意味しない。例えば、ラティスオーグメンター１４０は、「Ｗｈａｔ ｉｓ Ｈｕｎｇａｒｙ’ｓ ｂｅｓｔ ｓｈｏｔ ａｔ ｔｈｅ Ｅｕｒｏ ｃｕｐ」の候補仮説１３５から、追加候補仮説１４５「Ｗｈａｔ ｉｓ Ｈｕｎｇａｒｙ’ｓ Ｂｅｓｈａｄ ａｔ ｔｈｅ Ｅｕｒｏ ｃｕｐ」を生成し得る（例えば、ソースフレーズ１２６「ｂｅｓｔ ｓｈｏｔ」をターゲットフレーズ「Ｂｅｓｈａｄ」に置き換える）。この例では、追加候補仮説１４５は、無意味な可能性が最も高い仮説であり、候補仮説１３５よりも低い尤度スコア１５５を含むはずである。したがって、コンピューティングシステム１２０は、最高尤度を伴う仮説を候補仮説１３５及び追加候補仮説１４５から選択して、正確なトランスクリプション１７５の確率を最大化する。

【0045】

しかしながら、いくつかの例では、仮説スコアラー３００は、追加候補仮説１４５に対して正確な尤度スコア１５５を生成できない場合がある。すなわち、コンピューティングシステム１２０が追加候補仮説１４５をユーザー入力から受信するため、追加候補仮説１４５は、領域外、語彙外（ＯＯＶ）であり得る、及び／またはコンピューティングシステム１２０におけるスパース訓練データだけを含み得る。したがって、仮説スコアラー３００は、追加候補仮説１４５が正しいかどうかの確率を正確に反映する尤度スコア１５５を生成する必要がある。

【0046】

仮説スコアラー３００は、アコースティックモデル３０１及び／または言語モデル３０２のうちの少なくとも１つを含む。いくつかの例では、言語モデル３０２は、音声認識器モジュール１３０の外部の補助言語モデルを含む。他の例では、言語モデル３０２は、音声認識器モジュール１３０と統合された内部言語モデルを含む。アコースティックモデル３０１は、オーディオデータ１１２を処理して、ソースフレーズ１２６またはターゲットフレーズ１２８のいずれか一方を含むオーディオデータ１１２の一部分に関するアコースティックモデリングスコアを判定するように構成される。いくつかの例では、アコースティックモデル３０１は、ソースフレーズ１２６を含むオーディオデータ１１２の部分と、ソースフレーズ１２６を含む候補仮説１３５の部分とについて音響類似度を比較する。他の例では、アコースティックモデルは、ターゲットフレーズ１２８を含むオーディオデータ１１２の部分と、ターゲットフレーズ１２８を含む追加候補仮説１４５の部分とについて音響類似度を比較する。

【0047】

したがって、アコースティックモデリングスコアは、ソースフレーズ１２６またはターゲットフレーズ１２８を含むオーディオデータ１１２の部分が、候補仮説１３５または追加候補仮説１４５に音響的に類似しているかどうかを示し得る。いくつかの例では、仮説スコアラー３００は、追加候補仮説１４５のアコースティックモデリングスコアを判定できない。例えば、追加候補仮説１４５のターゲットフレーズ１２８がＯＯＶフレーズであるときに、仮説スコアラー３００は、オーディオデータ１１２の部分とＯＯＶフレーズとを比較できない。これらの例では、仮説スコアラー３００は、ソースフレーズ１２６及びターゲットフレーズ１２８が音響的に類似し、言語モデル３０２だけに依存すると想定する。

【0048】

いくつかの実施態様では、仮説スコアラー３００の言語モデル３０２は、各追加候補仮説１４５を入力として受信し、各追加候補仮説１４５に対応する事前の尤度スコア３０４を判定するように構成される。事前の尤度スコア３０４は、言語モデル３０２ １２０によって受信される、異なる用語のシーケンスが発生する頻度を示す確率データに基づいて、追加候補仮説１４５の確率を示し得る。例えば、言語モデル３０２は、「ｔｒｅｅ ｂｌｉｎｄ ｍｉｃｅ」よりも高い事前の尤度スコア３０４を追加候補仮説「ｔｈｒｅｅ ｂｌｉｎｄ ｍｉｃｅ」に割り当て得る。この理由として、前者の言語シーケンスが、後者よりも発話１０１のコーパスでより頻繁に発生するためである。

【0049】

いくつかの実施態様では、ターゲットフレーズ１２８は、言語モデル３０１のＯＯＶフレーズである。したがって、補正フレーズリスト１２５内の各フレーズ補正ペアについて、言語モデル３０２は、対応ソースフレーズ１２６を含む言語モデル３０２内のｎグラムを識別する。ここでは、言語モデル３０２は、識別されたｎグラムにおける対応するソースフレーズ１２６をターゲットフレーズ１２８に置換する、対応する新しいｎグラムをクローニングする。すなわち、言語モデル３０２は、言語モデル３０２における既存のｎグラムを使用して、ターゲットフレーズ１２８に対する新しいｎグラムを作成する。これらの実施態様では、コンピューティングシステム１２０は、ターゲットフレーズ１２８の新しいｎグラムを言語モデル３０２に追加し、ターゲットフレーズ１２８のｎグラムの事前の尤度スコアが、ソースフレーズ１２６のｎグラムよりも高くなることを判定するように、言語モデル３０２を条件付けることによって、言語モデル３０２を変更する。

【0050】

例えば、コンピューティングシステム１２０は、ターゲットフレーズ１２８「Ｂｅｓｈａｄ」に関するｎグラムを、ソースフレーズ「ｂｅｓｔ ｓｈｏｔ」に関する既存のｎグラムよりもわずかに高い確率を含む言語モデル３０２に追加する。ターゲットフレーズ１２８のｎグラムは、ソースフレーズ１２６をターゲットフレーズ１２８に置き換えるユーザー入力インジケーションにより、わずかに高い確率を含む。しかしながら、いくつかの例では、言語モデル３０２は、ユーザー１０の意図が「Ｂｅｓｈａｄ」または「ｂｅｓｔ ｓｈｏｔ」を話すことであったかどうかについて、ソースフレーズ１２６及びターゲットフレーズ１２８だけを単純に分析することによって判定できない。例えば、「Ｂｅｓｈａｄ」は、独立した名前、または「Ｃａｌｌ Ｂｅｓｈａｄ」等の固有の名前（例えば、映画名）のいずれか一方であり得る。「Ｃａｌｌ Ｂｅｓｈａｄ」が固有の名前であるときに、「Ｂｅｓｈａｄ」自体は特に重要な意味がない場合がある。したがって、言語モデル３０２は、ターゲットフレーズ１２８に隣接する追加コンテキスト（例えば、追加のｎグラム）を追加し、ユーザー１０がソースフレーズ１２６またはターゲットフレーズ１２８を意図したかどうかを予測する条件付き確率が高まり得る。簡単に言うと、ターゲットフレーズ１２８が一般に隣接する隣接用語がターゲットフレーズ１２８に含まれる場合、ユーザー１０がターゲットフレーズ１２８を意図した確率は、ソースフレーズ１２６よりも大きくなる。

【0051】

ここで図３を参照すると、いくつかの例では、言語モデル３０２は、ターゲットフレーズ１２８から、ｎもしくはｎ－１個だけ前にある用語及び／またはｎもしくはｎ＋１個だけ後にある用語に基づいて、ｎグラムのシーケンスにおける用語を連続して予測する条件付き確率を使用するｎグラム言語モデルを含む。示される例では、言語モデルは、増加した条件付き確率３１０を含み、ユーザー１０がターゲットフレーズ１２８を伝えることを意図する確率は、ｎグラムの数が増加するにつれて増加する。例えば、１つのｎグラムを伴うシーケンスはユニグラム（例えば、１つのワード）であり、２つのｎグラムを伴うシーケンスはバイグラム（例えば、２つのワード）であり、３つのｎグラムを伴うシーケンスはトリグラム（例えば、３つのワード）である。

【0052】

示される例では、増加した条件付き確率３１０は、ターゲットフレーズ１２８（例えば、「Ｂｅｓｈａｄ」）を伴うユニグラムの事前の尤度スコア３０４を含み、そのスコアは、ソースフレーズ１２６（例えば、「ｂｅｓｔ ｓｈｏｔ」）を伴うユニグラムの事前の尤度スコア３０４よりもわずかに高い確率を有する。言語モデル３０２がターゲットフレーズ１２８及びソースフレーズ１２６の周りのコンテキスト（例えば、他のワード）を知らないため、確率がほんのわずかだけ高いである。

【0053】

また、増加した条件付き確率３１０は、ターゲットフレーズ１２８（例えば、「ｃａｌｌ Ｂｅｓｈａｄ」）を伴うバイグラムの事前の尤度スコア３０４を含み、そのスコアは、ソースフレーズ１２６（例えば、「ｃａｌｌ ｂｅｓｔ ｓｈｏｔ」）を伴うバイグラムの事前の尤度スコア３０４よりも高い確率を有する。ここでは、ターゲットフレーズ１２８の事前の尤度スコア３０４とバイグラム（例えば、より高い確率）のソースフレーズ１２６との間のマージンは、ターゲットフレーズ１２８の事前の尤度スコア３０４と、ユニグラム（例えば、わずかに高い確率）のソースフレーズ１２６との間のマージンよりも大きくなる。この理由として、ターゲットフレーズ１２８及びソースフレーズ１２６の後にあるｎグラムの数が増加するためである。ｎグラムの数が増加することにより、増加したコンテキストが言語モデル３０２に提供されることになり、言語モデル３０２は、ユーザー１０がターゲットフレーズ１２８またはソースフレーズ１２６を意図したかどうかをより正確に予測できる。簡単に言うと、用語「Ｂｅｓｈａｄ」を一般に含むワードが追加候補仮説１４５にあるため、ユーザー１０が「ｂｅｓｔ ｓｈｏｔ」よりもむしろ「Ｂｅｓｈａｄ」を伝える意図があった尤度がより大きくなる。

【0054】

さらに、増加した条件付き確率３１０は、また、ターゲットフレーズ１２８（例えば、「＜Ｓ＞ｃａｌｌ Ｂｅｓｈａｄ」を伴うトリグラムの事前の尤度スコア３０４を含み、そのスコアは、ソースフレーズ１２６（例えば、＜Ｓ＞「Ｃａｌｌ Ｂｅｓｈａｄ」）を伴うトリグラムの事前の尤度スコア３０４よりもはるかに高い確率を有する。この例では、＜Ｓ＞は、追加コンテキストを提供するために文の始まりを示す。ここでは、ターゲットフレーズ１２８の事前の尤度スコア３０４とトリグラム（例えば、はるかに高い確率）のソースフレーズ１２６との間のマージンは、ターゲットフレーズ１２８の事前の尤度スコア３０４と、バイグラム及びユニグラムのソースフレーズ１２６との間のマージンよりも大きくなる。この理由として、ターゲットフレーズ１２８及びソースフレーズ１２６の後にあるｎグラムの数が増加するためである。すなわち、トリグラムは、さらに多くのコンテキストを言語モデル３０２に提供することにより、言語モデル３０２は、ユーザー１０がターゲットフレーズ１２８またはソースフレーズ１２６を伝えることを意図する確率をより正確に予測できる。

【0055】

図３に示されるように、いくつかの実施態様では、言語モデル３０２は、新しいｎグラムに加えて、ｎグラムのオリジナルシーケンス３２６と、ｎグラムの補正シーケンス３２８とを使用する。すなわち、補正フレーズリスト１２５内の各フレーズ補正ペアについて、言語モデル３０２は、補正履歴データストア３２０からｎグラムのシーケンス３２５を取得し得る。補正履歴データストア３２０は、図４に説明されるように、以前のトランスクリプション４７５及び以前の補正トランスクリプション４７６を記憶する。ｎグラムのシーケンス３２５は、対応するソースフレーズ１２６を誤認識した対応する以前のトランスクリプション４７５（図４）を表すｎグラムのオリジナルシーケンス３２６と、ｎグラムのオリジナルシーケンス３２６におけるソースフレーズ１２６を対応するターゲットフレーズ１２８に置き換えるｎグラムの補正シーケンス３２８（例えば、以前の補正トランスクリプション４７６（図４））と、を含む。ここでは、ｎグラムのオリジナルシーケンス３２６は、ソースフレーズ１２６と、以前のトランスクリプション４７５（図４）におけるソースフレーズ１２６の前及び／または後にある１つ以上の他の用語と、を含む。ｎグラムの補正シーケンスは、ターゲットフレーズ１２８と、以前のトランスクリプション４７５（図４）における対応するソースフレーズ１２６の前及び／または後にある同じ１つ以上の他の用語と、を含む。

【0056】

示される例では、ｎグラムのオリジナルシーケンス３２６は「＜Ｓ＞ｃａｌｌ ｂｅｓｔ ｓｈｏｔ＜／Ｓ＞」を含み、ｎグラムの補正シーケンス３２８は「＜Ｓ＞Ｃａｌｌ Ｂｅｓｈａｄ＜／Ｓ＞」を含む。ここでは、ｎグラムの両方のシーケンスは、ソースフレーズ１２６またはターゲットフレーズ１２８の前にある用語「ｃａｌｌ」を含む。この例では、ｎグラムのオリジナルシーケンス３２６及び補正シーケンス３２８は、さらに、ユーザー１０によって話された以前の発話４０１について音声認識器モジュール１３０によって転写された以前のトランスクリプション４７５の文境界を表すｎグラムを含む。すなわち、＜Ｓ＞は文の始まりの境界トークンを表し、＜／Ｓ＞は文の終わりの境界トークンを表す。

【0057】

コンピューティングシステム１２０は、ｎグラムのオリジナルシーケンス３２６及びｎグラムの補正シーケンス３２８を言語モデル３０２に追加し、ｎグラムの補正シーケンス３２８からのｎグラムの数の事前の尤度スコア３０４が、ｎグラムのオリジナルシーケンス３２６からの同じ数のｎグラムよりも高くなることを判定するように、言語モデル３０２を条件付けることによって、言語モデル３０２を変更する。すなわち、ｎグラムのオリジナルシーケンス３２６及びｎグラムの補正シーケンス３２８が両方ともバイグラムである場合、コンピューティングシステム１２０は、ｎグラムの補正シーケンス３２８の事前の尤度スコア３０４がより高くなることを判定するように、言語モデル３０２を条件付ける。例えば、言語モデル３２０は、ｎグラムの補正シーケンス３２８「ｃａｌｌ Ｂｅｓｈａｄ」の尤度スコア１５５が、ｎグラムのオリジナルシーケンス３２６「ｃａｌｌ ｂｅｓｔ ｓｈｏｔ」よりも高くなることを判定する。

【0058】

いくつかの例では、コンピューティングシステム１２０は、ターゲットフレーズ１２８を含むｎグラムのシーケンスからのｎグラムの第１の数の事前の尤度スコア３０４が、ターゲットフレーズ１２８を含むｎグラムのシーケンスからのｎグラムのより大きい第２の数よりも低くなることを判定するように、言語モデル３０２を条件付ける。例えば、「ｃａｌｌ Ｂｅｓｈａｄ ｏｎ ｍｏｂｉｌｅ」は、「ｃａｌｌ Ｂｅｓｈａｄ」よりもｎグラムの数が大きいため、より高い事前の尤度スコア３０４を含むはずである。ターゲットフレーズ１２８に隣接するこれらの追加のｎグラムは、ターゲットフレーズ１２８が正しいトランスクリプションであることのより高い信頼性を提供する。すなわち、ターゲットフレーズ１２８は、これらの他のワードまたはフレーズで見られる可能性が高いため、この文脈では、正しいトランスクリプションは、ターゲットフレーズ１２８を含む可能性が高い。

【0059】

いくつかの実施態様では、言語モデル３０２が候補仮説１３５「Ｗｈａｔ ｉｓ Ｈｕｎｇａｒｙ’ｓ ｂｅｓｔ ｓｈｏｔ ａｔ ｔｈｅ Ｅｕｒｏ ｃｕｐ」を受信する場合、言語モデル３０２は事前の尤度スコア３０４が高いことを判定する。この理由は、候補仮説１３５が共通のｎグラムのシーケンスを含むためである。しかしながら、言語モデル３０２は、また、追加候補仮説１４５を受信し得、追加候補仮説１４５は、ソースフレーズ１２６をターゲットフレーズ１２８に置き換えて、「Ｗｈａｔ ｉｓ Ｈｕｎｇａｒｙ’ｓ Ｂｅｓｈａｄ ａｔ ｔｈｅ Ｅｕｒｏ ｃｕｐ」を生成する。この例では、言語モデル３０２は、このｎグラムのシーケンスがユーザー１０によって前に話されていないと判定する。したがって、言語モデル３０２は、「Ｂｅｓｈａｄ」につながるｎグラムの数を減少させ、そのｎグラムの減少したシーケンスの確率を判定する。

【0060】

例えば、言語モデル３０２は、ｎグラムのシーケンス「Ｗｈａｔ ｉｓ Ｈｕｎｇａｒｙ’ｓ Ｂｅｓｈａｄ」もまた、ユーザー１０によって前に話されていない、または非常にまれに話されていると判定し、ひいては、言語モデル３０２は、別のｎグラムを削除する。例えば、言語モデル３０２は、ｎグラムのシーケンス「Ｈｕｎｇａｒｙ’ｓ Ｂｅｓｈａｄ」もまた、ユーザー１０によって前に話されていない、または非常にまれに話されていると判定し、ひいては、言語モデル３０２は、さらに別のｎグラムを削除する。例を続けて説明すると、言語モデル３０２は、ターゲットフレーズ１２８「Ｂｅｓｈａｄ」が、誤認識トランスクリプションのためにユーザー１０が追加した新しいユニグラムであると判定する。したがって、ユニグラム「Ｂｅｓｈａｄ」の事前の尤度スコア３０４が、ユニグラム「ｂｅｓｔ ｓｈｏｔ」の事前の尤度スコア３０４よりもわずかに高い確率を有しても、このシナリオにおける「ｂｅｓｔ ｓｈｏｔ」のｎグラムのシーケンスのワード履歴は、「Ｗｈａｔ ｉｓ Ｈｕｎｇａｒｙ’ｓ ｂｅｓｔ ｓｈｏｔ ａｔ ｔｈｅ Ｅｕｒｏ ｃｕｐ」が最も可能性の高いトランスクリプションであることを意味し得る。

【0061】

図１を再び参照すると、各追加候補仮説１４５について判定された対応する尤度スコア１５５は、アコースティックモデリングスコア、及び／または追加候補仮説１４５について判定された対応する事前の尤度スコア３０４、のうちの少なくとも１つに基づいている。ステージ（Ｆ）の期間中、リランカー１６０は、複数の候補仮説１３５に対する尤度スコア１５５を音声認識器モジュール１３０から受信し、追加候補仮説１４５に対する尤度スコア１５５を仮説スコアラー３００から受信する。リランカー１６０は、尤度スコアに基づいて、複数の候補仮説１３５及び追加候補仮説１４５のランキングを含む再ランク付け済み結果１６５を出力するように構成される。示される例では、再ランク付け済み結果１６５は追加仮説候補１４５を含み、尤度スコア１５５は０．９であり、最も可能性が高い正しいトランスクリプション１７５として考えられる。

【0062】

ステージ（Ｇ）において、コンピューティングシステム１２０は、再ランク付け済み結果１６５における最高ランキング候補を選択することによって、ユーザー１０によってなされた発話１０１のトランスクリプション１７５を生成するように構成される。したがって、コンピューティングシステム１２０は、ソースフレーズ１２６を含む候補仮説１３５またはターゲットフレーズ１２８を含む追加候補仮説１４５が、最高尤度スコア１５５を有するかどうかを判定する。示される例では、コンピューティングシステム１２０は、０．９の最高尤度スコア１５５を有するため、追加候補仮説１４５「ｃａｌｌ Ｂｅｓｈａｄ ｏｎ ｍｏｂｉｌｅ」を選択する。コンピューティングシステム１２０は、トランスクリプション１７５を、ネットワーク１１８を介して、クライアントデバイス１１０に伝送して、トランスクリプション１７５をユーザー１０に提供する。

【0063】

図５は、ラティス音声補正を行う方法５００の動作の例示的な配置のフローチャートである。クライアントデバイス１１０のデータ処理ハードウェア１１４（図１）及び／またはコンピューティングシステム１２０のデータ処理ハードウェア１２２（図１）は、メモリハードウェア１１６、１２４に記憶された命令を実行することによって、方法５００の動作を実行し得る。動作５０２において、方法５００は、ユーザー１０によって話されたクエリ（すなわち、発話）１０１に対応するオーディオデータ１１２を受信することを含む。動作５０４において、方法５００は、音声認識器モジュール１３０を使用して、オーディオデータ１１２を処理し、複数の候補仮説１３５を生成することを含む。各候補仮説１３５は、クエリ１０１の候補トランスクリプションに対応し、仮定用語のそれぞれのシーケンスによって表される。

【0064】

各候補仮説１３５に対して、方法５００は動作５０６及び５０８を行う。動作５０６において、方法５００は、仮定用語のそれぞれのシーケンスが、フレーズ補正ペアのリスト（すなわち、補正フレーズリスト）１２５からのソースフレーズ１２６を含むかどうかを判定することを含む。フレーズ補正ペア１２５のリスト内の各フレーズ補正ペアは、ユーザー１０によってなされた以前の発話４０１について音声認識器モジュール１３０によって転写された対応する以前のトランスクリプション４７５で誤認識された対応するソースフレーズ１２６を含む。ここでは、フレーズ補正ペア１２５のリスト内の各フレーズ補正ペアは、また、音声認識器モジュール１３０によって転写された対応する以前のトランスクリプション４７５で誤認識されたソースフレーズ１２６を置き換えるユーザー補正に一致する対応するターゲットフレーズ１２８を含む。動作５０８において、仮定用語のそれぞれのシーケンスがソースフレーズ１２６を含むときに、方法５００は、仮定用語のそれぞれのシーケンスにおけるソースフレーズ１２６を対応するターゲットフレーズ１２８に置き換える対応する追加候補仮説１４５を生成することを含む。

【0065】

動作５１０において、方法５００は、複数の候補仮説１３５及び各対応する追加候補仮説１４５をランク付けすることを含む。動作５１２において、方法５００は、複数の候補仮説１３５及び各対応する追加候補仮説１４５のうちの最高ランキングの１つを選択することによって、ユーザー１０によって話されたクエリ１０１のトランスクリプション１７５を生成することを含む。

【0066】

図６は、この文書に説明されるシステム及び方法を実施するために使用され得るコンピューティングデバイス６００の例の概略図である。コンピューティングデバイス６００は、ラップトップ、デスクトップ、ワークステーション、パーソナルデジタルアシスタント、サーバー、ブレードサーバー、メインフレーム、及び他の適当なコンピューター等、様々な形式のデジタルコンピューターを表すことを意図している。ここで示されるコンポーネント、それらの接続及び関係、ならびにそれらの機能は、例示だけを意図しており、この文書で説明及び／または特許請求されている発明の実施態様を制限することを意図していない。

【0067】

コンピューティングデバイス６００は、プロセッサ６１０、メモリ６２０、ストレージデバイス６３０、メモリ６２０及び高速拡張ポート６５０に接続する高速インターフェース／コントローラー６４０、ならびに低速バス６７０及びストレージデバイス６３０に接続する低速インターフェース／コントローラー６６０を含む。コンポーネント６１０、６２０、６３０、６４０、６５０、及び６６０の各々は、様々なバスを使用して相互接続されており、共通のマザーボードに取り付けられ得る、または必要に応じて他の方式で取り付けられ得る。プロセッサ６１０は、メモリ６２０内またはストレージデバイス６３０上に記憶された命令を含む、コンピューティングデバイス６００内で実行するための命令を処理して、高速インターフェース６４０に結合されたディスプレイ６８０等の外部入力／出力デバイスにグラフィカルユーザーインターフェース（ＧＵＩ）のグラフィカル情報を表示できる。他の実施態様では、複数のメモリ及び複数のタイプのメモリと一緒に、必要に応じて、複数のプロセッサ及び／または複数のバスを使用し得る。また、複数のコンピューティングデバイス６００が接続され得、各デバイスが（例えば、サーバーバンク、ブレードサーバーのグループ、またはマルチプロセッサシステムとして）必要な動作の一部を提供する。

【0068】

メモリ６２０は、コンピューティングデバイス６００内に情報を非一時的に記憶する。メモリ６２０は、コンピューター可読媒体、揮発性メモリユニット（複数可）、または不揮発性メモリユニット（複数可）であり得る。非一時的メモリ６２０は、コンピューティングデバイス６００で使用するために一時的または永続的にプログラム（例えば、命令のシーケンス）またはデータ（例えば、プログラム状態情報）を記憶するために使用される物理デバイスであり得る。不揮発性メモリの例は、限定ではないが、フラッシュメモリ、読み取り専用メモリ（ＲＯＭ）／プログラマブル読み取り専用メモリ（ＰＲＯＭ）／消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ）／電子的に消去可能なプログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）（例えば、通常、ブートプログラム等のファームウェアに使用される）を含む。揮発性メモリの例は、限定ではないが、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、相変化メモリ（ＰＣＭ）、及びディスクまたはテープを含む。

【0069】

ストレージデバイス６３０は、コンピューティングデバイス６００にマスストレージを提供することが可能である。いくつかの実施態様では、ストレージデバイス６３０はコンピューター可読媒体である。様々な異なる実施態様では、ストレージデバイス６３０は、フロッピーディスクデバイス、ハードディスクデバイス、光ディスクデバイス、もしくはテープデバイス、フラッシュメモリ、または他の同様のソリッドステートメモリデバイス、あるいはストレージエリアネットワークまたは他の構成内のデバイスを含むデバイスのアレイであり得る。追加の実施態様では、コンピュータープログラム製品は情報キャリア内に有形に具体化される。コンピュータープログラム製品は、実行されるときに、上記に説明した方法等の１つ以上の方法を行う命令を含む。情報キャリアは、メモリ６２０、ストレージデバイス６３０、またはプロセッサ６１０上のメモリ等のコンピューター可読媒体または機械可読媒体である。

【0070】

高速コントローラー６４０は、コンピューティングデバイス６００の帯域幅を集中的に使用する動作を管理する一方、低速コントローラー６６０は、より低い帯域幅を集中的に使用する動作を管理する。そのような役割の割り当ては単なる例である。いくつかの実施態様では、高速コントローラー６４０は、メモリ６２０、ディスプレイ６８０（例えば、グラフィックプロセッサまたはアクセラレータを経由して）、及び様々な拡張カード（図示せず）を受け入れ得る高速拡張ポート６５０に結合される。いくつかの実施態様では、低速コントローラー６６０は、ストレージデバイス６３０及び低速拡張ポート６９０に結合される。様々な通信ポート（例えば、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ、イーサネット、無線イーサネット）を含み得る低速拡張ポート６９０は、例えば、ネットワークアダプタを経由して、キーボード、ポインティングデバイス、スキャナ等の１つ以上の入力／出力デバイス、またはスイッチもしくはルーター等のネットワーキングデバイスに結合され得る。

【0071】

コンピューティングデバイス６００は、図に示されるように、様々な形式で実装され得る。例えば、標準サーバー６００ａとして、またはそのようなサーバー６００ａのグループで複数回、ラップトップコンピューター６００ｂとして、またはラックサーバーシステム６００ｃの一部として実装され得る。

【0072】

本明細書で説明されるシステム及び技術の様々な実施態様は、デジタル電子回路及び／または光学回路、集積回路、特別に設計されたＡＳＩＣ（特定用途向け集積回路）、コンピューターハードウェア、ファームウェア、ソフトウェア、及び／またはそれらの組み合わせにおいて実現できる。これらの様々な実施態様は、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステムで実行可能及び／または解読可能である１つ以上のコンピュータープログラムにおける実施態様を含み得、少なくとも１つのプログラマブルプロセッサは、ストレージシステム、少なくとも１つの入力デバイス、及び少なくとも１つの出力デバイスからデータ及び命令を受信し、それらにデータ及び命令を伝送するために結合された、専用または汎用のものであり得る。

【0073】

これらのコンピュータープログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、またはコードとしても知られる）は、プログラマブルプロセッサに対する機械命令を含み、高レベル手続き型プログラミング言語、及び／またはオブジェクト指向プログラミング言語、及び／またはアセンブリ／機械言語で実装できる。本明細書で使用される場合、「機械可読媒体」及び「コンピューター可読媒体」という用語は、機械可読信号として機械命令を受信する機械可読媒体を含む、プログラマブルプロセッサに機械命令及び／またはデータを提供するために使用される任意のコンピュータープログラム製品、非一時的コンピューター可読媒体、装置、及び／またはデバイス（例えば、磁気ディスク、光学ディスク、メモリ、プログラマブル論理回路（ＰＬＤ））を指す。「機械可読信号」という用語は、プログラマブルプロセッサに機械命令及び／またはデータを提供するために使用される任意の信号を指す。

【0074】

本明細書に説明されるプロセス及び論理フローは、１つ以上のコンピュータープログラムを実行する１つ以上のプログラマブルプロセッサ（データ処理ハードウェアとも呼ばれる）によって行われ、入力データを操作して出力を生成することによって機能を行うことができる。また、プロセス及び論理フローは、専用論理回路、例えば、ＦＰＧＡ（フィールドプログラムゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）によって行うことができる。コンピュータープログラムの実行に適当なプロセッサは、例として、汎用マイクロプロセッサ及び専用マイクロプロセッサの両方、ならびに任意の種類のデジタルコンピューターの任意の１つ以上のプロセッサを含み得る。概して、プロセッサは、読み取り専用メモリ、ランダムアクセスメモリ、またはそれら両方から命令及びデータを受信する。コンピューターの重要な要素として、命令を行うためのプロセッサと、命令及びデータを記憶するための１つ以上のメモリデバイスとが挙げられる。概して、コンピューターは、また、データを記憶するための１つ以上のマスストレージデバイス（例えば、磁気ディスク、光磁気ディスク、または光ディスク）を含む、あるいはマスストレージデバイスからデータを受信する、もしくはマスストレージデバイスにデータを転送する、またはそれら両方を行うようにマスストレージデバイスに動作可能に結合される。しかしながら、コンピューターはそのようなデバイスを有する必要はない。コンピュータープログラム命令及びデータを記憶するために適当なコンピューター可読媒体は、例として、半導体メモリデバイス、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、及びフラッシュメモリデバイス、磁気ディスク、例えば、内蔵ハードディスクまたはリムーバブルディスク、光磁気ディスク、ならびにＣＤ－ＲＯＭディスク及びＤＶＤ－ＲＯＭディスクを含む、不揮発性メモリ、媒体、及びメモリデバイスの全ての形態を含む。プロセッサ及びメモリは、専用論理回路によって補完できる、または専用論理回路に組み込みできる。

【0075】

ユーザーとのインタラクションを提供するために、本開示の１つ以上の態様は、ユーザーに情報を表示するためのディスプレイデバイス、例えば、ＣＲＴ（陰極線管）、ＬＣＤ（液晶ディスプレイ）モニター、またはタッチスクリーン、ならびに任意選択で、ユーザーがコンピューターに入力を提供できるキーボード及びポインティングデバイス、例えば、マウスまたはトラックボールを有するコンピューターに実装できる。同様に、他の種類のデバイスを使用して、ユーザーとのインタラクションを提供できる。例えば、ユーザーに提供されたフィードバックは、任意の形式の知覚フィードバック、例えば、視覚的フィードバック、聴覚的フィードバック、または触知的フィードバックであり得、ユーザーからの入力は、音響入力、発話入力、または触知的入力を含む、任意の形式で受信できる。さらに、コンピューターは、ユーザーが使用するデバイスにドキュメントを送信することによって、またそのデバイスからドキュメントを受信することによって、ユーザーとインタラクトできる。例えば、ウェブブラウザから受信した要求に応じて、ユーザーのクライアントデバイスのウェブブラウザにウェブページを送信することによってインタラクトする。

【0076】

いくつかの実施態様が説明されている。それにもかかわらず、本開示の趣旨及び範囲から逸脱することなく、様々な変更がなされ得ることが理解される。したがって、他の実施態様は、以下の特許請求の範囲内にある。

【図1】

【図2A】

【図2B】

【図3】

【図4A】

【図4B】

【図4C】

【図5】

【図6】

【国際調査報告】