特開 2023-148390 音声認識装置、音声認識方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023148390

(43)【公開日】2023-10-13

(54)【発明の名称】音声認識装置、音声認識方法及びプログラム

(51)【国際特許分類】

   G10L 15/02 20060101AFI20231005BHJP

   G10L 15/16 20060101ALI20231005BHJP

【ＦＩ】

G10L15/02 300Z

G10L15/16

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022056377

(22)【出願日】2022-03-30

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り （１）集会名、開催場所 ＡＰＳＩＰＡ２０２１：１３ｔｈ Ａｓｉａ Ｐａｃｉｆｉｃ Ｓｉｇｎａｌ ａｎｄ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ａｓｓｏｃｉａｔｉｏｎ Ａｎｎｕａｌ Ｓｕｍｍｉｔ ａｎｄ Ｃｏｎｆｅｒｅｎｃｅ、Ｋｏｋｕｓａｉ Ｆａｓｈｉｏｎ Ｃｅｎｔｒｅ Ｂｌｄｇ．，Ｙｏｋｏａｍｉ １－６－１，Ｓｕｍｉｄａ Ｃｉｔｙ，Ｔｏｋｙｏ 開催日 令和３年１２月１５日 （２）集会名、開催場所 日本音響学会２０２１年秋季研究発表会、オンライン開催 開催日 令和３年９月８日（予稿集刊行日 令和３年８月２４日）

(71)【出願人】

【識別番号】398018021

【氏名又は名称】株式会社アドバンスト・メディア

(74)【代理人】

【識別番号】110002952

【氏名又は名称】弁理士法人鷲田国際特許事務所

(72)【発明者】

【氏名】小島 淳嗣

(57)【要約】

【課題】認識精度を向上させながら、認識時間を短縮させるための音声認識モデルを提供することである。
【解決手段】本開示の一態様は、音響特徴量から隠れ音響ベクトルを生成するオーディオ処理部と、予測対象の発話の文字列から隠れラベルベクトルを生成するラベル処理部と、前記予測対象の発話に対する過去の発話から隠れコンテクストベクトルを生成し、前記隠れコンテクストベクトルと前記隠れラベルベクトルとに基づいてソフトアテンションを計算し、計算されたソフトアテンションと前記隠れラベルベクトルとからコンテクストベクトルを生成するコンテクスト処理部と、前記隠れ音響ベクトルと前記コンテクストベクトルとから前記予測対象の発話を予測する合成部と、を有する音声認識装置に関する。
【選択図】図２

【特許請求の範囲】

【請求項1】

音響特徴量から隠れ音響ベクトルを生成するオーディオ処理部と、
予測対象の発話の文字列から隠れラベルベクトルを生成するラベル処理部と、
前記予測対象の発話に対する過去の発話から隠れコンテクストベクトルを生成し、前記隠れコンテクストベクトルと前記隠れラベルベクトルとに基づいてソフトアテンションを計算し、計算されたソフトアテンションと前記隠れラベルベクトルとからコンテクストベクトルを生成するコンテクスト処理部と、
前記隠れ音響ベクトルと前記コンテクストベクトルとから前記予測対象の発話を予測する合成部と、
を有する音声認識装置。

【請求項2】

ｉ番目の発話のｊ番目の文字の認識結果を取得すると、前記ラベル処理部は、前記取得したｊ番目の文字の認識結果から対応する隠れラベルベクトルを生成し、
前記合成部は、前記オーディオ処理部によって生成された前記ｉ番目の発話の音響特徴量、前記ｊ番目の文字に対応する隠れラベルベクトル、及び前記コンテクスト処理部によって生成された（ｉ－１）番目の発話までの過去の発話から生成された隠れコンテクストベクトルから、（ｊ＋１）番目の文字を予測する、請求項１に記載の音声認識装置。

【請求項3】

前記合成部が前記ｉ番目の発話の予測を完了すると、前記コンテクスト処理部は、前記ｉ番目の発話までの過去の発話から隠れコンテクストベクトルを生成する、請求項２に記載の音声認識装置。

【請求項4】

前記オーディオ処理部、前記ラベル処理部、前記コンテクスト処理部及び前記合成部はそれぞれ、機械学習モデルを有し、
前記機械学習モデルは、エンド・ツー・エンド方式で訓練される、請求項１に記載の音声認識装置。

【請求項5】

前記コンテクスト処理部は、トランスフォーマから構成されるコンテクストエンコーダを有する、請求項４に記載の音声認識装置。

【請求項6】

音響特徴量から隠れ音響ベクトルを生成するステップと、
予測対象の発話の文字列から隠れラベルベクトルを生成するステップと、
前記予測対象の発話に対する過去の発話から隠れコンテクストベクトルを生成するステップと、
前記隠れコンテクストベクトルと前記隠れラベルベクトルとに基づいてソフトアテンションを計算するステップと、
前記ソフトアテンションと前記隠れラベルベクトルとからコンテクストベクトルを生成するステップと、
前記隠れ音響ベクトルと前記コンテクストベクトルとから前記予測対象の発話を予測するステップと、
を有する、コンピュータによって実行される音声認識方法。

【請求項7】

音響特徴量から隠れ音響ベクトルを生成する処理と、
予測対象の発話の文字列から隠れラベルベクトルを生成する処理と、
前記予測対象の発話に対する過去の発話から隠れコンテクストベクトルを生成する処理と、
前記隠れコンテクストベクトルと前記隠れラベルベクトルとに基づいてソフトアテンションを計算する処理と、
前記ソフトアテンションと前記隠れラベルベクトルとからコンテクストベクトルを生成する処理と、
前記隠れ音響ベクトルと前記コンテクストベクトルとから前記予測対象の発話を予測する処理と、
をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、音声認識装置、音声認識方法及びプログラムに関する。

【背景技術】

【0002】

ディープラーニングとしばしば呼ばれる機械学習技術の進化によって、様々な用途に機械学習モデルが利用されてきている。例えば、音声認識技術においても、機械学習モデルが利用されてきている。機械学習モデルを利用した音声認識では、認識対象の音声データが機械学習モデルに入力され、当該機械学習モデルから音声データにおける発話内容を示す認識結果（すなわち、認識仮説）が取得される。

【0003】

音声認識では、発話単位の音声認識処理を行うことが一般的であるが、会話や対話では過去の発話の文脈情報を活用することが効果的である。例えば、非特許文献１では、発話境界を超えて利用できる長距離文脈情報を活用するＴｒａｎｓｆｏｒｍｅｒモデルが提案され、長距離文脈情報の有効性が示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１５－０７５７０６号公報

【特許文献2】特開２０１３－０７２９２２号公報

【非特許文献】

【0005】

【非特許文献1】T. Hori et al., “Transformer-based long-context end-to-end speech recognition”, in Proc. INTERSPEECH, 2020.

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、この提案方法では、Ｔｒａｎｓｆｏｒｍｅｒモデルによって音声認識処理を実現しているため、バッチ処理となり、発話終了後に音声認識処理が実行される。このため、認識結果を得るのに時間がかかる。

【0007】

また、当該提案方法は、所定数の発話を処理対象とする固定的なスライディングウィンドウに基づいているため、利用可能な過去の発話数は限定される。

【0008】

上記問題点に鑑み、本開示の１つの課題は、認識精度を向上させながら、認識時間を短縮させるための音声認識モデルを提供することである。

【課題を解決するための手段】

【0009】

本開示の一態様は、音響特徴量から隠れ音響ベクトルを生成するオーディオ処理部と、予測対象の発話の文字列から隠れラベルベクトルを生成するラベル処理部と、前記予測対象の発話に対する過去の発話から隠れコンテクストベクトルを生成し、前記隠れコンテクストベクトルと前記隠れラベルベクトルとに基づいてソフトアテンションを計算し、計算されたソフトアテンションと前記隠れラベルベクトルとからコンテクストベクトルを生成するコンテクスト処理部と、前記隠れ音響ベクトルと前記コンテクストベクトルとから前記予測対象の発話を予測する合成部と、を有する音声認識装置に関する。

【発明の効果】

【0010】

本開示によれば、認識精度を向上させながら、認識時間を短縮させるための音声認識モデルを提供することができる。

【図面の簡単な説明】

【0011】

【図1】本開示の一実施例による音声認識処理を示す概略図である。

【図2】本開示の一実施例による音声認識モデルのアーキテクチャを示すブロック図である。

【図3】本開示の一実施例によるコンテクストエンコーダのアーキテクチャを示すブロック図である。

【図4】本開示の一実施例による音声認識装置のハードウェア構成を示すブロック図である。

【図5】本開示の一実施例による音声認識装置の機能構成を示すブロック図である。

【図6】本開示の一実施例による音声認識処理を示す図である。

【図7】本開示の一実施例による音声認識処理を示す図である。

【図8】本開示の一実施例による音声認識処理を示すフローチャートである。

【発明を実施するための形態】

【0012】

以下、図面を参照して本開示の実施の形態を説明する。

【0013】

以下の実施例では、非限定数の過去の発話からコンテクスト情報を生成可能なコンテクストエンコーダを利用して、音声データから発話内容を認識（すなわち、音声認識仮説を出力）する音声認識装置が開示される。

【0014】

［概略］
図１に示されるように、本開示の一実施例による音声認識装置１００は、ストリーミング型の音声認識処理を実現し、入力として発話を示す音声データを取得し、入力された発話の内容を示すテキストデータなどの認識結果をオンライン形式で出力する。

【0015】

具体的には、音声認識装置１００は、オーディオエンコーダを利用して、発話を示す音声データから抽出された音響特徴量から隠れ音響ベクトルを抽出すると共に、ラベルエンコーダを利用して、発話における認識済みの文字から隠れラベルベクトルを抽出する。さらに、音声認識装置１００は、以降において詳細に説明されるような過去の発話の全てを処理可能なコンテクストエンコーダを利用して、予測対象の発話に対する過去の発話の認識結果から隠れコンテクストベクトルを抽出し、その後、アテンション機構によって隠れコンテクストベクトルと隠れラベルベクトルとからコンテクストベクトルを生成する。そして、音声認識装置１００は、隠れ音響ベクトルとコンテクストベクトルとを合成し、認識済みの文字の次の文字を予測する。このようにして、音声認識装置１００は、過去の発話を利用して、予測対象の発話における認識済みの各文字から次の文字を予測する。

【0016】

［モデルアーキテクチャ］
一実施例では、音声認識装置１００は、図２に示されるような音声認識モデル１００Ａを有してもよい。音声認識モデル１００Ａは、オーディオエンコーダ（Ａｕｄｉｏ ｅｎｃｏｄｅｒ）１１０Ａ、ラベルエンコーダ（Ｌａｂｅｌ ｅｎｃｏｄｅｒ）１２０Ａ、コンテクストエンコーダ（Ｌａｒｇｅ－ｃｏｎｔｅｘｔ ｅｎｃｏｄｅｒ）１３０Ａ、アテンション（Ａｔｔｅｎｔｉｏｎ）１３０Ｂ、連接レイヤ（Ｃｏｎｃａｔｅｎａｔｅ）１３０Ｃ、ジョイントネットワーク（Ｊｏｉｎｔ ｎｅｔｗｏｒｋ）１４０Ａ、及びソフトマックス（Ｓｏｆｔｍａｘ）１４０Ｂを有する。

【0017】

一実施例では、オーディオエンコーダ（Ａｕｄｉｏ ｅｎｃｏｄｅｒ）１１０Ａ、ラベルエンコーダ（Ｌａｂｅｌ ｅｎｃｏｄｅｒ）１２０Ａ、コンテクストエンコーダ（Ｌａｒｇｅ－ｃｏｎｔｅｘｔ ｅｎｃｏｄｅｒ）１３０Ａ、アテンション（Ａｔｔｅｎｔｉｏｎ）１３０Ｂ、連接レイヤ（Ｃｏｎｃａｔｅｎａｔｅ）１３０Ｃ、ジョイントネットワーク（Ｊｏｉｎｔ ｎｅｔｗｏｒｋ）１４０Ａ、及びソフトマックス（Ｓｏｆｔｍａｘ）１４０Ｂの全て又は一部は、ニューラルネットワークなどの機械学習モデルとして実現されうる。また、オーディオエンコーダ１１０Ａ及びラベルエンコーダ１２０Ａは、は、例えば、Ｑｉａｎ Ｚｈａｎｇ，“Ｔｒａｎｓｆｏｒｍｅｒ Ｔｒａｎｓｄｕｃｅｒ：Ａ Ｓｔｒｅａｍａｂｌｅ Ｓｐｅｅｃｈ Ｒｅｃｏｇｎｉｔｉｏｎ Ｍｏｄｅｌ ｗｉｔｈ Ｔｒａｎｓｆｏｒｍｅｒ Ｅｎｃｏｄｅｒｓ ａｎｄ ＲＮＮ－Ｔ Ｌｏｓｓ”，ａｒＸｉｖ：２００２．０２５６２，２０２０に開示されるようなＴｒａｎｓｆｏｒｍｅｒで構成されるＴｒａｎｓｄｕｃｅｒであってもよい。

【0018】

図２に示されるように、オーディオエンコーダ１１０Ａは、発話を示す音声データを前処理することによって取得された当該発話の音響特徴量ｘ（例えば、ログメルフィルタバンク）から隠れ音響ベクトルｈ^{ａｕｄｉｏ}を抽出する。例えば、音響特徴量ｘは、１０ｍｓｅｃなどの所定長のログメルフィルタバンクであってもよい。オーディオエンコーダ１１０Ａは、抽出した隠れ音響ベクトルｈ^{ａｕｄｉｏ}をジョイントネットワーク１４０Ａに出力する。オーディオエンコーダ１１０Ａは、入力として発話を示す音響特徴量を順次取得し、隠れ音響ベクトルを順次出力する。

【0019】

ラベルエンコーダ１２０Ａは、文字から隠れラベルベクトルを生成する。具体的には、図２に示されるように、ラベルエンコーダ１２０Ａは、Ｕ番目の発話Ｙ^Ｕのｌ番目の文字を予測するため、（ｌ－１）番目の文字ｙ_ｌ－１ ^Ｕの認識結果を入力として取得し、隠れラベルベクトルｈ_ｌ－１ ^{ｌａｂｅｌ}を抽出する。ラベルエンコーダ１２０Ａは、抽出した隠れラベルベクトルｈ_ｌ－１ ^{ｌａｂｅｌ}をアテンション１３０Ｂ及び連接レイヤ１３０Ｃに出力する。

【0020】

コンテクストエンコーダ１３０Ａは、過去の発話から隠れコンテクストベクトルを生成する。具体的には、図２に示されるように、コンテクストエンコーダ１３０Ａは、予測対象の発話Ｙ^Ｕに対する過去の発話Ｙ^Ｕ－１，Ｙ^Ｕ－２から隠れコンテクストベクトルｈ^{ｃｏｎｔｅｘｔ}を生成する。

【0021】

本開示の一実施例によるコンテクストエンコーダ１３０Ａは、図３に示されるようなアーキテクチャから構成されてもよい。すなわち、コンテクストエンコーダ１３０Ａは、Ｉｎｐｕｔ ｅｍｂｅｄｄｉｎｇ １３１Ａ、Ｌａｙｅｒ ｎｏｒｍ １３２Ａ、Ｍｕｌｔｉ－ｈｅａｄ ｓｅｌｆ－ａｔｔｅｎｔｉｏｎ ｗｉｔｈ ｒｅｌａｔｉｖｅ ｐｏｓｉｔｉｏｎａｌ ｅｎｃｏｄｉｎｇ １３３Ａ、Ａｄｄ １３４Ａ，１３６Ａ、及びＰｏｓｉｔｉｏｎ－ｗｉｓｅ ｆｅｅｄ－ｆｏｒｗａｒｄ １３５Ａを有する。Ｉｎｐｕｔ ｅｍｂｅｄｄｉｎｇ １３１Ａは、文字又は文字列を隠れベクトルに変換する。Ｌａｙｅｒ ｎｏｒｍ １３２Ａは、隠れベクトルの平均と分散を正規化する。Ｍｕｌｔｉ－ｈｅａｄ ｓｅｌｆ－ａｔｔｅｎｔｉｏｎ ｗｉｔｈ ｒｅｌａｔｉｖｅ ｐｏｓｉｔｉｏｎａｌ ｅｎｃｏｄｉｎｇ １３３Ａは、隠れベクトルを取得し、ヘッド数分の隠れベクトルを出力する。Ａｄｄ １３４Ａ，１３６Ａは、前のレイヤから取得した入力を加算する。Ｐｏｓｉｔｉｏｎ－ｗｉｓｅ ｆｅｅｄ－ｆｏｒｗａｒｄ １３５Ａは、全てのヘッドからのベクトルを取得し、位置を考慮して１つの隠れベクトルに変換する。Ｉｎｐｕｔ ｅｍｂｅｄｄｉｎｇ １３１Ａ、Ｌａｙｅｒ ｎｏｒｍ １３２Ａ、Ｍｕｌｔｉ－ｈｅａｄ ｓｅｌｆ－ａｔｔｅｎｔｉｏｎ ｗｉｔｈ ｒｅｌａｔｉｖｅ ｐｏｓｉｔｉｏｎａｌ ｅｎｃｏｄｉｎｇ １３３Ａ、Ａｄｄ １３４Ａ，１３６Ａ、及びＰｏｓｉｔｉｏｎ－ｗｉｓｅ ｆｅｅｄ－ｆｏｒｗａｒｄ １３５Ａの全て又は一部は、ニューラルネットワークなどの機械学習モデルとして実現されてもよく、例えば、Ａ．Ｖａｓｗａｎｉ ｅｔ ａｌ．，“Ａｔｔｅｎｔｉｏｎ ｉｓ ａｌｌ ｙｏｕ ｎｅｅｄ”，ｉｎ Ｐｒｏｃ．ＮｅｕｒＩＰＳ，２０１７に開示されるようなトランスフォーマから構成されてもよい。

【0022】

なお、本開示によるコンテクストエンコーダ１３０Ａは、図示されるような過去の２つの発話Ｙ^Ｕ－１，Ｙ^Ｕ－２から隠れコンテクストベクトルｈ^{ｃｏｎｔｅｘｔ}を生成することに限定されず、一連の会話における過去の全ての発話又は何れか適切な数の過去の発話から隠れコンテクストベクトルｈ^{ｃｏｎｔｅｘｔ}を生成してもよい。また、利用する過去の発話の数に応じてＮ個のコンテクストエンコーダ１３０Ａが利用され、Ｎ個のコンテクストエンコーダ１３０Ａから隠れコンテクストベクトルｈ^{ｃｏｎｔｅｘｔ}が生成されてもよい。コンテクストエンコーダ１３０Ａは、生成した隠れコンテクストベクトルｈ^{ｃｏｎｔｅｘｔ}をアテンション１３０Ｂに出力する。

【0023】

アテンション１３０Ｂは、ラベルエンコーダ１２０Ａから取得した隠れラベルベクトルｈ_ｌ－１ ^{ｌａｂｅｌ}と、コンテクストエンコーダ１３０Ａから取得した隠れコンテクストベクトルｈ^{ｃｏｎｔｅｘｔ}とから（ｌ－１）番目の文字ｙ_ｌ－１ ^Ｕのコンテクストベクトルｃ_ｌ－１を生成する。具体的には、アテンション１３０Ｂは、隠れラベルベクトルｈ_ｌ－１ ^{ｌａｂｅｌ}と隠れコンテクストベクトルｈ^{ｃｏｎｔｅｘｔ}とから、以下の式（１）に従ってソフトアテンションａを計算する。

【数1】

ここで、ｐ及びｌはそれぞれ、隠れコンテクストベクトルｈ^{ｃｏｎｔｅｘｔ}と隠れラベルベクトルｈ_ｌ－１ ^{ｌａｂｅｌ}とのインデックスを表す。また、ｗ，Ｕ，Ｈ，ｂはモデルパラメータを表す。

【0024】

アテンション１３０Ｂはさらに、計算したソフトアテンションａ_ｐ，ｌと隠れコンテクストベクトルｈ^{ｃｏｎｔｅｘｔ}とを用いて、以下の式（２）に従ってコンテクストベクトルｃ_ｌ－１を計算する。

【数2】

アテンション１３０Ｂは、このようにして取得したコンテクストベクトルｃ_ｌ－１を連接レイヤ１３０Ｃに出力する。

【0025】

連接レイヤ１３０Ｃは、ラベルエンコーダ１２０Ａから取得した隠れラベルベクトルｈ_ｌ－１ ^{ｌａｂｅｌ}と、アテンション１３０Ｂから取得したコンテクストベクトルｃ_ｌ－１とを連接し、ベクトル［ｈ_ｌ－１ ^{ｌａｂｅｌ}；ｃ_ｌ－１］をジョイントネットワーク１４０Ａに出力する。

【0026】

ジョイントネットワーク１４０Ａは、オーディオエンコーダ１１０Ａから取得した隠れ音響ベクトルと、連接レイヤ１３０Ｃから取得したベクトル［ｈ_ｌ－１ ^{ｌａｂｅｌ}；ｃ_ｌ－１］とを連結し、連結されたベクトルＪを取得する。ジョイントネットワーク１４０Ａは、取得したベクトルＪをソフトマックス１４０Ｂに出力する。

【0027】

ソフトマックス１４０Ｂは、ソフトマックス演算を実行し、音響特徴量ｘと発話Ｕの（ｌ－１）番目の文字ｙ_ｌ－１ ^Ｕとに対応するｌ番目の文字ｙ_ｌ ^Ｕの確率Ｐ（ｙ_ｌ ^Ｕ｜ｘ）を出力する。

【0028】

しかしながら、音声認識モデル１００Ａは、必ずしも上述したアーキテクチャに限定されず、任意数の発話を利用可能なトランスフォーマ型のコンテクストエンコーダを含む音声認識モデルを構成する他の何れか適切なアーキテクチャから構築されてもよい。

【0029】

ここで、音声認識装置１００はそれぞれ、サーバ、パーソナルコンピュータ等の計算装置によって実現され、例えば、図４に示されるようなハードウェア構成を有してもよい。すなわち、音声認識装置１００は、バスＢを介し相互接続される記憶装置１０１、プロセッサ１０２、ユーザインタフェース（ＵＩ）装置１０３及び通信装置１０４を有する。

【0030】

音声認識装置１００における後述される各種機能及び処理を実現するプログラム又は指示は、ネットワークなどを介し何れかの外部装置からダウンロードされてもよいし、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ－Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ等の着脱可能な記憶媒体から提供されてもよい。記憶装置１０１は、ランダムアクセスメモリ、フラッシュメモリ、ハードディスクドライブなどによって実現され、インストールされたプログラム又は指示と共に、プログラム又は指示の実行に用いられるファイル、データ等を格納する。記憶装置１０１は、非一時的な記憶媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）を含んでもよい。

【0031】

プロセッサ１０２は、１つ以上のプロセッサコアから構成されうる１つ以上のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、処理回路（ｐｒｏｃｅｓｓｉｎｇ ｃｉｒｃｕｉｔｒｙ）等によって実現されてもよく、記憶装置１０１に格納されたプログラム、指示、当該プログラム若しくは指示を実行するのに必要なパラメータなどのデータ等に従って、音声認識装置１００はそれぞれの各種機能及び処理を実行する。ユーザインタフェース（ＵＩ）装置１０３は、キーボード、マウス、カメラ、マイクロフォン等の入力装置、ディスプレイ、スピーカ、ヘッドセット、プリンタ等の出力装置、タッチパネル等の入出力装置から構成されてもよく、ユーザと音声認識装置１００との間のインタフェースを実現する。例えば、ユーザは、ディスプレイ又はタッチパネルに表示されたＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）をキーボード、マウス等を操作し、音声認識装置１００を操作する。通信装置１０４は、外部装置、インターネット、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の通信ネットワークとの通信処理を実行する各種通信回路により実現される。

【0032】

しかしながら、上述したハードウェア構成は単なる一例であり、本開示による音声認識装置１００は、他の何れか適切なハードウェア構成により実現されてもよい。

【0033】

［音声認識装置］
次に、図５～７を参照して、本開示の一実施例による音声認識装置１００を説明する。図５は、本開示の一実施例による音声認識装置１００の機能構成を示すブロック図である。

【0034】

図５に示されるように、音声認識装置１００は、オーディオ処理部１１０、ラベル処理部１２０、コンテクスト処理部１３０及び合成部１４０を有する。

【0035】

オーディオ処理部１１０は、音響特徴量から隠れ音響ベクトルを生成する。具体的には、オーディオ処理部１１０は、予測対象のＵ番目の発話Ｙ^Ｕを示す音声データを取得すると、音声データを前処理し、ログメルフィルタバンクなどの音響特徴量を生成する。例えば、音声データは、１０ｍｓｅｃなどの所定の時間単位の音声データセグメントの系列に分割される。各音声データセグメントは前処理されて、音響特徴量系列が生成される。そして、オーディオ処理部１１０は、オーディオエンコーダ１１０Ａに音響特徴量ｘを入力し、オーディオエンコーダ１１０Ａから隠れ音響特徴量ｈ^{ａｕｄｉｏ}を取得する。オーディオ処理部１１０は、取得した音響特徴量ｘを合成部１４０に出力する。

【0036】

ラベル処理部１２０は、予測対象の発話の文字列から隠れラベルベクトルを生成する。具体的には、発話Ｙ^Ｕの（ｌ－１）番目の文字ｙ_ｌ－１ ^Ｕの認識結果を取得すると、ラベル処理部１２０は、ラベルエンコーダ１２０Ａを利用して、文字ｙ_ｌ－１ ^Ｕから対応する隠れラベルベクトルｈ_ｌ－１ ^{ｌａｂｅｌ}を取得してもよい。各発話の１番目の文字を予測する際、ラベル処理部１２０は、参照すべき過去の文字が存在しないことを示すトークン（Ｓｔａｒｔ Ｏｆ Ｓｅｎｔｅｎｃｅ；ＳＯＳ）をラベルエンコーダ１２０Ａに入力してもよい。ラベル処理部１２０は、取得した隠れラベルベクトルｈ_ｌ－１ ^{ｌａｂｅｌ}をコンテクスト処理部１３０に出力する。

【0037】

コンテクスト処理部１３０は、予測対象の発話に対する過去の発話から隠れコンテクストベクトルを生成し、隠れコンテクストベクトルと隠れラベルベクトルとに基づいてソフトアテンションを計算し、計算されたソフトアテンションと隠れラベルベクトルとからコンテクストベクトルを生成する。具体的には、コンテクスト処理部１３０は、Ｕ番目の発話Ｙ^Ｕを認識するため、過去の発話の全て又は一部Ｙ^Ｕ－１，Ｙ^Ｕ－２，・・・，Ｙ^Ｕ－Ｋから隠れコンテクストベクトルｈ^{ｃｏｎｔｅｘｔ}＝（ｈ_１ ^{ｃｏｎｔｅｘｔ}，・・・，ｈ_Ｋ ^{ｃｏｎｔｅｘｔ}）を生成する。ここで、Ｋは入力されるトークン数を示し、過去の発話Ｙ^Ｕ－１，Ｙ^Ｕ－２，・・・，Ｙ^１の全てが利用される場合、Ｋ＝Ｕ－１となる。コンテクスト処理部１３０は、コンテクストエンコーダ１３０Ａに過去の発話Ｙ^Ｕ－１，・・・，Ｙ^Ｕ－Ｋを入力し、コンテクストエンコーダ１３０Ａから隠れコンテクストベクトルｈ^{ｃｏｎｔｅｘｔ}＝（ｈ_１ ^{ｃｏｎｔｅｘｔ}，・・・，ｈ_Ｋ ^{ｃｏｎｔｅｘｔ}）を取得する。

【0038】

次に、コンテクスト処理部１３０は、取得した隠れコンテクストベクトルと共に、ラベル処理部１２０から取得した隠れラベルベクトルｈ_ｌ－１ ^{ｌａｂｅｌ}をアテンション１３０Ｂに入力する。アテンション１３０Ｂでは、上述した式（１）に従ってソフトアテンションａが算出され、さらに（２）に従ってコンテクストベクトルｃ_ｌ－１が抽出される。

【0039】

そして、コンテクスト処理部１３０は、抽出したコンテクストベクトルｃ_ｌ－１と隠れラベルベクトルｈ_ｌ－１ ^{ｌａｂｅｌ}とを連接レイヤ１３０Ｃにおいて連接し、ベクトル［ｈ_ｌ－１ ^{ｌａｂｅｌ}；ｃ_ｌ－１］を取得する。コンテクスト処理部１３０は、取得したベクトル［ｈ_ｌ－１ ^{ｌａｂｅｌ}；ｃ_ｌ－１］を合成部１４０に出力する。

【0040】

合成部１４０は、隠れ音響ベクトルとコンテクストベクトルとから予測対象の発話を予測する。具体的には、合成部１４０は、オーディオ処理部１１０から取得した隠れベクトルｈ^{ａｕｄｉｏ}と、コンテクスト処理部１３０から取得したベクトル［ｈ_ｌ－１ ^{ｌａｂｅｌ}；ｃ_ｌ－１］とをジョイントネットワーク１４０Ａに入力し、ジョイントネットワーク１４０ＡからベクトルＪを取得する。

【0041】

そして、合成部１４０は、取得したベクトルＪをソフトマックス１４０Ｂに入力し、ソフトマックス１４０Ｂから音響特徴量ｘに対する文字ｙ_ｌ ^Ｕの確率Ｐ（ｙ_ｌ ^Ｕ｜ｘ）を取得する。合成部１４０は、確率値が最も大きいラベルを文字ｙ_ｌ ^Ｕとして予測する。

【0042】

一実施例では、音声認識モデル１００Ａは、エンド・ツー・エンド方式で訓練されてもよい。具体的には、発話を示す音響特徴量ｘと当該発話を構成する文字との正解データを利用して、音響特徴量がオーディオエンコーダ１１０Ａに入力され、各文字がラベルエンコーダ１２０Ａに入力される。そして、当該発話に対する過去の発話がコンテクストエンコーダ１３０Ａに入力され、ソフトマックス１４０Ｂから出力された予測結果と正解データの文字との間の誤差に応じて誤差逆伝播法に従って音声認識モデル１００Ａのモデルパラメータを調整することによって、音声認識モデル１００Ａが訓練されてもよい。

【0043】

図６及び７は、本開示の一実施例による音声認識処理を示す図である。本例では、医師が患者に“熱はありますか”と発話し、患者が医師に“はい”と回答し、医師が患者に“では、・・・”と発話したと仮定し、医師の“熱はありますか”の認識結果が過去の発話として取得されており、患者の“はい”の発話を予測対象としている。

【0044】

まず、図６Ａに示されるように、予測対象の発話“はい”の１番目の文字を予測するため、オーディオ処理部１１０は、“はい”を示す音響特徴量をオーディオエンコーダ１１０Ａに入力し、オーディオエンコーダ１１０Ａから取得した隠れ音響ベクトルを合成部１４０に出力する。

【0045】

また、ラベル処理部１２０は、１番目の文字の予測であるため、トークンＳＯＳをラベルエンコーダ１２０Ａに入力し、ラベルエンコーダ１２０Ａから取得した隠れラベルベクトルをコンテクスト処理部１３０及び合成部１４０に出力する。

【0046】

さらに、コンテクスト処理部１３０は、過去の発話“熱はありますか”をコンテクストエンコーダ１３０Ａに入力し、コンテクストエンコーダ１３０Ａから取得した隠れコンテクストベクトルをアテンション１３０Ｂに入力する。そして、コンテクスト処理部１３０は、アテンション１３０Ｂから取得したコンテクストベクトルと、ラベル処理部１２０から取得した隠れラベルベクトルとを連接レイヤ１３０Ｃに入力し、連接レイヤ１３０Ｃから連接されたベクトルを取得し、合成部１４０に連接されたベクトルを出力する。

【0047】

合成部１４０は、隠れ音響ベクトルと連接されたベクトルとをジョイントネットワーク１４０Ａに入力し、ジョイントネットワーク１４０Ａから取得したベクトルをソフトマックス１４０Ｂに入力する。合成部１４０は、ソフトマックス１４０Ｂから取得した確率値に基づいて、予測対象の発話の１番目の文字として“は”を出力する。

【0048】

次に、図６Ｂに示されるように、予測対象の発話“はい”の２番目の文字を予測するため、オーディオ処理部１１０は、“はい”を示す音響特徴量をオーディオエンコーダ１１０Ａに入力し、オーディオエンコーダ１１０Ａから取得した隠れ音響ベクトルを合成部１４０に出力する。

【0049】

また、ラベル処理部１２０は、２番目の文字の予測であるため、１番目の文字の認識結果“は”をラベルエンコーダ１２０Ａに入力し、ラベルエンコーダ１２０Ａから取得した隠れラベルベクトルをコンテクスト処理部１３０及び合成部１４０に出力する。

【0050】

さらに、コンテクスト処理部１３０は、過去の発話“熱はありますか”に対してコンテクストエンコーダ１３０Ａによって抽出された隠れコンテクストベクトルをアテンション１３０Ｂに入力する。そして、コンテクスト処理部１３０は、アテンション１３０Ｂから取得したコンテクストベクトルと、ラベル処理部１２０から取得した隠れラベルベクトルとを連接レイヤ１３０Ｃに入力し、連接レイヤ１３０Ｃから連接されたベクトルを取得し、合成部１４０に連接されたベクトルを出力する。

【0051】

合成部１４０は、隠れ音響ベクトルと連接されたベクトルとをジョイントネットワーク１４０Ａに入力し、ジョイントネットワーク１４０Ａから取得したベクトルをソフトマックス１４０Ｂに入力する。合成部１４０は、ソフトマックス１４０Ｂから取得した確率値に基づいて、予測対象の発話の２番目の文字として音素“い”を出力する。

【0052】

次に、図７Ａに示されるように、予測対象の発話“はい”の３番目の文字、すなわち、３番目の文字がないことを示すブランクを予測するため、オーディオ処理部１１０は、“はい”を示す音響特徴量をオーディオエンコーダ１１０Ａに入力し、オーディオエンコーダ１１０Ａから取得した隠れ音響ベクトルを合成部１４０に出力する。

【0053】

また、ラベル処理部１２０は、３番目の文字の予測であるため、２番目の文字の認識結果“い”をラベルエンコーダ１２０Ａに入力し、ラベルエンコーダ１２０Ａから取得した隠れラベルベクトルをコンテクスト処理部１３０及び合成部１４０に出力する。

【0054】

さらに、コンテクスト処理部１３０は、過去の発話“熱はありますか”に対してコンテクストエンコーダ１３０Ａによって抽出された隠れコンテクストベクトルをアテンション１３０Ｂに入力する。そして、コンテクスト処理部１３０は、アテンション１３０Ｂから取得したコンテクストベクトルと、ラベル処理部１２０から取得した隠れラベルベクトルとを連接レイヤ１３０Ｃに入力し、連接レイヤ１３０Ｃから連接されたベクトルを取得し、合成部１４０に連接されたベクトルを出力する。

【0055】

合成部１４０は、隠れ音響ベクトルと連接されたベクトルとをジョイントネットワーク１４０Ａに入力し、ジョイントネットワーク１４０Ａから取得したベクトルをソフトマックス１４０Ｂに入力する。合成部１４０は、ソフトマックス１４０Ｂから取得した確率値に基づいて、予測対象の発話の３番目の文字としてブランク（ｂｌａｎｋ）を出力する。

【0056】

合成部１４０からブランクが出力されると、オーディオ処理部１１０、ラベル処理部１２０及びコンテクスト処理部１３０は、予測対象の発話の予測が完了したと判断し、“はい”を過去の発話として利用し、次の予測対象の発話“では、・・・”の予測を開始する。

【0057】

次に、図７Ｂに示されるように、予測対象の発話“では、・・・”の１番目の文字を予測するため、オーディオ処理部１１０は、“では、・・・”を示す音響特徴量をオーディオエンコーダ１１０Ａに入力し、オーディオエンコーダ１１０Ａから取得した隠れ音響ベクトルを合成部１４０に出力する。

【0058】

また、ラベル処理部１２０は、１番目の文字の予測であるため、トークンＳＯＳをラベルエンコーダ１２０Ａに入力し、ラベルエンコーダ１２０Ａから取得した隠れラベルベクトルをコンテクスト処理部１３０及び合成部１４０に出力する。

【0059】

さらに、コンテクスト処理部１３０は、過去の発話“熱はありますか”及び“はい”をコンテクストエンコーダ１３０Ａに入力し、コンテクストエンコーダ１３０Ａから取得した隠れコンテクストベクトルをアテンション１３０Ｂに入力する。すなわち、発話“はい”の予測を完了すると、コンテクスト処理部１３０は、当該発話までの過去の発話“熱はありますか”及び“はい”から隠れコンテクストベクトルを生成する。そして、コンテクスト処理部１３０は、アテンション１３０Ｂから取得したコンテクストベクトルと、ラベル処理部１２０から取得した隠れラベルベクトルとを連接レイヤ１３０Ｃに入力し、連接レイヤ１３０Ｃから連接されたベクトルを取得し、合成部１４０に連接されたベクトルを出力する。

【0060】

合成部１４０は、隠れ音響ベクトルと連接されたベクトルとをジョイントネットワーク１４０Ａに入力し、ジョイントネットワーク１４０Ａから取得したベクトルをソフトマックス１４０Ｂに入力する。合成部１４０は、ソフトマックス１４０Ｂから取得した確率値に基づいて、予測対象の発話の１番目の文字として音素“で”を出力する。

【0061】

同様にして、以降の発話及び文字列の音声認識処理が実行される。本実施例によると、利用する過去の発話のサイズに応じた数のコンテクストエンコーダ１３０Ａを備えることによって、固定的なウィンドウサイズに対応する数の過去の発話しか利用できない従来の音声認識モデルより多くの過去の発話から導出されるコンテクスト情報を利用して、高精度な音声認識を実現することが可能である。

【0062】

［音声認識処理］
次に、図８を参照して、本開示の一実施例によるス音声認識処理を説明する。当該音声認識処理は、上述した音声認識装置１００によって実行され、より詳細には、音声認識装置１００の１つ以上のプロセッサ１０２が１つ以上の記憶装置１０１に格納された１つ以上のプログラム又は指示を実行することによって実現されてもよい。図８は、本開示の一実施例による音声認識処理を示すフローチャートである。

【0063】

図８に示されるように、ステップＳ１０１において、音声認識装置１００は、予測対象の発話を示す音響特徴量から隠れ音響ベクトルを抽出する。具体的には、予測対象の発話Ｙ^Ｕの（ｌ－１）番目の文字を予測する際、音声認識装置１００は、訓練済み音声認識モデル１００Ａのオーディオエンコーダ１１０Ａに発話Ｙ^Ｕの（ｌ－１）番目の音素を示す音響特徴量を入力し、オーディオエンコーダ１１０Ａから隠れ音響ベクトルｈ^{ａｕｄｉｏ}を取得する。

【0064】

ステップＳ１０２において、音声認識装置１００は、予測対象の発話の文字列から隠れラベルベクトルを生成する。具体的には、音声認識装置１００は、ラベルエンコーダ１２０Ａに（ｌ－１）番目の文字ｙ_ｌ－１ ^Ｕの認識結果を入力し、ラベルエンコーダ１２０Ａから隠れラベルベクトルｈ_ｌ－１ ^Ｕを取得する。発話Ｙ^Ｕの１番目の文字を予測する際、音声認識装置１００は、ラベルエンコーダ１２０ＡにＳＯＳを入力する。

【0065】

ステップＳ１０３において、音声認識装置１００は、過去の発話から隠れコンテクストベクトルを抽出する。具体的には、音声認識装置１００は、過去のＫ個の発話Ｙ^Ｕ－１，Ｙ^Ｕ－２，・・・Ｙ^Ｕ－Ｋをコンテクストエンコーダ１３０Ａに入力し、コンテクストエンコーダ１３０Ａから隠れコンテクストベクトルｈ_１ ^{ｃｏｎｔｅｘｔ}，ｈ_２ ^{ｃｏｎｔｅｘｔ}，・・・，ｈ_Ｋ ^{ｃｏｎｔｅｘｔ}を取得する。

【0066】

ステップＳ１０４において、音声認識装置１００は、隠れラベルベクトルと隠れコンテクストベクトルとからソフトアテンションを計算する。具体的には、音声認識装置１００は、隠れラベルベクトルｈ_ｌ－１ ^Ｕと隠れコンテクストベクトルｈ_１ ^{ｃｏｎｔｅｘｔ}，ｈ_２ ^{ｃｏｎｔｅｘｔ}，・・・，ｈ_Ｋ ^{ｃｏｎｔｅｘｔ}とから、以下の式（３）に従ってソフトアテンションａを計算する。

【数3】

ここで、ｐ及びｌはそれぞれ、隠れコンテクストベクトルｈ^{ｃｏｎｔｅｘｔ}と隠れラベルベクトルｈ_ｌ－１ ^{ｌａｂｅｌ}とのインデックスを表す。また、ｗ，Ｕ，Ｈ，ｂはモデルパラメータを表す。

【0067】

ステップＳ１０５において、音声認識装置１００は、計算したソフトアテンションａ_ｐ，ｌと隠れコンテクストベクトルｈ_１ ^{ｃｏｎｔｅｘｔ}，ｈ_２ ^{ｃｏｎｔｅｘｔ}，・・・，ｈ_Ｋ ^{ｃｏｎｔｅｘｔ}とを用いて、以下の式（４）に従ってコンテクストベクトルｃ_ｌ－１を計算する。

【数4】

【0068】

ステップＳ１０６において、音声認識装置１００は、コンテクストベクトルｃ_ｌ－１と隠れラベルベクトルｈ_ｌ－１ ^{ｌａｂｅｌ}とを連接し、隠れ音響ベクトルｈ^{ａｕｄｉｏ}と連接したベクトル［ｈ_ｌ－１ ^{ｌａｂｅｌ}；ｃ_ｌ－１］とをジョイントネットワーク１４０Ａに入力し、ジョイントネットワーク１４０ＡからベクトルＪを取得する。そして、音声認識装置１００は、取得したベクトルＪをソフトマックス１４０Ｂに入力し、ソフトマックス１４０Ｂから音響特徴量ｘに対する文字ｙ_ｌ ^Ｕの確率Ｐ（ｙ_ｌ ^Ｕ｜ｘ）を取得し、確率Ｐ（ｙ_ｌ ^Ｕ｜ｘ）に基づいて文字ｙ_ｌ ^Ｕを予測する。なお、発話Ｙ^Ｕにおいてｌ番目の文字がない場合、音声認識モデル１００Ａはブランクを出力し、次の発話Ｙ^Ｕ＋１の処理に移行する。

【0069】

上述した音声認識装置１００及び音声認識処理によると、入力される音声データに対してストリーミング形式で音声認識を実現することができる。また、過去の発話のサイズに応じた数のコンテクストエンコーダ１３０Ａを備えることによって、固定的なウィンドウサイズに対応する数の過去の発話しか利用できない従来の音声認識モデルより多くの過去の発話から導出されるコンテクスト情報を利用して、高精度な音声認識を実現することが可能である。

【0070】

なお、以上の説明に関して更に以下の付記を開示する。
（付記１）
音響特徴量から隠れ音響ベクトルを生成するオーディオ処理部と、
予測対象の発話の文字列から隠れラベルベクトルを生成するラベル処理部と、
前記予測対象の発話に対する過去の発話から隠れコンテクストベクトルを生成し、前記隠れコンテクストベクトルと前記隠れラベルベクトルとに基づいてソフトアテンションを計算し、計算されたソフトアテンションと前記隠れラベルベクトルとからコンテクストベクトルを生成するコンテクスト処理部と、
前記隠れ音響ベクトルと前記コンテクストベクトルとから前記予測対象の発話を予測する合成部と、
を有する音声認識装置。
（付記２）
ｉ番目の発話のｊ番目の文字の認識結果を取得すると、前記ラベル処理部は、前記取得したｊ番目の文字の認識結果から対応する隠れラベルベクトルを生成し、
前記合成部は、前記オーディオ処理部によって生成された前記ｉ番目の発話の音響特徴量、前記ｊ番目の文字に対応する隠れラベルベクトル、及び前記コンテクスト処理部によって生成された（ｉ－１）番目の発話までの過去の発話から生成された隠れコンテクストベクトルから、（ｊ＋１）番目の文字を予測する、付記１に記載の音声認識装置。
（付記３）
前記合成部が前記ｉ番目の発話の予測を完了すると、前記コンテクスト処理部は、前記ｉ番目の発話までの過去の発話から隠れコンテクストベクトルを生成する、付記２に記載の音声認識装置。
（付記４）
前記オーディオ処理部、前記ラベル処理部、前記コンテクスト処理部及び前記合成部はそれぞれ、機械学習モデルを有し、
前記機械学習モデルは、エンド・ツー・エンド方式で訓練される、付記１に記載の音声認識装置。
（付記５）
前記コンテクスト処理部は、トランスフォーマから構成されるコンテクストエンコーダを有する、付記４に記載の音声認識装置。
（付記６）
音響特徴量から隠れ音響ベクトルを生成するステップと、
予測対象の発話の文字列から隠れラベルベクトルを生成するステップと、
前記予測対象の発話に対する過去の発話から隠れコンテクストベクトルを生成するステップと、
前記隠れコンテクストベクトルと前記隠れラベルベクトルとに基づいてソフトアテンションを計算するステップと、
前記ソフトアテンションと前記隠れラベルベクトルとからコンテクストベクトルを生成するステップと、
前記隠れ音響ベクトルと前記コンテクストベクトルとから前記予測対象の発話を予測するステップと、
を有する、コンピュータによって実行される音声認識方法。
（付記７）
音響特徴量から隠れ音響ベクトルを生成する処理と、
予測対象の発話の文字列から隠れラベルベクトルを生成する処理と、
前記予測対象の発話に対する過去の発話から隠れコンテクストベクトルを生成する処理と、
前記隠れコンテクストベクトルと前記隠れラベルベクトルとに基づいてソフトアテンションを計算する処理と、
前記ソフトアテンションと前記隠れラベルベクトルとからコンテクストベクトルを生成する処理と、
前記隠れ音響ベクトルと前記コンテクストベクトルとから前記予測対象の発話を予測する処理と、
をコンピュータに実行させるプログラム。

【0071】

以上、本開示の実施例について詳述したが、本開示は上述した特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本開示の要旨の範囲内において、種々の変形・変更が可能である。

【符号の説明】

【0072】

１００ 音声認識装置
１００Ａ 音声認識モデル
１１０ オーディオ処理部
１１０Ａ オーディオエンコーダ
１２０ ラベル処理部
１２０Ａ ラベルエンコーダ
１３０ コンテクスト処理部
１３０Ａ コンテクストエンコーダ
１３０Ｂ アテンション
１３０Ｃ 連接レイヤ
１４０ 合成部
１４０Ａ ジョイントネットワーク
１４０Ｂ ソフトマックス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】