特開2023-56774訓練装置、訓練方法、音声認識装置、音声認識方法及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023056774
(43)【公開日】2023-04-20
(54)【発明の名称】訓練装置、訓練方法、音声認識装置、音声認識方法及びプログラム
(51)【国際特許分類】
G10L 15/06 20130101AFI20230413BHJP
G10L 15/16 20060101ALI20230413BHJP
G06N 20/00 20190101ALI20230413BHJP
【ＦＩ】
G10L15/06 300Z
G10L15/16
G06N20/00
【審査請求】未請求
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2021166182
(22)【出願日】2021-10-08
【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り （１）集会名、開催場所 ＩｎｔｅｒＳｐｅｅｃｈ２０２１ Ｂｅｓｔ Ｗｅｓｔｅｒｎ Ｐｒｅｍｉｅｒ Ｈｏｔｅｌ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｂｒｎｏ Ｈｕｓｏｖａ ２００／１６ ６０２ ００ Ｂｒｎｏ，Ｃｚｅｃｈ ｒｅｐｕｂｌｉｃ 開催日 令和３年９月２日 （２）ウェブサイトの掲載アドレス ｈｔｔｐｓ：／／ｗｗｗ．ｉｓｃａ－ｓｐｅｅｃｈ．ｏｒｇ／ａｒｃｈｉｖｅ／ｉｎｔｅｒｓｐｅｅｃｈ＿２０２１／ｋｏｊｉｍａ２１＿ｉｎｔｅｒｓｐｅｅｃｈ．ｈｔｍｌ ｈｔｔｐｓ：／／ｗｗｗ．ｉｎｔｅｒｓｐｅｅｃｈ２０２１．ｏｒｇ／ｐｒｏｃｅｅｄｉｎｇｓ 掲載日 令和３年９月１日 （３）ウェブサイトの掲載アドレス ｈｔｔｐｓ：／／ｗｗｗ．ａｄｖａｎｃｅｄ－ｍｅｄｉａ．ｃｏ．ｊｐ／ｎｅｗｓｒｅｌｅａｓｅ／２１０５７ 掲載日 令和３年９月１４日
(71)【出願人】
【識別番号】398018021
【氏名又は名称】株式会社アドバンスト・メディア
(74)【代理人】
【識別番号】110002952
【氏名又は名称】弁理士法人鷲田国際特許事務所
(72)【発明者】
【氏名】小島 淳嗣
(57)【要約】
【課題】ストリーミング型トランスフォーマ－トランスデューサモデルを構築するための技術を提供することである。
【解決手段】本開示の一態様は、訓練済み非ストリーミング型トランスフォーマ－トランスデューサモデルに特徴量系列を入力し、前記非ストリーミング型トランスフォーマ－トランスデューサモデルから第１の内部表現を取得する第１モデル処理部と、ストリーミング型トランスフォーマ－トランスデューサモデルに前記特徴量系列を入力し、前記ストリーミング型トランスフォーマ－トランスデューサモデルから第２の内部表現を取得する第２モデル処理部と、前記第１の内部表現と前記第２の内部表現との間の類似度に基づいて前記ストリーミング型トランスフォーマ－トランスデューサモデルを訓練する訓練部と、を有する訓練装置に関する。
【選択図】図８
【解決手段】本開示の一態様は、訓練済み非ストリーミング型トランスフォーマ－トランスデューサモデルに特徴量系列を入力し、前記非ストリーミング型トランスフォーマ－トランスデューサモデルから第１の内部表現を取得する第１モデル処理部と、ストリーミング型トランスフォーマ－トランスデューサモデルに前記特徴量系列を入力し、前記ストリーミング型トランスフォーマ－トランスデューサモデルから第２の内部表現を取得する第２モデル処理部と、前記第１の内部表現と前記第２の内部表現との間の類似度に基づいて前記ストリーミング型トランスフォーマ－トランスデューサモデルを訓練する訓練部と、を有する訓練装置に関する。
【選択図】図８
【特許請求の範囲】
【請求項1】
訓練済み非ストリーミング型トランスフォーマ－トランスデューサモデルに特徴量系列を入力し、前記非ストリーミング型トランスフォーマ－トランスデューサモデルから第１の内部表現を取得する第１モデル処理部と、
ストリーミング型トランスフォーマ－トランスデューサモデルに前記特徴量系列を入力し、前記ストリーミング型トランスフォーマ－トランスデューサモデルから第２の内部表現を取得する第２モデル処理部と、
前記第１の内部表現と前記第２の内部表現との間の類似度に基づいて前記ストリーミング型トランスフォーマ－トランスデューサモデルを訓練する訓練部と、
を有する訓練装置。
ストリーミング型トランスフォーマ－トランスデューサモデルに前記特徴量系列を入力し、前記ストリーミング型トランスフォーマ－トランスデューサモデルから第２の内部表現を取得する第２モデル処理部と、
前記第１の内部表現と前記第２の内部表現との間の類似度に基づいて前記ストリーミング型トランスフォーマ－トランスデューサモデルを訓練する訓練部と、
を有する訓練装置。
【請求項2】
前記第１の内部表現は、前記非ストリーミング型トランスフォーマ－トランスデューサモデルから出力される第１の隠れベクトルから構成され、
前記第２の内部表現は、前記ストリーミング型トランスフォーマ－トランスデューサモデルから出力される第２の隠れベクトルから構成され、
前記訓練部は、前記第１の隠れベクトルと前記第２の隠れベクトルとの間の第１の差分が減少するように、前記ストリーミング型トランスフォーマ－トランスデューサモデルのパラメータを更新する、請求項１に記載の訓練装置。
前記第２の内部表現は、前記ストリーミング型トランスフォーマ－トランスデューサモデルから出力される第２の隠れベクトルから構成され、
前記訓練部は、前記第１の隠れベクトルと前記第２の隠れベクトルとの間の第１の差分が減少するように、前記ストリーミング型トランスフォーマ－トランスデューサモデルのパラメータを更新する、請求項１に記載の訓練装置。
【請求項3】
前記第１の内部表現は、前記非ストリーミング型トランスフォーマ－トランスデューサモデルにおけるマルチヘッドセルフアテンションレイヤから出力される第１のマルチヘッドベクトルから構成され、
前記第２の内部表現は、前記ストリーミング型トランスフォーマ－トランスデューサモデルにおけるマルチヘッド切り捨てセルフアテンションレイヤから出力される第２のマルチヘッドベクトルから構成され、
前記訓練部は、前記第１のマルチヘッドベクトルと前記第２のマルチヘッドベクトルとの間の第２の差分が減少するように、前記ストリーミング型トランスフォーマ－トランスデューサモデルのパラメータを更新する、請求項１又は２に記載の訓練装置。
前記第２の内部表現は、前記ストリーミング型トランスフォーマ－トランスデューサモデルにおけるマルチヘッド切り捨てセルフアテンションレイヤから出力される第２のマルチヘッドベクトルから構成され、
前記訓練部は、前記第１のマルチヘッドベクトルと前記第２のマルチヘッドベクトルとの間の第２の差分が減少するように、前記ストリーミング型トランスフォーマ－トランスデューサモデルのパラメータを更新する、請求項１又は２に記載の訓練装置。
【請求項4】
訓練済み非ストリーミング型トランスフォーマ－トランスデューサモデルに特徴量系列を入力し、非ストリーミング型トランスフォーマ－トランスデューサモデルから第１の内部表現を取得するステップと、
ストリーミング型トランスフォーマ－トランスデューサモデルに前記特徴量系列を入力し、前記ストリーミング型トランスフォーマ－トランスデューサモデルから第２の内部表現を取得するステップと、
前記第１の内部表現と前記第２の内部表現との間の類似度に基づいて前記ストリーミング型トランスフォーマ－トランスデューサモデルのパラメータを更新するステップと、
を有する、コンピュータによって実行される訓練方法。
ストリーミング型トランスフォーマ－トランスデューサモデルに前記特徴量系列を入力し、前記ストリーミング型トランスフォーマ－トランスデューサモデルから第２の内部表現を取得するステップと、
前記第１の内部表現と前記第２の内部表現との間の類似度に基づいて前記ストリーミング型トランスフォーマ－トランスデューサモデルのパラメータを更新するステップと、
を有する、コンピュータによって実行される訓練方法。
【請求項5】
訓練済み非ストリーミング型トランスフォーマ－トランスデューサモデルに特徴量系列を入力し、非ストリーミング型トランスフォーマ－トランスデューサモデルから第１の内部表現を取得する処理と、
ストリーミング型トランスフォーマ－トランスデューサモデルに前記特徴量系列を入力し、前記ストリーミング型トランスフォーマ－トランスデューサモデルから第２の内部表現を取得する処理と、
前記第１の内部表現と前記第２の内部表現との間の類似度に基づいて前記ストリーミング型トランスフォーマ－トランスデューサモデルのパラメータを更新する処理と、
をコンピュータに実行させるプログラム。
ストリーミング型トランスフォーマ－トランスデューサモデルに前記特徴量系列を入力し、前記ストリーミング型トランスフォーマ－トランスデューサモデルから第２の内部表現を取得する処理と、
前記第１の内部表現と前記第２の内部表現との間の類似度に基づいて前記ストリーミング型トランスフォーマ－トランスデューサモデルのパラメータを更新する処理と、
をコンピュータに実行させるプログラム。
【請求項6】
処理対象の音声データを取得し、前記取得した音声データを特徴量系列に変換する前処理部と、
訓練済みストリーミング型トランスフォーマ－トランスデューサモデルに前記特徴量系列を入力し、前記訓練済みストリーミング型トランスフォーマ－トランスデューサモデルから隠れベクトルを取得する音声符号化部と、
前記隠れベクトルとトークンとに基づいて音声認識を実行し、音声認識結果を出力する音声認識部と、
を有し、
前記訓練済みストリーミング型トランスフォーマ－トランスデューサモデルは、訓練済み非ストリーミング型トランスフォーマ－トランスデューサモデルに訓練用の特徴量系列を入力し、第１の内部表現を取得し、訓練対象のストリーミング型トランスフォーマ－トランスデューサモデルに前記訓練用の特徴量系列を入力し、前記ストリーミング型トランスフォーマ－トランスデューサモデルから第２の内部表現を取得し、前記第１の内部表現と前記第２の内部表現との間の類似度に基づいて訓練される、音声認識装置。
訓練済みストリーミング型トランスフォーマ－トランスデューサモデルに前記特徴量系列を入力し、前記訓練済みストリーミング型トランスフォーマ－トランスデューサモデルから隠れベクトルを取得する音声符号化部と、
前記隠れベクトルとトークンとに基づいて音声認識を実行し、音声認識結果を出力する音声認識部と、
を有し、
前記訓練済みストリーミング型トランスフォーマ－トランスデューサモデルは、訓練済み非ストリーミング型トランスフォーマ－トランスデューサモデルに訓練用の特徴量系列を入力し、第１の内部表現を取得し、訓練対象のストリーミング型トランスフォーマ－トランスデューサモデルに前記訓練用の特徴量系列を入力し、前記ストリーミング型トランスフォーマ－トランスデューサモデルから第２の内部表現を取得し、前記第１の内部表現と前記第２の内部表現との間の類似度に基づいて訓練される、音声認識装置。
【請求項7】
処理対象の音声データを取得し、前記取得した音声データを特徴量系列に変換するステップと、
訓練済みストリーミング型トランスフォーマ－トランスデューサモデルに前記特徴量系列を入力し、前記訓練済みストリーミング型トランスフォーマ－トランスデューサモデルから隠れベクトルを取得するステップと、
前記隠れベクトルとトークンとに基づいて音声認識を実行し、音声認識結果を出力するステップと、
を有し、
前記訓練済みストリーミング型トランスフォーマ－トランスデューサモデルは、訓練済み非ストリーミング型トランスフォーマ－トランスデューサモデルに訓練用の特徴量系列を入力し、第１の内部表現を取得し、訓練対象のストリーミング型トランスフォーマ－トランスデューサモデルに前記訓練用の特徴量系列を入力し、前記ストリーミング型トランスフォーマ－トランスデューサモデルから第２の内部表現を取得し、前記第１の内部表現と前記第２の内部表現との間の類似度に基づいて訓練される、コンピュータによって実行される音声認識方法。
訓練済みストリーミング型トランスフォーマ－トランスデューサモデルに前記特徴量系列を入力し、前記訓練済みストリーミング型トランスフォーマ－トランスデューサモデルから隠れベクトルを取得するステップと、
前記隠れベクトルとトークンとに基づいて音声認識を実行し、音声認識結果を出力するステップと、
を有し、
前記訓練済みストリーミング型トランスフォーマ－トランスデューサモデルは、訓練済み非ストリーミング型トランスフォーマ－トランスデューサモデルに訓練用の特徴量系列を入力し、第１の内部表現を取得し、訓練対象のストリーミング型トランスフォーマ－トランスデューサモデルに前記訓練用の特徴量系列を入力し、前記ストリーミング型トランスフォーマ－トランスデューサモデルから第２の内部表現を取得し、前記第１の内部表現と前記第２の内部表現との間の類似度に基づいて訓練される、コンピュータによって実行される音声認識方法。
【請求項8】
処理対象の音声データを取得し、前記取得した音声データを特徴量系列に変換する処理と、
訓練済みストリーミング型トランスフォーマ－トランスデューサモデルに前記特徴量系列を入力し、前記訓練済みストリーミング型トランスフォーマ－トランスデューサモデルから隠れベクトルを取得する処理と、
前記隠れベクトルとトークンとに基づいて音声認識を実行し、音声認識結果を出力する処理と、
をコンピュータに実行させ、
前記訓練済みストリーミング型トランスフォーマ－トランスデューサモデルは、訓練済み非ストリーミング型トランスフォーマ－トランスデューサモデルに訓練用の特徴量系列を入力し、第１の内部表現を取得し、訓練対象のストリーミング型トランスフォーマ－トランスデューサモデルに前記訓練用の特徴量系列を入力し、前記ストリーミング型トランスフォーマ－トランスデューサモデルから第２の内部表現を取得し、前記第１の内部表現と前記第２の内部表現との間の類似度に基づいて訓練される、プログラム。
訓練済みストリーミング型トランスフォーマ－トランスデューサモデルに前記特徴量系列を入力し、前記訓練済みストリーミング型トランスフォーマ－トランスデューサモデルから隠れベクトルを取得する処理と、
前記隠れベクトルとトークンとに基づいて音声認識を実行し、音声認識結果を出力する処理と、
をコンピュータに実行させ、
前記訓練済みストリーミング型トランスフォーマ－トランスデューサモデルは、訓練済み非ストリーミング型トランスフォーマ－トランスデューサモデルに訓練用の特徴量系列を入力し、第１の内部表現を取得し、訓練対象のストリーミング型トランスフォーマ－トランスデューサモデルに前記訓練用の特徴量系列を入力し、前記ストリーミング型トランスフォーマ－トランスデューサモデルから第２の内部表現を取得し、前記第１の内部表現と前記第２の内部表現との間の類似度に基づいて訓練される、プログラム。
【請求項9】
訓練済みストリーミングトランスフォーマ－トランスデューサモデルを実現するプログラムであって、
前記訓練済みストリーミング型トランスフォーマ－トランスデューサモデルは、訓練済み非ストリーミング型トランスフォーマ－トランスデューサモデルに訓練用の特徴量系列を入力し、第１の内部表現を取得し、訓練対象のストリーミング型トランスフォーマ－トランスデューサモデルに前記訓練用の特徴量系列を入力し、前記ストリーミング型トランスフォーマ－トランスデューサモデルから第２の内部表現を取得し、前記第１の内部表現と前記第２の内部表現との間の類似度に基づいて訓練される、プログラム。
前記訓練済みストリーミング型トランスフォーマ－トランスデューサモデルは、訓練済み非ストリーミング型トランスフォーマ－トランスデューサモデルに訓練用の特徴量系列を入力し、第１の内部表現を取得し、訓練対象のストリーミング型トランスフォーマ－トランスデューサモデルに前記訓練用の特徴量系列を入力し、前記ストリーミング型トランスフォーマ－トランスデューサモデルから第２の内部表現を取得し、前記第１の内部表現と前記第２の内部表現との間の類似度に基づいて訓練される、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、訓練装置、訓練方法、音声認識装置、音声認識方法及びプログラムに関する。
【背景技術】
【0002】
ディープラーニングとしばしば呼ばれる機械学習技術の進化によって、様々な用途に機械学習モデルが利用されてきている。例えば、音声認識技術においても、機械学習モデルが利用されてきている。機械学習モデルを利用した音声認識では、認識対象の音声データが機械学習モデルに入力され、当該機械学習モデルから音声データにおける発話内容を示す認識結果（すなわち、認識仮説）が取得される。
【0003】
近年、自動音声認識に対してトランスフォーマモデルが広く利用されるようになってきている。トランスフォーマモデルは、従来のＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）などのシーケンスモデリングのための典型的なアーキテクチャより効果的に、発話における時間依存性を抽出できることが知られている。このようなトランスフォーマモデルのうち、トランスフォーマ－トランスデューサ（Ｔ－Ｔ）モデルが効率性及び精度の点から現在注目されている。Ｔ－Ｔモデルでは、セルフアテンション（ｓｅｌｆ－ａｔｔｅｎｔｉｏｎ）機構が利用される。セルフアテンション機構では、セルフアテンションを計算するため、処理対象のシーケンスの全体が入力される必要があり、既存のＴ－Ｔモデルは非ストリーミング型であると言える。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特表２０２０－５０６４６６号公報
【非特許文献】
【0005】
【非特許文献1】C. F. Yeh, J. Mahadeokar, K. Kalgaonkar, Y. Wang, D. Le, M. Jain, K. Schubert, C. Fuegen and M. L. Seltzer, “Tranformer-Transducer: End-to-end speech recgnition with self-attention”, in Proc. INTERSPEECH, 2020.
【非特許文献2】Q. Zhang, H. Lu, H. Sak, A. Tripathi, E. McDermott, S. Koo, S. Kumar, “Transformer Transducer: A streamable speech recognition model with Transformer encoders and RNN-T loss”, in Proc. INTERSPEECH, 2020.
【発明の概要】
【発明が解決しようとする課題】
【0006】
一方、音声認識では、ストリーミング型の音声認識モデルが望まれる。発話完了後にすべての音声データを取得し、すべての音声データを使用して処理する非ストリーミング型に対し、音声対話や字幕表示等の音声認識では、ストリーミングで得られる音声データをリアルタイム処理すること（ストリーミング型）が必要である。このため、セルフアテンション機構が切り取られた（ｔｒｕｎｃａｔｅｄ）Ｔ－Ｔモデルが考えられうるが、認識精度が低下するおそれがある。
【0007】
上記問題点に鑑み、本開示の１つの課題は、ストリーミング型トランスフォーマ－トランスデューサモデルを構築するための技術を提供することである。
【課題を解決するための手段】
【0008】
本開示の一態様は、訓練済み非ストリーミング型トランスフォーマ－トランスデューサモデルに特徴量系列を入力し、前記非ストリーミング型トランスフォーマ－トランスデューサモデルから第１の内部表現を取得する第１モデル処理部と、ストリーミング型トランスフォーマ－トランスデューサモデルに前記特徴量系列を入力し、前記ストリーミング型トランスフォーマ－トランスデューサモデルから第２の内部表現を取得する第２モデル処理部と、前記第１の内部表現と前記第２の内部表現との間の類似度に基づいて前記ストリーミング型トランスフォーマ－トランスデューサモデルを訓練する訓練部と、を有する訓練装置に関する。
【発明の効果】
【0009】
本開示によれば、ストリーミング型トランスフォーマ－トランスデューサモデルを構築することができる。
【図面の簡単な説明】
【0010】
【図1】本開示の一実施例による音声認識システムを示す概略図である。
【図2】本開示の一実施例によるストリーミング型トランスフォーマ－トランスデューサモデルを含むニューラルトランスデューサの構成を示すブロック図である。
【図3】本開示の一実施例による訓練装置及び音声認識装置のハードウェア構成を示すブロック図である。
【図4】本開示の一実施例による訓練装置の機能構成を示すブロック図である。
【図5】本開示の一実施例による非ストリーミング型トランスフォーマ－トランスデューサモデルのアーキテクチャを示すブロック図である。
【図6】本開示の一実施例によるストリーミング型トランスフォーマ－トランスデューサモデルのアーキテクチャを示すブロック図である。
【図7】本開示の一実施例によるコンテキストの処理を示す図である。
【図8】本開示の一実施例による非ストリーミング型トランスフォーマ－トランスデューサモデルからストリーミング型トランスフォーマ－トランスデューサモデルを知識蒸留により取得する訓練処理を示す概略図である。
【図9】本開示の一実施例による訓練処理を示すフローチャートである。
【図10】本開示の一実施例による音声認識装置の機能構成を示すブロック図である。
【図11】本開示の一実施例による音声認識処理を示すフローチャートである。
【発明を実施するための形態】
【0011】
以下、図面を参照して本開示の実施の形態を説明する。
【0012】
以下の実施例では、知識蒸留（Ｋｎｏｗｌｅｄｇｅ Ｄｉｓｔｉｌｌａｔｉｏｎ）によって訓練済みの非ストリーミング型トランスフォーマ－トランスデューサモデルからストリーミング型トランスフォーマ－トランスデューサモデルを訓練する訓練装置と、このようにして訓練されたストリーミング型トランスフォーマ－トランスデューサモデルを利用して音声データから発話内容を認識（すなわち、音声認識仮説を出力）する音声認識装置とが開示される。
【0013】
［概略］
図１に示されるように、本開示の一実施例による音声認識システム１０は、訓練データベース５０、訓練装置１００及び音声認識装置２００を有する。図示されるように、訓練装置１００は、訓練データベース５０に格納されている訓練データと訓練済み非ストリーミング型トランスフォーマ－トランスデューサ（Ｔ－Ｔ）モデルとを利用して、知識蒸留に従って訓練対象のストリーミング型Ｔ－Ｔモデルを訓練する。
図１に示されるように、本開示の一実施例による音声認識システム１０は、訓練データベース５０、訓練装置１００及び音声認識装置２００を有する。図示されるように、訓練装置１００は、訓練データベース５０に格納されている訓練データと訓練済み非ストリーミング型トランスフォーマ－トランスデューサ（Ｔ－Ｔ）モデルとを利用して、知識蒸留に従って訓練対象のストリーミング型Ｔ－Ｔモデルを訓練する。
【0014】
具体的には、訓練装置１００は、訓練データベース５０に格納されている訓練用の特徴量系列を、訓練済み非ストリーミング型Ｔ－Ｔモデルと訓練対象のストリーミング型Ｔ－Ｔモデルとに入力する。例えば、訓練済み非ストリーミング型Ｔ－Ｔモデルは、マルチヘッドセルフアテンション機構を備えた何れか公知のＴ－Ｔモデルであってもよく、訓練対象のストリーミング型Ｔ－Ｔモデルは、以降において詳述するように、非ストリーミング型Ｔ－Ｔモデルのマルチヘッドセルフアテンション機構がマルチヘッド切り捨て（ｔｒｕｎｃａｔｅｄ）セルフアテンション機構に置換されたアーキテクチャを有する。
【0015】
訓練装置１００は、入力した特徴量系列に対して、非ストリーミング型Ｔ－Ｔモデルから取得される内部表現と、ストリーミング型Ｔ－Ｔモデルから取得される内部表現との類似度を計算し、類似度が高くなるようストリーミング型Ｔ－Ｔモデルのパラメータを更新する。ここで、類似度を測る尺度としては、Ｌ２距離が利用可能であるが、本開示による類似度はこれに限定されず、ユークリッド距離、マンハッタン距離などの他の距離の尺度が利用されてもよい。例えば、内部表現は、非ストリーミング型Ｔ－Ｔモデルとストリーミング型Ｔ－Ｔモデルとからそれぞれ出力される隠れベクトルと、非ストリーミング型Ｔ－Ｔモデルとストリーミング型Ｔ－Ｔモデルとのセルフアテンションレイヤから出力されるマルチヘッドベクトルとであってもよい。
【0016】
このようにして訓練されたストリーミング型Ｔ－Ｔモデルは、音声認識装置２００に提供される。例えば、音声認識装置２００は、訓練済みストリーミング型Ｔ－Ｔモデルを搭載したニューラルトランスデューサ３００を利用して、認識対象の音声データに対して音声認識を実行し、音声データにおける発話内容を示す音声認識データを取得する。例えば、ニューラルトランスデューサ３００は、図２に示されるようなアーキテクチャにより構成されてもよい。具体的には、音声認識装置２００は、入力された音声データを前処理することによって取得された音響特徴量ｘｕをオーディオエンコーダ３１０としての訓練済みストリーミング型Ｔ－Ｔモデルに入力し、隠れベクトルｈｕを取得する。また、音声認識装置２００は、トークンｙｕ－１をラベルエンコーダ３２０に入力してトークンｙｕを取得し、隠れベクトルｈｕとトークンｙｕとを結合し、共同ネットワーク３３０に入力する。さらに、音声認識装置２００は、共同ネットワークの出力ＪをＳｏｆｔｍａｘレイヤ３４０に入力し、出力トークンの事後確率Ｐ（ｙ｜ｘ）を認識結果として出力する。
【0017】
しかしながら、音声認識装置２００は、必ずしも上述したニューラルトランスデューサ３００を利用する必要はなく、訓練済みストリーミング型Ｔ－Ｔモデルを含む他の何れかの音声認識モデルを利用してもよい。
【0018】
ここで、訓練装置１００及び音声認識装置２００はそれぞれ、サーバ、パーソナルコンピュータ等の計算装置によって実現され、例えば、図３に示されるようなハードウェア構成を有してもよい。すなわち、訓練装置１００及び音声認識装置２００はそれぞれ、バスＢを介し相互接続される記憶装置１０１、プロセッサ１０２、ユーザインタフェース（ＵＩ）装置１０３及び通信装置１０４を有する。
【0019】
訓練装置１００及び音声認識装置２００それぞれにおける後述される各種機能及び処理を実現するプログラム又は指示は、ネットワークなどを介し何れかの外部装置からダウンロードされてもよいし、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ－Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ等の着脱可能な記憶媒体から提供されてもよい。記憶装置１０１は、ランダムアクセスメモリ、フラッシュメモリ、ハードディスクドライブなどによって実現され、インストールされたプログラム又は指示と共に、プログラム又は指示の実行に用いられるファイル、データ等を格納する。記憶装置１０１は、非一時的な記憶媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）を含んでもよい。
【0020】
プロセッサ１０２は、１つ以上のプロセッサコアから構成されうる１つ以上のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、処理回路（ｐｒｏｃｅｓｓｉｎｇ ｃｉｒｃｕｉｔｒｙ）等によって実現されてもよく、記憶装置１０１に格納されたプログラム、指示、当該プログラム若しくは指示を実行するのに必要なパラメータなどのデータ等に従って、後述される訓練装置１００及び音声認識装置２００はそれぞれの各種機能及び処理を実行する。ユーザインタフェース（ＵＩ）装置１０３は、キーボード、マウス、カメラ、マイクロフォン等の入力装置、ディスプレイ、スピーカ、ヘッドセット、プリンタ等の出力装置、タッチパネル等の入出力装置から構成されてもよく、ユーザと訓練装置１００及び音声認識装置２００との間のインタフェースを実現する。例えば、ユーザは、ディスプレイ又はタッチパネルに表示されたＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）をキーボード、マウス等を操作し、訓練装置１００及び音声認識装置２００を操作する。通信装置１０４は、外部装置、インターネット、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の通信ネットワークとの通信処理を実行する各種通信回路により実現される。
【0021】
しかしながら、上述したハードウェア構成は単なる一例であり、本開示による訓練装置１００及び音声認識装置２００は、他の何れか適切なハードウェア構成により実現されてもよい。
【0022】
【0023】
図４に示されるように、訓練装置１００は、第１モデル処理部１１０、第２モデル処理部１２０及び訓練部１３０を有する。
【0024】
第１モデル処理部１１０は、訓練済み非ストリーミング型Ｔ－Ｔモデル４００に特徴量系列を入力し、非ストリーミング型Ｔ－Ｔモデルから内部表現を取得する。例えば、訓練済み非ストリーミング型Ｔ－Ｔモデル４００は、既存のＴ－Ｔモデルであり、例えば、図５に示されるようなアーキテクチャから構成されてもよい。具体的には、訓練済み非ストリーミング型Ｔ－Ｔモデル４００は、レイヤノルム４１０、マルチヘッドセルフアテンションレイヤ４２０、加算レイヤ４３０，４６０、全結合レイヤ４４０及びポジション単位フィードフォワードレイヤ４５０を有する。
【0025】
例えば、音声データは、１０ｍｓｅｃなどの所定の時間単位の音声データセグメントの系列に分割される。各音声データセグメントは前処理されて、音響特徴量系列ｘ＝（ｘ１，ｘ２，・・・，ｘＴ）が生成される。例えば、音響特徴量系列は、ログメルフィルタバンク（ｌｏｇ ｍｅｌ ｆｉｌｔｅｒ ｂａｎｋ）の系列であってもよい。音響特徴量ｘｔが訓練済み非ストリーミング型Ｔ－Ｔモデル４００に入力されると、レイヤノルム４１０は、平均及び分散によって正規化された音響特徴量系列ｘｔ
ｎｏｒｍｅｄを出力する。レイヤノルム４１０は、正規化された音響特徴量系列ｘｔ
ｎｏｒｍｅｄをマルチヘッドセルフアテンションレイヤ４２０にわたす。
【0026】
マルチヘッドセルフアテンションレイヤ４２０は、複数のヘッドを有し、レイヤノルム４１０からの正規化された音響特徴量系列ｘｔ
ｎｏｒｍｅｄをヘッドｉ毎に異なる隠れベクトルＴｅａｃｈｅｒ ｈｉ，ｔに変換する（１≦ｉ≦＃ｈｅａｄ）。各ヘッドｉにおいて、マルチヘッドセルフアテンション４２０は、１）入力をｋｅｙ，ｖａｌｕｅ及びｑｕｅｒｙに変換し、２）ｋｅｙとｑｕｅｒｙとからセルフアテンションを算出し、３）算出したセルフアテンションにｖａｌｕｅを乗算し、加算レイヤ４３０を介し音響特徴量系列ｘｔと加算することによって隠れベクトルＴｅａｃｈｅｒ ｈｉ，ｔを導出する。各ヘッドｉにおいて導出された隠れベクトルＴｅａｃｈｅｒ ｈｉ，ｔは、全結合レイヤ４４０にわたされる。
【0027】
全結合レイヤ４４０、ポジション単位フィードフォワードレイヤ４５０及び加算レイヤ４６０は、各ヘッドｉの隠れベクトルＴｅａｃｈｅｒ ｈｉ，ｔを入力位置毎に結合し、１つのベクトルＴｅａｃｈｅｒ ｈに変換する。
【0028】
非ストリーミング型Ｔ－Ｔモデル４００は、このようにして導出したベクトルＴｅａｃｈｅｒ ｈを出力結果として共同ネットワーク３３０にわたす。
【0029】
なお、本実施例による訓練済み非ストリーミング型Ｔ－Ｔモデル４００は、公知の既存のＴ－Ｔモデルであり、更なる詳細については説明を省略する。また、訓練済み非ストリーミング型Ｔ－Ｔモデル４００は、必ずしも上述したアーキテクチャを有する必要はなく、ニューラルトランスデューサ３００に搭載可能な他の何れかのアーキテクチャを有してもよい。
【0030】
第１モデル処理部１１０は、訓練済み非ストリーミング型Ｔ－Ｔモデル４００において導出されるベクトルを内部表現として抽出する。抽出した内部表現は、訓練対象のストリーミング型Ｔ－Ｔモデル５００を訓練するのに利用される。一実施例では、内部表現は、訓練済み非ストリーミング型Ｔ－Ｔモデル４００から出力される隠れベクトルＴｅａｃｈｅｒ ｈと、マルチヘッドセルフアテンションレイヤ４２０から出力されるマルチヘッドベクトルＴｅａｃｈｅｒ ｈ１，ｔ，・・・，Ｔｅａｃｈｅｒ ｈｈｅａｄ，ｔとから構成されてもよい。第１モデル処理部１１０は、訓練済み非ストリーミング型Ｔ－Ｔモデル４００と訓練対象のストリーミング型Ｔ－Ｔモデル５００との双方に入力される音響特徴量系列ｘ＝（ｘ１，・・・，ｘＴ）に対して、隠れベクトルＴｅａｃｈｅｒ ｈとマルチヘッドベクトルＴｅａｃｈｅｒ ｈｉ，ｔ（ｉ＝１，・・・，ｈｅａｄ）とを内部表現として抽出する。
【0031】
しかしながら、本開示による内部表現は、必ずしもこれらに限定されず、知識蒸留に利用されるＴ－Ｔモデルのアーキテクチャに対応した他のベクトルを内部表現として抽出してもよい。また、本実施例では、隠れベクトルＴｅａｃｈｅｒ ｈとマルチヘッドベクトルＴｅａｃｈｅｒ ｈｉ，ｔとの双方が内部表現として抽出されるが、本開示による内部表現は、これに限定されず、隠れベクトルＴｅａｃｈｅｒ ｈとマルチヘッドベクトルＴｅａｃｈｅｒ ｈｉ，ｔの一方又は一部であってもよい。
【0032】
第２モデル処理部１２０は、訓練対象のストリーミング型Ｔ－Ｔモデル５００に特徴量系列を入力し、ストリーミング型Ｔ－Ｔモデル５００から内部表現を取得する。例えば、訓練対象のストリーミング型Ｔ－Ｔモデル５００は、訓練済み非ストリーミング型Ｔ－Ｔモデル４００に対応し、例えば、図６に示されるようなアーキテクチャから構成されてもよい。具体的には、訓練対象のストリーミング型Ｔ－Ｔモデル５００は、レイヤノルム５１０、マルチヘッド切り捨てセルフアテンションレイヤ５２０、加算レイヤ５３０，５６０、全結合レイヤ５４０及びポジション単位フィードフォワードレイヤ５５０を有する。ここで、訓練対象のストリーミング型Ｔ－Ｔモデル５００は、マルチヘッドセルフアテンションレイヤ４２０がマルチヘッド切り捨てセルフアテンションレイヤ５２０によって置換されている点を除いて、訓練済み非ストリーミング型Ｔ－Ｔモデル４００と同様である。このため、レイヤノルム５１０、加算レイヤ５３０，５６０、全結合レイヤ５４０及びポジション単位フィードフォワードレイヤ５５０についての繰り返しの説明は省略する。
【0033】
マルチヘッド切り捨てセルフアテンションレイヤ５２０は、ベクトル変換の際に使用されるコンテキストに関してのみ、マルチヘッドセルフアテンションレイヤ４２０と異なる。例えば、図７に示されるような音響特徴量系列の長さが６であるマルチヘッド切り捨てセルフアテンションレイヤ５２０を考える。ここで、マルチヘッド切り捨てセルフアテンションレイヤ５２０における過去のコンテキストサイズと未来のコンテキストサイズとをそれぞれパラメータＬ，Ｒによって示す。例えば、パラメータＬ，Ｒが無限大に設定された場合、マルチヘッド切り捨てセルフアテンションレイヤ５２０は、マルチヘッドセルフアテンションレイヤ４２０と一致する。
【0034】
例えば、未来のコンテキストサイズを示すパラメータＲが、Ｒ＝０に設定された場合、マルチヘッド切り捨てセルフアテンションレイヤ５２０は、ストリーミング処理に対応可能となる。従って、ストリーミング型Ｔ－Ｔモデル５００のマルチヘッド切り捨てセルフアテンションレイヤ５２０では、Ｒ＝０に設定される。他方、過去のコンテキストサイズを示すパラメータＬは、何れか適切な値に設定されてもよい。例えば、Ｌ＝２に設定された場合、マルチヘッド切り捨てセルフアテンションレイヤ５２０は、過去のコンテキストとして直前の２フレームを利用する。この場合、フレーム数が３以上であった場合でも、マルチヘッド切り捨てセルフアテンションレイヤ５２０は、過去のコンテキストとして直前の２フレームしか利用しない。
【0035】
図７に示されるケースは、Ｌ＝２，Ｒ＝０に対応する。図示されたマルチヘッド切り捨てセルフアテンションレイヤ５２０によると、入力された音響特徴量系列ｘ１，・・・，ｘ６に対して、図７の最下位に示される入力レイヤでは、音響特徴量ｘ１，・・・，ｘ５がコンテキストとして利用され、更なる上位の各中間レイヤでは、図示されるように、コンテキストが利用される。ここで、音響特徴量ｘ５からマルチヘッドベクトルのｆ５を出力する際、図示されたコンテキストは使用されない。
【0036】
訓練済み非ストリーミング型Ｔ－Ｔモデル４００に入力された同一の音響特徴量系列ｘｔ（ログメルフィルタバンク）に対してレイヤノルム５１０から正規化された音響特徴量系列ｘｔ
ｎｏｒｍｅｄを取得すると、マルチヘッド切り捨てセルフアテンションレイヤ５２０は、設定されたパラメータＬ，Ｒの下で、各ヘッドｉにおいて、１）入力をｋｅｙ，ｖａｌｕｅ及びｑｕｅｒｙに変換し、２）ｋｅｙとｑｕｅｒｙとからセルフアテンションを算出し、３）算出したセルフアテンションにｖａｌｕｅを乗算し、加算レイヤ５３０を介し音響特徴量系列ｘｔと加算することによって隠れベクトルＳｔｕｄｅｎｔ ｈｉ，ｔを導出する。各ヘッドｉにおいて導出された隠れベクトルＳｔｕｄｅｎｔ ｈｉ，ｔは、全結合レイヤ５４０にわたされる。
【0037】
第２モデル処理部１２０は、訓練対象のストリーミング型Ｔ－Ｔモデル５００において導出されるベクトルを内部表現として抽出する。抽出した内部表現は、訓練対象のストリーミング型Ｔ－Ｔモデル５００を訓練するのに利用される。一実施例では、内部表現は、ストリーミング型Ｔ－Ｔモデル５００から出力される隠れベクトルＳｔｕｄｅｎｔ ｈと、マルチヘッド切り捨てセルフアテンションレイヤ５２０から出力されるマルチヘッドベクトルＳｔｕｄｅｎｔ ｈ１，ｔ，・・・，Ｓｔｕｄｅｎｔ ｈｈｅａｄ，ｔとから構成されてもよい。第２モデル処理部１２０は、訓練済み非ストリーミング型Ｔ－Ｔモデル４００と訓練対象のストリーミング型Ｔ－Ｔモデル５００との双方に入力される音響特徴量系列ｘ＝（ｘ１，・・・，ｘＴ）に対して、隠れベクトルＳｔｕｄｅｎｔ ｈとマルチヘッドベクトルＳｔｕｄｅｎｔ ｈｉ，ｔ（ｉ＝１，・・・，ｈｅａｄ）とを内部表現として抽出する。
【0038】
しかしながら、本開示による内部表現は、必ずしもこれらに限定されず、知識蒸留に利用されるＴ－Ｔモデルのアーキテクチャに対応した他のベクトルを内部表現として抽出してもよい。また、本実施例では、隠れベクトルＴｅａｃｈｅｒ ｈとマルチヘッドベクトルＴｅａｃｈｅｒ ｈｉ，ｔとの双方が内部表現として抽出されるが、本開示による内部表現は、これに限定されず、隠れベクトルＴｅａｃｈｅｒ ｈとマルチヘッドベクトルＴｅａｃｈｅｒ ｈｉ，ｔの一方又は一部であってもよい。
【0039】
訓練部１３０は、第１モデル処理部１１０によって抽出された内部表現と、第２モデル処理部１２０によって抽出された内部表現との間の類似度に基づいて、訓練対象のストリーミング型Ｔ－Ｔモデル５００を訓練する。具体的には、訓練部１３０は、非ストリーミング型Ｔ－Ｔモデル４００の隠れベクトルＴｅａｃｈｅｒ ｈと、ストリーミング型Ｔ－Ｔモデル５００の隠れベクトルＳｔｕｄｅｎｔ ｈとの間の差分λｈｉｄｄｅｎ＿ｓｉｍを算出する。すなわち、訓練部１３０は、以下の式（１）に従って差分λｈｉｄｄｅｎ＿ｓｉｍを算出する。
ここで、ｈは隠れベクトルであり、Ｎ及びＴはそれぞれ、トランスフォーマレイヤ５００のレイヤ数、及び入力された音響特徴量系列の長さである。
【数1】
【0040】
また、訓練部１３０は、非ストリーミング型Ｔ－Ｔモデル４００のマルチヘッドベクトルＴｅａｃｈｅｒ ｈｉ，ｔと、ストリーミング型Ｔ－Ｔモデル５００のマルチヘッドベクトルＳｔｕｄｅｎｔ ｈｉ，ｔとの間の差分λｈｅａｄ＿ｓｉｍを算出する。すなわち、訓練部１３０は、以下の式（２）に従って差分λｈｅａｄ＿ｓｉｍを算出する。
ここで、ｈ’はマルチヘッドベクトルであり、ｈｅａｄはヘッド数である。
【数2】
【0041】
そして、訓練部１３０は、訓練対象のストリーミング型Ｔ－Ｔモデル５００を訓練するため、ストリーミング型Ｔ－Ｔモデル５００を含むニューラルトランスデューサ３００のＲＮＮ－Ｔ損失λＲＮＮ－Ｔと２つの差分λｈｉｄｄｅｎ＿ｓｉｍ,λｈｅａｄ＿ｓｉｍとを重み付きで加算する。
ここで、αはハイパパラメータであり、ＲＮＮ－Ｔ損失λＲＮＮ－Ｔは、フォワード・バックワードアルゴリズムを利用した全てのパスに対する確率の和として計算され、
により表される。ここで、Ｚ（ｙ，Ｔ）は、トークン系列ｙの長さＴの全てのアライメントの集合である。
【数3】
【数4】
【0042】
訓練部１３０は、λＲＮＮ－Ｔ＋ｈｉｄｄｅｎ＿ｓｉｍ及び／又はλＲＮＮ－Ｔ＋ｈｅａｄ＿ｓｉｍが減少するよう訓練対象のストリーミング型Ｔ－Ｔモデル５００のパラメータを更新する。すなわち、訓練部１３０は、隠れベクトルＴｅａｃｈｅｒ ｈと隠れベクトルＳｔｕｄｅｎｔ ｈとの間の差分λｈｉｄｄｅｎ＿ｓｉｍと、マルチヘッドベクトルＴｅａｃｈｅｒ ｈｉ，ｔとマルチヘッドベクトルＳｔｕｄｅｎｔ ｈｉ，ｔとの間の差分λｈｅａｄ＿ｓｉｍとの一方又は双方が減少するように、ストリーミング型Ｔ－Ｔモデル５００の結合重み係数などのパラメータを更新する。
【0043】
訓練部１３０は、所定の終了条件が充足されるまで、上述したパラメータ更新処理を繰り返す。所定の終了条件としては、例えば、訓練データベース５０の全ての訓練データが処理されたこと、損失値λＲＮＮ－Ｔ＋ｈｉｄｄｅｎ＿ｓｉｍ及びλＲＮＮ－Ｔ＋ｈｅａｄ＿ｓｉｍが所定の閾値以下に収束したことなどであってもよい。所定の終了条件が充足されると、訓練部１３０は、取得されたストリーミング型Ｔ－Ｔモデル５００を音声認識装置２００に提供する。
【0044】
［訓練処理］
次に、図９を参照して、本開示の一実施例によるストリーミング型Ｔ－Ｔモデル５００の訓練処理を説明する。当該訓練処理は、上述した訓練装置１００によって実行され、より詳細には、訓練装置１００の１つ以上のプロセッサ１０２が１つ以上の記憶装置１０１に格納された１つ以上のプログラム又は指示を実行することによって実現されてもよい。図９は、本開示の一実施例による訓練処理を示すフローチャートである。
次に、図９を参照して、本開示の一実施例によるストリーミング型Ｔ－Ｔモデル５００の訓練処理を説明する。当該訓練処理は、上述した訓練装置１００によって実行され、より詳細には、訓練装置１００の１つ以上のプロセッサ１０２が１つ以上の記憶装置１０１に格納された１つ以上のプログラム又は指示を実行することによって実現されてもよい。図９は、本開示の一実施例による訓練処理を示すフローチャートである。
【0045】
図９に示されるように、ステップＳ１０１において、訓練装置１００は、音響特徴量系列ｘを取得する。具体的には、訓練装置１００は、訓練データベース５０から訓練用の音響特徴量系列ｘを取得する。
【0046】
ステップＳ１０２において、訓練装置１００は、取得した音響特徴量系列Ｘを、訓練済み非ストリーミング型Ｔ－Ｔモデル４００を含むニューラルトランスデューサ３００と、訓練対象のストリーミング型Ｔ－Ｔモデル５００を含むニューラルトランスデューサ３００とにそれぞれ入力する。
【0047】
ステップＳ１０３において、訓練装置１００は、損失値λＲＮＮ－Ｔ＋ｈｉｄｄｅｎ＿ｓｉｍ及びλＲＮＮ－Ｔ＋ｈｅａｄ＿ｓｉｍを算出する。具体的には、訓練装置１００は、訓練済み非ストリーミング型Ｔ－Ｔモデル４００の隠れベクトルＴｅａｃｈｅｒ ｈと、訓練対象のストリーミング型Ｔ－Ｔモデル５００の隠れベクトルＳｔｕｄｅｎｔ ｈとの間の差分λｈｉｄｄｅｎ＿ｓｉｍを算出する。訓練装置１００は更に、訓練済み非ストリーミング型Ｔ－Ｔモデル４００のマルチヘッドベクトルＴｅａｃｈｅｒ ｈｉ，ｔと、訓練対象のストリーミング型Ｔ－Ｔモデル５００のマルチヘッドベクトルＳｔｕｄｅｎｔ ｈｉ，ｔとの間の差分λｈｅａｄ＿ｓｉｍを算出する。また、訓練装置１００は、ニューラルトランスデューサ３００のＲＮＮ－Ｔ損失λＲＮＮ－Ｔを算出し、これらの算出結果に基づいて、
を算出する。
【数5】
【0048】
ステップＳ１０４において、訓練装置１００は、式（７）及び／又は式（８）の損失値が減少するようにストリーミング型Ｔ－Ｔモデル５００のパラメータを更新する。例えば、当該パラメータは、バックプロパゲーションアルゴリズムなどの何れか公知のパラメータ更新アルゴリズムに従って更新されてもよい。
【0049】
ステップＳ１０５において、訓練装置１００は、所定の終了条件が充足されているか判定する。例えば、所定の終了条件として、訓練データベース５０の全ての訓練データが処理されたこと、損失値λＲＮＮ－Ｔ＋ｈｉｄｄｅｎ＿ｓｉｍ及び／又はλＲＮＮ－Ｔ＋ｈｅａｄ＿ｓｉｍが所定の閾値以下に収束したことなどであってもよい。終了条件が充足されている場合（Ｓ１０５：ＹＥＳ），訓練装置１００は、当該訓練処理を終了し、ストリーミング型Ｔ－Ｔモデル５００を音声認識装置２００に提供する。他方、終了条件が充足されていない場合（Ｓ１０５：ＮＯ）、訓練装置１００は、ステップＳ１０１に戻って、次の音響特徴量系列ｘに対して上述したステップを繰り返す。
【0050】
上述した訓練装置１００及び訓練方法によると、従来の知識蒸留に従って訓練済みモデルと訓練対象のモデルにおける事後確率の差分（例えば、Ｋｕｌｌｂａｃｋ－Ｌｅｉｂｌｅｒ（ＫＬ）ダイバージェンスなど）に基づいて訓練対象のモデルを訓練する場合と比較して、ニューラルトランスデューサに搭載されるストリーミング型Ｔ－Ｔモデル５００を良好に訓練することができる。
【0051】
［音声認識装置］
次に、図１０を参照して、本開示の一実施例による音声認識装置２００を説明する。本実施例による音声認識装置２００は、訓練装置１００から提供された訓練済みストリーミング型Ｔ－Ｔモデル５００を利用して、認識対象の音声データから当該音声データの発話内容を示す音声認識結果（すなわち、音声認識仮説）を出力する。図１０は、本開示の一実施例による音声認識装置２００の機能構成を示すブロック図である。
次に、図１０を参照して、本開示の一実施例による音声認識装置２００を説明する。本実施例による音声認識装置２００は、訓練装置１００から提供された訓練済みストリーミング型Ｔ－Ｔモデル５００を利用して、認識対象の音声データから当該音声データの発話内容を示す音声認識結果（すなわち、音声認識仮説）を出力する。図１０は、本開示の一実施例による音声認識装置２００の機能構成を示すブロック図である。
【0052】
図１０に示されるように、音声認識装置２００は、前処理部２１０、音声符号化部２２０及び音声認識部２３０を有する。
【0053】
前処理部２１０は、処理対象の音声データを取得し、取得した音声データを特徴量系列に変換する。例えば、前処理部２１０は、取得した音声データを１０ｍｓｅｃなどの所定の時間単位の音声データセグメントの系列に分割し、音響特徴量系列ｘ＝（ｘ１，ｘ２，・・・，ｘＴ）を得る。音声データセグメントから音響特徴量への変換は、離散フーリエ変換などの何れか公知の変換方式に従って実行されてもよい。
【0054】
音声符号化部２２０は、訓練済みストリーミング型Ｔ－Ｔモデル５００に特徴量系列を入力し、訓練済みストリーミング型Ｔ－Ｔモデルから隠れベクトルを取得する。具体的には、音声符号化部２２０は、オーディオエンコーダ３１０として利用される訓練済みストリーミング型Ｔ－Ｔモデル５００を含むニューラルトランスデューサ３００に、音響特徴量系列ｘｕを入力する。ニューラルトランスデューサ３００では、図２に示されるように、音響特徴量系列ｘｕはまず、オーディオエンコーダ３１０に入力され、オーディオエンコーダ３１０から隠れベクトルｈｕが出力される。ここで、訓練済みストリーミング型Ｔ－Ｔモデル５００は、上述した訓練処理に従って、訓練済み非ストリーミング型Ｔ－Ｔモデル４００に訓練用の特徴量系列を入力して内部表現を取得し、訓練対象のストリーミング型Ｔ－Ｔモデル５００に訓練用の特徴量系列を入力して内部表現を取得し、これらの内部表現の間の類似度に基づいて訓練されたものであってもよい。
【0055】
音声認識部２３０は、隠れベクトルとトークンとに基づいて音声認識を実行し、音声認識結果を出力する。具体的には、音声認識部２３０は、オーディオエンコーダ３１０から取得した隠れベクトルｈｕと、ラベルエンコーダ３２０から出力されたトークンｙｕとを結合し、共同ネットワーク３３０に入力し、Ｓｏｆｔｍａｘレイヤ３４０を介し、トークンの事後確率Ｐ（ｙ｜ｘ）を音声認識結果として取得する。例えば、トークンは、文字、サブワード、単語などであってもよい。
【0056】
［音声認識処理］
次に、図１１を参照して、本開示の一実施例による音声認識処理を説明する。当該音声認識処理は、上述した音声認識装置２００によって実行され、より詳細には、音声認識装置２００の１つ以上のプロセッサ１０２が１つ以上の記憶装置１０１に格納された１つ以上のプログラム又は指示を実行することによって実現されてもよい。図１１は、本開示の一実施例による音声認識処理を示すフローチャートである。
次に、図１１を参照して、本開示の一実施例による音声認識処理を説明する。当該音声認識処理は、上述した音声認識装置２００によって実行され、より詳細には、音声認識装置２００の１つ以上のプロセッサ１０２が１つ以上の記憶装置１０１に格納された１つ以上のプログラム又は指示を実行することによって実現されてもよい。図１１は、本開示の一実施例による音声認識処理を示すフローチャートである。
【0057】
図１１に示されるように、ステップＳ２０１において、音声認識装置２００は、音声データを前処理し、音響特徴量系列ｘを取得する。
【0058】
ステップＳ２０２において、音声認識装置２００は、音響特徴量系列ｘを訓練済みストリーミング型Ｔ－Ｔモデル５００に入力し、隠れベクトルを取得する。具体的には、訓練済みストリーミング型Ｔ－Ｔモデル５００は、ニューラルトランスデューサ３００におけるオーディオエンコーダ３１０として利用され、音声認識装置２００は、音響特徴量系列ｘｕをオーディオエンコーダ３１０に入力し、オーディオエンコーダ３１０から隠れベクトルｈｕを取得する。
【0059】
ステップＳ２０３において、音声認識装置２００は、隠れベクトルとトークンとに基づいて音声認識を実行し、音声認識結果を取得する。具体的には、音声認識装置２００は、オーディオエンコーダ３１０から取得した隠れベクトルｈｕと、ラベルエンコーダ３２０から取得したトークンｙｕとを結合し、共同ネットワーク３３０に入力し、Ｓｏｆｔｍａｘレイヤ３４０を介し、トークンの事後確率Ｐ（ｙ｜ｘ）を取得する。最終的に、この事後確率が最大となるトークンを出力することで、仮説が得られる。あるいは、確率の高い上位Ｎ個のトークンを出力し、ビームサーチに基づき、枝刈りを行うことで、仮説の候補を得ることもできる。
【0060】
ステップＳ２０４において、音声認識装置２００は、認識対象の更なる音声データがあるか判定する。認識対象の更なる音声データがある場合（Ｓ２０４：ＹＥＳ）、音声認識装置２００は、ステップＳ２０１に戻って、当該音声データに対して上述したステップを繰り返す。他方、認識対象の更なる音声データがない場合（Ｓ２０４：ＮＯ）、音声認識装置２００は、当該音声認識処理を終了する。
【0061】
上述した音声認識装置２００及び音声認識処理によると、ストリーミング音声データに対して、非ストリーミング型Ｔ－Ｔモデルと同等の精度によって音声認識処理を実行することが可能になる。
【0062】
なお、以上の説明に関して更に以下の付記を開示する。
（付記１）
訓練済み非ストリーミング型トランスフォーマ－トランスデューサモデルに特徴量系列を入力し、前記非ストリーミング型トランスフォーマ－トランスデューサモデルから第１の内部表現を取得する第１モデル処理部と、
ストリーミング型トランスフォーマ－トランスデューサモデルに前記特徴量系列を入力し、前記ストリーミング型トランスフォーマ－トランスデューサモデルから第２の内部表現を取得する第２モデル処理部と、
前記第１の内部表現と前記第２の内部表現との間の類似度に基づいて前記ストリーミング型トランスフォーマ－トランスデューサモデルを訓練する訓練部と、
を有する訓練装置。
（付記２）
前記第１の内部表現は、前記非ストリーミング型トランスフォーマ－トランスデューサモデルから出力される第１の隠れベクトルから構成され、
前記第２の内部表現は、前記ストリーミング型トランスフォーマ－トランスデューサモデルから出力される第２の隠れベクトルから構成され、
前記訓練部は、前記第１の隠れベクトルと前記第２の隠れベクトルとの間の第１の差分が減少するように、前記ストリーミング型トランスフォーマ－トランスデューサモデルのパラメータを更新する、付記１に記載の訓練装置。
（付記３）
前記第１の内部表現は、前記非ストリーミング型トランスフォーマ－トランスデューサモデルにおけるマルチヘッドセルフアテンションレイヤから出力される第１のマルチヘッドベクトルから構成され、
前記第２の内部表現は、前記ストリーミング型トランスフォーマ－トランスデューサモデルにおけるマルチヘッド切り捨てセルフアテンションレイヤから出力される第２のマルチヘッドベクトルから構成され、
前記訓練部は、前記第１のマルチヘッドベクトルと前記第２のマルチヘッドベクトルとの間の第２の差分が減少するように、前記ストリーミング型トランスフォーマ－トランスデューサモデルのパラメータを更新する、付記１又は２に記載の訓練装置。
（付記４）
訓練済み非ストリーミング型トランスフォーマ－トランスデューサモデルに特徴量系列を入力し、非ストリーミング型トランスフォーマ－トランスデューサモデルから第１の内部表現を取得するステップと、
ストリーミング型トランスフォーマ－トランスデューサモデルに前記特徴量系列を入力し、前記ストリーミング型トランスフォーマ－トランスデューサモデルから第２の内部表現を取得するステップと、
前記第１の内部表現と前記第２の内部表現との間の類似度に基づいて前記ストリーミング型トランスフォーマ－トランスデューサモデルのパラメータを更新するステップと、
を有する、コンピュータによって実行される訓練方法。
（付記５）
訓練済み非ストリーミング型トランスフォーマ－トランスデューサモデルに特徴量系列を入力し、非ストリーミング型トランスフォーマ－トランスデューサモデルから第１の内部表現を取得する処理と、
ストリーミング型トランスフォーマ－トランスデューサモデルに前記特徴量系列を入力し、前記ストリーミング型トランスフォーマ－トランスデューサモデルから第２の内部表現を取得する処理と、
前記第１の内部表現と前記第２の内部表現との間の類似度に基づいて前記ストリーミング型トランスフォーマ－トランスデューサモデルのパラメータを更新する処理と、
をコンピュータに実行させるプログラム。
（付記６）
処理対象の音声データを取得し、前記取得した音声データを特徴量系列に変換する前処理部と、
訓練済みストリーミング型トランスフォーマ－トランスデューサモデルに前記特徴量系列を入力し、前記訓練済みストリーミング型トランスフォーマ－トランスデューサモデルから隠れベクトルを取得する音声符号化部と、
前記隠れベクトルとトークンとに基づいて音声認識を実行し、音声認識結果を出力する音声認識部と、
を有し、
前記訓練済みストリーミング型トランスフォーマ－トランスデューサモデルは、訓練済み非ストリーミング型トランスフォーマ－トランスデューサモデルに訓練用の特徴量系列を入力し、第１の内部表現を取得し、訓練対象のストリーミング型トランスフォーマ－トランスデューサモデルに前記訓練用の特徴量系列を入力し、前記ストリーミング型トランスフォーマ－トランスデューサモデルから第２の内部表現を取得し、前記第１の内部表現と前記第２の内部表現との間の類似度に基づいて訓練される、音声認識装置。
（付記７）
処理対象の音声データを取得し、前記取得した音声データを特徴量系列に変換するステップと、
訓練済みストリーミング型トランスフォーマ－トランスデューサモデルに前記特徴量系列を入力し、前記訓練済みストリーミング型トランスフォーマ－トランスデューサモデルから隠れベクトルを取得するステップと、
前記隠れベクトルとトークンとに基づいて音声認識を実行し、音声認識結果を出力するステップと、
を有し、
前記訓練済みストリーミング型トランスフォーマ－トランスデューサモデルは、訓練済み非ストリーミング型トランスフォーマ－トランスデューサモデルに訓練用の特徴量系列を入力し、第１の内部表現を取得し、訓練対象のストリーミング型トランスフォーマ－トランスデューサモデルに前記訓練用の特徴量系列を入力し、前記ストリーミング型トランスフォーマ－トランスデューサモデルから第２の内部表現を取得し、前記第１の内部表現と前記第２の内部表現との間の類似度に基づいて訓練される、コンピュータによって実行される音声認識方法。
（付記８）
処理対象の音声データを取得し、前記取得した音声データを特徴量系列に変換する処理と、
訓練済みストリーミング型トランスフォーマ－トランスデューサモデルに前記特徴量系列を入力し、前記訓練済みストリーミング型トランスフォーマ－トランスデューサモデルから隠れベクトルを取得する処理と、
前記隠れベクトルとトークンとに基づいて音声認識を実行し、音声認識結果を出力する処理と、
をコンピュータに実行させ、
前記訓練済みストリーミング型トランスフォーマ－トランスデューサモデルは、訓練済み非ストリーミング型トランスフォーマ－トランスデューサモデルに訓練用の特徴量系列を入力し、第１の内部表現を取得し、訓練対象のストリーミング型トランスフォーマ－トランスデューサモデルに前記訓練用の特徴量系列を入力し、前記ストリーミング型トランスフォーマ－トランスデューサモデルから第２の内部表現を取得し、前記第１の内部表現と前記第２の内部表現との間の類似度に基づいて訓練される、プログラム。
（付記９）
訓練済みストリーミングトランスフォーマ－トランスデューサモデルを実現するプログラムであって、
前記訓練済みストリーミング型トランスフォーマ－トランスデューサモデルは、訓練済み非ストリーミング型トランスフォーマ－トランスデューサモデルに訓練用の特徴量系列を入力し、第１の内部表現を取得し、訓練対象のストリーミング型トランスフォーマ－トランスデューサモデルに前記訓練用の特徴量系列を入力し、前記ストリーミング型トランスフォーマ－トランスデューサモデルから第２の内部表現を取得し、前記第１の内部表現と前記第２の内部表現との間の類似度に基づいて訓練される、プログラム。
（付記１）
訓練済み非ストリーミング型トランスフォーマ－トランスデューサモデルに特徴量系列を入力し、前記非ストリーミング型トランスフォーマ－トランスデューサモデルから第１の内部表現を取得する第１モデル処理部と、
ストリーミング型トランスフォーマ－トランスデューサモデルに前記特徴量系列を入力し、前記ストリーミング型トランスフォーマ－トランスデューサモデルから第２の内部表現を取得する第２モデル処理部と、
前記第１の内部表現と前記第２の内部表現との間の類似度に基づいて前記ストリーミング型トランスフォーマ－トランスデューサモデルを訓練する訓練部と、
を有する訓練装置。
（付記２）
前記第１の内部表現は、前記非ストリーミング型トランスフォーマ－トランスデューサモデルから出力される第１の隠れベクトルから構成され、
前記第２の内部表現は、前記ストリーミング型トランスフォーマ－トランスデューサモデルから出力される第２の隠れベクトルから構成され、
前記訓練部は、前記第１の隠れベクトルと前記第２の隠れベクトルとの間の第１の差分が減少するように、前記ストリーミング型トランスフォーマ－トランスデューサモデルのパラメータを更新する、付記１に記載の訓練装置。
（付記３）
前記第１の内部表現は、前記非ストリーミング型トランスフォーマ－トランスデューサモデルにおけるマルチヘッドセルフアテンションレイヤから出力される第１のマルチヘッドベクトルから構成され、
前記第２の内部表現は、前記ストリーミング型トランスフォーマ－トランスデューサモデルにおけるマルチヘッド切り捨てセルフアテンションレイヤから出力される第２のマルチヘッドベクトルから構成され、
前記訓練部は、前記第１のマルチヘッドベクトルと前記第２のマルチヘッドベクトルとの間の第２の差分が減少するように、前記ストリーミング型トランスフォーマ－トランスデューサモデルのパラメータを更新する、付記１又は２に記載の訓練装置。
（付記４）
訓練済み非ストリーミング型トランスフォーマ－トランスデューサモデルに特徴量系列を入力し、非ストリーミング型トランスフォーマ－トランスデューサモデルから第１の内部表現を取得するステップと、
ストリーミング型トランスフォーマ－トランスデューサモデルに前記特徴量系列を入力し、前記ストリーミング型トランスフォーマ－トランスデューサモデルから第２の内部表現を取得するステップと、
前記第１の内部表現と前記第２の内部表現との間の類似度に基づいて前記ストリーミング型トランスフォーマ－トランスデューサモデルのパラメータを更新するステップと、
を有する、コンピュータによって実行される訓練方法。
（付記５）
訓練済み非ストリーミング型トランスフォーマ－トランスデューサモデルに特徴量系列を入力し、非ストリーミング型トランスフォーマ－トランスデューサモデルから第１の内部表現を取得する処理と、
ストリーミング型トランスフォーマ－トランスデューサモデルに前記特徴量系列を入力し、前記ストリーミング型トランスフォーマ－トランスデューサモデルから第２の内部表現を取得する処理と、
前記第１の内部表現と前記第２の内部表現との間の類似度に基づいて前記ストリーミング型トランスフォーマ－トランスデューサモデルのパラメータを更新する処理と、
をコンピュータに実行させるプログラム。
（付記６）
処理対象の音声データを取得し、前記取得した音声データを特徴量系列に変換する前処理部と、
訓練済みストリーミング型トランスフォーマ－トランスデューサモデルに前記特徴量系列を入力し、前記訓練済みストリーミング型トランスフォーマ－トランスデューサモデルから隠れベクトルを取得する音声符号化部と、
前記隠れベクトルとトークンとに基づいて音声認識を実行し、音声認識結果を出力する音声認識部と、
を有し、
前記訓練済みストリーミング型トランスフォーマ－トランスデューサモデルは、訓練済み非ストリーミング型トランスフォーマ－トランスデューサモデルに訓練用の特徴量系列を入力し、第１の内部表現を取得し、訓練対象のストリーミング型トランスフォーマ－トランスデューサモデルに前記訓練用の特徴量系列を入力し、前記ストリーミング型トランスフォーマ－トランスデューサモデルから第２の内部表現を取得し、前記第１の内部表現と前記第２の内部表現との間の類似度に基づいて訓練される、音声認識装置。
（付記７）
処理対象の音声データを取得し、前記取得した音声データを特徴量系列に変換するステップと、
訓練済みストリーミング型トランスフォーマ－トランスデューサモデルに前記特徴量系列を入力し、前記訓練済みストリーミング型トランスフォーマ－トランスデューサモデルから隠れベクトルを取得するステップと、
前記隠れベクトルとトークンとに基づいて音声認識を実行し、音声認識結果を出力するステップと、
を有し、
前記訓練済みストリーミング型トランスフォーマ－トランスデューサモデルは、訓練済み非ストリーミング型トランスフォーマ－トランスデューサモデルに訓練用の特徴量系列を入力し、第１の内部表現を取得し、訓練対象のストリーミング型トランスフォーマ－トランスデューサモデルに前記訓練用の特徴量系列を入力し、前記ストリーミング型トランスフォーマ－トランスデューサモデルから第２の内部表現を取得し、前記第１の内部表現と前記第２の内部表現との間の類似度に基づいて訓練される、コンピュータによって実行される音声認識方法。
（付記８）
処理対象の音声データを取得し、前記取得した音声データを特徴量系列に変換する処理と、
訓練済みストリーミング型トランスフォーマ－トランスデューサモデルに前記特徴量系列を入力し、前記訓練済みストリーミング型トランスフォーマ－トランスデューサモデルから隠れベクトルを取得する処理と、
前記隠れベクトルとトークンとに基づいて音声認識を実行し、音声認識結果を出力する処理と、
をコンピュータに実行させ、
前記訓練済みストリーミング型トランスフォーマ－トランスデューサモデルは、訓練済み非ストリーミング型トランスフォーマ－トランスデューサモデルに訓練用の特徴量系列を入力し、第１の内部表現を取得し、訓練対象のストリーミング型トランスフォーマ－トランスデューサモデルに前記訓練用の特徴量系列を入力し、前記ストリーミング型トランスフォーマ－トランスデューサモデルから第２の内部表現を取得し、前記第１の内部表現と前記第２の内部表現との間の類似度に基づいて訓練される、プログラム。
（付記９）
訓練済みストリーミングトランスフォーマ－トランスデューサモデルを実現するプログラムであって、
前記訓練済みストリーミング型トランスフォーマ－トランスデューサモデルは、訓練済み非ストリーミング型トランスフォーマ－トランスデューサモデルに訓練用の特徴量系列を入力し、第１の内部表現を取得し、訓練対象のストリーミング型トランスフォーマ－トランスデューサモデルに前記訓練用の特徴量系列を入力し、前記ストリーミング型トランスフォーマ－トランスデューサモデルから第２の内部表現を取得し、前記第１の内部表現と前記第２の内部表現との間の類似度に基づいて訓練される、プログラム。
【0063】
以上、本開示の実施例について詳述したが、本開示は上述した特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本開示の要旨の範囲内において、種々の変形・変更が可能である。
【符号の説明】
【0064】
１０ 音声認識システム
５０ 訓練データベース
１００ 訓練装置
１１０ 第１モデル処理部
１２０ 第２モデル処理部
１３０ 訓練部
２００ 音声認識装置
２１０ 前処理部
２２０ 音声符号化部
２３０ 音声認識部
５０ 訓練データベース
１００ 訓練装置
１１０ 第１モデル処理部
１２０ 第２モデル処理部
１３０ 訓練部
２００ 音声認識装置
２１０ 前処理部
２２０ 音声符号化部
２３０ 音声認識部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】