知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024167852
(43)【公開日】2024-12-04
(54)【発明の名称】音声認識システムおよびプログラム
(51)【国際特許分類】
G10L 15/16 20060101AFI20241127BHJP
【ＦＩ】
G10L15/16
【審査請求】未請求
【請求項の数】5
【出願形態】ＯＬ
(21)【出願番号】P 2023084223
(22)【出願日】2023-05-22
【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り （１）令和４年１１月２日（米国は１１月１日）掲載 （論文掲載サイト） ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／２２１１．００８５８ｖ１ ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ｐｄｆ／２２１１．００８５８ｖ１．ｐｄｆ （上記の論文掲載サイトへのリンクサイト） ｈｔｔｐｓ：／／ｊｇｌｏｂａｌ．ｊｓｔ．ｇｏ．ｊｐ／ｅｎ／ｄｅｔａｉｌ？ＪＧＬＯＢＡＬ＿ＩＤ＝２０２２０２２０９４５２７１６７５６ （上記の論文掲載サイトに掲載した論文を発表する会議の開催者サイト） ｈｔｔｐｓ：／／ｉｅｅｅｘｐｌｏｒｅ．ｉｅｅｅ．ｏｒｇ／ｄｏｃｕｍｅｎｔ／１００９４６１４を通じて論文を発表 （２）令和５年２月２１日掲載 ｈｔｔｐｓ：／／ｉｐｓｊ．ｉｘｓｑ．ｎｉｉ．ａｃ．ｊｐ／ｅｊ／？ａｃｔｉｏｎ＝ｐａｇｅｓ＿ｖｉｅｗ＿ｍａｉｎ＆ａｃｔｉｖｅ＿ａｃｔｉｏｎ＝ｒｅｐｏｓｉｔｏｒｙ＿ｖｉｅｗ＿ｍａｉｎ＿ｉｔｅｍ＿ｄｅｔａｉｌ＆ｉｔｅｍ＿ｉｄ＝２２４４０６＆ｉｔｅｍ＿ｎｏ＝１＆ｐａｇｅ＿ｉｄ＝１３＆ｂｌｏｃｋ＿ｉｄ＝８を通じて論文を発表 （３）令和５年２月２８日発表 一般社団法人情報処理学会の第１４６回音声言語情報処理研究会（ＳＩＧ－ＳＬＰ）の研究発表会、沖縄県立博物館・美術館（おきみゅー）にて、スライドを用いて発表
(71)【出願人】
【識別番号】899000068
【氏名又は名称】学校法人早稲田大学
(74)【代理人】
【識別番号】100114638
【弁理士】
【氏名又は名称】中野 寛也
(72)【発明者】
【氏名】小林 哲則
(72)【発明者】
【氏名】藤江 真也
(72)【発明者】
【氏名】小川 哲司
(72)【発明者】
【氏名】趙 懐博
(72)【発明者】
【氏名】佐久間 仁
(57)【要約】
【課題】高精度を維持しつつ、低遅延を実現可能な音声認識システムおよびプログラムを提供する。
【解決手段】主入力データ（ターゲット部および先読み部を含む）のターゲット部に対応するコードを出力する主エンコーダ３２と、部分先読み用の補助入力データ（ターゲット部を含み、かつ、主入力データよりも短い先読み部を含む）のターゲット部に対応するコードを出力する補助エンコーダ３３および／またはゼロ先読み用の補助入力データ（ターゲット部を含み、かつ、先読み部を含まない）のターゲット部に対応するコードを出力する補助エンコーダ３４とを設け、主エンコーダ３２と補助エンコーダ３３，３４との少なくとも一部のエンコーダ層のパラメータを共有化し、音声認識システム１０を構成した。
【選択図】図１
【解決手段】主入力データ（ターゲット部および先読み部を含む）のターゲット部に対応するコードを出力する主エンコーダ３２と、部分先読み用の補助入力データ（ターゲット部を含み、かつ、主入力データよりも短い先読み部を含む）のターゲット部に対応するコードを出力する補助エンコーダ３３および／またはゼロ先読み用の補助入力データ（ターゲット部を含み、かつ、先読み部を含まない）のターゲット部に対応するコードを出力する補助エンコーダ３４とを設け、主エンコーダ３２と補助エンコーダ３３，３４との少なくとも一部のエンコーダ層のパラメータを共有化し、音声認識システム１０を構成した。
【選択図】図１
【特許請求の範囲】
【請求項1】
ブロック処理によるストリーミング音声認識処理を実行するコンピュータにより構成された音声認識システムであって、
音声信号から得られた複数の音響特徴量で構成されるブロック化された入力データとして音声認識対象のターゲット部およびこのターゲット部よりも時間的に後の発声で得られる先読み部を含む主入力データの入力に対し、この主入力データについての前記ターゲット部を構成する前記音響特徴量に対応するコードを出力する主エンコーダを備えるとともに、
前記ブロック化された入力データとして前記ターゲット部を含み、かつ、前記先読み部を含まないゼロ先読み用の補助入力データの入力に対し、このゼロ先読み用の補助入力データについての前記ターゲット部を構成する前記音響特徴量に対応するコードを出力するゼロ先読み用の補助エンコーダと、
前記ブロック化された入力データとして前記ターゲット部を含み、かつ、前記主入力データについての前記先読み部よりも短い先読み部を含む部分先読み用の補助入力データの入力に対し、この部分先読み用の補助入力データについての前記ターゲット部を構成する前記音響特徴量に対応するコードを出力する部分先読み用の補助エンコーダとのうち、
少なくとも一方の補助エンコーダを備え、
前記主エンコーダと、前記補助エンコーダとは、少なくとも一部のエンコーダ層のパラメータが共有化されていることを特徴とする音声認識システム。
音声信号から得られた複数の音響特徴量で構成されるブロック化された入力データとして音声認識対象のターゲット部およびこのターゲット部よりも時間的に後の発声で得られる先読み部を含む主入力データの入力に対し、この主入力データについての前記ターゲット部を構成する前記音響特徴量に対応するコードを出力する主エンコーダを備えるとともに、
前記ブロック化された入力データとして前記ターゲット部を含み、かつ、前記先読み部を含まないゼロ先読み用の補助入力データの入力に対し、このゼロ先読み用の補助入力データについての前記ターゲット部を構成する前記音響特徴量に対応するコードを出力するゼロ先読み用の補助エンコーダと、
前記ブロック化された入力データとして前記ターゲット部を含み、かつ、前記主入力データについての前記先読み部よりも短い先読み部を含む部分先読み用の補助入力データの入力に対し、この部分先読み用の補助入力データについての前記ターゲット部を構成する前記音響特徴量に対応するコードを出力する部分先読み用の補助エンコーダとのうち、
少なくとも一方の補助エンコーダを備え、
前記主エンコーダと、前記補助エンコーダとは、少なくとも一部のエンコーダ層のパラメータが共有化されていることを特徴とする音声認識システム。
【請求項2】
運用時に、音声信号から得られた複数の前記音響特徴量で構成される最新の入力データから、前記主入力データについての前記先読み部を構成する前記音響特徴量を自己の前記ターゲット部とする前記補助入力データを作成することにより、前記主入力データ、および前記主入力データに対して前記最新の入力データにおける前記ターゲット部の位置を未来方向にずらした状態の前記補助入力データを用意する入力処理手段を備え、
前記主エンコーダおよび前記補助エンコーダは、
前記主入力データによる学習用のデータセットと、前記補助入力データによる学習用のデータセットとを用いて、ブロック中の固定位置に、前記主入力データおよび前記補助入力データのそれぞれの前記ターゲット部が来るように、前記主入力データおよび前記補助入力データを入力することにより、１つのニューラルネットワークを機械学習して得られたエンコーダであり、同一のネットワーク構造を有し、かつ、全ての層が同一のパラメータにより構成され、
運用時には、前記主入力データを前記主エンコーダに入力し、前記ブロック中の固定位置で、前記主入力データについての前記ターゲット部を構成する前記音響特徴量に対応するコードを出力する処理と、
前記入力処理手段により作成された前記補助入力データについての前記ターゲット部の位置が前記ブロック中の固定位置に来るように、前記補助入力データを前記補助エンコーダに入力することにより、前記ブロック中の固定位置で、前記補助入力データについての前記ターゲット部を構成する前記音響特徴量に対応するコードを出力する処理とを並列処理で実行し、
前記主エンコーダから出力されたコードと、前記補助エンコーダから出力されたコードとをまとめた状態で、トークンの出力処理を実行する後段ネットワークへ送る構成とされている
ことを特徴とする請求項１に記載の音声認識システム。
前記主エンコーダおよび前記補助エンコーダは、
前記主入力データによる学習用のデータセットと、前記補助入力データによる学習用のデータセットとを用いて、ブロック中の固定位置に、前記主入力データおよび前記補助入力データのそれぞれの前記ターゲット部が来るように、前記主入力データおよび前記補助入力データを入力することにより、１つのニューラルネットワークを機械学習して得られたエンコーダであり、同一のネットワーク構造を有し、かつ、全ての層が同一のパラメータにより構成され、
運用時には、前記主入力データを前記主エンコーダに入力し、前記ブロック中の固定位置で、前記主入力データについての前記ターゲット部を構成する前記音響特徴量に対応するコードを出力する処理と、
前記入力処理手段により作成された前記補助入力データについての前記ターゲット部の位置が前記ブロック中の固定位置に来るように、前記補助入力データを前記補助エンコーダに入力することにより、前記ブロック中の固定位置で、前記補助入力データについての前記ターゲット部を構成する前記音響特徴量に対応するコードを出力する処理とを並列処理で実行し、
前記主エンコーダから出力されたコードと、前記補助エンコーダから出力されたコードとをまとめた状態で、トークンの出力処理を実行する後段ネットワークへ送る構成とされている
ことを特徴とする請求項１に記載の音声認識システム。
【請求項3】
前記主エンコーダおよび前記補助エンコーダは、
入力層から出力層までの中間位置で分岐する１つのニューラルネットワークにより構成され、
前記主エンコーダは、
前記補助エンコーダと共有する分岐前の共有層と、分岐後の主エンコーダ用の固有層とを備えて構成され、
前記補助エンコーダは、
前記主エンコーダと共有する分岐前の前記共有層と、分岐後の補助エンコーダ用の固有層とを備えて構成され、
前記共有層、前記主エンコーダ用の固有層、および前記補助エンコーダ用の固有層は、
前記共有層の入力側に、前記主入力データとみなした場合の前記ターゲット部と前記補助入力データとみなした場合の前記ターゲット部とがブロック中の異なる位置になる入力データを入力し、
主タスクとして、前記主エンコーダ用の固有層の出力側から、前記主入力データについての前記ターゲット部を構成する前記音響特徴量に対応するコードを出力するとともに、
補助タスクとして、前記補助エンコーダ用の固有層の出力側から、前記補助入力データについての前記ターゲット部を構成する前記音響特徴量に対応するコードを出力するように機械学習して得られたエンコーダ層である
ことを特徴とする請求項１に記載の音声認識システム。
入力層から出力層までの中間位置で分岐する１つのニューラルネットワークにより構成され、
前記主エンコーダは、
前記補助エンコーダと共有する分岐前の共有層と、分岐後の主エンコーダ用の固有層とを備えて構成され、
前記補助エンコーダは、
前記主エンコーダと共有する分岐前の前記共有層と、分岐後の補助エンコーダ用の固有層とを備えて構成され、
前記共有層、前記主エンコーダ用の固有層、および前記補助エンコーダ用の固有層は、
前記共有層の入力側に、前記主入力データとみなした場合の前記ターゲット部と前記補助入力データとみなした場合の前記ターゲット部とがブロック中の異なる位置になる入力データを入力し、
主タスクとして、前記主エンコーダ用の固有層の出力側から、前記主入力データについての前記ターゲット部を構成する前記音響特徴量に対応するコードを出力するとともに、
補助タスクとして、前記補助エンコーダ用の固有層の出力側から、前記補助入力データについての前記ターゲット部を構成する前記音響特徴量に対応するコードを出力するように機械学習して得られたエンコーダ層である
ことを特徴とする請求項１に記載の音声認識システム。
【請求項4】
ブロック処理によるストリーミング音声認識処理を実行するコンピュータにより構成された音声認識システムであって、
音声信号から得られた複数の音響特徴量で構成されるブロック化された入力データを、音声認識対象のターゲット部およびこのターゲット部よりも時間的に後の発声で得られる先読み部を含む主入力データとみなした場合の学習用のデータセットを用いるとともに、
前記ブロック化された入力データを、前記ターゲット部を含み、かつ、前記先読み部を含まないゼロ先読み用の補助入力データとみなした場合と、
前記ブロック化された入力データを、前記ターゲット部を含み、かつ、前記主入力データについての前記先読み部よりも短い先読み部を含む部分先読み用の補助入力データとみなした場合とのうち、
少なくとも一方の補助入力データとみなした場合の学習用のデータセットを用いて、
前記主入力データとみなした場合の前記ターゲット部と前記補助入力データとみなした場合の前記ターゲット部とがブロック中の異なる位置になるように、前記ブロック化された入力データを入力し、前記主入力データとみなした場合の前記ターゲット部を構成する前記音響特徴量に対応するコードと、前記補助入力データとみなした場合の前記ターゲット部を構成する前記音響特徴量に対応するコードとを別々に出力するように機械学習して得られたエンコーダを備え、
運用時に、音声信号から得られた複数の前記音響特徴量で構成される最新の入力データを前記エンコーダに入力し、前記最新の入力データを前記主入力データとみなした場合の前記ターゲット部を構成する前記音響特徴量に対応するコードと、前記最新の入力データを前記補助入力データとみなした場合の前記ターゲット部を構成する前記音響特徴量に対応するコードとを前記エンコーダから同時に出力し、これらのコードをまとめた状態で、トークンの出力処理を実行する後段ネットワークへ送る構成とされていることを特徴とする音声認識システム。
音声信号から得られた複数の音響特徴量で構成されるブロック化された入力データを、音声認識対象のターゲット部およびこのターゲット部よりも時間的に後の発声で得られる先読み部を含む主入力データとみなした場合の学習用のデータセットを用いるとともに、
前記ブロック化された入力データを、前記ターゲット部を含み、かつ、前記先読み部を含まないゼロ先読み用の補助入力データとみなした場合と、
前記ブロック化された入力データを、前記ターゲット部を含み、かつ、前記主入力データについての前記先読み部よりも短い先読み部を含む部分先読み用の補助入力データとみなした場合とのうち、
少なくとも一方の補助入力データとみなした場合の学習用のデータセットを用いて、
前記主入力データとみなした場合の前記ターゲット部と前記補助入力データとみなした場合の前記ターゲット部とがブロック中の異なる位置になるように、前記ブロック化された入力データを入力し、前記主入力データとみなした場合の前記ターゲット部を構成する前記音響特徴量に対応するコードと、前記補助入力データとみなした場合の前記ターゲット部を構成する前記音響特徴量に対応するコードとを別々に出力するように機械学習して得られたエンコーダを備え、
運用時に、音声信号から得られた複数の前記音響特徴量で構成される最新の入力データを前記エンコーダに入力し、前記最新の入力データを前記主入力データとみなした場合の前記ターゲット部を構成する前記音響特徴量に対応するコードと、前記最新の入力データを前記補助入力データとみなした場合の前記ターゲット部を構成する前記音響特徴量に対応するコードとを前記エンコーダから同時に出力し、これらのコードをまとめた状態で、トークンの出力処理を実行する後段ネットワークへ送る構成とされていることを特徴とする音声認識システム。
【請求項5】
請求項１～４のいずれかに記載の音声認識システムとして、コンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ブロック処理によるストリーミング音声認識処理を実行するコンピュータにより構成された音声認識システムおよびプログラムに係り、例えば、コンテクスチュアル・ブロック・ストリーミング・トランスデューサ（Contextual Block Streaming Transducer：CBS-T）やコンテクスチュアル・ブロック・ストリーミング・エンコーダ・デコーダ（Contextual Block Streaming Encoder-Decode：CBS-E/D）等に利用できる。
【背景技術】
【0002】
近年、音声認識器は、全体を１つのニューラルネットワークで構築したエンド・ツー・エンド（End-to-End）モデルが主流になっている。従来のように、音響モデルにより音声信号から音素列を出力し、言語モデルにより音素列から文字列を出力するという処理では、誤差蓄積が生じていたが、End-to-Endモデルでは、これを防ぐため、音声信号から文字列を直接推定する。
【0003】
このようなEnd-to-Endモデルの音声認識器として、ブロック処理を用いたエンコーダ・デコーダ型の音声認識モデルであるコンテクスチュアル・ブロック・ストリーミング・エンコーダ・デコーダ（Contextual Block Streaming Encoder-Decode：以下、CBS-E/Dと略記する。）が知られている（非特許文献１参照）。このCBS-E/Dモデルでは、ストリーミング音声認識を実現するために、文脈を考慮したブロック処理（Contextual Block processing）を行う。
【0004】
図２８には、上記の非特許文献１に記載されたCBS-E/Dモデルのエンコーダの文脈継承の仕組み（The context inheritance mechanism of the encoder）が示されている。このCBS-E/Dのエンコーダ（以下、ＣＢＳエンコーダともいう。）は、複数層（Ｎｅ層）のエンコーダ層を備えている。時間軸は、図中の左側（過去側）から右側（未来側）に向かって進む。通常のブロック処理では、ブロック毎の情報しか使用しないため、狭い範囲での特徴しか使用することができない。しかし、音声認識の性能向上のためには、より広い範囲の言語的な文脈を捉えることも重要である。そこで、非特許文献１では、図２８に示すような文脈継承の仕組みが提案されている。この仕組みでは、各層で各ブロックの文脈ベクトル（contextual vector）を算出し、次のブロックでの１つ上の層での処理に利用する。最初の層に入力する文脈ベクトル（contextual vector）としては、トランスフォーマ（Transformer）で用いられる位置エンコーディング（positional encoding）、入力ブロックの平均値、入力ブロックの最大値の３種類が提案されている。
【0005】
ＣＢＳエンコーダに入力される各ブロックＺ（（ｂ－１）番目のブロックＺb-1、ｂ番目のブロックＺb、（ｂ＋１）番目のブロックＺb+1）は、それぞれＮＬ個の音響特徴量Ｘ（図２８では、Ｘ1～Ｘ4）により構成される履歴部（History frames）と、ＮＣ個の音響特徴量Ｘ（図２８では、Ｘ5，Ｘ6）により構成されるターゲット部（Target frames）と、ＮＲ個の音響特徴量Ｘ（図２８では、Ｘ7～Ｘ10）により構成される先読み部（Look-Ahead frames）とに分割される。ＮＬ，ＮＣ，ＮＲは、１つのブロック中におけるLeft（左側）、Center（中央）、Right（右側）の音響特徴量Ｘの個数（Number）を意味する。
【0006】
ＣＢＳエンコーダにおけるｂ番目の入力ブロックＺbの処理では、ｂ番目の入力ブロックＺbと、（ｂ－１）番目の入力ブロックＺb-1から得られる文脈ベクトルＣb-1とから、ターゲット部に対応するコードｈ（ＡＥ）Tと、文脈ベクトルＣbとを出力する。ｈ（ＡＥ）TのＡＥは、オーディオ（またはアコースティック）・エンコーダの意味であり、Ｔは、現在の時点の意味である。エンコーダの出力ｈ（ＡＥ）Tは、ターゲット部を構成するＮＣ個の音響特徴量Ｘ（図２８では、Ｘ5，Ｘ6）に対応する各コードｈ5，ｈ6の集合である。従って、ＣＢＳエンコーダのブロック処理では、履歴部、ターゲット部、および先読み部を使って、ターゲット部に対応するコード（後段のデコーダに送るコード）を出力する。
【0007】
なお、ブロックＺのシフト量は、ターゲット部のサイズと同じであり、ＮＣ個の音響特徴量Ｘ（または、それらのＸが得られる時間長）である。図２８では、２個の音響特徴量Ｘである。
【0008】
また、本発明に関連する文献として、ブロック同期ビームサーチによるストリーミング・トランスフォーマ音声認識について記載された文献（非特許文献２）、リカレント・ニューラルネットワークによるトランスデューサ（RNN-T）について記載された文献（非特許文献３，４）が知られている。
【0009】
また、本発明の効果を確認するために比較実験を行っているが、その学習用のデータセットについて記載した文献として、ウォール・ストリート・ジャーナルに基づくデータセット（以下、ＷＳＪと略記する。ＷＳＪは、アメリカ・ニューヨークに拠点を置くニューズ・コーポレーションの子会社であるダウ・ジョーンズ社が発行する日刊経済新聞である。）について記載した文献（非特許文献５）、ＴＥＤトーク用のデータセット（以下、ＴＥＤと略記する。ＴＥＤは、アメリカ・ニューヨークに本部がある非営利団体である。）について記載した文献（非特許文献６）が知られている。
【先行技術文献】
【非特許文献】
【0010】
【非特許文献1】E. Tsunoo（エミル・ツノオ）, Y. Kashiwagi（ヨースケ・カシワギ）, T. Kumakura（トシユキ・クマクラ）, and S. Watanabe（シンジ・ワタナベ）, “Transformer asr with contextual block processing（コンテクスチュアル・ブロック処理によるトランスフォーマ音声認識）,” 2019 IEEE Automatic Speech Recognition and Understanding Workshop (ASRU), pp. 427-433, 2019.
【非特許文献2】E. Tsunoo（エミル・ツノオ）, Y. Kashiwagi（ヨースケ・カシワギ）, and S. Watanabe（シンジ・ワタナベ）, “Streaming transformer asr with blockwise synchronous beam search（ブロック同期ビームサーチによるストリーミング・トランスフォーマ音声認識）,” Proc. SLT, pp. 22-29, 2020.
【非特許文献3】Alex Graves（アレックス・グレイヴス）, “Sequence transduction with recurrent neural networks（リカレント・ニューラルネットワークによるシーケンス・トランスダクション）,” ArXiv, vol. abs/1211.3711, 2012.
【非特許文献4】Qian Zhang（チャン・チェン）, Han Lu（ハン・ルー）, Hasim Sak（ハシム・サク）, Anshuman Tripathi（アンシュマン・トリパティ）, Erik McDermott（エリック・マクダーモット）, Stephen Koo（スティーブン・クー）, Shankar Kumar（シャンカール・クマール）, “TRANSFORMER TRANSDUCER: A STREAMABLE SPEECH RECOGNITION MODEL WITH TRANSFORMER ENCODERS AND RNN-T LOSS（トランスフォーマ・トランスデューサ：トランスフォーマ・エンコーダを備えたストリーミング可能な音声認識モデルとRNN-T損失）,” arXiv:2002.02562v2 [eess.AS] 14 Feb 2020.
【非特許文献5】D. B. Paul（ポール） and J. Baker（ベイカー）, “The design for the wall street journal-based CSR corpus（ウォール・ストリート・ジャーナルによるＣＳＲコーパス用の設計）,” in Speech and Natural Language: Proceedings of a Workshop Held at Harriman, New York, 1992.
【非特許文献6】A. Rousseau（アンソニー・ルソー）, P. Deleglise（ポール・ドレグリーズ）, and Y. Esteve（ヤニック・エステーヴ）, “Enhancing the TEDLIUM corpus with selected data for language modeling and more TED talks（言語モデリングとその他のＴＥＤトーク用に選択されたデータによるTEDLIUMコーパスの強化）,” in Proc. LREC, 2014.
【発明の概要】
【発明が解決しようとする課題】
【0011】
前述したように、ＣＢＳエンコーダのブロック処理では、履歴部、ターゲット部、および先読み部を使って、ターゲット部に対応するコード（後段のデコーダに送るコード）を出力する（図２８参照）。従って、先読み部を使うこと（Look-Ahead）により、ターゲット部に対する音声認識（ASR）の精度を高めていることになる。
【0012】
しかし、先読み部を使うことにより高精度な音声認識結果が得られるものの、その分だけ、音声認識結果が得られるまでの時間に遅延が生じる。リズムよくターンテイキングができる会話システムや、同時通訳には、高精度で、かつ、低遅延の音声認識器が必要である。通常、性能と遅延はトレードオフの関係にあり、遅延の少ない音声認識処理の精度は低い。
【0013】
本発明の目的は、高精度を維持しつつ、低遅延を実現可能な音声認識システムおよびプログラムを提供するところにある。
【課題を解決するための手段】
【0014】
本発明は、先読み部の長さの異なる入力データを符号化する複数のエンコーダを設け、それらのエンコーダで少なくとも一部のパラメータを共有化するか、またはそれらのエンコーダを統合した状態の１つのエンコーダを設けることにより、マルチ・ルック・アヘッド（Multi-look-ahead）の音声認識処理（MLA-ASR）を実現して前記目的を達成するものである。具体的には、以下の通りである。
【0015】
なお、本発明の構成や内容の説明において、先読み部、ターゲット部、主入力データ、ゼロ先読み用の補助入力データ、部分先読み用の補助入力データ、マルチ・ルック・アヘッドという用語を使用するが、従来技術（図２８参照）との関係で、用語の意味の混乱と誤解を避けるには、第３実施形態のユニティモデルの説明における「（従来技術との相違点）」というサブタイトルの記載（特に「注意すべき第２の点」という記載）を参照するとよい。
【0016】
＜主エンコーダおよび少なくとも１つの補助エンコーダを備えた構成＞
【0017】
本発明は、ブロック処理によるストリーミング音声認識処理を実行するコンピュータにより構成された音声認識システムであって、
音声信号から得られた複数の音響特徴量で構成されるブロック化された入力データとして音声認識対象のターゲット部およびこのターゲット部よりも時間的に後の発声で得られる先読み部を含む主入力データの入力に対し、この主入力データについてのターゲット部を構成する音響特徴量に対応するコードを出力する主エンコーダを備えるとともに、
ブロック化された入力データとしてターゲット部を含み、かつ、先読み部を含まないゼロ先読み用の補助入力データの入力に対し、このゼロ先読み用の補助入力データについてのターゲット部を構成する音響特徴量に対応するコードを出力するゼロ先読み用の補助エンコーダと、
ブロック化された入力データとしてターゲット部を含み、かつ、主入力データについての先読み部よりも短い先読み部を含む部分先読み用の補助入力データの入力に対し、この部分先読み用の補助入力データについてのターゲット部を構成する音響特徴量に対応するコードを出力する部分先読み用の補助エンコーダとのうち、
少なくとも一方の補助エンコーダを備え、
主エンコーダと、補助エンコーダとは、少なくとも一部のエンコーダ層のパラメータが共有化されていることを特徴とするものである。
音声信号から得られた複数の音響特徴量で構成されるブロック化された入力データとして音声認識対象のターゲット部およびこのターゲット部よりも時間的に後の発声で得られる先読み部を含む主入力データの入力に対し、この主入力データについてのターゲット部を構成する音響特徴量に対応するコードを出力する主エンコーダを備えるとともに、
ブロック化された入力データとしてターゲット部を含み、かつ、先読み部を含まないゼロ先読み用の補助入力データの入力に対し、このゼロ先読み用の補助入力データについてのターゲット部を構成する音響特徴量に対応するコードを出力するゼロ先読み用の補助エンコーダと、
ブロック化された入力データとしてターゲット部を含み、かつ、主入力データについての先読み部よりも短い先読み部を含む部分先読み用の補助入力データの入力に対し、この部分先読み用の補助入力データについてのターゲット部を構成する音響特徴量に対応するコードを出力する部分先読み用の補助エンコーダとのうち、
少なくとも一方の補助エンコーダを備え、
主エンコーダと、補助エンコーダとは、少なくとも一部のエンコーダ層のパラメータが共有化されていることを特徴とするものである。
【0018】
ここで、本発明では、「ブロック処理」を行うために「ブロック化」する音響特徴量には、「ターゲット部」や「先読み部」を構成する音響特徴量が含まれていればよく、本発明における「ブロック」は、必ずしも従来の場合（前述した図２８の非特許文献１の場合）のような固定長の履歴部を含むブロックである必要はない。すなわち、「ターゲット部」よりも過去側（左側）の音響特徴量は、ブロック処理の対象とせずに、それらの音響特徴量を別途の処理で後段ネットワークへ送るためのコードの作成に寄与させるようにしてもよく、その際の履歴部（ターゲット部よりも過去側の部分）の長さ（音響特徴量の数）は、任意であり、従来の場合（前述した図２８の非特許文献１の場合）よりも長くしてもよく、可変長（例えば、時間が経過して最新の処理時点が未来の時刻に進むに従って長くなる。）としてもよい。
【0019】
また、「音響特徴量」は、周波数分析して得られた音響特徴量とすることが好適であるが、必ずしもこれに限定されるものではなく、周波数分析以外の分析も含め、何らかの分析処理を行って音声信号から得られた音響特徴量であればよい。
【0020】
さらに、「少なくとも一方の補助エンコーダを備え」とは、（１）「ゼロ先読み用の補助エンコーダ」だけでもよく（この場合は、補助エンコーダの数は、１つとなる。）、（２）「ゼロ先読み用の補助エンコーダ」および「部分先読み用の補助エンコーダ」の双方を備えていてもよく（この場合は、１つのゼロ先読み用の補助エンコーダ、および、少なくとも１つの部分先読み用の補助エンコーダを備えていることになる。）、（３）「部分先読み用の補助エンコーダ」だけでもよい（この場合は、少なくとも１つの部分先読み用の補助エンコーダを備えているが、ゼロ先読み用の補助エンコーダは備えていないことになる。）という意味である。但し、より遅延を少なくするという観点では、（１）または（２）のように「ゼロ先読み用の補助エンコーダ」を備えていることが好ましい。
【0021】
このような本発明においては、主エンコーダおよび少なくとも１つの補助エンコーダを備えているので、マルチ・ルック・アヘッド（Multi-look-ahead）の音声認識処理（MLA-ASR）を実現し、高精度を維持しつつ、低遅延の音声認識処理を行うことが可能となる。
【0022】
より詳細には、主エンコーダにより、従来と同等な長さの先読み部（相対的に長い先読み部）を有する主入力データ（フル先読み用の入力データ）を用いたエンコーディング（符号化処理）を行うことにより、主入力データのターゲット部について、従来と同等な精度（相対的に高精度）の音声認識結果を得るとともに、補助エンコーダにより、先読み部を有しないか、または相対的に短い先読み部を有する補助入力データ（ゼロ先読み用および／または部分先読み用の補助入力データ）を用いたエンコーディングを行うことにより、補助入力データのターゲット部について、従来よりも早いタイミングで音声認識結果を得ることが可能となる。
【0023】
つまり、補助入力データの先読み部は、ゼロである（先読み部を設定しない）か、または主入力データの先読み部よりも短いので、補助入力データのターゲット部は、主入力データのターゲット部よりも、時間的に未来側（右側）に設定される。従って、主入力データおよび少なくとも１つの補助入力データの設定により、同じ最新の入力データに対し、時間的に位置をずらした複数のターゲット部（音声認識結果であるトークンの出力処理を実行する後段ネットワークに送るコードに対応する部分）が設定される。このため、得られた音声認識結果のうちの最も未来側（右側）の部分は、補助エンコーダによる音声認識結果であるため、精度は相対的に低いが、遅延の少ない音声認識結果となり、一方、それよりも過去側（左側）の部分、すなわち、従来はそこまでしか音声認識結果が得られていなかった部分は、主エンコーダによる音声認識結果であるため、遅延はあるが、高精度な音声認識結果となる。
【0024】
また、主エンコーダと、補助エンコーダとは、少なくとも一部のエンコーダ層のパラメータが共有化されているので、全く共有部分のない複数のエンコーダを用意する場合に比べ、パラメータの数を減らし、構造の簡易化を図ることができるとともに、先読み部を無くすか、短くしたことによる補助エンコーダの音声認識結果の精度の犠牲を低く抑えることが可能となり、これらにより前記目的が達成される。
【0025】
なお、このような主エンコーダおよび少なくとも１つの補助エンコーダを備えた構成としては、例えば、以下に示すような雁木（Ｇａｎｇｉ）モデルと、分岐モデル（２分岐モデル（Ｂｉｆｕｒｃａｔｉｏｎモデル）や、３分岐以上のモデル）とがある。但し、これらの雁木モデルや分岐モデルに限定されるものではない。いずれのモデルも「少なくとも一部のエンコーダ層のパラメータが共有化されている」という点で共通している。雁木モデルの場合は、全てのエンコーダ層のパラメータが共有化され、分岐モデルの場合は、共有層において、パラメータが共有化されている。
【0026】
＜雁木（Ｇａｎｇｉ）モデルの構成＞
【0027】
すなわち、上述した主エンコーダおよび少なくとも１つの補助エンコーダを備えた構成とする場合において、
運用時に、音声信号から得られた複数の音響特徴量で構成される最新の入力データから、主入力データについての先読み部を構成する音響特徴量を自己のターゲット部とする補助入力データを作成することにより、主入力データ、および主入力データに対して最新の入力データにおけるターゲット部の位置を未来方向にずらした状態の補助入力データを用意する入力処理手段を備え、
主エンコーダおよび補助エンコーダは、
主入力データによる学習用のデータセットと、補助入力データによる学習用のデータセットとを用いて、ブロック中の固定位置に、主入力データおよび補助入力データのそれぞれのターゲット部が来るように、主入力データおよび補助入力データを入力することにより、１つのニューラルネットワークを機械学習して得られたエンコーダであり、同一のネットワーク構造を有し、かつ、全ての層が同一のパラメータにより構成され、
運用時には、主入力データを主エンコーダに入力し、ブロック中の固定位置で、主入力データについてのターゲット部を構成する音響特徴量に対応するコードを出力する処理と、
入力処理手段により作成された補助入力データについてのターゲット部の位置がブロック中の固定位置に来るように、補助入力データを補助エンコーダに入力することにより、ブロック中の固定位置で、補助入力データについてのターゲット部を構成する音響特徴量に対応するコードを出力する処理とを並列処理で実行し、
主エンコーダから出力されたコードと、補助エンコーダから出力されたコードとをまとめた状態で、トークンの出力処理を実行する後段ネットワークへ送る構成を採用することができる。
運用時に、音声信号から得られた複数の音響特徴量で構成される最新の入力データから、主入力データについての先読み部を構成する音響特徴量を自己のターゲット部とする補助入力データを作成することにより、主入力データ、および主入力データに対して最新の入力データにおけるターゲット部の位置を未来方向にずらした状態の補助入力データを用意する入力処理手段を備え、
主エンコーダおよび補助エンコーダは、
主入力データによる学習用のデータセットと、補助入力データによる学習用のデータセットとを用いて、ブロック中の固定位置に、主入力データおよび補助入力データのそれぞれのターゲット部が来るように、主入力データおよび補助入力データを入力することにより、１つのニューラルネットワークを機械学習して得られたエンコーダであり、同一のネットワーク構造を有し、かつ、全ての層が同一のパラメータにより構成され、
運用時には、主入力データを主エンコーダに入力し、ブロック中の固定位置で、主入力データについてのターゲット部を構成する音響特徴量に対応するコードを出力する処理と、
入力処理手段により作成された補助入力データについてのターゲット部の位置がブロック中の固定位置に来るように、補助入力データを補助エンコーダに入力することにより、ブロック中の固定位置で、補助入力データについてのターゲット部を構成する音響特徴量に対応するコードを出力する処理とを並列処理で実行し、
主エンコーダから出力されたコードと、補助エンコーダから出力されたコードとをまとめた状態で、トークンの出力処理を実行する後段ネットワークへ送る構成を採用することができる。
【0028】
ここで、「入力処理手段」による「補助入力データ」の作成では、主入力データについてのターゲット部に対し、補助入力データについてのターゲット部が未来方向（右側方向）にずれることになる。従って、従来の場合（前述した非特許文献１の場合、図２８参照）のようにブロックが固定長の履歴部を含む場合には、ブロック化された最新のデータから過去側（左側）の音響特徴量を削除して補助入力データを作成することになる（例えば、図８の場合等）。また、前述したように、本発明では、ブロックには必ずしも履歴部が含まれていなくてもよく、その場合には、最新の入力データ（履歴部については、ブロック化されていない。）から過去側（左側）の音響特徴量を削除してもよく、あるいは、履歴部を可変長とするときは、履歴部の長さ（音響特徴量の数）を固定数に調整する必要はないので、過去側（左側）の音響特徴量を削除する必要はなく、補助入力データについてのターゲット部が、主入力データについてのターゲット部よりも未来側（右側）にずれた分だけ、補助入力データについての履歴部の長さを、主入力データについての履歴部の長さよりも長くしてもよい（音響特徴量の数を多くしてもよい）。
【0029】
また、「ブロック中の固定位置」は、主入力データについてのターゲット部の位置である。従って、従来の場合（前述した非特許文献１の場合、図２８参照）のようにブロックが固定長の履歴部を含む場合には、主入力データについてのターゲット部の過去側（左側）には、履歴部があり、未来側（右側）には、先読み部があるので、「ブロック中の固定位置」は、ブロック中における中間位置である。また、ブロックに履歴部が含まれない場合には、主入力データについてのターゲット部の未来側（右側）に、先読み部があるだけであるため、「ブロック中の固定位置」は、中間位置ではなく、ブロック中における過去側（左側）の位置である。
【0030】
このような雁木（Ｇａｎｇｉ）モデルの構成とした場合（図７、図８参照）には、同じネットワーク構造で、かつ、同じパラメータを有する主エンコーダおよび少なくとも１つの補助エンコーダを並列設置するので、運用時に最新の入力データが得られたときに、その最新の入力データから、主入力データおよび少なくとも１つの補助入力データを用意することになり、また、事前に行う機械学習では、主入力データおよび少なくとも１つの補助入力データによる各データセットを用いて、１つのニューラルネットワークを学習することになる。
【0031】
さらに、このような雁木（Ｇａｎｇｉ）モデルの構成とする場合において、時間の経過に伴ってブロック処理を繰り返す際のブロックのシフト量は、主入力データについてのターゲット部のサイズよりも小さい構成としてもよい。
【0032】
このように雁木（Ｇａｎｇｉ）モデルにおいて、ブロックのシフト量が、主入力データのターゲット部のサイズ（音響特徴量の数またはその数で示される時間長）よりも小さい構成とした場合には、補助エンコーダの数を抑えつつ、より短い時間間隔でブロック処理を繰り返すことが可能となる。すなわち、主入力データのターゲット部に対する補助入力データのターゲット部のシフト量は、主入力データのターゲット部のサイズの整数倍であるため、従来のようにブロックのシフト量をターゲット部のサイズと同じにしたままでは、より短い時間間隔でブロック処理を繰り返そうとしてブロックのシフト量を小さくすると、それに合わせてターゲット部のサイズを小さくしなければならず、補助エンコーダの数が増え、エンコーダの構造が複雑化してしまうという不都合が生じる。これに対し、ブロックのシフト量を、主入力データのターゲット部のサイズよりも小さくすれば、ターゲット部のサイズを小さくしなくても、つまり補助エンコーダの数を増やさなくても、より短い時間間隔でブロック処理を繰り返すことが可能となる。
【0033】
＜分岐モデル（２分岐（Ｂｉｆｕｒｃａｔｉｏｎ）モデルを含む）の構成＞
【0034】
また、前述した主エンコーダおよび少なくとも１つの補助エンコーダを備えた構成とする場合において、
主エンコーダおよび補助エンコーダは、
入力層から出力層までの中間位置で分岐する１つのニューラルネットワークにより構成され、
主エンコーダは、
補助エンコーダと共有する分岐前の共有層と、分岐後の主エンコーダ用の固有層とを備えて構成され、
補助エンコーダは、
主エンコーダと共有する分岐前の共有層と、分岐後の補助エンコーダ用の固有層とを備えて構成され、
共有層、主エンコーダ用の固有層、および補助エンコーダ用の固有層は、
共有層の入力側に、主入力データとみなした場合のターゲット部と補助入力データとみなした場合のターゲット部とがブロック中の異なる位置になる入力データを入力し、
主タスクとして、主エンコーダ用の固有層の出力側から、主入力データについてのターゲット部を構成する音響特徴量に対応するコードを出力するとともに、
補助タスクとして、補助エンコーダ用の固有層の出力側から、補助入力データについてのターゲット部を構成する音響特徴量に対応するコードを出力するように機械学習して得られたエンコーダ層である構成を採用することができる。
主エンコーダおよび補助エンコーダは、
入力層から出力層までの中間位置で分岐する１つのニューラルネットワークにより構成され、
主エンコーダは、
補助エンコーダと共有する分岐前の共有層と、分岐後の主エンコーダ用の固有層とを備えて構成され、
補助エンコーダは、
主エンコーダと共有する分岐前の共有層と、分岐後の補助エンコーダ用の固有層とを備えて構成され、
共有層、主エンコーダ用の固有層、および補助エンコーダ用の固有層は、
共有層の入力側に、主入力データとみなした場合のターゲット部と補助入力データとみなした場合のターゲット部とがブロック中の異なる位置になる入力データを入力し、
主タスクとして、主エンコーダ用の固有層の出力側から、主入力データについてのターゲット部を構成する音響特徴量に対応するコードを出力するとともに、
補助タスクとして、補助エンコーダ用の固有層の出力側から、補助入力データについてのターゲット部を構成する音響特徴量に対応するコードを出力するように機械学習して得られたエンコーダ層である構成を採用することができる。
【0035】
ここで、「主入力データとみなした場合のターゲット部と補助入力データとみなした場合のターゲット部とがブロック中の異なる位置になる入力データ」とは、１つの入力データを、主入力データとみなした場合のターゲット部と、補助入力データとみなした場合のターゲット部とが、ブロック中の異なる位置になるという意味である。
【0036】
このように分岐モデル（２分岐（Ｂｉｆｕｒｃａｔｉｏｎ）モデルを含む）の構成とした場合（例えば、図１２～図１７の場合）には、主エンコーダと、少なくとも１つの補助エンコーダとが、共有層で重なった状態になるので、つまり、エンコーディングを行う前段ネットワークとしては、途中で分岐はしているものの、１つのニューラルネットワークで構成されることになるので、運用時に最新の入力データが得られたときに、共有層の入力側では、その１つの最新の入力データが入力され、分岐後の各固有層に至ってから、その１つの最新の入力データを主入力データとみなした場合の固有の処理と、補助入力データとみなした場合の固有の処理とが行われ、主エンコーダ用および補助エンコーダ用の各固有層の出力側から、それぞれの固有層の処理で得られたコードが出力される。
【0037】
＜ユニティ（Ｕｎｉｔｙ）モデルの構成＞
【0038】
また、前述した雁木モデルや分岐モデルでは、主エンコーダおよび補助エンコーダという複数のエンコーダを設けてマルチ・ルック・アヘッド（Multi-look-ahead）の音声認識処理（MLA-ASR）を実現するとともに、それらのエンコーダで少なくとも一部のパラメータを共有化していたが、次に示すユニティ（Ｕｎｉｔｙ）モデルのように、１つのエンコーダでも、MLA-ASRを実現することができ、また、パラメータを共有化することができる。
【0039】
すなわち、本発明は、ブロック処理によるストリーミング音声認識処理を実行するコンピュータにより構成された音声認識システムであって、
音声信号から得られた複数の音響特徴量で構成されるブロック化された入力データを、音声認識対象のターゲット部およびこのターゲット部よりも時間的に後の発声で得られる先読み部を含む主入力データとみなした場合の学習用のデータセットを用いるとともに、
ブロック化された入力データを、ターゲット部を含み、かつ、先読み部を含まないゼロ先読み用の補助入力データとみなした場合と、
ブロック化された入力データを、ターゲット部を含み、かつ、主入力データについての先読み部よりも短い先読み部を含む部分先読み用の補助入力データとみなした場合とのうち、
少なくとも一方の補助入力データとみなした場合の学習用のデータセットを用いて、
主入力データとみなした場合のターゲット部と補助入力データとみなした場合のターゲット部とがブロック中の異なる位置になるように、ブロック化された入力データを入力し、主入力データとみなした場合のターゲット部を構成する音響特徴量に対応するコードと、補助入力データとみなした場合のターゲット部を構成する音響特徴量に対応するコードとを別々に出力するように機械学習して得られたエンコーダを備え、
運用時に、音声信号から得られた複数の音響特徴量で構成される最新の入力データをエンコーダに入力し、最新の入力データを主入力データとみなした場合のターゲット部を構成する音響特徴量に対応するコードと、最新の入力データを補助入力データとみなした場合のターゲット部を構成する音響特徴量に対応するコードとをエンコーダから同時に出力し、これらのコードをまとめた状態で、トークンの出力処理を実行する後段ネットワークへ送る構成とされていることを特徴とするものである。
音声信号から得られた複数の音響特徴量で構成されるブロック化された入力データを、音声認識対象のターゲット部およびこのターゲット部よりも時間的に後の発声で得られる先読み部を含む主入力データとみなした場合の学習用のデータセットを用いるとともに、
ブロック化された入力データを、ターゲット部を含み、かつ、先読み部を含まないゼロ先読み用の補助入力データとみなした場合と、
ブロック化された入力データを、ターゲット部を含み、かつ、主入力データについての先読み部よりも短い先読み部を含む部分先読み用の補助入力データとみなした場合とのうち、
少なくとも一方の補助入力データとみなした場合の学習用のデータセットを用いて、
主入力データとみなした場合のターゲット部と補助入力データとみなした場合のターゲット部とがブロック中の異なる位置になるように、ブロック化された入力データを入力し、主入力データとみなした場合のターゲット部を構成する音響特徴量に対応するコードと、補助入力データとみなした場合のターゲット部を構成する音響特徴量に対応するコードとを別々に出力するように機械学習して得られたエンコーダを備え、
運用時に、音声信号から得られた複数の音響特徴量で構成される最新の入力データをエンコーダに入力し、最新の入力データを主入力データとみなした場合のターゲット部を構成する音響特徴量に対応するコードと、最新の入力データを補助入力データとみなした場合のターゲット部を構成する音響特徴量に対応するコードとをエンコーダから同時に出力し、これらのコードをまとめた状態で、トークンの出力処理を実行する後段ネットワークへ送る構成とされていることを特徴とするものである。
【0040】
このように本発明をユニティ（Ｕｎｉｔｙ）モデルの構成とした場合（例えば、図１８～図２３の場合等）には、１つのエンコーダが、主エンコーダでもあり、かつ、補助エンコーダでもある状態に等しいので、マルチ・ルック・アヘッド（Multi-look-ahead）の音声認識処理（MLA-ASR）を実現することができ、また、パラメータの共有化も実現することができるので、前述した主エンコーダおよび少なくとも１つの補助エンコーダを備えた構成とする場合（雁木モデルや分岐モデルにする場合）と同様に、高精度を維持しつつ、低遅延の音声認識を実現可能となり、これにより前記目的が達成される。
【0041】
＜プログラムの発明＞
【0042】
さらに、本発明のプログラムは、以上に述べた音声認識システムとして、コンピュータを機能させるためのものである。
【0043】
なお、上記のプログラムまたはその一部は、例えば、光磁気ディスク（ＭＯ）、コンパクトディスク（ＣＤ）、デジタル・バーサタイル・ディスク（ＤＶＤ）、フレキシブルディスク（ＦＤ）、磁気テープ、読出し専用メモリ（ＲＯＭ）、電気的消去および書換可能な読出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、フラッシュディスク等の記録媒体に記録して保存や流通等させることが可能であるとともに、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット等の有線ネットワーク、あるいは無線通信ネットワーク、さらにはこれらの組合せ等の伝送媒体を用いて伝送することが可能であり、また、搬送波に載せて搬送することも可能である。さらに、上記のプログラムは、他のプログラムの一部分であってもよく、あるいは別個のプログラムと共に記録媒体に記録されていてもよい。
【発明の効果】
【0044】
以上に述べたように本発明によれば、先読み部の長さの異なる入力データを符号化する複数のエンコーダを設け、それらのエンコーダで少なくとも一部のパラメータを共有化するか、またはそれらのエンコーダを統合した状態の１つのエンコーダを設けるので、マルチ・ルック・アヘッド（Multi-look-ahead）の音声認識処理（MLA-ASR）により、高精度で、かつ、低遅延の音声認識を実現することができるという効果がある。
【図面の簡単な説明】
【0045】
【図1】本発明の第１実施形態の音声認識システムである雁木モデルの要部を示すエンコーダの説明図。
【図2】第１実施形態の音声認識システムである雁木モデルの全体構成図。
【図3】本発明の音声認識システムに適用可能な後段ネットワークを含む全体構成（ＣＢＳ－Ｔ）の説明図。
【図4】本発明の音声認識システムに適用可能な後段ネットワークを含む別の全体構成（ＣＢＳ－Ｅ／Ｄ）の説明図。
【図5】本発明のエンコーダに入力するブロックの構成データ（音響特徴量Ｘ）の作成方法の説明図
【図6】第１実施形態の雁木モデルにおけるブロック設定の説明図。
【図7】第１実施形態の雁木モデルの学習時の処理の説明図。
【図8】第１実施形態の雁木モデルの運用時の処理の説明図。
【図9】本発明の後段ネットワークにおけるビームサーチの説明図。
【図10】本発明の後段ネットワークにおけるビームサーチの別の説明図。
【図11】第１実施形態の雁木モデルの後段ネットワークにおけるビームサーチの説明図。
【図12】本発明の第２実施形態の音声認識システムである分岐モデル（２分岐の場合）の要部を示すエンコーダの説明図。
【図13】第２実施形態の音声認識システムである分岐モデルの全体構成図。
【図14】第２実施形態の分岐モデル（２分岐の場合）の学習時の処理の説明図。
【図15】第２実施形態の分岐モデル（２分岐の場合）の運用時の処理の説明図。
【図16】第２実施形態の分岐モデル（３分岐の場合）の学習時の処理の説明図。
【図17】第２実施形態の分岐モデル（３分岐の場合）の運用時の処理の説明図。
【図18】本発明の第３実施形態の音声認識システムであるユニティモデル（２パターン統合の場合）の要部を示すエンコーダの説明図。
【図19】第３実施形態の音声認識システムであるユニティモデルの全体構成図。
【図20】第３実施形態のユニティモデル（２パターン統合の場合）の学習時の処理の説明図。
【図21】第３実施形態のユニティモデル（２パターン統合の場合）の運用時の処理の説明図。
【図22】第３実施形態のユニティモデル（３パターン統合の場合）の学習時の処理の説明図。
【図23】第３実施形態のユニティモデル（３パターン統合の場合）の運用時の処理の説明図。
【図24】比較実験のための分離モデルの学習時の処理の説明図。
【図25】比較実験［のための分離モデルの運用時の処理の説明図。
【図26】比較実験（１）の結果を示す図。
【図27】比較実験（２）（共有層の数と性能との関係）の結果を示す図。
【図28】従来のブロック処理によるストリーミング音声認識用のエンコーダ（ＣＢＳエンコーダ）の構成図。
【発明を実施するための形態】
【0046】
以下に本発明の各実施形態について図面を参照して説明する。第１実施形態は、雁木（Ｇａｎｇｉ）モデルであり、第２実施形態は、分岐モデル（２分岐のＢｉｆｕｒｃａｔｉｏｎモデルを含む）であり、第３実施形態は、ユニティ（Ｕｎｉｔｙ）モデルである。また、これらの各モデルおよび比較用に構築した分離（Ｓｅｐａｒａｔｅ）モデルについての比較実験結果を示す。
【0047】
［第１実施形態］
【0048】
図１は、本発明の第１実施形態の音声認識システム１０の雁木（Ｇａｎｇｉ）モデルの要部を示すエンコーダの説明図であり、図２には、雁木モデルの全体構成が示されている。図３および図４は、本発明の音声認識システム（雁木モデルに限らず、全てのモデル）に適用可能な後段ネットワークを含む全体構成（ＣＢＳ－Ｔ、ＣＢＳ－Ｅ／Ｄ）の説明図であり、図５は、本発明の音声認識システム（雁木モデルに限らず、全てのモデル）のエンコーダに入力するブロックの構成データ（音響特徴量Ｘ）の作成方法の説明図である。図６は、雁木モデルにおけるブロック設定の説明図である。図７および図８は、雁木モデルの学習時および運用時の処理の説明図である。図９および図１０は、本発明の音声認識システム（雁木モデルに限らず、全てのモデル）の後段ネットワークにおけるビームサーチの説明図であり、図１１は、雁木モデルの後段ネットワークにおけるビームサーチの説明図である。
【0049】
（雁木モデルの音声認識システム１０の全体構成：図１、図２）
図１および図２において、音声認識システム１０は、雁木（Ｇａｎｇｉ）モデルであり、１台または複数台のコンピュータにより構成され、音声信号からトークンを出力する音声認識器２０と、その学習装置５０とを備えている。音声認識器２０は、ニューラルネットワークにより構成されたエンド・ツー・エンド（End-to-End）のストリーミング音声認識器であり、音声信号からコード（エンコードされた符号）を出力するエンコーダ３０と、このエンコーダ３０から受け取ったコードからトークンを出力する後段ネットワーク４０とを備えている。
図１および図２において、音声認識システム１０は、雁木（Ｇａｎｇｉ）モデルであり、１台または複数台のコンピュータにより構成され、音声信号からトークンを出力する音声認識器２０と、その学習装置５０とを備えている。音声認識器２０は、ニューラルネットワークにより構成されたエンド・ツー・エンド（End-to-End）のストリーミング音声認識器であり、音声信号からコード（エンコードされた符号）を出力するエンコーダ３０と、このエンコーダ３０から受け取ったコードからトークンを出力する後段ネットワーク４０とを備えている。
【0050】
ここで、トークンは、音声認識を行うために音声認識器の設計者や研究者等が便宜的に定めた言語情報の分割単位であり、音素よりも粒度が粗いものである。英語の場合には、トークンは、英単語（this, will, us等）と１対１の関係である場合も多いが、未知語を減らしたり、語彙（vocabulary）を減らすために、トークンをサブワード（ing, er, ly等）と対応付ける場合も多く、逆に、連単語をトークンと対応付けてもよく、さらには、文頭または文末を示す＜ＳＯＳ（Start of Sentence）／ＥＯＳ（End of Sentence）＞トークンもあるので、トークンは、テキスト（文字情報）を含む記号である。日本語の場合は、トークンは、文字（仮名文字、例えば、「あ」、「い」、「う」、「ば」、「ぱ」等の平仮名文字）や文字列（「では」、「しかし」等）に対応付けられ、１～２文字である場合が多いが、トークンに漢字を含めてもよく、漢字を含めない場合には、仮名文字から漢字への変換は別途に行えばよい。このようにトークンは、音声認識を行うために、便宜上、区切ったものであるから、どのように区切ったトークンでも、本発明を適用することができる。
【0051】
また、後段ネットワーク４０は、広義のデコーダである。本願の説明では、「デコーダ」という語を、後述する図４のＣＢＳエンコーダ・デコーダを構成するデコーダのように、狭義のデコーダとして使用する場合があるので、広義のデコーダを指す場合には、「後段ネットワーク」という語を使用している。従って、後段ネットワーク４０は、例えば、後述する図３のジョイントネットワークやラベルエンコーダであってもよく、これらも広義のデコーダである。
【0052】
（雁木モデルのエンコーダ３０の構成）
図１および図２において、エンコーダ３０は、入力処理手段３１と、主エンコーダ３２と、第１の補助エンコーダ３３と、第２の補助エンコーダ３４とを備えている。なお、雁木モデルにおける補助エンコーダの数は、この例では２つだが、２つに限定されるものではなく、１つでもよく、３つ以上でもよい。
図１および図２において、エンコーダ３０は、入力処理手段３１と、主エンコーダ３２と、第１の補助エンコーダ３３と、第２の補助エンコーダ３４とを備えている。なお、雁木モデルにおける補助エンコーダの数は、この例では２つだが、２つに限定されるものではなく、１つでもよく、３つ以上でもよい。
【0053】
入力処理手段３１は、音声信号から音響特徴量Ｘを作成する処理と、主エンコーダ３２、第１の補助エンコーダ３３、第２の補助エンコーダ３４への各入力データを作成する処理とを実行するが、その詳細は、図５を用いて後述する。
【0054】
主エンコーダ３２は、エンコーディング手段３２Ａと、エンコーダ用パラメータ記憶手段３２Ｂとを備えて構成されている。第１の補助エンコーダ３３は、エンコーディング手段３３Ａと、エンコーダ用パラメータ記憶手段３３Ｂとを備えて構成されている。第２の補助エンコーダ３４は、エンコーディング手段３４Ａと、エンコーダ用パラメータ記憶手段３４Ｂとを備えて構成されている。
【0055】
エンコーディング手段３２Ａ，３３Ａ，３４Ａは、複数層のエンコーダ層を有するニューラルネットワークによるエンコードの処理（符号化処理）のためのアルゴリズムを実行するものであり、コンピュータの内部に設けられた演算処理装置（ＣＰＵやＧＰＵ等）およびその動作手順を規定する１つまたは複数のプログラム、並びに主メモリやキャッシュメモリ等の作業用メモリなどにより構成されている。これらのエンコーディング手段３２Ａ，３３Ａ，３４Ａによる各処理は、運用時（推論時）に並列処理で実行される。
【0056】
エンコーダ用パラメータ記憶手段３２Ｂ，３３Ｂ，３４Ｂは、ニューラルネットワークのパラメータを記憶するものであり、演算中は主メモリにより構成され、コンピュータが稼働していないときは、ＨＤＤやＳＳＤ等の不揮発性メモリにより構成されている。
【0057】
主エンコーダ３２、第１の補助エンコーダ３３、第２の補助エンコーダ３４のニューラルネットワークの構造は同じであり、パラメータも同じである。従って、各エンコーディング手段３２Ａ，３３Ａ，３４Ａの処理内容は同じであり、運用時（推論時）における入力データが異なるだけである。また、各エンコーダ用パラメータ記憶手段３２Ｂ，３３Ｂ，３４Ｂに記憶されるパラメータも同じである。運用時の各エンコーディング手段３２Ａ，３３Ａ，３４Ａの処理内容の詳細については、図８を用いて後述する。
【0058】
（雁木モデルの後段ネットワーク４０の構成）
後段ネットワーク４０は、ニューラルネットワークによるデコードの処理のためのアルゴリズムを実行する後段処理手段４１と、後段ネットワーク用パラメータ記憶手段４２とを備えて構成されている。後段ネットワークのバリエーションについては、図３、図４を用いて後述する。また、後段処理手段４１で実行されるビームサーチの処理については、図９～図１１を用いて後述する。後段ネットワーク４０のハードウェア構成（プログラムの実行とそれに必要な情報の記憶のための構成）は、エンコーダ３０と同様である。
後段ネットワーク４０は、ニューラルネットワークによるデコードの処理のためのアルゴリズムを実行する後段処理手段４１と、後段ネットワーク用パラメータ記憶手段４２とを備えて構成されている。後段ネットワークのバリエーションについては、図３、図４を用いて後述する。また、後段処理手段４１で実行されるビームサーチの処理については、図９～図１１を用いて後述する。後段ネットワーク４０のハードウェア構成（プログラムの実行とそれに必要な情報の記憶のための構成）は、エンコーダ３０と同様である。
【0059】
（雁木モデルの学習装置５０の構成）
学習装置５０は、学習手段５１と、エンコーダ用パラメータ記憶手段５２と、後段ネットワーク用パラメータ記憶手段５３とを備えて構成されている。学習手段５１は、主エンコーダ３２、第１の補助エンコーダ３３、第２の補助エンコーダ３４として使用するニューラルネットワークの学習処理を実行し、そのパラメータを決定し、エンコーダ用パラメータ記憶手段５２に記憶させるとともに、併せて後段ネットワーク４０として使用するニューラルネットワークの学習処理を実行し、そのパラメータを決定し、後段ネットワーク用パラメータ記憶手段５３に記憶させる。この学習処理の詳細については、図７を用いて後述する。また、学習装置５０のハードウェア構成（プログラムの実行とそれに必要な情報の記憶のための構成）は、エンコーダ３０と同様である。
学習装置５０は、学習手段５１と、エンコーダ用パラメータ記憶手段５２と、後段ネットワーク用パラメータ記憶手段５３とを備えて構成されている。学習手段５１は、主エンコーダ３２、第１の補助エンコーダ３３、第２の補助エンコーダ３４として使用するニューラルネットワークの学習処理を実行し、そのパラメータを決定し、エンコーダ用パラメータ記憶手段５２に記憶させるとともに、併せて後段ネットワーク４０として使用するニューラルネットワークの学習処理を実行し、そのパラメータを決定し、後段ネットワーク用パラメータ記憶手段５３に記憶させる。この学習処理の詳細については、図７を用いて後述する。また、学習装置５０のハードウェア構成（プログラムの実行とそれに必要な情報の記憶のための構成）は、エンコーダ３０と同様である。
【0060】
そして、学習装置５０は、図２中の点線に示すように、エンコーダ用パラメータ記憶手段５２に記憶されたパラメータを、エンコーダ３０の各エンコーダ用パラメータ記憶手段３２Ｂ，３３Ｂ，３４Ｂにコピーする（同じパラメータをコピーする）。また、学習装置５０は、後段ネットワーク用パラメータ記憶手段５３に記憶されたパラメータを、後段ネットワーク４０の後段ネットワーク用パラメータ記憶手段４２にコピーする。
【0061】
（後段ネットワークのバリエーション：図３、図４）
図３には、ＣＢＳトランスデューサ（Contextual Block Streaming Transducer：以下、CBS-Tと略記する。）の概略構成が示され、図４には、ＣＢＳエンコーダ・デコーダ（Contextual Block Streaming Encoder-Decode：以下、CBS-E/Dと略記する。）の概略構成が示されている。図３は、前述したQian Zhang（チャン・チェン）らの非特許文献４に記載された説明図と同じであり（但し、非特許文献４では、CBS-Tではなく、RNN/Transformer Transducer architectureの説明図として記載されている。）、図４は、前述したE. Tsunoo（エミル・ツノオ）らの非特許文献１に記載された説明図と同じである。但し、これらの図において、ＸやＹ等の符号は変えている。本発明の処理内容は、これらの公知の文献に記載された図の内容とは異なるが、全体的な概略構成については、外形的に見ると同じであるため、これらの図を引用し、説明に使用している。
図３には、ＣＢＳトランスデューサ（Contextual Block Streaming Transducer：以下、CBS-Tと略記する。）の概略構成が示され、図４には、ＣＢＳエンコーダ・デコーダ（Contextual Block Streaming Encoder-Decode：以下、CBS-E/Dと略記する。）の概略構成が示されている。図３は、前述したQian Zhang（チャン・チェン）らの非特許文献４に記載された説明図と同じであり（但し、非特許文献４では、CBS-Tではなく、RNN/Transformer Transducer architectureの説明図として記載されている。）、図４は、前述したE. Tsunoo（エミル・ツノオ）らの非特許文献１に記載された説明図と同じである。但し、これらの図において、ＸやＹ等の符号は変えている。本発明の処理内容は、これらの公知の文献に記載された図の内容とは異なるが、全体的な概略構成については、外形的に見ると同じであるため、これらの図を引用し、説明に使用している。
【0062】
より詳細には、本発明では、これらの公知の音声認識器に対し、エンコーダ（本第１実施形態のエンコーダ３０を含め、全モデルのエンコーダ）の置き換えを行っている。また、後段ネットワーク（本第１実施形態の後段ネットワーク４０を含め、全モデルの後段ネットワーク）は、基本的には、公知の構成を採用することができるが、後述する図９～図１１に示すようなビームサーチの処理を行う場合は、その処理内容は従来と異なっている。従って、本発明を適用可能な音声認識器は、図３に示すCBS-Tや、図４に示すCBS-E/Dに限定されるものではなく、エンコーダの置き換えが可能な音声認識器（但し、ブロック処理を行うストリーミング音声認識器に限る。）であれば、どのような既存の音声認識器や今後開発される音声認識器にも、本発明を適用することができる。また、ビームサーチの処理の変更または組込みが可能であれば、図９～図１１に示すようなビームサーチの処理を行う。
【0063】
なお、CBS-E/Dは、デコーダの処理が、Alex Graves（アレックス・グレイヴス）らの非特許文献３に記載されたリカレント・ニューラルネットワークによるトランスデューサ（以下、RNN-Tと略記する。）に比べて遅い点が課題となる。そこで、RNN-TのエンコーダにＣＢＳエンコーダを利用した構成を、図３に示すように、CBS-Tとして記載している。つまり、図３は、元々、RNN-Tの図であったが、本願では、これをCBS-Tというタイトルで記載している。
【0064】
図３において、ジョイントネットワーク（Joint Network）、ソフトマックス（Softmax）、およびラベルエンコーダ（Label Encoder）が、後段ネットワーク４０に該当する。本第１実施形態の雁木モデル以外のモデルにおける後段ネットワークの場合も同様である。オーディオエンコーダ（Audio Encoder）の部分に、本発明におけるエンコーダが適用される。
【0065】
このオーディオエンコーダに、現在時刻Ｔで得られた１つのブロックＺを構成する音響特徴量Ｘ1～ＸTを入力すると、これらの音響特徴量Ｘ1～ＸTのうちのターゲット部に対応するコードｈ（ＡＥ）Tが出力される。この点は、図２８に示した従来の場合と同様であるが、本発明では、詳細は後述するように、エンコーダから出力されるコードｈ（ＡＥ）Tは、主入力データのターゲット部に対応するコードのみならず、補助入力データのターゲット部に対応するコードも加わることになる。また、ラベルエンコーダに、１番目から（ｕ－１）番目までのトークン列Ｙ1～Ｙu-1を入力すると、それらのトークン列に対応するコードｈ（ＬＥ）u-1が出力される。そして、ジョイントネットワークに、コードｈ（ＡＥ）Tおよびコードｈ（ＬＥ）u-1を入力し、それぞれ線形層を通過させた後に、その和を活性化関数（tanh関数：Hyperbolic tangent function）に通すと、コードｈが出力される。このコードｈをソフトマックスに入力すると、ｕ番目のトークンがＹuになる確率が出力される。そして、ｕを１ずつ増やしながらこの処理を繰り返すと、音声認識結果であるトークン列が得られる。
【0066】
図４において、右側のデコーダが、後段ネットワーク４０に該当する。本第１実施形態の雁木モデル以外のモデルにおける後段ネットワークの場合も同様である。左側のエンコーダのエンコーダ層（Ｎｅ層）に、本発明におけるエンコーダが適用される。
【0067】
この左側のエンコーダに、現在時刻Ｔで得られた１つのブロックＺを構成する音響特徴量Ｘ1～ＸTを入力すると、これらの音響特徴量Ｘ1～ＸTのうちのターゲット部に対応するコードｈ（ＡＥ）Tが出力される。この点は、図２８に示した従来の場合と同様であるが、本発明では、詳細は後述するように、エンコーダから出力されるコードｈ（ＡＥ）Tは、主入力データのターゲット部に対応するコードのみならず、補助入力データのターゲット部に対応するコードも加わることになる。左側のエンコーダの処理は、図中の下側（入力側）から、畳み込み層＆レルー関数（活性化関数）が２回あり、その後、線形層、位置エンコーディング、複数層（Ｎｅ層）のエンコーダ層、正規化という流れであり、このうち複数層（Ｎｅ層）のエンコーダ層以外の部分の処理は、非特許文献１と同じであるが、本発明のポイント部分ではないため、変形してもよい。右側のデコーダの処理の流れも、非特許文献１と同じであるが、本発明のポイント部分ではないため、変形してもよい。
【0068】
（エンコーダ層に入力する音声特徴量Ｘの作成：図５）
入力処理手段３１は、図５に示すように、音声信号を用いて周波数分析を行うことにより、ブロックＺを構成する音声特徴量Ｘを作成する。但し、周波数分析以外の分析方法により音声特徴量Ｘを作成してもよい。
入力処理手段３１は、図５に示すように、音声信号を用いて周波数分析を行うことにより、ブロックＺを構成する音声特徴量Ｘを作成する。但し、周波数分析以外の分析方法により音声特徴量Ｘを作成してもよい。
【0069】
例えば、フレームサイズΔＴ１（サンプル数Ｓ１）、フレームシフトΔＴ２（サンプル数Ｓ２）で音声信号を区切っていく。サンプリング周波数を例えば１６，０００（Ｈｚ）とすると、ΔＴ１＝３２（ｍｓ）、Ｓ１＝５１２サンプルとなり、シフト量は、ΔＴ２＝８（ｍｓ）、Ｓ２＝１２８サンプルとなる。但し、これらの数値は一例にすぎない。
【0070】
その後、例えばＭＦＣＣ（メル周波数ケプストラム係数）等の周波数分析によりＭ１次元（例えば８０次元）の音響特徴量を得る。このＭ１次元の音響特徴量は、フレーム毎に得られるので、時間間隔ΔＴ２で得られる。さらに、サブサンプリングを行うことにより、複数本（例えば４本）のＭ１次元の音響特徴量から、１本のＭ２次元（例えば２５６次元）の音響特徴量Ｘを作成する。４本をまとめて音響特徴量Ｘを作成すると、上記の数値例では、１本の音響特徴量Ｘは、ΔＴ２×７＝５６ｍｓの情報から作成されていることになる。サブサンプリングを行う際の複数本（例えば４本）に重なりは設けなくてよい。これにより、ΔＴ３の時間間隔で音響特徴量Ｘ1，Ｘ2，Ｘ3，…を得ることができる。フレームシフトΔＴ２（サンプル数Ｓ２）を、フレームサイズΔＴ１（サンプル数Ｓ１）の１／４とし、サブサンプリングで重なりなく４本のＭ１次元の音響特徴量をまとめて１本のＭ２次元の音響特徴量Ｘを作成すると、時間間隔ΔＴ３は、フレームサイズΔＴ１と同じとなり、上記の数値例では、３２（ｍｓ）となる。但し、音響特徴量Ｘを得る時間間隔ΔＴ３は、フレームサイズΔＴ１と一致させる必要はない。また、このようにサブサンプリングを行う２段階の処理とせずに、１段階の処理で音響特徴量Ｘを作成するようにしてもよい。
【0071】
入力処理手段３１による以上の音響特徴量Ｘの作成処理は、本第１実施形態の雁木モデルを含め、全てのモデルの入力処理手段により実行される。この他に、入力処理手段３１は、雁木モデルに特有の処理として、次の補助入力データの作成処理を実行する。
【0072】
（雁木モデルに特有の補助入力データの作成処理：図６）
入力処理手段３１は、図６に示すように、雁木モデルに特有の処理として、運用時（推論時）に、最新の入力データ（現在時刻Ｔで得られた音響特徴量ＸTを含むブロック化された複数の音響特徴量Ｘ1～ＸT）から、従来と同様な長さの先読み部を有する主入力データ（フル先読み用の入力データ）に加え、この主入力データの先読み部よりも短い先読み部を有する部分先読み用の補助入力データと、先読み部を有しないゼロ先読み用の補助入力データとを作成する。これらの主入力データ、部分先読み用の補助入力データ、ゼロ先読み用の補助入力データは、１つの最新の入力データ（同一のデータ）から作成され、それぞれのターゲット部（図６中の太線の部分）は、ブロック中の異なる位置に設定される。この際、それぞれのターゲット部は、重なりなく、かつ、隙間なく設定される。
入力処理手段３１は、図６に示すように、雁木モデルに特有の処理として、運用時（推論時）に、最新の入力データ（現在時刻Ｔで得られた音響特徴量ＸTを含むブロック化された複数の音響特徴量Ｘ1～ＸT）から、従来と同様な長さの先読み部を有する主入力データ（フル先読み用の入力データ）に加え、この主入力データの先読み部よりも短い先読み部を有する部分先読み用の補助入力データと、先読み部を有しないゼロ先読み用の補助入力データとを作成する。これらの主入力データ、部分先読み用の補助入力データ、ゼロ先読み用の補助入力データは、１つの最新の入力データ（同一のデータ）から作成され、それぞれのターゲット部（図６中の太線の部分）は、ブロック中の異なる位置に設定される。この際、それぞれのターゲット部は、重なりなく、かつ、隙間なく設定される。
【0073】
部分先読み用およびゼロ先読み用の補助入力データは、いずれも主入力データとターゲット部および履歴部のそれぞれの長さ（構成する音響特徴量Ｘの個数）が同じであり、先読み部の長さだけが異なる。
【0074】
主入力データ（フル先読み用の入力データ）は、主エンコーダ３２への入力データであり、ターゲット部（ＮＣ個の音響特徴量ＸNL+1～ＸNL+NC）と、その過去側（左側）の履歴部（ＮＬ個の音響特徴量Ｘ1～ＸNL）と、その未来側（右側）の先読み部（ＮＲ個の音響特徴量ＸNL+NC+1～ＸNL+NC+NR（ＸT））とにより構成されている。この先読み部は、高精度な音声認識結果を確保するために、従来と同様な長さとされている。但し、従来の先読み部の長さが定まっているわけではないので、相対的に長い先読み部ということになり、確保したい音声認識精度（従来の構成において、遅延を許容して確保していた、すなわち遅延と引き換えに確保していた音声認識精度）に応じた長さの先読み部であるといえる。
【0075】
部分先読み用の補助入力データは、補助エンコーダ（図１および図２の例では、第１の補助エンコーダ３３）への入力データであり、ターゲット部（ＮＣ個の音響特徴量Ｘ）と、その過去側（左側）の履歴部（ＮＬ個の音響特徴量Ｘ）と、その未来側（右側）の先読み部（ＮＲ個よりも少ない個数であるが、ゼロではない個数の音響特徴量Ｘ）とにより構成されている。この部分先読み用の補助入力データは、１つでもよく、２以上でもよく、ゼロ先読み用の補助入力データがあれば、無くてもよい。
【0076】
ゼロ先読み用の補助入力データは、補助エンコーダ（図１および図２の例では、第２の補助エンコーダ３４）への入力データであり、ターゲット部（ＮＣ個の音響特徴量Ｘ）と、その過去側（左側）の履歴部（ＮＬ個の音響特徴量Ｘ）とにより構成され、ターゲット部の未来側（右側）に先読み部はない。このゼロ先読み用の補助入力データは、通常は１つであるが、部分先読み用の補助入力データがあれば、無くてもよい。但し、最大限、遅延を少なくするには、部分先読み用の補助入力データの作成だけでは不足であり、ゼロ先読み用の補助入力データがあったほうがよい。
【0077】
図６に示すように、補助入力データについて、第ｋの補助エンコーダへの入力データという表現をすると、第ｋの補助エンコーダに入力する補助入力データは、ターゲット部（ＮＣk個（＝ＮＣ個）の音響特徴量Ｘ）と、その過去側（左側）の履歴部（ＮＬk個（＝ＮＬ個）の音響特徴量Ｘ）と、その未来側（右側）の先読み部（ＮＲk個の音響特徴量Ｘ）とにより構成されている。ここで、先読み部を構成する音響特徴量Ｘの個数は、ＮＲk＝（ＮＲ－ｋ×ＮＣ）になる。従って、ゼロ先読み用の補助入力データを作成する場合（最大限、遅延を少なくする場合）は、最新の入力データにおいて（１つのブロック中において）、ターゲット部が重なりなく、かつ、隙間なくずれていくので、作成する補助入力データの個数は、（ＮＲ／ＮＣ）となる。そして、ｋ＝（ＮＲ／ＮＣ）を入力すると、第（ＮＲ／ＮＣ）の補助エンコーダに入力する補助入力データについては、その先読み部を構成する音響特徴量Ｘの個数は、ＮＲNR/NC＝｛ＮＲ－（ＮＲ／ＮＣ）×ＮＣ｝＝０となり、ゼロ先読み用の補助入力データとなる。一方、補助入力データの数が、例えば２以上である場合（つまり、第２以降の補助エンコーダが設置される場合であり、ＮＲがＮＣの２倍以上の場合）には、例えばｋ=１を入力すると、第１の補助エンコーダに入力する補助入力データについては、その先読み部を構成する音響特徴量Ｘの個数は、ＮＲ1＝（ＮＲ－１×ＮＣ）となり、ＮＣ以上の個数となるので、部分先読み用の補助入力データとなる。
【0078】
また、入力処理手段３１は、補助入力データを作成する際には、その履歴部の長さは、ＮＬ個で固定されているので、（ＮＬ＋ＮＣ＋ＮＲ）個の音響特徴量Ｘにより構成される最新の入力データから、最も過去側（左側）の音響特徴量Ｘを削除する。この際、削除する音響特徴量Ｘの数は、第ｋの補助エンコーダのｋという番号が１つ増えるごとに、ＮＣ個ずつ増えていく。例えば、第１、第２、第３の補助エンコーダへの入力データ（ゼロ先読み用または部分先読み用の補助入力データ）を作成する際には、１×ＮＣ個、２×ＮＣ個、３×ＮＣ個の音響特徴量Ｘをそれぞれ削除する。各補助入力データのターゲット部を構成する音響特徴量Ｘが、図６中の太線の部分で示すように、ＮＣ個ずつずれていくからである。この点については、図７および図８を用いて詳述する。
【0079】
（雁木モデルの学習時の処理：図７）
図７において、先ず、学習装置５０で学習を行う際には、学習用のデータセットとして、主入力データ（フル先読み用の入力データ）と、部分先読み用の補助入力データと、ゼロ先読み用の補助入力データと、それらに対応する正解データ（正解トークン列）とを用意する。図１および図２に示すように、主エンコーダ３２、第１の補助エンコーダ３３、第２の補助エンコーダ３４は、並列処理を実行するために、別のエンコーダとして設置されるが、ネットワーク構造およびパラメータは同じであるため、学習時には、先読み部の長さの異なる３種類のデータセットを用いて１つのニューラルネットワークを学習する。なお、図７の例では、図１および図２の例に対応させて、３種類のデータセットを用意するが、エンコーダ３０に含まれる主エンコーダおよび補助エンコーダの数（ゼロを含めた先読み部の長さの異なる入力データの種類の数）に応じて何種類のデータセットを用意するかが決まるので、２種類、または４種類以上のデータセットを用意する場合もある。
図７において、先ず、学習装置５０で学習を行う際には、学習用のデータセットとして、主入力データ（フル先読み用の入力データ）と、部分先読み用の補助入力データと、ゼロ先読み用の補助入力データと、それらに対応する正解データ（正解トークン列）とを用意する。図１および図２に示すように、主エンコーダ３２、第１の補助エンコーダ３３、第２の補助エンコーダ３４は、並列処理を実行するために、別のエンコーダとして設置されるが、ネットワーク構造およびパラメータは同じであるため、学習時には、先読み部の長さの異なる３種類のデータセットを用いて１つのニューラルネットワークを学習する。なお、図７の例では、図１および図２の例に対応させて、３種類のデータセットを用意するが、エンコーダ３０に含まれる主エンコーダおよび補助エンコーダの数（ゼロを含めた先読み部の長さの異なる入力データの種類の数）に応じて何種類のデータセットを用意するかが決まるので、２種類、または４種類以上のデータセットを用意する場合もある。
【0080】
具体的には、学習時には、連続する長い音声信号と、それに対応する正解データ（正解トークン列）とが存在するので、その音声信号を区切って作成した１つのブロックを構成する複数の音響特徴量Ｘ（図５参照）と、それに対応する正解データ（正解トークン列）とによる学習用のデータセットを用意する。学習装置５０では、図７に示すように、例えば、区切って作成した１つのブロックを構成する１０個の音響特徴量Ｘ1～Ｘ10があるときに、主入力データは、これら全部を使って作成され、（ＮＬ，ＮＣ，ＮＲ）＝（４，２，４）であるとすると、主入力データの履歴部は、音響特徴量Ｘ1～Ｘ4であり、ターゲット部は、音響特徴量Ｘ5，Ｘ6であり、先読み部は、音響特徴量Ｘ7～Ｘ10である。
【0081】
主入力データのターゲット部が、２つの音響特徴量Ｘ5，Ｘ6で構成されるので、運用時に補助入力データを作成する際のターゲット部のシフト量は、音響特徴量Ｘの２つ分である。従って、学習時に部分先読み用の補助入力データを作成する際は、主入力データの場合よりも、先読み部を音響特徴量Ｘの２つ分だけ短くする。雁木モデルでは、学習時および運用時のいずれのときでも、ブロック中の固定位置（つまり、主入力データのターゲット部と同じ位置）に、補助入力データのターゲット部が来るようにする。これにより、主エンコーダ３２、および第１、第２の補助エンコーダ３３，３４のパラメータを同じものとすることができる。換言すれば、それらのパラメータを１つのニューラルネットワークで学習して決定することができる。
【0082】
この際、学習時には、１０個の音響特徴量Ｘ1～Ｘ10のうち、最も未来側（右側）の２つの音響特徴量Ｘ9，Ｘ10をマスクすれば、先読み部を２つ減らすことができ、ターゲット部を音響特徴量Ｘ5，Ｘ6にしたままで部分先読み用の補助入力データを作成することができる。従って、作成した部分先読み用の補助入力データの履歴部は、音響特徴量Ｘ1～Ｘ4であり、ターゲット部は、音響特徴量Ｘ5，Ｘ6であり、先読み部は、音響特徴量Ｘ7，Ｘ8である。ターゲット部が音響特徴量Ｘ5，Ｘ6のままであるということは、それに対応する正解データも、主入力データのときと同じでよいことになる。
【0083】
また、学習時には、１０個の音響特徴量Ｘ1～Ｘ10のうち、最も未来側（右側）の４つの音響特徴量Ｘ7～Ｘ10をマスクすれば、先読み部を４つ減らしてゼロにすることができ、ターゲット部を音響特徴量Ｘ5，Ｘ6にしたままでゼロ先読み用の補助入力データを作成することができる。従って、作成したゼロ先読み用の補助入力データの履歴部は、音響特徴量Ｘ1～Ｘ4であり、ターゲット部は、音響特徴量Ｘ5，Ｘ6であり、先読み部はない。ターゲット部が音響特徴量Ｘ5，Ｘ6のままであるということは、それに対応する正解データも、主入力データのときと同じでよいことになる。
【0084】
このように学習時には、後述する運用時（図８参照）とは異なる考え方で、部分先読み用およびゼロ先読み用の補助入力データを作成することができ、学習用のデータセットを比較的容易に用意することができる。
【0085】
次に、用意した主入力データ、部分先読み用の補助入力データ、ゼロ先読み用の補助入力データによるデータセットを用いて、学習用のエンコーダ３２Ｇ（１つのニューラルネットワークであり、学習時には符号３２，３３，３４ではなく、符号３２Ｇを付した。）および後段ネットワーク４０Ｇ（学習時には符号４０ではなく、符号４０Ｇを付した。）の学習処理を実行し、それらのパラメータを決定し、エンコーダ用パラメータ記憶手段５２および後段ネットワーク用パラメータ記憶手段５３（図２参照）に記憶させる。この際、主入力データ、部分先読み用の補助入力データ、ゼロ先読み用の補助入力データは、別々にランダムな順番で入力する。主入力データをエンコーダ３２Ｇに入力すると、そのターゲット部である音響特徴量Ｘ5，Ｘ6に対応するコードｈ5，ｈ6がエンコーダ３２Ｇから出力されて後段ネットワーク４０Ｇに送られ、後段ネットワーク４０Ｇからトークン列が出力されるので、そのトークン列が正解データとなるようにエンコーダ３２Ｇおよび後段ネットワーク４０Ｇのパラメータを決定する学習を行う。部分先読み用およびゼロ先読み用の補助入力データを入力する場合も同様である。この際、音響特徴量Ｘの列と、対応するトークン列とのマッピングを学習させるが、その学習は既存の方法でよい。なお、後段ネットワーク４０（学習時には符号４０Ｇを付している。）が図３のCBS-Tの場合には、ジョイントネットワーク＆ラベルエンコーダも、オーディオエンコーダとともに学習され、図４のCBS-E/Dの場合には、デコーダも、エンコーダとともに学習される。
【0086】
また、使用する主入力データ、部分先読み用の補助入力データ、ゼロ先読み用の補助入力データの数の比率は、例えば、５０％、２５％、２５％であり、この比率で、主エンコーダ３２、第１の補助エンコーダ３３、第２の補助エンコーダ３４のそれぞれのための学習を行っていることになる。なお、比率は、これらの数値に限定されないが、主入力データの比率を高くすることが好ましい。
【0087】
（雁木モデルの運用時の処理：図８）
図８において、運用時には、最新の入力データ（１つのブロックを構成する１０個の音響特徴量Ｘ1～Ｘ10）から、入力処理手段３１により、主入力データ、部分先読み用の補助入力データ、ゼロ先読み用の補助入力データを作成する。この際、主入力データは、１０個の音響特徴量Ｘ1～Ｘ10をそのまま全部使って作成する。従って、（ＮＬ，ＮＣ，ＮＲ）＝（４，２，４）であるとすると、主入力データの履歴部は、音響特徴量Ｘ1～Ｘ4であり、ターゲット部は、音響特徴量Ｘ5，Ｘ6であり、先読み部は、音響特徴量Ｘ7～Ｘ10である。
図８において、運用時には、最新の入力データ（１つのブロックを構成する１０個の音響特徴量Ｘ1～Ｘ10）から、入力処理手段３１により、主入力データ、部分先読み用の補助入力データ、ゼロ先読み用の補助入力データを作成する。この際、主入力データは、１０個の音響特徴量Ｘ1～Ｘ10をそのまま全部使って作成する。従って、（ＮＬ，ＮＣ，ＮＲ）＝（４，２，４）であるとすると、主入力データの履歴部は、音響特徴量Ｘ1～Ｘ4であり、ターゲット部は、音響特徴量Ｘ5，Ｘ6であり、先読み部は、音響特徴量Ｘ7～Ｘ10である。
【0088】
部分先読み用の補助入力データは、運用時には、主入力データに対し、ターゲット部の位置が未来方向（右方向）に２つ分ずれるように作成する。すなわち、最新の入力データを構成する１０個の音響特徴量Ｘ1～Ｘ10のうちの音響特徴量Ｘ7，Ｘ8を、部分先読み用の補助入力データのターゲット部とする。そして、このターゲット部である音響特徴量Ｘ7，Ｘ8を、ブロック中の固定位置（つまり、主入力データのターゲット部と同じ位置）にする必要がある。従って、１０個の音響特徴量Ｘ1～Ｘ10のうち、最も過去側（左側）の２つの音響特徴量Ｘ1，Ｘ2を削除する。また、入力データの次元数を合わせるために、最も未来側（右側）に、２つ分のゼロを入れる。従って、部分先読み用の補助入力データの履歴部は、音響特徴量Ｘ3～Ｘ6であり、ターゲット部は、音響特徴量Ｘ7，Ｘ8であり、先読み部は、音響特徴量Ｘ9，Ｘ10である。
【0089】
ゼロ先読み用の補助入力データは、運用時には、主入力データに対し、ターゲット部の位置が未来方向（右方向）に４つ分ずれるように作成する。すなわち、最新の入力データを構成する１０個の音響特徴量Ｘ1～Ｘ10のうちの音響特徴量Ｘ9，Ｘ10を、部分先読み用の補助入力データのターゲット部とする。そして、このターゲット部である音響特徴量Ｘ9，Ｘ10を、ブロック中の固定位置（つまり、主入力データのターゲット部と同じ位置）にする必要がある。従って、１０個の音響特徴量Ｘ1～Ｘ10のうち、最も過去側（左側）の４つの音響特徴量Ｘ1～Ｘ4を削除する。また、入力データの次元数を合わせるために、最も未来側（右側）に、４つ分のゼロを入れる。従って、ゼロ先読み用の補助入力データの履歴部は、音響特徴量Ｘ5～Ｘ8であり、ターゲット部は、音響特徴量Ｘ9，Ｘ10であり、先読み部はない。
【0090】
次に、作成した主入力データ、部分先読み用の補助入力データ、ゼロ先読み用の補助入力データを、主エンコーダ３２、第１の補助エンコーダ３３、第２の補助エンコーダ３４にそれぞれ入力する。これらの入力は、各エンコーダ３２，３３，３４で並列処理を実行するので、同時入力となる。前述した図１では、運用時の時間軸に対し、主エンコーダ３２、第１の補助エンコーダ３３、第２の補助エンコーダ３４を雁木のようにずらして記載することにより、この状況を示している。
【0091】
その後、主エンコーダ３２からは、主入力データのターゲット部を構成する音響特徴量Ｘ5，Ｘ6に対応するコードｈ5，ｈ6が出力され、第１の補助エンコーダ３３からは、部分先読み用の補助入力データのターゲット部を構成する音響特徴量Ｘ7，Ｘ8に対応するコードｈ7，ｈ8が出力され、第２の補助エンコーダ３４からは、ゼロ先読み用の補助入力データのターゲット部を構成する音響特徴量Ｘ9，Ｘ10に対応するコードｈ9，ｈ10が出力されるので、これらのコードｈ5～ｈ10をまとめて後段ネットワーク４０に送り、後段ネットワーク４０から、音声認識結果として、コードｈ5～ｈ10に対応するトークン列を出力する。この際、例えば、前述したE. Tsunoo（エミル・ツノオ）らの非特許文献２に記載されたブロック境界検知（Block Boundary Detection）アルゴリズムを用いて、それぞれの入力データのターゲット部を連結した音響特徴量Ｘ5～Ｘ10に対応するコードｈ5～ｈ10に何個のトークンが含まれるのか等を検知し、音声認識のためのデコードの処理を実行する。
【0092】
これにより、音響特徴量Ｘ5，Ｘ6だけではなく、音響特徴量Ｘ5～Ｘ10に対応するトークン列が出力されるので、音声認識における遅延が少なくなる。なお、本発明では、音声認識遅延を低減するために、マルチ・ルック・アヘッド（Multi-look-ahead）の音声認識処理（MLA-ASR）を導入しているが、MLA-ASRを導入しても、デバイスによる処理遅延（図５のタイムラグを含む。）はなくならないので、音声認識遅延をゼロにすることはできない。
【0093】
（後段ネットワークにおけるビームサーチ：図９、図１０）
図９、図１０に示すように、本発明では、後段ネットワークで従来とは異なるビームサーチ（Beam Search）の処理が実行される。図９には、ブロックのシフト量が主入力データのターゲット部のサイズと一致する場合のビームサーチの処理が示され、図１０には、ブロックのシフト量が主入力データのターゲット部のサイズよりも小さい場合のビームサーチの処理が示されている。いずれの処理も、本第１実施形態の雁木モデルに限らず、全てのモデルにおける後段ネットワークの処理に適用することができる。
図９、図１０に示すように、本発明では、後段ネットワークで従来とは異なるビームサーチ（Beam Search）の処理が実行される。図９には、ブロックのシフト量が主入力データのターゲット部のサイズと一致する場合のビームサーチの処理が示され、図１０には、ブロックのシフト量が主入力データのターゲット部のサイズよりも小さい場合のビームサーチの処理が示されている。いずれの処理も、本第１実施形態の雁木モデルに限らず、全てのモデルにおける後段ネットワークの処理に適用することができる。
【0094】
ビームサーチの処理は、従来から実行され、前述したE. Tsunoo（エミル・ツノオ）らの非特許文献２にも記載されている。従来は、本発明でいう主入力データ（フル先読み用の入力データ）のターゲット部を構成する音響特徴量Ｘに対応するコードだけしか後段ネットワークに送っていなかった、つまり１つのブロック中では、その部分だけしか音声認識対象としていなかったことと、時間の経過とともにブロックをシフトしていく際のシフト量を、本発明でいう主入力データのターゲット部のサイズと一致させていたことから、各ブロックの処理で後段ネットワークに送られるコードが時間的に重なることはなかった。
【0095】
しかし、本発明では、MLA-ASRを導入するので、主入力データ（フル先読み用の入力データ）のターゲット部だけではなく、補助入力データ（部分先読み用および／またはゼロ先読み用の補助入力データ）のターゲット部を構成する音響特徴量Ｘに対応する各コードも、後段ネットワークに送る。このため、後段ネットワークにおける各ブロックでのビームサーチの処理範囲に重なりが生じる。
【0096】
図９の場合は、（ｂ－１）番目のブロックＺb-1では、後段ネットワークに入力される全てのコード（主入力データおよび補助入力データの各ターゲット部に対応するコードの全部）を対象としてビームサーチが実行されるので、ビームサーチの開始点および終了点は、Ｔb-1（Ｓ）、Ｔb-1（Ｅ）となる。
【0097】
次のｂ番目のブロックＺbでは、上記と同様に、後段ネットワークに入力される全てのコードを対象としてビームサーチが実行されるので、ビームサーチの開始点および終了点は、Ｔb（Ｓ）、Ｔb（Ｅ）となる。従って、ブロックＺbでは、１つ前のブロックＺb-1のビームサーチの終了点Ｔb-1（Ｅ）からではなく、時間的にＴb（Ｓ）まで戻ってビームサーチを開始する。さらに次の（ｂ＋１）番目のブロックＺb+1でも同様であり、１つ前のブロックＺbのビームサーチの終了点Ｔb（Ｅ）からではなく、時間的にＴb+1（Ｓ）まで戻ってビームサーチを開始する。
【0098】
図９の下部には、（ｂ－１）番目のブロックＺb-1でビームサーチを実行し、条件付き確率が高いトークンを並べたトークン列のビームが複数本伸びていく状態が、実線で示されている。例えば、トークンのボキャブラリー数は、図示されているトークンＹの数よりも多く、ビームサイズ（ビームの本数）が３であるとすると、最初に条件付き確率が高くなるようにトークンＹa1、Ｙa3、Ｙa4が選択され、次に、トークンＹb2、Ｙb3、Ｙb5が選択され、さらにその次に、トークンＹc1、Ｙc4、Ｙc7が選択されるという具合に、〇で囲んだトークンＹを並べたトークン列を示す３本のビームが伸びていく。各ビームのトークン列を構成する各トークンおよびその条件付き確率は、記憶しておく。主メモリへの記憶でよい。
【0099】
ｂ番目のブロックＺbのビームサーチは、点線で示されている。このビームサーチは、トークンＹb2、Ｙb3、Ｙb5に戻って開始される。従って、ブロックＺbの処理では、戻った時点のＹb2、Ｙb3、Ｙb5のそれぞれに繋がるトークン列がサーチされる。例えば、最初にＹg1、Ｙg2、Ｙg3が選択され、次に、Ｙh1、Ｙh2、Ｙh3が選択されるという具合に、点線の〇で囲んだトークンＹを並べたトークン列を示す３本のビームが伸びていく。なお、紙面の都合上、３本の各ビームの後半部分のトークンの記載は省略し、点線での記載としている。
【0100】
（ｂ＋１）番目のブロックＺb+1のビームサーチは、一点鎖線で示されている。このビームサーチは、トークンＹh1、Ｙh2、Ｙh3に戻って開始される。従って、ブロックＺb+1の処理では、戻った時点のＹh1、Ｙh2、Ｙh3のそれぞれに繋がるトークン列がサーチされる。なお、紙面の都合上、３本の各ビームのトークンの記載は省略し、一点鎖線での記載としている。
【0101】
また、図９の上部に示す通り、主入力データのターゲット部を構成する音響特徴量Ｘに対応する各コードは、ブロックＺb-1、ブロックＺb、ブロックＺb+1で時間的に重なりがなく、かつ、隙間なく、ずれているので、主入力データのターゲット部に対応するコードの全部が、確度の高い音声認識結果を得るための本認識部となる。一方、補助入力データのターゲット部を構成する音響特徴量Ｘに対応する各コードは、次のブロックで書き換えられるオーバーライト部分であるため、仮認識部となる。この点が、下記の図１０の場合と異なる。
【0102】
図１０の場合は、後段ネットワークに入力されるコードのうち、主入力データのターゲット部に対応するコードの全部ではなく、その一部が、確度の高い音声認識結果を得るための本認識部となる。この点が、上記の図９の場合と異なる。ブロックのシフト量が、主入力データのターゲット部のサイズよりも小さいので、そのような設定となる。大別すると、このような本認識部の設定方法は３通りあり、主入力データのターゲット部に対応するコードのうちの中間位置に本認識部を設定する設定方法Ａと、未来側（右側）の位置に本認識部を設定する設定方法Ｂと、過去側（左側）の位置に本認識部を設定する設定方法Ｃとがある。
【0103】
本認識部の設定方法Ａでは、主入力データのターゲット部に対応するコードのうちの中間位置に本認識部が設定されるので（「本」で示されている部分）、この本認識部の過去側（左側）のコードは、不使用部のコードとして捨てられる（「捨」で示されている部分）。つまり、この「捨」の部分のビームサーチは行われない。また、主入力データのターゲット部に対応するコードのうち本認識部の未来側（右側）の部分は、補助入力データのターゲット部に対応するコードとともに、仮認識部となり（「仮」で示されている部分）、ビームサーチが行われる。
【0104】
従って、ブロックＺb-1の処理では、ビームサーチの開始点および終了点は、Ｔb-1（Ｓ）、Ｔb-1（Ｅ）となる。次のブロックＺbの処理では、１つ前のブロックＺb-1のビームサーチの終了点Ｔb-1（Ｅ）からではなく、時間的にＴb（Ｓ）まで戻ってビームサーチを開始する。つまり、「捨」の部分はビームサーチに使用しないので、「捨」の部分の過去側（左側）の端部の位置までは戻らない。さらに次のブロックＺb+1でも同様であり、１つ前のブロックＺbのビームサーチの終了点Ｔb（Ｅ）からではなく、時間的にＴb+1（Ｓ）まで戻ってビームサーチを開始する。
【0105】
本認識部の設定方法Ｂでは、主入力データのターゲット部に対応するコードのうちの未来側（右側）の位置に本認識部が設定されるので（「本」で示されている部分）、この本認識部の過去側（左側）のコードは、不使用部のコードとして捨てられる（「捨」で示されている部分）。つまり、この「捨」の部分のビームサーチは行われない。
【0106】
この本認識部の設定方法Ｂでも、「捨」の部分をビームサーチに使用しないように戻るという点は、前述した設定方法Ａの場合と同様である。従って、ブロックＺbの処理では、１つ前のブロックＺb-1のビームサーチの終了点Ｔb-1（Ｅ）からではなく、時間的にＴb（Ｓ）まで戻ってビームサーチを開始する。つまり、「捨」の部分はビームサーチに使用しないので、「捨」の部分の過去側（左側）の端部の位置までは戻らない。
【0107】
本認識部の設定方法Ｃでは、主入力データのターゲット部に対応するコードのうちの過去側（左側）の位置に本認識部が設定されるので（「本」で示されている部分）、この本認識部の未来側（右側）の部分は、補助入力データのターゲット部に対応するコードとともに、仮認識部となり（「仮」で示されている部分）、ビームサーチが行われる。従って、本認識部の設定方法Ｃでは、主入力データのターゲット部に対応するコードの全部について、ビームサーチが行われるので、不使用部として捨てられるコード（「捨」で示される部分）はない。
【0108】
そして、本認識部の設定方法Ａ，Ｂ，Ｃのいずれの方法でも、時間の経過に伴ってブロックＺb-1，Ｚb，Ｚb+1と処理が進んでいく際に、それぞれのブロックＺb-1，Ｚb，Ｚb+1の本認識部は、重なりなく、かつ、隙間なく、ずれているので、確度の高い音声認識結果を得るための本認識部だけを見ていくと、従来と同様なシフトが行われていることになる。
【0109】
（雁木モデルの後段ネットワークにおけるビームサーチ：図１１）
本第１実施形態の雁木モデルでは、図９に示したブロックのシフト（ブロックのシフト量を主入力データのターゲット部のサイズと一致させる。）を行ってもよいが、図１０に示したブロックのシフト（ブロックのシフト量を主入力データのターゲット部のサイズよりも小さくする。）を行うことが好ましい。雁木の段数（主エンコーダおよび補助エンコーダの数）を増やすことなく、より短い時間間隔でのブロック処理を実現するためでる。この際、図１０に記載した本認識部の設定方法Ａ，Ｂ，Ｃのいずれを選択してもよいが、図１１には、本認識部の設定方法Ａを選択した場合のシフト状況を示す。
本第１実施形態の雁木モデルでは、図９に示したブロックのシフト（ブロックのシフト量を主入力データのターゲット部のサイズと一致させる。）を行ってもよいが、図１０に示したブロックのシフト（ブロックのシフト量を主入力データのターゲット部のサイズよりも小さくする。）を行うことが好ましい。雁木の段数（主エンコーダおよび補助エンコーダの数）を増やすことなく、より短い時間間隔でのブロック処理を実現するためでる。この際、図１０に記載した本認識部の設定方法Ａ，Ｂ，Ｃのいずれを選択してもよいが、図１１には、本認識部の設定方法Ａを選択した場合のシフト状況を示す。
【0110】
雁木モデルでは、主入力データのターゲット部に対し、補助入力データのターゲット部の位置が未来方向（右方向）にシフトしていく。このシフト量は、ターゲット部のサイズ（ＮＣ個の音響特徴量Ｘ）毎であり、重なりなく、かつ、隙間なく、シフトが行われる。つまり、このシフトに伴って、補助入力データの先読み部は、ＮＣ個の音響特徴量Ｘのサイズずつ、短くなっていく。図１や図６に示された雁木のような階段状の図は、この状況を示している。従って、ゼロ先読み用の補助入力データを使う場合には、主入力データの先読み部のサイズ（ＮＲ個）をターゲット部のサイズ（ＮＣ個）で除した数（ＮＲ／ＮＣ）が、補助エンコーダの数となる。このため、ターゲット部のサイズ（ＮＣ個）を大きくすると、補助エンコーダの数が減り、ターゲット部のサイズ（ＮＣ個）を小さくすると、補助エンコーダの数が多くなるという関係にある。
【0111】
一方、ブロック処理によるストリーミング音声認識を行う場合は、ブロックをシフトさせていく。このブロックのシフト量は、図２８の従来例に示したように、ターゲット部のサイズ（ＮＣ個）と同じである。音声認識対象のターゲット部が、重なりなく、かつ、隙間なく、ずれていくようにするためである。このため、短い時間間隔で、次の音声認識結果を得たい場合は、ターゲット部のサイズ（ＮＣ個）を小さくすることになる。
【0112】
ところが、上述したように、雁木モデルの場合は、ターゲット部のサイズ（ＮＣ個）を小さくすると、補助エンコーダの数が多くなり、構造が複雑化するという不都合が生じる。そこで、図１１に示すように、雁木モデルの場合において、ブロックのシフト量を、主入力データのターゲット部のサイズ（ＮＣ個）よりも小さくすると、補助エンコーダの数を増やすことなく、短い時間間隔で、次の音声認識結果を得ることができる。
【0113】
ブロックのシフト量を、主入力データのターゲット部のサイズ（ＮＣ個）よりも小さくすると、後段ネットワークの処理で、主入力データのターゲット部に対応するコードの全部ではなく、その一部が本認識部となるので、通常、想起しにくい設定であるが、雁木モデルの場合には、補助エンコーダの数を少なくすることができるという効果がある。
【0114】
雁木モデルにおけるターゲット部のシフトは、１つのブロック内で行われる処理であり、ブロックのシフトとは、別の処理であるが、図１１には、これらの２種類のシフトの関係が示されている。すなわち、図１１において、太枠で囲まれたターゲット部のシフト（エンコード層への入力データ）と、シフトされた各ターゲット部に対応するコード（後段ネットワークへの入力データ）と、得られたコードに割り当てられる不使用部、本認識部、仮認識部（それぞれ「捨」、「本」、「仮」で示されている。）の設定と、ビームサーチの範囲との関係を確認することができる。
【0115】
（本第１実施形態の雁木モデルの効果）
このような本第１実施形態によれば、次のような効果を得ることができる。すなわち、音声認識器２０は、主エンコーダ３２、および第１、第２の補助エンコーダ３３，３４（但し、補助エンコーダの数は１つでも、３つ以上でもよい。）を備えているので、マルチ・ルック・アヘッド（Multi-look-ahead）の音声認識処理（MLA-ASR）を実現し、高精度を維持しつつ、低遅延の音声認識処理を行うことができる。
このような本第１実施形態によれば、次のような効果を得ることができる。すなわち、音声認識器２０は、主エンコーダ３２、および第１、第２の補助エンコーダ３３，３４（但し、補助エンコーダの数は１つでも、３つ以上でもよい。）を備えているので、マルチ・ルック・アヘッド（Multi-look-ahead）の音声認識処理（MLA-ASR）を実現し、高精度を維持しつつ、低遅延の音声認識処理を行うことができる。
【0116】
より詳細には、主エンコーダ３２により、相対的に長い先読み部を有する主入力データ（フル先読み用の入力データ）を用いたエンコーディングを行うことにより、主入力データのターゲット部について、相対的に高精度の音声認識結果を得るとともに、補助エンコーダ３３，３４により、先読み部を有しないか、または相対的に短い先読み部を有する補助入力データ（ゼロ先読み用および／または部分先読み用の補助入力データ）を用いたエンコーディングを行うことにより、補助入力データのターゲット部について、従来よりも早いタイミングで音声認識結果を得ることができる。
【0117】
つまり、補助入力データの先読み部は、ゼロである（先読み部を設定しない）か、または主入力データの先読み部よりも短いので、補助入力データのターゲット部は、主入力データのターゲット部よりも、時間的に未来側（右側）に設定される。従って、主入力データおよび少なくとも１つの補助入力データの作成により、同じ最新の入力データに対し、時間的に位置をずらした複数のターゲット部を設定できる。このため、新たに得られた音声認識結果のうちの未来側（右側）の部分は、補助エンコーダ３３，３４による音声認識結果であるため、精度は相対的に低いが、遅延の少ない音声認識結果を得ることができ、一方、それよりも過去側（左側）の部分、すなわち、従来はそこまでしか音声認識結果が得られていなかった部分は、主エンコーダ３２による音声認識結果であるため、遅延はあるが、高精度な音声認識結果を得ることができる。
【0118】
また、主エンコーダ３２と、補助エンコーダ３３，３４とは、エンコーダ層のパラメータが共有化されているので、全く共有部分のない複数のエンコーダを用意する場合に比べ、マルチ・ルック・アヘッド（Multi-look-ahead）の音声認識処理（MLA-ASR）としたことによる認識精度の犠牲を低く抑えることができ、高い性能を発揮させることができる。
【0119】
さらに、図１１を用いて既に詳述したように、雁木モデルにおいて、ブロックのシフト量を、主入力データのターゲット部のサイズ（ＮＣ個）よりも小さくすると、補助エンコーダの数を維持しながら、すなわち補助エンコーダの数を増やさなくても、短い時間間隔で次のブロック処理による音声認識結果を得ることができる。
【0120】
［第２実施形態］
【0121】
図１２は、本発明の第２実施形態の音声認識システム２００の分岐モデル（２分岐の場合）の要部を示すエンコーダの説明図であり、図１３には、分岐モデルの全体構成が示されている。図１４および図１５には、分岐モデル（２分岐の場合）の学習時および運用時の処理が示され、図１６および図１７は、分岐モデル（３分岐の場合）の学習時および運用時の処理が示されている。
【0122】
（分岐モデルの音声認識システム２００の全体構成：図１２、図１３）
図１２および図１３において、音声認識システム２００は、分岐モデルであり、１台または複数台のコンピュータにより構成され、音声信号からトークンを出力する音声認識器２２０と、その学習装置２５０とを備えている。音声認識器２２０は、ニューラルネットワークにより構成されたエンド・ツー・エンド（End-to-End）のストリーミング音声認識器であり、音声信号からコード（エンコードされた符号）を出力するエンコーダ２３０と、このエンコーダ２３０から受け取ったコードからトークンを出力する後段ネットワーク２４０とを備えている。
図１２および図１３において、音声認識システム２００は、分岐モデルであり、１台または複数台のコンピュータにより構成され、音声信号からトークンを出力する音声認識器２２０と、その学習装置２５０とを備えている。音声認識器２２０は、ニューラルネットワークにより構成されたエンド・ツー・エンド（End-to-End）のストリーミング音声認識器であり、音声信号からコード（エンコードされた符号）を出力するエンコーダ２３０と、このエンコーダ２３０から受け取ったコードからトークンを出力する後段ネットワーク２４０とを備えている。
【0123】
（分岐モデルのエンコーダ２３０の構成）
図１２および図１３において、エンコーダ２３０は、入力処理手段２３１と、入力層から出力層に至るまでの中間位置で分岐（図１２および図１３の例では、２分岐）した１つのニューラルネットワークを構成する分岐前の部分である共有層２３２（エンコーダ層の層数Ne-comは、複数層が好ましいが、１層でもよい。）と、分岐後の部分である主エンコーダ用の固有層２３３（エンコーダ層の層数Ne-priは、複数層が好ましいが、１層でもよい。）と、分岐後の部分である補助エンコーダ用の固有層２３４（エンコーダ層の層数Ne-auxは、複数層が好ましいが、１層でもよい。）とを備えて構成されている。そして、共有層２３２と、主エンコーダ用の固有層２３３とにより、主エンコーダ２３５が構成され、共有層２３２と、補助エンコーダ用の固有層２３４とにより、補助エンコーダ２３６が構成されている。
図１２および図１３において、エンコーダ２３０は、入力処理手段２３１と、入力層から出力層に至るまでの中間位置で分岐（図１２および図１３の例では、２分岐）した１つのニューラルネットワークを構成する分岐前の部分である共有層２３２（エンコーダ層の層数Ne-comは、複数層が好ましいが、１層でもよい。）と、分岐後の部分である主エンコーダ用の固有層２３３（エンコーダ層の層数Ne-priは、複数層が好ましいが、１層でもよい。）と、分岐後の部分である補助エンコーダ用の固有層２３４（エンコーダ層の層数Ne-auxは、複数層が好ましいが、１層でもよい。）とを備えて構成されている。そして、共有層２３２と、主エンコーダ用の固有層２３３とにより、主エンコーダ２３５が構成され、共有層２３２と、補助エンコーダ用の固有層２３４とにより、補助エンコーダ２３６が構成されている。
【0124】
なお、分岐モデルにおける補助エンコーダの数は、この例では１つであるが、１つに限定されるものではなく、２以上でもよい。従って、分岐数は、この例では２分岐であるが、３分岐以上でもよい。また、分岐後の部分をさらに分岐し、多段分岐のマルチタスクのネットワーク構造としてもよく、例えば、１番目の分岐で、主タスクの出力に至る部分αと、複数（第１、第２、第３、…）の補助タスクに共有の部分βとに分岐させ、２番目の分岐で、部分βを、複数の補助タスクのそれぞれの出力に至る部分β１，β２，β３…に分岐させる等のネットワーク構造としてもよい。
【0125】
入力処理手段２３１は、前記第１実施形態の入力処理手段３１と同様に、図５に示すような音声信号から音響特徴量Ｘを作成する処理を実行する。なお、入力処理手段２３１は、前記第１実施形態の入力処理手段３１の場合とは異なり、運用時に、主入力データおよび補助入力データ（ゼロ先読み用および／または部分先読み用の補助入力データ）を作成する処理は行わない。共有層２３２への入力データは、１つの最新の入力データであり、その１つのデータを、主入力データや補助入力データとみなしてエンコードの処理を行うからである。
【0126】
共有層２３２は、共有層処理手段２３２Ａと、共有層パラメータ記憶手段２３２Ｂとを備えて構成されている。主エンコーダ用の固有層２３３は、主エンコーダ用の固有層処理手段２３３Ａと、主エンコーダ用の固有層パラメータ記憶手段２３３Ｂとを備えて構成されている。補助エンコーダ用の固有層２３４は、補助エンコーダ用の固有層処理手段２３４Ａと、補助エンコーダ用の固有層パラメータ記憶手段２３４Ｂとを備えて構成されている。
【0127】
共有層処理手段２３２Ａ、主エンコーダ用の固有層処理手段２３３Ａ、補助エンコーダ用の固有層処理手段２３４Ａは、説明の便宜上、分けて記載されているが、途中で分岐する１つのニューラルネットワークによるエンコードの処理（符号化処理）のためのアルゴリズムを実行するものであり、コンピュータの内部に設けられた演算処理装置（ＣＰＵやＧＰＵ等）およびその動作手順を規定する１つまたは複数のプログラム、並びに主メモリやキャッシュメモリ等の作業用メモリなどにより構成されている。運用時の共有層処理手段２３２Ａ、主エンコーダ用および補助エンコーダ用の固有層処理手段２３３Ａ，２３４Ａの処理内容の詳細については、図１５を用いて後述する。
【0128】
共有層パラメータ記憶手段２３２Ｂ、主エンコーダ用および補助エンコーダ用の固有層パラメータ記憶手段２３３Ｂ，２３４Ｂは、ニューラルネットワークのパラメータを記憶するものであり、演算中は主メモリにより構成され、コンピュータが稼働していないときは、ＨＤＤやＳＳＤ等の不揮発性メモリにより構成されている。
【0129】
（分岐モデルの後段ネットワーク２４０の構成）
後段ネットワーク２４０は、ニューラルネットワークによるデコードの処理のためのアルゴリズムを実行する後段処理手段２４１と、後段ネットワーク用パラメータ記憶手段２４２とを備えて構成されている。この後段ネットワーク２４０は、前記第１実施形態の後段ネットワーク４０と同様な構成であり、そのバリエーションとして、図３のCBS-Tや図４のCBS-E/Dを採用することができ、その他の構成でもよい。また、後段処理手段２４１で実行されるビームサーチの処理は、前記第１実施形態の後段ネットワーク４０と同様であり、既に図９、図１０を用いて詳述した通りである。後段ネットワーク２４０のハードウェア構成（プログラムの実行とそれに必要な情報の記憶のための構成）は、エンコーダ２３０と同様である。
後段ネットワーク２４０は、ニューラルネットワークによるデコードの処理のためのアルゴリズムを実行する後段処理手段２４１と、後段ネットワーク用パラメータ記憶手段２４２とを備えて構成されている。この後段ネットワーク２４０は、前記第１実施形態の後段ネットワーク４０と同様な構成であり、そのバリエーションとして、図３のCBS-Tや図４のCBS-E/Dを採用することができ、その他の構成でもよい。また、後段処理手段２４１で実行されるビームサーチの処理は、前記第１実施形態の後段ネットワーク４０と同様であり、既に図９、図１０を用いて詳述した通りである。後段ネットワーク２４０のハードウェア構成（プログラムの実行とそれに必要な情報の記憶のための構成）は、エンコーダ２３０と同様である。
【0130】
（分岐モデルの学習装置２５０の構成）
学習装置２５０は、学習手段２５１と、エンコーダ用パラメータ記憶手段２５２と、後段ネットワーク用パラメータ記憶手段２５３とを備えて構成されている。学習手段２５１は、共有層２３２、並びに主エンコーダ用および補助エンコーダ用の固有層２３３，２３４を備えた１つのニューラルネットワークの学習処理を実行し、それらのパラメータを決定し、エンコーダ用パラメータ記憶手段２５２に記憶させるとともに、併せて後段ネットワーク２４０として使用するニューラルネットワークの学習処理を実行し、そのパラメータを決定し、後段ネットワーク用パラメータ記憶手段２５３に記憶させる。この学習処理の詳細については、図１４を用いて後述する。また、学習装置２５０のハードウェア構成（プログラムの実行とそれに必要な情報の記憶のための構成）は、エンコーダ２３０と同様である。
学習装置２５０は、学習手段２５１と、エンコーダ用パラメータ記憶手段２５２と、後段ネットワーク用パラメータ記憶手段２５３とを備えて構成されている。学習手段２５１は、共有層２３２、並びに主エンコーダ用および補助エンコーダ用の固有層２３３，２３４を備えた１つのニューラルネットワークの学習処理を実行し、それらのパラメータを決定し、エンコーダ用パラメータ記憶手段２５２に記憶させるとともに、併せて後段ネットワーク２４０として使用するニューラルネットワークの学習処理を実行し、そのパラメータを決定し、後段ネットワーク用パラメータ記憶手段２５３に記憶させる。この学習処理の詳細については、図１４を用いて後述する。また、学習装置２５０のハードウェア構成（プログラムの実行とそれに必要な情報の記憶のための構成）は、エンコーダ２３０と同様である。
【0131】
そして、学習装置２５０は、図１３中の点線に示すように、エンコーダ用パラメータ記憶手段２５２に記憶されたパラメータを、エンコーダ２３０の共有層パラメータ記憶手段２３２Ｂ、主エンコーダ用および補助エンコーダ用の固有層パラメータ記憶手段２３３Ｂ，２３４Ｂにコピーする。また、学習装置２５０は、後段ネットワーク用パラメータ記憶手段２５３に記憶されたパラメータを、後段ネットワーク２４０の後段ネットワーク用パラメータ記憶手段２４２にコピーする。
【0132】
（分岐モデル（２分岐の場合＝Bifurcationモデル）の学習時の処理：図１４）
図１４において、先ず、学習装置２５０で学習を行う際には、学習用のデータセットとして、主入力データ（フル先読み用の入力データ）と、補助入力データ（図１４の例では、ゼロ先読み用の補助入力データだけであるが、部分先読み用の補助入力データがあってもよい。）と、それらに対応する正解データ（正解トークン列）とを用意する。但し、共有層２３２（学習時には符号２３２Ｇを付している。）に入力するのは、１つの入力データであるから、その１つの入力データを、主入力データとみなした場合の正解データ（正解トークン列）と、補助入力データとみなした場合の正解データ（正解トークン列）とを用意する。
図１４において、先ず、学習装置２５０で学習を行う際には、学習用のデータセットとして、主入力データ（フル先読み用の入力データ）と、補助入力データ（図１４の例では、ゼロ先読み用の補助入力データだけであるが、部分先読み用の補助入力データがあってもよい。）と、それらに対応する正解データ（正解トークン列）とを用意する。但し、共有層２３２（学習時には符号２３２Ｇを付している。）に入力するのは、１つの入力データであるから、その１つの入力データを、主入力データとみなした場合の正解データ（正解トークン列）と、補助入力データとみなした場合の正解データ（正解トークン列）とを用意する。
【0133】
具体的には、学習装置２５０では、図１４に示すように、連続する長い音声信号を区切って作成した１つのブロックを構成する１０個の音響特徴量Ｘ1～Ｘ10があるときに、これを（ＮＬ，ＮＣ，ＮＲ）＝（４，２，４）の主入力データとみなした場合は、その主入力データの履歴部は、音響特徴量Ｘ1～Ｘ4であり、ターゲット部は、音響特徴量Ｘ5，Ｘ6であり、先読み部は、音響特徴量Ｘ7～Ｘ10である。
【0134】
また、上記の１つのブロックを構成する１０個の音響特徴量Ｘ1～Ｘ10を（ＮＬ1，ＮＣ1，ＮＲ1）＝（６，４，０）の補助入力データ（つまり、ゼロ先読み用の補助入力データ）とみなした場合は、その補助入力データの履歴部は、音響特徴量Ｘ1～Ｘ6であり、ターゲット部は、音響特徴量Ｘ7～Ｘ10であり、先読み部はない。
【0135】
次に、用意した主入力データによる学習用のデータセット（共有層２３２Ｇへの入力データを主入力データとみなした場合とそのターゲット部に対応する正解データ（正解トークン列）とからなる学習用のデータセット）と、補助入力データによる学習用のデータセット（共有層２３２Ｇへの入力データを補助入力データとみなした場合とそのターゲット部に対応する正解データ（正解トークン列）とからなる学習用のデータセット）とを用いて、共有層２３２Ｇ、主エンコーダ用および補助エンコーダ用の固有層２３３Ｇ，２３４Ｇ（学習時には符号２３２，２３３，２３４ではなく、符号２３２Ｇ，２３３Ｇ，２３４Ｇを付した。）、並びに後段ネットワーク２４０Ｇ（学習時には符号２４０ではなく、符号２４０Ｇを付した。）の学習処理を実行し、それらのパラメータを決定し、エンコーダ用パラメータ記憶手段２５２および後段ネットワーク用パラメータ記憶手段２５３（図１３参照）に記憶させる。
【0136】
この際、共有層２３２Ｇへの入力データを主入力データとみなした場合は、主エンコーダ用の固有層２３３Ｇから、主入力データのターゲット部である音響特徴量Ｘ5，Ｘ6に対応するコードｈ5，ｈ6が出力されて後段ネットワーク２４０Ｇに送られ、後段ネットワーク２４０Ｇからトークン列が出力されるので、そのトークン列が正解データとなるように共有層２３２Ｇ、主エンコーダ用の固有層２３３Ｇ、および後段ネットワーク２４０Ｇのパラメータを決定するための学習を行う。この学習は、主エンコーダ２３５用の学習に相当する。
【0137】
また、共有層２３２Ｇへの入力データを補助入力データとみなした場合は、補助エンコーダ用の固有層２３４Ｇから、補助入力データのターゲット部である音響特徴量Ｘ7～Ｘ10に対応するコードｈ7～ｈ10が出力されて後段ネットワーク２４０Ｇに送られ、後段ネットワーク２４０Ｇからトークン列が出力されるので、そのトークン列が正解データとなるように共有層２３２Ｇ、補助エンコーダ用の固有層２３４Ｇ、および後段ネットワーク２４０Ｇのパラメータを決定するための学習を行う。この学習は、補助エンコーダ２３６用の学習に相当する。
【0138】
そして、主タスク（主エンコーダ用の固有層２３３Ｇからの出力）と、補助タスク（補助エンコーダ用の固有層２３４Ｇからの出力）とについての損失関数の重みは、例えば、主タスク：補助タスク＝１．０：０．２等とする。損失関数の重みの比は、この数値に限定されるものではないが、主タスクの重みを大きくすることが好ましい。
【0139】
（分岐モデル（２分岐の場合＝Bifurcationモデル）の運用時の処理：図１５）
図１５において、運用時には、最新の入力データ（１つのブロックを構成する１０個の音響特徴量Ｘ1～Ｘ10）を共有層２３２に入力すると、主エンコーダ用の固有層２３３から、共有層２３２への入力データを主入力データとみなした場合のターゲット部である音響特徴量Ｘ5，Ｘ6に対応するコードｈ5，ｈ6が出力されるとともに、補助エンコーダ用の固有層２３４から、共有層２３２への入力データを補助入力データとみなした場合のターゲット部である音響特徴量Ｘ7～Ｘ10に対応するコードｈ7～ｈ10が出力される。その後、これらのコードｈ5～ｈ10をまとめて後段ネットワーク２４０に送り、後段ネットワーク２４０から音声認識結果としてのトークン列を出力する。これにより、音響特徴量Ｘ5，Ｘ6だけではなく、音響特徴量Ｘ5～Ｘ10に対応するトークン列が出力されるので、音声認識における遅延が少なくなる。
図１５において、運用時には、最新の入力データ（１つのブロックを構成する１０個の音響特徴量Ｘ1～Ｘ10）を共有層２３２に入力すると、主エンコーダ用の固有層２３３から、共有層２３２への入力データを主入力データとみなした場合のターゲット部である音響特徴量Ｘ5，Ｘ6に対応するコードｈ5，ｈ6が出力されるとともに、補助エンコーダ用の固有層２３４から、共有層２３２への入力データを補助入力データとみなした場合のターゲット部である音響特徴量Ｘ7～Ｘ10に対応するコードｈ7～ｈ10が出力される。その後、これらのコードｈ5～ｈ10をまとめて後段ネットワーク２４０に送り、後段ネットワーク２４０から音声認識結果としてのトークン列を出力する。これにより、音響特徴量Ｘ5，Ｘ6だけではなく、音響特徴量Ｘ5～Ｘ10に対応するトークン列が出力されるので、音声認識における遅延が少なくなる。
【0140】
（分岐モデル（３分岐の場合）の学習時の処理：図１６）
分岐モデルを３分岐にする場合は、例えば、図１６および図１７に示すような学習時および運用時の処理となる。学習装置２５０の符号はそのままとするが、２分岐の場合の共有層２３２、主エンコーダ用の固有層２３３、補助エンコーダ用の固有層２３４、後段ネットワーク２４０の各符号は、３分岐の場合には、共有層２６２、主エンコーダ用の固有層２６３、第１、第２の補助エンコーダ用の固有層２６４，２６５、後段ネットワーク２７０（学習時は、２６２Ｇ，２６３Ｇ，２６４Ｇ，２６５Ｇ，２７０Ｇ）にそれぞれ置き換えるものとする。
分岐モデルを３分岐にする場合は、例えば、図１６および図１７に示すような学習時および運用時の処理となる。学習装置２５０の符号はそのままとするが、２分岐の場合の共有層２３２、主エンコーダ用の固有層２３３、補助エンコーダ用の固有層２３４、後段ネットワーク２４０の各符号は、３分岐の場合には、共有層２６２、主エンコーダ用の固有層２６３、第１、第２の補助エンコーダ用の固有層２６４，２６５、後段ネットワーク２７０（学習時は、２６２Ｇ，２６３Ｇ，２６４Ｇ，２６５Ｇ，２７０Ｇ）にそれぞれ置き換えるものとする。
【0141】
図１６において、先ず、学習装置２５０で学習を行う際には、学習用のデータセットとして、主入力データ（フル先読み用の入力データ）と、部分先読み用の補助入力データと、ゼロ先読み用の補助入力データと、それらに対応する正解データ（正解トークン列）とを用意する。但し、共有層２６２（学習時は２６２Ｇ）に入力するのは、１つの入力データであるから、その１つの入力データを、主入力データとみなした場合の正解データ（正解トークン列）と、部分先読み用の補助入力データとみなした場合の正解データ（正解トークン列）と、ゼロ先読み用の補助入力データとみなした場合の正解データ（正解トークン列）とを用意する。
【0142】
具体的には、学習装置２５０では、図１６に示すように、連続する長い音声信号を区切って作成した１つのブロックを構成する１０個の音響特徴量Ｘ1～Ｘ10があるときに、これを（ＮＬ，ＮＣ，ＮＲ）＝（４，２，４）の主入力データとみなした場合は、その主入力データの履歴部は、音響特徴量Ｘ1～Ｘ4であり、ターゲット部は、音響特徴量Ｘ5，Ｘ6であり、先読み部は、音響特徴量Ｘ7～Ｘ10である。
【0143】
また、上記の１つのブロックを構成する１０個の音響特徴量Ｘ1～Ｘ10を（ＮＬ1，ＮＣ1，ＮＲ1）＝（６，２，２）の補助入力データ（つまり、部分先読み用の補助入力データ）とみなした場合は、その部分先読み用の補助入力データの履歴部は、音響特徴量Ｘ1～Ｘ6であり、ターゲット部は、音響特徴量Ｘ7，Ｘ8であり、先読み部は、音響特徴量Ｘ9，Ｘ10である。
【0144】
また、上記の１つのブロックを構成する１０個の音響特徴量Ｘ1～Ｘ10を（ＮＬ2，ＮＣ2，ＮＲ2）＝（８，２，０）の補助入力データ（つまり、ゼロ先読み用の補助入力データ）とみなした場合は、そのゼロ先読み用の補助入力データの履歴部は、音響特徴量Ｘ1～Ｘ8であり、ターゲット部は、音響特徴量Ｘ9，Ｘ10であり、先読み部はない。
【0145】
次に、用意した主入力データによる学習用のデータセット（共有層２６２Ｇへの入力データを主入力データとみなした場合とそのターゲット部に対応する正解データ（正解トークン列）とからなる学習用のデータセット）と、部分先読み用の補助入力データによる学習用のデータセット（共有層２６２Ｇへの入力データを部分先読み用の補助入力データとみなした場合とそのターゲット部に対応する正解データ（正解トークン列）とからなる学習用のデータセット）と、ゼロ先読み用の補助入力データによる学習用のデータセット（共有層２６２Ｇへの入力データをゼロ先読み用の補助入力データとみなした場合とそのターゲット部に対応する正解データ（正解トークン列）とからなる学習用のデータセット）とを用いて、共有層２６２Ｇ、主エンコーダ用および第１、第２の補助エンコーダ用の固有層２６３Ｇ，２６４Ｇ，２６５Ｇ、並びに後段ネットワーク２７０Ｇの学習処理を実行し、それらのパラメータを決定し、エンコーダ用パラメータ記憶手段２５２および後段ネットワーク用パラメータ記憶手段２５３（図１３参照）に記憶させる。
【0146】
この際、共有層２６２Ｇへの入力データを主入力データとみなした場合は、主エンコーダ用の固有層２６３Ｇから、主入力データのターゲット部である音響特徴量Ｘ5，Ｘ6に対応するコードｈ5，ｈ6が出力されて後段ネットワーク２７０Ｇに送られ、後段ネットワーク２７０Ｇからトークン列が出力されるので、そのトークン列が正解データとなるように共有層２６２Ｇ、主エンコーダ用の固有層２６３Ｇ、および後段ネットワーク２７０Ｇのパラメータを決定するための学習を行う。この学習は、主エンコーダ用の学習に相当する。
【0147】
また、共有層２６２Ｇへの入力データを部分先読み用の補助入力データとみなした場合は、第１の補助エンコーダ用の固有層２６４Ｇから、部分先読み用の補助入力データのターゲット部である音響特徴量Ｘ7，Ｘ8に対応するコードｈ7，ｈ8が出力されて後段ネットワーク２７０Ｇに送られ、後段ネットワーク２７０Ｇからトークン列が出力されるので、そのトークン列が正解データとなるように共有層２６２Ｇ、第１の補助エンコーダ用の固有層２６４Ｇ、および後段ネットワーク２７０Ｇのパラメータを決定するための学習を行う。この学習は、第１の補助エンコーダ用の学習に相当する。
【0148】
さらに、共有層２６２Ｇへの入力データをゼロ先読み用の補助入力データとみなした場合は、第２の補助エンコーダ用の固有層２６５Ｇから、ゼロ先読み用の補助入力データのターゲット部である音響特徴量Ｘ9，Ｘ10に対応するコードｈ9，ｈ10が出力されて後段ネットワーク２７０Ｇに送られ、後段ネットワーク２７０Ｇからトークン列が出力されるので、そのトークン列が正解データとなるように共有層２６２Ｇ、第２の補助エンコーダ用の固有層２６５Ｇ、および後段ネットワーク２７０Ｇのパラメータを決定するための学習を行う。この学習は、第２の補助エンコーダ用の学習に相当する。
【0149】
（分岐モデル（３分岐の場合）の運用時の処理：図１７）
図１７において、運用時には、最新の入力データ（１つのブロックを構成する１０個の音響特徴量Ｘ1～Ｘ10）を共有層２６２に入力すると、主エンコーダ用の固有層２６３から、共有層２６２への入力データを主入力データとみなした場合のターゲット部である音響特徴量Ｘ5，Ｘ6に対応するコードｈ5，ｈ6が出力されるとともに、第１の補助エンコーダ用の固有層２６４から、共有層２６２への入力データを部分先読み用の補助入力データとみなした場合のターゲット部である音響特徴量Ｘ7，Ｘ8に対応するコードｈ7，ｈ8が出力され、第２の補助エンコーダ用の固有層２６５から、共有層２６２への入力データをゼロ先読み用の補助入力データとみなした場合のターゲット部である音響特徴量Ｘ9，Ｘ10に対応するコードｈ9，ｈ10が出力される。その後、これらのコードｈ5～ｈ10をまとめて後段ネットワーク２７０に送り、後段ネットワーク２７０から音声認識結果としてのトークン列を出力する。これにより、音響特徴量Ｘ5，Ｘ6だけではなく、音響特徴量Ｘ5～Ｘ10に対応するトークン列が出力されるので、音声認識における遅延が少なくなる。
図１７において、運用時には、最新の入力データ（１つのブロックを構成する１０個の音響特徴量Ｘ1～Ｘ10）を共有層２６２に入力すると、主エンコーダ用の固有層２６３から、共有層２６２への入力データを主入力データとみなした場合のターゲット部である音響特徴量Ｘ5，Ｘ6に対応するコードｈ5，ｈ6が出力されるとともに、第１の補助エンコーダ用の固有層２６４から、共有層２６２への入力データを部分先読み用の補助入力データとみなした場合のターゲット部である音響特徴量Ｘ7，Ｘ8に対応するコードｈ7，ｈ8が出力され、第２の補助エンコーダ用の固有層２６５から、共有層２６２への入力データをゼロ先読み用の補助入力データとみなした場合のターゲット部である音響特徴量Ｘ9，Ｘ10に対応するコードｈ9，ｈ10が出力される。その後、これらのコードｈ5～ｈ10をまとめて後段ネットワーク２７０に送り、後段ネットワーク２７０から音声認識結果としてのトークン列を出力する。これにより、音響特徴量Ｘ5，Ｘ6だけではなく、音響特徴量Ｘ5～Ｘ10に対応するトークン列が出力されるので、音声認識における遅延が少なくなる。
【0150】
（第２実施形態の分岐モデルの効果）
このような本第２実施形態によれば、次のような効果を得ることができる。すなわち、音声認識器２２０のエンコーダ２３０は、エンコーダ層として、共有層２３２、主エンコーダ用および補助エンコーダ用の固有層２３３，２３４を備えているので（図１２、図１３参照）、共有層２３２と主エンコーダ用の固有層２３３とにより主エンコーダ２３５を構成することができ、共有層２３２と補助エンコーダ用の固有層２３４とにより補助エンコーダ２３６を構成することができる。また、共有層２３２を設けることにより、主エンコーダ２３５と補助エンコーダ２３６とのパラメータの共有化を図ることもできる。このため、前記第１実施形態の場合と同様に、マルチ・ルック・アヘッド（Multi-look-ahead）の音声認識処理（MLA-ASR）を実現し、高精度を維持しつつ、低遅延の音声認識処理を行うことができる。
このような本第２実施形態によれば、次のような効果を得ることができる。すなわち、音声認識器２２０のエンコーダ２３０は、エンコーダ層として、共有層２３２、主エンコーダ用および補助エンコーダ用の固有層２３３，２３４を備えているので（図１２、図１３参照）、共有層２３２と主エンコーダ用の固有層２３３とにより主エンコーダ２３５を構成することができ、共有層２３２と補助エンコーダ用の固有層２３４とにより補助エンコーダ２３６を構成することができる。また、共有層２３２を設けることにより、主エンコーダ２３５と補助エンコーダ２３６とのパラメータの共有化を図ることもできる。このため、前記第１実施形態の場合と同様に、マルチ・ルック・アヘッド（Multi-look-ahead）の音声認識処理（MLA-ASR）を実現し、高精度を維持しつつ、低遅延の音声認識処理を行うことができる。
【0151】
［第３実施形態］
【0152】
図１８は、本発明の第３実施形態の音声認識システム３００のユニティ（Unity）モデル（２パターン統合の場合）の要部を示すエンコーダの説明図であり、図１９には、ユニティモデルの全体構成が示されている。図２０および図２１には、ユニティモデル（２パターン統合の場合）の学習時および運用時の処理が示され、図２２および図２３は、ユニティモデル（３パターン統合の場合）の学習時および運用時の処理が示されている。
【0153】
（ユニティモデルの音声認識システム３００の全体構成：図１８、図１９）
図１８および図１９において、音声認識システム３００は、ユニティモデルであり、１台または複数台のコンピュータにより構成され、音声信号からトークンを出力する音声認識器３２０と、その学習装置３５０とを備えている。音声認識器３２０は、ニューラルネットワークにより構成されたエンド・ツー・エンド（End-to-End）のストリーミング音声認識器であり、音声信号からコード（エンコードされた符号）を出力するエンコーダ３３０と、このエンコーダ３３０から受け取ったコードからトークンを出力する後段ネットワーク３４０とを備えている。
図１８および図１９において、音声認識システム３００は、ユニティモデルであり、１台または複数台のコンピュータにより構成され、音声信号からトークンを出力する音声認識器３２０と、その学習装置３５０とを備えている。音声認識器３２０は、ニューラルネットワークにより構成されたエンド・ツー・エンド（End-to-End）のストリーミング音声認識器であり、音声信号からコード（エンコードされた符号）を出力するエンコーダ３３０と、このエンコーダ３３０から受け取ったコードからトークンを出力する後段ネットワーク３４０とを備えている。
【0154】
（ユニティモデルのエンコーダ３３０の構成）
図１８および図１９において、エンコーダ３３０は、入力処理手段３３１と、エンコーディング手段３３２と、エンコーダ用パラメータ記憶手段３３３とを備えて構成されている。
図１８および図１９において、エンコーダ３３０は、入力処理手段３３１と、エンコーディング手段３３２と、エンコーダ用パラメータ記憶手段３３３とを備えて構成されている。
【0155】
入力処理手段３３１は、前記第１実施形態の入力処理手段３１と同様に、図５に示すような音声信号から音響特徴量Ｘを作成する処理を実行する。なお、入力処理手段３３１は、前記第１実施形態の入力処理手段３１の場合とは異なり、運用時に、主入力データおよび補助入力データ（ゼロ先読み用および／または部分先読み用の補助入力データ）を作成する処理は行わない。エンコーダ３３０への入力データは、１つの最新の入力データであり、その１つのデータを、主入力データや補助入力データとみなしてエンコードの処理を行うからである。
【0156】
エンコーディング手段３３２は、複数層のエンコーダ層を有するニューラルネットワークによるエンコードの処理（符号化処理）のためのアルゴリズムを実行するものであり、コンピュータの内部に設けられた演算処理装置（ＣＰＵやＧＰＵ等）およびその動作手順を規定する１つまたは複数のプログラム、並びに主メモリやキャッシュメモリ等の作業用メモリなどにより構成されている。運用時のエンコーディング手段３３２の処理内容の詳細については、図２１を用いて後述する。
【0157】
エンコーダ用パラメータ記憶手段３３３は、ニューラルネットワークのパラメータを記憶するものであり、演算中は主メモリにより構成され、コンピュータが稼働していないときは、ＨＤＤやＳＳＤ等の不揮発性メモリにより構成されている。
【0158】
（ユニティモデルの後段ネットワーク３４０の構成）
後段ネットワーク３４０は、ニューラルネットワークによるデコードの処理のためのアルゴリズムを実行する後段処理手段３４１と、後段ネットワーク用パラメータ記憶手段３４２とを備えて構成されている。この後段ネットワーク３４０は、前記第１実施形態の後段ネットワーク４０と同様な構成であり、そのバリエーションとして、図３のCBS-Tや図４のCBS-E/Dを採用することができ、その他の構成でもよい。また、後段処理手段３４１で実行されるビームサーチの処理は、前記第１実施形態の後段ネットワーク４０と同様であり、既に図９、図１０を用いて詳述した通りである。後段ネットワーク３４０のハードウェア構成（プログラムの実行とそれに必要な情報の記憶のための構成）は、エンコーダ３３０と同様である。
後段ネットワーク３４０は、ニューラルネットワークによるデコードの処理のためのアルゴリズムを実行する後段処理手段３４１と、後段ネットワーク用パラメータ記憶手段３４２とを備えて構成されている。この後段ネットワーク３４０は、前記第１実施形態の後段ネットワーク４０と同様な構成であり、そのバリエーションとして、図３のCBS-Tや図４のCBS-E/Dを採用することができ、その他の構成でもよい。また、後段処理手段３４１で実行されるビームサーチの処理は、前記第１実施形態の後段ネットワーク４０と同様であり、既に図９、図１０を用いて詳述した通りである。後段ネットワーク３４０のハードウェア構成（プログラムの実行とそれに必要な情報の記憶のための構成）は、エンコーダ３３０と同様である。
【0159】
（ユニティモデルの学習装置３５０の構成）
学習装置３５０は、学習手段３５１と、エンコーダ用パラメータ記憶手段３５２と、後段ネットワーク用パラメータ記憶手段３５３とを備えて構成されている。学習手段３５１は、エンコーダ３３０のエンコーダ層を構成するニューラルネットワークの学習処理を実行し、それらのパラメータを決定し、エンコーダ用パラメータ記憶手段３５２に記憶させるとともに、併せて後段ネットワーク３４０として使用するニューラルネットワークの学習処理を実行し、そのパラメータを決定し、後段ネットワーク用パラメータ記憶手段３５３に記憶させる。この学習処理の詳細については、図２０を用いて後述する。また、学習装置３５０のハードウェア構成（プログラムの実行とそれに必要な情報の記憶のための構成）は、エンコーダ３３０と同様である。
学習装置３５０は、学習手段３５１と、エンコーダ用パラメータ記憶手段３５２と、後段ネットワーク用パラメータ記憶手段３５３とを備えて構成されている。学習手段３５１は、エンコーダ３３０のエンコーダ層を構成するニューラルネットワークの学習処理を実行し、それらのパラメータを決定し、エンコーダ用パラメータ記憶手段３５２に記憶させるとともに、併せて後段ネットワーク３４０として使用するニューラルネットワークの学習処理を実行し、そのパラメータを決定し、後段ネットワーク用パラメータ記憶手段３５３に記憶させる。この学習処理の詳細については、図２０を用いて後述する。また、学習装置３５０のハードウェア構成（プログラムの実行とそれに必要な情報の記憶のための構成）は、エンコーダ３３０と同様である。
【0160】
そして、学習装置３５０は、図１９中の点線に示すように、エンコーダ用パラメータ記憶手段３５２に記憶されたパラメータを、エンコーダ３３０のエンコーダ用パラメータ記憶手段３３３にコピーする。また、学習装置３５０は、後段ネットワーク用パラメータ記憶手段３５３に記憶されたパラメータを、後段ネットワーク３４０の後段ネットワーク用パラメータ記憶手段３４２にコピーする。
【0161】
（ユニティモデル（２パターン統合の場合）の学習時の処理：図２０）
図２０において、先ず、学習装置３５０で学習を行う際には、学習用のデータセットとして、主入力データ（フル先読み用の入力データ）と、補助入力データ（図２０の例では、ゼロ先読み用の補助入力データだけであるが、部分先読み用の補助入力データがあってもよい。）と、それらに対応する正解データ（正解トークン列）とを用意する。但し、エンコーダ３３０（学習時には符号３３０Ｇを付している。）に入力するのは、１つの入力データであるから、その１つの入力データを、主入力データとみなした場合の正解データ（正解トークン列）と、補助入力データとみなした場合の正解データ（正解トークン列）とを用意する。
図２０において、先ず、学習装置３５０で学習を行う際には、学習用のデータセットとして、主入力データ（フル先読み用の入力データ）と、補助入力データ（図２０の例では、ゼロ先読み用の補助入力データだけであるが、部分先読み用の補助入力データがあってもよい。）と、それらに対応する正解データ（正解トークン列）とを用意する。但し、エンコーダ３３０（学習時には符号３３０Ｇを付している。）に入力するのは、１つの入力データであるから、その１つの入力データを、主入力データとみなした場合の正解データ（正解トークン列）と、補助入力データとみなした場合の正解データ（正解トークン列）とを用意する。
【0162】
具体的には、学習装置３５０では、図２０に示すように、連続する長い音声信号を区切って作成した１つのブロックを構成する１０個の音響特徴量Ｘ1～Ｘ10があるときに、これを（ＮＬ，ＮＣ，ＮＲ）＝（４，２，４）の主入力データとみなした場合は、その主入力データの履歴部は、音響特徴量Ｘ1～Ｘ4であり、ターゲット部は、音響特徴量Ｘ5，Ｘ6であり、先読み部は、音響特徴量Ｘ7～Ｘ10である。
【0163】
また、上記の１つのブロックを構成する１０個の音響特徴量Ｘ1～Ｘ10を（ＮＬ1，ＮＣ1，ＮＲ1）＝（６，４，０）の補助入力データ（つまり、ゼロ先読み用の補助入力データ）とみなした場合は、その補助入力データの履歴部は、音響特徴量Ｘ1～Ｘ6であり、ターゲット部は、音響特徴量Ｘ7～Ｘ10であり、先読み部はない。
【0164】
次に、用意した主入力データによる学習用のデータセット（エンコーダ３３０への入力データを主入力データとみなした場合とそのターゲット部に対応する正解データ（正解トークン列）とからなる学習用のデータセット）と、補助入力データによる学習用のデータセット（エンコーダ３３０への入力データを補助入力データとみなした場合とそのターゲット部に対応する正解データ（正解トークン列）とからなる学習用のデータセット）とを用いて、エンコーダ３３０Ｇのエンコーダ層、および後段ネットワーク３４０Ｇの学習処理を実行し、それらのパラメータを決定し、エンコーダ用パラメータ記憶手段３５２および後段ネットワーク用パラメータ記憶手段３５３（図１９参照）に記憶させる。
【0165】
この際、エンコーダ３３０Ｇへの入力データを主入力データとみなした場合は、エンコーダ３３０Ｇから、主入力データのターゲット部である音響特徴量Ｘ5，Ｘ6に対応するコードｈ5，ｈ6が出力されて後段ネットワーク３４０Ｇに送られ、後段ネットワーク３４０Ｇからトークン列が出力されるので、そのトークン列が正解データとなるようにエンコーダ３３０Ｇのエンコーダ層および後段ネットワーク３４０Ｇのパラメータを決定するための学習を行う。
【0166】
また、エンコーダ３３０Ｇへの入力データを補助入力データとみなした場合は、エンコーダ３３０Ｇから、補助入力データのターゲット部である音響特徴量Ｘ7～Ｘ10に対応するコードｈ7～ｈ10が出力されて後段ネットワーク３４０Ｇに送られ、後段ネットワーク３４０Ｇからトークン列が出力されるので、そのトークン列が正解データとなるようにエンコーダ３３０Ｇのエンコーダ層および後段ネットワーク３４０Ｇのパラメータを決定するための学習を行う。
【0167】
そして、エンコーダ３３０Ｇへの入力データを主入力データとみなした場合と、エンコーダ３３０Ｇへの入力データを補助入力データとみなした場合とについての損失関数の重みは、例えば、主入力データ：補助入力データ＝１．０：０．２等とする。損失関数の重みの比は、この数値に限定されるものではないが、主入力データの重みを大きくすることが好ましい。
【0168】
（ユニティモデル（２パターン統合の場合）の運用時の処理：図２１）
図２１において、運用時には、最新の入力データ（１つのブロックを構成する１０個の音響特徴量Ｘ1～Ｘ10）をエンコーダ３３０に入力すると、エンコーダ３３０から、その入力データを主入力データとみなした場合のターゲット部である音響特徴量Ｘ5，Ｘ6に対応するコードｈ5，ｈ6と、補助入力データとみなした場合のターゲット部である音響特徴量Ｘ7～Ｘ10に対応するコードｈ7～ｈ10が同時に出力される。その後、これらのコードｈ5～ｈ10をまとめて後段ネットワーク３４０に送り、後段ネットワーク３４０から音声認識結果としてのトークン列を出力する。これにより、音響特徴量Ｘ5，Ｘ6だけではなく、音響特徴量Ｘ5～Ｘ10に対応するトークン列が出力されるので、音声認識における遅延が少なくなる。
図２１において、運用時には、最新の入力データ（１つのブロックを構成する１０個の音響特徴量Ｘ1～Ｘ10）をエンコーダ３３０に入力すると、エンコーダ３３０から、その入力データを主入力データとみなした場合のターゲット部である音響特徴量Ｘ5，Ｘ6に対応するコードｈ5，ｈ6と、補助入力データとみなした場合のターゲット部である音響特徴量Ｘ7～Ｘ10に対応するコードｈ7～ｈ10が同時に出力される。その後、これらのコードｈ5～ｈ10をまとめて後段ネットワーク３４０に送り、後段ネットワーク３４０から音声認識結果としてのトークン列を出力する。これにより、音響特徴量Ｘ5，Ｘ6だけではなく、音響特徴量Ｘ5～Ｘ10に対応するトークン列が出力されるので、音声認識における遅延が少なくなる。
【0169】
（ユニティモデル（３パターン統合の場合）の学習時の処理：図２２）
ユニティモデルを３パターン統合にする場合は、例えば、図２２および図２３に示すような学習時および運用時の処理となる。学習装置３５０の符号はそのままとするが、２パターン統合の場合のエンコーダ３３０、後段ネットワーク３４０の各符号は、３パターン統合の場合には、エンコーダ３６０、後段ネットワーク３７０（学習時は、３６０Ｇ，３７０Ｇ）にそれぞれ置き換えるものとする。
ユニティモデルを３パターン統合にする場合は、例えば、図２２および図２３に示すような学習時および運用時の処理となる。学習装置３５０の符号はそのままとするが、２パターン統合の場合のエンコーダ３３０、後段ネットワーク３４０の各符号は、３パターン統合の場合には、エンコーダ３６０、後段ネットワーク３７０（学習時は、３６０Ｇ，３７０Ｇ）にそれぞれ置き換えるものとする。
【0170】
図２２において、先ず、学習装置３５０で学習を行う際には、学習用のデータセットとして、主入力データ（フル先読み用の入力データ）と、部分先読み用の補助入力データと、ゼロ先読み用の補助入力データと、それらに対応する正解データ（正解トークン列）とを用意する。但し、エンコーダ３６０（学習時は３６０Ｇ）に入力するのは、１つの入力データであるから、その１つの入力データを、主入力データとみなした場合の正解データ（正解トークン列）と、部分先読み用の補助入力データとみなした場合の正解データ（正解トークン列）と、ゼロ先読み用の補助入力データとみなした場合の正解データ（正解トークン列）とを用意する。
【0171】
具体的には、学習装置３５０では、図２２に示すように、連続する長い音声信号を区切って作成した１つのブロックを構成する１０個の音響特徴量Ｘ1～Ｘ10があるときに、これを（ＮＬ，ＮＣ，ＮＲ）＝（４，２，４）の主入力データとみなした場合は、その主入力データの履歴部は、音響特徴量Ｘ1～Ｘ4であり、ターゲット部は、音響特徴量Ｘ5，Ｘ6であり、先読み部は、音響特徴量Ｘ7～Ｘ10である。
【0172】
また、上記の１つのブロックを構成する１０個の音響特徴量Ｘ1～Ｘ10を（ＮＬ1，ＮＣ1，ＮＲ1）＝（６，２，２）の補助入力データ（つまり、部分先読み用の補助入力データ）とみなした場合は、その部分先読み用の補助入力データの履歴部は、音響特徴量Ｘ1～Ｘ6であり、ターゲット部は、音響特徴量Ｘ7，Ｘ8であり、先読み部は、音響特徴量Ｘ9，Ｘ10である。
【0173】
また、上記の１つのブロックを構成する１０個の音響特徴量Ｘ1～Ｘ10を（ＮＬ2，ＮＣ2，ＮＲ2）＝（８，２，０）の補助入力データ（つまり、ゼロ先読み用の補助入力データ）とみなした場合は、そのゼロ先読み用の補助入力データの履歴部は、音響特徴量Ｘ1～Ｘ8であり、ターゲット部は、音響特徴量Ｘ9，Ｘ10であり、先読み部はない。
【0174】
次に、用意した主入力データによる学習用のデータセット（エンコーダ３６０Ｇへの入力データを主入力データとみなした場合とそのターゲット部に対応する正解データ（正解トークン列）とからなる学習用のデータセット）と、部分先読み用の補助入力データによる学習用のデータセット（エンコーダ３６０Ｇへの入力データを部分先読み用の補助入力データとみなした場合とそのターゲット部に対応する正解データ（正解トークン列）とからなる学習用のデータセット）と、ゼロ先読み用の補助入力データによる学習用のデータセット（エンコーダ３６０Ｇへの入力データをゼロ先読み用の補助入力データとみなした場合とそのターゲット部に対応する正解データ（正解トークン列）とからなる学習用のデータセット）とを用いて、エンコーダ３６０Ｇのエンコーダ層、および後段ネットワーク３７０Ｇの学習処理を実行し、それらのパラメータを決定し、エンコーダ用パラメータ記憶手段３５２および後段ネットワーク用パラメータ記憶手段３５３（図１９参照）に記憶させる。
【0175】
この際、エンコーダ３６０Ｇへの入力データを主入力データとみなした場合は、エンコーダ３６０Ｇから、主入力データのターゲット部である音響特徴量Ｘ5，Ｘ6に対応するコードｈ5，ｈ6が出力されて後段ネットワーク３７０Ｇに送られ、後段ネットワーク３７０Ｇからトークン列が出力されるので、そのトークン列が正解データとなるようにエンコーダ３６０Ｇのエンコーダ層および後段ネットワーク３７０Ｇのパラメータを決定するための学習を行う。
【0176】
また、エンコーダ３６０Ｇへの入力データを部分先読み用の補助入力データとみなした場合は、エンコーダ３６０Ｇから、部分先読み用の補助入力データのターゲット部である音響特徴量Ｘ7，Ｘ8に対応するコードｈ7，ｈ8が出力されて後段ネットワーク３７０Ｇに送られ、後段ネットワーク３７０Ｇからトークン列が出力されるので、そのトークン列が正解データとなるようにエンコーダ３６０Ｇのエンコーダ層および後段ネットワーク３７０Ｇのパラメータを決定するための学習を行う。
【0177】
さらに、エンコーダ３６０Ｇへの入力データをゼロ先読み用の補助入力データとみなした場合は、エンコーダ３６０Ｇから、ゼロ先読み用の補助入力データのターゲット部である音響特徴量Ｘ9，Ｘ10に対応するコードｈ9，ｈ10が出力されて後段ネットワーク３７０Ｇに送られ、後段ネットワーク３７０Ｇからトークン列が出力されるので、そのトークン列が正解データとなるようにエンコーダ３６０Ｇのエンコーダ層および後段ネットワーク３７０Ｇのパラメータを決定するための学習を行う。
【0178】
（ユニティモデル（３パターン統合の場合）の運用時の処理：図２３）
図２３において、運用時には、最新の入力データ（１つのブロックを構成する１０個の音響特徴量Ｘ1～Ｘ10）をエンコーダ３６０に入力すると、エンコーダ３６０から、その入力データを主入力データとみなした場合のターゲット部である音響特徴量Ｘ5，Ｘ6に対応するコードｈ5，ｈ6と、部分先読み用の補助入力データとみなした場合のターゲット部である音響特徴量Ｘ7，Ｘ8に対応するコードｈ7，ｈ8と、ゼロ先読み用の補助入力データとみなした場合のターゲット部である音響特徴量Ｘ9，Ｘ10に対応するコードｈ9，ｈ10とが同時に出力される。その後、これらのコードｈ5～ｈ10をまとめて後段ネットワーク３７０に送り、後段ネットワーク３７０から音声認識結果としてのトークン列を出力する。これにより、音響特徴量Ｘ5，Ｘ6だけではなく、音響特徴量Ｘ5～Ｘ10に対応するトークン列が出力されるので、音声認識における遅延が少なくなる。
図２３において、運用時には、最新の入力データ（１つのブロックを構成する１０個の音響特徴量Ｘ1～Ｘ10）をエンコーダ３６０に入力すると、エンコーダ３６０から、その入力データを主入力データとみなした場合のターゲット部である音響特徴量Ｘ5，Ｘ6に対応するコードｈ5，ｈ6と、部分先読み用の補助入力データとみなした場合のターゲット部である音響特徴量Ｘ7，Ｘ8に対応するコードｈ7，ｈ8と、ゼロ先読み用の補助入力データとみなした場合のターゲット部である音響特徴量Ｘ9，Ｘ10に対応するコードｈ9，ｈ10とが同時に出力される。その後、これらのコードｈ5～ｈ10をまとめて後段ネットワーク３７０に送り、後段ネットワーク３７０から音声認識結果としてのトークン列を出力する。これにより、音響特徴量Ｘ5，Ｘ6だけではなく、音響特徴量Ｘ5～Ｘ10に対応するトークン列が出力されるので、音声認識における遅延が少なくなる。
【0179】
（従来技術との相違点）
前記第１実施形態の雁木（Ｇａｎｇｉ）モデル（図１参照）や、前記第２実施形態の分岐モデル（図１２参照）の場合は、それらの構造上、図面を見れば、従来技術（図２８参照）との相違点が一目瞭然である。これに対し、本第３実施形態のユニティモデル（図１８参照）の場合は、図面だけでは従来技術（図２８参照）との相違点がわかりにくいため、再度、その相違点を説明する。
前記第１実施形態の雁木（Ｇａｎｇｉ）モデル（図１参照）や、前記第２実施形態の分岐モデル（図１２参照）の場合は、それらの構造上、図面を見れば、従来技術（図２８参照）との相違点が一目瞭然である。これに対し、本第３実施形態のユニティモデル（図１８参照）の場合は、図面だけでは従来技術（図２８参照）との相違点がわかりにくいため、再度、その相違点を説明する。
【0180】
従来は、図２８に示すように、エンコーダへの入力データについて、ターゲット部（ＮＣ個の音響特徴量Ｘ）の未来側（右側）に先読み部（ＮＲ個の音響特徴量Ｘ）を設定し、その先読み部（ＮＲ個）を含む入力に対し、ターゲット部（ＮＣ個）に対応するコードだけを後段ネットワークに送っていた。つまり、後段ネットワークに送るコードは、ターゲット部（ＮＣ個）に対応するコードだけであり、先読み部（ＮＲ個）に対応するコードは送っていなかった。このため、従来のエンコーダのパラメータは、そういう流れでのみ学習されたパラメータになっていた。本発明では、前述したように履歴部のブロック化は必須としていないので、これに合わせて、履歴部を除いて図２８の従来技術を説明すると、従来は、エンコーダに「ターゲット部＋先読み部」を入力すると、エンコーダから「ターゲット部のみ」に対応するコードが出力されて後段ネットワークへ送られ、後段ネットワークから「ターゲット部のみ」に対応するトークン列（音声認識結果）が出力されるような学習を行い、エンコーダのパラメータは、そのような学習で決定されたものとなっていた。
【0181】
これに対し、本発明の第３実施形態のユニティモデルは、同様な理由で履歴部を除いて説明すると、図２８の従来技術の先読み部（ＮＲ個）に相当する部分に対応するコードについても、エンコーダから出力し、その出力コードを後段ネットワークに送り、その先読み部（ＮＲ個）（あくまでも従来技術でいうときの先読み部に相当する部分）に対応するトークン列（音声認識結果）が後段ネットワークから出力されるような学習も加えて行い、エンコーダのパラメータは、そのような学習で決定されたものとなっている。
【0182】
注意すべき第１の点は、ユニティモデルの学習時には、エンコーダから「ターゲット部＋先読み部（あくまでも従来でいう先読み部に相当する部分）」に対応するコードを出力し、それらの出力コードをまとめて後段ネットワークに送っているのではなく、図２０や図２２に明示した通り、学習時には、エンコーダから出力されたターゲット部に対応するコードと、先読み部（あくまでも従来でいう先読み部に相当する部分）に対応するコードとを、別々に後段ネットワークに送り、それぞれで発生する正解データとの誤差で学習を行い、エンコーダのパラメータを決定している。つまり、エンコーダから出力されたターゲット部に対応するコードと、先読み部（あくまでも従来でいう先読み部に相当する部分）に対応するコードとは、別々の学習用のデータセット（本願では、主入力データによる学習用のデータセット、補助入力データによる学習用のデータセットと呼んでいる。）による学習中に生じたコードであるという位置付けである。
【0183】
注意すべき第２の点は、ユニティモデルでは、先読み部（あくまでも従来でいう先読み部に相当する部分）について、それに対応するコードをエンコーダから出力し、その出力コードを後段ネットワークに送ってトークン列（音声認識結果）を得ているので、その先読み部（あくまでも従来でいう先読み部に相当する部分）は、紛れもなく音声認識対象のターゲット部と呼ぶべきものである。そして、先読み部（あくまでも従来でいう先読み部に相当する部分）を、ターゲット部と呼ぶと（上記のように考えて、そう呼ぶことが正しい。）、そう呼んだときの先読み部は、無くなるか、または、従来でいう先読み部よりも短い先読み部となる。このような用語上の混乱や誤解を避けるため、本願では、主入力データと、補助入力データ（ゼロ先読み用の補助入力データ、部分先読み用の補助入力データ）という用語を使用し、同じデータについて、主入力データとみなしてターゲット部の位置を設定する場合と、補助入力データとみなしてターゲット部の位置を設定する場合とを区別している。従って、本願でマルチ・ルック・アヘッド（Multi-look-ahead）といっているのは、主入力データと、補助入力データ（ゼロ先読み用の補助入力データ、部分先読み用の補助入力データ）とで、それぞれの先読み部（look-ahead）の長さが異なるからである。
【0184】
なお、前記第１実施形態の雁木（Ｇａｎｇｉ）モデル（図１、図２参照）では、運用時に、入力処理手段３１により主入力データ（フル先読み用の入力データ）と、補助入力データ（ゼロ先読み用の補助入力データおよび／または部分先読み用の補助入力データ）とを、別々のデータとして作成し、複数のエンコーダ３２，３３，３４で並列処理を実行するので、用語の意味の理解が容易である。
【0185】
これに対し、前記第２実施形態の分岐モデル（図１２、図１３参照）の場合や、本第３実施形態のユニティモデル（図１８、図１９参照）の場合は、運用時に主入力データや補助入力データを別々のデータとして作成するわけではなく、入力される１つの最新のデータについて、それを主入力データとみなした場合および補助入力データとみなした場合の双方の処理が実行されるという点で、前記第１実施形態の雁木（Ｇａｎｇｉ）モデルとは異なっている。しかし、内容的には、いずれのモデルも、マルチ・ルック・アヘッド（Multi-look-ahead）の音声認識処理（MLA-ASR）を行っている。
【0186】
（第３実施形態のユニティモデルの効果）
このような本第３実施形態によれば、次のような効果を得ることができる。すなわち、音声認識器３２０のエンコーダ３３０は、主入力データによる学習用のデータセットと、ゼロ先読み用および／または部分先読み用の補助入力データによる学習用のデータセットとを用いて学習されたエンコーダ層を備えているので（図２０、図２２参照）、マルチ・ルック・アヘッド（Multi-look-ahead）の音声認識処理（MLA-ASR）を実現し、かつ、構造も簡易であるため、非常に低遅延の音声認識処理を行うことができる。また、パラメータの共有化により、ある程度、高精度を維持することもできる。
このような本第３実施形態によれば、次のような効果を得ることができる。すなわち、音声認識器３２０のエンコーダ３３０は、主入力データによる学習用のデータセットと、ゼロ先読み用および／または部分先読み用の補助入力データによる学習用のデータセットとを用いて学習されたエンコーダ層を備えているので（図２０、図２２参照）、マルチ・ルック・アヘッド（Multi-look-ahead）の音声認識処理（MLA-ASR）を実現し、かつ、構造も簡易であるため、非常に低遅延の音声認識処理を行うことができる。また、パラメータの共有化により、ある程度、高精度を維持することもできる。
【0187】
なお、本発明の他のモデル（前記第１実施形態の雁木モデル、第２実施形態の分岐モデル）と比べると、より低遅延を達成可能であるが、その分だけ相対的に精度は犠牲になる傾向にある。
【0188】
また、本第３実施形態のユニティモデル（図１８、図１９参照）では、図面で構造的に主エンコーダと補助エンコーダとを認識することはできず、この点が、前記第１実施形態の雁木モデル（図１、図２参照）、第２実施形態の分岐モデル（図１２、図１３参照）とは異なるが、学習の形態（図２０、図２２参照）からすると、主エンコーダと補助エンコーダとが統合され、全てのエンコーダ層でパラメータの共有化が行われている状態である。
【0189】
［比較用のモデル］
【0190】
図２４および図２５には、分離（Separate）モデルの学習時および運用時の処理が示されている。この分離モデルは、後述する比較実験で使用する比較用のモデルであり、複数層のエンコーダ層を有する主エンコーダ４３２と、複数層のエンコーダ層を有する補助エンコーダ４３３と、後段ネットワーク４４０とを備えている。主エンコーダ４３２と補助エンコーダ４３３とのパラメータの共有化は行われていない。
【0191】
（分離モデルの学習時の処理：図２４）
図２４において、先ず、学習を行う際には、学習用のデータセットとして、主入力データ（フル先読み用の入力データ）と、補助入力データ（図２４の場合は、ゼロ先読み用の補助入力データ）と、それらに対応する正解データ（正解トークン列）とを用意する。
図２４において、先ず、学習を行う際には、学習用のデータセットとして、主入力データ（フル先読み用の入力データ）と、補助入力データ（図２４の場合は、ゼロ先読み用の補助入力データ）と、それらに対応する正解データ（正解トークン列）とを用意する。
【0192】
具体的には、図２４に示すように、例えば、連続する長い音声信号を区切って作成した１つのブロックを構成する１０個の音響特徴量Ｘ1～Ｘ10があるときに、主入力データを（ＮＬ，ＮＣ，ＮＲ）＝（４，２，４）とし、補助入力データを（ＮＬ1，ＮＣ1，ＮＲ1）＝（６，４，０）とする。
【0193】
次に、用意した主入力データによる学習用のデータセット（主入力データおよびそのターゲット部に対応する正解データ）を用いて、主エンコーダ４３２Ｇおよび後段ネットワーク４４０Ｇを学習する。また、用意した補助入力データによる学習用のデータセット（補助入力データおよびそのターゲット部に対応する正解データ）を用いて、補助エンコーダ４３３Ｇおよび後段ネットワーク４４０Ｇを学習する。そして、これらの学習により、主エンコーダ４３２Ｇ、補助エンコーダ４３３Ｇ、および後段ネットワーク４４０Ｇのパラメータを決定する。この際、主入力データによる主エンコーダ４３２Ｇの学習と、補助入力データによる補助エンコーダ４３３Ｇの学習との比率は、ユニティモデルと同様でよい。
【0194】
（分離モデルの運用時の処理：図２５）
図２５において、運用時には、最新の入力データ（１つのブロックを構成する１０個の音響特徴量Ｘ1～Ｘ10）を主エンコーダ４３２に入力し、主エンコーダ４３２から、その最新の入力データを主入力データとみなした場合のターゲット部である音響特徴量Ｘ5，Ｘ6に対応するコードｈ5，ｈ6を出力するとともに、これと並列処理で、同じ最新の入力データを補助エンコーダ４３３にも入力し、補助エンコーダ４３３から、その最新の入力データを補助入力データとみなした場合のターゲット部である音響特徴量Ｘ7～Ｘ10に対応するコードｈ7～ｈ10を出力する。その後、これらのコードｈ5～ｈ10をまとめて後段ネットワーク４４０に送り、後段ネットワーク４４０から音声認識結果としてのトークン列を出力する。これにより、音響特徴量Ｘ5，Ｘ6だけではなく、音響特徴量Ｘ5～Ｘ10に対応するトークン列が出力される。
図２５において、運用時には、最新の入力データ（１つのブロックを構成する１０個の音響特徴量Ｘ1～Ｘ10）を主エンコーダ４３２に入力し、主エンコーダ４３２から、その最新の入力データを主入力データとみなした場合のターゲット部である音響特徴量Ｘ5，Ｘ6に対応するコードｈ5，ｈ6を出力するとともに、これと並列処理で、同じ最新の入力データを補助エンコーダ４３３にも入力し、補助エンコーダ４３３から、その最新の入力データを補助入力データとみなした場合のターゲット部である音響特徴量Ｘ7～Ｘ10に対応するコードｈ7～ｈ10を出力する。その後、これらのコードｈ5～ｈ10をまとめて後段ネットワーク４４０に送り、後段ネットワーク４４０から音声認識結果としてのトークン列を出力する。これにより、音響特徴量Ｘ5，Ｘ6だけではなく、音響特徴量Ｘ5～Ｘ10に対応するトークン列が出力される。
【0195】
この分離モデルでは、マルチ・ルック・アヘッド（Multi-look-ahead）の音声認識処理（MLA-ASR）を実現しているので、従来技術（図２８参照）に比べ、遅延は低減できるが、主エンコーダ４３２と補助エンコーダ４３３とのパラメータの共有化は行っていないので、音声認識精度については、高精度を十分に維持することはできない。従って、低遅延化の達成の程度と、高精度の維持の程度との双方を勘案し、本願では、比較用のモデルの位置付けとしている。
【0196】
［比較実験］
【0197】
【0198】
図２６の比較実験（１）では、ＷＳＪ（非特許文献５参照）およびＴＥＤ２（非特許文献６参照）のデータセットを用いて、ベースラインとしてのシングル・ルック・アヘッド（Single-look-ahead）の従来モデル（図２８参照）と、前記第１実施形態の雁木（Gangi）モデルと、前記第３実施形態のユニティ（Unity）モデルと、前記第２実施形態の分岐モデル（２分岐のBifurcationモデル）との性能比較を行っている。
【0199】
ブロック設定の（〇－〇－〇）という数字は、履歴部、ターゲット部、先読み部を構成する音響特徴量Ｘの数である。従来モデルについては、シングル・ルック・アヘッド（先読み部は１つ）であるため、（ＮＬ－ＮＣ－ＮＲ）＝（８－４－１２）の１つだけである。雁木（Gangi）モデルの（８－４－１２，８，４，０）については、主入力データが（８－４－１２）であり、部分先読み用の補助入力データが（８－４－８）、（８－４－４）の２つであり、ゼロ先読み用の補助入力データが（８－４－０）である。ユニティ（Unity）モデルおよび分岐モデル（２分岐のBifurcationモデル）については、主入力データが（８－４－１２）であり、ゼロ先読み用の補助入力データが（１２－１２－０）である。
【0200】
図２６の比較実験（１）の結果によれば、シングル・ルック・アヘッド（Single-look-ahead）の従来モデルに対し、雁木（Gangi）モデル、ユニティ（Unity）モデル、分岐モデル（２分岐のBifurcationモデル）のいずれも十分に低遅延であり、マルチ・ルック・アヘッド（Multi-look-ahead）にした効果が得られている。遅延（Delay）の低減効果については、太枠で囲ったように、特に、ユニティ（Unity）モデルが顕著である。一方、単語誤り率ＷＥＲを見ると、音声認識精度については、太枠で囲ったように、雁木（Gangi）モデルや分岐モデル（２分岐のBifurcationモデル）が高精度を示している。
【0201】
図２７の比較実験（２）では、ＴＥＤ２をデータセットとして用いている。ブロック設定は、シングル・ルック・アヘッド（Single-look-ahead）の従来モデルについては、（８－４－８）であり、それ以外のマルチ・ルック・アヘッド（Multi-look-ahead）のモデルについては、主入力データが（８－４－１２）であり、補助入力データが（１２－１２－０）である。
【0202】
共有層の数は、シングル・ルック・アヘッド（Single-look-ahead）の従来モデルについては、共有の概念が生じないので、数字の記載がなく、ユニティ（Unity）モデルについては、主エンコーダと補助エンコーダとが統合されて全てのエンコーダ層が共有化されていると考え、１２層としている。分岐モデル（２分岐のBifurcationモデル）については、共有層の数（図１２の層数Ne-com）が、９層、６層、３層という３通りの場合を用意した。分離（Separate）モデルについては、比較用のモデルとして用意したので、マルチ・ルック・アヘッド（Multi-look-ahead）ではあるが、共有層の数はゼロである。
【0203】
図２７の比較実験（２）の結果によれば、シングル・ルック・アヘッド（Single-look-ahead）の従来モデルに対し、共有層の数に関係なく、ユニティ（Unity）モデル、３通りの分岐モデル（２分岐のBifurcationモデル）のいずれも十分に低遅延であり、マルチ・ルック・アヘッド（Multi-look-ahead）にした効果が得られている。遅延（Delay）の低減効果については、太枠で囲ったように、特に、ユニティ（Unity）モデルが顕著であり、パラメータ数が少ない構造に起因していると考えられる。なお、分離（Separate）モデルでも、マルチ・ルック・アヘッド（Multi-look-ahead）にした効果により、低遅延が達成されている。一方、単語誤り率ＷＥＲを見ると、音声認識精度については、太枠で囲ったように、分岐モデル（２分岐のBifurcationモデル）で共有層を６層にした場合が最も高精度を示している。従って、共有層の数は、多くし過ぎても、少なくし過ぎても最良の結果は得られず、最高の精度が得られる層数が存在し、それは中間的な層数であることがわかった。
【0204】
［変形の形態］
【0205】
なお、本発明は前記各実施形態に限定されるものではなく、本発明の目的を達成できる範囲内での変形等は本発明に含まれるものである。
【0206】
すなわち、前記各実施形態では、履歴部がブロック化されていたが、本発明では、必ずしも履歴部をブロック化する必要はなく、ターゲット部および先読み部がブロックに含まれていればよいので（ブロック処理の対象となっていればよいので）、エンコーダにおいて、履歴部を構成する音響特徴量は、ブロック処理とは別途の処理を行って後段ネットワークへ送るコードの作成に使用するようにしてもよい。
【0207】
また、前記各実施形態では、文脈ベクトル（contextual vector）を用いたコンテクスチュアル・ブロック・ストリーミング（Contextual Block Streaming：ＣＢＳ）の処理を行っていたが、本発明は、文脈ベクトルを使用しないブロック処理（文脈ベクトルに代わる別の情報を使用する場合を含む。）に適用してもよい。但し、高精度の音声認識が可能であるという点で、ＣＢＳ処理に適当することが好ましい。
【産業上の利用可能性】
【0208】
以上のように、本発明の音声認識システムおよびプログラムは、例えば、CBS-TやCBS-E/D等に用いるのに適している。
【符号の説明】
【0209】
１０，２００，３００ 音声認識システム
２０，２２０，３２０ 音声認識システムを構成する音声認識器
３０，２３０，３３０，３６０ エンコーダ
３１ 入力処理手段
３２，２３５ 主エンコーダ
３３，３４，２３６ 補助エンコーダ
４０，２４０，２７０，３４０，３７０ 後段ネットワーク
２３２，２６２ 共有層
２３３，２６３ 主エンコーダ用の固有層
２３４，２６４，２６５ 補助エンコーダ用の固有層
２０，２２０，３２０ 音声認識システムを構成する音声認識器
３０，２３０，３３０，３６０ エンコーダ
３１ 入力処理手段
３２，２３５ 主エンコーダ
３３，３４，２３６ 補助エンコーダ
４０，２４０，２７０，３４０，３７０ 後段ネットワーク
２３２，２６２ 共有層
２３３，２６３ 主エンコーダ用の固有層
２３４，２６４，２６５ 補助エンコーダ用の固有層
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】