特開 2025-31170 音声認識装置、音声認識方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025031170

(43)【公開日】2025-03-07

(54)【発明の名称】音声認識装置、音声認識方法及びプログラム

(51)【国際特許分類】

   G10L 17/00 20130101AFI20250228BHJP

   G10L 17/04 20130101ALI20250228BHJP

   G10L 17/24 20130101ALI20250228BHJP

   G10L 15/22 20060101ALI20250228BHJP

   G06F 3/16 20060101ALI20250228BHJP

【ＦＩ】

G10L17/00 200C

G10L17/00 200D

G10L17/04

G10L17/24

G10L15/22 453

G06F3/16 650

G06F3/16 640

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023137211

(22)【出願日】2023-08-25

(71)【出願人】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(71)【出願人】

【識別番号】301063496

【氏名又は名称】東芝デジタルソリューションズ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】平山 直樹

(72)【発明者】

【氏名】菊川 裕作

(57)【要約】

【課題】特定の複数人の話者の音声を認識し、特定された話者と認識された音声とに応じて、機器を制御できるようにする。
【解決手段】実施形態の音声認識装置は、記憶部と音声認識部と分析部と切り出し部と埋め込みベクトル計算部と類似度計算部と判定部と機器制御部とを備える。記憶部は所与の１以上の登録話者の第１の話者埋め込みベクトルと、登録話者の個人設定とを記憶する。分析部は音響信号を分析し特徴量を抽出する。切り出し部は音声認識結果から発話区間に含まれる特徴量の系列を切り出す。埋め込みベクトル計算部は特徴量の系列を用いて第２の話者埋め込みベクトルを計算する。類似度計算部は、第２の話者埋め込みベクトルと、１以上の第１の話者埋め込みベクトルとの１以上の類似度を計算する。機器制御部は、１以上の類似度から判定された登録話者と、音声認識結果とに基づいて記憶部から読み出された個人設定により機器を制御する。
【選択図】図１

【特許請求の範囲】

【請求項1】

所与の１以上の登録話者の第１の話者埋め込みベクトルと、機器の制御に使用される前記登録話者の個人設定とを記憶する記憶部と、
音響信号から音声を認識し、音声認識結果を取得する音声認識部と、
前記音響信号を分析し、前記音響信号の波形の特徴を表す特徴量を抽出する分析部と、
前記音声認識結果から、発話区間に含まれる前記特徴量の系列を切り出す切り出し部と、
前記特徴量の系列を用いて第２の話者埋め込みベクトルを計算する埋め込みベクトル計算部と、
前記第２の話者埋め込みベクトルと、前記１以上の第１の話者埋め込みベクトルとの１以上の類似度を計算する類似度計算部と、
前記１以上の類似度に基づいて、前記１以上の登録話者のいずれの発話であるかを判定する判定部と、
前記１以上の類似度から判定された登録話者と、前記音声認識結果とに基づいて、前記記憶部から読み出された前記個人設定により、前記機器を制御する機器制御部と、
を備える音声認識装置。

【請求項2】

前記１以上の類似度から判定された登録話者を識別する情報を表示装置に表示し、前記１以上の類似度が、いずれも第１の閾値以下である場合、話者の識別精度の信頼度が前記第１の閾値以下であることを示す情報を前記表示装置に表示する表示制御部、
を更に備える請求項１に記載の音声認識装置。

【請求項3】

前記記憶部は、前記登録話者とキーワードとの組合せを更に記憶し、
前記類似度計算部は、前記音声認識結果に、前記キーワードが含まれている登録話者の第１の話者埋め込みベクトルとの類似度を計算し、前記音声認識結果に、前記キーワードが含まれていない登録話者の第１の話者埋め込みベクトルとの類似度は計算しない、
請求項１又は２に記載の音声認識装置。

【請求項4】

前記音声認識部は、前記音声認識結果を文字列に変換し、前記文字列から言語理解モデルに基づいて理解された言語理解結果を更に取得し、
前記類似度計算部は、前記言語理解結果に基づいて、類似度の計算対象となる１以上の第１の話者埋め込みベクトルを選択し、選択された１以上の第１の話者埋め込みベクトルとの類似度を計算する、
請求項１又は２に記載の音声認識装置。

【請求項5】

前記１以上の第１の話者埋め込みベクトルを前記記憶部に登録する登録部を更に備え、
前記登録部は、同一の話者によるＮ個の発話（Ｎ≧１）に対して、それぞれの第１の話者埋め込みベクトルを計算し、前記それぞれの第１の話者埋め込みベクトルの統計量を、前記同一の話者の第１の話者埋め込みベクトルとして、前記記憶部に登録する、
請求項１又は２に記載の音声認識装置。

【請求項6】

前記登録部は、同一の話者に繰り返し発話を促し、各発話に対して、それぞれの第１の話者埋め込みベクトルを計算し、前記それぞれの第１の話者埋め込みベクトルの分散が、第２の閾値以下になった場合に発話を停止するよう促す、
請求項５に記載の音声認識装置。

【請求項7】

前記登録部は、前記類似度が第３の閾値以上である第２の話者埋め込みベクトルを用いて、前記類似度が第３の閾値以上である第１の話者埋め込みベクトルを更新する、
請求項５に記載の音声認識装置。

【請求項8】

前記音声認識結果は、各時刻の音声が各音素に対応する確率を示す音響スコアを含み、
前記埋め込みベクトル計算部は、前記各時刻の音響スコアと、前記特徴量の系列に含まれる各時刻の特徴量と、から前記第２の話者埋め込みベクトルを計算する、
請求項１又は２に記載の音声認識装置。

【請求項9】

音声認識装置が、所与の１以上の登録話者の第１の話者埋め込みベクトルと、機器の制御に使用される前記登録話者の個人設定とを記憶部に記憶するステップと、
前記音声認識装置が、音響信号から音声を認識し、音声認識結果を取得するステップと、
前記音声認識装置が、前記音響信号を分析し、前記音響信号の波形の特徴を表す特徴量を抽出するステップと、
前記音声認識装置が、前記音声認識結果から、発話区間に含まれる前記特徴量の系列を切り出すステップと、
前記音声認識装置が、前記特徴量の系列を用いて第２の話者埋め込みベクトルを計算するステップと、
前記音声認識装置が、前記第２の話者埋め込みベクトルと、前記１以上の第１の話者埋め込みベクトルとの１以上の類似度を計算するステップと、
前記音声認識装置が、前記１以上の類似度に基づいて、前記１以上の登録話者のいずれの発話であるかを判定するステップと、
前記音声認識装置が、前記１以上の類似度から判定された登録話者と、前記音声認識結果とに基づいて、前記記憶部から読み出された前記個人設定により、前記機器を制御するステップと、
を含む音声認識方法。

【請求項10】

所与の１以上の登録話者の第１の話者埋め込みベクトルと、機器の制御に使用される前記登録話者の個人設定とを記憶する記憶部を備えるコンピュータを、
音響信号から音声を認識し、音声認識結果を取得する音声認識部と、
前記音響信号を分析し、前記音響信号の波形の特徴を表す特徴量を抽出する分析部と、
前記音声認識結果から、発話区間に含まれる前記特徴量の系列を切り出す切り出し部と、
前記特徴量の系列を用いて第２の話者埋め込みベクトルを計算する話者埋め込みベクトル計算部と、
前記第２の話者埋め込みベクトルと、前記１以上の第１の話者埋め込みベクトルとの１以上の類似度を計算する類似度計算部と、
前記１以上の類似度に基づいて、前記１以上の登録話者のいずれの発話であるかを判定する判定部と、
前記１以上の類似度から判定された登録話者と、前記音声認識結果とに基づいて、前記記憶部から読み出された前記個人設定により、前記機器を制御する機器制御部、
として機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は音声認識装置、音声認識方法及びプログラム
に関する。

【背景技術】

【0002】

特定の話者の音声のみを認識する音声認識技術が従来から知られている。例えば、与えられた話者情報によって特定される話者の音声のみを認識する方法として、入力された音響特徴量に、話者埋め込みベクトルを結合することによって、当該話者の音声のみを認識するように学習する技術がある。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特表２０２２－５３９６７４号公報

【非特許文献】

【0004】

【非特許文献1】Ｗａｎ ｅｔ ａｌ．， Ｇｅｎｅｒａｌｉｚｅｄ Ｅｎｄ－ｔｏ－Ｅｎｄ Ｌｏｓｓ ｆｏｒ Ｓｐｅａｋｅｒ Ｖｅｒｉｆｉｃａｔｉｏｎ， ＩＣＡＳＳＰ ２０１８， ｐｐ．４８７９－４８８３， ２０１８

【非特許文献2】Ｓｙｎｄｅｒ ｅｔ ａｌ．， Ｘ－Ｖｅｃｔｏｒｓ： Ｒｏｂｕｓｔ ＤＮＮ Ｅｍｂｅｄｄｉｎｇｓ ｆｏｒ Ｓｐｅａｋｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ， ＩＣＡＳＳＰ ２０１８， ｐｐ．５３２９－５３３３， ２０１８ ２０１８

【非特許文献3】Ｉｏｆｆｅ， Ｐｒｏｂａｂｉｌｉｓｔｉｃ ｌｉｎｅａｒ ｄｉｓｃｒｉｍｉｎａｎｔ ａｎａｌｙｓｉｓ， ＥＣＣＶ， Ｐａｒｔ ＩＶ， ＬＮＣＳ ３９５４， ｐｐ．５３１－５４２， ２００６

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、従来の技術では、特定の複数人の話者の音声を認識し、特定された話者と認識された音声とに応じて、機器を制御することが難しかった。

【課題を解決するための手段】

【0006】

実施形態の音声認識装置は、記憶部と音声認識部と分析部と切り出し部と埋め込みベクトル計算部と類似度計算部と判定部と機器制御部とを備える。記憶部は、所与の１以上の登録話者の第１の話者埋め込みベクトルと、機器の制御に使用される前記登録話者の個人設定とを記憶する。音声認識部は、音響信号から音声を認識し、音声認識結果を取得する。分析部は、前記音響信号を分析し、前記音響信号の波形の特徴を表す特徴量を抽出する。切り出し部は、前記音声認識結果から、発話区間に含まれる前記特徴量の系列を切り出す。埋め込みベクトル計算部は、前記特徴量の系列を用いて第２の話者埋め込みベクトルを計算する。類似度計算部は、前記第２の話者埋め込みベクトルと、前記１以上の第１の話者埋め込みベクトルとの１以上の類似度を計算する。判定部は、前記１以上の類似度に基づいて、前記１以上の登録話者のいずれの発話であるかを判定する。機器制御部は、前記１以上の類似度から判定された登録話者と、前記音声認識結果とに基づいて、前記記憶部から読み出された前記個人設定により、前記機器を制御する。

【図面の簡単な説明】

【0007】

【図1】図１は、実施形態の音声認識装置の機能構成の例を示す図である。

【図2】図２は、実施形態の識別部の機能構成の例を示す図である。

【図3A】図３Ａは、実施形態の話者登録の全体フローの例を示すフローチャートである。

【図3B】図３Ｂは、実施形態のステップＳ２の詳細フローの例を示すフローチャートである。

【図4】図４は、実施形態の音声認識フローの例を示すフローチャートである。

【図5】図５は、実施形態の変形例１の識別部の機能構成の例を示す図である。

【図6】図６は、実施形態の変形例１のキーワード情報の例を示す図である。

【図7】図７は、実施形態の変形例２の音声認識装置の機能構成の例を示す図である。

【図8】図８は、実施形態の音声認識装置のハードウェア構成の例を示す図である。

【発明を実施するための形態】

【0008】

以下に添付図面を参照して、音声認識装置、音声認識方法及びプログラムの実施形態を詳細に説明する。

【0009】

実施形態の音声認識装置１００は、キーワードスポッティングによりキーワードが検出された区間の音声に対し、音声認識モデルと独立に学習された話者埋め込みモデルを用いて話者埋め込みベクトルを計算する。実施形態の音声認識装置１００は、事前に登録された各話者との類似度に基づいて話者識別を実施する。そして、実施形態の音声認識装置１００は、検出されたキーワードと話者識別の結果とに基づき、例えば、音響装置、及び空調装置等の機器の制御を行う。これにより、複数話者を目的とする音声認識を行い、話者に応じた固有の制御を行うことが可能となる。

【0010】

［機能構成の例］
図１は、実施形態の音声認識装置１００の機能構成の例を示す図である。実施形態の音声認識装置１００は、マイクロフォン１、音声認識部２、識別部３、判定部４、表示制御部５、ディスプレイ６及び機器制御部７を備える。音声認識部２は、第１分析部２１及び検出部２２を備える。また、実施形態の音声認識装置１００は、音声認識モデル記憶部１０１、埋め込みモデル記憶部１０２及び個人設定記憶部１０３を備える。

【0011】

マイクロフォン１は、１人以上の話者の音声を取得し、各時刻に取得された音響信号を第１分析部１１及び識別部３に入力する。

【0012】

第１分析部２１は、マイクロフォン１から各時刻に入力された音響信号から、音響信号の波形の特徴を表す特徴量を抽出する。抽出される特徴量は、例えば、ＭＦＣＣ（Ｍｅｌ－Ｆｒｅｑｕｅｎｃｙ Ｃｅｐｓｔｒｕｍ Ｃｏｅｆｆｉｃｉｅｎｔｓ）、及び、メルフィルタバンク特徴量などである。

【0013】

検出部２２は、特徴量の系列からキーワードを検出し、キーワードの検出結果、キーワードの始端時刻、及び、キーワードの終端時刻を含むキーワード検出情報を、識別部３に入力する。

【0014】

図２は、実施形態の識別部３の機能構成の例を示す図である。実施形態の識別部３は、第２分析部３１、切り出し部３２、埋め込みベクトル計算部３３、登録部３４、類似度計算部３５及び埋め込みベクトル記憶部１０４を備える。

【0015】

第２分析部３１は、上述の第１分析部２１と同様の特徴量抽出機能を有する。なお、第２分析部３１で抽出される特徴量と、第１分析部２１で抽出される特徴量とは同じでもよく、その場合には、識別部３は、第１分析部２１から特徴量を受け付けてもよい。

【0016】

切り出し部３２は、第２分析部３１から特徴量を受け付け、検出部２２からキーワード情報を受け付けると、キーワードの始端時刻、及び、キーワードの終端時刻の間（キーワード検出区間）に含まれる特徴量の系列を切り出す。

【0017】

埋め込みベクトル計算部３３は、埋め込みモデル記憶部１０２から話者埋め込みモデルを読み込み、話者埋め込みモデルに基づき、話者埋め込みベクトルを計算する。話者埋め込みベクトルの計算方法としては、例えば、ｉ－ｖｅｃｔｏｒ、ｄ－ｖｅｃｔｏｒ（非特許文献１）、ｘ－ｖｅｃｔｏｒ（非特許文献２）、及び、それらの派生手法等が用いられる。

【0018】

登録部３４は、音声認識対象（登録対象）の話者について、事前に計算された所定の個数の話者埋め込みベクトルを平均し、平均された話者埋め込みベクトルを、埋め込みベクトル記憶部１０４に記憶する。

【0019】

類似度計算部３５は、埋め込みベクトル計算部３３により計算された話者埋め込みベクトルと、埋め込みベクトル記憶部１０４に記憶された登録話者の話者埋め込みベクトルと、の類似度を計算する。類似度の計算方法としては、例えば、コサイン類似度、及び、ＰＬＤＡ（非特許文献３）等が用いられる。

【0020】

図１に戻り、判定部４は、類似度計算部３５により計算された類似度に基づき、キーワード検出区間に含まれる発話の話者を判定し、話者の判定結果（識別結果）を表示制御部５及び機器制御部７に入力する。

【0021】

表示制御部５は、判定部４から入力された判定結果に基づき、音声認識された話者を識別する情報をディスプレイ６に表示する。

【0022】

機器制御部７は、判定部４から入力された判定結果に基づき、識別された話者の個人設定を個人設定記憶部１０３から読み出し、個人設定に基づき、空調装置１１１及び音響装置１１２等の機器を制御する。

【0023】

例えば、機器制御部７は、話者識別結果と音声認識結果との組み合わせに応じて、機器制御を実施する。具体的には、例えば、機器制御部７は、音響装置１１２がカーオーディオである場合、話者が「お気に入りの曲をかけて」と発話すると、個人設定により定められた当該話者に応じたお気に入りの曲を再生する。また例えば、空調装置１１１に対しては、機器制御部７は、話者が「お好み設定」と発話すると、個人設定により定められた当該話者に応じた好みの温度・風量を設定する。

【0024】

図３Ａは、実施形態の話者登録の全体フローの例を示すフローチャートである。はじめに、登録部３４が、登録対象のＫ人の話者を識別する変数ｋを１に初期化する（ステップＳ１）。

【0025】

次に、登録部３４は、話者ｋの話者登録を実行する（ステップＳ２）。ステップＳ２の詳細フローは、図３Ｂを参照して後述する。

【0026】

次に、登録部３４は、ｋ＝Ｋであるか否かを判定する（ステップＳ３）。ｋ＝Ｋである場合（ステップＳ３，Ｙｅｓ）、話者登録の処理は終了する。

【0027】

ｋ＝Ｋでない場合（ステップＳ３，Ｎｏ）、登録部３４は、ｋの値をインクリメントし（ステップＳ４）、話者登録の処理はステップＳ２に戻る。

【0028】

図３Ｂは、実施形態のステップＳ２の詳細フローの例を示すフローチャートである。はじめに、登録部３４は、話者埋め込みベクトルの平均の計算に用いられるベクトルＶ及び変数ｎを０に初期化する（ステップＳ１１）。

【0029】

次に、音声認識部２が、話者ｋの音声を認識する（ステップＳ１２）。具体的には、第１分析部２１が、マイクロフォン１から各時刻に入力された話者ｋの音響信号から、特徴量を抽出し、検出部２２が、当該特徴量の系列からキーワードの検出を試みる。

【0030】

ステップＳ１２の音声認識によって、キーワードが検出されなかった場合（ステップＳ１３，Ｎｏ）、話者登録の処理は、ステップＳ１２に戻り、話者ｋの音声認識を継続する。

【0031】

ステップＳ１２の音声認識によって、キーワードが検出された場合（ステップＳ１３，Ｙｅｓ）、切り出し部３２が、キーワード検出区間に含まれる特徴量を切り出す（ステップＳ１４）。

【0032】

次に、埋め込みベクトル計算部３３が、ステップＳ１４で切り出された特徴量から、話者埋め込みベクトルｖを計算する（ステップＳ１５）。

【0033】

次に、登録部３４が、ベクトルＶに、ステップＳ１５で計算された話者埋め込みベクトルｖを加え、変数ｎをインクリメントする（ステップＳ１６）。次に、登録部３４は、ｎ＝Ｎであるか否かを判定する（ステップＳ１７）。ｎ＝Ｎでない場合（ステップＳ１７，Ｎｏ）、話者登録の処理は、ステップＳ１２に戻り、話者ｋの音声認識を継続する。

【0034】

ｎ＝Ｎである場合（ステップＳ１７，Ｙｅｓ）、登録部３４は、ベクトルＶをＮで除算することによって、ステップＳ１５で計算された話者ｋの話者埋め込みベクトルｖの平均を計算し、ベクトルＶ／Ｎを、話者ｋの話者埋め込みベクトルとして埋め込みベクトル記憶部１０４に登録する（ステップＳ１８）。

【0035】

図３Ｂに示すように、登録部３４は、同一の話者によるＮ個の発話（Ｎ≧１）に対して、それぞれの話者埋め込みベクトル（第１の話者埋め込みベクトル）を計算する。そして、登録部３４は、それぞれの話者埋め込みベクトルの統計量（図３Ｂの例では、平均）を、同一の話者の話者埋め込みベクトルとして、埋め込みベクトル記憶部１０４に登録する。話者登録時に複数発話を入力させることによって、話者内の発話ごとの話者埋め込みベクトルのばらつきを抑えることができる。

【0036】

図４は、実施形態の音声認識フローの例を示すフローチャートである。はじめに、音声認識部２が、マイクロフォン１から入力された音声を認識する（ステップＳ２１）。具体的には、第１分析部２１が、マイクロフォン１から各時刻に入力された音響信号から、特徴量を抽出し、検出部２２が、当該特徴量の系列からキーワードの検出を試みる。

【0037】

ステップＳ２１の音声認識によって、キーワードが検出されなかった場合（ステップＳ２２，Ｎｏ）、話者登録の処理は、ステップＳ２１に戻り、話者ｋの音声認識を継続する。

【0038】

ステップＳ２１の音声認識によって、キーワードが検出された場合（ステップＳ２２，Ｙｅｓ）、切り出し部３２が、キーワード検出区間に含まれる特徴量を切り出す（ステップＳ２３）。

【0039】

次に、埋め込みベクトル計算部３３が、ステップＳ２３で切り出された特徴量から、話者埋め込みベクトルｖを計算する（ステップＳ２４）。次に、類似度計算部３５は、ステップＳ２４で計算された話者埋め込みベクトルｖと、登録部３４によって埋め込みベクトル記憶部１０４に事前に記憶された登録話者の話者埋め込みベクトルと、の類似度を計算する（ステップＳ２５）。

【0040】

次に、判定部４が、ステップＳ２５で計算された類似度に基づき、キーワード検出区間に含まれる発話の話者を判定し、機器制御部７が、話者の判定結果（識別結果）に基づき、識別された話者の個人設定により機器を制御する（ステップＳ２６）。

【0041】

次に、表示制御部５が、ステップＳ２１で音声認識された話者を識別する情報をディスプレイ６に表示する（ステップＳ２７）。

【0042】

以上、説明したように、実施形態の音声認識装置１００では、埋め込みモデル記憶部１０２及び個人設定記憶部１０３（記憶部の一例）が、所与の１以上の登録話者の第１の話者埋め込みベクトルと、機器の制御に使用される登録話者の個人設定とを記憶する。音声認識部２が、音響信号から音声を認識し、音声認識結果を取得する。第２分析部３１が、音響信号を分析し、音響信号の波形の特徴を表す特徴量を抽出する。切り出し部３２が、音声認識結果から、発話区間に含まれる特徴量の系列を切り出す。埋め込みベクトル計算部３３が、特徴量の系列を用いて第２の話者埋め込みベクトルを計算する。類似度計算部３５が、第２の話者埋め込みベクトルと、１以上の第１の話者埋め込みベクトルとの１以上の類似度を計算する。判定部４が、１以上の類似度に基づいて、１以上の登録話者のいずれの発話であるかを判定する。そして、機器制御部７が、１以上の類似度から判定された登録話者と、音声認識結果とに基づいて、個人設定記憶部１０３から読み出された個人設定により、機器を制御する。

【0043】

実施形態の音声認識装置１００の構成によれば、音声認識に使用される音声認識モデルと独立な話者埋め込みモデル（所与の１以上の登録話者の第１の話者埋め込みベクトル）を用いて、特定の複数人の話者を対象とする音声認識が行われる。これにより、特定の複数人の話者の音声を認識し、特定された話者と認識された音声とに応じて、機器を制御することができる。

【0044】

なお、従来は、与えられた話者の音声のみを認識する仕組みであったため、話者Ａの音声と話者Ｂの音声とを認識したい場合など、目的話者を複数人にすることができないという問題があった。また、音声認識モデルが話者埋め込みモデルに依存するため、環境変化及び経年変化などへの対応のためには両方のモデルの再学習が必要になるなど、環境に合わせたモデルのチューニングが煩雑になるという問題があった。

【0045】

（実施形態の変形例１）
次に実施形態の変形例１について説明する。変形例１の説明では、実施形態と同様の説明については省略し、実施形態と異なる箇所について説明する。

【0046】

図５は、実施形態の変形例１の識別部３の機能構成の例を示す図である。図５の例では、類似度計算部３５は、キーワード情報記憶部１０５から、キーワード情報を更に読み込む。キーワード情報記憶部１０５は、登録話者とキーワードとの組合せを記憶する。

【0047】

図６は、実施形態の変形例１のキーワード情報の例を示す図である。変形例１のキーワード情報は、話者Ａ及びＢごとに、受付可能なキーワードのリストを表す。例えば、キーワードｂは、話者Ａでは受付可能であるが、話者Ｂでは受付できないことを示す。キーワード情報は、話者毎に、受付可能なキーワードを定めるフィルタとして使用される。

【0048】

類似度計算部３５は、切り出し部３２から、埋め込みベクトル計算部３３を介して、キーワード検出区間の音声認識結果を受け取り、音声認識されたキーワードを入力可能な話者との類似度だけを計算してもよい。これにより類似度計算コストを削減することができる。

【0049】

すなわち、類似度計算部３５は、音声認識結果に、図６のキーワード情報で定められた受付可能なキーワードが含まれている登録話者の第１の話者埋め込みベクトルと、埋め込みベクトル計算部３３により計算された第２の話者埋め込みベクトルと、の類似度を計算する。すなわち、類似度計算部３５は、音声認識結果に、図６のキーワード情報で定められた受付可能なキーワードが含まれていない登録話者の第１の話者埋め込みベクトルと、埋め込みベクトル計算部３３により計算された第２の話者埋め込みベクトルと、の類似度は計算しない。

【0050】

また、埋め込みベクトル計算部３３は、音声認識部２から切り出し部３２を介してキーワード認識結果をさらに受け取り、音響特徴量とキーワード認識結果とから話者埋め込みベクトルを計算してもよい。キーワード認識結果は、発話に対応するキーワードＩＤ又は文字列でもよいし、各時刻の音響スコア等でもよい。音響スコアは、各時刻の音声が各音素に対応する確率を示す。

【0051】

すなわち、音声認識結果が、各時刻の音声が各音素に対応する確率を示す音響スコアを含み、埋め込みベクトル計算部３３が、各時刻の音響スコアと、特徴量の系列に含まれる各時刻の特徴量と、から話者埋め込みベクトル（第２の話者埋め込みベクトル）を計算してもよい。これにより登録時と識別時とで発話内容が異なる場合に、識別性能の向上が期待される。

【0052】

また、判定部４は類似度の閾値（第１の閾値）に基づいて、どの登録話者の発話でもない旨の判定をさらに行ってもよい。この場合、表示制御部５が、１以上の類似度から判定された登録話者を識別する情報（例えば氏名等）をディスプレイ６に表示し、１以上の類似度が、いずれも第１の閾値以下である場合、話者の識別精度の信頼度が第１の閾値以下であることを示す情報をディスプレイ６に表示する。

【0053】

なお、この閾値は固定値でもよいし、判定部４がキーワード検出結果をさらに受け取り、キーワード検出結果に応じて異なる閾値が用いられてもよい。

【0054】

これにより、所定の登録話者以外の発話を棄却することができる。また、検出部２２が環境雑音などの非音声に誤って反応し、検出結果を出力した場合に、このような検出結果を棄却することができる。

【0055】

また、入力された発話と、登録済の話者埋め込みベクトルとの類似度が閾値以下の場合に、再発話を促したり、背景雑音によって生じる音声認識結果の誤りを棄却したりすることができる。

【0056】

（実施形態の変形例２）
次に実施形態の変形例２について説明する。変形例２の説明では、実施形態と同様の説明については省略し、実施形態と異なる箇所について説明する。

【0057】

図７は、実施形態の変形例２の音声認識装置１００－２の機能構成の例を示す図である。変形例２の音声認識部２では、実施形態の検出部２２に代えて、自由発話認識部２３と言語理解部２４が備えられている。

【0058】

自由発話認識部２３は、所定のキーワードに依らない自由発話の音声を認識し、音声認識結果を文字列に変換する。

【0059】

言語理解部２４は、自由発話認識部２３によって得られた文字列の解析を行う。例えば、言語理解部２４は、文字列から言語理解モデルに基づいて理解された言語理解結果を取得する。

【0060】

類似度計算部３５は、言語理解結果に基づいて、類似度の計算対象となる１以上の第１の話者埋め込みベクトルを選択し、選択された１以上の第１の話者埋め込みベクトルと、埋め込みベクトル計算部３３により計算された第２の話者埋め込みベクトルとの類似度を計算する。

【0061】

図７に示す変形例２の構成によれば、特定のキーワードに制約されない、より高度な音声入力インタフェースに対しても対応できる。大語彙音声認識に対して話者識別を適用することで、より広範囲のタスクに対して話者情報に基づく音声インタフェースの動作を制御できるようになる。

【0062】

例えば、変形例２の音声認識装置１００－２が、自動車の運転席と助手席にいる二人の発話を認識するときに、言語理解結果から自動車の運転支援に関する発話であることが特定できる。この場合、類似度計算部３５は、例えば、自動車の運転者として登録されている登録話者の第１の話者埋め込みベクトルを、類似度の計算対象として選択できる。

【0063】

また、話者登録時には、固定個数の発話を用いる代わりに、各発話の話者埋め込みベクトルの分散が閾値以下となった場合に登録を終了してもよい。すなわち、登録部３４が、同一の話者に繰り返し発話を促し、各発話に対して、それぞれの話者埋め込みベクトル（第１の話者埋め込みベクトル）を計算し、それぞれの話者埋め込みベクトルの分散が、第２の閾値以下になった場合に発話を停止するよう促してもよい。

【0064】

これにより、最低限の回数の発話で話者登録が行えるので、話者登録の労力を削減でき、話者識別精度を維持しつつユーザエクスペリエンスを高めることができる。

【0065】

また、判定時には、類似度が閾値以上となった発話を用いて、埋め込みベクトル記憶部の値を逐次更新してもよい。声質は経年変化するため、最初に登録された話者埋め込みベクトルを使い続けると話者識別精度が低下していき、再登録が必要となる場合がある。そのため、登録部３４は、類似度が閾値（第３の閾値）以上である話者埋め込みベクトル（埋め込みベクトル計算部３３により計算された第２の話者埋め込みベクトル）を用いて、類似度が閾値（第３の閾値）以上である登録話者の埋め込みベクトル（埋め込みベクトル記憶部１０４に登録される第１の話者埋め込みベクトル）を更新してもよい。

【0066】

登録部３４による逐次更新によって、明示的な再登録作業（例えば、所定の年数ごとの再登録作業）を定期的に行う必要がなくなり、時間経過に対しても話者識別精度を維持することができる。

【0067】

最後に、実施形態の音声認識装置１００のハードウェア構成の例について説明する。

【0068】

［ハードウェア構成の例］
図７は、実施形態の音声認識装置１００のハードウェア構成の例を示す図である。実施形態の音声認識装置１００は、プロセッサ２０１、主記憶装置２０２、補助記憶装置２０３、表示装置２０４、入力装置２０５及び通信装置２０６を備える。プロセッサ２０１、主記憶装置２０２、補助記憶装置２０３、表示装置２０４、入力装置２０５及び通信装置２０６は、バス２１０を介して接続されている。

【0069】

なお、音声認識装置１００は、上記構成の一部が備えられていなくてもよい。例えば、音声認識装置１００が、外部の装置の入力機能及び表示機能を利用可能な場合、音声認識装置１００に表示装置２０４及び入力装置２０５が備えられていなくてもよい。

【0070】

プロセッサ２０１は、補助記憶装置２０３から主記憶装置２０２に読み出されたプログラムを実行する。主記憶装置２０２は、ＲＯＭ及びＲＡＭ等のメモリである。補助記憶装置２０３は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）及びメモリカード等である。

【0071】

表示装置２０４は、例えば液晶ディスプレイ（図１の例では、ディスプレイ６）等である。入力装置２０５は、音声認識装置１００を操作するためのインタフェースである。なお、表示装置２０４及び入力装置２０５は、表示機能と入力機能とを有するタッチパネル等により実現されていてもよい。通信装置２０６は、他の装置と通信するためのインタフェースである。

【0072】

例えば、音声認識装置１００で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルで、メモリカード、ハードディスク、ＣＤ－ＲＷ、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＤＶＤ－ＲＡＭ及びＤＶＤ－Ｒ等のコンピュータで読み取り可能な記憶媒体に記録されてコンピュータ・プログラム・プロダクトとして提供される。

【0073】

また例えば、音声認識装置１００で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。

【0074】

また例えば、音声認識装置１００で実行されるプログラムをダウンロードさせずにインターネット等のネットワーク経由で提供するように構成してもよい。具体的には、サーバコンピュータから、プログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｅｒｖｉｃｅ Ｐｒｏｖｉｄｅｒ）型のサービスによって、音声認識処理を実行する構成としてもよい。

【0075】

また例えば、音声認識装置１００のプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

【0076】

音声認識装置１００で実行されるプログラムは、上述の機能構成のうち、プログラムによっても実現可能な機能を含むモジュール構成となっている。当該各機能は、実際のハードウェアとしては、プロセッサ２０１が記憶媒体からプログラムを読み出して実行することにより、上記各機能ブロックが主記憶装置２０２上にロードされる。すなわち上記各機能ブロックは主記憶装置２０２上に生成される。

【0077】

なお上述した各機能の一部又は全部をソフトウェアにより実現せずに、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等のハードウェアにより実現してもよい。

【0078】

また複数のプロセッサ２０１を用いて各機能を実現してもよく、その場合、各プロセッサ２０１は、各機能のうち１つを実現してもよいし、各機能のうち２以上を実現してもよい。

【0079】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0080】

１ マイクロフォン
２ 音声認識部
３ 識別部
４ 判定部
５ 表示制御部
６ ディスプレイ
７ 機器制御部
２１ 第１分析部
２２ 検出部
２３ 自由発話認識部
２４ 言語理解部
３１ 第２分析部
３２ 切り出し部
３３ 埋め込みベクトル計算部
３４ 登録部
３５ 類似度計算部
１００ 音声認識装置
１０１ 音声認識モデル記憶部
１０２ 埋め込みモデル記憶部
１０３ 個人設定記憶部
１０４ 埋め込みベクトル記憶部
１０５ キーワード情報記憶部
１１１ 空調装置
１１２ 音響装置
２０１ プロセッサ
２０２ 主記憶装置
２０３ 補助記憶装置
２０４ 表示装置
２０５ 入力装置
２０６ 通信装置
２１０ バス

【図1】

【図2】

【図3A】

【図3B】

【図4】

【図5】

【図6】

【図7】

【図8】