特開 2023-117068 音声認識装置、音声認識方法、音声認識プログラム、音声認識システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023117068

(43)【公開日】2023-08-23

(54)【発明の名称】音声認識装置、音声認識方法、音声認識プログラム、音声認識システム

(51)【国際特許分類】

   G10L 15/25 20130101AFI20230816BHJP

   G10L 15/32 20130101ALI20230816BHJP

   G10L 15/22 20060101ALI20230816BHJP

   G06T 7/00 20170101ALI20230816BHJP

【ＦＩ】

G10L15/25

G10L15/32 220Z

G10L15/22 460Z

G06T7/00 660A

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2022019554

(22)【出願日】2022-02-10

(71)【出願人】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】後藤 悠斗

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096CA04

5L096DA02

5L096EA03

5L096EA13

5L096FA62

5L096FA66

5L096FA69

5L096HA08

5L096HA11

5L096JA11

(57)【要約】      （修正有）

【課題】映像データに含まれる画像から特定した音源となる発話者の発話内容を表示させる音声認識装置、音声認識方法、音声認識プログラム及び音声認識システムを提供する。
【解決手段】情報処理装置と、撮像装置と、表示装置とが、ネットワーク等を介して接続されている音声認識システムにおいて、情報処理装置である情報処理端末２００Ａの音声認識処理部２３０は、映像データに含まれる画像データが示す画像から検出された人物の顔画像に基づいて注目話者を決定する注目話者決定部２４７と、映像データに含まれる音声データのうち、注目話者の音声データから変換されたテキストデータを表示装置に表示させる発話内容認識結果出力部２３３と、を有する。
【選択図】図５

【特許請求の範囲】

【請求項1】

映像データに含まれる画像データが示す画像から検出された人物の顔画像に基づき、注目話者を決定する注目話者決定部と、
前記映像データに含まれる音声データのうち、前記注目話者の音声データから変換されたテキストデータを表示装置に表示させる発話内容認識結果出力部と、を有する音声認識装置。

【請求項2】

前記注目話者に特定された人物の顔画像から、前記人物の口唇部分の画像を含む口唇領域を検出する口唇領域抽出部と、
前記口唇領域内の画像を示す画像データと、前記注目話者の音声データとを用いて、前記注目話者の音声データをテキストデータに変換する第一の発話認識部を有する、請求項１記載の音声認識装置。

【請求項3】

前記顔画像から前記口唇領域が検出されない場合に、
前記注目話者の音声データを用いて、前記注目話者の音声データをテキストデータに変換する第二の発話認識部を有する、請求項２記載の音声認識装置。

【請求項4】

前記表示装置は、眼鏡型表示装置であって、前記眼鏡型表示装置には、前記眼鏡型表示装置を装着した装着者の視線方向の画像を撮像する撮像装置が設けられており、
前記映像データは、前記撮像装置により取得された映像データである、請求項１乃至３の何れか一項に記載の音声認識装置。

【請求項5】

前記注目話者決定部は、
前記映像データに含まれる画像データが示す画像から、複数の顔画像が検出された場合に、前記顔画像の一部の領域の中心点と、前記映像データに含まれる画像データが示す画像の中心点との距離が最も小さい顔画像を、前記注目話者の顔画像とする、請求項１乃至４の何れか一項に記載の音声認識装置。

【請求項6】

前記音声データを発話した人物を識別するための話者埋め込み情報を算出する話者埋め込み情報算出部と、
前記映像データに含まれる画像データが示す画像から、前記注目話者の顔画像が検出されない場合に、前記音声データの発話者を、前記音声データから算出した話者埋め込み情報に基づき推定する画面外話者推定部と、を有する、請求項１乃至５の何れか一項に記載の音声認識装置。

【請求項7】

前記画面外話者推定部は、
前記映像データに含まれる画像データが示す画像から、前記注目話者の顔画像が検出されない状態が継続している期間が所定の設定時間未満であり、且つ、前記注目話者の顔画像が検出されない状態において取得した音声データから算出された話者埋め込み情報と、前記注目話者の話者埋め込み情報と、が一致している場合に、前記音声データを前記注目話者の音声データと判定する、請求項６記載の音声認識装置。

【請求項8】

前記画面外話者推定部は、
前記映像データに含まれる画像データが示す画像から、前記注目話者の顔画像が検出されない状態が、前記所定の設定時間以上継続した場合に、前記注目話者の決定を解除する、請求項７記載の音声認識装置。

【請求項9】

情報処理装置と、前記情報処理装置と通信が可能な撮像装置と、前記情報処理装置と通信が可能な表示装置と、を有する音声認識システムであって、
前記情報処理装置は、
前記撮像装置によって取得された映像データに含まれる画像データが示す画像から検出された人物の顔画像に基づき、注目話者を決定する注目話者決定部と、
前記映像データに含まれる音声データのうち、前記注目話者の音声データから変換されたテキストデータを前記表示装置に表示させる発話内容認識結果出力部と、を有する、音声認識システム。

【請求項10】

コンピュータによる音声認識方法であって、前記コンピュータが、
映像データに含まれる画像データが示す画像から検出された人物の顔画像に基づき、注目話者を決定し、
前記映像データに含まれる音声データのうち、前記注目話者の音声データから変換されたテキストデータを表示装置に表示させる、音声認識方法。

【請求項11】

映像データに含まれる画像データが示す画像から検出された人物の顔画像に基づき、注目話者を決定し、
前記映像データに含まれる音声データのうち、前記注目話者の音声データから変換されたテキストデータを表示装置に表示させる、処理をコンピュータに実行させる、音声認識プログラム。

【請求項12】

情報処理端末と、前記情報処理端末と接続された撮像装置と、前記情報処理端末と接続された表示装置と、を有するスマートグラスであって、
前記情報処理端末は、
前記撮像装置によって取得された映像データに含まれる画像データが示す画像から検出された人物の顔画像に基づき、注目話者を決定する注目話者決定部と、
前記映像データに含まれる音声データのうち、前記注目話者の音声データから変換されたテキストデータを前記表示装置に表示させる発話内容認識結果出力部と、を有する、スマートグラス。

【請求項13】

情報処理端末と、前記情報処理端末と接続された撮像装置と、前記情報処理端末と接続された表示装置と、を有するスマートグラスと、前記スマートグラスと通信が可能な翻訳装置と、を含む翻訳システムであって
前記スマートグラスの有する前記情報処理端末は、
前記撮像装置によって取得された映像データに含まれる画像データが示す画像から検出された人物の顔画像に基づき、注目話者を決定する注目話者決定部と、
前記映像データに含まれる音声データのうち、前記注目話者の音声データから変換された第一の言語のテキストデータを前記翻訳装置に出力する発話内容認識結果出力部と、を有し、
前記翻訳装置において、前記第一の言語のテキストデータから翻訳された第二の言語のテキストデータを、前記表示装置に表示させる、翻訳システム。

【請求項14】

情報処理端末と、前記情報処理端末と接続された撮像装置と、前記情報処理端末と接続された表示装置と、を有するスマートグラスと、前記スマートグラスと通信が可能な発話内容記録装置と、を含む発話内容記録システムであって
前記スマートグラスの有する前記情報処理端末は、
前記撮像装置によって取得された映像データに含まれる画像データが示す画像から検出された人物の顔画像に基づき、注目話者を決定する注目話者決定部と、
前記映像データに含まれる音声データのうち、前記注目話者の音声データから変換されたテキストデータを前記表示装置に表示させ、且つ、前記テキストデータを前記発話内容記録装置に出力する発話内容認識結果出力部と、を有し、
前記発話内容記録装置は、
前記情報処理端末から出力された前記テキストデータを格納する記憶部を有する、発話内容記録システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、音声認識装置、音声認識方法、音声認識プログラム、音声認識システムに関する。

【背景技術】

【0002】

近年では、画像から音源となる発話者を特定し、特定した発話者が発している音声を文字画像に変換して表示部に表示させる技術が知られている。具体的には、例えば、画像において特定された人物が口を動かしている場合に、この人物の音声を文字に変換して表示させるシステムが知られている。

【発明の概要】

【発明が解決しようとする課題】

【0003】

上述した従来の技術では、画像の中に、口を動かしている人物が複数存在する場合等には、注目すべき発話者を選択することができない。このため、従来の技術では、特定の人物に注目した場合に、注目した人物の発話内容が適切に表示されない可能性がある。

【0004】

開示の技術は、上記事情に鑑みたものであり、特定の発話者の発話内容を表示させることを目的とする。

【課題を解決するための手段】

【0005】

開示の技術は、映像データに含まれる画像データが示す画像から検出された人物の顔画像に基づき、注目話者を決定する注目話者決定部と、前記映像データに含まれる音声データのうち、前記注目話者の音声データから変換されたテキストデータを表示装置に表示させる発話内容認識結果出力部と、を有する音声認識装置である。

【発明の効果】

【0006】

特定の発話者の発話内容を表示させることができる。

【図面の簡単な説明】

【0007】

【図1】第一の実施形態の音声認識システムの一例を示す図である。

【図2】第一の実施形態の音声認識の概要について説明する第一の図である。

【図3】音声認識システムをスマートグラスに適用した場合について説明する図である。

【図4】第一の実施形態の音声認識の概要について説明する第二の図である。

【図5】スマートグラスの機能について説明する図である。

【図6】第一の実施形態のスマートグラスの動作を説明する第一のフローチャートである。

【図7】第一の実施形態のスマートグラスの動作を説明する第二のフローチャートである。

【図8】第一の実施形態における注目話者の決定について説明する図である。

【図9】第一の実施形態のスマートグラスの動作を説明する第三のフローチャートである。

【図10】スマートグラスの動作の事例を説明する第一の図である。

【図11】スマートグラスの動作の事例を説明する第二の図である。

【図12】スマートグラスの動作の事例を説明する第三の図である。

【図13】スマートグラスの動作の事例を説明する第四の図である。

【図14】スマートグラスの動作の事例を説明する第五の図である。

【図15】スマートグラスの動作の事例を説明する第六の図である。

【図16】スマートグラスの動作の事例を説明する第七の図である。

【図17】第一の実施形態の発話内容の認識について説明する図である。

【図18】第二の実施形態の翻訳システムの一例を示す図である。

【図19】第三の実施形態の発話内容記録システムの一例を示す図である。

【発明を実施するための形態】

【0008】

（第一の実施形態）
以下に図面を参照して、第一の実施形態について説明する。図１は、第一の実施形態の音声認識システムの一例を示す図である。

【0009】

本実施形態の音声認識システム１００は、情報処理装置２００と、撮像装置３００と、表示装置４００とを含み、情報処理装置２００と撮像装置３００と表示装置４００とは、ネットワーク等を介して接続されている。

【0010】

本実施形態の音声認識システム１００において、情報処理装置２００は、音声認識処理部２３０を有する。

【0011】

本実施形態の撮像装置３００は、映像データを取得し、情報処理装置２００へ送信する。映像データは、画像データ（動画データ）と音声データとを含む。

【0012】

本実施形態では、映像データは、音声認識システム１００の利用者が、撮像装置３００を用いて撮影し、情報処理装置２００に送信したものであってよい。したがって、映像データに含まれる画像データには、利用者自身が注目する発話者が含まれる。

【0013】

本実施形態の情報処理装置２００は、音声認識処理部２３０により、撮像装置３００から取得した映像データに含まれる画像データに基づき、音声認識システム１００の利用者が注目する発話者を特定する。そして、情報処理装置２００は、音声認識処理部２３０により、利用者が注目した発話者の音声データのみを、テキストデータに変換して表示装置４００に表示させる。なお、表示装置４００は、例えば、情報処理装置２００の有するディスプレイ等であってもよい。

【0014】

このように、本実施形態では、画像データから、利用者が注目した発話者を特定し、特定された発話者の音声データのみをテキストデータに変換して出力する。したがって、本実施形態によれば、利用者が注目した特定の発話者の発話内容を表示させることができる。

【0015】

以下に、図２を参照して、本実施形態の情報処理装置２００による音声認識の概要について説明する。図２は、第一の実施形態の音声認識の概要について説明する第一の図である。

【0016】

図２に示す画像２１は、撮像装置３００により取得された画像データが示す画像の一例である。

【0017】

画像２１には、人物Ａの画像と、人物Ｂの画像とが含まれる。本実施形態の情報処理装置２００は、画像２１に含まれる人物の画像のうち、顔画像の位置が画像２１の中心に近い位置にある人物の画像を、注目すべき人物に特定する。

【0018】

図２の例では、人物Ａの顔画像は、人物Ｂの顔画像よりも、画像２１の中心に近い。したがって、図２では、人物Ａが注目すべき発話者に特定される。

【0019】

なお、画像の中心とは、画像が示す矩形の対角線が交わる位置であってよい。また、以下の説明では、注目すべき発話者を、注目話者と表現する場合がある。注目すべき発話者とは、言い換えれば、音声認識システム１００の利用者が注目している特定の発話者である。

【0020】

本実施形態では、人物Ａが注目話者に特定されると、人物Ａの口唇部分の動きを示す動画像と、撮像装置３００が取得した音声データとかを用いて、注目話者である人物Ａの音声データをテキストデータ２３に変換して、表示させる。したがって、本実施形態によれば、注目話者の発話内容を高い精度でテキストデータに変換することができる。

【0021】

なお、このとき、本実施形態では、画像２１と、テキストデータ２３とが重畳されて表示されてもよい。

【0022】

次に、図３を参照して、本実施形態の音声認識システム１００を、スマートグラスに適用した場合について説明する。

【0023】

図３は、音声認識システムをスマートグラスに適用した場合について説明する図である。図３では、音声認識システム１００をスマートグラス１００Ａとして説明する。

【0024】

図３のスマートグラスのハードウェア構成の一例を示す図である。本実施形態のスマートグラス１００Ａは、眼鏡型表示装置３００Ａと、情報処理端末２００Ａと、ケーブル１５０とを含む眼鏡型ウェアラブル端末である。なお、図３の例では、眼鏡型表示装置３００Ａと、情報処理端末２００Ａとがケーブル１５０によって接続されるものとしたが、これに限定されない。眼鏡型表示装置３００Ａと、情報処理端末２００Ａとは、無線通信を行ってもよい。

【0025】

眼鏡型表示装置３００Ａは、カメラ（撮像装置）１１０、マイク（集音装置）１２０、ディスプレイ（表示装置）１３０、操作部材１４０と、を含む。つまり、眼鏡型表示装置３００Ａは、撮像装置と表示装置とを含む。

【0026】

カメラ１１０は、スマートグラス１００Ａを装着した装着者の視線方向の画像データを取得する。マイク１２０は、スマートグラス１００Ａの周辺の音声データを取得する。ディスプレイ１３０は、情報処理端末２００Ａから出力されるテキストデータが表示される。なお、本実施形態のディスプレイ１３０は、光学シースルー型のディスプレイであってよい。操作部材１４０は、物理的なボタン等であってよく、眼鏡型表示装置３００Ａに対する各種の操作が行われる。

【0027】

また、本実施形態では、カメラ１１０とマイク１２０とが別々に設けられるものとしたが、これに限定されない。本実施形態のマイク１２０は、カメラ１１０に内蔵されていてもよい。この場合、カメラ１１０が、画像データと音声データとを含む映像データを取得することになる。

【0028】

ケーブル１５０は、カメラ１１０が取得した画像データと、マイク１２０が取得した音声データと、を情報処理端末２００Ａに送信する。また、ケーブル１５０は、情報処理端末２００Ａから眼鏡型表示装置３００Ａに対して各種の情報を送信する。

【0029】

情報処理端末２００Ａは、情報入出力インターフェイス（Ｉ／Ｆ）２０１、メモリ２０２、操作装置２０３、ストレージ２０４、電源２０５、ＣＰＵ（Central Processing Unit）２０６、ネットワークインターフェイス（Ｉ／Ｆ）２０７を含む。

【0030】

情報入出力インターフェイス（Ｉ／Ｆ）２０１は、情報処理端末２００Ａと眼鏡型表示装置３００Ａとの間で各種データの送受信を行うためのインターフェイスである。メモリ２０２は、音声データや画像データ（動画データ）等の一時的な情報が格納される。操作装置２０３は、スマートグラス１００Ａの装着者によるアプリケーションの実行、電源のオン／オフ等の各種の操作が行われる。操作装置２０３は、例えば、タッチパネル等により実現されてよい。

【0031】

ストレージ２０４は、後述する各種のモデル等が格納される。電源２０５は、スマートグラス１００Ａの有する各装置に電力を供給する。ＣＰＵ２０６は、各種の処理を実行し、スマートグラス１００Ａ全体の動作を制御する。

【0032】

情報処理端末２００Ａは、ＣＰＵ２０６がストレージ２０４等に格納されたプログラムを読み出して実行することで、音声認識処理部２３０の機能を実現する。

【0033】

ネットワークインターフェイス２０７は、通信ネットワークにアクセスするためのインターフェイスである。

【0034】

なお、図３に示すスマートグラス１００Ａは、眼鏡型表示装置３００Ａと情報処理端末２００Ａとを含むものとしたが、これに限定されない。スマートグラス１００Ａにおいて、眼鏡型表示装置３００Ａが、情報処理端末２００Ａの全ての構成を有していてもよい。

【0035】

次に、図４を参照して、スマートグラス１００Ａによる音声認識の概要について説明する。図４は、第一の実施形態の音声認識の概要について説明する第二の図である。

【0036】

本実施形態のスマートグラス１００Ａにおいて、情報処理端末２００Ａは、カメラ１１０から取得した画像データに基づき、注目話者を特定する。そして、情報処理端末２００Ａは、マイク１２０から取得した注目話者の音声データから変換したテキストデータをディスプレイ１３０に表示させる。

【0037】

図４の例では、スマートグラス１００Ａの装着者Ｐは、人物Ａに注目している。また、図４の例では、装着者Ｐの視線方向に人物Ａと人物Ｂが存在する。この場合、スマートグラス１００Ａのカメラ１１０が撮像する画像は、装着者Ｐが注目する人物Ａの画像が中心部分に位置する画像となる。

【0038】

したがって、スマートグラス１００Ａでは、人物Ａを注目話者に特定し、注目話者の音声データのみをテキストデータに変換して、ディスプレイ１３０にテキストデータのみを表示させる。

【0039】

本実施形態では、このように、音声認識システム１００をスマートグラス１００Ａに適用することで、スマートグラス１００Ａの装着者Ｐが注目する人物の方向を向くだけで、装着者Ｐが注目する人物が注目話者に特定される。

【0040】

また、本実施形態では、スマートグラス１００Ａのディスプレイ１３０を光学シースルー型としている。このため、本実施形態では、装着者Ｐの視界を妨げずに、テキストデータ２３を装着者Ｐに視認させることができる。

【0041】

なお、ディスプレイ１３０は、光学シースルー型でなくてもよく、カメラ１１０が取得した画像データが示す画像と、テキストデータ２３とが重畳されて表示されてもよい。

【0042】

また、スマートグラス１００Ａは、例えば、網膜走査型の眼鏡型投影装置であってよい。この場合には、ディスプレイ１３０が不要であり、装着者Ｐの網膜に、光学系により直接テキストデータ２３を投影させればよい。

【0043】

次に、図５を参照して、本実施形態のスマートグラス１００Ａの機能について説明する。図５は、スマートグラスの機能について説明する図である。具体的には、図５は、スマートグラス１００Ａの有する情報処理端末２００Ａの機能を示す。

【0044】

本実施形態の情報処理端末２００Ａは、音声認識処理部２３０を有する。音声認識処理部２３０は、映像入力部２３１、音声入力部２３２、注目話者特定部２４０、口唇特徴量取得部２５０、音響特徴量取得部２６０、人物識別部２７０、マルチモーダル認識部２８０（第一の発話認識部）、音声認識部２９０（第二の発話認識部）、発話内容認識結果出力部２３３を含む。

【0045】

映像入力部２３１は、カメラ１１０が撮像した画像データ（動画データ）を取得する。音声入力部２３２は、マイク１２０により集音された音声データを取得する。このとき、音声入力部２３２は、音声データを、所定の条件でサンプリングしたモノラルの非圧縮データとして取得してもよい。

【0046】

発話内容認識結果出力部２３３は、マルチモーダル認識部２８０による発話内容の認識結果であるテキストデータや、音声認識部２９０による発話内容の認識結果であるテキストデータを、ディスプレイ１３０に表示させる。

【0047】

注目話者特定部２４０は、映像入力部２３１が取得した動画データから、注目話者を特定する。注目話者特定部２４０は、画像変換部２４１、顔領域認識部２４２、顔領域検出モデル２４３、顔位置判定部２４４、口唇領域抽出部２４５、顔特徴点推定モデル２４６、注目話者決定部２４７を有する。

【0048】

画像変換部２４１は、動画データを時系列のフレーム画像に変換する。なお、画像変換部２４１は、処理の高速化のため、ＲＧＢの画像データをグレースケールの画像データに変換してもよいし、画素数を変換してもよい。

【0049】

顔領域認識部２４２は、顔領域検出モデル２４３を用いて、取得した時系列のフレーム画像において、顔画像を含む領域（顔領域）を認識する。顔領域検出モデル２４３は、画像から顔画像を検出するモデルであり、予め大量のデータを使用してニューラルネットワークを学習させたモデルである。なお、ここで検出された顔画像は、注目話者の候補となる人物の顔画像である。

【0050】

顔位置判定部２４４は、カメラ１１０が取得した画像データが示す画像における顔領域の位置を判定し、顔領域の位置を示す情報を取得する。

【0051】

口唇領域抽出部２４５は、顔特徴点推定モデル２４６を用いて、顔画像のうち、口唇部分の画像を含む口唇領域を検出し、顔領域内の顔画像から、口唇領域内の画像を抽出する。

【0052】

顔特徴点推定モデル２４６は、顔画像から、目や鼻、口唇の輪郭の座標を取得し、口唇周辺の座標を検出するモデルである。

【0053】

なお、本実施形態では、口唇領域抽出部２４５は、口唇領域の画像を抽出するものとしたが、これに限定されない。口唇領域抽出部２４５は、例えば、顔画像において、口唇部分の画像が、人物の手などによって隠されていた場合には、目や鼻等の顔のパーツと対応した領域の画像を抽出してもよい。目や鼻等の顔のパーツと対応した領域は、顔特徴点推定モデル２４６によって検出されてよい。

【0054】

注目話者決定部２４７は、画像における人物の顔領域の位置、及び、口唇領域内の画像（動画）が示す口の動きに基づき、注目話者を決定する。注目話者特定部２４０の処理の詳細は後述する。

【0055】

本実施形態の口唇特徴量取得部２５０は、カメラ１１０が取得した画像における、口唇領域内の画像から、口の動きを示す口唇特徴量を取得する。

【0056】

口唇特徴量取得部２５０は、口唇画素数変換部２５１、口唇特徴量算出部２５２、口唇特徴量算出モデル２５３を有する。

【0057】

口唇画素数変換部２５１は、抽出された口唇領域内の画像を、所定の大きさの画像に変換する。言い換えれば、口唇画素数変換部２５１は、カメラ１１０と、撮影された人物との距離によって大きさが異なる口唇領域内の画像を、一律の大きさの画像となるように、拡大、または縮小する。

【0058】

口唇特徴量算出部２５２は、口唇特徴量算出モデル２５３を用いて、口唇特徴量を算出する。具体的には、口唇特徴量算出部２５２は、大きさが変更された時系列の口唇領域内の画像を示す動画データを、口唇特徴量算出モデル２５３に入力し、発話内容の認識を行う際に効果的な口唇特徴量を算出する。唇特徴量とは、口唇領域内の動画データを口唇特徴量算出モデル２５３に入力して、口唇特徴量算出モデル２５３から出力される多次元のベクトルである。

【0059】

音響特徴量取得部２６０は、音声入力部２３２が取得した音声データから、人物による発話が行われている区間である発話区間を検出し、発話区間の音声データの音響特徴量を取得する。

【0060】

音響特徴量取得部２６０は、音声発話区間検出部２６１、音声発話区間検出モデル２６２、音響特徴量算出部２６３を有する。

【0061】

音声発話区間検出部２６１は、音声発話区間検出モデル２６２を用いて、入力された音声データから、発話区間を検出する。

【0062】

音響特徴量算出部２６３は、発話区間として検出された区間の音声波形から、音響特徴量を算出する。音響特徴量は、例えば、メル周波数ケプストラム係数（ＭＦＣＣ）や、対数メルフィルタバンク特徴量（ＦＢＡＮＫ)や対数メルフィルタ等であってよい。

【0063】

人物識別部２７０は、音響特徴量から、発話した人物を識別するための情報を取得する。人物識別部２７０は、話者埋め込み情報算出部２７１、話者埋め込み情報算出モデル２７２、画面外話者推定部２７３を有する。

【0064】

話者埋め込み情報算出部２７１は、話者埋め込み情報算出モデル２７２を用いて、発話者の声質をあらわす話者埋め込み情報（エンべディング）を算出する。話者埋め込み情報とは、発話者を特定するための情報であり、例えば、i-vectorやd-vector、x-vector等の方式によって抽出された一定次元数の特徴量であってよい。

【0065】

画面外話者推定部２７３は、スマートグラス１００Ａの装着者Ｐの顔の向きが変化し、注目話者の画像がカメラ１１０が取得した画像に含まれなくなった場合に、話者埋め込み情報を用いて発話者を推定する。画面外話者推定部２７３の処理の詳細は後述する。

【0066】

マルチモーダル認識部２８０は、口唇特徴量と音響特徴量とを用いて、注目話者の発話内容を認識する。マルチモーダル認識部２８０は、特徴量統合部２８１、マルチモーダル発話内容認識部２８２、マルチモーダル発話内容認識モデル２８３を有する。

【0067】

特徴量統合部２８１は、音響特徴量取得部２６０により取得された音響特徴量と、口唇特徴量取得部２５０により取得された口唇特徴量とを統合し、マルチモーダル特徴量とする。マルチモーダル特徴量とは、複数種類の特徴量を含む特徴量である。より具体的には、マルチモーダル特徴量とは、音響特徴量と口唇特徴量とを含む。

【0068】

マルチモーダル発話内容認識部２８２は、マルチモーダル発話内容認識モデル２８３を用いて、発話内容を認識する。より具体的には、本実施形態のマルチモーダル発話内容認識部２８２は、音声データから抽出された音響特徴量と、動画データから抽出された口唇特徴量とを用いて発話内容の認識を行う。

【0069】

音声認識部２９０は、音声入力部２３２が取得した音声データから、音響特徴量取得部２６０が取得した音響特徴量に基づき、発話内容を認識する。音声認識部２９０は、音声発話内容認識部２９１、音声発話内容認識モデル２９２を有する。

【0070】

音声発話内容認識部２９１は、注目話者とされた人物の口唇特徴量が取得されなかった場合に、音響特徴量を用いた発話内容の認識を行う。具体的には、音声発話内容認識部２９１は、音声発話内容認識モデル２９２を用いて、音声データに基づく発話内容の認識を行い、認識結果を発話内容認識結果出力部２３３に渡す。

【0071】

なお、本実施形態では、口唇領域抽出部２４５により抽出された画像が、口以外の顔のパーツの画像と対応した領域である場合には、口唇特徴量が算出されなかったものとしてもよい。

【0072】

なお、本実施形態において、顔領域検出モデル２４３、顔特徴点推定モデル２４６、音声発話区間検出モデル２６２、話者埋め込み情報算出モデル２７２は、公知技術を用いたモデルであってよい。

【0073】

次に、図６を参照して、本実施形態のスマートグラス１００Ａの動作について説明する。図６は、第一の実施形態のスマートグラスの動作を説明する第一のフローチャートである。

【0074】

図６の処理は、例えば、スマートグラス１００Ａの装着者Ｐにより、注目話者の発話内容の認識処理の開始を指示する操作が行われた場合に、実行される。

【0075】

本実施形態のスマートグラス１００Ａにおいて、情報処理端末２００Ａは、映像入力部２３１と音声入力部２３２とにより、画像データ（動画データ）と音声データとを取得する（ステップＳ６０１）。

【0076】

続いて、情報処理端末２００Ａは、音声発話区間検出部２６１により、発話区間を検出する処理を行う（ステップＳ６０２）。

【0077】

ステップＳ６０２において、発話区間が検出されない場合、情報処理端末２００Ａは、ステップＳ６０１へ戻る。

【0078】

ステップＳ６０２において、発話区間が検出されると、情報処理端末２００Ａは、ステップＳ６０５からステップＳ６０７までの処理を、顔画像が検出された人数分、繰り返す（ステップＳ６０４）。

【0079】

情報処理端末２００Ａは、顔領域認識部２４２により、映像入力部２３１が取得した画像データが示す画像において、顔画像が含まれる顔領域を検出する（ステップＳ６０５）。

【0080】

続いて、情報処理端末２００Ａは、口唇領域抽出部２４５により、顔領域の中から、口唇領域を検出する（ステップＳ６０６）。なお、口唇領域抽出部２４５は、顔領域において、口唇領域が検出されなかった場合には、口以外の顔のパーツ（目や鼻等）の画像と対応した領域を検出すればよい。つまり、口唇領域抽出部２４５は、顔領域から、顔の一部の画像と対応した領域を検出すればよい。

【0081】

また、本実施形態において、口唇領域を検出することとは、顔領域内の顔画像から、口唇領域内の口唇画像を抽出することと同義であってよい。

【0082】

続いて、情報処理端末２００Ａは、注目話者決定部２４７により、注目話者を選定する（ステップＳ６０７）。ステップＳ６０７の処理の詳細は後述する。

【0083】

情報処理端末２００Ａは、ステップＳ６０５からステップＳ６０７までの処理を人数分繰り返す（ステップＳ６０８）。本実施形態では、この処理を繰り返すことで、注目話者が決定される。

【0084】

続いて、情報処理端末２００Ａは、音響特徴量取得部２６０により、注目話者に特定された人物の音声データから、音響特徴量を算出する（ステップＳ６０９）。

【0085】

続いて、情報処理端末２００Ａは、話者埋め込み情報算出部２７１により、注目話者の話者埋め込み情報を算出する（ステップＳ６１０）。なお、話者埋め込み情報算出部２７１は、注目話者が決定された後は、注目話者の話者埋め込み情報を保持していてもよい。また、話者埋め込み情報算出部２７１は、注目話者が注目話者でなくなったときに、保持していた話者埋め込み情報を消去してもよい。

【0086】

続いて、情報処理端末２００Ａは、口唇特徴量取得部２５０により、口唇領域が検出されているか否かを判定する（ステップＳ６１１）。言い換えれば、情報処理端末２００Ａは、口唇領域抽出部２４５により抽出された画像が、口唇領域内の画像であるか否かを判定する。

【0087】

ステップＳ６１１において、口唇領域が検出されていない場合、情報処理端末２００Ａは、音声認識部２９０により、音声データによる発話内容の認識を行い（ステップＳ６１２）、後述するステップＳ６１５へ進む。

【0088】

ステップＳ６１１において、口唇領域が検出された場合、情報処理端末２００Ａは、口唇特徴量取得部２５０により、口唇領域内の画像から口唇特徴量を算出する（ステップＳ６１３）。

【0089】

続いて、情報処理端末２００Ａは、マルチモーダル認識部２８０により、ステップＳ６０９で算出した音響特徴量と、ステップＳ６１３で算出した口唇特徴量とを用いて、発話内容の認識を行う（ステップＳ６１４）。

【0090】

続いて、情報処理端末２００Ａは、発話内容認識結果出力部２３３により、認識結果のテキストデータを出力し（ステップＳ６１５）、処理を終了する。言い換えれば、発話内容認識結果出力部２３３は、認識結果のテキストデータをディスプレイ１３０に表示させて、処理を終了する。

【0091】

このように、本実施形態では、注目話者とされた人物の音声データのみを、発話内容の認識を行う音声データとする。

【0092】

次に、図７を参照して、本実施形態の注目話者決定部２４７の処理について説明する。は、図７は、第一の実施形態のスマートグラスの動作を説明する第二のフローチャートである。図７では、図６のステップＳ６０７の処理の詳細を示している。

【0093】

本実施形態の情報処理端末２００Ａにおいて、注目話者決定部２４７は、ステップＳ６０５において、複数の顔領域が検出されたか否かを判定する（ステップＳ７０１）。

【0094】

ステップＳ７０１において、複数の顔領域が検出されない場合、つまり、検出された顔領域が１つであった場合、注目話者決定部２４７は、後述するステップＳ７０４へ進む。

【0095】

ステップＳ７０１において、複数の領域が検出された場合、注目話者決定部２４７は、１の顔画像における口唇領域の中心のｘ座標と、映像入力部２３１が取得した画像データが示す画像の中心点のｘ座標との間の距離を算出する（ステップＳ７０２）。

【0096】

なお、口唇領域抽出部２４５により、口唇領域の代わりに、顔の一部の画像と対応する領域が抽出されている場合は、この領域の中心点のｘ座標を、口唇領域の中心のｘ座標の代わりに用いれば良い。

【0097】

続いて、注目話者決定部２４７は、算出した距離が、複数の顔領域について算出した距離のうち、最小であるか否かを判定する（ステップＳ７０３）。言い換えれば、注目話者決定部２４７は、算出した距離が前回算出した距離よりも小さいか否かを判定している。つまり、ここでは、カメラ１１０が撮像した画像の中心に最も近い人物を検出している。

【0098】

ステップＳ７０３において、距離が最小でない場合、注目話者決定部２４７は、この顔領域と対応する人物は、注目話者に該当しないものとし（ステップＳ７０５）、処理を終了する。

【0099】

ステップＳ７０３において、距離が最小であった場合、注目話者決定部２４７は、口唇領域抽出部２４５により抽出された領域内の画像から、口唇が動いているか否かを判定する（ステップＳ７０４）。つまり、ここでは、注目話者決定部２４７は、顔領域と対応する人物が、発話をしているか否かを判定している。

【0100】

ステップＳ７０４において、口唇が動いていない場合、注目話者決定部２４７は、ステップＳ７０５へ進む。口唇が動いていない場合とは、発話していないことを示す。

【0101】

ステップＳ７０４において、口唇が動いている場合、注目話者決定部２４７は、この顔領域を注目話者の顔領域に選定し（ステップＳ７０６）、処理を終了する。

【0102】

以下に、図８を参照して、注目話者決定部２４７により注目話者の決定について、さらに説明する。図８は、第一の実施形態における注目話者の決定について説明する図である。

【0103】

図８に示す画像８１は、映像入力部２３１が取得した画像データが示す画像である。また、画像８１における点ｏは、画像８１の中心点であり、中心点の座標は、（ｘ１，ｙ１）である。なお、本実施形態の中心点ｏの座標は、例えば、画像８１の左上の頂点を原点としたときの座標であってよい。

【0104】

図８では、図６のステップＳ６０５において、人物Ａの顔領域と、人物Ｂの顔領域とが検出された場合を示している。この場合、情報処理端末２００Ａは、図６のステップＳ６０６において、各顔領域から口唇領域を検出する。図８の例では、人物Ａの顔領域から口唇領域Ｒａが抽出され、人物Ｂの顔領域から口唇領域Ｒｂが抽出されている。

【0105】

ここで、注目話者決定部２４７は、例えば、始めに人物Ｂの顔領域を選択し、口唇領域Ｒｂの中心点のｘ座標と、中心点ｏのｘ座標との距離Ｌｂを算出する。このとき、距離Ｌｂは、最小であるため、人物Ｂの口唇が動いている場合には、人物Ｂを注目話者に選定する。

【0106】

次に、注目話者決定部２４７は、人物Ａの顔領域を選択し、口唇領域Ｒａの中心点のｘ座標と、中心点ｏのｘ座標との距離Ｌａを算出する。このとき、距離Ｌａは、距離Ｌｂよりも小さい。したがって、注目話者決定部２４７は、人物Ｂを注目話者から除外し、人物Ａの口唇が動いている場合には、人物Ａを注目話者に決定する。

【0107】

このように、本実施形態では、カメラ１１０が撮像した画像の中心と最も近い位置に顔画像が検出された人物を、注目話者に特定する。カメラ１１０が撮像した画像の中心とは、言い換えれば、スマートグラス１００Ａの装着者の視線方向である。つまり、本実施形態では、スマートグラス１００Ａの装着者の視線方向に最も近い人物を、注目話者に決定する。そして、本実施形態では、注目話者による発話のみをテキストデータに変換する。

【0108】

したがって、本実施形態によれば、カメラ１１０による撮像された画像に複数の人物が含まれている場合であっても、スマートグラス１００Ａの利用者が注目している人物を特定し、特定された人物の発話内容のみをディスプレイ１３０に表示させることができる。言い換えれば、音声認識システム１００の利用者が注目した特定の発話者の発話内容を、利用者の視界を妨げることなく、適切に表示させることができる。

【0109】

また、本実施形態では、注目話者の発話内容のみをディスプレイ１３０に表示させるため、ディスプレイ１３０に表示される情報の情報量が過剰になることを抑制できる。

【0110】

また、本実施形態では、注目話者の口唇特徴量と音響特徴量との両方を用いて発話内容の認識を行うため、発話内容の認識の精度を向上させることができる。

【0111】

さらに、本実施形態では、口唇領域が抽出されない場合には、顔の一部の画像と対応する領域を代用するため、顔領域から口唇領域が抽出されない場合であっても、注目話者を特定することができる。

【0112】

次に、図９を参照して、注目話者が決定された後のスマートグラス１００Ａの動作について説明する。図９は、第一の実施形態のスマートグラスの動作を説明する第三のフローチャートである。図９に示す処理は、図６の処理により、注目話者が決定された後に、定期的に実行される処理である。

【0113】

本実施形態のスマートグラス１００Ａにおいて、情報処理端末２００Ａは、音声発話区間検出部２６１により、発話区間を検出する処理を行う（ステップＳ９０１）。続いて、情報処理端末２００Ａは、音響特徴量算出部２６３により、発話区間において取得された音声データから、音響特徴量を算出する（ステップＳ９０２）。

【0114】

続いて、情報処理端末２００Ａは、話者埋め込み情報算出部２７１により、発話区間に発話した人物の話者埋め込み情報を算出する（ステップＳ９０３）。

【0115】

続いて、情報処理端末２００Ａは、画面外話者推定部２７３により、現在の注目話者の画像が、映像入力部２３１により取得された画像データが示す画像に含まれるか否かを判定する（ステップＳ９０４）。つまり、ここでは、注目話者が、装着者の視線方向に留まっているか否かを判定している。

【0116】

なお、このとき、画面外話者推定部２７３は、例えば、映像入力部２３１により取得された画像データが示す画像に対して顔認識処理を行い、注目話者の顔画像が含まれるか否かを判定してもよい。

【0117】

ステップＳ９０４において、注目話者の画像が含まれない場合、情報処理端末２００Ａは、後述するステップＳ９０９へ進む。

【0118】

注目話者の画像が含まれない場合とは、注目話者が移動したり、装着者が頭の向きを変えることにより、注目話者がスマートグラス１００Ａの装着者の視界から消える、又は、視界の隅へ移動することを示す。

【0119】

ステップＳ９０４において、注目話者の画像が含まれる場合、情報処理端末２００Ａは、口唇領域抽出部２４５により、注目話者の口唇領域が検出されたか否かを判定する（ステップＳ９０５）。ステップＳ９０５において、口唇領域が検出されない場合、情報処理端末２００Ａは、後述するステップＳ９１１へ進む。

【0120】

ステップＳ９０５において、口唇領域が検出された場合、情報処理端末２００Ａは、口唇特徴量取得部２５０により、口唇領域から抽出された画像から、口唇特徴量を算出し（ステップＳ９０６）、ステップＳ９０７へ進む。

【0121】

図９のステップＳ９０７とステップＳ９０８の処理は、図６のステップＳ６１４とステップＳ６１５の処理と同様であるから、説明を省略する。

【0122】

ステップＳ９０４において、注目話者が画像に含まれない場合、情報処理端末２００Ａは、人物識別部２７０の画面外話者推定部２７３により、注目話者が画像に含まれなくなってから、１０秒未満であるか否かを判定する（ステップＳ９０９）。なお、１０秒は、予め設定される設定時間の一例であり、これに限定されるものではない。

【0123】

ステップＳ９０９において、１０秒未満である場合、画面外話者推定部２７３は、ステップＳ９０３で算出した話者埋め込み情報が、注目話者の話者埋め込み情報と一致するか否かを判定する（ステップＳ９１０）。注目話者の話者埋め込み情報とは、図６のステップＳ６１０で算出される話者埋め込み情報である。

【0124】

ここで、画面外話者推定部２７３は、例えば、２つの話者埋め込み情報のコサイン類似度等を算出し、算出した値が所定の閾値以上である場合に、両者が一致するものとしてもよい。

【0125】

ステップＳ９１０において、両者が一致している場合、情報処理端末２００Ａは、音声認識部２９０により、ステップＳ９０２で算出された音響特徴量を用いた音声発話認識を行い（ステップＳ９１１）、ステップＳ９０８へ進む。

【0126】

ステップＳ９１０において、両者が一致していない場合、情報処理端末２００Ａは、後述するステップＳ９１２に進む。

【0127】

ステップＳ９０９において、１０秒未満でない場合、つまり、注目話者がスマートグラス１００Ａの装着者の視線方向から外れてから１０秒以上が経過した場合、情報処理端末２００Ａは、注目話者の決定を解除し（ステップＳ９１２）、処理を終了する。

【0128】

言い換えれば、本実施形態では、映像入力部２３１により取得された画像データが示す画像から、注目話者の顔画像が検出されない状態が設定時間以上継続した場合に、注目話者の決定を解除する。

【0129】

注目話者の決定を解除することとは、言い換えれば、注目話者が決定された状態から、注目話者が選択されていない初期状態に戻ることを示す。

【0130】

本実施形態では、このように、注目話者がスマートグラス１００Ａの装着者の視線方向から一時的に外れた場合であっても、音声から注目話者の発話であるか否かを判定し、発話内容の認識結果をディスプレイ１３０に表示させることができる。

【0131】

以下に、図１０乃至図１７を参照し、スマートグラス１００Ａの動作の事例について説明する。

【0132】

図１０は、スマートグラスの動作の事例を説明する第一の図である。図１０では、人物Ａがスマートグラス１００Ａの装着者Ｐの視線方向に位置しており、カメラ１１０が撮像した画像において人物Ａのみの顔領域が検出される状態を示す。

【0133】

この場合、スマートグラス１００Ａは、カメラ１１０が撮像した画像から１つの顔領域を検出し、この顔領域と対応する人物Ａを注目話者に特定する。そして、スマートグラス１００Ａは、口唇領域２２を検出し、音響特徴量と口唇特徴量とを用いたマルチモーダル発話認識処理を行い、認識結果のテキストデータ２３をディスプレイ１３０に表示させる。

【0134】

図１１は、スマートグラスの動作の事例を説明する第二の図である。図１１では、注目話者とされた人物Ａがスマートグラス１００Ａの装着者Ｐの視線方向から外れてから、所定の設定時間内（例えば１０秒）である状態を示す。

【0135】

この場合、スマートグラス１００Ａは、人物Ａの音声データのみで、人物Ａを注目話者と判定し、音声データから算出した音響特徴量を用いた音声認識処理を行い、認識結果のテキストデータ２３ａをディスプレイ１３０に表示させる。

【0136】

図１２は、スマートグラスの動作の事例を説明する第三の図である。図１２では、注目話者とされた人物Ａがスマートグラス１００Ａの装着者Ｐの視線方向から外れてから所定の設定時間以上が経過した状態を示す。

【0137】

この場合、スマートグラス１００Ａは、人物Ａに対する注目話者の決定を解除し、注目話者が決定されていない初期状態に戻る。したがって、ディスプレイ１３０には何も表示されない。

【0138】

図１３は、スマートグラスの動作の事例を説明する第四の図である。図１３では、人物Ａがスマートグラス１００Ａの装着者Ｐの視線方向に位置しており、カメラ１１０が撮像した画像において人物Ａのみの顔領域が検出され、且つ、人物Ａの口唇領域が検出されない状態を示す。

【0139】

この場合、スマートグラス１００Ａは、カメラ１１０が撮像した画像から１つの顔領域を検出し、この顔領域と対応する人物Ａを注目話者に特定する。また、スマートグラス１００Ａは、人物Ａの口唇領域が検出されないため、音声データから算出した音響特徴量を用いた音声認識処理を行い、認識結果のテキストデータ２３ａをディスプレイ１３０に表示させる。

【0140】

図１４は、スマートグラスの動作の事例を説明する第五の図である。図１４では、カメラ１１０が撮像した画像において人物Ａと人物Ｂの顔領域が検出された状態を示す。

【0141】

この場合、スマートグラス１００Ａは、人物Ａの口唇領域の中心点のｘ座標と、カメラ１１０が撮像した画像の中心点のｘ座標との距離と、人物Ｂの口唇領域の中心点のｘ座標と、カメラ１１０が撮像した画像の中心点のｘ座標との距離とを算出する。

【0142】

次に、スマートグラス１００Ａは、距離が小さい方の人物を注目話者に決定する。図１４では、人物Ａを注目話者に決定する。そして、スマートグラス１００Ａは、人物Ａの口唇領域２２を検出し、音響特徴量と口唇特徴量とを用いたマルチモーダル発話認識処理を行い、認識結果のテキストデータ２３をディスプレイ１３０に表示させる。

【0143】

図１５は、スマートグラスの動作の事例を説明する第六の図である。図１５では、カメラ１１０が撮像した画像において人物Ａと人物Ｂのうち、カメラ１１０が撮像した画像の中心点に近い人物が、装着者Ｐの頭の動き等により、人物Ａから人物Ｂに変わった場合を示す。

【0144】

この場合、スマートグラス１００Ａは、人物Ｂの口唇領域２２Ｂを検出し、音響特徴量と口唇特徴量とを用いたマルチモーダル発話認識処理を行い、認識結果のテキストデータ２３Ｂをディスプレイ１３０に表示させる。

【0145】

図１６は、スマートグラスの動作の事例を説明する第七の図である。図１６では、カメラ１１０が撮像した画像において人物Ａと人物Ｂのうち、カメラ１１０が撮像した画像の中心点に近い人物Ａの口元が隠されている状態を示す。

【0146】

この場合、スマートグラス１００Ａは、人物Ａの口唇領域の中心点のｘ座標の代わりに、人物Ａの顔画像の一部の領域の中心点のｘ座標を求め、このｘ座標と、カメラ１１０が撮像した画像の中心点のｘ座標との距離を算出する。次に、スマートグラス１００Ａは、この距離に基づき、人物Ａを注目話者に決定する。

【0147】

そして、スマートグラス１００Ａは、人物Ａの音声データから算出した音響特徴量を用いた音声認識処理を行い、認識結果のテキストデータ２３ａをディスプレイ１３０に表示させる。

【0148】

このように、本実施形態では、スマートグラス１００Ａの装着者の視線方向に複数の人物が存在する場合や、装着者が注目している人物の口元が隠れている場合等であっても、注目話者の発話内容を示すテキストデータをディスプレイ１３０に表示させることができる。

【0149】

次に、図１７を参照して、本実施形態のスマートグラス１００Ａの有する発話内容の認識について説明する。図１７は、第一の実施形態の発話内容の認識について説明する図である。

【0150】

本実施形態のスマートグラス１００Ａの音声認識処理部２３０は、注目話者として特定された人物の口唇領域内から抽出された動画を口唇特徴量算出部２５２に入力し、口唇特徴量１７１を取得する。また、本実施形態では、注目話者として特定された人物の音声波形を音響特徴量算出部２６３に入力し、音響特徴量１７２を取得する。

【0151】

そして、音声認識処理部２３０は、特徴量統合部２８１において、口唇特徴量１７１と、音響特徴量１７２とを結合させ、マルチモーダル特徴量１７３を得る。

【0152】

次に、音声認識処理部２３０は、マルチモーダル特徴量１７３をマルチモーダル発話内容認識部２８２に入力し、マルチモーダル発話内容認識モデル２８３を用いて、発話内容を示すテキストデータを生成し、テキストデータを発話内容認識結果出力部２３３に対して出力する。

【0153】

また、本実施形態では、口唇が隠れていたり、カメラ１１０が撮像した画像に注目話者の画像が含まれず、口唇領域内の画像を利用できない場合、音響特徴量算出部２６３で抽出した音響特徴量１７２を音声発話内容認識部２９１に入力する。音声発話内容認識部２９１は、音声発話内容認識モデル２９２を用いて、発話内容を示すテキストデータを生成し、テキストデータを発話内容認識結果出力部２３３に対して出力する。

【0154】

このように、本実施形態では、注目話者の口唇領域の検出の可否に応じて、発話内容の認識処理の方式を切り換えるため、音声認識の精度を向上させることができる。

【0155】

また、本実施形態において、口唇特徴量算出モデル２５３と、マルチモーダル発話内容認識モデル２８３と、音声発話内容認識モデル２９２とは、口唇領域の動画データと、音声データと、正解となるテキストデータと、を学習データとして、ニューラルネットワークを学習させた学習済みモデルである。

【0156】

また、本実施形態では、発話区間毎に、音声データを取得して発話内容の認識を行うものとしたが、これに限定されない。本実施形態では、例えば、同時に複数の人物の音声データが取得された場合には、画像データから検出された人物の顔画像に基づき、注目話者の音声データのみを選択するようにしてもよい。

【0157】

（第二の実施形態）
以下に、図面を参照して、第二の実施形態について説明する。第二の実施形態は、第一の実施形態のスマートグラス１００Ａを適用した翻訳システムである。

【0158】

図１８は、第二の実施形態の翻訳システムのシステム構成の一例を示す図である。本実施形態の翻訳システム５００は、スマートグラス１００Ａと、自動翻訳装置７００とを含む。スマートグラス１００Ａと自動翻訳装置７００とは、例えば、ネットワーク等を介して接続される。

【0159】

本実施形態の自動翻訳装置７００は、第一の言語のテキストデータと、言語の選択とを受け付けると、第一の言語のテキストデータを、選択された言語（第二の言語）に翻訳し、第二の言語のテキストデータを出力する。

【0160】

図１８に示す翻訳システム５００では、スマートグラス１００Ａにおいて、画像データと音声データとに基づき、注目話者の発話内容を認識した結果のテキストデータを、第一の言語のテキストデータとして、自動翻訳装置７００に送信する。このとき、スマートグラス１００Ａは、予め第二の言語の選択を受け付けていてもよい。その場合、スマートグラス１００Ａは、第一の言語のテキストデータと共に第二の言語を示す情報を自動翻訳装置７００へ送信する。

【0161】

自動翻訳装置７００は、第一の言語のテキストデータと第二の言語を示す情報とを受け付けて、第一の言語のテキストデータを第二の言語のテキストデータに変換し、スマートグラス１００Ａに送信する。

【0162】

スマートグラス１００Ａは、自動翻訳装置７００から受信した第二の言語のテキストデータをディスプレイ１３０に表示させる。

【0163】

本実施形態では、このように、スマートグラス１００Ａと自動翻訳装置７００とを連携させることで、スマートグラス１００Ａの装着者に対し、注目話者が使用する第一の言語とは異なる第二の言語で、注目話者の発話内容を表示させることができる。

【0164】

（第三の実施形態）
以下に、図面を参照して、第三の実施形態について説明する。第三の実施形態は、第一の実施形態のスマートグラス１００Ａを適用した議事録作成システムである。

【0165】

図１９は、第三の実施形態の発話内容記録システムのシステム構成の一例を示す図である。本実施形態の発話内容記録システム６００は、スマートグラス１００Ａと、発話内容記録装置７００Ａとを含む。スマートグラス１００Ａと発話内容記録装置７００Ａとは、例えば、ネットワーク等を介して接続される。

【0166】

本実施形態では、スマートグラス１００Ａは、例えば、教育機関の講義等において、教師の発話内容をテキストデータとして保持する用途等に用いられる。この場合、スマートグラス１００Ａの装着者は、講義を行っている教師Ｔに対して視線方向を向けるだけで、教師の発話内容をテキストデータとして発話内容記録装置７００Ａの有する記憶部に格納することができる。

【0167】

なお、本実施形態では、例えば、講堂等のようなスペースに設置された壇上に、複数の人物が存在する場合等に、特定の人物の発話内容をテキストデータとして保存する用途にも利用することができる。

【0168】

本実施形態では、このように、スマートグラス１００Ａを発話内容記録装置７００Ａと連携させることで、例えば、複数の人物がランダムな順番に発話するような場面であっても、注目話者の発話内容のみをテキストデータとして保存することができる。

【0169】

なお、スマートグラス１００Ａは、上述した実施形態以外にも適用することができる。例えば、スマートグラス１００Ａは、装着者Ｐの聴覚に障害がある場合等に有用である。

【0170】

上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC（Application Specific Integrated Circuit）、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。

【0171】

また、実施形態に記載された装置群は、本明細書に開示された実施形態を実施するための複数のコンピューティング環境のうちの１つを示すものにすぎない。

【0172】

ある実施形態では、情報処理装置２００（情報処理端末２００Ａ）は、サーバクラスタといった複数のコンピューティングデバイスを含む。複数のコンピューティングデバイスは、ネットワークや共有メモリなどを含む任意のタイプの通信リンクを介して互いに通信するように構成されており、本明細書に開示された処理を実施する。同様に、情報処理装置２００は、互いに通信するように構成された複数のコンピューティングデバイスを含むことができる。

【0173】

さらに、情報処理装置２００は、開示された処理ステップを様々な組み合わせで共有するように構成できる。例えば、情報処理装置２００によって実行されるプロセスは、他の情報処理装置によって実行され得る。同様に、情報処理装置２００の機能は、他の情報処理装置によって実行することができる。また、情報処理装置と他の情報処理装置の各要素は、１つの情報処理装置にまとめられていても良いし、複数の装置に分けられていても良い。

【0174】

以上、各実施形態に基づき本発明の説明を行ってきたが、上記実施形態に示した要件に本発明が限定されるものではない。これらの点に関しては、本発明の主旨をそこなわない範囲で変更することができ、その応用形態に応じて適切に定めることができる。

【符号の説明】

【0175】

１００ 音声認識システム
１００Ａ スマートグラス
１１０ カメラ
１２０ マイク
１３０ ディスプレイ
２００ 情報処理装置
２００Ａ 情報処理端末
２３０ 音声認識処理部
２３１ 映像入力部
２３２ 音声入力部
２３３ 発話内容認識結果出力部
２４０ 注目話者特定部
２５０ 口唇特徴量取得部
２６０ 音響特徴量取得部
２７０ 人物識別部
２８０ マルチモーダル認識部
２９０ 音声認識部

【先行技術文献】

【特許文献】

【0176】

【特許文献1】特開２０２１－０２６０５０号公報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】