(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-01
(45)【発行日】2023-12-11
(54)【発明の名称】音声認識装置、方法およびプログラム
(51)【国際特許分類】
G10L 15/065 20130101AFI20231204BHJP
G10L 15/32 20130101ALI20231204BHJP
【ＦＩ】
G10L15/065 A
G10L15/32 200Z
【請求項の数】
20
(21)【出願番号】P 2020150802
(22)【出願日】2020-09-08
(65)【公開番号】P2022045228
(43)【公開日】2022-03-18
【審査請求日】2022-08-26
(73)【特許権者】
【識別番号】000003078
【氏名又は名称】株式会社東芝
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(72)【発明者】
【氏名】早川 大智
(72)【発明者】
【氏名】籠嶋 岳彦
(72)【発明者】
【氏名】岩田 憲治
【審査官】中村 天真
(56)【参考文献】
【文献】特開２００５－３０１０９７（ＪＰ，Ａ）
【文献】国際公開第２０１９／２１６４１４（ＷＯ，Ａ１）
【文献】米国特許出願公開第２０１２／０１３０７１６（ＵＳ，Ａ１）
【文献】特開２０００－１８１４８２（ＪＰ，Ａ）
【文献】滝口哲也他，"雑音と残響のある環境下でのＨＭＭ合成によるハンズフリー音声認識法"，電子情報通信学会論文誌（Ｊ７９－Ｄ－ＩＩ）第１２号，1996年12月25日，ｐｐ．２０４７―２０５３
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ１０Ｌ １５／００－１５／３４
ＩＥＥＥ Ｘｐｌｏｒｅ
(57)【特許請求の範囲】
【請求項1】
センサ情報に基づいて、前記センサ情報を取得した環境に関する環境情報を生成する環境情報生成部と、前記環境情報および汎用音声データに基づいて、ベース音響モデルを前記環境に適応させた適応済み音響モデルを生成する適応部と、
前記環境下での音声を入力音声データとして取得する取得部と、
前記適応済み音響モデルを用いて前記入力音声データに音声認識処理を行う音声認識部と
を具備し、
前記適応済み音響モデルの生成に関する所定の基準を満たさない場合、
前記音声認識部は、前記ベース音響モデルを用いて前記入力音声データに音声認識処理を行う、音声認識装置。
【請求項2】
センサ情報に基づいて、前記センサ情報を取得した環境に関する環境情報を生成する環境情報生成部と、前記環境情報および汎用音声データに基づいて、ベース音響モデルを前記環境に適応させた適応済み音響モデルを生成する適応部と、
前記環境下での音声を入力音声データとして取得する取得部と、
前記適応済み音響モデルを用いて前記入力音声データに音声認識処理を行う音声認識部と
を具備し、
前記音声認識部は、
前記ベース音響モデルを用いて前記入力音声データに音声認識処理を行うことによって第１の音声認識結果を生成し、
前記第１の音声認識結果に基づいて、前記第１の音声認識結果の第１の信頼度を計算し、
前記適応済み音響モデルを用いて前記入力音声データに音声認識処理を行うことによって第２の音声認識結果を生成し、
前記第２の音声認識結果に基づいて、前記第２の音声認識結果の第２の信頼度を計算し、
前記第１の信頼度と前記第２の信頼度とに基づいて、前記第１の音声認識結果または前記第２の音声認識結果を出力する、音声認識装置。
【請求項3】
前記適応部は、前記環境情報および前記汎用音声データに基づいて、前記環境下での音声を擬似した疑似入力音声データを生成し、
前記疑似入力音声データを用いて前記適応済み音響モデルを生成する、
請求項１または請求項２に記載の音声認識装置。
【請求項4】
前記適応部は、前記環境情報に基づいて、前記音声の発生源と、前記音声を集音する集音デバイスとの間のインパルス応答を疑似した疑似インパルス応答を生成し、
前記汎用音声データと前記疑似インパルス応答とに基づいて前記疑似入力音声データを生成する、
請求項３に記載の音声認識装置。
【請求項5】
前記環境情報は、前記インパルス応答を含み、前記適応部は、前記インパルス応答に所定の演算を行うことで前記疑似インパルス応答を生成する、
請求項４に記載の音声認識装置。
【請求項6】
前記所定の演算は、前記インパルス応答の波形の時間方向への拡大、前記波形の時間方向への縮小、および前記波形のピーク値の変更の少なくとも一つである、請求項５に記載の音声認識装置。
【請求項7】
前記環境情報は、前記環境における空間の広さの情報を含み、前記適応部は、
前記入力音声データに基づいて前記空間の残響時間を算出し、
前記空間の広さの情報と前記残響時間とに基づいて、前記疑似インパルス応答を生成する、
請求項４から請求項６までのいずれか一項に記載の音声認識装置。
【請求項8】
前記適応部は、前記汎用音声データに対して、前記疑似インパルス応答を畳み込み演算することによって前記疑似入力音声データを生成する、請求項４から請求項７までのいずれか一項に記載の音声認識装置。
【請求項9】
前記センサ情報は、前記環境下に設置された集音デバイスにより取得された音響データを含む、請求項１から請求項８までのいずれか一項に記載の音声認識装置。
【請求項10】
前記入力音声データは、前記集音デバイスによって取得される、請求項９に記載の音声認識装置。
【請求項11】
前記センサ情報は、前記環境下に設置された撮像デバイスにより取得された画像データおよび点群データの少なくともどちらかを含む、請求項１から請求項１０までのいずれか一項に記載の音声認識装置。
【請求項12】
前記適応部は、前記ベース音響モデルのパラメータを最適化することによって前記適応済み音響モデルを生成する、請求項１から請求項１１までのいずれか一項に記載の音声認識装置。
【請求項13】
前記汎用音声データは、前記ベース音響モデルの学習用データに含まれる音声データである、請求項１２に記載の音声認識装置。
【請求項14】
前記所定の基準は、前記ベース音響モデルを前記環境に適応させるためにかかる時間である、請求項１と、請求項１を直接的あるいは間接的に引用する請求項３から請求項１３までとのうちのいずれか一項に記載の音声認識装置。
【請求項15】
前記音声認識部は、前記第１の信頼度と前記第２の信頼度とのうち、信頼度が高い方に対応する音声認識結果を出力する、請求項２と、請求項２を直接的あるいは間接的に引用する請求項３から請求項１３までとのうちのいずれか一項に記載の音声認識装置。
【請求項16】
前記音声認識部は、前記第１の信頼度と前記第２の信頼度との比率が所定の比率を満たした場合、信頼度が高い方に対応する音声認識結果を出力する、請求項２と、請求項２を直接的あるいは間接的に引用する請求項３から請求項１３までと、請求項１５とのうちのいずれか一項に記載の音声認識装置。
【請求項17】
センサ情報に基づいて、前記センサ情報を取得した環境に関する環境情報を生成する第１の工程と、前記環境情報および汎用音声データに基づいて、ベース音響モデルを前記環境に適応させた適応済み音響モデルを生成する第２の工程と、
前記環境下での音声を入力音声データとして取得する第３の工程と、
前記適応済み音響モデルを用いて前記入力音声データに音声認識処理を行う第４の工程と
を具備し、
前記適応済み音響モデルの生成に関する所定の基準を満たさない場合、
前記第４の工程は、前記ベース音響モデルを用いて前記入力音声データに音声認識処理を行う、音声認識方法。
【請求項18】
センサ情報に基づいて、前記センサ情報を取得した環境に関する環境情報を生成する第１の工程と、前記環境情報および汎用音声データに基づいて、ベース音響モデルを前記環境に適応させた適応済み音響モデルを生成する第２の工程と、
前記環境下での音声を入力音声データとして取得する第３の工程と、
前記適応済み音響モデルを用いて前記入力音声データに音声認識処理を行う第４の工程と
を具備し、
前記第４の工程は、
前記ベース音響モデルを用いて前記入力音声データに音声認識処理を行うことによって第１の音声認識結果を生成し、
前記第１の音声認識結果に基づいて、前記第１の音声認識結果の第１の信頼度を計算し、
前記適応済み音響モデルを用いて前記入力音声データに音声認識処理を行うことによって第２の音声認識結果を生成し、
前記第２の音声認識結果に基づいて、前記第２の音声認識結果の第２の信頼度を計算し、
前記第１の信頼度と前記第２の信頼度とに基づいて、前記第１の音声認識結果または前記第２の音声認識結果を出力する、音声認識方法。
【請求項19】
コンピュータを、センサ情報に基づいて、前記センサ情報を取得した環境に関する環境情報を生成する第１の手段と、
前記環境情報および汎用音声データに基づいて、ベース音響モデルを前記環境に適応させた適応済み音響モデルを生成する第２の手段と、
前記環境下での音声を入力音声データとして取得する第３の手段と、
前記適応済み音響モデルを用いて前記入力音声データに音声認識処理を行う第４の手段
として機能させ、
前記適応済み音響モデルの生成に関する所定の基準を満たさない場合、
前記第４の手段は、前記ベース音響モデルを用いて前記入力音声データに音声認識処理を行う、プログラム。
【請求項20】
コンピュータを、センサ情報に基づいて、前記センサ情報を取得した環境に関する環境情報を生成する第１の手段と、
前記環境情報および汎用音声データに基づいて、ベース音響モデルを前記環境に適応させた適応済み音響モデルを生成する第２の手段と、
前記環境下での音声を入力音声データとして取得する第３の手段と、
前記適応済み音響モデルを用いて前記入力音声データに音声認識処理を行う第４の手段
として機能させ、
前記第４の手段は、
前記ベース音響モデルを用いて前記入力音声データに音声認識処理を行うことによって第１の音声認識結果を生成し、
前記第１の音声認識結果に基づいて、前記第１の音声認識結果の第１の信頼度を計算し、
前記適応済み音響モデルを用いて前記入力音声データに音声認識処理を行うことによって第２の音声認識結果を生成し、
前記第２の音声認識結果に基づいて、前記第２の音声認識結果の第２の信頼度を計算し、
前記第１の信頼度と前記第２の信頼度とに基づいて、前記第１の音声認識結果または前記第２の音声認識結果を出力する、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、音声認識装置、方法およびプログラムに関する。
【背景技術】
【0002】
従来、大量の汎用音声データによってあらかじめ学習されたベース音響モデルを用いて、マイクで観測された認識対象の音声データ（対象音声データ）を音声認識する技術がある。上記対象音声データの集音環境は、雑音の種類や大きさ、残響の度合いが多様である。そのため、汎用音声データと対象音声データとの集音環境が異なることに起因する、音声認識性能の低下が問題となることがあった。
【0003】
上記問題を解決する手法の一つに、音響モデルを適応する手法がある。従来の音響モデルの適応では、対象音声データの集音環境で収録された音声データを新たに用意し、用意された音声データを用いてベース音響モデルを再学習し、適応済み音響モデルを得る。これにより、音声認識性能の低下を抑制することが可能である。しかし、音響モデルの適応の効果を得るためには、集音環境で収録された音声データを大量に用意する必要があり、時間コストが生じる。
【0004】
上記問題を解決する別の手法に、汎用音声データに基づいて疑似的に残響と雑音を含んだ音声を生成し、生成された音声データを音響モデルの学習用データに加えることで、音声認識性能の低下を抑制させる手法がある。例えば、部屋の環境情報（例えば、部屋の大きさ、残響時間、音声源と雑音源の位置、およびマイクの位置など）をランダムに設定し、音声源からの汎用音声データと雑音源からの雑音データを残響のある部屋で収録する状況をルームシミュレータで再現して、疑似対象音声データを生成することができる。しかし、上記別の手法では、疑似対象音声データを生成する際の部屋の環境情報をランダムに設定しているため、疑似対象音声データの生成で設定された環境情報と実際の集音環境とに乖離が生じたとき、音声認識性能が劣化する可能性がある。
【先行技術文献】
【非特許文献】
【0005】
【文献】Ｃ． Ｋｉｍ， ｅｔ ａｌ．， “Ｇｅｎｅｒａｔｉｏｎ ｏｆ ｌａｒｇｅ－ｓｃａｌｅ ｓｉｍｕｌａｔｅｄ ｕｔｔｅｒａｎｃｅｓ ｉｎ ｖｉｒｔｕａｌ ｒｏｏｍｓ ｔｏ ｔｒａｉｎ ｄｅｅｐ－ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ｆｏｒ ｆａｒ－ｆｉｅｌｄ ｓｐｅｅｃｈ ｒｅｃｏｇｎｉｔｉｏｎ ｉｎ Ｇｏｏｇｌｅ Ｈｏｍｅ，” Ｉｎｔｅｒｓｐｅｅｃｈ ２０１７．
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明が解決しようとする課題は、音声認識性能を向上することができる音声認識装置、方法およびプログラムを提供することである。
【課題を解決するための手段】
【0007】
一実施形態に係る音声認識装置は、環境情報生成部と、適応部と、取得部と、音声認識部とを備える。環境情報生成部は、センサ情報に基づいて、センサ情報を取得した環境に関する環境情報を生成する。適応部は、環境情報および汎用音声データに基づいて、ベース音響モデルを上記環境に適応させた適応済み音響モデルを生成する。取得部は、上記環境下での音声を入力音声データとして取得する。処理部は、適応済み音響モデルを用いて入力音声データに音声認識処理を行う。
【図面の簡単な説明】
【0008】
【発明を実施するための形態】
【0009】
初めに、マイクロフォンによる観測信号のモデル化について説明する。以下では、例えば、室内において、１個の音声源からの音声を１個のマイクロフォンで集音する状況を考える。このとき、マイクロフォンでの観測信号は、次の式（１）のようにモデル化できる。
【0010】
ｘ（ｔ）＝ｓ（ｔ）＊ｈ（ｔ） （１）
【0011】
式（１）において、ｔは時間のインデックス、ｓ（ｔ）は音声源の音声、ｘ（ｔ）はマイクでの観測信号、＊は畳みこみ演算を示す。また、ｈ（ｔ）は、音声源とマイクロフォンとの間の伝達特性を示し、インパルス応答と呼ばれる。もし室内において残響がある場合、残響時間および残響の度合いなどの残響特性は、ｈ（ｔ）で表現される。また、ｈ（ｔ）は、音声源とマイクロフォンとの間の距離にも依存する。
【0012】
次に、上記インパルス応答を擬似的に生成する方法について説明する。以降では擬似的に生成されたインパルス応答を疑似インパルス応答と称する。疑似インパルス応答は、例えば、音響シミュレーションにより生成することができる。音響シミュレーションでは、例えば、室内の状況（例えば、部屋の大きさ、残響特性、音声源の位置、およびマイクロフォンの位置など）を任意に設定し、疑似インパルス応答が生成される。疑似インパルス応答の生成には、例えば、参考文献１（Ｊ． Ａｌｌｅｎ ａｎｄ Ｄ． Ｂｅｒｋｅｌｅｙ， “Ｉｍａｇｅ ｍｅｔｈｏｄ ｆｏｒ ｅｆｆｉｃｉｅｎｔｌｙ ｓｉｍｕｌａｔｉｎｇ ｓｍａｌｌ－ｒｏｏｍ ａｃｏｕｓｔｉｃｓ”， Ｊ． Ａｃｏｕｓｔ． Ｓｏｃ． Ａｍ．， １９７９．）などに記載の手法（例えば、鏡像法など）を用いることができる。
【0013】
次に、上記室内の状況における音声データを擬似的に生成する方法について説明する。ここでの音声データは、例えば、残響を含まない汎用音声データが望ましい。以降では擬似的に生成された音声データを疑似音声データと称する。疑似音声データの生成には、まず任意の汎用音声データを選択し、これを音声源の音声とする。そして、上記の式（１）に基づいて、選択された汎用音声データと、音響シミュレーションによって生成された疑似インパルス応答とを畳み込み演算することにより、疑似音声データが生成される。
【0014】
以下、図面を参照しながら、音声認識装置の各実施形態について詳細に説明する。
【0015】
（第１の実施形態）
図１は、第１の実施形態に係る音声認識装置を含む音声認識システムの構成を例示するブロック図である。音声認識システム１は、音声認識装置１００と、センサデバイス２００と、集音デバイス３００と、出力装置４００とを備える。音声認識システム１を利用する際は、センサデバイス２００および集音デバイス３００は、同一環境下に設置される。同一環境下とは、例えば、同じ空間内を意味する。ここでの空間は、発生音に対して残響が発生する部屋および会場などである。尚、以降では、センサデバイス２００および集音デバイス３００は、同一環境下に設置されているものとする。また、「同一環境」は、「集音環境」に言い換えられてもよい。
図１は、第１の実施形態に係る音声認識装置を含む音声認識システムの構成を例示するブロック図である。音声認識システム１は、音声認識装置１００と、センサデバイス２００と、集音デバイス３００と、出力装置４００とを備える。音声認識システム１を利用する際は、センサデバイス２００および集音デバイス３００は、同一環境下に設置される。同一環境下とは、例えば、同じ空間内を意味する。ここでの空間は、発生音に対して残響が発生する部屋および会場などである。尚、以降では、センサデバイス２００および集音デバイス３００は、同一環境下に設置されているものとする。また、「同一環境」は、「集音環境」に言い換えられてもよい。
【0016】
センサデバイス２００は、設置された環境における空間内の情報をセンサ情報として取得する。センサ情報は、例えば、音響データ、画像データ、および点群データの少なくとも一つを含む。センサデバイス２００は、取得したセンサ情報を音声認識装置１００へと出力する。尚、音響データは、音声データが含まれていてもよい。また、「センサ情報を取得した環境」は、「集音環境」に言い換えられてもよい。
【0017】
具体的には、センサデバイス２００は、例えば、マイクロフォン、カメラ、ＲＧＢ－Ｄセンサ、およびＬｉＤＡＲ（Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）などの少なくとも一つである。音響データを取得する場合、センサデバイス２００は、マイクロフォンである。画像データを取得する場合、センサデバイス２００は、カメラおよびＲＧＢ－Ｄセンサである。点群データを取得する場合、センサデバイス２００は、ＬｉＤＡＲである。尚、音響データを取得する場合、センサデバイス２００は、カメラに付属のマイクロフォンでもよい。以降では、カメラ、ＲＧＢ－Ｄセンサ、およびＬｉＤＡＲなど、空間内の可視化に用いられるデバイスを撮像デバイスと称する。
【0018】
集音デバイス３００は、音声認識対象となる音声データを取得する。集音デバイス３００は、例えば、マイクロフォンである。集音デバイス３００は、取得した音声データを音声認識装置１００へと出力する。以降では、集音デバイス３００で取得された音声データを入力音声データと称する。尚、集音デバイス３００は、音響データを取得してもよい。この場合、集音デバイス３００は、センサデバイス２００を兼ねてもよい。
【0019】
音声認識装置１００は、環境情報生成部１１０と、汎用音声データ記憶部１２０と、ベース音響モデル記憶部１３０と、適応部１４０と、適応済み音響モデル記憶部１５０と、音声認識部１６０とを備える。尚、音声認識装置１００は、入力音声データを取得する取得部および入力音声データを記憶する入力音声データ記憶部を備えてもよい。また、汎用音声データ記憶部１２０、ベース音響モデル記憶部１３０、および適応済み音響モデル記憶部１５０は、一つ以上の記憶部に統合されてもよいし、音声認識装置１００の外部に設けられてもよい。
【0020】
環境情報生成部１１０は、センサデバイス２００からセンサ情報を受け取る。環境情報生成部１１０は、センサ情報に基づいて環境情報を生成する。環境情報は、センサ情報を取得した環境に関する。環境情報生成部１１０は、生成した環境情報を適応部１４０へと出力する。
【0021】
具体的には、環境情報は、例えば、音声の発生源と、音声を集音する集音デバイスとの間のインパルス応答、および集音環境における空間の広さの情報などの少なくとも一つを含む。
【0022】
センサ情報が音響データの場合、環境情報生成部１１０は、音響データに基づいてインパルス応答を生成する。音響データに基づくインパルス応答の生成には、例えば、参考文献２（Ｆ． Ｓ． Ｐａｃｈｅｃｏ ａｎｄ Ｒ． Ｓｅａｒａ， “Ａ ｓｉｎｇｌｅ－ｍｉｃｒｏｐｈｏｎｅ ａｐｐｒｏａｃｈ ｆｏｒ ｓｐｅｅｃｈ ｓｉｇｎａｌ ｄｅｒｅｖｅｒｂｅｒａｔｉｏｎ，” ＥＵＳＩＰＣＯ， ２００５．）などに記載の手法を用いることができる。
【0023】
センサ情報が画像データまたは点群データの場合、環境情報生成部１１０は、画像データまたは点群データに基づいて空間の広さの情報を生成する。画像データまたは点群データに基づく空間の広さの情報の生成には、例えば、参考文献３（Ｈ． Ｋｉｍ， ｅｔ ａｌ．， “Ｒｏｏｍ Ｌａｙｏｕｔ Ｅｓｔｉｍａｔｉｏｎ ｗｉｔｈ Ｏｂｊｅｃｔ ａｎｄ Ｍａｔｅｒｉａｌ Ａｔｔｒｉｂｕｔｅｓ Ｉｎｆｏｒｍａｔｉｏｎ Ｕｓｉｎｇ ａ Ｓｐｈｅｒｉｃａｌ Ｃａｍｅｒａ，” ３ＤＶ， ２０１６．）、参考文献４（Ｐ． Ｋｉｍ， ｅｔ ａｌ．， “Ｌｉｎｅａｒ ＲＧＢ－Ｄ ＳＬＡＭ ｆｏｒ Ｐｌａｎａｒ Ｅｎｖｉｒｏｎｍｅｎｔｓ，” ＥＣＣＶ， ２０１８．）、および参考文献５（Ｊ． Ｐａｌａｃｉｎ， ｅｔ ａｌ．， “Ｍｏｂｉｌｅ Ｒｏｂｏｔ Ｓｅｌｆ－Ｌｏｃａｌｉｚａｔｉｏｎ ｗｉｔｈ ２Ｄ Ｐｕｓｈ－Ｂｒｏｏｍ ＬＩＤＡＲ ｉｎ ａ ２Ｄ Ｍａｐ，” Ｓｅｎｓｏｒｓ ２０２０．）などに記載の手法を用いることができる。
【0024】
なお、環境情報生成部１１０は、インパルス応答および空間の広さの情報の両方を生成してもよい。
【0025】
汎用音声データ記憶部１２０は、汎用音声データを記憶している。汎用音声データは、例えば、残響が含まれていない音声データが望ましい。汎用音声データ記憶部１２０は、汎用音声データを適応部１４０へと出力する。
【0026】
ベース音響モデル記憶部１３０は、ベース音響モデルを記憶している。ベース音響モデルは、例えば、音声データによって予め学習された機械学習の学習済みモデルである。機械学習としては、例えば、ＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）が用いられる。ベース音響モデル記憶部１３０は、ベース音響モデルを適応部１４０へと出力する。尚、ベース音響モデルが学習済みモデルの場合、汎用音声データとして、ベース音響モデルの学習用データに含まれる音声データが用いられてもよい。これにより、汎用音声データ記憶部１２０は省略されてもよい。
【0027】
適応部１４０は、環境情報生成部１１０から環境情報を受け取り、汎用音声データ記憶部１２０から汎用音声データを受け取り、ベース音響モデル記憶部１３０からベース音響モデルを受け取る。適応部１４０は、環境情報と汎用音声データとベース音響モデルとに基づいて適応済み音響モデルを生成する。適応部１４０は、生成した適応済み音響モデルを適応済み音響モデル記憶部１５０へと出力する。
【0028】
具体的には、適応済み音響モデルは、センサ情報を取得した環境（集音環境）に適応させた音響モデルである。適応部１４０は、環境情報および汎用音声データに基づいて、集音環境下での音声を模擬した疑似入力音声データを生成し、疑似入力音声データを用いて適応済み音響モデルを生成する。尚、適応部１４０は、入力音声データに基づいて集音環境における空間の残響時間を算出してもよい。次に、適応部１４０のより具体的な構成について、図２を用いて説明する。
【0029】
【0030】
疑似インパルス応答生成部１４１は、環境情報生成部１１０から環境情報を受け取る。疑似インパルス応答生成部１４１は、環境情報に基づいて疑似インパルス応答を生成する。疑似インパルス応答生成部１４１は、疑似インパルス応答を疑似入力音声データ生成部１４２へと出力する。
【0031】
具体的には、疑似インパルス応答生成部１４１は、環境情報に基づいて、音声の発生源と、音声を収集する集音デバイスとの間のインパルス応答を模擬した疑似インパルス応答を生成する。環境情報がインパルス応答を含む場合、疑似インパルス応答生成部１４１は、インパルス応答に所定の演算を行うことで疑似インパルス応答を生成する。所定の演算は、例えば、インパルス応答の波形の時間方向への拡大、インパルス応答の波形の時間方向への縮小、およびインパルス応答の波形のピーク値の変更の少なくとも一つである。環境情報が集音環境における空間の広さの情報を含む場合、疑似インパルス応答生成部１４１は、空間の広さの情報と空間の残響時間とに基づいて、疑似インパルス応答を生成する。
【0032】
疑似入力音声データ生成部１４２は、汎用音声データ記憶部１２０から汎用音声データを受け取り、疑似インパルス応答生成部１４１から疑似インパルス応答を受け取る。疑似入力音声データ生成部１４２は、汎用音声データと疑似インパルス応答とに基づいて疑似入力音声データを生成する。疑似入力音声データ生成部１４２は、疑似入力音声データを適応学習部１４３へと出力する。
【0033】
具体的には、疑似入力音声データ生成部１４２は、汎用音声データに対して、疑似インパルス応答を畳み込み演算することによって疑似入力音声データを生成する。
【0034】
適応学習部１４３は、ベース音響モデル記憶部１３０からベース音響モデルを受け取り、疑似入力音声データ生成部１４２から疑似入力音声データを受け取る。適応学習部１４３は、疑似入力音声データをベース音響モデルに適応することによって適応済み音響モデルを生成する。適応学習部１４３は、適応済み音響モデルを適応済み音響モデル記憶部１５０へと出力する。
【0035】
ベース音響モデルがＤＮＮで構成されている場合、適応済み音響モデルもＤＮＮで構成される。よって、適応済み音響モデルは、ベース音響モデルのパラメータを初期値として、パラメータを最適化することによって生成される。パラメータの最適化には、例えば、参考文献６（Ｐ． Ｊ． Ｗｅｒｂｏｓ， “Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ Ｔｈｒｏｕｇｈ Ｔｉｍｅ： Ｗｈａｔ Ｉｔ Ｄｏｅｓ ａｎｄ Ｈｏｗ ｔｏ Ｄｏ Ｉｔ，” Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ， ｖｏｌ． ７８， ｎｏ． １０， １９９０．）などに記載の手法を用いることができる。即ち、適応学習部１４３は、ベース音響モデルのパラメータを最適化することによって適応済み音響モデルを生成する。尚、「パラメータを最適化する」は、「パラメータを学習する」に言い換えられてもよい。
【0036】
適応済み音響モデル記憶部１５０は、適応部１４０から適応済み音響モデルを受け取り、記憶する。適応済み音響モデル記憶部１５０は、適応済み音響モデルを音声認識部１６０へと出力する。
【0037】
音声認識部１６０は、集音デバイス３００から入力音声データを受け取り、適応済み音響モデル記憶部１５０から適応済み音響モデルを受け取る。音声認識部１６０は、適応済み音響モデルを用いて入力音声データに音声認識処理を行うことによって音声認識結果を生成する。音声認識部１６０は、生成した音声認識結果を出力装置４００へと出力する。
【0038】
出力装置４００は、音声認識部１６０から音声認識結果を受け取る。出力装置４００は、音声認識結果を所望の表示形式、或いは音声形式に変換してユーザに提示する。
【0039】
図３は、図１の音声認識装置の動作を例示するフローチャートである。図３のフローチャートは、ステップＳＴ１１０からステップＳＴ１３０までの環境適応処理と、ステップＳＴ１４０からステップＳＴ１６０までの音声認識処理とに分けられている。尚、環境適応処理と音声認識処理とは一連の流れで行われなくてもよい。具体的には、環境適応処理の完了と共に一旦処理を中断させ、任意のタイミングで音声認識処理を開始させてもよい。任意のタイミングとは、ユーザの指示または所定時間の経過などである。
【0040】
（ステップＳＴ１１０）
音声認識装置１００は、センサデバイス２００からセンサ情報を取得する。
音声認識装置１００は、センサデバイス２００からセンサ情報を取得する。
【0041】
（ステップＳＴ１２０）
センサ情報を取得した後、環境情報生成部１１０は、センサ情報に基づいて環境情報を生成する。
センサ情報を取得した後、環境情報生成部１１０は、センサ情報に基づいて環境情報を生成する。
【0042】
（ステップＳＴ１３０）
環境情報を生成した後、適応部１４０は、環境情報と汎用音声データとベース音響モデルとに基づいて適応済み音響モデルを生成する。以降では、ステップＳＴ１３０の処理を「適応済み音響モデル生成処理」と称する。適応済み音響モデル生成処理の具体例について図４のフローチャートを用いて説明する。
環境情報を生成した後、適応部１４０は、環境情報と汎用音声データとベース音響モデルとに基づいて適応済み音響モデルを生成する。以降では、ステップＳＴ１３０の処理を「適応済み音響モデル生成処理」と称する。適応済み音響モデル生成処理の具体例について図４のフローチャートを用いて説明する。
【0043】
【0044】
（ステップＳＴ１３１）
環境情報を生成した後、疑似インパルス応答生成部１４１は、環境情報に基づいて疑似インパルス応答を生成する。以下、疑似インパルス応答の生成について、環境情報がインパルス応答を含む場合と、環境情報が集音環境における空間の広さの情報を含む場合とに分けて、詳細に説明する。
環境情報を生成した後、疑似インパルス応答生成部１４１は、環境情報に基づいて疑似インパルス応答を生成する。以下、疑似インパルス応答の生成について、環境情報がインパルス応答を含む場合と、環境情報が集音環境における空間の広さの情報を含む場合とに分けて、詳細に説明する。
【0045】
環境情報がインパルス応答を含む場合、疑似インパルス応答生成部１４１は、このインパルス応答をそのまま疑似インパルス応答としてもよい。しかし、このインパルス応答が、センサデバイス２００としてのマイクロフォンにより取得された音響データに基づくインパルス応答である場合、集音デバイス３００で取得される入力音声データに基づくインパルス応答とは必ずしも対応しないことが考えられる。また、このインパルス応答が、集音デバイス３００で取得された入力音声データに基づくインパルス応答であったとしても、音声を発する話者の向き、および話者の位置（音声の発生源）に僅かでも変動があると、インパルス応答も異なる値となる。よって、上記事情に対応するために、疑似インパルス応答生成部１４１は、インパルス応答に対して、微小な変動を加えた複数の疑似インパルス応答を作成することが望ましい。次に、インパルス応答から複数の疑似インパルス応答を生成する方法について図５、６を用いて説明する。
【0046】
図５は、第１の実施形態における疑似インパルス応答の生成方法を説明する図である。図５には、３つのインパルス応答の波形１１から１３までが例示されている。波形１１は、例えば、環境情報として実際に得られたものである。波形１１は、例えば、時間幅Ｔを有する。波形１２は、波形１１を時間方向に拡大したものである。波形１３は、波形１１を時間方向に縮小したものである。波形１１から１３までは、それぞれ通常波形、拡大波形、および縮小波形と呼ばれてもよい。
【0047】
疑似インパルス応答生成部１４１は、インパルス応答の波形１１に対して、時間方向を拡大または縮小することによって、拡大波形または縮小波形を生成する。具体的には、疑似インパルス応答生成部１４１は、波形１１の有する時間幅Ｔを時間方向に（１＋Ｒ）倍することによって、時間幅Ｔ（１＋Ｒ）を有する波形１２を生成する。また、疑似インパルス応答生成部１４１は、波形１１の有する時間幅Ｔを時間方向に（１－Ｒ）倍することによって、時間幅Ｔ（１－Ｒ）を有する波形１３を生成する。このとき、Ｒは、例えば、「ゼロ」から「１」までの間のランダムな実数値である。また、Ｒは、「０．０１」程度が望ましい。
【0048】
図６は、第１の実施形態における疑似インパルス応答の別の生成方法を説明する図である。図６には、２つのインパルス応答の波形１４および１５が例示されている。波形１４は、例えば、環境情報として実際に得られたものである。波形１５は、波形１４のピーク値を変更したものである。
【0049】
疑似インパルス応答生成部１４１は、インパルス応答の波形１４に対して、ピーク値の変更をすることによって、ピーク値変更波形を生成する。具体的には、疑似インパルス応答生成部１４１は、波形１４の時間ｔ１におけるピーク値の振幅ａを（１－ｍ）倍することによって、振幅ａ（１－ｍ）に変更する。また、疑似インパルス応答生成部１４１は、波形１４の時間ｔ２におけるピーク値の振幅ｂを（１＋ｎ）倍することによって、振幅ｂ（１＋ｎ）に変更する。このとき、ｍおよびｎは、例えば、「ゼロ」から「１」までの間のランダムな実数値である。また、ｎおよびｍは、「０．０１」程度が望ましい。
【0050】
次に、環境情報が集音環境における空間の広さの情報を含む場合に、空間の広さの情報と空間の残響時間とに基づいて、複数の疑似インパルス応答を生成する方法について説明する。まず、空間の広さの情報から、この空間内のランダムな位置に音声源とマイクロフォンとを配置する状況を仮想的に考える。疑似インパルス応答生成部１４１は、例えば参考文献２の手法により、予め入力音声データから残響時間を算出し、仮想的に配置した音声源とマイクロフォンとの位置から、参考文献１の手法により疑似インパルス応答を生成する。そして、音声源とマイクロフォンとの配置をそれぞれ様々に変化させることによって、疑似インパルス応答生成部１４１は、様々な種類の複数の疑似インパルス応答を生成することができる。
【0051】
（ステップＳＴ１３２）
疑似インパルス応答を生成した後、疑似入力音声データ生成部１４２は、汎用音声データと疑似インパルス応答とに基づいて疑似入力音声データを生成する。
疑似インパルス応答を生成した後、疑似入力音声データ生成部１４２は、汎用音声データと疑似インパルス応答とに基づいて疑似入力音声データを生成する。
【0052】
例えば、Ｍ個の汎用音声データ（複数の汎用音声データ）と、Ｎ個の疑似インパルス応答（複数の疑似インパルス応答）とが用意されている場合、最大でＭ×Ｎ個の疑似入力音声データ（複数の疑似入力音声データ）を生成することができる。このとき、複数の疑似入力音声データは、次の式（２）で表すことができる。
【0053】
ｘｍ，ｎ（ｔ）＝ｓｍ，ｎ（ｔ）＊ｈｍ，ｎ（ｔ） （１≦ｍ≦Ｍ，１≦ｎ≦Ｎ） （２）
【0054】
式（２）において、ｔは時間のインデックス、ｓｍ，ｎ（ｔ）は汎用音声データ、ｈｍ，ｎ（ｔ）は疑似インパルス応答、＊は畳みこみ演算、ｘｍ，ｎ（ｔ）は疑似入力音声データを示す。よって、疑似入力音声データ生成部１４２は、複数の汎用音声データと複数の疑似インパルス応答とを各々の組み合わせで畳み込み演算することにより複数の疑似入力音声データを生成することができる。尚、演算対象となる汎用音声データと疑似インパルス応答とが、予め対応付けされていてもよい。
【0055】
（ステップＳＴ１３３）
疑似入力音声データを生成した後、適応学習部１４３は、疑似入力音声データをベース音響モデルに適応することによって適応済み音響モデルを生成する。ステップＳＴ１３３の後、処理は図３のステップＳＴ１４０へと進む。
疑似入力音声データを生成した後、適応学習部１４３は、疑似入力音声データをベース音響モデルに適応することによって適応済み音響モデルを生成する。ステップＳＴ１３３の後、処理は図３のステップＳＴ１４０へと進む。
【0056】
（ステップＳＴ１４０）
音声認識装置１００は、集音デバイス３００から入力音声データを取得する。
音声認識装置１００は、集音デバイス３００から入力音声データを取得する。
【0057】
（ステップＳＴ１５０）
入力音声データを取得した後、音声認識部１６０は、入力音声データおよび適応済み音響モデルに基づいて音声認識結果を生成する。具体的には、音声認識部１６０は、適応済み音響モデルを用いて入力音声データに音声認識処理を行うことによって音声認識結果を生成する。
入力音声データを取得した後、音声認識部１６０は、入力音声データおよび適応済み音響モデルに基づいて音声認識結果を生成する。具体的には、音声認識部１６０は、適応済み音響モデルを用いて入力音声データに音声認識処理を行うことによって音声認識結果を生成する。
【0058】
（ステップＳＴ１６０）
音声認識結果を生成した後、音声認識装置１００は、音声認識結果を出力装置４００へと出力する。ステップＳＴ１６０の後、処理は終了する。
音声認識結果を生成した後、音声認識装置１００は、音声認識結果を出力装置４００へと出力する。ステップＳＴ１６０の後、処理は終了する。
【0059】
尚、図３のフローチャートにおいて、ＳＴ１３０（或いは、ステップＳＴ１３３）とステップＳＴ１４０との間に、任意のタイミングを判定するためのステップが設けられてもよい。
【0060】
以上説明したように、第１の実施形態に係る音声認識装置は、センサ情報に基づいて、センサ情報を取得した環境に関する環境情報を生成し、環境情報および汎用音声データに基づいて、ベース音響モデルを上記環境に適応させた適応済み音響モデルを生成し、上記環境下での音声を入力音声データとして取得し、適応済み音響モデルを用いて入力音声データに音声認識処理を行う。
【0061】
従って、第１の実施形態に係る音声認識装置は、認識対象となる音声データの集音環境で収録された音声データが少なくても、集音環境に適応した音響モデルを用いた音声認識が可能になる。よって、第１の実施形態に係る音声認識装置は、集音環境における音声認識性能を向上させることができる。
【0062】
（第２の実施形態）
第１の実施形態に係る音声認識装置は、環境適応処理の後、音声認識処理を実行していた。即ち、環境適応処理と音声認識処理とは別々に行われていた。他方、第２の実施形態に係る音声認識装置は、環境適応処理と音声認識処理とを共に実行する。
第１の実施形態に係る音声認識装置は、環境適応処理の後、音声認識処理を実行していた。即ち、環境適応処理と音声認識処理とは別々に行われていた。他方、第２の実施形態に係る音声認識装置は、環境適応処理と音声認識処理とを共に実行する。
【0063】
具体的には、第２の実施形態に係る音声認識装置は、環境適応処理が完了するまでは、音声認識処理においてベース音響モデルを用いて音声認識を行い、環境適応処理が完了した後、音声認識処理において適応済み音響モデルを用いて音声認識を行う。このとき、第２の実施形態に係る音声認識装置は、環境適応処理の完了を判定するために、例えば、環境適応処理の実行に関する時間経過を用いる。
【0064】
図７は、第２の実施形態に係る音声認識装置を含む音声認識システムの構成を例示するブロック図である。音声認識システム１Ａは、音声認識装置１００Ａと、センサデバイス２００と、集音デバイス３００と、出力装置４００とを備える。
【0065】
音声認識装置１００Ａは、環境情報生成部１１０と、汎用音声データ記憶部１２０と、ベース音響モデル記憶部１３０Ａと、適応部１４０と、適応済み音響モデル記憶部１５０と、音声認識部１６０Ａとを備える。
【0066】
ベース音響モデル記憶部１３０Ａは、ベース音響モデルを記憶している。ベース音響モデル記憶部１３０Ａは、ベース音響モデルを適応部１４０および音声認識部１６０Ａへと出力する。
【0067】
音声認識部１６０Ａは、集音デバイス３００から入力音声データを受け取り、ベース音響モデル記憶部１３０Ａからベース音響モデルを受け取り、適応済み音響モデル記憶部１５０から適応済み音響モデルを受け取る。音声認識部１６０Ａは、適応済み音響モデルの生成に関する所定の基準を満たさない場合、ベース音響モデルを用いて入力音声データに音声認識処理を行うことによって音声認識結果を生成する。音声認識部１６０Ａは、適応済み音響モデルの生成に関する所定の基準を満たす場合、適応済み音響モデルを用いて入力音声データに音声認識処理を行うことによって音声認識結果を生成する。適応済み音響モデルの生成に関する所定の基準は、例えば、ベース音響モデルを集音環境に適応させるためにかかる時間である。音声認識部１６０Ａは、生成した音声認識結果を出力装置４００へと出力する。
【0068】
図８は、第２の実施形態に係る音声認識装置の音声認識部の構成を例示するブロック図である。第２の実施形態に係る音声認識装置は、音声認識部１６０の代わりに音声認識部１６０Ａを備える。音声認識部１６０Ａは、時間計測部１６１Ａと、選択部１６２Ａと、認識部１６３Ａとを備える。
【0069】
時間計測部１６１Ａは、集音デバイス３００から入力音声データを入力する。時間計測部１６１Ａは、入力音声データの入力が開始されてからの時間を計測する。時間計測を開始してから所定時間が経過した後、時間計測部１６１Ａは、完了トリガを選択部１６２Ａへと出力する。所定時間は、例えば、ベース音響モデルを集音環境に適応させるためにかかる時間であり、任意に設定されてよい。尚、時間計測部１６１Ａは、無声時の時間を考慮し、実際に発声されている入力音声データが入力されている間の時間を計測してもよい。このことは、環境適応処理で用いられるセンサ情報が入力音声データに基づく場合に好適である。
【0070】
選択部１６２Ａは、ベース音響モデル記憶部１３０Ａからベース音響モデルを受け取り、適応済み音響モデル記憶部１５０から適応済み音響モデルを受け取り、時間計測部１６１Ａから完了トリガを受け取る。選択部１６２Ａは、完了トリガに基づいて所定時間が経過したか否かを判定し、ベース音響モデルまたは適応済み音響モデルを選択する。具体的には、選択部１６２Ａは、完了トリガを受け取る前はベース音響モデルを選択し、完了トリガを受け取った後は適応済み音響モデルを選択する。選択部１６２Ａは、ベース音響モデルまたは適応済み音響モデルを認識部１６３Ａへと出力する。
【0071】
認識部１６３Ａは、集音デバイス３００から入力音声データを受け取り、選択部１６２Ａからベース音響モデルまたは適応済み音響モデルを受け取る。認識部１６３Ａは、ベース音響モデルまたは適応済み音響モデルを用いて入力音声データに音声認識処理を行うことによって音声認識結果を生成する。認識部１６３Ａは、生成した音声認識結果を出力装置４００へと出力する。尚、認識部１６３Ａは、生成した音声認識結果と音響モデルに関する情報とを対応付けてもよい。音響モデルに関する情報は、例えば、生成した音声認識結果がベース音響モデルまたは適応済み音響モデルのどちらかに基づくものであるかを示す。
【0072】
図９は、第２の実施形態に係る音声認識装置の動作例を説明する図である。第２の実施形態に係る音声認識装置１００Ａは、例えば、開始時間において環境適応処理と音声認識処理とを共に開始する。所定時間が経過するまでは、音声認識装置１００Ａは、ベース音響モデルを用いて入力音声データに音声認識処理を行うことによって、ベース音響モデルを使用した音声認識結果を生成し、環境適応処理によりベース音響モデルのパラメータを学習し続ける。所定時間が経過した後、音声認識装置１００Ａは、ベース音響モデルのパラメータを学習した適応済み音響モデルを生成し、適応済み音響モデルを用いて入力音声データに音声認識処理を行うことによって、適応済み音響モデルを使用した音声認識結果を生成する。
【0073】
図１０は、第２の実施形態における音声認識処理の動作を例示するフローチャートである。図１０のフローチャートは、例えば、図３のフローチャートの環境適応処理（ステップＳＴ１１０からステップＳＴ１３０まで）と共に行われる。
【0074】
（ステップＳＴ２１０）
音声認識装置１００Ａは、集音デバイス３００から入力音声データを取得する
（ステップＳＴ２２０）
入力音声データを取得した後、時間計測部１６１Ａは、入力音声データの入力が開始されてからの時間を計測する。時間計測部１６１Ａは、時間計測を開始してから所定時間が経過した後、完了トリガを出力する。
音声認識装置１００Ａは、集音デバイス３００から入力音声データを取得する
（ステップＳＴ２２０）
入力音声データを取得した後、時間計測部１６１Ａは、入力音声データの入力が開始されてからの時間を計測する。時間計測部１６１Ａは、時間計測を開始してから所定時間が経過した後、完了トリガを出力する。
【0075】
（ステップＳＴ２３０）
選択部１６２Ａは、所定の時間が経過したか否かを判定する。具体的には、選択部１６２Ａは、完了トリガを受け取ることによって所定の時間が経過したと判定する。他方、選択部１６２Ａは、完了トリガを受け取る前は、所定の時間が経過していないと判定する。所定の時間が経過したと判定された場合、処理はステップＳＴ２４０へと進む。所定の時間が経過していないと判定された場合、処理はステップＳＴ２５０へと進む。
選択部１６２Ａは、所定の時間が経過したか否かを判定する。具体的には、選択部１６２Ａは、完了トリガを受け取ることによって所定の時間が経過したと判定する。他方、選択部１６２Ａは、完了トリガを受け取る前は、所定の時間が経過していないと判定する。所定の時間が経過したと判定された場合、処理はステップＳＴ２４０へと進む。所定の時間が経過していないと判定された場合、処理はステップＳＴ２５０へと進む。
【0076】
（ステップＳＴ２４０）
所定の時間が経過したと判定された後、認識部１６３Ａは、入力音声データおよび適応済み音響モデルに基づいて音声認識結果を生成する。具体的には、認識部１６３Ａは、適応済み音響モデルを用いて入力音声データに音声認識処理を行うことによって音声認識結果を生成する。
所定の時間が経過したと判定された後、認識部１６３Ａは、入力音声データおよび適応済み音響モデルに基づいて音声認識結果を生成する。具体的には、認識部１６３Ａは、適応済み音響モデルを用いて入力音声データに音声認識処理を行うことによって音声認識結果を生成する。
【0077】
（ステップＳＴ２５０）
所定の時間が経過していないと判定された後、認識部１６３Ａは、入力音声データおよびベース音響モデルに基づいて音声認識結果を生成する。具体的には、認識部１６３Ａは、ベース音響モデルを用いて入力音声データに音声認識処理を行うことによって音声認識結果を生成する。
所定の時間が経過していないと判定された後、認識部１６３Ａは、入力音声データおよびベース音響モデルに基づいて音声認識結果を生成する。具体的には、認識部１６３Ａは、ベース音響モデルを用いて入力音声データに音声認識処理を行うことによって音声認識結果を生成する。
【0078】
（ステップＳＴ２６０）
音声認識結果を生成した後、音声認識装置１００Ａは、音声認識結果を出力装置４００へと出力する。ステップＳＴ２６０の後、処理は終了する。
音声認識結果を生成した後、音声認識装置１００Ａは、音声認識結果を出力装置４００へと出力する。ステップＳＴ２６０の後、処理は終了する。
【0079】
以上説明したように、第２の実施形態に係る音声認識装置は、第１の実施形態に係る音声認識装置と同様に、センサ情報に基づいて、センサ情報を取得した環境に関する環境情報を生成し、環境情報および汎用音声データに基づいて、ベース音響モデルを上記環境に適応させた適応済み音響モデルを生成し、上記環境下での音声を入力音声データとして取得し、適応済み音響モデルを用いて入力音声データに音声認識処理を行う。
【0080】
また、第２の実施形態に係る音声認識装置は、適応済み音響モデルの生成に関する所定の基準を満たさない場合、ベース音響モデルを用いて入力音声データに音声認識処理を行い、適応済み音響モデルの生成に関する所定の基準を満たす場合、適応済み音響モデルを用いて入力音声データに音声認識処理を行う。上記所定の基準は、ベース音響モデルを上記環境に適応させるためにかかる時間である。
【0081】
従って、第２の実施形態に係る音声認識装置は、第１の実施形態に係る音声認識装置と同様の効果が見込める。また、第２の実施形態に係る音声認識装置は、環境適応処理と音声認識処理とを共に実行するため、環境適応処理を実行している間においても音声認識を行うことができる。
【0082】
（第３の実施形態）
第２の実施形態に係る音声認識装置は、環境適応処理の完了を判定するために、環境適応処理の実行に関する時間経過を用いていた。他方、第３の実施形態に係る音声認識装置は、環境適応処理の完了を判定するために、音声認識処理における音声認識の信頼度を用いる。
第２の実施形態に係る音声認識装置は、環境適応処理の完了を判定するために、環境適応処理の実行に関する時間経過を用いていた。他方、第３の実施形態に係る音声認識装置は、環境適応処理の完了を判定するために、音声認識処理における音声認識の信頼度を用いる。
【0083】
図１１は、第３の実施形態に係る音声認識装置の音声認識部の構成を例示するブロック図である。第３の実施形態に係る音声認識装置は、第２の実施形態に係る音声認識部１６０Ａの代わりに音声認識部１６０Ｂを備える。音声認識部１６０Ｂは、第１の認識部１６１Ｂと、第１の信頼度計算部１６２Ｂと、第２の認識部１６３Ｂと、第２の信頼度計算部１６４Ｂと、信頼度比較部１６５Ｂ、選択部１６６Ｂとを備える。
【0084】
音声認識部１６０Ｂは、集音デバイス３００から入力音声データを受け取り、ベース音響モデル記憶部１３０Ａからベース音響モデルを受け取り、適応済み音響モデル記憶部１５０から適応済み音響モデルを受け取る。音声認識部１６０Ｂは、ベース音響モデルを用いて入力音声データに音声認識処理を行うことによって第１の音声認識結果を生成し、適応済み音響モデルを用いて入力音声データに音声認識処理を行うことによって第２の音声認識結果を生成する。音声認識部１６０Ｂは、第１の音声認識結果または第２の音声認識結果を出力装置４００へと出力する。
【0085】
第１の認識部１６１Ｂは、集音デバイス３００から入力音声データを受け取り、ベース音響モデル記憶部１３０Ａからベース音響モデルを受け取る。第１の認識部１６１Ｂは、ベース音響モデルを用いて入力音声データに音声認識処理を行うことによって第１の音声認識結果を生成する。第１の認識部１６１Ｂは、生成した第１の音声認識結果を、第１の信頼度計算部１６２Ｂおよび選択部１６６Ｂへと出力する。尚、第１の認識部１６１Ｂは、生成した音声認識結果と音響モデルに関する情報とを対応付けてもよい。
【0086】
第１の信頼度計算部１６２Ｂは、第１の認識部１６１Ｂから第１の音声認識結果を受け取る。第１の信頼度計算部１６２Ｂは、第１の音声認識結果に基づいて第１の信頼度を計算する。信頼度の計算には、例えば、音節モデルまたは競合音素モデルとの比較、Ｎ－Ｂｅｓｔおよびワードグラフから得られた認識結果候補の事後確率を比較する手法などの一般的に知られている手法を用いることができる。第１の信頼度計算部１６２Ｂは、第１の信頼度を信頼度比較部１６５Ｂへと出力する。
【0087】
第２の認識部１６３Ｂは、集音デバイス３００から入力音声データを受け取り、適応済み音響モデル記憶部１５０から適応済み音響モデルを受け取る。第２の認識部１６３Ｂは、適応済み音響モデルを用いて入力音声データに音声認識処理を行うことによって第２の音声認識結果を生成する。第２の認識部１６３Ｂは、生成した第２の音声認識結果を、第２の信頼度計算部１６４Ｂおよび選択部１６６Ｂへと出力する。尚、第２の認識部１６３Ｂは、生成した音声認識結果と音響モデルに関する情報とを対応付けてもよい。
【0088】
第２の信頼度計算部１６４Ｂは、第２の認識部１６３Ｂから第２の音声認識結果を受け取る。第２の信頼度計算部１６４Ｂは、第２の音声認識結果に基づいて第２の信頼度を計算する。第２の信頼度計算部１６４Ｂは、第２の信頼度を信頼度比較部１６５Ｂへと出力する。
【0089】
信頼度比較部１６５Ｂは、第１の信頼度計算部１６２Ｂから第１の信頼度を受け取り、第２の信頼度計算部１６４Ｂから第２の信頼度を受け取る。信頼度比較部１６５Ｂは、第１の信頼度と第２の信頼度とを比較することによって、選択信号を生成する。選択信号は、例えば、第１の音声認識結果または第２の音声認識結果のどちらかを出力するかに関する情報を含む。具体的には、信頼度比較部１６５Ｂは、第１の信頼度と第２の信頼度とのうち、信頼度が高い方に対応する音声認識結果を選択する情報を含む選択信号を生成する。信頼度比較部１６５Ｂは、生成した選択信号を選択部１６６Ｂへと出力する。尚、選択信号の生成は上記に限らない。例えば、信頼度比較部１６５Ｂは、一方の信頼度と他方の信頼度との比率に基づいて、所定の比率を満たした場合の信頼度が高い方に対応する音声認識結果を選択する選択信号を生成してもよい。この場合、例えば、所定の比率を満たすまでは、信頼度比較部１６５Ｂは、ベース音響モデルによる第１の音声認識結果を選択する情報を含む選択信号を生成してもよい。
【0090】
選択部１６６Ｂは、第１の認識部１６１Ｂから第１の音声認識結果を受け取り、第２の認識部１６３Ｂから第２の音声認識結果を受け取り、信頼度比較部１６５Ｂから選択信号を受け取る。選択部１６６Ｂは、選択信号に基づいて第１の音声認識結果または第２の音声認識結果を選択する。選択部１６６Ｂは、第１の音声認識結果または第２の音声認識結果を出力装置４００へと出力する。尚、選択部１６６Ｂは、選択した音声認識結果と音響モデルに関する情報とを対応付けてもよい。
【0091】
図１２は、第３の実施形態における音声認識処理を例示するフローチャートである。図１２のフローチャートは、例えば、図３のフローチャートの環境適応処理（ステップＳＴ１１０からステップＳＴ１３０まで）と共に行われる。
【0092】
（ステップＳＴ３１０）
音声認識装置１００Ａは、集音デバイス３００から入力音声データを取得する。
音声認識装置１００Ａは、集音デバイス３００から入力音声データを取得する。
【0093】
（ステップＳＴ３２０）
入力音声データを取得した後、音声認識部１６０Ｂは、ベース音響モデルを用いて入力音声データに音声認識処理を行うことによって第１の音声認識結果を生成し、適応済み音響モデルを用いて入力音声データに音声認識処理を行うことによって第２の音声認識結果を生成し、第１の音声認識結果または第２の音声認識結果のいずれかを選択する。以降では、ステップＳＴ３２０の処理を「音響モデル選択処理」と称する。音響モデル選択処理の具体例について図１３のフローチャートを用いて説明する。
入力音声データを取得した後、音声認識部１６０Ｂは、ベース音響モデルを用いて入力音声データに音声認識処理を行うことによって第１の音声認識結果を生成し、適応済み音響モデルを用いて入力音声データに音声認識処理を行うことによって第２の音声認識結果を生成し、第１の音声認識結果または第２の音声認識結果のいずれかを選択する。以降では、ステップＳＴ３２０の処理を「音響モデル選択処理」と称する。音響モデル選択処理の具体例について図１３のフローチャートを用いて説明する。
【0094】
【0095】
（ステップＳＴ３２１）
入力音声データを取得した後、第１の認識部１６１Ｂは、入力音声データおよびベース音響モデルに基づいて第１の音声認識結果を生成する。具体的には、第１の認識部１６１Ｂは、ベース音響モデルを用いて入力音声データに音声認識処理を行うことによって第１の音声認識結果を生成する。
入力音声データを取得した後、第１の認識部１６１Ｂは、入力音声データおよびベース音響モデルに基づいて第１の音声認識結果を生成する。具体的には、第１の認識部１６１Ｂは、ベース音響モデルを用いて入力音声データに音声認識処理を行うことによって第１の音声認識結果を生成する。
【0096】
（ステップＳＴ３２２）
第１の音声認識結果を生成した後、第１の信頼度計算部１６２Ｂは、第１の音声認識結果に基づいて第１の信頼度を計算する。
第１の音声認識結果を生成した後、第１の信頼度計算部１６２Ｂは、第１の音声認識結果に基づいて第１の信頼度を計算する。
【0097】
（ステップＳＴ３２３）
第１の信頼度を計算した後、第２の認識部１６３Ｂは、入力音声データおよび適応済み音響モデルに基づいて第２の音声認識結果を生成する。具体的には、第２の認識部１６３Ｂは、適応済み音響モデルを用いて入力音声データに音声認識処理を行うことによって第２の音声認識結果を生成する。
第１の信頼度を計算した後、第２の認識部１６３Ｂは、入力音声データおよび適応済み音響モデルに基づいて第２の音声認識結果を生成する。具体的には、第２の認識部１６３Ｂは、適応済み音響モデルを用いて入力音声データに音声認識処理を行うことによって第２の音声認識結果を生成する。
【0098】
（ステップＳＴ３２４）
第２の音声認識結果を生成した後、第２の信頼度計算部１６４Ｂは、第２の音声認識結果に基づいて第２の信頼度を計算する。
第２の音声認識結果を生成した後、第２の信頼度計算部１６４Ｂは、第２の音声認識結果に基づいて第２の信頼度を計算する。
【0099】
（ステップＳＴ３２５）
第２の信頼度を計算した後、信頼度比較部１６５Ｂは、第１の信頼度と第２の信頼度とを比較する。具体的には、信頼度比較部１６５Ｂは、第１の信頼度が第２の信頼度未満の場合、第２の音声認識結果を選択する情報を含む選択信号を生成する。他方、信頼度比較部１６５Ｂは、第１の信頼度が第２の信頼度未満でない場合、第１の音声認識結果を選択する情報を含む選択信号を生成する。第１の信頼度が第２の信頼度未満であると判定された場合、処理はステップＳＴ３２６へと進む。第１の信頼度が第２の信頼度未満でないと判定された場合、処理はステップＳＴ３２７へと進む。
第２の信頼度を計算した後、信頼度比較部１６５Ｂは、第１の信頼度と第２の信頼度とを比較する。具体的には、信頼度比較部１６５Ｂは、第１の信頼度が第２の信頼度未満の場合、第２の音声認識結果を選択する情報を含む選択信号を生成する。他方、信頼度比較部１６５Ｂは、第１の信頼度が第２の信頼度未満でない場合、第１の音声認識結果を選択する情報を含む選択信号を生成する。第１の信頼度が第２の信頼度未満であると判定された場合、処理はステップＳＴ３２６へと進む。第１の信頼度が第２の信頼度未満でないと判定された場合、処理はステップＳＴ３２７へと進む。
【0100】
（ステップＳＴ３２６）
第１の信頼度が第２の信頼度未満であると判定された後、選択部１６６Ｂは、第２の音声認識結果を選択する情報を含む選択信号に基づいて、第２の音声認識結果を選択する。ステップＳＴ３２６の後、処理は図１２のステップＳＴ３３０へと進む。
第１の信頼度が第２の信頼度未満であると判定された後、選択部１６６Ｂは、第２の音声認識結果を選択する情報を含む選択信号に基づいて、第２の音声認識結果を選択する。ステップＳＴ３２６の後、処理は図１２のステップＳＴ３３０へと進む。
【0101】
（ステップＳＴ３２７）
第１の信頼度が第２の信頼度未満でないと判定された後、選択部１６６Ｂは、第１の音声認識結果を選択する情報を含む選択信号に基づいて、第１の音声認識結果を選択する。ステップＳＴ３２７の後、処理は図１２のステップＳＴ３３０へと進む。
第１の信頼度が第２の信頼度未満でないと判定された後、選択部１６６Ｂは、第１の音声認識結果を選択する情報を含む選択信号に基づいて、第１の音声認識結果を選択する。ステップＳＴ３２７の後、処理は図１２のステップＳＴ３３０へと進む。
【0102】
（ステップＳＴ３３０）
第１の音声認識結果または第２の音声認識結果が選択された後、音声認識装置１００Ａは、第１の音声認識結果または第２の音声認識結果を出力装置４００へと出力する。
第１の音声認識結果または第２の音声認識結果が選択された後、音声認識装置１００Ａは、第１の音声認識結果または第２の音声認識結果を出力装置４００へと出力する。
【0103】
なお、ステップＳＴ３２３およびＳＴ３２４は、ステップＳＴ３２１およびＳＴ３２２と並列して行われてもよい。この場合、ステップＳＴ３１０からはステップＳＴ３２１およびステップＳＴ３２３に遷移し、ステップＳＴ３２２からはステップＳＴ３２５に遷移することとなる。
【0104】
以上説明したように、第３の実施形態に係る音声認識装置は、第１の実施形態に係る音声認識装置と同様に、センサ情報に基づいて、センサ情報を取得した環境に関する環境情報を生成し、環境情報および汎用音声データに基づいて、ベース音響モデルを上記環境に適応させた適応済み音響モデルを生成し、上記環境下での音声を入力音声データとして取得し、適応済み音響モデルを用いて入力音声データに音声認識処理を行う。
【0105】
また、第３の実施形態に係る音声認識装置は、ベース音響モデルを用いて入力音声データに音声認識処理を行うことによって第１の音声認識結果を生成し、第１の音声認識結果に基づいて第１の信頼度を計算し、適応済み音響モデルを用いて入力音声データに音声認識処理を行うことによって第２の音声認識結果を生成し、第２の音声認識結果に基づいて第２の信頼度を計算し、第１の信頼度と第２の信頼度とを比較し、信頼度が高い方の音声認識結果を出力する。
【0106】
従って、第３の実施形態に係る音声認識装置は、第１の実施形態に係る音声認識装置および第２の実施形態に係る音声認識装置と同様の効果が見込める。また、第３の実施形態に係る音声認識装置は、音声認識結果の信頼度を計算することにより、環境適応処理を実行する時間を最適化することができる。
【0107】
（音声認識装置の使用例）
図１４は、第１の実施形態から第３の実施形態までに係る音声認識装置の使用例を示す図である。図１４は、講演会の会場Ｈを上方から見た様子を例示する。例えば、会場Ｈにおいて、講演台上に設置されたマイク３１０に対して話者Ｐが発話することを想定する。話者Ｐの発話は、マイク３１０を通して、入力音声データとして音声認識装置１００（或いは、音声認識装置１００Ａ）へと出力される。また、話者Ｐの発話は、会場Ｈに配置されたスピーカＳＰを通して会場Ｈ内に放送される。これにより、入力音声データには、スピーカＳＰからの間接音や会場Ｈ内での反射音が残響として含まれることとなる。
図１４は、第１の実施形態から第３の実施形態までに係る音声認識装置の使用例を示す図である。図１４は、講演会の会場Ｈを上方から見た様子を例示する。例えば、会場Ｈにおいて、講演台上に設置されたマイク３１０に対して話者Ｐが発話することを想定する。話者Ｐの発話は、マイク３１０を通して、入力音声データとして音声認識装置１００（或いは、音声認識装置１００Ａ）へと出力される。また、話者Ｐの発話は、会場Ｈに配置されたスピーカＳＰを通して会場Ｈ内に放送される。これにより、入力音声データには、スピーカＳＰからの間接音や会場Ｈ内での反射音が残響として含まれることとなる。
【0108】
会場Ｈに配置されたセンサデバイス（図１４では例えば、マイク３１０とする）は、会場Ｈの環境についてのセンサ情報ＳＩ（音響データ）を取得し、音声認識装置１００へと出力する。音声認識装置１００は、マイク３１０から取得されたセンサ情報ＳＩを用いて環境情報（インパルス応答）を生成する。音声認識装置１００は、環境情報を用いて環境適応処理を行う。音声認識装置１００は、環境適応処理により上記残響の影響を低減させた適応済み音声認識モデルを生成する。音声認識装置１００は、生成した適応済み音声認識モデルを用いて入力音声データから音声認識結果を生成する。音声認識装置１００は、音声認識結果を例えば字幕としてディスプレイ４１０へと出力する。
【0109】
（第４の実施形態）
第４の実施形態は、第１の実施形態から第３の実施形態までのいずれかに係る音声認識装置のスマートスピーカへの適用について説明する。
第４の実施形態は、第１の実施形態から第３の実施形態までのいずれかに係る音声認識装置のスマートスピーカへの適用について説明する。
【0110】
図１５は、第４の実施形態に係るスマートスピーカの構成を例示するブロック図である。スマートスピーカ５００は、音声認識装置１００（或いは、音声認識装置１００Ａ）と、ＬｉＤＡＲ２１０と、マイク３２０と、スピーカ４２０とを備える。
【0111】
図１６は、図１５のスマートスピーカの外観を例示する図である。スマートスピーカ５００は、例えば縦型の円筒形の外観を有する。スマートスピーカ５００の側面外周の少なくとも一部には、ＬｉＤＡＲ２１０による出射光および反射光を透過させる窓が設けられる。スマートスピーカ５００の上面には、マイク３２０としての第１のマイク３２０－１および第２のマイク３２０－２と、スピーカ４２０とが設けられる。尚、音声認識装置１００は、スマートスピーカ５００に内蔵されているため図１６には図示されていない。
【0112】
ＬｉＤＡＲ２１０は、室内の環境についてのセンサ情報を取得し、音声認識装置１００へと出力する。第１のマイク３２０－１は、入力音声データを取得する。第２のマイク３２０－２は、センサ情報（音響データ）を取得する。尚、第１のマイク３２０－１および第２のマイク３２０－２は、兼用されてもよい。また、センサ情報としての音響データは必ずしも取得されなくてよい。
【0113】
音声認識装置１００は、第２のマイク３２０－２から取得されたセンサ情報およびＬｉＤＡＲ２１０から取得されたセンサ情報（点群データ）を用いて環境情報（インパルス応答および空間の広さ）を生成する。音声認識装置１００は、環境情報を用いて環境適応処理を行う。音声認識装置１００は、環境適応処理により適応済み音声認識モデルを生成し、入力音声データから音声認識結果を生成する。
【0114】
図１７は、図１５のスマートスピーカの使用例を示す図である。図１７は、室内ＰＣの隅にスマートスピーカ５００が置いてある様子を例示する。例えば、室内ＰＣにおいて、話者Ｐがスマートスピーカ５００に対して発話することを想定する。スマートスピーカ５００が起動されると、スマートスピーカ５００に内蔵された音声認識装置１００は、音声認識処理を開始すると共に、環境適応処理を開始する。環境適応処理では、音声認識装置１００は、ＬｉＤＡＲ２１０によって室内ＰＣの平面の点群データをセンサ情報として取得する。具体的には、ＬｉＤＡＲ２１０は、室内ＰＣの右の壁、奥の壁、左の壁、床、および天井の点群データをセンサ情報Ｓ１からＳ５までとして取得する。説明の便宜上、手前の壁は省略する。音声認識装置１００は、センサ情報Ｓ１からＳ５を用いて空間の大きさの情報を生成する。以降の処理は上述のため説明を省略する。
【0115】
以上説明したように、第４の実施形態に係る音声認識装置は、第１の実施形態から第３の実施形態に係る音声認識装置と同様の効果が見込める。
【0116】
図１８は、一実施形態に係るコンピュータのハードウェア構成を例示するブロック図である。コンピュータ６００は、ハードウェアとして、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）６１０、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）６２０、プログラムメモリ６３０、補助記憶装置６４０、入出力インタフェース６５０を備える。ＣＰＵ６１０は、バス６６０を介して、ＲＡＭ６２０、プログラムメモリ６３０、補助記憶装置６４０、および入出力インタフェース６５０と通信する。
【0117】
ＣＰＵ６１０は、汎用プロセッサの一例である。ＲＡＭ６２０は、ワーキングメモリとしてＣＰＵ６１０に使用される。ＲＡＭ６２０は、ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの揮発性メモリを含む。プログラムメモリ６３０は、環境適応処理プログラムおよび音声認識処理プログラムを含む種々のプログラムを記憶する。プログラムメモリ６３０として、例えば、ＲＯＭ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、補助記憶装置６４０の一部、またはその組み合わせが使用される。補助記憶装置６４０は、データを非一時的に記憶する。補助記憶装置６４０は、ＨＤＤまたはＳＳＤなどの不揮発性メモリを含む。
【0118】
入出力インタフェース６５０は、他のデバイスと接続するためのインタフェースである。入出力インタフェース６５０は、例えば、図１および図７に示されるセンサデバイス２００、集音デバイス３００、および出力装置４００との接続、図１４に示されるマイク３１０およびディスプレイ４１０との接続、ならびに図１５のＬｉＤＡＲ２１０、マイク３２０（図１６のマイク３１０－１および３１０－２）、およびスピーカ４２０との接続に使用される。
【0119】
プログラムメモリ６３０に記憶されている各プログラムはコンピュータ実行可能命令を含む。プログラム（コンピュータ実行可能命令）は、ＣＰＵ６１０により実行されると、ＣＰＵ６１０に所定の処理を実行させる。例えば、作業推定プログラムは、ＣＰＵ６１０により実行されると、ＣＰＵ６１０に図１、２、７、８、および１１の各部に関して説明された一連の処理を実行させる。
【0120】
プログラムは、コンピュータで読み取り可能な記憶媒体に記憶された状態でコンピュータ６００に提供されてよい。この場合、例えば、コンピュータ６００は、記憶媒体からデータを読み出すドライブ（図示せず）をさらに備え、記憶媒体からプログラムを取得する。記憶媒体の例は、磁気ディスク、光ディスク（ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＤＶＤ－ＲＯＭ、ＤＶＤ－Ｒなど）、光磁気ディスク（ＭＯなど）、半導体メモリを含む。また、プログラムを通信ネットワーク上のサーバに格納し、コンピュータ６００が入出力インタフェース６５０を使用してサーバからプログラムをダウンロードするようにしてもよい。
【0121】
実施形態において説明される処理は、ＣＰＵ６１０などの汎用ハードウェアプロセッサがプログラムを実行することにより行われることに限らず、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などの専用ハードウェアプロセッサにより行われてもよい。処理回路（処理部）という語は、少なくとも１つの汎用ハードウェアプロセッサ、少なくとも１つの専用ハードウェアプロセッサ、または少なくとも１つの汎用ハードウェアプロセッサと少なくとも１つの専用ハードウェアプロセッサとの組み合わせを含む。図１８に示す例では、ＣＰＵ６１０、ＲＡＭ６２０、およびプログラムメモリ６３０が処理回路に相当する。
【0122】
よって、以上の各実施形態によれば、音声認識性能を向上することができる。
【0123】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0124】
１，１Ａ…音声認識システム、１１，１２，１３，１４，１５…波形、１００，１００Ａ…音声認識装置、１１０…環境情報生成部、１２０…汎用音声データ記憶部、１３０，１３０Ａ…ベース音響モデル記憶部、１４０…適応部、１４１…疑似インパルス応答生成部、１４２…疑似入力音声データ生成部、１４３…適応学習部、１５０…音響モデル記憶部、１６０，１６０Ａ，１６０Ｂ…音声認識部、１６１Ａ…時間計測部、１６１Ｂ…第１の認識部、１６２Ａ…選択部、１６２Ｂ…第１の信頼度計算部、１６３Ａ…認識部、１６３Ｂ…第２の認識部、１６４Ｂ…第２の信頼度計算部、１６５Ｂ…信頼度比較部、１６６Ｂ…選択部、２００…センサデバイス、２１０…ＬｉＤＡＲ、３００…集音デバイス、３１０，３１０－１，３１０－２，３２０…マイク、３２０－１…第１のマイク、３２０－２…第２のマイク、４００…出力装置、４１０…ディスプレイ、４２０，ＳＰ…スピーカ、５００…スマートスピーカ、６００…コンピュータ、６１０…ＣＰＵ、６２０…ＲＡＭ、６３０…プログラムメモリ、６４０…補助記憶装置、６５０…入出力インタフェース、６６０…バス、Ｈ…会場、Ｐ…話者、ＰＣ…室内、Ｓ１，Ｓ２，Ｓ３，Ｓ４，Ｓ５，ＳＩ…センサ情報、ＳＰ…スピーカ、Ｔ，Ｔ（１＋Ｒ），Ｔ（１－Ｒ）…時間幅、ｔ１，ｔ２…時間。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
