【文献】
大淵 康成,カーナビゲーション向け音声処理技術の最前線 ,電子情報通信学会技術研究報告,日本,一般社団法人電子情報通信学会,2015年 6月17日,第114巻,pp.3-8
(58)【調査した分野】(Int.Cl.,DB名)
前記調停部は、前記発話継続時間が所定の長さより長い場合に、前記第2の音声認識結果情報の尤もらしさを示す第2の尤度に乗算する重み付けを、前記第1の音声認識結果情報の尤もらしさを示す第1の尤度に乗算する重み付けよりも上げる、
請求項3記載の音声認識装置。
前記発話区間検出部によって前記発話区間が検出された場合に、前記発話区間検出部において検出された発話区間の継続時間である発話継続時間を測定する発話継続時間測定部をさらに備え、
前記発話区間検出部によって前記発話区間が検出された場合、前記ノイズ除去処理部は、前記第1の音声情報に含まれるノイズを除去し、
前記通信部は、前記発話区間内における前記第1の音声情報を前記サーバへ送信し、
前記調停部は、前記第1の音声認識結果情報と、前記第2の音声認識結果情報と、前記第3の音声認識結果情報と、前記第4の音声認識結果情報とのうちのいずれを出力するかを、少なくとも前記発話継続時間の長さに関する情報を用いて選択する、
請求項7記載の音声認識装置。
前記調停部は、前記発話継続時間が所定の長さより長い場合に、前記第2の音声認識結果情報の尤もらしさを示す第2の尤度及び前記第3の音声認識結果情報の尤もらしさを示す第3の尤度に乗算する重み付けを、前記第1の音声認識結果情報の尤もらしさを示す第1の尤度及び前記第4の音声認識結果情報の尤もらしさを示す第4の尤度に乗算する重み付けよりも上げる、
請求項8記載の音声認識装置。
通信部、ノイズ除去処理部、音声認識部、調停部、発話区間検出部及び発話継続時間測定部を備え、端末によって取得された音声情報に対して音声認識を行うサーバにおける音声認識方法であって、
前記通信部が、前記端末によって取得された第1の音声情報を受信し、
前記ノイズ除去処理部が、受信した前記第1の音声情報に含まれるノイズを第1の除去方式を用いて除去し、前記ノイズを除去した音声情報を第2の音声情報として出力し、
前記音声認識部が、前記第2の音声情報に対して音声認識を行い、音声認識結果を第1の音声認識結果情報として出力し、
前記通信部が、前記端末において、前記第1の除去方式により前記第1の音声情報から除去されるノイズの量よりも少ない量のノイズを除去する第2の除去方式を用いて前記第1の音声情報に含まれるノイズが除去され、前記ノイズが除去された第3の音声情報に対して音声認識が行われた結果である、音声認識結果を第2の音声認識結果情報として前記端末から受信し、
前記調停部が、前記第1の音声認識結果情報と前記第2の音声認識結果情報とのうちのいずれを出力するかを選択し、
前記発話区間検出部が、前記通信部によって受信された前記第1の音声情報におけるユーザが発話した発話区間を検出し、
前記発話継続時間測定部が、前記発話区間検出部によって前記発話区間が検出された場合に、前記発話区間検出部において検出された発話区間の継続時間である発話継続時間を測定し、
前記発話区間検出部によって前記発話区間が検出されない場合、前記ノイズ除去処理部が、前記第1の音声情報に含まれるノイズを除去しないとともに、前記第2の音声情報を出力せず、
前記発話区間検出部によって前記発話区間が検出された場合、前記ノイズ除去処理部が、前記第1の音声情報に含まれるノイズを除去し、
前記調停部が、前記音声認識部によって出力された前記第1の音声認識結果情報と前記第2の音声認識結果情報とのうちのいずれを出力するかを、少なくとも前記発話継続時間の長さに関する情報を用いて選択する、
音声認識方法。
【発明を実施するための形態】
【0010】
(本発明の基礎となった知見)
特許文献1では、ユーザがマイクロホンから離れた位置から発話した場合、音声にノイズが含まれ、音声認識が正しく動作しないという課題がある。さらに、特許文献1では、ノイズ除去処理を端末とサーバとに分散させておらず、ノイズ除去処理と音声認識処理とを併用した構成又は条件について検討されていない。
【0011】
本開示は、上記の問題を解決するためになされたもので、高騒音環境では音声認識の正確性を向上させることができ、低騒音環境では音声認識の高速化を実現することができる音声認識装置及び音声認識方法を提供する。
【0012】
本開示の一局面に係る音声認識装置は、第1の音声情報を取得する音声取得部と、前記音声取得部によって取得された前記第1の音声情報に含まれるノイズを第1の除去方式を用いて除去し、前記ノイズを除去した音声情報を第2の音声情報として出力するノイズ除去処理部と、前記ノイズ除去処理部によって出力された前記第2の音声情報に対して音声認識を行い、音声認識結果を第1の音声認識結果情報として出力する音声認識部と、前記音声取得部によって取得された前記第1の音声情報をサーバへ送信し、前記サーバにおいて、前記第1の除去方式により前記第1の音声情報から除去されるノイズの量よりもより多くの量のノイズを前記第1の音声情報から除去する第2の除去方式を用いて前記第1の音声情報に含まれるノイズが除去され、前記ノイズが除去された第3の音声情報に対して音声認識が行われた結果である、音声認識結果を第2の音声認識結果情報として前記サーバから受信する通信部と、前記音声認識部によって出力された前記第1の音声認識結果情報と、前記通信部によって受信された前記第2の音声認識結果情報とのうちのいずれを出力するかを選択する調停部と、を備える。
【0013】
この構成によれば、第1の音声情報が取得される。取得された第1の音声情報に含まれるノイズが第1の除去方式を用いて除去され、ノイズが除去された音声情報が第2の音声情報として出力される。出力された第2の音声情報に対して音声認識が行われ、音声認識結果が第1の音声認識結果情報として出力される。また、取得された第1の音声情報がサーバへ送信され、サーバにおいて、第1の除去方式により前記第1の音声情報から除去されるノイズの量よりもより多くの量のノイズを前記第1の音声情報から除去する第2の除去方式を用いて第1の音声情報に含まれるノイズが除去され、ノイズが除去された第3の音声情報に対して音声認識が行われた結果である、音声認識結果が第2の音声認識結果情報としてサーバから受信される。出力された第1の音声認識結果情報と、受信された第2の音声認識結果情報とのうちのいずれを出力するかが選択される。
【0014】
したがって、高騒音環境では、音声認識装置よりもより多くの量のノイズを第1の音声情報から除去することが可能なサーバにおいてノイズを除去することで、音声認識の正確性を向上させることができ、低騒音環境では音声認識装置において第1の音声情報からノイズを除去することで、音声認識の高速化を実現することができる。
【0015】
また、上記の音声認識装置において、前記音声認識部は、前記第1の音声認識結果情報の尤もらしさを示す第1の尤度を算出し、算出した前記第1の尤度を前記調停部に出力し、前記通信部は、前記サーバによって算出された前記第2の音声認識結果情報の尤もらしさを示す第2の尤度を受信し、受信した前記第2の尤度を前記調停部に出力し、前記調停部は、前記第1の音声認識結果情報と前記第2の音声認識結果情報とのうちのいずれを出力するかを、前記第1の尤度及び前記第2の尤度の少なくとも1つに基づいて選択してもよい。
【0016】
この構成によれば、第1の音声認識結果情報の尤もらしさを示す第1の尤度が算出され、算出された第1の尤度が出力される。また、サーバによって算出された第2の音声認識結果情報の尤もらしさを示す第2の尤度が受信され、受信された第2の尤度が出力される。そして、第1の音声認識結果情報と第2の音声認識結果情報とのうちのいずれを出力するかが、第1の尤度及び第2の尤度の少なくとも1つに基づいて選択される。
【0017】
したがって、出力される音声認識結果が尤度に基づいて選択されるので、より正確な音声認識結果を出力することができる。
【0018】
また、上記の音声認識装置において、前記調停部は、前記第1の尤度が所定の第1の閾値より大きい場合には前記第1の音声認識結果情報を出力し、前記第1の尤度が前記第1の閾値以下であり、前記第2の尤度が所定の第2の閾値より大きい場合には前記第2の音声認識結果情報を出力し、前記第1の尤度が前記第1の閾値以下であり、前記第2の尤度が前記第2の閾値以下である場合には前記第1の音声認識結果情報及び前記第2の音声認識結果情報のいずれも出力しなくてもよい。
【0019】
この構成によれば、第1の尤度が所定の第1の閾値より大きい場合には第1の音声認識結果情報が出力され、第1の尤度が第1の閾値以下であり、第2の尤度が所定の第2の閾値より大きい場合には第2の音声認識結果情報が出力され、第1の尤度が第1の閾値以下であり、第2の尤度が第2の閾値以下である場合には第1の音声認識結果情報及び第2の音声認識結果情報のいずれも出力されない。
【0020】
したがって、尤度と閾値とを比較することにより音声認識結果が選択されるので、出力する音声認識結果をより簡単な構成で選択することができる。
【0021】
また、上記の音声認識装置において、前記音声取得部によって取得された前記第1の音声情報におけるユーザが発話した発話区間を検出する発話区間検出部をさらに備え、前記発話区間検出部によって前記発話区間が検出されない場合、前記ノイズ除去処理部は、前記第1の音声情報に含まれるノイズを除去しないとともに、前記第2の音声情報を出力せず、前記通信部は、前記第1の音声情報をサーバへ送信しなくてもよい。
【0022】
この構成によれば、取得された第1の音声情報におけるユーザが発話した発話区間が検出される。そして、発話区間が検出されない場合には、第1の音声情報に含まれるノイズが除去されないとともに、第2の音声情報が出力されず、第1の音声情報がサーバへ送信されない。
【0023】
したがって、ユーザが発話した発話区間でなければ、第1の音声情報に含まれるノイズが除去されないとともに、第2の音声情報が出力されず、第1の音声情報がサーバへ送信されないので、不要な演算処理が行われるのを防止することができるとともに、不要な情報が送信されるのを防止することができる。
【0024】
また、上記の音声認識装置において、前記発話区間検出部によって前記発話区間が検出された場合に、前記発話区間検出部において検出された発話区間の継続時間である発話継続時間を測定する発話継続時間測定部をさらに備え、前記発話区間検出部によって前記発話区間が検出された場合、前記ノイズ除去処理部は、前記第1の音声情報に含まれるノイズを除去し、前記通信部は、前記発話区間内における前記第1の音声情報を前記サーバへ送信し、前記調停部は、前記音声認識部によって出力された前記第1の音声認識結果情報と、前記通信部によって受信された前記第2の音声認識結果情報とのうちのいずれを出力するかを、少なくとも前記発話継続時間の長さに関する情報を用いて選択してもよい。
【0025】
この構成によれば、発話区間が検出された場合に、検出された発話区間の継続時間である発話継続時間が測定される。発話区間が検出された場合には、第1の音声情報に含まれるノイズが除去されるとともに、発話区間内における第1の音声情報がサーバへ送信される。そして、出力された第1の音声認識結果情報と、受信された第2の音声認識結果情報とのうちのいずれを出力するかが、少なくとも発話継続時間の長さに関する情報を用いて選択される。
【0026】
したがって、少なくとも発話継続時間の長さに関する情報が用いられることにより音声認識結果が選択されるので、出力する音声認識結果をより簡単な構成で選択することができる。
【0027】
また、上記の音声認識装置において、前記調停部は、前記発話継続時間が所定の長さより長い場合に、前記第2の音声認識結果情報の尤もらしさを示す第2の尤度に乗算する重み付けを、前記第1の音声認識結果情報の尤もらしさを示す第1の尤度に乗算する重み付けよりも上げてもよい。
【0028】
この構成によれば、発話継続時間が所定の長さより長い場合に、第2の音声認識結果情報の尤もらしさを示す第2の尤度に乗算する重み付けが、第1の音声認識結果情報の尤もらしさを示す第1の尤度に乗算する重み付けよりも上げられる。発話継続時間が長い場合、単語数が多い高度な音声指示を行っている可能性が高い。そのため、発話継続時間が長い場合、サーバから出力される音声認識結果を採用することにより、誤認識を防止することができる。
【0029】
また、上記の音声認識装置において、前記通信部は、前記第3の音声情報を前記サーバから受信し、受信した前記第3の音声情報を前記音声認識部へ出力し、前記音声認識部は、前記通信部によって受信された前記第3の音声情報に対して音声認識を行い、音声認識結果を第4の音声認識結果情報として出力し、前記ノイズ除去処理部によって出力された前記第2の音声情報をサーバへ送信し、前記第2の音声情報に対して音声認識が行われた音声認識結果を第3の音声認識結果情報として前記サーバから受信し、受信した前記第3の音声認識結果情報を前記調停部へ出力し、前記調停部は、前記音声認識部によって出力された前記第1の音声認識結果情報と、前記通信部によって受信された前記第2の音声認識結果情報と、前記通信部によって受信された前記第3の音声認識結果情報と、前記音声認識部によって出力された前記第4の音声認識結果情報とのうちのいずれを出力するかを選択してもよい。
【0030】
この構成によれば、第3の音声情報がサーバから受信され、受信された第3の音声情報が音声認識部へ出力される。受信された第3の音声情報に対して音声認識が行われ、音声認識結果が第4の音声認識結果情報として出力される。また、出力された第2の音声情報がサーバへ送信され、第2の音声情報に対して音声認識が行われた音声認識結果が第3の音声認識結果情報としてサーバから受信され、受信された第3の音声認識結果情報が調停部へ出力される。そして、出力された第1の音声認識結果情報と、受信された第2の音声認識結果情報と、受信された第3の音声認識結果情報と、出力された第4の音声認識結果情報とのうちのいずれを出力するかが選択される。
【0031】
したがって、音声認識装置によりノイズ除去処理及び音声認識処理が行われた第1の音声認識結果と、サーバによりノイズ除去処理及び音声認識処理が行われた第2の音声認識結果と、音声認識装置によりノイズ除去処理が行われてサーバにより音声認識処理が行われた第3の音声認識結果と、サーバによりノイズ除去処理が行われて音声認識装置により音声認識処理が行われた第4の音声認識結果とのいずれかが出力されるので、環境音の状態と音声認識の性能とに応じて最適な音声認識結果を得ることができる。
【0032】
また、上記の音声認識装置において、前記音声認識部は、前記第1の音声認識結果情報の尤もらしさを示す第1の尤度を算出し、算出した前記第1の尤度を前記調停部に出力し、前記通信部は、前記サーバによって算出された前記第2の音声認識結果情報の尤もらしさを示す第2の尤度を受信し、受信した前記第2の尤度を前記調停部に出力し、前記通信部は、前記サーバによって算出された前記第3の音声認識結果情報の尤もらしさを示す第3の尤度を受信し、受信した前記第3の尤度を前記調停部に出力し、前記音声認識部は、前記第4の音声認識結果情報の尤もらしさを示す第4の尤度を算出し、算出した前記第4の尤度を前記調停部に出力し、前記調停部は、前記第1の音声認識結果情報と、前記第2の音声認識結果情報と、前記第3の音声認識結果情報と、前記第4の音声認識結果情報とのうちのいずれを出力するかを、前記第1の尤度、前記第2の尤度、前記第3の尤度及び前記第4の尤度のうちの少なくとも1つに基づいて選択してもよい。
【0033】
この構成によれば、第1の音声認識結果情報の尤もらしさを示す第1の尤度が算出され、算出された第1の尤度が出力される。また、サーバによって算出された第2の音声認識結果情報の尤もらしさを示す第2の尤度が受信され、受信された第2の尤度が出力される。さらに、サーバによって算出された第3の音声認識結果情報の尤もらしさを示す第3の尤度が受信され、受信された第3の尤度が出力される。さらにまた、第4の音声認識結果情報の尤もらしさを示す第4の尤度が算出され、算出された第4の尤度が出力される。そして、第1の音声認識結果情報と、第2の音声認識結果情報と、第3の音声認識結果情報と、第4の音声認識結果情報とのうちのいずれを出力するかが、第1の尤度、第2の尤度、第3の尤度及び第4の尤度のうちの少なくとも1つに基づいて選択される。
【0034】
したがって、出力される音声認識結果が尤度に基づいて選択されるので、より正確な音声認識結果を出力することができる。
【0035】
また、上記の音声認識装置において、前記音声取得部によって取得された前記第1の音声情報におけるユーザが発話した発話区間を検出する発話区間検出部をさらに備え、前記発話区間検出部によって前記発話区間が検出されない場合、前記ノイズ除去処理部は、前記第1の音声情報に含まれるノイズを除去しないとともに、前記第2の音声情報を出力せず、前記通信部は、前記第1の音声情報をサーバへ送信しなくてもよい。
【0036】
この構成によれば、取得された音声情報におけるユーザが発話した発話区間が検出される。そして、発話区間が検出されない場合には、第1の音声情報に含まれるノイズが除去されないとともに、第1の音声情報がサーバへ送信されない。
【0037】
したがって、ユーザが発話した発話区間でなければ、第1の音声情報に含まれるノイズが除去されないとともに、第2の音声情報が出力されず、第1の音声情報がサーバへ送信されないので、不要な演算処理が行われるのを防止することができるとともに、不要な情報が送信されるのを防止することができる。
【0038】
また、上記の音声認識装置において、前記発話区間検出部によって前記発話区間が検出された場合に、前記発話区間検出部において検出された発話区間の継続時間である発話継続時間を測定する発話継続時間測定部をさらに備え、前記発話区間検出部によって前記発話区間が検出された場合、前記ノイズ除去処理部は、前記第1の音声情報に含まれるノイズを除去し、前記通信部は、前記発話区間内における前記第1の音声情報を前記サーバへ送信し、前記調停部は、前記第1の音声認識結果情報と、前記第2の音声認識結果情報と、前記第3の音声認識結果情報と、前記第4の音声認識結果情報とのうちのいずれを出力するかを、少なくとも前記発話継続時間の長さに関する情報を用いて選択してもよい。
【0039】
この構成によれば、発話区間が検出された場合に、検出された発話区間の継続時間である発話継続時間が測定される。発話区間が検出された場合には、第1の音声情報に含まれるノイズが除去されるとともに、発話区間内における第1の音声情報がサーバへ送信される。そして、第1の音声認識結果情報と、第2の音声認識結果情報と、第3の音声認識結果情報と、第4の音声認識結果情報とのうちのいずれを出力するかが、少なくとも発話継続時間の長さに関する情報を用いて選択される。
【0040】
したがって、少なくとも発話継続時間の長さに関する情報が用いられることにより音声認識結果が選択されるので、出力する音声認識結果をより簡単な構成で選択することができる。
【0041】
また、上記の音声認識装置において、前記調停部は、前記発話継続時間が所定の長さより長い場合に、前記第2の音声認識結果情報の尤もらしさを示す第2の尤度及び前記第3の音声認識結果情報の尤もらしさを示す第3の尤度に乗算する重み付けを、前記第1の音声認識結果情報の尤もらしさを示す第1の尤度及び前記第4の音声認識結果情報の尤もらしさを示す第4の尤度に乗算する重み付けよりも上げてもよい。
【0042】
この構成によれば、発話継続時間が所定の長さより長い場合に、第2の音声認識結果情報の尤もらしさを示す第2の尤度及び第3の音声認識結果情報の尤もらしさを示す第3の尤度に乗算する重み付けが、第1の音声認識結果情報の尤もらしさを示す第1の尤度及び第4の音声認識結果情報の尤もらしさを示す第4の尤度に乗算する重み付けよりも上げられる。発話継続時間が長い場合、単語数が多い高度な音声指示を行っている可能性が高い。そのため、発話継続時間が長い場合、サーバによって算出される音声認識結果を採用することにより、誤認識を防止することができる。
【0043】
また、上記の音声認識装置において、前記調停部は、前記発話継続時間が所定の長さより長い場合に、前記第2の尤度に乗算する重み付けを、前記第3の尤度に乗算する重み付けよりも上げてもよい。
【0044】
この構成によれば、発話継続時間が所定の長さより長い場合に、第2の尤度に乗算する重み付けが、第3の尤度に乗算する重み付けよりも上げられる。
【0045】
したがって、サーバによりノイズ除去処理及び音声認識処理が行われた第2の音声認識結果情報が、音声認識装置によりノイズ除去処理が行われてサーバにより音声認識処理が行われた第3の音声認識結果情報よりもより高い優先順位が与えられるので、より誤認識を防止することができる。
【0046】
本開示の他の局面に係る音声認識装置は、第1の音声情報を取得する音声取得部と、前記音声取得部によって取得された前記第1の音声情報に含まれるノイズを第1の除去方式を用いて除去し、前記ノイズを除去した音声情報を第2の音声情報として出力するノイズ除去処理部と、前記音声取得部によって取得された前記第1の音声情報をサーバへ送信し、前記サーバにおいて前記第1の除去方式により前記第1の音声情報から除去されるノイズの量よりもより多くの量のノイズを前記第1の音声情報から除去する第2の除去方式を用いて前記第1の音声情報に含まれるノイズが除去された第3の音声情報を前記サーバから受信する通信部と、前記ノイズ除去処理部によって出力された前記第2の音声情報に対して音声認識を行い、音声認識結果を第1の音声認識結果情報として出力するとともに、前記通信部によって受信された前記第3の音声情報に対して音声認識を行い、音声認識結果を第2の音声認識結果情報として出力する音声認識部と、前記音声認識部によって出力された前記第1の音声認識結果情報と前記第2の音声認識結果情報とのうちのいずれを出力するかを選択する調停部と、を備える。
【0047】
この構成によれば、第1の音声情報が取得される。取得された第1の音声情報に含まれるノイズが第1の除去方式を用いて除去され、ノイズが除去された音声情報が第2の音声情報として出力される。取得された第1の音声情報がサーバへ送信され、サーバにおいて第1の除去方式により前記第1の音声情報から除去されるノイズの量よりもより多くの量のノイズを前記第1の音声情報から除去する第2の除去方式を用いて第1の音声情報に含まれるノイズが除去された第3の音声情報がサーバから受信される。出力された第2の音声情報に対して音声認識が行われ、音声認識結果が第1の音声認識結果情報として出力されるとともに、受信された第3の音声情報に対して音声認識が行われ、音声認識結果が第2の音声認識結果情報として出力される。出力された第1の音声認識結果情報と第2の音声認識結果情報とのうちのいずれを出力するかが選択される。
【0048】
したがって、高騒音環境では、音声認識装置よりも多くの量のノイズを除去することが可能なサーバにおいてノイズを除去することで、音声認識の正確性を向上させることができ、静音環境では音声認識装置においてノイズを除去することで、音声認識の高速化を実現することができる。
【0049】
本開示の他の局面に係る音声認識方法は、通信部、ノイズ除去処理部、音声認識部及び調停部を備え、端末によって取得された音声情報に対して音声認識を行うサーバにおける音声認識方法であって、前記通信部が、前記端末によって取得された第1の音声情報を受信し、前記ノイズ除去処理部が、受信した前記第1の音声情報に含まれるノイズを第1の除去方式を用いて除去し、前記ノイズを除去した音声情報を第2の音声情報として出力し、前記音声認識部が、前記第2の音声情報に対して音声認識を行い、音声認識結果を第1の音声認識結果情報として出力し、前記通信部が、前記端末において、前記第1の除去方式により前記第1の音声情報から除去されるノイズの量よりも少ない量のノイズを除去する第2の除去方式を用いて前記第1の音声情報に含まれるノイズが除去され、前記ノイズが除去された第3の音声情報に対して音声認識が行われた結果である、音声認識結果を第2の音声認識結果情報として前記端末から受信し、前記調停部が、前記第1の音声認識結果情報と前記第2の音声認識結果情報とのうちのいずれを出力するかを選択する。
【0050】
この構成によれば、第1の音声情報が受信される。受信された第1の音声情報に含まれるノイズが第1の除去方式を用いて除去され、ノイズが除去された音声情報が第2の音声情報として出力される。出力された第2の音声情報に対して音声認識が行われ、音声認識結果が第1の音声認識結果情報として出力される。また、端末において第1の除去方式により前記第1の音声情報から除去されるノイズの量よりも少ない量のノイズを除去する第2の除去方式を用いて第1の音声情報に含まれるノイズが除去され、ノイズが除去された第3の音声情報に対して音声認識が行われた結果である、音声認識結果が第2の音声認識結果情報として端末から受信される。出力された第1の音声認識結果情報と、受信された第2の音声認識結果情報とのうちのいずれを出力するかが選択される。
【0051】
したがって、高騒音環境では、音声認識装置よりも多くの量のノイズを第1の音声情報から除去することが可能なサーバにおいてノイズを除去することで、音声認識の正確性を向上させることができ、静音環境では音声認識装置においてノイズを第1の音声情報から除去することで、音声認識の高速化を実現することができる。
【0052】
以下添付図面を参照しながら、本開示の実施の形態について説明する。なお、以下の実施の形態は、本開示を具体化した一例であって、本開示の技術的範囲を限定するものではない。
【0053】
(実施の形態1)
図1は、本開示の実施の形態1に係る音声認識システムの全体構成を示す図である。
【0054】
図1に示す音声認識システムは、端末100及びサーバ200を備える。端末100は、ネットワーク(例えば、インターネット)300を介してサーバ200と互いに通信可能に接続されている。
【0055】
端末100は、例えば、家庭内に配置されたテレビ又はエアコンなどを制御する機器である。端末100は、所定の言語で発話された音声の認識を行う。また、端末100は、音声を認識し、音声認識の結果に基づいて家庭内に配置されたテレビ又はエアコンを制御する。
【0056】
端末100は、例えば、制御対象の機器(例えば、家庭内に配置されたテレビ又はエアコン)と別体であってもよいし、制御対象の機器に含まれていてもよい。
【0057】
端末100は、通信部101、マイク102、スピーカ103、制御部104、メモリ105及び表示部106を備える。なお、マイク102、スピーカ103及び表示部106は、端末100に内蔵されていなくてもよい。
【0058】
通信部101は、ネットワーク300を介してサーバ200に情報を送信するとともに、ネットワーク300を介してサーバ200から情報を受信する。通信部101のネットワーク300への接続方法に関しては問わない。マイク102は、周囲の音を収集し、音声情報を取得する。スピーカ103は、音声を出力する。
【0059】
制御部104は、例えば、CPU(中央演算処理装置)を有し、後述するメモリ105に格納された制御用のプログラムをCPUが実行することにより、制御部104として機能する。制御部104は、例えば、通信部101によって受信された様々なデータ(情報)を処理し、端末100内の各構成の動作を制御する。
【0060】
メモリ105は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)又はHDD(Hard Disk Drive)などであり、通信部101によって受信されたデータ(情報)、制御部104によって演算されたデータ(情報)、又は制御用のプログラム等を格納する。表示部106は、例えば液晶表示装置であり、種々の情報を表示する。
【0061】
また、端末100は、音声認識の結果である言葉又は文章を別の言語の言葉又は文章に翻訳する翻訳部(図示せず)を有してもよい。翻訳部が翻訳した結果は、例えば表示部106に表示してもよい。また、翻訳部が翻訳した結果は、例えば、端末100の制御対象である家庭内に配置されたテレビなどの機器の表示画面に表示をしてもよい。
【0062】
サーバ200は、通信部201、制御部202及びメモリ203を備える。
【0063】
通信部201は、ネットワーク300を介して端末100に情報を送信するとともに、ネットワーク300を介して端末100から情報を受信する。
【0064】
制御部202は、例えば、CPUを有し、後述するメモリ203に格納された制御用のプログラムをCPUが実行することにより、制御部202として機能する。制御部202は、例えば、通信部201によって受信された様々なデータ(情報)を処理し、サーバ200内の各構成の動作を制御する。
【0065】
メモリ203は、例えば、ROM、RAM又はHDDなどであり、通信部201によって受信されたデータ(情報)、制御部202によって処理されたデータ(情報)、又は制御用のプログラム等を格納する。
【0066】
図2は、本開示の実施の形態1における音声認識システムの機能構成を示す図である。
図2に示すように、音声認識システムは、端末100及びサーバ200を備える。端末100は、音声取得部11、第1の収音処理部12、第1の音声認識部13及び調停部14を備える。サーバ200は、第2の収音処理部21及び第2の音声認識部22を備える。
【0067】
なお、音声取得部11は、マイク102によって実現され、第1の収音処理部12、第1の音声認識部13及び調停部14は、制御部104によって実現される。また、第2の収音処理部21及び第2の音声認識部22は、制御部202によって実現される。
【0068】
音声取得部11は、第1の音声情報を取得する。ここで、音声情報とは、例えば音声の信号波形であるが、信号波形を周波数分析した音声の特徴量であっても構わない。不図示の通信部101は、音声取得部11によって取得された第1の音声情報をサーバ200へ送信する。サーバ200の通信部201は、端末100によって送信された第1の音声情報を受信する。
【0069】
第1の収音処理部12は、音声取得部11によって取得された第1の音声情報に含まれるノイズを第1の除去方式を用いて除去し、ノイズを除去した音声情報を第2の音声情報として出力する。
【0070】
第1の音声認識部13は、第1の収音処理部12によって出力された第2の音声情報に対して音声認識を行い、音声認識結果を第1の音声認識結果情報として出力する。第1の音声認識部13は、音声認識を行った際の第1の音声認識結果情報の尤もらしさを示す第1の尤度を算出し、算出した第1の尤度を第1の音声認識結果情報とともに調停部14に出力する。
【0071】
第1の音声認識部13は、第1の収音処理部12によってノイズが除去された第2の音声情報に対する音声認識を行う。第1の音声認識部13は、予め記憶された音響モデル及び言語モデルと、端末用辞書とを参照して、第2の音声情報に対する音声認識を行う。音声認識結果は、第2の音声情報を音声認識した結果の文字列である、複数の単語から構成される文字列データを含む。第1の尤度は、第2の音声情報の音声認識結果(つまり、第1の音声認識結果情報)の尤もらしさを示す。具体的には第1の尤度は、例えば、文字列データ全体の尤もらしさ、または文字列データを構成する各単語の尤もらしさを示す。
【0072】
第1の音声認識部13は、第2の音声情報から得られる発話内容と、端末用辞書に含まれる複数の語彙のそれぞれとの一致する度合い(尤度)を計算する。第1の音声認識部13は、発話した内容と、最も一致する度合いの高い語彙を端末用辞書に含まれる語彙の中から選択し、選択した語彙を音声認識結果に含める。
【0073】
第1の音声認識部13は、発話内容に複数の単語が含まれる場合、各単語に対して一致する度合いの最も高い語彙を選択し、選択した語彙を音声認識結果に含める。
【0074】
第1の音声認識部13は、選択した語彙に対応する尤度を第1の尤度とする。
【0075】
または、第1の音声認識部13は、音声認識結果に複数の語彙が含まれる場合、各語彙に対応する尤度に基づいて、複数の語彙全体に対する尤度を算出し、算出した尤度を第1の尤度としてもよい。
【0076】
第1の尤度の値は、第1の音声認識部13が選択する語彙と、発話内容との一致する度合いが高い程、高くなる。
【0077】
そして、第1の音声認識部13は、音声認識結果を第1の音声認識結果情報として調停部14へ出力する。また、第1の音声認識部13は、第1の尤度を調停部14へ出力する。
【0078】
端末用辞書は、認識対象の単語が登録されてリスト化されたものであり、端末100に記憶されている。端末用辞書には、例えば、端末100の動作を制御するための単語が主に含まれる。端末用辞書には、例えば、端末100が家庭内に配置された機器を制御するための単語が含まれていてもよい。
【0079】
第2の収音処理部21は、通信部201によって受信された第1の音声情報に含まれるノイズを、第1の除去方式よりも高いレベル(または、より多い量)のノイズを除去する第2の除去方式を用いて除去する。
【0080】
逆に言えば、第1の収音処理部12は、第1の音声情報に含まれるノイズを、第2の除去方式よりも低いレベル(または、より少ない量)のノイズを除去する第1の除去方式を用いて除去する。
【0081】
第2の収音処理部21は、第2の除去方式を用いて第1の音声情報からノイズを除去した音声情報を第3の音声情報として出力する。第2の収音処理部21は、第1の収音処理部12によるノイズ除去量よりも多い量のノイズを第1の音声情報から除去する。
【0082】
第2の音声認識部22は、第2の収音処理部21によって出力された第3の音声情報に対して音声認識を行い、音声認識結果を第2の音声認識結果情報として出力する。第2の音声認識部22は、音声認識を行った際の第2の音声認識結果情報の尤もらしさを示す第2の尤度を算出し、算出した第2の尤度を第2の音声認識結果情報とともに通信部201に出力する。通信部201は、第2の音声認識部22によって出力された第2の音声認識結果情報および第2の尤度を端末100へ送信する。端末100の通信部101は、サーバ200によって送信された第2の音声認識結果情報を受信する。通信部101は、サーバ200によって音声認識を行った際に算出された第2の音声認識結果情報の尤もらしさを示す第2の尤度を受信し、受信した第2の尤度を調停部14に出力する。
【0083】
第2の音声認識部22は、第2の収音処理部21によってノイズが除去された第3の音声情報に対する音声認識を行う。第2の音声認識部22は、予め記憶された音響モデル及び言語モデルと、サーバ用辞書とを参照して、第3の音声情報に対する音声認識を行う。音声認識結果は、第3の音声情報を音声認識した結果の文字列である、複数の単語から構成される文字列データを含む。第2の尤度は、第3の音声情報の音声認識結果(つまり第2の音声認識結果情報)の尤もらしさを示す。具体的には第2の尤度は、例えば、文字列データ全体の尤もらしさ、または文字列データを構成する各単語の尤もらしさを示す。
【0084】
第2の音声認識部22は、第3の音声情報から得られる発話内容と、サーバ用辞書に含まれる複数の語彙のそれぞれとの一致する度合い(尤度)を計算する。第2の音声認識部22は、発話した内容と、最も一致する度合いの高い語彙をサーバ用辞書に含まれる語彙の中から選択し、選択した語彙を音声認識結果に含める。
【0085】
第2の音声認識部22は、発話内容に複数の単語が含まれる場合、各単語に対して一致する度合いの最も高い語彙を選択し、選択した語彙を音声認識結果に含める。
【0086】
第2の音声認識部22は、選択した語彙に対応する尤度を第2の尤度とする。
【0087】
または、第2の音声認識部22は、音声認識結果に複数の語彙が含まれる場合、各語彙に対応する尤度に基づいて、複数の語彙全体に対する尤度を算出し、算出した尤度を第2の尤度としてもよい。
【0088】
第2の尤度の値は、第2の音声認識部22が選択する語彙と、発話内容との一致する度合いが高い程、高くなる。
【0089】
そして、第2の音声認識部22は、音声認識結果を第2の音声認識結果情報として端末100へ通信部201を介して送信する。第2の音声認識部22は、第2の尤度を端末100へ通信部201を介して送信する。
【0090】
また、通信部101は、受信した第2の音声認識結果情報および第2の尤度を調停部14に出力する。
【0091】
サーバ用辞書は、認識対象の単語が登録されてリスト化されたものであり、サーバ200に記憶されている。サーバ用辞書には、端末100の動作を制御するための単語だけでなく、種々の検索キーワードなどが含まれる。サーバ用辞書には、端末100が機器を制御するための情報が含まれていてもよい。サーバ用辞書の語彙数は、端末用辞書の語彙数よりも多い。サーバ用辞書の語彙数が例えば十万〜数十万語であるのに対し、端末用辞書の語彙数は例えば数十〜数百語である。
【0092】
ここで、第1の収音処理部12と第2の収音処理部21との差異について説明する。第1の収音処理部12は、複数の音声信号のパワー又は相関を用いた信号処理によりノイズを除去する。一方、第2の収音処理部21は、上記の信号処理に加えて、音声を示す信号又はノイズを示す信号を統計的にモデル化し、分離する信号の確率的な尤もらしさを用いてノイズを除去する。
【0093】
モデル化においては、第2の収音処理部21が受信する第1の音声情報(音声信号)を発話者の音声に対応する音声信号、ノイズに対応する信号に分離するためにパラメータを事前に決定する必要がある。
【0094】
例えば、以下の処理を事前に行う。まず、予めモデル化に必要なパラメータを決めておく。そして、騒音が大きい環境下において、発話者が発話することにより得られる第1の音声情報に上述のモデルを適用し、ノイズに対応する信号を除去する処理を行い、この処理により得られる音声信号の評価を行う。
【0095】
または、騒音が大きい環境下において、発話者が発話することにより得られる第1の音声情報に対し、第1の収音処理部12と同じ処理を行い、第1の音声情報からノイズを除去した音声信号に対し、上述のモデルを適用し、ノイズに対応する信号を除去する処理を行い、この処理により得られる音声信号の評価を行うのでもよい。
【0096】
この処理により得られる音声信号に対する評価値が、予め定めた評価値よりも低ければ、上述のパラメータを修正し、再度、騒音が大きい環境下において、発話者が発話することにより得られる第1の音声情報からノイズに対応する信号を除去する処理、音声信号の評価を行う。
【0097】
この処理により得られる音声信号に対する評価値が、予め定めた評価値よりも高ければ、上述の音声信号を得るために用いたパラメータを第2の収音処理部21の処理に用いるパラメータ(事前学習されたパラメータ)として保持する。
【0098】
そして、事前学習されたパラメータを用いて、音声を示す信号又はノイズを示す信号を統計的にモデル化する。第2の収音処理部21は、事前学習されたパラメータを保持している。
【0099】
事前学習されたパラメータは、騒音が大きい環境下において、発話者が発話したとき、端末100により取得される第1の音声情報に含まれる音声を示す信号又はノイズを示す信号を統計的にモデル化し、分離する信号の確率的な尤もらしさを用いてノイズを除去するのに適したパラメータとなっている。
【0100】
実際に音声認識が必要となった場合、第2の収音処理部21は、事前学習されたパラメータを用いて、音声を示す信号又はノイズを示す信号を統計的にモデル化し、分離する信号の確率的な尤もらしさを用いてノイズを第1の音声情報から除去する。
【0101】
このとき、第2の収音処理部21は、端末100から取得される第1の音声情報を用いて、事前学習されたパラメータを必要に応じて更新してもよい。
【0102】
このようにすることで、事前学習されたパラメータが発話者が発話している環境により適合したパラメータに更新される。
【0103】
一般的な知見として、音声信号のパワー又は相関を用いた信号処理により第1の音声情報からノイズを除去する方式よりも、音声を示す信号又はノイズを示す信号を統計的にモデル化し、分離する信号の確率的な尤もらしさを用いて第1の音声情報からノイズを除去する方式の方が除去できるノイズの量は多い。
【0104】
当然のことながら、音声信号のパワー又は相関を用いた信号処理により第1の音声情報からノイズを除去した後、この方式によりノイズが除去された第1の音声情報に含まれる音声を示す信号又はノイズを示す信号を統計的にモデル化し、分離する信号の確率的な尤もらしさを用いてノイズを除去することにより、音声信号のパワー又は相関を用いた信号処理により第1の音声情報からノイズを除去する方式のみを行う場合に比べ第1の音声情報からより多くのノイズを除去できる。
【0105】
つまり、第2の収音処理部21が除去するノイズ量は、第1の収音処理部12が除去するノイズ量よりも大きい。そのため、第2の収音処理部21は、騒音が大きい環境においても、十分にノイズ(騒音)を除去し、ユーザの発話のみを抽出することができる。第2の収音処理部21は、例えば、第1の収音処理部12よりもより多くの事前学習されたパラメータを保持して、より多くの演算処理を行う。そのため、第2の収音処理部21がノイズ除去に要する時間は、第1の収音処理部12がノイズ除去に要する時間よりも長くなり、例えば数十msから数百ms程度長くなる。また、第2の収音処理部21では、ノイズ除去処理のアルゴリズムをリアルタイムに更新することが可能であるのに対し、第1の収音処理部12では、ノイズ除去処理のアルゴリズムを更新するためにプログラムのアップデートが必要となる。
【0106】
上記のように第1の収音処理部12は音声信号のパワー又は相関を用いてノイズを除去し、第2の収音処理部21は音声を示す信号又はノイズを示す信号を統計的にモデル化し、分離する信号の確率的な尤もらしさを用いてノイズを除去する。しかしながら、これらの収音処理部は、別の方法でノイズを除去してもよい。
【0107】
すなわち、第2の収音処理部21が第1の収音処理部12よりも多くの量のノイズを第1の音声情報から除去するのであれば、第1の収音処理部12、および第2の収音処理部21のノイズを除去する具体的な処理はどのようなものであってもよい。
【0108】
続いて、第1の音声認識部13と第2の音声認識部22との差異について説明する。上記のように、第1の音声認識部13と第2の音声認識部22とでは、音声認識に使用される辞書の語彙数が異なっており、サーバ用辞書の語彙数は、端末用辞書の語彙数よりも多い。そのため、第2の音声認識部22の認識可能な単語数は、第1の音声認識部13の認識可能な単語数よりも多い。なお、第1の音声認識部13は、辞書を用いずに音声を単に文字化してもよい。第2の音声認識部22が音声認識に要する時間は、第1の音声認識部13が音声認識に要する時間よりも長くなり、例えば数十msから数百ms程度長くなる。また、第2の音声認識部22では、音声認識処理のアルゴリズムをリアルタイムに更新することが可能であるのに対し、第1の音声認識部13では、音声認識処理のアルゴリズムを更新するためにプログラムのアップデートが必要となる。
【0109】
調停部14は、第1の音声認識部13によって出力された第1の音声認識結果情報と、通信部101によって受信された第2の音声認識結果情報とのうちのいずれを出力するかを選択する。調停部14は、この選択を、第1の尤度及び第2の尤度の少なくとも1つに基づいて行う。すなわち、調停部14は、第1の尤度が所定の第1の閾値より大きい場合には第1の音声認識結果情報を出力する。また、調停部14は、第1の尤度が第1の閾値以下であり、第2の尤度が所定の第2の閾値より大きい場合には第2の音声認識結果情報を出力する。さらに、調停部14は、第1の尤度が第1の閾値以下であり、第2の尤度が第2の閾値以下である場合には第1の音声認識結果情報及び第2の音声認識結果情報のいずれも出力しない。第1の閾値および第2の閾値は、例えば、端末100のメモリ105に記憶されている。
【0110】
なお、調停部14は、第1の音声認識結果情報及び第2の音声認識結果情報のうち、先に入力された情報の尤度と閾値とを比較する。例えば、第1の音声認識結果情報が第2の音声認識結果情報よりも先に調停部14に入力された場合、調停部14は、第1の音声認識結果情報に対応する第1の尤度と第1の閾値とを比較し、第1の尤度が第1の閾値より大きい場合には第1の音声認識結果情報を出力する。一方、第1の尤度が第1の閾値以下である場合、調停部14は、第2の音声認識結果情報が入力されるのを待ち、その後、第2の音声認識結果情報が入力された場合、第2の音声認識結果情報に対応する第2の尤度と第2の閾値とを比較し、第2の尤度が第2の閾値より大きい場合には第2の音声認識結果情報を出力する。このとき、第2の尤度が第2の閾値以下である場合、調停部14は、満足のいく音声認識結果が得られなかったと判断し、第1の音声認識結果情報及び第2の音声認識結果情報のいずれも出力しない。以上の処理は、第2の音声認識結果情報が第1の音声認識結果情報よりも先に入力された場合にも、同様に行われる。
【0111】
図3は、本開示の実施の形態1における音声認識システムの動作の一例を示すフローチャートである。
【0112】
まず、ステップS1において、端末100の音声取得部11は、第1の音声情報を取得する。
【0113】
次に、ステップS2において、通信部101は、音声取得部11によって取得された第1の音声情報をサーバ200へ送信する。
【0114】
次に、ステップS3において、第1の収音処理部12は、音声取得部11によって取得された第1の音声情報に含まれるノイズを除去し、ノイズを除去した第2の音声情報を出力する。
【0115】
次に、ステップS4において、第1の音声認識部13は、第1の収音処理部12によって出力された第2の音声情報に対して音声認識を行い、音声認識結果を第1の音声認識結果情報として調停部14に出力する。また、第1の音声認識部13は、第1の音声認識結果情報の尤もらしさを示す第1の尤度を調停部14に出力する。
【0116】
次に、ステップS5において、調停部14は、第1の音声認識結果情報の尤もらしさを示す第1の尤度が第1の閾値より大きいか否かを判断する。なお、第1の閾値は、第1の音声認識結果情報が正しい認識結果であると判断可能な閾値である。ここで、第1の尤度が第1の閾値より大きいと判断された場合(ステップS5でYES)、ステップS6において、調停部14は、第1の音声認識結果情報を出力する。
【0117】
一方、第1の尤度が第1の閾値以下であると判断された場合(ステップS5でNO)、ステップS7の処理へ移行する。
【0118】
ここで、端末100のステップS3〜ステップS5の処理に並行して、サーバ200のステップS31〜ステップS34の処理が行われる。
【0119】
ステップS31において、サーバ200の通信部201は、端末100によって送信された第1の音声情報を受信する。
【0120】
次に、ステップS32において、第2の収音処理部21は、通信部201によって受信された第1の音声情報に含まれるノイズを除去し、ノイズを除去した第3の音声情報を出力する。
【0121】
次に、ステップS33において、第2の音声認識部22は、第2の収音処理部21によって出力された第3の音声情報に対して音声認識を行い、音声認識結果を第2の音声認識結果情報として通信部201に出力する。また、第2の音声認識部22は、第2の音声認識結果情報の尤もらしさを示す第2の尤度を通信部201に出力する。
【0122】
次に、ステップS34において、通信部201は、第2の音声認識部22から出力された第2の音声認識結果情報及び第2の尤度を端末100へ送信する。
【0123】
次に、ステップS7において、端末100の通信部101は、サーバ200によって送信された第2の音声認識結果情報及び第2の尤度を受信する。また、通信部101は、第2の音声認識結果情報および第2の尤度を調停部14に出力する。
【0124】
次に、ステップS8において、調停部14は、第2の音声認識結果情報の尤もらしさを示す第2の尤度が第2の閾値より大きいか否かを判断する。なお、第2の閾値は、第2の音声認識結果情報が正しい認識結果であると判断可能な閾値である。ここで、第2の尤度が第2の閾値より大きいと判断された場合(ステップS8でYES)、ステップS9において、調停部14は、第2の音声認識結果情報を出力する。
【0125】
一方、第2の尤度が第2の閾値以下であると判断された場合(ステップS8でNO)、ステップS10において、表示部106は、音声認識ができなかったことを示す音声認識不可情報をユーザに通知する。
【0126】
図4は、音声認識不可情報を表示する表示画面の一例を示す図である。
【0127】
図4に示すように、表示部106は、調停部14によって第1の尤度が第1の閾値以下であり、且つ第2の尤度が第2の閾値以下であると判断された場合、表示画面上に音声認識不可情報1061を表示する。
図4では、音声認識不可情報1061は、“音声認識できませんでした”という文字情報で構成される。
【0128】
なお、本実施の形態では、端末100は、音声認識不可情報を、表示部106に表示することによりユーザに通知するが、他の方法でユーザに通知してもよい。本開示は特にこれに限定されず、スピーカ103から音声出力することによりユーザに通知してもよい。
【0129】
また、本実施の形態において、端末100は、第1の音声情報がサーバ200に送信されていることを示すサーバ送信情報をユーザに通知してもよい。
【0130】
図5は、サーバ送信情報を表示する表示画面の一例を示す図である。
【0131】
図5に示すように、表示部106は、第1の音声情報がサーバ200に送信された場合、表示画面上にサーバ送信情報1062を表示する。
図5では、サーバ送信情報1062は、音声情報がネットワークを介して送信されていることを示すアイコンで構成される。サーバ送信情報1062の表示は、第1の音声情報の送信開始タイミングで開始され、送信終了タイミングで終了してもよい。また、サーバ送信情報1062の表示は、第1の音声情報の送信開始タイミングで開始され、第2の音声認識結果情報の受信タイミングで終了してもよい。
【0132】
なお、ユーザによっては、サーバ200に音声情報を送信することを望まない可能性がある。そのため、事前に、ユーザに対して、サーバ200に音声情報を送信するか否かを確認する送信確認情報を提示することが好ましい。
【0133】
図6は、送信確認情報を表示する表示画面の一例を示す図である。
【0134】
図6に示すように、表示部106は、初期設定時において、表示画面上に送信確認情報1063を表示する。
図6では、送信確認情報1063は、“音声をクラウドにアップしてもよいですか?”という文字情報で構成される。送信確認情報1063は、端末100の初期設定時に表示されてもよいし、第1の音声情報を最初に送信する際に表示されてもよい。
【0135】
本実施の形態では、第1の音声認識部13は、第1の音声認識結果情報および第1の尤度をそれぞれ調停部14に出力するものを例に説明をしたが、これに限定をされない。
【0136】
第1の音声認識部13は、第1の尤度を、第2の音声情報に対する音声認識を行うときに算出する。例えば、第1の音声認識部13は、第2の音声情報の音声認識結果および第1の尤度を含む第1の音声認識結果情報を調停部14に出力してもよい。
【0137】
この場合、調停部14は、第1の音声認識結果情報の中から必要に応じて、第2の音声情報の音声認識結果および第1の尤度を取り出して処理を行えばよい。
【0138】
本実施の形態では、第2の音声認識部22は、第2の音声認識結果情報および第2の尤度をそれぞれ通信部201に出力するものを例に説明をしたが、これに限定をされない。
【0139】
第2の音声認識部22は、第2の尤度を、第3の音声情報に対する音声認識を行うときに算出する。例えば、第2の音声認識部22は、第3の音声情報の音声認識結果および第2の尤度を含む第2の音声認識結果情報を通信部201に出力してもよい。
【0140】
この場合、通信部201、通信部101および調停部14のいずれかは、第2の音声認識結果情報の中から必要に応じて、第3の音声情報の音声認識結果または第2の尤度を取り出して処理を行ってもよい。
【0141】
また、本実施の形態では、第1の音声認識部13が、第1の音声認識結果情報および第1の尤度を調停部14へ出力し、通信部101がサーバ200により送信された第2の音声認識結果情報、および第2の尤度を調停部14へ出力するものを例に説明をしたが、これに限定されない。
【0142】
調停部14は、第1の尤度が入力されれば、予め保持する第1の閾値との比較結果に応じて、第1の音声認識結果情報を出力すべきかどうかを判断できる。
【0143】
また、調停部14は、第2の尤度が入力されれば、予め保持する第2の閾値との比較結果に応じて、第2の音声認識結果情報を出力すべきかどうかを判断できる。
【0144】
例えば、第1の音声認識部13は、第1の音声認識結果情報を調停部14に出力するのではなく、端末100のメモリ105に記憶してもよい。この場合、第1の音声認識部13は、第1の尤度を調停部14に出力する。
【0145】
また、例えば、通信部101は、第2の音声認識結果情報を調停部14に出力するのではなく、端末100のメモリ105に記憶してもよい。この場合、通信部101は、第2の尤度を調停部14に出力する。
【0146】
また、調停部14は、出力すべきと判断した第1の音声認識結果情報または第2の音声認識結果情報をメモリ105から取り出して出力してもよい。また、調停部14は、第1の音声認識結果情報および第2の音声認識結果情報を出力しないと判断した場合、メモリ105から、第1の音声認識結果情報および第2の音声認識結果情報を削除してもよい。
【0147】
また、本実施の形態では、端末100が調停部14を備えているが、本開示は特にこれに限定されず、サーバ200が調停部を備えてもよい。
【0148】
図7は、本開示の実施の形態1の変形例における音声認識システムの機能構成を示す図である。
図7に示すように、端末100は、音声取得部11、第1の収音処理部12及び第1の音声認識部13を備える。サーバ200は、第2の収音処理部21、第2の音声認識部22及び調停部23を備える。
【0149】
端末100の通信部101は、第1の音声認識部13から出力された第1の音声認識結果情報および第1の尤度をサーバ200へ送信する。サーバ200の通信部201は、端末100によって送信された第1の音声認識結果情報および第1の尤度を受信し、調停部23へ出力する。
【0150】
第2の音声認識部22は、第2の収音処理部21によって出力された第3の音声情報に対して音声認識を行い、音声認識結果を第2の音声認識結果情報として調停部23へ出力する。また、第2の音声認識部22は、第2の尤度を調停部23へ出力する。
【0151】
調停部23は、通信部201によって受信された第1の音声認識結果情報と、第2の音声認識部22によって出力された第2の音声認識結果情報とのうちのいずれを出力するかを選択する。なお、調停部23の処理は、調停部14の処理と同じであるので、説明を省略する。
【0152】
サーバ200の通信部201は、調停部23から出力された選択結果を端末100へ送信する。なお、選択結果は、第1の音声認識結果情報及び第2の音声認識結果情報のいずれか一方、又は、音声認識ができなかったことを示す情報を含む。端末100の通信部101は、サーバ200によって送信された選択結果を受信する。
【0153】
このように、調停部は、端末100とサーバ200とのいずれが備えてもよい。調停部がサーバ200にある場合、端末100の演算量を削減することができる。また、調停部が端末100にある場合、ネットワークを介して選択結果を受信する必要がないので、処理時間を短縮することができる。
【0154】
なお、第1の収音処理部12において第1の音声情報に含まれるノイズを除去する方式を第1の除去方式、第2の収音処理部21において第1の音声情報に含まれるノイズを除去する方式を第2の除去方式として説明をした。しかしながら第1の除去方式、第2の除去方式というのは、第1の収音処理部12、第2の収音処理部21において行う第1の音声情報に含まれるノイズを除去する方式の名称である。
【0155】
したがって、第1の収音処理部12において第1の音声情報に含まれるノイズを除去する方式を第2の除去方式、第2の収音処理部21において第1の音声情報に含まれるノイズを除去する方式を第1の除去方式と呼んでもよい。
【0156】
(実施の形態2)
続いて、実施の形態2に係る音声認識システムについて説明する。実施の形態2における音声認識システムの全体構成は、
図1と同じであるので説明を省略する。
【0157】
図8は、本開示の実施の形態2における音声認識システムの機能構成を示す図である。
図8に示すように、音声認識システムは、端末100及びサーバ200を備える。端末100は、音声取得部11、第1の収音処理部12、第1の音声認識部13及び調停部14を備える。サーバ200は、第2の収音処理部21及び第2の音声認識部22を備える。
【0158】
サーバ200の通信部201は、第2の収音処理部21から出力された第3の音声情報を端末100へ送信する。端末100の通信部101は、第3の音声情報をサーバ200から受信し、受信した第3の音声情報を第1の音声認識部13へ出力する。第1の音声認識部13は、通信部101によって受信された第3の音声情報に対して音声認識を行い、音声認識結果を第4の音声認識結果情報として調停部14に出力する。
【0159】
この場合、音声認識結果は、第3の音声情報の音声認識結果を含む。また、第1の音声認識部13は、この認識結果の尤もらしさを示す第4の尤度を算出し、算出した第4の尤度を調停部14に出力する。
【0160】
実施の形態1において、説明をした第1の音声認識部13における音声認識、尤度の算出において、第2の音声情報の代わりに第3の音声情報を用いて処理をすればよいので、第1の音声認識部13における第3の音声情報に対する音声認識、第4の尤度の算出に関する詳細な説明は省略する。
【0161】
また、通信部101は、第1の収音処理部12によって出力された第2の音声情報をサーバ200へ送信する。サーバ200の通信部201は、端末100によって送信された第2の音声情報を受信し、第2の音声認識部22へ出力する。第2の音声認識部22は、通信部201によって受信された第2の音声情報に対して音声認識を行い、音声認識結果を第3の音声認識結果情報として通信部201に出力する。
【0162】
この場合、音声認識結果は、第2の音声情報の音声認識結果を含む。また、第2の音声認識部22は、この音声認識結果の尤もらしさを示す第3の尤度を算出し、算出した第3の尤度を通信部201に出力する。
【0163】
実施の形態1において、説明をした第2の音声認識部22における音声認識、尤度の算出において、第3の音声情報の代わりに第2の音声情報を用いて処理をすればよいので、第2の音声認識部22における第2の音声情報に対する音声認識、第3の尤度の算出に関する詳細な説明は省略する。
【0164】
通信部201は、第2の音声認識部22から出力された第3の音声認識結果情報および第3の尤度を端末100へ送信する。通信部101は、第2の音声情報の音声認識結果である第3の音声認識結果情報をサーバ200から受信し、受信した第3の音声認識結果情報を調停部14へ出力する。
【0165】
調停部14は、第1の音声認識部13によって出力された第1の音声認識結果情報と、通信部101によって受信された第2の音声認識結果情報と、通信部101によって受信された第3の音声認識結果情報と、第1の音声認識部13によって出力された第4の音声認識結果情報とのうちのいずれを出力するかを選択する。
【0166】
第1の音声認識部13は、第1の音声認識結果情報の尤もらしさを示す第1の尤度を算出し、算出した第1の尤度を調停部14に出力する。
【0167】
通信部101は、サーバ200から送信された第2の音声認識結果情報の尤もらしさを示す第2の尤度を受信し、受信した第2の尤度を調停部14に出力する。また、通信部101は、サーバ200から送信された第3の音声認識結果情報の尤もらしさを示す第3の尤度を受信し、受信した第3の尤度を調停部14に出力する。
【0168】
さらに、第1の音声認識部13は、第4の音声認識結果情報の尤もらしさを示す第4の尤度を算出し、算出した第4の尤度を調停部14に出力する。
【0169】
調停部14は、第1の音声認識結果情報と、第2の音声認識結果情報と、第3の音声認識結果情報と、第4の音声認識結果情報とのうちのいずれを出力するかを、第1の尤度、第2の尤度、第3の尤度及び第4の尤度のうちの少なくとも1つに基づいて選択する。
【0170】
図9は、本開示の実施の形態2における音声認識システムの動作の一例を示す第1のフローチャートであり、
図10は、本開示の実施の形態2における音声認識システムの動作の一例を示す第2のフローチャートであり、
図11は、本開示の実施の形態2における音声認識システムの動作の一例を示す第3のフローチャートである。
【0171】
まず、ステップS41において、端末100の音声取得部11は、第1の音声情報を取得する。
【0172】
次に、ステップS42において、通信部101は、音声取得部11によって取得された第1の音声情報をサーバ200へ送信する。
【0173】
次に、ステップS43において、第1の収音処理部12は、音声取得部11によって取得された第1の音声情報に含まれるノイズを除去し、ノイズを除去した第2の音声情報を出力する。
【0174】
次に、ステップS44において、通信部101は、第1の収音処理部12によってノイズが除去された第2の音声情報をサーバ200へ送信する。
【0175】
次に、ステップS45において、第1の音声認識部13は、第1の収音処理部12によって出力された第2の音声情報に対して音声認識を行い、音声認識結果を第1の音声認識結果情報として調停部14に出力する。また、第1の音声認識部13は、第1の音声認識結果情報の尤もらしさを示す第1の尤度を算出し、算出した第1の尤度を調停部14へ出力する。
【0176】
次に、ステップS46において、調停部14は、第1の音声認識結果情報の尤もらしさを示す第1の尤度が第1の閾値より大きいか否かを判断する。なお、第1の閾値は、第1の音声認識結果情報が正しい認識結果であると判断可能な閾値である。ここで、第1の尤度が第1の閾値より大きいと判断された場合(ステップS46でYES)、ステップS47において、調停部14は、第1の音声認識結果情報を出力する。
【0177】
一方、第1の尤度が第1の閾値以下であると判断された場合(ステップS46でNO)、ステップS48の処理へ移行する。
【0178】
ここで、端末100のステップS44〜ステップS46の処理に並行して、サーバ200のステップS61〜ステップS63の処理が行われる。
【0179】
ステップS61において、サーバ200の通信部201は、端末100によって送信された第2の音声情報を受信する。
【0180】
次に、ステップS62において、第2の音声認識部22は、通信部201によって受信された第2の音声情報に対して音声認識を行い、音声認識結果を第3の音声認識結果情報として通信部201に出力する。また、第2の音声認識部22は、第3の音声認識結果情報の尤もらしさを示す第3の尤度を算出し、算出した第3の尤度を通信部201に出力する。
【0181】
次に、ステップS63において、通信部201は、第2の音声認識部22から出力された第3の音声認識結果情報および第3の尤度を端末100へ送信する。
【0182】
次に、ステップS48において、端末100の通信部101は、サーバ200によって送信された第3の音声認識結果情報および第3の尤度を受信する。また、通信部101は、第3の音声認識結果情報および第3の尤度を調停部14に出力する。
【0183】
次に、ステップS49において、調停部14は、第3の音声認識結果情報の尤もらしさを示す第3の尤度が第3の閾値より大きいか否かを判断する。なお、第3の閾値は、第3の音声認識結果情報が正しい認識結果であると判断可能な閾値である。ここで、第3の尤度が第3の閾値より大きいと判断された場合(ステップS49でYES)、ステップS50において、調停部14は、第3の音声認識結果情報を出力する。
【0184】
一方、第3の尤度が第3の閾値以下であると判断された場合(ステップS49でNO)、ステップS51の処理へ移行する。
【0185】
ここで、端末100のステップS42〜ステップS49の処理に並行して、サーバ200のステップS71〜ステップS73の処理が行われる。
【0186】
ステップS71において、サーバ200の通信部201は、端末100によって送信された第1の音声情報を受信する。
【0187】
次に、ステップS72において、第2の収音処理部21は、通信部201によって受信された第1の音声情報に含まれるノイズを除去し、ノイズを除去した第3の音声情報を出力する。
【0188】
次に、ステップS73において、通信部201は、第2の収音処理部21から出力された第3の音声情報を端末100へ送信する。
【0189】
次に、ステップS51において、端末100の通信部101は、サーバ200によって送信された第3の音声情報を受信する。
【0190】
次に、ステップS52において、第1の音声認識部13は、通信部101によって受信された第3の音声情報に対して音声認識を行い、音声認識結果を第4の音声認識結果情報として調停部14に出力する。また、第1の音声認識部13は、第4の音声認識結果情報の尤もらしさを示す第4の尤度を算出し、算出した第4の尤度を調停部14に出力する。
【0191】
次に、ステップS53において、調停部14は、第4の音声認識結果情報の尤もらしさを示す第4の尤度が第4の閾値より大きいか否かを判断する。なお、第4の閾値は、第4の音声認識結果情報が正しい認識結果であると判断可能な閾値である。ここで、第4の尤度が第4の閾値より大きいと判断された場合(ステップS53でYES)、ステップS54において、調停部14は、第4の音声認識結果情報を出力する。
【0192】
一方、第4の尤度が第4の閾値以下であると判断された場合(ステップS53でNO)、ステップS55の処理へ移行する。
【0193】
ここで、端末100のステップS52〜ステップS53の処理に並行して、サーバ200のステップS74〜ステップS75の処理が行われる。
【0194】
ステップS74において、第2の音声認識部22は、第2の収音処理部21から出力された第3の音声情報に対して音声認識を行い、音声認識結果を第2の音声認識結果情報として通信部201に出力する。また、第2の音声認識部22は、第2の音声認識結果情報の尤もらしさを示す第2の尤度を算出し、算出した第2の尤度を通信部201に出力する。
【0195】
次に、ステップS75において、通信部201は、第2の音声認識部22から出力された第2の音声認識結果情報および第2の尤度を端末100へ送信する。
【0196】
次に、ステップS55において、端末100の通信部101は、サーバ200によって送信された第2の音声認識結果情報および第2の尤度を受信する。また、通信部101は、第2の音声認識結果情報および第2の尤度を調停部14へ出力する。
【0197】
次に、ステップS56において、調停部14は、第2の音声認識結果情報の尤もらしさを示す第2の尤度が第2の閾値より大きいか否かを判断する。なお、第2の閾値は、第2の音声認識結果情報が正しい認識結果であると判断可能な閾値である。ここで、第2の尤度が第2の閾値より大きいと判断された場合(ステップS56でYES)、ステップS57において、調停部14は、第2の音声認識結果情報を出力する。
【0198】
一方、第2の尤度が第2の閾値以下であると判断された場合(ステップS56でNO)、ステップS58において、表示部106は、音声認識ができなかったことを示す音声認識不可情報をユーザに通知する。
【0199】
なお、第1の閾値、第2の閾値、第3の閾値および第4の閾値は、例えば、端末100のメモリ105に予め記憶されている。
【0200】
本実施の形態では、第1の音声認識部13は、第1の音声認識結果情報、第1の尤度、第4の音声認識結果情報および第4の尤度をそれぞれ調停部14に出力するものを例に説明をしたが、これに限定をされない。
【0201】
第1の音声認識部13は、第1の尤度を、第2の音声情報に対する音声認識を行うときに算出する。例えば、第1の音声認識部13は、第2の音声情報の音声認識結果および第1の尤度を含む第1の音声認識結果情報を調停部14に出力してもよい。
【0202】
この場合、調停部14は、第1の音声認識結果情報の中から必要に応じて、第2の音声情報の音声認識結果および第1の尤度を取り出して処理を行えばよい。
【0203】
第1の音声認識部13は、第4の尤度を、第3の音声情報に対する音声認識を行うときに算出する。例えば、第1の音声認識部13は、第3の音声情報の音声認識結果および第4の尤度を含む第4の音声認識結果情報を調停部14に出力してもよい。
【0204】
この場合、調停部14は、第4の音声認識結果情報の中から必要に応じて、第3の音声情報の音声認識結果および第4の尤度を取り出して処理を行えばよい。
【0205】
本実施の形態では、第2の音声認識部22は、第2の音声認識結果情報、第2の尤度、第3の音声認識結果情報および第3の尤度をそれぞれ通信部201に出力するものを例に説明をしたが、これに限定をされない。
【0206】
第2の音声認識部22は、第2の尤度を、第3の音声情報に対する音声認識を行うときに算出する。例えば、第2の音声認識部22は、第3の音声情報の音声認識結果および第2の尤度を含む第2の音声認識結果情報を通信部201に出力してもよい。
【0207】
この場合、通信部201、通信部101および調停部14のいずれかは、第2の音声認識結果情報の中から必要に応じて、第3の音声情報の音声認識結果または第2の尤度を取り出して処理を行ってもよい。
【0208】
第2の音声認識部22は、第3の尤度を、第2の音声情報に対する音声認識を行うときに算出する。例えば、第2の音声認識部22は、第2の音声情報の音声認識結果および第3の尤度を含む第3の音声認識結果情報を通信部201に出力してもよい。
【0209】
この場合、通信部201、通信部101および調停部14のいずれかは、第3の音声認識結果情報の中から必要に応じて、第2の音声情報の音声認識結果または第3の尤度を取り出して処理を行ってもよい。
【0210】
また、本実施の形態では、第1の音声認識部13が、第1の音声認識結果情報、第1の尤度、第4の音声認識結果情報、および第4の尤度を調停部14へ出力し、通信部101がサーバ200により送信された第2の音声認識結果情報、第2の尤度、第3の音声認識結果情報、第3の尤度を調停部14へ出力するものを例に説明をした。しかしながら、これに限定をされるものではない。
【0211】
調停部14は、第1の尤度を受け取れば、予め保持する第1の閾値との比較結果に応じて、第1の音声認識結果情報を出力すべきかどうかを判断できる。
【0212】
調停部14は、第2の尤度を受け取れば、予め保持する第2の閾値との比較結果に応じて、第2の音声認識結果情報を出力すべきかどうかを判断できる。
【0213】
調停部14は、第3の尤度を受け取れば、予め保持する第3の閾値との比較結果に応じて、第3の音声認識結果情報を出力すべきかどうかを判断できる。
【0214】
また、調停部14は、第4の尤度を受け取れば、予め保持する第4の閾値との比較結果に応じて、第4の音声認識結果情報を出力すべきかどうかを判断できる。
【0215】
例えば、第1の音声認識部13は、第1の音声認識結果情報および第4の音声認識結果情報を調停部14に出力するのではなく、端末100のメモリ105に記憶してもよい。この場合、通信部101は、第1の尤度および第4の尤度を調停部14に出力する。
【0216】
また、例えば、通信部101は、第2の音声認識結果情報および第3の音声認識結果情報を調停部14に出力するのではなく、端末100のメモリ105に記憶してもよい。この場合、通信部101は、第2の尤度および第3の尤度を調停部14に出力する。
【0217】
また、例えば、調停部14は、出力すべきと判断した第1の音声認識結果情報〜第4の音声認識結果情報のいずれかをメモリ105から取り出して出力してもよい。
【0218】
また、調停部14は、第1の音声認識結果情報〜第4の音声認識結果情報のいずれも出力すべきではないと判断した場合、メモリ105から、第1の音声認識結果情報〜第4の音声認識結果情報を削除してもよい。
【0219】
なお、本実施の形態2では、ステップS63の第3の音声認識結果情報を送信する処理は、ステップS73の第3の音声情報を送信する処理よりも先に行われている。しかしながら、第3の音声情報を送信する処理が、第3の音声認識結果情報を送信する処理よりも先に行われる場合もある。
【0220】
そこで、第3の音声情報を送信する処理が、第3の音声認識結果情報を送信する処理よりも先に行われる実施の形態2の変形例について説明する。
【0221】
図12は、本開示の実施の形態2の変形例における音声認識システムの動作の一例を示す第1のフローチャートであり、
図13は、本開示の実施の形態2の変形例における音声認識システムの動作の一例を示す第2のフローチャートである。なお、
図12のステップS46以前の処理は、
図9のステップS41〜S45の処理と同じであり、
図12のステップS101以前の処理は、
図9のステップS71〜S72の処理と同じであり、
図13のステップS111以前の処理は、
図9のステップS61〜S62の処理と同じである。
【0222】
ステップS101において、通信部201は、第2の収音処理部21から出力された第3の音声情報を端末100へ送信する。
【0223】
次に、ステップS81において、端末100の通信部101は、サーバ200によって送信された第3の音声情報を受信する。
【0224】
次に、ステップS82において、第1の音声認識部13は、通信部101によって受信された第3の音声情報に対して音声認識を行い、音声認識結果を第4の音声認識結果情報として調停部14に出力する。また、第1の音声認識部13は、第4の音声認識結果情報の尤もらしさを示す第4の尤度を算出し、算出した第4の尤度を調停部14に出力する。
【0225】
次に、ステップS83において、調停部14は、第4の音声認識結果情報の尤もらしさを示す第4の尤度が第4の閾値より大きいか否かを判断する。なお、第4の閾値は、第4の音声認識結果情報が正しい認識結果であると判断可能な閾値である。ここで、第4の尤度が第4の閾値より大きいと判断された場合(ステップS83でYES)、ステップS84において、調停部14は、第4の音声認識結果情報を出力する。
【0226】
一方、第4の尤度が第4の閾値以下であると判断された場合(ステップS83でNO)、ステップS85の処理へ移行する。
【0227】
ここで、端末100のステップS44〜ステップS83の処理に並行して、サーバ200のステップS61〜ステップS111の処理が行われる。
【0228】
次に、ステップS111において、通信部201は、第2の音声認識部22から出力された第3の音声認識結果情報および第3の尤度を端末100へ送信する。
【0229】
次に、ステップS85において、端末100の通信部101は、サーバ200によって送信された第3の音声認識結果情報および第3の尤度を受信する。通信部101は、第3の音声認識結果情報および第3の尤度を調停部14へ出力する。
【0230】
次に、ステップS86において、調停部14は、第3の音声認識結果情報の尤もらしさを示す第3の尤度が第3の閾値より大きいか否かを判断する。なお、第3の閾値は、第3の音声認識結果情報が正しい認識結果であると判断可能な閾値である。ここで、第3の尤度が第3の閾値より大きいと判断された場合(ステップS86でYES)、ステップS87において、調停部14は、第3の音声認識結果情報を出力する。
【0231】
一方、第3の尤度が第3の閾値以下であると判断された場合(ステップS86でNO)、ステップS88の処理へ移行する。
【0232】
ここで、端末100のステップS82〜ステップS86の処理に並行して、サーバ200のステップS102〜ステップS103の処理が行われる。
【0233】
ステップS102において、第2の音声認識部22は、第2の収音処理部21から出力された第3の音声情報に対して音声認識を行い、音声認識結果を第2の音声認識結果情報として通信部201に出力する。また、第2の音声認識部22は、第2の音声認識結果情報の尤もらしさを示す第2の尤度を算出し、算出した第2の尤度を通信部201に出力する。
【0234】
次に、ステップS103において、通信部201は、第2の音声認識部22から出力された第2の音声認識結果情報および第2の尤度を端末100へ送信する。
【0235】
次に、ステップS88において、端末100の通信部101は、サーバ200によって送信された第2の音声認識結果情報および第2の尤度を受信する。通信部101は、第2の音声認識結果情報および第2の尤度を調停部14に出力する。
【0236】
次に、ステップS89において、調停部14は、第2の音声認識結果情報の尤もらしさを示す第2の尤度が第2の閾値より大きいか否かを判断する。なお、第2の閾値は、第2の音声認識結果情報が正しい認識結果であると判断可能な閾値である。ここで、第2の尤度が第2の閾値より大きいと判断された場合(ステップS89でYES)、ステップS90において、調停部14は、第2の音声認識結果情報を出力する。
【0237】
一方、第2の尤度が第2の閾値以下であると判断された場合(ステップS89でNO)、ステップS91において、表示部106は、音声認識ができなかったことを示す音声認識不可情報をユーザに通知する。
【0238】
(実施の形態3)
続いて、実施の形態3に係る音声認識システムについて説明する。実施の形態3における音声認識システムの全体構成は、
図1と同じであるので説明を省略する。
【0239】
図14は、本開示の実施の形態3における音声認識システムの機能構成を示す図である。
図14に示すように、音声認識システムは、端末100及びサーバ200を備える。端末100は、音声取得部11、第1の収音処理部12、第1の音声認識部13及び調停部14を備える。サーバ200は、第2の収音処理部21を備える。
【0240】
実施の形態1における音声認識システムと、実施の形態3における音声認識システムとの差異は、サーバ200が第2の音声認識部22を備えているか否かである。
【0241】
第2の収音処理部21は、通信部201によって受信された第1の音声情報に含まれるノイズを除去し、ノイズを除去した第3の音声情報を出力する。
【0242】
サーバ200の通信部201は、第2の収音処理部21から出力された第3の音声情報を端末100へ送信する。
【0243】
第1の音声認識部13は、第1の収音処理部12によって出力された第2の音声情報に対して音声認識を行い、音声認識結果を第1の音声認識結果情報として調停部14に出力する。また、第1の音声認識部13は、第1の音声認識結果情報の尤もらしさを示す第1の尤度を算出し、算出した第1の尤度を調停部14に出力する。
【0244】
また、第1の音声認識部13は、通信部101によって受信された第3の音声情報に対して音声認識を行い、音声認識結果を第4の音声認識結果情報として調停部14に出力する。また、第1の音声認識部13は、第4の音声認識結果情報の尤もらしさを示す第4の尤度を算出し、算出した第4の尤度を調停部14に出力する。
【0245】
調停部14は、第1の音声認識部13によって出力された第1の音声認識結果情報と、第1の音声認識部13によって出力された第4の音声認識結果情報とのうちのいずれを出力するかを選択する。なお、調停部14の処理については、他の実施の形態と同じであるので、説明を省略する。
【0246】
(実施の形態4)
続いて、実施の形態4に係る音声認識システムについて説明する。実施の形態4における音声認識システムの全体構成は、
図1と同じであるので説明を省略する。
【0247】
図15は、本開示の実施の形態4における音声認識システムの機能構成を示す図である。
図15に示すように、音声認識システムは、端末100及びサーバ200を備える。端末100は、音声取得部11及び第1の収音処理部12を備える。サーバ200は、第2の収音処理部21、第2の音声認識部22及び調停部23を備える。
【0248】
実施の形態1の変形例における音声認識システム(
図7)と、実施の形態4における音声認識システムとの差異は、端末100が第1の音声認識部13を備えているか否かである。
【0249】
通信部101は、第1の収音処理部12によって出力された第2の音声情報をサーバ200へ送信する。サーバ200の通信部201は、端末100によって送信された第2の音声情報を受信し、第2の音声認識部22へ出力する。第2の音声認識部22は、通信部201によって受信された第2の音声情報に対して音声認識を行い、音声認識結果を第3の音声認識結果情報として調停部23へ出力する。
【0250】
第2の音声認識部22は、第2の収音処理部21によって出力された第3の音声情報に対して音声認識を行い、音声認識結果を第2の音声認識結果情報として調停部23へ出力する。
【0251】
調停部23は、第2の音声認識部22から出力された第3の音声認識結果情報と、第2の音声認識部22から出力された第2の音声認識結果情報とのうちのいずれを出力するかを選択する。なお、調停部23の処理については、他の実施の形態と同じであるので、説明を省略する。
【0252】
(実施の形態5)
続いて、実施の形態5に係る音声認識システムについて説明する。実施の形態5における音声認識システムの全体構成は、
図1と同じであるので説明を省略する。
【0253】
図16は、本開示の実施の形態5における音声認識システムの機能構成を示す図である。
図16に示すように、音声認識システムは、端末100及びサーバ200を備える。端末100は、音声取得部11、第1の収音処理部12、第1の音声認識部13、調停部14、発話区間検出部15及び発話継続時間測定部17を備える。サーバ200は、第2の収音処理部21及び第2の音声認識部22を備える。
【0254】
実施の形態1における音声認識システムと、実施の形態5における音声認識システムとの差異は、端末100が発話区間検出部15および発話継続時間測定部17を備えているか否かである。
【0255】
発話区間検出部15は、音声取得部11によって取得された第1の音声情報におけるユーザが発話した発話区間を検出する。発話区間検出部15は、一般的な発話区間検出(VAD:Voice Activity Detection)技術を用いて発話区間を検出する。例えば、発話区間検出部15は、入力された音声信号の時系列で構成されたフレームにおいて、振幅と零交差数とに基づいて、そのフレームが音声区間か否かを検出する。また、例えば、発話区間検出部15は、入力される音声情報の特徴量に基づき、ユーザが発話中である確率を音声モデルにより算出するとともに、ユーザの発話がない状態である確率を雑音モデルにより算出し、雑音モデルから得られた確率よりも音声モデルから得られた確率の方が高い区間を発話区間であると判定してもよい。
【0256】
発話継続時間測定部17は、発話区間検出部15によって発話区間が検出された場合に、音声があると判断された区間(フレーム)の開始から終了までの時間を測定する。
【0257】
第1の収音処理部12は、発話区間検出部15によって発話区間が検出されない場合には、第1の音声情報に含まれるノイズを除去せず、第2の音声情報を出力しない。また、通信部101は、発話区間検出部15によって発話区間が検出されない場合には、第1の音声情報をサーバ200へ送信しない。
【0258】
第1の収音処理部12は、発話区間検出部15によって発話区間が検出された場合には、第1の音声情報に含まれるノイズを除去する。また、通信部101は、発話区間検出部15によって発話区間が検出された場合には、発話区間内における第1の音声情報をサーバ200へ送信する。
【0259】
調停部14は、音声認識部によって出力された第1の音声認識結果情報と、通信部101によって受信された第2の音声認識結果情報とのうちのいずれを出力するかを、少なくとも発話継続時間の長さに関する情報を用いて選択する。すなわち、調停部14は、発話継続時間測定部17によって検出された発話継続時間が所定の長さより長い場合に、第2の音声認識結果情報の尤もらしさを示す第2の尤度に乗算する重み付けを、前記第1の音声認識結果情報の尤もらしさを示す第1の尤度に乗算する重み付けよりも上げる。発話継続時間が所定の時間の長さよりも長い場合、単語数が多い高度な音声指示を行っている可能性が高い。この場合、サーバ200から出力される音声認識結果に乗算される重み付けを上げることにより、誤認識を防止することができる。
【0260】
なお、
図8に示す実施の形態2における音声認識システムにおいて、端末100が発話区間検出部15を備えてもよい。また、
図8に示す実施の形態2における音声認識システムにおいて、端末100が発話区間検出部15及び発話継続時間測定部17を備えてもよい。
【0261】
この場合、調停部14は、第1の音声認識結果情報と、第2の音声認識結果情報と、第3の音声認識結果情報と、第4の音声認識結果情報とのうちのいずれを出力するかを、少なくとも発話継続時間の長さに関する情報を用いて選択する。
【0262】
また、調停部14は、発話継続時間が所定の長さより長い場合に、第2の音声認識結果情報の尤もらしさを示す第2の尤度及び第3の音声認識結果情報の尤もらしさを示す第3の尤度に乗算する重み付けを、第1の音声認識結果情報の尤もらしさを示す第1の尤度及び第4の音声認識結果情報の尤もらしさを示す第4の尤度に乗算する重み付けよりも上げる。
【0263】
さらに、調停部14は、発話継続時間が所定の長さより長い場合に、第2の尤度に乗算する重み付けを、第3の尤度に乗算する重み付けよりも上げる。
【0264】
また、本実施の形態5では、取得された音声情報に対して発話区間検出が行われるが、ノイズが除去された音声情報に対して発話区間検出を行ってもよい。そこで、ノイズが除去された音声情報に対して発話区間検出を行う実施の形態5の変形例について説明する。
【0265】
図17は、本開示の実施の形態5の変形例における音声認識システムの機能構成を示す図である。
図17に示すように、端末100は、音声取得部11、第1の収音処理部12、第1の音声認識部13、調停部14、発話区間検出部15及び音声送信判断部16を備える。
【0266】
発話区間検出部15は、第1の収音処理部12によってノイズが除去された第2の音声情報におけるユーザが発話した発話区間を検出する。発話区間検出部15は、一般的な発話区間検出技術を用いて発話区間を検出する。
【0267】
音声送信判断部16は、発話区間検出部15による発話区間の検出結果に基づいて、音声取得部11によって取得された第1の音声情報を送信するか否かを判断する。音声送信判断部16は、発話区間検出部15によって発話区間が検出された場合、音声取得部11によって取得された第1の音声情報を送信すると判断し、発話区間検出部15によって発話区間が検出されない場合、音声取得部11によって取得された第1の音声情報を送信しないと判断する。通信部101は、音声送信判断部16による判断結果に基づいて、音声取得部11によって取得された第1の音声情報を送信する。
【0268】
このように、ノイズが除去された音声情報である第2の音声情報に対して発話区間の検出を行うことにより、より高い精度で発話区間を検出することができる。