(58)【調査した分野】(Int.Cl.,DB名)
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、上述した特許文献1に開示された車室内会話補助装置では、発話する搭乗者の音量が大きい場合に、この発話音声をスピーカから出力した出力音と発話音声そのものが重なって他の搭乗者に聞こえることがあり、発話内容が聞き取りにくくなるという問題があった。例えば、後部座席の搭乗者の発話音量が大きいと、運転席や助手席の搭乗者に、この発話音声が直接到達するとともに、音声処理等に起因する遅延の後にスピーカから同じ内容の音声が出力されて運転席や助手席の搭乗者に到達することになるため、これらの音声の内容を理解しようとする搭乗者にとっては耳障りな状況となる。
【0006】
なお、上述した特許文献2に開示された車内会話支援装置のように、発話内容をテキストで表示した場合には、互いに到達タイミングがずれて音声が到達することはなくなるが、他の搭乗者が直接理解できない程度の小さな音量で発話した内容を、表示されたテキストを読んで理解しなければならないため、会話に要する負担が大きくなるとともに会話の臨場感に欠けることになるため、実用的とは言えない。
【0007】
本発明は、このような点に鑑みて創作されたものであり、その目的は、発話音量に応じて生じる発話内容の聞き取りにくさを改善することができる車内会話支援装置を提供することにある。
【課題を解決するための手段】
【0008】
上述した課題を解決するために、本発明の車内会話支援装置は、前列の搭乗者の音声を集音する第1のマイクロホンと、後列の搭乗者の音声を集音する第2のマイクロホンと、第1のマイクロホンで集音した音声を後列の搭乗者に向けて
第1のスピーカから出力する第1の音声出力手段と、第2のマイクロホンで集音した音声を前列の搭乗者に向けて
第2のスピーカから出力する第2の音声出力手段と、前列の搭乗者の発話音声が後列の搭乗者に到達した
ことを、第2のマイクロホンによって集音した音声に含まれる前列の搭乗者の発話音声の音量が第1の基準値よりも大きいことによって判定したときに、第1の音声出力手段による後列の搭乗者に向けた音声の出力を中止する第1の音声出力中止手段と、後列の搭乗者の発話音声が前列の搭乗者に到達した
ことを、第1のマイクロホンによって集音した音声に含まれる後列の搭乗者の発話音声の音量が第2の基準値よりも大きいことによって判定したときに、第2の音声出力手段による前列の搭乗者に向けた音声の出力を中止する第2の音声出力中止手段とを備えている。
【0009】
後列の搭乗者の発話音声が直接前列の搭乗者に到達するような場合や、前列の搭乗者の発話音声が直接後列の搭乗者に到達するような場合に、スピーカを用いた音声出力を中止するため、同じ発話内容の音声がずれたタイミングで到達することを防止することができ、発話音量が大きい場合に生じる聞き取りにくさを改善することが可能となる。
【0010】
また、上述した前列の搭乗者の発話音声の後列の搭乗者への到達の有無が繰り返し切り替わる
ことを、第2のマイクロホンによって集音した音声に含まれる前列の搭乗者の発話音声の音量が第1の基準値と第1の基準値よりも小さい第3の基準値の間にあることによって判定した場合に、第1のマイクロホンで集音した前列の搭乗者の発話音声の内容を解析して後列の搭乗者に向けて表示する第1の音声認識処理手段と、後列の搭乗者の発話音声の前列の搭乗者への到達の有無が繰り返し切り替わる
ことを、第1のマイクロホンによって集音した音声に含まれる後列の搭乗者の発話音声の音量が第2の基準値と第2の基準値よりも小さい第4の基準値の間にあることによって判定した場合に、第2のマイクロホンで集音した後列の搭乗者の発話音声の内容を解析して前列の搭乗者に向けて表示する第2の音声認識処理手段とをさらに備えることが望ましい。これにより、後列の搭乗者の発話音声が直接前列の搭乗者に到達しているが、音量が不十分で部分的にしかその内容を聞き取れないような場合や、前列の搭乗者の発話音声が直接後列の搭乗者に到達しているが、音量が不十分で部分的にしかその内容を聞き取れないような場合に、発話音声の内容を表示で確認することができ、音量不足による聞き取りにくさを補完することが可能となる。
【0013】
また、
本発明の車内会話支援装置は、前列の搭乗者の音声を集音する第1のマイクロホンと、後列の搭乗者の音声を集音する第2のマイクロホンと、後列の搭乗者の音声を前列の搭乗者の聴取位置近傍で集音する第3のマイクロホンと、前列の搭乗者の音声を後列の搭乗者の聴取位置近傍で集音する第4のマイクロホンと
、第1のマイクロホンで集音した音声を後列の搭乗者に向けて第1のスピーカから出力する第1の音声出力手段と、第2のマイクロホンで集音した音声を前列の搭乗者に向けて第2のスピーカから出力する第2の音声出力手段と、前列の搭乗者の発話音声が後列の搭乗者に到達したことを、第4のマイクロホンによって集音した音声に含まれる前列の搭乗者の発話音声の音量が第1の基準値よりも大きいことによって判定したときに、第1の音声出力手段による後列の搭乗者に向けた音声の出力を中止する第1の音声出力中止手段と、後列の搭乗者の発話音声が前列の搭乗者に到達したことを、第3のマイクロホンによって集音した音声に含まれる後列の搭乗者の発話音声の音量が第2の基準値よりも大きいことによって判定したときに、第2の音声出力手段による前列の搭乗者に向けた音声の出力を中止する第2の音声出力中止手段とを備えている。これにより、各搭乗者に他の搭乗者の音声が直接到達するか否かをより正確に判定することができ、聞き取りにくさ改善のためにスピーカからの音声出力の有無を適切に切り替えることが可能となる。
また、前列の搭乗者の発話音声の後列の搭乗者への到達の有無が繰り返し切り替わることを、第4のマイクロホンによって集音した音声に含まれる前列の搭乗者の発話音声の音量が第1の基準値と第1の基準値よりも小さい第3の基準値の間にあることによって判定した場合に、第1のマイクロホンで集音した前列の搭乗者の発話音声の内容を解析して後列の搭乗者に向けて表示する第1の音声認識処理手段と、後列の搭乗者の発話音声の前列の搭乗者への到達の有無が繰り返し切り替わることを、第3のマイクロホンによって集音した音声に含まれる後列の搭乗者の発話音声の音量が第2の基準値と第2の基準値よりも小さい第4の基準値の間にあることによって判定した場合に、第2のマイクロホンで集音した後列の搭乗者の発話音声の内容を解析して前列の搭乗者に向けて表示する第2の音声認識処理手段とをさらに備えることが望ましい。
【発明を実施するための形態】
【0015】
以下、本発明を適用した一実施形態の車内会話支援装置について、図面を参照しながら説明する。
【0016】
(第1の実施形態)
図1は、第1の実施形態の車内会話支援装置の構成を示す図である。
図1に示す車内会話支援装置1は、マイクロホン10、30、音声処理部12、32、増幅器14、34、スピーカ16、36、音声出力中止判定部18、38を含んでい構成されている。この車内会話支援装置は、車両に搭載されている。
【0017】
マイクロホン10は、自車両前列の搭乗者の音声を集音する。マイクロホン10は、運転者と助手席の搭乗者の音声を集音可能な位置、例えば、ダッシュボードや前列席中央上部の天井などに取り付けられている。
【0018】
マイクロホン30は、自車両後列の搭乗者の音声を集音する。マイクロホン30は、後列の搭乗者の音声を集音可能な位置、例えば、運転席あるいは助手席のヘッドレストや後列中央上部の天井などに取り付けられている。
【0019】
音声処理部12は、前列用のマイクロホン10で集音した音声に対して、風切音やロードノイズなどの集音音声と無関係な成分を除去したり、音声帯域の周波数成分を強調するなどの処理を行う。これらの処理が終了した後の音声は、増幅器14によって増幅されて、後列用のスピーカ36から出力される。このスピーカ36は、後列の搭乗者の聴取に適した位置、例えば、後列座席の左右に搭載されている。
【0020】
音声処理部32は、後列用のマイクロホン30で集音した音声に対して、風切音やロードノイズなどの集音音声と無関係な成分を除去したり、音声帯域の周波数成分を強調するなどの処理を行う。これらの処理が終了した後の音声は、増幅器34によって増幅されて、前列用のスピーカ16から出力される。このスピーカ16は、前列の搭乗者の聴取に適した位置、例えば、運転席と助手席の左右に搭載されている。
【0021】
音声出力中止判定部18は、前列の搭乗者の発話音声が後列の搭乗者に到達したときに、音声処理部12、増幅器14、スピーカ36による後列の搭乗者に向けた音声の出力を中止する。具体的には、音声出力中止判定部18は、マイクロホン30から出力される音声信号に基づいて、前列の搭乗者の発話音声が後列の搭乗者に到達したか否かを判定する。前列の搭乗者の発話音声は、前列用のマイクロホン10でも明瞭に集音されており、ロードノイズ等の周辺ノイズから分離することが可能である。また、この前列の搭乗者の発話音声の音量が大きい場合には、ほぼ同時刻に後列用のマイクロホン30でも集音されるはずである。したがって、前列用のマイクロホン10で集音されるタイミング(音声処理部12等を通することによる若干の遅延が生じる)で後列用のマイクロホン30で集音された発話音声の有無を監視することにより、前列の搭乗者の発話音声が後列用のマイクロホン30で集音されたか否か、すなわち、前列の搭乗者の発話音声が後列の搭乗者に到達したか否かを判定することが可能となる。
【0022】
音声出力中止判定部38は、後列の搭乗者の発話音声が前列の搭乗者に到達したときに、音声処理部32、増幅器34、スピーカ16による前列の搭乗者に向けた音声の出力を中止する。具体的には、音声出力中止判定部38は、マイクロホン10から出力される音声信号に基づいて、後列の搭乗者の発話音声が前列の搭乗者に到達したか否かを判定する。後列の搭乗者の発話音声は、後列用のマイクロホン30でも明瞭に集音され、ロードノイズ等の周辺ノイズから分離することが可能である。また、この後列の搭乗者の発話音声の音量が大きい場合には、ほぼ同時刻に前列用のマイクロホン10でも集音されるはずである。したがって、後列用のマイクロホン30で集音されるタイミング(音声処理部32等を通することによる若干の遅延が生じる)で前列用のマイクロホン10で集音された発話音声の有無を監視することにより、後列の搭乗者の発話音声が前列用のマイクロホン10で集音されたか否か、すなわち、後列の搭乗者の発話音声が前列の搭乗者に到達したか否かを判定することが可能となる。
【0023】
上述した音声処理部12、増幅器14が第1の音声出力手段に、音声処理部32、増幅器34が第2の音声出力手段に、音声出力中止判定部18が第1の音声出力中止手段に、音声出力中止判定部38が第2の音声出力中止手段にそれぞれ対応する。
【0024】
図2は、マイクロホン10、30によって検出される搭乗者の発話音声の音量とスピーカ16、36から出力される音声の有無との関係を示す図である。
図2(A)には後列用のマイクロホン30を用いて検出される前列の搭乗者の発話音声の音量とスピーカ36から出力される音声の有無(ON/OFF)との関係が、
図2(B)には前列用のマイクロホン10を用いて検出される後列の搭乗者の発話音声の音量とスピーカ16から出力される音声の有無(ON/OFF)との関係がそれぞれ示されている。
【0025】
図2(A)に示すように、後列用のマイクロホン30で集音された前列の搭乗者の発話音声の音量が基準値aよりも小さい場合、すなわち、前列の搭乗者の発話音声の音量が小さくて後列の搭乗者に直接到達しない場合には、音声処理部12、増幅器14、スピーカ36の系統が有効であって、前列の搭乗者の発話音声が集音、増幅されてスピーカ36から出力される(スピーカ36 ON)。後列の搭乗者は、このスピーカ36から出力される音声を聞くことにより、前列の搭乗者の発話音声の内容を理解することができる。
【0026】
ところが、後列用のマイクロホン30で集音された前列の搭乗者の発話音声の音量が基準値aよりも大きい場合、すなわち、前列の搭乗者の発話音声の音量が大きくて後列の搭乗者に直接到達する場合には、音声処理部12、増幅器14、スピーカ36の系統が無効になり、前列の搭乗者の発話音声はスピーカ36からは出力されない(スピーカ36 OFF)。しかし、この前列の搭乗者の発話音声は、音量が大きいため、後列の搭乗者は、この発話音声を直接聞くことができ、前列の搭乗者の発話音声の内容を理解することが可能となる。
【0027】
また、
図2(B)に示すように、前列用のマイクロホン10で集音された後列の搭乗者の発話音声の音量が基準値Aよりも小さい場合、すなわち、後列の搭乗者の発話音声の音量が小さくて前列の搭乗者に直接到達しない場合には、音声処理部32、増幅器34、スピーカ16の系統が有効であって、後列の搭乗者の発話音声が集音、増幅されてスピーカ16から出力される(スピーカ16 ON)。前列の搭乗者は、このスピーカ16から出力される音声を聞くことにより、後列の搭乗者の発話音声の内容を理解することができる。
【0028】
ところが、前列用のマイクロホン10で集音された後列の搭乗者の発話音声の音量が基準値Aよりも大きい場合、すなわち、後列の搭乗者の発話音声の音量が大きくて前列の搭乗者に直接到達する場合には、音声処理部32、増幅器34、スピーカ16の系統が無効になり、後列の搭乗者の発話音声はスピーカ16からは出力されない(スピーカ16 OFF)。しかし、この後列の搭乗者の発話音声は、音量が大きいため、前列の搭乗者は、この発話音声を直接聞くことができ、後列の搭乗者の発話音声の内容を理解することが可能となる。
【0029】
なお、スピーカ16、36から音声出力を有効/無効にする基準値a、Aは、同じ値を用いる必要はなく、マイクロホン10、30や各搭乗者の配置状態などに応じて適宜異なる値を設定することが望ましい。
【0030】
このように、本実施形態の車内会話支援装置1では、後列の搭乗者の発話音声が直接前列の搭乗者に到達するような場合や、前列の搭乗者の発話音声が直接後列の搭乗者に到達するような場合に、スピーカ16、36を用いた音声出力を中止するため、同じ発話内容の音声が2系統(直接伝達される系統と、スピーカを介して伝達される系統)でずれたタイミングで到達することを防止することができ、発話音量が大きい場合に生じる聞き取りにくさを改善することが可能となる。
【0031】
また、後列の搭乗者の音声を集音するマイクロホン30を用いて前列の搭乗者の音声を検出するとともに、前列の搭乗者の音声を集音するマイクロホン10を用いて後列の搭乗者の音声を検出することにより、音声検出用の構成を別に用意する必要がなくなるため、部品点数の低減によるコストダウンが可能となる。
【0032】
(第2の実施形態)
図3は、第2の実施形態の車内会話支援装置の構成を示す図である。
図3に示す車内会話支援装置1Aは、
図1に示した車内会話支援装置1に対して、音声認識処理部20、40、表示部22、42を追加した点が異なっている。以下では、この追加された構成に着目して説明を行う。
【0033】
音声認識処理部20は、前列の搭乗者の発話音声の後列の搭乗者への到達の有無が繰り返し切り替わる場合(聞こえたり聞こえなかったりする場合)に、マイクロホン10で集音した前列の搭乗者の発話音声の内容を解析して後列の搭乗者に向けて表示する。具体的には、この解析によって得られた音声の内容が、後部座席の搭乗者が見ることが可能な位置に設置された表示部42に表示される。表示される音声の内容は、ひらがな表示であってもよいが、漢字仮名交じりの表示とすることが望ましい。
【0034】
音声認識処理部40は、後列の搭乗者の発話音声の前列の搭乗者への到達の有無が繰り返し切り替わる場合(聞こえたり聞こえなかったりする場合)に、マイクロホン30で集音した後列の搭乗者の発話音声の内容を解析して前列の搭乗者に向けて表示する。具体的には、この解析によって得られた音声の内容が、運転者と助手席の搭乗者が見ることが可能な位置に設置された表示部22に表示される。表示される音声の内容は、ひらがな表示であってもよいが、漢字仮名交じりの表示とすることが望ましい。
【0035】
上述した音声認識処理部20が第1の音声認識処理手段に、音声認識処理部40が第2の音声認識処理手段にそれぞれ対応する。
【0036】
図4は、マイクロホン10、30によって検出される搭乗者の発話音声の音量とスピーカ16、36から出力される音声の有無および表示部22、42による音声内容表示の有無との関係を示す図である。
図4(A)には後列用のマイクロホン30を用いて検出される前列の搭乗者の発話音声の音量とスピーカ36から出力される音声の有無(ON/OFF)および表示部42による音声内容表示の有無(ON/OFF)との関係が示されている。また、
図4(B)には前列用のマイクロホン10を用いて検出される後列の搭乗者の発話音声の音量とスピーカ16から出力される音声の有無(ON/OFF)および表示部22による音声内容表示の有無(ON/OFF)との関係が示されている。
【0037】
図4(A)に示すように、後列用のマイクロホン30で集音された前列の搭乗者の発話音声が基準値b1よりも小さい場合、すなわち、前列の搭乗者の発話音声の音量が小さくて後列の搭乗者に全く到達しない場合には、音声処理部12、増幅器14、スピーカ36の系統が有効であって、前列の搭乗者の発話音声が集音、増幅されてスピーカ36から出力される(スピーカ36 ON)。後列の搭乗者は、このスピーカ36から出力される音声を聞くことにより、前列の搭乗者の発話音声の内容を理解することができる。また、後列用のマイクロホン30で集音された前列の搭乗者の発話音声の音量が基準値b2(>b1)よりも大きい場合、すなわち、前列の搭乗者の発話音声の音量が大きくて前列の搭乗者に直接到達する場合には、音声処理部12、増幅器14、スピーカ36の系統が無効になり、前列の搭乗者の発話音声はスピーカ36からは出力されない(スピーカ36 OFF)。しかし、この前列の搭乗者の発話音声は、音量が大きいため、後列の搭乗者は、この発話音声を直接聞くことができ、前列の搭乗者の発話音声の内容を明瞭に理解することが可能となる。なお、これらの場合には発話音声の内容をスピーカ36の出力音声あるいは直接到達する音声により理解することができるため、音声認識処理部20による前列の搭乗者の発話音声の解析結果は、後列の表示部42には表示されない(表示OFF)。
【0038】
ところで、後列用のマイクロホン30で集音された前列の搭乗者の発話音声の音量が基準値b1とb2の間にある場合、すなわち、前列の搭乗者の発話音声の音量が全く聞き取れないほど小さくはないが明瞭に聞き取れるほど大きくもなく、前列の搭乗者の発話音声の後列の搭乗者への到達の有無が繰り返し切り替わって聞き取れたり聞き取れなかったりする場合には、音声認識処理部20による前列の搭乗者の発話音声の解析結果が後列の表示部42に表示される。なお、この場合には、音声処理部12、増幅器14、スピーカ36の系統が有効であって、前列の搭乗者の発話音声が集音、増幅されてスピーカ36から出力される(スピーカ36 ON)。
【0039】
また、
図4(B)に示すように、前列用のマイクロホン10で集音された後列の搭乗者の発話音声が基準値B1よりも小さい場合、すなわち、後列の搭乗者の発話音声の音量が小さくて前列の搭乗者に全く到達しない場合には、音声処理部32、増幅器34、スピーカ16の系統が有効であって、後列の搭乗者の発話音声が集音、増幅されてスピーカ16から出力される(スピーカ16 ON)。前列の搭乗者は、このスピーカ16から出力される音声を聞くことにより、後列の搭乗者の発話音声の内容を理解することができる。また、前列用のマイクロホン10で集音された後列の搭乗者の発話音声の音量が基準値B2(>B1)よりも大きい場合、すなわち、後列の搭乗者の発話音声の音量が大きくて前列の搭乗者に直接到達する場合には、音声処理部32、増幅器34、スピーカ16の系統が無効になり、後列の搭乗者の発話音声はスピーカ16からは出力されない(スピーカ16 OFF)。しかし、この後列の搭乗者の発話音声は、音量が大きいため、前列の搭乗者は、この発話音声を直接聞くことができ、後列の搭乗者の発話音声の内容を明瞭に理解することが可能となる。なお、これらの場合には発話音声の内容をスピーカ16の出力音声あるいは直接到達する音声により理解することができるため、音声認識処理部40による後列の搭乗者の発話音声の解析結果は、前列の表示部22には表示されない(表示OFF)。
【0040】
ところで、前列用のマイクロホン10で集音された後列の搭乗者の発話音声の音量が基準値B1とB2の間にある場合、すなわち、後列の搭乗者の発話音声の音量が全く聞き取れないほど小さくはないが明瞭に聞き取れるほど大きくもなく、後列の搭乗者の発話音声の前列の搭乗者への到達の有無が繰り返し切り替わって聞き取れたり聞き取れなかったりする場合には、音声認識処理部40による後列の搭乗者の発話音声の解析結果が前列の表示部22に表示される。なお、この場合には、音声処理部32、増幅器34、スピーカ16の系統が有効であって、後列の搭乗者の発話音声が集音、増幅されてスピーカ16から出力される(スピーカ16 ON)。
【0041】
このように、本実施形態の車内会話支援装置1Aでは、後列の搭乗者の発話音声が直接前列の搭乗者に到達しているが、音量が不十分で部分的にしかその内容を聞き取れないような場合や、前列の搭乗者の発話音声が直接後列の搭乗者に到達しているが、音量が不十分で部分的にしかその内容を聞き取れないような場合に、発話音声の内容を表示で確認することができ、音量不足による聞き取りにくさを補完することが可能となる。
【0042】
ところで、上述した第2の実施形態では、
図4に示したように、発話音声の解析結果を表示している間(表示ON)は、スピーカ16、36から音声出力を行うようにしたが(スピーカ16 ON、スピーカ36 ON)、
図5に示すように、発話音声の解析結果を表示している間(表示ON)は、スピーカ16、36からの音声出力を中止するようにしてもよい(スピーカ16 OFF、スピーカ36 OFF)。これにより、同じ発話内容の音声が2系統(直接伝達される系統と、スピーカを介して伝達される系統)で部分的にずれて聞こえることを防止し、断片的に生じる耳障りな音声の重複を避けることが可能となる。
【0043】
なお、本発明は上記実施形態に限定されるものではなく、本発明の要旨の範囲内において種々の変形実施が可能である。例えば、上述した実施形態では、前列の搭乗者の発話音声が後列の搭乗者に到達したことを後列用のマイクロホン30を用いて検出し、後列の搭乗者の発話音声が前列の搭乗者に到達したことを前列用のマイクロホン10を用いて検出するようにしたが、これらの音声検出用に別のマイクロホンを用いるようにしてもよい。
【0044】
図6は、音声検出用にマイクロホンを追加した車内会話支援装置の変形例の構成を示す図である。
図6に示した構成は、
図1に示した構成に対して、マイクロホン24、44が追加された点が異なっている。
【0045】
図7は、音声検出用にマイクロホンを追加した車内会話支援装置の他の変形例の構成を示す図である。
図7に示した構成は、
図3に示した構成に対して、マイクロホン24、44が追加された点が異なっている。以下では、これらの変形例において追加されたマイクロホン24、44に着目して説明を行う。
【0046】
一方のマイクロホン24は、後列の搭乗者の発話音声を前列の搭乗者の聴取位置近傍で集音するためのものであり、例えば、運転者の耳の位置に対応する運転席のヘッドレストに設置されている。他方のマイクロホン44は、前列の搭乗者の発話音声を後列の搭乗者の聴取位置近傍で集音するためのものであり、例えば、後列の搭乗者(左右二人の搭乗者のいずれか一方)の耳の位置に対応する後部座席のヘッドレストに設置されている。なお、これらの設置位置は一例であって、適宜変更するようにしてもよい。
【0047】
音声出力中止判定部18は、後部座席に設置されたマイクロホン44から出力される音声信号に基づいて、前列の搭乗者の発話音声が後列の搭乗者に到達したか否かを判定する。また、音声出力中止判定部38は、運転席に設置されたマイクロホン24から出力される音声信号に基づいて、後列の搭乗者の発話音声が前列の搭乗者に到達したか否かを判定する。
【0048】
このように、音声到達の有無を検出するために追加したマイクロホン24、44を用いることにより、より正確に各搭乗者に他の搭乗者の音声が直接到達するか否かを判定することができ、聞き取りにくさ改善のためにスピーカ16、36からの音声出力の有無を適切に切り替えることが可能となる。
【0049】
また、上述した実施形態では、前列と後列からなる2列シートの車両に本発明を適用したが、3列シート以上の車両に本発明を適用することもできる。