(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024022094
(43)【公開日】2024-02-16
(54)【発明の名称】車内コミュニケーション支援装置および車内コミュニケーション支援方法
(51)【国際特許分類】
G06F 3/01 20060101AFI20240208BHJP
G06F 3/16 20060101ALI20240208BHJP
G10L 15/00 20130101ALI20240208BHJP
G10L 15/10 20060101ALI20240208BHJP
G10L 25/63 20130101ALI20240208BHJP
A47C 7/72 20060101ALI20240208BHJP
【FI】
G06F3/01 510
G06F3/01 560
G06F3/16 610
G10L15/00 200J
G10L15/10 500Z
G10L25/63
A47C7/72
【審査請求】未請求
【請求項の数】13
【出願形態】OL
(21)【出願番号】P 2022125444
(22)【出願日】2022-08-05
(71)【出願人】
【識別番号】000010098
【氏名又は名称】アルプスアルパイン株式会社
(74)【代理人】
【識別番号】100105784
【弁理士】
【氏名又は名称】橘 和之
(74)【代理人】
【識別番号】100098497
【弁理士】
【氏名又は名称】片寄 恭三
(74)【代理人】
【識別番号】100099748
【弁理士】
【氏名又は名称】佐藤 克志
(74)【代理人】
【識別番号】100103171
【弁理士】
【氏名又は名称】雨貝 正彦
(72)【発明者】
【氏名】田上 大樹
(72)【発明者】
【氏名】森 友汰
(72)【発明者】
【氏名】市川 貴史
【テーマコード(参考)】
3B084
5E555
【Fターム(参考)】
3B084JA02
3B084JD07
5E555AA08
5E555AA46
5E555AA76
5E555BA23
5E555BA24
5E555BA84
5E555BA88
5E555BB23
5E555BB24
5E555BC04
5E555CA42
5E555CA47
5E555CB64
5E555CB66
5E555DA24
5E555DD06
5E555DD08
5E555EA14
5E555FA00
(57)【要約】
【課題】会話に関係のない乗員に対する余計な通知を行うことなく、乗員が相手からの話しかけに確実に気づくことを可能にする「車内コミュニケーション支援装置および車内コミュニケーション支援方法」を提供する。
【解決手段】車内に設置されたカメラ101およびマイク102の少なくとも一方からの入力情報に基づいて、第1の乗員の発話を認識する発話認識部12と、第1の乗員の発話の対象者である第2の乗員の着座位置を特定する対象者位置特定部15と、特定した第2の乗員に対して、発話が行われたことを知らせるための通知を行う通知部18とを備え、第1の乗員が第2の乗員に対して話しかけると、その発話の対象者である第2の乗員に対してのみ通知が行われるようにすることにより、会話に関係のない乗員に対する余計な通知を行うことなく、乗員が自分に対する話しかけに確実に気づけるようにする。
【選択図】
図1
【特許請求の範囲】
【請求項1】
車内に設置された撮像手段および集音手段の少なくとも一方からの入力情報に基づいて、上記車内における第1の乗員の発話を認識する発話認識部と、
上記撮像手段および上記集音手段の少なくとも一方からの入力情報に基づいて、上記発話認識部により認識された上記第1の乗員の発話の対象者である第2の乗員の着座位置を特定する対象者位置特定部と、
上記対象者位置特定部により特定された着座位置の上記第2の乗員に対して、発話が行われたことを知らせるための通知を行う通知部とを備えた
ことを特徴とする車内コミュニケーション支援装置。
【請求項2】
上記通知部は、上記第2の乗員の着座位置またはその近傍に設置されている触覚的刺激付与手段または視覚的刺激付与手段を作動させることによって上記通知を行うことを特徴とする請求項1に記載の車内コミュニケーション支援装置。
【請求項3】
上記対象者位置特定部は、上記撮像手段からの入力情報に基づいて、上記第1の乗員の視線および顔の向きの少なくとも一方を検出することにより、上記第2の乗員の着座位置を特定する
ことを特徴とする請求項1に記載の車内コミュニケーション支援装置。
【請求項4】
上記車内における乗員の各々を識別する乗員情報と、上記乗員の各々の着座位置を示す着座位置情報とを関連付けて成る着座状況情報を記憶媒体に記憶して管理する着座状況管理部を更に備え、
上記対象者位置特定部は、上記集音手段からの入力情報に基づいて、上記第1の乗員による発話の内容に含まれる乗員を分析し、その分析結果と上記着座状況情報とに基づいて、上記第2の乗員の着座位置を特定する
ことを特徴とする請求項1に記載の車内コミュニケーション支援装置。
【請求項5】
上記集音手段からの入力情報に基づいて、上記第1の乗員による発話の内容、音量、音程および話速の少なくとも1つを分析する発話分析部を更に備え、
上記通知部は、上記発話分析部による分析結果に基づいて、上記触覚的刺激付与手段により付与する触覚的刺激または上記視覚的刺激付与手段により付与する視覚的刺激の態様を制御する
ことを特徴とする請求項2に記載の車内コミュニケーション支援装置。
【請求項6】
上記撮像手段からの入力情報に基づいて、上記第1の乗員による発話時の顔の表情、瞳の状態、血流および動作の少なくとも1つを分析する生体分析部を更に備え、
上記通知部は、上記生体分析部による分析結果に基づいて、上記触覚的刺激付与手段により付与する触覚的刺激または上記視覚的刺激付与手段により付与する視覚的刺激の態様を制御する
ことを特徴とする請求項2または5に記載の車内コミュニケーション支援装置。
【請求項7】
上記撮像手段および上記集音手段の少なくとも一方からの入力情報に基づいて、上記発話認識部により発話が認識された上記第1の乗員の着座位置を特定する発話者位置特定部を更に備え、
上記触覚的刺激付与手段または上記視覚的刺激付与手段は、上記乗員の着座位置の各々に複数箇所ずつ設置されており、
上記通知部は、上記発話者位置特定部により特定された上記第1の乗員の着座位置に基づいて、上記触覚的刺激付与手段または上記視覚的刺激付与手段を作動させる箇所を制御する
ことを特徴とする請求項2に記載の車内コミュニケーション支援装置。
【請求項8】
上記触覚的刺激付与手段または上記視覚的刺激付与手段は、上記乗員の着座位置の各々において、上記乗員の着座位置と1:1に対応するような配置で複数箇所に設置されており、
上記通知部は、上記発話者位置特定部により特定された上記第1の乗員の着座位置に対応する箇所に設置されている上記触覚的刺激付与手段または上記視覚的刺激付与手段を作動させるように制御する
ことを特徴とする請求項7に記載の車内コミュニケーション支援装置。
【請求項9】
上記触覚的刺激付与手段または上記視覚的刺激付与手段は、上記乗員の着座位置の各々において、上記乗員の着座位置が存在する各列と1:1に対応するような配置で複数箇所に設置されており、
上記通知部は、上記発話者位置特定部により特定された上記第1の乗員の着座位置に基づいて、上記第2の乗員の着座位置から見た上記第1の乗員の着座位置の方向に対応する箇所に設置されている上記触覚的刺激付与手段または上記視覚的刺激付与手段を作動させるように制御する
ことを特徴とする請求項7に記載の車内コミュニケーション支援装置。
【請求項10】
上記通知部は、上記触覚的刺激付与手段または上記視覚的刺激付与手段を断続的に複数回作動させるように制御することを特徴とする請求項5,8または9の何れか1項に記載の車内コミュニケーション支援装置。
【請求項11】
上記通知部は、上記触覚的刺激付与手段または上記視覚的刺激付与手段を断続的に複数回作動させるように制御することを特徴とする請求項6に記載の車内コミュニケーション支援装置。
【請求項12】
上記撮像手段および上記集音手段の少なくとも一方からの入力情報に基づいて、上記対象者位置特定部により上記第2の乗員の着座位置が特定された後の所定時間以内に上記第2の乗員の反応があったか否かを判定する反応判定部を更に備え、
上記通知部は、上記反応判定部により上記所定時間以内に上記第2の乗員の反応がないと判定された場合にのみ、上記通知を行う
ことを特徴とする請求項1に記載の車内コミュニケーション支援装置。
【請求項13】
車内コミュニケーション支援装置の発話認識部が、車内に設置された撮像手段および集音手段の少なくとも一方からの入力情報に基づいて、上記車内における第1の乗員の発話を認識する第1のステップと、
上記車内コミュニケーション支援装置の対象者位置特定部が、上記撮像手段および上記集音手段の少なくとも一方からの入力情報に基づいて、上記発話認識部により認識された上記第1の乗員の発話の対象者である第2の乗員の着座位置を特定する第2のステップと、
上記車内コミュニケーション支援装置の通知部が、上記対象者位置特定部により特定された着座位置の上記第2の乗員に対して、発話が行われたことを知らせるための通知を行う第3のステップとを有する
ことを特徴とする車内コミュニケーション支援方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車内コミュニケーション支援装置および車内コミュニケーション支援方法に関し、特に、乗員どうしの会話が円滑に行われるように支援するための装置および方法に関するものである。
【背景技術】
【0002】
車内で乗員どうしが会話をする場合、ロードノイズやオーディオ再生音などの影響で、相手の声を聞き取り難くいことがある。また、相手から話しかけられた乗員の意識が別のことに向いていて、自分に話しかけられていることに気づかないこともある。これに対し、振動を発生させるアクチュエータを後部座席の背もたれに設け、前部座席の搭乗者が発話を開始すると、後部座席に座っている搭乗者に対してアクチュエータの振動によって発話の開始を通知することにより、会話の始まりの部分の聞き漏らしを低減できるようにした技術が知られている(例えば、特許文献1参照)。
【0003】
しかしながら、この特許文献1に記載の技術では、後部座席の全てにおいて振動が発生するため、話しかけられていない乗員にも振動による通知が行われてしまう。そのため、会話に関係のない乗員に煩わしさを与えてしまうという問題があった。
【0004】
ところで、近年では自動運転車の研究開発が盛んに行われている。自動運転車の自動化にはレベルが設定されており、加速、操舵、制動のいずれか1つをシステムが支援的に行うレベル1から、全ての状況下で全ての運転をシステムに任せることが可能な完全自動運転のレベル5まで存在する。自動化のレベルが進展すると、それに伴って車内における乗員の行動スタイルが変わる可能性がある。
【0005】
例えば、運転者が運転に拘束されない自由時間が増加し、左右座席間だけでなく、前後座席間で会話をする機会が増加する可能性がある。また、座席のレイアウト調整の自由度が増し、乗員が対面や寝そべりといった多様な姿勢または態勢で会話またはその他任意の行動を行う機会が増加する可能性もある。このように従前とは異なる自動運転車の車内環境では、相手から話しかけられた乗員が別の乗員と会話または独自の行動をしていて、自分に話しかけられていることに気づかないことがより多く発生することが予想される。
【先行技術文献】
【特許文献】
【0006】
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明は、上述のような問題を解決するために成されたものであり、会話に関係のない乗員に対する余計な通知を行うことなく、乗員が相手からの話しかけに確実に気づくようにすることで、車内でのコミュニケーションを円滑に行えるようにすることを目的とする。
【課題を解決するための手段】
【0008】
上記した課題を解決するために、本発明では、車内に設置された撮像手段および集音手段の少なくとも一方からの入力情報に基づいて、車内における第1の乗員の発話を認識するとともに、第1の乗員の発話の対象者である第2の乗員の着座位置を特定し、特定した第2の乗員に対して、発話が行われたことを知らせるための通知を行うようにしている。
【発明の効果】
【0009】
上記のように構成した本発明によれば、第1の乗員が第2の乗員に対して話しかけると、その発話の対象者である第2の乗員に対してのみ通知が行われる。これにより、会話に関係のない乗員に対する余計な通知を行うことなく、乗員が自分に対する話しかけに確実に気づくようにすることができ、車内でのコミュニケーションを円滑に行えるようにすることができる。
【図面の簡単な説明】
【0010】
【
図1】本実施形態による車内コミュニケーション支援装置の機能構成例を示すブロック図である。
【
図2】本実施形態の車内コミュニケーション支援システムにおいて用いるカメラおよびマイクの設置例を示す図である。
【
図3】本実施形態の車内コミュニケーション支援システムにおいて用いる振動素子の座席に対する設置例を示す図である。
【
図4】本実施形態による車内コミュニケーション支援装置の動作の一例を示す図である。
【
図5】本実施形態による車内コミュニケーション支援装置の動作例を示すフローチャートである。
【
図6】振動素子の座席に対する他の設置例を示す図である。
【発明を実施するための形態】
【0011】
以下、本発明の一実施形態を図面に基づいて説明する。
図1は、本実施形態による車内コミュニケーション支援装置1の機能構成例を示すブロック図である。
図2は、本実施形態の車内コミュニケーション支援装置1を適用した車内コミュニケーション支援システムにおいて用いるカメラ(撮像手段)およびマイク(集音手段)の設置例を示す図である。
図3は、本実施形態の車内コミュニケーション支援システムにおいて用いる振動素子(触覚的刺激付与手段)の座席に対する設置例を示す図である。
【0012】
まず、
図2を用いてカメラおよびマイクの設置例を説明する。
図2(a)は、3列シートを有する車両の座席配置を示したものである。
図2(a)に示すように、この車両は、前方から1列目、2列目および3列目のそれぞれに左右1つずつの座席を有している。このような座席配置の車両において、本実施形態の車内コミュニケーション支援システムは、前方に設置されたフロントカメラ101
-Fと、各座席の近傍に設置されたマイク102
-1R,102
-2R,102
-3R,102
-1L,102
-2L,102
-3Lとを備えている。
【0013】
図2(b)は、2列シートを有する車両の座席配置を示したものである。
図2(b)に示すように、この車両は、1列目と2列目のそれぞれに横長の座席を1ずつ有している。この車両は自動運転車であり、各列の座席が回転可能に構成されており、1列目の乗員と2列目の乗員とが対面で着座することもできるようになっている。このような座席配置の車両において、本実施形態の車内コミュニケーション支援システムは、前方と後方に設置されたフロントカメラ101
-Fおよびリアカメラ101
-Rと、各座席の左右近傍に設置されたマイク102
-1R,102
-2R,102
-1L,102
-2Lとを備えている。
【0014】
なお、以下の説明において、特に区別することが必要でない場合は単にカメラ101、マイク102という。カメラ101は、車内の全体を撮影可能な位置に設置されており、各座席に着座している乗員が含まれる範囲を撮影する。なお、
図2(a)の場合は1台のカメラ101で全ての乗員を撮影し、
図2(b)の場合は2台のカメラ101で全ての乗員を撮影する構成を示しているが、これに限定されない。例えば、列ごとまたは座席ごとに個別に撮影を行うように複数のカメラを設置するようにしてもよい。
【0015】
マイク102は、各座席の近傍に設置されており、各座席に着座している乗員の発話音声を集音する。これにより、どの位置のマイク102から集音された音声かを確認することによって、発話が行われている位置を特定することが可能である。なお、指向性を切り替えられるマイクを用いることにより、座席数より少ないマイクによって、各座席に着座している乗員の発話音声を集音するようにしてもよい。この場合も、どの方向から集音された音声かを認識することによって、発話が行われている位置を特定することが可能である。
【0016】
次に、
図3を用いて座席に対する振動素子の設置例を説明する。
図3は、座席の背もたれを背面からみた状態を示している。
図3(a)は、
図2(a)に示した6つの座席の各々に対する振動素子の設置例を示すものである。
図3(a)に示すように、各座席の背もたれ背面には、上部の左右、中部の左右および下部の左右に合計6つの振動素子103
-1L,103
-1R,103
-2L,103
-2R,103
-3L,103
-3Rが設置されている。これら6つの振動素子103
-1L,103
-1R,103
-2L,103
-2R,103
-3L,103
-3Rは、6つの座席に対応するものであり、6つの振動素子103
-1L,103
-1R,103
-2L,103
-2R,103
-3L,103
-3Rの配置と6つの座席の配置とが1:1に対応している。なお、以下の説明において、特に区別することが必要でない場合は単に振動素子103という。
【0017】
図3(b)は、
図2(b)に示した2つの座席の各々に対する振動素子の設置例を示すものである。ここでは、1つの座席に対する乗車定員が2名であることを想定した例を示している。
図3(b)に示すように、各座席の背もたれ背面の右側領域(点線枠で囲った領域)には、上部の左右および下部の左右に合計4つの振動素子103
-1L,103
-1R,103
-2L,103
-2Rが設置されている。これら4つの振動素子103
-1L,103
-1R,103
-2L,103
-2Rは、4つの着座位置に対応するものであり、4つの振動素子103
-1L,103
-1R,103
-2L,103
-2Rの配置と4つの着座位置とが1:1に対応している。
【0018】
また、
図3(b)に示すように、各座席の背もたれ背面の左側領域にも、上部の左右および下部の左右に合計4つの振動素子103
-1L,103
-1R,103
-2L,103
-2Rが設置されている。これら4つの振動素子103
-1L,103
-1R,103
-2L,103
-2Rは、4つの着座位置に対応するものであり、4つの振動素子103
-1L,103
-1R,103
-2L,103
-2Rの配置と4つの着座位置とが1:1に対応している。
【0019】
なお、ここでは1つの座席に対する乗車定員が2名であることを想定し、1つの座席の左右の領域にそれぞれ4つの振動素子103のセットを設置する例を示したが、乗車定員が3名の座席の場合は、左右に加えて中央の領域を含めて振動素子103を3セット設置すればよい。
【0020】
次に、
図1を用いて本実施形態による車内コミュニケーション支援装置1の機能構成を説明する。
図1に示すように、本実施形態の車内コミュニケーション支援装置1は、機能構成として、着座状況管理部11、発話認識部12、発話分析部13、生体分析部14、対象者位置特定部15、発話者位置特定部16、反応判定部17および通知部18を備えている。また、本実施形態の車内コミュニケーション支援装置1は、記憶媒体として着座状況記憶部10を備えている。
【0021】
上記機能ブロック11~18は、ハードウェア、DSP(Digital Signal Processor)、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記機能ブロック11~18は、実際にはコンピュータのCPU、RAM、ROMなどを備えて構成され、RAMやROM、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたプログラムが動作することによって実現される。
【0022】
着座状況管理部11は、車内における乗員の各々を識別する乗員情報と、乗員の各々の着座位置を示す着座位置情報とを関連付けて成る着座状況情報を着座状況記憶部10に記憶して管理する。乗員情報は、例えば乗員のユーザID、氏名、性別、家族構成の続柄(父、母、兄、妹など)、ニックネーム、顔画像などである。この乗員情報は、乗員となる可能性があるユーザごとにあらかじめ着座状況記憶部10に登録されている。これに対し、着座状況情報は、実際に乗車している乗員に関する情報を記録したものである。すなわち、着座状況管理部11は、実際に乗車してきた乗員とその着座位置とを所定の方法で認識し、認識した乗員の乗員情報と着座位置情報とを関連付けて成る着座状況情報を生成して着座状況記憶部10に記憶する。
【0023】
例えば、着座状況管理部11は、乗員となる可能性のあるユーザの顔画像と乗員情報とをあらかじめ関連付けて着座状況記憶部10に記憶しておき、乗員が車内に乗車してきたときにカメラ101により撮影される顔画像と着座状況記憶部10に記憶されている顔画像とを照合することにより、乗車してきた乗員を認識する。また、着座状況管理部11は、引き続いてカメラ101により撮影される画像を分析することにより、認識した乗員がどの座席に着座したかを更に認識する。着座状況管理部11は、これらの認識結果に基づいて、乗車してきた乗員の乗員情報と着座位置情報とを関連付けて着座状況記憶部10に記憶する。着座状況管理部11はこれを、乗車してきた各乗員のそれぞれについて実行する。
【0024】
なお、乗車してきた乗員およびその着座位置の認識方法は、以上説明した例に限定されない。例えば、ユーザIDを記録した無線タグまたはスマートフォンなどをユーザに携帯させるとともに、各座席の近傍にリーダを設置する。そして、乗員が車両に乗車して所望の座席に着座したときに、その近傍に設置されたリーダが乗員の無線タグやスマートフォンからユーザIDを読み取ることにより、乗車してきた乗員と着座位置とを認識するようにしてもよい。あるいは、ダッシュボード等に設置されたタッチパネル等を乗員が操作することにより、乗車した乗員とその座席位置に関する情報を入力するようにしてもよい。
【0025】
発話認識部12は、車内に設置されたカメラ101およびマイク102の少なくとも一方からの入力情報に基づいて、車内における第1の乗員の発話を認識する。ここで、第1の乗員とは、着座状況管理部11により着座状況情報が着座状況記憶部10に記憶されて管理されている複数の乗員のうち、発話を行った乗員を意味する。例えば、発話認識部12は、カメラ101の撮影画像を分析することにより、口が開閉している乗員を第1の乗員として認識し、当該第1の乗員が発話を行っていると認識する。また、発話認識部12は、座席ごとに設置されているマイク102の中から発話音声が入力されたマイク102を特定し、特定したマイク102の近傍位置に着座している乗員を第1の乗員として認識するようにしてもよい。
【0026】
発話分析部13は、マイク102からの入力情報に基づいて、第1の乗員による発話の内容、音量、音程および話速の少なくとも1つを分析する。この分析は、第1の乗員による発話の意図や発話時の感情などを推定するために行うものである。
【0027】
発話内容の分析は、マイク102から入力される発話音声の音声データから変換したテキストデータ(文字コード)により示される文字列を解析することによって行う。例えば、発話分析部13は、音声データを公知の音声認識技術によりテキストデータに変換し、テキストデータにより示される文字列を形態素解析することにより、複数の単語に分解する。そして、その単語の中に、相手の注意を強く喚起する意図で使われる可能性のある単語(例えば、緊急性を要する会話の際に使われる可能性のある単語、強い語調で話しかける際に使われる可能性のある単語など)が含まれているかどうかを分析する。
【0028】
発話の音量、音程および話速の分析は、公知の音響解析によって行うことが可能である。音量は、音声の音圧レベル[dB(デシベル)]を解析することによって得ることが可能である。音程は、音声の周波数を解析することによって得ることが可能である。話速は、例えば音声波形の解析によって1つの単語が発話されている時間を計測することによって得ることが可能である。発話音声の音量、音程および話速の少なくとも1つを分析することにより、第1の乗員が相手の注意を強く喚起する意図をもって発話しているか否か、第1の乗員がどんな感情をもって発話しているかなどを推定することが可能である(これについての詳細は後述する)。
【0029】
生体分析部14は、カメラ101からの入力情報に基づいて、第1の乗員による発話時の顔の表情、瞳の状態、血流および動作の少なくとも1つを分析する。この分析も、第1の乗員による発話の意図や発話時の感情などを推定するために行うものである。例えば、顔の表情を分析することにより、第1の乗員の感情を推定することが可能である。また、瞳孔の開き方や血流の多さ(あるいは顔の血色)を分析することにより、第1の乗員が興奮状態か否かを推定することが可能である。また、第1の乗員の頭の動きや身振り手振りを分析することにより、第1の乗員の感情を推定することが可能である。これについての詳細も後述する。
【0030】
対象者位置特定部15は、カメラ101およびマイク102の少なくとも一方からの入力情報に基づいて、発話認識部12により認識された第1の乗員の発話の対象者である第2の乗員の着座位置を特定する。第2の乗員の着座位置とは、
図2(a)のような3列シートの座席配置を有する車両の場合は、第2の乗員が着座している座席の位置である。また、
図2(b)のような対面シートの座席配置を有する車両の場合は、第2の乗員が着座している座席の右側または左側の何れかの位置である。
【0031】
例えば、対象者位置特定部15は、カメラ101からの入力情報に基づいて、第1の乗員の視線および顔の向きの少なくとも一方を検出することにより、第2の乗員の着座位置を特定する。すなわち、対象者位置特定部15は、第1の乗員の視線の方向または顔の向きの方向に発話の相手がいるとの推定のもと、視線の方向または顔の向きの方向にある着座位置を第2の乗員の着座位置として特定する。
【0032】
また、対象者位置特定部15は、マイク102からの入力情報に基づいて、第1の乗員による発話の内容に含まれる乗員を分析し、その分析結果と、着座状況記憶部10に記憶されている着座状況情報とに基づいて、第2の乗員の着座位置を特定する。
【0033】
例えば、対象者位置特定部15は、マイク102から入力される発話音声の音声データから変換したテキストデータにより示される文字列を形態素解析することにより、複数の単語に分解する。そして、その単語の中に、乗員を表す単語が含まれているか否かを判定することにより、発話の内容に含まれる乗員を分析する。乗員を表す単語とは、例えば乗員の氏名、ニックネーム、続柄に応じた読み方(続柄が父の場合は、「父さん」や「パパ」など)などであり、これらの単語はあらかじめ辞書データベースとして登録されている。
【0034】
例えば、第1の乗員が「ねえ、パパ。・・・」と発話した場合、対象者位置特定部15は、その発話の内容に含まれる乗員が「父」であることを分析する。すなわち、発話の内容に含まれる乗員が発話の対象者であり、これが誰であるかを対象者位置特定部15により分析する。対象者位置特定部15はさらに、その分析結果をもとに着座状況記憶部10の着座状況情報を参照することにより、発話内容に含まれる乗員として分析された「父」の着座位置を特定する。
【0035】
なお、第1の乗員が「ねえ、みんな~。・・・」と発話した場合、対象者位置特定部15は、その発話の内容に含まれる乗員が全員であると判定する。そして、着座状況記憶部10の着座状況情報を参照することにより、乗員全員の着座位置を第2の乗員の着座位置として特定する。
【0036】
以上のようなカメラ101からの入力情報に基づく分析と、マイク102からの入力情報に基づく分析は、どちらか一方のみを行うものとしてもよいが、両方を行うのが好ましい。例えば、第1の乗員の視線または顔の向きの方向に複数の着座位置が存在する場合には、カメラ101による撮影画像の分析だけでは第2の乗員の着座位置を特定できないが、マイク102による入力音声の分析を行うと第2の乗員の着座位置を特定できる可能性がある。逆に、発話音声の中に乗員を特定可能な単語が含まれていない場合には、マイク102による入力音声の分析を行うだけでは第2の乗員の着座位置を特定できないが、カメラ101による撮影画像の分析を行うと第2の乗員の着座位置を特定できる可能性がある。
【0037】
よって、カメラ101による撮影画像の分析とマイク102による入力音声の分析との両方を行うのが好ましい。なお、例えばカメラ101による撮影画像の分析を優先的に行い、第2の乗員の着座位置を特定できない場合に、マイク102による入力音声の分析を追加で行うようにしてもよい。これとは逆に、マイク102による入力音声の分析を優先的に行い、第2の乗員の着座位置を特定できない場合に、カメラ101による撮影画像の分析を追加で行うようにしてもよい。なお、カメラ101による撮影画像の分析とマイク102による入力音声の分析との両方を行っても、第2の乗員の着座位置を特定できない場合には、カメラ101による撮影画像の分析から推定される複数の着座位置を第2の乗員の着座位置として特定するようにしてもよい。
【0038】
例えば、
図2(a)のような3列シートの座席配置を有する車両において、右側の3列目の座席にいる乗員(第1の乗員)が、同じ右側にいる別の乗員に話しかけている場合には、第1の乗員の視線または顔の向きの方向に1列目の座席と2列目の座席とが存在するため、どちらの座席の乗員に話しかけているのかを特定できない。この場合において、発話の内容の中に乗員を特定可能な単語が含まれていなければ、マイク102による入力音声を分析しても、第2の乗員の着座位置を只1つに特定することができない。この場合、対象者位置特定部15は、右側の1列目の座席と2列目の座席とを第2の乗員の着座位置として特定する。
【0039】
発話者位置特定部16は、カメラ101およびマイク102の少なくとも一方からの入力情報に基づいて、発話認識部12により発話が認識された第1の乗員の着座位置を特定する。例えば、発話者位置特定部16は、カメラ101より入力された車内全体の撮影画像を分析することにより、口が開閉している第1の乗員の着座位置を特定する。また、発話者位置特定部16は、座席ごとに設置されているマイク102のうち、発話音声が入力されたマイク102が設置されている位置を第1の乗員の着座位置として特定する。あるいは、指向性が可変のマイク102を用いた場合は、どの方向から発話音声が入力されたかを分析することによって、発話が行われている位置を第1の乗員の着座位置として特定する。
【0040】
反応判定部17は、カメラ101およびマイク102の少なくとも一方からの入力情報に基づいて、対象者位置特定部15により第2の乗員の着座位置が特定された後の所定時間以内に第2の乗員の反応があったか否かを判定する。例えば、反応判定部17は、カメラ101による撮影画像に基づいて、第2の乗員の視線または顔の向きを検出することにより、第2の乗員が所定時間以内に第1の乗員の方を見るような動作をしたか否かを判定する。また、反応判定部17は、第2の乗員の着座位置の近傍に設置されたマイク102からの入力音声に基づいて、第2の乗員が第1の乗員の発話に対する返答を所定時間以内に行ったか否かを判定する。
【0041】
通知部18は、対象者位置特定部15により特定された着座位置の第2の乗員に対して、発話が行われたことを知らせるための通知を行う。この通知は、第2の乗員の着座位置に設置されている振動素子103を作動させることによって行う。ここで、通知部18は、反応判定部17により所定時間以内に第2の乗員の反応がないと判定された場合にのみ、通知を行う。
【0042】
また、通知部18は、発話者位置特定部16により特定された第1の乗員の着座位置に基づいて、振動素子103を作動させる箇所を制御する。すなわち、通知部18は、第2の乗員の着座位置に設置されている複数の振動素子103のうち、第1の乗員の着座位置に対応する箇所に設置されている振動素子103を作動させるように制御する。
【0043】
例えば、
図4(a)のような3列シートの座席配置を有する車両において、右側の3列目の座席にいる乗員(第1の乗員)が、左側の1列目にいる別の乗員(第2の乗員)に対して発話を行った場合を考える。この場合に通知部18は、
図4(b)に示すように、第2の乗員の座席に設置されている複数の振動素子103のうち、第1の乗員の座席に対応する箇所に設置されている振動素子103
-3Rを作動させるように制御する。これにより、第2の乗員は、右側の3列目の座席にいる第1の乗員から話しかけられていることに気づくことができる。
【0044】
ここで、通知部18は、振動素子103-3Rを断続的に複数回振動させることにより、身体が“ポンンポン”と叩かれているような感覚を第2の乗員に伝えるようにしてもよい。このようにすることで、第2の乗員が第1の乗員から呼ばれていることを把握させやすくすることができる。
【0045】
また、通知部18は、発話分析部13による分析結果に基づいて、振動素子103により付与する触覚的刺激(振動)の態様を制御する。例えば、通知部18は、相手の注意を強く喚起する意図で使われる可能性のある単語が発話音声の中に含まれていると発話分析部13により分析された場合、低周波帯で強い第1の振動を付与するように振動素子103を制御する。それ以外の場合、通知部18は、中周波帯で第1の振動よりも弱い第2の振動を付与するように振動素子103を制御する。第1の振動を付与する回数または時間を、第2の振動を付与する回数または時間よりも多くするようにしてもよい。
【0046】
また、通知部18は、第1の乗員が相手の注意を強く喚起する意図をもって、あるいは感情の高ぶりを伴って発話していると推定され得るような発話音声の音量、音程、話速が発話分析部13により分析された場合、第1の振動を付与するように振動素子103を制御する。それ以外の場合、通知部18は、第2の振動を付与するように振動素子103を制御する。例えば、通知部18は、発話音声の音量が所定の閾値より大きいこと、発話音声の音程が所定の閾値より高いこと、および、話速が所定の閾値より速いことの少なくとも1つを満たす場合に、第1の振動を付与するように振動素子103を制御する。
【0047】
なお、ここでは固定の閾値を用いる例を説明したが、これに限定されない。例えば、乗員となる可能性のある複数のユーザごとに、普通に発話をするときの音量、音程および話速をユーザ固有の特徴情報としてあらかじめ記憶しておき、これを乗員ごとに個別の閾値として用いるようにしてもよい。
【0048】
別の例として、通知部18は、発話分析部13により分析された発話音声の音量、音程、話速を所定のアルゴリズムによりスコア化し、そのスコアが閾値より大きい場合は第1の振動を付与するように振動素子103を制御する一方、スコアが閾値以下の場合は第2の振動を付与するように振動素子103を制御するようにしてもよい。この場合に用いる閾値についても、乗員によらず固定の閾値を用いるようにしてもよいし、乗員ごとにあらかじめ記憶しておいた乗員固有の特徴情報をもとに乗員ごとに設定した個別の閾値を用いるようにしてもよい。
【0049】
また、通知部18は、生体分析部14による分析結果に基づいて、振動素子103により付与する触覚的刺激(振動)の態様を制御する。すなわち、通知部18は、第1の乗員が相手の注意を強く喚起する意図をもって、あるいは感情の高ぶりを伴って発話していると推定され得るような顔の表情、瞳の状態、血流または動作が生体分析部14により分析された場合、第1の振動を付与するように振動素子103を制御する。それ以外の場合、通知部18は、第2の振動を付与するように振動素子103を制御する。
【0050】
例えば、通知部18は、目や口が大きく開いているような表情、いらいらしているような表情、または驚いているような表情などが生体分析部14により分析された場合に、第1の振動を付与するように振動素子103を制御する。また、通知部18は、例えば瞳孔が大きく開いている状態、顔が紅潮している状態、頭の動きや身振り手振りが大きい状態などが生体分析部14により分析された場合も、第1の振動を付与するように振動素子103を制御する。
【0051】
ここで、通知部18は、例えば、生体分析部14により分析された顔の表情、瞳の状態、血流、動作を所定のアルゴリズムによりスコア化し、そのスコアが閾値より大きい場合は第1の振動を付与するように振動素子103を制御する一方、スコアが閾値以下の場合は第2の振動を付与するように振動素子103を制御するようにしてもよい。この生体分析部14による分析結果に基づく判定についても、発話分析部13による分析結果に基づく判定と同様に、乗員によらず固定の閾値を用いるようにしてもよいし、ユーザごとにあらかじめ記憶しておいたユーザ固有の特徴情報を乗員ごとに個別の閾値を用いるようにしてもよい。
【0052】
なお、発話分析部13による分析結果および生体分析部14による分析結果の両方を合わせて所定のアルゴリズムによりスコア化し、そのスコアが閾値より大きい場合は第1の振動を付与するように振動素子103を制御する一方、スコアが閾値以下の場合は第2の振動を付与するように振動素子103を制御するようにしてもよい。あるいは、発話分析部13による分析結果または生体分析部14による分析結果の何れか一方のみに基づいて振動素子103を制御するようにしてもよい。
【0053】
また、ここでは第1の振動および第2の振動の2種類の振動のどちらかを付与する例について説明したが、3種類以上の振動の中から何れかの振動を付与するようにしてもよい。この場合は、2つ以上の閾値を設定すればよい。
【0054】
図5は、上記のように構成した本実施形態による車内コミュニケーション支援装置1の動作例を示すフローチャートである。なお、着座状況管理部11による着座状況情報の着座状況記憶部10への登録は既に行われているものとする。
【0055】
まず、発話認識部12は、車内に設置されたカメラ101およびマイク102の少なくとも一方からの入力情報に基づいて、車内における第1の乗員の発話を認識する(ステップS1)。次に、発話者位置特定部16は、カメラ101およびマイク102の少なくとも一方からの入力情報に基づいて、発話認識部12により発話が認識された第1の乗員の着座位置を特定する(ステップS2)。また、対象者位置特定部15は、カメラ101およびマイク102の少なくとも一方からの入力情報に基づいて、発話認識部12により認識された第1の乗員の発話の対象者である第2の乗員の着座位置を特定する(ステップS3)。なお、ステップS2とステップS3の処理は逆順に行ってもよい。
【0056】
次に、反応判定部17は、カメラ101およびマイク102の少なくとも一方からの入力情報に基づいて、対象者位置特定部15により第2の乗員の着座位置が特定された後の所定時間以内に第2の乗員の反応があったか否かを判定する(ステップS4)。ここで、所定時間以内に第2の乗員の反応があった場合、
図5に示すフローチャートの1回の処理が終了する。
【0057】
一方、所定時間以内に第2の乗員の反応がなかった場合、発話分析部13は、マイク102からの入力情報に基づいて、第1の乗員による発話の内容、音量、音程および話速の少なくとも1つを分析する(ステップS5)。また、生体分析部14は、カメラ101からの入力情報に基づいて、第1の乗員による発話時の顔の表情、瞳の状態、血流および動作の少なくとも1つを分析する(ステップS6)。なお、ステップS5とステップS6の処理は逆順に行ってもよい。また、ステップS4で所定時間の経過を待機している間にステップS5とステップS6の処理を開始してもよい。
【0058】
次に、通知部18は、ステップS3で特定された第2の乗員の着座位置に設置されている複数の振動素子103のうち、ステップS2で特定された第1の乗員の着座位置に対応する箇所に設置されている振動素子103を作動させることにより、第2の乗員に対して第1乗員から発話が行われたことを知らせるための通知を行う(ステップS7)。このとき通知部18は、ステップS5で行われた発話分析部13による分析結果およびステップS6で行われた生体分析部14による分析結果に基づいて、第1の振動または第2の振動の何れかを振動素子103に付与するように制御する。これにより、
図5に示すフローチャートの1回の処理が終了する。
【0059】
図5に示すフローチャートの処理は、ステップS1において発話認識部12が第1の乗員の発話を認識する都度、繰り返し実行される。ある乗員による発話が認識されてステップS1~S6の処理を実行中に、別の乗員による発話が発話認識部12により認識された場合、当該ある乗員を第1の乗員とするステップS1~S6の処理と、当該別の乗員を第1の乗員とするステップS1~S6の処理とが並行して実行される。
【0060】
なお、所定時間以上の無音状態が続いた後に第1の乗員の発話がステップS1で発話認識部12により認識されたときに限り、ステップS2以降の処理を実行するようにしてもよい。あるいは、乗員による発話が発話認識部12により認識する都度、ステップS1~S3の処理を実行し、これにより特定された2人の乗員間の会話が所定時間以上なかったと判定される場合に限り、ステップS4以降の処理を実行するようにしてもよい。このようにすれば、第1の乗員と第2の乗員との会話が開始された後には通知を行わないようにすることができる。
【0061】
以上詳しく説明したように、本実施形態では、車内に設置されたカメラ101およびマイク102の少なくとも一方からの入力情報に基づいて、車内における第1の乗員の発話を認識するとともに、第1の乗員の発話の対象者である第2の乗員の着座位置を特定し、特定した着座位置にいる第2の乗員に対して、発話が行われたことを知らせるための通知を行うようにしている。
【0062】
このように構成した本実施形態によれば、第1の乗員が第2の乗員に対して話しかけると、第1の乗員の発話の対象者である第2の乗員に対してのみ通知が行われる。これにより、会話に関係のない乗員に対する余計な通知を行うことなく、第2の乗員が自分に対する話しかけに確実に気づくようにすることができ、車内でのコミュニケーションを円滑に行えるようにすることができる。
【0063】
また、本実施形態では、カメラ101からの入力情報に基づいて、第1の乗員の視線または顔の向きを検出することによって第2の乗員の着座位置を特定するとともに、マイク102からの入力情報に基づいて、第1の乗員による発話の内容に含まれる乗員を分析し、その分析結果を利用して第2の乗員の着座位置を特定するようにしている。カメラ101からの入力情報またはマイク102からの入力情報の何れか一方に基づいて第2の乗員の着座位置を特定するようにしてもよいが、両方の入力情報に基づいて第2の乗員の着座位置を特定することにより、より確実に第2の乗員の着座位置を特定することができる。
【0064】
また、本実施形態では、カメラ101およびマイク102の少なくとも一方からの入力情報に基づいて第1の乗員の着座位置を特定し、第2の乗員の着座位置に設置されている複数の振動素子103のうち、第1の乗員の着座位置に対応する箇所に設置されている振動素子103を作動させるようにしている。これにより、第2の乗員が自分に対する話しかけに気づくようにするだけでなく、どの位置の乗員から話しかけられているかを把握できるようにすることができ、車内でのコミュニケーションをより円滑に行えるようにすることができる。
【0065】
ここで、カメラ101からの入力情報またはマイク102からの入力情報の何れか一方に基づいて第1の乗員の着座位置を特定するようにしてもよいが、両方の入力情報に基づいて第1の乗員の着座位置を特定することにより、より確実に第1の乗員の着座位置を特定することができる。
【0066】
また、本実施形態では、マイク102からの入力情報に基づいて、第1の乗員による発話の内容、音量、音程および話速の少なくとも1つを分析するとともに、カメラ101からの入力情報に基づいて、第1の乗員による発話時の顔の表情、瞳の状態、血流および動作の少なくとも1つを分析し、それらの分析結果に基づいて、振動素子103により付与する振動の態様を制御するようにしている。これにより、第1の乗員の発話に表れる緊急性や強い呼びかけ等の意図または発話時の感情などに応じて振動の態様が変わり、第1の乗員による発話の意図や発話時の感情などを第2の乗員に振動によって伝達することができる。
【0067】
ここで、カメラ101からの入力情報またはマイク102からの入力情報の何れか一方を分析するようにしてもよいが、両方を分析することにより、第1の乗員による発話の意図や発話時の感情などをより精度よく推定することができる。また、このような分析および振動の態様の制御を行うことを必須とするものではないが、これを行うことにより、より日常に近い直感的な会話を支援することができるという点で好ましい。
【0068】
また、本実施形態では、カメラ101およびマイク102の少なくとも一方からの入力情報に基づいて、第2の乗員の着座位置が特定された後の所定時間以内に第2の乗員の反応があったか否かを判定し、所定時間以内に第2の乗員の反応がないと判定された場合にのみ通知を行うようにしている。これにより、第1の乗員と第2の乗員との間で普通に会話が成立している場合には通知を行わないようにすることができる。このため、相手からの話しかけに気づいて普通に会話を開始している乗員に対する余計な通知を行うことなく、車内でのコミュニケーションを円滑に行えるようにすることができる。
【0069】
また、所定時間以上の無音状態が続いた後に第1の乗員の発話が認識されたときに限って通知を行うようにすることにより、第1の乗員による最初の話しかけのときにだけ第2の乗員に対する通知を行うことができ、会話が開始された後は余計な通知を行わないようにすることができる。また、会話が所定時間以上行われていなかった2人の乗員間で第1の乗員の発話が認識されたときに限って通知を行うようにすることにより、例えば第1の乗員が第2の乗員と会話を行った後、所定時間以上の無音状態を作ることなく第1の乗員が別の第2の乗員に話しかけを行った場合には、その話しかけのときに通知を行うようにすることができる。これにより、会話中に余計な通知を行うことなく、車内でのコミュニケーションをより円滑に行えるようにすることができる。
【0070】
なお、上記実施形態では、通知を行うための手段として振動素子103(触覚的刺激付与手段)を用いる例について説明したが、本発明はこれに限定されない。例えば、視覚的刺激付与手段を用いるようにしてもよい。また、触覚的刺激付与手段と視覚的刺激付与手段とを併用するようにしてもよい。視覚的刺激付与手段の一例として、LEDによる発光または表示装置によるメッセージの表示を挙げることが可能である。この場合、LEDまたは表示装置は、座席の近傍に設置される。例えばLEDを用いる場合、通知部18が制御する視覚的刺激の態様は、例えば光の強さ、波長(色)、発光時間、発光回数、発光間隔(点滅の状態)などとすることが可能である。
【0071】
また、上記実施形態では、各座席の背もたれ背面において、車両の各着座位置と1:1に対応する複数箇所に複数の振動素子103を設置し、発話の対象者である第2の乗員の背もたれ背面に設置された複数の振動素子103のうち、発話を行っている第1の乗員の着座位置に対応する箇所に設置されている振動素子103を作動させる例について説明した。この場合、第2の乗員の自席位置に対応する箇所に設置されている振動素子103が作動することはない。これに対し、自席位置に対応する箇所については振動素子103の設置を省略してもよい。例えば、
図3(a)に示す例において、1列目左側の座席においては上部左側の振動素子103
-1Lを省略し、1列目右側の座席においては上部右側の振動素子103
-1Rを省略してもよい。2列目および3列目の左右の座席も同様である。
【0072】
あるいは、第1の乗員の着座位置に対応する箇所に設置されている振動素子103と共に、第2の乗員の自席位置に対応する箇所に設置されている振動素子103を作動させるようにしてもよい。
図4に示した例の場合は、発話を行った第1の乗員の座席に対応する箇所に設置されている振動素子103
-3Rと、発話の対象者である第2の乗員の座席(自席位置)に対応する箇所に設置されている振動素子103
-1Lとを作動させる。ここで、第1の乗員の座席の振動素子103
-3Rに付与する振動の態様と、第2の乗員の座席の振動素子103
-1Lに付与する振動の態様とを同じにしてもよいし、異ならせてもよい。
【0073】
また、上記実施形態では、各々の座席に振動素子103を車両の各着座位置と1:1に対応するような配置で複数箇所ずつ設置し、第1の乗員の着座位置に対応する箇所に設置されている振動素子103を作動させるようにしているが、本発明はこれに限定されない。例えば、各々の着座位置の右上または左上の領域に振動素子103を1つずつ設置し、常にこの1つの振動素子103を作動させるようにしてもよい。ここで、この振動素子103を断続的に複数回振動させることにより、肩が叩かれているような感覚を第2の乗員に伝えるようにしてもよい。この例の場合、発話者位置特定部16は省略可能である。
【0074】
あるいは、乗員の各々の着座位置が存在する各列と1:1に対応するような配置で振動素子103を複数箇所に設置し、第2の乗員の着座位置から見た第1の乗員の着座位置の方向に対応する箇所に設置されている振動素子103を作動させるようにしてもよい。
図2(a)のように左右2列に座席が配置されている車両の場合、
図6のように各々の座席の背もたれの右上領域および左上領域に2つの振動素子103
-L,103
-Rを設置し、第2の乗員の着座位置に設置されている2つの振動素子103
-L,103
-Rのうち、第2の乗員の着座位置から見た第1の乗員の着座位置の方向に対応する箇所に設置されている振動素子103を作動させるようにしてもよい。すなわち、第1の乗員の着座位置が右列座席の何れかで、第2の乗員の着座位置が左列座席の何れかである場合は、第2の乗員の着座位置の右側に設置されている振動素子103
-Rを作動させる。逆に、第1の乗員の着座位置が左列座席の何れかで、第2の乗員の着座位置が右列座席の何れかである場合は、第2の乗員の着座位置の左側に設置されている振動素子103
-Lを作動させる。第1の乗員と第2の乗員とが同じ列に存在する場合は、左右2つの振動素子103
-L,103
-Rを両方とも作動させるようにしてもよい。この例においても、振動素子103を断続的に複数回振動させるようにしてもよい。このようにすることにより、発話を行っている第1の乗員がいる方向の肩が叩かれているような感覚を第2の乗員に伝えることができる。
【0075】
また、上記実施形態では、振動素子103を座席の背もたれ背面に設置する例について説明したが、これに限定されない。例えば、背もたれの前面に設置してもよいし、背もたれの中に埋設するようにしてもよい。
【0076】
その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【0077】
1 車内コミュニケーション支援装置
10 着座状況記憶部
11 着座状況管理部
12 発話認識部
13 発話分析部
14 生体分析部
15 対象者位置特定部
16 発話者位置特定部
17 反応判定部
18 通知部
101 カメラ(撮像手段)
102 マイク(集音手段)
103 振動素子(触覚的刺激付与手段)