特開 2022-175359 車両用情報提供装置、情報提供方法、及び情報提供プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022175359

(43)【公開日】2022-11-25

(54)【発明の名称】車両用情報提供装置、情報提供方法、及び情報提供プログラム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20221117BHJP

   B60W 50/14 20200101ALI20221117BHJP

   B60W 40/02 20060101ALI20221117BHJP

   G09F 9/00 20060101ALI20221117BHJP

【ＦＩ】

G06F3/01 510

B60W50/14

B60W40/02

G09F9/00 362

【審査請求】未請求

【請求項の数】16

【出願形態】ＯＬ

(21)【出願番号】P 2021081693

(22)【出願日】2021-05-13

(71)【出願人】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(74)【代理人】

【識別番号】110000567

【氏名又は名称】弁理士法人サトー

(72)【発明者】

【氏名】横山 静香

(72)【発明者】

【氏名】山元 健史

(72)【発明者】

【氏名】田口 清貴

【テーマコード（参考）】

3D241

5E555

5G435

【Ｆターム（参考）】

3D241BA57

3D241BA60

3D241DC41Z

3D241DC57Z

3D241DD01Z

3D241DD07Z

3D241DD10Z

3D241DD11Z

5E555AA48

5E555AA56

5E555AA71

5E555AA74

5E555BA23

5E555BB23

5E555BC01

5E555BE10

5E555CB65

5E555DA01

5E555DC11

5E555DC19

5E555DC51

5E555DD08

5E555FA00

5G435BB05

5G435BB12

5G435CC09

5G435GG08

5G435LL17

(57)【要約】

【課題】 ＶＰＡの対応として出力される報知情報を適切に報知し、たとえ運転中であってもＶＰＡの機能を安全に利用できるようにした車両用情報提供装置、車両用情報提供方法、及び車両用情報提供プログラムを提供する。
【解決手段】 ＶＰＡ処理部１１ｆは、ＶＰＡを動作させて車両乗員に対する対応を生成し当該対応に基づく報知情報を出力する。状況判定部１１ｂは、車両の周辺状況又はドライバの状況を判定する。表示処理部１３又は音声処理部１４は、状況判定部１１ｂの判定結果に基づいて、ＶＰＡ処理部１１ｆの対応による報知情報の態様を変更する。
【選択図】図３

【特許請求の範囲】

【請求項1】

ＶＰＡ（Virtual Personal Assistant）を動作させて車両乗員に対する対応を生成すると共に前記対応に基づく報知情報を出力するＶＰＡ処理部（１１ｆ）と、
車両の周辺状況、又は、前記車両乗員による運転に関する状況を判定する状況判定部（１１ｂ）と、
前記状況判定部の判定結果に基づいて、前記ＶＰＡ処理部の前記対応による前記報知情報の態様を変更する情報提供部（１３、１４）と、
を備える車両用情報提供装置。

【請求項2】

前記状況判定部は、前記車両の周辺状況を判定するときに、周辺車両の位置、周囲の危険度、又は道路状況、を判定する請求項１記載の車両用情報提供装置。

【請求項3】

前記状況判定部は、前記運転に関する状況を判定するときに、運転中であるか否かの判定、運転負荷度が高いか否かの判定、又は車両乗員の感情の判定を実行する請求項１記載の車両用情報提供装置。

【請求項4】

前記車両乗員の視線を検知する視線検知部（１１ｃ）を備え、
前記情報提供部は、前記視線検知部の検知結果に基づいて前記ＶＰＡ処理部の前記対応に対する反応を確認し前記報知情報の態様を変更する請求項１から３の何れか一項に記載の車両用情報提供装置。

【請求項5】

前記情報提供部は、前記ＶＰＡ処理部の前記対応に基づく視覚情報を前記報知情報の態様として表示処理する表示処理部（１３）を含む請求項１から４の何れか一項に記載の車両用情報提供装置。

【請求項6】

前記状況判定部の判定結果に基づいて、前記表示処理部により表示処理する前記視覚情報を視認可能又は視認不能にする前記車両乗員を区分する区分部（１１ｇ）を備え、
前記情報提供部は、前記区分部の区分結果に基づいて前記ＶＰＡ処理部の前記対応による前記報知情報の報知態様を変更する請求項５記載の車両用情報提供装置。

【請求項7】

前記視認可能に区分された前記車両乗員から前記視認可能な位置で且つ前記視認不能に区分された前記車両乗員から前記視認不能な位置を設定する位置設定部（１３ａ）を備え、
前記表示処理部は、前記位置設定部により設定された位置に前記視覚情報を表示処理する請求項６記載の車両用情報提供装置。

【請求項8】

前記状況判定部は、前記車両乗員の感情を認識した認識結果に基づいて前記車両乗員による運転に関する状況を判定する請求項１から７の何れか一項に記載の車両用情報提供装置。

【請求項9】

前記表示処理部は、前記状況判定部の判定結果に基づいて、前記車両乗員としてのドライバからも助手席の乗員からも前記視覚情報を視認可能な位置に変更して表示する請求項５記載の車両用情報提供装置。

【請求項10】

前記表示処理部は、前記状況判定部の判定結果に基づいて、前記車両乗員としてのドライバから前記視覚情報を視認不能な位置、且つ、助手席の乗員から前記視覚情報を視認可能な位置に変更して表示する請求項５記載の車両用情報提供装置。

【請求項11】

前記表示処理部は、前記状況判定部の判定結果に応じて、前記車両乗員の全員から前記視覚情報を視認不能にする請求項５記載の車両用情報提供装置。

【請求項12】

前記車両乗員の視線を検知する視線検知部（１１ｃ）を備え、
前記表示処理部が、前記状況判定部の判定結果に応じて前記車両乗員から視認可能な位置に前記視覚情報を表示するときに、前記視線検知部により前記車両乗員が前記視覚情報を見始めたことを検知してから予め定められた所定期間だけ待機する前に、前記運転に関する状況が変化して前記視覚情報を表示不可となった場合には、前記運転に関する情報を提供する請求項５記載の車両用情報提供装置。

【請求項13】

前記表示処理部は、現在位置の周辺情報を表示した近辺に前記ＶＰＡ処理部の前記対応に基づく前記視覚情報を表示する請求項５、６、１０から１２の何れか一項に記載の車両用情報提供装置。

【請求項14】

前記情報提供部は、前記ドライバに安全運転行動を促す情報を提供する請求項１から１３の何れか一項に記載の車両用情報提供装置。

【請求項15】

ＶＰＡ処理部（１１ｆ）によりＶＰＡ（Virtual Personal Assistant）を動作させて車両乗員に対する対応を生成すると共に前記対応に基づく報知情報を出力する過程と、
状況判定部（１１ｂ）により車両の周辺状況、又は、前記車両乗員の運転に関する状況を判定する過程と、
情報提供部（１３、１４）により前記状況判定部の判定結果に基づいて、前記ＶＰＡ処理部の前記対応による前記報知情報の態様を変更する過程と、
を備える車両用情報提供方法。

【請求項16】

車両用情報提供装置に、
ＶＰＡ処理部（１１ｆ）によりＶＰＡ（Virtual Personal Assistant）を動作させて車両乗員に対する対応を生成すると共に前記対応に基づく報知情報を出力する手順と、
状況判定部（１１ｂ）により車両の周辺状況、又は、前記車両乗員の運転に関する状況を判定する手順と、
情報提供部（１３、１４）により前記状況判定部の判定結果に基づいて、前記ＶＰＡ処理部の前記対応による前記報知情報の態様を変更する手順と、
を実行させる車両用情報提供プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両用情報提供装置、情報提供方法、及び情報提供プログラムに関する。

【背景技術】

【0002】

車内で音声認識を実施する際のＨＭＩとしてＶＰＡが普及しつつある。ＨＭＩはHuman Interfaceの略であり、ＶＰＡとは人工知能のＵＩでありVirtual Personal Assistantの略である。近年では、ＶＰＡを用いることで自然言語を用いて流暢に人と音声コミュニケーションを行うことができる。

【0003】

近年のＶＰＡにおいては、擬人化したキャラクタがユーザと目を合わせ、ユーザの話しかけに対して反応を示すユーザインターフェースも増えている。キャラクタに対して話しかけるという動作は、人としても自然な行動である。このため、キャラクタをインタフェースとして用いることで、ユーザはキャラクタと話しやすくなる。

【0004】

特許文献１には、「視線検出等の技術を用い、利用者の注視対象に応じて他メディアからの入力の受付可否や、認識処理、あるいは出力の提示方法や中断、確認等を制御するようにしたものであって、特に擬人化インタフェースでは、例えば顔を見ることによって会話を開始できるようにする等、人間同士のコミュニケーションでの非言語メッセージの使用法や役割をシミュレートするようにして適用したものである」、と記載されている。このように、キャラクタに話しかける動作が自然な行動であることは、特許文献１でも認められている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開平１０?３０１６７５号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

背景技術欄の技術を車両用途に適応させるときには種々の問題がある。ＶＰＡの技術を車両用途に適用すると、例えば、通常運転中、ドライバの視線は前方にあり必要な時だけＶＰＡによる視覚情報を瞬間視することになる。このため、ドライバは長時間キャラクタを確認することができない。

【0007】

またドライバが、キャラクタを確認してはいけない場面で確認してしまうと安全性が損なわれる。このようにＶＰＡの利用は、運転中など視線を注視させる可能性があるため、ドライバにとって危険性が増してしまう。また、ＶＰＡを用いて音声で報知したときにも適切なタイミングで報知していなければ、前述同様にドライバにとって危険性が高まる虞がある。ＶＰＡを用いたコミュニケーションを成立させつつ安全運転を維持させるには細心の注意を払う必要がある。

【0008】

本発明は、上記事情に鑑みてなされたものであり、その目的は、ＶＰＡの対応としての報知を適切に行い、運転中であってもＶＰＡの機能を安全に利用できるようにした車両用情報提供装置、車両用情報提供方法、及び車両用情報提供プログラムを提供することにある。

【課題を解決するための手段】

【0009】

請求項１記載の発明によれば、ＶＰＡを動作させることによる報知態様を情報提供する情報提供装置を対象としている。状況判定部は、車両の周辺状況、又は、ドライバの状況を判定する。情報提供部は、状況判定部の判定結果に基づいてＶＰＡによる報知態様を変更している。このため、ＶＰＡによる対応としての音声情報や視覚情報を適切に報知でき、運転中であってもＶＰＡを安全に利用できる。

【図面の簡単な説明】

【0010】

【図1】第１実施形態におけるコックピットシステムの外観図

【図2】車両用情報提供装置の制御形態を概略的に示す図

【図3】車両用情報提供装置の電気的構成を概略的に説明するブロック図

【図4】処理を概略的に説明するフローチャート

【図5】ドライバから視認可能な位置、且つ、助手席から視認可能な位置にキャラクタを表示させたときの報知態様の説明図

【図6】ドライバから視認不能な位置、且つ、助手席から視認可能な位置にキャラクタを表示させたときの報知態様の説明図

【図7】第２実施形態における処理を概略的に説明するフローチャート

【図8】キャラクタを含む視覚情報の表示態様例のその１

【図9】キャラクタを含む視覚情報の表示態様例のその２

【図10】キャラクタを含む視覚情報の表示態様例のその３

【図11】キャラクタを含む視覚情報の表示態様例のその４

【発明を実施するための形態】

【0011】

以下、車両用情報提供装置、車両用情報提供方法、及び車両用情報提供プログラムに係る幾つかの実施形態について図面を参照しながら説明する。なお、各実施形態において実質的に共通する部位には同一の符号を付して説明する。

【0012】

（第１実施形態）
第１実施形態について図１から図６を参照しながら説明する。図１に示すように、車両用情報提供装置１は、ピラートゥピラーディスプレイ２、センタディスプレイ３、及び電子ミラー４など複数の表示器を備えるコックピットシステムにより構成される。ただし、表示器の数や設置形態あるいは構成は一例であり、これらに限定されない。以下、ピラートゥピラーディスプレイ２を、ＰｔｏＰディスプレイ２と称す。

【0013】

図１及び図２に示すように、ＰｔｏＰディスプレイ２は、複数のディスプレイ２ａを隣り合わせて横長になるように構成されている。ＰｔｏＰディスプレイ２の各ディスプレイ２ａは、液晶ディスプレイ又は有機ＥＬディスプレイにより構成される。図１に示すように、ＰｔｏＰディスプレイ２は車両の左ピラーと右ピラーとの間にかけてダッシュボードに設けられる大型ディスプレイである。ＰｔｏＰディスプレイ２は、複数のディスプレイ２ａの上に複数の画像コンテンツを連続して並べて表示できるように構成され、これによりコンテンツ配置の自由度を向上している。ＰｔｏＰディスプレイ２は、メータ画像、周辺カメラ２３の撮像画像、静止画や動画のエンターテインメント画像、現在位置周辺の地図画像などの各種の画像コンテンツをフルグラフィック表示で表示可能な構成となっている。

【0014】

メータ画像は、通常の運転時においてドライバの視界に入るＰｔｏＰディスプレイ２の中の特定のディスプレイ２ａの中に表示される。自動運転の場合にはこの限りではない。またＰｔｏＰディスプレイ２は、横方向に長く構成されているため、ドライバや助手席の乗員以外にも後部座席の乗員から表示内容を確認できる。

【0015】

他方、センタディスプレイ３は、例えば液晶ディスプレイや有機ＥＬディスプレイにより構成され、運転席と助手席との間で且つＰｔｏＰディスプレイ２の下部に設置されている。センタディスプレイ３は、ドライバや助手席の乗員の両者が見やすいセンタコンソール付近に設けられており、フルグラフィック表示で各種のコンテンツを表示可能になっている。センタディスプレイ３の上には操作パネル２１が構成されており、ＰｔｏＰディスプレイ２に表示させるコンテンツの選択や空調操作、オーディオ操作、ナビゲーション機能の入力操作できるようになっている。

【0016】

ＰｔｏＰディスプレイ２は、センタディスプレイ３に対し縦方向に併設されると共に離間して設置されている。縦方向に２画面併設して設置されていると、乗員が一度に視認可能な表示領域を増やすことができる。また、コックピットシステムにおいて、ＰｔｏＰディスプレイ２の各ディスプレイ２ａの表示画面は、センタディスプレイ３の表示画面よりも奥方向に位置するように設置されている。ここでいう奥方向とは、ドライバなどの車両乗員から見て奥方向に位置していることを意味しており、言い換えると、センタディスプレイ３の表示画面の面方向よりもＰｔｏＰディスプレイ２の表示画面の面方向が車両の進行方向に位置していることを意味している。

【0017】

電子ミラー４は、ディスプレイ４ａ及びドアミラーカメラ４ｂを用いて構成される。図３参照。電子ミラー４のディスプレイ４ａは、例えば液晶ディスプレイや有機ＥＬディスプレイにより構成される。ディスプレイ４ａは、ドライバの左右位置にそれぞれ一つずつ設置されるもので、例えば車室内のＡピラーの下部にそれぞれ設置される。電子ミラー４の左右の各ディスプレイ４ａは、ＰｔｏＰディスプレイ２の中の特定のディスプレイ２ａ、例えば両端のディスプレイ２ａと一体に構成されていても良い。ドアミラーカメラ４ｂは、自車両のドアミラーの設置箇所から自車両の後方、すなわち側後方を撮像する周辺カメラ２３である。電子ミラー４のディスプレイ４ａは、ドライバから車両側後方を確認しやすい位置に設けられ、ディスプレイ４ａには、ドアミラーカメラ４ｂにより撮像された車両の周辺情報などを表示可能な構成となっている。

【0018】

また車両内には、図２及び図３に示すように、多数のＥＣＵ５が構成されており、車内ネットワーク２５に接続されている。ＥＣＵ５は、表示系のＥＣＵ、周辺監視系のＥＣＵ、走行制御系のＥＣＵ、車両外部と通信接続するＤＣＭを含んでいる。ＤＣＭは、Data Communication Moduleの略である。走行制御系のＥＣＵは、周知の車両制御ＥＣＵ、エンジン制御ＥＣＵ、モータ制御ＥＣＵ、ブレーキ制御ＥＣＵ、ステアリング制御ＥＣＵ及び統合制御ＥＣＵ等である。走行制御系のＥＣＵは、自動制御信号を入力すると、対応した所定レベルの運転支援技術、自動運転を実行する自動運転ＥＣＵを構成する。自動運転ＥＣＵは、Autonomous Driving Electric Control Unitである。
自動運転ＥＣＵは、自動制御信号を入力すると、運転アクチュエータを駆動することで対応した所定レベルの運転支援、自動運転を実行する。例えば、レベルＩの運転支援では、障害物への衝突を避ける自動ブレーキ、先行車に追従して走行する追従走行、又は、両脇の車線からはみ出さないように制御する走行レーンはみ出し防止走行、を実行できる。レベルＩＩの自動運転では、レベルＩの運転支援の組み合わせ、又は、特定条件下での自動運転、例えば高速道路で遅い車両が存在すれば自動で追い越したり、高速道路の分合流を自動で行ったりする自動運転モードを実行できる。なお、レベルＩＩの自動運転ではドライバによる監視義務がある。レベルＩＩＩ以上の自動運転では、システムにより監視しながらシステムが全ての運転タスクを実行するが詳細説明は省略する。

【0019】

各ＥＣＵ５は、プロセッサ、キャッシュメモリ、ＲＡＭ、ＲＯＭなどの各種の記憶部６、Ｉ／Ｏ、これらを接続するバスを備えたマイクロコンピュータを主体として構成される。各ＥＣＵ５は、車両内に設けられる他のＥＣＵ５と通信制御部７及び車内ネットワーク２５を通じて通信可能に接続されている。

【0020】

本実施形態では、図２に示すように、表示系の複数のＥＣＵ５により車両用情報提供装置１０としてのＨＣＵを構成しており、表示系のＥＣＵ５の内部の物理リソースの処理能力を分担してディスプレイ２、３、４ａに表示処理する。表示系のＥＣＵ５は専用線で互いに接続しても良いし、一つのＥＣＵ５により構成されていても良い。ＨＣＵは、Human Machine Interface Control Unitの略であり情報提示制御装置を示す。前述した記憶部６は、コンピュータによって読み取り可能なプログラム及びデータを非一時的に格納する非遷移的実体的記憶媒体を示す。非遷移的実体的記憶媒体は、半導体メモリなどにより実現される。

【0021】

図３に示すように、車両用情報提供装置１０は、制御装置１１、演算装置１２、記憶部６、表示処理部１３、音声処理部１４、各種装置からの入力又は出力を管理するＩ／Ｏ制御部１５、他のＥＣＵ５との間で通信管理する通信制御部７、アンテナ１６ａを接続して構成され無線ＬＡＮやブルートゥース（登録商標）により他の携帯端末２７と無線接続できるようにした無線制御部１６、を備える。表示処理部１３、音声処理部１４は、情報提供部として構成される。ここでは、Ｉ／Ｏ制御部１５を通じて各種センサ入力又はスイッチ出力を説明するが、車内ネットワーク２５を通じて、周辺監視系のＥＣＵ、走行制御系のＥＣＵなどの他のＥＣＵ５から入出力が行われることもある。

【0022】

無線制御部１６は、車両乗員が所持する携帯端末２７との間で通信リンクする。車両用情報提供装置１０は、携帯端末２７の着信を待機し、通話相手先から携帯端末２７へ着信があり着信応答されると、携帯端末２７を通じて通話相手先との間でスピーカ１８及びマイク１７を通じてハンズフリー通話を実行できる。また、マイク１７は、指向性を有する音入力特性を備えるか又はドライバ席（以下、Ｄ席と称す）及び助手席（以下、Ｐ席と称す）に近接して複数設置されており、音声処理部１４は、Ｄ席又はＰ席の何れの席から音声を入力したか否かを判別できる。車両用情報提供装置１０の音声処理部１４は、マイク１７を通じて入力された音声について音声認識できる。また車両用情報提供装置１０は、ＶＰＡ処理部１１ｆによる人工知能を用いて自然言語での音声コミュニケーションを実行できる。

【0023】

演算装置１２は、制御装置１１の制御に基づいて、記憶部６に記憶された画像、文章、文字、コメント又は記号（以下、画像等と称する）のコンテンツについて、ＰｔｏＰディスプレイ２、センタディスプレイ３の表示画面に表示させる表示領域を演算し、画像や文字のコンテンツをＰｔｏＰディスプレイ２、センタディスプレイ３の表示画面の何れの領域に表示させるか、また、何れの領域に重ね合わせて表示させるか演算し、画像等のコンテンツと共に表示領域を制御装置１１を通じて表示処理部１３に出力する。

【0024】

表示処理部１３は、制御装置１１の制御に基づいて、ＰｔｏＰディスプレイ２、センタディスプレイ３、及び電子ミラー４の表示画面の中の前述の表示領域に画像等のコンテンツを表示する。ディスプレイ２、３の表示画面には、表示レイヤ毎に画像等を表示できる。また、音声処理部１４は、制御装置１１の制御に基づいて、マイク１７から入力された受話音声を入力すると共に、スピーカ１８から送話音声を出力する。

【0025】

音声処理部１４は、文章や文字のコンテンツを制御装置１１から入力すると、音声に変換したりしてスピーカ１８を通じて読み上げて出力する。また音声処理部１４は、マイク１７から入力された音声に基づいて、ドライバが発話したか助手席の乗員が発話したか否かを検出し、この検出信号を制御装置１１に出力する。

【0026】

位置検出器１９は、図示しない周知のＧＰＳなどのＧＮＳＳ受信機、加速度センサやジャイロセンサなどの慣性センサを用いて高精度に位置を検出する。位置検出器１９は、位置検出信号をＩ／Ｏ制御部１５を通じて制御装置１１に出力する。制御装置１１の位置特定部１１ａは、地図データ入力器から入力される地図情報と位置検出器１９の位置検出信号に基づいて車両の現在位置を高精度に逐次測位するＡＤＡＳロケータとしての機能を実現する。ＡＤＡＳは、Advanced Driver Assistance Systemsの略である。この場合、車両位置は、緯度および経度からなる座標系で表され、この座標系では、例えば、Ｘ軸が経度、Ｙ軸が緯度を示す。なお、車両位置の測位は、例えば、自車両に搭載されている車速センサによるセンシング結果に基づき求められる走行距離の情報などに基づいて行うなど、自車両の位置を特定できる構成であれば、種々の構成を採用することができる。制御装置１１は、自車両の現在位置に基づいて、いわゆるナビゲーション処理を行うことができる。

【0027】

操作パネル２１は、センタディスプレイ３の上に構成されたタッチパネルであり、Ｉ／Ｏ制御部１５は、乗員による操作入力があると操作入力を受け付け、制御装置１１に出力する。制御装置１１は、操作パネル２１の操作信号に基づいた制御を実行する。

【0028】

乗員モニタ２２は、車両内に搭乗した乗員の状態又は操作状態を検知する。乗員モニタ２２は、例えばパワースイッチ、乗員状態モニタ、ターンスイッチ、自動制御スイッチなどを用いて構成され、各種の信号を制御装置１１に出力する。乗員モニタ２２は、ドライバによりステアリングホイールが把持されているか又は操舵されているか否かを検出するステアリングセンサ、シートに着座しているか否かを検出する着座センサ、アクセルペダル又はブレーキペダルの踏込センサなどを含んでいても良い。

【0029】

パワースイッチは、内燃機関又は電動モータを始動させるために車室内にてユーザによりオン操作されることで、当該操作に応じた信号を出力する。乗員状態モニタは、Ｄ席又はＰ席の乗員の状態を画像センサにより撮影することで当該乗員の状態を検知して撮像信号を出力するカメラを含んで構成される。ドライバの乗員状態モニタはＤＳＭと称されている。ＤＳＭは、Driver Status Monitorの略である。乗員状態モニタは、ドライバの頭部に近赤外光を照射して撮影した撮像信号を取得し必要に応じて画像解析して制御装置１１に出力する。乗員状態モニタは、特に運転支援中や自動運転中にドライバなどの乗員の状態を検知するために使用される。ターンスイッチは、自車両の方向指示器を作動させるときに車室内にて乗員によりオン操作されることで、当該操作に応じて右方又は左方にターンするターン信号を出力する。

【0030】

自動制御スイッチは、車両の走行状態に対する所定の運転支援又は自動制御を指令するために、車室内にて乗員によりオン操作されることで、当該操作に応じた自動制御信号を出力する。この自動制御信号は走行制御系のＥＣＵに出力されることで、対応した所定レベルの運転支援又は自動運転制御を実行できる。

【0031】

制御装置１１は、乗員モニタ２２のセンサ信号により車両乗員の挙動、例えば視線が何れの方向を向いているかを判定でき、また、パワースイッチの操作状態、方向指示器の作動状態、車両の自動制御の指令情報、その他各種センサによるセンサ情報や操作情報などを入力できる。

【0032】

周辺カメラ２３は、車両の前方を撮像する前方視界カメラや、車両の後部を撮像するバックカメラ、車両の前側部や後側部を撮像するコーナカメラ、又は、車両の側部を撮像するサイドカメラ、又は電子ミラー４のドアミラーカメラ４ａなどによるものであり、これらはそれぞれフロントガイドモニタ、バックガイドモニタ、コーナービューモニタ、サイドガイドモニタ、電子ミラー４の各撮像信号としてＩ／Ｏ制御部１５を通じて制御装置１１に出力される。

【0033】

また車両には障害物との距離などを検出する距離検出センサ２４が周辺監視センサとして設置されている。距離検出センサ２４は、クリアランスソナー、ＬｉＤＡＲ又はミリ波を用いたレーダなどにより構成され、車両前方、車両前側部、車両後側部、車両後方又は車両側部に近接する車両や人などの障害物との距離を検出する。

【0034】

各ＥＣＵ５にはＳｏＣが搭載されている。ＳｏＣはSystem On Chipの略である。搭載されたＳｏＣには前述したマイクロコンピュータが組込まれている。ＥＣＵ５のＳｏＣに組み込まれたマイクロコンピュータは、予めインストールされた汎用ＯＳ、リアルタイムＯＳ上で各種の複数のアプリケーション（以下、アプリと略す）が動作するように構成されており、これにより、車両用情報提供装置１０はアプリを実行することで様々な機能を実現できる。

【0035】

前述したアプリには、画像処理アプリやその他のアプリが含まれる。画像処理アプリの描画要求に応じてＳｏＣに組み込まれたプロセッサが、ＰｔｏＰディスプレイ２の各ディスプレイ２ａ、センタディスプレイ３、電子ミラー４のディスプレイ４ａの表示画面に描画処理する。車両用情報提供装置１０の制御装置１１は、アプリを実行することで位置特定部１１ａ、状況判定部１１ｂ、視線検知部１１ｃ、ＶＰＡ処理部１１ｆ、及び区分部１１ｇとしての機能を備える。

【0036】

位置特定部１１ａは、位置検出器１９による位置検出信号に基づいて車両の現在位置を特定する。前述したアプリにはナビアプリが含まれる。ナビアプリは、ナビゲーション機能を実現するものであると共に、主にＰｔｏＰディスプレイ２に表示される地図画像や位置特定部１１ａにより特定された車両の現在位置などを含むナビゲーション画面を描画する。

【0037】

状況判定部１１ｂは、車両の周辺状況、又は、運転に関する状況を判定する。状況判定部１１ｂは、周辺カメラ２３による撮像画像や距離検出センサ２４による周辺監視センサの信号に基づいて、ドライバが注意したほうが良い周辺事象など車両の周辺状況を判定する。具体的には、状況判定部１１ｂは、車両の周辺状況を判定するときに、周辺車両の位置、自車両の周囲の危険度、又は、道路状況を判定すると良い。

【0038】

また状況判定部１１ｂは、運転に関する状況を判定するときに、運転中であるか否か、運転負荷度が高いか否か、車両乗員の感情を判定する。状況判定部１１ｂが車両乗員の感情を判定する際には、周知の生体計測技術を用いて乗員の生体を計測することで、乗員の身体の表層に表れている顔の表情や、表層に表れない眠気、ポジティブ感情、ネガティブ感情、疲労度などの心理的状態を判定し、取得した情報に基づいて乗員の状況を判定できる。また状況判定部１１ｂは、心拍数などのフィジカル状態を判定することで感情を判定しても良い。また状況判定部１１ｂは、乗員の頭部へ光を照射しその反射度を測定することに基づいて頭の血流を検出する。状況判定部１１ｂは、乗員の頭の血流を検出した検出結果に基づいて乗員の状況を判定できる。

【0039】

また制御装置１１は、状況判定部１１ｂにより乗員状態モニタを用いて撮像された画像を認識することで顔の表情、例えば笑い、怒り、悲しみ等を含めて感情を認識しても良い。なお、車両の振動の影響により乗員モニタ２２により表情などを画像認識しにくいときには、運転アクチュエータの作動状態や各種センサの信号に基づいて感情を認識するようにしても良い。
例えば、制御装置１１は、乗員によりアクセル又はブレーキの操作履歴を記憶部６に記憶しておき、この記憶された学習結果に基づいて、例えばブレーキを踏む操作タイミングが標準時間より所定時間以上遅れると判定した場合、乗員が疲れ気味であるという感情を判定すると良い。

【0040】

同様に、制御装置１１は、乗員によるステアリングホイールの旋回操作履歴を記憶部６に記憶しておき、この記憶された学習結果に基づいて、旋回操作の速度が標準速度より所定以上速いと判定した場合には、乗員が乱暴な旋回操作を行ったと判定し、乗員の気分に苛立ちなどの感情を生じていることを認識するようにしても良い。このように制御装置１１は、運転操作履歴を学習して運転アクチュエータの操作の変化傾向を検知することで、乗員の感情を認識するための情報として活用できる。この結果、制御装置１１は、状況判定部１１ｂにおいて、乗員の感情を認識した認識結果に基づいて乗員による運転に関する状況を判定できる。視線検知部１１ｃは、乗員モニタ２２の乗員状態モニタを用いてドライバ又は助手席の乗員など任意の車両乗員の視線を検知する。

【0041】

ＶＰＡ処理部１１ｆは、機械学習や深層学習などＡＩ技術を用いたアプリを実行することで動作する。ＶＰＡ処理部１１ｆが動作すると、車両乗員により発話された発話音声を音声認識すると共に音声認識内容に基づく対応を生成する。ＶＰＡ処理部１１ｆは、前述の対応として音声出力するための発話音声の文章や文字のコンテンツを報知情報として生成して音声処理部１４に渡し、音声処理部１４がスピーカ１８から音声で報知させる。さらにＶＰＡ処理部１１ｆは、前述の対応としてディスプレイ２、３等に表示させる視覚情報を生成し、表示処理部１３に渡し、表示処理部１３が、ＶＰＡ処理部１１ｆにより生成される対応に基づく視覚情報をディスプレイ２、３に表示させる。

【0042】

ＶＰＡ処理部１１ｆは、予めデザインされた特定のキャラクタＡなどのコンテンツを視覚情報として、表示処理部１３を通じてディスプレイ２又は３に表示させることもできる。また、ＶＰＡ処理部１１ｆの動作に基づいて生成される視覚情報をＰｔｏＰディスプレイ２に表示させると、Ｄ席前に位置するディスプレイ２ａからＰ席前に位置するディスプレイ２ａに至るまで、ＰｔｏＰディスプレイ２上でのキャラクタＡの配置を状況に合わせて自由に変更できる。

【0043】

本形態において、ＶＰＡ処理部１１ｆは、キャラクタＡをディスプレイ２に表示する形態を示すが、キャラクタＡのほか、キャラクタＡの傍に表示するコメント、非キャラクタを視覚情報として表示するようにしても良い。またＶＰＡ処理部１１ｆは、現在位置の周辺の地図情報や文字情報を視覚情報として表示処理部１３を通じてディスプレイ２、３に表示させるようにしても良い。これにより、ＶＰＡ処理部１１ｆは、車両乗員にとって必要な情報を提供できると共に車両乗員とのコミュニケーションを実現できる。
また、制御装置１１は、ＶＰＡ処理部１１ｆによる対応により雑談することもできる。例えば、制御装置１１は、ＶＰＡ処理部１１ｆの機能により例えば本日の天気などの情報や本日に関する雑学を提供することもできる。ＶＰＡ処理部１１ｆにより雑談を行う最中に乗員の気分に関する質問を乗員に投げかけ、この質問に対する回答を乗員から得て回答内容を判断することで乗員の感情を認識するようにしても良い。この場合においても、制御装置１１は、状況判定部１１ｂにおいて乗員の感情を認識した認識結果に基づいて乗員による運転に関する状況を判定できる。

【0044】

またアプリには検知アプリも含まれている。検知アプリは、乗員モニタ２２による撮像信号に基づいて車両内の乗員の仕草を検知したり、手指による操作やその視線を検知したりする。制御装置１１は、視線検知部１１ｃにより車両内の乗員の視線を検知したり、その他検知アプリにより顔の表情や仕草を検知したりできるため、キャラクタＡとの会話に対する反応を確認できる。検知アプリは、視線検知部１１ｃとしての機能を実現している。

【0045】

また、視線検知部１１ｃにより車両乗員の視線を検知すると、ＶＰＡ処理部１１ｆが、この視線検知結果に基づいて動作することで、あたかもキャラクタＡが車両乗員に視線を合わせて会話をしているようにディスプレイ２又は３に表示できる。

【0046】

各アプリのうち画像コンテンツを描画するアプリには、画像コンテンツを描画するための表示領域が割り当てられている。これらの表示領域は、記憶部６上に、必要となる画像コンテンツを描画できる大きさで確保されている。
また、キャラクタＡなどの各種のコンテンツは、アニメーション動作可能になっている。ここで、アニメーション動作とは、コンテンツを示す画像の位置や大きさが徐々に変化したり、画像が回転したり、スワイプ操作にともなってユーザインターフェースが全体的に移動したり、画像が徐々にフェードインあるいはフェードアウトしたり、画像の色が変化したりするような表示態様である。

【0047】

また制御装置１１は、状況判定部１１ｂの判定結果に基づいて、表示処理部１３により表示処理する視覚情報を視認可能又は視認不能にする車両乗員を区分する区分部１１ｇとしての機能を備える。このとき、表示処理部１３又は音声処理部１４は、区分部１１ｇの区分結果に基づいてＶＰＡ処理部１１ｃの対応による報知情報の報知態様を変更する。さらに表示処理部１３は、視認可能に区分された車両乗員から視認可能な位置で且つ視認不能に区分された車両乗員から視認不能な位置を設定する位置設定部１３ａとしての機能を備える。このとき表示処理部１３は、ディスプレイ２、３、４の中で位置設定部１３ａにより設定された位置に視覚情報を表示処理する。

【0048】

上記構成についての作用、動作を説明する。車両のパワースイッチがオンされると、乗員モニタ２２がこの操作を受け付け、車両用情報提供装置１０は、図４に示す処理を実行する。制御装置１１は、Ｓ１において入力される情報に基づいて状況判定部１１ｂにより運転中であるか否かを判定する。ここではドライバによる運転中であるか否かを判定する。

【0049】

例えば、前述の各種のセンサ情報に基づきドライバ運転時の停車中であると判定された場合、また制御装置１１によるナビアプリの実行中にナビゲーションの目的地や現在地の設定を操作パネル２１から受け付けているときは、ドライバによる運転中ではないと判定する。また、レベルＩＩＩ以上の自動運転中にはドライバによる運転中ではないと判定し、Ｓ１においてＮＯとする。

【0050】

運転中ではない場合、音声処理部１４が、車両乗員からの発話をマイク１７から入力すると、ＶＰＡ処理部１１ｆにより音声認識して解析すると共にその対応を生成する。ＶＰＡ処理部１１ｆは、解析を終了し対応を実行するとき、乗員への音声対応をスピーカ１８から音声出力させる。また、ＶＰＡ処理部１１ｆは、キャラクタＡの表示態様を変化させながら、キャラクタＡを含む視覚情報をディスプレイ２又は３に表示する。このとき、Ｄ席に座したドライバから視やすい一部のディスプレイ２ａに表示位置を設定して表示する。

【0051】

つまり、安全が確保された場面、例えば停車中には、表示処理部１３は、Ｄ席に座したドライバ、助手席の乗員を含む車両乗員に対しキャラクタＡを見やすい位置、例えばＰｔｏＰディスプレイ２の中央のディスプレイ２ａに表示位置を設定して表示する。見やすい位置とは、ドライバがディスプレイ２の中央のディスプレイ２ａを見たときの中心視野又は周辺視野に入る位置とすると良い。ドライバ、助手席の乗員に限らず、後部座席に座した車両乗員の全てに見やすい所定位置、に表示しても良い。

【0052】

これにより、ＶＰＡ処理部１１ｆによる対応をスピーカ１８から発話させると共にキャラクタＡを表示させたときに、ドライバがキャラクタＡを見たときのドライバの状況や反応を状況判定部１１ｂにより判定でき、また特に視線検知部１１ｃを用いて視線を検知できる。特に、キャラクタＡの変化態様に紐付けてドライバの反応を確認できる。さらに、乗員モニタ２２を用いて他の車両乗員の状況、反応も同様に確認できる。さらに、状況判定部１１ｂがＶＰＡ処理部１１ｆの対応によるドライバの状況、反応を確認した後に、制御装置１１は、報知情報の態様を変更することが望ましい。また、視線検知部１１ｃがＶＰＡ処理部１１ｆの対応によるドライバの視線を検知した結果に基づいて、制御装置１１は、報知情報の態様を変更することが望ましい。例えば、制御装置１１は、音声処理部１４により報知される音声情報、表示処理部１３により報知される視覚情報の表示態様、キャラクタＡの表示位置、を変更することが望ましい。

【0053】

逆に、制御装置１１は、Ｓ１において運転中と判定すると、表示処理部１３は、Ｓ３においてＤ席から見えない位置にキャラクタＡを表示させると良い。例えば、図６に示すように、表示処理部１３は、ドライバの目線からステアリングホイールにより隠れるディスプレイ２の所定領域２ｂにキャラクタＡを表示すると良い。また、表示処理部１３は、キャラクタＡを非表示にし、車両に乗車した乗員全員から見えないように変更しても良い。

【0054】

つまりドライバの運転中には、表示処理部１３は、Ｄ席に座したドライバから見にくい位置、又は、視認不能な位置にキャラクタＡを表示させ、ドライバに視覚情報を提供しないようにすると良い。これにより脇見運転を防止できる。

【0055】

また、表示処理部１３は、Ｐ席の乗員から視認可能な位置にキャラクタＡを表示させても良いし、視認不能な位置に表示させても良い。Ｐ席の乗員から視認可能な位置にキャラクタＡを表示させれば、Ｐ席の乗員はキャラクタＡを確認しながらＶＰＡ処理部１１ｆによる対応を楽しむことができる。またＰ席の乗員がキャラクタＡを見たときの乗員の反応や視線を検知できる。

【0056】

また、表示処理部１３はキャラクタＡを何れのディスプレイ２、３等にも表示しないようにしても良い。特に運転中には、ドライバから見えない位置にキャラクタＡを移動したり消去したりすると良い。

【0057】

また、運転中にマイク１７を通じて発話を確認すると、制御装置１１は、図４のＳ４において発話者がドライバであるか否かを判定する。このとき、制御装置１１は、ドライバにより発話されたか助手席の乗員により発話されたか検知する音声処理部１４の検知信号に基づいて、表示処理部１３による表示処理内容を変更しても良い。ドライバ発話の場合には、ＶＰＡ処理部１１ｆによる応答は音声のみとし、Ｓ５においてキャラクタＡを含む視覚情報を表示しないようにすると良い。

【0058】

また、音声処理部１４は、助手席の乗員により発話されたことを検知した場合にはＳ４でＮＯと判定し、視覚情報有で応答する。このとき、表示処理部１３は、ドライバから見えない又は見にくい位置にキャラクタＡを含む視覚情報を表示すると良い。表示処理部１３は、助手席の乗員が見やすい位置、例えばＰ席直前のディスプレイ２ａにキャラクタＡを含む視覚情報を表示すると良い。

【0059】

このような場合、ＶＰＡ処理部１１ｆの対応に興味を抱くのは助手席の乗員のみと考えられる。このため、ドライバへの誘目にならないと判断すれば、表示処理部１３は、ドライバから視認可能な位置にキャラクタＡを表示しても良い。さらに、表示処理部１３がキャラクタＡをディスプレイ２、３に表示後、状況判定部１１ｂによりドライバの状況を判定したり、又は、視線検知部１１ｃによりドライバ又はＰ席の乗員の視線を検知したりすることで、ＶＰＡ処理部１１ｆの対応に対する反応を確認し、制御装置１１は、報知情報の態様、例えば音声情報、視覚情報の表示態様、キャラクタＡの表示位置、を変更するようにしても良い。

【0060】

本実施形態を概念的にまとめる。本実施形態によれば、状況判定部１１ｂのによるドライバの状況を判定した判定結果に基づいて、ＶＰＡ処理部１１ｆの対応による報知情報の態様、例えば音声情報、視覚情報の表示態様、キャラクタＡの表示位置、を変更するようにしている。また、視線検知部１１ｃの検知結果に基づいてＶＰＡ処理部１１ｆの対応に対する反応を確認し、報知情報の態様、例えば音声情報、視覚情報の表示態様、キャラクタＡの表示位置、を変更するようにしている。この結果、ＶＰＡ処理部１１ｆの対応による報知情報を利用でき、運転中であってもＶＰＡ処理部１１ｆの機能を安全に活用できる。また自然な会話を成立させることができる。

【0061】

（第２実施形態）
第２実施形態について図７から図９を参照しながら説明する。前述実施形態と異なる部分を説明する。図７に示すように、車両のパワースイッチがオンされると、乗員モニタ２２がこの操作を受け付け、車両用情報提供装置１０は、図７に示す処理を実行する。制御装置１１は、Ｓ１１において運転中であるか否かを判定する。

【0062】

第１実施形態と同一条件を用いて、状況判定部１１ｂにより運転中ではないと判定された場合、Ｓ１２において視覚情報有で応答する。このとき、第１実施形態と同様に、表示処理部１３はＤ席に座したドライバから視やすい一部のディスプレイ２ａに表示する。つまり、安全が確保された場面、例えば停車中には、表示処理部１３は、Ｄ席に座したドライバを含む車両乗員に対してキャラクタＡを視やすい位置、例えばＰｔｏＰディスプレイ２の中央のディスプレイ２ａに表示する。

【0063】

逆に、制御装置１１は、Ｓ１１において運転中と判定すると、状況判定部１１ｂにより運転中に運転負荷度が所定より高いか否かを判定する。制御装置１１は、距離検出センサ２４や周辺カメラ２３の周辺監視センサにより検出した結果を受けて、状況判定部１１ｂにより周りに障害物が所定より多いと判定することで運転負荷度を高いと判定する。また制御装置１１は、状況判定部１１ｂにより高速道路を走行中に周辺の車両が少ないと判定したときには運転負荷度を低いと判定し、逆に多いと判定したときに運転負荷度を高いと判定する。また制御装置１１は、狭い路地などで車両の周辺に他の人が隣を歩いていることを周辺カメラ２３や距離検出センサ２４により検知したときには運転負荷度を高いと判定する。

【0064】

また、運転負荷度は自動運転のレベルに応じて変化する。一般的には自動運転のレベルが上がるほど運転負荷度は低くなる。また、自動運転中であっても、自他車のレーンチェンジ中等は自車と他車との位置関係が大きく変化するため、制御装置１１は、このような特定の自動運転時における車両操舵中、必要に応じてその前後の所定期間中には運転負荷度を高いと判定する。逆に、所定レベルの運転支援技術又は自動運転技術を用い、例えばＡＣＣによる追従走行時や、レーンキープアシスト（ＬＡＳ）により空いた高速道路を定常運転しているときなど、比較的安定、安全な定常運転時には運転負荷度を低いと判定する。

【0065】

表示処理部１３は、Ｓ１３において運転負荷度を高いと判定したとき、Ｓ１４においてＤ席から見えない位置又は見にくい位置にキャラクタＡを含む視覚情報を表示させると共に、ＶＰＡ処理部１１ｆの対応によるキャラクタＡの態様を変更すると良い。また表示処理部１３は、キャラクタＡを含む視覚情報を非表示にし、車両に乗車した乗員全員から見えないように変更しても良い。

【0066】

また表示処理部１３は、Ｓ１３において運転負荷度を低いと判定したとき、Ｓ１５においてドライバから視やすい位置にキャラクタＡを含む視覚情報を表示させる。

【0067】

これにより、例えばＡＣＣによる追従走行時や、レーンキープアシスト（ＬＡＳ）により空いた高速道路を定常運転しているときなど、比較的安定、安全な走行をしている最中、ドライバはキャラクタＡと目線を交わしながらコミュニケーションできる。

【0068】

さらに視線検知部１１ｃによりキャラクタＡを確認するドライバの視線を検知したとき、表示処理部１３は、この視線を中心とした中心視野又は周辺視野の中に前方視界カメラの撮像画像や周辺監視センサの情報など、周辺安全確認に役立つ情報を並列して表示処理しても良い。これにより、運転とコミュニケーションを両立させることができる。運転中のときにはドライバに誘目させ過ぎない工夫もできる。

【0069】

また、制御装置１１は、Ｓ１６においてドライバがキャラクタＡを凝視しているか否かを判定する。制御装置１１は、視線検知部１１ｃによりドライバが凝視していないと判定すればＳ１７において視覚情報有で応答する。これによりキャラクタＡを含む視覚情報を継続して表示させる。ただし、キャラクタＡを用いて安全行動を促すように表示することが望ましい。

【0070】

逆に、制御装置１１は、視線検知部１１ｃを用いてドライバが凝視している、すなわち、視線検知部１１ｃによりドライバが見始めたことを検知してから予め定められた所定期間だけ待機しても未だ視ていることを検出したときには、Ｓ１８においてキャラクタＡを含む視覚情報を無、すなわち視覚情報を消して応答すると良い。

【0071】

また、制御装置１１は、視線検知部１１ｃによりドライバが見始めたことを検知してから予め定められた所定期間だけ待機する前に、状況判定部１１ｂによる判定結果に基づいて運転に関する状況が変化して視覚情報を表示不可となった場合には、車両乗員に対し運転に関する情報、例えばドライバに安全運転行動を促す情報、をキャラクタＡの表示位置又はその周辺位置に表示すると良い。すると、ドライバに対し運転行動から離れすぎないよう安全運転を促すことができる。

【0072】

例えば、ドライバが次世代車載情報通信システムの情報を確認することがある。次世代車載情報通信システムは、In-Vehicle Infotainment system、ＩＶＩシステムと称される。図８の上図は、ＰｔｏＰディスプレイ２の一のディスプレイ２ａに周辺カメラ２３の前方撮像カメラの画像コンテンツを現在位置の周辺情報として表示すると共に、他のディスプレイ２ａに目的地マークＢを含む地図画像を表示した場合を例示している。

【0073】

視線検知部１１ｃによりドライバが目的地マークＢを見ていることを検知した場合、表示処理部１３は、他のディスプレイ２ａに目的地マークＢの近辺にキャラクタＡを含む視覚情報をドライバの視界に入るように表示し、さらにキャラクタＡが目的地マークＢを見ているように表示する。制御装置１１は、キャラクタＡの表示に対するドライバのリアクション反応を視線検知部１１ｃにより検知し、この検知結果に基づいて補足の情報提供、例えばコメントの表示などを行っても良い。

【0074】

また、赤信号１００ｂや渋滞で一時停車した際、前方監視カメラにより赤信号１００ｂを認識した場合、表示処理部１３は、その認識画像と共にこの認識画像に含まれる赤信号１００ｂをチラチラ見て気にするようにキャラクタＡの表示態様を変化させ、赤信号１００ｂにドライバの視線を誘引させると良い。

【0075】

表示処理部１３は、キャラクタＡが車両の前方を気にするしぐさをする態様に変化させ、前方視界カメラの撮像画像を表示した領域の近くに、キャラクタＡを表示させることでドライバの視線を前方に誘引できる。

【0076】

また制御装置１１は、視線検知部１１ｃによりドライバがキャラクタＡを一時的に確認、所謂チラ見していることを検知したとき、表示処理部１３はキャラクタＡと並列して安全運転行動を促すための情報を表示すると良い。

【0077】

例えば図９に示すように、制御装置１１は、視線検知部１１ｃにより視線を検知しキャラクタＡを凝視していると判定したとき、図７のＳ１６でＹＥＳと判定し、表示処理部１３は、視線の先にキャラクタＡを表示すると共に、前方から視線が離れている秒数をカウント表示する。このカウントは、視線の先の視野ＮＶ、例えば中心視野又は周辺視野に収まるように表示すると良い。これにより、ドライバによる視覚情報への凝視を抑止できると共に、ドライバへ安全行動を促すように注意喚起できる。

【0078】

以下、車両内で生じやすいその他の事例を説明する。
＜第１事例＞
ドライバが一人で運転中の場合、制御装置１１が、乗員モニタ２２により車室内にドライバが一人で運転中と判断すると、ＶＰＡ処理部１１ｆによる対応は音声のみとし、表示処理部１３はディスプレイ２、３へのキャラクタＡを非表示とする。その後、ドライバが前方の道路を確認しながら「○○、温度下げて」と発話すると、この発話内容についてマイク１７を通じて入力し、制御装置１１は、ＶＰＡ処理部１１ｆの対応により図示しないエアコンディショナ装置を作動させて設定温度を変更する。その後、ＶＰＡ処理部１１ｆの対応として「はい、設定温度を２２度にしました。」と音声のみで返答を行う。キャラクタＡは非表示となっているため、ドライバは会話のために脇見をすることがなく安全運転できる。

【0079】

＜第２事例＞
ドライバが助手席に他の人員を乗車させて運転中、制御装置１１は、乗員モニタ２２により車両内にドライバと助手席の乗員の少なくとも２人が乗車していると判断する。表示処理部１３は、図６に示したように、ドライバの視線からステアリングホイールを通じて一直線上に位置するようにキャラクタＡを表示することで、ドライバからは見えない位置に表示する。このとき、表示処理部１３は、キャラクタＡを助手席の乗員から視認可能な位置に設置するように表示処理する。

【0080】

ドライバが前方の道路を確認しながら「○○、温度下げて」と発話すると、音声認識し、ＶＰＡ処理部１１ｆの対応によりエアコンディショナ装置を動作させた後、「はい、設定温度を２２度にしました。」と応答を行う。ドライバからキャラクタＡを確認できないので脇見をせず安全に実行できる。また、Ｐ席の乗員が「○○、温度下げて」と発話しマイク１７から入力されると、制御装置１１はＰ席の乗員が発話したことを検出し、表示処理部１３は、図１０に示すように、キャラクタＡをＰ席の乗員の目の前に表示すると共に、Ｐ席の乗員の方向を見るように表示態様を変更する。そして、制御装置１１は、ＶＰＡ処理部１１ｆの対応として「はい、設定温度を２２度にしました。」と返答する。これと同時に、表示処理部１３は、キャラクタＡの横に設定温度「２２度」を表示する。Ｐ席の乗員は、キャラクタＡと目を合わせつつ視覚情報も含めて会話できるので、やりとりがし易くなる。

【0081】

＜第３適用例＞
ドライバがＰ席に他の人員を乗車させて運転中、制御装置１１は乗員モニタ２２により車両内にドライバとＰ席の乗員の少なくとも２人が乗車していると判断する。このとき、表示処理部１３は、キャラクタＡをディスプレイ２、３に非表示とする。ドライバが「○○、温度下げて」と発話すると音声認識し、エアコンディショナにより設定温度を調整する。その後、音声処理部１４によりＶＰＡ処理部１１ｆの処理結果である「はい、設定温度を２２度にしました。」をスピーカ１８から発話させる。

【0082】

表示処理部１３が、ディスプレイ２、３にキャラクタＡを表示していないので、車両乗員が会話のために脇見をすることがない。Ｐ席の乗員が「○○、温度下げて」と発話すると、音声処理部１４が音声を入力する。制御装置１１は、ＶＰＡ処理部１１ｆの対応として、「はい、設定温度を２２度にしました。」とスピーカ１８から返答する。これと同時に、表示処理部１３は、図１１に示すように、ディスプレイ２の中でＰ席の乗員の目の前の領域に設定温度「２２度」を表示する。Ｐ席の乗員は、その応答結果を視覚情報で確認できるので理解し易い。Ｐ席の乗員に対する応答であるため、ドライバから視認可能な位置であっても脇見の原因とはなりにくい。

【0083】

＜第４適用例＞
車両が停車中、表示処理部１３はキャラクタＡをディスプレイ２又は３に表示している。任意の車両乗員が「○○、温度下げて」と発話すると、ＶＰＡ処理部１１ｆの対応により、エアコンディショナの設定温度を調整する。その後、表示処理部１３は、任意の車両乗員の位置する方向を見るようにキャラクタＡを表示させる。

【0084】

また、ＶＰＡ処理部１１ｆの対応として「はい、設定温度を２２度にしました。」を返答すると共に、表示処理部１３はキャラクタＡの表示領域の横に位置して設定温度も表示する。話しかけた車両乗員は、キャラクタＡと目を合わせることができるため、楽しく会話を楽しむことができる 。

【0085】

本実施形態によれば、前述実施形態と同様の作用効果を奏する。また、状況判定部１１ｂによる車両の周辺状況を判定した判定結果に基づいて、ＶＰＡ処理部１１ｆの対応による報知情報の態様、例えば音声情報、視覚情報の表示態様、キャラクタＡの表示位置、を変更するようにしている。この結果、ＶＰＡ処理部１１ｆの対応による報知情報を利用でき、運転中であってもＶＰＡ処理部１１ｆの機能を安全に活用できる。また自然な会話を成立させることができる。

【0086】

（他の実施形態）
本発明は、前述した実施形態に限定されるものではなく、種々変形して実施することができ、その要旨を逸脱しない範囲で種々の実施形態に適用可能である。

【0087】

前述した実施形態では、車両乗員がＶＰＡに話しかけたりすることで車両乗員側で何らかのアクションを起こし、このアクションを起こしてからＶＰＡ処理部１１ｆにより対応を生成して応答する形態を示したが、これに限定されるものではない。例えば、ＶＰＡ処理部１１ｆが車両乗員に対し自発的にアクションを起こしてもよい。

【0088】

この場合、ＶＰＡ処理部１１ｆの対応に基づく報知情報は、例えばドライバの運転状況であったり、Ｐ席の乗員に対してエンタテイメント情報を提案するものである。このとき、ＶＰＡ処理部１１ｆの対応に基づく報知情報を特定の車両乗員に対して行うことが望ましい。

【0089】

第１実施形態では、発話者がドライバであれば図４のＳ４にてＹＥＳと判定し、ＶＰＡ処理部１１ｆによる対応として視覚情報無しで応答する形態を説明したが、これに限定されるものではない。発話者がドライバであるか否かに拘わらず、キャラクタＡなどの視覚情報を有りのままディスプレイ２ａなどに表示して応答するようにしても良い。また、ＶＰＡ処理部１１ｆの動作に基づくキャラクタＡを常にディスプレイ２ａ等に表示するようにしても良い。この場合、第１実施形態で説明したように、ドライバの目線からステアリングホイールにより隠れるディスプレイ２の所定領域２ｂにキャラクタＡなどの視覚情報を表示することが望ましい。すると、運転中のドライバが発話したとしても、ドライバからキャラクタＡを確認できないため、脇見運転を防止できる。

【0090】

本開示に記載の制御装置１１、表示処理部１３、音声処理部１４による手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリを構成することにより提供された専用コンピュータにより実現されても良い。或いは、本開示に記載の制御装置１１、表示処理部１３、音声処理部１４及びその手法は、一つ以上の専用ハードウェア論理回路によりプロセッサを構成することにより提供された専用コンピュータにより実現されても良い。若しくは、本開示に記載の制御装置１１、表示処理部１３、音声処理部１４及びその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリと一つ以上のハードウェア論理回路により構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより実現されても良い。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていても良い。

【0091】

本発明は、前述した実施形態に準拠して記述したが、本発明は当該実施形態や構造に限定されるものではないと理解される。本発明は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本発明の範畴や思想範囲に入るものである。

【符号の説明】

【0092】

図面中、１１ｂは状況判定部、１１ｃは視線検知部、１１ｆはＶＰＡ処理部、１１ｇは区分部、１３は表示処理部（情報提供部）、１３ａは位置設定部、１４は音声処理部（情報提供部）を示す。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】