ホーム > 特許ランキング > 株式会社ＳＵＢＡＲＵ
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-09-29
(45)【発行日】2023-10-10
(54)【発明の名称】車両用報知装置
(51)【国際特許分類】
G08G 1/00 20060101AFI20231002BHJP
G01C 21/26 20060101ALI20231002BHJP
G06T 13/40 20110101ALI20231002BHJP
G08G 1/16 20060101ALI20231002BHJP
【ＦＩ】
G08G1/00 D
G01C21/26 A
G06T13/40
G08G1/16 A
【請求項の数】
5
(21)【出願番号】P 2018185747
(22)【出願日】2018-09-28
(65)【公開番号】P2020057079
(43)【公開日】2020-04-09
【審査請求日】2021-08-23
【審判番号】
【審判請求日】2022-11-04
(73)【特許権者】
【識別番号】000005348
【氏名又は名称】株式会社ＳＵＢＡＲＵ
(74)【代理人】
【識別番号】110000383
【氏名又は名称】弁理士法人エビス国際特許事務所
(72)【発明者】
【氏名】相川 愛美
(72)【発明者】
【氏名】長澤 勇
【合議体】
【審判長】河端 賢
【審判官】山本 信平
【審判官】星名 真幸
(56)【参考文献】
【文献】特開２０１２－２２０４１（ＪＰ，Ａ）
【文献】特開２０１７－８５４１０（ＪＰ，Ａ）
【文献】特開２０１６－８１０８７（ＪＰ，Ａ）
【文献】特開２０１８－２４４２４（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
G08G1/00-99/00
G01C21/00-21/36
G01C23/00-25/00
G06T1/00
G06T11/60-13/80
G06T17/05
G06T19/00-19/20
(57)【特許請求の範囲】
【請求項1】
視覚または聴覚的に擬人化されたキャラクタによる報知が可能な車両用報知装置であって、前記キャラクタによる報知を制御する制御手段と、
車両の運転若しくは周辺環境の状況、又は乗員の身体若しくは思考の状況の少なくともいずれかの状況を取得する状況取得手段と、
前記状況取得手段により取得された状況が、所定の閾値を超えて危険因子が含まれる、前記乗員がヒヤリ・ハットを体験する特定の状況に相当するかを識別する識別手段と、
前記制御手段が前記乗員に報知するにあたり、前記特定の状況から所定期間経過後の追認報知期間であって、運転中に安全条件が成立しているかを判断する判断手段と、を有し、
前記制御手段は、
前記識別手段により前記特定の状況に相当すると識別された場合、かつ、前記判断手段により前記安全条件が成立していると判断された場合には、前記擬人化されたキャラクタによって、前記特定の状況に至った過程の推移を時系列で前記乗員に報知する一方で、前記判断手段により前記安全条件が成立していないと判断された場合には、前記特定の状況に至った過程の推移を前記乗員に報知しない、
ことを特徴とする車両用報知装置。
【請求項2】
前記制御手段は、前記過程の推移に対する論評を加えて報知する、ことを特徴とする請求項１に記載の車両用報知装置。
【請求項3】
前記過程の推移における乗員の肯定要素を抽出する抽出手段をさらに備え、前記制御手段は、前記抽出手段により乗員の肯定要素が抽出された場合に、前記論評において乗員を肯定する報知を行う、
ことを特徴とする請求項２に記載の車両用報知装置。
【請求項4】
前記制御手段は、前記過程の推移から事故に至っていたと仮定した際の仮定事故情報を加えて報知する、ことを特徴とする請求項１乃至請求項３のいずれか一項に記載の車両用報知装置。
【請求項5】
前記仮定事故情報は、少なくとも、警察に届出を行うことの勧告、又は保険会社に関する情報を含む、
ことを特徴とする請求項４に記載の車両用報知装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、擬人化されたキャラクタによる報知が可能な車両用報知装置に関する。
【背景技術】
【0002】
自動車などの車両においては、乗員（特にドライバー）の運転環境を整える（例えば、眠気防止を図る）ことで、より安全性を向上させることが継続的な課題であり、このような運転環境を整える手法として、様々な手法が提案されている。
例えば、乗員と、擬人化されたキャラクタ（いわゆるエージェント）とが、コミュニケーションを図ることが可能な車両用エージェント装置も上記手法の１つとして提案されており、このような車両用エージェント装置として、特許文献１では、擬人化されたエージェントを車両内に出現させ、当該エージェントが状況に合わせた行為をすることで、乗員とのコミュニケーションを図ることが提案されている。
例えば、乗員と、擬人化されたキャラクタ（いわゆるエージェント）とが、コミュニケーションを図ることが可能な車両用エージェント装置も上記手法の１つとして提案されており、このような車両用エージェント装置として、特許文献１では、擬人化されたエージェントを車両内に出現させ、当該エージェントが状況に合わせた行為をすることで、乗員とのコミュニケーションを図ることが提案されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開平１１－３７７６６号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記特許文献１によれば、乗員を飽きさせることなく運転させることができるといった利点は得られるものの、さらなる安全性の向上という観点では、まだまだ改善の余地があった。
【0005】
本発明は、このような従来の問題を解決するためになされたもので、擬人化されたキャラクタと乗員とのコミュニケーションを用いて、さらなる安全性の向上を図ることを可能とする車両用報知装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明に係る車両用報知装置は、視覚または聴覚的に擬人化されたキャラクタによる報知が可能な車両用報知装置であって、前記キャラクタによる報知を制御する制御手段と、車両の運転若しくは周辺環境の状況、又は乗員の身体若しくは思考の状況の少なくともいずれかの状況を取得する状況取得手段と、前記状況取得手段により取得された状況が特定の状況に相当するかを識別する識別手段と、を有し、前記制御手段は、前記識別手段により前記特定の状況に相当すると識別された場合には、前記擬人化されたキャラクタによって、前記特定の状況に至った過程の推移を時系列で乗員に報知することを特徴とする。
【0007】
また、前記制御手段が前記乗員に報知するにあたり、報知条件を満たしているかを判断する判断手段をさらに備え、前記制御手段は、前記判断手段により前記報知条件を満たしていると判断された場合に、前記乗員に報知するようにしてもよい。
【0008】
さらに、前記制御手段は、前記過程の推移に対する論評を加えて報知するようにしてもよい。
【0009】
さらに、前記過程の推移における乗員の肯定要素を抽出する抽出手段をさらに備え、前記制御手段は、前記抽出手段により乗員の肯定要素が抽出された場合に、前記論評において乗員を肯定する報知を行うようにしてもよい。
【0010】
さらに、前記制御手段は、前記過程の推移から事故に至っていたと仮定した際の仮定事故情報を加えて報知するようにしてもよい。
【発明の効果】
【0011】
本発明によれば、擬人化されたキャラクタと乗員とのコミュニケーションを用いて、さらなる安全性の向上を図ることを可能とする車両用報知装置を提供することができる。
【図面の簡単な説明】
【0012】
【図1】本発明の実施の一形態に係る車両の車室内を示す斜視図である。
【図2】第１表示用パネル及び第２表示用パネルを運転席側から視た状態を示す正面図である。
【図3】車両用報知装置を説明するためのブロック図である。
【図4】車両用報知装置の制御部によって行われるメインフローチャート図である。
【図5】車両用報知装置の制御部によって行われる肯定追認処理を示すフローチャート図である。
【図6】車両用報知装置の制御部によって行われる報知制御処理を示すフローチャート図である。
【図7】車両用報知装置の報知例を示すアニメーション図（１／２）である。
【図8】車両用報知装置の報知例を示すアニメーション図（２／２）である。
【図9】車両用報知装置の報知例を示すタイムチャート図である。
【発明を実施するための形態】
【0013】
以下、本発明の実施の形態について、図面を参照して説明する。
【0014】
以下、本発明の実施形態を、図１は本発明の実施の一形態に係る車両の車室内を示す斜視図、図２は第１表示用パネル３０及び第２表示用パネル４０を運転席側から視た状態を示す正面図、図３は車両用報知装置を説明するためのブロック図、図４は車両用報知装置の制御部によって行われるメインフローチャート図、図５は車両用報知装置の制御部によって行われる肯定追認処理を示すフローチャート図、図６は車両用報知装置の制御部によって行われる報知制御処理を示すフローチャート図、図７は車両用報知装置の報知例を示すアニメーション図（１／２）、図８は車両用報知装置の報知例を示すアニメーション図（２／２）、図９は車両用報知装置の報知例を示すタイムチャート図である。なお、図中ＦＲは車両前方を、ＵＰは車両上方をそれぞれ示している。また、以下の説明における左右方向は、車両に着座した乗員が車両前方を向いた状態での左右方向を意味する。
【0015】
（車室内における各構成）
図１、図２に示すように、車両１は、運転席２の車両前方側に設けられるインストルメントパネル３と、運転席２とインストルメントパネル３との間に配置されるステアリングホイール４とを有している。ステアリングホイール４は、ステアリングシャフト（図示省略）を介してステアリングコラム（図示省略）に回転自在に取り付けられている。また、ステアリングホイール４の内部には、車両１が衝突等した際に、ドライバーＨに向けて展開するエアバック８が格納されている。
図１、図２に示すように、車両１は、運転席２の車両前方側に設けられるインストルメントパネル３と、運転席２とインストルメントパネル３との間に配置されるステアリングホイール４とを有している。ステアリングホイール４は、ステアリングシャフト（図示省略）を介してステアリングコラム（図示省略）に回転自在に取り付けられている。また、ステアリングホイール４の内部には、車両１が衝突等した際に、ドライバーＨに向けて展開するエアバック８が格納されている。
【0016】
図１に示すように、車両１の車室内には、第１表示用パネル３０と、第２表示用パネル４０と、第３表示用パネル５０との３つの表示パネルが設けられている。これら第１表示用パネル３０と、第２表示用パネル４０とは、運転席２の前方側のインストルメントパネル３にそれぞれ離間して配置され、第３表示用パネル５０は、運転席２の左前方側のインストルメントパネル３に配置されている。
【0017】
（第１表示用パネル３０）
図１、図２に示すように、第１表示用パネル３０は、アナログ時計のように構成された指針式メータと、液晶パネルとバックライトとが一体的に設けられたいわゆる液晶ディスプレイ装置とを備えて構成されている。ドライバー（運転者）Ｈ（以下、ドライバーＨ）は、第１表示用パネル３０の第１表示領域３０ａに表示される各種情報を、ステアリングホイール４の上側空間部４ａを介して視ることが可能となっている。
図１、図２に示すように、第１表示用パネル３０は、アナログ時計のように構成された指針式メータと、液晶パネルとバックライトとが一体的に設けられたいわゆる液晶ディスプレイ装置とを備えて構成されている。ドライバー（運転者）Ｈ（以下、ドライバーＨ）は、第１表示用パネル３０の第１表示領域３０ａに表示される各種情報を、ステアリングホイール４の上側空間部４ａを介して視ることが可能となっている。
【0018】
図２に示すように、第１表示用パネル３０には、第１表示領域３０ａが設けられており、この第１表示領域３０ａの左右には、車両１の走行速度（スピードメータ）や、エンジンの単位時間当たりの回転数（タコメータ）などの情報を表示する２つの指針式メータと、２つの指針式メータの間であって第１表示用パネル３０の中央部には、一般的な車両情報を示す画像を表示する小型の液晶ディスプレイ装置とが配置される。なお、第１表示用パネル３０は、指針式メータを備えずに、全体を１つの液晶ディスプレイ装置で構成してもよい。
【0019】
（第２表示用パネル４０）
図１、図２に示すように、第２表示用パネル４０は、例えば、液晶パネルとバックライトとが一体的に設けられた、いわゆる液晶ディスプレイ装置で構成されており、その下端部の左右方向の両端部には、それぞれ、相反する方向に突出する一対の回動軸４１が取り付けられている。この回動軸４１が支持部材（図示省略）によって軸支されることによって、上方に向けて起立する起立位置と、車両前方へ向けて倒伏する倒伏位置との間で可変自在に取り付けられている。ドライバーＨは、第２表示用パネル４０の第２表示領域４０ａに表示される各種画像を、ステアリングホイール４の上側空間部４ａを介して視ることが可能となっている。なお、第２表示用パネル４０は、起立位置と倒伏位置との間で可変自在に構成したが、支持部材から起立したまま突出する突出位置と支持部材の内部に格納される格納位置との間で上下に可変自在に構成してもよいし、可変不能に固定されていてもよい。
図１、図２に示すように、第２表示用パネル４０は、例えば、液晶パネルとバックライトとが一体的に設けられた、いわゆる液晶ディスプレイ装置で構成されており、その下端部の左右方向の両端部には、それぞれ、相反する方向に突出する一対の回動軸４１が取り付けられている。この回動軸４１が支持部材（図示省略）によって軸支されることによって、上方に向けて起立する起立位置と、車両前方へ向けて倒伏する倒伏位置との間で可変自在に取り付けられている。ドライバーＨは、第２表示用パネル４０の第２表示領域４０ａに表示される各種画像を、ステアリングホイール４の上側空間部４ａを介して視ることが可能となっている。なお、第２表示用パネル４０は、起立位置と倒伏位置との間で可変自在に構成したが、支持部材から起立したまま突出する突出位置と支持部材の内部に格納される格納位置との間で上下に可変自在に構成してもよいし、可変不能に固定されていてもよい。
【0020】
図２に示すように、第２表示用パネル４０には、第２表示領域４０ａが設けられており、この第２表示領域４０ａに、擬人化キャラクタ画像Ｉ１や、擬人化キャラクタ画像Ｉ１から発せられるセリフ画像Ｉ２（図７、図８参照）が表示される。第２表示領域４０ａは、上述のスピードメータと、タコメータとの間に位置するので、ドライバーＨは、視線を大きく移動させることなく、スピードメータの確認、タコメータの確認、擬人化キャラクタ画像Ｉ１およびセリフ画像Ｉ２の確認ができるようになっている。なお、擬人化キャラクタ画像Ｉ１を用いた特徴部については図７、図８で後述する。
【0021】
（第３表示用パネル５０）
図１に示すように、第３表示用パネル５０は、例えば、液晶パネルとバックライトとが一体的に設けられた、いわゆる液晶ディスプレイ装置で構成されている。なお、第３表示用パネル５０には地図情報等が表示され、いわゆるカーナビゲーションシステムを担っている。
図１に示すように、第３表示用パネル５０は、例えば、液晶パネルとバックライトとが一体的に設けられた、いわゆる液晶ディスプレイ装置で構成されている。なお、第３表示用パネル５０には地図情報等が表示され、いわゆるカーナビゲーションシステムを担っている。
【0022】
なお、第１表示用パネル３０、第２表示用パネル４０及び第３表示用パネル５０において構成されている液晶ディスプレイ装置を、プラズマディスプレイや有機ＥＬ等の自発光型の表示デバイス、投影型のプロジェクタ等の表示装置で構成してもよい。
【0023】
（操作ボタン６０）
図２に示すように、操作ボタン６０は、上下左右の４方向のキーが設けられた操作デバイスであって、本発明の車両用報知装置の制御部１１０（図３参照）に対して、操作信号を入力可能となっている。これにより、例えば、擬人化キャラクタ画像Ｉ１から発せられるセリフ画像Ｉ２に対応する音声の音量値の変更や、擬人化キャラクタ画像Ｉ１の表示位置の変更等ができるようになっている。
図２に示すように、操作ボタン６０は、上下左右の４方向のキーが設けられた操作デバイスであって、本発明の車両用報知装置の制御部１１０（図３参照）に対して、操作信号を入力可能となっている。これにより、例えば、擬人化キャラクタ画像Ｉ１から発せられるセリフ画像Ｉ２に対応する音声の音量値の変更や、擬人化キャラクタ画像Ｉ１の表示位置の変更等ができるようになっている。
【0024】
次に、本発明における車両用報知装置としての車両用エージェント装置１００の構成について、図３のブロック図を参照して説明する。
【0025】
図３に示すように、車両用エージェント装置１００は、制御部１１０と、周辺環境認識部１２０と、乗員状態認識部１３０と、車両状態認識部１４０と、第２表示用パネル４０と、操作ボタン６０と、スピーカ１５０と、マイク１６０と、記憶部１７０と、送受信機１８０と、で構成されている。
【0026】
なお、図３に示す車両用エージェント装置１００は一例にすぎず、車両用エージェント装置１００の構成要素は適宜変更ができる。例えば、周辺環境認識部１２０と、乗員状態認識部１３０と、車両状態認識部１４０と、は少なくともいずれか１つを備えていれば、本発明の車両用エージェント装置１００を実現できるし、操作ボタン６０と、記憶部１７０と、送受信機１８０と、は備えなくても、本発明の車両用エージェント装置１００を実現できる。また、少なくともスピーカ１５０と、マイク１６０とを備えていれば、第２表示用パネル４０は備えなくても、本発明の車両用エージェント装置１００を実現できる。
【0027】
また、本発明における車両用エージェント装置１００は、例えば、マイク１６０を介してドライバーＨから音声入力（例えば、問いかけ）が行われた場合に、それに対する返答をスピーカ１５０や第２表示用パネル４０（擬人化キャラクタ画像Ｉ１）を介して行う、受動的なスタイルでの対話と、例えば、後述のマイク１６０を介してドライバーＨから音声入力が行われていなくても、ドライバーＨの趣味嗜好に併せた話題等をスピーカ１５０や第２表示用パネル４０（擬人化キャラクタ画像Ｉ１）を介して車両用エージェント装置１００側から行う、能動的なスタイルでの対話と、の両方が可能である。特に、能動的なスタイルでの対話を可能とすることで、積極的な語りかけにより、ドライバーＨの眠気防止や運転ストレスの解消に寄与できる。
【0028】
（制御部１１０）
制御部１１０は、図示しないＣＰＵ、ＲＯＭ、ＲＡＭ（例えば、リングバッファ）、入出力ポート等を備えており、例えば、入力ポートより情報入力が行われると、ＲＯＭから読み出した制御プログラムに基づいて、出力ポートを介して各種デバイス（第２表示用パネル４０やスピーカ１５０）を制御するようになっている。
制御部１１０は、図示しないＣＰＵ、ＲＯＭ、ＲＡＭ（例えば、リングバッファ）、入出力ポート等を備えており、例えば、入力ポートより情報入力が行われると、ＲＯＭから読み出した制御プログラムに基づいて、出力ポートを介して各種デバイス（第２表示用パネル４０やスピーカ１５０）を制御するようになっている。
【0029】
なお、制御部１１０のＲＯＭには、擬人化キャラクタ画像Ｉ１から発せられるセリフのデータテーブル（図示省略）が記憶されている。制御部１１０のＣＰＵは、後述する各認識部から取得した情報や、マイク１６０から取得した情報に基づいて、擬人化キャラクタ画像Ｉ１から発するセリフをデータテーブルから決定する。例えば、ＢＧＭをかけて欲しいとの情報をマイク１６０から取得したら、データテーブルから「了解しました」といったセリフを決定する。
【0030】
（周辺環境認識部１２０）
周辺環境認識部１２０は、車両１（自車両）の周辺環境を認識するために設けられている。また、周辺環境認識部１２０は、車外撮影用カメラ１２０ａと、レーダ１２０ｂとを備えており、これらのデバイスによって車両１の周辺環境を認識することができるようになっている。
周辺環境認識部１２０は、車両１（自車両）の周辺環境を認識するために設けられている。また、周辺環境認識部１２０は、車外撮影用カメラ１２０ａと、レーダ１２０ｂとを備えており、これらのデバイスによって車両１の周辺環境を認識することができるようになっている。
【0031】
（車外撮影用カメラ１２０ａ）
車外撮影用カメラ１２０ａは、例えば、図示しないルームミラーに取り付けられており、車両１の前方、および、車両１の後方を撮影できるようになっている。そして、撮影した画像情報が制御部１１０に入力されて、制御部１１０がＲＡＭに画像情報を記憶する。これにより、制御部１１０は、車両１の前方、車両１の後方の状況をリアルタイムおよび事後的に認識することができる。
車外撮影用カメラ１２０ａは、例えば、図示しないルームミラーに取り付けられており、車両１の前方、および、車両１の後方を撮影できるようになっている。そして、撮影した画像情報が制御部１１０に入力されて、制御部１１０がＲＡＭに画像情報を記憶する。これにより、制御部１１０は、車両１の前方、車両１の後方の状況をリアルタイムおよび事後的に認識することができる。
【0032】
（レーダ１２０ｂ）
レーダ１２０ｂは、例えば、電波を飛ばして障害物等を検知するミリ波レーダが用いられており、当該ミリ波レーダが車両１のフロントバンパやリアバンパに取り付けられ、車両１の前方監視、車両１の前側方監視、車両１の後側方監視ができるようになっている。そして、監視情報が制御部１１０に入力されて、制御部１１０がＲＡＭに監視情報を記憶する。これにより、制御部１１０は、車両１の前方、車両１の前側方の状況、車両１の後側方の状況をリアルタイムおよび事後的に認識することができる。なお、本実施形態においてはミリ波レーダを用いているが、他のレーダを用いてもよい。例えば、赤外線レーダでもよい。
レーダ１２０ｂは、例えば、電波を飛ばして障害物等を検知するミリ波レーダが用いられており、当該ミリ波レーダが車両１のフロントバンパやリアバンパに取り付けられ、車両１の前方監視、車両１の前側方監視、車両１の後側方監視ができるようになっている。そして、監視情報が制御部１１０に入力されて、制御部１１０がＲＡＭに監視情報を記憶する。これにより、制御部１１０は、車両１の前方、車両１の前側方の状況、車両１の後側方の状況をリアルタイムおよび事後的に認識することができる。なお、本実施形態においてはミリ波レーダを用いているが、他のレーダを用いてもよい。例えば、赤外線レーダでもよい。
【0033】
以上のようにして、制御部１１０は、車両１の周辺環境をリアルタイムおよび事後的に認識することができる。これにより、制御部１１０は、車両１の周辺環境の認識に基づいて、第２表示用パネル４０の擬人化キャラクタ画像Ｉ１と、スピーカ１５０とを制御して、車両１の周辺環境の情報をドライバーＨに対して報知することができる。例えば、車両１の前方に落下物があれば、「前方に落下物があります」といった画像および音声による報知ができる。これにより、安全性を向上させることができる。
【0034】
なお、本実施形態においては、周辺環境認識部１２０として、車外撮影用カメラ１２０ａと、レーダ１２０ｂとを挙げたが、一例にすぎず、他のデバイスを用いても勿論よい。
【0035】
（乗員状態認識部１３０）
乗員状態認識部１３０は、ドライバーＨの状態を認識するために設けられている。また、乗員状態認識部１３０は、乗員撮影用カメラ１３０ａと、バイタルセンサ１３０ｂとを備えており、これらのデバイスによってドライバーＨの状態を認識することができるようになっている。
乗員状態認識部１３０は、ドライバーＨの状態を認識するために設けられている。また、乗員状態認識部１３０は、乗員撮影用カメラ１３０ａと、バイタルセンサ１３０ｂとを備えており、これらのデバイスによってドライバーＨの状態を認識することができるようになっている。
【0036】
（乗員撮影用カメラ１３０ａ）
乗員撮影用カメラ１３０ａは、例えば、インストルメントパネル３に取り付けられており、ドライバーＨを撮影できるようになっている。そして、撮影した画像情報が制御部１１０に入力されて、制御部１１０がＲＡＭに画像情報を記憶する。これにより、制御部１１０は、ドライバーＨの状態をリアルタイムおよび事後的に認識することができる。なお、ここでいう、ドライバーＨの状態とは、具体的には、ドライバーＨの目蓋の状態や、瞬きの回数、視線の方向、顔の向きなどが想定される。
乗員撮影用カメラ１３０ａは、例えば、インストルメントパネル３に取り付けられており、ドライバーＨを撮影できるようになっている。そして、撮影した画像情報が制御部１１０に入力されて、制御部１１０がＲＡＭに画像情報を記憶する。これにより、制御部１１０は、ドライバーＨの状態をリアルタイムおよび事後的に認識することができる。なお、ここでいう、ドライバーＨの状態とは、具体的には、ドライバーＨの目蓋の状態や、瞬きの回数、視線の方向、顔の向きなどが想定される。
【0037】
（バイタルセンサ１３０ｂ）
バイタルセンサ１３０ｂは、例えば、ステアリングホイール４のドライバーＨにより把持される部位に取り付けられ、ドライバーＨの心拍数や血圧等のバイタル情報を取得できるようになっている。そして、取得したバイタル情報が制御部１１０に入力されて、制御部１１０がＲＡＭにバイタル情報を記憶する。これにより、制御部１１０は、ドライバーＨの状態をリアルタイムおよび事後的に認識することができる。
バイタルセンサ１３０ｂは、例えば、ステアリングホイール４のドライバーＨにより把持される部位に取り付けられ、ドライバーＨの心拍数や血圧等のバイタル情報を取得できるようになっている。そして、取得したバイタル情報が制御部１１０に入力されて、制御部１１０がＲＡＭにバイタル情報を記憶する。これにより、制御部１１０は、ドライバーＨの状態をリアルタイムおよび事後的に認識することができる。
【0038】
以上のようにして、制御部１１０は、ドライバーＨの状態をリアルタイムおよび事後的に認識することができる。これにより、制御部１１０は、ドライバーＨの状態の認識に基づいて、第２表示用パネル４０の擬人化キャラクタ画像Ｉ１と、スピーカ１５０とを制御して、所定の情報をドライバーＨに対して報知することができる。例えば、「目蓋が下がっておりますが、休憩しませんか？」といった画像および音声による報知や、「いつもより心拍数が速いですが、休憩しませんか？」といった画像および音声による報知ができる。これにより、安全性の向上に繋がる。
【0039】
乗員状態認識部１３０は、乗員撮影用カメラ１３０ａやバイタルセンサ１３０ｂから取得した情報や、マイク１６０から入力した情報に基づいて、ある程度の範囲でドライバーＨの思考感情を認識することができる。例えば、乗員撮影用カメラ１３０ａよりドライバーＨの顔の表情を取得し、バイタルセンサ１３０ｂよりドライバーＨの心拍数や血圧を取得し、マイク１６０より声量および入力内容を取得し、これらの取得した情報からドライバーＨが通常の思考感情にあるか、通常とは異なる思考感情（例えば、驚いている、怒っているなど）にあるかを認識することができる。
【0040】
なお、本実施形態においては、乗員状態認識部１３０として、乗員撮影用カメラ１３０ａと、バイタルセンサ１３０ｂとを挙げたが、一例にすぎず、他のデバイスを用いても勿論よい。
【0041】
（車両状態認識部１４０）
車両状態認識部１４０は、車両１の状態を認識するために設けられている。また、車両状態認識部１４０は、車速センサ１４０ａと、ハンドル角センサ１４０ｂと、アクセルペダルセンサ１４０ｃと、ブレーキペダルセンサ１４０ｄと、Ｇセンサ１４０ｅとを備えており、これらのデバイスによって車両１の状態を認識することができるようになっている。
車両状態認識部１４０は、車両１の状態を認識するために設けられている。また、車両状態認識部１４０は、車速センサ１４０ａと、ハンドル角センサ１４０ｂと、アクセルペダルセンサ１４０ｃと、ブレーキペダルセンサ１４０ｄと、Ｇセンサ１４０ｅとを備えており、これらのデバイスによって車両１の状態を認識することができるようになっている。
【0042】
（車速センサ１４０ａ）
車速センサ１４０ａは、車両１の車速を検出するためのセンサであって、検出された車速が車速信号として制御部１１０に入力されて、制御部１１０がＲＡＭに車速情報を記憶する。これにより、制御部１１０は、車両１の車速をリアルタイムおよび事後的に認識することができる。
車速センサ１４０ａは、車両１の車速を検出するためのセンサであって、検出された車速が車速信号として制御部１１０に入力されて、制御部１１０がＲＡＭに車速情報を記憶する。これにより、制御部１１０は、車両１の車速をリアルタイムおよび事後的に認識することができる。
【0043】
（ハンドル角センサ１４０ｂ）
ハンドル角センサ１４０ｂは、車両１のハンドル角（ステアリングホイール４の角度）を検出するためのセンサであって、検出されたハンドル角が角度信号として制御部１１０に入力されて、制御部１１０がＲＡＭに角度情報を記憶する。これにより、制御部１１０は、車両１のハンドル角（ステアリングホイール４の角度）をリアルタイムおよび事後的に認識することができる。
ハンドル角センサ１４０ｂは、車両１のハンドル角（ステアリングホイール４の角度）を検出するためのセンサであって、検出されたハンドル角が角度信号として制御部１１０に入力されて、制御部１１０がＲＡＭに角度情報を記憶する。これにより、制御部１１０は、車両１のハンドル角（ステアリングホイール４の角度）をリアルタイムおよび事後的に認識することができる。
【0044】
（アクセルペダルセンサ１４０ｃ）
アクセルペダルセンサ１４０ｃは、図示しないアクセルペダルの踏み込み量を検出するためのセンサであって、検出された踏み込み量が踏み込み量信号として制御部１１０に入力されて、制御部１１０がＲＡＭに踏み込み量情報を記憶する。これにより、制御部１１０は、車両１のアクセルペダルの踏み込み量をリアルタイムおよび事後的に認識することができる。
アクセルペダルセンサ１４０ｃは、図示しないアクセルペダルの踏み込み量を検出するためのセンサであって、検出された踏み込み量が踏み込み量信号として制御部１１０に入力されて、制御部１１０がＲＡＭに踏み込み量情報を記憶する。これにより、制御部１１０は、車両１のアクセルペダルの踏み込み量をリアルタイムおよび事後的に認識することができる。
【0045】
（ブレーキペダルセンサ１４０ｄ）
ブレーキペダルセンサ１４０ｄは、図示しないブレーキペダルの踏み込み量を検出するためのセンサであって、検出された踏み込み量が踏み込み量信号として制御部１１０に入力されて、制御部１１０がＲＡＭに踏み込み量情報を記憶する。これにより、制御部１１０は、車両１のブレーキペダルの踏み込み量をリアルタイムおよび事後的に認識することができる。
ブレーキペダルセンサ１４０ｄは、図示しないブレーキペダルの踏み込み量を検出するためのセンサであって、検出された踏み込み量が踏み込み量信号として制御部１１０に入力されて、制御部１１０がＲＡＭに踏み込み量情報を記憶する。これにより、制御部１１０は、車両１のブレーキペダルの踏み込み量をリアルタイムおよび事後的に認識することができる。
【0046】
（Ｇセンサ１４０ｅ）
Ｇセンサ１４０ｅは、車両１の加速度、減速度及び傾斜を検出するためのセンサであって、加速度が検出された場合は加速度量が、減速度が検出された場合は減速度量が、傾斜が検出された場合は傾斜角度量が、それぞれ加速度量信号、減速度量信号、傾斜角度信号として制御部１１０に入力されて、制御部１１０がＲＡＭに加速度情報、減速度情報及び傾斜情報を記憶する。これにより、制御部１１０は、車両１の加速度、減速度及び傾斜をリアルタイムおよび事後的に認識することができる。
Ｇセンサ１４０ｅは、車両１の加速度、減速度及び傾斜を検出するためのセンサであって、加速度が検出された場合は加速度量が、減速度が検出された場合は減速度量が、傾斜が検出された場合は傾斜角度量が、それぞれ加速度量信号、減速度量信号、傾斜角度信号として制御部１１０に入力されて、制御部１１０がＲＡＭに加速度情報、減速度情報及び傾斜情報を記憶する。これにより、制御部１１０は、車両１の加速度、減速度及び傾斜をリアルタイムおよび事後的に認識することができる。
【0047】
以上のようにして、制御部１１０は、車両１の状態をリアルタイムおよび事後的に認識することができる。これにより、制御部１１０は、車両１の状態の認識に基づいて、第２表示用パネル４０の擬人化キャラクタ画像Ｉ１と、スピーカ１５０とを制御して、車両１の状態の情報をドライバーＨに対して報知することができる。例えば、適切な速度で走行していれば、「適切な速度で走行されていますね」といった画像および音声による報知ができる。これにより、安全性の向上に繋がる。
【0048】
なお、本実施形態においては、車両状態認識部１４０として、車速センサ１４０ａと、ハンドル角センサ１４０ｂと、アクセルペダルセンサ１４０ｃと、ブレーキペダルセンサ１４０ｄと、Ｇセンサ１４０ｅとを挙げたが、一例にすぎず、他のデバイスを用いても勿論よい。
【0049】
（スピーカ１５０）
スピーカ１５０は、例えば、インストルメントパネル３に取り付けられており、擬人化キャラクタ画像Ｉ１から発せられるセリフ画像Ｉ２に対応する音声が出力される。なお、スピーカ１５０を設けずに、車両１に内蔵されているオーディオスピーカを用いてもよい。
スピーカ１５０は、例えば、インストルメントパネル３に取り付けられており、擬人化キャラクタ画像Ｉ１から発せられるセリフ画像Ｉ２に対応する音声が出力される。なお、スピーカ１５０を設けずに、車両１に内蔵されているオーディオスピーカを用いてもよい。
【0050】
（マイク１６０）
マイク１６０は、例えば、インストルメントパネル３に取り付けられており、ドライバーＨ、その他乗員から発せられる音声が入力される。
マイク１６０は、例えば、インストルメントパネル３に取り付けられており、ドライバーＨ、その他乗員から発せられる音声が入力される。
【0051】
（記憶部１７０）
記憶部１７０は、上述した各認識部から取得した情報や、ドライバーＨと制御部１１０とで行われた対話等を記憶することが可能である。制御部１１０は、これらの情報を記憶部１７０に蓄積していくことで、ドライバーＨの運転傾向（例えば、どのような運転を行うドライバーであるのか）や、ドライバーＨの趣味嗜好（例えば、どのようなＢＧＭが好みであるのか）等を認識することができる。また、これらを認識することで、ドライバーＨの運転傾向や、ドライバーＨの趣味嗜好に併せた対話を車両用エージェント装置１００側（擬人化キャラクタ画像Ｉ１）から能動的に行うこともできる。
記憶部１７０は、上述した各認識部から取得した情報や、ドライバーＨと制御部１１０とで行われた対話等を記憶することが可能である。制御部１１０は、これらの情報を記憶部１７０に蓄積していくことで、ドライバーＨの運転傾向（例えば、どのような運転を行うドライバーであるのか）や、ドライバーＨの趣味嗜好（例えば、どのようなＢＧＭが好みであるのか）等を認識することができる。また、これらを認識することで、ドライバーＨの運転傾向や、ドライバーＨの趣味嗜好に併せた対話を車両用エージェント装置１００側（擬人化キャラクタ画像Ｉ１）から能動的に行うこともできる。
【0052】
（送受信機１８０）
送受信機１８０は、例えば、車載用の無線ＬＡＮを用いた情報の取得や、衛星測位システムを用いた位置情報の取得などが可能である。制御部１１０は、これら取得した情報や、上述の記憶部１７０に蓄積した情報に基づいて、ドライバーＨの運転傾向や、ドライバーＨの趣味嗜好に併せた対話を車両用エージェント装置１００側（擬人化キャラクタ画像Ｉ１）から能動的に行うこともできる。
送受信機１８０は、例えば、車載用の無線ＬＡＮを用いた情報の取得や、衛星測位システムを用いた位置情報の取得などが可能である。制御部１１０は、これら取得した情報や、上述の記憶部１７０に蓄積した情報に基づいて、ドライバーＨの運転傾向や、ドライバーＨの趣味嗜好に併せた対話を車両用エージェント装置１００側（擬人化キャラクタ画像Ｉ１）から能動的に行うこともできる。
【0053】
次に、上述した受動的なスタイルでの対話、および、能動的なスタイルでの対話や、後述する追認報知を実現するにあたり、制御部１１０によって行われる制御処理を図４～図６を用いて行う。なお、図４～図６で示す制御フローは制御部１１０のＲＯＭに記憶されており、制御部１１０のＣＰＵがＲＯＭから読み出して各種処理を行う。
【0054】
はじめに、図４は制御部１１０によって行われるメイン処理である。当該メイン処理は、制御部１１０によって所定の周期毎に定期的に行われる処理である。
【0055】
（ステップＳ１０）
ステップＳ１０において、制御部１１０のＣＰＵは、車両状態認識処理を行う。具体的には、車両状態認識部１４０から入力した情報に基づいて、車両１における状態を認識する。そして、車両状態認識処理を終えると、ステップＳ２０に処理を移行する。
ステップＳ１０において、制御部１１０のＣＰＵは、車両状態認識処理を行う。具体的には、車両状態認識部１４０から入力した情報に基づいて、車両１における状態を認識する。そして、車両状態認識処理を終えると、ステップＳ２０に処理を移行する。
【0056】
（ステップＳ２０）
ステップＳ２０において、制御部１１０のＣＰＵは、周辺環境認識処理を行う。具体的には、周辺環境認識部１２０から入力した情報に基づいて、車両１における周辺環境を認識する。そして、周辺環境認識処理を終えると、ステップＳ３０に処理を移行する。
ステップＳ２０において、制御部１１０のＣＰＵは、周辺環境認識処理を行う。具体的には、周辺環境認識部１２０から入力した情報に基づいて、車両１における周辺環境を認識する。そして、周辺環境認識処理を終えると、ステップＳ３０に処理を移行する。
【0057】
（ステップＳ３０）
ステップＳ３０において、制御部１１０のＣＰＵは、乗員状態認識処理を行う。具体的には、乗員状態認識部１３０から入力した情報に基づいて、ドライバーＨの状態を認識する。そして、乗員状態認識処理を終えると、ステップＳ４０に処理を移行する。
ステップＳ３０において、制御部１１０のＣＰＵは、乗員状態認識処理を行う。具体的には、乗員状態認識部１３０から入力した情報に基づいて、ドライバーＨの状態を認識する。そして、乗員状態認識処理を終えると、ステップＳ４０に処理を移行する。
【0058】
（ステップＳ４０）
ステップＳ４０において、制御部１１０のＣＰＵは、危険因子抽出処理を行う。具体的には、ステップＳ１０～ステップＳ３０にて各種情報を認識した結果、危険因子が含まれているかを抽出する処理を行う。
ステップＳ４０において、制御部１１０のＣＰＵは、危険因子抽出処理を行う。具体的には、ステップＳ１０～ステップＳ３０にて各種情報を認識した結果、危険因子が含まれているかを抽出する処理を行う。
【0059】
ここで、本実施形態における「危険因子」とは、車両事故が起こり得る危険因子を意味し、自己の車両から他の車両・障害物までの接近した近接距離等、ドライバーＨの運転内容（ハンドルのきりすぎ、急発進、急ブレーキ、逆走等）、ドライバーＨの眠気推定値や運転ストレス値（目蓋の状態や、瞬きの回数、視線の方向、顔の向き、心拍数、血圧等）が挙げられる。
【0060】
各認識部から取得する各情報には、所定の閾値を設けており、取得した各情報が所定の閾値を超えている場合に、危険因子が含まれていると判断する。周辺環境認識部１２０による認識であれば、例えば、６０ｋｍで走行している際の前方車との車間距離が４０ｍ未満となると、所定の閾値を超え、危険因子が含まれていると判断される。また、乗員状態認識部１３０による認識であれば、例えば、視線が所定方向から２秒以上逸れると、所定の閾値を超え、危険因子が含まれていると判断される。また、車両状態認識部１４０による認識であれば、例えば、減速度量が一定値を超えると、所定の閾値を超え、危険因子が含まれていると判断される。そして、危険因子抽出処理を終えると、ステップＳ５０に処理を移行する。
【0061】
なお、所定の閾値を超えて危険因子が含まれていると判断される状態とは、言い換えれば、事故には至らなかったが、事故に至る一歩手前の状態（いわゆる、ヒヤリ・ハット）ともいえる。本実施形態においては、後述する肯定追認処理（図５参照）や、報知制御処理（図６参照）において、体験したヒヤリ・ハットについて、どのような事象が生じた結果、ヒヤリ・ハットに至ったのか、といったことを時系列で報知することで、ヒヤリ・ハットを体験し、動揺しているドライバーＨに落ち着きを取り戻させるようにしている。特に、時系列での報知とすることで、ドライバーＨの頭の中を整理し易くすることができ、早期に落ち着きを取り戻させることができる。詳しくは、図５～図９を用いて後述する。なお、ステップＳ４０で危険因子が抽出されることを、以下において単に「ヒヤリ・ハットの発生」などと称することがある。
【0062】
（ステップＳ５０）
ステップＳ５０において、制御部１１０のＣＰＵは、特定の状況であるか、を判定する。なお、特定の状況とは、各認識部から取得した情報が、所定の閾値を超え、危険因子が含まれている状況をいう。すなわち、ステップＳ４０で危険因子抽出処理を行った結果、危険因子が含まれているかを判定する。そして、特定の状況であると判定した場合は、ステップＳ６０に処理を移行し、特定の状況ではないと判定した場合は、ステップＳ１００に処理を移行する。
ステップＳ５０において、制御部１１０のＣＰＵは、特定の状況であるか、を判定する。なお、特定の状況とは、各認識部から取得した情報が、所定の閾値を超え、危険因子が含まれている状況をいう。すなわち、ステップＳ４０で危険因子抽出処理を行った結果、危険因子が含まれているかを判定する。そして、特定の状況であると判定した場合は、ステップＳ６０に処理を移行し、特定の状況ではないと判定した場合は、ステップＳ１００に処理を移行する。
【0063】
（ステップＳ６０）
ステップＳ６０において、制御部１１０のＣＰＵは、肯定追認処理を行う。なお、肯定追認処理は、後に図５を用いて詳述する。そして、肯定追認処理を終えると、ステップＳ１００に処理を移行する。
ステップＳ６０において、制御部１１０のＣＰＵは、肯定追認処理を行う。なお、肯定追認処理は、後に図５を用いて詳述する。そして、肯定追認処理を終えると、ステップＳ１００に処理を移行する。
【0064】
（ステップＳ１００）
ステップＳ１００において、制御部１１０のＣＰＵは、報知制御処理を行う。なお、報知制御処理は、後に図６を用いて詳述する。そして、報知制御処理を終えると、メイン処理を終了する。
ステップＳ１００において、制御部１１０のＣＰＵは、報知制御処理を行う。なお、報知制御処理は、後に図６を用いて詳述する。そして、報知制御処理を終えると、メイン処理を終了する。
【0065】
【0066】
（ステップＳ６１）
ステップＳ６１において、制御部１１０のＣＰＵは、危険因子に対応した時系列データ作成処理を行う。具体的には、ＲＡＭに記憶している各認識部から取得した情報に基づいて、特定の状況に至るまでに、どのような事象が発生していたかの推移を時系列に沿って作成する。例えば、車両１を駐車場に駐車しようとして、車両１と障害物との距離が所定の閾値を超え、接触しそうになった場合は、周辺環境認識部１２０より取得した情報に基づいて、駐車場に駐車しようとしていた、といったデータを作成し、車両状態認識部１４０より取得した情報に基づいて、自車両が駐車スペースに向けて後進していた、といったデータを作成し、周辺環境認識部１２０より取得した情報に基づいて、障害物に接触しそうになった、といったデータを作成する。これにより、駐車しようとして後進したら、障害物に接触しそうになった、といった時系列データが作成される。そして、危険因子に対応した時系列データ作成処理を終えると、ステップＳ６２に処理を移行する。
ステップＳ６１において、制御部１１０のＣＰＵは、危険因子に対応した時系列データ作成処理を行う。具体的には、ＲＡＭに記憶している各認識部から取得した情報に基づいて、特定の状況に至るまでに、どのような事象が発生していたかの推移を時系列に沿って作成する。例えば、車両１を駐車場に駐車しようとして、車両１と障害物との距離が所定の閾値を超え、接触しそうになった場合は、周辺環境認識部１２０より取得した情報に基づいて、駐車場に駐車しようとしていた、といったデータを作成し、車両状態認識部１４０より取得した情報に基づいて、自車両が駐車スペースに向けて後進していた、といったデータを作成し、周辺環境認識部１２０より取得した情報に基づいて、障害物に接触しそうになった、といったデータを作成する。これにより、駐車しようとして後進したら、障害物に接触しそうになった、といった時系列データが作成される。そして、危険因子に対応した時系列データ作成処理を終えると、ステップＳ６２に処理を移行する。
【0067】
（ステップＳ６２）
ステップＳ６２において、制御部１１０のＣＰＵは、危険因子に対応した肯定性データ抽出処理を行う。具体的には、ＲＡＭに記憶している各認識部から取得した情報に基づいて、特定の状況に至るまでに発生した事象において、ドライバーＨの肯定性を抽出する。例えば、ステップＳ６１で述べた事象であれば、乗員状態認識部１３０より取得した情報に基づいて、車両１を更新する際のドライバーＨの顔の向きから、十分な後方確認が行われていたか、などを判定し、十分な後方確認が行われていたと判定した場合に、肯定性データとして抽出する。一方、十分な後方確認が行われていなかったと判定した場合は、肯定性データが抽出されない。そして、危険因子に対応した肯定性データ抽出処理を終えると、ステップＳ６３に処理を移行する。
ステップＳ６２において、制御部１１０のＣＰＵは、危険因子に対応した肯定性データ抽出処理を行う。具体的には、ＲＡＭに記憶している各認識部から取得した情報に基づいて、特定の状況に至るまでに発生した事象において、ドライバーＨの肯定性を抽出する。例えば、ステップＳ６１で述べた事象であれば、乗員状態認識部１３０より取得した情報に基づいて、車両１を更新する際のドライバーＨの顔の向きから、十分な後方確認が行われていたか、などを判定し、十分な後方確認が行われていたと判定した場合に、肯定性データとして抽出する。一方、十分な後方確認が行われていなかったと判定した場合は、肯定性データが抽出されない。そして、危険因子に対応した肯定性データ抽出処理を終えると、ステップＳ６３に処理を移行する。
【0068】
（ステップＳ６３）
ステップＳ６３において、制御部１１０のＣＰＵは、危険因子に対応した事故訓練データ作成処理を行う。具体的には、ＲＡＭに記憶している各認識部から取得した情報に基づいて、特定の状況から事故に至ったと仮定した場合の事故訓練データを作成する。例えば、ステップＳ６１で述べた事象であれば、車両１が障害物に接触していたら速やかに届出を行うことを勧告するデータや、契約している保険会社に関するデータ（連絡先等）や、車両１が障害物に接触していたらエアバック８が作動していたといった機能的なことを説明するデータを作成する。そして、危険因子に対応した事故訓練データ作成処理を終えると、ステップＳ６４に処理を移行する。
ステップＳ６３において、制御部１１０のＣＰＵは、危険因子に対応した事故訓練データ作成処理を行う。具体的には、ＲＡＭに記憶している各認識部から取得した情報に基づいて、特定の状況から事故に至ったと仮定した場合の事故訓練データを作成する。例えば、ステップＳ６１で述べた事象であれば、車両１が障害物に接触していたら速やかに届出を行うことを勧告するデータや、契約している保険会社に関するデータ（連絡先等）や、車両１が障害物に接触していたらエアバック８が作動していたといった機能的なことを説明するデータを作成する。そして、危険因子に対応した事故訓練データ作成処理を終えると、ステップＳ６４に処理を移行する。
【0069】
（ステップＳ６４）
ステップＳ６４において、制御部１１０のＣＰＵは、データ統合処理を行う。具体的には、ステップＳ６１～ステップＳ６３の処理結果に基づいて、各データを統合する処理を行う。例えば、ステップＳ６１で述べた事象であって、肯定性データを抽出した場合は、駐車しようとして後進したら、障害物に接触しそうになった、といった時系列データと、十分な後方確認が行われていた、という肯定性データと、車両１が障害物に接触していたら速やかに届出を行うことを勧告するデータとを統合する。一方、肯定性データを抽出しなかった場合は、駐車しようとして後進したら、障害物に接触しそうになった、といった時系列データと、車両１が障害物に接触していたら速やかに届出を行うことを勧告するデータとを統合する。なお、統合したデータは、ＲＡＭのレジスタ等に格納しておく。そして、データ統合処理を終えると、ステップＳ６５に処理を移行する。
ステップＳ６４において、制御部１１０のＣＰＵは、データ統合処理を行う。具体的には、ステップＳ６１～ステップＳ６３の処理結果に基づいて、各データを統合する処理を行う。例えば、ステップＳ６１で述べた事象であって、肯定性データを抽出した場合は、駐車しようとして後進したら、障害物に接触しそうになった、といった時系列データと、十分な後方確認が行われていた、という肯定性データと、車両１が障害物に接触していたら速やかに届出を行うことを勧告するデータとを統合する。一方、肯定性データを抽出しなかった場合は、駐車しようとして後進したら、障害物に接触しそうになった、といった時系列データと、車両１が障害物に接触していたら速やかに届出を行うことを勧告するデータとを統合する。なお、統合したデータは、ＲＡＭのレジスタ等に格納しておく。そして、データ統合処理を終えると、ステップＳ６５に処理を移行する。
【0070】
（ステップＳ６５）
ステップＳ６５において、制御部１１０のＣＰＵは、肯定追認準備処理を行う。具体的には、後の報知制御処理において、上述した時系列に沿った報知等（以下、追認報知という）を行わせるために、ＲＡＭにおいて追認準備フラグをＯＮにする。そして、報知制御処理においては、ＲＡＭの追認準備フラグがＯＮであるかを判定して、ＯＮであれば、上述した時系列に沿った報知等が行われることになる。そして、肯定追認準備処理を終えると、ステップＳ６６に処理を移行する。
ステップＳ６５において、制御部１１０のＣＰＵは、肯定追認準備処理を行う。具体的には、後の報知制御処理において、上述した時系列に沿った報知等（以下、追認報知という）を行わせるために、ＲＡＭにおいて追認準備フラグをＯＮにする。そして、報知制御処理においては、ＲＡＭの追認準備フラグがＯＮであるかを判定して、ＯＮであれば、上述した時系列に沿った報知等が行われることになる。そして、肯定追認準備処理を終えると、ステップＳ６６に処理を移行する。
【0071】
（ステップＳ６６）
ステップＳ６６において、制御部１１０のＣＰＵは、追認報知期間設定処理を行う。具体的には、ＲＡＭのタイマカウンタ等に、追認報知を開始する時刻である開始期間Ｔｓと、追認報知を終了する時刻である終了期間Ｔｅとを設定する。なお、追認報知期間とは、ヒヤリ・ハットの発生から早すぎず遅すぎないタイミングで設けられることが好ましく、例えば、ヒヤリ・ハットの発生から３分後に開始期間Ｔｓが設定され、ステップＳ６４で統合したデータに対応する報知期間を確保したうえで、終了期間Ｔｅが設定される。すなわち、ヒヤリ・ハットの発生後、間髪いれずに追認報知が行われると、動揺が激しいドライバーＨには伝わり難く、ヒヤリ・ハットの発生後、長時間経過後に追認報知が行われると、既に落着きを取り戻しているドライバーＨに煩わしさを与えてしまう。そこで、ヒヤリ・ハットの発生から早すぎず遅すぎないタイミングで追認報知期間を設定することで、ドライバーＨに効果的に落ち着きを取り戻させることができる。そして、追認報知期間設定処理を終えると、ステップＳ６７に処理を移行する。
ステップＳ６６において、制御部１１０のＣＰＵは、追認報知期間設定処理を行う。具体的には、ＲＡＭのタイマカウンタ等に、追認報知を開始する時刻である開始期間Ｔｓと、追認報知を終了する時刻である終了期間Ｔｅとを設定する。なお、追認報知期間とは、ヒヤリ・ハットの発生から早すぎず遅すぎないタイミングで設けられることが好ましく、例えば、ヒヤリ・ハットの発生から３分後に開始期間Ｔｓが設定され、ステップＳ６４で統合したデータに対応する報知期間を確保したうえで、終了期間Ｔｅが設定される。すなわち、ヒヤリ・ハットの発生後、間髪いれずに追認報知が行われると、動揺が激しいドライバーＨには伝わり難く、ヒヤリ・ハットの発生後、長時間経過後に追認報知が行われると、既に落着きを取り戻しているドライバーＨに煩わしさを与えてしまう。そこで、ヒヤリ・ハットの発生から早すぎず遅すぎないタイミングで追認報知期間を設定することで、ドライバーＨに効果的に落ち着きを取り戻させることができる。そして、追認報知期間設定処理を終えると、ステップＳ６７に処理を移行する。
【0072】
（ステップＳ６７）
ステップＳ６７において、制御部１１０のＣＰＵは、注意喚起報知準備処理を行う。具体的には、後の報知制御処理において、例えば、障害物等に接近していることを報知するために、ＲＡＭにおいて注意喚起フラグをＯＮにする。そして、報知制御処理においては、ＲＡＭの注意喚起フラグがＯＮであるかを判定して、ＯＮであれば、ステップＳ１１０、ステップＳ１１１において、例えば、「あぶない！ぶつかりますよ！！」といった画像および音声が出力される。そして、注意喚起報知準備処理を終えると、図４のステップＳ１００に処理を移行する。
ステップＳ６７において、制御部１１０のＣＰＵは、注意喚起報知準備処理を行う。具体的には、後の報知制御処理において、例えば、障害物等に接近していることを報知するために、ＲＡＭにおいて注意喚起フラグをＯＮにする。そして、報知制御処理においては、ＲＡＭの注意喚起フラグがＯＮであるかを判定して、ＯＮであれば、ステップＳ１１０、ステップＳ１１１において、例えば、「あぶない！ぶつかりますよ！！」といった画像および音声が出力される。そして、注意喚起報知準備処理を終えると、図４のステップＳ１００に処理を移行する。
【0073】
【0074】
（ステップＳ１０１）
ステップＳ１０１において、制御部１１０のＣＰＵは、過去に危険因子があるか、を判定する。具体的には、ＲＡＭの追認準備フラグを参照して、追認準備フラグがＯＮであるかを判定する。すなわち、上述した時系列に沿った報知等を行うかが判定される。そして、過去に危険因子があると判定した場合は、ステップＳ１０２に処理を移行し、過去に危険因子がないと判定した場合は、ステップＳ１０７に処理を移行する。
ステップＳ１０１において、制御部１１０のＣＰＵは、過去に危険因子があるか、を判定する。具体的には、ＲＡＭの追認準備フラグを参照して、追認準備フラグがＯＮであるかを判定する。すなわち、上述した時系列に沿った報知等を行うかが判定される。そして、過去に危険因子があると判定した場合は、ステップＳ１０２に処理を移行し、過去に危険因子がないと判定した場合は、ステップＳ１０７に処理を移行する。
【0075】
（ステップＳ１０２）
ステップＳ１０２において、制御部１１０のＣＰＵは、追認報知期間であるかを判定する。具体的には、ＲＡＭのタイマカウンタ等を参照して、開始期間Ｔｓ～終了期間Ｔｅであるかを判定する。なお、過去に危険因子があって、追認報知期間でない場合とは、ヒヤリ・ハットの発生後間もないときや、終了期間Ｔｅの後などが想定される。そして、追認報知期間であると判定した場合は、ステップＳ１０３に処理を移行し、追認報知期間ではないと判定した場合は、ステップＳ１０６に処理を移行する。
ステップＳ１０２において、制御部１１０のＣＰＵは、追認報知期間であるかを判定する。具体的には、ＲＡＭのタイマカウンタ等を参照して、開始期間Ｔｓ～終了期間Ｔｅであるかを判定する。なお、過去に危険因子があって、追認報知期間でない場合とは、ヒヤリ・ハットの発生後間もないときや、終了期間Ｔｅの後などが想定される。そして、追認報知期間であると判定した場合は、ステップＳ１０３に処理を移行し、追認報知期間ではないと判定した場合は、ステップＳ１０６に処理を移行する。
【0076】
（ステップＳ１０３）
ステップＳ１０３において、制御部１１０のＣＰＵは、安全条件が成立したかを判定する。具体的には、周辺環境認識部１２０や、車両状態認識部１４０から情報を取得して、例えば、車両１が停車した状態にある場合や、車両１が長い直線道路を走行している状態にある場合等に、安全条件が成立した、と判定する。すなわち、ヒヤリ・ハットの発生から早すぎず遅すぎないタイミングであっても、車両１の安全状況が確保できていなければ、追認報知を行ってもドライバーＨには伝わり難くなるおそれがある。例えば、追認報知期間は満たしたが、車両１が幅員の狭い道路を走行している場合などは、ドライバーＨは気を配りながら運転をしている可能性が高いので、そのような場合は、安全条件が成立していないと判定する。このように、追認報知期間であって安全条件が成立した場合に追認報知を行うことで、ドライバーＨに効果的に落ち着きを取り戻させることができる。そして、安全条件が成立したと判定した場合は、ステップＳ１０４に処理を移行し、安全条件が成立していないと判定した場合は、ステップＳ１０７に処理を移行する。
ステップＳ１０３において、制御部１１０のＣＰＵは、安全条件が成立したかを判定する。具体的には、周辺環境認識部１２０や、車両状態認識部１４０から情報を取得して、例えば、車両１が停車した状態にある場合や、車両１が長い直線道路を走行している状態にある場合等に、安全条件が成立した、と判定する。すなわち、ヒヤリ・ハットの発生から早すぎず遅すぎないタイミングであっても、車両１の安全状況が確保できていなければ、追認報知を行ってもドライバーＨには伝わり難くなるおそれがある。例えば、追認報知期間は満たしたが、車両１が幅員の狭い道路を走行している場合などは、ドライバーＨは気を配りながら運転をしている可能性が高いので、そのような場合は、安全条件が成立していないと判定する。このように、追認報知期間であって安全条件が成立した場合に追認報知を行うことで、ドライバーＨに効果的に落ち着きを取り戻させることができる。そして、安全条件が成立したと判定した場合は、ステップＳ１０４に処理を移行し、安全条件が成立していないと判定した場合は、ステップＳ１０７に処理を移行する。
【0077】
（ステップＳ１０４）
ステップＳ１０４において、制御部１１０のＣＰＵは、追認実行処理を行う。具体的には、図５のステップＳ６４で統合したデータに基づく報知を行う。例えば、「先程、駐車しようとして後進したら、障害物に接触しそうになりました」、「しかしながら、○○様（ドライバー名）は、十分な後方確認はなさっておりました」、「あのような気づき難い箇所に障害物があるなんて不可抗力ですよ」、「理不尽な部分はありますが、もし接触していたら、速やかに警察に届け出ましょうね！」、「以降も安全運転で行きましょう！」などといった報知が行われる。このように第３者の立場からヒヤリ・ハットに至った推移を時系列で報知したり、ヒヤリ・ハットに至った推移に対する論評を報知したり、ドライバーＨの肯定的な部分を報知したり、事故に至っていたと仮定した際の仮定事故情報を報知したり、することで、動揺しているドライバーＨに落ち着きを取り戻させることができる。なお、追認報知の報知例は、図７、図８等を詳述する。そして、追認実行処理を終えると、ステップＳ１０５に処理を移行する。
ステップＳ１０４において、制御部１１０のＣＰＵは、追認実行処理を行う。具体的には、図５のステップＳ６４で統合したデータに基づく報知を行う。例えば、「先程、駐車しようとして後進したら、障害物に接触しそうになりました」、「しかしながら、○○様（ドライバー名）は、十分な後方確認はなさっておりました」、「あのような気づき難い箇所に障害物があるなんて不可抗力ですよ」、「理不尽な部分はありますが、もし接触していたら、速やかに警察に届け出ましょうね！」、「以降も安全運転で行きましょう！」などといった報知が行われる。このように第３者の立場からヒヤリ・ハットに至った推移を時系列で報知したり、ヒヤリ・ハットに至った推移に対する論評を報知したり、ドライバーＨの肯定的な部分を報知したり、事故に至っていたと仮定した際の仮定事故情報を報知したり、することで、動揺しているドライバーＨに落ち着きを取り戻させることができる。なお、追認報知の報知例は、図７、図８等を詳述する。そして、追認実行処理を終えると、ステップＳ１０５に処理を移行する。
【0078】
（ステップＳ１０５）
ステップＳ１０５において、制御部１１０のＣＰＵは、追認初期化処理を行う。具体的には、ＲＡＭの追認準備フラグをＯＦＦにして、タイマカウンタ等をリセットして、レジスタ等に格納していた統合データを削除する。なお、統合データは記憶部１７０に記憶するようにしてデータを蓄積していき、以降に活用するようにしてもよい。そして、追認初期化処理を終えると、ステップＳ１０７に処理を移行する。
ステップＳ１０５において、制御部１１０のＣＰＵは、追認初期化処理を行う。具体的には、ＲＡＭの追認準備フラグをＯＦＦにして、タイマカウンタ等をリセットして、レジスタ等に格納していた統合データを削除する。なお、統合データは記憶部１７０に記憶するようにしてデータを蓄積していき、以降に活用するようにしてもよい。そして、追認初期化処理を終えると、ステップＳ１０７に処理を移行する。
【0079】
（ステップＳ１０６）
ステップＳ１０６において、制御部１１０のＣＰＵは、追認報知期間の終了かを判定する。具体的には、ＲＡＭのタイマカウンタ等を参照して、追認報知期間が終了したかを判定する。例えば、追認準備フラグがＯＮであっても暫く安全条件が成立しなかった場合などは、追認報知期間が終了してしまうことが考えられる。そのような場合は、ステップＳ１０５に移行して追認初期化処理を行うことで、追認報知を行わないようにしている。これにより、既に落ち着きを取り戻しているドライバーＨに煩わしさを与えてしまうことを防止できる。そして、追認報知期間の終了であると判定した場合は、ステップＳ１０５に処理を移行し、追認報知期間の終了ではないと判定した場合は、ステップＳ１０７に処理を移行する。
ステップＳ１０６において、制御部１１０のＣＰＵは、追認報知期間の終了かを判定する。具体的には、ＲＡＭのタイマカウンタ等を参照して、追認報知期間が終了したかを判定する。例えば、追認準備フラグがＯＮであっても暫く安全条件が成立しなかった場合などは、追認報知期間が終了してしまうことが考えられる。そのような場合は、ステップＳ１０５に移行して追認初期化処理を行うことで、追認報知を行わないようにしている。これにより、既に落ち着きを取り戻しているドライバーＨに煩わしさを与えてしまうことを防止できる。そして、追認報知期間の終了であると判定した場合は、ステップＳ１０５に処理を移行し、追認報知期間の終了ではないと判定した場合は、ステップＳ１０７に処理を移行する。
【0080】
（ステップＳ１０７）
ステップＳ１０７において、制御部１１０のＣＰＵは、自律型対話制御処理を行う。具体的には、上述した車両用エージェント装置１００側から行う、能動的なスタイルでの対話を行うための処理を行う。例えば、ドライバーＨが乗車して、直線道路を走行している状態になったときなどにおいて、擬人化キャラクタ画像Ｉ１から「昨日は、○○様が応援している△△チームが負けてしまいました・・・」などといったことが音声および画像で報知（語りかけ）される。なお、当該語りかけにドライバーＨが応答すれば、話題は継続される（後述のステップＳ１０８～ステップＳ１１０）。例えば、ドライバーＨがマイク１６０を介して、「今日は、□□選手が出るから勝つよ」などと応答すれば、擬人化キャラクタ画像Ｉ１が「そうですね！□□選手は頼もしいですからね！」などといった双方向での対話が可能である。一方、ドライバーＨが応答しなければ、所定時間後に別の話題を持ち出して、再度擬人化キャラクタ画像Ｉ１から報知（語りかけ）が行われる。なお、複数回語りかけを行ったものの、ドライバーＨからの応答がない場合は、ドライバーＨが会話を行いたくない状態にあると認識して、語りかけの頻度を下げることもできる。そして、自律型対話制御処理を終えると、ステップＳ１０８に処理を移行する。
ステップＳ１０７において、制御部１１０のＣＰＵは、自律型対話制御処理を行う。具体的には、上述した車両用エージェント装置１００側から行う、能動的なスタイルでの対話を行うための処理を行う。例えば、ドライバーＨが乗車して、直線道路を走行している状態になったときなどにおいて、擬人化キャラクタ画像Ｉ１から「昨日は、○○様が応援している△△チームが負けてしまいました・・・」などといったことが音声および画像で報知（語りかけ）される。なお、当該語りかけにドライバーＨが応答すれば、話題は継続される（後述のステップＳ１０８～ステップＳ１１０）。例えば、ドライバーＨがマイク１６０を介して、「今日は、□□選手が出るから勝つよ」などと応答すれば、擬人化キャラクタ画像Ｉ１が「そうですね！□□選手は頼もしいですからね！」などといった双方向での対話が可能である。一方、ドライバーＨが応答しなければ、所定時間後に別の話題を持ち出して、再度擬人化キャラクタ画像Ｉ１から報知（語りかけ）が行われる。なお、複数回語りかけを行ったものの、ドライバーＨからの応答がない場合は、ドライバーＨが会話を行いたくない状態にあると認識して、語りかけの頻度を下げることもできる。そして、自律型対話制御処理を終えると、ステップＳ１０８に処理を移行する。
【0081】
（ステップＳ１０８）
ステップＳ１０８において、制御部１１０のＣＰＵは、乗員の会話入力があったかを判定する。具体的には、マイク１６０の入力ポートより音声入力が行われたかを判定する。なお、制御部１１０には、図示しない公知の音声認識部が設けられており、当該音声認識部により、入力された音声（会話の内容）がどのような内容であるのかを判断するようになっている。また、ここでいう乗員とは、ドライバーＨに限らず、他の乗員であってもよい。また、マイク１６０による音声入力に限らず、操作ボタン６０による操作入力によって会話入力ができてもよい。ただし、安全性を鑑みて、ワンタッチ操作での会話入力ができることが好ましい。また、当該処理における乗員の会話入力は、上述した受動的なスタイルでの対話も含む。そして、乗員の会話入力があったと判定した場合は、ステップＳ１０９に処理を移行し、乗員の会話入力がなかったと判定した場合は、ステップＳ１１０に処理を移行する。
ステップＳ１０８において、制御部１１０のＣＰＵは、乗員の会話入力があったかを判定する。具体的には、マイク１６０の入力ポートより音声入力が行われたかを判定する。なお、制御部１１０には、図示しない公知の音声認識部が設けられており、当該音声認識部により、入力された音声（会話の内容）がどのような内容であるのかを判断するようになっている。また、ここでいう乗員とは、ドライバーＨに限らず、他の乗員であってもよい。また、マイク１６０による音声入力に限らず、操作ボタン６０による操作入力によって会話入力ができてもよい。ただし、安全性を鑑みて、ワンタッチ操作での会話入力ができることが好ましい。また、当該処理における乗員の会話入力は、上述した受動的なスタイルでの対話も含む。そして、乗員の会話入力があったと判定した場合は、ステップＳ１０９に処理を移行し、乗員の会話入力がなかったと判定した場合は、ステップＳ１１０に処理を移行する。
【0082】
（ステップＳ１０９）
ステップＳ１０９において、制御部１１０のＣＰＵは、対応する会話内容の応答制御処理を行う。具体的には、上述の音声認識部により、入力された音声（会話の内容）がどのような内容であるのかを判断して、応答内容を決定し、セリフの表示データ、およびセリフの音声データを生成する。そして、対応する会話内容の応答制御処理を終えると、ステップＳ１１０に処理を移行する。
ステップＳ１０９において、制御部１１０のＣＰＵは、対応する会話内容の応答制御処理を行う。具体的には、上述の音声認識部により、入力された音声（会話の内容）がどのような内容であるのかを判断して、応答内容を決定し、セリフの表示データ、およびセリフの音声データを生成する。そして、対応する会話内容の応答制御処理を終えると、ステップＳ１１０に処理を移行する。
【0083】
（ステップＳ１１０）
ステップＳ１１０において、制御部１１０のＣＰＵは、画像表示処理を行う。具体的には、ステップＳ１０７の自律型対話制御処理において決定されたセリフの表示データや、ステップＳ１０９で生成したセリフの表示データを出力し、第２表示用パネル４０に当該セリフを表示する処理を行う。また、上述した注意喚起フラグがＯＮであれば、注意喚起の表示データをＲＯＭより読み出して出力し、第２表示用パネル４０に注意喚起を表示する処理を行う。そして、画像表示処理を終えると、ステップＳ１１１に処理を移行する。
ステップＳ１１０において、制御部１１０のＣＰＵは、画像表示処理を行う。具体的には、ステップＳ１０７の自律型対話制御処理において決定されたセリフの表示データや、ステップＳ１０９で生成したセリフの表示データを出力し、第２表示用パネル４０に当該セリフを表示する処理を行う。また、上述した注意喚起フラグがＯＮであれば、注意喚起の表示データをＲＯＭより読み出して出力し、第２表示用パネル４０に注意喚起を表示する処理を行う。そして、画像表示処理を終えると、ステップＳ１１１に処理を移行する。
【0084】
（ステップＳ１１１）
ステップＳ１１１において、制御部１１０のＣＰＵは、音出力処理を行う。具体的には、ステップＳ１０７の自律型対話制御処理において決定されたセリフの音声データや、ステップＳ１０９で生成したセリフの音声データを出力し、スピーカ１５０より当該セリフを出力する処理を行う。また、上述した注意喚起フラグがＯＮであれば、注意喚起の音声データをＲＯＭより読み出して出力し、スピーカ１５０より注意喚起の音声を出力し、ＲＡＭの注意喚起フラグをＯＦＦにする。そして、音出力処理を終えると、メイン処理を終了する。以上のような処理によって、上述した車両用エージェント装置１００側から行う、能動的なスタイルでの対話や、受動的なスタイルでの対話や、追認報知が実現される。
ステップＳ１１１において、制御部１１０のＣＰＵは、音出力処理を行う。具体的には、ステップＳ１０７の自律型対話制御処理において決定されたセリフの音声データや、ステップＳ１０９で生成したセリフの音声データを出力し、スピーカ１５０より当該セリフを出力する処理を行う。また、上述した注意喚起フラグがＯＮであれば、注意喚起の音声データをＲＯＭより読み出して出力し、スピーカ１５０より注意喚起の音声を出力し、ＲＡＭの注意喚起フラグをＯＦＦにする。そして、音出力処理を終えると、メイン処理を終了する。以上のような処理によって、上述した車両用エージェント装置１００側から行う、能動的なスタイルでの対話や、受動的なスタイルでの対話や、追認報知が実現される。
【0085】
次に、図７、図８等を用いて、上述した制御処理によって行われる報知例を説明する。なお、図７、図８においては、第２表示用パネル４０の表示画面を表しており、スピーカ１５０は図示を省略しているが、セリフに対応した音声はスピーカ１５０より出力されているものとして説明する。また、図７、図８は、上述したステップＳ６１で述べた事象が発生した際の報知例を示している。
【0086】
図７（ａ）は、上述したヒヤリ・ハットが発生した際の様子を示している。すなわち、上述した注意喚起の画像および音声が報知されている。なお、注意喚起の報知は、能動的なスタイルでの対話であり、仮にドライバーＨとある話題について対話中であっても、当該対話を中断して、注意喚起の報知が行われる。
【0087】
図７（ｂ）は、上述したヒヤリ・ハットが発生した後で、上述した開始期間Ｔｓに至る前の様子を示している。すなわち、追認報知を行う前であるので、例えば、発生したヒヤリ・ハットに関わる対話は行わずに、ヒヤリ・ハットの発生前に行っていた対話（例えば、天気の話題）の続きなどを行う。なお、図７（ｂ）では、対話を行わないようにしてもよい。
【0088】
図７（ｃ）は、上述した開始期間Ｔｓに至り、且つ、安全条件が成立したと判定され、上述した追認報知が開始された様子を示している。すなわち、「先程は、あぶなかったですね」といったように、過去に発生したヒヤリ・ハットに関わる報知を開始する。
【0089】
図８（ａ）は、ヒヤリ・ハットの発生に至った推移を時系列で報知している様子を示している。すなわち、上述した駐車しようとして後進したら、障害物に接触しそうになった、といった画像および音声が出力されている。
【0090】
図８（ｂ）は、上述した肯定性データが抽出された場合に行われる報知の様子を示している。すなわち、後方確認は怠っていなかったことや、不可抗力な事由があったことについて、画像および音声が出力されている。
【0091】
図８（ｃ）は、事故訓練データに基づく報知（仮定事故情報の報知）の様子を示している。すなわち、速やかに警察に届出を行うことを勧告することや、契約の保険会社に関する情報（連絡先等）について、画像および音声が出力されている。
【0092】
このように、画像および音声により、ヒヤリ・ハットの発生に至った推移を時系列で報知することで、ドライバーＨの頭の中を整理し易くすることができ、早期に落ち着きを取り戻させることができる。また、肯定性データが抽出された場合には、ドライバーＨを肯定する報知を行うことで、早期に落ち着きを取り戻させることができる。また、仮定事故情報の報知を行うことで、ドライバーＨの以降の運転に注意を促すことができる。これにより、安全性の向上を図ることができる。
【0093】
次に、上述したヒヤリ・ハットの発生から追認報知の開始および終了といった一連の流れを図９のタイムチャートを用いて説明する。
【0094】
図９のタイミング（ア）は、例えば、ドライバーＨが車両１に乗車して、走行を開始したタイミングである。このとき、第２表示用パネル４０においては、通常画像が表示されており、例えば、天気の話題が表示されている。
【0095】
図９のタイミング（イ）は、危険因子がＯＮ、すなわち、ヒヤリ・ハットの発生を示している。このとき、第２表示用パネル４０においては、例えば、天気の話題を中断して、上述した注意喚起画像が表示されている。
【0096】
図９のタイミング（ウ）は、ヒヤリ・ハットの発生から所定時間経過後（例えば、１分後）を示している。このとき、第２表示用パネル４０においては、例えば、中断していた天気の話題を再開して、天気の話題が表示されている。
【0097】
図９のタイミング（エ）は、上述した開始期間Ｔｓに至ったタイミングを示している。図９の例では、このとき、安全状況が確保されていない（安全条件が成立していない）ため、開始期間Ｔｓに至ったものの、追認報知は開始されていないことを示している。すなわち、第２表示用パネル４０においては、引き続き、通常画像が表示されており、例えば、天気の話題が表示されている。
【0098】
図９のタイミング（オ）は、安全状況が確保された（安全条件が成立した）と判定されたタイミングを示している。このとき、第２表示用パネル４０においては、追認報知が開始され、時系列画像（図７（ｃ）、図８（ａ））等が表示されている。
【0099】
【0100】
図９のタイミング（キ）は、肯定性画像の表示が終了し、続いて、仮定事故情報の表示が開始されたタイミングを示している。このとき、第２表示用パネル４０においては、仮定事故情報画像（図８（ｃ））が表示されている。
【0101】
図９のタイミング（ク）は、仮定事故情報画像の表示が終了し、一連の追認報知が終了したタイミングを示している。そして、一連の追認報知が終了すると、第２表示用パネル４０においては、通常画面が表示されている。
【0102】
図９のタイミング（ケ）は、上述した終了期間Ｔｅに至ったタイミングを示している。なお、図９の例では、追認報知期間が立ち上がったタイミング（エ）から立ち下がったタイミング（ケ）の間のタイミング（オ）において安全状況が確保されているので、追認報知が行われたが、タイミング（エ）からタイミング（ケ）の間に、安全状況が立ち上がらなければ、追認報知は行われず、当該行われなかった追認報知に係るデータは削除、または、記憶部１７０に記憶される。一方、タイミング（エ）からタイミング（ケ）の間に、安全状況が立ち上がれば、追認報知は行われるので、例えば、タイミング（ケ）の直前に初めて安全状況が立ち上がれば、そこから追認報知を開始する。このように、追認報知の開始タイミングや実行有無は、安全状況の確保タイミングによって左右されることになる。このように、安全状況を確保された上で追認報知を行うことで、安全性の向上を図ることができる。
【0103】
なお、タイミング（オ）で安全状況が立ち上がったことで、追認報知を開始した後、例えば、タイミング（カ）で安全状況が立ち下がった場合（安全でなくなった場合）は、追認報知を中断、または、中止してもよい。すなわち、現在の車両１の走行状態（安全性）を最優先にして追認報知を制御するようにしてもよい。このように、追認報知が途中であるときに安全性が確保されなくなった場合は、追認報知を中断、または、中止することで、安全性の向上を図ることができる。
【0104】
（変形例）
以下に、想定される変形例を追記する。
以下に、想定される変形例を追記する。
【0105】
上記実施形態においては、第２表示用パネル４０を第１表示用パネル３０と別個に設けて、当該第２表示用パネル４０に擬人化キャラクタ画像Ｉ１を表示したが、第２表示用パネル４０は設けずに、第１表示用パネル３０に擬人化キャラクタ画像Ｉ１を表示するようにしてもよい。
【0106】
また、第２表示用パネル４０は設けずに、第３表示用パネル（カーナビゲーションシステムを担う表示装置）に擬人化キャラクタ画像Ｉ１を表示するようにしてもよい。
【0107】
また、第２表示用パネル４０に代えて、例えば、フロントガラスに情報を投影するヘッドアップディスプレイを用いて、フロントガラスに擬人化キャラクタ画像Ｉ１を表示してもよい。
【0108】
また、擬人化キャラクタ画像Ｉ１は表示せずに、スピーカ１５０と、マイク１６０とを用いて、音のみで対話を行うようにしてもよい。
【0109】
また、追認報知期間であって安全状況が確保されたときに、乗員状態認識部１３０より情報を取得して、例えば、心拍数が標準値にある場合は、ドライバーＨが落ち着いていると判断して、追認報知を行わないようにしてもよい。これにより、既に落ち着きを取り戻しているドライバーＨに煩わしさを与えてしまうことを防止できる。
【0110】
また、安全条件が成立したかを判定するにあっては、周辺環境認識部１２０や、車両状態認識部１４０から情報を取得して、例えば、車両１が停車した状態にある場合や、車両１が長い直線道路を走行している状態にある場合等に、安全条件が成立した、と判定したが、これに限られず、例えば、アクセルペダルセンサ１４０ｃより時間当たりのアクセルペダルの踏み込み量を取得して、時間当たりの踏み込み量が標準値にある場合に、安全条件が成立した、と判定してもよい。また、ハンドル角センサ１４０ｂより角度情報を取得して、時間当たりの角度が標準値にある場合に、安全条件が成立した、と判定してもよい。
【0111】
また、乗員状態認識部１３０より情報を取得して、例えば、心拍数が標準値にある場合は、安全条件が成立した、と判定してもよい。
【0112】
また、追認報知は、画像および音声にて行うようにしたが、実際に車外撮影用カメラ１２０ａ等で撮影した映像を表示してもよい。
【0113】
また、周辺環境認識部１２０、乗員状態認識部１３０、車両状態認識部１４０を設けて、いずれもの認識部から情報を取得し、認識するようにしたが、いずれか１の認識部のみを設けても本発明を実現できるし、いずれか２の認識部を設けても本発明を実現できる。
【0114】
例えば、周辺環境認識部１２０のみを設ける場合は、車外撮影用カメラ１２０ａや、レーダ１２０ｂを用いて、他車両や障害物との距離を測定し、さらに測定した値が所定の閾値を超えたかどうかを判定し、超えた場合には追認報知を行うようにすればよい。
【0115】
また、例えば、乗員状態認識部１３０のみを設ける場合は、乗員撮影用カメラ１３０ａや、バイタルセンサ１３０ｂを用いて、乗員の身体状況を測定し、さらに測定した値が所定の閾値を超えたかどうかを判定し、超えた場合には追認報知を行うようにすればよい。
【0116】
また、例えば、車両状態認識部１４０のみを設ける場合は、車速センサ１４０ａや、ハンドル角センサ１４０ｂや、アクセルペダルセンサ１４０ｃや、ブレーキペダルセンサ１４０ｄや、Ｇセンサ１４０ｅを用いて、自車両の状態を測定し、さらに測定した値が所定の閾値を超えたかどうかを判定し、超えた場合には追認報知を行うようにすればよい。
【0117】
なお、乗員の身体状況は、外的な要因によらずに変化することも有り得るので（例えば、ドライバーＨの体調不良など）、周辺環境認識部１２０や車両状態認識部１４０に比べると、間接的な認識といえる。つまり、周辺環境認識部１２０や車両状態認識部１４０に比べると、ヒヤリ・ハットの検知の精度は下がる。よって、乗員状態認識部１３０は、他の認識部と組み合わせて用いた方が好ましい。
【0118】
（対応関係について）
本実施形態において、擬人化キャラクタ画像Ｉ１は、本発明の、視覚または聴覚的に擬人化されたキャラクタを構成する。
本実施形態において、擬人化キャラクタ画像Ｉ１は、本発明の、視覚または聴覚的に擬人化されたキャラクタを構成する。
【0119】
また、本実施形態において、制御部１１０は、本発明の、キャラクタによる報知を制御する制御手段を構成する。
【0120】
また、本実施形態において、周辺環境認識部１２０、乗員状態認識部１３０、車両状態認識部１４０は、本発明の、車両の運転若しくは周辺環境の状況、又は乗員の身体若しくは思考の状況の少なくともいずれかの状況を取得する状況取得手段を構成する。
【0121】
また、本実施形態において、制御部１１０による危険因子抽出処理が行われた結果、危険因子が抽出された状況は、本発明の、特定の状況を構成する。
【0122】
また、本実施形態において、制御部１１０は、本発明の、状況取得手段により取得された状況が特定の状況に相当するかを識別する識別手段を構成する。
【0123】
また、本実施形態において、追認報知期間であって、安全状況が成立している状況は、本発明の、報知条件を満たしている状況を構成する。
【0124】
また、本実施形態において、制御部１１０は、本発明の、報知条件を満たしているかを判断する判断手段を構成する。
【0125】
また、本実施形態において、制御部１１０による追認実行処理は、本発明の、過程の推移に対する論評を加えた報知を構成する。
【0126】
また、本実施形態において、制御部１１０は、本発明の、過程の推移における乗員の肯定要素を抽出する抽出手段を構成する。
【0127】
また、本実施形態において、仮定事故情報画像は、本発明の、過程の推移から事故に至っていたと仮定した際の仮定事故情報を構成する。
【符号の説明】
【0128】
１：車両、４０：第２表示用パネル、１１０：制御部、１２０：周辺環境認識部、１３０：乗員状態認識部、１４０：車両状態認識部、１５０：スピーカ、１６０：マイク
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
