ホーム > 特許ランキング > 株式会社ＳＵＢＡＲＵ
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-11-22
(45)【発行日】2022-12-01
(54)【発明の名称】車両用エージェント装置
(51)【国際特許分類】
G08G 1/16 20060101AFI20221124BHJP
【ＦＩ】
G08G1/16 A
G08G1/16 F
【請求項の数】
4
(21)【出願番号】P 2018185749
(22)【出願日】2018-09-28
(65)【公開番号】P2020057080
(43)【公開日】2020-04-09
【審査請求日】2021-08-23
(73)【特許権者】
【識別番号】000005348
【氏名又は名称】株式会社ＳＵＢＡＲＵ
(74)【代理人】
【識別番号】110000383
【氏名又は名称】弁理士法人エビス国際特許事務所
(72)【発明者】
【氏名】相川 愛美
(72)【発明者】
【氏名】長澤 勇
【審査官】小林 勝広
(56)【参考文献】
【文献】特開平１１－０３７７６６（ＪＰ，Ａ）
【文献】特開２０１２－２４２１８７（ＪＰ，Ａ）
【文献】特開２００３－１５７４８９（ＪＰ，Ａ）
【文献】特開２００５－２５８８２０（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｂ６０Ｗ １０／００－１０／３０、３０／００－６０／００
Ｇ０１Ｃ ２１／００－２１／３６、２３／００－２５／００
Ｇ０６Ｔ １／００、１１／６０－１３／８０、１７／０５、
１９／００－１９／２０
Ｇ０８Ｇ １／００－９９／００
Ｇ０９Ｂ ２３／００－２９／１４
(57)【特許請求の範囲】
【請求項1】
キャラクタと乗員との双方向のコミュニケーションが可能な車両用エージェント装置であって、
前記キャラクタを制御するエージェント制御手段と、
車両の運転若しくは周辺環境の状況、又は乗員の身体若しくは思考の状況の少なくともいずれかの状況を取得する状況取得手段と、
前記状況取得手段により取得された状況が特定の状況に相当するかを識別する識別手段と、を有し、
前記エージェント制御手段は、
視覚または聴覚的に擬人化された通常の擬人化キャラクタと乗員との双方向のコミュニケーションの制御を行い、
前記通常の擬人化キャラクタを制御しているときに前記識別手段により前記特定の状況に相当すると識別された場合、特定の擬人化キャラクタを制御し、
前記特定の擬人化キャラクタに前記特定の状況に係る警告報知を行わせた後、前記コミュニケーションが可能な前記通常の擬人化キャラクタを制御し、前記特定の状況に係る警告報知のサポート報知を行わせる、
ことを特徴とする車両用エージェント装置。
【請求項2】
キャラクタと乗員との双方向のコミュニケーションが可能な車両用エージェント装置であって、
前記キャラクタを制御するエージェント制御手段と、
車両の運転若しくは周辺環境の状況、又は乗員の身体若しくは思考の状況の少なくともいずれかの状況を取得する状況取得手段と、
前記状況取得手段により取得された状況が特定の状況に相当するかを識別する識別手段と、を有し、
前記エージェント制御手段は、
視覚または聴覚的に擬人化された通常の擬人化キャラクタと乗員との双方向のコミュニケーションの制御を行い、
前記通常の擬人化キャラクタを制御しているときに前記識別手段により前記特定の状況に相当すると識別された場合、特定の擬人化キャラクタを制御し、
前記特定の状況が第１のレベルにあると、前記通常の擬人化キャラクタに前記特定の状況に係るサポート報知を行わせ、
前記特定の状況が前記第１のレベルよりも危険度の高い第２のレベルにあると、前記特定の擬人化キャラクタに前記特定の状況に係る警告報知と当該特定の状況に係る警告報知のサポート報知とを行わせる、
ことを特徴とする車両用エージェント装置。
【請求項3】
前記エージェント制御手段は、前記特定の擬人化キャラクタにより前記特定の状況に係る警告報知を行わせているときには、キャラクタからのコミュニケーションを不能とする、
ことを特徴とする請求項１または２に記載の車両用エージェント装置。
【請求項4】
前記エージェント制御手段は、キャラクタと乗員との双方向のコミュニケーションの制御手段として、
乗員からの会話の入力があった場合に、入力した会話の内容を乗員に返答する他律型会話制御手段と、
乗員からの会話の入力の有無にかかわらず、所定の乗員情報に基づいて、乗員に会話をする自律型会話制御手段と、を有し、
前記特定の擬人化キャラクタを制御しているときは、前記自律型会話制御手段による会話または前記他律型会話制御手段による返答を規制する、
ことを特徴とする請求項１または２に記載の車両用エージェント装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、乗員と、擬人化されたキャラクタとが、コミュニケーションを図ることが可能な車両用エージェント装置に関する。
【背景技術】
【0002】
自動車などの車両においては、乗員（特にドライバー）の運転環境を整える（例えば、眠気防止を図る）ことで、より安全性を向上させることが継続的な課題であり、このような運転環境を整える手法として、様々な手法が提案されている。
例えば、乗員と、擬人化されたキャラクタ（いわゆるエージェント）とが、コミュニケーションを図ることが可能な車両用エージェント装置も上記手法の１つとして提案されており、このような車両用エージェント装置として、特許文献１では、乗員の顔の向きまたは視線を検出して、エージェント像を表示制御することが提案されている。
例えば、乗員と、擬人化されたキャラクタ（いわゆるエージェント）とが、コミュニケーションを図ることが可能な車両用エージェント装置も上記手法の１つとして提案されており、このような車両用エージェント装置として、特許文献１では、乗員の顔の向きまたは視線を検出して、エージェント像を表示制御することが提案されている。
【0003】
また、特許文献１における車両用エージェント装置においては、乗員の視線が前方を向いていない場合、エージェント像が警告報知を行うことで乗員に注意喚起を促して、安全性の向上を図ることが提案されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２００６－１８９３９４号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記特許文献１によれば、乗員とエージェントとの間で快適なコミュニケーションを実現できるといった利点は得られるものの、過度なコミュニケーションを図るあまり、エージェントから警告報知が発せられているにも関わらず、当該警告報知を見落とし、または聞き逃してしまうおそれがあった。
【0006】
本発明は、このような従来の問題を解決するためになされたもので、擬人化されたキャラクタから警告報知が発せられた場合、当該警告報知を乗員に的確に認識させることを可能とする車両用エージェント装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明に係る車両用エージェント装置は、キャラクタと乗員との双方向のコミュニケーションが可能な車両用エージェント装置であって、前記キャラクタを制御するエージェント制御手段と、車両の運転若しくは周辺環境の状況、又は乗員の身体若しくは思考の状況の少なくともいずれかの状況を取得する状況取得手段と、前記状況取得手段により取得された状況が特定の状況に相当するかを識別する識別手段と、を有し、前記エージェント制御手段は、視覚または聴覚的に擬人化された通常の擬人化キャラクタと乗員との双方向のコミュニケーションの制御を行い、前記通常の擬人化キャラクタを制御しているときに前記識別手段により前記特定の状況に相当すると識別された場合、特定の擬人化キャラクタを制御し、当該特定の擬人化キャラクタにより、前記特定の状況に係る警告報知を行わせることを特徴とする。
【0008】
また、前記エージェント制御手段は、前記特定の擬人化キャラクタにより前記特定の状況に係る警告報知を行わせているときには、キャラクタからのコミュニケーションを不能とするようにしてもよい。
【0009】
さらに、前記エージェント制御手段は、キャラクタと乗員との双方向のコミュニケーションの制御手段として、乗員からの会話の入力があった場合に、入力した会話の内容を乗員に返答する他律型会話制御手段と、乗員からの会話の入力の有無にかかわらず、所定の乗員情報に基づいて、乗員に会話をする自律型会話制御手段と、を有し、前記特定の擬人化キャラクタを制御しているときは、前記自律型会話制御手段による会話または前記他律型会話制御手段による返答を規制するようにしてもよい。
【0010】
さらに、前記エージェント制御手段は、前記特定の擬人化キャラクタに前記特定の状況に係る警告報知を行わせた後、前記コミュニケーションが可能な前記通常の擬人化キャラクタを制御し、前記特定の状況に係る警告報知のサポート報知を行わせるようにしてもよい。
【0011】
さらに、前記エージェント制御手段は、前記特定の状況に相当すると識別された場合、前記特定の状況が第１のレベルにあると、前記特定の擬人化キャラクタに前記特定の状況に係る警告報知のみを行わせ、前記特定の状況が前記第１のレベルよりも危険度の高い第２のレベルにあると、前記特定の擬人化キャラクタに前記特定の状況に係る警告報知と当該特定の状況に係る警告報知のサポート報知とを行わせるようにしてもよい。
【発明の効果】
【0012】
本発明によれば、擬人化されたキャラクタから警告報知が発せられた場合、当該警告報知を乗員に的確に認識させることを可能とする車両用エージェント装置を提供することができる。
【図面の簡単な説明】
【0013】
【図1】本発明の実施の一形態に係る車両の車室内を示す斜視図である。
【図2】第１表示用パネル及び第２表示用パネルを運転席側から視た状態を示す正面図である。
【図3】車両用エージェント装置を説明するためのブロック図である。
【図4】車両用エージェント装置の制御部によって行われるメインフローチャート図である。
【図5】車両用エージェント装置の制御部によって行われる報知制御処理を示すフローチャート図である。
【図6】車両用エージェント装置の報知例１を示すアニメーション図である。
【図7】車両用エージェント装置の報知例２を示すアニメーション図である。
【発明を実施するための形態】
【0014】
以下、本発明の実施の形態について、図面を参照して説明する。
【0015】
以下、本発明の実施形態を、図１は本発明の実施の一形態に係る車両の車室内を示す斜視図、図２は第１表示用パネル３０及び第２表示用パネル４０を運転席側から視た状態を示す正面図、図３は車両用エージェント装置を説明するためのブロック図、図４は車両用エージェント装置の制御部によって行われるメインフローチャート図、図５は車両用エージェント装置の制御部によって行われる報知制御処理を示すフローチャート図、図６は車両用エージェント装置の報知例１を示すアニメーション図、図７は車両用エージェント装置の報知例２を示すアニメーション図である。なお、図中ＦＲは車両前方を、ＵＰは車両上方をそれぞれ示している。また、以下の説明における左右方向は、車両に着座した乗員が車両前方を向いた状態での左右方向を意味する。
【0016】
（車室内における各構成）
図１、図２に示すように、車両１は、運転席２の車両前方側に設けられるインストルメントパネル３と、運転席２とインストルメントパネル３との間に配置されるステアリングホイール４とを有している。ステアリングホイール４は、ステアリングシャフト（図示省略）を介してステアリングコラム（図示省略）に回転自在に取り付けられている。また、ステアリングホイール４の内部には、車両１が衝突等した際に、ドライバーＨに向けて展開するエアバック８が格納されている。
図１、図２に示すように、車両１は、運転席２の車両前方側に設けられるインストルメントパネル３と、運転席２とインストルメントパネル３との間に配置されるステアリングホイール４とを有している。ステアリングホイール４は、ステアリングシャフト（図示省略）を介してステアリングコラム（図示省略）に回転自在に取り付けられている。また、ステアリングホイール４の内部には、車両１が衝突等した際に、ドライバーＨに向けて展開するエアバック８が格納されている。
【0017】
図１に示すように、車両１の車室内には、第１表示用パネル３０と、第２表示用パネル４０と、第３表示用パネル５０との３つの表示パネルが設けられている。これら第１表示用パネル３０と、第２表示用パネル４０とは、運転席２の前方側のインストルメントパネル３にそれぞれ離間して配置され、第３表示用パネル５０は、運転席２の左前方側のインストルメントパネル３に配置されている。
【0018】
（第１表示用パネル３０）
図１、図２に示すように、第１表示用パネル３０は、アナログ時計のように構成された指針式メータと、液晶パネルとバックライトとが一体的に設けられたいわゆる液晶ディスプレイ装置とを備えて構成されている。ドライバー（運転者）Ｈ（以下、ドライバーＨ）は、第１表示用パネル３０の第１表示領域３０ａに表示される各種情報を、ステアリングホイール４の上側空間部４ａを介して視ることが可能となっている。
図１、図２に示すように、第１表示用パネル３０は、アナログ時計のように構成された指針式メータと、液晶パネルとバックライトとが一体的に設けられたいわゆる液晶ディスプレイ装置とを備えて構成されている。ドライバー（運転者）Ｈ（以下、ドライバーＨ）は、第１表示用パネル３０の第１表示領域３０ａに表示される各種情報を、ステアリングホイール４の上側空間部４ａを介して視ることが可能となっている。
【0019】
図２に示すように、第１表示用パネル３０には、第１表示領域３０ａが設けられており、この第１表示領域３０ａの左右には、車両１の走行速度（スピードメータ）や、エンジンの単位時間当たりの回転数（タコメータ）などの情報を表示する２つの指針式メータと、２つの指針式メータの間であって第１表示用パネル３０の中央部には、一般的な車両情報を示す画像を表示する小型の液晶ディスプレイ装置とが配置される。なお、第１表示用パネル３０は、指針式メータを備えずに、全体を１つの液晶ディスプレイ装置で構成してもよい。
【0020】
（第２表示用パネル４０）
図１、図２に示すように、第２表示用パネル４０は、例えば、液晶パネルとバックライトとが一体的に設けられた、いわゆる液晶ディスプレイ装置で構成されており、その下端部の左右方向の両端部には、それぞれ、相反する方向に突出する一対の回動軸４１が取り付けられている。この回動軸４１が支持部材（図示省略）によって軸支されることによって、上方に向けて起立する起立位置と、車両前方へ向けて倒伏する倒伏位置との間で可変自在に取り付けられている。ドライバーＨは、第２表示用パネル４０の第２表示領域４０ａに表示される各種画像を、ステアリングホイール４の上側空間部４ａを介して視ることが可能となっている。なお、第２表示用パネル４０は、起立位置と倒伏位置との間で可変自在に構成したが、支持部材から起立したまま突出する突出位置と支持部材の内部に格納される格納位置との間で上下に可変自在に構成してもよいし、可変不能に固定されていてもよい。
図１、図２に示すように、第２表示用パネル４０は、例えば、液晶パネルとバックライトとが一体的に設けられた、いわゆる液晶ディスプレイ装置で構成されており、その下端部の左右方向の両端部には、それぞれ、相反する方向に突出する一対の回動軸４１が取り付けられている。この回動軸４１が支持部材（図示省略）によって軸支されることによって、上方に向けて起立する起立位置と、車両前方へ向けて倒伏する倒伏位置との間で可変自在に取り付けられている。ドライバーＨは、第２表示用パネル４０の第２表示領域４０ａに表示される各種画像を、ステアリングホイール４の上側空間部４ａを介して視ることが可能となっている。なお、第２表示用パネル４０は、起立位置と倒伏位置との間で可変自在に構成したが、支持部材から起立したまま突出する突出位置と支持部材の内部に格納される格納位置との間で上下に可変自在に構成してもよいし、可変不能に固定されていてもよい。
【0021】
図２に示すように、第２表示用パネル４０には、第２表示領域４０ａが設けられており、この第２表示領域４０ａに、後述する通常の擬人化キャラクタ画像Ｉ１や、通常の擬人化キャラクタ画像Ｉ１から発せられるセリフ画像Ｉ２や、後述する特定の擬人化キャラクタ画像Ｉ３や、特定の擬人化キャラクタ画像Ｉ３から発せられる警告報知画像Ｉ４（図６、図７参照）が表示される。第２表示領域４０ａは、上述のスピードメータと、タコメータとの間に位置するので、ドライバーＨは、視線を大きく移動させることなく、スピードメータの確認、タコメータの確認、通常の擬人化キャラクタ画像Ｉ１およびセリフ画像Ｉ２、および特定の擬人化キャラクタ画像Ｉ３および警告報知画像Ｉ４の確認ができるようになっている。なお、通常の擬人化キャラクタ画像Ｉ１や特定の擬人化キャラクタ画像Ｉ３を用いた特徴部については図６、図７で後述する。
【0022】
（第３表示用パネル５０）
図１に示すように、第３表示用パネル５０は、例えば、液晶パネルとバックライトとが一体的に設けられた、いわゆる液晶ディスプレイ装置で構成されている。なお、第３表示用パネル５０には地図情報等が表示され、いわゆるカーナビゲーションシステムを担っている。
図１に示すように、第３表示用パネル５０は、例えば、液晶パネルとバックライトとが一体的に設けられた、いわゆる液晶ディスプレイ装置で構成されている。なお、第３表示用パネル５０には地図情報等が表示され、いわゆるカーナビゲーションシステムを担っている。
【0023】
なお、第１表示用パネル３０、第２表示用パネル４０及び第３表示用パネル５０において構成されている液晶ディスプレイ装置を、プラズマディスプレイや有機ＥＬ等の自発光型の表示デバイス、投影型のプロジェクタ等の表示装置で構成してもよい。
【0024】
（操作ボタン６０）
図２に示すように、操作ボタン６０は、上下左右の４方向のキーが設けられた操作デバイスであって、本発明の車両用エージェント装置の制御部１１０（図３参照）に対して、操作信号を入力可能となっている。これにより、例えば、通常の擬人化キャラクタ画像Ｉ１から発せられるセリフ画像Ｉ２に対応する音声の音量値の変更や、通常の擬人化キャラクタ画像Ｉ１の表示位置の変更等ができるようになっている。
図２に示すように、操作ボタン６０は、上下左右の４方向のキーが設けられた操作デバイスであって、本発明の車両用エージェント装置の制御部１１０（図３参照）に対して、操作信号を入力可能となっている。これにより、例えば、通常の擬人化キャラクタ画像Ｉ１から発せられるセリフ画像Ｉ２に対応する音声の音量値の変更や、通常の擬人化キャラクタ画像Ｉ１の表示位置の変更等ができるようになっている。
【0025】
次に、本発明における車両用エージェント装置１００の構成について、図３のブロック図を参照して説明する。
【0026】
図３に示すように、車両用エージェント装置１００は、制御部１１０と、周辺環境認識部１２０と、乗員状態認識部１３０と、車両状態認識部１４０と、第２表示用パネル４０と、操作ボタン６０と、スピーカ１５０と、マイク１６０と、記憶部１７０と、送受信機１８０と、で構成されている。
【0027】
なお、図３に示す車両用エージェント装置１００は一例にすぎず、車両用エージェント装置１００の構成要素は適宜変更ができる。例えば、周辺環境認識部１２０と、乗員状態認識部１３０と、車両状態認識部１４０と、は少なくともいずれか１つを備えていれば、本発明の車両用エージェント装置１００を実現できるし、操作ボタン６０と、記憶部１７０と、送受信機１８０と、は備えなくても、本発明の車両用エージェント装置１００を実現できる。また、少なくともスピーカ１５０と、マイク１６０とを備えていれば、第２表示用パネル４０は備えなくても、本発明の車両用エージェント装置１００を実現できる。
【0028】
また、本発明における車両用エージェント装置１００は、例えば、マイク１６０を介してドライバーＨから音声入力（例えば、問いかけ）が行われた場合に、それに対する返答をスピーカ１５０や第２表示用パネル４０（通常の擬人化キャラクタ画像Ｉ１）を介して行う、受動的なスタイルでの対話と、例えば、後述のマイク１６０を介してドライバーＨから音声入力が行われていなくても、ドライバーＨの趣味嗜好に併せた話題等をスピーカ１５０や第２表示用パネル４０（通常の擬人化キャラクタ画像Ｉ１）を介して車両用エージェント装置１００側から行う、能動的なスタイルでの対話と、の両方が可能である。特に、能動的なスタイルでの対話を可能とすることで、積極的な語りかけにより、ドライバーＨの眠気防止や運転ストレスの解消に寄与できる。
【0029】
（制御部１１０）
制御部１１０は、図示しないＣＰＵ、ＲＯＭ、ＲＡＭ（例えば、リングバッファ）、入出力ポート等を備えており、例えば、入力ポートより情報入力が行われると、ＲＯＭから読み出した制御プログラムに基づいて、出力ポートを介して各種デバイス（第２表示用パネル４０やスピーカ１５０）を制御するようになっている。
制御部１１０は、図示しないＣＰＵ、ＲＯＭ、ＲＡＭ（例えば、リングバッファ）、入出力ポート等を備えており、例えば、入力ポートより情報入力が行われると、ＲＯＭから読み出した制御プログラムに基づいて、出力ポートを介して各種デバイス（第２表示用パネル４０やスピーカ１５０）を制御するようになっている。
【0030】
なお、制御部１１０のＲＯＭには、通常の擬人化キャラクタ画像Ｉ１や、特定の擬人化キャラクタ画像Ｉ３から発せられるセリフのデータテーブル（図示省略）が記憶されている。制御部１１０のＣＰＵは、後述する各認識部から取得した情報や、マイク１６０から取得した情報に基づいて、通常の擬人化キャラクタ画像Ｉ１から発するセリフや、特定の擬人化キャラクタ画像Ｉ３から発するセリフをデータテーブルから決定する。例えば、ＢＧＭをかけて欲しいとの情報をマイク１６０から取得したら、データテーブルから「了解しました」といった通常の擬人化キャラクタ画像Ｉ１のセリフを決定する。
【0031】
（周辺環境認識部１２０）
周辺環境認識部１２０は、車両１（自車両）の周辺環境を認識するために設けられている。また、周辺環境認識部１２０は、車外撮影用カメラ１２０ａと、レーダ１２０ｂとを備えており、これらのデバイスによって車両１の周辺環境を認識することができるようになっている。
周辺環境認識部１２０は、車両１（自車両）の周辺環境を認識するために設けられている。また、周辺環境認識部１２０は、車外撮影用カメラ１２０ａと、レーダ１２０ｂとを備えており、これらのデバイスによって車両１の周辺環境を認識することができるようになっている。
【0032】
（車外撮影用カメラ１２０ａ）
車外撮影用カメラ１２０ａは、例えば、図示しないルームミラーに取り付けられており、車両１の前方、および、車両１の後方を撮影できるようになっている。そして、撮影した画像情報が制御部１１０に入力されて、制御部１１０がＲＡＭに画像情報を記憶する。これにより、制御部１１０は、車両１の前方、車両１の後方の状況をリアルタイムおよび事後的に認識することができる。
車外撮影用カメラ１２０ａは、例えば、図示しないルームミラーに取り付けられており、車両１の前方、および、車両１の後方を撮影できるようになっている。そして、撮影した画像情報が制御部１１０に入力されて、制御部１１０がＲＡＭに画像情報を記憶する。これにより、制御部１１０は、車両１の前方、車両１の後方の状況をリアルタイムおよび事後的に認識することができる。
【0033】
（レーダ１２０ｂ）
レーダ１２０ｂは、例えば、電波を飛ばして障害物等を検知するミリ波レーダが用いられており、当該ミリ波レーダが車両１のフロントバンパやリアバンパに取り付けられ、車両１の前方監視、車両１の前側方監視、車両１の後側方監視ができるようになっている。そして、監視情報が制御部１１０に入力されて、制御部１１０がＲＡＭに監視情報を記憶する。これにより、制御部１１０は、車両１の前方、車両１の前側方の状況、車両１の後側方の状況をリアルタイムおよび事後的に認識することができる。なお、本実施形態においてはミリ波レーダを用いているが、他のレーダを用いてもよい。例えば、赤外線レーダでもよい。
レーダ１２０ｂは、例えば、電波を飛ばして障害物等を検知するミリ波レーダが用いられており、当該ミリ波レーダが車両１のフロントバンパやリアバンパに取り付けられ、車両１の前方監視、車両１の前側方監視、車両１の後側方監視ができるようになっている。そして、監視情報が制御部１１０に入力されて、制御部１１０がＲＡＭに監視情報を記憶する。これにより、制御部１１０は、車両１の前方、車両１の前側方の状況、車両１の後側方の状況をリアルタイムおよび事後的に認識することができる。なお、本実施形態においてはミリ波レーダを用いているが、他のレーダを用いてもよい。例えば、赤外線レーダでもよい。
【0034】
以上のようにして、制御部１１０は、車両１の周辺環境をリアルタイムおよび事後的に認識することができる。これにより、制御部１１０は、車両１の周辺環境の認識に基づいて、第２表示用パネル４０の通常の擬人化キャラクタ画像Ｉ１と、スピーカ１５０とを制御して、車両１の周辺環境の情報をドライバーＨに対して報知することができる。例えば、車両１の前方に落下物があれば、「前方に落下物があります」といった画像および音声による報知ができる。これにより、安全性を向上させることができる。
【0035】
なお、本実施形態においては、周辺環境認識部１２０として、車外撮影用カメラ１２０ａと、レーダ１２０ｂとを挙げたが、一例にすぎず、他のデバイスを用いても勿論よい。
【0036】
（乗員状態認識部１３０）
乗員状態認識部１３０は、ドライバーＨの状態を認識するために設けられている。また、乗員状態認識部１３０は、乗員撮影用カメラ１３０ａと、バイタルセンサ１３０ｂとを備えており、これらのデバイスによってドライバーＨの状態を認識することができるようになっている。
乗員状態認識部１３０は、ドライバーＨの状態を認識するために設けられている。また、乗員状態認識部１３０は、乗員撮影用カメラ１３０ａと、バイタルセンサ１３０ｂとを備えており、これらのデバイスによってドライバーＨの状態を認識することができるようになっている。
【0037】
（乗員撮影用カメラ１３０ａ）
乗員撮影用カメラ１３０ａは、例えば、インストルメントパネル３に取り付けられており、ドライバーＨを撮影できるようになっている。そして、撮影した画像情報が制御部１１０に入力されて、制御部１１０がＲＡＭに画像情報を記憶する。これにより、制御部１１０は、ドライバーＨの状態をリアルタイムおよび事後的に認識することができる。なお、ここでいう、ドライバーＨの状態とは、具体的には、ドライバーＨの目蓋の状態や、瞬きの回数、視線の方向、顔の向きなどが想定される。
乗員撮影用カメラ１３０ａは、例えば、インストルメントパネル３に取り付けられており、ドライバーＨを撮影できるようになっている。そして、撮影した画像情報が制御部１１０に入力されて、制御部１１０がＲＡＭに画像情報を記憶する。これにより、制御部１１０は、ドライバーＨの状態をリアルタイムおよび事後的に認識することができる。なお、ここでいう、ドライバーＨの状態とは、具体的には、ドライバーＨの目蓋の状態や、瞬きの回数、視線の方向、顔の向きなどが想定される。
【0038】
（バイタルセンサ１３０ｂ）
バイタルセンサ１３０ｂは、例えば、ステアリングホイール４のドライバーＨにより把持される部位に取り付けられ、ドライバーＨの心拍数や血圧等のバイタル情報を取得できるようになっている。そして、取得したバイタル情報が制御部１１０に入力されて、制御部１１０がＲＡＭにバイタル情報を記憶する。これにより、制御部１１０は、ドライバーＨの状態をリアルタイムおよび事後的に認識することができる。
バイタルセンサ１３０ｂは、例えば、ステアリングホイール４のドライバーＨにより把持される部位に取り付けられ、ドライバーＨの心拍数や血圧等のバイタル情報を取得できるようになっている。そして、取得したバイタル情報が制御部１１０に入力されて、制御部１１０がＲＡＭにバイタル情報を記憶する。これにより、制御部１１０は、ドライバーＨの状態をリアルタイムおよび事後的に認識することができる。
【0039】
以上のようにして、制御部１１０は、ドライバーＨの状態をリアルタイムおよび事後的に認識することができる。これにより、制御部１１０は、ドライバーＨの状態の認識に基づいて、第２表示用パネル４０の通常の擬人化キャラクタ画像Ｉ１と、スピーカ１５０とを制御して、所定の情報をドライバーＨに対して報知することができる。例えば、「目蓋が下がっておりますが、休憩しませんか？」といった画像および音声による報知や、「いつもより心拍数が速いですが、休憩しませんか？」といった画像および音声による報知ができる。これにより、安全性の向上に繋がる。
【0040】
乗員状態認識部１３０は、乗員撮影用カメラ１３０ａやバイタルセンサ１３０ｂから取得した情報や、マイク１６０から入力した情報に基づいて、ある程度の範囲でドライバーＨの思考感情を認識することができる。例えば、乗員撮影用カメラ１３０ａよりドライバーＨの顔の表情を取得し、バイタルセンサ１３０ｂよりドライバーＨの心拍数や血圧を取得し、マイク１６０より声量や入力内容を取得し、これらの取得した情報からドライバーＨが通常の思考感情にあるか、通常とは異なる思考感情（例えば、驚いている、怒っているなど）にあるかを認識することができる。
【0041】
なお、本実施形態においては、乗員状態認識部１３０として、乗員撮影用カメラ１３０ａと、バイタルセンサ１３０ｂとを挙げたが、一例にすぎず、他のデバイスを用いても勿論よい。
【0042】
（車両状態認識部１４０）
車両状態認識部１４０は、車両１の状態を認識するために設けられている。また、車両状態認識部１４０は、車速センサ１４０ａと、ハンドル角センサ１４０ｂと、アクセルペダルセンサ１４０ｃと、ブレーキペダルセンサ１４０ｄと、Ｇセンサ１４０ｅとを備えており、これらのデバイスによって車両１の状態を認識することができるようになっている。
車両状態認識部１４０は、車両１の状態を認識するために設けられている。また、車両状態認識部１４０は、車速センサ１４０ａと、ハンドル角センサ１４０ｂと、アクセルペダルセンサ１４０ｃと、ブレーキペダルセンサ１４０ｄと、Ｇセンサ１４０ｅとを備えており、これらのデバイスによって車両１の状態を認識することができるようになっている。
【0043】
（車速センサ１４０ａ）
車速センサ１４０ａは、車両１の車速を検出するためのセンサであって、検出された車速が車速信号として制御部１１０に入力されて、制御部１１０がＲＡＭに車速情報を記憶する。これにより、制御部１１０は、車両１の車速をリアルタイムおよび事後的に認識することができる。
車速センサ１４０ａは、車両１の車速を検出するためのセンサであって、検出された車速が車速信号として制御部１１０に入力されて、制御部１１０がＲＡＭに車速情報を記憶する。これにより、制御部１１０は、車両１の車速をリアルタイムおよび事後的に認識することができる。
【0044】
（ハンドル角センサ１４０ｂ）
ハンドル角センサ１４０ｂは、車両１のハンドル角（ステアリングホイール４の角度）を検出するためのセンサであって、検出されたハンドル角が角度信号として制御部１１０に入力されて、制御部１１０がＲＡＭに角度情報を記憶する。これにより、制御部１１０は、車両１のハンドル角（ステアリングホイール４の角度）をリアルタイムおよび事後的に認識することができる。
ハンドル角センサ１４０ｂは、車両１のハンドル角（ステアリングホイール４の角度）を検出するためのセンサであって、検出されたハンドル角が角度信号として制御部１１０に入力されて、制御部１１０がＲＡＭに角度情報を記憶する。これにより、制御部１１０は、車両１のハンドル角（ステアリングホイール４の角度）をリアルタイムおよび事後的に認識することができる。
【0045】
（アクセルペダルセンサ１４０ｃ）
アクセルペダルセンサ１４０ｃは、図示しないアクセルペダルの踏み込み量を検出するためのセンサであって、検出された踏み込み量が踏み込み量信号として制御部１１０に入力されて、制御部１１０がＲＡＭに踏み込み量情報を記憶する。これにより、制御部１１０は、車両１のアクセルペダルの踏み込み量をリアルタイムおよび事後的に認識することができる。
アクセルペダルセンサ１４０ｃは、図示しないアクセルペダルの踏み込み量を検出するためのセンサであって、検出された踏み込み量が踏み込み量信号として制御部１１０に入力されて、制御部１１０がＲＡＭに踏み込み量情報を記憶する。これにより、制御部１１０は、車両１のアクセルペダルの踏み込み量をリアルタイムおよび事後的に認識することができる。
【0046】
（ブレーキペダルセンサ１４０ｄ）
ブレーキペダルセンサ１４０ｄは、図示しないブレーキペダルの踏み込み量を検出するためのセンサであって、検出された踏み込み量が踏み込み量信号として制御部１１０に入力されて、制御部１１０がＲＡＭに踏み込み量情報を記憶する。これにより、制御部１１０は、車両１のブレーキペダルの踏み込み量をリアルタイムおよび事後的に認識することができる。
ブレーキペダルセンサ１４０ｄは、図示しないブレーキペダルの踏み込み量を検出するためのセンサであって、検出された踏み込み量が踏み込み量信号として制御部１１０に入力されて、制御部１１０がＲＡＭに踏み込み量情報を記憶する。これにより、制御部１１０は、車両１のブレーキペダルの踏み込み量をリアルタイムおよび事後的に認識することができる。
【0047】
（Ｇセンサ１４０ｅ）
Ｇセンサ１４０ｅは、車両１の加速度、減速度及び傾斜を検出するためのセンサであって、加速度が検出された場合は加速度量が、減速度が検出された場合は減速度量が、傾斜が検出された場合は傾斜角度量が、それぞれ加速度量信号、減速度量信号、傾斜角度信号として制御部１１０に入力されて、制御部１１０がＲＡＭに加速度情報、減速度情報及び傾斜情報を記憶する。これにより、制御部１１０は、車両１の加速度、減速度及び傾斜をリアルタイムおよび事後的に認識することができる。
Ｇセンサ１４０ｅは、車両１の加速度、減速度及び傾斜を検出するためのセンサであって、加速度が検出された場合は加速度量が、減速度が検出された場合は減速度量が、傾斜が検出された場合は傾斜角度量が、それぞれ加速度量信号、減速度量信号、傾斜角度信号として制御部１１０に入力されて、制御部１１０がＲＡＭに加速度情報、減速度情報及び傾斜情報を記憶する。これにより、制御部１１０は、車両１の加速度、減速度及び傾斜をリアルタイムおよび事後的に認識することができる。
【0048】
以上のようにして、制御部１１０は、車両１の状態をリアルタイムおよび事後的に認識することができる。これにより、制御部１１０は、車両１の状態の認識に基づいて、第２表示用パネル４０の通常の擬人化キャラクタ画像Ｉ１と、スピーカ１５０とを制御して、車両１の状態の情報をドライバーＨに対して報知することができる。例えば、適切な速度で走行していれば、「適切な速度で走行されていますね」といった画像および音声による報知ができる。これにより、安全性の向上に繋がる。
【0049】
なお、本実施形態においては、車両状態認識部１４０として、車速センサ１４０ａと、ハンドル角センサ１４０ｂと、アクセルペダルセンサ１４０ｃと、ブレーキペダルセンサ１４０ｄと、Ｇセンサ１４０ｅとを挙げたが、一例にすぎず、他のデバイスを用いても勿論よい。
【0050】
（スピーカ１５０）
スピーカ１５０は、例えば、インストルメントパネル３に取り付けられており、通常の擬人化キャラクタ画像Ｉ１から発せられるセリフ画像Ｉ２に対応する音声が出力される。なお、スピーカ１５０を設けずに、車両１に内蔵されているオーディオスピーカを用いてもよい。
スピーカ１５０は、例えば、インストルメントパネル３に取り付けられており、通常の擬人化キャラクタ画像Ｉ１から発せられるセリフ画像Ｉ２に対応する音声が出力される。なお、スピーカ１５０を設けずに、車両１に内蔵されているオーディオスピーカを用いてもよい。
【0051】
（マイク１６０）
マイク１６０は、例えば、インストルメントパネル３に取り付けられており、ドライバーＨ、その他乗員から発せられる音声が入力される。
マイク１６０は、例えば、インストルメントパネル３に取り付けられており、ドライバーＨ、その他乗員から発せられる音声が入力される。
【0052】
（記憶部１７０）
記憶部１７０は、上述した各認識部から取得した情報や、ドライバーＨと制御部１１０とで行われた対話等を記憶することが可能である。制御部１１０は、これらの情報を記憶部１７０に蓄積していくことで、ドライバーＨの運転傾向（例えば、どのような運転を行うドライバーであるのか）や、ドライバーＨの趣味嗜好（例えば、どのようなＢＧＭが好みであるのか）等を認識することができる。また、これらを認識することで、ドライバーＨの運転傾向や、ドライバーＨの趣味嗜好に併せた対話を車両用エージェント装置１００側（通常の擬人化キャラクタ画像Ｉ１）から能動的に行うこともできる。
記憶部１７０は、上述した各認識部から取得した情報や、ドライバーＨと制御部１１０とで行われた対話等を記憶することが可能である。制御部１１０は、これらの情報を記憶部１７０に蓄積していくことで、ドライバーＨの運転傾向（例えば、どのような運転を行うドライバーであるのか）や、ドライバーＨの趣味嗜好（例えば、どのようなＢＧＭが好みであるのか）等を認識することができる。また、これらを認識することで、ドライバーＨの運転傾向や、ドライバーＨの趣味嗜好に併せた対話を車両用エージェント装置１００側（通常の擬人化キャラクタ画像Ｉ１）から能動的に行うこともできる。
【0053】
（送受信機１８０）
送受信機１８０は、例えば、車載用の無線ＬＡＮを用いた情報の取得や、衛星測位システムを用いた位置情報の取得などが可能である。制御部１１０は、これら取得した情報や、上述の記憶部１７０に蓄積した情報に基づいて、ドライバーＨの運転傾向や、ドライバーＨの趣味嗜好に併せた対話を車両用エージェント装置１００側（通常の擬人化キャラクタ画像Ｉ１）から能動的に行うこともできる。
送受信機１８０は、例えば、車載用の無線ＬＡＮを用いた情報の取得や、衛星測位システムを用いた位置情報の取得などが可能である。制御部１１０は、これら取得した情報や、上述の記憶部１７０に蓄積した情報に基づいて、ドライバーＨの運転傾向や、ドライバーＨの趣味嗜好に併せた対話を車両用エージェント装置１００側（通常の擬人化キャラクタ画像Ｉ１）から能動的に行うこともできる。
【0054】
次に、上述した受動的なスタイルでの対話、および、能動的なスタイルでの対話や、後述の危険因子が生じた際に行う警告報知等を実現するにあたり、制御部１１０によって行われる制御処理を図４、図５を用いて行う。なお、図４、図５で示す制御フローは制御部１１０のＲＯＭに記憶されており、制御部１１０のＣＰＵがＲＯＭから読み出して各種処理を行う。
【0055】
はじめに、図４は制御部１１０によって行われるメイン処理である。当該メイン処理は、制御部１１０によって所定の周期毎に定期的に行われる処理である。
【0056】
（ステップＳ１０）
ステップＳ１０において、制御部１１０のＣＰＵは、車両状態認識処理を行う。具体的には、車両状態認識部１４０から入力した情報に基づいて、車両１における状態を認識する。そして、車両状態認識処理を終えると、ステップＳ２０に処理を移行する。
ステップＳ１０において、制御部１１０のＣＰＵは、車両状態認識処理を行う。具体的には、車両状態認識部１４０から入力した情報に基づいて、車両１における状態を認識する。そして、車両状態認識処理を終えると、ステップＳ２０に処理を移行する。
【0057】
（ステップＳ２０）
ステップＳ２０において、制御部１１０のＣＰＵは、周辺環境認識処理を行う。具体的には、周辺環境認識部１２０から入力した情報に基づいて、車両１における周辺環境を認識する。そして、周辺環境認識処理を終えると、ステップＳ３０に処理を移行する。
ステップＳ２０において、制御部１１０のＣＰＵは、周辺環境認識処理を行う。具体的には、周辺環境認識部１２０から入力した情報に基づいて、車両１における周辺環境を認識する。そして、周辺環境認識処理を終えると、ステップＳ３０に処理を移行する。
【0058】
（ステップＳ３０）
ステップＳ３０において、制御部１１０のＣＰＵは、乗員状態認識処理を行う。具体的には、乗員状態認識部１３０から入力した情報に基づいて、ドライバーＨの状態を認識する。そして、乗員状態認識処理を終えると、ステップＳ４０に処理を移行する。
ステップＳ３０において、制御部１１０のＣＰＵは、乗員状態認識処理を行う。具体的には、乗員状態認識部１３０から入力した情報に基づいて、ドライバーＨの状態を認識する。そして、乗員状態認識処理を終えると、ステップＳ４０に処理を移行する。
【0059】
（ステップＳ４０）
ステップＳ４０において、制御部１１０のＣＰＵは、危険因子抽出処理を行う。具体的には、ステップＳ１０～ステップＳ３０にて各種情報を認識した結果、危険因子が含まれているかを抽出する処理を行う。
ステップＳ４０において、制御部１１０のＣＰＵは、危険因子抽出処理を行う。具体的には、ステップＳ１０～ステップＳ３０にて各種情報を認識した結果、危険因子が含まれているかを抽出する処理を行う。
【0060】
ここで、本実施形態における「危険因子」とは、車両事故が起こり得る危険因子を意味し、自己の車両から他の車両・障害物までの接近した近接距離等、ドライバーＨの運転内容（ハンドルのきりすぎ、急発進、急ブレーキ、逆走等）、ドライバーＨの眠気推定値や運転ストレス値（目蓋の状態や、瞬きの回数、視線の方向、顔の向き、心拍数、血圧等）が挙げられる。
【0061】
各認識部から取得する各情報には、所定の閾値を設けており、取得した各情報が所定の閾値を超えている場合に、危険因子が含まれていると判断する。周辺環境認識部１２０による認識であれば、例えば、前方車との車間距離が１０ｍ未満となると、所定の閾値を超え、危険因子が含まれていると判断される。また、乗員状態認識部１３０による認識であれば、例えば、時間当たりのドライバーＨの瞬きの回数が所定回数を満たしていないと、所定の閾値を超え、危険因子が含まれていると判断される。また、車両状態認識部１４０による認識であれば、例えば、加速度量が一定値を超えると所定の閾値を超え、危険因子が含まれていると判断される。そして、危険因子抽出処理を終えると、ステップＳ５０に処理を移行する。
【0062】
（ステップＳ５０）
ステップＳ５０において、制御部１１０のＣＰＵは、特定の状況であるか、を判定する。なお、特定の状況とは、各認識部から取得した情報が、所定の閾値を超え、危険因子が含まれている状況をいう。すなわち、ステップＳ４０で危険因子抽出処理を行った結果、危険因子が含まれているかを判定する。そして、特定の状況であると判定した場合は、ステップＳ６０に処理を移行し、特定の状況ではないと判定した場合は、ステップＳ７０に処理を移行する。
ステップＳ５０において、制御部１１０のＣＰＵは、特定の状況であるか、を判定する。なお、特定の状況とは、各認識部から取得した情報が、所定の閾値を超え、危険因子が含まれている状況をいう。すなわち、ステップＳ４０で危険因子抽出処理を行った結果、危険因子が含まれているかを判定する。そして、特定の状況であると判定した場合は、ステップＳ６０に処理を移行し、特定の状況ではないと判定した場合は、ステップＳ７０に処理を移行する。
【0063】
（ステップＳ６０）
ステップＳ６０において、制御部１１０のＣＰＵは、特定の擬人化キャラクタ（図６（ｂ）で示す擬人化キャラクタ画像Ｉ３）への変更処理を行う。具体的には、制御部１１０のＣＰＵがＲＡＭにおいて、通常の擬人化キャラクタ（図６（ａ）で示す擬人化キャラクタ画像Ｉ１）に対応する識別フラグ「０」に代えて、特定の擬人化キャラクタに対応する識別フラグ「１」をセットする。そして、特定の擬人化キャラクタへの変更処理を終えると、ステップＳ６１に処理を移行する。
ステップＳ６０において、制御部１１０のＣＰＵは、特定の擬人化キャラクタ（図６（ｂ）で示す擬人化キャラクタ画像Ｉ３）への変更処理を行う。具体的には、制御部１１０のＣＰＵがＲＡＭにおいて、通常の擬人化キャラクタ（図６（ａ）で示す擬人化キャラクタ画像Ｉ１）に対応する識別フラグ「０」に代えて、特定の擬人化キャラクタに対応する識別フラグ「１」をセットする。そして、特定の擬人化キャラクタへの変更処理を終えると、ステップＳ６１に処理を移行する。
【0064】
なお、上述のステップＳ４０で抽出される危険因子は複数種類想定され、危険因子は種類に応じて危険度合いが相違するものであるが、いずれの危険因子が抽出された場合でも、ステップＳ６０で変更される特定の擬人化キャラクタは単一のキャラクタ（図６（ｂ－１）等参照）であることが望ましい。これにより、危険因子の内容や危険度合いによって警告報知を行うキャラクタが変化するものではなく、単一のキャラクタとすることで、警告報知を行うキャラクタが表示された場合には、何かしらの危険因子が生じている、とドライバーＨに強く認識させることができる。
【0065】
（ステップＳ６１）
ステップＳ６１において、制御部１１０のＣＰＵは、危険因子の危険度合いの相違に応じて、サポート報知を行うキャラクタ及び報知内容を決定するサポート報知態様作成処理を行う。具体的には、危険因子の危険度合いが低いものは、通常の擬人化キャラクタを決定して、その危険因子を解消するための報知内容の出力データを作成し、危険因子の危険度合いが高いものは、特定の擬人化キャラクタを決定して、その危険因子を解消するための報知内容の出力データを作成する。そして、サポート報知態様作成処理を終えると、ステップＳ７０に処理を移行する。このように、サポート報知（図６（ｃ）、図７（ｃ）参照）を行う場面では、危険度合いの相違に応じて、サポート報知を行うキャラクタを異ならせるようにしている。
ステップＳ６１において、制御部１１０のＣＰＵは、危険因子の危険度合いの相違に応じて、サポート報知を行うキャラクタ及び報知内容を決定するサポート報知態様作成処理を行う。具体的には、危険因子の危険度合いが低いものは、通常の擬人化キャラクタを決定して、その危険因子を解消するための報知内容の出力データを作成し、危険因子の危険度合いが高いものは、特定の擬人化キャラクタを決定して、その危険因子を解消するための報知内容の出力データを作成する。そして、サポート報知態様作成処理を終えると、ステップＳ７０に処理を移行する。このように、サポート報知（図６（ｃ）、図７（ｃ）参照）を行う場面では、危険度合いの相違に応じて、サポート報知を行うキャラクタを異ならせるようにしている。
【0066】
（ステップＳ７０）
ステップＳ７０において、制御部１１０のＣＰＵは、特定の状況なしか、を判定する。具体的には、ステップＳ４０で危険因子を抽出した結果、危険因子が抽出されなかったか、すなわち、特定の状況になかったかを判定する。そして、特定の状況になかったと判定した場合は、ステップＳ８０に処理を移行し、特定の状況にあったと判定した場合は、ステップＳ１００に処理を移行する。
ステップＳ７０において、制御部１１０のＣＰＵは、特定の状況なしか、を判定する。具体的には、ステップＳ４０で危険因子を抽出した結果、危険因子が抽出されなかったか、すなわち、特定の状況になかったかを判定する。そして、特定の状況になかったと判定した場合は、ステップＳ８０に処理を移行し、特定の状況にあったと判定した場合は、ステップＳ１００に処理を移行する。
【0067】
（ステップＳ８０）
ステップＳ８０において、制御部１１０のＣＰＵは、特定の擬人化キャラクタをセット中であるか、を判定する。具体的には、ＲＡＭの識別フラグを参照して、「０」がセットされていれば、通常の擬人化キャラクタをセット中であると認識し、「１」がセットされていれば、特定の擬人化キャラクタをセット中であると認識する。すなわち、当該処理においては、ＲＡＭの識別フラグに「１」がセットされているかを判定する。そして、特定の擬人化キャラクタをセット中であると判定した場合は、ステップＳ９０に処理を移行し、特定の擬人化キャラクタをセット中ではないと判定した場合は、ステップＳ１００に処理を移行する。
ステップＳ８０において、制御部１１０のＣＰＵは、特定の擬人化キャラクタをセット中であるか、を判定する。具体的には、ＲＡＭの識別フラグを参照して、「０」がセットされていれば、通常の擬人化キャラクタをセット中であると認識し、「１」がセットされていれば、特定の擬人化キャラクタをセット中であると認識する。すなわち、当該処理においては、ＲＡＭの識別フラグに「１」がセットされているかを判定する。そして、特定の擬人化キャラクタをセット中であると判定した場合は、ステップＳ９０に処理を移行し、特定の擬人化キャラクタをセット中ではないと判定した場合は、ステップＳ１００に処理を移行する。
【0068】
（ステップＳ９０）
ステップＳ９０において、制御部１１０のＣＰＵは、通常の擬人化されたキャラクタへの変更処理を行う。具体的には、ＲＡＭの識別フラグ「１」に代えて、「０」をセットする。このように、危険因子が抽出されなかった場合は、特定の擬人化キャラクタから通常の擬人化キャラクタに変更する。これにより、乗員から会話入力が行われた場合に、車両用エージェント装置１００側から応答することが可能となる。そして、通常の擬人化されたキャラクタへの変更処理を終えると、ステップＳ１００に処理を移行する。
ステップＳ９０において、制御部１１０のＣＰＵは、通常の擬人化されたキャラクタへの変更処理を行う。具体的には、ＲＡＭの識別フラグ「１」に代えて、「０」をセットする。このように、危険因子が抽出されなかった場合は、特定の擬人化キャラクタから通常の擬人化キャラクタに変更する。これにより、乗員から会話入力が行われた場合に、車両用エージェント装置１００側から応答することが可能となる。そして、通常の擬人化されたキャラクタへの変更処理を終えると、ステップＳ１００に処理を移行する。
【0069】
（ステップＳ１００）
ステップＳ１００において、制御部１１０のＣＰＵは、報知制御処理を行う。なお、報知制御処理は、後に図５を用いて詳述する。そして、報知制御処理を終えると、メイン処理を終了する。
ステップＳ１００において、制御部１１０のＣＰＵは、報知制御処理を行う。なお、報知制御処理は、後に図５を用いて詳述する。そして、報知制御処理を終えると、メイン処理を終了する。
【0070】
【0071】
（ステップＳ１０１）
ステップＳ１０１において、制御部１１０のＣＰＵは、特定の擬人化キャラクタをセット中であるか、を判定する。具体的には、ＲＡＭの識別フラグを参照して、「１」がセットされているかを判定する。そして、特定の擬人化キャラクタをセット中であると判定した場合は、ステップＳ１０５に処理を移行し、特定の擬人化キャラクタをセット中ではないと判定した場合は、ステップＳ１０２に処理を移行する。
ステップＳ１０１において、制御部１１０のＣＰＵは、特定の擬人化キャラクタをセット中であるか、を判定する。具体的には、ＲＡＭの識別フラグを参照して、「１」がセットされているかを判定する。そして、特定の擬人化キャラクタをセット中であると判定した場合は、ステップＳ１０５に処理を移行し、特定の擬人化キャラクタをセット中ではないと判定した場合は、ステップＳ１０２に処理を移行する。
【0072】
（ステップＳ１０２）
ステップＳ１０２において、制御部１１０のＣＰＵは、自律型対話制御処理を行う。具体的には、上述した車両用エージェント装置１００側から行う、能動的なスタイルでの対話を行うための処理を行う。例えば、ドライバーＨが乗車して、直線道路を走行している状態になったときなどにおいて、通常の擬人化キャラクタ画像Ｉ１から「昨日は、○○様が応援している△△チームが負けてしまいました・・・」などといったことが音声および画像で報知（語りかけ）される。なお、当該語りかけにドライバーＨが応答すれば、話題は継続される（後述のステップＳ１０３～ステップＳ１０６）。例えば、ドライバーＨがマイク１６０を介して、「今日は、□□選手が出るから勝つよ」などと応答すれば、通常の擬人化キャラクタ画像Ｉ１が「そうですね！□□選手は頼もしいですからね！」などといった双方向での対話が可能である。一方、ドライバーＨが応答しなければ、所定時間後に別の話題を持ち出して、再度、通常の擬人化キャラクタ画像Ｉ１から報知（語りかけ）が行われる。なお、複数回語りかけを行ったものの、ドライバーＨからの応答がない場合は、ドライバーＨが会話を行いたくない状態にあると認識して、語りかけの頻度を下げることもできる。そして、自律型対話制御処理を終えると、ステップＳ１０３に処理を移行する。
ステップＳ１０２において、制御部１１０のＣＰＵは、自律型対話制御処理を行う。具体的には、上述した車両用エージェント装置１００側から行う、能動的なスタイルでの対話を行うための処理を行う。例えば、ドライバーＨが乗車して、直線道路を走行している状態になったときなどにおいて、通常の擬人化キャラクタ画像Ｉ１から「昨日は、○○様が応援している△△チームが負けてしまいました・・・」などといったことが音声および画像で報知（語りかけ）される。なお、当該語りかけにドライバーＨが応答すれば、話題は継続される（後述のステップＳ１０３～ステップＳ１０６）。例えば、ドライバーＨがマイク１６０を介して、「今日は、□□選手が出るから勝つよ」などと応答すれば、通常の擬人化キャラクタ画像Ｉ１が「そうですね！□□選手は頼もしいですからね！」などといった双方向での対話が可能である。一方、ドライバーＨが応答しなければ、所定時間後に別の話題を持ち出して、再度、通常の擬人化キャラクタ画像Ｉ１から報知（語りかけ）が行われる。なお、複数回語りかけを行ったものの、ドライバーＨからの応答がない場合は、ドライバーＨが会話を行いたくない状態にあると認識して、語りかけの頻度を下げることもできる。そして、自律型対話制御処理を終えると、ステップＳ１０３に処理を移行する。
【0073】
（ステップＳ１０３）
ステップＳ１０３において、制御部１１０のＣＰＵは、乗員の会話入力があったかを判定する。具体的には、マイク１６０の入力ポートより音声入力が行われたかを判定する。なお、制御部１１０には、図示しない公知の音声認識部が設けられており、当該音声認識部により、入力された音声（会話の内容）がどのような内容であるのかを判断するようになっている。また、ここでいう乗員とは、ドライバーＨに限らず、他の乗員であってもよい。また、マイク１６０による音声入力に限らず、操作ボタン６０による操作入力によって会話入力ができてもよい。ただし、安全性を鑑みて、ワンタッチ操作での会話入力ができることが好ましい。また、当該処理における乗員の会話入力は、上述した受動的なスタイルでの対話も含む。そして、乗員の会話入力があったと判定した場合は、ステップＳ１０４に処理を移行し、乗員の会話入力がなかったと判定した場合は、ステップＳ１０５に処理を移行する。
ステップＳ１０３において、制御部１１０のＣＰＵは、乗員の会話入力があったかを判定する。具体的には、マイク１６０の入力ポートより音声入力が行われたかを判定する。なお、制御部１１０には、図示しない公知の音声認識部が設けられており、当該音声認識部により、入力された音声（会話の内容）がどのような内容であるのかを判断するようになっている。また、ここでいう乗員とは、ドライバーＨに限らず、他の乗員であってもよい。また、マイク１６０による音声入力に限らず、操作ボタン６０による操作入力によって会話入力ができてもよい。ただし、安全性を鑑みて、ワンタッチ操作での会話入力ができることが好ましい。また、当該処理における乗員の会話入力は、上述した受動的なスタイルでの対話も含む。そして、乗員の会話入力があったと判定した場合は、ステップＳ１０４に処理を移行し、乗員の会話入力がなかったと判定した場合は、ステップＳ１０５に処理を移行する。
【0074】
（ステップＳ１０４）
ステップＳ１０４において、制御部１１０のＣＰＵは、対応する会話内容の応答制御処理を行う。具体的には、上述の音声認識部により、入力された音声（会話の内容）がどのような内容であるのかを判断して、応答内容を決定し、セリフの表示データ、およびセリフの音声データを生成する。そして、対応する会話内容の応答制御処理を終えると、ステップＳ１０５に処理を移行する。
ステップＳ１０４において、制御部１１０のＣＰＵは、対応する会話内容の応答制御処理を行う。具体的には、上述の音声認識部により、入力された音声（会話の内容）がどのような内容であるのかを判断して、応答内容を決定し、セリフの表示データ、およびセリフの音声データを生成する。そして、対応する会話内容の応答制御処理を終えると、ステップＳ１０５に処理を移行する。
【0075】
ここで、特定の擬人化キャラクタをセット中でないと判定した場合には、上記ステップＳ１０２の自律型対話制御処理やステップＳ１０４の応答制御処理が行われるものの、特定の擬人化キャラクタをセット中であると判定した場合には、上記ステップＳ１０２の自律型対話制御処理やステップＳ１０４の応答制御処理が行われない（規制される）ように構成されている。このため、後述の図６（ａ）で示す通常の擬人化キャラクタ画像Ｉ１が表示されている場合は、能動的なスタイルでの会話や乗員が会話した応答が行われるが、後述の図６（ｂ）で示す特定の擬人化キャラクタ画像Ｉ３が表示されている場合は、能動的なスタイルでの会話や乗員が会話した応答も行われないことになる。すなわち、乗員が特定の擬人化キャラクタとはコミュニケーションが不能に構成されている。これにより、乗員は、特定の擬人化キャラクタ画像Ｉ３を、通常の擬人化キャラクタ画像Ｉ１とは異なる特別な画像として認識することになる。
【0076】
（ステップＳ１０５）
ステップＳ１０５において、制御部１１０のＣＰＵは、画像表示処理を行う。具体的には、ステップＳ１０２において決定されたセリフの表示データや、ステップＳ１０４で生成したセリフの表示データを出力し、第２表示用パネル４０に当該セリフを表示する処理を行う。そして、画像表示処理を終えると、ステップＳ１０６に処理を移行する。
ステップＳ１０５において、制御部１１０のＣＰＵは、画像表示処理を行う。具体的には、ステップＳ１０２において決定されたセリフの表示データや、ステップＳ１０４で生成したセリフの表示データを出力し、第２表示用パネル４０に当該セリフを表示する処理を行う。そして、画像表示処理を終えると、ステップＳ１０６に処理を移行する。
【0077】
（ステップＳ１０６）
ステップＳ１０６において、制御部１１０のＣＰＵは、音出力処理を行う。具体的には、ステップＳ１０２において決定されたセリフの音声データや、ステップＳ１０４で生成したセリフの音声データを出力し、スピーカ１５０より当該セリフを出力する処理を行う。そして、音出力処理を終えると、メイン処理を終了する。以上のような処理によって、上述した車両用エージェント装置１００側から行う、能動的なスタイルでの対話や、受動的なスタイルでの対話や、危険因子が生じた際の警告報知等が実現される。
ステップＳ１０６において、制御部１１０のＣＰＵは、音出力処理を行う。具体的には、ステップＳ１０２において決定されたセリフの音声データや、ステップＳ１０４で生成したセリフの音声データを出力し、スピーカ１５０より当該セリフを出力する処理を行う。そして、音出力処理を終えると、メイン処理を終了する。以上のような処理によって、上述した車両用エージェント装置１００側から行う、能動的なスタイルでの対話や、受動的なスタイルでの対話や、危険因子が生じた際の警告報知等が実現される。
【0078】
次に、図６、図７を用いて、上述した制御処理によって行われる報知例を説明する。なお、図６、図７においては、第２表示用パネル４０の表示画面を表しており、スピーカ１５０は図示を省略しているが、セリフに対応した音声はスピーカ１５０より出力されているものとして説明する。
【0079】
はじめに、通常の擬人化キャラクタ画像Ｉ１は、女性を模したキャラクタ画像であって、当該通常の擬人化キャラクタ画像Ｉ１からは、女性のセリフおよび音声が出力される。一方、特定の擬人化キャラクタ画像Ｉ３は、男性を模したキャラクタ画像であって、当該特定の擬人化キャラクタ画像Ｉ３からは、男性のセリフおよび音声が出力される。そして、危険因子が抽出されていない場合は、第２表示用パネル４０に通常の擬人化キャラクタ画像Ｉ１が表示されており、危険因子が抽出された場合は、第２表示用パネル４０に通常の擬人化キャラクタ画像Ｉ１に代わり特定の擬人化キャラクタ画像Ｉ３が表示されて、当該特定の擬人化キャラクタ画像Ｉ３より、危険因子に係る警告情報を画像および音声により報知するようにしている。以下、具体例を説明する。
【0080】
図６（ａ－１）は、例えば、能動的なスタイルでの対話を示しており、車両用エージェント装置１００側（通常の擬人化キャラクタ画像Ｉ１）から天気の話題に関する語りかけ（セリフ画像Ｉ２）が行われていることを示している。なお、図示では省略するが、図６（ａ－１）の後、ドライバーＨと車両用エージェント装置１００との対話が数回行われている、と仮定している。
【0081】
また、このとき車両１は、図６（ａ－２）に示すように、片側二車線道路の左側車線Ｌを走行しており、左側車線Ｌの適正位置を走行している、と仮定している。
【0082】
そして、図６（ｂ－２）では、ドライバーＨと車両用エージェント装置１００との対話が数回行われている最中に、右側車線Ｒを所定速度以上で走行する後続車Ｂが現われ、相互の距離が所定の閾値を超えた、と仮定している。この場合、制御部１１０は、周辺環境認識部１２０（後続車Ｂの存在、速度等）や、車両状態認識部１４０（車両１の速度等）によって後続車Ｂの急接近を認識（危険因子ありと認識）する。
【0083】
そして、制御部１１０は、後続車Ｂの急接近を認識すると、図６（ｂ－１）で示すように、通常の擬人化キャラクタ画像Ｉ１を消去して、特定の擬人化キャラクタ画像Ｉ３を表示して、当該特定の擬人化キャラクタ画像Ｉ３より、後続車Ｂの急接近を警告報知する警告報知画像Ｉ４および警告報知画像Ｉ４に対応する音声を出力する。これにより、ドライバーＨが車両用エージェント装置１００との対話に夢中になっていても、異なるキャラクタ画像が出現して、そのキャラクタ画像から警告報知が行われるので、警告報知に気づき易くすることができる。
【0084】
そして、図６の事象では、左側車線Ｌの適正位置を走行している、と仮定しているので、制御部１１０は、危険因子（危険度合い）が第１のレベルにあると判断して、図６（ｃ）に示すように、特定の擬人化キャラクタ画像Ｉ３を消去して、通常の擬人化キャラクタ画像Ｉ１を表示して、当該通常の擬人化キャラクタ画像Ｉ１より、現走行車線を保つことを報知するサポート報知画像Ｉ５およびサポート報知画像Ｉ５に対応する音声を出力する（サポート報知を行う）。これにより、危険因子が生じても、危険因子にその後どう対応すればよいか、といったことをドライバーＨに認識させることができるので、安全性の向上に寄与できる。
【0085】
次に、図７は、図６とは別の事象が生じた際の報知例を示しており、図７（ａ－１）は、図６（ａ－１）と同様に、車両用エージェント装置１００側（通常の擬人化キャラクタ画像Ｉ１）から天気の話題に関する語りかけ（セリフ画像Ｉ２）が行われ、その後、ドライバーＨと車両用エージェント装置１００との対話が数回行われている、と仮定している。
【0086】
そして、図７（ｂ－２）では、ドライバーＨが車両用エージェント装置１００との対話に夢中になるあまり、車両１が分離線Ｃ上（適正ではない位置）を走行し、その際に右側車線Ｒを所定速度以上で走行する後続車Ｂが現われ、相互の距離が所定の閾値を超えた、と仮定している。この場合、制御部１１０は、周辺環境認識部１２０（車両１の走行位置、後続車Ｂの存在、速度等）や、車両状態認識部１４０（車両１の速度等）によって、後続車Ｂの急接近と、車両１の走行位置が適正でないことを認識（危険因子ありと認識）する。
【0087】
そして、制御部１１０は、後続車Ｂの急接近と、車両１の走行位置が適正でないことを認識すると、図７（ｂ－１）で示すように、通常の擬人化キャラクタ画像Ｉ１を消去して、特定の擬人化キャラクタ画像Ｉ３を表示して、当該特定の擬人化キャラクタ画像Ｉ３より、後続車Ｂの急接近を警告報知する警告報知画像Ｉ４および警告報知画像Ｉ４に対応する音声を出力する。これにより、図６（ｂ－１）で述べた効果と同様の効果が得られる。
【0088】
そして、図７の事象では、車両１が分離線Ｃ上（適正ではない位置）を走行している、と仮定しているので、制御部１１０は、危険因子（危険度合い）が上述の第１のレベルよりも高い第２のレベルにあると判断して、図７（ｃ）に示すように、特定の擬人化キャラクタ画像Ｉ３の表示を維持して、当該特定の擬人化キャラクタ画像Ｉ３より、左側車線Ｌ側に寄った方がよいことを報知するサポート報知画像Ｉ６およびサポート報知画像Ｉ６に対応する音声を出力する（サポート報知を行う）。このように、危険因子（危険度合い）が高い場合は、特定の擬人化キャラクタ画像Ｉ３の表示を維持して、当該特定の擬人化キャラクタ画像Ｉ３より、危険因子にその後どう対応すればよいか、というサポート報知を行うことで、ドライバーＨに危険因子への対応を強く認識させることができる。これにより、速やかに危険因子への対応を行わせることも可能となるので、安全性の向上に寄与できる。
【0089】
（変形例）
以下に、想定される変形例を追記する。
以下に、想定される変形例を追記する。
【0090】
上記実施形態においては、第２表示用パネル４０を第１表示用パネル３０と別個に設けて、当該第２表示用パネル４０に通常の擬人化キャラクタ画像Ｉ１等を表示したが、第２表示用パネル４０は設けずに、第１表示用パネル３０に通常の擬人化キャラクタ画像Ｉ１等を表示するようにしてもよい。
【0091】
また、第２表示用パネル４０は設けずに、第３表示用パネル（カーナビゲーションシステムを担う表示装置）に通常の擬人化キャラクタ画像Ｉ１等を表示するようにしてもよい。
【0092】
また、第２表示用パネル４０に代えて、例えば、フロントガラスに情報を投影するヘッドアップディスプレイを用いて、フロントガラスに通常の擬人化キャラクタ画像Ｉ１等を表示してもよい。
【0093】
また、通常の擬人化キャラクタ画像Ｉ１等は表示せずに、スピーカ１５０と、マイク１６０とを用いて、音のみで対話を行うようにしてもよい。
【0094】
また、危険因子の内容や危険度合いによって警告報知を行う特定の擬人化キャラクタが変化するものではなく、単一のキャラクタとしたが、これに限られず、危険因子の内容や危険度合いによって警告報知を行う特定の擬人化キャラクタを変化させてもよい。
【0095】
また、危険度合いによってサポート報知を行うキャラクタを異ならせるとしたが、警告報知を行った特定の擬人化キャラクタにそのままサポート報知を行わせてもよいし、サポート報知を行わせなくてもよい。
【0096】
また、特定の擬人化キャラクタ画像Ｉ３から発せられるセリフの出力音量は、通常の擬人化キャラクタ画像Ｉ１から発せられるセリフの出力音量と同じ出力値であってもよいし、通常の擬人化キャラクタ画像Ｉ１から発せられるセリフの出力音量より大きくしてもよい。特に、通常の擬人化キャラクタ画像Ｉ１から発せられるセリフの出力音量より大きくする場合は、警告報知に気づきやすくすることができる。
【0097】
また、操作ボタン６０による音量値の調整は、通常の擬人化キャラクタ画像Ｉ１から発せられるセリフのみ反映されるようにしてもよい。例えば、通常の擬人化キャラクタ画像Ｉ１から発せられるセリフは、「０～９」の範囲の音量値で調整可能であるが、特定の擬人化キャラクタ画像Ｉ３から発せられるセリフは、調整不能であって、常に「１０」の音量値で出力されてもよい。このように構成しても、警告報知に気づきやすくすることができる。
【0098】
また、第２表示用パネル４０に表示される通常の擬人化キャラクタ画像Ｉ１の大きさと、特定の擬人化キャラクタ画像Ｉ３の大きさは、略同一であってもよいし、特定の擬人化キャラクタ画像Ｉ３の方が大きく表示されてもよい。このように構成しても、警告報知に気づきやすくすることができる。
【0099】
また、危険因子が発生して警告報知を行うときにＢＧＭが出力されている場合は、ＢＧＭを停止して、警告報知を行うようにしてもよい。このように構成しても、警告報知に気づきやすくすることができる。
【0100】
また、特定の擬人化キャラクタをセット中である場合、自律型対話制御処理や応答制御処理が行われないように構成したが、自律型対話制御処理のみが行われないように構成してもよいし、応答制御処理のみ行われないように構成してもよい。さらには、自律型対話制御処理と応答制御処理との両方が行われ、特定の擬人化キャラクタとも双方向でのコミュニケーションを可能としてよい。
【0101】
また、周辺環境認識部１２０、乗員状態認識部１３０、車両状態認識部１４０を設けて、いずれもの認識部から情報を取得し、認識するようにしたが、いずれか１の認識部のみを設けても本発明を実現できるし、いずれか２の認識部を設けても本発明を実現できる。
【0102】
例えば、周辺環境認識部１２０のみを設ける場合は、車外撮影用カメラ１２０ａや、レーダ１２０ｂを用いて、車両１の半径１００ｍ圏内に緊急車両を認識したら、所定の閾値を超えたと判定して、特定の擬人化キャラクタ画像Ｉ３に緊急車両の存在を示す警告報知を行わせればよい。
【0103】
また、例えば、乗員状態認識部１３０のみを設ける場合は、乗員撮影用カメラ１３０ａを用いて、乗員の瞬きの回数等を測定し、さらに測定した値が所定の閾値を超えたかどうかを判定し、超えた場合には、特定の擬人化キャラクタ画像Ｉ３に眠気を防ぐ警告報知を行わせればよい。
【0104】
また、例えば、車両状態認識部１４０のみを設ける場合は、車速センサ１４０ａや、ブレーキペダルセンサ１４０ｄを用いて、図示しないサイドブレーキのセンサがＯＮ（サイドブレーキがかかっている状態）であるにも関わらず、車速センサ１４０ａが車速を検出したら、所定の閾値を超えたと判定して、特定の擬人化キャラクタ画像Ｉ３にサイドブレーキがかかっている状態であることを示す警告報知を行わせればよい。
【0105】
（対応関係について）
本実施形態において、制御部１１０は、本発明の、キャラクタを制御するエージェント制御手段を構成する。
本実施形態において、制御部１１０は、本発明の、キャラクタを制御するエージェント制御手段を構成する。
【0106】
また、本実施形態において、周辺環境認識部１２０、乗員状態認識部１３０、車両状態認識部１４０は、本発明の、車両の運転若しくは周辺環境の状況、又は乗員の身体若しくは思考の状況の少なくともいずれかの状況を取得する状況取得手段を構成する。
【0107】
また、本実施形態において、制御部１１０は、本発明の、状況取得手段により取得された状況が特定の状況に相当するかを識別する識別手段を構成する。
【0108】
また、本実施形態において、通常の擬人化キャラクタ画像Ｉ１は、本発明の、視覚または聴覚的に擬人化された通常の擬人化キャラクタを構成する。
【0109】
また、本実施形態において、特定の擬人化キャラクタ画像Ｉ３は、本発明の、特定の擬人化キャラクタを構成する。
【0110】
また、本実施形態において、警告報知画像Ｉ４および対応する音声は、本発明の、特定の状況に係る警告報知を構成する。
【0111】
また、本実施形態において、乗員の会話入力があった場合に対応する会話内容の応答制御処理を行う制御部１１０は、本発明の、キャラクタと乗員との双方向のコミュニケーションの制御手段としての他律型会話制御手段を構成する。
【0112】
また、本実施形態において、乗員からの会話入力の有無に関わらず、自律的対話制御処理を行う制御部１１０は、本発明の、キャラクタと乗員との双方向のコミュニケーションの制御手段としての自律型会話制御手段を構成する。
【0113】
また、本実施形態において、ドライバーＨの運転傾向や、ドライバーＨの趣味嗜好は、本発明の、所定の乗員情報を構成する。
【0114】
また、本実施形態において、サポート報知画像Ｉ５および対応する音声と、サポート報知画像Ｉ６および対応する音声は、本発明の、特定の状況に係る警告報知のサポート報知を構成する。
【符号の説明】
【0115】
１：車両、４０：第２表示用パネル、１１０：制御部、１２０：周辺環境認識部、１３０：乗員状態認識部、１４０：車両状態認識部、１５０：スピーカ、１６０：マイク
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
