(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-10-23
(45)【発行日】2023-10-31
(54)【発明の名称】車両用情報処理装置及び方法
(51)【国際特許分類】
G01C 21/26 20060101AFI20231024BHJP
G08G 1/00 20060101ALI20231024BHJP
G08G 1/16 20060101ALI20231024BHJP
【ＦＩ】
G01C21/26 C
G08G1/00 D
G08G1/16 F
【請求項の数】
10
(21)【出願番号】P 2021546490
(86)(22)【出願日】2019-09-16
(86)【国際出願番号】 IB2019001129
(87)【国際公開番号】W WO2021053365
(87)【国際公開日】2021-03-25
【審査請求日】2022-02-24
(73)【特許権者】
【識別番号】000003997
【氏名又は名称】日産自動車株式会社
(74)【代理人】
【識別番号】110000486
【氏名又は名称】弁理士法人とこしえ特許事務所
(72)【発明者】
【氏名】草柳 佳紀
(72)【発明者】
【氏名】柳 拓良
【審査官】藤村 泰智
(56)【参考文献】
【文献】特表２０１７－５１５１０１（ＪＰ，Ａ）
【文献】独国特許出願公開第１０２００８０２１１８３（ＤＥ，Ａ１）
【文献】特開２０１０－０４９３４９（ＪＰ，Ａ）
【文献】特開２００５－０７７３８１（ＪＰ，Ａ）
【文献】特開２００３－０９７９６７（ＪＰ，Ａ）
【文献】特開２０１０－２０４０７０（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｃ ２１／２６ ～ ２１／３６
Ｇ０８Ｇ １／００ ～ １／１６
(57)【特許請求の範囲】
【請求項1】
車両の乗員を識別するための識別データを入力する識別データ入力部と、前記乗員の嗜好に関する嗜好データを前記識別データと関連付けて記憶する嗜好データ記憶部と、
前記車両に搭乗した乗員の周辺に存在するオブジェクトデータを取得するオブジェクト取得部と、
前記オブジェクトデータに含まれるオブジェクトが、前記車両に搭乗した乗員の視覚又は聴覚により認識可能か否かを判定する判定部と、
前記オブジェクトデータに含まれるオブジェクトのうち前記乗員の嗜好データと関連のあるオブジェクトに基づいて、前記車両に搭乗した乗員に対する通知データを生成する通知データ生成部と、を備える車両用情報処理装置において、
前記通知データ生成部は、
前記判定部により乗員が認識可能と判定されたオブジェクトが存在する場合、当該認識可能なオブジェクトに関する情報を通知データとして、前記オブジェクトデータに含まれるオブジェクトのうち前記認識可能なオブジェクト以外のオブジェクトに関する情報に対して優先的に生成する車両用情報処理装置。
【請求項2】
前記通知データ生成部は、前記車両に搭乗した乗員の嗜好データが前記嗜好データ記憶部に記憶されているか否か、もしくは前記嗜好データ記憶部に記憶された嗜好データが所定の条件を満たすか否かと、
前記判定部により乗員が認識可能と判定されたオブジェクトが存在するか否か、に応じて、生成する通知データを決定する請求項１に記載の車両用情報処理装置。
【請求項3】
前記通知データ生成部は、前記車両に搭乗した乗員の嗜好データが前記嗜好データ記憶部に記憶されていない場合、又は、前記嗜好データ記憶部に記憶された嗜好データが所定条件を満たさない場合、前記嗜好データを通知データとすることなく、前記認識可能なオブジェクトに関する情報を通知データとして生成する請求項１又は２に記載の車両用情報処理装置。
【請求項4】
前記通知データ生成部は、前記嗜好データ記憶部に前記車両に搭乗した乗員の嗜好データが記憶され、かつ、前記判定部により乗員が認識可能と判定されたオブジェクトが存在する場合、前記判定部により乗員が認識可能と判定されたオブジェクトのうち、前記乗員の嗜好データと関連のあるオブジェクトに関する情報を通知データとして生成する請求項１～３のいずれか一項に記載の車両用情報処理装置。
【請求項5】
前記乗員が当該車両用情報処理装置を利用した実績を検知する利用実績検知部をさらに備え、前記利用実績検知部は、前記乗員が当該車両用情報処理装置を利用した時間又は頻度に応じた利用実績値を演算し、
前記通知データ生成部は、前記乗員の利用実績値の大小に応じて、生成する通知データを決定する請求項１～４のいずれか一項に記載の車両用情報処理装置。
【請求項6】
前記通知データ生成部は、前記利用実績検知部により検知された、前記車両に搭乗した乗員の利用実績値が、所定値未満の場合、当該乗員の嗜好データを通知データとすることなく、前記認識可能なオブジェクトに関する情報を通知データとして生成する請求項５に記載の車両用情報処理装置。
【請求項7】
前記通知データ生成部は、前記利用実績検知部により検知された、前記車両に搭乗した乗員の利用実績値が、所定値以上である場合、当該乗員の嗜好データと前記認識可能と判定されたオブジェクトとに基づいて、前記通知データを生成する請求項５又は６に記載の車両用情報処理装置。
【請求項8】
前記オブジェクトデータに含まれるオブジェクトは、車載撮像装置により撮像された車外の画像データに基づいて特定された、建築物、店舗、車両、歩行者、交差点のいずれかである請求項１～７のいずれか一項に記載の車両用情報処理装置。
【請求項9】
前記車両に搭乗した乗員に対し、前記認識可能と判定されたオブジェクトとして生成される通知データは、前記乗員が搭乗した車両からの相対的な位置又は距離に関する情報を含む請求項１～８のいずれか一項に記載の車両用情報処理装置。
【請求項10】
プログラムにより動作するコンピュータを用いて車両用情報を処理する方法であって、前記コンピュータは、
車両の乗員を識別するための識別データを入力し、
前記乗員の嗜好に関する嗜好データを前記識別データと関連付けて記憶し、
前記車両に搭乗した乗員の周辺に存在するオブジェクトデータを取得し、
前記オブジェクトデータに含まれるオブジェクトが、前記車両に搭乗した乗員の視覚又は聴覚により認識可能か否かを判定し、
オブジェクトデータに含まれるオブジェクトのうち前記乗員の嗜好データと関連のあるオブジェクトに基づいて、前記車両に搭乗した乗員に対する通知データを生成する車両用情報処理方法において、
前記乗員が認識可能と判定されたオブジェクトが存在する場合、当該認識可能なオブジェクトに関する情報を通知データとして、前記オブジェクトデータに含まれるオブジェクトのうち前記認識可能なオブジェクト以外のオブジェクトに関する情報に対して優先的に生成する車両用情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両用情報処理装置及び方法に関するものである。
【背景技術】
【0002】
車載ディスプレイに表示されたキャラクタが、運転者とのコミュニケーションを図ることにより、運転を支援する運転支援システムが提案されている。たとえば、ユーザによる車両の運転状態に応じて特定される親密度に基づいて決定された表現態様で、キャラクタ情報を出力する運転支援システムであって、親密度が所定の閾値未満である場合には、キャラクタ情報を第１出力部から出力し、親密度が所定の閾値以上である場合、第１出力部および第２出力部からキャラクタ情報を出力するシステムが知られている（特許文献１）。
【先行技術文献】
【特許文献】
【0003】
【文献】特許第５９６６１２１号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記従来技術は、走行距離などにより定まる親密度に応じて、出力するキャラクタ情報が変更される。しかしながら、上記従来技術では、個々のユーザの嗜好やユーザの周辺環境の観点から、ユーザに適したコンテンツを提供することはできない。そのため、より一層興味が湧く情報を提供することができないという問題がある。
【0005】
本発明が解決しようとする課題は、より一層興味が湧く情報を提供することができる車両用情報処理装置及び方法を提供することである。
【課題を解決するための手段】
【0006】
本発明は、嗜好データ記憶部に記憶された、識別データに関連付けられた乗員の嗜好データと、車両に搭乗した乗員の周辺に存在するオブジェクトデータのうち乗員が認識可能と判定されたオブジェクトに基づき、乗員が認識可能なオブジェクトに関する情報を、前記オブジェクトデータに含まれるオブジェクトのうち前記認識可能なオブジェクト以外のオブジェクトに関する情報に対して優先的に、通知データとして生成することによって、上記課題を解決する。
【発明の効果】
【0007】
本発明によれば、乗員の嗜好データと乗員は視認可能なオブジェクトデータとに基づくので、車両の乗員に対し、より一層興味が湧く情報を提供することができる。
【図面の簡単な説明】
【0008】
【発明を実施するための形態】
【0009】
以下、本発明の実施形態を図面に基づいて説明する。図１Ａは、本発明に係る車両用情報処理装置１を適用した車両の実施形態を示すハードウェア構成図、図１Ｂは、同じく車両用情報処理装置１の実施形態を示す機能ブロック図である。本実施形態の車両用情報処理装置１は、運転者及び同乗者（以下、これら運転者及び同乗者を車両の乗員又は単に乗員とも称する。）に対し、音声，画像，キャラクタロボットの動作及びこれらの組み合わせの媒体を介して、情報を提供し、又は乗員との間で会話する装置である。
【0010】
本発明に係る車両用情報処理装置１を適用した車両１００は、図１Ａに示すように、センサ群１１０と、周囲検出装置１２０と、ナビゲーション装置１３０と、外部情報取得装置１４０と、駆動装置１５０と、室内カメラ１６０と、室内マイク１７０と、スピーカ１８０と、コントローラ１９０と、を備える。これらの装置は、相互に情報の授受を行うためにＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）その他の車載ＬＡＮによって接続されている。なお、本実施形態に係る車両１００は、コントローラ１９０を備える。
【0011】
本実施形態の車両１００としては、電動モータを駆動源として備える電気自動車、内燃機関を駆動源として備えるエンジン自動車、電動モータ及び内燃機関の両方を駆動源として備えるハイブリッド自動車を例示できる。なお、電動モータを駆動源とする電気自動車やハイブリッド自動車には、二次電池を電動モータの電源とするタイプや燃料電池を電動モータの電源とするタイプのものも含まれる。
【0012】
センサ群１１０は、車両の走行状態を検出する装置で構成されている。具体的には、本実施形態のセンサ群１１０は、車速センサ１１１、エンジン回転数センサ１１２、アクセル開度センサ１１３、ブレーキ開度センサ１１４、操舵角センサ１１５、シフトレバーセンサ１１６を含む。
【0013】
周囲検出装置１２０は、車両１００の周辺に存在する対象物を検出する。周囲検出装置１２０としては、車載カメラ１２１、レーダ１２２が挙げられる。車載カメラ１２１は、車両１００の周辺を撮像する。車載カメラ１２１は、例えば、車両１００の前方を撮像する前方カメラ、車両１００の後方を撮像する後方カメラ、車両１００の側方を撮像する側方カメラで構成される。レーダ１２２は、車両１００の周辺に存在する障害物を検出する。レーダ１２２は、例えば、車両１００の前方に存在する障害物を検出する前方レーダ、車両１００の後方に存在する障害物を検出する後方レーダ、車両１００の側方に存在する障害物を検出する側方レーダで構成される。レーダ１２２は、車両１００から障害物までの距離及び障害物が存在する方向を検出する。
【0014】
周囲検出装置１２０が検出する対象物としては、歩行者、自転車、バイク、自動車、路上障害物、交通信号機、路面標示、および横断歩道などが挙げられる。なお、周囲検出装置１２０として、上述した車載カメラ１２１、レーダ１２２のうちいずれか１つを用いる構成としてもよいし、２種類以上を組み合わせる構成としてもよい。周囲検出装置１２０は、撮像した情報や検出結果を、周辺情報としてコントローラ１９０に出力する。
【0015】
ナビゲーション装置１３０は、ＧＰＳ１３１により検出された車両１００の位置情報に基づいて、車両１００の現在位置から目的地までの経路を示して運転者を誘導する。ナビゲーション装置１３０は、地図情報を有しており、車両１００の位置情報と目的地の位置情報から、車両１００の走行経路を算出する。ナビゲーション装置１３０は、車両１００の位置情報及び車両１００の走行経路の情報をコントローラ１９０に出力する。車両１００の走行経路には、実際に車両１００が走行した経路及びこれから車両１００が走行する予定の経路が含まれる。
【0016】
外部情報取得装置１４０は、車両１００の外部に存在するネットワークと接続し、車両１００の外部環境の情報を取得する。外部情報取得装置１４０としては、通信回線を介して、所定の周期で、車外のネットワークから各種情報を取得する装置が挙げられる。例えば、外部情報取得装置１４０は、ＶＩＣＳ（登録商標）システムから、道路渋滞情報、道路工事情報、事故情報を取得する。また、例えば、外部情報取得装置１４０は、外部サーバから天気情報を取得する。外部情報取得装置１４０は、車外から取得した情報をコントローラ１９０に出力する。なお、外部情報取得装置１４０は、外部サーバから情報を取得することに限られず、ネットワーク上で必要な情報を検索し、検索結果に応じて、情報を管理するサーバにアクセスすることができる。
【0017】
また、外部情報取得装置１４０は、通信回線を介して外部環境の情報を取得する装置に限られず、例えば、外気温を検出する外気温センサ、湿度を検出する湿度センサ、雨滴を検出する雨滴センサであってもよい。外気温センサは、検出結果として外気温の情報をコントローラ１９０に出力する。湿度センサは、検出結果として湿度の情報をコントローラ１９０に出力する。雨滴センサは、検出結果として雨滴の情報をコントローラ１９０に出力する。
【0018】
駆動装置１５０は、車両１００の駆動機構を備える。駆動機構には、上述した車両１００の走行駆動源である電動モータ及び／又は内燃機関、これら走行駆動源からの出力を駆動輪に伝達するドライブシャフトや自動変速機を含む動力伝達装置、及び車輪を制動する制動装置（不図示）などが含まれる。駆動装置１５０は、運転者のアクセル操作及びブレーキ操作による入力信号、車両コントローラ（不図示）又は走行制御装置（不図示）から取得した制御信号に基づいてこれら駆動機構の各制御信号を生成し、車両の加減速を含む走行制御を実行する。駆動装置１５０に指令情報を送出することにより、車両の加減速を含む走行制御を自動的に行うことができる。なお、ハイブリッド自動車の場合には、車両の走行状態に応じた電動モータと内燃機関とのそれぞれに出力するトルク配分も駆動装置１５０に送出される。
【0019】
本実施形態の車両１００を運転する主体は、駆動装置１５０を制御する主体であり、車両１００の運転者、又は車両コントローラである。車両１００は、運転者の運転操作により、又は車両コントローラよる自律的な運転操作により走行する。例えば、図１Ａには図示されていないが、車両１００には、運転操作の主体を切り替えるための機器（例えば、ボタン形状のスイッチなど）が設置されている。運転者は、このスイッチを切り替えることで、手動による運転操作、又は車両コントローラによる運転操作の切り替えを行うことができる。車両コントローラによる運転操作とは、いわゆる自律運転による運転操作と呼ばれ、自律的に車両を走行させることができる運転操作である。自律運転の技術は、本願出願時に知られた技術を適宜用いることができる。駆動装置１５０は、車両１００を運転している運転主体の情報を、運転主体情報としてコントローラ１９０に出力する。
【0020】
室内カメラ１６０は、車両１００の乗員を撮像可能な位置に設けられ、乗員を撮像する。本実施形態では、室内カメラ１６０は、車両１００の乗員のうち運転者を撮像する。室内カメラ１６０は、運転者の視線を含む運転者の表情や、運転者による運転操作を撮像できる位置に設けるのが好ましい。室内カメラ１６０は、運転者の撮像画像の情報をコントローラ１９０に出力する。
【0021】
室内マイク１７０は、車両１００の乗員の音声情報を取得し、少なくとも一時的に記憶する。本実施形態では、室内マイク１７０は、車両１００の乗員のうち運転者の音声情報を取得する。室内カメラ１６０の設置位置は特に限定されないが、乗員の座席近傍に設けることが好ましい。
【0022】
スピーカ１８０は、車両１００の乗員に音声情報を出力する。本実施形態では、スピーカ１８０は、車両１００の乗員のうち運転者に対して音声情報を出力する。スピーカ１８０の設置位置は特に限定されないが、乗員の座席近傍に設けることが好ましい。
【0023】
コントローラ１９０は、車両１００の乗員の負荷に応じた対話プログラムを用いて、乗員との対話処理を実行するプログラムを格納したＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）と、このＲＯＭに格納されたプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、アクセス可能な記憶装置として機能するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）から構成される。なお、動作回路としては、ＣＰＵに代えて又はこれとともに、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などを用いることができる。コントローラ１９０は、ＲＯＭに格納されたプログラムをＣＰＵにより実行することにより、各種の制御機能を実行する。
【0024】
本実施形態の車両用情報処理装置１は、図１Ａのコントローラ１９０の一部として構築されたものである。本実施形態の車両用情報処理装置１は、各種処理を実行するためのプログラムが格納されたＲＯＭと、このＲＯＭに格納されたプログラムを実行することで、車両用情報処理装置１として機能する動作回路としてのＣＰＵと、アクセス可能な記憶装置として機能するＲＡＭとを備えたコンピュータで構成されている。そして、車両用情報処理装置１は、情報処理プログラムを実行することで発揮される機能構成から見ると、図１Ｂに示すように、識別データ入力部１１と、嗜好データ記憶部１２と、オブジェクト取得部１３と、利用実績検知部１４と、判定部１５と、通知データ生成部１６と、必要に応じて車両情報取得部１７と、を備える。以下、図１Ｂを参照しながら、本実施形態の車両用情報処理装置１の構成を説明する。
【0025】
識別データ入力部１１は、本例の車両用情報処理装置１が適用される車両の乗員を識別するための識別データを入力するインターフェースである。そして、その乗員が、自分の識別データを記憶した端末装置（スマートフォンなどの携帯型コンピュータ）を携帯してその車両に乗ると、その乗員の識別データが、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの短距離無線通信網を介して自動的又は半自動的に読み取られたり、あるいは識別データ入力部１１として設定された入力ボタン（不図示）を用いて乗員がマニュアル入力したりすることで、その乗員の識別データが入力される。また、その車両の無線キーにその乗員の識別データを記憶させ、その無線キーを用いて車両を解錠または始動した際に、その乗員の識別データを識別データ入力部１１に、短距離無線通信網を介して自動的又は半自動的に読み取ってもよい。
【0026】
嗜好データ記憶部１２は、乗員となり得る各人の嗜好に関する嗜好データを識別データと関連付けて記憶するデータベースなどの記憶装置である。嗜好データとは、各乗員が興味を示す趣味その他の事柄データであり、これをたとえばジャンル別に整理したものである。たとえば、Ｘ氏は、スポーツ、食事、ファッションに興味があり、特にスポーツの中でも野球が好きであり、食事の中でもラーメンが好きであるといった嗜好データが記憶されている。こうした嗜好データは、その乗員が自己の嗜好データをマニュアル入力してもよいし、その車両の利用実績から嗜好データを解析してもよい。
【0027】
これに代えて又はこれに加えて、その乗員がコンピュータを用いて閲覧するＷＥＢサイトの閲覧回数を日常的にカウントしたり、クレジットカードを用いて購入した商品をジャンル別にカウントしたりして、その乗員の個人データを嗜好データ記憶部１２に蓄積し、これを解析することで、嗜好データとしてもよい。たとえば、上記Ｘ氏は、日常的にスポーツ、食事、ファッションのジャンルに属するＷＥＢサイトの閲覧回数が、他のジャンルに比べて多いことが嗜好データ記憶部１２に蓄積された場合は、Ｘ氏の嗜好データをスポーツ、食事、ファッションとする。また、Ｘ氏が、クレジットカードを用いて月に２回、野球の観戦チケットを購入していることが嗜好データ記憶部１２に蓄積された場合には、Ｘ氏の嗜好データを、スポーツの中でも特に野球が好きであるとする。
【0028】
オブジェクト取得部１３は、車両に搭乗した乗員の周辺に存在するオブジェクトデータを取得するものである。オブジェクト取得部１３は、車両センサ類２に含まれる、カメラなどの車載撮像装置で撮像した車両周囲の画像データから、特定のオブジェクト（物体）を認識する画像解析処理を実行する。またオブジェクト取得部１３は、車両センサ類２に含まれるＧＰＳ受信機などの自車位置検出装置と、地図データベース３に記憶された地図データとから、特定のオブジェクトを抽出する。オブジェクト取得部１３で特定されるオブジェクトとしては、特に限定されないが、建築物、店舗、車両、歩行者、道路、交差点などが含まれる。また、建築物には、横浜スタジアム（登録商標）、よこはまコスモワールド（登録商標）、横浜赤レンガ倉庫（登録商標）などのランドマークが含まれ、店舗には、飲食店、アパレル店などが含まれ、道路には、首都高速道路横羽線などが含まれる。
【0029】
利用実績検知部１４は、乗員が当該車両用情報処理装置１を利用した実績を検知するものである。利用実績検知部１４で検知されるものとしては、特に限定はされないが、識別データ入力部１１に入力された識別データに基づいて乗員を特定し、その乗員が当該車両用情報処理装置１を利用した時間及び／又は頻度に応じた利用実績値を演算する。利用実績検知部１４で演算された利用実績値は、通知データ生成部１６へ出力され、利用実績値の大小に応じて、生成する通知データが決定される。この詳細は後述する。なお、必要に応じて利用実績検知部１４を省略してもよい。
【0030】
判定部１５は、オブジェクト取得部１３で取得された、オブジェクトデータに含まれるオブジェクトが、車両に搭乗した乗員の視覚又は聴覚により認識可能か否かを判定する。オブジェクト取得部１３は、車載撮像装置で撮像した車両周辺の画像データからオブジェクトを抽出するほか、車両センサ類２に含まれるＧＰＳ受信機などの自車位置検出装置と、地図データベース３に記憶された地図データとから、特定のオブジェクトを抽出する。そのため、抽出されたオブジェクトが、車両の周辺に存在していても、乗員から視覚又は聴覚により認識できない位置関係その他の環境関係にあることも少なくない。車両の周辺に存在していても、乗員から視覚又は聴覚により認識できないオブジェクトに関する情報を乗員に通知しても、却って乗員がストレスを覚えることもあり得るので、判定部１５は、オブジェクト取得部１３で取得されたオブジェクトが、乗員により認識可能か否かを判定し、その結果を通知データ生成部１６へ出力する。
【0031】
判定部１５は、車載撮像装置で撮像した車両周辺の画像データからオブジェクトを抽出した場合には、車載撮像装置により視認できるため、当該オブジェクトは乗員により認識可能と判定する。これに対して、車両センサ類２に含まれるＧＰＳ受信機などの自車位置検出装置と、地図データベース３に記憶された地図データとから、特定のオブジェクトを抽出した場合には、車載撮像装置で撮像した車両周辺の画像データと照合することで、オブジェクト取得部１３で取得されたオブジェクトが、乗員により認識可能か否かを判定する。なお、上述の例においては、視覚又は聴覚により認識可能か否かを判定する例を示したが、これに限定されない。例えば、体で感じることができる振動、揺れや車両の動きに応じた加速度や加速度重力なども認識可能として判断することができる。
【0032】
通知データ生成部１６は、嗜好データ記憶部１２に記憶された、識別データに関連付けられたその乗員の嗜好データと、判定部１５により乗員が認識可能と判定されたオブジェクトとに基づいて、その乗員に対する通知データを生成する。通知データ生成部１６で生成される通知データとは、後述する通知装置６から出力される音声、画像、キャラクタロボットの動作又はこれらの組み合わせである。例えば、嗜好データに「野球」が含まれるユーザに対して音声や文字画像による通知データを生成する場合、「昨夜の横浜・阪神戦は、８対７で横浜が勝ちました。その結果、横浜は首位の巨人に１ゲーム差に迫りました。」と通知する。また、通知データは、乗員に対し、認識可能と判定されたオブジェクトとして生成される場合、乗員が搭乗した車両からの相対的な位置又は距離に関する情報を含んでもよい。たとえば、嗜好データに「パン」が含まれるユーザに対して、車両から所定距離（例えば５０ｍ）に含まれる「パン」に関連するオブジェクトとして「ベーカリー」を検知した場合、通知データ生成部は、「５０ｍ先にベーカリーがあります」と通知データを生成して通知する。
【0033】
本実施形態の通知データ生成部１６は、まず第１に、その乗員の嗜好データが嗜好データ記憶部１２に記憶されているか否か、もしくは嗜好データ記憶部１２に記憶された嗜好データが所定の条件を満たすか否かと、判定部１５によりその乗員が認識可能と判定されたオブジェクトが存在するか否か、に応じて、生成する通知データを決定する。嗜好データ記憶部１２に記憶された嗜好データが所定の条件を満たすというのは、嗜好データ記憶部１２に、その乗員の嗜好を十分に反映する程度の信頼性のある嗜好データが蓄積されているという意味である。
【0034】
より具体的には、通知データ生成部１６は、判定部１５により乗員が認識可能と判定されたオブジェクトが車両の周辺に存在する場合、当該認識可能なオブジェクトに関する情報を通知データとして優先的に生成する。また、通知データ生成部１６は、車両に搭乗した乗員の嗜好データが嗜好データ記憶部１２に記憶されていない場合、又は、嗜好データ記憶部１２に記憶された嗜好データが所定条件を満たさない場合、嗜好データを通知データとすることなく、認識可能なオブジェクトに関する情報を通知データとして生成する。
【0035】
また、通知データ生成部１６は、嗜好データ記憶部１２に車両に搭乗した乗員の嗜好データが記憶され、かつ、判定部１５により乗員が認識可能と判定されたオブジェクトが存在する場合、判定部１５により乗員が認識可能と判定されたオブジェクトのうち、乗員の嗜好データと関連のあるオブジェクトを通知データとして生成する。
【0036】
さらに、通知データ生成部１６は、利用実績検知部１４で検知された利用実績値の大小に応じて、以下のように通知データを生成する。まず、通知データ生成部１６は、利用実績検知部１４により検知された、その車両に搭乗した乗員の利用実績値が、所定値未満の場合、この乗員の嗜好データを通知データとすることなく、認識可能なオブジェクトに関する情報を通知データとして生成する。その車両用情報処理装置１の利用実績値が小さいと、その乗員の嗜好データも十分信頼性があるとは言えないからである。
【0037】
これに対して、通知データ生成部１６は、利用実績検知部１４により検知された、その車両に搭乗した乗員の利用実績値が、所定値よりも大きい場合、当該乗員の嗜好データと、認識可能と判定されたオブジェクトとに基づいて、通知データを生成する。
【0038】
車両センサ類２は、上述した車載撮像装置のほか、車両の周辺の障害物を検出するレーダ装置、ＧＰＳ受信機を含む自車位置検出装置、車両の操舵角を検出する舵角センサ、車両の加速・減速を検出する加減速センサ、車両の室内を撮像する室内カメラなどが含まれる。車両センサ類２で検出した検出信号は、オブジェクト取得部１３と車両情報取得部１７へ出力される。
【0039】
地図データベース３は、たとえば各種施設や特定の地点の位置情報を含む三次元高精度地図情報を格納し、オブジェクト取得部１３及び車両情報取得部１７からアクセス可能とされたメモリである。地図データベース３に格納された三次元高精度地図情報は、データ取得用車両を用いて実際の道路を走行した際に検出された道路形状に基づく三次元地図情報であり、地図情報とともに、カーブ路及びそのカーブの大きさ（たとえば曲率又は曲率半径）、道路の合流地点、分岐地点、料金所、車線数の減少位置、サービスエリア／パーキングエリアなどの詳細かつ高精度の位置情報が、三次元情報として関連付けられた地図情報である。
【0040】
通知装置６は、スピーカ、ディスプレイ又はキャラクタロボットの少なくともいずれかを含み、音声による通知データをスピーカから車内に出力し、文字を含む画像による通知データをディスプレイに表示し、通知データをキャラクタロボットの動作により表現する。なお、キャラクタロボットとは、擬人化された三次元車載ロボットであって、音声又は文字画像とともに顔や手の動作により通知データを表現するものである。二次元の画像をディスプレイに表示したものであってもよい。
【0041】
上述したように、乗員の嗜好データを嗜好データ記憶部１２に記憶する際に、その乗員がコンピュータを用いて閲覧するＷＥＢサイトの閲覧回数を日常的にカウントしたり、クレジットカードを用いて購入した商品をジャンル別にカウントしたりして、その乗員の個人データを嗜好データ記憶部１２に蓄積し、これを解析することで、嗜好データとしてもよい。このような方法で嗜好データを収集する場合には、外部のＷＥＢサイトその他の外部サーバ４からの情報を、インターネットなどの電気通信回線網５及び車両１００の通信部８を介して収集する。
【0042】
次に、本実施形態の車両用情報処理装置１の情報処理手順を説明する。図２Ａ及び図２Ｂは、図１Ｂの車両用情報処理装置１にて実行される情報処理手順を示すフローチャートである。まず、乗員が車両に乗ると、ステップＳ１において、識別データ入力部１１にその乗員の識別データが入力される。識別データ入力部１１は、この識別データとともに、嗜好データ記憶部１２から、その乗員の嗜好データその他の属性を取得し、識別データとともに通知データ生成部１６へ出力する。
【0043】
ステップＳ２において、車両情報取得部１７は、車両センサ類２及び地図データベース３から車両に関する情報を取得し、通知データ生成部１６へ出力する。この車両に関する情報には、定常的な車両の状態情報のほか、車両の故障情報や交通機関の事故情報その他の安全に関わる情報も含まれる。そして、ステップＳ３において、通知データ生成部１６は、車両情報取得部１７で取得した車両情報の中に、安全性に関わって通知を必要とする情報があるか否かを判定し、通知が必要な安全性に関わる情報がある場合はステップＳ４へ進み、通知装置６を用いて優先的に通知する。通知後は、一旦処理を終了する。
【0044】
ステップＳ３において、通知が必要な安全性に関わる情報がない場合はステップＳ５へ進み、話題提供フラグがＯＮであるか否かを判定する。話題提供フラグがＯＮである場合はステップＳ６へ進み、話題提供フラグがＯＦＦの場合はステップＳ１へ戻る。この話題提供フラグとは、本実施形態の車両用情報処理装置１を用いて、運転者及び同乗者に対し、音声，画像，キャラクタロボットの動作及びこれらの組み合わせの媒体を介して、情報を提供し、又は乗員との間で会話するルーチンを実行するか否かを設定するためのフラグである。常時ＯＮとしてもよいが、乗員の希望に応じて所定の入力ボタンによりＯＮ／ＯＦＦの設定を可能としてもよい。
【0045】
話題提供フラグがＯＮである場合、ステップＳ６～Ｓ１５の話題提供ルーチンを実行する。まずステップＳ７において、通知データ生成部１６は、利用実績検知部１４により検知された利用実績値が、所定値以上であるか否かを判定し、所定値以上である場合はステップＳ８へ進み、所定値未満である場合はステップＳ１１へ進む。
【0046】
ステップＳ８において、通知データ生成部１６は、識別データに関連付けて記憶されたその乗員の嗜好データが嗜好データ記憶部１２に記憶され、且つその嗜好データが所定の条件を満たすか否かを判定し、所定の条件を満たしている場合はステップＳ９へ進み、所定の条件を満たしていない場合はステップＳ１１へ進む。なお、嗜好データ記憶部１２に記憶された嗜好データが所定の条件を満たすというのは、嗜好データ記憶部１２に、その乗員の嗜好を十分に反映する程度の信頼性のある嗜好データが蓄積されているという意味である。
【0047】
ステップＳ９において、通知データ生成部１６は、オブジェクト取得部１３で取得された１又は複数のオブジェクトが、ステップＳ８で判定された嗜好データに適合するか否かを判定し、適合するオブジェクトがある場合はステップ１０へ進み、適合するオブジェクトがない場合はステップＳ１１へ進む。
【0048】
ステップＳ１０において、通知データ生成部１６は、ステップＳ９にて判定した嗜好データに適合するオブジェクトの中に、乗員が視覚又は聴覚により認識可能なオブジェクトがあるか否かを判定し、ある場合はステップＳ１２へ進み、ない場合はステップＳ１３へ進む。
【0049】
ステップＳ１２において、利用実績値が所定値以上であり、嗜好データ記憶部１２に記憶されたその乗員の嗜好データは充分に信頼性のあるものであり、この嗜好データに適合するオブジェクトが乗員の周辺に存在し、且つそのオブジェクトが視覚又は聴覚により認識可能であるという条件が成立するので、その認識可能なオブジェクトに関する情報を優先的に通知装置６へ出力し、乗員に通知する。
【0050】
図３は、ステップＳ１２に至った際の状況の一例を示す図であり、符号６はキャラクタロボット型の通知装置を示し、符号Ｘは乗員を示し、符号７は車載撮像装置で撮像した乗員の周辺に存在するオブジェクトデータを示す。ここで、乗員Ｘ氏は、スポーツ、食事、ファッションに興味があり、特にスポーツの中でも野球が好きであり、食事の中でもラーメンが好きであるといった嗜好データが、所定の条件を満たす程度に十分な信頼性をもって嗜好データ記憶部１２に記憶されているものとする。また、車載撮像装置で撮像した乗員の周辺に存在するオブジェクトデータ７には、現在走行中の前方に駅前アーケード街が観察され、その中にラーメン屋８が目視可能に認識されているものとする。
【0051】
このような状況において、通知データ生成部１６は、乗員の嗜好に適合するオブジェクトであって視覚により認識可能な「ラーメン屋」に関する情報を優先して乗員に通知する。たとえば、キャラクタロボットの通知装置６は、『前方に見えるラーメン屋「ＸＸＸ」は、全国で有名な博多ラーメンを提供するお店で、とんこつ味の「特製ＸＸＸラーメン」がお勧めです。駐車場は、お店の向う隣りに５台のスペースがあります。』といった音声による通知データを出力する。
【0052】
この通知に際しては、通知対象となるオブジェクトに関する情報を、電気通信回線網５を介して外部サーバ４から検索してもよい。また、乗員Ｘとの間で対話形式とするために、最初に『前方にラーメン屋「ＸＸＸ」が見えますが、このお店の詳細を知りたいですか？』と聞いてから、そのお店の情報（営業時間、定休日、メニュー、価格など）を検索したり、情報を徐々に詳細にして出力したりしてもよい。
【0053】
ステップＳ１３において、利用実績値が所定値以上であり、嗜好データ記憶部１２に記憶されたその乗員の嗜好データは充分に信頼性のあるものであり、この嗜好データに適合するオブジェクトが乗員の周辺に存在するが、そのオブジェクトが視覚又は聴覚により認識可能ではないという条件が成立するので、認識不可能なオブジェクトではなく、嗜好に適合するオブジェクトに関する情報を通知装置６へ出力し、乗員に通知する。
【0054】
図４は、ステップＳ１３に至った際の状況の一例を示す図であり、符号６はキャラクタロボット型の通知装置を示し、符号Ｘは乗員を示し、符号７は車載撮像装置で撮像した乗員の周辺に存在するオブジェクトデータを示す。ここで、乗員Ｘ氏は、スポーツ、食事、ファッションに興味があり、特にスポーツの中でも野球が好きであり、食事の中でもラーメンが好きであるといった嗜好データが、所定の条件を満たす程度に十分な信頼性をもって嗜好データ記憶部１２に記憶されているものとする。また、車載撮像装置で撮像した乗員の周辺に存在するオブジェクトデータ７には、現在、高速道路を走行中であり、その前方には高速道路のみが観察されているものとする。
【0055】
このような状況において、車載撮像装置で撮像した乗員の周辺に存在するオブジェクトデータ７から取得されるオブジェクトは、その乗員の嗜好データと関係が希薄なため、通知データ生成部１６は、乗員の嗜好に適合するオブジェクトである野球（スポーツジャンル）に関する情報を乗員に通知する。たとえば、キャラクタロボットの通知装置６は、『昨夜の横浜・阪神戦は、８対７で横浜が勝ちました。その結果、横浜は首位の巨人に１ゲーム差に迫りました。』といった音声による通知データを出力する。
【0056】
この通知に際しては、通知対象となる嗜好データである野球に関する情報を、電気通信回線網５を介して外部サーバ４から検索してもよい。また、乗員Ｘとの間で対話形式とするために、最初に『昨夜の横浜・阪神戦の結果を知りたいですか？』と聞いてから、その試合の情報（得点結果、勝利・敗戦投手、ホームラン、順位の変動など）を検索したり、情報を徐々に詳細にして出力したりしてもよい。
【0057】
さて、ステップＳ７において利用実績値が所定値未満である場合、ステップＳ８において所定の条件を満たす嗜好データが嗜好データ記憶部１２に記憶されていない場合、ステップＳ９において嗜好データに適合するオブジェクトがない場合、これらいずれの場合もステップＳ１１へ進み、通知データ生成部１６は、視覚又は聴覚にて認識可能なオブジェクトがオブジェクトデータに存在するか否かを判定し、存在する場合はステップＳ１４へ進み、存在しない場合はステップＳ１５へ進む。
【0058】
ステップＳ１４において、利用実績値が所定値未満であり、又は、嗜好データ記憶部１２に記憶されたその乗員の嗜好データは充分に信頼性のあるものではなく、又は、この嗜好データに適合するオブジェクトが乗員の周辺に存在しない場合であって、且つそのオブジェクトが視覚又は聴覚により認識可能であるという条件が成立するので、その認識可能なオブジェクトに関する情報を優先的に通知装置６へ出力し、乗員に通知する。
【0059】
図５は、ステップＳ１４に至った際の状況の一例を示す図であり、符号６はキャラクタロボット型の通知装置を示し、符号Ｘは乗員を示し、符号７は車載撮像装置で撮像した乗員の周辺に存在するオブジェクトデータを示す。ここで、乗員Ｘ氏の嗜好データは、所定の条件を満たす程度に十分な信頼性をもって嗜好データ記憶部１２に記憶されていないものとする。また、車載撮像装置で撮像した乗員の周辺に存在するオブジェクトデータ７には、現在走行中の前方によこはまコスモワールド（登録商標）が観察され、その中に観覧車が目視可能に認識されているものとする。
【0060】
このような状況において、嗜好データ記憶部１２に記録されているその乗員の嗜好データは、通知データの生成に使用するには信頼性が低いため、通知データ生成部１６は、車載撮像装置で撮像した乗員の周辺に存在するオブジェクトデータ７から取得され、且つ認識可能なオブジェクトに関する情報を乗員に通知する。たとえば、キャラクタロボットの通知装置６は、『前方に見える観覧車は、よこはまコスモワールドに設置された、横浜のシンボルとしての顔を持つ「コスモクロック２１」と呼ばれる世界最大の大観覧車です。』といった音声による通知データを出力する。
【0061】
この通知に際しては、通知対象となる視認可能なオブジェクトである観覧車に関する情報を、電気通信回線網５を介して外部サーバ４から検索してもよい。また、乗員Ｘとの間で対話形式とするために、最初に『観覧車の内容を知りたいですか？』と聞いてから、その観覧車の情報を検索したり、情報を徐々に詳細にして出力したりしてもよい。
【0062】
ステップＳ１５において、利用実績値が所定値未満であり、又は、嗜好データ記憶部１２に記憶されたその乗員の嗜好データは充分に信頼性のあるものではなく、又は、この嗜好データに適合するオブジェクトが乗員の周辺に存在しない場合であって、且つそのオブジェクトが視覚又は聴覚により認識可能でないという条件が成立するので、その乗員の属性に関する一般的なコンテンツを通知装置６へ出力し、乗員に通知する。
【0063】
図６は、ステップＳ１５に至った際の状況の一例を示す図であり、符号６はキャラクタロボット型の通知装置を示し、符号Ｘは乗員を示し、符号７は車載撮像装置で撮像した乗員の周辺に存在するオブジェクトデータを示す。ここで、乗員Ｘ氏の嗜好データは、所定の条件を満たす程度に十分な信頼性をもって嗜好データ記憶部１２に記憶されていないものとする。また、車載撮像装置で撮像した乗員の周辺に存在するオブジェクトデータ７には、現在、高速道路を走行中であり、その前方には高速道路のみが観察されているものとする。
【0064】
このような状況において、嗜好データ記憶部１２に記録されているその乗員の嗜好データは、通知データの生成に使用するには信頼性が低い一方、車載撮像装置で撮像した乗員の周辺に存在するオブジェクトデータ７から取得されるオブジェクトも、乗員の興味が湧くものかわからないため、通知データ生成部１６は、車載撮像装置で撮像した乗員の周辺に存在するオブジェクトデータ７から取得され、且つ一般的なオブジェクトに関する情報を乗員に通知する。たとえば、キャラクタロボットの通知装置６は、『次のＩＣを出たところに、美味しいシュウマイのお店があります』といった音声による通知データを出力する。
【0065】
この通知に際しては、通知対象となる視認不可能なオブジェクトであるシュウマイ店に関する情報を、電気通信回線網５を介して外部サーバ４から検索してもよい。また、乗員Ｘとの間で対話形式とするために、最初に『シュウマイ店の内容を知りたいですか？』と聞いてから、そのシュウマイ店の情報を検索したり、情報を徐々に詳細にして出力したりしてもよい。
【0066】
以上のように、本実施形態の車両用情報処理装置１及び方法によれば、嗜好データ記憶部１２に記憶された、識別データに関連付けられた乗員の嗜好データと、判定部１５により乗員が認識可能と判定されたオブジェクトとに基づいて、車両に搭乗した乗員に対する通知データを生成する。換言すれば、乗員の嗜好データの信頼性と認識可能なオブジェクトの存在との比率に応じて通知データの内容を決定するので、個々の乗員の嗜好や車両走行中の周辺環境に応じて、その乗員に適したコンテンツを提供することができ、より一層興味が湧く情報を提供することができる。
【0067】
また、本実施形態の車両用情報処理装置１及び方法によれば、車両に搭乗した乗員の嗜好データが嗜好データ記憶部１２に記憶されているか否か、もしくは嗜好データ記憶部１２に記憶された嗜好データが所定の条件を満たすか否かと、判定部１５により乗員が認識可能と判定されたオブジェクトが存在するか否か、に応じて、生成する通知データを決定する。すなわち、嗜好データの信頼性とオブジェクトの認識可能性とに応じて生成する通知データを決定するので、その乗員に適したコンテンツを提供できる可能性が高くなる。
【0068】
また、本実施形態の車両用情報処理装置１及び方法によれば、判定部１５により乗員が認識可能と判定されたオブジェクトが存在する場合、当該認識可能なオブジェクトに関する情報を通知データとして優先的に生成するので、少なくとも視認可能な興味が湧く情報を提供することができる。
【0069】
また、本実施形態の車両用情報処理装置１及び方法によれば、車両に搭乗した乗員の嗜好データが嗜好データ記憶部１２に記憶されていない場合、又は、嗜好データ記憶部１２に記憶された嗜好データが所定条件を満たさない場合、嗜好データを通知データとすることなく、認識可能なオブジェクトに関する情報を通知データとして生成するので、少なくとも視認可能な興味が湧く情報を提供することができる。
【0070】
また、本実施形態の車両用情報処理装置１及び方法によれば、嗜好データ記憶部１２に車両に搭乗した乗員の嗜好データが記憶され、かつ、判定部１５により乗員が認識可能と判定されたオブジェクトが存在する場合、判定部１５により乗員が認識可能と判定されたオブジェクトのうち、乗員の嗜好データと関連のあるオブジェクトを通知データとして生成するので、その乗員が最も興味が湧く情報を提供することができる。
【0071】
また、本実施形態の車両用情報処理装置１及び方法によれば、乗員の利用実績値の大小に応じて、生成する通知データを決定するので、過去の利用時における嗜好データを用いることができ、より一層興味が湧く情報を提供することができる。
【0072】
また、本実施形態の車両用情報処理装置１及び方法によれば、車両に搭乗した乗員の利用実績値が、所定値未満の場合、当該乗員の嗜好データを通知データとすることなく、認識可能なオブジェクトに関する情報を通知データとして生成するので、利用価値のない利用実績に関する情報を排除することができる。
【0073】
また、本実施形態の車両用情報処理装置１及び方法によれば、車両に搭乗した乗員の利用実績値が、所定値よりも大きい場合、当該乗員の嗜好データと認識可能と判定されたオブジェクトとに基づいて、前記通知データを生成するので、過去の利用時における嗜好データを用いることができ、より一層興味が湧く情報を提供することができる。
【0074】
また、本実施形態の車両用情報処理装置１及び方法によれば、認識可能と判定されたオブジェクトとして生成される通知データは、乗員が搭乗した車両からの相対的な位置又は距離に関する情報を含むので、より利用価値のあるコンテンツを提供することができる。
【符号の説明】
【0075】
１…車両用情報処理装置
１１…識別データ入力部
１２…嗜好データ記憶部
１３…オブジェクト取得部
１４…利用実績検知部
１５…判定部
１６…通知データ生成部
１７…車両情報取得部
２…車両センサ類
３…地図データベース
４…外部サーバ
５…電気通信回線網
６…通知装置
７…乗員の周辺に存在するオブジェクトデータ
８…通信部
Ｘ…乗員
１１…識別データ入力部
１２…嗜好データ記憶部
１３…オブジェクト取得部
１４…利用実績検知部
１５…判定部
１６…通知データ生成部
１７…車両情報取得部
２…車両センサ類
３…地図データベース
４…外部サーバ
５…電気通信回線網
６…通知装置
７…乗員の周辺に存在するオブジェクトデータ
８…通信部
Ｘ…乗員
【図1A】
【図1B】
【図2A】
【図2B】
【図3】
【図4】
【図5】
【図6】