▶ パナソニックオートモーティブシステムズ株式会社の特許一覧
特開2024-129476情報処理装置、情報処理方法、および情報処理プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024129476
(43)【公開日】2024-09-27
(54)【発明の名称】情報処理装置、情報処理方法、および情報処理プログラム
(51)【国際特許分類】
G01C 21/36 20060101AFI20240919BHJP
G08G 1/0969 20060101ALI20240919BHJP
【ＦＩ】
G01C21/36
G08G1/0969
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2023038706
(22)【出願日】2023-03-13
(71)【出願人】
【識別番号】322003857
【氏名又は名称】パナソニックオートモーティブシステムズ株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】加藤 信太
(72)【発明者】
【氏名】中川 誠一
(72)【発明者】
【氏名】田尻 修也
(72)【発明者】
【氏名】安田 威彦
(72)【発明者】
【氏名】笹川 幸文
(72)【発明者】
【氏名】若菜 和昭
(72)【発明者】
【氏名】野口 翔史
(72)【発明者】
【氏名】吉田 力
(72)【発明者】
【氏名】北川 道啓
(72)【発明者】
【氏名】小関 和徳
【テーマコード（参考）】
2F129
5H181
【Ｆターム（参考）】
2F129AA03
2F129BB03
2F129CC15
2F129DD22
2F129DD38
2F129EE02
2F129EE77
2F129FF02
2F129FF57
2F129FF61
2F129GG17
2F129HH12
2F129HH25
5H181AA01
5H181BB04
5H181CC04
5H181FF22
5H181FF32
5H181FF35
(57)【要約】
【課題】車両の走行中に発生した乗員の関心事象を走行終了後に容易に提供する。
【解決手段】情報処理装置２０は、記憶制御部５０Ａと、受付部５０Ｂと、管理制御部５０Ｃと、を備える。記憶制御部５０Ａは、走行する車両１０の位置情報および車両１０の周辺の撮影画像６０を含む走行環境情報と、走行環境情報の取得時刻と、を対応付けて記憶する。受付部５０Ｂは、マーキング指示を表すマーキング指示情報を受付ける。管理制御部５０Ｃは、マーキング指示情報を受付けた時に、マーキング指示情報に応じた走行環境情報を、乗員の関心事象に関する関心情報として管理する。
【選択図】図４
【解決手段】情報処理装置２０は、記憶制御部５０Ａと、受付部５０Ｂと、管理制御部５０Ｃと、を備える。記憶制御部５０Ａは、走行する車両１０の位置情報および車両１０の周辺の撮影画像６０を含む走行環境情報と、走行環境情報の取得時刻と、を対応付けて記憶する。受付部５０Ｂは、マーキング指示を表すマーキング指示情報を受付ける。管理制御部５０Ｃは、マーキング指示情報を受付けた時に、マーキング指示情報に応じた走行環境情報を、乗員の関心事象に関する関心情報として管理する。
【選択図】図４
【特許請求の範囲】
【請求項1】
走行する車両の位置情報および前記車両の周辺の撮影画像を含む走行環境情報と、前記走行環境情報の取得時刻と、を対応付けて記憶する記憶制御部と、
マーキング指示を表すマーキング指示情報を受付ける受付部と、
前記マーキング指示情報を受付けた時に、前記マーキング指示情報に応じた前記走行環境情報を、乗員の関心事象に関する関心情報として管理する管理制御部と、
を備える情報処理装置。
マーキング指示を表すマーキング指示情報を受付ける受付部と、
前記マーキング指示情報を受付けた時に、前記マーキング指示情報に応じた前記走行環境情報を、乗員の関心事象に関する関心情報として管理する管理制御部と、
を備える情報処理装置。
【請求項2】
前記管理制御部は、
前記マーキング指示情報を受付けたタイミングである前記取得時刻に対応付けられた前記走行環境情報を、前記関心情報として管理する、
請求項１に記載の情報処理装置。
前記マーキング指示情報を受付けたタイミングである前記取得時刻に対応付けられた前記走行環境情報を、前記関心情報として管理する、
請求項１に記載の情報処理装置。
【請求項3】
前記受付部は、
前記関心事象の発生タイミングにおける特定情報のマーキング指示を表す前記マーキング指示情報を受付け、
前記管理制御部は、
前記発生タイミングが前記マーキング指示情報を受付けたタイミングを表す場合、前記マーキング指示情報を受付けた時刻である前記取得時刻に対応付けられた前記走行環境情報を前記関心情報として管理し、
前記発生タイミングが前記マーキング指示情報を受付けたタイミングより過去のタイミングを表す場合、前記マーキング指示情報を受付けたタイミングから所定時間前のタイミングまでの期間の前記取得時刻に対応付けられた前記走行環境情報の内、前記特定情報によって特定される要素を含む前記走行環境情報を、前記関心情報として管理する、
請求項１に記載の情報処理装置。
前記関心事象の発生タイミングにおける特定情報のマーキング指示を表す前記マーキング指示情報を受付け、
前記管理制御部は、
前記発生タイミングが前記マーキング指示情報を受付けたタイミングを表す場合、前記マーキング指示情報を受付けた時刻である前記取得時刻に対応付けられた前記走行環境情報を前記関心情報として管理し、
前記発生タイミングが前記マーキング指示情報を受付けたタイミングより過去のタイミングを表す場合、前記マーキング指示情報を受付けたタイミングから所定時間前のタイミングまでの期間の前記取得時刻に対応付けられた前記走行環境情報の内、前記特定情報によって特定される要素を含む前記走行環境情報を、前記関心情報として管理する、
請求項１に記載の情報処理装置。
【請求項4】
前記管理制御部は、
前記関心情報として管理する対象の前記走行環境情報、および前記走行環境情報の管理に用いた前記マーキング指示情報に基づいて、前記走行環境情報に含まれる前記撮影画像における前記特定情報によって特定される前記要素を含む要素領域画像と、地図情報における該要素を含む領域である要素領域地図と、を含む関心事象確認画面を生成し、更に管理する、
請求項３に記載の情報処理装置。
前記関心情報として管理する対象の前記走行環境情報、および前記走行環境情報の管理に用いた前記マーキング指示情報に基づいて、前記走行環境情報に含まれる前記撮影画像における前記特定情報によって特定される前記要素を含む要素領域画像と、地図情報における該要素を含む領域である要素領域地図と、を含む関心事象確認画面を生成し、更に管理する、
請求項３に記載の情報処理装置。
【請求項5】
前記関心情報は、
前記マーキング指示情報に応じた前記走行環境情報および該走行環境情報の取得時刻を含む、請求項１に記載の情報処理装置。
前記マーキング指示情報に応じた前記走行環境情報および該走行環境情報の取得時刻を含む、請求項１に記載の情報処理装置。
【請求項6】
前記関心情報を出力する出力制御部、
を備える請求項１に記載の情報処理装置。
を備える請求項１に記載の情報処理装置。
【請求項7】
前記出力制御部は、
前記関心情報を、前記車両に搭載された出力部、端末装置、および地図情報を管理するサーバ装置、の少なくとも１つに出力する、
請求項６に記載の情報処理装置。
前記関心情報を、前記車両に搭載された出力部、端末装置、および地図情報を管理するサーバ装置、の少なくとも１つに出力する、
請求項６に記載の情報処理装置。
【請求項8】
走行する車両の位置情報および前記車両の周辺の撮影画像を含む走行環境情報と、前記走行環境情報の取得時刻と、を対応付けて記憶するステップと、
マーキング指示を表すマーキング指示情報を受付けるステップと、
前記マーキング指示情報を受付けた時に、前記マーキング指示情報に応じた前記走行環境情報を、乗員の関心事象に関する関心情報として管理するステップと、
を含む情報処理方法。
マーキング指示を表すマーキング指示情報を受付けるステップと、
前記マーキング指示情報を受付けた時に、前記マーキング指示情報に応じた前記走行環境情報を、乗員の関心事象に関する関心情報として管理するステップと、
を含む情報処理方法。
【請求項9】
走行する車両の位置情報および前記車両の周辺の撮影画像を含む走行環境情報と、前記走行環境情報の取得時刻と、を対応付けて記憶するステップと、
マーキング指示を表すマーキング指示情報を受付けるステップと、
前記マーキング指示情報を受付けた時に、前記マーキング指示情報に応じた前記走行環境情報を、乗員の関心事象に関する関心情報として管理するステップと、
をコンピュータに実行させるための情報処理プログラム。
マーキング指示を表すマーキング指示情報を受付けるステップと、
前記マーキング指示情報を受付けた時に、前記マーキング指示情報に応じた前記走行環境情報を、乗員の関心事象に関する関心情報として管理するステップと、
をコンピュータに実行させるための情報処理プログラム。
【請求項10】
走行する車両の位置情報および前記車両の周辺の撮影画像を含む走行環境情報の内、マーキング指示を表すマーキング指示情報に応じて乗員の関心事象に関する関心情報として管理された前記走行環境情報を受信するステップと、
前記関心情報を出力するステップと、
出力した前記関心情報の内、関心項目として記憶する対象として選択された前記関心情報を管理するステップと、
を含む情報処理プログラム。
前記関心情報を出力するステップと、
出力した前記関心情報の内、関心項目として記憶する対象として選択された前記関心情報を管理するステップと、
を含む情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、情報処理方法、および情報処理プログラムに関する。
【背景技術】
【0002】
車両の乗員に対して乗員が関心を持つ車両周辺の地点に関する情報を提示するシステムが知られている。例えば、乗員のジェスチャなどを認識することで乗員が関心を持つ関心地点を特定し、特定した関心地点に関する説明等の情報を乗員に提示するシステムが知られている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１７－２２３６６６号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
車両の走行中に乗員が関心を持った関心事象をマーキングし、車両の走行終了後に確認することを乗員が希望する場合がある。しかしながら従来技術では、車両の走行中に発生した乗員の関心事象を車両の走行終了後に提供することは検討されていなかった。
【0005】
本開示が解決しようとする課題は、車両の走行中に発生した乗員の関心事象を走行終了後に容易に提供することができる、情報処理装置、情報処理方法、および情報処理プログラムを提供することである。
【課題を解決するための手段】
【0006】
本開示の情報処理装置は、記憶制御部と、受付部と、管理制御部と、を備える。記憶制御部は、走行する車両の位置情報および前記車両の周辺の撮影画像を含む走行環境情報と、前記走行環境情報の取得時刻と、を対応付けて記憶する。受付部は、マーキング指示を表すマーキング指示情報を受付ける。管理制御部は、前記マーキング指示情報を受付けた時に、前記マーキング指示情報に応じた前記走行環境情報を、乗員の関心事象に関する関心情報として管理する。
【発明の効果】
【0007】
本開示に係る情報処理装置、情報処理方法、および情報処理プログラムによれば、車両の走行中に発生した乗員の関心事象を走行終了後に容易に提供することができる。
【図面の簡単な説明】
【0008】
【発明を実施するための形態】
【0009】
以下に添付図面を参照して、本開示に係る情報処理装置、情報処理方法、および情報処理プログラムの実施形態について説明する。
【0010】
図１は、本実施形態の情報処理システム１の一例の模式図である。
【0011】
情報処理システム１は、車両１０に搭載された情報処理装置２０と、端末装置３０と、４０と、を備える。情報処理装置２０と、端末装置３０と、サーバ装置４０とは、ネットワークＮＷを介して通信可能に接続されている。情報処理装置２０と端末装置３０とは、Ｗｉ－Ｆｉ（無線ＬＡＮ（Local Area Network））またはＢｌｕｅｔｏｏｔｈ(登録商標)等により通信可能に接続されていてもよい。
【0012】
情報処理装置２０は、例えば、専用または汎用コンピュータである。本実施形態では、情報処理装置２０が、車両１０に搭載された形態を一例として説明する。例えば、情報処理装置２０は、ＩＶＩ（In-Vehicle Infotainment）システムあるいはＣＤＣ（Cockpit Domain Controller）の一部として構成される。
【0013】
端末装置３０は、ユーザＣによって管理される情報処理装置である。端末装置３０は、例えば、スマートフォン、タブレット端末、等である。
【0014】
サーバ装置４０は、地図情報等の管理および配信等の汎用サービスを提供する情報処理装置である。例えば、サーバ装置４０は、地図情報と、ユーザＣのアカウント情報に対応付けられた該地図情報に関するアカウントサービス情報と、を管理する。アカウントサービス情報は、例えば、ユーザＣのお気に入り地点、ユーザＣの乗車した車両１０の走行経路、等の情報を含む。
【0015】
本実施形態では、端末装置３０を管理するユーザＣが車両１０を運転する場合を想定して説明する。すなわち、ユーザＣは、車両１０の乗員の一例である。
【0016】
図２は、情報処理装置２０、端末装置３０、およびサーバ装置４０の一例のハードウェア構成図である。
【0017】
情報処理装置２０、端末装置３０、およびサーバ装置４０は、ＣＰＵ（Central Processing Unit）１１Ａ、ＲＯＭ（Read Only Memory）１１Ｂ、ＲＡＭ（Random Access Memory）１１Ｃ、およびＩ／Ｆ１１Ｄ等がバス１１Ｅにより相互に接続されており、通常のコンピュータを利用したハードウェア構成となっている。
【0018】
ＣＰＵ１１Ａは、本実施形態の情報処理装置２０、端末装置３０、およびサーバ装置４０を制御する演算装置である。ＲＯＭ１１Ｂは、ＣＰＵ１１Ａによる処理を実現するプログラム等を記憶する。ＲＡＭ１１Ｃは、ＣＰＵ１１Ａによる処理に必要なデータを記憶する。Ｉ／Ｆ１１Ｄは、データを送受信するためのインターフェースである。
【0019】
本実施形態の情報処理装置２０、端末装置３０、およびサーバ装置４０で実行される情報処理を実行するためのプログラムは、ＲＯＭ１１Ｂ等に予め組み込んで提供される。なお、本実施形態の情報処理装置２０、端末装置３０、およびサーバ装置４０で実行されるプログラムは、情報処理装置２０にインストール可能な形式または実行可能な形式のファイルでコンピュータにより読み取り可能な記憶媒体（例えば、フラッシュメモリ）に記憶されて提供するように構成してもよい。
【0020】
図３Ａは、本実施形態の車両１０の一例を示す図である。
【0021】
車両１０は、情報処理装置２０と、出力部１０Ａと、入力部１０Ｂと、内界センサ１０Ｃと、撮影部１０Ｄと、視線センサ１０Ｅと、駆動制御部１０Ｆと、駆動部１０Ｇと、通信部１０Ｉと、を備える。
【0022】
車両１０は、移動可能な物である。車両１０は、二輪自動車、三輪自動車、または、四輪自動車などである。車両１０は、ユーザＣによる運転操作により走行する車両である。車両１０は、ユーザＣによる運転操作を介さずに少なくとも一部の走行において自動的に走行（自動走行）可能な車両であってもおい。
【0023】
出力部１０Ａは、情報を出力する。本実施形態では、出力部１０Ａは、情報処理装置２０で生成された情報を出力する。
【0024】
出力部１０Ａは、情報を表示する表示機能を備える。なお、出力部１０Ａは、情報を外部装置などへ送信する通信機能、音を出力する音出力機能、光を点灯または点滅させる機能、などを更に備えていてもよい。例えば、出力部１０Ａは、表示部１０Ｈと、通信部１０Ｉと、を含む。
【0025】
表示部１０Ｈは、例えば、公知の有機ＥＬ（Electro Luminescence）ディスプレイ、液晶ディスプレイ（Liquid Crystal Display）、またはＨＵＤ（Head Up Display）、などである。通信部１０Ｉは、端末装置３０やサーバ装置４０等の外部の情報処理装置と通信する。
【0026】
入力部１０Ｂは、ユーザＣからの指示または情報の入力を受付ける。入力部１０Ｂは、例えば、ユーザＣの操作指示により入力を受付ける指示入力デバイス１０Ｊ、音声の入力を受付けるマイク１０Ｋ、ユーザＣのジェスチャを解析することでジェスチャによる操作指示を受け付けるシステム、の少なくとも１つである。指示入力デバイス１０Ｊは、例えば、スイッチ、ボタン、マウスまたはトラックボール等のポインティングデバイス、キーボードなどである。指示入力デバイス１０Ｊは、表示部１０Ｈと一体的に設けられたタッチパネルにおける入力機能であってもよい。本実施形態では、入力部１０Ｂは、ユーザＣの操作指示により入力を受付ける指示入力デバイス１０Ｊ、および音声の入力を受付けるマイク１０Ｋを備える形態を一例として説明する。
【0027】
出力部１０Ａおよび入力部１０Ｂは、車両１０の乗員であるユーザＣに情報を出力およびユーザＣからの情報の入力を受付けるＨＭＩ（Human-Machine Interface）として構成されていればよい。
【0028】
内界センサ１０Ｃは、車両１０自体の情報を観測するセンサである。内界センサ１０Ｃは、車両１０の位置、車両１０の速度、または車両１０の加速度などを検出する。
【0029】
内界センサ１０Ｃは、例えば、慣性計測装置（ＩＭＵ：Inertial Measurement Unit）、速度センサ、またはＧＰＳ（Global Positioning System）等である。
【0030】
撮影部１０Ｄは、車両１０の周辺を観測するセンサである。撮影部１０Ｄは、車両１０に搭載されていてもよいし、該車両１０の外部に搭載されていてもよい。車両１０の外部とは、例えば、他の移動体または外部装置などを示す。車両１０の周辺とは、車両１０から予め定めた範囲内の領域である。この範囲は、撮影部１０Ｄの観測可能な範囲である。この範囲は、予め設定すればよい。
【0031】
撮影部１０Ｄは、車両１０の周辺を撮影し撮影画像データ（以下、撮影画像と称する）を得る。撮影部１０Ｄは、デジタルカメラ等である。
【0032】
撮影部１０Ｄは、車両１０の周囲を撮影可能となるように、設置位置および画角が予め調整されている。本実施形態では、車両１０は、撮影方向の異なる複数の撮影部１０Ｄを備える。
【0033】
図３Ｂは、撮影部１０Ｄの設置位置の一例を示す模式図である。例えば、車両１０は、撮影方向の異なる４つの撮影部１０Ｄを備える。撮影部１０Ｄは、撮影によって得られた撮影画像を情報処理装置２０へ出力する。このため、情報処理装置２０には、撮影部１０Ｄによって撮影された車両１０の周辺の撮影画像が入力される。詳細には、情報処理装置２０には、車両１０の周辺の互いに異なる複数の撮影方向の各々の撮影画像が入力される。
【0034】
図３Ａに戻り説明を続ける。視線センサ１０Ｅは、車両１０に乗車したユーザＣの視線方向を検出するセンサである。視線センサ１０Ｅは、車両１０に乗車したユーザＣの眼の位置、動き、および視線を検出する公知のアイトラッカーである。視線センサ１０Ｅは、ユーザＣの視線方向の検出結果である視線方向情報を情報処理装置２０へ出力する。
【0035】
駆動部１０Ｇは、車両１０に搭載された駆動デバイスである。駆動部１０Ｇは、例えば、エンジン、モータ、車輪、などである。
【0036】
駆動制御部１０Ｆは、駆動部１０Ｇを制御する。駆動制御部１０Ｆの制御によって駆動部１０Ｇが駆動する。例えば、駆動制御部１０Ｆは、車両１０を自動運転するために、内界センサ１０Ｃ、撮影部１０Ｄ、および情報処理装置２０から受付けた情報などに基づいて、駆動部１０Ｇを制御する。駆動制御部１０Ｆによる駆動部１０Ｇの制御によって、車両１０のアクセル量、ブレーキ量、操舵角などが制御される。例えば、駆動制御部１０Ｆは、情報処理装置２０から受付けた走行経路に沿って走行するように駆動部１０Ｇを制御する。
【0037】
次に、車両１０の機能的構成を説明する。
【0038】
図４は、車両１０の機能的構成の一例を示すブロック図である。
【0039】
車両１０は、情報処理装置２０と、出力部１０Ａと、入力部１０Ｂと、内界センサ１０Ｃと、撮影部１０Ｄと、視線センサ１０Ｅと、駆動制御部１０Ｆと、駆動部１０Ｇと、を備える。
【0040】
情報処理装置２０、出力部１０Ａ、入力部１０Ｂ、内界センサ１０Ｃ、撮影部１０Ｄ、視線センサ１０Ｅ、および駆動制御部１０Ｆは、バス１０Ｌ等を介してデータまたは信号を授受可能に接続されている。駆動制御部１０Ｆは、駆動部１０Ｇとデータまたは信号を授受可能に接続されている。
【0041】
情報処理装置２０は、記憶部５２と、処理部５０と、を有する。処理部５０および記憶部５２は、バス１０Ｌ等を介してデータまたは信号を授受可能に接続されている。また、出力部１０Ａ、入力部１０Ｂ、内界センサ１０Ｃ、撮影部１０Ｄ、視線センサ１０Ｅ、および駆動制御部１０Ｆと、処理部５０とは、バス１０Ｌ等を介してデータまたは信号を授受可能に接続されている。
【0042】
なお、記憶部５２、出力部１０Ａ（表示部１０Ｈ、通信部１０Ｉ）、入力部１０Ｂ（指示入力デバイス１０Ｊ、マイク１０Ｋ）、内界センサ１０Ｃ、撮影部１０Ｄ、視線センサ１０Ｅ、および駆動制御部１０Ｆの少なくとも１つは、有線または無線で処理部５０に接続されていればよい。また、記憶部５２、出力部１０Ａ（表示部１０Ｈ、通信部１０Ｉ）、入力部１０Ｂ（指示入力デバイス１０Ｊ、マイク１０Ｋ）、内界センサ１０Ｃ、撮影部１０Ｄ、視線センサ１０Ｅ、および駆動制御部１０Ｆの少なくとも１つと、処理部５０とを、ネットワークＮＷ等を介して接続してもよい。すなわち、記憶部５２および処理部５０に設けられた機能部の少なくとも１つを、車両１０の外部に設けた構成としてもよい。
【0043】
記憶部５２は、データを記憶する。記憶部５２は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等である。なお、記憶部５２は、情報処理装置２０の外部に設けられた記憶装置であってもよい。また、記憶部５２は、プログラムまたは情報を、ＬＡＮまたはインターネットなどを介してダウンロードして記憶または一時記憶したものであってもよい。また、記憶部５２を、複数の記憶媒体から構成してもよい。
【0044】
本実施形態では、記憶部５２は、地図情報５２Ａ、走行環境管理ＤＢ５２Ｂ、関心事象管理ＤＢ５２Ｃ、等を記憶する。地図情報５２Ａ、走行環境管理ＤＢ５２Ｂ、および関心事象管理ＤＢ５２Ｃの詳細は後述する。
【0045】
処理部５０は、情報処理装置２０において情報処理を実行する。処理部５０は、記憶制御部５０Ａと、受付部５０Ｂと、管理制御部５０Ｃと、出力制御部５０Ｄと、を備える。
【0046】
記憶制御部５０Ａ、受付部５０Ｂ、管理制御部５０Ｃ、および出力制御部５０Ｄは、例えば、１または複数のプロセッサにより実現される。例えば上記各部は、ＣＰＵなどのプロセッサにプログラムを実行させること、すなわちソフトウェアにより実現してもよい。上記各部は、専用のＩＣ（Integrated Circuit）などのプロセッサ、すなわちハードウェアにより実現してもよい。上記各部は、ソフトウェアおよびハードウェアを併用して実現してもよい。複数のプロセッサを用いる場合、複数のプロセッサの各々は、複数の各部のうち１つを実現してもよいし、複数の各部のうち２以上を実現してもよい。
【0047】
プロセッサは、記憶部５２に保存されたプログラムを読み出し実行することで、上記複数の各部を実現する。なお、記憶部５２にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成してもよい。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで、上記複数の各部を実現する。
【0048】
記憶制御部５０Ａは、走行環境情報と、走行環境情報の取得時刻と、を対応付けて走行環境管理ＤＢ５２Ｂに記憶する。
【0049】
走行環境情報とは、走行する車両１０の位置情報、および車両１０の周辺の撮影画像を含む。走行環境情報は、車両１０の乗員であるユーザＣの視線方向を表す視線方向情報を更に含んでいてよい。
【0050】
記憶制御部５０Ａは、車両１０の位置情報を取得する。例えば、記憶制御部５０Ａは、内界センサ１０Ｃに含まれるＧＰＳから取得する、実空間における車両１０の３次元位置情報であるＧＰＳ位置情報を、車両１０の位置情報として取得する。また、記憶制御部５０Ａは、地図情報５２Ａによって表される地図上における車両１０の相対位置情報であるロケーション情報を、車両１０の位置情報として取得してもよい。例えば、車両１０は、地図マッチングシステムを備える。地図マッチングシステムは、過去のある時刻の車両１０の地図上における地点から現在時刻までの車両１０の走行方向および走行速度等から、現在時刻における車両１０の地図上の相対位置情報であるロケーション情報を演算する公知のシステムである。記憶制御部５０Ａは、地図マッチングシステムからロケーション情報を取得することで、車両１０の位置情報を取得してもよい。また、記憶制御部５０Ａは、ＧＰＳおよび地図マッチングシステムの双方から車両１０の位置情報を取得してもよい。
【0051】
また、記憶制御部５０Ａは、撮影部１０Ｄから車両１０の周辺の撮影画像を取得する。また、記憶制御部５０Ａは、視線センサ１０ＥからユーザＣの視線方向の検出結果である視線方向情報を取得する。
【0052】
記憶制御部５０Ａは、時系列に沿って、車両１０の位置情報、撮影画像、および視線方向情報を、内界センサ１０Ｃ、地図マッチングシステム、撮影部１０Ｄ、および視線センサ１０Ｅの各々から順次取得し、同じ取得時刻に取得した位置情報、撮影画像、および視線方向情報を含む走行環境情報と、これらの情報の取得時刻と、を対応付けて走行環境管理ＤＢ５２Ｂへ登録する。
【0053】
図５Ａおよび図５Ｂは、走行環境情報の一例の説明図である。例えば、図５Ａに示すように、走行中の車両１０が地図情報５２Ａにおける走行地点Ｐを走行中であった場合を想定する。また、該走行地点Ｐを走行する車両１０の撮影部１０Ｄによって撮影された撮影画像が、図５Ｂに示す撮影画像６０Ａであった場合を想定する。撮影画像６０Ａは、撮影部１０Ｄによって撮影された撮影画像６０の一例である。また、検出された視線方向情報によって表される視線方向Ｓが、撮影画像６０Ａにおけるある要素Ｅに向かう方向であった場面を想定する。
【0054】
この場合、記憶制御部５０Ａは、図５Ａの走行地点Ｐを表す車両１０の位置情報と、図５Ｂに示す撮影画像６０Ａと、図５Ｂに示す視線方向Ｓを表す視線方向情報と、を含む走行環境情報を取得する。そして、記憶制御部５０Ａは、これらの同じ取得時刻に取得した走行地点Ｐの位置情報、撮影画像６０、および視線方向Ｓを表す視線方向情報、を含む走行環境情報と、これらの情報の取得時刻と、を対応付けて走行環境管理ＤＢ５２Ｂへ登録する。
【0055】
図６Ａは、走行環境管理ＤＢ５２Ｂのデータ構成の一例の模式図である。走行環境管理ＤＢ５２Ｂは、走行環境情報と、走行環境情報の取得時刻と、を対応付けたデータベースである。走行環境管理ＤＢ５２Ｂのデータ形式は、テーブル等であってもよく、データベースに限定されない。
【0056】
記憶制御部５０Ａによる上記記憶処理によって、走行環境管理ＤＢ５２Ｂには、時系列に沿った取得時刻の各々に対応する走行環境情報が順次登録されていくこととなる。
【0057】
図４に戻り説明を続ける。
【0058】
受付部５０Ｂは、マーキング指示情報を受付ける。
【0059】
マーキング指示情報とは、マーキング指示を表す情報である。マーキング指示とは、走行する車両１０に乗車したユーザＣによって指示される情報であり、ユーザＣの関心事象のマーキング指令である。マーキング指示は、車両１０に乗車中のユーザＣによってなされる。
【0060】
例えば、車両１０の乗員であるユーザＣは、車両１０の走行時に、車両１０外の風景などの実空間中に関心事象を発見する場合がある。関心事象は、実空間におけるユーザＣが関心を持った事象である。関心事象は、例えば、実空間に存在する建物、店舗、建造物、等であるが、これらに限定されない。
【0061】
ユーザＣは、車両１０の走行中に関心事象が発生した場合、入力部３３を用いてマーキング指示を入力する。
【0062】
マーキング指示は、例えば、ユーザＣがスイッチ等の指示入力デバイス１０Ｊを操作することで入力される。例えば、指示入力デバイス１０Ｊには、マーキング指示を受け付けるためのスイッチが含まれる。ユーザＣは、車両１０の走行中に関心事象が発生した場合、該スイッチを操作することで、マーキング指示を行う。
【0063】
この場合、受付部５０Ｂは、指示入力デバイス１０Ｊの該スイッチからマーキング指示情報を受付ける。また、ユーザＣによる指示入力デバイス１０Ｊの操作によりマーキング指示がなされた場合、受付部５０Ｂは、該マーキング指示が指示入力デバイス１０Ｊに入力されたタイミング、すなわちマーキング指示情報を受付けたタイミングのマーキング指示を表すマーキング指示情報を受付ける。
【0064】
また、マーキング指示情報は、ユーザＣによって発話されたマーキング指示を表す音声データであってもよい。例えば、ユーザＣは、車両１０の走行中に関心事象が発生した場合、マーキング指示を表す音声を発話する。マイク１０Ｋは、集音した音声の音声データを処理部５０へ出力する。処理部５０の受付部５０Ｂは、音声データを受付けることで、音声データによって表されるマーキング指示情報を受付ける。
【0065】
例えば、ユーザＣは、関心事象の発生タイミングを表すタイミングキーワードと、関心事象を特定するための特定情報と、を含む音声を発話する。この場合、受付部５０Ｂは、タイミングキーワードと、特定情報と、を含む音声データによって表されるマーキング指示情報を受付ける。
【0066】
タイミングキーワードには、関心事象の発生タイミングを表すキーワードを予め定めればよい。また、話し言葉で用いられるタイミングを表す様々な単語を、関心事象の発生タイミングを表わすキーワードとして予め定めてもよい。また、後述する管理制御部５０Ｃでは、音声データを解析し、話し言葉で用いられるタイミングを表す単語が音声データに含まれる場合、該単語を、関心事象の発生タイミングを表すキーワードとして特定してもよい。
【0067】
例えば、タイミングキーワードは、「いま」、「さっき」、等であるが、これらに限定されない。タイミングキーワード「いま」は、関心事象の発生タイミングが、マーキング指示の指示入力デバイス１０Ｊへの入力タイミング、すなわち、受付部５０Ｂでマーキング指示情報を受付けたタイミングであることを表すキーワードの一例である。タイミングキーワード「さっき」は、関心事象の発生タイミングが、マーキング指示情報を受付けたタイミングより過去のタイミングであることを表すキーワードである。
【0068】
特定情報は、ユーザＣの関心事象を特定するための情報である。詳細には、特定情報は、ユーザＣの関心事象の特定に用いることの可能な、該関心事象の特徴によって表される。特定情報は、例えば、関心事象の色、形状、該関心事象の存在する方向、等によって表される。
【0069】
例えば、特定情報は、「右側」、「青い」、「タワー」等であるがこれらに限定されない。特定情報「右側」は、関心事象の存在する方向を表す情報の一例である。特定情報「青い」は、関心事象の色を表す情報の一例である。特定情報「タワー」は、関心事象の形状を表す情報の一例である。
【0070】
例えば、走行中の車両１０の運転者であるユーザＣが「さっき右側に見えた青いタワー」と発話した場面を想定する。そして、この発話の音声がマイク１０Ｋによって集音された場面を想定する。この場合、該音声データであるマーキング指示情報には、タイミングキーワード「さっき」と、特定情報「右側」、「青い」、「タワー」と、が含まれる状態となる。
【0071】
管理制御部５０Ｃは、マーキング指示情報を受付けた時に、マーキング指示情報に応じた走行環境情報を、車両１０の乗員であるユーザＣの関心事象に関する関心情報として管理する。
【0072】
例えば、管理制御部５０Ｃは、マーキング指示情報を受付けたタイミングである取得時刻に対応付けられた走行環境情報を、関心情報として登録する走行環境情報として特定する。また、例えば、管理制御部５０Ｃは、マーキング指示情報に含まれるタイミングキーワードによって表される期間を取得時刻とする走行環境情報の内、マーキング指示情報に含まれる特定情報によって特定される要素を含む走行環境情報を、関心情報として登録する走行環境情報として特定する。そして、管理制御部５０Ｃは、特定した走行環境情報を関心事象管理ＤＢ５２Ｃへ登録することで、マーキング指示情報に応じた走行環境情報を、車両１０の乗員であるユーザＣの関心事象に関する関心情報として管理する。
【0073】
図６Ｂは、関心事象管理ＤＢ５２Ｃのデータ構成の一例の模式図である。関心事象管理ＤＢ５２Ｃは、関心情報を登録して管理するためのデータベースである。関心事象管理ＤＢ５２Ｃのデータ形式はテーブル等であってもよく、データベースに限定されない。
【0074】
例えば、関心事象管理ＤＢ５２Ｃは、関心情報と、マーキング指示情報と、関心事象閣員画面情報と、を対応付けたデータベースである。関心情報は、関心情報として管理される走行環境情報と、該走行環境情報の取得時刻と、を対応付けた情報である。関心事象管理ＤＢ５２Ｃに登録されるマーキング指示情報は、対応する走行環境情報の関心情報としての管理処理時に用いたマーキング指示情報である。関心事象確認画面情報については後述する。
【0075】
まず、管理制御部５０Ｃがマーキング指示情報を受付部５０Ｂで受付けたタイミングである取得時刻に対応付けられた走行環境情報を、関心情報として登録する走行環境情報として特定し、特定した該走行環境情報を関心情報として管理する場合を説明する。
【0076】
この場合、管理制御部５０Ｃは、マーキング指示情報を受付部５０Ｂで受付けたタイミングを取得時刻とし、該取得時刻に対応付けられた走行環境情報を走行環境管理ＤＢ５２Ｂから特定する。そして、管理制御部５０Ｃは、特定した走行環境情報を関心事象管理ＤＢ５２Ｃへ登録することで、関心事象として管理する。
【0077】
例えば、車両１０の乗員であるユーザＣが車両１０の走行中に指示入力デバイス１０Ｊを操作することで、マーキング指示を入力した場合を想定する。この場合、上述したように、受付部５０Ｂは、該マーキング指示が指示入力デバイス１０Ｊに入力されたタイミング、すなわちマーキング指示情報を受付部５０Ｂで受付けたタイミングのマーキング指示を表すマーキング指示情報を受付ける。
【0078】
この場合、管理制御部５０Ｃは、マーキング指示情報を受付部５０Ｂで受付けたタイミングである取得時刻に対応付けられた走行環境情報を走行環境管理ＤＢ５２Ｂから特定する。そして、管理制御部５０Ｃは、特定した走行環境情報を関心事象管理ＤＢ５２Ｃへ登録することで、関心情報として管理する。
【0079】
次に、管理制御部５０Ｃが、マーキング指示情報に含まれるタイミングキーワードによって表される期間を取得時刻とする走行環境情報の内、該マーキング指示情報に含まれる特定情報によって特定される要素を含む走行環境情報を、関心情報として登録する走行環境情報として特定し、特定した該走行環境情報を関心情報として管理する場合を説明する。
【0080】
例えば、車両１０の乗員であるユーザＣが車両１０の走行中にマーキング指示を表す音声を発話することで、マイク１０Ｋに該音声が集音され、受付部５０Ｂが音声データによって表されるマーキング指示情報を受付けた場面を想定する。
【0081】
上述したように、音声データによって表されるマーキング指示情報には、関心事象の発生タイミングを表すタイミングキーワードと、関心事象を特定するための特定情報と、が含まれる。
【0082】
この場合、管理制御部５０Ｃは、音声データを解析することによって、音声データに含まれるタイミングキーワードおよび特定情報を特定する。
【0083】
管理制御部５０Ｃは、特定したタイミングキーワードによって表される関心事象の発生タイミングが、マーキング指示情報を受付けたタイミングを表す場合、マーキング指示情報を受付けた時刻である取得時刻に対応付けられた走行環境情報を走行環境管理ＤＢ５２Ｂから検索する。
【0084】
例えば、特定したタイミングキーワードがキーワード「いま」等の、関心事象の発生タイミングが受付部５０Ｂでマーキング指示情報を受付けたタイミングであることを表すキーワードである場合を想定する。この場合、管理制御部５０Ｃは、マーキング指示情報を受付けた時刻である取得時刻に対応付けられた走行環境情報を走行環境管理ＤＢ５２Ｂから検索する。そして、管理制御部５０Ｃは、検索した走行環境情報および該走行環境情報に対応する取得時刻を関心情報として関心事象管理ＤＢ５２Ｃへ登録することで、該走行環境情報を関心情報として管理する。
【0085】
管理制御部５０Ｃは、特定したタイミングキーワードによって表される関心事象の発生タイミングが、マーキング指示情報を受付けたタイミングより過去のタイミングを表す場合、以下の処理を行う。詳細には、管理制御部５０Ｃは、該マーキング指示情報を受付けたタイミングから所定時間前のタイミングまでの期間の取得時刻に対応付けられた走行環境情報を走行環境管理ＤＢ５２Ｂから検索する。
【0086】
この所定時間は、タイミングキーワードの種類に応じて調整すればよい。例えば、タイミングキーワードが数秒前の過去のタイミングを表す「さっき」等のキーワードである場合を想定する。この場合、管理制御部５０Ｃは、マーキング指示情報を受付けたタイミングから数秒前のタイミングまでの期間の取得時刻に対応付けられた走行環境情報を走行環境管理ＤＢ５２Ｂから検索すればよい。また、例えば、タイミングキーワードが特定の時間前の過去のタイミングを表す「Ａ分前」（Ａは数字を表す）等のキーワードである場合を想定する。この場合、管理制御部５０Ｃは、マーキング指示情報を受付けたタイミングからＡ分前のタイミングまでの期間の取得時刻に対応付けられた走行環境情報を走行環境管理ＤＢ５２Ｂから検索すればよい。
【0087】
そして、管理制御部５０Ｃは、検索した複数の走行環境情報の内、マーキング指示情報に含まれる特定情報によって特定される要素を含む走行環境情報を、更に特定する。
【0088】
例えば、マーキング指示情報に含まれる特定情報が、ユーザＣの関心事象の色、形状、該関心事象の存在する方向、を表す場合を想定する。
【0089】
この場合、管理制御部５０Ｃは、検索した複数の走行環境情報の各々に含まれる撮影画像を公知の方法で画像解析し、特定情報によって表される色および形状の要素Ｅを含む撮影画像を含んだ走行環境情報を特定する。
【0090】
また、管理制御部５０Ｃは、特定情報によって表される関心事象の存在する方向と、検索した複数の走行環境情報の各々に含まれる位置情報によって表される車両１０の位置と、該走行環境情報に含まれる撮影画像と、を用いて、該車両１０の該位置から該関心事象の存在する方向に、特定情報によって表される色および形状の要素Ｅを含む撮影画像を含んだ走行環境情報を特定してもよい。
【0091】
また、管理制御部５０Ｃは、検索した複数の走行環境情報の各々に含まれる視線方向情報によって表される方向と、検索した複数の走行環境情報の各々に含まれる位置情報によって表される車両１０の位置と、該走行環境情報に含まれる撮影画像と、を用いて、該車両１０の該位置から該視線方向に、特定情報によって表される色および形状の要素Ｅを含む撮影画像を含んだ走行環境情報を、特定してもよい。
【0092】
そして、管理制御部５０Ｃは、特定した走行環境情報および該走行環境情報に対応する取得時刻を関心情報として関心事象管理ＤＢ５２Ｃへ登録することで、該走行環境情報を関心情報として管理する。
【0093】
また、このとき、管理制御部５０Ｃは、関心情報の検索および特定に用いたマーキング指示情報を、該関心情報に対応付けて関心事象管理ＤＢ５２Ｃに更に登録してもよい。
【0094】
更に、管理制御部５０Ｃは、関心事象管理ＤＢ５２Ｃに登録した関心情報に対応する関心事象確認画面情報を生成し、関心事象管理ＤＢ５２Ｃに対応付けて登録する。
【0095】
詳細には、管理制御部５０Ｃは、関心情報として管理する対象の走行環境情報、および走行環境情報の管理に用いたマーキング指示情報に基づいて、走行環境情報に含まれる撮影画像における特定情報によって特定される要素Ｅを含む要素領域画像と、地図情報５２Ａにおける該要素Ｅを含む領域である要素領域地図と、を含む関心事象確認画面を生成する。
【0096】
図７は、関心事象確認画面６２の一例の模式図である。
【0097】
関心事象確認画面６２は、関心事象の確認時にユーザＣに対して提供される表示画面である。例えば、関心事象管理ＤＢ５２Ｃに登録されている関心事象情報に含まれる走行管理情報の撮影画像６０が図５Ｂに示す撮影画像６０Ａであり、該走行管理情報に含まれる車両１０の位置情報が、図５Ａに示す走行地点Ｐであった場面を想定する。また、該関心情報の検索および特定に用いたマーキング指示情報に含まれる特定情報によって表される要素Ｅが、図５Ｂおよび図７に示すタワーを表す要素Ｅであった場合を想定する。
【0098】
この場合、管理制御部５０Ｃは、例えば、要素領域画像６１と、地図ロケーション情報５２Ａａと、を含む関心事象確認画面６２を生成する。要素領域画像６１は、走行管理情報に含まれる撮影画像６０Ａにおける、特定情報によって表されるタワーを表す要素Ｅを含む領域を切り出した部分画像である。地図ロケーション情報５２Ａａは、地図情報５２Ａにおける、該要素Ｅおよび該走行管理情報に含まれる車両１０の位置情報によって表される走行地点Ｐを含む領域を切り出した部分地図画像である。
【0099】
また、管理制御部５０Ｃは、図７に示すように、該走行管理情報の取得時刻を表す情報を更に含む関心事象確認画面６２を生成してよい。
【0100】
そして、管理制御部５０Ｃは、生成した関心事象確認画面６２を表す関心事象確認画面情報を、該走行管理情報に対応付けて走行環境管理ＤＢ５２Ｂに登録する（図６Ｂ参照）。
【0101】
なお、管理制御部５０Ｃによる関心事象確認画面６２の生成処理は、後述する出力制御部５０Ｄまたは端末装置３０が実行してもよい。
【0102】
図４に戻り説明を続ける。
【0103】
出力制御部５０Ｄは、関心事象管理ＤＢ５２Ｃに登録されている関心情報を出力する。出力制御部５０Ｄは、関心事象管理ＤＢ５２Ｃに登録されている関心情報と、該関心情報に対応付けられているマーキング指示情報および関心事象確認画面情報の少なくとも一方と、を出力してもよい。
【0104】
出力制御部５０Ｄによる関心情報の出力タイミングは限定されない。例えば、出力制御部５０Ｄは、新たな関心情報が関心事象管理ＤＢ５２Ｃに登録されるごとに、関心事象管理ＤＢ５２Ｃに登録されている少なくとも新たに登録された関心情報を出力する。また、出力制御部５０Ｄは、ユーザＣによる入力部１０Ｂの操作指示などによって関心情報の出力指示が入力されたときに、関心事象管理ＤＢ５２Ｃに登録されている少なくとも一部の関心情報を出力してよい。また、出力制御部５０Ｄは、車両１０の駐車またはアクセサリ電源オフ操作が検出されたときに、関心事象管理ＤＢ５２Ｃに登録されている少なくとも一部の関心情報を出力してよい。
【0105】
出力制御部５０Ｄによる関心情報の出力先は限定されない。例えば、出力制御部５０Ｄは、車両１０に搭載された出力部１０Ａ、端末装置３０、および地図情報５２Ａを管理するサーバ装置４０、の少なくとも１つに関心情報を出力する。
【0106】
関心情報を車両１０の出力部１０Ａに出力する場合、例えば、出力制御部５０Ｄは、関心情報に対応付けられた関心事象確認画面情報によって表される関心事象確認画面６２を表示部１０Ｈに表示させる。この場合、ユーザＣは車両１０の表示部１０Ｈを確認することで、車両１０の走行中に発生した関心事象を車両１０の走行終了後に容易に確認することができる。
【0107】
関心情報を端末装置３０に出力する場合には、出力制御部５０Ｄは、例えば、ユーザＣの管理する端末装置３０へ、通信部１０Ｉを介して関心情報を出力すればよい。詳細には、出力制御部５０Ｄは、ユーザＣの管理する端末装置３０へ、関心事象管理ＤＢ５２Ｃに登録されている関心情報と、該関心情報に対応付けられているマーキング指示情報および関心事象確認画面情報と、を端末装置３０へ送信する。
【0108】
この場合、ユーザＣは、自身の端末装置３０を確認することで、車両１０の走行中に発生した関心事象を車両１０の走行終了後に容易に確認することができる。
【0109】
次に、端末装置３０の構成を説明する。
【0110】
図８は、端末装置３０の機能的構成の一例を示すブロック図である。
【0111】
端末装置３０は、記憶部３１と、出力部３２と、入力部３３と、通信部３４と、処理部３６と、を備える。記憶部３１と、出力部３２と、入力部３３と、通信部３４と、処理部３６とは、バス３５等を介してデータまたは信号を授受可能に接続されている。
【0112】
出力部３２は、情報を出力する。出力部３２は、情報を表示する表示機能を備える。なお、出力部３２は、音を出力する音出力機能、光を点灯または点滅させる機能、などを更に備えていてもよい。表示機能は、例えば、公知の有機ＥＬディスプレイ、液晶ディスプレイ、などの表示部である。
【0113】
入力部３３は、ユーザＣからの指示または情報の入力を受付ける。入力部３３は、例えば、ユーザＣの操作入力により入力を受付けるマウスまたはトラックボール等のポインティングデバイス、キーボードなどである。入力部３３は、出力部３２に含まれる表示部と一体的に設けられたタッチパネルにおける入力機能であってもよい。通信部３４は、外部の情報処理装置とネットワーク等を介して通信する。
【0114】
処理部３６は、端末装置３０において情報処理を実行する。処理部３６は、通信制御部３６Ａと、出力制御部３６Ｂと、管理制御部３６Ｃと、を備える。
【0115】
通信制御部３６Ａ、出力制御部３６Ｂ、および管理制御部３６Ｃは、例えば、１または複数のプロセッサにより実現される。例えば上記各部は、ＣＰＵなどのプロセッサにプログラムを実行させること、すなわちソフトウェアにより実現してもよい。上記各部は、専用のＩＣなどのプロセッサ、すなわちハードウェアにより実現してもよい。上記各部は、ソフトウェアおよびハードウェアを併用して実現してもよい。複数のプロセッサを用いる場合、複数のプロセッサの各々は、複数の各部のうち１つを実現してもよいし、複数の各部のうち２以上を実現してもよい。
【0116】
プロセッサは、記憶部３１に保存されたプログラムを読み出し実行することで、上記複数の各部を実現する。なお、記憶部３１にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成してもよい。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで、上記複数の各部を実現する。
【0117】
通信制御部３６Ａは、通信部３４を介した他の情報処理装置との通信を制御する。本実施形態では、通信制御部３６Ａは、車両１０に搭載された情報処理装置２０から関心情報を受信する。すなわち、通信制御部３６Ａは、走行する車両１０の走行環境情報の内、マーキング指示を表すマーキング指示情報に応じて乗員であるユーザＣの関心事象に関する関心情報として管理された走行環境情報を関心情報として受信する。詳細には、通信制御部３６Ａは、関心事象管理ＤＢ５２Ｃに登録されている関心情報と、該関心情報に対応付けられているマーキング指示情報および関心事象確認画面情報と、を情報処理装置２０から受信する。
【0118】
出力制御部３６Ｂは、通信制御部３６Ａで受信した関心情報を出力部３２へ出力する。詳細には、例えば、出力制御部３６Ｂは、通信制御部３６Ａで受信した関心情報を表す関心事象確認画面情報の関心事象確認画面６２を、出力部３２の表示画面へ出力する。
【0119】
図９は、端末装置３０の出力部３２の表示画面３２Ａに表示された関心事象確認画面６２の一例の模式図である。
【0120】
例えば、出力制御部３６Ｂは、通信制御部３６Ａで受信した関心事象確認画面情報の関心事象確認画面６２を、出力部３２の表示画面３２Ａへ出力する。なお、上述したように、出力制御部３６Ｂは、管理制御部５０Ｃと同様にして関心事象確認画面情報を生成し、生成した関心事象確認画面情報によって表される関心事象確認画面６２を出力部３２の表示画面３２Ａに表示してもよい。
【0121】
また、出力制御部３６Ｂは、複数の関心情報を情報処理装置２０から受信した場合、受信した複数の関心情報の各々の関心事象確認画面６２の一覧を表示画面３２Ａに表示してもよい。
【0122】
ユーザＣは、表示画面３２Ａに表示された関心事象確認画面６２を確認することで、車両１０の走行時に自身が関心を持った関心事象を容易に確認することができる。
【0123】
また、ユーザＣは、表示画面３２Ａに表示された関心事象確認画面６２について、「お気に入り」などの関心項目として記憶することを所望する場合、個人ライブラリ保存ボタン３３Ａを操作する。また、表示画面３２Ａに複数の関心事象確認画面６２が表示されている場合、ユーザＣは、所望の関心事象確認画面６２を選択し、個人ライブラリ保存ボタン３３Ａを操作する。
【0124】
個人ライブラリ保存ボタン３３Ａが操作されると、管理制御部３６Ｃは、関心項目として記憶する対象として選択された関心情報に、関心項目を表すフラグを付与して記憶部３１へ記憶する。また、管理制御部３６Ｃは、関心項目として記憶する対象として選択された関心情報を、関心項目を記憶するためのメモリ領域またはファイルに記憶してもよい。これらの記憶処理により、管理制御部３６Ｃは、車両１０から受信した関心情報の内、関心項目として記憶する対象として選択された関心情報を管理することができる。
【0125】
また、ユーザＣは、表示画面３２Ａに表示された関心事象確認画面６２について、サーバ装置４０で管理されている地図情報との連携を希望する場合には、転送ボタン３３Ｂを操作する。転送ボタン３３Ｂが操作されると、管理制御部３６Ｃは、選択された関心情報及びユーザＣのアカウント情報をサーバ装置４０へ送信する。
【0126】
サーバ装置４０では、受信したアカウント情報と受信した関心情報とを対応付けて管理すればよい。例えば、サーバ装置４０は、ユーザＣへの地図情報の提供時に、該ユーザＣのアカウント情報に対応付けられた関心情報と地図情報を該ユーザＣの端末装置３０等に提供すればよい。
【0127】
次に、本実施形態の情報処理システム１で実行される情報処理の流れの一例を説明する。
【0128】
図１０は、情報処理システム１で実行される情報処理の流れの一例を示すシーケンス図である。
【0129】
情報処理装置２０の記憶制御部５０Ａは、走行環境情報を取得する（ステップＳ１００）。情報処理装置２０の記憶制御部５０Ａは、走行環境情報を取得するごとに、走行環境情報と該走行環境情報の取得時刻と、を対応付けて走行環境管理ＤＢ５２Ｂに登録する（ステップＳ１０２）。
【0130】
受付部５０Ｂは、マーキング指示情報を受付ける（ステップＳ１０４）。車両１０の乗員であるユーザＣは、車両１０の走行中に関心事象が発生した場合、入力部３３を介してマーキング指示を入力する。ユーザＣによるマーキング指示の入力により、受付部５０Ｂはマーキング指示を表すマーキング指示情報を受付ける。
【0131】
管理制御部５０Ｃは、マーキング指示情報を受付けた時に、マーキング指示情報に応じた走行環境情報を特定し、車両１０の乗員であるユーザＣの関心事象に関する関心情報として関心事象管理ＤＢ５２Ｃに登録する（ステップＳ１０６）。
【0132】
また、管理制御部５０Ｃは、関心事象管理ＤＢ５２Ｃに登録した関心情報に対応する関心事象確認画面情報を生成し、関心事象管理ＤＢ５２Ｃに対応付けて登録する（ステップＳ１０８）。
【0133】
出力制御部５０Ｄは、関心情報の出力条件を満たした時に、関心事象管理ＤＢ５２Ｃに登録されている関心情報を出力する（ステップＳ１１０）。例えば、出力制御部５０Ｄは、関心情報をユーザＣの端末装置３０へ出力する。
【0134】
端末装置３０の通信制御部３６Ａは、関心事象管理ＤＢ５２Ｃに登録されている関心情報を情報処理装置２０から受信する（ステップＳ１１２）。上述したように、通信制御部３６Ａは、関心情報と、該関心情報に対応付けられているマーキング指示情報および関心事象確認画面情報と、を情報処理装置２０から受信してもよい。
【0135】
出力制御部３６Ｂは、ステップＳ１１で受信した関心情報を出力部３２の表示画面３２Ａへ出力する（ステップＳ１１４）。例えば、出力制御部３６Ｂは、関心事象確認画面６２を表示画面３２Ａへ表示させる。
【0136】
ユーザＣは、表示画面３２Ａに表示された関心事象確認画面６２について、「お気に入り」などの関心項目として記憶することを所望する場合、個人ライブラリ保存ボタン３３Ａを操作する。個人ライブラリ保存ボタン３３Ａが操作されると、管理制御部３６Ｃは、関心項目として記憶する対象として選択された関心情報を、関心項目を表すフラグに対応付けて記憶部３１へ記憶する。この記憶処理により、管理制御部３６Ｃは、車両１０から受信した関心情報の内、関心項目として記憶する対象として選択を受付けた関心情報を管理する（ステップＳ１１６）。
【0137】
また、ユーザＣは、表示画面３２Ａに表示された関心事象確認画面６２について、サーバ装置４０で管理されている地図情報との連携を希望する場合には、転送ボタン３３Ｂを操作する。転送ボタン３３Ｂが操作されると、管理制御部３６Ｃは、転送指示を受け付ける（ステップＳ１１８）。そして、管理制御部３６Ｃは、選択された関心情報及びユーザＣのアカウント情報をサーバ装置４０へ送信する（ステップ１２０）。
【0138】
サーバ装置４０では、受信したアカウント情報と受信した関心情報とを対応付けて登録する（ステップＳ１２２）。このため、サーバ装置４０は、ユーザＣへの地図情報の提供時に、該ユーザＣのアカウント情報に対応付けられた関心情報と地図情報を該ユーザＣの端末装置３０等に提供可能となる。
【0139】
次に、本実施形態の情報処理装置２０で実行する情報処理の流れの一例を説明する。
【0140】
図１１は、本実施形態の情報処理装置２０で実行する情報処理の流れの一例を示すフローチャートである。
【0141】
情報処理装置２０の記憶制御部５０Ａは、走行環境情報を取得したか否かを判断する（ステップＳ２００）。記憶制御部５０Ａは、走行環境情報を取得した場合（ステップＳ２００：Ｙｅｓ）、取得した走行環境情報と該走行環境情報の取得時刻と、を対応付けて走行環境管理ＤＢ５２Ｂに登録する（ステップＳ２０２）。そして、上記ステップＳ２００へ戻る。
【0142】
記憶制御部５０Ａは、ステップＳ２００で否定判断すると（ステップＳ２００：Ｎｏ）、ステップＳ２０４へ進む。ステップＳ２０４では、受付部５０Ｂが、マーキング指示情報を受付けたか否かを判断する（ステップＳ２０４）。ステップＳ２０４で否定判断すると（ステップＳ２０４：Ｎｏ）、後述するステップＳ２１８へ進む。ステップＳ２０４で肯定判断すると（ステップＳ２０４：Ｙｅｓ）、ステップＳ２０６へ進む。
【0143】
ステップＳ２０６では、管理制御部５０Ｃは、走行環境管理ＤＢ５２Ｂに登録されている走行環境情報の内、関心情報として登録する走行環境情報を、マーキング指示情報を用いて特定する（ステップＳ２０６）。
【0144】
例えば、管理制御部５０Ｃは、マーキング指示情報を受付けたタイミングである取得時刻に対応付けられた走行環境情報を、関心情報として登録する走行環境情報として特定する。
【0145】
また、例えば、管理制御部５０Ｃは、マーキング指示情報である音声データを解析することで、音声データに含まれるタイミングキーワードおよび特定情報を特定する。そして、管理制御部５０Ｃは、タイミングキーワードによって表される期間を取得時刻とする走行環境情報の内、特定情報によって特定される要素Ｅを含む走行環境情報を、関心情報として登録する走行環境情報として特定する。
【0146】
そして、管理制御部５０Ｃは、ステップＳ２０６で特定した走行環境情報を関心事象管理ＤＢ５２Ｃへ登録する（ステップＳ２０８）。
【0147】
そして、管理制御部５０Ｃは、ステップＳ２０８で関心事象管理ＤＢ５２Ｃに登録した関心情報に対応する関心事象確認画面６２の関心事象確認画面情報を生成し、関心事象管理ＤＢ５２Ｃに対応付けて登録する（ステップＳ２１０、ステップＳ２１２）。
【0148】
出力制御部５０Ｄは、関心情報を出力するか否かを判断する（ステップＳ２１４）。出力制御部５０Ｄは、関心情報を出力する予め定められた条件を満たすか否かを判別することで、ステップＳ２１３の判断を行う。例えば、出力制御部５０Ｄは、新たな関心情報が関心事象管理ＤＢ５２Ｃに登録されたか否かを判別することで、ステップＳ２１４で肯定判断してもよい。また、出力制御部５０Ｄは、ユーザＣによる入力部１０Ｂの操作指示などによって関心情報の出力指示が入力されたか否かを判別することで、ステップＳ２１４で肯定判断してもよい。また、出力制御部５０Ｄは、車両１０の駐車または車両１０のアクセサリ電源オフが検出されたか否かを判別することで、ステップＳ２１４で肯定判断してもよい。
【0149】
ステップＳ２１４で否定判断すると（ステップＳ２１４：Ｎｏ）、後述するステップＳ２１８へ進む。ステップＳ２１４で肯定判断すると（ステップＳ２１４：Ｙｅｓ）、ステップＳ２１６へ進む。ステップＳ２１６では。出力制御部５０Ｄは、関心事象管理ＤＢ５２Ｃに登録されている関心情報を出力する（ステップＳ２１６）。出力制御部５０Ｄは、関心事象管理ＤＢ５２Ｃに登録されている関心情報と、該関心情報に対応付けられているマーキング指示情報および関心事象確認画面情報の少なくとも一方と、を出力してもよい。また、出力制御部５０Ｄは、車両１０に搭載された出力部１０Ａ、端末装置３０、および地図情報５２Ａを管理するサーバ装置４０、の少なくとも１つに関心情報を出力すればよい。
【0150】
次に、処理部５０は、車両１０の走行が終了したか否かを判断する（ステップＳ２１８）。ステップＳ２１８で否定判断すると（ステップＳ２１８：Ｎｏ）、ステップＳ２００へ戻る。ステップＳ２１８で肯定判断すると（ステップＳ２１８：Ｙｅｓ）、本ルーチンを終了する。
【0151】
以上説明したように、本実施形態の情報処理装置２０は、記憶制御部５０Ａと、受付部５０Ｂと、管理制御部５０Ｃと、を備える。記憶制御部５０Ａは、走行する車両１０の位置情報および車両１０の周辺の撮影画像６０を含む走行環境情報と、走行環境情報の取得時刻と、を対応付けて記憶する。受付部５０Ｂは、マーキング指示を表すマーキング指示情報を受付ける。管理制御部５０Ｃは、マーキング指示情報を受付けた時に、マーキング指示情報に応じた走行環境情報を、乗員（ユーザＣ）の関心事象に関する関心情報として管理する。
【0152】
このように、本実施形態の情報処理装置２０では、走行する車両１０の走行環境情報および該走行環境情報の取得時刻を順次対応付けて記憶し、車両１０の走行中にユーザＣによるマーキング指示情報を受け付けた時に、マーキング指示情報に応じた走行環境情報を乗員（ユーザＣ）の関心事象に関する関心情報として管理する。
【0153】
このため、本実施形態の情報処理装置２０は、車両１０の走行中に発生した乗員の関心事象を、車両１０の走行終了後に提供可能に管理することができる。
【0154】
従って、本実施形態の情報処理装置２０は、車両１０の走行中に発生した乗員の関心事象を車両１０の走行終了後に容易に提供することができる。
【0155】
また、本実施形態の情報処理装置２０の管理制御部５０Ｃは、マーキング指示情報を受付けたタイミングである取得時刻に対応付けられた走行環境情報を、関心情報として管理する。
【0156】
このため、本実施形態の情報処理装置２０は、車両１０の走行中に乗員であるユーザＣの運転を妨げることなく、車両１０の走行中に発生したユーザＣの関心事象を、車両１０の走行終了後に検索可能に提供することができる。
【0157】
また、本実施形態の情報処理装置２０の受付部５０Ｂは、関心事象の発生タイミングにおける特定情報のマーキング指示を表すマーキング指示情報を受付ける。そして、管理制御部５０Ｃは、該発生タイミングがマーキング指示情報を受付けたタイミングを表す場合、マーキング指示情報を受付けた時刻である取得時刻に対応付けられた走行環境情報を関心情報として管理する。
【0158】
このため、本実施形態の情報処理装置２０は、走行環境管理ＤＢ５２Ｂに順次蓄積される走行環境情報の中から、ユーザＣによってマーキング指示のなされたタイミングの走行環境情報を、関心事象として提供することが可能となる。
【0159】
また、管理制御部５０Ｃは、該発生タイミングがマーキング指示情報を受付けたタイミングより過去のタイミングを表す場合、マーキング指示情報を受付けたタイミングから所定時間前のタイミングまでの期間の取得時刻に対応付けられた走行環境情報の内、特定情報によって特定される要素Ｅを含む走行環境情報を、関心情報として管理する。
【0160】
このため、本実施形態の情報処理装置２０は、走行環境管理ＤＢ５２Ｂに順次蓄積される走行環境情報の中から、ユーザＣによってマーキング指示のなされたタイミングより過去に発生した関心事象の発生タイミングに応じた走行環境情報を、関心事象として提供することが可能となる。
【0161】
なお、本実施形態では、情報処理装置２０を、車両１０に搭載した形態を一例として説明した。しかし、情報処理装置２０を、車両１０の外部に搭載した構成としてもよい。この場合、情報処理装置２０は、車両１０に搭載された撮影部１０Ｄなどの電子機器の各々と、ネットワークを介して通信可能な構成とすればよい。
【0162】
なお、上述した実施形態における、上記情報処理を実行するためのプログラムは、上記各機能部を含むモジュール構成となっており、実際のハードウェアとしては、例えば、ＣＰＵ（プロセッサ回路）がＲＯＭまたはＨＤＤから情報処理プログラムを読み出して実行することにより、上述した各機能部がＲＡＭ（主記憶）上にロードされ、上述した各機能部がＲＡＭ（主記憶）上に生成されるようになっている。なお、上述した各機能部の一部または全部を、ＡＳＩＣ（Application Specific Integrated Circuit）またはＦＰＧＡ（Field-Programmable Gate Array）などの専用のハードウェアを用いて実現することも可能である。
【0163】
なお、上記には、実施形態を説明したが、上記実施形態は、例として提示したものであり、本開示の範囲を限定することは意図していない。上記新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上記実施形態は、本開示の範囲または要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0164】
１０ 車両
２０ 情報処理装置
５０Ａ 記憶制御部
５０Ｂ 受付部
５０Ｃ 管理制御部
５０Ｄ 出力制御部
３０ 端末装置
２０ 情報処理装置
５０Ａ 記憶制御部
５０Ｂ 受付部
５０Ｃ 管理制御部
５０Ｄ 出力制御部
３０ 端末装置
【図1】
【図2】
【図3A】
【図3B】
【図4】
【図5A】
【図5B】
【図6A】
【図6B】
【図7】
【図8】
【図9】
【図10】
【図11】