特開 2023-152707 情報提示方法、情報提示システム、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023152707

(43)【公開日】2023-10-17

(54)【発明の名称】情報提示方法、情報提示システム、及びプログラム

(51)【国際特許分類】

   G01C 21/36 20060101AFI20231005BHJP

   G06T 19/00 20110101ALI20231005BHJP

   G06Q 30/0241 20230101ALI20231005BHJP

   G06F 3/01 20060101ALI20231005BHJP

   G06F 3/04815 20220101ALI20231005BHJP

【ＦＩ】

G01C21/36

G06T19/00 600

G06Q30/0241 444

G06F3/01 510

G06F3/04815

【審査請求】未請求

【請求項の数】17

【出願形態】ＯＬ

(21)【出願番号】P 2023017396

(22)【出願日】2023-02-08

(31)【優先権主張番号】P 2022056045

(32)【優先日】2022-03-30

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】矢羽田 洋

(72)【発明者】

【氏名】廣田 智之

(72)【発明者】

【氏名】直井 雄作

【テーマコード（参考）】

2F129

5B050

5E555

5L049

【Ｆターム（参考）】

2F129AA03

2F129BB02

2F129FF02

2F129FF12

2F129FF15

2F129GG17

2F129GG18

2F129HH14

2F129HH15

5B050AA10

5B050BA09

5B050BA11

5B050CA08

5B050DA04

5B050EA09

5B050EA19

5B050EA27

5B050FA02

5B050FA05

5E555AA27

5E555AA64

5E555BA23

5E555BB23

5E555BC17

5E555BE16

5E555BE17

5E555CA42

5E555CA45

5E555CA47

5E555CB64

5E555CB65

5E555CB82

5E555DB53

5E555DC09

5E555DC36

5E555DC43

5E555DD07

5E555FA00

5L049BB08

(57)【要約】

【課題】移動の体験価値を高めることができる情報提示方法、情報提示システム、及びプログラムを提供する。
【解決手段】本開示の情報提示方法は、車両に搭載されている位置センサーから、車両の現在位置を示す位置情報を取得し、車両に搭載されている少なくとも１つの第１センサーから、車両の車室内の状況を示す車内情報を取得し、車内情報に基づいて、車室内の第１ユーザが車両の周囲にあるオブジェクトに興味を示したことを示す第１動作が行われたか否かを判定し、第１動作が行われたと判定した場合に、第１動作が行われた第１時刻における位置情報及び車内情報と、地図情報とに基づいて、第１時刻における第１ユーザの視界をシミュレートした３Ｄマップ画像を、車両に搭載されたディスプレイに表示し、３Ｄマップ画像に含まれる１以上の仮想オブジェクトのうち、オブジェクトに対応すると予測する第１仮想オブジェクトをディスプレイに識別可能に表示する。
【選択図】図４

【特許請求の範囲】

【請求項1】

車両に搭載され、地図情報を保有している情報提示システムにおける情報提示方法であって、
前記車両に搭載されている位置センサーから、前記車両の現在位置を示す位置情報を取得し、
前記車両に搭載されている少なくとも１つの第１センサーから、前記車両の車室内の状況を示す車内情報を取得し、
前記車内情報に基づいて、前記車室内の第１ユーザが前記車両の周囲にあるオブジェクトに興味を示したことを示す第１動作が行われたか否かを判定し、
前記第１動作が行われたと判定した場合に、前記第１動作が行われた第１時刻における前記位置情報及び前記車内情報と、前記地図情報とに基づいて、前記第１時刻における前記第１ユーザの視界をシミュレートした３Ｄマップ画像を、前記車両に搭載されたディスプレイに表示し、
前記３Ｄマップ画像に含まれる１以上の仮想オブジェクトのうち、前記オブジェクトに対応すると予測する第１仮想オブジェクトを、前記ディスプレイに識別可能に表示する、
ことを含む情報提示方法。

【請求項2】

前記少なくとも１つの第１センサーは、車内カメラおよびマイクを含み、
前記第１動作の判定において、
前記マイクにより取得された音声信号から、前記第１ユーザによって発話された第１フレーズを検知し、
前記第１フレーズが前記興味を表す特定のフレーズである場合に、前記第１フレーズが発話された時刻、または前記時刻以前の所定期間において前記車内カメラにより取得された前記第１ユーザの画像に基づき、前記第１ユーザの視線方向を特定し、
前記視線方向が前記車両の外を向いている場合に、前記第１動作が行われたと判定する、
請求項１に記載の情報提示方法。

【請求項3】

前記少なくとも１つの第１センサーは、車内カメラを含み、
前記３Ｄマップ画像の表示において、
前記車内カメラにより取得された前記第１ユーザの画像に基づいて、前記第１時刻における前記第１ユーザの視線方向を特定し、
前記第１時刻における前記車両の位置と前記第１ユーザの前記視線方向と、前記地図情報とに基づいて、前記第１時刻における前記第１ユーザの視界領域を特定し、
前記視界領域に関する情報を、３Ｄマップ情報を管理する外部のコンピュータに送信し、
前記外部のコンピュータから、前記視界領域に対応して抽出された前記３Ｄマップ画像を受け取り、
前記３Ｄマップ画像を、前記車両に搭載された前記ディスプレイに表示し、
前記第１仮想オブジェクトの特定において、
前記オブジェクトに対応すると予測される１以上のオブジェクト候補を抽出し、
前記１以上のオブジェクト候補が複数のオブジェクト候補である場合には、前記１以上のオブジェクト候補にそれぞれ対応する１以上の仮想オブジェクトの中から、前記第１ユーザからの入力によって選択された１つを、前記第１仮想オブジェクトとして特定する、
請求項１に記載の情報提示方法。

【請求項4】

さらに、
特定された前記１以上の仮想オブジェクトを、前記３Ｄマップ画像上にハイライト表示する、
請求項１に記載の情報提示方法。

【請求項5】

前記３Ｄマップ画像は、前記第１時刻における前記第１ユーザの第１仮想視点からの視界をシミュレートすることで描画され、
前記第１ユーザからの入力に応じて、前記３Ｄマップ画像に前記１以上の仮想オブジェクトが含まれるよう維持しながら、前記第１仮想視点から他の仮想視点への変更を受け付ける、
請求項１に記載の情報提示方法。

【請求項6】

さらに、
前記車両に搭載されている少なくとも１つの第３センサーから、前記車両の走行状態を示す走行情報を取得し、
前記車内情報及び前記走行情報に基づいて、前記第１ユーザが前記車両の運転者であり、かつ、前記車両が走行している場合、前記３Ｄマップ画像を前記運転者に向けて表示せず、
前記車内情報及び前記走行情報に基づいて、前記第１ユーザが前記運転者であり、かつ、前記車両が停車している場合、前記３Ｄマップ画像を前記運転者に向けて表示し、
前記車内情報及び前記走行情報に基づいて、前記第１ユーザが前記運転者ではない乗員である場合、前記３Ｄマップ画像を前記乗員に向けて表示する、
請求項１に記載の情報提示方法。

【請求項7】

さらに、
前記車両に搭載されている少なくとも１つの第３センサーから、前記車両の走行状態を示す走行情報を取得し、
前記車内情報及び前記走行情報に基づいて、前記第１ユーザが前記車両の運転者であり、かつ、前記車両が走行している場合、前記第１仮想オブジェクトを特定するための前記第１ユーザによる入力を、前記車両に設けられたマイクから受け付け、
前記車内情報及び前記走行情報に基づいて、前記第１ユーザが前記運転者であり、かつ、前記車両が停車している場合、前記第１ユーザによる前記入力を、前記ディスプレイに設けられた接触センサー及び前記マイクの両方から受け付け、
前記車内情報及び前記走行情報に基づいて、前記第１ユーザが前記運転者ではない乗員である場合、前記第１ユーザによる前記入力を、前記接触センサー及び前記マイクの両方から受け付ける、
請求項１に記載の情報提示方法。

【請求項8】

さらに、
前記車両に搭載されている少なくとも１つの第３センサーから、前記車両の走行状態を示す走行情報を取得し、
前記走行情報は、前記車両が実行している自動運転のレベルを示すレベル情報を含み、
前記走行情報と前記車内情報とに基づいて、前記第１ユーザが運転席に着座しており、かつ、前記レベルが所定のレベルよりも低い場合に、前記第１ユーザが前記運転者であると判定し、
前記走行状態と前記車内情報とに基づいて、前記第１ユーザが運転席に着座しており、かつ、前記レベルが前記所定のレベルよりも高い場合に、前記第１ユーザが前記乗員であると判定し、
前記走行状態と前記車内情報とに基づいて、前記第１ユーザが運転席以外の座席に着座している高い場合に、前記第１ユーザが前記乗員であると判定する、
請求項７に記載の情報提示方法。

【請求項9】

さらに、
前記車両に搭載されている少なくとも１つの第３センサーから、前記車両の走行状態を示す走行情報を取得し、
前記車内情報及び前記走行情報に基づいて、前記第１ユーザが前記車両の運転者であり、かつ、前記車両が走行している場合、前記３Ｄマップ画像の前記運転者に向けた表示を制限または保留し、
前記車内情報及び前記走行情報に基づいて、前記第１ユーザが前記車両の運転者であり、かつ、前記車両が走行していない場合、あるいは、前記第１ユーザが前記車両の運転者でない場合、前記３Ｄマップ画像を制限または保留することなく前記ディスプレイに表示する、
請求項１に記載の情報提示方法。

【請求項10】

さらに、
前記第１仮想オブジェクトを特定した後、第１オブジェクト情報を前記第１ユーザに対して提供し、
前記第１オブジェクト情報は、前記３Ｄマップ画像内の前記第１仮想オブジェクトに対応する現実空間内の第１オブジェクトを説明するための情報である、
請求項１に記載の情報提示方法。

【請求項11】

前記第１ユーザが前記車両の運転者である場合における前記第１オブジェクト情報の情報量は、前記第１ユーザが前記運転者でない場合における前記第１オブジェクト情報の情報量に比べて少ない、
請求項１０に記載の情報提示方法。

【請求項12】

さらに、
前記第１オブジェクト情報を、前記車室内の前記第１ユーザ以外の少なくとも１人の第２ユーザに共有する、
請求項１０に記載の情報提示方法。

【請求項13】

さらに、
前記第１オブジェクト情報を前記第１ユーザおよび前記少なくとも１人の第２ユーザに提供した後に取得された前記車内情報に基づいて、前記第１ユーザおよび前記少なくとも１人の第２ユーザのそれぞれにおける前記第１オブジェクト情報に対する興味の度合いを推定し、
前記第１オブジェクトを特定するための第１オブジェクトＩＤと、前記第１ユーザおよび前記少なくとも１人の第２ユーザのそれぞれにおける前記第１オブジェクト情報に対する前記興味の度合いとを、前記車両に搭載されている記憶部に記憶する、
請求項１２に記載の情報提示方法。

【請求項14】

さらに、
前記車両に搭載されている少なくとも１つの第２センサーから、前記車両の周囲の状況を示す車外情報を取得し、
前記３Ｄマップ画像は、前記位置情報及び前記車内情報と、前記地図情報と、前記車外情報と基づいて表示される、
請求項１に記載の情報提示方法。

【請求項15】

さらに、
前記車両に搭載されている少なくとも１つの第２センサーから、前記車両の周囲の状況を示す車外情報を取得し、
前記３Ｄマップ画像は、前記位置情報及び前記車内情報と、前記地図情報と、前記車外情報と基づいて表示され、
前記第１仮想オブジェクトの表示は、
前記車外情報に基づいて、前記第１ユーザが興味を示した前記オブジェクトに該当すると予測される前記第１オブジェクトを特定し、
前記第１オブジェクトに対応する前記第１仮想オブジェクトを、前記ディスプレイに識別可能に表示する、
ことを含む、
請求項１０に記載の情報提示方法。

【請求項16】

車両に搭載される情報提示システムであって、
前記位置センサーと、前記少なくとも１つの第１センサーとに接続される少なくとも１つのインターフェースと、
前記ディスプレイと、
プロセッサと、
請求項１から１５のいずれか１項に記載の情報提示方法を前記プロセッサに実行させるためのプログラムが格納されたメモリと、
を備える情報提示システム。

【請求項17】

請求項１から１５のいずれか１項に記載の情報提示方法を情報提示システムに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報提示方法、情報提示システム、及びプログラムに関するものである。

【背景技術】

【0002】

特許文献１は、発話者の視線位置を発話者以外の乗員と共有する方法が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第６０１６７３２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１の技術ではさらなる改善が必要である。

【0005】

本開示は、移動の体験価値を高める情報提示方法、情報提示システム、及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本開示の一態様に係る情報提示方法は、車両に搭載され、地図情報を保有している情報提示システムにおける情報提示方法であって、前記車両に搭載されている位置センサーから、前記車両の現在位置を示す位置情報を取得し、前記車両に搭載されている少なくとも１つの第１センサーから、前記車両の車室内の状況を示す車内情報を取得し、前記車内情報に基づいて、前記車室内の第１ユーザが前記車両の周囲にあるオブジェクトに興味を示したことを示す第１動作が行われたか否かを判定し、前記第１動作が行われたと判定した場合に、前記第１動作が行われた第１時刻における前記位置情報及び前記車内情報と、前記地図情報とに基づいて、前記第１時刻における前記第１ユーザの視界をシミュレートした３Ｄマップ画像を、前記車両に搭載されたディスプレイに表示し、前記３Ｄマップ画像に含まれる１以上の仮想オブジェクトのうち、前記オブジェクトに対応すると予測する第１仮想オブジェクトを、前記ディスプレイに識別可能に表示する、情報提示方法。

【発明の効果】

【0007】

本開示によれば、さらなる改善ができる。

【図面の簡単な説明】

【0008】

【図1】情報提示システムと関連する機器の全体構成の一例を示すブロック図。

【図2】情報提示システムと関連する機器の全体構成の一例を示すブロック図。

【図3】車両に具備された情報入出力部の一例を説明する図。

【図4】車両からの情報検索の一例を説明する図。

【図5】ユーザの視線情報を検出する一例を説明する図。

【図6】視線情報に基づく興味対象物の検索範囲の一例を説明する図。

【図7】興味対象物に関する情報表示の一例を説明する図。

【図8】興味対象物に関する情報表示の一例を説明する図。

【図9】興味対象物に関する情報表示と選択方法の一例を説明する図。

【図10】視線情報による情報検索の一例を示すフローチャート図。

【図11】ユーザの興味情報の一例を示すデータ構造図。

【図12】ユーザの興味カテゴリの一例を示すデータ構造図。

【図13】興味情報を重畳した地図表示を行う一例を示すフローチャート図。

【図14】興味情報を重畳した地図表示の一例を示す図。

【図15】興味情報から経由地を表示する一例を示すフローチャート図。

【図16】興味情報を重畳した地図表示の一例を示す図。

【図17】変形例１に係る車両に具備された情報入出力部の一例を説明する図。

【図18】変形例２に係る視線情報による情報検索の一例を示すフローチャート図。

【図19】変形例３に係る視線情報による情報検索の一例を示すフローチャート図。

【図20】変形例４に係る情報提示の一例を示すフローチャート図。

【発明を実施するための形態】

【0009】

（本開示に至る経緯）
我々の日常生活を取り巻く環境はますますデジタル化されてきている。例えば、多くの人が個人専用の情報端末であるスマートフォンを保有し、そのスマートフォンにユーザの健康管理を行うアプリケーション（以下、アプリケーションをアプリと呼ぶ）、他人とのコミュニケーションを行うソーシャルコミュニケーションアプリ、など様々なアプリをインストールして利用するようになった。

【0010】

本開示は、多様な情報処理能力がある情報端末であるスマートフォンと、スマートフォンで動作するアプリと、ネットワークを介して接続され多様な情報を管理、提供するコンピュータ（以下、このコンピュータをクラウドまたはサーバと呼ぶ。ただし、本開示においては、このコンピュータは中央集権的なクラウドやサーバだけを意図しておらず、複数のコンピュータ（ノード）によって情報が管理される分散型台帳技術を用いたコンピュータシステムの全体、またはその構成要素である１つのコンピュータも含む）と、ユーザの情報検索を支援する高度な情報処理能力を備えた移動体（以下、車両と呼ぶ）と、その車両で動作するアプリとを連携動作させることによって、健康な、幸福な、快適な、便利な、安心な、安全な、愉しい、経済的な、合理的な、生活ができるようにユーザを支援するための技術を開示していく。

【0011】

なお、本開示は、ここで用いられる制御方法に含まれる特徴的な各構成をコンピュータに実行させるプログラム、或いはこのプログラムによって動作するシステムとして実現することもできる。また、このようなコンピュータプログラムを、ＳＤカード等のコンピュータ読取可能な非一時的な記録媒体あるいはインターネット等の通信ネットワークを介して流通させることができる。

【0012】

なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、ステップ、ステップの順序などは、一例であり、本開示を限定するものではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また全ての実施の形態において、各々の構成要素、処理のステップやその順序を組み合わせることもできる。

【0013】

（実施の形態）
我々の社会は、今後もさらにインターネットが普及し、各種センサーが身近になることが予想される。これにより、我々の社会は、個人の内部状態及び活動等に関する情報から建造物及び交通網等を含む街全体の情報までもが、デジタル化されてコンピュータシステムで利用できる状態になっていくと予想される。デジタル化された個人に関するデータ（個人情報）は、通信ネットワークを介してビッグデータとして情報銀行などのクラウドサーバに安全に管理され、個人や社会のために様々な用途に利用されていく。

【0014】

このような高度情報化社会は、日本ではＳｏｃｉｅｔｙ５．０と呼ばれる。高度情報化社会は、個人を取り囲む物質世界である現実空間（フィジカル空間）とコンピュータ同士が連携してフィジカル空間に関する各種処理がなされる仮想空間（サイバー空間）とを高度に融合させた情報基盤（サイバーフィジカルシステム）により、経済発展と社会的課題の解決とが期待される社会である。

【0015】

そうした高度情報化社会では、個人が行う日常の様々なシーンでのコミュニケーション（情報の取得、提供、およびその表現方法を含む）や行動を分析し、蓄積した個人情報を含むビッグデータを分析することで、そのシーンに応じた、その個人にとって最適と思われるコミュニケーションの方法にて、その個人に必要な情報やサービスを提供することが可能になる。

【0016】

以降では、そのようなサイバーフィジカルシステムが稼働する高度情報化社会において、移動に伴う新たな発見を促進、演出することで移動の体験価値を高める、具体的な実施形態について説明していく。

【0017】

図１は、情報提示システムと関連する機器の全体構成の一例を示すブロック図である。ここでは、情報提示システムは、ユーザが運転または乗車する車両１００に搭載される情報提示機能を提供する機器またはシステム全体（狭義的には図２の情報入出力部１０６）を指す。情報提示システムと関連する機器には、ユーザが所有する情報端末２００（例えばスマートフォン）がある。車両１００と情報端末２００とは、４Ｇ（第４世代移動通信システム）、５Ｇ（第５世代移動通信システム）と呼ばれるセルラー通信３１０などの無線通信規格を用いて広域通信網であるインターネット３００に接続し、各種情報にアクセスすることができる。例えば、車両１００と情報端末２００とは、セルラー通信３１０及びインターネット３００を介して、個人情報管理クラウド４００、車両管理クラウド５００、及び第三者クラウド６００にアクセスすることができる。また、車両１００と情報端末２００とは、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、超広帯域無線通信規格であるＵＷＢなどを用いて近距離にあるデバイスとは直接的に近距離無線通信７００をすることができる。

【0018】

情報端末２００は、車両１００を利用するための電子鍵２１０と、ユーザの運転免許証であるデジタル運転免許証２２０とを記憶する。デジタル運転免許証２２０にはユーザが運転をする際に必要となる条件が含まれる。車両１００を利用するために必要となる電子鍵２１０は、情報端末２００が車両管理クラウド５００とインターネット３００とを経由して通信して取得したものである。さらに情報端末２００には、ユーザの個人情報や興味に関する情報（以下、興味情報と呼ぶ）を集約して第三者への共有を本人許諾に基づき管理するパーソナルデータストア（以下、ＰＤＳと呼ぶ）、またはこのように社会的なデータ流通の仲介機能を提供する情報銀行としての機能を提供するアプリが含まれていても良い。

【0019】

インターネット３００には、情報銀行やＰＤＳの機能を提供する個人情報管理クラウド４００がある。個人情報管理クラウド４００は、ユーザの個人情報や興味情報などが集約されて管理されており、第三者の利用を本人許諾に基づき管理している。なお、前述の通り、スマートフォン、または車両１００でＰＤＳ機能を提供することも考えられるため、本開示ではＰＤＳとして包括的に説明するが、情報銀行やＰＤＳの実体として、情報端末２００、車両１００、個人情報管理クラウド４００の１つ以上を用いて、そのような個人情報や興味情報などが管理されているとして説明する。本開示においては、これら情報はどちらで管理されていても構わない。

【0020】

車両管理クラウド５００は、車両１００と紐づけられた電子鍵２１０にて車両１００を利用できるよう車両１００と連携して動作する。また、車両管理クラウド５００は、車両１００の利用状況や、安全運転機能の設定についても、車両１００の演算部１０３にて実行されるアプリと連携して情報の取得、設定、更新、管理などを行う。

【0021】

第三者クラウド６００は、ユーザかつ／または車両１００に関連するサービスを第三者が提供するためのクラウドである。例えば、第三者クラウド６００は、乗客Ｐであるユーザの個人情報や興味情報をＰＤＳから取得し、ユーザが興味ありそうな場所を時と場合に応じて提案するサービスを実現するために用いられる。第三者クラウド６００は、例えば、地図情報クラウド６００ａ（図１０参照）や旅行会社クラウド６００ｂ（図１５参照）などがある。

【0022】

図２は、情報提示システムと関連する機器の全体構成の一例を示すブロック図である。情報端末２００は、現在位置、映像情報、音声情報、かつ／または周辺環境の物理量を取得するためのセンサー部２０１、ユーザとの間で映像や音声などの情報を入出力する情報入出力部２０４、ユーザからのボタン押下やタッチ操作などを受け付ける操作部２０５、情報端末２００の中で行われる各種演算や情報描画などの情報処理を行うプロセッサなどの演算部２０２、演算部２０２が使うデータやファイルを保持するメモリ２０６、および通信ネットワーク上の他のコンピュータと通信を行うための通信部２０３を備える。電子鍵２１０によって車両１００を利用する鍵管理を行うアプリは、収集した個人情報や興味情報を管理するアプリなどが情報端末２００にインストールされる。情報端末２００のメモリ２０６に、そのアプリに含まれるプログラムと必要なデータとが記録された場合に、演算部２０２は、そのプログラムを実行する。

【0023】

尚、情報端末２００は、スマートフォンとして説明するが、それに限られない。情報端末２００は、腕時計型のスマートウォッチ、眼鏡型のスマートグラス、指輪型のスマートリング、音声操作するスマートスピーカー、もしくは可動部も備えるロボットのような形態であっても良い。

【0024】

個人情報管理クラウド４００は、通信ネットワーク上の他のコンピュータと通信を行うための通信部４０２、車両１００やユーザに関する情報やその管理プログラムを記録しているメモリ４０３、及び、各種のデータ処理を行うプロセッサなどの演算部４０１を備える。

【0025】

車両管理クラウド５００は、通信ネットワーク上の他のコンピュータと通信を行うための通信部５０２、車両１００やユーザに関する情報やその管理プログラムを記録しているメモリ５０３、及び、各種のデータ処理を行うプロセッサなどの演算部５０１を備える。

【0026】

第三者クラウド６００は、通信ネットワーク上の他のコンピュータと通信を行うための通信部６０２、車両１００やユーザに関する情報やその管理プログラムを記録しているメモリ６０３、及び、各種のデータ処理を行うプロセッサなどの演算部６０１を備える。

【0027】

車両１００は、車両１００の移動や車室空間内の装置（座席など）を動かすための可動部１０５、車両１００周囲や車室内を照らす照明部１０１、車両１００の周囲の人や車、さらに車室内の人や物の位置や状態を検知するためのセンサー部１０２、乗客Ｐに様々な映像音声情報を提供すると共に、乗客Ｐからタッチ操作や音声操作などの入力を受け付ける情報入出力部１０６、開錠する鍵を認証し、車両１００のドアの施錠／開錠を制御する鍵制御部１０７、車両基幹システムや車両機能に関する各種処理を実行するプロセッサなどの演算部１０３、車両基幹システムのプログラムや鍵管理のデータベースを含む各種データを記録しているメモリ１０８、及び、外部機器との無線通信を行う通信部１０４、を有する。また、センサー部１０２は、少なくとも１つのインターフェースを介して、演算部１０３に接続される。センサー部１０２は、少なくとも一つのセンサーを有する。例えば、センサー部１０２は、車両１００の周辺をセンシングするＬｉＤＡＲ（Light Detection And Ranging）、車両１００の周辺を撮影するカメラ、ハンドル操舵角、加速度センサーなどが含まれる。さらに、センサー部１０２は、車室内を撮影するカメラ、車室内の音声を取得する音声マイクが含まれる。また、センサー部１０２には、車両１００の現在位置を示す位置情報を取得する位置センサーが含まれていてもよい。

【0028】

尚、個人情報管理クラウド４００、車両管理クラウド５００、第三者クラウド６００、車両１００、及び情報端末２００は、広域通信網のインターネット３００ではない通信手段により、通信が為されても良い。例えば、車両１００と情報端末２００との間で行われる開錠処理については、近距離無線通信７００が用いられても良い。

【0029】

図３は、車両１００に具備された情報入出力部１０６の一例を説明する図である。図３は車両１００内から見た運転席周辺の様子を示している。運転者Ｄは運転席に座りハンドル１１０を操作している。情報入出力部１０６は、運転者Ｄや乗客Ｐに様々な映像音声情報を提供すると共に、運転者Ｄや乗客Ｐからタッチ操作や音声操作などの入力を受け付ける接触センサーを具備したコックピット１２０、空間映像投影装置１４０を有する。尚、情報入出力部１０６は、運転者Ｄや乗客Ｐからのタッチ操作、ジェスチャー、音声操作などを介して操作を受け付け、コックピット１２０、空間映像投影装置１４０、スピーカー１６１などを介して情報を出力する場合は、センサー部１０２、及び音声マイク１５１を含めても良い。

【0030】

コックピット１２０には水平方向に３分割された情報が表示されている。運転者Ｄの前には車両情報を示すメーター類を含む車両情報画面１２１が表示されている。真ん中にはナビゲーション情報を示すナビゲーション画面１２２が表示されている。右端には時と場所、ユーザの興味に応じた情報を表示する付加情報を示す付加情報画面１２３が表示されている。

【0031】

正面前方にフロントガラス１３１があり、上部には運転者Ｄおよび乗客Ｐの状態を検知するためのセンサー部１０２、及び音声マイク１５１が具備されたルームミラー１５０がある。例えば、センサー部１０２は、ＲＧＢカメラ、赤外線ＬＥＤ（Light Emitting Diode）と赤外線カメラとの組み合わせ、マルチスペクトルカメラ、電磁波の反射変動を利用した電波センサー、マイクなどである。

【0032】

センサー部１０２は、この図ではルームミラー１５０以外にもコックピット１２０の左右端に備え付けられている。コックピット１２０の左右には、２つの独立したスピーカー１６１がある。

【0033】

ダッシュボードには運転者Ｄの前方方向への空間映像投影装置１４０（透明パネル、フロントガラス１３１、または運転者Ｄの前方空間内に視覚映像を結像させることができるヘッドアップディスプレイ（ホログラフィックディスプレイを含む）、２面コーナーリフレクタアレイを利用したディスプレイ、透明パネルに視覚映像を表示させる透明ディスプレイ、網膜に直接結像させる網膜ディスプレイなど）がある。

【0034】

図４は、車両１００からの情報検索の一例を説明する図である。左下に図３で説明したコックピット１２０があり、右上に車両１００周辺の状況が描かれている。車両１００の進行方向右斜め前にはいくつかの建物があり、角地に立つ建物の前には、人が数名並んでいる。運転者Ｄは、車両１００進行方向正面を見ており、その視線が矢印で書かれている。一方で、助手席に座る乗客Ｐは、この行列を見ており、何故行列ができているのかを疑問に思い「何の行列？」と質問をしている。

【0035】

上記の通り、車室内の音声マイク１５１を通じて、この乗客Ｐの音声が聞き取られ、この音声信号が車両１００の演算部１０３にて音声認識されて「何の行列？」という文字列に変換される。ここで、車両１００の演算部１０３は、複数の音声マイク１５１からの音声情報を比較することで、またはセンサー部１０２が撮影した乗客Ｐの顔映像から口の動きを認識することで、この音声の発話者が助手席に座る乗客Ｐであることを特定する。これによって、車両１００の演算部１０３は、助手席に座る乗客Ｐが「何の行列？」という質問をした、ということを認識する。

【0036】

図５は、ユーザの視線情報を検出する一例を説明する図である。演算部１０３は、車室内向けに備え付けられたセンサー部１０２（カメラなど）を用いて、質問をした助手席に座る乗客Ｐの視線情報を、その質問がされている時間において取得する。例えば、演算部１０３は、乗客Ｐの顔映像をセンサー部１０２で取得し、顔映像の顔の向き、目の位置、目の向きを画像認識により取得することにより視線情報を取得することができる。演算部１０３は、車両１００に搭載されている少なくとも１つのセンサー部１０２から、車両１００の車室内の状況を示す車内情報を取得する。例えば、少なくとも１つのセンサー部１０２は、車内を撮像する車内カメラやマイクを含む。

【0037】

これによって車両１００の演算部１０３は、質問をした乗客Ｐが質問をした際にどの方向を見ていたのかの視線情報を、車室内の座標空間において取得することができる。例えば、視線情報は、車両１００後方から前方への向きを表す車体方向と質問をした乗客Ｐの視線方向のなす角を地表面と平行な２次元平面とで表現されても良いし、車体方向により座標軸が固定される３次元空間におけるベクトルとして表現されても良い。

【0038】

図６は、視線情報に基づく興味対象物の検索範囲Ｒ１の一例を説明する図である。図６は、車両１００周辺の３Ｄ地図空間において、乗客Ｐの視線情報を表現し直す。車両１００の演算部１０３は、乗客Ｐが質問をしたタイミングに、センサー部１０２が検出した車両１００の向きおよび現在位置を示す位置情報を取得する。車両１００の演算部１０３は、ＧＮＳＳ（Global Navigation Satellite System）、車両１００の周辺形状をセンシングするＬｉＤＡＲ、ハンドル操舵角、加速度センサーなどの何れか１つ以上を用いて、車両１００の向き（車両方向Ｒ２）や車両１００の位置情報を取得する。すなわち、演算部１０３は、車両１００に搭載されている位置センサーから、車両１００の現在位置を示す位置情報を取得する。特定された車両１００の位置情報に乗客Ｐが座る座席位置と姿勢（頭部位置）を加味することで、演算部１０３は、質問を行った乗客Ｐの位置情報（乗客位置Ｒ３）を３Ｄ地図空間上に表現することができる。なお、乗客位置Ｒ３は車両１００の位置情報で代替しても良い。

【0039】

この車体方向と乗客位置Ｒ３が３Ｄ地図空間上で確定することにより、演算部１０３は、上記の車室内の座標空間における視線情報を３Ｄ地図空間上に変換することが可能である。このようにして得られた視線情報は、乗客Ｐの視線の方向である乗客視線方向Ｒ４を示している。車両１００の演算部１０３は、３Ｄ地図空間上での視線情報をもとに、乗客Ｐの興味対象物が存在すると思われる検索範囲Ｒ１を設定する。ここでは、演算部１０３は、乗客位置Ｒ３からその乗客Ｐの視線方向に広がる扇型を検索範囲Ｒ１として設定している。

【0040】

ここで得られた検索範囲Ｒ１を乗客位置Ｒ３から視線方向を中心として見る場合、演算部１０３は、乗客Ｐとの位置や建物のオクルージョンにより乗客Ｐが視認し易い、または視認可能な興味対象物を抽出することが可能である。このために車両１００の演算部１０３は、２次元の地図情報ではなく、３Ｄマップ情報から乗客Ｐから見える風景をシミュレートして、興味対象物の候補である興味対象物候補Ｒ５を絞り込む。

【0041】

その結果、図で色を付けた３つの建物（興味対象物候補Ｒ５）は、この検索範囲Ｒ１内であり（一定量以上が重なっており）、質問をした時の乗客位置Ｒ３から、ユーザの視線方向を見た場合に、容易に視認できる興味対象物候補Ｒ５として抽出される。

【0042】

演算部１０３は、抽出された興味対象物候補Ｒ５（建物）の内、視線情報により興味対象物が１つに所定量以上の確からしさで絞り込める場合は、それで興味対象物を特定しても良い。

【0043】

また、抽出された興味対象物候補Ｒ５（建物）の内、乗客Ｐの質問にある「行列」との関連度が高い対象物を、車両１００に備え付けられたセンサー部１０２（車両１００の周辺を撮影するカメラなど）を用いて演算部１０３が評価して１つに特定できたり、車両１００の通信部１０４を介してそれぞれの建物が「行列」と関連する（共起する）度合いをインターネット３００で検索することで１つに特定できる場合には、そのようにして乗客Ｐの興味対象物を特定しても良い。

【0044】

所定の確からしさに基づいて１つの興味対象物に絞り込める場合に、図７、図８のように情報入出力部１０６は、情報検索結果を乗客Ｐに提示する。この場合、図７の付加情報画面１２３のように所定の確からしさで絞り込めた１つの興味対象物だけを表示するようにしても良い。一方で、１つの興味対象物に絞り込むことができない確からしさである場合に、図９に示すように情報入出力部１０６は、複数の興味対象物候補Ｒ５を表示して、ユーザに興味対象物を選択させる。このように、興味対象物の確からしさの判定結果に応じて、興味対象物候補の表示方法を切り替えるようにしても良い。

【0045】

図７、図８は、興味対象物に関する情報表示の一例を説明する図である。この例は、上記の情報検索結果を質問者である乗客Ｐに近いコックピット１２０の付加情報を示す付加情報画面１２３に表示する例である。ここでは、視線情報、行列の場所との距離、「行列」というワードとの関連性、の少なくとも１つから乗客Ｐの興味対象物（建物）が１つに特定できた場合であり、その興味対象物が「○○麺」という煮干しが有名なラーメン店であることが表示されている。

【0046】

これによって乗客Ｐは、行列ができていることを不思議に思い、「何の行列？」とその行列を見ながら問いかけることで、その行列と関連度が高いと判定された「○○麺」というラーメン店に関する情報を知ることができる。この結果、乗客Ｐは、その行列がラーメン店の入店待ちの行列であり、このラーメン店が人気店であることを知ることができる。

【0047】

これはスマートフォンなどを用いて検索可能なことであるが、車窓からの風景を見ながら気になることをいちいちスマートフォンで検索することは手間である。このような情報提示システム１は、車窓越しに起こった、ちょっとした興味や疑問を手間なく検索することができる。そのため、態々スマートフォンで調べる気にならない小さな興味や疑問から新たな発見や気づきを得ることができる。これによって、本開示の情報提示システム１は、リアル空間での移動に伴って新たな発見や気づきを得るというこれまでは中々実現できなかった移動体験をスムーズに提供することが可能である。また、こうして得た新たな発見により行動変容が促されることも期待される。

【0048】

図８では、乗客Ｐの興味対象物を正しく認識できているかを確認するために、興味対象物として推定している物体をその外観映像情報上に赤枠でハイライト表示して、その興味対象物に関連する、インターネット３００などから取得してきた情報を右側に表示している例である。演算部１０３は、特定された１以上の仮想オブジェクトである興味対象物を、３Ｄマップ画像上でハイライト表示する。このように、演算部１０３は、乗客Ｐから見える景色に対して、興味対象物をハイライトして明確に通知することで、興味対象物の推定が正しくできているか、また何に対する情報を表示しているかを乗客Ｐに分かり易く通知することができる。

【0049】

また、図８において、情報入出力部１０６は、仮にハイライトされている建物の隣の建物が興味対象物であった場合は、例えば、指で隣の建物がタッチされることで、隣の建物がハイライト表示し、ハイライト表示した隣の建物に関する情報を、その横に表示しても良い。これは視線検出による精度不足を補う場合に有効であり、特に後部座席に座りセンサー部１０２から顔映像が取得しづらい場合などに有用である。

【0050】

図９は、興味対象物に関する情報表示と選択方法の一例を説明する図である。図９は、情報提示システム１が興味対象物を１つに絞り込めなかった場合の表示例である。図９に示すように、情報入出力部１０６は、質問をした乗客Ｐから見えるモニターにて、「複数の候補が見つかりました。どちらか選択してください」という指示が表示される。ここでは、例えば、２つの候補があり、左には先程の「○○麺」というラーメン店の店舗が、その店舗周辺の外観映像と共にハイライト表示されている。一方で右には「○○フィットネスクラブ」という店舗が、同じくその店舗周辺の外観映像と共にハイライト表示されている。情報入出力部１０６は、所定量以上の確からしさで興味対象物を１つに絞り込めなかった場合には、このように複数の候補を同時に表示して、乗客Ｐに選択させるようにしても良い。

【0051】

情報入出力部１０６は、これを見た乗客Ｐが、２つの選択が左右に並んでいるため選択する方（左か右か）に顔の向きを向けることで１つを選択するようにしても良い。図９に示す、「ａ）顔の向きで選択する」がこれに該当する。

【0052】

また、情報入出力部１０６は、質問した乗客Ｐの視線情報をもとに見ている場所に視線マーカーＧ１を表示して乗客Ｐにも注視点の位置をフィードバックし、興味対象物を選択させるようにしても良い。情報入出力部１０６は、所定時間以上、左半分か右半分を見ている場合に見ている方を選択しても良いし、左半分を見ている状態で瞬きをすることでその選択を即座に決定させるようにしても良い。図９に示す、「ｂ）視線（＋瞬き）で選択する」がこれに該当する。

【0053】

また、情報入出力部１０６は、画面に手や指を近づけることで近接センサーを用いて候補の内、１つを決定するようにしても良い。同様に、情報入出力部１０６は、画面に手や指でタッチすることで１つを決定するようにしても良い。図９に示す、「ｃ）画面に手をタッチ／近づけて選択する」がこれに該当する。

【0054】

また、情報入出力部１０６は、手や指の形、向き、動きであるジェスチャーを使って、質問した乗客Ｐが１つを選択するようにしても良い。図９に示す、「ｄ）ジェスチャーで選択する」がこれに該当する。

【0055】

さらに、情報入出力部１０６は、質問した乗客Ｐが選択肢として付与された識別情報（ここでは１か２のどちらか）を音声で指定することで１つを選択するようにしても良い。図９に示す、「ｅ）音声で選択する」がこれに該当する。

【0056】

このようにして、乗客Ｐの興味対象物を１つに絞り込めない場合でも、演算部１０３は、乗客Ｐからの選択フィードバックをセンシングすることで、興味対象物を最終特定するようにしても良い。このようにして１つに特定した後は、情報入出力部１０６は、図７、図８で示したように表示すればよい。

【0057】

尚、演算部１０３は、これらを質問した乗客Ｐの座席位置に応じて切り替えても良い。例えば、演算部１０３は、前側の座席で手が画面に届く場合、図９に示す、ｃ）で操作し、後ろ側の座席で手が届かない場合は、図９に示す、ａ）で操作するなど、車室内のセンサー部１０２や乗客Ｐの選択操作のやり易さで選択方法を切り替えるようにしても良い。

【0058】

尚、車室内のセンサー部１０２（例えば、カメラ）と車両１００の演算部１０３とは、これらの選択フィードバックの複数の方法を同時にセンシングするようにしても良い。つまり、質問した乗客Ｐが、図９に示す、ｂ）でフィードバックしても、図９に示す、ｃ）でフィードバックしても、そのフィードバックが有効になるようにしても良い。こうすることで、乗客Ｐはそのタイミングで最も軽い負担でフィードバックすることができるため、情報提示システム１は、利便性を高めることができる。助手席に座っている乗客Ｐが質問したとしても、その乗客Ｐの手が使えるとは限らないし、声が使えるとも限らない。これらのフィードバックのためのユーザーインターフェースは、状況に応じて何が一番楽かは異なるため、このように複数のユーザーインターフェースで操作できることが望ましい。

【0059】

図１０は、視線情報による情報検索の一例を示すフローチャート図である。図１０では、上記のように情報検索した結果を興味情報として情報端末２００のＰＤＳに登録する処理を説明する。なお、ＰＤＳは、情報端末２００に限らず、個人情報管理クラウド４００のＰＤＳであってもよい。

【0060】

車両１００の演算部１０３は、ユーザの発話による検索要求を音声マイク１５１が収音した音声信号から検出および認識し、センサー部１０２（カメラなど）が撮影した映像データに対して画像認識を行うことにより、そのユーザの頭部位置（目の位置）と視線方向とをそれぞれ検出および認識する（ステップＳ１）。すなわち、演算部１０３は、音声マイク１５１により取得された音声信号から、質問者によって発話された第１フレーズを検知する。演算部１０３は、第１フレーズから、ユーザが車外のオブジェクトに対して興味を示したことを示す特定のフレーズを検出する。これにより、演算部１０３は、車内情報に基づいて、車室内の質問者が車両１００の周囲にある建物等のオブジェクトに興味を示したことを表す第１動作が行われたか否かを判定する。

【0061】

さらに、車両１００の演算部１０３は、車両１００の現在位置、車体方向の向き、取得したユーザの頭部位置、視線方向に基づきマップ上での検索範囲Ｒ１を特定する（ステップＳ２）。これは、図６で説明した通りである。なお、検索要求は発話に限らず、体の一部を使った検索要求を示すジェスチャーがなされたことをセンサー部１０２で撮影した映像データから演算部１０３が検出するようにしてもよい。また、上記のユーザの頭部位置（目の位置）を車両１００の位置で代替するようにしてもよい。つまり、地図上でユーザが検索要求を実行したタイミングの車両１００の位置と、ユーザの視線方向から検索範囲Ｒ１を決定してもよい。すなわち、演算部１０３は、ユーザが車外のオブジェクトに興味を示したことを表す第１フレーズが発話された時刻、または時刻以前の所定期間において車内カメラにより取得された質問者の画像に基づき、質問者の視線方向を特定する。演算部１０３は、視線方向が車両１００の外を向いている場合に、第１動作が行われたと判定する。そして、演算部１０３は、第１時刻における車両１００の位置と質問者の視線方向と、地図情報とに基づいて、第１時刻における質問者の視界領域を検索範囲Ｒ１として特定する。

【0062】

次に、車両１００の演算部１０３は、通信部１０４を介して、地図情報をインターネット３００上で提供する地図情報クラウド６００ａに対して、検索範囲Ｒ１の３Ｄマップ情報を要求する（ステップＳ３）。地図情報クラウド６００ａの演算部６０１は、この要求を受信する（ステップＳ４）。これを受信した地図情報クラウド６００ａの演算部６０１は、検索範囲Ｒ１を含む３Ｄマップ情報を通信部１０４を介して車両１００に返信する（ステップＳ５）。

【0063】

検索範囲Ｒ１の３Ｄマップ情報を取得した車両１００の演算部１０３は、検索範囲Ｒ１内でユーザの視認容易（または可能）な候補地点を抽出する（ステップＳ６）。この詳細は図６で説明した通りである。車両１００の演算部１０３は、３Ｄマップ上にユーザの頭部位置と視線方向を変換し、そこから見える風景をシミュレートすることで候補地点（候補対象物）を抽出すればよい。

【0064】

次に、車両１００の演算部１０３は、候補地点からユーザの興味対象として所定以上の可能性がある候補地点（候補対象物）を抽出する（ステップＳ７）。すなわち、演算部１０３は、ユーザーが興味を示したオブジェクトに対応すると予測される１以上のオブジェクト候補である候補対象物を抽出する。これも、図６で説明した通りである。ここで、候補地点（候補対象物）が複数残されている場合に、車両１００の演算部１０３は、図９のようにユーザに選択させ、特定された地点（対象物）の情報を表示する（ステップＳ８）。例えば、演算部１０３は、複数のオブジェクト候補である場合には、複数のオブジェクト候補にそれぞれ対応する１以上の仮想オブジェクトの中から、質問者からの入力によって選択された１つを、第１仮想オブジェクトとして特定する。そして、演算部１０３は、特定された地点（対象物）の情報を表示する。

【0065】

さらに、車両１００の演算部１０３は、ここで特定された地点（対象物）の情報表示に加えて、「この地点（対象物）を行き先（経由地）として設定する」や「この地点（対象物）を登録する」といった選択肢（ボタン）を表示し、これらのいずれかをユーザが選択するかを判定する（ステップＳ９）。ここでユーザがこの選択肢を選択しない場合に、演算部１０３は、処理を終了する。これに伴いＰＤＳ側の処理は発生せずに終了する。

【0066】

一方で、ユーザがこの地点（対象物）を行き先に設定したり、お気に入りとして登録したり、車両１００のカメラなどのセンサー部１０２により視線を検出して所定時間以上確認している、詳細情報を所定時間以上読んでいる、などといった興味がある旨の反応をした場合は、Ｙｅｓに進み、車両１００の演算部１０３は、通信部１０４を介してＰＤＳに対するユーザの興味情報の登録を依頼する（ステップＳ１０）。これを受信したＰＤＳの演算部２０２は、ユーザの興味情報としてメモリ２０６に記録する（ステップＳ１１）。この興味情報には、ユーザＩＤ、日時情報、場所情報、興味対象となる地点や対象物の情報などが含まれる。興味情報の詳細は後述する。

【0067】

新たなユーザの興味情報を蓄積したＰＤＳの演算部２０２は、その登録に対するインセンティブ（例えば電子的に表現されたトークン）を通信部２０３を介して車両１００に通知する（ステップＳ１２）。これを受信した車両１００の演算部１０３は、情報入出力部１０６を用いて登録に対して受領したインセンティブの内容をユーザに通知する（ステップＳ１３）。これで全ての処理を終了する。

【0068】

このようにユーザが車両１００周辺の地点（対象物）に対する関心や興味は、簡単に検索することができ、その地点（対象物）に対する高い興味度が検知される反応がユーザにあった場合には、ＰＤＳにそれを興味情報として蓄積する。それによってユーザまたは車両１００は、インセンティブを獲得することができる。こうして蓄積されたユーザの興味情報は、第三者サービス提供会社に利用許諾することで、新たな付加価値を生むことができる。この詳細については、後述する。

【0069】

図１１は、ユーザの興味情報の一例を示すデータ構造図である。これは車両１００からＰＤＳに送信される興味情報の内容を示している。図にあるように、興味情報は、まずその興味をユーザが抱いた日時（または車両１００からＰＤＳへの送信日時）が記述される。この例では、日本標準時で２０２２年３月２３日９時３８分１１秒であることをＩＳＯ８６０１形式にて表現している。次に、ユーザＩＤが記述される。このユーザＩＤは、この興味情報を抱いたユーザを識別するための識別情報である。さらに、この乗客ＩＤでは、このユーザが、この興味情報を抱いた時に車両１００に同乗していた乗客Ｐを識別するための識別情報が記述される。例えば、１２００８は、この車両１００にて個人識別ができた乗客Ｐであり、９９９９９は、この車両１００にて個人識別ができなかった乗客Ｐであることを示している。

【0070】

車両ＩＤは、車両１００を識別する識別情報（車台番号）である。興味情報は、ユーザの興味対象を識別する情報である。この例では、興味カテゴリとして分野が飲食であり、サブカテゴリとして料理種類がラーメンであり、興味の対象となった興味対象物として、その店舗名の○○麺が記載され、その興味対象物の場所としてＩＳＯ６７０９の形式で緯度経度情報が記載され、ユーザの興味度合いとして興味度が７であると記述されている。興味度は、０（低い）～９（高い）までの複数段階で表現され、ユーザがどれくらい長くその関連情報を調べていたか、行き先に登録したり、お気に入りとして地点登録する反応を検知することで評価された興味度である。興味度７は、例えば、その興味対象物の場所をユーザが地点登録すると付与される興味度であってもよい。

【0071】

ＰＤＳで管理される興味情報に乗客ＩＤを記録することによって、この興味情報を利用する際に乗客Ｐの条件を設けることが可能である。例えば、あるカテゴリ（またはサブカテゴリ）に属する興味情報を利用する際には、そのカテゴリ（またはそのサブカテゴリ）の興味情報に１回以上記録された（個人識別された乗客ＩＤの）乗客Ｐだけかを確認し、その場合には、その興味情報の利用を許可し、そうでない場合にはその興味情報の利用を禁止するといったことが考えられる。また、乗客ＩＤが個人の所属会社を示すならば、他社の人が同乗している車内で過去の興味情報として登録した業務に関連するカテゴリ／サブカテゴリに関する興味情報が提供されることを防ぐことができる。逆に同じ会社の人だけが乗車している場合には、業務に関連するカテゴリ／サブカテゴリに関する興味情報の提示を自動的にＯＮにすることもできる。

【0072】

図１２は、ユーザの興味カテゴリの一例を示すデータ構造図である。この例では、ユーザＩＤが１０００１であるユーザ（上記の質問をして○○麺の地点登録をしたユーザ）に対して蓄積収集された興味カテゴリをリスト化したものである。ここに示すように、このユーザは、飲食カテゴリについて８、歴史カテゴリについて７、景勝カテゴリについて４の興味度が登録されている。興味度は、上記の説明のように、複数段階でユーザの興味を示す数値であり、これまでに蓄積した興味情報に基づいて算出される。

【0073】

この例では、このユーザは、飲食カテゴリと歴史カテゴリについて比較的高い関心を持っていることが分かる。そのため、このユーザに対しては飲食カテゴリに属する情報を提示することで、ユーザの関心を引き、新たな行動が生まれる可能性があることが分かる。

【0074】

ここでは、興味カテゴリに対する興味度をリスト化したが、本開示はこれに限らず、もっと抽象度の高いレベル、またはもっと詳細なレベルで特定ユーザの興味度を記述しても良い。

【0075】

図１３は、興味情報を重畳した地図表示を行う一例を示すフローチャート図である。ここでは、車両１００が乗車しているユーザのＰＤＳから興味情報を取得することでナビゲーション画面１２２のマップ上にユーザが関心を持ちそうな地点（対象物）を追加表示する例について説明する。なお、ＰＤＳは、情報端末２００に限らず、個人情報管理クラウド４００のＰＤＳであってもよい。

【0076】

まず車両１００の演算部１０３は、ユーザの興味情報をユーザＩＤ、車両ＩＤ(または製造者ＩＤ、またはアプリを特定するアプリＩＤ)を指定してＰＤＳへ要求する（ステップＳ２１）。これを通信部２０３を介して受信したＰＤＳの演算部２０２は、このユーザＩＤのユーザが興味情報を車両ＩＤの車両１００（または製造者ＩＤの製造者、またはアプリＩＤの車載機器アプリ）に対して利用許諾しているかを、メモリ２０６に記録されているデータベースを照合して確認する（ステップＳ２２）。ここで、利用許諾されていると判断された場合には（ステップＳ２３）、Ｙｅｓに進み、ＰＤＳは通信部２０３を介して、ユーザの興味情報（例えば、図１１のような興味情報、図１２のような興味カテゴリ情報）を車両１００に送信する（ステップＳ２８）。一方で、利用許諾されていないと判断された場合には（ステップＳ２３）、Ｎｏに進み、ＰＤＳは通信部２０３を介して、利用許諾がない旨を車両１００に対して送信する（ステップＳ２４）。尚、上記はＰＤＳが情報端末２００にあるとして説明したが、ＰＤＳが個人情報管理クラウド４００にある場合には、ＰＤＳの演算部、通信部、メモリは夫々、演算部４０１、通信部４０２、メモリ４０３である。尚、これは以下も同様である。

【0077】

これを受信した車両１００は、情報入出力部１０６を用いてユーザに対して利用許諾をするようにメッセージを表示する（ステップＳ２５）。ここでユーザが利用許諾する場合には（ステップＳ２６）、Ｙｅｓに進み、車両１００の演算部１０３は、通信部１０４を介して、それをＰＤＳに通知する。ＰＤＳの演算部２０２は、ユーザが、ユーザの興味情報を車両ＩＤ（または製造者ＩＤやアプリＩＤ）に利用許諾した旨をメモリ２０６に記録されているデータベースを更新することで、記録、管理する（ステップＳ２７）。そして利用許諾があるとして、ＰＤＳは通信部２０３を介して、ユーザの興味情報を車両１００に送信する（ステップＳ２８）。車両１００の演算部１０３は、通信部１０４を介して、ユーザの興味情報を受信する（ステップＳ２９）。一方で、ユーザが利用許諾しない場合には（ステップＳ２６）、Ｎｏに進み、車両１００の演算部１０３は、ユーザの興味情報を利用せずに、または何も登録されていないとして処理を継続する。

【0078】

車両１００の演算部１０３は、現在地周辺の地図を情報入出力部１０６を用いて表示する（ステップＳ３０）。そして、車両１００の演算部１０３は、表示している地図上に（またはその周辺に）ユーザの興味情報と合致する（または関連性が高いと判定される）地点があるかを確認する（ステップＳ３１）。ここで、そのような地点がある場合には（ステップＳ３１）、Ｙｅｓに進み、車両１００の演算部１０３は、情報入出力部１０６で表示している地図上に、ユーザの興味情報と合致する付加情報を重畳して表示する（ステップＳ３２）。そして処理を終了する。一方で、そのような地点がない場合には（ステップＳ３１）、Ｎｏに進み、車両１００の演算部１０３は、処理を終了する。

【0079】

このようにして、車両１００がＰＤＳからユーザの興味情報を取得することで、ユーザが興味を持ちそうな地点（対象物）に対して地図上に何らかの付加情報を表示することが可能となる。これによって、車両１００とＰＤＳから構成されるこのような情報提示システムは、ユーザが車窓風景からだけでなく、ナビゲーション画面１２２などからも、自分の興味関心に合う地点（対象物）を発見する機会を作ることが可能となる。

【0080】

上記の例では、○○麺というラーメン店を地点登録したユーザは、ラーメンに関する興味度が高いと考えられる。そのため、このようなユーザのナビゲーション画面１２２には、ラーメン店の情報を表示するようにしても良い。

【0081】

図１４は、興味情報を重畳した地図表示の一例を示す図である。この図は、図１３の補足である。ＰＤＳからユーザの興味情報を取得した車両１００の演算部１０３は、ユーザの興味情報と所定値以上の高い相関を持つ地点や対象物がある場合、興味情報に含まれるメッセージ画像Ｇ２１を自動的に地図上に重畳表示する。また、車両１００の演算部１０３は、地図上における車両１００の位置を示す車両位置画像Ｇ２２を地図上に重畳表示する。

【0082】

この図１４では、下の矢印型のアイコンが車両１００の現在位置と進行方向を示す。ナビゲーション画面１２２として、目的地までのルートが幅広い線で示されており、そこから所定距離以内にあるユーザの興味情報と高い相関を持つ地点や対象物がハイライト、またはポップアップ表示されている。ここでは、ユーザの興味カテゴリが飲食であり、サブカテゴリがラーメンであること、また歴史カテゴリについても関心があることから、ルート沿いにある煮干しラーメン店に対するメッセージ画像Ｇ２１ｂとして「煮干しラーメン(４．１)」とのメッセージを表示し、塩ラーメン店に対するメッセージ画像Ｇ２１ａとして「塩ラーメン（３．９）混雑」が表示されている。煮干しラーメン店に対するメッセージ画像Ｇ２１ｂにおいて、４．１は口コミ点数、またはユーザの興味情報との相関度を示している。また、塩ラーメン店に対するメッセージ画像Ｇ２１ａにおいて、３．９は口コミ点数、またはユーザの興味情報との相関度を示し、混雑との文言は、店舗内が混雑していることを示している。さらに、少しルートから外れたところに歴史的な○○跡地に対しするメッセージ画像Ｇ２１ｃを表示している。○○跡地に対しするメッセージ画像Ｇ２１ｃは、○○跡地があることを示している。

【0083】

このように車両１００の情報入出力部１０６にユーザの興味情報と高い相関を持つ地点に対してユーザに通知するためのメッセージ画像を表示することで、ユーザはリアルな移動に伴う新たな発見や体験価値を得やすくなる利点がある。

【0084】

図１５は、興味情報から経由地を表示する一例を示すフローチャート図である。ここでは、車両１００（車両に限らず、ユーザが利用するネットワークに繋がったコンピュータであれば良く、スマートフォンでも、これらで動作するアプリであってもよい）から現在位置を取得でき、情報端末２００のＰＤＳから興味情報を取得できた第三者（ここでは一例として旅行会社として説明する）が、この車両１００のユーザ向けにあらたな経由地点を独自のデータも加味してルートを提案する例について説明する。旅行会社のクラウドである旅行会社クラウド６００ｂは、第三者クラウド６００の一例である。なお、ＰＤＳは、図１５では情報端末２００にあるとして説明するが本開示はこれに限らず、車両１００または個人情報管理クラウド４００のＰＤＳであってもよい。

【0085】

まず、この例では、ユーザは、車両１００にインストールされたアプリ（設定アプリ）を介して、旅行会社に対してルート作成のために、ユーザの興味情報の取得及び利用をユーザ自身が許諾する設定を行う（ステップＳ４１）。車両１００の演算部１０３は、ＰＤＳに対して、旅行会社クラウド６００ｂをユーザの興味情報にアクセス可能とするよう通信部１０４を介して要求する。

【0086】

これを受信したＰＤＳの演算部２０２は、本人により興味情報に旅行会社が取得および利用許諾されたことをメモリ２０６上のデータベースに記録する（ステップＳ４２）。そして、ＰＤＳの演算部２０２は、利用許諾された旨を車両１００に通信部２０３を介して通知する（ステップＳ４３）。これを受けた車両１００の演算部１０３は、情報入出力部１０６を用いてユーザにその旨を通知し、通信部１０４を用いて旅行会社クラウド６００ｂにその旨を通知する（ステップＳ４４）。

【0087】

旅行会社クラウド６００ｂは、利用許諾された旨を受信する（ステップＳ４５）。これを受信した旅行会社クラウド６００ｂは、車両１００の現在位置、目的地の情報を車両１００に要求する（ステップＳ４６）。車両１００の演算部１０３は、この要求を通信部１０４を介して受信する（ステップＳ４７）。

【0088】

この要求を通信部１０４を介して受信した演算部１０３は、車両１００の現在位置、目的地の情報を旅行会社クラウド６００ｂに返信する（ステップＳ４８）。尚、ここでは、車両ＩＤの車両１００にユーザＩＤのユーザが乗車しており、ユーザＩＤのユーザの興味情報がＰＤＳにて管理されていることは必要に応じて旅行会社クラウド６００ｂ、車両１００（のアプリ）、ＰＤＳの間で通知されているとする。

【0089】

旅行会社クラウド６００ｂは、車両１００の現在位置、目的地の情報を通信部６０２を介して受信する（ステップＳ４９）。これを通信部６０２を介して受信した旅行会社クラウド６００ｂは、ユーザＩＤのユーザの興味情報をＰＤＳへ要求する（ステップＳ５０）。ＰＤＳは、ユーザＩＤのユーザの興味情報の要求を通信部６０２を介して受信する（ステップＳ５１）。ＰＤＳの演算部２０２は、旅行会社クラウド６００ｂがそのユーザの興味情報を利用許諾されていることをデータベースから照合して、興味情報を旅行会社クラウド６００ｂへ通信部６０２を介して返信する（ステップＳ５２）。

【0090】

旅行会社クラウド６００ｂは、興味情報を通信部６０２を介して受信する（ステップＳ５３）。これを通信部６０２を介して受信した旅行会社クラウド６００ｂの演算部６０１は、車両１００の現在位置、目的地、乗車しているユーザＩＤのユーザの興味情報とに基づき、そのユーザが興味関心を持つ経由地、またはその経由地を通る新たなルートを作成し、車両１００に送信する（ステップＳ５４）。車両１００は、通信部１０４を介して、この経由地、または新たな経由地を通るルートを受信し、演算部１０３はそれを情報入出力部１０６を用いてユーザに通知する（ステップＳ５５）。

【0091】

ここで、ユーザがその経由地、または経由地を通るルートを承諾する反応を行った場合には（ステップＳ５４）、Ｙｅｓに進み、車両１００の演算部１０３は、経由地または経由地を通る新ルートを設定し、ナビゲーション画面１２２を描画するアプリは、経由地を反映したルート情報を情報入出力部１０６を用いて表示する（ステップＳ５５）。これで処理を終了する。一方で、経由地を承諾しなかった場合には（ステップＳ５４）、Ｎｏに進み、車両１００の演算部１０３は、新たな経由地を設定せず、ナビゲーション画面１２２も変更せずに処理を終わる。

【0092】

このように、ＰＤＳにユーザの興味情報を蓄積していき、その蓄積された興味情報を旅行会社のような第三者が利用することで、ユーザにとって新たな発見や気づきができるような移動ルートを個人情報を保護しながら提案することができる。これまでは、ユーザは自分の興味に沿った地点や対象物を自ら調べて移動計画を立てていたが、本開示の情報提示システムによると、現在地、目的地、乗車しているユーザの興味に応じてナビゲーション画面１２２に情報が重畳されたり、もしくは新たな経由地を推奨するといったことが可能となる。このような情報提示システムは、リアルな移動により多くの発見を与えることができ、ユーザにとっても有益で刺激が多く、第三者のサービス提供者にとっても新たなビジネスを創出する機会を与えるものである。尚、この例では、旅行会社である第三者がユーザの個人情報（興味情報）をルート作成のために利用することがユーザ本人から許諾されてアクセスしたが本開示はこれに限らず、秘密計算を用いるようにしても良い。秘密計算が用いられる場合は、第三者に個人情報を開示することなく暗号化されたままで提供することができ、個人情報をよりセキュアに保護しながら活用することができる利点がある。

【0093】

図１６は、図１５の処理によって描画された興味情報を重畳した地図表示の一例を示す図である。ここでは、観光客向けの経由地の提案を例としている。この図は、この車両１００または、この車両１００に乗車するユーザが普段行かない場所を走行している場合、かつ／または自宅から遠くを走行している場合に、その通りがかりの地域の観光地やお勧めの地点をハイライト、またはポップアップ表示する例を示している。尚、車両１００の演算部１０３は、車両１００で移動するユーザの過去の地域、店舗、ルートなどに対する訪問履歴をＰＤＳから取得して、不慣れな地域を走行中であることを検知するようにしても良い。

【0094】

このユーザの興味カテゴリを取得した旅行会社クラウド６００ｂは、目的地に向かう道中で、ユーザに対して現在地付近で、ユーザの興味カテゴリ／サブカテゴリに合う地点の情報を車両１００に配信する。一方、車両１００の演算部１０３は、これを情報入出力部１０６を介してユーザに地図表示を介して通知する。取得した興味カテゴリ情報により、ユーザが飲食カテゴリや景勝カテゴリに高い関心がある場合、旅行会社クラウド６００ｂは、現在地周辺で、○○景勝地、□□お好み焼き、△△串焼き、○○たこ焼きなどを車両１００の情報入出力部１０６を用いてハイライト表示するよう車両１００の演算部１０３にリクエストする。これは、興味カテゴリ／サブカテゴリに合う地点の位置情報と、その地点の名称、興味カテゴリ／サブカテゴリ情報、現在の混み具合の情報といった付加情報と一緒にリクエストされるようにしても良い。また、車両１００の演算部１０３は、○○景勝地に対するメッセージ画像Ｇ２１ｄとして「○○景勝地」とのメッセージを表示し、□□お好み焼きに対するメッセージ画像Ｇ２１ｅとして「□□お好み焼き」とのメッセージを表示し、△△串焼きに対するメッセージ画像Ｇ２１ｆとして「△△串焼き」とのメッセージを表示し、○○たこ焼きに対するメッセージ画像Ｇ２１ｇとして「○○たこ焼き」とのメッセージを表示する。

【0095】

これに気づいたユーザが例えば、□□お好み焼きの店舗を指でタッチするなどして選択すると、□□お好み焼きに関する情報が情報入出力部１０６に表示される。この情報表示には、「お店に行く」（経由地として指定する）、「予約する」（お店に対して来店の予約を行う）、「登録する」（この店舗を興味対象物として登録する）などの選択肢も合わせて情報入出力部１０６に表示される。

【0096】

ユーザは、都合が合えば、ここで「お店に行く」をタッチすることで、ナビゲーションのルートに反映され、□□お好み焼きに行くことができる。また、ユーザは、現在地周辺に自分の興味と高い相関のある場所がこのように沢山ある事を知ることができる。これにより、ユーザは、車窓を眺めるだけでは気づきにくく、見落としやすい興味対象物を発見することができる。特に旅行中などの目的地までの移動途中では、気づかずに通り過ぎてしまうような地点も、ユーザの興味情報に照らし合わせたうえで地図上に重畳されることで、ユーザは、簡単に効率的に知ることが可能となる。また、これによって、ユーザは、移動に伴う新たな体験をすることができる。尚、旅行会社クラウド６００ｂは、ユーザに対して店舗を表示した対価、かつ／または、その表示に対してユーザが経由地として設定した対価として、対象店舗に広告宣伝料を請求する処理を実行するようにしても良い。

【0097】

また、演算部１０３は、上記選択肢を示すリンクやボタンなどによりユーザのその興味情報に対する反応や興味度合いを測定することができ、ユーザの興味情報をＰＤＳに追加蓄積することができる。さらに詳しくは、演算部１０３は、興味対象物情報を質問者および乗客Ｐに提供した後に取得された車内情報に基づいて、質問者および乗客Ｐのそれぞれにおける興味対象物に対する興味の度合いを推定する。そして、演算部１０３は、興味対象物を特定するための興味情報と、質問者および乗客Ｐのそれぞれにおける興味対象物に対する興味の度合いとを、車両１００に搭載されているメモリ１０８に記憶する。

【0098】

（変形例１）
情報入出力部１０６は、前列座席用にコックピット１２０を有している場合について説明した。情報入出力部１０６は、後列座席用の後列表示装置１３０を有していてもよい。図１７は、変形例１に係る車両１００に具備された情報入出力部１０６の一例を説明する図である。図１７に示す車両１００において、情報入出力部１０６は、後列座席用の後列表示装置１３０を有する。そして、図１７は、図７及び図８と同様に、興味対象物に関する情報表示の一例を説明する図である。図１７では、前列右側の助手席に座位する乗客Ｐが質問者となり、進行方向左斜め前にある建物に対して興味を持った場合を例について説明する。

【0099】

質問者が「何の建物？」といった具合に何らかの質問をした際に、車両１００の演算部１０３は、質問者がその質問した際の質問者位置を用いて質問者の興味対象物を特定する。または、車両１００の演算部１０３は、車両位置と、質問者の視線方向とを用いて質問者の興味対象物を特定する。

【0100】

コックピット１２０は、特定した質問者の興味対象物の映像に対して、興味対象物を特定するためのマーカーＭ１を付加した画像を表示する。また、情報入出力部１０６は、興味対象物を特定した後、興味対象物を説明するための興味対象物情報を質問者に対して提供する。例えば、コックピット１２０は、インターネット３００から検索した興味対象物の情報を表示してもよい。同様に、後列表示装置１３０は、特定した質問者の興味対象物の映像に対して、興味対象物を特定するためのマーカーＭ１を付加した画像を表示する。さらに、後列表示装置１３０は、インターネット３００から検索した興味対象物の情報を表示してもよい。具体的には、車両１００の演算部１０３は、車両１００の周囲にあるオブジェクトに興味を示したことを示すジェスチャーや発話等の第１動作が行われたと判定した場合に、第１動作が行われた第１時刻における位置情報及び車内情報と、地図情報とに基づいて、第１時刻における質問者の第１仮想視点からの視界をシミュレートした３Ｄマップ画像を生成する。演算部１０３は、コックピット１２０や後列表示装置１３０などのディスプレイに３Ｄマップ画像を表示する。そして、演算部１０３は、第１動作が行われたと判定した場合に、第１動作が行われた第１時刻における位置情報及び車内情報と、地図情報とに基づいて、第１時刻における質問者の視界をシミュレートした３Ｄマップ画像をコックピット１２０や後列表示装置１３０に表示する。なお、本開示では、質問者の実際の興味対象物と、情報提示システムが質問者の興味対象物であろうと特定した対象物とを文言上で区別するために、前者を「オブジェクト」と呼称し、後者を「第１オブジェクト」と呼称することがある。

【0101】

コックピット１２０や後列表示装置１３０に表示される興味対象物の映像は、質問者が質問した時の、車両外の任意の視点から見た興味対象物の外観映像（例えば興味対象物の斜め上空から見下ろしたような映像）でも良いし、質問者位置または車両位置から興味対象物の方向の景色をシミュレートすることにより生成した外観映像でも良い。このように、コックピット１２０や後列表示装置１３０は、質問者が質問した時に、質問者が見ていた興味対象物又は視線方向の映像と、興味対象物を特定するためのハイライト表示やマーカーＭ１と、興味対象物の情報とを表示する。すなわち、コックピット１２０や後列表示装置１３０は、質問者が先ほど見ていた風景を再現した映像に対して、興味対象物の情報を表示する。したがって、質問を行った乗客Ｐだけでなく、質問を行ってしない乗客Ｐも、興味対象物と、興味対象物の情報とを把握することができる。

【0102】

尚、コックピット１２０や後列表示装置１３０は、質問者が質問した時の興味対象物または視線方向の景色の映像を表示しているが、本開示はこれに限らない。コックピット１２０や後列表示装置１３０は、質問者または車両１００が興味対象物と最も近くなった時の映像を表示しても良いし、時間的に第１動作が行われた第１時刻の前かつ／または後を含む興味対象物の外観映像を静止画かつ／または動画形式にて表示するようにしても良い。

【0103】

図６で説明したように車両周辺の３Ｄマップ情報が取得できている場合に、コックピット１２０や後列表示装置１３０は、任意のタイミングでの車両１００からの特定方向の車窓風景を３Ｄレンダリングにより生成した映像を表示してもよい。３Ｄマップ情報から３Ｄレンダリングにより映像を生成する場合、コックピット１２０や後列表示装置１３０は、天候などの影響で視界が悪い場合や、大型車両などが並走した場合であっても、安定した品質で興味対象物の映像を表示することが可能である。尚、３Ｄマップ情報はオープンデータ化された３Ｄ都市モデル情報を提供するような３Ｄマップ情報を管理するコンピュータからネットワークを介して取得するようにしても良い。

【0104】

尚、コックピット１２０は、質問者が見た景色を３Ｄマップ情報から再現して表示するとして説明したが、質問者からのタッチ操作などの指示を受けて、視点位置を任意方向と任意距離に変更または設定できるようにしても良いし、興味対象物の周囲を回りながら興味対象物を表示し続ける映像を表示してもよい。情報入出力部１０６は、質問者からの入力に応じて、３Ｄマップ画像に１以上の仮想オブジェクトが含まれるよう維持しながら、第１仮想視点から他の仮想視点への変更を受け付ける。質問者は、視点位置を手動で変えたり、視点位置が自動で変更されたりすることで興味対象物の外観をより詳細に把握することができる。

【0105】

尚、コックピット１２０や後列表示装置１３０は、興味対象物の外観映像を３Ｄマップ情報から３Ｄレンダリングにより生成して表示するとして説明したが、本開示はこれに限らない。演算部１０３は、車両１００を撮影するカメラなどのセンサーから、車両１００の周囲の状況を示す車外情報を取得する。情報入出力部１０６は、位置情報及び車内情報と、地図情報と、車外情報に基づいて３Ｄマップ画像を表示する。例えば、演算部１０３は、自車または他車に備え付けられたセンサー（車外に向けられたカメラなど）や、道路や信号機や照明ポールなどの交通インフラに備え付けられたセンサーからデータを取得する。また、情報入出力部１０６は、取得したデータから興味対象物の外観映像を生成する。そして、コックピット１２０や後列表示装置１３０は、生成した味対象物の外観映像を表示するようにしても良い。

【0106】

尚、情報入出力部１０６は、質問に対する回答を質問者の座席用の領域に提示するだけでなく、車両１００内の運転席を除く他の座席向けに提示するようにしても良い。すなわち、情報入出力部１０６は、興味対象物を説明するための興味対象物情報を、車室内の質問者以外の少なくとも１人の乗客Ｐに共有しても良い。

【0107】

例えば、図１７では、映画視聴中であった後列右側の乗客Ｐの後列表示装置１３０は、質問に対する回答を左下に小さく重畳して表示し、何も表示していなかった後列左側の乗客Ｐの後列表示装置１３０は、質問に対する回答をより詳細に表示している。そして、後列左側の乗客Ｐの後列表示装置１３０は、質問者に対する回答より詳細な情報を表示している。すなわち、質問者が車両１００の運転者Ｄである場合における興味対象物を説明するための興味対象物情報の情報量は、質問者が運転者Ｄでない場合における興味対象物情報の情報量に比べて少ない。後列左側の乗客Ｐの後列表示装置１３０が、質問者に対する回答よりも詳細な情報を表示しているのは、コックピット１２０に詳細な情報を表示すると運転者Ｄの運転の邪魔になる可能性があるためである。そこで、コックピット１２０は、運転中の運転者Ｄが見る可能性がある場合に、少ない情報量であって短時間で確認できる回答を表示する。

【0108】

（変形例２）
図１０において、乗客Ｐが興味を示した興味対象物に関する情報を提示するフローについて説明した。変形例２では、図１０とは異なるフローで興味対象物に関する情報を提示するフローについて説明する。図１８は、変形例２に係る視線情報による情報検索の一例を示すフローチャート図である。

【0109】

車両１００の演算部１０３は、音声マイク１５１が収音した音声信号からユーザの発話を検出したり、センサー部１０２（カメラなど）により取得された映像データからユーザのジェスチャーを検出したりすることで、検索要求を検出する（ステップＳ６１）。検索要求を示すユーザの発話やジェスチャーを検出した場合に、車両１００の演算部１０３は、興味情報の検索を実行しないため、Ｎｏに進み処理を完了する。一方、検索要求を示すユーザの発話やジェスチャーが検出した場合に、車両１００の演算部１０３は、Ｙｅｓに進み処理を実行する。

【0110】

ユーザの質問時、またはその前後に質問者が見ていた興味対象物又は視線方向の映像を取得するために、車両１００の演算部１０３は、検索要求が検出されたタイミング、検索要求の前後の車両位置、及びユーザの視線方向を検出する（ステップＳ６２）。

【0111】

車両１００の演算部１０３、及び地図情報クラウド６００ａの演算部６０１は、ステップＳ６３からステップＳ６６において、ステップＳ３からステップＳ６と同様処理を実行する。

【0112】

車両１００の演算部１０３は、興味対象物の候補地点が複数抽出されたか否かを判定する（ステップＳ６７）。興味対象物の候補地点が複数抽出された場合に、車両１００の演算部１０３は、Ｙｅｓに進み、図９のようにユーザにいずれか１つの対象を選択させる（ステップＳ６８）。１つに絞り込めた場合に、車両１００の演算部１０３は、Ｎｏに進み、その興味対象物に関する情報を表示する（ステップＳ６９）。興味対象物に関する情報は、地図情報クラウド６００ａから取得した情報であっても良いし、地図情報クラウド６００ａから取得した名称や住所であっても良いし、または外観映像情報からインターネット３００で検索することで取得した情報であっても良い。

【0113】

車両１００の演算部１０３は、ユーザの発話やユーザのジェスチャーを検出することにより興味対象物として管理するか否かを判定する（ステップＳ７０）。興味対象物として管理する場合に、車両１００の演算部１０３は、Ｙｅｓに進み、ユーザの興味情報としてＰＤＳでの登録を通信部１０４を介して依頼する（ステップＳ７１）。これを受信したＰＤＳの演算部２０２は、ユーザの興味情報としてメモリ２０６に記録する（ステップＳ７２）。

【0114】

新たなユーザの興味情報を蓄積したＰＤＳの演算部２０２は、その登録に対するインセンティブ（例えば電子的に表現されたトークン）を通信部２０３を介して車両１００に通知する（ステップＳ７３）。これを受信した車両１００の演算部１０３は、情報入出力部１０６を用いて登録に対して受領したインセンティブの内容をユーザに通知する（ステップＳ７４）。これで全ての処理を終了する。

【0115】

（変形例３）
図１０において、乗客Ｐが興味を示した興味対象物に関する情報を提示するフローについて説明した。変形例３では、車両１００ではなく地図情報クラウド６００ａが興味対象物を抽出する。地図情報クラウド６００ａは、３Ｄマップ情報を管理するコンピュータである。図１９は、変形例３に係る視線情報による情報検索の一例を示すフローチャート図である。

【0116】

車両１００の演算部１０３は、音声マイク１５１が収音した音声信号からユーザの発話を検出したり、センサー部１０２（カメラなど）により取得された映像データからユーザのジェスチャーを検出したりすることで、検索要求を検出する（ステップＳ８１）。検索要求を示すユーザの発話やジェスチャーを検出した場合に、車両１００の演算部１０３は、興味情報の検索を実行しないため、Ｎｏに進み処理を完了する。一方、検索要求を示すユーザの発話やジェスチャーが検出した場合に、車両１００の演算部１０３は、Ｙｅｓに進み処理を実行する。

【0117】

ユーザの質問時、またはその前後に質問者が見ていた興味対象物又は視線方向の映像を取得するために、車両１００の演算部１０３は、検索要求が検出されたタイミング、検索要求の前後の車両位置、及びユーザの視線方向を検出する（ステップＳ８２）。

【0118】

車両１００の演算部１０３は、検索範囲Ｒ１を示す検索範囲情報と共に、ユーザの興味対象の情報を地図情報クラウド６００ａに要求する（ステップＳ８３）。

【0119】

地図情報クラウド６００ａの演算部６０１は、車両１００の演算部１０３から要求を受信した場合に、検索範囲Ｒ１を含む３Ｄマップ情報を取得する（ステップＳ８４）。地図情報クラウド６００ａの演算部６０１は、検索範囲Ｒ１内でユーザの視認容易（または可能）な候補地点（候補対象物）を抽出する（ステップＳ８５）。

【0120】

地図情報クラウド６００ａの演算部６０１は、興味対象物の候補地点が複数抽出されたか否かを判定する（ステップＳ８６）。興味対象物の候補地点が複数抽出された場合に、車両１００の演算部１０３は、Ｙｅｓに進み、ユーザにいずれか１つの対象を選択させる（ステップＳ８７）。興味対象物の候補地点が一つ場合に、地図情報クラウド６００ａの演算部６０１は、Ｎｏに進み、その興味対象物に関する情報を車両１００に送信する（ステップＳ８８）。

【0121】

車両１００の演算部１０３は、地図情報クラウド６００ａから受信した興味対象物に関する情報を表示する（ステップＳ８９）。

【0122】

車両１００の演算部１０３は、ユーザの発話やユーザのジェスチャーを検出することにより興味対象物として管理するか否かを判定する（ステップＳ９０）。興味対象物として管理する場合に、車両１００の演算部１０３は、Ｙｅｓに進み、ユーザの興味情報としてＰＤＳでの登録を通信部１０４を介して依頼する（ステップＳ９１）。これを受信したＰＤＳの演算部２０２は、ユーザの興味情報としてメモリ２０６に記録する（ステップＳ９２）。

【0123】

新たなユーザの興味情報を蓄積したＰＤＳの演算部２０２は、その登録に対するインセンティブ（例えば電子的に表現されたトークン）を通信部２０３を介して車両１００に通知する（ステップＳ９３）。これを受信した車両１００の演算部１０３は、情報入出力部１０６を用いて登録に対して受領したインセンティブの内容をユーザに通知する（ステップＳ９４）。これで全ての処理を終了する。

【0124】

（変形例４）
上記実施形態において、質問者が助手席に座る乗客Ｐである場合について説明した。変形例４では、質問者が運転席に座る運転者Ｄである場合について説明する。すなわち、変形例４では、質問者に応じて、興味対象物に関する情報の提示方法を変える場合について説明する。

【0125】

車両１００の演算部１０３は、音声マイク１５１が収音した発話、かつ／または、センサー部１０２（カメラなど）が取得したジェスチャーから、検索要求を検出する（ステップＳ１０１）。車両１００の演算部１０３は、検索要求を検出しない場合に、Ｎｏに進み処理を終了する。

【0126】

一方で、検索要求が検出された場合にＹｅｓに進み、車両１００の演算部１０３は、車両１００に具備されたセンサー部１０２が検出した現在の走行速度、現在適用されている自動運転のレベル、可動部１０５の稼働状態などに基づいて車両１００の走行状態を検出する（ステップＳ１０２）。言い換えると、演算部１０３は、センサー部１０２から車両１００の走行状態を示す走行情報を取得する。

【0127】

車両１００の演算部１０３は、検索要求を行った質問者が、どの位置に着座しているかをセンサー部１０２が取得したデータから検出する（ステップＳ１０３）。

【0128】

車両１００の演算部１０３は、質問者の検索要求に対する回答である興味対象に関する情報を地図情報クラウド６００ａ、かつ／または、その他のコンピュータから取得する（ステップＳ１０４）。例えば、車両１００の演算部１０３は、図１０、図１８、図１９のいずれの方法により取得してもよいし、これら以外の方法により取得してもよい。

【0129】

これ以降の処理において、車両１００の演算部１０３は、質問者が運転席に着座しているか否か、運転中か否か、に応じて興味対象に関する情報の提示の仕方を制御する。このように、車両１００の演算部１０３は、運転者Ｄが運転している場合に情報提示の仕方を変更することで、運転に集中させることができる。

【0130】

車両１００の演算部１０３は、ステップＳ１０３で検出した質問者が着座している位置からその質問者が運転席に着座しているか否かを判定する（ステップＳ１０５）。すなわち、演算部１０３は、質問者が運転者Ｄであるか否かを判定する。

【0131】

質問者が運転席に着座している場合、Ｙｅｓに進み、車両１００の演算部１０３は、質問者が現在運転中か否かを、ステップＳ１０２で取得した車両１００の走行状態を示す走行情報に基づいて判定する（ステップＳ１０６）。また、走行情報には、車両１００が実行している自動運転のレベルを示すレベル情報が含まれていてもよい。自動運転のレベルは、レベル値が高くなるに従い、運転する操作が少なくなる。そして、自動運転のレベル０は、手動運転となる。演算部１０３は、走行情報と車内情報とに基づいて、質問者が運転席に着座しており、かつ、自動運転のレベルが所定のレベルよりも低い場合に、質問者が運転者Ｄであると判定し、自動運転のレベルが所定のレベルよりも高い場合に、質問者が乗員であると判定する。すなわち、演算部１０３は、自動運転のレベルが高い場合、運転席に着座していても運転者Ｄではないと判定する。

【0132】

車両１００が走行状態である場合にＹｅｓに進み、車両１００の演算部１０３は、興味対象に関する情報の提示を制限した制限モードで回答する（ステップＳ１０７）。すなわち、車両１００の演算部１０３は、運転中の運転者Ｄに対して制限モードで興味対象に関する情報を出力する。演算部１０３は、車内情報及び走行情報に基づいて、第１ユーザが車両１００の運転者Ｄであり、かつ、車両１００が走行している場合、３Ｄマップ画像を運転者Ｄに向けて表示しない。また、演算部１０３は、第１仮想オブジェクトを特定するための運転者Ｄによる入力を、車両１００に設けられた音声マイク１５１から受け付ける。

【0133】

制限モードで回答する場合、即座に質問に回答することで利便性が高い。ただし、情報入出力部１０６は、運転中の安全配慮を妨げないように１以上の制約条件の下で回答を提示する。例えば、情報入出力部１０６は、制限モードの場合に、次の１つ以上の制約条件を満たすように情報を提示する。

【0134】

・情報入出力部１０６は、非制限モードでの情報提示と比較して、文字数が少ない文字の表示かつ／または音声にて回答する。
・情報入出力部１０６は、非制限モードでの情報提示と比較して、より大きな文字サイズで文字の表示を行う。
・情報入出力部１０６は、非制限モードでの情報提示と比較して、時間的に短い動画かつ／または音声にて回答する。
・情報入出力部１０６は、文字を含む静止映像かつ／または静止映像が無い音声で回答する。言い換えると、情報入出力部１０６は、時間的に表示映像が変化する動画形式で表現される情報提示を行わない。
・情報入出力部１０６は、ズーム、ボタン、リンクなどのＵＩ（User Interface）操作が無効、または一部制限した情報提示を行う。例えば、情報入出力部１０６は、音声による操作を音声マイク１５１から受け付ける。
・情報入出力部１０６は、運転席向けには情報提示をせず、運転席以外の乗客Ｐに対して制限モードまたは非制限モードで情報提示する。

【0135】

非制限モードとは、興味対象に関する情報の提示を制限しないモードである。例えば、非制限モードは、運転者Ｄでない乗客Ｐに向けて興味対象に関する情報の提示する場合や、安全運転配慮義務が軽減されている状態の運転者Ｄに向けて興味対象に関する情報の提示する場合に適用される。例えば、非制限モードは、駐停車中の運転者Ｄや、赤信号等による一時的な停止中の運転者Ｄや、自動運転中の運転者Ｄや、特定のレベル以上の運転支援中の運転者Ｄに対して興味対象に関する情報の提示する場合に適用される。例えば、情報入出力部１０６は、次のように情報を提示する。

【0136】

・情報入出力部１０６は、制限モードで課される文字数の制約条件に関わらず、文字の表示かつ／または音声にて回答してもよい。
・情報入出力部１０６は、制限モードで課される文字サイズの制約条件に関わらず、小さな文字サイズにて文字を表示して回答してもよい。
・情報入出力部１０６は、制限モードで課される時間的な制約条件に関わらず、動画かつ／または音声にて回答してもよい。
・情報入出力部１０６は、制限モードで課される動画の制約条件に関わらず、回答する。言い換えると、情報入出力部１０６は、文字を含む静止映像かつ／または音声に加えて、時間的に表示映像が変化する動画形式で回答してもよい。
・情報入出力部１０６は、ズーム、ボタン、リンクなどのＵＩ操作を受け付ける。さらに、情報入出力部１０６は、音声による操作を音声マイク１５１から受け付ける。

【0137】

情報入出力部１０６は、車内の非質問者であって非運転者に対して、非制限モードで情報提示を行う（ステップＳ１０８）。情報入出力部１０６は、車内情報及び走行情報に基づいて、第１ユーザが運転者Ｄではない乗客Ｐである場合、３Ｄマップ画像を乗員に向けて表示する。情報入出力部１０６は、車内情報及び走行情報に基づいて、質問者が運転者Ｄではない乗員である場合、乗員による入力を、コックピット１２０などのディスプレイに設けられた接触センサー及び車両１００に設けられた音声マイク１５１から受け付ける。なお、情報入出力部１０６は、質問者（運転中の運転者Ｄ）に対して制限モードで情報提示すると同時に、車内の非質問者であって非運転者に対して、非制限モードで情報提示を行ってもよい。

【0138】

ステップＳ１０６において、情報入出力部１０６は、質問者が運転中でない場合は、Ｎｏに進む。この判定は有人運転しているものの駐停車中であり運転者Ｄが興味対象に関する情報提示を安全に確認できる場合や、自動運転中であり実質的に運転者Ｄではないと認められる場合などが含まれる。

【0139】

車両１００の情報入出力部１０６は、非制限モードで運転席向けに情報提示を行う（ステップＳ１０９）。また、情報入出力部１０６は、車内の非質問者であって非運転者に対して、非制限モードで情報提示を行う（ステップＳ１１０）。また、演算部１０３は、第１仮想オブジェクトを特定するための運転者Ｄによる入力を、コックピット１２０などのディスプレイに設けられた接触センサー及び車両１００に設けられた音声マイク１５１から受け付ける。なお、情報入出力部１０６は、質問者（運転中の運転者Ｄ）に対して非制限モードで情報提示すると同時に、車内の非質問者であって非運転者に対して、非制限モードで情報提示を行ってもよい。

【0140】

ステップＳ１０５において質問者が運転席に着座していないと判定された場合に、Ｎｏに進み、車両１００の演算部１０３は、運転中であるか否かを判定する（ステップＳ１１１）。運転中の場合に、Ｙｅｓに進み、情報入出力部１０６は、運転席向けには情報提示しない（ステップＳ１１２）。これにより、情報入出力部１０６は、興味対象に関する情報に対して運転者Ｄが注目しまうことを抑制する。または、情報入出力部１０６は、制限モードで運転席向けに情報提示するようにしてもよい。

【0141】

情報入出力部１０６は、非制限モードで非運転席（助手席や後部座席）向けに情報提示を行う（ステップＳ１１３）。なお、情報入出力部１０６は、制限モードで運転席向けに情報提示すると同時に、車内の非質問者であって非運転者に対して、非制限モードで情報提示を行ってもよい。

【0142】

ステップＳ１０５において運転ではない場合に、Ｎｏに進み、情報入出力部１０６は、運転席向けには情報提示を行う（ステップＳ１１４）。

【0143】

情報入出力部１０６は、非制限モードで非運転席（助手席や後部座席）向けに情報提示を行う（ステップＳ１１５）。なお、情報入出力部１０６は、制限モードで運転席向けに情報提示すると同時に、車内の非質問者であって非運転者に対して、非制限モードで情報提示を行ってもよい。

【0144】

以上により、車両１００の演算部１０３は、処理を終了する。

【0145】

尚、ステップＳ１０７において情報入出力部１０６は、質問者（運転中の運転者Ｄ）に対して制限モードで情報提示するとして説明したが、本開示はこれに限らない。情報入出力部１０６は、運転が中止されることを待ってから、質問者である運転者Ｄに回答を提示してもよい。すなわち、情報入出力部１０６は、３Ｄマップ画像の運転者Ｄに向けた表示を保留してもよい。この場合に、情報入出力部１０６は、ステップＳ１０６にて運転中でなくなるまで待機する。すなわち、情報入出力部１０６は、停車や自動運転まで待機する。情報入出力部１０６は、運転中でなくなった場合に、ステップＳ１０６のＮｏへ進むようにしても良い。すなわち、情報入出力部１０６は、車内情報及び走行情報に基づいて、第１ユーザが運転者Ｄであり、かつ、車両１００が停車している場合、３Ｄマップ画像を運転者Ｄに向けて表示する。これにより、情報入出力部１０６は、運転中ではない運転者Ｄに対して非制限モードで回答する。このように、情報入出力部１０６は、駐停車や自動運転に切り替えた後に、運転者Ｄに情報提示を行うため、安全性を確保することができる。

【0146】

このように、情報入出力部１０６は、運転中の運転者Ｄと、運転中でない運転者Ｄと、運転者Ｄ以外の乗客Ｐとに対する情報提示を変更することで、移動における発見の愉しさを提供すると共に、運転への安全配慮を両立することができる。

【0147】

例えば、運転中の運転者Ｄが検索要求を行った場合であっても車両状態を検知して運転中である限り、運転者Ｄに対して興味対象に関する情報提示を行わない（保留する）こと、運転者Ｄが情報入出力部１０６（タッチパネルなど）を操作できないように制約すること、赤信号などで車両１００が駐停車したことを検知してから運転者Ｄに対して興味対象に関する情報提示を行うこと、自動運転中に移行したことを検知してから運転者Ｄに対して興味対象に関する情報提示を行うこと、運転者Ｄには文字数が少ない情報提示を行い非運転者には文字数が多い情報提示を行うこと、運転者Ｄには大きな文字サイズで表示を行い非運転者にはそれよりも小さなサイズも使って情報提示を行うこと、運転者Ｄには音声により聴覚のみで情報提示を行い非運転者には映像による視覚も用いた情報提示を行うこと、運転者Ｄには情報提示をせず乗客Ｐに対して情報提示をすること、などが具体的な利用シーンとして考えられる。

【産業上の利用可能性】

【0148】

本開示の情報提示システム１は、極めて少ない手間で車両付近の興味対象物の情報を取得できる利点があり、これらの興味対象物の情報を蓄積、管理することで第三者に適切に開示して、ユーザの状況に応じたサービスを受けることができるため、産業上の利用可能性がある。

【0149】

（付記）
以上の実施の形態の記載により、下記の技術が開示される。
（１）
車両に搭載され、地図情報を保有している情報提示システムにおける情報提示方法であって、
前記車両に搭載されている位置センサーから、前記車両の現在位置を示す位置情報を取得し、
前記車両に搭載されている少なくとも１つの第１センサーから、前記車両の車室内の状況を示す車内情報を取得し、
前記車両に搭載されている少なくとも１つの第２センサーから、前記車両の周囲の状況を示す車外情報を取得し、
前記車内情報に基づいて、前記車室内の第１ユーザが前記車両の周囲にあるオブジェクトに興味を示したことを示す第１動作が行われたか否かを判定し、
前記第１動作が行われたと判定された場合に、前記第１動作が行われた第１時刻における前記位置情報、前記車外情報及び前記車内情報と、前記地図情報とに基づいて、前記オブジェクトに対応すると予測される１以上のオブジェクト候補を選定し、
前記車外情報に含まれる前記車両の周囲を映した周囲画像に基づいて、前記１以上のオブジェクト候補が映っており、かつ、前記１以上のオブジェクト候補のそれぞれがハイライトされている第１画像を生成し、
前記車両に搭載されたディスプレイに前記第１画像を表示し、
前記第１ユーザからの入力に応じて、前記第１画像に含まれる１以上のオブジェクト候補の中から、前記第１ユーザが前記オブジェクトに対応すると予測する第１オブジェクトを特定する、
ことを含む情報提示方法。
（２）
さらに、
前記車両に搭載されている少なくとも１つの第３センサーから、前記車両の走行状態を示す走行情報を取得し、
前記車内情報及び前記走行情報に基づいて、前記第１ユーザが前記車両の運転者であり、かつ、前記車両が走行している場合、前記第１画像を前記運転者に向けて表示せず、
前記車内情報及び前記走行情報に基づいて、前記第１ユーザが前記運転者であり、かつ、前記車両が停車している場合、前記第１画像を前記運転者に向けて表示し、
前記車内情報及び前記走行情報に基づいて、前記第１ユーザが前記運転者ではない乗員である場合、前記第１画像を前記乗員に向けて表示する、
上記（１）に記載の情報提示方法。
（３）
車両に搭載され、地図情報を保有している情報提示システムにおける情報提示方法であって、
第１ユーザが過去に興味を示した１以上の第１興味ポイントを管理しているコンピュータから、前記第１ユーザの許諾に基づいて、前記１以上の第１興味ポイントに関する第１興味情報を取得し、
前記車両に搭載されている位置センサーから、前記車両の現在位置を示す位置情報を取得し、
前記第１興味情報と前記位置情報と前記地図情報に基づき、前記車両の現在位置の周辺に位置しており、かつ、前記第１ユーザが興味を示すと予測される１以上のオブジェクトがハイライトされた第１地図画像を生成し、
前記車両に搭載されたディスプレイに前記第１地図画像を表示する、
ことを含む情報提示方法。
（４）
第１コンピュータとネットワークを介して通信可能な情報提供システムにおける情報提供方法であって、
前記第１コンピュータにおいて、複数のユーザを識別するための複数のユーザＩＤと、前記複数のユーザのそれぞれが興味を示した１以上の地点を示す複数の興味情報と、前記複数のユーザのそれぞれがどの事業者に自身の興味情報へのアクセスを許諾しているかを示す許諾情報とが管理されており、
前記情報提供方法は、
第１事業者を特定するための事業者ＩＤと、第１ユーザを特定するための第１ユーザＩＤと、前記第１ユーザが過去に興味を示した１以上の地点を示す第１興味情報への前記第１事業者によるアクセスを要求する第１リクエスト情報とを、前記ネットワークを介して前記第１コンピュータに送信し、
前記事業者ＩＤと前記第１ユーザＩＤと前記第１リクエスト情報と前記許諾情報とに基づいて、前記事業者による前記第１興味情報へのアクセスが前記第１ユーザによって許諾されていると前記第１コンピュータによって判断された場合に、前記ネットワークを介して前記第１コンピュータから前記第１興味情報を取得し、
前記第１ユーザの保有する端末または前記第１ユーザが乗車している車両から、前記第１ユーザの現在位置の位置情報を取得し、
前記位置情報と前記第１興味情報とに基づいて、前記第１ユーザが興味を示すと推定される複数の第１オブジェクトと、前記複数の第１オブジェクトを経由する第１経路とを含む旅程情報を生成し、
前記第１ユーザの端末または前記車両に、前記旅程情報を送信し、前記端末または前記車両のディスプレイに前記旅程情報を表示させる、
ことを含む情報提示方法。

【符号の説明】

【0150】

１ 情報提示システム
１００ 車両
１０１ 照明部
１０２、２０１ センサー部
１０３、２０２、４０１、５０１、６０１ 演算部
１０４、２０３、４０２、５０２、６０２ 通信部
１０５ 可動部
１０６、２０４ 情報入出力部
１０７ 鍵制御部
１０８、２０６、４０３、５０３、６０３ メモリ
１１０ ハンドル
１２０ コックピット
１２１ 車両情報画面
１２２ ナビゲーション画面
１２３ 付加情報画面
１３１ フロントガラス
１４０ 空間映像投影装置
１５０ ルームミラー
１５１ 音声マイク
１６１ スピーカー
２００ 情報端末
２０５ 操作部
２１０ 電子鍵
２２０ デジタル運転免許証
３００ インターネット
３１０ セルラー通信
４００ 個人情報管理クラウド
５００ 車両管理クラウド
６００ 第三者クラウド
６００ａ 地図情報クラウド
６００ｂ 旅行会社クラウド
７００ 近距離無線通信
Ｄ 運転者
Ｇ１ 視線マーカー
Ｇ２１、Ｇ２１ａ、Ｇ２１ｂ、Ｇ２１ｃ、Ｇ２１ｄ、Ｇ２１ｅ、Ｇ２１ｆ、Ｇ２１ｇ メッセージ画像
Ｇ２２ 車両位置画像
Ｐ 乗客
Ｒ１ 検索範囲
Ｒ２ 車両方向
Ｒ３ 乗客位置
Ｒ４ 乗客視線方向
Ｒ５ 興味対象物候補

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】