特許 7122408 情報処理装置及び情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-08-10

(45)【発行日】2022-08-19

(54)【発明の名称】情報処理装置及び情報処理方法

(51)【国際特許分類】

   G09G 5/38 20060101AFI20220812BHJP

   G09G 5/00 20060101ALI20220812BHJP

   G06T 19/00 20110101ALI20220812BHJP

   B60R 11/02 20060101ALI20220812BHJP

【ＦＩ】

G09G5/38 Z

G09G5/00 550C

G06T19/00 600

B60R11/02 C

【請求項の数】 12

(21)【出願番号】P 2021020129

(22)【出願日】2021-02-10

(65)【公開番号】P2022071801

(43)【公開日】2022-05-16

【審査請求日】2021-02-17

(31)【優先権主張番号】63/106,453

(32)【優先日】2020-10-28

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】302064762

【氏名又は名称】株式会社日本総合研究所

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】程塚 正史

【審査官】西島 篤宏

(56)【参考文献】

【文献】特開２００５－２０８１５９（ＪＰ，Ａ）

【文献】特開２０１７－１９１３７８（ＪＰ，Ａ）

【文献】特開２００５－０９８９１６（ＪＰ，Ａ）

【文献】特開２００５－２０７７７６（ＪＰ，Ａ）

【文献】特開平０９－２８１８８９（ＪＰ，Ａ）

【文献】特開２００３－１４３４７７（ＪＰ，Ａ）

【文献】国際公開第２０１７／０４６９３７（ＷＯ，Ａ１）

【文献】特開２００９－２９０８４２（ＪＰ，Ａ）

【文献】特開２０１２－０６３２５３（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／００６６９５６（ＵＳ，Ａ１）

【文献】特開２０１６－０５３８８０（ＪＰ，Ａ）

【文献】特開２０２０－１４２７９２（ＪＰ，Ａ）

【文献】特開２０１９－１８４９６２（ＪＰ，Ａ）

【文献】特開２００２－２６７４７０（ＪＰ，Ａ）

【文献】国際公開第２０２１／１９２４６９（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０９Ｇ ５／００ － ５／４２

Ｇ０６Ｔ １９／００

Ｂ６０Ｒ １１／０２

(57)【特許請求の範囲】

【請求項1】

車両の窓を表示領域として画像を表示する表示部と、
前記車両の状況を示すデータを取得する第１取得部と、
前記窓に表示するオブジェクトを取得する第２取得部と、
前記車両の状況に応じて、実空間における前記オブジェクトの配置位置を決定する決定部と、
前記窓を介して前記配置位置に前記オブジェクトが視認されるように、前記窓における前記オブジェクトの表示位置を制御する表示制御部と
を備え、
前記第１取得部は、前記車両の目的地を取得し、
前記第２取得部は、前記目的地に応じたオブジェクトを取得し、
前記決定部は、オブジェクト毎に該オブジェクトを配置する前記車両からの相対位置を規定するテーブルを参照して、前記オブジェクトを配置する前記車両からの相対位置を決定し、
前記第１取得部は、前記実空間に存在する周辺物の位置及び形状を検出した検出結果を取得し、
前記表示制御部は、前記実空間において前記相対位置に存在する前記周辺物の位置及び形状に基づき、前記オブジェクトの表示を制御する
情報処理装置。

【請求項2】

前記決定部は、前記周辺物の位置に応じて前記オブジェクトの配置位置を決定する
請求項１に記載の情報処理装置。

【請求項3】

前記周辺物は、一定の位置に存在する物体を含み、
前記テーブルを参照して、前記相対位置に前記物体が存在するか否かを判定し、
前記物体が存在しないと判定した場合、前記決定部は、前記相対位置を前記オブジェクトの配置位置に決定し、
前記物体が存在すると判定した場合、前記決定部は、前記オブジェクトの配置位置を前記相対位置から変更する
請求項２に記載の情報処理装置。

【請求項4】

前記表示制御部は、前記配置位置の前記車両からの距離が前記物体の前記車両からの距離よりも長い場合、前記物体の形状に応じて、前記オブジェクトの一部又は全部を非表示とする
請求項３に記載の情報処理装置。

【請求項5】

前記周辺物は、前記車両の周辺に存在する移動体を含み、
検出された前記移動体の動きを追跡する追跡部を備え、
前記表示制御部は、前記移動体の動きに応じて前記オブジェクトの表示位置を逐次変更する
請求項２～４のいずれか１項に記載の情報処理装置。

【請求項6】

前記車両の位置情報を逐次取得する位置取得部を備え、
前記決定部は、前記目的地の所在位置を前記オブジェクトの配置位置に決定し、
前記表示制御部は、前記配置位置と、逐次取得する前記位置情報が示す前記車両の現在位置とに基づき、前記目的地が所在する方向に前記オブジェクトが視認されるように、前記窓における前記オブジェクトの表示位置を逐次変更する
請求項１～５のいずれか１項に記載の情報処理装置。

【請求項7】

前記第１取得部は、前記車両の走行速度を取得し、
前記走行速度が特定の速度以下になったか否かを判定する速度判定部を備え、
前記特定の速度以下になったと判定した場合、前記決定部は前記オブジェクトの配置位置を決定し、
前記表示制御部は、決定した前記配置位置に前記オブジェクトが固定して視認されるように、前記窓における前記オブジェクトの表示位置を制御する
請求項１～６のいずれか１項に記載の情報処理装置。

【請求項8】

前記車両に乗車している人物の感情を推定する推定部を備え、
前記表示制御部は、前記オブジェクトの表示後における前記人物の感情に応じて、前記オブジェクトの表示を制御する
請求項１～７のいずれか１項に記載の情報処理装置。

【請求項9】

前記第１取得部は、前記車両の運転状況を示すデータを取得し、
前記表示制御部は、前記運転状況に応じて、前記窓において前記オブジェクトの表示を禁止する表示禁止領域を設定、又は前記オブジェクトを半透明オブジェクトに変更する
請求項１～８のいずれか１項に記載の情報処理装置。

【請求項10】

前記オブジェクトの表示対象である人物が着座している前記車両内の座席を特定する特定部を備え、
前記表示制御部は、特定した前記座席の位置と、前記オブジェクトの配置位置とに基づき、前記窓における前記オブジェクトの表示位置を制御する
請求項１～９のいずれか１項に記載の情報処理装置。

【請求項11】

前記表示部は、前記車両の複数の前記窓に画像を表示し、
前記表示制御部は、前記オブジェクトの配置位置に応じて、いずれかの前記窓に前記オブジェクトを表示させる
請求項１～１０のいずれか１項に記載の情報処理装置。

【請求項12】

車両の状況を示すデータを取得し、
前記車両の窓を表示領域とする表示部に表示するオブジェクトを取得し、
前記車両の状況に応じて、実空間における前記オブジェクトの配置位置を決定し、
前記窓を介して前記配置位置に前記オブジェクトが視認されるように、前記窓における前記オブジェクトの表示位置を制御する
処理をコンピュータに実行させるプログラムであって、
前記車両の目的地を取得し、
前記目的地に応じたオブジェクトを取得し、
オブジェクト毎に該オブジェクトを配置する前記車両からの相対位置を規定するテーブルを参照して、前記オブジェクトを配置する前記車両からの相対位置を決定し、
前記実空間に存在する周辺物の位置及び形状を検出した検出結果を取得し、
前記実空間において前記相対位置に存在する前記周辺物の位置及び形状に基づき、前記オブジェクトの表示を制御する
処理をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置及び情報処理方法に関する。
に関する。

【背景技術】

【0002】

車両に乗車する人物が視認する景色に画像を重畳する拡張現実（ＡＲ；Augmented Reality）の表示技術がある。例えば特許文献１では、車両のフロントガラスにオブジェクトを投影するヘッドアップディスプレイシステムにおいて、車両の動作方向に応じてオブジェクトを補正する画像処理装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－２０２６９８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に係る発明は運転支援を目的としたオブジェクトをフロントガラスに投影するのみで、運転支援以外のコンテンツを乗車人物に提示するに至っていない。

【0005】

一つの側面では、ＡＲコンテンツを好適に表示することができる情報処理装置等を提供することを目的とする。

【課題を解決するための手段】

【0006】

一つの側面に係る情報処理装置は、車両の窓を表示領域として画像を表示する表示部と、前記車両の状況を示すデータを取得する第１取得部と、前記窓に表示するオブジェクトを取得する第２取得部と、前記車両の状況に応じて、実空間における前記オブジェクトの配置位置を決定する決定部と、前記窓を介して前記配置位置に前記オブジェクトが視認されるように、前記窓における前記オブジェクトの表示位置を制御する表示制御部とを備え、前記第１取得部は、前記車両の目的地を取得し、前記第２取得部は、前記目的地に応じたオブジェクトを取得し、前記決定部は、オブジェクト毎に該オブジェクトを配置する前記車両からの相対位置を規定するテーブルを参照して、前記オブジェクトを配置する前記車両からの相対位置を決定し、前記第１取得部は、前記実空間に存在する周辺物の位置及び形状を検出した検出結果を取得し、前記表示制御部は、前記実空間において前記相対位置に存在する前記周辺物の位置及び形状に基づき、前記オブジェクトの表示を制御する。

【発明の効果】

【0007】

一つの側面では、ＡＲコンテンツを好適に表示することができる。

【図面の簡単な説明】

【0008】

【図1】オブジェクト表示システムの構成例を示す説明図である。

【図2】サーバの構成例を示すブロック図である。

【図3】車載装置の構成例を示すブロック図である。

【図4】コンテンツＤＢ、車両ＤＢ、表示テーブルのレコードレイアウトの一例を示す説明図である。

【図5】車両内部を示す模式図である。

【図6】目的地に応じたオブジェクトの表示例を示す説明図である。

【図7】周辺構造物に応じたオブジェクトの表示例を示す説明図である。

【図8】周辺移動体に応じたオブジェクトの表示例を示す説明図である。

【図9】車速に応じたオブジェクトの表示例を示す説明図である。

【図10】他の車両からのメッセージの表示例を示す説明図である。

【図11】車載装置が実行する処理手順の一例を示すフローチャートである。

【図12】車載装置が実行する処理手順の一例を示すフローチャートである。

【図13】実施の形態２の概要を示す説明図である。

【図14】実施の形態２に係る車載装置が実行する処理手順の一例を示すフローチャートである。

【図15】実施の形態３の概要を示す説明図である。

【発明を実施するための形態】

【0009】

以下、本発明をその実施の形態を示す図面に基づいて詳述する。
（実施の形態１）
図１は、オブジェクト表示システムの構成例を示す説明図である。本実施の形態では、所定のＡＲコンテンツに係るオブジェクトを、車両４の窓（以下、「車窓」と記載）に表示するオブジェクト表示システムについて説明する。オブジェクト表示システムは、サーバ１と、車両４に搭載された車載装置２（情報処理装置）とを含む。各装置は、ネットワークＮを介して通信接続されている。

【0010】

サーバ１は、種々の情報処理、情報の送受信が可能なサーバコンピュータである。なお、サーバ１に相当する装置はパーソナルコンピュータ等であってもよい。サーバ１は、車載装置２に配信するＡＲコンテンツを管理するサーバコンピュータであり、ネットワークＮを介して車載装置２にＡＲコンテンツを配信する。

【0011】

車両４は、本システムのユーザが利用する車両である。車両４は、例えば自動運転車であるが、自動運転機能を有しない手動運転車両であってもよい。車両４には車載装置２が搭載され、ＡＲコンテンツをユーザに提示する。なお、図１では車両４を一台しか図示していないが、サーバ１は複数の車両４と通信可能に接続されている。

【0012】

車載装置２は、サーバ１から配信されたＡＲコンテンツに係るオブジェクトの表示を制御する装置である。なお、車載装置２は、ＥＣＵ（Electronic Control Unit）のように車両４に組み込まれた装置であってもよく、又は車両４に外付けされた装置であってもよい。車載装置２は、車両４の車窓を表示領域とした表示手段を備え、車窓に画像を表示する。詳しくは後述するように、車載装置２は、車両４のフロントガラス、フロントドアガラス、リアドアガラス、ルーフガラス等の複数の車窓を表示領域として、いずれかの車窓にオブジェクトを表示する（図５参照）。

【0013】

本実施の形態において車載装置２は、車両４の状況に応じて、車窓におけるオブジェクトの表示を制御する。詳しくは後述するように、車載装置２は、車両４の目的地、車両４の周辺に存在する周辺物、車両４に乗車しているユーザ（人物）の感情、車両４の走行速度（以下、「車速」と記載）等に応じて、オブジェクトを表示する車窓、その車窓におけるオブジェクトの表示位置等を制御する。

【0014】

図２は、サーバ１の構成例を示すブロック図である。サーバ１は、制御部１１、主記憶部１２、通信部１３、及び補助記憶部１４を備える。
制御部１１は、一又は複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）等のプロセッサを有し、補助記憶部１４に記憶されたプログラムＰ１を読み出して実行することにより、種々の情報処理を行う。主記憶部１２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の一時記憶領域であり、制御部１１が演算処理を実行するために必要なデータを一時的に記憶する。通信部１３は、通信に関する処理を行うための通信モジュールであり、外部と情報の送受信を行う。

【0015】

補助記憶部１４は、大容量メモリ、ハードディスク等の不揮発性記憶領域であり、制御部１１が処理を実行するために必要なプログラムＰ１、その他のデータを記憶している。また、補助記憶部１４は、コンテンツＤＢ１４１、車両ＤＢ１４２を記憶している。コンテンツＤＢ１４１は、車載装置２に配信するコンテンツを格納するデータベースである。車両ＤＢ１４２は、コンテンツの配信対象とする車両４の情報を格納するデータベースである。

【0016】

なお、補助記憶部１４はサーバ１に接続された外部記憶装置であってもよい。また、サーバ１は複数のコンピュータからなるマルチコンピュータであってもよく、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。

【0017】

また、本実施の形態においてサーバ１は上記の構成に限られず、例えば操作入力を受け付ける入力部、画像を表示する表示部等を含んでもよい。また、サーバ１は、非一時的なコンピュータ読取可能な記録媒体１ａ（Non-Transitory Computer-Readable Storage Medium）を読み取る読取部を備え、記録媒体１ａからプログラムＰ１を読み込んでもよい。

【0018】

図３は、車載装置２の構成例を示すブロック図である。車載装置２は、制御部２１、主記憶部２２、通信部２３、表示部２４、測位部２５、周辺撮像部２６、車内撮像部２７、音声入力部２８、音声出力部２９、車速検出部３０、及び補助記憶部３１を備える。
制御部２１は、一又は複数のＣＰＵ等のプロセッサを有し、補助記憶部３１に記憶されたプログラムＰ２を読み出して実行することにより、種々の情報処理を行う。主記憶部２２は、ＲＡＭ等の一時記憶領域であり、制御部２１が演算処理を実行するために必要なデータを一時的に記憶する。通信部２３は、通信に関する処理を行うための通信モジュールであり、外部と情報の送受信を行う。

【0019】

表示部２４は、車窓を表示領域として画像（オブジェクト）を表示する表示手段である。具体的には後述するように、表示部２４は、車窓をスクリーンとして画像を投影する投影装置、又は車窓自体をディスプレイ画面とした透明ディスプレイ等である。測位部２５は、車両４の現在位置を示す位置情報を取得するモジュールであり、例えばＧＰＳ（Global Positioning System）座標値を受信するモジュールである。

【0020】

周辺撮像部２６は、車外を撮像範囲として画像を撮像するカメラであり、車両４周辺を撮像する。車内撮像部２７は、車内を撮像範囲として画像を撮像するカメラであり、車内を撮像する。好適には、周辺撮像部２６及び／又は車内撮像部２７は、レーザ光等を用いた距離センサ付きのカメラ、又は複眼カメラであり、画像に写る物体との距離を取得可能に構成されている。

【0021】

音声入力部２８は音声を集音するマイクであり、車内の音声を取得する。音声出力部２９は音声を出力するスピーカであり、車内に音声を出力する。車速検出部３０は、車両４の車速を検出するセンサである。

【0022】

補助記憶部３１は、ハードディスク、大容量メモリ等の不揮発性記憶領域であり、制御部２１が処理を実行するために必要なプログラムＰ２、その他のデータを記憶している。また、補助記憶部３１は、地図データＭ、表示テーブル３１１を記憶している。地図データＭは、地図上の各位置における位置情報（ＧＰＳ座標値）が付された地図データである。表示テーブル３１１は、サーバ１から配信されるコンテンツに係るオブジェクトの表示規則を格納するテーブルである。

【0023】

なお、車載装置２は、非一時的なコンピュータ読取可能な記録媒体２ａ（Non-Transitory Computer-Readable Storage Medium）を読み取る読取部を備え、記録媒体２ａからプログラムＰ２を読み込んでもよい。

【0024】

図４は、コンテンツＤＢ１４１、車両ＤＢ１４２、表示テーブル３１１のレコードレイアウトの一例を示す説明図である。
コンテンツＤＢ１４１は、コンテンツＩＤ列、オブジェクトＩＤ列、オブジェクト列を含む。コンテンツＩＤ列は、各コンテンツを識別するためのコンテンツＩＤを記憶している。オブジェクトＩＤ列は、コンテンツＩＤと対応付けて、コンテンツ内の各オブジェクトを識別するためのオブジェクトＩＤを記憶している。オブジェクト列は、オブジェクトＩＤと対応付けて、オブジェクトの表示データ（２Ｄ画像、３Ｄ画像等）を記憶している。

【0025】

車両ＤＢ１４２は、車両ＩＤ列、ユーザ名列、ユーザ属性列、アバター列、視聴履歴列を含む。車両ＩＤ列は、コンテンツの配信対象である各車両４を識別するための車両ＩＤを記憶している。ユーザ名列、ユーザ属性列、アバター列、及び視聴履歴列はそれぞれ、車両ＩＤと対応付けて、車両４に乗車するユーザの氏名、ユーザの属性情報（性別、年齢等）、後述のメッセージの送受信時に用いるアバター画像、及びユーザによるコンテンツの視聴履歴を記憶している。

【0026】

表示テーブル３１１は、コンテンツＩＤ列、オブジェクトＩＤ列、表示条件列、位置列、感情列、及び動作列を含む。コンテンツＩＤ列は、各コンテンツを識別するためのコンテンツＩＤを記憶している。オブジェクトＩＤ列、表示条件列、及び位置列はそれぞれ、コンテンツＩＤと対応付けて、コンテンツ内の各オブジェクトを識別するためのオブジェクトＩＤ、オブジェクトの表示条件（出現条件）、及び実空間におけるオブジェクトの仮想的な配置位置（デフォルト値）を記憶している。感情列、並びに動作列はそれぞれ、オブジェクトＩＤと対応付けて、オブジェクトを視聴したユーザの感情（反応）のパターン、並びに各パターンの感情に応じたオブジェクトの表示動作及び表示時間を記憶している。

【0027】

例えば、オブジェクトＩＤ「Ｅｌｅｐｈａｎｔ １０１」のオブジェクトは、所定の表示条件を満たした場合に、車両４からの距離が３００ｍで、かつ、車両４の直進方向を０°として「－３０°」（左側３０°）の方向に表示される。当該オブジェクトを視聴したユーザの感情が「興奮」であった場合、「雄たけび」の表示動作が「３０秒」継続される。表示テーブル３１１に基づくオブジェクトの表示制御について、詳しくは後述する。

【0028】

図５は、車両４内部を示す模式図である。図５では、後部座席から見た車両４内部の様子を模式的に図示している。図５に基づき、本実施の形態に係る車両４について説明する。

【0029】

本実施の形態に係る車両４は、車窓周辺のボディ面積が極力小さくなり、車窓の面積が極力大きくなるように構成されている。具体的には、車両４の各ピラー（Ａピラー、Ｂピラー、Ｃピラー、ルーフピラー等。図５に太線で図示）が細長に形成され、ピラーによって遮られる視認範囲が狭くなるように構成されている。車両４には、各ピラーの間に各車窓（フロントガラス、フロントドアガラス、リアドアガラス等）が設けられている。また、本実施の形態に係る車両４は天井全面がルーフガラスで構成されている。

【0030】

上述の如く、車両４は、車窓を表示領域とする表示手段を備え、車窓に画像を表示する。具体的には、車両４は、フロントガラス、フロントドアガラス、リアドアガラス、ルーフガラス、リアガラス等、複数の車窓それぞれに画像を表示する。当該表示手段は、例えば車窓をスクリーンとするプロジェクタであるが、車窓自体を透明ディスプレイとして構成してもよく、その具体的な表示手段は特に限定されない。また、例えばルーフ部分は車窓（ガラス）とせずに遮蔽し、ルーフに画像を表示（投影）するだけであってもよい。

【0031】

また、車両４には、車内外を撮像するカメラが設置されている。例えば図５に示すように、車両４のルーフピラーには、車内撮像用のカメラ（車内撮像部２７）が３つ設置されている。図示は省略するが、同様にして車外撮像用のカメラ（周辺撮像部２６）も複数台設置され、車両周辺（例えば車両の前方、側方、後方及び／又は上方）を撮像する。

【0032】

なお、以下の説明では便宜上、車内撮像部２７が撮像する画像を「車内画像」と呼び、周辺撮像部２６が撮像する画像を「周辺画像」と呼んで区別する。

【0033】

そのほか、車両４には車内の音声を集音するマイク（音声入力部２８）、車内に音声を出力するスピーカ（音声出力部２９）が設置されている（いずれも不図示）。

【0034】

以上の通り、車両４はユーザが視認可能な景色が極力大きくなるように構成されている。車載装置２は、ＡＲコンテンツに係るオブジェクトを各車窓に表示することで、ユーザが視認する景色にオブジェクトを重畳表示する。このように、本システムでは、視認範囲を極力大きくした車窓を通して見える景色にオブジェクトを重畳表示することで、車両４の車内を、ＡＲコンテンツを体験する空間として提供する。

【0035】

なお、図５に示す車両４の構成は例示であって、本実施の形態はこれに限定されるものではない。例えば車内撮像用のカメラはピラー以外の箇所に設置されてもよく、オブジェクトを表示する車窓はフロントガラスのみであってもよい。

【0036】

以下では、車両４がユーザ所望の目的地（例えば動物園）に向かう場合を一例にして、具体的なオブジェクトの表示方法について説明する。

【0037】

図６は、目的地に応じたオブジェクトの表示例を示す説明図である。例えば車載装置２はまず、走行を開始する場合に、ユーザから目的地の設定入力を受け付ける。目的地の設定手段は、例えばユーザからの音声入力で行う。あるいは車載装置２は、手動操作入力手段（例えばタッチパネルディスプレイ）を別途設け、手動操作で目的地の設定入力を受け付けるようにしてもよい。

【0038】

なお、上記の操作入力手段は一例であって、本実施の形態はこれに限定されるものではない。例えば車載装置２は、ユーザの手の動作（ジェスチャ）を車内画像から認識することで、ユーザの手の動作に基づく操作入力を受け付けるようにしてもよい。具体的には、車載装置２は、車内撮像部２７を距離センサ付きのカメラとして構成し、各画素に対し距離の測定値が対応付けられた距離画像を車内画像として取得して、距離画像からユーザの手の動作を認識する。あるいは車載装置２は、車内撮像部２７を複眼カメラとして構成し、複数の車内画像からユーザの手の動作を認識してもよい。例えば車載装置２は、目的地設定用の操作画面を車窓に表示すると共に、ユーザの手の動作を認識することで、指差し動作等によって当該画面に対する目的地の設定入力を受け付ける。このように、車両４は、ユーザの手の動作を車内画像から認識することで目的地の設定入力を受け付けるようにしてもよい。以降の操作入力時も同様である。

【0039】

目的地の設定入力を受け付けた場合に、車載装置２は、当該目的地に向かうユーザ向けのコンテンツをサーバ１から取得する。例えば目的地が動物園である場合、車載装置２は、当該動物園の画像（例えば正面玄関の写真）や、種々の動物の３Ｄ画像などの表示オブジェクトをコンテンツとして取得する。

【0040】

なお、本実施の形態では目的地に応じてコンテンツ（オブジェクト）が用意されているものとして説明するが、コンテンツは目的地と無関係なものであってもよい。

【0041】

目的地の設定入力を受け付けた場合、車載装置２は、目的地を表すオブジェクト（例えば動物園の正面玄関の写真）を車窓に表示する。具体的には、車載装置２は、車両４に乗車しているユーザから見て、実際に目的地が所在する位置に当該オブジェクトが常に視認されるように表示する。

【0042】

例えば車載装置２は、設定された目的地の所在位置（例えばＧＰＳ座標値）を地図データＭから特定する。そして車載装置２は、特定した目的地の所在位置を、車窓から視認可能な実空間においてオブジェクトを仮想的に配置する配置位置に決定する。次に車載装置２は、車両４の位置情報を測位部２５により取得する。車載装置２は、取得した位置情報が示す車両４の現在位置に基づき、上記で決定した配置位置（所在位置）にオブジェクトが視認されるように、車窓におけるオブジェクトの表示位置を制御する。すなわち、車載装置２は、目的地が所在する方向にオブジェクトが表示されるように制御する。車載装置２は、上記の表示位置にオブジェクトを表示する。

【0043】

車載装置２は、車両４の走行中、車両４の位置情報を逐次取得する。そして車載装置２は、逐次取得する位置情報が示す車両４の現在位置に基づき、目的地が所在する方向に常にオブジェクトが視認されるように、オブジェクトの表示位置を逐次変更する。これにより、ユーザは目的地の所在方向をリアルタイムで視認することができる。

【0044】

なお、以降も目的地に到着するまで当該オブジェクトが常に表示されるが、以下の図面（表示例）では便宜上、当該オブジェクトの図示を省略する。

【0045】

また、図６の例ではフロントガラスにオブジェクトが表示される様子を図示しているが、オブジェクトの配置位置（目的地の方向）によっては、フロントドアガラスやリアドアガラス等、他の車窓にオブジェクトを表示する。例えば車載装置２は、実空間におけるオブジェクトの配置位置と、車両４の位置及び向き（直進方向）とに基づき、車内のユーザから目的地（配置位置）が視認される車窓を特定し、特定した車窓にオブジェクトを表示する。このように、本実施の形態では複数の車窓に跨ってオブジェクトを表示可能とすることで、車両４の全方位をＡＲ空間として提示することができる。オブジェクトの配置位置に応じてフロントガラス以外の車窓にオブジェクトを表示する点は以下の説明でも同様である。

【0046】

図７は、周辺構造物に応じたオブジェクトの表示例を示す説明図である。車両４の出発後、車載装置２は、車両４の状況に応じて種々のオブジェクトを車窓に出現（表示）させ、ユーザにＡＲコンテンツを体験させる。

【0047】

例えば車載装置２は、表示テーブル３１１で規定する各オブジェクトの表示条件をクリアした場合、オブジェクトを表示する。表示条件は、例えば特定エリアへの車両４の進入、出発後の経過時間、時間帯、天候、車窓から視認可能な景色、車両４に乗車しているユーザの感情、発話、動作、属性等に応じて、オブジェクト毎に規定されている。車載装置２は、これらの情報に応じて各オブジェクトの表示条件をクリアしたか否かを逐次判定する。

【0048】

なお、上記の表示条件は一例であって、本実施の形態はこれに限定されるものではない。例えば車載装置２は、ユーザの過去のコンテンツの視聴履歴から表示するオブジェクトを選択し、車窓に表示するようにしてもよい。例えば車載装置２は、オブジェクトと対応付けて、後述するように車内画像から推定されるユーザの感情をユーザＤＢ１４２に記憶しておくことで、ポジティブな感情を誘起するオブジェクト（コンテンツ）を優先的に選択し、表示するようにする。このように、車載装置２は、コンテンツの視聴履歴等も表示条件の基準としてもよく、その判定方法は特に問わない。

【0049】

表示条件をクリアしたと判定した場合、車載装置２は、表示条件をクリアしたオブジェクトを車窓に表示する。図７では一例として、動物の３Ｄ画像が表示される様子を図示している。この場合に車載装置２は、車両４の周辺物に応じてオブジェクトの表示位置を制御する。

【0050】

例えば車載装置２は、周辺撮像部２６により撮像した周辺画像から、車両４の周辺に存在する周辺物を逐次検出（認識）している。周辺物は、例えば車両４の周辺に存在する構造物や自然物（山、海、樹木等）などの物体、あるいは車両４の周辺に存在する移動体などである。例えば車載装置２は、周辺画像から各周辺物の位置及び形状を検出する。具体的には、車載装置２は、車内撮像部２７と同様に周辺撮像部２６を距離センサ付きのカメラとして構成し、距離画像を周辺画像として取得する。そして車載装置２は、画像から周辺物を認識すると同時に、認識した周辺物の位置（距離、方向）及び形状を検出する。

【0051】

図７では周辺物として、車両４の周辺に存在する構造物を検出した場合を図示している。構造物とは、実空間の一定の位置に存在する物体であり、例えば建物、ガードレール、信号機等の人工物を指す。図７の例では、建物の陰、及びガードレール上にオブジェクトが表示される様子を図示している。車載装置２は、周辺画像から検出した構造物の位置及び形状に応じて、オブジェクトの表示位置を制御する。

【0052】

例えば表示テーブル３１１には、実空間にオブジェクトを配置する際の配置位置のデフォルト値であって、車両４を基準とする相対位置が予め規定されている。詳しくは図４のオブジェクトＩＤ「Ｅｌｅｐｈａｎｔ １０１」の行に示したように、表示テーブル３１１には、オブジェクトを配置する車両４からの距離及び方向が規定されている。

【0053】

車載装置２は、周辺画像から検出した構造物の位置と、表示テーブル３１１で規定されているオブジェクトの相対位置とを比較して、当該相対位置に構造物が存在するか否か、すなわち、オブジェクト及び構造物が重複するか否かを判定する。具体的には、車載装置２は、周辺画像から検出した構造物の距離及び方向と、表示テーブル３１１で規定されているオブジェクトの距離及び方向とが同一又は近似するか否かを判定する。表示テーブル３１１で規定されている相対位置に構造物が存在しないと判定した場合、車載装置２は、当該相対位置をオブジェクトの配置位置に決定し、当該配置位置にオブジェクトが視認されるように、車窓におけるオブジェクトの表示位置を制御する。

【0054】

構造物が存在すると判定した場合、車載装置２は、オブジェクトの配置位置を規定の相対位置から変更し、構造物と重複しないように調整する。例えば車載装置２は、構造物に載置される形で、構造物の上を配置位置に決定する。図７の例では、規定の相対位置にガードレールが存在するため、ガードレール上にオブジェクトが表示されている

【0055】

車載装置２は、上記で決定した配置位置にオブジェクトが視認されるように、車窓におけるオブジェクトの表示位置を制御する。具体的には上述の如く、車載装置２は、構造物の上を配置位置に決定した場合は、構造物の上にオブジェクトを表示する。

【0056】

また、車載装置２は、オブジェクトを配置する方向が構造物の方向と略同一であるが、オブジェクトの距離が構造物の距離よりも長い場合、その構造物の形状に応じて、オブジェクトの一部又は全部が構造物に被覆されるように非表示とする。図７の例では、ビルの陰にオブジェクト（動物）の一部が隠れる形で、ビルの背後にオブジェクトが表示されている。このように、車載装置２はオブジェクト及び構造物の距離から両者の前後関係を定義し、その前後関係に応じて、オブジェクトの全部を表示するか、あるいはオブジェクトの一部又は全部を非表示とする。

【0057】

なお、上記の表示方法は一例であって、本実施の形態はこれに限定されるものではない。例えば車載装置２は、オブジェクト及び構造物が重複する場合、オブジェクトを非表示としてもよい。また、上記では構造物に載置する形で、オブジェクトを配置する高さを変更したが、オブジェクトを配置する距離又は方向を変更してもよい。また、例えば車載装置２は、高層建築物（ビル）の上にオブジェクトが表示されることは不自然なため、構造物の高さが一定以上である場合は構造物の上にオブジェクトを配置（載置）せずに非表示とし、高さが一定以下の場合のみ構造物の上にオブジェクトを表示するようにしてもよい。また、例えば車載装置２は、オブジェクトの全部が構造物の背後に隠れてしまう場合、オブジェクトを表示する方向をデフォルト値から微調整（変更）し、少なくともオブジェクトの一部が視認できるようにしてもよい。このように、上記の表示方法は一例であって、種々の変更が考えられる。

【0058】

なお、上記では周辺画像から検出する物体として構造物を挙げたが、例えば山、海、樹木等の自然物を検出するようにしてもよい。すなわち、車載装置２は、一定の位置に存在する物体を検出可能であればよく、その対象物体は構造物に限定されない。

【0059】

また、上記では周辺画像から構造物を検出するものとしたが、本実施の形態はこれに限定されるものではない。例えば地図データＭを３次元の立体地図として、車両４の現在の位置情報から、車両４の周辺に存在する構造物の位置及び形状を地図データＭから取得（検出）するようにしてもよい。このように、車載装置２は車両４の周辺に存在する構造物を検出可能であればよく、その検出手段は画像認識に限定されない。

【0060】

上述の如く、車載装置２はＡＲコンテンツに係るオブジェクトを表示する。さらに車載装置２は、当該オブジェクトを視聴したユーザの反応に応じて、オブジェクトの表示を制御する。

【0061】

具体的には、車載装置２は、車内撮像部２７により撮像された車内画像、及び／又は音声入力部２８により取得した車内音声から、オブジェクトを視聴したユーザの感情を推定する。例えば車載装置２は、車内画像から認識可能なユーザの表情、動作、及び／又は車内音声から認識可能なユーザの発話（個々のユーザの発言、あるいはユーザ同士の会話）から感情を推定する。なお、ユーザの感情はパターンマッチングで推定してもよく、あるいは機械学習モデルを用いて推定してもよい。

【0062】

なお、上記では車内画像及び／又は音声からユーザの反応を推定したが、本実施の形態はこれに限定されるものではない。例えば車載装置２は、ユーザの生体情報（体温、呼吸、脈拍、心電等）を計測する生体センサを備え、生体情報からユーザの反応を推定してもよい。

【0063】

車載装置２は表示テーブル３１１を参照して、推定したユーザの感情に応じてオブジェクトの表示を制御する。具体的には、車載装置２は、ユーザの感情に応じてオブジェクトの表示動作を制御すると共に、オブジェクトの表示時間を制御する。図７の例では、車載装置２は、ユーザの感情が「興奮」である場合、動物が雄たけびを上げる演出表示を「３０秒」継続する。一方で、ユーザの感情が「怯え」である場合、車載装置２は、動物が退出する演出表示を「１０秒」で行う。これにより、ユーザはＡＲコンテンツを好適に体験することができる。

【0064】

図８は、周辺移動体に応じたオブジェクトの表示例を示す説明図である。図８では周辺物として、車両４の周辺に存在する移動体を検出してオブジェクトを表示する場合を図示している。

【0065】

本実施の形態において車載装置２は、ユーザが指定した移動体（例えば自車両と並走する他の車両）を対象として、ユーザが指定したオブジェクトを表示する。移動体及びオブジェクトの指定方法は特に問わないが、例えば車載装置２は、ユーザの手の動作に基づき移動体及びオブジェクトの指定入力を受け付ける。車載装置２は、ユーザが周辺の移動体を指差す動作を車内画像から認識し、指差し動作で指し示された移動体を周辺画像から特定する。そして車載装置２は、ＡＲコンテンツとして予め用意されている複数のオブジェクトを車窓に表示し、当該複数のオブジェクトからいずれかを選択する指差し動作を認識する。

【0066】

車載装置２は、上記で指定された移動体の位置に基づき、実空間におけるオブジェクトの配置位置を決定する。例えば車載装置２は、図８に示すように、移動体の上部（例えば車両のルーフやトランクの上）をオブジェクトの配置位置に決定する。車載装置２は、決定した配置位置にオブジェクトが視認されるように、車窓にオブジェクトを表示する。

【0067】

その後、車載装置２はオプティカルフロー等の方法で、周辺画像から移動体の動きを追跡（トラッキング）する。そして車載装置２は、移動体に対するオブジェクトの相対位置が変わらないように、移動体の動きに応じてオブジェクトの表示位置を逐次変更する。これにより、車載装置２は、移動体に追従する形でオブジェクトを表示する。なお、例えば車載装置２は図７と同様に、当該オブジェクトを視聴したユーザの感情に応じて、オブジェクトの表示を制御する。

【0068】

なお、上記の表示方法は一例であって、移動体の位置に応じた位置にオブジェクトを配置可能であればよい。例えば車載装置２は、移動体から所定距離だけ離れた位置にオブジェクトを配置することで、オブジェクト（動物）が移動体と共に移動する（走る）ように表示してもよい。また、例えば車載装置２は、移動体自体がオブジェクト（動物）として視認されるように、移動体全体にオブジェクトを重畳表示してもよい。

【0069】

また、本実施の形態ではユーザが指定した場合に移動体に応じたオブジェクトを表示するものとしたが、車載装置２は、周辺画像から移動体を検出した場合に自動的にオブジェクトを選択し、移動体に対応する位置にオブジェクトを表示してもよい。

【0070】

また、上記では移動体として並走車両を挙げたが、例えば歩道を走行する自転車、又は周辺画像に写る航空機など、その他の移動体であってもよい。すなわち、車載装置２は、車窓から視認可能な実空間に存在する移動体に対してオブジェクトを表示可能であればよく、その移動体は車両に限定されない。

【0071】

図９は、車速に応じたオブジェクトの表示例を示す説明図である。図９では、車両が横断歩道で停止した場合に、オブジェクトが車窓に出現する様子を図示している。

【0072】

図４のオブジェクトＩＤ「Ｏｔｔｅｒ １０１」の行に示したように、表示テーブル３１１にはオブジェクトに応じて、表示条件として車速が規定されている。なお、車速に加えて、オブジェクトを出現させるエリア、時間帯等を表示条件として規定しておいてもよい。車載装置２は、車速検出部３０により車速を逐次検出し、表示テーブル３１１で規定されている特定の速度以下になったか否かを判定する。具体的には、車載装置２は、車両４が停止、又は停止状態に近似できるほど十分低速になったか否かを判定する。

【0073】

特定の速度以下になったと判定した場合、車載装置２は、表示テーブル３１１で規定されている相対位置（車両４からの距離及び方向）をオブジェクトの配置位置に決定し、オブジェクトを車窓に表示する。図９の例では、車両４の左斜め前方にオブジェクトが表示されている。

【0074】

この場合、車載装置２は、オブジェクトの配置位置を固定し、当該位置にオブジェクトが固定して視認されるように、車両４の発進後の車窓における表示位置を制御する。図９の例では車両４は横断歩道で停止したため、車両４は前方に進行する。この場合、車載装置２は、フロントガラスの左側から左フロントドアガラス、左リアドアガラスへとオブジェクトを移動させる。このように、車載装置２は、特定の速度以下になった場合に実空間の所定位置にオブジェクトを出現させ、その後の車両４の移動に応じてオブジェクトの表示位置を複数の車窓に跨って変更する。このように、車載装置２は、車両４の運転状況（車速）に応じてＡＲコンテンツを表示してもよい。

【0075】

図１０は、他の車両４からのメッセージの表示例を示す説明図である。本実施の形態に係る車載装置２は、上記のＡＲコンテンツの表示機能のほかに、本システムに接続された他の車両４との間のメッセージ共有機能を有する。図１０では、他の車両４から受信したメッセージが車窓に表示される様子を図示している。

【0076】

例えば他の車両４の車載装置２は、音声入力等によってメッセージの入力を受け付け、サーバ１を介して、送信対象の車両４にメッセージを送信する。送信対象の車両４の車載装置２は、当該メッセージを受信する。なお、メッセージには本文（テキスト）だけでなく画像等も含まれていてもよい。

【0077】

メッセージを受信した場合、車載装置２はまず、メッセージを受信した旨をユーザに通知する。例えば車載装置２は、所定のアイコンを車窓に表示してもよく、又はメッセージを受信した旨の音声を出力してもよい。

【0078】

車載装置２は、通知したメッセージを表示するか否か、ユーザから選択入力を受け付ける。例えば車載装置２は、ユーザの特定の動作（例えばアイコンへの指差し動作）を車内画像から認識するようにしてもよく、又はメッセージを表示させる特定の発話音声の入力を受け付けるようにしてもよい。

【0079】

メッセージを表示する旨の選択入力を受け付けた場合、車載装置２は、受信したメッセージを車窓に表示する。具体的には図１０に示すように、車載装置２は、メッセージの送り主である他のユーザのアバターを表示すると共に、吹き出しの形でメッセージを表示する。これにより、例えば目的地に同行する他の車両４がある場合などに、メッセージを共有することができる。

【0080】

なお、上記ではメッセージを表示するものとしたが、例えばメッセージ（テキスト）を音声に変換して再生するようにしてもよい。

【0081】

また、例えば車載装置２は、メッセージを表示するだけでなく、メッセージの内容に応じたナビゲーションを行ってもよい。図１０の例で説明すると、車載装置２は、メッセージから特定の地名（「××サービスエリア」）を認識し、当該地名に対応する位置を地図データＭから特定して、中間の目的地に設定して、図６と同様に当該目的地のオブジェクトを車窓に表示するようにしてもよい。これにより、ユーザを好適に支援することができる。

【0082】

以上より、本実施の形態１によれば、車載装置２は車両４の状況（車両４の目的地、周辺物、車速等）に応じてオブジェクトの配置位置を決定し、車窓を介して当該配置位置にオブジェクトが視認されるように、複数の車窓におけるオブジェクトの表示を制御する。これにより、車両４の車内をＡＲコンテンツの体験空間として、ＡＲコンテンツをユーザに好適に体感させることができる。

【0083】

図１１及び図１２は、車載装置２が実行する処理手順の一例を示すフローチャートである。図１１及び図１２に基づき、車載装置２が実行する処理内容について説明する。
車載装置２の制御部２１は、目的地の設定入力を受け付ける（ステップＳ１１）。制御部２１は、目的地に応じたコンテンツをサーバ１から取得する（ステップＳ１２）。なお、既に述べたように、コンテンツは目的地と無関係なコンテンツであってもよい。

【0084】

制御部２１は、設定された目的地の所在位置を地図データＭから特定する（ステップＳ１３）。制御部２１は、目的地の所在位置を、目的地に対応するオブジェクトを実空間に配置する配置位置に決定する（ステップＳ１４）。制御部２１は、測位部２５により車両４の位置情報を取得し、位置情報が示す車両４の現在位置に基づき、ステップＳ１４で決定した配置位置にオブジェクトが視認されるようにオブジェクトを表示する（ステップＳ１５）。以降の処理では、制御部２１は車両４の位置情報を逐次取得して、車窓におけるオブジェクトの表示位置を逐次変更する。

【0085】

制御部２１は、周辺撮像部２６により車両４周辺を撮像する（ステップＳ１６）。制御部２１は、車両４周辺を撮像した周辺画像から、周辺物を検出する（ステップＳ１７）。具体的には、制御部２１は、距離センサ付きのカメラ等で撮像した周辺画像（距離画像）から車両４周辺に存在する構造物、移動体等を認識すると共に、センサで計測した距離から各周辺物の位置及び形状を検出する。

【0086】

制御部２１は、所定の表示条件をクリアしたか否かを判定する（ステップＳ１８）。表示条件をクリアしたと判定した場合（Ｓ１８：ＹＥＳ）、制御部２１は、表示テーブル３１１で予め規定されているオブジェクトの位置（車両４からの距離及び方向）と、ステップＳ１７で検出した構造物の位置とに基づき、実空間におけるオブジェクトの配置位置を決定する（ステップＳ１９）。具体的には、制御部２１は、オブジェクトを配置する車両４からの相対位置を規定する表示テーブル３１１を参照して、当該相対位置に構造物が存在するか否かを判定する。構造物が存在しないと判定した場合、制御部２１は、表示テーブル３１１で規定されている相対位置をオブジェクトの配置位置に決定する。構造物が存在すると判定した場合、制御部２１は、オブジェクトの配置位置を、デフォルトの相対位置から変更する。例えば制御部２１は、構造物の形状に応じて、構造物の上を配置位置に決定する。

【0087】

制御部２１は、ステップＳ１９で決定した配置位置にオブジェクトが視認されるように、車窓にオブジェクトを表示する（ステップＳ２０）。具体的には、制御部２１は、構造物の上を配置位置に決定した場合は、構造物の上にオブジェクトを表示する。また、制御部２１は、オブジェクトの車両４からの距離が構造物の車両４からの距離よりも長い場合、構造物の形状に応じて、オブジェクトの一部又は全部が構造物に隠れるように非表示とする。

【0088】

制御部２１は、オブジェクトを視聴したユーザの感情を推定する（ステップＳ２１）。例えば制御部２１は、車内撮像部２７により撮像した車内画像、及び／又は音声入力部２８により取得した車内音声から、ユーザの感情を推定する。なお、制御部２１は、車内画像及び車内音声に加えて、又は車内画像及び車内音声に代えて、ユーザの生体情報から感情を推定してもよい。制御部２１は表示テーブル３１１を参照して、推定したユーザの感情に応じてオブジェクトの表示を制御する（ステップＳ２２）。具体的には、制御部２１は、ユーザの感情に応じてオブジェクトの動作を制御すると共に、オブジェクトの表示時間を変更する。

【0089】

ステップＳ２２の処理を実行後、又はステップＳ１８でＮＯの場合、制御部２１は、オブジェクトと、当該オブジェクトの表示対象とする移動体とを指定する指定入力をユーザから受け付けたか否かを判定する（ステップＳ２３）。オブジェクト及び移動体の指定入力を受け付けたと判定した場合（Ｓ２３：ＹＥＳ）、制御部２１は、指定された移動体の上部等を、指定されたオブジェクトの配置位置に決定する（ステップＳ２４）。制御部２１は、決定した配置位置にオブジェクトが視認されるようにオブジェクトを表示する（ステップＳ２５）。以降の処理では、制御部２１は周辺画像から移動体の動きを追跡し、移動体に対するオブジェクトの相対位置が変わらないように、移動体の動きに応じてオブジェクトの表示位置を逐次変更する。

【0090】

制御部２１は、オブジェクトを視聴したユーザの反応を推定する（ステップＳ２６）。制御部２１は、推定したユーザの反応に応じてオブジェクトの表示を制御する（ステップＳ２７）。

【0091】

ステップＳ２７の処理を実行後、又はステップＳ２３でＮＯの場合、制御部２１は、車速検出部３０により車速を検出する（ステップＳ２８）。制御部２１は、車速が特定の速度以下になったか否かを判定する（ステップＳ２９）。

【0092】

特定の速度以下になったと判定した場合（Ｓ２９：ＹＥＳ）、制御部２１は表示テーブル３１１を参照して、実空間におけるオブジェクトの配置位置を決定する（ステップＳ３０）。制御部２１は、決定した配置位置にオブジェクトが視認されるように、車窓にオブジェクトを表示する（ステップＳ３１）。制御部２１は、ステップＳ３０で決定した位置にオブジェクトの配置位置を固定し、車両４の発進後も実空間の該当位置にオブジェクトが視認されるように、車窓におけるオブジェクトの表示位置を逐次変更する。

【0093】

ステップＳ３１の処理を実行後、又はステップＳ２９でＮＯの場合、制御部２１は、他の車両４からメッセージを受信したか否かを判定する（ステップＳ３２）。メッセージを受信したと判定した場合（Ｓ３２：ＹＥＳ）、制御部２１は、メッセージを受信した旨をユーザに通知する（ステップＳ３３）。例えば制御部２１は、メッセージを表す所定のアイコンを車窓に表示してもよく、又はメッセージを受信した旨の音声を出力してもよい。

【0094】

制御部２１は、メッセージを表示するか否かの選択入力をユーザから受け付ける（ステップＳ３４）。例えば制御部２１は、ユーザの特定の動作を車内画像から認識するようにしてもよく、又はメッセージを表示させる特定の発話音声の入力を受け付けるようにしてもよい。メッセージを表示する旨の選択入力を受け付けた場合、制御部２１は、他車両からのメッセージを表示する（ステップＳ３５）。例えば制御部２１は、他の車両４のユーザに対応するアバターを表示すると共に、メッセージ（テキスト）を表示する。

【0095】

ステップＳ３５の処理を実行後、又はステップＳ３２でＮＯの場合、制御部２１は、車両４の位置情報から目的地に到着したか否かを判定する（ステップＳ３６）。目的地に到着していないと判定した場合（Ｓ３６：ＮＯ）、制御部２１は処理をステップＳ１６に戻す。目的地に到着したと判定した場合（Ｓ３６：ＹＥＳ）、制御部２１は一連の処理を終了する。

【0096】

以上より、本実施の形態１によれば、目的地、周辺物（構造物、移動体）、車速等の車両４の状況に応じてオブジェクトの配置位置を決定し、当該配置位置にオブジェクトが視認されるように車窓におけるオブジェクトの表示を制御することで、ＡＲコンテンツをユーザに好適に体感させることができる。

【0097】

（実施の形態２）
本実施の形態では、ユーザが着座する車両４の座席の位置に応じて、車窓におけるオブジェクトの表示位置を制御する形態について述べる。なお、実施の形態１と重複する内容については同一の符号を付して説明を省略する。

【0098】

図１３は、実施の形態２の概要を示す説明図である。図１３Ａでは、車両４の座席とオブジェクトの配置位置との位置関係を概念的に示す車両４の俯瞰図を図示している。図１３Ｂでは、座席位置に応じて車窓（フロントガラス）におけるオブジェクトの表示位置が変更される様子を概念的に図示している。図１３に基づき、本実施の形態の概要を説明する。

【0099】

図１３Ａにおいて、太線は車窓を表し、太線で囲まれた矩形領域は車両４の室内を表す。また、矩形領域内に位置する白抜きの丸は座席（運転席及び助手席）を表し、矩形領域外に位置するハッチング付きの丸はオブジェクトの配置位置を表す。

【0100】

図１３Ａに示すように、実空間の同一位置を各座席から視認した場合、当該位置に対応する車窓上の位置は異なる。例えば図１３Ａに示すように、運転席前方の位置は、助手席から見れば右斜め前に位置する。

【0101】

ここで、例えば助手席に着座しているユーザ向けにＡＲコンテンツを提示する場合、運転席を基準（視点位置）として車窓におけるオブジェクトの表示位置を定めた場合、実際に表示すべき位置からオブジェクトがずれることになる。例えば、子供向けのＡＲコンテンツを提示する場合において、子供が助手席に着座しているにも関わらず運転席を基準にオブジェクトの表示位置を定めた場合、本来景色に重畳したい位置とはずれてオブジェクトが表示されることになる。

【0102】

そこで本実施の形態では、車載装置２は、コンテンツ（オブジェクト）の表示対象とするユーザの座席の位置に応じて、車窓におけるコンテンツの表示位置を制御する。例えば車載装置２は、コンテンツの表示を開始する前に、表示対象とするユーザの座席を指定する指定入力を受け付ける。なお、例えば車載装置２は、コンテンツの表示対象とするユーザの属性（年齢、性別等）を規定しておき、表示対象のユーザ属性に該当するユーザを車内画像から認識して、対象ユーザの座席を自動的に特定してもよい。また、例えば各ユーザ（家族等）が普段着座する座席を予めユーザＤＢ１４２に登録しておき、コンテンツの表示対象とするユーザ属性に該当するユーザの座席を自動的に特定してもよい。

【0103】

車載装置２は、実施の形態１と同様に、各オブジェクトの実空間における配置位置を決定する。本実施の形態において車載装置２は、決定した配置位置と、上記で指定（特定）された対象ユーザの座席の位置とに基づき、車窓におけるオブジェクトの表示位置を決定する。具体的には図１３Ａに示すように、車載装置２は、オブジェクトの配置位置と、対象ユーザの座席の位置とを結ぶ直線と交差する車窓上の位置を、オブジェクトの表示位置に決定する。車載装置２は、決定した表示位置にオブジェクトを表示する。これにより、図１３Ｂに示すように、ユーザが着座する座席の位置に応じて、オブジェクトの表示位置が好適に制御される。

【0104】

図１４は、実施の形態２に係る車載装置２が実行する処理手順の一例を示すフローチャートである。サーバ１からコンテンツを取得した後（ステップＳ１２）、車載装置２は以下の処理を実行する。
車載装置２の制御部２１は、コンテンツ（オブジェクト）の表示対象とするユーザの座席を特定する（ステップＳ２０１）。例えば制御部２１は、表示対象とするユーザの座席を指定する指定入力を受け付ける。オブジェクトを表示する場合（ステップＳ１５、Ｓ２０、Ｓ２５、及び／又はＳ３１）、制御部２１は、オブジェクトの配置位置と、対象ユーザの座席の位置とに基づき、車窓におけるオブジェクトの表示位置を決定する。

【0105】

以上より、本実施の形態２によれば、コンテンツを視聴するユーザが着座する座席に応じて、車窓におけるオブジェクトの表示位置を制御することで、ＡＲコンテンツをより好適に提示することができる。

【0106】

（実施の形態３）
本実施の形態では、車両４の運転状況に応じて、車窓におけるオブジェクトの表示を制限する形態について説明する。

【0107】

図１５は、実施の形態３の概要を示す説明図である。図１５では、車窓（フロントガラス）が、オブジェクトを表示可能な表示可能領域Ａ１と、オブジェクトの表示が禁止される表示禁止領域Ａ２とに区分される様子を概念的に図示している。図１５に基づき、本実施の形態の概要を説明する。

【0108】

本実施の形態において車載装置２は、車両４の運転状況に応じて、車窓におけるオブジェクトの表示を制限する。具体的には、車載装置２は、オブジェクトの表示を禁止する表示禁止領域Ａ２を設定する。例えば車載装置２は、車両４が運転中である（動いている）か、又は停止中である（動いていない）かを判定する。車両４が停止中である場合、車載装置２は表示禁止領域Ａ２を設定せず、車窓の全領域にオブジェクトを表示可能とする。一方で、車両４が運転中であると判定した場合、車載装置２は一定の視野を確保するため、表示禁止領域Ａ２を設定して当該領域におけるオブジェクトの表示を禁止する。

【0109】

なお、「運転中」とは自動運転中及び手動運転中を指すが、手動運転時のみ表示禁止領域Ａ２を設定するようにして、自動運転中は車窓の全領域でオブジェクトを表示可能としてもよい。また、上記の運転状況の判定基準は一例であって、例えば車載装置２は、車両４の車速、車両４の運転方向（ステアリングの角度）、走行している場所（一般車道であるか高速道路であるか等）など、その他の運転状況に応じて表示禁止領域Ａ２を設定するか否かを判定してもよい。また、車載装置２は、例えば車速が速いほど表示禁止領域Ａ２を大きくするなど、車速、運転方向等に応じて、車窓に占める表示禁止領域Ａ２の面積、位置等を変更してもよい。

【0110】

例えば図１５に示すように、車載装置２は、車窓周縁に沿う一部領域を表示可能領域Ａ１に設定する。そして車載装置２は、表示可能領域Ａ１以外の車窓中央の領域を表示禁止領域Ａ２に設定する。なお、図１５に示す表示禁止領域Ａ２は一例であって、表示禁止領域Ａ２の位置及び形状は特に限定されない。例えば車載装置２は、車窓の下端縁から上方に向かって一定範囲を表示禁止領域Ａ２に設定するなどしてもよい。

【0111】

また、図１５ではフロントガラスの例を図示しているが、フロントドアガラス、リアガラス等についても同様に表示禁止領域Ａ２を設定してもよい。この場合に、車載装置２は、車窓の種類に応じて、表示禁止領域Ａ２を設定する車窓を選択するようにしてもよい。例えば、フロントガラス、フロントドアガラス等は視野を確保するため表示禁止領域Ａ２を設定する一方、視野を確保する必要性が低いリアドアガラス、ルーフガラス等は表示禁止領域Ａ２を設定しないようにしてもよい。また、車載装置２は、車窓の種類に応じて、各車窓に占める表示禁止領域Ａ２の面積、位置等を変更するなどしてもよい。

【0112】

なお、上記では表示禁止領域Ａ２を設定することでオブジェクトの表示を制限したが、本実施の形態はこれに限定されるものではない。例えば車載装置２は、表示禁止領域Ａ２の設定に加えて、又は表示禁止領域Ａ２の設定に代えて、車窓に表示するオブジェクトを半透明オブジェクトに変更するようにしてもよい。例えば車載装置２は、車両４が運転中である場合、オブジェクトの透過率を上げる。これにより、ユーザの視野を確保することができる。このように、車載装置２は車両４の運転状況に応じてオブジェクトの表示を制限可能であればよく、オブジェクトの表示制限手段は表示禁止領域Ａ２の設定に限定されない。

【0113】

車両４の運転状況に応じてオブジェクトの表示が制限される点以外は実施の形態１と同様であるため、本実施の形態ではフローチャート等の詳細な説明は省略する。

【0114】

以上より、本実施の形態３によれば、ＡＲコンテンツの表示を行いつつ、ユーザの視野を確保することができる。

【0115】

今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0116】

１ サーバ
１１ 制御部
１２ 主記憶部
１３ 通信部
１４ 補助記憶部
Ｐ１ プログラム
２ 車載装置（情報処理装置）
２１ 制御部
２２ 主記憶部
２３ 通信部
２４ 表示部
２５ 測位部
２６ 周辺撮像部
２７ 車内撮像部
２８ 音声入力部
２９ 音声出力部
３０ 車速検出部
３１ 補助記憶部
Ｐ２ プログラム
Ｍ 地図データ
３１１ 表示テーブル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】