特許 7371629 情報処理装置、情報処理方法、プログラム、及び、車両

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-23

(45)【発行日】2023-10-31

(54)【発明の名称】情報処理装置、情報処理方法、プログラム、及び、車両

(51)【国際特許分類】

   G09G 5/00 20060101AFI20231024BHJP

   G09G 5/38 20060101ALI20231024BHJP

   B60R 1/00 20220101ALI20231024BHJP

   B60R 11/02 20060101ALI20231024BHJP

   H04N 7/18 20060101ALI20231024BHJP

   H04N 5/66 20060101ALI20231024BHJP

【ＦＩ】

G09G5/00 550C

G09G5/38 110

G09G5/00 510A

B60R1/00

B60R11/02 C

H04N7/18 U

H04N5/66 D

【請求項の数】 18

(21)【出願番号】P 2020533414

(86)(22)【出願日】2019-07-18

(86)【国際出願番号】 JP2019028209

(87)【国際公開番号】W WO2020026825

(87)【国際公開日】2020-02-06

【審査請求日】2022-05-26

(31)【優先権主張番号】P 2018144719

(32)【優先日】2018-08-01

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】100121131

【弁理士】

【氏名又は名称】西川 孝

(74)【代理人】

【識別番号】100082131

【弁理士】

【氏名又は名称】稲本 義雄

(74)【代理人】

【識別番号】100168686

【弁理士】

【氏名又は名称】三浦 勇介

(72)【発明者】

【氏名】安藤 裕司

【審査官】小野 博之

(56)【参考文献】

【文献】特開２０１５－１８４５８４（ＪＰ，Ａ）

【文献】特開２０１２－０１９４５２（ＪＰ，Ａ）

【文献】特開２０１８－０７６０２７（ＪＰ，Ａ）

【文献】特開２００８－２４２２５１（ＪＰ，Ａ）

【文献】特開２００６－００７８６７（ＪＰ，Ａ）

【文献】特開２０１５－１４１７００（ＪＰ，Ａ）

【文献】特開２０１４－１５３６４５（ＪＰ，Ａ）

【文献】特開２０１３－１４８７１５（ＪＰ，Ａ）

【文献】特開２００８－１４９８７８（ＪＰ，Ａ）

【文献】国際公開第２００７／０８６４３１（ＷＯ，Ａ１）

【文献】国際公開第２０１８／０４２８９８（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０９Ｇ ５／００－５／４２

Ｂ６０Ｒ １／００

Ｂ６０Ｒ １１／０２

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ ５／６６

(57)【特許請求の範囲】

【請求項1】

車両の動きに基づいて、車内のユーザの頭又は目の位置に対応する視点から表示装置により表示された第１の映像を見た場合に虚像ができる領域である仮想スクリーンの位置を設定し、前記仮想スクリーンの位置に基づいて、前記表示装置における前記第１の映像の表示領域を設定する表示位置設定部と、
設定された表示領域に前記第１の映像を表示するように前記表示装置を制御する表示制御部と
を備え、
前記表示位置設定部は、前記視点から見て前記車両の加速方向と逆方向に前記仮想スクリーンを加速させる
情報処理装置。

【請求項2】

前記表示位置設定部は、前記視点から見て前記車両の左右方向の加速方向と逆方向に前記仮想スクリーンを左右方向に加速させる
請求項１に記載の情報処理装置。

【請求項3】

前記表示位置設定部は、所定の基準位置を基準にして前記仮想スクリーンを移動させる
請求項１に記載の情報処理装置。

【請求項4】

前記表示位置設定部は、前記視点から見た前記仮想スクリーンの位置が前記車両の前後方向又は左右方向の所定の境界に達した場合、前記仮想スクリーンを前記基準位置に徐々に戻す
請求項３に記載の情報処理装置。

【請求項5】

前記表示位置設定部は、前記仮想スクリーンを前記基準位置に戻すときの前記視点から見た前記仮想スクリーンの加速度を所定の閾値以下に設定する
請求項４に記載の情報処理装置。

【請求項6】

前記表示位置設定部は、前記車両が等速で前進している場合、前記仮想スクリーンの位置を前記基準位置に設定する
請求項３に記載の情報処理装置。

【請求項7】

前記表示位置設定部は、前記仮想スクリーンの位置と前記基準位置との差が大きくなるほど、前記仮想スクリーンの前記基準位置の方向への加速度を大きくする
請求項３に記載の情報処理装置。

【請求項8】

前記表示位置設定部は、前記仮想スクリーンの速度と前記車両の速度との差が大きくなるほど、前記仮想スクリーンの前記基準位置の方向への加速度を小さくする
請求項７に記載の情報処理装置。

【請求項9】

前記基準位置は、前記視点から見て前記車両の略正面中央である
請求項３に記載の情報処理装置。

【請求項10】

前記表示位置設定部は、前記視点から見て前記車両の旋回方向と逆方向に前記仮想スクリーンを旋回させる
請求項１に記載の情報処理装置。

【請求項11】

前記車両の動きを予測する動き予測部を
さらに備え、
前記表示位置設定部は、予測される前記車両の進路上に前記仮想スクリーンを配置する
請求項１に記載の情報処理装置。

【請求項12】

前記表示位置設定部は、前記視点と前記仮想スクリーンとの間の距離を略一定に保つ
請求項１１に記載の情報処理装置。

【請求項13】

前記表示位置設定部は、予測される前記車両の進路に対して前記仮想スクリーンの面を略垂直に設定する
請求項１１に記載の情報処理装置。

【請求項14】

前記表示制御部は、前記車両の周囲の風景、又は、前記車両の周囲を撮影した第２の映像に前記第１の映像を重畳する
請求項１に記載の情報処理装置。

【請求項15】

前記表示位置設定部は、前記表示領域のサイズを前記車両のウインドシールドの高さ及び幅以下とする
請求項１に記載の情報処理装置。

【請求項16】

情報処理装置が、
車両の動きに基づいて、車内のユーザの頭又は目の位置に対応する視点から表示装置により表示された映像を見た場合に虚像ができる領域である仮想スクリーンの位置を設定し、
前記仮想スクリーンの位置に基づいて、前記表示装置における前記映像の表示領域を設定し、
設定された表示領域に前記映像を表示するように前記表示装置を制御し、
前記視点から見て前記車両の加速方向と逆方向に前記仮想スクリーンを加速させる
情報処理方法。

【請求項17】

車両の動きに基づいて、車内のユーザの頭又は目の位置に対応する視点から表示装置により表示された映像を見た場合に虚像ができる領域である仮想スクリーンの位置を設定し、
前記仮想スクリーンの位置に基づいて、前記表示装置における前記映像の表示領域を設定し、
設定された表示領域に前記映像を表示するように前記表示装置を制御し、
前記視点から見て前記車両の加速方向と逆方向に前記仮想スクリーンを加速させる
処理をコンピュータに実行させるためのプログラム。

【請求項18】

表示装置と、
自分の動きを検出する動き検出部と、
自分の動きに基づいて、車内のユーザの頭又は目の位置に対応する視点から前記表示装置により表示された映像を見た場合に虚像ができる領域である仮想スクリーンの位置を設定し、前記仮想スクリーンの位置に基づいて、前記表示装置における前記映像の表示領域を設定する表示位置設定部と、
設定された表示領域に前記映像を表示するように前記表示装置を制御する表示制御部と
を備え、
前記表示位置設定部は、前記視点から見て自分の加速方向と逆方向に前記仮想スクリーンを加速させる
車両。

【発明の詳細な説明】

【技術分野】

【0001】

本技術は、情報処理装置、情報処理方法、プログラム、及び、車両に関し、特に、ユーザの乗り物酔いを防ぐようにした情報処理装置、情報処理方法、プログラム、及び、車両に関する。

【背景技術】

【0002】

従来、車両の後部座席や天井等に設けられた表示手段の画面に映像を表示する場合に、車両の加速、減速、右折、及び、左折の大きさに基づいて映像の形状を一定時間だけ変形し、車両内のユーザに車両の動きを知覚又は予知させることにより、ユーザの乗り物酔いを防ぐことが提案されている（例えば、特許文献１参照）。

【0003】

また、今後自動運転の普及に伴い運転の必要がなくなると、例えば、ＨＵＤ（Head-Up Display）等を用いて車両のウインドシールドに映像を投影し、ユーザが車両内で映画等のコンテンツを大画面で鑑賞することが想定される。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００６－３５９８０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、画面が大型化すると、ユーザは、視野のほとんどを画面により覆われてしまい、車両の周囲の風景を知覚しづらくなる。そのため、ユーザが車両の動きを知覚しにくくなり、乗り物酔いが誘発されやすくなる。

【0006】

これに対して、特許文献１では、表示手段を後部座席や天井に設けることを想定しており、画面の大型化に対する対策は十分検討されていない。

【0007】

本技術は、このような状況に鑑みてなされたものであり、ユーザの乗り物酔いを防ぐことができるようにするものである。

【課題を解決するための手段】

【0008】

本技術の第１の側面の情報処理装置は、車両の動きに基づいて、車内のユーザの頭又は目の位置に対応する視点から表示装置により表示された第１の映像を見た場合に虚像ができる領域である仮想スクリーンの位置を設定し、前記仮想スクリーンの位置に基づいて、前記表示装置における前記第１の映像の表示領域を設定する表示位置設定部と、設定された表示領域に前記第１の映像を表示するように前記表示装置を制御する表示制御部とを備え、前記表示位置設定部は、前記視点から見て前記車両の加速方向と逆方向に前記仮想スクリーンを加速させる。

【0009】

本技術の第１の側面の情報処理方法は、情報処理装置が、車両の動きに基づいて、車内のユーザの頭又は目の位置に対応する視点から表示装置により表示された映像を見た場合に虚像ができる領域である仮想スクリーンの位置を設定し、前記仮想スクリーンの位置に基づいて、前記表示装置における前記映像の表示領域を設定し、設定された表示領域に前記映像を表示するように前記表示装置を制御し、前記視点から見て前記車両の加速方向と逆方向に前記仮想スクリーンを加速させる。

【0010】

本技術の第１の側面のプログラムは、車両の動きに基づいて、車内のユーザの頭又は目の位置に対応する視点から表示装置により表示された映像を見た場合に虚像ができる領域である仮想スクリーンの位置を設定し、前記仮想スクリーンの位置に基づいて、前記表示装置における前記映像の表示領域を設定し、設定された表示領域に前記映像を表示するように前記表示装置を制御し、前記視点から見て前記車両の加速方向と逆方向に前記仮想スクリーンを加速させる。

【0011】

本技術の第２の側面の車両は、表示装置と、自分の動きを検出する動き検出部と、自分の動きに基づいて、車内のユーザの頭又は目の位置に対応する視点から前記表示装置により表示された映像を見た場合に虚像ができる領域である仮想スクリーンの位置を設定し、前記仮想スクリーンの位置に基づいて、前記表示装置における前記映像の表示領域を設定する表示位置設定部と、設定された表示領域に前記映像を表示するように前記表示装置を制御する表示制御部とを備え、前記表示位置設定部は、前記視点から見て自分の加速方向と逆方向に前記仮想スクリーンを加速させる。

【0012】

本技術の第１の側面においては、車両の動きに基づいて、車内のユーザの頭又は目の位置に対応する視点から表示装置により表示された映像を見た場合に虚像ができる領域である仮想スクリーンの位置が設定され、前記仮想スクリーンの位置に基づいて、前記表示装置における前記映像の表示領域が設定され、設定された表示領域に前記映像を表示するように前記表示装置を制御し、前記視点から見て前記車両の加速方向と逆方向に前記仮想スクリーンが加速される。

【0013】

本技術の第２の側面においては、自分の動きが検出され、自分の動きに基づいて、車内のユーザの頭又は目の位置に対応する視点から前記表示装置により表示された映像を見た場合に虚像ができる領域である仮想スクリーンの位置が設定され、前記仮想スクリーンの位置に基づいて、前記表示装置における前記映像の表示領域が設定され、設定された表示領域に前記映像を表示するように前記表示装置が制御され、前記視点から見て自分の加速方向と逆方向に前記仮想スクリーンが加速される。

【発明の効果】

【0014】

本技術の第１の側面又は第２の側面によれば、ユーザの乗り物酔いを防ぐことができることができる。

【0015】

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。

【図面の簡単な説明】

【0016】

【図1】本技術が適用され得る車両制御システムの概略的な機能の構成例を示すブロック図である。

【図2】情報処理システムの構成例を示すブロック図である。

【図3】情報処理部の第１の実施の形態を示すブロック図である。

【図4】表示制御処理の第１の実施の形態を説明するためのフローチャートである。

【図5】仮想スクリーンについて説明するための図である。

【図6】ホームポジションについて説明するための図である。

【図7】車両が旋回する場合の仮想スクリーンの動きの例を示す図である。

【図8】車両が旋回する場合の仮想スクリーンの動きの例を示す図である。

【図9】車両が旋回する場合の仮想スクリーンの動きの例を示す図である。

【図10】仮想スクリーンがウインドシールドの右端に到達するまでの時間について説明するための図である。

【図11】カーブの曲率半径と仮想スクリーンがウインドシールドの右端に到達するまでの時間との関係を示すグラフである。

【図12】仮想スクリーンがウインドシールドの右端に達した後の動きを説明するための図である。

【図13】カーブの曲率半径と仮想スクリーンがホームポジションに戻るまでの所要時間との関係を示すグラフである。

【図14】車両が加速する場合の仮想スクリーンの動きの例を示す図である。

【図15】車両の加速度と仮想スクリーンのサイズが２倍になるまでの所要時間との関係を示すグラフである。

【図16】仮想スクリーンのサイズが上限に達した後の動きを説明するための図である。

【図17】仮想スクリーンのサイズが上限に達した後に仮想スクリーンがホームポジションに戻るまでの仮想スクリーンの倍率の推移の例を示すグラフである。

【図18】車両が減速する場合の仮想スクリーンの動きの例を示す図である。

【図19】仮想スクリーンのサイズが下限に達した後の動きを説明するための図である。

【図20】仮想スクリーンのサイズが下限に達した後に仮想スクリーンがホームポジションに戻るまでの仮想スクリーンの倍率の推移の例を示すグラフである。

【図21】情報処理部の第２の実施の形態を示すブロック図である。

【図22】表示制御処理の第２の実施の形態を説明するためのフローチャートである。

【図23】仮想スクリーンの位置の設定方法の例を示す図である。

【図24】仮想スクリーンの動きの例を示す図である。

【図25】仮想スクリーンの動きの例を示す図である。

【図26】仮想スクリーンの動きの例を示す図である。

【発明を実施するための形態】

【0017】

以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．車両制御システムの構成例
２．第１の実施の形態
３．第２の実施の形態
４．変形例
５．その他

【0018】

＜＜１．車両制御システムの構成例＞
図１は、本技術が適用され得る移動体制御システムの一例である車両制御システム１００の概略的な機能の構成例を示すブロック図である。

【0019】

車両制御システム１００は、車両１０に設けられ、車両１０の各種の制御を行うシステムである。なお、以下、車両１０を他の車両と区別する場合、自車又は自車両と称する。

【0020】

車両制御システム１００は、入力部１０１、データ取得部１０２、通信部１０３、車内機器１０４、出力制御部１０５、出力部１０６、駆動系制御部１０７、駆動系システム１０８、ボディ系制御部１０９、ボディ系システム１１０、記憶部１１１、及び、自動運転制御部１１２を備える。入力部１０１、データ取得部１０２、通信部１０３、出力制御部１０５、駆動系制御部１０７、ボディ系制御部１０９、記憶部１１１、及び、自動運転制御部１１２は、通信ネットワーク１２１を介して、相互に接続されている。通信ネットワーク１２１は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）、又は、ＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、車両制御システム１００の各部は、通信ネットワーク１２１を介さずに、直接接続される場合もある。

【0021】

なお、以下、車両制御システム１００の各部が、通信ネットワーク１２１を介して通信を行う場合、通信ネットワーク１２１の記載を省略するものとする。例えば、入力部１０１と自動運転制御部１１２が、通信ネットワーク１２１を介して通信を行う場合、単に入力部１０１と自動運転制御部１１２が通信を行うと記載する。

【0022】

入力部１０１は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部１０１は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部１０１は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム１００の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部１０１は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１００の各部に供給する。

【0023】

データ取得部１０２は、車両制御システム１００の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、車両制御システム１００の各部に供給する。

【0024】

例えば、データ取得部１０２は、車両１０の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。

【0025】

また、例えば、データ取得部１０２は、車両１０の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部１０２は、天候又は気象等を検出するための環境センサ、及び、車両１０の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ソナー等からなる。

【0026】

さらに、例えば、データ取得部１０２は、車両１０の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機等を備える。

【0027】

また、例えば、データ取得部１０２は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、及び、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。

【0028】

通信部１０３は、車内機器１０４、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、車両制御システム１００の各部から供給されるデータを送信したり、受信したデータを車両制御システム１００の各部に供給したりする。なお、通信部１０３がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部１０３が、複数の種類の通信プロトコルをサポートすることも可能である。

【0029】

例えば、通信部１０３は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）、又は、ＷＵＳＢ（Wireless USB）等により、車内機器１０４と無線通信を行う。また、例えば、通信部１０３は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）、又は、ＭＨＬ（Mobile High-definition Link）等により、車内機器１０４と有線通信を行う。

【0030】

さらに、例えば、通信部１０３は、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）との通信を行う。また、例えば、通信部１０３は、Ｐ２Ｐ（Peer To Peer）技術を用いて、車両１０の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又は、ＭＴＣ（Machine Type Communication）端末）との通信を行う。さらに、例えば、通信部１０３は、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、車両１０と家との間（Vehicle to Home）の通信、及び、歩車間（Vehicle to Pedestrian）通信等のＶ２Ｘ通信を行う。また、例えば、通信部１０３は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。

【0031】

車内機器１０４は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、車両１０に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。

【0032】

出力制御部１０５は、車両１０の搭乗者又は車外に対する各種の情報の出力を制御する。例えば、出力制御部１０５は、視覚情報（例えば、画像データ）及び聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部１０６に供給することにより、出力部１０６からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部１０５は、データ取得部１０２の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部１０６に供給する。また、例えば、出力制御部１０５は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部１０６に供給する。

【0033】

出力部１０６は、車両１０の搭乗者又は車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部１０６は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部１０６が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Augmented Reality）表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。

【0034】

駆動系制御部１０７は、各種の制御信号を生成し、駆動系システム１０８に供給することにより、駆動系システム１０８の制御を行う。また、駆動系制御部１０７は、必要に応じて、駆動系システム１０８以外の各部に制御信号を供給し、駆動系システム１０８の制御状態の通知等を行う。

【0035】

駆動系システム１０８は、車両１０の駆動系に関わる各種の装置を備える。例えば、駆動系システム１０８は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ＡＢＳ（Antilock Brake System）、ＥＳＣ（Electronic Stability Control）、並びに、電動パワーステアリング装置等を備える。

【0036】

ボディ系制御部１０９は、各種の制御信号を生成し、ボディ系システム１１０に供給することにより、ボディ系システム１１０の制御を行う。また、ボディ系制御部１０９は、必要に応じて、ボディ系システム１１０以外の各部に制御信号を供給し、ボディ系システム１１０の制御状態の通知等を行う。

【0037】

ボディ系システム１１０は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム１１０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、及び、各種ランプ（例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカ、フォグランプ等）等を備える。

【0038】

記憶部１１１は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部１１１は、車両制御システム１００の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部１１１は、ダイナミックマップ等の３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、車両１０の周囲の情報を含むローカルマップ等の地図データを記憶する。

【0039】

自動運転制御部１１２は、自律走行又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部１１２は、車両１０の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両１０の衝突警告、又は、車両１０のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部１１２は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部１１２は、検出部１３１、自己位置推定部１３２、状況分析部１３３、計画部１３４、及び、動作制御部１３５を備える。

【0040】

検出部１３１は、自動運転の制御に必要な各種の情報の検出を行う。検出部１３１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３を備える。

【0041】

車外情報検出部１４１は、車両制御システム１００の各部からのデータ又は信号に基づいて、車両１０の外部の情報の検出処理を行う。例えば、車外情報検出部１４１は、車両１０の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、車外情報検出部１４１は、車両１０の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。車外情報検出部１４１は、検出処理の結果を示すデータを自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。

【0042】

車内情報検出部１４２は、車両制御システム１００の各部からのデータ又は信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部１４２は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部１４２は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。

【0043】

車両状態検出部１４３は、車両制御システム１００の各部からのデータ又は信号に基づいて、車両１０の状態の検出処理を行う。検出対象となる車両１０の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部１４３は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。

【0044】

自己位置推定部１３２は、車外情報検出部１４１、及び、状況分析部１３３の状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、車両１０の位置及び姿勢等の推定処理を行う。また、自己位置推定部１３２は、必要に応じて、自己位置の推定に用いるローカルマップ（以下、自己位置推定用マップと称する）を生成する。自己位置推定用マップは、例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）等の技術を用いた高精度なマップとされる。自己位置推定部１３２は、推定処理の結果を示すデータを状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３等に供給する。また、自己位置推定部１３２は、自己位置推定用マップを記憶部１１１に記憶させる。

【0045】

状況分析部１３３は、車両１０及び周囲の状況の分析処理を行う。状況分析部１３３は、マップ解析部１５１、交通ルール認識部１５２、状況認識部１５３、及び、状況予測部１５４を備える。

【0046】

マップ解析部１５１は、自己位置推定部１３２及び車外情報検出部１４１等の車両制御システム１００の各部からのデータ又は信号を必要に応じて用いながら、記憶部１１１に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部１５１は、構築したマップを、交通ルール認識部１５２、状況認識部１５３、状況予測部１５４、並びに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。

【0047】

交通ルール認識部１５２は、自己位置推定部１３２、車外情報検出部１４１、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、車両１０の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、車両１０の周囲の信号の位置及び状態、車両１０の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部１５２は、認識処理の結果を示すデータを状況予測部１５４等に供給する。

【0048】

状況認識部１５３は、自己位置推定部１３２、車外情報検出部１４１、車内情報検出部１４２、車両状態検出部１４３、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、車両１０に関する状況の認識処理を行う。例えば、状況認識部１５３は、車両１０の状況、車両１０の周囲の状況、及び、車両１０の運転者の状況等の認識処理を行う。また、状況認識部１５３は、必要に応じて、車両１０の周囲の状況の認識に用いるローカルマップ（以下、状況認識用マップと称する）を生成する。状況認識用マップは、例えば、占有格子地図（Occupancy Grid Map）とされる。

【0049】

認識対象となる車両１０の状況には、例えば、車両１０の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、異常の有無及び内容等が含まれる。認識対象となる車両１０の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き（例えば、速度、加速度、移動方向等）、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。

【0050】

状況認識部１５３は、認識処理の結果を示すデータ（必要に応じて、状況認識用マップを含む）を自己位置推定部１３２及び状況予測部１５４等に供給する。また、状況認識部１５３は、状況認識用マップを記憶部１１１に記憶させる。

【0051】

状況予測部１５４は、マップ解析部１５１、交通ルール認識部１５２及び状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、車両１０に関する状況の予測処理を行う。例えば、状況予測部１５４は、車両１０の状況、車両１０の周囲の状況、及び、運転者の状況等の予測処理を行う。

【0052】

予測対象となる車両１０の状況には、例えば、車両１０の挙動、異常の発生、及び、走行可能距離等が含まれる。予測対象となる車両１０の周囲の状況には、例えば、車両１０の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。

【0053】

状況予測部１５４は、予測処理の結果を示すデータを、交通ルール認識部１５２及び状況認識部１５３からのデータとともに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。

【0054】

ルート計画部１６１は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部１６１は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部１６１は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部１６１は、計画したルートを示すデータを行動計画部１６２等に供給する。

【0055】

行動計画部１６２は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、ルート計画部１６１により計画されたルートを計画された時間内で安全に走行するための車両１０の行動を計画する。例えば、行動計画部１６２は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、走行中車線、走行速度、及び、追い越し等の計画を行う。行動計画部１６２は、計画した車両１０の行動を示すデータを動作計画部１６３等に供給する。

【0056】

動作計画部１６３は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、行動計画部１６２により計画された行動を実現するための車両１０の動作を計画する。例えば、動作計画部１６３は、加速、減速、及び、走行軌道等の計画を行う。動作計画部１６３は、計画した車両１０の動作を示すデータを、動作制御部１３５の加減速制御部１７２及び方向制御部１７３等に供給する。

【0057】

動作制御部１３５は、車両１０の動作の制御を行う。動作制御部１３５は、緊急事態回避部１７１、加減速制御部１７２、及び、方向制御部１７３を備える。

【0058】

緊急事態回避部１７１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両１０の異常等の緊急事態の検出処理を行う。緊急事態回避部１７１は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための車両１０の動作を計画する。緊急事態回避部１７１は、計画した車両１０の動作を示すデータを加減速制御部１７２及び方向制御部１７３等に供給する。

【0059】

加減速制御部１７２は、動作計画部１６３又は緊急事態回避部１７１により計画された車両１０の動作を実現するための加減速制御を行う。例えば、加減速制御部１７２は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。

【0060】

方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された車両１０の動作を実現するための方向制御を行う。例えば、方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。

【0061】

＜＜２．第１の実施の形態＞＞
次に、図２乃至図２０を参照して、本技術の第１の実施の形態について説明する。

【0062】

なお、この第１の実施の形態は、図１の車両制御システム１００のうち、主にデータ取得部１０２、通信部１０３、出力制御部１０５、出力部１０６、記憶部１１１、検出部１３１、及び、自己位置推定部１３２の処理に関連するものである。

【0063】

＜情報処理システム２００の構成例＞
図２は、図１の車両制御システム１００により実現される機能の一部である情報処理システム２００の構成例を示すブロック図である。

【0064】

情報処理システム２００は、例えば、車両１０内のユーザに対して、コンテンツ等の映像を表示する処理等を行う。

【0065】

情報処理システム２００は、カメラ２０１、ＣＰＵ（Central Processing Unit）２０２、ＧＰＵ（Graphics Processing Unit）２０３、表示デバイス２０４、センサ部２０５、メモリ２０６、グラフィックメモリ２０７、ネットワークＩ／Ｆ（インタフェース）２０８、及び、ストレージデバイス２０９を備える。カメラ２０１、ＣＰＵ２０２、ＧＰＵ２０３、表示デバイス２０４、センサ部２０５、メモリ２０６、グラフィックメモリ２０７、ネットワークＩ／Ｆ２０８、及び、ストレージデバイス２０９は、バス２２１を介して相互に接続されている。

【0066】

カメラ２０１は、例えば、図１のデータ取得部１０２に対応する。カメラ２０１は、例えば、車両１０の周囲の風景を撮影し、撮影した画像を、バス２２１を介してＣＰＵ２０２等に供給する。

【0067】

ＣＰＵ２０２は、例えば、図１の出力制御部１０５、検出部１３１、及び、自己位置推定部１３２に対応する。ＣＰＵ２０２は、情報処理システム２００の各部の制御を行う。また、ＣＰＵ２０２は、表示デバイス２０４による映像の表示位置を制御する。

【0068】

ＧＰＵ２０３は、例えば、図１の出力制御部１０５に対応する。ＧＰＵ２０３は、表示デバイス２０４により表示される映像の３次元レンダリングを行う。

【0069】

表示デバイス２０４は、例えば、図１の出力部１０６に対応する。表示デバイス２０４は、ＧＰＵ２０３によりレンダリングされた映像を、車両１０の周囲の風景に重畳して表示する。

【0070】

なお、以下、表示デバイス２０４が車両１０の周囲のうち車両１０の前方の風景に映像を重畳して表示する場合について説明する。

【0071】

表示デバイス２０４が車両１０の前方の風景に映像を重畳して表示する方法としては、例えば、以下が考えられる。

【0072】

第１の方法では、例えば、表示デバイス２０４が、ＨＵＤ等の投影型の表示装置により構成される。そして、表示デバイス２０４が、車両１０のウインドシールドに映像を投影することにより、ウインドシールドに映像が表示される。これにより、車両１０内から見て、車両１０の前方の風景に映像が重畳される。

【0073】

第２の方法では、例えば、表示デバイス２０４が、透過ディスプレイからなるウインドシールドを備える。そして、表示デバイス２０４は、ウインドシールドの一部を電子的に不透明にし、不透明にした領域に映像を表示する。これにより、車両１０内から見て、車両１０の前方の風景に映像が重畳される。

【0074】

なお、第１の方法及び第２の方法では、情報処理システム２００からカメラ２０１を削除することが可能である。

【0075】

第３の方法では、例えば、表示デバイス２０４が、ＬＣＤ（Liquid Crystal Display）又はＯＬＥＤ（Organic Light Emitting Diode）等のディスプレイからなるウインドシールドを備える。そして、ＧＰＵ２０３は、カメラ２０１により撮影された車両１０の前方の映像内に、コンテンツ等の映像を合成し、表示デバイス２０４は、合成された映像を表示する。これにより、車両１０の前方の風景に映像が重畳される。

【0076】

この第３の方法では、車両１０の前方の風景の変化をほぼリアルタイムに反映するために、車両１０の前方の風景の撮影から表示までの時間をなるべく短くすることが望ましい。

【0077】

なお、以下、第１の方法又は第２の方法により、車両１０のウインドシールドに映像を表示する場合について説明する。

【0078】

センサ部２０５は、例えば、図１のデータ取得部１０２に対応する。センサ部２０５は、車両１０の動き、位置、向き等の検出又は予測に用いる各種のデータを検出する。例えば、センサ部２０５は、車両１０の速度、加速度、現在位置、操舵角等を検出する。センサ部２０５、検出処理により得られたセンサデータを、バス２２１を介してＣＰＵ２０２等に供給する。

【0079】

メモリ２０６は、例えば、図１の記憶部１１１に対応する。メモリ２０６は、情報処理システム２００の処理に必要なデータやプログラムを記憶する。例えば、メモリ２０６は、ＣＰＵ２０２及びＧＰＵ２０３が実行する制御プログラムを記憶する。また、例えば、メモリ２０６は、ＣＰＵ２０２及びＧＰＵ２０３の処理に必要な各種のデータを記憶する。

【0080】

グラフィックメモリ２０７は、例えば、図１の記憶部１１１に対応する。グラフィックメモリ２０７は、ＧＰＵ２０３によりレンダリングされた映像のデータを記憶する。

【0081】

ネットワークＩ／Ｆ２０８は、例えば、図１の通信部１０３に対応する。ネットワークＩ／Ｆ２０８は、外部と通信を行い、表示デバイス２０４に表示する映像のデータ等を取得する。ネットワークＩ／Ｆ２０８は、取得したデータを、例えば、メモリ２０６又はストレージデバイス２０９に記憶させる。

【0082】

ストレージデバイス２０９は、例えば、図１の記憶部１１１に対応する。ストレージデバイス２０９は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は、半導体メモリなどの記憶媒体により構成される。ストレージデバイス２０９は、表示デバイス２０４に表示される映像のデータ等を記憶する。

【0083】

＜情報処理部２５１の構成例＞
図３は、例えば、図２の情報処理システム２００のＣＰＵ２０２及びＧＰＵ２０３が、所定の制御プログラムを実行することにより実現される情報処理部２５１の構成例を示している。情報処理部２５１は、動き検出部２６１、自己位置推定部２６２、表示位置設定部２６３、及び、表示制御部２６４を備える。

【0084】

動き検出部２６１は、センサ部２０５からのセンサデータ等に基づいて、車両１０の動きを検出する。例えば、動き検出部２６１は、車両１０の速度、加速度等を検出する。

【0085】

自己位置推定部２６２は、センサ部２０５からのセンサデータ等に基づいて、車両１０の自己位置推定を行う。例えば、自己位置推定部２６２は、ワールド座標系における車両１０の位置及び向きを推定する。

【0086】

表示位置設定部２６３は、車両１０の動き（例えば、車両１０の加速度）に基づいて、仮想スクリーンＳｖ（図５）の位置を設定する（動かす）。なお、仮想スクリーンＳｖについては、図５を参照して後述する。また、表示位置設定部２６３は、仮想スクリーンの位置に基づいて、表示デバイス２０４により映像を表示する位置を設定する。

【0087】

表示制御部２６４は、表示位置設定部２６３により設定された位置に映像を表示するように、表示デバイス２０４を制御する。

【0088】

＜表示制御処理＞
次に、図４のフローチャートを参照して、情報処理システム２００により実行される表示制御処理について説明する。

【0089】

この処理は、例えば、情報処理システム２００に対してコンテンツ等の映像の表示を開始する操作が行われたとき開始され、映像の表示を停止する操作が行われたとき終了する。

【0090】

ステップＳ１において、情報処理部２５１は、パラメータを初期化する。

【0091】

具体的には、動き検出部２６１は、車両１０の速度ｖｃ及び加速度αｃを０に初期化する。車両１０の速度ｖｃ及び加速度αｃは、例えば、車両１０の左右方向（ｘ方向）及び前後方向（ｙ方向）の２軸方向の成分により表される。ｙ方向は、車両１０の加減速方向に対応し、ｘ方向は、車両１０の旋回運動時の横Ｇの方向に対応する。なお、車両１０の速度ｖｃ及び加速度αｃの向きは、例えば、ワールド座標系により表される。

【0092】

表示位置設定部２６３は、仮想スクリーンＳｖの速度ｖｓ及び加速度αｓを０に初期化する。

【0093】

ここで、図５を参照して、仮想スクリーンＳｖについて簡単に説明する。

【0094】

仮想スクリーンＳｖとは、例えば、車両１０内の所定の視点（以下、仮想視点と称する）Ｐｖから、車両１０のウインドシールド３０１の位置Ｐｄに表示されている映像を見た場合に、映像が仮想的に認識される領域である。換言すれば、仮想スクリーンＳｖとは、仮想視点Ｐｖからウインドシールド３０１の位置Ｐｄに表示されている映像を見た場合に虚像ができる領域である。

【0095】

なお、仮想視点Ｐｖの位置は、可変でも固定でもよい。仮想視点Ｐｖの位置が可変の場合、例えば、車両１０内のユーザの頭又は目の位置が追跡され、そのユーザの頭又は目の位置に合わせて仮想視点Ｐｖが移動する。

【0096】

以下では、仮想視点Ｐｖの位置が固定されている場合の例について説明する。また、以下、仮想視点Ｐｖと仮想スクリーンＳｖとの間の距離（以下、スクリーン距離と称する）をｄｓとする。さらに、以下、仮想スクリーンＳｖにおいて仮想的に認識される映像のことを、単に仮想スクリーンＳｖと称する場合がある。

【0097】

仮想スクリーンＳｖの速度ｖｓ及び加速度αｓは、例えば、仮想スクリーンの面に平行な方向（左右方向）及び垂直な方向（前後方向）の２軸方向の成分により表される。なお、仮想スクリーンＳｖの速度ｖｓ及び加速度αｓの向きは、例えば、ワールド座標系により表される。

【0098】

ステップＳ２において、自己位置推定部２６２は、車両１０の位置及び向きを更新する。

【0099】

例えば、自己位置推定部２６２は、前回の車両１０の位置、並びに、現在の車両１０の速度ｖｃ及び加速度αｃに基づいて、車両１０の位置を更新する。

【0100】

ここで、車両１０のｘ軸方向の加速度αｃ_ｘは、車両１０の旋回時の横Ｇに対応する。そこで、自己位置推定部２６２は、車両１０のｙ軸方向の速度ｖｃ_ｙを求めた後、加速度αｃ_ｘに基づいて、次式（１）により、車両１０の旋回運動の曲率半径Ｒを算出する。

【0101】

Ｒ＝ｖｃ_ｙ ^２／αｃ_ｘ ・・・（１）

【0102】

そして、自己位置推定部２６２は、前回の車両１０の向き、現在の車両１０の速度ｖｃ及び加速度αｃ、並びに、曲率半径Ｒに基づいて、車両１０の向きを更新する。

【0103】

なお、車両１０の位置及び向きは、例えば、ワールド座標系により表される。

【0104】

ステップＳ３において、表示位置設定部２６３は、表示位置を更新する。

【0105】

例えば、表示位置設定部２６３は、前回の仮想スクリーンＳｖの位置及び向き、並びに、現在の仮想スクリーンＳｖの速度ｖｓ及び加速度αｓに基づいて、車両１０と同様の方法により、仮想スクリーンＳｖの位置及び向きを更新する。なお、仮想スクリーンＳｖの位置及び向きは、例えば、ワールド座標系により表される。

【0106】

ここで、仮想スクリーンＳｖの位置及び向きは、車両１０の速度ｖｃ及び加速度αｃとは無関係に、仮想スクリーンＳｖの速度ｖｓ及び加速度αｓに基づいて設定される。従って、車両１０の速度ｖｃと仮想スクリーンＳｖの速度ｖｓ、及び、車両１０の加速度αｃと仮想スクリーンＳｖの加速度αｓとが一致する場合には、仮想視点Ｐｖに対する仮想スクリーンＳｖの位置及び向きは変化しない。一方、車両１０の速度ｖｃと仮想スクリーンＳｖの速度ｖｓ、及び、車両１０の加速度αｃと仮想スクリーンＳｖの加速度αｓのうち少なくとも１つが一致しない場合には、仮想視点Ｐｖに対する仮想スクリーンＳｖの位置及び向きのうち少なくとも１つが変化する。

【0107】

なお、最初のステップＳ３の処理では、仮想スクリーンＳｖはホームポジションに設定される。ここで、ホームポジションは、仮想スクリーンＳｖの所定の基準位置であり、仮想スクリーンＳｖは、ホームポジションを基準にして移動する。

【0108】

図６は、仮想スクリーンＳｖがホームポジションに設定されている場合に、仮想視点Ｐｖから見た仮想スクリーンＳｖの位置の例を模式的に示している。

【0109】

ホームポジションは、例えば、仮想視点Ｐｖを基準にして設定される。例えば、仮想視点Ｐｖと仮想スクリーンＳｖとの間のスクリーン距離ｄｓが、所定の初期値ｄｓ０（以下、標準距離ｄｓ０と称する）に設定される。また、仮想スクリーンＳｖの向き（仮想スクリーンＳｖの面の法線ベクトルの向き）は、車両１０に対向する向き、すなわち、車両１０の後方方向（前方方向と逆方向）に設定される。

【0110】

また、仮想スクリーンＳｖは、所定のサイズに固定される。例えば、図６に示されるように、仮想スクリーンＳｖがホームポジションに設定されている場合に、仮想視点Ｐｖから見た仮想スクリーンＳｖの高さ及び幅が、ウインドシールド３０１の高さ及び幅のほぼ半分になるように、仮想スクリーンＳｖのサイズが設定される。

【0111】

これにより、例えば、図６に示されるように、仮想スクリーンＳｖは、仮想視点Ｐｖから見てウインドシールド３０１のほぼ中央に配置される。すなわち、仮想スクリーンＳｖのホームポジションは、仮想視点Ｐｖから見て車両１０の略正面中央となる。

【0112】

表示位置設定部２６３は、車両１０の現在の位置及び姿勢が既知なので、車両１０の現在の位置及び姿勢に基づいて、ホームポジションに設定されている仮想スクリーンＳｖの位置及び向きを算出する。

【0113】

ここで、スクリーン距離ｄｓが短くなるほど、仮想スクリーンＳｖが仮想視点Ｐｖに近づき、仮想視点Ｐｖから見た仮想スクリーンＳｖのサイズが大きくなる。一方、スクリーン距離ｄｓが長くなるほど、仮想スクリーンＳｖが仮想視点Ｐｖから遠ざかり、仮想視点Ｐｖから見た仮想スクリーンＳｖのサイズが小さくなる。

【0114】

また、車両１０のｙ軸（車両１０の前後方向）に対する仮想スクリーンＳｖの向き（以下、スクリーン角度θｓと称する）の絶対値が小さくなるにつれて、仮想スクリーンＳｖは車両１０の正面に近づく。一方、スクリーン角度θｓの絶対値が大きくなるにつれて、仮想スクリーンＳｖは車両１０の正面から左又は右方向に移動する。

【0115】

なお、以下、スクリーン角度θｓについて、仮想視点Ｐｖを基準にして右回りの方向を正の方向として、左回りの方向を負の方向とする。

【0116】

また、表示位置設定部２６３は、車両１０の位置及び向き、並びに、仮想スクリーンＳｖの位置及び向きに基づいて、スクリーン距離ｄｓ及びスクリーン角度θｓを算出する。そして、表示位置設定部２６３は、スクリーン距離ｄｓ及びスクリーン角度θｓに基づいて、仮想スクリーンＳｖに対応するウインドシールド３０１上の映像の表示位置Ｐｄを算出する。

【0117】

ここで、映像が表示位置Ｐｄに表示されることにより、仮想視点Ｐｖから見て仮想スクリーンＳｖの位置に映像が認識されるようになる。すなわち、仮想スクリーンＳｖの位置に、ウインドシールド３０１上の映像に対する虚像が形成される。

【0118】

なお、この映像の表示位置Ｐｄには、映像を表示する位置だけでなく、映像の形状（形及びサイズ）の概念も含まれる。例えば、仮想視点Ｐｖから見た仮想スクリーンＳｖは、スクリーン距離ｄｓにより大きさが変わり、スクリーン角度θｓにより形が変化する。そのため、表示位置Ｐｄの形状は、それらを考慮した形状に設定される。

【0119】

ステップＳ４において、表示位置設定部２６３は、仮想スクリーンＳｖが境界に達したか否かを判定する。

【0120】

例えば、表示位置設定部２６３は、スクリーン距離ｄｓが所定の最小値に達している場合、仮想スクリーンＳｖが境界に達していると判定する。これは、仮想スクリーンＳｖが、車両１０に最も接近し、最も大きく見える場合である。

【0121】

また、例えば、表示位置設定部２６３は、スクリーン距離ｄｓが所定の最大値に達している場合、仮想スクリーンＳｖが境界に達していると判定する。これは、例えば、仮想スクリーンＳｖが、車両１０から最も離れ、最も小さく見える場合である。

【0122】

さらに、例えば、表示位置設定部２６３は、スクリーン角度θｓの絶対値が所定の最大値に達している場合、仮想スクリーンＳｖが境界に達していると判定する。これは、例えば、仮想視点Ｐｖから見て、仮想スクリーンＳｖが、ウインドシールド３０１の左端又は右端に達している場合である。

【0123】

そして、ステップＳ４において、仮想スクリーンＳｖが境界に達していると判定された場合、処理はステップＳ５に進む。

【0124】

ステップＳ５において、表示位置設定部２６３は、仮想スクリーンＳｖの速度及び加速度をリセットする。具体的には、表示位置設定部２６３は、仮想スクリーンＳｖの速度ｖｓを現在の車両１０の速度ｖｃに設定し、加速度αｓを現在の車両１０の加速度αｃに設定する。

【0125】

これにより、仮想スクリーンＳｖが車両１０と同じ動きをするようになり、仮想スクリーンＳｖが境界の外に出ることが防止される。

【0126】

その後、処理はステップＳ６に進む。

【0127】

一方、ステップＳ４において、仮想スクリーンＳｖが境界に達していないと判定された場合、ステップＳ５の処理はスキップされ、処理はステップＳ６に進む。すなわち、仮想スクリーンＳｖの速度ｖｓ及び加速度αｓは、車両１０の速度ｖｃ及び加速度αｃとは無関係に、そのまま維持される。

【0128】

ステップＳ６において、表示制御部２６４は、映像をレンダリングする。具体的には、表示制御部２６４は、表示位置設定部２６３により算出された表示位置Ｐｄに映像を表示するためのデータをグラフィックメモリ２０７上に形成する。

【0129】

ステップＳ７において、表示制御部２６４は、表示の更新待ちを行う。すなわち、表示制御部２６４は、グラフィックメモリ２０７に形成したデータに基づく映像がウインドシールド３０１に表示されるのを待つ。そして、グラフィックメモリ２０７に形成したデータに基づく映像がウインドシールド３０１に表示されると、処理はステップＳ８に進む。

【0130】

ステップＳ８において、情報処理部２５１は、パラメータを更新する。

【0131】

具体的には、動き検出部２６１は、例えば、センサ部２０５からのセンサデータに基づいて、車両１０の速度ｖｃ及び加速度αｃを更新する。

【0132】

表示位置設定部２６３は、次の式（２）により、仮想スクリーンＳｖの速度ｖｓを更新する。

【0133】

ｖｓ＝ｖｓ＋αｓ×Δｔ ・・・（２）

【0134】

Δｔは、前回速度ｖｓの更新を行ってからの経過時間である。

【0135】

また、表示位置設定部２６３は、次の式（３）により、仮想スクリーンの加速度αｓを更新する。

【0136】

αｓ＝αｓ＋Ｋｐ１×Δｐ－Ｋｐ２×Δｖ ・・・（３）

【0137】

Δｐは、現在の仮想スクリーンＳｖの位置とホームポジションとの間の差、すなわち、仮想スクリーンＳｖのホームポジションからの変位を示している。Δｖは、仮想スクリーンＳｖの速度ｖｓ－車両１０の速度ｖｃで求められ、仮想スクリーンＳｖと車両１０との速度差を示している。Ｋｐ１、Ｋｐ２は、所定の係数を示している。

【0138】

式（３）の第２項（Ｋｐ１×ΔＰ）により、仮想スクリーンＳｖがホームポジションに戻る方向の加速度αｓの成分が増加する。その増加量は、変位Δｐが大きくなるほど大きくなり、変位Δｐが小さくなるほど小さくなる。すなわち、仮想スクリーンＳｖがホームポジションから離れるほど、仮想スクリーンＳｖをホームポジションに戻す方向に働く力が強くなり、仮想スクリーンＳｖがホームポジションに近づくほど、仮想スクリーンＳｖをホームポジションに戻す方向に働く力が弱くなる。

【0139】

これにより、車両１０の加速、減速、旋回等により、仮想スクリーンＳｖがホームポジションから移動しても、車両１０が等速で前進（前方方向に直進）するようになると、最終的に仮想スクリーンＳｖがホームポジションに戻るようになる。

【0140】

一方、式（３）の第３項（－Ｋｐ１×ΔＰ）により、仮想スクリーンＳｖがホームポジションに戻る方向の加速度αｓの成分が減少する。その減少量は、速度差Δｖが大きくなるほど大きくなり、速度差Δｖが小さくなるほど小さくなる。これにより、式（３）の第２項の働きにより仮想スクリーンＳｖのホームポジションに戻る方向の速度が速くなりすぎることが抑制される。

【0141】

なお、係数Ｋｐ１及び係数Ｋｐ２は、仮想視点Ｐｖから見た仮想スクリーンＳｖの加速度をユーザにあまり感じさせないように調整される。

【0142】

また、式（３）の第３項は、必要に応じて省略することが可能である。

【0143】

その後、処理はステップＳ２に戻り、ステップＳ２乃至ステップＳ８の処理が繰り返し実行される。

【0144】

ここで、図７乃至図２０を参照して、以上の処理による仮想スクリーンＳｖの動きの具体例について説明する。

【0145】

＜車両１０が旋回する場合＞
まず、図７乃至図１３を参照して、車両１０が旋回する場合の仮想スクリーンＳｖの動きについて説明する。より具体的には、車両１０が左方向に旋回する場合の仮想スクリーンＳｖの動きについて説明する。

【0146】

図７のＡは、図７のＢに示されるように、車両１０がカーブ３１１を曲がる前に等速で直進しているときの仮想スクリーンＳｖの位置の例を示している。このとき、仮想スクリーンＳｖは、ホームポジションに設定される。

【0147】

図８のＡは、図８のＢに示されるように、車両１０がカーブ３１１を左方向に曲がり始めたときの仮想スクリーンＳｖの位置の例を示している。車両１０が左方向に旋回するのに対し、仮想スクリーンＳｖは、ほとんど速度及び方向を変えずに直進する。従って、仮想視点Ｐｖから見て、車両１０の左方向の旋回に伴い、仮想スクリーンＳｖが右方向への旋回を開始する。また、仮想視点Ｐｖから見て、仮想スクリーンＳｖは、車両１０と逆方向に加速する。さらに、仮想スクリーンＳｖの向きが車両１０の正面に対して傾くため、仮想スクリーンＳｖの形が歪む。具体的には、仮想スクリーンＳｖは、左に行くほど低くなる略横向きの台形状となる。

【0148】

図９のＡは、図９のＢに示されるように、車両１０がカーブ３１１をさらに左方向に曲がったときの仮想スクリーンＳｖの位置の例を示している。車両１０が左方向に旋回するのに対し、仮想スクリーンＳｖは、ほとんど速度及び方向を変えずに直進する。従って、仮想視点Ｐｖから見て、車両１０の左方向の旋回に伴い、仮想スクリーンＳｖはさらに右方向に旋回する。また、仮想視点Ｐｖから見て、仮想スクリーンＳｖは、車両１０と逆方向に加速する。これにより、仮想スクリーンＳｖが、ウインドシールド３０１の右端に達している。さらに、仮想スクリーンＳｖの向きが車両１０の正面に対してさらに傾くため、仮想スクリーンＳｖの台形状の歪みが大きくなる。

【0149】

ここで、図１０及び図１１を参照して、仮想スクリーンＳｖが、ホームポジションからウインドシールド３０１の右端に到達するまでの時間について説明する。

【0150】

車両１０が円弧に沿って左方向に旋回した場合、車両１０が旋回する角度と、仮想スクリーンＳｖがホームポジションから右方向に移動する角度とは略等しくなる。その角度ωは、例えば、次の式（４）により求められる。

【0151】

ω＝３６０°×ｖｃ×ｔ÷２πＲ ・・・（４）

【0152】

ｔは、車両１０が旋回を開始してからの経過時間（単位は秒）を示している。Ｒは、車両１０が旋回するカーブの曲率半径（単位はｍ）を示している。

【0153】

例えば、図１０に示されるように、ウインドシールド３０１の幅が１．８ｍ、かつ、仮想視点Ｐｖとウインドシールド３０１との間の距離が０．９ｍであり、仮想視点Ｐｖから見て仮想スクリーンＳｖがウインドシールド３０１の幅の１／２を占めている場合について検討する。

【0154】

この場合、仮想スクリーンＳｖは、ホームポジションから右方向に約１８°回転すると、ウインドシールド３０１の右端に到達する。従って、車両１０の速度ｖｃ及びカーブの曲率半径Ｒと、仮想スクリーンＳｖがウインドシールド３０１の右端に到達するまでの時間との関係は、図１１に示されるようになる。

【0155】

図１１の横軸はカーブの曲率半径Ｒ（単位はｍ）を示し、縦軸は仮想スクリーンＳｖがウインドシールド３０１の右端に到達するまでの時間（単位は秒）を示している。また、図１１は、車両１０の速度ｖｃが、３０ｋｍ／ｈ、６０ｋｍ／ｈ、９０ｋｍ／ｈ、及び、１２０ｋｍ／ｈの場合のグラフを示している。

【0156】

このグラフに示されるように、車両１０の速度ｖｃが速くなるほど、仮想スクリーンＳｖがウインドシールド３０１の右端に到達するまでの時間が短くなる。また、カーブの曲率半径Ｒが大きくなるほど、仮想スクリーンＳｖがウインドシールド３０１の右端に到達するまでの時間が長くなる。

【0157】

仮想スクリーンＳｖが、ウインドシールド３０１の左端又は右端に達した後も同様の動きを維持すると、ウインドシールド３０１の外にはみ出していまい、ユーザから見えなくなる。また、仮想スクリーンＳＶをウインドシールド３０１の左端又は右端でそのまま停止させたとしても、仮想スクリーンＳｖの視認性が低下する。

【0158】

そこで、上述したように、仮想スクリーンＳｖがウインドシールド３０１の左端又は右端に達した場合、仮想スクリーンＳｖの速度ｖｓ及び加速度αｓが車両１０と同じ速度及び加速度に一旦リセットされ、さらに、仮想スクリーンＳｖが、ホームポジションに戻る方向に加速される。

【0159】

これにより、例えば、図１２のＡ乃至Ｃに示されるように、仮想スクリーンＳｖは、ウインドシールド３０１の右端から左方向に回転し、最終的にホームポジションに戻る。

【0160】

しかし、この仮想スクリーンＳｖのホームポジションに戻る動きは、車両１０の動きとは異なる加速度をユーザに感じさせるため、乗り物酔いを誘発する恐れがある。従って、仮想スクリーンＳｖは、その加速度をあまり感じさせない程度に、徐々にホームポジションに戻される。

【0161】

例えば、仮想視点Ｐｖから見て、仮想スクリーンＳｖの横Ｇが、所定の閾値（例えば、０．１Ｇ）以下に抑制される。すなわち、仮想スクリーンＳｖがホームポジションに戻るときの角速度をω（単位はｒａｄ／秒）とし、閾値を０．１Ｇとすると、次の式（５）を満たすように、角速度ωが設定される。

【0162】

Ｒω^２≦０．１×９．８ ・・・（５）

【0163】

例えば、上述した図１０の例において、仮想スクリーンＳｖがウインドシールド３０１の右端からホームポジションに戻るには、仮想スクリーンＳｖが左方向に約１８°回転する必要がある。

【0164】

一方、カーブ３１１の曲率半径Ｒが５０ｍの場合、式（５）より、ω≦０．１４（ｒａｄ／ｓ）となる。従って、仮想スクリーンＳｖの角速度ωを０．１４（ｒａｄ／ｓ）に設定した場合、仮想スクリーンＳｖがホームポジションに戻るまでに要する時間は約２．２秒となる。

【0165】

図１３は、図１０に示される条件において、仮想スクリーンＳｖの横Ｇを０．１Ｇに設定した場合に、仮想スクリーンＳｖがウインドシールド３０１の左端又は右端からホームポジションに戻るまでに要する時間の例を示している。図１３の横軸は、車両１０が旋回しているカーブの曲率半径（単位はｍ）を示し、縦軸は、仮想スクリーンＳｖがホームポジションに戻るまでの所用時間（単位は秒）を示している。

【0166】

このように、車両１０が旋回しているカーブの曲率半径が大きくなるほど、所要時間が長くなり、曲率半径が小さくなるほど所要時間が短くなる。

【0167】

また、具体的な図示は省略するが、仮想スクリーンＳｖの左右方向の移動範囲が広く、移動角度が大きくなるほど、仮想スクリーンＳｖがホームポジションに戻るまでの所用時間が長くなる。一方、仮想スクリーンＳｖの左右方向の移動範囲が狭く、移動角度が小さくなるほど、仮想スクリーンＳｖがホームポジションに戻るまでの所用時間が短くなる。

【0168】

＜車両１０が加速する場合＞
次に、図１４乃至図１７を参照して、車両１０が加速する場合の仮想スクリーンＳｖの動きについて説明する。より具体的には、車両１０が前方に直進しながら加速する場合の仮想スクリーンＳｖの動きについて説明する。

【0169】

図１４は、車両１０が加速した場合の仮想スクリーンＳｖの動きの例を示している。

【0170】

図１４のＡは、車両１０が加速する前の仮想スクリーンＳｖの状態を示している。仮想スクリーンＳｖは、ホームポジションに設定されている。

【0171】

その後、車両１０が加速を開始しても、仮想スクリーンＳｖは、車両１０の加速前と略同じ速度で直進する。従って、図１４のＢ及びＣに示されるように、仮想スクリーンＳｖが仮想視点Ｐｖに接近し、仮想視点Ｐｖから見て、仮想スクリーンＳｖが徐々に大きくなる。

【0172】

そして、例えば、仮想スクリーンＳｖのサイズが上限に達したら、仮想スクリーンＳｖの拡大が終了する。仮想スクリーンＳｖのサイズの上限は、例えば、仮想スクリーンＳｖの高さ及び幅の少なくとも一方が、ウインドシールド３０１の高さ及び幅に達するサイズとされる。例えば、仮想スクリーンＳｖの高さがウインドシールド３０１の高さに達するのが、仮想スクリーンＳｖの幅がウインドシールド３０１の幅に達するより早い場合、仮想スクリーンＳｖの高さがウインドシールド３０１の高さに達したときのサイズが、仮想スクリーンＳｖのサイズの上限となる。一方、例えば、仮想スクリーンＳｖの幅がウインドシールド３０１の幅に達するのが、仮想スクリーンＳｖの高さがウインドシールド３０１の高さに達するより早い場合、仮想スクリーンＳｖの幅がウインドシールド３０１の幅に達したときのサイズが、仮想スクリーンＳｖのサイズの上限となる。

【0173】

例えば、仮想スクリーンＳｖがホームポジションに設定され、スクリーン距離ｄｓ＝標準距離ｄｓ０である場合に車両１０が加速を開始したとき、仮想スクリーンＳｖの各辺の倍率ｍは、次の式（６）で表される。

【0174】

ｍ＝１／（１－（αｃ／２ｄｓ０）×ｔ^２） ・・・（６）

【0175】

ｔは、車両１０が加速を開始してからの経過時間を示している。また、倍率ｍは、仮想スクリーンＳｖがホームポジションに設定されているときの辺の長さに対する倍率を示している。

【0176】

図１５は、式（６）の倍率ｍが２倍になるまでに要する時間の例を示している。図１５の横軸は車両１０の加速度αｃ（単位はｍ／ｓ^２）を示し、縦軸は時間（単位は秒）を示している。また、標準距離ｄｓ０＝３．６ｍであるとする。

【0177】

この例で示されるように、加速度αｃが大きくなるほど、倍率ｍが２倍になるまでの所用時間は短くなる。例えば、加速度αｃが旅客機の離陸時の加速度とほぼ同じ１．９ｍ／ｓ^２である場合、所要時間は約１．４秒となる。例えば、加速度αｃが市販車のフル加速時とほぼ同じ２．９ｍ／ｓ^２である場合、所要時間は約１．１秒となる。

【0178】

仮想スクリーンＳｖが、サイズが上限に達した後も同様の動きを維持すると、ウインドシールド３０１からはみ出し、仮想スクリーンＳｖの視認性が低下する。また、仮想スクリーンＳｖのサイズを上限のまま維持したとしても、ウインドシールド３０１のほとんどが仮想スクリーンＳｖにより占められるため、ユーザが車両１０の周囲の風景を知覚しづらくなる。その結果、ユーザの乗り物酔いを誘発するおそれがある。

【0179】

そこで、上述したように、仮想スクリーンＳｖのサイズが上限に達した場合、仮想スクリーンＳｖの速度ｖｓ及び加速度αｓが車両１０と同じ速度及び加速度に一旦リセットされ、さらに、仮想スクリーンＳｖは、ホームポジションに戻る方向に加速される。

【0180】

これにより、例えば、図１６のＡ乃至Ｃに示されるように、仮想視点Ｐｖから見て、仮想スクリーンＳｖが、徐々に遠ざかることにより縮小し、最終的にホームポジションに戻る。

【0181】

しかし、この仮想スクリーンＳｖのホームポジションに戻る動きは、車両１０の動きとは異なる加速度をユーザに感じさせるため、乗り物酔いを誘発する恐れがある。従って、仮想スクリーンＳｖは、その加速度をあまり感じさせない程度に、徐々にホームポジションに戻される。例えば、仮想視点Ｐｖから見て、仮想スクリーンＳｖが車両１０から遠ざかる加速度が、所定の閾値（例えば、０．１Ｇ）以下に抑制される。

【0182】

図１７は、仮想スクリーンＳｖがホームポジションに戻るまでの仮想スクリーンＳｖの各辺の倍率の変化を示している。横軸は、仮想スクリーンＳｖが縮小を開始してからの経過時間（単位は秒）を示し、縦軸は、仮想スクリーンＳｖの各辺のホームポジションにおける長さに対する倍率を示している。また、標準距離ｄｓ０＝３．６ｍであり、仮想スクリーンＳｖが仮想視点Ｐｖから遠ざかる方向の加速度が０．１Ｇであるものとする。

【0183】

この場合、例えば、仮想スクリーンＳｖの各辺が、ホームポジション時の２倍の長さから元の長さ（倍率＝１倍）に戻るまでに約１．９秒要する。

【0184】

＜車両１０が減速する場合＞
次に、図１８乃至図２０を参照して、車両１０が減速する場合の仮想スクリーンＳｖの動きについて説明する。より具体的には、車両１０が前方に直進しながら減速する場合の仮想スクリーンＳｖの動きについて説明する。

【0185】

図１８は、車両１０が減速した場合の仮想スクリーンＳｖの動きの例を示している。

【0186】

図１８のＡは、車両１０が減速する前の仮想スクリーンＳｖの状態を示している。仮想スクリーンＳｖは、ホームポジションに設定されている。

【0187】

その後、車両１０が減速を開始しても、仮想スクリーンＳｖは、車両１０の減速前と略同じ速度で直進する。従って、図１８のＢ及びＣに示されるように、仮想スクリーンＳｖが仮想視点Ｐｖから遠ざかり、仮想視点Ｐｖから見て、仮想スクリーンＳｖが徐々に小さくなる。

【0188】

そして、例えば、仮想スクリーンＳｖのサイズが下限に達したら、仮想スクリーンＳｖの縮小が終了する。

【0189】

なお、仮想スクリーンＳｖの縮小により車両１０の減速をユーザに知覚させるためには、ある程度の時間を要するため、仮想スクリーンＳｖのサイズの下限をある程度小さくする必要がある。一方、仮想スクリーンＳｖを小さくし過ぎると、仮想スクリーンＳｖの視認性が低下する。

【0190】

そこで、仮想スクリーンＳｖのサイズの下限は、仮想スクリーンＳｖの視認性と、車両１０の減速を知覚させるのに必要な時間や縮小率とのトレードオフにより決定される。

【0191】

仮想スクリーンＳｖが、サイズが下限に達した後も同様の動きを維持すると、仮想スクリーンＳｖがさらに小さくなり、仮想スクリーンＳｖの視認性が低下する。また、仮想スクリーンＳｖのサイズを下限のまま維持したとしても、仮想スクリーンＳｖのサイズが縮小されたままなので、仮想スクリーンＳｖの視認性が低下する。

【0192】

そこで、上述したように、仮想スクリーンＳｖのサイズが下限に達した場合、仮想スクリーンＳｖの速度ｖｓ及び加速度αｓが車両１０と同じ速度及び加速度に一旦リセットされ、さらに、仮想スクリーンＳｖは、ホームポジションに戻る方向に減速される（負の方向に加速される）。

【0193】

これにより、例えば、図１９のＡ乃至Ｃに示されるように、仮想視点Ｐｖから見て、仮想スクリーンＳｖが、徐々に近づくことにより拡大し、最終的にホームポジションに戻る。

【0194】

しかし、この仮想スクリーンＳｖのホームポジションに戻る動きは、車両１０の動きとは異なる加速度をユーザに感じさせるため、乗り物酔いを誘発する恐れがある。そこで、仮想スクリーンＳｖは、その加速度をあまり感じさせない程度に、徐々にホームポジションに戻される。例えば、仮想視点Ｐｖから見て、仮想スクリーンＳｖが車両１０に近づく加速度が、所定の閾値（例えば、０．１Ｇ）以下に抑制される。

【0195】

図２０は、仮想スクリーンＳｖがホームポジションに戻るまでの仮想スクリーンＳｖの各辺の倍率の変化を示している。横軸は、仮想スクリーンＳｖが拡大を開始してからの経過時間（単位は秒）を示し、縦軸は、仮想スクリーンＳｖの各辺のホームポジションにおける長さに対する倍率を示している。また、標準距離ｄｓ０＝３．６ｍであり、仮想スクリーンＳｖが仮想視点Ｐｖに近づく方向の加速度が０．１Ｇであるものとする。

【0196】

この場合、例えば、仮想スクリーンＳｖの各辺が、ホームポジション時の１／２の長さから元の長さ（倍率＝１倍）に戻るまでに約２．７秒要する。

【0197】

以上のようにして、例えば、車両１０の自動運転が行われる場合、車両１０内のユーザは、車両１０の運行とはあまり関係のない映画等のコンテンツを大画面で鑑賞することができる。

【0198】

また、車両１０が旋回、加速、又は、減速した場合、ユーザ（仮想視点Ｐｖ）から見て、仮想スクリーンＳｖが車両１０と反対の動きをする。すなわち、ユーザから見て、仮想スクリーンＳｖが、車両１０と逆方向に加速し、移動する。従って、ユーザは、仮想スクリーンＳｖのサイズが大きいため、周辺視野により車両１０の周囲の景色の動きを知覚することが困難な状況においても、仮想スクリーンＳｖにおける映像に集中したまま、車両１０の動きを知覚することができる。その結果、ユーザの乗り物酔いを防止することができる。

【0199】

さらに、仮想スクリーンＳｖがウインドシールド３０１の左端又は右端に達したり、仮想スクリーンＳｖのサイズが上限又は下限に達したりした後、仮想スクリーンＳｖが、ユーザにあまり加速度を感じさせない程度に移動し、ホームポジションに戻される。これにより、ユーザの乗り物酔いを防止しつつ、映像の視認性の低下を防止することができる。

【0200】

＜＜３．第２の実施の形態＞＞
次に、図２１乃至図２６を参照して、本技術の第２の実施の形態について説明する。

【0201】

なお、この第２の実施の形態は、図１の車両制御システム１００のうち、入力部１０１、出力制御部１０５、出力部１０６、検出部１３１、及び、自己位置推定部１３２、状況分析部１３３、及び、計画部１３４の処理に関連するものである。

【0202】

具体的には、第１の実施の形態では、車両１０の実際の動きに基づいて、仮想スクリーンＳｖの位置が制御されたが、第２の実施の形態では、予測される車両１０の動きに基づいて、仮想スクリーンＳｖの位置が制御される。

【0203】

＜情報処理部４０１の構成例＞
図２１は、例えば、図２の情報処理システム２００のＣＰＵ２０２及びＧＰＵ２０３が、所定の制御プログラムを実行することにより実現される情報処理部４０１の構成例を示している。なお、図中、図３の情報処理部２５１と対応する部分には同じ符号を付してあり、その説明は適宜省略する。

【0204】

情報処理部４０１は、情報処理部２５１と比較して、動き検出部２６１、自己位置推定部２６２、及び、表示制御部２６４を備える点で一致し、動き予測部４１１が追加され、表示位置設定部２６３の代わりに表示位置設定部４１２が設けられている点が異なる。

【0205】

動き予測部４１１は、図１のルート計画部１６１により計画された車両１０のルート、及び、行動計画部１６２により計画された車両１０の行動計画等に基づいて、車両１０の動きを予測する。

【0206】

なお、例えば、動き予測部４１１の機能を動き検出部２６１に設けるようにしてもよい。

【0207】

表示位置設定部４１２は、予測される車両１０の動きに基づいて、仮想スクリーンＳｖの位置、並びに、仮想スクリーンＳｖの位置に対応する表示デバイス２０４の映像の表示位置を設定する（動かす）。

【0208】

＜表示制御処理の第２の実施の形態＞
次に、図２２のフローチャートを参照して、情報処理システム２００により実行される表示制御処理の第２の実施の形態について説明する。

【0209】

ステップＳ１０１において、動き検出部２６１は、車両１０の動きを検出する。例えば、動き検出部２６１は、センサ部２０５からのセンサデータに基づいて、車両１０の速度ｖｃ、加速度αｃ、及び、舵角等を検出する。

【0210】

ステップＳ１０２において、図４のステップＳ２の処理と同様に、車両１０の位置及び向きが更新される。

【0211】

ステップＳ１０３において、動き予測部４１１は、車両１０の動きを予測する。

【0212】

例えば、動き予測部４１１は、車両１０の現在位置付近のルートを示すデータをルート計画部１６１から取得する。また、動き予測部４１１は、車両１０の現時点から所定の時間内の行動計画を示すデータを行動計画部１６２から取得する。動き予測部４１１は、車両１０のルート及び行動計画、並びに、車両１０の動きに基づいて、車両１０の直近の進路を予測する。

【0213】

なお、車両１０の動きを予測する方法は、任意であり、他の方法を採用することも可能である。

【0214】

例えば、動き予測部４１１が、画像認識やＳＬＡＭ（Simultaneous Localization and Mapping）等の三次元空間認識により、道路が続いている方向を認識し、車両１０のステアリングの舵角、車速、加速度等に基づいて、車両１０の進行方向を予測するようにしてもよい。

【0215】

ステップＳ１０４において、表示位置設定部４１２は、予測される車両１０の動きに基づいて、表示位置を更新する。

【0216】

例えば、表示位置設定部４１２は、車両１０の直近の進路上に仮想スクリーンＳｖを配置する。

【0217】

ここで、図２３を参照して、仮想スクリーンＳｖの位置の設定方法の例について説明する。

【0218】

図２３は、車両１０を上方から見た図である。進路Ｐ１は、動き予測部４１１により予測された車両１０の進路である。角度θ１は、仮想視点Ｐｖからウインドシールド３０１を介して車外を見ることができる範囲を示している。

【0219】

例えば、表示位置設定部４１２は、仮想視点Ｐｖから直線距離で標準距離ｄｓ０だけ離れた予測進路Ｐ１上の位置Ｐｓ１に仮想スクリーンＳｖを設定する。また、表示位置設定部４１２は、仮想スクリーンＳｖの向き（法線ベクトル）を位置Ｐｓ１における予測進路Ｐ１の向きと逆方向に設定する。従って、仮想スクリーンＳｖの面は、予測進路Ｐ１に対して垂直になる。

【0220】

さらに、表示位置設定部４１２は、車両１０の向き、並びに、仮想スクリーンＳｖの向きに基づいて、スクリーン角度θｓを算出する。そして、表示位置設定部４１２は、図４のステップＳ３の処理と同様に、標準距離ｄｓ０及びスクリーン角度θｓに基づいて、映像の表示位置Ｐｄを算出する。

【0221】

ステップＳ１０５において、図４のステップＳ６の処理と同様に、映像がレンダリングされる。

【0222】

ステップＳ１０６において、図４のステップＳ７の処理と同様に、表示の更新待ちが行われる。そして、グラフィックメモリ２０７に形成したデータに基づく映像がウインドシールド３０１に表示されると、処理はステップＳ１０１に戻り、ステップＳ１０１以降の処理が実行される。

【0223】

これにより、例えば、図２４に示されるように、仮想スクリーンＳｖが車両１０より先に予測進路Ｐ１上を移動する。すなわち、仮想スクリーンＳｖが、車両１０より先に左方向への旋回を開始する。

【0224】

また、例えば、図２５のＡ乃至Ｃ及び図２６のＤ乃至Ｆに示されるように、仮想スクリーンＳｖは、車両１０（仮想視点Ｐｖ）との間隔を略一定に保ちつつ、予測される車両１０の進路上を車両１０よりに先に浮遊しながら移動する。

【0225】

この仮想スクリーンＳｖの動きは、例えば、背面にディスプレイを備えるトラックの後ろを車両１０が一定の距離を保ちながらピッタリ追従している場合の車両１０から見たディスプレイの動きと類似する。

【0226】

これにより、ユーザは、仮想スクリーンＳｖの動きに基づいて、車両１０の動きを予見することができ、仮想スクリーンＳｖにおける映像に集中したまま、車両１０の動きを把握することができる。その結果、ユーザの乗り物酔いが防止される。

【0227】

＜＜４．変形例＞＞
以下、上述した本技術の実施の形態の変形例について説明する。

【0228】

以上の説明では、仮想スクリーンＳｖを車両１０の前後方向及び左右方向に動かす例を示したが、例えば、車両１０の上下方向にも動かすようにしてもよい。例えば、車両１０が上方向に加速している場合、仮想視点Ｐｖから見て、仮想スクリーンＳｖを下方向に加速させるようしてもよい。逆に、車両１０が下方向に加速している場合、仮想視点Ｐｖから見て、仮想スクリーンＳｖを上方向に加速させるようしてもよい。

【0229】

また、以上の説明では、仮想視点Ｐｖから見て、仮想スクリーンＳｖを左右方向に回転させる例を示したが、仮想スクリーンＳｖを左右方向に回転させずに平行移動させるようにしてもよい。この場合、仮想視点Ｐｖから見て、仮想スクリーンＳｖがホームポジションから左右方向に移動しても、仮想スクリーンＳｖは歪まずに矩形のままとなる。

【0230】

さらに、仮想スクリーンＳｖのサイズをユーザ毎に可変にするようにしてもよい。例えば、乗り物酔いに弱いユーザに対しては、仮想スクリーンＳｖを小さくし、車両１０の周囲の景色を見せる量を増やし、車両１０の動きをより知覚しやすくするようにしてもよい。また、例えば、車両１０の加速時の仮想スクリーンＳｖのサイズの上限を小さくするようにしてもよい。一方、例えば、乗り物酔いに強いユーザに対しては、仮想スクリーンＳｖを大きくし、映像の視認性を向上させるようにしてもよい。また、例えば、車両１０の加速時の仮想スクリーンＳｖのサイズの上限を大きくするようにしてもよい。

【0231】

また、以上の説明では、表示位置設定部２６３が、仮想スクリーンの位置を設定する例を示したが、例えば、車両１０の動きに基づいて、映像の表示位置を設定するようにしてもよい。

【0232】

また、本技術を適用可能な車両の種類は特に限定されない。また、本技術は、先に例示した車両以外にも、ユーザが搭乗することが可能で、周囲の風景又は周囲の風景の映像に重畳して映像を表示することが可能な移動体全般に適用することができる。例えば、飛行機、船舶、電車等が想定される。

【0233】

＜＜５．その他＞＞
＜コンピュータの構成例＞
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

【0234】

例えば、図２の情報処理システム２００では、ＣＰＵ２０２が、例えば、メモリ２０６に記憶されているプログラムをＲＡＭ（不図示）にロードして実行することにより、上述した一連の処理が行われる。

【0235】

また、ＣＰＵ２０２が実行するプログラムは、例えば、パッケージメディア等としてのストレージデバイス２０９に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

【0236】

例えば、情報処理システム２００では、プログラムは、ストレージデバイス２０９を装着することにより、バス２２１を介して、メモリ２０６にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、ネットワークＩ／Ｆ２０８で受信し、メモリ２０６にインストールすることができる。その他、プログラムは、ＲＯＭ（不図示）やメモリ２０６に、あらかじめインストールしておくことができる。

【0237】

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

【0238】

また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

【0239】

さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

【0240】

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

【0241】

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

【0242】

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

【0243】

＜構成の組み合わせ例＞
本技術は、以下のような構成をとることもできる。

【0244】

（１）
移動体の動きに基づいて、前記移動体の所定の視点から見た第１の映像の表示位置を移動させる表示位置設定部と、
設定された表示位置に基づく表示制御を行う表示制御部と
を備える情報処理装置。
（２）
前記表示位置設定部は、前記第１の映像に対応する仮想スクリーンの位置を設定する
前記（１）に記載の情報処理装置。
（３）
前記表示位置設定部は、前記移動体の加速度に基づいて、前記仮想スクリーンの位置を移動させる
前記（２）に記載の情報処理装置。
（４）
前記表示位置設定部は、前記視点から見て前記仮想スクリーンを前記移動体と逆方向に加速させる
前記（３）に記載の情報処理装置。
（５）
前記表示位置設定部は、所定の基準位置を基準にして前記仮想スクリーンを移動させる
前記（４）に記載の情報処理装置。
（６）
前記表示位置設定部は、前記視点から見た前記仮想スクリーンの位置を前記移動体の前後方向及び左右方向に移動させるとともに、前記視点から見た前記仮想スクリーンの位置が前記移動体の前後方向又は左右方向の所定の境界に達した場合、前記仮想スクリーンを前記基準位置に徐々に戻す
前記（５）に記載の情報処理装置。
（７）
前記表示位置設定部は、前記仮想スクリーンを前記基準位置に戻すときの前記視点から見た前記仮想スクリーンの加速度を所定の閾値以下に設定する
前記（６）に記載の情報処理装置。
（８）
前記表示位置設定部は、前記移動体が等速で前進している場合、前記仮想スクリーンの位置を前記基準位置に設定する
前記（５）乃至（７）のいずれかに記載の情報処理装置。
（９）
前記表示位置設定部は、前記仮想スクリーンの位置と前記基準位置との差が大きくなるほど、前記仮想スクリーンの前記基準位置の方向への加速度を大きくする
前記（５）乃至（８）のいずれかに記載の情報処理装置。
（１０）
前記表示位置設定部は、前記仮想スクリーンの速度と前記移動体の速度との差が大きくなるほど、前記仮想スクリーンの前記基準位置の方向への加速度を小さくする
前記（９）に記載の情報処理装置。
（１１）
前記基準位置は、前記視点から見て前記移動体の略正面中央である
前記（５）乃至（１０）のいずれかに記載の情報処理装置。
（１２）
前記表示位置設定部は、前記移動体の旋回方向の動きに基づいて、前記視点に対する前記仮想スクリーンの向きを変える
前記（２）乃至（１１）のいずれかに記載の情報処理装置。
（１３）
前記移動体の動きを予測する動き予測部を
さらに備え、
前記表示位置設定部は、予測される前記移動体の動きに基づいて、前記仮想スクリーンの位置を移動させる
前記（２）に記載の情報処理装置。
（１４）
前記表示位置設定部は、予測される前記移動体の進路上に前記仮想スクリーンを配置する
前記（１３）に記載の情報処理装置。
（１５）
前記表示位置設定部は、前記視点と前記仮想スクリーンとの間の距離を略一定に保つ
前記（１４）に記載の情報処理装置。
（１６）
前記表示位置設定部は、予測される前記移動体の進路に対して前記仮想スクリーンの面を略垂直に設定する
前記（１４）又は（１５）に記載の情報処理装置。
（１７）
前記表示制御部は、前記移動体の周囲の風景、又は、前記移動体の周囲を撮影した第２の映像に前記第１の映像を重畳する
前記（１）乃至（１６）のいずれかに記載の情報処理装置。
（１８）
情報処理装置が、
移動体の動きに基づいて、前記移動体の所定の視点から見た映像の表示位置を移動させ、
設定された表示位置に基づく表示制御を行う
情報処理方法。
（１９）
移動体の動きに基づいて、前記移動体の所定の視点から見た映像の表示位置を移動させ、
設定された表示位置に基づく表示制御を行う
処理をコンピュータに実行させるためのプログラム。
（２０）
自分の動きを検出する動き検出部と、
自分の動きに基づいて、所定の視点から見た映像の表示位置を移動させる表示位置設定部と、
設定された表示位置に基づく表示制御を行う表示制御部と
を備える移動体。

【0245】

なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

【符号の説明】

【0246】

１０ 車両， １００ 車両制御システム， １０１ 入力部， １０２ データ取得部， １０５ 出力制御部， １０６ 出力部， １３１ 検出部， １３２ 自己位置推定部， １３３ 状況分析部， １３４ 計画部， ２００ 情報処理システム， ２０１ カメラ， ２０２ ＣＰＵ， ２０３ ＧＰＵ， ２０４ 表示デバイス， ２０５ センサ部， ２５１ 情報処理部， ２６１ 動き検出部， ２６２ 自己位置推定部， ２６３ 表示位置設定部， ２６４ 表示制御部， ３０１ ウインドシールド， ４０１ 情報処理部， ４１１ 動き予測部， ４１２ 表示位置設定部， Ｐｖ 仮想視点， Ｐｄ 表示位置， Ｓｖ 仮想スクリーン

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】