特開 2022-187788 仮想環境提供システム、及び仮想環境提供方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022187788

(43)【公開日】2022-12-20

(54)【発明の名称】仮想環境提供システム、及び仮想環境提供方法

(51)【国際特許分類】

   G06F 3/01 20060101AFI20221213BHJP

   G01C 21/26 20060101ALI20221213BHJP

   G06F 3/0481 20220101ALI20221213BHJP

   A63G 31/16 20060101ALI20221213BHJP

   A63F 13/803 20140101ALI20221213BHJP

   A63F 13/25 20140101ALI20221213BHJP

   A63F 13/211 20140101ALI20221213BHJP

   A63F 13/525 20140101ALI20221213BHJP

   G06T 19/00 20110101ALI20221213BHJP

【ＦＩ】

G06F3/01 510

G01C21/26 C

G06F3/0481

A63G31/16

A63F13/803

A63F13/25

A63F13/211

A63F13/525

G06T19/00 300B

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2021095966

(22)【出願日】2021-06-08

(71)【出願人】

【識別番号】000005326

【氏名又は名称】本田技研工業株式会社

(74)【代理人】

【識別番号】110001081

【氏名又は名称】弁理士法人クシブチ国際特許事務所

(72)【発明者】

【氏名】前原 勇人

(72)【発明者】

【氏名】青木 晋介

(72)【発明者】

【氏名】一藤 英恵

(72)【発明者】

【氏名】秀平 純一

(72)【発明者】

【氏名】岡田 祥吾

(72)【発明者】

【氏名】市原 佑季子

(72)【発明者】

【氏名】相澤 くる美

(72)【発明者】

【氏名】伊藤 玲央

(72)【発明者】

【氏名】山本 悠平

(72)【発明者】

【氏名】白鳥 悠樹

(72)【発明者】

【氏名】小川 遼司

(72)【発明者】

【氏名】大前 友紀恵

【テーマコード（参考）】

2F129

5B050

5E555

【Ｆターム（参考）】

2F129AA03

2F129BB03

2F129EE52

2F129EE87

2F129HH15

5B050BA08

5B050BA11

5B050BA17

5B050CA07

5B050DA10

5B050EA07

5B050EA12

5B050EA18

5B050EA19

5B050EA24

5B050EA27

5B050FA02

5B050FA09

5B050GA08

5E555AA64

5E555AA76

5E555BA04

5E555BA20

5E555BA23

5E555BA38

5E555BB04

5E555BB20

5E555BB23

5E555BB38

5E555BC04

5E555BE17

5E555CA10

5E555CA42

5E555CA44

5E555CA45

5E555DA08

5E555DC09

5E555FA00

(57)【要約】

【課題】移動体の搭乗者に対して、高い没入感を与えることができる仮想環境を設定することができる仮想環境提供システム、及び仮想環境提供方法を提供する。
【解決手段】仮想環境提供システム１０は、移動体１の搭乗者により使用される表示装置７０に、移動体１が移動している実環境と異なる仮想環境を表現する仮想環境映像を表示し、移動体１の挙動を認識する移動体挙動認識部２４と、移動体１の挙動に基づいて、仮想環境映像を生成する仮想環境映像生成部２３と、仮想環境映像を再生して表示装置７０に表示させる映像再生制御部２５と、を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

移動体の搭乗者により使用される表示装置に、前記移動体が移動している実環境と異なる仮想環境を表現する仮想環境映像を表示する仮想環境提供システムであって、
前記移動体の挙動を認識する移動体挙動認識部と、
前記移動体の挙動に基づいて、前記仮想環境映像を生成する仮想環境映像生成部と、
前記仮想環境映像を再生して前記表示装置に表示させる映像再生制御部と、
を備える仮想環境提供システム。

【請求項2】

前記移動体の出発位置から目的位置までの予定経路を認識する予定経路認識部を備え、
前記仮想環境映像生成部は、前記移動体の挙動及び前記予定経路に基づいて、前記仮想環境映像を生成する
請求項１に記載の仮想環境提供システム。

【請求項3】

前記移動体が前記予定経路を移動する際に前記移動体が示すと想定される所定挙動の発生位置と、前記所定挙動の態様とを推定する移動体挙動推定部と、
前記移動体の位置を認識する移動体位置認識部と、
を備え、
前記仮想環境映像生成部は、前記移動体挙動推定部により推定された前記所定挙動の態様に応じた所定挙動映像を含む、前記仮想環境映像を予め生成し、
前記映像再生制御部は、前記移動体位置認識部により認識される前記移動体の位置と、前記移動体挙動推定部により推定された前記所定挙動の発生位置との距離が、所定距離以下になったときに、前記所定挙動映像を再生して前記表示装置に表示させる
請求項２に記載の仮想環境提供システム。

【請求項4】

前記映像再生制御部は、移動中の前記移動体で前記仮想環境映像を再生しているときに、前記移動体が移動を停止したときには前記仮想環境映像の再生を中断し、前記移動体が停止した時点から所定時間が経過する前に前記移動体が移動を開始したときは、前記仮想環境映像を前記中断した箇所から再生する
請求項１から請求項３のうちいずれか１項に記載の仮想環境提供システム。

【請求項5】

前記仮想環境映像生成部は、所定のゲームコンテンツに含まれるステージ又はプレイモードに基づく複数のゲーム対応映像を、前記移動体挙動認識部により認識される前記移動体の挙動に応じて切り替えることにより、前記仮想環境映像を生成する
請求項１から請求項４のうちいずれか１項に記載の仮想環境提供システム。

【請求項6】

前記移動体挙動認識部は、前記移動体の挙動として、前記移動体の横加速度又は縦加速度を認識する
請求項１から請求項５のうちいずれか１項に記載の仮想環境提供システム。

【請求項7】

移動体の搭乗者により使用される表示装置に対して、前記移動体が移動している実環境と異なる仮想環境を表現する仮想環境映像を表示するために、コンピュータにより実行される仮想環境提供方法であって、
前記移動体の挙動を認識する移動体挙動認識ステップと、
前記移動体の挙動に基づいて、前記仮想環境映像を生成する仮想環境映像生成ステップと、
前記仮想環境映像を再生して前記表示装置に表示させる映像表示制御ステップと、
を含む仮想環境提供方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、仮想環境提供システム、及び仮想環境提供方法に関する。

【背景技術】

【0002】

従来、車両の搭乗者が選択した仮想テーマに合わせた経路を選択し、選択された経路を車両が走行する際に、実際の道路の状況（カーブ、上り坂及び下り坂）に合わせて、仮想環境を走行する画像を、搭乗者が装着した仮想現実眼鏡に表示するシステムが提案されている（例えば、特許文献１参照）。
また、自律走行車の搭乗者のプロファイル及び車両情報（速度と移動方向、位置と経路情報、地図とポイントオブインタレスト、リアルタイム交通情報）に基づいて選択したコンテンツアイテムを画像に拡張させて、車内の表示装置に表示するシステムが提案されている（例えば、特許文献２参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特表２０２０－５３７２５８号公報

【特許文献2】特開２０１７－２０４２６１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記従来のシステムのように、車両等の移動体において、実際に移動している環境と異なる仮想環境の映像を表示することにより、移動中の搭乗者に対して、疑似的な感覚による楽しみを与えることができる。そして、仮想環境への搭乗者の没入感を高めることにより、搭乗者が感じる楽しみがより大きくなると想定される。
本発明はかかる背景に鑑みてなされたものであり、移動体の搭乗者に対して、高い没入感を与えることができる仮想環境を設定することができる仮想環境提供システム、及び仮想環境提供方法を提供することを目的とする。

【課題を解決するための手段】

【0005】

上記目的を達成するための第１態様として、移動体の搭乗者により使用される表示装置に、前記移動体が移動している実環境と異なる仮想環境を表現する仮想環境映像を表示する仮想環境提供システムであって、前記移動体の挙動を認識する移動体挙動認識部と、前記移動体の挙動に基づいて、前記仮想環境映像を生成する仮想環境映像生成部と、前記仮想環境映像を再生して前記表示装置に表示させる映像再生制御部と、を備える仮想環境提供システムが挙げられる。

【0006】

上記仮想環境提供システムにおいて、前記移動体の出発位置から目的位置までの予定経路を認識する予定経路認識部を備え、前記仮想環境映像生成部は、前記移動体の挙動及び前記予定経路に基づいて、前記仮想環境映像を生成する構成としてもよい。

【0007】

上記仮想環境提供システムにおいて、前記移動体が前記予定経路を移動する際に前記移動体が示すと想定される所定挙動の発生位置と、前記所定挙動の発生とを推定する移動体挙動推定部と、前記移動体の位置を認識する移動体位置認識部と、を備え、前記仮想環境映像生成部は、前記移動体挙動推定部により推定された前記所定挙動の態様に応じた所定挙動映像を含む、前記仮想環境映像を予め生成し、前記映像再生制御部は、前記移動体位置認識部により認識される前記移動体の位置と、前記移動体挙動推定部により推定された前記所定挙動の発生位置との距離が、所定距離以下になったときに、前記所定挙動映像を再生して前記表示装置に表示させる構成としてもよい。

【0008】

上記仮想環境提供システムにおいて、前記映像再生制御部は、移動中の前記移動体で前記仮想環境映像を再生しているときに、前記移動体が移動を停止したときには前記仮想環境映像の再生を中断し、前記移動体が停止した時点から所定時間が経過する前に前記移動体が移動を開始したときは、前記仮想環境映像を前記中断した箇所から再生する構成としてもよい。

【0009】

上記仮想環境提供システムにおいて、前記仮想環境映像生成部は、所定のゲームコンテンツに含まれるステージ又はプレイモードに基づく複数のゲーム対応映像を、前記移動体挙動認識部により認識される前記移動体の挙動に応じて切り替えることにより、前記仮想環境映像を生成する構成としてもよい。

【0010】

上記仮想環境提供システムにおいて、前記移動体挙動認識部は、前記移動体の挙動として、前記移動体の横加速度又は縦加速度を認識する構成としてもよい。

【0011】

上記目的を達成するための第２態様として、移動体の搭乗者により使用される表示装置に対して、前記移動体が移動している実環境と異なる仮想環境を表現する仮想環境映像を表示するために、コンピュータにより実行される仮想環境提供方法であって、前記移動体の挙動を認識する移動体挙動認識ステップと、前記移動体の挙動に基づいて、前記仮想環境映像を生成する仮想環境映像生成ステップと、前記仮想環境映像を再生して前記表示装置に表示させる映像表示制御ステップと、を含む仮想環境提供方法が挙げられる。

【発明の効果】

【0012】

上記仮想環境提供システムによれば、移動体の挙動に基づいて仮想環境映像を生成することにより、移動体の搭乗者に対して、高い没入感を与えることができる仮想環境を設定することができる。

【図面の簡単な説明】

【0013】

【図1】図１は、仮想環境提供システムが搭載された車両の構成の説明図である。

【図2】図２は、仮想環境提供システムの構成図である。

【図3】図３は、車両の予定経路のエリアとゲームコンテンツのステージとの対応を示した説明図である。

【図4】図４は、仮想環境映像を生成する処理のフローチャートである。

【図5】図５は、仮想環境映像を再生する処理のフローチャートである。

【発明を実施するための形態】

【0014】

［１．仮想環境映像の視聴態様］
図１を参照して、車両１の搭乗者Ｕ１、Ｕ２、Ｕ３が仮想環境映像を視聴する態様について説明する。車両１は自律走行が可能であり、搭乗者Ｕ１、Ｕ２、Ｕ３はそれぞれ、ヘッドホン付きのヘッドマウントディスプレイ７０ａ、７０ｂ、７０ｃを装着している。なお、運転席に乗車している搭乗者Ｕ１は、車両１の運転操作を行うときには、ヘッドマウントディスプレイ７０ａを外す。

【0015】

車両１は、車両１の周辺を撮影するカメラとして、前方カメラ５９ａ、右側方カメラ５９ｂ、左側方カメラ５９ｃ、及び後方カメラ５９ｄを備えている。また、車両１は、通信ユニット５０、ディスプレイ５１、スピーカー５２ａ，５２ｂ、マイク５３、及び車両１の周辺に存在する対象物を検出するレーダー６０を備えている。以下では、ヘッドマウントディスプレイ７０ａ，７０ｂ，７０ｃをまとめてヘッドマウントディスプレイ７０とも称し、また、前方カメラ５９ａ，右側方カメラ５９ｂ，左側方カメラ５９ｃ，後方カメラ５９ｄをまとめてカメラ５９とも称する。また、搭乗者Ｕ１，Ｕ２，Ｕ３をまとめて搭乗者Ｕとも称する。

【0016】

通信ユニット５０は、ヘッドマウントディスプレイ７０ａ，７０ｂ，７０ｃと無線通信を行う。また、通信ユニット５０は、通信ネットワーク２００を介して、情報提供サーバー２１０との間で通信を行う。情報提供サーバー２１０は、図示しないプロセッサ、メモリ等により構成されたコンピュータシステムである。さらに、通信ユニット５０は、搭乗者Ｕ１，Ｕ２，Ｕ３のいずれかにより使用される通信端末１００との間で、直接或いは通信ネットワーク２００を介して通信を行う。

【0017】

仮想環境提供システム１０は、カメラ５９ａ～５９ｄによる撮影画像、レーダー６０により検出される対象物の位置、後述するセンサ類の検出情報に基づいて認識される車両１の挙動等に基づいて、車両１が移動する実環境と異なる仮想環境を表現する仮想環境映像を生成する。そして、仮想環境提供システム１０は、仮想環境映像を再生して、仮想環境映像の再生データをヘッドマウントディスプレイ７０ａ，７０ｂ，７０ｃに送信することにより、ヘッドマウントディスプレイ７０ａ，７０ｂ，７０ｃに仮想環境映像を表示させる。

【0018】

これにより、搭乗者Ｕ１，Ｕ２，Ｕ３は、仮想環境映像を視聴しながら目的地までの移動を楽しむことができる。本実施形態では、仮想環境提供システム１０は、カーレースのゲームコンテンツを使用して、カーレースの世界観を表現する仮想環境映像９０を生成して再生する。搭乗者Ｕ１，Ｕ２，Ｕ３は、あたかもカーレースに参加しているかのような没入感に浸ることができる。

【0019】

なお、ヘッドマウントディスプレイ７０ａ，７０ｂ，７０ｃに表示させる仮想環境映像は同一であってもよく、個別に異ならせてもよい。また、音声操作或いはスイッチ操作等により、搭乗者Ｕ１，Ｕ２，Ｕ３がゲームに参加できるようにし、操作に応じて仮想環境映像を変化させるようにしてもよい。

【0020】

また、ヘッドマウントディスプレイ７０ａ，７０ｂ，７０ｃではなく、車両１のディスプレイ５１に仮想環境映像を再生させ、スピーカー５２ａ，５２ｂから再生音声を出力するようにしてもよい。或いは、例えばＨＵＤ（Head-Up Display）により、フロントガラス（図示しない）に仮想環境映像を表示させるようにしてもよい。また、フロントガラスと他の複数のウインドウ（サイドウインドウ、リヤウインドウ、サンルーフ等）に仮想環境映像を表示することにより、車室内全体に仮想環境映像が表示される構成としてもよい。

【0021】

［２．仮想環境提供システムの構成］
図２，図３を参照して、仮想環境提供システム１０の構成について説明する。仮想環境提供システム１０は、プロセッサ２０、メモリ３０、図示しないインターフェース回路等により構成された制御ユニットである。

【0022】

仮想環境提供システム１０は、ＣＡＮ（Controller Area Network）等の通信仕様による通信バス５により、車両１に備えられた、通信ユニット５０、ディスプレイ５１、スピーカー５２ａ，５２ｂ、マイク５３、速度センサ５４，縦加速度センサ５５，横加速度センサ５６、ヨーレートセンサ５７、雨滴センサ５８、カメラ５９（前方カメラ５９ａ、右側方カメラ５９ｂ、左側方カメラ５９ｃ、後方カメラ５９ｄ）、レーダー６０、及びカーナビ４０と接続されている。カーナビ４０は、車両１の現在位置を検出するＧＮＳＳ（Global Navigation Satellite System）センサ４１と、地図データ４２を備え、車両１の出発地点（出発位置）から目的地点（目的位置）までの経路案内等を実行する。

【0023】

仮想環境提供システム１０のプロセッサ２０は、メモリ３０に保存された制御プログラム３１を読み込んで実行することにより、予定経路認識部２１、移動体挙動推定部２２、仮想環境映像生成部２３、移動体挙動認識部２４、及び映像再生制御部２５として機能する。

【0024】

仮想環境映像生成部２３により実行される処理は、本開示の仮想環境提供方法における仮想環境映像生成ステップに相当し、移動体挙動認識部２４により実行される処理は、本開示の仮想環境提供方法における移動体挙動認識ステップに相当する。映像再生制御部２５により実行される処理は、本開示の仮想環境提供方法における映像再生制御ステップに相当する。

【0025】

予定経路認識部２１は、カーナビ４０により設定されている出発地点から目的地点までの予定経路を認識する。なお、通信端末１００にインストールされているカーナビのアプリ（アプリケーション）によって出発地点から目的地点までの予定経路が設定されている場合は、通信端末１００との通信によって予定経路を認識してもよい。

【0026】

ここで、図３の５００は、車両１の現在位置（出発地点）Ｐｓから目的地点Ｐｄまでの予定経路を例示した実環境のマップである。実環境のマップ５００における予定経路は、未舗装の第１エリア５０１、山道の第２エリア５０２、高速道路の第３エリア５０３、及び市街地の第４エリア５０４を順に走行する経路となっている。

【0027】

移動体挙動推定部２２は、地図データ４２に基づいて、車両１が予定経路を走行する際に、車両１が示すと想定される所定挙動の発生地点（発生位置）と態様を推定する。例えば、移動体挙動推定部２２は、車両１が第２エリア５０２を走行する際には、連続するコーナーの地点を走行する際に、車両１が高レベルの横加速度（横Ｇ）と縦加速度（縦Ｇ）を示すと推定する。また、移動体挙動推定部２２は、車両１が第３エリア５０３を走行する際には、高速道路への進入と高速道路からの退出地点で、高レベルの縦加速後を示すと推定する。

【0028】

仮想環境映像生成部２３は、予定経路認識部２１により認識された車両１の実環境における予定経路と、移動体挙動推定部２２により推定された車両１の挙動に基づいて、予定経路に対応させた仮想環境映像を生成する。ここで、図３の５１０は、実環境のマップ５００における車両１の出発地点Ｐｓから目的地点Ｐｄまでの予定経路に対応させた仮想環境映像の生成例を示している。

【0029】

仮想環境映像生成部２３は、カーレースのゲームコンテンツを反映させた仮想環境のマップ５１０により、実環境のマップ５００における予定経路に対応させたレースコースを設定することによって、仮想環境映像を生成する。具体的には、仮想環境映像生成部２３は、未舗装の第１エリアに対して不整地区間の第１ステージ５１１を割り当て、山道の第２エリア５０２に対して山岳区間の第２ステージ５１２を割り当て、高速道路の第３エリア５０３に対して高速区間の第３ステージ５１３を割り当て、市街地の第４エリア５０４に対して市街地区間の第４ステージ５１４を割り当てる。

【0030】

そして、仮想環境映像生成部２３は、実環境のマップ５００における出発地点Ｐｓから目的地点Ｐｄまでの予定経路に対応した、仮想環境のマップ５１０におけるＳＴＡＲＴからＧＯＡＬまでのレースコースを、レース車両Ｃが走行する映像を、仮想環境映像として生成する。仮想環境映像生成部２３は、生成した仮想環境映像のデータ３２をメモリ３０に保存する。

【0031】

また、仮想環境映像生成部２３は、移動体挙動推定部２２により推定された所定挙動の発生地点で、所定挙動の態様に応じた所定挙動映像が表示されるように、仮想環境映像を生成する。例えば、仮想環境映像生成部２３は、山岳区間の第２ステージ５１２について、車両１が横加速度を示すと推定される地点で、側壁に車両１が接近する所定挙動映像が表示されるように仮想画像映像を生成する。

【0032】

また、仮想環境映像生成部２３は、車両１の走行中に移動体挙動認識部２４により認識される車両１の挙動、予定経路の交通状況、気象状況等に応じて、仮想環境映像を変化させるための変化パターン映像を生成し、変化パターン映像を含む仮想画像映像のデータ３２をメモリ３０に保存する。

【0033】

移動体挙動認識部２４は、走行中に車両１が示す挙動を、速度センサ５４，縦加速度センサ５５、横加速度センサ５６、及びヨーレートセンサ５７による検出情報、カメラ５９による撮影画像、レーダー６０による対象物の検出状況等に基づいて認識する。映像再生制御部２５は、車両１が予定経路を走行する際に、走行地点に対応させた部分の仮想環境映像を再生してヘッドマウントディスプレイ７０に表示させる。例えば、図３を参照して、車両１が第２エリア５０２を走行しているときは、映像再生制御部２５は、第２ステージ５１２の仮想環境映像を再生する。

【0034】

また、映像再生制御部２５は、車両１の現在位置と、移動体挙動推定部２２により推定された所定挙動の発生地点との距離が所定距離以下になったタイミングで、所定挙動映像を再生する。これにより、搭乗者Ｕが体感している車両１の挙動の変化と、仮想環境画像の変化を同期させることができる。

【0035】

［３．仮想環境映像の生成処理］
図４に示したフローチャートに従って、仮想環境映像の生成処理の実行手順について説明する。図４のステップＳ１で、仮想環境映像生成部２３は、カーナビ４０又は通信端末１００により目的地点が設定されたときに、ステップＳ２に処理を進めて、仮想環境映像の生成処理を開始する。

【0036】

ステップＳ２で、予定経路認識部２１は、カーナビ４０又は通信端末１００にインストールされたカーナビアプリにより設定された出発地点から目的地点までの予定経路を認識する。次のステップＳ３で、仮想環境映像生成部２３は、予定経路に適合するゲームコンテンツを抽出する。仮想環境映像生成部２３は、予定経路による走行エリアの環境、搭乗者の嗜好性、搭乗者の選択操作等に応じて、抽出するゲームコンテンツを決定する。仮想環境映像生成部２３は、ゲームコンテンツのデータを、情報提供サーバー２１０、通信端末１００等からダウンロードして取得する。

【0037】

続くステップＳ４で、仮想環境映像生成部２３は、図３を参照して上述したように、予定経路の各エリアに対応付けるゲームコンテンツのステージを決定し、ゲームコンテンツのデータに基づいて、上述した所定挙動映像を含む仮想環境映像を生成する。次のステップＳ５で、仮想環境映像生成部２３は、予定経路の各エリアについて、車両１が予定経路を走行する際に、移動体挙動認識部２４により認識される車両１の挙動、カメラ５９の撮影画像或いはレーダー６０により認識される周囲の対象物、情報提供サーバー２１０から提供される交通情報及び気象情報等に応じて、仮想環境映像を変化させるための変化パターン映像を生成する。

【0038】

次のステップＳ６で、仮想環境映像生成部２３は、ステップＳ５で生成した変化パターン映像を含めた仮想環境映像を生成し、仮想環境映像のデータ３２をメモリ３０に保存する。

【0039】

［４．仮想環境映像の再生処理］
図４、図５に示したフローチャートに従って、仮想環境映像の再生処理の実行手順について説明する。図４のステップＳ７で、映像再生制御部２５は、ＧＮＳＳセンサ４１により検出される車両１の現在位置の変化により、車両１が走行を開始したことを認識したときに、図５のステップＳ８に処理を進めて仮想環境映像の再生処理を開始する。

【0040】

図５のステップＳ８で、映像再生制御部２５は、ＧＮＳＳセンサ４１による検出信号に基づいて車両１の現在位置を認識する。続くステップＳ９で、映像再生制御部２５は、車両１の現在位置が属するエリアに対応付けられたゲームコンテンツのステージを表現する仮想環境映像を再生する。例えば、図３の例では、車両１の現在位置が第３エリア５０３の高速道路であるときには、映像再生制御部２５は、ゲームコンテンツの第３ステージの高速区間を表現した仮想環境映像を再生する。これにより、搭乗者Ｕが体感している速度感にマッチした仮想環境映像がヘッドマウントディスプレイ７０に表示され、搭乗者Ｕが抱いているカーレースの仮想世界への没入感が高まることが期待できる。

【0041】

また、映像再生制御部２５は、ステップＳ９で、上述したように、車両１の現在位置と、移動体挙動推定部２２により推定された所定挙動の発生地点との距離が所定距離以下になったときに、所定挙動に対応した所定挙動映像を再生する。

【0042】

次のステップＳ１０で、映像再生制御部２５は、移動体挙動認識部２４により認識される車両１の挙動、レーダー６０により検出される車両１の周囲の対象物、周囲カメラ５９の撮影画像から認識される車両１の周囲の対象物の種別、情報提供サーバー２１０から提供される道路交通情報（渋滞情報、事故情報、通行規制情報等）、情報提供サーバー２１０から提供される気象情報、雨滴センサ５８により検出される降雨情報等を認識する。

【0043】

続くステップＳ１１で、映像再生制御部２５は、車両１の挙動、車両１の周囲の対象物とその種別、道路交通情報、気象情報、降雨情報に基づいて、再生する仮想環境画像の変化パターン映像を以下のように変更する。
（１）車両１の挙動に応じた変更。
映像再生制御部２５は、例えば、車両１が所定レベル以上の横加速度を示した場合に、画面が横方向に急激にシフトする変化パターン映像を再生する。また、映像再生制御部２５は、車両１が所定レベル以上の前方への縦加速度を示した場合に、レース車両Ｃがジェットコースターのように急激に下降する変化パターン映像を再生する。

【0044】

（２）周囲の対象物とその種別に応じた変更。
映像再生制御部２５は、例えば、車両１の周囲を走行する他車両が認識されているときは、カーレースに参加している他車両の画像を表示する変化パターン映像を再生する。また、映像再生制御部２５は、車両１が信号で停止している場合に、レース車両Ｃがピットインして、給油、タイヤ交換等のピット作業を行う変化パターン映像を再生する。

【0045】

（３）道路交通情報に応じた変更。
映像再生制御部２５は、例えば、渋滞を認識したときには、レース中の事故により、セーフティカーに先導されたスロー走行となっている変化パターン映像を再生する。また、映像再生制御部２５は、車両１が道路工事箇所を迂回して走行する際に、道路工事箇所を障害物の疑似画像として表示する変化パターン映像を再生する。

【0046】

（４）気象情報に応じた仮想画像映像の変更。
映像再生制御部２５は、例えば、強風が吹いている場合は、レース車両Ｃが左右に振られる変化パターン映像を再生する。また、映像再生制御部２５は、雨天である場合は、水溜まりでレース車両Ｃがスリップしながら走行する変化パターン映像を再生する。

【0047】

ステップＳ１２で、映像再生制御部２５は、ＧＮＳＳセンサ４１により検出される車両１の現在位置の変化に基づいて、車両１が停止したか否かを判断する。そして、映像再生制御部２５は、車両１が停止したときはステップＳ１３に処理を進める。一方、車両１が停止していないときには、映像再生制御部２５は、ステップＳ８に処理を進めてステップＳ８～Ｓ１１の処理を再び実行する。

【0048】

ステップＳ１３で、映像再生制御部２５は仮想環境映像の再生を中断する。次のステップＳ１４で、映像再生制御部２５は、ＧＮＳＳセンサ４１により検出される車両１の現在位置から、車両１が目的地点Ｐｄに到着したか否かを判断する。そして、映像再生制御部２５は、車両１が目的地点Ｐｄに到着したときはステップＳ１５に処理を進めて、仮想画像映像の再生を終了する。

【0049】

一方、車両１が目的地点Ｐｄに到着していないときには、映像再生制御部２５は、ステップＳ２０に処理を進めて停止時間タイマーをスタートさせる。停止時間タイマーの設定時間は、例えば数時間に設定される。続くステップＳ２１とＳ３０のループ処理により、映像再生制御部２５は、ステップＳ３０で停止時間タイマーがタイムアップするまで、ステップＳ２１で、ＧＮＳＳセンサ４１により検出される車両１の現在位置の変化により、車両１が走行を再開したか否かを判断する。

【0050】

そして、映像再生制御部２５は、車両１が走行を再開したときは、ステップＳ２１からステップＳ２２に処理を進めて、中断した箇所から仮想環境映像の再生を再開し、ステップＳ８に処理を進める。これにより、例えば、車両１がパーキングエリアに１時間程度駐車して、搭乗者Ｕが休憩したような場合には、仮想環境映像が中断箇所から再生され、搭乗者Ｕは仮想環境映像によるゲームコンテンツの世界を継続的に楽しむことができる。

【0051】

一方、ステップＳ３０で停止時間タイマーがタイムアップしたときには、映像再生制御部２５は、ステップＳ１５に処理を進めて、仮想環境映像の再生を終了する。これにより、例えば、搭乗者Ｕが目的地点Ｐｄに向かう予定経路の途中地点にある宿泊施設に１泊した場合には、翌日に車両１が走行を開始した時から、新たなコースによる仮想環境映像の再生が開始され、搭乗者Ｕは新たなコースによるカーレースの仮想世界を楽しむことができる。

【0052】

［５．他の実施形態］
上記実施形態では、本開示の移動体として地表を走行する車両１を例示したが、本開示の移動体は飛行体、船舶等の他の種類の移動体であってもよい。

【0053】

上記実施形態では、仮想環境映像生成部２３は、カーレースのゲームコンテンツの仮想環境を表現する仮想環境映像を生成したが、ロールプレイング等の他のジャンルのゲームコンテンツの仮想環境を表現する仮想環境映像を生成するようにしてもよい。また、上記実施形態では、実環境のエリアとゲームのステージを対応させたが、実環境とゲームのプレイモードを対応付けてもよい。例えば、車両１の周辺に他車両が存在しない場合は、単独走行のプレイモードとし、車両１の周辺に他車両が存在する場合は、レース走行のプレイモードとしてもよい。また、ゲームコンテンツ以外に、映画、ＴＶドラマ等の画像コンテンツに応じた仮想環境を表現する仮想環境映像を生成するようにしてもよい。

【0054】

また、車両１が走行する実環境とは異なる他の地域の実際の映像に基づいて、仮想環境映像を生成してもよい。例えば、車両１が山道を走行しているときに、他の地域に存在する景観のよい山岳地帯の映像を用いた仮想環境映像を生成してもよい。また、車両１が走行している実環境の画像に、アニメーション画像等を重畳させて仮想環境映像を生成してもよい。

【0055】

上記実施形態では、仮想環境映像生成部２３は、車両１の出発地点Ｐｓから目的地点Ｐｄまでの予定経路に対応させて、仮想映像画像を予め生成した。他の実施形態として、予定経路に依らずに、移動体挙動認識部２４により認識される車両１の挙動に応じて、リアルタイムに仮想映像画像を生成してもよい。例えば、車両１が高レベルの縦加速度を示して速度が急激に増加したときに、仮想環境映像生成部２３が、カーレースのゲームコンテンツに含まれる高速走行ステージに基づくゲーム対応映像に切り替えることにより、仮想環境映像を生成してもよい。

【0056】

上記実施形態では、移動体挙動推定部２２を備えて、予定経路を走行する際の車両１の予測挙動に基づいて仮想環境映像を生成したが、移動体挙動推定部２２を省略した構成としてもよい。

【0057】

上記実施形態では、仮想環境提供システム１０を車両１に搭載した構成を示したが、仮想環境提供システム１０の構成の一部又は全部を、情報提供サーバー２１０等の車両１の外部のシステムにより構成してもよい。例えば、仮想環境映像生成部２３を情報提供サーバー２１０に備えて、仮想環境映像生成部２３により生成された仮想環境映像のデータを、情報提供サーバー２１０から車両１に送信し、車両１に備えられた映像再生制御部２５が、仮想環境映像を再生する構成としてもよい。

【0058】

なお、図１、図２は、本願発明の理解を容易にするために、車両１と仮想環境提供システム１０の構成を、主な処理内容により区分して示した概略図であり、車両１と仮想環境提供システム１０を、他の区分によって構成してもよい。また、各構成要素の処理は、１つのハードウェアユニットにより実行されてもよいし、複数のハードウェアユニットにより実行されてもよい。また、図４～図５に示した各構成要素による処理は、１つのプログラムにより実行されてもよいし、複数のプログラムにより実行されてもよい。

【0059】

［６．上記実施形態によりサポートされる構成］
上記実施形態は、以下の構成の具体例である。

【0060】

（構成１）移動体の搭乗者により使用される表示装置に、前記移動体が移動している実環境と異なる仮想環境を表現する仮想環境映像を表示する仮想環境提供システムであって、前記移動体の挙動を認識する移動体挙動認識部と、前記移動体の挙動に基づいて、前記仮想環境映像を生成する仮想環境映像生成部と、前記仮想環境映像を再生して前記表示装置に表示させる映像再生制御部と、を備える仮想環境提供システム。
構成１の仮想環境提供システムによれば、移動体の挙動に基づいて仮想環境映像を生成することにより、移動体の搭乗者に対して、高い没入感を与えることができる仮想環境を設定することができる。

【0061】

（構成２）前記移動体の出発位置から目的位置までの予定経路を認識する予定経路認識部を備え、前記仮想環境映像生成部は、前記移動体の挙動及び前記予定経路に基づいて、前記仮想環境映像を生成する構成１に記載の仮想環境提供システム。
構成２の仮想環境提供システムによれば、移動体が実際に移動する経路に基づいて仮想環境映像を生成することにより、搭乗者が移動中に感じると想定される実環境の状況に応じた仮想環境映像を生成することができる。

【0062】

（構成３）前記移動体が前記予定経路を移動する際に前記移動体が示すと想定される所定挙動の発生位置と、前記所定挙動の態様とを推定する移動体挙動推定部と、前記移動体の位置を認識する移動体位置認識部と、を備え、前記仮想環境映像生成部は、前記移動体挙動推定部により推定された前記所定挙動の態様に応じた所定挙動映像を含む、前記仮想環境映像を予め生成し、前記映像再生制御部は、前記移動体位置認識部により認識される前記移動体の位置と、前記移動体挙動推定部により推定された前記所定挙動の発生位置との距離が、所定距離以下になったときに、前記所定挙動映像を再生して前記表示装置に表示させる構成２に記載の仮想環境提供システム。
構成３の仮想環境提供システムによれば、予定経路を移動する際に移動体が示すと想定される所定挙動の態様に基づいて生成された所定挙動映像が、移動体が所定挙動の発生地点に接近した時点で再生される。これにより、搭乗者に対して、移動体の挙動を反映した仮想環境を感じさせて、仮想環境への没入感を高めることができる。

【0063】

（構成４）前記映像再生制御部は、移動中の前記移動体で前記仮想環境映像を再生しているときに、前記移動体が移動を停止したときには前記仮想環境映像の再生を中断し、前記移動体が停止した時点から所定時間が経過する前に前記移動体が移動を開始したときは、前記仮想環境映像を前記中断した箇所から再生する構成１から構成３のうちいずれか一つの構成に記載の仮想環境提供システム。
構成４の仮想環境提供システムによれば、移動体の停止時間が短時間であったときに、中断箇所から仮想環境映像を再生することにより、仮想環境での移動感覚を搭乗者に継続して生じさせることができる。

【0064】

（構成５）前記仮想環境映像生成部は、所定のゲームコンテンツに含まれるステージ又はプレイモードに基づく複数のゲーム対応映像を、前記移動体挙動認識部により認識される前記移動体の挙動に応じて切り替えることにより、前記仮想環境映像を生成する構成１から構成４のうちいずれか１項に記載の仮想環境提供システム。
構成５の仮想環境提供システムによれば、搭乗者に対して、ゲームコンテンツの仮想世界を移動している感覚を生じさせて、搭乗者の仮想環境への没入感を高めることができる。

【0065】

（構成６）前記移動体挙動認識部は、前記移動体の挙動として、前記移動体の横加速度又は縦加速度を認識する構成１から構成５のうちいずれか一つの構成に記載の仮想環境提供システム。
構成６の仮想環境提供システムによれば、移動体の挙動の中で、搭乗者が体感し易いと想定される移動体の横加速度又は縦加速度を認識することにより、搭乗者が体感している移動体の挙動に適合した仮想環境映像を生成することができる。

【0066】

（構成７）移動体の搭乗者により使用される表示装置に対して、前記移動体が移動している実環境と異なる仮想環境を表現する仮想環境映像を表示するために、コンピュータにより実行される仮想環境提供方法であって、前記移動体の挙動を認識する移動体挙動認識ステップと、前記移動体の挙動に基づいて、前記仮想環境映像を生成する仮想環境映像生成ステップと、前記仮想環境映像を再生して前記表示装置に表示させる映像表示制御ステップと、を含む仮想環境提供方法。
構成７の仮想環境提供方法をコンピュータにより実行することによって、構成１の仮想環境提供システムと同様の作用効果を得ることができる。

【符号の説明】

【0067】

１…車両（移動体）、１０…仮想環境提供システム、２０…プロセッサ、２１…予定経路認識部、２２…移動体挙動推定部、２３…仮想環境映像生成部、２４…移動体挙動認識部、２５…映像再生制御部、３０…メモリ、３１…制御プログラム、４０…カーナビ、５０…通信ユニット、５１…ディスプレイ、５２ａ，５２ｂ…スピーカー、５３…マイク、５４…速度センサ、５５…縦加速度センサ、５６…横加速度センサ、５７…ヨーレートセンサ、５８…雨滴センサ、５９…周囲カメラ、６０…レーダー、７０…ヘッドマウントディスプレイ、１００…通信端末、２００…通信ネットワーク、２１０…情報提供サーバー。

【図1】

【図2】

【図3】

【図4】

【図5】