特許 6232649 仮想空間表示システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6232649

(24)【登録日】2017年11月2日

(45)【発行日】2017年11月22日

(54)【発明の名称】仮想空間表示システム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20171113BHJP

   G06F 3/0481 20130101ALI20171113BHJP

   G08G 1/0962 20060101ALI20171113BHJP

【ＦＩ】

   G06T19/00 300B

   G06F3/0481 150

   G08G1/0962

【請求項の数】10

【全頁数】21

(21)【出願番号】特願2017-3240(P2017-3240)

(22)【出願日】2017年1月12日

(65)【公開番号】特開2017-146963(P2017-146963A)

(43)【公開日】2017年8月24日

【審査請求日】2017年3月23日

(31)【優先権主張番号】特願2016-28809(P2016-28809)

(32)【優先日】2016年2月18日

(33)【優先権主張国】JP

【早期審査対象出願】

(73)【特許権者】

【識別番号】504139662

【氏名又は名称】国立大学法人名古屋大学

(74)【代理人】

【識別番号】100165663

【弁理士】

【氏名又は名称】加藤 光宏

(72)【発明者】

【氏名】石黒 祥生

(72)【発明者】

【氏名】加藤 真平

(72)【発明者】

【氏名】山田 献二朗

【審査官】 岡本 俊威

(56)【参考文献】

【文献】 特開２０１３−２５７７１６（ＪＰ，Ａ）

【文献】 ▲高▼下昌裕，小玉亮，田口峻，梶本裕之，乗用車を用いた体感型エンタテインメントシステム，第２０回日本バーチャルリアリティ学会大会論文集，日本，日本バーチャルリアリティ学会，２０１５年 ９月，p400-401

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０８Ｇ １／０９６２

Ｇ０６Ｔ １３／００ −１９／２０

Ｇ０６Ｆ ３／０４８ − ３／０４８９

(57)【特許請求の範囲】

【請求項1】

自動運転される移動体の搭乗者に対して当該移動体の周囲の実環境とは異なる仮想空間の表示を行う仮想空間表示システムであって、
前記搭乗者に対して前記仮想空間を表示するための表示装置と、
前記移動体から、前記移動体が移動するパスに影響を与えた対象物を特定する情報を受け取ることによって、前記移動体の周囲に存在する対象物のうち、その有無によって前記移動体のパスに影響を与える重要対象物を特定する周辺状況検出部と、
前記重要対象物を所定の規則に基づいて前記移動体のパスに与える影響に適合したオブジェクトに置換して前記表示装置に前記仮想空間を表示させる仮想空間表示部とを備える仮想空間表示システム。

【請求項2】

請求項１記載の仮想空間表示システムであって、
前記表示装置は、前記搭乗者が装着する装着型表示装置または没入型表示装置である仮想空間表示システム。

【請求項3】

請求項１または２記載の仮想空間表示システムであって、
前記周辺状況検出部は、前記移動体が移動する速度に影響を与える対象物も重要対象物として特定する仮想空間表示システム。

【請求項4】

請求項１〜３いずれか記載の仮想空間表示システムであって、
前記重要対象物は、その外観が前記体感または予測に影響を与える態様で変化する対象物であり、
前記仮想空間表示部は、前記変化を予測または検知して、前記オブジェクトの外観または位置に反映させて前記仮想空間を表示する仮想空間表示システム。

【請求項5】

請求項１〜４いずれか記載の仮想空間表示システムであって、
前記重要対象物は、その位置が前記体感または予測に影響を与える態様で変化する対象物であり、
前記仮想空間表示部は、前記変化を予測または検知して、前記オブジェクトの外観または位置に反映させて前記仮想空間を表示する仮想空間表示システム。

【請求項6】

請求項１〜５いずれか記載の仮想空間表示システムであって、
前記仮想空間表示部は、前記重要対象物の種別に応じた所定の対応関係で前記オブジェクトへの置換を行う仮想空間表示システム。

【請求項7】

請求項１〜６いずれか記載の仮想空間表示システムであって、
前記仮想空間表示部は、前記重要対象物以外に前記移動体の周囲に存在する一般対象物の少なくとも一部について、所定の規則に従ってオブジェクトに置換して前記仮想空間を表示する仮想空間表示システム。

【請求項8】

請求項１〜７いずれか記載の仮想空間表示システムであって、
前記仮想空間は、前記搭乗者が遊戯を行うための遊戯用の空間である仮想空間表示システム。

【請求項9】

自動運転される移動体の搭乗者に対して当該移動体の周囲の実環境とは異なる仮想空間の表示を行う仮想空間表示方法であって、
コンピュータが実行するステップとして、
前記移動体から、前記移動体が移動するパスに影響を与えた対象物を特定する情報を受け取ることによって、前記移動体の周囲に存在する対象物のうち、その有無によって前記移動体のパスに影響を与える重要対象物を特定するステップと、
前記搭乗者に対して前記仮想空間を表示するための表示装置に対して、前記重要対象物を所定の規則に基づいて前記移動体のパスに与える影響に適合したオブジェクトに置換して前記仮想空間を表示させるステップとを備える仮想空間表示方法。

【請求項10】

自動運転される移動体の搭乗者に対して当該移動体の周囲の実環境とは異なる仮想空間の表示を行うためのコンピュータプログラムであって、
前記移動体から、前記移動体が移動するパスに影響を与えた対象物を特定する情報を受け取ることによって、前記移動体の周囲に存在する対象物のうち、その有無によって前記移動体のパスに影響を与える重要対象物を特定する機能と、
前記搭乗者に対して前記仮想空間を表示するための表示装置に対して、前記重要対象物を所定の規則に基づいて前記移動体のパスに与える影響に適合したオブジェクトに置換して前記仮想空間を表示させる機能とをコンピュータに実現させるためのコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、自動運転される移動体の搭乗者に対して該移動体の周囲の実環境とは異なる仮想空間の表示を行う技術に関する。

【背景技術】

【0002】

近年、車両の自動運転に関する技術の発達がめざましい。近年は、車両の速度制御や緊急時の停止のみならず、進行方向の操作まで含めた自律運転とも言うべきレベルの自動運転が実現され、実用化されつつある。
車両における自動運転は、概ね次の技術によって実現されている。車両には、ＧＰＳ（Global Positioning System）や、レーザ、カメラによって周囲の対象物を検出するセンサなど種々のセンサが搭載されており、自動運転の制御装置は、これらのセンサを活用して、車両の位置、姿勢、および周辺の対象物を検出する。制御装置は、予め用意された高精度の３次元地図と検出結果とを比較し、車両の位置、姿勢などを高精度に特定する。また、周辺の対象物のうち、歩行者や対向車両など自車両が回避すべき対象物を特定する。そして、制御装置は、これらの検出または特定された種々の情報に基づいて、車両の速度および進行方向を制御するのである。

【0003】

自動運転では、本来、運転者は運転以外のことに注意を割くことが許容されるはずである。例えば、運転者は、前方を注視する必要はなく、ゲーム、読書などの運転以外のことに意識を向けていても支障はないはずである。しかし、自動運転が実現されたとしても、車両のセンサや制御装置に故障が生じ、衝突事故などの危険が生じたときには、運転者が車両を運転し、危険を回避する必要がある。また、車両が単調に直進をしている際に自動運転の制御装置が危険を回避しようとして進行方向を変えたような場合、外部の状況を把握していない運転者にとっては、車両が予期し得ない動きをしたかのように感じ、非常な不安感にとらわれることになる。こうした危険回避のための安全意識や、車両の動きが理解できないことによる不安感によって、自動運転においても、運転者は、完全には運転以外の事項に意識を向けることができないのが実状である。

【0004】

これに対する対策として、ヘッドマウントディスプレイを装着させるなどして、運転者が車両の周囲の状況を視認できないようにすることで、運転者にゲーム、読書などの運転以外のことを楽しませることは可能である。自動運転に限らず、一般の車両において搭乗者、特に運転者に表示によって種々の情報を提供する技術も開発されている。例えば、特許文献１は、車両の運転者が装着したヘッドマウントディスプレイに対して歩行者、他車両などの対象物を強調して表示する技術を開示している。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００８−２３０２９６号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかし、かかる方法では、運転者は、表示された画像と、車両の動きに対する体感とのずれによって、乗り物酔いを引き起こしてしまうこともある。例えば、自動運転者が障害物を検知し、これを避けようとして進行方向を変えた場合でも、運転者に表示される画像にかかる障害物が反映されていないと、運転者は、直進するものと信じているときに予想に反する動きを感じ、非常に違和感を覚えることになる。
上述した課題は、車両に限らず、航空機、船舶など、自動運転する移動体に共通する課題と言える。また、自動運転に限らず他人が運転する移動体に搭乗する場合も同様である。さらに、ヘッドマウントディスプレイを装着した人物が自身で通常の移動体を運転する場合や、歩行等する場合も同様である。
本発明は、かかる課題に鑑み、表示された仮想空間を視認しながら人物が、感じる違和感を抑制することを目的とする。併せて、自動運転や他人が運転する移動体においては、搭乗者が、体感する移動体の動きに違和感を覚えることなく、運転以外の事項を楽しむことができるようにすることを目的とする。

【課題を解決するための手段】

【0007】

本発明は、
人物に対して当該人物の周囲の実環境とは異なる仮想空間の表示を行う仮想空間表示システムであって、
前記人物に対して前記仮想空間を表示するための表示装置と、
前記人物の周囲に存在する対象物のうち、その有無によって該人物が、自身の移動の際に感じる動きについての体感または自身の移動に対する予測に影響を与える重要対象物を特定する周辺状況検出部と、
前記重要対象物を所定の規則に基づいて前記体感または予測に与える影響に適合したオブジェクトに置換して前記表示装置に前記仮想空間を表示させる仮想空間表示部とを備える仮想空間表示システムとして構成することができる。

【0008】

本発明は、表示装置によって仮想空間を視認している人物にとって、自身の移動の際に感じる動きについての体感または自身の移動に対する予測に影響を与える重要対象物を特定する。例えば、その人物の正面に障害物が存在する場合、自身は、障害物を回避しようとすることになるから、この障害物は重要対象物に該当することになる。これに対し、人物の側方にビルがある場合、このビルの有無によってその人物の移動方向は変化しないため、ビルは重要対象物から除かれる。また、人物が移動する路面の凹凸なども、動きについての体感に影響を与える意味で重要対象物に該当する。重要対象物は、このように動きについての人物の体感や予測への影響の有無によって特定される。
本発明において、人物は、自動運転または他者が運転する移動体に搭乗する人物、自身で通常の移動体を運転する人物や歩行等する人物など、何らかの手段で移動する人物を意味する。
重要対象物の特定は、種々の方法が可能である。例えば、人物の進行方向の所定範囲内に存在する対象物を重要対象物と判断してもよい。対象物の移動速度や移動方向を検知し、人物と衝突するか否かを予測し、衝突すると予測される対象物を重要対象物と特定するようにしてもよい。また、路面などに所定以上の起伏や凹凸がある場合に、それを重要対象物と判断してもよい。
仮想空間を表示するための表示装置は、例えば、人物の視界の大部分を覆うように設置されたディスプレイ、人物が装着するヘッドマウントディスプレイ、グラス型のディスプレイなど種々の装置を用いることができる。
また、表示される仮想空間は、人物の周囲の実環境と異なるものであればよく、例えば、ゲームなどのエンターテイメントのための仮想空間、読書・テレビ・ビデオ・映画などの表示、テレビ電話やテレビ会議など他者との通信映像などが挙げられる。また、現実空間を完全に排除する必要も無く、例えば、人物の周囲を撮影した画像を加工するなど、現実空間を利用して作成した仮想空間であってもよい。

【0009】

本発明では、こうして特定された重要対象物を、人物の体感や予測に与える影響に適合したオブジェクトに置換して表示する。例えば、歩行者や駐車車両など、移動体が回避すべき重要対象物については、草のように直進しても差し支えないオブジェクトに置換するのではなく、岩や穴など、搭乗者に対して、回避すべきという意識を与えるオブジェクトに置換するのである。与える影響に応じてオブジェクトのサイズを決定してもよい。
オブジェクトへの置換は、例えば、予め多数のオブジェクトを記憶した置換データベースを用意し、この中から適宜、選択するようにしてもよい。また、重要対象物を撮影した画像を加工してオブジェクトを生成するようにしてもよい。

【0010】

かかる表示によって、本発明は、人物が移動の際に現実に感じる動きについての体感や移動に対する予測と、仮想空間において岩や穴などに置換されたオブジェクトにより人物が視覚によって認識する移動状態とを一致させることができる。この結果、人物は仮想空間を見ながらも、自身の動きに対して違和感を覚えることを回避できる。
また、重要対象物はそのまま表示されるのではなくオブジェクトに置換して表示されるため、仮想空間に応じたオブジェクトを選択することにより、人物は、仮想空間のできごととして違和感なく自身の動きを認識できるようになる。この結果、人物は、現実空間では何が起きているのだろう、といった疑問を感じることなく、仮想空間に没入することが可能となる。逆に、現実空間における人物の動きが、仮想空間における人物の体感と適合することによって、仮想空間のリアリティを向上させる効果もある。
ゲーム等のエンターテイメントと異なり、読書やテレビ電話など、リアリティ向上の要請が低い仮想空間表示においても、画面の下方に風景が流れる様子や道などを表示することによって、現実空間における自身の動きを認識させる表示を行うことが好ましい。そして、かかる表示中に、重要対象物を置換したオブジェクトを適宜、配置することにより、本発明における効果を得ることが可能となる。

【0011】

本発明においては、
前記表示装置は、前記人物が装着する装着型表示装置または没入型表示装置であるものとしてもよい。

【0012】

装着型表示装置としては、ヘッドマウントディスプレイなどが挙げられる。必ずしも何らかの装置に表示するタイプに限られず、人間の眼球に直接に光を照射して画像を認識させるものであってもよい。没入型表示装置としては、ＣＡＶＥと呼ばれるシステム、人物の前方に設けられた大画面の平面または曲面状のディスプレイ、人物の側方や上方など正面前方以外を含む多方向に表示可能なシステムなどを挙げることができる。
これらの表示装置を用いる場合、人物は仮想空間と一体化した感覚を覚えやすいため、視覚からの情報による動きに対する認識と動きに対する現実の体感や予測との違和感を覚えやすい。従って、本発明の有用性が高いと言える。

【0013】

本発明においては、
前記人物は、自動運転または他人によって運転される移動体の搭乗者であり、
前記重要対象物は、その有無によって前記移動体が移動するパスに影響を与える対象物であるものとしてもよい。

【0014】

かかる場合、移動体のパスが変化すると、搭乗者はその動きを体感する。また搭乗者が見ている仮想空間の表示から予測される動きに影響を受けることもある。つまり、移動体のパスに影響を与える対象物は、搭乗者にとって、自身の移動の際に感じる動きについての体感または自身の移動に対する予測に影響を与える点で重要対象物に相当する。重要対象物の特定は、種々の方法が可能である。上記態様では、例えば、移動体は周囲の対象物の存在を検知してパスを決定するはずであるから、移動体から、パスに影響を与えた対象物を特定する情報を受け取ることによって重要対象物を特定してもよい。また、移動体の進行方向の所定範囲内に存在する対象物を重要対象物と判断してもよい。対象物の移動速度や移動方向を検知し、移動体と衝突するか否かを予測し、衝突すると予測される対象物を重要対象物と特定するようにしてもよい。
移動体に搭乗する場合、人物は、自身の意思に無関係に移動している状態にあるため、特にその動きについての体感や予測に違和感を覚えやすい。
かかる表示によって、本発明は、現実空間において歩行者などを検知して移動体が決定するパスと、仮想空間において岩や穴などに置換されたオブジェクトを見て搭乗者が意識する移動状態とを一致させることができる。本発明によれば、このように搭乗者の意思に関わらず移動体が移動する際に、その動きを正当化させる表示を搭乗者に示すことが可能となる。この結果、搭乗者は仮想空間を見ながらも、移動体の動きに対して違和感を覚えることを回避できる。搭乗者は、仮想空間内の認識とはいえ、移動体がとるべきパスの理由を理解することができ、移動体は、その理解に沿った動きをするからである。
よって、本発明は、このように移動体の搭乗者に対して、特に有用性が高い。

【0015】

自動運転される移動体としては、例えば、車両、航空機、船舶などが挙げられる。自動運転には、種々の技術レベルがあるが、本明細書においては、少なくとも移動体のパス、即ち移動の軌跡を搭乗者の意思に関わらず自動で選択または決定する機能を実現するものを意味する。この場合、パスの決定には、予め設定された複数の軌跡から最適のものを選択するもの、事前に与えられた軌跡や拘束なく時々刻々の条件に応じて移動体が自律的に決定するもの、予め設定された軌跡上を移動しつつ緊急時に当該軌跡から外れることが許容されるものなど、種々の決定方法が含まれる。
移動体には、パスを決定するための制御装置が備えられることになるが、この制御装置は、移動体自体に搭載してもよいし、移動体を遠隔操縦可能な装置として構成してもよい。

【0016】

本発明の仮想空間表示システムにおいては、
前記周辺状況検出部は、前記人物が移動する速度に影響を与える対象物も重要対象物として特定するものとしてもよい。
かかる重要対象物としては、信号機、踏切のように停止すべき対象物や、人物が移動体に搭乗している場合には、制限速度標識や幅員が狭い道路のように速度を低下させるべき対象物などが挙げられる。
かかる対象物も重要対象物に含めることによって、搭乗者には、仮想空間において移動体の速度変化がなぜ生じているかを理解することができるようになるため、違和感をさらに抑制し、また仮想空間によっては、そのリアリティを向上させることも可能となる。

【0017】

また、本発明の仮想空間表示システムにおいては、
前記重要対象物は、その外観が前記体感または予測に影響を与える態様で変化する対象物であり、
前記仮想空間表示部は、前記変化を予測または検知して、前記オブジェクトの外観または位置に反映させて前記仮想空間を表示するものとしてもよい。
外観が変化するとは、形状、サイズ、色などが変化することを意味する。重要対象物には、パスに影響を与えるものも含む。移動体が車両の場合、例えば、形状が変化する重要対象物としては踏切の遮断機が挙げられ、色が変化する重要対象物としては信号機が挙げられる。航空機の場合、例えば、サイズが変化する重要対象物として発達する積乱雲などが挙げられる。
上記態様では、これらの外観の変化をオブジェクトの外観または位置に反映させるのである。例えば、遮断機を門のオブジェクトで表現する場合、遮断機が下りているときは閉じた門、上がっているときは開いた門で表示することにより、重要対象物のパスに与える影響を、オブジェクトにも反映させることができる。オブジェクトへの反映方法は、このように形状の変化だけでなく、例えば、赤信号を移動体の目前に存在する岩で表現し、青信号の場合はその岩を転がして移動させることにより通行可能な状態を表現する、というように、オブジェクトの位置で反映させてもよい。
重要対象物の外観の変化は、定期的に生じるもの、不定期に生じるものなどが存在する。信号機のように定期的に生じるものを仮想空間で表現する場合は、オブジェクトも定期的に変化させるようにしてもよい。こうすることにより、比較的容易に重要対象物の変化を仮想空間に反映させることができる。もっとも、かかる方法では、現実空間の変化とオブジェクトの変化とが必ずしも一致するとは限らない。例えば、現実空間では赤信号から青信号に変わっていないのに、仮想空間では一定の時間が経過した時点で早々に通行可能な表示に変わってしまうことも生じうる。しかし、必ずしも目前が通行可能な状態になった瞬間に通行を開始しなくてはならないというものでもないから、現実空間と仮想空間との時間のずれが搭乗者に対して与える違和感は、許容される場合もある。
一方、重要対象物の変化が不定期に生じるものや、青信号から赤信号への変化のように通行可能な状態から不能な状態への変化は、現実空間における重要対象物の変化を検知してオブジェクトの変化に反映させる必要がある。例えば、移動体に搭載された種々のセンサで重要対象物の変化を検知するようにしてもよいし、移動体の動きの変化で重要対象物の変化を検知するようにしてもよい。例えば、移動体の前方に重要対象物として信号機が存在することが検知された場合、併せて移動体の減速が検知されたときには、それによって、信号機が青から赤に変化したのだと判断するのである。本発明においては、搭乗者が移動体の動きに対して違和感を覚えない仮想空間表示を実現すれば良いのであるから、このように移動体の動きから重要対象物の変化を検知することで足りるのである。かかる態様によれば、比較的容易に重要対象物の変化をオブジェクトに反映させることが可能となる。移動体の動きによる検知は、赤信号から青信号への変化のような重要対象物の定期的な変化を、オブジェクトに反映させるときにも利用可能である。

【0018】

本発明の仮想空間表示システムにおいては、
前記重要対象物は、その位置が前記体感または予測に影響を与える態様で変化する対象物であり、
前記仮想空間表示部は、前記変化を予測または検知して、前記オブジェクトの外観または位置に反映させて前記仮想空間を表示するものとしてもよい。
重要対象物には、パスに影響を与えるものも含む。人物が車両に搭乗している場合、位置が変化する重要対象物、即ち移動する重要対象物としては、歩行者、自転車、対向車両などが挙げられる。上記態様では、例えば、歩行者の移動に併せて、オブジェクトの位置を移動させたり、障害物の大きさを変化させたりする。こうすることによって、移動する重要対象物に応じて、移動体が大きく回避するなど、そのパスに対する違和感を軽減する表示を実現することができる。
重要対象物の位置の変化は、移動体に搭載したセンサによって重要対象物の移動方向や速度を検出し、これに基づいて予測してもよい。また、移動体のパスを検知し、これに見合う位置に重要対象物が移動してくるものだと判断する方法をとってもよい。

【0019】

移動する重要対象物をオブジェクトで表現する場合には、通常のパスとしての選択肢が一つに定まるようにオブジェクトの位置およびサイズを決定することが好ましい。例えば、人物が車両に搭乗している場合に、歩行者を穴など障害物のオブジェクトで表現するとき、穴の位置および大きさによっては、穴の周囲を時計回り・反時計回りする２つのパスが選択肢となることがある。かかる表示を行ってしまうと、搭乗者の意識と移動体の現実の動きとが相違し、搭乗者に違和感を生じさせるおそれがある。かかる場合には、移動体が現実に移動するパスに合わせ、通常とり得るパスが、時計回りまたは反時計回りのいずれかに定まるように、穴の位置やサイズを決定することが好ましい。こうすることによって、表示の違和感を軽減させることが可能となる。

【0020】

本発明の仮想空間表示システムにおいては、
前記仮想空間表示部は、前記重要対象物の種別に応じた所定の対応関係で前記オブジェクトへの置換を行うものとしてもよい。
例えば、歩行者は常に穴に置換し、移動車両は岩に置換するという態様である。このように常に一定の種別で置換することにより、搭乗者は、次第に、仮想空間におけるオブジェクトと現実空間における重要対象物との対応関係を認識できるようになり、仮想空間を見ながら現実空間も理解することができるようになる。かかる認識は、特に故障時のような緊急時など、搭乗者が移動体を運転しなくてはならない場合に有用である。搭乗者は、仮想空間を見ながらも現実空間もある程度、認識できているため、直ちに現実空間における運転に注意を払うことが可能となるのである。
上記態様においては、重要対象物の種別とオブジェクトとの対応関係は保ちつつ、種々のバリエーションを持たせても良い。例えば、歩行者を穴に置換する場合、歩行者の性別、身体のサイズなどに応じて、穴の大きさや、穴の形状、穴の周囲の様子などを変化させることは差し支えない。こうすることにより、多様な表現を実現することができ、搭乗者に仮想空間表示を楽しませることが可能となる。

【0021】

本発明の仮想空間表示システムにおいては、
前記仮想空間表示部は、前記重要対象物以外に前記移動体の周囲に存在する一般対象物の少なくとも一部について、所定の規則に従ってオブジェクトに置換して前記仮想空間を表示するものとしてもよい。
かかる態様では、一般対象物についても、規則に従ってオブジェクトに置換する。例えば、ビルを仮想空間における壁に置換するなどの態様である。こうすることによって、多彩な仮想空間を比較的容易に生成することが可能となる利点がある。

【0022】

先に説明した通り、本発明では、多様な仮想空間を用意することができるが、その一例として、
前記仮想空間は、前記搭乗者が遊戯を行うための遊戯用の空間であるものとしてもよい。
いわゆるゲームなどの空間である。こうすることによって、搭乗者は自動運転する移動体での移動を楽しみながら過ごすことができる。

【0023】

また、仮想空間における搭乗者の動きを、仮想空間表示に反映させてもよい。上述した遊戯空間では、例えば、搭乗者がコントローラを操作することによって遊戯可能とすることができる。また、コントローラに対して、所定の操作を行ったときには、移動体を急停止させるなど、動きの一部は、移動体の移動に反映させるようにしてもよい。こうすることによって、緊急時などには搭乗者が移動体を運転することが可能となる。また、移動体がとり得るパスが複数存在するときに、コントローラの操作を通じて搭乗者が経路を選択可能としてもよい。
操作は必ずしもコントローラに依る必要はない。コントローラによらない方法として、例えば、搭乗者の動きをセンサで検知し、仮想空間表示や移動体の移動に反映させるようにしてもよい。こうすることによって、例えば、搭乗者が、危険を感じて無意識に前に腕を突っ張る動きをしたときに、移動体を急停止させるなど、より自然かつ直感的な運転を実現することができる。

【0024】

上述した本発明の特徴は、必ずしも全てを備えている必要はなく、適宜、その一部を省略したり、組み合わせたりして構成することもできる。また、本発明は、仮装空間表示システムとしての態様だけでなく、コンピュータによってかかる仮装空間を表示する仮装空間表示方法、その機能を実現するためのコンピュータプログラム、さらには当該コンピュータプログラムを記録したＣＤ−Ｒ、ＤＶＤその他のコンピュータが読み取り可能な記録媒体として構成してもよい。

【図面の簡単な説明】

【0025】

【図1】実施例としての仮想空間表示の概要を示す説明図である。

【図2】仮想空間表示システムの構成を示す説明図である。

【図3】置換データベースの例を示す説明図（１）である。

【図4】置換データベースの例を示す説明図（２）である。

【図5】置換データベースの例を示す説明図（３）である。

【図6】自動運転処理のフローチャートである。

【図7】コマンド判定処理のフローチャートである。

【図8】仮想空間表示処理のフローチャートである。

【図9】重要対象物置換処理のフローチャートである。

【図10】実施例２としての仮想空間表示の概要を示す説明図である。

【発明を実施するための形態】

【実施例1】

【0026】

以下、本発明の実施例について、自動運転する移動体として車両を用い、その搭乗者が装着するヘッドマウントディスプレイに仮想空間を表示する場合を例にとって説明する。本発明は、自動運転に限らず、他者が運転する車両に搭乗する場合にも同様に適用可能である。

【0027】

Ａ．システム構成：
最初に、本実施例で実現する仮想空間表示について説明する。図１は、実施例としての仮想空間表示の概要を示す説明図である。
図の中央には、実施例としての仮想空間表示システムが搭載された車両ＶＨを示した。車両ＶＨは、コンピュータを搭載しており、カメラなどのセンサによって周囲の状況を検知しながら、自律的に自動運転することができる機能を有している。車両ＶＨの搭乗者ＤＶは、ヘッドマウントディスプレイを装着しており、そのヘッドマウントディスプレイには、図の下側に示されている仮想空間ＶＷが表示されている。
図の上側には、車両ＶＨが走行している現実空間ＲＷの様子を示した。現実空間ＲＷにおいては、図示するように建物が存在しており、車両ＶＨは道路上を矢印Ａのように走行しようとしているものとする。車両ＶＨの前方からは、対向車Ｃが接近している。また、車両ＶＨが左折する先には、人が自転車Ｐに乗って移動している。車両ＶＨは、こうした周囲の状況を認識しながら走行しているから、自転車Ｐに衝突しないよう、矢印Ａの先端付近のＢ点で一旦停止し、自転車Ｐが通り過ぎた後、再び走行を開始することになる。
仮想空間ＶＷには、搭乗者ＤＶがゲームをするための画面が表示されている。この例では、仮想空間ＶＷの表示は、ゲームの画面でありながら、現実空間ＲＷを反映した表示となっている。搭乗者ＤＶは、この仮想空間ＶＷを、移動しながらゲームを行うのである。画面は、搭乗者ＤＶの意思に関わらずカメラ視点の移動によって自動的に変化していく。図示した場面では、矢印ＡＶのように左の通路に移動しようとしている。ゲーム画面の中央前方からはキャラクターＣＶがまっすぐ向かってくる様子が表示されている。これは、現実空間ＲＷにおける対向車Ｃを置換したオブジェクトである。また、左側には、岩ＰＶが転がっていく様子が表示されている。これは現実空間ＲＷにおける自転車Ｐを置換したオブジェクトである。このように本実施例では、現実空間ＲＷにおいて、車両ＶＨが移動するパスに影響を与える対象物、即ち重要対象物については、オブジェクトに置換した上で、仮想空間ＶＷにも表示させるのである。
こうすることによって、搭乗者ＤＶの目の前には、転がっていく岩ＰＶが表示されているから、自動運転する車両ＶＨが点Ｂで一旦停止するのに合わせ、仮想空間ＶＷにおいて点ＢＶで移動が停止しても、違和感を覚えることなく、ゲームを続行することができる。また、搭乗者ＤＶに、ゲーム画面において点ＢＶで移動が停止するのと適合した車両ＶＨの動きを体感させることができるため、ゲームのリアリティを向上させることも可能となる。

【0028】

図２は、仮想空間表示システムの構成を示す説明図である。本実施例では、仮想空間表示システムは、車両１００に搭載されＣＰＵ、ＲＡＭ、ＲＯＭを備えるコンピュータによって構成される制御装置に、図示する各機能ブロックおよびデータベースを実現するコンピュータプログラムをインストールすることによって構成されている。各機能ブロックおよびデータベースは、ハードウェア的に構成することも可能である。また、本実施例では、スタンドアロンで稼働するシステムとして例示するが、車両１００と複数のサーバ等をネットワークで接続し、図示する各機能ブロックやデータベースの一部をネットワーク経由で提供するシステムとして構成してもよい。また、図示する各機能ブロックおよびデータベースには、車両１００の自動運転を実現するための機能も含まれている。

【0029】

以下、各機能ブロックおよびデータベースについて説明する。
３次元地図データベース１１３は、車両１００の自動運転に利用される高精度の３次元地図である。３次元地図データベース１１３は、道路の形状だけでなく、その周囲に存在する建物、道路標識、信号機、ガードレールなど種々の地物の位置および形状を３次元モデルとして格納している。３次元地図データベース１１３には、道路上の中央線、停止線、横断歩道などの種々の白線等を格納してもよい。
置換データベース１１４は、現実空間に存在する対象物に関連づけて仮想空間に表示されるオブジェクトを格納するデータベースである。対象物には、建物のように固定された対象物だけでなく、歩行者や対向車両のように移動する対象物も含まれる。置換データベース１１４の内容については、後で具体的に示す。

【0030】

主制御部１１０は、全体の機能を統合制御する機能を果たす。本実施例では、車両１００の自動運転を実現する機能、および搭乗者に対して仮想空間を表示する機能が主制御部１１０の制御下で実現される主要な機能となる。
車両１００には、その周囲に存在する種々の対象物を検出するためのセンサ１０１が搭載されており、周辺状況検出部１１１は、センサ１０１の検出結果を利用して車両１００の周囲の状況を検出する。センサとしては、レーザ、赤外線、レーダを利用した対象物の検出センサや、静止画像または動画像を撮影する種々のカメラなどを単一または組み合わせて用いることができる。周辺状況検出部１１１は、センサ１０１の検出結果だけでなく、３次元地図データベース１１３を併用してもよい。センサ１０１による検出結果を３次元地図データベース１１３に格納された３次元モデルと照合することにより、より精度良く対象物の種別や大きさなどを特定することが可能となる。
位置・姿勢検出部１１２は、車両１００の位置および姿勢を検出する。位置は、緯度経度および高度などの座標で表される。姿勢は車両１００の進行方向を方角、方位角などで表すことができる。必要に応じて車両１００の姿勢としてピッチ角を検出してもよい。これらの検出は、車両１００に例えば、ＧＰＳ、地磁気センサなどを搭載することにより行うことができる。位置・姿勢検出部１１２は、ＧＰＳ等の出力を、３次元地図データベース１１３と照合することにより、より高精度で位置および姿勢を検出可能としてもよい。さらに、位置・姿勢検出部１１２は、周辺状況検出部１１１も併用してもよい。車両１００の周辺に存在する種々の対象物を特定し、これらを３次元地図データベース１１３と照合することにより、さらに高精度で位置および姿勢を検出可能となる。

【0031】

ルート設定部１１５は、自動運転において搭乗者によって指定された出発地から目的地までの移動経路（本明細書では、この移動経路を「ルート」と称する）を設定する。ルートの設定は、種々の方法を採りうるが、例えば、道路をノードおよびリンクで表した道路ネットワークデータベースを用意し、これに基づく経路探索によって決定する方法をとることができる。また別の方法として、搭乗者自身が走行するルートを手動または音声で指定するようにしてもよい。
自動運転制御部１１６は、ルート設定部１１５で指定されたルートを走行するように、車両１００の動力、操舵および制動を制御し、自動運転を実現する。車両１００は、走行中には、周辺状況検出部１１１や位置・姿勢検出部１１２の検出結果に応じて、周辺の対象物を回避しながら走行する。このように予め指定されたルートとは別に、時々刻々の状況に応じて車両が走行する軌跡を本明細書ではパスと称する。上述の通り、パスは、予め指定されたルートだけでなく、車両１００の周囲における対象物の存否や対象物の動きなどによって影響を受けることになる。また車両１００の移動速度も、対象物の存否等によって影響を受けることになる。本明細書では、パスや移動速度に影響を与える対象物を重要対象物と称し、それ以外の対象物を一般対象物と称するものとする。重要対象物としては、例えば、車両１００の前方にある信号機や歩行者、図１に示した自転車Ｐが相当する。また、一般対象物としては、車両１００の側方にある建物などが相当する。移動する対象物であっても、図１の対向車Ｃのように遠方に位置し、車両１００のパスおよび移動速度に影響を与えない対象物は、一般対象物に属する。

【0032】

コマンド判定部１１９は、搭乗者の動作等に基づいて、搭乗者が車両１００に対して指示したコマンドを判定する。コマンドは、例えば、搭乗者が保持するコントローラ１３２に対する操作によって入力可能としてもよいし、搭乗者の頭や腕などの動きを動作検出部１３１によって検出し、これらの動きによって入力可能としてもよい。
仮想空間表示部１１８は、搭乗者が装着するヘッドマウントディスプレイ１３０に対して、仮想空間画像を表示する。表示媒体は、ヘッドマウントディスプレイ１３０に代えて、搭乗者の前方や側方に配置した大型ディスプレイ等を利用してもよい。仮想空間を表示する際、仮想空間表示部１１８は、車両１００の周囲に検出された重要対象物については、置換データベース１１４を参照し、所定のオブジェクトに変換した上で仮想空間に表示する。重要対象物がパスや移動速度に与える影響に応じて、その形状、大きさなどを変化させてもよい。一般対象物については、仮想空間画像の表示内容に応じた処理を行う。例えば、重要対象物と同様、置換データベース１１４を参照してオブジェクトに置換してもよいし、一般対象物は無視して表示しないものとしてもよい。また、仮想空間画像は、一般対象物の存否に関係なく生成するようにしてもよい。

【0033】

本実施例では、仮想空間画像の表示モードを複数用意した。モード処理部１１７は、各表示モードにおける表示内容を決定する。
ゲーム処理部１１７ａは、表示モードの一つとしてゲームを選択したときに、ゲームの進行やそれに応じたゲーム画面などを決定する。ゲーム画面の背景画像を生成し、仮想空間表示部１１８に表示を指示してもよい。
読書処理部１１７ｂは、表示モードの一つとして読書を選択したときに、仮想空間に表示すべき書籍の内容や、搭乗者の操作に応じてページめくり、拡大などの表示制御を行う。本実施例では、搭乗者は読書中も車両１００の移動を体感しているため、読書モードの仮想空間表示では、書籍画像の背景などで車両１００の移動に適合した画像を表示する。読書処理部１１７ｂは、こうした背景画像の生成を行うようにしてもよい。
会議処理部１１７ｃは、表示モードの一つとして会議を選択したときに、仮想空間に、テレビ会議の画像の表示を行う。搭乗者の操作に応じて会議画像の視線変更や拡大、会議資料の表示などを可能としてもよい。本実施例では、搭乗者は会議中も車両１００の移動を体感しているため、会議モードの仮想空間表示では、会議画像の背景などで車両１００の移動に適合した画像を表示する。会議処理部１１７ｃは、こうした背景画像の生成を行うようにしてもよい。

【0034】

Ｂ．置換データベース：
次に、置換データベース１１４の内容について説明する。図３〜５は、それぞれ置換データベース１１４の例を示す説明図である。これらに図示する通り、置換データベース１１４は、現実空間における対象物（左欄）と、仮想空間に表示されるオブジェクト（右欄）とを対応づけて格納している。ここに示したのは一例に過ぎず、対応関係は任意に設定可能である。また、対象物とオブジェクトは、１対１の対応関係である必要はなく、１対多、多対１など種々の対応関係が可能である。
図３に示す通り、信号機には、門のオブジェクトを対応づけた。信号機の横の（ ）内には、車両のパスまたは移動速度に与える影響を示した。信号機は、停止（赤）と進行（青）という移動速度に対する影響を交互に与えることになる。オブジェクトでもこれに対応した表現を実現するため、停止（赤）に対しては閉じた門、進行（青）に対しては開いた門を対応づけている。閉じた門／開いた門の変化は、例えば、閉じた門を表示してから一定時間経過した時点、または車両が移動を開始した時点で変化させるものとしている。信号の色の変化は定期的であるから、時間の経過によってオブジェクトを変化させるようにすることで、信号の色を検知するまでなく、比較的容易に現実空間の状態をオブジェクトに反映させることが可能となる。また、車両が移動を開始した時点で門を開くようにしておけば、オブジェクトを変化させるまでの経過時間と信号の変化の周期にずれが生じた場合でも、仮想空間において閉じた門に突っ込むような事態を回避することができる。
別の例として図３の下段に示す通り、踏切に対しては滝のオブジェクトを対応させた。踏切も、停止、即ち遮断機が下りた状態と、進行、遮断機があがった状態とが変化する。オブジェクトでは、これに適応させるため、停止に対しては滝の水が全幅で流れ落ちている状態を対応させ、進行に対しては滝の水が中央部分では流れ落ちていない状態を対応させるものとした。両者の変化は、信号機の場合と同様、全幅で流れる状態を表示してから一定時間経過した時点、または車両が移動を開始した時点で変化させるものとしている。

【0035】

図４には変化のない対象物の例を示した。一例として、速度標識に対しては、細街路のオブジェクトを対応づける。速度標識は車両に対して移動速度を減速させる影響を与えるものであり、細街路も搭乗者に対して移動速度を下げようという心理的な影響を与えるものであるため、両者を対応させることにより、現実空間の対象物に適応した仮想空間を表示させることができる。速度標識で指定されている制限速度に応じて、細街路における木の繁り具合や道幅などを変化させてもよい。
工事中のバリケードに対しては、壁のオブジェクトを対応づける。壁は、バリケードが車両のパスに対して与える回避という影響に適合したものとなっている。壁の長さは、バリケードが設けられた範囲に応じて変化させればよい。
駐車車両に対しては、寝ているライオンのオブジェクトを対応づけている。駐車車両は一種の障害物であり、車両のパスに対して回避という影響を与えるが、一方、移動する可能性のある対象物である。かかる対象物に対して、回避すべき対象物であり、かつ移動する可能性がある対象物として、本実施例では、寝ているライオンを対応づけた。この例では、駐車車両が移動を開始した時点で、ライオンを歩かせるようにしてもよい。

【0036】

図５の上段に示す通り、車両の前方を歩く歩行者には、穴のオブジェクトを対応づけた。歩行者も穴も、車両に対して停止または回避という影響を与えるため、適合したものとなっている。穴の位置や大きさを歩行者の位置、移動速度などに応じて変化させてもよい。
中段に示す通り、飛び出しに対しては、転がり落ちてくる丸太のオブジェクトを対応づけた。飛び出しは、車両に対して急停止という影響を与えるため、搭乗者に対して危険を感じさせるオブジェクトを対応づけることによって、両者の影響を適合させることができる。
下段に示す通り、対向車に対しては、転がってくる岩のオブジェクトを対応づけた。対向車も岩も、車両のパスに対して回避という影響を与えるため、適合したものとなっている。対向車の大きさや移動速度に応じて、岩のサイズや移動速度などを変化させてもよい。
以上で例示したように現実空間とオブジェクトを対応づけておくことにより、現実空間において車両の移動速度やパスが受ける影響に応じた仮想空間を表示することが可能となる。また、重要対象物を置換データベースによって所定のオブジェクトに置換することにより、搭乗者は、例えば、仮想空間表示に表示された穴を見て、現実空間には歩行者がいるというように、仮想空間表示を見ながら現実空間を認識することが可能となる。

【0037】

Ｃ．制御処理：
以下、本実施例において車両を自動運転するとともに仮想空間を表示するための処理について説明する。以下の処理は、ハードウェア的には、車両に搭載された制御装置が実行する処理であり、図２に示した各機能ブロックおよびデータベースによって実現される処理である。

【0038】

Ｃ１．自動運転処理：
図６は、自動運転処理のフローチャートである。制御装置は、まず自動運転ルートを設定する（ステップＳ１０）。ルートは、搭乗者によって指定された出発地から目的地までの経路探索によって自動的に設定するものとしてもよいし、搭乗者がコントローラの操作や音声によって指示するようにしてもよい。
ルートが設定されると、制御装置は次の手順で車両の自動運転を開始する。制御装置は、車両に搭載されたセンサの検出結果を３次元地図データベースと照合することによって、車両周囲の対象物を認識する（ステップＳ１１）。また、ＧＰＳ等のセンサによる検出結果と、３次元地図データベースおよび対象物の検出結果とを照合することで、自車位置および姿勢を認識する（ステップＳ１２）。
次に、制御装置は、これらの認識結果に基づいて重要対象物を抽出する（ステップＳ１３）。重要対象物とは、車両の移動速度およびパスに影響を与える対象物である。重要対象物の抽出は、種々の方法で行うことができる。例えば、車両の進行方向の所定の領域内に存在する対象物を全て重要対象物とする簡易な方法、種々の対象物と車両と衝突すると予測される対象物を重要対象物とする方法、速度標識や赤信号など車両の移動速度などを規制する対象物を重要対象物とする方法などを挙げることができる。
制御装置は、こうして抽出された重要対象物に基づいて、車両のパスおよび速度を設定する（ステップＳ１４）。車両が走行すべきルートは既に設定されているため、本実施例では、重要対象物に応じて、ルートを修正等することによってパスを設定するものとした。図中にパスおよび速度の設定方法の概要を例示した。例えば、重要対象物として赤信号が抽出されている場合、車両のパス、速度に対しては「停止」という影響を与えるから、制御装置は、これに応じて車両の停止、即ち「速度＝０」に設定する。重要対象物として歩行者、車などの障害物が抽出されている場合には、図示するように、車両が回避または停止することになる。制御装置は、重要対象物と車両との距離や位置などに応じて停止すべきか回避すべきかを判断し、回避すべき場合には、本来のルートから外れた回避パスを決定する。
こうして車両が走行すべきパスおよび速度が決定されると、制御装置は、車両制御、即ち車両の動力装置、制動装置、操舵装置を制御して、設定通りの走行を実現する（ステップＳ１５）。
制御装置は、ステップＳ１１〜Ｓ１５の処理を目的地に到着するまで（ステップＳ１６）、繰り返し実行する。

【0039】

Ｃ２．コマンド判定処理：
図７は、コマンド判定処理のフローチャートである。この処理は、自動運転処理と並行して制御装置が繰り返し実行する処理である。
処理を開始すると、制御措置はコントローラに対する操作および搭乗者の動作を検出する（ステップＳ３０）。何も操作または動作が検出されないときは（ステップＳ３１）、そのままコマンド判定処理を終了する。

【0040】

操作または動作が検出された場合は、その種別に応じた処理を実行する（ステップＳ３１）。種別の判断例を図の右側に示した。
例えば、右側の図の上段に示すように、コントローラの十字キー（図中のハッチング）が操作されたときは、仮想空間に表示されている画面に応じて種別が異なる。経路選択メニュー画面が表示されているときは、種別は「運転制御」と判断される。この場合の操作に応じた指示は、メニューに表示された経路の選択となる。その他の画面が表示されているときは、種別は「表示モード固有」と判断される。この場合の操作に応じた指示は、表示モードに応じて異なる。例えば、図の例では、ゲームモードのときは移動が指示され、読書モードのときはページめくりが指示され、会議モードのときはズームが指示されることになる。
右側の図の２段目に示すように、コントローラのボタン（図中のハッチング）が操作されたときは、種別は「運転制御」と判断され、停止が指示される。このようにコントローラの特定のボタンは、表示モードと無関係に運転制御と判断されるようにしておくことにより、このボタンを緊急停止ボタンとして機能させることが可能となる。
右側の図の３段目に示すように、搭乗者の動作に対しても種別は判断することができる。図の例では、搭乗者が手を交差する動作をしたときは、種別は「運転制御」と判断され、停止が指示される。こうすることで、非常時にはコントローラの操作に依らずに車両を緊急停止することができる。かかる指示を与える動作として、危険を感じたときに搭乗者が無意識にとる可能性が高い動作を選択しておくことにより、自然な動作による指示が可能となり安全性を向上させることが可能となる。図に示した手を交差するという動作も、何らかの対象物に衝突しそうな状況に遭遇したときに、思わず搭乗者がとる動作の一例である。
操作および動作に応じた種別の判断は、図示した対応関係を予めデータベース等で用意しておくことにより容易に行うことが可能となる。

【0041】

操作または動作が「運転制御」と判断される場合（ステップＳ３１）、制御装置は、自動運転処理に対して操作等に応じた指示を出力する（ステップＳ３２）。自動運転処理（図６）は、この指示を受けて車両を制御することになる。例えば、車両のパス、速度の設定（図６のステップＳ１４）において、この指示を考慮するようにすればよい。
操作または動作が「表示モード固有」と判断される場合（ステップＳ３１）、制御装置は、表示モードに応じた指示を仮想空間表示処理に対して出力する（ステップＳ３３）。仮想空間表示処理の処理内容は、後述するが、ヘッドマウントディスプレイに表示する仮想空間画像を生成する際に、搭乗者による指示が反映させることになる。
制御装置は、以上のコマンド判定処理を繰り返し実行することにより、搭乗者の意図を、車両の運転または仮想空間の表示に反映させることができる。

【0042】

Ｃ３．仮想空間表示処理：
図８は、仮想空間表示処理のフローチャートである。搭乗者が装着したヘッドマウントディスプレイに仮想空間の画像を表示させるための処理である。制御装置は、この処理も、自動運転処理（図６）、コマンド判定処理（図７）と並行して繰り返し実行する。
処理を開始すると、制御装置は、表示モードの選択を行う（ステップＳ５０）。例えば、図中に示すように「ゲーム」「読書」「会議」といった表示モードを表すボタンをメニューとして表示し、搭乗者の選択を入力するようにしてもよい。一旦、表示モードが選択された後は、ステップＳ５０をスキップするようにしてもよいし、表示モードの選択メニューを常に画面の端などに表示しておき、任意のタイミングで表示モードを切り替えることができるようにしてもよい。
次に、制御装置は、自車位置、姿勢を読み込む（ステップＳ５１）。これらの情報は、自動運転処理において認識された結果（図６のステップＳ１２参照）を用いるようにしてもよい。
また、制御装置は、重要対象物置換処理を実行する（ステップＳ５２）。この処理は、車両の周辺に存在する重要対象物を、置換データベースに基づいて、仮想空間に表示するためのオブジェクトに置換する処理である。処理の内容は後で詳述する。

【0043】

以上の処理に続いて、制御装置は、表示モードに応じた仮想空間の表示を実現する（ステップＳ５３）。
表示モードが「ゲーム」の場合は、ゲーム画面を表示する（ステップＳ５４）。図中にゲーム画面の表示例を示した。この画面では、重要対象物の一つである自転車は、転がる岩に置換されて表示されている。また、一般対象物も、置換データベースに基づいてオブジェクトに置換され、ゲームの背景を構成している。従って、ゲーム画面では、仮想空間ながら、自身が移動すべき道が認識できるような画像となっている。
もっとも、ゲーム画面の表示は、かかる方法に限られない。一般対象物については、必ずしも何らかのオブジェクトに置換する必要はない。即ち、ゲーム画面の背景画像は、一般対象物と無関係の画像として生成することができる。ゲームの背景を、水中の画像などとしても構わない。かかる場合でも、重要対象物は、置換データベースに基づいて所定のオブジェクトに置換して表示する。ゲームの背景であれば、重要対象物である自転車を、水中を泳ぐサメなどに置換してもよい。かかる置換は、置換データベースの対応関係をゲームの背景画像に応じて用意しておくことにより、容易に実現可能である。
表示モードが「読書」の場合は、読書画面を表示する（ステップＳ５５）。図中に読書画面の表示例を示した。この画面では、読書する書籍を中央に表示している。仮想空間表示のリアリティを向上させるため、現実の書籍を表した画像とした。搭乗者は、コントローラの操作等によって、書籍のページをめくり、読書を楽しむことができる。また、操作によって読書の一部を拡大表示するなどの機能をもたせてもよい。読書画面では、搭乗者が車両の移動を体感しながら読書しても違和感を覚えないように、書籍の背景に、車両の移動に合わせて流れる風景を表示している。また、書籍の下方には、車両の移動に即したパスを表す矢印を表示している。こうすることにより、搭乗者は読書に意識を払いながらも、自然と目に入る周囲の画像によって、自身の体感に即した車両の移動を認識することができるため、違和感を覚えることなく読書を継続することができる。また、重要対象物は、読書画面表示においても表示される。図の例では、歩行者を表す穴がパスとともに表示されている。こうすることによって、搭乗者は、仮想空間内での理解ではあるが、車両がパスを変化させた理由を理解することができ、違和感を回避することが可能となる。読書画面における背景画像、パス、および重要対象物の表示は、この例に限らず、種々の表示が可能である。
表示モードが「会議」の場合は、会議画面を表示する（ステップＳ５６）。図中に会議画面の表示例を示した。この画面では、テレビ会議の画像を中央に表示している。テレビ会議の画像は、現実空間における他の会議室での様子をカメラで撮影した画像を、ネットワーク経由で取得すればよい。搭乗者は、コントローラの操作等によって、視点を移動させたり、拡大表示、会議資料の表示への切り替えなどの機能をもたせてもよい。会議画面では、会議画像の背景に、車両の移動に合わせて流れる風景を表示している。また、会議画像の下方には、車両の移動に即したパスを表す矢印を表示している。こうすることにより、搭乗者は会議をしながらも、自然と目に入る周囲の画像によって、自身の体感に即した車両の移動を認識することができるため、違和感を覚えない。また、重要対象物は、読書画面と同様、会議画面表示においても表示されている。会議画面における背景画像、パス、および重要対象物の表示は、この例に限らず、種々の表示が可能である。

【0044】

図９は、重要対象物置換処理のフローチャートである。仮想空間表示処理（図８）のステップＳ５２の処理を示したものである。
制御装置は、自車位置、姿勢、重要対象物、表示モードを読み込む（ステップＳ７０）。そして、置換データベースを参照し、重要対象物を仮想空間に表示するためのオブジェクトに置換する（ステップＳ７１）。重要対象物は、表示モードに応じて異なるオブジェクトに置換するようにしてもよい。

【0045】

制御装置は、こうして置換されたオブジェクトに対して、重要対象物の移動に応じたエフェクトを施す（ステップＳ７２）。図中にエフェクトの例を示した。この例は、現実空間における歩行者を、穴のオブジェクトに置換する例を示している。置換データベースにおいて、歩行者に対応づけて格納されている穴のオブジェクトが、図中のハッチング無しの穴である。かかるオブジェクトを仮想空間に表示すれば、搭乗者は、自車のパスが変化したとしても、穴を回避するための動きであると認識し、その動きに対して違和感を覚えることは少ない。
しかし、穴の位置によっては、図中のパスＡ、パスＢのいずれをとっても不自然とは言えない状態になることがある。かかる状態では、搭乗者が穴を見てパスＢのように回避すべきと認識したにも関わらず、車両はパスＡのように移動することが生じうるため、搭乗者の認識と車両のパスとが食い違う可能性がある。
これに対し、現実空間において歩行者が矢印のように移動している場合には、ハッチングを付した状態のように穴を拡大して表示するとする。かかる状態の穴を回避するためのパスとしては、パスＡと大回りのパスＣとが存在するが、自車位置を考えるとパスＡの方が自然であることは明らかである。制御装置も、歩行者が矢印のように移動していることを検知しているから、安全な経路として、パスＡを選択する。従って、ハッチングを施した表示を行えば、搭乗者の認識と、車両の移動とを適合させることができ、搭乗者が違和感を覚える可能性をさらに抑制できる利点がある。
ステップＳ７２では、上述の通り、現実空間において車両のとるパスに適合するようにオブジェクトにエフェクトを施すのである。エフェクトの例としては、図示したような形状の変化の他、サイズの変化、オブジェクト自体の移動などが挙げられる。具体的には、自動運転処理において設定された車両のパス、速度（図６のステップＳ１４参照）を取得し、それに適合するようにエフェクトの内容を決定すればよい。また、エフェクトには、このように置換データベースに記憶されているオブジェクトの形状等を変化させる処理の他、置換データベースに複数の態様が格納されている場合に、その中から適切なものを選択する処理も含まれる。例えば、図３の信号機の例で示したように、信号機の色に応じて、閉じた門、開いた門のいずれかを選択する処理が挙げられる。

【0046】

制御装置は、併せて、以上で設定されたオブジェクトの表示位置を決定する（ステップＳ７３）。表示位置の決定は、例えば、仮想空間における座標で行うことができる。自動運転処理において、重要対象物の現実空間における位置、および自車位置、姿勢は検出されているから（図６のステップＳ１１、Ｓ１２参照）、仮想空間座標における重要対象物の位置は特定されている。オブジェクトは、その重心を、重要対象物の位置に一致させるようにして表示させてもよい。また、重要対象物が移動している場合は、その移動に応じて、オブジェクトの重心を重要対象物の現在の位置からずらして表示させてもよい。

【0047】

Ｄ．効果および変形例：
以上で説明した実施例の仮想空間表示システムによれば、搭乗者に対して、現実空間の車両の移動に適合した仮想空間、即ち移動体の動きを正当化させる画像を表示することができる。この結果、現実空間において重要対象物を検知して移動体が決定するパスと、仮想空間におけるオブジェクトを見て搭乗者が意識する移動状態とを一致させることができる。この結果、搭乗者は仮想空間を見ながらも、移動体の動きに対して違和感を覚えることを回避できるのである。また、搭乗者は、移動体の動きについて、現実空間では何が起きているのだろう、といった疑問を感じることなく、仮想空間に没入することが可能となる。逆に、現実空間における移動体の動きが、仮想空間における搭乗者の体感と適合することによって、仮想空間のリアリティを向上させる効果もある。こうして、実施例の仮想空間表示システムによれば、仮想空間への没入と、否応なしに体感する現実空間の動きに対する違和感の軽減とを両立させることができる。

【0048】

上記実施例は、自動運転の車両に限らず、他者が運転する車両に搭乗する場合にも同様に適用可能である。かかる場合では、運転者が搭乗していることから、車両の運転を制御する自動運転制御部１１６（図２参照）は省略しても差し支えない。

【0049】

Ｅ．実施例２：
次に実施例２における仮想空間表示システムについて説明する。実施例１では、人物が移動体に搭乗して移動する例を示したのに対し、実施例２では、人物自身が移動する例を示す。
図１０は実施例２としての仮想空間表示の概要を示す説明図である。テーマパークのアトラクションとしての例を示した。この例では、アトラクションのプレーヤーＰ１は、ヘッドマウンドディスプレイＨＭＤを装着して、仮想空間ＶＷ２を視ながら、仮想空間内に現れるモンスターＣＶを捕まえる遊戯を行うことができる。
システム構成は、実施例１（図２参照）と同様である。ただし、自動運転に必要な機能ブロック、即ち自動運転制御部１１６、３次元地図データベース１１３は省略しても差し支えない。また、アトラクションの内容によってモード処理部１１７内の読書処理部１１７ｂ、会議処理部１１７ｃなども省略可能である。位置・姿勢検出部１１２は、プレイヤーＰ１が装着するヘッドマウントディスプレイＨＭＤにＧＰＳなどを取り付けても良いし、アトラクション内にカメラやセンサを設けてプレイヤーＰ１の位置を検出するようにしてもよい。
また、周辺状況検出部１１１は、ヘッドマウントディスプレイＨＭＤに、外部の状況を撮影するカメラを統合してもよいし、アトラクションのように遊戯を行うエリア内の障害物の位置や種類、他のプレイヤーＰ２の位置などが把握されている場合には、これらの情報を活用するものとしてもよい。

【0050】

実施例２の仮想空間表示システムでは、周辺状況検出部１１１によって検出された対象物のうち、プレイヤーＰ１が自身の動きの体感またはその予測に影響を与えるものを選択し、オブジェクトとして仮想空間ＶＷ２に表示する。図の例では、プレイヤーＰ１の前方の床面に設けられた凹凸ＢＰが検出されると、仮想空間ＶＷ２にも小さい石の集まりＯＢＪ２を表示させる。こうすることで、プレイヤーＰ１が、凹凸ＢＰ上を歩いたとき、仮想空間ＶＷ２では、石の集まりＯＢＪ２上を歩くことになり、プレイヤーＰ１の現実の体感と仮想空間内で視覚から得られる認識とを一致させることができる。また、他のプレイヤーＰ２が、プレイヤーＰ１に向かって近づいているとき、仮想空間ＶＷ２には、岩ＯＢＪ１が転がってくる様子を表示する。こうすることにより、プレイヤーＰ１は、このまま進むことは危険であると予測し、岩を避けるために停止することができる。仮想空間ＶＷ２の表示に基づいて何が起きるかを予測することにより、現実世界での危険を回避することができるのである。
本発明は、このように、表示装置を装着した人物自身が自らの意思で移動している場合にも適用することが可能であり、実施例１と同様の効果を得ることができる。
実施例２は、歩行する例を示したが、例えば、ヘッドマウントディスプレイＨＭＤを装着した人物が、何らかの移動体を運転する場合に本発明を適用することも可能である。具体的には、倉庫内などの非常に狭く見通しが悪い通路においてカート運転する場合に、運転者が装着したヘッドマウントディスプレイに、通路を真上から見下ろした平面図とそこを移動する自身のカートや他の歩行者、カートなどを表示させてもよい。こうすることで、運転者は平面内を移動させるようにカートの進路を適切に制御しながら運転することができ、また、他の歩行者等の位置も容易に把握できるため、安全に運転することが可能となる。

【0051】

以上の実施例１、実施例２で説明した種々の特徴は、必ずしも全てを備えている必要はなく、適宜、一部を省略したり組み合わせたりすることも可能である。また、上述した実施例も種々の変形例を構成することができる。
例えば、本実施例では、オブジェクトが変化する態様も含めて置換データベースに格納するものとしたが、置換データベースには基本形状のみを格納し、オブジェクトの変化は全てエフェクトで処理するようにしてもよい。
本実施例では、重要対象物のエフェクト（図９のステップＳ７２）において、自動運転処理で特定されたパス等の情報を用いているが、信号機や踏切のように規則的に変化するオブジェクトについては、自動運転処理からの情報を利用せずにエフェクトを施すようにしてもよい。例えば、重要対象物について、規則的に変化するか否か、車両のパスまたは移動速度に対して与える影響が「停止」「回避（曲がる）」「進む」のいずれであるかなどによって、複数の区分に分類し、自動運転処理からの情報を利用するもの、利用しないものに分けて処理する方法をとることができる。こうすることによって、信号機などのように規則的に変化するオブジェクトの処理を軽い負荷で済ませることができる利点がある。

【産業上の利用可能性】

【0052】

本発明は、自動運転される移動体の搭乗者に対して該移動体の周囲の実環境とは異なる仮想空間の表示を行うために利用可能である。

【符号の説明】

【0053】

１００…車両
１０１…センサ
１１０…主制御部
１１１…周辺状況検出部
１１２…位置・姿勢検出部
１１３…３次元地図データベース
１１４…置換データベース
１１５…ルート設定部
１１６…自動運転制御部
１１７…モード処理部
１１７ａ…ゲーム処理部
１１７ｂ…読書処理部
１１７ｃ…会議処理部
１１８…仮想空間表示部
１１９…コマンド判定部
１３０…ヘッドマウントディスプレイ
１３１…動作検出部
１３２…コントローラ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】