特許 5869712 没入型仮想空間に実空間のユーザの周辺環境を提示するためのヘッドマウント・ディスプレイ・システムおよびコンピュータ・プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】5869712

(24)【登録日】2016年1月15日

(45)【発行日】2016年2月24日

(54)【発明の名称】没入型仮想空間に実空間のユーザの周辺環境を提示するためのヘッドマウント・ディスプレイ・システムおよびコンピュータ・プログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20160210BHJP

   G06F 3/0481 20130101ALI20160210BHJP

【ＦＩ】

   G06T19/00 300B

   G06F3/0481 150

【請求項の数】7

【全頁数】19

(21)【出願番号】特願2015-78921(P2015-78921)

(22)【出願日】2015年4月8日

【審査請求日】2015年7月30日

【早期審査対象出願】

(73)【特許権者】

【識別番号】509070463

【氏名又は名称】株式会社コロプラ

(74)【代理人】

【識別番号】100140109

【弁理士】

【氏名又は名称】小野 新次郎

(74)【代理人】

【識別番号】100075270

【弁理士】

【氏名又は名称】小林 泰

(74)【代理人】

【識別番号】100101373

【弁理士】

【氏名又は名称】竹内 茂雄

(74)【代理人】

【識別番号】100118902

【弁理士】

【氏名又は名称】山本 修

(74)【代理人】

【識別番号】100173565

【弁理士】

【氏名又は名称】末松 亮太

(72)【発明者】

【氏名】栗原 秀行

【審査官】 村松 貴士

(56)【参考文献】

【文献】 特開２０１３−２５７７１６（ＪＰ，Ａ）

【文献】 国際公開第２０１４／１５６３８９（ＷＯ，Ａ１）

【文献】 特開２００９−１４５８８３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １９／００

Ｇ０６Ｆ ３／０４８ − ３／０４８９

(57)【特許請求の範囲】

【請求項1】

仮想空間情報に基づいて生成される仮想空間画像を表示して、ユーザを仮想空間に没入させる、前記ユーザが装着するヘッドマウント・ディスプレイ（ＨＭＤ）と、
前記ユーザの実空間の周辺画像を生成するリアルタイム・カメラと、
前記ＨＭＤおよび前記リアルタイム・カメラに接続されるコンピュータであって、
前記リアルタイム・カメラから前記周辺画像を取得し、該取得した周辺画像を用いて実空間の周辺環境を検知し、前記周辺環境に関する情報を前記仮想空間情報に関連付けて前記ＨＭＤに出力する
ように構成されるコンピュータと
を備え、
前記周辺画像を用いた前記周辺環境の検知が、前記周辺画像に対する人の検知を含み、
前記周辺環境に関する情報の出力が、前記人の検知による前記実空間の周辺環境の変化に応じて、前記周辺環境に対して検知される人の人数を前記仮想空間内で通知することと、それと同時に、前記リアルタイム・カメラからの実空間の映像を、前記仮想空間に設けた複数の仮想ディスプレイの内の特定の１つに表示させることにより、前記仮想空間画像の一部として前記ＨＭＤに表示することとを含むように構成される、ＨＭＤシステム。

【請求項2】

前記人の検知が顔認識による検知を含む、請求項１記載のＨＭＤシステム。

【請求項3】

前記周辺環境に関する情報の出力が、前記人に対応するキャラクタを前記仮想空間に配置するように、キャラクタ画像を前記仮想空間画像に重畳することを含む、請求項１または２記載のＨＭＤシステム。

【請求項4】

請求項３記載のＨＭＤシステムであって、
前記周辺環境の検知が、前記周辺画像上にある前記人の顔のエリアの特定を含み、
前記周辺環境に関する情報の出力が、前記仮想空間において前記特定されたエリアに対応する方向から、前記キャラクタが移動しながら映り込むように、前記キャラクタ画像を前記仮想空間画像に重畳する、ＨＭＤシステム。

【請求項5】

没入型の仮想空間に実空間のユーザの周辺環境を提示するコンピュータ・プログラムであって、コンピュータにリアルタイム・カメラおよびヘッドマウント・ディスプレイ（ＨＭＤ）が接続されており、
前記リアルタイム・カメラから前記ユーザの実空間の周辺画像を取得する周辺画像取得部と、
前記取得した周辺画像を用いて実空間の周辺環境を検知する環境検知部と、
前記検知した周辺環境に関する情報を仮想空間情報に関連付けて前記ＨＭＤに出力する出力部と
として前記コンピュータに機能させ、
前記周辺画像を用いた前記周辺環境の検知が、前記周辺画像に対する人の検知を含み、
前記周辺環境に関する情報の出力が、前記人の検知による前記実空間の周辺環境の変化に応じて、前記周辺環境に対して検知される人の人数を前記仮想空間内で通知することと、それと同時に、前記リアルタイム・カメラからの実空間の映像を、前記仮想空間に設けた複数の仮想ディスプレイの内の特定の１つに表示させることにより、仮想空間画像の一部として前記ＨＭＤに表示することとを含むように構成される、コンピュータ・プログラム。

【請求項6】

前記人の検知が顔認識による検知を含む、請求項５記載のコンピュータ・プログラム。

【請求項7】

前記周辺環境に関する情報の出力が、前記人に対応するキャラクタを前記仮想空間に配置するように、キャラクタ画像を前記仮想空間画像に重畳することを含む、請求項５または６記載のコンピュータ・プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ユーザがヘッドマウント・ディスプレイ（ＨＭＤ）を頭部に装着し、３次元仮想空間に没入している状況において、実空間の周辺環境に関する情報を３次元仮想空間に関連付けてＨＭＤに表示するようコンピュータに制御させるコンピュータを備えるヘッドマウント・ディスプレイ・システム、および当該コンピュータを機能させるためのコンピュータ・プログラムに関するものである。

【背景技術】

【0002】

ユーザの頭部に装着され、眼前に配置されたディスプレイ等によってユーザに没入型の３次元仮想空間画像を提示可能なＨＭＤが知られている。特に、特許文献１に開示されるようなＨＭＤでは、３次元仮想空間に３６０度のパノラマ画像を表示可能である。このようなＨＭＤは通例、各種センサ（例えば、加速度センサや角速度センサ）を備え、ＨＭＤ本体の姿勢データを計測する。特に、頭部の回転角に関する情報に従ってパノラマ画像の視線方向変更を可能にする。即ち、ＨＭＤを装着したユーザが自身の頭部を回転させると、それに併せて、３６０度のパノラマ画像の視線方向を変更するのを可能にする。このようなＨＭＤは、ユーザに対し、映像世界への没入感を高め、エンタテインメント性を向上させる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１３−２５８６１４号公報 しかしながら、特にユーザの視界を完全に覆う非透過型のＨＭＤをユーザが装着することにより、３次元仮想空間への没入感が高まるほど、そのユーザは、実空間における自身の周りの環境が把握できなくなる。例えば、ＨＭＤを装着したユーザの至近距離に別の人がいても、ユーザはなかなかその存在に気づかないことも多い。

【0004】

ユーザが没入する３次元仮想空間の例として、図１に示す各画面例を想定する。例えば、図１（ａ）は、３次元仮想空間内の所定の視界領域に複数の仮想テレビが配置されるような仮想マルチディスプレイ・アプリケーションで用いられる画面である。また、図１（ｂ）は、３次元仮想空間平面をユーザのキャラクタが動き回って敵キャラクタと対戦するようなアクション型ＲＰＧのゲーム・アプリケーションで用いられる画面である。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明は、ユーザがＨＭＤを装着して３次元仮想空間に没入している状態において、実空間での周辺環境を検知できるよう、周辺環境の情報を３次元仮想空間内に提示することにより、ユーザに知らせることを目的とする。

【課題を解決するための手段】

【0006】

上記の課題を解決するために、本発明によるヘッドマウント・ディスプレイ（ＨＭＤ）システムは、仮想空間情報に基づいて生成される仮想空間画像を表示して、ユーザを仮想空間に没入させる、ユーザが装着するＨＭＤと、ユーザの実空間の周辺画像を生成するリアルタイム・カメラと、ＨＭＤおよびリアルタイム・カメラに接続されるコンピュータであって、リアルタイム・カメラから周辺画像を取得し、該取得した周辺画像を用いて実空間の周辺環境を検知し、周辺環境に関する情報を仮想空間情報に関連付けて前記ＨＭＤに出力するように構成されるコンピュータと、を備える。

【0007】

また、当該ＨＭＤシステムにおいて、周辺画像を用いた上記周辺環境の検知が、周辺画像に対する人の顔認識による検知を含み、上記周辺環境に関する情報の出力が、周辺環境における人の人数の通知を含む。更に、周辺環境に関する情報の出力が、リアルタイム・カメラからの実空間の映像を、仮想空間に設けた仮想ディスプレイに表示させることにより、仮想空間画像の一部としてＨＭＤに表示することを含む。加えて、周辺環境に関する情報の出力が、人に対応するキャラクタを仮想空間に配置するように、キャラクタ画像を仮想空間画像に重畳することを含む。

【0008】

本発明による、没入型の仮想空間に実空間のユーザの周辺環境を提示するコンピュータ・プログラムでは、コンピュータにリアルタイム・カメラおよびヘッドマウント・ディスプレイ（ＨＭＤ）が接続されており、リアルタイム・カメラからユーザの実空間の周辺画像を取得する周辺画像取得部と、取得した周辺画像を用いて実空間の周辺環境を検知する環境検知部と、検知した周辺環境に関する情報を仮想空間情報に関連付けてＨＭＤに出力する出力部と、として上記コンピュータに機能させる。

【発明の効果】

【0009】

本発明によれば、実空間における周辺環境の情報を３次元仮想空間内に提示することにより、実空間の周辺環境を撮影するためのリアルタイム・カメラを周辺環境検知センサ、特に人検知センサとして適用可能とし、３次元仮想空間に没入した状態にあるユーザは、ＨＭＤを脱着することなく、装着したままで自身の周辺環境の変化を検知可能となる。

【図面の簡単な説明】

【0010】

【図1】図１は、本発明の実施形態により実装される表示画面例である。

【図2】図２は、本発明の実施形態によるＨＭＤシステムを示した模式図である。

【図3】図３は、図２に示したＨＭＤを装着したユーザの頭部を中心にして規定される実空間における例示の直交座標系を示す。

【図4】図４は、ポジション・トラッキング・カメラによって検知される、ＨＭＤ上に仮想的に設けられた複数の検知点を示す概要図である。

【図5】図５は、本発明の実施形態により、没入型仮想空間に実空間のユーザの周辺環境を提示するための模式図である。

【図6】図６は、図２に示したＨＭＤシステムにおける制御回路部に関する機能ブロック図である。

【図7】図７は、本発明の実施形態により、ユーザの周辺環境検知を実施するための例示の処理フロー図である。

【図8】図８は、本発明の実施形態により、ユーザの周辺環境検知を実施するための例示の処理フロー図である。

【図9】図９は、没入型仮想空間に対する実空間のユーザ周辺環境の提示に関する第１実施例の画面例である。

【図10】図１０は、没入型仮想空間に対する実空間のユーザ周辺環境の提示に関する第２実施例の画面例である。

【図11】図１１は、没入型仮想空間に対する実空間のユーザ周辺環境の提示に関する第２実施例の画面例である。

【図12】図１２は、没入型仮想空間に対する実空間のユーザ周辺環境の提示に関する第２実施例の画面例である。

【発明を実施するための形態】

【0011】

以下に、図面を参照して、本発明の実施形態による、没入型仮想空間に実空間のユーザの周辺環境を提示するためのヘッドマウント・ディスプレイ・システムおよびコンピュータ・プログラムについて説明する。図中、同一の構成要素には同一の符号を付してある。

【0012】

図２は、本発明の実施形態によるコンピュータ・プログラムを実施するために、ヘッドマウント・ディスプレイ（以下、「ＨＭＤ」と称する。）を用いたＨＭＤシステム１００の全体概略図である。図示のように、ＨＭＤシステム１００は、ＨＭＤ本体１１０、コンピュータ（制御回路部）１２０、ポジション・トラッキング・カメラ１３０、およびリアルタイム・カメラ１４０を備える。

【0013】

ＨＭＤ１１０は、ディスプレイ１１２およびセンサ１１４を具備する。ディスプレイ１１２は、ユーザの視界を完全に覆うよう構成された非透過型の表示装置であり、ユーザはディスプレイ１１２に表示される画像のみを観察することになる。非透過型ＨＭＤ１１０を装着したユーザは、外界の視界を全て失うため、制御回路部１２０において実行されるアプリケーションによってディスプレイ１１２に表示される３次元仮想空間内に完全に没入するような表示態様となる。

【0014】

ＨＭＤ１１０が具備するセンサ１１４は、ディスプレイ１１２近辺に固定される。センサ１１４は、地磁気センサ、加速度センサ、および／または傾き（角速度、ジャイロ）センサを含み、これらの１つ以上を通じて、ユーザの頭部に装着されたＨＭＤ１１０（ディスプレイ１１２）の各種動きを検知することができる。特に角速度センサの場合には、図４のように、ＨＭＤ１１０の動きに応じて、ＨＭＤ１１０の３軸回りの角速度を経時的に検知し、各軸回りの角度（傾き）の時間変化を決定することができる。

【0015】

そこで、図３を参照して傾きセンサで検知可能な角度情報データについて具体的に説明する。図示のように、ＨＭＤを装着したユーザの頭部を中心として、ＸＹＺ座標が規定される。ユーザが直立する垂直方向をＹ軸、Ｙ軸と直交しディスプレイ１１２の中心とユーザを結ぶ方向をＺ軸、Ｙ軸およびＺ軸と直交する方向の軸をＸ軸とする。傾きセンサでは、各軸回りの角度、具体的にはＹ軸を軸とした回転を示すヨー角、Ｘ軸を軸とした回転を示すピッチ角、およびＺ軸を軸とした回転を示すロール角で決定される傾きを検知し、その経時的な変化により、動き検知部２２０が視界情報として角度（傾き）情報データを決定する。

【0016】

図２に戻り、ＨＭＤシステム１００が備えるコンピュータ（制御回路部）１２０は、ポジション・トラッキング・カメラ１３０およびリアルタイム・カメラ１４０に接続される。そして、ＨＭＤを装着したユーザを３次元仮想空間に没入させ、３次元仮想空間に基づく動作を実施させるための制御回路装置として機能する。図示のように、制御回路部１２０は、ＨＭＤ１１０とは別のハードウェアとして構成してよい。当該ハードウェアは、パーソナルコンピュータやネットワークを通じたサーバ・コンピュータのようなコンピュータとすることができる。即ち、図示はしないが、相互にバス接続されたＣＰＵ、主記憶、補助記憶、送受信部、表示部、および入力部を備える任意のコンピュータとすることができる。代替として、制御回路部１２０は、視界調整装置としてＨＭＤ１１０内部に搭載されてもよい。この場合は、制御回路部１２０は、視界調整装置の全部または一部の機能のみを実装することができる。一部のみを実装した場合には、残りの機能をＨＭＤ１１０側、またはネットワークを通じたサーバ・コンピュータ（非図示）側に実装してもよい。

【0017】

更に、ＨＭＤシステム１００が備えるポジション・トラッキング・カメラ１３０は、制御回路部１２０に通信可能に接続され、ＨＭＤ１１０の位置追跡機能を有する。ポジション・トラッキング・カメラ１３０は、赤外線センサおよび／または複数の光学カメラを用いて実現される。ＨＭＤシステム１００は、ポジション・トラッキング・カメラ１３０を具備し、ユーザ頭部のＨＭＤの位置を検知することによって、実空間のＨＭＤの位置および３次元仮想空間における仮想カメラ／没入ユーザの仮想空間位置を正確に対応付けて、特定することができる。

【0018】

より具体的には、ポジション・トラッキング・カメラ１３０は、図４に例示的に示すように、ＨＭＤ１１０上に仮想的に設けられ、赤外線を検知する複数の検知点の実空間位置をユーザの動きに対応して経時的に検知する。そして、ポジション・トラッキング・カメラ１３０により検知された実空間位置の経時的変化に基づいて、ＨＭＤ１１０の動きに応じて、実空間のＨＭＤの位置および３次元仮想空間における仮想カメラ／没入ユーザの仮想空間位置を正確に対応付け、特定することができる。なお、本発明の実施の形態では、ポジション・トラッキング・カメラ１３０は任意の構成要素である。ポジション・トラッキング・カメラ１３０を用いない場合には、３次元仮想空間においてユーザを常に中心（原点）に配置するように構成することになる。

【0019】

再度図２に戻り、ＨＭＤシステム１００が備えるリアルタイム・カメラ１４０は、ユーザの実空間の周辺画像をリアルタイムで撮影して生成すると共に、生成した画像をリアルタイムまたは一定間隔で記憶する。リアルタイム・カメラは、周辺環境を複数の異なる方向から同時に撮影することにより、その奥行き方向の情報も記録できるようにしたステレオ・カメラとしてもよい。そして、リアルタイム・カメラ１４０は、ＵＳＢやＩＥＥＥ１３９４等のインタフェースを有し、接続先のコンピュータ１２０にリアルタイム画像転送を可能である。特に、ネットワーク・インタフェースを有し、有線／無線通信を通じてローカル／グローバルにアクセス可能なネットワーク・カメラ、特にＷｅｂカメラとするのがよい。

【0020】

これより図５以降を参照して、本発明の実施形態により、没入型仮想空間に実空間のユーザの周辺環境を提示するための各情報処理について説明する。図５は、没入型仮想空間に実空間のユーザの周辺環境を提示するために、実空間の周辺環境に関する情報を３次元仮想空間に関連付けてＨＭＤに表示するための模式図である。

【0021】

図示のように、コンピュータ１２０のディスプレイの上部にリアルタイム・カメラ１４０が設置され、それと向かい合うようにユーザ１がＨＭＤ１１０を装着して配置される。ユーザのＨＭＤに表示される３次元画像は、同時に、２次元画像としてコンピュータ１２０のディスプレイに表示されている。そして、コンピュータ１２０の当該ディスプレイを覗きこむように別の２人（２，３）がユーザ１の至近距離に存在する。この段階では、ＨＭＤユーザ１は、３次元仮想空間に没入した状態のため実空間の様子を観察できず、未だ人２，３の存在に気づいていない。

【0022】

本発明の実施形態によるＨＭＤシステムは、ＨＭＤユーザ１に対し、人２，３に関する情報を３次元仮想空間に関連付けてＨＭＤに表示することによって人２，３の存在を知らせる。より具体的には、まず、（ｉ）人２，３が映り込んだリアルタイム・カメラ１４０の画像をコンピュータが取得し、顔認識プログラムを用いて当該画像から人２，３を検知する。次いで、（ｉｉ）検知した人の数に応じて、例えば、３次元仮想空間にキャラクタ表示を行うことによって、ＨＭＤユーザ１に２人の存在を知らせる。なお、上記（ｉ）での顔認識プログラムにおける顔認識・検知機能は、当業者にとって公知のものを用いてよく、ここでは説明を省略する。また、当該顔認識を用いても、ＨＭＤユーザ１自身はＨＭＤにより顔面の上半分が隠れた状態のため、人の顔としては検知されることはない。

【0023】

図６は、本発明の実施形態により、没入型仮想空間に実空間のユーザの周辺環境を提示する情報処理を実装するために、図２の制御回路部１２０に関するコンポーネントの主要機能の構成を示したブロック図である。制御回路部１２０では、主に、センサ１１４／１３０からの入力を受け、当該入力をリアルタイム・カメラ１４０から取得した周辺画像と共に処理を実施して、ＨＭＤ（ディスプレイ）１１２への出力を行う。制御回路部１２０は、主に、動き検知部２１０、視界決定部２２０および視界画像生成部２３０、並びに、周辺画像取得部２５０、環境検知部２６０、および空間画像重畳部２７０を含む。そして、仮想空間情報を格納した空間情報格納部２８０等の各種テーブルと相互作用することにより各種情報を処理するように構成される。

【0024】

動き検知部２１０では、センサ１１４／１３０で測定された動き情報の入力に基づいて、ユーザの頭部に装着されたＨＭＤ１１０の各種動きデータを決定する。本発明の実施形態では、特に、ＨＭＤが具備する傾きセンサ（ジャイロ・センサ）１１４により経時的に検知される傾き（角度）情報により経時的に検知される位置情報を決定する。なお、本発明の実施形態では、上記のとおり、ポジション・トラッキング・カメラ１３０の使用は任意であり、使用しない場合には、３次元仮想空間においてユーザを常に中心（原点）に配置するように構成することになる。

【0025】

視界決定部２２０では、空間情報格納部２８０に格納された３次元仮想空間情報、並びに、動き検知部２１０で検知された傾き情報に基づいて、３次元仮想空間に配置した仮想カメラの位置、方向、そして、該仮想カメラからの視界領域を決定する。また、視界画像生成部２３０では、ＨＭＤに３次元仮想空間画像を表示するために、視界決定部２２０で決定した視界領域に対する３６０度パノラマの一部の視界画像を、仮想空間情報を用いて生成することができる。なお、視界画像は、２次元画像を左目用と右目用の２つを生成し、ＨＭＤにおいてこれら２つを重畳させて生成することで、ユーザには３次元画像の如くＨＭＤに表示可能である。

【0026】

一方、周辺画像取得部２５０では、リアルタイム・カメラ１４０によって連続的に撮影された周辺画像を記憶部に取り込む。そして、環境検知部２６０では、周辺画像取得部２５０で取得した各周辺画像を用いて実空間の周辺環境、特に周辺環境の「変化」を検知する。より具体的には、顔認識プログラムを用いて周辺画像から人の顔の存在、特に人数の増減を検知することができる。なお、顔認識プログラムの実行は、制御回路部１２０側に実装する機能としてではなく、リアルタイム・カメラ１４０側に実装する機能として実行してもよいことが理解されるべきである。

【0027】

空間画像重畳部（出力部）２７０では、環境検知部２６０で検知した周辺環境に関する情報を、空間情報格納部３００に格納された仮想空間情報に関連付けてＨＭＤ（ディスプレイ）１１２に出力する。周辺環境に関する情報の出力には、検知された人の数、即ち、周辺環境における人数を３次元仮想空間内で通知し、および／または検知された人を３次元仮想空間内において３次元キャラクタとして配置するように、これらの画像を空間画像に重畳させてＨＭＤ１１２に表示することを含む。

【0028】

しかしながら、周辺環境に関する情報のＨＭＤへの出力はこれらに限定されない。例えば、リアルタイム・カメラ１４０として複数のステレオ・カメラのように奥行き情報を取得可能なものを採用した場合は、検知する人の位置情報も取得可能であるため、ポジション・トラッキング・カメラ１３０と併せて使用することで、３次元仮想空間におけるＨＭＤユーザと人の位置関係についても、周辺環境に関する情報として有することができる。

【0029】

次に、図７および図８を参照して、本発明の実施形態による、没入型仮想空間に実空間のユーザの周辺環境を提示する処理フローについて説明する。本情報処理は、主に、ＨＭＤ１１０とコンピュータ（制御回路部）１２０との間の相互作用（図７）、および、リアルタイム・カメラ１４０とＨＭＤ１１０とコンピュータ（制御回路部）１２０との間の相互作用（図８）を通じて実施されることが理解される。図７は、図１（ａ）および図１（ｂ）に示したように、ユーザのＨＭＤ傾け動作と共に没入型３次元仮想空間においてユーザが視界を変更しながら視界画像を表示する処理フローについて示す。一方、図８は、これに引き続いて、検知した実空間の周囲環境に関する情報を３次元仮想空間に関連付けてＨＭＤに表示する処理フローについて示す。

【0030】

図７では、まず、ＨＭＤ１１０は、ステップＳ１０−１のように、定常的に各センサ１１４／１３０を用いてユーザ頭部の動きを検知している。それを受けて、制御回路部１２０では、動き検知部２１０によってＨＭＤ１１０の傾き情報および位置情報を決定する。そして、ステップＳ２０−１では、動き検知部２１０により、位置情報に基づいて３次元仮想空間内に配置される仮想カメラの位置を決定すると共に、ステップＳ２０−２では、同じく動き検知部２１０により、傾き情報に基づき仮想カメラの向きを決定する。なお、上述したように、本実施の形態では、ポジション・トラッキング・カメラ１３０は必須の構成要素ではなく、設けない場合には、ステップＳ２０−１は省略され、位置情報の決定は行わなくてよい。

【0031】

引き続き、ステップＳ２０−３では、視界決定部２２０により、仮想カメラの位置および向き、並びに仮想カメラの所定の視野角度に基づいて、３次元仮想空間内の仮想カメラからの視界領域を決定する。そして、ステップＳ２０−４では、視界画像生成部２３０により、ＨＭＤ１１２に表示するために、上記決定した視界領域に対する視界画像を生成する。次いで、ステップS１０−２に進み、ステップＳ２０−４で生成した視界画像をＨＭＤのディスプレイ１１２に表示する。

【0032】

上記ステップＳ１０−１、Ｓ２０−１からＳ２０−４、次いでＳ１０−２が一連の基本処理ルーチンであり、アプリケーション実行中は、これらステップは基本的に繰り返し処理される。３次元仮想空間に没入したユーザにとっては、通常の動作モードとして、自身の頭部を傾ける動作を通じて、様々な位置および方向からの３次元仮想空間の視界をビュー可能である。他方、このような基本処理ルーチンと併せて、制御回路部１２０の周辺画像取得部２５０では、周辺環境に人を検知するために、リアルタイム・カメラ１４０から周辺画像を定常的に取得している。そこで、図８に、検知した実空間の周囲環境に関する情報を３次元仮想空間に関連付けてＨＭＤに表示する処理フローについて示す。

【0033】

ステップＳ３０−１では、リアルタイム・カメラ１４０による連続的なカメラ撮影を通じて、周辺画像が連続的に生成される。これに応じて、ステップＳ２０−５では、制御回路部１２０の周辺画像取得部２５０により周辺画像を取得すると共に、ステップＳ２０−６では、環境検知部２６０により取得済みの周辺画像を用いて周辺環境を検知する。特に、周辺環境の変化を検知する。具体的には、画像に対する顔認識機能を用いて周辺に存在する人や人数を検知する。特に、人数が増減した場合には、周辺環境が変化したものと特定することができ、変化についてユーザに通知するのが有利となる。

【0034】

ステップＳ２０−７で環境検知部２６０により人の検知があった場合には、引き続きステップＳ２０−８に進む。ステップＳ２０−８では、空間画像重畳部２７０によって、周辺環境に基づく情報および／または対応する画像を生成し、仮想空間情報格納部３００に格納された仮想空間情報に上記情報および／または画像を関連付けて、ステップＳ１０−３においてＨＭＤ１１０に表示する。上記周辺環境に基づく情報には、人数やキャラクタ情報が含まれるがこれに限定されないことが理解されるべきである。

【0035】

ステップＳ１０−３でのＨＭＤ１１０への表示について、以下に、図９〜図１２に示す幾らかの実施例を用いて説明する。ここでは、具体的な表示態様として、図９に第１実施例を、図１０〜図１２に第２実施例を示す。

【0036】

図９は、図１（ａ）に示した仮想マルチディスプレイ・アプリケーションで表示される画面である。そして、顔認識により特定された人が１人の場合の例である。図示のように、ここでは「閲覧者が１名います。」というメッセージを３次元仮想空間内にメッセージ表示する（画面中央上部）。それと同時に、図９では、仮想メイン・ディスプレイとなる中央部分に、リアルタイム・カメラからの実空間の映像をそのまま表示させることにより、仮想空間画像の一部としてＨＭＤに表示する。即ち、ＨＭＤユーザの後方に一人が存在し、その顔がリアルタイム・カメラで撮影・検知されている状況がそのまま３次元仮想空間内で映されＨＭＤに表示される。第１実施例では、このように、３次元仮想空間に没入状態にあるユーザは、ＨＭＤを脱着することなく装着したままでも、自身の近辺に人が存在するといった周辺環境の変化を検知可能となる。つまり、本実施例では、リアルタイム・カメラを人検知センサとして適用可能である。

【0037】

図１０〜図１２は、リアルタイム・カメラを用いて人を検知した場合に、当該人に対応するキャラクタを３次元仮想空間内に配置するようキャラクタ画像を仮想空間画像に重畳して、ＨＭＤに表示するように構成した第２実施例である。実空間でリアルタイム・カメラによって人の顔が検知された場合、検知された人の顔が周辺画像上のどのエリア（例えば、画像上の右／左、右上／右下／左上／左下のエリア等）かについて同時に特定する。そして、３次元仮想空間において、当該エリアに対応する方向（例えば、左方向／右方向、右上方向／右下方向／左上方向／左下方向等）から、人に対応した「くま」のキャラクタが移動しながら映り込むようにキャラクタ画像を仮想空間画像に重畳して、ＨＭＤに表示する。図１０の例では、図９のようにリアルタイム・カメラから見て左方向に人が存在するために、当該人に対応する「くま」のキャラクタが、右方向に左から駆け足で移動（矢印）しながら映り込むようにＨＭＤに表示するのがよい。

【0038】

図１１および図１２では、このように移動しながら映り込んだ２匹の「くま」のキャラクタをＨＭＤに表示する例であり、ＨＭＤユーザは、自身の近辺に２人の人が存在するといった周辺環境の変化を、ＨＭＤを装着したまま検知可能となる。なお、図１１は「くま」キャラクタの正面図、図１２は背面図を示す。

【0039】

以上、本発明による没入型仮想空間に実空間のユーザの周辺環境を提示する実施形態についていくつかの例示と共に説明してきたが、本発明は上記実施形態に限定されるものではない。特許請求の範囲に記載される本発明の趣旨及び範囲から逸脱することなく、様々な実施形態の変更がなされ得ることを当業者は理解するであろう。

【符号の説明】

【0040】

１００ ＨＭＤシステム
１１０ ＨＭＤ
１１２ ディスプレイ
１１４ 傾きセンサ（ジャイロ・センサ）
１２０ コンピュータ（制御回路部）
１３０ ポジション・トラッキング・カメラ
１４０ リアルタイム・カメラ
２１０ 動き検知部
２２０ 視界決定部
２３０ 視界画像生成部
２５０ 周辺画像取得部
２６０ 環境検知部
２７０ 空間画像重畳（出力）部
２８０ 空間情報格納部

【要約】

【課題】ユーザがＨＭＤを装着して３次元仮想空間に没入している状態において、実空間での周辺環境を検知できるよう、周辺環境の情報を３次元仮想空間内に提示すること
【解決手段】本ＨＭＤシステムは、仮想空間情報に基づいて生成される仮想空間画像を表示して、ユーザを仮想空間に没入させる、ユーザが装着するＨＭＤと、ユーザの実空間の周辺画像を生成するリアルタイム・カメラと、ＨＭＤおよびリアルタイム・カメラに接続されるコンピュータであって、リアルタイム・カメラから周辺画像を取得し、該取得した周辺画像を用いて実空間の周辺環境を検知し、周辺環境に関する情報を仮想空間情報に関連付けてＨＭＤに出力するように構成されるコンピュータと、を備える。
【選択図】図５

【図3】

【図4】

【図5】

【図6】

【図1】

【図2】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】