特開 2023-104609 情報処理装置および情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023104609

(43)【公開日】2023-07-28

(54)【発明の名称】情報処理装置および情報処理方法

(51)【国際特許分類】

   G06T 19/00 20110101AFI20230721BHJP

   G06F 3/01 20060101ALI20230721BHJP

【ＦＩ】

G06T19/00 600

G06F3/01 510

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022005706

(22)【出願日】2022-01-18

(71)【出願人】

【識別番号】310021766

【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(74)【代理人】

【識別番号】100109047

【弁理士】

【氏名又は名称】村田 雄祐

(74)【代理人】

【識別番号】100109081

【弁理士】

【氏名又は名称】三木 友由

(74)【代理人】

【識別番号】100134256

【弁理士】

【氏名又は名称】青木 武司

(72)【発明者】

【氏名】中川 武

(72)【発明者】

【氏名】畑田 敬志

(72)【発明者】

【氏名】大江 邦明

(72)【発明者】

【氏名】小原 静華

(72)【発明者】

【氏名】岩城 春香

【テーマコード（参考）】

5B050

5E555

【Ｆターム（参考）】

5B050AA03

5B050BA06

5B050BA09

5B050BA11

5B050BA13

5B050CA08

5B050DA07

5B050EA05

5B050EA19

5B050EA26

5B050FA02

5B050FA13

5B050FA17

5E555AA63

5E555AA69

5E555AA76

5E555BA20

5E555BA38

5E555BB38

5E555BC13

5E555BE17

5E555CA42

5E555DA08

5E555DA09

5E555DB53

5E555DC09

5E555DC10

5E555DC21

5E555DC31

5E555DC64

5E555DD06

5E555EA03

5E555EA09

5E555EA22

5E555FA00

(57)【要約】

【課題】ヘッドマウントディスプレイを装着したユーザに対する、自分の周囲を見回したくなるＵＸの提供を少ないメモリ量で実現する技術を提供する。
【解決手段】画像生成装置２００は、ヘッドマウントディスプレイ１００を装着したユーザにプレイエリアを見回させるための見回し画面を生成する。画像生成装置２００は、ヘッドマウントディスプレイ１００のカメラにより撮像された、ユーザの周囲の空間を複数の方向から写した複数枚のカメラ画像に基づいて、ユーザの位置を推定するためのマップを生成する。見回し画面では、プレイエリアを示す画像に所定の特殊画像が重畳され、かつ、特殊画像の中でユーザの視線方向に一致した領域がそれまでとは異なる表示態様に変化する。特殊画像は、ヘッドマウントディスプレイ１００の周囲の空間であって、プレイエリアの最大範囲より狭い範囲の空間に設定される。
【選択図】図１

【特許請求の範囲】

【請求項1】

ヘッドマウントディスプレイを装着したユーザがアプリケーションのプレイ中に移動可能なプレイエリアについて、前記プレイエリアを前記ユーザに見回させるための画面である見回し画面を生成する見回し画面生成部と、
前記見回し画面を前記ヘッドマウントディスプレイに表示させる表示制御部と、
前記ヘッドマウントディスプレイのカメラにより撮像された、前記ユーザの周囲の空間を複数の方向から写した複数枚のカメラ画像に基づいて、前記プレイエリアにおける前記ユーザの位置を推定するためのマップを生成するマップ生成部と、
を備え、
前記見回し画面では、前記プレイエリアを示す画像に所定の特殊画像が重畳され、かつ、前記特殊画像の中で前記ユーザの視線方向に一致した領域がそれまでとは異なる表示態様に変化し、
前記見回し画面生成部は、前記ヘッドマウントディスプレイの周囲の空間であって、前記プレイエリアの最大範囲より狭い範囲の空間に前記特殊画像を設定する、
情報処理装置。

【請求項2】

前記見回し画面生成部は、前記特殊画像を設定する空間である特定空間の位置を、前記ヘッドマウントディスプレイの位置の変化に追従して変更する、
請求項１に記載の情報処理装置。

【請求項3】

前記見回し画面生成部は、前記ヘッドマウントディスプレイが回動しても前記特定空間を回動させない、
請求項２に記載の情報処理装置。

【請求項4】

前記見回し画面では、前記特殊画像の中で前記ユーザの視線方向に一致したことがない領域に第１の透過度が設定され、前記特殊画像の中で前記ユーザの視線方向に一致したことがある領域に前記第１の透過度より高い第２の透過度が設定される、
請求項１から３のいずれかに記載の情報処理装置。

【請求項5】

前記見回し画面生成部は、前記特殊画像の中で前記ユーザの視線方向に一致したことがない領域と、前記特殊画像の中で前記ユーザの視線方向に一致したことがある領域との境界において透過度を漸次変化させる、
請求項４に記載の情報処理装置。

【請求項6】

前記特殊画像の中で前記ユーザの視線方向に一致した場合に表示態様が変化する領域のサイズは、当該領域の両端とユーザの視点とのなす角が略４０度になるよう定められている、
請求項１から５のいずれかに記載の情報処理装置。

【請求項7】

ヘッドマウントディスプレイを装着したユーザがアプリケーションのプレイ中に移動可能なプレイエリアについて、前記プレイエリアを前記ユーザに見回させるための画面である見回し画面を生成するステップと、
前記見回し画面を前記ヘッドマウントディスプレイに表示させるステップと、
前記ヘッドマウントディスプレイのカメラにより撮像された、前記ユーザの周囲の空間を複数の方向から写した複数枚のカメラ画像に基づいて、前記プレイエリアにおける前記ユーザの位置を推定するためのマップを生成するステップと、
をコンピュータが実行し、
前記見回し画面では、前記プレイエリアを示す画像に所定の特殊画像が重畳され、かつ、前記特殊画像の中で前記ユーザの視線方向に一致した領域がそれまでとは異なる表示態様に変化し、
前記見回し画面を生成するステップは、前記ヘッドマウントディスプレイの周囲の空間であって、前記プレイエリアの最大範囲より狭い範囲の空間に前記特殊画像を設定する、
情報処理方法。

【請求項8】

ヘッドマウントディスプレイを装着したユーザがアプリケーションのプレイ中に移動可能なプレイエリアについて、前記プレイエリアを前記ユーザに見回させるための画面である見回し画面を生成する機能と、
前記見回し画面を前記ヘッドマウントディスプレイに表示させる機能と、
前記ヘッドマウントディスプレイのカメラにより撮像された、前記ユーザの周囲の空間を複数の方向から写した複数枚のカメラ画像に基づいて、前記プレイエリアにおける前記ユーザの位置を推定するためのマップを生成する機能と、
をコンピュータに実現させ、
前記見回し画面では、前記プレイエリアを示す画像に所定の特殊画像が重畳され、かつ、前記特殊画像の中で前記ユーザの視線方向に一致した領域がそれまでとは異なる表示態様に変化し、
前記見回し画面を生成する機能は、前記ヘッドマウントディスプレイの周囲の空間であって、前記プレイエリアの最大範囲より狭い範囲の空間に前記特殊画像を設定する、
コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、データ処理技術に関し、特に情報処理装置および情報処理方法に関する。

【背景技術】

【0002】

ヘッドマウントディスプレイを装着したユーザが対象空間を自由な視点から鑑賞できる画像表示システムが普及している。例えば仮想３次元空間を表示対象とし、ユーザの視線方向に応じた画像がヘッドマウントディスプレイに表示されるようにすることで仮想現実（Virtual Reality：ＶＲ）を実現する電子コンテンツが知られている。ヘッドマウントディスプレイを利用することで、映像への没入感を高めたり、ゲーム等のアプリケーションの操作性を向上させたりすることもできる。また、ヘッドマウントディスプレイを装着したユーザが物理的に移動することで、映像として表示された空間内を仮想的に歩き回ることのできるウォークスルーシステムも開発されている。

【発明の概要】

【発明が解決しようとする課題】

【0003】

ヘッドマウントディスプレイを装着したユーザがアプリケーションのプレイ中に移動可能なエリア（以下「プレイエリア」とも呼ぶ。）におけるユーザの位置を精度よく推定するためには、詳細なマップデータが必要である。そして、詳細なマップデータを得るためには、カメラを備えるヘッドマウントディスプレイを装着したユーザに、自分の周囲を見回してもらう必要がある。また、周囲を見回したくなるユーザ体験（ＵＸ：User eXperience）の提供は、省メモリで実現できることが望ましい。

【0004】

本発明はこうした課題に鑑みてなされたものであり、１つの目的は、ヘッドマウントディスプレイを装着したユーザに対する、自分の周囲を見回したくなるＵＸの提供を少ないメモリ量で実現する技術を提供することにある。

【課題を解決するための手段】

【0005】

上記課題を解決するために、本発明のある態様の情報処理装置は、ヘッドマウントディスプレイを装着したユーザがアプリケーションのプレイ中に移動可能なプレイエリアについて、プレイエリアをユーザに見回させるための画面である見回し画面を生成する見回し画面生成部と、見回し画面をヘッドマウントディスプレイに表示させる表示制御部と、ヘッドマウントディスプレイのカメラにより撮像された、ユーザの周囲の空間を複数の方向から写した複数枚のカメラ画像に基づいて、プレイエリアにおけるユーザの位置を推定するためのマップを生成するマップ生成部と、を備える。見回し画面では、プレイエリアを示す画像に所定の特殊画像が重畳され、かつ、特殊画像の中でユーザの視線方向に一致した領域がそれまでとは異なる表示態様に変化し、見回し画面生成部は、ヘッドマウントディスプレイの周囲の空間であって、プレイエリアの最大範囲より狭い範囲の空間に特殊画像を設定する。

【0006】

本発明の別の態様は、情報処理方法である。この方法は、ヘッドマウントディスプレイを装着したユーザがアプリケーションのプレイ中に移動可能なプレイエリアについて、プレイエリアをユーザに見回させるための画面である見回し画面を生成するステップと、見回し画面をヘッドマウントディスプレイに表示させるステップと、ヘッドマウントディスプレイのカメラにより撮像された、ユーザの周囲の空間を複数の方向から写した複数枚のカメラ画像に基づいて、プレイエリアにおけるユーザの位置を推定するためのマップを生成するステップと、をコンピュータが実行し、見回し画面では、プレイエリアを示す画像に所定の特殊画像が重畳され、かつ、特殊画像の中でユーザの視線方向に一致した領域がそれまでとは異なる表示態様に変化し、見回し画面を生成するステップは、ヘッドマウントディスプレイの周囲の空間であって、プレイエリアの最大範囲より狭い範囲の空間に特殊画像を設定する。

【0007】

なお、以上の構成要素の任意の組合せ、本発明の表現をシステム、コンピュータプログラム、コンピュータプログラムを読み取り可能に記録した記録媒体、データ構造などの間で変換したものもまた、本発明の態様として有効である。

【発明の効果】

【0008】

本発明によれば、ヘッドマウントディスプレイを装着したユーザに対する、自分の周囲を見回したくなるＵＸの提供を少ないメモリ量で実現することができる。

【図面の簡単な説明】

【0009】

【図1】実施例のヘッドマウントディスプレイの外観例を示す図である。

【図2】実施例の画像表示システムの構成例を示す図である。

【図3】画像生成装置がヘッドマウントディスプレイに表示させる画像世界の例を説明するための図である。

【図4】画像生成装置の内部回路構成を示す図である。

【図5】ヘッドマウントディスプレイの内部回路構成を示す図である。

【図6】画像生成装置の機能ブロックを示すブロック図である。

【図7】見回し画面の例を示す図である。

【図8】視認済領域の単位形状を示す図である。

【図9】見回し画面の例を示す図である。

【図10】記憶対象となる視認領域の範囲を示す図である。

【図11】記憶対象となる視認領域の範囲を示す図である。

【図12】画像生成装置の動作を示すフローチャートである。

【図13】初期設定時のユーザの行動を模式的に示す図である。

【図14】カメラ画像の例を示す図である。

【図15】キーフレームの例を示す図である。

【図16】複数のビンを示す図である。

【図17】画像生成装置の動作を示すフローチャートである。

【発明を実施するための形態】

【0010】

本実施例は、ユーザの頭部に装着されたヘッドマウントディスプレイにアプリケーションの画像を表示する画像表示システムに関する。図１は、実施例のヘッドマウントディスプレイ１００の外観例を示す。ヘッドマウントディスプレイ１００は、出力機構部１０２と装着機構部１０４を備える。装着機構部１０４は、ユーザが被ることにより頭部を一周し装置の固定を実現する装着バンド１０６を含む。

【0011】

出力機構部１０２は、ヘッドマウントディスプレイ１００をユーザが装着した状態において左右の目を覆うような形状の筐体１０８を含み、内部には装着時に目に正対するように表示パネルを備える。実施例のヘッドマウントディスプレイ１００の表示パネルは、透過性がないものとする。すなわち、実施例のヘッドマウントディスプレイ１００は、光不透過型のヘッドマウントディスプレイである。

【0012】

筐体１０８内部にはさらに、ヘッドマウントディスプレイ１００の装着時に表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する接眼レンズを備えてよい。ヘッドマウントディスプレイ１００はさらに、装着時にユーザの耳に対応する位置にスピーカーやイヤホンを備えてよい。また、ヘッドマウントディスプレイ１００は、モーションセンサを内蔵し、ヘッドマウントディスプレイ１００を装着したユーザの頭部の並進運動や回転運動、ひいては各時刻の位置や姿勢を検出する。

【0013】

また、ヘッドマウントディスプレイ１００は、筐体１０８の前面にステレオカメラ１１０を備える。ステレオカメラ１１０は、ユーザの視線に対応する視野で周囲の実空間を動画撮影する。撮影した画像を即時に表示させれば、ユーザが向いた方向の実空間の様子がそのまま見える、いわゆるビデオシースルーを実現できる。さらに撮影画像に写っている実物体の像上に仮想オブジェクトを描画すれば拡張現実（Augmented Reality：ＡＲ）を実現できる。なお、画像表示システム１０が備えるカメラの台数に制限はなく、ヘッドマウントディスプレイ１００は、１台のカメラを備えてもよく、３台以上のカメラを備えてもよい。

【0014】

図２は、実施例の画像表示システム１０の構成例を示す。画像表示システム１０は、ヘッドマウントディスプレイ１００、画像生成装置２００、コントローラ１４０を備える。ヘッドマウントディスプレイ１００は、無線通信により画像生成装置２００に接続される。画像生成装置２００は、さらにネットワークを介してサーバに接続されてもよい。その場合、サーバは、複数のユーザがネットワークを介して参加できるゲームなどのオンラインアプリケーションのデータを画像生成装置２００に提供してもよい。

【0015】

画像生成装置２００は、ヘッドマウントディスプレイ１００を装着したユーザの頭部の位置や姿勢に基づき視点の位置や視線の方向を特定し、それに応じた視野となるように表示画像を生成してヘッドマウントディスプレイ１００に出力する情報処理装置である。例えば、画像生成装置２００は、電子ゲームを進捗させつつゲームの舞台である仮想世界の表示画像を生成し、表示させてもよいし、仮想世界か実世界かに関わらず観賞や情報提供のための動画像を生成し、表示させてもよい。また、ユーザの視点を中心に広い画角のパノラマ画像をヘッドマウントディスプレイ１００に表示させることによって、表示世界への深い没入感をユーザに与えることができる。画像生成装置２００は、据置型ゲーム機、ＰＣまたはタブレット端末であってもよい。

【0016】

コントローラ１４０は、ユーザの手に把持され、ユーザの操作が入力される入力装置（例えばゲームコントローラ）である。ユーザの操作は、画像生成装置２００における画像生成を制御する操作や、ヘッドマウントディスプレイ１００における画像表示を制御する操作を含む。コントローラ１４０は、無線通信により画像生成装置２００に接続される。変形例として、ヘッドマウントディスプレイ１００とコントローラ１４０の一方または両方は、信号ケーブル等を介した有線通信で画像生成装置２００に接続されてもよい。

【0017】

図３は、画像生成装置２００がヘッドマウントディスプレイ１００に表示させる画像世界の例を説明するための図である。この例では、ユーザ１２が仮想空間である部屋にいる状態を作り出している。図示するように、仮想空間を定義するワールド座標系には、壁、床、窓、テーブル、テーブル上の物などのオブジェクトを配置している。画像生成装置２００は、当該ワールド座標系に、ユーザ１２の視点の位置や視線の方向に応じてビュースクリーン１４を定義し、そこにオブジェクトの像を表すことで表示画像を描画する。

【0018】

画像生成装置２００は、ユーザ１２の視点の位置や視線の方向（以後、これらを包括的に「視点」と呼ぶ場合がある）を所定のレートでヘッドマウントディスプレイ１００から取得し、これに応じてビュースクリーン１４の位置や方向を変化させる。これにより、ユーザの視点に対応する視野で画像をヘッドマウントディスプレイ１００に表示させることができる。また、画像生成装置２００は、視差を有するステレオ画像を生成し、ヘッドマウントディスプレイ１００の表示パネルの左右の領域にステレオ画像を表示させれば、仮想空間をユーザ１２に立体視させることもできる。これにより、ユーザ１２は、あたかも表示世界の部屋の中にいるような仮想現実を体験することができる。

【0019】

図４は、画像生成装置２００の内部回路構成を示す。画像生成装置２００は、ＣＰＵ（Central Processing Unit）２２２、ＧＰＵ（Graphics Processing Unit)２２４、メインメモリ２２６を含む。これらの各部は、バス２３０を介して相互に接続される。バス２３０にはさらに入出力インターフェース２２８が接続される。入出力インターフェース２２８には、通信部２３２、記憶部２３４、出力部２３６、入力部２３８、記録媒体駆動部２４０が接続される。

【0020】

通信部２３２は、ＵＳＢやＩＥＥＥ１３９４などの周辺機器インターフェースや、有線ＬＡＮまたは無線ＬＡＮ等のネットワークインターフェースを含む。記憶部２３４は、ハードディスクドライブや不揮発性メモリ等を含む。出力部２３６は、ヘッドマウントディスプレイ１００へのデータを出力する。入力部２３８は、ヘッドマウントディスプレイ１００からのデータ入力を受け付け、また、コントローラ１４０からのデータ入力を受け付ける。記録媒体駆動部２４０は、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する。

【0021】

ＣＰＵ２２２は、記憶部２３４に記憶されているオペレーティングシステムを実行することにより画像生成装置２００の全体を制御する。また、ＣＰＵ２２２は、記憶部２３４またはリムーバブル記録媒体から読み出されてメインメモリ２２６にロードされた、あるいは通信部２３２を介してダウンロードされた各種プログラム（例えばＶＲゲームアプリケーション等）を実行する。ＧＰＵ２２４は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ２２２からの描画命令にしたがって描画処理を行い、描画結果を出力部２３６に出力する。ＣＰＵ２２２とＧＰＵ２２４の一方または両方をプロセッサと呼ぶこともできる。メインメモリ２２６は、ＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。

【0022】

図５は、ヘッドマウントディスプレイ１００の内部回路構成を示す。ヘッドマウントディスプレイ１００は、ＣＰＵ１２０、メインメモリ１２２、表示部１２４、音声出力部１２６を含む。これらの各部はバス１２８を介して相互に接続されている。バス１２８にはさらに入出力インターフェース１３０が接続されている。入出力インターフェース１３０には、無線通信のインターフェースを含む通信部１３２、モーションセンサ１３４、およびステレオカメラ１１０が接続される。

【0023】

ＣＰＵ１２０は、バス１２８を介してヘッドマウントディスプレイ１００の各部から取得した情報を処理するとともに、画像生成装置２００から取得した表示画像や音声のデータを表示部１２４や音声出力部１２６に供給する。メインメモリ１２２は、ＣＰＵ１２０における処理に必要なプログラムやデータを格納する。

【0024】

表示部１２４は、液晶パネルや有機ＥＬパネルなどの表示パネルを含み、ヘッドマウントディスプレイ１００を装着したユーザの眼前に画像を表示する。表示部１２４は、左右の目に対応する領域に一対のステレオ画像を表示することにより立体視を実現してもよい。表示部１２４はさらに、ヘッドマウントディスプレイ１００装着時に表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する一対のレンズを含んでもよい。

【0025】

音声出力部１２６は、ヘッドマウントディスプレイ１００の装着時にユーザの耳に対応する位置に設けたスピーカーやイヤホンで構成され、ユーザに音声を聞かせる。通信部１３２は、画像生成装置２００との間でデータを送受するためのインターフェースであり、Bluetooth（登録商標）などの既知の無線通信技術により通信を実現する。モーションセンサ１３４はジャイロセンサおよび加速度センサを含み、ヘッドマウントディスプレイ１００の角速度や加速度を取得する。

【0026】

ステレオカメラ１１０は、図１で示したとおり、ユーザの視点に対応する視野で周囲の実空間を左右の視点から撮影するビデオカメラの対である。ステレオカメラ１１０により撮像されたユーザの周囲空間を写した画像を以下「カメラ画像」とも呼ぶ。カメラ画像は、ユーザの視線方向（典型的にはユーザの正面）の実空間を写した画像と言え、ユーザの視線方向に存在する物体が写る画像とも言える。モーションセンサ１３４による計測値や、ステレオカメラ１１０による撮影画像（カメラ画像）のデータは、必要に応じて、通信部１３２を介して画像生成装置２００へ送信される。

【0027】

実施例の画像表示システム１０では、ヘッドマウントディスプレイ１００を装着したユーザがアプリケーションのプレイ中に移動可能な実世界の範囲を規定したプレイエリアが設定される。プレイエリアは、ユーザの周囲空間（ユーザの周囲に広がる実世界の空間）うち、ユーザが仮想現実画像（以下「ＶＲ画像」とも呼ぶ。）を視聴中に動き回ることが許可されたエリアまたは範囲と言える。アプリケーションのプレイ中にユーザがプレイエリアを逸脱しようとする場合や逸脱した場合、画像表示システム１０は、注意を促す内容またはプレイエリアへの復帰を促す内容の警告をユーザに提供する。

【0028】

上記のアプリケーションは、ＶＲ画像をヘッドマウントディスプレイ１００に表示させるゲームアプリケーションであることとし、以下「ＶＲゲーム」とも呼ぶ。ＶＲゲームは、例えば、仮想世界のテニスコートを示すＶＲ画像を表示させ、実世界でのユーザの移動（歩行等）に伴って、仮想世界のテニスコートにおけるキャラクタの位置を変化させるテニスゲームであってもよい。

【0029】

実施例の画像表示システム１０の特徴を説明する。画像表示システム１０は、ヘッドマウントディスプレイ１００を装着したユーザがＶＲゲームのプレイ中に移動可能なプレイエリアにおけるユーザの位置を推定するトラッキング処理を実行し、ユーザの位置に応じたＶＲ画像をヘッドマウントディスプレイ１００に表示させる。トラッキング処理においてユーザの位置を精度よくかつ安定的に得るには、プレイエリアに関する詳細なマップデータが必要である。そして、詳細なマップデータを得るには、ヘッドマウントディスプレイ１００を装着したユーザに、自分の周囲を見回してもらう必要がある。また、自分の周囲を見回したくなるＵＸの提供は、省メモリで実現できることが望ましい。

【0030】

そこで、実施例の画像表示システム１０では、システムの初期設定において、周囲を見回したくなるＡＲコンテンツを含むユーザインタフェース（ＵＩ）である見回し画面を提供する。また、実施例の画像表示システム１０では、ユーザが見た場所の記憶量を抑制する工夫を設けたことにより、自分の周囲を見回したくなるＵＸの提供を省メモリで実現する。

【0031】

図６は、画像生成装置の機能ブロックを示すブロック図である。画像生成装置２００は、ＶＲゲームの進行やサーバとの通信等、様々な情報処理を実行するが、図６では特にプレイエリアおよびマップデータの設定に関する機能ブロックを詳細に示している。

【0032】

図６に示す複数の機能ブロックは、ハードウェア的には、図４に示したＣＰＵ２２２、ＧＰＵ２２４、メインメモリ２２６、記憶部２３４等の構成で実現でき、ソフトウェア的には、複数の機能ブロックの機能を実装したコンピュータプログラムにより実現できる。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

【0033】

画像生成装置２００は、データ処理部２５０とデータ記憶部２５２を備える。データ処理部２５０は、各種のデータ処理を実行する。データ処理部２５０は、図４に示した通信部２３２、出力部２３６、入力部２３８を介して、ヘッドマウントディスプレイ１００およびコントローラ１４０とデータを送受信する。

【0034】

データ記憶部２５２は、データ処理部２５０により参照または更新されるデータを記憶する。データ記憶部２５２は、Ａｐｐ記憶部２５４、プレイエリア記憶部２５５、マップ記憶部２５６、視認領域記憶部２５７を備える。Ａｐｐ記憶部２５４は、ＶＲ画像を生成するアプリケーション（実施例ではＶＲゲーム）のデータを記憶する。

【0035】

プレイエリア記憶部２５５は、プレイエリアに関するデータを記憶する。プレイエリアに関するデータは、プレイエリアの境界を構成する点群の位置を示すデータ（例えばワールド座標系における各点の座標値）を含んでもよい。

【0036】

マップ記憶部２５６は、ヘッドマウントディスプレイ１００の位置（すなわちヘッドマウントディスプレイ１００を装着したユーザの位置）を推定するためのマップデータを記憶する。実施例のマップデータは、ユーザがＶＲゲームをプレイする部屋（実空間）を写した画像（当該画像に映る特徴点）であり、位置関係（位置および方向）が判明している画像（当該画像に映る特徴点）の集合を含む。具体的には、マップデータは、ヘッドマウントディスプレイ１００の位置、視線方向、およびキーフレームを対応付けた組を複数組含んでもよい。また、マップデータは、いわゆる自己位置推定に必要な他の項目を含んでもよい。

【0037】

或る組のキーフレームは、同じ組の位置および視線方向で見える像の特徴を示すデータである。実施例のキーフレームは、ヘッドマウントディスプレイ１００のステレオカメラ１１０により撮像されたカメラ画像をもとに生成された画像であり、かつ、所定個数以上の特徴点を含む画像である。キーフレームに含まれるべき特徴点の個数は２４個以上であってもよい。特徴点は、公知のコーナー検出法により検出されたコーナーを含んでもよく、また、輝度の勾配に基づいて検出されてもよい。キーフレームは、カメラ画像から切り出された部分画像（特徴点の画像）の集合とも言える。

【0038】

視認領域記憶部２５７は、ヘッドマウントディスプレイ１００（言い換えればユーザ）の周囲の空間のうちユーザが視認した領域（言い換えればユーザの視線方向と一致したことがある領域であり、以下「視認領域」とも呼ぶ。）を示すデータを記憶する。

【0039】

データ処理部２５０は、システム部２６０、Ａｐｐ実行部２９０、表示制御部２９２を備える。これら複数の機能ブロックの機能は、コンピュータプログラムに実装されてもよい。画像生成装置２００のプロセッサ（例えばＣＰＵ２２２とＧＰＵ２２４）は、上記コンピュータプログラムを記憶部２３４や記録媒体からメインメモリ２２６に読み出して実行することにより上記複数の機能ブロックの機能を発揮してもよい。

【0040】

Ａｐｐ実行部２９０は、ユーザにより選択されたアプリケーション（実施例ではＶＲゲーム）に関するデータをＡｐｐ記憶部２５４から読み出し、ユーザにより選択されたアプリケーションを実行する。Ａｐｐ実行部２９０は、システム部２６０（後述の位置推定部２７２）により推定されたヘッドマウントディスプレイ１００の位置（言い換えればユーザの位置）に応じたアプリケーションの実行結果を生成する。

【0041】

表示制御部２９２は、システム部２６０およびＡｐｐ実行部２９０により生成された様々な画像（例えばＶＲゲームの実行結果を示すＶＲ画像やＡＲ画像）や様々な画面（後述の見回し画面を含む）のデータをヘッドマウントディスプレイ１００へ送信する。表示制御部２９２は、それらの画像や画面をヘッドマウントディスプレイ１００の表示部１２４に表示させる。

【0042】

システム部２６０は、ヘッドマウントディスプレイ１００に関するシステムの処理を実行する。システム部２６０は、ヘッドマウントディスプレイ１００用の複数のアプリケーション（例えばＶＲゲーム）に対して共通のサービスを提供する。共通のサービスは、プレイエリアの設定、マップデータの生成および設定、ユーザの位置推定を含む。システム部２６０は、カメラ画像取得部２６２、プレイエリア設定部２６４、視線方向検出部２６６、見回し画面生成部２６８、マップ生成部２７０、位置推定部２７２、警告処理部２７４を含む。

【0043】

カメラ画像取得部２６２は、ヘッドマウントディスプレイ１００から送信された、ヘッドマウントディスプレイ１００のステレオカメラ１１０により撮像されたカメラ画像のデータを取得する。

【0044】

プレイエリア設定部２６４は、プレイエリアの設定を支援するための各種処理を実行する、プレイエリア設定部２６４は、カメラ画像取得部２６２により取得されたカメラ画像と、コントローラ１４０を介して入力されたユーザの操作とに基づいて、プレイエリアを検出して設定する。プレイエリア設定部２６４は、検出および設定したプレイエリアに関するデータをプレイエリア記憶部２５５に格納する。

【0045】

プレイエリア設定部２６４は、カメラ画像取得部２６２により取得されたカメラ画像に基づいて、ヘッドマウントディスプレイ１００を装着したユーザの周囲空間からプレイエリアを自動検出するプレイエリア検出機能を含む。なお、プレイエリア設定部２６４は、自動検出されたプレイエリアを編集するユーザの操作を受け付け、その操作に応じてプレイエリアの形状を変更するプレイエリア編集機能を含んでもよい。

【0046】

視線方向検出部２６６は、ヘッドマウントディスプレイ１００のモーションセンサ１３４により検知されたヘッドマウントディスプレイ１００の角速度や加速度、および、ステレオカメラ１１０により撮影されたヘッドマウントディスプレイ１００の周囲の画像に基づいて、ヘッドマウントディスプレイ１００を装着したユーザの頭部の位置や姿勢を検出する。視線方向検出部２６６はさらに、ユーザの頭部の位置や姿勢に基づいて、ユーザの視点の位置や視線方向を検出する。ユーザの頭部の位置や姿勢、ユーザの視点の位置や視線方向の検出には公知技術が用いられてよい。

【0047】

見回し画面生成部２６８は、プレイエリアをユーザに見回させるための画面である見回し画面のデータを生成する。見回し画面では、プレイエリアを示す画像に所定の特殊画像が重畳され、かつ、特殊画像の中でユーザの視線方向に一致した領域がそれまでとは異なる表示態様に変化する。見回し画面生成部２６８は、ヘッドマウントディスプレイ１００の周囲の空間であって、プレイエリアの最大範囲より狭い範囲の空間に特殊画像を設定する。

【0048】

マップ生成部２７０は、プレイエリア設定部２６４がプレイエリアを検出することと並行して、カメラ画像取得部２６２により取得された、ユーザの周囲の空間を複数の方向から写した複数枚のカメラ画像に基づいて、プレイエリアにおけるユーザの位置を推定するためのマップデータを生成する。マップ生成部２７０は、生成したマップデータをマップ記憶部２５６に格納する。マップ生成部２７０は、ユーザの周囲空間を複数の方向から写した複数枚のカメラ画像であって、予め定められた枚数以上のカメラ画像が入力された場合、マップの生成を終了する。

【0049】

位置推定部２７２は、マップ記憶部２５６に記憶されたマップデータと、カメラ画像取得部２６２により取得されたカメラ画像とに基づいて、実世界におけるヘッドマウントディスプレイ１００（言い換えればユーザ）の位置を推定するトラッキング処理を実行する。すなわち、位置推定部２７２は、プレイエリアにおけるヘッドマウントディスプレイ１００（言い換えればユーザ）の位置を推定する。例えば、位置推定部２７２は、マップデータに含まれる複数のキーフレームとカメラ画像とを照合し、その照合結果と、各キーフレームに対応付けられたヘッドマウントディスプレイ１００の位置および視線方向とに基づいて、ヘッドマウントディスプレイ１００の位置を推定してもよい。また、位置推定部２７２は、ＳＬＡＭ（Simultaneous Localization and Mapping）等、公知の自己位置推定技術を用いてユーザの位置を推定してもよい。

【0050】

警告処理部２７４は、プレイエリアの境界と、ユーザの位置との関係に応じて、ユーザに対する警告処理を実行する。

【0051】

図７は、見回し画面の例を示す。図７の見回し画面３００は、左目用画像３０１と右目用画像３０２を示している。左目用画像３０１と右目用画像３０２のそれぞれは、ビデオシースルーによるＡＲ画像を含み、具体的には、プレイエリア画像３０３に特殊画像３０４を重畳させたものである。プレイエリア画像３０３は、ユーザの周囲のプレイエリアを示す画像であり、実施例では、ヘッドマウントディスプレイ１００のステレオカメラ１１０により撮像された、ユーザの周囲の実空間の様子を写した画像である。

【0052】

特殊画像３０４は、ユーザの視線方向と一致したことがない領域（以下「未確認領域３０５」とも呼ぶ。）を所定の色彩で塗りつぶすことにより、未確認領域３０５を強調して示す画像である。特殊画像３０４は、ユーザの視線方向と一致したことがある領域（以下「視認済領域３０６」とも呼ぶ。）と、未確認領域３０５とを異なる態様で示す。具体的には、見回し画面生成部２６８は、特殊画像３０４の中で未確認領域３０５に第１の透過度（例えば透過率５０％）を設定し、特殊画像３０４の中で視認済領域３０６に第１の透過度より高い第２の透過度（例えば透過率１００％）を設定する。変形例として、見回し画面生成部２６８は、視認済領域３０６の特殊画像３０４を非表示に変更してもよく、また、視認済領域３０６の特殊画像３０４を消去してもよい。

【0053】

特殊画像３０４の中でユーザの視線方向に一致した場合に表示態様（実施例では透過度）が変化する領域であり、言い換えれば、透過度が一時に変化する視認済領域３０６の単位形状は円である。また、単位形状である円のサイズ（すなわち視認済領域３０６の単位サイズ）は、仮想空間内の見かけのサイズで直径４０ｃｍである。

【0054】

図８は、視認済領域３０６の単位形状を示す。ヘッドマウントディスプレイ１００の視野角３１１は１２０度である。後述するが、特殊画像３０４は、ユーザの視点３１０から５０ｃｍ離れた位置に設けられる。視認済領域３０６の単位形状である円の直径４０ｃｍは、その円の両端とユーザの視点３１０とのなす角度３１２が略４０度になるように決定されたものである。角度３１２の値は、開発者の知見および実験により導出された、ユーザが実施すべき頭部の回動量を適切な範囲に収める値であり、例えば、４０度～４４度の値であってもよい。

【0055】

見回し画面生成部２６８は、初期状態の見回し画面３００として、プレイエリア画像３０３の全体を第１の透過度（例えば透過率５０％）の特殊画像３０４が覆った見回し画面３００を生成する。図９に示すように、見回し画面生成部２６８は、ユーザが周囲を見回すにつれて、第２の透過度（例えば透過率１００％）の特殊画像３０４の領域（すなわち視認済領域３０６）が徐々に拡大した見回し画面３００を生成する。変形例として、見回し画面生成部２６８は、視認済領域３０６の特殊画像３０４を非表示に変更する場合、ユーザが周囲を見回すにつれて、特殊画像３０４の表示領域を徐々に狭めてもよい。

【0056】

このように、実施例の画像表示システム１０では、自分の周囲を見回すことにより、半透明のペンキで覆われた視界が徐々にクリアになっていくＵＩを提供でき、自分の周囲を見回したくなるＵＸを提供できる。その結果、詳細なマップデータの作成と、精度のよいトラッキングを実現できる。

【0057】

見回し画面生成部２６８は、特殊画像３０４の中の未確認領域３０５と視認済領域３０６との境界において透過度を漸次変化させる。具体的には、見回し画面生成部２６８は、特殊画像３０４の未確認領域３０５から視認済領域３０６に亘って、第１の透過度（例えば透過率５０％）から第２の透過度（例えば透過率１００％）へ徐々に透過度を高めるようグラデーションを設定する。これにより、ユーザのデプスコンフリクトを抑制でき、ユーザの３Ｄ酔いを抑制できる。

【0058】

図１０は、記憶対象となる視認領域の範囲を示す。視認領域は、ユーザが見た領域であり、言い換えれば、ユーザの視線方向と一致したことがある領域である。実施例の画像表示システム１０では、プレイエリア３２０の最大範囲が縦５ｍ×横５ｍに規定される。そのため、正確には、縦５ｍ×横５ｍの空間（キューブ）を記憶対象領域３２２としてユーザがどこを見たかを視認領域記憶部２５７に記憶する必要がある。この場合、視認領域記憶部２５７には広大なメモリが必要になる。

【0059】

図１１も、記憶対象となる視認領域の範囲を示す。図１１に示すように、実施例では、プレイエリア３２０の最大範囲より狭い範囲の空間である特定空間３２４を記憶対象領域３２２としてユーザがどこを見たかを視認領域記憶部２５７に記憶する。実施例の記憶対象領域３２２（すなわち特定空間３２４）は、縦１ｍ×横１ｍの６つの正方形により構成されるキューブとして構成される。見回し画面生成部２６８は、特定空間３２４のキューブの各面に特殊画像３０４を描画する。したがって、ユーザの視点から５０ｃｍ先に特殊画像３０４が描画される。見回し画面生成部２６８は、公知のキューブマップ（「テクスチャキューブ」とも呼ばれる。）の技術を適用して、特定空間３２４のキューブの各面に特殊画像３０４を描画してもよい。

【0060】

特殊画像３０４の描画位置は、プレイエリアの境界よりも手前であることが好ましい。プレイエリアの境界（例えば部屋の壁）より奥に特殊画像３０４が描かれると、ユーザにデプスコンフリクトを生じさせやすくなり、３Ｄ酔いを感じさせ易くなるからである。そのため、特殊画像の描画位置をユーザの視点から５０ｃｍ先とすることは好適である。また、ヘッドマウントディスプレイ１００においてピントが最も合う位置（映し出される映像の焦点距離）は視点から２ｍ先である。特殊画像の描画位置は、ヘッドマウントディスプレイ１００の焦点距離より手前に設定される。

【0061】

見回し画面生成部２６８は、特定空間３２４（キューブの各面）において視線方向検出部２６６により検出されたユーザの視線方向に一致する領域（視認領域）を特定し、特定空間３２４における視認領域の位置を示すデータを視認領域記憶部２５７に格納する。視認領域の位置を示すデータは、ユーザの視点を原点とする座標系における座標値であってもよく、特定空間３２４を構成するキューブの各面におけるユーザの支援方向に一致した領域の座標値であってもよい。見回し画面生成部２６８は、特殊画像３０４の描画時、視認領域記憶部２５７に記憶された視認領域の透過度を、未確認領域の透過度より高く設定する。

【0062】

また、図１１に示すように、見回し画面生成部２６８は、特定空間３２４（キューブの各面）の位置をヘッドマウントディスプレイ１００（ユーザの頭部）の位置の変化に追従して変更する。例えば、見回し画面生成部２６８は、ヘッドマウントディスプレイ１００の位置が変化した場合、その変化量だけ特定空間３２４を平行移動させる。

【0063】

一方、見回し画面生成部２６８は、ヘッドマウントディスプレイ１００（ユーザの頭部）が回動しても、特定空間３２４（キューブ）を回動させない。言い換えれば、見回し画面生成部２６８は、ヘッドマウントディスプレイ１００の姿勢が変化しても、特定空間３２４の角度を変化させない。このように、実施例では、ヘッドマウントディスプレイ１００の周囲の空間だけ視認領域を記録するため、視認領域記憶部２５７のメモリ使用量を大幅に低減できる。

【0064】

以上の構成による画像表示システム１０の動作を説明する。
図１２は、画像生成装置２００の動作を示すフローチャートである。画像生成装置２００のシステム部２６０は、画像表示システム１０の設定メニューをヘッドマウントディスプレイ１００に表示させる。設定メニューの中の初期設定がユーザにより選択された場合、ヘッドマウントディスプレイ１００は、ユーザの視線方向の実空間を写したカメラ画像および各種センサデータを画像生成装置２００へ送信することを開始する。センサデータは、モーションセンサ１３４による計測値を含み、例えば、ヘッドマウントディスプレイ１００の角速度や加速度を含む。画像生成装置２００のカメラ画像取得部２６２は、ヘッドマウントディスプレイ１００から送信されたカメラ画像を取得する（Ｓ１０）。

【0065】

図１３は、初期設定時のユーザの行動を模式的に示す。部屋３０の中で、ユーザは、ヘッドマウントディスプレイ１００を頭部に装着して周囲を見回しつつ移動する。図１３のユーザ３２は、このときのユーザの位置を示している。矢印３４は、ユーザの視線方向を示している。プレイエリア３６は、設定されるプレイエリアの一例を示している。画像生成装置２００の視線方向検出部２６６は、カメラ画像取得部２６２により取得されたカメラ画像や、ヘッドマウントディスプレイ１００のセンサで検知されたヘッドマウントディスプレイ１００の角速度や加速度等に基づいて、ヘッドマウントディスプレイ１００（ユーザの頭部）の位置と視線方向とを検出する（Ｓ１１）。

【0066】

画像生成装置２００の見回し画面生成部２６８は、プレイエリア３２０の最大サイズ（縦５ｍ×横５ｍ）より狭い予め定められた特定空間３２４においてユーザの視線方向と一致した領域（例えば特定空間３２４を構成するキューブの各面における点群等）を視認領域として識別する。マップ生成部２７０は、特定空間３２４における視認領域を示すデータを視認領域記憶部２５７に格納する。

【0067】

見回し画面生成部２６８は、カメラ画像取得部２６２により取得されたカメラ画像（言い換えればプレイエリア画像３０３）を含む見回し画面のデータを生成する。すなわち、見回し画面生成部２６８は、ユーザが向いた方向の実空間の様子をそのままユーザに見せるビデオシースルーを行う。これによりユーザの安全性を高める。

【0068】

また、見回し画面生成部２６８は、特定空間３２４（キューブの各面）に半透明の特殊画像３０４を設定する。具体的には、見回し画面生成部２６８は、特定空間３２４（キューブの各面）における、視認領域記憶部２５７に記憶された視認領域を除いた領域（未確認領域）に半透明の特殊画像３０４を設定する。そして見回し画面生成部２６８は、プレイエリア画像３０３の上に特殊画像３０４を重畳したＡＲ画像を含む見回し画面のデータを生成する。表示制御部２９２は、ヘッドマウントディスプレイ１００の表示部１２４に見回し画面を表示させる（Ｓ１２）。ユーザは、見回し画面を見ながら、自分の周囲を見回す。

【0069】

画像生成装置２００のプレイエリア設定部２６４は、Ｓ１０で取得されたカメラ画像およびセンサデータに基づいて、ユーザの周囲空間におけるプレイエリアを自動検出する（Ｓ１３）。例えば、プレイエリア設定部２６４は、カメラ画像と、そのカメラ画像に対応するセンサデータとに基づいて、公知の手法によりユーザの部屋の３Ｄ形状を推定してもよい。プレイエリア設定部２６４は、推定した部屋の３Ｄ形状をもとに、センサデータが示す重力方向に対して垂直な平面（典型的には床面）を検出し、検出した同じ高さの複数の平面を合成した結果をプレイエリアとして検出してもよい。プレイエリア設定部２６４は、プレイエリアの境界を構成する点群の座標値を含むプレイエリアデータをプレイエリア記憶部２５５に格納する。

【0070】

画像生成装置２００のマップ生成部２７０は、Ｓ１３の処理と並行して、Ｓ１０で取得されたカメラ画像およびセンサデータに基づいて、ユーザの位置を推定するためのマップデータを生成する（Ｓ１４）。図１４は、カメラ画像の例を示し、図１５は、キーフレームの例を示す。マップ生成部２７０は、コーナー検出法等の公知の手法を用いてカメラ画像４０に含まれる複数の特徴点４４を抽出し、抽出した複数の特徴点４４を示すキーフレーム４２を生成する。マップ生成部２７０は、１枚のカメラ画像４０から２４個以上の特徴点４４を抽出した場合、抽出した２４個以上の特徴点４４を含むキーフレーム４２を、センサデータにより特定されるユーザの位置および視線方向と対応付けたマップデータをマップ記憶部２５６に格納する（Ｓ１５）。

【0071】

マップ生成部２７０は、ユーザの周囲空間のうち入力されたカメラ画像（実施例ではカメラ画像から生成されたキーフレーム）によりカバーされる割合に関するスコアを導出するための複数の基準（以下「ビン」と呼ぶ。）を記憶する。複数のビンは、ユーザの周囲空間を異なる態様で分割した複数の基準である。

【0072】

図１６は、複数のビンを示す。ビン５０、ビン５２、ビン５４のそれぞれは、中心をユーザの位置とし、ユーザの周囲空間を重力方向を軸として分割したものである。ビン５０は、プレイエリア設定開始時のユーザの視線方向と、視線方向に垂直な方向とに基づいて、ユーザの周囲空間を中心角９０度で４分割した基準である。ビン５２は、ビン５０に対して位相を４５度ずらしたものである。ビン５４は、ユーザの周囲空間を中心角２２．５度で１６分割した基準である。以下、ビン５０、ビン５２、ビン５４のそれぞれで規定された、ユーザの周囲空間における分割されたエリアを「分割エリア」と呼ぶ。

【0073】

マップ生成部２７０は、ビン５０、ビン５２、ビン５４に基づいて、ユーザの周囲空間のうち入力された複数枚のカメラ画像（実施例ではカメラ画像から生成されたキーフレーム）によりカバーされる割合に関するスコアを導出する。マップ生成部２７０は、そのスコアが予め定められた閾値以上になった場合、マップの生成処理を終了する。

【0074】

具体的には、マップ生成部２７０は、カメラ画像からキーフレームを生成した場合、ビン５０、ビン５２、ビン５４のそれぞれについて、当該キーフレームが得られた視線方向に合致する分割エリアが埋まったこととし、各ビンにおいて分割エリアが埋まった個数の合計をスコアとしてカウントする。マップ生成部２７０は、新たなキーフレームを生成すると、同様のアルゴリズムにより、各ビンにおいて新たに分割エリアが埋まった個数をスコアに加算する。

【0075】

図１２に戻り、実施例では、スコアが閾値「１０」未満であれば（Ｓ１６のＮ）、Ｓ１０に戻り、見回し画面の更新処理、プレイエリア検出処理、マップ生成処理を繰り返す。スコアが閾値「１０」以上になった場合（Ｓ１６のＹ）、プレイエリア設定部２６４は、プレイエリアの検出処理を終了し、マップ生成部２７０は、マップの生成処理を終了する。スコアの閾値「１０」は、ヘッドマウントディスプレイ１００を装着したユーザが自身の周囲１８０度をぐるりと見渡せばクリアできる値であるが、ユーザが周囲を見渡さない場合にはクリアできない値として定められたものである。

【0076】

図１７も、画像生成装置２００の動作を示すフローチャートである。同図は、ＶＲゲーム実行時の動作を示している。ユーザが画像生成装置２００においてＶＲゲームが起動されると（Ｓ２０のＹ）、画像生成装置２００のＡｐｐ実行部２９０は、プレイエリア記憶部２５５に記憶されたプレイエリアのデータ、例えば、プレイエリアの形状およびサイズを示すデータを読み込む（Ｓ２１）。

【0077】

Ａｐｐ実行部２９０は、Ａｐｐ記憶部２５４からＶＲゲームのプログラムデータを読み出し、ＶＲゲームを開始する（Ｓ２２）。例えば、Ａｐｐ実行部２９０は、ゲーム世界を描いた仮想空間の中でプレイエリアの範囲内にゲームアイテムを配置することによりユーザにそのアイテムを取得させてもよい。表示制御部２９２は、Ａｐｐ実行部２９０により生成されたゲーム画像（例えばＶＲ画像）をヘッドマウントディスプレイ１００の表示部１２４に表示させる。

【0078】

画像生成装置２００のカメラ画像取得部２６２は、ヘッドマウントディスプレイ１００から逐次送信されたカメラ画像を逐次取得し、画像生成装置２００の位置推定部２７２は、実世界におけるユーザの位置および視線方向を逐次推定する（Ｓ２３）。Ａｐｐ実行部２９０は、位置推定部２７２により推定されたユーザの位置および視線方向に基づいて、ＶＲゲームを進行させる（Ｓ２４）。例えば、Ａｐｐ実行部２９０は、実世界（言い換えればプレイエリア内）におけるユーザの位置の変化に応じて、ＶＲゲーム内のユーザキャラクタを移動させてもよい。

【0079】

画像生成装置２００の警告処理部２７４は、実世界におけるユーザの位置がプレイエリアの境界近傍に至った場合、例えば、ユーザに装着されたヘッドマウントディスプレイ１００からプレイエリアの境界までの距離が所定の閾値（例えば３０センチ）以下になった場合（Ｓ２５のＹ）、そのことを検出する。警告処理部２７４は、ユーザに対する所定の警告処理を実行する（Ｓ２６）。

【0080】

例えば、警告処理部２７４は、ユーザの位置がプレイエリアの境界近傍に至った場合、プレイエリアの境界を示す画像を表示制御部２９２に渡してもよい。表示制御部２９２は、Ａｐｐ実行部２９０により生成されたゲーム画像に、プレイエリアの境界を示す画像を重畳したものを表示画像としてヘッドマウントディスプレイ１００の表示部１２４に表示させてもよい。また、警告処理部２７４は、実世界におけるユーザの位置がプレイエリアの境界近傍に至った場合やプレイエリアの境界を超えてしまった場合、表示制御部２９２を介してヘッドマウントディスプレイ１００の表示部１２４にビデオシースルー画像を表示させてもよい。一方、実世界におけるユーザの位置がプレイエリアの境界近傍でなければ（Ｓ２５のＮ）、Ｓ２６をスキップする。

【0081】

ユーザによりＶＲゲームの実行が停止された場合等、所定の終了条件を満たした場合（Ｓ２７のＹ）、本図のフローを終了する。終了条件が満たされなければ（Ｓ２７のＮ）、Ｓ２３に戻り、ＶＲゲームを続行する。ＶＲゲームが起動されなければ（Ｓ２０のＮ）、Ｓ２１以降の処理をスキップする。

【0082】

以上、本発明を実施例をもとに説明した。この実施例は例示であり、各構成要素あるいは各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

【0083】

変形例を説明する。上記実施例では、見まわし画面３００において特殊画像３０４の背後に設定するプレイエリア画像３０３は、ユーザの周囲の実空間を写した画像とした。変形例として、見回し画面３００のプレイエリア画像３０３は、仮想世界のプレイエリアを示すＶＲ画像であってもよい。

【0084】

別の変形例を説明する。上記実施例で画像生成装置２００に実装された複数の機能のうち少なくとも一部の機能は、ヘッドマウントディスプレイ１００に実装されてもよく、ネットワークを介して画像生成装置２００に接続されたサーバに実装されてもよい。例えば、ヘッドマウントディスプレイ１００は、カメラ画像やセンサ計測値に基づいて、各種画面や画像のデータを生成する機能を備えてもよい。また、サーバは、カメラ画像やセンサ計測値に基づいて、各種画面や画像のデータを生成する機能を備えてもよく、ヘッドマウントディスプレイ１００は、サーバにより生成された画面や画像を表示してもよい。

【0085】

上述した実施例および変形例の任意の組み合わせもまた本開示の実施の形態として有用である。組み合わせによって生じる新たな実施の形態は、組み合わされる実施例および変形例それぞれの効果をあわせもつ。また、請求項に記載の各構成要件が果たすべき機能は、実施例および変形例において示された各構成要素の単体もしくはそれらの連携によって実現されることも当業者には理解されるところである。

【0086】

実施例および変形例の記載に基づく技術思想は、以下の各項目に示す態様で表現することができる。
［項目１］
ヘッドマウントディスプレイを装着したユーザがアプリケーションのプレイ中に移動可能なプレイエリアについて、前記プレイエリアを前記ユーザに見回させるための画面である見回し画面を生成する見回し画面生成部と、
前記見回し画面を前記ヘッドマウントディスプレイに表示させる表示制御部と、
前記ヘッドマウントディスプレイのカメラにより撮像された、前記ユーザの周囲の空間を複数の方向から写した複数枚のカメラ画像に基づいて、前記プレイエリアにおける前記ユーザの位置を推定するためのマップを生成するマップ生成部と、
を備え、
前記見回し画面では、前記プレイエリアを示す画像に所定の特殊画像が重畳され、かつ、前記特殊画像の中で前記ユーザの視線方向に一致した領域がそれまでとは異なる表示態様に変化し、
前記見回し画面生成部は、前記ヘッドマウントディスプレイの周囲の空間であって、前記プレイエリアの最大範囲より狭い範囲の空間に前記特殊画像を設定する、
情報処理装置。
この情報処理装置によると、ヘッドマウントディスプレイを装着したユーザに対する、自分の周囲を見回したくなるＵＸの提供を少ないメモリ量で実現できる。
［項目２］
前記見回し画面生成部は、前記特殊画像を設定する空間である特定空間の位置を、前記ヘッドマウントディスプレイの位置の変化に追従して変更する、
項目１に記載の情報処理装置。
この情報処理装置によると、ユーザの位置が変化しても自分の周囲を見回したくなるＵＸを継続して提供できる。
［項目３］
前記見回し画面生成部は、前記ヘッドマウントディスプレイが回動しても前記特定空間を回動させない、
項目２に記載の情報処理装置。
この情報処理装置によると、特定空間に特殊画像を表示するための処理負荷およびメモリ量を低減できる。
［項目４］
前記見回し画面では、前記特殊画像の中で前記ユーザの視線方向に一致したことがない領域に第１の透過度が設定され、前記特殊画像の中で前記ユーザの視線方向に一致したことがある領域に前記第１の透過度より高い第２の透過度が設定される、
項目１から３のいずれかに記載の情報処理装置。
この情報処理装置によると、ユーザが見た領域のプレイエリアがそれまでよりクリアに表示されるため、自分の首位を見回したくなるＵＸを提供できる。
［項目５］
前記見回し画面生成部は、前記特殊画像の中で前記ユーザの視線方向に一致したことがない領域と、前記特殊画像の中で前記ユーザの視線方向に一致したことがある領域との境界において透過度を漸次変化させる、
項目４に記載の情報処理装置。
この情報処理装置によると、デプスコンフリクトを抑制し、３Ｄ酔いを抑制できる。
［項目６］
前記特殊画像の中で前記ユーザの視線方向に一致した場合に表示態様が変化する領域のサイズは、当該領域の両端とユーザの視点とのなす角が略４０度になるよう定められている、
項目１から５のいずれかに記載の情報処理装置。
この情報処理装置によると、ユーザが実施すべき頭部の回動量を適切な範囲に収めることができる。
［項目７］
ヘッドマウントディスプレイを装着したユーザがアプリケーションのプレイ中に移動可能なプレイエリアについて、前記プレイエリアを前記ユーザに見回させるための画面である見回し画面を生成するステップと、
前記見回し画面を前記ヘッドマウントディスプレイに表示させるステップと、
前記ヘッドマウントディスプレイのカメラにより撮像された、前記ユーザの周囲の空間を複数の方向から写した複数枚のカメラ画像に基づいて、前記プレイエリアにおける前記ユーザの位置を推定するためのマップを生成するステップと、
をコンピュータが実行し、
前記見回し画面では、前記プレイエリアを示す画像に所定の特殊画像が重畳され、かつ、前記特殊画像の中で前記ユーザの視線方向に一致した領域がそれまでとは異なる表示態様に変化し、
前記見回し画面を生成するステップは、前記ヘッドマウントディスプレイの周囲の空間であって、前記プレイエリアの最大範囲より狭い範囲の空間に前記特殊画像を設定する、
情報処理方法。
この情報処理方法によると、ヘッドマウントディスプレイを装着したユーザに対する、自分の周囲を見回したくなるＵＸの提供を少ないメモリ量で実現できる。
［項目８］
ヘッドマウントディスプレイを装着したユーザがアプリケーションのプレイ中に移動可能なプレイエリアについて、前記プレイエリアを前記ユーザに見回させるための画面である見回し画面を生成する機能と、
前記見回し画面を前記ヘッドマウントディスプレイに表示させる機能と、
前記ヘッドマウントディスプレイのカメラにより撮像された、前記ユーザの周囲の空間を複数の方向から写した複数枚のカメラ画像に基づいて、前記プレイエリアにおける前記ユーザの位置を推定するためのマップを生成する機能と、
をコンピュータに実現させ、
前記見回し画面では、前記プレイエリアを示す画像に所定の特殊画像が重畳され、かつ、前記特殊画像の中で前記ユーザの視線方向に一致した領域がそれまでとは異なる表示態様に変化し、
前記見回し画面を生成する機能は、前記ヘッドマウントディスプレイの周囲の空間であって、前記プレイエリアの最大範囲より狭い範囲の空間に前記特殊画像を設定する、
コンピュータプログラム。
このコンピュータプログラムによると、コンピュータに、ヘッドマウントディスプレイを装着したユーザに対する、自分の周囲を見回したくなるＵＸの提供を少ないメモリ量で実現させることができる。

【符号の説明】

【0087】

１０ 画像表示システム、 １００ ヘッドマウントディスプレイ、 ２００ 画像生成装置、 ２６２ カメラ画像取得部、 ２６８ 見回し画面生成部、 ２７０ マップ生成部、 ２９２ 表示制御部、 ３００ 見回し画面。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】