特開 2024-27905 情報処理装置および情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024027905

(43)【公開日】2024-03-01

(54)【発明の名称】情報処理装置および情報処理方法

(51)【国際特許分類】

   G06T 19/00 20110101AFI20240222BHJP

   G06F 3/0481 20220101ALI20240222BHJP

   G06F 3/01 20060101ALI20240222BHJP

【ＦＩ】

G06T19/00 600

G06F3/0481

G06F3/01 510

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2022131085

(22)【出願日】2022-08-19

(71)【出願人】

【識別番号】310021766

【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(74)【代理人】

【識別番号】100109047

【弁理士】

【氏名又は名称】村田 雄祐

(74)【代理人】

【識別番号】100109081

【弁理士】

【氏名又は名称】三木 友由

(74)【代理人】

【識別番号】100134256

【弁理士】

【氏名又は名称】青木 武司

(72)【発明者】

【氏名】早川 雄登

(72)【発明者】

【氏名】南野 孝範

【テーマコード（参考）】

5B050

5E555

【Ｆターム（参考）】

5B050AA03

5B050BA06

5B050BA09

5B050BA11

5B050BA13

5B050CA07

5B050CA08

5B050DA07

5B050EA04

5B050EA19

5B050EA26

5B050FA02

5B050FA05

5B050FA13

5B050FA15

5B050FA16

5E555AA76

5E555BA04

5E555BA38

5E555BB04

5E555BB38

5E555BC13

5E555CA42

5E555CB66

5E555CC11

5E555DA08

5E555DA09

5E555DB56

5E555DC63

5E555DD06

5E555EA14

5E555FA00

(57)【要約】

【課題】ヘッドマウントディスプレイを装着したユーザが移動可能なプレイエリアを、容易かつ適切に設定する。
【解決手段】画像生成装置のプレイエリア検出部は、ヘッドマウントディスプレイのステレオカメラが撮影する画像に基づきプレイエリア４２０を検出し、ユーザに確認させる。プレイエリア編集部は、プレイエリアの新たな境界線４２４を描く編集操作を受け付け、編集後のプレイエリア４２６を検出する。その外接矩形４２８のサイズが上限を超えていたら、プレイエリア編集部は、調整軸ｘに垂直な切り取り線４３０でプレイエリア４２６を切り取り、最終的なプレイエリア４３２を決定する。
【選択図】図１２

【特許請求の範囲】

【請求項1】

ヘッドマウントディスプレイを装着したユーザの周囲空間においてアプリケーションのプレイ中にユーザが移動可能なプレイエリアのデータを記憶する記憶部と、
前記記憶部に記憶されたプレイエリアを示す画像を前記ヘッドマウントディスプレイに表示させる表示制御部と、
前記プレイエリアを編集するユーザの操作を受け付けたうえ、当該プレイエリアのサイズの上限超過を検出し、一部を切り取ることでサイズを調整するプレイエリア編集部と、
を備えることを特徴とする情報処理装置。

【請求項2】

前記プレイエリア編集部は、編集後のプレイエリアに外接する矩形の辺の長さが上限を超えたとき、当該辺に垂直な切り取り線で前記編集後のプレイエリアを切り取ることを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記プレイエリア編集部は、ユーザが編集後のプレイエリアの中にいるとき、前記上限を超えた辺に平行な調整軸において、ユーザからの距離が所定値以上の位置に前記切り取り線を設定することを特徴とする請求項２に記載の情報処理装置。

【請求項4】

前記プレイエリア編集部は、前記調整軸の２箇所に前記切り取り線を設定することを特徴とする請求項３に記載の情報処理装置。

【請求項5】

前記表示制御部は、切り取り後の前記プレイエリアを示す画像を、切り取った箇所を明示して前記ヘッドマウントディスプレイに表示させることを特徴とする請求項１から４のいずれかに記載の情報処理装置。

【請求項6】

前記表示制御部は、前記プレイエリアの一部が切り取られていく様子を表すアニメーションを、前記ヘッドマウントディスプレイに表示させることを特徴とする請求項５に記載の情報処理装置。

【請求項7】

前記表示制御部は、ユーザが前記プレイエリアを編集する際、前記ヘッドマウントディスプレイのカメラが撮影している実空間の画像に、ユーザによって移動可能なカーソルとその移動軌跡を表すオブジェクトを重畳して前記ヘッドマウントディスプレイに表示させ、
前記プレイエリア編集部は、前記移動軌跡を前記プレイエリアの新たな境界線として受け付けるとともに、編集前のプレイエリアと前記境界線に外接する矩形の辺の長さが上限を超えたとき、ユーザにその旨を通知することを特徴とする請求項１に記載の情報処理装置。

【請求項8】

前記プレイエリア編集部は、編集後のプレイエリアの形状、および当該プレイエリア内の実物体の存在、の少なくともいずれかに基づき、当該編集後のプレイエリアから優先して切り取る領域を決定することを特徴とする請求項１から４のいずれかに記載の情報処理装置。

【請求項9】

前記プレイエリア編集部は、ユーザが編集後のプレイエリアの外にいるとき、当該編集後のプレイエリアのうち、前記上限を超えた辺に平行な調整軸において、ユーザから遠い側の領域を切り取ることを特徴とする請求項２に記載の情報処理装置。

【請求項10】

ヘッドマウントディスプレイを装着したユーザの周囲空間においてアプリケーションのプレイ中にユーザが移動可能なプレイエリアのデータをメモリから読み出すステップと、
前記プレイエリアを示す画像を前記ヘッドマウントディスプレイに表示させるステップと、
前記プレイエリアを編集するユーザの操作を受け付けたうえ、当該プレイエリアのサイズの上限超過を検出し、一部を切り取ることでサイズを調整するステップと、
を含むことを特徴とする情報処理方法。

【請求項11】

ヘッドマウントディスプレイを装着したユーザの周囲空間においてアプリケーションのプレイ中にユーザが移動可能なプレイエリアのデータをメモリから読み出す機能と、
前記プレイエリアを示す画像を前記ヘッドマウントディスプレイに表示させる機能と、
前記プレイエリアを編集するユーザの操作を受け付けたうえ、当該プレイエリアのサイズの上限超過を検出し、一部を切り取ることでサイズを調整する機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ヘッドマウントディスプレイに係るデータを処理する情報処理装置および情報処理方法に関する。

【背景技術】

【0002】

ヘッドマウントディスプレイを装着したユーザが対象空間を自由な視点から鑑賞できる画像表示システムが普及している。例えば仮想３次元空間を表示対象とし、ユーザの視線方向に応じた画像がヘッドマウントディスプレイに表示されるようにすることで仮想現実（Virtual Reality：ＶＲ）を実現する電子コンテンツが知られている。ヘッドマウントディスプレイを利用することで、映像への没入感を高めたり、ゲーム等のアプリケーションの操作性を向上させたりすることもできる。また、ヘッドマウントディスプレイを装着したユーザが物理的に移動することで、映像として表示された空間内を仮想的に歩き回ることのできるウォークスルーシステムも開発されている。

【発明の概要】

【発明が解決しようとする課題】

【0003】

ヘッドマウントディスプレイを装着したユーザがアプリケーションのプレイ中に移動可能な範囲は、ユーザの部屋のサイズや、ユーザの部屋に設置された家具や荷物等の環境に応じて制限される必要がある。しかしながらそのようなユーザ個々の事情を考慮したうえ、安全性と娯楽性を両立できるようにプレイエリアを設定するのは難しい。

【0004】

本発明はこうした課題に鑑みてなされたものであり、その目的は、ヘッドマウントディスプレイを装着したユーザが移動可能なプレイエリアを、容易かつ適切に設定できる技術を提供することにある。

【課題を解決するための手段】

【0005】

上記課題を解決するために、本発明のある態様は情報処理装置に関する。この情報処理装置は、ヘッドマウントディスプレイを装着したユーザの周囲空間においてアプリケーションのプレイ中にユーザが移動可能なプレイエリアのデータを記憶する記憶部と、記憶部に記憶されたプレイエリアを示す画像をヘッドマウントディスプレイに表示させる表示制御部と、プレイエリアを編集するユーザの操作を受け付たうえ、当該プレイエリアのサイズの上限超過を検出し、一部を切り取ることでサイズを調整するプレイエリア編集部と、を備えることを特徴とする。

【0006】

本発明の別の態様は情報処理方法に関する。この情報処理方法は、ヘッドマウントディスプレイを装着したユーザの周囲空間においてアプリケーションのプレイ中にユーザが移動可能なプレイエリアのデータをメモリから読み出すステップと、プレイエリアを示す画像をヘッドマウントディスプレイに表示させるステップと、プレイエリアを編集するユーザの操作を受け付たうえ、当該プレイエリアのサイズの上限超過を検出し、一部を切り取ることでサイズを調整するステップと、を含むことを特徴とする。

【0007】

なお、以上の構成要素の任意の組合せ、本発明の表現をシステム、コンピュータプログラム、コンピュータプログラムを読み取り可能に記録した記録媒体、データ構造などの間で変換したものもまた、本発明の態様として有効である。

【発明の効果】

【0008】

本発明によれば、ヘッドマウントディスプレイを装着したユーザが移動可能なプレイエリアを、容易かつ適切に設定できる。

【図面の簡単な説明】

【0009】

【図1】本実施の形態におけるヘッドマウントディスプレイの外観例を示す図である。

【図2】本実施の形態における画像表示システムの構成例を示す図である。

【図3】本実施の形態において画像生成装置がヘッドマウントディスプレイに表示させる画像世界の例を説明するための図である。

【図4】本実施の形態における画像生成装置の内部回路構成を示す図である。

【図5】本実施の形態におけるヘッドマウントディスプレイの内部回路構成を示す図である。

【図6】本実施の形態における画像生成装置の機能ブロックを示すブロック図である。

【図7】本実施の形態においてプレイエリアを設定する際の画像生成装置の動作を示すフローチャートである。

【図8】本実施の形態のプレイエリア検出部によるプレイエリアの検出手法を説明するための図である。

【図9】図７のＳ２０で表示されるプレイエリアの画像を示す図である。

【図10】本実施の形態においてユーザがプレイエリアを編集する様子を模式的に示す図である。

【図11】本実施の形態におけるコントローラカーソルの動きとプレイエリアの変化を例示する図である。

【図12】本実施の形態においてプレイエリア編集部が、ユーザによる編集後のプレイエリアのサイズを調整する手法を例示する図である。

【図13】本実施の形態のプレイエリアの編集期間において、プレイエリア編集部がヘッドマウントディスプレイに表示させる画像を例示する図である。

【図14】本実施の形態においてユーザがプレイエリアの境界線を描いている期間に、プレイエリア編集部がプレイエリアサイズの超過を監視する態様を説明するための図である。

【図15】本実施の形態においてプレイエリア編集部が、新たなプレイエリアのうちユーザが追加した領域以外の領域を切り取る態様を説明するための図である。

【図16】本実施の形態においてユーザがプレイエリア外からプレイエリアを編集する場合の、切り取り線の決定方針を説明するための図である。

【図17】本実施の形態においてプレイエリア編集部が、プレイエリアの形状や存在する実物体によって切り取り線を決定する態様を説明するための図である。

【図18】本実施の形態においてプレイエリア編集部が、ユーザによる編集操作に応じてプレイエリアのデータを更新する処理手順を示すフローチャートである。

【発明を実施するための形態】

【0010】

本実施の形態は、ユーザの頭部に装着されたヘッドマウントディスプレイにアプリケーションの画像を表示する画像表示システムに関する。図１は、ヘッドマウントディスプレイ１００の外観例を示す。本実施の形態のヘッドマウントディスプレイ１００は、出力機構部１０２および装着機構部１０４で構成される。装着機構部１０４は、ユーザが被ることにより頭部を一周し装置の固定を実現する装着バンド１０６を含む。

【0011】

出力機構部１０２は、ヘッドマウントディスプレイ１００をユーザが装着した状態において左右の目を覆うような形状の筐体１０８を含み、内部には装着時に目に正対するように表示パネルを備える。本実施の形態のヘッドマウントディスプレイ１００の表示パネルは、透過性がないものとする。すなわちヘッドマウントディスプレイ１００は、光不透過型のヘッドマウントディスプレイである。

【0012】

筐体１０８内部にはさらに、ヘッドマウントディスプレイ１００の装着時に表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する接眼レンズを備えてよい。ヘッドマウントディスプレイ１００はさらに、装着時にユーザの耳に対応する位置にスピーカーやイヤホンを備えてよい。また、ヘッドマウントディスプレイ１００は、モーションセンサを内蔵し、ヘッドマウントディスプレイ１００を装着したユーザの頭部の並進運動や回転運動、ひいては各時刻の位置や姿勢を検出する。

【0013】

また、ヘッドマウントディスプレイ１００は、筐体１０８の前面にステレオカメラ１１０を備える。ステレオカメラ１１０は、ユーザの視線に対応する視野で周囲の実空間を動画撮影する。撮影した画像を即時に表示させれば、ユーザが向いた方向の実空間の様子がそのまま見える、いわゆるビデオシースルーを実現できる。さらに撮影画像に映っている実物体の像上に仮想オブジェクトを描画すれば拡張現実（Augmented Reality：ＡＲ）を実現できる。

【0014】

図２は、本実施の形態の画像表示システムの構成例を示す。画像表示システムは、ヘッドマウントディスプレイ１００、画像生成装置２００、コントローラ１４０を備える。ヘッドマウントディスプレイ１００は、無線通信により画像生成装置２００に接続される。画像生成装置２００は、さらにネットワークを介してサーバに接続されてもよい。その場合、サーバは、複数のユーザがネットワークを介して参加できるゲームなどのオンラインアプリケーションのデータを画像生成装置２００に提供してもよい。

【0015】

画像生成装置２００は、ヘッドマウントディスプレイ１００を装着したユーザの頭部の位置や姿勢に基づき視点の位置や視線の方向を特定し、それに応じた視野となるように表示画像を生成してヘッドマウントディスプレイ１００に出力する情報処理装置である。例えば、画像生成装置２００は、電子ゲームを進捗させつつゲームの舞台である仮想世界を表示画像として生成してもよいし、仮想世界か実世界かに関わらず観賞や情報提供のために動画像を表示させてもよい。また、ユーザの視点を中心に広い画角のパノラマ画像をヘッドマウントディスプレイ１００に表示させることによって、表示世界への深い没入感をユーザに与えることができる。なお、画像生成装置２００は、据置型ゲーム機であってもよく、ＰＣであってもよい。

【0016】

コントローラ１４０は、ユーザの手に把持され、画像生成装置２００における画像生成や、ヘッドマウントディスプレイ１００における画像表示を制御するためのユーザの操作が入力されるコントローラ（例えばゲームコントローラ）である。コントローラ１４０は、無線通信により画像生成装置２００に接続される。変形例として、ヘッドマウントディスプレイ１００とコントローラ１４０の一方、または両方は、信号ケーブル等を介した有線通信により画像生成装置２００に接続されてもよい。

【0017】

図３は、画像生成装置２００がヘッドマウントディスプレイ１００に表示させる画像世界の例を説明するための図である。この例では、ユーザ１２が仮想空間である部屋にいる状態を作り出している。仮想空間を定義するワールド座標系には、図示するように、壁、床、窓、テーブル、テーブル上の物などのオブジェクトを配置している。画像生成装置２００は、当該ワールド座標系に、ユーザ１２の視点の位置や視線の方向に応じてビュースクリーン１４を定義し、そこにオブジェクトの像を表すことで表示画像を描画する。

【0018】

画像生成装置２００は、ユーザ１２の視点の位置や視線の方向（以後、これらを包括的に「視点」と呼ぶ場合がある）を所定のレートでヘッドマウントディスプレイ１００から取得し、これに応じてビュースクリーン１４の位置や方向を変化させる。これにより、ユーザの視点に対応する視野で画像をヘッドマウントディスプレイ１００に表示させることができる。また、画像生成装置２００は、視差を有するステレオ画像を生成し、ヘッドマウントディスプレイ１００の表示パネルの左右の領域にステレオ画像を表示させれば、仮想空間をユーザ１２に立体視させることもできる。これにより、ユーザ１２は、あたかも表示世界の部屋の中にいるような仮想現実を体験することができる。

【0019】

図４は、画像生成装置２００の内部回路構成を示す。画像生成装置２００は、ＣＰＵ（Central Processing Unit）２２２、ＧＰＵ（Graphics Processing Unit)２２４、メインメモリ２２６を含む。これらの各部は、バス２３０を介して相互に接続される。バス２３０にはさらに入出力インターフェース２２８が接続される。入出力インターフェース２２８には、通信部２３２、記憶部２３４、出力部２３６、入力部２３８、記録媒体駆動部２４０が接続される。

【0020】

通信部２３２は、ＵＳＢやＩＥＥＥ１３９４などの周辺機器インターフェースや、有線ＬＡＮまたは無線ＬＡＮ等のネットワークインターフェースを含む。記憶部２３４は、ハードディスクドライブや不揮発性メモリ等を含む。出力部２３６は、ヘッドマウントディスプレイ１００へのデータを出力する。入力部２３８は、ヘッドマウントディスプレイ１００からのデータ入力を受け付け、また、コントローラ１４０からのデータ入力を受け付ける。記録媒体駆動部２４０は、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する。

【0021】

ＣＰＵ２２２は、記憶部２３４に記憶されているオペレーティングシステムを実行することにより画像生成装置２００の全体を制御する。また、ＣＰＵ２２２は、記憶部２３４またはリムーバブル記録媒体から読み出されてメインメモリ２２６にロードされた、あるいは通信部２３２を介してダウンロードされた各種プログラム（例えばＶＲゲームアプリケーション等）を実行する。ＧＰＵ２２４は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ２２２からの描画命令にしたがって描画処理を行い、描画結果を出力部２３６に出力する。メインメモリ２２６は、ＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。

【0022】

図５は、ヘッドマウントディスプレイ１００の内部回路構成を示す。ヘッドマウントディスプレイ１００は、ＣＰＵ１２０、メインメモリ１２２、表示部１２４、音声出力部１２６を含む。これらの各部はバス１２８を介して相互に接続されている。バス１２８にはさらに入出力インターフェース１３０が接続されている。入出力インターフェース１３０には、無線通信のインターフェースを含む通信部１３２、モーションセンサ１３４、およびステレオカメラ１１０が接続される。

【0023】

ＣＰＵ１２０は、バス１２８を介してヘッドマウントディスプレイ１００の各部から取得した情報を処理するとともに、画像生成装置２００から取得した表示画像や音声のデータを表示部１２４や音声出力部１２６に供給する。メインメモリ１２２は、ＣＰＵ１２０における処理に必要なプログラムやデータを格納する。

【0024】

表示部１２４は、液晶パネルや有機ＥＬパネルなどの表示パネルを含み、ヘッドマウントディスプレイ１００を装着したユーザの眼前に画像を表示する。表示部１２４は、左右の目に対応する領域に一対のステレオ画像を表示することにより立体視を実現してもよい。表示部１２４はさらに、ヘッドマウントディスプレイ１００装着時に表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する一対のレンズを含んでもよい。

【0025】

音声出力部１２６は、ヘッドマウントディスプレイ１００の装着時にユーザの耳に対応する位置に設けたスピーカーやイヤホンで構成され、ユーザに音声を聞かせる。通信部１３２は、画像生成装置２００との間でデータを送受するためのインターフェースであり、Bluetooth（登録商標）などの既知の無線通信技術により通信を実現する。モーションセンサ１３４はジャイロセンサおよび加速度センサを含み、ヘッドマウントディスプレイ１００の角速度や加速度を取得する。

【0026】

ステレオカメラ１１０は、図１で示したとおり、ユーザの視点に対応する視野で周囲の実空間を左右の視点から撮影するビデオカメラの対である。ステレオカメラ１１０により撮像された画像であり、ユーザの周囲空間を映した画像を以下「カメラ画像」とも呼ぶ。カメラ画像は、ユーザの視線方向（典型的にはユーザの正面）に存在する物体が映る画像とも言える。モーションセンサ１３４による計測値や、ステレオカメラ１１０による撮影画像（カメラ画像）のデータは、必要に応じて、通信部１３２を介して画像生成装置２００へ送信される。

【0027】

本実施の形態の画像表示システムでは、ヘッドマウントディスプレイ１００を装着したユーザがアプリケーションのプレイ中に移動可能な実世界の範囲を規定したプレイエリアが設定される。プレイエリアは、ユーザの周囲空間（ユーザの周囲に広がる実世界の空間）のうち、ユーザが仮想現実の画像（以下「ＶＲ画像」とも呼ぶ。）を視聴中に動き回ることが許可されたエリアまたは範囲と言える。アプリケーションのプレイ中にユーザがプレイエリアを逸脱しようとする場合や逸脱した場合、画像表示システムは、注意を促す内容、または、プレイエリアへの復帰を促す内容の警告をユーザに提供する。

【0028】

上記のアプリケーションは、ＶＲ画像をヘッドマウントディスプレイ１００に表示させるゲームアプリケーションであることとし、以下「ＶＲゲーム」とも呼ぶ。例えば、ＶＲゲームは、仮想世界のテニスコートを示すＶＲ画像を表示させ、実世界でのユーザの移動（歩行等）に伴って、仮想世界のテニスコートにおけるキャラクタの位置を変化させるテニスゲームであってもよい。

【0029】

本実施の形態において画像生成装置２００は、プレイエリアを自動検出する。この際、画像生成装置２００は、ヘッドマウントディスプレイ１００のステレオカメラ１１０が撮影した実空間における周囲の物の位置や形状を特定することで、ユーザがそれらの物に衝突することなく移動できる範囲を決定する。画像生成装置２００はさらに、自動検出されたプレイエリアを編集するユーザの操作を受け付け、その操作に応じてプレイエリアの形状を変更する。これにより、ユーザが任意形状のプレイエリアを効率的に設定できる。

【0030】

図６は、画像生成装置の機能ブロックを示すブロック図である。上述したように、画像生成装置２００は、ＶＲゲームの進行やサーバとの通信等、一般的な情報処理を実行するが、図６では特に、プレイエリアの設定に関する機能ブロックを詳細に示している。なお、図６に示す画像生成装置２００の機能のうち少なくとも一部は、ネットワークを介して画像生成装置２００に接続されたサーバに実装されてもよいし、ヘッドマウントディスプレイ１００に実装されてもよい。

【0031】

また、図６に示す複数の機能ブロックは、ハードウェア的には、図４に示したＣＰＵ２２２、ＧＰＵ２２４、メインメモリ２２６、記憶部２３４等の構成で実現でき、ソフトウェア的には、複数の機能ブロックの機能を実装したコンピュータプログラムにより実現できる。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

【0032】

画像生成装置２００は、データ処理部２５０とデータ記憶部２５２を備える。データ処理部２５０は、各種のデータ処理を実行する。データ処理部２５０は、図４に示した通信部２３２、出力部２３６、入力部２３８を介して、ヘッドマウントディスプレイ１００およびコントローラ１４０とデータを送受信する。データ記憶部２５２は、データ処理部２５０により参照または更新されるデータを記憶する。

【0033】

データ記憶部２５２は、Ａｐｐ記憶部２５４、プレイエリア記憶部２５６、マップ記憶部２５８を備える。Ａｐｐ記憶部２５４は、ＶＲ画像を生成するアプリケーション（実施形態ではＶＲゲーム）のデータを記憶する。プレイエリア記憶部２５６は、プレイエリアに関するデータを記憶する。プレイエリアに関するデータは、プレイエリアの境界を構成する点群の位置を示すデータ（例えばワールド座標系における各点の座標値）を含む。

【0034】

マップ記憶部２５８は、ヘッドマウントディスプレイ１００の位置（すなわちヘッドマウントディスプレイ１００を装着したユーザの位置）を推定するためのマップデータを記憶する。本実施の形態のマップデータは、ユーザがＶＲゲームをプレイする部屋が映る画像（当該画像に映る特徴点）であり、位置関係（位置および方向）が判明している画像（当該画像に映る特徴点）の集合を含む。具体的には、マップデータは、ヘッドマウントディスプレイ１００の位置、視線方向、およびキーフレームを対応付けた組を複数組含む。なお、マップデータは、いわゆる自己位置推定に必要な他の項目を含んでもよい。

【0035】

或る組のキーフレームは、同じ組の位置および視線方向で見える像の特徴を示すデータである。キーフレームは、ヘッドマウントディスプレイ１００のステレオカメラ１１０により撮像されたカメラ画像をもとに生成された画像であり、かつ、所定個数以上の特徴点を含む画像である。キーフレームに含まれるべき特徴点の個数は２４個以上であってもよい。特徴点は、公知のコーナー検出法により検出されたコーナーを含んでもよく、また、輝度の勾配に基づいて検出されてもよい。キーフレームは、カメラ画像から切り出された部分画像の集合とも言える。

【0036】

データ処理部２５０は、システム部２６０、Ａｐｐ実行部２９０、表示制御部２９２を備える。これら複数の機能ブロックの機能は、コンピュータプログラムに実装されてもよい。画像生成装置２００のＣＰＵ２２２とＧＰＵ２２４は、上記コンピュータプログラムを記憶部２３４や記録媒体からメインメモリ２２６に読み出して実行することにより上記複数の機能ブロックの機能を発揮してもよい。

【0037】

Ａｐｐ実行部２９０は、ユーザにより選択されたアプリケーション（実施形態ではＶＲゲーム）のデータをＡｐｐ記憶部２５４から読み出し、ユーザにより選択されたアプリケーションを実行する。表示制御部２９２は、システム部２６０およびＡｐｐ実行部２９０により生成された様々な画像（例えばＶＲ画像やＡＲ画像）のデータをヘッドマウントディスプレイ１００へ送信し、それらの画像をヘッドマウントディスプレイ１００の表示部１２４（表示パネル）に表示させる。なお表示制御部２９２は、音声のデータをヘッドマウントディスプレイ１００に送信し、ヘッドマウントディスプレイ１００の音声出力部１２６から出力させてもよい。

【0038】

システム部２６０は、ヘッドマウントディスプレイ１００に関するシステムの処理を実行する。システム部２６０は、ヘッドマウントディスプレイ１００用の複数のアプリケーション（例えばＶＲゲーム）に対して共通のサービスを提供する。システム部２６０は、カメラ画像取得部２６２、プレイエリア設定部２６４、マップ生成部２７４、通知部２７８、位置推定部２８０、警告処理部２８２を含む。

【0039】

カメラ画像取得部２６２は、ヘッドマウントディスプレイ１００から送信された、ヘッドマウントディスプレイ１００のステレオカメラ１１０により撮像されたカメラ画像を取得する。プレイエリア設定部２６４は、プレイエリアの設定に係る各種処理を実行する。具体的にはプレイエリア設定部２６４は、カメラ画像取得部２６２により取得されたカメラ画像と、コントローラ１４０を介して入力されたユーザの操作とに基づいて、プレイエリアを設定する。プレイエリア設定部２６４は、プレイエリア検出部２６６、床面設定部２６８、プレイエリア編集部２７０を含む。

【0040】

プレイエリア検出部２６６は、カメラ画像取得部２６２により取得されたカメラ画像に基づいて、ヘッドマウントディスプレイ１００を装着したユーザの周囲空間からプレイエリアを自動検出する。床面設定部２６８は、プレイエリア検出部２６６によりプレイエリアとして検出された床面の高さを編集するユーザの操作を受け付け、その操作に応じて床面の高さを変更する。

【0041】

プレイエリア編集部２７０は、プレイエリア検出部２６６により自動検出されたプレイエリアを編集するユーザの操作を受け付け、その操作に応じてプレイエリアの形状を変更する。例えば、プレイエリア編集部２７０は、プレイエリア検出部２６６により自動検出されたプレイエリアを、ユーザの操作に応じて縮小したり拡張したりする。

【0042】

マップ生成部２７４は、プレイエリア検出部２６６がプレイエリアを検出することと並行して、カメラ画像取得部２６２により取得されたカメラ画像に基づいて、ユーザの位置を推定するためのマップを生成する。マップ生成部２７４は、生成したマップデータをマップ記憶部２５８に格納する。マップ生成部２７４は、ユーザの周囲空間を複数の方向から映した複数枚のカメラ画像であって、予め定められた枚数以上のカメラ画像が入力された場合、マップの生成を終了する。

【0043】

通知部２７８は、Ａｐｐ実行部２９０によるＶＲゲームの実行に必要な情報をＡｐｐ実行部２９０へ通知する。位置推定部２８０は、マップ記憶部２５８に記憶されたマップデータと、カメラ画像取得部２６２により取得されたカメラ画像とに基づいて、実世界におけるユーザの位置を推定し、言い換えれば、プレイエリアにおけるユーザの位置を推定する。

【0044】

例えば、位置推定部２８０は、マップデータに含まれる複数のキーフレームとカメラ画像とを照合し、その照合結果と、各キーフレームに対応付けられたヘッドマウントディスプレイ１００の位置および視線方向とに基づいて、ユーザの位置を推定してもよい。また、位置推定部２８０は、ＳＬＡＭ（Simultaneous Localization and Mapping）等、公知の自己位置推定技術を用いてユーザの位置を推定してもよい。警告処理部２８２は、プレイエリアの境界と、ユーザの位置との関係に応じて、ユーザに対する警告処理を実行する。

【0045】

次に、以上の構成によって実現される画像表示システムの動作を説明する。図７は、プレイエリアを設定する際の画像生成装置２００の動作を示すフローチャートである。ユーザは、ヘッドマウントディスプレイ１００のシステムの設定メニューの中で、プレイエリアの初期設定または再設定を選択可能である。プレイエリアの初期設定または再設定が選択された場合、画像生成装置２００のプレイエリア設定部２６４は、表示制御部２９２を介して、周囲を見回すよう促す内容のメッセージをヘッドマウントディスプレイ１００に表示させる。

【0046】

これに応じてユーザが、ヘッドマウントディスプレイ１００を頭部に装着して周囲を見回しつつ移動すると、ヘッドマウントディスプレイ１００は、複数のカメラ画像のデータを画像生成装置２００へ逐次送信する。複数のカメラ画像のデータのそれぞれは、各カメラ画像生成時のセンサデータを含む。センサデータは、モーションセンサ１３４による計測値を含み、例えば、ヘッドマウントディスプレイ１００の角速度や加速度を含む。画像生成装置２００のカメラ画像取得部２６２は、ヘッドマウントディスプレイ１００から送信されたカメラ画像のデータを取得する（Ｓ１０）。

【0047】

画像生成装置２００のプレイエリア検出部２６６は、Ｓ１０で取得されたカメラ画像に基づいて、ユーザの周囲空間におけるプレイエリアを自動検出する（Ｓ１２）。具体的には、プレイエリア検出部２６６は、カメラ画像と、そのカメラ画像に対応するセンサデータとに基づいて、公知の手法によりユーザの部屋の３次元形状を推定してもよい。プレイエリア検出部２６６は、推定した部屋の３次元形状をもとに、センサデータが示す重力方向に対して垂直な平面（典型的には床面）を検出し、検出した同じ高さの複数の平面を合成した結果をプレイエリアとして検出してもよい。プレイエリア検出部２６６は、プレイエリアの境界を構成する点群の座標値を含むプレイエリアデータをプレイエリア記憶部２５６に格納する。

【0048】

プレイエリア検出部２６６は、プレイエリア検出時、プレイエリアとしての床面の高さを検出する。床面の高さは、例えば、重力方向における床面とヘッドマウントディスプレイ１００との距離であってもよい。プレイエリア検出部２６６は、床面の高さを示すデータをプレイエリア記憶部２５６に格納する。ヘッドマウントディスプレイ１００の位置が原点の場合、床面の高さはマイナス１メートル等であってもよい。

【0049】

画像生成装置２００のマップ生成部２７４は、Ｓ１２の処理と並行して、Ｓ１０で取得されたカメラ画像に基づいて、ユーザの位置を推定するためのマップを生成する（Ｓ１４）。ユーザの位置を推定するのに十分なマップデータが得られたことを示す所定条件が満たされるまで、プレイエリア検出部２６６およびマップ生成部２７４は、新たなカメラ画像を用いてＳ１２、Ｓ１４の処理を繰り返す（Ｓ１６のＮ）。十分なマップデータが得られたら、プレイエリア検出部２６６は、プレイエリアの検出処理を終了し、マップ生成部２７４は、マップの生成処理を終了する（Ｓ１６のＹ）。

【0050】

次に、画像生成装置２００の床面設定部２６８は、プレイエリア記憶部２５６に記憶された床面の高さを示すデータに基づいて、床面調整画面を生成する。床面調整画面は、カメラ画像取得部２６２により取得されたカメラ画像に床面を示すオブジェクト（例えば半透明の格子状のオブジェクト）を重畳したＡＲ画像を含んでもよい。床面設定部２６８は、表示制御部２９２を介して、ヘッドマウントディスプレイ１００の表示パネルに床面調整画面を表示させる。床面設定部２６８は、床面調整画面に入力された床面の高さを調整するユーザの操作を受け付け、ユーザの操作にしたがって床面の高さを変更する。床面設定部２６８は、変更後の床面の高さを示すデータをプレイエリア記憶部２５６に格納する（Ｓ１８）。

【0051】

続いて画像生成装置２００のプレイエリア編集部２７０は、プレイエリア検出部２６６により自動検出されたプレイエリアを示す画像を生成する。具体的には、プレイエリア編集部２７０は、プレイエリア記憶部２５６に格納されたプレイエリアデータに基づいて、プレイエリア編集画面を生成する。プレイエリア編集画面は、カメラ画像取得部２６２により取得されたカメラ画像の上にプレイエリアを示すオブジェクトを重畳したＡＲ画像を含む。画像生成装置２００の表示制御部２９２は、プレイエリア編集画面をヘッドマウントディスプレイ１００の表示パネルに表示させる（Ｓ２０）。

【0052】

プレイエリア編集部２７０は、プレイエリア編集画面に入力されたプレイエリアを編集するユーザの操作を受け付ける（Ｓ２２）。具体的にはプレイエリア編集部２７０は、ユーザの操作に応じてプレイエリアの形状を変更し、すなわち、ユーザの操作に応じてプレイエリアを拡張または縮小する。プレイエリア編集部２７０は、形状変更後のプレイエリアのデータ（例えば境界を構成する点群の座標値）をプレイエリア記憶部２５６に格納することにより、プレイエリア記憶部２５６に記憶されたプレイエリアデータを更新する。

【0053】

図８は、プレイエリア検出部２６６によるプレイエリアの検出手法を説明するための図である。プレイエリア検出部２６６は基本的に、マップ生成部２７４が生成しているマップにおいて、床面に対し略垂直方向の面を検出することで、そこに物があることを特定する。図の例では、ヘッドマウントディスプレイ１００を装着したユーザが周囲を見回すにつれ、その視線方向（例えば方向Ｓ、Ｓ’）で撮影された障害物（例えば障害物７０ａ、７０ｂ）の特徴点の３次元位置座標が徐々に特定される。

【0054】

その結果、障害物の存在が判明した実空間の領域が広がっていき、それとともにプレイエリア検出部２６６は、検出された障害物の手前などにプレイエリアの境界７２を設定していく。図７のＳ１６において十分なマップデータが得られたことを判定するまでは、プレイエリア検出部２６６は、障害物の新規検出に応じてプレイエリアの境界７２を適宜更新する。一周分の見回しが完了するなどして、十分なマップデータが得られたことを判定したら、プレイエリア検出部２６６はその時点でのプレイエリアを、暫定的なプレイエリアとして決定する。

【0055】

図９は、図７のＳ２０で表示されるプレイエリアの画像を示す。プレイエリア画像６０は、プレイエリア部６２と境界部６４を含む。プレイエリア部６２は、プレイエリア（典型的には障害物のない床面）を示す画像であり、例えば半透明の格子状のオブジェクトを示す画像であってもよい。境界部６４は、プレイエリアの境界面を示す画像であり、プレイエリアの境界においてプレイエリアに垂直に交わる面を表す画像である。境界部６４も、例えば半透明の格子状のオブジェクトであってもよい。

【0056】

図１０は、ユーザがプレイエリアを編集する様子を模式的に示している。プレイエリア編集部２７０は、図９で示したプレイエリア部６２など、プレイエリアを示すオブジェクトをカメラ画像に重畳させたＡＲ画像を、ヘッドマウントディスプレイ１００に表示させる。すなわちユーザ４００には、実物体（例えば実物体４０２）に囲まれた床面上に、プレイエリア検出部２６６が暫定的に決定したプレイエリアのオブジェクト４０４が見えている。

【0057】

ユーザ４００はコントローラ１４０を用い、床面上に仮想的な新たな線４０６を描くことで、元のプレイエリアの境界線を任意に修正する。そのためプレイエリア編集部２７０は例えば、コントローラ１４０から仮想的なビーム４０８を出射させ、その到達先の床面に、コントローラカーソル４１０のオブジェクトを表したＡＲ画像を表示させる。ユーザがレーザーポインタのようにコントローラ１４０を動かすのに合わせて、プレイエリア編集部２７０はコントローラカーソル４１０を移動させ、移動軌跡を線４０６として表す。これによりユーザには、床に線を描いている感覚が得られる。

【0058】

図１１は、コントローラカーソルの動きとプレイエリアの変化を例示している。同図は編集期間の各段階におけるプレイエリア部６２の俯瞰図を示している。（ａ）～（ｃ）に示すように、ユーザは、床面上でコントローラカーソル４１０を移動させ、その移動軌跡を示す線として、例えばプレイエリア部６２の内から外に出て、再びプレイエリア部６２の内に入る線を描く。この場合、（ｄ）に示すように、プレイエリア編集部２７０は、描かれた線により囲まれた領域をプレイエリア部６２に追加する。この場合、ユーザは、コントローラカーソル４１０を床面上で移動させることにより、プレイエリアの新たな境界線を描いていることになる。

【0059】

これに応じてプレイエリア編集部２７０は、追加された領域を含む新たなプレイエリアのデータを生成し、プレイエリア記憶部２５６に記憶された元のデータを更新する。なおプレイエリアを縮小する場合、プレイエリア編集部２７０は、元のプレイエリア部６２を分断するような線を描く操作を受け付ける。この場合、プレイエリア編集部２７０は、例えば分断されたプレイエリア部６２のうち、ユーザが存在する側を新たなプレイエリアとする。

【0060】

プレイエリア編集部２７０は、図示するようなプレイエリアの編集操作を、プレイエリア検出部２６６がプレイエリアを自動検出した際のみならず、編集操作を経て一旦、確定させたプレイエリアを、後のタイミングで変更する際にも受け付ける。これにより、プレイエリアの設定の自由度を高められる。

【0061】

一方、周囲に障害物がない広大な場所において、プレイエリアを無限に拡張可能とすると、次のような問題が生じ得る。すなわち、画像生成装置２００とヘッドマウントディスプレイ１００をケーブルで接続した場合、長いケーブルが必要になりユーザの動きの妨げになる。場合によっては、ケーブルが身体に巻き付いたり躓きの原因になったりする危険がある。画像生成装置２００とヘッドマウントディスプレイ１００を無線接続した場合も、ユーザの位置によって通信状態が安定しなくなることが考えられる。

【0062】

またユーザの動きを追跡する計算量が膨大になったり追跡精度が悪くなったりし、表示の遅延やコンテンツ処理精度の劣化などが起こりやすくなる。そこで本実施の形態では、プレイエリアのサイズに上限を設ける。プレイエリアの上限は例えば５×５ｍの矩形とする。ユーザがプレイエリアの編集操作により上限を超えるプレイエリアを設定した場合、プレイエリア編集部２７０はそれを検出し、編集後のプレイエリアを切り取ることで上限に収まるようにサイズを調整する。これにより、編集操作を最初からやり直す手間が省けるようにする。

【0063】

図１２は、プレイエリア編集部２７０が、ユーザによる編集後のプレイエリアのサイズを調整する手法を例示している。同図は編集期間の各段階におけるプレイエリア（あるいはそのオブジェクト）の俯瞰図を示している。このうち（ａ）は初期状態であり、プレイエリア４２０の外接矩形４２２は、両辺とも上限内にある。（ｂ）は、ユーザが編集操作中の状態であり、元のプレイエリア４２０に対し、コントローラカーソルの移動により新たな境界線４２４が描かれている。

【0064】

（ｃ）は、コントローラカーソルが、元のプレイエリア４２０の内に入った状態を示している。これによりプレイエリア編集部２７０は、描かれた境界線の内側の領域を含む新たなプレイエリア４２６を認識する。なおプレイエリア編集部２７０は、ユーザがコントローラ１４０のトリガーボタンの押下を開始および終了させたタイミングを、境界線の描画開始および描画終了として認識してもよい。すなわちプレイエリア編集部２７０は、トリガーボタンが押下されている状態において境界線の描画を有効としてもよい。

【0065】

（ｃ）においてユーザが描画を終えると、プレイエリア編集部２７０は、新たなプレイエリア４２６に対し外接矩形４２８を仮想的に生成し、そのサイズが上限を超えているか否かを判定する。外接矩形４２８のサイズが上限を超えているとき、すなわち辺の長さの少なくとも一方が上限を超えているとき、プレイエリア編集部２７０は、超えている部分を切り取る切り取り線４３０を設定して、新たなプレイエリア４２６を切り取る。

【0066】

ここで切り取り線４３０は、外接矩形４２８のうち上限を超えている辺（対向する２辺）に垂直な線である。なお以後の説明では、外接矩形４２８のうち上限を超えている辺に平行な軸ｘを「調整軸」と呼ぶ。図では調整軸を１方向のみとしているが、外接矩形４２８のうち隣り合う辺がどちらも上限を超えている場合、調整軸は互いに垂直な２軸となる。（ｄ）は、切り取り線４３０で切り取られた後のプレイエリア４３２を示しており、切り取り線４３０を適切に設定することにより、外接矩形４３４を上限に収められる。

【0067】

外接矩形４３４のうち調整軸方向の辺の長さが上限ｘｕとなるように切り取り線４３０を設定すれば、ユーザが拡張させたい方向に最大限のプレイエリアを設けることができる。なおプレイエリアのサイズは、外接矩形のほか、外接する多角形や円、楕円などを用いて確認してもよい。また切り取り線は調整軸に対し任意の方向としてもよく、切り取り線を折れ線や曲線としてもよい。ただし図示するような設定によれば、容易な計算で即座にプレイエリアを調整できる。

【0068】

図１３は、プレイエリアの編集期間において、プレイエリア編集部２７０がヘッドマウントディスプレイ１００に表示させる画像を例示している。（ａ）は、ユーザがコントローラ１４０により新たなプレイエリアの境界線を描いた直後の画像の例であり、プレイエリアのオブジェクト４４０が表されている。プレイエリアのオブジェクト４４０は実際には、カメラ画像における、対応する床面領域の像に重畳される。

【0069】

例えばユーザは、ヘッドマウントディスプレイ１００に表示されたカメラ画像とコントローラカーソルを見ながら、コントローラ１４０を用いて手前左側から奥側へ移動させたコントローラカーソルを、手前右側に移動させる。プレイエリア編集部２７０はその移動軌跡をプレイエリアの新たな境界線と認識し、一旦、その内側をプレイエリアのオブジェクトで埋めることにより、図示するようなオブジェクト４４０が表される。

【0070】

ユーザがコントローラ１４０のトリガーボタンを離すなど、描画を終了させたことを認識したら、プレイエリア編集部２７０は図１２の（ｃ）に示すように、外接矩形のサイズを確認する。上限を超えていたら、プレイエリア編集部２７０は、調整軸に垂直な切り取り線を設定してプレイエリアを切り取る。図では説明のため、設定された切り取り線４４２を、プレイエリアのオブジェクト４４０に合わせて示しているが、実際には表示しなくてよい。

【0071】

そしてプレイエリア編集部２７０は、（ｂ）に示すように、切り取り線４４２の外側を切り取った残りのプレイエリアとその境界面を、プレイエリア部４４４、境界部４４６のオブジェクトとして表す。プレイエリア部４４４、境界部４４６も実際には、カメラ画像に重畳して表す。図示するような画像の変化により、ユーザは自分が描いた境界線がプレイエリアの上限サイズを超えていたことを認識できる。

【0072】

一方、プレイエリア編集部２７０は、プレイエリアを切り取ったことを、より明確に示してもよい。例えばプレイエリア編集部２７０は、プレイエリア部４４４のうち切り取り線と重なる部分４４８、あるいはその上の境界部４４６の色を他と異ならせてもよい。あるいはプレイエリア編集部２７０は、（ａ）から（ｂ）への遷移過程において、プレイエリアの一部が切り取られていく様子を表すアニメーションを表示させてもよいし、（ｂ）の画像において、切り取られた部分を、プレイエリア部４４４より透明度の高いオブジェクトとして残しておいてもよい。

【0073】

またプレイエリア編集部２７０はプレイエリアを切り取ったタイミングで、表示制御部２９２およびヘッドマウントディスプレイ１００を介して、ユーザに所定の警告音を聴かせてもよい。いずれにしろこれらの明示により、ユーザは、当初描いた境界線が上限を超えていたため、サイズが調整されたことを容易に認識できる。あるいはプレイエリア編集部２７０は、ユーザが境界線を描いている段階で、プレイエリアサイズの超過を常時監視し、超過したタイミングでユーザに通知してもよい。

【0074】

図１４は、ユーザがプレイエリアの境界線を描いている期間に、プレイエリア編集部２７０がプレイエリアサイズの超過を監視する態様を説明するための図である。ユーザはコントローラ１４０を用いて、元のプレイエリア４５０に対し新たな境界線４５２を描いているとする。このときプレイエリア編集部２７０は、元のプレイエリア４５０と境界線４５２に対し外接矩形４５４を所定のレートで生成する。つまり境界線４５２が延びれば、それに合わせて外接矩形４５４も更新され得る。

【0075】

そしてプレイエリア編集部２７０は、外接矩形４５４のサイズが上限を超えたとき、すなわち辺の長さの少なくとも一方が上限を超えたとき、ユーザにその旨を通知する。例えばプレイエリア編集部２７０は、表示制御部２９２およびヘッドマウントディスプレイ１００を介して、ユーザに所定の警告音を聴かせてもよい。あるいはプレイエリア編集部２７０は、上限を超えている部分の境界線の色を他と異ならせてもよいし、コントローラ１４０を振動させてもよい。これらの通知によりユーザは、描画中の境界線の方向を変化させるなどの対応を容易にとることができる。

【0076】

図１２の例では専ら、ユーザが境界線の描画により追加した領域を切り取り対象としていた。このようにすると図１３で示したように、ユーザが主に見ている方向において、一部のプレイエリアが切り取られたことを表せるため、ユーザは直感的な把握が可能になる。一方、元のプレイエリアのサイズが上限に近い場合などは、ユーザが追加したい方向にプレイエリアの拡張の余地がないことが考えられる。この場合、ユーザが追加した領域のみを切り取り対象とすると、追加した領域が全て切り取られ、結局はプレイエリアが変化しない状況に陥ることもあり得る。そのような場合も考慮し、プレイエリア編集部２７０が切り取る対象は、ユーザが追加した領域に限定しなくてよい。

【0077】

図１５は、プレイエリア編集部２７０が、新たなプレイエリアのうちユーザが追加した領域以外の領域を切り取る態様を説明するための図である。（ａ）は図１２と同様、元のプレイエリア４２０に対しユーザが境界線を描き、プレイエリア編集部２７０が新たなプレイエリア４２６に対し外接矩形４２８を生成した状態を示している。なおユーザは、プレイエリア内の位置４６０にいるとする。この例ではプレイエリア編集部２７０は、調整軸ｘに対し、ユーザが領域を追加したのと逆側のプレイエリアを切り取るように切り取り線４６４を設定している。

【0078】

このようにすると、プレイエリアのサイズが上限に近くても、ユーザが追加したい方向にプレイエリアが移動することになり、ユーザの意図を反映させやすくなる。一方でこの場合は、切り取られる領域がユーザの視野から外れている可能性が高くなる。その結果、ユーザは、いつの間にかプレイエリアの端にいたり、プレイエリアからはみ出していたりする状況が発生し得る。

【0079】

そこでプレイエリア編集部２７０は、（ｂ）に示すように、ユーザの位置４６０とプレイエリアの境界線との間隔が所定値以上を保つように切り取り線を決定してもよい。すなわちプレイエリア編集部２７０は、調整軸ｘにおいて、ユーザの位置４６０との間隔ｘ１、ｘ２が所定値以上となる位置に切り取り線を設定する。図の例では、調整軸ｘに対しプレイエリアの両側に、２つの切り取り線４６６ａ、４６６ｂを設定している。

【0080】

なお間隔ｘ１、ｘ２に与える下限は、ユーザが領域を追加した側と逆側で異なっていてもよい。また（ａ）に示すように、ユーザが領域を追加していない側を優先して切り取り、その切り取り線とユーザとの間隔ｘ１が下限を下回る場合に、切り取るべき残りの分を、ユーザが領域を追加した側で切り取ってもよい。あるいはその優先順位を逆にしてもよい。このようにすることで、調整軸に対しどちらの領域を優先して切り取るかに関わらず、ユーザはプレイエリアの中にいることが保証される。

【0081】

図１６は、ユーザがプレイエリア外からプレイエリアを編集する場合の、切り取り線の決定方針を説明するための図である。図１２と同様、元のプレイエリア４２０に対し、ユーザが境界線を描き、プレイエリア編集部２７０が新たなプレイエリア４２６に対し外接矩形４２８を生成する。ただしこの例では、ユーザは元々、プレイエリア４２０の外の位置４７０にいるとする。この場合、プレイエリア編集部２７０は、調整軸ｘに対し、ユーザの位置４７０から遠い側のプレイエリアを切り取るように切り取り線４７２を決定する。

【0082】

すなわちプレイエリア編集部２７０は、切り取りによって、ユーザからプレイエリアまでの距離Ｄが変化しないようにする。このようにすることで、ユーザが、自分から遠い方向にプレイエリアの範囲を拡張しようとするほど、プレイエリア全体が自分から遠ざかっていくような状況が発生しないようにできる。

【0083】

図１７は、プレイエリア編集部２７０が、プレイエリアの形状や存在する実物体によって切り取り線を決定する態様を説明するための図である。（ａ）、（ｂ）はいずれも、図１２と同様、元のプレイエリア４２０に対し、ユーザが境界線を描き、プレイエリア編集部２７０が新たなプレイエリア４２６に対し外接矩形４２８を生成した状態を示している。（ａ）においてプレイエリア編集部２７０は、新たなプレイエリア４２６において所定幅より小さい部分を優先して切り取るように切り取り線４８０ａ、４８０ｂを決定している。

【0084】

プレイエリア編集部２７０は例えば、外接矩形４２８の縦方向、横方向に境界線を走査し、対向する境界線の距離（例えば距離ｄ１、ｄ２）がしきい値より小さい箇所を検出する。そして当該箇所を除外するような切り取り線４８０ｂを優先して決定する。これにより、ユーザが通ることができず実質的に意味をなさないプレイエリアを除外する。この目的において対向する境界線の距離に与えるしきい値は、人の肩幅程度であり、例えば３０～４０ｃｍなどとする。

【0085】

（ｂ）においてはプレイエリア編集部２７０は、新たなプレイエリア４２６内に実物体４８２がある場合、その部分を優先して切り取るように切り取り線４８４ａ、４８４ｂを決定している。この場合、プレイエリア編集部２７０は、マップ記憶部２５８に格納されたマップを参照し、新たなプレイエリア４２６の内側に一部でも入っている実物体４８２の存在を検出する。これにより、衝突の危険性がある領域を確実に排除し、安全なプレイエリアを設定できる。

【0086】

なお（ａ）、（ｂ）はいずれも、優先して切り出すべき部分が、ユーザが追加した領域に存在するが、調整軸ｘの逆側に同様の箇所がある場合は当然、それを切り取り対象としてよい。また（ａ）、（ｂ）のケースが同時に発生する場合は、双方を切り取り対象としてよい。それらのケースの少なくともいずれかで切り取り線を決定し、必要に応じて、さらに図１２、１５、１６に示した方針のいずれかで切り取り線を決定してもよい。図の例では、ユーザがプレイエリア内にいることを想定し、調整軸に対し逆側にも切り取り線４８０ａ、４８４ａを設けることにより、ユーザが拡張したい方向のプレイエリアをできるだけ残すようにしている。

【0087】

図１８は、プレイエリア編集部２７０が、ユーザによる編集操作に応じてプレイエリアのデータを更新する処理手順を示すフローチャートである。この処理は、図７で示したフローチャートのＳ２０、Ｓ２２に対応する。まずプレイエリア編集部２７０は、プレイエリア検出部２６６が検出したプレイエリアを、図９で示したようなオブジェクトとして表し、カメラ画像に重畳させるなどしてヘッドマウントディスプレイ１００に表示させる（Ｓ３０）。

【0088】

ユーザがコントローラ１４０を用い、床に線を描く動作をしたら、プレイエリア編集部２７０はそれを検知し、新規の境界線を示すオブジェクトを該当箇所に描画する（Ｓ３２）。例えばユーザが、トリガーボタンを押下した状態でコントローラ１４０の指示方向を変化させると、プレイエリア編集部２７０はその変化に応じてコントローラカーソルのオブジェクトを移動させるとともに、その移動軌跡を延伸させていく。コントローラカーソルが元のプレイエリアから出て再び元のプレイエリアに戻ったあと、トリガーボタンが離されたら、プレイエリア編集部２７０は、その時点での移動軌跡を新たな境界線として認識する

【0089】

そしてプレイエリア編集部２７０は、新たな境界線により追加された領域を含む新たなプレイエリアのサイズが上限を超えるか否かを判定する（Ｓ３４）。具体的にはプレイエリア編集部２７０は、新たなプレイエリアに対し外接矩形を生成し、その辺の長さが上限を超えるか否かを判定する。少なくともどちらかの辺の長さが上限を超える場合（Ｓ３４のＹ）、プレイエリア編集部２７０は、プレイエリアの切り取り線を決定する。

【0090】

具体的にはプレイエリア編集部２７０は、図１７で示したように、プレイエリアの形状やプレイエリア内の実物体の存在により、優先的に切り取るべき領域があるか否かを確認する（Ｓ３６）。そのような領域が存在する場合（Ｓ３６のＹ）、プレイエリア編集部２７０は、当該領域を除外するような切り取り線を設定する（Ｓ３８）。例えばプレイエリア編集部２７０は、幅がしきい値より小さい箇所や実物体が存在する領域から、調整軸において所定間隔離れた位置に切り取り線を設定する。

【0091】

なおプレイエリア内に実物体がある場合、プレイエリア編集部２７０は、Ｓ３４でプレイエリアのサイズを確認する前に、該当領域を除外する切り取り線を設定してもよい。Ｓ３８で切り取り線を設定したあと、あるいは優先的に切り取るべき領域がなかった場合（Ｓ３６のＮ）、プレイエリア編集部２７０は、あらかじめ定められた優先順に切り取り線を設定する（Ｓ４０）。ここで優先順には、図１２のようにユーザが新たに追加した領域から切り取ることを優先するか、図１５の（ａ）のように逆側の領域から切り取ることを優先するか、図１６のようにユーザがプレイエリアの外にいる場合に、ユーザから離れた領域から切り取ることを優先するか、といった選択肢が考えられる。

【0092】

ユーザがプレイエリアの中にいる場合、好適には、図１５の（ｂ）に示すように、調整軸における切り取り線とユーザの距離を所定値以上にする、という拘束条件を設ける。なおＳ３８において優先して切り取るべき領域を除外する切り取り線を設定したことにより、新しいプレエイリアのサイズが上限以内に収まることが見込まれる場合は、Ｓ４０の処理を省略できる。

【0093】

プレイエリア編集部２７０は、Ｓ３８、Ｓ４０で設定した切り取り線でプレイエリアを切り取り、元のプレイエリアのデータを更新する（Ｓ４２）。Ｓ３４において新たなプレイエリアのサイズが上限を超えなかった場合も（Ｓ３４のＮ）、当該新たなプレイエリアでデータを更新する（Ｓ４２）。そしてプレイエリア編集部２７０は、新たに決定したプレイエリアをオブジェクトとして表し、カメラ画像に重畳させるなどしてヘッドマウントディスプレイ１００に表示させる（Ｓ４４）。

【0094】

Ｓ３８、Ｓ４０において切り取り線を設定し、ユーザ操作により生成されたプレイエリアを切り取った場合、プレイエリア編集部２７０は、図１３の（ｂ）に示したように、切り取った箇所を明示する画像を表示させてもよい。またＳ３２において、ユーザが境界線を描いている段階においても、サイズが上限を超えたときに画像や音でユーザに知らせてもよい。

【0095】

以上述べた本実施の形態によれば、画像処理装置は、ヘッドマウントディスプレイを装着したユーザが安全に動き回ることのできるプレイエリアを自動で検出したうえ、ユーザによる編集操作を受け付ける。画像処理装置は、そのようにして生成された新たなプレイエリアのサイズが、あらかじめ定められた上限以内か否かを確認し、上限を超えていた場合、自動で適切な切り取り線を設定し切り取ることでプレイエリアのサイズを適正値に収める。これにより、ユーザが有効なプレイエリアのサイズ感を把握しきれず編集を失敗し、何度も編集作業を強いられるような状況の発生を抑えられる。

【0096】

また画像処理装置は、ユーザが領域を追加したい方向やユーザの位置などに応じて、好適な位置でプレイエリアを切り取る。これにより、ユーザの意図を汲み取りつつ、編集操作による不具合が起こりにくいプレイエリアを決定できる。したがってユーザが比較的粗くかつ自由にプレイエリアを編集しても、最終的には適正なプレイエリアとして受け入れられる可能性が高くなり、編集操作への心的障壁を低くできる。

【0097】

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

【符号の説明】

【0098】

１００ ヘッドマウントディスプレイ、 ２００ 画像生成装置、 ２５６ プレイエリア記憶部、 ２６４ プレイエリア設定部、 ２６６ プレイエリア検出部、 ２６８ 床面設定部、 ２７０ プレイエリア編集部、 ２７４ マップ生成部、 ２８０ 位置推定部、 ２８２ 警告処理部、 ２９２ 表示制御部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】