特許 6242452 仮想空間を提供する方法、仮想体験を提供する方法、プログラム、および記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6242452

(24)【登録日】2017年11月17日

(45)【発行日】2017年12月6日

(54)【発明の名称】仮想空間を提供する方法、仮想体験を提供する方法、プログラム、および記録媒体

(51)【国際特許分類】

   G06F 3/01 20060101AFI20171127BHJP

   G06F 3/0481 20130101ALI20171127BHJP

   G06F 3/0484 20130101ALI20171127BHJP

   G06F 3/0346 20130101ALI20171127BHJP

【ＦＩ】

   G06F3/01 514

   G06F3/0481 150

   G06F3/0484

   G06F3/0346 424

【請求項の数】10

【全頁数】25

(21)【出願番号】特願2016-162243(P2016-162243)

(22)【出願日】2016年8月22日

【審査請求日】2016年11月30日

【早期審査対象出願】

【前置審査】

(73)【特許権者】

【識別番号】509070463

【氏名又は名称】株式会社コロプラ

(74)【代理人】

【識別番号】110000338

【氏名又は名称】特許業務法人ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ

(72)【発明者】

【氏名】猪俣 篤

【審査官】 加内 慎也

(56)【参考文献】

【文献】 特開２０１６−０９５５５７（ＪＰ，Ａ）

【文献】 特開２０１３−２５８６１４（ＪＰ，Ａ）

【文献】 特開２０１２−００８８７７（ＪＰ，Ａ）

【文献】 特開２０１４−０７１５２０（ＪＰ，Ａ）

【文献】 特開２００９−２９４３７２（ＪＰ，Ａ）

【文献】 特開２００５−１３４５３６（ＪＰ，Ａ）

【文献】 国際公開第２０１６／１２９５４９（ＷＯ，Ａ１）

【文献】 鈴川絢子，VR運転体験！トレインマイスターをやってきた - YouTube，２０１６年 ５月１８日，動画，ＵＲＬ，https://www.youtube.com/watch?v=dn6-gG7qn90

【文献】 ふじのっち，メタルギア ソリッド ４ ガンズ・オブ・ザ・パトリオット METAL GEAR SOLID 4，週刊ファミ通，株式会社エンターブレイン，２００８年 ６月２７日，第２３巻 第２６号，p.100

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０３４６

Ｇ０６Ｆ ３／０４８１

Ｇ０６Ｆ ３／０４８４

(57)【特許請求の範囲】

【請求項1】

頭部にヘッドマウントディスプレイを装着したユーザに仮想空間を提供する方法であって、
前記ヘッドマウントディスプレイの動きに基づいて、前記仮想空間のうち前記ヘッドマウントディスプレイに出力される視界画像を生成するステップと、
前記仮想空間に、前記ユーザからの指示を受け付けるユーザインタフェース（以下、ＵＩ）オブジェクトであって、操作部分を第１位置に含むＵＩオブジェクトを生成するステップと、
前記仮想空間に、前記ユーザの前記頭部以外の身体の一部の動きに連動する仮想身体を生成するステップと、
前記操作部分が、前記仮想身体により選択されたことを検出するステップと、
前記操作部分が前記仮想身体により選択されたまま、該仮想身体により前記ＵＩオブジェクトから遠ざかる何れかの方向に移動させられたことを検出するステップと、
前記操作部分が前記仮想身体により選択されたまま、前記第１位置とは異なる第２位置に位置している間、所定の選択肢を前記ＵＩオブジェクトに対する前記指示に基づき選択可能とするステップと、を含み、
前記ＵＩオブジェクトを基準として、前記方向において、前記第２位置を含む第１距離範囲と、前記第２位置および前記第１位置と異なる第３位置を含む第２距離範囲とが設定されており、
前記選択可能とするステップでは、前記第１距離範囲に前記操作部分が位置している場合、前記所定の選択肢を選択可能とし、前記第２距離範囲に前記操作部分が位置している場合、前記所定の選択肢と異なる選択肢を選択可能とし、
前記ＵＩオブジェクトには表示領域が設けられており、
前記表示領域には、前記操作部分が前記第１位置に位置しているとき、第１情報が表示されており、
前記操作部分が前記第２位置に位置しているとき、前記所定の選択肢に応じた第２情報を前記第１情報から切り替えて前記表示領域に表示させることを特徴とする方法。

【請求項2】

前記身体の一部と接触しているコントローラによって、前記身体の一部の動きと前記仮想身体とは連動しており、
前記所定の選択肢を選択可能にするとき、前記身体の一部に前記コントローラを介して振動を与えるステップをさらに含む請求項１に記載の方法。

【請求項3】

前記第２位置において前記仮想身体による前記操作部分の選択が解除された場合、前記操作部分を前記第１位置に戻すステップと、
前記操作部分が前記第１位置に戻った場合、前記所定の選択肢を選択可能な状態を維持するステップと、をさらに含む請求項１または２に記載の方法。

【請求項4】

前記操作部分が前記第１位置に戻った場合、前記所定の選択肢を選択させるステップをさらに含む請求項３に記載の方法。

【請求項5】

頭部にヘッドマウントディスプレイを装着したユーザに仮想体験を提供する方法であって、
前記ユーザからの指示を受け付けるユーザインタフェース（以下、ＵＩ）オブジェクトであって、操作部分を第１位置に含むＵＩオブジェクトを生成するステップと、
前記操作部分が、前記ユーザの頭部以外の身体の一部により選択されたことを検出するステップと、
前記操作部分が前記身体の一部により選択されたまま、該身体の一部により前記ＵＩオブジェクトから遠ざかる何れかの方向に移動させられたことを検出するステップと、
前記操作部分が前記身体の一部により選択されたまま、前記第１位置とは異なる第２位置に位置している間、所定の選択肢を前記ＵＩオブジェクトに対する前記指示に基づき選択可能とするステップと、を含み、
前記ＵＩオブジェクトを基準として、前記方向において、前記第２位置を含む第１距離範囲と、前記第２位置および前記第１位置と異なる第３位置を含む第２距離範囲とが設定されており、
前記選択可能とするステップでは、前記第１距離範囲に前記操作部分が位置している場合、前記所定の選択肢を選択可能とし、前記第２距離範囲に前記操作部分が位置している場合、前記所定の選択肢と異なる選択肢を選択可能とし、
前記ＵＩオブジェクトには表示領域が設けられており、
前記表示領域には、前記操作部分が前記第１位置に位置しているとき、第１情報が表示されており、
前記操作部分が前記第２位置に位置しているとき、前記所定の選択肢に応じた第２情報を前記第１情報から切り替えて前記表示領域に表示させることを特徴とする方法。

【請求項6】

頭部にヘッドマウントディスプレイを装着したユーザに仮想空間を提供する方法であって、
前記ヘッドマウントディスプレイの動きに基づいて、前記仮想空間のうち前記ヘッドマウントディスプレイに出力される視界画像を生成するステップと、
前記仮想空間に、前記ユーザからの指示を受け付けるユーザインタフェース（以下、ＵＩ）オブジェクトであって、操作部分を第１位置に含むＵＩオブジェクトを生成するステップと、
前記仮想空間に、前記ユーザの前記頭部以外の身体の一部の動きに連動する仮想身体を生成するステップと、
前記操作部分が、前記仮想身体により選択されたことを検出するステップと、
前記操作部分が前記仮想身体により選択されたまま、該仮想身体により前記ＵＩオブジェクトから遠ざかる何れかの方向に移動させられたことを検出するステップと、
前記操作部分が前記仮想身体により選択されたまま、前記第１位置とは異なる第２位置に位置している間、所定の選択肢を前記ＵＩオブジェクトに対する前記指示に基づき選択可能とするステップと、を含み、
前記ＵＩオブジェクトを基準として、前記方向において、前記第２位置を含む第１距離範囲と、前記第２位置および前記第１位置と異なる第３位置を含む第２距離範囲とが設定されており、
前記選択可能とするステップでは、前記第１距離範囲に前記操作部分が位置している場合、前記所定の選択肢を選択可能とし、前記第２距離範囲に前記操作部分が位置している場合、前記所定の選択肢と異なる選択肢を選択可能とすることを特徴とする方法。

【請求項7】

頭部にヘッドマウントディスプレイを装着したユーザに仮想体験を提供する方法であって、
前記ユーザからの指示を受け付けるユーザインタフェース（以下、ＵＩ）オブジェクトであって、操作部分を第１位置に含むＵＩオブジェクトを生成するステップと、
前記操作部分が、前記ユーザの頭部以外の身体の一部により選択されたことを検出するステップと、
前記操作部分が前記身体の一部により選択されたまま、該身体の一部により前記ＵＩオブジェクトから遠ざかる何れかの方向に移動させられたことを検出するステップと、
前記操作部分が前記身体の一部により選択されたまま、前記第１位置とは異なる第２位置に位置している間、所定の選択肢を前記ＵＩオブジェクトに対する前記指示に基づき選択可能とするステップと、を含み、
前記ＵＩオブジェクトを基準として、前記方向において、前記第２位置を含む第１距離範囲と、前記第２位置および前記第１位置と異なる第３位置を含む第２距離範囲とが設定されており、
前記選択可能とするステップでは、前記第１距離範囲に前記操作部分が位置している場合、前記所定の選択肢を選択可能とし、前記第２距離範囲に前記操作部分が位置している場合、前記所定の選択肢と異なる選択肢を選択可能とする方法。

【請求項8】

前記操作部分が移動させられたことを検出するステップでは、前記操作部分が現実の物体に対応せずに移動させられたことを検出する請求項６または７に記載の方法。

【請求項9】

請求項１〜８のいずれか１項に記載の方法の各ステップを、コンピュータに実行させるプログラム。

【請求項10】

請求項９に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、仮想空間を提供する方法、仮想体験を提供する方法、プログラム、および記録媒体に関する。

【背景技術】

【0002】

特許文献１には、仮想空間に配置されたウィジェットに視線を送ることによって所定の入力を行うことができる方法が記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第５８７６６０７号公報（２０１６年１月２９日登録）

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１においては、仮想体験をさらに改善させる余地がある。特に、ＵＩ（User Interface）に対する入力を実行した実感をユーザに体感させることにより、仮想体験をさらに改善し得る。

【0005】

本開示は、前記の課題を解決するためになされたものであり、その目的は、仮想体験をさらに改善することにある。

【課題を解決するための手段】

【0006】

本開示に係る仮想空間を提供する方法は、頭部にヘッドマウントディスプレイを装着したユーザに仮想空間を提供する方法であって、ヘッドマウントディスプレイの動きに基づいて、仮想空間のうちヘッドマウントディスプレイに出力される視界画像を生成するステップと、仮想空間に、ユーザからの指示を受け付けるユーザインタフェース（以下、ＵＩ）オブジェクトであって、操作部分を第１位置に含むＵＩオブジェクトを生成するステップと、仮想空間に、ユーザの頭部以外の身体の一部の動きに連動する仮想身体を生成するステップと、操作部分が、仮想身体により選択されたことを検出するステップと、操作部分が仮想身体により選択されたまま、仮想身体により何れかの方向に移動させられたことを検出するステップと、操作部分が仮想身体により選択されたまま、第１位置とは異なる第２位置に位置している間、所定の選択肢をＵＩオブジェクトに対する指示に基づき選択可能とするステップと、を含む。

【0007】

また、本開示に係る仮想体験を提供する方法は、頭部にヘッドマウントディスプレイを装着したユーザに仮想体験を提供する方法であって、ユーザからの指示を受け付けるユーザインタフェース（以下、ＵＩ）オブジェクトであって、操作部分を第１位置に含むＵＩオブジェクトを生成するステップと、操作部分が、ユーザの頭部以外の身体の一部により選択されたことを検出するステップと、操作部分が身体の一部により選択されたまま、身体の一部により何れかの方向に移動させられたことを検出するステップと、操作部分が身体の一部により選択されたまま、第１位置とは異なる第２位置に位置している間、所定の選択肢をＵＩオブジェクトに対する指示に基づき選択可能とするステップと、を含む。

【発明の効果】

【0008】

本開示によれば、仮想体験をさらに改善し得る。

【図面の簡単な説明】

【0009】

【図1】ＨＭＤシステムの構成を示す図である。

【図2】制御回路部のハード構成を示す図である。

【図3】ＨＭＤに設定される視野座標系を例示する図である。

【図4】ユーザに提供される仮想空間の概要を説明する図である。

【図5】視界領域の断面を示す図である。

【図6】ユーザの視線方向を決定する方法を例示する図である。

【図7】右コントローラの構成を表す図である。

【図8】制御回路部の機能的構成を示すブロック図である。

【図9】ＨＭＤシステムが仮想空間をユーザに提供する処理の流れを示すシーケンス図である。

【図10】仮想空間における選択操作の進行を説明するシーケンス図である。

【図11】ディスプレイに表示される視界画像の遷移の一例を示す図である。

【発明を実施するための形態】

【0010】

［本発明の実施形態の詳細］
本発明の実施形態に係る仮想空間を提供する方法、および、プログラムの具体例を、以下に図面を参照しつつ説明する。本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が本発明に含まれることが意図される。以下の説明では、図面の説明において同一の要素には同一の符号を付し、重複する説明を繰り返さない。

【0011】

（ＨＭＤシステム１００の構成）
図１は、ＨＭＤシステム１００の構成を示す図である。この図に示すように、ＨＭＤシステム１００は、ＨＭＤ（ヘッドマウントディスプレイ）１１０、ＨＭＤセンサ１２０、コントローラセンサ１４０、制御回路部２００、およびコントローラ３００を備えている。

【0012】

ＨＭＤ１１０は、ユーザの頭部に装着される。ＨＭＤ１１０は、非透過型の表示装置であるディスプレイ１１２、センサ１１４、および注視センサ１３０を備えている。ＨＭＤ１１０は、右目用画像および左目用画像をディスプレイ１１２にそれぞれ表示することにより、ユーザの両目の視差に基づきユーザに立体的に視認される３次元画像を、ユーザに視認させる。これにより仮想空間をユーザに提供する。ディスプレイ１１２がユーザの眼前に配置されているので、ユーザは、ディスプレイ１１２に表示される画像を通じて仮想空間に没入できる。これにより、ユーザは仮想現実（Virtual Reality：VR）を体験することができる。仮想空間は、背景、ならびにユーザが操作可能な各種のオブジェクトおよびメニュー画像等を含み得る。

【0013】

ディスプレイ１１２は、右目用画像を表示する右目用サブディスプレイと、左目用画像を表示する左目用サブディスプレイとを含んでもよい。または、ディスプレイ１１２は、右目用画像および左目用画像を共通の画面に表示する１つの表示装置であってもよい。このような表示装置として、例えば、表示画像が一方の目にしか認識できないようにするシャッターを高速に切り替えることにより、右目用画像および左目用画像を独立して交互に表示する表示装置が挙げられる。

【0014】

また、本実施形態において、ＨＭＤ１１０には、透過型ディスプレイが適用されてもよい。つまり、ＨＭＤ１１０は、透過型ＨＭＤであってもよい。この場合、３次元画像を透過型ディスプレイに表示することによって、後述する仮想オブジェクトを現実空間に仮想的に配置することができる。これにより、ユーザは現実空間に仮想オブジェクトが配置された複合現実（Mixes Reality：MR）を体験することができる。本実施形態において、仮想現実や複合現実といった、ユーザが仮想オブジェクトと相互作用できる体験を仮想体験と称することがある。以下では、仮想現実を提供するための方法を一例として詳説する。

【0015】

（制御回路部２００のハード構成）
図２は、制御回路部２００のハード構成を示す図である。制御回路部２００は、ＨＭＤ１１０に仮想空間を提供させるためのコンピュータである。図２に示すように、制御回路部２００は、プロセッサ、メモリ、ストレージ、入出力インターフェース、および通信インターフェースを備えている。これらは、データ伝送路としてのバスを通じて、制御回路部２００内において互いに接続されている。

【0016】

プロセッサは、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-processing unit）、またはＧＰＵ（Graphics Processing Unit）等を含んで構成され、制御回路部２００およびＨＭＤシステム１００全体の動作を制御する。

【0017】

メモリは、主記憶として機能する。メモリには、プロセッサによって処理されるプログラムおよび制御用データ（演算パラメータなど）が記憶される。メモリは、ＲＯＭ（Read Only Memory）またはＲＡＭ（Random Access Memory）等を含んで構成され得る。

【0018】

ストレージは、補助記憶として機能する。ストレージには、ＨＭＤシステム１００全体の動作を制御するためのプログラム、各種のシミュレーションプログラム、ユーザ認証プログラム、および、仮想空間を規定するための各種のデータ（画像およびオブジェクト等）が格納されている。さらには、各種のデータを管理するためのテーブルを含むデータベースがストレージに構築されていてもよい。ストレージは、フラッシュメモリまたはＨＤＤ（Hard Disc Drive）等を含んで構成され得る。

【0019】

入出力インターフェースは、ＵＳＢ（Universal Serial Bus）端子、ＤＶＩ（Digital Visual Interface）端子、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）端子等の各種の有線接続端子、および、無線接続のための各種の処理回路を含んで構成されている。入出力インターフェースは、ＨＭＤ１１０と、ＨＭＤセンサ１２０およびコントローラセンサ１４０を含む各種のセンサと、コントローラ３００とを互いに接続する。

【0020】

通信インターフェースは、ネットワークＮＷを介して外部装置と通信するための各種の有線接続端子、および、無線接続のための各種の処理回路を含んで構成される。通信インターフェースは、ＬＡＮ（Local Area Network）またはインターネットを介して通信するための各種の通信規格およびプロトコルに適合するように、構成されている。

【0021】

制御回路部２００は、ストレージに格納された所定のアプリケーションプログラムをメモリにロードして実行することによって、ユーザに仮想空間を提供する。プログラムの実行時に、メモリおよびストレージには、仮想空間内に配置される各種のオブジェクトを操作したり、各種のメニュー画像等を表示および制御したりするための各種のプログラムが格納される。

【0022】

制御回路部２００は、ＨＭＤ１１０に搭載されていてもよいし、されていなくてもよい。すなわち制御回路部２００は、ＨＭＤ１１０から独立した別のハードウェア（例えば、パーソナルコンピュータ、またはネットワークを通じてＨＭＤ１１０と通信可能なサーバ装置）であってもよい。制御回路部２００は、複数のハードウェアの協働によって１または複数の機能が実装される形態の装置であってもよい。または、制御回路部２００が有する全機能のうち一部の機能のみがＨＭＤ１１０に実装され、残りの機能が別のハードウェアに実装されていてもよい。

【0023】

ＨＭＤシステム１００を構成するＨＭＤ１１０等の各要素には、予め、グローバル座標系（基準座標系、ｘｙｚ座標系）が設定されている。このグローバル座標系は、現実空間における、鉛直方向、鉛直方向と直交する横方向、ならびに、鉛直方向および横方向の双方と直交する前後方向にそれぞれ平行な、３つの基準方向（軸）を有する。本実施形態では、グローバル座標系は視点座標系の一種であるため、グローバル座標系における横方向、鉛直方向（上下方向）、および前後方向を、それぞれｘ軸、ｙ軸、ｚ軸とする。具体的には、グローバル座標系のｘ軸は現実空間の横方向に平行であり、ｙ軸は現実空間の鉛直方向に平行であり、ｚ軸は現実空間の前後方向に平行である。

【0024】

ＨＭＤセンサ１２０は、ＨＭＤ１１０の動きを検出するためのポジション・トラッキング機能を有する。ＨＭＤセンサ１２０は、この機能によって、現実空間内におけるＨＭＤ１１０の位置および傾きを検出する。この検出を実現するために、ＨＭＤ１１０は、図示しない複数の光源を備えている。各光源は、例えば赤外線を発するＬＥＤである。ＨＭＤセンサ１２０は、例えば赤外線センサを含んで構成される。ＨＭＤセンサ１２０は、ＨＭＤ１１０の光源から照射された赤外線を、赤外線センサによって検出することによって、ＨＭＤ１１０の検出点を検出する。さらに、ＨＭＤ１１０の検出点の検出値に基づき、ユーザの動きに応じたＨＭＤ１１０の現実空間内における位置および傾きを検出する。ＨＭＤセンサ１２０は、検出値の経時的変化に基づき、ＨＭＤ１１０の位置および傾きの時間変化を決定することができる。

【0025】

ＨＭＤセンサ１２０は、光学カメラを含んで構成されてもよい。この場合、ＨＭＤセンサ１２０は、光学カメラによって得られたＨＭＤ１１０の画像情報に基づき、ＨＭＤ１１０の位置および傾きを検出する。

【0026】

ＨＭＤセンサ１２０の代わりに、ＨＭＤ１１０が、センサ１１４を用いて自身の位置および傾きを検出してもよい。この場合、センサ１１４は、例えば角速度センサ、地磁気センサ、加速度センサ、またはジャイロセンサであればよい。ＨＭＤ１１０は、これらのうち少なくとも１つを用いる。センサ１１４が角速度センサである場合、センサ１１４は、ＨＭＤ１１０の動きに応じて、ＨＭＤ１１０の現実空間における３軸回りの角速度を経時的に検出する。ＨＭＤ１１０は、角速度の検出値に基づき、ＨＭＤ１１０の３軸回りの角度の時間的変化を決定し、さらに、角度の時間的変化に基づきＨＭＤ１１０の傾きを検出することができる。

【0027】

ＨＭＤ１１０がセンサ１１４による検出値に基づきＨＭＤ１１０の位置および傾きを自ら検出する場合、ＨＭＤシステム１００にＨＭＤセンサ１２０は不要である。逆に、ＨＭＤ１１０から離れた位置に配置されるＨＭＤセンサ１２０がＨＭＤ１１０の位置および傾きを検出する場合、ＨＭＤ１１０にセンサ１１４は不要である。

【0028】

上述したように、グローバル座標系は現実空間の座標系と平行である。そのため、ＨＭＤセンサ１２０によって検出されたＨＭＤ１１０の各傾きは、グローバル座標系におけるＨＭＤ１１０の３軸周りの各傾きに相当する。ＨＭＤセンサ１２０は、グローバル座標系におけるＨＭＤセンサ１２０の傾きの検出値に基づき、ｕｖｗ視野座標系をＨＭＤ１１０に設定する。ＨＭＤ１１０に設定されるｕｖｗ視野座標系は、ＨＭＤ１１０を装着したユーザが物体を見る際の視点座標系に対応する。

【0029】

（ｕｖｗ視野座標系）
図３は、ＨＭＤ１１０に設定されるｕｖｗ視野座標系を例示する図である。ＨＭＤセンサ１２０は、ＨＭＤ１１０の起動時に、グローバル座標系におけるＨＭＤ１１０の位置および傾きを検出する。そして、傾きの検出値に基づく３次元のｕｖｗ視野座標系を、ＨＭＤ１１０に設定する。図３に示すように、ＨＭＤセンサ１２０は、ＨＭＤ１１０を装着したユーザの頭部を中心（原点）とした３次元のｕｖｗ視野座標系を、ＨＭＤ１１０に設定する。具体的には、グローバル座標系を規定する横方向、鉛直方向、および前後方向（ｘ軸、ｙ軸、ｚ軸）を、グローバル座標系内においてＨＭＤ１１０の各軸周りの傾きだけ各軸周りにそれぞれ傾けることによって得られる新たな３つの方向を、ＨＭＤ１１０におけるｕｖｗ視野座標系のピッチ方向（ｕ軸）、ヨー方向（ｖ軸）、およびロール方向（ｗ軸）として設定する。

【0030】

図３に示すように、ＨＭＤセンサ１２０は、ＨＭＤ１１０を装着したユーザが直立しかつ正面を視認している場合、グローバル座標系に平行なｕｖｗ視野座標系をＨＭＤ１１０に設定する。この場合、グローバル座標系の横方向（ｘ軸）、鉛直方向（ｙ軸）、および前後方向（ｚ軸）が、そのまま、ＨＭＤ１１０におけるｕｖｗ視野座標系のピッチ方向（ｕ軸）、ヨー方向（ｖ軸）、およびロール方向（ｗ軸）に一致する。

【0031】

ＨＭＤセンサ１２０は、ＨＭＤ１１０にｕｖｗ視野座標系を設定した後、ＨＭＤ１１０の動きに応じて、現在設定中のｕｖｗ視野座標系におけるＨＭＤ１１０の傾き（傾きの変化量）を検出することができる。この場合、ＨＭＤセンサ１２０は、ＨＭＤ１１０の傾きとして、現在設定中のｕｖｗ視野座標系におけるＨＭＤ１１０のピッチ角（θｕ）、ヨー角（θｖ）、およびロール角（θｗ）をそれぞれ検出する。ピッチ角（θｕ）は、ｕｖｗ視野座標系におけるピッチ方向周りのＨＭＤ１１０の傾き角度である。ヨー角（θｖ）は、ｕｖｗ視野座標系におけるヨー方向周りのＨＭＤ１１０の傾き角度である。ロール角（θｗ）は、ｕｖｗ視野座標系におけるロール方向周りのＨＭＤ１１０の傾き角度である。

【0032】

ＨＭＤセンサ１２０は、ＨＭＤ１１０の傾きの検出値に基づき、動いた後のＨＭＤ１１０におけるｕｖｗ視野座標系を、新たにＨＭＤ１１０に設定する。ＨＭＤ１１０と、ＨＭＤ１１０のｕｖｗ視野座標系との関係は、ＨＭＤ１１０の位置および傾きによらず常に一定である。ＨＭＤ１１０の位置および傾きが変わると、それの変化に連動して、グローバル座標系におけるＨＭＤ１１０のｕｖｗ視野座標系の位置および傾きが同様に変化する。

【0033】

ＨＭＤセンサ１２０は、赤外線センサによって取得される赤外線の光強度および複数の検出点間の相対位置関係（検出点間の距離等）に基づき、ＨＭＤ１１０の現実空間内における位置を、ＨＭＤセンサ１２０に対する相対位置として特定してもよい。また、特定した相対位置に基づき、現実空間内（グローバル座標系）におけるＨＭＤ１１０のｕｖｗ視野座標系の原点を決定してもよい。また、ＨＭＤセンサ１２０は、複数の検出点間の相対位置関係に基づきＨＭＤ１１０の現実空間内における傾きを検出し、さらに、その検出値に基づき現実空間内（グローバル座標系）におけるＨＭＤ１１０のｕｖｗ視野座標系の向きを決定してもよい。

【0034】

（仮想空間２の概要）
図４は、ユーザに提供される仮想空間２の概要を説明する図である。この図に示すように、仮想空間２は、中心２１の３６０°方向全体を覆う全天球状の構造を有する。図４には、仮想空間２の全体のうち上半分の天球のみを例示する。仮想空間２には、略正方形または略長方形の複数のメッシュが関連付けられている。仮想空間２における各メッシュの位置は、仮想空間２に規定される空間座標系（ＸＹＺ座標系）における座標として、予め規定されている。制御回路部２００は、仮想空間２に展開可能なコンテンツ（静止画、動画等）を構成する各部分画像を、仮想空間２における対応する各メッシュに対応付けることによって、ユーザによって視認可能な仮想空間画像２２が展開される仮想空間２をユーザに提供する。

【0035】

仮想空間２には、中心２１を原点とするＸＹＺ空間座標系が規定されている。ＸＹＺ座標系は、例えばグローバル座標系に平行である。ＸＹＺ座標系は視点座標系の一種であるため、ＸＹＺ座標系における横方向、鉛直方向（上下方向）、および前後方向を、それぞれＸ軸、Ｙ軸、Ｚ軸とする。すなわち、ＸＹＺ座標系のＸ軸（横方向）がグローバル座標系のｘ軸と平行であり、ＸＹＺ座標系のＹ軸（上下方向）がグローバル座標系のｙ軸と平行であり、ＸＹＺ座標系のＺ軸（前後方向）がグローバル座標系のｚ軸と平行である。

【0036】

ＨＭＤ１１０の起動時（初期状態）において、仮想空間２の中心２１に仮想カメラ１が配置されている。仮想カメラ１は、現実空間内におけるＨＭＤ１１０の動きに連動して、仮想空間２内において同様に動く。これにより、現実空間内におけるＨＭＤ１１０の位置および向きの変化が、仮想空間２内において同様に再現される。

【0037】

仮想カメラ１には、ＨＭＤ１１０と同様にｕｖｗ視野座標系が規定される。仮想空間２内における仮想カメラ１のｕｖｗ視野座標系は、現実空間（グローバル座標系）内におけるＨＭＤ１１０のｕｖｗ視野座標系に変動するように規定されている。したがって、ＨＭＤ１１０の傾きが変化すると、それに連動して仮想カメラ１の傾きも変化する。仮想カメラ１は、ＨＭＤ１１０を装着したユーザの現実空間における移動に連動して、仮想空間２において移動することもできる。

【0038】

仮想空間２における仮想カメラ１の位置および傾きに応じて、仮想空間２における仮想カメラ１の向きが決まる。これにより、仮想空間２に展開される仮想空間画像２２をユーザが視認する際の基準となる視線（基準視線５）が決まる。制御回路部２００は、基準視線５に基づき、仮想空間２における視界領域２３を決定する。視界領域２３は、仮想空間２のうち、ＨＭＤ１１０を装着したユーザの視界に対応する領域である。

【0039】

図５は、視界領域２３の断面を示す図である。図５の（ａ）に、仮想空間２において視界領域２３をＸ方向から見たＹＺ断面を示す。図５の（ｂ）に、仮想空間２において視界領域２３をＹ方向から見たＸＺ断面を示す。視界領域２３は、基準視線５と仮想空間２のＹＺ断面とによって定義される範囲である第１領域２４（図５の（ａ）参照）と、基準視線５と仮想空間２のＸＺ断面とによって定義される範囲である第２領域２５（図５の（ｂ）参照）とを有する。制御回路部２００は、仮想空間２における基準視線５を中心として極角αを含む範囲を、第１領域２４として設定する。また、仮想空間２における基準視線５を中心とした方位角βを含む範囲を、第２領域２５として設定する。

【0040】

ＨＭＤシステム１００は、仮想空間画像２２のうち視界領域２３に重畳する部分である視界画像２６をＨＭＤ１１０のディスプレイ１１２に表示させることによって、ユーザに仮想空間２を提供する。ユーザがＨＭＤ１１０を動かせば、それに連動して仮想カメラ１も動き、その結果、仮想空間２における視界領域２３の位置が変化する。これによりディスプレイ１１２に表示される視界画像２６が、仮想空間画像２２のうち、仮想空間２においてユーザが向いた箇所（＝視界領域２３）に重畳する画像に更新される。したがってユーザは、仮想空間２における所望の箇所を視認することができる。

【0041】

ユーザは、ＨＭＤ１１０を装着している間、現実世界を目にすることなく、仮想空間２に展開される仮想空間画像２２のみを視認する。そのためＨＭＤシステム１００は、仮想空間２への高い没入感をユーザに与えることができる。

【0042】

制御回路部２００は、ＨＭＤ１１０を装着したユーザの現実空間における移動に連動して、仮想カメラ１を仮想空間２内において移動させてもよい。この場合、制御回路部２００は、仮想カメラ１の仮想空間２内における位置および向きに基づき、仮想空間２のうちＨＭＤ１１０のディスプレイ１１２に投影されることによってユーザが視認する視界領域２３を特定する。

【0043】

仮想カメラ１は、右眼用画像を提供する右眼用仮想カメラと、左眼用画像を提供する左眼用仮想カメラとを含むことが好ましい。さらに、２つの仮想カメラには、ユーザが３次元の仮想空間２を認識できるように適切な視差が設定されていることが好ましい。本実施形態では、このような２つの仮想カメラのロール方向が合成されることによって生成されるロール方向（ｗ）がＨＭＤ１１０のロール方向（ｗ）に適合されるような仮想カメラ１のみを、代表して図示および説明するものとする。

【0044】

（視線方向の検出）
注視センサ１３０は、ユーザの右目および左目の視線が向けられる方向（視線方向）を検出するアイトラッキング機能を有する。注視センサ１３０として、アイトラッキング機能を有する公知のセンサを採用することができる。注視センサ１３０は、右目用センサおよび左目用センサを備えていることが好ましい。注視センサ１３０は、例えば、ユーザの右目および左目に赤外光を照射すると共に、照射光に対する角膜および虹彩からの反射光を受光することによって、各眼球の回転角を検出するセンサでもよい。注視センサ１３０は、検出した各回転角に基づき、ユーザの視線方向を検知することができる。

【0045】

注視センサ１３０によって検出されるユーザの視線方向は、ユーザが物体を視認する際の視点座標系における方向である。上述したように、ＨＭＤ１１０のｕｖｗ視野座標系は、ユーザがディスプレイ１１２を視認する際の視点座標系に等しい。また、仮想カメラ１のｕｖｗ視野座標系は、ＨＭＤ１１０のｕｖｗ視野座標系に連動している。したがってＨＭＤシステム１００では、注視センサ１３０によって検出されたユーザの視線方向を、仮想カメラ１のｕｖｗ視野座標系におけるユーザの視線方向と見なすことができる。

【0046】

図６は、ユーザの視線方向を決定する方法を例示する図である。この図に示すように、注視センサ１３０は、ユーザＵの右目および左目の視線を検出する。ユーザＵが近くを見ている場合、注視センサ１３０は、ユーザＵの視線Ｒ１およびＬ１を検出する。ユーザが遠くを見ている場合、注視センサ１３０は、ユーザの視線Ｒ１およびＬ１よりも、ＨＭＤ１１０のロール方向（ｗ）とのなす角が小さい視線Ｒ２およびＬ２を特定する。注視センサ１３０は、検出値を制御回路部２００に送信する。

【0047】

制御回路部２００は、視線の検出値として視線Ｒ１およびＬ１を受信した場合、両者の交点である注視点Ｎ１を特定する。一方、視線Ｒ２およびＬ２を受信した場合も、両者の交点である注視点Ｎ１（不図示）を特定する。制御回路部２００は、特定した注視点Ｎ１に基づき、ユーザＵの視線方向Ｎ０を検出する。制御回路部２００は、例えば、ユーザＵの右目Ｒと左目Ｌとを結ぶ直線の中点と、注視点Ｎ１とを通る直線の伸びる方向を、視線方向Ｎ０として検出する。視線方向Ｎ０は、ユーザＵが両目により実際に視線を向けている方向である。視線方向Ｎ０はまた、視界領域２３に対してユーザＵが実際に視線を向けている方向でもある。

【0048】

ＨＭＤシステム１００は、ＨＭＤシステム１００を構成するいずれかの要素に、マイクおよびスピーカを備えていてもよい。これにより、ユーザは仮想空間２内に対して、音声による指示を与えることができる。また、仮想空間内の仮想テレビにテレビ番組の放送を受信するために、ＨＭＤシステム１００はいずれかの要素にテレビジョン受像機を含んでいてもよい。また、ユーザが取得した電子メール等を表示させるための、通信機能等を含んでいてもよい。

【0049】

（コントローラ３００）
図７は、コントローラ３００の構成を表す図である。コントローラ３００は、ユーザの身体の一部の動きを検知することにより、仮想オブジェクトの動きを制御するために用いる装置の一例である。図１に示すように、コントローラ３００は、ユーザが右手に持って使用する右コントローラ３２０と、ユーザが左手に持って使用する左コントローラ３３０とからなる。右コントローラ３２０および左コントローラ３３０は、それぞれ別体の装置として構成される。ユーザは、右コントローラ３２０を持った右手と、左コントローラ３３０を持った左手とを、動かすことにより、ユーザの手の動きに連動する仮想オブジェクト（以下、状況に応じて仮想手、仮想右手、仮想左手、などと称することがある。）を自由に動かすことができる。なお、ユーザの頭部以外である身体の一部の動きを検知するための方法は、当該身体の一部に装着されるセンサを含むコントローラを用いる例に限られず、画像認識、その他任意の物理的、光学的な手法等を適用できる。例えば、外部カメラを用いてユーザの身体の一部の初期位置を特定し、継続的にユーザの身体の一部の位置を特定することにより、ユーザの頭部以外である身体の一部の動きを検知できる。以下の説明においては、コントローラ３００を用いたユーザの頭部以外である身体の一部の動きの検知について詳述する。

【0050】

図１に示すように、右コントローラ３２０および左コントローラ３３０は、それぞれ、操作ボタン３０２、赤外線ＬＥＤ（Light Emitting Diode）３０４、センサ３０６、およびトランシーバ３０８を備えている。右コントローラ３２０および左コントローラ３３０は、赤外線ＬＥＤ３０４およびセンサ３０６のうちいずれか一方のみを備えていてもよい。以下の説明において、右コントローラ３２０および左コントローラ３３０は共通の構成を有するため、右コントローラ３２０の構成のみを説明する。

【0051】

コントローラセンサ１４０は、右コントローラ３２０の動きを検出するためのポジション・トラッキング機能を有する。コントローラセンサ１４０は、現実空間内における右コントローラ３２０の位置および傾きを検出する。コントローラセンサ１４０は、右コントローラ３２０の赤外線ＬＥＤ３０４から発せられた赤外光を、それぞれ検出する。コントローラセンサ１４０は、赤外波長領域において画像を撮像する赤外カメラを備えており、この赤外カメラによって撮像した画像のデータに基づき、右コントローラ３２０の位置および傾きを検出する。

【0052】

コントローラセンサ１４０の代わりに、右コントローラ３２０が、センサ３０６を用いて自身の位置および傾きを検出してもよい。この場合、右コントローラ３２０の三軸角速度センサ（センサ３０６）が、右コントローラ３２０の３つの直交する各軸回りの回転を検出する。右コントローラ３２０は、各検出値に基づき、右コントローラ３２０がどちらの方向にどれだけ回転したかを検出し、逐次検出した回転方向と回転量とを累積することによって、右コントローラ３２０の傾きを算出する。右コントローラ３２０は、三軸角速度センサの検出値に加えて、三軸磁気センサおよび／または三軸加速度センサからの検出値を併用してもよい。

【0053】

操作ボタン３０２は、コントローラ３００に対するユーザからの操作入力を受け取るように構成された複数のボタン群である。本実施形態では、操作ボタン３０２は、プッシュ式ボタン、トリガー式ボタン、およびアナログスティックを含む。

【0054】

プッシュ式ボタンは、親指で下向きに押下する動作によって操作するように構成されたボタンである。右コントローラ３２０は、プッシュ式ボタンとして、天面３２２上に親指ボタン３０２ａおよび３０２ｂを備えている。親指ボタン３０２ａおよび３０２ｂは、いずれも右手の親指によって操作（押下）される。右手の親指によって親指ボタン３０２ａおよび３０２ｂが押下され、または、天面３２２上に親指が配置されることにより、仮想右手の親指が伸ばした状態から曲げられた状態に変化される。

【0055】

トリガー式ボタンは、人差し指または中指で引き金を引くような動作によって操作するように構成されたボタンである。右コントローラ３２０は、トリガー式ボタンとして、グリップ３２４の前面部分に人差し指ボタン３０２ｅを備えている。人差し指ボタン３０２ｅをおり、右手の人差し指によって操作することにより、仮想右手の人差し指が伸ばした状態から曲げられた状態に変化される。また、グリップ３２４の側面部分に中指ボタン３０２ｆを備えている。中指ボタン３０２ｆを右手の中指によって操作することにより、仮想右手の中指、薬指、小指が伸ばした状態から曲げられた状態に変化される。

【0056】

右コントローラ３２０は、親指ボタン３０２ａおよび３０２ｂ、人差し指ボタン３０２ｅ、ならびに中指ボタン３０２ｆの押下状態をそれぞれ検出し、これらの検出値を制御回路部２００に出力する。

【0057】

本実施形態では、右コントローラ３２０の各ボタンの押下状態の検出値は、０から１のいずれかの値を取り得る。例えば、ユーザが親指ボタン３０２ａをまったく押下していない場合、親指ボタン３０２ａの押下状態として「０」が検出される。一方、ユーザが親指ボタン３０２ａを完全に（最も深く）押下している場合、親指ボタン３０２ａの押下状態として「１」が検出される。これにより、仮想手における各指の曲がり具合を調整してもよい。例えば、「０」の状態を指が伸びている状態として定義し、「１」の状態を指が曲げられている状態として定義することにより、ユーザは直感的な動作によって仮想手の指を制御することができる。

【0058】

アナログスティックは、所定のニュートラル位置から３６０°任意の方向へ傾けて操作することが可能なスティック型のボタンである。右コントローラ３２０の天面３２２上にアナログスティック３０２ｉが設けられる。アナログスティック３０２ｉは、右手の親指によって操作される。

【0059】

右コントローラ３２０は、グリップ３２４の両側面から天面３２２とは反対側の方向へ延びて半円状のリングを形成するフレーム３２６を備えている。フレーム３２６の外表面には、複数の赤外線ＬＥＤ３０４が埋め込まれている。

【0060】

赤外線ＬＥＤ３０４は、プレイ中に赤外線を発光する。赤外線ＬＥＤ３０４から発せられた赤外光は、右コントローラ３２０の位置および傾きを検出するために利用される。

【0061】

右コントローラ３２０は、赤外線ＬＥＤ３０４の代わりに、または赤外線ＬＥＤ３０４に加えて、さらにセンサ３０６を内蔵する。センサ３０６は、例えば磁気センサ、角速度センサ、若しくは加速度センサのいずれか、またはこれらの組み合わせであってよい。センサ３０６によって、右コントローラ３２０の位置および傾きを検出することができる。

【0062】

トランシーバ３０８は、右コントローラ３２０と、制御回路部２００との間でデータを送受信するように構成される。トランシーバ３０８は、ユーザが操作ボタン３０２を介して右コントローラ３２０に与えた操作入力に基づくデータを、制御回路部２００へ送信する。また、トランシーバ３０８は、赤外線ＬＥＤ３０４の発光を右コントローラ３２０に指示する命令を、制御回路部２００から受信する。さらに、トランシーバ３０８は、センサ３０６によって検出した各種の値に対応するデータを、制御回路部２００へ送信する。

【0063】

右コントローラ３２０は、ユーザの手に振動による触覚フィードバックを伝えるためのバイブレータを備えていてもよい。この構成では、トランシーバ３０８は、上述した各データの送受信に加えて、バイブレータに触覚フィードバックを行わせるための命令を制御回路部２００から受信することができる。

【0064】

（制御回路部２００の機能的構成）
図８は、制御回路部２００の機能的構成を示すブロック図である。制御回路部２００は、ＨＭＤセンサ１２０、コントローラセンサ１４０、注視センサ１３０、およびコントローラ３００から受信した各種のデータを用いることによって、ユーザに提供される仮想空間２を制御する。また、制御回路部２００は、ＨＭＤ１１０のディスプレイ１１２への画像表示を制御する。図８に示すように、制御回路部２００は、検出部２１０、表示制御部２２０、仮想空間制御部２３０、記憶部２４０、および通信部２５０を備えている。制御回路部２００は、図２に示す各ハードウェアの協働によって、検出部２１０、表示制御部２２０、仮想空間制御部２３０、記憶部２４０、および通信部２５０として機能する。検出部２１０、表示制御部２２０、および仮想空間制御部２３０は、主としてプロセッサおよびメモリの協働によってその機能が実現され得る。記憶部２４０は、主としてメモリおよびストレージの協働によってその機能が実現され得る。通信部２５０は、主としてプロセッサおよび通信インターフェースの協働によってその機能が実現され得る。

【0065】

検出部２１０は、制御回路部２００に接続される各種のセンサ（ＨＭＤセンサ１２０等）から検出値を受信する。また、検出部２１０は、必要に応じて、受信した検出値を用いた所定の処理を実行する。検出部２１０は、ＨＭＤ検出部２１１、視線検出部２１２、およびコントローラ検出部２１３を備えている。ＨＭＤ検出部２１１は、ＨＭＤ１１０およびＨＭＤセンサ１２０から検出値をそれぞれ受信する。視線検出部２１２は、注視センサ１３０から検出値を受信する。コントローラ検出部２１３は、コントローラセンサ１４０、右コントローラ３２０、および左コントローラ３３０から、それぞれの検出値を受信する。

【0066】

表示制御部２２０は、ＨＭＤ１１０のディスプレイ１１２への画像表示を制御する。表示制御部２２０は、仮想カメラ制御部２２１、視界領域決定部２２２、および視界画像生成部２２３を備えている。仮想カメラ制御部２２１は、仮想空間２内に仮想カメラ１を配置する。そして、仮想カメラ制御部２２１は、仮想空間２内における仮想カメラ１の挙動を制御する。視界領域決定部２２２は、視界領域２３を決定する。視界画像生成部２２３は、決定された視界領域２３に基づき、ディスプレイ１１２に表示される視界画像２６を生成する。

【0067】

仮想空間制御部２３０は、ユーザに提供される仮想空間２を制御する。仮想空間制御部２３０は、仮想空間規定部２３１、仮想手制御部２３２、選択肢制御部２３３、および設定部２３４を備えている。

【0068】

仮想空間規定部２３１は、ユーザに提供される仮想空間２を表す仮想空間データを生成することによって、ＨＭＤシステム１００における仮想空間２を規定する。仮想手制御部２３２は、ユーザによる右コントローラ３２０および左コントローラ３３０の操作に応じたユーザの各仮想手（仮想右手および仮想左手）を仮想空間２内に配置する。仮想手制御部２３２は、仮想空間２内における各仮想手の挙動を制御する。

【0069】

選択肢制御部２３３は、選択肢の選択を受け付けるための仮想オブジェクトであるユーザインタフェース（ＵＩ）オブジェクトを仮想空間２内に配置する。そして、選択肢制御部２３３は、ＵＩオブジェクトに対する仮想身体の挙動に基づいて選択肢の選択を受け付ける。なお、仮想身体とは、ユーザの頭部以外の身体の一部の動きに連動する仮想オブジェクトである。本実施形態では、仮想身体が仮想手である例を説明する。

【0070】

選択肢制御部２３３は、表示領域を含むＵＩオブジェクトを生成する。選択肢制御部２３３は、この表示領域に、ユーザが選択可能な選択肢を表示する。また、選択肢制御部２３３が生成するＵＩオブジェクトは、操作部分を含む。選択肢制御部２３３は、操作部分に対する、仮想身体を介したユーザ操作に応じて、表示領域に表示する選択肢を切り替える。

【0071】

設定部２３４は、ＨＭＤシステム１００の動作モードを設定する。

【0072】

記憶部２４０は、制御回路部２００が仮想空間２をユーザに提供するために用いる各種のデータを格納している。記憶部２４０は、雛形格納部２４１、コンテンツ格納部２４２、および選択肢格納部２４３を備えている。雛形格納部２４１は、仮想空間２の雛形を表す各種の雛形データを格納している。コンテンツ格納部２４２は、仮想空間２において再生可能な各種のコンテンツを格納している。選択肢格納部２４３は、仮想空間２に配置される選択肢を格納している。

【0073】

雛形データは、仮想空間２の空間構造を規定する空間構造データを有する。空間構造データは、例えば、中心２１を中心とする３６０°の全天球の空間構造を規定するデータである。雛形データは、仮想空間２のＸＹＺ座標系を規定するデータをさらに有する。雛形データは、天球を構成する各メッシュのＸＹＺ座標系における位置を特定する座標データをさらに有する。また、雛形データは、仮想空間２内に仮想オブジェクトを配置可能であるか否かを示すフラグをさらに有する。

【0074】

コンテンツは、仮想空間２において再生可能なコンテンツである。例えば、コンテンツがゲームコンテンツの場合、コンテンツは、ゲームの背景画像、および、ゲームに登場する仮想オブジェクト（キャラクタ、アイテム等）を規定するデータを少なくとも有する。各コンテンツには、ＨＭＤ１１０の初期状態（起動時）にユーザに見せる画像を向いた初期方向が、予め規定されている。

【0075】

通信部２５０は、ネットワークＮＷを介して外部機器４００（例えばゲームサーバ）との間でデータを送受信する。

【0076】

（仮想空間２の提供処理）
図９は、ＨＭＤシステム１００が仮想空間２をユーザに提供する処理の流れを示すシーケンス図である。仮想空間２は、基本的に、ＨＭＤ１１０および制御回路部２００の協働によってユーザに提供される。図８に示す処理が開始されると、まず、ステップＳ１において、仮想空間規定部２３１が、ユーザに提供される仮想空間２を表す仮想空間データを生成することによって、仮想空間２を規定する。生成の手順は次の通りである。まず仮想空間規定部２３１は、仮想空間２の雛形データを雛形格納部２４１から取得することによって、仮想空間２の原型を定義する。仮想空間規定部２３１は、さらに、仮想空間２において再生されるコンテンツを、コンテンツ格納部２４２から取得する。本実施形態では、このコンテンツはゲームコンテンツである。

【0077】

仮想空間規定部２３１は、取得した雛形データに、取得したコンテンツを適合することによって、仮想空間２を規定する仮想空間データを生成する。仮想空間規定部２３１は、仮想空間データにおいて、仮想空間２の天球を構成する各メッシュの管理データに、コンテンツに含まれる背景画像を構成する各部分画像を適宜関連付ける。仮想空間規定部２３１は、コンテンツに規定される初期方向を仮想空間２のＸＹＺ座標系におけるＺ方向に合致させるように、各部分画像と各メッシュとを関連付けることが好ましい。

【0078】

仮想空間規定部２３１は、さらに、必要に応じて、コンテンツに含まれる各仮想オブジェクトの管理データを、仮想空間データに追加する。その際、各管理データに、対応する仮想オブジェクトが仮想空間２において配置される位置を表す座標を、設定する。これにより各仮想オブジェクトが、仮想空間２における当該座標の位置にそれぞれ配置される。

【0079】

その後、ユーザによってＨＭＤ１１０が起動されると、ステップＳ２において、ＨＭＤセンサ１２０が、ＨＭＤ１１０の初期状態における位置および傾きを検出して、ステップＳ３において、検出値を制御回路部２００に出力する。ＨＭＤ検出部２１１は、この検出値を受信する。この後、ステップＳ４において、仮想カメラ制御部２２１は、仮想空間２において仮想カメラ１を初期化する。

【0080】

初期化の手順は次の通りである。まず仮想カメラ制御部２２１は、仮想空間２内における初期位置（図４における中心２１等）に、仮想カメラ１を配置する。次に、仮想空間２における仮想カメラ１の向きを設定する。その際、仮想カメラ制御部２２１は、ＨＭＤセンサ１２０からの検出値に基づき初期状態のＨＭＤ１１０のｕｖｗ視野座標系を特定すると共に、ＨＭＤ１１０のｕｖｗ視野座標系に一致するｕｖｗ視野座標系を仮想カメラ１に設定することによって、仮想カメラ１の向きを設定すればよい。仮想カメラ制御部２２１は、仮想カメラ１にｕｖｗ視野座標系を設定する際、仮想カメラ１のロール方向（ｗ軸）をＸＹＺ座標系のＺ方向（Ｚ軸）に適合させる。具体的には、仮想カメラ制御部２２１は、仮想カメラ１のロール方向をＸＺ平面に投影して得られる方向を、ＸＹＺ座標系のＺ方向に一致させると共に、ＸＺ平面に対する仮想カメラ１のロール方向の傾きを、水平面に対するＨＭＤ１１０のロール方向の傾きに一致させる。このような適合処理によって、初期状態の仮想カメラ１のロール方向がコンテンツの初期方向に適合されるので、コンテンツの再生開始後におけるユーザが最初に向く水平方向の向きを、コンテンツの初期方向に一致させることができる。

【0081】

仮想カメラ１の初期化処理が終わると、視界領域決定部２２２は、仮想カメラ１のｕｖｗ視野座標系に基づき、仮想空間２における視界領域２３を決定する。具体的には、仮想カメラ１のｕｖｗ視野座標系のロール方向（ｗ軸）をユーザの基準視線５として特定し、この基準視線５に基づき視界領域２３を決定する。ステップＳ５において、視界画像生成部２２３は、仮想空間データを処理することによって、仮想空間２に展開される仮想空間画像２２の全体のうち、仮想空間２における視界領域２３に投影される部分に相当する視界画像２６を生成（レンダリング）する。ステップＳ６において、視界画像生成部２２３は、生成した視界画像２６を初期視界画像としてＨＭＤ１１０に出力する。ステップＳ７において、ＨＭＤ１１０は、受信した初期視界画像をディスプレイ１１２に表示する。これによりユーザは初期視界画像を視認する。

【0082】

その後、ステップＳ８において、ＨＭＤセンサ１２０が、ＨＭＤ１１０の現在の位置および傾きを検出して、ステップＳ９において、これらの検出値を制御回路部２００に出力する。ＨＭＤ検出部２１１は、各検出値を受信する。仮想カメラ制御部２２１は、ＨＭＤ１１０の位置および傾きの検出値に基づき、ＨＭＤ１１０における現在のｕｖｗ視野座標系を特定する。さらに、ステップＳ１０において、仮想カメラ制御部２２１は、ＸＹＺ座標系におけるｕｖｗ視野座標系のロール方向（ｗ軸）を、ＨＭＤ１１０の視界方向として特定する。

【0083】

本実施形態では、ステップＳ１１において、仮想カメラ制御部２２１が、特定したＨＭＤ１１０の視界方向を、仮想空間２におけるユーザの基準視線５として特定する。ステップＳ１２において、仮想カメラ制御部２２１は、特定した基準視線５に基づき、仮想カメラ１を制御する。仮想カメラ制御部２２１は、基準視線５の位置（起点）および方向が仮想カメラ１の初期状態と同一であれば、仮想カメラ１の位置および方向をそのまま維持する。一方、基準視線５の位置（起点）および／または方向が、仮想カメラ１の初期状態から変化していれば、仮想空間２内における仮想カメラ１の位置および／または傾きを、変化後の基準視線５に応じた位置および／または傾きに変更する。また、制御後の仮想カメラ１に対してｕｖｗ視野座標系を再設定する。

【0084】

ステップＳ１３において、視界領域決定部２２２は、特定した基準視線５に基づき、仮想空間２における視界領域２３を決定する。その後、ステップＳ１４において、視界画像生成部２２３は、仮想空間データを処理することによって、仮想空間２に展開される仮想空間画像２２の全体のうち、仮想空間２における視界領域２３に投影（重畳）される部分である視界画像２６を生成（レンダリング）する。ステップＳ１５において、視界画像生成部２２３は、生成した視界画像２６を更新用の視界画像としてＨＭＤ１１０に出力する。ステップＳ１６において、ＨＭＤ１１０は、受信した視界画像２６をディスプレイ１１２に表示することによって、視界画像２６を更新する。これにより、ユーザがＨＭＤ１１０を動かせば、それに連動して視界画像２６が更新される。

【0085】

（ユーザに選択肢を選択させる処理および表示例）
前述のように、選択肢制御部２３３は、ＵＩオブジェクトを生成する。そして、ユーザは、このＵＩオブジェクトを操作することにより、複数の選択肢の中から所望の選択肢を選択することができる。より詳細には、ユーザは、選択肢を選択する際、まずＵＩオブジェクトの操作部分を仮想身体によって選択する。そして、ユーザは、操作部分を仮想身体によって選択した状態のまま、仮想身体を移動させることにより、ＵＩオブジェクトにおける操作部分の位置を移動させる。これらの操作により、ユーザは、複数の選択肢を切り替えることができる。このように、ＵＩオブジェクトを用いた選択肢の選択においては、ユーザが仮想身体により操作部分を選択して移動させる操作を行うことにより選択肢が切り替わる。このため、ＨＭＤシステム１００によれば、ユーザに対し、操作を確実に行ったということを認識させることができ、ユーザの仮想体験をさらに改善することができる。

【0086】

以下、ＨＭＤシステム１００がユーザに選択肢を選択させる処理と、該処理によってディスプレイ１１２に表示される視界画像２６の例を図１０および図１１に基づいて説明する。なお、以下では、ＵＩオブジェクトが、操作部分として操作レバーＳＬを含むＵＩオブジェクトＯＢであり、操作部分を選択する仮想身体が、仮想手である例を説明する。また、仮想身体によって操作部分を選択するためのユーザ操作が、仮想手を操作レバーＳＬと接するかまたは操作レバーＳＬに近接する位置に移動させ、かつ該位置において当該仮想手に握る動作を行わせる操作であるとする。つまり、選択肢制御部２３３は、操作レバーＳＬが仮想手によって握られた場合に、操作レバーＳＬが仮想手によって選択されたと検出する。また、ＵＩオブジェクトＯＢを介してユーザが選択可能な選択肢が、ＨＭＤシステム１００の動作モードの１つである「Ｓｉｎｇｌｅ Ｍｏｄｅ」、および他の１つである「Ｍｕｌｔｉ Ｍｏｄｅ」を含む例を説明する。選択肢「Ｍｕｌｔｉ Ｍｏｄｅ」の選択が確定した場合には、設定部２３４はＨＭＤシステム１００を「Ｍｕｌｔｉ Ｍｏｄｅ」で動作させる。一方、選択肢「Ｓｉｎｇｌｅ Ｍｏｄｅ」の選択が確定した場合には、設定部２３４はＨＭＤシステム１００を「Ｓｉｎｇｌｅ Ｍｏｄｅ」で動作させる。

【0087】

図１０は、ＨＭＤシステム１００が仮想空間２において、ＵＩオブジェクトによりユーザに選択肢を選択させる処理の流れを示すシーケンス図である。また、図１１は、図１０の処理によってディスプレイ１１２に表示される視界画像２６の一例を示す図である。ユーザによる一連の操作によって、ディスプレイ１１２に表示される視界画像２６は、視界画像２６ａから視界画像２６ｅまで順次切り替わる。

【0088】

ステップＳ２１において、選択肢制御部２３３はＵＩオブジェクトＯＢを生成する。ＵＩオブジェクトＯＢは、図１１に示すように、操作レバーＳＬと表示領域ＤＥを含む。選択肢制御部２３３は、操作レバーＳＬを仮想手で選択した状態で、該仮想手を方向ＤＲに移動させるユーザ操作を検出した場合に、操作レバーＳＬを方向ＤＲに沿って移動させる。視界画像２６ａに示すように、初期状態のＵＩオブジェクトＯＢにおいては、操作レバーＳＬが初期位置である位置Ｘ１（第１位置）に表示されている。また、表示領域ＤＥには初期画像として、ユーザに選択操作を促す文字列である「Ｐｌｅａｓｅ Ｓｅｌｅｃｔ」（第１情報）が表示されている。

【0089】

ステップＳ２２において、視界画像生成部２２３はＵＩオブジェクトＯＢを含む視界画像をＨＭＤ１１０に出力する。ステップＳ２３において、ＨＭＤ１１０は、受信した視界画像をディスプレイ１１２に表示することによって、視界画像を更新する。

【0090】

ステップＳ２４において、コントローラセンサ１４０は、右コントローラ３２０の位置および傾き、ならびに、左コントローラ３３０の位置および傾きをそれぞれ検出する。ステップＳ２５において、コントローラセンサ１４０は、各検出値を制御回路部２００に送信する。コントローラ検出部２１３は、これらの検出値を受信する。ステップＳ２６において、コントローラ３００が、各ボタンの押下状態を検出する。ステップＳ２７において、右コントローラ３２０および左コントローラ３３０は、各検出値を制御回路部２００に送信する。コントローラ検出部２１３は、これらの検出値を受信する。ステップＳ２８において、仮想手制御部２３２が、コントローラ検出部２１３が受信した各検出値を用いて、ユーザの仮想右手ＨＲおよび仮想左手ＨＬを、仮想空間２に生成する。仮想手制御部２３２は、右コントローラ３２０の位置および傾きの検出値、ならびに右コントローラ３２０の各ボタンの押下状態の検出値を用いて、ユーザの仮想右手ＨＲを規定する。同様に、仮想手制御部２３２は、左コントローラ３３０の各検出値に基づき、仮想空間２における仮想左手ＨＬの位置、傾き、および各指の状態を規定する。ステップＳ２９において、仮想手制御部２３２は仮想右手ＨＲおよび仮想左手ＨＬを含む視界画像をＨＭＤ１１０に出力する。ステップＳ３０において、ＨＭＤ１１０は、受信した視界画像をディスプレイ１１２に表示することによって、視界画像を更新する。これにより、例えば図１１の視界画像２６ａがディスプレイ１１２に表示される。

【0091】

ステップＳ３１において、選択肢制御部２３３は、操作レバーＳＬが仮想手に握られたことを検出する。例えば、選択肢制御部２３３は、仮想右手ＨＲが、仮想手制御部２３２によって操作レバーＳＬと接するかまたは操作レバーＳＬに近接する位置に移動され、かつ該位置において当該仮想右手ＨＲによって握る動作が行われた場合に、操作レバーＳＬが仮想右手ＨＲに握られたと検出してもよい。なお、仮想右手ＨＲに握る動作を行わせるためのユーザ操作は、例えば右コントローラ３２０の各ボタンを押下する操作である。

【0092】

視界画像２６ｂは、仮想右手ＨＲが、初期位置である位置Ｘ１にある操作レバーＳＬを握っている状態、すなわち、ユーザが仮想右手ＨＲにより操作レバーＳＬを選択した状態を示している。

【0093】

ステップＳ３２において、選択肢制御部２３３は、操作レバーＳＬを握った状態で仮想手が移動したことを検出する。すなわち、選択肢制御部２３３は、操作レバーＳＬが仮想手により選択されたまま、該仮想手により何れかの方向に移動させられたことを検出する。例えば、選択肢制御部２３３は、各コントローラの位置および傾きの検出値に基づいて、仮想手が操作レバーＳＬを握った状態であること、および仮想手が方向ＤＲに移動したことを検出する。

【0094】

ステップＳ３３において、選択肢制御部２３３は、予め設定された複数の選択肢のうち、仮想手の移動先となった位置に対応する所定の選択肢を仮選択状態とする。なお、仮選択状態とは、複数の選択肢の１つを選択しているが、その選択を確定していない状態である。選択肢制御部２３３は、後述のステップＳ３７の処理により、仮選択状態の選択肢の選択を確定する。つまり、選択肢制御部２３３は、仮想手の移動先となった位置に対応する選択肢を選択可能にする。選択肢制御部２３３は、仮選択状態とした選択肢に関連する情報（第２情報）を表示領域ＤＥに表示してもよい。これにより、仮選択状態となっている選択肢をユーザに明確に認識させることができる。

【0095】

ステップＳ３４において、視界画像生成部２２３はＵＩオブジェクトＯＢを含む視界画像をＨＭＤ１１０に出力する。ステップＳ３５において、ＨＭＤ１１０は、受信した視界画像をディスプレイ１１２に表示することによって、視界画像を更新する。更新後の視界画像は、例えば、視界画像２６ｃのような画像であってもよい。本例では、仮想手制御部２３２は、操作レバーＳＬを握った状態の仮想右手ＨＲを、方向ＤＲに移動させている。そして、選択肢制御部２３３は、操作レバーＳＬを、初期位置である位置Ｘ１から、位置Ｘ２（第２位置）まで移動させる。また、選択肢制御部２３３は、仮選択状態となっている選択肢を示す「Ｍｕｌｔｉ Ｍｏｄｅ」との文字列を表示領域ＤＥに表示させる。本例では、ユーザは、操作レバーＳＬを現実空間において握り、そして引っ張るような感覚で選択肢「Ｍｕｌｔｉ Ｍｏｄｅ」を仮選択状態とすることができる。

【0096】

なお、選択肢「Ｍｕｌｔｉ Ｍｏｄｅ」を仮選択状態とするための位置Ｘ２には、マージンを設けてもよい。例えば、操作レバーＳＬが位置Ｘ２を含む所定の距離範囲Ｌ１（第１距離範囲）にあるときには、選択肢「Ｍｕｌｔｉ Ｍｏｄｅ」を仮選択状態としてもよい。また、選択肢制御部２３３は、選択肢を仮選択状態とするときに、制御回路部２００を介してコントローラ３００を振動させることにより、ユーザの身体の一部にコントローラ３００を介して振動を与えるステップをさらに実行してもよい。これにより、選択肢が仮選択状態となったことをユーザに確実に認識させることができる。

【0097】

ステップＳ３６において、選択肢制御部２３３は、仮想手が操作レバーＳＬを離したか否かを判定する。選択肢制御部２３３は、仮想手が操作レバーＳＬを離したか否かを、制御回路部２００がコントローラ３００から受信する各検出値に基づいて判定可能である。選択肢制御部２３３は、仮想手が操作レバーＳＬを離していないと判定した場合（ステップＳ３６でＮＯ）、ステップＳ３２の処理に戻り、操作レバーＳＬを握った状態で仮想手が移動したことを検出する。そしてステップＳ３３において、選択肢制御部２３３は、仮選択状態とする選択肢を、仮想手の移動先となった位置に対応する選択肢に切り替える。この後、ステップＳ３４の処理により制御回路部２００が視界画像をＨＭＤ１１０に送信し、ステップＳ３５の処理によりＨＭＤ１１０が視界画像を更新する。

【0098】

更新後の視界画像は、例えば、視界画像２６ｄのような画像であってもよい。本例では、仮想手制御部２３２は、操作レバーＳＬを握った状態の仮想右手ＨＲを、方向ＤＲにさらに移動させている。そして、選択肢制御部２３３は、操作レバーＳＬを、位置Ｘ２から位置Ｘ３（第３位置）まで移動させている。また、選択肢制御部２３３は、操作レバーＳＬが位置Ｘ３に位置しているとき、仮選択状態となっている選択肢を示す「Ｓｉｎｇｌｅ Ｍｏｄｅ」との文字列を表示領域ＤＥに表示させている。つまり、視界画像２６ｃでは仮選択状態となっている選択肢が「Ｍｕｌｔｉ Ｍｏｄｅ」であったが、視界画像２６ｄでは仮選択状態となっている選択肢が「Ｓｉｎｇｌｅ Ｍｏｄｅ」に切り替わっている。

【0099】

なお、選択肢「Ｓｉｎｇｌｅ Ｍｏｄｅ」を仮選択状態とするための位置Ｘ３にも、マージンを設けてもよい。例えば、操作レバーＳＬが位置Ｘ３を含む所定の距離範囲Ｌ２（第２距離範囲）にあるときには、選択肢「Ｓｉｎｇｌｅ Ｍｏｄｅ」を仮選択状態としてもよい。また、選択肢制御部２３３は、仮選択状態である選択肢を切り替える際に、制御回路部２００を介してコントローラ３００を振動させることにより、ユーザに対し振動を与えるステップをさらに実行してもよい。これにより、仮選択状態である選択肢が切り替わったことをユーザに確実に認識させることができる。

【0100】

ステップＳ３６において、選択肢制御部２３３は、仮想手が操作レバーＳＬを離したと判定した場合（ステップＳ３６でＹＥＳ）、選択肢制御部２３３は、選択肢の仮選択状態を維持する。つまり、選択肢制御部２３３は、仮想手が操作レバーＳＬを離した後は、仮選択状態の選択肢を切り替えない。そして、選択肢制御部２３３は、仮選択状態としていた選択肢の選択を確定する（ステップＳ３７）。例えば、選択肢制御部２３３が選択肢「Ｍｕｌｔｉ Ｍｏｄｅ」の選択を確定した場合には、設定部２３４がＨＭＤシステム１００を「Ｍｕｌｔｉ Ｍｏｄｅ」で動作させる。一方、選択肢制御部２３３が選択肢「Ｓｉｎｇｌｅ Ｍｏｄｅ」の選択を確定した場合には、設定部２３４がＨＭＤシステム１００を「Ｓｉｎｇｌｅ Ｍｏｄｅ」で動作させる。

【0101】

また、選択肢制御部２３３は、仮想手が操作レバーＳＬを離したと判定した場合、操作レバーＳＬを初期位置に戻す。よって、操作レバーＳＬが初期位置に戻った場合には、選択肢制御部２３３は、仮想手が操作レバーＳＬを離したときに仮選択状態としていた選択肢が選択可能な状態を維持する。この場合に、選択肢制御部２３３は、当該選択肢の選択を確定させる。視界画像生成部２２３は、操作レバーＳＬが初期位置に戻ったＵＩオブジェクトＯＢの視界画像をＨＭＤ１１０に送信し、ＨＭＤ１１０は視界画像を更新する。

【0102】

更新後の視界画像は、例えば、視界画像２６ｅのような画像であってもよい。本例では、仮想手制御部２３２は、指が伸びた状態の仮想右手ＨＲを表示させている。選択肢制御部２３３は、操作レバーＳＬを初期位置に表示させている。また、選択肢制御部２３３は、確定された選択肢を示す「Ｓｉｎｇｌｅ Ｍｏｄｅ」との文字列を表示領域ＤＥに表示させている。つまり、本例は、選択肢「Ｓｉｎｇｌｅ Ｍｏｄｅ」が仮選択状態である視界画像２６ｄの状態において、仮想手が操作レバーＳＬを離した場合に表示される視界画像の例を示している。なお、選択肢「Ｍｕｌｔｉ Ｍｏｄｅ」が仮選択状態である視界画像２６ｃの状態において、仮想手が操作レバーＳＬを離した場合には、選択肢制御部２３３は、確定された選択肢を示す「Ｍｕｌｔｉ Ｍｏｄｅ」との文字列を表示領域ＤＥに表示させる。

【0103】

なお、仮想オブジェクトとの接触による操作をＭＲ等に適用することによって仮想体験を提供する場合には、操作対象オブジェクトに換えてユーザの実際の頭部以外の身体の一部を物理的・光学的手法等によって検知し、当該身体の一部と仮想オブジェクトの位置関係に基づいて、当該身体の一部と仮想オブジェクトとの接触を判定してもよい。なお、透過型ＨＭＤを用いて仮想体験を提供する場合には、ユーザの基準視線は、非透過型ＨＭＤと同様に、ＨＭＤの動き、または、ユーザの視線を検知することによって特定してもよい。

【0104】

〔ソフトウェアによる実現例〕
制御回路部２００の制御ブロック（検出部２１０、表示制御部２２０、仮想空間制御部２３０、記憶部２４０、および通信部２５０）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。

【0105】

後者の場合、制御ブロックは、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、前記プログラムおよび各種データがコンピュータ（又はＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、前記プログラムを展開するＲＡＭ（Random Access Memory）等を備えている。そして、コンピュータ（又はＣＰＵ）が前記プログラムを前記記録媒体から読み取って実行することにより、本発明の目的が達成される。前記記録媒体としては、「一時的でない有形の媒体」、たとえば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路等を用いることができる。また、前記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して前記コンピュータに供給されてもよい。なお、本発明は、前記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

【0106】

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

【0107】

〔付記事項〕
本発明の一側面にかかる内容を列記すると以下の通りである。

【0108】

（項目１）頭部にヘッドマウントディスプレイを装着したユーザに仮想空間を提供する方法であって、前記ヘッドマウントディスプレイの動きに基づいて、前記仮想空間のうち前記ヘッドマウントディスプレイに出力される視界画像を生成するステップと、前記仮想空間に、前記ユーザからの指示を受け付けるユーザインタフェース（以下、ＵＩ）オブジェクトであって、操作部分を第１位置に含むＵＩオブジェクトを生成するステップと、前記仮想空間に、前記ユーザの前記頭部以外の身体の一部の動きに連動する仮想身体を生成するステップと、前記操作部分が、前記仮想身体により選択されたことを検出するステップと、前記操作部分が前記仮想身体により選択されたまま、該仮想身体により何れかの方向に移動させられたことを検出するステップと、前記操作部分が前記仮想身体により選択されたまま、前記第１位置とは異なる第２位置に位置している間、所定の選択肢を前記ＵＩオブジェクトに対する前記指示に基づき選択可能とするステップと、を含む方法。

【0109】

前記の方法によれば、仮想身体により操作部分を選択して移動させることにより選択肢を選択可能とするので、ユーザに対し、操作を確実に行ったということを認識させることができる。これにより、ユーザの仮想体験をさらに改善することができる。

【0110】

（項目２）前記ＵＩオブジェクトを基準として、前記方向において、前記第２位置を含む第１距離範囲と、前記第２位置および前記第１位置と異なる第３位置を含む第２距離範囲とが設定され、前記選択可能とするステップでは、前記第１距離範囲に前記操作部分が位置している場合、前記所定の選択肢を選択可能とし、前記第２距離範囲に前記操作部分が位置している場合、前記所定の選択肢と異なる選択肢を選択可能とする項目１の方法。

【0111】

前記の方法によれば、複数の選択肢をユーザの操作感に合わせて、切り替えて選択可能とすることができる。

【0112】

（項目３）前記ＵＩオブジェクトには表示領域が設けられており、前記表示領域には、前記操作部分が前記第１位置に位置しているとき、第１情報が表示されており、前記操作部分が前記第２位置に位置しているとき、前記所定の選択肢に応じた第２情報を前記表示領域に表示させる項目１または２に記載の方法。

【0113】

前記の方法によれば、操作部分が第１位置とは異なる位置にあるときに、表示領域に選択肢に応じた第２情報を表示することにより、ユーザの操作感に合わせて、選択肢を提示することができる。

【0114】

（項目４）前記身体の一部と接触しているコントローラによって、前記身体の一部の動きと前記仮想身体とは連動しており、前記所定の選択肢を選択可能にするとき、前記身体の一部に前記コントローラを介して振動を与えるステップをさらに含む項目１〜３のいずれかの方法。

【0115】

前記の方法によれば、選択肢が選択可能となったことをユーザに確実に認識させることができる。

【0116】

（項目５）前記第２位置において前記仮想身体による前記操作部分の選択が解除された場合、前記操作部分を前記第１位置に戻すステップと、前記操作部分が前記第１位置に戻った場合、前記所定の選択肢を選択可能な状態を維持するステップと、をさらに含む項目１〜４のいずれかの方法。

【0117】

前記の方法によれば、ユーザの操作感に合わせて、選択可能状態を解除し、選択肢を維持することができる。

【0118】

（項目６）前記操作部分が前記第１位置に戻った場合、前記所定の選択肢を選択させるステップをさらに含む項目５の方法。前記の方法によれば、ユーザの容易な操作により、選択肢を選択することができる。

【0119】

（項目７）頭部にヘッドマウントディスプレイを装着したユーザに仮想体験を提供する方法であって、前記ユーザからの指示を受け付けるユーザインタフェース（以下、ＵＩ）オブジェクトであって、操作部分を第１位置に含むＵＩオブジェクトを生成するステップと、前記操作部分が、前記ユーザの頭部以外の身体の一部により選択されたことを検出するステップと、前記操作部分が前記身体の一部により選択されたまま、該身体の一部により何れかの方向に移動させられたことを検出するステップと、前記操作部分が前記身体の一部により選択されたまま、前記第１位置とは異なる第２位置に位置している間、所定の選択肢を前記ＵＩオブジェクトに対する前記指示に基づき選択可能とするステップと、を含む方法。

【0120】

前記の方法によれば、仮想身体により操作部分を選択して移動させることにより選択肢を選択可能とするので、ユーザに対し、操作を確実に行ったということを認識させることができる。これにより、ユーザの仮想体験をさらに改善することができる。

【0121】

（項目８）項目１〜７のいずれかに記載の方法の各ステップを、コンピュータに実行させるプログラム。

【0122】

（項目９）項目８に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

【符号の説明】

【0123】

１ 仮想カメラ、２ 仮想空間、５ 基準視線、２１ 中心、２２ 仮想空間画像、２３ 視界領域、２４ 第１領域、２５ 第２領域、２６ 視界画像、１００ ＨＭＤシステム、１１０ ＨＭＤ、１１２ ディスプレイ、１１４、３０６ センサ、１２０ ＨＭＤセンサ、１３０ 注視センサ、１４０ コントローラセンサ、２００ 制御回路部、２１０ 検出部、２１１ ＨＭＤ検出部、２１２ 視線検出部、２１３ コントローラ検出部、２２０ 表示制御部、２２１ 仮想カメラ制御部、２２２ 視界領域決定部、２２３ 視界画像生成部、２３０ 仮想空間制御部、２３１ 仮想空間規定部、２３２ 仮想手制御部、２３３ 選択肢制御部、２３４ 設定部、２４０ 記憶部、２４１ 雛形格納部、２４２ コンテンツ格納部、２４３ 選択肢格納部、２５０ 通信部、３００ コントローラ、３０２ 操作ボタン、３０２ａ、３０２ｂ 親指ボタン、３０２ｅ 人差し指ボタン、３０２ｆ 中指ボタン、３０２ｉ アナログスティック、３２０ 右コントローラ、３２２ 天面、３２４ グリップ、３２６ フレーム、３３０ 左コントローラ

【要約】

【課題】仮想空間において選択した実感をユーザにさらに体感させる。
【解決手段】選択肢制御部（２３３）は、位置（Ｘ１）に操作部分を含むＵＩオブジェクト（ＯＢ）を、仮想空間に生成する。選択肢制御部（２３３）は、仮想右手（ＨＲ）によって操作部分が選択されたまま、操作部分が位置（Ｘ１）とは異なる位置（Ｘ２）に位置している間、選択肢をＵＩオブジェクト（ＯＢ）に対する指示に基づき選択可能とする。
【選択図】図１０

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】