(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023099570
(43)【公開日】2023-07-13
(54)【発明の名称】プログラム、およびシステム
(51)【国際特許分類】
G06F 3/01 20060101AFI20230706BHJP
G06F 3/04845 20220101ALI20230706BHJP
G06T 19/00 20110101ALI20230706BHJP
【ＦＩ】
G06F3/01 510
G06F3/01 570
G06F3/04845
G06T19/00 A
【審査請求】有
【請求項の数】6
【出願形態】ＯＬ
(21)【出願番号】P 2023072724
(22)【出願日】2023-04-26
(62)【分割の表示】P 2018245472の分割
【原出願日】2018-12-27
(71)【出願人】
【識別番号】509070463
【氏名又は名称】株式会社コロプラ
(74)【代理人】
【識別番号】100114775
【弁理士】
【氏名又は名称】高岡 亮一
(74)【代理人】
【識別番号】100121511
【弁理士】
【氏名又は名称】小田 直
(72)【発明者】
【氏名】山田 和毅
(72)【発明者】
【氏名】猪俣 篤
(72)【発明者】
【氏名】中島 健登
(57)【要約】
【課題】視界制御に対する操作性を向上させる。
【解決手段】プラグラムは、仮想視点を含む仮想空間を定義する定義手段と、前記仮想空間において動画を再生する動画再生手段と、ユーザが保持するコントローラの動きを検出する動き検出手段と、前記コントローラから、該コントローラの動きに応じた前記動画の再生の制御を有効化する入力を受け付ける受付手段と、前記有効化する入力が受け付けられている間、前記コントローラの動きに応じて、前記動画の再生を制御する再生制御手段と、前記仮想視点からの視界に対応する視界画像を前記ユーザに装着されたデバイスに表示する表示制御手段と、をコンピュータに実行させる。
【選択図】図１５
【解決手段】プラグラムは、仮想視点を含む仮想空間を定義する定義手段と、前記仮想空間において動画を再生する動画再生手段と、ユーザが保持するコントローラの動きを検出する動き検出手段と、前記コントローラから、該コントローラの動きに応じた前記動画の再生の制御を有効化する入力を受け付ける受付手段と、前記有効化する入力が受け付けられている間、前記コントローラの動きに応じて、前記動画の再生を制御する再生制御手段と、前記仮想視点からの視界に対応する視界画像を前記ユーザに装着されたデバイスに表示する表示制御手段と、をコンピュータに実行させる。
【選択図】図１５
【特許請求の範囲】
【請求項1】
仮想視点を含む仮想空間を定義する定義手段と、
前記仮想空間において動画を再生する動画再生手段と、
ユーザが保持するコントローラの動きを検出する動き検出手段と、
前記コントローラから、該コントローラの動きに応じた前記動画の再生の制御を有効化する入力を受け付ける受付手段と、
前記有効化する入力が受け付けられている間、前記コントローラの動きに応じて、前記動画の再生を制御する再生制御手段と、
前記仮想視点からの視界に対応する視界画像を前記ユーザに装着されたデバイスに表示する表示制御手段と、
をコンピュータに実行させるためのプログラム。
前記仮想空間において動画を再生する動画再生手段と、
ユーザが保持するコントローラの動きを検出する動き検出手段と、
前記コントローラから、該コントローラの動きに応じた前記動画の再生の制御を有効化する入力を受け付ける受付手段と、
前記有効化する入力が受け付けられている間、前記コントローラの動きに応じて、前記動画の再生を制御する再生制御手段と、
前記仮想視点からの視界に対応する視界画像を前記ユーザに装着されたデバイスに表示する表示制御手段と、
をコンピュータに実行させるためのプログラム。
【請求項2】
前記再生制御手段は、前記コントローラの移動方向に応じて、前記動画の早送り、又は巻き戻しを行うように前記動画の再生を制御する、請求項１に記載のプログラム。
【請求項3】
前記再生制御手段は、前記コントローラの移動方向が右方向であれば前記動画の早送り、左方向であれば前記動画の巻き戻しを行うように前記動画の再生を制御する、請求項２に記載のプログラム。
【請求項4】
前記再生制御手段は、前記コントローラの移動量又は移動速度に応じて、前記動画の再生を制御する、請求項１に記載のプログラム。
【請求項5】
前記再生制御手段は、前記コントローラの動きに応じた前記動画の再生制御の有効化の入力を受け付けている間、前記コントローラの動きに応じて、前記動画の音量を制御する、請求項１に記載のプログラム。
【請求項6】
仮想視点を含む仮想空間を定義する定義手段と、
前記仮想空間において動画を再生する動画再生手段と、
ユーザが保持するコントローラの動きを検出する動き検出手段と、
前記コントローラから、該コントローラの動きに応じた前記動画の再生の制御を有効化する入力を受け付ける受付手段と、
前記有効化する入力が受け付けられている間、前記コントローラの動きに応じて、前記動画の再生を制御する再生制御手段と、
前記仮想視点からの視界に対応する視界画像を前記ユーザに装着されたデバイスに表示する表示制御手段と、を有する、
システム。
前記仮想空間において動画を再生する動画再生手段と、
ユーザが保持するコントローラの動きを検出する動き検出手段と、
前記コントローラから、該コントローラの動きに応じた前記動画の再生の制御を有効化する入力を受け付ける受付手段と、
前記有効化する入力が受け付けられている間、前記コントローラの動きに応じて、前記動画の再生を制御する再生制御手段と、
前記仮想視点からの視界に対応する視界画像を前記ユーザに装着されたデバイスに表示する表示制御手段と、を有する、
システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、プログラム、およびシステムに関する。
【背景技術】
【0002】
ヘッドマウントディスプレイによりユーザに提供される仮想空間では、通常、ヘッドマウントディスプレイの動きによってユーザの視界が制御されるが、外部コントローラの入力に応じて制御されることもある（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特許第５８６９１７７号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
仮想体験中はユーザが酔うことがあり、酔いを減らす視界の制御が求められる。また、外部コントローラを使用する場合、仮想体験の没入感を損ねない操作方法が求められる。したがって、ユーザの仮想体験を向上させるために、仮想空間におけるユーザの視界をどのような操作方法で制御するかについては、改善の余地がある。
【0005】
本開示は、視界制御に対する操作性の向上を目的とする。
【課題を解決するための手段】
【0006】
本開示が示す一態様によれば、プログラムは、仮想視点を含む仮想空間を定義する定義手段と、前記仮想空間において動画を再生する動画再生手段と、ユーザが保持するコントローラの動きを検出する動き検出手段と、前記コントローラから、該コントローラの動きに応じた前記動画の再生の制御を有効化する入力を受け付ける受付手段と、前記有効化する入力が受け付けられている間、前記コントローラの動きに応じて、前記動画の再生を制御する再生制御手段と、前記仮想視点からの視界に対応する視界画像を前記ユーザに装着されたデバイスに表示する表示制御手段と、をコンピュータに実行させる。
【発明の効果】
【0007】
本開示によれば、視界制御に対する操作性を向上させることができる。
【図面の簡単な説明】
【0008】
【図1】ある実施の形態に従うＨＭＤシステムの構成の概略を表す図である。
【図2】ある実施の形態に従うコンピュータのハードウェア構成の一例を表すブロック図である。
【図3】ある実施の形態に従うＨＭＤに設定されるｕｖｗ視野座標系を概念的に表す図である。
【図4】ある実施の形態に従う仮想空間を表現する一態様を概念的に表す図である。
【図5】ある実施の形態に従うＨＭＤを装着するユーザの頭部を上から表した図である。
【図6】仮想空間において視界領域をＸ方向から見たＹＺ断面を表す図である。
【図7】仮想空間において視界領域をＹ方向から見たＸＺ断面を表す図である。
【図8(A)】ある実施の形態に従うコントローラの概略構成を表す図である。
【図8(B)】ある実施の形態に従うユーザの右手に対して規定されるヨー、ロール、ピッチの各方向の一例を示す図である。
【図9】ある実施の形態に従うサーバのハードウェア構成の一例を表すブロック図である。
【図10】ある実施の形態に従うコンピュータをモジュール構成として表すブロック図である。
【図11】ある実施の形態に従うＨＭＤセットにおいて実行される処理の一部を表すシーケンスチャートである。
【図12(A)】ネットワークにおいて、各ＨＭＤがユーザに仮想空間を提供する状況を表す模式図である。
【図13】ある実施の形態に従うＨＭＤシステムにおいて実行する処理を示すシーケンス図である。
【図14】ある実施の形態に従うコンピュータのモジュールの詳細構成を表すブロック図である。
【図15】ある実施の形態に従って視線の方向を制御する処理を示すフローチャートである。
【図16】コントローラの動きに応じた視線の方向の制御の一例を説明する図である。
【図17】コントローラの動きに応じた視線の方向の制御の一例を説明する図である。
【図20】ある実施の形態に従って動画の再生を制御する処理を示すフローチャートである。
【図21】動画の再生を制御するときの視界画像の一例を図である。
【図22】ある実施の形態に従って視線の方向を制御する処理を示すフローチャートである。
【図23】ある実施の形態に従って表示される視界画像の一例を示すフローチャートである。
【図24】ある実施の形態に従って表示される視界画像の一例を示すフローチャートである。
【図25】ある実施の形態に従って表示される視界画像の一例を示すフローチャートである。
【発明を実施するための形態】
【0009】
以下、この技術的思想の実施の形態について図面を参照しながら詳細に説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。本開示において示される１以上の実施形態において、各実施形態が含む要素を互いに組み合わせることができ、かつ、当該組み合わせられた結果物も本開示が示す実施形態の一部をなすものとする。
【0010】
［ＨＭＤシステムの構成］
図１を参照して、ＨＭＤ（Head-Mounted Device）システム１００の構成について説明する。図１は、本実施の形態に従うＨＭＤシステム１００の構成の概略を表す図である。ＨＭＤシステム１００は、家庭用のシステムとしてあるいは業務用のシステムとして提供される。
図１を参照して、ＨＭＤ（Head-Mounted Device）システム１００の構成について説明する。図１は、本実施の形態に従うＨＭＤシステム１００の構成の概略を表す図である。ＨＭＤシステム１００は、家庭用のシステムとしてあるいは業務用のシステムとして提供される。
【0011】
ＨＭＤシステム１００は、サーバ６００と、ＨＭＤセット１１０Ａ，１１０Ｂ，１１０Ｃ，１１０Ｄと、外部機器７００と、ネットワーク２とを含む。ＨＭＤセット１１０Ａ，１１０Ｂ，１１０Ｃ，１１０Ｄの各々は、ネットワーク２を介してサーバ６００や外部機器７００と通信可能に構成される。以下、ＨＭＤセット１１０Ａ，１１０Ｂ，１１０Ｃ，１１０Ｄを総称して、ＨＭＤセット１１０とも言う。ＨＭＤシステム１００を構成するＨＭＤセット１１０の数は、４つに限られず、３つ以下でも、５つ以上でもよい。ＨＭＤセット１１０は、ＨＭＤ１２０と、コンピュータ２００と、ＨＭＤセンサ４１０と、ディスプレイ４３０と、コントローラ３００とを備える。ＨＭＤ１２０は、モニタ１３０と、注視センサ１４０と、第１カメラ１５０と、第２カメラ１６０と、マイク１７０と、スピーカ１８０とを含む。コントローラ３００は、モーションセンサ４２０を含み得る。
【0012】
ある局面において、コンピュータ２００は、インターネットその他のネットワーク２に接続可能であり、ネットワーク２に接続されているサーバ６００その他のコンピュータと通信可能である。その他のコンピュータとしては、例えば、他のＨＭＤセット１１０のコンピュータや外部機器７００が挙げられる。別の局面において、ＨＭＤ１２０は、ＨＭＤセンサ４１０の代わりに、センサ１９０を含み得る。
【0013】
ＨＭＤ１２０は、ユーザ５の頭部に装着され、動作中に仮想空間をユーザ５に提供し得る。より具体的には、ＨＭＤ１２０は、右目用の画像および左目用の画像をモニタ１３０にそれぞれ表示する。ユーザ５の各目がそれぞれの画像を視認すると、ユーザ５は、両目の視差に基づき当該画像を３次元画像として認識し得る。ＨＭＤ１２０は、モニタを備える所謂ヘッドマウントディスプレイと、スマートフォンその他のモニタを有する端末を装着可能なヘッドマウント機器のいずれをも含み得る。
【0014】
モニタ１３０は、例えば、非透過型の表示装置として実現される。ある局面において、モニタ１３０は、ユーザ５の両目の前方に位置するようにＨＭＤ１２０の本体に配置されている。したがって、ユーザ５は、モニタ１３０に表示される３次元画像を視認すると、仮想空間に没入することができる。ある局面において、仮想空間は、例えば、背景、ユーザ５が操作可能なオブジェクト、ユーザ５が選択可能なメニューの画像を含む。ある局面において、モニタ１３０は、所謂スマートフォンその他の情報表示端末が備える液晶モニタまたは有機ＥＬ（Electro Luminescence）モニタとして実現され得る。
【0015】
別の局面において、モニタ１３０は、透過型の表示装置として実現され得る。この場合、ＨＭＤ１２０は、図１に示されるようにユーザ５の目を覆う密閉型ではなく、メガネ型のような開放型であり得る。透過型のモニタ１３０は、その透過率を調整することにより、一時的に非透過型の表示装置として構成可能であってもよい。モニタ１３０は、仮想空間を構成する画像の一部と、現実空間とを同時に表示する構成を含んでいてもよい。例えば、モニタ１３０は、ＨＭＤ１２０に搭載されたカメラで撮影した現実空間の画像を表示してもよいし、一部の透過率を高く設定することにより現実空間を視認可能にしてもよい。
【0016】
ある局面において、モニタ１３０は、右目用の画像を表示するためのサブモニタと、左目用の画像を表示するためのサブモニタとを含み得る。別の局面において、モニタ１３０は、右目用の画像と左目用の画像とを一体として表示する構成であってもよい。この場合、モニタ１３０は、高速シャッタを含む。高速シャッタは、画像がいずれか一方の目にのみ認識されるように、右目用の画像と左目用の画像とを交互に表示可能に作動する。
【0017】
ある局面において、ＨＭＤ１２０は、図示せぬ複数の光源を含む。各光源は例えば、赤外線を発するＬＥＤ（Light Emitting Diode）により実現される。ＨＭＤセンサ４１０は、ＨＭＤ１２０の動きを検出するためのポジショントラッキング機能を有する。より具体的には、ＨＭＤセンサ４１０は、ＨＭＤ１２０が発する複数の赤外線を読み取り、現実空間内におけるＨＭＤ１２０の位置および傾きを検出する。
【0018】
別の局面において、ＨＭＤセンサ４１０は、カメラにより実現されてもよい。この場合、ＨＭＤセンサ４１０は、カメラから出力されるＨＭＤ１２０の画像情報を用いて、画像解析処理を実行することにより、ＨＭＤ１２０の位置および傾きを検出することができる。
【0019】
別の局面において、ＨＭＤ１２０は、位置検出器として、ＨＭＤセンサ４１０の代わりに、あるいはＨＭＤセンサ４１０に加えてセンサ１９０を備えてもよい。ＨＭＤ１２０は、センサ１９０を用いて、ＨＭＤ１２０自身の位置および傾きを検出し得る。例えば、センサ１９０が角速度センサ、地磁気センサ、あるいは加速度センサである場合、ＨＭＤ１２０は、ＨＭＤセンサ４１０の代わりに、これらの各センサのいずれかを用いて、自身の位置および傾きを検出し得る。一例として、センサ１９０が角速度センサである場合、角速度センサは、現実空間におけるＨＭＤ１２０の３軸周りの角速度を経時的に検出する。ＨＭＤ１２０は、各角速度に基づいて、ＨＭＤ１２０の３軸周りの角度の時間的変化を算出し、さらに、角度の時間的変化に基づいて、ＨＭＤ１２０の傾きを算出する。
【0020】
注視センサ１４０は、ユーザ５の右目および左目の視線が向けられる方向を検出する。つまり、注視センサ１４０は、ユーザ５の視線を検出する。視線の方向の検出は、例えば、公知のアイトラッキング機能によって実現される。注視センサ１４０は、当該アイトラッキング機能を有するセンサにより実現される。ある局面において、注視センサ１４０は、右目用のセンサおよび左目用のセンサを含むことが好ましい。注視センサ１４０は、例えば、ユーザ５の右目および左目に赤外光を照射するとともに、照射光に対する角膜および虹彩からの反射光を受けることにより各眼球の回転角を検出するセンサであってもよい。注視センサ１４０は、検出した各回転角に基づいて、ユーザ５の視線を検知することができる。
【0021】
第１カメラ１５０は、ユーザ５の顔の下部を撮影する。より具体的には、第１カメラ１５０は、ユーザ５の鼻および口などを撮影する。第２カメラ１６０は、ユーザ５の目および眉などを撮影する。ＨＭＤ１２０のユーザ５側の筐体をＨＭＤ１２０の内側、ＨＭＤ１２０のユーザ５とは逆側の筐体をＨＭＤ１２０の外側と定義する。ある局面において、第１カメラ１５０は、ＨＭＤ１２０の外側に配置され、第２カメラ１６０は、ＨＭＤ１２０の内側に配置され得る。第１カメラ１５０および第２カメラ１６０が生成した画像は、コンピュータ２００に入力される。別の局面において、第１カメラ１５０と第２カメラ１６０とを１台のカメラとして実現し、この１台のカメラでユーザ５の顔を撮影するようにしてもよい。
【0022】
マイク１７０は、ユーザ５の発話を音声信号（電気信号）に変換してコンピュータ２００に出力する。スピーカ１８０は、音声信号を音声に変換してユーザ５に出力する。別の局面において、ＨＭＤ１２０は、スピーカ１８０に替えてイヤホンを含み得る。
【0023】
コントローラ３００は、有線または無線によりコンピュータ２００に接続されている。コントローラ３００は、ユーザ５からコンピュータ２００への命令の入力を受け付ける。ある局面において、コントローラ３００は、ユーザ５によって把持可能に構成される。別の局面において、コントローラ３００は、ユーザ５の身体あるいは衣類の一部に装着可能に構成される。さらに別の局面において、コントローラ３００は、コンピュータ２００から送信される信号に基づいて、振動、音、光のうちの少なくともいずれかを出力するように構成されてもよい。さらに別の局面において、コントローラ３００は、ユーザ５から、仮想空間に配置されるオブジェクトの位置や動きを制御するための操作を受け付ける。
【0024】
ある局面において、コントローラ３００は、複数の光源を含む。各光源は例えば、赤外線を発するＬＥＤにより実現される。ＨＭＤセンサ４１０は、ポジショントラッキング機能を有する。この場合、ＨＭＤセンサ４１０は、コントローラ３００が発する複数の赤外線を読み取り、現実空間内におけるコントローラ３００の位置および傾きを検出する。別の局面において、ＨＭＤセンサ４１０は、カメラにより実現されてもよい。この場合、ＨＭＤセンサ４１０は、カメラから出力されるコントローラ３００の画像情報を用いて、画像解析処理を実行することにより、コントローラ３００の位置および傾きを検出することができる。
【0025】
モーションセンサ４２０は、ある局面において、ユーザ５の手に取り付けられて、ユーザ５の手の動きを検出する。例えば、モーションセンサ４２０は、手の回転速度、回転数等を検出する。検出された信号は、コンピュータ２００に送られる。モーションセンサ４２０は、例えば、コントローラ３００に設けられている。ある局面において、モーションセンサ４２０は、例えば、ユーザ５に把持可能に構成されたコントローラ３００に設けられている。別の局面において、現実空間における安全のため、コントローラ３００は、手袋型のようにユーザ５の手に装着されることにより容易に飛んで行かないものに装着される。さらに別の局面において、ユーザ５に装着されないセンサがユーザ５の手の動きを検出してもよい。例えば、ユーザ５を撮影するカメラの信号が、ユーザ５の動作を表す信号として、コンピュータ２００に入力されてもよい。モーションセンサ４２０とコンピュータ２００とは、一例として、無線により互いに接続される。無線の場合、通信形態は特に限られず、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）その他の公知の通信手法が用いられる。
【0026】
ディスプレイ４３０は、モニタ１３０に表示されている画像と同様の画像を表示する。これにより、ＨＭＤ１２０を装着しているユーザ５以外のユーザにも当該ユーザ５と同様の画像を視聴させることができる。ディスプレイ４３０に表示される画像は、３次元画像である必要はなく、右目用の画像や左目用の画像であってもよい。ディスプレイ４３０としては、例えば、液晶ディスプレイや有機ＥＬモニタなどが挙げられる。
【0027】
サーバ６００は、コンピュータ２００にプログラムを送信し得る。別の局面において、サーバ６００は、他のユーザによって使用されるＨＭＤ１２０に仮想現実を提供するための他のコンピュータ２００と通信し得る。例えば、アミューズメント施設において、複数のユーザが参加型のゲームを行う場合、各コンピュータ２００は、各ユーザの動作に基づく信号をサーバ６００を介して他のコンピュータ２００と通信して、同じ仮想空間において複数のユーザが共通のゲームを楽しむことを可能にする。各コンピュータ２００は、各ユーザの動作に基づく信号をサーバ６００を介さずに他のコンピュータ２００と通信するようにしてもよい。
【0028】
外部機器７００は、コンピュータ２００と通信可能な機器であればどのような機器であってもよい。外部機器７００は、例えば、ネットワーク２を介してコンピュータ２００と通信可能な機器であってもよいし、近距離無線通信や有線接続によりコンピュータ２００と直接通信可能な機器であってもよい。外部機器７００としては、例えば、スマートデバイス、ＰＣ（Personal Computer）、およびコンピュータ２００の周辺機器などが挙げられるが、これらに限定されるものではない。
【0029】
［コンピュータのハードウェア構成］
図２を参照して、本実施の形態に係るコンピュータ２００について説明する。図２は、本実施の形態に従うコンピュータ２００のハードウェア構成の一例を表すブロック図である。コンピュータ２００は、主たる構成要素として、プロセッサ２１０と、メモリ２２０と、ストレージ２３０と、入出力インターフェイス２４０と、通信インターフェイス２５０とを備える。各構成要素は、それぞれ、バス２６０に接続されている。
図２を参照して、本実施の形態に係るコンピュータ２００について説明する。図２は、本実施の形態に従うコンピュータ２００のハードウェア構成の一例を表すブロック図である。コンピュータ２００は、主たる構成要素として、プロセッサ２１０と、メモリ２２０と、ストレージ２３０と、入出力インターフェイス２４０と、通信インターフェイス２５０とを備える。各構成要素は、それぞれ、バス２６０に接続されている。
【0030】
プロセッサ２１０は、コンピュータ２００に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ２２０またはストレージ２３０に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ２１０は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＭＰＵ（Micro Processor Unit）、ＦＰＧＡ（Field-Programmable Gate Array）その他のデバイスとして実現される。
【0031】
メモリ２２０は、プログラムおよびデータを一時的に保存する。プログラムは、例えば、ストレージ２３０からロードされる。データは、コンピュータ２００に入力されたデータと、プロセッサ２１０によって生成されたデータとを含む。ある局面において、メモリ２２０は、ＲＡＭ（Random Access Memory）その他の揮発メモリとして実現される。
【0032】
ストレージ２３０は、プログラムおよびデータを永続的に保持する。ストレージ２３０は、例えば、ＲＯＭ（Read-Only Memory）、ハードディスク装置、フラッシュメモリ、その他の不揮発記憶装置として実現される。ストレージ２３０に格納されるプログラムは、ＨＭＤシステム１００において仮想空間を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、他のコンピュータ２００との通信を実現するためのプログラムを含む。ストレージ２３０に格納されるデータは、仮想空間を規定するためのデータおよびオブジェクト等を含む。
【0033】
別の局面において、ストレージ２３０は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに別の局面において、コンピュータ２００に内蔵されたストレージ２３０の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。このような構成によれば、例えば、アミューズメント施設のように複数のＨＭＤシステム１００が使用される場面において、プログラムやデータの更新を一括して行うことが可能になる。
【0034】
入出力インターフェイス２４０は、ＨＭＤ１２０、ＨＭＤセンサ４１０、モーションセンサ４２０およびディスプレイ４３０との間で信号を通信する。ＨＭＤ１２０に含まれるモニタ１３０，注視センサ１４０，第１カメラ１５０，第２カメラ１６０，マイク１７０およびスピーカ１８０は、ＨＭＤ１２０の入出力インターフェイス２４０を介してコンピュータ２００との通信を行ない得る。ある局面において、入出力インターフェイス２４０は、ＵＳＢ（Universal Serial Bus）、ＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）その他の端子を用いて実現される。入出力インターフェイス２４０は上述のものに限られない。
【0035】
ある局面において、入出力インターフェイス２４０は、さらに、コントローラ３００と通信し得る。例えば、入出力インターフェイス２４０は、コントローラ３００およびモーションセンサ４２０から出力された信号の入力を受ける。別の局面において、入出力インターフェイス２４０は、プロセッサ２１０から出力された命令を、コントローラ３００に送る。当該命令は、振動、音声出力、発光等をコントローラ３００に指示する。コントローラ３００は、当該命令を受信すると、その命令に応じて、振動、音声出力または発光のいずれかを実行する。
【0036】
通信インターフェイス２５０は、ネットワーク２に接続されて、ネットワーク２に接続されている他のコンピュータ（例えば、サーバ６００）と通信する。ある局面において、通信インターフェイス２５０は、例えば、ＬＡＮ（Local Area Network）その他の有線通信インターフェイス、あるいは、ＷｉＦｉ（Wireless Fidelity）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）その他の無線通信インターフェイスとして実現される。通信インターフェイス２５０は上述のものに限られない。
【0037】
ある局面において、プロセッサ２１０は、ストレージ２３０にアクセスし、ストレージ２３０に格納されている１つ以上のプログラムをメモリ２２０にロードし、当該プログラムに含まれる一連の命令を実行する。当該１つ以上のプログラムは、コンピュータ２００のオペレーティングシステム、仮想空間を提供するためのアプリケーションプログラム、仮想空間で実行可能なゲームソフトウェア等を含み得る。プロセッサ２１０は、入出力インターフェイス２４０を介して、仮想空間を提供するための信号をＨＭＤ１２０に送る。ＨＭＤ１２０は、その信号に基づいてモニタ１３０に映像を表示する。
【0038】
図２に示される例では、コンピュータ２００は、ＨＭＤ１２０の外部に設けられる構成が示されているが、別の局面において、コンピュータ２００は、ＨＭＤ１２０に内蔵されてもよい。一例として、モニタ１３０を含む携帯型の情報通信端末（例えば、スマートフォン）がコンピュータ２００として機能してもよい。
【0039】
コンピュータ２００は、複数のＨＭＤ１２０に共通して用いられる構成であってもよい。このような構成によれば、例えば、複数のユーザに同一の仮想空間を提供することもできるので、各ユーザは同一の仮想空間で他のユーザと同一のアプリケーションを楽しむことができる。
【0040】
ある実施の形態において、ＨＭＤシステム１００では、現実空間における座標系である実座標系が予め設定されている。実座標系は、現実空間における鉛直方向、鉛直方向に直交する水平方向、並びに、鉛直方向および水平方向の双方に直交する前後方向にそれぞれ平行な、３つの基準方向（軸）を有する。実座標系における水平方向、鉛直方向（上下方向）、および前後方向は、それぞれ、ｘ軸、ｙ軸、ｚ軸と規定される。より具体的には、実座標系において、ｘ軸は現実空間の水平方向に平行である。ｙ軸は、現実空間の鉛直方向に平行である。ｚ軸は現実空間の前後方向に平行である。
【0041】
ある局面において、ＨＭＤセンサ４１０は、赤外線センサを含む。赤外線センサが、ＨＭＤ１２０の各光源から発せられた赤外線をそれぞれ検出すると、ＨＭＤ１２０の存在を検出する。ＨＭＤセンサ４１０は、さらに、各点の値（実座標系における各座標値）に基づいて、ＨＭＤ１２０を装着したユーザ５の動きに応じた、現実空間内におけるＨＭＤ１２０の位置および傾き（向き）を検出する。より詳しくは、ＨＭＤセンサ４１０は、経時的に検出された各値を用いて、ＨＭＤ１２０の位置および傾きの時間的変化を検出できる。
【0042】
ＨＭＤセンサ４１０によって検出されたＨＭＤ１２０の各傾きは、実座標系におけるＨＭＤ１２０の３軸周りの各傾きに相当する。ＨＭＤセンサ４１０は、実座標系におけるＨＭＤ１２０の傾きに基づき、ｕｖｗ視野座標系をＨＭＤ１２０に設定する。ＨＭＤ１２０に設定されるｕｖｗ視野座標系は、ＨＭＤ１２０を装着したユーザ５が仮想空間において物体を見る際の視点座標系に対応する。
【0043】
［ｕｖｗ視野座標系］
図３を参照して、ｕｖｗ視野座標系について説明する。図３は、ある実施の形態に従うＨＭＤ１２０に設定されるｕｖｗ視野座標系を概念的に表す図である。ＨＭＤセンサ４１０は、ＨＭＤ１２０の起動時に、実座標系におけるＨＭＤ１２０の位置および傾きを検出する。プロセッサ２１０は、検出された値に基づいて、ｕｖｗ視野座標系をＨＭＤ１２０に設定する。
図３を参照して、ｕｖｗ視野座標系について説明する。図３は、ある実施の形態に従うＨＭＤ１２０に設定されるｕｖｗ視野座標系を概念的に表す図である。ＨＭＤセンサ４１０は、ＨＭＤ１２０の起動時に、実座標系におけるＨＭＤ１２０の位置および傾きを検出する。プロセッサ２１０は、検出された値に基づいて、ｕｖｗ視野座標系をＨＭＤ１２０に設定する。
【0044】
図３に示されるように、ＨＭＤ１２０は、ＨＭＤ１２０を装着したユーザ５の頭部を中心（原点）とした３次元のｕｖｗ視野座標系を設定する。より具体的には、ＨＭＤ１２０は、実座標系を規定する水平方向、鉛直方向、および前後方向（ｘ軸、ｙ軸、ｚ軸）を、実座標系内においてＨＭＤ１２０の各軸周りの傾きだけ各軸周りにそれぞれ傾けることによって新たに得られる３つの方向を、ＨＭＤ１２０におけるｕｖｗ視野座標系のピッチ軸（ｕ軸）、ヨー軸（ｖ軸）、およびロール軸（ｗ軸）として設定する。
【0045】
ある局面において、ＨＭＤ１２０を装着したユーザ５が直立し、かつ、正面を視認している場合、プロセッサ２１０は、実座標系に平行なｕｖｗ視野座標系をＨＭＤ１２０に設定する。この場合、実座標系における水平方向（ｘ軸）、鉛直方向（ｙ軸）、および前後方向（ｚ軸）は、ＨＭＤ１２０におけるｕｖｗ視野座標系のピッチ軸（ｕ軸）、ヨー軸（ｖ軸）、およびロール軸（ｗ軸）に一致する。
【0046】
ｕｖｗ視野座標系がＨＭＤ１２０に設定された後、ＨＭＤセンサ４１０は、ＨＭＤ１２０の動きに基づいて、設定されたｕｖｗ視野座標系におけるＨＭＤ１２０の傾きを検出できる。この場合、ＨＭＤセンサ４１０は、ＨＭＤ１２０の傾きとして、ｕｖｗ視野座標系におけるＨＭＤ１２０のピッチ角（θｕ）、ヨー角（θｖ）、およびロール角（θｗ）をそれぞれ検出する。ピッチ角（θｕ）は、ｕｖｗ視野座標系におけるピッチ軸周りのＨＭＤ１２０の傾き角度を表す。ヨー角（θｖ）は、ｕｖｗ視野座標系におけるヨー軸周りのＨＭＤ１２０の傾き角度を表す。ロール角（θｗ）は、ｕｖｗ視野座標系におけるロール軸周りのＨＭＤ１２０の傾き角度を表す。
【0047】
ＨＭＤセンサ４１０は、検出されたＨＭＤ１２０の傾きに基づいて、ＨＭＤ１２０が動いた後のＨＭＤ１２０におけるｕｖｗ視野座標系を、ＨＭＤ１２０に設定する。ＨＭＤ１２０と、ＨＭＤ１２０のｕｖｗ視野座標系との関係は、ＨＭＤ１２０の位置および傾きに関わらず、常に一定である。ＨＭＤ１２０の位置および傾きが変わると、当該位置および傾きの変化に連動して、実座標系におけるＨＭＤ１２０のｕｖｗ視野座標系の位置および傾きが変化する。
【0048】
ある局面において、ＨＭＤセンサ４１０は、赤外線センサからの出力に基づいて取得される赤外線の光強度および複数の点間の相対的な位置関係（例えば、各点間の距離など）に基づいて、ＨＭＤ１２０の現実空間内における位置を、ＨＭＤセンサ４１０に対する相対位置として特定してもよい。プロセッサ２１０は、特定された相対位置に基づいて、現実空間内（実座標系）におけるＨＭＤ１２０のｕｖｗ視野座標系の原点を決定してもよい。
【0049】
［仮想空間］
図４を参照して、仮想空間についてさらに説明する。図４は、ある実施の形態に従う仮想空間１１を表現する一態様を概念的に表す図である。仮想空間１１は、中心１２の３６０度方向の全体を覆う全天球状の構造を有する。図４では、説明を複雑にしないために、仮想空間１１のうちの上半分の天球が例示されている。仮想空間１１では各メッシュが規定される。各メッシュの位置は、仮想空間１１に規定されるグローバル座標系であるＸＹＺ座標系における座標値として予め規定されている。コンピュータ２００は、仮想空間１１に展開可能なパノラマ画像１３（静止画、動画等）を構成する各部分画像を、仮想空間１１において対応する各メッシュにそれぞれ対応付ける。
図４を参照して、仮想空間についてさらに説明する。図４は、ある実施の形態に従う仮想空間１１を表現する一態様を概念的に表す図である。仮想空間１１は、中心１２の３６０度方向の全体を覆う全天球状の構造を有する。図４では、説明を複雑にしないために、仮想空間１１のうちの上半分の天球が例示されている。仮想空間１１では各メッシュが規定される。各メッシュの位置は、仮想空間１１に規定されるグローバル座標系であるＸＹＺ座標系における座標値として予め規定されている。コンピュータ２００は、仮想空間１１に展開可能なパノラマ画像１３（静止画、動画等）を構成する各部分画像を、仮想空間１１において対応する各メッシュにそれぞれ対応付ける。
【0050】
ある局面において、仮想空間１１では、中心１２を原点とするＸＹＺ座標系が規定される。ＸＹＺ座標系は、例えば、実座標系に平行である。ＸＹＺ座標系における水平方向、鉛直方向（上下方向）、および前後方向は、それぞれＸ軸、Ｙ軸、Ｚ軸として規定される。したがって、ＸＹＺ座標系のＸ軸（水平方向）が実座標系のｘ軸と平行であり、ＸＹＺ座標系のＹ軸（鉛直方向）が実座標系のｙ軸と平行であり、ＸＹＺ座標系のＺ軸（前後方向）が実座標系のｚ軸と平行である。
【0051】
ＨＭＤ１２０の起動時、すなわちＨＭＤ１２０の初期状態において、仮想カメラ１４が、仮想空間１１の中心１２に配置される。ある局面において、プロセッサ２１０は、仮想カメラ１４が撮影する画像をＨＭＤ１２０のモニタ１３０に表示する。仮想カメラ１４は、現実空間におけるＨＭＤ１２０の動きに連動して、仮想空間１１を同様に移動する。これにより、現実空間におけるＨＭＤ１２０の位置および傾きの変化が、仮想空間１１において同様に再現され得る。
【0052】
仮想カメラ１４には、ＨＭＤ１２０の場合と同様に、ｕｖｗ視野座標系が規定される。仮想空間１１における仮想カメラ１４のｕｖｗ視野座標系は、現実空間（実座標系）におけるＨＭＤ１２０のｕｖｗ視野座標系に連動するように規定されている。したがって、ＨＭＤ１２０の傾きが変化すると、それに応じて、仮想カメラ１４の傾きも変化する。仮想カメラ１４は、ＨＭＤ１２０を装着したユーザ５の現実空間における移動に連動して、仮想空間１１において移動することもできる。
【0053】
コンピュータ２００のプロセッサ２１０は、仮想カメラ１４の位置と傾き（基準視線１６）とに基づいて、仮想空間１１における視界領域１５を規定する。視界領域１５は、仮想空間１１のうち、ＨＭＤ１２０を装着したユーザ５が視認する領域に対応する。つまり、仮想カメラ１４の位置は、仮想空間１１におけるユーザ５の視点と言える。
【0054】
注視センサ１４０によって検出されるユーザ５の視線は、ユーザ５が物体を視認する際の視点座標系における方向である。ＨＭＤ１２０のｕｖｗ視野座標系は、ユーザ５がモニタ１３０を視認する際の視点座標系に等しい。仮想カメラ１４のｕｖｗ視野座標系は、ＨＭＤ１２０のｕｖｗ視野座標系に連動している。したがって、ある局面に従うＨＭＤシステム１００は、注視センサ１４０によって検出されたユーザ５の視線を、仮想カメラ１４のｕｖｗ視野座標系におけるユーザ５の視線とみなすことができる。
【0055】
【0056】
ある局面において、注視センサ１４０は、ユーザ５の右目および左目の各視線を検出する。ある局面において、ユーザ５が近くを見ている場合、注視センサ１４０は、視線Ｒ１およびＬ１を検出する。別の局面において、ユーザ５が遠くを見ている場合、注視センサ１４０は、視線Ｒ２およびＬ２を検出する。この場合、ロール軸ｗに対して視線Ｒ２およびＬ２が成す角度は、ロール軸ｗに対して視線Ｒ１およびＬ１が成す角度よりも小さい。注視センサ１４０は、検出結果をコンピュータ２００に送信する。
【0057】
コンピュータ２００が、視線の検出結果として、視線Ｒ１およびＬ１の検出値を注視センサ１４０から受信した場合には、その検出値に基づいて、視線Ｒ１およびＬ１の交点である注視点Ｎ１を特定する。一方、コンピュータ２００は、視線Ｒ２およびＬ２の検出値を注視センサ１４０から受信した場合には、視線Ｒ２およびＬ２の交点を注視点として特定する。コンピュータ２００は、特定した注視点Ｎ１の位置に基づき、ユーザ５の視線Ｎ０を特定する。コンピュータ２００は、例えば、ユーザ５の右目Ｒと左目Ｌとを結ぶ直線の中点と、注視点Ｎ１とを通る直線の延びる方向を、視線Ｎ０として検出する。視線Ｎ０は、ユーザ５が両目により実際に視線を向けている方向である。視線Ｎ０は、視界領域１５に対してユーザ５が実際に視線を向けている方向に相当する。
【0058】
別の局面において、ＨＭＤシステム１００は、テレビジョン放送受信チューナを備えてもよい。このような構成によれば、ＨＭＤシステム１００は、仮想空間１１においてテレビ番組を表示することができる。
【0059】
さらに別の局面において、ＨＭＤシステム１００は、インターネットに接続するための通信回路、あるいは、電話回線に接続するための通話機能を備えていてもよい。
【0060】
［視界領域］
図６および図７を参照して、視界領域１５について説明する。図６は、仮想空間１１において視界領域１５をＸ方向から見たＹＺ断面を表す図である。図７は、仮想空間１１において視界領域１５をＹ方向から見たＸＺ断面を表す図である。
図６および図７を参照して、視界領域１５について説明する。図６は、仮想空間１１において視界領域１５をＸ方向から見たＹＺ断面を表す図である。図７は、仮想空間１１において視界領域１５をＹ方向から見たＸＺ断面を表す図である。
【0061】
図６に示されるように、ＹＺ断面における視界領域１５は、領域１８を含む。領域１８は、仮想カメラ１４の位置と基準視線１６と仮想空間１１のＹＺ断面とによって定義される。プロセッサ２１０は、仮想空間における基準視線１６を中心として極角αを含む範囲を、領域１８として規定する。
【0062】
図７に示されるように、ＸＺ断面における視界領域１５は、領域１９を含む。領域１９は、仮想カメラ１４の位置と基準視線１６と仮想空間１１のＸＺ断面とによって定義される。プロセッサ２１０は、仮想空間１１における基準視線１６を中心とした方位角βを含む範囲を、領域１９として規定する。極角αおよびβは、仮想カメラ１４の位置と仮想カメラ１４の傾き（向き）とに応じて定まる。
【0063】
ある局面において、ＨＭＤシステム１００は、コンピュータ２００からの信号に基づいて、視界画像１７をモニタ１３０に表示させることにより、ユーザ５に仮想空間１１における視界を提供する。視界画像１７は、パノラマ画像１３のうち視界領域１５に対応する部分に相当する画像である。ユーザ５が、頭に装着したＨＭＤ１２０を動かすと、その動きに連動して仮想カメラ１４も動く。その結果、仮想空間１１における視界領域１５の位置が変化する。これにより、モニタ１３０に表示される視界画像１７は、パノラマ画像１３のうち、仮想空間１１においてユーザ５が向いた方向の視界領域１５に重畳する画像に更新される。ユーザ５は、仮想空間１１における所望の方向を視認することができる。
【0064】
このように、仮想カメラ１４の傾きは仮想空間１１におけるユーザ５の視線（基準視線１６）に相当し、仮想カメラ１４が配置される位置は、仮想空間１１におけるユーザ５の視点に相当する。したがって、仮想カメラ１４の位置または傾きを変更することにより、モニタ１３０に表示される画像が更新され、ユーザ５の視界が移動される。
【0065】
ユーザ５は、ＨＭＤ１２０を装着している間、現実世界を視認することなく、仮想空間１１に展開されるパノラマ画像１３のみを視認できる。そのため、ＨＭＤシステム１００は、仮想空間１１への高い没入感覚をユーザ５に与えることができる。
【0066】
ある局面において、プロセッサ２１０は、ＨＭＤ１２０を装着したユーザ５の現実空間における移動に連動して、仮想空間１１において仮想カメラ１４を移動し得る。この場合、プロセッサ２１０は、仮想空間１１における仮想カメラ１４の位置および傾きに基づいて、ＨＭＤ１２０のモニタ１３０に投影される画像領域（視界領域１５）を特定する。
【0067】
ある局面において、仮想カメラ１４は、２つの仮想カメラ、すなわち、右目用の画像を提供するための仮想カメラと、左目用の画像を提供するための仮想カメラとを含み得る。ユーザ５が３次元の仮想空間１１を認識できるように、適切な視差が、２つの仮想カメラに設定される。別の局面において、仮想カメラ１４を１つの仮想カメラにより実現してもよい。この場合、１つの仮想カメラにより得られた画像から、右目用の画像と左目用の画像とを生成するようにしてもよい。本実施の形態においては、仮想カメラ１４が２つの仮想カメラを含み、２つの仮想カメラのロール軸が合成されることによって生成されるロール軸（ｗ）がＨＭＤ１２０のロール軸（ｗ）に適合されるように構成されているものとして、本開示に係る技術思想を例示する。
【0068】
【0069】
図８に示されるように、ある局面において、コントローラ３００は、右コントローラ３００Ｒと図示せぬ左コントローラとを含み得る。右コントローラ３００Ｒは、ユーザ５の右手で操作される。左コントローラは、ユーザ５の左手で操作される。ある局面において、右コントローラ３００Ｒと左コントローラとは、別個の装置として対称に構成される。したがって、ユーザ５は、右コントローラ３００Ｒを把持した右手と、左コントローラを把持した左手とをそれぞれ自由に動かすことができる。別の局面において、コントローラ３００は両手の操作を受け付ける一体型のコントローラであってもよい。以下、右コントローラ３００Ｒについて説明する。
【0070】
右コントローラ３００Ｒは、グリップ３１０と、フレーム３２０と、天面３３０とを備える。グリップ３１０は、ユーザ５の右手によって把持されるように構成されている。たとえば、グリップ３１０は、ユーザ５の右手の掌と３本の指（中指、薬指、小指）とによって保持され得る。
【0071】
グリップ３１０は、ボタン３４０，３５０と、モーションセンサ４２０とを含む。ボタン３４０は、グリップ３１０の側面に配置され、右手の中指による操作を受け付ける。ボタン３５０は、グリップ３１０の前面に配置され、右手の人差し指による操作を受け付ける。ある局面において、ボタン３４０，３５０は、トリガー式のボタンとして構成される。モーションセンサ４２０は、グリップ３１０の筐体に内蔵されている。ユーザ５の動作がカメラその他の装置によってユーザ５の周りから検出可能である場合には、グリップ３１０は、モーションセンサ４２０を備えなくてもよい。
【0072】
フレーム３２０は、その円周方向に沿って配置された複数の赤外線ＬＥＤ３６０を含む。赤外線ＬＥＤ３６０は、コントローラ３００を使用するプログラムの実行中に、当該プログラムの進行に合わせて赤外線を発光する。赤外線ＬＥＤ３６０から発せられた赤外線は、右コントローラ３００Ｒと左コントローラとの各位置や姿勢（傾き、向き）を検出するために使用され得る。図８に示される例では、二列に配置された赤外線ＬＥＤ３６０が示されているが、配列の数は図８に示されるものに限られない。一列あるいは３列以上の配列が使用されてもよい。
【0073】
天面３３０は、ボタン３７０，３８０と、アナログスティック３９０とを備える。ボタン３７０，３８０は、プッシュ式ボタンとして構成される。ボタン３７０，３８０は、ユーザ５の右手の親指による操作を受け付ける。アナログスティック３９０は、ある局面において、初期位置（ニュートラルの位置）から３６０度任意の方向への操作を受け付ける。当該操作は、たとえば、仮想空間１１に配置されるオブジェクトを移動するための操作を含む。
【0074】
ある局面において、右コントローラ３００Ｒおよび左コントローラは、赤外線ＬＥＤ３６０その他の部材を駆動するための電池を含む。電池は、充電式、ボタン型、乾電池型などを含むが、これらに限定されない。別の局面において、右コントローラ３００Ｒと左コントローラは、たとえば、コンピュータ２００のＵＳＢインターフェースに接続され得る。この場合、右コントローラ３００Ｒおよび左コントローラは、電池を必要としない。
【0075】
図８の状態（Ａ）および状態（Ｂ）に示されるように、例えば、ユーザ５の右手に対して、ヨー、ロール、ピッチの各方向が規定される。ユーザ５が親指と人差し指とを伸ばした場合に、親指の伸びる方向がヨー方向、人差し指の伸びる方向がロール方向、ヨー方向の軸およびロール方向の軸によって規定される平面に垂直な方向がピッチ方向として規定される。
【0076】
［サーバのハードウェア構成］
図９を参照して、本実施の形態に係るサーバ６００について説明する。図９は、ある実施の形態に従うサーバ６００のハードウェア構成の一例を表すブロック図である。サーバ６００は、主たる構成要素として、プロセッサ６１０と、メモリ６２０と、ストレージ６３０と、入出力インターフェイス６４０と、通信インターフェイス６５０とを備える。各構成要素は、それぞれ、バス６６０に接続されている。
図９を参照して、本実施の形態に係るサーバ６００について説明する。図９は、ある実施の形態に従うサーバ６００のハードウェア構成の一例を表すブロック図である。サーバ６００は、主たる構成要素として、プロセッサ６１０と、メモリ６２０と、ストレージ６３０と、入出力インターフェイス６４０と、通信インターフェイス６５０とを備える。各構成要素は、それぞれ、バス６６０に接続されている。
【0077】
プロセッサ６１０は、サーバ６００に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ６２０またはストレージ６３０に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ６１０は、ＣＰＵ、ＧＰＵ、ＭＰＵ、ＦＰＧＡその他のデバイスとして実現される。
【0078】
メモリ６２０は、プログラムおよびデータを一時的に保存する。プログラムは、例えば、ストレージ６３０からロードされる。データは、サーバ６００に入力されたデータと、プロセッサ６１０によって生成されたデータとを含む。ある局面において、メモリ６２０は、ＲＡＭその他の揮発メモリとして実現される。
【0079】
ストレージ６３０は、プログラムおよびデータを永続的に保持する。ストレージ６３０は、例えば、ＲＯＭ、ハードディスク装置、フラッシュメモリ、その他の不揮発記憶装置として実現される。ストレージ６３０に格納されるプログラムは、ＨＭＤシステム１００において仮想空間を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、コンピュータ２００との通信を実現するためのプログラムを含んでもよい。ストレージ６３０に格納されるデータは、仮想空間を規定するためのデータおよびオブジェクト等を含んでもよい。
【0080】
別の局面において、ストレージ６３０は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに別の局面において、サーバ６００に内蔵されたストレージ６３０の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。このような構成によれば、例えば、アミューズメント施設のように複数のＨＭＤシステム１００が使用される場面において、プログラムやデータの更新を一括して行うことが可能になる。
【0081】
入出力インターフェイス６４０は、入出力機器との間で信号を通信する。ある局面において、入出力インターフェイス６４０は、ＵＳＢ、ＤＶＩ、ＨＤＭＩその他の端子を用いて実現される。入出力インターフェイス６４０は上述のものに限られない。
【0082】
通信インターフェイス６５０は、ネットワーク２に接続されて、ネットワーク２に接続されているコンピュータ２００と通信する。ある局面において、通信インターフェイス６５０は、例えば、ＬＡＮその他の有線通信インターフェイス、あるいは、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ、ＮＦＣその他の無線通信インターフェイスとして実現される。通信インターフェイス６５０は上述のものに限られない。
【0083】
ある局面において、プロセッサ６１０は、ストレージ６３０にアクセスし、ストレージ６３０に格納されている１つ以上のプログラムをメモリ６２０にロードし、当該プログラムに含まれる一連の命令を実行する。当該１つ以上のプログラムは、サーバ６００のオペレーティングシステム、仮想空間を提供するためのアプリケーションプログラム、仮想空間で実行可能なゲームソフトウェア等を含み得る。プロセッサ６１０は、入出力インターフェイス６４０を介して、仮想空間を提供するための信号をコンピュータ２００に送ってもよい。
【0084】
［ＨＭＤの制御装置］
図１０を参照して、ＨＭＤ１２０の制御装置について説明する。ある実施の形態において、制御装置は周知の構成を有するコンピュータ２００によって実現される。図１０は、ある実施の形態に従うコンピュータ２００をモジュール構成として表すブロック図である。
図１０を参照して、ＨＭＤ１２０の制御装置について説明する。ある実施の形態において、制御装置は周知の構成を有するコンピュータ２００によって実現される。図１０は、ある実施の形態に従うコンピュータ２００をモジュール構成として表すブロック図である。
【0085】
図１０に示されるように、コンピュータ２００は、コントロールモジュール５１０と、レンダリングモジュール５２０と、メモリモジュール５３０と、通信制御モジュール５４０とを備える。ある局面において、コントロールモジュール５１０とレンダリングモジュール５２０とは、プロセッサ２１０によって実現される。別の局面において、複数のプロセッサ２１０がコントロールモジュール５１０とレンダリングモジュール５２０として作動してもよい。メモリモジュール５３０は、メモリ２２０またはストレージ２３０によって実現される。通信制御モジュール５４０は、通信インターフェイス２５０によって実現される。
【0086】
コントロールモジュール５１０は、ユーザ５に提供される仮想空間１１を制御する。コントロールモジュール５１０は、仮想空間１１を表す仮想空間データを用いて、ＨＭＤシステム１００における仮想空間１１を規定する。仮想空間データは、例えば、メモリモジュール５３０に記憶されている。コントロールモジュール５１０が、仮想空間データを生成したり、サーバ６００などから仮想空間データを取得するようにしたりしてもよい。
【0087】
コントロールモジュール５１０は、オブジェクトを表すオブジェクトデータを用いて、仮想空間１１にオブジェクトを配置する。オブジェクトデータは、例えば、メモリモジュール５３０に記憶されている。コントロールモジュール５１０が、オブジェクトデータを生成したり、サーバ６００などからオブジェクトデータを取得するようにしたりしてもよい。オブジェクトは、例えば、ユーザ５の分身であるアバターオブジェクト、キャラクタオブジェクト、コントローラ３００によって操作される仮想手などの操作オブジェクト、ゲームのストーリーの進行に従って配置される森、山その他を含む風景、街並み、動物等を含み得る。
【0088】
コントロールモジュール５１０は、ネットワーク２を介して接続される他のコンピュータ２００のユーザ５のアバターオブジェクトを仮想空間１１に配置する。ある局面において、コントロールモジュール５１０は、ユーザ５のアバターオブジェクトを仮想空間１１に配置する。ある局面において、コントロールモジュール５１０は、ユーザ５を含む画像に基づいて、ユーザ５を模したアバターオブジェクトを仮想空間１１に配置する。別の局面において、コントロールモジュール５１０は、複数種類のアバターオブジェクト（例えば、動物を模したオブジェクトや、デフォルメされた人のオブジェクト）の中からユーザ５による選択を受け付けたアバターオブジェクトを仮想空間１１に配置する。
【0089】
コントロールモジュール５１０は、ＨＭＤセンサ４１０の出力に基づいてＨＭＤ１２０の傾きを特定する。別の局面において、コントロールモジュール５１０は、モーションセンサとして機能するセンサ１９０の出力に基づいてＨＭＤ１２０の傾きを特定する。コントロールモジュール５１０は、第１カメラ１５０および第２カメラ１６０が生成するユーザ５の顔の画像から、ユーザ５の顔を構成する器官（例えば、口，目，眉）を検出する。コントロールモジュール５１０は、検出した各器官の動き（形状）を検出する。
【0090】
コントロールモジュール５１０は、注視センサ１４０からの信号に基づいて、ユーザ５の仮想空間１１における視線を検出する。コントロールモジュール５１０は、検出したユーザ５の視線と仮想空間１１の天球とが交わる視点位置（ＸＹＺ座標系における座標値）を検出する。より具体的には、コントロールモジュール５１０は、ｕｖｗ座標系で規定されるユーザ５の視線と、仮想カメラ１４の位置および傾きとに基づいて、視点位置を検出する。コントロールモジュール５１０は、検出した視点位置をサーバ６００に送信する。別の局面において、コントロールモジュール５１０は、ユーザ５の視線を表す視線情報をサーバ６００に送信するように構成されてもよい。係る場合、サーバ６００が受信した視線情報に基づいて視点位置を算出し得る。
【0091】
コントロールモジュール５１０は、ＨＭＤセンサ４１０が検出するＨＭＤ１２０の動きをアバターオブジェクトに反映する。例えば、コントロールモジュール５１０は、ＨＭＤ１２０が傾いたことを検知して、アバターオブジェクトを傾けて配置する。コントロールモジュール５１０は、検出した顔器官の動作を、仮想空間１１に配置されるアバターオブジェクトの顔に反映させる。コントロールモジュール５１０は、サーバ６００から他のユーザ５の視線情報を受信し、当該他のユーザ５のアバターオブジェクトの視線に反映させる。ある局面において、コントロールモジュール５１０は、コントローラ３００の動きをアバターオブジェクトや操作オブジェクトに反映する。この場合、コントローラ３００は、コントローラ３００の動きを検知するためのモーションセンサ、加速度センサ、または複数の発光素子（例えば、赤外線ＬＥＤ）などを備える。
【0092】
コントロールモジュール５１０は、仮想空間１１においてユーザ５の操作を受け付けるための操作オブジェクトを仮想空間１１に配置する。ユーザ５は、操作オブジェクトを操作することにより、例えば、仮想空間１１に配置されるオブジェクトを操作する。ある局面において、操作オブジェクトは、例えば、ユーザ５の手に相当する仮想手である手オブジェクト等を含み得る。ある局面において、コントロールモジュール５１０は、モーションセンサ４２０の出力に基づいて現実空間におけるユーザ５の手の動きに連動するように仮想空間１１において手オブジェクトを動かす。ある局面において、操作オブジェクトは、アバターオブジェクトの手の部分に相当し得る。
【0093】
コントロールモジュール５１０は、仮想空間１１に配置されるオブジェクトのそれぞれが、他のオブジェクトと衝突した場合に、当該衝突を検出する。コントロールモジュール５１０は、例えば、あるオブジェクトのコリジョンエリアと、別のオブジェクトのコリジョンエリアとが触れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行う。コントロールモジュール５１０は、オブジェクトとオブジェクトとが触れている状態から離れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行う。コントロールモジュール５１０は、オブジェクトとオブジェクトとが触れている状態であることを検出することができる。例えば、コントロールモジュール５１０は、操作オブジェクトと、他のオブジェクトとが触れたときに、これら操作オブジェクトと他のオブジェクトとが触れたことを検出して、予め定められた処理を行う。
【0094】
ある局面において、コントロールモジュール５１０は、ＨＭＤ１２０のモニタ１３０における画像表示を制御する。例えば、コントロールモジュール５１０は、仮想空間１１に仮想カメラ１４を配置する。コントロールモジュール５１０は、仮想空間１１における仮想カメラ１４の位置と、仮想カメラ１４の傾き（向き）を制御する。コントロールモジュール５１０は、ＨＭＤ１２０を装着したユーザ５の頭の傾きと、仮想カメラ１４の位置に応じて、視界領域１５を規定する。レンダリングモジュール５２０は、決定された視界領域１５に基づいて、モニタ１３０に表示される視界画像１７を生成する。レンダリングモジュール５２０により生成された視界画像１７は、通信制御モジュール５４０によってＨＭＤ１２０に出力される。
【0095】
コントロールモジュール５１０は、ＨＭＤ１２０から、ユーザ５のマイク１７０を用いた発話を検出すると、当該発話に対応する音声データの送信対象のコンピュータ２００を特定する。音声データは、コントロールモジュール５１０によって特定されたコンピュータ２００に送信される。コントロールモジュール５１０は、ネットワーク２を介して他のユーザのコンピュータ２００から音声データを受信すると、当該音声データに対応する音声（発話）をスピーカ１８０から出力する。
【0096】
メモリモジュール５３０は、コンピュータ２００が仮想空間１１をユーザ５に提供するために使用されるデータを保持している。ある局面において、メモリモジュール５３０は、空間情報と、オブジェクト情報と、ユーザ情報とを保持している。
【0097】
空間情報は、仮想空間１１を提供するために規定された１つ以上のテンプレートを保持している。
【0098】
オブジェクト情報は、仮想空間１１を構成する複数のパノラマ画像１３、仮想空間１１にオブジェクトを配置するためのオブジェクトデータを含む。パノラマ画像１３は、静止画像および動画像を含み得る。パノラマ画像１３は、非現実空間の画像と現実空間の画像とを含み得る。非現実空間の画像としては、例えば、コンピュータグラフィックスで生成された画像が挙げられる。
【0099】
ユーザ情報は、ユーザ５を識別するユーザＩＤを保持する。ユーザＩＤは、例えば、ユーザが使用するコンピュータ２００に設定されるＩＰ（Internet Protocol）アドレスまたはＭＡＣ（Media Access Control）アドレスであり得る。別の局面において、ユーザＩＤはユーザによって設定され得る。ユーザ情報は、ＨＭＤシステム１００の制御装置としてコンピュータ２００を機能させるためのプログラム等を含む。
【0100】
メモリモジュール５３０に格納されているデータおよびプログラムは、ＨＭＤ１２０のユーザ５によって入力される。あるいは、プロセッサ２１０が、当該コンテンツを提供する事業者が運営するコンピュータ（例えば、サーバ６００）からプログラムあるいはデータをダウンロードして、ダウンロードされたプログラムあるいはデータをメモリモジュール５３０に格納する。
【0101】
通信制御モジュール５４０は、ネットワーク２を介して、サーバ６００その他の情報通信装置と通信し得る。
【0102】
ある局面において、コントロールモジュール５１０およびレンダリングモジュール５２０は、例えば、ユニティテクノロジーズ社によって提供されるＵｎｉｔｙ（登録商標）を用いて実現され得る。別の局面において、コントロールモジュール５１０およびレンダリングモジュール５２０は、各処理を実現する回路素子の組み合わせとしても実現され得る。
【0103】
コンピュータ２００における処理は、ハードウェアと、プロセッサ２１０により実行されるソフトウェアとによって実現される。このようなソフトウェアは、ハードディスクその他のメモリモジュール５３０に予め格納されている場合がある。ソフトウェアは、ＣＤ－ＲＯＭその他のコンピュータ読み取り可能な不揮発性のデータ記録媒体に格納されて、プログラム製品として流通している場合もある。あるいは、当該ソフトウェアは、インターネットその他のネットワークに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、光ディスク駆動装置その他のデータ読取装置によってデータ記録媒体から読み取られて、あるいは、通信制御モジュール５４０を介してサーバ６００その他のコンピュータからダウンロードされた後、記憶モジュールに一旦格納される。そのソフトウェアは、プロセッサ２１０によって記憶モジュールから読み出され、実行可能なプログラムの形式でＲＡＭに格納される。プロセッサ２１０は、そのプログラムを実行する。
【0104】
［ＨＭＤシステムの制御構造］
図１１を参照して、ＨＭＤセット１１０の制御構造について説明する。図１１は、ある実施の形態に従うＨＭＤセット１１０において実行される処理の一部を表すシーケンスチャートである。
図１１を参照して、ＨＭＤセット１１０の制御構造について説明する。図１１は、ある実施の形態に従うＨＭＤセット１１０において実行される処理の一部を表すシーケンスチャートである。
【0105】
図１１に示されるように、ステップＳ１１１０にて、コンピュータ２００のプロセッサ２１０は、コントロールモジュール５１０として、仮想空間データを特定し、仮想空間１１を定義する。
【0106】
ステップＳ１１２０にて、プロセッサ２１０は、仮想カメラ１４を初期化する。たとえば、プロセッサ２１０は、メモリのワーク領域において、仮想カメラ１４を仮想空間１１において予め規定された中心１２に配置し、仮想カメラ１４の視線をユーザ５が向いている方向に向ける。
【0107】
ステップＳ１１３０にて、プロセッサ２１０は、レンダリングモジュール５２０として、初期の視界画像を表示するための視界画像データを生成する。生成された視界画像データは、通信制御モジュール５４０によってＨＭＤ１２０に出力される。
【0108】
ステップＳ１１３２にて、ＨＭＤ１２０のモニタ１３０は、コンピュータ２００から受信した視界画像データに基づいて、視界画像を表示する。ＨＭＤ１２０を装着したユーザ５は、視界画像を視認すると仮想空間１１を認識し得る。
【0109】
ステップＳ１１３４にて、ＨＭＤセンサ４１０は、ＨＭＤ１２０から発信される複数の赤外線光に基づいて、ＨＭＤ１２０の位置と傾きを検知する。検知結果は、動き検知データとして、コンピュータ２００に出力される。
【0110】
ステップＳ１１４０にて、プロセッサ２１０は、ＨＭＤ１２０の動き検知データに含まれる位置と傾きとに基づいて、ＨＭＤ１２０を装着したユーザ５の視界方向を特定する。
【0111】
ステップＳ１１５０にて、プロセッサ２１０は、アプリケーションプログラムを実行し、アプリケーションプログラムに含まれる命令に基づいて、仮想空間１１にオブジェクトを配置する。
【0112】
ステップＳ１１６０にて、コントローラ３００は、モーションセンサ４２０から出力される信号に基づいて、ユーザ５の操作を検出し、その検出された操作を表す検出データをコンピュータ２００に出力する。別の局面において、ユーザ５によるコントローラ３００の操作は、ユーザ５の周囲に配置されたカメラからの画像に基づいて検出されてもよい。
【0113】
ステップＳ１１７０にて、プロセッサ２１０は、コントローラ３００から取得した検出データに基づいて、ユーザ５によるコントローラ３００の操作を検出する。
【0114】
ステップＳ１１８０にて、プロセッサ２１０は、ユーザ５によるコントローラ３００の操作に基づく視界画像データを生成する。生成された視界画像データは、通信制御モジュール５４０によってＨＭＤ１２０に出力される。
【0115】
ステップＳ１１９０にて、ＨＭＤ１２０は、受信した視界画像データに基づいて視界画像を更新し、更新後の視界画像をモニタ１３０に表示する。
【0116】
［アバターオブジェクト］
図１２（Ａ）、（Ｂ）を参照して、本実施の形態に従うアバターオブジェクトについて説明する。以下、ＨＭＤセット１１０Ａ，１１０Ｂの各ユーザ５のアバターオブジェクトを説明する図である。以下、ＨＭＤセット１１０Ａのユーザをユーザ５Ａ、ＨＭＤセット１１０Ｂのユーザをユーザ５Ｂ、ＨＭＤセット１１０Ｃのユーザをユーザ５Ｃ、ＨＭＤセット１１０Ｄのユーザをユーザ５Ｄと表す。ＨＭＤセット１１０Ａに関する各構成要素の参照符号にＡが付され、ＨＭＤセット１１０Ｂに関する各構成要素の参照符号にＢが付され、ＨＭＤセット１１０Ｃに関する各構成要素の参照符号にＣが付され、ＨＭＤセット１１０Ｄに関する各構成要素の参照符号にＤが付される。例えば、ＨＭＤ１２０Ａは、ＨＭＤセット１１０Ａに含まれる。
図１２（Ａ）、（Ｂ）を参照して、本実施の形態に従うアバターオブジェクトについて説明する。以下、ＨＭＤセット１１０Ａ，１１０Ｂの各ユーザ５のアバターオブジェクトを説明する図である。以下、ＨＭＤセット１１０Ａのユーザをユーザ５Ａ、ＨＭＤセット１１０Ｂのユーザをユーザ５Ｂ、ＨＭＤセット１１０Ｃのユーザをユーザ５Ｃ、ＨＭＤセット１１０Ｄのユーザをユーザ５Ｄと表す。ＨＭＤセット１１０Ａに関する各構成要素の参照符号にＡが付され、ＨＭＤセット１１０Ｂに関する各構成要素の参照符号にＢが付され、ＨＭＤセット１１０Ｃに関する各構成要素の参照符号にＣが付され、ＨＭＤセット１１０Ｄに関する各構成要素の参照符号にＤが付される。例えば、ＨＭＤ１２０Ａは、ＨＭＤセット１１０Ａに含まれる。
【0117】
図１２（Ａ）は、ネットワーク２において、各ＨＭＤ１２０がユーザ５に仮想空間１１を提供する状況を表す模式図である。コンピュータ２００Ａ～２００Ｄは、ＨＭＤ１２０Ａ～１２０Ｄを介して、ユーザ５Ａ～５Ｄに、仮想空間１１Ａ～１１Ｄをそれぞれ提供する。図１２（Ａ）に示される例において、仮想空間１１Ａおよび仮想空間１１Ｂは同じデータによって構成されている。換言すれば、コンピュータ２００Ａとコンピュータ２００Ｂとは同じ仮想空間を共有していることになる。仮想空間１１Ａおよび仮想空間１１Ｂには、ユーザ５Ａのアバターオブジェクト６Ａと、ユーザ５Ｂのアバターオブジェクト６Ｂとが存在する。仮想空間１１Ａにおけるアバターオブジェクト６Ａおよび仮想空間１１Ｂにおけるアバターオブジェクト６ＢがそれぞれＨＭＤ１２０を装着しているが、これは説明を分かりやすくするためのものであって、実際にはこれらのオブジェクトはＨＭＤ１２０を装着していない。
【0118】
ある局面において、プロセッサ２１０Ａは、ユーザ５Ａの視界画像１７Ａを撮影する仮想カメラ１４Ａを、アバターオブジェクト６Ａの目の位置に配置し得る。
【0119】
図１２（Ｂ）は、図１２（Ａ）におけるユーザ５Ａの視界画像１７Ａを示す図である。視界画像１７Ａは、ＨＭＤ１２０Ａのモニタ１３０Ａに表示される画像である。この視界画像１７Ａは、仮想カメラ１４Ａにより生成された画像である。視界画像１７Ａには、ユーザ５Ｂのアバターオブジェクト６Ｂが表示されている。特に図示はしていないが、ユーザ５Ｂの視界画像にも同様に、ユーザ５Ａのアバターオブジェクト６Ａが表示されている。
【0120】
図１２（Ｂ）の状態において、ユーザ５Ａは仮想空間１１Ａを介してユーザ５Ｂと対話による通信（コミュニケーション）を図ることができる。より具体的には、マイク１７０Ａにより取得されたユーザ５Ａの音声は、サーバ６００を介してユーザ５ＢのＨＭＤ１２０Ｂに送信され、ＨＭＤ１２０Ｂに設けられたスピーカ１８０Ｂから出力される。ユーザ５Ｂの音声は、サーバ６００を介してユーザ５ＡのＨＭＤ１２０Ａに送信され、ＨＭＤ１２０Ａに設けられたスピーカ１８０Ａから出力される。
【0121】
ユーザ５Ｂの動作（ＨＭＤ１２０Ｂの動作およびコントローラ３００Ｂの動作）は、プロセッサ２１０Ａにより仮想空間１１Ａに配置されるアバターオブジェクト６Ｂに反映される。これにより、ユーザ５Ａは、ユーザ５Ｂの動作を、アバターオブジェクト６Ｂを通じて認識できる。
【0122】
図１３は、本実施の形態に従うＨＭＤシステム１００において実行される処理の一部を表すシーケンスチャートである。図１３においては、ＨＭＤセット１１０Ｄを図示していないが、ＨＭＤセット１１０Ｄについても、ＨＭＤセット１１０Ａ、１１０Ｂ、１１０Ｃと同様に動作する。以下の説明でも、ＨＭＤセット１１０Ａに関する各構成要素の参照符号にＡが付され、ＨＭＤセット１１０Ｂに関する各構成要素の参照符号にＢが付され、ＨＭＤセット１１０Ｃに関する各構成要素の参照符号にＣが付され、ＨＭＤセット１１０Ｄに関する各構成要素の参照符号にＤが付されるものとする。
【0123】
ステップＳ１３１０Ａにおいて、ＨＭＤセット１１０Ａにおけるプロセッサ２１０Ａは、仮想空間１１Ａにおけるアバターオブジェクト６Ａの動作を決定するためのアバター情報を取得する。このアバター情報は、例えば、動き情報、フェイストラッキングデータ、および音声データ等のアバターに関する情報を含む。動き情報は、ＨＭＤ１２０Ａの位置および傾きの時間的変化を示す情報や、モーションセンサ４２０Ａ等により検出されたユーザ５Ａの手の動きを示す情報などを含む。フェイストラッキングデータは、ユーザ５Ａの顔の各パーツの位置および大きさを特定するデータが挙げられる。フェイストラッキングデータは、ユーザ５Ａの顔を構成する各器官の動きを示すデータや視線データが挙げられる。音声データは、ＨＭＤ１２０Ａのマイク１７０Ａによって取得されたユーザ５Ａの音声を示すデータが挙げられる。アバター情報には、アバターオブジェクト６Ａ、あるいはアバターオブジェクト６Ａに関連付けられるユーザ５Ａを特定する情報や、アバターオブジェクト６Ａが存在する仮想空間１１Ａを特定する情報等が含まれてもよい。アバターオブジェクト６Ａやユーザ５Ａを特定する情報としては、ユーザＩＤが挙げられる。アバターオブジェクト６Ａが存在する仮想空間１１Ａを特定する情報としては、ルームＩＤが挙げられる。プロセッサ２１０Ａは、上述のように取得されたアバター情報を、ネットワーク２を介してサーバ６００に送信する。
【0124】
ステップＳ１３１０Ｂにおいて、ＨＭＤセット１１０Ｂにおけるプロセッサ２１０Ｂは、ステップＳ１３１０Ａにおける処理と同様に、仮想空間１１Ｂにおけるアバターオブジェクト６Ｂの動作を決定するためのアバター情報を取得し、サーバ６００に送信する。同様に、ステップＳ１３１０Ｃにおいて、ＨＭＤセット１１０Ｃにおけるプロセッサ２１０Ｃは、仮想空間１１Ｃにおけるアバターオブジェクト６Ｃの動作を決定するためのアバター情報を取得し、サーバ６００に送信する。
【0125】
ステップＳ１３２０において、サーバ６００は、ＨＭＤセット１１０Ａ、ＨＭＤセット１１０Ｂ、およびＨＭＤセット１１０Ｃのそれぞれから受信したプレイヤ情報を一旦記憶する。サーバ６００は、各アバター情報に含まれるユーザＩＤおよびルームＩＤ等に基づいて、共通の仮想空間１１に関連付けられた全ユーザ（この例では、ユーザ５Ａ～５Ｃ）のアバター情報を統合する。そして、サーバ６００は、予め定められたタイミングで、統合したアバター情報を当該仮想空間１１に関連付けられた全ユーザに送信する。これにより、同期処理が実行される。このような同期処理により、ＨＭＤセット１１０Ａ、ＨＭＤセット１１０Ｂ、およびＨＭＤ１１０Ｃは、互いのアバター情報をほぼ同じタイミングで共有することができる。
【0126】
続いて、サーバ６００から各ＨＭＤセット１１０Ａ～１１０Ｃに送信されたアバター情報に基づいて、各ＨＭＤセット１１０Ａ～１１０Ｃは、ステップＳ１３３０Ａ～Ｓ１３３０Ｃの処理を実行する。ステップＳ１３３０Ａの処理は、図１１におけるステップＳ１１８０の処理に相当する。
【0127】
ステップＳ１３３０Ａにおいて、ＨＭＤセット１１０Ａにおけるプロセッサ２１０Ａは、仮想空間１１Ａにおける他のユーザ５Ｂ，５Ｃのアバターオブジェクト６Ｂ、アバターオブジェクト６Ｃの情報を更新する。具体的には、プロセッサ２１０Ａは、ＨＭＤセット１１０Ｂから送信されたアバター情報に含まれる動き情報に基づいて、仮想空間１１におけるアバターオブジェクト６Ｂの位置および向き等を更新する。例えば、プロセッサ２１０Ａは、メモリモジュール５３０に格納されたオブジェクト情報に含まれるアバターオブジェクト６Ｂの情報（位置および向き等）を更新する。同様に、プロセッサ２１０Ａは、ＨＭＤセット１１０Ｃから送信されたアバター情報に含まれる動き情報に基づいて、仮想空間１１におけるアバターオブジェクト６Ｃの情報（位置および向き等）を更新する。
【0128】
ステップＳ１３３０Ｂにおいて、ＨＭＤセット１１０Ｂにおけるプロセッサ２１０Ｂは、ステップＳ１３３０Ａにおける処理と同様に、仮想空間１１Ｂにおけるユーザ５Ａ，５Ｃのアバターオブジェクト６Ａ，６Ｃの情報を更新する。同様に、ステップＳ１３３０Ｃにおいて、ＨＭＤセット１１０Ｃにおけるプロセッサ２１０Ｃは、仮想空間１１Ｃにおけるユーザ５Ａ，５Ｂのアバターオブジェクト６Ａ，６Ｂの情報を更新する。
【0129】
【0130】
図１４に示されるように、コントロールモジュール５１０は、仮想カメラ制御モジュール１４２１と、視界領域決定モジュール１４２２と、基準視線特定モジュール１４２３と、顔器官検出モジュール１４２４と、動き検出モジュール１４２５と、仮想空間定義モジュール１４２６と、仮想オブジェクト生成モジュール１４２７と、操作オブジェクト制御モジュール１４２８と、アバター制御モジュール１４２９と、を備える。レンダリングモジュール５２０は、視界画像生成モジュール１４３８を備える。メモリモジュール５３０は、空間情報１４３１と、オブジェクト情報１４３２と、ユーザ情報１４３３と、顔情報１４３４と、を保持している。
【0131】
仮想カメラ制御モジュール１４２１は、仮想空間１１に仮想カメラ１４を配置する。仮想カメラ制御モジュール１４２１は、仮想空間１１における仮想カメラ１４の配置位置と、仮想カメラ１４の向き（傾き）を制御する。
【0132】
仮想カメラ制御モジュール１４２１は、仮想カメラ１４の向き、つまり仮想視点からの視線の方向を、ユーザの頭部の動きに応じて制御することができる。ユーザの頭部の動きは、ユーザに関連付けられたＨＭＤ１２０、すなわちユーザが装着するＨＭＤ１２０の動きであり、ＨＭＤセンサ４１０によって検出される。ＨＭＤセンサ４１０はユーザの頭部の位置の時間的変化によって、頭部の移動方向、移動量、移動速度等をユーザの頭部の動きとして検出する。
【0133】
また、仮想カメラ制御モジュール１４２１は、仮想視点からの視線の方向を、コントローラ３００の動き（位置、姿勢）に応じて制御することもできる。コントローラ３００の動きは、例えば赤外線ＬＥＤ３６０から発せられた赤外線を使用してＨＭＤセンサ４１０により検出される。ＨＭＤセンサ４１０は、コントローラ３００の位置の時間的変化によって、コントローラ３００の移動方向、移動量、移動速度等をコントローラ３００の動きとして検出する。
【0134】
仮想カメラ制御モジュール１４２１は、通常時はユーザの頭部の動きに応じて視線の方向の制御を行うが、コントローラ３００の動きに応じた視線の方向の制御を有効化する入力をコントローラ３００から受け付けると、この入力が受け付けられている間、コントローラ３００の動きに応じた視線の方向の制御を行う。
【0135】
視界領域決定モジュール１４２２は、図６及び図７に示すように、仮想カメラ１４、すなわち仮想視点の位置と仮想視点からの視線の方向により視界領域１５を決定する。視界画像生成モジュール１４３８は、決定された視界領域１５に基づいて、モニタ１３０に表示される視界画像１７を生成する。
【0136】
基準視線特定モジュール１４２３は、注視センサ１４０からの信号に基づいて、ユーザ５の視線を特定する。顔器官検出モジュール１４２４は、第１カメラ１５０および第２カメラ１６０が生成するユーザ５の顔の画像から、ユーザ５の顔を構成する器官（例えば、口，目，眉）を検出する。動き検出モジュール１４２５は、顔器官検出モジュール１４２４が検出した各器官の動き（形状）を検出する。
【0137】
仮想空間定義モジュール１４２６は、仮想空間１１を表す仮想空間データを生成することにより、ＨＭＤシステム１００における仮想空間１１を規定する。
【0138】
仮想オブジェクト生成モジュール１４２７は、仮想空間１１に配置されるオブジェクトを生成する。オブジェクトは、例えば、ゲームのストーリーの進行に従って配置される森、山その他を含む風景、動物等を含み得る。
【0139】
操作オブジェクト制御モジュール１４２８は、仮想空間１１においてユーザの操作を受け付けるための操作オブジェクトを仮想空間１１に配置する。ユーザは、操作オブジェクトを操作することにより、例えば、仮想空間１１に配置されるオブジェクトを操作する。ある局面において、操作オブジェクトは、例えば、ＨＭＤ１２０を装着したユーザの手に相当する手オブジェクト等を含み得る。ある局面において、操作オブジェクトは、後述するアバターオブジェクトの手の部分に相当し得る。
【0140】
アバター制御モジュール１４２９は、ネットワーク２を介して接続される他のコンピュータ２００のユーザのアバターオブジェクトを仮想空間１１に配置するためのデータを生成する。ある局面において、アバター制御モジュール１４２９は、ユーザ５のアバターオブジェクトを仮想空間１１に配置するためのデータを生成する。ある局面において、アバター制御モジュール１４２９は、ユーザ５を含む画像に基づいて、ユーザ５を模したアバターオブジェクトを生成する。別の局面において、アバター制御モジュール１４２９は、複数種類のアバターオブジェクト（例えば、動物を模したオブジェクトや、デフォルメされた人のオブジェクト）の中からユーザ５による選択を受け付けたアバターオブジェクトを仮想空間１１に配置するためのデータを生成する。
【0141】
アバター制御モジュール１４２９は、ＨＭＤセンサ４１０が検出するＨＭＤ１２０の動きをアバターオブジェクトに反映する。例えば、アバター制御モジュール１４２９は、ＨＭＤ１２０が傾いたことを検知して、アバターオブジェクトを傾けて配置するためのデータを生成する。ある局面において、アバター制御モジュール１４２９は、コントローラ３００の動きをアバターオブジェクトに反映する。この場合、コントローラ３００は、コントローラ３００の動きを検知するためのモーションセンサ、加速度センサ、または複数の発光素子（例えば、赤外線ＬＥＤ）などを備える。アバター制御モジュール１４２９は、動き検出モジュール１４２５が検出した顔器官の動作を、仮想空間１１に配置されるアバターオブジェクトの顔に反映させる。つまり、アバター制御モジュール１４２９は、ユーザ５Ａの顔の動作をアバターオブジェクトに反映する。
【0142】
コントロールモジュール５１０は、仮想空間１１に配置されるオブジェクトのそれぞれが、他のオブジェクトと衝突した場合に、当該衝突を検出する。コントロールモジュール５１０は、例えば、あるオブジェクトと、別のオブジェクトとが触れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行う。コントロールモジュール５１０は、オブジェクトとオブジェクトとが触れている状態から離れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行う。コントロールモジュール５１０は、オブジェクトとオブジェクトとが触れている状態であることを検出することができる。具体的には、操作オブジェクト制御モジュール１４２８は、操作オブジェクトと、他のオブジェクトとが触れたときに、これら操作オブジェクトと他のオブジェクトとが触れたことを検出して、予め定められた処理を行う。
【0143】
メモリモジュール５３０は、コンピュータ２００が仮想空間１１をユーザ５に提供するために使用されるデータを保持している。ある局面において、メモリモジュール５３０は、空間情報１４３１と、オブジェクト情報１４３２と、ユーザ情報１４３３と、顔情報１４３４とを保持している。
【0144】
空間情報１４３１は、仮想空間１１を提供するために規定された１つ以上のテンプレートを保持している。
【0145】
オブジェクト情報１４３２は、仮想空間１１において再生されるコンテンツ、当該コンテンツで使用されるオブジェクト、およびオブジェクトを仮想空間１１に配置するための情報（たとえば、位置情報）を保持している。当該コンテンツは、例えば、ゲーム、現実社会と同様の風景を表したコンテンツ等を含み得る。
【0146】
ユーザ情報１４３３は、ＨＭＤシステム１００の制御装置としてコンピュータ２００を機能させるためのプログラム、オブジェクト情報１４３２に保持される各コンテンツを使用するアプリケーションプログラム等を保持している。
【0147】
顔情報１４３４は、顔器官検出モジュール１４２４が、ユーザ５の顔器官を検出するために予め記憶されたテンプレートを保持している。ある局面において、顔情報１４３４は、口テンプレート１４３５と、目テンプレート１４３６と、眉テンプレート１４３７とを保持する。各テンプレートは、顔を構成する器官に対応する画像であり得る。例えば、口テンプレート１４３５は、口の画像であり得る。各テンプレートは複数の画像を含んでもよい。
【0148】
［３６０度動画の表示］
ある局面において、プロセッサ２１０は、３６０度動画を仮想空間データとして用いて、仮想空間を定義する。これにより、ＨＭＤ１２０のモニタ１３０に３６０度動画を視界に含む視界画像が提供される。３６０度動画は、例えば予めストレージ２３０に保存された３６０度動画、外部からダウンロードされた３６０度動画等であってもよい。また、３６０度動画は、コンピュータ２００に接続された３６０度カメラで撮影された３６０度動画であってもよいし、ゲームプログラムの背景動画等のアニメーション動画であってもよい。
ある局面において、プロセッサ２１０は、３６０度動画を仮想空間データとして用いて、仮想空間を定義する。これにより、ＨＭＤ１２０のモニタ１３０に３６０度動画を視界に含む視界画像が提供される。３６０度動画は、例えば予めストレージ２３０に保存された３６０度動画、外部からダウンロードされた３６０度動画等であってもよい。また、３６０度動画は、コンピュータ２００に接続された３６０度カメラで撮影された３６０度動画であってもよいし、ゲームプログラムの背景動画等のアニメーション動画であってもよい。
【0149】
［視線の方向の制御］
ある実施の形態において、コンピュータ２００におけるプロセッサ２１０は、視線の方向の制御モードとして、ユーザの頭部の動きに応じて視線の方向を制御するモード（第３モード）と、コントローラ３００の動きに応じて視線の方向を制御するモード（第４モード）とを有する。ユーザは、コントローラ３００の操作によって制御モードを切り替えることができる。
ある実施の形態において、コンピュータ２００におけるプロセッサ２１０は、視線の方向の制御モードとして、ユーザの頭部の動きに応じて視線の方向を制御するモード（第３モード）と、コントローラ３００の動きに応じて視線の方向を制御するモード（第４モード）とを有する。ユーザは、コントローラ３００の操作によって制御モードを切り替えることができる。
【0150】
図１５は、ユーザの頭部の動きに応じた視線の方向の制御モード時に、プロセッサ２１０により実行される処理を示すフローチャートである。プロセッサ２１０は、この制御モードの間は、もう一方の制御モード、すなわちコントローラ３００の動きに応じて行う視線の方向の制御を無効化している。また、プロセッサ２１０は、この制御モードの間は図１５に示す処理を繰り返し実行する。
【0151】
図１５に示すように、ステップＳ１５０１において、プロセッサ２１０は、コントローラ３００から、コントローラ３００の動きに応じた視線の方向の制御を有効化する入力を受け付けたか否かを判定する。有効化の入力は、どのような入力操作であってもよく、例えばコントローラ３００に設けられたボタン３５０の押下操作等が挙げられる。有効化の入力を受け付けていない場合（Ｓ１５０１：ＮＯ）、プロセッサ２１０は図１５に示す処理を終了する。
【0152】
ステップＳ１５０１において有効化の入力を受け付けた場合（Ｓ１５０１：ＹＥＳ）、ステップＳ１５０２において、プロセッサ２１０は、視線の方向の制御モードを、コントローラ３００の動きに応じた制御モードに切り替える。ステップＳ１５０３において、プロセッサ２１０は、もう一方の制御モードであるユーザの頭部の動きに応じた制御を無効化する。
【0153】
ステップＳ１５０４において、プロセッサ２１０は、コントローラ３００の動きを検出したか否かを判定する。コントローラ３００の動きが検出されない場合（Ｓ１５０４；ＮＯ）、ステップＳ１５１０の処理に移行する。コントローラ３００の動きが検出された場合（Ｓ１５０４；ＹＥＳ）、ステップＳ１５０５において、プロセッサ２１０は、コントローラ３００による操作モードが、ドラッグ操作モード（第１モード）かフリック操作モード（第２モード）かを判定する。ドラッグ操作モードは、コントローラ３００の移動量に基づいて視線の方向を制御できる操作モードであり、フリック操作モードは、コントローラ３００の移動速度に基づいて視線の方向を制御できる操作モードである。プロセッサ２１０は、メニュー画面等においてユーザによる選択入力を受け付けて、ドラッグ操作モードとフリック操作モードのいずれかを規定の操作モードとしてあらかじめ設定しているが、ユーザからの操作モードの変更の入力を受け付けて任意のタイミングで切り替えられるようにしてもよい。
【0154】
ドラッグ操作モードの場合（Ｓ１５０５；ドラッグ）、ステップＳ１５０６において、プロセッサ２１０は、仮想視点からの視線の方向を、コントローラ３００の動きに応じて定まる方向に変更する。例えば、プロセッサ２１０は、視線を、仮想視点とともにコントローラ３００の移動方向と同じ方向へ平行移動してもよい。また、プロセッサ２１０は、視線を、仮想視点を基点としてコントローラ３００の移動方向に応じて定まる回転方向に回転させてもよい。コントローラ３００の移動方向に応じて定まる回転方向は、例えばコントローラ３００の移動方向が、右方向である場合は仮想視点を基点とする反時計回りの方向であり、左方向である場合は視線を時計回りの方向である。簡単な操作で、あたかも仮想空間を掴んで移動させるようなドラッグ操作の感覚で視線の方向を変更することができ、仮想体験を向上させることができる。
【0155】
ある局面において、プロセッサ２１０は、視線の方向を変更する速度を、コントローラ３００の移動速度に関わらず、一定の速度とする。これにより、視界の変更の速さを一定に制限することができ、視界の変更によるＶＲ酔いを抑えることができる。一定の速さとしては、例えば実験的に求められた、ＶＲ酔いが発生しないときの速さが選択され得る。
【0156】
プロセッサ２１０は、視線を、仮想視点を基点として、コントローラ３００の移動方向に応じて定まる回転方向に回転させる場合、コントローラ３００の移動速度に関わらず一定の角速度で回転させる。プロセッサ２１０は、このときの回転量を、コントローラ３００の移動量に応じて定める。例えば、コントローラ３００の移動量が多いほど視線の回転量が多い。ユーザ５は、コントローラ３００の移動量によって回転量を調整でき、感覚的かつ容易に調整を行うことができる。
【0157】
ステップＳ１５０７において、プロセッサ２１０は、視線の方向に応じて定まる視界に対応する視界画像を生成する。生成された視界画像は、ＨＭＤ１２０により表示される。
【0158】
図１６及び図１７は、コントローラ３００の動きに応じた視線１６の方向の制御の一例を説明する図である。図１６は視線１６の方向の回転前の状態を示す図であり、図１７は視線１６の方向の回転後の状態を示す図である。また、図１８は、図１６の状態のときの視界画像１８２１を示す図であり、図１９は、図１７の状態のときの視界画像１９２１を示す図である。なお、図１８の視界画像１８２１及び図１９の視界画像１９２１は、ユーザ５の手に対応する仮想手１８３１を含む。
【0159】
図１６に示すように、仮想空間１１に配置されたオブジェクト１６４５は視界領域１５内にあるが、オブジェクト１６４３は視界領域１５外部に存在する。そのため、図１８に示すように、視界画像１８２１中にはオブジェクト１６４５は含まれるものの、オブジェクト１６４３は含まれていない。
その後、ユーザ５が有効化の入力を継続した状態で、図１６に示すようにコントローラ３００を矢印１６４４の方向に動かすと、プロセッサ２１０は、図１８に示すように仮想空間に配置した仮想手１８３１を矢印１８４１の方向に移動する。このとき、プロセッサ２１０は、有効化の入力がない間は開いた形状の仮想手１８３１を仮想空間１１に配置し、有効化の入力が受け付けられている間は、ドラッグ操作モードに応じた形状、例えば掴む形状の仮想手１８３１に代えてもよい。
その後、ユーザ５が有効化の入力を継続した状態で、図１６に示すようにコントローラ３００を矢印１６４４の方向に動かすと、プロセッサ２１０は、図１８に示すように仮想空間に配置した仮想手１８３１を矢印１８４１の方向に移動する。このとき、プロセッサ２１０は、有効化の入力がない間は開いた形状の仮想手１８３１を仮想空間１１に配置し、有効化の入力が受け付けられている間は、ドラッグ操作モードに応じた形状、例えば掴む形状の仮想手１８３１に代えてもよい。
【0160】
プロセッサ２１０は、コントローラ３００の動きに応じて、視線１６の方向を、図１６の矢印１６４４が示す方向に、仮想カメラ１４（仮想視点）を起点として回転させる。そして、プロセッサ２１０は、コントローラ３００の移動量に応じた回転量だけ回転させると、図１７に示す向きで停止させる。視線１６を回転させた後の視界領域１５内には、オブジェクト１６４３も含まれるため、図１９に示す視界画像１９２１にはオブジェクト１６４３も含まれる。
【0161】
ある局面において、プロセッサ２１０は、コントローラ３００の移動速度に閾値を設けて、検出されたコントローラ３００の移動速度が、閾値未満の場合は当該移動速度に応じて定まる角速度で回転させ、閾値以上の場合はこの閾値に応じて定まる一定の角速度で回転させる。ユーザ５は、コントローラ３００の移動速度によって回転量を調整でき、感覚的かつ容易に調整を行うことができる。一定の移動速度に至ると視界の回転の速さが一定に固定されるため、視界の変更によるＶＲ酔いを減らすことができる。
【0162】
一方、コントローラ３００の操作モードがフリック操作モードである場合（Ｓ１５０５：フリック）、ステップＳ１５０８において、プロセッサ２１０は、視線を、仮想視点を起点として、コントローラ３００の移動方向に応じて定まる回転方向に回転させる。また、プロセッサ２１０は、コントローラ３００の移動速度に応じて定まる角速度で視線を回転させる。例えば、コントローラ３００の移動速度が速いほど角速度も速い。これにより、あたかも仮想空間を振り払うようなフリック操作の感覚での感覚で操作することができ、容易な操作で仮想体験も向上させることができる。フリック操作の場合、視界画像に含まれる仮想手の形状は指を開いた手の形状であってもよい。ドラッグ操作モードと異なる手の形状とすることで、操作モードの違いをユーザ５が認識しやすい。
【0163】
ステップＳ１５０９において、プロセッサ２１０は、視線の方向に応じて定まる視界に対応する視界画像を生成する。ある局面において、プロセッサ２１０は、視線を回転させている間、視線を回転させていない場合よりも視認性を低下させた視界画像を生成する。プロセッサ２１０は、回転させた視線の方向で定まる視界に対応する視界画像を画像処理することによって、視認性を低下させることができる。視認性を低下させた画像としては、ユーザが視認する情報量を低減させた画像を用いることができ、例えば視線を回転させていないときの視界画像よりも解像度が低い画像、コントラストが低い画像、周囲が黒塗りされる等して視野が狭い画像等が挙げられる。
【0164】
ステップＳ１５１０において、プロセッサ２１０は、コントローラ３００の動きに応じた視線の方向制御の有効化の入力が終了したか否かを判定する。例えば、有効化の入力に対応するボタン３５０の押下操作が解除された場合、プロセッサ２１０は有効化の入力が終了したと判定する。有効化の入力が終了していない場合（ステップＳ１５１０；ＮＯ）、ステップＳ１５０４に戻る。
【0165】
有効化の入力が終了した場合（Ｓ１５１０：ＹＥＳ）、ステップＳ１５１１において、プロセッサ２１０は、コントローラ３００の動きに応じて視線の方向を制御する制御モードから、ユーザ５の頭部の動きに応じて視線の方向を制御する制御モードへ切り替える。ステップＳ１５１２において、プロセッサ２１０は、コントローラ３００の動きに応じた視線の方向制御を無効化する。
【0166】
上記処理において、プロセッサ２１０は、ホームポジションのような視線の標準方向を定義し、リセット用の所定の入力を受け付けると、視線の方向を標準方向に戻す方向制御を行ってもよい。視線の標準方向は、有効化の入力を受け付ける直前の方向であってもよいし、予め定められた方向であってもよい。所定の入力は、例えば複数のボタン３５０の同時押下等のコントローラ３００の操作であってもよいし、ＨＭＤセンサ４１０により検出されるユーザ５の頭部の所定の動きであってもよい。この制御によれば、視線の方向を大きく変更した場合であっても、容易に標準方向に戻すことができる。
【0167】
ある局面において、プロセッサ２１０は、上記コントローラ３００の動きに応じた視線の方向の制御に応じて、課金処理を行う。課金処理における課金額は、定額であってもよいし、視線の方向の変更量に応じた金額であってもよい。例えば、プロセッサ２１０は、コントローラ３００の動きに応じて回転させた回転量が多いほど課金額を増やす従量課金を行うことができる。ユーザ５は課金によって容易な操作で没入感の高い仮想体験が可能である。
【0168】
以上のように、有効化の入力を受け付けている間、コントローラ３００の動きに応じて視線の方向を制御することにより、ユーザ５は通常時は頭部の動きにより視線の方向を変更し、真後ろに顔を向ける場合、横たわった状態で操作中の場合等、頭部の動きでの変更が難しいときはその間だけ有効化の入力の操作を行うことでコントローラ３００によって視線の方向を変更することができる。必要な時のみ容易な操作でコントローラ３００による操作に切り替えることができ、ユーザ５の仮想体験を向上させることができる。
【0169】
また、コントローラ３００の動きに応じた視線の方向を、ドラッグ操作モード又はフリック操作モードで変更できるため、ユーザ５はあたかもユーザ５の手で仮想空間の視界を変更するような仮想体験ができ、より深い没入感が得られる。
【0170】
なお、上記実施形態において、プロセッサ２１０は、コントローラ３００の操作によらず、ユーザ５の手の形状が特定の形状であることを有効化の入力として受け付けてもよい。例えば、特定の形状は手を握り締めた形状である。ユーザ５の手の形状は、例えばＨＭＤセンサ４１０がカメラにより実現される場合、このカメラにより撮影され、出力されるユーザ５の手の画像をプロセッサ２１０が画像解析処理することによって検出される。
【0171】
同様に、プロセッサ２１０は、有効化の入力を受け付けている間、ユーザ５の手の動きに応じて視線の方向の制御を行ってもよい。上述のように、プロセッサ２１０は、手の画像の画像解析処理により検出される手の位置、形状、姿勢等の時間的変化から、手の移動方向、移動量及び移動速度等の手の動きを検出する。プロセッサ２１０は、コントローラ３００の動きに応じた視線の方向の制御と同様にして、検出された手の動きに応じて視線の方向を制御する。
【0172】
[動画再生制御]
ある実施形態において、プロセッサ２１０は、仮想空間において動画を再生する。動画は、仮想空間を定義する３６０度動画であってもよいし、仮想空間に配置されたスクリーン等のオブジェクト上で再生される動画であってもよい。プロセッサ２１０は、コントローラ３００から、コントローラ３００の動きに応じた動画の再生制御の有効化の入力を受け付けている間、コントローラ３００の動きに応じた動画の再生制御を行う。
ある実施形態において、プロセッサ２１０は、仮想空間において動画を再生する。動画は、仮想空間を定義する３６０度動画であってもよいし、仮想空間に配置されたスクリーン等のオブジェクト上で再生される動画であってもよい。プロセッサ２１０は、コントローラ３００から、コントローラ３００の動きに応じた動画の再生制御の有効化の入力を受け付けている間、コントローラ３００の動きに応じた動画の再生制御を行う。
【0173】
図２０は、プロセッサ２１０が動画の再生制御を行うときの処理手順を示すフローチャートである。
図２０に示すように、ステップＳ２０２１において、プロセッサ２１０は、コントローラ３００から、コントローラ３００の動きに応じた再生制御を有効化する入力を受け付けたか否かを判定する。有効化の入力は、どのような入力操作であってもよく、例えばコントローラ３００に設けられたボタン３５０の押下操作等が挙げられる。有効化の入力を受け付けていない場合（Ｓ２０２１：ＮＯ）、プロセッサ２１０は本処理を終了する。
図２０に示すように、ステップＳ２０２１において、プロセッサ２１０は、コントローラ３００から、コントローラ３００の動きに応じた再生制御を有効化する入力を受け付けたか否かを判定する。有効化の入力は、どのような入力操作であってもよく、例えばコントローラ３００に設けられたボタン３５０の押下操作等が挙げられる。有効化の入力を受け付けていない場合（Ｓ２０２１：ＮＯ）、プロセッサ２１０は本処理を終了する。
【0174】
一方、有効化の入力を受け付けた場合（Ｓ２０２１：ＹＥＳ）、ステップＳ２０２２において、プロセッサ２１０は、コントローラ３００の動きが検出されたか否かを判定する。コントローラ３００の動きが検出されない場合（Ｓ２０２２：ＮＯ）、ステップＳ２００４の処理に移行する。
【0175】
コントローラ３００の動きが検出された場合（Ｓ２０２２：ＹＥＳ）、ステップＳ２０２３において、プロセッサ２１０は、コントローラ３００の動きに応じた動画の再生制御を行う。ある局面において、プロセッサ２１０は、コントローラ３００の移動方向に対応する再生制御を行う。例えば、プロセッサ２１０は、コントローラ３００の移動方向が、右方向であれば動画の早送り、左方向であれば動画の巻き戻しの再生制御を行う。また、プロセッサ２１０は、コントローラ３００の移動量又は移動速度に応じた再生制御を行う。例えば早送りの場合、プロセッサ２１０は、コントローラ３００の移動量が多いほど、又は移動速度が速いほど、早送りの速度を早くする。
【0176】
ある局面において、プロセッサ２１０は、コントローラ３００の移動量に応じた再生制御を行うドラッグ操作モードと、コントローラ３００の移動速度に応じた再生制御を行うフリック操作モードのうち、メニュー画面等でユーザ５により選択された操作モードによって、再生制御を行ってもよい。
ステップＳ２０２４において、プロセッサ２１０は、視線により定まる視界に対応する視界画像を生成する。生成された視界画像は、ＨＭＤ１２０により表示される。
ステップＳ２０２４において、プロセッサ２１０は、視線により定まる視界に対応する視界画像を生成する。生成された視界画像は、ＨＭＤ１２０により表示される。
【0177】
図２１は、再生制御時の視界画像の一例を示す。
図２１に示す視界画像２１２１は、仮想空間を定義する３６０度動画から生成された視界画像である。視界画像２１２１には、ユーザ５の手に対応する仮想手２１２２が含まれる。３６０度動画の早送りの操作をコントローラ３００で行う場合、ユーザ５はコントローラ３００により再生制御の有効化の入力操作を行いながらコントローラ３００を右方向へ動かす。プロセッサ２１０は、右方向へのコントローラ３００の移動に応じて、仮想空間に配置した仮想手２１２２を右方向へ移動するとともに、ＨＭＤ１２０へ出力する視界画像のフレームレートを上げて３６０度動画を早送りする。また、プロセッサ２１０は、コントローラ３００の移動量を例えば閾値と比較して３段階に分け、移動量が多いほど２倍速、４倍速、８倍速の順に早送りの速度を上げる。
図２１に示す視界画像２１２１は、仮想空間を定義する３６０度動画から生成された視界画像である。視界画像２１２１には、ユーザ５の手に対応する仮想手２１２２が含まれる。３６０度動画の早送りの操作をコントローラ３００で行う場合、ユーザ５はコントローラ３００により再生制御の有効化の入力操作を行いながらコントローラ３００を右方向へ動かす。プロセッサ２１０は、右方向へのコントローラ３００の移動に応じて、仮想空間に配置した仮想手２１２２を右方向へ移動するとともに、ＨＭＤ１２０へ出力する視界画像のフレームレートを上げて３６０度動画を早送りする。また、プロセッサ２１０は、コントローラ３００の移動量を例えば閾値と比較して３段階に分け、移動量が多いほど２倍速、４倍速、８倍速の順に早送りの速度を上げる。
【0178】
視界画像２１２１が早送りのマーク２１２４を含むと、早送りしていることをユーザ５が把握しやすい。マーク２１２４のような再生制御の内容を示すマークは、例えばプロセッサ２１０が仮想空間にマークのオブジェクトを配置するか、視界画像の画像処理を行うことによって視界画像中に表示される。
【0179】
ある局面において、プロセッサ２１０は、コントローラ３００から、コントローラ３００の動きに応じた動画の再生制御の有効化の入力を受け付けている間、コントローラ３００の動きに応じた動画の音量制御を行う。例えば、図２１に示す視界画像２１２１において音量を下げる操作をコントローラ３００で行う場合、ユーザ５はコントローラ３００により再生制御の有効化の入力操作を行いながらコントローラ３００を下方向へ動かす。プロセッサ２１０は、コントローラ３００の下方向への移動に応じて仮想手２１２２を下方向へ移動するとともに、ＨＭＤ１２０へ出力する音量を下げる。また、プロセッサ２１０は、マーク２１２４と同様に、視界画像２１２１に含まれる音量バー２１２５の音量を示すゲージを下げる表示制御を行う。
【0180】
ステップＳ２０２５において、プロセッサ２１０は、有効化の入力が終了したか否かを判定する。有効化の入力が終了していない場合（Ｓ２０２５：ＮＯ）、ステップＳ２０２２の処理に戻る。一方、有効化の入力が終了した場合（Ｓ２０２５：ＹＥＳ）、本処理を終了する。
【0181】
以上のように、有効化の入力を受け付けている間、プロセッサ２１０はコントローラ３００の動きに応じた動画の再生制御を行うことにより、ユーザ５は簡単で感覚的な操作によって再生の操作を行うことができ、操作性及び仮想体験が向上する。
【0182】
［情報表示端末の動きに応じた視線の方向の制御］
ある実施形態において、スマートフォン、タブレット端末等の携帯型の端末が、コンピュータ２００として機能するとともに、当該端末のディスプレイが視界画像を表示するモニタ１３０として機能する。端末は、ジャイロセンサ等を備えて端末の傾き、移動等の動きを検出することができる。端末におけるプロセッサ２１０は、ユーザ５の頭部の動きに応じて視線の方向を制御する上記実施形態と同様にして、検出された端末の動きに応じて視線の方向を制御して、視界画像を生成することが可能である。
ある実施形態において、スマートフォン、タブレット端末等の携帯型の端末が、コンピュータ２００として機能するとともに、当該端末のディスプレイが視界画像を表示するモニタ１３０として機能する。端末は、ジャイロセンサ等を備えて端末の傾き、移動等の動きを検出することができる。端末におけるプロセッサ２１０は、ユーザ５の頭部の動きに応じて視線の方向を制御する上記実施形態と同様にして、検出された端末の動きに応じて視線の方向を制御して、視界画像を生成することが可能である。
【0183】
端末のプロセッサ２１０は、通常時は端末の動きに応じて行う視線の方向の制御を無効化し、端末から、端末の動きに応じた視線の方向の制御の有効化の入力を受け付けている間は、端末の動きに応じて視線の方向の制御を行う。
図２２は、端末の動きに応じて行う視線の方向の制御を無効化しているときに、端末のプロセッサ２１０により実行される処理を示す。
図２２は、端末の動きに応じて行う視線の方向の制御を無効化しているときに、端末のプロセッサ２１０により実行される処理を示す。
【0184】
図２２に示すように、ステップＳ２２２１において、プロセッサ２１０は、端末の動きに応じた視線の方向の制御の有効化の入力を受け付けたか否かを判定する。有効化の入力は、例えば端末のディスプレイがタッチパネルである場合はディスプレイへのタッチであってもよいし、ホームボタン等のボタンが設けられている場合は当該ボタンの押下操作であってもよい。
【0185】
有効化の入力が受け付けられていない場合（Ｓ２２２１：ＮＯ）、プロセッサ２１０は本処理を終了する。
一方、有効化の入力が受け付けられた場合（Ｓ２２２１：ＹＥＳ）、ステップＳ２２２２において、プロセッサ２１０は、端末の動きに応じた視線の方向の制御を有効化する。プロセッサ２１０は、端末のジャイロセンサ等によって検出される端末の動き、例えば端末の位置の移動、傾き等に応じて、端末が移動した方向に視線を移動し、端末が傾いた向きに視線の向きを変更する。
一方、有効化の入力が受け付けられた場合（Ｓ２２２１：ＹＥＳ）、ステップＳ２２２２において、プロセッサ２１０は、端末の動きに応じた視線の方向の制御を有効化する。プロセッサ２１０は、端末のジャイロセンサ等によって検出される端末の動き、例えば端末の位置の移動、傾き等に応じて、端末が移動した方向に視線を移動し、端末が傾いた向きに視線の向きを変更する。
【0186】
ステップＳ２２２３において、プロセッサ２１０は、有効化の入力が終了したか否かを判定する。有効化の入力が終了していない場合（Ｓ２２２３：ＮＯ）、ステップＳ２２２２の処理に戻る。有効化の入力が終了した場合（Ｓ２２２３：ＹＥＳ）、ステップＳ２２２４において、プロセッサ２１０は、端末の動きに応じた視線の方向の制御を無効化して、本処理を終了する。
【0187】
図２３～図２５は、端末での視界画像の表示例を示す。図２３及び図２４は、端末の動きに応じて行う視線の方向の制御を無効化したときの視界画像の表示例である。図２５は、端末の動きに応じて行う視線の方向の制御を有効化したときの視界画像の表示例である。
図２３に示すように、端末２３２１には視界画像２３２２が表示されている。有効化の入力が受け付けられるまでは視線の方向制御が無効化されているため、図２４に示すように、端末２３２１が傾いても視線の方向は変更されない。そのため、視界の傾きもなく、視界画像２３２２は変化がない。
図２３に示すように、端末２３２１には視界画像２３２２が表示されている。有効化の入力が受け付けられるまでは視線の方向制御が無効化されているため、図２４に示すように、端末２３２１が傾いても視線の方向は変更されない。そのため、視界の傾きもなく、視界画像２３２２は変化がない。
【0188】
一方、有効化の入力を受け付けると、当該入力が受け付けられている間は、端末の動きに応じて行う視線の方向の制御が有効化される。図２５に示すように、端末２３２１の傾きが検出されると、プロセッサ２１０は、例えば仮想空間における視線の方向を、仮想視点を基点として端末２３２１の傾きと同じ傾き分だけ回転させる。そのため、端末２３２１には、視線の回転により視界が傾いた視界画像２５２１が表示される。
【0189】
以上のように、有効化の入力を受け付けている間、プロセッサ２１０は端末の動きに応じた視線の方向の制御を行うため、ユーザ５は簡単な操作で必要な間だけ端末の動きによって視界を変更することができる。有効化の入力がなければ、端末が動いても視線の方向は変わらないため、端末を誤って傾けてしまった場合等、ユーザ５が意図していないときにも視線の方向が変更されるわずらわしさを解消できる。
【0190】
上記実施形態においては、ＨＭＤによってユーザが没入する仮想空間（ＶＲ空間）を例示して説明したが、ＨＭＤとして、透過型のＨＭＤを採用してもよい。この場合、透過型のＨＭＤを介してユーザが視認する現実空間に仮想空間を構成する画像の一部を合成した視界画像を出力することにより、拡張現実（ＡＲ：Augmented Reality）空間または複合現実（ＭＲ：Mixed Reality）空間における仮想体験をユーザに提供してもよい。この場合、操作オブジェクトに代えて、ユーザの手の動きに基づいて、仮想空間内における対象オブジェクトへの作用を生じさせてもよい。具体的には、プロセッサは、現実空間におけるユーザの手の位置の座標情報を特定するとともに、仮想空間内における対象オブジェクトの位置を現実空間における座標情報との関係で定義してもよい。これにより、プロセッサは、現実空間におけるユーザの手と仮想空間における対象オブジェクトとの位置関係を把握し、ユーザの手と対象オブジェクトとの間で上述したコリジョン制御等に対応する処理を実行可能となる。その結果、ユーザの手の動きに基づいて対象オブジェクトに作用を与えることが可能となる。
【0191】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【0192】
［付記］
以上に開示された技術的特徴は、以下のように要約され得る。
以上に開示された技術的特徴は、以下のように要約され得る。
【0193】
（付記１）
ある実施形態によれば、コンピュータにより実行されるプログラムが提供される。前記プログラムは、仮想視点を含む仮想空間を定義するステップと、ヘッドマウントデバイスが関連付けられたユーザの頭部の動きを検出するステップと、前記ユーザの頭部の動きに応じて、前記仮想視点からの視線の方向を制御するステップと、前記ユーザが保持するコントローラの動きを検出するステップと、前記コントローラから、該コントローラの動きに応じた前記視線の方向の制御を有効化する入力を受け付けるステップと、前記有効化する入力が受け付けられている間、前記コントローラの動きに応じて、前記視線の方向を制御するステップと、前記視線の方向に応じて定まる視界に対応する視界画像を前記ヘッドマウントデバイスに表示するステップと、をコンピュータに実行させるためのプログラムである。
ある実施形態によれば、コンピュータにより実行されるプログラムが提供される。前記プログラムは、仮想視点を含む仮想空間を定義するステップと、ヘッドマウントデバイスが関連付けられたユーザの頭部の動きを検出するステップと、前記ユーザの頭部の動きに応じて、前記仮想視点からの視線の方向を制御するステップと、前記ユーザが保持するコントローラの動きを検出するステップと、前記コントローラから、該コントローラの動きに応じた前記視線の方向の制御を有効化する入力を受け付けるステップと、前記有効化する入力が受け付けられている間、前記コントローラの動きに応じて、前記視線の方向を制御するステップと、前記視線の方向に応じて定まる視界に対応する視界画像を前記ヘッドマウントデバイスに表示するステップと、をコンピュータに実行させるためのプログラムである。
【0194】
（付記２）
前記プログラムは、前記コントローラの動きに応じて前記視線の方向を制御するステップは、前記視線の方向を、前記コントローラの動きに応じて定まる方向に、前記コントローラの移動速度に関わらず一定の速度で変更する、（付記１）に記載のプログラムである。
前記プログラムは、前記コントローラの動きに応じて前記視線の方向を制御するステップは、前記視線の方向を、前記コントローラの動きに応じて定まる方向に、前記コントローラの移動速度に関わらず一定の速度で変更する、（付記１）に記載のプログラムである。
【0195】
（付記３）
前記プログラムは、前記コントローラの動きに応じて前記視線の方向を制御するステップは、前記視線を、前記仮想視点を基点として、前記コントローラの移動方向に応じて定まる回転方向に、前記コントローラの移動量に応じて定まる回転量分、前記コントローラの移動速度に関わらず一定の角速度で回転させる、（付記２）に記載のプログラムである。
前記プログラムは、前記コントローラの動きに応じて前記視線の方向を制御するステップは、前記視線を、前記仮想視点を基点として、前記コントローラの移動方向に応じて定まる回転方向に、前記コントローラの移動量に応じて定まる回転量分、前記コントローラの移動速度に関わらず一定の角速度で回転させる、（付記２）に記載のプログラムである。
【0196】
（付記４）
前記プログラムは、前記コントローラの動きに応じて前記視線の方向を制御するステップは、前記コントローラの移動速度が閾値未満の場合、前記視線を、前記仮想視点を基点として、前記コントローラの移動方向に応じて定まる回転方向に、前記コントローラの移動量に応じて定まる回転量分、前記移動速度に応じて定まる角速度で回転させ、前記コントローラの移動速度が閾値以上の場合、前記視線を、前記仮想視点を基点として、前記回転方向に前記回転量分、前記閾値に応じて定まる一定の角速度で回転させる、（付記１）に記載のプログラムである。
前記プログラムは、前記コントローラの動きに応じて前記視線の方向を制御するステップは、前記コントローラの移動速度が閾値未満の場合、前記視線を、前記仮想視点を基点として、前記コントローラの移動方向に応じて定まる回転方向に、前記コントローラの移動量に応じて定まる回転量分、前記移動速度に応じて定まる角速度で回転させ、前記コントローラの移動速度が閾値以上の場合、前記視線を、前記仮想視点を基点として、前記回転方向に前記回転量分、前記閾値に応じて定まる一定の角速度で回転させる、（付記１）に記載のプログラムである。
【0197】
（付記５）
前記プログラムは、前記コントローラの動きに応じて前記視線の方向を制御するステップは、前記視線を、前記仮想視点を基点として、前記コントローラの移動方向に応じて定まる回転方向に、前記コントローラの移動速度に応じて定まる角速度で回転させ、前記視界画像を前記ヘッドマウントデバイスに表示するステップは、前記視線を回転させている間、前記視線を回転させていない場合よりも視認性を低下させた視界画像を前記ヘッドマウントデバイスに表示する、（付記１）に記載のプログラムである。
前記プログラムは、前記コントローラの動きに応じて前記視線の方向を制御するステップは、前記視線を、前記仮想視点を基点として、前記コントローラの移動方向に応じて定まる回転方向に、前記コントローラの移動速度に応じて定まる角速度で回転させ、前記視界画像を前記ヘッドマウントデバイスに表示するステップは、前記視線を回転させている間、前記視線を回転させていない場合よりも視認性を低下させた視界画像を前記ヘッドマウントデバイスに表示する、（付記１）に記載のプログラムである。
【0198】
（付記６）
前記プログラムは、前記コントローラから、前記コントローラの移動量に基づいて前記視線の方向を制御する第１モード、及び前記コントローラの移動速度に基づいて前記視線の方向を制御する第２モードのいずれかを選択する入力を受け付けるステップを前記コンピュータに更に実行させ、前記コントローラの動きに応じて前記視線の方向を制御するステップは、前記第１モードが選択されている場合、前記コントローラの移動量に基づいて前記視線の方向を制御し、前記第２モードが選択されている場合、前記コントローラの移動速度に基づいて前記視線の方向を制御する、（付記１）～（付記５）のいずれか１項に記載のプログラムである。
前記プログラムは、前記コントローラから、前記コントローラの移動量に基づいて前記視線の方向を制御する第１モード、及び前記コントローラの移動速度に基づいて前記視線の方向を制御する第２モードのいずれかを選択する入力を受け付けるステップを前記コンピュータに更に実行させ、前記コントローラの動きに応じて前記視線の方向を制御するステップは、前記第１モードが選択されている場合、前記コントローラの移動量に基づいて前記視線の方向を制御し、前記第２モードが選択されている場合、前記コントローラの移動速度に基づいて前記視線の方向を制御する、（付記１）～（付記５）のいずれか１項に記載のプログラムである。
【0199】
（付記７）
前記プログラムは、前記有効化する入力の受け付けが開始されたことに応じて、前記頭部の動きに応じて前記視界を制御する第３モードを、前記コントローラの動きに応じて前記視界を制御する第４モードに切り替えるステップと、前記有効化する入力の受け付けが終了されたことに応じて、前記第４モードを前記第３モードに切り替えるステップと、を前記コンピュータに更に実行させ、前記第３モードでは、前記コントローラの動きに応じた前記視界の制御が無効化され、前記第４モードでは、前記頭部の動きに応じた前記視界の制御が無効化される、（付記１）～（付記６）のいずれかに記載のプログラムである。
前記プログラムは、前記有効化する入力の受け付けが開始されたことに応じて、前記頭部の動きに応じて前記視界を制御する第３モードを、前記コントローラの動きに応じて前記視界を制御する第４モードに切り替えるステップと、前記有効化する入力の受け付けが終了されたことに応じて、前記第４モードを前記第３モードに切り替えるステップと、を前記コンピュータに更に実行させ、前記第３モードでは、前記コントローラの動きに応じた前記視界の制御が無効化され、前記第４モードでは、前記頭部の動きに応じた前記視界の制御が無効化される、（付記１）～（付記６）のいずれかに記載のプログラムである。
【0200】
（付記８）
前記プログラムは、前記コントローラの動きに応じた前記視線の方向の制御に応じて、課金処理を行うステップを前記コンピュータに更に実行させるための、（付記１）～（付記７）のいずれかに記載のプログラムである。
前記プログラムは、前記コントローラの動きに応じた前記視線の方向の制御に応じて、課金処理を行うステップを前記コンピュータに更に実行させるための、（付記１）～（付記７）のいずれかに記載のプログラムである。
【0201】
（付記９）
ある実施形態によれば、コンピュータにより実行されるプログラムが提供される。前記プログラムは、仮想視点を含む仮想空間を定義するステップと、前記仮想空間において動画を再生するステップと、ユーザが保持するコントローラの動きを検出するステップと、前記コントローラから、該コントローラの動きに応じた前記動画の再生の制御を有効化する入力を受け付けるステップと、前記有効化する入力が受け付けられている間、前記コントローラの動きに応じて、前記動画の再生を制御するステップと、前記仮想視点からの視界に対応する視界画像を前記ユーザに関連付けられたヘッドマウントデバイスに表示するステップと、をコンピュータに実行させるためのプログラムである。
ある実施形態によれば、コンピュータにより実行されるプログラムが提供される。前記プログラムは、仮想視点を含む仮想空間を定義するステップと、前記仮想空間において動画を再生するステップと、ユーザが保持するコントローラの動きを検出するステップと、前記コントローラから、該コントローラの動きに応じた前記動画の再生の制御を有効化する入力を受け付けるステップと、前記有効化する入力が受け付けられている間、前記コントローラの動きに応じて、前記動画の再生を制御するステップと、前記仮想視点からの視界に対応する視界画像を前記ユーザに関連付けられたヘッドマウントデバイスに表示するステップと、をコンピュータに実行させるためのプログラムである。
【0202】
（付記１０）
ある実施形態によれば、コンピュータにより実行される方法が提供される。前記方法は、仮想視点を含む仮想空間を定義するステップと、ヘッドマウントデバイスが関連付けられたユーザの頭部の動きを検出するステップと、前記ユーザの頭部の動きに応じて、前記仮想視点からの視線の方向を制御するステップと、前記ユーザが保持するコントローラの動きを検出するステップと、前記コントローラから、該コントローラの動きに応じた前記視線の方向の制御を有効化する入力を受け付けるステップと、前記有効化する入力が受け付けられている間、前記コントローラの動きに応じて、前記視線の方向を制御するステップと、前記視線の方向に応じて定まる視界に対応する視界画像を前記ヘッドマウントデバイスに表示するステップと、を含む方法である。
ある実施形態によれば、コンピュータにより実行される方法が提供される。前記方法は、仮想視点を含む仮想空間を定義するステップと、ヘッドマウントデバイスが関連付けられたユーザの頭部の動きを検出するステップと、前記ユーザの頭部の動きに応じて、前記仮想視点からの視線の方向を制御するステップと、前記ユーザが保持するコントローラの動きを検出するステップと、前記コントローラから、該コントローラの動きに応じた前記視線の方向の制御を有効化する入力を受け付けるステップと、前記有効化する入力が受け付けられている間、前記コントローラの動きに応じて、前記視線の方向を制御するステップと、前記視線の方向に応じて定まる視界に対応する視界画像を前記ヘッドマウントデバイスに表示するステップと、を含む方法である。
【0203】
（付記１１）
ある実施形態によれば、情報処理装置が提供される。前記情報処理装置は、前記プログラムを記憶する記憶部と、前記プログラムを実行するコンピュータと、を備え、前記プログラムは、前記コンピュータに、仮想視点を含む仮想空間を定義するステップと、ヘッドマウントデバイスが関連付けられたユーザの頭部の動きを検出するステップと、前記ユーザの頭部の動きに応じて、前記仮想視点からの視線の方向を制御するステップと、前記ユーザが保持するコントローラの動きを検出するステップと、前記コントローラから、該コントローラの動きに応じた前記視線の方向の制御を有効化する入力を受け付けるステップと、前記有効化する入力が受け付けられている間、前記コントローラの動きに応じて、前記視線の方向を制御するステップと、前記視線の方向に応じて定まる視界に対応する視界画像を前記ヘッドマウントデバイスに表示するステップと、を実行させる情報処理装置である。
ある実施形態によれば、情報処理装置が提供される。前記情報処理装置は、前記プログラムを記憶する記憶部と、前記プログラムを実行するコンピュータと、を備え、前記プログラムは、前記コンピュータに、仮想視点を含む仮想空間を定義するステップと、ヘッドマウントデバイスが関連付けられたユーザの頭部の動きを検出するステップと、前記ユーザの頭部の動きに応じて、前記仮想視点からの視線の方向を制御するステップと、前記ユーザが保持するコントローラの動きを検出するステップと、前記コントローラから、該コントローラの動きに応じた前記視線の方向の制御を有効化する入力を受け付けるステップと、前記有効化する入力が受け付けられている間、前記コントローラの動きに応じて、前記視線の方向を制御するステップと、前記視線の方向に応じて定まる視界に対応する視界画像を前記ヘッドマウントデバイスに表示するステップと、を実行させる情報処理装置である。
【0204】
（付記１２）
ある実施形態によれば、コンピュータにより実行されるプログラムが提供される。プログラムは、仮想視点を含む仮想空間を定義するステップと、端末の動きを検出するステップと、前記端末の動きに応じた前記仮想視点からの視線の方向の制御を有効化する入力を受け付けるステップと、前記有効化する入力が受け付けられている間、前記端末の動きに応じて、前記仮想視点からの視線の方向を制御するステップと、前記視線の方向に応じて定まる視界に対応する視界画像を前記端末に表示するステップと、をコンピュータに実行させるためのプログラムである。
ある実施形態によれば、コンピュータにより実行されるプログラムが提供される。プログラムは、仮想視点を含む仮想空間を定義するステップと、端末の動きを検出するステップと、前記端末の動きに応じた前記仮想視点からの視線の方向の制御を有効化する入力を受け付けるステップと、前記有効化する入力が受け付けられている間、前記端末の動きに応じて、前記仮想視点からの視線の方向を制御するステップと、前記視線の方向に応じて定まる視界に対応する視界画像を前記端末に表示するステップと、をコンピュータに実行させるためのプログラムである。
【0205】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【0206】
２…ネットワーク、５…ユーザ、６…アバターオブジェクト、１１…仮想空間、１２…中心、１４…仮想カメラ、１５…視界領域、１００…ＨＭＤシステム、１１０…ＨＭＤセット、１３０…モニタ、１７０…マイク、１８０…スピーカ、１９０…センサ、２００…コンピュータ、２１０…プロセッサ、２２０…メモリ、２３０…ストレージ、２４０…入出力インターフェイス、２５０…通信インターフェイス、３００…コントローラ、３１０…グリップ、３２０…フレーム、３４０、３５０、３７０、３８０…ボタン、３９０…アナログスティック、４１０…ＨＭＤセンサ、４２０…モーションセンサ、４３０…ディスプレイ、５１０…コントロールモジュール、５２０…レンダリングモジュール、５３０…メモリモジュール、５４０…通信制御モジュール、６００…サーバ、６１０…プロセッサ、６２０…メモリ、６３０…ストレージ、６４０…入出力インターフェイス、６５０…通信インターフェイス、１４２１…仮想カメラ制御モジュール、１４２２…視界領域決定モジュール、１４２３…基準視線特定モジュール、１４２４…動き検出モジュール、１４２６…仮想空間定義モジュール、１４２７…仮想オブジェクト生成モジュール、１４２８…操作オブジェクト制御モジュール、１４２９…アバター制御モジュール、１４３８…視界画像生成モジュール。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8(A)】
【図8(B)】
【図9】
【図10】
【図11】
【図12(A)】
【図12(B)】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】