(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024044425
(43)【公開日】2024-04-02
(54)【発明の名称】プログラムおよび情報処理システム
(51)【国際特許分類】
G06T 19/00 20110101AFI20240326BHJP
G06F 3/0481 20220101ALI20240326BHJP
G06F 3/01 20060101ALI20240326BHJP
【ＦＩ】
G06T19/00 A
G06F3/0481
G06F3/01 510
【審査請求】有
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2022149931
(22)【出願日】2022-09-21
(71)【出願人】
【識別番号】509070463
【氏名又は名称】株式会社コロプラ
(74)【代理人】
【識別番号】100104547
【弁理士】
【氏名又は名称】栗林 三男
(74)【代理人】
【識別番号】100206612
【弁理士】
【氏名又は名称】新田 修博
(74)【代理人】
【識別番号】100209749
【弁理士】
【氏名又は名称】栗林 和輝
(74)【代理人】
【識別番号】100217755
【弁理士】
【氏名又は名称】三浦 淳史
(72)【発明者】
【氏名】山崎 聡士
【テーマコード（参考）】
5B050
5E555
【Ｆターム（参考）】
5B050AA10
5B050BA09
5B050CA07
5B050EA06
5B050EA07
5B050EA09
5B050FA02
5B050FA05
5E555AA64
5E555AA71
5E555AA76
5E555BA38
5E555BB38
5E555BC04
5E555BC08
5E555BD05
5E555CB69
5E555CB78
5E555CB81
5E555CB82
5E555DA08
5E555DB32
5E555DB53
5E555DC61
5E555DC84
5E555DD06
5E555EA05
5E555EA07
5E555FA00
(57)【要約】
【課題】サービスの興趣性を向上させる。
【解決手段】プログラムは、コンピュータを、仮想空間に存在する第１キャラクタを操作する第１ユーザに関連する現実世界の情報を取得する情報取得手段と、仮想空間に存在する第２キャラクタを操作する第２ユーザにおける第１キャラクタの表示態様が、第１ユーザに関連する現実世界の情報を反映したものとなるように、当該情報に応じて第１キャラクタの表示態様を変化させる変化手段と、として機能させる。
【選択図】図１６
【解決手段】プログラムは、コンピュータを、仮想空間に存在する第１キャラクタを操作する第１ユーザに関連する現実世界の情報を取得する情報取得手段と、仮想空間に存在する第２キャラクタを操作する第２ユーザにおける第１キャラクタの表示態様が、第１ユーザに関連する現実世界の情報を反映したものとなるように、当該情報に応じて第１キャラクタの表示態様を変化させる変化手段と、として機能させる。
【選択図】図１６
【特許請求の範囲】
【請求項1】
コンピュータを、
仮想空間に存在する第１キャラクタを操作する第１ユーザに関連する現実世界の情報を取得する情報取得手段と、
前記仮想空間に存在する第２キャラクタを操作する第２ユーザにおける前記第１キャラクタの表示態様が、前記第１ユーザに関連する前記現実世界の情報を反映したものとなるように、当該情報に応じて前記第１キャラクタの表示態様を変化させる変化手段と、として機能させる
プログラム。
仮想空間に存在する第１キャラクタを操作する第１ユーザに関連する現実世界の情報を取得する情報取得手段と、
前記仮想空間に存在する第２キャラクタを操作する第２ユーザにおける前記第１キャラクタの表示態様が、前記第１ユーザに関連する前記現実世界の情報を反映したものとなるように、当該情報に応じて前記第１キャラクタの表示態様を変化させる変化手段と、として機能させる
プログラム。
【請求項2】
前記第１ユーザに関連する前記現実世界の情報は、前記第１ユーザの位置情報に基づく情報である
請求項１に記載のプログラム。
請求項１に記載のプログラム。
【請求項3】
前記第１ユーザに関連する前記現実世界の情報は、前記第１ユーザの位置情報に基づく前記現実世界の環境に関する情報である
請求項２に記載のプログラム。
請求項２に記載のプログラム。
【請求項4】
前記第１ユーザに関連する前記現実世界の情報は、前記第１ユーザの位置情報に基づく気象情報である
請求項２に記載のプログラム。
請求項２に記載のプログラム。
【請求項5】
前記第１ユーザに関連する前記現実世界の情報は、前記第１ユーザの生体情報、または当該生体情報に基づいて得られる情報である
請求項１に記載のプログラム。
請求項１に記載のプログラム。
【請求項6】
前記変化手段は、前記第１キャラクタの表示態様を、前記第１キャラクタに前記第１ユーザに関連する前記現実世界の情報に応じたオブジェクトが付加された表示態様に設定可能な
請求項１～５のいずれか１項に記載のプログラム。
請求項１～５のいずれか１項に記載のプログラム。
【請求項7】
仮想空間に存在する第１キャラクタを操作する第１ユーザに関連する現実世界の情報を取得する情報取得手段と、
前記仮想空間に存在する第２キャラクタを操作する第２ユーザにおける前記第１キャラクタの表示態様が、前記第１ユーザに関連する前記現実世界の情報を反映したものとなるように、当該情報に応じて前記第１キャラクタの表示態様を変化させる変化手段と、を備える
情報処理システム。
前記仮想空間に存在する第２キャラクタを操作する第２ユーザにおける前記第１キャラクタの表示態様が、前記第１ユーザに関連する前記現実世界の情報を反映したものとなるように、当該情報に応じて前記第１キャラクタの表示態様を変化させる変化手段と、を備える
情報処理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、プログラムおよび情報処理システムに関する。
【背景技術】
【0002】
従来より、仮想空間内で他のユーザと交流が可能なサービス（例えば、ゲーム等）が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２１－１１４０３６号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、このようなサービスにおいては、興趣性を向上させることが求められていた。
【0005】
本発明は、前記事情に鑑みてなされたものであり、サービスの興趣性を向上させることを目的とする。
【課題を解決するための手段】
【0006】
本開示に示す一実施形態によれば、
コンピュータを、
仮想空間に存在する第１キャラクタを操作する第１ユーザに関連する現実世界の情報を取得する情報取得手段と、
前記仮想空間に存在する第２キャラクタを操作する第２ユーザにおける前記第１キャラクタの表示態様が、前記第１ユーザに関連する前記現実世界の情報を反映したものとなるように、当該情報に応じて前記第１キャラクタの表示態様を変化させる変化手段と、として機能させる
プログラムが提供される。
コンピュータを、
仮想空間に存在する第１キャラクタを操作する第１ユーザに関連する現実世界の情報を取得する情報取得手段と、
前記仮想空間に存在する第２キャラクタを操作する第２ユーザにおける前記第１キャラクタの表示態様が、前記第１ユーザに関連する前記現実世界の情報を反映したものとなるように、当該情報に応じて前記第１キャラクタの表示態様を変化させる変化手段と、として機能させる
プログラムが提供される。
【発明の効果】
【0007】
本発明によれば、サービスの興趣性を向上させることができる。
【図面の簡単な説明】
【0008】
【図1】ある実施の形態に従うＨＭＤシステムの構成の概略を表す図である。
【図2】ある実施の形態に従うコンピュータのハードウェア構成の一例を表すブロック図である。
【図3】ある実施の形態に従うＨＭＤに設定されるｕｖｗ視野座標系を概念的に表す図である。
【図4】ある実施の形態に従う仮想空間を表現する一態様を概念的に表す図である。
【図5】ある実施の形態に従うＨＭＤを装着するユーザの頭部を上から表した図である。
【図6】仮想空間において視界領域をＸ方向から見たＹＺ断面を表す図である。
【図7】仮想空間において視界領域をＹ方向から見たＸＺ断面を表す図である。
【図8(A)】ある実施の形態に従うコントローラの概略構成を表す図である。
【図8(B)】ある実施の形態に従うユーザの右手に対して規定されるヨー、ロール、ピッチの各方向の一例を示す図である。
【図9】ある実施の形態に従うサーバのハードウェア構成の一例を表すブロック図である。
【図10】ある実施の形態に従うコンピュータをモジュール構成として表すブロック図である。
【図11】ある実施の形態に従うＨＭＤセットにおいて実行される処理を示すシーケンスチャートである。
【図12(A)】ネットワークにおいて、各ＨＭＤがユーザに仮想空間を提供する状況を表す模式図である。
【図13】ある実施の形態に従うＨＭＤシステムにおいて実行される処理を示すシーケンスチャートである。
【図14】ある実施の形態に従うコンピュータのモジュールの詳細構成を表すブロック図である。
【図15】ある実施の形態に従うサーバをモジュール構成として表すブロック図である。
【図16】ある実施の形態に従うアバターオブジェクトの表示態様の一例を表す図である。
【図17】ある実施の形態に従うＨＭＤシステムにおいて実行される処理を示すシーケンスチャートである。
【発明を実施するための形態】
【0009】
以下、この技術的思想の実施の形態について図面を参照しながら詳細に説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。本開示において示される１以上の実施形態において、各実施形態が含む要素を互いに組み合わせることができ、かつ、当該組み合わせられた結果物も本開示が示す実施形態の一部をなすものとする。
【0010】
［ＨＭＤシステムの構成］
図１を参照して、ＨＭＤ（Head-Mounted Device）システム１００の構成について説明する。図１は、本実施の形態に従うＨＭＤシステム１００の構成の概略を表す図である。ＨＭＤシステム１００は、家庭用のシステムとしてあるいは業務用のシステムとして提供される。ＨＭＤシステム１００は、ユーザに所定のサービスを提供する。
図１を参照して、ＨＭＤ（Head-Mounted Device）システム１００の構成について説明する。図１は、本実施の形態に従うＨＭＤシステム１００の構成の概略を表す図である。ＨＭＤシステム１００は、家庭用のシステムとしてあるいは業務用のシステムとして提供される。ＨＭＤシステム１００は、ユーザに所定のサービスを提供する。
【0011】
ＨＭＤシステム１００は、サーバ６００と、ＨＭＤセット１１０Ａ，１１０Ｂ，１１０Ｃ，１１０Ｄと、外部機器７００と、ネットワーク２とを含む。ＨＭＤセット１１０Ａ，１１０Ｂ，１１０Ｃ，１１０Ｄの各々は、ネットワーク２を介してサーバ６００や外部機器７００と通信可能に構成される。以下、ＨＭＤセット１１０Ａ，１１０Ｂ，１１０Ｃ，１１０Ｄを総称して、ＨＭＤセット１１０とも言う。ＨＭＤシステム１００を構成するＨＭＤセット１１０の数は、４つに限られず、３つ以下でも、５つ以上でもよい。ＨＭＤセット１１０は、ＨＭＤ１２０と、コンピュータ２００と、ＨＭＤセンサ４１０と、ディスプレイ４３０と、コントローラ３００とを備える。ＨＭＤ１２０は、モニタ１３０と、注視センサ１４０と、第１カメラ１５０と、第２カメラ１６０と、マイク１７０と、スピーカ１８０とを含む。コントローラ３００は、モーションセンサ４２０を含み得る。
【0012】
ある局面において、コンピュータ２００は、インターネットその他のネットワーク２に接続可能であり、ネットワーク２に接続されているサーバ６００その他のコンピュータと通信可能である。その他のコンピュータとしては、例えば、他のＨＭＤセット１１０のコンピュータや外部機器７００が挙げられる。別の局面において、ＨＭＤ１２０は、ＨＭＤセンサ４１０の代わりに、センサ１９０を含み得る。
【0013】
ＨＭＤ１２０は、ユーザ５の頭部に装着され、動作中に仮想空間をユーザ５に提供し得る。より具体的には、ＨＭＤ１２０は、右目用の画像および左目用の画像をモニタ１３０にそれぞれ表示する。ユーザ５の各目がそれぞれの画像を視認すると、ユーザ５は、両目の視差に基づき当該画像を３次元画像として認識し得る。ＨＭＤ１２０は、モニタを備える所謂ヘッドマウントディスプレイと、スマートフォンその他のモニタを有する端末を装着可能なヘッドマウント機器のいずれをも含み得る。
【0014】
モニタ１３０は、例えば、非透過型の表示装置として実現される。ある局面において、モニタ１３０は、ユーザ５の両目の前方に位置するようにＨＭＤ１２０の本体に配置されている。したがって、ユーザ５は、モニタ１３０に表示される３次元画像を視認すると、仮想空間に没入することができる。ある局面において、仮想空間は、例えば、背景、ユーザ５が操作可能なオブジェクト、ユーザ５が選択可能なメニューの画像を含む。ある局面において、モニタ１３０は、所謂スマートフォンその他の情報表示端末が備える液晶モニタまたは有機ＥＬ（Electro Luminescence）モニタとして実現され得る。
【0015】
別の局面において、モニタ１３０は、透過型の表示装置として実現され得る。この場合、ＨＭＤ１２０は、図１に示されるようにユーザ５の目を覆う密閉型ではなく、メガネ型のような開放型であり得る。透過型のモニタ１３０は、その透過率を調整することにより、一時的に非透過型の表示装置として構成可能であってもよい。モニタ１３０は、仮想空間を構成する画像の一部と、現実空間とを同時に表示する構成を含んでいてもよい。例えば、モニタ１３０は、ＨＭＤ１２０に搭載されたカメラで撮影した現実空間の画像を表示してもよいし、一部の透過率を高く設定することにより現実空間を視認可能にしてもよい。
【0016】
ある局面において、モニタ１３０は、右目用の画像を表示するためのサブモニタと、左目用の画像を表示するためのサブモニタとを含み得る。別の局面において、モニタ１３０は、右目用の画像と左目用の画像とを一体として表示する構成であってもよい。この場合、モニタ１３０は、高速シャッタを含む。高速シャッタは、画像がいずれか一方の目にのみ認識されるように、右目用の画像と左目用の画像とを交互に表示可能に作動する。
【0017】
ある局面において、ＨＭＤ１２０は、図示せぬ複数の光源を含む。各光源は例えば、赤外線を発するＬＥＤ（Light Emitting Diode）により実現される。ＨＭＤセンサ４１０は、ＨＭＤ１２０の動きを検出するためのポジショントラッキング機能を有する。より具体的には、ＨＭＤセンサ４１０は、ＨＭＤ１２０が発する複数の赤外線を読み取り、現実空間内におけるＨＭＤ１２０の位置および傾きを検出する。
【0018】
別の局面において、ＨＭＤセンサ４１０は、カメラにより実現されてもよい。この場合、ＨＭＤセンサ４１０は、カメラから出力されるＨＭＤ１２０の画像情報を用いて、画像解析処理を実行することにより、ＨＭＤ１２０の位置および傾きを検出することができる。
【0019】
別の局面において、ＨＭＤ１２０は、位置検出器として、ＨＭＤセンサ４１０の代わりに、あるいはＨＭＤセンサ４１０に加えてセンサ１９０を備えてもよい。ＨＭＤ１２０は、センサ１９０を用いて、ＨＭＤ１２０自身の位置および傾きを検出し得る。例えば、センサ１９０が角速度センサ、地磁気センサ、あるいは加速度センサである場合、ＨＭＤ１２０は、ＨＭＤセンサ４１０の代わりに、これらの各センサのいずれかを用いて、自身の位置および傾きを検出し得る。一例として、センサ１９０が角速度センサである場合、角速度センサは、現実空間におけるＨＭＤ１２０の３軸周りの角速度を経時的に検出する。ＨＭＤ１２０は、各角速度に基づいて、ＨＭＤ１２０の３軸周りの角度の時間的変化を算出し、さらに、角度の時間的変化に基づいて、ＨＭＤ１２０の傾きを算出する。
【0020】
注視センサ１４０は、ユーザ５の右目および左目の視線が向けられる方向を検出する。つまり、注視センサ１４０は、ユーザ５の視線を検出する。視線の方向の検出は、例えば、公知のアイトラッキング機能によって実現される。注視センサ１４０は、当該アイトラッキング機能を有するセンサにより実現される。ある局面において、注視センサ１４０は、右目用のセンサおよび左目用のセンサを含むことが好ましい。注視センサ１４０は、例えば、ユーザ５の右目および左目に赤外光を照射するとともに、照射光に対する角膜および虹彩からの反射光を受けることにより各眼球の回転角を検出するセンサであってもよい。注視センサ１４０は、検出した各回転角に基づいて、ユーザ５の視線を検知することができる。
【0021】
第１カメラ１５０は、ユーザ５の顔の下部を撮影する。より具体的には、第１カメラ１５０は、ユーザ５の鼻および口などを撮影する。第２カメラ１６０は、ユーザ５の目および眉などを撮影する。ＨＭＤ１２０のユーザ５側の筐体をＨＭＤ１２０の内側、ＨＭＤ１２０のユーザ５とは逆側の筐体をＨＭＤ１２０の外側と定義する。ある局面において、第１カメラ１５０は、ＨＭＤ１２０の外側に配置され、第２カメラ１６０は、ＨＭＤ１２０の内側に配置され得る。第１カメラ１５０および第２カメラ１６０が生成した画像は、コンピュータ２００に入力される。別の局面において、第１カメラ１５０と第２カメラ１６０とを１台のカメラとして実現し、この１台のカメラでユーザ５の顔を撮影するようにしてもよい。
【0022】
マイク１７０は、ユーザ５の発話を音声信号（電気信号）に変換してコンピュータ２００に出力する。スピーカ１８０は、音声信号を音声に変換してユーザ５に出力する。別の局面において、ＨＭＤ１２０は、スピーカ１８０に替えてイヤホンを含み得る。
【0023】
コントローラ３００は、有線または無線によりコンピュータ２００に接続されている。コントローラ３００は、ユーザ５からコンピュータ２００への命令の入力を受け付ける。ある局面において、コントローラ３００は、ユーザ５によって把持可能に構成される。別の局面において、コントローラ３００は、ユーザ５の身体あるいは衣類の一部に装着可能に構成される。さらに別の局面において、コントローラ３００は、コンピュータ２００から送信される信号に基づいて、振動、音、光のうちの少なくともいずれかを出力するように構成されてもよい。さらに別の局面において、コントローラ３００は、ユーザ５から、仮想空間に配置されるオブジェクトの位置や動きを制御するための操作を受け付ける。
【0024】
ある局面において、コントローラ３００は、複数の光源を含む。各光源は例えば、赤外線を発するＬＥＤにより実現される。ＨＭＤセンサ４１０は、ポジショントラッキング機能を有する。この場合、ＨＭＤセンサ４１０は、コントローラ３００が発する複数の赤外線を読み取り、現実空間内におけるコントローラ３００の位置および傾きを検出する。別の局面において、ＨＭＤセンサ４１０は、カメラにより実現されてもよい。この場合、ＨＭＤセンサ４１０は、カメラから出力されるコントローラ３００の画像情報を用いて、画像解析処理を実行することにより、コントローラ３００の位置および傾きを検出することができる。
【0025】
モーションセンサ４２０は、ある局面において、ユーザ５の手に取り付けられて、ユーザ５の手の動きを検出する。例えば、モーションセンサ４２０は、手の回転速度、回転数等を検出する。検出された信号は、コンピュータ２００に送られる。モーションセンサ４２０は、例えば、コントローラ３００に設けられている。ある局面において、モーションセンサ４２０は、例えば、ユーザ５に把持可能に構成されたコントローラ３００に設けられている。別の局面において、現実空間における安全のため、コントローラ３００は、手袋型のようにユーザ５の手に装着されることにより容易に飛んで行かないものに装着される。さらに別の局面において、ユーザ５に装着されないセンサがユーザ５の手の動きを検出してもよい。例えば、ユーザ５を撮影するカメラの信号が、ユーザ５の動作を表す信号として、コンピュータ２００に入力されてもよい。モーションセンサ４２０とコンピュータ２００とは、一例として、無線により互いに接続される。無線の場合、通信形態は特に限られず、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）その他の公知の通信手法が用いられる。
【0026】
ディスプレイ４３０は、モニタ１３０に表示されている画像と同様の画像を表示する。これにより、ＨＭＤ１２０を装着しているユーザ５以外のユーザにも当該ユーザ５と同様の画像を視聴させることができる。ディスプレイ４３０に表示される画像は、３次元画像である必要はなく、右目用の画像や左目用の画像であってもよい。ディスプレイ４３０としては、例えば、液晶ディスプレイや有機ＥＬモニタなどが挙げられる。
【0027】
サーバ６００は、コンピュータ２００にプログラムを送信し得る。別の局面において、サーバ６００は、他のユーザによって使用されるＨＭＤ１２０に仮想現実を提供するための他のコンピュータ２００と通信し得る。例えば、アミューズメント施設において、複数のユーザが参加型のゲームを行う場合、各コンピュータ２００は、各ユーザの動作に基づく信号をサーバ６００を介して他のコンピュータ２００と通信して、同じ仮想空間において複数のユーザが共通のゲームを楽しむことを可能にする。各コンピュータ２００は、各ユーザの動作に基づく信号をサーバ６００を介さずに他のコンピュータ２００と通信するようにしてもよい。
【0028】
外部機器７００は、コンピュータ２００と通信可能な機器であればどのような機器であってもよい。外部機器７００は、例えば、ネットワーク２を介してコンピュータ２００と通信可能な機器であってもよいし、近距離無線通信や有線接続によりコンピュータ２００と直接通信可能な機器であってもよい。また、外部機器７００は、例えば、ネットワーク２を介してサーバ６００と通信可能な機器であってもよい。外部機器７００としては、例えば、スマートデバイス、ＰＣ（Personal Computer）、およびコンピュータ２００の周辺機器などが挙げられるが、これらに限定されるものではない。
【0029】
［コンピュータのハードウェア構成］
図２を参照して、本実施の形態に係るコンピュータ２００について説明する。図２は、本実施の形態に従うコンピュータ２００のハードウェア構成の一例を表すブロック図である。コンピュータ２００は、主たる構成要素として、プロセッサ２１０と、メモリ２２０と、ストレージ２３０と、入出力インターフェイス２４０と、通信インターフェイス２５０とを備える。各構成要素は、それぞれ、バス２６０に接続されている。
図２を参照して、本実施の形態に係るコンピュータ２００について説明する。図２は、本実施の形態に従うコンピュータ２００のハードウェア構成の一例を表すブロック図である。コンピュータ２００は、主たる構成要素として、プロセッサ２１０と、メモリ２２０と、ストレージ２３０と、入出力インターフェイス２４０と、通信インターフェイス２５０とを備える。各構成要素は、それぞれ、バス２６０に接続されている。
【0030】
プロセッサ２１０は、コンピュータ２００に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ２２０またはストレージ２３０に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ２１０は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＭＰＵ（Micro Processor Unit）、ＦＰＧＡ（Field-Programmable Gate Array）その他のデバイスとして実現される。
【0031】
メモリ２２０は、プログラムおよびデータを一時的に保存する。プログラムは、例えば、ストレージ２３０からロードされる。データは、コンピュータ２００に入力されたデータと、プロセッサ２１０によって生成されたデータとを含む。ある局面において、メモリ２２０は、ＲＡＭ（Random Access Memory）その他の揮発メモリとして実現される。
【0032】
ストレージ２３０は、プログラムおよびデータを永続的に保持する。ストレージ２３０は、例えば、ＲＯＭ（Read-Only Memory）、ハードディスク装置、フラッシュメモリ、その他の不揮発記憶装置として実現される。ストレージ２３０に格納されるプログラムは、ＨＭＤシステム１００において仮想空間を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、他のコンピュータ２００との通信を実現するためのプログラムを含む。ストレージ２３０に格納されるデータは、仮想空間を規定するためのデータおよびオブジェクト等を含む。
【0033】
別の局面において、ストレージ２３０は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに別の局面において、コンピュータ２００に内蔵されたストレージ２３０の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。このような構成によれば、例えば、アミューズメント施設のように複数のＨＭＤシステム１００が使用される場面において、プログラムやデータの更新を一括して行うことが可能になる。
【0034】
入出力インターフェイス２４０は、ＨＭＤ１２０、ＨＭＤセンサ４１０、モーションセンサ４２０およびディスプレイ４３０との間で信号を通信する。ＨＭＤ１２０に含まれるモニタ１３０，注視センサ１４０，第１カメラ１５０，第２カメラ１６０，マイク１７０およびスピーカ１８０は、ＨＭＤ１２０の入出力インターフェイス２４０を介してコンピュータ２００との通信を行ない得る。ある局面において、入出力インターフェイス２４０は、ＵＳＢ（Universal Serial Bus）、ＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）その他の端子を用いて実現される。入出力インターフェイス２４０は上述のものに限られない。
【0035】
ある局面において、入出力インターフェイス２４０は、さらに、コントローラ３００と通信し得る。例えば、入出力インターフェイス２４０は、コントローラ３００およびモーションセンサ４２０から出力された信号の入力を受ける。別の局面において、入出力インターフェイス２４０は、プロセッサ２１０から出力された命令を、コントローラ３００に送る。当該命令は、振動、音声出力、発光等をコントローラ３００に指示する。コントローラ３００は、当該命令を受信すると、その命令に応じて、振動、音声出力または発光のいずれかを実行する。
【0036】
通信インターフェイス２５０は、ネットワーク２に接続されて、ネットワーク２に接続されている他のコンピュータ（例えば、サーバ６００）と通信する。ある局面において、通信インターフェイス２５０は、例えば、ＬＡＮ（Local Area Network）その他の有線通信インターフェイス、あるいは、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）その他の無線通信インターフェイスとして実現される。通信インターフェイス２５０は上述のものに限られない。
【0037】
ある局面において、プロセッサ２１０は、ストレージ２３０にアクセスし、ストレージ２３０に格納されている１つ以上のプログラムをメモリ２２０にロードし、当該プログラムに含まれる一連の命令を実行する。当該１つ以上のプログラムは、コンピュータ２００のオペレーティングシステム、仮想空間を提供するためのアプリケーションプログラム、仮想空間で実行可能なゲームソフトウェア等を含み得る。プロセッサ２１０は、入出力インターフェイス２４０を介して、仮想空間を提供するための信号をＨＭＤ１２０に送る。ＨＭＤ１２０は、その信号に基づいてモニタ１３０に映像を表示する。
【0038】
図２に示される例では、コンピュータ２００は、ＨＭＤ１２０の外部に設けられる構成が示されているが、別の局面において、コンピュータ２００は、ＨＭＤ１２０に内蔵されてもよい。一例として、モニタ１３０を含む携帯型の情報通信端末（例えば、スマートフォン）がコンピュータ２００として機能してもよい。
【0039】
コンピュータ２００は、複数のＨＭＤ１２０に共通して用いられる構成であってもよい。このような構成によれば、例えば、複数のユーザに同一の仮想空間を提供することもできるので、各ユーザは同一の仮想空間で他のユーザと同一のアプリケーションを楽しむことができる。
【0040】
ある実施の形態において、ＨＭＤシステム１００では、現実空間における座標系である実座標系が予め設定されている。実座標系は、現実空間における鉛直方向、鉛直方向に直交する水平方向、並びに、鉛直方向および水平方向の双方に直交する前後方向にそれぞれ平行な、３つの基準方向（軸）を有する。実座標系における水平方向、鉛直方向（上下方向）、および前後方向は、それぞれ、ｘ軸、ｙ軸、ｚ軸と規定される。より具体的には、実座標系において、ｘ軸は現実空間の水平方向に平行である。ｙ軸は、現実空間の鉛直方向に平行である。ｚ軸は現実空間の前後方向に平行である。
【0041】
ある局面において、ＨＭＤセンサ４１０は、赤外線センサを含む。赤外線センサが、ＨＭＤ１２０の各光源から発せられた赤外線をそれぞれ検出すると、ＨＭＤ１２０の存在を検出する。ＨＭＤセンサ４１０は、さらに、各点の値（実座標系における各座標値）に基づいて、ＨＭＤ１２０を装着したユーザ５の動きに応じた、現実空間内におけるＨＭＤ１２０の位置および傾き（向き）を検出する。より詳しくは、ＨＭＤセンサ４１０は、経時的に検出された各値を用いて、ＨＭＤ１２０の位置および傾きの時間的変化を検出できる。
【0042】
ＨＭＤセンサ４１０によって検出されたＨＭＤ１２０の各傾きは、実座標系におけるＨＭＤ１２０の３軸周りの各傾きに相当する。ＨＭＤセンサ４１０は、実座標系におけるＨＭＤ１２０の傾きに基づき、ｕｖｗ視野座標系をＨＭＤ１２０に設定する。ＨＭＤ１２０に設定されるｕｖｗ視野座標系は、ＨＭＤ１２０を装着したユーザ５が仮想空間において物体を見る際の視点座標系に対応する。
【0043】
［ｕｖｗ視野座標系］
図３を参照して、ｕｖｗ視野座標系について説明する。図３は、ある実施の形態に従うＨＭＤ１２０に設定されるｕｖｗ視野座標系を概念的に表す図である。ＨＭＤセンサ４１０は、ＨＭＤ１２０の起動時に、実座標系におけるＨＭＤ１２０の位置および傾きを検出する。プロセッサ２１０は、検出された値に基づいて、ｕｖｗ視野座標系をＨＭＤ１２０に設定する。
図３を参照して、ｕｖｗ視野座標系について説明する。図３は、ある実施の形態に従うＨＭＤ１２０に設定されるｕｖｗ視野座標系を概念的に表す図である。ＨＭＤセンサ４１０は、ＨＭＤ１２０の起動時に、実座標系におけるＨＭＤ１２０の位置および傾きを検出する。プロセッサ２１０は、検出された値に基づいて、ｕｖｗ視野座標系をＨＭＤ１２０に設定する。
【0044】
図３に示されるように、ＨＭＤ１２０は、ＨＭＤ１２０を装着したユーザ５の頭部を中心（原点）とした３次元のｕｖｗ視野座標系を設定する。より具体的には、ＨＭＤ１２０は、実座標系を規定する水平方向、鉛直方向、および前後方向（ｘ軸、ｙ軸、ｚ軸）を、実座標系内においてＨＭＤ１２０の各軸周りの傾きだけ各軸周りにそれぞれ傾けることによって新たに得られる３つの方向を、ＨＭＤ１２０におけるｕｖｗ視野座標系のピッチ軸（ｕ軸）、ヨー軸（ｖ軸）、およびロール軸（ｗ軸）として設定する。
【0045】
ある局面において、ＨＭＤ１２０を装着したユーザ５が直立し、かつ、正面を視認している場合、プロセッサ２１０は、実座標系に平行なｕｖｗ視野座標系をＨＭＤ１２０に設定する。この場合、実座標系における水平方向（ｘ軸）、鉛直方向（ｙ軸）、および前後方向（ｚ軸）は、ＨＭＤ１２０におけるｕｖｗ視野座標系のピッチ軸（ｕ軸）、ヨー軸（ｖ軸）、およびロール軸（ｗ軸）に一致する。
【0046】
ｕｖｗ視野座標系がＨＭＤ１２０に設定された後、ＨＭＤセンサ４１０は、ＨＭＤ１２０の動きに基づいて、設定されたｕｖｗ視野座標系におけるＨＭＤ１２０の傾きを検出できる。この場合、ＨＭＤセンサ４１０は、ＨＭＤ１２０の傾きとして、ｕｖｗ視野座標系におけるＨＭＤ１２０のピッチ角（θｕ）、ヨー角（θｖ）、およびロール角（θｗ）をそれぞれ検出する。ピッチ角（θｕ）は、ｕｖｗ視野座標系におけるピッチ軸周りのＨＭＤ１２０の傾き角度を表す。ヨー角（θｖ）は、ｕｖｗ視野座標系におけるヨー軸周りのＨＭＤ１２０の傾き角度を表す。ロール角（θｗ）は、ｕｖｗ視野座標系におけるロール軸周りのＨＭＤ１２０の傾き角度を表す。
【0047】
ＨＭＤセンサ４１０は、検出されたＨＭＤ１２０の傾きに基づいて、ＨＭＤ１２０が動いた後のＨＭＤ１２０におけるｕｖｗ視野座標系を、ＨＭＤ１２０に設定する。ＨＭＤ１２０と、ＨＭＤ１２０のｕｖｗ視野座標系との関係は、ＨＭＤ１２０の位置および傾きに関わらず、常に一定である。ＨＭＤ１２０の位置および傾きが変わると、当該位置および傾きの変化に連動して、実座標系におけるＨＭＤ１２０のｕｖｗ視野座標系の位置および傾きが変化する。
【0048】
ある局面において、ＨＭＤセンサ４１０は、赤外線センサからの出力に基づいて取得される赤外線の光強度および複数の点間の相対的な位置関係（例えば、各点間の距離など）に基づいて、ＨＭＤ１２０の現実空間内における位置を、ＨＭＤセンサ４１０に対する相対位置として特定してもよい。プロセッサ２１０は、特定された相対位置に基づいて、現実空間内（実座標系）におけるＨＭＤ１２０のｕｖｗ視野座標系の原点を決定してもよい。
【0049】
［仮想空間］
図４を参照して、仮想空間についてさらに説明する。図４は、ある実施の形態に従う仮想空間１１を表現する一態様を概念的に表す図である。仮想空間１１は、中心１２の３６０度方向の全体を覆う全天球状の構造を有する。図４では、説明を複雑にしないために、仮想空間１１のうちの上半分の天球が例示されている。仮想空間１１では各メッシュが規定される。各メッシュの位置は、仮想空間１１に規定されるグローバル座標系であるＸＹＺ座標系における座標値として予め規定されている。コンピュータ２００は、仮想空間１１に展開可能なパノラマ画像１３（静止画、動画等）を構成する各部分画像を、仮想空間１１において対応する各メッシュにそれぞれ対応付ける。
図４を参照して、仮想空間についてさらに説明する。図４は、ある実施の形態に従う仮想空間１１を表現する一態様を概念的に表す図である。仮想空間１１は、中心１２の３６０度方向の全体を覆う全天球状の構造を有する。図４では、説明を複雑にしないために、仮想空間１１のうちの上半分の天球が例示されている。仮想空間１１では各メッシュが規定される。各メッシュの位置は、仮想空間１１に規定されるグローバル座標系であるＸＹＺ座標系における座標値として予め規定されている。コンピュータ２００は、仮想空間１１に展開可能なパノラマ画像１３（静止画、動画等）を構成する各部分画像を、仮想空間１１において対応する各メッシュにそれぞれ対応付ける。
【0050】
ある局面において、仮想空間１１では、中心１２を原点とするＸＹＺ座標系が規定される。ＸＹＺ座標系は、例えば、実座標系に平行である。ＸＹＺ座標系における水平方向、鉛直方向（上下方向）、および前後方向は、それぞれＸ軸、Ｙ軸、Ｚ軸として規定される。したがって、ＸＹＺ座標系のＸ軸（水平方向）が実座標系のｘ軸と平行であり、ＸＹＺ座標系のＹ軸（鉛直方向）が実座標系のｙ軸と平行であり、ＸＹＺ座標系のＺ軸（前後方向）が実座標系のｚ軸と平行である。
【0051】
ＨＭＤ１２０の起動時、すなわちＨＭＤ１２０の初期状態において、仮想カメラ１４が、仮想空間１１の中心１２に配置される。ある局面において、プロセッサ２１０は、仮想カメラ１４が撮影する画像をＨＭＤ１２０のモニタ１３０に表示する。仮想カメラ１４は、現実空間におけるＨＭＤ１２０の動きに連動して、仮想空間１１を同様に移動する。これにより、現実空間におけるＨＭＤ１２０の位置および傾きの変化が、仮想空間１１において同様に再現され得る。
【0052】
仮想カメラ１４には、ＨＭＤ１２０の場合と同様に、ｕｖｗ視野座標系が規定される。仮想空間１１における仮想カメラ１４のｕｖｗ視野座標系は、現実空間（実座標系）におけるＨＭＤ１２０のｕｖｗ視野座標系に連動するように規定されている。したがって、ＨＭＤ１２０の傾きが変化すると、それに応じて、仮想カメラ１４の傾きも変化する。仮想カメラ１４は、ＨＭＤ１２０を装着したユーザ５の現実空間における移動に連動して、仮想空間１１において移動することもできる。
【0053】
コンピュータ２００のプロセッサ２１０は、仮想カメラ１４の位置と傾き（基準視線１６）とに基づいて、仮想空間１１における視界領域１５を規定する。視界領域１５は、仮想空間１１のうち、ＨＭＤ１２０を装着したユーザ５が視認する領域に対応する。つまり、仮想カメラ１４の位置は、仮想空間１１におけるユーザ５の視点と言える。
【0054】
注視センサ１４０によって検出されるユーザ５の視線は、ユーザ５が物体を視認する際の視点座標系における方向である。ＨＭＤ１２０のｕｖｗ視野座標系は、ユーザ５がモニタ１３０を視認する際の視点座標系に等しい。仮想カメラ１４のｕｖｗ視野座標系は、ＨＭＤ１２０のｕｖｗ視野座標系に連動している。したがって、ある局面に従うＨＭＤシステム１００は、注視センサ１４０によって検出されたユーザ５の視線を、仮想カメラ１４のｕｖｗ視野座標系におけるユーザ５の視線とみなすことができる。
【0055】
【0056】
ある局面において、注視センサ１４０は、ユーザ５の右目および左目の各視線を検出する。ある局面において、ユーザ５が近くを見ている場合、注視センサ１４０は、視線Ｒ１およびＬ１を検出する。別の局面において、ユーザ５が遠くを見ている場合、注視センサ１４０は、視線Ｒ２およびＬ２を検出する。この場合、ロール軸ｗに対して視線Ｒ２およびＬ２が成す角度は、ロール軸ｗに対して視線Ｒ１およびＬ１が成す角度よりも小さい。注視センサ１４０は、検出結果をコンピュータ２００に送信する。
【0057】
コンピュータ２００が、視線の検出結果として、視線Ｒ１およびＬ１の検出値を注視センサ１４０から受信した場合には、その検出値に基づいて、視線Ｒ１およびＬ１の交点である注視点Ｎ１を特定する。一方、コンピュータ２００は、視線Ｒ２およびＬ２の検出値を注視センサ１４０から受信した場合には、視線Ｒ２およびＬ２の交点を注視点として特定する。コンピュータ２００は、特定した注視点Ｎ１の位置に基づき、ユーザ５の視線Ｎ０を特定する。コンピュータ２００は、例えば、ユーザ５の右目Ｒと左目Ｌとを結ぶ直線の中点と、注視点Ｎ１とを通る直線の延びる方向を、視線Ｎ０として検出する。視線Ｎ０は、ユーザ５が両目により実際に視線を向けている方向である。視線Ｎ０は、視界領域１５に対してユーザ５が実際に視線を向けている方向に相当する。
【0058】
別の局面において、ＨＭＤシステム１００は、テレビジョン放送受信チューナを備えてもよい。このような構成によれば、ＨＭＤシステム１００は、仮想空間１１においてテレビ番組を表示することができる。
【0059】
さらに別の局面において、ＨＭＤシステム１００は、インターネットに接続するための通信回路、あるいは、電話回線に接続するための通話機能を備えていてもよい。
【0060】
［視界領域］
図６および図７を参照して、視界領域１５について説明する。図６は、仮想空間１１において視界領域１５をＸ方向から見たＹＺ断面を表す図である。図７は、仮想空間１１において視界領域１５をＹ方向から見たＸＺ断面を表す図である。
図６および図７を参照して、視界領域１５について説明する。図６は、仮想空間１１において視界領域１５をＸ方向から見たＹＺ断面を表す図である。図７は、仮想空間１１において視界領域１５をＹ方向から見たＸＺ断面を表す図である。
【0061】
図６に示されるように、ＹＺ断面における視界領域１５は、領域１８を含む。領域１８は、仮想カメラ１４の位置と基準視線１６と仮想空間１１のＹＺ断面とによって定義される。プロセッサ２１０は、仮想空間における基準視線１６を中心として極角αを含む範囲を、領域１８として規定する。
【0062】
図７に示されるように、ＸＺ断面における視界領域１５は、領域１９を含む。領域１９は、仮想カメラ１４の位置と基準視線１６と仮想空間１１のＸＺ断面とによって定義される。プロセッサ２１０は、仮想空間１１における基準視線１６を中心とした方位角βを含む範囲を、領域１９として規定する。極角αおよびβは、仮想カメラ１４の位置と仮想カメラ１４の傾き（向き）とに応じて定まる。
【0063】
ある局面において、ＨＭＤシステム１００は、コンピュータ２００からの信号に基づいて、視界画像１７をモニタ１３０に表示させることにより、ユーザ５に仮想空間１１における視界を提供する。視界画像１７は、パノラマ画像１３のうち視界領域１５に対応する部分に相当する画像である。ユーザ５が、頭に装着したＨＭＤ１２０を動かすと、その動きに連動して仮想カメラ１４も動く。その結果、仮想空間１１における視界領域１５の位置が変化する。これにより、モニタ１３０に表示される視界画像１７は、パノラマ画像１３のうち、仮想空間１１においてユーザ５が向いた方向の視界領域１５に重畳する画像に更新される。ユーザ５は、仮想空間１１における所望の方向を視認することができる。
【0064】
このように、仮想カメラ１４の傾きは仮想空間１１におけるユーザ５の視線（基準視線１６）に相当し、仮想カメラ１４が配置される位置は、仮想空間１１におけるユーザ５の視点に相当する。したがって、仮想カメラ１４の位置または傾きを変更することにより、モニタ１３０に表示される画像が更新され、ユーザ５の視界が移動される。
【0065】
ユーザ５は、ＨＭＤ１２０を装着している間、現実世界を視認することなく、仮想空間１１に展開されるパノラマ画像１３のみを視認できる。そのため、ＨＭＤシステム１００は、仮想空間１１への高い没入感覚をユーザ５に与えることができる。
【0066】
ある局面において、プロセッサ２１０は、ＨＭＤ１２０を装着したユーザ５の現実空間における移動に連動して、仮想空間１１において仮想カメラ１４を移動し得る。この場合、プロセッサ２１０は、仮想空間１１における仮想カメラ１４の位置および傾きに基づいて、ＨＭＤ１２０のモニタ１３０に投影される画像領域（視界領域１５）を特定する。
【0067】
ある局面において、仮想カメラ１４は、２つの仮想カメラ、すなわち、右目用の画像を提供するための仮想カメラと、左目用の画像を提供するための仮想カメラとを含み得る。ユーザ５が３次元の仮想空間１１を認識できるように、適切な視差が、２つの仮想カメラに設定される。別の局面において、仮想カメラ１４を１つの仮想カメラにより実現してもよい。この場合、１つの仮想カメラにより得られた画像から、右目用の画像と左目用の画像とを生成するようにしてもよい。本実施の形態においては、仮想カメラ１４が２つの仮想カメラを含み、２つの仮想カメラのロール軸が合成されることによって生成されるロール軸（ｗ）がＨＭＤ１２０のロール軸（ｗ）に適合されるように構成されているものとして、本開示に係る技術思想を例示する。
【0068】
【0069】
図８に示されるように、ある局面において、コントローラ３００は、右コントローラ３００Ｒと図示せぬ左コントローラとを含み得る。右コントローラ３００Ｒは、ユーザ５の右手で操作される。左コントローラは、ユーザ５の左手で操作される。ある局面において、右コントローラ３００Ｒと左コントローラとは、別個の装置として対称に構成される。したがって、ユーザ５は、右コントローラ３００Ｒを把持した右手と、左コントローラを把持した左手とをそれぞれ自由に動かすことができる。別の局面において、コントローラ３００は両手の操作を受け付ける一体型のコントローラであってもよい。以下、右コントローラ３００Ｒについて説明する。
【0070】
右コントローラ３００Ｒは、グリップ３１０と、フレーム３２０と、天面３３０とを備える。グリップ３１０は、ユーザ５の右手によって把持されるように構成されている。たとえば、グリップ３１０は、ユーザ５の右手の掌と３本の指（中指、薬指、小指）とによって保持され得る。
【0071】
グリップ３１０は、ボタン３４０，３５０と、モーションセンサ４２０とを含む。ボタン３４０は、グリップ３１０の側面に配置され、右手の中指による操作を受け付ける。ボタン３５０は、グリップ３１０の前面に配置され、右手の人差し指による操作を受け付ける。ある局面において、ボタン３４０，３５０は、トリガー式のボタンとして構成される。モーションセンサ４２０は、グリップ３１０の筐体に内蔵されている。ユーザ５の動作がカメラその他の装置によってユーザ５の周りから検出可能である場合には、グリップ３１０は、モーションセンサ４２０を備えなくてもよい。
【0072】
フレーム３２０は、その円周方向に沿って配置された複数の赤外線ＬＥＤ３６０を含む。赤外線ＬＥＤ３６０は、コントローラ３００を使用するプログラムの実行中に、当該プログラムの進行に合わせて赤外線を発光する。赤外線ＬＥＤ３６０から発せられた赤外線は、右コントローラ３００Ｒと左コントローラとの各位置や姿勢（傾き、向き）を検出するために使用され得る。図８に示される例では、二列に配置された赤外線ＬＥＤ３６０が示されているが、配列の数は図８に示されるものに限られない。一列あるいは３列以上の配列が使用されてもよい。
【0073】
天面３３０は、ボタン３７０，３８０と、アナログスティック３９０とを備える。ボタン３７０，３８０は、プッシュ式ボタンとして構成される。ボタン３７０，３８０は、ユーザ５の右手の親指による操作を受け付ける。アナログスティック３９０は、ある局面において、初期位置（ニュートラルの位置）から３６０度任意の方向への操作を受け付ける。当該操作は、たとえば、仮想空間１１に配置されるオブジェクトを移動するための操作を含む。
【0074】
ある局面において、右コントローラ３００Ｒおよび左コントローラは、赤外線ＬＥＤ３６０その他の部材を駆動するための電池を含む。電池は、充電式、ボタン型、乾電池型などを含むが、これらに限定されない。別の局面において、右コントローラ３００Ｒと左コントローラは、たとえば、コンピュータ２００のＵＳＢインターフェイスに接続され得る。この場合、右コントローラ３００Ｒおよび左コントローラは、電池を必要としない。
【0075】
図８の状態（Ａ）および状態（Ｂ）に示されるように、例えば、ユーザ５の右手に対して、ヨー、ロール、ピッチの各方向が規定される。ユーザ５が親指と人差し指とを伸ばした場合に、親指の伸びる方向がヨー方向、人差し指の伸びる方向がロール方向、ヨー方向の軸およびロール方向の軸によって規定される平面に垂直な方向がピッチ方向として規定される。
【0076】
［サーバのハードウェア構成］
図９を参照して、本実施の形態に係るサーバ６００について説明する。図９は、ある実施の形態に従うサーバ６００のハードウェア構成の一例を表すブロック図である。サーバ６００は、主たる構成要素として、プロセッサ６１０と、メモリ６２０と、ストレージ６３０と、入出力インターフェイス６４０と、通信インターフェイス６５０とを備える。各構成要素は、それぞれ、バス６６０に接続されている。
図９を参照して、本実施の形態に係るサーバ６００について説明する。図９は、ある実施の形態に従うサーバ６００のハードウェア構成の一例を表すブロック図である。サーバ６００は、主たる構成要素として、プロセッサ６１０と、メモリ６２０と、ストレージ６３０と、入出力インターフェイス６４０と、通信インターフェイス６５０とを備える。各構成要素は、それぞれ、バス６６０に接続されている。
【0077】
プロセッサ６１０は、サーバ６００に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ６２０またはストレージ６３０に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ６１０は、ＣＰＵ、ＧＰＵ、ＭＰＵ、ＦＰＧＡその他のデバイスとして実現される。
【0078】
メモリ６２０は、プログラムおよびデータを一時的に保存する。プログラムは、例えば、ストレージ６３０からロードされる。データは、サーバ６００に入力されたデータと、プロセッサ６１０によって生成されたデータとを含む。ある局面において、メモリ６２０は、ＲＡＭその他の揮発メモリとして実現される。
【0079】
ストレージ６３０は、プログラムおよびデータを永続的に保持する。ストレージ６３０は、例えば、ＲＯＭ、ハードディスク装置、フラッシュメモリ、その他の不揮発記憶装置として実現される。ストレージ６３０に格納されるプログラムは、ＨＭＤシステム１００において仮想空間を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、コンピュータ２００との通信を実現するためのプログラムを含んでもよい。ストレージ６３０に格納されるデータは、仮想空間を規定するためのデータおよびオブジェクト等を含んでもよい。
【0080】
別の局面において、ストレージ６３０は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに別の局面において、サーバ６００に内蔵されたストレージ６３０の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。このような構成によれば、例えば、アミューズメント施設のように複数のＨＭＤシステム１００が使用される場面において、プログラムやデータの更新を一括して行うことが可能になる。
【0081】
入出力インターフェイス６４０は、入出力機器との間で信号を通信する。ある局面において、入出力インターフェイス６４０は、ＵＳＢ、ＤＶＩ、ＨＤＭＩその他の端子を用いて実現される。入出力インターフェイス６４０は上述のものに限られない。
【0082】
通信インターフェイス６５０は、ネットワーク２に接続されて、ネットワーク２に接続されているコンピュータ２００と通信する。ある局面において、通信インターフェイス６５０は、例えば、ＬＡＮその他の有線通信インターフェイス、あるいは、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、ＮＦＣその他の無線通信インターフェイスとして実現される。通信インターフェイス６５０は上述のものに限られない。
【0083】
ある局面において、プロセッサ６１０は、ストレージ６３０にアクセスし、ストレージ６３０に格納されている１つ以上のプログラムをメモリ６２０にロードし、当該プログラムに含まれる一連の命令を実行する。当該１つ以上のプログラムは、サーバ６００のオペレーティングシステム、仮想空間を提供するためのアプリケーションプログラム、仮想空間で実行可能なゲームソフトウェア等を含み得る。プロセッサ６１０は、入出力インターフェイス６４０を介して、仮想空間を提供するための信号をコンピュータ２００に送ってもよい。
【0084】
［ＨＭＤの制御装置］
図１０を参照して、ＨＭＤ１２０の制御装置について説明する。ある実施の形態において、制御装置は周知の構成を有するコンピュータ２００によって実現される。図１０は、ある実施の形態に従うコンピュータ２００をモジュール構成として表すブロック図である。
図１０を参照して、ＨＭＤ１２０の制御装置について説明する。ある実施の形態において、制御装置は周知の構成を有するコンピュータ２００によって実現される。図１０は、ある実施の形態に従うコンピュータ２００をモジュール構成として表すブロック図である。
【0085】
図１０に示されるように、コンピュータ２００は、コントロールモジュール５１０と、レンダリングモジュール５２０と、メモリモジュール５３０と、通信制御モジュール５４０とを備える。ある局面において、コントロールモジュール５１０とレンダリングモジュール５２０とは、プロセッサ２１０によって実現される。別の局面において、複数のプロセッサ２１０がコントロールモジュール５１０とレンダリングモジュール５２０として作動してもよい。メモリモジュール５３０は、メモリ２２０またはストレージ２３０によって実現される。通信制御モジュール５４０は、通信インターフェイス２５０によって実現される。
【0086】
コントロールモジュール５１０は、ユーザ５に提供される仮想空間１１を制御する。コントロールモジュール５１０は、仮想空間１１を表す仮想空間データを用いて、ＨＭＤシステム１００における仮想空間１１を規定する。仮想空間データは、例えば、メモリモジュール５３０に記憶されている。コントロールモジュール５１０が、仮想空間データを生成したり、サーバ６００などから仮想空間データを取得するようにしたりしてもよい。
【0087】
コントロールモジュール５１０は、オブジェクトを表すオブジェクトデータを用いて、仮想空間１１にオブジェクトを配置する。オブジェクトデータは、例えば、メモリモジュール５３０に記憶されている。コントロールモジュール５１０が、オブジェクトデータを生成したり、サーバ６００などからオブジェクトデータを取得するようにしたりしてもよい。オブジェクトは、例えば、ユーザ５の分身であるアバターオブジェクト（換言すると、ユーザ５のキャラクタオブジェクト）、キャラクタオブジェクト、コントローラ３００によって操作される仮想手などの操作オブジェクト、ゲームのストーリーの進行に従って配置される森、山その他を含む風景、街並み、動物等を含み得る。
【0088】
コントロールモジュール５１０は、ネットワーク２を介して接続される他のコンピュータ２００のユーザ５のアバターオブジェクトを仮想空間１１に配置する。ある局面において、コントロールモジュール５１０は、ユーザ５のアバターオブジェクトを仮想空間１１に配置する。ある局面において、コントロールモジュール５１０は、ユーザ５を含む画像に基づいて、ユーザ５を模したアバターオブジェクトを仮想空間１１に配置する。別の局面において、コントロールモジュール５１０は、複数種類のアバターオブジェクト（例えば、動物を模したオブジェクトや、デフォルメされた人のオブジェクト）の中からユーザ５による選択を受け付けたアバターオブジェクトを仮想空間１１に配置する。
【0089】
コントロールモジュール５１０は、ＨＭＤセンサ４１０の出力に基づいてＨＭＤ１２０の傾きを特定する。別の局面において、コントロールモジュール５１０は、モーションセンサとして機能するセンサ１９０の出力に基づいてＨＭＤ１２０の傾きを特定する。コントロールモジュール５１０は、第１カメラ１５０および第２カメラ１６０が生成するユーザ５の顔の画像から、ユーザ５の顔を構成する器官（例えば、口，目，眉）を検出する。コントロールモジュール５１０は、検出した各器官の動き（形状）を検出する。
【0090】
コントロールモジュール５１０は、注視センサ１４０からの信号に基づいて、ユーザ５の仮想空間１１における視線を検出する。コントロールモジュール５１０は、検出したユーザ５の視線と仮想空間１１の天球とが交わる視点位置（ＸＹＺ座標系における座標値）を検出する。より具体的には、コントロールモジュール５１０は、ｕｖｗ座標系で規定されるユーザ５の視線と、仮想カメラ１４の位置および傾きとに基づいて、視点位置を検出する。コントロールモジュール５１０は、検出した視点位置をサーバ６００に送信する。別の局面において、コントロールモジュール５１０は、ユーザ５の視線を表す視線情報をサーバ６００に送信するように構成されてもよい。係る場合、サーバ６００が受信した視線情報に基づいて視点位置を算出し得る。
【0091】
コントロールモジュール５１０は、ＨＭＤセンサ４１０が検出するＨＭＤ１２０の動きをアバターオブジェクトに反映する。例えば、コントロールモジュール５１０は、ＨＭＤ１２０が傾いたことを検知して、アバターオブジェクトを傾けて配置する。コントロールモジュール５１０は、検出した顔器官の動作を、仮想空間１１に配置されるアバターオブジェクトの顔に反映させる。コントロールモジュール５１０は、サーバ６００から他のユーザ５の視線情報を受信し、当該他のユーザ５のアバターオブジェクトの視線に反映させる。ある局面において、コントロールモジュール５１０は、コントローラ３００の動きをアバターオブジェクトや操作オブジェクトに反映する。この場合、コントローラ３００は、コントローラ３００の動きを検知するためのモーションセンサ、加速度センサ、または複数の発光素子（例えば、赤外線ＬＥＤ）などを備えてもよい。また、コントローラ３００の動きとは、アナログスティック３９０の動きやボタン３７０，３８０の動き等であってもよい。そして、コントロールモジュール５１０は、例えば、アナログスティック３９０の動き（換言すると、アナログスティック３９０に対するユーザの操作）に基づいてアバターオブジェクトを仮想空間１１内で移動させるなどしてもよい。
【0092】
コントロールモジュール５１０は、仮想空間１１においてユーザ５の操作を受け付けるための操作オブジェクトを仮想空間１１に配置する。ユーザ５は、操作オブジェクトを操作することにより、例えば、仮想空間１１に配置されるオブジェクトを操作する。ある局面において、操作オブジェクトは、例えば、ユーザ５の手に相当する仮想手である手オブジェクト等を含み得る。ある局面において、コントロールモジュール５１０は、モーションセンサ４２０の出力に基づいて現実空間におけるユーザ５の手の動きに連動するように仮想空間１１において手オブジェクトを動かす。ある局面において、操作オブジェクトは、アバターオブジェクトの手の部分に相当し得る。
【0093】
コントロールモジュール５１０は、仮想空間１１に配置されるオブジェクトのそれぞれが、他のオブジェクトと衝突した場合に、当該衝突を検出する。コントロールモジュール５１０は、例えば、あるオブジェクトのコリジョンエリアと、別のオブジェクトのコリジョンエリアとが触れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行う。コントロールモジュール５１０は、オブジェクトとオブジェクトとが触れている状態から離れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行う。コントロールモジュール５１０は、オブジェクトとオブジェクトとが触れている状態であることを検出することができる。例えば、コントロールモジュール５１０は、操作オブジェクトと、他のオブジェクトとが触れたときに、これら操作オブジェクトと他のオブジェクトとが触れたことを検出して、予め定められた処理を行う。
【0094】
ある局面において、コントロールモジュール５１０は、ＨＭＤ１２０のモニタ１３０における画像表示を制御する。例えば、コントロールモジュール５１０は、仮想空間１１に仮想カメラ１４を配置する。コントロールモジュール５１０は、仮想空間１１における仮想カメラ１４の位置と、仮想カメラ１４の傾き（向き）を制御する。コントロールモジュール５１０は、ＨＭＤ１２０を装着したユーザ５の頭の傾きと、仮想カメラ１４の位置に応じて、視界領域１５を規定する。レンダリングモジュール５２０は、決定された視界領域１５に基づいて、モニタ１３０に表示される視界画像１７を生成する。レンダリングモジュール５２０により生成された視界画像１７は、通信制御モジュール５４０によってＨＭＤ１２０に出力される。
【0095】
コントロールモジュール５１０は、ＨＭＤ１２０から、ユーザ５のマイク１７０を用いた発話を検出すると、当該発話に対応する音声データの送信対象のコンピュータ２００を特定する。音声データは、コントロールモジュール５１０によって特定されたコンピュータ２００に送信される。コントロールモジュール５１０は、ネットワーク２を介して他のユーザのコンピュータ２００から音声データを受信すると、当該音声データに対応する音声（発話）をスピーカ１８０から出力する。
【0096】
メモリモジュール５３０は、コンピュータ２００が仮想空間１１をユーザ５に提供するために使用されるデータを保持している。ある局面において、メモリモジュール５３０は、空間情報と、オブジェクト情報と、ユーザ情報とを保持している。
【0097】
空間情報は、仮想空間１１を提供するために規定された１つ以上のテンプレートを保持している。
【0098】
オブジェクト情報は、仮想空間１１を構成する複数のパノラマ画像１３、仮想空間１１にオブジェクトを配置するためのオブジェクトデータを含む。パノラマ画像１３は、静止画像および動画像を含み得る。パノラマ画像１３は、非現実空間の画像と現実空間の画像とを含み得る。非現実空間の画像としては、例えば、コンピュータグラフィックスで生成された画像が挙げられる。
【0099】
ユーザ情報は、ユーザ５を識別するユーザＩＤを保持する。ユーザＩＤは、例えば、ユーザが使用するコンピュータ２００に設定されるＩＰ（Internet Protocol）アドレスまたはＭＡＣ（Media Access Control）アドレスであり得る。別の局面において、ユーザＩＤはユーザによって設定され得る。ユーザ情報は、ＨＭＤシステム１００の制御装置としてコンピュータ２００を機能させるためのプログラム等を含む。また、ユーザ情報は、サービスのアカウント毎（換言すると、ユーザＩＤ毎）に管理される情報を含む。
【0100】
メモリモジュール５３０に格納されているデータおよびプログラムは、ＨＭＤ１２０のユーザ５によって入力される。あるいは、プロセッサ２１０が、当該コンテンツを提供する事業者が運営するコンピュータ（例えば、サーバ６００）からプログラムあるいはデータをダウンロードして、ダウンロードされたプログラムあるいはデータをメモリモジュール５３０に格納する。
【0101】
通信制御モジュール５４０は、ネットワーク２を介して、サーバ６００その他の情報通信装置と通信し得る。
【0102】
ある局面において、コントロールモジュール５１０およびレンダリングモジュール５２０は、例えば、ユニティテクノロジーズ社によって提供されるＵｎｉｔｙ（登録商標）を用いて実現され得る。別の局面において、コントロールモジュール５１０およびレンダリングモジュール５２０は、各処理を実現する回路素子の組み合わせとしても実現され得る。
【0103】
コンピュータ２００における処理は、ハードウェアと、プロセッサ２１０により実行されるソフトウェアとによって実現される。このようなソフトウェアは、ハードディスクその他のメモリモジュール５３０に予め格納されている場合がある。ソフトウェアは、ＣＤ－ＲＯＭその他のコンピュータ読み取り可能な不揮発性のデータ記録媒体に格納されて、プログラム製品として流通している場合もある。あるいは、当該ソフトウェアは、インターネットその他のネットワークに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、光ディスク駆動装置その他のデータ読取装置によってデータ記録媒体から読み取られて、あるいは、通信制御モジュール５４０を介してサーバ６００その他のコンピュータからダウンロードされた後、メモリモジュール５３０に一旦格納される。そのソフトウェアは、プロセッサ２１０によってメモリモジュール５３０から読み出され、実行可能なプログラムの形式でＲＡＭに格納される。プロセッサ２１０は、そのプログラムを実行する。
【0104】
［ＨＭＤシステムの制御構造］
図１１を参照して、ＨＭＤセット１１０の制御構造について説明する。図１１は、ある実施の形態に従うＨＭＤセット１１０において実行される処理の一部を表すシーケンスチャートである。
図１１を参照して、ＨＭＤセット１１０の制御構造について説明する。図１１は、ある実施の形態に従うＨＭＤセット１１０において実行される処理の一部を表すシーケンスチャートである。
【0105】
図１１に示されるように、ステップＳ１１１０にて、コンピュータ２００のプロセッサ２１０は、コントロールモジュール５１０として、仮想空間データを特定し、仮想空間１１を定義する。
【0106】
ステップＳ１１２０にて、プロセッサ２１０は、仮想カメラ１４を初期化する。たとえば、プロセッサ２１０は、メモリのワーク領域において、仮想カメラ１４を仮想空間１１において予め規定された中心１２に配置し、仮想カメラ１４の視線をユーザ５が向いている方向に向ける。
【0107】
ステップＳ１１３０にて、プロセッサ２１０は、レンダリングモジュール５２０として、初期の視界画像を表示するための視界画像データを生成する。生成された視界画像データは、通信制御モジュール５４０によってＨＭＤ１２０に出力される。
【0108】
ステップＳ１１３２にて、ＨＭＤ１２０のモニタ１３０は、コンピュータ２００から受信した視界画像データに基づいて、視界画像を表示する。ＨＭＤ１２０を装着したユーザ５は、視界画像を視認すると仮想空間１１を認識し得る。
【0109】
ステップＳ１１３４にて、ＨＭＤセンサ４１０は、ＨＭＤ１２０から発信される複数の赤外線光に基づいて、ＨＭＤ１２０の位置と傾きを検知する。検知結果は、動き検知データとして、コンピュータ２００に出力される。
【0110】
ステップＳ１１４０にて、プロセッサ２１０は、ＨＭＤ１２０の動き検知データに含まれる位置と傾きとに基づいて、ＨＭＤ１２０を装着したユーザ５の視界方向を特定する。
【0111】
ステップＳ１１５０にて、プロセッサ２１０は、アプリケーションプログラムを実行し、アプリケーションプログラムに含まれる命令に基づいて、仮想空間１１にオブジェクト
を配置する。
を配置する。
【0112】
ステップＳ１１６０にて、コントローラ３００は、ユーザ５の操作を検出し、その検出された操作を表す検出データをコンピュータ２００に出力する。別の局面において、ユーザ５による操作は、ユーザ５の周囲に配置されたカメラからの画像に基づいて検出されてもよい。
【0113】
ステップＳ１１７０にて、プロセッサ２１０は、コントローラ３００から取得した検出データに基づいて、ユーザ５によるコントローラ３００の操作を検出する。
【0114】
ステップＳ１１８０にて、プロセッサ２１０は、ユーザ５によるコントローラ３００の操作に基づく視界画像データを生成する。生成された視界画像データは、通信制御モジュール５４０によってＨＭＤ１２０に出力される。
【0115】
ステップＳ１１９０にて、ＨＭＤ１２０は、受信した視界画像データに基づいて視界画像を更新し、更新後の視界画像をモニタ１３０に表示する。
【0116】
［アバターオブジェクト］
図１２（Ａ）、（Ｂ）を参照して、本実施の形態に従うアバターオブジェクトについて説明する。以下、ＨＭＤセット１１０Ａ，１１０Ｂの各ユーザ５のアバターオブジェクトを説明する図である。以下、ＨＭＤセット１１０Ａのユーザをユーザ５Ａ、ＨＭＤセット１１０Ｂのユーザをユーザ５Ｂ、ＨＭＤセット１１０Ｃのユーザをユーザ５Ｃ、ＨＭＤセット１１０Ｄのユーザをユーザ５Ｄと表す。ＨＭＤセット１１０Ａに関する各構成要素の参照符号にＡが付され、ＨＭＤセット１１０Ｂに関する各構成要素の参照符号にＢが付され、ＨＭＤセット１１０Ｃに関する各構成要素の参照符号にＣが付され、ＨＭＤセット１１０Ｄに関する各構成要素の参照符号にＤが付される。例えば、ＨＭＤ１２０Ａは、ＨＭＤセット１１０Ａに含まれる。
図１２（Ａ）、（Ｂ）を参照して、本実施の形態に従うアバターオブジェクトについて説明する。以下、ＨＭＤセット１１０Ａ，１１０Ｂの各ユーザ５のアバターオブジェクトを説明する図である。以下、ＨＭＤセット１１０Ａのユーザをユーザ５Ａ、ＨＭＤセット１１０Ｂのユーザをユーザ５Ｂ、ＨＭＤセット１１０Ｃのユーザをユーザ５Ｃ、ＨＭＤセット１１０Ｄのユーザをユーザ５Ｄと表す。ＨＭＤセット１１０Ａに関する各構成要素の参照符号にＡが付され、ＨＭＤセット１１０Ｂに関する各構成要素の参照符号にＢが付され、ＨＭＤセット１１０Ｃに関する各構成要素の参照符号にＣが付され、ＨＭＤセット１１０Ｄに関する各構成要素の参照符号にＤが付される。例えば、ＨＭＤ１２０Ａは、ＨＭＤセット１１０Ａに含まれる。
【0117】
図１２（Ａ）は、ネットワーク２において、各ＨＭＤ１２０がユーザ５に仮想空間１１を提供する状況を表す模式図である。コンピュータ２００Ａ～２００Ｄは、ＨＭＤ１２０Ａ～１２０Ｄを介して、ユーザ５Ａ～５Ｄに、仮想空間１１Ａ～１１Ｄをそれぞれ提供する。図１２（Ａ）に示される例において、仮想空間１１Ａおよび仮想空間１１Ｂは同じデータによって構成されている。換言すれば、コンピュータ２００Ａとコンピュータ２００Ｂとは同じ仮想空間を共有していることになる。仮想空間１１Ａおよび仮想空間１１Ｂには、ユーザ５Ａのアバターオブジェクト６Ａと、ユーザ５Ｂのアバターオブジェクト６Ｂとが存在する。仮想空間１１Ａにおけるアバターオブジェクト６Ａおよび仮想空間１１Ｂにおけるアバターオブジェクト６ＢがそれぞれＨＭＤ１２０を装着しているが、これは説明を分かりやすくするためのものであって、実際にはこれらのオブジェクトはＨＭＤ１２０を装着していない。
【0118】
ある局面において、プロセッサ２１０Ａは、ユーザ５Ａの視界画像１７Ａを撮影する仮想カメラ１４Ａを、アバターオブジェクト６Ａの目の位置に配置し得る。
【0119】
図１２（Ｂ）は、図１２（Ａ）におけるユーザ５Ａの視界画像１７Ａを示す図である。視界画像１７Ａは、ＨＭＤ１２０Ａのモニタ１３０Ａに表示される画像である。この視界画像１７Ａは、仮想カメラ１４Ａにより生成された画像である。視界画像１７Ａには、ユーザ５Ｂのアバターオブジェクト６Ｂが表示されている。特に図示はしていないが、ユーザ５Ｂの視界画像にも同様に、ユーザ５Ａのアバターオブジェクト６Ａが表示されている。
【0120】
図１２（Ｂ）の状態において、ユーザ５Ａは仮想空間１１Ａを介してユーザ５Ｂと対話による通信（コミュニケーション）を図ることができる。より具体的には、マイク１７０Ａにより取得されたユーザ５Ａの音声は、サーバ６００を介してユーザ５ＢのＨＭＤ１２０Ｂに送信され、ＨＭＤ１２０Ｂに設けられたスピーカ１８０Ｂから出力される。ユーザ５Ｂの音声は、サーバ６００を介してユーザ５ＡのＨＭＤ１２０Ａに送信され、ＨＭＤ１２０Ａに設けられたスピーカ１８０Ａから出力される。
【0121】
ユーザ５Ｂの動作（ＨＭＤ１２０Ｂの動きおよびコントローラ３００Ｂの動き）は、プロセッサ２１０Ａにより仮想空間１１Ａに配置されるアバターオブジェクト６Ｂに反映される。これにより、ユーザ５Ｂによって操作されて動くアバターオブジェクト６Ｂがユーザ５Ａから視認される。
【0122】
図１３は、本実施の形態に従うＨＭＤシステム１００において実行される処理の一部を表すシーケンスチャートである。図１３においては、ＨＭＤセット１１０Ｄを図示していないが、ＨＭＤセット１１０Ｄについても、ＨＭＤセット１１０Ａ、１１０Ｂ、１１０Ｃと同様に動作する。以下の説明でも、ＨＭＤセット１１０Ａに関する各構成要素の参照符号にＡが付され、ＨＭＤセット１１０Ｂに関する各構成要素の参照符号にＢが付され、ＨＭＤセット１１０Ｃに関する各構成要素の参照符号にＣが付され、ＨＭＤセット１１０Ｄに関する各構成要素の参照符号にＤが付されるものとする。
【0123】
ステップＳ１３１０Ａにおいて、ＨＭＤセット１１０Ａにおけるプロセッサ２１０Ａは、仮想空間１１Ａにおけるアバターオブジェクト６Ａの動作を決定するためのアバター情報を取得する。このアバター情報は、例えば、動き情報、フェイストラッキングデータ、および音声データ等のアバターに関する情報を含む。動き情報は、ＨＭＤ１２０Ａの位置および傾きの時間的変化を示す情報や、モーションセンサ４２０Ａ等により検出されたユーザ５Ａの手の動きを示す情報や、コントローラ３００等により検出されたユーザの操作を示す情報などを含む。フェイストラッキングデータは、ユーザ５Ａの顔の各パーツの位置および大きさを特定するデータが挙げられる。フェイストラッキングデータは、ユーザ５Ａの顔を構成する各器官の動きを示すデータや視線データが挙げられる。音声データは、ＨＭＤ１２０Ａのマイク１７０Ａによって取得されたユーザ５Ａの音声を示すデータが挙げられる。アバター情報には、アバターオブジェクト６Ａ、あるいはアバターオブジェクト６Ａに関連付けられるユーザ５Ａを特定する情報や、アバターオブジェクト６Ａが存在する仮想空間１１Ａを特定する情報等が含まれてもよい。アバターオブジェクト６Ａやユーザ５Ａを特定する情報としては、ユーザＩＤが挙げられる。アバターオブジェクト６Ａが存在する仮想空間１１Ａを特定する情報としては、ルームＩＤが挙げられる。プロセッサ２１０Ａは、上述のように取得されたアバター情報を、ネットワーク２を介してサーバ６００に送信する。
【0124】
ステップＳ１３１０Ｂにおいて、ＨＭＤセット１１０Ｂにおけるプロセッサ２１０Ｂは、ステップＳ１３１０Ａにおける処理と同様に、仮想空間１１Ｂにおけるアバターオブジェクト６Ｂの動作を決定するためのアバター情報を取得し、サーバ６００に送信する。同様に、ステップＳ１３１０Ｃにおいて、ＨＭＤセット１１０Ｃにおけるプロセッサ２１０Ｃは、仮想空間１１Ｃにおけるアバターオブジェクト６Ｃの動作を決定するためのアバター情報を取得し、サーバ６００に送信する。
【0125】
ステップＳ１３２０において、サーバ６００は、ＨＭＤセット１１０Ａ、ＨＭＤセット１１０Ｂ、およびＨＭＤセット１１０Ｃのそれぞれから受信したアバター情報を一旦記憶する。サーバ６００は、各アバター情報に含まれるユーザＩＤおよびルームＩＤ等に基づいて、共通の仮想空間１１に関連付けられた全ユーザ（この例では、ユーザ５Ａ～５Ｃ）のアバター情報を統合する。そして、サーバ６００は、予め定められたタイミングで、統合したアバター情報を当該仮想空間１１に関連付けられた全ユーザに送信する。これにより、同期処理が実行される。このような同期処理により、ＨＭＤセット１１０Ａ、ＨＭＤセット１１０Ｂ、およびＨＭＤセット１１０Ｃは、互いのアバター情報をほぼ同じタイミングで共有することができる。
【0126】
続いて、サーバ６００から各ＨＭＤセット１１０Ａ～１１０Ｃに送信されたアバター情報に基づいて、各ＨＭＤセット１１０Ａ～１１０Ｃは、ステップＳ１３３０Ａ～Ｓ１３３０Ｃの処理を実行する。ステップＳ１３３０Ａの処理は、図１１におけるステップＳ１１８０の処理に相当する。
【0127】
ステップＳ１３３０Ａにおいて、ＨＭＤセット１１０Ａにおけるプロセッサ２１０Ａは、仮想空間１１Ａにおける他のユーザ５Ｂ，５Ｃのアバターオブジェクト６Ｂ、アバターオブジェクト６Ｃの情報を更新する。具体的には、プロセッサ２１０Ａは、ＨＭＤセット１１０Ｂから送信されたアバター情報に含まれる動き情報に基づいて、仮想空間１１におけるアバターオブジェクト６Ｂの位置および向き等を更新する。例えば、プロセッサ２１０Ａは、メモリモジュール５３０に格納されたオブジェクト情報に含まれるアバターオブジェクト６Ｂの情報（位置および向き等）を更新する。同様に、プロセッサ２１０Ａは、ＨＭＤセット１１０Ｃから送信されたアバター情報に含まれる動き情報に基づいて、仮想空間１１におけるアバターオブジェクト６Ｃの情報（位置および向き等）を更新する。
【0128】
ステップＳ１３３０Ｂにおいて、ＨＭＤセット１１０Ｂにおけるプロセッサ２１０Ｂは、ステップＳ１３３０Ａにおける処理と同様に、仮想空間１１Ｂにおけるユーザ５Ａ，５Ｃのアバターオブジェクト６Ａ，６Ｃの情報を更新する。同様に、ステップＳ１３３０Ｃにおいて、ＨＭＤセット１１０Ｃにおけるプロセッサ２１０Ｃは、仮想空間１１Ｃにおけるユーザ５Ａ，５Ｂのアバターオブジェクト６Ａ，６Ｂの情報を更新する。
【0129】
【0130】
図１４に示されるように、コントロールモジュール５１０は、仮想カメラ制御モジュール１４２１と、視界領域決定モジュール１４２２と、基準視線特定モジュール１４２３と、顔器官検出モジュール１４２４と、動き検出モジュール１４２５と、仮想空間定義モジュール１４２６と、仮想オブジェクト生成モジュール１４２７と、操作オブジェクト制御モジュール１４２８と、アバター制御モジュール１４２９と、を備える。レンダリングモジュール５２０は、視界画像生成モジュール１４３８を備える。
【0131】
仮想カメラ制御モジュール１４２１は、仮想空間１１に仮想カメラ１４を配置する。仮想カメラ制御モジュール１４２１は、仮想空間１１における仮想カメラ１４の配置位置と、仮想カメラ１４の向き（傾き）を制御する。視界領域決定モジュール１４２２は、ＨＭＤ１２０を装着したユーザの頭の向きと、仮想カメラ１４の配置位置に応じて、視界領域１５を規定する。視界画像生成モジュール１４３８は、決定された視界領域１５に基づいて、モニタ１３０に表示される視界画像１７を生成する。
【0132】
基準視線特定モジュール１４２３は、注視センサ１４０からの信号に基づいて、ユーザ５の視線を特定する。顔器官検出モジュール１４２４は、第１カメラ１５０および第２カメラ１６０が生成するユーザ５の顔の画像から、ユーザ５の顔を構成する器官（例えば、口、目、眉）を検出する。動き検出モジュール１４２５は、顔器官検出モジュール１４２４が検出した各器官の動き（形状）を検出する。
【0133】
仮想空間定義モジュール１４２６は、仮想空間１１を表す仮想空間データを生成することにより、ＨＭＤシステム１００における仮想空間１１を規定する。
【0134】
仮想オブジェクト生成モジュール１４２７は、仮想空間１１に配置されるオブジェクトを生成する。オブジェクトは、例えば、ゲームのストーリーの進行に従って配置される森、山その他を含む風景、動物等を含み得る。
【0135】
操作オブジェクト制御モジュール１４２８は、仮想空間１１においてユーザの操作を受け付けるための操作オブジェクトを仮想空間１１に配置する。ユーザは、操作オブジェクトを操作することにより、例えば、仮想空間１１に配置されるオブジェクトを操作する。ある局面において、操作オブジェクトは、例えば、ＨＭＤ１２０を装着したユーザの手に相当する手オブジェクト等を含み得る。ある局面において、操作オブジェクトは、後述するアバターオブジェクトの手の部分に相当し得る。
【0136】
アバター制御モジュール１４２９は、ネットワーク２を介して接続される他のコンピュータ２００のユーザのアバターオブジェクト６を仮想空間１１に配置するためのデータを生成する。ある局面において、アバター制御モジュール１４２９は、ユーザ５のアバターオブジェクト６を仮想空間１１に配置するためのデータを生成する。ある局面において、アバター制御モジュール１４２９は、ユーザ５を含む画像に基づいて、ユーザ５を模したアバターオブジェクト６を生成する。別の局面において、アバター制御モジュール１４２９は、複数種類のアバターオブジェクト６（例えば、動物を模したオブジェクトや、デフォルメされた人のオブジェクト）の中からユーザ５による選択を受け付けたアバターオブジェクト６を仮想空間１１に配置するためのデータを生成する。
【0137】
アバター制御モジュール１４２９は、ＨＭＤセンサ４１０が検出するＨＭＤ１２０の動きをアバターオブジェクト６に反映する。例えば、アバター制御モジュール１４２９は、ＨＭＤ１２０が傾いたことを検知して、アバターオブジェクト６を傾けて配置するためのデータを生成する。ある局面において、アバター制御モジュール１４２９は、コントローラ３００の動きをアバターオブジェクト６に反映する。別の局面において、アバター制御モジュール１４２９は、動き検出モジュール１４２５が検出した顔器官の動作を、仮想空間１１に配置されるアバターオブジェクト６の顔に反映する。つまり、アバター制御モジュール１４２９は、ユーザ５Ａの顔の動作をアバターオブジェクト６に反映する。このように、アバターオブジェクト６は、ＨＭＤセンサ４１０、コントローラ３００または動き検出モジュール１４２５が検出する動きによって操作される（換言すると、動かされる）ようになっている。
【0138】
［サーバのモジュール構成］
図１５を参照して、サーバ６００のモジュール構成について説明する。図１５は、ある実施の形態に従うサーバ６００のモジュールの構成を表すブロック図である。図１５に示されるように、サーバ６００は、コントロールモジュール１６１０と、メモリモジュール１６３０と、通信制御モジュール１６４０とを備える。ある局面において、コントロールモジュール１６１０は、プロセッサ６１０によって実現される。メモリモジュール１６３０は、メモリ６２０またはストレージ６３０によって実現される。通信制御モジュール１６４０は、通信インターフェイス６５０によって実現される。
図１５を参照して、サーバ６００のモジュール構成について説明する。図１５は、ある実施の形態に従うサーバ６００のモジュールの構成を表すブロック図である。図１５に示されるように、サーバ６００は、コントロールモジュール１６１０と、メモリモジュール１６３０と、通信制御モジュール１６４０とを備える。ある局面において、コントロールモジュール１６１０は、プロセッサ６１０によって実現される。メモリモジュール１６３０は、メモリ６２０またはストレージ６３０によって実現される。通信制御モジュール１６４０は、通信インターフェイス６５０によって実現される。
【0139】
コントロールモジュール１６１０は、現実情報取得モジュール１７３１を備えている。
【0140】
メモリモジュール１６３０は、コンピュータ２００が仮想空間１１をユーザ５に提供するために使用されるデータを保持している。ある局面において、メモリモジュール１６３０は、空間情報と、オブジェクト情報と、ユーザ情報とを保持している。メモリモジュール１６３０の空間情報、オブジェクト情報、およびユーザ情報は、それぞれ上述したメモリモジュール５３０の空間情報、オブジェクト情報、およびユーザ情報を含み得る。したがって、ここでは説明を省略する。
【0141】
通信制御モジュール１６４０は、各ＨＭＤセット１１０から、各種の情報、および各種の要求を受信する。一例として、通信制御モジュール１６４０が各ＨＭＤセット１１０から受信する情報は、空間情報、オブジェクト情報、ユーザ情報、およびアバター情報を含み得る。通信制御モジュール１６４０は、各ＨＭＤセット１１０に対して、各種の情報、および各種の要求を送信する。一例として、通信制御モジュール１６４０が各ＨＭＤセット１１０へ送信する情報は、空間情報、オブジェクト情報、ユーザ情報、およびアバター情報を含み得る。
【0142】
サーバ６００における処理は、ハードウェアと、プロセッサ６１０により実行されるソフトウェアとによって実現される。このようなソフトウェアは、ハードディスクその他のメモリモジュール１６３０に予め格納されている場合がある。ソフトウェアは、ＣＤ－ＲＯＭその他のコンピュータ読み取り可能な不揮発性のデータ記録媒体に格納されて、プログラム製品として流通している場合もある。あるいは、当該ソフトウェアは、インターネットその他のネットワークに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、光ディスク駆動装置その他のデータ読取装置によってデータ記録媒体から読み取られて、あるいは、通信制御モジュール１６４０を介して所定のコンピュータからダウンロードされた後、メモリモジュール１６３０に一旦格納される。そのソフトウェアは、プロセッサ６１０によってメモリモジュール１６３０から読み出され、実行可能なプログラムの形式でＲＡＭに格納される。プロセッサ６１０は、そのプログラムを実行する。
【0143】
なお、上述したコンピュータ２００およびサーバ６００のモジュール構成は一例にすぎない。コンピュータ２００およびサーバ６００の各装置は、他の装置が備えるモジュール（換言すると、機能）の少なくとも一部を備えていてもよい。また、コンピュータ２００およびサーバ６００等の各装置は、一体の機器により実現されるものでなくてもよく、例えば、ネットワーク等を介して接続される複数の機器によって実現されてもよい。
【0144】
また、本実施形態では、コンピュータ２００のプロセッサ２１０またはサーバ６００のプロセッサ６１０が、ＨＭＤシステム１００に記憶されているプログラムを実行することによって、上述のまたは後述する各処理を行うものとして説明する。ただし、上述のまたは後述する処理であってプロセッサ２１０が行う処理のうちの少なくとも一部を、プロセッサ２１０とは別のプロセッサが実行するようにしてもよい。また、上述のまたは後述する処理であってプロセッサ６１０が行う処理のうちの少なくとも一部を、プロセッサ６１０とは別のプロセッサが実行するようにしてもよい。換言すると、本実施形態においてプログラムを実行するコンピュータは、コンピュータ２００およびサーバ６００のいずれであってもよく、また、複数の装置の組み合わせにより実現されてもよい。
【0145】
［本実施形態に係る処理］
本実施形態では、ユーザ５に関連する現実世界の情報（換言すると、仮想空間１１の外部の情報（換言すると、ＨＭＤシステム１００の外部の情報））が、ユーザ５のアバターオブジェクト６に反映される。また、現実世界の情報が反映されたアバターオブジェクト６が、他のユーザ５のＨＭＤ１２０に表示される。以下では、この点について説明する。
本実施形態では、ユーザ５に関連する現実世界の情報（換言すると、仮想空間１１の外部の情報（換言すると、ＨＭＤシステム１００の外部の情報））が、ユーザ５のアバターオブジェクト６に反映される。また、現実世界の情報が反映されたアバターオブジェクト６が、他のユーザ５のＨＭＤ１２０に表示される。以下では、この点について説明する。
【0146】
図１４に示されるように、コントロールモジュール５１０は、位置情報取得モジュール１７２１を備える。位置情報取得モジュール１７２１は、ＨＭＤ１２０の位置を示す位置情報を取得する。換言すると、位置情報取得モジュール１７２１は、ユーザ５の現実世界における位置を示す位置情報を取得する。
【0147】
位置情報取得モジュール１７２１は、例えば、ＨＭＤ１２０の備えるＧＰＳ（Global Positioning System）センサによって実現されてもよい。なお、位置情報取得モジュール１７２１における位置情報の取得方法は任意であり、位置情報取得モジュール１７２１は、例えば、Ｗｉ－ＦｉやＢｌｕｅｔｏｏｔｈ等を利用して位置情報を取得してもよい。
【0148】
また、位置情報取得モジュール１７２１が取得した位置情報は、サーバ６００の現実情報取得モジュール１７３１に送られる。
【0149】
なお、位置情報取得モジュール１７２１は、例えば、ＨＭＤセット１１０のユーザ５が使用する外部機器７００（例えば、スマートフォンやウェアラブルデバイス等）において、当該外部機器７００が備えるＧＰＳセンサ等によって特定された位置情報（具体的には、ユーザ５の位置を示す位置情報）を取得するものであってもよい。また、位置情報取得モジュール１７２１は、例えば、サーバ６００のコントロールモジュール１６１０が備えていてもよい。
【0150】
現実情報取得モジュール１７３１は、位置情報取得モジュール１７２１が取得したユーザ５の位置を示す位置情報に基づいて、ユーザ５に関連する現実世界の情報（以下、「現実情報」という。）を取得する。具体的には、現実情報取得モジュール１７３１は、例えば、位置情報に基づいて、ユーザ５が位置している地域の気象情報を取得する。現実情報取得モジュール１７３１は、例えば、気象情報を公開しているウェブサイトや気象情報を記憶している所定のサーバ等にアクセスし、位置情報に対応する地域の気象情報を取得してもよい。
【0151】
現実情報取得モジュール１７３１が取得する気象情報は、例えば、「晴れ」、「雨」、「曇り」、「雪」といった天気を示す情報であってもよい、また、現実情報取得モジュール１７３１が取得する気象情報は、例えば、「気温が高い」、「気温が低い」といった（換言すると、「気温が何度」といった）、気温を示す情報であってもよい。
【0152】
アバター制御モジュール１４２９（換言すると、変化手段）は、現実情報をアバターオブジェクト６に反映する。具体的には、アバター制御モジュール１４２９は、ユーザ（例えば、ユーザ５Ａ）のアバターオブジェクト６を他のユーザ（例えば、ユーザ５Ｂ）が見た場合に、ユーザのアバターオブジェクト６に関する表示が、ユーザに関連する現実情報を反映したものとなるように、当該現実情報に基づいてユーザのアバターオブジェクト６に関する表示についての設定を行う。換言すると、アバター制御モジュール１４２９は、当該現実情報に応じてユーザ５のアバターオブジェクト６の表示態様を変化させる。アバターオブジェクト６の表示態様の一例を図１６に示す。以下、図１６を参照しながら、アバター制御モジュール１４２９によるアバターオブジェクト６の表示態様の設定について説明する。
【0153】
アバター制御モジュール１４２９は、例えば、ユーザ５に関連する現実情報に基づいて、ユーザ５のアバターオブジェクト６のスキンを設定してもよい。具体的には、アバター制御モジュール１４２９は、ユーザ５Ａに関連する気象情報に応じて、アバターオブジェクト６Ａのスキンを設定してもよい。例えば、アバター制御モジュール１４２９は、ユーザ５Ａに関連する気象情報が「雨」の場合に、ユーザ５ＢのＨＭＤ１２０Ｂで表示されるユーザ５Ａのアバターオブジェクト６Ａについて、スキンを雨に対応するスキンとした態様で表示させることに決定してもよい。具体的には、アバター制御モジュール１４２９は、ユーザ５Ａに関連する気象情報が「雨」の場合には、図１６（ｂ）に示すように、ユーザ５Ａのアバターオブジェクト６Ａのスキン（例えば、服装）を、雨に対応する服装としてのレインコート１７５１に設定（例えば、アバターオブジェクト６Ａに、雨に対応する服のオブジェクトを付加する等）してもよい。この場合、アバター制御モジュール１４２９は、例えば、ユーザ５Ａに関連する気象情報が「晴れ」の場合には、図１６（ａ）に示すように、ユーザ５Ａのアバターオブジェクト６Ａのスキンを、雨に対応するスキンに設定せず、晴れに対応するスキン（換言すると、レインコート１７５１を着ていない状態）に設定する。また、アバター制御モジュール１４２９は、ユーザ５Ａに関連する気象情報が「気温が高い」ことを示す場合には、図１６（ｃ）に示すように、ユーザ５Ａのアバターオブジェクト６Ａのスキンを、半袖短パンや、サングラスを身に着けたものなど、気温が高いことをイメージさせる服装に設定するなどしてもよい。
【0154】
また、アバター制御モジュール１４２９は、例えば、ユーザ５に関連する現実情報に基づいて、ユーザ５のアバターオブジェクト６に付加するアイテム（換言すると、アイテムオブジェクト）を設定してもよい。具体的には、アバター制御モジュール１４２９は、ユーザ５Ａに関連する気象情報に応じて、アバターオブジェクト６Ａに付加するアイテムを設定してもよい。例えば、アバター制御モジュール１４２９は、ユーザ５Ａに関連する気象情報が「雨」の場合に、ユーザ５ＢのＨＭＤ１２０Ｂで表示されるユーザ５Ａのアバターオブジェクト６Ａについて、雨に対応するアイテムが付加された態様で表示させることに決定してもよい。具体的には、アバター制御モジュール１４２９は、ユーザ５Ａに関連する気象情報が「雨」の場合には、図１６（ｄ）に示すように、ユーザ５Ａのアバターオブジェクト６Ａについて、雨に対応するアイテムとしての傘１７５２を持った状態に設定し、気象情報が「晴れ」の場合には、傘１７５２を持っていない状態に設定するなどしてもよい。
【0155】
また、アバター制御モジュール１４２９は、例えば、ユーザ５に関連する現実情報に基づいて、ユーザ５のアバターオブジェクト６の周囲に配置するオブジェクトを設定してもよい。具体的には、アバター制御モジュール１４２９は、ユーザ５Ａに関連する気象情報に応じて、アバターオブジェクト６Ａの周囲に配置するオブジェクトを設定してもよい。例えば、アバター制御モジュール１４２９は、ユーザ５Ａに関連する気象情報が「雨」の場合に、図１６（ｅ）に示すように、ユーザ５ＢのＨＭＤ１２０Ｂで表示されるユーザ５Ａのアバターオブジェクト６Ａについて、周囲に雨に対応するオブジェクト（例えば、雨粒１７５３）が表示される態様で表示させることに決定してもよい。この場合に、アバター制御モジュール１４２９は、例えば、ユーザ５Ａに関連する気象情報が「晴れ」の場合には、周囲に晴れに対応するオブジェクト（例えば、太陽）が表示される態様でアバターオブジェクト６Ａを表示させることに決定してもよく、周囲に気象情報に対応するオブジェクトが表示されない態様でアバターオブジェクト６Ａを表示させることに決定するなどしてもよい。また、例えば、アバター制御モジュール１４２９は、ユーザ５Ａに関連する気象情報が「雨」の場合には、図１６（ｆ）に示すように、雨に対応するアイコン１７５４（例えば、雨のマークのアイコンや傘のマークのアイコン等）をアバターオブジェクト６Ａの頭上等に表示させ、気象情報が「晴れ」の場合には、晴れに対応するアイコン（例えば、太陽のマークのアイコン等）をアバターオブジェクト６Ａの頭上等に表示させるなど、アバターオブジェクト６Ａの周囲に現実情報に応じたアイコン（換言すると、アイコンオブジェクト）が表示されるように、ユーザ５Ａのアバターオブジェクト６Ａの表示態様を設定してもよい。
【0156】
レンダリングモジュール５２０（換言すると、表示制御手段）は、アバター制御モジュール１４２９によって設定された表示態様（換言すると、現実情報が反映された表示態様）で、アバターオブジェクト６をＨＭＤ１２０のモニタ１３０（換言すると、表示手段）に表示させる。
【0157】
なお、アバター制御モジュール１４２９の行う現実情報に基づくアバターオブジェクト６の表示態様の設定は、アバターオブジェクト６に対して、現実情報に応じたオブジェクト（例えば、レインコート１７５１、傘１７５２、雨粒１７５３、アイコン１７５４など）を付加する（換言すると、関連付ける）ものであってもよい。そして、レンダリングモジュール５２０は、アバターオブジェクト６の表示の際に、当該設定に基づいて、現実情報に対応するオブジェクトをＨＭＤ１２０のモニタ１３０に表示させてもよい。
【0158】
なお、アバターオブジェクト６に現実情報に応じたオブジェクトが付加される場合に、当該オブジェクトと当該アバターオブジェクト６とは、それぞれ個別にオブジェクトデータが用意されていてもよく、ひとまとまりのオブジェクトデータが予め用意されていてもよい。換言すると、アバターオブジェクト６に現実情報に対応するオブジェクトが付加されるとは、ＨＭＤ１２０における表示上、アバターオブジェクト６に当該オブジェクトが付加されるものであればよく、必ずしも、アバターオブジェクト６と当該オブジェクトとで個別にオブジェクトデータが用意されていなくてもよい。すなわち、例えば、図１６（ｂ）には、アバターオブジェクト６（換言すると、本体である人部分）にレインコート１７５１のオブジェクトが付加された表示態様のアバターオブジェクト６が示されているが、図１６（ｂ）に示される表示態様は、メモリモジュール５３０等にそれぞれ個別に記憶されたアバターオブジェクト６のオブジェクトデータと、レインコート１７５１のオブジェクトデータとによって実現されるものであってもよい。また、図１６（ｂ）に示される表示態様は、メモリモジュール５３０等に記憶されたアバターオブジェクト６とレインコート１７５１との両方をまとめて表す１つのオブジェクトデータによって実現されるものであってもよい。換言すると、例えば、図１６（ａ）～（ｆ）に示される各表示態様のアバターオブジェクト６は、それぞれ１つのオブジェクトデータによって実現されるものであってもよく、複数のオブジェクトデータが組み合わされて実現されるものであってもよい。
【0159】
以上のように、アバター制御モジュール１４２９は、現実情報をアバターオブジェクト６に反映し、アバターオブジェクト６の表示態様を変化させる。ここで、アバター制御モジュール１４２９が、現実情報をアバターオブジェクト６に反映する（換言すると、アバターオブジェクト６の表示態様の設定を行う）タイミングの一例について説明する。例えば、当該タイミングは、現実情報が反映されるアバターオブジェクト６のユーザ５がログインした（換言すると、仮想空間１１に入る）タイミングであってもよい。また、当該タイミングは、当該アバターオブジェクト６を視認する他のユーザ５がログインした（換言すると、仮想空間１１に入る）タイミングであってもよい。また、当該タイミングは、現実情報が反映されるアバターオブジェクト６が仮想空間１１内の所定の領域に入るタイミングであってもよい。また、当該タイミングは、現実情報が反映されるアバターオブジェクト６を視認する他のユーザ５のアバターオブジェクト６が仮想空間１１内の所定の領域に入るタイミングであってもよい。また、当該タイミングは、定期的に訪れるもの等であってもよい。換言すると、アバターオブジェクト６が仮想空間１１内で動いている最中に、当該アバターオブジェクト６の表示態様が変化することとしてもよい。なお、現実情報取得モジュール１７３１は、ここで例示したタイミングと同様のタイミングで現実情報を取得してもよい。また、現実情報取得モジュール１７３１における現実情報の取得や、アバター制御モジュール１４２９における現実情報のアバターオブジェクト６への反映は、ここで例示した１のタイミングで行われてもよく、複数のタイミングで行われてもよい。また、現実情報取得モジュール１７３１における現実情報の取得や、アバター制御モジュール１４２９における現実情報のアバターオブジェクト６への反映は、常時行われるものであってもよい。換言すると、現実情報の元となるデータを提供するウェブサイト（換言すると、サーバ）等において、当該データの更新があると、更新の内容がアバターオブジェクト６にリアルタイムに反映されるようになっていてもよい。例えば、気象情報を公開しているウェブサイト等において気象情報の更新があると、更新の内容がアバターオブジェクト６にリアルタイムに反映されるようになっていてもよい。
【0160】
また、現実情報取得モジュール１７３１は、現実情報を自動的に取得する。また、アバター制御モジュール１４２９は、現実情報を自動的にアバターオブジェクト６に反映する。換言すると、現実情報取得モジュール１７３１による現実情報の取得は、所定のタイミングで、当該取得を指示するユーザの操作を介さずに行われる。また、アバター制御モジュール１４２９によるアバターオブジェクト６への現実情報の反映は、所定のタイミングで、当該反映を指示するユーザの操作を介さずに行われる。すなわち、ユーザ５ＢのＨＭＤ１２０Ｂで表示されるユーザ５Ａのアバターオブジェクト６Ａの表示態様は、ユーザ５Ａによる操作（およびユーザ５Ｂによる操作）を介することなく、自動的に変更される。なお、ここで、「操作を介さずに」とは、当該取得あるいは当該反映を行う際にユーザ５による操作が不要なものであればよく、例えば、このような、自動での取得や反映を有効とするか否かをユーザ（例えば、ユーザ５Ａまたはユーザ５Ｂ）が予め設定しておくことが可能な場合において、当該設定を行う操作等の、ユーザによる事前の設定操作等は行われるものであってもよい。
【0161】
なお、本実施形態では、他のユーザ（例えば、ユーザ５Ｂ）のＨＭＤ１２０に表示されるユーザ（例えば、ユーザ５Ａ）のアバターオブジェクト６への当該ユーザに関連する現実情報の反映は、当該他のユーザのＨＭＤセット１１０のアバター制御モジュール１４２９が実行する。すなわち、例えば、ＨＭＤセット１１０Ｂのアバター制御モジュール１４２９Ｂは、現実情報取得モジュール１７３１から通信制御モジュール５４０Ｂを介してユーザＡに関連する現実情報を取得（換言すると、受信）する。そして、アバター制御モジュール１４２９Ｂは、取得した現実情報を、ユーザ５Ａのアバターオブジェクト６Ａに反映する。換言すると、アバター制御モジュール１４２９Ｂは、取得した現実情報に基づいて、ユーザ５Ａのアバターオブジェクト６Ａの表示態様を設定する。そして、レンダリングモジュール５２０Ｂは、アバター制御モジュール１４２９Ｂによって設定された表示態様で、アバターオブジェクト６ＡをＨＭＤ１２０Ｂのモニタ１３０Ｂに表示させる。
【0162】
ただし、他のユーザ（例えば、ユーザ５Ｂ）のＨＭＤ１２０に表示されるユーザ（例えば、ユーザ５Ａ）のアバターオブジェクト６への当該ユーザに関連する現実情報の反映は、当該ユーザのＨＭＤセット１１０のアバター制御モジュール１４２９が実行してもよい。すなわち、例えば、ＨＭＤセット１１０Ａのアバター制御モジュール１４２９Ａは、現実情報取得モジュール１７３１から通信制御モジュール５４０Ａを介してユーザ５Ａに関連する現実情報を取得（換言すると、受信）する。そして、アバター制御モジュール１４２９Ａは、取得した現実情報を、ユーザ５Ａのアバターオブジェクト６Ａに反映する。換言すると、アバター制御モジュール１４２９Ａは、取得した現実情報に基づいて、ユーザ５Ａのアバターオブジェクト６Ａの表示態様を設定する。また、通信制御モジュール５４０Ａは、現実情報が反映されたアバターオブジェクト６Ａを送信し、通信制御モジュール５４０Ｂは、当該アバターオブジェクト６Ａを受信する。そして、レンダリングモジュール５２０Ｂは、アバター制御モジュール１４２９Ａによって設定された表示態様で、アバターオブジェクト６ＡをＨＭＤ１２０Ｂのモニタ１３０Ｂに表示させる。
【0163】
また、サーバ６００がアバター制御モジュール１４２９を備えていてもよい。そして、他のユーザ（例えば、ユーザ５Ｂ）のＨＭＤ１２０に表示されるユーザ（例えば、ユーザ５Ａ）のアバターオブジェクト６への当該ユーザに関連する現実情報の反映は、サーバ６００のアバター制御モジュール１４２９が実行してもよい。すなわち、例えば、サーバ６００のアバター制御モジュール１４２９は、現実情報取得モジュール１７３１が取得したユーザ５Ａに関連する現実情報を、ユーザ５Ａのアバターオブジェクト６Ａに反映する。換言すると、アバター制御モジュール１４２９は、取得した現実情報に基づいて、ユーザＡのアバターオブジェクト６Ａの表示態様を設定する。また、通信制御モジュール１６４０は、現実情報が反映されたアバターオブジェクト６Ａを送信し、通信制御モジュール５４０Ｂは、当該アバターオブジェクト６Ａを受信する。そして、レンダリングモジュール５２０Ｂは、サーバのアバター制御モジュール１４２９によって設定された表示態様で、アバターオブジェクト６ＡをＨＭＤ１２０Ｂのモニタ１３０Ｂに表示させる。
【0164】
なお、現実情報取得モジュール１７３１は、ＨＭＤセット１１０が備えていてもよい。例えば、ユーザ５ＢのＨＭＤ１２０Ｂに表示されるアバターオブジェクト６Ａに反映されるユーザ５Ａに関連する現実情報は、ユーザ５ＢのＨＭＤセット１１０Ｂの現実情報取得モジュール１７３１Ｂが所定のウェブサイトや所定のサーバにアクセスして入手してもよく、ユーザ５ＡのＨＭＤセット１１０Ａの現実情報取得モジュール１７３１Ａが所定のウェブサイトや所定のサーバにアクセスして入手してもよい。
【0165】
本実施形態のＨＭＤシステム１００によれば、ユーザ５Ａのアバターオブジェクト６Ａは、ユーザ５Ａに関連する現実情報に応じた表示態様で、ユーザ５ＢのＨＭＤ１２０Ｂに表示される。また、当該表示態様で表示されるアバターオブジェクト６Ａは、ユーザ５Ｂの視点において、ユーザ５Ａの操作に基づいて仮想空間１１内で動く。このため、ユーザ５Ｂは、仮想空間１１内で動いているユーザ５Ａのアバターオブジェクト６Ａを見たときに、ユーザ５Ａに関連する現実世界の情報（例えば、ユーザ５Ａがいる場所の天気の情報）を即座に得ることができる。換言すると、ユーザ５Ａの現実世界における状況等が直感的に理解しやすい表示をユーザ５Ｂに提供することができる。したがって、仮想空間内でユーザ同士がコミュニケーションをとるためのきっかけを作ることができ、サービスの興趣性が向上される。
【0166】
なお、現実情報が反映されたアバターオブジェクト６の表示は、一部のユーザに対してのみ行われてもよい。例えば、ユーザ５Ａのアバターオブジェクト６Ａについて、現実情報が反映され表示態様が変化する場合に、ユーザ５ＢのＨＭＤ１２０Ｂにおいては現実情報が反映された表示態様でアバターオブジェクト６Ａが表示される一方で、ユーザ５ＣのＨＭＤ１２０Ｃにおいては現実情報が反映されていない表示態様でアバターオブジェクト６Ａが表示されるようになっていてもよい。
【0167】
具体的には、例えば、現実情報が反映されるアバターオブジェクト６のユーザと、ＨＭＤシステム１００が提供するサービス内（換言すると、仮想空間内）において特定の関係性（例えば、いわゆるフレンド関係など）を有する他のユーザに対しては、現実情報が反映された表示態様でアバターオブジェクト６の表示がされ、当該特定の関係性を有さない他のユーザに対しては、現実情報が反映されていない表示態様でアバターオブジェクト６の表示がされるようになっていてもよい。
【0168】
また、アバターオブジェクト６への現実情報の反映は、プライベート空間等の特定の空間で行われるものとしてもよい。具体的には、特定の関係性（例えば、いわゆるフレンド関係など）を有するユーザ同士のみが参加する仮想空間や、仮想空間を特定する所定の識別情報（例えば、各仮想空間に割り当てられたＵＲＬ（Uniform Resource Locator）や識別コードなど）を共有するユーザのみが参加可能な仮想空間等において、アバターオブジェクト６への現実情報の反映がされることとしてもよい。換言すると、ＨＭＤシステム１００が複数種類の仮想空間をユーザに提供する場合に、特定の仮想空間においては（換言すると、特定の仮想空間にユーザのアバターオブジェクト６と他のユーザのアバターオブジェクト６とが存在する場合においては）、アバターオブジェクト６への現実情報の反映がされ、他のユーザのＨＭＤ１２０において現実情報が反映された表示態様でアバターオブジェクト６の表示がされる一方で、特定の仮想空間とは異なる仮想空間においては（換言すると、特定の仮想空間にユーザのアバターオブジェクト６と他のユーザのアバターオブジェクト６とが存在しない場合においては）、アバターオブジェクト６への現実情報の反映がされず、他のユーザのＨＭＤ１２０において現実情報が反映されていない表示態様でアバターオブジェクト６の表示がされることとしてもよい。
【0169】
なお、他のユーザのＨＭＤ１２０において現実情報が反映された表示態様でのアバターオブジェクト６の表示を行わない場合には、例えば、当該他のユーザのＨＭＤ１２０に、現実情報が反映されたアバターオブジェクト６や現実情報等を送信しないこととしてもよい。
【0170】
図１７は、本実施の形態に従うＨＭＤシステム１００において実行される処理の一部を表すシーケンスチャートである。
【0171】
ステップＳ１８１０において、ＨＭＤセット１１０Ａの位置情報取得モジュール１７２１Ａは、ユーザ５Ａの位置情報を取得する。取得された位置情報は、通信制御モジュール５４０Ａ、通信制御モジュール１６４０を介して、サーバ６００の現実情報取得モジュール１７３１に送られる。
【0172】
次いで、ステップＳ１８２０において、現実情報取得モジュール１７３１は、位置情報取得モジュール１７２１Ａが取得した位置情報に基づいて、ユーザ５Ａに関連する現実情報を取得する。具体的には、現実情報取得モジュール１７３１は、例えば、ユーザ５Ａが位置している地域の気象情報を、現実情報として取得する。取得された現実情報は、通信制御モジュール１６４０、通信制御モジュール５４０Ｂを介して、ＨＭＤセット１１０Ｂのアバター制御モジュール１４２９Ｂに送られる。
【0173】
次いで、ステップＳ１８３０において、ＨＭＤセット１１０Ｂのアバター制御モジュール１４２９Ｂは、現実情報取得モジュール１７３１が取得した現実情報をアバターオブジェクト６Ａに反映させる。換言すると、アバター制御モジュール１４２９Ｂは、アバターオブジェクト６Ａの表示態様を、当該現実情報に応じた態様に変化させる。
【0174】
次いで、ステップＳ１８４０において、ＨＭＤセット１１０Ｂのレンダリングモジュール５２０Ｂは、アバターオブジェクト６Ａが含まれる視界画像１７を生成し、現実情報が反映されたアバターオブジェクト６Ａをモニタ１３０Ｂに表示させる。
【0175】
なお、図示は省略するが、ＨＭＤセット１１０ＣやＨＭＤセット１１０Ｄにおいても、ＨＭＤセット１１０Ｂと同様の処理が行われ、現実情報が反映されたアバターオブジェクト６Ａがモニタ１３０Ｃ，１３０Ｄに表示される。また、ＨＭＤセット１１０Ａにおいても、同様にして、ユーザ５Ｂ，５Ｃ，５Ｄのそれぞれに関連する現実情報が反映されたアバターオブジェクト６Ｂ，６Ｃ，６Ｄのそれぞれがモニタ１３０Ａに表示される。なお、例えば、ＨＭＤセット１１０Ａにおいて、ユーザ５Ａに関連する現実情報が反映されたアバターオブジェクト６Ａが表示されるなど、自身のＨＭＤセット１１０にも現実情報が反映された自身のアバターオブジェクト６が表示され得るようになっていてもよい。
【0176】
（変形例１）
ここまで、現実情報取得モジュール１７３１は、現実情報として、位置情報に基づく気象情報を取得することについて説明した。すなわち、現実情報取得モジュール１７３１は、ユーザ５の位置情報に基づいて、現実世界の環境（換言すると、ユーザ５の周囲の環境）に関する情報（以下、「環境情報」という。）を取得することについて説明した。しかし、現実情報取得モジュール１７３１が取得する環境情報は、気象情報でなくてもよい。
ここまで、現実情報取得モジュール１７３１は、現実情報として、位置情報に基づく気象情報を取得することについて説明した。すなわち、現実情報取得モジュール１７３１は、ユーザ５の位置情報に基づいて、現実世界の環境（換言すると、ユーザ５の周囲の環境）に関する情報（以下、「環境情報」という。）を取得することについて説明した。しかし、現実情報取得モジュール１７３１が取得する環境情報は、気象情報でなくてもよい。
【0177】
例えば、環境情報は、ユーザ５の位置情報に対応する場所の特徴に関する情報であってもよい。換言すると、環境情報は、ユーザ５の周囲の環境をイメージさせるものに関する情報であってもよい。
【0178】
具体的には、例えば、環境情報は、ユーザ５の位置情報に対応する地域（例えば、県）の名産品や名所に関する情報であってもよい。そして、アバター制御モジュール１４２９は、ユーザ５ＢのＨＭＤ１２０Ｂで表示されるユーザ５Ａのアバターオブジェクト６Ａについて、アバターオブジェクト６Ａの周囲に当該名産品や名所のオブジェクトが表示されるようにアバターオブジェクト６Ａの表示態様を設定してもよい。
【0179】
また、例えば、環境情報は、ユーザ５の位置情報に対応する地域の地理的特徴に関する情報であってもよい。例えば、ユーザ５の位置情報が、海に近い場所や、山の中等を示す場合に、現実情報取得モジュール１７３１は、環境情報として、ユーザ５が海に近い場所や山の中等に位置していることを示す情報を取得してもよい。そして、アバター制御モジュール１４２９は、ユーザ５ＢのＨＭＤ１２０Ｂで表示されるユーザ５Ａのアバターオブジェクト６Ａについて、表示態様を海に対応する表示態様（例えば、水着や浮き輪を身に着けた表示態様等）に設定したり、山に対応する表示態様（例えば、登山ウェアを身に着けた表示態様や、周囲に動物のオブジェクトが表示される表示態様等）に設定したりしてもよい。
【0180】
また、例えば、環境情報は、ユーザ５の位置情報に対応する施設に関する情報であってもよい。例えば、ユーザ５の位置情報が、現実世界の野球場の位置（具体的には、例えば、野球場の特定のチームの応援席）に対応するものである場合、現実情報取得モジュール１７３１は、環境情報として、ユーザ５が野球場に位置していることを示す情報を取得してもよい。そして、アバター制御モジュール１４２９は、ユーザ５ＢのＨＭＤ１２０Ｂで表示されるユーザ５Ａのアバターオブジェクト６Ａについて、スキンを野球のユニフォーム（具体的には、特定のチームのユニフォーム）に設定してもよい。また、例えば、ユーザ５の位置情報が、現実世界の飲食店の位置に対応するものである場合、アバター制御モジュール１４２９は、ユーザ５ＢのＨＭＤ１２０Ｂで表示されるユーザ５Ａのアバターオブジェクト６Ａの周囲に料理（例えば、ユーザのいる飲食店に対応する料理）のオブジェクトが表示されるようにアバターオブジェクト６Ａの表示態様を設定するなどしてもよい。
【0181】
なお、現実情報取得モジュール１７３１は、ユーザ５の現在の（換言すると、現実情報を取得する時点における最新の）位置情報に基づいて現実情報を取得するものでもよく、そうでなくてもよい。例えば、現実情報取得モジュール１７３１は、所定期間内の位置情報に基づいて現実情報を取得してもよい。具体的には、例えば、ユーザ５のその日の位置情報の中に、野球場の位置に対応する位置情報がある場合に、アバター制御モジュール１４２９が、アバターオブジェクト６のスキンを野球のユニフォームに設定するなどしてもよい。換言すると、現実情報は、例えば、所定期間内にユーザ５が訪れた場所に関する情報等であってもよい。
【0182】
なお、例えば、野球に関する例について、位置情報に基づく現実情報に加えまたは代え、試合結果等がアバターオブジェクト６に反映されてもよい。例えば、アバター制御モジュール１４２９は、ユーザＡが応援するチームが勝利した場合（例えば、所定期間内の試合で勝利した場合や、最新の試合で勝利した場合）、ユーザ５ＢのＨＭＤ１２０Ｂで表示されるユーザ５Ａのアバターオブジェクト６Ａについて、スキンを当該チームに関するスキンであって勝利に対応するスキン（例えば、当該チームのユニフォームであって金色のユニフォーム等）に設定するなどしてもよい。また、アバター制御モジュール１４２９は、ユーザＡが応援するチームが敗北した場合（例えば、所定期間内の試合で敗北した場合や、最新の試合で敗北した場合）、ユーザ５ＢのＨＭＤ１２０Ｂで表示されるユーザ５Ａのアバターオブジェクト６Ａについて、スキンを当該チームに関するスキンであって敗北に対応するスキン（例えば、当該チームのユニフォームであってボロボロのユニフォーム等）に設定するなどしてもよい。ここで、アバター制御モジュール１４２９がアバターオブジェクト６に反映させる現実情報としての試合結果は、例えば、以下のように取得されてもよい。すなわち、例えば、現実情報取得モジュール１７３１は、ユーザ５が自身で設定可能なプロフィール情報（例えば、ユーザ５の興味があること（換言すると趣味嗜好）を設定可能なプロフィール情報）が、特定のチームのファンであることを示す場合に、プロフィール情報に基づいて、当該特定のチームの試合結果を取得してもよい。また、例えば、現実情報取得モジュール１４２９は、ユーザ５の位置情報が、現在を含む所定期間内にユーザ５が野球場を訪れたことを示すものである場合に、当該野球場に関連するチームの試合結果を取得してもよい。また、現実情報取得モジュール１４２９は、プロフィール情報が特定のチームのファンであることを示し、かつ、ユーザ５の位置情報が現在を含む所定期間内にユーザ５が当該特定のチームに関連する野球場（例えば、当該特定のチームのホーム球場または当該特定のチームが試合を行っていた野球場等）を訪れたことを示すものである場合に、当該特定のチームの試合結果を取得してもよい。換言すると、現実情報取得モジュール１７３１は、ユーザ５の位置情報またはプロフィール情報等に基づいて現実情報としての特定のニュースに関する情報を取得し、アバター制御モジュール１４２９は、当該特定のニュースに関する情報をアバターオブジェクト６に反映させてもよい。なお、ニュースに関する情報（例えば、試合結果等）の取得については、例えば、現実情報取得モジュール１７３１が、ニュースを公開しているウェブサイトやニュースを記憶している所定のサーバ等にアクセスし、位置情報やプロフィール情報に対応する情報（例えば、試合結果等）を取得することにより行われてもよい。
【0183】
（変形例２）
アバター制御モジュール１４２９がアバターオブジェクト６に反映させる現実情報は、例えば、ユーザ５の生体情報、または生体情報に基づいて得られる情報であってもよい。以下では、これらの情報をアバターオブジェクト６に反映させる場合について説明する。
アバター制御モジュール１４２９がアバターオブジェクト６に反映させる現実情報は、例えば、ユーザ５の生体情報、または生体情報に基づいて得られる情報であってもよい。以下では、これらの情報をアバターオブジェクト６に反映させる場合について説明する。
【0184】
現実情報取得モジュール１７３１は、生体情報、または生体情報に基づいて得られる情報を現実情報として取得する。現実情報取得モジュール１７３１が取得する生体情報は、例えば、ユーザ５が身につけるデバイス（例えば、時計型、リストバンド型、指輪型、衣服型、もしくはメガネ型等のウェアラブルデバイス、または体内埋め込み型のデバイス等。換言すると外部機器７００。）によって測定される心拍数、血圧、体温、血中酸素量、呼気、発汗量、歩数、心電図、または脳波などのデータであってもよい。また、生体情報に基づいて得られる情報は、これらのデータを分析して得られる情報（以下、「分析結果情報」という。）であってもよい。具体的には、分析結果情報は、例えば、これらのデータを分析して得られる「睡眠不足」であることを示す情報や、「運動中（あるいは運動後）」であることを示す情報や、「満腹状態」であることを示す情報や、「体調が悪い」ことを示す情報等であってもよい。なお、分析結果情報としての「運動中（あるいは運動後）」であることを示す情報は、例えば、現実情報取得モジュール１７３１が、所定期間内の心拍数のデータ（例えば、心拍数の変化に関する情報）や、所定期間内の歩数のデータ（例えば、歩数の変化に関する情報）等に基づいて、運動中（あるいは運動後）か否かを判定することなどにより取得してもよい。また、「体調が悪い」ことを示す情報は、例えば、現実情報取得モジュール１７３１が、心拍数や体温や心電図のデータ等に基づいて、体調が悪いか否かを判定することなどにより取得してもよい。具体的には、例えば、現実情報取得モジュール１７３１は、心拍数や体温や心電図のデータが異常値を示していることに基づいて、「命に関わる状況である」などと判定してもよい。なお、生体情報の分析は、現実情報取得モジュール１７３１が、生体情報の測定値と分析結果との対応関係が登録されたサーバの登録情報を参照して行うなどしてもよい。また、生体情報の分析は、ユーザ５が身につけるデバイス等で行われてもよい。換言すると、現実情報取得モジュール１７３１は、外部機器７００から分析結果情報を取得してもよい。
【0185】
例えば、現実情報取得モジュール１７３１が取得したユーザ５Ａの生体情報が、「体温が高い（換言すると、体温が所定温度以上）」ということを示すものである場合、アバター制御モジュール１４２９は、ユーザ５ＢのＨＭＤ１２０Ｂで表示されるユーザ５Ａのアバターオブジェクト６Ａについて、表示態様を、高熱に対応するアイテム（例えば、氷嚢やマスク等）が付加された表示態様や、顔色を変化させた（例えば、赤くした）表示態様に設定してもよい。
【0186】
また、例えば、現実情報取得モジュール１７３１が取得したユーザ５の分析結果情報が、「運動後」であることを示すものである場合、アバター制御モジュール１４２９は、ユーザ５ＢのＨＭＤ１２０Ｂで表示されるユーザ５Ａのアバターオブジェクト６Ａについて、スキンをスポーツウェアに設定してもよい。
【0187】
また、例えば、現実情報取得モジュール１７３１が取得したユーザ５の分析結果情報が、「体調が悪い」ことを示すものである場合、具体的には「命に関わる状況」であることを示すものである場合、アバター制御モジュール１４２９は、ユーザ５ＢのＨＭＤ１２０Ｂで表示されるユーザ５Ａのアバターオブジェクト６Ａについて、アバターオブジェクト６Ａの周囲に危機的状況にあることを示すオブジェクトが表示されるようにユーザ５Ａのアバターオブジェクトの表示態様を設定してもよい。
【0188】
（変形例３）
アバター制御モジュール１４２９が、アバターオブジェクトに反映させる現実情報は、例えば、ユーザ５が予め入力したユーザ情報に基づいて現実情報取得モジュール１７３１が取得する情報であってもよい。具体的には、例えば、ユーザ５は、予め、自身の興味がある事項をユーザ情報（例えば、プロフィール情報等）として登録しておく。そして、現実情報取得モジュール１７３１は、登録された興味がある事項に関連する情報を、現実情報として、所定のタイミングで自動的に取得してもよい。換言すると、ＨＭＤシステム１００では、現実情報の取得の手掛かりとなる情報（例えば、キーワード）を、ユーザ５が予め登録しておくこととし、現実情報取得モジュール１７３１は、当該手掛かりとなる情報に基づいて当該ユーザ５に関連する現実情報を取得するようにしてもよい。
アバター制御モジュール１４２９が、アバターオブジェクトに反映させる現実情報は、例えば、ユーザ５が予め入力したユーザ情報に基づいて現実情報取得モジュール１７３１が取得する情報であってもよい。具体的には、例えば、ユーザ５は、予め、自身の興味がある事項をユーザ情報（例えば、プロフィール情報等）として登録しておく。そして、現実情報取得モジュール１７３１は、登録された興味がある事項に関連する情報を、現実情報として、所定のタイミングで自動的に取得してもよい。換言すると、ＨＭＤシステム１００では、現実情報の取得の手掛かりとなる情報（例えば、キーワード）を、ユーザ５が予め登録しておくこととし、現実情報取得モジュール１７３１は、当該手掛かりとなる情報に基づいて当該ユーザ５に関連する現実情報を取得するようにしてもよい。
【0189】
例えば、ユーザ５Ａは、興味がある事項として、好きな野球チームを登録する。この場合に、現実情報取得モジュール１７３１は、例えば、現実情報として、当該野球チームの勝敗に関する情報を取得する。なお、勝敗に関する情報は、例えば、現実情報取得モジュール１７３１が、所定のタイミングで所定のニュースサイトにアクセスして入手する等してもよい。そして、現実情報取得モジュール１７３１が取得した現実情報が、当該野球チームが勝利したことを示すものである場合、アバター制御モジュール１４２９は、例えば、ユーザ５ＢのＨＭＤ１２０Ｂで表示されるユーザ５Ａのアバターオブジェクト６Ａについて、勝利に対応する態様（例えば、服装が当該野球チームのユニフォームであって喜んだ表情や、当該野球チームのユニフォームであって金色のユニフォーム等）で表示されるように、アバターオブジェクト６Ａの表示態様を設定してもよい。また、現実情報取得モジュール１７３１が取得した現実情報が、当該野球チームが敗北したことを示すものである場合、アバター制御モジュール１４２９は、例えば、ユーザ５ＢのＨＭＤ１２０Ｂで表示されるユーザ５Ａのアバターオブジェクト６Ａについて、敗北に対応する態様（例えば、服装が当該野球チームのユニフォームであって落ち込んだ表情や、当該野球チームのユニフォームであってボロボロのユニフォーム等）で表示されるように、アバターオブジェクト６Ａの表示態様を設定してもよい。
【0190】
なお、ここまで、アバター制御モジュール１４２９が、所定の情報に基づいてアバターオブジェクト６の表示態様を設定することについて説明したが、アバター制御モジュール１４２９は、上述した各種情報のうちの複数の情報に基づいてアバターオブジェクト６の表示態様を設定してもよい。
【0191】
なお、本発明は、上述した実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変形して実施できる。本発明はその発明の範囲内において、各構成要素の自由な組み合わせ、任意の構成要素の変形、または任意の構成要素の省略等が可能である。また、本明細書において説明した処理の流れはあくまで一例であり、各処理の順序や構成は異なるものであってもよい
【0192】
［付記］
以上の実施形態で説明した事項は、以下の付記のようにも記載され得る。
以上の実施形態で説明した事項は、以下の付記のようにも記載され得る。
【0193】
（付記１）
コンピュータを、
仮想空間に存在する第１キャラクタを操作する第１ユーザに関連する現実世界の情報を取得する情報取得手段（例えば、現実情報取得モジュール１７３１またはアバター制御モジュール１４２９）と、
前記仮想空間に存在する第２キャラクタを操作する第２ユーザにおける前記第１キャラクタの表示態様が、前記第１ユーザに関連する前記現実世界の情報を反映したものとなるように、当該情報に応じて前記第１キャラクタの表示態様を変化させる変化手段（例えば、アバター制御モジュール１４２９）と、として機能させる
プログラム。
このような構成によれば、同一の仮想空間でキャラクタを操作する第１ユーザと第２ユーザとについて、第２ユーザは、第１ユーザの第１キャラクタを見たときに、第１ユーザに関連する現実世界の情報を即座に得ることができる。換言すると、第１ユーザの現実世界における状況等が直感的に理解しやすい表示を第２ユーザに提供することができる。したがって、仮想空間内でユーザ同士がコミュニケーションをとるためのきっかけを作ることができ、サービスの興趣性が向上される。
コンピュータを、
仮想空間に存在する第１キャラクタを操作する第１ユーザに関連する現実世界の情報を取得する情報取得手段（例えば、現実情報取得モジュール１７３１またはアバター制御モジュール１４２９）と、
前記仮想空間に存在する第２キャラクタを操作する第２ユーザにおける前記第１キャラクタの表示態様が、前記第１ユーザに関連する前記現実世界の情報を反映したものとなるように、当該情報に応じて前記第１キャラクタの表示態様を変化させる変化手段（例えば、アバター制御モジュール１４２９）と、として機能させる
プログラム。
このような構成によれば、同一の仮想空間でキャラクタを操作する第１ユーザと第２ユーザとについて、第２ユーザは、第１ユーザの第１キャラクタを見たときに、第１ユーザに関連する現実世界の情報を即座に得ることができる。換言すると、第１ユーザの現実世界における状況等が直感的に理解しやすい表示を第２ユーザに提供することができる。したがって、仮想空間内でユーザ同士がコミュニケーションをとるためのきっかけを作ることができ、サービスの興趣性が向上される。
【0194】
（付記２）
前記第１ユーザに関連する前記現実世界の情報は、前記第１ユーザの位置情報に基づく情報である
付記１に記載のプログラム。
このような構成によれば、第１ユーザの位置に関連する現実世界の情報を、第１キャラクタに反映させることができる。したがって、第１ユーザの周囲の状況等が直感的に理解しやすい表示を第２ユーザに提供することができる。そして、第２ユーザは、当該表示から得られる情報に基づいて第１ユーザとコミュニケーションをとること等が可能となるので、サービスの興趣性が向上される。
前記第１ユーザに関連する前記現実世界の情報は、前記第１ユーザの位置情報に基づく情報である
付記１に記載のプログラム。
このような構成によれば、第１ユーザの位置に関連する現実世界の情報を、第１キャラクタに反映させることができる。したがって、第１ユーザの周囲の状況等が直感的に理解しやすい表示を第２ユーザに提供することができる。そして、第２ユーザは、当該表示から得られる情報に基づいて第１ユーザとコミュニケーションをとること等が可能となるので、サービスの興趣性が向上される。
【0195】
（付記３）
前記第１ユーザに関連する前記現実世界の情報は、前記第１ユーザの位置情報に基づく前記現実世界の環境に関する情報である
付記２に記載のプログラム。
このような構成によれば、第１ユーザの周囲の環境が直感的に理解しやすい表示を第２ユーザに提供することができる。そして、第２ユーザは、当該表示から得られる情報に基づいて第１ユーザとコミュニケーションをとること等が可能となるので、サービスの興趣性が向上される。
前記第１ユーザに関連する前記現実世界の情報は、前記第１ユーザの位置情報に基づく前記現実世界の環境に関する情報である
付記２に記載のプログラム。
このような構成によれば、第１ユーザの周囲の環境が直感的に理解しやすい表示を第２ユーザに提供することができる。そして、第２ユーザは、当該表示から得られる情報に基づいて第１ユーザとコミュニケーションをとること等が可能となるので、サービスの興趣性が向上される。
【0196】
（付記４）
前記第１ユーザに関連する前記現実世界の情報は、前記第１ユーザの位置情報に基づく気象情報である
付記２に記載のプログラム。
このような構成によれば、第１ユーザがいる場所の気象状況等が直感的に理解しやすい表示を第２ユーザに提供することができる。そして、第２ユーザは、当該表示から得られる情報に基づいて第１ユーザとコミュニケーションをとること等が可能となるので、サービスの興趣性が向上される。
前記第１ユーザに関連する前記現実世界の情報は、前記第１ユーザの位置情報に基づく気象情報である
付記２に記載のプログラム。
このような構成によれば、第１ユーザがいる場所の気象状況等が直感的に理解しやすい表示を第２ユーザに提供することができる。そして、第２ユーザは、当該表示から得られる情報に基づいて第１ユーザとコミュニケーションをとること等が可能となるので、サービスの興趣性が向上される。
【0197】
（付記５）
前記第１ユーザに関連する前記現実世界の情報は、前記第１ユーザの生体情報、または当該生体情報に基づいて得られる情報である
付記１に記載のプログラム。
このような構成によれば、第１ユーザの身体の状態等が直感的に理解しやすい表示を第２ユーザに提供することができる。そして、第２ユーザは、当該表示から得られる情報に基づいて第１ユーザとコミュニケーションをとること等が可能となるので、サービスの興趣性が向上される。
前記第１ユーザに関連する前記現実世界の情報は、前記第１ユーザの生体情報、または当該生体情報に基づいて得られる情報である
付記１に記載のプログラム。
このような構成によれば、第１ユーザの身体の状態等が直感的に理解しやすい表示を第２ユーザに提供することができる。そして、第２ユーザは、当該表示から得られる情報に基づいて第１ユーザとコミュニケーションをとること等が可能となるので、サービスの興趣性が向上される。
【0198】
（付記６）
前記変化手段は、前記第１キャラクタの表示態様を、前記第１キャラクタに前記第１ユーザに関連する前記現実世界の情報に応じたオブジェクト（例えば、レインコート１７５１、傘１７５２、雨粒１７５３、またはアイコン１７５４）が付加された表示態様に設定可能な
付記１～５のいずれか１つに記載のプログラム。
このような構成によれば、付加されるオブジェクトによって第１ユーザに関連する現実世界の情報を第１キャラクタに反映することが可能となる。したがって、第１ユーザの現実世界における状況等が直感的に理解しやすい表示を第２ユーザに提供することができる。
前記変化手段は、前記第１キャラクタの表示態様を、前記第１キャラクタに前記第１ユーザに関連する前記現実世界の情報に応じたオブジェクト（例えば、レインコート１７５１、傘１７５２、雨粒１７５３、またはアイコン１７５４）が付加された表示態様に設定可能な
付記１～５のいずれか１つに記載のプログラム。
このような構成によれば、付加されるオブジェクトによって第１ユーザに関連する現実世界の情報を第１キャラクタに反映することが可能となる。したがって、第１ユーザの現実世界における状況等が直感的に理解しやすい表示を第２ユーザに提供することができる。
【0199】
（付記７）
仮想空間に存在する第１キャラクタを操作する第１ユーザに関連する現実世界の情報を取得する情報取得手段（例えば、現実情報取得モジュール１７３１またはアバター制御モジュール１４２９）と、
前記仮想空間に存在する第２キャラクタを操作する第２ユーザにおける前記第１キャラクタの表示態様が、前記第１ユーザに関連する前記現実世界の情報を反映したものとなるように、当該情報に応じて前記第１キャラクタの表示態様を変化させる変化手段（例えば、アバター制御モジュール１４２９）と、を備える
情報処理システム。
このような構成によれば、付記１に記載のプログラムと同様の作用効果を奏することができる。
仮想空間に存在する第１キャラクタを操作する第１ユーザに関連する現実世界の情報を取得する情報取得手段（例えば、現実情報取得モジュール１７３１またはアバター制御モジュール１４２９）と、
前記仮想空間に存在する第２キャラクタを操作する第２ユーザにおける前記第１キャラクタの表示態様が、前記第１ユーザに関連する前記現実世界の情報を反映したものとなるように、当該情報に応じて前記第１キャラクタの表示態様を変化させる変化手段（例えば、アバター制御モジュール１４２９）と、を備える
情報処理システム。
このような構成によれば、付記１に記載のプログラムと同様の作用効果を奏することができる。
【符号の説明】
【0200】
５ ユーザ、６ アバターオブジェクト、１１ 仮想空間、１００ ＨＭＤシステム、１１０ ＨＭＤセット、１２０ ＨＭＤ、１３０ モニタ、２００ コンピュータ、２１０ プロセッサ、２２０ メモリ、２３０ ストレージ、２４０ 入出力インターフェイス、２５０ 通信インターフェイス、３００ コントローラ、４１０ ＨＭＤセンサ、４２０ モーションセンサ、５１０ コントロールモジュール、５２０ レンダリングモジュール、５３０ メモリモジュール、５４０ 通信制御モジュール、６００ サーバ、６１０ プロセッサ、６２０ メモリ、６３０ ストレージ、６４０ 入出力インターフェイス、６５０ 通信インターフェイス、７００ 外部機器、１４２１ 仮想カメラ制御モジュール、１４２２ 視界領域決定モジュール、１４２３ 基準視線特定モジュール、１４２４ 顔器官検出モジュール、１４２５ 動き検出モジュール、１４２６ 仮想空間定義モジュール、１４２７ 仮想オブジェクト生成モジュール、１４２８ 操作オブジェクト制御モジュール、１４２９ アバター制御モジュール、１４３８ 視界画像生成モジュール、１６１０ コントロールモジュール、１６３０ メモリモジュール、１６４０ 通信制御モジュール、１７２１ 位置情報取得モジュール、１７３１ 現実情報取得モジュール
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8(A)】
【図8(B)】
【図9】
【図10】
【図11】
【図12(A)】
【図12(B)】
【図13】
【図14】
【図15】
【図16】
【図17】
【手続補正書】
【提出日】2023-01-31
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
コンピュータを、
仮想空間に存在する第１キャラクタを操作する第１ユーザに関連する現実世界の情報を取得する第１情報取得手段と、
前記仮想空間に存在する第２キャラクタを操作する第２ユーザに関連する前記現実世界の情報を取得する第２情報取得手段と、
前記第２ユーザにおける前記第１キャラクタの表示態様が、前記第１ユーザに関連する前記現実世界の情報を反映したものとなるように、当該情報に応じて前記第１キャラクタの表示態様を変化させる第１変化手段と、
前記第１ユーザにおける前記第２キャラクタの表示態様が、前記第２ユーザに関連する前記現実世界の情報を反映したものとなるように、当該情報に応じて前記第２キャラクタの表示態様を変化させる第２変化手段と、として機能させる
プログラム。
仮想空間に存在する第１キャラクタを操作する第１ユーザに関連する現実世界の情報を取得する第１情報取得手段と、
前記仮想空間に存在する第２キャラクタを操作する第２ユーザに関連する前記現実世界の情報を取得する第２情報取得手段と、
前記第２ユーザにおける前記第１キャラクタの表示態様が、前記第１ユーザに関連する前記現実世界の情報を反映したものとなるように、当該情報に応じて前記第１キャラクタの表示態様を変化させる第１変化手段と、
前記第１ユーザにおける前記第２キャラクタの表示態様が、前記第２ユーザに関連する前記現実世界の情報を反映したものとなるように、当該情報に応じて前記第２キャラクタの表示態様を変化させる第２変化手段と、として機能させる
プログラム。
【請求項2】
前記第１ユーザに関連する前記現実世界の情報は、前記第１ユーザの位置情報に基づく情報であり、
前記第２ユーザに関連する前記現実世界の情報は、前記第２ユーザの位置情報に基づく情報である
請求項１に記載のプログラム。
前記第２ユーザに関連する前記現実世界の情報は、前記第２ユーザの位置情報に基づく情報である
請求項１に記載のプログラム。
【請求項3】
前記第１ユーザに関連する前記現実世界の情報は、前記第１ユーザの位置情報に基づく前記現実世界の環境に関する情報であり、
前記第２ユーザに関連する前記現実世界の情報は、前記第２ユーザの位置情報に基づく前記現実世界の環境に関する情報である
請求項２に記載のプログラム。
前記第２ユーザに関連する前記現実世界の情報は、前記第２ユーザの位置情報に基づく前記現実世界の環境に関する情報である
請求項２に記載のプログラム。
【請求項4】
前記第１ユーザに関連する前記現実世界の情報は、前記第１ユーザの位置情報に基づく気象情報であり、
前記第２ユーザに関連する前記現実世界の情報は、前記第２ユーザの位置情報に基づく気象情報である
請求項２に記載のプログラム。
前記第２ユーザに関連する前記現実世界の情報は、前記第２ユーザの位置情報に基づく気象情報である
請求項２に記載のプログラム。
【請求項5】
前記第１ユーザに関連する前記現実世界の情報は、前記第１ユーザの生体情報、または当該生体情報に基づいて得られる情報であり、
前記第２ユーザに関連する前記現実世界の情報は、前記第２ユーザの生体情報、または当該生体情報に基づいて得られる情報である
請求項１に記載のプログラム。
前記第２ユーザに関連する前記現実世界の情報は、前記第２ユーザの生体情報、または当該生体情報に基づいて得られる情報である
請求項１に記載のプログラム。
【請求項6】
前記第１変化手段は、前記第１キャラクタの表示態様を、前記第１キャラクタに前記第１ユーザに関連する前記現実世界の情報に応じたオブジェクトが付加された表示態様に設定可能な
請求項１～５のいずれか１項に記載のプログラム。
請求項１～５のいずれか１項に記載のプログラム。
【請求項7】
仮想空間に存在する第１キャラクタを操作する第１ユーザに関連する現実世界の情報を取得する第１情報取得手段と、
前記仮想空間に存在する第２キャラクタを操作する第２ユーザに関連する前記現実世界の情報を取得する第２情報取得手段と、
前記第２ユーザにおける前記第１キャラクタの表示態様が、前記第１ユーザに関連する前記現実世界の情報を反映したものとなるように、当該情報に応じて前記第１キャラクタの表示態様を変化させる第１変化手段と、
前記第１ユーザにおける前記第２キャラクタの表示態様が、前記第２ユーザに関連する前記現実世界の情報を反映したものとなるように、当該情報に応じて前記第２キャラクタの表示態様を変化させる第２変化手段と、を備える
情報処理システム。
前記仮想空間に存在する第２キャラクタを操作する第２ユーザに関連する前記現実世界の情報を取得する第２情報取得手段と、
前記第２ユーザにおける前記第１キャラクタの表示態様が、前記第１ユーザに関連する前記現実世界の情報を反映したものとなるように、当該情報に応じて前記第１キャラクタの表示態様を変化させる第１変化手段と、
前記第１ユーザにおける前記第２キャラクタの表示態様が、前記第２ユーザに関連する前記現実世界の情報を反映したものとなるように、当該情報に応じて前記第２キャラクタの表示態様を変化させる第２変化手段と、を備える
情報処理システム。
【手続補正書】
【提出日】2023-07-11
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
コンピュータを、
仮想空間に存在する第１キャラクタを操作する第１ユーザに関連する現実世界の情報を取得する第１情報取得手段と、
前記仮想空間に存在する第２キャラクタを操作するとともに前記第１ユーザと特定の関係性を有する第２ユーザに関連する前記現実世界の情報を取得する第２情報取得手段と、
前記第２ユーザにおける前記第１キャラクタの表示態様が、前記第１ユーザに関連する前記現実世界の情報を反映したものとなるように、当該情報に応じて前記第１キャラクタの表示態様を変化させる第１変化手段と、
前記第１ユーザにおける前記第２キャラクタの表示態様が、前記第２ユーザに関連する前記現実世界の情報を反映したものとなるように、当該情報に応じて前記第２キャラクタの表示態様を変化させる第２変化手段と、として機能させ、
前記第２ユーザにおける前記第１キャラクタの表示態様が、前記第１ユーザに関連する前記現実世界の情報を反映したものとなるように変化する際に、前記仮想空間に存在する第３キャラクタを操作し前記第１ユーザと前記特定の関係性を有しない第３ユーザにおける前記第１キャラクタの表示態様が、前記第１ユーザに関連する前記現実世界の情報を反映したものとなるように変化しない
プログラム。
仮想空間に存在する第１キャラクタを操作する第１ユーザに関連する現実世界の情報を取得する第１情報取得手段と、
前記仮想空間に存在する第２キャラクタを操作するとともに前記第１ユーザと特定の関係性を有する第２ユーザに関連する前記現実世界の情報を取得する第２情報取得手段と、
前記第２ユーザにおける前記第１キャラクタの表示態様が、前記第１ユーザに関連する前記現実世界の情報を反映したものとなるように、当該情報に応じて前記第１キャラクタの表示態様を変化させる第１変化手段と、
前記第１ユーザにおける前記第２キャラクタの表示態様が、前記第２ユーザに関連する前記現実世界の情報を反映したものとなるように、当該情報に応じて前記第２キャラクタの表示態様を変化させる第２変化手段と、として機能させ、
前記第２ユーザにおける前記第１キャラクタの表示態様が、前記第１ユーザに関連する前記現実世界の情報を反映したものとなるように変化する際に、前記仮想空間に存在する第３キャラクタを操作し前記第１ユーザと前記特定の関係性を有しない第３ユーザにおける前記第１キャラクタの表示態様が、前記第１ユーザに関連する前記現実世界の情報を反映したものとなるように変化しない
プログラム。
【請求項2】
前記第１ユーザに関連する前記現実世界の情報は、前記第１ユーザの位置情報に基づく情報であり、
前記第２ユーザに関連する前記現実世界の情報は、前記第２ユーザの位置情報に基づく情報である
請求項１に記載のプログラム。
前記第２ユーザに関連する前記現実世界の情報は、前記第２ユーザの位置情報に基づく情報である
請求項１に記載のプログラム。
【請求項3】
前記第１ユーザに関連する前記現実世界の情報は、前記第１ユーザの位置情報に基づく前記現実世界の環境に関する情報であり、
前記第２ユーザに関連する前記現実世界の情報は、前記第２ユーザの位置情報に基づく前記現実世界の環境に関する情報である
請求項２に記載のプログラム。
前記第２ユーザに関連する前記現実世界の情報は、前記第２ユーザの位置情報に基づく前記現実世界の環境に関する情報である
請求項２に記載のプログラム。
【請求項4】
前記第１ユーザに関連する前記現実世界の情報は、前記第１ユーザの位置情報に基づく気象情報であり、
前記第２ユーザに関連する前記現実世界の情報は、前記第２ユーザの位置情報に基づく気象情報である
請求項２に記載のプログラム。
前記第２ユーザに関連する前記現実世界の情報は、前記第２ユーザの位置情報に基づく気象情報である
請求項２に記載のプログラム。
【請求項5】
前記第１ユーザに関連する前記現実世界の情報は、前記第１ユーザの生体情報、または当該生体情報に基づいて得られる情報であり、
前記第２ユーザに関連する前記現実世界の情報は、前記第２ユーザの生体情報、または当該生体情報に基づいて得られる情報である
請求項１に記載のプログラム。
前記第２ユーザに関連する前記現実世界の情報は、前記第２ユーザの生体情報、または当該生体情報に基づいて得られる情報である
請求項１に記載のプログラム。
【請求項6】
前記第１変化手段は、前記第１キャラクタの表示態様を、前記第１キャラクタに前記第１ユーザに関連する前記現実世界の情報に応じたオブジェクトが付加された表示態様に設定可能な
請求項１～５のいずれか１項に記載のプログラム。
請求項１～５のいずれか１項に記載のプログラム。
【請求項7】
仮想空間に存在する第１キャラクタを操作する第１ユーザに関連する現実世界の情報を取得する第１情報取得手段と、
前記仮想空間に存在する第２キャラクタを操作するとともに前記第１ユーザと特定の関係性を有する第２ユーザに関連する前記現実世界の情報を取得する第２情報取得手段と、
前記第２ユーザにおける前記第１キャラクタの表示態様が、前記第１ユーザに関連する前記現実世界の情報を反映したものとなるように、当該情報に応じて前記第１キャラクタの表示態様を変化させる第１変化手段と、
前記第１ユーザにおける前記第２キャラクタの表示態様が、前記第２ユーザに関連する前記現実世界の情報を反映したものとなるように、当該情報に応じて前記第２キャラクタの表示態様を変化させる第２変化手段と、を備え、
前記第２ユーザにおける前記第１キャラクタの表示態様が、前記第１ユーザに関連する前記現実世界の情報を反映したものとなるように変化する際に、前記仮想空間に存在する第３キャラクタを操作し前記第１ユーザと前記特定の関係性を有しない第３ユーザにおける前記第１キャラクタの表示態様が、前記第１ユーザに関連する前記現実世界の情報を反映したものとなるように変化しない
情報処理システム。
前記仮想空間に存在する第２キャラクタを操作するとともに前記第１ユーザと特定の関係性を有する第２ユーザに関連する前記現実世界の情報を取得する第２情報取得手段と、
前記第２ユーザにおける前記第１キャラクタの表示態様が、前記第１ユーザに関連する前記現実世界の情報を反映したものとなるように、当該情報に応じて前記第１キャラクタの表示態様を変化させる第１変化手段と、
前記第１ユーザにおける前記第２キャラクタの表示態様が、前記第２ユーザに関連する前記現実世界の情報を反映したものとなるように、当該情報に応じて前記第２キャラクタの表示態様を変化させる第２変化手段と、を備え、
前記第２ユーザにおける前記第１キャラクタの表示態様が、前記第１ユーザに関連する前記現実世界の情報を反映したものとなるように変化する際に、前記仮想空間に存在する第３キャラクタを操作し前記第１ユーザと前記特定の関係性を有しない第３ユーザにおける前記第１キャラクタの表示態様が、前記第１ユーザに関連する前記現実世界の情報を反映したものとなるように変化しない
情報処理システム。