特許 6242473 仮想空間を提供するための方法、および当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6242473

(24)【登録日】2017年11月17日

(45)【発行日】2017年12月6日

(54)【発明の名称】仮想空間を提供するための方法、および当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置

(51)【国際特許分類】

   G06T 19/00 20110101AFI20171127BHJP

   G06F 3/0481 20130101ALI20171127BHJP

   G06F 3/0484 20130101ALI20171127BHJP

   G06F 3/0346 20130101ALI20171127BHJP

   G06F 3/01 20060101ALI20171127BHJP

【ＦＩ】

   G06T19/00 300B

   G06F3/0481 150

   G06F3/0484

   G06F3/0346 423

   G06F3/01 510

【請求項の数】10

【全頁数】33

(21)【出願番号】特願2016-249394(P2016-249394)

(22)【出願日】2016年12月22日

【審査請求日】2017年5月9日

【早期審査対象出願】

(73)【特許権者】

【識別番号】509070463

【氏名又は名称】株式会社コロプラ

(74)【代理人】

【識別番号】110001195

【氏名又は名称】特許業務法人深見特許事務所

(72)【発明者】

【氏名】澤木 一晃

(72)【発明者】

【氏名】菊地 英太

【審査官】 真木 健彦

(56)【参考文献】

【文献】 国際公開第２０１５／１６２９４７（ＷＯ，Ａ１）

【文献】 特開２０１１−１１８８３４（ＪＰ，Ａ）

【文献】 特開２０１６−１２２４４３（ＪＰ，Ａ）

【文献】 特開２０１４−１９１７１８（ＪＰ，Ａ）

【文献】 特開２０１６−１４００７８（ＪＰ，Ａ）

【文献】 湯本 貢司，大規模仮想環境における共同注意を支援する視覚化手法の提案，電子情報通信学会技術研究報告 Ｖｏｌ．１０８ Ｎｏ．２２６，日本，社団法人電子情報通信学会，２００８年 ９月２５日，MVE2008-59 (2008-10)，P.79-84，ISSN 0913-5685

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １９／００

(57)【特許請求の範囲】

【請求項1】

仮想空間におけるアバターオブジェクトの大きさを調節するための方法であって、
パノラマ画像を用いて仮想空間を構成するステップと、
ヘッドマウントデバイスに前記パノラマ画像の一部を表示するステップと、
前記ヘッドマウントデバイスを装着したユーザの頭の動きを検知するステップと、
前記ヘッドマウントデバイスに表示される前記パノラマ画像の一部を、前記検知された動きに連動して更新するステップと、
前記仮想空間を介して通信するユーザのアバターオブジェクトを前記仮想空間に配置するステップと、
前記パノラマ画像に予め関連付けられた情報に基づいて前記アバターオブジェクトの大きさを調節するステップとを備える、方法。

【請求項2】

前記関連付けられた情報は、前記アバターオブジェクトの表示倍率を含む、請求項１に記載の方法。

【請求項3】

前記関連付けられた情報は、前記パノラマ画像に含まれる物体を特定する情報を含み、
前記アバターオブジェクトの大きさを調節するステップは、
前記仮想空間および現実空間における前記物体の大きさを特定することと、
前記特定した前記仮想空間および現実空間における前記物体の大きさに基づいて、前記アバターオブジェクトの表示倍率を調節することとを含む、請求項１に記載の方法。

【請求項4】

仮想空間におけるアバターオブジェクトの大きさを調節するための方法であって、
パノラマ画像を用いて仮想空間を構成するステップと、
ヘッドマウントデバイスに前記パノラマ画像の一部を表示するステップと、
前記ヘッドマウントデバイスを装着したユーザの頭の動きを検知するステップと、
前記ヘッドマウントデバイスに表示される前記パノラマ画像の一部を、前記検知された動きに連動して更新するステップと、
前記仮想空間を介して通信するユーザのアバターオブジェクトを前記仮想空間に配置するステップと、
前記ヘッドマウントデバイスに前記パノラマ画像の一部を表示する前に、前記パノラマ画像に含まれる物体の大きさに基づいて前記アバターオブジェクトの大きさを調節するステップとを備える、方法。

【請求項5】

前記アバターオブジェクトの大きさを調節するステップは、
前記パノラマ画像から予め定められた種類の物体を検出することと、
前記仮想空間および現実空間における前記検出された物体の大きさを特定することと、
前記特定した前記仮想空間および現実空間における前記検出された物体の大きさに基づいて、前記アバターオブジェクトの表示倍率を調節することとを含む、請求項４に記載の方法。

【請求項6】

前記予め定められた種類の物体は、人間を含む、請求項５に記載の方法。

【請求項7】

前記パノラマ画像は、動画像を含む、請求項１〜６のいずれか１項に記載の方法。

【請求項8】

前記パノラマ画像は、全天球画像を含む、請求項１〜７のいずれか１項に記載の方法。

【請求項9】

請求項１〜８のいずれか１項に記載の方法をコンピュータに実現させるためのプログラム。

【請求項10】

請求項９に記載のプログラムを格納したメモリと、
前記プログラムを実行するためのプロセッサとを備える、情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

この開示は、仮想空間に配置されるアバターを制御する技術に関し、より特定的には、アバターの表情を制御する技術に関する。

【背景技術】

【0002】

ヘッドマウントデバイス（ＨＭＤ：Head-Mounted Device）を用いて仮想空間（仮想現実）を提供する技術が知られている。また、仮想空間上に、複数のユーザの各々のアバターを配置する技術が提案されている。

【0003】

例えば、特開２００３−１４１５６３号公報（特許文献１）は、「対象者の頭部を正面と側面の２方向から撮影した撮影情報から、個人特定に必要な顔特徴点を抽出し、該顔特徴点に基づいて、頭部骨格、鼻、口、眉、目といった各顔部品の３次元構造を復元し、これら各顔部品を一体化して、顔３次元形状を復元」し、仮想空間での自分の分身（アバター）を構成する技術を開示している。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００３−１４１５６３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

近年、仮想空間上に複数のユーザの各々のアバターを配置し、これらアバターを通じてユーザ同士でコミュニケーションを図る技術が提案されている。この場合、あるユーザは、仮想空間を共有する他のユーザのアバターを仮想空間上で認識する。

【0006】

しかしながら、仮想空間を構成する物体との対比において、アバターが大きく、または小さく見えることがある。この場合、あるユーザは、仮想空間を構成する物体とアバターとの関係に違和感を感じて、他のユーザとのコミュニケーションに集中できない可能性がある。そのため、仮想空間を構成する物体とアバターとの関係に対するユーザの違和感を取り除くことができる技術が必要とされている。

【0007】

本開示は、上記のような問題を解決するためになされたものであって、ある局面における目的は、ユーザの仮想空間における体験をより豊かにすることができる技術を提供することである。

【課題を解決するための手段】

【0008】

ある実施の形態に従うと、仮想空間におけるアバターオブジェクトの大きさを調節するための方法が提供される。この方法は、パノラマ画像を用いて仮想空間を構成するステップと、ヘッドマウントデバイスにパノラマ画像の一部を表示するステップと、ヘッドマウントデバイスを装着したユーザの頭の動きを検知するステップと、ヘッドマウントデバイスに表示されるパノラマ画像の一部を、検知された動きに連動して更新するステップと、仮想空間を介して通信するユーザのアバターオブジェクトを仮想空間に配置するステップと、パノラマ画像に関連付けられた情報に基づいてアバターオブジェクトの大きさを調節するステップとを備える。

【0009】

開示された技術的特徴の上記および他の目的、特徴、局面および利点は、添付の図面と関連して理解されるこの発明に関する次の詳細な説明から明らかとなるであろう。

【図面の簡単な説明】

【0010】

【図1】ＨＭＤシステムの構成の概略を示す図である。

【図2】ある局面に従うコンピュータのハードウェア構成の一例を表すブロック図である。

【図3】ある実施の形態に従うＨＭＤに設定されるｕｖｗ視野座標系を概念的に表す図である。

【図4】ある実施の形態に従う仮想空間を表現する一態様を概念的に表す図である。

【図5】ある実施の形態に従うＨＭＤを装着するユーザの頭部を上から表した模式図である。

【図6】仮想空間において視認領域をＸ方向から見たＹＺ断面を表す図である。

【図7】仮想空間において視認領域をＹ方向から見たＸＺ断面を表す図である。

【図8】ある実施の形態に従うコントローラの概略構成を表す図である。

【図9】ある実施の形態に従うコンピュータをモジュール構成として表わすブロック図である。

【図10】ＨＭＤシステムが実行する処理を表わすフローチャートである。

【図11】ＨＭＤセットの各ユーザのアバターオブジェクトを説明するための図である。

【図12】アバターオブジェクトの大きさが異なる２つの視界画像を示す図である。

【図13】サーバのハードウェア構成およびモジュール構成を説明する図である。

【図14】パノラマ画像ＤＢのデータ構造例を示す図である。

【図15】仮想空間におけるアバターオブジェクトの大きさを調節する制御について説明するフローチャートである。

【図16】パノラマ画像に含まれる物体を特定する情報を説明するための図である。

【図17】パノラマ画像ＤＢ１３３８Ｘのデータ構造例を示す図である。

【図18】図１５のＳ１５１２でサーバがアバターオブジェクトの表示倍率を決定する処理を説明するためのフローチャートである。

【図19】アバターオブジェクトの大きさを調整する処理について説明するための図である。

【図20】ある実施の形態に従うテンプレートＤＢのデータ構造例を示す図である。

【図21】図１５のＳ１５１２でサーバがアバターオブジェクトの表示倍率を決定する処理を説明するためのフローチャートである。

【発明を実施するための形態】

【0011】

以下、この技術的思想の実施の形態について図面を参照しながら詳細に説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。なお、以下で説明される各実施の形態は、適宜選択的に組み合わされてもよい。

【0012】

［ＨＭＤシステムの構成］
図１を参照して、ＨＭＤ（Head-Mounted Device）システム１００の構成について説明する。図１は、ＨＭＤシステム１００の構成の概略を示す。ＨＭＤシステム１００は、家庭用のシステムとしてあるいは業務用のシステムとして提供される。

【0013】

ＨＭＤシステム１００は、ＨＭＤ（Head-Mounted Device）セット１０５Ａ，１０５Ｂ，１０５Ｃ，１０５Ｄと、ネットワーク１９とサーバ１５０とを含む。ＨＭＤセット１０５Ａ，１０５Ｂ，１０５Ｃ，１０５Ｄの各々は、ネットワーク１９を介してサーバ１５０と通信可能に構成される。以下、ＨＭＤセット１０５Ａ，１０５Ｂ，１０５Ｃ，１０５Ｄを総称して、ＨＭＤセット１０５とも言う。なお、ＨＭＤシステム１００を構成するＨＭＤセット１０５の数は、４つに限られず、３つ以下でも、５つ以上でもよい。ＨＭＤセット１０５は、ＨＭＤ１１０と、ＨＭＤセンサ１２０と、コントローラ１６０と、コンピュータ２００とを備える。ＨＭＤ１１０は、モニタ１１２と、スピーカ１１８と、マイク１１９と、注視センサ１４０とを含む。コントローラ１６０は、モーションセンサ１３０を含み得る。

【0014】

ある局面において、コンピュータ２００は、インターネットその他のネットワーク１９に接続可能であり、ネットワーク１９に接続されているサーバ１５０その他のコンピュータ（例えば、他のＨＭＤセット１０５のコンピュータ）と通信可能である。別の局面において、ＨＭＤ１１０は、ＨＭＤセンサ１２０の代わりに、センサ１１４を含み得る。

【0015】

ＨＭＤ１１０は、ユーザの頭部に装着され、動作中に仮想空間をユーザに提供し得る。より具体的には、ＨＭＤ１１０は、右目用の画像および左目用の画像をモニタ１１２にそれぞれ表示する。ユーザの各目がそれぞれの画像を視認すると、ユーザは、両目の視差に基づき当該画像を３次元の画像として認識し得る。ＨＭＤ１００は、モニタを備える所謂ヘッドマウントディスプレイと、スマートフォンその他のモニタを有する端末を装着可能なヘッドマウント機器のいずれをも含み得る。

【0016】

モニタ１１２は、例えば、非透過型の表示装置として実現される。ある局面において、モニタ１１２は、ユーザの両目の前方に位置するようにＨＭＤ１１０の本体に配置されている。したがって、ユーザは、モニタ１１２に表示される３次元画像を視認すると、仮想空間に没入することができる。ある実施の形態において、仮想空間は、例えば、背景、ユーザが操作可能なオブジェクト、ユーザが選択可能なメニューの画像を含む。ある実施の形態において、モニタ１１２は、所謂スマートフォンその他の情報表示端末が備える液晶モニタまたは有機ＥＬ（Electro Luminescence）モニタとして実現され得る。

【0017】

他の局面において、モニタ１１２は、透過型の表示装置として実現され得る。この場合、ＨＭＤ１１０は、図１に示されるようにユーザの目を覆う密閉型ではなく、メガネ型のような開放型であり得る。透過型のモニタ１１２は、その透過率を調整することにより、一時的に非透過型の表示装置として構成可能であってもよい。また、モニタ１１２は、仮想空間を構成する画像の一部と、現実空間とを同時に表示する構成を含んでいてもよい。例えば、モニタ１１２は、ＨＭＤ１１０に搭載されたカメラで撮影した現実空間の画像を表示してもよいし、一部の透過率を高く設定することにより現実空間を視認可能にしてもよい。

【0018】

ある局面において、モニタ１１２は、右目用の画像を表示するためのサブモニタと、左目用の画像を表示するためのサブモニタとを含み得る。別の局面において、モニタ１１２は、右目用の画像と左目用の画像とを一体として表示する構成であってもよい。この場合、モニタ１１２は、高速シャッタを含む。高速シャッタは、画像がいずれか一方の目にのみ認識されるように、右目用の画像と左目用の画像とを交互に表示可能に作動する。

【0019】

ある局面において、ＨＭＤ１１０は、複数の光源（図示しない）を含む。各光源は例えば、赤外線を発するＬＥＤ（Light Emitting Diode）により実現される。ＨＭＤセンサ１２０は、ＨＭＤ１１０の動きを検出するためのポジショントラッキング機能を有する。より具体的には、ＨＭＤセンサ１２０は、ＨＭＤ１１０が発する複数の赤外線を読み取り、現実空間内におけるＨＭＤ１１０の位置および傾きを検出する。

【0020】

なお、別の局面において、ＨＭＤセンサ１２０は、カメラにより実現されてもよい。この場合、ＨＭＤセンサ１２０は、カメラから出力されるＨＭＤ１１０の画像情報を用いて、画像解析処理を実行することにより、ＨＭＤ１１０の位置および傾きを検出することができる。

【0021】

別の局面において、ＨＭＤ１１０は、位置検出器として、ＨＭＤセンサ１２０の代わりに、センサ１１４を備えてもよい。ＨＭＤ１１０は、センサ１１４を用いて、ＨＭＤ１１０自身の位置および傾きを検出し得る。例えば、センサ１１４が角速度センサ、地磁気センサ、加速度センサ、あるいはジャイロセンサ等である場合、ＨＭＤ１１０は、ＨＭＤセンサ１２０の代わりに、これらの各センサのいずれかを用いて、自身の位置および傾きを検出し得る。一例として、センサ１１４が角速度センサである場合、角速度センサは、現実空間におけるＨＭＤ１１０の３軸周りの角速度を経時的に検出する。ＨＭＤ１１０は、各角速度に基づいて、ＨＭＤ１１０の３軸周りの角度の時間的変化を算出し、さらに、角度の時間的変化に基づいて、ＨＭＤ１１０の傾きを算出する。

【0022】

スピーカ１１８は、音声信号を音声に変換してユーザ１９０に出力する。マイク１１９は、ユーザ１９０の発話を電気信号に変換してコンピュータ２００に出力する。なお、他の局面において、ＨＭＤ１１０は、スピーカ１１８に替えてイヤホンを含み得る。

【0023】

注視センサ１４０は、ユーザ１９０の右目および左目の視線が向けられる方向（視線）を検出する。当該方向の検出は、例えば、公知のアイトラッキング機能によって実現される。注視センサ１４０は、当該アイトラッキング機能を有するセンサにより実現される。ある局面において、注視センサ１４０は、右目用のセンサおよび左目用のセンサを含むことが好ましい。注視センサ１４０は、例えば、ユーザ１９０の右目および左目に赤外光を照射するとともに、照射光に対する角膜および虹彩からの反射光を受けることにより各眼球の回転角を検出するセンサであってもよい。注視センサ１４０は、検出した各回転角に基づいて、ユーザ１９０の視線を検知することができる。

【0024】

サーバ１５０は、コンピュータ２００にプログラムを送信し得る。別の局面において、サーバ１５０は、他のユーザによって使用される他のＨＭＤセット１０５を構成するコンピュータ２００と通信し得る。例えば、アミューズメント施設において、複数のユーザが参加型のゲームを行なう場合、各コンピュータ２００は、各ユーザの動作に基づく信号を他のコンピュータ２００と通信して、同じ仮想空間において複数のユーザが共通のゲームを楽しむことを可能にする。

【0025】

コントローラ１６０は、有線または無線によりコンピュータ２００に接続されている。コントローラ１６０は、ユーザ１９０からコンピュータ２００への命令の入力を受け付ける。ある局面において、コントローラ１６０は、ユーザ１９０によって把持可能に構成される。別の局面において、コントローラ１６０は、ユーザ１９０の身体あるいは衣類の一部に装着可能に構成される。別の局面において、コントローラ１６０は、コンピュータ２００から送信される信号に基づいて、振動、音、光のうちの少なくともいずれかを出力するように構成されてもよい。別の局面において、コントローラ１６０は、ユーザ１９０から、仮想空間に配置されるオブジェクトの位置や動きを制御するための操作を受け付ける。

【0026】

モーションセンサ１３０は、ある局面において、ユーザの手に取り付けられて、ユーザの手の動きを検出する。例えば、モーションセンサ１３０は、手の回転速度、回転数等を検出する。検出された信号は、コンピュータ２００に送られる。モーションセンサ１３０は、例えば、手袋型のコントローラ１６０に設けられている。ある実施の形態において、現実空間における安全のため、コントローラ１６０は、手袋型のようにユーザ１９０の手に装着されることにより容易に飛んで行かないものに装着されるのが望ましい。別の局面において、ユーザ１９０に装着されないセンサがユーザ１９０の手の動きを検出してもよい。例えば、ユーザ１９０を撮影するカメラの信号が、ユーザ１９０の動作を表わす信号として、コンピュータ２００に入力されてもよい。モーションセンサ１３０とコンピュータ２００とは、一例として、無線により互いに接続される。無線の場合、通信形態は特に限られず、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）その他の公知の通信手法が用いられる。

【0027】

［ハードウェア構成］
図２を参照して、本実施の形態に係るコンピュータ２００について説明する。図２は、ある局面に従うコンピュータ２００のハードウェア構成の一例を表すブロック図である。コンピュータ２００は、主たる構成要素として、プロセッサ１０と、メモリ１１と、ストレージ１２と、入出力インターフェイス１３と、通信インターフェイス１４とを備える。各構成要素は、それぞれ、バス１５に接続されている。

【0028】

プロセッサ１０は、コンピュータ２００に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ１１またはストレージ１２に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ１０は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processor Unit）、ＦＰＧＡ（Field-Programmable Gate Array）その他のデバイスとして実現される。

【0029】

メモリ１１は、プログラムおよびデータを一時的に保存する。プログラムは、例えば、ストレージ１２からロードされる。データは、コンピュータ２００に入力されたデータと、プロセッサ１０によって生成されたデータとを含む。ある局面において、メモリ１１は、ＲＡＭ（Random Access Memory）その他の揮発メモリとして実現される。

【0030】

ストレージ１２は、プログラムおよびデータを永続的に保持する。ストレージ１２は、例えば、ＲＯＭ（Read-Only Memory）、ハードディスク装置、フラッシュメモリ、その他の不揮発記憶装置として実現される。ストレージ１２に格納されるプログラムは、ＨＭＤシステム１００において仮想空間を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、他のコンピュータ２００との通信を実現するためのプログラムを含む。ストレージ１２に格納されるデータは、仮想空間を規定するためのデータおよびオブジェクト等を含む。

【0031】

なお、別の局面において、ストレージ１２は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに別の局面において、コンピュータ２００に内蔵されたストレージ１２の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。このような構成によれば、例えば、アミューズメント施設のように複数のＨＭＤシステム１００が使用される場面において、プログラムやデータの更新を一括して行なうことが可能になる。

【0032】

ある実施の形態において、入出力インターフェイス１３は、ＨＭＤ１１０、ＨＭＤセンサ１２０およびモーションセンサ１３０との間で信号を通信する。ある局面において、ＨＭＤ１１０に含まれるスピーカ１１８，およびマイク１１９は、ＨＭＤ１１０のインターフェイスを介してコンピュータ２００との通信を行ない得る。ある局面において、入出力インターフェイス１３は、ＵＳＢ（Universal Serial Bus）、ＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）その他の端子を用いて実現される。なお、入出力インターフェイス１３は上述のものに限られない。

【0033】

ある実施の形態において、入出力インターフェイス１３は、さらに、コントローラ１６０と通信し得る。例えば、入出力インターフェイス１３は、コントローラ１６０およびモーションセンサ１３０から出力された信号の入力を受ける。別の局面において、入出力インターフェイス１３は、プロセッサ１０から出力された命令を、コントローラ１６０に送る。当該命令は、振動、音声出力、発光等をコントローラ１６０に指示する。コントローラ１６０は、当該命令を受信すると、その命令に応じて、振動、音声出力または発光のいずれかを実行する。

【0034】

通信インターフェイス１４は、ネットワーク１９に接続されて、ネットワーク１９に接続されている他のコンピュータ（例えば、サーバ１５０）と通信する。ある局面において、通信インターフェイス１４は、例えば、ＬＡＮ（Local Area Network）その他の有線通信インターフェイス、あるいは、ＷｉＦｉ（Wireless Fidelity）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）その他の無線通信インターフェイスとして実現される。なお、通信インターフェイス１４は上述のものに限られない。

【0035】

ある局面において、プロセッサ１０は、ストレージ１２にアクセスし、ストレージ１２に格納されている１つ以上のプログラムをメモリ１１にロードし、当該プログラムに含まれる一連の命令を実行する。当該１つ以上のプログラムは、コンピュータ２００のオペレーティングシステム、仮想空間を提供するためのアプリケーションプログラム、仮想空間で実行可能なゲームソフトウェア等を含み得る。プロセッサ１０は、入出力インターフェイス１３を介して、仮想空間を提供するための信号をＨＭＤ１１０に送る。ＨＭＤ１１０は、その信号に基づいてモニタ１１２に映像を表示する。

【0036】

なお、図２に示される例では、コンピュータ２００は、ＨＭＤ１１０の外部に設けられる構成が示されているが、別の局面において、コンピュータ２００は、ＨＭＤ１１０に内蔵されてもよい。一例として、モニタ１１２を含む携帯型の情報通信端末（例えば、スマートフォン）がコンピュータ２００として機能してもよい。

【0037】

また、コンピュータ２００は、複数のＨＭＤ１１０に共通して用いられる構成であってもよい。このような構成によれば、例えば、複数のユーザに同一の仮想空間を提供することもできるので、各ユーザは同一の仮想空間で他のユーザと同一のアプリケーションを楽しむことができる。

【0038】

ある実施の形態において、ＨＭＤシステム１００では、グローバル座標系が予め設定されている。グローバル座標系は、現実空間における鉛直方向、鉛直方向に直交する水平方向、ならびに、鉛直方向および水平方向の双方に直交する前後方向にそれぞれ平行な、３つの基準方向（軸）を有する。本実施の形態では、グローバル座標系は視点座標系の一つである。そこで、グローバル座標系における水平方向、鉛直方向（上下方向）、および前後方向は、それぞれ、ｘ軸、ｙ軸、ｚ軸と規定される。より具体的には、グローバル座標系において、ｘ軸は現実空間の水平方向に平行である。ｙ軸は、現実空間の鉛直方向に平行である。ｚ軸は現実空間の前後方向に平行である。

【0039】

ある局面において、ＨＭＤセンサ１２０は、赤外線センサを含む。赤外線センサが、ＨＭＤ１１０の各光源から発せられた赤外線をそれぞれ検出すると、ＨＭＤ１１０の存在を検出する。ＨＭＤセンサ１２０は、さらに、各点の値（グローバル座標系における各座標値）に基づいて、ＨＭＤ１１０を装着したユーザ１９０の動きに応じた、現実空間内におけるＨＭＤ１１０の位置および傾きを検出する。より詳しくは、ＨＭＤセンサ１２０は、経時的に検出された各値を用いて、ＨＭＤ１１０の位置および傾きの時間的変化を検出できる。

【0040】

グローバル座標系は現実空間の座標系と平行である。したがって、ＨＭＤセンサ１２０によって検出されたＨＭＤ１１０の各傾きは、グローバル座標系におけるＨＭＤ１１０の３軸周りの各傾きに相当する。ＨＭＤセンサ１２０は、グローバル座標系におけるＨＭＤ１１０の傾きに基づき、ｕｖｗ視野座標系をＨＭＤ１１０に設定する。ＨＭＤ１１０に設定されるｕｖｗ視野座標系は、ＨＭＤ１１０を装着したユーザ１９０が仮想空間において物体を見る際の視点座標系に対応する。

【0041】

［ｕｖｗ視野座標系］
図３を参照して、ｕｖｗ視野座標系について説明する。図３は、ある実施の形態に従うＨＭＤ１１０に設定されるｕｖｗ視野座標系を概念的に表す。ＨＭＤセンサ１２０は、ＨＭＤ１１０の起動時に、グローバル座標系におけるＨＭＤ１１０の位置および傾きを検出する。プロセッサ１０は、検出された値に基づいて、ｕｖｗ視野座標系をＨＭＤ１１０に設定する。

【0042】

図３に示されるように、ＨＭＤ１１０は、ＨＭＤ１１０を装着したユーザの頭部を中心（原点）とした３次元のｕｖｗ視野座標系を設定する。より具体的には、ＨＭＤ１１０は、グローバル座標系を規定する水平方向、鉛直方向、および前後方向（ｘ軸、ｙ軸、ｚ軸）を、グローバル座標系内においてＨＭＤ１１０の各軸周りの傾きだけ各軸周りにそれぞれ傾けることによって新たに得られる３つの方向を、ＨＭＤ１１０におけるｕｖｗ視野座標系のピッチ方向（ｕ軸）、ヨー方向（ｖ軸）、およびロール方向（ｗ軸）として設定する。

【0043】

ある局面において、ＨＭＤ１１０を装着したユーザ１９０が直立し、かつ、正面を視認している場合、プロセッサ１０は、グローバル座標系に平行なｕｖｗ視野座標系をＨＭＤ１１０に設定する。この場合、グローバル座標系における水平方向（ｘ軸）、鉛直方向（ｙ軸）、および前後方向（ｚ軸）は、ＨＭＤ１１０におけるｕｖｗ視野座標系のピッチ方向（ｕ軸）、ヨー方向（ｖ軸）、およびロール方向（ｗ軸）に一致する。

【0044】

ｕｖｗ視野座標系がＨＭＤ１１０に設定された後、ＨＭＤセンサ１２０は、ＨＭＤ１１０の動きに基づいて、設定されたｕｖｗ視野座標系におけるＨＭＤ１１０の傾き（傾きの変化量）を検出できる。この場合、ＨＭＤセンサ１２０は、ＨＭＤ１１０の傾きとして、ｕｖｗ視野座標系におけるＨＭＤ１１０のピッチ角（θｕ）、ヨー角（θｖ）、およびロール角（θｗ）をそれぞれ検出する。ピッチ角（θｕ）は、ｕｖｗ視野座標系におけるピッチ方向周りのＨＭＤ１１０の傾き角度を表す。ヨー角（θｖ）は、ｕｖｗ視野座標系におけるヨー方向周りのＨＭＤ１１０の傾き角度を表す。ロール角（θｗ）は、ｕｖｗ視野座標系におけるロール方向周りのＨＭＤ１１０の傾き角度を表す。

【0045】

ＨＭＤセンサ１２０は、検出されたＨＭＤ１１０の傾き角度に基づいて、ＨＭＤ１１０が動いた後のＨＭＤ１１０におけるｕｖｗ視野座標系を、ＨＭＤ１１０に設定する。ＨＭＤ１１０と、ＨＭＤ１１０のｕｖｗ視野座標系との関係は、ＨＭＤ１１０の位置および傾きに関わらず、常に一定である。ＨＭＤ１１０の位置および傾きが変わると、当該位置および傾きの変化に連動して、グローバル座標系におけるＨＭＤ１１０のｕｖｗ視野座標系の位置および傾きが変化する。

【0046】

ある局面において、ＨＭＤセンサ１２０は、赤外線センサからの出力に基づいて取得される赤外線の光強度および複数の点間の相対的な位置関係（例えば、各点間の距離など）に基づいて、ＨＭＤ１１０の現実空間内における位置を、ＨＭＤセンサ１２０に対する相対位置として特定してもよい。また、プロセッサ１０は、特定された相対位置に基づいて、現実空間内（グローバル座標系）におけるＨＭＤ１１０のｕｖｗ視野座標系の原点を決定してもよい。

【0047】

［仮想空間］
図４を参照して、仮想空間についてさらに説明する。図４は、ある実施の形態に従う仮想空間２を表現する一態様を概念的に表す。仮想空間２は、中心２１の３６０度方向の全体を覆う全天球状の構造を有する。図４では、説明を複雑にしないために、仮想空間２のうちの上半分の天球が例示されている。

【0048】

コンピュータ２００は、パノラマ画像２２を用いて仮想空間２を構成する。より具体的には、仮想空間２では各メッシュが規定される。各メッシュの位置は、仮想空間２に規定されるＸＹＺ座標系における座標値として予め規定されている。コンピュータ２００は、パノラマ画像２２を構成する各部分画像を、対応する各メッシュにそれぞれ展開する。これにより、ユーザ１９０は、仮想空間２に展開されるパノラマ画像２２を視認できる。仮想空間２を構成するパノラマ画像は、静止画像のみならず、動画像を含み得る。また、パノラマ画像は、３６０度全方位にわたり画像が展開される全天球画像を含み得る。

【0049】

ある局面において、仮想空間２に展開されるパノラマ画像２２は、パノラマカメラ（例えば、全天球カメラ）が現実空間を撮影した画像であり得る。他の局面において、パノラマ画像２２は、複数のカメラが現実空間を撮影した画像を合成することにより生成された画像であり得る。

【0050】

ある局面において、仮想空間２では、中心２１を原点とするＸＹＺ座標系が規定される。ＸＹＺ座標系は、例えば、グローバル座標系に平行である。ＸＹＺ座標系は視点座標系の一種であるため、ＸＹＺ座標系における水平方向、鉛直方向（上下方向）、および前後方向は、それぞれＸ軸、Ｙ軸、Ｚ軸として規定される。したがって、ＸＹＺ座標系のＸ軸（水平方向）がグローバル座標系のｘ軸と平行であり、ＸＹＺ座標系のＹ軸（鉛直方向）がグローバル座標系のｙ軸と平行であり、ＸＹＺ座標系のＺ軸（前後方向）がグローバル座標系のｚ軸と平行である。

【0051】

ＨＭＤ１１０の起動時、すなわちＨＭＤ１１０の初期状態において、仮想カメラ１が、仮想空間２の中心２１に配置され得る。ある局面において、プロセッサ１０は、仮想カメラ１が撮影する画像をＨＭＤ１１０のモニタ１１２に表示する。仮想カメラ１は、現実空間におけるＨＭＤ１１０の動きに連動して、仮想空間２を同様に移動する。これにより、現実空間におけるＨＭＤ１１０の位置および向きの変化が、仮想空間２において同様に再現され得る。

【0052】

仮想カメラ１には、ＨＭＤ１１０の場合と同様に、ｕｖｗ視野座標系が規定される。仮想空間２における仮想カメラのｕｖｗ視野座標系は、現実空間（グローバル座標系）におけるＨＭＤ１１０のｕｖｗ視野座標系に連動するように規定されている。したがって、ＨＭＤ１１０の傾きが変化すると、それに応じて、仮想カメラ１の傾きも変化する。また、仮想カメラ１は、ＨＭＤ１１０を装着したユーザの現実空間における移動に連動して、仮想空間２において移動することもできる。

【0053】

コンピュータ２００のプロセッサ１０は、仮想カメラ１の配置位置と、基準視線５とに基づいて、仮想空間２における視認領域２３を規定する。視認領域２３は、仮想空間２に展開されるパノラマ画像２２のうち、ＨＭＤ１１０を装着したユーザが視認する領域に対応する。ある局面において、基準視線５は、現実空間におけるＨＭＤ１１０の傾き方向（ｗ方向）に一致する。

【0054】

注視センサ１４０によって検出されるユーザ１９０の視線は、ユーザ１９０が物体を視認する際の視点座標系における方向である。ＨＭＤ１１０のｕｖｗ視野座標系は、ユーザ１９０がモニタ１１２を視認する際の視点座標系に等しい。また、仮想カメラ１のｕｖｗ視野座標系は、ＨＭＤ１１０のｕｖｗ視野座標系に連動している。したがって、ある局面に従うＨＭＤシステム１００は、注視センサ１４０によって検出されたユーザ１９０の視線を、仮想カメラ１のｕｖｗ視野座標系におけるユーザの視線とみなすことができる。

【0055】

［ユーザの視線］
図５を参照して、ユーザの視線の決定について説明する。図５は、ある実施の形態に従うＨＭＤ１１０を装着するユーザ１９０の頭部を上から表した模式図である。

【0056】

ある局面において、注視センサ１４０は、ユーザ１９０の右目および左目の各視線を検出する。ある局面において、ユーザ１９０が近くを見ている場合、注視センサ１４０は、視線Ｒ１およびＬ１を検出する。別の局面において、ユーザ１９０が遠くを見ている場合、注視センサ１４０は、視線Ｒ２およびＬ２を検出する。この場合、ロール方向ｗに対して視線Ｒ２およびＬ２が成す角度は、ロール方向ｗに対して視線Ｒ１およびＬ１が成す角度よりも小さい。注視センサ１４０は、検出結果をコンピュータ２００に送信する。

【0057】

コンピュータ２００が、視線の検出結果として、視線Ｒ１およびＬ１の検出値を注視センサ１４０から受信した場合には、その検出値に基づいて、視線Ｒ１およびＬ１の交点である注視点Ｎ１を特定する。一方、コンピュータ２００は、視線Ｒ２およびＬ２の検出値を注視センサ１４０から受信した場合には、視線Ｒ２およびＬ２の交点を注視点として特定する。コンピュータ２００は、特定した注視点Ｎ１の位置に基づき、ユーザ１９０の視線Ｎ０を特定する。コンピュータ２００は、例えば、ユーザ１９０の右目Ｒと左目Ｌとを結ぶ直線の中点と、注視点Ｎ１とを通る直線の延びる方向を、視線Ｎ０として検出する。視線Ｎ０は、ユーザ１９０が両目により実際に視線を向けている方向である。また、視線Ｎ０は、視認領域２３に対してユーザ１９０が実際に視線を向けている方向に相当する。

【0058】

また、別の局面において、ＨＭＤシステム１００は、テレビジョン放送受信チューナを備えてもよい。このような構成によれば、ＨＭＤシステム１００は、仮想空間２においてテレビ番組を表示することができる。

【0059】

さらに別の局面において、ＨＭＤシステム１００は、インターネットに接続するための通信回路、あるいは、電話回線に接続するための通話機能を備えていてもよい。

【0060】

［視界領域］
図６および図７を参照して、視認領域２３について説明する。図６は、仮想空間２において視認領域２３をＸ方向から見たＹＺ断面を表す。図７は、仮想空間２において視認領域２３をＹ方向から見たＸＺ断面を表す。

【0061】

図６に示されるように、ＹＺ断面における視認領域２３は、領域２４を含む。領域２４は、仮想カメラ１の配置位置と基準視線５と仮想空間２のＹＺ断面とによって定義される。プロセッサ１０は、仮想空間おける基準視線５を中心として極角αを含む範囲を、領域２４として規定する。

【0062】

図７に示されるように、ＸＺ断面における視認領域２３は、領域２５を含む。領域２５は、仮想カメラ１の配置位置と基準視線５と仮想空間２のＸＺ断面とによって定義される。プロセッサ１０は、仮想空間２における基準視線５を中心とした方位角βを含む範囲を、領域２５として規定する。極角αおよびβは、仮想カメラ１の配置位置と仮想カメラ１の向きとに応じて定まる。

【0063】

ある局面において、ＨＭＤシステム１００は、コンピュータ２００からの信号に基づいて、視界画像２６をモニタ１１２に表示させることにより、ユーザ１９０に仮想空間における視界を提供する。視界画像２６は、パノラマ画像２２のうち視認領域２３に重畳する部分に相当する。換言すれば、視界画像２６は、パノラマ画像２２の一部であり得る。ユーザ１９０が、頭に装着したＨＭＤ１１０を動かすと、その動きに連動して仮想カメラ１も動く。その結果、仮想空間２における視認領域２３の位置が変化する。これにより、モニタ１１２に表示される視界画像２６は、パノラマ画像２２のうち、仮想空間２においてユーザ１９０が向いた方向の視認領域２３に重畳する画像（すなわち、パノラマ画像２２の一部）に更新される。ユーザは、仮想空間２における所望の方向を視認することができる。

【0064】

このように、仮想カメラ１の向き（傾き）は仮想空間２におけるユーザの視線（基準視線５）に相当し、仮想カメラ１が配置される位置は、仮想空間２におけるユーザの視点に相当する。したがって、仮想カメラ１を移動（配置位置を変える動作、向きを変える動作を含む）させることにより、モニタ１１２に表示される画像が更新され、ユーザ１９０の視界が移動される。

【0065】

ユーザ１９０は、ＨＭＤ１１０を装着している間、現実世界を視認することなく、仮想空間２に展開されるパノラマ画像２２の一部を視認する。そのため、ＨＭＤシステム１００は、仮想空間２への高い没入感覚をユーザに与えることができる。

【0066】

ある局面において、プロセッサ１０は、ＨＭＤ１１０を装着したユーザ１９０の現実空間における移動に連動して、仮想空間２において仮想カメラ１を移動し得る。この場合、プロセッサ１０は、仮想空間２における仮想カメラ１の位置および向きに基づいて、ＨＭＤ１１０のモニタ１１２に投影される画像領域（すなわち、仮想空間２における視認領域２３）を特定する。

【0067】

ある実施の形態に従うと、仮想カメラ１は、２つの仮想カメラ、すなわち、右目用の画像を提供するための仮想カメラと、左目用の画像を提供するための仮想カメラとを含み得る。また、ユーザ１９０が３次元の仮想空間２を認識できるように、適切な視差が、２つの仮想カメラに設定される。本実施の形態においては、仮想カメラ１が２つの仮想カメラを含み、２つの仮想カメラのロール方向が合成されることによって生成されるロール方向（ｗ）がＨＭＤ１１０のロール方向（ｗ）に適合されるように構成されているものとして、本開示に係る技術思想を例示する。

【0068】

［コントローラ］
図８を参照して、コントローラ１６０の一例について説明する。図８は、ある実施の形態に従うコントローラ１６０の概略構成を表す。図８に示されるように、ある局面において、コントローラ１６０は、右コントローラ８００と左コントローラとを含み得る。右コントローラ８００は、ユーザ１９０の右手で操作される。左コントローラは、ユーザ１９０の左手で操作される。ある局面において、右コントローラ８００と左コントローラとは、別個の装置として対称に構成される。したがって、ユーザ１９０は、右コントローラ８００を把持した右手と、左コントローラを把持した左手とをそれぞれ自由に動かすことができる。別の局面において、コントローラ１６０は両手の操作を受け付ける一体型のコントローラであってもよい。以下、右コントローラ８００について説明する。

【0069】

右コントローラ８００は、グリップ３０と、フレーム３１と、天面３２とを備える。グリップ３０は、ユーザ１９０の右手によって把持されるように構成されている。例えば、グリップ３０は、ユーザ１９０の右手の掌と３本の指（中指、薬指、小指）とによって保持され得る。

【0070】

グリップ３０は、ボタン３３，３４と、モーションセンサ１３０とを含む。ボタン３３は、グリップ３０の側面に配置され、右手の中指による操作を受け付ける。ボタン３４は、グリップ３０の前面に配置され、右手の人差し指による操作を受け付ける。ある局面において、ボタン３３，３４は、トリガー式のボタンとして構成される。モーションセンサ１３０は、グリップ３０の筐体に内蔵されている。なお、ユーザ１９０の動作がカメラその他の装置によってユーザ１９０の周りから検出可能である場合には、グリップ３０は、モーションセンサ１３０を備えなくてもよい。

【0071】

フレーム３１は、その円周方向に沿って配置された複数の赤外線ＬＥＤ３５を含む。赤外線ＬＥＤ３５は、コントローラ１６０を使用するプログラムの実行中に、当該プログラムの進行に合わせて赤外線を発光する。赤外線ＬＥＤ３５から発せられた赤外線は、右コントローラ８００と左コントローラ（図示しない）との各位置や姿勢（傾き、向き）を検出するために使用され得る。例えば、センサ１２０は、コントローラ１６０が発する光を受光可能に構成される。図８に示される例では、二列に配置された赤外線ＬＥＤ３５が示されているが、配列の数は図８に示されるものに限られない。一列あるいは３列以上の配列が使用されてもよい。

【0072】

天面３２は、ボタン３６，３７と、アナログスティック３８とを備える。ボタン３６，３７は、プッシュ式ボタンとして構成される。ボタン３６，３７は、ユーザ１９０の右手の親指による操作を受け付ける。アナログスティック３８は、ある局面において、初期位置（ニュートラルの位置）から３６０度任意の方向への操作を受け付ける。当該操作は、例えば、仮想空間２に配置されるオブジェクトを移動するための操作を含む。

【0073】

ある局面において、右コントローラ８００および左コントローラは、赤外線ＬＥＤ３５その他の部材を駆動するための電池を含む。電池は、１次電池および２次電池のいずれであってもよく、その形状は、ボタン型、乾電池型など任意であり得る。別の局面において、右コントローラ８００と左コントローラは、例えば、コンピュータ２００のＵＳＢインターフェイスに接続され得る。この場合、右コントローラ８００および左コントローラは、ＵＳＢインターフェイスを介して電力を供給され得る。

【0074】

［ＨＭＤの制御装置］
図９を参照して、ＨＭＤ１１０の制御装置について説明する。ある実施の形態において、制御装置は周知の構成を有するコンピュータ２００によって実現される。図９は、ある実施の形態に従うコンピュータ２００をモジュール構成として表わすブロック図である。

【0075】

図９に示されるように、コンピュータ２００は、表示制御モジュール２２０と、仮想空間制御モジュール２３０と、メモリモジュール２４０と、通信制御モジュール２５０とを備える。表示制御モジュール２２０は、サブモジュールとして、仮想カメラ制御モジュール２２１と、視界領域決定モジュール２２２と、視界画像生成モジュール２２３と、基準視線特定モジュール２２４とを含む。仮想空間制御モジュール２３０は、サブモジュールとして、仮想空間定義モジュール２３１と、仮想オブジェクト生成モジュール２３２と、操作オブジェクト制御モジュール２３３と、アバター制御モジュール２３４とを含む。

【0076】

ある実施の形態において、表示制御モジュール２２０と仮想空間制御モジュール２３０とは、プロセッサ１０によって実現される。別の実施の形態において、複数のプロセッサ１０が表示制御モジュール２２０と仮想空間制御モジュール２３０として作動してもよい。メモリモジュール２４０は、メモリ１１またはストレージ１２によって実現される。通信制御モジュール２５０は、通信インターフェイス１４によって実現される。

【0077】

ある局面において、表示制御モジュール２２０は、ＨＭＤ１１０のモニタ１１２における画像表示を制御する。

【0078】

仮想カメラ制御モジュール２２１は、仮想空間２に仮想カメラ１を配置する。また、仮想カメラ制御モジュール２２１は、仮想空間２における仮想カメラ１の配置位置と、仮想カメラ１の向き（傾き）を制御する。視界領域決定モジュール２２２は、ＨＭＤ１１０を装着したユーザの頭の向きと、仮想カメラ１の配置位置に応じて、視認領域２３を規定する。視界画像生成モジュール２２３は、決定された視認領域２３に基づいて、モニタ１１２に表示される視界画像２６を生成する。

【0079】

基準視線特定モジュール２２４は、ＨＭＤセンサ１２０の出力に基づいてＨＭＤ１１０の傾き方向（ｗ方向）を検知する。ＨＭＤセンサ１２０は、ＨＭＤ１１０が出力する赤外光を検知して、ＨＭＤ１１０の傾きを検知する。他の局面において、基準視線特定モジュール２２４は、注視センサ１４０からの信号に基づいて、ユーザ１９０の視線を特定し得る。

【0080】

仮想空間制御モジュール２３０は、ユーザ１９０に提供される仮想空間２を制御する。仮想空間定義モジュール２３１は、仮想空間２を定義する。より具体的には、仮想空間定義モジュール２３１は、仮想空間２の大きさや形等を定義して、仮想空間２を生成する。

【0081】

仮想オブジェクト生成モジュール２３２は、仮想空間２に配置されるオブジェクトを生成する。オブジェクトは、例えば、ゲームのストーリーの進行に従って配置される森、山その他を含む風景、動物等を含み得る。

【0082】

操作オブジェクト制御モジュール２３３は、仮想空間２においてユーザの操作を受け付けるための操作オブジェクトを仮想空間２に配置する。ユーザは、操作オブジェクトを操作することにより、例えば、仮想空間２に配置されるオブジェクトを操作する。ある局面において、操作オブジェクトは、例えば、ＨＭＤ１１０を装着したユーザの手に相当する手オブジェクト等を含み得る。

【0083】

アバター制御モジュール２３４は、ネットワークを介して接続される他のコンピュータ２００のユーザのアバターオブジェクトを仮想空間２に配置するためのデータを生成する。ある局面において、アバター制御モジュール２３４は、ユーザ１９０のアバターオブジェクトを仮想空間２に配置するためのデータを生成する。ある局面において、アバター制御モジュール２３４は、ユーザ１９０を含む画像に基づいて、ユーザ１９０を模したアバターオブジェクトを生成する。他の局面において、アバター制御モジュール２３４は、複数種類のアバターオブジェクト（例えば、動物を模したオブジェクトや、デフォルメされた人のオブジェクト）の中からユーザ１９０による選択を受け付けたアバターオブジェクトを仮想空間２に配置するためのデータを生成する。

【0084】

アバター制御モジュール２３４は、ＨＭＤセンサ１２０が検出するＨＭＤ１１０の動きをアバターオブジェクトに反映する。例えば、アバター制御モジュール２３４は、ＨＭＤ１１０が傾いたことを検知して、アバターオブジェクトを傾けて配置するためのデータを生成する。また、ある局面において、アバター制御モジュール２３４は、コントローラ１６０の動きをアバターオブジェクトに反映する。この場合、コントローラ１６０は、コントローラ１６０の動きを検知するためのモーションセンサ、加速度センサ、または複数の発光素子（例えば、赤外線ＬＥＤ）などを備えている。

【0085】

メモリモジュール２４０は、コンピュータ２００が仮想空間２をユーザ１９０に提供するために使用されるデータを保持している。ある局面において、メモリモジュール２４０は、空間情報２４１と、オブジェクト情報２４２と、ユーザ情報２４３とを保持している。

【0086】

空間情報２４１は、仮想空間２を提供するために規定された１つ以上のテンプレートを保持している。

【0087】

オブジェクト情報２４２は、仮想空間２において展開されるパノラマ画像２２、仮想空間２に配置されるオブジェクト、およびオブジェクトを仮想空間２に配置するための情報（たとえば、位置情報）を保持している。

【0088】

ユーザ情報２４３は、ＨＭＤシステム１００の制御装置としてコンピュータ２００を機能させるためのプログラム、オブジェクト情報２４２に保持される各コンテンツを使用するアプリケーションプログラム等を保持している。

【0089】

メモリモジュール２４０に格納されているデータおよびプログラムは、ＨＭＤ１１０のユーザによって入力される。あるいは、プロセッサ１０が、当該コンテンツを提供する事業者が運営するコンピュータ（例えば、サーバ１５０）からプログラムあるいはデータをダウンロードして、ダウンロードされたプログラムあるいはデータをメモリモジュール２４０に格納する。

【0090】

通信制御モジュール２５０は、ネットワーク１９を介して、サーバ１５０その他の情報通信装置と通信し得る。

【0091】

ある局面において、表示制御モジュール２２０および仮想空間制御モジュール２３０は、例えば、ユニティテクノロジーズ社によって提供されるＵｎｉｔｙ（登録商標）を用いて実現され得る。別の局面において、表示制御モジュール２２０および仮想空間制御モジュール２３０は、各処理を実現する回路素子の組み合わせとしても実現され得る。

【0092】

コンピュータ２００における処理は、ハードウェアと、プロセッサ１０により実行されるソフトウェアとによって実現される。このようなソフトウェアは、ハードディスクその他のメモリモジュール２４０に予め格納されている場合がある。また、ソフトウェアは、ＣＤ−ＲＯＭその他のコンピュータ読み取り可能な不揮発性のデータ記録媒体に格納されて、プログラム製品として流通している場合もある。あるいは、当該ソフトウェアは、インターネットその他のネットワークに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、光ディスク駆動装置その他のデータ読取装置によってデータ記録媒体から読み取られて、あるいは、通信制御モジュール２５０を介してサーバ１５０その他のコンピュータからダウンロードされた後、記憶モジュールに一旦格納される。そのソフトウェアは、プロセッサ１０によって記憶モジュールから読み出され、実行可能なプログラムの形式でＲＡＭに格納される。プロセッサ１０は、そのプログラムを実行する。

【0093】

［コンピュータ２００の制御構造］
図１０を参照して、本実施の形態に係るコンピュータ２００の制御構造について説明する。図１０は、ＨＭＤシステム１００が実行する処理を表わすフローチャートである。

【0094】

ステップＳ１００５において、コンピュータ２００のプロセッサ１０は、仮想空間定義モジュール２３１として、仮想空間２を定義する。

【0095】

ステップＳ１０１０において、プロセッサ１０は、パノラマ画像２２を用いて仮想空間２を構成する。換言すれば、プロセッサ１０は、仮想空間２にパノラマ画像２２を展開する。

【0096】

ステップＳ１０２０において、プロセッサ１０は、仮想カメラ１を仮想空間２に配置する。このとき、プロセッサ１０は、メモリのワーク領域において、仮想カメラ１を仮想空間２において予め規定された中心２１に配置し得る。

【0097】

ステップＳ１０３０にて、プロセッサ１０は、視界画像生成モジュール２２３として、初期の視界画像２６（パノラマ画像２２の一部）を表示するための視界画像データを生成する。生成された視界画像データは、視界画像生成モジュール２２３を介して通信制御モジュール２５０によってＨＭＤ１１０に送信される。

【0098】

ステップＳ１０３２にて、ＨＭＤ１１０のモニタ１１２は、コンピュータ２００から受信した信号に基づいて、視界画像２６を表示する。ＨＭＤ１１０を装着したユーザ１９０は、視界画像２６を視認すると仮想空間２を認識し得る。

【0099】

ステップＳ１０３４にて、ＨＭＤセンサ１２０は、ＨＭＤ１１０が出力する複数の赤外線光に基づいて、ユーザ１９０の頭の動き（ＨＭＤ１１０の位置および傾き）を検知する。検知結果は、動き検知データとして、コンピュータ２００に送信される。

【0100】

ステップＳ１０４０にて、プロセッサ１０は、ＨＭＤセンサ１２０から入力された動き検知データに基づいて、ＨＭＤ１１０の傾き（動き）を検知する。プロセッサ１０はさらに、検知した傾きに連動するように仮想カメラ１の傾き（すなわち、仮想カメラ１の基準視線５）を変更する。これにより、仮想カメラ１が撮影する視界画像２６（すなわち、パノラマ画像２２の一部）が更新される。

【0101】

ステップＳ１０５０において、プロセッサ１０は、視界画像生成モジュール２２３として、傾きを変更された仮想カメラ１が撮影する視界画像２６を表示するための視界画像データを生成し、生成した視界画像データをＨＭＤ１１０に出力する。

【0102】

ステップＳ１０５２において、ＨＭＤ１１０のモニタ１１２は、受信した視界画像データに基づいて、更新後の視界画像を表示する。これにより、仮想空間２におけるユーザの視界が更新される。

【0103】

ステップＳ１０５６において、コントローラ１６０は、現実空間におけるユーザ１９０の操作を検出する。例えば、ある局面において、コントローラ１６０は、ユーザ１９０によってアナログスティックが前方に倒されたことを検出する。別の局面において、コントローラ１６０は、ユーザ１９０によってボタンが押下されたことを検出する。コントローラ１６０は、検出内容を示す検出信号をコンピュータ２００に送信する。

【0104】

ステップＳ１０６０において、プロセッサ１０は、仮想カメラ制御モジュール２２１として、検出信号に従い、仮想カメラ１を移動させる。これにより、仮想カメラ１が撮影する視界画像２６（すなわち、パノラマ画像２２の一部）が更新される。

【0105】

ステップＳ１０７０において、プロセッサ１０は、視界画像生成モジュール２２３として、移動後の仮想カメラ１が撮影する視界画像２６を表示するための視界画像データを生成し、生成した視界画像データをＨＭＤ１１０に出力する。

【0106】

ステップＳ１０７２において、ＨＭＤ１１０のモニタ１１２は、受信した視界画像データに基づいて、更新後の視界画像を表示する。これにより、仮想空間２におけるユーザの視界が更新される。

【0107】

［アバターオブジェクト］
図１１を参照して、本実施の形態に従うアバターオブジェクトについて説明する。図１１は、ＨＭＤセット１０５Ａ，１０５Ｂの各ユーザのアバターオブジェクトを説明するための図である。以下、ＨＭＤセット１０５Ａのユーザをユーザ１９０Ａ、ＨＭＤセット１０５Ｂのユーザをユーザ１９０Ｂ、ＨＭＤセット１０５Ｃのユーザをユーザ１９０Ｃ、ＨＭＤセット１０５Ｄのユーザをユーザ１９０Ｄと表す。また、ＨＭＤセット１０５Ａに関する各構成要素の参照符号に記号Ａが付され、ＨＭＤセット１０５Ｂに関する各構成要素の参照符号に記号Ｂが付され、ＨＭＤセット１０５Ｃに関する各構成要素の参照符号に記号Ｃが付され、ＨＭＤセット１０５Ｄに関する各構成要素の参照符号に記号Ｄが付される。例えば、ＨＭＤ１１０Ａは、ＨＭＤセット１０５Ａに含まれる。

【0108】

分図（Ａ）は、ネットワークにおいて、複数のＨＭＤ１１０のそれぞれが、複数のユーザのそれぞれに仮想空間を提供する状況を模式的に示す。分図（Ａ）を参照して、コンピュータ２００Ａ〜２００Ｄのそれぞれは、ＨＭＤ１１０Ａ〜１１０Ｄのそれぞれを介して、ユーザ１９０Ａ〜１９０Ｄのそれぞれに、仮想空間２Ａ〜２Ｄのそれぞれを提供する。図９に示される例において、仮想空間２Ａに含まれる内容（例えば、パノラマ画像２２Ａ）と仮想空間２Ｂに含まれる内容（例えば、パノラマ画像２２Ｂ）とは同じである。換言すれば、コンピュータ２００Ａとコンピュータ２００Ｂとは同じ仮想空間を共有していることになる。仮想空間２Ａおよび仮想空間２Ｂには、ユーザ１９０Ａのアバターオブジェクト１１００Ａと、ユーザ１９０Ｂのアバターオブジェクト１１００Ｂとが存在する。なお、仮想空間２Ａにおけるアバターオブジェクト１１００Ａおよび仮想空間２Ｂにおけるアバターオブジェクト１１００ＢがそれぞれＨＭＤを装着しているが、これは説明を分かりやすくするためのものであって、実際にはこれらのオブジェクトはＨＭＤを装着していない。

【0109】

ある局面において、仮想カメラ制御モジュール２２１Ａは、ユーザ１９０Ａの視界画像２６Ａを撮影する仮想カメラ１Ａを、アバターオブジェクト１１００Ａの目の位置に配置し得る。

【0110】

分図（Ｂ）は、ユーザ１９０Ａの視界画像１１１０を示す。視界画像１１１０は、ＨＭＤ１１０Ａのモニタ１１２Ａに表示される画像である。この視界画像１１１０は、仮想カメラ１Ａにより生成されたものである。図１１において、仮想空間２Ａには、現実空間における市街風景のパノラマ画像２２が展開されているものとする。また、視界画像１１１０には、ユーザ１９０Ｂのアバターオブジェクト１１００Ｂが表示されている。なお、特に図示はしていないが、ユーザ１９０Ｂの視界画像にも同様に、市街風景とユーザ１９０Ａのアバターオブジェクト１１００Ａとが表示されている。

【0111】

分図（Ｂ）の状態において、ユーザ１９０Ａはユーザ１９０Ｂと対話によるコミュニケーションを図ることができる。より具体的には、マイク１１９Ａにより取得されたユーザ１９０Ａの音声は、サーバ１５０を介してユーザ１９０ＢのＨＭＤ１１０Ｂに送信され、ＨＭＤ１１０Ｂに設けられたスピーカ１１８Ｂから出力される。また、ユーザ１９０Ｂの音声は、サーバ１５０を介してユーザ１９０ＡのＨＭＤ１１０Ａに送信され、ＨＭＤ１１０Ａに設けられたスピーカ１１８Ａから出力される。

【0112】

上記の通り、ユーザ１９０Ｂの動作（ＨＭＤ１１０Ｂの動き、コントローラ１６０Ｂの動作）は、アバター制御モジュール２３４によりアバターオブジェクト１１００Ｂに反映される。これにより、ユーザ１９０Ａは、ユーザ１９０Ｂの動作を、アバターオブジェクト１１００Ｂを通じて認識できる。

【0113】

このように、ユーザ１９０Ａおよびユーザ１９０Ｂは、仮想空間上で同じパノラマ画像２２を共有しながらコミュニケーションを図ることができる。このパノラマ画像２２は、例えば、映画、ライブ映像、観光名所の画像および、ユーザが過去に撮影した画像などを含み得る。

【0114】

［仮想空間を構成する物体とアバターとの関係に対するユーザの違和感］
図１２は、アバターオブジェクトの大きさが異なる２つの視界画像を示す。分図（Ａ）および分図（Ｂ）は、いずれもユーザ１９０Ａが視認する視界画像を示す。

【0115】

分図（Ａ）を参照して、ユーザ１９０Ａが視認する視界画像１２１０には、パノラマ画像２２の一部と、アバターオブジェクト１１００Ｂとが含まれる。パノラマ画像２２の一部には、東京タワー（登録商標）１２２０が含まれる。

【0116】

アバターオブジェクト１１００Ｂは、ユーザ１９０Ｂの分身としてのキャラクタオブジェクトであって、東京タワー１２２０に比べて十分小さいことが望ましい。しかし、従来、アバターオブジェクトは、予め定められた大きさで仮想空間に配置されていた。そのため、場合によっては、分図（Ａ）に示されるように、アバターオブジェクト１１００Ｂが東京タワー１２２０と略同じ大きさで表示されることになる。この場合、ユーザ１９０Ａは、仮想空間２Ａに表示される物体（東京タワー１２２０など）に対するアバターオブジェクト１１００Ｂの相対的な大きさが大きすぎるため、違和感を感じ得る。その結果、ユーザ１９０Ａは、ユーザ１９０Ｂとのコミュニケーションに集中できない可能性がある。

【0117】

そのため、実施の形態に従うＨＭＤシステム１００は、分図（Ｂ）に示されるように、東京タワー１２２０に比して、アバターオブジェクト１１００Ｂが十分に小さく表示されるような視界画像１２６０をユーザ１９０Ａに提供する。以下、仮想空間２に表示される物体に対するアバターオブジェクトの大きさを調節するための構成および制御について説明する。

【0118】

［サーバ１５０の制御構造］
図１３は、サーバ１５０のハードウェア構成およびモジュール構成の一例を示す。ある実施の形態において、サーバ１５０は、主たる構成要素として通信インターフェイス１３１０と、プロセッサ１３２０と、ストレージ１３３０とを備える。

【0119】

通信インターフェイス１３１０は、コンピュータ２００など外部の通信機器と信号を送受信するための変復調処理などを行なう無線通信用の通信モジュールとして機能する。通信インターフェイス１３１０は、チューナ、高周波回路等により実現される。

【0120】

プロセッサ１３２０は、サーバ１５０の動作を制御する。プロセッサ１３２０は、ストレージ１３３０に格納される各種の制御プログラムを実行することにより、送受信部１３２２、サーバ処理部１３２４、およびマッチング部１３２６として機能する。

【0121】

送受信部１３２２は、各コンピュータ２００と各種情報を送受信する。例えば、送受信部１３２２は、各コンピュータ２００が仮想空間２を定義するための情報、仮想空間２に展開されるパノラマ画像２２、ユーザの音声などを各コンピュータ２００に送信する。

【0122】

サーバ処理部１３２４は、複数のユーザが同じ仮想空間２を共有するための処理を行なう。例えば、サーバ処理部１３２４は、コンピュータ２００から受信した情報に基づいて、後述するアバターオブジェクト情報１３３４を更新する。

【0123】

マッチング部１３２６は、複数のユーザを関連付けるための一連の処理を行なう。マッチング部１３２６は、例えば、複数のユーザが同じ仮想空間２を共有するための入力操作を行った場合に、仮想空間２に属するユーザ同士を関連付ける処理などを行なう。

【0124】

ストレージ１３３０は、仮想空間指定情報１３３２と、アバターオブジェクト情報１３３４と、ユーザ情報１３３６と、パノラマ画像ＤＢ（データベース）１３３８とを保持する。

【0125】

仮想空間指定情報１３３２は、コンピュータ２００の仮想空間定義モジュール２３１が仮想空間２を定義するために用いられる情報である。例えば、仮想空間指定情報１３３２は、仮想空間２の大きさおよび形状を指定する情報を含む。

【0126】

アバターオブジェクト情報１３３４は、位置情報１３３５を含む。位置情報１３３５は、仮想空間２における各アバターオブジェクトの位置（座標）および向き（基準視線５）を示す情報である。アバターオブジェクト情報１３３４は、コンピュータ２００から入力される情報に基づいて随時更新され得る。

【0127】

ユーザ情報１３３６は、コンピュータ２００のユーザ１９０についての情報である。ユーザ情報１３３６は、例えば、複数のユーザ１９０を互いに識別する識別情報（例えば、ユーザアカウント）を含む。

【0128】

パノラマ画像ＤＢ１３３８は、コンピュータ２００が仮想空間２に展開するためのパノラマ画像２２を保持する。

【0129】

図１４は、パノラマ画像ＤＢ１３３８のデータ構造例を示す。図１４を参照して、パノラマ画像ＤＢ１３３８は、コンピュータ２００が仮想空間２に展開するためのパノラマ画像２２と、仮想空間２におけるアバターオブジェクトの大きさを定義するための情報とを互いに関連付けて保持する。アバターオブジェクトの大きさを定義するための情報とは、予め定められたアバターオブジェクトの大きさ（例えば、仮想空間２のＹ方向に従う長さ）に対する表示倍率の情報である。

【0130】

図１４に示される例において、パノラマ画像２２「東京タワー散策．ｍｐｅｇ」の表示倍率は「０．２」である。そのため、コンピュータ２００は、「東京タワー散策．ｍｐｅｇ」のパノラマ画像２２を展開した仮想空間２にアバターオブジェクトを配置する場合、アバターオブジェクトの大きさを、予め定められた大きさの０．２倍の大きさで配置する。

【0131】

パノラマ画像ＤＢ１３３８は、コンピュータ２００のユーザ１９０によって更新され得る。この場合、ユーザ１９０は、パノラマ画像２２と、アバターオブジェクトの表示倍率とを互いに関連付けて、サーバ１５０にアップロードする。他の局面において、パノラマ画像ＤＢ１３３８は、サーバ１５０を運営するコンテンツ配信事業者によって更新され得る。この場合も、コンテンツ配信事業者は、パノラマ画像２２と、アバターオブジェクトの表示倍率とを互いに関連付けて、パノラマ画像ＤＢ１３３８に格納する。

【0132】

［アバターオブジェクトの大きさを調節する制御］
図１５は、仮想空間２におけるアバターオブジェクトの大きさを調節する制御について説明するフローチャートである。図１５に示される処理は、コンピュータ２００のプロセッサ１０がメモリ１１またはストレージ１２に格納される制御プログラムを、サーバ１５０のプロセッサ１３２０がストレージ１３３０に格納される制御プログラムをそれぞれ実行することにより実現され得る。

【0133】

ステップＳ１５０２において、コンピュータ２００Ａのプロセッサ１０Ａは、サーバ１５０に対して、仮想空間２Ａに展開するパノラマ画像２２を指定する。ステップＳ１５０４において、コンピュータ２００Ｂのプロセッサ１０Ｂは、サーバ１５０に対して、仮想空間２Ｂに展開するパノラマ画像２２を指定する。ステップＳ１５０２およびＳ１５０４において、コンピュータ２００Ａおよび２００Ｂは、互いに仮想空間２を共有するための指示を併せてサーバ１５０に出力し得る。

【0134】

ステップＳ１５０６において、サーバ１５０のプロセッサ１３２０は、送受信部１３２２として、指定されたパノラマ画像２２と、当該パノラマ画像２２に応じた仮想空間指定情報１３３２と、表示倍率の情報とをコンピュータ２００Ａおよび２００Ｂに送信する。プロセッサ１３２０はさらに、マッチング部１３２６として、ユーザ１９０Ａおよび１９０Ｂが同じ仮想空間を共有するものとして、彼らの識別情報を互いに関連付け得る。

【0135】

ステップＳ１５０８において、プロセッサ１０Ａは、仮想空間定義モジュール２３１Ａとして、受信した仮想空間指定情報１３３２に基づいて、仮想空間２Ａを定義する。ステップＳ１５１０において、プロセッサ１０Ａは、受信したパノラマ画像２２を仮想空間２Ａに展開する。換言すれば、プロセッサ１０Ａは、パノラマ画像２２を用いて仮想空間２Ａを構成する。

【0136】

ステップＳ１５１２において、プロセッサ１０Ｂは、仮想空間定義モジュール２３１Ｂとして、受信した仮想空間指定情報１３３２に基づいて、仮想空間２Ｂを定義する。ステップＳ１５１４において、プロセッサ１０Ｂは、受信したパノラマ画像２２を仮想空間２Ｂに展開する。

【0137】

ステップＳ１５１６において、プロセッサ１０Ａは、アバター制御モジュール２３４Ａとして、ユーザ１９０Ａ自身のアバターオブジェクト１１００Ａ（図１５では「自アバターオブジェクト」と表記）を仮想空間２Ａに配置する。プロセッサ１０Ａはさらに、アバターオブジェクト１１００Ａの情報（例えば、モデリングのためのデータ、位置情報など）をサーバ１５０に送信する。

【0138】

ステップＳ１５１８において、プロセッサ１３２０は、受信したアバターオブジェクト１１００Ａの情報をストレージ１３３０（アバターオブジェクト情報１３３４）に保存する。プロセッサ１３２０はさらに、アバターオブジェクト１１００Ａの情報を、コンピュータ２００Ａと仮想空間２を共有するコンピュータ２００Ｂに送信する。

【0139】

ステップＳ１５２０において、プロセッサ１０Ｂは、アバター制御モジュール２３４Ｂとして、受信したアバターオブジェクト１１００Ａの情報に基づいて、仮想空間２Ｂにアバターオブジェクト１１００Ａを配置する。

【0140】

ステップＳ１５２２〜Ｓ１５２６において、ステップＳ１５１６〜Ｓ１５２０と同様に、仮想空間２Ａおよび２Ｂにアバターオブジェクト１１００Ｂ（図１５では「他アバターオブジェクト」と表記）が生成され、ストレージ１３３０にアバターオブジェクト１１００Ｂの情報が保存される。

【0141】

ステップＳ１５２８において、プロセッサ１０Ａは、アバター制御モジュール２３４Ａとして、パノラマ画像２２に関連付けられた情報、すなわち、表示倍率の情報に基づいて、仮想空間２Ａに配置されるアバターオブジェクト１１００Ａおよび１１００Ｂの大きさを調節する。例えば、表示倍率が「０．３」の場合、プロセッサ１０Ａは、アバターオブジェクト１１００Ａおよび１１００Ｂを、予め定められた大きさ（例えば、仮想空間２のＹ方向に従う長さ）の０．３倍にする。

【0142】

ステップＳ１５３０において、プロセッサ１０Ａは、視界画像生成モジュール２２３として、仮想カメラ１Ａが撮影する視界画像（パノラマ画像２２の一部）を、ＨＭＤ１１０Ａのモニタ１１２Ａに表示する。これにより、ユーザ１９０Ａは、大きさを調節されたユーザ１９０Ｂのアバターオブジェクト１１００Ｂを視認する。なお、仮想カメラ制御モジュール２２１Ａは、仮想カメラ１Ａを、アバターオブジェクト１１００Ａの目の位置に配置し得る。

【0143】

ステップＳ１５３２およびＳ１５３４において、プロセッサ１０Ｂも、プロセッサ１０Ａと同様にアバターオブジェクト１１００Ａおよび１１００Ｂの大きさを調節し、仮想カメラ１Ｂが撮影する視界画像をモニタ１１２Ｂに表示する。

【0144】

ステップＳ１５３６において、プロセッサ１０Ａは、ＨＭＤセンサ１２０の出力に基づいてユーザ１９０Ａの頭の動き（傾き）を検知する。他の局面において、プロセッサ１０Ａは、ＨＭＤ１１０の出力（センサ１１４の出力）に基づいてユーザ１９０Ａの頭の動きを検知する。

【0145】

ステップＳ１５３８において、プロセッサ１０Ａは、アバター制御モジュール２３４Ａとして、検知したユーザ１９０Ａの頭の動き（傾き）に連動するようにアバターオブジェクト１１００Ａの傾きを変更する。プロセッサ１０Ａはさらに、変更後のアバターオブジェクト１１００Ａの傾きを示す傾き情報をサーバ１５０に送信する。なお、他の局面において、プロセッサ１０Ａは、変更前後におけるアバターオブジェクト１１００Ａの傾き変化量を示す情報をサーバ１５０に送信する構成であってもよい。

【0146】

ステップＳ１５４０およびＳ１５４２において、プロセッサ１０Ｂは、プロセッサ１０Ａと同様に、ユーザ１９０Ｂの頭の動きに連動するようにアバターオブジェクト１１００Ｂの傾きを変更する。ステップＳ１５４２において、プロセッサ１０Ｂはさらに、変更後のアバターオブジェクト１１００Ｂの傾き情報をサーバ１５０に送信する。

【0147】

ステップＳ１５４４において、プロセッサ１３２０は、サーバ処理部１３２４として、コンピュータ２００Ａから受信した傾き情報に基づいてアバターオブジェクト１１００Ａに対応する位置情報１３３５を更新する。プロセッサ１３２０はさらに、コンピュータ２００Ｂから受信した傾き情報に基づいてアバターオブジェクト１１００Ｂに対応する位置情報１３３５を更新する。

【0148】

ステップＳ１５４４において、プロセッサ１３２０はさらに、送受信部１３２２として、コンピュータ２００Ａから受信した傾き情報をコンピュータ２００Ｂに送信する。また、プロセッサ１３２０は、コンピュータ２００Ｂから受信した傾き情報をコンピュータ２００Ａに送信する。

【0149】

ステップＳ１５４６において、プロセッサ１０Ａは、アバター制御モジュール２３４Ａとして、受信した位置情報１３３５に基づいてアバターオブジェクト１１００Ｂの傾きを変更する。ステップＳ１５４８において、プロセッサ１０Ｂは、アバター制御モジュール２３４Ｂとして、受信した位置情報１３３５に基づいてアバターオブジェクト１１００Ａの傾きを変更する。

【0150】

ステップＳ１５５０において、プロセッサ１０Ａは、アバターオブジェクト１１００Ａの目の位置に配置される仮想カメラ１Ａが撮影する画像を、モニタ１１２Ａに表示する。これにより、ユーザ１９０Ａが視認する視界画像が更新される。その後、プロセッサ１０Ａは、処理をステップＳ１５３６に戻す。

【0151】

ステップＳ１５５２において、プロセッサ１０Ｂは、プロセッサ１０Ａと同様に、仮想カメラ１Ｂが撮影する画像をモニタ１１２Ｂに表示する。これにより、ユーザ１９０Ｂが視認する視界画像が更新される。その後、プロセッサ１０Ｂは、処理をステップＳ１５４０に戻す。

【0152】

ある実施の形態において、繰り返し実行されるステップＳ１５３６〜Ｓ１５５２の処理は、１／６０秒または１／３０秒の間隔で実行され得る。

【0153】

上記によれば、ある実施の形態に従うＨＭＤシステム１００は、パノラマ画像２２に関連付けられた情報（表示倍率の情報）に基づいて、仮想空間２に配置されるアバターオブジェクト１１００の大きさを調節できる。これにより、ＨＭＤシステム１００は、仮想空間２に表示される物体に対するアバターオブジェクトの相対的な大きさを調節できる。その結果、ＨＭＤシステム１００を利用するユーザ１９０は、仮想空間を介して通信する他のユーザとのコミュニケーションに集中できる。このように、ある実施の形態に従うＨＭＤシステム１００は、ユーザ１９０の仮想空間における体験をより豊かにできる。

【0154】

上記の例において、コンピュータ２００は、仮想空間２にアバターオブジェクト１１００を配置した後に、アバターオブジェクト１１００の大きさを調節するように構成されていた。他の局面において、コンピュータ２００は、予めアバターオブジェクト１１００の大きさを調節した後に仮想空間２にアバターオブジェクト１１００を配置する構成であってもよい。

【0155】

また、他の局面において、上記の繰り返し実行される処理は、ユーザ１９０の音声を相手のコンピュータ２００に送信する処理、アバターオブジェクト１１００Ａおよび１１００Ｂの座標位置を変更する処理、その他の仮想空間２におけるユーザ同士のコミュニケーションを促進する処理を含み得る。

【0156】

上記の例において、ステップＳ１５１６およびステップＳ１５２２において、コンピュータ２００は、当該コンピュータ２００のユーザ自身のアバターオブジェクト９００を仮想空間２に配置するように構成されていた。他の局面において、これらの処理は省略され得る。仮想空間２において相手のアバターオブジェクトさえ配置されていれば、相手とのコミュニケーションを図ることができるためである。

【0157】

［パノラマ画像に含まれる物体を特定する情報に基づいてアバターの大きさを調整］
上記の実施の形態において、コンピュータ２００は、パノラマ画像２２に関連付けられた表示倍率の情報に基づいて、アバターオブジェクト１１００の大きさを調整するように構成されていた。しかしながら、パノラマ画像２２に表示倍率の情報が関連付けられていない場合もあり得る。例えば、ユーザ１９０がパノラマ画像２２に表示倍率の情報を関連付けずに、パノラマ画像２２をサーバ１５０にアップロードする場合である。以下、このような場合においても、アバターオブジェクト１１００の大きさを調整可能な技術について説明する。なお、本実施の形態に従うＨＭＤシステムの構成は、上記説明したＨＭＤシステムの構成と略同じである。そのため、以下では相違する部分についてのみ説明する。

【0158】

図１６は、パノラマ画像に含まれる物体を特定する情報（以下、「タグ情報」とも称する）を説明するための図である。図１６を参照して、ユーザ１９０Ａが視認する視界画像１６００は、アバターオブジェクト１１００Ｂと、東京タワー１２２０とに加え、タグ情報１２３０をさらに含む。

【0159】

タグ情報１２３０は、東京タワー１２２０を特定するための情報である。図１６に示される例において、タグ情報１２３０は「東京タワー Ｔｏｋｙｏ Ｔｏｗｅｒ」の文字列を含む。ユーザ１９０Ａは、タグ情報１２３０を視認することにより、タグ情報１２３０が指し示す物体が東京タワーであること理解できる。上記のように、ある局面において、タグ情報がパノラマ画像２２に関連付けられ得る。

【0160】

本実施の形態に従うＨＭＤシステム１００は、このタグ情報を利用してアバターオブジェクト１１００の大きさを調節する。図１６の例を用いて、サーバ１５０のプロセッサ１３２０がタグ情報に基づいてアバターオブジェクト１１００の表示倍率を決定する処理について説明する。

【0161】

まず、プロセッサ１３２０は、タグ情報１２３０が指し示す物体（以下、「特定対象」とも称する）が東京タワー１２２０であることを特定する。図１７で後述するように、タグ情報１２３０は、「東京タワー Ｔｏｋｙｏ Ｔｏｗｅｒ」の文字列の他に、特定対象の仮想空間２における座標情報を含み得る。プロセッサ１３２０は、この座標情報に基づいて、タグ情報１２３０が指し示す物体が東京タワー１２２０であることを特定し得る。

【0162】

プロセッサ１３２０は、仮想空間２における特定対象（すなわち東京タワー１２２０）の大きさを算出する。一例として、プロセッサ１３２０は、仮想空間２におけるＹ方向（高さ方向）に従う特定対象の長さ１２４０を、特定対象の大きさとする。

【0163】

次に、プロセッサ１３２０は、特定対象の現実空間における大きさを特定する。一例として、プロセッサ１３２０は、タグ情報１２３０の文字列に含まれる単語（「東京タワー」および「Ｔｏｋｙｏ Ｔｏｗｅｒ」）が示す物体の大きさを、ネットワーク１９に接続される検索エンジン（例えば、Ｇｏｏｇｌｅ（登録商標））を利用して特定する。

【0164】

プロセッサ１３２０は、現実空間における特定対象の大きさと人の平均的な大きさ（例えば１６０ｃｍ）との比率が、仮想空間における特定対象の大きさとアバターオブジェクト１１００の大きさとの比率と同じになるように、アバターオブジェクト１１００の表示倍率を決定し得る。なお、図１６に示されるように、アバターオブジェクト１１００が全身ではなく肩から上部だけしか含まない場合、プロセッサ１３２０は、それを考慮してアバターオブジェクト１１００の表示倍率を決定してもよい。上記によれば、ある実施の形態に従うＨＭＤシステムは、パノラマ画像に関連付けられたタグ情報に基づいてアバターオブジェクト１１００の大きさを調整できる。

【0165】

図１７は、パノラマ画像ＤＢ１３３８Ｘのデータ構造例を示す。ある局面においてサーバ１５０は、ストレージ１３３０にパノラマ画像ＤＢ１３３８Ｘをさらに格納し得る。パノラマ画像ＤＢ１３３８Ｘは、パノラマ画像２２と、タグ情報とを互いに関連付けて保持する。タグ情報は、座標と、文字列とを含む。座標は、仮想空間２において特定対象が表示される座標を示す。文字列は、特定対象を特定する情報を含む。

【0166】

ある局面において、パノラマ画像２２は動画像であり得る。この場合、タグ情報は、上記のパラメータに、文字列を表示する再生時間（タイミング）をさらに含み得る。

【0167】

図１７に示される例において、パノラマ画像「東京タワー散策．ｍｐｅｇ」が仮想空間２に展開（再生）されると、再生時間１分５１秒のタイミングで座標（ｘ１，ｙ１，ｚ１）に表示される物体を特定する文字列「東京タワー Ｔｏｋｙｏ Ｔｏｗｅｒ」が仮想空間２上で表示される。

【0168】

パノラマ画像ＤＢ１３３８Ｘは、コンピュータ２００のユーザ１９０によって更新され得る。この場合、ユーザ１９０は、パノラマ画像２２と、タグ情報とを互いに関連付けて、サーバ１５０にアップロードする。他の局面において、パノラマ画像ＤＢ１３３８Ｘは、サーバ１５０を運営するコンテンツ配信事業者によって更新され得る。この場合も、コンテンツ配信事業者は、パノラマ画像２２と、タグ情報とを互いに関連付けて、パノラマ画像ＤＢ１３３８Ｘに格納する。

【0169】

図１８を参照して、タグ情報に基づいてアバターオブジェクト１１００の表示倍率を決定する処理を説明する。図１８は、図１５のＳ１５１２でサーバ１５０がアバターオブジェクト１１００の表示倍率を決定する処理を説明するためのフローチャートである。図１８に示される処理は、サーバ１５０のプロセッサ１３２０が、ストレージ１３３０に格納される制御プログラムを実行することにより実現され得る。

【0170】

ステップＳ１８１０において、プロセッサ１３２０は、コンピュータ２００が仮想空間２に展開するためのパノラマ画像（例えば、全天球動画像）の指定をコンピュータ２００から受け付ける。

【0171】

ステップＳ１８２０において、プロセッサ１３２０は、現実空間における特定対象の大きさを特定する。より具体的には、プロセッサ１３２０は、指定されたパノラマ画像に関連付けられたタグ情報に含まれる文字列に基づき、現実空間における特定対象の大きさを、ネットワーク１９に接続される検索エンジンを利用して特定する。

【0172】

ステップＳ１８３０において、プロセッサ１３２０は、仮想空間２における特定対象の大きさを特定する。より具体的には、プロセッサ１３２０は、タグ情報に含まれる座標情報から仮想空間２における特定対象を検出し、仮想空間２における特定対象の大きさを特定する。

【0173】

ステップＳ１８４０において、プロセッサ１３２０は、現実空間および仮想空間における特定対象の大きさに基づいて、アバターオブジェクト１１００の表示倍率を決定する。より具体的には、プロセッサ１３２０は、現実空間における特定対象の大きさと人の平均的な大きさとの比率が、仮想空間における特定対象の大きさとアバターオブジェクト１１００の大きさとの比率と同じになるように、アバターオブジェクト１１００の表示倍率を決定する。

【0174】

ステップＳ１８５０において、プロセッサ１３２０は、指定されたパノラマ画像と、決定した表示倍率とを、コンピュータ２００に送信する。

【0175】

上記によれば、ある実施の形態に従うＨＭＤシステムは、パノラマ画像に関連付けられたタグ情報に基づいてアバターオブジェクト１１００の大きさを調整できる。

【0176】

上記の例において、サーバ１５０のプロセッサ１３２０は、コンピュータ２００からパノラマ画像の指定を受け付けてから、アバターオブジェクト１１００の表示倍率を算出する処理を行なっている。他の局面において、プロセッサ１３２０は、パノラマ画像ＤＢ１３３８Ｘに新たなパノラマ画像が追加されたときに、このパノラマ画像に対するアバターオブジェクト１１００の表示倍率を算出してもよい。プロセッサ１３２０は、算出した表示倍率をパノラマ画像ＤＢ１３３８に格納し得る。

【0177】

さらに他の局面において、サーバ１５０のプロセッサ１３２０は、パノラマ画像と、当該パノラマ画像に関連付けられたタグ情報とをコンピュータ２００に送信する構成であってもよい。この場合、コンピュータ２００は、上記説明した処理に従いアバターオブジェクト１１００の表示倍率を算出し得る。

【0178】

［パノラマ画像に含まれる物体の大きさに基づいてアバターの大きさを調整］
上記の実施の形態に従うＨＭＤシステムは、パノラマ画像２２に関連付けられた情報（表示倍率またはパノラマ画像２２に含まれる物体を特定するための情報）に基づいてアバターオブジェクトの大きさを調整するように構成されていた。しかしながら、パノラマ画像２２に情報が関連付けられていない場合もあり得る。以下、このような場合においても、アバターオブジェクト１１００の大きさを調整可能な技術について説明する。なお、本実施の形態に従うＨＭＤシステムの構成は、上記説明したＨＭＤシステムの構成と略同じである。そのため、以下では相違する部分についてのみ説明する。

【0179】

図１９は、アバターオブジェクト１１００の大きさを調整する処理について説明するための図である。図１９を参照して、ユーザ１９０Ａが視認する視界画像１９００は、アバターオブジェクト１１００Ｂと、人１９１０とを含む。

【0180】

ある局面において、サーバ１５０のプロセッサ１３２０は、視界画像１９００に対応するパノラマ画像に、何らの情報も関連付けられていないと判断した場合、このパノラマ画像の中から、現実空間における大きさをある程度特定し得る物体（以下、「基準物体」とも称する）を探す。一例として、プロセッサ１３２０は、図２０に示されるテンプレートＤＢ２０００を用いて、パノラマ画像の中から基準物体を探す。

【0181】

図２０は、ある実施の形態に従うテンプレートＤＢ２０００のデータ構造例を示す。テンプレートＤＢ２０００は、サーバ１５０のストレージ１３３０に格納される。テンプレートＤＢ２０００は、基準物体の種類と、基準物体に対応するテンプレート画像と、基準物体の現実空間における大きさとを互いに関連付けて保持する。一例として、基準物体は、人間、ペットボトル（例えば、５００ｍｌサイズ）、街灯などを含み得る。なお、図２０の例において、テンプレートＤＢ２０００は、基準物体に対応する１枚のテンプレート画像を保持しているが、他の局面において複数枚のテンプレート画像を保持してもよい。

【0182】

図１９を再び参照して、プロセッサ１３２０は、パノラマ画像２２において矩形上の比較領域を設定する。プロセッサ１３２０は、比較領域の大きさ、位置および角度をそれぞれ変えながら、比較領域の画像と、テンプレートＤＢ２０００に含まれる各種テンプレート画像との類似度を算出する。プロセッサ１３２０は、テンプレートＤＢ２０００を参照して、予め定められたしきい値よりも大きい類似度が算出されたテンプレート画像に対応する基準物体の現実空間における大きさを特定する。プロセッサ１３２０はさらに、予め定められたしきい値よりも大きい類似度が算出された比較領域のＹ方向（高さ方向）における長さを特定する。ある局面において、プロセッサ１３２０は、この比較領域の長さを、仮想空間２における基準物体の大きさとして特定する。

【0183】

図１９に示される例において、プロセッサ１３２０は、視界画像１９００に対応するパノラマ画像２２から、基準物体である人１９１０を含む比較領域１９２０を検出する。プロセッサ１３２０はさらに、比較領域１９２０のＹ方向における長さ１９３０を、仮想空間における人の大きさとして特定し得る。

【0184】

プロセッサ１３２０は、現実空間における基準物体の大きさと人の平均的な大きさ（例えば、１６０ｃｍ）との比率が、仮想空間における基準物体の大きさとアバターオブジェクト１１００の大きさとの比率と同じになるように、アバターオブジェクト１１００の表示倍率を決定する。なお、他の局面において、プロセッサ１３２０は、基準物体が人である場合、仮想空間における基準物体の大きさと、アバターオブジェクト１１００の大きさとが等しくなるように、アバターオブジェクト１１００の表示倍率を設定してもよい。なお、図１９に示されるように、アバターオブジェクト１１００が全身ではなく肩から上部だけしか含まない場合、プロセッサ１３２０は、それを考慮してアバターオブジェクト１１００の表示倍率を決定し得る。

【0185】

上記によれば、ある実施の形態に従うＨＭＤシステムは、パノラマ画像２２に何らの情報も関連付けられていない場合であっても、アバターオブジェクト１１００の大きさを調整できる。

【0186】

図２１を参照して、パノラマ画像２２に何らの情報も関連付けられていない場合にアバターオブジェクト１１００の表示倍率を決定する処理を説明する。図２１は、図１５のＳ１５１２でサーバ１５０がアバターオブジェクト１１００の表示倍率を決定する処理を説明するためのフローチャートである。図２１に示される処理は、サーバ１５０のプロセッサ１３２０が、ストレージ１３３０に格納される制御プログラムを実行することにより実現され得る。

【0187】

ステップＳ２１１０において、プロセッサ１３２０は、プロセッサ１３２０は、コンピュータ２００が仮想空間２に展開するためのパノラマ画像（例えば、全天球動画像）の指定をコンピュータ２００から受け付ける。

【0188】

ステップＳ２１２０において、プロセッサ１３２０は、指定されたパノラマ画像２２の中から、予め定められた種類の物体（すなわち、基準物体）を検出する。ステップＳ２１３０において、プロセッサ１３２０は、検出した物体（基準物体）の仮想空間２における大きさを特定する。

【0189】

ステップＳ２１４０において、プロセッサ１３２０は、ストレージ１３３０に格納されるテンプレートＤＢ２０００を参照して、検出した物体（基準物体）の現実空間における大きさを特定する。

【0190】

ステップＳ２１５０において、プロセッサ１３２０は、現実空間および仮想空間における検出した物体（基準物体）の大きさに基づいて、アバターオブジェクト１１００の表示倍率を決定する。より具体的には、プロセッサ１３２０は、現実空間における基準物体の大きさと人の平均的な大きさとの比率が、仮想空間における基準物体の大きさとアバターオブジェクト１１００の大きさとの比率と同じになるように、アバターオブジェクト１１００の表示倍率を決定する。

【0191】

ステップＳ２１６０において、プロセッサ１３２０は、指定されたパノラマ画像と、決定した表示倍率とを、コンピュータ２００に送信する。

【0192】

上記よれば、ある実施の形態に従うＨＭＤシステムは、パノラマ画像２２に何らの情報も関連付けられていない場合であっても、アバターオブジェクト１１００の大きさを調整できる。これにより、ユーザは、仮想空間２に表示される物体に対するアバターオブジェクトの相対的な大きさに対して、違和感をより感じにくくなる。その結果、ユーザは、仮想空間を介して通信する他のユーザとのコミュニケーションに集中できる。このように、ある実施の形態に従うＨＭＤシステムは、ユーザの仮想空間における体験をより豊かにできる。

【0193】

［構成］
以上に開示された技術的特徴は、以下のように要約され得る。

【0194】

（構成１） ある実施の形態に従うと、仮想空間２におけるアバターオブジェクト１１００の大きさを調節するための方法が提供される。この方法は、パノラマ画像２２を用いて仮想空間２を構成するステップ（Ｓ１５１０）と、ＨＭＤ１１０のモニタ１１２にパノラマ画像２２の一部を表示するステップ（Ｓ１５３０）と、ＨＭＤ１１０を装着したユーザ１９０の頭の動きを検知するステップ（Ｓ１５３６）と、ＨＭＤ１１０に表示されるパノラマ画像２２の一部を、検知された動きに連動して更新するステップ（Ｓ１５５０）と、仮想空間２を介して通信するユーザのアバターオブジェクト１１００を仮想空間２に配置するステップ（Ｓ１５２６）と、パノラマ画像２２に関連付けられた情報に基づいてアバターオブジェクト１１００の大きさを調節するステップ（Ｓ１５２８）とを備える。ある局面において、この方法は、コンピュータ２００によって実行され得る。

【0195】

（構成２） ある実施の形態に従うと、関連付けられた情報は、アバターオブジェクト１１００の表示倍率を含む。

【0196】

（構成３） ある実施の形態に従うと、関連付けられた情報は、パノラマ画像２２に含まれる物体を特定する情報を含む。アバターオブジェクト１１００の大きさを調節するステップは、仮想空間２および現実空間における物体（特定対象）の大きさを特定すること（Ｓ１８２０，Ｓ１８３０）と、特定した仮想空間２および現実空間における物体の大きさに基づいて、アバターオブジェクト１１００の表示倍率を調節すること（Ｓ１８４０）とを含む。仮想空間２および現実空間における物体（特定対象）の大きさを特定すること（Ｓ１８２０，Ｓ１８３０）は、コンピュータ２００またはサーバ１５０によって実行され得る。

【0197】

（構成４） ある実施の形態に従うと、仮想空間２におけるアバターオブジェクト１１００の大きさを調節するための方法が提供される。この方法は、コンピュータ２００がパノラマ画像２２を用いて仮想空間２を構成するステップ（ステップＳ１５１０）と、コンピュータ２００がＨＭＤ１１０のモニタ１１２にパノラマ画像２２の一部を表示するステップ（Ｓ１５３０）と、ＨＭＤ１１０を装着したユーザ１９０の頭の動きを検知するステップ（Ｓ１５３６）と、コンピュータ２００がＨＭＤ１１０に表示されるパノラマ画像２２の一部を、検知された動きに連動して更新するステップ（Ｓ１５５０）と、コンピュータ２００が仮想空間２を介して通信するユーザのアバターオブジェクト１１００を仮想空間２に配置するステップ（Ｓ１５２６）と、コンピュータ２００またはサーバ１５０がパノラマ画像２２に含まれる基準物体の大きさに基づいてアバターオブジェクト１１００の大きさを調節するステップ（Ｓ２１５０）とを備える。

【0198】

（構成５） ある実施の形態に従うと、アバターオブジェクト１１００の大きさを調節するステップは、パノラマ画像２２から基準物体を検出すること（Ｓ２１２０）と、仮想空間２および現実空間における基準物体の大きさを特定すること（Ｓ２１３０，Ｓ２１４０）と、特定した基準物体の大きさに基づいて、アバターオブジェクト１１００の表示倍率を調節すること（Ｓ２１５０）とを含む。

【0199】

（構成６） ある実施の形態に従うと、基準物体（予め定められた種類の物体）は、人間を含む。

【0200】

（構成７） ある実施の形態に従うと、パノラマ画像２２は、動画像を含む。
（構成８） ある実施の形態に従うと、パノラマ画像２２は、全天球画像を含む。

【0201】

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0202】

１，１Ａ，１Ｂ 仮想カメラ、２，２Ａ，２Ｂ，２Ｄ 仮想空間、１０，１０Ａ，１０Ｂ，１３２０ プロセッサ、１２，１３３０ ストレージ、１４，１３１０ 通信インターフェイス、１９ ネットワーク、２２，２２Ａ，２２Ｂ パノラマ画像、１３３８，１３３８Ｘ パノラマ画像ＤＢ、２３ 視認領域、２３Ａ，２６，１１１０，１２１０，１２６０，１６００，１９００ 視界画像、１００ ＨＭＤシステム、１０５，１０５Ａ，１０５Ｂ，１０５Ｃ，１０５Ｄ ＨＭＤセット、２２０ 表示制御モジュール、２２１，２２１Ａ 仮想カメラ制御モジュール、２２２ 視界領域決定モジュール、２２３ 視界画像生成モジュール、２２４ 基準視線特定モジュール、２３０ 仮想空間制御モジュール、２３１，２３１Ａ，２３１Ｂ 仮想空間定義モジュール、２３２ 仮想オブジェクト生成モジュール、２３３ 操作オブジェクト制御モジュール、２３４，２３４Ａ，２３４Ｂ アバター制御モジュール、２４０ メモリモジュール、２４１ 空間情報、２４２ オブジェクト情報、２４３，１３３６ ユーザ情報、２５０ 通信制御モジュール、８００ 右コントローラ、９００，１１００，１１００Ａ，１１００Ｂ アバターオブジェクト、１２２０ 東京タワー（登録商標）、１２３０ タグ情報、１３２２ 送受信部、１３２４ サーバ処理部、１３２６ マッチング部、１３３２ 仮想空間指定情報、１３３４ アバターオブジェクト情報、１３３５ 位置情報、１９１０ 人、１９２０ 比較領域、２０００ テンプレートＤＢ。

【要約】

【課題】ユーザの仮想空間における体験をより豊かにすることができる技術を提供する。
【解決手段】仮想空間におけるアバターオブジェクトの大きさを調節するための方法は、パノラマ画像を用いて仮想空間を構成するステップ（ステップＳ１５１０）と、ヘッドマウントデバイスにパノラマ画像の一部を表示するステップ（Ｓ１５３０）と、ヘッドマウントデバイスを装着したユーザの頭の動きを検知するステップ（Ｓ１５３６）と、ヘッドマウントデバイスに表示されるパノラマ画像の一部を、検知された動きに連動して更新するステップ（Ｓ１５５０）と、仮想空間を介して通信するユーザのアバターオブジェクトを仮想空間に配置するステップ（Ｓ１５２６）と、パノラマ画像に関連付けられた情報に基づいてアバターオブジェクトの大きさを調節するステップ（Ｓ１５２８）とを備える。
【選択図】図１５

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】