特許 7354466 情報処理システムおよびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2023-09-22

(45)【発行日】2023-10-02

(54)【発明の名称】情報処理システムおよびプログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20230925BHJP

   G06F 3/01 20060101ALI20230925BHJP

   A63F 13/216 20140101ALI20230925BHJP

   A63F 13/55 20140101ALI20230925BHJP

   A63F 13/65 20140101ALI20230925BHJP

   H04N 21/4728 20110101ALI20230925BHJP

【ＦＩ】

G06T19/00 600

G06T19/00 300B

G06F3/01 510

A63F13/216

A63F13/55

A63F13/65

H04N21/4728

【請求項の数】 7

(21)【出願番号】P 2023014523

(22)【出願日】2023-02-02

【審査請求日】2023-02-20

【早期審査対象出願】

(73)【特許権者】

【識別番号】509070463

【氏名又は名称】株式会社コロプラ

(74)【代理人】

【識別番号】100104547

【弁理士】

【氏名又は名称】栗林 三男

(74)【代理人】

【識別番号】100206612

【弁理士】

【氏名又は名称】新田 修博

(74)【代理人】

【識別番号】100209749

【弁理士】

【氏名又は名称】栗林 和輝

(74)【代理人】

【識別番号】100217755

【弁理士】

【氏名又は名称】三浦 淳史

(72)【発明者】

【氏名】猪俣 篤

【審査官】岡本 俊威

(56)【参考文献】

【文献】国際公開第２０１９／１３０８６４（ＷＯ，Ａ１）

【文献】特開２０１９－２１２２３６（ＪＰ，Ａ）

【文献】特開２０２１－０８２３１０（ＪＰ，Ａ）

【文献】特開２０１７－１５１９１７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

Ｇ０６Ｆ ３／０１

Ａ６３Ｆ １３／００ － １３／９８

Ｈ０４Ｎ ２１／４７２８

(57)【特許請求の範囲】

【請求項1】

仮想空間のビューである第１のビューを第１ユーザに提供する第１制御手段と、
現実空間に仮想オブジェクトが配置された複合現実空間のビューである第２のビューを第２ユーザに提供する第２制御手段と、
前記現実空間における前記第２ユーザの現在の位置を示す位置情報を受け付ける入力受付手段と、
前記現実空間と前記仮想空間との位置の対応関係を示す情報を記憶する対応関係記憶手段と、を備え、
前記第１制御手段は、前記仮想空間中の特定の位置で行われている所定の事象に関する前記第１のビューを前記第１ユーザに提供し、
前記第２制御手段は、
前記位置情報に応じた前記第２のビューを前記第２ユーザに提供し、
前記位置情報が前記第２ユーザが前記特定の位置に対応する位置にいることを示すときに、前記仮想空間中の前記特定の位置で行われている前記所定の事象であって、前記第２ユーザが複数のユーザの中から選択した前記第１ユーザに関連する前記所定の事象が反映された前記第２のビューを前記第２ユーザに提供する
情報処理システム。

【請求項2】

前記第１制御手段は、前記第１ユーザの操作に基づいて前記所定の事象に関連する仮想オブジェクトを前記仮想空間中で動かし、
前記第２制御手段は、前記第１ユーザの操作によって動かされている仮想オブジェクトの動きを前記第２のビューに反映させ、前記所定の事象が反映された前記第２のビューを前記第２ユーザに提供する
請求項１に記載の情報処理システム。

【請求項3】

前記第２ユーザが、前記現実空間において、前記特定の位置に対応する位置を訪れたことに基づいて、前記第２ユーザに特典を付与する特典付与手段を備える
請求項１に記載の情報処理システム。

【請求項4】

前記第２のビューに反映される前記所定の事象は、前記仮想空間中で行われる複数の事象の中から前記第２ユーザが選択した事象である
請求項１～３のいずれか１項に記載の情報処理システム。

【請求項5】

前記所定の事象が反映された前記第２のビューの提供を受ける権利に関する情報を記憶する権利情報記憶手段を備え、
前記権利は、対価を払うことで前記第２ユーザに付与され、
前記第２制御手段は、前記第２ユーザが前記権利を有する場合に、前記所定の事象が反映された前記第２のビューを前記第２ユーザに提供する
請求項１～３のいずれか１項に記載の情報処理システム。

【請求項6】

前記第２制御手段は、前記第２ユーザに設定された属性に対応する属性を有する前記所定の事象が反映された前記第２のビューを前記第２ユーザに提供する
請求項１～３のいずれか１項に記載の情報処理システム。

【請求項7】

仮想空間のビューである第１のビューを第１ユーザに提供する第１制御手段と、
現実空間に仮想オブジェクトが配置された複合現実空間のビューである第２のビューを第２ユーザに提供する第２制御手段と、
前記現実空間における前記第２ユーザの現在の位置を示す位置情報を受け付ける入力受付手段と、
前記現実空間と前記仮想空間との位置の対応関係を示す情報を記憶する対応関係記憶手段と、を備える情報処理システムのコンピュータを、前記第２制御手段として機能させるプログラムであって、
前記第１制御手段は、前記仮想空間中の特定の位置で行われている所定の事象に関する前記第１のビューを前記第１ユーザに提供し、
前記第２制御手段は、
前記位置情報に応じた前記第２のビューを前記第２ユーザに提供し、
前記位置情報が前記第２ユーザが前記特定の位置に対応する位置にいることを示すときに、前記仮想空間中の前記特定の位置で行われている前記所定の事象であって、前記第２ユーザが複数のユーザの中から選択した前記第１ユーザに関連する前記所定の事象が反映された前記第２のビューを前記第２ユーザに提供する
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理システムおよびプログラムに関する。

【背景技術】

【0002】

従来より、複合現実（ＭＲ：Mixed Reality）空間や仮想現実（ＶＲ：Virtual Reality）空間をユーザに提供する技術が知られている（例えば、特許文献１および特許文献２参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第６８６０４８８号公報

【文献】特許第６８００５９９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、従来より仮想空間の用途の幅を広げることが求められていた。

【0005】

本発明は、前記事情に鑑みてなされたものであり、仮想空間の用途の幅を広げることを目的とする。

【課題を解決するための手段】

【0006】

本開示に示す一実施形態によれば、
仮想空間のビューである第１のビューを第１ユーザに提供する第１制御手段と、
現実空間に仮想オブジェクトが配置された複合現実空間のビューである第２のビューを第２ユーザに提供する第２制御手段と、
前記現実空間における前記第２ユーザの現在の位置を示す位置情報を受け付ける入力受付手段と、
前記現実空間と前記仮想空間との位置の対応関係を示す情報を記憶する対応関係記憶手段と、を備え、
前記第１制御手段は、前記仮想空間中の特定の位置で行われている所定の事象に関する前記第１のビューを前記第１ユーザに提供し、
前記第２制御手段は、
前記位置情報に応じた前記第２のビューを前記第２ユーザに提供し、
前記位置情報が前記第２ユーザが前記特定の位置に対応する位置にいることを示すときに、前記仮想空間中の前記特定の位置で行われている前記所定の事象が反映された前記第２のビューを前記第２ユーザに提供する
情報処理システムが提供される。

【発明の効果】

【0007】

本発明によれば、仮想空間の用途の幅を広げることができる。

【図面の簡単な説明】

【0008】

【図1】情報処理システムの概略構成を示す図である。

【図2】ＶＲシステムの概略構成を示す図である。

【図3】ＭＲシステムの概略構成を示す図である。

【図4】仮想空間を概念的に示す図である。

【図5】仮想空間において視界領域をＸ方向から見たＹＺ断面を示す図である。

【図6】仮想空間において視界領域をＹ方向から見たＸＺ断面を示す図である。

【図7】コントローラの概略構成を示す図である。

【図8】複合現実空間および仮想空間について説明するための図である。

【図9】情報処理システムの機能的構成を示す図である。

【図10】現実オブジェクトと現実オブジェクトに対応する仮想オブジェクトとについて説明するための図である。

【図11】ＶＲシステムの実行する処理の一例を示すフローチャートである。

【図12】ＭＲシステムの実行する処理の一例を示すフローチャートである。

【図13】ＭＲユーザの行動を仮想空間に反映させる処理の一例を示すフローチャートである。

【図14】ＶＲユーザの行動を複合現実空間に反映させる処理の一例を示すフローチャートである。

【図15】仮想空間における事象の現実空間への反映について説明するための図である。

【図16】現実空間における事象の仮想空間への反映について説明するための図である。

【発明を実施するための形態】

【0009】

以下、図面を参照しながら本発明の実施の形態について説明する。

【0010】

［第１の実施形態］
＜情報処理システムの構成＞
図１に示されるように、本実施形態の情報処理システム１００は、ＶＲ（Virtual Reality）システム２００と、ＭＲ（Mixed Reality）システム４００と、サーバ６００と、外部機器７００と、を備えている。ＶＲシステム２００は、ネットワーク２を介してサーバ６００、ＭＲシステム４００、および外部機器７００と通信可能に構成される。また、ＭＲシステム４００は、ネットワーク２を介してサーバ６００、ＶＲシステム２００、および外部機器７００と通信可能に構成される。情報処理システム１００を構成するＭＲシステム４００の数は、１つに限られず、複数存在してもよい。また、情報処理システム１００を構成するＶＲシステム２００の数は、１つに限られず、複数存在してもよい。なお、本実施形態では、ＶＲシステム２００とＭＲシステム４００とのネットワーク２を介した通信は、サーバ６００を介して行われるが、サーバ６００を介さずに行われてもよい。なお、ネットワーク２は、例えば、インターネット、移動通信システム（例えば、３Ｇ、４Ｇ、５Ｇ、ＬＴＥ（Long Term Evolution）等）、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、その他の通信回線、またはこれらの組み合わせ等のいずれによって構成されていてもよい。

【0011】

（ＶＲシステムの構成）
図２に示されるように、ＶＲシステム２００は、ＶＲ装置２１０と、コンピュータ３００と、検出装置２６０と、ディスプレイ２７０と、コントローラ２８０とを備える。ＶＲ装置２１０は、ディスプレイ２１１と、注視センサ２１２と、第１カメラ２１３と、第２カメラ２１４と、マイク２１５と、スピーカ２１６と、センサ２１７と、を備える。以下、ＶＲ装置２１０を使用するユーザを、ＶＲユーザと呼ぶ。

【0012】

コンピュータ３００は、インターネットその他のネットワーク２に接続可能であり、例えば、ネットワーク２に接続されているサーバ６００、ＭＲシステム４００のコンピュータ、およびその他のコンピュータと通信可能である。その他のコンピュータとしては、例えば、他のＶＲシステム２００のコンピュータや外部機器７００等が挙げられる。

【0013】

ＶＲ装置２１０は、ＶＲユーザの頭部に装着され、動作中に仮想空間をＶＲユーザに提供し得る。ＶＲ装置２１０は、例えば、ディスプレイを備える所謂ヘッドマウントディスプレイであってもよく、スマートフォンその他のディスプレイを有する端末が装着されたヘッドマウント機器等であってもよい。ＶＲ装置２１０は、例えば、右目用の画像および左目用の画像をディスプレイ２１１にそれぞれ表示する。ＶＲユーザの各目がそれぞれの画像を視認すると、ＶＲユーザは、両目の視差に基づき当該画像を３次元画像として認識し得る。

【0014】

ディスプレイ２１１は、例えば、非透過型の表示装置として実現される。ディスプレイ２１１は、例えば、ＶＲユーザの両目の前方に位置するようにＶＲ装置２１０の本体に配置されている。したがって、ＶＲユーザは、ディスプレイ２１１に表示される３次元画像を視認すると、仮想空間に没入することができる。なお、ディスプレイ２１１は、所謂スマートフォンその他の端末が備えるディスプレイ等によって実現されてもよい。

【0015】

検出装置２６０は、ＶＲ装置２１０を使用するＶＲユーザの動きを検出する。検出装置２６０は、ＶＲ装置２１０の動きを検出するためのポジショントラッキング機能を有し、これによりＶＲユーザの動きを検出するものであってもよい。具体的には、検出装置２６０は、例えば、ＶＲユーザの動きを検出するためのセンサとして、ＶＲ装置２１０からの光（例えば、赤外光）を読み取るセンサを有し、現実空間内におけるＶＲ装置２１０の位置や傾き等を検出するものであってもよい。この場合に、ＶＲ装置２１０は、図示せぬ複数の光源を有していてもよい。また、各光源は例えば、赤外光を発するＬＥＤ（Light Emitting Diode）により実現されてもよい。

【0016】

また、検出装置２６０は、例えば、カメラにより実現されてもよい。具体的には、検出装置２６０は、ＶＲユーザの動きを検出するためのセンサとして、イメージセンサ（例えば、ＲＧＢ画像を取得するイメージセンサ、白黒画像を取得するイメージセンサ、またはデプスセンサ等）を有するものであってもよい。換言すると、ＶＲユーザの動きは、カメラによって検出されてもよい。検出装置２６０は、例えば、赤外光や所定のパターンの光等の所定の光を放射する装置と、イメージセンサ（例えば、デプスセンサ）とを備えるデプスカメラ等であり、当該装置から放射された光の反射光を当該イメージセンサにより検出し、イメージセンサからの出力に基づいて、ＶＲユーザの位置や姿勢等を検出するもの等であってもよい。また、検出装置４６０は、このようなデプスカメラとＲＧＢ画像が取得可能なカメラとを備えるものであり、これらのカメラからの出力に基づいて、ＶＲユーザの位置や姿勢等を検出するもの等であってもよい。また、検出装置２６０は、例えば、複数のイメージセンサを備えるステレオカメラ等であり、複数のイメージセンサからの出力に基づいて、ＶＲユーザの位置や姿勢等を検出するもの等であってもよい。なお、ＶＲユーザの位置や姿勢等の検出とは、ＶＲユーザの体の位置や姿勢等の検出であってもよく、ＶＲ装置２１０の位置や傾き等の検出であってもよい。

【0017】

なお、ＶＲシステム２００は、検出装置２６０として、１または複数種類の検出装置を有していてもよく、各種類の検出装置を複数有していてもよい。また、ＶＲシステム２００は、検出装置２６０を有していなくてもよい。なお、検出装置２６０の一部がコンピュータ３００等によって構成されてもよい。例えば、イメージセンサからの出力の解析（例えば、画像認識等）は、コンピュータ３００等で行われてもよい。

【0018】

なお、検出装置２６０は、上述の各種センサ等に加え、検出装置２６０自身の位置や傾き等を検出可能なセンサを有していてもよい。具体的には、例えば、検出装置２６０は、角速度センサ（例えば、３軸角速度センサ）、加速度センサ（例えば、３軸加速度センサ）、または地磁気センサ（例えば、３軸地磁気センサ）等を有していてもよい。また、これらのセンサからの出力は、コンピュータ３００等に送られ、例えば、検出装置２６０の備えるイメージセンサからの出力に基づいて所定の処理が行われる際等に使用されてもよい。

【0019】

また、ＶＲ装置２１０は、ＶＲユーザの動きを検出する検出手段として、検出装置２６０の代わりに、あるいは検出装置２６０に加えてセンサ２１７を備えてもよい。ＶＲ装置２１０は、センサ２１７を用いて、ＶＲ装置２１０自身の位置および傾きを検出し得る。センサ２１７は、例えば、角速度センサ（例えば、３軸角速度センサ）、加速度センサ（例えば、３軸加速度センサ）、または地磁気センサ（例えば、３軸地磁気センサ）等であってもよい。また、ＶＲ装置２１０は、センサ２１７として、１または複数種類のセンサを有していてもよく、各種類のセンサを複数有していてもよい。一例として、センサ２１７として角速度センサを用いた場合、ＶＲ装置２１０は、現実空間におけるＶＲ装置２１０の３軸周りの角速度を経時的に検出できる。そして、ＶＲ装置２１０は、各角速度に基づいて、ＶＲ装置２１０の３軸周りの角度の時間的変化を算出し、さらに、角度の時間的変化に基づいて、ＶＲ装置２１０の傾きを算出すること等ができる。また、センサ２１７は、例えば、イメージセンサであってもよい。そして、当該イメージセンサからの出力に基づいて、ＶＲユーザの位置や姿勢等を検出してもよい。換言すると、ＶＲユーザの位置や姿勢等は、ＶＲ装置２１０の備えるＶＲ装置２１０の周囲を撮影するカメラからの情報等に基づいて検出されてもよい。換言すると、ＶＲ装置２１０のトラッキングは、アウトサイドイン方式によって行われてもよく、インサイドアウト方式によって行われてもよい。

【0020】

注視センサ２１２は、ＶＲユーザの右目および左目の視線が向けられる方向を検出する。すなわち、注視センサ２１２は、ＶＲユーザの視線（換言すると、目の動き）を検出する。視線の方向の検出は、例えば、公知のアイトラッキング機能によって実現される。注視センサ２１２は、当該アイトラッキング機能を有するセンサにより実現される。注視センサ２１２は、右目用のセンサおよび左目用のセンサを含んでいてもよい。注視センサ２１２は、例えば、ＶＲユーザの右目および左目に赤外光を照射するとともに、照射光に対する角膜および虹彩からの反射光を受けることにより各眼球の回転角を検出するセンサであってもよい。この場合、注視センサ２１２は、検出した各回転角に基づいて、ＶＲユーザの視線を検出することができる。

【0021】

第１カメラ２１３は、ＶＲユーザの顔の下部を撮影する。より具体的には、第１カメラ２１３は、ＶＲユーザの鼻および口などを撮影する。第２カメラ２１４は、ＶＲユーザの目および眉などを撮影する。ここで、ＶＲ装置２１０の筐体のＶＲユーザ側をＶＲ装置２１０の内側、ＶＲ装置２１０の筐体のＶＲユーザとは逆側をＶＲ装置２１０の外側と定義する。第１カメラ２１３は、ＶＲ装置２１０の外側に配置され、第２カメラ２１４は、ＶＲ装置２１０の内側に配置されてもよい。第１カメラ２１３および第２カメラ２１４により撮影された画像は、コンピュータ３００に入力される。なお、第１カメラ２１３と第２カメラ２１４とを１台のカメラとして実現し、この１台のカメラでＶＲユーザの顔を撮影してもよい。

【0022】

音入力手段としてのマイク２１５は、ＶＲユーザの声を音信号（換言すると、電気信号）に変換してコンピュータ３００に出力する。音出力手段としてのスピーカ２１６は、音信号を音に変換してＶＲユーザに出力する。なお、ＶＲ装置２１０は、音出力手段としてスピーカ２１６に代えてイヤホンを含んでいてもよい。

【0023】

ディスプレイ２７０は、ディスプレイ２１１に表示されている画像と同様の画像を表示する。これにより、ＶＲ装置２１０を装着しているＶＲユーザ以外のユーザにも当該ＶＲユーザと同様の画像（換言すると仮想空間）を視聴させることができる。ディスプレイ２７０に表示される画像は、３次元画像である必要はなく、例えば、ＶＲ装置２１０で表示される右目用の画像や左目用の画像であってもよい。ディスプレイ２７０としては、例えば、液晶ディスプレイや有機ＥＬディスプレイなどが挙げられる。

【0024】

コントローラ２８０は、有線または無線によりコンピュータ３００に接続されている。コントローラ２８０は、ＶＲユーザからコンピュータ３００への指示に係る入力操作を受け付ける。また、コントローラ２８０は、仮想空間に配置される仮想オブジェクトの位置や動きを制御するためのＶＲユーザによる入力操作を受け付ける。コントローラ２８０は、例えば、ＶＲユーザによって把持可能に構成されてもよい。また、コントローラ２８０は、例えば、ＶＲユーザの身体あるいは衣類の一部に装着可能に構成されてもよい。具体的には、コントローラ２８０は、例えば、手袋型等であってもよい。また、コントローラ２８０は、コンピュータ３００から送信される信号に基づいて、振動、音、光のうちの少なくともいずれかを出力可能に構成されてもよい。

【0025】

また、コントローラ２８０は、複数の光源を有していてもよい。各光源は例えば、赤外光を発するＬＥＤにより実現されてもよい。そして、検出装置２６０は、コントローラ２８０からの赤外光を読み取り、現実空間内におけるコントローラ２８０の位置および傾き等を検出してもよい。換言すると、検出装置２６０は、コントローラ２８０の動きを検出するポジショントラッキング機能を有し、これによりＶＲユーザの動きを検出するものであってもよい。

【0026】

なお、ＶＲシステム２００は、コントローラ２８０を有していなくてもよい。

【0027】

また、情報処理システム１００は、ＶＲユーザの動きを検出するセンサ２８６を有していてもよい。センサ２８６は、例えば、角速度センサ、加速度センサ、または地磁気センサであってもよい。また、センサ２８６は、例えば、コントローラ２８０に設けられていてもよい（図７参照）。なお、情報処理システム１００は、センサ２８６として、１または複数種類のセンサを有していてもよく、各種類のセンサを複数有していてもよい。また、センサ２８６を備える装置（例えば、コントローラ２８０や所定のカメラ等）と、コンピュータ３００とは、例えば、無線により互いに接続されてもよい。そして、センサ２８６により取得された情報は、例えば、無線通信によりコンピュータ３００に送信されてもよい。

【0028】

また、ＶＲユーザの位置や動きは、ＶＲ装置２１０が、所定の無線通信（例えば、Ｗｉ－Ｆｉ通信、Ｂｌｕｅｔｏｏｔｈ通信、またはＵＷＢ（Ultra Wide Band）通信などの近距離無線通信）を行う装置を備え、当該装置と周囲の機器とが無線通信を行いＶＲ装置２１０の位置情報を取得することにより検出されてもよい。

【0029】

また、ＶＲユーザの位置や動きは、ＶＲユーザが身につけるデバイス等（例えば、時計型、リストバンド型、指輪型、もしくは衣服型等のウェアラブルデバイス、または体内埋め込み型のデバイス等）の、ＶＲユーザの動きをトラッキング可能とする外部機器７００（および当該機器と近距離無線通信等により連携してＶＲユーザの動きをトラッキングする機器）を用いて検出されてもよい。また、これらの外部機器７００をコントローラ２８０として使用してもよい。また、ＶＲユーザの位置や動きは、ＧＰＳセンサ等によって検出されてもよい。

【0030】

（コンピュータ３００の構成）
図２に示されるように、コンピュータ３００は、主たる構成要素として、プロセッサ３０１と、メモリ３０２と、ストレージ３０３と、入出力インターフェース３０４と、通信インターフェース３０５とを備える。各構成要素は、それぞれ、バスによって互いに接続されている。

【0031】

プロセッサ３０１は、ＶＲ装置２１０の動作を制御する。プロセッサ３０１は、ストレージ３０３からプログラムを読み出し、メモリ３０２に展開する。プロセッサ３０１は、展開したプログラムを実行する。プロセッサ３０１は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＭＰＵ（Micro Processor Unit）、およびＦＰＧＡ（Field-Programmable Gate Array）等のうちの１種類以上を含んで構成され得る。

【0032】

メモリ３０２は、主記憶装置である。メモリ３０２は、例えば、ＲＯＭ（Read Only Memory）およびＲＡＭ（Random Access Memory）等の記憶装置により構成される。メモリ３０２は、プロセッサ３０１がストレージ３０３から読み出したプログラムおよび各種データを一時的に記憶することにより、プロセッサ３０１に作業領域を提供する。メモリ３０２は、プロセッサ３０１がプログラムに従って動作している間に生成した各種データやコンピュータ３００に入力された各種データ等も一時的に記憶する。

【0033】

ストレージ３０３は、補助記憶装置である。ストレージ３０３は、例えば、フラッシュメモリまたはＨＤＤ（Hard Disk Drive）等の記憶装置により構成される。ストレージ３０３には、情報処理システム１００においてサービスを提供するためのプログラムが格納される。また、ストレージ３０３には、情報処理システム１００においてサービスを提供するための各種データが格納される。ストレージ３０３に格納されるデータには、仮想空間を規定するためのデータおよび仮想オブジェクトに関するデータ等が含まれる。

【0034】

なお、ストレージ３０３は、メモリカードのように着脱可能な記憶装置として実現されてもよい。また、コンピュータ３００に内蔵されたストレージ３０３の代わりに、外部の記憶装置に保存されているプログラムおよびデータが使用される構成であってもよい。

【0035】

入出力インターフェース３０４は、コンピュータ３００がデータの入力を受け付けるためのインターフェースであるとともに、コンピュータ３００がデータを出力するためのインターフェースである。入出力インターフェース３０４は、ＶＲ装置２１０、検出装置２６０、およびディスプレイ２７０との間でデータの送信または受信をし得る。また、ＶＲ装置２１０に含まれるディスプレイ２１１、注視センサ２１２、第１カメラ２１３、第２カメラ２１４、マイク２１５、スピーカ２１６、およびセンサ２１７との間でデータの送信または受信をしてもよい。

【0036】

なお、入出力インターフェース３０４は、コントローラ２８０との間でデータの送信または受信をしてもよい。例えば、入出力インターフェース３０４は、コントローラ２８０およびセンサ２８６から出力された信号の入力を受けてもよい。また、入出力インターフェース３０４は、プロセッサ３０１から出力された命令を、コントローラ２８０に送信してもよい。当該命令は、振動、音出力、発光等をコントローラ２８０に指示するものであってもよい。コントローラ２８０は、当該命令を受信すると、命令に応じて、振動、音出力または発光等を行う。

【0037】

なお、ＶＲ装置２１０、検出装置２６０、ディスプレイ２７０、コントローラ２８０、およびセンサ２８６のそれぞれとコンピュータ３００とは、有線接続されてもよく、無線接続されてもよい。

【0038】

通信インターフェース３０５は、他のコンピュータ（例えば、サーバ６００、コンピュータ５００、または他のコンピュータ３００等）とのネットワーク２を介した各種データの送受信を制御する。

【0039】

プロセッサ３０１は、ストレージ３０３にアクセスし、ストレージ３０３に格納されているプログラムをメモリ３０２に展開し、当該プログラムに含まれる一連の命令を実行する。また、プロセッサ３０１は、入出力インターフェース３０４を介して、仮想空間を提供するための信号をＶＲ装置２１０に送る。

【0040】

なお、コンピュータ３００はＶＲ装置２１０の外部に設けられていてもよく、コンピュータ３００の一部または全体がＶＲ装置２１０に内蔵されてもよい。また、ディスプレイ２１１を含む携帯型の端末（例えば、スマートフォン）がコンピュータ３００の少なくとも一部として機能してもよい。なお、ＶＲ装置２１０が複数存在する場合に、コンピュータ３００は、各ＶＲ装置２１０に対して設けられていてもよく、複数のＶＲ装置２１０に対して共通して用いられてもよい。

【0041】

（座標系）
ＶＲシステム２００では、現実空間における座標系である実座標系が予め設定されている。実座標系は、現実空間における鉛直方向、鉛直方向に直交する水平方向、並びに、鉛直方向および水平方向の双方に直交する前後方向にそれぞれ平行な、３つの基準方向（軸）を有する。

【0042】

現実空間内におけるＶＲ装置２１０の位置や傾きは、検出装置２６０やセンサ２１７によって検出できる。検出されるＶＲ装置２１０の傾きは、例えば、実座標系におけるＶＲ装置２１０の３軸周りの各傾きに相当する。コンピュータ３００は、実座標系におけるＶＲ装置２１０の傾きに基づき、ｕｖｗ視野座標系をＶＲ装置２１０に設定する（図４参照）。ＶＲ装置２１０に設定されるｕｖｗ視野座標系は、ＶＲ装置２１０を装着したＶＲユーザが仮想空間において物体を見る際の視点座標系に対応する。

【0043】

ここで、ｕｖｗ視野座標系について説明する。コンピュータ３００は、ＶＲ装置２１０を装着したＶＲユーザの頭部を中心（原点）とした３次元のｕｖｗ視野座標系を設定する。より具体的には、コンピュータ３００は、実座標系を規定する水平方向、鉛直方向、および前後方向を、実座標系内においてＶＲ装置２１０の各軸周りの傾きだけ各軸周りにそれぞれ傾けることによって新たに得られる３つの方向を、ＶＲ装置２１０におけるｕｖｗ視野座標系のピッチ軸（ｕ軸）、ヨー軸（ｖ軸）、およびロール軸（ｗ軸）として設定する。

【0044】

例えば、ＶＲ装置２１０を装着したＶＲユーザが直立し、かつ、正面を視認している場合、プロセッサ３０１は、実座標系に平行な視野座標系をＶＲ装置２１０に設定する。この場合、実座標系における水平方向、鉛直方向、および前後方向は、ＶＲ装置２１０における視野座標系のピッチ軸（ｕ軸）、ヨー軸（ｖ軸）、およびロール軸（ｗ軸）に一致する。

【0045】

ｕｖｗ視野座標系がＶＲ装置２１０に設定された後、検出装置２６０またはセンサ２１７は、ＶＲ装置２１０の動きに基づいて、設定されたｕｖｗ視野座標系におけるＶＲ装置２１０の傾きを検出できる。この場合、検出装置２６０またはセンサ２１７は、ＶＲ装置２１０の傾きとして、ｕｖｗ視野座標系におけるＶＲ装置２１０のピッチ角、ヨー角、およびロール角をそれぞれ検出する。ピッチ角は、ｕｖｗ視野座標系におけるピッチ軸周りのＶＲ装置２１０の傾き角度を表す。ヨー角は、ｕｖｗ視野座標系におけるヨー軸周りのＶＲ装置２１０の傾き角度を表す。ロール角は、ｕｖｗ視野座標系におけるロール軸周りのＶＲ装置２１０の傾き角度を表す。

【0046】

コンピュータ３００は、検出されたＶＲ装置２１０の傾きに基づいて、ＶＲ装置２１０が動いた後のＶＲ装置２１０におけるｕｖｗ視野座標系を、ＶＲ装置２１０に設定する。ＶＲ装置２１０と、ＶＲ装置２１０のｕｖｗ視野座標系との関係は、ＶＲ装置２１０の位置および傾きに関わらず、常に一定である。ＶＲ装置２１０の位置および傾きが変わると、当該位置および傾きの変化に連動して、実座標系におけるＶＲ装置２１０のｕｖｗ視野座標系の位置および傾きが変化する。

【0047】

なお、検出装置２６０は、ＶＲ装置２１０の現実空間内における位置を、検出装置２６０に対する相対位置として特定してもよい。また、プロセッサ３０１は、特定された相対位置に基づいて、現実空間内（実座標系）におけるＶＲ装置２１０のｕｖｗ視野座標系の原点を決定してもよい。

【0048】

（仮想空間）
図４を参照して、仮想空間についてさらに説明する。図４は、ある実施の形態に従う仮想空間１１を表現する一態様を概念的に表す図である。仮想空間１１は、中心１２の３６０度方向の全体を覆う全天球状の構造を有する。図４では、説明を複雑にしないために、仮想空間１１のうちの上半分の天球が例示されている。仮想空間１１では各メッシュが規定される。各メッシュの位置は、仮想空間１１に規定されるグローバル座標系であるＸＹＺ座標系における座標値として予め規定されている。コンピュータ３００は、仮想空間１１に展開可能なパノラマ画像１３（静止画、動画等）を構成する各部分画像を、仮想空間１１において対応する各メッシュにそれぞれ対応付ける。

【0049】

仮想空間１１では、所定の点を原点１２とするＸＹＺ座標系が規定される。ＸＹＺ座標系は、例えば、実座標系に平行である。ＸＹＺ座標系における水平方向、鉛直方向（上下方向）、および前後方向は、それぞれＸ軸、Ｙ軸、Ｚ軸として規定される。したがって、ＸＹＺ座標系のＸ軸が実座標系の水平方向と平行であり、ＸＹＺ座標系のＹ軸（鉛直方向）が実座標系の鉛直方向と平行であり、ＸＹＺ座標系のＺ軸（前後方向）が実座標系の前後方向と平行である。

【0050】

ＶＲ装置２１０の起動時、すなわちＶＲ装置２１０の初期状態においては、仮想カメラ１４が、仮想空間１１の所定の位置（例えば、中心）に配置される。また、プロセッサ３０１は、仮想カメラ１４が撮影する画像をＶＲ装置２１０のディスプレイ２１１に表示する。仮想カメラ１４は、現実空間におけるＶＲ装置２１０の動きに連動して、仮想空間１１内で動く。これにより、現実空間におけるＶＲ装置２１０の傾きや位置の変化が、仮想空間１１において同様に再現され得る。

【0051】

仮想カメラ１４には、ＶＲ装置２１０の場合と同様に、ｕｖｗ視野座標系が規定される。仮想空間１１における仮想カメラ１４のｕｖｗ視野座標系は、現実空間（実座標系）におけるＶＲ装置２１０のｕｖｗ視野座標系に連動するように規定されている。したがって、ＶＲ装置２１０の傾きが変化すると、それに応じて、仮想カメラ１４の傾きも変化する。なお、仮想カメラ１４は、ＶＲユーザの現実空間における移動に連動して、仮想空間１１において移動してもよいが、本実施形態では、ＶＲユーザが現実空間において移動しても、仮想空間１１では移動しないようになっている。

【0052】

コンピュータ３００のプロセッサ３０１は、仮想カメラ１４の位置と傾きとに基づいて、仮想空間１１における視界領域１５を規定する。視界領域１５は、仮想空間１１のうち、ＶＲ装置２１０を装着したＶＲユーザが視認する領域に対応する。つまり、仮想カメラ１４の位置は、仮想空間１１におけるＶＲユーザの視点といえる。

【0053】

ＶＲ装置２１０のｕｖｗ視野座標系は、ＶＲユーザがディスプレイ２１１を視認する際の視点座標系に等しい。仮想カメラ１４のｕｖｗ視野座標系は、ＶＲ装置２１０のｕｖｗ視野座標系に連動している。したがって、注視センサ２１２によって検出されたＶＲユーザの視線を、仮想カメラ１４のｕｖｗ視野座標系におけるＶＲユーザの視線とみなすことができる。

【0054】

（視界領域）
図５および図６を参照して、視界領域１５について説明する。図５は、仮想空間１１において視界領域１５をＸ方向から見たＹＺ断面を表す図である。図６は、仮想空間１１において視界領域１５をＹ方向から見たＸＺ断面を表す図である。

【0055】

図５に示されるように、ＹＺ断面における視界領域１５は、領域１８を含む。領域１８は、仮想カメラ１４の位置と基準視線１６と仮想空間１１のＹＺ断面とによって定義される。プロセッサ３０１は、仮想空間における基準視線１６を中心として極角αを含む範囲を、領域１８として定義する。

【0056】

図６に示されるように、ＸＺ断面における視界領域１５は、領域１９を含む。領域１９は、仮想カメラ１４の位置と基準視線１６と仮想空間１１のＸＺ断面とによって定義される。プロセッサ３０１は、仮想空間１１における基準視線１６を中心とした方位角βを含む範囲を、領域１９として定義する。極角αおよびβは、仮想カメラ１４の位置と仮想カメラ１４の傾き（向き）とに応じて定まる。

【0057】

ＶＲシステム２００は、コンピュータ３００からの信号に基づいて、視界画像１７をディスプレイ２１１に表示させることにより、ＶＲユーザに仮想空間１１における視界を提供する（図４参照）。視界画像１７は、パノラマ画像１３のうち視界領域１５に対応する部分に相当する画像である。ＶＲユーザが、頭に装着したＶＲ装置２１０を動かすと、その動きに連動して仮想カメラ１４も動く。その結果、仮想空間１１における視界領域１５の位置が変化する。これにより、ディスプレイ２１１に表示される視界画像１７は、パノラマ画像１３のうち、仮想空間１１においてＶＲユーザが向いた方向の視界領域１５に重畳する画像に更新される。ＶＲユーザは、仮想空間１１における所望の方向を視認することができる。

【0058】

ＶＲユーザは、ＶＲ装置２１０を装着している間、現実世界を視認することなく、仮想空間１１に展開されるパノラマ画像１３のみを視認できる。そのため、情報処理システム１００は、仮想空間１１への高い没入感覚をＶＲユーザに与えることができる。

【0059】

なお、仮想カメラ１４は、２つの仮想カメラ、すなわち、右目用の画像を提供するための仮想カメラと、左目用の画像を提供するための仮想カメラとを含み得る。この場合、ＶＲユーザが３次元の仮想空間１１を認識できるように、適切な視差が、２つの仮想カメラに設定される。なお、仮想カメラ１４を１つの仮想カメラにより実現してもよい。この場合、１つの仮想カメラにより得られた画像から、右目用の画像と左目用の画像とを生成するようにしてもよい。

【0060】

（コントローラ）
図７を参照して、コントローラ２８０の一例について説明する。

【0061】

図７に示されるように、コントローラ２８０は、右コントローラ２８０Ｒと図示せぬ左コントローラとを含み得る。この場合に、右コントローラ２８０Ｒは、ＶＲユーザの右手で操作される。左コントローラは、ＶＲユーザの左手で操作される。ある局面において、右コントローラ２８０Ｒと左コントローラとは、別個の装置として構成される。したがって、ＶＲユーザは、右コントローラ２８０Ｒを把持した右手と、左コントローラを把持した左手とをそれぞれ自由に動かすことができる。別の局面において、コントローラ２８０は両手の操作を受け付ける一体型のコントローラであってもよい。以下、右コントローラ２８０Ｒについて説明する。

【0062】

右コントローラ２８０Ｒは、グリップ２８１と、フレーム２８２と、天面２８３と、ボタン２８４，２８５と、センサ（例えば、モーションセンサ）２８６と、赤外光ＬＥＤ２８７と、ボタン２８８，２８９と、アナログスティック２９０とを備える。グリップ２８１は、ＶＲユーザの右手によって把持されるように構成されている。たとえば、グリップ２８１は、ＶＲユーザの右手の掌と３本の指（中指、薬指、小指）とによって保持され得る。

【0063】

ボタン２８４は、グリップ２８１の側面に配置され、右手の中指による操作を受け付ける。ボタン２８５は、グリップ２８１の前面に配置され、右手の人差し指による操作を受け付ける。また、ボタン２８４，２８５は、ボタン２８４，２８５を押下するユーザの動きを検出するスイッチを備えている。なお、ボタン２８４，２８５は、トリガー式のボタンとして構成されてもよい。

【0064】

センサ２８６は、グリップ２８１の筐体に内蔵されている。また、センサ２８６は、ＶＲユーザの動きを検出する。具体的には、センサ２８６は、ＶＲユーザの手の動きを検出する。例えば、センサ２８６は、手の回転速度、回転数等を検出する。なお、コントローラ２８０は、センサ２８６を備えなくてもよい。

【0065】

フレーム２８２には、その円周方向に沿って複数の赤外光ＬＥＤ２８７が配置されている。赤外光ＬＥＤ２８７は、コントローラ２８０を使用するプログラムの実行中に、当該プログラムの進行に合わせて赤外光を発光する。赤外光ＬＥＤ２８７から発せられた赤外光は、右コントローラ２８０Ｒと左コントローラとの各位置や姿勢（傾き、向き）を検出するために使用され得る。

【0066】

天面２８３は、ボタン２８８，２８９と、アナログスティック２９０とを備える。ボタン２８８，２８９は、ＶＲユーザの右手の親指による操作を受け付ける。また、ボタン２８８，２８９は、ボタン２８８，２８９を押下するユーザの動きを検出するスイッチを備えている。アナログスティック２９０は、初期位置（ニュートラルの位置）から３６０度任意の方向への操作を受け付ける。当該操作は、たとえば、仮想空間１１に配置されるオブジェクトを移動させるための操作を含む。また、アナログスティック２９０は、アナログスティック２９０を操作するユーザの動きを検出するセンサを備えている。

【0067】

コントローラ２８０が検出したＶＲユーザの入力操作（換言すると、ＶＲユーザの動き）に関する情報は、コンピュータ３００に送られる。

【0068】

図７に示されるように、コントローラ２８０には、例えば、ＶＲユーザの右手に対して、ヨー、ロール、ピッチの各方向が規定される。具体的には、例えば、ＶＲユーザが親指と人差し指とを伸ばした場合に、親指の伸びる方向がヨー方向、人差し指の伸びる方向がロール方向、ヨー方向の軸およびロール方向の軸によって規定される平面に垂直な方向がピッチ方向として規定される。

【0069】

（ＭＲシステムの構成）
図３に示されるように、ＭＲシステム４００は、ＭＲ装置４１０と、コンピュータ５００と、検出装置４６０と、ディスプレイ４７０と、コントローラ４８０とを備える。ＭＲ装置４１０は、ディスプレイ４１１と、注視センサ４１２と、カメラ４１３と、マイク４１５と、スピーカ４１６と、センサ４１７とを備える。以下、ＭＲ装置４１０を使用するユーザを、ＭＲユーザ６と呼ぶ。

【0070】

コンピュータ５００は、インターネットその他のネットワーク２に接続可能であり、例えば、ネットワーク２に接続されているサーバ６００、ＶＲシステム２００のコンピュータ、およびその他のコンピュータと通信可能である。その他のコンピュータとしては、例えば、他のＭＲシステム４００のコンピュータや外部機器７００等が挙げられる。

【0071】

ＭＲ装置４１０は、ＭＲユーザ６の頭部に装着され、動作中に複合現実空間をＭＲユーザ６に提供し得る。ＭＲ装置４１０は、例えば、ディスプレイを備えるメガネ型の装置（例えば、所謂ＭＲグラス）であってもよい。また、ＭＲ装置４１０は、コンタクトレンズ型の装置等であってもよい。

【0072】

ディスプレイ４１１は、例えば、透過型の表示装置として実現される。なお、透過型のディスプレイ４１１は、その透過率を調整することにより、一時的に非透過型の表示装置として機能するものであってもよい。ディスプレイ４１１は、例えば、ＭＲユーザ６の両目の前方に位置するようにＭＲ装置４１０の本体に配置されている。したがって、ＭＲユーザ６には、透過型のディスプレイ４１１を介して見える現実空間に、ディスプレイ４１１が表示する仮想オブジェクトが重畳された表示が提供される。すなわち、ＭＲ装置４１０は、現実空間に仮想オブジェクトが配置された複合現実空間のビューをＭＲユーザ６に提供する。換言すると、ＭＲユーザ６は、ＭＲ装置４１０により、仮想オブジェクトと、現実空間に存在するオブジェクト（以下、「現実オブジェクト」という。）とを同時に見ることができる。

【0073】

検出装置４６０は、ＭＲ装置４１０を使用するＭＲユーザ６の動きを検出する。検出装置４６０は、ＭＲ装置４１０の動きを検出するためのポジショントラッキング機能を有し、これによりＭＲユーザ６の動きを検出するものであってもよい。具体的には、検出装置４６０は、例えば、ＭＲユーザ６の動きを検出するためのセンサとして、ＭＲ装置４１０からの光（例えば、赤外光）を読み取るセンサを有し、複合現実空間内におけるＭＲ装置４１０の位置や傾き等を検出するものであってもよい。この場合に、ＭＲ装置４１０は、図示せぬ複数の光源を有していてもよい。また、各光源は例えば、赤外光を発するＬＥＤ（Light Emitting Diode）により実現されてもよい。

【0074】

また、検出装置４６０は、例えば、カメラにより実現されてもよい。具体的には、検出装置４６０は、ＭＲユーザ６の動きを検出するためのセンサとして、イメージセンサ（例えば、ＲＧＢ画像を取得するイメージセンサ、白黒画像を取得するイメージセンサ、またはデプスセンサ等）を有するものであってもよい。換言すると、ＭＲユーザ６の動きは、カメラによって検出されてもよい。検出装置４６０は、例えば、赤外光や所定のパターンの光等の所定の光を放射する装置と、イメージセンサ（例えば、デプスセンサ）とを備えるデプスカメラ等であり、当該装置から放射された光の反射光を当該イメージセンサにより検出し、イメージセンサからの出力に基づいて、ＭＲユーザ６の位置や姿勢等を検出するもの等であってもよい。また、検出装置４６０は、このようなデプスカメラとＲＧＢ画像が取得可能なカメラとを備えるものであり、これらのカメラからの出力に基づいて、ＭＲユーザ６の位置や姿勢等を検出するもの等であってもよい。また、検出装置４６０は、例えば、複数のイメージセンサを備えるステレオカメラ等であり、複数のイメージセンサからの出力に基づいて、ＭＲユーザ６の位置や姿勢等を検出するもの等であってもよい。なお、ＭＲユーザ６の位置や姿勢等の検出とは、ＭＲユーザ６の体の位置や姿勢等の検出であってもよく、ＭＲ装置４１０の位置や傾き等の検出であってもよい。

【0075】

なお、ＭＲシステム４００は、検出装置４６０として、１または複数種類の検出装置を有していてもよく、各種類の検出装置を複数有していてもよい。例えば、ＭＲシステム４００は、複数のカメラ（換言すると、複数のセンサ）を備え、当該複数のカメラが検出装置４６０として機能してもよい。本実施形態では、ＭＲシステム４００は、３台の検出装置４６０を備え、各検出装置４６０が、デプスカメラとＲＧＢ画像が取得可能なカメラとを備えるものとして説明する。なお、検出装置４６０の一部がコンピュータ５００等によって構成されてもよい。例えば、イメージセンサからの出力の解析（例えば、画像認識等）は、コンピュータ５００等で行われてもよい。なお、ＭＲシステム４００は、検出装置４６０を有していなくてもよい。

【0076】

なお、検出装置４６０は、上述の各種センサ等に加え、検出装置４６０自身の位置や傾き等を検出可能なセンサを有していてもよい。具体的には、例えば、検出装置４６０は、角速度センサ（例えば、３軸角速度センサ）、加速度センサ（例えば、３軸加速度センサ）、または地磁気センサ（例えば、３軸地磁気センサ）等を有していてもよい。また、これらのセンサからの出力は、コンピュータ５００等に送られ、例えば、検出装置４６０の備えるイメージセンサからの出力に基づいて所定の処理が行われる際等に使用されてもよい。

【0077】

また、後述するＭＲ装置４１０の構成から理解されるように、他のＭＲユーザ６のＭＲ装置４１０が、検出装置４６０として用いられてもよい。

【0078】

また、ＭＲ装置４１０は、ＭＲユーザ６の動きを検出する検出手段として、検出装置４６０の代わりに、あるいは検出装置４６０に加えてセンサ４１７を備えてもよい。ＭＲ装置４１０は、センサ４１７を用いて、ＭＲ装置４１０自身の位置および傾きを検出し得る。センサ４１７は、例えば、角速度センサ（例えば、３軸角速度センサ）、加速度センサ（例えば、３軸加速度センサ）、または地磁気センサ（例えば、３軸地磁気センサ）等であってもよい。また、ＭＲ装置４１０は、センサ４１７として、１または複数種類のセンサを有していてもよく、各種類のセンサを複数有していてもよい。

【0079】

注視センサ４１２は、ＭＲユーザ６の右目および左目の視線が向けられる方向を検出する。すなわち、注視センサ４１２は、ＭＲユーザ６の視線（換言すると、目の動き）を検出する。視線の方向の検出は、例えば、公知のアイトラッキング機能によって実現される。注視センサ４１２は、当該アイトラッキング機能を有するセンサにより実現される。注視センサ４１２は、右目用のセンサおよび左目用のセンサを含んでいてもよい。注視センサ４１２は、例えば、ＭＲユーザ６の右目および左目に赤外光を照射するとともに、照射光に対する角膜および虹彩からの反射光を受けることにより各眼球の回転角を検出するセンサであってもよい。この場合、注視センサ４１２は、検出した各回転角に基づいて、ＭＲユーザ６の視線を検出することができる。

【0080】

カメラ４１３は、ＭＲユーザ６の周囲（例えば、前方）を撮影する。ＭＲ装置４１０は、例えば、カメラ４１３として、デプスカメラと、ＲＧＢ画像が取得可能なカメラとを備えていてもよい。そして、カメラ４１３からの出力に基づいて、コンピュータ５００が、ＭＲ装置４１０（換言するとＭＲユーザ６）の周囲のオブジェクトの形状や、ＭＲ装置４１０と周囲のオブジェクトとの相対的な距離等を検出してもよい。また、ＭＲ装置４１０の位置や傾きは、カメラ４１３からの出力に基づいて検出されてもよい。換言すると、ＭＲ装置４１０のトラッキングは、アウトサイドイン方式によって行われてもよく、インサイドアウト方式によって行われてもよい。

【0081】

音入力手段としてのマイク４１５は、ＭＲユーザ６の声を音信号（換言すると、電気信号）に変換してコンピュータ５００に出力する。音出力手段としてのスピーカ４１６は、音信号を音に変換してＭＲユーザ６に出力する。なお、ＭＲ装置４１０は、音出力手段としてスピーカ４１６に代えてイヤホンを含んでいてもよい。

【0082】

ディスプレイ４７０は、例えば、ディスプレイ４１１に表示されている画像と同様の画像を表示する。これにより、ＭＲ装置４１０を装着しているＭＲユーザ６以外のユーザにも当該ＭＲユーザ６と同様の画像を視聴させることができる。ディスプレイ４７０に表示される画像は、３次元画像である必要はなく、例えば、ＭＲ装置４１０で表示される右目用の画像や左目用の画像であってもよい。ディスプレイ４７０としては、例えば、液晶ディスプレイや有機ＥＬディスプレイなどが挙げられる。なお、ディスプレイ４７０は、ＭＲ装置４１０がＭＲユーザ６に提供する複合現実空間のビューを示す画像を表示してもよい。

【0083】

コントローラ４８０は、有線または無線によりコンピュータ５００に接続されている。コントローラ４８０は、ＭＲユーザ６からコンピュータ５００への指示に係る入力操作を受け付ける。また、コントローラ４８０は、複合現実空間に配置される仮想オブジェクトの位置や動きを制御するためのＭＲユーザ６による入力操作を受け付ける。コントローラ４８０は、例えば、ＭＲユーザ６によって把持可能に構成されてもよい。また、コントローラ４８０は、例えば、ＭＲユーザ６の身体あるいは衣類の一部に装着可能に構成されてもよい。また、コントローラ４８０は、コンピュータ５００から送信される信号に基づいて、振動、音、光のうちの少なくともいずれかを出力可能に構成されてもよい。

【0084】

また、コントローラ４８０は、複数の光源を有していてもよい。各光源は例えば、赤外光を発するＬＥＤにより実現されてもよい。そして、検出装置４６０は、コントローラ４８０からの赤外光を読み取り、複合現実空間内におけるコントローラ４８０の位置および傾き等を検出してもよい。換言すると、検出装置４６０は、コントローラ４８０の動きを検出するポジショントラッキング機能を有し、これによりＭＲユーザ６の動きを検出するものであってもよい。

【0085】

なお、ＭＲシステム４００は、コントローラ４８０を有していなくてもよい。また、コントローラ４８０は、例えば、コントローラ２８０の備える構成の一部または全部を有していてもよい。

【0086】

なお、情報処理システム１００は、ＭＲユーザ６の動きを検出するセンサ４８６を有していてもよい。センサ４８６は、例えば、角速度センサ、加速度センサ、または地磁気センサであってもよい。また、センサ４８６は、例えば、コントローラ４８０に設けられていてもよい。なお、情報処理システム１００は、センサ４８６として、１または複数種類のセンサを有していてもよく、各種類のセンサを複数有していてもよい。また、センサ４８６を備える装置（例えば、コントローラ４８０や所定のカメラ等）と、コンピュータ５００とは、例えば、無線により互いに接続されてもよい。そして、センサ４８６により取得された情報は、例えば、無線通信によりコンピュータ３００に送信されてもよい。

【0087】

また、ＭＲユーザ６の位置や動きは、ＭＲ装置４１０が、所定の無線通信（例えば、Ｗｉ－Ｆｉ通信、Ｂｌｕｅｔｏｏｔｈ通信、またはＵＷＢ通信などの近距離無線通信）を行う装置を備え、当該装置と周囲の機器とが無線通信を行いＶＲ装置２１０の位置情報を取得することにより検出されてもよい。

【0088】

また、ＭＲユーザ６の位置や動きは、ＭＲユーザ６が身につけるデバイス等（例えば、時計型、リストバンド型、指輪型、もしくは衣服型等のウェアラブルデバイス、または体内埋め込み型のデバイス等）の、ＭＲユーザ６の動きをトラッキング可能とする外部機器７００（および当該機器と近距離無線通信等により連携してＭＲユーザ６の動きをトラッキングする機器）を用いて検出されてもよい。また、これらの外部機器７００をコントローラ４８０として使用してもよい。また、ＭＲユーザ６の位置や動きは、ＧＰＳセンサ等によって検出されてもよい。

【0089】

（コンピュータ５００の構成）
図３に示されるように、コンピュータ５００は、主たる構成要素として、プロセッサ５０１と、メモリ５０２と、ストレージ５０３と、入出力インターフェース５０４と、通信インターフェース５０５とを備える。各構成要素は、それぞれ、バスによって互いに接続されている。

【0090】

プロセッサ５０１は、ＭＲ装置４１０の動作を制御する。プロセッサ５０１は、ストレージ５０３からプログラムを読み出し、メモリ５０２に展開する。プロセッサ５０１は、展開したプログラムを実行する。プロセッサ５０１は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＭＰＵ（Micro Processor Unit）、およびＦＰＧＡ（Field-Programmable Gate Array）等のうちの１種類以上を含んで構成され得る。

【0091】

メモリ５０２は、主記憶装置である。メモリ５０２は、例えば、ＲＯＭ（Read Only Memory）およびＲＡＭ（Random Access Memory）等の記憶装置により構成される。メモリ５０２は、プロセッサ５０１がストレージ５０３から読み出したプログラムおよび各種データを一時的に記憶することにより、プロセッサ５０１に作業領域を提供する。メモリ５０２は、プロセッサ５０１がプログラムに従って動作している間に生成した各種データやコンピュータ５００に入力された各種データ等も一時的に記憶する。

【0092】

ストレージ５０３は、補助記憶装置である。ストレージ５０３は、例えば、フラッシュメモリまたはＨＤＤ（Hard Disk Drive）等の記憶装置により構成される。ストレージ５０３には、情報処理システム１００においてサービスを提供するためのプログラムが格納される。また、ストレージ５０３には、情報処理システム１００においてサービスを提供するための各種データが格納される。ストレージ５０３に格納されるデータには、複合現実空間を規定するためのデータおよび仮想オブジェクトに関するデータ等が含まれる。

【0093】

なお、ストレージ５０３は、メモリカードのように着脱可能な記憶装置として実現されてもよい。また、コンピュータ５００に内蔵されたストレージ５０３の代わりに、外部の記憶装置に保存されているプログラムおよびデータが使用される構成であってもよい。

【0094】

入出力インターフェース５０４は、コンピュータ５００がデータの入力を受け付けるためのインターフェースであるとともに、コンピュータ５００がデータを出力するためのインターフェースである。入出力インターフェース５０４は、ＭＲ装置４１０、検出装置４６０、およびディスプレイ４７０との間でデータの送信または受信をし得る。また、入出力インターフェース５０４は、ＭＲ装置４１０に含まれるディスプレイ４１１、注視センサ４１２、カメラ４１３、マイク４１５、スピーカ４１６、およびセンサ４１７との間でデータの送信または受信をしてもよい。

【0095】

なお、入出力インターフェース５０４は、コントローラ４８０との間でデータの送信または受信をしてもよい。例えば、入出力インターフェース５０４は、コントローラ４８０およびセンサ４８６から出力された信号の入力を受けてもよい。また、入出力インターフェース５０４は、プロセッサ５０１から出力された命令を、コントローラ４８０に送信してもよい。当該命令は、振動、音出力、発光等をコントローラ４８０に指示するものであってもよい。コントローラ４８０は、当該命令を受信すると、命令に応じて、振動、音出力または発光等を行う。

【0096】

なお、ＭＲ装置４１０、検出装置４６０、ディスプレイ４７０、コントローラ４８０、およびセンサ４８６のそれぞれとコンピュータ５００とは、有線接続されてもよく、無線接続されてもよい。

【0097】

通信インターフェース５０５は、他のコンピュータ（例えば、サーバ６００、コンピュータ３００、または他のコンピュータ５００等）とのネットワーク２を介した各種データの送受信を制御する。

【0098】

プロセッサ５０１は、ストレージ５０３にアクセスし、ストレージ５０３に格納されているプログラムをメモリ５０２に展開し、当該プログラムに含まれる一連の命令を実行する。また、プロセッサ５０１は、入出力インターフェース５０４を介して、複合現実空間を提供するための信号をＭＲ装置４１０に送る。

【0099】

なお、コンピュータ５００は、ＭＲ装置４１０の外部に設けられていてもよく、コンピュータ５００の一部または全体がＭＲ装置４１０に内蔵されてもよい。また、ＭＲ装置４１０が複数存在する場合に、コンピュータ５００は、各ＭＲ装置４１０に対して設けられていてもよく、複数のＭＲ装置４１０に対して共通して用いられてもよい。また、この場合に、コンピュータ５００の一部が複数のＭＲ装置４１０のそれぞれに内蔵されるなどしてもよい。本実施形態では、コンピュータ５００に複数のＭＲ装置４１０が接続される場合を例に説明する。

【0100】

現実空間（換言すると、複合現実空間）内におけるＭＲ装置４１０の位置や傾きを取得する方法は周知であり、また、前述のＶＲ装置２１０における方法と同様の方法により検出できるため説明を省略する。

【0101】

（サーバの構成）
サーバ６００は、コンピュータ３００にプログラムを送信し得る。また、サーバ６００は、コンピュータ５００にプログラムを送信し得る。また、サーバ６００は、コンピュータ３００とコンピュータ５００との通信を可能とする。また、サーバ６００は、コンピュータ３００と他のコンピュータ３００との通信を可能とする。例えば、情報処理システム１００が、複数のＶＲユーザが参加可能なサービスを提供する場合、ＶＲユーザの各コンピュータ３００は、サーバ６００を介して他のコンピュータ３００と通信し、これにより同じ仮想空間において複数のＶＲユーザが体験を共有することが可能となっていてもよい。なお、各コンピュータ３００は、サーバ６００を介さずに他のコンピュータ３００と通信するようにしてもよい。

【0102】

図１に示されるように、サーバ６００は、プロセッサ６０１と、メモリ６０２と、ストレージ６０３と、入出力インターフェース６０４と、通信インターフェース６０５とを備える。各構成要素は、それぞれ、バスによって互いに接続されている。

【0103】

プロセッサ６０１は、サーバ６００全体の動作を制御する。プロセッサ６０１は、ストレージ６０３からプログラムを読み出し、メモリ６０２に展開する。プロセッサ６０１は、展開したプログラムを実行する。プロセッサ６０１は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＭＰＵ（Micro Processor Unit）、およびＦＰＧＡ（Field-Programmable Gate Array）等のうちの１種類以上を含んで構成され得る。

【0104】

メモリ６０２は、主記憶装置である。メモリ６０２は、例えば、ＲＯＭ（Read Only Memory）およびＲＡＭ（Random Access Memory）等の記憶装置により構成される。メモリ６０２は、プロセッサ６０１がストレージ６０３から読み出したプログラムおよび各種データを一時的に記憶することにより、プロセッサ６０１に作業領域を提供する。メモリ６０２は、プロセッサ６０１がプログラムに従って動作している間に生成した各種データやサーバ６００に入力された各種データ等も一時的に記憶する。

【0105】

ストレージ６０３は、補助記憶装置である。ストレージ６０３は、例えば、フラッシュメモリまたはＨＤＤ（Hard Disk Drive）等の記憶装置により構成される。ストレージ６０３には、情報処理システム１００においてサービスを提供するためのプログラムが格納される。また、ストレージ６０３には、情報処理システム１００においてサービスを提供するための各種データが格納される。ストレージ６０３に格納されるデータには、仮想空間を規定するためのデータ、複合現実空間を規定するためのデータ、および仮想オブジェクトに関するデータ等が含まれる。

【0106】

なお、ストレージ６０３は、メモリカードのように着脱可能な記憶装置として実現されてもよい。また、サーバ６００に内蔵されたストレージ６０３の代わりに、外部の記憶装置に保存されているプログラムおよびデータが使用される構成であってもよい。

【0107】

入出力インターフェース６０４は、サーバ６００がデータの入力を受け付けるためのインターフェースであるとともに、サーバ６００がデータを出力するためのインターフェースである。入出力インターフェース６０４は、例えば、マウス、キーボード等の入力機器や、ディスプレイ等の出力機器との間でデータの送信または受信をし得る。

【0108】

通信インターフェース６０５は、他のコンピュータ（例えば、コンピュータ３００、およびコンピュータ５００等）とのネットワーク２を介した各種データの送受信を制御する。

【0109】

外部機器７００は、コンピュータ３００、コンピュータ５００、またはサーバ６００と通信可能な機器であればどのような機器であってもよい。外部機器７００は、例えば、ネットワーク２を介してコンピュータ３００と通信可能な機器であってもよく、近距離無線通信や有線接続によりコンピュータ３００と通信可能な機器であってもよい。また、外部機器７００は、例えば、ネットワーク２を介してコンピュータ５００と通信可能な機器であってもよく、近距離無線通信や有線接続によりコンピュータ５００と通信可能な機器であってもよい。また、外部機器７００は、例えば、ネットワーク２を介してサーバ６００と通信可能な機器であってもよい。外部機器７００としては、例えば、スマートデバイス、ＰＣ（Personal Computer）、およびコンピュータ３００やコンピュータ５００の周辺機器などが挙げられるが、これらに限定されるものではない。

【0110】

＜情報処理システムの制御＞
本実施形態のＭＲシステム４００では、ＭＲ装置４１０は、周知のＭＲ装置と同様、現実空間に仮想オブジェクトが配置された複合現実空間のビューをＭＲユーザ６に提供する。また、本実施形態のＶＲシステム２００では、ＶＲ装置２１０は、周知のＶＲ装置と同様、仮想空間のビューをＶＲユーザに提供する。また、本実施形態のＭＲシステム４００では、ＭＲユーザ６は、複合現実空間中の仮想オブジェクトを操作することが可能となっている。また、本実施形態のＶＲシステム２００では、ＶＲユーザは、仮想空間中の仮想オブジェクトを操作することが可能となっている。加えて、本実施形態の情報処理システム１００では、ＶＲシステム２００を使用するＶＲユーザの動き等が、ＭＲシステム４００の提供する複合現実空間のビューに含まれる仮想オブジェクトに反映されるようになっている。また、本実施形態の情報処理システム１００では、ＭＲシステム４００を使用するＭＲユーザ６の動き等が、ＶＲシステム２００の提供する仮想空間のビューに含まれる仮想オブジェクトに反映されるようになっている。なお、本実施形態では、ＶＲユーザの動き等の仮想空間および複合現実空間の仮想オブジェクトへの反映はリアルタイムで行われる。また、本実施形態では、ＭＲユーザ６の動き等の仮想空間および複合現実空間の仮想オブジェクトへの反映はリアルタイムで行われる。

【0111】

以下では、本実施形態に係る構成が、ＭＲユーザ６とＶＲユーザとの間でのコミュニケーションを可能とするサービス（換言すると、アプリケーション）に適用される場合を例に説明する。具体的には、所定の現実空間としての会議室にいるＭＲユーザ６と、当該会議室と離れた場所にいるＶＲユーザとが、仮想オブジェクトとしての製品のモックアップ等のオブジェクトを同時に見ながら会議を行うこと等を可能とするサービスに本実施形態に係る構成が適用される場合を例に説明する。なお、本実施形態に係る構成は、例えば、学校の授業を自宅から受けることを可能とするシステム等に適用することもできる。また、本実施形態に係る構成は、特定の家で行われるホームパーティに他の場所から参加することを可能とするシステム等に適用することもできる。なお、本実施形態に係る構成の適用先は、これらのサービスに限られない。また、以下では、図８に示されるように、会議室には、複数の検出装置４６０が会議室中の所定の位置に予め設置されているものとして説明する。また、会議室には、ＭＲユーザ６としてＭＲユーザ６Ａ、ＭＲユーザ６Ｂ、およびＭＲユーザ６Ｃの３名が存在するものとして説明する。なお、以下では、ＶＲユーザのアバターオブジェクトをＶＲアバター２５と呼ぶ。また、ＭＲユーザ６のアバターオブジェクトをＭＲアバター２６と呼ぶ。具体的には、ＭＲユーザ６ＡのアバターオブジェクトをＭＲアバター２６Ａと呼び、ＭＲユーザ６ＢのアバターオブジェクトをＭＲアバター２６Ｂと呼び、ＭＲユーザ６ＣのアバターオブジェクトをＭＲアバター２６Ｃと呼ぶ。

【0112】

図８を参照しながら、現実の会議室２１（換言すると、複合現実空間２１）にいるＭＲユーザ６Ａ，６Ｂ，６Ｃに提供される視界と、ＶＲ装置２１０を介してこの会議室２１を模した仮想空間１１に入り込むＶＲユーザに提供される視界とについて説明する。図８は、ＭＲユーザ６Ａ，６Ｂ，６ＣとＶＲユーザとが、サービスを利用しているときの現実の会議室２１の状態と、仮想空間１１の状態とを表す模式図である。図８の上側部分には、現実の会議室２１の状態が示され、図８の下側部分には、仮想空間１１の状態が示されている。なお、図８においては、ＶＲアバター２５がＶＲ装置２１０を装着しているが、これは説明を分かりやすくするためのものであり、実際にはＶＲアバター２５は、ＶＲ装置２１０（仮想的なＶＲ装置２１０）を装着していなくてもよい。また、図８においては、ＭＲアバター２６がＭＲ装置４１０（仮想的なＭＲ装置４１０）を装着していないが、ＭＲアバター２６が、ＭＲ装置４１０を装着していてもよい。

【0113】

図８に示されるように、会議室２１には、現実オブジェクトとしての机８等が配置されている。また、会議室２１には、３台の検出装置４６０が配置されている。また、会議室２１には、３名のＭＲユーザ６Ａ，６Ｂ，６Ｃが存在する。一方、会議室２１には、ＶＲユーザは存在しない。ここで、ＭＲユーザ６Ａ，６Ｂ，６Ｃのそれぞれが使用するＭＲ装置４１０のディスプレイ４１１には、仮想オブジェクトとして、ＶＲアバター２５と、モックアップの仮想オブジェクト３０（以下、「仮想模型３０」ともいう。）とが表示される。すなわち、ＭＲ装置４１０では、透過型のディスプレイ４１１を介して見える現実の会議室２１に、ＶＲアバター２５や仮想模型３０が現れた表示がされる。このため、ＭＲユーザ６Ａ，６Ｂ，６Ｃには、実際には会議室２１に存在しないＶＲアバター２５や仮想模型３０があたかも会議室２１に存在するかのような視界が提供される。

【0114】

また、ＶＲユーザがＶＲ装置２１０を介して見る仮想空間１１は、会議室２１を模したものであり、現実の会議室２１に存在する机８の仮想オブジェクト３１等を含んでいる。また、当該仮想空間１１には、ＭＲユーザ６Ａ，６Ｂ，６ＣのＭＲアバター２６Ａ，２６Ｂ，２６Ｃや、仮想模型３０等が配置される。このため、ＶＲユーザには、あたかもＭＲユーザ６Ａ，６Ｂ，６Ｃがいる会議室２１に自身がいるかのような視界が提供される。

【0115】

このように、本実施形態の情報処理システム１００では、ＭＲユーザ６は、透過型のディスプレイ４１１を介して、実際に同じ場所に存在する他のＭＲユーザ６や現実オブジェクトが視認できる。また、その上で、ＭＲユーザ６の視点では、仮想オブジェクトとして現れるＶＲユーザのＶＲアバター２５が視認できる。このため、ＭＲユーザ６は、現実世界にいる感覚を損なうことなく、ＶＲユーザや他のＭＲユーザ６等とコミュニケーションを図ることができる。また、ＶＲユーザは、現実世界においてＭＲユーザ６と異なる場所におり、このような場合、ＶＲユーザのいる場所とＭＲユーザ６のいる場所とでは、部屋の形状等が異なる場合が多い。このため、ＶＲユーザ側においても、ＭＲ装置４１０等を使用して現実空間にＭＲアバター２６を表示させることとすると、違和感のある表示になってしまうおそれがある。本実施形態では、ＶＲユーザは、仮想空間１１に入り込み、ＭＲユーザ６等とコミュニケーションを取ることができるので、このような違和感が生じることを防止できる。また、ＶＲユーザに提供される仮想空間１１は、ＭＲユーザ６のいる場所を模したものであるため、ＶＲユーザやＭＲユーザ６がそれぞれ仮想空間１１または現実空間で動き回る場合や仮想オブジェクトを動かす場合に、相手方に対して表示されるアバターや仮想模型３０等の動きが自然なものとなる。また、ＶＲユーザやＭＲユーザ６は仮想模型３０等の仮想オブジェクトを操作する場合に、相手方にどのように見えるのか等をイメージすることが容易となり、円滑なコミュニケーションを図ることが可能となる。

【0116】

以下、図９を参照しながら、情報処理システム１００の機能的構成について説明する。なお、図９に示す機能的構成は一例にすぎない。ＶＲシステム２００、ＭＲシステム４００、およびサーバ６００のそれぞれは、他の装置が備える機能の少なくとも一部を備えていてもよい。換言すると、本実施形態においてコンピュータ３００、コンピュータ５００、およびサーバ６００のそれぞれが備える機能ブロックの一部または全部を、コンピュータ３００、コンピュータ５００、サーバ６００、またはその他の装置が備えていてもよい。また、コンピュータ３００、コンピュータ５００、およびサーバ６００等の各装置は、一体の機器により実現されるものでなくてもよく、例えば、ネットワーク等を介して接続される複数の機器によって実現されてもよい。

【0117】

また、本実施形態では、プロセッサ３０１、プロセッサ５０１、またはプロセッサ６０１が、情報処理システム１００に記憶されているプログラムを実行することによって、後述する各処理を行うものとして説明する。ただし、後述する処理であってプロセッサ３０１が行う処理のうちの少なくとも一部を、プロセッサ３０１とは別のプロセッサが実行するようにしてもよい。また、後述する処理であってプロセッサ５０１が行う処理のうちの少なくとも一部を、プロセッサ５０１とは別のプロセッサが実行するようにしてもよい。また、後述する処理であってプロセッサ６０１が行う処理のうちの少なくとも一部を、プロセッサ６０１とは別のプロセッサが実行するようにしてもよい。換言すると、本実施形態においてプログラムを実行するコンピュータは、コンピュータ３００、コンピュータ５００、およびサーバ６００を含むいずれのコンピュータであってもよく、また、複数の装置の組み合わせにより実現されてもよい。

【0118】

図９は、情報処理システム１００の機能的構成を示すブロック図である。図９に示されるように、コンピュータ３００（換言すると、ＶＲシステム２００）は、プロセッサ３０１、メモリ３０２、ストレージ３０３、入出力インターフェース３０４、および通信インターフェース３０５の協働によって、制御部３１０および記憶部３１１として機能する。また、コンピュータ５００（換言すると、ＭＲシステム４００）は、プロセッサ５０１、メモリ５０２、ストレージ５０３、入出力インターフェース５０４、および通信インターフェース５０５の協働によって、制御部５１０および記憶部５１１として機能する。また、サーバ６００は、プロセッサ６０１、メモリ６０２、ストレージ６０３、入出力インターフェース６０４、および通信インターフェース６０５の協働によって、制御部６１０および記憶部６１１として機能する。

【0119】

ＭＲシステム４００の制御部５１０は、仮想空間生成部８１０と、座標定義部８１２と、ＭＲ側入力受付部８１６と、ユーザ情報取得部８１８と、ＭＲ側オブジェクト制御部８２０と、表示制御部８４０と、音制御部８４５と、通信制御部８５０と、を備える。

【0120】

仮想空間生成部８１０は、所定の現実空間に基づいて仮想空間（換言すると、仮想空間を表す仮想空間データ）を生成する。換言すると、仮想空間生成部８１０は、所定の現実空間を模した仮想空間を生成する。ここで、所定の現実空間とは、現実世界に存在する所定の場所であり、例えば、会議室、または学校の教室のような特定の部屋等であってもよい。また、所定の現実空間とは、例えば、学校、または家のような特定の建物等であってもよい。また、所定の現実空間とは、例えば、特定の町等であってもよい。換言すると、所定の現実空間とは、壁等によって仕切られた空間でなくてもよい。また、所定の現実空間を模したとは、生成される仮想空間が、現実空間の基本的な構造と同様の構造を有するものであればよい。具体的には、例えば、現実世界の会議室を模した仮想空間は、仮想空間としての仮想の部屋の形状（例えば、壁や床等の形状等）が現実世界の会議室の形状と略一致したものであって、現実世界の会議室に存在する机や椅子等の現実オブジェクトに対応する仮想オブジェクトが配置されたもの等とすることができる。このとき、机、椅子、壁、床等の仮想オブジェクトは、現実オブジェクトの形態を精密にコピーしたものでなくてもよく、例えば、形状、模様、または色彩等が簡略化されたものであってもよい。また、例えば、壁に貼られたポスターあるいは机や床等に置かれた小物等、現実オブジェクトには、仮想世界に表れないオブジェクト（対応する仮想オブジェクトが存在しない現実オブジェクト）が存在してもよい。

【0121】

本実施形態では、前述のように、所定の現実空間は、特定の会議室２１であり、当該特定の会議室２１を模した仮想空間１１が生成されるものとして説明する。

【0122】

現実空間を模した仮想空間を生成する方法については、公知の方法が利用でき、また特に限定されるものではないが、例えば以下のようにしてもよい。すなわち、仮想空間生成部８１０は、例えば、現実空間を構成する壁、床、机、椅子等の現実オブジェクトの形状や位置等を検出可能なセンサからの情報に基づいて仮想空間１１を生成する。具体的には、仮想空間生成部８１０は、例えば、検出装置４６０またはＭＲ装置４１０が備えるイメージセンサ（例えば、ＲＧＢ画像を取得するイメージセンサ、白黒画像を取得するイメージセンサ、またはデプスセンサ等）からの情報に基づいて現実空間の３次元情報を取得し、仮想空間を生成してもよい。また、仮想空間生成部８１０は、仮想空間１１の生成に、例えば、加速度センサ、角速度センサ、または地磁気センサ等の情報を用いてもよい。

【0123】

仮想空間生成部８１０は、生成した仮想空間１１を示すデータ（以下、「仮想空間データ」という。）を、例えば、仮想空間データ記憶部としての記憶部６１１に記憶させる。

【0124】

なお、仮想空間生成部８１０は、ＶＲユーザやＭＲユーザ６がサービスの利用を開始するよりも前に、事前に仮想空間１１を示す仮想空間データを生成してもよい。また、仮想空間生成部８１０は、例えば、ＶＲユーザやＭＲユーザ６がサービスを利用している最中にリアルタイムで仮想空間１１を示す仮想空間データを生成してもよい。

【0125】

座標定義部８１２は、現実空間の座標（換言すると、複合現実空間２１の座標。以下、「複合現実座標」という。）を定義する。また、座標定義部８１２は、仮想空間１１の座標（以下、「仮想空間座標」という。）を定義する。

【0126】

複合現実座標は、例えば、ｘ軸、ｙ軸、ｚ軸の互いに直交する３軸を有する。仮想空間座標は、例えば、Ｘ軸、Ｙ軸、Ｚ軸の互いに直交する３軸を有する。座標定義部８１２は、現実空間（換言すると、現実の会議室２１）の各地点に対応する（換言すると、同じ地点を示す）仮想空間１１（換言すると、仮想の会議室）の各地点について、現実空間の各地点を示す複合現実座標と、仮想空間の各地点を示す仮想空間座標とが一対一で対応したものとなるように、各座標を定義する（換言すると対応付ける）。座標定義部８１２は、例えば、仮想空間生成部８１０が現実空間を模した仮想空間を生成する際に、複合現実座標と対応付けられた仮想空間座標を定義する。このとき、座標定義部８１２は、例えば、検出装置４６０またはＭＲ装置４１０等によって検出される会議室の特徴点を基準として複合現実座標と仮想空間座標とを対応付けてもよい。また、座標定義部８１２は、例えば、検出装置４６０の位置あるいは会議室中に予め設置したマーカー等の位置を基準として複合現実座標と仮想空間座標とを対応付けてもよい。

【0127】

また、座標定義部８１２は、複合現実座標と仮想空間座標との対応関係（換言すると、現実空間の各地点と、仮想空間の各地点との対応関係）に関する情報を、対応関係記憶部としての記憶部６１１に記憶させる。

【0128】

なお、複合現実座標や仮想空間座標を定義する方法としては、公知の方法が利用でき、また特に限定されるものではない。

【0129】

なお、複合現実座標を定義するタイミングや、仮想空間座標を定義するタイミング（換言すると、複合現実座標と仮想空間座標とを対応付けるタイミング）は、例えば、仮想空間生成部８１０が現実空間を模した仮想空間を生成するとき等であってもよく、ＭＲ装置４１０での仮想オブジェクトの表示開始のタイミング等であってもよい。

【0130】

なお、仮想空間の生成や、各座標の定義等は、例えば、現実空間を高精度にスキャン可能な外部機器７００としての専用の装置が予め行い、生成されたデータを記憶部６１１に記憶しておくこととしてもよい。

【0131】

ＭＲ側入力受付部８１６は、ＭＲユーザ６からの入力を受け付ける。換言すると、ＭＲ側入力受付部８１６は、ＭＲユーザ６からの入力情報を取得する。具体的には、ＭＲ側入力受付部８１６は、検出装置４６０、コントローラ４８０、カメラ４１３、ＭＲユーザが身につけるデバイス、注視センサ４１２、センサ４１７、センサ４８６、および検出装置４６０やＭＲ装置４１０が備えるイメージセンサ等の出力を、ＭＲユーザ６からの入力として受け付ける。換言すると、ＭＲ側入力受付部８１６は、ＭＲユーザ６の動きを検出する検出手段（例えば、検出装置４６０、コントローラ４８０、カメラ４１３、注視センサ４１２、センサ４１７、センサ４８６、および検出装置４６０やＭＲ装置４１０が備えるイメージセンサ等）の出力を、ＭＲユーザ６からの入力として受け付ける。これらの装置やセンサは、後述するように、仮想空間１１や複合現実空間２１の仮想オブジェクト等を制御するために使用されるＭＲユーザ６の動きに関する情報等を取得するためのものであり、ＭＲユーザ６は自身の動きによって、ＭＲシステム４００に対して当該仮想オブジェクト等を動かしたりするための情報を入力することが可能となっている。

【0132】

具体的には、ＭＲ側入力受付部８１６は、例えば、検出装置４６０としてのカメラまたはカメラ４１３からの出力を、ＭＲユーザ６からの入力として受け付けてもよい。より具体的には、ＭＲ側入力受付部８１６は、例えば、これらの各カメラが備えるイメージセンサによって撮影される画像から画像認識によって検出される、複合現実空間２１中のＭＲユーザ６の位置を示す位置情報を、ＭＲユーザ６からの入力として受け付けてもよい。換言すると、ＭＲ側入力受付部８１６は、複合現実空間２１中のＭＲユーザ６の位置を検出する位置検出手段からの出力をＭＲユーザ６からの入力として受け付けてもよい。なお、当該位置検出手段は、例えば、ＭＲ装置４１０とＭＲシステム４００の所定の装置（例えば、検出装置４６０やビーコン（図示せず）等）との間での無線通信（例えば、Ｗｉ－Ｆｉ通信、Ｂｌｕｅｔｏｏｔｈ通信、またはＵＷＢ通信）に基づく測位、あるいはＭＲ装置４１０の備えるＧＰＳ（Global Positioning System）センサを用いた測位等に基づいて、ＭＲユーザ６の位置を検出し、当該位置情報を取得するもの等であってもよい。なお、ＭＲユーザ６の位置を示す位置情報は、ＭＲユーザ６の動きに関する情報ともいえる。

【0133】

また、ＭＲ側入力受付部８１６は、例えば、検出装置４６０としてのカメラまたはカメラ４１３が備えるイメージセンサによって撮影される画像から画像認識によって検出されるＭＲユーザ６の動きに関する情報を、ＭＲユーザ６からの入力として受け付けてもよい。例えば、ＭＲ側入力受付部８１６は、画像認識によって検出されるＭＲユーザ６の手の動きに関する情報や、ＭＲユーザ６の傾きや向いている方向に関する情報を、ＭＲユーザ６からの入力として受け付けてもよい。

【0134】

また、ＭＲ側入力受付部８１６は、例えば、ＭＲユーザ６が身につけるデバイス等（例えば、時計型、リストバンド型、指輪型、もしくは衣服型等のウェアラブルデバイス、または体内埋め込み型のデバイス等）の、ＭＲユーザ６の動きをトラッキング可能とする機器（および当該機器と近距離無線通信等により連携してＭＲユーザ６の動きをトラッキングする機器）を用いて取得されるＭＲユーザ６の動きに関する情報を、ＭＲユーザ６からの入力として受け付けてもよい。

【0135】

また、ＭＲ側入力受付部８１６は、例えば、コントローラ４８０により検出されるＭＲユーザ６の操作を示す情報（換言すると、ＭＲユーザ６の動きに関する情報）を、ＭＲユーザ６からの入力として受け付けてもよい。

【0136】

また、ＭＲ側入力受付部８１６は、例えば、検出装置４６０またはＭＲ装置４１０の備えるセンサ（例えば、加速度センサ、角速度センサ、地磁気センサ等）からの、ＭＲ装置４１０の傾きや向いている方向に関する出力データ（換言すると、ＭＲユーザ６の動きに関する情報）をＭＲユーザ６からの入力として受け付けてもよい。

【0137】

ユーザ情報取得部８１８は、複合現実空間２１中に存在するＭＲユーザ６に関する情報を取得する。具体的には、例えば、ユーザ情報取得部８１８は、複合現実空間２１中の各ＭＲユーザ６Ａ，６Ｂ，６Ｃを識別可能とする識別情報（換言すると、各ＭＲ装置４１０を識別可能とする識別情報）を取得する。例えば、ユーザ情報取得部８１８は、各ユーザが身につけているＭＲ装置４１０と通信を行い、ＭＲ装置４１０からＭＲ装置４１０を使用しているユーザの情報（例えば、ＭＲ装置４１０にログインしているアカウントの情報等）を、当該識別情報として取得してもよい。また、例えば、ユーザ情報取得部８１８は、各ユーザが身につけているＭＲ装置４１０と通信を行い、ＭＲ装置４１０から各ＭＲ装置４１０を識別可能とする各ＭＲ装置４１０固有の情報を、当該識別情報として取得してもよい。また、例えば、ユーザ情報取得部８１８は、検出装置４６０またはＭＲ装置４１０が備えるイメージセンサによって撮影される画像から画像認識によって複合現実空間２１中のＭＲユーザ６を識別することで、当該識別情報を取得してもよい。また、ユーザ情報取得部８１８は、ＭＲ側入力受付部８１６が取得する情報を、当該識別情報に関連付ける。換言すると、ユーザ情報取得部８１８は、ＭＲユーザ６の動きに関する情報等が、後述する仮想オブジェクトの制御等において使用される際に、どのＭＲユーザ６の情報か把握可能となるように制御する。

【0138】

ＭＲ側オブジェクト制御部８２０は、複合現実空間２１中の仮想オブジェクトを制御する。

【0139】

ＭＲ側オブジェクト制御部８２０は、複合現実空間２１に、仮想オブジェクトを配置する。具体的には、ＭＲ側オブジェクト制御部８２０は、例えば、ＶＲユーザのＶＲアバター２５や、ＶＲユーザまたはＭＲユーザ６の少なくとも一方によって所定の変化が与えられるオブジェクト等を配置する。本実施形態では、ＭＲ側オブジェクト制御部８２０は、図８に示されるように、ＶＲアバター２５と、ＶＲユーザおよびＭＲユーザ６によって動かされたりするモックアップの仮想オブジェクト３０（以下、「仮想模型３０」ともいう。）とを、複合現実空間２１に配置する。

【0140】

ＭＲ側オブジェクト制御部８２０は、例えば、仮想空間１１中における仮想オブジェクトが配置される位置に対応する複合現実空間２１中の位置に、当該仮想オブジェクトに対応する仮想オブジェクトを配置する。ここで、当該仮想オブジェクトに対応する仮想オブジェクト、すなわち仮想空間１１中の仮想オブジェクトに対応する複合現実空間２１中の仮想オブジェクトとは、例えば、仮想空間１１中の仮想オブジェクトと同じ形態を有するもの（換言すると、同じ物体を示すもの）であってもよく、異なる形態を有するものであってもよい。本実施形態では、複合現実空間２１には、仮想空間１１中の仮想模型３０と同じ形態の仮想模型３０が配置される。また、複合現実空間２１には、仮想空間１１中のＶＲアバター２５と同じ形態のＶＲアバター２５が配置される。

【0141】

なお、複合現実空間２１へのＶＲアバター２５の配置については、以下のようにもいえる。すなわち、ＭＲ側オブジェクト制御部８２０は、仮想空間１１中のＶＲユーザの位置に対応する複合現実空間２１中の位置に、当該ＶＲアバター２５を配置するともいえる。ここで、仮想空間１１中におけるＶＲユーザの位置とは、例えば、仮想空間１１中のＶＲアバター２５の位置である。なお、ＶＲユーザが、一人称視点で仮想空間１１に入り込むコンテンツにおいては、自身（ＶＲアバター２５）の姿を視認できない場合（具体的には、手などの一部しか視認できない場合や、一部すら視認できない場合）もあり得るが、このような場合についても、コンピュータ３００が認識する仮想空間１１中のＶＲユーザはＶＲアバター２５といえ、コンピュータ３００が認識する仮想空間１１中のＶＲユーザの位置は仮想空間中のＶＲアバター２５の位置といえる。

【0142】

なお、ＶＲアバター２５の外見（換言すると、形態）は、ＶＲユーザの外見を模したものでもよいが、模したものでなくてもよい。例えば、ＶＲアバター２５の外見は、所定の動物の外見を模したもの等であってもよい。また、仮想空間１１中に配置されるＶＲアバター２５と、複合現実空間２１中に配置されるＶＲアバター２５とは、外見が異なっていてもよい。このような構成によれば、ＶＲユーザは、仮想空間１１中の自身のアバターの形態を隠したまま複合現実空間２１中に自身のアバターを表示させること等ができる。なお、ここで仮想空間１１中に配置されるＶＲアバター２５の外見とは、当該ＶＲアバター２５を操作するＶＲユーザに視認される外見であってもよく、当該ＶＲアバター２５が存在する仮想空間１１に存在する、他のＶＲアバター２５を操作する他のＶＲユーザに視認される外見等であってもよい。

【0143】

また、ＭＲ側オブジェクト制御部８２０は、例えば、以下のようにして仮想オブジェクトを複合現実空間２１中に配置してもよい。

【0144】

すなわち、例えば、ＶＲアバター２５を配置する場合に、ＭＲ側オブジェクト制御部８２０は、仮想空間１１中のＶＲユーザ（換言すると、ＶＲアバター２５）の位置を示す位置情報に基づいて、複合現実空間２１中のどの位置に配置するかを決定する。具体的には、例えば、後述するＶＲ側オブジェクト制御部９２０は、仮想空間１１中にＶＲアバター２５を配置すると、仮想空間１１中のＶＲアバター２５の位置（例えば、仮想空間座標の座標値）に関する情報を、サーバ６００を介してＭＲ側オブジェクト制御部８２０に送信する。そして、ＭＲ側オブジェクト制御部８２０は、当該情報に基づいて、仮想空間１１中のＶＲユーザの位置に対応する複合現実空間２１中の位置（例えば、前記仮想空間座標の座標値に対応する複合現実座標の座標値の位置）に、ＶＲアバター２５を配置する。これにより、ＶＲアバター２５が、仮想空間１１と複合現実空間２１とで、会議室中の同じ位置に配置されることとなる。

【0145】

換言すると、仮想オブジェクト（例えば、ＶＲアバター２５または仮想模型３０等）を複合現実空間２１中に配置する場合に、ＭＲ側オブジェクト制御部８２０は、当該仮想オブジェクトに対応する仮想空間中の仮想オブジェクト（例えば、ＶＲアバター２５または仮想模型３０等）の位置を示す位置情報（例えば、ＶＲ側オブジェクト制御部９２０が送信する位置情報）に基づいて、複合現実空間２１中のどの位置に配置するかを決定してもよい。

【0146】

また、例えば、仮想オブジェクトを複合現実空間２１中に配置する場合に、ＭＲ側オブジェクト制御部８２０は、ＭＲシステム４００の所定のセンサが検出した情報に基づいて、複合現実空間２１中のどの位置に配置するかを決定してもよい。具体的には、例えば、現実空間中に所定のマーカーを予め設置しておき、ＭＲ側オブジェクト制御部８２０は、検出装置４６０またはＭＲ装置４１０が備えるイメージセンサによって撮影される当該マーカーの位置に、仮想オブジェクトとしての仮想模型３０を配置するなどしてもよい。また、ＭＲ側オブジェクト制御部８２０は、ＭＲユーザ６が指示した位置に、仮想オブジェクトとしての仮想模型３０を配置するなどしてもよい。当該指示は、所定のジェスチャー等（例えば、仮想模型３０を配置する地点を指差すジェスチャーなど）により行われるものであってもよく、前記マーカを配置するもの等であってもよい。また、ＭＲ側オブジェクト制御部８２０は、検出装置４６０またはＭＲ装置４１０が備えるイメージセンサによって撮影される画像等から複合現実空間２１中の平坦面を検出し、当該平坦面上に仮想模型３０を配置するなどしてもよい。

【0147】

なお、ＭＲ側オブジェクト制御部８２０は、仮想オブジェクトを複合現実空間２１中に配置する場合に、仮想オブジェクトの形態を示すオブジェクトデータを受信し、当該オブジェクトデータに基づいて仮想オブジェクトを配置する。ここで、ＭＲ側オブジェクト制御部８２０は、オブジェクトデータを、例えば、サーバ６００の制御部６１０から受信してもよく、ＶＲシステム２００のＶＲ側オブジェクト制御部９２０から受信してもよい。具体的には、ＭＲ側オブジェクト制御部８２０は、ＶＲアバター２５を複合現実空間２１中に配置する際に、ＶＲアバター２５の形態を示すオブジェクトデータを制御部６１０から受け取り、当該オブジェクトデータの示す形態のＶＲアバター２５を複合現実空間２１に配置してもよい。また、ＭＲ側オブジェクト制御部８２０は、ＶＲアバター２５を複合現実空間２１中に配置する際に、ＶＲアバター２５の形態を示すオブジェクトデータをＶＲ側オブジェクト制御部９２０から受け取り、当該オブジェクトデータの示す形態のＶＲアバター２５を複合現実空間２１に配置してもよい。

【0148】

表示制御部８４０は、ＭＲ装置４１０のディスプレイ４１１における画像表示を制御する。表示制御部８４０は、ＭＲ側オブジェクト制御部８２０が配置した複合現実空間２１中の仮想オブジェクトを、ＭＲ側オブジェクト制御部８２０が配置した位置に表示させるための画像を生成する。また、表示制御部８４０は、当該画像をディスプレイ４１１に表示させる。これにより、現実空間の所望の位置に仮想オブジェクトが配置された複合現実空間のビューがＭＲユーザ６に提供される。

【0149】

また、表示制御部８４０は、ディスプレイ４７０における画像表示を制御する。表示制御部８４０は、例えば、ディスプレイ４１１に表示されている画像と同様の画像をディスプレイ４７０に表示させる。なお、表示制御部８４０は、ＭＲ装置４１０がＭＲユーザ６に提供する複合現実空間のビューを示す画像をディスプレイ４７０に表示させてもよい。

【0150】

音制御部８４５は、ＭＲ装置４１０のマイク４１５によって、ＭＲユーザ６の発話が検出されると、当該発話に対応する音データを取得する。また、音制御部８４５は、取得した音データを、ネットワーク２を介してコンピュータ３００等に送信する。また、音制御部８４５は、ネットワーク２を介してコンピュータ３００から音データを受信すると、当該音データに対応する音（発話）をスピーカ４１６から出力する。これにより、ＭＲユーザ６は、例えば、ＶＲユーザと通話によるコミュニケーションを行うことが可能となっている。なお、ＭＲ側入力受付部８１６は、マイク４１５が検出したＭＲユーザ６の発話に関する音データを、ＭＲユーザ６からの入力として受け付けてもよい。

【0151】

通信制御部８５０は、ネットワーク２を介して、サーバ６００、コンピュータ３００その他の情報通信装置と通信し得る。通信制御部８５０は、例えば、サーバ６００またはコンピュータ３００に、サーバ６００またはコンピュータ３００で使用される情報を送信する。また、通信制御部８５０は、例えば、サーバ６００またはコンピュータ３００から、コンピュータ５００で使用される情報を受信する。

【0152】

ＶＲシステム２００の制御部３１０は、ＶＲ側入力受付部９１６と、ＶＲ側オブジェクト制御部９２０と、仮想カメラ制御部９３０と、表示制御部９４０と、音制御部９４５と、通信制御部９５０と、を備える。

【0153】

ＶＲ側入力受付部９１６は、ＶＲユーザからの入力を受け付ける。換言すると、ＶＲ側入力受付部９１６は、ＶＲユーザからの入力情報を取得する。具体的には、ＶＲ側入力受付部９１６は、検出装置２６０、コントローラ２８０、第１カメラ２１３、第２カメラ２１４、ＶＲユーザが身につけるウェアラブルデバイス、注視センサ２１２、センサ２１７、センサ２８６、および検出装置２６０やＶＲ装置２１０が備えるイメージセンサ等の出力を、ＶＲユーザからの入力として受け付ける。換言すると、ＶＲ側入力受付部９１６は、ＶＲユーザの動きを検出する検出手段（例えば、検出装置２６０、コントローラ２８０、第１カメラ２１３、第２カメラ２１４、ＶＲユーザが身につけるウェアラブルデバイス、注視センサ２１２、センサ２１７、センサ２８６、および検出装置２６０やＶＲ装置２１０が備えるイメージセンサ等）の出力を、ＶＲユーザからの入力として受け付ける。これらの装置やセンサは、後述するように、仮想空間１１や複合現実空間２１の仮想オブジェクト等を制御するために使用されるＶＲユーザの動きに関する情報等を取得するためのものであり、ＶＲユーザは自身の動きによって、ＶＲシステム２００に対して当該仮想オブジェクト等を動かしたりするための情報を入力することが可能となっている。

【0154】

具体的には、ＶＲ側入力受付部９１６は、例えば、検出装置２６０としてのカメラまたはＶＲ装置２１０の備えるＶＲ装置２１０の周囲を撮影するカメラからの出力を、ＶＲユーザからの入力として受け付けてもよい。より具体的には、ＶＲ側入力受付部９１６は、これらの各カメラが備えるイメージセンサによって撮影される画像から画像認識によって検出される、現実空間におけるＶＲユーザの位置を示す位置情報を、ＶＲユーザからの入力として受け付けてもよい。換言すると、ＶＲ側入力受付部９１６は、ＶＲユーザの現実空間における位置を検出する位置検出手段からの出力をＶＲユーザからの入力として受け付けてもよい。なお、当該位置検出手段は、例えば、ＶＲ装置２１０とＶＲシステム２００の所定の装置（例えば、検出装置２６０やビーコン（図示せず）等）との間での無線通信（例えば、Ｗｉ－Ｆｉ通信、Ｂｌｕｅｔｏｏｔｈ通信、またはＵＷＢ通信）に基づく測位、あるいはＶＲ装置２１０の備えるＧＰＳ（Global Positioning System）センサを用いた測位等に基づいて、ＶＲユーザの位置を検出し、当該位置情報を取得するもの等であってもよい。なお、ＶＲユーザの位置を示す位置情報は、ＶＲユーザの動きに関する情報ともいえる。

【0155】

また、ＶＲ側入力受付部９１６は、例えば、検出装置２６０としてのカメラまたはＶＲ装置２１０の備えるＶＲ装置２１０の周囲を撮影するカメラが備えるイメージセンサによって撮影される画像から画像認識によって検出されるＶＲユーザの動きに関する情報を、ＶＲユーザからの入力として受け付けてもよい。例えば、ＶＲ側入力受付部９１６は、画像認識によって検出されるＶＲユーザの手の動きに関する情報や、ＶＲユーザの傾きや向いている方向に関する情報を、ＶＲユーザからの入力として受け付けてもよい。

【0156】

また、ＶＲ側入力受付部９１６は、例えば、ＶＲユーザが身につけるデバイス等（例えば、時計型、リストバンド型、指輪型、もしくは衣服型等のウェアラブルデバイス、または体内埋め込み型のデバイス等）の、ＶＲユーザの動きをトラッキング可能とする機器（および当該機器と近距離無線通信等により連携してＭＲユーザ６の動きをトラッキングする機器）を用いて取得されるユーザの動きに関する情報を、ＶＲユーザからの入力として受け付けてもよい。

【0157】

また、ＶＲ側入力受付部９１６は、例えば、コントローラ２８０により検出されるＶＲユーザの操作を示す情報（換言すると、ＶＲユーザの動きに関する情報）を、ＶＲユーザからの入力として受け付けてもよい。

【0158】

また、ＶＲ側入力受付部９１６は、例えば、検出装置２６０またはＶＲ装置２１０の備えるセンサ（例えば、加速度センサ、角速度センサ、地磁気センサ等）からの、ＶＲ装置２１０の傾きや向いている方向に関する出力データ（換言すると、ＶＲユーザの動きに関する情報）をＶＲユーザからの入力として受け付けてもよい。

【0159】

制御部３１０は、仮想空間１１を制御する。制御部３１０は、記憶部６１１に記憶された仮想空間１１を示す仮想空間データを取得し、当該仮想空間データに基づいてＶＲユーザに提供する仮想空間１１を定義する。

【0160】

ＶＲ側オブジェクト制御部９２０は、仮想空間１１中の仮想オブジェクトを制御する。

【0161】

ＶＲ側オブジェクト制御部９２０は、仮想空間データの示す仮想空間１１に、仮想オブジェクトを配置する。仮想オブジェクトを示すオブジェクトデータは、例えば、オブジェクトデータ記憶部としての記憶部６１１または記憶部３１１に記憶されている。そして、ＶＲ側オブジェクト制御部９２０は、当該オブジェクトデータを用いて、仮想空間１１に仮想オブジェクトを配置する。

【0162】

具体的には、ＶＲ側オブジェクト制御部９２０は、例えば、仮想的な会議室内に、ＭＲユーザ６Ａ，６Ｂ，６ＣのＭＲアバター２６Ａ，２６Ｂ，２６Ｃや、ＶＲユーザまたはＭＲユーザ６の少なくとも一方によって所定の変化が与えられる仮想オブジェクト等を配置する。本実施形態では、ＶＲ側オブジェクト制御部９２０は、ＶＲアバター２５と、ＭＲアバター２６と、ＶＲユーザおよびＭＲユーザ６によって動かされたりするモックアップの仮想オブジェクト３０（以下、「仮想模型３０」ともいう。）とを、仮想空間１１に配置する。なお、仮想空間１１には、現実オブジェクトとしての机８に対応する仮想オブジェクト３１等も配置される。

【0163】

なお、例えば、ＶＲユーザの使用するＶＲシステム２００（換言すると、コンピュータ３００）に、ネットワーク２を介して他のＶＲユーザが使用するＶＲシステム２００（換言すると、コンピュータ３００）が接続される場合、ＶＲ側オブジェクト制御部９２０は、仮想空間１１に、当該他のＶＲユーザのＶＲアバター２５を配置してもよい。他のＶＲユーザのＶＲアバター２５は、当該他のＶＲユーザによって操作され得る。

【0164】

ＶＲ側オブジェクト制御部９２０は、例えば、複合現実空間２１中のＭＲユーザ６の位置に対応する仮想空間１１中の位置に当該ＭＲユーザ６のＭＲアバター２６を配置する。すなわち、ＶＲ側オブジェクト制御部９２０は、現実の会議室２１におけるＭＲユーザ６Ａ，６Ｂ，６Ｃのそれぞれが存在する位置と、仮想の会議室におけるＭＲアバター２６Ａ，２６Ｂ，２６Ｃのそれぞれが存在する位置とが同じ位置となるように、ＭＲアバター２６Ａ，２６Ｂ，２６Ｃを配置する。

【0165】

なお、ＭＲアバター２６の外見（換言すると、形態）は、ＭＲユーザ６の外見を模したものでもよいが、模したものでなくてもよい。例えば、ＭＲアバター２６の外見は、所定の動物の外見を模したもの等であってもよい。ＶＲ側オブジェクト制御部９２０は、仮想オブジェクトを複合現実空間２１中に配置する場合に、仮想オブジェクトの形態を示すオブジェクトデータを受信し、当該オブジェクトデータに基づいて仮想オブジェクトを配置する。ここで、ＶＲ側オブジェクト制御部９２０は、オブジェクトデータをサーバ６００の制御部６１０から受信してもよく、ＭＲシステム４００のＭＲ側オブジェクト制御部８２０から受信してもよい。具体的には、例えば、ＶＲ側オブジェクト制御部９２０は、ＭＲアバター２６を仮想空間１１中に配置する際に、ＭＲアバター２６の形態を示すオブジェクトデータを制御部６１０またはＭＲ側オブジェクト制御部８２０から受け取り、当該オブジェクトデータの示す形態のＭＲアバター２６を仮想空間１１に配置してもよい。なお、ＭＲアバター２６の外見は、ＭＲユーザ６が予め設定しておくことが可能となっており、ＶＲ装置２１０でＭＲアバター２６が表示される際に、ＭＲユーザ６が設定した外見で表示がされるようになっていてもよい。また、ＭＲアバター２６の外見が、ＭＲユーザ６の外見を模したものである場合、ＶＲ側オブジェクト制御部９２０は、検出装置４６０としてのカメラやカメラ４１３等の所定のカメラによって取得されるＭＲユーザ６の画像に基づいて生成される（例えば、制御部５１０が生成する）ＭＲアバター２６を、仮想空間１１に配置するなどしてもよい。

【0166】

仮想カメラ制御部９３０は、仮想空間１１に仮想カメラ１４を配置する。また、仮想カメラ制御部９３０は、仮想空間１１における仮想カメラ１４の位置と、仮想カメラ１４の傾き（向き）とを制御する。なお、本実施形態では、仮想カメラ制御部９３０は、仮想カメラ１４を仮想空間１１におけるＶＲアバター２５の目の位置に配置する。換言すると、仮想カメラ制御部９３０は、仮想カメラ１４の位置をＶＲアバター２５の位置と連動させ、仮想空間１１内においてＶＲアバター２５が移動すると、仮想空間１１内で仮想カメラ１４を移動させる。なお、仮想カメラ１４の位置は、ＶＲアバター２５の位置と連動するものでなくてもよい。例えば、仮想カメラ１４を所定の位置に固定したまま、仮想空間１１内でＶＲアバター２５を移動させること等が可能となっていてもよい。

【0167】

表示制御部９４０は、ＶＲ装置２１０のディスプレイ２１１における画像表示を制御する。表示制御部９４０は、仮想カメラ１４の位置と傾き（換言すると、ＶＲ装置２１０を装着したＶＲユーザの頭の傾き）に応じて、視界領域１５を規定する。また、表示制御部９４０は、規定した視界領域１５に基づいて、ディスプレイ２１１に表示される視界画像１７を生成する。表示制御部９４０により生成された視界画像１７は、ＶＲ装置２１０に出力される。

【0168】

また、表示制御部９４０は、ディスプレイ２７０における画像表示を制御する。表示制御部９４０は、例えば、ディスプレイ２１１に表示されている画像と同様の画像をディスプレイ２７０に表示させる。

【0169】

音制御部９４５は、ＶＲ装置２１０から、ＶＲユーザのマイク２１５を用いた発話を検出すると、当該発話に対応する音データを取得する。また、音制御部９４５は、取得した音データを、ネットワーク２を介してコンピュータ５００や他のＶＲユーザのコンピュータ３００等に送信する。また、音制御部９４５は、ネットワーク２を介してコンピュータ５００や他のユーザのコンピュータ３００から音データを受信すると、当該音データに対応する音（発話）をスピーカ２１６から出力する。これにより、ＶＲユーザは、例えば、ＭＲユーザ６と通話によるコミュニケーションを行うことが可能となっている。なお、ＶＲ側入力受付部９１６は、マイク２１５が検出したＶＲユーザの発話に関する音データを、ＶＲユーザからの入力として受け付けてもよい。

【0170】

通信制御部９５０は、ネットワーク２を介して、サーバ６００、コンピュータ５００、他のＶＲユーザのコンピュータ３００その他の情報通信装置と通信し得る。通信制御部９５０は、例えば、サーバ６００、コンピュータ５００、または他のＶＲユーザのコンピュータ３００に、サーバ６００、コンピュータ５００、または他のＶＲユーザのコンピュータ３００で使用される情報を送信する。また、通信制御部８５０は、例えば、サーバ６００、コンピュータ５００、または他のＶＲユーザのコンピュータ３００から、コンピュータ３００で使用される情報を受信する。

【0171】

（複合現実空間と仮想空間との融合）
本実施形態では、ＭＲ側入力受付部８１６が取得したＭＲユーザ６からの入力に基づいて、ＭＲ装置４１０が表示する仮想オブジェクトと、ＶＲ装置２１０が表示する仮想オブジェクトとが制御されるようになっている。

【0172】

具体的には、ＭＲ側オブジェクト制御部８２０は、ＭＲ側入力受付部８１６が受け付けたＭＲユーザ６からの入力に基づいて、複合現実空間２１中の仮想オブジェクト、具体的には仮想模型３０に所定の変化を与える。ここで、所定の変化とは、仮想オブジェクトを移動させたり、仮想オブジェクトの傾きや向いている方向等を変化させたり、仮想オブジェクトのパーツ同士の相対的な位置関係を変化させたりするなど、複合現実空間２１中の仮想オブジェクトを動かすものであってもよい。また、所定の変化とは、仮想オブジェクトの色を変化させたり、仮想オブジェクトが表示する情報等を変化させたり、仮想オブジェクトの形態を変化させたりするものであってもよい。

【0173】

より具体的には、ＭＲ側オブジェクト制御部８２０は、例えば、ＭＲ側入力受付部８１６が受け付けた、ＭＲユーザ６の動きに関する情報に基づいて、複合現実空間２１中の仮想模型３０を動かす。具体的には、例えば、検出手段（例えば、検出装置４６０またはカメラ４１３等）によって、ＭＲユーザ６が仮想模型３０を持って運ぶジェスチャーが検出され、検出手段が当該ジェスチャーに関する出力をすると、ＭＲ側入力受付部８１６は、当該出力をＭＲユーザ６からの入力として受け付ける。また、ＭＲ側オブジェクト制御部８２０は、ＭＲ側入力受付部８１６が受け付けた当該入力に基づいて、当該ジェスチャーによるＭＲユーザ６からの指示に従い、仮想模型３０を複合現実空間２１中で移動させる。なお、仮想オブジェクトとしての仮想模型３０に所定の変化を与えるＭＲユーザ６のジェスチャーは、複合現実空間２１中で仮想模型３０に触れるものでなくてもよい。例えば、仮想模型３０に向けて手をかざし、手を横に振るジェスチャーによって仮想オブジェクトを回転させること等が可能となっていてもよい。

【0174】

また、ＭＲ側オブジェクト制御部８２０は、例えば、ＭＲ側入力受付部８１６が受け付けた、コントローラ４８０に対するＭＲユーザ６の操作に関する情報（換言すると、ＭＲユーザ６の動きに関する情報）に基づいて、仮想オブジェクトに所定の変化を与えるなどしてもよい。また、ＭＲ側オブジェクト制御部８２０は、例えば、ＭＲ側入力受付部８１６が受け付けた、ＭＲユーザ６の発話に関する音データに基づいて、仮想オブジェクトに所定の変化を与えるなどしてもよい。

【0175】

また、ＶＲ側オブジェクト制御部９２０は、ＭＲ側入力受付部８１６が受け付けたＭＲユーザ６からの入力に基づいて、仮想空間１１中の仮想オブジェクトに所定の変化を与える。

【0176】

具体的には、ＶＲ側オブジェクト制御部９２０は、例えば、ＭＲ側入力受付部８１６が受け付けたＭＲユーザ６からの入力に基づいて複合現実空間２１中の仮想模型３０に与えられる変化と同様の変化を、仮想空間１１中の仮想模型３０に与える。すなわち、例えば、前述のように、ＭＲユーザ６の仮想模型３０を持って運ぶジェスチャーによって、複合現実空間２１中の仮想模型３０が移動すると、ＶＲ側オブジェクト制御部９２０は、仮想空間１１中の仮想模型３０を、同じように移動させる。

【0177】

なお、複合現実空間２１中の仮想模型３０に与えられる変化と同様の変化を仮想空間中の仮想模型３０に与える方法については、特に限定されるものではないが、例えば以下のようにしてもよい。すなわち、例えば、ＭＲ側オブジェクト制御部８２０は、ＭＲユーザ６からの入力に基づいて複合現実空間２１中の仮想模型３０（換言すると、仮想オブジェクト）を動かすと（換言すると、所定契機で）、ＶＲ側オブジェクト制御部９２０に対して、動かした後の仮想模型３０の位置や傾きを示す情報（換言すると、仮想模型３０の状態に関する情報）を送ってもよい。そして、ＶＲ側オブジェクト制御部９２０は、仮想空間１１中の当該情報によって示される位置に仮想模型３０を配置したり、当該情報によって示される傾きで仮想模型３０を配置したりしてもよい。また、例えば、通信制御部８５０が、ＭＲユーザ６からの入力に基づく情報（例えば、制御部５１０が当該入力に基づいて算出（換言すると、取得）する仮想模型３０の移動量や移動軌跡や傾き等に関する情報）を通信制御部９５０に対して送り、ＶＲ側オブジェクト制御部９２０は、当該情報に基づいて、仮想模型３０等の仮想オブジェクトを動かす等してもよい。すなわち、本実施形態では、ＶＲ側オブジェクト制御部９２０は、ＭＲ側入力受付部８１６が受け付けたＭＲユーザ６からの入力に基づいて、仮想空間１１中の仮想オブジェクトに所定の変化を与えるが、「ＭＲユーザ６からの入力に基づいて」とは、ＶＲ側オブジェクト制御部９２０自体が当該入力を受け取って仮想オブジェクトを制御するものに限られず、仮想空間１１中の仮想オブジェクトが結果として当該入力に応じて所定の変化をするものであればよい。

【0178】

また、ＶＲ側オブジェクト制御部９２０は、例えば、ＭＲ側入力受付部８１６が受け付けたＭＲユーザ６からの入力に基づいて、仮想空間１１中のＭＲアバター２６を動かす。具体的には、ＶＲ側オブジェクト制御部９２０は、例えば、ＭＲ側入力受付部８１６が受け付けた、ＭＲユーザ６の動きに関する情報に基づいて、ＭＲアバター２６を動かす。例えば、ＶＲ側オブジェクト制御部９２０は、ＭＲ側入力受付部８１６が、ＭＲユーザ６からの入力として受け付ける、複合現実空間２１中のＭＲユーザ６の位置を示す位置情報に基づいて、ＭＲアバター２６を動かす。すなわち、ＶＲ側オブジェクト制御部９２０は、当該位置情報に基づいて、複合現実空間２１中のＭＲユーザ６の位置に対応する仮想空間１１中の位置にＭＲアバター２６を配置し、ＭＲユーザ６が複合現実空間２１中で移動すると、移動後の位置に対応する仮想空間１１中の位置にＭＲアバター２６を配置する。

【0179】

また、ＶＲ側オブジェクト制御部９２０は、例えば、ＭＲ側入力受付部８１６が、ＭＲユーザ６からの入力として受け付ける、ＭＲユーザ６の体の各部位の動き（例えば、手の動きや、頭の動きや、目の動きや、表情の変化等）に関する情報や、ＭＲユーザ６の傾きや向いている方向に関する情報に基づいて、ＭＲアバター２６を動かす。すなわち、ＶＲ側オブジェクト制御部９２０は、これらの各情報に基づいて、ＭＲユーザ６の体の各部位の動き（換言すると、姿勢）や、ＭＲユーザ６の傾きや向いている方向を、仮想空間１１中のＭＲアバター２６に反映させる。すなわち、本実施形態では、ＶＲ側オブジェクト制御部９２０は、仮想空間１１中のＭＲアバター２６の動きが、ＭＲユーザ６の動きを検出する検出手段が検出するＭＲユーザ６の動きを模したものとなるように、ＭＲアバター２６の動きを制御する。換言すると、ＶＲ側オブジェクト制御部９２０は、少なくとも体の一部（例えば、手、足、頭、目、口等）について、ＭＲアバター２６の動きが、ＭＲユーザ６の動きに連動したものとなるように、ＭＲアバター２６の動きを制御する。

【0180】

なお、ＭＲアバター２６の動きの少なくとも一部が、コントローラ４８０に対するＭＲユーザ６の操作（例えば、アナログスティックやボタン等に対する操作）により実現されてもよい。すなわち、例えば、ＶＲ側オブジェクト制御部９２０は、ＭＲユーザ６からの入力としての、コントローラ４８０に対するＭＲユーザ６の操作を示す情報に基づいて、ＭＲアバター２６の体の一部を動かす等してもよい。

【0181】

なお、仮想空間１１中のＭＲアバター２６は、仮想空間１１中における位置あるいは動きの少なくとも一方が、複合現実空間２１中のＭＲユーザ６の位置あるいは動きに連動したものでなくてもよい。すなわち、例えば、複合現実空間２１中においてＭＲユーザ６が移動しても、仮想空間１１中のＭＲアバター２６がこれに応じた移動をしないものであってもよい。また、例えば、複合現実空間２１中においてＭＲユーザ６が手を動かしたりしても、仮想空間１１中のＭＲアバター２６がこれと同じ動きをしないものであってもよい。

【0182】

また、本実施形態では、ＶＲ側入力受付部９１６が取得したＶＲユーザからの入力に基づいて、ＶＲ装置２１０が表示する仮想オブジェクトと、ＭＲ装置４１０が表示する仮想オブジェクトとが制御されるようになっている。

【0183】

具体的には、ＶＲ側オブジェクト制御部９２０は、ＶＲ側入力受付部９１６が受け付けたＶＲユーザからの入力に基づいて、仮想空間１１中の仮想オブジェクト、具体的には仮想模型３０に所定の変化を与える。

【0184】

より具体的には、ＶＲ側オブジェクト制御部９２０は、例えば、ＶＲ側入力受付部９１６が受け付けた、コントローラ２８０に対するＶＲユーザの操作を示す情報（換言すると、ＶＲユーザの動きに関する情報）に基づいて、仮想空間１１中の仮想模型３０に所定の変化を与える。具体的には、例えば、ＶＲ側オブジェクト制御部９２０は、コントローラ２８０に対する操作によるＶＲユーザからの指示に従い、仮想模型３０を仮想空間１１中で移動させる。

【0185】

また、ＶＲ側オブジェクト制御部９２０は、例えば、検出手段によって検出されるＶＲユーザのジェスチャー等に基づいて、仮想オブジェクトに所定の変化を与えるなどしてもよい。また、ＶＲ側オブジェクト制御部９２０は、例えば、ＶＲ側入力受付部９１６が受け付けた、ＶＲユーザの発話に関する音データに基づいて、仮想オブジェクトに所定の変化を与えるなどしてもよい。

【0186】

また、ＭＲ側オブジェクト制御部８２０は、ＶＲ側入力受付部９１６が受け付けたＶＲユーザからの入力に基づいて、複合現実空間２１中の仮想オブジェクトに所定の変化を与える。

【0187】

具体的には、ＭＲ側オブジェクト制御部８２０は、例えば、ＶＲ側入力受付部９１６が受け付けたＶＲユーザからの入力に基づいて仮想空間１１中の仮想模型３０に与えられる変化と同様の変化を、複合現実空間２１中の仮想模型３０に与える。すなわち、例えば、前述のように、ＶＲユーザのコントローラ２８０に対する操作によって、仮想空間１１中の仮想模型３０が移動すると、ＭＲ側オブジェクト制御部８２０は、複合現実空間２１中の仮想模型３０を、同じように移動させる。

【0188】

なお、仮想空間１１中の仮想模型３０に与えられる変化と同様の変化を複合現実空間２１中の仮想模型３０に与える方法については、特に限定されるものではないが、例えば以下のようにしてもよい。すなわち、例えば、ＶＲ側オブジェクト制御部９２０は、ＶＲユーザからの入力に基づいて仮想空間１１中の仮想模型３０（換言すると、仮想オブジェクト）を動かすと（換言すると、所定契機で）、ＭＲ側オブジェクト制御部８２０に対して、動かした後の仮想模型３０の位置や傾きを示す情報（換言すると、仮想模型３０の状態に関する情報）を送ってもよい。そして、ＭＲ側オブジェクト制御部８２０は、複合現実空間２１中の当該情報によって示される位置に仮想模型３０を配置したり、当該情報によって示される傾きで仮想模型３０を配置したりしてもよい。また、例えば、通信制御部９５０が、ＶＲユーザからの入力に基づく情報（例えば、制御部３１０が当該入力に基づいて算出（換言すると、取得）する仮想模型３０の移動量や移動軌跡や傾き等に関する情報）を通信制御部８５０に対して送り、ＭＲ側オブジェクト制御部８２０は、当該情報に基づいて、仮想模型３０等の仮想オブジェクトを動かしたりしてもよい。すなわち、本実施形態では、ＭＲ側オブジェクト制御部８２０は、ＶＲ側入力受付部９１６が受け付けたＶＲユーザからの入力に基づいて、複合現実空間２１中の仮想オブジェクトに所定の変化を与えるが、「ＶＲユーザからの入力に基づいて」とは、ＭＲ側オブジェクト制御部８２０自体が当該入力を受け取って仮想オブジェクトを制御するものに限られず、複合現実空間２１中の仮想オブジェクトが結果として当該入力に応じて所定の変化をするものであればよい。

【0189】

また、ＶＲ側オブジェクト制御部９２０は、ＶＲ側入力受付部９１６が受け付けたＶＲユーザからの入力に基づいて、仮想空間１１中のＶＲアバター２５に所定の変化を与える。具体的には、ＶＲ側オブジェクト制御部９２０は、例えば、ＶＲ側入力受付部９１６が受け付けた、コントローラ２８０に対するＶＲユーザの操作を示す情報（換言すると、ＶＲユーザの動きに関する情報）に基づいて、仮想空間１１中のＶＲアバター２５に所定の変化を与える。具体的には、例えば、ＶＲ側オブジェクト制御部９２０は、コントローラ２８０に対する操作によるＶＲユーザからの指示に従い、ＶＲアバター２５を仮想空間１１中で移動させる。

【0190】

また、ＶＲ側オブジェクト制御部９２０は、例えば、ＶＲ側入力受付部９１６が、ＶＲユーザからの入力として受け付ける、ＶＲユーザの体の各部位の動き（例えば、手の動きや、頭の動きや、目の動きや、表情の変化等）に関する情報や、ＶＲユーザの傾きや向いている方向に関する情報に基づいて、ＶＲアバター２５を動かす。すなわち、ＶＲ側オブジェクト制御部９２０は、これらの各情報に基づいて、ＶＲユーザの体の各部位の動き（換言すると、姿勢）や、ＶＲユーザの傾きや向いている方向を、仮想空間１１中のＶＲアバター２５に反映させる。すなわち、本実施形態では、ＶＲ側オブジェクト制御部９２０は、仮想空間１１中のＶＲアバター２５の動きが、ＶＲユーザの動きを検出する検出手段が検出するＶＲユーザの動きを模したものとなるように、ＶＲアバター２５の動きを制御する。換言すると、ＶＲ側オブジェクト制御部９２０は、少なくとも体の一部（例えば、手、足、頭、目、口等）について、ＶＲアバター２５の動きが、ＶＲユーザの動きに連動したものとなるように、ＶＲアバター２５の動きを制御する。

【0191】

また、ＭＲ側オブジェクト制御部８２０は、例えば、ＶＲ側入力受付部９１６が受け付けたＶＲユーザからの入力に基づいて仮想空間１１中のＶＲアバター２５に与えられる変化と同様の変化を、複合現実空間２１中のＶＲアバター２５に与える。すなわち、例えば、前述のように、ＶＲユーザのコントローラ２８０に対する操作によって、仮想空間１１中のＶＲアバター２５が移動すると、ＭＲ側オブジェクト制御部８２０は、複合現実空間２１中のＶＲアバター２５を、同じように移動させる。なお、仮想空間１１中のＶＲアバター２５に与えられる変化と同様の変化を複合現実空間２１中のＶＲアバター２５に与える方法については、特に限定されるものではないが、例えば前述の仮想模型３０の場合と同様にすることができる。

【0192】

なお、ＶＲアバター２５の仮想空間１１中における位置および複合現実空間２１中における位置が、現実空間におけるＶＲユーザの移動に伴い移動してもよい。すなわち、例えば、ＶＲ側オブジェクト制御部９２０は、ＶＲユーザからの入力としての、現実空間におけるＶＲユーザの位置を示す位置情報に基づいて、ＶＲアバター２５を移動させてもよい。

【0193】

また、仮想空間１１中のＶＲアバター２５および複合現実空間２１中のＶＲアバター２５の一部の動きがコントローラ２８０に対する操作によって実現されてもよい。すなわち、例えば、ＶＲ側オブジェクト制御部９２０およびＭＲ側オブジェクト制御部８２０は、ＶＲユーザからの入力としての、コントローラ２８０に対するＶＲユーザの操作を示す情報に基づいて、ＶＲアバター２５の体の一部を動かす等してもよい。

【0194】

本実施形態では、所定の現実空間としての会議室２１に実際に存在する現実オブジェクトに対する行動の結果についても、ＶＲユーザとＭＲユーザ６との間で共有することが可能となっている。この点について、以下では、現実オブジェクトとしての所定の記入が可能なオブジェクト（例えば、黒板やホワイトボード等）についての制御を例に説明する。図８に示されるように、複合現実空間２１には、現実オブジェクトとしての黒板３５が配置されており、仮想空間１１には、黒板３５に対応する位置に、黒板３５に対応する仮想オブジェクトとしての仮想黒板３６が配置されているものとする。

【0195】

本実施形態では、複合現実空間２１においてＭＲユーザ６が現実オブジェクトとしての黒板３５に対して行った行動（換言すると、行動の結果）が、複合現実空間２１の黒板３５に反映されるようになっている。また、本実施形態では、当該行動が、仮想空間１１の仮想黒板３６に反映されるようになっている。

【0196】

複合現実空間２１においては、ＭＲユーザ６は、黒板３５に対して所定の記入を行うことが可能となっている。また、ＭＲユーザ６による黒板３５に対する記入動作は、当該記入動作を検出する検出手段（以下、「ＭＲ側記入検出手段」という。）によって検出され、ＭＲ側記入検出手段からの出力（換言すると、記入動作に関する情報）がＭＲユーザ６からの入力としてＭＲ側入力受付部８１６に受け付けられるようになっている。ＭＲ側記入検出手段は、例えば、ＭＲユーザ６の手の動きを検出可能な検出手段であってもよい。具体的には、ＭＲ側記入検出手段は、例えば、コントローラ４８０としてのペン型のコントローラ等であってもよい。また、ＭＲ側記入検出手段は、検出装置４６０としてのカメラや、カメラ４１３等であってもよい。また、ＭＲ側記入検出手段は、ＭＲユーザ６が身につけるデバイス等であってもよい。また、ＭＲ側記入検出手段は、黒板３５が備えるセンサ（例えば、タッチセンサや、黒板３５の備える赤外光を発する装置からの赤外光の反射光を読み取るセンサ等）であってもよい。換言すると、黒板３５は、コンピュータ５００と通信可能となっており、黒板３５の備えるセンサによって検出されたＭＲユーザ６の記入動作に関する情報が、ＭＲユーザ６からの入力としてＭＲ側入力受付部８１６に受け付けられるようになっていてもよい。

【0197】

複合現実空間２１の黒板３５には、ＭＲユーザ６の記入動作が反映される。換言すると、ＭＲユーザ６が記入動作を行うと、黒板３５は、図１０（ａ）に示されるように、ＭＲユーザ６の記入した記入内容（例えば、図１０（ａ）における、月の絵、ハートの絵、および「Ｓａｍｐｌｅ」の文字）を表示する状態に変化する。例えば、黒板３５は、ＭＲユーザ６の記入した記入内容を電子的に表示する（換言すると、反映する）電子黒板となっており、ＭＲユーザ６が記入動作を行うと、記入内容を表示する状態に変化するようになっていてもよい。具体的には、例えば、黒板３５の記入面自体がディスプレイとなっており、当該ディスプレイが記入内容を表示してもよい。また、黒板３５が、記入面に画像を投影するプロジェクタを備え、当該プロジェクタが記入面に記入内容を映し出してもよい。換言すると、複合現実空間２１へのユーザの行動の反映（換言すると、ＭＲユーザ６の行動に起因するＭＲ装置４１０を介して見られる複合現実空間２１の変化）は、現実オブジェクト自体に何らかの変化（例えば、表示内容の変化）が起こることにより実現されてもよい。なお、記入内容を電子的に表示する場合に、黒板３５のコンピュータが、黒板の備えるセンサの検出結果に基づいて当該表示を制御してもよく、コンピュータ５００が、ＭＲ側記入検出手段の検出結果に基づいて当該表示を制御してもよい。すなわち、例えば、コンピュータ５００の制御部５１０等が、ＭＲ側入力受付部８１６が受け付けたＭＲユーザ６からの入力に基づいて黒板３５の表示を制御する制御手段（以下、「黒板表示制御手段」という。）として機能してもよい。具体的には、黒板表示制御手段は、ＭＲユーザ６からの入力に基づいて、黒板３５のディスプレイまたはプロジェクタが表示する画像が、記入内容を示す画像となるように制御してもよい。なお、複合現実空間２１の黒板３５へのＭＲユーザ６の記入動作の反映は、ＭＲユーザ６がチョーク等の筆記具によって実際に黒板３５に文字や絵を記入することにより行われてもよい。換言すると、筆記具によって実際に黒板３５に文字や絵を記入する動作が、ＭＲユーザ６の記入動作としてＭＲ側記入検出手段によって検出されてもよい。

【0198】

また、例えば、ＭＲ側オブジェクト制御部８２０は、ＭＲユーザ６の記入した記入内容を示す仮想オブジェクト（以下、「記入オブジェクト３７」という。）を生成し、複合現実空間２１の黒板３５の位置に配置してもよい（図１０（ａ）参照）。具体的には、ＭＲ側オブジェクト制御部８２０は、ＭＲ側入力受付部８１６が受け付けたＭＲユーザ６からの入力に基づいて、記入オブジェクト３７を生成してもよい。そして、ＭＲ装置４１０を介して黒板３５を見た場合に、黒板３５が記入内容（換言すると、記入オブジェクト３７）を表示する状態が視認されるようになっていてもよい。換言すると、複合現実空間２１へのユーザの行動の反映（換言すると、ＭＲユーザ６の行動に起因するＭＲ装置４１０を介して見られる複合現実空間２１の変化）は、現実オブジェクトに対して所定の仮想オブジェクトが付加されることにより実現されてもよい。

【0199】

また、ＶＲ側オブジェクト制御部９２０は、ＭＲ側入力受付部８１６が受け付けたＭＲユーザ６からの入力に基づいて、現実オブジェクトに対応する仮想オブジェクトに所定の変化を与える。具体的には、ＶＲ側オブジェクト制御部９２０は、図１０（ｂ）に示されるように、ＭＲユーザ６からの入力を仮想黒板３６に反映させ、仮想黒板３６がＭＲユーザ６の記入した記入内容を表示する状態となるように制御する。換言すると、ＶＲ側オブジェクト制御部９２０は、ＭＲユーザ６の行動に基づく複合現実空間２１中の現実オブジェクト（例えば、黒板３５）に関する変化を、当該現実オブジェクトに対応する仮想空間１１中の仮想オブジェクト（例えば、仮想黒板３６）に反映させる。具体的には、例えば、ＭＲユーザ６の記入動作に関する情報が、ＭＲ側入力受付部８１６に入力されると、ＶＲ側オブジェクト制御部９２０は、ＭＲユーザ６の記入した記入内容を示す記入オブジェクト３８を、仮想空間１１の仮想黒板３６の位置に配置することとしてもよい（図１０（ｂ）参照）。また、ＶＲ側オブジェクト制御部９２０は、例えば、仮想黒板３６自体の形態を変化させることにより、仮想黒板３６が記入内容を表示する状態となるように制御してもよい。また、仮想黒板３６が、黒板３５のディスプレイまたはプロジェクタ等が表示している画像を表示する仮想オブジェクトとなっており、ＶＲ側オブジェクト制御部９２０は、当該画像を仮想黒板３６に表示させるようになっていてもよい。また、複合現実空間２１の黒板３５を撮影するカメラをＭＲシステム４００が備え、仮想黒板３６は、当該カメラにより撮影される画像を表示する仮想オブジェクトとなっており、ＶＲ側オブジェクト制御部９２０は、当該画像を仮想黒板３６に表示させるようになっていてもよい。

【0200】

また、本実施形態では、仮想空間１１においてＶＲユーザが仮想オブジェクトとしての仮想黒板３６に対して行った行動（換言すると、行動の結果）が、仮想空間１１の仮想黒板３６に反映されるようになっている。また、本実施形態では、当該行動が、複合現実空間２１の黒板３５に反映されるようになっている。

【0201】

仮想空間１１においては、ＶＲユーザは、仮想黒板３６に対して所定の記入を行うことが可能となっている。また、ＶＲユーザによる仮想黒板３６に対する記入動作は、当該記入動作を検出する検出手段（以下、「ＶＲ側記入検出手段」という。）によって検出され、ＶＲ側記入検出手段からの出力がＶＲユーザからの入力としてＶＲ側入力受付部９１６に受け付けられるようになっている。ＶＲ側記入検出手段は、例えば、ＶＲユーザの手の動きを検出可能な検出手段であってもよい。具体的には、ＶＲ側記入検出手段は、例えば、コントローラ２８０等であってもよい。また、ＶＲ側記入検出手段は、検出装置２６０としてのカメラ等であってもよい。また、ＶＲ側記入検出手段は、ＶＲユーザが身につけるデバイス等であってもよい。

【0202】

複合現実空間２１の黒板３５には、ＶＲユーザの記入動作が反映される。換言すると、ＶＲユーザが記入動作を行うと、黒板３５は、ＶＲユーザの記入した記入内容を表示する状態に変化する。さらに換言すると、黒板３５には、ＶＲ側入力受付部９１６が受け付けたＶＲユーザからの入力が反映される。黒板３５へのＶＲユーザからの入力の反映は、例えば、以下のように行ってもよい。すなわち、例えば、ＭＲ側オブジェクト制御部８２０は、ＶＲユーザの記入した記入内容を示す記入オブジェクト３７を、複合現実空間２１の黒板３５の位置に配置してもよい。また、前記黒板表示制御手段が、ＶＲユーザからの入力に基づいて、黒板３５のディスプレイまたはプロジェクタが表示する画像が、ＶＲユーザの記入した記入内容を示す画像となるように制御してもよい。すなわち、ＭＲ側オブジェクト制御部８２０または黒板表示制御手段は、ＶＲ側入力受付部９１６が受け付けたＶＲユーザからの入力を、複合現実空間２１中の現実オブジェクトに反映させる反映手段として機能し得る。

【0203】

また、仮想空間１１の仮想黒板３６にも、ＶＲユーザの記入動作が反映される。換言すると、ＶＲユーザが記入動作を行うと、仮想黒板３６は、ＶＲユーザの記入した記入内容を表示する状態に変化する。さらに換言すると、仮想黒板３６には、ＶＲ側入力受付部９１６が受け付けたＶＲユーザからの入力が反映される。具体的には、ＶＲ側オブジェクト制御部９２０は、ＶＲ側入力受付部９１６が受け付けたＶＲユーザからの入力に基づいて、仮想黒板３６に所定の変化を与える。より具体的には、ＶＲ側オブジェクト制御部９２０は、ＶＲユーザからの入力を仮想黒板３６に反映させ、仮想黒板３６がＶＲユーザの記入した記入内容を表示する状態となるように制御する。具体的には、例えば、ＶＲユーザの記入動作に関する情報が、ＶＲ側入力受付部９１６に入力されると、ＶＲ側オブジェクト制御部９２０は、ＶＲユーザの記入した記入内容を示す記入オブジェクト３８を、仮想空間１１の仮想黒板３６の位置に配置することとしてもよい。また、ＶＲ側オブジェクト制御部９２０は、例えば、仮想黒板３６自体の形態を変化させることにより、仮想黒板３６が記入内容を表示する状態となるように制御してもよい。また、仮想黒板３６が、黒板３５のディスプレイまたはプロジェクタ等が表示している画像を表示する仮想オブジェクトとなっており、ＶＲ側オブジェクト制御部９２０は、当該画像を仮想黒板３６に表示させるようになっていてもよい。また、複合現実空間２１の黒板３５を撮影するカメラをＭＲシステム４００が備え、仮想黒板３６は、当該カメラにより撮影される画像を表示する仮想オブジェクトとなっており、ＶＲ側オブジェクト制御部９２０は、当該画像を仮想黒板３６に表示させるようになっていてもよい。換言すると、ＶＲ側入力受付部９１６が受け付けたＶＲユーザからの入力が、複合現実空間２１中の現実オブジェクトに反映され、これにより、ＶＲユーザからの入力に基づく仮想黒板３６の変化が起こるようになっていてもよい。

【0204】

以上のように、本実施形態では、ＭＲユーザ６が現実オブジェクトに対して行った行動、および、ＶＲユーザが当該現実オブジェクトに対応する仮想オブジェクトに対して行った行動が、複合現実空間２１および仮想空間１１に反映されるようになっている。このような、各行動の複合現実空間２１または仮想空間１１への反映は、以下のようなものであってもよい。

【0205】

すなわち、例えば、ＭＲユーザ６が、複合現実空間２１において、レーザポインタ等の所定のポインタで任意の位置を指し示すと、仮想空間１１においても指し示された位置（以下、「指示位置」という。）がわかるようになっていてもよい。具体的には、例えば、複合現実空間２１では、ＭＲシステム４００の検出装置４６０やカメラ４１３等が、指示位置を検出する指示位置検出手段として機能してもよい。そして、指示位置検出手段によって検出された指示位置に関する情報が、ＭＲユーザ６からの入力としてＭＲ側入力受付部８１６に受け付けられるようになっていてもよい。また、ＶＲ側オブジェクト制御部９２０は、複合現実空間２１中の指示位置に対応する仮想空間１１中の位置に、レーザポインタからの光を示す仮想オブジェクトを配置するなどしてもよい。換言すると、制御部３１０は、ＶＲ装置２１０における仮想空間１１の表示において、複合現実空間２１中の指示位置に対応する仮想空間１１中の位置が、レーザポインタからの光を表す所定の色で光るように制御してもよい。

【0206】

また、例えば、ＶＲユーザが、仮想空間１１において、仮想的なレーザポインタ等の所定のポインタで任意の位置を指し示すと、複合現実空間２１においても指示位置がわかるようになっていてもよい。具体的には、例えば、仮想的なレーザポインタを操作するためのコントローラ２８０に対するＶＲユーザの操作に関する情報（換言すると、ＶＲユーザの動きに関する情報）がＶＲ側入力受付部９１６に入力されると、ＶＲ側オブジェクト制御部９２０は、ＶＲユーザの操作によって指示される位置（換言すると、仮想的なレーザポインタによって指示される位置）に、仮想的なレーザポインタからの光を示す仮想オブジェクトを配置するなどしてもよい。換言すると、制御部３１０は、ＶＲ装置２１０における仮想空間の表示において、仮想的なＶＲユーザの操作によって指示される仮想空間１１中の位置が、仮想的なレーザポインタからの光を表す所定の色で光るように制御してもよい。また、制御部５１０等は、仮想空間１１中の指示位置（具体的には、ＶＲユーザによる指示位置）に対応する複合現実空間２１中の位置が、仮想的なレーザポインタからの光を表す所定の色で光るように制御してもよい。具体的には、ＭＲ側オブジェクト制御部８２０は、仮想空間１１中の指示位置に対応する複合現実空間２１中の位置に、仮想的なレーザポインタからの光を示す仮想オブジェクトを配置するなどしてもよい。また、例えば、ＶＲユーザによる指示位置が、仮想黒板３６上の所定の位置である場合に、前記黒板表示制御手段が、ＶＲユーザからの入力に基づいて、黒板３５のディスプレイまたはプロジェクタが表示する画像が、仮想黒板３６上の当該所定の位置に対応する位置が光る画像（すなわち、レーザポインタによって所定箇所が指し示されていることを示す画像）となるように制御してもよい。また、例えば、検出装置４６０やＭＲ装置４１０等がレーザ光を放射する装置を備え、制御部５１０が、ＶＲ側入力受付部９１６が受け付けたＶＲユーザからの入力に応じて、当該装置を制御して仮想空間１１中の指示位置に対応する複合現実空間２１中の位置にレーザ光を当てるようにしてもよい。

【0207】

また、ＭＲユーザ６またはＶＲユーザの行動の複合現実空間２１および仮想空間１１への反映は、以下のようなものであってもよい。すなわち、例えば、複合現実空間２１には、現実オブジェクトとしての音の入力または出力が可能な装置（例えば、電子ピアノ）が配置されており、当該装置に関するＭＲユーザ６またはＶＲユーザの行動が、複合現実空間２１および仮想空間１１へ反映されるようになっていてもよい。以下では、複合現実空間２１には、現実オブジェクトとしての電子ピアノが配置されており、仮想空間１１には、当該電子ピアノに対応する位置に、当該電子ピアノに対応する仮想オブジェクトとしての仮想電子ピアノが配置されているものとする。

【0208】

電子ピアノは、例えば、コンピュータ５００と通信可能となっていてもよい。そして、複合現実空間２１において、ＭＲユーザ６が電子ピアノを操作すると、当該操作に関する情報（例えば、当該操作に対応する音データ）が、コンピュータ５００を介してコンピュータ３００に送られるなどしてもよい。そして、音制御部９４５は、当該情報に基づいてスピーカ２１６から音を出力するなどしてもよい。これにより、例えば、ＭＲユーザ６が電子ピアノの鍵（例えば、「ド」の音の鍵）を操作すると、スピーカ２１６から操作された鍵に対応する音（例えば、「ド」の音）が出力されるようになっていてもよい。換言すると、ＭＲ側入力受付部８１６は、ＭＲユーザ６の操作を検出する検出手段としての電子ピアノ（換言すると、鍵に対する操作を検出するセンサ等）からの出力（例えば、操作に応じた音データ）をＭＲユーザ６からの入力として受け付け、制御部３１０（例えば、音制御部９４５）は、当該入力に基づいて、ＭＲユーザ６の電子ピアノに対する操作に対応する音をスピーカ２１６に出力させるようになっていてもよい。また、音制御部９４５は、電子ピアノに対する操作に対応する音が、仮想空間１１中の仮想電子ピアノから出力されているように聞こえるよう、音の発せられる方向を制御してもよい。

【0209】

また、仮想空間１１において、ＶＲユーザが仮想電子ピアノを操作すると、当該操作に関する情報が、コンピュータ５００に送られるなどしてもよい。そして、音制御部８４５は、当該情報に基づいてスピーカ４１６から音を出力するなどしてもよい。これにより、例えば、ＶＲユーザが仮想電子ピアノの鍵（例えば、「ド」の音の鍵）を操作すると、スピーカ４１６から操作された鍵に対応する音（例えば、「ド」の音）が出力されるようになっていてもよい。換言すると、ＶＲ側入力受付部９１６は、仮想電子ピアノに対するＶＲユーザの操作を検出する検出手段（例えば、検出装置２６０またはコントローラ２８０）からの出力をＶＲユーザからの入力として受け付け、制御部５１０（例えば、音制御部８４５）は、当該入力に基づいて、ＶＲユーザの仮想電子ピアノに対する操作に対応する音をスピーカ４１６に出力させるようになっていてもよい。なお、制御部５１０は、ＶＲユーザの仮想電子ピアノに対する操作に対応する音を電子ピアノのスピーカに出力させるようになっていてもよい。

【0210】

なお、ＭＲユーザ６が、電子ピアノを操作した際の、当該操作に対応する音の複合現実空間２１における出力は、電子ピアノのスピーカが行ってもよく、スピーカ４１６が行ってもよい。また、ＶＲユーザが、仮想電子ピアノを操作した際の、当該操作に対応する音の仮想空間１１における出力は、スピーカ２１６が行ってもよい。

【0211】

＜情報処理システムの実行する処理＞
次に図１１～図１４を参照しながら、情報処理システム１００が実行する処理の流れについて説明する。

【0212】

ＶＲシステム２００の実行する処理の一例について、図１１を参照しながら説明する。

【0213】

ステップＳ１０１において、コンピュータ３００のプロセッサ３０１は、仮想空間データを特定し、仮想空間１１を定義する。

【0214】

ステップＳ１０２において、プロセッサ３０１は、仮想空間１１に、ＶＲユーザのＶＲアバター２５を配置する。

【0215】

ステップＳ１０３において、プロセッサ３０１は、ネットワーク２を介してコンピュータ３００と接続されるコンピュータ５００であって、当該仮想空間１１と対応する複合現実空間２１を制御するコンピュータ５００のプロセッサ５０１から、複合現実空間２１中のＭＲユーザ６の位置を示す位置情報を取得する。

【0216】

ステップＳ１０４において、プロセッサ３０１は、ステップＳ１０３で取得した位置情報に基づいて、複合現実空間２１中のＭＲユーザ６の位置に対応する仮想空間１１中の位置に、ＭＲユーザ６のＭＲアバター２６を配置する。

【0217】

ステップＳ１０５において、プロセッサ３０１は、仮想空間１１に仮想オブジェクトとしての仮想模型３０を配置する。プロセッサ３０１は、複合現実空間２１中の仮想模型３０の位置と対応する仮想空間１１中の位置に仮想模型３０を配置する。なお、対応する位置に配置するとは、複合現実空間２１中の位置が先行して決まるものであってもよく、仮想空間１１中の位置が先行して決まるものであってもよい。

【0218】

ステップＳ１０６において、プロセッサ３０１は、ＶＲユーザからの入力を受け付ける。具体的には、プロセッサ３０１は、例えば、ＶＲユーザの動きを検出する検出手段の出力をＶＲユーザからの入力として受け付ける。

【0219】

ステップＳ１０７において、プロセッサ３０１は、ＶＲユーザからの入力に基づいて仮想空間１１中の仮想オブジェクトに所定の変化を与える。具体的には、プロセッサ３０１は、例えば、ＶＲユーザからの入力に基づいて、仮想空間１１中のＶＲアバター２５または仮想模型３０を動かす。例えば、当該入力がＶＲアバター２５に関するものであった場合、プロセッサ３０１は、ＶＲアバター２５を動かす。また、例えば、当該入力が仮想模型３０に関するものであった場合、プロセッサ３０１は、仮想模型３０を動かす。また、プロセッサ３０１は、ＶＲユーザからの入力に関する情報を、プロセッサ５０１に送信する。

【0220】

ステップＳ１０８において、プロセッサ３０１は、プロセッサ５０１が受け付けたＭＲユーザ６からの入力に関する情報を取得する。

【0221】

ステップＳ１０９において、プロセッサ３０１は、ステップＳ１０８で取得したＭＲユーザ６からの入力に基づいて、仮想空間１１中の仮想オブジェクトに所定の変化を与える。具体的には、プロセッサ３０１は、例えば、ＭＲユーザ６からの入力に基づいて、仮想空間１１中のＭＲアバター２６または仮想模型３０を動かす。例えば、当該入力がＭＲアバター２６に関するものであった場合、プロセッサ３０１は、ＭＲアバター２６を動かす。また、当該入力が仮想模型３０に関するものであった場合、プロセッサ３０１は、仮想模型３０を動かす。

【0222】

次に、ＭＲシステム４００の実行する処理の一例について、図１２を参照しながら説明する。

【0223】

ステップＳ２０１において、コンピュータ５００のプロセッサ５０１は、複合現実空間２１を定義する。

【0224】

ステップＳ２０２において、プロセッサ５０１は、複合現実空間２１内のＭＲユーザ６の位置を検出する。また、プロセッサ５０１は、検出したＭＲユーザ６の位置を示す位置情報を、ネットワーク２を介してコンピュータ５００と接続されるコンピュータ３００であって、当該複合現実空間２１と対応する仮想空間１１を制御するコンピュータ３００のプロセッサ３０１に送信する。

【0225】

ステップＳ２０３において、プロセッサ５０１は、プロセッサ３０１から、仮想空間１１中のＶＲアバター２５の位置を示す位置情報を取得する。

【0226】

ステップＳ２０４において、プロセッサ５０１は、ステップＳ２０３で取得した位置情報に基づいて、仮想空間１１中のＶＲアバター２５の位置に対応する複合現実空間２１中の位置に、ＶＲアバター２５を配置する。なお、対応する位置に配置するとは、仮想空間１１中の位置が先行して決まるものであってもよく、複合現実空間２１中の位置が先行して決まるものであってもよい。

【0227】

ステップＳ２０５において、プロセッサ５０１は、複合現実空間２１に仮想オブジェクトとしての仮想模型３０を配置する。プロセッサ５０１は、仮想空間１１中の仮想模型３０の位置と対応する複合現実空間２１中の位置に仮想模型３０を配置する。

【0228】

ステップＳ２０６において、プロセッサ５０１は、ＭＲユーザ６からの入力を受け付ける。具体的には、プロセッサ５０１は、例えば、ＭＲユーザ６の動きを検出する検出手段の出力をＭＲユーザ６からの入力として受け付ける。

【0229】

ステップＳ２０７において、プロセッサ５０１は、ＭＲユーザ６からの入力に基づいて、複合現実空間２１中の仮想オブジェクトに所定の変化を与える。具体的には、プロセッサ５０１は、例えば、ＭＲユーザ６からの入力に基づいて、複合現実空間２１中の仮想模型３０を動かす。また、プロセッサ５０１は、ＭＲユーザ６からの入力に関する情報を、プロセッサ３０１に送信する。

【0230】

ステップＳ２０８において、プロセッサ５０１は、プロセッサ３０１が受け付けたＶＲユーザからの入力に関する情報を取得する。

【0231】

ステップＳ２０９において、プロセッサ５０１は、ステップＳ２０８で取得したＶＲユーザからの入力に基づいて、複合現実空間２１中の仮想オブジェクトに所定の変化を与える。具体的には、プロセッサ５０１は、例えば、ＶＲユーザからの入力に基づいて、複合現実空間２１中のＶＲアバター２５または仮想模型３０を動かす。例えば、当該入力がＶＲアバター２５に関するものであった場合、プロセッサ５０１は、ＶＲアバター２５を動かす。また、当該入力が仮想模型３０に関するものであった場合、プロセッサ５０１は、仮想模型３０を動かす。

【0232】

次に、ＭＲユーザ６の行動を仮想空間１１に反映させる処理の一例について、図１３を参照しながら説明する。

【0233】

ステップＳ３０１において、プロセッサ５０１は、ＭＲユーザ６からの入力を受け付ける。具体的には、プロセッサ５０１は、例えば、特定の現実オブジェクト（例えば、黒板３５、レーザポインタまたは電子ピアノ等）に対するＭＲユーザ６の行動を検出する検出手段の出力をＭＲユーザ６からの入力として受け付ける。

【0234】

ステップＳ３０２において、プロセッサ５０１は、ステップＳ３０１で受け付けたＭＲユーザ６からの入力に関する情報を、プロセッサ３０１（換言すると、ＶＲシステム２００）に送信する。

【0235】

ステップＳ３０３において、プロセッサ３０１は、ステップＳ３０２で送信された情報に基づいて、ＭＲユーザ６が行動を行った特定の現実オブジェクトに対応する仮想オブジェクトに所定の変化を与える。例えば、ＭＲユーザ６が、黒板３５に所定の記入内容を記入する記入動作を行った場合、プロセッサ３０１は、黒板３５に対応する仮想黒板３６を当該所定の記入内容を表示する状態に変化させる。

【0236】

次に、ＶＲユーザの行動を複合現実空間２１に反映させる処理の一例について、図１４を参照しながら説明する。

【0237】

ステップＳ３５１において、プロセッサ３０１は、ＶＲユーザからの入力を受け付ける。具体的には、プロセッサ３０１は、例えば、特定の現実オブジェクトに対応する仮想オブジェクト（例えば、仮想黒板３６または仮想電子ピアノ等）に対するＶＲユーザの行動を検出する検出手段の出力をＶＲユーザからの入力として受け付ける。

【0238】

ステップＳ３５２において、プロセッサ３０１は、ステップＳ３５１で受け付けたＶＲユーザからの入力に関する情報を、プロセッサ５０１（換言すると、ＭＲシステム４００）に送信する。

【0239】

ステップＳ３５３において、プロセッサ５０１は、ステップＳ３５２で送信された情報に基づいて、特定の現実オブジェクトに対応する仮想オブジェクトに対してＶＲユーザが行った行動を、当該特定の現実オブジェクトに反映させる。例えば、ＶＲユーザが、仮想黒板３６に所定の記入内容を記入する記入動作を行った場合、プロセッサ５０１は、黒板３５を当該所定の記入内容を表示する状態に変化させる。

【0240】

［第２の実施形態］
次に、本発明の第２の実施形態について説明する。第２の実施形態の情報処理システム１００は、第１の実施形態で説明した内容を矛盾の生じない範囲で採用し得る。例えば、第２の実施形態の情報処理システム１００は、第１の実施形態の情報処理システムの構成の一部または全部を含み得る。以下では、第１の実施形態において説明した事項については、説明を省略ないし簡略化する。

【0241】

以下では、情報処理システム１００が、仮想空間１１で行われている事象が複合現実空間２１に反映されるサービスに適用される場合を例に説明する。具体的には、以下では、現実に存在する場所（一例として、以下では「街Ａ」とする。）を模した仮想空間１１中における特定の位置（一例として、以下では街Ａに実在する「店Ｂの前」（換言すると、店Ｂを模した仮想オブジェクトの前）とする。）で行われている事象（一例として、以下では「音楽ライブ」とする。）を、当該特定の位置に対応する現実空間中の位置（ここでは、店Ｂの前）にいるＭＲユーザ６がＭＲ装置４１０を介して体験可能（ここでは、音楽ライブの視聴が可能）な情報処理システム１００について説明する。

【0242】

座標定義部８１２は、ＧＰＳセンサ（換言すると、位置検出手段）によって測定される座標と、仮想空間座標との対応関係（換言すると、現実空間中の地点と仮想空間１１中の地点との対応関係）に関する情報を対応関係記憶部としての記憶部６１１に記憶させる。換言すると、本実施形態では、現実空間（換言すると、複合現実空間）と仮想空間１１との位置の対応関係を示す情報が、対応関係記憶部に予め記憶されている。

【0243】

ＭＲ側入力受付部８１６は、位置検出手段からの入力を受け付ける。位置検出手段は、ＭＲ装置４１０の備えるＧＰＳセンサを用いてＭＲユーザ６の位置を示す位置情報を取得する。すなわち、ＭＲ側入力受付部８１６は、現実空間におけるＭＲユーザ６の現在の位置を示す位置情報（例えば、ＧＰＳセンサを用いて取得される位置情報）の入力を受け付ける。

【0244】

ＶＲシステム２００の制御部３１０は、仮想空間１１中の特定の位置で行われる所定の事象の実行を制御する。本実施形態では、当該所定の事象は、所定のイベント（具体的には、音楽ライブ）となっている。具体的には、ＶＲ側オブジェクト制御部９２０は、図１５に示すように、仮想空間１１中の特定の位置に、所定の事象に関連する仮想オブジェクトとしての事象関連オブジェクト５０を配置する。より具体的には、ＶＲ側オブジェクト制御部９２０は、例えば、仮想空間１１中の店Ｂの前に、事象関連オブジェクト５０としての、音楽ライブに出演するキャラクタのオブジェクト（以下、「出演キャラクタ」という。）や、音楽ライブのステージのオブジェクト等を配置する。なお、ＶＲ側オブジェクト制御部９２０は、ＶＲユーザの指示（換言すると、ＶＲ側入力受付部９１６が受け付けるＶＲユーザからの入力（例えば、コントローラ２８０に対する操作））に基づいて事象関連オブジェクト５０を配置してもよい。また、ＶＲ側オブジェクト制御部９２０は、本サービスの運営者の指示に基づいて事象関連オブジェクト５０を配置してもよい。

【0245】

また、ＶＲ側オブジェクト制御部９２０は、事象関連オブジェクト５０（例えば、出演キャラクタ）を動かし、事象の進行を制御する（換言すると、イベントを進行させる）。なお、ＶＲ側オブジェクト制御部９２０は、ＶＲユーザの指示（換言すると、ＶＲ側入力受付部９１６が受け付けるＶＲユーザからの入力（例えば、コントローラ２８０に対する操作））に基づいて出演キャラクタを動かすなどしてもよい。また、出演キャラクタの動き等については予め用意されており、ＶＲ側オブジェクト制御部９２０は、予め用意されたデータを再生することにより出演キャラクタを動かすなどしてもよい。換言すると、出演キャラクタは、ＶＲアバター２５であってもよく、ノンプレイヤキャラクタ等であってもよい。

【0246】

すなわち、本実施形態の情報処理システム１００では、ＶＲシステム２００（換言すると、制御部３１０）は、自身のキャラクタ（例えば、ＶＲアバター２５）を操作して動き回ることが可能な仮想空間１１（換言すると、仮想の街Ａ）中において特定の位置（換言すると、仮想の店Ｂの前）にいるＶＲユーザ（換言すると、特定の位置にいるキャラクタを操作するＶＲユーザ）に対して、所定の事象としての音楽ライブに係るビューを提供する。ここで、当該ＶＲユーザは、音楽ライブの出演キャラクタを操作するユーザと異なるユーザ（換言すると、例えば、当該音楽ライブの観客等）であってもよく、同一のユーザ（換言すると、例えば、当該音楽ライブの演者等）であってもよい。

【0247】

事象関連オブジェクト５０には、所定の事象（換言すると、所定のイベント）に関連するオブジェクトであることを示す情報（換言すると、タグ）が付されている。また、事象関連オブジェクト５０には、事象関連オブジェクト５０の仮想空間中の位置（換言すると、座標）を示す位置情報が付されている。なお、事象関連オブジェクト５０の位置情報は、各事象関連オブジェクト５０に対して個別に付与されるものであってもよく、イベントに対してまとめて付与されるもの等であってもよい。

【0248】

ＭＲ側オブジェクト制御部８２０は、図１５に示すように、仮想空間１１中における事象関連オブジェクト５０が配置される位置に対応する複合現実空間２１中の位置に、当該事象関連オブジェクト５０に対応する仮想オブジェクトを配置する。ここで、当該事象関連オブジェクト５０に対応する仮想オブジェクト、すなわち仮想空間１１中の事象関連オブジェクト５０に対応する複合現実空間２１中の仮想オブジェクトとは、例えば、仮想空間１１中の事象関連オブジェクト５０と同じ形態を有するもの（換言すると、同じ物体を示すもの）であってもよく、異なる形態を有するものであってもよい。本実施形態では、複合現実空間２１には、仮想空間１１中の事象関連オブジェクト５０と同じ形態の事象関連オブジェクト５０（具体的には、音楽ライブの出演キャラクタや音楽ライブのステージ等）が配置される。

【0249】

また、ＭＲ側オブジェクト制御部８２０は、事象関連オブジェクト５０（例えば、出演キャラクタ）を動かし、複合現実空間２１において実行されるイベントを進行する。ここで、ＭＲ側オブジェクト制御部８２０によるイベントの進行（具体的には、出演キャラクタを動かす制御等）と、ＶＲ側オブジェクト制御部９２０によるイベントの進行（具体的には、出演キャラクタを動かす制御等）とは、連動している。すなわち、ＭＲ側オブジェクト制御部８２０は、仮想空間１１中で行われているイベントを複合現実空間２１に反映させる。換言すると、本実施形態では、仮想空間１１で起きている事象が、複合現実空間２１にもリアルタイムで反映される。具体的には、ＭＲ側オブジェクト制御部８２０は、複合現実空間２１中の事象関連オブジェクト５０が、仮想空間１１中の事象関連オブジェクト５０と同じ動きをするように制御する。なお、ここで「リアルタイムで反映」とは、事象の発生（換言すると、イベントの進行）に若干のずれがある場合を含み、また、仮想空間１１中の事象と複合現実空間２１中の事象とのどちらの進行が先行するものであってもよい。また、ここで「反映」とは、複合現実空間２１中の事象関連オブジェクト５０が、仮想空間１１中の事象関連オブジェクト５０と全く同じ動きをするものでなくてもよい。例えば、仮想空間１１における出演キャラクタの動きのうち、複合現実空間２１において表示される出演キャラクタには反映されない動きがあってもよい。換言すると、ＭＲシステム４００の制御部５１０は、ＶＲユーザに提供されるビューと同一の事象に係るものであると判別できるビューをＭＲユーザ６に提供するものとしてもよい。

【0250】

本実施形態では、仮想空間１１中の街Ａの店Ｂの前において音楽ライブが行われる場合に、複合現実空間２１中の街Ａの店Ｂの前で当該音楽ライブが行われる。すなわち、ＭＲ側オブジェクト制御部８２０は、仮想空間１１中の特定の位置で行われている所定の事象に係る事象関連オブジェクト５０を、当該特定の位置に対応する複合現実空間２１中の位置に配置するとともに、当該事象関連オブジェクト５０を、仮想空間１１中の動きに対応した動きをするように動かす。そして、表示制御部８４０は、ＭＲ側入力受付部８１６に入力される位置情報に応じて、当該位置情報の示す複合現実空間２１中の位置に配置された事象関連オブジェクト５０をＭＲ装置４１０のディスプレイ４１１に表示させる。具体的には、ＧＰＳセンサを用いて取得される位置情報（具体的には、ＭＲユーザ６の位置を示す位置情報）の入力を受け付けるＭＲ側入力受付部８１６に、ＭＲユーザ６が現実空間において店Ｂの前にいることを示す位置情報が入力される場合に、制御部５１０は、ディスプレイ４１１に、仮想空間１１中の店Ｂの前で行われている音楽ライブに係る事象関連オブジェクト５０を表示させる。これにより、現実空間の店Ｂの前に事象関連オブジェクト５０が配置された（換言すると、現実空間の店Ｂの前で仮想空間１１で行われる音楽ライブが実行される）複合現実空間２１のビューがＭＲユーザ６に提供される。すなわち、制御部５１０は、当該位置情報がＭＲユーザ６が仮想空間１１中の特定の位置に対応する現実空間中の位置にいることを示すときに、仮想空間１１中の当該特定の位置で行われている事象が反映された複合現実空間２１のビューをＭＲユーザ６に提供する。

【0251】

なお、制御部５１０は、ＭＲユーザ６が、現実空間において、当該特定の位置に対応する位置を訪れたことに基づいて、ＭＲユーザ６に特典を付与する特典付与部を備えていてもよい。特典は、例えば、特典を獲得したユーザがゲーム内（換言すると、サービス内）で使用可能な仮想オブジェクト（例えば、キャラクタが装備可能なアイテム等）であってもよく、現実空間中において現実の物体と交換可能な電子的チケット等であってもよく、サービス内においてユーザが所有する所定のポイント等であってもよい。また、「訪れたことに基づいて」とは、訪れたか否かを直接的に判定して特典を付与するものであってもよく、訪れることで実行可能な特定の行動（例えば、音楽ライブの視聴を開始した、終了した、あるいは所定時間以上行った、など）が行われた場合に特典を付与するもの等であってもよい。このような構成によれば、ＭＲユーザ６に対して、現実空間において、特定の位置に対応する位置を訪れる動機付けを与えることができる。

【0252】

このように、本実施形態においては、仮想空間１１中の特定の位置で起きている所定の事象が反映された複合現実空間２１のビューがＭＲユーザ６に提供されるが、所定の事象は音楽ライブに限らない。例えば、所定の事象は、特定のユーザが操作するキャラクタ（換言すると、所定の事象に関連する事象関連オブジェクト５０）が動く事象であってもよい。具体的には、例えば、ＶＲシステム２００が、街Ａを模した仮想空間１１中でキャラクタを動かすことができるゲームを提供するものとする。この場合に、ＶＲ側オブジェクト制御部９２０は、当該特定のユーザとしてのＶＲユーザの指示（換言すると、ＶＲ側入力受付部９１６が受け付けるＶＲユーザからの入力（例えば、コントローラ２８０に対する操作））に基づいて、街Ａを模した仮想空間１１中でキャラクタに所定のアクション（例えば、跳躍や走行等のアクション）を実行させる。また、ＭＲ側オブジェクト制御部８２０は、仮想空間１１中における当該キャラクタが配置される位置に対応する複合現実空間２１中の位置に、当該キャラクタを配置するとともに、仮想空間１１中での当該キャラクタのアクションと同様のアクションを複合現実空間２１中で実行させる。すなわち、この場合、例えば、街Ａを模した仮想空間１１上でキャラクタを動かすゲームを当該特定のユーザとしてのＶＲユーザがプレイしているときに、ＭＲユーザ６が現実空間において街Ａを訪れると、制御部５１０が、当該特定のユーザによって動かされているゲーム中（換言すると、仮想空間１１上）でのキャラクタの動きをＭＲ装置４１０のディスプレイ４１１を介して提供される複合現実空間２１のビューに反映させる。すなわち、本例においては、当該特定のユーザとしてのＶＲユーザのＶＲ装置２１０において当該特定のユーザに提供される仮想空間１１のビューと、現実空間において街ＡにいるＭＲユーザ６のＭＲ装置４１０において当該ＭＲユーザ６に提供される複合現実空間２１のビューとで、当該特定のユーザにより操作される仮想オブジェクトが同様の動きをする。このような構成によれば、ゲーム画面上におけるキャラクタの動きを、現実の街において再現することなどが可能となり、サービスの興趣性を向上させることができる。

【0253】

なお、仮想空間１１中の特定の位置で起きている所定の事象が反映された複合現実空間２１のビューの提供を受けられるＭＲユーザ６が限定されていてもよい。具体的には、記憶部５１１は、当該ビューの提供を受ける権利に関する情報（以下、「権利情報」という。）を記憶する権利情報記憶部として機能し、制御部５１０は、ＭＲユーザ６が当該権利を有する場合に当該ビューをＭＲユーザ６に提供し、当該権利を有しない場合に当該ビューをＭＲユーザ６に提供しないこととしてもよい。また、当該権利は、例えば、ＭＲユーザ６が対価を払うこと（例えば、現金の支払い、あるいはサービス内でのＭＲユーザ６の保有資産（例えば、仮想通貨等）の消費等）によりＭＲユーザ６に付与されるものであってもよい。具体的には、例えば、サービス内において、音楽ライブの視聴に係る権利を購入可能となっていてもよい。より具体的には、例えば、権利情報として、サービス内で購入可能な音楽ライブのチケットの有無に関する情報が記憶され、制御部５１０は、当該チケットを有するＭＲユーザ６が音楽ライブの視聴をすることができ、当該チケットを有しないＭＲユーザ６が音楽ライブの視聴をすることができないように制御してもよい。換言すると、権利情報として、当該ビューの提供を受ける権利に係るアイテム（例えば、チケット等）の保有に関する情報が記憶され、制御部５１０は、ＭＲユーザ６が当該アイテムを有している場合に、当該ビューをＭＲユーザ６に提供してもよい。なお、当該権利（換言すると、当該アイテム）は、サービス内における所定のミッションの達成等により得られるようにしてもよい。

【0254】

また、制御部５１０は、仮想空間１１中の特定の位置で起きている所定の事象であって、ＭＲユーザ６が複数のユーザの中から選択したＶＲユーザに関連する所定の事象が反映された複合現実空間２１のビューを当該ＭＲユーザ６に提供してもよい。換言すると、ＭＲ側入力受付部８１６は、ＭＲユーザ６による、複数のユーザのうちのいずれのユーザに関連する所定の事象を反映させるか選択する操作（例えば、コントローラ４８０に対する操作）に係る入力を受け付け、制御部５１０は、当該操作により選択されたＶＲユーザに関連する所定の事象を当該ＭＲユーザ６に提供されるビューに反映させてもよい。当該操作は、例えば、ＭＲユーザ６が、自身のフレンドの中から、事象の反映を受けるユーザを選択する操作であってもよい。また、全てのフレンドに関連する所定の事象が反映されるようになっており、当該操作は、他のユーザをフレンドとして登録する操作等であってもよい。換言すると、本実施形態のサービスでは、ＭＲユーザ６は、自身のフレンドに関連する所定の事象が反映された複合現実空間２１のビューの提供を受けることができるようになっていてもよい。また、例えば、当該操作は、複数のプレイヤの中から、プロのプレイヤ等のＭＲユーザ６が所定の事象の反映を受けたいユーザを選択する操作であってもよい。すなわち、例えば、制御部５１０は、ＭＲユーザ６が選択したプレイヤ（換言すると、特定のＶＲユーザ）が街Ａを模した仮想空間１１中でキャラクタを動かす前述のゲームをプレイしている場合に、当該プレイヤによって動かされているゲーム中（換言すると、仮想空間１１上）でのキャラクタの動きを当該ＭＲユーザ６に提供される複合現実空間２１のビューに反映させるなどしてもよい。換言すると、ＭＲユーザ６は、複数のユーザのうちの自身に関連付けられたユーザに関連する所定の事象が反映された複合現実空間２１のビューの提供を受けることができるようになっていてもよい。また、例えば、制御部５１０は、ＭＲユーザ６が選択した芸能人が仮想空間１１中でライブを行っている場合に、当該ライブを当該ＭＲユーザ６に提供される複合現実空間２１のビューに反映させるなどしてもよい。なお、特定のユーザに関連する事象が複数ある場合に、当該特定のユーザに関連する特定の事象を、反映を受ける事象として選択することが可能となっていてもよい。

【0255】

なお、このように、本実施形態のサービスでは、各ユーザ（例えば、ＭＲユーザ６やＶＲユーザ）は、他のユーザ（例えば、ＶＲユーザやＭＲユーザ６）をフレンドとして登録することができるようになっていてもよい。各ユーザは、例えば、コントローラ２８０，４８０に対する所定の操作に基づいて、自分以外の他のユーザをフレンドとして登録することができる。また、フレンドとして登録とは、あるユーザが、他のユーザを自分に関連付けることともいえる。また、フレンドとして登録とは、自分以外の特定のユーザを、ブックマークすることともいえる。フレンドとして登録とは、あるユーザ（具体的には、フレンド）に関する情報（例えば、ログイン状態に関する情報等）を他のユーザ（具体的には、非フレンド）に関する情報に比べて呼び出しやすい状態にしておくことともいえる。なお、あるユーザが他のユーザをフレンドとして登録しているが、当該他のユーザが当該あるユーザをフレンドとして登録していない状態が存在してもよい。すなわち、当該あるユーザが当該他のユーザを一方的にフォローしている状態が存在してもよい。また、当該あるユーザと当該他のユーザとが相互にフォローしている状態が存在してもよい。なお、一方的にフォローしている状態が存在しないこととしてもよい。換言すると、本実施形態において「フレンド」とは、あるユーザから見たときの、相互的なフォロー関係が成立している他のユーザのみを指すこととしてもよく、一方的なフォロー関係が成立している他のユーザを指すこととしてもよい。

【0256】

また、制御部５１０は、仮想空間１１中の特定の位置で行われている所定の事象であって、ＭＲユーザ６に設定された属性に対応する属性を有する所定の事象が反映された複合現実空間２１のビューを当該ＭＲ６ユーザに提供してもよい。具体的には、例えば、各ＭＲユーザ６にはユーザの趣味、嗜好に係る属性、より具体的には「音楽好き」や「お笑い好き」（あるいは「特定の芸能人が好き」）等の属性が付されるようになっていてもよい。そして、制御部５１０は、例えば、「音楽好き」という属性が付されたＭＲユーザ６に対しては、「音楽」という属性が付された所定の事象を反映させ、「音楽好き」という属性が付されていないＭＲユーザ６に対しては、「音楽」という属性が付された所定の事象を反映させないようにしてもよい。また、制御部５１０は、例えば、「お笑い好き」という属性が付されたＭＲユーザ６に対しては、「お笑い」という属性が付された所定の事象を反映させ、「お笑い好き」という属性が付されていないＭＲユーザ６に対しては、「お笑い」という属性が付された所定の事象を反映させないようにしてもよい。なお、ＭＲユーザ６に設定される属性は、各ＭＲユーザ６が自身で設定すること（例えば、コントローラ４８０を介しての自身の好みの入力等）が可能となっていてもよく、ＡＩ（Artificial Intelligence）によって自動的に（例えば、サービス内でのユーザの行動等に応じて）設定されるなどしてもよい。

【0257】

以上のように、制御部５１０は、仮想空間１１中で行われる複数の事象のうち、ＭＲユーザ６が選択した特定の事象（例えば、ＭＲユーザ６が選択した特定のユーザに関連する事象や、ＭＲユーザ６が設定した自身の属性に対応する属性を有する事象や、ＭＲユーザ６が購入したチケットに係る事象等）を、複合現実空間２１に反映させてもよい。換言すると、制御部５１０は、仮想空間１１中で行われる複数の事象のうち、ＭＲユーザ６が選択していない事象を、複合現実空間２１に反映させなくてもよい。このように、選択していない事象を複合現実空間２１に反映させない場合に、ユーザの選択に関わらず反映される事象が存在してもよい。換言すると、「選択していない事象を複合現実空間２１に反映させない」とは、選択がされている場合に複合現実空間２１への反映がされる事象であって、選択がされていない場合に複合現実空間２１への反映がされない事象が少なくとも１つ存在すればよい。なお、事象の選択は、ＭＲユーザ６が選択する特定の事象が発生（換言すると、開始）する前に行うことが可能となっていてもよく、当該特定の事象が発生した後（換言すると、行われている最中）に行うことが可能となっていてもよい。

【0258】

なお、事象が行われる仮想空間１１は、当該事象が反映される現実空間を模したものでなくてもよい。例えば、現実に存在する街Ａの店Ｂの前の広場に対応した領域を仮想空間１１内に用意し、当該領域で行われる所定の事象を、現実空間において当該広場にいるＭＲユーザ６のＭＲ装置４１０に反映させてもよい。この場合、対応関係記憶部としての記憶部６１１には、例えば、当該領域と当該広場との対応関係を示す情報を記憶させることができる。なお、第３の実施の形態で説明される、現実空間の事象が反映される仮想空間１１についても同様に、現実空間を模したものでなくてもよい。

【0259】

また、事象が行われる仮想空間１１は、当該事象が反映される現実空間の地形を模したものであって、景観の異なるものであってもよい。例えば、本実施形態において、仮想空間１１を、現実に存在する街Ａの地形を模したものであって、街並みの異なるものとしてもよい。具体的には、仮想空間１１を、過去（例えば、江戸時代）の街Ａに対応する地域を再現したものとし、再現した当該地域の各地点と、現実空間の現在の街Ａの各地点とが地図上の同じ場所（換言すると、同じ経緯度の場所）を指すように現実空間中の地点と仮想空間１１中の地点とを対応付けてもよい。そして、再現した当該地域の特定の位置で行われる所定の事象を、現実空間において当該特定の位置に対応する位置にいるＭＲユーザ６のＭＲ装置４１０に反映させてもよい。なお、第３の実施の形態で説明される、現実空間の事象が反映される仮想空間１１についても同様に、現実空間の地形を模したものであって、景観の異なるものであってもよい。

【0260】

なお、所定の事象に関する複合現実空間２１のビューは、透過型のディスプレイ４１１を介して見える現実空間に仮想オブジェクトを重畳させるＭＲ装置４１０により提供されるものでなくてもよく、例えば、カメラにより撮影される現実空間の画像に仮想オブジェクトを重畳させた画像をディスプレイ４１１に表示させるスマートフォン等により提供されてもよい。換言すると、複合現実空間２１のビューの提供は、例えば、透過型のディスプレイに事象関連オブジェクト５０を表示させることにより行われてもよく、現実空間を撮影した画像に事象関連オブジェクト５０を重畳させた画像をディスプレイに表示させることにより行われてもよい。さらに換言すると、現実空間を撮影した画像に仮想オブジェクトを重畳させた画像をディスプレイに表示させるスマートフォン等を含んで構成される所定のシステムが、ＭＲシステム４００の構成の少なくとも一部を有していてもよい。換言すると、本実施形態あるいは他の実施形態におけるＭＲシステム４００は、当該所定のシステム（例えば、スマートフォン等）であるものとして読み替えることが可能である。また、本明細書においては、当該所定のシステムのユーザもＭＲユーザ６に該当する。

【0261】

また、所定の事象に関する仮想空間１１のビューは、ＶＲ装置２１０としてのヘッドマウントディスプレイにより提供されるものでなくてもよく、例えば、ＰＣモニタやテレビ等に、仮想空間１１の画像を表示させることにより提供されてもよい。換言すると、ＰＣやゲーム装置、あるいはこれらの装置と所定のディスプレイとを含んで構成される所定のシステムが、ＶＲシステム２００の構成の少なくとも一部を有していてもよい。換言すると、本実施形態あるいは他の実施形態におけるＶＲシステム２００は、当該所定のシステムであるものとして読み替えることが可能である。また、本明細書においては、当該所定のシステムのユーザもＶＲユーザに該当する。

【0262】

［第３の実施形態］
次に、本発明の第３の実施形態について説明する。第３の実施形態の情報処理システム１００は、第１の実施形態または第２の実施形態で説明した内容を矛盾の生じない範囲で採用し得る。例えば、第３の実施形態の情報処理システム１００は、第１の実施形態の情報処理システムの構成の一部または全部を含み得る。また、第３の実施形態の情報処理システム１００は、第２の実施形態の情報処理システムの構成の一部または全部を含み得る。以下では、第１の実施形態または第２の実施形態において説明した事項については、説明を省略ないし簡略化する。

【0263】

以下では、情報処理システム１００が、現実空間で行われている事象が仮想空間１１に反映されるサービスに適用される場合を例に説明する。具体的には、以下では、現実空間の所定の場所（一例として、以下では「街Ａ」とする。）の特定の位置（一例として、以下では街Ａの「店Ｂの前」）で行われている事象（一例として、以下では「音楽ライブ」とする。）を、当該所定の場所を模した仮想空間１１中における当該特定の位置に対応する位置（ここでは、店Ｂの前（換言すると、店Ｂを模した仮想オブジェクトの前）とする。）で行う場合について説明する。すなわち、第２の実施形態においては、仮想空間１１において行われている事象が現実空間に反映されるのに対し、第３の実施形態においては、現実空間において行われている事象が仮想空間１１に反映される。なお、情報処理システム１００が、第２の実施形態に係る構成と第３の実施形態に係る構成との両方を備え、仮想空間１１において行われている事象が現実空間に反映されるとともに、現実空間において行われている事象が仮想空間１１に反映されるように構成してもよい。

【0264】

座標定義部８１２は、ＧＰＳセンサ（換言すると、位置検出手段）によって測定される座標と、仮想空間座標との対応関係（換言すると、現実空間中の地点と仮想空間１１中の地点との対応関係）に関する情報を対応関係記憶部としての記憶部６１１に記憶させる。換言すると、本実施形態では、現実空間（換言すると、複合現実空間）と仮想空間１１との位置の対応関係を示す情報が、対応関係記憶部に予め記憶されている。

【0265】

本実施形態では、図１６に示すように、特定の位置としての店Ｂの前には、検出装置４６０が配置されている。また、検出装置４６０は、カメラであり、現実空間における特定の位置としての店Ｂの前を撮影するようになっている。なお、店Ｂの前には複数の検出装置４６０（換言すると、カメラ）が配置されていてもよい。また、本実施形態における検出装置４６０（換言すると、カメラ）は、ＭＲユーザ６の動きを検出するためのものではなく、単に所定の事象についての撮影を行うためのものであってもよい。

【0266】

なお、本実施形態において、ＭＲシステム４００は、ＭＲ装置４１０を備えていてもよく、備えていなくてもよい。例えば、ＭＲシステム４００は、検出装置４６０とコンピュータ５００とを備えていてもよい。また、コンピュータ５００は、検出装置４６０の外部に設けられていてもよく、コンピュータ５００の一部または全体が検出装置４６０に内蔵されてもよい。換言すると、本実施形態あるいは他の実施形態におけるＭＲシステム４００は、本実施形態における店Ｂの前に設置された検出装置４６０としてのカメラであるものとして読み替えることが可能である。

【0267】

また、検出装置４６０は、ＧＰＳセンサを備え、検出装置４６０の位置を示す位置情報を取得可能となっている。また、ＭＲ側入力受付部８１６は、当該ＧＰＳセンサを用いて取得される位置情報の入力を受け付ける。すなわち、ＭＲ側入力受付部８１６は、特定の位置を示す位置情報の入力を受け付ける。なお、当該ＧＰＳセンサを用いて取得される位置情報は、検出装置４６０によって撮影される所定の事象が行われている位置を示す位置情報ともいえる。また、検出装置４６０がＭＲユーザ６等の所定の人物を撮影する場合（換言すると、当該所定の人物の動きを検出する場合）、当該ＧＰＳセンサを用いて取得される位置情報は、当該所定の人物の現在の位置を示す位置情報ともいえる。

【0268】

制御部３１０は、現実空間中の特定の位置で行われる所定の事象を仮想空間１１に反映させる。本実施形態では、当該所定の事象は、所定のイベント（具体的には、音楽ライブ）となっている。すなわち、制御部３１０は、現実の街Ａの店Ｂの前で行われている音楽ライブが仮想空間１１中の店Ｂの前でも行われるように制御する。

【0269】

具体的には、ＭＲ側入力受付部８１６（換言すると、制御部５１０）は、例えば、検出装置４６０としてのカメラが備えるイメージセンサによって撮影される画像を入力として受け付ける。ここでは、当該画像は、所定の事象としての音楽ライブを撮影した画像となっている。また、通信制御部８５０は、当該画像およびこの画像が取得された位置としての特定の位置を示す情報を通信制御部９５０に対して送り、制御部３１０は、図１６に示すように、これらの情報に基づいて、当該画像を仮想空間１１中の当該特定の位置に対応する位置（すなわち、店Ｂの前）に表示させる。換言すると、制御部３１０は、ＶＲユーザ（換言すると、ＶＲアバター２５）が仮想空間１１中において現実空間中の特定の位置に対応する位置にいる場合に、ディスプレイ２１１に当該画像（すなわち、当該特定の位置で行われている事象の画像）を表示させる。これにより、自身のキャラクタを操作して動き回ることが可能な仮想空間１１（換言すると、仮想の街Ａ）中において、当該特定の位置に対応する位置（換言すると、仮想の店Ｂの前）にいるＶＲユーザ（換言すると、特定の位置にいるキャラクタを操作するＶＲユーザ）に対して、現実空間の当該特定の位置で行われている事象に係るビューを提供することができる。すなわち、制御部３１０は、現実空間中の特定の位置に対応する仮想空間１１中の位置にＶＲユーザ（換言すると、ＶＲアバター２５）がいる場合に、所定のカメラにより撮影された所定の事象に関する画像に基づいて、現実空間中の当該特定の位置で行われている事象が反映された仮想空間１１のビューをＶＲユーザに提供する。これにより、当該ＶＲユーザは、現実空間において当該特定の位置にいる人と体験を共有することが可能となる。なお、本実施形態では、ＧＰＳセンサによって測定される座標と、仮想空間座標との対応関係に関する情報が、現実空間中の地点と仮想空間１１中の地点との対応関係を示す情報として対応関係記憶部に記憶されているが、例えば、特定の位置に設置された検出装置４６０を識別可能とする識別情報と、当該特定の位置に対応する仮想空間１１中の位置を示す座標との対応関係に関する情報が、現実空間中の地点と仮想空間１１中の地点との対応関係を示す情報として記憶されており、当該情報に基づいて特定の位置に対応する仮想空間１１中の位置での所定の事象の反映が行われる等してもよい。すなわち、検出装置４６０を識別可能とする識別情報が、特定の位置を示す情報として機能してもよい。

【0270】

なお、制御部３１０がディスプレイ２１１に表示させる所定の事象に係る画像は、所定のＭＲユーザ６が装着するＭＲ装置４１０のカメラ４１３によって撮影されてもよい。換言すると、ＭＲ装置４１０が本実施形態の検出装置４６０として機能してもよい。さらに換言すると、所定の事象が行われる特定の位置に係る位置情報を取得するためのＧＰＳセンサや、所定の事象に係る画像を取得するためのカメラは、ＭＲ装置４１０が備えるものであってもよい。また、この場合に、ＭＲ装置４１０を装着するＭＲユーザ６は、所定の事象としての所定のイベントの出演者等であってもよく、観客等であってもよい。また、位置情報の取得と所定の事象に係る画像の取得とが異なるＭＲ装置４１０（換言すると、異なるユーザの使用するＭＲ装置４１０）によって行われてもよい。

【0271】

なお、現実空間の特定の位置で行われる所定の事象の仮想空間１１への反映は、以下のように行われてもよい。すなわち、制御部３１０は、上述したように所定の事象を撮影した画像を表示させるのではなく、所定の事象に関する人物（ここでは、音楽ライブの出演者）のアバターに所定の事象に関する動作を行わせてもよい。具体的には、第１の実施の形態におけるＭＲユーザ６を当該人物と読み替え、ＭＲアバター２６としての当該人物のアバターを仮想空間１１上で動かしてもよい。すなわち、例えば、ＭＲ側入力受付部８１６は、当該人物の動きを検出する検出手段の出力を、当該人物からの入力として受け付ける。具体的には、例えば、ＭＲ側入力受付部８１６は、検出装置４６０としてのカメラが備えるイメージセンサによって撮影される画像から画像認識によって検出されるＭＲユーザ６の動きに関する情報を、当該人物からの入力として受け付けてもよい。また、ユーザ情報取得部８１８は、当該人物を識別可能とする識別情報を取得する。具体的には、ユーザ情報取得部８１８は、検出装置４６０が備えるイメージセンサによって撮影される画像から画像認識によって複合現実空間２１中のＭＲユーザ６を識別することで、当該識別情報を取得してもよい。そして、ＶＲ側オブジェクト制御部９２０は、現実空間中の特定の位置に対応する仮想空間１１中の位置に当該人物のアバター（換言すると、ＭＲアバター２６）を配置する。また、ＶＲ側オブジェクト制御部９２０は、例えば、ＭＲ側入力受付部８１６が受け付けた当該人物からの入力に基づいて、仮想空間１１中の当該人物のアバターを動かす。具体的には、ＶＲ側オブジェクト制御部９２０は、例えば、ＭＲ側入力受付部８１６が受け付けた、ＭＲユーザ６の動きに関する情報に基づいて、ＭＲアバター２６を動かす。すなわち、ＶＲ側オブジェクト制御部９２０は、仮想空間１１中の当該人物のアバターの動きが、現実空間中の当該人物の動きを検出する検出手段が検出する当該人物の動きを模したものとなるように、当該人物のアバターの動きを制御する。そして、これにより、現実空間の特定の位置で行われる所定の事象が仮想空間１１に反映されてもよい。このような構成によっても、現実空間中の特定の位置に対応する仮想空間１１中の位置にＶＲユーザ（換言すると、ＶＲアバター２５）がいる場合に、所定のカメラにより撮影された所定の事象に関する画像に基づいて、現実空間中の当該特定の位置で行われている事象が反映された仮想空間１１のビューをＶＲユーザに提供することができる。具体的には、所定のカメラにより撮影された人物のアバターによって所定の事象が再現される仮想空間１１のビューをＶＲユーザに提供することができる。

【0272】

なお、当該人物の動きの検出は、所定のＭＲユーザ６が装着するＭＲ装置４１０のカメラ４１３によって行われてもよく、コントローラ４８０、ＭＲユーザ６が身につけるデバイス、注視センサ４１２、センサ４１７、またはセンサ４８６等によって行われてもよい。また、ＭＲ装置４１０を装着するＭＲユーザ６は、所定の事象としての所定のイベントの出演者等であってもよく、観客等であってもよい。なお、所定のカメラが備えるイメージセンサによって撮影される画像から画像認識によって人物の動きを検出して仮想空間１１中のアバターに反映させる場合に、カメラに映る複数の人物のうち演者（換言すると、画像認識あるいはユーザの動きをトラッキング可能とする特定の機器の装着の有無等に基づいて識別される特定の人物）に対応するアバターのみが仮想空間１１中に現れるように（特定の人物以外の人物のアバターは現れないように）してもよく、カメラに映る全ての人物についてリアルタイムでアバター（換言すると、３Ｄモデル）を作成し全ての人物のアバターが仮想空間１１中に現れるようにしてもよい。

【0273】

なお、所定の事象が行われている特定の位置としての店Ｂの前にいるＭＲユーザ６（例えば、当該所定の事象の出演者または観客）のＭＲ装置４１０のディスプレイ４１１には、仮想空間１１において当該所定の事象を見るＶＲユーザのＶＲアバター２５が表示されてもよい。例えば、ＭＲ装置４１０の制御部５１０は、当該ＭＲ装置４１０のＭＲ側入力受付部８１６にＭＲユーザ６が特定の位置にいることを示す位置情報が入力されると、当該特定の位置に対応する仮想空間１１中の位置にいるＶＲアバター２５の情報を通信制御部８５０を介して取得し、当該ＶＲアバター２５をディスプレイ４１１に表示させてもよい。すなわち、制御部５１０は、ＭＲ側入力受付部８１６に入力される位置情報がＭＲユーザ６が前記特定の位置にいることを示すときに、当該特定の位置に対応する仮想空間中の位置にいるＶＲアバター２５の画像を前記ディスプレイに表示させてもよい。このような構成によれば、現実空間において所定の事象が行われている場所にいる人物が、仮想空間１１におけるＶＲユーザの反応を見ることができる。具体的には、例えば、現実空間において所定のライブ（例えば、音楽ライブやお笑いライブ等）が行われている場合に、ＭＲユーザ６としてのライブの出演者あるいは観客は、ＭＲ装置４１０のディスプレイ４１１を介してＶＲアバター２５（換言すると、仮想空間１１における観客）を視認することが可能となる。このため、ＭＲユーザ６としてのライブの出演者あるいは観客は、仮想空間１１も含めてどのぐらいの観客が集まっているかや、各観客がどのような反応をしているか等を視覚的に捉えることが可能となる。また、例えば、友人関係にあるＶＲユーザとＭＲユーザ６とが一緒に所定のイベントを視聴すること等が可能となる。

【0274】

この場合に、ＶＲアバター２５が表示されるＭＲ装置４１０と、所定の事象を撮影する装置（例えば、店Ｂの前に設置されたカメラあるいはＭＲ装置４１０）とは、別々の装置であってもよく、同じ装置（具体的には、ある１人のＭＲユーザ６が装着するＭＲ装置４１０）であってもよい。

【0275】

なお、所定の事象が起きている特定の位置にいるＭＲユーザ６に提供される複合現実空間２１のビューは、透過型のディスプレイ４１１を介して見える現実空間に仮想オブジェクト（具体的には、ＶＲアバター２５）を重畳させるＭＲ装置４１０により提供されるものでなくてもよく、例えば、カメラにより撮影される現実空間の画像に仮想オブジェクト（具体的には、ＶＲアバター２５）を重畳させた画像をディスプレイに表示させるスマートフォン等により提供されてもよい。すなわち、本実施形態に係る情報処理システム１００は、例えば、演者が現実空間における特定の位置で自身のスマートフォンを使用して自撮り撮影しながら所定のライブを行う場合に、当該スマートフォンのディスプレイに、当該特定の位置に対応する仮想空間１１中の位置にいるＶＲアバター２５（例えば、観客のアバター）を表示させるように構成すること等もできる。なお、この場合に、スマートフォン等のディスプレイには、現実空間の画像にＶＲアバター２５が重畳された複合現実空間２１の画像ではなく、ＶＲアバター２５のみが表示される画像や、背景を仮想空間１１（例えば、当該特定の位置に対応する仮想空間１１中の位置の画像）としたＶＲアバター２５の画像等が表示されてもよい。

【0276】

なお、制御部３１０は、ＶＲユーザ（換言すると、ＶＲアバター２５）が、仮想空間１１において、所定の事象が行われている特定の位置に対応する位置を訪れたことに基づいて、ＶＲユーザに特典を付与する特典付与部を備えていてもよい。特典は、例えば、特典を獲得したユーザがゲーム内（換言すると、サービス内）で使用可能な仮想オブジェクト（例えば、キャラクタが装備可能なアイテム等）であってもよく、現実空間中において現実の物体と交換可能な電子的チケット等であってもよく、サービス内においてユーザが所有する所定のポイント等であってもよい。また、「訪れたことに基づいて」とは、訪れたか否かを直接的に判定して特典を付与するものであってもよく、訪れることで実行可能な特定の行動（例えば、音楽ライブの視聴を開始した、終了した、あるいは所定時間以上行った。）が行われた場合に特典を付与するもの等であってもよい。このような構成によれば、ＶＲユーザに対して、仮想空間１１において、特定の位置に対応する位置を訪れる動機付けを与えることができる。

【0277】

なお、現実空間中の特定の位置で起きている所定の事象が反映された仮想空間１１のビューの提供を受けられるＶＲユーザが限定されていてもよい。具体的には、記憶部３１１は、当該ビューの提供を受ける権利に関する情報（以下、「権利情報」という。）を記憶する権利情報記憶部として機能し、制御部３１０は、ＶＲユーザが当該権利を有する場合に当該ビューをＶＲユーザに提供し、当該権利を有しない場合に当該ビューをＶＲユーザに提供しないこととしてもよい。また、当該権利は、例えば、ＶＲユーザが対価を払うこと（例えば、現金の支払い、あるいはサービス内でのＶＲユーザの保有資産（例えば、仮想通貨等）の消費等）によりＶＲユーザに付与されるものであってもよい。具体的には、例えば、サービス内において、音楽ライブの視聴に係る権利を購入可能となっていてもよい。より具体的には、例えば、権利情報として、サービス内で購入可能な音楽ライブのチケットの有無に関する情報が記憶され、制御部３１０は、当該チケットを有するＶＲユーザが音楽ライブの視聴をすることができ、当該チケットを有しないＶＲユーザが音楽ライブの視聴をすることができないように制御してもよい。換言すると、権利情報として、当該ビューの提供を受ける権利に係るアイテム（例えば、チケット等）の保有に関する情報が記憶され、制御部３１０は、ＶＲユーザが当該アイテムを有している場合に、当該ビューをＶＲユーザに提供してもよい。なお、当該権利（換言すると、当該アイテム）は、サービス内における所定のミッションの達成等により得られるようにしてもよい。

【0278】

また、制御部３１０は、現実空間中の特定の位置で起きている所定の事象であって、ＶＲユーザが複数のユーザの中から選択したＭＲユーザ６に関連する所定の事象が反映された仮想空間１１のビューを当該ＶＲユーザに提供してもよい。換言すると、ＶＲ側入力受付部９１６は、ＶＲユーザによる、複数のユーザのうちのいずれのユーザに関連する所定の事象を反映させるか選択する操作（例えば、コントローラ２８０に対する操作）に係る入力を受け付け、制御部３１０は、当該操作により選択されたＭＲユーザ６に関連する所定の事象を当該ＶＲユーザに提供されるビューに反映させてもよい。当該操作は、例えば、ＶＲユーザが、自身のフレンドの中から、事象の反映を受けるユーザを選択する操作であってもよい。また、全てのフレンドに関連する所定の事象が反映されるようになっており、当該操作は、他のユーザをフレンドとして登録する操作等であってもよい。換言すると、本実施形態のサービスでは、ＶＲユーザは、自身のフレンドに関連する所定の事象が反映された仮想空間１１のビューの提供を受けることができるようになっていてもよい。換言すると、ＶＲユーザは、複数のユーザのうちの自身に関連付けられたユーザに関連する所定の事象が反映された仮想空間１１のビューの提供を受けることができるようになっていてもよい。また、例えば、制御部３１０は、ＶＲユーザが選択した芸能人が現実空間中でライブを行っている場合に、当該ライブを当該ＶＲユーザに提供される仮想空間１１のビューに反映させるなどしてもよい。なお、特定のユーザに関連する事象が複数ある場合に、当該特定のユーザに関連する特定の事象を、反映を受ける事象として選択することが可能となっていてもよい。

【0279】

また、制御部３１０は、現実空間中の特定の位置で行われている所定の事象であって、ＶＲユーザに設定された属性に対応する属性を有する所定の事象が反映された仮想空間１１のビューを当該ＶＲユーザに提供してもよい。具体的には、例えば、各ＶＲユーザにはユーザの趣味、嗜好に係る属性、より具体的には「音楽好き」や「お笑い好き」（あるいは「特定の芸能人が好き」）等の属性が付されるようになっていてもよい。そして、制御部３１０は、例えば、「音楽好き」という属性が付されたＶＲユーザに対しては、「音楽」という属性が付された所定の事象を反映させ、「音楽好き」という属性が付されていないＶＲユーザに対しては、「音楽」という属性が付された所定の事象を反映させないようにしてもよい。また、制御部３１０は、例えば、「お笑い好き」という属性が付されたＶＲユーザに対しては、「お笑い」という属性が付された所定の事象を反映させ、「お笑い好き」という属性が付されていないＶＲユーザに対しては、「お笑い」という属性が付された所定の事象を反映させないようにしてもよい。なお、ＶＲユーザに設定される属性は、各ＶＲユーザが自身で設定すること（例えば、コントローラ２８０を介しての自身の好みの入力等）が可能となっていてもよく、ＡＩ（Artificial Intelligence）によって自動的に（例えば、サービス内でのユーザの行動等に応じて）設定されるなどしてもよい。

【0280】

以上のように、制御部３１０は、現実空間中で行われる複数の事象のうち、ＶＲユーザが選択した特定の事象（例えば、ＶＲユーザが選択した特定のユーザに関連する事象や、ＶＲユーザが設定した自身の属性に対応する属性を有する事象や、ＶＲユーザが購入したチケットに係る事象等）を、仮想空間１１に反映させてもよい。換言すると、制御部３１０は、現実空間中で行われる複数の事象のうち、ＶＲユーザが選択していない事象を、仮想空間１１に反映させなくてもよい。このように、選択していない事象を仮想空間１１に反映させない場合に、ユーザの選択に関わらず反映される事象が存在してもよい。換言すると、「選択していない事象を仮想空間１１に反映させない」とは、選択がされている場合に仮想空間１１への反映がされる事象であって、選択がされていない場合に仮想空間１１への反映がされない事象が少なくとも１つ存在すればよい。なお、事象の選択は、ＶＲユーザが選択する特定の事象が発生（換言すると、開始）する前に行うことが可能となっていてもよく、当該特定の事象が発生した後（換言すると、行われている最中）に行うことが可能となっていてもよい。

【0281】

なお、第２の実施形態の情報処理システム１００や、第３の実施の形態の情報処理システム１００は、現実空間と仮想空間との双方を利用して行うゲームに適用することもできる。以下に具体例を示す。

【0282】

（探索ゲーム）
例えば、情報処理システム１００を、仮想空間１１内を移動するキャラクタを現実世界で探すゲーム（以下、「探索ゲーム」という。）に適用してもよい。具体的には、例えば、まず、現実世界に存在するテーマパークを模した仮想空間１１（換言すると、テーマパークに対応する仮想空間１１）を用意する。また、ＶＲ側オブジェクト制御部９２０は、仮想空間１１内を動き回るように所定のキャラクタ（以下、「探索対象キャラクタ」という。換言すると、探索対象オブジェクト。）を移動させる。探索対象キャラクタは、ＶＲユーザによって操作されるもの（換言すると、ＶＲユーザの操作に基づいて移動するもの）であってもよく、ユーザの操作を介さずに移動するものであってもよい。換言すると、探索対象キャラクタは、ＶＲアバター２５であってもよく、いわゆるノンプレイヤキャラクタであってもよい。また、探索対象キャラクタの外見は、例えば、テーマパークに属するキャラクタ（例えば、テーマパークを象徴するキャラクタ等）の外見等であってもよい。

【0283】

ＭＲシステム４００（換言すると、制御部５１０）は、仮想空間１１中において探索対象キャラクタが存在する位置に対応する現実空間中の位置にＭＲユーザ６がいる場合に、ディスプレイ４１１に探索対象キャラクタを表示させる。換言すると、ＭＲシステム４００は、仮想空間１１中において探索対象キャラクタが存在する位置に対応する現実空間中の位置にＭＲユーザ６がいない場合には、ディスプレイ４１１に探索対象キャラクタを表示させない。すなわち、本探索ゲームは、仮想空間１１中を動き回る探索対象キャラクタを、現実空間中で探し回るゲームとなっている。

【0284】

また、ＭＲ側入力受付部８１６は、仮想空間１１中において探索対象キャラクタが存在する位置に対応する現実空間中の位置にＭＲユーザ６がいる状況（換言すると、ディスプレイ４１１に探索対象キャラクタが表示されている状況）において、ＭＲユーザ６による特定の操作に係る入力を受け付ける。当該特定の操作は、例えば、ディスプレイ４１１に映る探索対象キャラクタの写真を撮る操作（換言すると、画像を記憶する操作）であってもよい。換言すると、ここでの特定の操作とは、探索対象キャラクタを発見したことを示す情報の記憶に係る操作ともいえる。なお、ここでは、探索対象キャラクタを発見したことを示す情報は、探索対象キャラクタの写真となっているが、探索対象キャラクタを見つけることで立つフラグ等であってもよい。また、当該情報は、特定の操作を介さずに自動的に記憶されるものであってもよい。換言すると、探索対象キャラクタを発見したことを示す情報は、仮想空間１１中において探索対象キャラクタが存在する位置に対応する現実空間中の位置にＭＲユーザ６が訪れたことに基づいて記憶されるものであればよい。すなわち、制御部５１０は、現実空間中の当該位置にＭＲユーザ６が訪れたことに基づいて、操作対象キャラクタを発見したことを示す情報を記憶部５１１に記憶させる。

【0285】

また、制御部５１０は、現実空間中の当該位置にＭＲユーザ６が訪れたことに基づいて（換言すると、探索対象キャラクタを発見したことを示す情報が記憶されると）、ＭＲユーザに特典を付与する。当該特典は、仮想空間１１中において利用可能なアイテム等であってもよい。また、当該特典は、探索対象キャラクタを発見したことを示す電子的な証明書やトロフィー等であってもよい。また、当該特典は、現実空間中において（例えば、現実のテーマパークで）現実の物体（例えば、探索対象キャラクタのグッズ等）と交換可能な電子的チケット等であってもよい。

【0286】

また、本探索ゲームでは、ＶＲユーザからＭＲユーザ６に対して、捜索を手助けする情報を送信可能となっていてもよい。なお、当該ＶＲユーザは、捜索対象キャラクタを操作するユーザであってもよく、当該ユーザとは異なるユーザであってもよい。具体的には、例えば、当該ＶＲユーザは、仮想空間１１中において自身のＶＲアバター２５を操作し、テーマパークを模した仮想空間１１内で捜索対象キャラクタを捜索するようにする。また、ＶＲ側入力受付部９１６は、当該ＶＲユーザによる、捜索対象キャラクタの目撃情報（例えば、目撃した場所に関する情報。換言すると、捜索を手助けする情報。）をＭＲユーザ６に対して送る操作（例えば、コントローラ２８０に対する操作）に係る入力を受け付ける。また、制御部５１０は、当該目撃情報を通信制御部８５０を介して受け取り、当該目撃情報に基づいて、捜索の手助けとなる出力を所定の出力手段に実行させる。具体的には、例えば、制御部５１０は、仮想空間１１において捜索対象キャラクタが目撃された箇所を知らせる表示をディスプレイ４１１に表示させたり、捜索対象キャラクタが目撃された箇所を知らせる音をスピーカ４１６に出力させたりする。このような構成によれば、実際にテーマパークに行っているＭＲユーザ６と、実際にはテーマパークにいない（例えば、自宅等にいる）ＶＲユーザとで協力してゲームを楽しむこと等が可能となる。

【0287】

（サバイバルゲーム）
また、例えば、情報処理システム１００を、仮想空間１１内でプレイをするユーザと現実空間内でプレイするユーザとで対戦することが可能なサバイバルゲームに適用してもよい。具体的には、例えば、まず、現実空間側のユーザがプレイをする会場と、当該会場を模した仮想空間１１（換言すると、会場を模した仮想空間１１）を用意する。なお、当該会場は、いわゆるサバゲ―フィールドであってもよく、街中等の所定の領域であってもよい。また、現実空間側のユーザはＭＲ装置４１０を装着し、仮想空間１１側のユーザはＶＲ装置２１０を装着する。

【0288】

ＶＲシステム２００の制御部３１０は、ＶＲ側入力受付部９１６が受け付けたＶＲユーザからの入力に基づいて、当該ＶＲユーザのＶＲアバター２５を制御する。具体的には、制御部３１０は、ＶＲユーザからの入力に基づいてＶＲアバター２５を仮想空間１１中で移動させる。

【0289】

また、ＶＲシステム２００の制御部３１０は、ＭＲ側入力受付部８１６が受け付けたＭＲユーザ６からの入力を通信制御部９５０を介して受信し、ＭＲアバター２６を制御する。具体的には、制御部３１０は、ＭＲ装置４１０の備えるＧＰＳセンサ（換言すると、位置検出手段）によって取得される位置情報（すなわち、現実空間におけるＭＲユーザ６の位置を示す位置情報）に基づいて、ＭＲアバター２６を仮想空間１１中で移動させる。より具体的には、制御部３１０は、現実空間側の会場におけるＭＲユーザ６がいる位置に対応する仮想空間１１中の位置にＭＲアバター２６が位置するようにＭＲアバター２６を移動させる。すなわち、ＶＲ装置２１０のディスプレイ２１１においては、複合現実空間２１中におけるＭＲユーザ６がいる位置に対応する仮想空間１１中（換言すると、会場内）の位置に、ＭＲ６ユーザが存在しているように見える表示が提供される。なお、ＭＲユーザ６の位置をより正確に取得するために、ＭＲ装置４１０のセンサ４１７等を介してＭＲ装置４１０の高さ情報等を取得してもよい。

【0290】

また、ＭＲシステム４００の制御部５１０は、仮想空間１１中におけるＶＲアバター２５が配置される位置に対応する複合現実空間２１中の位置に、ＶＲアバター２５が位置するようにＶＲアバター２５を移動させる。すなわち、ＭＲ装置４１０のディスプレイ４１１においては、仮想空間中におけるＶＲユーザがいる位置に対応する複合現実空間２１中（換言すると、会場内）の位置に、ＶＲユーザが存在しているように見える表示が提供される。

【0291】

また、ＶＲ側入力受付部９１６は、ＶＲユーザによる、ＭＲユーザ６（換言すると、ＭＲアバター２６）に対する攻撃に係る入力を受け付ける。また、ＭＲ側入力受付部８１６は、ＭＲユーザ６による、ＶＲユーザ（換言すると、ＶＲアバター２５）に対する攻撃に係る入力を受け付ける。なお、これらのＶＲユーザまたはＭＲユーザ６による、相手方への攻撃は、例えば、相手方に対して銃を撃つものであってもよく、当該攻撃に係る入力操作は、銃の形のコントローラ２８０，４８０等を介して行われるようになっていてもよい。

【0292】

また、制御部３１０は、ＶＲユーザによるＭＲユーザ６に対する攻撃がＭＲユーザ６に当たったか否かを判定する。具体的には、制御部３１０は、例えば、ＶＲアバター２５の持つ銃がＭＲアバター２６に向けられた状態でＶＲユーザによる入力操作がされ、当該銃から放たれた弾がＭＲアバター２６に直撃した場合に、ＶＲユーザによる攻撃がＭＲユーザ６に当たったと判定する。また、制御部３１０は、ＭＲユーザ６によるＶＲユーザに対する攻撃がＶＲユーザに当たったか否かを判定する。具体的には、制御部３１０は、例えば、ＭＲアバター２６の持つ銃がＶＲアバター２５に向けられた状態でＭＲユーザ６による入力操作がされ、当該銃から放たれた弾がＶＲアバター２５に直撃した場合に、ＭＲユーザ６による攻撃がＶＲユーザに当たったと判定する。ここで、ＭＲアバター２６の持つ銃の向く方向は、例えば、ＭＲユーザ６の持つコントローラ４８０の向きと連動しており、ＭＲアバター２６の銃の照準は、ＭＲユーザ６が複合現実空間２１中においてコントローラ４８０の照準を合わせている位置と対応する仮想空間１１中の位置に合わせられるようになっている。すなわち、制御部３１０は、ＭＲユーザ６が複合現実空間２１中において銃の形のコントローラ４８０でＶＲアバター２５に対して照準を合わせた状態で入力操作を行った場合に、ＭＲユーザ６による攻撃がＶＲユーザに当たったと判定する。なお、ＶＲユーザによるＭＲユーザ６に対する攻撃については、通常のシューティングゲームと同様とすることができる。なお、ＭＲユーザ６によるＶＲユーザへの攻撃あるいはＶＲユーザによるＭＲユーザ６への攻撃についての判定の一部あるいは全部が、制御部５１０または制御部６１０等によって行われてもよい。換言すると、ＭＲユーザ６によるＶＲユーザへの攻撃についての判定を行う判定部や、ＶＲユーザによるＭＲユーザ６への攻撃についての判定を行う判定部は、制御部３１０、制御部５１０および制御部６１０のいずれによって実現されてもよい。

【0293】

なお、ここでは、ＶＲユーザとＭＲユーザ６とが敵として戦う場合を例に説明したが、当該サバイバルゲーム（換言すると、対戦ゲーム）では、ＶＲユーザとＭＲユーザ６とが協力してプレイすることが可能となっていてもよい。すなわち、例えば、複数のユーザで構成される複数のチーム（例えば、２つのチーム）で対戦することが可能なサバイバルゲームとした場合に、当該複数のチームのうちの１のチームがＶＲユーザ（換言すると、仮想空間１１側のユーザ）のみで構成され、他の１のチームがＭＲユーザ６（換言すると、現実空間側のユーザ）のみで構成されてもよい。また、１のチームにＶＲユーザとＭＲユーザ６との両方が含まれ得るようになっていてもよい。

【0294】

（脱出ゲーム）
また、例えば、情報処理システム１００を、現実空間側のユーザと仮想空間１１側のユーザとが協力してプレイする脱出ゲーム（換言すると、謎解きゲーム）に適用してもよい。具体的には、例えば、まず、現実空間側のユーザがプレイをする会場と、当該会場を模した仮想空間１１（換言すると、会場を模した仮想空間１１）を用意する。なお、当該会場は、街中等の所定の領域であってもよく、特定の施設等であってもよい。また、現実空間側のユーザはＭＲ装置４１０を装着し、仮想空間１１側のユーザはＶＲ装置２１０を装着する。

【0295】

ＭＲ装置４１０を装着したユーザとＶＲ装置２１０を装着したユーザとは、設定されたミッションを協力して達成する。具体的には、ＭＲ装置４１０とＶＲ装置２１０とは、それぞれ対応する位置にミッションに係る仮想オブジェクトを表示させる。当該仮想オブジェクトは、例えば、ＶＲユーザとＭＲユーザ６とが協力して行うアクションの受付に係るオブジェクトであってもよい。具体的には、ＶＲユーザがＶＲ装置２１０に表示される当該仮想オブジェクトとしての所定の装置に対して所定のアクション（例えば、手をかざす操作）を行い、ＭＲユーザ６がＭＲ装置４１０に表示される当該仮想オブジェクトとしての所定の装置に対して所定のアクション（例えば、手をかざす操作。なお、当該アクションはＶＲユーザが行うアクションと同様であってもよく、異なっていてもよい。）を行うと、当該所定の装置が起動する（換言すると、ゲーム（イベント）が進行する）等のようになっていてもよい。また、当該仮想オブジェクトは、例えば、宝箱等のＶＲユーザまたはＭＲユーザ６の少なくとも一方が取得可能なアイテムに関するものであってもよい。また、当該仮想オブジェクトは、謎解きに関する記載を含む（例えば、謎についての文章や、謎解きのヒントなどが記された）オブジェクト等であってもよい。

【0296】

また、このような情報処理システム１００を用いて実行されるゲームであって、ＭＲユーザ６とＶＲユーザとが協力してプレイするゲーム等において、ＭＲユーザ６とＶＲユーザとの一方がゲームの進行に係る第１の行動を行ったことを条件として、他方によるゲームの進行に係る第２の行動が可能となるようにしてもよい。この場合に、例えば、第１の行動は、当該一方のユーザしか行うことができず、当該他方のユーザが行うことはできない行動とする。また、例えば、第２の行動は、当該他方のユーザしか行うことができず、当該一方のユーザが行うことはできない行動とする。具体的には、例えば、ＭＲシステム４００（換言すると、制御部５１０）が、ＭＲユーザ６が現実空間において特定の場所を訪れたことを検出すると（例えば、当該特定の場所を訪れたことを示すＧＰＳ情報がＭＲ側入力受付部８１６に入力されると）、ＶＲシステム２００（換言すると、制御部３１０）が、ＶＲユーザによる第２の行動に係る入力を受け付けるなどしていてもよい。換言すると、ＶＲユーザによる第２の行動は、ＭＲユーザ６が現実空間において特定の場所を訪れたことに基づいて実行可能となる行動であってもよい。また、例えば、ＶＲシステム２００（換言すると、制御部３１０）が、ＶＲユーザが仮想空間１１において特定の場所を訪れたことを検出すると、ＭＲシステム４００（換言すると、制御部５１０）が、ＭＲユーザ６による第２の行動に係る入力を受け付けるなどしてもよい。換言すると、ＭＲユーザ６による第２の行動は、ＶＲユーザが仮想空間１１において特定の場所を訪れたことに基づいて実行可能となる行動であってもよい。また、例えば、ＭＲユーザ６が現実空間においてＭＲ装置４１０としてのスマートフォンのカメラを現実空間の特定の場所に向けている間だけＶＲ装置２１０がゲームの進行に係る所定の表示（例えば、謎解きに係るヒントの表示など）をディスプレイ２１１に表示させるなどしてもよい。また、仮想空間１１を複合現実空間２１の過去を表すものとし、ＶＲシステム２００は仮想空間１１（換言すると、過去）でのＶＲユーザによる第１の行動としての所定の行動（例えば、仮想空間１１中の特定の位置にアイテムを配置する行動）に係る入力を受け付けてもよい。そして、仮想空間１１（換言すると、過去）でＶＲユーザが第１の行動を行うと、ＭＲシステム４００は現実空間（換言すると、現在）でのＭＲユーザ６による第２の行動としての所定の行動（例えば、当該特定の位置に対応する複合現実空間２１中の位置に行き、当該アイテムを発見する行動）に係る入力を受け付け、当該入力に基づいてゲーム（換言すると、イベント）を進行させることが可能となるように構成してもよい。

【0297】

なお、本発明は、上述した実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変形して実施できる。本発明はその発明の範囲内において、各構成要素の自由な組み合わせ、任意の構成要素の変形、または任意の構成要素の省略等が可能である。また、本明細書において説明した処理の流れはあくまで一例であり、各処理の順序や構成は異なるものであってもよい。

【0298】

＜付記＞
以上の実施形態で説明した事項は、以下の付記のようにも記載され得る。

【0299】

（付記１）
仮想空間のビューである第１のビューを第１ユーザに提供する第１制御手段（例えば、制御部３１０）と、
現実空間に仮想オブジェクトが配置された複合現実空間のビューである第２のビューを第２ユーザに提供する第２制御手段（例えば、制御部５１０）と、
前記現実空間における前記第２ユーザの現在の位置を示す位置情報を受け付ける入力受付手段（例えば、ＭＲ側入力受付部８１６）と、
前記現実空間と前記仮想空間との位置の対応関係を示す情報を記憶する対応関係記憶手段（例えば、記憶部６１１）と、を備え、
前記第１制御手段は、前記仮想空間中の特定の位置で行われている所定の事象に関する前記第１のビューを前記第１ユーザに提供し、
前記第２制御手段は、
前記位置情報に応じた前記第２のビューを前記第２ユーザに提供し、
前記位置情報が前記第２ユーザが前記特定の位置に対応する位置にいることを示すときに、前記仮想空間中の前記特定の位置で行われている前記所定の事象が反映された前記第２のビューを前記第２ユーザに提供する
情報処理システム。
このような構成によれば、第２ユーザが現実空間における所定の位置にいる場合に、当該所定の位置に対応する仮想空間中の特定の位置で行われている所定の事象が反映された複合現実空間のビューを第２ユーザに提供することが可能となる。したがって、仮想空間中の特定の位置で行われている事象を、現実空間中の当該特定の位置に対応する位置でも見られるようにすることができる。したがって、仮想空間の用途の幅が広がる。

【0300】

（付記２）
前記第１制御手段は、前記第１ユーザの操作に基づいて前記所定の事象に関連する仮想オブジェクトを前記仮想空間中で動かし、
前記第２制御手段は、前記第１ユーザの操作によって動かされている仮想オブジェクトの動きを前記第２のビューに反映させ、前記所定の事象が反映された前記第２のビューを前記第２ユーザに提供する
付記１に記載の情報処理システム。
このような構成によれば、第２ユーザは、第１ユーザが仮想空間中で動かす仮想オブジェクトが動いている様子を、現実空間において見ることが可能となる。したがって、ユーザにこれまでにない体験を提供することが可能となり、仮想空間の用途の幅が広がる。

【0301】

（付記３）
前記第２ユーザが、前記現実空間において、前記特定の位置に対応する位置を訪れたことに基づいて、前記第２ユーザに特典を付与する特典付与手段（例えば、制御部５１０）を備える
付記１に記載の情報処理システム。
このような構成によれば、仮想空間中で行われている所定の事象が反映される現実空間中の位置を訪れた第２ユーザに対して特典を付与することができる。したがって、第２ユーザに対して、現実空間において、特定の位置に対応する位置を訪れる動機付けを与えることができ、仮想空間の用途の幅が広がる。

【0302】

（付記４）
前記第２のビューに反映される前記所定の事象は、前記仮想空間中で行われる複数の事象の中から前記第２ユーザが選択した事象である
付記１～３のいずれか１つに記載の情報処理システム。
このような構成によれば、反映させる事象を、複数の事象の中から第２ユーザが自身で選択することが可能となる。したがって、第２ユーザに提供される複合現実空間において、反映される事象が多くなり過ぎて処理が重くなり過ぎたり、第２ユーザの視界が煩雑となってしまったりすることを防止すること等ができる。

【0303】

（付記５）
前記所定の事象が反映された前記第２のビューの提供を受ける権利に関する情報を記憶する権利情報記憶手段（例えば、記憶部５１１）を備え、
前記権利は、対価を払うことで前記第２ユーザに付与され、
前記第２制御手段は、前記第２ユーザが前記権利を有する場合に、前記所定の事象が反映された前記第２のビューを前記第２ユーザに提供する
付記１～３のいずれか１つに記載の情報処理システム。
このような構成によれば、現実空間において所定の事象を見ようとする第２ユーザに対して対価を求めることが可能となる。したがって、仮想空間の用途の幅が広がる。

【0304】

（付記６）
前記第２制御手段は、前記第２ユーザが複数のユーザの中から選択した前記第１ユーザに関連する前記所定の事象が反映された前記第２のビューを前記第２ユーザに提供する
付記１～３のいずれか１つに記載の情報処理システム。
このような構成によれば、第２ユーザは、情報処理システムを利用する複数のユーザのうちのいずれのユーザに関連する事象の反映を受けるかを選択することが可能となる。したがって、仮想空間の用途の幅が広がる。

【0305】

（付記７）
前記第２制御手段は、前記第２ユーザに設定された属性に対応する属性を有する前記所定の事象が反映された前記第２のビューを前記第２ユーザに提供する
付記１～３のいずれか１つに記載の情報処理システム。
このような構成によれば、第２ユーザの属性に応じて、そのユーザに適した事象の反映されたビューを提供することが可能となる。したがって、仮想空間の用途の幅が広がる。

【0306】

（付記８）
仮想空間のビューである第１のビューを第１ユーザに提供する第１制御手段（例えば、制御部３１０）と、
現実空間に仮想オブジェクトが配置された複合現実空間のビューである第２のビューを第２ユーザに提供する第２制御手段（例えば、制御部５１０）と、
前記現実空間における前記第２ユーザの現在の位置を示す位置情報を受け付ける入力受付手段（例えば、ＭＲ側入力受付部８１６）と、
前記現実空間と前記仮想空間との位置の対応関係を示す情報を記憶する対応関係記憶手段（例えば、記憶部６１１）と、を備える情報処理システムのコンピュータを、前記第２制御手段として機能させるプログラムであって、
前記第１制御手段は、前記仮想空間中の特定の位置で行われている所定の事象に関する前記第１のビューを前記第１ユーザに提供し、
前記第２制御手段は、
前記位置情報に応じた前記第２のビューを前記第２ユーザに提供し、
前記位置情報が前記第２ユーザが前記特定の位置に対応する位置にいることを示すときに、前記仮想空間中の前記特定の位置で行われている前記所定の事象が反映された前記第２のビューを前記第２ユーザに提供する
プログラム。
このような構成によれば、付記１に記載の情報処理システムと同様の作用効果を奏することができる。

【符号の説明】

【0307】

１１ 仮想空間、２１ 複合現実空間、２５ ＶＲアバター、２６ ＭＲアバター、３０ 仮想模型、３５ 黒板、３６ 仮想黒板、５０ 事象関連オブジェクト、１００ 情報処理システム、２００ ＶＲシステム、２１０ ＶＲ装置、２１１ ディスプレイ、２１２ 注視センサ、２１３ 第１カメラ、２１４ 第２カメラ、２１５ マイク、２１６ スピーカ、２１７ センサ、２６０ 検出装置、２７０ ディスプレイ、２８０ コントローラ、２８６ センサ、３００ コンピュータ、３０１ プロセッサ、３０２ メモリ、３０３ ストレージ、３０４ 入出力インターフェース、３０５ 通信インターフェース、３１０ 制御部、３１１ 記憶部、４００ ＭＲシステム、４１０ ＭＲ装置、４１１ ディスプレイ、４１２ 注視センサ、４１３ カメラ、４１５ マイク、４１６ スピーカ、４１７ センサ、４６０ 検出装置、４７０ ディスプレイ、４８０ コントローラ、４８６ センサ、５００ コンピュータ、５０１ プロセッサ、５０２ メモリ、５０３ ストレージ、５０４ 入出力インターフェース、５０５ 通信インターフェース、５１０ 制御部、５１１ 記憶部、６００ サーバ、６０１ プロセッサ、６０２ メモリ、６０３ ストレージ、６０４ 入出力インターフェース、６０５ 通信インターフェース、６１０ 制御部、６１１ 記憶部、７００ 外部機器、８１０ 仮想空間生成部、８１２ 座標定義部、８１６ ＭＲ側入力受付部、８１８ ユーザ情報取得部、８２０ ＭＲ側オブジェクト制御部、８４０ 表示制御部、８４５ 音制御部、８５０ 通信制御部、９１６ ＶＲ側入力受付部、９２０ ＶＲ側オブジェクト制御部、９３０ 仮想カメラ制御部、９４０ 表示制御部、９４５ 音制御部、９５０ 通信制御部

【要約】      （修正有）

【課題】仮想空間の用途の幅を広げる情報処理システム及びプログラムを提供する。
【解決手段】情報処理システムは、仮想空間のビューである第１のビューを第１ユーザに提供する制御部３１０と、現実空間に仮想オブジェクトが配置された複合現実空間のビューである第２のビューを第２ユーザに提供する制御部５１０と、現実空間における第２ユーザの現在の位置を示す位置情報の入力を受け付けるＭＲ側入力受付部８１６と、現実空間中の地点と仮想空間中の地点との対応関係を示す情報を記憶する記憶部６１１と、を備え、制御部３１０は、仮想空間中の特定の位置で行われている所定の事象に関する第１のビューを第１ユーザに提供し、制御部５１０は、位置情報が第２ユーザが特定の位置に対応する位置にいることを示すときに、位置情報に応じた仮想空間中の特定の位置で行われている所定の事象が反映された第２のビューを第２ユーザに提供する。
【選択図】図９

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】