特許7138392 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社ＡＢＡＬの特許一覧

特許7138392仮想空間体感システム

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2022-09-08

(45)【発行日】2022-09-16

(54)【発明の名称】仮想空間体感システム

(51)【国際特許分類】

G06T 19/00 20110101AFI20220909BHJP

G06F 3/01 20060101ALI20220909BHJP

G06F 3/04815 20220101ALI20220909BHJP

G06F 3/0346 20130101ALI20220909BHJP

【ＦＩ】

G06T19/00 300B

G06F3/01 570

G06F3/04815

G06F3/0346 422

G06T19/00 600

【請求項の数】 1

(21)【出願番号】P 2022529032

(86)(22)【出願日】2021-08-11

(86)【国際出願番号】 JP2021029641

【審査請求日】2022-05-24

【早期審査対象出願】

(73)【特許権者】

【識別番号】321001355

【氏名又は名称】株式会社ＡＢＡＬ

(74)【代理人】

【識別番号】110000800

【氏名又は名称】特許業務法人創成国際特許事務所

(72)【発明者】

【氏名】尾小山良哉

【審査官】山口大志

(56)【参考文献】

【文献】特開２０２０－０１７２４４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ１９／００

Ｇ０６Ｆ３／０１

Ｇ０６Ｆ３／０４８１５

Ｇ０６Ｆ３／０３４６

(57)【特許請求の範囲】

【請求項1】

第１ユーザ及び第２ユーザを含む複数のユーザが存在する現実空間に対応する第１仮想空間、及び、前記第１仮想空間とは独立し、前記現実空間に対応する第２仮想空間を含む複数の仮想空間を生成する仮想空間生成部と、
前記第１ユーザに対応する第１アバター、前記第２ユーザに対応する第２アバター、及び、前記第１ユーザ又は前記第２ユーザに対応し、前記第１アバター及び前記第２アバターとは独立したアバターであるゴーストを含む複数のアバターを、前記第１仮想空間又は前記第２仮想空間に生成するアバター生成部と、
前記現実空間における前記第１ユーザ及び前記第２ユーザの動作を認識するユーザ動作認識部と、
前記第１ユーザの動作に基づいて、前記仮想空間における前記第１アバターの制御を決定するとともに、前記第２ユーザの動作に基づいて、前記仮想空間における前記第２アバターの動作を制御するアバター動作制御部と、
前記仮想空間における前記第１アバター及び前記第２アバターの環境を決定するアバター環境決定部と、
前記１アバターの環境に基づいて、前記１ユーザに認識させる前記仮想空間の環境を決定するとともに、前記第２アバターの環境に基づいて、前記第２ユーザに認識させる前記仮想空間の環境を決定するユーザ環境決定部と、
所定のトリガーイベントを認識するトリガーイベント認識部と、
前記第１ユーザ及び前記第２ユーザに、前記仮想空間の環境を認識させる環境出力器とを備えている仮想空間体感システムにおいて、
前記所定のトリガーイベントは、前記第１ユーザ及び前記第２ユーザの一方に対応する前記ゴーストに対し、前記第１アバター及び前記第２アバターのうち前記第１ユーザ及び前記第２ユーザの他方に対応するアバターが実行する所定の動作であり、
前記所定のトリガーイベントが認識される以前には、
前記アバター生成部は、前記第１アバターを、前記第１仮想空間及び前記第２仮想空間の一方の仮想空間に生成し、前記第２アバターを、前記第１仮想空間及び前記第２仮想空間の他方の仮想空間に生成し、前記第１ユーザ及び前記第２ユーザの一方に対応する前記ゴーストを、前記第１仮想空間又は前記第２仮想空間のうち前記第１アバター及び前記第２アバターの他方の存在している仮想空間に生成し、
前記アバター環境決定部が、該一方の仮想空間に基づいて、前記第１アバターの環境を決定するとともに、該他方の仮想空間に基づいて、前記第２アバターの環境を決定し、
前記所定のトリガーイベントが認識された以後には、
前記アバター生成部は、前記第１アバター及び前記第２アバターを、前記第１仮想空間及び前記第２仮想空間の一方の仮想空間に生成し、
前記アバター環境決定部が、該一方の仮想空間に基づいて、前記第１アバターの環境を決定するとともに、該一方の仮想空間に基づいて、前記第２アバターの環境を決定することを特徴とする仮想空間体感システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、サーバ等に生成された仮想空間にユーザ自身が存在していると認識させるための仮想空間体感システム、及び、現実空間に仮想のオブジェクトを存在させた複合空間を認識させるための複合空間体感システムに関する。

【背景技術】

【0002】

従来、サーバ等で仮想空間を生成し、ヘッドマウントディスプレイ（以下、「ＨＭＤ」ということがある。）を介して、その仮想空間の画像をユーザに認識させ、ユーザ自身がその仮想空間に存在していると認識させる仮想空間体感システムがある。

【0003】

この種の仮想空間体感システムは、モーションキャプチャー装置等によってユーザの現実空間における動作（例えば、座標の移動、向きを含む姿勢の変化等）を認識し、その認識した動作に応じて、ユーザに対応するアバターを仮想空間で動作させるものがある（例えば、特許文献１参照）。

【0004】

特許文献１に記載の仮想空間体感システムでは、複数のユーザの各々に対応するようにして、同時に同一の仮想空間に複数のアバターを生成している。そして、この仮想空間体感システムでは、各ユーザに認識させる仮想空間の画像は、自らに対応したアバターの座標に基づいて決定される。すなわち、同時に同一の仮想空間を体感している場合であっても、ユーザごとに視認している仮想空間の画像は異なる。ひいては、体感している仮想空間の環境も異なる。

【0005】

また、仮想空間体感システムとしては、特許文献１に記載の仮想空間体感システムの他に、その仮想空間体感システムを同時に使用している複数のユーザの各々に、異なる仮想空間を体感させるものも提案されている。

【0006】

例えば、ユーザ同士で通信可能な状態を維持したまま、一方のユーザに対応するアバターを第１の仮想空間（例えば、海の仮想空間）に存在させて、そのユーザに第１の仮想空間を体感させるとともに、他方のユーザに対応するアバターを第２の仮想空間（例えば、山の仮想空間）に存在させて、そのユーザに第２の仮想空間を体感させるものなどが提案されている。

【0007】

また、近年、現実空間に仮想のオブジェクトを存在させるとともに、その仮想のオブジェクトに対して現実空間に存在するユーザが影響を与えること（例えば、そのオブジェクトを移動させること等）の可能な複合空間を生成し、その複合空間をユーザに体感させる複合空間体感システムが提案されている。

【0008】

そのような複合空間体感システムを同時に複数のユーザで使用する場合において、複合空間に存在させる仮想のオブジェクトは、必ずしもユーザの全てで共通のものにする必要はなく、各ユーザで異なっていてもよい。すなわち、同一の複合空間体感システムを使用する場合においても、ユーザごとに、存在する仮想のオブジェクトが異なる複合空間を体感できるように構成されていてもよい。

【先行技術文献】

【特許文献】

【0009】

【文献】特開２０１０－２５７４６１号公報

【発明の概要】

【発明が解決しようとする課題】

【0010】

ところで、複数のユーザが同時に仮想空間又は複合空間を体感しており、且つ、ユーザごとに体感している仮想空間又は複合空間の環境が異なっている場合、一方のユーザが、他方のユーザが体感している環境を、自らが体感したいと考える場合がある。逆に、一方のユーザが、自らの体感している環境を、他方のユーザにも体感してほしいと考える場合もある。

【0011】

本発明は以上の点に鑑みてなされたものであり、仮想空間又は複合空間で、異なる環境を体感していた複数のユーザが、同様の環境を互いに体感することができるようになる仮想空間体感システム及び複合空間体感システムを提供することを目的とする。

【課題を解決するための手段】

【0012】

第１発明の仮想空間体感システムは、
第１ユーザ及び第２ユーザを含む複数のユーザが存在する現実空間に対応する仮想空間を生成する仮想空間生成部と、
前記第１ユーザに対応する第１アバター、及び、前記第２ユーザに対応する第２アバターを含む複数のアバターを、同一の前記仮想空間に生成するアバター生成部と、
前記現実空間における前記第１ユーザ及び前記第２ユーザの動作を認識するユーザ動作認識部と、
前記第１ユーザの動作に基づいて、前記仮想空間における前記第１アバターの動作を制御するとともに、前記第２ユーザの動作に基づいて、前記仮想空間における前記第２アバターの動作を制御するアバター動作制御部と、
前記仮想空間における前記第１アバター及び前記第２アバターの環境を決定するアバター環境決定部と、
前記１アバターの環境に基づいて、前記１ユーザに認識させる環境を決定するとともに、前記第２アバターの環境に基づいて、前記第２ユーザに認識させる環境を決定するユーザ環境決定部と、
所定のトリガーイベントを認識するトリガーイベント認識部と、
前記第１ユーザ及び前記第２ユーザに、前記仮想空間の環境を認識させる環境出力器とを備えている仮想空間体感システムにおいて、
前記所定のトリガーイベントが認識される以前には、
前記アバター動作制御部が、前記ユーザの動作に対する該ユーザに対応する前記アバターの動作を規定する特性である第１特性、及び、前記第１特性とは異なる特性であり、前記ユーザの動作に対する該ユーザに対応する前記アバターの動作を規定する特性である第２特性の一方の特性を、前記第１アバターに付与したうえで、該第１アバターの動作を制御するとともに、前記第１特性及び第２特性の他方の特性を、前記第２アバターに付与したうえで、該第２アバターの動作を制御し、
前記アバター環境決定部が、前記一方の特性を付与された該第１アバターの動作に基づいて、該第１アバターの環境を決定するとともに、前記他方の特性を付与された該第２アバターの動作に基づいて、該第２アバターの環境を決定し、
前記所定のトリガーイベントが認識された以後には、
前記アバター動作制御部が、前記第１特性及び前記第２特性の一方の特性を、前記第１アバター及び前記第２アバターに付与したうえで、該第１アバターの動作及び該第２アバターの動作を制御し、
前記アバター環境決定部が、前記一方の特性を付与された該第１アバターの動作に基づいて、該第１アバターの環境を決定するとともに、前記一方の特性を付与された該第２アバターの動作に基づいて、該第２アバターの環境を決定することを特徴とする。

【0013】

ここで、アバターの「環境」とは、仮想空間において、アバターに対して影響を与えるものを指す。例えば、仮想空間に存在しているオブジェクトの状態、仮想空間における物理的な法則（時間の流れる速さ、重力の大きさ等）等である。また、ユーザに「認識させる環境」とは、そのユーザに五感によって認識させる仮想空間の環境を指す。例えば、ユーザの環境とは、ユーザに認識させる仮想空間の画像、音等である。

【0014】

第１発明の仮想空間体感システムでは、各アバターの動作は、対応するユーザの動作に基づいて制御される。また、各ユーザに認識させる仮想空間の環境は、対応するアバターの仮想空間における環境に基づいて決定される。

【0015】

ここで、アバターの特性（例えば、サイズ、機能等）が異なる場合、現実空間で各ユーザが同様の動作を行ったとしても、対応するアバターの動作中又は動作後における環境は、異なることがある。ひいては、各ユーザが体感する環境も、異なることがある。

【0016】

例えば、各アバターのサイズが異なる場合、現実空間で各ユーザが同じ歩数を歩いたとしても、対応するアバターの仮想空間における移動距離（すなわち、動作後において各ユーザが体感する環境）は、異なることになる。

【0017】

そして、各アバターの特性が異なり得る場合（すなわち、各ユーザが体感する環境が異なり得る場合）、例えば、自分以外のユーザのアバターを認識した際等に、その認識をしたユーザが自分以外のユーザの環境を体感したい、又は、その認識をしたユーザが自分以外のユーザに自らの環境を体感させたいという要望が生じることがある。

【0018】

そこで、第１発明の仮想空間体感システムでは、所定のトリガーイベントが認識される以前には、第１特性及び第２特性の一方の特性を、第１アバターに付与し、その第１アバターの動作に基づいて、その第１アバターの環境を決定するとともに、第１特性及び第２特性の他方の特性を、第２アバターに付与し、その第２アバターの動作に基づいて、その第２アバターの環境を決定する。

【0019】

一方、所定のトリガーイベントが認識された以後には、第１特性及び第２特性の一方の特性を、第１アバターに付与し、その第１アバターの動作に基づいて、その第１アバターの環境を決定するとともに、同じくその一方の特性を、第２アバターに付与し、その第２アバターの動作に基づいて、その第２アバターの環境を決定する。

【0020】

ここで、第１特性及び第２特性は、ユーザの動作に対する、そのユーザに対応するアバターの動作を規定する特性である。具体的には、仮想空間におけるアバターのサイズ、アバターの機能（例えば、移動可能速度、移動可能範囲等）である。

【0021】

これにより、所定のトリガーイベントが認識される以前には、第１ユーザに対応する第１アバターの特性と第２ユーザに対応する第２アバターの特性とは、異なるものになっている。そのため、ユーザの動作に対応してアバターが動作した際におけるアバターの環境は、従来のように、独立したものになる。ひいては、ユーザが体感する環境も、従来のように、独立したものになる。

【0022】

一方、所定のトリガーイベントが認識された以後には、第１ユーザに対応する第１アバターの特性と第２ユーザに対応する第２アバターの特性とは、いずれも同じものになる。そのため、ユーザの動作に対応してアバターが動作した際におけるアバターの環境は、一致したもの又は同様のものになる。ひいては、ユーザが体感する環境も、一致したもの又は同様のものになる。

【0023】

したがって、第１発明の仮想空間体感システムによれば、所定のトリガーイベントが認識された以後には、アバターの環境を同期させる処理が実行されて、各ユーザに認識させる仮想空間の環境が同様のものになるので、それまで異なる環境を体感していた第１ユーザ及び第２ユーザが、同様の環境を体感することができるようになる。

【0024】

また、第１発明の仮想空間体感システムにおいては、
前記所定のトリガーイベントは、前記第１アバター及び前記第２アバターの一方のアバターが前記第１アバター及び前記第２アバターの他方のアバターに対して実行する所定の動作であることが好ましい。

【0025】

ここで、「所定の動作」としては、第１アバター及び第２アバターの一方のアバターが他方のアバターを基準として行う何らかの動作であればよい。

【0026】

例えば、所定の動作とは、一方のアバターが第２アバターに接触するような動作、一方のアバターが他方のアバターを基準とした所定の範囲内に移動するような動作、一方のアバターが複合空間に存在する仮想空間に存在するオブジェクトを操作する際に、その対象として他方のアバターを選択するような動作（例えば、カメラ型オブジェクトで他方のアバターを撮影するような動作等）等である。

【0027】

このように、一方のアバターが他方のアバターに対して実行する所定の動作を所定のトリガーイベントとして設定すると、一方のアバターに対応するユーザは、その動作を実行した結果、他方のアバターに対応する第２ユーザの環境を自らも体感することができることを、直感的に理解することができるようになる。

【0028】

また、第２発明の仮想空間体感システムは、
第１ユーザ及び第２ユーザを含む複数のユーザが存在する現実空間に対応する第１仮想空間、及び、前記第１仮想空間とは独立し、前記現実空間に対応する第２仮想空間を含む複数の仮想空間を生成する仮想空間生成部と、
前記第１ユーザに対応する第１アバター、前記第２ユーザに対応する第２アバター、及び、前記第１ユーザ又は前記第２ユーザに対応し、前記第１アバター及び前記第２アバターとは独立したアバターであるゴーストを含む複数のアバターを、前記第１仮想空間又は前記第２仮想空間に生成するアバター生成部と、
前記現実空間における前記第１ユーザ及び前記第２ユーザの動作を認識するユーザ動作認識部と、
前記第１ユーザの動作に基づいて、前記仮想空間における前記第１アバターの制御を決定するとともに、前記第２ユーザの動作に基づいて、前記仮想空間における前記第２アバターの動作を制御するアバター動作制御部と、
前記仮想空間における前記第１アバター及び前記第２アバターの環境を決定するアバター環境決定部と、
前記１アバターの環境に基づいて、前記１ユーザに認識させる前記仮想空間の環境を決定するとともに、前記第２アバターの環境に基づいて、前記第２ユーザに認識させる前記仮想空間の環境を決定するユーザ環境決定部と、
所定のトリガーイベントを認識するトリガーイベント認識部と、
前記第１ユーザ及び前記第２ユーザに、前記仮想空間の環境を認識させる環境出力器とを備えている仮想空間体感システムにおいて、
前記所定のトリガーイベントは、前記第１ユーザ及び前記第２ユーザの一方に対応する前記ゴーストに対し、前記第１アバター及び前記第２アバターのうち前記第１ユーザ及び前記第２ユーザの他方に対応するアバターが実行する所定の動作であり、
前記所定のトリガーイベントが認識される以前には、
前記アバター生成部は、前記第１アバターを、前記第１仮想空間及び前記第２仮想空間の一方の仮想空間に生成し、前記第２アバターを、前記第１仮想空間及び前記第２仮想空間の他方の仮想空間に生成し、前記第１ユーザ及び前記第２ユーザの一方に対応する前記ゴーストを、前記第１仮想空間又は前記第２仮想空間のうち前記第１アバター及び前記第２アバターの他方の存在している仮想空間に生成し、
前記アバター環境決定部が、該一方の仮想空間に基づいて、前記第１アバターの環境を決定するとともに、該他方の仮想空間に基づいて、前記第２アバターの環境を決定し、
前記所定のトリガーイベントが認識された以後には、
前記アバター生成部は、前記第１アバター及び前記第２アバターを、前記第１仮想空間及び前記第２仮想空間の一方の仮想空間に生成し、
前記アバター環境決定部が、該一方の仮想空間に基づいて、前記第１アバターの環境を決定するとともに、該一方の仮想空間に基づいて、前記第２アバターの環境を決定することを特徴とする。

【0029】

ここで、アバターの「環境」とは、仮想空間において、アバターに対して影響を与えるものを指す。例えば、アバターの環境とは、存在している仮想空間そのものの種類（地上であるか水中であるか）等である。また、ユーザに「認識させる環境」とは、そのユーザに五感によって認識させる仮想空間の環境を指す。例えば、ユーザの環境とは、ユーザに認識させる仮想空間の画像、音等である。

【0030】

第２発明の仮想空間体感システムでは、各アバターの動作は、対応するユーザの動作に基づいて制御される。また、各ユーザに認識させる仮想空間の環境は、対応するアバターの仮想空間における環境に基づいて決定される。

【0031】

ここで、複数のユーザが同時に仮想空間体感システムを使用する場合であっても、各ユーザが体感する仮想空間（すなわち、仮想空間の環境）は、必ずしも１つの仮想空間に基づくものである必要はなく、ユーザごとに独立した仮想空間に基づくものであってもよい。

【0032】

例えば、第１ユーザに対応する第１アバターを海の仮想空間に存在させて、第１ユーザに仮想の海の環境を体感させると同時に、第２ユーザに対応する第２アバターを山の仮想空間に存在させて、第２ユーザに仮想の山を体感させるような場合もある。

【0033】

そして、各アバターの存在する仮想空間が異なり得る場合（すなわち、各ユーザが体感する環境が異なり得る場合）、例えば、各ユーザがコミュニケーション（具体的には、空間の種別を超えての会話等）を行った際等に、あるユーザが自分以外のユーザの環境を体感したい、又は、あるユーザが自分以外のユーザに自らの環境を体感させたいという要望が生じることがある。

【0034】

そこで、第２発明の仮想空間体感システムでは、所定のトリガーイベントが認識される以前には、第１アバターを第１仮想空間及び第２仮想空間の一方の仮想空間に生成して、その一方の仮想空間に基づいて、第１アバターの環境を決定するとともに、第２アバターを第１仮想空間及び第２仮想空間の他方の仮想空間に生成して、その他方の仮想空間に基づいて、第２アバターの環境を決定する。

【0035】

一方で、所定のトリガーイベントが認識された以後には、第１アバター及び第２アバターを第１仮想空間及び第２仮想空間の一方の仮想空間に生成して、その一方の仮想空間に基づいて、第１アバター及び第２アバターの環境を決定する。

【0036】

これにより、所定のトリガーイベントが認識される以前には、第１ユーザに対応する第１アバターの存在する仮想空間と、第２ユーザに対応する第２アバターの存在する仮想空間とは、独立したものになっている。そのため、アバターの環境は、従来のように、独立したものになる。ひいては、ユーザが体感する環境も、従来のように、独立したものになる。

【0037】

一方、所定のトリガーイベントが認識された以後には、第１ユーザに対応する第１アバターの存在する仮想空間と第２ユーザに対応する第２アバターの存在する仮想空間とは、同一の仮想空間になる。そのため、アバターの環境は、一致したもの又は同様のものになる。ひいては、ユーザが体感する環境も、一致したもの又は同様のものになる。

【0038】

したがって、第２発明の仮想空間体感システムによれば、所定のトリガーイベントが認識された以後には、アバターの環境を同期させる処理が実行されて、各ユーザに認識させる仮想空間の環境が同様のものになるので、それまで異なる環境を体感していた第１ユーザ及び第２ユーザが、同様の環境を体感することができるようになる。

【0040】

ここで、「所定の動作」としては、アバターがゴーストを基準として行う何らかの動作であればよい。例えば、所定の動作とは、アバターがゴーストに接触するような動作、アバターがゴーストを基準とした所定の範囲内に移動するような動作、アバターが仮想空間に存在するオブジェクトを操作する際に、その対象としてゴーストを選択するような動作（例えば、カメラ型オブジェクトでゴーストを撮影するような動作等）等である。

【0041】

複数のユーザが同時に仮想空間体感システムを使用しており、且つ、各ユーザが体感する仮想空間（すなわち、仮想空間の環境）が異なるような場合、各ユーザに他のユーザが存在していることを報知するといった目的等のために、各ユーザの存在する仮想空間に、他の仮想空間に存在している他のユーザに対応し、且つ、その他のユーザに体感させる環境の基準とはならないアバターであるゴーストを生成する場合がある。

【0042】

そしてアバターがそのゴーストに対して実行する所定の動作を所定のトリガーイベントとして設定すると、アバターに対応するユーザは、その動作を実行した結果、ゴーストに対応するユーザの環境を自らも体感することができることを、直感的に理解することができるようになる。

【0043】

また、第３発明の複合空間体感システムは、
第１ユーザ及び第２ユーザを含む複数のユーザが存在する現実空間を認識する現実空間認識部と、
前記第１ユーザ及び前記第２ユーザに認識させる仮想のオブジェクトである第１オブジェクト及び第２オブジェクトを生成するオブジェクト生成部と、
前記現実空間に前記第１オブジェクトを存在させた空間である第１複合空間、及び、前記現実空間に前記第２オブジェクトを存在させた空間である第２複合空間を含む複数の複合空間を生成する複合空間生成部と、
前記第１ユーザ及び前記第２ユーザに認識させる環境を決定するユーザ環境決定部と、
トリガーイベントを認識するトリガーイベント認識部と、
前記第１ユーザ及び前記第２ユーザに、前記複合空間の環境を認識させる環境出力器とを備えている複合空間体感システムにおいて、
前記所定のトリガーイベントが認識される以前には、
前記ユーザ環境決定部は、前記第１複合空間及び前記第２複合空間の一方の複合空間における環境を、前記第１ユーザに認識させる環境として決定するとともに、前記第１複合空間及び前記第２複合空間の他方の複合空間における環境を、前記第２ユーザに認識させる環境として決定し、
前記所定のトリガーイベントが認識された以後には、
前記ユーザ環境決定部は、前記第１複合空間及び前記第２複合空間の一方における複合空間における環境を、前記第１ユーザ及び前記第２ユーザに認識させる環境として決定することを特徴とする。

【0044】

ここで、ユーザに「認識させる環境」とは、そのユーザに五感によって認識させる複合空間の環境を指す。例えば、ユーザの環境とは、ユーザに認識させる複合空間に存在するオブジェクトの画像、そのオブジェクトに基づいて発生される音等である。

【0045】

複数のユーザが同時に複合空間体感システムを使用する場合であっても、各ユーザが体感する複合空間（すなわち、複合空間の環境）は、必ずしも単一の複合空間に基づくものである必要はなく、ユーザごとに独立した異なる複合空間に基づくものであってもよい。

【0046】

例えば、第１ユーザに、現実空間の所定の領域に第１オブジェクトを存在させた第１複合空間を体感させると同時に、第２ユーザに、第１複合空間に用いた領域と同じ現実空間の領域に第２オブジェクトを存在させた第２複合空間を体感させるような場合もある。

【0047】

そして、各ユーザの認識する複合空間が異なり得る場合（すなわち、体感する環境が異なり得る場合）、例えば、各ユーザがコミュニケーション（具体的には、会話等）を行った際等に、あるユーザが自分以外のユーザの環境を体感したい、又は、あるユーザが自分以外のユーザに自らの環境を体感させたいという要望が生じることがある。

【0048】

そこで、第３発明の複合空間体感システムでは、トリガーイベントが認識される以前には、第１複合空間及び第２複合空間の一方の複合空間における環境を、第１ユーザに認識させる環境として決定するとともに、第１複合空間及び第２複合空間の他方における環境を、第２ユーザに認識させる環境として決定する。

【0049】

一方で、トリガーイベントが認識された以後には、第１複合空間及び第２複合空間の一方の複合空間における環境を、第１ユーザ及び第２ユーザに認識させる環境として決定する。

【0050】

これにより、トリガーイベントが認識される以前には、第１ユーザが体感する複合空間と第２ユーザが体感する複合空間とは、存在する仮想のオブジェクトが互いに独立した複合空間になる。

【0051】

一方、トリガーイベントが認識された以後には、第１ユーザの体感する複合空間と第２ユーザの体感する複合空間とは、存在する仮想のオブジェクトが一致した同一の複合空間になる。

【0052】

したがって、第３発明の複合空間体感システムによれば、トリガーイベントが認識された以後には、複合空間に存在するオブジェクトを同期させるための処理が実行されて、各ユーザに認識させる複合空間の環境が同様のものになるので、それまで異なる環境を体感していた第１ユーザ及び第２ユーザが、同様の環境を体感することができるようになる。

【0053】

また、第３発明の複合空間体感システムにおいては、
前記現実空間における前記ユーザの動作を認識するユーザ動作認識部を備え、
前記所定のトリガーイベントは、前記複合空間で前記第１ユーザ及び前記第２ユーザの一方が前記第１ユーザ及び前記第２ユーザの他方に対して実行する所定の動作であることが好ましい。

【0054】

ここで、「所定の動作」としては、第１ユーザ及び第２ユーザの一方が他方を基準として行う何らかの動作であればよい。例えば、所定の動作とは、第１ユーザが第２ユーザに接触するような動作、第１ユーザが第２ユーザを基準とした所定の範囲内に移動するような動作、第１ユーザが複合空間に存在する仮想又は実在のオブジェクトを操作する際に、その対象として第２ユーザを選択するような動作（例えば、仮想の携帯端末又は実在の携帯端末のカメラで第２ユーザを撮影するような動作等）等である。

【0055】

このように、第１ユーザが第２ユーザに対して実行する所定の動作を所定のトリガーイベントとして設定すると、第１ユーザは、その動作を実行した結果、第２ユーザの環境を自らも体感することができることを、直感的に理解することができるようになる。

【図面の簡単な説明】

【0056】

【図1】第１実施形態に係るＶＲシステムの概略構成を示す模式図。

【図2】図１のＶＲシステムの処理部の構成を示すブロック図。

【図3】図２のＶＲシステムが通常の使用状態において実行する処理を示すフローチャート。

【図4】図２のＶＲシステムの通常の使用状態における現実空間及び仮想空間の状態を示す模式図。

【図5】図２のＶＲシステムがアバターの特性を同期させる際に実行する処理を示すフローチャート。

【図6】図２のＶＲシステムにおいてトリガーイベントが発生する際における仮想空間の状態を示す模式図。

【図7】図２のＶＲシステムにおいてトリガーイベントが発生した後における仮想空間の状態を示す模式図。

【図8】第２実施形態に係るＶＲシステムの処理部の構成を示すブロック図。

【図9】図８のＶＲシステムが通常の使用状態において実行する処理を示すフローチャート。

【図10】図８のＶＲシステムの通常の使用状態における現実空間及び仮想空間の状態を示す模式図。

【図11】図８のＶＲシステムが仮想空間を同期させる際に実行する処理を示すフローチャート。

【図12】図８のＶＲシステムにおいてトリガーイベントが発生する際における仮想空間の状態を示す模式図。

【図13】図８のＶＲシステムにおいてトリガーイベントが発生した後における仮想空間の状態を示す模式図。

【図14】第３実施形態に係るＭＲシステムの概略構成を示す模式図。

【図15】図１４のＭＲシステムの処理部の構成を示すブロック図。

【図16】図１５のＭＲシステムが通常の使用状態において実行する処理を示すフローチャート。

【図17】図１５のＭＲシステムの通常の使用状態における現実空間及び複合空間の状態を示す模式図。

【図18】図１５のＭＲシステムが複合空間を同期させる際に実行する処理を示すフローチャート。

【図19】図１５のＭＲシステムにおいてトリガーイベントが発生する際における仮想空間の状態を示す模式図。

【図20】図１５のＶＲシステムにおいてトリガーイベントが発生した後における仮想空間の状態を示す模式図。

【発明を実施するための形態】

【0057】

以下、図面を参照して、第１発明に対応する第１実施形態に係る仮想空間体感システム、第２発明に対応する第２実施形態に係る仮想空間体感システム、及び、第３実施形態に対応する複合空間体感システムについて、説明する。

【0058】

［第１実施形態］
以下、図１～図７を参照して、第１実施形態に係る仮想空間体感システムであるＳ１について説明する。

【0059】

ＶＲシステムＳ１は、現実空間ＲＳの所定の領域（例えば、１つの部屋等）に共に存在する第１ユーザＵ１及び第２ユーザＵ２（以下、総称する場合は「ユーザＵ」という。）に対し、その領域に対応する１つの仮想空間ＶＳに、第１ユーザＵ１に対応する第１アバターＡ１及び第２ユーザＵ２に対応する第２アバターＡ２を介して、自らが共に存在すると認識させるものである（図４等参照）。

【0060】

なお、本実施形態では、理解を容易にするために、ユーザは２人としている。しかし、第１発明の仮想空間体感システムは、そのような構成に限定されるものではなく、ユーザの数は３人以上であってもよい。

【0061】

［システムの概略構成］
まず、図１を参照して、ＶＲシステムＳ１の概略構成について説明する。

【0062】

図１に示すように、ＶＲシステムＳ１は、現実空間ＲＳに存在するユーザＵに取り付けられる複数の標識１と、ユーザＵ（厳密には、ユーザＵに取り付けられた標識１）を撮影するカメラ２と、仮想空間ＶＳ（図４等参照）の画像及び音を決定するサーバ３と、決定された画像及び音をユーザに認識させるヘッドマウントディスプレイ（以下、「ＨＭＤ４」という。）とを備えている。

【0063】

ＶＲシステムＳ１では、カメラ２、サーバ３及びＨＭＤ４は、インターネット網、公衆回線、近距離無線通信等の無線で相互に情報を送受信可能となっている。ただし、それらのいずれか同士を有線で相互に情報を送受信可能に構成してもよい。

【0064】

複数の標識１は、ユーザＵの装着するＨＭＤ４、手袋及び靴を介して、ユーザＵの頭部、両手及び両足のそれぞれに取り付けられている。なお、複数の標識１は、後述するようにユーザＵの現実空間ＲＳにおける座標及び姿勢、並びに、動作（例えば、座標の移動、向きを含む姿勢の変化等）を認識するために用いられるものである。そのため、ＶＲシステムＳ１を構成する他の機器に応じて、標識１の取り付け位置は適宜変更してよい。

【0065】

カメラ２は、ユーザＵの存在する現実空間ＲＳのユーザＵが動作可能範囲（すなわち、座標の移動、姿勢の変化等をし得る範囲）を多方向から撮影可能なように設置されている。

【0066】

サーバ３は、カメラ２が撮影した画像から標識１を認識し、その認識された標識１の現実空間ＲＳにおける位置に基づいて、ユーザＵの座標及び姿勢を認識する。また、サーバ３は、その座標及び姿勢に基づいて、ユーザＵに認識させる仮想空間ＶＳの画像及び音を決定する。

【0067】

ＨＭＤ４は、ユーザに仮想空間ＶＳの環境を認識させる環境出力器である。ＨＭＤ４は、ユーザＵの頭部に装着される。ＨＭＤ４は、ユーザＵに、サーバ３によって決定された仮想空間ＶＳの画像をユーザＵの認識させるためのモニタ４０と、サーバ３によって決定された仮想空間ＶＳの音をユーザＵに認識させるためのスピーカ４１とを有している（図２参照）。

【0068】

ＶＲシステムＳ１を用いて仮想空間ＶＳを体感する場合、ユーザＵは、仮想空間ＶＳの画像と音のみを認識して、ユーザＵ自身が仮想空間ＶＳに存在していると認識させられる。すなわち、ＶＲシステムＳ１は、いわゆる没入型のシステムとして構成されている。

【0069】

なお、第１発明の仮想空間体感システムは、そのような構成に限定されるものではない。例えば、モーションキャプチャー装置を使用する場合には、上記の構成のものの他、標識及びカメラの数及び配置が上記構成とは異なる（例えば、それぞれ１つずつ設けられている）ものを用いてもよい。また、標識を用いずに、ユーザの画像そのものから特徴点を認識して、ユーザの姿勢及び座標を認識するようにしてもよい。

【0070】

また、例えば、モーションキャプチャー装置に代わり、ユーザの座標のみを認識する装置を用いてもよい。具体的には、例えば、ＨＭＤにＧＰＳ等のセンサを搭載し、そのセンサからの出力に基づいて、ユーザの座標、姿勢等を認識するようにしてもよい。また、そのようなセンサと、上記のようなモーションキャプチャー装置とを併用してもよい。

【0071】

［処理部の構成］
次に、図２を用いて、サーバ３の備えている処理部の構成を詳細に説明する。

【0072】

サーバ３は、ＣＰＵ、ＲＡＭ、ＲＯＭ、インターフェース回路等を含む１つ又は複数の電子回路ユニットにより構成されている。サーバ３は、実装されたハードウェア構成又はプログラムにより実現される機能（処理部）として、図２に示すように、仮想環境生成部３０と、ユーザ動作認識部３１と、アバター動作制御部３２と、アバター環境決定部３３と、ユーザ環境決定部３４と、トリガーイベント認識部３５とを備えている。

【0073】

仮想環境生成部３０は、仮想空間生成部３０ａと、アバター生成部３０ｂとを有している。

【0074】

仮想空間生成部３０ａは、ユーザＵが存在する現実空間ＲＳに対応する仮想空間ＶＳを生成する。具体的には、仮想空間生成部３０ａは、仮想空間ＶＳの背景及び仮想空間ＶＳに存在するオブジェクトとなる画像、及び、それらの画像に関連する音を生成する。

【0075】

なお、本実施形態のＶＲシステムＳ１は備えていないが、仮想空間体感システムが、所定の感触を実現する構成（例えば、硬さの変わるクッション等）、所定の匂いを生成する等を備えている場合には、仮想空間生成部は、画像及び音に加えて、それらの感触、匂いを用いて、仮想空間を生成するようにしてもよい。

【0076】

アバター生成部３０ｂは、仮想空間ＶＳに、第１ユーザＵ１に対応する第１アバターＡ１を生成し、第２ユーザＵ２に対応する第２アバターＡ２を生成する（図４等参照）。

【0077】

第１アバターＡ１及び第２アバターＡ２（以下、総称する場合は「アバターＡ」という。）は、対応するユーザＵの現実空間ＲＳにおける動作に対応して、仮想空間ＶＳにおいて動作する。

【0078】

ユーザ動作認識部３１は、カメラ２が撮影した標識１を含むユーザＵの画像データを認識し、その画像データに基づいて、ユーザＵの現実空間ＲＳにおける動作を認識する。ユーザ動作認識部３１は、ユーザ姿勢認識部３１ａと、ユーザ座標認識部３１ｂとを有している。

【0079】

ユーザ姿勢認識部３１ａは、入力されたユーザＵの画像データから標識１を抽出し、その抽出結果に基づいて、ユーザＵの向きを含む姿勢を認識する。

【0080】

ユーザ座標認識部３１ｂは、入力されたユーザＵの画像データから標識１を抽出し、その抽出結果に基づいて、ユーザＵの座標を認識する。

【0081】

アバター動作制御部３２は、アバター生成部３０ｂによって生成されたアバターＡに、特性を付与する。本実施形態では、特性の付与は、ＶＲシステムＳ１の使用開始時（例えば、使用するアバターＡの種類の選択時等）に実行される。ただし、その特性は、ＶＲシステムＳ１の使用中に変更される場合がある。例えば、後述するトリガーイベントが認識された際に変更される。

【0082】

ここで、「特性」とは、ユーザの動作に対する、そのユーザに対応するアバターの動作を規定する特性であり、複数種類存在するものである。その特性としては、具体的には、仮想空間ＶＳにおけるアバターのサイズ、アバターの機能（例えば、移動可能速度、移動可能範囲等）である。

【0083】

また、アバター動作制御部３２は、ユーザ姿勢認識部３１ａによって認識されたユーザＵの現実空間ＲＳにおける姿勢、ユーザ座標認識部３１ｂによって認識されたユーザＵの現実空間ＲＳにおける座標、及び、付与された特性に基づいて、そのユーザＵに対応するアバターＡの仮想空間ＶＳにおける動作（例えば、座標の移動、向きを含む姿勢の変化等）を決定する。

【0084】

アバター環境決定部３３は、アバターＡの動作の結果（例えば、その時点における座標、姿勢等）に基づいて、仮想空間ＶＳにおけるアバターＡの環境を決定する。

【0085】

ここで、本実施形態におけるアバターの「環境」とは、仮想空間において、アバターに対して影響を与えるものを指す。例えば、アバターの環境とは、仮想空間に存在しているオブジェクトの状態、仮想空間ＶＳにおける物理的な法則（時間の流れる速さ、重力の大きさ等）等である。

【0086】

ユーザ環境決定部３４は、アバターＡの環境に基づいて、そのアバターＡに対応するユーザＵに、ＨＭＤ４のモニタ４０及びスピーカ４１を介して認識させる仮想空間ＲＳの環境（画像及び音）を決定する。

【0087】

ここで、ユーザに「認識させる環境」とは、そのユーザに五感によって認識させる仮想空間の環境を指す。例えば、ユーザＵの環境とは、ユーザに認識させる仮想空間の画像、音等である。

【0088】

また、ここで、「仮想空間の画像」には、仮想空間の背景の画像の他、他のアバターの画像、仮想空間にのみ存在するオブジェクトの画像、現実空間に対応して仮想空間に存在するオブジェクトの画像等が含まれる。

【0089】

トリガーイベント認識部３５は、システム設計者が予め定めた条件を満たした際に、所定のトリガーイベントが発生したことを認識する。

【0090】

ここで、「トリガーイベント」は、ユーザがその発生を認識していないものであってもよい。そのため、トリガーイベントとしては、例えば、ユーザが現実空間において所定の動作を行うこと（すなわち、ユーザに対応するアバターが仮想空間において所定の動作を行うこと）等のユーザの動作に起因するものも該当するし、所定時間の経過といったユーザの動作に起因しないものも該当する。

【0091】

なお、第１発明の仮想空間体感システムを構成する各処理部は、上記のような構成に限定されるものではない。

【0092】

例えば、本実施形態においてサーバ３に設けられている処理部の一部を、ＨＭＤ４に設けてもよい。また、複数のサーバを用いて構成してもよいし、サーバを省略してＨＭＤに搭載されているＣＰＵを協働させて構成してもよい。また、ＨＭＤに搭載されているスピーカ以外のスピーカを設けてもよい。また、視覚及び聴覚へ影響を与えるデバイスの他、仮想空間に応じた匂い、風等を生じさせるような嗅覚及び触覚へ影響を与えるデバイスを含めてもよい。

【0093】

［実行される処理］
次に、図２～図７を参照して、ＶＲシステムＳ１を用いてユーザＵに仮想空間ＶＳを体感させる際に、ＶＲシステムＳ１の実行する処理について説明する。

【0094】

［通常の使用状態における処理］
まず、図２～図４を参照して、ＶＲシステムＳ１が使用開始時、及び、通常の使用状態（すなわち、後述する所定のトリガーイベントを認識していない状態）で実行する処理について説明する。

【0095】

この処理においては、まず、サーバ３の仮想環境生成部３０は、仮想空間ＶＳ、第１アバターＡ１及び第２アバターＡ２を生成する（図３／ＳＴＥＰ１００）。

【0096】

具体的には、図４に示すように、仮想環境生成部３０の仮想空間生成部３０ａは、仮想空間ＶＳの背景となる画像及び仮想空間ＶＳに存在する各種オブジェクトを生成する。また、仮想環境生成部３０のアバター生成部３０ｂは、第１ユーザＵ１に対応する第１アバターＡ１及び第２ユーザＵ２に対応する第２アバターＡ２を生成する。

【0097】

次に、サーバ３のアバター動作制御部３２は、第１アバターＡ１に第１特性を付与するとともに、第２アバターＡ２に第２特性を付与する（図３／ＳＴＥＰ１０１）。

【0098】

本実施形態では、アバターＡに付与される特性は、そのアバターＡの形状に連動したものとなっている。

【0099】

具体的には、第１アバターＡ１の形状は、カメを擬人化した形状であり、第１アバターＡ１には、その形状に対応した第１特性が付与される。第１特性は、仮想空間ＶＳに配置された所定のオブジェクト（例えば、図４に示す草等）に比べて大きいという特性、及び、対応するユーザの現実空間ＲＳにおける動作がアバターの動作に反映されるまでの時間が長い（すなわち、動作の反映速度が遅い）という特性を含む特性である。

【0100】

一方、第２アバターＡ２の形状は、ウサギを擬人化した形状であり、第２アバターＡ２には、その形状に対応した第２特性が付与される。第２特性は、仮想空間ＶＳに配置された所定のオブジェクトに比べて小さいという特性、及び、対応するユーザの現実空間ＲＳにおける動作がアバターの動作に反映されるまでの時間が短い（すなわち、動作の反映速度が速い）という特性を含む特性である。

【0101】

そのため、仮に、仮想空間ＶＳにおいて、第１アバターＡ１と第２アバターＡ２とが、互いに隣接する座標に位置していた場合であっても、それらのアバターＡのサイズ（すなわち、視点の高さ）という特性が異なるので、第１アバターＡ１として第１ユーザＵ１が見渡すことのできる範囲（すなわち、視認できるオブジェクト）という環境と、第２アバターＡ２として第２ユーザＵ２が見渡すことのできる範囲という環境とは、異なることになる。

【0102】

また、仮に、現実空間ＲＳにおいて、第１ユーザＵ１と第２ユーザＵ２とが同様の動作を行った場合であっても、対応するアバターＡの動作の反映速度という特性が異なるので、第１アバターＡ１として第１ユーザＵ１が体感する風景の変化速度という環境と、第２アバターＡ２として第２ユーザＵ２が体感する風景の変化速度（すなわち、オブジェクトの相対的な移動速度）という環境とは、異なることになる。

【0103】

次に、サーバ３のアバター動作制御部３２は、第１ユーザＵ１の動作及び第１アバターＡ１に付与された特性に基づいて、第１アバターＡ１の動作を決定し、第２ユーザＵ２の動作及び第２アバターＡ２に付与された特性に基づいて、第２アバターＡ２の動作を決定する（図３／ＳＴＥＰ１０２）。

【0104】

このＳＴＥＰ１０２以降の処理における第１ユーザＵ１及び第２ユーザＵ２の動作は、カメラ２によって撮影された画像データに基づいてサーバ３のユーザ動作認識部３１によって認識された動作が用いられる。

【0105】

次に、サーバ３のアバター環境決定部３３は、第１アバターＡ１の動作に基づいて、第１アバターＡ１の環境を決定し、第２アバターＡ２の動作に基づいて、第２アバターＡ２の環境を決定する（図３／ＳＴＥＰ１０３）。

【0106】

具体的には、アバター環境決定部３３は、アバターＡの動作過程及びそのアバターＡの動作の反映速度という特性に基づいて、仮想空間ＶＳの風景の変化速度という環境を決定し、アバターＡの動作の結果及びアバターＡのサイズという特性に基づいて、アバターＡが見渡すことのできる風景という環境を決定する。

【0107】

次に、サーバ３のユーザ環境決定部３４は、第１ユーザＵ１に認識させる環境を、第１アバターＡ１の環境に基づいて決定し、第２ユーザＵ２に認識させる環境を、第２アバターＡ２の環境に基づいて決定する（図３／ＳＴＥＰ１０４）。

【0108】

具体的には、ユーザ環境決定部３４は、第１ユーザＵ１に認識させる環境として、第１アバターＡ１の環境を表す仮想空間ＶＳの画像及び音を決定し、第２ユーザＵ２に認識させる環境として、第２アバターＡ２の環境を表す仮想空間ＶＳの画像及び音を決定する。

【0109】

次に、ユーザＵに装着されたＨＭＤ４は、決定された環境を出力する（図３／ＳＴＥＰ１０５）。

【0110】

具体的には、ＨＭＤ４は、ＨＭＤ４に搭載されているモニタ４０に決定された画像を表示させ、ＨＭＤ４に搭載されているスピーカ４１に決定された音を発生させる。

【0111】

次に、サーバ３のユーザ動作認識部３１は、第１ユーザＵ１又は第２ユーザＵ２がなんらかの動作を行ったか否かを判断する（図３／ＳＴＥＰ１０６）。

【0112】

第１ユーザＵ１又は第２ユーザＵ２がなんらかの動作を行った場合（ＳＴＥＰ１０６でＹＥＳの場合）、ＳＴＥＰ１０２に戻り、再度、ＳＴＥＰ１０２以降の処理が実行される。

【0113】

一方、第１ユーザＵ１又は第２ユーザＵ２がなんらかの動作を行っていなかった場合（ＳＴＥＰ１０６でＮＯの場合）、サーバ３は、処理の終了を指示する信号を認識したか否かを判断する（図３／ＳＴＥＰ１０７）。

【0114】

終了を指示する信号を認識できなかった場合（ＳＴＥＰ１０７でＮＯの場合）、ＳＴＥＰ１０６に戻り、再度、ＳＴＥＰ１０６以降の処理が実行される。

【0115】

一方、終了を指示する信号を認識した場合（ＳＴＥＰ１０７でＹＥＳの場合）、ＶＲシステムＳ１は、今回の処理を終了する。

【0116】

以上の処理により、図４に示すように、仮想空間ＶＳでは、第１ユーザＵ１に対応する第１アバターＡ１及び第２ユーザＵ２に対応する第２アバターＡ２を含む複数のオブジェクトが設置される。

【0117】

そして、第１ユーザＵ１及び第２ユーザＵ２は、それぞれが装着したＨＭＤ４で表示される画像及び発生される音によって、それぞれに対応する第１アバターＡ１及び第２アバターＡ２を介して、自身が仮想空間ＶＳに存在し、自由に動作することができると認識するようになる。

【0118】

［特性を同期させる際及びそれ以降における処理］
次に、図２、図５～図７を参照して、特性を同期させる際及びそれ以後において実行する処理について説明する。

【0119】

まず、この処理の具体的な説明に先立ち、この処理が実行される背景について説明する。

【0120】

前述のように、ＶＲシステムＳ１では、第１アバターＡ１には、第１特性が付与され、第２アバターＡ２には、第１特性とは異なる第２特性が付与されている。

【0121】

そのため、現実空間ＲＳで第１アバターＡ１に対応する第１ユーザＵ１と、第２アバターＡ２に対応する第２ユーザＵ２とが同じ動作を行ったとしても、第１アバターＡ１の動作と第２アバターＡ２の動作（ひいては、環境）とは、異なることになる。その結果、第１ユーザＵ１が認識する環境と、第２ユーザＵ２が認識する環境とは、異なることになる。

【0122】

そして、そのように認識する環境が異なる場合、あるユーザが自分以外のユーザの環境を体感したい、又は、あるユーザが自分以外のユーザに自らの環境を体感させたいという要望が生じることがある。

【0123】

例えば、本実施形態では、第１アバターＡ１は、仮想空間ＶＳに配置されている所定のオブジェクト（例えば、図４に示す草等）に対して大きいという第１特性が付与されており、第２アバターＡ２は、仮想空間ＶＳに配置されている所定のオブジェクトに対して小さいという第２特性が付与されている。

【0124】

そのため、第１アバターＡ１の座標が第２アバターＡ２の座標の近傍に位置していたとしても、第１アバターＡ１（ひいては、対応する第１ユーザＵ１）であれば視認することのできるオブジェクト（例えば、遠くに見える建物のオブジェクトである第１オブジェクトＯ１）を、第２アバターＡ２（ひいては、対応する第２ユーザＵ２）では視認することができないという状況も生じ得る。

【0125】

そのような状況が生じた場合、第１アバターＡ１に対応する第１ユーザＵ１が、第２ユーザＵ２が視認している第１オブジェクトＯ１を、第２ユーザＵ２と同様に視認したいという要望が生じることがある。

【0126】

そこで、本実施形態のＶＲシステムＳ１では、そのような要望が生じた場合に対応するために、以下に説明する処理によって、第１アバターＡ１に付与されている特性と第２アバターＡ２に付与されている特性とを一致させる処理を、実行可能に構成されている。

【0127】

この処理においては、まず、サーバ３のトリガーイベント認識部３５は、トリガーイベントを認識したか否かを判断する（図５／ＳＴＥＰ２００）。

【0128】

具体的には、トリガーイベント認識部３５は、図５に示すように、仮想空間ＶＳで、第１ユーザＵ１に対応する第１アバターＡ１の動作を認識し、その動作がトリガーイベントとして予め規定された所定の動作に該当するか否を判断する。

【0129】

トリガーイベントを認識した場合（ＳＴＥＰ２００でＹＥＳの場合）、トリガーイベント認識部３５は、認識されたトリガーイベントが所定のトリガーイベントであるか否かを判断する（図５／ＳＴＥＰ２０１）。

【0130】

本実施形態では、図６に示すように、第１ユーザＵ１に対応する第１アバターＡ１及び第２ユーザＵ２に対応する第２アバターＡ２の一方が他方に触れる動作が、所定のトリガーイベントとして設定されている。

【0131】

トリガーイベントが所定のトリガーイベントであった場合（ＳＴＥＰ２０１でＹＥＳの場合）、アバター動作制御部３２は、第１アバターＡ１の特性と第２アバターＡ２の特性を同期させる（図５／ＳＴＥＰ２０２）。

【0132】

具体的には、第１アバターＡ１の特性を、第１特性のまま維持し、第２アバターＡ２の特性を、第２特性から第１アバターＡ１と同様の第１特性に変更する。

【0133】

本実施形態では、アバターＡの特性は、アバターＡの形状に連動したものとなっている。そのため、図７に示すように、ＳＴＥＰ２０２の処理が実行されると、第２アバターＡ２の形状が、ウサギを擬人化した形状から、第１アバターＡ１と同様にカメを擬人化した形状に変化する。

【0134】

一方、トリガーイベントが所定のトリガーイベントではなかった場合（ＳＴＥＰ２０１でＮＯの場合）、アバター動作制御部３２は、認識されたトリガーイベントの種類に応じて、第１アバターＡ１の特性及び第２アバターＡ２の特性の少なくとも一方を変更する（図５／ＳＴＥＰ２０３）。

【0135】

例えば、第１アバターＡ１又は第２アバターＡ２がスイッチ型のオブジェクト（不図示）を押すような動作を行うことが他のトリガーイベントとして設定されており、認識されたトリガーイベントがその他のトリガーイベントであった場合には、アバター動作制御部３２は、その他のトリガーイベントを発生させたアバターＡに、ＶＲシステムＳ１の使用開始時の特性を改めて付与するといった処理を実行する。

【0136】

トリガーイベントを認識しなかった場合（ＳＴＥＰ２００でＮＯの場合）には、それまでの特性を維持し、トリガーイベントを認識した場合（ＳＴＥＰ２００でＹＥＳの場合）であって、アバターの特性を変更する処理（ＳＴＥＰ２０２又はＳＴＥＰ２０３の処理）を実行し、そのうえで、サーバ３のアバター動作制御部３２は、第１ユーザＵ１の動作及び第１アバターＡ１に付与された特性に基づいて、第１アバターＡ１の動作を決定し、第２ユーザＵ２の動作及び第２アバターＡ２に付与された特性に基づいて、第２アバターＡ２の動作を決定する（図５／ＳＴＥＰ２０４）。

【0137】

次に、ＳＴＥＰ１０３における処理と同様に、サーバ３のアバター環境決定部３３は、第１アバターＡ１の動作に基づいて、第１アバターＡ１の環境を決定し、第２アバターＡ２の動作に基づいて、第２アバターＡ２の環境を決定する（図５／ＳＴＥＰ２０５）。

【0138】

このとき、アバターＡの特性を同期させる処理が実行されていた場合には、第１アバターＡ１と第２アバターＡ２のサイズという特性が一致している。第１アバターＡ１は、サイズが小さいために視認することができなかったオブジェクトを、第２アバターＡ２と同様に視認することができるようになっている。

【0139】

次に、ＳＴＥＰ１０４における処理と同様に、サーバ３のユーザ環境決定部３４は、第１ユーザＵ１に認識させる環境を、第１アバターＡ１の環境に基づいて決定し、第２ユーザＵ２に認識させる環境を、第２アバターＡ２の環境に基づいて決定する（図５／ＳＴＥＰ２０６）。

【0140】

次に、ＳＴＥＰ１０５における処理と同様に、ユーザＵに装着されたＨＭＤ４は、決定された環境を出力する（図５／ＳＴＥＰ２０７）。

【0141】

次に、ＳＴＥＰ１０６における処理と同様に、サーバ３のユーザ動作認識部３１は、第１ユーザＵ１又は第２ユーザＵ２がなんらかの動作を行ったか否かを判断する（図５／ＳＴＥＰ２０８）。

【0142】

第１ユーザＵ１又は第２ユーザＵ２がなんらかの動作を行った場合（ＳＴＥＰ２０８でＹＥＳの場合）、ＳＴＥＰ２００に戻り、再度、ＳＴＥＰ２００以降の処理が実行される。

【0143】

一方、第１ユーザＵ１又は第２ユーザＵ２がなんらかの動作を行っていなかった場合（ＳＴＥＰ２０８でＮＯの場合）、ＳＴＥＰ１０７における処理と同様に、サーバ３は、処理の終了を指示する信号を認識したか否かを判断する（図５／ＳＴＥＰ２０９）。

【0144】

終了を指示する信号を認識できなかった場合（ＳＴＥＰ２０９でＮＯの場合）、ＳＴＥＰ２０８に戻り、再度、ＳＴＥＰ２０８以降の処理が実行される。

【0145】

一方、終了を指示する信号を認識した場合（ＳＴＥＰ２０９でＹＥＳの場合）、ＶＲシステムＳ１は、今回の処理を終了する。

【0146】

以上説明したように、本実施形態のＶＲシステムＳ１では、所定のトリガーイベントが認識される以前には、第１特性を、第１アバターＡ１に付与し、その第１アバターＡ１の動作に基づいて、その第１アバターＡ１の環境を決定するとともに、第１特性とは異なる特性である第２特性を、その第２アバターＡ２に付与し、その第２アバターＡ２の動作に基づいて、第２アバターＡ２の環境を決定する。

【0147】

一方、所定のトリガーイベントが認識された以後には、第１特性を、第１アバターＡ１に付与し、その第１アバターＡ１の動作に基づいて、その第１アバターＡ１の環境を決定するとともに、同じく第１特性を、第２アバターＡ２に付与し、その第２アバターＡ２の動作に基づいて、その第２アバターＡ２の環境を決定する。

【0148】

これにより、所定のトリガーイベントが認識される以前には、第１ユーザＵ１に対応する第１アバターＡ１の特性と第２ユーザＵ２に対応する第２アバターＡ２の特性とは、異なるものになっている。

【0149】

そのため、ユーザＵの動作に対応してアバターＡが動作した際におけるアバターＡの環境は、従来のように、独立したものになる。ひいては、ユーザが体感する環境（本実施形態では、視認できるオブジェクトの種類）も、従来のように、独立したものになる。

【0150】

一方、所定のトリガーイベントが認識された以後には、第１ユーザＵ１に対応する第１アバターＡ１の特性と第２ユーザＵ２に対応する第２アバターＡ２の特性とは、いずれも同じものになる。

【0151】

そのため、ユーザＵの動作に対応してアバターＡが動作した際におけるアバターＡの環境は、一致したもの又は同様のものになる。ひいては、ユーザＵが体感する環境（本実施形態では、視認できるオブジェクトの種類）も、一致したもの又は同様のものになる。

【0152】

したがって、ＶＲシステムＳ１によれば、所定のトリガーイベントが認識された以後には、アバターＡの環境を同期させる処理が実行されて、第１ユーザＵ１及び第２ユーザＵ２に認識させる仮想空間ＶＳの環境が同様のものになるので、それまで異なる環境を体感していた第１ユーザＵ１及び第２ユーザＵ２が、同様の環境を体感することができるようになる。

【0153】

［第１実施形態の変形例］
なお、本実施形態では、第１ユーザＵ１に対応する第１アバターＡ１及び第２ユーザＵ２に対応する第２アバターＡ２の一方が他方に触れる動作が、所定のトリガーイベントとして設定されている。

【0154】

これは、第１アバターＡ１及び第２アバターＡ２の一方が他方に対して実行する所定の動作を所定のトリガーイベントとして設定すると、一方のアバターＡにユーザＵは、その動作を実行した結果、他方のアバターＡに対応するユーザＵの環境を自らも体感することができることを、直感的に理解することができるようになるためである。

【0155】

しかし、第１発明において、所定のトリガーイベントとなる「所定の動作」とは、このように第１アバター及び第２アバターの一方が他方に触れる動作に限定されるものではなく、第１アバター及び第２アバターの一方が他方を基準として行う何らかの動作であればよい。

【0156】

例えば、所定の動作とは、一方のアバターが他方のアバターに接触するような動作、一方のアバターが他方のアバターを基準とした所定の範囲内に移動するような動作、一方のアバターが複合空間に存在する仮想空間に存在するオブジェクトを操作する際に、その対象として他方のアバターを選択するような動作（例えば、カメラ型オブジェクトで他方のアバターを撮影するような動作等）等であってもよい。

【0157】

また、例えば、ユーザに対応するアバターとして、ユーザに認識させる環境を定めるための基準となるアバターの他に、ユーザの動作に対応して動作するものの、その基準とならないゴーストも生成する場合がある。そのような場合には、そのゴーストに対して所定の動作を行った際にも、アバターの特性を同期させる処理を実行するようにしてもよい。

【0158】

さらに、第１発明における所定のトリガーイベントは、必ずしも、第１アバター及び第２アバターの一方のアバターが第１アバター及び第２アバターの他方のアバターに対して実行する所定の動作である必要はない。そのため、例えば、別途設けられたインターフェースを介して、ユーザが特性の変化を指示した場合に、その指示を行ったことを、所定のトリガーイベントとしてもよい。

【0159】

また、本実施形態では、所定のトリガーイベントが認識された場合に、第２アバターＡ２の特性を、第１アバターＡ１に付与された第１特性に同期させるとともに、第２アバターＡ２の形状を第１アバターＡ１の形状と同様のものに変更している。これは、本実施形態では、アバターＡに付与される特性は、そのアバターＡの形状に連動したものとなっているためである。

【0160】

しかし、第１発明は、所定のトリガーイベントが認識された際に、アバターの特性を同期させるものであればよく、アバターの形状は、必ずしも、特性とともに同期させる必要はない。そのため、所定のトリガーイベントが認識された際に、アバターの機能のみ（例えば、サイズのみ）を、同期させるようにしてもよい。

【0161】

また、本実施形態では、所定のトリガーイベントが認識された場合に、第２アバターＡ２の特性を、第１アバターＡ１に付与された第１特性に同期させている。すなわち、特性を同一のものにしている。

【0162】

しかし、第１発明において、特性を同期させる処理は、そのように第２アバターの特性を変更するものに限定されるものではない。そのため、例えば、第１アバターの特性を、第２アバターに付与された第２特性に同期させるものであってもよい。

【0163】

また、第１発明において、特性を同期させる処理は、特性を完全に一致させるような処理に限定されるものではない。そのため、例えば、複数ある特性の一部を同期させる処理であってもよい。具体的には、移動可能速度とサイズのうち、サイズのみを同期させる処理等であってもよい。また、例えば、特性を規定する値を近づける処理であってもよい。具体的には、移動可能速度の値を近づける処理等であってもよい。

【0164】

さらに、特性を同期させる処理が複数種類ある場合には、それらの処理ごとに対応するトリガーイベントを定めておいてもよい。例えば、第２アバターが第１アバターに右手で触れた場合には、第２アバターの特性を、第１アバターに付与された特性に同期させ、第２アバターが第１アバターに左手で触れた場合には、第１アバターの特性を、第２アバターに付与された特性に同期させるように構成してもよい。

【0165】

また、上記実施形態では、アバターの特性として、サイズ、移動可能速度、移動可能範囲等を採用しているが、アバターの特性は、そのような構成に限定されるものではなく、ユーザの動作に対する、そのユーザに対応するアバターの動作を規定する特性であればよい。

【0166】

そのため、例えば、アバターの機能として視認可能な可視光線の範囲を規定してもよい。具体的には、一方のアバターが通常の可視光線の波長帯域の光だけを視認可能に設定され、他方のアバターが通常の可視光線の波長帯域の光に加えて赤外線の光を視認可能に設定されていた場合には、それぞれのアバターの環境（例えば、オブジェクトの見え方等）は、異なることになる。

【0167】

［第２実施形態］
以下、図８～図１３を参照して、第２実施形態に係る仮想空間体感システムであるＶＲシステムＳ２について説明する。

【0168】

なお、本実施形態のＶＲシステムＳ２は、アバターに付与される特性が１種類のみである点、及び、生成される仮想空間が複数である点を除き、第１実施形態のＶＲシステムＳ１と同様の構成を備えている。そのため、以下の説明においては、第１実施形態のＶＲシステムＳ１の構成と同一の構成又は対応する構成については、同一の符号を付すとともに、詳細な説明は省略する。

【0169】

［処理部の構成］
図８を用いて、サーバ３の備えている処理部の構成を詳細に説明する。

【0170】

サーバ３は、ＣＰＵ、ＲＡＭ、ＲＯＭ、インターフェース回路等を含む１つ又は複数の電子回路ユニットにより構成されている。サーバ３は、実装されたハードウェア構成又はプログラムにより実現される機能（処理部）として、図８に示すように、仮想環境生成部３０と、ユーザ動作認識部３１と、アバター動作制御部３２と、アバター環境決定部３３と、ユーザ環境決定部３４と、トリガーイベント認識部３５とを備えている。

【0171】

仮想環境生成部３０は、仮想空間生成部３０ａと、アバター生成部３０ｂとを有している。

【0172】

仮想空間生成部３０ａは、ユーザＵが存在する現実空間ＲＳ（図１参照）に対応する第１仮想空間ＶＳ１、及び、第１仮想空間ＶＳ１とは独立し、現実空間ＲＳに対応する第２仮想空間ＶＳ２を生成する。

【0173】

具体的には、仮想空間生成部３０ａは、第１仮想空間ＶＳ１及び第２仮想空間ＶＳ２（以下、総称する場合は「仮想空間ＶＳ」という。）の背景及び仮想空間ＶＳに存在するオブジェクトとなる画像、及び、それらの画像に関連する音を生成する。

【0174】

アバター生成部３０ｂは、第１仮想空間ＶＳ１に、第１ユーザＵ１に対応する第１アバターＡ１、及び、第２ユーザＵ２に対応する第２ゴーストＧ２を生成し、第２仮想空間ＶＳ２に、第２ユーザＵ２に対応する第２アバターＡ２、及び、第１ユーザＵ１に対応する第１ゴーストＧ１を生成する（図９等参照）。

【0175】

ここで、「ゴースト」とは、ユーザに対応して動作するアバターの１つであり、その環境が対応するユーザに認識させる環境に影響を与えないものである。本実施形態では、ゴーストＧは、そのゴーストＧに対応するユーザＵ以外のユーザＵに対して、対応するユーザＵの存在、動作等を示すために用いられる。

【0176】

第１アバターＡ１及び第２アバターＡ２（以下、総称する場合は「アバターＡ」という。）、並びに、第１ゴーストＧ１及び第２ゴーストＧ２（以下、総称する場合は「ゴーストＧ」という。）は、対応するユーザＵの現実空間ＲＳにおける動作に対応して、第１仮想空間ＶＳ１又は第２仮想空間ＶＳ２において動作する。

【0177】

第１アバターＡ１及び第２アバターＡ２の存在する仮想空間ＶＳは、ＶＲシステムＳ２の使用中に変更される場合がある。例えば、後述する所定のトリガーイベントが認識された際に変更される。また、その変更に伴って、第１ゴーストＧ１及び第２ゴーストＧ２は、消去される場合がある。

【0178】

なお、本実施形態におけるゴーストＧの画像には、そのゴーストＧがどのユーザＵに対応しているかを示す情報が付加されている。これは、ユーザＵが、そのゴーストＧが自分以外のどのユーザに対応するものであるかを、容易に把握することができるようにするためである。

【0179】

具体的には、対応するアバターＡの形状を半透明にしたものをゴーストＧの形状として採用することによって、そのゴーストＧがどのアバターＡに対応しているかという情報（ひいては、どのユーザＵに対応しているかという情報）が、間接的に示されている。

【0180】

ただし、「どのユーザに対応しているかを示す情報」は、そのような間接的な情報に限定されるものではない。そのため、例えば、常時又はユーザの要求に応じて表示されるメッセージといった直接的な情報であってもよい。

【0181】

アバター動作制御部３２は、アバター生成部３０ｂによって生成されたアバターＡに、特性を付与する。本実施形態では、特性の付与は、ＶＲシステムＳ２の使用開始時（例えば、使用するアバターＡの種類の選択時等）に実行される。

【0182】

また、アバター動作制御部３２は、ユーザ姿勢認識部３１ａによって認識されたユーザＵの現実空間ＲＳにおける姿勢、ユーザ座標認識部３１ｂによって認識されたユーザＵの現実空間ＲＳにおける座標、及び、付与された特性に基づいて、そのユーザＵに対応するアバターＡ及びゴーストＧの仮想空間ＶＳにおける動作（例えば、座標の移動、向きを含む姿勢の変化等）を決定する。

【0183】

なお、本実施形態のＶＲシステムＳ２では採用していないが、仮想空間特有の特性が設定されている場合には、アバター動作制御部は、ユーザの動作及びアバターの特性の他に、その仮想空間の特性を参照するように構成されていてもよい。

【0184】

例えば、仮想空間が宇宙空間を模したものである場合には、その仮想空間におけるアバターに対する重力の影響と仮想空間におけるユーザに対する重力の影響とが異なるように、その仮想空間の特性が設定される場合がある。そのような場合には、ユーザの動作をアバターに反映させる際に、その仮想空間の特性が反映されることになる。

【0185】

【0186】

ここで、本実施形態におけるアバターの「環境」とは、仮想空間において、アバターに対して影響を与えるものを指す。例えば、アバターの環境とは、存在している仮想空間そのものの種類（地上であるか水中であるか）等である。

【0187】

［実行される処理］
次に、図８～図１３を参照して、ＶＲシステムＳ２を用いてユーザＵに仮想空間ＶＳを体感させる際に、ＶＲシステムＳ２の実行する処理について説明する。

【0188】

［通常の使用状態における処理］
まず、図８～図１０を参照して、ＶＲシステムＳ２が使用開始時、及び、通常の使用状態（すなわち、後述する所定のトリガーイベントを認識していない状態）で実行する処理について説明する。

【0189】

この処理においては、まず、サーバ３の仮想環境生成部３０は、第１仮想空間ＶＳ１及び第２仮想空間ＶＳ２、第１アバターＡ１及び第２アバターＡ２、並びに、第１ゴーストＧ１及び第２ゴーストＧ２を生成する（図９／ＳＴＥＰ３００）。

【0190】

具体的には、図１０に示すように、仮想環境生成部３０の仮想空間生成部３０ａは、仮想空間ＶＳの背景となる画像及び仮想空間ＶＳに存在する各種オブジェクトを生成する。本実施形態では、第１仮想空間ＶＳ１が海を模した仮想空間となるように、背景となる画像及びオブジェクトが生成され、第２仮想空間ＶＳ２が山を模した仮想空間となるように、背景となる画像及びオブジェクトが生成される。

【0191】

また、仮想環境生成部３０のアバター生成部３０ｂは、第１ユーザＵ１に対応する第１アバターＡ１及び第２ユーザＵ２に対応する第２ゴーストＧ２を第１仮想空間ＶＳ１に生成し、第２ユーザＵ２に対応する第２アバターＡ２及び第１ユーザＵ２に対応する第１ゴーストＧ１を第２仮想空間ＶＳ２に生成する。

【0192】

次に、サーバ３のアバター動作制御部３２は、第１アバターＡ１に第１特性を付与するとともに、第２アバターＡ２に第２特性を付与する（図９／ＳＴＥＰ３０１）。

【0193】

本実施形態では、第１アバターＡ１に付与される特性と第２アバターＡ２に付与される特性とは、同一のものであり、その後に変更されないものとなっている。ただし、第１アバターＡ１及び第２アバターＡ２に付与される特性は、第１実施形態のように、互いに異なるものであり、且つ、その後変更され得るものであってもよい。

【0194】

次に、サーバ３のアバター動作制御部３２は、第１ユーザＵ１の動作及び第１アバターＡ１に付与された特性に基づいて、第１アバターＡ１及び第１ゴーストＧ１の動作を決定し、第２ユーザＵ２の動作及び第２アバターＡ２に付与された特性に基づいて、第２アバターＡ２及び第２ゴーストＧ２の動作を決定する（図９／ＳＴＥＰ３０２）。

【0195】

次に、サーバ３のアバター環境決定部３３は、第１アバターＡ１の動作及び第１仮想空間ＶＳ１の状況に基づいて、第１アバターＡ１の環境を決定し、第２アバターＡ２の動作及び第２仮想空間ＶＳ２の状況に基づいて、第２アバターＡ２の環境を決定する（図９／ＳＴＥＰ３０３）。

【0196】

次に、サーバ３のユーザ環境決定部３４は、第１ユーザＵ１に認識させる環境を、第１アバターＡ１の環境に基づいて決定し、第２ユーザＵ２に認識させる環境を、第２アバターＡ２の環境に基づいて決定する（図９／ＳＴＥＰ３０４）。

【0197】

具体的には、ユーザ環境決定部３４は、第１ユーザＵ１に認識させる環境として、第１アバターＡ１の環境を表す第１仮想空間ＶＳ１の画像及び音を決定し、第２ユーザＵ２に認識させる環境として、第２アバターＡ２の環境を表す第２仮想空間ＶＳ２の画像及び音を決定する。

【0198】

次に、ユーザＵに装着されたＨＭＤ４は、決定された環境を出力する（図９／ＳＴＥＰ３０５）。

【0199】

【0200】

次に、サーバ３のユーザ動作認識部３１は、第１ユーザＵ１又は第２ユーザＵ２がなんらかの動作を行ったか否かを判断する（図９／ＳＴＥＰ３０６）。

【0201】

第１ユーザＵ１又は第２ユーザＵ２がなんらかの動作を行った場合（ＳＴＥＰ３０６でＹＥＳの場合）、ＳＴＥＰ３０２に戻り、再度、ＳＴＥＰ３０２以降の処理が実行される。

【0202】

一方、第１ユーザＵ１又は第２ユーザＵ２がなんらかの動作を行っていなかった場合（ＳＴＥＰ３０６でＮＯの場合）、サーバ３は、処理の終了を指示する信号を認識したか否かを判断する（図９／ＳＴＥＰ３０７）。

【0203】

終了を指示する信号を認識できなかった場合（ＳＴＥＰ３０７でＮＯの場合）、ＳＴＥＰ３０６に戻り、再度、ＳＴＥＰ３０６以降の処理が実行される。

【0204】

一方、終了を指示する信号を認識した場合（ＳＴＥＰ３０７でＹＥＳの場合）、ＶＲシステムＳ２は、今回の処理を終了する。

【0205】

以上の処理により、図１０に示すように、第１仮想空間ＶＳ１では、第１ユーザＵ１に対応する第１アバターＡ１及び第２ユーザＵ２に対応する第２ゴーストＧ２を含む複数のオブジェクトが設置され、第２仮想空間ＶＳ２では、第２ユーザＵ２に対応する第２アバターＡ２及び第１ユーザＵ１に対応する第１ゴーストＧ１を含む複数のオブジェクトが設置される。

【0206】

そして、第１ユーザＵ１及び第２ユーザＵ２は、それぞれが装着したＨＭＤ４で表示される画像及び発生される音によって、それぞれに対応する第１アバターＡ１及び第２アバターＡ２を介して、自身が第１仮想空間ＶＳ１又は第２仮想空間ＶＳ２に存在し、自由に動作することができると認識するようになる。

【0207】

なお、このとき、第１ユーザＵ１及び第２ユーザＵ２の一方は、第１ユーザＵ１及び第２ユーザＵ２の他方とメッセージの送信等を介して互いにコミュニケーション可能な状態となっている。これにより、第１ユーザＵ１及び第２ユーザＵ２とは、存在している仮想空間ＶＳは異なるものの、同時にＶＲシステムＳ２を使用していることを、互いに認識している状態となっている。

【0208】

［仮想空間を同期させる際及びそれ以降における処理］
次に、図８、図１１～図１３を参照して、仮想空間ＶＳを同期させる際及びそれ以後において実行する処理について説明する。

【0209】

まず、この処理の具体的な説明に先立ち、この処理が実行される背景について説明する。

【0210】

前述のように、本実施形態では、ＶＲシステムＳ２の使用を開始した段階では、第１アバターＡ１は、第１仮想空間ＶＳ１に存在しており、第２アバターＡ２は、第２仮想空間ＶＳ２に存在している。

【0211】

そのようにアバターＡごとに存在している仮想空間ＶＳが異なる場合、例えば、ユーザＵがコミュニケーション（具体的には、空間の種別を超えての会話等）を行った際等に、第１ユーザＵ１及び第２ユーザＵ２の一方が他方の環境を体感したい、又は、一方が他方に自らの環境を体感させたいという要望が生じることがある。

【0212】

例えば、本実施形態では、第１ユーザＵ１が、第１アバターＡ１を介して、第１仮想空間ＶＳ１にのみ存在しているオブジェクト（例えば、海を泳いでいるイルカのオブジェクトである第２オブジェクトＯ２）を視認している場合であっても、第２ユーザＵ２は、そのオブジェクトを視認することはできないという状況が生じ得る。

【0213】

そのような状況が生じた場合、第１ユーザＵ１が第２ユーザＵ２に対して、メッセージ機能等によって、その第２オブジェクトＯ２の存在を知らせた結果、第２ユーザＵ２が、第１ユーザＵ１が視認しているオブジェクトを、第１ユーザＵ１と同様に視認したいという要望が生じることがある。

【0214】

そこで、本実施形態のＶＲシステムＳ２では、そのような要望が生じた場合に対応するために、以下に説明する処理によって、第１アバターＡ１の存在している第１仮想空間ＶＳ１と第２アバターＡ２の存在している第２仮想空間ＶＳ２とを同期させる処理を、実行可能に構成されている。

【0215】

この処理においては、まず、サーバ３のトリガーイベント認識部３５は、所定のトリガーイベントを認識したか否かを判断する（図１１／ＳＴＥＰ４００）。

【0216】

具体的には、トリガーイベント認識部３５は、仮想空間ＶＳで、ユーザＵに対応するアバターＡの動作を認識し、その動作が所定のトリガーイベントとして予め規定された所定の動作に該当するか否を判断する。本実施形態では、図１２に示すように、アバターＡがゴーストＧに触れる動作が、所定のトリガーイベントとして設定されている。

【0217】

所定のトリガーイベントを認識した場合（ＳＴＥＰ４００でＹＥＳの場合）、サーバ３の仮想環境生成部３０のアバター生成部３０ｂは、第１アバターＡ１の存在している第１仮想空間ＶＳ１と第２アバターＡ２が存在している第２仮想空間ＶＳ２とを同期させる（図１１／ＳＴＥＰ４０１）。

【0218】

具体的には、まず、アバター生成部３０ｂは、第１仮想空間ＶＳ１において、第２ゴーストＧ２を消去するとともに、第２アバターＡ２を生成する。次に、アバター生成部３０ｂは、第２仮想空間ＶＳ２において、第２アバターＡ２及び第１ゴーストＧ１を消去する。これにより、図１３に示すように、第１アバターＡ１及び第２アバターＡ２の両方が、第１仮想空間ＶＳ１に存在している状態となる。

【0219】

一方で、第２仮想空間ＶＳ２は、同期させる処理の実行後においては、アバターＡ及びゴーストＧが存在しない状態となっている。これは、本実施形態のＶＲシステムＳ２では採用していないが、所定のトリガーイベント以外の他のトリガーイベントが認識された場合に（例えば、アバターＡがスイッチ型のオブジェクトを押した場合に）、第２仮想空間ＶＳ２に、再度アバターＡを生成する場合があるためである。

【0220】

なお、本実施形態のＶＲシステムＳ２では採用していないが、第２仮想空間ＶＳ２の環境を、第１仮想空間ＶＳ１の環境に変化させることによって、第１仮想空間ＶＳ１と第２仮想空間ＶＳ２とを同期させてもよい。その場合、第１仮想空間ＶＳ１において第２アバターＡ２を生成する処理及び第２ゴーストＧ２を消去する処理、並びに、第２仮想空間ＶＳ２において第１アバターＡ１を生成する処理及び第１ゴーストＧ１を消去する処理は、実行してもよいし、実行しなくてもよい。

【0221】

仮想空間ＶＳを同期させる処理（ＳＴＥＰ４０１の処理）を実行した後には、サーバ３のアバター動作制御部３２は、第１ユーザＵ１の動作及び第１アバターＡ１に付与された特性に基づいて、第１アバターＡ１の動作を決定し、第２ユーザＵ２の動作及び第２アバターＡ２に付与された特性に基づいて、第２アバターＡ２の動作を決定する（図１１／ＳＴＥＰ４０２）。

【0222】

次に、サーバ３のアバター環境決定部３３は、第１アバターＡ１の動作及び第１仮想空間ＶＳ１の状況に基づいて、第１アバターＡ１の環境を決定し、第２アバターＡ２の動作及び第１仮想空間ＶＳ１の状況に基づいて、第２アバターＡ２の環境を決定する（図１１／ＳＴＥＰ４０３）。

【0223】

一方、所定のトリガーイベントを認識しなかった場合（ＳＴＥＰ４００でＮＯの場合）、ＳＴＥＰ３０２における処理と同様に、サーバ３のアバター動作制御部３２は、第１ユーザＵ１の動作及び第１アバターＡ１に付与された特性に基づいて、第１アバターＡ１及び第１ゴーストＧ１の動作を決定し、第２ユーザＵ２の動作及び第２アバターＡ２に付与された特性に基づいて、第２アバターＡ２及び第２ゴーストＧ２の動作を決定する（図１１／ＳＴＥＰ４０４）。

【0224】

次に、サーバ３のアバター環境決定部３３は、第１アバターＡ１の動作及び第１仮想空間ＶＳ１の状況に基づいて、第１アバターＡ１の環境を決定し、第２アバターＡ２の動作及び第２仮想空間ＶＳ２の状況に基づいて、第２アバターＡ２の環境を決定する（図１１／ＳＴＥＰ４０５）。

【0225】

アバターＡの環境を決定する処理（ＳＴＥＰ４０３の処理、又は、ＳＴＥＰ４０５の処理）を実行した後には、サーバ３のユーザ環境決定部３４は、第１ユーザＵ１に認識させる環境を、第１アバターＡ１の環境に基づいて決定し、第２ユーザＵ２に認識させる環境を、第２アバターＡ２の環境に基づいて決定する（図１１／ＳＴＥＰ４０６）。

【0226】

具体的には、ユーザ環境決定部３４は、第１ユーザＵ１に認識させる環境として、第１アバターＡ１の環境を表す第１仮想空間ＶＳ１の画像及び音を決定し、第２ユーザＵ２に認識させる環境として、第２アバターＡ２の環境を表す第１仮想空間ＶＳ１の画像及び音、又は、第２仮想空間ＶＳ２の画像又は音を決定する。

【0227】

次に、ユーザＵに装着されたＨＭＤ４は、ＳＴＥＰ３０５における処理と同様に、決定された環境を出力する（図１１／ＳＴＥＰ４０７）。

【0228】

次に、サーバ３のユーザ動作認識部３１は、第１ユーザＵ１又は第２ユーザＵ２がなんらかの動作を行ったか否かを判断する（図１１／ＳＴＥＰ４０８）。

【0229】

第１ユーザＵ１又は第２ユーザＵ２がなんらかの動作を行った場合（ＳＴＥＰ４０８でＹＥＳの場合）、トリガーイベント認識部３５は、第１仮想空間ＶＳ１と第２仮想空間ＶＳ２とを同期させる処理（ＳＴＥＰ４０１の処理））が実行済みであるか否かを判断する（図１１／ＳＴＥＰ４０９）。

【0230】

具体的には、トリガーイベント認識部３５は、第１仮想空間ＶＳ１と第２仮想空間ＶＳ２とを同期させる処理の実行のキーとなる所定のトリガーイベントを認識したことが有るか否かに基づいて、その処理が実行済みであるか否かを判断する。

【0231】

同期させる処理が実行済みでなかった場合（ＳＴＥＰ４０９でＮＯの場合）、ＳＴＥＰ４００に戻り、再度、ＳＴＥＰ４００以降の処理が実行される。

【0232】

一方、同期させる処理が実行済みであった場合（ＳＴＥＰ４０９でＹＥＳの場合）、ＳＴＥＰ４０２に戻り、再度、ＳＴＥＰ４０２以降の処理が実行される。

【0233】

一方、第１ユーザＵ１又は第２ユーザＵ２がなんらかの動作を行っていなかった場合（ＳＴＥＰ４０８でＮＯの場合）、サーバ３は、処理の終了を指示する信号を認識したか否かを判断する（図１１／ＳＴＥＰ４１０）。

【0234】

終了を指示する信号を認識できなかった場合（ＳＴＥＰ４１０でＮＯの場合）、ＳＴＥＰ４０８に戻り、再度、ＳＴＥＰ４０８以降の処理が実行される。

【0235】

一方、終了を指示する信号を認識した場合（ＳＴＥＰ４１０でＹＥＳの場合）、ＶＲシステムＳ２は、今回の処理を終了する。

【0236】

以上説明したように、本実施形態のＶＲシステムＳ２では、所定のトリガーイベントが認識される以前には、第１アバターＡ１を第１仮想空間ＶＳ１に生成して、第１アバターＡ１の環境を決定するとともに、第２アバターＡ２を第２仮想空間ＶＳ２に生成して、第２アバターＡ２の環境を決定する。

【0237】

一方で、所定のトリガーイベントが認識された以後には、第１アバターＡ１及び第２アバターＡ２を第１仮想空間ＶＳ１に生成して、第１アバターＡ１及び第２アバターＡ２の環境を決定する。

【0238】

これにより、所定のトリガーイベントが認識される以前には、第１ユーザＵ１に対応する第１アバターＡ１の存在する仮想空間（例えば、本実施形態における第１仮想空間ＶＳ１）と、第２ユーザＵ２に対応する第２アバターＡ２の存在する仮想空間（例えば、本実施形態における第２仮想空間ＶＳ２）とは、独立したものになっている。そのため、アバターＡの環境は、従来のように、独立したものになる。ひいては、ユーザＵが体感する環境も、従来のように、独立したものになる。

【0239】

一方、所定のトリガーイベントが認識された以後には、第１ユーザＵ１に対応する第１アバターＡ１の存在する仮想空間と第２ユーザＵ２に対応する第２アバターＡ１の存在する仮想空間とは、同一の仮想空間（例えば、本実施形態における第１仮想空間ＶＳ１）になる。そのため、アバターＡの環境は、一致したもの又は同様のものになる。ひいては、ユーザＵが体感する環境も、一致したもの又は同様のものになる。

【0240】

したがって、ＶＲシステムＳ２によれば、所定のトリガーイベントが認識された以後には、アバターＡの環境を同期させる処理が実行されて、第１ユーザＵ１及び第２ユーザＵ２に認識させる仮想空間ＶＳの環境が同様のものになるので、それまで異なる環境を体感していた第１ユーザＵ１及び第２ユーザＵ２が、同様の環境を体感することができるようになる。

【0241】

［第２実施形態の変形例］
なお、本実施形態では、アバターＡがゴーストＧに触れる動作が、所定のトリガーイベントとして設定されている。

【0242】

これは、アバターＡがゴーストＧに対して実行する所定の動作を所定のトリガーイベントとして設定すると、そのアバターＡに対応するユーザＵは、その動作を実行した結果、ゴーストＧに対応するユーザＵの環境を自らも体感することができることを、直感的に理解することができるようになるためである。

【0243】

しかし、第２発明において、所定のトリガーイベントとなる「所定の動作」とは、このようにアバターがゴーストに触れる動作に限定されるものではなく、アバターがゴーストを基準として行う何らかの動作であればよい。

【0244】

例えば、所定の動作とは、アバターがゴーストに接触するような動作、アバターがゴーストを基準とした所定の範囲内に移動するような動作、アバターが仮想空間に存在するオブジェクトを操作する際に、その対象としてゴーストを選択するような動作（例えば、カメラ型オブジェクトでゴーストを撮影するような動作等）等であってもよい。

【0245】

さらに、第２発明におけるトリガーイベントは、必ずしも、第１ユーザ及び第２ユーザの一方に対応するアバターが第１ユーザ及び第２ユーザの他方に対応するゴーストに対して実行する所定の動作である必要はない。そのため、例えば、別途設けられたインターフェースを介して、ユーザが特性の変化を指示した場合に、その指示を行ったことを、トリガーイベントとしてもよい。

【0246】

また、上記実施形態では、第１実施形態におけるＶＲシステムＳ１とは異なり、アバターＡに付与される特性が１種類のみとなっている。しかし、第２発明の仮想空間体感システムは、このような構成に限定されるものではなく、本実施形態のように仮想空間を同期させる処理に加え、第１実施形態のようにアバターの特性を同期させる処理も実行されるように構成されていてもよい。

【0247】

［第３実施形態］
以下、図１４～図２０を参照して、第３実施形態に係る複合空間体感システムであるＭＲシステムＳ３について説明する。

【0248】

ＭＲシステムＳ３は、現実空間ＲＳの所定の領域（例えば、１つの部屋等）に共に存在する第３ユーザＵ３及び第４ユーザＵ４（第３発明における第１ユーザ及び第２ユーザ。以下、総称する場合は「ユーザＵ」という。）に対し、その領域に対応する第１複合空間ＭＳ１又は第２複合空間ＭＳ２（以下、総称する場合は「複合空間ＭＳ」という。）に、自らが共に存在すると認識させるものである（図１７等参照）。

【0249】

なお、本実施形態では、理解を容易にするために、ユーザは２人としている。しかし、第３発明の複合空間体感システムは、そのような構成に限定されるものではなく、ユーザの数は３人以上であってもよい。

【0250】

［システムの概略構成］
まず、図１４を参照して、ＭＲシステムＳ３の概略構成について説明する。

【0251】

図１４に示すように、ＭＲシステムＳ３は、現実空間ＲＳに存在するユーザＵ及び現実空間ＲＳを撮影するカメラ５と、複合空間ＭＳ（図４等参照）の画像及び音を決定するサーバ６と、決定された画像及び音をユーザに認識させるヘッドマウントディスプレイ（以下、「ＨＭＤ７」という。）とを備えている。

【0252】

ＭＲシステムＳ３では、カメラ５、サーバ６及びＨＭＤ７は、インターネット網、公衆回線、近距離無線通信等の無線で相互に情報を送受信可能となっている。ただし、それらのいずれか同士を有線で相互に情報を送受信可能に構成してもよい。

【0253】

カメラ５は、ユーザＵの存在する現実空間ＲＳのユーザＵが動作可能範囲（すなわち、座標の移動、向きを含む姿勢の変化等をし得る範囲）を多方向から撮影可能なように設置されている。

【0254】

サーバ６は、カメラ５が撮影した画像からユーザＵの身体等における特徴点を認識し、その認識された特徴点の現実空間ＲＳにおける位置に基づいて、ユーザＵの座標及び姿勢を認識する。また、サーバ６は、カメラ５が撮影した画像から現実空間ＲＳの特徴点を認識し、現実空間ＲＳに存在する実在のオブジェクト（例えば、本棚等）の座標及び姿勢を認識する。

【0255】

さらに、サーバ６は、ユーザＵの座標及び姿勢、並びに、現実空間ＲＳにおける特徴点に基づいて、ユーザＵに認識させる複合空間ＭＳの画像及び音を決定する。

【0256】

ＨＭＤ７は、ユーザに複合空間ＭＳの環境を認識させる環境出力器である。ＨＭＤ７は、ユーザＵの頭部に装着される。ＨＭＤ７は、ユーザＵに、サーバ６によって決定された複合空間ＭＳの画像をユーザＵの認識させるためのモニタ７０と、サーバ６によって決定された複合空間ＭＳの音をユーザＵに認識させるためのスピーカ７１とを有している（図１５参照）。

【0257】

ＭＲシステムＳ３を用いて複合空間ＭＳを体感する場合、ユーザＵは、現実空間ＲＳの画像及び音とともに、体感せられる複合空間ＭＳに対応した仮想のオブジェクトに関する画像及び音を認識させられる。なお、その仮想のオブジェクトは、ユーザＵの動作に応じて、所定の動作（例えば、座標の移動等）を行うものとして構成されている。

【0258】

なお、第３発明の複合空間体感システムは、そのような構成に限定されるものではない。例えば、モーションキャプチャー装置を使用する場合には、上記の構成のものの他、カメラの数及び配置が図示した数及び配置とは異なる構成のものを用いてもよい。また、ユーザの特徴点及び現実空間の特徴点の少なくとも一方の特徴点を認識するために、ユーザ又は現実空間に存在する実在のオブジェクトに取り付ける標識を用いてもよい。

【0259】

【0260】

サーバ６は、ＣＰＵ、ＲＡＭ、ＲＯＭ、インターフェース回路等を含む１つ又は複数の電子回路ユニットにより構成されている。サーバ６は、実装されたハードウェア構成又はプログラムにより実現される機能（処理部）として、図１５に示すように、現実空間認識部６０と、複合環境生成部６１と、ユーザ動作認識部６２と、オブジェクト制御部６３と、ユーザ環境決定部６４と、トリガーイベント認識部６５とを備えている。

【0261】

現実空間認識部６０は、カメラ５が撮影した現実空間ＲＳの画像データを認識し、その画像データに基づいて、現実空間ＲＳの状況を認識ずる。現実空間ＲＳの状況とは、例えば、現実空間ＲＳに存在する他のユーザＵ及び実在のオブジェクトの座標及び姿勢等である。

【0262】

複合環境生成部６１は、オブジェクト生成部６１ａと、複合空間生成部６１ｂとを有している。

【0263】

オブジェクト生成部６１ａは、複合空間ＭＳに存在させて、ユーザＵに認識させる仮想のオブジェクトを生成する（図１７等参照）。その仮想のオブジェクトには、後述する第１複合空間ＭＳ１に存在させる第３オブジェクトＯ３、及び、第２複合空間ＭＳ２に存在させる第４オブジェクトＯ４（第３発明における第１オブジェクト及び第２オブジェクト）が含まれる。

【0264】

第３オブジェクトＯ３及び第４オブジェクトＯ４（以下、総称する場合は「オブジェクトＯ」という。）の少なくとも一部は、複合空間ＭＳで、ユーザＵの動作に応じて動作するものとして構成されている。

【0265】

複合空間生成部６１ｂは、現実空間認識部６０で認識された現実空間ＲＳの画像に第３オブジェクトＯ３を存在させて、第１複合空間ＭＳ１を生成する。また、複合空間生成部６１ｂは、現実空間認識部６０で認識された現実空間ＲＳの画像に第４オブジェクトＯ４を存在させて、第２複合空間ＭＳ２を生成する。

【0266】

ユーザ動作認識部６２は、カメラ５が撮影したユーザＵの画像データを認識し、その画像データに基づいて、ユーザＵの現実空間ＲＳにおける動作を認識する。ユーザ動作認識部６２は、ユーザ姿勢認識部６２ａと、ユーザ座標認識部６２ｂとを有している。

【0267】

ユーザ姿勢認識部６２ａは、入力されたユーザＵの画像データからユーザＵの身体等の特徴点を抽出し、その抽出結果に基づいて、ユーザＵの向きを含む姿勢を認識する。

【0268】

ユーザ座標認識部６２ｂは、入力されたユーザＵの画像データから抽出されたユーザＵの身体等の特徴点の抽出結果、及び、現実空間認識部６０が認識した現実空間ＲＳの状況（例えば、実在のオブジェクトの座標等）に基づいて、ユーザＵの座標を認識する。

【0269】

オブジェクト制御部６３は、ユーザ姿勢認識部６２ａによって認識されたユーザＵの現実空間ＲＳにおける姿勢、及び、ユーザ座標認識部６２ｂによって認識されたユーザＵの現実空間ＲＳにおける座標に基づいて、そのユーザＵの体感している複合空間ＭＳに存在しているオブジェクトＯの動作を制御する。

【0270】

例えば、オブジェクト制御部６３は、ユーザＵがオブジェクトＯを移動させるような動作を行った際に、そのオブジェクトＯの複合空間ＭＳにおける座標を移動させる。

【0271】

ユーザ環境決定部６４は、ユーザＵに、ＨＭＤ７のモニタ７０及びスピーカ７１を介して認識させる複合空間ＭＳの環境を決定する。

【0272】

【0273】

本実施形態では、ユーザ環境決定部６４は、ユーザＵの動作及びユーザＵに体感させる複合空間ＭＳの種類を認識し、ユーザＵの動作に基づいて、複合空間ＭＳのどの領域を、そのユーザＵに体感させるかを決定する。

【0274】

トリガーイベント認識部６５は、システム設計者が予め定めた条件を満たした際に、所定のトリガーイベントが発生したことを認識する。

【0275】

ここで、「トリガーイベント」は、ユーザがその発生を認識していないものであってもよい。そのため、トリガーイベントとしては、例えば、ユーザが現実空間において所定の動作を行うこと等のユーザの動作に起因するものも該当するし、所定時間の経過といったユーザの動作に起因しないものも該当する。

【0276】

なお、第３発明の複合空間体感システムを構成する各処理部は、上記のような構成に限定されるものではない。

【0277】

例えば、本実施形態においてサーバ６に設けられている処理部の一部を、ＨＭＤ７に設けてもよい。また、複数のサーバを用いて構成してもよいし、サーバを省略してＨＭＤに搭載されているＣＰＵを協働させて構成してもよい。また、ＨＭＤに搭載されているスピーカ以外のスピーカを設けてもよい。また、視覚及び聴覚へ影響を与えるデバイスの他、複合空間に応じた匂い、風等を生じさせるような嗅覚及び触覚へ影響を与えるデバイスを含めてもよい。

【0278】

［実行される処理］
次に、図１５～図２０を参照して、ＭＲシステムＳ３を用いてユーザＵに複合空間ＭＳを体感させる際に、ＭＲシステムＳ３の実行する処理について説明する。

【0279】

［通常の使用状態における処理］
まず、図１５～図１７を参照して、ＭＲシステムＳ３が使用開始時、及び、通常の使用状態（すなわち、後述する所定のトリガーイベントを認識していない状態）で実行する処理について説明する。

【0280】

この処理においては、まず、サーバ６の複合環境生成部６１は、第１複合空間ＭＳ１及び第２複合空間ＭＳ２を生成する（図１６／ＳＴＥＰ５００）。

【0281】

具体的には、図１７に示すように、まず、複合環境生成部６１のオブジェクト生成部６１ａは、第１複合空間ＭＳ１に存在させる第３オブジェクトＯ３、及び、第２複合空間ＭＳ２に存在させる第４オブジェクトＯ４を生成する。

【0282】

本実施形態では、第３オブジェクトＯ３は、第１複合空間ＭＳ１を認識しているユーザＵの動作に応じて座標及び姿勢が制御される花の鉢植えのオブジェクト（以下、単に「花Ｏ３０」という。）と、他のユーザＵに付加される第１メッセージボードＯ３１とを含んでいる。第１メッセージボードＯ３１には、その第１メッセージボードＯ３１を付加されたユーザＵのステータス（例えば、体感している複合空間ＭＳの種類等）が表示される。

【0283】

また、本実施形態では、第４オブジェクトＯ４は、第２複合空間ＭＳ２を認識しているユーザＵの動作に応じて座標及び姿勢が制御される本のオブジェクト（以下、単に「本Ｏ４０」という。）と、他のユーザＵに付加される第２メッセージボードＯ４１とを含んでいる。第２メッセージボードＯ４１には、その第２メッセージボードＯ４１を付加されたユーザＵのステータス（例えば、体感している複合空間ＭＳの種類等）が表示される。

【0284】

その後、複合環境生成部６１の複合空間生成部６１ｂは、現実空間認識部６０によって認識された現実空間ＲＳの画像に、第３オブジェクトＯ３を重畳させて、第１複合空間ＭＳ１を生成する。また、複合空間生成部６１ｂは、現実空間認識部６０によって認識された現実空間ＲＳの画像に、第４オブジェクトＯ４を重畳させて、第２複合空間ＭＳ２を生成する。

【0285】

次に、サーバ６のユーザ環境決定部６４は、第３ユーザＵ３に認識させる複合空間ＭＳ及び第４ユーザＵ４に認識させる複合空間ＭＳを決定する（図１６／ＳＴＥＰ５０１）。

【0286】

具体的には、ユーザ環境決定部６４は、別途設けられたインターフェース（不図示）を介して入力されたユーザＵからの指示に基づいて、ユーザＵに認識させる複合空間ＭＳを選択する。

【0287】

本実施形態では、第３ユーザＵ３は、第１複合空間ＭＳ１を認識することを選択し、第４ユーザＵ４は、第２複合空間ＭＳ２を認識することを選択したものとする。

【0288】

なお、第３発明において、ユーザに認識させる複合空間を決定する方法は、このような構成に限定されるものではなく、システム設計者が適宜設定してよい。そのため、例えば、予め入力されたユーザの特性（ユーザの年齢といった身体的な特性、複合空間体感システムの使用目的といった特性等）に応じて、そのユーザに認識させる複合空間を、自動的に決定するように構成されていてもよい。

【0289】

次に、サーバ６のユーザ環境決定部６４は、ＭＲシステムＭＳ３の使用開始時における第３ユーザＵ３の状態及び第１複合空間ＭＳ１の状況に基づいて、第３ユーザＵ３に認識させる第１複合空間ＭＳ１における環境を決定し、ＭＲシステムＭＳ３の使用開始時における第４ユーザＵ４の状態及び第２複合空間ＭＳ２の状況に基づいて、第４ユーザＵ４に認識させる第２複合空間ＭＳ２における環境を決定する（図１６／ＳＴＥＰ５０２）。

【0290】

具体的には、ユーザ環境決定部６４は、第３ユーザＵ３に認識させる環境として、第３ユーザＵ３の現実空間ＲＳの座標及び姿勢に基づいて、現実空間ＲＳのうちの認識させる領域の画像、その領域における第３オブジェクトＯ３の画像、及び、それに伴う音を決定する。

【0291】

また、ユーザ環境決定部６４は、第４ユーザＵ４に認識させる環境として、第４ユーザＵ４の現実空間ＲＳの座標及び姿勢に基づいて、現実空間ＲＳのうちの認識させる領域の画像、その領域における第４オブジェクトＯ４の画像、及び、それに伴う音を決定する。

【0292】

次に、ユーザＵに装着されたＨＭＤ７は、決定された環境を出力する（図１６／ＳＴＥＰ５０３）。

【0293】

具体的には、ＨＭＤ７は、ＨＭＤ７に搭載されているモニタ７０に、決定された画像を表示させ、ＨＭＤ７に搭載されているスピーカ７１に決定された音を発生させる。

【0294】

次に、サーバ６のユーザ動作認識部３１は、第３ユーザＵ３又は第４ユーザＵ４がなんらかの動作を行ったか否かを判断する（図１６／ＳＴＥＰ５０４）。

【0295】

ユーザＵが動作した場合（ＳＴＥＰ５０４でＹＥＳの場合）、サーバ６のオブジェクト制御部６３は、そのユーザＵの動作がオブジェクトＯを操作する動作であるか否かを判断する（図１６／ＳＴＥＰ５０５）。

【0296】

例えば、ユーザＵの動作が、オブジェクト制御部６３は、そのユーザＵが存在している複合空間ＭＳで、その複合空間ＭＳに存在しているオブジェクトＯを、移動させるような動作であるか否かを判断する。具体的には、オブジェクト制御部６３は、ユーザＵの動作がそのオブジェクトＯに対する所定の動作に該当するか否かを判断する。

【0297】

ユーザＵの動作がオブジェクトＯを操作する動作であった場合（ＳＴＥＰ５０５でＹＥＳの場合）、オブジェクト制御部６３は、ユーザＵの動作の種類に応じて、オブジェクトＯを制御する（図１６／ＳＴＥＰ５０６）。

【0298】

例えば、オブジェクト制御部６３は、ユーザＵの動作がオブジェクトＯを移動させるような動作であった場合には、その動作の内容に応じて、オブジェクトＯの座標を変化させる。

【0299】

オブジェクトＯを制御する処理（ＳＴＥＰ５０６の処理）を実行した後、又は、ユーザＵの動作がオブジェクトＯを操作する動作でなかった場合（ＳＴＥＰ５０５でＮＯの場合）、ユーザ環境決定部６４は、その時点における第３ユーザＵ３の状態及び第１複合空間ＭＳ１の状況に基づいて、第３ユーザＵ３に認識させる第１複合空間ＭＳ１における環境を決定し、その時点における第４ユーザＵ４の状態及び第２複合空間ＭＳ２の状況に基づいて、第４ユーザＵ４に認識させる第２複合空間ＭＳ２における環境を決定する（図１６／ＳＴＥＰ５０７）。

【0300】

次に、ＨＭＤ７は、ＳＴＥＰ５０３と同様の処理を実行して、決定された環境を出力する（図１６／ＳＴＥＰ５０８）。

【0301】

決定された環境を出力する処理（ＳＴＥＰ５０８の処理）を実行した後、又は、ユーザＵが動作しなかった場合（ＳＴＥＰ５０４でＮＯの場合）、サーバ６は、処理の終了を指示する信号を認識したか否かを判断する（図１６／ＳＴＥＰ５０９）。

【0302】

終了を指示する信号を認識できなかった場合（ＳＴＥＰ５０９でＮＯの場合）、ＳＴＥＰ５０４に戻り、再度、ＳＴＥＰ５０４以降の処理が実行される。

【0303】

一方、終了を指示する信号を認識した場合（ＳＴＥＰ５０９でＹＥＳの場合）、ＭＲシステムＳ３は、今回の処理を終了する。

【0304】

以上の処理により、図１７に示すように、第３ユーザＵ３は、装着したＨＭＤ４で表示される画像及び発生される音によって、現実空間ＲＳに第３オブジェクトＯ３を存在させた第１複合空間ＭＳ１を認識し、その第１複合空間ＭＳ１で第３オブジェクトＯ３を操作することができる状態となる。

【0305】

また、装着したＨＭＤ４で表示される画像及び発生される音によって、第４ユーザＵ４は、現実空間ＲＳに第４オブジェクトＯ４を存在させた第２複合空間ＭＳ２を認識し、その第２複合空間ＭＳ２で第４オブジェクトＯ４を操作することができる状態となる。

【0306】

なお、このとき、第３ユーザＵ３及び第４ユーザＵ４の一方の認識している複合空間ＭＳには、現実空間ＲＳを基準として生成されたものであるので、その現実空間ＲＳに存在する第３ユーザＵ３及び第４ユーザＵ４の他方も存在する。

【0307】

そして、前述のように、第３ユーザＵ３及び第４ユーザＵ４の他方には、その第３ユーザＵ３又は第４ユーザＵ４の体感している複合空間ＭＳの種類を示すオブジェクトである第１メッセージボードＯ３１又は第２メッセージボードＯ４１が付加されている。

【0308】

そのため、第３ユーザＵ３と第４ユーザＵ４とは、同時にＭＲシステムＳ３を使用していること、及び、使用している場合にはどの複合空間ＭＳを体感しているかを、互いに認識できる状態となっている。

【0309】

［複合空間を同期させる際及びそれ以降における処理］
次に、図１４、図１８～図２０を参照して、複合空間ＭＳを同期させる際及びそれ以後において実行する処理について説明する。

【0310】

まず、この処理の具体的な説明に先立ち、この処理が実行される背景について説明する。

【0311】

前述のように、本実施形態では、ＭＲシステムＳ３の使用を開始した段階では、第３ユーザＵ３は、第１複合空間ＭＳ１を体感しており、第４ユーザＵ４は、第２複合空間ＭＳ２を体感している。

【0312】

そのようにユーザＵごとに体感している複合空間ＭＳが異なる場合、例えば、ユーザＵがコミュニケーション（具体的には、会話等）を行った際等に、第３ユーザＵ３及び第４ユーザＵ４の一方が他方の環境を体感したい、又は、一方が他方に自らの環境を体感させたいという要望が生じることがある。

【0313】

例えば、本実施形態では、第１複合空間ＭＳ１を体感している第３ユーザＵ３が、現実空間ＲＳに実在している棚に、仮想のオブジェクトである花Ｏ３０を並べたとする。そのとき、第２複合空間ＭＳ２を体感している第４ユーザＵ４は、第２複合空間ＭＳ２を体感しているので、第１複合空間ＭＳ１及び第２複合空間ＭＳ２に共通して存在する棚そのものを認識することはできても、そこに並べられた第１複合空間ＭＳ１のオブジェクトである花Ｏ３０を認識することはできない。

【0314】

そのような場合、第３ユーザＵ３が第４ユーザＵ４に対して、自らの並べた花Ｏ３０の状態を見てほしいと会話等によって伝えた結果、第４ユーザＵ４が、第３ユーザＵ３が視認している花Ｏ３０を、第３ユーザＵ３と同様に視認したいという要望が生じることがある。

【0315】

そこで、本実施形態のＭＲシステムＳ３では、そのような要望が生じた場合に対応するために、以下に説明する処理によって、第３ユーザＵ３の体感している第１複合空間ＭＳ１と、第４ユーザＵ４の体感している第２複合空間ＭＳ２とを同期させる処理を、実行可能に構成されている。

【0316】

この処理においては、まず、サーバ６のトリガーイベント認識部６５は、所定のトリガーイベントを認識したか否かを判断する（図１８／ＳＴＥＰ６００）。

【0317】

具体的には、トリガーイベント認識部６５は、複合空間ＭＳにおけるユーザＵの動作を認識し、その動作が所定のトリガーイベントとして予め規定された所定の動作に該当するか否を判断する。本実施形態では、図１９に示すように、第３ユーザＵ３及び第４ユーザＵ４の一方が他方に触れる動作が、所定のトリガーイベントとして設定されている。

【0318】

所定のトリガーイベントを認識した場合（ＳＴＥＰ６００でＹＥＳの場合）、サーバ６のユーザ環境決定部６４は、ユーザＵに体感させる複合空間ＭＳの種類を同期させる（図１８／ＳＴＥＰ６０１）。

【0319】

具体的には、ユーザ環境決定部６４は、第３ユーザＵ３体感させる複合空間ＭＳを、第１複合空間ＭＳ１のまま維持し、第４ユーザＵ４に体感させる複合空間ＭＳを、第２複合空間ＭＳ２から第１複合空間ＭＳ１に変更する。

【0320】

さらに具体的には、ユーザ環境決定部６４は、この処理以降において、第３ユーザＵ３に認識させるオブジェクトとして、第２複合空間ＭＳ２を生成するためのオブジェクト（例えば、本Ｏ４０等）ではなく、第１複合空間ＭＳ１を生成するためのオブジェクト（例えば、花Ｏ３０等）に変更する。

【0321】

次に、ユーザ環境決定部６４は、ユーザ環境決定部６４は、その時点における第３ユーザＵ３及び第４ユーザＵ４の状態及び第１複合空間ＭＳ１の状況に基づいて、第３ユーザＵ３及び第４ユーザＵ４に認識させる第１複合空間ＭＳ１における環境を決定する（図１８／ＳＴＥＰ６０２）。

【0322】

【0323】

また、ユーザ環境決定部６４は、第４ユーザＵ４に認識させる環境として、第４ユーザＵ４の現実空間ＲＳの座標及び姿勢に基づいて、現実空間ＲＳのうちの認識させる領域の画像、その領域における第３オブジェクトＯ３の画像、及び、それに伴う音を決定する。

【0324】

これにより、第４ユーザＵ４は、第３ユーザＵ３とともに、第１複合空間ＭＳ１を体感することができるようになる。その結果、図２０に示すように、第４ユーザＵ４は、第３ユーザＵ３が実在のオブジェクトである棚に並べた仮想のオブジェクトである花Ｏ３０を視認することができる状態になる。

【0325】

一方、所定のトリガーイベントを認識しなかった場合（ＳＴＥＰ６００でＮＯの場合）、ユーザ環境決定部６４は、その時点における第３ユーザＵ３の状態及び第１複合空間ＭＳ１の状況に基づいて、第３ユーザＵ３に認識させる第１複合空間ＭＳ１における環境を決定し、その時点における第４ユーザＵ４の状態及び第２複合空間ＭＳ２の状況に基づいて、第４ユーザＵ４に認識させる第２複合空間ＭＳ２における環境を決定する（図１８／ＳＴＥＰ６０３）。

【0326】

ユーザＵの環境を決定する処理（ＳＴＥＰ６０２の処理、又は、ＳＴＥＰ６０３の処理）を実行した後には、ＨＭＤ７は、ＳＴＥＰ５０３と同様の処理を実行して、決定された環境を出力する（図１８／ＳＴＥＰ６０４）。

【0327】

次に、サーバ６のユーザ動作認識部６２は、第３ユーザＵ３又は第４ユーザＵ４がなんらかの動作を行ったか否かを判断する（図１８／ＳＴＥＰ６０５）。

【0328】

ユーザＵが動作しなかった場合（ＳＴＥＰ６０５でＮＯの場合）、ユーザ動作認識部６２は、第３ユーザＵ３又は第４ユーザＵ４が動作したことを認識するまで（ＳＴＥＰ６０５でＹＥＳとなるまで）、所定の制御周期でＳＴＥＰ６０５の判断を繰り返す。

【0329】

一方、ユーザＵが動作した場合（ＳＴＥＰ６０５でＹＥＳの場合）、ユーザ動作認識部６２は、その動作が所定のトリガーイベントに対応する所定の動作であるか否かを判断する（図１８／ＳＴＥＰ６０６）。

【0330】

ユーザＵの動作が所定の動作であった場合（ＳＴＥＰ６０６でＹＥＳの場合）、トリガーイベント認識部６５は、第１複合空間ＭＳ１と第２複合空間ＭＳ２とを同期させる処理（ＳＴＥＰ６０１の処理）が実行済みであるか否かを判断する（図１８／ＳＴＥＰ６０７）。

【0331】

具体的には、トリガーイベント認識部６５は、第１複合空間ＭＳ１と第２複合空間ＭＳ２とを同期させる処理の実行のキーとなる所定のトリガーイベントを認識したことが有るか否かに基づいて、その処理が実行済みであるか否かを判断する。

【0332】

同期させる処理が実行済みでなかった場合（ＳＴＥＰ６０７でＮＯの場合）、ＳＴＥＰ６００に戻り、再度、ＳＴＥＰ６００以降の処理が実行される。

【0333】

一方、同期させる処理が実行済みであった場合（ＳＴＥＰ６０７でＹＥＳの場合）、ＳＴＥＰ６０２に戻り、再度、ＳＴＥＰ６０２以降の処理が実行される。

【0334】

一方、ユーザＵの動作が所定の動作でなかった場合（ＳＴＥＰ６０６でＮＯの場合）、ＳＴＥＰ５０５における処理と同様に、サーバ６のオブジェクト制御部６３は、そのユーザＵの動作がオブジェクトＯを操作する動作であるか否かを判断する（図１８／ＳＴＥＰ６０８）。

【0335】

ユーザＵの動作がオブジェクトＯを操作する動作であった場合（ＳＴＥＰ６０８でＹＥＳの場合）、ＳＴＥＰ５０６における処理と同様に、オブジェクト制御部６３は、ユーザＵの動作の種類に応じて、オブジェクトＯを制御する（図１８／ＳＴＥＰ６０９）。

【0336】

オブジェクトＯを制御する処理（ＳＴＥＰ６０９の処理）を実行した後、又は、ユーザＵの動作がオブジェクトＯを操作する動作でなかった場合（ＳＴＥＰ６０８でＮＯの場合）、ＳＴＥＰ６０２における処理又はＳＴＥＰ６０３における処理と同様に、ユーザ環境決定部６４は、その時点におけるユーザＵの状態、及び、そのユーザＵが体感している複合空間ＭＳの状況に基づいて、ユーザＵに認識させる複合空間ＭＳにおける環境を決定する（図１８／ＳＴＥＰ６１０）。

【0337】

次に、ＨＭＤ７は、ＳＴＥＰ６０４と同様の処理を実行して、決定された環境を出力する（図１８／ＳＴＥＰ６１１）。

【0338】

次に、サーバ６は、処理の終了を指示する信号を認識したか否かを判断する（図１８／ＳＴＥＰ６１２）。

【0339】

終了を指示する信号を認識できなかった場合（ＳＴＥＰ６１２でＮＯの場合）、ＳＴＥＰ６０５に戻り、再度、ＳＴＥＰ６０５以降の処理が実行される。

【0340】

一方、終了を指示する信号を認識した場合（ＳＴＥＰ６１２でＹＥＳの場合）、ＭＲシステムＳ３は、今回の処理を終了する。

【0341】

以上説明したように、ＭＲシステムＳ３では、トリガーイベントが認識される以前には、第１複合空間ＭＳ１における環境を、第３ユーザＵ３に認識させる環境として決定するとともに、第２複合空間ＭＳ２における環境を、第４ユーザＵ４に認識させる環境として決定する。

【0342】

一方で、トリガーイベントが認識された以後には、第１複合空間ＭＳにおける環境を、第３ユーザＵ３及び第４ユーザＵ４に認識させる環境として決定する。

【0343】

これにより、トリガーイベントが認識される以前には、第３ユーザＵ３が体感する複合空間（例えば、本実施形態における第１複合空間ＭＳ１）と第４ユーザＵ４が体感する複合空間（例えば、本実施形態における第２複合空間Ｍ２）とは、存在する仮想のオブジェクトが互いに独立した複合空間になる。

【0344】

一方、トリガーイベントが認識された以後には、第３ユーザＵ３の体感する複合空間と第４ユーザＵ４の体感する複合空間とは、存在する仮想のオブジェクトが一致した同一の複合空間（例えば、本実施形態における第１仮想空間ＭＳ１）になる。

【0345】

したがって、ＭＲシステムＳ３によれば、トリガーイベントが認識された以後には、複合空間ＭＳに存在するオブジェクトを同期させるための処理が実行されて、第３ユーザＵ３及び第４ユーザＵ４に認識させる複合空間ＭＳの環境が同様のものになるので、それまで異なる環境を体感していた第３ユーザＵ３及び第４ユーザＵ４が、同様の環境を体感することができるようになる。

【0346】

［第３実施形態の変形例］
なお、本実施形態では、所定のトリガーイベントとして、第３ユーザＵ３及び第４ユーザＵ４の一方が他方に触れる動作が、所定のトリガーイベントとして設定されている。

【0347】

これは、第３ユーザＵ３及び第４ユーザＵ４の一方が他方に対して実行する所定の動作を所定のトリガーイベントとして設定すると、その動作を行った第３ユーザＵ３及び第４ユーザＵ４の一方は、その動作を実行した結果、他方の環境を自らも体感することができることを、直感的に理解することができるようになるためである。

【0348】

しかし、第３発明において、所定のトリガーイベントとなる「所定の動作」とは、このような第３ユーザＵ３及び第４ユーザＵ４の一方が他方に触れる動作に限定されるものではなく、第３ユーザＵ３及び第４ユーザＵ４の一方が他方を基準として行う何らかの動作であればよい。

【0349】

例えば、所定の動作とは、第３ユーザが第４ユーザに接触するような動作、第３ユーザが第４ユーザを基準とした所定の範囲内に移動するような動作、第３ユーザが複合空間に存在する仮想又は実在のオブジェクトを操作する際に、その対象として第４ユーザを選択するような動作（例えば、仮想の携帯端末又は実在の携帯端末のカメラで第４ユーザを撮影するような動作等）等であってもよい。

【0350】

また、例えば、仮想のオブジェクトとして、ユーザの動作に対応して動作するものの、複合空間における座標がユーザとは異なるゴーストも生成する場合がある。そのような場合には、そのゴーストに対して所定の動作を行った際にも、ユーザの特性を同期させる処理を実行するようにしてもよい。

【0351】

さらに、第３発明における所定のトリガーイベントは、必ずしも、第３ユーザ及び第４ユーザの一方が第１ユーザ及び第４ユーザの他方に対して実行する所定の動作である必要はない。そのため、例えば、別途設けられたインターフェースを介して、ユーザが複合空間の同期を指示した場合に、その指示を行ったことを、所定のトリガーイベントとしてもよい。

【符号の説明】

【0352】

１…標識、２，５…カメラ、３，６…サーバ、４，７…ＨＭＤ（環境出力器）、３０…仮想環境生成部、３０ａ…仮想空間生成部、３０ｂ…アバター生成部、３１，６２…ユーザ動作認識部、３１ａ，６２ａ…ユーザ姿勢認識部、３１ｂ，６２ｂ…ユーザ座標認識部、３２…アバター動作制御部、３３…アバター環境決定部、３４，６４…ユーザ環境決定部、３５，６５…トリガーイベント認識部、４０，７０…モニタ、４１，７１…スピーカ、６０…現実空間認識部、６１…複合環境生成部、６１ａ…オブジェクト生成部、６１ｂ…複合空間生成部、６３…オブジェクト制御部、Ａ１…第１アバター、Ａ２…第２アバター、Ｇ１…第１ゴースト、Ｇ２…第２ゴースト、ＭＳ１…第１複合空間、ＭＳ２…第２複合空間、Ｏ１…第１オブジェクト、Ｏ２…第２オブジェクト、Ｏ３…第３オブジェクト、Ｏ３０…花、Ｏ３１…第１メッセージボード、Ｏ４…第４オブジェクト、Ｏ４０…本、Ｏ４１…第２メッセージボード、ＲＳ…現実空間、Ｓ１，Ｓ２…ＶＲシステム（仮想空間体感システム）、Ｓ３…ＭＲシステム（複合空間体感システム）、Ｕ１…第１ユーザ、Ｕ２…第２ユーザ、Ｕ３…第３ユーザ、Ｕ４…第４ユーザ、ＶＳ…仮想空間、ＶＳ１…第１仮想空間、ＶＳ２…第２仮想空間。

【要約】

仮想空間で、異なる環境を体感していた複数のユーザが、同様の環境を互いに体感することができるようになる仮想空間体感システムを提供する。アバター動作制御部３２は、トリガーイベント前には、第１特性を第１アバターに付与し、第２特性を第２アバターに付与し、トリガーイベント後には、第１特性を第１アバター及び第２アバターに付与する。アバター環境決定部３３は、第１アバターの動作に基づいて、第１アバターの環境を決定し、第２アバターの動作に基づいて、第２アバターの環境を決定する。

【図1】