特許 7539006 体感空間切替方法、体感空間切替システム、体感空間切替装置、並びに体感空間切替プログラム及びそれを記録した記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-08-15

(45)【発行日】2024-08-23

(54)【発明の名称】体感空間切替方法、体感空間切替システム、体感空間切替装置、並びに体感空間切替プログラム及びそれを記録した記録媒体

(51)【国際特許分類】

   G06T 19/00 20110101AFI20240816BHJP

【ＦＩ】

G06T19/00 600

【請求項の数】 8

(21)【出願番号】P 2024510536

(86)(22)【出願日】2023-10-19

(86)【国際出願番号】 JP2023037877

【審査請求日】2024-05-14

【早期審査対象出願】

(73)【特許権者】

【識別番号】321001355

【氏名又は名称】株式会社ＡＢＡＬ

(74)【代理人】

【識別番号】110000800

【氏名又は名称】デロイトトーマツ弁理士法人

(72)【発明者】

【氏名】尾小山 良哉

【審査官】益戸 宏

(56)【参考文献】

【文献】特開２０２２－１１７７７０（ＪＰ，Ａ）

【文献】特許第７１３８３９２（ＪＰ，Ｂ１）

【文献】特表２０２３－５１７０７３（ＪＰ，Ａ）

【文献】国際公開第２０２３／１７６３７４（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １５／００－１９／００

Ａ６３Ｆ １３／００

Ｇ０６Ｆ ３／０４８

Ｇ０６Ｑ ３０／００

Ｈ０４Ｎ １３／００

Ｈ０４Ｎ ７／１８

Ｇ０９Ｇ ５／００

(57)【特許請求の範囲】

【請求項1】

コンピュータシステムによって実行され、環境出力器を介してユーザに認識させる空間を切り替える体感空間切替方法において、
現実空間認識部が、前記ユーザが存在する現実空間を認識するステップと、
仮想オブジェクト生成部が、前記ユーザに認識させる仮想のオブジェクトを生成するステップと、
複合空間生成部が、前記現実空間に前記仮想のオブジェクトを存在させた空間である複合空間を生成するステップと、
ユーザ環境決定部が、前記環境出力器を介して前記ユーザに認識させる前記複合空間の環境を決定するステップと、
ユーザ動作認識部が、前記現実空間における前記ユーザの動作を認識するステップと、
トリガーイベント認識部が、前記ユーザが前記仮想のオブジェクトを対象として行う動作である所定のトリガーイベントを認識するステップと、
仮想空間生成部が、前記所定のトリガーイベントが認識されたときに、仮想空間を生成するステップと、
前記ユーザ環境決定部が、前記所定のトリガーイベントが認識される前に前記ユーザに認識させていた前記複合空間の環境に代わり、前記環境出力器を介して前記ユーザに認識させる前記仮想空間の環境を決定するステップと、
対象者認識部が、前記現実空間に存在する複数の人物から、体感させる空間の種類の切り替えが行われる対象者である前記ユーザ、及び体感させる空間の種類の切り替えが行われない非対象者を認識するステップと、
アバター生成部が、前記ユーザの動作に対応して動作する第１アバター、及び前記非対象者の動作に対応して動作する第２アバターを生成するステップとを備え、
前記ユーザに認識させる前記仮想空間の環境は、前記第１アバター及び前記第２アバターを含むことを特徴とする体感空間切替方法。

【請求項2】

コンピュータシステムによって実行され、環境出力器を介してユーザに認識させる空間を切り替える体感空間切替方法において、
現実空間認識部が、前記ユーザが存在する現実空間を認識するステップと、
仮想オブジェクト生成部が、前記ユーザに認識させる仮想のオブジェクトを生成するステップと、
複合空間生成部が、前記現実空間に前記仮想のオブジェクトを存在させた空間である複合空間を生成するステップと、
ユーザ環境決定部が、前記環境出力器を介して前記ユーザに認識させる前記複合空間の環境を決定するステップと、
ユーザ動作認識部が、前記現実空間における前記ユーザの動作を認識するステップと、
トリガーイベント認識部が、前記ユーザが前記仮想のオブジェクトを対象として行う動作である所定のトリガーイベントを認識するステップと、
仮想空間生成部が、前記所定のトリガーイベントが認識されたときに、仮想空間を生成するステップと、
前記ユーザ環境決定部が、前記所定のトリガーイベントが認識される前に前記ユーザに認識させていた前記複合空間の環境に代わり、前記環境出力器を介して前記ユーザに認識させる前記仮想空間の環境を決定するステップとを備え、
前記仮想空間の形状は、前記トリガーイベントが認識された時点における前記現実空間の形状に応じて生成されることを特徴とする体感空間切替方法。

【請求項3】

コンピュータシステムによって実行され、環境出力器を介してユーザに認識させる空間を切り替える体感空間切替方法において、
現実空間認識部が、前記ユーザが存在する現実空間を認識するステップと、
仮想オブジェクト生成部が、前記ユーザに認識させる仮想のオブジェクトを生成するステップと、
複合空間生成部が、前記現実空間に前記仮想のオブジェクトを存在させた空間である複合空間を生成するステップと、
ユーザ環境決定部が、前記環境出力器を介して前記ユーザに認識させる前記複合空間の環境を決定するステップと、
ユーザ動作認識部が、前記現実空間における前記ユーザの動作を認識するステップと、
トリガーイベント認識部が、前記ユーザが前記仮想のオブジェクトを対象として行う動作である所定のトリガーイベントを認識するステップと、
仮想空間生成部が、前記所定のトリガーイベントが認識されたときに、仮想空間を生成するステップと、
前記ユーザ環境決定部が、前記所定のトリガーイベントが認識される前に前記ユーザに認識させていた前記複合空間の環境に代わり、前記環境出力器を介して前記ユーザに認識させる前記仮想空間の環境を決定するステップと、
前記仮想空間生成部が、前記複合空間と前記仮想空間とを混在させた空間を生成するステップとを備え、
前記ユーザ環境決定部は、前記所定のトリガーイベントが認識される前に前記ユーザに認識させていた前記複合空間の環境に代わり、前記環境出力器を介して前記ユーザに認識させる、前記複合空間と前記仮想空間とを混在させた前記空間の環境を決定した後、前記環境出力器を介して前記ユーザに認識させる前記仮想空間の環境を決定するステップとを備えていることを特徴とする体感空間切替方法。

【請求項4】

請求項１～請求項３のいずれか１項に記載の体感空間切替方法において、
前記仮想のオブジェクトは、該仮想のオブジェクトを対象として前記所定のトリガーイベントが行われた際に生成される前記仮想空間の属性に対応した属性を有していることを特徴とする体感空間切替方法。

【請求項5】

請求項１～請求項３のいずれか１項に記載の体感空間切替方法を実行するコンピュータシステムであることを特徴とする体感空間切替システム。

【請求項6】

請求項１～請求項３のいずれか１項に記載の体感空間切替方法を実行するコンピュータシステムであることを特徴とする体感空間切替装置。

【請求項7】

コンピュータシステムに、請求項１～請求項３のいずれか１項に記載の体感空間切替方法を実行させることを特徴とする体感空間切替プログラム。

【請求項8】

請求項７に記載の体感空間切替プログラムを記録し、前記体感空間切替プログラムを前記コンピュータシステムが読み取り可能であることを特徴とする記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、環境出力器を介してユーザに体感させる空間を切り替えるためのコンピュータシステムによって実行される体感空間切替方法、そのコンピュータシステムである体感空間切替システム、そのコンピュータシステムである体感空間切替装置、並びにコンピュータシステムにその体感空間切替方法を実行させる体感空間切替プログラム、及びそのプログラムを記録した記録媒体に関する。

【背景技術】

【0002】

従来、サーバなどで仮想空間を生成し、ヘッドマウントディスプレイ（以下、「ＨＭＤ」ということがある。）を介して、その仮想空間の画像をユーザに認識させ、ユーザ自身がその仮想空間に存在していると認識させる仮想空間体感システムがある。

【0003】

この種の仮想空間体感システムとしては、所定のトリガーイベント（例えば、ユーザの所定の動作）が認識されたときに、ユーザに体感させる仮想空間の環境（例えば、仮想空間におけるユーザの視点の位置）を変更するものがある（例えば、特許文献１参照。）。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０２０－１７７６０７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、特許文献１に記載の仮想空間体感システムは、ある１つの仮想空間の内部において、ユーザに体感させる環境を一人称視点から三人称視点に切り替え可能としているに過ぎない。すなわち、ユーザに体感させる仮想空間の環境の切り替えも、現実空間においても実現し得るようなものに過ぎない。

【0006】

そのため、特許文献１に記載の仮想空間体感システムでは、ユーザに体感させる仮想空間の環境の切り替えを行ったとしても、ユーザに、現実空間では体験できないような環境を十分に体験させることができないという問題があった。

【0007】

本発明は以上の点に鑑みてなされたものであり、現実空間では体験できない環境を十分に体験させることができる体感空間切替方法、体感空間切替システム、体感空間切替装置、並びに体感空間切替プログラム及びそれを記録した記録媒体を提供することを目的とする。

【課題を解決するための手段】

【0008】

以下において、「複合空間」とは、現実空間に仮想のオブジェクトを存在させるとともに、その仮想のオブジェクトに対して現実空間に存在するユーザが影響を与えること（例えば、その仮想のオブジェクトを移動させることなど）を可能とした、いわゆる複合現実空間（ＭＲ空間）である。

【0009】

また、「仮想空間」とは、ユーザが、ユーザ自身が存在する現実空間に代わって認識する仮想的な空間である、いわゆる仮想現実空間（ＶＲ空間）である。その仮想空間には、仮想のオブジェクト、ユーザの動作に対応して動作するアバターなどが配置される場合もある。

【0010】

本発明の体感空間切替方法は、
コンピュータシステムによって実行され、環境出力器を介してユーザに認識させる空間を切り替える体感空間切替方法において、
現実空間認識部が、前記ユーザが存在する現実空間を認識するステップと、
仮想オブジェクト生成部が、前記ユーザに認識させる仮想のオブジェクトを生成するステップと、
複合空間生成部が、前記現実空間に前記仮想のオブジェクトを存在させた空間である複合空間を生成するステップと、
ユーザ環境決定部が、前記環境出力器を介して前記ユーザに認識させる前記複合空間の環境を決定するステップと、
ユーザ動作認識部が、前記現実空間における前記ユーザの動作を認識するステップと、
トリガーイベント認識部が、前記ユーザが前記仮想のオブジェクトを対象として行う動作である所定のトリガーイベントを認識するステップと、
仮想空間生成部が、前記所定のトリガーイベントが認識されたときに、仮想空間を生成するステップと、
前記ユーザ環境決定部が、前記所定のトリガーイベントが認識される前に前記ユーザに認識させていた前記複合空間の環境に代わり、前記環境出力器を介して前記ユーザに認識させる前記仮想空間の環境を決定するステップと、
対象者認識部が、前記現実空間に存在する複数の人物から、体感させる空間の種類の切り替えが行われる対象者である前記ユーザ、及び体感させる空間の種類の切り替えが行われない非対象者を認識するステップと、
アバター生成部が、前記ユーザの動作に対応して動作する第１アバター、及び前記非対象者の動作に対応して動作する第２アバターを生成するステップとを備え、
前記ユーザに認識させる前記仮想空間の環境は、前記第１アバター及び前記第２アバターを含むことを特徴とする。

【0011】

このように、本発明の体感空間切替方法では、所定のトリガーイベントが認識される前までは、ユーザに認識させる環境は複合空間に基づいて決定されるので、ユーザは、複合空間を体感することになる。一方、所定のトリガーイベントが認識された後は、ユーザに体感させる環境は仮想空間に基づいて決定されるので、ユーザは、仮想空間を体感することになる。

【0012】

すなわち、この体感空間切替方法は、ユーザに体感させる環境を、現実空間に仮想のオブジェクトを存在させた複合空間と現実空間とは切り離された仮想空間との区別なく、切替可能なものとなっている。

【0013】

ここで、その切り替えのトリガーとなるトリガーイベントは、複合空間に存在する仮想のオブジェクトを対象としてユーザが行う動作である。そして、その仮想のオブジェクトは、仮想のものであるので、現実空間に存在しながらも仮想空間を連想させるものである。

【0014】

そのため、その仮想のオブジェクトに対して動作を行ったユーザは、仮想のオブジェクトをトリガーとして、空間が切り替わることを、意識せずとも認識しやすくなっている。その結果、複合空間から仮想空間への切り替えを、そのユーザに違和感を与えることなく行うことができる。

【0015】

したがって、本発明の体感空間切替方法によれば、ユーザに体験させる環境を、従来のように複合空間又は仮想空間に限定されたものではなく、複合空間と仮想空間とを織り交ぜたものにすることができる。また、複合空間から仮想空間への切り替えをユーザに違和感を与えることなく行うことができるので、その切り替えによってユーザの没入感を阻害することも抑制できる。ひいては、この体感空間切替方法によれば、現実空間では体験できない環境を、従来よりも幅広い形で、ユーザに体験させることができる。

【0017】

本発明の体感空間切替方法を実行するとき、現実空間の同じ領域にいる複数のユーザに１つの複合空間を体感させ、さらに、それらの複数のユーザのうちの一部の者（対象者）に体感させる空間のみを仮想空間に切り替えるように構成する場合がある。また、現実空間の同じ領域に、複合空間及び仮想空間を体感させる者（対象者）と仮想空間又は複合空間を体感させない者（非対象者）とが、同時に存在できるように構成する場合もある。

【0018】

しかし、そのように構成する場合、対象者であるユーザに体感させる空間の種類の切り替えが行われたときに、その対象者であるユーザは非対象者を認識できなくなるので、その切り替えが行われた後に、その対象者であるユーザが非対象者に意図せず接触してしまうおそれが生じる。

【0019】

そこで、このように、対象者であるユーザに体感させる空間のみが切り替わる場合であっても、その切り替わった仮想空間に、対象者であるユーザに対応する第１アバターだけでなく、非対象者に対応する第２アバターも含ませるようにするとよい。

【0020】

これにより、第１ユーザは、第２アバターを介して、非対象者の位置を把握することができるようになるので、第１ユーザが非対象者に意図せず接触することを抑制することができる。また、第１ユーザの没入感を阻害することも抑制することができる。

【0021】

また、本発明の体感空間切替方法においては、
前記仮想のオブジェクトは、該仮想のオブジェクトを対象として前記所定のトリガーイベントが行われた際に生成される前記仮想空間の属性に対応した属性を有していることが好ましい。

【0022】

ここで、「属性」とは、仮想空間の形状、模様、色彩、又はそれらの組み合わせなどが挙げられる。また、仮想のオブジェクトの属性と仮想空間の属性とは、一致するものの他、関連性を相互に連想させるものであってもよい。具体的には、例えば、例えば、仮想空間の背景の模様及び仮想のオブジェクトの模様を一致させることの他、仮想空間が「オフィス」を模した空間である場合には、仮想のオブジェクトの形状を「ビル」にすることなどが挙げられる。

【0023】

このように、トリガーイベントのトリガーとなる仮想のオブジェクトの属性と、そのトリガーイベントをトリガーとして生成される仮想空間の属性とを対応させるように構成すると、その仮想のオブジェクトを介してトリガーイベントを生じさせるユーザは、その後に自らが移動する仮想空間の属性を無意識に予測できる。これにより、そのユーザにさらに違和感を与えることなく、体感させる空間の種類の切り替えを行うことができる。

【0024】

また、本発明の体感空間切替方法は、
コンピュータシステムによって実行され、環境出力器を介してユーザに認識させる空間を切り替える体感空間切替方法において、
現実空間認識部が、前記ユーザが存在する現実空間を認識するステップと、
仮想オブジェクト生成部が、前記ユーザに認識させる仮想のオブジェクトを生成するステップと、
複合空間生成部が、前記現実空間に前記仮想のオブジェクトを存在させた空間である複合空間を生成するステップと、
ユーザ環境決定部が、前記環境出力器を介して前記ユーザに認識させる前記複合空間の環境を決定するステップと、
ユーザ動作認識部が、前記現実空間における前記ユーザの動作を認識するステップと、
トリガーイベント認識部が、前記ユーザが前記仮想のオブジェクトを対象として行う動作である所定のトリガーイベントを認識するステップと、
仮想空間生成部が、前記所定のトリガーイベントが認識されたときに、仮想空間を生成するステップと、
前記ユーザ環境決定部が、前記所定のトリガーイベントが認識される前に前記ユーザに認識させていた前記複合空間の環境に代わり、前記環境出力器を介して前記ユーザに認識させる前記仮想空間の環境を決定するステップとを備え、
前記仮想空間の形状は、前記トリガーイベントが認識された時点における前記現実空間の形状に応じて生成されることを特徴とする。

【0025】

現実空間の形状（例えば、配置されている家具の種類など）は種々様々であり、また時間の経過によって変化することもあるので、現実空間の形状にかかわらず一定の形状の仮想空間を生成した場合、現実空間の形状によって、同じ仮想空間であるのに動作可能な範囲が異なることがある。ひいては、ユーザに違和感を与えてしまうおそれがある。

【0026】

そこで、このように、生成される仮想空間の形状を仮想空間の生成のトリガーとなるトリガーイベントが認識された時点における現実空間の形状に応じたものにすると、生成された仮想空間で動作可能な範囲を、その現実空間と一致させることができる。これにより、仮想空間の形状と現実空間の形状との差異に起因して、ユーザに違和感を与えてしまうことを抑制することができる。

【0027】

また、本発明の体感空間切替方法は、
コンピュータシステムによって実行され、環境出力器を介してユーザに認識させる空間を切り替える体感空間切替方法において、
現実空間認識部が、前記ユーザが存在する現実空間を認識するステップと、
仮想オブジェクト生成部が、前記ユーザに認識させる仮想のオブジェクトを生成するステップと、
複合空間生成部が、前記現実空間に前記仮想のオブジェクトを存在させた空間である複合空間を生成するステップと、
ユーザ環境決定部が、前記環境出力器を介して前記ユーザに認識させる前記複合空間の環境を決定するステップと、
ユーザ動作認識部が、前記現実空間における前記ユーザの動作を認識するステップと、
トリガーイベント認識部が、前記ユーザが前記仮想のオブジェクトを対象として行う動作である所定のトリガーイベントを認識するステップと、
仮想空間生成部が、前記所定のトリガーイベントが認識されたときに、仮想空間を生成するステップと、
前記ユーザ環境決定部が、前記所定のトリガーイベントが認識される前に前記ユーザに認識させていた前記複合空間の環境に代わり、前記環境出力器を介して前記ユーザに認識させる前記仮想空間の環境を決定するステップと、
前記仮想空間生成部が、前記複合空間と前記仮想空間とを混在させた空間を生成するステップとを備え、
前記ユーザ環境決定部は、前記所定のトリガーイベントが認識される前に前記ユーザに認識させていた前記複合空間の環境に代わり、前記環境出力器を介して前記ユーザに認識させる、前記複合空間と前記仮想空間とを混在させた前記空間の環境を決定した後、前記環境出力器を介して前記ユーザに認識させる前記仮想空間の環境を決定するステップとを備えていることを特徴とする。

【0028】

このように構成すると、体感させる空間を複合空間から仮想空間へ切り替える際に、ユーザに与えてしまうおそれのある唐突さを抑制することができる。ひいては、体感させる空間の種類の切り替えを、さらにユーザに違和感を与えることなく行うことができる。

【0029】

本発明の体感空間切替システムは、
上記いずれかの体感空間切替方法を実行するコンピュータシステムであることを特徴とする。

【0030】

本発明の体感空間切替装置は、
上記いずれかの体感空間切替方法を実行するコンピュータシステムであることを特徴とする。

【0031】

本発明の体感空間切替プログラムは、
コンピュータシステムに、上記いずれかの体感空間切替方法を実行させることを特徴とする。

【0032】

本発明の記録媒体は、
上記の体感空間切替プログラムを記録し、前記体感空間切替プログラムを前記コンピュータシステムが読み取り可能であることを特徴とする。

【図面の簡単な説明】

【0033】

【図1】実施形態に係る空間体感システムの概略構成を示す模式図。

【図2】図１の空間体感システムの処理部の構成を示すブロック図。

【図3】図１の空間体感システムが生成する複合空間の一例を示す模式図。

【図4】図１の空間体感システムが生成する仮想空間の一例を示す模式図。

【図5】図１の空間体感システムの生成する仮想空間の形状、及びそれに対応する現実空間の形状を模式図。

【図6】図１の空間体感システムが、ユーザに体感させる空間を切り替える際に、ユーザに認識させる空間の状態を示す模式図。

【図7】図１の空間体感システムが、ユーザに複合空間を体感させている状態において実行する処理を示すフローチャート。

【図8A】図１の空間体感システムが、ユーザに体感させる空間を切り替える際に実行する処理のうち前半の処理を示すフローチャート。

【図8B】図１の空間体感システムが、ユーザに体感させる空間を切り替える際に実行する処理のうち後半の処理を示すフローチャート。

【図9】図１の空間体感システムが、ユーザに仮想空間を体感させている状態において実行する処理を示すフローチャート。

【発明を実施するための形態】

【0034】

以下、図１～図９を参照して、実施形態に係るシステムＳ（体感空間切替システム）、及びそのシステムＳが実行する処理（体感空間切替方法）について説明する。

【0035】

システムＳは、現実空間ＲＳの所定の領域（例えば、１つの部屋など。図１参照。）に共に存在する第１ユーザＵ１及び第２ユーザＵ２（以下、総称する場合は「ユーザＵ」という。）に対し、複合空間ＭＳ又は仮想空間ＶＳを体感させるためのコンピュータシステムである。

【0036】

システムＳは、その現実空間ＲＳに対応する複合空間ＭＳ（図３参照）の環境（例えば、画像、音など）を認識させることによって、その複合空間ＭＳを体感させる認識させる（例えば、自らが存在している認識させる）。また、システムＳは、所定のトリガーイベントをトリガーとして、対象となるユーザＵに対し、その現実空間ＲＳに対応する仮想空間ＶＳ（図４参照）の環境を認識させることによって、その仮想空間ＶＳを体感させるものである。

【0037】

ここで、「複合空間」とは、現実空間に仮想のオブジェクトを存在させるとともに、その仮想のオブジェクトに対して現実空間に存在するユーザが影響を与えること（例えば、その仮想のオブジェクトを移動させることなど）を可能とした、いわゆる複合現実空間（ＭＲ空間）である。

【0038】

また、「仮想空間」とは、ユーザが、ユーザ自身が存在する現実空間に代わって認識する仮想的な空間であり、いわゆる仮想現実空間（ＶＲ空間）である。その仮想空間には、仮想のオブジェクト、ユーザの動作に対応して動作するアバターなどが配置される場合もある。

【0039】

なお、本実施形態では、理解を容易にするために、ユーザは、第１ユーザＵ１及び第２ユーザＵ２の２人としている。しかし、本発明の体感空間切替システムを使用するユーザの数は、そのような構成に限定されるものではなく、１人であってもよいし、３人以上であってもよい。

【0040】

［システムの概略構成］
まず、図１を参照して、システムＳの概略構成について説明する。

【0041】

図１に示すように、システムＳは、現実空間ＲＳに存在するユーザＵに取り付けられる複数の標識１と、ユーザＵ（厳密には、ユーザＵに取り付けられた標識１）を撮影するカメラ２と、ユーザＵに体感させる複合空間ＭＳ又は仮想空間ＶＳ１の環境を決定するサーバ３（体感空間切替システム）と、決定された環境をユーザに認識させる環境出力器であるヘッドマウントディスプレイ（以下、「ＨＭＤ４」という。）とを備えている。

【0042】

システムＳでは、カメラ２、サーバ３及びＨＭＤ４は、インターネット網、公衆回線、近距離無線通信などを介して、無線で相互に情報を送受信可能となっている。ただし、それらのいずれか同士を有線で相互に情報を送受信可能に構成してもよい。

【0043】

複数の標識１は、ユーザＵの装着するＨＭＤ４、手袋及び靴を介して、ユーザＵの頭部、両手及び両足のそれぞれに取り付けられている。なお、複数の標識１は、後述するようにユーザＵの現実空間ＲＳにおける動作を認識するために用いられるものである。そのため、システムＳを構成する他の機器に応じて、標識１を取り付ける位置、取り付ける数などは適宜変更してよい。

【0044】

カメラ２は、ユーザＵの存在する現実空間ＲＳのユーザＵが動作可能範囲（すなわち、ユーザＵが移動可能、且つ、動作可能な範囲）を多方向から撮影可能なように設置されている。

【0045】

サーバ３（体感空間切替システム）は、カメラ２が撮影した画像から標識１を認識（例えば、検出又は算出）し、その認識された標識１の現実空間ＲＳにおける位置に基づいて、ユーザＵの動作（例えば、姿勢及び座標の変化など）を認識する。また、サーバ３は、その動作に基づいて、ユーザＵに認識させる複合空間ＭＳ又は仮想空間ＶＳの環境を決定する。

【0046】

ＨＭＤ４は、ユーザに複合空間ＭＳ又は仮想空間ＶＳの環境（例えば、画像及び音声など）を出力して認識させる環境出力器である。ＨＭＤ４は、ユーザＵの頭部に装着される。ＨＭＤ４は、ユーザＵに、サーバ３によって決定された複合空間ＭＳ又は仮想空間ＶＳの画像をユーザＵの認識させるためのモニタ４０と、サーバ３によって決定された複合空間ＭＳ又は仮想空間ＶＳの音をユーザＵに認識させるためのスピーカ４１とを有している（図２参照）。

【0047】

モニタ４０は、複合空間ＭＳをユーザＵに体感させる状態においては、そのモニタ４０を透過して、現実空間ＲＳを観察可能なものとなっている。

【0048】

システムＳを用いて複合空間ＭＳを体感させる場合、ユーザＵは、現実空間ＲＳの画像及び音とともに、体感せられる複合空間ＭＳに対応した仮想のオブジェクトに関する画像及び音を認識させられる。なお、その仮想のオブジェクトは、ユーザＵの動作に応じて、所定の動作（例えば、座標の移動など）を行うものとして構成されている。

【0049】

また、システムＳを用いて仮想空間ＶＳを体感させる場合、ユーザＵは、ＨＭＤ４を介して、仮想空間ＶＳの画像と音のみを認識させられて、自らが仮想空間ＶＳに存在していると認識させられる。すなわち、システムＳは、いわゆる没入型のシステムとして構成されている。

【0050】

なお、本発明の体感空間切替システムは、前述のような標識及びカメラを用いた構成（いわゆるモーションキャプチャー装置）に限定されるものではなく、現実空間及びユーザの動作を認識できように構成されていればよい。

【0051】

そのため、例えば、標識及びカメラの数及び配置が図１において図示した数及び配置とは異なる構成のものを用いてもよい。具体的には、ユーザの特徴点及び現実空間の特徴点の少なくとも一方の特徴点を認識するために、ユーザだけではなく現実空間に存在する実在のオブジェクトに標識を取り付けてもよい。標識を用いずに、画像そのものから特徴点を認識するようにしてもよい。

【0052】

また、例えば、標識及びカメラに代わり、ＨＭＤにＧＰＳなどのセンサを搭載し、そのセンサからの出力に基づいて、ユーザの動作を認識するようにしてもよい。また、そのようなセンサと、上記のようなモーションキャプチャー装置とを併用してもよい。

【0053】

また、本発明の体感空間切替システムは、１つのサーバによって構成されるものに限定されるものではなく、体感空間切替システムを構成しているいずれかの機器が後述する処理部を備えているように構成されていればよい。

【0054】

そのため、例えば、複数のサーバによって体感空間切替システム全体を構成してもよい。また、カメラ、ＨＭＤ又はその他の機器に処理部の少なくとも１つ又はその処理部の機能の少なくとも一部を実装して、それらの機器とサーバとで協働して、又はそれらの機器のみで、システムを構成してもよい。

【0055】

［処理部の構成］
次に、図１～図６を参照して、システムＳを構成している処理部の構成について説明する。

【0056】

システムＳを構成するカメラ２、サーバ３及びＨＭＤ４は、ＣＰＵ、ＲＡＭ、ＲＯＭ、インターフェース回路等を含む１つ又は複数の電子回路ユニットにより構成されている。

【0057】

図２に示すように、サーバ３は、実装されたハードウェア構成及びプログラムの少なくとも一方により実現される機能（処理部）として、現実空間認識部３０と、複合環境生成部３１と、ユーザ環境決定部３２と、ユーザ状態認識部３３（ユーザ動作認識部）と、仮想オブジェクト制御部３４と、トリガーイベント認識部３５と、対象ユーザ認識部３６（対象者認識部）と、仮想環境生成部３７と、アバター状態制御部３８を備えている。

【0058】

現実空間認識部３０は、カメラ２が撮影した現実空間ＲＳの画像データを認識し、その画像データに基づいて、現実空間ＲＳの状況を認識する。現実空間ＲＳの状況とは、例えば、現実空間ＲＳに存在するユーザＵ及び実在のオブジェクト（本実施形態では、テーブルＲＯ１、本棚ＲＯ２、引き出しＲＯ３）の姿勢及び座標などである。

【0059】

複合環境生成部３１は、仮想オブジェクト生成部３１ａと、複合空間生成部３１ｂとを有している。

【0060】

仮想オブジェクト生成部３１ａは、複合空間ＭＳに存在させて、ユーザＵに認識させる仮想のオブジェクト（本実施形態では、城の模型の仮想のオブジェクトである模型ＭＯ、本棚RＲＯ２に詰め込まれた仮想の本のオブジェクトなど）を生成する（図３等参照）。その仮想のオブジェクトには、複合空間ＭＳでユーザＵの動作に応じて動作するもの（例えば、複合空間ＭＳにおける姿勢及び座標の変更可能なもの）が含まれている。

【0061】

複合空間生成部３１ｂは、現実空間認識部３０で認識された現実空間ＲＳに、仮想オブジェクト生成部３１ａで生成された仮想のオブジェクトを存在させて、図３に示すような複合空間ＭＳを生成する。

【0062】

ここで、前述のようにＨＭＤ４に搭載されているモニタ４０は、そのモニタ４０を透過して現実空間ＲＳを観察可能なものとなっている。そのため、決定された複合空間ＭＳをユーザＵに体感させる際には、そのモニタ４０を透過して認識される現実空間ＲＳに、決定された仮想のオブジェクトを重畳させるように表示させ、ＨＭＤ４に搭載されているスピーカ４１に決定された音を発生させる。

【0063】

そのため、複合空間生成部３１ｂは、ユーザＵがＨＭＤ４のモニタ４０を透過して観察している現実空間ＲＳにおける仮想のオブジェクトの姿勢及び座標、並びにその仮想のオブジェクトに基づいて発生させる音を決定することによって、間接的に複合空間を生成する。

【0064】

なお、複合空間を生成する処理としては、ユーザがＨＭＤを透過して観察している現実空間を利用せずに、ＨＭＤに設けられたカメラなどによって取得された現実空間の画像に仮想のオブジェクトを重畳させた画像を生成して、その画像を複合空間としてもよい。

【0065】

ユーザ環境決定部３２は、ユーザＵに、ＨＭＤ４のモニタ４０及びスピーカ４１を介して認識させる複合空間ＭＳ又は仮想環境ＶＳの環境を決定する。

【0066】

ここで、ユーザに「認識させる環境」とは、そのユーザに五感によって体感させる複合空間又は仮想空間の環境を指す。例えば、その環境とは、ユーザに認識させる複合空間又は仮想空間に存在する仮想のオブジェクトの画像、その仮想のオブジェクトに基づいて発生される音などによって構成される環境である。

【0067】

ユーザ状態認識部３３（ユーザ動作認識部）は、カメラ２が撮影したユーザＵの画像データを認識し、その画像データに基づいて、ユーザＵの現実空間ＲＳにおける状態を認識する。ここで、ユーザＵの現実空間ＲＳにおける状態とは、ユーザＵの姿勢及び座標であり、ひいては、その変化量で示されるユーザＵの動作である。ユーザ状態認識部３３は、ユーザ姿勢認識部３３ａと、ユーザ座標認識部３３ｂとを有している。

【0068】

ユーザ姿勢認識部３３ａは、入力されたユーザＵの画像データからユーザＵの身体などの特徴点を抽出し、その抽出結果に基づいて、現実空間ＲＳにおけるユーザＵの姿勢を認識する。

【0069】

ユーザ座標認識部３３ｂは、入力されたユーザＵの画像データから抽出されたユーザＵの身体などの特徴点の抽出結果、及び、現実空間認識部３０が認識した現実空間ＲＳの状況（例えば、実在のオブジェクトの座標など）に基づいて、現実空間ＲＳにおけるユーザＵの座標を認識する。

【0070】

仮想オブジェクト制御部３４は、ユーザ動作認識部によって認識されたユーザＵの現実空間ＲＳにおける動作に基づいて、そのユーザＵに体感させている複合空間ＭＳに存在している仮想のオブジェクトの状態を制御する。

【0071】

具体的には、仮想オブジェクト制御部３４は、ユーザＵが仮想のオブジェクトに対して何らかの動作を行った際に、その動作に応じて、その仮想のオブジェクトの複合空間ＭＳにおける姿勢、座標、形状などを変化させる。

【0072】

トリガーイベント認識部３５は、システム設計者などが予め定めた条件を満たした際に、所定のトリガーイベントが発生したことを認識する。本実施形態では、ユーザＵのいずれかが仮想のオブジェクトに触れる動作が、所定のトリガーイベントとして設定されている。

【0073】

なお、本発明の所定のトリガーイベントは、そのような構成に限定されるものではなく、ユーザが仮想のオブジェクトを対象として行う動作であればよい。

【0074】

そのため、例えば、所定のトリガーイベントは、仮想のオブジェクトに触れないような動作であってもよい。具体的には、仮想のオブジェクトを指さすような動作、仮想又は実在のタブレットなどを介して仮想のオブジェクトを選択するような動作などであってもよい。

【0075】

また、例えば、所定のトリガーイベントは、ユーザがその発生を認識していないものであってもよい。具体的には、トリガーイベントは、所定時間の経過（例えば、仮想のオブジェクトから一定範囲の領域の内部で一定時間立ち止まるなど）といったユーザの意図に起因しないものであってよい。

【0076】

対象ユーザ認識部３６は、認識したトリガーイベントの種類、及びトリガーイベントが生じた際のユーザＵの動作に基づいて、後述するような体感させる空間の種類の切り替えが行われる第１ユーザ（対象者）と、体感させる空間の種類の切り替えが行われない第２ユーザ（非対象者）とを認識する。

【0077】

本実施形態では、仮想のオブジェクトのうち、トリガーイベントのトリガーとなることが予め設定されている仮想のオブジェクト（本実施形態では、城の模型の仮想のオブジェクトである模型ＭＯ）に触れるような動作を行ったユーザＵを、第１ユーザＵ１として認識し、それ以外のユーザを第２ユーザＵ２として認識する。

【0078】

なお、本発明における対象ユーザ認識部は、そのような構成に限定されるものではなく、複数のユーザから、体感させる空間の種類の切り替えが行われる第１ユーザ、及び体感させる空間の種類の切り替えが行われない第２ユーザを認識するものであればよい。そのため、第１ユーザと第２ユーザの区別のつけ方は、システム設計者が適宜設定してよい。

【0079】

例えば、予め所定のグループを設定しておき、そのグループに属するユーザのうちの一人がトリガーイベントを発生させた際には、そのグループに属する全てのユーザに体感させる空間を切り替える（すなわち、そのグループに属する全てのユーザを第１ユーザとして認識する）ように構成してもよい。

【0080】

また、本実施形態においては、ユーザが複数存在するため、体感させる空間の種類の切り替えが行われる対象者である第１ユーザ、及び体感させる空間の種類の切り替えが行われない非対象者である第２ユーザを認識するという処理を行っている。

【0081】

これは、それらの複数のユーザが相互に知り合いではない場合などには、一方のユーザ（第１ユーザ）の動作によって所定のトリガーイベントが認識されて体感させる空間の種類の切り替えが生じると、他方のユーザ（第２ユーザ）は、体験している空間が突然切り替わることになるので、その第２ユーザに違和感を与えてしまうおそれがあるためである。

【0082】

そのため、体感空間切替システムを用いて空間を体感させているユーザが一人だけの場合、複数のユーザが相互に知り合いであって、一人のユーザの行動によって全てのユーザに体感させる空間が切り替わっても問題がない場合などには、第１ユーザ及び第２ユーザを認識する処理を実行する必要はなく、対象ユーザ認識部を省略してもよい。

【0083】

仮想環境生成部３７は、アバター生成部３７ａと、仮想空間生成部３７ｂとを有している。

【0084】

アバター生成部３７ａは、前述の所定のトリガーイベントが認識されたときに、仮想空間ＶＳに存在させるアバターを生成する。

【0085】

そのアバターには、第１ユーザＵ１に対応する第１アバターＡ１、及び第２ユーザＵ２に対応する第２アバターＡ２が含まれる（図４参照）。第１アバターＡ１及び第２アバターＡ２（以下、総称する場合は「アバターＡ」という。）は、対応するユーザＵの現実空間ＲＳにおける動作に対応して、仮想空間ＶＳにおいて動作する。

【0086】

なお、本実施形態では、システムＳを用いて仮想空間ＶＳを体感させる場合、ユーザＵは、仮想空間ＶＳの画像と音のみを認識して、ユーザＵ自身が仮想空間ＶＳに存在していると認識させられる。すなわち、システムＳは、いわゆる没入型のシステムとして構成されている。

【0087】

しかし、本発明の空間切替システムは、そのような構成に限定されるものではなく、仮想空間にアバターが存在していなくてもよい。すなわち、本発明の空間切替システムにおける仮想空間を体感させるためのシステムは、没入型のシステムでなくてもよい。

【0088】

仮想空間生成部３７ｂは、前述の所定のトリガーイベントが認識されたときに、図４に示すような、ユーザＵが存在する現実空間ＲＳ（図１、図５参照）に対応する仮想空間ＶＳを生成する。具体的には、仮想空間生成部３７ｂは、仮想空間ＶＳの背景及び仮想空間ＶＳに存在する仮想のオブジェクト及びアバターＡとなる画像、及び、それらの画像に関連する音を生成する。

【0089】

なお、本実施形態のシステムＳは備えていないが、空間切替システムが、所定の感触を実現する構成（例えば、硬さの変わるクッションなど）、所定の匂いを生成する構成などを備えている場合には、仮想空間生成部は、画像及び音に加えて、それらの感触、匂いを用いて、仮想空間を生成するようにしてもよい。

【0090】

ここで、図５に示すように、仮想空間生成部３７ｂによって生成される仮想空間ＶＳの形状は、トリガーイベントが認識された時点における現実空間ＲＳの形状に応じて生成されるように構成されている。

【0091】

ここで、「現実空間の形状」とは、仮想空間を生成する領域の形状、及びその現実空間に存在する実在のオブジェクト（例えば、本実施形態では、テーブルＲＯ１、本棚ＲＯ２、引き出しＲＯ３）の姿勢、座標及び形状などに基づいて認識されるものである。

【0092】

また、「仮想空間の形状」とは、本実施形態のような没入型のシステムにおいては、ユーザに対応するアバターが動作可能な領域を指す。具体的には、仮想空間ＶＳの背景の画像と、仮想空間に配置された仮想のオブジェクトによって規定される範囲である。

【0093】

現実空間ＲＳの形状は種々様々であり、また時間の経過によって変化することもあるので、現実空間ＲＳの形状にかかわらず一定の形状の仮想空間ＶＳを生成した場合、現実空間ＲＳの形状によって、同じ仮想空間ＶＳであるのに動作可能な範囲が異なってしまうおそれがある。ひいては、ユーザＵに違和感を与えてしまうおそれがある。

【0094】

そこで、このように、生成される仮想空間ＶＳの形状を仮想空間ＶＳの生成のトリガーとなるトリガーイベントが認識された時点における現実空間ＲＳの形状に応じたものにすると、生成された仮想空間ＶＳで動作可能な範囲を、その現実空間ＲＳと一致させることができる。これにより、仮想空間ＶＳの形状と現実空間ＲＳの形状との差異に起因して、ユーザＵに違和感を与えてしまうことを抑制することができる。

【0095】

本実施形態では、仮想空間ＶＳの背景の画像の大きさを、現実空間ＲＳの領域と一致させる大きさとするとともに、現実空間ＲＳに存在するテーブルＲＯ１、本棚ＲＯ２、引き出しＲＯ３の姿勢、座標及び形状に対応させて、仮想空間ＶＳに仮想のオブジェクトである岩ＶＯ１、岩壁ＶＯ２、柱ＶＯ３を生成している。

【0096】

なお、本発明の空間切替システムは、このような構成に限定されるものではなく、生成される仮想空間の形状と現実空間の形状とを必ずしも対応させなくてもよい。例えば、空間切替システムにおける仮想空間を体感させるためのシステムが没入型のものではない場合には、ユーザの移動が生じないので、仮想空間の形状を現実空間の形状と異なるようにしてもよい。

【0097】

また、ここで、仮想空間生成部３７ｂによって生成される仮想空間ＶＳの属性は、その仮想空間ＶＳが生成されるトリガーとなった仮想のオブジェクト（本実施形態では、城の模型の仮想のオブジェクトである模型ＭＯ）の属性に対応したものになっている。

【0098】

ここで、「属性」とは、仮想空間の形状、模様、色彩、又はそれらの組み合わせなどが挙げられる。また、仮想のオブジェクトの属性と仮想空間の属性とは、一致するものの他、関連性を相互に連想させるものであってもよい。具体的には、例えば、仮想空間の背景の模様及び仮想のオブジェクトの模様を一致させることの他、仮想空間が「オフィス」を模した空間である場合には、仮想のオブジェクトの形状を「ビル」にすることなどが挙げられる。

【0099】

このように、トリガーイベントのトリガーとなる仮想のオブジェクトである模型ＭＯの属性と、そのトリガーイベントをトリガーとして生成される仮想空間ＶＳの属性とを対応させるように構成すると、その模型ＭＯを介してトリガーイベントを生じさせるユーザＵは、その後に自らが移動する仮想空間ＶＳの属性を無意識に予測できる。これにより、そのユーザＵにさらに違和感を与えることなく、体感させる空間の種類の切り替えを行うことができる。

【0100】

また、本実施形態では理解を容易にするために、トリガーイベントのトリガーとなる仮想のオブジェクトとして、模型ＭＯのみが存在しているとして説明しているが、仮想のオブジェクトは複数存在してもよい。

【0101】

そして、仮想のオブジェクトが複数存在し、且つ、それらの仮想のオブジェクトの属性（ひいては、その仮想のオブジェクトに基づいて生成される仮想空間の属性）を異ならせておけば、仮想のオブジェクトを選択するという容易な動作だけで、ユーザ自身が、切り替わる仮想空間を選択することができるようになる。

【0102】

なお、本発明の空間切替システムは、このような構成に限定されるものではなく、トリガーイベントのトリガーとなる仮想のオブジェクトの属性とトリガーイベントの属性とを、必ずしも対応させていなくてもよい。

【0103】

ただし、ユーザの意図しないタイミングで体感させる空間の種類の切り替えが生じてしまうとユーザに違和感を与えてしまうので、その仮想のオブジェクトに対して何らかの動作を行った場合に体感させる空間の種類の切り替えが生じることを、明示的又は暗示的に示しておく方がよい。例えば、仮想のオブジェクト付近に仮想のメッセージボードを生成し、そのメッセージボードに、仮想のオブジェクトに触れた際に切り替わる仮想空間の情報を記載しておくなどの処理をしておくとよい。

【0104】

また、本実施形態のシステムＳでは採用していないが、本発明の空間切替システムは、予測される現実空間の状態（形状など）に対応した複数の仮想空間を、トリガーイベントのトリガーとなる仮想のオブジェクトごとに、予め生成しておき、トリガーイベントを認識した際に、そのトリガーイベントの種類と現実空間の状態に応じて仮想空間を選択して、その選択された仮想空間を対象となるユーザに体感させるように構成されていてもよい。

【0105】

アバター状態制御部３８は、ユーザ状態認識部３３によって認識されたユーザＵの現実空間ＲＳにおける状態（すなわち、姿勢及び座標）に基づいて、そのユーザＵに対応するアバターＡの仮想空間ＶＳにおける状態を制御する。

【0106】

このような処理部を備えているシステムＳでは、所定のトリガーイベントが認識される前までは、ユーザＵに認識させる環境は複合空間ＭＳに基づいて決定されるので、いずれのユーザＵも、複合空間ＭＳを体感することになる。

【0107】

一方、所定のトリガーイベントが認識された後は、ユーザＵに体感させる環境は仮想空間に基づいて決定されるので、ユーザＵのうちトリガーイベントを発生させた第１ユーザＵ１は、それまで体感していた複合空間ＭＳに代わり、仮想空間ＶＳを体感することになる。

【0108】

すなわち、このシステムＳは、ユーザＵに体感させる環境を、現実空間ＲＳに仮想のオブジェクトを存在させた複合空間ＭＳと現実空間ＲＳとは切り離された仮想空間ＶＳとの区別なく、切替可能なものとなっている。

【0109】

ここで、その切り替えのトリガーとなるトリガーイベントは、複合空間ＭＳに存在する仮想のオブジェクト（本実施形態では、城の模型の仮想のオブジェクトである模型ＭＯ）を対象としてユーザＵが行う動作である。そして、その模型ＭＯは、仮想のオブジェクトであるので、現実空間ＲＳに存在しながらも仮想空間ＶＳを連想させるものである。

【0110】

そのため、その模型ＭＯに触れたユーザＵは、仮想のオブジェクトをトリガーとして、空間が切り替わることを、意識せずとも認識しやすくなっている。その結果、複合空間ＭＳから仮想空間ＶＳへの切り替えを、そのユーザＵに違和感を与えることなく行うことができる。

【0111】

したがって、システムＳによれば、ユーザにＵ体験させる環境を、従来のように複合空間ＭＳ又は仮想空間ＶＳに限定されたものではなく、複合空間ＭＳと仮想空間ＶＳとを織り交ぜたものにすることができる。また、複合空間ＭＳから仮想空間ＶＳへの切り替えをユーザＵに違和感を与えることなく行うことができるので、その切り替えによってユーザＵの没入感を阻害することも抑制できる。ひいては、このシステムＳによれば、現実空間ＲＳでは体験できない環境を、従来よりも幅広い形で、ユーザＵに体験させることができる。

【0112】

また、複合空間から仮想空間への切り替えは、トリガーイベントが認識された後、仮想空間を生成する処理が完了した時点で、すぐに行ってもよいし、体感させる空間の種類の切り替えが行われるユーザ（第１ユーザ）に、一旦、複合空間と仮想空間とが混在した空間を体感させてから行ってもよい。

【0113】

このように構成すると、体感させる空間を複合空間から仮想空間へ切り替える際に、ユーザに与えてしまうおそれのある唐突さを抑制することができる。ひいては、体感させる空間の種類の切り替えを、さらにユーザに違和感を与えることなく行うことができる。

【0114】

例えば、本実施形態では、図６に示すように、仮想空間を生成する処理が完了した後、複合空間ＭＳが所定の起点（本実施形態では、複合空間ＭＳの図面左側）から仮想空間ＶＳに塗り替えられ、自身を含むユーザＵもアバターＡに置き換わっていくという空間を、第１ユーザＵ１に、一旦体感させてから、仮想空間ＶＳを体感させている。

【0115】

また、複合空間と仮想空間とが混在した空間は、このような構成に限定されるものではない。そのため、例えば、トリガーイベントのトリガーとなる仮想のオブジェクトが、ユーザを飲み込むように拡大していって仮想空間ＶＳになるようなものでもよい。

【0116】

また、複合空間と仮想空間とが混在した空間は、１種類である必要はなく、複数種類あってもよい。例えば、同じ仮想空間への切り替えを行う場合であっても、トリガーとなるトリガーイベントの内容（対象となる仮想のオブジェクトの種類、仮想のオブジェクトに対する動作の種類など）によって、その混在した空間を異ならせるようにしてもよい。

【0117】

ところで、システムＳでは、前述のように、前記現実空間に存在する複数の人物から、体感させる空間の種類の切り替えを行う対象者である第１ユーザＵ１と、体感させる空間の種類の切り替えを行わない非対象者である第２ユーザＵ２とを認識して、トリガーイベントが認識された場合には、第１ユーザに体感させる空間の種類の切り替えのみを行うように構成されている。

【0118】

しかし、そのようにユーザＵごとに体感させる空間の種類の切り替えを行うように構成すると、複数のユーザＵが現実空間ＲＳの同じ領域にいる場合には、第１ユーザＵ１に体感させる空間の種類の切り替えが行われたときに、その第１ユーザＵ１は第２ユーザＵ２を認識できなくなるので、体感させる空間の種類の切り替えが行われた後に、その第１ユーザＵ１が第２ユーザＵ２に意図せず接触してしまうおそれが生じる。

【0119】

また、現実空間の同じ領域に、複合空間及び仮想空間を体感させる者（対象者）と仮想空間又は複合空間を体感させない者（非対象者）とが、同時に存在できるように構成する場合も想定し得る。そのような場合も、対象者に体感させる空間の種類の切り替えが行われたときに、その対象者は非対象者を認識できなくなるので、その切り替えが行われた後に、その対象者が非対象者に意図せず接触してしまうおそれが生じる。

【0120】

そこで、図４に示すように、システムＳは、第１ユーザＵ１に体感させる空間のみが切り替わる場合であっても、その切り替わった仮想空間ＶＳに、対象者である第１ユーザＵ１に対応する第１アバターＡ１だけでなく、第２ユーザＵ２のような非対象者に対応する第２アバターＡ２も含ませるように構成されている。

【0121】

これにより、第１ユーザＵ１は、第２アバターＵ２を介して、第２ユーザＵ２のような非対象者の位置を把握することができるようになるので、第１ユーザＵ１が第２ユーザＵ２のような非対象者に意図せず接触することを抑制することができる。また、第１ユーザＵ１の没入感を阻害することも抑制することができる。

【0122】

なお、本発明の体感空間切替システムは、このような構成に限定されるものではない。例えば、現実空間が十分に広かったり、移動経路が固定されていたりする場合などには、対象者に体感させる空間のみを切り替えたとしても、ユーザ同士の接触の可能性が低いので、体感させる空間の種類の切り替えの行われない非対象者に対応する第２アバターを、必ずしも仮想空間に含ませなくてもよい。

【0123】

なお、本実施形態では、対象者である第１ユーザＵ１に対応して動作する第１アバターＡ１と、非対象者である第２ユーザＵ２に対応して動作する第２アバターＡ２とは、いずれも動物のアバターとなるように構成されている。しかし、対象者に対応するアバターの形態と、非対象者に対応するアバターの形態とは、必ずしも同じ形態のものでなくてもよい。

【0124】

例えば、対象者に対応して動作するアバターを人間をデフォルメしたものにするとともに、非対象者に対応して動作するアバターを動物にしたり、対象者に対応して動作するアバターを背景を透過しないものにするとともに、非対象者に対応して動作するアバターを背景を透過する半透明のものにしたりしてもよい。

【0125】

このように、対応して動作するアバターの形態を対象者と非対象者とで異なるように構成すると、それらのアバターを認識する対象者に、対象者に対応して動作するアバターと非対象者に対応して動作するアバターとの区別を、直感的に行わせることができるようになる。

【0126】

［各処理部で実行される処理］
次に、図２～図９を参照して、システムＳを用いてユーザＵに複合空間ＭＳ又は仮想空間ＶＳを体感させる際に、システムＳの実行する処理（すなわち、空間切替方法）について説明する。

【0127】

［複合空間を体感させる際における処理］
まず、図１～図３及び図７を参照して、システムＳが、ユーザＵに、複合空間ＭＳを体感させる際に実行する処理について説明する。

【0128】

この処理においては、まず、サーバ３の現実空間認識部３０は、ユーザＵが存在している現実空間ＲＳの状況（図１参照）を認識する（図７／ＳＴＥＰ１００）。

【0129】

次に、サーバ３の複合環境生成部３１の仮想オブジェクト生成部３１ａは、複合空間ＭＳに存在させて、ユーザＵに認識させる仮想のオブジェクトを生成する（図７／ＳＴＥＰ１０１）。

【0130】

本実施形態では、仮想オブジェクト生成部３１ａは、複合空間ＭＳに存在させる仮想のオブジェクトとして、トリガーイベントのトリガーとなる模型ＭＯ（図３参照）を生成する。

【0131】

次に、複合環境生成部３１の複合空間生成部３１ｂは、現実空間認識部３０で認識された現実空間ＲＳに、仮想オブジェクト生成部３１ａで生成された仮想のオブジェクトを存在させて、図３に示すような複合空間ＭＳを生成する（図７／ＳＴＥＰ１０２）。

【0132】

次に、サーバ３のユーザ状態認識部３３は、カメラ２が撮影したユーザＵの画像データを認識し、その画像データに基づいて、ユーザＵの状態（現実空間ＲＳにおける姿勢及び座標）を認識する（図７／ＳＴＥＰ１０３）。

【0133】

次に、サーバ３のユーザ環境決定部３２は、ユーザＵの状態に基づいて、ユーザＵに認識させる複合空間ＭＳの環境を決定する（図７／ＳＴＥＰ１０４）。

【0134】

具体的には、ユーザ環境決定部３２は、ユーザＵに認識させる環境として、ユーザＵの現実空間ＲＳの姿勢及び座標に基づいて、現実空間ＲＳに重畳して表示させる仮想のオブジェクトの状態、及びそれに伴う音を決定する。

【0135】

次に、ユーザＵに装着されたＨＭＤ４は、決定された環境を出力する（図７／ＳＴＥＰ１０５）。

【0136】

具体的には、ＨＭＤ４は、ＨＭＤ４に搭載されているモニタ４０を透過して観察している現実空間ＲＳに対し、決定された仮想のオブジェクトを重畳させるように表示させ、ＨＭＤ４に搭載されているスピーカ４１に決定された音を発生させる。

【0137】

次に、サーバ３のユーザ状態認識部３３は、ユーザＵがなんらかの動作を行ったか否かを判断する（図７／ＳＴＥ１０６）。

【0138】

ユーザＵが動作しなかった場合（ＳＴＥＰ１０６でＮＯの場合）、ユーザ状態認識部３３は、所定の制御周期でその判断を繰り返す。

【0139】

一方、ユーザＵが動作した場合（ＳＴＥＰ１０６でＹＥＳの場合）、サーバ３の仮想オブジェクト制御部３４は、そのユーザＵの動作が仮想のオブジェクトに対する動作であるか否かを判断する（図７／ＳＴＥＰ１０７）。

【0140】

ユーザＵの動作が仮想のオブジェクトに対する動作であった場合（ＳＴＥＰ１０７でＹＥＳの場合）、仮想オブジェクト制御部３４は、ユーザＵの動作の種類に応じて、仮想のオブジェクトを制御する（図７／ＳＴＥＰ１０８）。

【0141】

例えば、仮想オブジェクト制御部３４は、ユーザＵの動作が仮想のオブジェクトを移動させるような動作であった場合には、その動作の内容に応じて、仮想のオブジェクトの座標を変化させる。

【0142】

仮想のオブジェクトを制御する処理（ＳＴＥＰ１０８の処理）を実行した後、又は、ユーザＵの動作が仮想のオブジェクトに対する動作でなかった場合（ＳＴＥＰ１０７でＮＯの場合）、サーバ３は、処理の終了を指示する信号を認識したか否かを判断する（図７／ＳＴＥＰ１０９）。

【0143】

終了を指示する信号を認識しなかった場合（ＳＴＥＰ１０９でＮＯの場合）、ＳＴＥＰ１０４に戻り、再度、ＳＴＥＰ１０４以降の処理が実行される。

【0144】

具体的には、まず、ユーザ環境決定部３２は、その時点におけるユーザＵの状態及び複合空間ＭＳの状況に基づいて、ユーザＵに認識させる複合空間ＭＳにおける環境を決定し、次に、ＨＭＤ４は、決定された環境を出力した後、改めて、ユーザ状態認識部３３は、ユーザＵの動作を認識し、そのユーザＵの動作に応じて、仮想オブジェクト制御部３４は、仮想のオブジェクトを制御する。

【0145】

一方、終了を指示する信号を認識した場合（ＳＴＥＰ１０９でＹＥＳの場合）、システムＳは、今回の処理を終了する。

【0146】

以上の処理により、図３に示すように、ユーザＵは、装着したＨＭＤ４で表示される画像及び発生される音によって、現実空間ＲＳに仮想のオブジェクトを存在させた複合空間ＭＳを認識させられるとともに、その複合空間ＭＳで仮想のオブジェクトを操作することができる状態となる。

【0147】

なお、このとき、複合空間ＭＳは現実空間ＲＳを基準として生成されたものであるので、第１ユーザＵ１及び第２ユーザＵ２の一方が認識している複合空間ＭＳには、第１ユーザＵ１及び第２ユーザＵ２の他方も存在する。

【0148】

［空間を切り替える際における処理］
次に、図１～図４、図６、図８Ａ及び図８Ｂを参照して、システムＳは、第１ユーザＵ１に体感させる空間を切り替える際に実行する処理（体感空間切替方法）について説明する。

【0149】

この処理においては、まず、サーバ３のトリガーイベント認識部３５は、所定のトリガーイベントを認識したか否かを判断する（図８Ａ／ＳＴＥＰ２００）。

【0150】

本実施形態では、トリガーイベント認識部３５は、ユーザＵのいずれかが、トリガーイベントのトリガーとなる仮想のオブジェクトである模型ＭＯに対して、触れるような動作をしたか否かを判断する。

【0151】

トリガーイベントを認識しなかった場合（ＳＴＥＰ２０１でＮＯの場合）、トリガーイベント認識部３５は、所定の制御周期でその判断を繰り返す。

【0152】

一方、
トリガーイベントを認識した場合（ＳＴＥＰ２００でＹＥＳの場合）、サーバ３の仮想環境生成部３７の仮想空間生成部３７ｂは、トリガーイベントのトリガーとなった仮想のオブジェクトの属性に基づいて、生成する仮想空間ＶＳの属性を認識する（図８Ａ／ＳＴＥＰ２０１）。

【0153】

本実施形態では、トリガーイベントのトリガーとなった仮想のオブジェクトは、城の模型の仮想のオブジェクトである模型ＭＯであるので、生成される仮想空間ＶＳは、城をテーマにしたものになる。具体的には、岩壁ＶＯ２、岩でできた柱ＶＯ３などで構成された自然を利用した城のような空間になる。

【0154】

次に、仮想空間生成部３７ｂは、現実空間ＲＳの形状を認識する（図８Ａ／ＳＴＥＰ２０２）。

【0155】

具体的には、仮想空間生成部３７ｂは、トリガーイベントが認識された時点でカメラ２で撮影された現実空間ＲＳの画像から、これから仮想空間ＶＳを生成する現実空間ＲＳの領域の大きさ、及びその現実空間ＲＳに存在する実在のオブジェクト（例えば、本実施形態では、テーブルＲＯ１、本棚ＲＯ２、引き出しＲＯ３）の姿勢、座標及び形状を認識する。

【0156】

次に、仮想空間生成部３７ｂは、現実空間ＲＳの形状に基づいて、生成する仮想空間ＶＳの形状を認識する（図８Ａ／ＳＴＥＰ２０３）。

【0157】

具体的には、仮想空間生成部３７ｂは、認識した現実空間ＲＳの領域の大きさに基づいて、仮想空間ＶＳの背景の画像の大きさを認識し、認識した実在のオブジェクトの姿勢、座標及び形状に基づいて、それらの実在のオブジェクトに対応する仮想のオブジェクト（岩ＶＯ１、岩壁ＶＯ２、柱ＶＯ３）の姿勢、座標及び形状を認識する。

【0158】

次に、サーバ３のユーザ状態認識部３３は、ユーザＵの状態を認識する（図８Ａ／ＳＴＥＰ２０４）。

【0159】

具体的には、ユーザ状態認識部３３は、トリガーイベントが認識された時点におけるユーザＵの現実空間ＲＳにおける姿勢及び座標を認識する。

【0160】

次に、サーバ３の仮想環境生成部３７のアバター生成部３７ａは、ユーザＵの状態に基づいて、仮想空間ＶＳに存在させるアバターＡを生成する（図８Ａ／ＳＴＥＰ２０５）。

【0161】

次に、サーバ３の仮想環境生成部３７の仮想空間生成部３７ｂは、アバター生成部３７ａが生成したアバターを含む仮想空間ＶＳを生成する（図８Ａ／ＳＴＥＰ２０６）。

【0162】

具体的には、仮想空間生成部３７ｂは、ＳＴＥＰ２０１で認識した仮想空間ＶＳの属性及びＳＴＥＰ２０３で認識した仮想空間ＶＳの形状に基づいて、仮想空間ＶＳの背景の画像及び仮想のオブジェクトを生成するとともに、その画像に、ＳＴＥＰ２０５で生成されたアバターＡを含ませて、図５に示すような仮想空間ＶＳを生成する。

【0163】

次に、サーバ３のユーザ環境決定部３２は、複合空間ＭＳと仮想空間ＶＳとが混在した空間を生成する（図８Ａ／ＳＴＥＰ２０７）。

【0164】

具体的には、ユーザ環境決定部３２は、複合環境生成部３１が生成し、現在ユーザＵに体感させている複合空間ＭＳと、仮想環境生成部３７が生成し、これからユーザＵに体感させる仮想空間ＶＳの画像とを、混在させた空間を生成する。

【0165】

本実施形態では、その混在させた空間は、図６に示すように、複合空間ＭＳが所定の起点（本実施形態では、複合空間MＳの図面左側）から仮想空間ＶＳに塗り替えられ、自身を含むユーザＵもアバターＡに置き換わっていくという空間である。

【0166】

次に、サーバ３の対象ユーザ認識部３６は、トリガーイベントの内容に基づいて、切り替えの処理の対象となるユーザを認識する（図８Ｂ／ＳＴＥＰ２０８）。

【0167】

具体的には、対象ユーザ認識部３６は、認識したトリガーイベントの種類、及びトリガーイベントが生じた際のユーザＵの動作に基づいて、体感させる空間の種類の切り替えが行われるユーザ（第１ユーザ）と、体感させる空間の種類の切り替えが行われないユーザ（第２ユーザ）とを認識する。

【0168】

本実施形態では、トリガーイベントのトリガーとなる仮想のオブジェクトである模型ＭＯに触れるような動作を行ったユーザＵを、第１ユーザＵ１として認識し、それ以外のユーザを第２ユーザＵ２として認識する。

【0169】

次に、ユーザ環境決定部３２は、第１ユーザＵ１及び第２ユーザＵ２の状態に基づいて、体感させる空間の種類の切り替えの対象となる第１ユーザＵ１に認識させる複合空間ＭＳと仮想空間ＶＳとが混在した空間の環境を決定する（図８Ｂ／ＳＴＥＰ２０９）。

【0170】

次に、第１ユーザＵ１に装着されたＨＭＤ４は、決定された環境を出力する（図８Ｂ／ＳＴＥＰ２１０）。

【0171】

具体的には、ＨＭＤ４は、ＨＭＤ４に搭載されているモニタ４０に決定された画像を表示させ、ＨＭＤ４に搭載されているスピーカ４１に決定された音を発生させる。

【0172】

次に、ユーザ環境決定部３２は、所定時間が経過したか否かを判断する（図８Ｂ／ＳＴＥＰ２１１）。

【0173】

具体的には、ユーザ環境決定部３２は、複合空間ＭＳと仮想空間ＶＳとが混在した空間を介して複合空間ＭＳから仮想空間ＶＳへの切り替えが完了するまでの時間が経過がしたか否かを判断する。

【0174】

その後、所定時間が経過するまで（ＳＴＥＰ２１１でＮＯの場合）、ユーザ環境決定部３２は、ＳＴＥＰ２１１の判断を繰り返す。

【0175】

一方、所定時間が経過した場合（ＳＴＥＰ２１１でＹＥＳの場合）、サーバ３のユーザ状態認識部３３は、ユーザＵの状態を、改めて認識する（図８Ｂ／ＳＴＥＰ２１２）。

【0176】

次に、サーバ３のアバター状態制御部３８は、ユーザＵの状態に基づいて、アバターＡの状態を決定する（図８Ｂ／ＳＴＥＰ２１３）。

【0177】

次に、サーバ３のユーザ環境決定部３２は、第１ユーザＵ１の第１アバターＡ１及び第２ユーザＵ２の第２アバターＡ２の状態に基づいて、第１ユーザＵ１に認識させる仮想空間ＶＳの環境を決定する（図８Ｂ／ＳＴＥＰ２１４）。

【0178】

具体的には、ユーザ環境決定部３２は、第１ユーザＵ１に認識させる環境として、第１アバターＡ１の環境（第２ユーザＵ２に対応する第２アバターＡ２との相対的な座標なども含む）を表す仮想空間ＶＳの画像及び音を決定する。

【0179】

次に、第１ユーザＵ１に装着されたＨＭＤ４は、決定された環境を出力して（図８Ｂ／ＳＴＥＰ２１５）、システムＳは、今回の処理を終了する。

【0180】

以上の処理により、図３、図４及び図６に示すように、第１ユーザＵ１に体感させる空間が、複合空間ＭＳから、複合空間ＭＳと仮想空間ＶＳとが混在する空間を介して、仮想空間ＶＳへと切り替えられる。一方、第２ユーザＵ２に体感させる空間は、複合空間ＭＳのまま維持される。

【0181】

［仮想空間を体感させる際における処理］
次に、図１、図２、図４及び図９を参照して、システムＳが、第１ユーザＵ１に、仮想空間Ｓを体感させる際に実行する処理について説明する。

【0182】

この処理においては、まず、サーバ３のユーザ状態認識部３３は、カメラ２が撮影したユーザＵの画像データを認識し、その画像データに基づいて、第１ユーザＵ１及び第２ユーザＵ２の状態（現実空間ＲＳ（図１参照）における姿勢及び座標）を認識する（図９／ＳＴＥＰ３００）。

【0183】

次に、サーバ３のアバター状態制御部３８は、第１ユーザＵ１及び第２ユーザＵ２の状態に基づいて、第１アバターＡ１及び第２アバターＡ２の状態（仮想空間ＶＳ（図４参照）における姿勢及び座標）を決定する（図９／ＳＴＥＰ３０１）。

【0184】

次に、サーバ３のユーザ環境決定部３２は、第１アバターＡ１及び第２アバターＡ２の状態に基づいて、第１ユーザＵ１に認識させる仮想空間ＶＳの環境を決定する（図９／ＳＴＥＰ３０２）。

【0185】

具体的には、ユーザ環境決定部３２は、第１ユーザＵ１に認識させる環境として、第１アバターＡ１の環境（第２アバターＡ２の相対的な座標なども含む）を表す仮想空間ＶＳ１の画像及び音を決定する。

【0186】

次に、第１ユーザＵ１に装着されたＨＭＤ４は、決定された環境を出力する（図９／ＳＴＥＰ３０３）。

【0187】

具体的には、ＨＭＤ４は、ＨＭＤ４に搭載されているモニタ４０に決定された画像を表示させ、ＨＭＤ４に搭載されているスピーカ４１に決定された音を発生させる。

【0188】

次に、サーバ３のユーザ状態認識部３３は、第１ユーザＵ１又は第２ユーザＵ２がなんらかの動作を行ったか否かを判断する（図９／ＳＴＥＰ３０４）。

【0189】

次に、第１ユーザＵ１又は第２ユーザＵ２がなんらかの動作を行った場合（ＳＴＥＰ３０４でＹＥＳの場合）、ＳＴＥＰ３０１に戻り、再度、ＳＴＥＰ３０１以降の処理が実行される。

【0190】

一方、第１ユーザＵ１又は第２ユーザＵ２がなんらかの動作を行っていなかった場合（ＳＴＥＰ３０４でＮＯの場合）、サーバ３は、処理の終了を指示する信号を認識したか否かを判断する（図９／ＳＴＥＰ３０５）。

【0191】

終了を指示する信号を認識しなかった場合（ＳＴＥＰ３０５でＮＯの場合）、ＳＴＥＰ３０４に戻り、再度、ＳＴＥＰ３０４以降の処理が実行される。

【0192】

一方、終了を指示する信号を認識した場合（ＳＴＥＰ３０５でＹＥＳの場合）、システムＳは、今回の処理を終了する。

【0193】

以上の処理により、図５に示すように、第１ユーザＵ１は、自らが仮想空間ＶＳに、第１アバターＡ１として存在していると認識させられる。このとき、第２ユーザＵ２に対して、引き続き前述の複合空間を体感させる際における処理が実行されているのであれば、第２ユーザＵ２は、引き続き複合空間ＭＳを体感している状態となっている。しかし、第１ユーザＵ１に体感させている仮想空間ＶＳでは、その第２ユーザＵ２に対応する第２アバターＡ２が、第２ユーザＵ２の動作に応じて動作している状態となる。

【0194】

［その他の実施形態］
以上、図示の実施形態について説明したが、本発明はこのような形態に限定されるものではない。

【0195】

例えば、上記実施形態では、体感空間切替システムであるシステムＳが１つのコンピュータシステムである場合について説明した。しかし、本発明は、コンピュータシステムに限らず、本発明の体感空間切替方法を実行させるためのものであればよい。

【0196】

そのため、例えば、上記実施形態で説明した処理部を備える１つのコンピュータによって構成された体感空間切替装置であってもよい。また、前述の体感空間切替方法を任意の１つ又は複数のコンピュータによって実行させるための体感空間切替プログラム、及びそのプログラムを記録し、且つ、そのプログラムを、ユーザなどが利用するコンピュータが読み取り可能な記録媒体であってもよい。

【符号の説明】

【0197】

１…標識、２…カメラ、３…サーバ（体感空間切替システム）、４…ＨＭＤ（環境出力器）、３０…現実空間認識部、３１…複合環境生成部、３１ａ…仮想オブジェクト生成部、３１ｂ…複合空間生成部、３２…ユーザ環境決定部、３３…ユーザ状態認識部（ユーザ動作認識部）、３３ａ…ユーザ姿勢認識部、３３ｂ…ユーザ座標認識部、３４…仮想オブジェクト制御部、３５…トリガーイベント認識部、３６…対象ユーザ認識部（対象者認識部）、３７…仮想環境生成部、３７ａ…アバター生成部、３７ｂ…仮想空間生成部、３８…アバター状態制御部、４０…モニタ、４１…スピーカ、Ａ…アバター、Ａ１…第１アバター、Ａ２…第２アバター、ＭＯ…模型、ＭＳ…複合空間、ＲＯ１…テーブル、ＲＯ２…本棚、ＲＯ３…引き出し、ＲＳ…現実空間、Ｓ…システム、Ｕ…ユーザ、Ｕ１…第１ユーザ（対象者）、Ｕ２…第２ユーザ（非対象者）、ＶＯ１…岩、ＶＯ２…岩壁、ＶＯ３…柱、ＶＳ 仮想空間。

【要約】

システムＳは、サーバ３と、ＨＭＤ４とを備える。サーバ３は、複合空間を生成する複合空間生成部３１ｂと、ＨＭＤ４を介してユーザに認識させる空間を決定するユーザ環境決定部３２と、ユーザの動作を認識するユーザ状態認識部３３と、ユーザが仮想のオブジェクトを対象として行う動作であるトリガーイベントを認識するトリガーイベント認識部３５と、仮想空間を生成する仮想空間生成部３７ｂとを有する。トリガーイベントが認識されると、ユーザ環境決定部３２は、ユーザに、複合空間に代わり、仮想空間を認識させる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8A】

【図8B】

【図9】