特許 7506973 仮想現実との実世界相互作用のための動的実体化を促進するための方法及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-19

(45)【発行日】2024-06-27

(54)【発明の名称】仮想現実との実世界相互作用のための動的実体化を促進するための方法及びシステム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20240620BHJP

   G09B 9/00 20060101ALI20240620BHJP

   G06F 3/04815 20220101ALI20240620BHJP

【ＦＩ】

G06T19/00 300B

G09B9/00 Z

G06F3/04815

【請求項の数】 16

(21)【出願番号】P 2019209457

(22)【出願日】2019-11-20

(65)【公開番号】P2020095703

(43)【公開日】2020-06-18

【審査請求日】2022-11-16

(31)【優先権主張番号】16/221,294

(32)【優先日】2018-12-14

(33)【優先権主張国・地域又は機関】US

【早期審査対象出願】

(73)【特許権者】

【識別番号】504407000

【氏名又は名称】パロ アルト リサーチ センター，エルエルシー

(74)【代理人】

【識別番号】100094569

【弁理士】

【氏名又は名称】田中 伸一郎

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100086771

【弁理士】

【氏名又は名称】西島 孝喜

(74)【代理人】

【氏名又は名称】上杉 浩

(74)【代理人】

【識別番号】100120525

【弁理士】

【氏名又は名称】近藤 直樹

(74)【代理人】

【識別番号】100139712

【弁理士】

【氏名又は名称】那須 威夫

(72)【発明者】

【氏名】マシュー・エイ・シュリーブ

(72)【発明者】

【氏名】ロバート・アール・プライス

(72)【発明者】

【氏名】レスター・ディ・ネルソン

(72)【発明者】

【氏名】ジェームズ・ディー・グラスナップ

【審査官】松永 隆志

(56)【参考文献】

【文献】米国特許出願公開第２０１８／０２８５６３１（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１６／０３４９８３５（ＵＳ，Ａ１）

【文献】特開２００９－２０６６１９（ＪＰ，Ａ）

【文献】特開２００３－２７１８９１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

Ｇ０９Ｂ ９／００

Ｇ０６Ｆ ３／０４８１５

(57)【特許請求の範囲】

【請求項1】

仮想現実との実世界相互作用を促進するためのコンピュータ実装方法であって、
ユーザに関連付けられた仮想現実デバイスからコンピューティングデバイスによって、物理的構成要素を構成するための命令を受信することであって、
第１の場所にある第１の物理的構成要素について、前記命令は、前記第１の物理的構成要素のタイプ及び配向を示し、
第２の場所に位置する第２の物理的構成要素について、前記命令は、前記第２の物理的構成要素のタイプ、前記第２の場所からの延長の長さ、及び前記第２の物理的構成要素と前記第２の場所に関連付けられた表面との間の角度を示す、受信することと、
姿勢調整ユニットによって、前記命令を実行することであって、
前記第１の物理的構成要素を前記第１の場所で前記示された配向に物理的に移動させること、
前記第２の物理的構成要素を前記第２の場所から前記示された長さだけ物理的に延長すること、及び
前記延長された第２の物理的構成要素を前記示された角度で物理的に回転させることを含む、実行することと、
前記仮想現実デバイス上で、前記構成された物理的構成要素をレンダリングすることと、を含み、
前記第１の物理的構成要素及び前記第２の物理的構成要素が、物理的空間内に位置し、
モバイル構成要素である一組の第３の物理的構成要素について、前記命令が、タイプ、ソース場所、標的場所、及び配向を含む、それぞれのモバイル構成要素に関するパラメータを含み、
前記方法が、
モバイルロボットデバイスによって、前記命令を実行することであって、前記示されたソース場所から前記示された標的場所へと前記それぞれのモバイル構成要素を物理的に移動させることを含む、実行することと、
前記物理的構成要素を動的に再構成することであって、
前記仮想現実デバイスから前記コンピューティングデバイスによって、前記第１の物理的構成要素と、前記第２の物理的構成要素と、前記モバイル構成要素と、を含む、前記物理的構成要素を再構成するための命令を受信することと、
前記モバイルロボットデバイス、前記ユーザ、前記物理的空間内の他のユーザ、前記第１の物理的構成要素、前記第２の物理的構成要素、及び前記モバイル構成要素の現在の場所及び現在の配向を識別することと、
前記物理的構成要素を再構成するための前記命令に基づいて、前記第１の物理的構成要素が前記姿勢調整ユニットによって物理的に移動され、前記第２の物理的構成要素が、前記姿勢調整ユニットによって物理的に延長され、及び物理的に回転され、かつ前記モバイル構成要素が、前記モバイルロボットデバイスによって物理的に移動される順序を決定することと、
前記モバイルロボットデバイスが各モバイル構成要素を移動させる軌道を決定することと、
前記命令を実行して、前記物理的構成要素を再構成する期間を計算することと、
前記ユーザを前記期間の間、新しい場所に移動させるように指示することと、
再構成される前記物理的構成要素に関連付けられた前記物理的空間の領域に対応する視覚的合図を、前記仮想現実デバイス上にレンダリングすることと、
前記ユーザが前記新しい場所に移動したことを確認したことに応答して、前記姿勢調整ユニット及び前記モバイルロボットデバイスによって、前記順序及び前記軌道に基づいて、前記物理的構成要素を再構成するための命令を実行することと、
前記物理的構成要素を再構成するための前記命令が完了したときに、前記ユーザに通知することと、を含む、動的に再構成することを更に含む、方法。

【請求項2】

前記物理的構成要素を構成するための前記命令を受信する前に、
前記第１の物理的構成要素が、物理的空間内の前記第１の場所に設置又は装着され、
前記第２の物理的構成要素が、前記物理的空間内の前記第２の場所に設置される、請求項１に記載の方法。

【請求項3】

前記命令が、前記仮想現実デバイスによって送信され、前記仮想現実デバイスを使用して、前記物理的構成要素に対応する仮想現実物体を移動させるユーザに応答して送信される、請求項１に記載の方法。

【請求項4】

前記命令が、前記物理的構成要素の前記タイプに基づいて、前記物理的構成要素の特徴を更に示し、
前記構成された物理的構成要素をレンダリングすることが、前記仮想現実デバイス上で、前記物理的構成要素に対する前記含まれる特徴をレンダリングすることを含み、
前記命令が、物理的空間に関連付けられた感覚発生デバイスを介して生成される感覚情報を更に示し、
前記物理的空間が、前記物理的構成要素に関連付けられ、スピーカ、芳香発生器、振動発生器、及び前記物理的空間の温度、湿度、又は光含量を変化又は制御することができるデバイスのうちの１つ以上を含み、
前記方法が、前記感覚発生デバイスによって、前記示された感覚情報を生成することを更に含む、請求項１に記載の方法。

【請求項5】

前記ソース場所及び前記標的場所が、
前記物理的空間内の場所、及び
前記物理的空間とは異なる第２の物理的空間内にある場所のうちの１つ以上を含む、請求項１に記載の方法。

【請求項6】

前記モバイルロボットデバイスによって、各それぞれの示された標的場所に前記モバイル構成要素が移動されるべき順序を決定することと、
前記モバイルロボットデバイスが、各モバイル構成要素をそれぞれの示された標的場所に移動させる軌道を決定することと、を更に含み、
前記示されたソース場所から前記示された標的場所に前記それぞれのモバイル構成要素を物理的に移動させることが、前記順序及びそれぞれの軌道に基づく、請求項１に記載の方法。

【請求項7】

前記コンピューティングデバイスによって、前記物理的空間に関連付けられたセンサに基づいて、前記モバイルロボットデバイス、前記ユーザ、前記物理的空間内の他のユーザ、前記第１の物理的構成要素、前記第２の物理的構成要素、及び前記モバイル構成要素の現在の場所及び現在の配向を追跡することと、を更に含む、請求項１に記載の方法。

【請求項8】

前記センサが、
前記物理的空間の壁、床、天井、又は他の表面上の固定位置に装着されたカメラ、
前記物理的空間内の移動可能なカメラ、
前記ユーザに関連付けられた又は着用されたセンサ、及び
前記物理的空間内の任意の物理的構成要素、物体、又はユーザの動きを監視することができる任意のセンサ又はデバイス、のうちの１つ以上を含む、請求項７に記載の方法。

【請求項9】

仮想現実との実世界相互作用を促進するためのコンピュータシステムであって、
プロセッサと、
前記プロセッサによって実行されると、前記プロセッサに方法を実行させる命令を記憶する記憶デバイスと、を含み、前記方法が、
ユーザに関連付けられた仮想現実デバイスからコンピューティングデバイスによって、物理的構成要素を構成するための命令を受信することであって、
第１の場所にある第１の物理的構成要素について、前記命令は、前記第１の物理的構成要素のタイプ及び配向を示し、
第２の場所に位置する第２の物理的構成要素について、前記命令は、前記第２の物理的構成要素のタイプ、前記第２の場所からの延長の長さ、及び前記第２の物理的構成要素と前記第２の場所に関連付けられた表面との間の角度を示す、受信することと、
姿勢調整ユニットによって、前記命令を実行することであって、
前記第１の物理的構成要素を前記第１の場所で前記示された配向に物理的に移動させること、
前記第２の物理的構成要素を前記第２の場所から前記示された長さだけ物理的に延長すること、及び
前記延長された第２の物理的構成要素を前記示された角度で物理的に回転させることを含む、実行することと、
前記仮想現実デバイス上で、前記構成された物理的構成要素をレンダリングすることと、を含み、
前記第１の物理的構成要素及び前記第２の物理的構成要素が、物理的空間内に位置し、
モバイル構成要素である一組の第３の物理的構成要素について、前記命令が、タイプ、ソース場所、標的場所、及び配向を含む、それぞれのモバイル構成要素に関するパラメータを含み、
前記方法が、
モバイルロボットデバイスによって、前記命令を実行することであって、前記示されたソース場所から前記示された標的場所へと前記それぞれのモバイル構成要素を物理的に移動させることを含む、実行することと、
前記物理的構成要素を動的に再構成することであって、
前記仮想現実デバイスから前記コンピューティングデバイスによって、前記第１の物理的構成要素と、前記第２の物理的構成要素と、前記モバイル構成要素と、を含む、前記物理的構成要素を再構成するための命令を受信することと、
前記モバイルロボットデバイス、前記ユーザ、前記物理的空間内の他のユーザ、前記第１の物理的構成要素、前記第２の物理的構成要素、及び前記モバイル構成要素の現在の場所及び現在の配向を識別することと、
前記物理的構成要素を再構成するための前記命令に基づいて、前記第１の物理的構成要素が前記姿勢調整ユニットによって物理的に移動され、前記第２の物理的構成要素が、前記姿勢調整ユニットによって物理的に延長され、及び物理的に回転され、かつ前記モバイル構成要素が、前記モバイルロボットデバイスによって物理的に移動される順序を決定することと、
前記モバイルロボットデバイスが各モバイル構成要素を移動させる軌道を決定することと、
前記命令を実行して、前記物理的構成要素を再構成する期間を計算することと、
前記ユーザを前記期間の間、新しい場所に移動させるように指示することと、
再構成される前記物理的構成要素に関連付けられた前記物理的空間の領域に対応する視覚的合図を、前記仮想現実デバイス上にレンダリングすることと、
前記ユーザが前記新しい場所に移動したことを確認したことに応答して、前記姿勢調整ユニット及び前記モバイルロボットデバイスによって、前記順序及び前記軌道に基づいて、前記物理的構成要素を再構成するための命令を実行することと、
前記物理的構成要素を再構成するための前記命令が完了したときに、前記ユーザに通知することと、を含む、動的に再構成することを更に含む、コンピュータシステム。

【請求項10】

前記物理的構成要素を構成するための前記命令を受信する前に、
前記第１の物理的構成要素が、物理的空間内の前記第１の場所に設置又は装着され、
前記第２の物理的構成要素が、前記物理的空間内の前記第２の場所に設置される、請求項９に記載のコンピュータシステム。

【請求項11】

前記命令が、前記仮想現実デバイスによって送信され、前記仮想現実デバイスを使用して、前記物理的構成要素に対応する仮想現実物体を移動させるユーザに応答して送信される、請求項９に記載のコンピュータシステム。

【請求項12】

前記命令が、前記物理的構成要素の前記タイプに基づいて、前記物理的構成要素の特徴を更に示し、
前記構成された物理的構成要素をレンダリングすることが、前記仮想現実デバイス上で、前記物理的構成要素に対する前記含まれる特徴をレンダリングすることを含み、
前記命令が、物理的空間に関連付けられた感覚発生デバイスを介して生成される感覚情報を更に示し、
前記物理的空間が、前記物理的構成要素に関連付けられ、スピーカ、芳香発生器、振動発生器、及び前記物理的空間の温度、湿度、又は光含量を変化又は制御することができるデバイスのうちの１つ以上を含み、
前記方法が、前記感覚発生デバイスによって、前記示された感覚情報を生成することを更に含む、請求項９に記載のコンピュータシステム。

【請求項13】

前記ソース場所及び前記標的場所が、
前記物理的空間内の場所、及び
前記物理的空間とは異なる第２の物理的空間内にある場所のうちの１つ以上を含む、請求項９に記載のコンピュータシステム。

【請求項14】

前記方法が、
前記モバイルロボットデバイスによって、各それぞれの示された標的場所に前記モバイル構成要素が移動されるべき順序を決定することと、
前記モバイルロボットデバイスが、各モバイル構成要素をそれぞれの示された標的場所に移動させる軌道を決定することと、を更に含み、
前記示されたソース場所から前記示された標的場所に前記それぞれのモバイル構成要素を物理的に移動させることが、前記順序及びそれぞれの軌道に基づく、請求項９に記載のコンピュータシステム。

【請求項15】

前記方法が、
前記コンピューティングデバイスによって、前記物理的空間に関連付けられたセンサに基づいて、前記モバイルロボットデバイス、前記ユーザ、前記物理的空間内の他のユーザ、前記第１の物理的構成要素、前記第２の物理的構成要素、及び前記モバイル構成要素の現在の場所及び現在の配向を追跡することを更に含む、請求項９に記載のコンピュータシステム。

【請求項16】

前記センサが、
前記物理的空間の壁、床、天井、又は他の表面上の固定位置に装着されたカメラ、
前記物理的空間内の移動可能なカメラ、
前記ユーザに関連付けられた又は着用されたセンサ、及び
前記物理的空間内の任意の物理的構成要素、物体、又はユーザの動きを監視することができる任意のセンサ又はデバイス、のうちの１つ以上を含む、請求項１５に記載のコンピュータシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、概して、仮想現実システムとの相互作用に関する。より具体的には、本開示は、仮想現実（ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ、ＶＲ）との実世界相互作用のための動的実体化を促進するための方法及びシステムに関する。

【0002】

仮想現実システムのスケール及び使用量が拡大しているが、通常の実用的なタスク（オフィス作業など）をより複雑なタスク（教育、トレーニング、及び娯楽の領域などで）に対して実施し得る、高インパクトのある直感的体験を生成し得る。しかしながら、現在のＶＲシステムにおける１つの著しい制限は、ＶＲシーンにおけるレンダリングイメージが対応する物理的実体がないことである。物理的形態をＶＲのシナリオに提供することにより、ＶＲの実用性が劇的に増加し得る。例えば、ユーザは、運動レジームをサポートするための物理的な工程若しくは階段、又は触覚的な訓練をサポートするための物理的構造を伴う障害物のコースがあることを望む場合がある。仮想会議などの延長シナリオでは、ユーザは、物理的な椅子の上に着座し、物理的なテーブル又は他の表面上に手を置くことを望む場合がある。

【0003】

複合現実（ｍｉｘｅｄ ｒｅａｌｉｔｙ、ＭＲ）システム及び拡張現実（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ、ＡＲ）システムを含む現在のＶＲシステムは、センサ及び他のフィードバックデバイスを使用して、ユーザの物理的環境内に存在する物理的物体を識別することができ、ユーザの対応するＶＲ物体をレンダリングすることができる。しかしながら、現在のＶＲシステムは、実世界の物理的物体を感知することに基づいてＶＲイメージをレンダリングすることはできるが、現在のＶＲシステムは、ユーザがＶＲ内の物体を作成又は構成し、かつ物理界内のＶＲ物体をインスタンス化することを可能にしない。

【0004】

一実施形態は、仮想現実との実世界相互作用を促進するためのシステムを提供する。動作中、システムは、ユーザに関連付けられた仮想現実デバイスから、コンピューティングデバイスによって、物理的構成要素を構成するための命令を受信し、第１の場所にある第１の物理的構成要素について、命令は、第１の物理的構成要素のタイプ及び配向を示し、第２の場所に位置する第２の物理的構成要素について、命令は、第２の物理的構成要素のタイプ、第２の場所からの延長の長さ、及び第２の物理的構成要素と第２の場所に関連付けられた表面との間の角度を示す。このシステムは、姿勢調整ユニットによって、第１の物理的構成要素を第１の場所で示された配向に物理的に移動させること、第２の物理的構成要素を第２の場所から示された長さだけ物理的に延長すること、及び延長された第２の物理的構成要素を示された角度で物理的に回転させることを含む命令を、実行する。システムは、仮想現実デバイス上で、構成された物理的構成要素をレンダリングする。

【0005】

いくつかの実施形態では、物理的構成要素を構成するための命令を受信する前に、第１の物理的構成要素が、物理的空間内の第１の場所に設置又は装着され、第２の物理的構成要素が、物理的空間内の第２の場所に設置される。

【0006】

いくつかの実施形態では、命令は、仮想現実デバイスによって送信され、仮想現実デバイスを使用して、物理的構成要素に対応する仮想現実物体を移動させるユーザに応答して送信される。

【0007】

いくつかの実施形態では、命令は、物理的構成要素のタイプに基づいて、物理的構成要素の特徴を更に示す。構成された物理的構成要素をレンダリングすることは、仮想現実デバイス上で、物理的構成要素に対する含まれる特徴をレンダリングすることを含む。命令は、物理的空間に関連付けられた感覚発生デバイスを介して生成される感覚情報を更に示す。物理的空間は、物理的構成要素に関連付けられ、スピーカ、芳香発生器、振動発生器、及び物理的空間の温度、湿度、又は光含量を変化又は制御することができるデバイスのうちの１つ以上を含む。システムは、感覚発生デバイスによって、示された感覚情報を生成する。

【0008】

いくつかの実施形態では、第１の物理的構成要素及び第２の物理的構成要素は、物理的空間内に位置する。モバイル構成要素である一組の第３の物理的構成要素について、命令が、タイプ、ソース場所、標的場所、及びそれぞれのモバイル構成要素に対する配向を示す。システムは、モバイルロボットデバイスによって、示されたソース場所から示された標的場所へとそれぞれのモバイル構成要素を物理的に移動させることを含む、命令を実行する。

【0009】

いくつかの実施形態では、ソース場所及び標的場所は、物理的空間内の場所、及び物理的空間とは異なる第２の物理的空間内にある場所のうちの１つ以上である。

【0010】

いくつかの実施形態では、システムは、モバイルロボットデバイスによって、各それぞれの示された標的場所にモバイル構成要素が移動されるべき順序を決定する。システムは、モバイルロボットデバイスが、各モバイル構成要素をそれぞれの示された標的場所に移動させる軌道を決定する。示されたソース場所から示された標的場所にそれぞれのモバイル構成要素を物理的に移動させることは、順序及びそれぞれの軌道に基づく。

【0011】

いくつかの実施形態では、システムは、コンピューティングデバイスによって、物理的空間に関連付けられたセンサに基づいて、モバイルロボットデバイス、ユーザ、物理的空間内の他のユーザ、第１の物理的構成要素、第２の物理的構成要素、及びモバイル構成要素の現在の場所及び現在の配向を追跡する。

【0012】

いくつかの実施形態では、センサは、物理的空間の壁、床、天井、又は他の表面上の固定位置に装着されたカメラ、物理的空間内の移動可能なカメラ、ユーザに関連付けられた又は着用されたセンサ、及び物理的空間内の任意の物理的構成要素、物体、又はユーザの動きを監視することができる任意のセンサ又はデバイス、のうちの１つ以上を含む。

【0013】

いくつかの実施形態では、システムは、物理的構成要素を動的に再構成し、以下の動作を含む。システムは、仮想現実デバイスからコンピューティングデバイスによって、第１の物理的構成要素と、第２の物理的構成要素と、モバイル構成要素と、を含む、物理的構成要素を再構成するための命令を受信する。システムは、モバイルロボットデバイス、ユーザ、物理的空間内の他のユーザ、第１の物理的構成要素、第２の物理的構成要素、及びモバイル構成要素の現在の場所及び現在の配向を識別する。システムは、物理的構成要素を再構成するための命令に基づいて、第１の物理的構成要素が姿勢調整ユニットによって物理的に移動され、第２の物理的構成要素が、姿勢調整ユニットによって物理的に延長され、及び物理的に回転され、かつモバイル構成要素が、モバイルロボットデバイスによって物理的に移動される順序を決定する。システムは、モバイルロボットデバイスが各モバイル構成要素を移動させる軌道を決定する。システムは、命令を実行して、物理的構成要素を再構成する期間を計算する。システムは、ユーザをある期間の間、新しい場所に移動させるように指示する。システムは、再構成される物理的構成要素に関連付けられた物理的空間の領域に対応する視覚的合図を、仮想現実デバイス上にレンダリングする。システムは、ユーザが新しい場所に移動したことを確認したことに応答して、姿勢調整ユニット及びモバイルロボットデバイスによって、順序及び軌道に基づいて、物理的構成要素を再構成するための命令を実行する。システムは、物理的構成要素を再構成するための命令が完了したときに、ユーザに通知する。

【図面の簡単な説明】

【0014】

【図1A】本出願の一実施形態による、物理的構成要素に関連付けられた姿勢調整ユニットを含む、仮想現実との実世界相互作用を促進するための例示的な環境を示す。

【図1B】本出願の一実施形態による、物理的構成要素を移動させるモバイルロボットデバイスを含む、仮想現実との実世界相互作用を促進するための例示的な環境を示す。

【図1C】本出願の一実施形態による、物理的構成要素を移動させるモバイルロボットデバイスを含む、仮想現実との実世界相互作用を促進するための例示的な環境を示す。

【図2A】本出願の一実施形態による、世界の物理的空間のビュー及び仮想現実／拡張現実における対応するビューを含む、仮想現実との実世界相互作用を促進するための例示的な環境を示す。

【図2B】本出願の一実施形態による、世界の物理的空間のビュー及び仮想現実／拡張現実における対応するビューを含む、仮想現実との実世界相互作用を促進するための例示的な環境を示す。

【図3A】本出願の一実施形態による、例示的な実体化プロップを示す。

【図3B】本出願の一実施形態による、モバイルロボットデバイスを備えた例示的な実体化プロップを示す。

【図3C】本出願の一実施形態による、例示的な相互リンクされた実体化プロップを示す。

【図3D】本出願の一実施形態による、例示的な実体化プロップを示す。

【図3E】本出願の一実施形態による、例示的な実体化プロップを示す。

【図4A】本出願の一実施形態による、実世界の物理的空間の例示的なレイアウトを提示する。

【図4B】本出願の一実施形態による、図４Ａの構成された物理的空間のレンダリングである例示的なＶＲ空間を提示する。

【図5A】本発明の一実施形態による、仮想現実との実世界相互作用を促進するための方法を示すフローチャートを提示する。

【図5B】本発明の一実施形態による、仮想現実との実世界相互作用を促進するための方法を示すフローチャートを提示する。

【図5C】本出願の一実施形態による、物理的構成要素を動的に再構成することを含む、仮想現実との実世界相互作用を促進するための方法を示すフローチャートを提示する。

【図5D】本出願の一実施形態による、物理的構成要素を動的に再構成することを含む、仮想現実との実世界相互作用を促進するための方法を示すフローチャートを提示する。

【図6】本発明の一実施形態による、仮想現実との実世界相互作用を促進するための例示的な分散コンピュータ及び通信システムを示す。

【発明を実施するための形態】

【0015】

本明細書に記載される実施形態は、仮想現実における相互作用に基づいて、実世界における物理的物体のインスタンス化の問題を解決する。

【0016】

上述したように、現在のＶＲシステムにおける１つの著しい制限は、ＶＲシーンにおけるレンダリングイメージが対応する物理的実体がないことである。物理的形態をＶＲのシナリオに提供することにより、ＶＲの実用性は劇的に増加し得る。例えば、ユーザは、運動レジームをサポートするための物理的な工程若しくは階段、又は触覚的な訓練をサポートするための物理的構造を伴う障害物のコースがあることを望む場合がある。仮想会議などの延長シナリオでは、ユーザは、物理的な椅子の上に着座し、物理的なテーブル又は他の表面上に手を置くことを望む場合がある。現在のＶＲシステムは、実世界の物理的物体を感知することに基づいてＶＲイメージをレンダリングすることができるが、現在のＶＲシステムでは、ＶＲ内の物体を作成又は構成し、かつ、物理界内のＶＲ物体に対応する物理的物体をインスタンス化することはできない。

【0017】

本明細書に記載される実施形態は、仮想現実におけるユーザの相互作用に基づいて物理的物体の動的実体化を可能にするシステムを提供することによって、この問題を解決する。システムは、物理的構成要素及び関連付けられた姿勢調整ユニットを含み得る、事前構成された物理的空間、例えば、部屋などの物理的空間を含むことができ、これは、それぞれの物理的構成要素の位置及び配向を変更することができる。第１の物理的構成要素は、例えば、部屋又は他の物理的空間内の第１の場所に設置又は装着される、壁パネル又は床パネルであってもよい。第１の物理的構成要素のための姿勢調整ユニットは、例えば、図１Ａ及び図２Ａに関連して以下に説明するように、レバー又は他の作動機構とすることができる。第２の物理的構成要素は、例えば、地面と同一平面に設置されるか、又は地面内のスロットから隆起され、その後回転され得る床パネルであってもよい。第２の物理的構成要素のための姿勢調整ユニットは、例えば、図１Ａ及び図２Ｂに関連して以下に説明するように、６自由度で物理的構成要素を移動させ得る、油圧ベースの構成要素とすることができる。

【0018】

ユーザは、ＶＲデバイスを使用して、自分のＶＲデバイスを使用して命令を提供することによって、例えば、事前構成された物理的構成要素に関連付けられた特定の場所に、ソファ又はテーブルを配置するために、ＶＲヘッドセット及び対応する手追跡デバイスを使用することによって、部屋及び部屋内の物理的構成要素を「構成」することができる。ユーザは、構成される物理的構成要素の配向を指定することができる。システムは、命令内に示されるパラメータ（例えば、配向、延長の長さ、様々な表面間の角度など）に基づいて物理的構成要素を物理的に移動、延長、及び／又は回転させることができる姿勢調整ユニットに、命令を送信することができる。システムは、続いて、ＶＲデバイス上に、構成された物理的構成要素を、例えば、ソファ、ベンチ、又は他の表面としてレンダリングすることができる。

【0019】

更に、システムは、椅子、ランプ、コーヒーテーブルなどの、様々なモバイル物理的構成要素（「実体化プロップ」）を含むことができる。これらのモバイル構成要素は、第１及び第２の物理的構成要素と同じ又は異なる物理的空間内に位置してもよい。ユーザは、ＶＲデバイスを使用して、部屋内の様々な場所及び配向で１つ以上のモバイル構成要素を含む命令を提供することによって、部屋を更に構成することができる。モバイルロボットデバイス（例えば、シャトルボット）は、要求されたモバイル構成要素を取り出すことができ、モバイル構成要素を部屋内に配置する順序を決定し、各モバイル構成要素を移動させる軌道を決定することができる。例えば、シャトルボットは、図１Ｂ、図１Ｃ、図３Ａ～図３Ｅ、及び図４Ａ～図４Ｂに関連して以下に記載されるように、順序及び軌道に基づいて、各モバイル構成要素を示されたソース場所から示された標的場所へと物理的に移動させることができる。システムは、ＶＲシーン内のレンダリングされたＶＲイメージ／物体として、構成されたモバイル構成要素をＶＲデバイス上にレンダリングすることができる。

【0020】

加えて、システムは、部屋内の物理的構成要素を（例えば、部屋内のセンサ又はカメラを使用してリアルタイムで）追跡することができ、ユーザから受信した命令に基づいて部屋及び部屋内の物理的構成要素を動的に再構成することができる。例えば、システムは、モバイルロボットデバイス、ユーザ、同じ物理的空間内の他のユーザ、第１の物理的構成要素、第２の物理的構成要素、及びモバイル構成要素の現在の場所及び配向を追跡することができる。ユーザは、ＶＲデバイスを使用して、物理的構成要素を再構成するための命令を提供することによって、部屋を再構成することができ、システムは、上記の動作を物理的構成要素に対して実行することができる。システムは、その後、図５Ｃ及び図５Ｄに関連して後述するように、ＶＲデバイス上に、再構成された物理的構成要素をレンダリングすることができる。

【0021】

したがって、本明細書に記載される実施形態は、現実の用語内の物理的物体をインスタンス化するためにＶＲを使用する技術的問題、例えば、仮想現実におけるユーザの相互作用に基づく物理的物体の動的実体化に対する技術的解決策を提供する。この技術的解決策により、ユーザは、ＶＲデバイスを使用して、物理的空間内に事前構成された物理的構成要素のレイアウトを指定し、モバイル物理的構成要素を部屋内に配置し、ユーザのＶＲデバイス上にレンダリングされた構成された物理的構成要素を表示し、物理的空間を構成又は再構成するためのユーザの命令に基づいて動的に実体化されている、構成された物理的構成要素と相互作用することが可能となる。したがって、ユーザは、実世界内の物理的物体を自分のＶＲデバイスを通してインスタンス化することによって、実世界と相互作用することができる。システムは、事前構成された物理的構成要素（壁から下げることができる壁パネルなど）、又は床から隆起され得る床パネルなど）、並びにモバイル構成要素（モバイルロボットデバイスによって取り出され、配置され得る）を含むことができる。したがって、説明される実施形態は、仮想現実との実世界相互作用の技術分野に対する改善及び向上を提供する。

【0022】

「物理的空間」という用語は、その境界が画定され得る部屋又は任意の物理的空間を含むことができ、物理的構成要素は、ある場所（例えば、設置又は装着される）において、事前構成され得、モバイル物理的構成要素は、別の場所において、ある配向に配置され得る。

【0023】

「姿勢調整ユニット」という用語は、関連付けられた物理的構成要素を調整、回転、延長、又は移動させることができるデバイス、構成要素、又はユニットを指す。姿勢調整ユニットの例としては、ロボットアームと、レバーと、油圧、レバー、ギア、又はプーリに基づくデバイスと、６自由度で移動することができるデバイスと、が挙げられる。

【0024】

「モバイルロボットデバイス」という用語は、第１の場所から第２の場所に移動するための命令又はコマンドを受信することができるデバイスを指す。本開示では、モバイルロボットデバイスはまた、モバイル物理的構成要素をソース場所から標的場所へと取り出し、かつ移動させることができる。モバイルロボットデバイスの一例は、定位置に回転し、３６０度の運動を提供することができるベースを有するシャトルボットである。

【0025】

「物理的構成要素」という用語は、姿勢調整ユニットによって取り付けられるか、起動されるか、作動されるか、若しくは作用され得る、又はモバイルロボットデバイスによって移動され得る物理的構成要素を指す。「モバイル物理的構成要素」又は「モバイル構成要素」という用語は、モバイルロボットデバイスによって取り出され、移動され、配置され得る物理的構成要素を指す。

【0026】

例示的な環境及び通信
図１Ａは、本出願の一実施形態による、物理的構成要素に関連付けられた姿勢調整ユニットを含む、仮想現実との実世界相互作用を促進するための例示的な環境１００を示す。環境１００は、部屋１１０（「プレイルーム」）などの物理的空間を含むことができ、これは、壁パネル１１２、関連付けられた姿勢調整ユニット１１４、床パネル１１６、関連付けられた姿勢調整ユニット１１８、センサ１２０、カメラ１２２、及び感覚発生デバイス１２４などの様々な物理的構成要素を含む。環境１００はまた、コントローラデバイス１２８、関連付けられたデバイス１０４、１０６及び１０８を有するユーザ１０２、並びにコンピューティングデバイス１３０を含むことができる。コントローラデバイス１２８は、姿勢調整ユニット１１４及び１１８と通信することができる。関連付けられたデバイス１０４～１０８は、ユーザ１０２のＶＲ環境をレンダリングする仮想現実デバイスとすることができる。コンピューティングデバイス１３０は、サーバ、マシン、又は本明細書に記載される動作を実行することができる他のデバイス（複数可）であってもよい。コンピューティングデバイス１３０、コントローラデバイス１２８及びユーザ１０２（関連付けられたデバイス１０４～１０８を介して）は、ネットワーク１０１を介して互いに通信することができる。以下の説明は、ＶＲデバイス１０４のみを指すが、ＶＲデバイス１０６及び１０８によって生成される、又はそれらから受信されたデータ／命令を含んでもよい。

【0027】

動作中、ユーザ１０２は、部屋１１０及び部屋内の物理的構成要素、例えば、壁パネル１１２及び床パネル１１６を構成することができる。ＶＲデバイス１０４を使用して、ユーザ１０２は、ＶＲ物体を特定の場所に、かつ特定の配向に配置することによって、物理的物体をインスタンス化することができる。ＶＲデバイス１０４は、物理的構成要素を構成するために、コンピューティングデバイス１３０に命令１３２を生成及び送信することができる。コンピューティングデバイス１３０は、（命令１３４として）命令１３２を受信することができる。命令１３４は、構成される物理的構成要素に関連付けられたパラメータを含むことができ、このパラメータは、タイプ、配向、場所からの延長の長さ、及び構成要素と場所に関連付けられた表面との間の角度を含む。

【0028】

命令１３４を受信すると、コンピューティングデバイス１３０は、物理的構成要素を移動させる順序（機能１３６）を決定し、コントローラデバイス１２８の（順序を含む）命令１３８に送信することができる。コントローラデバイス１２８は、（命令１４０として）命令１３８を受信することができ、決定された順序に基づいて、関連付けられた物理的構成要素を構成するために、姿勢調整ユニット１１４及び１１６命令のそれぞれに送信することができる。それぞれ通信１４２及び１４４を介して送信される命令は、（命令１３２において最初にユーザ１０２によって送信される）命令１４０内に受信されたパラメータに基づくことができる。例えば、命令が壁パネル１１２に対して９０度の角度を有する配向を示す場合、姿勢調整ユニット１１４は、例えば、壁パネル１１２に結合された物理的アーム又はレバーを下げることによって、壁パネル１１２を示された配向に物理的に移動させることができる。命令が床パネル１１６に対して３フィートの延長の長さ、及び１００度の角度を示す場合、姿勢調整ユニット１１８は、床から３フィートだけ床パネル１１６を物理的に隆起させるか、又は延長し、かつ１００度の示された角度で延長された床パネル１１６を物理的に回転させることができる。

【0029】

コントローラデバイスは、命令１４０の完了の状態を示すメッセージ１４６をコンピューティングデバイス１３０に送信することができる。コンピューティングデバイス１３０は、（メッセージ１４８として）メッセージ１４６を受信することができ、対応するメッセージ１５０をデバイス１０４に送信することができる。デバイス１０４は、（メッセージ１５２として）メッセージ１５０を受信することができ、その後、構成された物理的構成要素をレンダリングすることができ、これにより、ユーザ１０２は、仮想現実環境内にある間に（すなわち、デバイス１０４を使用して）部屋内に動的に配置された物理的構成要素と物理的に相互作用することができる。

【0030】

デバイス１０４は、ユーザ１０２によって設定された他のパラメータに基づいて、構成された物理的構成要素をレンダリングすることができ、これは、色、パターン、テクスチャ、及び所与の物理的構成要素に関連付けられて構成及び視覚的に表示され得る任意の他の特徴を含む。例えば、構成された座部表面は、ボコテ又はブビンガなどの高価で希少な木材で構成されているように表示され得る。いくつかの実施形態では、物理的構成要素は、様々なテクスチャ又は詰め物で物理的に事前構成することができ、これは、ユーザの直感的体験の影響を増加させ得、したがって、ＶＲ内のユーザの実世界相互作用を向上させることができる。

【0031】

図１Ｂは、本出願の一実施形態による、物理的構成要素を移動させるモバイルロボットデバイス１６８を含む、仮想現実との実世界相互作用を促進するための例示的な環境１５６を示す。環境１５６は、図１Ａの環境１００と同様であり、部屋１６０（「格納室」）などの別の物理的空間を更に含むことができ、この空間は、様々なモバイル物理的構成要素（「モバイル構成要素」）を格納又は収容することができる。例えば、部屋１６０は、テーブル１６２及び椅子１６４を格納することができる。環境１００はまた、モバイルロボットデバイス１６８（「ロボットデバイス１６８」）を含むことができ、これは、ホイール上のデバイス、トラック上、又は他の移動システムとして構成することができ、モバイル構成要素を１つの場所から別の場所に取り出し、かつ移動させることができる。具体的には、ロボットデバイス１６８は、モバイル構成要素を１つの物理的空間（例えば、部屋１６０）から別の物理的空間（例えば、部屋１１０）に移動させることができる。ロボットデバイス１６８はまた、一度に１つ以上のモバイル構成要素を拾い上げるように構成することができる。

【0032】

動作中、ユーザ１０２は、ＶＲデバイス１０４を使用して（図１Ａに関連して上述したように）部屋１１０及び部屋内の物理的構成要素を構成することができる。ユーザ１０２はまた、ＶＲデバイス１０４を使用して、特定の場所及び配向でモバイル構成要素を部屋に配置することができる。ＶＲデバイス１０４は、モバイル構成要素を構成するために、コンピューティングデバイス１３０に命令１７２を生成及び送信することができる。サーバ１３０は、（命令１７４として）命令１７２を受信することができる。命令は、タイプ、ソース場所、標的場所、及び配向を含む、構成されるモバイル構成要素に関するパラメータを含むことができる。

【0033】

命令１７４を受信すると、コンピューティングデバイス１３０は、モバイル構成要素がロボットデバイス１６８によってそれぞれの標的場所に移動されるべき順序を決定することができ、また、ロボットデバイス１６８が各モバイル構成要素をそのそれぞれの標的場所に移動させる軌道を決定することもできる（機能１７６）。いくつかの実施形態では、コンピューティングデバイス１３０は、モバイル構成要素の両方がロボットデバイス１６８によって移動される順序を決定することができ、事前構成された物理的構成要素は、姿勢調整ユニットによって移動／延長／回転される。コンピューティングデバイス１３０は、（順序及び軌道を含む）命令１７８をロボットデバイス１６８に送ることができる。ロボットデバイス１６８は、（命令１８０として）命令１７８を受信することができ、命令（機能１８２）を、命令１８０内のサーバ１３０によって提供される順序及び軌道に基づいて実行することができる。すなわち、ロボットデバイス１６８は、要求されたモバイル構成要素（複数可）の示されたソース場所（例えば、格納室内）へ行くことができ、要求されたモバイル構成要素（複数可）を拾い上げ、プレイルーム内に移動させ、要求されたモバイル構成要素（複数可）を、プレイルーム内の示された標的場所に配置することができる。ロボットデバイス１６８は、特定のモバイル構成要素がソース場所から拾い上げられ、部屋に移動することができず、最初に受信された命令セットに従って標的場所に配置することができない場合、コンピューティングデバイス１３０と通信して、更新された命令（図示せず）を取得することができる。

【0034】

例えば、命令１８０は、椅子１６４が部屋１６０内のソース場所から部屋１１０内の特定の配向の標的場所に移動されることを示すことができる。ロボットデバイスは、物理経路１８４を使用して部屋１６０へ行き、椅子１６４を取り出すことができる。いくつかの実施形態では、ロボットデバイス１６８は、モバイル構成要素の下を移動するシャトルボットであってもよく、適切に位置付けられると、モバイル構成要素を隆起させ、搬送し、移動させ、又は輸送するために隆起させることができる平坦な表面を使用することができる。

【0035】

図１Ｃは、本出願の一実施形態による、物理的構成要素を移動させるモバイルロボットデバイスを含む、仮想現実との実世界相互作用を促進するための例示的な環境１５８を示す。環境１５８は、図１Ｂの環境１５６と同様であり、ロボットデバイス１６８が部屋１６０から椅子１６４をどのように取り出したかを点線の円１８６に示す。ロボットデバイス１６８は、図４Ａ及び図４Ｂに関連して以下に説明するように、椅子１６４を、物理経路１８８を用いて部屋１１０に移動又は輸送し、椅子１６４を示された場所及び配向に配置することができる。

【0036】

命令１８０を首尾よく実行すると、例えば、椅子１６４を、部屋１１０内の示された標的場所及び配向に移動させることによって、ロボットデバイス１６８は、コンピューティングデバイス１３０に命令１８０の完了の状態を示すメッセージ１９０を送信することができる。コンピューティングデバイス１３０は、（メッセージ１９２として）メッセージ１９０を受信することができ、対応するメッセージ１９４をデバイス１０４に送信することができる。デバイス１０４は、（メッセージ１９６として）メッセージ１９４を受信することができ、その後、構成された物理的構成要素をレンダリングすることができ、これにより、ユーザ１０２は、仮想現実環境内にある間に（すなわち、デバイス１０４を使用して）部屋内に動的に配置されたモバイル構成要素と物理的に相互作用することができる。

【0037】

更に、環境１００、１５６、及び１５８において、ユーザ１０２によって（デバイス１０４を使用して）送信された命令はまた、感覚発生デバイス１２４を介して生成される感覚情報を示すことができ、及び命令を実行する際に、システムは、感覚発生デバイス１２４によって、示された感覚情報を生成することができる。感覚発生デバイス１２４の例としては、例えば、スピーカ、芳香発生器、振動発生器、及び物理的構成要素に関連付けられた物理的空間の温度、湿度、又は光含量を変化又は制御することができるデバイスを含むことができる。更なる例として、光含量は、ケルビン（例えば、白熱、ハロゲン、蛍光、ＬＥＤ）測定された色温度に基づくことができる。いくつかの実施形態では、ＶＲデバイスは、ＶＲ空間内の光量を制御することができ、他の実施形態では、感覚発生デバイスは、物理的空間内の光コンテンツを制御することができる。

【0038】

更に、物理的空間（例えば、センサ１２０及びカメラ１２２）に関連付けられたセンサを使用して、システムは、ロボットデバイス１６８、ユーザ１０２、部屋１１０内の他のユーザ、壁パネル１１２、床パネル１１６、部屋１１０内の任意のモバイル構成要素（椅子１６４など）の現在の場所及び現在の配向を追跡することができる。センサの例としては、例えば、物理的空間の壁、床、天井、又は他の表面上の固定位置に装着されたカメラ、物理的空間内の移動可能なカメラ、ユーザに関連付けられた又は着用されたセンサ、及び物理的空間内の任意の物理的構成要素、物体、又はユーザの動きを監視することができる任意のセンサ又はデバイスを挙げることができる。物理的構成要素及び部屋内のユーザを追跡するためにセンサを使用することによって、システムは、（図１Ａ、図１Ｂ、及び図１Ｃに関して説明されるように、ＶＲデバイスを介して命令を送信することによって）ユーザが動的に部屋を再構成できるようにする。システムはまた、ユーザが部屋内のモバイル構成要素を物理的に移動させることを可能にし、この移動及び部屋内の最終配置は、ＶＲデバイス上でリアルタイムにレンダリングされ得る。部屋を動的に再構成することは、図５Ｃ及び図５Ｄに関連して以下に説明される。

【0039】

ＶＲ／ＡＲにおける例示的な物理的空間及び対応するレンダリング
図２Ａは、本出願の一実施形態による、世界の物理的空間のビュー及び仮想現実（ＶＲ）／拡張現実（ＡＲ）における対応するビューを含む、仮想現実との実世界相互作用を促進するための例示的な環境２００を示す。環境２００は、物理的空間２１０及びＶＲ／ＡＲ空間２３０を含むことができる。物理的空間２１０は、物理的構成要素及び対応する姿勢調整ユニット、例えば、壁パネル２１２（閉位置に描かれ、壁に対して平坦又は面一に描かれている）、対応する姿勢調整ユニット２１４、壁パネル２１６（壁から９０度の角度で延長位置に示される）、及び対応する姿勢調整ユニット２１８を含むことができる。

【0040】

（図１Ａに関連して上述したように、仮想現実デバイス２０４及び任意選択的に仮想現実デバイス２０６を使用して）ユーザ２０２が部屋及び部屋内の物理的構成要素を構成した後、ユーザ２０２は、延長壁パネル２１６の表面に着座することができ、これは、ソファ（すなわち、構成された／レンダリングされた物理的構成要素２３２）としてＶＲ／ＡＲ２３０にレンダリングされている。

【0041】

図２Ｂは、本出願の一実施形態による、世界の物理的空間のビュー及び仮想現実／拡張現実における対応するビューを含む、仮想現実との実世界相互作用を促進するための例示的な環境２４０を示す。環境２４０では、物理的空間２１０は、物理的構成要素及び対応する姿勢調整ユニット、例えば、床パネル１－４ ２４２（床部に対して９０度の角度で隆起した位置で示される）と、対応する姿勢調整ユニット２４４、２４６、及び２４８（それぞれ床パネル１、２及び３に対応する）と、床パネル５－８（床部の表面に沿って平坦又は面一で、隆起していない位置で示される）と、を含むことができる。床パネル５－８の対応する姿勢調整ユニットは、床パネル５－８の下の地面内にあってもよく、したがって、環境２４０の物理的空間２１０には示されていない。床パネル４の対応する姿勢調整ユニットは、物理的空間２１０には示されていないが、ＶＲ／ＡＲ２３０に示されるＶＲ用ソファ２３２のレンダリングされた部分をインスタンス化する隆起床パネル４の下にあってもよい。

【0042】

（図１Ａに関連して上述したように、仮想現実デバイス２０４及び任意選択的に仮想現実デバイス２０６を使用して）ユーザ２０２が部屋及び部屋内の物理的構成要素を構成した後、ユーザ２０２は、隆起床パネル１－４ ２４２によって生成された表面に着座することができ、これは、ソファ（すなわち、構成された／レンダリングされた物理的構成要素２３２）としてＶＲ／ＡＲ２３０にレンダリングされている。

【0043】

したがって、図２Ａ及び図２Ｂのそれぞれの環境２００及び２４０が、ＶＲ世界で生成された命令に基づいて、システムがどのようにユーザが物理的物体をインスタンス化できるか、及びシステムが、実世界相互作用をユーザがＶＲを使用して又はＶＲ中で実行することを可能にする物理的構成要素の動的実体化を提供することができるかを示す。

【0044】

例示的なモバイル構成要素（「実体化プロップ」）
図３Ａは、本出願の一実施形態による、例示的な実体化プロップ３００を示す。プロップ３００は、ＶＲデバイスを介して構成された物理的構成要素をインスタンス化するために使用し得る、テーブル、コーヒーテーブル、デスク、又は他の物理的構成要素若しくは物理的物体であってもよい。プロップ３００は、多くの異なるプロップが設計され得る、移動可能で、相互リンク可能なプラットフォームを含むことができる。

【0045】

図３Ｂは、本出願の実施形態による、モバイルロボットデバイス３１２を有する例示的な実体化プロップ３１０を示す。モバイルロボットデバイス３１２は、プロップ３１０の実体化ベースの下で摺動することができ、そのエレベータ様プラットフォームを隆起させ、プロップ３１０の実体化ベースを持ち上げ、続いてプロップ３１０を示された又は要求された位置及び配向に移動し得るシャトルボットであってもよい。

【0046】

図３Ｃは、本出願の一実施形態による、例示的な相互リンクされた実体化プロップ３２０を示す。プロップ３２０は、一緒に相互リンクされた２つのプロップ（例えば、プロップ３００の２つ）を含むことができる。したがって、プロップ３２０を形成する２つのプロップは、より大量の構造を作り出すことができる。相互リンクされたプロップ３２０を形成するために、１つのプロップを別のプロップ上に隆起させる、及び下げてもよい。モバイルロボットデバイスは、複数のプロップを最初にリンクし、次いで、それらを適所に移動させることができ、又はモバイルロボットデバイスは、各プロップをその示された場所に１つずつ移動させ、次いで、それらを相互リンク位置に配置することができる。システムによって決定される順序及び軌道は、複数の実体化プロップをどのように、かついつ移動及び／又は相互リンクする化に関する具体的な命令を含むことができる。

【0047】

実体プロップは、椅子の背もたれ、テーブルの表面、カップボード、又は登山用のプラットフォームなどの重要な機能を提供し得るいくつかの変形を含んでもよい。例えば、図３Ｄは、本出願の一実施形態による、例示的な実体化プロップ３４０を示す。プロップ３４０は、ユーザが実世界で相互作用することができるモバイル物理的構成要素として椅子を近似又はインスタンス化することができる。別の例として、図３Ｅは、本出願の一実施形態による、例示的な実体化プロップ３５０を示す。プロップ３５０は、ユーザが実世界で相互作用することができるモバイル物理的構成要素として、登山可能なプラットフォームを近似又はインスタンス化することができる。

【0048】

仮想現実との実世界相互作用のためのモバイル構成要素ベースの動的実体化
本明細書に記載される実施形態では、システムは、レイアウトスケジューラ、運動プランナ、並びにナビゲーション及び追跡モジュールを提供することができる。システムはまた、部屋及び部屋内の物理的構成要素の動的再構成を提供することができる。

【0049】

レイアウトスケジューラユーザは、実体化される物体のタイプ、場所、及び配向を指定することができる。しかしながら、実体化プロップは、最初に配置されたプロップが、モバイルロボットデバイスが後のプロップを定位置に移動させることを妨害又は阻止しないように、特定の順序で導入されなければならない。システムは、競合のないプランを作成するために、モバイルロボットデバイスによってモバイル構成要素が移動される順序を決定することができるレイアウトスケジューラを提供する。いくつかの実施形態では、決定された順序はまた、事前構成されたプロップ（図１Ａ、図２Ａ、及び図２Ｂ）を移動させて、競合のないプランを維持する順序を含み、かつ組み込むことができ、例えば、その結果、隆起床パネルは、モバイルロボットデバイスが、モバイル構成要素をその標的場所に引き続き配置することを防止しない。実体化プロップはほぼ同じサイズであるため、システムは、効率のために、離散空間スタンフォード研究所問題ソルバ（Ｓｔａｎｆｏｒｄ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ Ｐｒｏｂｌｅｍ Ｓｏｌｖｅｒ、ＳＴＲＩＰＳ）プランナを使用することができ、これにより、システムは、運動プランニングの詳細なしに抽象的なスケジュールを完了することを可能にする。

【0050】

運動プランナ実体化プロップが配置のために予定されると、システムは、運動プランナを実行して、モバイルロボットデバイスの軌道を発生させることができる。モバイルロボットデバイスは、（例えば、そのソース場所から）示されたプロップを取得するための第１の軌道を必要とし、（例えば、その標的場所へ）プロップを移動させるための第２の軌道とを必要とする。モバイルロボットデバイスはまた、シーンが設定されると、シナリオ領域から出て移動する必要がある。システムは、一般的な運動プランナを使用して、必要な軌道を決定することができ、ホロノミックなシャトルボットのベースが定位置で回転する場合、（３６０度の運動を有するホイール上の定位置で回転するシャトルボットの全体として、又はベースを隆起させることができ、また３６０度の運動で定位置に回転することができるシャトルボット上のベースとして）比較的単純なプランナになり得る。

【0051】

ナビゲーション及び追跡モジュール運動プランが生成されると、システムは、プロップ（事前構成されたプロップ及びモバイル構成要素を含む）、モバイルロボットデバイス、ユーザ、及び物理的空間、シーン、又は部屋の任意の他のユーザの場所及び配向を追跡しなければならない。従来の自己中心同時位置決定及びマッピング（ｓｉｍｕｌｔａｎｅｏｕｓ ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ ｍａｐｐｉｎｇ、ＳＬＡＭ）システムは、閉塞の影響を受けやすく、これにより、位置を推定することが困難になり得る。システムが部屋などの小さな空間の領域内で動作する場合、システムは、オーバーヘッドカメラに基づいて外部トラックを使用することができる。あるいは、システムは、ポレマス（Ｐｏｌｈｅｍｕｓ）などのシステムに基づいて高周波（ｒａｄｉｏ－ｆｒｅｑｕｅｎｃｙ、ＲＦ）測位を使用することができる。システムはまた、物理的空間に関連付けられた他のセンサを使用することができ、これには、物理的空間の壁、床、天井、又は他の表面上の固定位置に装着されたカメラ、物理的空間内の移動可能なカメラ、ユーザに関連付けられた又は着用されたセンサ、及び物理的空間内の任意の物理的構成要素、物体、又はユーザの動きを監視することができる任意のセンサ又はデバイスを含むが、これに限定されない。

【0052】

動的再構成システムがユーザのシーンを構成すると、ユーザはシーンを再構成することを判定することができ、その結果、システムはシーン遷移を実行する。ナビゲーション及び追跡モジュールが、（事前構成されたプロップ及びモバイル構成要素を含む）物理的構成要素、モバイルロボットデバイス、ユーザ、並びに物理的空間内の任意の他のユーザの現在の場所及び配向を追跡することができることを想起されたい。したがって、システムは、ユーザ（複数可）と通信及び協調して、シーン遷移中にユーザがどこに行くべきか、例えば、推定された期間にわたって特定の椅子に座るようにユーザに命令又は通知するメッセージを提案することができる。システムは、レイアウトスケジューラ及び運動プランナによって決定された順序及び軌道に基づいて推定された時間を計算することができ、ユーザへの通知における推定された時間を含む。システムはまた、再構成されている物理的構成要素に対応する領域内のＶＲ空間内に、視覚的合図（煙、霧、着色インジケータ、ミスト様の影など）をレンダリングすることができ、ユーザがこの時間中に回避される領域、すなわち、部屋及び部屋内の物理的構成要素を再構成するためのユーザからの命令に応答して、物理的構成要素が移動されている領域をユーザに示す。

【0053】

いくつかの実施形態では、実世界でインスタンス化され、その後ＶＲでレンダリングされるＶＲ物体をレイアウトする代わりに、ユーザは物理的構成要素を物理的に移動させることによって、部屋を動的に再構成することができ、システムは、ユーザによって移動される物理的構成要素をリアルタイムで動的にレンダリングすることができる。例えば、屋外中庭家具としてＶＲでレンダリングされた（図４Ａ及び図４Ｂのように）いくつかの椅子及びテーブルを有する物理的空間が与えられると、ユーザは椅子に座っていることができる。ユーザは、テーブルに近い椅子を摺動又はシャッフルすることができる。ナビゲーション及び追跡モジュールを使用して、システムは、椅子及びユーザを含む部屋内の全ての物理的構成要素及びユーザの動きを追跡することができる。システムは、動的に、リアルタイムで、ユーザによって移動される椅子に対応するＶＲイメージをレンダリングすることができる。

【0054】

物理的空間及びレンダリングされたＶＲ空間の例示的なレイアウト
図４Ａは、本出願の一実施形態による、実世界の物理的空間４００の例示的なレイアウトを提示する。物理的空間４００は、図３Ａ～図３Ｄに示される実体化プロップなどの様々なモバイル構成要素を含むことができる。例えば、物理的空間４０２は、３つの椅子（実体化プロップ４０２を含む）として設定された実体化プロップと、テーブルの周囲に着座するように構成された背部を有するベンチと、を含むことができる。物理的空間４０２はまた、モバイルロボットデバイス４０４を含むことができる。

【0055】

物理的空間４０２では、モバイルロボットデバイスは、いくつかの他の実体化プロップと共に、セットアップされた実体化プロップの物理的空間とは別個の第２の物理的空間内に位置する。このシステムは、物理的空間内で、物理的に構成された構成要素を経験するためにユーザが留まることができる、プレイルーム内の特定の境界領域又は別個の領域を画定することができ、システムはまた、図４Ｂに関連して以下に説明するように、ＶＲ内の境界領域をＶＲにレンダリングすることもできる。

【0056】

図４Ｂは、本出願の一実施形態による、図４Ａの構成された物理的空間４００のレンダリングである例示的なＶＲ空間４２０を提示する。ＶＲ空間４２０は、物理的空間４００内の実体化プロップのセットに対応し、かつそれによってインスタンス化される一組の屋外中庭家具を描写することができる。例えば、実体化プロップ４０２は、特定の方法でＶＲ空間４２０を構成するためのユーザからの命令に基づいて、その特定の場所に物理的空間４００内に配置されてもよく、これにより、構成された物理的空間４００及び対応するレンダリングされたＶＲ空間４２０をもたらす。したがって、実体化プロップ４０２は、ＶＲ空間４２０内の対応する椅子４２２をインスタンス化し、（ＶＲ椅子４２２としてレンダリングされる実体化プロップ４０２を介して）ユーザが実世界と相互作用することを可能にする。

【0057】

更に、ＶＲ空間４２０は、ユーザが「遊び」を行い、ＶＲにレンダリングされたインスタンス化された実体化プロップと実世界相互作用を実行することができる境界領域を提供することができる、タイル張りの中庭領域４２４を示すことができる。これにより、ユーザは、モバイルロボットデバイス４０４及び設定又は構成されていない残りの実体プロップなどの、部屋内の非レンダリング物理的構成要素への物理的な突き込みを回避することができ、また、部屋及び部屋内の物理的構成要素の動的再構成を達成するために、モバイルロボットデバイスが比較的近接した状態に留まることを可能にする。

【0058】

加えて、図１Ａ～図１Ｃに関連して上述したように、物理的空間４００は、ユーザの仮想デバイスからの命令において示される感覚情報を生成し得る感覚発生デバイスを含むことができる。例えば、ＶＲ空間４２０の屋外中庭家具の設定を構成するための命令の一部として、ユーザは、新たに刈り込まれた芝の香りを含むような命令を構成することができる。芳香発生器（図示せず）は、新たに刈り込まれた芝の匂いに類似した芳香を生成することができ、命令を実行することの一部として、芳香又は香りを放出し、続いてＶＲ空間４２０にＶＲイメージをレンダリングすることができる。いくつかの実施形態では、ユーザは、感覚要素を具体的に構成する必要はない。代わりに、ユーザは単純にＶＲ環境を選択することができ、システムは、対応する感覚要素を自動的に提供することができる。

【0059】

仮想現実との実世界相互作用を促進するための方法
図５Ａは、本発明の一実施形態による、仮想現実との実世界相互作用を促進するための方法を示すフローチャート５００を提示する。動作中、システムは、ユーザに関連付けられた仮想現実デバイスから、コンピューティングデバイスによって、物理的構成要素を構成するための命令を受信し、第１の場所にある第１の物理的構成要素について、命令は、第１の物理的構成要素のタイプ及び配向を示し、第２の場所に位置する第２の物理的構成要素について、命令は、第２の物理的構成要素のタイプ、第２の場所からの延長の長さ、及び第２の物理的構成要素と第２の場所に関連付けられた表面との間の角度を示し、モバイル構成要素である一組の第３の物理的構成要素について、命令は、タイプ、ソース場所、標的場所、及びそれぞれのモバイル構成要素に対する配向を示す（動作５０２）。このシステムは、姿勢調整ユニットによって、命令を実行する（動作５０４）。例えば、第１の物理的構成要素に関連付けられた第１の姿勢調整ユニットは、第１の物理的構成要素について示された命令を実行することができ、第２の物理的構成要素に関連付けられた第２の姿勢調整ユニットは、第２の物理的構成要素について示された命令を実行することができる。システムは、第１及び第２の物理的構成要素のそれぞれに関連付けられた別個の姿勢調整ユニットを含むことができる。いくつかの実施形態では、姿勢調整ユニットは、物理的構成要素の全て（例えば、第１及び第２の物理的構成要素の両方）を制御して関連付けることができる単一のユニットである。姿勢調整ユニットは、１つ以上の物理的構成要素と関連付けることができ、コントローラデバイスによって、又はコントローラデバイスを介して制御することができる。

【0060】

システムはまた、モバイルロボットデバイスによって、命令を実行する（動作５０６）。例えば、モバイルロボットデバイスは、一組の第３の物理的構成要素（モバイル構成要素）について、示された命令を実行することができる。続いて、システムは、仮想現実デバイス上で、構成された物理的構成要素をレンダリングする（動作５０８）。

【0061】

図５Ｂは、本発明の一実施形態による、仮想現実との実世界相互作用を促進するための方法を示すフローチャート５２０を提示する。動作中、システムは、ユーザに関連付けられた仮想現実デバイスから、コンピューティングデバイスによって、物理的空間内の物理的構成要素を構成するための命令を受信する（動作５２２）。動作５０２と同様に、第１の場所にある第１の物理的構成要素について、命令は、第１の物理的構成要素のタイプ及び配向を示し、第２の場所に位置する第２の物理的構成要素について、命令は、第２の物理的構成要素のタイプ、第２の場所からの延長の長さ、及び第２の物理的構成要素と第２の場所に関連付けられた表面との間の角度を示し、モバイル構成要素である一組の第３の物理的構成要素について、命令は、タイプ、ソース場所、標的場所、及びそれぞれのモバイル構成要素に対する配向を示す。第１及び第２の物理的構成要素は、物理的空間内に位置することができ、特定の場所（例えば、壁に装着され、その後下げられ、地下空間内に構築され、その後床から隆起されるなど）に事前構成されてもよい。

【0062】

システムは、第１の姿勢調整ユニットによって、第１の物理的構成要素を第１の場所で示された配向に物理的に移動させる（動作５２４）。システムは、第２の姿勢調整ユニットによって、第２の物理的構成要素を第２の場所から示された長さだけ物理的に延長する（動作５２６）。このシステムは、第２の姿勢調整ユニットによって、延長された第２の物理的構成要素を示された角度で物理的に回転させる（動作５２８）。

【0063】

システムは、モバイルロボットデバイスによって、各それぞれの示された標的場所にモバイル構成要素が移動されるべき順序を決定する（動作５３０）。システムは、モバイルロボットデバイスが、各モバイル構成要素をそれぞれの示された標的場所に移動させる軌道を決定する（動作５３２）。システムは、モバイルロボットデバイスによって、示されたソース場所から示された標的場所へのそれぞれのモバイル構成要素を、順序及びそれぞれの軌道に基づいて物理的に移動させる（動作５３４）。システムはまた、物理的空間に関連付けられた感覚発生デバイスによって、命令内に示される感覚情報を生成する（動作５３６）。この動作は、図５ＣのラベルＡに記載されるように継続する。

【0064】

図５Ｃは、本出願の一実施形態による、物理的構成要素を動的に再構成することを含む、仮想現実との実世界相互作用を促進するための方法５４０を示すフローチャートを提示する。動作中、システムは、コンピューティングデバイスによって、物理的空間に関連付けられたセンサに基づいて、モバイルロボットデバイス、ユーザ、物理的空間内の他のユーザ、第１の物理的構成要素、第２の物理的構成要素、及びモバイル構成要素の現在の場所及び現在の配向を追跡する（動作５４２）。システムは、仮想現実デバイスからコンピューティングデバイスによって、第１の物理的構成要素と、第２の物理的構成要素と、モバイル構成要素と、を含む、物理的構成要素を再構成するための命令を受信する（動作５４４）。システムは、モバイルロボットデバイス、ユーザ、物理的空間内の他のユーザ、第１の物理的構成要素、第２の物理的構成要素、及びモバイル構成要素の現在の場所及び配向を識別する（動作５４６）。

【0065】

システムは、物理的構成要素を再構成するための命令に基づいて、第１の物理的構成要素が姿勢調整ユニットによって物理的に移動され、第２の物理的構成要素が、姿勢調整ユニットによって物理的に延長され、及び物理的に回転され、かつモバイル構成要素が、モバイルロボットデバイスによって物理的に移動される（動作５４８）。システムは、モバイルロボットデバイスが各モバイル構成要素を移動させる軌道を決定する（動作５５０）。システムは、命令を実行して、物理的構成要素を再構成する期間を計算し（動作５５２）、動作は、図５ＤのラベルＢに記載されているように継続する。

【0066】

図５Ｄは、本出願の一実施形態による、物理的構成要素を動的に再構成することを含む、仮想現実との実世界相互作用を促進するための方法を示すフローチャート５６０を提示する。動作中、システムは、ユーザをある期間の間、新しい場所に移動させるように指示する（動作５６２）。新しい場所は、同じ物理的空間（例えば、プレイルーム内）にあってもよく、又は異なる物理的空間内にあってもよい。システムは、再構成される物理的構成要素に関連付けられた物理的空間の領域に対応する視覚的合図を、仮想現実デバイス上にレンダリングする（動作５６４）。システムが、ユーザが新しい場所に移動したことを確認しない場合（判定５６６）、動作は動作５６４に進む。

【0067】

システムが、ユーザが新しい場所に移動したことを確認した場合（判定５６６）、システムは、姿勢調整ユニット及びモバイルロボットデバイスによって、順序及び軌道に基づいて、物理的構成要素を再構成するための命令を実行する（動作５６８）。システムは、物理的構成要素を再構成するための命令が完了したときにユーザに通知し（動作５７０）、ユーザは、物理的空間内の再構成された物理的構成要素と、ＶＲ内の実世界相互作用を再開することができる。

【0068】

いくつかの実施形態では、ユーザを（動作５６２のように）新しい場所に移動させるように指示する代わりに、システムは、ユーザに現在の場所に留まるように指示し（例えば、プレイルーム内の椅子に座っている）、動作５６６の判定は、ユーザが現在の場所に留まっているかどうかを確認することに基づく。更に、ユーザが「現在の」場所に留まらない（又は、動作５６２及び５６６と同様に、「新しい」場所に留まらない）場合、システムは、命令の実行を一時停止し、ユーザに以前の「現在の」（又は「新しい」）場所に戻るようにユーザにリマインダするメッセージをユーザに送信することができる。いくつかの例では、システムが命令を実行して部分的に終了している場合、システムは、部屋の現在の構成（例えば、再構成される物理的構成要素の現在の場所及び配向）を決定することができ、システムは、（以前の「現在の」（又は「新しい」）場所に戻るのではなく）ユーザが移動することができる更新された場所を決定することができる。

【0069】

追加の特徴及び実施形態
本明細書に記載される実施形態は、（図１Ａ、図２Ａ、及び図２Ｂに関連して説明されるように）事前構成された物理的構成要素及び姿勢調整ユニットをカバーする第１の実施形態、並びに（図１Ｂ、図１Ｃ、図３Ａ～図３Ｄ、及び図４Ａ～図４Ｂに関連して説明されるように）モバイル構成要素及びモバイルロボットデバイスをカバーする第２の実施形態を含むことができる。これらの２つのアプローチは、独立して、又は一緒に実装されてもよい。別の実施形態では、システムは、第１及び第２の実施形態の両方を含むことができ、それにより、システムは、ユーザが事前構成された物理的構成要素及びモバイル構成要素の両方を構成することを可能にする。

【0070】

説明される実施形態は、一組の物理的アフォーダンスを提供する。説明されるシステムは、例えば、物理的構成要素上に座ったり又は寄りかかったりするための、ユーザの物理的支持を提供することができる。記載されたシステムはまた、その上に座るユーザのための硬質又はクッション性パネルを提供するなどの、物理的構成要素上のテクスチャを提供することができ、これらのパネルは、それぞれ、屋外のベンチシート又はソファクッションに対応することができる。説明されるシステムはまた、ユーザが（ユーザの運動を制約する）物体に衝突し、他の物体をユーザのビューから不明瞭にする（ユーザの視線を制限する）ことも可能にし得る。

【0071】

記載される実施形態はまた、部屋及び変更可能な物理的構造内の恒久的な物理的構造に重ねられたデジタルレイヤを含む、物理的及びデジタル的拡張の複数の圧縮可能なレイヤも提供することができる。変更可能な物理的構造は、移動可能な壁、床、パーティション、仕切り、天井などの全部屋の再構成を含むことができる。変更可能な物理的構造はまた、ロボットプロセス又はデバイスによって移動され得る一組の在庫物理プロップ（スイッチ及び器具など）を含むことができる。

【0072】

物理的及びデジタル的拡張はまた、他の物理的構造及びプロップの上に、その近くに、又はその上に配置される装飾的／機能的な物理的物体／プロップ（例えば、三次元印刷から）を含むことができる。例えば、ボタン及び他のユーザインタフェース要素を有する機能性デジタル又は物理的物体を使用して、デジタル及び物理的構造／物体／プロップの両方の特性を調整することができる。すなわち、物理的空間内に構成され得る物理的構成要素は、ユーザが構成された物体の特性を調整することを可能にするＵＩ要素を含み得る。例えば、ＶＲシーンは、ＶＲレンダリングされた（対応する物理的構成要素を有さない）テレビ画面を含むことができ、ＶＲレンダリングされた（対応する物理的構成要素を有する、つまり、遠隔制御がプレイルーム内の構成可能な物理的物体である）遠隔制御によってリアルタイムで制御することができる。自分のＶＲデバイスを使用している間、ユーザは物理的な遠隔制御を物理的に拾い上げ、ノブを回転させる（又は、対応する物理的特徴を有するＶＲデバイス上のＵＩ要素を使用して任意のアクションを実行する）ことによって、テレビ上のチャンネルを変更することができる。システムは、物理的な遠隔制御上で生成されたユーザのタッチ又はコマンドを追跡し、ＶＲシーン内のＶＲ物体に対応してフィードバックを（例えば、点滅ボタンとして）レンダリングし、ＶＲレンダリングされたテレビ画面上に異なるチャンネルを表示することができる。

【0073】

例示的なコンピュータ及び通信システム
図６は、本発明の一実施形態による、仮想現実との実世界相互作用を促進するための例示的な分散コンピュータ及び通信システム６０２を示す。コンピュータシステム６０２は、プロセッサ６０４、メモリ６０６、及び記憶デバイス６０８を含む。メモリ６０６は、管理メモリとして機能する揮発性メモリ（例えば、ＲＡＭ）を含むことができ、１つ以上のメモリプールを記憶するために使用することができる。更に、コンピュータシステム６０２は、ディスプレイデバイス６１０、キーボード６１２、及びポインティングデバイス６１４に結合することができる。記憶デバイス６０８は、オペレーティングシステム６１６、コンテンツ処理システム６１８、及びデータ６３２を記憶することができる。

【0074】

コンテンツ処理システム６１８は、コンピュータシステム６０２によって実行されると、本開示に記載されている方法及び／又は処理をコンピュータシステム６０２に実行させることができる命令を含み得る。具体的には、コンテンツ処理システム６１８は、コンピュータネットワークを介して他のネットワークノードへ／から、データパケットを送信及び／又は受信する／取得するための命令を含み得る（通信モジュール６２０）。データパケットは、要求、データ、命令、パラメータ、メッセージ、及び通知を含むことができる。

【0075】

コンテンツ処理システム６１８は、ユーザに関連付けられた仮想現実デバイスから、コンピューティングデバイスによって、物理的構成要素を構成するための命令を受信するための命令を更に含むことができる（通信モジュール６２０）。コンテンツ処理システム６１８は、姿勢調整ユニットによって、命令を実行するための命令を含むことができる（構成要素構成モジュール６２４）。

【0076】

コンテンツ処理システム６１８は、モバイルロボットデバイスによって、各それぞれの示された標的場所にモバイル構成要素が移動されるべき順序を決定するための命令を含むことができる（順序決定モジュール６２６）。コンテンツ処理システム６１８は、モバイルロボットデバイスが、各モバイル構成要素をそれぞれの示された標的場所に移動させる軌道を決定するための命令を含むことができる（軌道決定モジュール６２８）。

【0077】

コンテンツ処理システム６１８は、コンピューティングデバイスによって、物理的空間に関連付けられたセンサに基づいて、モバイルロボットデバイス、ユーザ、物理的空間内の他のユーザ、第１の物理的構成要素、第２の物理的構成要素、及びモバイル構成要素の現在の場所及び現在の配向を追跡するための命令を含むことができる（センサ管理モジュール６３０）。

【0078】

コンテンツ処理システム６１８は、仮想現実デバイスからコンピューティングデバイスによって、第１の物理的構成要素と、第２の物理的構成要素と、モバイル構成要素と、を含む、物理的構成要素を再構成するための命令を受信するための命令を含むことができる（通信モジュール６２０）。コンテンツ処理システム６１８は、物理的構成要素を再構成するための命令を実行するための命令を含むことができる（構成要素構成モジュール６２４）。コンテンツ処理システム６１８は、物理的空間内の第１の場所に第１の物理的構成要素を設置し、又は物理的空間内の第２の場所に第２の物理的構成要素を設置するための命令を含むことができる（物理的構成要素設置モジュール６２２）。

【0079】

データ６３０は、入力として必要とされるか、又は本開示に記載される方法及び／若しくは処理によって出力として生成される、任意のデータを含むことができる。具体的には、データ６３０は、少なくとも、命令、物理的構成要素を構成するための命令、場所、配向、タイプ、長さ、場所からの延長の長さ、角度、物理的構成要素と場所に関連付けられた表面との間の角度、姿勢調整ユニットのインジケータ又は識別子、感覚発生デバイス、又はモバイルロボットデバイス、感覚情報、ソース場所、標的場所、第１の物理的空間のインジケータ、第２の物理的空間のインジケータ、順序、軌道、追跡された現在の場所又は現在の配向、センサのインジケータ、センサから収集又は取得されたデータ、ある期間、及び視覚的合図のインジケータである。

【0080】

この「発明を実施するための形態」において記載されるデータ構造及びコードは、典型的には、コンピュータ可読記憶媒体上に記憶され、それはコンピュータシステムによって使用されるコード及び／又はデータを記憶することができる任意のデバイス又は媒体であってもよい。コンピュータ可読記憶媒体としては、揮発性メモリ、不揮発性メモリ、ディスクドライブなどの磁気及び光学記憶デバイス、磁気テープ、ＣＤ（コンパクトディスク）、ＤＶＤ（デジタル多用途ディスク若しくはデジタルビデオディスク）、又は既知の、若しくは今後開発されるコンピュータ可読媒体を記憶することができる他の媒体が挙げられるが、これらに限定されない。

【0081】

「発明を実施するための形態」セクションに記載される方法及び処理は、上記のようにコンピュータ可読記憶媒体に記憶され得るコード及び／又はデータとして具体化することができる。コンピュータシステムが、コンピュータ可読記憶媒体上に記憶されたコード及び／又はデータを読み取って実行すると、コンピュータシステムは、データ構造及びコードとして具体化され、コンピュータ可読記憶媒体内に記憶された方法及び処理を実行する。

【0082】

更に、上述の方法及び処理は、ハードウェアモジュール又は装置に含まれてもよい。ハードウェアモジュール又は装置としては、特定用途向け集積回路（ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ、ＡＳＩＣ）チップ、フィールドプログラム可能ゲートアレイ（ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ、ＦＰＧＡ）、特定の時刻に特定のソフトウェアモジュール又はコードを実行する専用又は共有プロセッサ、及び、既知の又は後に開発される他のプログラム可能論理デバイスを含むことができるが、これらに限定されない。ハードウェアモジュール又は装置が起動されると、それらの内部に含まれる方法及び処理が実行される。

【図1A】

【図1B】

【図1C】

【図2A】

【図2B】

【図3A】

【図3B】

【図3C】

【図3D】

【図3E】

【図4A】

【図4B】

【図5A】

【図5B】

【図5C】

【図5D】

【図6】