(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023130426
(43)【公開日】2023-09-20
(54)【発明の名称】複合現実における空間命令およびガイド
(51)【国際特許分類】
G06T 19/00 20110101AFI20230912BHJP
H04S 7/00 20060101ALN20230912BHJP
【ＦＩ】
G06T19/00 A
H04S7/00 300
【審査請求】有
【請求項の数】1
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2023109116
(22)【出願日】2023-07-03
(62)【分割の表示】P 2022507405の分割
【原出願日】2020-08-07
(31)【優先権主張番号】62/884,153
(32)【優先日】2019-08-07
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/894,448
(32)【優先日】2019-08-30
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】514108838
【氏名又は名称】マジック リープ， インコーポレイテッド
【氏名又は名称原語表記】Ｍａｇｉｃ Ｌｅａｐ，Ｉｎｃ．
【住所又は居所原語表記】７５００ Ｗ ＳＵＮＲＩＳＥ ＢＬＶＤ，ＰＬＡＮＴＡＴＩＯＮ，ＦＬ ３３３２２ ＵＳＡ
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】トゥシャー アローラ
(72)【発明者】
【氏名】スコット クラマリッチ
(57)【要約】
【課題】複合現実環境内で空間コンテンツを作成するための例示的システムおよび方法の提供。
【解決手段】ある実施例では、座標空間内の第１のユーザと関連付けられる場所が、決定される。持続的仮想コンテンツが、生成される。持続的仮想コンテンツは、第１のユーザの関連付けられる場所と関連付けられる。第１のユーザの関連付けられる場所が、決定され、持続的仮想コンテンツと関連付けられる。座標空間内の第２の時間における第２のユーザの場所が、決定される。持続的仮想コンテンツは、第１のユーザの関連付けられる場所に対応する座標空間内の場所において、ディスプレイを介して、第２のユーザに提示される。
【選択図】なし
【解決手段】ある実施例では、座標空間内の第１のユーザと関連付けられる場所が、決定される。持続的仮想コンテンツが、生成される。持続的仮想コンテンツは、第１のユーザの関連付けられる場所と関連付けられる。第１のユーザの関連付けられる場所が、決定され、持続的仮想コンテンツと関連付けられる。座標空間内の第２の時間における第２のユーザの場所が、決定される。持続的仮想コンテンツは、第１のユーザの関連付けられる場所に対応する座標空間内の場所において、ディスプレイを介して、第２のユーザに提示される。
【選択図】なし
【特許請求の範囲】
【請求項1】
本明細書に記載の発明。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願）
本特許出願は、参照することによってその全体として本明細書に組み込まれる、２０１９年８月７日に出願された米国仮特許出願第６２／８８４，１５３号および２０１９年８月３０日に出願された米国仮特許出願第６２／８９４，４４８号の優先権を請求する。
本特許出願は、参照することによってその全体として本明細書に組み込まれる、２０１９年８月７日に出願された米国仮特許出願第６２／８８４，１５３号および２０１９年８月３０日に出願された米国仮特許出願第６２／８９４，４４８号の優先権を請求する。
【0002】
（分野）
本開示は、概して、オーディオおよび視覚的信号を提示するためのシステムおよび方法に関し、特に、複合現実環境内のユーザ生成コンテンツに対応するオーディオおよび視覚的信号を提示するためのシステムおよび方法に関する。
本開示は、概して、オーディオおよび視覚的信号を提示するためのシステムおよび方法に関し、特に、複合現実環境内のユーザ生成コンテンツに対応するオーディオおよび視覚的信号を提示するためのシステムおよび方法に関する。
【背景技術】
【0003】
（背景）
仮想環境は、コンピューティング環境において普遍的であって、ビデオゲーム（仮想環境が、ゲーム世界を表し得る）、マップ（仮想環境が、ナビゲートされるべき地形を表し得る）、シミュレーション（仮想環境が、実環境をシミュレートし得る）、デジタルストーリーテリング（仮想キャラクタが、仮想環境内で相互に相互作用し得る）、および多くの他の用途において使用を見出している。現代のコンピュータユーザは、概して、快適に仮想環境を知覚し、それと相互作用する。しかしながら、仮想環境を伴うユーザの体験は、仮想環境を提示するための技術によって限定され得る。例えば、従来のディスプレイ（例えば、２Ｄディスプレイ画面）およびオーディオシステム（例えば、固定スピーカ）は、人を引き付け、現実的で、かつ没入型の体験を作成するように、仮想環境を実現することが不可能であり得る。
仮想環境は、コンピューティング環境において普遍的であって、ビデオゲーム（仮想環境が、ゲーム世界を表し得る）、マップ（仮想環境が、ナビゲートされるべき地形を表し得る）、シミュレーション（仮想環境が、実環境をシミュレートし得る）、デジタルストーリーテリング（仮想キャラクタが、仮想環境内で相互に相互作用し得る）、および多くの他の用途において使用を見出している。現代のコンピュータユーザは、概して、快適に仮想環境を知覚し、それと相互作用する。しかしながら、仮想環境を伴うユーザの体験は、仮想環境を提示するための技術によって限定され得る。例えば、従来のディスプレイ（例えば、２Ｄディスプレイ画面）およびオーディオシステム（例えば、固定スピーカ）は、人を引き付け、現実的で、かつ没入型の体験を作成するように、仮想環境を実現することが不可能であり得る。
【0004】
仮想現実（「ＶＲ」）、拡張現実（「ＡＲ」）、複合現実（「ＭＲ」）、および関連技術（集合的に、「ＸＲ」）は、ＸＲシステムのユーザにコンピュータシステム内のデータによって表される仮想環境に対応する感覚情報を提示する能力を共有する。本開示は、ＶＲ、ＡＲ、およびＭＲシステム間の特異性を考慮する（但し、いくつかのシステムは、一側面（例えば、視覚的側面）では、ＶＲとしてカテゴリ化され、同時に、別の側面（例えば、オーディオ側面）では、ＡＲまたはＭＲとしてカテゴリ化され得る）。本明細書で使用されるように、ＶＲシステムは、少なくとも１つの側面においてユーザの実環境を置換する、仮想環境を提示する。例えば、ＶＲシステムは、ユーザに、仮想環境のビューを提示し得る一方、同時に、光遮断頭部搭載型ディスプレイ等を用いて、実環境のそのビューを不明瞭にする。同様に、ＶＲシステムは、ユーザに、仮想環境に対応するオーディオを提示し得る一方、同時に、実環境からのオーディオを遮断する（減衰させる）。
【0005】
ＶＲシステムは、ユーザの実環境を仮想環境と置換することから生じる、種々の短所を被り得る。１つの短所は、仮想環境内のユーザの視野が、（仮想環境ではなく）実環境内におけるその平衡および配向を検出する、その内耳の状態にもはや対応しなくなるときに生じ得る、乗り物酔いを感じることである。同様に、ユーザは、自身の身体および四肢（そのビューは、ユーザが実環境内において「地に足が着いている」と感じるために依拠するものである）が直接可視ではない場合、ＶＲ環境内において失見当識を被り得る。別の短所は、特に、ユーザを仮想環境内に没入させようとする、リアルタイム用途において、完全３Ｄ仮想環境を提示しなければならない、ＶＲシステムに課される算出負担（例えば、記憶、処理力）である。同様に、そのような環境は、ユーザが、仮想環境内のわずかな不完全性にさえ敏感である傾向にあって、そのいずれも、仮想環境内のユーザの没入感を破壊し得るため、没入していると見なされるために、非常に高水準の現実性に到達する必要があり得る。さらに、ＶＲシステムの別の短所は、システムのそのような用途が、実世界内で体験する、種々の光景および音等の実環境内の広範囲の感覚データを利用することができないことである。関連短所は、実環境内の物理的空間を共有するユーザが、仮想環境内で直接見る、または相互に相互作用することが不可能であり得るため、ＶＲシステムが、複数のユーザが相互作用し得る、共有環境を作成することに苦戦し得ることである。
【0006】
本明細書で使用されるように、ＡＲシステムは、少なくとも１つの側面において実環境に重複またはオーバーレイする、仮想環境を提示する。例えば、ＡＲシステムは、表示される画像を提示する一方、光が、ディスプレイを通してユーザの眼の中に通過することを可能にする、透過性頭部搭載型ディスプレイ等を用いて、ユーザに、実環境のユーザのビュー上にオーバーレイされる仮想環境のビューを提示し得る。同様に、ＡＲシステムは、ユーザに、仮想環境に対応するオーディオを提示し得る一方、同時に、実環境からのオーディオを混合させる。同様に、本明細書で使用されるように、ＭＲシステムは、ＡＲシステムと同様に、少なくとも１つの側面において実環境に重複またはオーバーレイする、仮想環境を提示し、加えて、ＭＲシステム内の仮想環境が、少なくとも１つの側面において実環境と相互作用し得ることを可能にし得る。例えば、仮想環境内の仮想キャラクタが、実環境内の照明スイッチを切り替え、実環境内の対応する電球をオンまたはオフにさせてもよい。別の実施例として、仮想キャラクタが、実環境内のオーディオ信号に反応してもよい（顔の表情等を用いて）。実環境の提示を維持することによって、ＡＲおよびＭＲシステムは、ＶＲシステムの前述の短所のうちのいくつかを回避し得る。例えば、ユーザにおける乗り物酔いは、実環境からの視覚的キュー（ユーザ自身の身体を含む）が、可視のままであり得、そのようなシステムが、没入型であるために、ユーザに、完全に実現された３Ｄ環境を提示する必要がないため、低減される。さらに、ＡＲおよびＭＲシステムは、実世界感覚入力（例えば、景色、オブジェクト、および他のユーザのビューおよび音）を利用して、その入力を拡張させる、新しい用途を作成することができる。
【0007】
ＸＲシステムは、ユーザに、仮想環境と相互作用するための種々の方法を提供し得る。例えば、ＸＲシステムは、ユーザの位置および配向、顔の表情、発話、および他の特性を検出し、本情報を入力として仮想環境に提示するために、種々のセンサ（例えば、カメラ、マイクロホン等）を含んでもよい。ＸＲシステムの相互作用は、（例えば、２Ｄ画面を通した）他の仮想環境におけるユーザの関与と比較して、ユーザの関与を増加させることができる。ソーシャル特徴は、ＸＲシステムユーザが、相互と相互作用する、またはコンテンツとともに相互作用することが可能である場合等、相互作用をさらに増加させることができる。増加された関与は、ユーザが仮想コンテンツとのより密接な視覚的および物理的なつながりを体験するにつれて、より良好な学習またはより享受可能なエンターテインメントを促進することができる。
【0008】
ＸＲシステムは、仮想視覚およびオーディオキューと実光景および音を組み合わせることによって、一意の高度な没入感および現実性をもたらすことができる。故に、いくつかのＸＲシステムでは、対応する実環境を向上させる、改良する、または改変する、仮想環境を提示することが望ましい。本開示は、訓練、教育、またはエンターテインメント目的のための双方向仮想環境を組み込む、ＸＲシステムに関する。
【発明の概要】
【課題を解決するための手段】
【0009】
（簡単な要約）
本開示の実施例は、複合現実環境内で空間命令およびガイドを作成するためのシステムおよび方法を説明する。ある例示的方法では、第１の入力が、第１の時間において、第１のユーザから受信される。座標空間内の第１の時間における第１のユーザの位置は、第１のウェアラブル頭部デバイスのセンサを使用して決定される。第１の入力に対応する持続的仮想コンテンツが、生成される。持続的仮想コンテンツは、第１の時間における第１のユーザの位置と関連付けられる。第１のユーザの場所が、決定される。第１のユーザの場所は、持続的仮想コンテンツと関連付けられる。第２の時間において、座標空間内の第２の時間における第２のユーザの位置が、決定される。持続的仮想コンテンツは、ディスプレイを介して、第２のユーザに表示される。持続的仮想コンテンツを第２のユーザに提示することは、第１の時間における第１のユーザの位置に対応する座標空間内の位置において、持続的仮想コンテンツを提示することを含む。第２のユーザの場所が、決定される。第２のユーザの場所は、持続的仮想コンテンツと関連付けられる。新しい場所が、決定され、新しい場所は、第１のユーザの場所および第２のユーザの場所に基づく。新しい場所は、持続的仮想コンテンツと関連付けられる。
本発明は、例えば、以下を提供する。
（項目１）
方法であって、
第１の時間において、第１の入力を第１のユーザから受信することと、
第１のウェアラブル頭部デバイスのセンサを使用して、前記第１の時間において、座標空間内の前記第１のユーザと関連付けられる場所を決定することと、
前記第１の入力に対応する持続的仮想コンテンツを生成することであって、前記持続的仮想コンテンツは、前記第１の時間における前記第１のユーザと関連付けられる場所と関連付けられる、ことと、
第２の時間において、前記座標空間内の前記第２の時間における第２のユーザの場所を決定することと、
前記第１の時間における前記第１のユーザと関連付けられる場所および前記第２の時間における前記第２のユーザの場所に基づいて、前記持続的仮想コンテンツを前記第２のユーザに提示するかどうかを決定することと、
前記持続的仮想コンテンツを前記第２のユーザに提示することの決定に従って、ディスプレイを介して、前記持続的仮想コンテンツを前記第２のユーザに提示することと、
前記持続的仮想コンテンツを前記第２のユーザに提示しないことの決定に従って、前記持続的仮想コンテンツを前記第２のユーザに提示しないことと
を含み、
前記持続的仮想コンテンツを前記第２のユーザに提示することは、前記第１の時間における前記第１のユーザと関連付けられる場所に対応する前記座標空間内の場所において、前記持続的仮想コンテンツを提示することを含む、方法。
（項目２）
前記第１の入力は、前記第１のユーザの頭部の移動、前記第１のユーザの手の移動、およびハンドヘルドコントローラ入力のうちの少なくとも１つを含む、項目１に記載の方法。
（項目３）
前記センサは、位置センサおよびカメラのうちの少なくとも１つを含む、項目１に記載の方法。
（項目４）
前記仮想コンテンツは、仮想マーキングを備える、項目１に記載の方法。
（項目５）
前記持続的仮想コンテンツを前記第２のユーザに提示するかどうかを決定することは、第２のウェアラブル頭部デバイスのセンサを使用して、前記第２のユーザの視野が前記第１の時間における前記第１のユーザと関連付けられる場所を含むかどうかを決定することを含む、項目１に記載の方法。
（項目６）
フィルタ選択を前記第２のユーザから受信することをさらに含み、前記持続的仮想コンテンツを前記第２のユーザに提示するかどうかを決定することは、前記持続的仮想コンテンツが前記フィルタ選択と関連付けられるかどうかを決定することを含む、項目１に記載の方法。
（項目７）
新しい場所を決定することであって、前記新しい場所は、前記第１のユーザと関連付けられる場所および前記第２のユーザの場所に基づく、ことと、
前記新しい場所と前記持続的仮想コンテンツを関連付けることと
をさらに含む、項目１に記載の方法。
（項目８）
第３の時間において、前記第３の時間における第３のユーザの場所を決定することと、
前記第３のユーザの場所が前記新しい場所にあることの決定に従って、前記持続的仮想コンテンツを前記第３のユーザに提示することと
をさらに含む、項目７に記載の方法。
（項目９）
前記新しい場所はさらに、前記第１のユーザと関連付けられる場所の正確度および前記第２のユーザの場所の正確度に基づく、項目７に記載の方法。
（項目１０）
前記持続的仮想コンテンツを前記第２のユーザに提示しないことの決定に従って、前記方法はさらに、
前記第２のユーザの視野が前記第１の時間における前記第１のユーザと関連付けられる場所を含むかどうかを決定することと、
前記第２のユーザの視野が前記第１の時間における前記第１のユーザと関連付けられる場所を含むことの決定に従って、前記持続的仮想コンテンツと関連付けられる第２のコンテンツを提示することと
を含む、項目１に記載の方法。
（項目１１）
前記持続的仮想コンテンツが前記第２のユーザに提示される間、
第３の時間において、前記座標空間内の前記第３の時間における第３のユーザの場所を決定することと、
前記第３のユーザの場所が前記第２の場所にあることの決定に従って、
入力を前記第３のユーザから受信することと、
第１の入力の受信に応答して、前記持続的仮想コンテンツを、前記持続的仮想コンテンツの開始から、前記第３のユーザに提示することと、
第２の入力の受信に応答して、前記第２のユーザと並行して、前記持続的仮想コンテンツを前記第３のユーザに提示することと
をさらに含む、項目１に記載の方法。
（項目１２）
前記第１のユーザと関連付けられる場所は、前記座標空間内の前記第１のユーザの物理的場所である、項目１に記載の方法。
（項目１３）
前記第１のユーザと関連付けられる場所は、前記座標空間内の前記第１のユーザの仮想場所であり、前記仮想場所は、前記第１のウェアラブル頭部デバイスの物理的場所と異なる、項目１に記載の方法。
（項目１４）
システムであって、
センサと、
１つまたはそれを上回るプロセッサと
を備え、前記１つまたはそれを上回るプロセッサは、方法を実行するように構成されており、前記方法は、
第１の時間において、第１の入力を第１のユーザから受信することと、
前記センサを使用して、座標空間内の前記第１の時間における前記第１のユーザと関連付けられる場所を決定することと、
前記第１の入力に対応する持続的仮想コンテンツを生成することであって、前記持続的仮想コンテンツは、前記第１の時間における前記第１のユーザと関連付けられる場所と関連付けられる、ことと、
第２の時間において、前記座標空間内の前記第２の時間における第２のユーザの場所を決定することと、
前記第１の時間における前記第１のユーザと関連付けられる場所および前記第２の時間における前記第２のユーザの場所に基づいて、前記持続的仮想コンテンツを前記第２のユーザに提示するかどうかを決定することと、
前記持続的仮想コンテンツを前記第２のユーザに提示することの決定に従って、ディスプレイを介して、前記持続的仮想コンテンツを前記第２のユーザに提示することと、
前記持続的仮想コンテンツを前記第２のユーザに提示しないことの決定に従って、前記持続的仮想コンテンツを前記第２のユーザに提示しないことと
を含み、
前記持続的仮想コンテンツを前記第２のユーザに提示することは、前記第１の時間における前記第１のユーザと関連付けられる場所に対応する前記座標空間内の場所において、前記持続的仮想コンテンツを提示することを含む、システム。
（項目１５）
前記方法はさらに、
新しい場所を決定することであって、前記新しい場所は、前記第１のユーザと関連付けられる場所および前記第２のユーザの場所に基づく、ことと、
前記新しい場所と前記持続的仮想コンテンツを関連付けることと
を含む、項目１４に記載のシステム。
（項目１６）
前記第１のユーザと関連付けられる場所は、前記座標空間内の前記第１のユーザの物理的場所である、項目１４に記載のシステム。
（項目１７）
前記第１のユーザと関連付けられる場所は、前記座標空間内の前記第１のユーザの仮想場所であり、前記仮想場所は、前記第１のウェアラブル頭部デバイスの物理的場所と異なる、項目１４に記載のシステム。
（項目１８）
コンピュータ可読媒体であって、前記コンピュータ可読媒体は、命令を記憶しており、前記命令は、１つまたはそれを上回るプロセッサによって実行されると、前記１つまたはそれを上回るプロセッサに、方法を実行させ、前記方法は、
第１の時間において、第１の入力を第１のユーザから受信することと、
第１のウェアラブル頭部デバイスのセンサを使用して、前記第１の時間において、座標空間内の前記第１のユーザと関連付けられる場所を決定することと、
前記第１の入力に対応する持続的仮想コンテンツを生成することであって、前記持続的仮想コンテンツは、前記第１の時間における前記第１のユーザと関連付けられる場所と関連付けられる、ことと、
第２の時間において、前記座標空間内の前記第２の時間における第２のユーザの場所を決定することと、
前記第１の時間における前記第１のユーザと関連付けられる場所および前記第２の時間における前記第２のユーザの場所に基づいて、前記持続的仮想コンテンツを前記第２のユーザに提示するかどうかを決定することと、
前記持続的仮想コンテンツを前記第２のユーザに提示することの決定に従って、ディスプレイを介して、前記持続的仮想コンテンツを前記第２のユーザに提示することと、
前記持続的仮想コンテンツを前記第２のユーザに提示しないことの決定に従って、前記持続的仮想コンテンツを前記第２のユーザに提示しないことと
を含み、
前記持続的仮想コンテンツを前記第２のユーザに提示することは、前記第１の時間における前記第１のユーザと関連付けられる場所に対応する前記座標空間内の場所において、前記持続的仮想コンテンツを提示することを含む、コンピュータ可読媒体。
（項目１９）
前記方法はさらに、
新しい場所を決定することであって、前記新しい場所は、前記第１のユーザと関連付けられる場所および前記第２のユーザの場所に基づく、ことと、
前記新しい場所と前記持続的仮想コンテンツを関連付けることと
を含む、項目１８に記載のコンピュータ可読媒体。
（項目２０）
前記第１のユーザと関連付けられる場所は、前記座標空間内の前記第１のユーザの物理的場所である、項目１８に記載のコンピュータ可読媒体。
本開示の実施例は、複合現実環境内で空間命令およびガイドを作成するためのシステムおよび方法を説明する。ある例示的方法では、第１の入力が、第１の時間において、第１のユーザから受信される。座標空間内の第１の時間における第１のユーザの位置は、第１のウェアラブル頭部デバイスのセンサを使用して決定される。第１の入力に対応する持続的仮想コンテンツが、生成される。持続的仮想コンテンツは、第１の時間における第１のユーザの位置と関連付けられる。第１のユーザの場所が、決定される。第１のユーザの場所は、持続的仮想コンテンツと関連付けられる。第２の時間において、座標空間内の第２の時間における第２のユーザの位置が、決定される。持続的仮想コンテンツは、ディスプレイを介して、第２のユーザに表示される。持続的仮想コンテンツを第２のユーザに提示することは、第１の時間における第１のユーザの位置に対応する座標空間内の位置において、持続的仮想コンテンツを提示することを含む。第２のユーザの場所が、決定される。第２のユーザの場所は、持続的仮想コンテンツと関連付けられる。新しい場所が、決定され、新しい場所は、第１のユーザの場所および第２のユーザの場所に基づく。新しい場所は、持続的仮想コンテンツと関連付けられる。
本発明は、例えば、以下を提供する。
（項目１）
方法であって、
第１の時間において、第１の入力を第１のユーザから受信することと、
第１のウェアラブル頭部デバイスのセンサを使用して、前記第１の時間において、座標空間内の前記第１のユーザと関連付けられる場所を決定することと、
前記第１の入力に対応する持続的仮想コンテンツを生成することであって、前記持続的仮想コンテンツは、前記第１の時間における前記第１のユーザと関連付けられる場所と関連付けられる、ことと、
第２の時間において、前記座標空間内の前記第２の時間における第２のユーザの場所を決定することと、
前記第１の時間における前記第１のユーザと関連付けられる場所および前記第２の時間における前記第２のユーザの場所に基づいて、前記持続的仮想コンテンツを前記第２のユーザに提示するかどうかを決定することと、
前記持続的仮想コンテンツを前記第２のユーザに提示することの決定に従って、ディスプレイを介して、前記持続的仮想コンテンツを前記第２のユーザに提示することと、
前記持続的仮想コンテンツを前記第２のユーザに提示しないことの決定に従って、前記持続的仮想コンテンツを前記第２のユーザに提示しないことと
を含み、
前記持続的仮想コンテンツを前記第２のユーザに提示することは、前記第１の時間における前記第１のユーザと関連付けられる場所に対応する前記座標空間内の場所において、前記持続的仮想コンテンツを提示することを含む、方法。
（項目２）
前記第１の入力は、前記第１のユーザの頭部の移動、前記第１のユーザの手の移動、およびハンドヘルドコントローラ入力のうちの少なくとも１つを含む、項目１に記載の方法。
（項目３）
前記センサは、位置センサおよびカメラのうちの少なくとも１つを含む、項目１に記載の方法。
（項目４）
前記仮想コンテンツは、仮想マーキングを備える、項目１に記載の方法。
（項目５）
前記持続的仮想コンテンツを前記第２のユーザに提示するかどうかを決定することは、第２のウェアラブル頭部デバイスのセンサを使用して、前記第２のユーザの視野が前記第１の時間における前記第１のユーザと関連付けられる場所を含むかどうかを決定することを含む、項目１に記載の方法。
（項目６）
フィルタ選択を前記第２のユーザから受信することをさらに含み、前記持続的仮想コンテンツを前記第２のユーザに提示するかどうかを決定することは、前記持続的仮想コンテンツが前記フィルタ選択と関連付けられるかどうかを決定することを含む、項目１に記載の方法。
（項目７）
新しい場所を決定することであって、前記新しい場所は、前記第１のユーザと関連付けられる場所および前記第２のユーザの場所に基づく、ことと、
前記新しい場所と前記持続的仮想コンテンツを関連付けることと
をさらに含む、項目１に記載の方法。
（項目８）
第３の時間において、前記第３の時間における第３のユーザの場所を決定することと、
前記第３のユーザの場所が前記新しい場所にあることの決定に従って、前記持続的仮想コンテンツを前記第３のユーザに提示することと
をさらに含む、項目７に記載の方法。
（項目９）
前記新しい場所はさらに、前記第１のユーザと関連付けられる場所の正確度および前記第２のユーザの場所の正確度に基づく、項目７に記載の方法。
（項目１０）
前記持続的仮想コンテンツを前記第２のユーザに提示しないことの決定に従って、前記方法はさらに、
前記第２のユーザの視野が前記第１の時間における前記第１のユーザと関連付けられる場所を含むかどうかを決定することと、
前記第２のユーザの視野が前記第１の時間における前記第１のユーザと関連付けられる場所を含むことの決定に従って、前記持続的仮想コンテンツと関連付けられる第２のコンテンツを提示することと
を含む、項目１に記載の方法。
（項目１１）
前記持続的仮想コンテンツが前記第２のユーザに提示される間、
第３の時間において、前記座標空間内の前記第３の時間における第３のユーザの場所を決定することと、
前記第３のユーザの場所が前記第２の場所にあることの決定に従って、
入力を前記第３のユーザから受信することと、
第１の入力の受信に応答して、前記持続的仮想コンテンツを、前記持続的仮想コンテンツの開始から、前記第３のユーザに提示することと、
第２の入力の受信に応答して、前記第２のユーザと並行して、前記持続的仮想コンテンツを前記第３のユーザに提示することと
をさらに含む、項目１に記載の方法。
（項目１２）
前記第１のユーザと関連付けられる場所は、前記座標空間内の前記第１のユーザの物理的場所である、項目１に記載の方法。
（項目１３）
前記第１のユーザと関連付けられる場所は、前記座標空間内の前記第１のユーザの仮想場所であり、前記仮想場所は、前記第１のウェアラブル頭部デバイスの物理的場所と異なる、項目１に記載の方法。
（項目１４）
システムであって、
センサと、
１つまたはそれを上回るプロセッサと
を備え、前記１つまたはそれを上回るプロセッサは、方法を実行するように構成されており、前記方法は、
第１の時間において、第１の入力を第１のユーザから受信することと、
前記センサを使用して、座標空間内の前記第１の時間における前記第１のユーザと関連付けられる場所を決定することと、
前記第１の入力に対応する持続的仮想コンテンツを生成することであって、前記持続的仮想コンテンツは、前記第１の時間における前記第１のユーザと関連付けられる場所と関連付けられる、ことと、
第２の時間において、前記座標空間内の前記第２の時間における第２のユーザの場所を決定することと、
前記第１の時間における前記第１のユーザと関連付けられる場所および前記第２の時間における前記第２のユーザの場所に基づいて、前記持続的仮想コンテンツを前記第２のユーザに提示するかどうかを決定することと、
前記持続的仮想コンテンツを前記第２のユーザに提示することの決定に従って、ディスプレイを介して、前記持続的仮想コンテンツを前記第２のユーザに提示することと、
前記持続的仮想コンテンツを前記第２のユーザに提示しないことの決定に従って、前記持続的仮想コンテンツを前記第２のユーザに提示しないことと
を含み、
前記持続的仮想コンテンツを前記第２のユーザに提示することは、前記第１の時間における前記第１のユーザと関連付けられる場所に対応する前記座標空間内の場所において、前記持続的仮想コンテンツを提示することを含む、システム。
（項目１５）
前記方法はさらに、
新しい場所を決定することであって、前記新しい場所は、前記第１のユーザと関連付けられる場所および前記第２のユーザの場所に基づく、ことと、
前記新しい場所と前記持続的仮想コンテンツを関連付けることと
を含む、項目１４に記載のシステム。
（項目１６）
前記第１のユーザと関連付けられる場所は、前記座標空間内の前記第１のユーザの物理的場所である、項目１４に記載のシステム。
（項目１７）
前記第１のユーザと関連付けられる場所は、前記座標空間内の前記第１のユーザの仮想場所であり、前記仮想場所は、前記第１のウェアラブル頭部デバイスの物理的場所と異なる、項目１４に記載のシステム。
（項目１８）
コンピュータ可読媒体であって、前記コンピュータ可読媒体は、命令を記憶しており、前記命令は、１つまたはそれを上回るプロセッサによって実行されると、前記１つまたはそれを上回るプロセッサに、方法を実行させ、前記方法は、
第１の時間において、第１の入力を第１のユーザから受信することと、
第１のウェアラブル頭部デバイスのセンサを使用して、前記第１の時間において、座標空間内の前記第１のユーザと関連付けられる場所を決定することと、
前記第１の入力に対応する持続的仮想コンテンツを生成することであって、前記持続的仮想コンテンツは、前記第１の時間における前記第１のユーザと関連付けられる場所と関連付けられる、ことと、
第２の時間において、前記座標空間内の前記第２の時間における第２のユーザの場所を決定することと、
前記第１の時間における前記第１のユーザと関連付けられる場所および前記第２の時間における前記第２のユーザの場所に基づいて、前記持続的仮想コンテンツを前記第２のユーザに提示するかどうかを決定することと、
前記持続的仮想コンテンツを前記第２のユーザに提示することの決定に従って、ディスプレイを介して、前記持続的仮想コンテンツを前記第２のユーザに提示することと、
前記持続的仮想コンテンツを前記第２のユーザに提示しないことの決定に従って、前記持続的仮想コンテンツを前記第２のユーザに提示しないことと
を含み、
前記持続的仮想コンテンツを前記第２のユーザに提示することは、前記第１の時間における前記第１のユーザと関連付けられる場所に対応する前記座標空間内の場所において、前記持続的仮想コンテンツを提示することを含む、コンピュータ可読媒体。
（項目１９）
前記方法はさらに、
新しい場所を決定することであって、前記新しい場所は、前記第１のユーザと関連付けられる場所および前記第２のユーザの場所に基づく、ことと、
前記新しい場所と前記持続的仮想コンテンツを関連付けることと
を含む、項目１８に記載のコンピュータ可読媒体。
（項目２０）
前記第１のユーザと関連付けられる場所は、前記座標空間内の前記第１のユーザの物理的場所である、項目１８に記載のコンピュータ可読媒体。
【図面の簡単な説明】
【0010】
【0011】
【0012】
【0013】
【0014】
【0015】
【0016】
【0017】
【0018】
【0019】
【0020】
【0021】
【0022】
【0023】
【0024】
【0025】
【0026】
【発明を実施するための形態】
【0027】
（詳細な説明）
実施例の以下の説明では、本明細書の一部を形成し、例証として、実践され得る具体的実施例が示される、付随の図面を参照する。他の実施例も、使用されることができ、構造変更が、開示される実施例の範囲から逸脱することなく、行われることができることを理解されたい。
実施例の以下の説明では、本明細書の一部を形成し、例証として、実践され得る具体的実施例が示される、付随の図面を参照する。他の実施例も、使用されることができ、構造変更が、開示される実施例の範囲から逸脱することなく、行われることができることを理解されたい。
【0028】
複合現実環境
【0029】
全ての人々と同様に、複合現実システムのユーザは、実環境内に存在する、すなわち、「実世界」の３次元部分と、そのコンテンツの全てとが、ユーザによって知覚可能である。例えば、ユーザは、通常の人間の感覚、すなわち、視覚、聴覚、触覚、味覚、嗅覚を使用して、実環境を知覚し、実環境内で自身の身体を移動させることによって、実環境と相互作用する。実環境内の場所は、座標空間内の座標として説明されることができる。例えば、座標は、緯度、経度、および海抜に対する高度、基準点から３つの直交次元における距離、または他の好適な値を含むことができる。同様に、ベクトルは、座標空間内の方向および大きさを有する、量を説明することができる。
【0030】
コンピューティングデバイスは、例えば、デバイスと関連付けられるメモリ内に、仮想環境の表現を維持することができる。本明細書で使用されるように、仮想環境は、３次元空間の算出表現である。仮想環境は、任意のオブジェクトの表現、アクション、信号、パラメータ、座標、ベクトル、またはその空間と関連付けられる他の特性を含むことができる。いくつかの実施例では、コンピューティングデバイスの回路（例えば、プロセッサ）は、仮想環境の状態を維持および更新することができる。すなわち、プロセッサは、第１の時間ｔ０において、仮想環境と関連付けられるデータおよび／またはユーザによって提供される入力に基づいて、第２の時間ｔ１における仮想環境の状態を決定することができる。例えば、仮想環境内のオブジェクトが、時間ｔ０において、第１の座標に位置し、あるプログラムされた物理的パラメータ（例えば、質量、摩擦係数）を有し、ユーザから受信された入力が、力がある方向ベクトルにおいてオブジェクトに印加されるべきであることを示す場合、プロセッサは、運動学の法則を適用し、基本力学を使用して、時間ｔ１におけるオブジェクトの場所を決定することができる。プロセッサは、仮想環境について既知の任意の好適な情報および／または任意の好適な入力を使用して、時間ｔ１における仮想環境の状態を決定することができる。仮想環境の状態を維持および更新する際、プロセッサは、仮想環境内の仮想オブジェクトの作成および削除に関連するソフトウェア、仮想環境内の仮想オブジェクトまたはキャラクタの挙動を定義するためのソフトウェア（例えば、スクリプト）、仮想環境内の信号（例えば、オーディオ信号）の挙動を定義するためのソフトウェア、仮想環境と関連付けられるパラメータを作成および更新するためのソフトウェア、仮想環境内のオーディオ信号を生成するためのソフトウェア、入力および出力をハンドリングするためのソフトウェア、ネットワーク動作を実装するためのソフトウェア、アセットデータ（例えば、仮想オブジェクトを経時的に移動させるためのアニメーションデータ）を適用するためのソフトウェア、または多くの他の可能性を含む、任意の好適なソフトウェアを実行することができる。
【0031】
ディスプレイまたはスピーカ等の出力デバイスは、仮想環境のいずれかまたは全ての側面をユーザに提示することができる。例えば、仮想環境は、ユーザに提示され得る、仮想オブジェクト（無有生オブジェクト、人々、動物、光等の表現を含み得る）を含んでもよい。プロセッサは、仮想環境のビュー（例えば、原点座標、視軸、および錐台を伴う、「カメラ」に対応する）を決定し、ディスプレイに、そのビューに対応する仮想環境の視認可能場面をレンダリングすることができる。任意の好適なレンダリング技術が、本目的のために使用されてもよい。いくつかの実施例では、視認可能場面は、仮想環境内のいくつかの仮想オブジェクトのみを含み、ある他の仮想オブジェクトを除外してもよい。同様に、仮想環境は、ユーザに１つまたはそれを上回るオーディオ信号として提示され得る、オーディオ側面を含んでもよい。例えば、仮想環境内の仮想オブジェクトは、オブジェクトの場所座標から生じる音を生成してもよい（例えば、仮想キャラクタが、発話する、または音効果を生じさせ得る）、または仮想環境は、特定の場所と関連付けられる場合とそうではない場合がある、音楽キューまたは周囲音と関連付けられてもよい。プロセッサは、「聴取者」座標に対応するオーディオ信号、例えば、仮想環境内の音の合成に対応し、聴取者座標において聴取者によって聞こえるであろうオーディオ信号をシミュレートするように混合および処理される、オーディオ信号を決定し、ユーザに、１つまたはそれを上回るスピーカを介して、オーディオ信号を提示することができる。
【0032】
仮想環境は、算出構造としてのみ存在するため、ユーザは、直接、通常の感覚を使用して、仮想環境を知覚することができない。代わりに、ユーザは、例えば、ディスプレイ、スピーカ、触覚的出力デバイス等によって、ユーザに提示されるように、間接的にのみ、仮想環境を知覚することができる。同様に、ユーザは、直接、仮想環境に触れる、それを操作する、または別様に、それと相互作用することができないが、入力データを、入力デバイスまたはセンサを介して、デバイスまたはセンサデータを使用して、仮想環境を更新し得る、プロセッサに提供することができる。例えば、カメラセンサは、ユーザが仮想環境のオブジェクトを移動させようとしていることを示す、光学データを提供することができ、プロセッサは、そのデータを使用して、仮想環境内において、適宜、オブジェクトを応答させることができる。
【0033】
複合現実システムは、ユーザに、例えば、透過型ディスプレイおよび／または１つまたはそれを上回るスピーカ（例えば、ウェアラブル頭部デバイスの中に組み込まれ得る）を使用して、実環境および仮想環境の側面を組み合わせる、複合現実環境（「ＭＲＥ」）を提示することができる。いくつかの実施形態では、１つまたはそれを上回るスピーカは、頭部搭載型ウェアラブルユニットの外部にあってもよい。本明細書で使用されるように、ＭＲＥは、実環境および対応する仮想環境の同時表現である。いくつかの実施例では、対応する実および仮想環境は、単一座標空間を共有する。いくつかの実施例では、実座標空間および対応する仮想座標空間は、変換行列（または他の好適な表現）によって相互に関連する。故に、単一座標（いくつかの実施例では、変換行列とともに）は、実環境内の第１の場所と、また、仮想環境内の第２の対応する場所とを定義し得、その逆も同様である。
【0034】
ＭＲＥでは、（例えば、ＭＲＥと関連付けられる仮想環境内の）仮想オブジェクトは、（例えば、ＭＲＥと関連付けられる実環境内の）実オブジェクトに対応し得る。例えば、ＭＲＥの実環境が、実街灯柱（実オブジェクト）をある場所座標に含む場合、ＭＲＥの仮想環境は、仮想街灯柱（仮想オブジェクト）を対応する場所座標に含んでもよい。本明細書で使用されるように、実オブジェクトは、その対応する仮想オブジェクトとともに組み合わせて、「複合現実オブジェクト」を構成する。仮想オブジェクトが対応する実オブジェクトに完璧に合致または整合することは、必要ではない。いくつかの実施例では、仮想オブジェクトは、対応する実オブジェクトの簡略化されたバージョンであることができる。例えば、実環境が、実街灯柱を含む場合、対応する仮想オブジェクトは、実街灯柱と概ね同一高さおよび半径の円筒形を含んでもよい（街灯柱が略円筒形形状であり得ることを反映する）。仮想オブジェクトをこのように簡略化することは、算出効率を可能にすることができ、そのような仮想オブジェクト上で実施されるための計算を簡略化することができる。さらに、ＭＲＥのいくつかの実施例では、実環境内の全ての実オブジェクトが、対応する仮想オブジェクトと関連付けられなくてもよい。同様に、ＭＲＥのいくつかの実施例では、仮想環境内の全ての仮想オブジェクトが、対応する実オブジェクトと関連付けられなくてもよい。すなわち、いくつかの仮想オブジェクトが、任意の実世界対応物を伴わずに、ＭＲＥの仮想環境内にのみ存在し得る。
【0035】
いくつかの実施例では、仮想オブジェクトは、時として著しく、対応する実オブジェクトのものと異なる、特性を有してもよい。例えば、ＭＲＥ内の実環境は、緑色の２本の枝が延びたサボテン、すなわち、とげだらけの無有生オブジェクトを含み得るが、ＭＲＥ内の対応する仮想オブジェクトは、人間の顔特徴および無愛想な態度を伴う、緑色の２本の腕の仮想キャラクタの特性を有してもよい。本実施例では、仮想オブジェクトは、ある特性（色、腕の数）において、その対応する実オブジェクトに類似するが、他の特性（顔特徴、性格）において、実オブジェクトと異なる。このように、仮想オブジェクトは、創造的、抽象的、誇張された、または架空の様式において、実オブジェクトを表す、または挙動（例えば、人間の性格）をそうでなければ無生物である実オブジェクトに付与する潜在性を有する。いくつかの実施例では、仮想オブジェクトは、実世界対応物を伴わない、純粋に架空の創造物（例えば、おそらく、実環境内の虚空に対応する場所における、仮想環境内の仮想モンスタ）であってもよい。
【0036】
ユーザに、実環境を不明瞭にしながら、仮想環境を提示する、ＶＲシステムと比較して、ＭＲＥを提示する、複合現実システムは、仮想環境が提示される間、実環境が知覚可能なままであるであるという利点をもたらす。故に、複合現実システムのユーザは、実環境と関連付けられる視覚的およびオーディオキューを使用して、対応する仮想環境を体験し、それと相互作用することが可能である。実施例として、ＶＲシステムのユーザは、上記に述べられたように、ユーザは、直接、仮想環境を知覚する、またはそれと相互作用することができないため、仮想環境内に表示される仮想オブジェクトを知覚する、またはそれと相互作用することに苦戦し得るが、ＭＲシステムのユーザは、その自身の実環境内の対応する実オブジェクトが見え、聞こえ、触れることによって、仮想オブジェクトと相互作用することが直感的および自然であると見出し得る。本レベルの相互作用は、ユーザの仮想環境との没入感、つながり、および関与の感覚を向上させ得る。同様に、実環境および仮想環境を同時に提示することによって、複合現実システムは、ＶＲシステムと関連付けられる負の心理学的感覚（例えば、認知的不協和）および負の物理的感覚（例えば、乗り物酔い）を低減させることができる。複合現実システムはさらに、実世界の我々の体験を拡張または改変し得る用途に関する多くの可能性をもたらす。
【0037】
図１Ａは、ユーザ１１０が複合現実システム１１２を使用する、例示的実環境１００を図示する。複合現実システム１１２は、ディスプレイ（例えば、透過型ディスプレイ）および１つまたはそれを上回るスピーカと、例えば、下記に説明されるような１つまたはそれを上回るセンサ（例えば、カメラ）とを備えてもよい。示される実環境１００は、その中にユーザ１１０が立っている、長方形の部屋１０４Ａと、実オブジェクト１２２Ａ（ランプ）、１２４Ａ（テーブル）、１２６Ａ（ソファ）、および１２８Ａ（絵画）とを備える。部屋１０４Ａはさらに、場所座標１０６を備え、これは、実環境１００の原点と見なされ得る。図１Ａに示されるように、その原点を点１０６（世界座標）に伴う、環境／世界座標系１０８（ｘ－軸１０８Ｘ、ｙ－軸１０８Ｙ、およびｚ－軸１０８Ｚを備える）は、実環境１００のための座標空間を定義し得る。いくつかの実施形態では、環境／世界座標系１０８の原点１０６は、複合現実システム１１２の電源がオンにされた場所に対応してもよい。いくつかの実施形態では、環境／世界座標系１０８の原点１０６は、動作の間、リセットされてもよい。いくつかの実施例では、ユーザ１１０は、実環境１００内の実オブジェクトと見なされ得る。同様に、ユーザ１１０の身体部分（例えば、手、足）は、実環境１００内の実オブジェクトと見なされ得る。いくつかの実施例では、その原点を点１１５（例えば、ユーザ／聴取者／頭部座標）に伴う、ユーザ／聴取者／頭部座標系１１４（ｘ－軸１１４Ｘ、ｙ－軸１１４Ｙ、およびｚ－軸１１４Ｚを備える）は、その上に複合現実システム１１２が位置する、ユーザ／聴取者／頭部のための座標空間を定義し得る。ユーザ／聴取者／頭部座標系１１４の原点１１５は、複合現実システム１１２の１つまたはそれを上回るコンポーネントに対して定義されてもよい。例えば、ユーザ／聴取者／頭部座標系１１４の原点１１５は、複合現実システム１１２の初期較正等の間、複合現実システム１１２のディスプレイに対して定義されてもよい。行列（平行移動行列および四元数行列または他の回転行列を含み得る）または他の好適な表現が、ユーザ／聴取者／頭部座標系１１４空間と環境／世界座標系１０８空間との間の変換を特性評価することができる。いくつかの実施形態では、左耳座標１１６および右耳座標１１７が、ユーザ／聴取者／頭部座標系１１４の原点１１５に対して定義されてもよい。行列（平行移動行列および四元数行列または他の回転行列を含み得る）または他の好適な表現が、左耳座標１１６および右耳座標１１７とユーザ／聴取者／頭部座標系１１４空間との間の変換を特性評価することができる。ユーザ／聴取者／頭部座標系１１４は、ユーザの頭部または頭部搭載型デバイスに対する、例えば、環境／世界座標系１０８に対する場所の表現を簡略化することができる。同時位置特定およびマッピング（ＳＬＡＭ）、ビジュアルオドメトリ、または他の技法を使用して、ユーザ座標系１１４と環境座標系１０８との間の変換が、リアルタイムで決定および更新されることができる。
【0038】
図１Ｂは、実環境１００に対応する、例示的仮想環境１３０を図示する。示される仮想環境１３０は、実長方形部屋１０４Ａに対応する仮想長方形部屋１０４Ｂと、実オブジェクト１２２Ａに対応する仮想オブジェクト１２２Ｂと、実オブジェクト１２４Ａに対応する仮想オブジェクト１２４Ｂと、実オブジェクト１２６Ａに対応する仮想オブジェクト１２６Ｂとを備える。仮想オブジェクト１２２Ｂ、１２４Ｂ、１２６Ｂと関連付けられるメタデータは、対応する実オブジェクト１２２Ａ、１２４Ａ、１２６Ａから導出される情報を含むことができる。仮想環境１３０は、加えて、仮想モンスタ１３２を備え、これは、実環境１００内の任意の実オブジェクトに対応しない。実環境１００内の実オブジェクト１２８Ａは、仮想環境１３０内の任意の仮想オブジェクトに対応しない。その原点を点１３４（持続的座標）に伴う、持続的座標系１３３（ｘ－軸１３３Ｘ、ｙ－軸１３３Ｙ、およびｚ－軸１３３Ｚを備える）は、仮想コンテンツのための座標空間を定義し得る。持続的座標系１３３の原点１３４は、実オブジェクト１２６Ａ等の１つまたはそれを上回る実オブジェクトと相対的に／それに対して定義されてもよい。行列（平行移動行列および四元数行列または他の回転行列を含み得る）または他の好適な表現は、持続的座標系１３３空間と環境／世界座標系１０８空間との間の変換を特性評価することができる。いくつかの実施形態では、仮想オブジェクト１２２Ｂ、１２４Ｂ、１２６Ｂ、および１３２はそれぞれ、持続的座標系１３３の原点１３４に対するその自身の持続的座標点を有してもよい。いくつかの実施形態では、複数の持続的座標系が存在してもよく、仮想オブジェクト１２２Ｂ、１２４Ｂ、１２６Ｂ、および１３２はそれぞれ、１つまたはそれを上回る持続的座標系に対するその自身の持続的座標点を有してもよい。
【0039】
図１Ａおよび１Ｂに関して、環境／世界座標系１０８は、実環境１００および仮想環境１３０の両方のための共有座標空間を定義する。示される実施例では、座標空間は、その原点を点１０６に有する。さらに、座標空間は、同一の３つの直交軸（１０８Ｘ、１０８Ｙ、１０８Ｚ）によって定義される。故に、実環境１００内の第１の場所および仮想環境１３０内の第２の対応する場所は、同一座標空間に関して説明されることができる。これは、同一座標が両方の場所を識別するために使用され得るため、実および仮想環境内の対応する場所を識別および表示することを簡略化する。しかしながら、いくつかの実施例では、対応する実および仮想環境は、共有座標空間を使用する必要がない。例えば、いくつかの実施例では（図示せず）、行列（平行移動行列および四元数行列または他の回転行列を含み得る）または他の好適な表現は、実環境座標空間と仮想環境座標空間との間の変換を特性評価することができる。
【0040】
図１Ｃは、同時に、実環境１００および仮想環境１３０の側面をユーザ１１０に複合現実システム１１２を介して提示する、例示的ＭＲＥ１５０を図示する。示される実施例では、ＭＲＥ１５０は、同時に、ユーザ１１０に、実環境１００からの実オブジェクト１２２Ａ、１２４Ａ、１２６Ａ、および１２８Ａ（例えば、複合現実システム１１２のディスプレイの透過性部分を介して）と、仮想環境１３０からの仮想オブジェクト１２２Ｂ、１２４Ｂ、１２６Ｂ、および１３２（例えば、複合現実システム１１２のディスプレイのアクティブディスプレイ部分を介して）とを提示する。上記のように、原点１０６は、ＭＲＥ１５０に対応する座標空間のための原点として作用し、座標系１０８は、座標空間のためのｘ－軸、ｙ－軸、およびｚ－軸を定義する。
【0041】
示される実施例では、複合現実オブジェクトは、座標空間１０８内の対応する場所を占有する、対応する対の実オブジェクトおよび仮想オブジェクト（すなわち、１２２Ａ／１２２Ｂ、１２４Ａ／１２４Ｂ、１２６Ａ／１２６Ｂ）を備える。いくつかの実施例では、実オブジェクトおよび仮想オブジェクトは両方とも、同時に、ユーザ１１０に可視であってもよい。これは、例えば、仮想オブジェクトが対応する実オブジェクトのビューを拡張させるように設計される情報を提示する、インスタンスにおいて望ましくあり得る（仮想オブジェクトが古代の損傷された彫像の欠けた部分を提示する、博物館用途等）。いくつかの実施例では、仮想オブジェクト（１２２Ｂ、１２４Ｂ、および／または１２６Ｂ）は、対応する実オブジェクト（１２２Ａ、１２４Ａ、および／または１２６Ａ）をオクルードするように、表示されてもよい（例えば、ピクセル化オクルージョンシャッタを使用する、アクティブピクセル化オクルージョンを介して）。これは、例えば、仮想オブジェクトが対応する実オブジェクトのための視覚的置換として作用する、インスタンスにおいて望ましくあり得る（無生物実オブジェクトが「生きている」キャラクタとなる、双方向ストーリーテリング用途等）。
【0042】
いくつかの実施例では、実オブジェクト（例えば、１２２Ａ、１２４Ａ、１２６Ａ）は、必ずしも、仮想オブジェクトを構成するとは限らない、仮想コンテンツまたはヘルパデータと関連付けられてもよい。仮想コンテンツまたはヘルパデータは、複合現実環境内の仮想オブジェクトの処理またはハンドリングを促進することができる。例えば、そのような仮想コンテンツは、対応する実オブジェクトの２次元表現、対応する実オブジェクトと関連付けられるカスタムアセットタイプ、または対応する実オブジェクトと関連付けられる統計的データを含み得る。本情報は、不必要な算出オーバーヘッドを被ることなく、実オブジェクトに関わる計算を可能にする、または促進することができる。
【0043】
いくつかの実施例では、上記に説明される提示はまた、オーディオ側面を組み込んでもよい。例えば、ＭＲＥ１５０では、仮想モンスタ１３２は、モンスタがＭＲＥ１５０の周囲を歩き回るにつれて生成される、足音効果等の１つまたはそれを上回るオーディオ信号と関連付けられ得る。下記にさらに説明されるように、複合現実システム１１２のプロセッサは、ＭＲＥ１５０内の全てのそのような音の混合および処理された合成に対応するオーディオ信号を算出し、複合現実システム１１２内に含まれる１つまたはそれを上回るスピーカおよび／または１つまたはそれを上回る外部スピーカを介して、オーディオ信号をユーザ１１０に提示することができる。
【0044】
例示的複合現実システム
【0045】
例示的複合現実システム１１２は、ディスプレイ（接眼ディスプレイであり得る、左および右透過型ディスプレイと、ディスプレイからの光をユーザの眼に結合するための関連付けられるコンポーネントとを備え得る）と、左および右スピーカ（例えば、それぞれ、ユーザの左および右耳に隣接して位置付けられる）と、慣性測定ユニット（ＩＭＵ）（例えば、頭部デバイスのつるのアームに搭載される）と、直交コイル電磁受信機（例えば、左つる部品に搭載される）と、ユーザから離れるように配向される、左および右カメラ（例えば、深度（飛行時間）カメラ）と、ユーザに向かって配向される、左および右眼カメラ（例えば、ユーザの眼移動を検出するため）とを備える、ウェアラブル頭部デバイス（例えば、ウェアラブル拡張現実または複合現実頭部デバイス）を含むことができる。しかしながら、複合現実システム１１２は、任意の好適なディスプレイ技術および任意の好適なセンサ（例えば、光学、赤外線、音響、ＬＩＤＡＲ、ＥＯＧ、ＧＰＳ、磁気）を組み込むことができる。加えて、複合現実システム１１２は、ネットワーキング特徴（例えば、Ｗｉ－Ｆｉ能力）を組み込み、他の複合現実システムを含む、他のデバイスおよびシステムと通信してもよい。複合現実システム１１２はさらに、バッテリ（ユーザの腰部の周囲に装着されるように設計されるベルトパック等の補助ユニット内に搭載されてもよい）と、プロセッサと、メモリとを含んでもよい。複合現実システム１１２のウェアラブル頭部デバイスは、ユーザの環境に対するウェアラブル頭部デバイスの座標セットを出力するように構成される、ＩＭＵまたは他の好適なセンサ等の追跡コンポーネントを含んでもよい。いくつかの実施例では、追跡コンポーネントは、入力をプロセッサに提供し、同時位置特定およびマッピング（ＳＬＡＭ）および／またはビジュアルオドメトリアルゴリズムを実施してもよい。いくつかの実施例では、複合現実システム１１２はまた、ハンドヘルドコントローラ３００、および／または下記にさらに説明されるように、ウェアラブルベルトパックであり得る補助ユニット３２０を含んでもよい。
【0046】
図２Ａ－２Ｄは、ＭＲＥ（ＭＲＥ１５０に対応し得る）または他の仮想環境をユーザに提示するために使用され得る、例示的複合現実システム２００（複合現実システム１１２に対応し得る）のコンポーネントを図示する。図２Ａは、例示的複合現実システム２００内に含まれるウェアラブル頭部デバイス２１０２の斜視図を図示する。図２Ｂは、ユーザの頭部２２０２上に装着されるウェアラブル頭部デバイス２１０２の上面図を図示する。図２Ｃは、ウェアラブル頭部デバイス２１０２の正面図を図示する。図２Ｄは、ウェアラブル頭部デバイス２１０２の例示的接眼レンズ２１１０の縁視図を図示する。図２Ａ－２Ｃに示されるように、例示的ウェアラブル頭部デバイス２１０２は、例示的左接眼レンズ（例えば、左透明導波管セット接眼レンズ）２１０８と、例示的右接眼レンズ（例えば、右透明導波管セット接眼レンズ）２１１０とを含む。各接眼レンズ２１０８および２１１０は、それを通して実環境が可視となる、透過性要素と、実環境に重複するディスプレイ（例えば、画像毎に変調された光を介して）を提示するためのディスプレイ要素とを含むことができる。いくつかの実施例では、そのようなディスプレイ要素は、画像毎に変調された光の流動を制御するための表面回折光学要素を含むことができる。例えば、左接眼レンズ２１０８は、左内部結合格子セット２１１２と、左直交瞳拡張（ＯＰＥ）格子セット２１２０と、左出射（出力）瞳拡張（ＥＰＥ）格子セット２１２２とを含むことができる。同様に、右接眼レンズ２１１０は、右内部結合格子セット２１１８と、右ＯＰＥ格子セット２１１４と、右ＥＰＥ格子セット２１１６とを含むことができる。画像毎に変調された光は、内部結合格子２１１２および２１１８、ＯＰＥ２１１４および２１２０、およびＥＰＥ２１１６および２１２２を介して、ユーザの眼に転送されることができる。各内部結合格子セット２１１２、２１１８は、光をその対応するＯＰＥ格子セット２１２０、２１１４に向かって偏向させるように構成されることができる。各ＯＰＥ格子セット２１２０、２１１４は、光をその関連付けられるＥＰＥ２１２２、２１１６に向かって下方に漸次的に偏向させ、それによって、形成されている射出瞳を水平に延在させるように設計されることができる。各ＥＰＥ２１２２、２１１６は、その対応するＯＰＥ格子セット２１２０、２１１４から受信された光の少なくとも一部を、接眼レンズ２１０８、２１１０の背後に定義される、ユーザアイボックス位置（図示せず）に外向きに漸次的に再指向し、アイボックスに形成される射出瞳を垂直に延在させるように構成されることができる。代替として、内部結合格子セット２１１２および２１１８、ＯＰＥ格子セット２１１４および２１２０、およびＥＰＥ格子セット２１１６および２１２２の代わりに、接眼レンズ２１０８および２１１０は、ユーザの眼への画像毎に変調された光の結合を制御するための格子および／または屈折および反射性特徴の他の配列を含むことができる。
【0047】
いくつかの実施例では、ウェアラブル頭部デバイス２１０２は、左つるのアーム２１３０と、右つるのアーム２１３２とを含むことができ、左つるのアーム２１３０は、左スピーカ２１３４を含み、右つるのアーム２１３２は、右スピーカ２１３６を含む。直交コイル電磁受信機２１３８は、左こめかみ部品またはウェアラブル頭部ユニット２１０２内の別の好適な場所に位置することができる。慣性測定ユニット（ＩＭＵ）２１４０は、右つるのアーム２１３２またはウェアラブル頭部デバイス２１０２内の別の好適な場所に位置することができる。ウェアラブル頭部デバイス２１０２はまた、左深度（例えば、飛行時間）カメラ２１４２と、右深度カメラ２１４４とを含むことができる。深度カメラ２１４２、２１４４は、好適には、ともにより広い視野を網羅するように、異なる方向に配向されることができる。
【0048】
図２Ａ－２Ｄに示される実施例では、画像毎に変調された光２１２４の左源は、左内部結合格子セット２１１２を通して、左接眼レンズ２１０８の中に光学的に結合されることができ、画像毎に変調された光２１２６の右源は、右内部結合格子セット２１１８を通して、右接眼レンズ２１１０の中に光学的に結合されることができる。画像毎に変調された光２１２４、２１２６の源は、例えば、光ファイバスキャナ、デジタル光処理（ＤＬＰ）チップまたはシリコン上液晶（ＬＣｏＳ）変調器等の電子光変調器を含む、プロジェクタ、または側面あたり１つまたはそれを上回るレンズを使用して、内部結合格子セット２１１２、２１１８の中に結合される、マイクロ発光ダイオード（μＬＥＤ）またはマイクロ有機発光ダイオード（μＯＬＥＤ）パネル等の発光型ディスプレイを含むことができる。入力結合格子セット２１１２、２１１８は、画像毎に変調された光２１２４、２１２６の源からの光を、接眼レンズ２１０８、２１１０のための全内部反射（ＴＩＲ）に関する臨界角を上回る角度に偏向させることができる。ＯＰＥ格子セット２１１４、２１２０は、伝搬する光をＴＩＲによってＥＰＥ格子セット２１１６、２１２２に向かって下方に漸次的に偏向させる。ＥＰＥ格子セット２１１６、２１２２は、ユーザの眼の瞳孔を含む、ユーザの顔に向かって、光を漸次的に結合する。
【0049】
いくつかの実施例では、図２Ｄに示されるように、左接眼レンズ２１０８および右接眼レンズ２１１０はそれぞれ、複数の導波管２４０２を含む。例えば、各接眼レンズ２１０８、２１１０は、複数の個々の導波管を含むことができ、それぞれ、個別の色チャネル（例えば、赤色、青色、および緑色）専用である。いくつかの実施例では、各接眼レンズ２１０８、２１１０は、複数のセットのそのような導波管を含むことができ、各セットは、異なる波面曲率を放出される光に付与するように構成される。波面曲率は、例えば、ユーザの正面のある距離（例えば、波面曲率の逆数に対応する距離）に位置付けられる仮想オブジェクトを提示するように、ユーザの眼に対して凸面であってもよい。いくつかの実施例では、ＥＰＥ格子セット２１１６、２１２２は、各ＥＰＥを横断して出射する光のＰｏｙｎｔｉｎｇベクトルを改変することによって凸面波面曲率をもたらすために、湾曲格子溝を含むことができる。
【0050】
いくつかの実施例では、表示されるコンテンツが３次元である知覚を作成するために、立体視的に調節される左および右眼画像は、画像毎に光変調器２１２４、２１２６および接眼レンズ２１０８、２１１０を通して、ユーザに提示されることができる。３次元仮想オブジェクトの提示の知覚される現実性は、仮想オブジェクトが立体視左および右画像によって示される距離に近似する距離に表示されるように、導波管（したがって、対応する波面曲率）を選択することによって向上されることができる。本技法はまた、立体視左および右眼画像によって提供される深度知覚キューと人間の眼の自動遠近調節（例えば、オブジェクト距離依存焦点）との間の差異によって生じ得る、一部のユーザによって被られる乗り物酔いを低減させ得る。
【0051】
図２Ｄは、例示的ウェアラブル頭部デバイス２１０２の右接眼レンズ２１１０の上部からの縁視図を図示する。図２Ｄに示されるように、複数の導波管２４０２は、３つの導波管の第１のサブセット２４０４と、３つの導波管の第２のサブセット２４０６とを含むことができる。導波管の２つのサブセット２４０４、２４０６は、異なる波面曲率を出射する光に付与するために異なる格子線曲率を特徴とする、異なるＥＰＥ格子によって区別されることができる。導波管のサブセット２４０４、２４０６のそれぞれ内において、各導波管は、異なるスペクトルチャネル（例えば、赤色、緑色、および青色スペクトルチャネルのうちの１つ）をユーザの右眼２２０６に結合するために使用されることができる。（図２Ｄには図示されないが、左接眼レンズ２１０８の構造は、右接眼レンズ２１１０の構造に類似する。）
【0052】
図３Ａは、複合現実システム２００の例示的ハンドヘルドコントローラコンポーネント３００を図示する。いくつかの実施例では、ハンドヘルドコントローラ３００は、把持部分３４６と、上部表面３４８に沿って配置される、１つまたはそれを上回るボタン３５０とを含む。いくつかの実施例では、ボタン３５０は、例えば、カメラまたは他の光学センサ（複合現実システム２００の頭部ユニット（例えば、ウェアラブル頭部デバイス２１０２）内に搭載され得る）と併せて、ハンドヘルドコントローラ３００の６自由度（６ＤＯＦ）運動を追跡するための光学追跡標的として使用するために構成されてもよい。いくつかの実施例では、ハンドヘルドコントローラ３００は、ウェアラブル頭部デバイス２１０２に対する位置または配向等の位置または配向を検出するための追跡コンポーネント（例えば、ＩＭＵまたは他の好適なセンサ）を含む。いくつかの実施例では、そのような追跡コンポーネントは、ハンドヘルドコントローラ３００のハンドル内に位置付けられてもよく、および／またはハンドヘルドコントローラに機械的に結合されてもよい。ハンドヘルドコントローラ３００は、ボタンの押下状態、またはハンドヘルドコントローラ３００の位置、配向、および／または運動（例えば、ＩＭＵを介して）のうちの１つまたはそれを上回るものに対応する、１つまたはそれを上回る出力信号を提供するように構成されることができる。そのような出力信号は、複合現実システム２００のプロセッサへの入力として使用されてもよい。そのような入力は、ハンドヘルドコントローラの位置、配向、および／または移動（さらに言うと、コントローラを保持するユーザの手の位置、配向、および／または移動）に対応し得る。そのような入力はまた、ユーザがボタン３５０を押下したことに対応し得る。
【0053】
図３Ｂは、複合現実システム２００の例示的補助ユニット３２０を図示する。補助ユニット３２０は、エネルギーを提供し、システム２００を動作するためのバッテリを含むことができ、プログラムを実行し、システム２００を動作させるためのプロセッサを含むことができる。示されるように、例示的補助ユニット３２０は、補助ユニット３２０をユーザのベルトに取り付ける等のためのクリップ２１２８を含む。他の形状因子も、補助ユニット３２０のために好適であって、ユニットをユーザのベルトに搭載することを伴わない、形状因子を含むことも明白となるであろう。いくつかの実施例では、補助ユニット３２０は、例えば、電気ワイヤおよび光ファイバを含み得る、多管式ケーブルを通して、ウェアラブル頭部デバイス２１０２に結合される。補助ユニット３２０とウェアラブル頭部デバイス２１０２との間の無線接続もまた、使用されることができる。
【0054】
いくつかの実施例では、複合現実システム２００は、１つまたはそれを上回るマイクロホンを含み、音を検出し、対応する信号を複合現実システムに提供することができる。いくつかの実施例では、マイクロホンは、ウェアラブル頭部デバイス２１０２に取り付けられる、またはそれと統合されてもよく、ユーザの音声を検出するように構成されてもよい。いくつかの実施例では、マイクロホンは、ハンドヘルドコントローラ３００および／または補助ユニット３２０に取り付けられる、またはそれと統合されてもよい。そのようなマイクロホンは、環境音、周囲雑音、ユーザまたは第三者の音声、または他の音を検出するように構成されてもよい。
【0055】
図４は、上記に説明される複合現実システム２００（図１に関する複合現実システム１１２に対応し得る）等の例示的複合現実システムに対応し得る、例示的機能ブロック図を示す。図４に示されるように、例示的ハンドヘルドコントローラ４００Ｂ（ハンドヘルドコントローラ３００（「トーテム」）に対応し得る）は、トーテム／ウェアラブル頭部デバイス６自由度（６ＤＯＦ）トーテムサブシステム４０４Ａを含み、例示的ウェアラブル頭部デバイス４００Ａ（ウェアラブル頭部デバイス２１０２に対応し得る）は、トーテム／ウェアラブル頭部デバイス６ＤＯＦサブシステム４０４Ｂを含む。実施例では、６ＤＯＦトーテムサブシステム４０４Ａおよび６ＤＯＦサブシステム４０４Ｂは、協働し、ウェアラブル頭部デバイス４００Ａに対するハンドヘルドコントローラ４００Ｂの６つの座標（例えば、３つの平行移動方向におけるオフセットおよび３つの軸に沿った回転）を決定する。６自由度は、ウェアラブル頭部デバイス４００Ａの座標系に対して表されてもよい。３つの平行移動オフセットは、そのような座標系内におけるＸ、Ｙ、およびＺオフセット、平行移動行列、またはある他の表現として表されてもよい。回転自由度は、ヨー、ピッチ、およびロール回転のシーケンスとして、回転行列として、四元数として、またはある他の表現として表されてもよい。いくつかの実施例では、ウェアラブル頭部デバイス４００Ａ、ウェアラブル頭部デバイス４００Ａ内に含まれる、１つまたはそれを上回る深度カメラ４４４（および／または１つまたはそれを上回る非深度カメラ）、および／または１つまたはそれを上回る光学標的（例えば、上記に説明されるようなハンドヘルドコントローラ４００Ｂのボタン３５０またはハンドヘルドコントローラ４００Ｂ内に含まれる専用光学標的）は、６ＤＯＦ追跡のために使用されることができる。いくつかの実施例では、ハンドヘルドコントローラ４００Ｂは、上記に説明されるようなカメラを含むことができ、ウェアラブル頭部デバイス４００Ａは、カメラと併せた光学追跡のための光学標的を含むことができる。いくつかの実施例では、ウェアラブル頭部デバイス４００Ａおよびハンドヘルドコントローラ４００Ｂはそれぞれ、３つの直交して配向されるソレノイドのセットを含み、これは、３つの区別可能な信号を無線で送信および受信するために使用される。受信するために使用される、コイルのそれぞれ内で受信される３つの区別可能な信号の相対的大きさを測定することによって、ハンドヘルドコントローラ４００Ｂに対するウェアラブル頭部デバイス４００Ａの６ＤＯＦが、決定され得る。加えて、６ＤＯＦトーテムサブシステム４０４Ａは、改良された正確度および／またはハンドヘルドコントローラ４００Ｂの高速移動に関するよりタイムリーな情報を提供するために有用である、慣性測定ユニット（ＩＭＵ）を含むことができる。
【0056】
いくつかの実施例では、例えば、座標系１０８に対するウェアラブル頭部デバイス４００Ａの移動を補償するために、座標をローカル座標空間（例えば、ウェアラブル頭部デバイス４００Ａに対して固定される座標空間）から慣性座標空間（例えば、実環境に対して固定される座標空間）に変換することが必要になり得る。例えば、そのような変換は、ウェアラブル頭部デバイス４００Ａのディスプレイが、ディスプレイ上の固定位置および配向（例えば、ディスプレイの右下角における同一位置）ではなく仮想オブジェクトを実環境に対する予期される位置および配向に提示し（例えば、ウェアラブル頭部デバイスの位置および配向にかかわらず、前方に向いた実椅子に着座している仮想人物）、仮想オブジェクトが実環境内に存在する（かつ、例えば、ウェアラブル頭部デバイス４００Ａが偏移および回転するにつれて、実環境内に不自然に位置付けられて現れない）という錯覚を保存するために必要であり得る。いくつかの実施例では、座標空間間の補償変換が、座標系１０８に対するウェアラブル頭部デバイス４００Ａの変換を決定するために、ＳＬＡＭおよび／またはビジュアルオドメトリプロシージャを使用して、深度カメラ４４４からの画像を処理することによって決定されることができる。図４に示される実施例では、深度カメラ４４４は、ＳＬＡＭ／ビジュアルオドメトリブロック４０６に結合され、画像をブロック４０６に提供することができる。ＳＬＡＭ／ビジュアルオドメトリブロック４０６実装は、本画像を処理し、次いで、頭部座標空間と別の座標空間（例えば、慣性座標空間）との間の変換を識別するために使用され得る、ユーザの頭部の位置および配向を決定するように構成される、プロセッサを含むことができる。同様に、いくつかの実施例では、ユーザの頭部姿勢および場所に関する情報の付加的源が、ＩＭＵ４０９から取得される。ＩＭＵ４０９からの情報は、ＳＬＡＭ／ビジュアルオドメトリブロック４０６からの情報と統合され、改良された正確度および／またはユーザの頭部姿勢および位置の高速調節に関する情報をよりタイムリーに提供することができる。
【0057】
いくつかの実施例では、深度カメラ４４４は、ウェアラブル頭部デバイス４００Ａのプロセッサ内に実装され得る、手のジェスチャトラッカ４１１に、３Ｄ画像を供給することができる。手のジェスチャトラッカ４１１は、例えば、深度カメラ４４４から受信された３Ｄ画像を手のジェスチャを表す記憶されたパターンに合致させることによって、ユーザの手のジェスチャを識別することができる。ユーザの手のジェスチャを識別する他の好適な技法も、明白となるであろう。
【0058】
いくつかの実施例では、１つまたはそれを上回るプロセッサ４１６は、ウェアラブル頭部デバイスの６ＤＯＦヘッドギヤサブシステム４０４Ｂ、ＩＭＵ４０９、ＳＬＡＭ／ビジュアルオドメトリブロック４０６、深度カメラ４４４、および／または手のジェスチャトラッカ４１１からのデータを受信するように構成されてもよい。プロセッサ４１６はまた、制御信号を６ＤＯＦトーテムシステム４０４Ａに送信し、そこから受信することができる。プロセッサ４１６は、ハンドヘルドコントローラ４００Ｂがテザリングされない実施例等では、無線で、６ＤＯＦトーテムシステム４０４Ａに結合されてもよい。プロセッサ４１６はさらに、オーディオ／視覚的コンテンツメモリ４１８、グラフィカル処理ユニット（ＧＰＵ）４２０、および／またはデジタル信号プロセッサ（ＤＳＰ）オーディオ空間化装置４２２等の付加的コンポーネントと通信してもよい。ＤＳＰオーディオ空間化装置４２２は、頭部関連伝達関数（ＨＲＴＦ）メモリ４２５に結合されてもよい。ＧＰＵ４２０は、画像毎に変調された光４２４の左源に結合される、左チャネル出力と、画像毎に変調された光４２６の右源に結合される、右チャネル出力とを含むことができる。ＧＰＵ４２０は、例えば、図２Ａ－２Ｄに関して上記に説明されるように、立体視画像データを画像毎に変調された光４２４、４２６の源に出力することができる。ＤＳＰオーディオ空間化装置４２２は、オーディオを左スピーカ４１２および／または右スピーカ４１４に出力することができる。ＤＳＰオーディオ空間化装置４２２は、プロセッサ４１９から、ユーザから仮想音源（例えば、ハンドヘルドコントローラ３２０を介して、ユーザによって移動され得る）への方向ベクトルを示す入力を受信することができる。方向ベクトルに基づいて、ＤＳＰオーディオ空間化装置４２２は、対応するＨＲＴＦを決定することができる（例えば、ＨＲＴＦにアクセスすることによって、または複数のＨＲＴＦを補間することによって）。ＤＳＰオーディオ空間化装置４２２は、次いで、決定されたＨＲＴＦを仮想オブジェクトによって生成された仮想音に対応するオーディオ信号等のオーディオ信号に適用することができる。これは、複合現実環境内の仮想音に対するユーザの相対的位置および配向を組み込むことによって、すなわち、その仮想音が実環境内の実音である場合に聞こえるであろうもののユーザの予期に合致する仮想音を提示することによって、仮想音の信憑性および現実性を向上させることができる。
【0059】
図４に示されるようないくつかの実施例では、プロセッサ４１６、ＧＰＵ４２０、ＤＳＰオーディオ空間化装置４２２、ＨＲＴＦメモリ４２５、およびオーディオ／視覚的コンテンツメモリ４１８のうちの１つまたはそれを上回るものは、補助ユニット４００Ｃ（上記に説明される補助ユニット３２０に対応し得る）内に含まれてもよい。補助ユニット４００Ｃは、バッテリ４２７を含み、そのコンポーネントを給電し、および／または電力をウェアラブル頭部デバイス４００Ａまたはハンドヘルドコントローラ４００Ｂに供給してもよい。そのようなコンポーネントを、ユーザの腰部に搭載され得る、補助ユニット内に含むことは、ウェアラブル頭部デバイス４００Ａのサイズおよび重量を限定することができ、これは、ひいては、ユーザの頭部および頸部の疲労を低減させることができる。
【0060】
図４は、例示的複合現実システムの種々のコンポーネントに対応する要素を提示するが、これらのコンポーネントの種々の他の好適な配列も、当業者に明白となるであろう。例えば、補助ユニット４００Ｃと関連付けられているような図４に提示される要素は、代わりに、ウェアラブル頭部デバイス４００Ａまたはハンドヘルドコントローラ４００Ｂと関連付けられ得る。さらに、いくつかの複合現実システムは、ハンドヘルドコントローラ４００Ｂまたは補助ユニット４００Ｃを完全に無くしてもよい。そのような変更および修正は、開示される実施例の範囲内に含まれるものとして理解されるべきである。
【0061】
空間コンテンツ
【0062】
本開示は、ＭＲＥ内で空間コンテンツを作成および視認することに関し、これは、空間命令およびガイド（「ＳＩＧ」）を含むことができる。いくつかの実施形態によると、ユーザ（または１人を上回るユーザ）が、空間コンテンツをＭＲＥ内に「記録」することができ、これは、その中でイベントが記録された、物理的環境に持続的に結び付けられることができる。例えば、ある部屋内のあるユーザが、部屋を歩き回り、部屋内のオブジェクトについて話し、それを指差し、仮想上の絵をＭＲＥ内に描き得る。ユーザ（同一ユーザまたは異なるユーザのいずれか）が、次いで、ＭＲＥ「記録」を再生し得る。いくつかの実施形態では、ユーザは、（ＭＲＥ記録再生の間）ＭＲＥ記録が作成された同一部屋内に存在し得る。いくつかの実施形態では、ユーザは、次いで、部屋を動き回り、オブジェクトについて解説し、それを指差し、仮想上の絵をＭＲＥ内に描く、仮想表現を鑑賞し得る。いくつかの実施形態では、仮想表現は、ＭＲＥ記録を作成したユーザと同様に挙動することができる（例えば、仮想表現は、ＭＲＥ記録を作成したユーザが物理的環境を動き回る様子と同様に物理的環境を動き回ることができる）。いくつかの実施形態では、空間コンテンツは、ユーザの移動を記録せずに、作成されることができる。例えば、空間コンテンツは、ユーザが記録されるためのアクションを物理的に実施することを要求せずに、少なくとも部分的に、コンピュータによってシミュレートされることができる。いくつかの実施形態では、空間コンテンツは、物理的環境との関連付けがない可能性がある。例えば、エンターテインメント目的のために意図される空間コンテンツは、任意の物理的環境内で再生されるように構成されることができる。いくつかの実施形態では、空間コンテンツは、種々の再生環境に適合可能であるように構成されることができる（例えば、空間エンターテインメントコンテンツは、ユーザの居間のサイズにスケーリングするように構成されることができる）。本明細書で使用されるように、「ＳＩＧイベント」は、空間場所において作成された、その空間場所に対して存続する（恒久的に、半恒久的に、または限定された時間量にわたって）、仮想コンテンツを指し得る。ＳＩＧイベントは、テキスト、画像、オーディオ、ビデオ、双方向コンテンツ、ウェブリンク、または任意の他の好適な情報を含むことができる。ＳＩＧ記録は、１つまたはそれを上回る記録されたＳＩＧイベントを備えることができる。
【0063】
ＳＩＧイベントをＭＲＥ内で記録および再生することは、例えば、教育またはエンターテインメント用途において有益であり得る。例えば、インストラクタは、ユーザが作業中であり得る物理的場所（例えば、倉庫内）において、安全手順（例えば、機械類を動作させるための適切な方法または個人的保護機器が保管される場所）についてＳＩＧイベントを記録し得る。ユーザ（例えば、新入社員）が、次いで、関連する物理的場所（例えば、彼らが作業するであろう倉庫）内に存在し、ＭＲＥ内でＳＩＧイベントを視認することができる（例えば、新入社員は、インストラクタの仮想表現が適切な安全手順を教示するにつれて、物理的倉庫内で仮想表現に追従し得る）。いくつかの実施形態では、ＭＲＥ内のＳＩＧイベントは、他の仮想環境（例えば、ビデオを２Ｄ画面上で鑑賞する）よりユーザに魅力的であり得る。いくつかの実施形態では、ユーザは、関連する物理的環境と同時に、仮想環境を視認する、またはそれと相互作用し（例えば、ユーザは、ユーザがＳＩＧイベントが記録された物理的環境内に存在する間、ＳＩＧイベントを視認することができる）、より大きい関与感につながることができる。仮想環境を視認する他の方法（例えば、ビデオを２Ｄ画面上で鑑賞する）は、概して、ユーザが、同時に、ビデオ内に描写される物理的環境と相互作用することを可能にしない（例えば、ユーザが、ビデオが記録された場所と異なる場所からビデオを鑑賞しているため）。したがって、仮想環境がＭＲＥ内の物理的環境と複合することを可能にすることによって、仮想環境とのユーザの関与を増加させるためのシステムおよび方法を開発することが望ましくあり得る。
【0064】
図５は、ＳＩＧシステムの例示的使用のフローチャートを描写する。ステップ５０２では、ＳＩＧ記録セッションが、初期化される（例えば、ユーザは、ユーザインターフェースと相互作用し、記録を開始する、または記録セッションのためのパラメータを設定することができる）。ステップ５０４では、１つまたはそれを上回るＳＩＧイベントが、記録される。ＳＩＧ記録は、ウェアラブル頭部デバイスの１つまたはそれを上回る上センサからのデータを組み込むことができ、これは、例えば、ユーザの手および頭部運動、オーディオ信号、眼移動、場所情報、バイタルサイン、または空間場所を含むことができる。ステップ５０６では、ＳＩＧ再生セッションが、初期化される（例えば、ユーザは、再生するためのＳＩＧ記録を選択することができる）。ステップ５０８では、１つまたはそれを上回るＳＩＧイベントが、ＳＩＧ再生セッション内に表示される（例えば、ユーザによって選択されたＳＩＧ記録が、ユーザに再生されることができる）。いくつかの実施形態では、複数のユーザが、単一ＳＩＧ再生セッションに参加することができる。プロセス５００のステップ５０２、５０４、５０６、および５０８は、下記でさらに詳細に説明される。
【0065】
ＳＩＧ記録の初期化
【0066】
図６は、ＳＩＧ記録セッションが初期化される、ある実施形態を描写する。描写される実施形態では、ユーザ６０２は、複合現実システム６０３（複合現実システム１１２および２００に対応し得る）を使用することができ、ユーザ６０２は、物理的環境６０４（実環境１００に対応し得る）内に位置することができる。複合現実システム６０３は、ウェアラブル頭部デバイス（例えば、上記に説明されるウェアラブル頭部デバイス２１０２）、ハンドヘルドコントローラ（例えば、上記に説明されるハンドヘルドコントローラ３００）、および／または補助ユニット（例えば、上記に説明される補助ユニット３２０）等の１つまたはそれを上回る複合現実デバイスを介して、実装されることができる。いくつかの実施形態では、ユーザ６０２は、モバイルデバイス（例えば、携帯電話）を使用して、ＳＩＧ記録セッションを初期化することができる。いくつかの実施形態では、複合現実システム６０３は、仮想オブジェクトをユーザ６０２（仮想環境１３０に対応し得る）に表示することができる一方、同時に、ユーザ６０２が、物理的環境６０４を知覚することを可能にする。描写される実施形態では、複合現実システム６０３は、仮想メニュー６０６をユーザに表示することができる。いくつかの実施形態では、仮想メニューは、ユーザに仮想メニューを通して仮想メニューの背後の物理的環境が見え得るように、少なくとも部分的に、透明であることができる。いくつかの実施形態では、仮想メニュー（概して、仮想オブジェクト）は、透明ではなくてもよく、仮想メニュー（概して、仮想オブジェクト）が物理的環境の一部であるように現れるようなものであってもよい。いくつかの実施形態では、仮想メニューは、概して、物理的環境に対して定位置に固定されることができる（例えば、仮想メニュー６０６は、テーブルの上方に固定され、ユーザが物理的環境内のそのエリアを見るときのみ知覚可能である）。いくつかの実施形態では、複合現実システム６０３は、座標系（座標系１０８に対応し得る）および原点（原点１０６に対応し得る）を使用して、仮想オブジェクトを物理的環境内に設置することができる。いくつかの実施形態では、座標系は、同一座標が両方の環境内の場所を識別するために使用され得るように、物理的環境および仮想環境の両方のための共有座標空間を定義し得る。いくつかの実施形態では、仮想メニューは、概して、ユーザの視野に対して定位置に固定されることができる。例えば、仮想メニューは、概して、ユーザが見ている場所にかかわらず、仮想メニューが常時ユーザの視野の中心にあるように、ユーザの視野の中心に固定されることができる。いくつかの実施形態では、仮想メニューは、概して、場所に固定されると、慣性を表示することができる。例えば、仮想メニューが、概して、ユーザの視野の中心に固定される場合、常時視野の中心にあるわけではないように、ユーザの視野の変化に追従し得る。いくつかの実施形態では、仮想メニューは、次いで、いったん視野がある時間周期にわたって不変のままになると、視野の中心に戻ることができる。
【0067】
いくつかの実施形態では、仮想メニュー６０６は、１つまたはそれを上回るオプション（例えば、ＳＩＧイベントを記録する、ＳＩＧ層をトグルする、またはＳＩＧイベントを開始する）をユーザに表示することができる。いくつかの実施形態では、複合現実システム６０３は、ユーザの眼移動を追跡することができ、ユーザは、特定のオプションを見ることによって、１つまたはそれを上回る表示されるオプション間で選択することができる。いくつかの実施形態では、複合現実システム６０３は、複合現実システムの一部であり得る、ハンドヘルドコントローラ（例えば、ハンドヘルドコントローラコンポーネント３００）の移動を追跡することができ、ユーザは、ハンドヘルドコントローラ（例えば、ハンドヘルドコントローラコンポーネント３００）上のボタンを押下することによって、特定の選択を確認してもよい。しかしながら、他の好適な選択方法もまた、使用されてもよい（例えば、ハンドヘルドコントローラ上のボタンを使用して、オプションを選択および確認する）。いくつかの実施形態では、仮想メニュー６０６は、ＳＩＧイベントを記録するためのオプションを表示することができる。ユーザは、ＳＩＧイベントを記録するためのオプションを選択することができ、複合現実システムは、それに応答して、プロンプト（例えば、ボタンを押下して、記録を開始する）をユーザに表示することができる。いくつかの実施形態では、ユーザは、音声入力を使用して、入力を仮想メニューに提供することができる。
【0068】
いくつかの実施形態では、複合現実環境に物理的に存在しない、遠隔ユーザが、複合現実環境の場所にＳＩＧイベントを記録またはアップロードする。すなわち、ＳＩＧイベントは、遠隔ユーザの物理的場所がいずれの場所にあっても、遠隔ユーザと関連付けられる仮想場所にアップロードされることができる。例えば、遠隔ユーザと関連付けられる場所は、複合現実環境を提示する遠隔ユーザデバイス（例えば、モバイルデバイス、コンピュータ、第２のウェアラブル頭部デバイス）のディスプレイ上の仮想場所であることができる。複合現実環境の提示は、複合現実環境における第１のウェアラブル頭部デバイスを使用して、捕捉（例えば、記録、ストリーミング）されてもよい。遠隔ユーザには、（例えば、第１のウェアラブル頭部デバイスによって捕捉された）複合現実環境が遠隔ユーザデバイスのディスプレイを通して見え得、ディスプレイ上の仮想場所は、複合現実環境のビューを共有する、第１のウェアラブル頭部デバイスの物理的場所に対応し得る。複合現実環境が見えることに加え、複合現実環境についての付加的情報が、表示されてもよい（例えば、環境のマップ、オプションのメニュー、第１のウェアラブル頭部デバイスの場所を示す、グリッド）。遠隔ユーザのデバイスから、遠隔ユーザは、対応する仮想場所を選択することによって、複合現実環境における物理的場所にＳＩＧイベントを記録またはアップロードしてもよい。ＳＩＧイベントは、次いで、彼らが複合現実環境内に物理的に存在するか、または複合現実環境に遠隔でアクセスするかどうかにかかわらず、複合現実環境内において、複合現実環境の他のユーザによってアクセスされることができる。ＳＩＧイベントは、テキストファイル、オーディオファイル、ビデオファイル、ＵＲＬ、またはソーシャルメディアコンテンツ等の任意の好適なタイプのデータを備えることができる。ＳＩＧイベントはまた、コンピュータアプリケーションまたはスクリプト等の実行可能コンピュータコードを備えることができる。
【0069】
実施例として、第１のユーザは、第１のユーザに第２のユーザによって提供される視野が見え得るように、ウェアラブルデバイスにアクセスする、第２のユーザと遠隔通信してもよい。例えば、第１のユーザは、複合現実環境の第２のユーザのビューに遠隔でアクセスしてもよい。第２のユーザのウェアラブルデバイスは、第１のユーザに、その楽器のコレクションを示してもよい。第１のユーザは、ＳＩＧイベントが複合現実環境内の楽器の物理的場所と関連付けられる状態になるように、そのデバイスのディスプレイ上の楽器の場所にＳＩＧイベント（例えば、本実施例では、楽器と関連付けられるコンテンツ）をアップロードまたは記録してもよい。第２のユーザは、物理的場所において、ＳＩＧイベントにアクセスすることができる。後の時間において、楽器の場所における第３のユーザが、第１のユーザによって記録またはアップロードされたＳＩＧイベントにアクセスしてもよい。第３のユーザは、楽器の物理的場所に存在してもよい、または第３のユーザは、楽器の場所に仮想的に存在する、遠隔ユーザであってもよい。
【0070】
いくつかの実施形態では、仮想場所におけるユーザ（例えば、複合現実環境に物理的に存在しない、遠隔ユーザ）は、ウェアラブル頭部デバイスからの複合現実環境の提示を伴わずに、ＳＩＧイベントを記録またはアップロードする。例えば、ユーザと関連付けられる場所は、複合現実環境のマップ上の仮想場所であって、複合現実環境のマップに基づいて、ユーザは、複合現実環境の場所にＳＩＧイベントを記録またはアップロードする。別の実施例として、ユーザは、ＳＩＧイベントを記録またはアップロードするための複合現実環境内の座標を定義してもよい。
【0071】
図７は、ユーザがＳＩＧイベントを特定の層上に記録するように選定し得る、ある実施形態を描写する。いくつかの実施形態では、複合現実システムは、仮想メニュー７０２をユーザに提示する。いくつかの実施形態では、仮想メニュー７０２は、ユーザがＳＩＧイベントを記録するためのオプションを選択した後、提示されることができる。仮想メニュー７０２は、ＳＩＧイベントを記録するための１つまたはそれを上回る層に対応する、１つまたはそれを上回るオプション７０４を表示することができる。層は、複数のＳＩＧイベントを配列するための編成ツールとしての役割を果たすことができる。例えば、層は、情報のグループ（例えば、ＳＩＧイベントまたはＳＩＧ記録）を選択的に示すまたは隠す、フィルタとして作用することができる。いくつかの実施形態では、異なる層は、異なる教育志向材料に対応し得る。例えば、「発見」層は、寮の建物内の特徴についてのＳＩＧイベントを含むことができる。「発見」層内のＳＩＧイベントは、ユーザに、洗濯屋またはコンピュータラボがある場所、適切な台所でのエチケット、またはキャンパスの無線ネットワークに接続する方法を教示し得る。別の実施例では、「キャンパスツアー」層は、キャンパス内の建物についてのＳＩＧイベントを含むことができる。１つのＳＩＧイベントは、入学事務局の案内専用であってもよく、別のＳＩＧイベントは、工学部の建物内の教室の案内専用であってもよい。いくつかの実施形態では、ユーザは、記録するための事前に定義された層のセット（例えば、１つまたはそれを上回る層）から選定することができる。いくつかの実施形態では、ユーザは、提示される層のリストに層を追加またはそこから削除することができる。いくつかの実施形態では、ＳＩＧイベントは、コンテキスト情報に基づいて、層に自動的に割り当てられることができる。
【0072】
層が、説明されたが、また、ＳＩＧイベント（および他の空間コンテンツ）は、他の好適な手段によってフィルタリングされ得ることも検討される。例えば、ＳＩＧイベントは、関連付けられるキーワードによってフィルタリングされることができる。いくつかの実施形態では、ＳＩＧイベントは、より粒度が細かくフィルタリングされることができる。例えば、ＳＩＧイベントの具体的要素は、フィルタ（例えば、層または１つまたはそれを上回るキーワード）と関連付けられることができる。いくつかの実施形態では、フィルタをトグルすることは、ＳＩＧイベントの１つまたはそれを上回る関連付けられる要素をトグルすることができ、いくつかの実施形態では、フィルタをオフにトグルすることは、ＳＩＧイベントの関連付けられない要素に影響を及ぼさないであろう。例えば、第１の層と関連付けられる仮想棒グラフが、表示されることができ、チャート値記述子が、第２の層と関連付けられることができる。チャート値記述子は、加えて、関連付けられる層がオンまたはオフにトグルされるかどうかに応じて、仮想棒グラフにわたってオーバーレイされる、またはされないことができる。フィルタはまた、ユーザによって、ユーザが視認することを所望するコンテンツを選択するために使用されることができる。例えば、ユーザは、異なる言語フィルタまたはジャンルフィルタ間でトグルすることができる。いくつかの実施形態では、フィルタは、ユーザの空間コンテンツ（例えば、子供のために好適ではないコンテンツ）へのアクセスを制限するために使用されることができる。例えば、管理者は、具体的従業員のみが、具体的フィルタと関連付けられるコンテンツにアクセスすることを可能にし得る。いくつかの実施形態では、フィルタは、ソーシャルメディアコンテンツ（例えば、グループ、友人等）と関連付けられることができる。
【0073】
ＳＩＧイベント記録
【0074】
いくつかの実施形態では、いったんユーザが、記録するための１つまたはそれを上回る層を選択すると、ユーザは、図８に示されるように、ＳＩＧイベントの記録を開始することができる。図８は、物理的環境８０４（実環境１００に対応し得る）内に位置しながら、複合現実システム８０３を使用する、ユーザ８０２を描写する。いくつかの実施形態では、いったんユーザが、ＳＩＧイベントの記録を開始すると、ＳＩＧイベントと関連付けられる仮想オブジェクトが、生成されることができる（仮想環境１３０に対応し得る）。いくつかの実施形態では、仮想マーカ８０６が、ユーザが物理的環境内で位置する場所に設置されることができる（例えば、座標系１０８を使用して）。仮想オブジェクト（例えば、仮想マーカ８０６）は、概して、物理的環境に対して定位置に固定されることができる。例えば、仮想マーカ８０６は、物理的環境８０４内の棚８０７のセットの隣に設置されることができる。複合現実システムを使用する、ユーザには、次いで、ユーザが棚８０７を伴うエリアを見るとき、棚８０７の近くの仮想マーカ８０６が見え得る。いくつかの実施形態では、仮想オブジェクトは、図１Ａ－１Ｃに関して本明細書に説明されるように、持続的座標系（座標系１０８に対応し得る）を使用して、物理的環境に対する場所に存続し得る。いくつかの実施形態では、物理的環境のために使用される座標系は、座標が物理的環境および仮想環境の両方における同一場所について説明され得るように、仮想環境のために使用される座標系と同一であることができる。
【0075】
いくつかの実施形態では、ユーザは、ＳＩＧイベントを記録しながら、仮想マーキング８０８を作成することができる。いくつかの実施形態では、仮想マーキング８０８の作成（例えば、仮想マーキング８０８を作成しながらのユーザの移動）は、記録されてもよい。図９は、仮想マーキング９０２を作成する、ユーザの実施例を描写する。いくつかの実施形態では、ユーザは、任意の好適な手段（例えば、ハンドヘルドコントローラ９０４上のボタンを押下する、または仮想ユーザインターフェースを介して、機能を選択する、または、単に、ハンドヘルドコントローラを使用せずに、ユーザの手を用いて、描画する）を介して、ＳＩＧシステムのマーカ機能をアクティブ化することができる。いくつかの実施形態では、マーカ機能が、アクティブになると、ユーザは、ハンドヘルドコントローラ９０４（ハンドヘルドコントローラ３００に対応し得る）を使用して、仮想マーキング９０２を作成することができる。いくつかの実施形態では、複合現実システムは、（例えば、図３Ａに関して）本明細書に説明されるシステムおよび方法を通して、ハンドヘルドコントローラ９０４の移動を通したユーザの手の移動を追跡することができる。いくつかの実施形態では、ユーザは、ハンドヘルドコントローラ９０４上のボタンを長押し、仮想マーカ９０６を「書き込む」ことができる。いくつかの実施形態では、仮想マーカ９０６は、記録セッションの間、表示され、ハンドヘルドコントローラがユーザの視野の中に入ると、ハンドヘルドコントローラ９０４上にオーバーレイされることができる。いくつかの実施形態では、仮想コントローラおよび／または手が、記録セッションの間、表示され（例えば、仮想マーカが関わらないとき）、ハンドヘルドコントローラがユーザの視野の中に入ると、ハンドヘルドコントローラ上にオーバーレイされることができる。いくつかの実施形態では、マーカ機能が、アクティブになると、ユーザは、その手を使用して、仮想マーキング９０２を作成することができる。いくつかの実施形態では、複合現実システムは、種々のセンサ（例えば、深度センサ、ＲＧＢカメラ、他の光学センサ、または運動センサ）を通して、ユーザの手の移動を追跡することができる。いくつかの実施形態では、ユーザは、ユーザの手を用いて指差すことによって、マーカ機能をアクティブ化することができる。仮想マーカは、表示され、随意に、手が、ユーザの視野内にあって、マーカ機能がアクティブであることを示すとき、ユーザの手上にオーバーレイされることができる。
【0076】
いくつかの実施形態では、仮想マーキング９０２は、ユーザがハンドヘルドコントローラ９０４を用いて「書き込んでいる」ように、ハンドヘルドコントローラ９０４の移動に追従するであろう。いくつかの実施形態では、仮想マーキングは、ユーザが仮想マーキングを作成後、視覚的に存続することができる。いくつかの実施形態では、仮想マーキングは、ユーザがマーキングを作成後、閾値時間量にわたってのみ、ＳＩＧイベント内に視覚的に存続することができる。仮想マーキングおよびその関連する視覚的持続は、ＳＩＧ再生セッションが、再開される、または異なるユーザのために開始される場合、仮想マーキングが、再び現れ、閾値時間量にわたって、再び存続し得るように、特定のＳＩＧ再生セッションと関連付けられることができる。いくつかの実施形態では、閾値時間量を上回って以前に作成された仮想マーキングは、ユーザのビューからフェーディングし得る。また、仮想マーキングは、仮想マーキングの閾値長（例えば、仮想マーキングは、２フィートの閾値長を有することができる）に基づいて、フェーディングし得ることも検討される。いくつかの実施形態では、仮想マーキングは、概して、物理的環境内の位置に対して固定されることができる。
【0077】
図８に戻って参照すると、いくつかの実施形態では、物理的環境の周囲の仮想軌跡８１０が、ＳＩＧ記録内に記録されることができる。いくつかの実施形態では、複合現実システムは、ウェアラブル頭部デバイス、ハンドヘルドコントローラ、または他の好適な手段（例えば、両方の組み合わせ）を通して、移動を追跡し、物理的環境を通したユーザの移動を決定することができる。他のセンサも同様に、使用されることができる（例えば、物理的環境内のセンサ）。いくつかの実施形態では、ユーザの頭部の移動および方向が、ＳＩＧ記録内に記録されることができる。いくつかの実施形態では、複合現実システムは、図２Ａ－２Ｄに関して本明細書に説明されるシステムおよび方法を使用して、ユーザの頭部の移動およびユーザが面している方向を追跡することが可能なウェアラブル頭部デバイスを含むことができる。他のセンサも同様に、使用されることができる（例えば、物理的環境内のセンサ）。いくつかの実施形態では、オーディオ信号（例えば、ユーザの発話）が、ＳＩＧ記録内に記録されることができる。例えば、複合現実システムは、マイクロホンを含むことができ、これは、複合現実システムのウェアラブル頭部デバイスの中に構築されてもよい。他のマイクロホンも同様に、使用されることができる（例えば、部屋内に固定されたマイクロホン）。いくつかの実施形態では、仮想オーディオマーカ８１２が、ＳＩＧ記録内に設置されることができる。仮想オーディオマーカ８１２は、オーディオ記録に対応し得、概して、物理的環境に対して定位置に固定されることができる。いくつかの実施形態では、ビデオ記録が、ＳＩＧ記録内に含まれることができる。例えば、複合現実システム１１２または２００上（または複合現実システムの外部）に位置する１つまたはそれを上回るカメラが、ＳＩＧセッションの間、ビデオを記録することができる。いくつかの実施形態では、記録されたビデオは、複合現実システムを装着しているユーザの視点からのものであることができる（すなわち、カメラは、ユーザに見える内容を記録する）。いくつかの実施形態では、複合現実システムは、拡張ビデオを記録することができ、拡張ビデオは、物理的環境およびオーバーレイされた仮想環境の両方を記録する。いくつかの実施形態では、拡張ビデオは、ユーザが複合現実環境内で体験する内容を記録することができる。いくつかの実施形態では、ＳＩＧ記録セッション内に記録されるビデオは、関連付けられる仮想ビデオマーカを有することができ、これは、ＳＩＧ記録内に設置されることができる。いくつかの実施形態では、ユーザは、関連付けられる仮想マーカに接近することによって、ビデオ記録をアクティブ化することができる。いくつかの実施形態では、記録されたビデオは、ユーザについてのもの（例えば、顔の表情を含む、ユーザの顔、ジェスチャを含む、ユーザの身体等）であってもよい。
【0078】
いくつかの実施形態では、ユーザは、ＳＩＧ記録セッションを終了することができる（例えば、ハンドヘルドコントローラ上のボタンを押下することによって）。いくつかの実施形態では、ＳＩＧ記録セッションを終了させることは、複合現実システムに、仮想メニューを表示するようにプロンプトすることができる。いくつかの実施形態では、仮想メニューは、記録されたＳＩＧイベントの長さを示すことができる。いくつかの実施形態では、仮想メニューは、ＳＩＧ記録を公開またはＳＩＧ記録を削除するためのオプションを提示することができる。いくつかの実施形態では、仮想メニューは、記録されたＳＩＧイベントをプレビューするためのオプションを提示することができる。いくつかの実施形態では、プレビューオプションは、ユーザが、他のユーザ（例えば、ＳＩＧイベントを作成していないユーザ）がＳＩＧ記録を体験し得る同一方法において、記録されたＳＩＧイベントを鑑賞することを可能にすることができる。１つまたはそれを上回るＳＩＧイベントを備える、ＳＩＧ記録は、１つまたはそれを上回る仮想オブジェクト、記録、点、および／またはマーカを含むことができる。例えば、単一ＳＩＧイベントは、１つまたはそれを上回る仮想マーキング、オーディオ記録、および／またはビデオ記録を含むことができる。
【0079】
いくつかの実施形態では、仮想マーカ１００６は、図１０に示されるように、ユーザが記録されたＳＩＧイベントを公開した後、作成されることができる。いくつかの実施形態では、仮想マーカ１００６は、概して、物理的環境８０４に対して定位置に固定されることができる。いくつかの実施形態では、仮想マーカ１００６は、ユーザが対応するＳＩＧイベントの記録を開始した場所に位置することができる。いくつかの実施形態では、仮想マーカ１００６は、記録されたＳＩＧイベントの長さおよび対応する層情報を表示することができる。いくつかの実施形態では、仮想マーカ１００６は、記録されたＳＩＧイベントと関連付けられる層に従って、色分けされることができる。いくつかの実施形態では、仮想マーカは、関連付けられるコンテキストまたはフィルタを反映させることができる。例えば、ビデオ層と関連付けられるＳＩＧイベントに対応する、仮想マーカは、遠隔コントローラであり得る。別の実施例では、ウィザード層と関連付けられるＳＩＧイベントに対応する、仮想マーカは、ワンドであり得る。
【0080】
ＳＩＧ再生の初期化
【0081】
いくつかの実施形態では、ユーザは、記録されたＳＩＧイベントが公開された後、通知を受信することができる（例えば、モバイルデバイス上で）。いくつかの実施形態では、通知は、記録されたＳＩＧイベントを公開したユーザに関する情報を含むことができる。いくつかの実施形態では、通知は、ＳＩＧイベントが記録された層に関する情報を含むことができる。いくつかの実施形態では、通知は、ＳＩＧイベントが生じた場所に関する情報（例えば、ＧＰＳ座標、方向）を含むことができる。いくつかの実施形態では、通知は、ＳＩＧイベントが記録されたときに関する情報を含むことができる。いくつかの実施形態では、複合現実システムは、通知を受信し、仮想散歩ルートを新しく記録されたＳＩＧイベントに表示することができる。いくつかの実施形態では、具体的エリア内のユーザのみが、記録されたＳＩＧイベントの通知を受信してもよい（例えば、記録されたＳＩＧイベントの場所の閾値半径内のユーザ）。
【0082】
図１１は、モバイルデバイス１１０２上で起動する例示的アプリケーションを描写する。いくつかの実施形態では、公開されたＳＩＧイベントについての通知を選択することは、アプリケーション（例えば、図１１に描写されるアプリケーション）を開くことができる。いくつかの実施形態では、アプリケーションは、マップをマーカ１１０４とともに表示することができる。マーカ１１０４は、記録されたＳＩＧイベントに対応し得る。いくつかの実施形態では、マーカ１１０４は、記録されたＳＩＧイベントが再生され得る（例えば、ＳＩＧイベント記録が開始された）場所に設置されることができる。いくつかの実施形態では、アプリケーションは、１つまたはそれを上回る層と関連付けられる、マーカを表示することができる。いくつかの実施形態では、アプリケーションは、１つまたはそれを上回る層をオンまたはオフにトグルするためのオプション１１０６を提示することができる。
【0083】
いくつかの実施形態では、モバイルデバイスが、複合現実システムに結合されることができる。いくつかの実施形態では、モバイルデバイスは、複合現実システムが、１つまたはそれを上回るカメラを用いて、走査し、モバイルデバイスとペアリングし得る、走査可能コード（例えば、バーコードまたはＱＲコード（登録商標））を提示することができる。しかしながら、有線方法（例えば、モバイルデバイスを複合現実システムに接続するケーブルを介して）または無線方法（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）または近距離通信を介して）のような他の結合機構もまた、想定される。いくつかの実施形態では、モバイルデバイス（または他の好適なコンピューティングデバイス）は、ＳＩＧイベントと関連付けられる、メタデータを編集することができる。いくつかの実施形態では、モバイルデバイス（または他の好適なコンピューティングデバイス）は、ＳＩＧイベントと別のＳＩＧイベントを関連付けることができる。例えば、ＳＩＧイベントは、前のＳＩＧイベントが完了後、順次再生するために、リンクされることができる。ＳＩＧイベントはまた、ツリー構造のような他の構造内でリンクされることができる（例えば、単一ＳＩＧ開始点は、異なるＳＩＧイベント終了を伴って終了することができる）。
【0084】
いくつかの実施形態では、ユーザは、モバイルデバイス１１０２上に表示されるマーカ１１０４に対応する、物理的場所に進行することができる。図１２は、複合現実システムを装着しているユーザが物理的場所１２０４（物理的場所８０４に対応し得る）内に存在する、ある実施形態を描写する。複合現実システムは、１つまたはそれを上回る仮想マーカ１２０２を表示することができる。いくつかの実施形態では、ユーザが、仮想マーカの場所に物理的に接近するにつれて、仮想マーカは、仮想マーカに対応する情報（例えば、対応するＳＩＧ記録の記録長または対応するＳＩＧ記録についての層情報）を表示することができる。いくつかの実施形態では、仮想マーカは、ユーザの眼移動に従って、仮想マーカに対応する情報を表示することができる（例えば、仮想マーカは、ユーザが仮想マーカを見ているときのみ、付加的情報を表示してもよい）。
【0085】
いくつかの実施形態では、仮想マーカは、ユーザがＳＩＧ記録を作成した、物理的場所に対応し得る。いくつかの実施形態では、仮想マーカは、記録場所以外の場所に設置されることができる（例えば、物理的場所と関連付けられない、シミュレートされた空間コンテンツのための仮想マーカが、任意の場所に設置されることができる）。いくつかの実施形態では、仮想マーカは、仮想環境内に設置されることができる。例えば、仮想環境は、小型遊園地を含むことができ、これは、ユーザの居間内に適合するようなサイズにされることができる。空間コンテンツに対応する仮想マーカは、仮想環境内（例えば、遊園地内）に設置されることができる。ユーザは、仮想環境内の仮想マーカに接近することによって、仮想マーカをアクティブ化することができる。
【0086】
ＳＩＧ再生
【0087】
図１３は、ユーザがＳＩＧ記録の再生を開始した、ある実施形態を描写する。いくつかの実施形態では、ユーザは、仮想マーカに接近し、次いで、好適な手段（例えば、ハンドヘルドコントローラ上のボタンを押下する、音声入力を使用する）を介して、再生オプションを選択することによって、ＳＩＧ記録の再生を開始することができる。いくつかの実施形態では、いったんユーザが、ＳＩＧ再生セッションを開始すると、選択されたＳＩＧイベントに対応しない、全ての仮想マーカは、消失することができる。いくつかの実施形態では、複合現実システムは、仮想表現１３０４を表示することができる。仮想表現は、ＳＩＧイベントを記録したユーザの表現であることができ、ＳＩＧ記録セッションの間のユーザの追跡された移動に基づくことができる。いくつかの実施形態では、仮想手１３０６もまた、仮想表現の一部として表示されることができる。いくつかの実施形態では、仮想手は、ＳＩＧイベントを記録したユーザによって動作される、ハンドヘルドコントローラに基づくことができ、仮想手は、ハンドヘルドコントローラの追跡された移動に基づくことができる。いくつかの実施形態では、仮想手は、ＳＩＧイベントを記録したユーザの１つまたはそれを上回る手に基づくことができ、仮想手は、ＳＩＧイベントを記録したユーザの１つまたはそれを上回る手の追跡された移動に基づくことができる。いくつかの実施形態では、ＳＩＧ再生セッションは、ビデオ記録が生じた物理的環境にわたってオーバーレイされ得る、ビデオ記録として機能することができる。
【0088】
いくつかの実施形態では、複合現実システムは、物理的場所１３１０（物理的場所１２０４に対応し得る）を動き回る、仮想表現を表示することができる。いくつかの実施形態では、仮想表現は、ＳＩＧイベントを記録したユーザの移動を模倣することができる。例えば、複合現実ヘッドセットは、記録しているユーザの頭部、手、および／または他の身体部分の位置および配向を追跡することができる。記録しているユーザが、物理的場所を動き回り、周囲を見回すにつれて、記録しているユーザとほぼ類似様式において、動き回り、見回す、仮想表現が、作成されることができる。いくつかの実施形態では、複合現実システムは、記録しているユーザが、記録セッションの間、仮想マーキングを作成したものとほぼ類似様式において、仮想マーキング１３０２を作成する、仮想表現１３０４を表示することができる。いくつかの実施形態では、複合現実システムは、仮想軌跡１３０８を表示することができる。いくつかの実施形態では、仮想軌跡は、仮想表現の前の場所を示す。いくつかの実施形態では、仮想軌跡は、ＳＩＧ再生セッションの間、物理的場所の周囲の仮想表現に追従することを促進することができる。いくつかの実施形態では、ＳＩＧ再生セッションは、ユーザと仮想コンテンツとの間の距離がカスタマイズ可能な閾値を上回る場合、一時停止することができる。閾値は、静的（例えば、フィート単位の設定距離）または動的（例えば、仮想オブジェクトのサイズに伴って変動する）のいずれかであることができる。
【0089】
いくつかの実施形態では、仮想マーカは、ユーザがその仮想マーカと関連付けられるＳＩＧ記録を再生した場合、１つまたはそれを上回る完了インジケーションを表示することができる。いくつかの実施形態では、仮想マーカは、ユーザがＳＩＧ再生セッションを部分的にのみ完了したかどうかを示すことができる。いくつかの実施形態では、仮想マーカは、ユーザがＳＩＧ再生セッションを開始しなかったかどうかを示すことができる。
【0090】
図１４は、複数のユーザが単一ＳＩＧ再生セッションに参加し得る、ある実施形態を描写する。描写される実施形態では、ユーザ１４０２が、仮想マーカ１４０６に接近する。描写される実施形態では、ユーザ１４０４は、仮想マーカ１４０６に対応する、ＳＩＧ再生セッションをすでに開始している。描写される実施形態では、両ユーザ１４０２および１４０４が、複合現実システムを使用することができる。いくつかの実施形態では、ユーザ１４０２が仮想マーカ１４０６に接近するにつれて、別のユーザが、その仮想マーカに対応する再生セッションをすでに開始しているとき、仮想マーカ１４０６は、ユーザ１４０２に、仮想メニュー１４０８を表示することができる。いくつかの実施形態では、仮想メニュー１４０８は、既存のセッションに参加するためのオプションまたは新しいセッションを開始するためのオプションを含むことができる。いくつかの実施形態では、仮想メニュー１４０８は、既存の再生セッションの残り時間または経過時間を表示することができる。いくつかの実施形態では、新しいセッションを開始するためのオプションを選択することは、別のユーザと同期されない、別個のＳＩＧ再生セッションを開始することができる。いくつかの実施形態では、新しいセッションを開始するためのオプションを選択することは、記録されたＳＩＧイベントの開始からＳＩＧ再生セッションを開始するであろう。仮想マーカは、仮想マーカの提示の側面を決定する、パラメータ等の１つまたはそれを上回るディスプレイパラメータと関連付けられることができる。一実施例として、ディスプレイパラメータは、仮想マーカがユーザの視軸に対してある配向で提示されることを規定することができる。
【0091】
図１５は、ユーザが既存のＳＩＧ再生セッションに参加することを選択した、ある実施形態を描写する。いくつかの実施形態では、複合現実システムは、ＳＩＧ再生セッションと別のＳＩＧ再生セッションを同期させることができる。例えば、ユーザ１５０２が、ユーザ１５０４によってすでに開始された既存のＳＩＧ再生セッションに参加することを選択する場合、ユーザ１５０２の複合現実システムは、ユーザ１５０２のＳＩＧ再生セッションが、ＳＩＧ記録の開始の代わりに、ユーザ１５０４のＳＩＧ再生セッションの現在の時間から開始し得るように、ＳＩＧ再生セッションを開始することができる。いくつかの実施形態では、ユーザ１５０２および１５０４は、同期された様式において、仮想マーキング１５０８を移動および作成する、仮想表現１５０６を視認することができる。いくつかの実施形態では、同期される再生セッションは、同期されるＳＩＧ再生の個々のユーザの目線を考慮することができる。例えば、各ユーザに表示される仮想表現が相互に時間同期される場合でも、仮想表現の左に立っているユーザには、仮想表現の左側が見え得、仮想表現の右側に立っているユーザには、仮想表現の右側が見え得る。
【0092】
いくつかの実施形態では、同期されるＳＩＧ再生セッションは、グループアクティビティを促進することができる。例えば、新しく雇用された従業員のグループは、各従業員が同一ＳＩＧ再生セッションに参加する場合、訓練セッションをともに受けることができる。いくつかの実施形態では、ユーザが同一ＳＩＧ再生セッションを同時に体験し、ユーザ間の相互作用を促進することが有益であり得る（例えば、ユーザは、彼らがそれを鑑賞する際、訓練資料について相互に話し合うことができる）。
【0093】
ＳＩＧネットワーク
【0094】
いくつかの実施形態では、ネットワークは、１つまたはそれを上回るモバイルデバイスを含むことができる。いくつかの実施形態では、ネットワークは、１つまたはそれを上回るモバイルデバイスを１つまたはそれを上回るグループに編成することができる。いくつかの実施形態では、ユーザは、１つまたはそれを上回るグループ内のモバイルデバイスが通知を受信するが、１つまたはそれを上回るグループ外のモバイルデバイスが受信しないように、ＳＩＧ記録を１つまたはそれを上回るグループに公開するように選定することができる。いくつかの実施形態では、ＳＩＧ記録が公開された１つまたはそれを上回るグループ内のモバイルデバイスのみが、ＳＩＧ記録を視認することができる。いくつかの実施形態では、グループは、デバイスではなく、ユーザに基づくことができる（例えば、認可されるユーザは、ユーザのデバイスのいずれか上でＳＩＧ記録を視認することができる）。いくつかの実施形態では、ソーシャルメディア特徴が、統合されることができる。例えば、ＳＩＧ記録は、直接、ソーシャルメディアウェブサイトに公開されることができる。別の実施例では、ソーシャルメディアグループ（例えば、友人）が、例えば、ＡＰＩを使用して、ソーシャルメディアウェブサイトから継承されることができる。ＳＩＧ記録は、次いで、特定のソーシャルメディアグループに公開されることができる。
【0095】
いくつかの実施形態では、空間コンテンツは、異なるプラットフォームを横断して共有されることができる。例えば、複合現実システム上に作成された空間コンテンツは、非複合現実コンピュータシステムに共有されることができる。いくつかの実施形態では、空間コンテンツは、物理的環境に基づいて、仮想環境を生成し、仮想コンテンツをその仮想環境に追加することができる。そのようにすることの利点は、空間コンテンツのための聴衆を複合現実システムへのアクセスを有していない場合があるユーザに拡張させることを含む。ユーザは、空間コンテンツを、例えば、２Ｄ画面上で視認し得る。
【0096】
いくつかの実施形態では、空間コンテンツは、複合現実システム上に記憶されることができる。いくつかの実施形態では、複合現実システムは、サーバと通信し、ＳＩＧ記録をサーバに転送することができる。いくつかの実施形態では、ＳＩＧ記録は、複合現実システムとサーバとの間の中間体としてのモバイルデバイス上に記憶されることができる（例えば、複合現実システムは、ＳＩＧ記録をモバイルデバイスに転送し、これは、次いで、ＳＩＧ記録をサーバに転送する）。いくつかの実施形態では、複合現実システムは、ＳＩＧ記録が最初にモバイルデバイス上に記憶されるように、ＳＩＧ記録セッションの間、モバイルデバイスと通信する。いくつかの実施形態では、複合現実システムは、ＳＩＧ記録が最初にサーバ上に記憶されるように、ＳＩＧ記録セッションの間、サーバと通信する。いくつかの実施形態では、サーバは、ＳＩＧ記録をＳＩＧ再生セッションにおいて使用するために、モバイルデバイスに提供することができる。いくつかの実施形態では、サーバは、ＳＩＧ記録をＳＩＧ再生セッションにおいて使用するために、複合現実システムに提供することができる。また、他のネットワークトポロジ（例えば、複合現実デバイスのピアツーピアネットワーキングまたはアドホックネットワーク）も同様に使用され得ることが検討される。
【0097】
ＳＩＧ記録のための場所の決定
【0098】
図１６は、ＳＩＧ記録のための場所を決定するための例示的プロセス１６００を図示する。ステップ１６０２では、ＳＩＧ記録のための初期場所が、推定されることができる。初期推定は、ユーザがＳＩＧイベントを記録する間、取得されることができる。例えば、複合現実システム６０３を使用する、ユーザは、ＳＩＧイベントを記録することができ、記録の間、複合現実システム６０３は、ＳＩＧイベントに関する初期場所を推定することができる。複合現実システム６０３は、任意の好適な方法を使用して、初期場所を推定することができる。複合現実システム６０３がＧＰＳセンサを装備する場合等のいくつかの実施形態では、初期場所は、複合現実システム６０３のＧＰＳ座標に基づいて、識別されることができる。
【0099】
いくつかの実施形態では、複合現実環境に物理的に存在しない、遠隔ユーザは、複合現実環境の場所にＳＩＧイベントを記録またはアップロードする。すなわち、ＳＩＧイベントは、本明細書に説明されるように、遠隔ユーザの物理的場所がいずれの場所であっても、遠隔ユーザと関連付けられる仮想場所にアップロードされることができる。
【0100】
複合現実システム６０３がＧＰＳ機能性を欠いている場合等のいくつかの実施形態では、ＳＩＧイベントを位置特定する他の方法が、使用されることができる。例えば、いくつかの実施形態では、複合現実システム６０３は、無線アクセスポイントのための既知の場所を使用して、例えば、受信された信号強度インジケーション、シグネチャ、到着角、および／または飛行時間技法を使用して、場所を識別することができる（例えば、三角測量を介して）。いくつかの実施形態では、複合現実システム６０３に対するＳＩＧイベントの位置は、既知である、または決定されてもよい。無線アクセスポイントのための場所は、例えば、ＧＰＳを使用して、デバイスの場所を決定しながら、無線アクセスポイントを検出し得る、デバイスを使用して、無線アクセスポイントのインストール時に決定されることができる。いくつかの実施形態では、デバイスは、複合現実システム６０３と通信する、携帯電話等のデバイスであってもよい。場所は、次いで、無線アクセスポイントと関連付けられることができる。いくつかの実施形態では、複合現実システム６０３は、ＳＩＧイベントに関する初期場所を推定するために、直接、デバイスの近隣からのＧＰＳ信号を使用することができる。いくつかの実施形態では、複合現実システム６０３は、セルラー基地局に関する既知の場所を使用して、場所を識別することができる。いくつかの実施形態では、複合現実システム６０３は、５Ｇ基地局に関する既知の場所を使用して、場所を識別することができる。例えば、５Ｇ基地局は、既知の場所を有することができ、複合現実システム６０３の場所は、５Ｇ基地局に対して決定されることができる（例えば、ビーム形成を通して、５Ｇ基地局から複合現実システム６０３までのベクトルを決定することによって）。
【0101】
いくつかの実施形態では、場所は、例えば、既知の場所を伴う「目印」オブジェクトのオブジェクト認識を使用して、視覚的に推定されることができる。例えば、ＳＩＧイベントを記録しながら、複合現実システム６０３は、関連付けられる場所情報（事前に決定されていてもよい）を有する、１つまたはそれを上回る部屋を認識することができる。複合現実システム６０３は、１つまたはそれを上回る認識されるオブジェクト（例えば、テーブル、椅子、角等）の関連付けられる場所情報を使用して、ＳＩＧ記録に関する初期場所推定を決定することができる。いくつかの実施形態では、オブジェクトは、オブジェクトに関する場所情報がタグに内蔵されるように、タグ付けされることができる（例えば、ＱＲコード（登録商標）またはバーコードを用いて）。タグ、したがって、オブジェクトに関する内蔵場所情報は、複合現実システム６０３のカメラを用いて、検出されることができる。
【0102】
ＳＩＧ記録に関する初期場所を推定するための他の方法もまた、使用されることができる。いくつかの実施形態では、複合現実システム６０３と通信する異なるデバイスが、ＳＩＧ記録に関する初期場所を推定するために使用されることができる。例えば、複合現実システム６０３と通信するモバイルデバイスが、無線アクセスポイント、ＧＰＳ信号、セルラー基地局、５Ｇ基地局、および／または認識されるオブジェクトを使用して、その場所を推定することができる。モバイルデバイスの場所は、次いで、ＳＩＧ記録と関連付けられることができる。モバイルデバイスが、複合現実システム６０３の近傍に位置する（例えば、複合現実システム６０３のユーザが、モバイルデバイスを搬送する）場合、モバイルデバイスの場所は、直接、ＳＩＧ記録と関連付けられることができる。モバイルデバイスが、複合現実システム６０３から離れて位置する場合、その場所は、単独で、または他の情報（例えば、無線アクセスポイント、ＧＰＳ、セルラー基地局、５Ｇ基地局、および／または認識されるオブジェクト）とともに使用され、ＳＩＧ記録の初期場所を推定することができる。いくつかの実施形態では、ＳＩＧ記録に関して推定される場所は、位置データ（例えば、経度および緯度座標）および正確度推定値を含むことができる。正確度推定値は、例えば、ある信頼度を伴ってある場所を含有することが推定される半径を含むことができる。いくつかの実施形態では、モバイルデバイスに対する複合現実システム６０３の位置は、既知である、または決定されてもよい。
【0103】
図１６に示される例示的プロセスのステップ１６０４では、ＳＩＧ記録が、アクセスされることができる。例えば、ユーザが、モバイルデバイスまたは複合現実システムを使用して、ＳＩＧ記録を再生することができる。いくつかの実施形態では、ユーザは、ＳＩＧ記録にアクセスするようにプロンプトされることができる、またはＳＩＧ記録は、自動的に再生を開始してもよい。例えば、ユーザが、関連付けられるＳＩＧ記録を有する場所の近くを歩き得る。ユーザは、ＳＩＧ記録がユーザの場所またはその近くに存在することを通知されてもよく（例えば、ユーザのモバイルデバイスまたは複合現実システムを通して）、ユーザは、ＳＩＧ記録を視認するようにプロンプトされてもよい、またはＳＩＧ記録は、自動的に再生を開始してもよい。いくつかの実施形態では、関連付けられる場所を伴うＳＩＧ記録は、ユーザが関連付けられる場所またはその近くに（例えば、関連付けられる場所のある半径内）に存在する場合、ユーザのデバイス上にロード（例えば、プッシュ）されることができる（例えば、遠隔サーバから）。
【0104】
いくつかの実施形態では、ＳＩＧ記録の関連付けられる場所は、ステップ１６０２において決定された、推定される初期場所であることができる。ステップ１６０６では、モバイルデバイスが、限定ではないが、無線アクセスポイント、ＧＰＳ信号、セルラー基地局、５Ｇ基地局、および／または認識されるオブジェクトを使用した三角測量を含む、任意の好適な方法を使用して、その独自の場所を推定することができる（例えば、再生セッションの間）。同様に、複合現実システム６０３もまた、ＳＩＧ記録を再生するために使用されることができ、複合現実システム６０３は、任意の好適な手段を使用して、その場所を推定することができる。新しい場所推定値および新しい場所推定値と関連付けられる新しい正確度推定値は、モバイルデバイス、複合現実システム、および／またモバイルデバイスまたは複合現実システムに通信可能に結合されるサーバ上に記憶されることができる。
【0105】
ステップ１６０８では、ＳＩＧ記録の場所は、更新されることができる。いくつかの実施形態では、ステップ１６０６において決定された新しい場所推定値は、ステップ１６０２において決定された初期場所推定値より正確であることができる。例えば、ステップ１６０２において決定された初期場所は、無線アクセスポイントからの三角測量を使用して推定されることができ、これは、不良正確度（例えば、場所内で確信的である大半径）を伴う、場所推定値を生産し得る。モバイルデバイスは、より正確な場所方法を使用する（例えば、ＧＰＳ信号を使用して）ことによって、ステップ１６０６において、より正確な場所推定値を生産することができる。いくつかの実施形態では、ＳＩＧ記録と関連付けられる場所は、より正確な場所に更新されることができる。例えば、ステップ１６０８では、決定が、２つまたはそれを上回る場所推定値の正確度に関して行われることができる（例えば、最小信頼度半径を有する場所推定値を識別する）。最高正確度を伴う場所推定値が、ＳＩＧ記録と関連付けられることができ、ＳＩＧ記録を共有するために使用されることができる。例えば、最高正確度を伴う場所推定値は、ユーザが最高正確度を伴う推定値の場所の近くを歩くとき、ユーザに通知するために使用されることができる。最高正確度を伴う場所推定値はまた、ユーザがＳＩＧ記録をナビゲートし得るように、ＳＩＧ記録をマップ上にマークするために使用されることができる。
【0106】
いくつかの実施形態では、ステップ１６０２または１６０６において決定された１つまたはそれを上回る場所推定値は、組み合わせられ、ＳＩＧ記録の場所を更新することができる。例えば、１つまたはそれを上回る場所推定値は、平均され、組み合わせられた場所推定値を形成することができ、組み合わせられた場所推定値は、ＳＩＧ記録を共有するために使用されることができる。いくつかの実施形態では、１つまたはそれを上回る場所推定値は、加重され、組み合わせられた場所推定値を形成することができる。いくつかの実施形態では、より高い推定される正確度を伴う場所推定値は、より低い推定される正確度を伴う場所推定値より重く加重されることができる。いくつかの実施形態では、時間的により新しい、場所推定値は、時間的により古い、場所推定値より重く加重されることができる。
【0107】
いくつかの実施形態では、ステップ１６０４、１６０６、および１６０８は、ＳＩＧ記録がアクセスされる度に、実施されることができる。例えば、モバイルデバイスまたは複合現実システムがＳＩＧ記録を再生する度に、背景プロセスは、再生セッションの間、モバイルデバイスまたは複合現実システムに関する場所を推定することができる。場所推定値は、次いで、モバイルデバイス、複合現実システム、および／またはモバイルデバイスまたは複合現実システムに通信可能に結合される、サーバに保存されることができる。ＳＩＧ記録と関連付けられる場所は、受信された新しい場所推定値に基づいて、更新されることができる（例えば、最高正確度を伴う場所推定値を選択することによって、または新しい場所推定値に基づいて、新しい加重平均を計算することによって）。
【0108】
上記に説明されるシステムおよび方法に関して、本システムおよび方法の要素は、必要に応じて、１つまたはそれを上回るコンピュータプロセッサ（例えば、ＣＰＵまたはＤＳＰ）によって実装されることができる。本開示は、これらの要素を実装するために使用される、コンピュータプロセッサを含む、コンピュータハードウェアの任意の特定の構成に限定されない。ある場合には、複数のコンピュータシステムが、上記に説明されるシステムおよび方法を実装するために採用されることができる。例えば、第１のコンピュータプロセッサ（例えば、１つまたはそれを上回るマイクロホンに結合される、ウェアラブルデバイスのプロセッサ）が、入力マイクロホン信号を受信し、それらの信号の初期処理（例えば、上記に説明されるような信号調整および／またはセグメント化）を実施するために利用されることができる。第２の（およびおそらく、より算出上強力な）プロセッサが、次いで、それらの信号の発話セグメントと関連付けられる確率値を決定する等のより算出上集約的である処理を実施するために利用されることができる。クラウドサーバ等の別のコンピュータデバイスは、それに対して入力信号が最終的に提供される、発話処理エンジンをホストすることができる。他の好適な構成も、明白となり、本開示の範囲内である。
【0109】
開示される実施例は、付随の図面を参照して完全に説明されたが、種々の変更および修正が、当業者に明白となるであろうことに留意されたい。例えば、１つまたはそれを上回る実装の要素は、組み合わせられ、削除され、修正され、または補完され、さらなる実装を形成してもよい。そのような変更および修正は、添付の請求項によって定義されるような開示される実施例の範囲内に含まれるものとして理解されるべきである。
【図1A】
【図1B】
【図1C】
【図2A】
【図2B】
【図2C】
【図2D】
【図3A】
【図3B】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【外国語明細書】