特許 7539478 セッションマネージャ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-15

(45)【発行日】2024-08-23

(54)【発明の名称】セッションマネージャ

(51)【国際特許分類】

   G06T 19/00 20110101AFI20240816BHJP

   G06F 3/01 20060101ALI20240816BHJP

   G06F 3/0481 20220101ALI20240816BHJP

【ＦＩ】

G06T19/00 300B

G06F3/01 510

G06F3/0481

【請求項の数】 18

(21)【出願番号】P 2022548903

(86)(22)【出願日】2021-02-12

(65)【公表番号】

(43)【公表日】2023-04-06

(86)【国際出願番号】 US2021018037

(87)【国際公開番号】W WO2021163626

(87)【国際公開日】2021-08-19

【審査請求日】2024-02-08

(31)【優先権主張番号】62/977,079

(32)【優先日】2020-02-14

(33)【優先権主張国・地域又は機関】US

【早期審査対象出願】

(73)【特許権者】

【識別番号】514108838

【氏名又は名称】マジック リープ， インコーポレイテッド

【氏名又は名称原語表記】Ｍａｇｉｃ Ｌｅａｐ，Ｉｎｃ．

【住所又は居所原語表記】７５００ Ｗ ＳＵＮＲＩＳＥ ＢＬＶＤ，ＰＬＡＮＴＡＴＩＯＮ，ＦＬ ３３３２２ ＵＳＡ

(74)【代理人】

【識別番号】100078282

【弁理士】

【氏名又は名称】山本 秀策

(74)【代理人】

【識別番号】100113413

【弁理士】

【氏名又は名称】森下 夏樹

(74)【代理人】

【識別番号】100181674

【弁理士】

【氏名又は名称】飯田 貴敏

(74)【代理人】

【識別番号】100181641

【弁理士】

【氏名又は名称】石川 大輔

(74)【代理人】

【識別番号】230113332

【弁護士】

【氏名又は名称】山本 健策

(72)【発明者】

【氏名】ベイリー， リチャード セント クレア

(72)【発明者】

【氏名】ポタプラガダ， シッダルタ

(72)【発明者】

【氏名】モリ， コウイチ

(72)【発明者】

【氏名】ストールゼンバーグ， カレン

(72)【発明者】

【氏名】ナイルズ， サバンナ

(72)【発明者】

【氏名】ノリエガ－パディラ， ドミンゴ

(72)【発明者】

【氏名】ハイナー， コール パーカー

【審査官】鈴木 明

(56)【参考文献】

【文献】特表２０２０－５０１２６５（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２０／０００５５３８（ＵＳ，Ａ１）

【文献】特開２０１６－０４８８５５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８１

(57)【特許請求の範囲】

【請求項1】

システムであって、
透過型ディスプレイを備えるウェアラブルデバイスと、
１つまたはそれを上回るプロセッサであって、
持続座標データを受信することと、
前記ウェアラブルデバイスの前記透過型ディスプレイを介して、セッションの第１の仮想セッションハンドルを第１のユーザに第１の位置において提示することであって、前記第１の位置は、前記持続座標データに基づいて決定される、ことと、
前記透過型ディスプレイを介して、仮想オブジェクトを前記第１のユーザに第２の位置において提示することであって、前記第２の位置は、前記第１の位置に基づいて決定され、前記仮想オブジェクトは、前記セッションの能力と関連付けられる、ことと、
場所データを第２のユーザから受信することであって、前記場所データは、前記第２のユーザの位置を前記セッションの第２の仮想セッションハンドルの位置に関連させる、ことと、
前記透過型ディスプレイを介して、仮想アバタを前記第１のユーザに第３の位置において提示することであって、前記仮想アバタは、前記第２のユーザに対応し、前記第３の位置は、前記場所データに基づいて決定され、前記第３の位置は、さらに前記第１の位置に基づいて決定される、ことと
を含む方法を実行するように構成される、１つまたはそれを上回るプロセッサと
を備え、
前記セッションは、前記第１のユーザと関連付けられるデータを備え、前記第２のユーザと関連付けられるデータをさらに備え、
前記仮想アバタを前記第１のユーザに提示することは、前記セッションのアバタデータを介して前記仮想アバタを提示することを含み、
前記ウェアラブルデバイスは、前記セッションと関連付けられるセッションマネージャと通信するように構成される、システム。

【請求項2】

前記方法は、
入力を前記第２のユーザから受信することと、
前記第２のユーザからの入力の受信に応答して、前記透過型ディスプレイを介して、前記仮想オブジェクトを前記第１のユーザに第４の位置において提示することと
をさらに含む、請求項１に記載のシステム。

【請求項3】

前記仮想オブジェクトは、前記第１のユーザからの入力に応答して、前記第１のユーザに前記第２の位置において提示され、前記方法は、前記第１のユーザからの入力を前記第２のユーザに伝送することをさらに含む、請求項１に記載のシステム。

【請求項4】

前記方法は、
入力を前記第１のユーザから受信することと、
前記第１のユーザからの入力の受信に応答して、前記第１の仮想セッションハンドルを前記第１のユーザに第４の位置において提示することと、
前記透過型ディスプレイを介して、前記仮想オブジェクトを前記第１のユーザに第５の位置において提示することであって、前記第５の位置は、前記第４の位置に基づいて決定される、ことと
をさらに含む、請求項１に記載のシステム。

【請求項5】

前記方法は、前記第１のユーザからの入力を前記第２のユーザに伝送することをさらに含む、請求項４に記載のシステム。

【請求項6】

前記方法は、
メモリ内に、第１の時間におけるセッションインスタンスと関連付けられる前記第１の位置、前記第２の位置、および前記第３の位置を記憶することと、
前記メモリから、前記第１の時間より後の第２の時間において、前記第１の位置、前記第２の位置、および前記第３の位置を受信することと
をさらに含む、請求項１に記載のシステム。

【請求項7】

方法であって、
持続座標データを受信することと、
ウェアラブルデバイスの透過型ディスプレイを介して、セッションの第１の仮想セッションハンドルを第１のユーザに第１の位置において提示することであって、前記第１の位置は、前記持続座標データに基づいて決定される、ことと、
前記透過型ディスプレイを介して、仮想オブジェクトを前記第１のユーザに第２の位置において提示することであって、前記第２の位置は、前記第１の位置に基づいて決定され、前記仮想オブジェクトは、前記セッションの能力と関連付けられる、ことと、
場所データを第２のユーザから受信することであって、前記場所データは、前記第２のユーザの位置を前記セッションの第２の仮想セッションハンドルの位置に関連させる、ことと、
前記透過型ディスプレイを介して、仮想アバタを前記第１のユーザに第３の位置において提示することであって、前記仮想アバタは、前記第２のユーザに対応し、前記第３の位置は、前記場所データに基づいて決定され、前記第３の位置は、さらに前記第１の位置に基づいて決定される、ことと
を含み、
前記セッションは、前記第１のユーザと関連付けられるデータを備え、前記第２のユーザと関連付けられるデータをさらに備え、
前記仮想アバタを前記第１のユーザに提示することは、前記セッションのアバタデータを介して前記仮想アバタを提示することを含み、
前記ウェアラブルデバイスは、前記セッションと関連付けられるセッションマネージャと通信するように構成される、方法。

【請求項8】

入力を前記第２のユーザから受信することと、
前記第２のユーザからの入力の受信に応答して、前記透過型ディスプレイを介して、前記仮想オブジェクトを前記第１のユーザに第４の位置において提示することと
をさらに含む、請求項７に記載の方法。

【請求項9】

前記仮想オブジェクトは、前記第１のユーザからの入力に応答して、前記第１のユーザに前記第２の位置において提示され、前記方法は、前記第１のユーザからの入力を前記第２のユーザに伝送することをさらに含む、請求項７に記載の方法。

【請求項10】

入力を前記第１のユーザから受信することと、
前記第１のユーザからの入力の受信に応答して、前記第１の仮想セッションハンドルを前記第１のユーザに第４の位置において提示することと、
前記透過型ディスプレイを介して、前記仮想オブジェクトを前記第１のユーザに第５の位置において提示することであって、前記第５の位置は、前記第４の位置に基づいて決定される、ことと
をさらに含む、請求項７に記載の方法。

【請求項11】

前記第１のユーザからの入力を前記第２のユーザに伝送することをさらに含む、請求項１０に記載の方法。

【請求項12】

メモリ内に、第１の時間におけるセッションインスタンスと関連付けられる前記第１の位置、前記第２の位置、および前記第３の位置を記憶することと、
前記メモリから、前記第１の時間より後の第２の時間において、前記第１の位置、前記第２の位置、および前記第３の位置を受信することと
をさらに含む、請求項７に記載の方法。

【請求項13】

非一過性コンピュータ可読媒体であって、前記非一過性コンピュータ可読媒体は、命令を記憶しており、前記命令は、１つまたはそれを上回るプロセッサによって実行されると、前記１つまたはそれを上回るプロセッサに、
持続座標データを受信することと、
ウェアラブルデバイスの透過型ディスプレイを介して、セッションの第１の仮想セッションハンドルを第１のユーザに第１の位置において提示することであって、前記第１の位置は、前記持続座標データに基づいて決定される、ことと、
前記透過型ディスプレイを介して、仮想オブジェクトを前記第１のユーザに第２の位置において提示することであって、前記第２の位置は、前記第１の位置に基づいて決定され、前記仮想オブジェクトは、前記セッションの能力と関連付けられる、ことと、
場所データを第２のユーザから受信することであって、前記場所データは、前記第２のユーザの位置を前記セッションの第２の仮想セッションハンドルの位置に関連させる、ことと、
前記透過型ディスプレイを介して、仮想アバタを前記第１のユーザに第３の位置において提示することであって、前記仮想アバタは、前記第２のユーザに対応し、前記第３の位置は、前記場所データに基づいて決定され、前記第３の位置は、さらに前記第１の位置に基づいて決定される、ことと
を含む方法を実行させ、
前記セッションは、前記第１のユーザと関連付けられるデータを備え、前記第２のユーザと関連付けられるデータをさらに備え、
前記仮想アバタを前記第１のユーザに提示することは、前記セッションのアバタデータを介して前記仮想アバタを提示することを含み、
前記ウェアラブルデバイスは、前記セッションと関連付けられるセッションマネージャと通信するように構成される、非一過性コンピュータ可読媒体。

【請求項14】

前記方法は、
入力を前記第２のユーザから受信することと、
前記第２のユーザからの入力の受信に応答して、前記透過型ディスプレイを介して、前記仮想オブジェクトを前記第１のユーザに第４の位置において提示することと
をさらに含む、請求項１３に記載の非一過性コンピュータ可読媒体。

【請求項15】

前記仮想オブジェクトは、前記第１のユーザからの入力に応答して、前記第１のユーザに前記第２の位置において提示され、前記方法は、前記第１のユーザからの入力を前記第２のユーザに伝送することをさらに含む、請求項１３に記載の非一過性コンピュータ可読媒体。

【請求項16】

前記方法は、
入力を前記第１のユーザから受信することと、
前記第１のユーザからの入力の受信に応答して、前記第１の仮想セッションハンドルを前記第１のユーザに第４の位置において提示することと、
前記透過型ディスプレイを介して、前記仮想オブジェクトを前記第１のユーザに第５の位置において提示することであって、前記第５の位置は、前記第４の位置に基づいて決定される、ことと
をさらに含む、請求項１３に記載の非一過性コンピュータ可読媒体。

【請求項17】

前記方法は、前記第１のユーザからの入力を前記第２のユーザに伝送することをさらに含む、請求項１６に記載の非一過性コンピュータ可読媒体。

【請求項18】

前記方法は、
メモリ内に、第１の時間におけるセッションインスタンスと関連付けられる前記第１の位置、前記第２の位置、および前記第３の位置を記憶することと、
前記メモリから、前記第１の時間より後の第２の時間において、前記第１の位置、前記第２の位置、および前記第３の位置を受信することと
をさらに含む、請求項１３に記載の非一過性コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本願は、その内容が、参照することによってその全体として本明細書に組み込まれる、２０２０年２月１４日に出願された、米国仮出願第６２／９７７，０７９号の利益を請求する。

【0002】

本開示は、一般に、仮想協働を管理および有効にするためのシステムおよび方法に関し、特に、複合現実環境内で仮想協働を管理および有効にするためのシステムおよび方法に関する。

【背景技術】

【0003】

仮想環境は、コンピューティング環境において普遍的であって、ビデオゲーム（仮想環境が、ゲーム世界を表し得る）、マップ（仮想環境が、ナビゲートされるべき地形を表し得る）、シミュレーション（仮想環境が、実環境をシミュレートし得る）、デジタルストーリーテリング（仮想キャラクタが、仮想環境内で相互に相互作用し得る）、および多くの他の用途において使用を見出している。現代のコンピュータユーザは、概して、快適に仮想環境を知覚し、それと相互作用する。しかしながら、仮想環境を伴うユーザの体験は、仮想環境を提示するための技術によって限定され得る。例えば、従来のディスプレイ（例えば、２Ｄディスプレイ画面）およびオーディオシステム（例えば、固定スピーカ）は、人を引き付け、現実的で、かつ没入型の体験を作成するように、仮想環境を実現することが不可能であり得る。

【0004】

仮想現実（「ＶＲ」）、拡張現実（「ＡＲ」）、複合現実（「ＭＲ」）、および関連技術（集合的に、「ＸＲ」）は、ＸＲシステムのユーザにコンピュータシステム内のデータによって表される仮想環境に対応する感覚情報を提示する能力を共有する。本開示は、ＶＲ、ＡＲ、およびＭＲシステム間の特異性を考慮する（但し、いくつかのシステムは、一側面（例えば、視覚的側面）では、ＶＲとしてカテゴリ化され、同時に、別の側面（例えば、オーディオ側面）では、ＡＲまたはＭＲとしてカテゴリ化され得る）。本明細書で使用されるように、ＶＲシステムは、少なくとも１つの側面においてユーザの実環境を置換する、仮想環境を提示する。例えば、ＶＲシステムは、ユーザに、仮想環境のビューを提示し得る一方、同時に、光遮断頭部搭載型ディスプレイ等を用いて、実環境のそのビューを不明瞭にする。同様に、ＶＲシステムは、ユーザに、仮想環境に対応するオーディオを提示し得る一方、同時に、実環境からのオーディオを遮断する（減衰させる）。

【0005】

ＶＲシステムは、ユーザの実環境を仮想環境と置換することから生じる、種々の短所を被り得る。１つの短所は、仮想環境内のユーザの視野が、（仮想環境ではなく）実環境内におけるその平衡および配向を検出する、その内耳の状態にもはや対応しなくなるときに生じ得る、乗り物酔いを感じることである。同様に、ユーザは、自身の身体および四肢（そのビューは、ユーザが実環境内において「地に足が着いている」と感じるために依拠するものである）が直接可視ではない場合、ＶＲ環境内において失見当識を被り得る。別の短所は、特に、ユーザを仮想環境内に没入させようとする、リアルタイム用途において、完全３Ｄ仮想環境を提示しなければならない、ＶＲシステムに課される算出負担（例えば、記憶、処理力）である。同様に、そのような環境は、ユーザが、仮想環境内のわずかな不完全性にさえ敏感である傾向にあって、そのいずれも、仮想環境内のユーザの没入感を破壊し得るため、没入していると見なされるために、非常に高水準の現実性に到達する必要があり得る。さらに、ＶＲシステムの別の短所は、システムのそのような用途が、実世界内で体験する、種々の光景および音等の実環境内の広範囲の感覚データを利用することができないことである。関連短所は、実環境内の物理的空間を共有するユーザが、仮想環境内で直接見る、または相互に相互作用することが不可能であり得るため、ＶＲシステムが、複数のユーザが相互作用し得る、共有環境を作成することに苦戦し得ることである。

【0006】

本明細書で使用されるように、ＡＲシステムは、少なくとも１つの側面において実環境に重複またはオーバーレイする、仮想環境を提示する。例えば、ＡＲシステムは、表示される画像を提示する一方、光が、ディスプレイを通してユーザの眼の中に通過することを可能にする、透過性頭部搭載型ディスプレイ等を用いて、ユーザに、実環境のユーザのビュー上にオーバーレイされる仮想環境のビューを提示し得る。同様に、ＡＲシステムは、ユーザに、仮想環境に対応するオーディオを提示し得る一方、同時に、実環境からのオーディオを混合させる。同様に、本明細書で使用されるように、ＭＲシステムは、ＡＲシステムと同様に、少なくとも１つの側面において実環境に重複またはオーバーレイする、仮想環境を提示し、加えて、ＭＲシステム内の仮想環境が、少なくとも１つの側面において実環境と相互作用し得ることを可能にし得る。例えば、仮想環境内の仮想キャラクタが、実環境内の照明スイッチを切り替え、実環境内の対応する電球をオンまたはオフにさせてもよい。別の実施例として、仮想キャラクタが、実環境内のオーディオ信号に反応してもよい（顔の表情等を用いて）。実環境の提示を維持することによって、ＡＲおよびＭＲシステムは、ＶＲシステムの前述の短所のうちのいくつかを回避し得る。例えば、ユーザにおける乗り物酔いは、実環境からの視覚的キュー（ユーザ自身の身体を含む）が、可視のままであり得、そのようなシステムが、没入型であるために、ユーザに、完全に実現された３Ｄ環境を提示する必要がないため、低減される。さらに、ＡＲおよびＭＲシステムは、実世界感覚入力（例えば、景色、オブジェクト、および他のユーザのビューおよび音）を利用して、その入力を拡張させる、新しい用途を作成することができる。

【0007】

ＸＲシステムは、人々の間のより優れた協働を有効にするように一意に位置付けられ得る。仮想コンテンツを持続および３次元様式において提示する能力は、人々が、より自然に、仮想コンテンツと相互作用することを可能にすることができる。例えば、仮想オブジェクトを３次元空間内に配列することは、２次元画面がもたらし得るものよりはるかに自然な場所の想起を有効にし得る。２次元画面のユーザが、４０個の開かれたタブのうちの１つを捜し回り、所望のアプリケーションを再び開く必要がある場合、ＸＲシステムのユーザは、机上に表示される所望の仮想オブジェクトを正確に示すことが可能であり得る（机上に設置された実フォルダを取り上げるように）。さらに、ＸＲシステムは、ユーザに、他のユーザの仮想アバタが見え、他の人々のライブ存在をシミュレートすることを可能にし得る。これは、電話またはさらにビデオ会議がもたらし得るものより自然な協働を有効にし得る。したがって、深層ユーザ協働をＸＲシステム上で有効にするためのシステムおよび方法を開発することが望ましくあり得る。

【0008】

ＸＲシステムは、仮想視覚的およびオーディオキューと実光景および音を組み合わせることによって、一意に増大した没入感および現実性をもたらすことができる。故に、いくつかのＸＲシステムでは、対応する実環境を向上させる、改良する、または改変する、仮想環境を提示することが望ましい。本開示は、複数のＸＲシステムを横断して仮想オブジェクトの一貫した設置を有効にする、ＸＲシステムに関する。

【発明の概要】

【課題を解決するための手段】

【0009】

本開示の実施例は、複合現実協働を有効にするためのシステムおよび方法を説明する。本開示の実施例によると、本方法は、持続座標データを受信することと、ウェアラブルデバイスの透過型ディスプレイを介して、第１の仮想セッションハンドルを第１のユーザに第１の位置において提示することであって、第１の位置は、持続座標データに基づく、ことと、透過型ディスプレイを介して、仮想オブジェクトを第１のユーザに第２の場所において提示することであって、第２の位置は、第１の位置に基づく、ことと、場所データを第２のユーザから受信することであって、場所データは、第２のユーザの位置を第２の仮想セッションハンドルの位置に関連させる、ことと、透過型ディスプレイを介して、仮想アバタを第１のユーザに第３の位置において提示することであって、仮想アバタは、第２のユーザに対応し、第３の位置は、場所データに基づき、第３の位置はさらに、第１の位置に基づく、こととを含んでもよい。
本発明は、例えば、以下を提供する。
（項目１）
システムであって、
透過型ディスプレイを備えるウェアラブルデバイスと、
１つまたはそれを上回るプロセッサであって、
持続座標データを受信することと、
ウェアラブルデバイスの前記透過型ディスプレイを介して、第１の仮想セッションハンドルを第１のユーザに第１の位置において提示することであって、前記第１の位置は、前記持続座標データに基づいて決定される、ことと、
前記透過型ディスプレイを介して、仮想オブジェクトを前記第１のユーザに第２の位置において提示することであって、前記第２の位置は、前記第１の位置に基づいて決定される、ことと、
場所データを第２のユーザから受信することであって、前記場所データは、前記第２のユーザの位置を第２の仮想セッションハンドルの位置に関連させる、ことと、
前記透過型ディスプレイを介して、仮想アバタを前記第１のユーザに第３の位置において提示することであって、前記仮想アバタは、前記第２のユーザに対応し、前記第３の位置は、前記場所データに基づいて決定され、前記第３の位置はさらに、前記第１の位置に基づいて決定される、ことと
を含む方法を実行するように構成される、１つまたはそれを上回るプロセッサと
を備える、システム。
（項目２）
前記方法はさらに、
入力を前記第２のユーザから受信することと、
前記第２のユーザからの入力の受信に応答して、前記透過型ディスプレイを介して、前記仮想オブジェクトを前記第１のユーザに第４の位置において提示することと
を含む、項目１に記載のシステム。
（項目３）
前記仮想オブジェクトは、前記第１のユーザからの入力に応答して、前記第１のユーザに前記第２の位置において提示され、前記方法はさらに、前記第１のユーザからの入力を前記第２のユーザに伝送することを含む、項目１に記載のシステム。
（項目４）
前記方法はさらに、
入力を前記第１のユーザから受信することと、
前記第１のユーザからの入力の受信に応答して、前記第１のセッションハンドルを前記第１のユーザに第４の位置において提示することと、
前記透過型ディスプレイを介して、前記仮想オブジェクトを前記第１のユーザに第５の位置において提示することであって、前記第５の位置は、前記第４の位置に基づいて決定される、ことと
を含む、項目１に記載のシステム。
（項目５）
前記方法はさらに、前記第１のユーザからの入力を前記第２のユーザに伝送することを含む、項目４に記載のシステム。
（項目６）
前記方法はさらに、
メモリ内に、第１の時間におけるセッションインスタンスと関連付けられる前記第１の位置、前記第２の位置、および前記第３の位置を記憶することと、
前記メモリから、前記第１の時間より後の第２の時間において、前記第１の位置、前記第２の位置、および前記第３の位置を受信することと
を含む、項目１に記載のシステム。
（項目７）
方法であって、
持続座標データを受信することと、
ウェアラブルデバイスの透過型ディスプレイを介して、第１の仮想セッションハンドルを第１のユーザに第１の位置において提示することであって、前記第１の位置は、前記持続座標データに基づいて決定される、ことと
前記透過型ディスプレイを介して、仮想オブジェクトを前記第１のユーザに第２の位置において提示することであって、前記第２の位置は、前記第１の位置に基づいて決定される、ことと、
場所データを第２のユーザから受信することであって、前記場所データは、前記第２のユーザの位置を第２の仮想セッションハンドルの位置に関連させる、ことと、
前記透過型ディスプレイを介して、仮想アバタを前記第１のユーザに第３の位置において提示することであって、前記仮想アバタは、前記第２のユーザに対応し、前記第３の位置は、前記場所データに基づいて決定され、前記第３の位置はさらに、前記第１の位置に基づいて決定される、ことと
を含む、方法。
（項目８）
入力を前記第２のユーザから受信することと、
前記第２のユーザからの入力の受信に応答して、前記透過型ディスプレイを介して、前記仮想オブジェクトを前記第１のユーザに第４の位置において提示することと
をさらに含む、項目７に記載の方法。
（項目９）
前記仮想オブジェクトは、前記第１のユーザからの入力に応答して、前記第１のユーザに前記第２の位置において提示され、前記方法はさらに、前記第１のユーザからの入力を前記第２のユーザに伝送することを含む、項目７に記載の方法。
（項目１０）
入力を前記第１のユーザから受信することと、
前記第１のユーザからの入力の受信に応答して、前記第１のセッションハンドルを前記第１のユーザに第４の位置において提示することと、
前記透過型ディスプレイを介して、前記仮想オブジェクトを前記第１のユーザに第５の位置において提示することであって、前記第５の位置は、前記第４の位置に基づいて決定される、ことと
をさらに含む、項目７に記載の方法。
（項目１１）
前記第１のユーザからの入力を前記第２のユーザに伝送することをさらに含む、項目１０に記載の方法。
（項目１２）
メモリ内に、第１の時間におけるセッションインスタンスと関連付けられる前記第１の位置、前記第２の位置、および前記第３の位置を記憶することと、
前記メモリから、前記第１の時間より後の第２の時間において、前記第１の位置、前記第２の位置、および前記第３の位置を受信することと
をさらに含む、項目７に記載の方法。
（項目１３）
非一過性コンピュータ可読媒体であって、前記非一過性コンピュータ可読媒体は、命令を記憶しており、前記命令は、１つまたはそれを上回るプロセッサによって実行されると、前記１つまたはそれを上回るプロセッサに、
持続座標データを受信することと、
ウェアラブルデバイスの透過型ディスプレイを介して、第１の仮想セッションハンドルを第１のユーザに第１の位置において提示することであって、前記第１の位置は、前記持続座標データに基づいて決定される、ことと、
前記透過型ディスプレイを介して、仮想オブジェクトを前記第１のユーザに第２の位置において提示することであって、前記第２の位置は、前記第１の位置に基づいて決定される、ことと、
場所データを第２のユーザから受信することであって、前記場所データは、前記第２のユーザの位置を第２の仮想セッションハンドルの位置に関連させる、ことと、
前記透過型ディスプレイを介して、仮想アバタを前記第１のユーザに第３の位置において提示することであって、前記仮想アバタは、前記第２のユーザに対応し、前記第３の位置は、前記場所データに基づいて決定され、前記第３の位置はさらに、前記第１の位置に基づいて決定される、ことと
を含む方法を実行させる、非一過性コンピュータ可読媒体。
（項目１４）
前記方法はさらに、
入力を前記第２のユーザから受信することと、
前記第２のユーザからの入力の受信に応答して、前記透過型ディスプレイを介して、前記仮想オブジェクトを前記第１のユーザに第４の位置において提示することと
を含む、項目１３に記載の非一過性コンピュータ可読媒体。
（項目１５）
前記仮想オブジェクトは、前記第１のユーザからの入力に応答して、前記第１のユーザに前記第２の位置において提示され、前記方法はさらに、前記第１のユーザからの入力を前記第２のユーザに伝送することを含む、項目１３に記載の非一過性コンピュータ可読媒体。
（項目１６）
前記方法はさらに、
入力を前記第１のユーザから受信することと、
前記第１のユーザからの入力の受信に応答して、前記第１のセッションハンドルを前記第１のユーザに第４の位置において提示することと、
前記透過型ディスプレイを介して、前記仮想オブジェクトを前記第１のユーザに第５の位置において提示することであって、前記第５の位置は、前記第４の位置に基づいて決定される、ことと
を含む、項目１３に記載の非一過性コンピュータ可読媒体。
（項目１７）
前記方法はさらに、前記第１のユーザからの入力を前記第２のユーザに伝送することを含む、項目１６に記載の非一過性コンピュータ可読媒体。
（項目１８）
前記方法はさらに、
メモリ内に、第１の時間におけるセッションインスタンスと関連付けられる前記第１の位置、前記第２の位置、および前記第３の位置を記憶することと、
前記メモリから、前記第１の時間より後の第２の時間において、前記第１の位置、前記第２の位置、および前記第３の位置を受信することと
を含む、項目１３に記載の非一過性コンピュータ可読媒体。
（項目１９）
システムであって、
第１の透過型ディスプレイおよび１つまたはそれを上回るセンサを備える第１のウェアラブルデバイスと、
１つまたはそれを上回るプロセッサであって、
第１の入力を前記第１のウェアラブルデバイスと関連付けられる第１のセッションユーザから受信することと、
前記第１の入力の受信に応答して、セッションインスタンスを生成することであって、前記セッションインスタンスは、１つまたはそれを上回る能力インスタンスに対応するデータを記憶するように構成され、前記セッションインスタンスはさらに、１つまたはそれを上回るセッションユーザに対応するデータを記憶するように構成される、ことと、
前記第１のウェアラブルデバイスの第１の透過型ディスプレイを介して、仮想セッションハンドルを前記第１のセッションユーザに第１のセッションハンドル位置において提示することと、
第２の入力を前記第１のセッションユーザから受信することと、
前記第２の入力の受信に応答して、
プロセスと関連付けられる第１の能力インスタンスを生成することであって、前記プロセスは、仮想オブジェクトを投影することを含む、ことと、
前記第１の透過型ディスプレイを介して、前記仮想オブジェクトを前記第１のセッションユーザに第１のオブジェクト位置において提示することと、
第２のウェアラブルデバイスの第２の透過型ディスプレイを介して、前記仮想オブジェクトを第２のセッションユーザに第２のオブジェクト位置において提示することと、
前記第１のセッションハンドル位置、前記第１のオブジェクト位置、前記第２のオブジェクト位置、第１のセッションユーザ位置、および第２のセッションユーザ位置に対応するデータを、前記セッションインスタンス内に記憶することであって、前記第１のセッションユーザ位置は、前記第１のウェアラブルデバイスの１つまたはそれを上回るセンサを介して決定され、前記第２のセッションユーザ位置は、前記第２のウェアラブルデバイスの１つまたはそれを上回るセンサを介して決定される、ことと
を含む方法を実行するように構成される、１つまたはそれを上回るプロセッサと
を備える、システム。
（項目２０）
前記第１のオブジェクト位置は、変換データを使用して、前記第１のセッションハンドル位置に関連される、項目１９に記載のシステム。
（項目２１）
前記変換データは、前記セッションインスタンス内に記憶される、項目２０に記載のシステム。
（項目２２）
前記方法はさらに、位置特定ステータスに対応するデータを記憶することを含み、前記位置特定ステータスは、前記第１のセッションユーザ位置および前記第２のセッションユーザ位置に基づく、項目１９に記載のシステム。
（項目２３）
前記第２の入力は、第１の時間に受信され、前記方法はさらに、
前記第１の時間より後の第２の時間において、第３の入力を前記第１のセッションユーザから受信することと、
前記第３の入力の受信に応答して、
前記第１のオブジェクト位置および前記第１のセッションユーザ位置に対応するデータを受信することと、
前記仮想オブジェクトを前記第１のセッションユーザに前記第１のオブジェクト位置において提示することと
を含む、項目１９に記載のシステム。
（項目２４）
前記方法はさらに、
第２の能力インスタンスを生成することであって、前記第２の能力インスタンスは、第２のプロセスと関連付けられ、前記第２のプロセスは、前記第２のセッションユーザの仮想アバタを投影することを含む、ことと、
前記第１の透過型ディスプレイを介して、前記仮想アバタを前記第１のセッションユーザに提示することと、
前記仮想アバタに対応するデータを前記セッションインスタンス内に記憶することと
を含む、項目１９に記載のシステム。
（項目２５）
前記方法はさらに、第２の能力インスタンスを生成することを含み、前記第２の能力インスタンスは、第２のプロセスと関連付けられ、前記第２のプロセスは、前記第１のセッションユーザと関連付けられるビューを前記第２のセッションユーザに投射することを含む、項目１９に記載のシステム。
（項目２６）
方法であって、
第１の入力を第１のセッションユーザから受信することと、
前記第１の入力の受信に応答して、セッションインスタンスを生成することであって、前記セッションインスタンスは、１つまたはそれを上回る能力インスタンスに対応するデータを記憶するように構成され、前記セッションインスタンスはさらに、１つまたはそれを上回るセッションユーザに対応するデータを記憶するように構成される、ことと、
第１のウェアラブルデバイスの第１の透過型ディスプレイを介して、仮想セッションハンドルを前記第１のセッションユーザに第１のセッションハンドル位置において提示することと、
第２の入力を前記第１のセッションユーザから受信することと、
前記第２の入力の受信に応答して、
プロセスと関連付けられる第１の能力インスタンスを生成することであって、前記プロセスは、仮想オブジェクトを投影することを含む、ことと、
前記第１の透過型ディスプレイを介して、前記仮想オブジェクトを前記第１のセッションユーザに第１のオブジェクト位置において提示することと、
第２のウェアラブルデバイスの第２の透過型ディスプレイを介して、前記仮想オブジェクトを第２のセッションユーザに第２のオブジェクト位置において提示することと、
前記第１のセッションハンドル位置、前記第１のオブジェクト位置、前記第２のオブジェクト位置、第１のセッションユーザ位置、および第２のセッションユーザ位置に対応するデータを、前記セッションインスタンス内に記憶することであって、前記第１のセッションユーザ位置は、前記第１のウェアラブルデバイスの１つまたはそれを上回るセンサを介して決定され、前記第２のセッションユーザ位置は、前記第２のウェアラブルデバイスの１つまたはそれを上回るセンサを介して決定される、ことと
を含む、方法。
（項目２７）
前記第１のオブジェクト位置は、変換データを使用して、前記第１のセッションハンドル位置に関連される、項目２６に記載の方法。
（項目２８）
前記変換データは、前記セッションインスタンス内に記憶される、項目２７に記載の方法。
（項目２９）
位置特定ステータスに対応するデータを記憶することをさらに含み、前記位置特定ステータスは、前記第１のセッションユーザ位置および前記第２のセッションユーザ位置に基づく、項目２６に記載の方法。
（項目３０）
前記第２の入力は、第１の時間に受信され、前記方法はさらに、
前記第１の時間より後の第２の時間において、第３の入力を前記第１のセッションユーザから受信することと、
前記第３の入力の受信に応答して、
前記第１のオブジェクト位置および前記第１のセッションユーザ位置に対応するデータを受信することと、
前記仮想オブジェクトを前記第１のセッションユーザに前記第１のオブジェクト位置において提示することと
を含む、項目２６に記載の方法。
（項目３１）
第２の能力インスタンスを生成することであって、前記第２の能力インスタンスは、第２のプロセスと関連付けられ、前記第２のプロセスは、前記第２のセッションユーザの仮想アバタを投影することを含む、ことと、
前記第１の透過型ディスプレイを介して、前記仮想アバタを前記第１のセッションユーザに提示することと、
前記仮想アバタに対応するデータを前記セッションインスタンス内に記憶することと
をさらに含む、項目２６に記載の方法。
（項目３２）
第２の能力インスタンスを生成することをさらに含み、前記第２の能力インスタンスは、第２のプロセスと関連付けられ、前記第２のプロセスは、前記第１のセッションユーザと関連付けられるビューを前記第２のセッションユーザに投射することを含む、項目２６に記載の方法。
（項目３３）
非一過性コンピュータ可読媒体であって、前記非一過性コンピュータ可読媒体は、命令を記憶しており、前記命令は、１つまたはそれを上回るプロセッサによって実行されると、前記１つまたはそれを上回るプロセッサに、
第１の入力を第１のセッションユーザから受信することと、
前記第１の入力の受信に応答して、セッションインスタンスを生成することであって、前記セッションインスタンスは、１つまたはそれを上回る能力インスタンスに対応するデータを記憶するように構成され、前記セッションインスタンスはさらに、１つまたはそれを上回るセッションユーザに対応するデータを記憶するように構成される、ことと、
第１のウェアラブルデバイスの第１の透過型ディスプレイを介して、仮想セッションハンドルを前記第１のセッションユーザに第１のセッションハンドル位置において提示することと、
第２の入力を前記第１のセッションユーザから受信することと、
前記第２の入力の受信に応答して、
プロセスと関連付けられる第１の能力インスタンスを生成することであって、前記プロセスは、仮想オブジェクトを投影することを含む、ことと、
前記第１の透過型ディスプレイを介して、前記仮想オブジェクトを前記第１のセッションユーザに第１のオブジェクト位置において提示することと、
第２のウェアラブルデバイスの第２の透過型ディスプレイを介して、前記仮想オブジェクトを第２のセッションユーザに第２のオブジェクト位置において提示することと、
前記第１のセッションハンドル位置、前記第１のオブジェクト位置、前記第２のオブジェクト位置、第１のセッションユーザ位置、および第２のセッションユーザ位置に対応するデータを、前記セッションインスタンス内に記憶することであって、前記第１のセッションユーザ位置は、前記第１のウェアラブルデバイスの１つまたはそれを上回るセンサを介して決定され、前記第２のセッションユーザ位置は、前記第２のウェアラブルデバイスの１つまたはそれを上回るセンサを介して決定される、ことと
を含む方法を実行させる、非一過性コンピュータ可読媒体。
（項目３４）
前記第１のオブジェクト位置は、変換データを使用して、前記第１のセッションハンドル位置に関連される、項目３３に記載の非一過性コンピュータ可読媒体。
（項目３５）
前記変換データは、前記セッションインスタンス内に記憶される、項目３４に記載の非一過性コンピュータ可読媒体。
（項目３６）
前記方法はさらに、位置特定ステータスに対応する、データを記憶することを含み、前記位置特定ステータスは、前記第１のセッションユーザ位置および前記第２のセッションユーザ位置に基づく、項目３３に記載の非一過性コンピュータ可読媒体。
（項目３７）
前記第２の入力は、第１の時間に受信され、前記方法はさらに、
前記第１の時間より後の第２の時間において、第３の入力を前記第１のセッションユーザから受信することと、
前記第３の入力の受信に応答して、
前記第１のオブジェクト位置および前記第１のセッションユーザ位置に対応する、データを受信することと、
前記仮想オブジェクトを前記第１のセッションユーザに前記第１のオブジェクト位置において提示することと
を含む、項目３３に記載の非一過性コンピュータ可読媒体。
（項目３８）
前記方法はさらに、
第２の能力インスタンスを生成することであって、前記第２の能力インスタンスは、第２のプロセスと関連付けられ、前記第２のプロセスは、前記第２のセッションユーザの仮想アバタを投影することを含む、ことと、
前記透過型ディスプレイを介して、前記仮想アバタを前記第１のセッションユーザに提示することと、
前記仮想アバタに対応するデータを前記セッションインスタンス内に記憶することと
を含む、項目３３に記載の非一過性コンピュータ可読媒体。
（項目３９）
前記方法はさらに、第２の能力インスタンスを生成することを含み、前記第２の能力インスタンスは、第２のプロセスと関連付けられ、前記第２のプロセスは、前記第１のセッションユーザと関連付けられるビューを前記第２のセッションユーザに投射することを含む、項目３３に記載の非一過性コンピュータ可読媒体。

【図面の簡単な説明】

【0010】

【図1A】図１Ａ－１Ｃは、いくつかの実施形態による、例示的複合現実環境を図示する。

【図1B】図１Ａ－１Ｃは、いくつかの実施形態による、例示的複合現実環境を図示する。

【図1C】図１Ａ－１Ｃは、いくつかの実施形態による、例示的複合現実環境を図示する。

【0011】

【図2A】図２Ａ－２Ｄは、いくつかの実施形態による、複合現実環境を生成し、それと相互作用するために使用され得る、例示的複合現実システムのコンポーネントを図示する。

【図2B】図２Ａ－２Ｄは、いくつかの実施形態による、複合現実環境を生成し、それと相互作用するために使用され得る、例示的複合現実システムのコンポーネントを図示する。

【図2C】図２Ａ－２Ｄは、いくつかの実施形態による、複合現実環境を生成し、それと相互作用するために使用され得る、例示的複合現実システムのコンポーネントを図示する。

【図2D】図２Ａ－２Ｄは、いくつかの実施形態による、複合現実環境を生成し、それと相互作用するために使用され得る、例示的複合現実システムのコンポーネントを図示する。

【0012】

【図3A】図３Ａは、いくつかの実施形態による、入力を複合現実環境に提供するために使用され得る、例示的複合現実ハンドヘルドコントローラを図示する。

【0013】

【図3B】図３Ｂは、いくつかの実施形態による、例示的複合現実システムと併用され得る、例示的補助ユニットを図示する。

【0014】

【図4】図４は、いくつかの実施形態による、例示的複合現実システムのための例示的機能ブロック図を図示する。

【0015】

【図5A】図５Ａ－５Ｃは、いくつかの実施形態による、複合現実協働セッションの実施例を図示する。

【図5B】図５Ａ－５Ｃは、いくつかの実施形態による、複合現実協働セッションの実施例を図示する。

【図5C】図５Ａ－５Ｃは、いくつかの実施形態による、複合現実協働セッションの実施例を図示する。

【0016】

【図6】図６は、いくつかの実施形態による、セッションマネージャアーキテクチャの実施例を図示する。

【0017】

【図7】図７は、いくつかの実施形態による、セッションインスタンスの実施例を図示する。

【発明を実施するための形態】

【0018】

詳細な説明
実施例の以下の説明では、本明細書の一部を形成し、例証として、実践され得る具体的実施例が示される、付随の図面を参照する。他の実施例も、使用されることができ、構造変更が、開示される実施例の範囲から逸脱することなく、行われることができることを理解されたい。

【0019】

複合現実環境

【0020】

全ての人々と同様に、複合現実システムのユーザは、実環境内に存在する、すなわち、「実世界」の３次元部分と、そのコンテンツの全てとが、ユーザによって知覚可能である。例えば、ユーザは、通常の人間の感覚、すなわち、視覚、聴覚、触覚、味覚、嗅覚を使用して、実環境を知覚し、実環境内で自身の身体を移動させることによって、実環境と相互作用する。実環境内の場所は、座標空間内の座標として説明されることができる。例えば、座標は、緯度、経度、および海抜に対する高度、基準点から３つの直交次元における距離、または他の好適な値を含むことができる。同様に、ベクトルは、座標空間内の方向および大きさを有する、量を説明することができる。

【0021】

コンピューティングデバイスは、例えば、デバイスと関連付けられるメモリ内に、仮想環境の表現を維持することができる。本明細書で使用されるように、仮想環境は、３次元空間の算出表現である。仮想環境は、任意のオブジェクトの表現、アクション、信号、パラメータ、座標、ベクトル、またはその空間と関連付けられる他の特性を含むことができる。いくつかの実施例では、コンピューティングデバイスの回路（例えば、プロセッサ）は、仮想環境の状態を維持および更新することができる。すなわち、プロセッサは、第１の時間ｔ０において、仮想環境と関連付けられるデータおよび／またはユーザによって提供される入力に基づいて、第２の時間ｔ１における仮想環境の状態を決定することができる。例えば、仮想環境内のオブジェクトが、時間ｔ０において、第１の座標に位置し、あるプログラムされた物理的パラメータ（例えば、質量、摩擦係数）を有し、ユーザから受信された入力が、力がある方向ベクトルにおいてオブジェクトに印加されるべきであることを示す場合、プロセッサは、運動学の法則を適用し、基本力学を使用して、時間ｔ１におけるオブジェクトの場所を決定することができる。プロセッサは、仮想環境について既知の任意の好適な情報および／または任意の好適な入力を使用して、時間ｔ１における仮想環境の状態を決定することができる。仮想環境の状態を維持および更新する際、プロセッサは、仮想環境内の仮想オブジェクトの作成および削除に関連するソフトウェア、仮想環境内の仮想オブジェクトまたはキャラクタの挙動を定義するためのソフトウェア（例えば、スクリプト）、仮想環境内の信号（例えば、オーディオ信号）の挙動を定義するためのソフトウェア、仮想環境と関連付けられるパラメータを作成および更新するためのソフトウェア、仮想環境内のオーディオ信号を生成するためのソフトウェア、入力および出力をハンドリングするためのソフトウェア、ネットワーク動作を実装するためのソフトウェア、アセットデータ（例えば、仮想オブジェクトを経時的に移動させるためのアニメーションデータ）を適用するためのソフトウェア、または多くの他の可能性を含む、任意の好適なソフトウェアを実行することができる。

【0022】

ディスプレイまたはスピーカ等の出力デバイスは、仮想環境のいずれかまたは全ての側面をユーザに提示することができる。例えば、仮想環境は、ユーザに提示され得る、仮想オブジェクト（無生物オブジェクト、人々、動物、光等の表現を含み得る）を含んでもよい。プロセッサは、仮想環境のビュー（例えば、原点座標、視軸、および錐台を伴う、「カメラ」に対応する）を決定し、ディスプレイに、そのビューに対応する仮想環境の視認可能場面をレンダリングすることができる。任意の好適なレンダリング技術が、本目的のために使用されてもよい。いくつかの実施例では、視認可能場面は、仮想環境内のいくつかの仮想オブジェクトのみを含み、ある他の仮想オブジェクトを除外してもよい。同様に、仮想環境は、ユーザに１つまたはそれを上回るオーディオ信号として提示され得る、オーディオ側面を含んでもよい。例えば、仮想環境内の仮想オブジェクトは、オブジェクトの場所座標から生じる音を生成してもよい（例えば、仮想キャラクタが、発話する、または音効果を生じさせ得る）、または仮想環境は、特定の場所と関連付けられる場合とそうではない場合がある、音楽キューまたは周囲音と関連付けられてもよい。プロセッサは、「聴取者」座標に対応するオーディオ信号、例えば、仮想環境内の音の合成に対応し、聴取者座標において聴取者によって聞こえるであろうオーディオ信号をシミュレートするように混合および処理される、オーディオ信号を決定し、ユーザに、１つまたはそれを上回るスピーカを介して、オーディオ信号を提示することができる。

【0023】

仮想環境は、算出構造としてのみ存在するため、ユーザは、直接、通常の感覚を使用して、仮想環境を知覚することができない。代わりに、ユーザは、例えば、ディスプレイ、スピーカ、触覚的出力デバイス等によって、ユーザに提示されるように、間接的にのみ、仮想環境を知覚することができる。同様に、ユーザは、直接、仮想環境に触れる、それを操作する、または別様に、それと相互作用することができないが、入力データを、入力デバイスまたはセンサを介して、デバイスまたはセンサデータを使用して、仮想環境を更新し得る、プロセッサに提供することができる。例えば、カメラセンサは、ユーザが仮想環境のオブジェクトを移動させようとしていることを示す、光学データを提供することができ、プロセッサは、そのデータを使用して、仮想環境内において、適宜、オブジェクトを応答させることができる。

【0024】

複合現実システムは、ユーザに、例えば、透過型ディスプレイおよび／または１つまたはそれを上回るスピーカ（例えば、ウェアラブル頭部デバイスの中に組み込まれ得る）を使用して、実環境および仮想環境の側面を組み合わせる、複合現実環境（「ＭＲＥ」）を提示することができる。いくつかの実施形態では、１つまたはそれを上回るスピーカは、頭部搭載型ウェアラブルユニットの外部にあってもよい。本明細書で使用されるように、ＭＲＥは、実環境および対応する仮想環境の同時表現である。いくつかの実施例では、対応する実および仮想環境は、単一座標空間を共有する。いくつかの実施例では、実座標空間および対応する仮想座標空間は、変換行列（または他の好適な表現）によって相互に関連する。故に、単一座標（いくつかの実施例では、変換行列とともに）は、実環境内の第１の場所と、また、仮想環境内の第２の対応する場所とを定義し得、その逆も同様である。

【0025】

ＭＲＥでは、（例えば、ＭＲＥと関連付けられる仮想環境内の）仮想オブジェクトは、（例えば、ＭＲＥと関連付けられる実環境内の）実オブジェクトに対応し得る。例えば、ＭＲＥの実環境が、実街灯柱（実オブジェクト）をある場所座標に含む場合、ＭＲＥの仮想環境は、仮想街灯柱（仮想オブジェクト）を対応する場所座標に含んでもよい。本明細書で使用されるように、実オブジェクトは、その対応する仮想オブジェクトとともに組み合わせて、「複合現実オブジェクト」を構成する。仮想オブジェクトが対応する実オブジェクトに完璧に合致または整合することは、必要ではない。いくつかの実施例では、仮想オブジェクトは、対応する実オブジェクトの簡略化されたバージョンであることができる。例えば、実環境が、実街灯柱を含む場合、対応する仮想オブジェクトは、実街灯柱と概ね同一高さおよび半径の円筒形を含んでもよい（街灯柱が略円筒形形状であり得ることを反映する）。仮想オブジェクトをこのように簡略化することは、算出効率を可能にすることができ、そのような仮想オブジェクト上で実施されるための計算を簡略化することができる。さらに、ＭＲＥのいくつかの実施例では、実環境内の全ての実オブジェクトが、対応する仮想オブジェクトと関連付けられなくてもよい。同様に、ＭＲＥのいくつかの実施例では、仮想環境内の全ての仮想オブジェクトが、対応する実オブジェクトと関連付けられなくてもよい。すなわち、いくつかの仮想オブジェクトが、任意の実世界対応物を伴わずに、ＭＲＥの仮想環境内にのみ存在し得る。

【0026】

いくつかの実施例では、仮想オブジェクトは、時として著しく、対応する実オブジェクトのものと異なる、特性を有してもよい。例えば、ＭＲＥ内の実環境は、緑色の２本の枝が延びたサボテン、すなわち、とげだらけの無生物オブジェクトを含み得るが、ＭＲＥ内の対応する仮想オブジェクトは、人間の顔特徴および無愛想な態度を伴う、緑色の２本の腕の仮想キャラクタの特性を有してもよい。本実施例では、仮想オブジェクトは、ある特性（色、腕の数）において、その対応する実オブジェクトに類似するが、他の特性（顔特徴、性格）において、実オブジェクトと異なる。このように、仮想オブジェクトは、創造的、抽象的、誇張された、または架空の様式において、実オブジェクトを表す、または挙動（例えば、人間の性格）をそうでなければ無生物である実オブジェクトに付与する潜在性を有する。いくつかの実施例では、仮想オブジェクトは、実世界対応物を伴わない、純粋に架空の創造物（例えば、おそらく、実環境内の虚空に対応する場所における、仮想環境内の仮想モンスタ）であってもよい。

【0027】

ユーザに、実環境を不明瞭にしながら、仮想環境を提示する、ＶＲシステムと比較して、ＭＲＥを提示する、複合現実システムは、仮想環境が提示される間、実環境が知覚可能なままであるという利点をもたらす。故に、複合現実システムのユーザは、実環境と関連付けられる視覚的およびオーディオキューを使用して、対応する仮想環境を体験し、それと相互作用することが可能である。実施例として、ＶＲシステムのユーザは、上記に述べられたように、ユーザが、直接、仮想環境を知覚する、またはそれと相互作用することができないため、仮想環境内に表示される仮想オブジェクトを知覚する、またはそれと相互作用することに苦戦し得るが、ＭＲシステムのユーザは、その自身の実環境内の対応する実オブジェクトが見え、聞こえ、触れることによって、仮想オブジェクトと相互作用することが直感的および自然であると見出し得る。本レベルの相互作用は、ユーザの仮想環境との没入感、つながり、および関与の感覚を向上させ得る。同様に、実環境および仮想環境を同時に提示することによって、複合現実システムは、ＶＲシステムと関連付けられる負の心理学的感覚（例えば、認知的不協和）および負の物理的感覚（例えば、乗り物酔い）を低減させることができる。複合現実システムはさらに、実世界の我々の体験を拡張または改変し得る用途に関する多くの可能性をもたらす。

【0028】

図１Ａは、ユーザ１１０が複合現実システム１１２を使用する、例示的実環境１００を図示する。複合現実システム１１２は、ディスプレイ（例えば、透過型ディスプレイ）および１つまたはそれを上回るスピーカと、例えば、下記に説明されるような１つまたはそれを上回るセンサ（例えば、カメラ）とを含んでもよい。示される実環境１００は、その中にユーザ１１０が立っている、長方形の部屋１０４Ａと、実オブジェクト１２２Ａ（ランプ）、１２４Ａ（テーブル）、１２６Ａ（ソファ）、および１２８Ａ（絵画）とを含む。部屋１０４Ａはさらに、場所座標１０６を含み、これは、実環境１００の原点と見なされ得る。図１Ａに示されるように、その原点を点１０６（世界座標）に伴う、環境／世界座標系１０８（ｘ－軸１０８Ｘ、ｙ－軸１０８Ｙ、およびｚ－軸１０８Ｚを備える）は、実環境１００のための座標空間を定義し得る。いくつかの実施形態では、環境／世界座標系１０８の原点１０６は、複合現実システム１１２の電源がオンにされた場所に対応し得る。いくつかの実施形態では、環境／世界座標系１０８の原点１０６は、動作の間、リセットされてもよい。いくつかの実施例では、ユーザ１１０は、実環境１００内の実オブジェクトと見なされ得る。同様に、ユーザ１１０の身体部分（例えば、手、足）は、実環境１００内の実オブジェクトと見なされ得る。いくつかの実施例では、その原点を点１１５（例えば、ユーザ／聴取者／頭部座標）に伴う、ユーザ／聴取者／頭部座標系１１４（ｘ－軸１１４Ｘ、ｙ－軸１１４Ｙ、およびｚ－軸１１４Ｚを備える）は、その上に複合現実システム１１２が位置する、ユーザ／聴取者／頭部のための座標空間を定義し得る。ユーザ／聴取者／頭部座標系１１４の原点１１５は、複合現実システム１１２の１つまたはそれを上回るコンポーネントに対して定義されてもよい。例えば、ユーザ／聴取者／頭部座標系１１４の原点１１５は、複合現実システム１１２の初期較正等の間、複合現実システム１１２のディスプレイに対して定義されてもよい。行列（平行移動行列および四元数行列または他の回転行列を含み得る）または他の好適な表現が、ユーザ／聴取者／頭部座標系１１４空間と環境／世界座標系１０８空間との間の変換を特性評価することができる。いくつかの実施形態では、左耳座標１１６および右耳座標１１７が、ユーザ／聴取者／頭部座標系１１４の原点１１５に対して定義されてもよい。行列（平行移動行列および四元数行列または他の回転行列を含み得る）または他の好適な表現が、左耳座標１１６および右耳座標１１７とユーザ／聴取者／頭部座標系１１４空間との間の変換を特性評価することができる。ユーザ／聴取者／頭部座標系１１４は、ユーザの頭部または頭部搭載型デバイスに対する、例えば、環境／世界座標系１０８に対する場所の表現を簡略化することができる。同時位置特定およびマッピング（ＳＬＡＭ）、ビジュアルオドメトリ、または他の技法を使用して、ユーザ座標系１１４と環境座標系１０８との間の変換が、リアルタイムで決定および更新されることができる。

【0029】

図１Ｂは、実環境１００に対応する、例示的仮想環境１３０を図示する。示される仮想環境１３０は、実長方形部屋１０４Ａに対応する仮想長方形部屋１０４Ｂと、実オブジェクト１２２Ａに対応する仮想オブジェクト１２２Ｂと、実オブジェクト１２４Ａに対応する仮想オブジェクト１２４Ｂと、実オブジェクト１２６Ａに対応する仮想オブジェクト１２６Ｂとを含む。仮想オブジェクト１２２Ｂ、１２４Ｂ、１２６Ｂと関連付けられるメタデータは、対応する実オブジェクト１２２Ａ、１２４Ａ、１２６Ａから導出される情報を含むことができる。仮想環境１３０は、加えて、仮想モンスタ１３２を含み、これは、実環境１００内の任意の実オブジェクトに対応しない。実環境１００内の実オブジェクト１２８Ａは、仮想環境１３０内の任意の仮想オブジェクトに対応しない。その原点を点１３４（持続的座標）に伴う、持続的座標系１３３（ｘ－軸１３３Ｘ、ｙ－軸１３３Ｙ、およびｚ－軸１３３Ｚを備える）は、仮想コンテンツのための座標空間を定義し得る。持続的座標系１３３の原点１３４は、実オブジェクト１２６Ａ等の１つまたはそれを上回る実オブジェクトと相対的に／それに対して定義されてもよい。行列（平行移動行列および四元数行列または他の回転行列を含み得る）または他の好適な表現は、持続的座標系１３３空間と環境／世界座標系１０８空間との間の変換を特性評価することができる。いくつかの実施形態では、仮想オブジェクト１２２Ｂ、１２４Ｂ、１２６Ｂ、および１３２はそれぞれ、持続的座標系１３３の原点１３４に対するその自身の持続的座標点を有してもよい。いくつかの実施形態では、複数の持続的座標系が存在してもよく、仮想オブジェクト１２２Ｂ、１２４Ｂ、１２６Ｂ、および１３２はそれぞれ、１つまたはそれを上回る持続的座標系に対するその自身の持続的座標点を有してもよい。

【0030】

持続座標データは、物理的環境に対して存続する、座標データであってもよい。持続座標データは、ＭＲシステム（例えば、ＭＲシステム１１２、２００）によって使用され、持続仮想コンテンツを設置してもよく、これは、その上に仮想オブジェクトが表示されている、ディスプレイの移動に結び付けられなくてもよい。例えば、２次元画面は、画面上の位置に対してのみ仮想オブジェクトを表示してもよい。２次元画面が移動するにつれて、仮想コンテンツは、画面とともに移動してもよい。いくつかの実施形態では、持続仮想コンテンツは、部屋の角に表示されてもよい。ＭＲユーザが、角を見ると、仮想コンテンツが見え、角から眼を逸らし（仮想コンテンツは、仮想コンテンツが、ユーザの頭部の運動に起因して、ユーザの視野内からユーザの視野の外側の場所に移動している場合があるため、もはや可視ではなくなり得る）、視線を戻すと、仮想コンテンツが角に見え得る（実オブジェクトが挙動し得る方法に類似する）。

【0031】

いくつかの実施形態では、持続座標データ（例えば、持続座標系および／または持続座標フレーム）は、原点と、３つの軸とを含むことができる。例えば、持続座標系は、ＭＲシステムによって、部屋の中心に割り当てられてもよい。いくつかの実施形態では、ユーザが、部屋を動き回り、部屋から出て、部屋に再進入する等し得るが、持続座標系は、部屋の中心に留まり得る（例えば、物理的環境に対して存続するため）。いくつかの実施形態では、仮想オブジェクトは、持続座標データへの変換を使用して、表示されてもよく、これは、持続仮想コンテンツを表示することを有効にし得る。いくつかの実施形態では、ＭＲシステムは、同時位置特定およびマッピングを使用して、持続座標データを生成してもよい（例えば、ＭＲシステムは、持続座標系を空間内の点に割り当ててもよい）。いくつかの実施形態では、ＭＲシステムは、持続座標データを規則的インターバルで生成することによって、環境をマッピングしてもよい（例えば、ＭＲシステムは、持続座標系を、持続座標系が少なくとも、別の持続座標系の５フィート以内にあり得る、グリッド内に割り当ててもよい）。

【0032】

いくつかの実施形態では、持続座標データは、ＭＲシステムによって生成され、遠隔サーバに伝送されてもよい。いくつかの実施形態では、遠隔サーバは、持続座標データを受信するように構成されてもよい。いくつかの実施形態では、遠隔サーバは、複数の観察インスタンスからの持続座標データを同期させるように構成されてもよい。例えば、複数のＭＲシステムは、同一部屋と持続座標データをマッピングし、そのデータを遠隔サーバに伝送してもよい。いくつかの実施形態では、遠隔サーバは、本観察データを使用して、規準持続座標データを生成してもよく、これは、１つまたはそれを上回る観察に基づいてもよい。いくつかの実施形態では、規準持続座標データは、持続座標データの単一観察より正確および／または信頼性があり得る。いくつかの実施形態では、規準持続座標データは、１つまたはそれを上回るＭＲシステムに伝送されてもよい。例えば、ＭＲシステムは、画像認識および／または場所データを使用して、対応する規準持続座標データを有する、部屋内に位置することを認識してもよい（例えば、他のＭＲシステムが、その部屋を以前にマッピングしているため）。いくつかの実施形態では、ＭＲシステムは、その場所に対応する規準持続座標データを遠隔サーバから受信してもよい。

【0033】

図１Ａおよび１Ｂに関して、環境／世界座標系１０８は、実環境１００および仮想環境１３０の両方のための共有座標空間を定義する。示される実施例では、座標空間は、その原点を点１０６に有する。さらに、座標空間は、同一の３つの直交軸（１０８Ｘ、１０８Ｙ、１０８Ｚ）によって定義される。故に、実環境１００内の第１の場所および仮想環境１３０内の第２の対応する場所は、同一座標空間に関して説明されることができる。これは、同一座標が両方の場所を識別するために使用され得るため、実および仮想環境内の対応する場所を識別および表示することを簡略化する。しかしながら、いくつかの実施例では、対応する実および仮想環境は、共有座標空間を使用する必要がない。例えば、いくつかの実施例では（図示せず）、行列（平行移動行列および四元数行列または他の回転行列を含み得る）または他の好適な表現は、実環境座標空間と仮想環境座標空間との間の変換を特性評価することができる。

【0034】

図１Ｃは、同時に、実環境１００および仮想環境１３０の側面をユーザ１１０に複合現実システム１１２を介して提示する、例示的ＭＲＥ１５０を図示する。示される実施例では、ＭＲＥ１５０は、同時に、ユーザ１１０に、実環境１００からの実オブジェクト１２２Ａ、１２４Ａ、１２６Ａ、および１２８Ａ（例えば、複合現実システム１１２のディスプレイの透過性部分を介して）と、仮想環境１３０からの仮想オブジェクト１２２Ｂ、１２４Ｂ、１２６Ｂ、および１３２（例えば、複合現実システム１１２のディスプレイのアクティブディスプレイ部分を介して）とを提示する。上記のように、原点１０６は、ＭＲＥ１５０に対応する座標空間のための原点として作用し、座標系１０８は、座標空間のためのｘ－軸、ｙ－軸、およびｚ－軸を定義する。

【0035】

示される実施例では、複合現実オブジェクトは、座標空間１０８内の対応する場所を占有する、対応する対の実オブジェクトおよび仮想オブジェクト（すなわち、１２２Ａ／１２２Ｂ、１２４Ａ／１２４Ｂ、１２６Ａ／１２６Ｂ）を含む。いくつかの実施例では、実オブジェクトおよび仮想オブジェクトは両方とも、同時に、ユーザ１１０に可視であってもよい。これは、例えば、仮想オブジェクトが対応する実オブジェクトのビューを拡張させるように設計される情報を提示する、インスタンスにおいて望ましくあり得る（仮想オブジェクトが古代の損傷された彫像の欠けた部分を提示する、博物館用途等）。いくつかの実施例では、仮想オブジェクト（１２２Ｂ、１２４Ｂ、および／または１２６Ｂ）は、対応する実オブジェクト（１２２Ａ、１２４Ａ、および／または１２６Ａ）をオクルードするように、表示されてもよい（例えば、ピクセル化オクルージョンシャッタを使用する、アクティブピクセル化オクルージョンを介して）。これは、例えば、仮想オブジェクトが対応する実オブジェクトのための視覚的置換として作用する、インスタンスにおいて望ましくあり得る（無生物実オブジェクトが「生きている」キャラクタとなる、双方向ストーリーテリング用途等）。

【0036】

いくつかの実施例では、実オブジェクト（例えば、１２２Ａ、１２４Ａ、１２６Ａ）は、必ずしも、仮想オブジェクトを構成するとは限らない、仮想コンテンツまたはヘルパデータと関連付けられてもよい。仮想コンテンツまたはヘルパデータは、複合現実環境内の仮想オブジェクトの処理またはハンドリングを促進することができる。例えば、そのような仮想コンテンツは、対応する実オブジェクトの２次元表現、対応する実オブジェクトと関連付けられるカスタムアセットタイプ、または対応する実オブジェクトと関連付けられる統計的データを含み得る。本情報は、不必要な算出オーバーヘッドを被ることなく、実オブジェクトに関わる計算を可能にする、または促進することができる。

【0037】

いくつかの実施例では、上記に説明される提示はまた、オーディオ側面を組み込んでもよい。例えば、ＭＲＥ１５０では、仮想モンスタ１３２は、モンスタがＭＲＥ１５０の周囲を歩き回るにつれて生成される、足音効果等の１つまたはそれを上回るオーディオ信号と関連付けられ得る。下記にさらに説明されるように、複合現実システム１１２のプロセッサは、ＭＲＥ１５０内の全てのそのような音の混合および処理された合成に対応するオーディオ信号を算出し、複合現実システム１１２内に含まれる１つまたはそれを上回るスピーカおよび／または１つまたはそれを上回る外部スピーカを介して、オーディオ信号をユーザ１１０に提示することができる。

【0038】

例示的複合現実システム

【0039】

例示的複合現実システム１１２は、ディスプレイ（接眼ディスプレイであり得る、左および右透過型ディスプレイと、ディスプレイからの光をユーザの眼に結合するための関連付けられるコンポーネントとを含み得る）と、左および右スピーカ（例えば、それぞれ、ユーザの左および右耳に隣接して位置付けられる）と、慣性測定ユニット（ＩＭＵ）（例えば、頭部デバイスのつるのアームに搭載される）と、直交コイル電磁受信機（例えば、左つる部品に搭載される）と、ユーザから離れるように配向される、左および右カメラ（例えば、深度（飛行時間）カメラ）と、ユーザに向かって配向される、左および右眼カメラ（例えば、ユーザの眼移動を検出するため）とを備える、ウェアラブル頭部デバイス（例えば、ウェアラブル拡張現実または複合現実頭部デバイス）を含むことができる。しかしながら、複合現実システム１１２は、任意の好適なディスプレイ技術および任意の好適なセンサ（例えば、光学、赤外線、音響、ＬＩＤＡＲ、ＥＯＧ、ＧＰＳ、磁気）を組み込むことができる。加えて、複合現実システム１１２は、ネットワーキング特徴（例えば、Ｗｉ－Ｆｉ能力）を組み込み、他の複合現実システムを含む、他のデバイスおよびシステムと通信してもよい。複合現実システム１１２はさらに、バッテリ（ユーザの腰部の周囲に装着されるように設計されるベルトパック等の補助ユニット内に搭載されてもよい）と、プロセッサと、メモリとを含んでもよい。複合現実システム１１２のウェアラブル頭部デバイスは、ユーザの環境に対するウェアラブル頭部デバイスの座標セットを出力するように構成される、ＩＭＵまたは他の好適なセンサ等の追跡コンポーネントを含んでもよい。いくつかの実施例では、追跡コンポーネントは、入力をプロセッサに提供し、同時位置特定およびマッピング（ＳＬＡＭ）および／またはビジュアルオドメトリアルゴリズムを実施してもよい。いくつかの実施例では、複合現実システム１１２はまた、ハンドヘルドコントローラ３００、および／または下記にさらに説明されるように、ウェアラブルベルトパックであり得る、補助ユニット３２０を含んでもよい。

【0040】

図２Ａ－２Ｄは、ＭＲＥ（ＭＲＥ１５０に対応し得る）または他の仮想環境をユーザに提示するために使用され得る、例示的複合現実システム２００（複合現実システム１１２に対応し得る）のコンポーネントを図示する。図２Ａは、例示的複合現実システム２００内に含まれるウェアラブル頭部デバイス２１０２の斜視図を図示する。図２Ｂは、ユーザの頭部２２０２上に装着されるウェアラブル頭部デバイス２１０２の上面図を図示する。図２Ｃは、ウェアラブル頭部デバイス２１０２の正面図を図示する。図２Ｄは、ウェアラブル頭部デバイス２１０２の例示的接眼レンズ２１１０の縁視図を図示する。図２Ａ－２Ｃに示されるように、例示的ウェアラブル頭部デバイス２１０２は、例示的左接眼レンズ（例えば、左透明導波管セット接眼レンズ）２１０８と、例示的右接眼レンズ（例えば、右透明導波管セット接眼レンズ）２１１０とを含む。各接眼レンズ２１０８および２１１０は、それを通して実環境が可視となる、透過性要素と、実環境に重複するディスプレイ（例えば、画像毎に変調された光を介して）を提示するためのディスプレイ要素とを含むことができる。いくつかの実施例では、そのようなディスプレイ要素は、画像毎に変調された光の流動を制御するための表面回折光学要素を含むことができる。例えば、左接眼レンズ２１０８は、左内部結合格子セット２１１２と、左直交瞳拡張（ＯＰＥ）格子セット２１２０と、左出射（出力）瞳拡張（ＥＰＥ）格子セット２１２２とを含むことができる。同様に、右接眼レンズ２１１０は、右内部結合格子セット２１１８と、右ＯＰＥ格子セット２１１４と、右ＥＰＥ格子セット２１１６とを含むことができる。画像毎に変調された光は、内部結合格子２１１２および２１１８、ＯＰＥ２１１４および２１２０、およびＥＰＥ２１１６および２１２２を介して、ユーザの眼に転送されることができる。各内部結合格子セット２１１２、２１１８は、光をその対応するＯＰＥ格子セット２１２０、２１１４に向かって偏向させるように構成されることができる。各ＯＰＥ格子セット２１２０、２１１４は、光をその関連付けられるＥＰＥ２１２２、２１１６に向かって下方に漸次的に偏向させ、それによって、形成されている射出瞳を水平に延在させるように設計されることができる。各ＥＰＥ２１２２、２１１６は、その対応するＯＰＥ格子セット２１２０、２１１４から受信された光の少なくとも一部を、接眼レンズ２１０８、２１１０の背後に定義される、ユーザアイボックス位置（図示せず）に外向きに漸次的に再指向し、アイボックスに形成される射出瞳を垂直に延在させるように構成されることができる。代替として、内部結合格子セット２１１２および２１１８、ＯＰＥ格子セット２１１４および２１２０、およびＥＰＥ格子セット２１１６および２１２２の代わりに、接眼レンズ２１０８および２１１０は、ユーザの眼への画像毎に変調された光の結合を制御するための格子および／または屈折および反射性特徴の他の配列を含むことができる。

【0041】

いくつかの実施例では、ウェアラブル頭部デバイス２１０２は、左つるのアーム２１３０と、右つるのアーム２１３２とを含むことができ、左つるのアーム２１３０は、左スピーカ２１３４を含み、右つるのアーム２１３２は、右スピーカ２１３６を含む。直交コイル電磁受信機２１３８は、左こめかみ部品またはウェアラブル頭部ユニット２１０２内の別の好適な場所に位置することができる。慣性測定ユニット（ＩＭＵ）２１４０は、右つるのアーム２１３２またはウェアラブル頭部デバイス２１０２内の別の好適な場所に位置することができる。ウェアラブル頭部デバイス２１０２はまた、左深度（例えば、飛行時間）カメラ２１４２と、右深度カメラ２１４４とを含むことができる。深度カメラ２１４２、２１４４は、好適には、ともにより広い視野を網羅するように、異なる方向に配向されることができる。

【0042】

図２Ａ－２Ｄに示される実施例では、画像毎に変調された光の左源２１２４は、左内部結合格子セット２１１２を通して、左接眼レンズ２１０８の中に光学的に結合されることができ、画像毎に変調された光の右源２１２６は、右内部結合格子セット２１１８を通して、右接眼レンズ２１１０の中に光学的に結合されることができる。画像毎に変調された光の源２１２４、２１２６は、例えば、光ファイバスキャナ、デジタル光処理（ＤＬＰ）チップまたはシリコン上液晶（ＬＣｏＳ）変調器等の電子光変調器を含む、プロジェクタ、または側面あたり１つまたはそれを上回るレンズを使用して、内部結合格子セット２１１２、２１１８の中に結合される、マイクロ発光ダイオード（μＬＥＤ）またはマイクロ有機発光ダイオード（μＯＬＥＤ）パネル等の発光型ディスプレイを含むことができる。入力結合格子セット２１１２、２１１８は、画像毎に変調された光の源２１２４、２１２６からの光を、接眼レンズ２１０８、２１１０のための全内部反射（ＴＩＲ）に関する臨界角を上回る角度に偏向させることができる。ＯＰＥ格子セット２１１４、２１２０は、伝搬する光をＴＩＲによってＥＰＥ格子セット２１１６、２１２２に向かって下方に漸次的に偏向させる。ＥＰＥ格子セット２１１６、２１２２は、ユーザの眼の瞳孔を含む、ユーザの顔に向かって、光を漸次的に結合する。

【0043】

いくつかの実施例では、図２Ｄに示されるように、左接眼レンズ２１０８および右接眼レンズ２１１０はそれぞれ、複数の導波管２４０２を含む。例えば、各接眼レンズ２１０８、２１１０は、複数の個々の導波管を含むことができ、それぞれ、個別の色チャネル（例えば、赤色、青色、および緑色）専用である。いくつかの実施例では、各接眼レンズ２１０８、２１１０は、複数のセットのそのような導波管を含むことができ、各セットは、異なる波面曲率を放出される光に付与するように構成される。波面曲率は、例えば、ユーザの正面のある距離（例えば、波面曲率の逆数に対応する距離）に位置付けられる仮想オブジェクトを提示するように、ユーザの眼に対して凸面であってもよい。いくつかの実施例では、ＥＰＥ格子セット２１１６、２１２２は、各ＥＰＥを横断して出射する光のＰｏｙｎｔｉｎｇベクトルを改変することによって凸面波面曲率をもたらすために、湾曲格子溝を含むことができる。

【0044】

いくつかの実施例では、表示されるコンテンツが３次元である知覚を作成するために、立体視的に調節される左および右眼画像は、画像毎に光変調器２１２４、２１２６および接眼レンズ２１０８、２１１０を通して、ユーザに提示されることができる。３次元仮想オブジェクトの提示の知覚される現実性は、仮想オブジェクトが立体視左および右画像によって示される距離に近似する距離に表示されるように、導波管（したがって、対応する波面曲率）を選択することによって向上されることができる。本技法はまた、立体視左および右眼画像によって提供される深度知覚キューと人間の眼の自動遠近調節（例えば、オブジェクト距離依存焦点）との間の差異によって生じ得る、一部のユーザによって被られる乗り物酔いを低減させ得る。

【0045】

図２Ｄは、例示的ウェアラブル頭部デバイス２１０２の右接眼レンズ２１１０の上部からの縁視図を図示する。図２Ｄに示されるように、複数の導波管２４０２は、３つの導波管の第１のサブセット２４０４と、３つの導波管の第２のサブセット２４０６とを含むことができる。導波管の２つのサブセット２４０４、２４０６は、異なる波面曲率を出射する光に付与するために異なる格子線曲率を特徴とする、異なるＥＰＥ格子によって区別されることができる。導波管のサブセット２４０４、２４０６のそれぞれ内において、各導波管は、異なるスペクトルチャネル（例えば、赤色、緑色、および青色スペクトルチャネルのうちの１つ）をユーザの右眼２２０６に結合するために使用されることができる。（図２Ｄには図示されないが、左接眼レンズ２１０８の構造は、右接眼レンズ２１１０の構造に類似する。）

【0046】

図３Ａは、複合現実システム２００の例示的ハンドヘルドコントローラコンポーネント３００を図示する。いくつかの実施例では、ハンドヘルドコントローラ３００は、把持部分３４６と、上部表面３４８に沿って配置される、１つまたはそれを上回るボタン３５０とを含む。いくつかの実施例では、ボタン３５０は、例えば、カメラまたは他の光学センサ（複合現実システム２００の頭部ユニット（例えば、ウェアラブル頭部デバイス２１０２）内に搭載され得る）と併せて、ハンドヘルドコントローラ３００の６自由度（６ＤＯＦ）運動を追跡するための光学追跡標的として使用するために構成されてもよい。いくつかの実施例では、ハンドヘルドコントローラ３００は、ウェアラブル頭部デバイス２１０２に対する位置または配向等の位置または配向を検出するための追跡コンポーネント（例えば、ＩＭＵまたは他の好適なセンサ）を含む。いくつかの実施例では、そのような追跡コンポーネントは、ハンドヘルドコントローラ３００のハンドル内に位置付けられてもよく、および／またはハンドヘルドコントローラに機械的に結合されてもよい。ハンドヘルドコントローラ３００は、ボタンの押下状態、またはハンドヘルドコントローラ３００の位置、配向、および／または運動（例えば、ＩＭＵを介して）のうちの１つまたはそれを上回るものに対応する、１つまたはそれを上回る出力信号を提供するように構成されることができる。そのような出力信号は、複合現実システム２００のプロセッサへの入力として使用されてもよい。そのような入力は、ハンドヘルドコントローラの位置、配向、および／または移動（さらに言うと、コントローラを保持するユーザの手の位置、配向、および／または移動）に対応し得る。そのような入力はまた、ユーザがボタン３５０を押下したことに対応し得る。

【0047】

図３Ｂは、複合現実システム２００の例示的補助ユニット３２０を図示する。補助ユニット３２０は、エネルギーを提供し、システム２００を動作するためのバッテリを含むことができ、プログラムを実行し、システム２００を動作させるためのプロセッサを含むことができる。示されるように、例示的補助ユニット３２０は、補助ユニット３２０をユーザのベルトに取り付ける等のためのクリップ２１２８を含む。他の形状因子も、補助ユニット３２０のために好適であって、ユニットをユーザのベルトに搭載することを伴わない、形状因子を含むことも明白となるであろう。いくつかの実施例では、補助ユニット３２０は、例えば、電気ワイヤおよび光ファイバを含み得る、多管式ケーブルを通して、ウェアラブル頭部デバイス２１０２に結合される。補助ユニット３２０とウェアラブル頭部デバイス２１０２との間の無線接続もまた、使用されることができる。

【0048】

いくつかの実施例では、複合現実システム２００は、１つまたはそれを上回るマイクロホンを含み、音を検出し、対応する信号を複合現実システムに提供することができる。いくつかの実施例では、マイクロホンは、ウェアラブル頭部デバイス２１０２に取り付けられる、またはそれと統合されてもよく、ユーザの音声を検出するように構成されてもよい。いくつかの実施例では、マイクロホンは、ハンドヘルドコントローラ３００および／または補助ユニット３２０に取り付けられる、またはそれと統合されてもよい。そのようなマイクロホンは、環境音、周囲雑音、ユーザまたは第三者の音声、または他の音を検出するように構成されてもよい。

【0049】

図４は、上記に説明される複合現実システム２００（図１に関する複合現実システム１１２に対応し得る）等の例示的複合現実システムに対応し得る、例示的機能ブロック図を示す。図４に示されるように、例示的ハンドヘルドコントローラ４００Ｂ（ハンドヘルドコントローラ３００（「トーテム」）に対応し得る）は、トーテム／ウェアラブル頭部デバイス６自由度（６ＤＯＦ）トーテムサブシステム４０４Ａを含み、例示的ウェアラブル頭部デバイス４００Ａ（ウェアラブル頭部デバイス２１０２に対応し得る）は、トーテム／ウェアラブル頭部デバイス６ＤＯＦサブシステム４０４Ｂを含む。実施例では、６ＤＯＦトーテムサブシステム４０４Ａおよび６ＤＯＦサブシステム４０４Ｂは、協働し、ウェアラブル頭部デバイス４００Ａに対するハンドヘルドコントローラ４００Ｂの６つの座標（例えば、３つの平行移動方向におけるオフセットおよび３つの軸に沿った回転）を決定する。６自由度は、ウェアラブル頭部デバイス４００Ａの座標系に対して表されてもよい。３つの平行移動オフセットは、そのような座標系内におけるＸ、Ｙ、およびＺオフセット、平行移動行列、またはある他の表現として表されてもよい。回転自由度は、ヨー、ピッチ、およびロール回転のシーケンスとして、回転行列として、四元数として、またはある他の表現として表されてもよい。いくつかの実施例では、ウェアラブル頭部デバイス４００Ａ、ウェアラブル頭部デバイス４００Ａ内に含まれる、１つまたはそれを上回る深度カメラ４４４（および／または１つまたはそれを上回る非深度カメラ）、および／または１つまたはそれを上回る光学標的（例えば、上記に説明されるようなハンドヘルドコントローラ４００Ｂのボタン３５０またはハンドヘルドコントローラ４００Ｂ内に含まれる専用光学標的）は、６ＤＯＦ追跡のために使用されることができる。いくつかの実施例では、ハンドヘルドコントローラ４００Ｂは、上記に説明されるようなカメラを含むことができ、ウェアラブル頭部デバイス４００Ａは、カメラと併せた光学追跡のための光学標的を含むことができる。いくつかの実施例では、ウェアラブル頭部デバイス４００Ａおよびハンドヘルドコントローラ４００Ｂはそれぞれ、３つの直交して配向されるソレノイドのセットを含み、これは、３つの区別可能な信号を無線で送信および受信するために使用される。受信するために使用される、コイルのそれぞれ内で受信される３つの区別可能な信号の相対的大きさを測定することによって、ハンドヘルドコントローラ４００Ｂに対するウェアラブル頭部デバイス４００Ａの６ＤＯＦが、決定され得る。加えて、６ＤＯＦトーテムサブシステム４０４Ａは、改良された正確度および／またはハンドヘルドコントローラ４００Ｂの高速移動に関するよりタイムリーな情報を提供するために有用である、慣性測定ユニット（ＩＭＵ）を含むことができる。

【0050】

いくつかの実施例では、例えば、座標系１０８に対するウェアラブル頭部デバイス４００Ａの移動を補償するために、座標をローカル座標空間（例えば、ウェアラブル頭部デバイス４００Ａに対して固定される座標空間）から慣性座標空間（例えば、実環境に対して固定される座標空間）に変換することが必要になり得る。例えば、そのような変換は、ウェアラブル頭部デバイス４００Ａのディスプレイが、ディスプレイ上の固定位置および配向（例えば、ディスプレイの右下角における同一位置）ではなく仮想オブジェクトを実環境に対する期待される位置および配向に提示し（例えば、ウェアラブル頭部デバイスの位置および配向にかかわらず、前方に面した実椅子に着座している仮想人物）、仮想オブジェクトが実環境内に存在する（かつ、例えば、ウェアラブル頭部デバイス４００Ａが偏移および回転するにつれて、実環境内に不自然に位置付けられて現れない）という錯覚を保存するために必要であり得る。いくつかの実施例では、座標空間間の補償変換が、座標系１０８に対するウェアラブル頭部デバイス４００Ａの変換を決定するために、ＳＬＡＭおよび／またはビジュアルオドメトリプロシージャを使用して、深度カメラ４４４からの画像を処理することによって決定されることができる。図４に示される実施例では、深度カメラ４４４は、ＳＬＡＭ／ビジュアルオドメトリブロック４０６に結合され、画像をブロック４０６に提供することができる。ＳＬＡＭ／ビジュアルオドメトリブロック４０６実装は、本画像を処理し、次いで、頭部座標空間と別の座標空間（例えば、慣性座標空間）との間の変換を識別するために使用され得る、ユーザの頭部の位置および配向を決定するように構成される、プロセッサを含むことができる。同様に、いくつかの実施例では、ユーザの頭部姿勢および場所に関する情報の付加的源が、ＩＭＵ４０９から取得される。ＩＭＵ４０９からの情報は、ＳＬＡＭ／ビジュアルオドメトリブロック４０６からの情報と統合され、改良された正確度および／またはユーザの頭部姿勢および位置の高速調節に関する情報をよりタイムリーに提供することができる。

【0051】

いくつかの実施例では、深度カメラ４４４は、ウェアラブル頭部デバイス４００Ａのプロセッサ内に実装され得る、手のジェスチャトラッカ４１１に、３Ｄ画像を供給することができる。手のジェスチャトラッカ４１１は、例えば、深度カメラ４４４から受信された３Ｄ画像を手のジェスチャを表す記憶されたパターンに合致させることによって、ユーザの手のジェスチャを識別することができる。ユーザの手のジェスチャを識別する他の好適な技法も、明白となるであろう。

【0052】

いくつかの実施例では、１つまたはそれを上回るプロセッサ４１６は、ウェアラブル頭部デバイスの６ＤＯＦヘッドギヤサブシステム４０４Ｂ、ＩＭＵ４０９、ＳＬＡＭ／ビジュアルオドメトリブロック４０６、深度カメラ４４４、および／または手のジェスチャトラッカ４１１からのデータを受信するように構成されてもよい。プロセッサ４１６はまた、制御信号を６ＤＯＦトーテムシステム４０４Ａに送信し、そこから受信することができる。プロセッサ４１６は、ハンドヘルドコントローラ４００Ｂがテザリングされない実施例等では、無線で、６ＤＯＦトーテムシステム４０４Ａに結合されてもよい。プロセッサ４１６はさらに、オーディオ／視覚的コンテンツメモリ４１８、グラフィカル処理ユニット（ＧＰＵ）４２０、および／またはデジタル信号プロセッサ（ＤＳＰ）オーディオ空間化装置４２２等の付加的コンポーネントと通信してもよい。ＤＳＰオーディオ空間化装置４２２は、頭部関連伝達関数（ＨＲＴＦ）メモリ４２５に結合されてもよい。ＧＰＵ４２０は、画像毎に変調された光の左源４２４に結合される、左チャネル出力と、画像毎に変調された光の右源４２６に結合される、右チャネル出力とを含むことができる。ＧＰＵ４２０は、例えば、図２Ａ－２Ｄに関して上記に説明されるように、立体視画像データを画像毎に変調された光の源４２４、４２６に出力することができる。ＤＳＰオーディオ空間化装置４２２は、オーディオを左スピーカ４１２および／または右スピーカ４１４に出力することができる。ＤＳＰオーディオ空間化装置４２２は、プロセッサ４１９から、ユーザから仮想音源（例えば、ハンドヘルドコントローラ３２０を介して、ユーザによって移動され得る）への方向ベクトルを示す入力を受信することができる。方向ベクトルに基づいて、ＤＳＰオーディオ空間化装置４２２は、対応するＨＲＴＦを決定することができる（例えば、ＨＲＴＦにアクセスすることによって、または複数のＨＲＴＦを補間することによって）。ＤＳＰオーディオ空間化装置４２２は、次いで、決定されたＨＲＴＦを仮想オブジェクトによって生成された仮想音に対応するオーディオ信号等のオーディオ信号に適用することができる。これは、複合現実環境内の仮想音に対するユーザの相対的位置および配向を組み込むことによって、すなわち、その仮想音が実環境内の実音である場合に聞こえるであろうもののユーザの期待に合致する仮想音を提示することによって、仮想音の信憑性および現実性を向上させることができる。

【0053】

図４に示されるようないくつかの実施例では、プロセッサ４１６、ＧＰＵ４２０、ＤＳＰオーディオ空間化装置４２２、ＨＲＴＦメモリ４２５、およびオーディオ／視覚的コンテンツメモリ４１８のうちの１つまたはそれを上回るものは、補助ユニット４００Ｃ（上記に説明される補助ユニット３２０に対応し得る）内に含まれてもよい。補助ユニット４００Ｃは、バッテリ４２７を含み、そのコンポーネントを給電し、および／または電力をウェアラブル頭部デバイス４００Ａまたはハンドヘルドコントローラ４００Ｂに供給してもよい。そのようなコンポーネントを、ユーザの腰部に搭載され得る、補助ユニット内に含むことは、ウェアラブル頭部デバイス４００Ａのサイズおよび重量を限定することができ、これは、ひいては、ユーザの頭部および頸部の疲労を低減させることができる。

【0054】

図４は、例示的複合現実システムの種々のコンポーネントに対応する要素を提示するが、これらのコンポーネントの種々の他の好適な配列も、当業者に明白となるであろう。例えば、補助ユニット４００Ｃと関連付けられているような図４に提示される要素は、代わりに、ウェアラブル頭部デバイス４００Ａまたはハンドヘルドコントローラ４００Ｂと関連付けられ得る。さらに、いくつかの複合現実システムは、ハンドヘルドコントローラ４００Ｂまたは補助ユニット４００Ｃを完全に無くしてもよい。そのような変更および修正は、開示される実施例の範囲内に含まれるものとして理解されるべきである。

【0055】

セッションマネージャ

【0056】

ＭＲシステムは、ユーザの間の双方向仮想協働を有効にするように一意に位置付けられ得る。ＭＲシステムは、仮想コンテンツを、３次元で、ユーザの物理的環境内に提示し得るため、ＭＲ協働システムおよび方法は、少なくとも、ローカル協働と同程度に効果的であり得る、遠隔協働を有効にし得る。いくつかの実施形態では、ＭＲ協働は、ユーザに、３次元空間内の仮想コンテンツが見え、および／またはそれを操作することを可能にすることができる。例えば、第１のユーザが、ＭＲ協働セッションを立ち上げてもよく、２つの仮想３Ｄモデル、テキストドキュメント、およびメッセージングインターフェースが見えてもよい。第２のユーザが、セッションにローカルで加わってもよく（例えば、第２のユーザは、第１のユーザと同一部屋に歩いて入ってもよい）、第２のユーザには、同一の２つの仮想３Ｄモデル、テキストドキュメント、およびメッセージングインターフェースが第１のユーザと同一場所において見えてもよい。いくつかの実施形態では、第３のユーザが、セッションに遠隔で加わってもよく（例えば、第３のユーザは、第１および第２のユーザと同一部屋内に存在しなくてもよい）、第３のユーザには、２つの仮想３Ｄモデル、テキストドキュメント、およびメッセージングインターフェースが第３のユーザの環境内に見えてもよい。いくつかの実施形態では、仮想コンテンツは、全てのセッションユーザのために、空間関係を相互に共有してもよい（例えば、仮想コンテンツは、同一方法で配列されてもよい）。いくつかの実施形態では、ＭＲ協働は、ユーザが、同一物理的空間内において、共有物理的コンテキストを活用し、仮想コンテンツを伴うより有意義な共有体験を享受することを可能にしてもよい。

【0057】

いくつかの実施形態では、複数のＭＲシステムを横断して、仮想コンテンツを表示および／または同期させることは、課題を呈し得る。例えば、各ＭＲシステムが、セッション内の他のＭＲシステムと一致する様式において、共有仮想コンテンツを表示することを確実にするためのシステムおよび方法を開発することが、有益であり得る。また、アプリケーション間協働（例えば、異なる開発者によって作成されたアプリケーションを使用して生成され得る、仮想コンテンツ）を有効にし得る、システムおよび方法を開発することが、有益であり得る。いくつかの実施形態では、相互にローカルで存在するユーザ（例えば、同一部屋内に存在するユーザ）が、相互に、かつ遠隔（例えば、異なる部屋内）に存在するユーザと協働することを可能にし得る、システムおよび方法を開発することが、有益であり得る。いくつかの実施形態では、セッションユーザが後の時間に協働を継続し得るように、協働セッションが経時的に存続することを可能にし得る、システムおよび方法を開発することが、有益であり得る。いくつかの実施形態では、コンテンツ持続、例えばセッションユーザが、他のユーザとライブ協働しなくても、仮想コンテンツイベント上で作業を継続することを有効にし得る、システムおよび方法を開発することが、有益であり得る。

【0058】

いくつかの実施形態では、セッションは、広義には、協働し、一連の体験を時間および空間にわたって共有し得る、（識別子を伴う）ユーザのグループとして定義され得る。いくつかの実施形態では、セッションは、ネットワークコネクティビティ、共通空間基準、および他のＭＲユーザとチャットし、プリズムを共有するための一元型ユーザインターフェースを提供する、通信および協働体験を含むことができる。セッション参加者は、遠隔で、または同一物理的場所内でローカルで存在することができる。いくつかの実施形態では、セッションマネージャは、セッション内のいくつかまたは全てのアクティビティを管理する、一元型バックエンドサービスを含むことができる。いくつかの実施形態では、セッションマネージャは、セッションマネージャを表し、および／またはユーザ入力を受信するように構成される、１つまたはそれを上回るユーザに面したフロントエンド制御および／または表現（例えば、メニューおよび／またはセッションハンドル）を含むことができる。いくつかの実施形態では、セッションマネージャは、種々のセッション状態を通して、種々のセッションイベントを連携および管理する、背景サービスおよび／またはデーモンを含むことができる。セッションマネージャはまた、ユーザが、発見され、他のユーザと接続されることを可能にすることによって、ユーザ体験を駆動してもよい。いくつかの実施形態では、セッションマネージャはまた、メニューおよび／またはセッションＵＩ関連状態等の種々のＵＩコンポーネントを管理してもよい。

【0059】

いくつかの実施形態では、協働は、仮想コンテンツを協働セッション内に構成し、協働セッション内の実オブジェクトと同様に挙動させることによって、促進されることができる。例えば、「実」協働セッションでは、ユーザは、ドキュメントおよび／またはオブジェクトとともに、テーブルの周囲に着座し得る。ユーザは、特定のドキュメントをポイントすることによって、「この」ドキュメントおよび／または「あの」ドキュメントを指し得る。いくつかの実施形態では、実協働セッションにおけるユーザは、関係用語（例えば、右のあのオブジェクト）を使用して、オブジェクトを指し得る。本挙動は、他の人々との長年にわたる物理的条件付けおよび作業の結果として、ユーザに自然に生じ得る。したがって、ユーザとそれに対して彼らが協働するコンテンツとの間の自然な相互作用を有効にするために、ＭＲ協働のためのシステムおよび方法を開発することが望ましくあり得る。いくつかの実施形態では、ＭＲ協働セッションは、ユーザが、ユーザの物理的環境内に存在する実コンテンツであるかのように、併置された仮想コンテンツ（例えば、実環境内の同一位置において複数のユーザに現れ得る、仮想コンテンツ）を指すことを可能にすることができる。いくつかの実施形態では、ＭＲ協働セッションは、存続することができる。例えば、全てのユーザが、セッションから退出し得、ユーザが、同一セッションを数週間後に立ち上げ得る。いくつかの実施形態では、ユーザには、ユーザが以前にセッションから退出したときに存在していた状態において（例えば、同一相対的位置において、および／または同一編集を伴って）、全ての仮想コンテンツが見え得る。

【0060】

いくつかの実施形態では、セッションは、複合現実協働セッション内で使用される仮想コンテンツを提示、同期、管理、および／または記憶するためのプラットフォームを含むことができる。例えば、セッションユーザは、その中で仮想コンテンツ（例えば、ワードドキュメント、３Ｄモデル、プレゼンテーションスライド、会話履歴等）が、議論および／または作業される、毎週繰り返される会議を開いてもよい。いくつかの実施形態では、ユーザは、仮想コンテンツ（異なる開発者によって作成されてもよい）を、経時的に存続し得る、単一仮想空間の中に集結するために、セッションのプラットフォームを活用してもよい。例えば、単一セッションインスタンスをロードすることは、ユーザに、３Ｄモデル（第１の開発者によって作成された第１のアプリケーションを使用して生成される）、３Ｄモデル（第２の開発者によって作成された第２のアプリケーションを使用して生成される）に対する目標および／または変更を説明するテキストドキュメント、および本セッションに関連するセッションユーザ間の会話履歴を提示してもよい。本仮想コンテンツは、同一ユーザまたは異なるセッションユーザが、セッションをロードし、任意の他のセッションユーザと同一セッションコンテンツが見え得るように、時間を横断して、およびセッションユーザを横断して、存続し得る。いくつかの実施形態では、セッションは、ユーザの存在柔軟性を有効にしてもよい（例えば、ローカルユーザは、そのローカル空間内で仮想コンテンツ設置を共有し得るが、遠隔ユーザにもまた、その遠隔空間内で同一空間関係を伴う仮想コンテンツが見え得る）。いくつかの実施形態では、セッションは、能力柔軟性を有効にしてもよい。例えば、能力（例えば、第三者アプリケーションに対応する）は、一元型セッションプラットフォームから離れずに、相互作用／有効に／無効にされることができる。いくつかの実施形態では、アプリケーション（例えば、第三者アプリケーション）は、セッションプラットフォームを活用し、他のアプリと互換性がない場合がある、プロプライエタリシェアリングプラットフォームを構築しないようにしてもよい。いくつかの実施形態では、セッションは、時間的柔軟性を有効にしてもよい。例えば、ユーザは、異なる時間にセッションにアクセスしてもよく、他のユーザとのライブコールは、必要なくてもよい。いくつかの実施形態では、ユーザによって行われる変更は、変更が他のセッションユーザのために反映されるように同期されることができる（彼が、現在セッション内に存在する、またはセッションに後の時間に参入するかどうかにかかわらず）。

【0061】

いくつかの実施形態では、セッションは、１人またはそれを上回るユーザと経時的に共有される、仮想コンテンツを含んでもよい。セッションは、１人またはそれを上回る所有者を有してもよく、いくつかの実施形態では、セッションを作成したユーザが、セッション所有者と見なされ得る。セッションは、セッションへのアクセスを有し得る、１人またはそれを上回る参加者を有してもよい。いくつかの実施形態では、セッション所有者は、参加者がセッションに加わり得る内容を制御してもよい。いくつかの実施形態では、セッションは、セッション識別子を有してもよい。いくつかの実施形態では、各ユーザ（例えば、所有者または参加者）は、ユーザ識別子を有してもよい。いくつかの実施形態では、セッションは、１つまたはそれを上回るユーザアバタを含んでもよく、これは、セッション内の他のオブジェクトに対する遠隔ユーザの位置付けを表し得る。いくつかの実施形態では、セッションは、場所データ（例えば、各ユーザに対応する、場所データ、セッションが開かれている場所に対応する、場所データ等）を含んでもよい。場所データは、持続座標データを含んでもよい。いくつかの実施形態では、場所データは、１つまたはそれを上回る変換（例えば、１つまたはそれを上回る変換行列）を含んでもよく、これは、位置を持続座標データに関連させ得る。

【0062】

いくつかの実施形態では、セッションは、１つまたはそれを上回る能力を含むことができる。セッション能力は、ユーザがセッション内で選択および／または有効にし得る、１つまたはそれを上回る特徴を含んでもよい。例えば、仮想オブジェクト共有は、セッション能力と見なされ得る。いくつかの実施形態では、ユーザが他のユーザにローカルであるかどうかを決定することは、セッション能力と見なされ得る。いくつかの実施形態では、ユーザアバタを投影することは、セッション能力と見なされ得る。いくつかの実施形態では、ユーザの画面を他のユーザに投射することは、セッション能力と見なされ得る。いくつかの実施形態では、能力は、１つまたはそれを上回る能力インスタンスを有することができる（例えば、能力は、同時に起動される、複数のインスタンスを有することができる）。例えば、２つの仮想オブジェクトが、セッション内でユーザと共有されてもよく、各仮想オブジェクトは、別個の能力インスタンスと見なされ得る。

【0063】

いくつかの実施形態では、セッションは、持続的であってもよい。例えば、セッションは、全てのユーザがセッションから退出した後も、存在し続けてもよい。いくつかの実施形態では、セッションは、使用されるセッション能力（例えば、仮想オブジェクト、仮想オブジェクトがあった位置等を共有する）、ユーザ場所、ユーザ識別等のセッション情報を記憶し続けてもよい。持続セッションは、ユーザ間の長期協働を促進し得る。例えば、ユーザは、その仮想作業空間をその選好に対して再配列する必要なく、彼らが中断した場所から継続してもよい。いくつかの実施形態では、セッション持続は、異なるユーザが、セッションに後の時間に参入し、前のユーザがセッションから退出したときにあったように配列される、仮想コンテンツが見えることを可能にしてもよい。

【0064】

図５Ａ－５Ｃは、いくつかの実施形態による、例示的ＭＲ協働セッションを図示する。図５Ａは、例示的複合現実協働セッションを図示し、ユーザ５０８ａ、５０８ｂ、および５０８ｃが、第１の場所（例えば、第１の部屋）にともに存在し得る。図５Ｂは、例示的複合現実協働セッションを図示し、ユーザ５０８ｄおよび５０８ｅが、第２の場所（例えば、第２の部屋）にともに存在し得る。図５Ｃは、例示的複合現実協働セッションを図示し、セッションハンドルが移動されている。

【0065】

いくつかの実施形態では、ユーザ５０８ａ、５０８ｂ、５０８ｃ、５０８ｄ、および５０８ｅは全て、同一複合現実協働セッション５００の一部であってもよい。いくつかの実施形態では、協働セッションは、セッションハンドル５０２ａ（仮想オブジェクトであってもよい）を含むことができる。セッションハンドル５０２ａは、セッションに関するローカルアンカとしての役割を果たし得る。例えば、同一場所内の全てのセッションユーザ（例えば、ユーザ５０８ａ、５０８ｂ、および５０８ｃは、彼らが共通持続座標データを共有する場合、同一場所に存在すると見なされ得る）は、セッションハンドル５０２ａに対して位置付けられる、仮想コンテンツを提示されてもよく、これは、仮想コンテンツに、実／物理的オブジェクトと同様に、実世界内の特定の場所および配向に位置している外観を与え得る。いくつかの実施形態では、セッションハンドル５０２ａは、持続座標データに対して位置付けられてもよい（例えば、変換を使用して）。いくつかの実施形態では、ユーザ５０８ａ、５０８ｂ、および５０８ｃは、規準持続座標データを使用してもよく、これは、各ユーザのＭＲシステム内におけるセッションハンドル５０２ａの一貫した設置を有効にし得る。いくつかの実施形態では、ユーザ５０８ａ、５０８ｂ、および５０８ｃ全てに、セッションハンドル５０２ａが同一場所に見え得る（例えば、ユーザ全てに、セッションハンドル５０２ａが同一場所における床上に見え得る）。

【0066】

いくつかの実施形態では、ユーザが、相互にローカルであると見なされ得るかどうかは、持続座標データを使用して決定されてもよい。例えば、ユーザ５０８ａのためのＭＲシステムは、ユーザ５０８ａに関する識別された環境に基づいて、規準持続座標データを受信してもよい（例えば、１つまたはそれを上回る遠隔サーバから）。ユーザ５０８ａのためのＭＲシステムは、場所データ（例えば、ＧＰＳ、ＷｉＦｉ、および／またはセルラーデータ）および／または画像認識データ（例えば、捕捉された画像と既知の環境の画像を比較することによって、既知の環境を認識する）を使用して、ユーザ５０８ａに関する環境を識別してもよい。いくつかの実施形態では、ユーザ５０８ａのためのＭＲシステムは、その受信された持続座標データをセッション内の他のＭＲシステム（例えば、ユーザ５０８ｂのためのＭＲシステム）に伝送してもよい。いくつかの実施形態では、セッション内の他のＭＲシステムは、規準持続座標データを受信し、他のＭＲシステムから受信された伝送データとすでに使用されている規準持続座標（および／または１つまたはそれを上回る遠隔サーバから受信された規準持続座標データ）を比較してもよい。規準持続座標データの１つまたはそれを上回るインスタンスが、セッション内のＭＲシステム間で共有されることが決定される（例えば、一意の識別子を使用して）場合、ＭＲシステムは、相互にローカルであることが決定されることができる。いくつかの実施形態では、ＭＲシステムが、規準持続座標データのインスタンスを共有しない場合、ＭＲシステムは、相互から遠隔にあることが決定され得る。いくつかの実施形態では、セッションハンドル（例えば、セッションハンドル５０２ａ）は、持続規準持続座標データの１つまたはそれを上回る共有インスタンスに関連して表示されてもよく、これは、セッションハンドル５０２ａが同一場所においてユーザ５０８ａ、５０８ｂ、および５０８ｃに提示されることを可能にし得る。

【0067】

いくつかの実施形態では、セッション５００は、共有仮想オブジェクト５０４ａを含むことができる。共有仮想オブジェクト５０４ａは、セッション能力インスタンスと見なされ得る。いくつかの実施形態では、ユーザ５０８ａ、５０８ｂ、および５０８ｃ全てに、仮想オブジェクト５０４ａが同一場所において見え得る（例えば、ユーザ全てに、仮想オブジェクト５０４ａが実テーブルの端部に見え得る）。いくつかの実施形態では、共有仮想オブジェクト５０４ａは、セッションハンドル５０２ａに対して位置付けられてもよい（例えば、変換を使用して）。いくつかの実施形態では、共有仮想オブジェクト５０４ａは、持続座標データ（例えば、規準持続座標データ）に対して位置付けられてもよい。いくつかの実施形態では、ユーザ（例えば、ユーザ５０８ｃ）は、共有仮想オブジェクト５０４ａを操作してもよい。例えば、ユーザ５０８ｃは、オブジェクト５０４ａをテーブルの縁からテーブルの中心に移動させてもよい。いくつかの実施形態では、ユーザ５０８ａおよび５０８ｂにもまた、テーブルの縁からテーブルの中心に移動するオブジェクト５０４ａが見え得る。いくつかの実施形態では、ユーザ（例えば、ユーザ５０８ｂ）が、オブジェクト５０４ａ（例えば、ヘルメット）の一部をポイントする場合、他のユーザ（例えば、５０８ａおよび５０８ｃ）にもまた、ユーザ５０８ｂがオブジェクト５０４ａの同一部分をポイントしているように見え得る。

【0068】

いくつかの実施形態では、セッションハンドル５０２ａはまた、移されてもよい。例えば、図５Ｃでは、ユーザ５０８ａは、セッションハンドル５０２ａを左に移動させてもよい。いくつかの実施形態では、セッションの一部として表示される、任意の仮想コンテンツもまた、移動し、それによって、セッションハンドル５０２ａに対する同一位置付けを維持してもよい。例えば、セッションハンドル５０２ａが、左に移動されるにつれて、オブジェクト５０４ａはまた、同一量だけ左移動されてもよい。いくつかの実施形態では、ある場所におけるセッションハンドル（例えば、セッションハンドル５０２ａ）を移動させることは、異なる場所におけるセッションハンドル（例えば、セッションハンドル５０２ｂ）を移動させなくてもよい。ローカルユーザの各グループが、その独自のセッションハンドル設置を管理することを可能にすることが、有益であり得る。例えば、仮想コンテンツは、セッションハンドルに対して位置付けられ得るため、各ローカルグループは、その個別のローカル物理的環境に関するその仮想コンテンツのための最適場所を決定してもよい。

【0069】

セッション５００は、同一場所を共有し得ない、ユーザを伴うこともできる。例えば、図５Ｂでは、ユーザ５０８ｄおよび５０８ｅはまた、セッション５００の一部であってもよい。いくつかの実施形態では、ユーザ５０８ｄおよび５０８ｅは、ユーザ５０８ａ、５０８ｂ、および５０８ｃに遠隔であると見なされ得る（例えば、ユーザ５０８ｄ／５０８ｅと５０８ａ／５０８ｂ／５０８ｃとの間に共通持続座標データが存在し得ないため）。いくつかの実施形態では、ユーザ５０８ｄおよび５０８ｅには、第２のセッションハンドル５０２ｂが見え得る。いくつかの実施形態では、他のユーザ（またはユーザのグループ）との共通持続座標データを有していない、各ユーザ（またはユーザのグループ）には、その独自のセッションハンドルが見え得る。ユーザ５０８ｄおよび５０８ｅに表示される、共有仮想コンテンツは、セッションハンドル５０２ｂに対して表示されてもよい。例えば、共有仮想オブジェクト５０４ｂは、オブジェクト５０４ａに対応し得る。いくつかの実施形態では、オブジェクト５０４ｂは、セッションハンドル５０２ａに対して位置付けられる、オブジェクト５０４ａと同一である、セッションハンドル５０２ｂに対するスポットに位置付けられてもよい。いくつかの実施形態では、オブジェクト５０４ａが、セッションハンドル５０２ａに対して移動される場合、オブジェクト５０４ｂもまた、セッションハンドル５０２ｂに対して移動してもよい（その逆も同様である）。いくつかの実施形態では、セッションハンドル５０２ｂは、セッションハンドル５０２ａが移動される場合、移動しなくてもよい。これは、ローカルユーザが、セッションコンテンツがユーザのローカルグループに提示される方法を管理することを可能にし得る。

【0070】

いくつかの実施形態では、セッション５００は、ユーザアバタ５０６ｅを含むことができる。いくつかの実施形態では、ユーザアバタ５０６ｅは、セッション内の他のユーザに遠隔であり得る、セッション５００内のユーザを表すことができる。例えば、ユーザ５０８ａ、５０８ｂ、および５０８ｃは、相互にローカルであると見なされ得（例えば、彼らが持続座標データを共有し得るため）、ユーザ５０８ｅは、ユーザ５０８ａ、５０８ｂ、および５０８ｃから遠隔であると見なされ得る（例えば、ユーザ５０８ｅが持続座標データを他のユーザと共有し得ないため）。いくつかの実施形態では、（図５Ｂにおける）ユーザ５０８ｅもまた、セッション５００の一部であってもよく、ユーザアバタ５０６ｅは、ユーザ５０８ｅに対応し得る。

【0071】

いくつかの実施形態では、ユーザアバタ５０６ｅは、ユーザ５０８ｅが、ユーザ５０８ａ、５０８ｂ、および５０８ｃと協働することを可能にしてもよい。いくつかの実施形態では、アバタ５０６ｅは、ユーザ５０８ｅの１つまたはそれを上回る移動を鏡映してもよい。例えば、ユーザ５０８ｅが、セッションハンドル５０２ｂに接近するにつれて、ユーザアバタ５０６ｅは、セッションハンドル５０２ａに接近し、それによって、ユーザ５０８ｅとセッションハンドル５０２ｂとの間の同一の相対的位置付けを維持してもよい。いくつかの実施形態では、ユーザ５０８ｅは、オブジェクト５０４ｂをポイントしてもよく、アバタ５０６ｅは、対応して、同一場所におけるオブジェクト５０４ａをポイントしてもよい。同様に、アバタ５０６ｂは、ユーザ５０８ｂを表し得、アバタ５０６ａは、ユーザ５０８ａを表し得る。ユーザ５０８ａが、オブジェクト５０４ａに接近するにつれて、アバタ５０６ａもまた、適宜、オブジェクト５０４ｂに接近してもよい。いくつかの実施形態では、遠隔ユーザは、アバタを他のユーザにブロードキャストしなくてもよい。例えば、ユーザ５０８ｄは、ユーザ５０８ａ、５０８ｂ、および５０８ｃに遠隔であり得るが、ユーザ５０８ｄは、セッションハンドル５０２ａのために対応するアバタを投影しなくてもよい。

【0072】

いくつかの実施形態では、セッション持続は、ユーザが、異なるセッション場所に対して動的に位置特定することを可能にし得る。例えば、ユーザ５０８ａ、５０８ｂ、および５０８ｃは、第１の部屋内に存在してもよく、ユーザ５０８ｄおよび５０８ｅは、第１の部屋から出て廊下の先にあり得る、第２の部屋内に存在してもよい。いくつかの実施形態では、ユーザ５０８ａは、第１の部屋から退出し、廊下を進み、第２の部屋に進入してもよく、仮想コンテンツは、セッションハンドル５０２ｂに対して、ユーザ５０８ａに表示されてもよい。いくつかの実施形態では、ユーザによって使用される、各ＭＲシステムは、周期的に、ユーザの場所をポーリングしてもよい（例えば、ＧＰＳデータおよび／または画像認識を使用して）。いくつかの実施形態では、ＭＲシステムは、新しい場所クエリをトリガしてもよい（例えば、ジオフェンシングを使用することによって）。

【0073】

図６は、いくつかの実施形態による、例示的セッションマネージャアーキテクチャを図示する。いくつかの実施形態では、セッションマネージャ６０４は、ＭＲシステム６０２上で起動されてもよく、これは、１つまたはそれを上回るコンピュータシステムを含んでもよく、ＭＲシステム１１２、２００に対応することができる。いくつかの実施形態では、セッションマネージャ６０４は、プロセス、サブプロセス、スレッド、および／またはサービスを含むことができる。いくつかの実施形態では、セッションマネージャ６０４は、情報を記憶するように構成される、１つまたはそれを上回るデータ構造を含むことができる。いくつかの実施形態では、セッションマネージャ６０４は、サービス（例えば、バックグラウンドオペレーティングシステムサービス）を含むことができる。いくつかの実施形態では、セッションマネージャ６０４のプロセス、サブプロセス、スレッド、および／またはサービスは、ホストシステムのオペレーティングシステムが起動している間、継続的に起動するように構成されることができる（例えば、バックグラウンドで）。いくつかの実施形態では、セッションマネージャ６０４は、親バックグラウンドサービスのインスタンス化を含むことができ、これは、１つまたはそれを上回るバックグラウンドプロセスおよび／またはサブプロセスに対するホストプロセスとしての役割を果たし得る。いくつかの実施形態では、セッションマネージャ６０４は、親プロセスのサブプロセスを含むことができる。いくつかの実施形態では、セッションマネージャ６０４は、親プロセスのスレッドを含むことができる。

【0074】

セッションマネージャ６０４は、１つまたはそれを上回るセッションインスタンス６０６ａおよび／または６０６ｂを含んでもよい。いくつかの実施形態では、セッションインスタンスは、ＭＲ協働セッション（例えば、セッション５００）に対応し得る。いくつかの実施形態では、セッションインスタンスは、ＭＲ協働セッション内で使用される情報を管理してもよい。いくつかの実施形態では、セッションインスタンスは、情報を記憶するように構成される、１つまたはそれを上回るデータ構造を含んでもよい。いくつかの実施形態では、セッションインスタンスは、１つまたはそれを上回るプロセス、サブプロセス、スレッド、および／またはサービスを含んでもよい。いくつかの実施形態では、１つまたはそれを上回るセッションインスタンスは、１つまたはそれを上回る遠隔サーバに記憶されてもよい。いくつかの実施形態では、セッションインスタンスは、（ＭＲデバイスにローカルで、または１つまたはそれを上回る遠隔サーバに）記憶される前に、暗号化されてもよい。

【0075】

いくつかの実施形態では、セッションインスタンスは、１つまたはそれを上回る能力インスタンスと通信するように構成されてもよい。例えば、セッションインスタンス６０６ｂは、能力インスタンス６０８ｂおよび６０８ｃと通信するように構成されてもよい。能力インスタンスは、１つまたはそれを上回るセッション能力に対応し得る。例えば、能力インスタンス６０８ｂは、共有オブジェクト５０４ａに対応し得る。いくつかの実施形態では、能力インスタンスは、情報を記憶するように構成される、１つまたはそれを上回るデータ構造を含んでもよい。いくつかの実施形態では、能力インスタンスは、１つまたはそれを上回るプロセス、サブプロセス、スレッド、および／またはサービスを含んでもよい。

【0076】

いくつかの実施形態では、能力インスタンスは、アプリケーションコネクティビティプラットフォーム６１０ａおよび／または協働コア６１０ｂ等の１つまたはそれを上回るコネクティビティサービスと通信するように構成されることができる。いくつかの実施形態では、アプリケーションコネクティビティプラットフォーム６１０ａおよび／または協働コア６１０ｂは、プロセス、サブプロセス、スレッド、および／またはサービスを含むことができる。いくつかの実施形態では、アプリケーションコネクティビティプラットフォーム６１０ａおよび／または協働コア６１０ｂは、情報を記憶するように構成される、１つまたはそれを上回るデータ構造を含むことができる。いくつかの実施形態では、アプリケーションコネクティビティプラットフォーム６１０ａおよび／または協働コア６１０ｂは、サービス（例えば、バックグラウンドオペレーティングシステムサービス）を含むことができる。いくつかの実施形態では、アプリケーションコネクティビティプラットフォーム６１０ａおよび／または協働コア６１０ｂのプロセス、サブプロセス、スレッド、および／またはサービスは、ホストシステムのオペレーティングシステムが起動している間、継続的に起動するように構成されることができる（例えば、バックグラウンドで）。いくつかの実施形態では、アプリケーションコネクティビティプラットフォーム６１０ａおよび／または協働コア６１０ｂは、親バックグラウンドサービスのインスタンス化を含むことができ、これは、１つまたはそれを上回るバックグラウンドプロセスおよび／またはサブプロセスに対するホストプロセスとしての役割を果たし得る。いくつかの実施形態では、アプリケーションコネクティビティプラットフォーム６１０ａおよび／または協働コア６１０ｂは、親プロセスのサブプロセスを含むことができる。いくつかの実施形態では、アプリケーションコネクティビティプラットフォーム６１０ａおよび／または協働コア６１０ｂは、親プロセスのスレッドを含むことができる。

【0077】

いくつかの実施形態では、アプリケーションコネクティビティプラットフォーム６１０ａは、併置セッション内のＭＲシステム間の短待ち時間通信経路を提供し、リアルタイム仮想オブジェクト併置を有効にすることができる。いくつかの実施形態では、アプリケーションコネクティビティプラットフォーム６１０ａは、ウェブリアルタイム通信（「ＷｅｂＲＴＣ」）の１つまたはそれを上回る実装を含むことができる。例えば、いくつかの実施形態では、データは、短待ち時間通信のために、１つまたはそれを上回るＴｗｉｌｉｏトラックを介して、伝送されてもよい。いくつかの実施形態では、能力インスタンスは、アプリケーションコネクティビティプラットフォーム６１０ａを利用して、短待ち時間データ（例えば、共有仮想オブジェクトが移動するにつれた関係変換データ）をセッション内のＭＲシステムに送信する、および／またはそこから受信してもよい。いくつかの実施形態では、アプリケーションコネクティビティプラットフォーム６１０ａは、他のＭＲシステム上で起動する、他のアプリケーションコネクティビティプラットフォームと通信するように構成されることができる。

【0078】

いくつかの実施形態では、協働コア６１０ｂは、同時編集のために、データ同期サービスを提供することができる。いくつかの実施形態では、協働コア６１０ｂは、編集データを１つまたはそれを上回る能力インスタンスから受信するように構成されることができる。いくつかの実施形態では、協働コア６１０ｂは、外部同期サービス（例えば、Ｆｉｒｅｂａｓｅ）と通信し、セッション内の仮想コンテンツに対する同時編集を同期させるように構成されることができる。

【0079】

いくつかの実施形態では、アプリケーションコネクティビティプラットフォーム６１０ａおよび／または協働コア６１０ｂは、セッションマネージャ６０４と通信してもよい。いくつかの実施形態では、セッションマネージャ６０４は、権限が付与された情報を、直接、アプリケーションコネクティビティプラットフォーム６１０ａおよび／または協働コア６１０ｂに提供してもよい（例えば、ユーザ識別データ）。能力インスタンスが、セキュリティリスクを権限が付与されたデータに曝し得る、未知の開発者によって開発され得るため、権限が付与された情報を能力インスタンスから遮蔽することが、有益であり得る。

【0080】

アプリケーションコネクティビティプラットフォーム６１０ａおよび協働コア６１０ｂは、別個のサービスとして描写されるが、また、それぞれによって提供される機能が、単一サービスとして、または２つまたはそれを上回るサービスとして提供され得ることも検討される。

【0081】

いくつかの実施形態では、セッションマネージャ６０４は、１つまたはそれを上回る遠隔サーバおよび／または１つまたはそれを上回るＭＲシステムと通信し、セッションインスタンスを同期させてもよい。例えば、第２のＭＲシステムが、セッションを開始し、ＭＲシステム６０２をセッションに参加するように招待してもよい。いくつかの実施形態では、セッションマネージャ６０４は、新しく加わったセッションに対応する、新しいセッションインスタンスを作成してもよい。いくつかの実施形態では、新しいセッションインスタンスは、第２のＭＲシステム上のセッションインスタンスのコピーであってもよい。いくつかの実施形態では、セッションインスタンスは、１つまたはそれを上回る遠隔サーバから受信されてもよい。いくつかの実施形態では、セッションインスタンスデータは、１つまたはそれを上回る遠隔サーバに伝送されてもよい（例えば、能力インスタンスが、更新されている場合、更新を他のセッションユーザに伝送することが望ましくあり得る）。いくつかの実施形態では、セッションインスタンスデータは、セッションデータが、保存され、後の時間に再アクセスされ得るように、セッションの終了時（例えば、最後のユーザがセッションから退出するとき）、１つまたはそれを上回る遠隔サーバに伝送されることができる。いくつかの実施形態では、セッションマネージャおよび／またはセッションインスタンスは、１つまたはそれを上回るサービス（例えば、アプリケーションコネクティビティプラットフォーム６１０ａによって提供される１つまたはそれを上回るサービス）と通信し、セッションインスタンスデータを他のセッションインスタンス（別のＭＲシステムまたは遠隔サーバに記憶され得る）と同期させてもよい。いくつかの実施形態では、セッションマネージャおよび／またはセッションインスタンスは、１つまたはそれを上回るサービスと通信し、リアルタイムおよび／または短待ち時間通信リンクを１つまたはそれを上回る遠隔エンドポイント（例えば、セッション内の他のＭＲシステム）と確立してもよい。

【0082】

図７は、いくつかの実施形態による、例示的セッションインスタンスアーキテクチャを図示する。いくつかの実施形態では、セッションインスタンス７０２は、セッションインスタンス６０４ａおよび／または６０４ｂに対応し得る。いくつかの実施形態では、セッションインスタンス７０２は、１つまたはそれを上回るデータ構造を含むことができ、これは、１つまたはそれを上回る付加的データ構造（例えば、能力モジュール７０４、参加者モジュール７０８、場所モジュール７１２、および／または存在モジュール７１６）を記憶するように構成されることができる。能力モジュール７０４は、セッション内の１つまたはそれを上回る能力インスタンスに対応する、データおよび／またはデータ構造を管理してもよい。例えば、インスタンス７０６ａは、仮想オブジェクトに対応し得る。いくつかの実施形態では、インスタンス７０６ａは、変換データを含んでもよく、これは、仮想オブジェクトの位置を持続座標データおよび／または１つまたはそれを上回るセッションハンドル場所に関連させてもよい。いくつかの実施形態では、インスタンス７０６ａは、協働コアサービスへの１つまたはそれを上回る参照を含んでもよい。いくつかの実施形態では、協働コアサービスへの参照は、変更がユーザによってインスタンス７０６ａに行われる場合、インスタンス７０６ａが、適切に通知および／または更新されることを可能にし得る。いくつかの実施形態では、インスタンス７０６ａは、アプリケーションコネクティビティプラットフォームデータ（例えば、データが送信されるべき場所、使用されるべきパイプ等）を含んでもよい。いくつかの実施形態では、能力モジュール７０４は、１つまたはそれを上回る能力インスタンス（例えば、能力インスタンス６０８ａ）と通信するように構成されてもよい。

【0083】

いくつかの実施形態では、セッションインスタンス７０２は、参加者モジュール７０８を含んでもよい。参加者モジュール７０８は、セッション内の１人またはそれを上回るユーザに対応する、データおよび／またはデータ構造を管理してもよい。例えば、ユーザ７１０ａは、ユーザによって使用されるＭＲシステムに関する識別子を含んでもよい。いくつかの実施形態では、ユーザ７１０ａは、アバタデータ（例えば、外観、サイズ、色等）を含んでもよい。いくつかの実施形態では、ユーザ７１０ａは、場所データを含んでもよい。いくつかの実施形態では、場所データは、ＧＰＳデータ、ＷｉＦｉデータ、セルラーデータ、持続座標データ等を含むことができる。

【0084】

いくつかの実施形態では、セッションインスタンス７０２は、場所モジュール７１２を含んでもよい。場所モジュール７１２は、セッション内の１つまたはそれを上回る場所に対応する、データおよび／またはデータ構造を管理してもよい。例えば、場所７１４ａは、持続座標データ、変換データ、床平面に対応するデータ等を含んでもよい。いくつかの実施形態では、場所７１４ａは、ユーザ場所に対応し得る。いくつかの実施形態では、場所７１４ａは、セッションハンドル場所に対応し得る。

【0085】

いくつかの実施形態では、セッションインスタンス７０２は、存在モジュール７１６を含んでもよい。存在モジュール７１６は、１人またはそれを上回るユーザのローカルおよび／または遠隔ステータスに対応する、データおよび／またはデータ構造を管理してもよい。例えば、インスタンス７１８ａは、第１のユーザが、第２のユーザから遠隔であって、第３のユーザが、第２のユーザにローカルであることを示し得る。いくつかの実施形態では、インスタンス７１８ａは、（例えば、アプリケーションコネクティビティプラットフォーム６１０ａを使用する）ユーザ間の通信のために使用される、データを含んでもよい。

【0086】

システム、方法、およびコンピュータ可読媒体が、開示される。いくつかの実施例によると、システムは、透過型ディスプレイを備える、ウェアラブルデバイスと、持続座標データを受信することと、ウェアラブルデバイスの透過型ディスプレイを介して、第１の仮想セッションハンドルを第１のユーザに第１の位置において提示することであって、第１の位置は、持続座標データに基づいて決定される、ことと、透過型ディスプレイを介して、仮想オブジェクトを第１のユーザに第２の位置において提示することであって、第２の位置は、第１の位置に基づいて決定される、ことと、場所データを第２のユーザから受信することであって、場所データは、第２のユーザの位置を第２の仮想セッションハンドルの位置に関連させる、ことと、透過型ディスプレイを介して、仮想アバタを第１のユーザに第３の位置において提示することであって、仮想アバタは、第２のユーザに対応し、第３の位置は、場所データに基づいて決定され、第３の位置はさらに、第１の位置に基づいて決定される、こととを含む、方法を実行するように構成される、１つまたはそれを上回るプロセッサとを備える。いくつかの実施例では、本方法はさらに、入力を第２のユーザから受信することと、第２のユーザからの入力の受信に応答して、透過型ディスプレイを介して、仮想オブジェクトを第１のユーザに第４の位置において提示することとを含む。いくつかの実施例では、仮想オブジェクトは、第１のユーザからの入力に応答して、第１のユーザに第２の位置において提示され、本方法はさらに、第１のユーザからの入力を第２のユーザに伝送することを含む。いくつかの実施例では、本方法はさらに、入力を第１のユーザから受信することと、第１のユーザからの入力の受信に応答して、第１のセッションハンドルを第１のユーザに第４の位置において提示することと、透過型ディスプレイを介して、仮想オブジェクトを第１のユーザに第５の位置において提示することであって、第５の位置は、第４の位置に基づいて決定される、こととを含む。いくつかの実施例では、本方法はさらに、第１のユーザからの入力を第２のユーザに伝送することを含む。いくつかの実施例では、本方法はさらに、メモリ内に、第１の時間におけるセッションインスタンスと関連付けられる、第１の位置、第２の位置、および第３の位置を記憶することと、メモリから、第１の時間より後の第２の時間において、第１の位置、第２の位置、および第３の位置を受信することとを含む。

【0087】

いくつかの実施例によると、方法は、持続座標データを受信することと、ウェアラブルデバイスの透過型ディスプレイを介して、第１の仮想セッションハンドルを第１のユーザに第１の位置において提示することであって、第１の位置は、持続座標データに基づいて決定される、ことと、透過型ディスプレイを介して、仮想オブジェクトを第１のユーザに第２の位置において提示することであって、第２の位置は、第１の位置に基づいて決定される、ことと、場所データを第２のユーザから受信することであって、場所データは、第２のユーザの位置を第２の仮想セッションハンドルの位置に関連させる、ことと、透過型ディスプレイを介して、仮想アバタを第１のユーザに第３の位置において提示することであって、仮想アバタは、第２のユーザに対応し、第３の位置は、場所データに基づいて決定され、第３の位置はさらに、第１の位置に基づいて決定される、こととを含む。いくつかの実施例では、本方法はさらに、入力を第２のユーザから受信することと、第２のユーザからの入力の受信に応答して、透過型ディスプレイを介して、仮想オブジェクトを第１のユーザに第４の位置において提示することとを含む。いくつかの実施例では、仮想オブジェクトは、第１のユーザからの入力に応答して、第１のユーザに第２の位置において提示され、本方法はさらに、第１のユーザからの入力を第２のユーザに伝送することを含む。いくつかの実施例では、本方法はさらに、入力を第１のユーザから受信することと、第１のユーザからの入力の受信に応答して、第１のセッションハンドルを第１のユーザに第４の位置において提示することと、透過型ディスプレイを介して、仮想オブジェクトを第１のユーザに第５の位置において提示することであって、第５の位置は、第４の位置に基づいて決定される、こととを含む。いくつかの実施例では、本方法はさらに、第１のユーザからの入力を第２のユーザに伝送することを含む。いくつかの実施例では、本方法はさらに、メモリ内に、第１の時間におけるセッションインスタンスと関連付けられる、第１の位置、第２の位置、および第３の位置を記憶することと、メモリから、第１の時間より後の第２の時間において、第１の位置、第２の位置、および第３の位置を受信することとを含む。

【0088】

いくつかの実施例によると、非一過性コンピュータ可読媒体は、１つまたはそれを上回るプロセッサによって実行されると、１つまたはそれを上回るプロセッサに、持続座標データを受信することと、ウェアラブルデバイスの透過型ディスプレイを介して、第１の仮想セッションハンドルを第１のユーザに第１の位置において提示することであって、第１の位置は、持続座標データに基づいて決定される、ことと、透過型ディスプレイを介して、仮想オブジェクトを第１のユーザに第２の位置において提示することであって、第２の位置は、第１の位置に基づいて決定される、ことと、場所データを第２のユーザから受信することであって、場所データは、第２のユーザの位置を第２の仮想セッションハンドルの位置に関連させる、ことと、透過型ディスプレイを介して、仮想アバタを第１のユーザに第３の位置において提示することであって、仮想アバタは、第２のユーザに対応し、第３の位置は、場所データに基づいて決定され、第３の位置はさらに、第１の位置に基づいて決定される、こととを含む、方法を実行させる、命令を記憶する。いくつかの実施例では、本方法はさらに、入力を第２のユーザから受信することと、第２のユーザからの入力の受信に応答して、透過型ディスプレイを介して、仮想オブジェクトを第１のユーザに第４の位置において提示することとを含む。いくつかの実施例では、仮想オブジェクトは、第１のユーザからの入力に応答して、第１のユーザに第２の位置において提示され、本方法はさらに、第１のユーザからの入力を第２のユーザに伝送することを含む。いくつかの実施例では、本方法はさらに、入力を第１のユーザから受信することと、第１のユーザからの入力の受信に応答して、第１のセッションハンドルを第１のユーザに第４の位置において提示することと、透過型ディスプレイを介して、仮想オブジェクトを第１のユーザに第５の位置において提示することであって、第５の位置は、第４の位置に基づいて決定される、こととを含む。いくつかの実施例では、本方法はさらに、第１のユーザからの入力を第２のユーザに伝送することを含む。いくつかの実施例では、本方法はさらに、メモリ内に、第１の時間におけるセッションインスタンスと関連付けられる、第１の位置、第２の位置、および第３の位置を記憶することと、メモリから、第１の時間より後の第２の時間において、第１の位置、第２の位置、および第３の位置を受信することとを含む。

【0089】

いくつかの実施例によると、システムは、第１の透過型ディスプレイおよび１つまたはそれを上回るセンサを備える、第１のウェアラブルデバイスと、第１の入力を第１のウェアラブルデバイスと関連付けられる第１のセッションユーザから受信することと、第１の入力の受信に応答して、セッションインスタンスを生成することであって、セッションインスタンスは、１つまたはそれを上回る能力インスタンスに対応する、データを記憶するように構成され、セッションインスタンスはさらに、１つまたはそれを上回るセッションユーザに対応する、データを記憶するように構成される、ことと、第１のウェアラブルデバイスの第１の透過型ディスプレイを介して、仮想セッションハンドルを第１のセッションユーザに第１のセッションハンドル位置において提示することと、第２の入力を第１のセッションユーザから受信することと、第２の入力の受信に応答して、プロセスと関連付けられる第１の能力インスタンスを生成することであって、プロセスは、仮想オブジェクトを投影することを含む、ことと、第１の透過型ディスプレイを介して、仮想オブジェクトを第１のセッションユーザに第１のオブジェクト位置において提示することと、第２のウェアラブルデバイスの第２の透過型ディスプレイを介して、仮想オブジェクトを第２のセッションユーザに第２のオブジェクト位置において提示することと、第１のセッションハンドル位置、第１のオブジェクト位置、第２のオブジェクト位置、第１のセッションユーザ位置、および第２のセッションユーザ位置に対応する、データを、セッションインスタンス内に記憶することであって、第１のセッションユーザ位置は、第１のウェアラブルデバイスの１つまたはそれを上回るセンサを介して決定され、第２のセッションユーザ位置は、第２のウェアラブルデバイスの１つまたはそれを上回るセンサを介して決定される、こととを含む、方法を実行するように構成される、１つまたはそれを上回るプロセッサとを備える。いくつかの実施例では、第１のオブジェクト位置は、変換データを使用して、第１のセッションハンドル位置に関連される。いくつかの実施例では、変換データは、セッションインスタンス内に記憶される。いくつかの実施例では、本方法はさらに、位置特定ステータスに対応する、データを記憶することを含み、位置特定ステータスは、第１のセッションユーザ位置および第２のセッションユーザ位置に基づく。いくつかの実施例では、第２の入力は、第１の時間に受信され、本方法はさらに、第１の時間より後の第２の時間において、第３の入力を第１のセッションユーザから受信することと、第３の入力の受信に応答して、第１のオブジェクト位置および第１のセッションユーザ位置に対応する、データを受信することと、仮想オブジェクトを第１のセッションユーザに第１のオブジェクト位置において提示することとを含む。いくつかの実施例では、本方法はさらに、第２の能力インスタンスを生成することであって、第２の能力インスタンスは、第２のプロセスと関連付けられ、第２のプロセスは、第２のセッションユーザの仮想アバタを投影することを含む、ことと、第１の透過型ディスプレイを介して、仮想アバタを第１のセッションユーザに提示することと、仮想アバタに対応するデータをセッションインスタンス内に記憶することとを含む。いくつかの実施例では、本方法はさらに、第２の能力インスタンスを生成することを含み、第２の能力インスタンスは、第２のプロセスと関連付けられ、第２のプロセスは、第１のセッションユーザと関連付けられるビューを第２のセッションユーザに投射することを含む。

【0090】

いくつかの実施例によると、方法は、第１の入力を第１のセッションユーザから受信することと、第１の入力の受信に応答して、セッションインスタンスを生成することであって、セッションインスタンスは、１つまたはそれを上回る能力インスタンスに対応する、データを記憶するように構成され、セッションインスタンスはさらに、１つまたはそれを上回るセッションユーザに対応する、データを記憶するように構成される、ことと、第１のウェアラブルデバイスの第１の透過型ディスプレイを介して、仮想セッションハンドルを第１のセッションユーザに第１のセッションハンドル位置において提示することと、第２の入力を第１のセッションユーザから受信することと、第２の入力の受信に応答して、プロセスと関連付けられる第１の能力インスタンスを生成することであって、プロセスは、仮想オブジェクトを投影することを含む、ことと、第１の透過型ディスプレイを介して、仮想オブジェクトを第１のセッションユーザに第１のオブジェクト位置において提示することと、第２のウェアラブルデバイスの第２の透過型ディスプレイを介して、仮想オブジェクトを第２のセッションユーザに第２のオブジェクト位置において提示することと、第１のセッションハンドル位置、第１のオブジェクト位置、第２のオブジェクト位置、第１のセッションユーザ位置、および第２のセッションユーザ位置に対応する、データを、セッションインスタンス内に記憶することであって、第１のセッションユーザ位置は、第１のウェアラブルデバイスの１つまたはそれを上回るセンサを介して決定され、第２のセッションユーザ位置は、第２のウェアラブルデバイスの１つまたはそれを上回るセンサを介して決定される、こととを含む。いくつかの実施例では、第１のオブジェクト位置は、変換データを使用して、第１のセッションハンドル位置に関連される。いくつかの実施例では、変換データは、セッションインスタンス内に記憶される。いくつかの実施例では、本方法はさらに、位置特定ステータスに対応する、データを記憶することを含み、位置特定ステータスは、第１のセッションユーザ位置および第２のセッションユーザ位置に基づく。いくつかの実施例では、第２の入力は、第１の時間に受信され、本方法はさらに、第１の時間より後の第２の時間において、第３の入力を第１のセッションユーザから受信することと、第３の入力の受信に応答して、第１のオブジェクト位置および第１のセッションユーザ位置に対応する、データを受信することと、仮想オブジェクトを第１のセッションユーザに第１のオブジェクト位置において提示することとを含む。いくつかの実施例では、本方法はさらに、第２の能力インスタンスを生成することであって、第２の能力インスタンスは、第２のプロセスと関連付けられ、第２のプロセスは、第２のセッションユーザの仮想アバタを投影することを含む、ことと、第１の透過型ディスプレイを介して、仮想アバタを第１のセッションユーザに提示することと、仮想アバタに対応するデータをセッションインスタンス内に記憶することとを含む。いくつかの実施例では、本方法はさらに、第２の能力インスタンスを生成することを含み、第２の能力インスタンスは、第２のプロセスと関連付けられ、第２のプロセスは、第１のセッションユーザと関連付けられるビューを第２のセッションユーザに投射することを含む。

【0091】

いくつかの実施例によると、非一過性コンピュータ可読媒体は、１つまたはそれを上回るプロセッサによって実行されると、１つまたはそれを上回るプロセッサに、第１の入力を第１のセッションユーザから受信することと、第１の入力の受信に応答して、セッションインスタンスを生成することであって、セッションインスタンスは、１つまたはそれを上回る能力インスタンスに対応する、データを記憶するように構成され、セッションインスタンスはさらに、１つまたはそれを上回るセッションユーザに対応する、データを記憶するように構成される、ことと、第１のウェアラブルデバイスの第１の透過型ディスプレイを介して、仮想セッションハンドルを第１のセッションユーザに第１のセッションハンドル位置において提示することと、第２の入力を第１のセッションユーザから受信することと、第２の入力の受信に応答して、プロセスと関連付けられる第１の能力インスタンスを生成することであって、プロセスは、仮想オブジェクトを投影することを含む、ことと、第１の透過型ディスプレイを介して、仮想オブジェクトを第１のセッションユーザに第１のオブジェクト位置において提示することと、第２のウェアラブルデバイスの第２の透過型ディスプレイを介して、仮想オブジェクトを第２のセッションユーザに第２のオブジェクト位置において提示することと、第１のセッションハンドル位置、第１のオブジェクト位置、第２のオブジェクト位置、第１のセッションユーザ位置、および第２のセッションユーザ位置に対応する、データを、セッションインスタンス内に記憶することであって、第１のセッションユーザ位置は、第１のウェアラブルデバイスの１つまたはそれを上回るセンサを介して決定され、第２のセッションユーザ位置は、第２のウェアラブルデバイスの１つまたはそれを上回るセンサを介して決定される、こととを含む、方法を実行させる、命令を記憶する。いくつかの実施例では、第１のオブジェクト位置は、変換データを使用して、第１のセッションハンドル位置に関連される。いくつかの実施例では、変換データは、セッションインスタンス内に記憶される。いくつかの実施例では、本方法はさらに、位置特定ステータスに対応する、データを記憶することを含み、位置特定ステータスは、第１のセッションユーザ位置および第２のセッションユーザ位置に基づく。いくつかの実施例では、第２の入力は、第１の時間に受信され、本方法はさらに、第１の時間より後の第２の時間において、第３の入力を第１のセッションユーザから受信することと、第３の入力の受信に応答して、第１のオブジェクト位置および第１のセッションユーザ位置に対応する、データを受信することと、仮想オブジェクトを第１のセッションユーザに第１のオブジェクト位置において提示することとを含む。いくつかの実施例では、本方法はさらに、第２の能力インスタンスを生成することであって、第２の能力インスタンスは、第２のプロセスと関連付けられ、第２のプロセスは、第２のセッションユーザの仮想アバタを投影することを含む、ことと、第１の透過型ディスプレイを介して、仮想アバタを第１のセッションユーザに提示することと、仮想アバタに対応するデータをセッションインスタンス内に記憶することとを含む。いくつかの実施例では、本方法はさらに、第２の能力インスタンスを生成することを含み、第２の能力インスタンスは、第２のプロセスと関連付けられ、第２のプロセスは、第１のセッションユーザと関連付けられるビューを第２のセッションユーザに投射することを含む。

【0092】

開示される実施例は、付随の図面を参照して完全に説明されたが、種々の変更および修正が、当業者に明白となるであろうことに留意されたい。例えば、１つまたはそれを上回る実装の要素は、組み合わせられ、削除され、修正され、または補完され、さらなる実装を形成してもよい。そのような変更および修正は、添付の請求項によって定義されるような開示される実施例の範囲内に含まれるものとして理解されるべきである。

【図1A】

【図1B】

【図1C】

【図2A】

【図2B】

【図2C】

【図2D】

【図3A】

【図3B】

【図4】

【図5A】

【図5B】

【図5C】

【図6】

【図7】