特表 2024-529848 オブジェクトの動作モダリティを動的に選択するための方法及びデバイス

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-08-14

(54)【発明の名称】オブジェクトの動作モダリティを動的に選択するための方法及びデバイス

(51)【国際特許分類】

   G06F 3/01 20060101AFI20240806BHJP

   G06F 3/0346 20130101ALI20240806BHJP

   G06T 19/00 20110101ALI20240806BHJP

【ＦＩ】

G06F3/01 514

G06F3/01 570

G06F3/0346 423

G06F3/0346 422

G06T19/00 600

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024500164

(86)(22)【出願日】2022-07-01

(85)【翻訳文提出日】2024-01-05

(86)【国際出願番号】 US2022036027

(87)【国際公開番号】W WO2023283145

(87)【国際公開日】2023-01-12

(31)【優先権主張番号】63/218,471

(32)【優先日】2021-07-05

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

２．ＺＩＧＢＥＥ

３．ＷＣＤＭＡ

４．ＦＩＲＥＷＩＲＥ

(71)【出願人】

【識別番号】503260918

【氏名又は名称】アップル インコーポレイテッド

【氏名又は名称原語表記】Ａｐｐｌｅ Ｉｎｃ．

【住所又は居所原語表記】Ｏｎｅ Ａｐｐｌｅ Ｐａｒｋ Ｗａｙ，Ｃｕｐｅｒｔｉｎｏ， Ｃａｌｉｆｏｒｎｉａ ９５０１４， Ｕ．Ｓ．Ａ．

(74)【代理人】

【識別番号】100094569

【弁理士】

【氏名又は名称】田中 伸一郎

(74)【代理人】

【識別番号】100103610

【弁理士】

【氏名又は名称】▲吉▼田 和彦

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100139712

【弁理士】

【氏名又は名称】那須 威夫

(74)【代理人】

【識別番号】100170209

【弁理士】

【氏名又は名称】林 陽和

(72)【発明者】

【氏名】バーンズ アーロン マッケイ

(72)【発明者】

【氏名】ブラフニツキー ベンジャミン ロルフ

(72)【発明者】

【氏名】コイア サマンサ

(72)【発明者】

【氏名】フォン カプリ アネット リア フライン

(72)【発明者】

【氏名】ヨガナンダン アルン ラケシュ

(72)【発明者】

【氏名】ノレット クリストファー ルーク

(72)【発明者】

【氏名】シャッテル デヴィッド マイケル

【テーマコード（参考）】

5B050

5B087

5E555

【Ｆターム（参考）】

5B050AA10

5B050BA09

5B050BA11

5B050CA08

5B050DA04

5B050EA09

5B050EA19

5B050EA27

5B050FA02

5B050FA05

5B050FA08

5B087AA09

5B087BC12

5B087BC13

5E555AA64

5E555BA38

5E555BB38

5E555BC04

5E555BE17

5E555CA42

5E555CA47

5E555CB55

5E555CB64

5E555CB65

5E555CB66

5E555CC01

5E555CC05

5E555DB53

5E555DC13

5E555DC21

5E555DD05

5E555EA11

5E555EA22

5E555FA00

(57)【要約】

一実装形態では、物理オブジェクトの動作モダリティを動的に選択するための方法が提供される。本方法は、複数の異なる入力モダリティのうちの１つに関連付けられた少なくとも１つのユーザ入力インジケータ値を含むユーザ入力ベクトルを取得することと、物理オブジェクトに関連付けられた追跡データを取得することと、ユーザ入力ベクトル及び追跡データに基づいて、姿勢値及びユーザグリップ値を含む、物理オブジェクトについての第１の特徴付けベクトルであって、姿勢値は、物理オブジェクトとコンピューティングシステムのユーザとの間の空間関係を特徴付け、ユーザグリップ値は、物理オブジェクトがユーザによって保持されている様式を特徴付ける、第１の特徴付けベクトルを生成することと、第１の特徴付けベクトルに基づいて、物理オブジェクトについての現在の動作モダリティとして第１の動作モダリティを選択することと、を含む。

【特許請求の範囲】

【請求項1】

方法であって、
非一時的メモリと１つ以上のプロセッサとを含み、ディスプレイデバイスに通信可能に結合される、コンピューティングシステムにおいて、
複数の異なる入力モダリティのうちの１つに関連付けられた少なくとも１つのユーザ入力インジケータ値を含むユーザ入力ベクトルを取得することと、
物理オブジェクトに関連付けられた追跡データを取得することと、
前記ユーザ入力ベクトル及び前記追跡データに基づいて、姿勢値及びユーザグリップ値を含む、前記物理オブジェクトについての第１の特徴付けベクトルであって、前記姿勢値は、前記物理オブジェクトと前記コンピューティングシステムのユーザとの間の空間関係を特徴付け、前記ユーザグリップ値は、前記物理オブジェクトが前記ユーザによって保持されている様式を特徴付ける、第１の特徴付けベクトルを生成することと、
前記第１の特徴付けベクトルに基づいて、第１の動作モダリティを前記物理オブジェクトについての現在の動作モダリティとして選択することと、を含む方法。

【請求項2】

前記第１の動作モダリティは、口述モード、デジタルアシスタントモード、ナビゲーションモード、操作モード、マーキングモード、消去モード、ポインティングモード、又は具現化モードのうちの１つに対応する、請求項１に記載の方法。

【請求項3】

前記第１の動作モダリティを前記物理オブジェクトについての前記現在の出力モダリティとして選択した後に、
前記ディスプレイデバイスを介して、ユーザインタフェースを表示することと、
前記ユーザインタフェース内のコンテンツに向けられた前記物理オブジェクトによる修正入力を検出することと、
前記修正入力を検出したことに応じて、前記修正入力及び前記第１の動作モダリティに基づいて前記ユーザインタフェース内の前記コンテンツを修正することと、
を更に含む、請求項１又は２に記載の方法。

【請求項4】

前記物理オブジェクトに関連付けられた前記ユーザ入力ベクトル又は前記追跡データのうちの１つの変化を検出することと、
前記ユーザ入力ベクトル又は前記物理オブジェクトに関連付けられた前記追跡データのうちの１つの前記変化を検出したことに応じて、
前記ユーザ入力ベクトル又は前記物理オブジェクトに関連付けられた前記追跡データのうちの１つの前記変化に基づいて、前記物理オブジェクトについての第２の特徴付けベクトルを判定することと、
前記第２の特徴付けベクトルに基づいて、前記物理オブジェクトについての現在の動作モダリティとして、前記第１の動作モダリティとは異なる第２の動作モダリティを選択することと、
を更に含む、請求項１又は２に記載の方法。

【請求項5】

前記ディスプレイデバイスを介して、ユーザインタフェースを表示することと、
前記物理オブジェクトについての前記現在の出力モダリティとして前記第２の動作モダリティを選択した後に、前記ユーザインタフェース内のコンテンツに向けられた前記物理オブジェクトによる修正入力を検出することと、
前記修正入力を検出したことに応じて、前記修正入力及び前記第２の動作モダリティに基づいて前記ユーザインタフェース内の前記コンテンツを修正することと、
を更に含む、請求項４に記載の方法。

【請求項6】

前記第１の動作モダリティを前記物理オブジェクトについての前記現在の出力モダリティとして選択した後に、前記ディスプレイデバイスを介して、１つ以上の仮想オブジェクトを含む拡張現実（ＸＲ）環境を提示することを更に含み、前記物理オブジェクトは、前記第１の動作モダリティに従って前記ＸＲ環境内の前記１つ以上の仮想オブジェクトと対話するように提供される、
請求項１～５のいずれか一項に記載の方法。

【請求項7】

前記ディスプレイデバイスが透明レンズアセンブリに対応し、前記ＸＲ環境の前記提示が前記透明レンズアセンブリ上に投影される、請求項６に記載の方法。

【請求項8】

前記ディスプレイデバイスが、ニアアイシステムに対応し、前記ＸＲ環境を提示することが、前記ＸＲ環境の前記提示を、外向き画像センサによってキャプチャされた物理環境の１つ以上の画像と合成することを含む、請求項６に記載の方法。

【請求項9】

前記ＸＲ環境が、前記姿勢値及び前記ユーザグリップ値のうちの少なくとも１つに関連付けられた１つ以上の視覚インジケータを含む、請求項６～８のいずれか一項に記載の方法。

【請求項10】

前記ＸＲ環境が、前記現在の動作モダリティに関連付けられた１つ以上の視覚インジケータを含む、請求項６～９のいずれか一項に記載の方法。

【請求項11】

物理環境の１つ以上の画像を取得することと、
前記物理環境の前記１つ以上の画像を用いて前記物理オブジェクトを認識することと、
ユーザインタフェースと対話するときにフォーカス選択部として機能するように前記物理オブジェクトを割り当てることと、
を更に含む、請求項１～１０のいずれか一項に記載の方法。

【請求項12】

前記コンピューティングシステムが、前記物理オブジェクトに更に通信可能に結合され、前記物理オブジェクトに関連付けられた前記追跡データを取得することが、前記物理オブジェクトから前記追跡データを取得することを含み、前記追跡データが、前記物理オブジェクトの１つ以上の統合センサからの出力データに対応する、請求項１～１１のいずれか一項に記載の方法。

【請求項13】

前記物理オブジェクトに関連付けられた前記追跡データが、前記姿勢値を含む、請求項１２に記載の方法。

【請求項14】

前記コンピューティングシステムが、前記物理オブジェクトに更に通信可能に結合され、前記ユーザ入力ベクトルを取得することが、前記物理オブジェクトから前記ユーザ入力ベクトルを取得することを含み、前記ユーザ入力ベクトルが、前記物理オブジェクトの１つ以上の統合センサからの出力データに対応する、請求項１～１１のいずれか一項に記載の方法。

【請求項15】

前記ユーザ入力ベクトルが、前記ユーザグリップ値を含む、請求項１４に記載の方法。

【請求項16】

前記コンピューティングシステムが、１つ以上の外向き画像センサに更に通信可能に結合され、前記物理オブジェクトに関連付けられた前記追跡データを取得することが、前記物理オブジェクトを視覚的に追跡するために、前記１つ以上の外向き画像センサによってキャプチャされた画像ストリームを分析することを含む、請求項１～１５のいずれか一項に記載の方法。

【請求項17】

前記コンピューティングシステムが、１つ以上の四肢追跡インジケータ値を出力する四肢追跡サブシステムに更に通信可能に結合され、前記１つ以上の四肢追跡インジケータ値が、前記複数の入力モダリティのうちの四肢追跡モダリティに関連付けられ、前記ユーザ入力ベクトルが、前記１つ以上の四肢追跡インジケータ値を含む、請求項１～１６のいずれか一項に記載の方法。

【請求項18】

前記コンピューティングシステムが、１つ以上の頭部／胴体姿勢追跡インジケータ値を出力する頭部／胴体姿勢追跡サブシステムに更に通信可能に結合され、前記１つ以上の頭部／胴体姿勢追跡インジケータ値が、前記複数の入力モダリティのうちの頭部／胴体姿勢追跡モダリティに関連付けられ、前記ユーザ入力ベクトルが、前記１つ以上の頭部／胴体姿勢追跡インジケータ値を含む、請求項１～１７のいずれか一項に記載の方法。

【請求項19】

前記コンピューティングシステムが、１つ以上の音声検出インジケータ値を出力する音声検出サブシステムに更に通信可能に結合され、前記１つ以上の音声検出インジケータ値が、前記複数の入力モダリティのうちの音声検出モダリティに関連付けられ、前記ユーザ入力ベクトルが、前記１つ以上の音声検出インジケータ値を含む、請求項１～１８のいずれか一項に記載の方法。

【請求項20】

前記コンピューティングシステムが、１つ以上の視線追跡インジケータ値を出力する視線追跡サブシステムに更に通信可能に結合され、前記１つ以上の視線追跡インジケータ値が、前記複数の入力モダリティのうちの視線追跡モダリティに関連付けられ、前記ユーザ入力ベクトルが、前記１つ以上の視線追跡インジケータ値を含む、請求項１～１９のいずれか一項に記載の方法。

【請求項21】

前記第１の動作モダリティがデジタルアシスタントを呼び出すことに対応すると判定したことに応じて、ユーザインタフェース内にデジタルアシスタント（ＤＡ）インジケータを表示することと、
前記１つ以上の視線追跡インジケータ値が前記ＤＡインジケータに対応すると判定したことに応じて、前記ＤＡインジケータの外観を変更し、前記ＤＡを有効にすることと、
を更に含む、請求項２０に記載の方法。

【請求項22】

前記ＤＡインジケータの前記外観を変更することが、前記ＤＡインジケータのサイズをスケーリングすること、前記ＤＡインジケータの色を変更すること、又は前記ＤＡインジケータの輝度を変更することのうちの少なくとも１つに対応する、請求項２１に記載の方法。

【請求項23】

デバイスであって、
１つ以上のプロセッサと、
非一時的メモリと、
ディスプレイデバイスと通信するためのインタフェースと、
前記非一時的メモリに記憶された１つ以上のプログラムであって、前記１つ以上のプロセッサによって実行されると、前記デバイスに請求項１～２２のいずれか一項に記載の方法を実行させる、１つ以上のプログラムと、を備えるデバイス。

【請求項24】

１つ以上のプログラムを記憶する非一時的メモリであって、前記１つ以上のプログラムが、ディスプレイデバイスと通信するためのインタフェースを有するデバイスの１つ以上のプロセッサによって実行されると、前記デバイスに請求項１～２２のいずれか一項に記載の方法を実行させる、非一時的メモリ。

【請求項25】

デバイスであって、
１つ以上のプロセッサと、
非一時的メモリと、
ディスプレイデバイスと通信するためのインタフェースと、
前記デバイスに、請求項１～２２のいずれか一項に記載の方法を実行させる手段と、を備えるデバイス。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、概して、オブジェクトを有する環境と対話することに関し、特に、物理オブジェクトについての動作モダリティを動的に選択するためのシステム、方法、及び方法に関する。

【背景技術】

【0002】

スタイラスの挙動を変更するために、ユーザは通常、利用可能なツールのメニューから異なるツールを選択する。これは、扱いにくく面倒なプロセスであり得る。

【0003】

本開示は、当業者によって理解され得るように、いくつかの例示的な実装形態の態様を参照することによって、より詳細な説明を有してもよく、そのいくつかは添付図面に示されている。

【図面の簡単な説明】

【0004】

【図1】いくつかの実装形態に係る、例示的な動作アーキテクチャのブロック図である。

【0005】

【図2】いくつかの実装形態に係る、例示的なコントローラのブロック図である。

【0006】

【図3】いくつかの実装形態に係る、例示的な電子デバイスのブロック図である。

【0007】

【図4】いくつかの実装形態に係る、例示的な制御デバイスのブロック図である。

【0008】

【図5A】いくつかの実装形態に係る、例示的なコンテンツ配信アーキテクチャの第１の部分のブロック図である。

【0009】

【図5B】いくつかの実装形態に係る、例示的なデータ構造を示す。

【0010】

【図5C】いくつかの実装形態に係る、例示的なコンテンツ配信アーキテクチャの第２の部分のブロック図である。

【0011】

【図6A】いくつかの実装形態に係る、コンテンツ配信シナリオのためのインスタンスのシーケンスを示す。

【図6B】いくつかの実装形態に係る、コンテンツ配信シナリオのためのインスタンスのシーケンスを示す。

【図6C】いくつかの実装形態に係る、コンテンツ配信シナリオのためのインスタンスのシーケンスを示す。

【図6D】いくつかの実装形態に係る、コンテンツ配信シナリオのためのインスタンスのシーケンスを示す。

【図6E】いくつかの実装形態に係る、コンテンツ配信シナリオのためのインスタンスのシーケンスを示す。

【図6F】いくつかの実装形態に係る、コンテンツ配信シナリオのためのインスタンスのシーケンスを示す。

【図6G】いくつかの実装形態に係る、コンテンツ配信シナリオのためのインスタンスのシーケンスを示す。

【図6H】いくつかの実装形態に係る、コンテンツ配信シナリオのためのインスタンスのシーケンスを示す。

【図6I】いくつかの実装形態に係る、コンテンツ配信シナリオのためのインスタンスのシーケンスを示す。

【図6J】いくつかの実装形態に係る、コンテンツ配信シナリオのためのインスタンスのシーケンスを示す。

【図6K】いくつかの実装形態に係る、コンテンツ配信シナリオのためのインスタンスのシーケンスを示す。

【図6L】いくつかの実装形態に係る、コンテンツ配信シナリオのためのインスタンスのシーケンスを示す。

【図6M】いくつかの実装形態に係る、コンテンツ配信シナリオのためのインスタンスのシーケンスを示す。

【図6N】いくつかの実装形態に係る、コンテンツ配信シナリオのためのインスタンスのシーケンスを示す。

【図6O】いくつかの実装形態に係る、コンテンツ配信シナリオのためのインスタンスのシーケンスを示す。

【図6P】いくつかの実装形態に係る、コンテンツ配信シナリオのためのインスタンスのシーケンスを示す。

【図6Q】いくつかの実装形態に係る、コンテンツ配信シナリオのためのインスタンスのシーケンスを示す。

【図6R】いくつかの実装形態に係る、コンテンツ配信シナリオのためのインスタンスのシーケンスを示す。

【0012】

【図7】いくつかの実装形態に係る、物理オブジェクトの動作モダリティを動的に選択する方法のフローチャートである。

【発明を実施するための形態】

【0013】

慣行により、図面に示される様々な特徴は縮尺どおりに描かれていない場合がある。したがって、様々な特徴の寸法は明確化のために、任意に拡大又は縮小されている場合がある。加えて、いくつかの図面は、所与のシステム、方法、又はデバイスの構成要素の全てを描いていない場合がある。最後に、本明細書及び図の全体を通して、同様の特徴を有することを示すために、同様の参照番号が使用される場合がある。

【0014】

本明細書で開示される様々な実装形態は、物理オブジェクトの動作モダリティを動的に選択するためのデバイス、システム、及び方法を含む。いくつかの実装形態によれば、方法は、非一時的メモリと１つ以上のプロセッサとを含むコンピューティングシステムにおいて実行され、コンピューティングシステムは、ディスプレイデバイスに通信可能に結合される。本方法は、複数の異なる入力モダリティのうちの１つに関連付けられた少なくとも１つのユーザ入力インジケータ値を含むユーザ入力ベクトルを取得することと、物理オブジェクトに関連付けられた追跡データを取得することと、ユーザ入力ベクトル及び追跡データに基づいて、姿勢値及びユーザグリップ値を含む、物理オブジェクトについての第１の特徴付けベクトルであって、姿勢値は、物理オブジェクトとコンピューティングシステムのユーザとの間の空間関係を特徴付け、ユーザグリップ値は、物理オブジェクトがユーザによって保持されている様式を特徴付ける、第１の特徴付けベクトルを生成することと、第１の特徴付けベクトルに基づいて、物理オブジェクトについての現在の動作モダリティとして第１の動作モダリティを選択することと、を含む。

【0015】

いくつかの実装形態では、電子デバイスは、１つ以上のディスプレイと、１つ以上のプロセッサと、非一時的メモリと、１つ以上のプログラムと、を含み、１つ以上のプログラムは、非一時的メモリに記憶され、１つ以上のプロセッサによって実行されるように構成されており、１つ以上のプログラムは、本明細書に記載の方法のいずれかを実行するか又は実行させる命令を含む。いくつかの実装形態によれば、非一時的コンピュータ可読記憶媒体は内部に命令を記憶しており、この命令は、デバイスの１つ以上のプロセッサによって実行されると、それに基づきデバイスは本明細書内で説明する方法のうちのいずれかの動作を実行又は実行させる。いくつかの実装形態によれば、デバイスは、１つ以上のディスプレイと、１つ以上のプロセッサと、非一時的メモリと、本明細書に記載される方法のいずれかを実行する又は実行させる手段と、を含む。

【0016】

いくつかの実装形態によれば、コンピューティングシステムは、１つ以上のプロセッサと、非一時的メモリと、ディスプレイデバイス及び１つ以上の入力デバイスと通信するためのインタフェースと、１つ以上のプログラムと、を含み、１つ以上のプログラムは、非一時的メモリに記憶され、１つ以上のプロセッサによって実行されるように構成されており、１つ以上のプログラムは、本明細書に記載の方法のいずれかの動作を実行する又は実行させる命令を含む。いくつかの実装形態によれば、非一時的コンピュータ可読記憶媒体は、命令を内部に記憶し、命令はディスプレイデバイス及び１つ以上の入力デバイスと通信するためのインタフェースを有するコンピューティングデバイスの１つ以上のプロセッサによって実行されると、コンピューティングシステムは本明細書に説明する方法のうちのいずれかの動作を実行するか、又は実行させる。いくつかの実装形態によれば、コンピューティングシステムは、１つ以上のプロセッサと、非一時的メモリと、ディスプレイデバイス及び１つ以上の入力デバイスと通信するためのインタフェースと、本明細書で説明する方法のいずれかの動作を実行するか又は実行させるための手段と、を含む。

【0017】

図面に示される例示的な実装形態の十分な理解を提供するために、数多くの詳細が記載されている。しかしながら、図面は単に本開示のいくつかの例示的な態様を示すものであり、したがって、限定的であると考慮されるべきではない。当業者であれば、他の有効な態様及び／又は変形が本明細書に記載される特定の詳細全てを含むものではないと理解するであろう。更に、本明細書に記載される例示的な実装形態のより適切な態様を不明瞭にしないよう、周知のシステム、方法、構成要素、デバイス及び回路は、網羅的に詳細を記載していない。

【0018】

人々は、電子デバイスを使用することなく、物理環境又は世界を感知し、又はそれと対話することができる。物理オブジェクト又は表面などの物理的特徴は、物理環境内に含まれ得る。例えば、物理環境は、物理的な建物、道路、及び車両を有する物理的な都市に対応し得る。人々は、聴覚、視覚、味覚、触覚、及び嗅覚などの種々の手段を通じて、物理環境を直接的に感知する、及び／又は物理環境と対話し得る。これと対照的に、拡張現実（ＸＲ）環境は、人々が電子デバイスを介して感知及び／又は対話する、全体的又は部分的にシミュレートされた環境であり得る。例えば、ＸＲ環境は、仮想現実（ＶＲ）コンテンツ、複合現実（ＭＲ）コンテンツ、仮想現実（ＡＲ）コンテンツなどを含み得る。ＸＲシステムを使用して、人の物理的動きの一部又はその表現が追跡され得、それに応じて、ＸＲ環境内の仮想オブジェクトの特性が、少なくとも１つの物理法則に従ってふるまうように調整され得る。例えば、ＸＲシステムは、ユーザの頭部の移動を検出し、物理環境において音及びビューがどのように変化するかをシミュレートするように、ユーザに提示される聴覚及びグラフィカルコンテンツを調整し得る。他の例では、ＸＲシステムは、ＸＲ環境を提示する電子デバイス（例えば、ラップトップ、タブレット、携帯電話など）の移動を検出し得る。したがって、ＸＲシステムは、物理環境において音及びビューがどのように変化するかをシミュレートするように、ユーザに提示される聴覚コンテンツ及びグラフィカルコンテンツを調整し得る。いくつかの事例では、物理的な動きの表現（例えば、音声コマンド）などの他の入力が、ＸＲシステムにグラフィカルコンテンツのプロパティを調整させ得る。

【0019】

多数のタイプの電子システムは、ユーザがＸＲ環境を感知するか、又はＸＲ環境と対話することを可能にすることができる。例の非網羅的リストは、ユーザの眼に配置される統合ディスプレイ機能を有するレンズ（例えば、コンタクトレンズ）、ヘッドアップディスプレイ（ＨＵＤ）、投影ベースのシステム、ヘッドマウントシステム、統合ディスプレイ技術を有する窓又はフロントガラス、ヘッドホン／イヤホン、触覚フィードバックを伴う又は伴わない入力システム（例えば、ハンドヘルド又はウェアラブルコントローラ）、スマートフォン、タブレット、デスクトップ／ラップトップコンピュータ、及びスピーカアレイを含む。ヘッドマウントシステムは、不透明ディスプレイ及び１つ以上のスピーカを含み得る。他のヘッドマウントシステムは、スマートフォンのような不透明外部ディスプレイを受け入れるように構成され得る。ヘッドマウントシステムは、１つ以上の画像センサを使用して物理環境の画像／ビデオをキャプチャし得る、又は１つ以上のマイクロフォンを使用して物理環境のオーディオをキャプチャし得る。ヘッドマウントシステムは、不透明ディスプレイではなく、透明又は半透明のディスプレイを有してもよい。透明又は半透明ディスプレイは、ホログラム媒体、光導波路、光結合器、光反射器、他の同様の技術、又はそれらの組み合わせなどの媒体を通して、画像を表す光をユーザの眼に指向してもよい。液晶オンシリコン、ＬＥＤ、μＬＥＤｓ、ＯＬＥＤ、レーザ走査光源、デジタル光投射、又はそれらの組み合わせなどの種々のディスプレイ技術が、使用され得る。いくつかの例では、透明又は半透明のディスプレイは、不透明になるように選択的に制御され得る。投影ベースのシステムは、画像をユーザの網膜上に投影する網膜投影技術を利用し得るか、又は仮想コンテンツを物理表面上に、若しくはホログラムとしてなど、物理環境内に投影し得る。

【0020】

図１は、いくつかの実装形態に係る、例示的な動作アーキテクチャ１００のブロック図である。関連する特徴が示されているが、当業者であれば、本明細書に開示される例示的な実装形態のより適切な態様を曖昧にしないように簡潔化するために、様々な他の特徴が示されていないことを、本開示から理解するであろう。その目的で、非限定的な例として、動作アーキテクチャ１００は、任意選択の処理デバイス１１０及び電子デバイス１２０（例えば、タブレット、モバイルフォン、ラップトップ、ニアアイシステム、ウェアラブルコンピューティングデバイスなど）を含む。

【0021】

いくつかの実装形態では、処理デバイス１１０は、左手１５０及び右手１５２を有するユーザ１４９、並びに任意選択的に他のユーザのためのＸＲ体験（本明細書では「ＸＲ環境」又は「仮想環境」又は「グラフィカル環境」と呼ばれることもある）を管理及び調整するように構成される。いくつかの実装形態では、処理デバイス１１０は、ソフトウェア、ファームウェア、及び／又はハードウェアの好適な組み合わせを含む。処理デバイス１１０について、図２を参照して以下でより詳細に説明する。いくつかの実装形態では、処理デバイス１１０は、物理環境１０５に対してローカル又はリモートであるコンピューティングデバイスである。例えば、処理デバイス１１０は、物理環境１０５内に所在するローカルサーバである。別の例では、処理デバイス１１０は、物理環境１０５の外側に所在するリモートサーバ（例えば、クラウドサーバ、中央サーバなど）である。いくつかの実装形態では、処理デバイス１１０は、１つ以上の有線又は無線通信チャネル１４４（例えば、ＢＬＵＥＴＯＯＴＨ、ＩＥＥＥ ８０２．１１ｘ、ＩＥＥＥ ８０２．１６ｘ、ＩＥＥＥ ８０２．３ｘなど）を介して、電子デバイス１２０と通信可能に結合される。いくつかの実装形態では、処理デバイス１１０の機能は、電子デバイス１２０によって提供される。したがって、いくつかの実装形態では、処理デバイス１１０の構成要素は電子デバイス１２０に統合される。

【0022】

図１に示すように、ユーザ１４９は、右手１５２でコントローラ１３０を把持する。図１に示すように、コントローラ１３０は、第１の端部１７６及び第２の端部１７７を含む。様々な実施形態では、第１の端部１７６は、コントローラ１３０の先端（例えば、鉛筆の先端）に対応し、第２の端部１７７は、コントローラ１３０の反対側又は下端（例えば、鉛筆の消しゴム）に対応する。図１に示すように、コントローラ１３０は、ユーザ１４９からタッチ入力を受信するためのタッチ感知面１７５を含む。いくつかの実装形態では、コントローラ１３０は、ソフトウェア、ファームウェア、及び／又はハードウェアの好適な組み合わせを含む。コントローラ１３０については、図４を参照して以下により詳細に説明する。いくつかの実装形態では、コントローラ１３０は、処理デバイス１１０への有線又は無線通信チャネルを有する電子デバイスに対応する。例えば、コントローラ１３０は、スタイラス、指装着型デバイス、ハンドヘルドデバイスなどに対応する。いくつかの実装形態では、処理デバイス１１０は、１つ以上の有線又は無線通信チャネル１４６（例えば、ＢＬＵＥＴＯＯＴＨ、ＩＥＥＥ ８０２．１１ｘ、ＩＥＥＥ ８０２．１６ｘ、ＩＥＥＥ ８０２．３ｘなど）を介して、コントローラ１３０と通信可能に結合される。

【0023】

いくつかの実装形態では、電子デバイス１２０は、オーディオ及び／又は映像（Ａ／Ｖ）コンテンツをユーザ１４９に提示するように構成される。いくつかの実装形態では、電子デバイス１２０は、ユーザインタフェース（ＵＩ）及び／又はＸＲ環境１２８をユーザ１４９に提示するように構成される。いくつかの実装形態では、電子デバイス１２０は、ソフトウェア、ファームウェア、及び／又はハードウェアの適切な組み合わせを含む。電子デバイス１２０について、図３を参照して以下でより詳細に説明する。

【0024】

いくつかの実装形態によれば、電子デバイス１２０は、ユーザ１４９が、電子デバイス１２０の視野（ＦＯＶ）１１１内にテーブル１０７を含む物理環境１０５内に物理的に存在する間に、ＸＲ体験をユーザ１４９に提示する。したがって、いくつかの実装形態では、ユーザ１４９は、自分の手（単数又は複数）で電子デバイス１２０を保持する。いくつかの実装形態では、電子デバイス１２０は、ＸＲ体験を提示している間、ＸＲシリンダ１０９を含むＸＲコンテンツ（本明細書では「グラフィカルコンテンツ」又は「仮想コンテンツ」と呼ばれることもある）を提示し、ディスプレイ１２２上で物理環境１０５（例えば、テーブル１０７又はその表現を含む）のビデオパススルーを可能にするように構成されている。例えば、ＸＲシリンダ１０９を含むＸＲ環境１２８は、立体又は３次元（３Ｄ）である。

【0025】

一例では、ＸＲシリンダ１０９は、電子デバイス１２０の並進移動及び／又は回転移動に起因してＦＯＶ１１１が変化するとき、ＸＲシリンダ１０９がディスプレイ１２２上の同じロケーションに表示されたままであるように、表示ロックされたコンテンツに対応する。別の例として、ＸＲシリンダ１０９は、電子デバイス１２０の並進移動及び／又は回転移動に起因してＦＯＶ１１１が変化してもＸＲシリンダ１０９がその元のロケーションに表示されたままであるように、世界ロックされたコンテンツに対応する。したがって、この例では、ＦＯＶ１１１が原点ロケーションを含まない場合、ＸＲ環境１２８はＸＲシリンダ１０９を含まない。例えば、電子デバイス１２０は、ニアアイシステム、モバイルフォン、タブレット、ラップトップ、ウェアラブルコンピューティングデバイスなどに対応する。

【0026】

いくつかの実装形態では、ディスプレイ１２２は、テーブル１０７を含む物理環境１０５の光学的シースルーを可能にする追加ディスプレイに対応する。例えば、ディスプレイ１２２は透明レンズに対応し、電子デバイス１２０はユーザ１４９が装着するメガネに対応する。従って、いくつかの実装形態では、電子デバイス１２０は、追加ディスプレイ上にＸＲコンテンツ（例えば、ＸＲシリンダ１０９）を投影することによってユーザインタフェースを提示し、次いで、ユーザインタフェースは、ユーザ１４９の視点から物理環境１０５上にオーバーレイされる。いくつかの実装形態では、電子デバイス１２０は、追加ディスプレイ上にＸＲコンテンツ（例えば、ＸＲシリンダ１０９）を表示することによってユーザインタフェースを提示し、次いで、ユーザインタフェースは、ユーザ１４９の視点から物理環境１０５上にオーバーレイされる。

【0027】

いくつかの実装形態では、ユーザ１４９は、ニアアイシステムなどの電子デバイス１２０を装着する。したがって、電子デバイス１２０は、ＸＲコンテンツを表示するために設けられた１つ以上のディスプレイ（例えば、単一のディスプレイ又は各眼に１つ）を含む。例えば、電子デバイス１２０は、ユーザ１４９のＦＯＶを包囲する。そのような実装形態では、電子デバイス１２０は、ＸＲ環境１２８に対応するデータを１つ以上のディスプレイ上に表示することによって、又はＸＲ環境１２８に対応するデータをユーザ１４９の網膜上に投影することによって、ＸＲ環境１２８を提示する。

【0028】

いくつかの実装形態では、電子デバイス１２０は、ＸＲ環境１２８を表示する一体型ディスプレイ（例えば、内蔵ディスプレイ）を含む。いくつかの実装形態では、電子デバイス１２０は、ヘッドマウントエンクロージャを含む。様々な実装形態では、ヘッドマウントエンクロージャは、ディスプレイを有する別のデバイスを取り付けることができる取り付け領域を含む。例えば、いくつかの実装形態では、電子デバイス１２０をヘッドマウントエンクロージャに取り付けることができる。様々な実装形態では、ヘッドマウントエンクロージャは、ディスプレイを含む別のデバイス（例えば、電子デバイス１２０）を受容するためのレセプタクルを形成するように成形される。例えば、いくつかの実装形態では、電子デバイス１２０は、ヘッドマウントエンクロージャにスライド／スナップ嵌めされる、又は別の方法で取り付けられる。いくつかの実装形態では、ヘッドマウントエンクロージャに取り付けられたデバイスのディスプレイは、ＸＲ環境１２８を提示する（例えば、表示する）。いくつかの実装形態では、電子デバイス１２０は、ユーザ１４９が電子デバイス１２０を着用又は保持せずに、ＸＲコンテンツを提示するように構成されたＸＲチャンバ、エンクロージャ、又は部屋に置き換えられる。

【0029】

いくつかの実装形態では、処理デバイス１１０及び／又は電子デバイス１２０は、物理環境１０５内の電子デバイス１２０及び／又は任意選択のリモート入力デバイスからの移動情報（例えば、胴体姿勢データ、視線追跡データ、手／肢／指／四肢追跡データなど）に基づいて、ユーザ１４９のＸＲ表現をＸＲ環境１２８内で移動させる。いくつかの実装形態では、オプションのリモート入力デバイスは、物理環境１０５内の固定又は可動感知機器（例えば、画像センサ、深度センサ、赤外線（ＩＲ）センサ、イベントカメラ、マイクロフォンなど）に対応する。いくつかの実装形態では、リモート入力デバイスの各々は、ユーザ１４９が物理環境１０５内に物理的にいる間に、入力データを収集／キャプチャし、入力データを処理デバイス１１０及び／又は電子デバイス１２０に提供するように構成される。いくつかの実装形態では、リモート入力デバイスはマイクロフォンを含み、入力データは、ユーザ１４９に関連付けられたオーディオデータ（例えば、発話サンプル）を含む。いくつかの実装形態では、リモート入力デバイスは、画像センサ（例えば、カメラ）を含み、入力データは、ユーザ１４９の画像を含む。いくつかの実装形態では、入力データは、異なる時間におけるユーザ１４９の胴体姿勢を特徴付ける。いくつかの実装形態では、入力データは、異なる時間におけるユーザ１４９の頭部姿勢を特徴付ける。いくつかの実装形態では、入力データは、異なる時間におけるユーザ１４９の手に関連付けられた手追跡情報を特徴付ける。いくつかの実装形態では、入力データは、ユーザ１４９の手などのユーザの胴体部分の速度及び／又は加速度を特徴付ける。いくつかの実装形態では、入力データは、ユーザ１４９の関節ポジション及び／又は関節配向を示す。いくつかの実装形態では、リモート入力デバイスは、スピーカ、ライトなどのフィードバックデバイスを含む。

【0030】

図２は、いくつかの実装形態に係る、電子デバイス１１０の一例のブロック図である。特定の特徴が示されているが、当業者は、本明細書に開示される実装形態のより適切な態様を曖昧にしないよう、簡潔にするために様々な他の特徴が示されていないことを、本開示から理解されよう。その目的で、非限定的な例として、いくつかの実装形態では、処理デバイス１１０は、１つ以上の処理ユニット２０２（例えば、マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、グラフィック処理ユニット（ＧＰＵ）、中央処理ユニット（ＣＰＵ）、処理コアなど）、１つ以上の入出力（Ｉ／Ｏ）デバイス２０６、１つ以上の通信インタフェース２０８（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ８０２．３ｘ、ＩＥＥＥ８０２．１１ｘ、ＩＥＥＥ８０２．１６ｘ、グローバル移動通信システム（ＧＳＭ）、符号分割多元接続（ＣＤＭＡ）、時分割多元接続（ＴＤＭＡ）、グローバル測位システム（ＧＰＳ）、赤外線（ＩＲ）、ＢＬＵＥＴＯＯＴＨ、ＺＩＧＢＥＥ、及び／又は同様のタイプのインタフェース）、１つ以上のプログラミング（例えば、Ｉ／Ｏ）インタフェース２１０、メモリ２２０、並びにこれら及び様々な他の構成要素を相互接続するための１つ以上の通信バス２０４を含む。

【0031】

いくつかの実装形態では、１つ以上の通信バス２０４は、システム構成要素間を相互接続し、かつ通信を制御する回路を含む。いくつかの実装形態では、１つ以上のＩ／Ｏデバイス２０６は、キーボード、マウス、タッチパッド、タッチスクリーン、ジョイスティック、１つ以上のマイクロフォン、１つ以上のスピーカ、１つ以上の画像センサ、１つ以上のディスプレイなどのうちの少なくとも１つを含む。

【0032】

メモリ２２０は、ダイナミックランダムアクセスメモリ（dynamic random-access memory、ＤＲＡＭ）、スタティックランダムアクセスメモリ（static random-access memory、ＳＲＡＭ）、ダブルデータレートランダムアクセスメモリ（double-data-rate random-access memory、ＤＤＲＲＡＭ）、又は他のランダムアクセスソリッドステートメモリデバイスなどの高速ランダムアクセスメモリを含む。いくつかの実装形態では、メモリ２２０には、１つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性記憶デバイスなどの不揮発性メモリが含まれる。メモリ２２０は、１つ以上の処理ユニット２０２からリモートに位置する１つ以上の記憶デバイスを任意選択的に含む。メモリ２２０は、非一時的コンピュータ可読記憶媒体を含む。いくつかの実装形態では、メモリ２２０又はメモリ２２０の非一時的コンピュータ可読記憶媒体は、以下のプログラム、モジュール、及びデータ構造、又は図２を参照して後述するそれらのサブセットを記憶する。

【0033】

オペレーティングシステム２３０は、様々な基本システムサービスを処理するための手順、及びハードウェア依存タスクを実行するための手順を含む。

【0034】

いくつかの実装形態では、データ取得部２４２は、処理デバイス１１０のＩ／Ｏデバイス２０６、電子デバイス１２０のＩ／Ｏデバイス及びセンサ３０６、並びに任意選択のリモート入力デバイスのうちの少なくとも１つからデータ（例えば、物理環境１０５のキャプチャされた画像フレーム、プレゼンテーションデータ、入力データ、ユーザ対話データ、カメラ姿勢追跡情報、視線追跡情報、頭部／胴体姿勢追跡情報、手／四肢／指／四肢追跡情報、センサデータ、ロケーションデータなど）を取得するように構成される。その目的で、様々な実装形態では、データ取得部２４２は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。

【0035】

いくつかの実装形態では、マッパ及びロケータエンジン２４４は、物理環境１０５をマッピングし、物理環境１０５に対する少なくとも電子デバイス１２０又はユーザ１４９のポジション／ロケーションを追跡するように構成される。その目的で、様々な実装形態において、マッパ及びロケータエンジン２４４は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。

【0036】

いくつかの実装形態では、データ送信部２４６は、少なくとも電子デバイス１２０及び任意選択的に１つ以上の他のデバイスにデータ（例えば、ＸＲ環境に関連するレンダリングされた画像フレームなどの提示データ、ロケーションデータなど）を送信するように構成される。その目的で、様々な実装形態において、データ送信部２４６は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。

【0037】

いくつかの実装形態では、プライバシーアーキテクチャ５０８は、データを取り込み、１つ以上のプライバシーフィルタに基づいて、データ内のユーザ情報及び／又は識別情報をフィルタリングするように構成される。プライバシーアーキテクチャ５０８について、図５Ａを参照して以下でより詳細に説明する。その目的で、様々な実装形態において、プライバシーアーキテクチャ５０８は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。

【0038】

いくつかの実装形態では、オブジェクト追跡エンジン５１０は、追跡データに基づいて物理オブジェクト（例えば、コントローラ１３０又はプロキシオブジェクト）を追跡するためのオブジェクト追跡ベクトル５１１を判定／生成し、姿勢特徴付けベクトル５１５オブジェクト追跡ベクトル５１１を経時的に更新するように構成される。例えば、図５Ｂに示すように、オブジェクト追跡ベクトル５１１は、物理オブジェクトの並進値５７２（例えば、物理環境１０５に対するｘ、ｙ、及びｚ座標に関連付けられた）物理オブジェクトの並進値、物理オブジェクトの回転値５７４（例えば、ロール、ピッチ、及びヨー）、物理オブジェクトに関連付けられた１つ以上の圧力値５７６、物理オブジェクトに関連付けられた任意選択のタッチ入力情報５７８などを含む。オブジェクト追跡エンジン５１０は、図５Ａに関して以下でより詳細に説明する。その目的で、様々な実装形態では、オブジェクト追跡エンジン５１０は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。

【0039】

いくつかの実装形態では、視線追跡エンジン５１２は、入力データに基づいて図５Ｂに示されるような視線追跡ベクトル５１３を（例えば、視線方向と共に）判定／生成し、視線追跡ベクトル５１３を経時的に更新するように構成される。例えば、視線方向は、ユーザ１４９が現在見ている物理環境１０５内の（例えば、物理環境１０５又は世界全体に対するｘ、ｙ、及びｚ座標に関連付けられた）点、物理オブジェクト、又は関心領域（ＲＯＩ）を示す。別の例として、視線方向は、ユーザ１４９が現在見ているＸＲ環境１２８内の（例えば、ＸＲ環境１２８に対するｘ、ｙ、及びｚ座標に関連付けられた）点、ＸＲオブジェクト、又は関心領域（ＲＯＩ）を示す。視線追跡エンジン５１２は、図５Ａを参照して以下でより詳細に説明する。その目的で、様々な実装形態において、視線追跡エンジン５１２は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。

【0040】

いくつかの実装形態では、胴体／頭部姿勢追跡エンジン５１４は、入力データに基づいて姿勢特徴付けベクトル５１５を判定／生成し、姿勢特徴付けベクトル５１５を経時的に更新するように構成される。例えば、図５Ｂに示されるように、姿勢特徴付けベクトル５１５は、頭部姿勢記述子５９２Ａ（例えば、上向き、下向き、中立など）、頭部姿勢についての並進値５９２Ｂ、頭部姿勢についての回転値５９２Ｃ、胴体姿勢記述子５９４Ａ（例えば、直立、着座、うつ伏せなど）、胴体部分／四肢／肢／関節についての並進値５９４Ｂ、胴体部分／四肢／肢／関節についての回転値５９４Ｃなどを含む。胴体／頭部姿勢追跡エンジン５１４は、図５Ａを参照して以下でより詳細に説明する。その目的で、様々な実装形態では、胴体／頭部姿勢追跡エンジン５１４は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。いくつかの実装形態では、オブジェクト追跡エンジン５１０、視線追跡エンジン５１２、及び胴体／頭部姿勢追跡エンジン５１４は、処理デバイス１１０に加えて、又はその代わりに電子デバイス１２０上に配置され得る。

【0041】

いくつかの実装形態では、コンテンツ選択部５２２は、１つ以上のユーザ要求及び／又は入力（例えば、音声コマンド、ＸＲコンテンツアイテムのユーザインタフェース（ＵＩ）メニューからの選択など）に基づいて、コンテンツライブラリ５２５からＸＲコンテンツ（本明細書では「グラフィカルコンテンツ」又は「仮想コンテンツ」と呼ばれることもある）を選択するように構成される。コンテンツ選択部５２２について、図５Ａを参照して以下でより詳細に説明する。その目的で、様々な実装形態では、コンテンツ選択部５２２は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。

【0042】

いくつかの実装形態では、コンテンツライブラリ５２５は、オーディオ／ビジュアル（Ａ／Ｖ）コンテンツ、仮想エージェント（ＶＡ）、及び／又はＸＲコンテンツ、オブジェクト、アイテム、風景などの複数のコンテンツアイテムを含む。一例として、ＸＲコンテンツは、ユーザがキャプチャしたビデオ、映画、ＴＶエピソード、及び／又は他のＸＲコンテンツの３Ｄ再構成を含む。いくつかの実装形態では、コンテンツライブラリ５２５は、ユーザ１４９によって事前に入力されるか、又は手動で作成される。いくつかの実装形態では、コンテンツライブラリ５２５は、処理デバイス１１０に対してローカルに位置する。いくつかの実装形態では、コンテンツライブラリ５２５は、処理デバイス１１０からリモートに（例えば、リモートサーバ、クラウドサーバなどに）配置される。

【0043】

いくつかの実装形態では、動作モダリティ管理部５４０は、姿勢値及びユーザグリップ値を含む、物理オブジェクトについての図５Ｂに示される特徴付けベクトル５４３に基づいて、物理オブジェクト（例えば、コントローラ１３０又はプロキシオブジェクト）のための動作モダリティを選択するように構成され、特徴付けベクトル５４３は、ユーザ入力ベクトル（例えば、視線追跡ベクトル５１３及び姿勢特徴付けベクトル５１５の組み合わせ）と追跡データ（例えば、オブジェクト追跡ベクトル５１１）の関数である。動作モダリティ管理部５４０は、図５Ａを参照して以下でより詳細に説明する。その目的で、様々な実装形態では、動作モダリティ管理部５４０は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。いくつかの実装形態では、動作モダリティ管理部５４０は、特徴付けエンジン５４２及び動作モダリティ選択部５４４を含む。

【0044】

いくつかの実装形態では、特徴付けエンジン５４２は、ユーザ入力ベクトル（例えば、視線追跡ベクトル５１３と姿勢特徴付けベクトル５１５との組み合わせ）と追跡データ（例えば、オブジェクト追跡ベクトル５１１）とに基づいて、物理オブジェクトの特徴付けベクトル５４３を判定／生成するように構成される。いくつかの実装形態では、特徴付けエンジン５４２はまた、姿勢特徴付けベクトル５１５を経時的に更新するように構成される。図５Ｂに示されるように、特徴付けベクトル５４３は、ユーザグリップ値５１０２及び姿勢値５１０４を含む。特徴付けエンジン５４２は、図５Ａを参照して以下更に詳細に説明する。その目的で、様々な実装形態では、特徴付けエンジン５４２は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。

【0045】

いくつかの実装形態では、動作モダリティ選択部５４４は、特徴付けベクトル５４３に基づいて（ＸＲ環境１２８と対話するときに）物理オブジェクトの現在の動作モダリティを選択するように構成される。例えば、動作モダリティは、口述モード、デジタルアシスタントモード、ナビゲーションモード、操作モード、マーキングモード、消去モード、ポインティングモード、具現化モードなどを含み得る。動作モダリティ選択部５４４は、図５Ａを参照して以下でより詳細に説明する。その目的で、様々な実装形態では、動作モダリティ選択部５４４は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。

【0046】

いくつかの実装形態では、コンテンツ管理部５３０は、ＶＡ、ＸＲコンテンツ、ＸＲコンテンツに関連付けられた１つ以上のユーザインタフェース（ＵＩ）要素などのうちの１つ以上を含むＸＲ環境１２８のレイアウト、設定、構造などを管理し、更新するように構成される。コンテンツ管理部５３０は、図５Ｃを参照して以下でより詳細に説明する。その目的で、様々な実装形態では、コンテンツ管理部５３０は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。いくつかの実装形態では、コンテンツ管理部５３０は、バッファ５３４と、コンテンツ更新部５３６と、フィードバックエンジン５３８とを含む。いくつかの実装形態では、バッファ５３４は、１つ以上の過去のインスタンス及び／又はフレームについてのＸＲコンテンツ、レンダリングされた画像フレームなどを含む。

【0047】

いくつかの実装形態では、コンテンツ更新部５３６は、物理環境１０５内の電子デバイス１２０又は物理オブジェクトの並進移動又は回転移動、ユーザ入力（例えば、手／四肢追跡入力、視線追跡入力、タッチ入力、音声コマンド、物理オブジェクトによる操作入力など）などに基づいて、ＸＲ環境１２８を経時的に修正するように構成される。その目的で、様々な実装形態では、コンテンツ更新部５３６は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。

【0048】

いくつかの実装形態では、フィードバックエンジン５３８は、ＸＲ環境１２８に関連付けられた感覚フィードバック（例えば、テキスト又は照明の変化などの視覚フィードバック、オーディオフィードバック、触覚フィードバックなど）を生成するように構成される。その目的で、様々な実装形態では、フィードバックエンジン５３８は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。

【0049】

いくつかの実装形態では、レンダリングエンジン５５０は、ＸＲ環境１２８（本明細書では「グラフィカル環境」又は「仮想環境」と呼ばれることもある）又はそれに関連付けられた画像フレーム、並びにＶＡ、ＸＲコンテンツ、ＸＲコンテンツに関連付けられた１つ以上のＵＩ要素などをレンダリングするように構成される。その目的で、様々な実装形態では、レンダリングエンジン５５０は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。いくつかの実装形態では、レンダリングエンジン５５０は、姿勢判定部５５２と、レンダリング部５５４と、任意選択的な画像処理アーキテクチャ５６２と、任意選択的な合成部５６４とを含む。当業者は、任意選択の画像処理アーキテクチャ５６２及び任意選択の合成部５６４は、ビデオパススルー構成のために存在し得るが、完全ＶＲ又は光学シースルー構成のために除去され得ることを理解するであろう。

【0050】

いくつかの実装形態では、姿勢判定部５５２は、Ａ／Ｖコンテンツ及び／又はＸＲコンテンツに対する電子デバイス１２０及び／又はユーザ１４９の現在のカメラ姿勢を判定するように構成される。姿勢判定部５５２について、図５Ａを参照して以下でより詳細に説明する。その目的で、様々な実装形態では、姿勢判定部５５２は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。

【0051】

いくつかの実装形態では、レンダリング部５５４は、Ａ／Ｖコンテンツ及び／又はＸＲコンテンツを、それに対する現在のカメラ姿勢に従ってレンダリングするように構成される。レンダリング部５５４については、図５Ａを参照して以下により詳細に説明する。その目的で、様々な実装形態では、レンダリング部５５４は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。

【0052】

いくつかの実装形態では、画像処理アーキテクチャ５６２は、電子デバイス１２０及び／又はユーザ１４９の現在のカメラ姿勢から物理環境１０５の１つ以上の画像を含む画像ストリームを取得する（例えば、受信する、取り出す、又はキャプチャする）ように構成される。いくつかの実装形態では、画像処理アーキテクチャ５６２はまた、ワーピング、色補正、ガンマ補正、シャープニング、ノイズ低減、ホワイトバランスなどの１つ以上の画像処理動作を画像ストリームに対して実行するように構成される。画像処理アーキテクチャ５６２は、図５Ａを参照して以下により詳細に説明する。その目的で、様々な実装形態では、画像処理アーキテクチャ５６２は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。

【0053】

いくつかの実装形態では、合成部５６４は、レンダリングされたＡ／Ｖコンテンツ及び／又はＸＲコンテンツを、画像処理アーキテクチャ５６２からの物理環境１０５の処理された画像ストリームと合成して、表示のためのＸＲ環境１２８のレンダリングされた画像フレームを生成するように構成される。合成部５６４について、図５Ａを参照して以下により詳細に説明する。その目的で、様々な実装形態では、合成部５６４は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。

【0054】

データ取得部２４２、マッパ及びロケータエンジン２４４、データ送信部２４６、プライバシーアーキテクチャ５０８、オブジェクト追跡エンジン５１０、視線追跡エンジン５１２、胴体／頭部姿勢追跡エンジン５１４、コンテンツ選択部５２２、コンテンツ管理部５３０、動作モダリティ管理部５４０、及びレンダリングエンジン５５０は、単一のデバイス（例えば、処理デバイス１１０）上に存在するものとして示されているが、他の実装形態では、データ取得部２４２、マッパ及びロケータエンジン２４４、データ送信部２４６、プライバシーアーキテクチャ５０８、オブジェクト追跡エンジン５１０、視線追跡エンジン５１２、胴体／頭部姿勢追跡エンジン５１４、コンテンツ選択部５２２、コンテンツ管理部５３０、動作モダリティ管理部５４０、及びレンダリングエンジン５５０の任意の組み合わせが別個のコンピューティングデバイス内に配置され得ることを理解されたい。

【0055】

いくつかの実装形態では、処理デバイス１１０の機能及び／又は構成要素は、図３において以下に示される電子デバイス１２０と組み合わされるか、又はそれによって提供される。更に、図２は、本明細書に記載される実装形態の構造概略ではなく、特定の実装形態に存在する様々な特徴の機能を説明することをより意図している。当業者によって認識されるように、別々に示された事項を組み合わせることができ、また、一部の事項は分離することができる。例えば、図２に別々に示されるいくつかの機能モジュールは、単一のモジュール内に実装することができ、単一の機能ブロックの様々な機能は、様々な実装形態において１つ以上の機能ブロックによって実装され得る。モジュールの実際の数、並びに特定の機能の分割及びそれらの間にどのように機能が割り当てられるかは、実装形態によって異なり、いくつかの実装形態では、特定の実装形態のために選択されたハードウェア、ソフトウェア、及び／又はファームウェアの特定の組み合わせに部分的に依存する。

【0056】

図３は、いくつかの実装形態に係る、電子デバイス１２０（例えば、モバイルフォン、タブレット、ラップトップ、ニアアイシステム、ウェアラブルコンピューティングデバイスなど）の一例のブロック図である。特定の特徴が示されているが、当業者は、本明細書に開示される実装形態のより適切な態様を曖昧にしないよう、簡潔にするために様々な他の特徴が示されていないことを、本開示から理解されよう。その目的で、非限定的な例として、いくつかの実装形態では、電子デバイス１２０は、１つ以上の処理ユニット３０２（例えば、マイクロプロセッサ、ＡＳＩＣ、ＦＰＧＡ、ＧＰＵ、ＣＰＵ、処理コアなど）、１つ以上の入出力（Ｉ／Ｏ）デバイス及びセンサ３０６、１つ以上の通信インタフェース３０８（例えば、ＵＳＢ、ＩＥＥＥ ８０２．３ｘ、ＩＥＥＥ ８０２．１１ｘ、ＩＥＥＥ ８０２．１６ｘ、ＧＳＭ、ＣＤＭＡ、ＴＤＭＡ、ＧＰＳ、赤外線、ＢＬＵＥＴＯＯＴＨ、ＺＩＧＢＥＥ、及び／又は同様のタイプのインタフェース）、１つ以上のプログラミング（例えば、Ｉ／Ｏ）インタフェース３１０、１つ以上のディスプレイ３１２、画像キャプチャデバイス３７０（例えば、１つ以上の任意選択の内向き及び／又は外向き画像センサ）、メモリ３２０、並びにこれら及び様々な他のコンポーネントを相互接続するための１つ以上の通信バス３０４を含む。

【0057】

いくつかの実装形態では、１つ以上の通信バス３０４は、システム構成要素間を相互接続し、かつ通信を制御する回路を含む。いくつかの実装形態では、１つ以上のＩ／Ｏデバイス及びセンサ３０６は、慣性測定ユニット（ＩＭＵ）、加速度計、ジャイロスコープ、磁力計、温度計、１つ以上の生理学的センサ（例えば、血圧モニタ、心拍数モニタ、血液酸素測定モニタ、血糖モニタなど）、１つ以上のマイクロフォン、１つ以上のスピーカ、触覚エンジン、加熱及び／又は冷却ユニット、皮膚せん断エンジン、１つ以上の深度センサ（例えば、構造化光、飛行時間、ＬｉＤＡＲなど）、位置特定及びマッピングエンジン、視線追跡エンジン、胴体／頭部姿勢追跡エンジン、手／四肢／指／四肢追跡エンジン、カメラ姿勢追跡エンジンなどのうちの少なくとも１つを含む。

【0058】

いくつかの実装形態では、１つ以上のディスプレイ３１２が、ユーザにＸＲ環境を提示するように構成される。いくつかの実装形態では、１つ以上のディスプレイ３１２は、フラットビデオコンテンツ（例えば、ＴＶエピソード若しくは映画に関連付けられた２次元又は「フラット」ＡＶＩ、ＦＬＶ、ＷＭＶ、ＭＯＶ、ＭＰ４などのファイル、又は物理環境１０５のライブビデオパススルー）をユーザに提示するようにも構成される。いくつかの実装形態では、１つ以上のディスプレイ３１２は、タッチスクリーンディスプレイに対応する。いくつかの実装形態では、１つ以上のディスプレイ３１２は、ホログラフィック、デジタル光処理（ＤＬＰ）、液晶ディスプレイ（ＬＣＤ）、反射型液晶（ＬＣｏＳ）、有機発光電界効果トランジスタ（ＯＬＥＴ）、有機発光ダイオード（ＯＬＥＤ）、表面伝導型電子放出素子ディスプレイ（ＳＥＤ）、電界放出ディスプレイ（ＦＥＤ）、量子ドット発光ダイオード（ＱＤ－ＬＥＤ）、微小電気機械システム（ＭＥＭＳ）、及び／又は同様のディスプレイタイプに相当する。いくつかの実装形態では、１つ以上のディスプレイ３１２は、回折、反射、偏光、ホログラフィックなどの、導波路ディスプレイに相当する。例えば、電子デバイス１２０は、単一のディスプレイを含む。別の例では、電子デバイス１２０は、ユーザの各眼用のディスプレイを含む。いくつかの実装形態では、１つ以上のディスプレイ３１２は、ＡＲ及びＶＲコンテンツを提示することができる。いくつかの実装形態において、１つ以上のディスプレイ３１２は、ＡＲ又はＶＲコンテンツを提示することができる。

【0059】

いくつかの実装形態では、画像キャプチャデバイス３７０は、（例えば、相補型金属酸化膜半導体（ＣＭＯＳ）画像センサ又は電荷結合デバイス（ＣＣＤ）画像センサを備えた）１つ以上のＲＧＢカメラ、ＩＲ画像センサ、イベントベースのカメラなどを含む。いくつかの実装形態では、画像キャプチャデバイス３７０は、レンズアセンブリ、フォトダイオード、及びフロントエンドアーキテクチャを含む。いくつかの実装形態では、画像キャプチャデバイス３７０は、外向き及び／又は内向き画像センサを含む。

【0060】

メモリ３２０は、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ、又は他のランダムアクセスソリッドステートメモリデバイスなどの、高速ランダムアクセスメモリを含む。いくつかの実装形態では、メモリ３２０には、１つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性記憶デバイスなどの不揮発性メモリが含まれる。メモリ３２０は、１つ以上の処理ユニット３０２からリモートに位置する１つ以上の記憶デバイスを任意選択的に含む。メモリ３２０は、非一時的コンピュータ可読記憶媒体を含む。いくつかの実装形態では、メモリ３２０、又はメモリ３２０の非一時的コンピュータ可読記憶媒体は、任意選択のオペレーティングシステム３３０及び提示エンジン３４０を含む、以下のプログラム、モジュール及びデータ構造、又はそれらのサブセットを記憶する。

【0061】

オペレーティングシステム３３０は、様々な基本システムサービスを処理するための手順、及びハードウェア依存タスクを実行するための手順を含む。いくつかの実装形態では、提示エンジン３４０は、１つ以上のディスプレイ３１２を介して媒体アイテム及び／又はＸＲコンテンツをユーザに提示するように構成される。その目的で、様々な実装形態では、提示エンジン３４０は、データ取得部３４２、提示部５７０、対話処理部５２０、及びデータ送信部３５０を含む。

【0062】

いくつかの実装形態では、データ取得部３４２は、電子デバイス１２０のＩ／Ｏデバイス及びセンサ３０６、処理デバイス１１０、並びにリモート入力デバイスのうちの少なくとも１つからデータ（例えば、ユーザインタフェース又はＸＲ環境に関連するレンダリングされた画像フレームなどの提示データ、入力データ、ユーザ対話データ、頭部追跡情報、カメラ姿勢追跡情報、視線追跡情報、手／肢／指／四肢追跡情報、センサデータ、ロケーションデータなど）を取得するように構成される。その目的で、様々な実装形態では、データ取得部３４２は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。

【0063】

いくつかの実装形態では、対話処理部５２０は、提示されたＡ／Ｖコンテンツ及び／又はＸＲコンテンツとのユーザ対話（例えば、手／四肢追跡を介して検出されるジェスチャ入力、視線追跡を介して検出される視線入力、音声コマンドなど）を検出するように構成される。その目的で、様々な実装形態では、対話処理部５２０は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。

【0064】

いくつかの実装形態では、提示部５７０は、１つ以上のディスプレイ３１２を介してＡ／Ｖコンテンツ及び／又はＸＲコンテンツ（例えば、ＶＡ、ＸＲコンテンツ、ＸＲコンテンツに関連付けられた１つ以上のＵＩ要素などを含む、ユーザインタフェース又はＸＲ環境１２８に関連付けられたレンダリングされた画像フレーム）を提示及び更新するように構成される。その目的で、様々な実装形態では、提示部５７０は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。

【0065】

いくつかの実装形態では、データ送信部３５０は、データ（例えば、提示データ、ロケーションデータ、ユーザ対話データ、頭部追跡情報、カメラ姿勢追跡情報、視線追跡情報、手／肢／指／四肢追跡情報など）を少なくとも処理デバイス１１０に送信するように構成される。その目的で、様々な実装形態では、データ送信部３５０は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。

【0066】

データ取得部３４２、対話処理部５２０、提示部５７０、及びデータ送信部３５０は、単一のデバイス（例えば、電子デバイス１２０）上に存在するものとして示されているが、他の実装形態では、データ取得部３４２、対話処理部５２０、提示部５７０、及びデータ送信部３５０の任意の組み合わせが、別個のコンピューティングデバイス内に配置されてもよいことを理解されたい。

【0067】

更に、図３は、本明細書に記載される実装形態の構造概略ではなく、特定の実装形態に存在する様々な特徴の機能を説明することをより意図している。当業者によって認識されるように、別々に示された事項を組み合わせることができ、また、一部の事項は分離することができる。例えば、図３に別々に示されるいくつかの機能モジュールは、単一のモジュール内に実装することができ、単一の機能ブロックの様々な機能は、様々な実装形態において１つ以上の機能ブロックによって実装され得る。モジュールの実際の数、並びに特定の機能の分割及びそれらの間にどのように機能が割り当てられるかは、実装形態によって異なり、いくつかの実装形態では、特定の実装形態のために選択されたハードウェア、ソフトウェア、及び／又はファームウェアの特定の組み合わせに部分的に依存する。

【0068】

図４は、いくつかの実装形態に係る、例示的なコントローラ１３０のブロック図である。コントローラ１３０は、単にスタイラスと呼ばれる場合もある。コントローラ１３０は、非一時的メモリ４０２（任意選択的に、１つ以上のコンピュータ可読記憶媒体を含む）、メモリコントローラ４２２、１つ以上の処理ユニット（ＣＰＵ）４２０、周辺機器インタフェース４１８、ＲＦ回路４０８、入出力（Ｉ／Ｏ）サブシステム４０６、及びその他の入力又は制御デバイス４１６を含む。コントローラ１３０は、任意選択的に、外部ポート４２４及び１つ以上の光学センサ４６４を含む。コントローラ１３０は、任意選択的に、デバイス１００上の（例えば、コントローラ１３０が電子デバイス１２０のディスプレイシステム１２２などのタッチ感知面と共に使用されるとき）、又は他の表面（例えば机の表面）上のコントローラ１３０の接触の強度を検出するための、１つ以上の接触強度センサ４６５を含む。コントローラ１３０は、任意選択的に、コントローラ１３０上に触知出力を生成するための１つ以上の触知出力生成器４６３を含む。これらの構成要素は、任意選択的に、１つ以上の通信バス又は信号ライン４０３を介して通信する。

【0069】

コントローラ１３０は、電子スタイラスの一例にすぎず、コントローラ１３０は、示されているものよりも多くの構成要素又は少ない構成要素を任意選択的に有し、２つ以上の構成要素を任意選択的に組み合わせるか、又は、それらの構成要素の異なる構成若しくは配置を任意選択的に有することを理解されたい。図４に示された様々な構成要素は、１つ以上の信号処理回路及び／又は特定用途向け集積回路を含む、ハードウェア、ソフトウェア、ファームウェア、又はそれらの組み合わせに実装される。

【0070】

図１に示すように、コントローラ１３０は、第１の端部１７６及び第２の端部１７７を含む。様々な実施形態では、第１の端部１７６は、コントローラ１３０の先端（例えば、鉛筆の先端）に対応し、第２の端部１７７は、コントローラ１３０の反対側又は下端（例えば、鉛筆の消しゴム）に対応する。

【0071】

図１に示すように、コントローラ１３０は、ユーザ１４９からタッチ入力を受信するためのタッチ感知面１７５を含む。いくつかの実装形態では、タッチ感知面１７５は、容量性タッチ要素に対応する。コントローラ１３０は、タッチ感知面１７５との触覚及び／又は触知接触に基づいてユーザからの入力を検出するセンサ又はセンサのセットを含む。いくつかの実装形態では、コントローラ１３０は、容量性、抵抗性、赤外線及び表面弾性波技術、並びに他の近接センサアレイ又はタッチ感知面１７５との１つ以上の接触点を判定する他の要素を含むがこれに限定されない現在知られている又は今後開発される複数のタッチ感知技術のいずれかを使用して接触及びその移動又は切断を検出する。コントローラ１３０は、様々なセンサ及び様々なタイプのセンサを含むため、コントローラ１３０は、ユーザ１４９からの様々な入力を検出することができる。いくつかの実装形態では、１つ以上のセンサは、ユーザがタッチ感知面１７５を１回又は複数回タップすることに応じて、単一のタッチ入力又は連続するタッチ入力を検出することができる。いくつかの実装形態では、１つ以上のセンサは、ユーザが１本以上の指でタッチ感知面１７５に沿ってストロークすることに応じて、コントローラ１３０上のスワイプ入力を検出することができる。いくつかの実装形態では、ユーザがタッチ感知面１７５に沿ってストロークする速度が閾値を超える場合、１つ以上のセンサは、スワイプ入力ではなくフリック入力を検出する。

【0072】

コントローラ１３０はまた、１つ以上の加速度計４６７、１つ以上のジャイロスコープ４６８、１つ以上の磁力計４６９など、コントローラ１３０の配向（例えば、角度ポジション）及び／又は移動を検出する１つ以上のセンサを含む。１つ以上のセンサは、回転のタイプ及び方向を含む、ユーザによるコントローラ１３０の様々な回転移動を検出することができる。例えば、１つ以上のセンサは、ユーザがコントローラ１３０をロール及び／又は旋回させることを検出することができ、ロール／旋回の方向（例えば、時計回り又は反時計回り）を検出することができる。いくつかの実装形態では、検出される入力は、電子デバイス１２０に対するコントローラ１３０の第１の端部１７６及び第２の端部１７７の角度位置、世界全体、物理環境１０５内の物理表面又はオブジェクト、ＸＲ環境１２８内の仮想表面又はオブジェクトに依存する。例えば、いくつかの実装形態では、コントローラ１３０が電子デバイスに対して実質的に垂直であり、第２の端部１７７（例えば、消しゴム）が電子デバイスにより近い場合、電子デバイスの表面を第２の端部１７７に接触させることによって消去動作が行われる。一方、コントローラ１３０が電子デバイスに対して実質的に垂直であり、第１の端部１７６（例えば、先端）が電子デバイスにより近い場合、電子デバイスの表面を第１の端部１７６と接触させることによってマーキング動作が行われる。

【0073】

メモリ４０２は、任意選択的に、高速ランダムアクセスメモリを含み、また任意選択的に、１つ以上のフラッシュメモリデバイス、又は他の不揮発性ソリッドステートメモリデバイスなどの、不揮発性メモリも含む。ＣＰＵ（単数又は複数）４２０及び周辺機器インタフェース４１８などの、コントローラ１３０の他の構成要素によるメモリ４０２へのアクセスは、任意選択的に、メモリコントローラ４２２によって制御される。

【0074】

周辺機器インタフェース４１８を使用して、このスタイラスの入力及び出力周辺機器を、ＣＰＵ（単数又は複数）４２０及びメモリ４０２に結合することができる。１つ以上のプロセッサ４２０は、コントローラ１３０のための様々な機能を実行するため及びデータを処理するために、メモリ４０２に記憶された様々なソフトウェアプログラム及び／又は命令セットを動作させる、又は実行する。いくつかの実装形態では、周辺機器インタフェース４１８、ＣＰＵ（単数又は複数）４２０、及びメモリコントローラ４２２は、任意選択的に、チップ４０４などの単一のチップ上に実装される。いくつかの他の実施形態では、それらは別々のチップ上に任意選択的に実装される。

【0075】

ＲＦ（無線周波数）回路４０８は、電磁信号とも呼ばれるＲＦ信号を送受信する。ＲＦ回路４０８は、電気信号を電磁信号に、又は電磁信号を電気信号に変換し、電磁信号を介して、処理デバイス１１０、電子デバイス１２０など、通信ネットワーク、及び／又は他の通信デバイスと通信する。ＲＦ回路４０８は、任意選択的に、これらの機能を実行するための周知の回路を含み、それらの回路としては、限定するものではないが、アンテナシステム、ＲＦ送受信機、１つ以上の増幅器、同調器、１つ以上の発振器、デジタル信号プロセッサ、ＣＯＤＥＣチップセット、加入者識別モジュール（ＳＩＭ）カード、メモリなどが挙げられる。ＲＦ回路４０８は、任意選択的に、ワールドワイドウェブ（ＷＷＷ）とも呼ばれるインターネット、イントラネット、並びに／又はセルラ電話ネットワーク、無線ローカルエリアネットワーク（ＬＡＮ）及び／若しくはメトロポリタンエリアネットワーク（ＭＡＮ）などの無線ネットワークなどのネットワークと、また他のデバイスと、無線通信によって通信する。無線通信は、任意選択的に、Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ（ＧＳＭ）（登録商標）、Ｅｎｈａｎｃｅｄ Ｄａｔａ ＧＳＭ Ｅｎｖｉｒｏｎｍｅｎｔ（ＥＤＧＥ）（登録商標）、高速ダウンリンクパケットアクセス（ＨＳＤＰＡ）、高速アップリンクパケットアクセス（ＨＳＵＰＡ）、Ｅｖｏｌｕｔｉｏｎ、Ｄａｔａ－Ｏｎｌｙ（ＥＶ－ＤＯ）、ＨＳＰＡ、ＨＳＰＡ＋、Ｄｕａｌ－Ｃｅｌｌ ＨＳＰＡ（ＤＣ－ＨＳＰＡ）、ロングタームエボリューション（ＬＴＥ）、近距離無線通信（ＮＦＣ）、広帯域符号分割多元接続（Ｗ－ＣＤＭＡ）、符号分割多元接続（ＣＤＭＡ）、時分割多元接続（ＴＤＭＡ）、ＢＬＵＥＴＯＯＴＨ、ワイヤレスフィデリティ（Ｗｉ－Ｆｉ）（登録商標）（例えば、ＩＥＥＥ８０２．１１ａ、ＩＥＥＥ８０２．１１ａｃ、ＩＥＥＥ８０２．１１ａｘ、ＩＥＥＥ８０２．１１ｂ、ＩＥＥＥ ８０２．１１ｇ、及び／又はＩＥＥＥ８０２．１１ｎ）、又は本文書の出願日の時点でまだ開発されていない通信プロトコルを含む任意の他の適切な通信プロトコルを含むが、これらに限定されない複数の通信規格、プロトコル及び技術のいずれかを用いる。

【0076】

Ｉ／Ｏサブシステム４０６は、その他の入力又は制御デバイス４１６などのコントローラ１３０上の入出力周辺機器を、周辺機器インタフェース４１８に結合する。Ｉ／Ｏサブシステム４０６は、任意選択的に、光センサコントローラ４５８、強度センサコントローラ４５９、触覚フィードバックコントローラ４６１、及びその他の入力又は制御デバイスのための１つ以上の入力コントローラ４６０を含む。１つ以上の入力コントローラ４６０は、他の入力又は制御デバイス４１６から電気信号を受信し、それらへ電気信号を送信する。その他の入力又は制御デバイス４１６は、任意選択的に、物理ボタン（例えば、プッシュボタン、ロッカボタンなど）、ダイヤル、スライダスイッチ、ジョイスティック、クリックホイールなどを含む。いくつかの代替的実施形態では、入力コントローラ（単数又は複数）４６０は、赤外線ポート及び／又はＵＳＢポートのうちのいずれかに、任意選択的に結合される（又は、いずれにも結合されない）。

【0077】

コントローラ１３０はまた、様々な構成要素に電力を供給する電力システム４６２を含む。電力システム４６２は、任意選択的に、電力管理システム、１つ以上の電源（例えば、バッテリ、交流（ＡＣ））、再充電システム、停電検出回路、電力コンバータ又はインバータ、電力状態インジケータ（例えば、発光ダイオード（ＬＥＤ））、並びにポータブルデバイス及び／又はポータブルアクセサリにおける電力の生成、管理、及び分配に関連付けられた任意の他の構成要素を含む。

【0078】

コントローラ１３０はまた、１つ以上の光学センサ４６４も任意選択的に含む。図４は、Ｉ／Ｏサブシステム４０６内の光センサコントローラ４５８に結合された、光センサを示す。１つ以上の光学センサ４６４は、任意選択的に、電荷結合デバイス（ＣＣＤ）又は相補的金属酸化物半導体（ＣＭＯＳ）フォトトランジスタを含む。１つ以上の光学センサ４６４は、１つ以上のレンズを通じて投影された環境からの光を受光し、その光を画像を表すデータに変換する。

【0079】

コントローラ１３０はまた、１つ以上の接触強度センサ４６５も任意選択的に含む。図４は、Ｉ／Ｏサブシステム４０６内の強度センサコントローラ４５９に結合された、接触強度センサを示す。接触強度センサ４６５は、任意選択的に、１つ以上のピエゾ抵抗ひずみゲージ、電気容量式力センサ、電気力センサ、圧電力センサ、光学力センサ、容量式タッチ感知面、又は他の強度センサ（例えば、表面に対する、又はユーザ１４９の把持に対する接触の力（若しくは圧力）を測定するために使用するセンサ）を含む。接触強度センサ４６５は、接触強度情報（例えば、圧力情報、又は圧力情報に対するプロキシ）を環境から受信する。いくつかの実装形態では、少なくとも１つの接触強度センサが、コントローラ１３０の先端に並置されているか、又はそれに近接している。いくつかの実装形態では、少なくとも１つの接触強度センサが、コントローラ１３０の本体に並置されているか、又は、それに近接している。

【0080】

コントローラ１３０はまた、任意選択的に、１つ以上の近接センサ４６６も含む。図４は、周辺機器インタフェース４１８に結合された、１つ以上の近接センサ４６６を示す。あるいは、１つ以上の近接センサ４６６は、任意選択的に、Ｉ／Ｏサブシステム４０６内の入力コントローラ４６０に結合される。いくつかの実装形態では、１つ以上の近接センサ４６６は、電子デバイス（例えば、電子デバイス１２０）へのコントローラ１３０の近接度を判定する。

【0081】

コントローラ１３０はまた、任意選択的に、１つ以上の触知出力生成器４６３も含む。図４は、Ｉ／Ｏサブシステム４０６内の触覚フィードバックコントローラ４６１に結合された触知出力生成器を示す。１つ以上の触知出力生成器（単数又は複数）４６３は、任意選択的に、スピーカ若しくは他のオーディオ構成要素などの１つ以上の電気音響デバイス、及び／又は、モータ、ソレノイド、電気活性ポリマー、圧電アクチュエータ、静電アクチュエータ、若しくは他の触知出力生成構成要素（例えば、電子デバイス上で電気信号を触知出力に変換する構成要素）などの、エネルギを直線的な動きに変換する電気機械デバイスを含む。１つ以上の触知出力生成器（単数又は複数）４６３は、触覚フィードバックモジュール４３３から触知フィードバック生成命令を受信し、コントローラ１３０のユーザが感知できる触知出力をコントローラ１３０上で生成する。いくつかの実装形態では、少なくとも１つの触知出力生成器は、コントローラ１３０の長さ（例えば、本体又は筐体）と並置されているか、又はそれに近接しており、任意選択的に、コントローラ１３０を垂直方向（例えば、コントローラ１３０の長さと平行な方向）に、又は横方向（例えば、コントローラ１３０の長さの法線方向）に動かすことによって、触知出力を生成する。

【0082】

コントローラ１３０はまた、任意選択的に、コントローラ１３０のロケーション及びポジション状態に関する情報を得るための、１つ以上の加速度計４６７、１つ以上のジャイロスコープ４６８、及び／又は１つ以上の磁力計４６９（例えば、慣性測定ユニット（ＩＭＵ）の一部として）を含む。図４は、周辺機器インタフェース４１８に結合された、センサ４６７、４６８、及び４６９を示す。あるいは、センサ４６７、４６８、及び４６９は、任意選択的に、Ｉ／Ｏサブシステム４０６内の入力コントローラ４６０に結合される。コントローラ１３０は、任意選択的に、コントローラ１３０のロケーションに関する情報を得るためのＧＰＳ（又はＧＬＯＮＡＳＳ若しくは他の全地球的航法システム）受信機（図示せず）を含む。

【0083】

コントローラ１３０は、タッチ感知システム４３２を含む。タッチ感知システム４３２は、タッチ感知面１７５で受信された入力を検出する。これらの入力は、コントローラ１３０のタッチ感知面１７５に関して本明細書で説明される入力を含む。例えば、タッチ感知システム４３２は、タップ入力、旋回入力、ロール入力、フリック入力、スワイプ入力などを検出することができる。タッチ感知システム４３２は、タッチ感知面１７５で受信された特定の種類のタッチ入力（例えば、旋回／ロール／フリック／スワイプなど）を解読するために、タッチ解釈モジュール４７７と連携する。

【0084】

いくつかの実装形態では、メモリ４０２に記憶されたソフトウェア構成要素は、オペレーティングシステム４２６、通信モジュール（又は命令セット）４２８、接触／動きモジュール（又は命令セット）４３０、ポジションモジュール（又は命令セット）４３１、及び全地球測位システム（ＧＰＳ）モジュール（又は命令セット）４３５を含む。更に、いくつかの実装形態では、メモリ４０２は、図４に示すように、デバイス／グローバル内部状態４５７を記憶する。更に、メモリ４０２は、タッチ解釈モジュール４７７を含む。デバイス／グローバル内部状態４５７は、スタイラスの様々なセンサ及び他の入力又は制御デバイス４１６から取得された情報、コントローラ１３０のポジション及び／又は配向に関する情報（例えば、並進及び／又は回転値）、及びコントローラ１３０のロケーションに関するロケーション情報（例えば、ＧＰＳモジュール４３５によって判定される）を含む、センサ状態のうちの１つ以上を含む。

【0085】

オペレーティングシステム４２６（例えば、ｉＯＳ、Ｄａｒｗｉｎ（登録商標）、ＲＴＸＣ（登録商標）、ＬＩＮＵＸ（登録商標）、ＵＮＩＸ（登録商標）、ＯＳ Ｘ（登録商標）、ＷＩＮＤＯＷＳ（登録商標）、又はＶｘＷｏｒｋｓ（登録商標）などの組み込みオペレーティングシステム）は、一般的なシステムタスク（例えば、メモリ管理、電力管理など）を制御及び管理するための様々なソフトウェア構成要素及び／又はドライバを含み、様々なハードウェア構成要素とソフトウェア構成要素との間の通信を容易にする。通信モジュール４２８は、任意選択的に、１つ以上の外部ポート４２４を介して他のデバイスとの通信を容易にし、ＲＦ回路４０８及び／又は外部ポート４２４が受信したデータを処理するための様々なソフトウェア構成要素をも含む。外部ポート４２４（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＦＩＲＥＷＩＲＥなど）は、直接的に、又はネットワーク（例えばインターネット、無線ＬＡＮなど）を介して間接的に、他のデバイスに結合するように適合されている。いくつかの実装形態では、コントローラ１３０のいくつかの機能又は動作は、処理デバイス１１０及び／又は電子デバイス１２０によって提供される。

【0086】

接触／動きモジュール４３０は、任意選択的に、コントローラ１３０及びコントローラ１３０の他のタッチ感知デバイス（例えば、コントローラ１３０のボタン又は他のタッチ感知構成要素）との接触を検出する。接触／動きモジュール４３０は、接触が発生したかどうかの判定（例えば、タッチダウンイベントの検出）、接触の強度（例えば、接触の力若しくは圧力、又は、接触の力若しくは圧力の代用物）の判定、（例えば、電子デバイス１２０のディスプレイ１２２にわたる）接触の移動及びその移動の追跡があるかどうかの判定、並びに接触が中止されたかどうか（例えば、リフトオフイベント又は接触の中断の検出）の判定などの、接触の検出（例えば、電子デバイス１２０のディスプレイ１２２などのタッチ感知ディスプレイに対する、又は机の表面などの別の表面に対する、スタイラスの先端の検出）に関係する様々な動作を実行するための、ソフトウェア構成要素を含む。いくつかの実装形態では、接触／動きモジュール４３０は、Ｉ／Ｏサブシステム４０６から接触データを受信する。一連の接触データによって表される、接触点の移動を判定することは、任意選択的に、接触点の速さ（大きさ）、速度（大きさ及び方向）、及び／又は加速度（大きさ及び／又は方向の変更）を判定することを含む。上述のように、いくつかの実装形態では、接触の検出に関係するこれらの動作の内の１つ以上は、（接触／動きモジュール４３０を使用するスタイラスに加えて、又はその代わりに）電子デバイス１２０又は処理デバイス１１０によって実行される。

【0087】

接触／動きモジュール４３０は、任意選択的に、コントローラ１３０によるジェスチャ入力を検出する。コントローラ１３０による異なるジェスチャは、異なる接触パターン（例えば、検出される接触の異なる動き、タイミング、及び／又は強度）を有する。したがって、ジェスチャは、任意選択的に、特定の接触パターンを検出することによって検出される。例えば、単一のタップジェスチャを検出することは、タッチダウンイベントを検出し、続いて（例えば、アイコンのポジションでの）そのタッチダウンイベントと同じポジション（又は、実質的に同じポジション）でリフトオフイベントを検出することを含む。別の例として、スワイプジェスチャの検出は、タッチダウンイベントを検出し、続いて１つ以上のスタイラスドラッグイベントを検出し、その後、リフトオフイベントを検出することを含む。上述のように、いくつかの実装形態では、ジェスチャ検出は、（接触／動きモジュール４３０を使用するスタイラスに加えて、又はその代わりに）接触／動きモジュール４３０を使用する電子デバイスによって実行される。

【0088】

ポジションモジュール４３１は、１つ以上の加速度計４６７、１つ以上のジャイロスコープ４６８、及び／又は１つ以上の磁力計４６９と共に、任意選択的に、特定の基準系におけるコントローラ１３０の姿勢（例えば、ロール、ピッチ、及び／又はヨー）などのスタイラスに関するポジション情報を検出する。ポジションモジュール４３１は、１つ以上の加速度計４６７、１つ以上のジャイロスコープ４６８、及び／又は１つ以上の磁力計４６９と連携して、任意選択的に、コントローラ１３０のフリック、タップ、及びロールなどの移動ジェスチャを検出する。ポジションモジュール４３１は、特定の座標系内のスタイラスのポジションの検出及びスタイラスのポジションの変化の検出に関係する、様々な動作を実行するためのソフトウェア構成要素を含む。いくつかの実装形態では、ポジションモジュール４３１は、物理環境１０５又は世界全体に対するコントローラ１３０のポジション状態を検出し、コントローラ１３０のポジション状態の変化を検出する。

【0089】

触覚フィードバックモジュール４３３は、コントローラ１３０とのユーザ対話に応じて、コントローラ１３０上の１つ以上のロケーションで触知出力を生成するために、１つ以上の触知出力生成器４６３によって使用される命令を生成する様々なソフトウェア構成要素を含む。ＧＰＳモジュール４３５は、コントローラ１３０のロケーションを判定し、様々なアプリケーション（例えば、紛失したデバイス及び／又はアクセサリを見付けるためのアプリケーションなどの、ロケーションに基づくサービスを提供するアプリケーション）において使用するために、この情報を提供する。

【0090】

タッチ解釈モジュール４７７は、コントローラ１３０のタッチ感知面１７５で受信されたタッチ入力のタイプを判定（例えば、解読又は識別）するために、タッチ感知システム４３２と連携する。例えば、タッチ解釈モジュール４７７は、ユーザが十分に短い時間量でコントローラ１３０のタッチ感知面１７５にわたって十分な距離をストロークする場合、タッチ入力が（タップ入力とは対照的に）スワイプ入力に対応すると判定する。別の例として、タッチ解釈モジュール４７７は、ユーザがコントローラ１３０のタッチ感知面１７５をストロークする速度がスワイプ入力に対応する速度よりも十分に速い場合、タッチ入力が（スワイプ入力とは対照的に）フリック入力に対応すると判定する。ストロークの閾値速度は、予め設定することができ、変更することができる。様々な実施形態では、タッチ感知面でタッチが受け取られる圧力及び／又は力が、入力のタイプを判定する。例えば、軽いタッチは第１のタイプの入力に対応することができ、強いタッチは第２のタイプの入力に対応することができる。いくつかの実装形態では、タッチ解釈モジュール４７７の機能（単数又は複数）は、磁気センサからのデータ又はコンピュータビジョン技法を介したタッチ入力検出など、処理デバイス１１０及び／又は電子デバイス１２０によって提供される。

【0091】

上記特定されたモジュール及びアプリケーションの各々は、上記説明された１つ以上の機能、並びに本出願で説明される方法（例えば、コンピュータによって実行される方法、及び本明細書で説明される他の情報処理方法）を実行する実行可能な命令セットに対応する。それらのモジュール（すなわち、命令セット）は、別々のソフトウェアプログラム、手順、又はモジュールとして実装される必要はなく、よって、それらのモジュールの様々なサブセットは、任意選択で、様々な実施形態において、組み合わされ、又はその他の方式で再配置される。いくつかの実装形態では、メモリ４０２は、任意選択的に、上記で識別したモジュール及びデータ構造のサブセットを記憶する。更に、メモリ４０２は、任意選択的に、上で説明されていない追加のモジュール及びデータ構造を記憶する。

【0092】

図５Ａは、いくつかの実装形態に係る、例示的なコンテンツ配信アーキテクチャの第１の部分５００Ａのブロック図である。関連する特徴が示されているが、当業者であれば、本明細書に開示される例示的な実装形態のより適切な態様を曖昧にしないように簡潔化するために、様々な他の特徴が示されていないことを、本開示から理解するであろう。そのために、非限定的な例として、コンテンツ配信アーキテクチャは、図１及び図２に示される処理デバイス１１０などのコンピューティングシステム、図１及び図３に示される電子デバイス１２０、及び／又はそれらの適切な組み合わせに含まれる。

【0093】

図５Ａに示すように、処理デバイス１１０、電子デバイス１２０、及び／又はこれらの組み合わせの１つ以上のローカルセンサ５０２は、物理環境１０５に関連付けられたローカルセンサデータ５０３を取得する。例えば、ローカルセンサデータ５０３は、物理環境１０５の画像又はそのストリーム、物理環境１０５についての同時ロケーション及びマッピング（ＳＬＡＭ）情報、及び物理環境１０５に対する電子デバイス１２０又はユーザ１４９のロケーション、物理環境１０５についての周辺照明情報、物理環境１０５についての周辺音声情報、物理環境１０５についての音響情報、物理環境１０５についての寸法情報、物理環境１０５内のオブジェクトについてのセマンティックラベルなどを含む。いくつかの実装形態では、ローカルセンサデータ５０３は、未処理又は後処理された情報を含む。

【0094】

同様に、図５Ａに示すように、物理環境１０５内の任意選択のリモート入力デバイスに関連付けられた１つ以上のリモートセンサ５０４は、物理環境１０５に関連付けられたリモートセンサデータ５０５を取得する。例えば、リモートセンサデータ５０５は、物理環境１０５の画像又はそのストリーム、物理環境１０５のＳＬＡＭ情報及び物理環境１０５に対する電子デバイス１２０又はユーザ１４９のロケーション、物理環境１０５の周囲照明情報、物理環境１０５の周囲音声情報、物理環境１０５の音響情報、物理環境１０５の寸法情報、物理環境１０５内のオブジェクトの意味ラベル、及び／又は同様のものを含む。いくつかの実装形態では、リモートセンサデータ５０５は、未処理又は後処理された情報を含む。

【0095】

図５Ａに示されるように、追跡データ５０６は、コントローラ１３０を位置特定及び追跡するために、処理デバイス１１０、電子デバイス１２０、又はコントローラ１３０のうちの少なくとも１つによって取得される。一例として、追跡データ５０６は、コントローラ１３０を含む電子デバイス１２０の外向き画像センサによってキャプチャされた物理環境１０５の画像又はそのストリームを含む。別の例として、追跡データ５０６は、コントローラ１３０の統合センサからのＩＭＵ情報、加速度計情報、ジャイロスコープ情報、磁力計情報、及び／又は同様のものに対応する。

【0096】

いくつかの実装形態によれば、プライバシーアーキテクチャ５０８は、ローカルセンサデータ５０３、リモートセンサデータ５０５、及び追跡データ５０６を取り込む。いくつかの実装形態では、プライバシーアーキテクチャ５０８は、ユーザ情報及び／又は識別情報に関連付けられた１つ以上のプライバシーフィルタを含む。いくつかの実装形態では、プライバシーアーキテクチャ５０８は、電子デバイス１２０が、どのユーザ情報及び／又は識別情報が監視されているか、並びにユーザ情報及び／又は識別情報がどのように使用されるかに関してユーザ１４９に通知するオプトイン機能を含む。いくつかの実装形態では、プライバシーアーキテクチャ５０８は、コンテンツ配信アーキテクチャ５００Ａ／５００Ｂ又はその一部がユーザ情報を取得及び／又は送信することを選択的に防止及び／又は制限する。この目的のために、プライバシーアーキテクチャ５０８は、ユーザ１４９にユーザ選好及び／又は選択を促すことに応じて、ユーザ１４９からユーザ選好及び／又は選択を受信する。いくつかの実装形態では、プライバシーアーキテクチャ５０８は、プライバシーアーキテクチャ５０８がユーザ１４９からインフォームド・コンセントを取得しない限り、及び取得するまで、コンテンツ配信アーキテクチャ５００Ａ／５００Ｂがユーザ情報を取得及び／又は送信することを防止する。いくつかの実装形態では、プライバシーアーキテクチャ５０８は、特定のタイプのユーザ情報を匿名化する（例えば、スクランブルする、不明瞭にする、暗号化するなど）。例えば、プライバシーアーキテクチャ５０８は、プライバシーアーキテクチャ５０８がどのタイプのユーザ情報を匿名化するかを指定するユーザ入力を受信する。別の例として、プライバシーアーキテクチャ５０８は、機密情報及び／又は識別情報を含む可能性が高い特定のタイプのユーザ情報を、ユーザ指定とは無関係に（例えば、自動的に）匿名化する。

【0097】

いくつかの実装形態によれば、オブジェクト追跡エンジン５１０は、プライバシーアーキテクチャ５０８にかけられた後、追跡データ５０６を取得する。いくつかの実装形態では、オブジェクト追跡エンジン５１０は、追跡データ５０６に基づいてオブジェクト追跡ベクトル５１１を判定／生成し、オブジェクト追跡ベクトル５１１を経時的に更新する。

【0098】

図５Ｂは、いくつかの実装形態に係る、オブジェクト追跡ベクトル５１１の例示的なデータ構造を示す。図５Ｂに示すように、オブジェクト追跡ベクトル５１１は、タイムスタンプ５７１（例えば、オブジェクト追跡ベクトル５１１が更新された直近の時間）、物理オブジェクトの１つ以上の並進値５７２（例えば、物理環境１０５に対するｘ、ｙ、及びｚ値、世界全体など）、物理オブジェクトの１つ以上の回転値５７４（例えば、ロール、ピッチ、及びヨー値）、物理オブジェクトに関連付けられた１つ以上の圧力値５７６（例えば、コントローラ１３０の端部と表面との間の接触に関連付けられた第１の圧力値、ユーザ１４９によって把持されている間にコントローラ１３０の本体に加えられた圧力の量に関連付けられた第２の圧力値など）、任意選択のタッチ入力情報５７８（例えば、コントローラ１３０のタッチ感知面１７５に向けられたユーザタッチ入力に関連付けられた情報）、及び／又は雑多情報５７９を含むＮタプル特徴付けベクトル又は特徴付けテンソルに対応し得る。当業者は、図５Ｂにおけるオブジェクト追跡ベクトル５１１のためのデータ構造が、様々な他の実装形態において異なる情報部分を含み得る例にすぎず、様々な他の実装形態において無数の方法で構造化され得ることを理解するであろう。

【0099】

いくつかの実装形態によれば、視線追跡エンジン５１２は、プライバシーアーキテクチャ５０８にかけられた後に、ローカルセンサデータ５０３及びリモートセンサデータ５０５を取得する。いくつかの実装形態では、視線追跡エンジン５１２は、入力データに基づいて視線追跡ベクトル５１３を判定／生成し、視線追跡ベクトル５１３を経時的に更新する。

【0100】

図５Ｂは、いくつかの実装形態に係る、視線追跡ベクトル５１３の例示的なデータ構造を示す。図５Ｂに示されるように、視線追跡ベクトル５１３は、タイムスタンプ５８１（例えば、視線追跡ベクトル５１３が更新された直近の時間）、現在の視線方向に対する１つ以上の角度値５８２（例えば、ロール、ピッチ、及びヨー値）、現在の視線方向に対する１つ以上の並進値５８４（例えば、物理環境１０５に対するｘ、ｙ、及びｚ値、世界規模など）、及び／又は雑多情報５８６を含むＮタプル特徴付けベクトル又は特徴付けテンソルに対応し得る。当業者であれば、図５Ｂの視線追跡ベクトル５１３のデータ構造は、様々な他の実装形態において異なる情報部分を含み得る例にすぎず、様々な他の実装形態において無数の方法で構造化され得ることを理解するであろう。

【0101】

例えば、視線方向は、ユーザ１４９が現在見ている物理環境１０５内の（例えば、物理環境１０５又は世界全体に対するｘ、ｙ、及びｚ座標に関連付けられた）点、物理オブジェクト、又は関心領域（ＲＯＩ）を示す。別の例として、視線方向は、ユーザ１４９が現在見ているＸＲ環境１２８内の（例えば、ＸＲ環境１２８に対するｘ、ｙ、及びｚ座標に関連付けられた）点、ＸＲオブジェクト、又は関心領域（ＲＯＩ）を示す。

【0102】

いくつかの実装形態によれば、胴体／頭部姿勢追跡エンジン５１４は、プライバシーアーキテクチャ５０８にかけられた後に、ローカルセンサデータ５０３及びリモートセンサデータ５０５を取得する。いくつかの実装形態では、胴体／頭部姿勢追跡エンジン５１４は、入力データに基づいて姿勢特徴付けベクトル５１５を判定／生成し、姿勢特徴付けベクトル５１５を経時的に更新する。

【0103】

図５Ｂは、いくつかの実装形態に係る、姿勢特徴付けベクトル５１５の例示的なデータ構造を示す。図５Ｂに示されるように、姿勢特徴付けベクトル５１５は、タイムスタンプ５９１（例えば、姿勢特徴付けベクトル５１５が更新された直近の時間）、頭部姿勢記述子５９２Ａ（例えば、上向き、下向き、中立など）、頭部姿勢の並進値５９２Ｂ、頭部姿勢の回転値５９２Ｃ、胴体姿勢記述子５９４Ａ（例えば、起立、着座、うつ伏せなど）、胴体部分／四肢／肢／関節の並進値５９４Ｂ、胴体部分／四肢／肢／関節の回転値５９４Ｃ、及び／又は雑多な情報５９６を含むＮタプル特徴付けベクトル又は特徴付けテンソルに対応し得る。いくつかの実装形態では、姿勢特徴付けベクトル５１５はまた、指／手／四肢追跡に関連付けられた情報を含む。当業者は、図５Ｂの姿勢特徴付けベクトル５１５のためのデータ構造が、様々な他の実装形態において異なる情報部分を含み得る例にすぎず、様々な他の実装形態において無数の方法で構造化され得ることを理解するであろう。いくつかの実装形態によれば、視線追跡ベクトル５１３及び姿勢特徴付けベクトル５１５は、まとめてユーザ入力ベクトル５１９と呼ばれる。

【0104】

いくつかの実装形態によれば、特徴付けエンジン５４２は、オブジェクト追跡ベクトル５１１、視線追跡ベクトル５１３、及び姿勢特徴付けベクトル５１５を取得する。いくつかの実装形態では、特徴付けエンジン５４２は、オブジェクト追跡ベクトル５１１、視線追跡ベクトル５１３、及び姿勢特徴付けベクトル５１５に基づいて、物理オブジェクトの特徴付けベクトル５４３を判定／生成する。

【0105】

図５Ｂは、いくつかの実装形態に係る、特徴付けベクトル５４３の例示的なデータ構造を示す。図５Ｂに示されるように、特徴付けベクトル５４３は、タイムスタンプ５１０１（例えば、特徴付けベクトル５４３が更新された直近の時間）、物理オブジェクトに関連付けられたユーザグリップ値５１０２、及び物理オブジェクトに関連付けられた姿勢値５１０４を含む、Ｎタプル特徴付けベクトル又は特徴付けテンソルに対応し得る。いくつかの実装形態では、ユーザグリップ値５１０２の値は、ユーザ１４９が物理オブジェクトを把持する様式を示す。例えば、ユーザグリップ値５１０２は、リモコン様グリップ、ワンド様グリップ、筆記グリップ、逆筆記グリップ、ハンドルグリップ、サムトップグリップ、レベル様グリップ、ゲームパッド様グリップ、フルート様グリップ、又は、発火具様グリップなどのうちの１つに対応する。いくつかの実装形態では、姿勢値５１０４は、ユーザ１４９、物理表面、又はコンピュータビジョン（ＣＶ）を介して検出可能である別のオブジェクトに対する物理オブジェクトの配向又はポジションを示す。例えば、姿勢値５１０４は、中立姿勢、コンダクタ／ワンド姿勢、筆記姿勢、表面姿勢、口近傍姿勢、照準姿勢などのうちの１つに対応する。

【0106】

上述したように、一例では、物理オブジェクトは、統合センサを含み、処理デバイス１１０に通信可能に結合されたコントローラ１３０に対応する。この例では、コントローラ１３０は、スタイラス、指装着型デバイス、ハンドヘルドデバイスなどに対応する。別の例では、物理オブジェクトは、処理デバイス１１０に通信可能に結合されていないプロキシオブジェクトに対応する。

【0107】

いくつかの実装形態によれば、動作モダリティ選択部５４４は、物理オブジェクトの特徴付けベクトル５４３を取得し、特徴付けベクトル５４３に基づいて（ＸＲ環境１２８と対話するときに）物理オブジェクトの現在の動作モダリティ５４５を選択する。一例として、姿勢値が中立姿勢に対応し、ユーザグリップ値が筆記具様グリップに対応するとき、選択された動作モダリティ５４５は、マーキングモードに対応し得る。別の例として、姿勢値が中立姿勢に対応し、ユーザグリップ値が逆筆記具様グリップに対応するとき、選択された動作モダリティ５４５は、消去モードに対応し得る。更に別の例として、姿勢値が口近傍姿勢に対応し、ユーザグリップ値がワンド様グリップに対応するとき、選択された動作モダリティ５４５は、口述モードに対応し得る。更に別の例として、姿勢値が中立姿勢に対応し、ユーザグリップ値がワンド様グリップに対応するとき、選択された動作モダリティ５４５は、操作モードに対応し得る。更に別の例として、姿勢値が照準姿勢に対応し、ユーザグリップ値がワンド様グリップに対応するとき、選択された動作モダリティ５４５は、ポインティングモードに対応し得る。

【0108】

図５Ｃは、いくつかの実装形態に係る、例示的なコンテンツ配信アーキテクチャの第２の部分５００Ｂのブロック図である。関連する特徴が示されているが、当業者であれば、本明細書に開示される例示的な実装形態のより適切な態様を曖昧にしないように簡潔化するために、様々な他の特徴が示されていないことを、本開示から理解するであろう。その目的で、非限定的な例として、コンテンツ配信アーキテクチャは、図１及び図２に示される処理デバイス１１０などのコンピューティングシステム、図１及び図３に示される電子デバイス１２０、及び／又はそれらの適切な組み合わせに含まれる。図５Ｃは、図５Ａと類似しており、そこから改変されている。したがって、同様の参照番号が図５Ａ及び図５Ｃで使用される。よって、簡潔にするために、図５Ａと図５Ｃとの間の差異のみを以下に説明する。

【0109】

いくつかの実装形態によれば、対話処理部５２０は、提示のためにＡ／Ｖコンテンツ、１つ以上のＶＡ、及び／又はＸＲコンテンツを選択することに関連する、ユーザ１４９によって提供された１つ以上のユーザ入力５２１を取得する（例えば、受信する、取り出す、又は検出する）。例えば、１つ以上のユーザ入力５２１は、手／四肢追跡を介して検出されたＵＩメニューからＸＲコンテンツを選択するジェスチャ入力、視線追跡を介して検出されたＵＩメニューからＸＲコンテンツを選択する視線入力、マイクロフォンを介して検出されたＵＩメニューからＸＲコンテンツを選択する音声コマンドなどに対応する。いくつかの実装形態では、コンテンツ選択部５２２は、１つ以上のユーザ入力５２１（例えば、音声コマンド、ＸＲコンテンツアイテムのメニューからの選択など）に基づいて、コンテンツライブラリ５２５からＸＲコンテンツ５２７を選択する。

【0110】

様々な実装形態では、コンテンツ管理部５３０は、オブジェクト追跡ベクトル５１１、ユーザ入力ベクトル５１９、選択された動作モダリティ５４５、ユーザ入力５２１などに基づいて、ＶＡ、ＸＲコンテンツ、ＸＲコンテンツに関連付けられた１つ以上のＵＩ要素などのうちの１つ以上を含むＸＲ環境１２８のレイアウト、セットアップ、構造などを管理及び更新する。その目的で、コンテンツ管理部５３０は、バッファ５３４、コンテンツ更新部５３６、及びフィードバックエンジン５３８を含む。

【0111】

いくつかの実装形態では、バッファ５３４は、１つ以上の過去のインスタンス及び／又はフレームについてのＸＲコンテンツ、レンダリングされた画像フレームなどを含む。いくつかの実装形態では、コンテンツ更新部５３６は、オブジェクト追跡ベクトル５１１、ユーザ入力ベクトル５１９、選択された動作モダリティ５４５、ＸＲコンテンツ又はＶＡの修正及び／又は操作に関連付けられたユーザ入力５２１、物理環境１０５内のオブジェクトの並進移動又は回転移動、電子デバイス１２０（又はユーザ１４９）の並進移動又は回転移動などに基づいて、ＸＲ環境１２８を経時的に修正する。いくつかの実装形態では、フィードバックエンジン５３８は、ＸＲ環境１２８に関連付けられた感覚フィードバック（例えば、テキスト又は照明の変化などの視覚フィードバック、オーディオフィードバック、触覚フィードバックなど）を生成する。

【0112】

いくつかの実装形態によれば、図５Ｃのレンダリングエンジン５５０を参照して、姿勢判定部５５２は、姿勢特徴付けベクトル５１５に少なくとも部分的に基づいて、ＸＲ環境１２８及び／又は物理環境１０５に対する電子デバイス１２０及び／又はユーザ１４９の現在のカメラ姿勢を判定する。いくつかの実装形態では、レンダリング部５５４は、それに対する現在のカメラ姿勢に従って、ＶＡ、ＸＲコンテンツ５２７、ＸＲコンテンツに関連付けられた１つ以上のＵＩ要素などをレンダリングする。

【0113】

いくつかの実装形態によれば、任意選択の画像処理アーキテクチャ５６２は、電子デバイス１２０及び／又はユーザ１４９の現在のカメラ姿勢からの物理環境１０５の１つ以上の画像を含む画像ストリームを画像キャプチャデバイス３７０から取得する。いくつかの実装形態では、画像処理アーキテクチャ５６２はまた、ワーピング、色補正、ガンマ補正、シャープニング、ノイズ低減、ホワイトバランスなどの１つ以上の画像処理動作を画像ストリームに対して実行する。いくつかの実装形態では、任意選択的な合成部５６４は、レンダリングされたＸＲコンテンツを、画像処理アーキテクチャ５６２からの物理環境１０５の処理された画像ストリームと合成して、ＸＲ環境１２８のレンダリングされた画像フレームを生成する。様々な実装形態において、提示部５７０は、ＸＲ環境１２８のレンダリングされた画像フレームを、１つ以上のディスプレイ３１２を介してユーザ１４９に提示する。当業者であれば、任意選択の画像処理アーキテクチャ５６２及び任意選択の合成部５６４が、完全仮想環境（又は光学シースルーシナリオ）に適用可能でない場合があることを理解するであろう。

【0114】

図６Ａ～図６Ｎは、いくつかの実装形態に係る、コンテンツ配信シナリオのための一連のインスタンス６１０～６１４０を示す。特定の特徴が示されているが、当業者は、本明細書に開示される実装形態のより適切な態様を曖昧にしないよう、簡潔にするために様々な他の特徴が示されていないことを、本開示から理解されよう。その目的で、非限定的な例として、インスタンス６１０～６１４０のシーケンスは、図１及び図２に示す処理デバイス１１０などのコンピューティングシステム、図１及び図３に示される電子デバイス１２０、及び／又はそれらの適切な組み合わせによってレンダリングされ、提示される。

【0115】

図６Ａ～図６Ｎに示すように、コンテンツ配信シナリオは、（例えば、ユーザ１４９に関連付けられた）電子デバイス１２０のディスプレイ１２２上に表示される物理環境１０５及びＸＲ環境１２８を含む。電子デバイス１２０は、ユーザ１４９が、電子デバイス１２０の外向き画像センサのＦＯＶ１１１内に現在あるドア１１５を含む物理環境１０５内に物理的に存在する間、ＸＲ環境１２８をユーザ１４９に提示する。したがって、いくつかの実装形態では、ユーザ１４９は、図１の動作環境１００と同様に、自分の左手１５０で電子デバイス１２０を保持する。

【0116】

言い換えれば、いくつかの実装形態では、電子デバイス１２０は、ＸＲコンテンツを提示し、ディスプレイ１２２（例えば、ドア１１５）上の物理環境１０５の少なくとも一部分の光学シースルー又はビデオパススルーを可能にするように構成される。例えば、電子デバイス１２０は、モバイルフォン、タブレット、ラップトップ、ニアアイシステム、ウェアラブルコンピューティングデバイスなどに対応する。

【0117】

図６Ａに示されるように、コンテンツ配信シナリオのインスタンス６１０（例えば、時間Ｔ₁に関連付けられる）の間、電子デバイス１２０は、物理環境１０５内の仮想エージェント（ＶＡ）６０６及びドア１１５の表現１１６を含むＸＲ環境１２８を提示する。図６Ａに示すように、ＸＲ環境１２８はまた、現在の姿勢値（例えば、コントローラ１３０が現在ユーザ１４９によって把持されていないので現在の姿勢値がない）及び現在のユーザグリップ値（例えば、コントローラ１３０が現在ユーザ１４９によって把持されていないので現在のユーザグリップ値がない）を有するインスタンス６１０の視覚インジケータ６１２を含む。当業者であれば、視覚インジケータ６１２が、様々な他の実装形態において修正又は置換され得る姿勢及びユーザグリップ値を有する例示的な視覚化にすぎないことを理解するであろう。一例として、視覚インジケータ６１２は、テキスト通知の代わりに、バッジ、アイコン、音声出力などであってもよい。

【0118】

図６Ｂに示すように、コンテンツ配信シナリオの（例えば、時間Ｔ₂に関連付けられた）インスタンス６２０の間、電子デバイス１２０は、ＶＡ６０６と、現在の姿勢値（例えば、口近傍）及び現在のユーザグリップ値（例えば、ワンド）を有するインスタンス６２０の視覚インジケータ６２２と、ユーザ１４９の右手１５２の表現１５３によって保持されているコントローラ１３０の表現１３１（例えば、物理環境１０５のビデオパススルー）と、を含むＸＲ環境１２８を提示する。図６Ｂは、ユーザ１４９が自分の口の近傍で自分の右手１５２でコントローラ１３０を把持している、インスタンス６２０に対するユーザ１４９の現在の胴体姿勢６２５の図を含む。

【0119】

現在の姿勢値が「口近傍」に対応し、現在のユーザグリップ値が「ワンド」に対応すると判定したことに応じて、電子デバイス１２０は、コントローラ１３０の現在の動作モダリティとして口述モードを選択し、「口述モード起動中」を示す通知６２４も表示する。したがって、コントローラ１３０の現在の動作モダリティが口述モードに対応している間、ユーザ１４９は、ＸＲ環境１２８内に表示される宣伝文、メモ、コンテンツなどを口述することができる。当業者であれば、通知６２４は、様々な他の実装形態において修正又は置換され得る例示的な視覚化にすぎないことを理解するであろう。

【0120】

図６Ｃに示すように、コンテンツ配信シナリオのインスタンス６３０（例えば、時間Ｔ₃に関連付けられる）の間、電子デバイス１２０は、ＶＡ６０６と、現在の姿勢値（例えば、中立）及び現在のユーザグリップ値（例えば、ライティング）を有するインスタンス６３０の視覚インジケータ６３２と、ユーザ１４９の右手１５２の表現１５３によって保持されているコントローラ１３０の表現１３１（例えば、物理環境１０５のビデオパススルー）と、を含むＸＲ環境１２８を提示する。図６Ｃ～図６Ｅは、インスタンス６３０～６５０に対するユーザ１４９の現在の胴体姿勢６３５の図を含み、ユーザ１４９は、空間に（例えば、３次元で）書く／スケッチする／描く／マークするために、右手１５２でコントローラ１３０を把持している。

【0121】

現在の姿勢値が「中立」に対応し、現在のユーザグリップ値が「ライティング」に対応すると判定したことに応じて、電子デバイス１２０は、コントローラ１３０の現在の動作モダリティとしてマーキングモードを選択し、「マーキングモード起動中」を示す通知６３４も表示する。図６Ｃに示されるように、重力に対して、第１の端部１７６は下方に向けられ、第２の端部１７７は上方に向けられる。したがって、コントローラ１３０の現在の動作モダリティがマーキングモードに対応する間、ユーザ１４９は、３次元で書き込み／スケッチ／描画／マーキングすることができ、電子デバイス１２０は、ＸＲ環境１２８内に対応するマークを表示する。

【0122】

図６Ｄに示すように、コンテンツ配信シナリオの（例えば、時間Ｔ₄に関連付けられた）インスタンス６４０の間に、電子デバイス１２０は、（例えば、コントローラ１３０からの追跡データ５０６、コンピュータビジョンなどに基づいて）コントローラ１３０が空間内にある状態でマーキング入力６４４を検出する。図６Ｅに示すように、コンテンツ配信シナリオの（例えば、時間Ｔ₅に関連付けられた）インスタンス６５０の間、電子デバイス１２０は、図６Ｅにおけるマーキング入力６４４の検出に応じて、ＸＲ環境１２８内にマーク６５４を表示する。例えば、マーク６５４は、マーキング入力６４４の形状や変位などに対応する。別の例では、マーク６５４は、マーキング入力６４４の形状、変位など、及び重み係数（例えば、増幅値、減衰値など）の関数に対応する。

【0123】

図６Ｆに示すように、コンテンツ配信シナリオの（例えば、時間Ｔ₆に関連付けられた）インスタンス６６０の間、電子デバイス１２０は、現在の姿勢値（例えば、表面）と、現在のユーザグリップ値（例えば、逆書き）を有するインスタンス６６０についてのＶＡ６０６及び視覚インジケータ６６２と、を含むＸＲ環境１２８を提示する。図６Ｆ～図６Ｈは、インスタンス６６０～６８０に対するユーザ１４９の現在の胴体姿勢６６５の図を含み、ユーザ１４９は、電子デバイス１２０のディスプレイ１２２上に書く／スケッチする／描く／マークするために、右手１５２でコントローラ１３０を把持している。

【0124】

現在の姿勢値が「表面」に対応し、現在のユーザグリップ値が「逆書き込み」に対応すると判定したことに応じて、電子デバイス１２０は、コントローラ１３０の現在の動作モダリティとして消去モードを選択し、「消去モード起動中」を示す通知６６４も表示する。図６Ｆに示すように、重力に対して、第２の端部１７７は下方に向けられ、第１の端部１７６は上方に向けられる。したがって、コントローラ１３０の現在の動作モダリティが消去モードに対応する間、ユーザ１４９は、ＸＲ環境１２８からピクセルマークを除去／消去することができる。

【0125】

図６Ｇに示すように、コンテンツ配信シナリオの（例えば、時間Ｔ₇に関連付けられた）インスタンス６７０の間、電子デバイス１２０は、コントローラ１３０を用いてディスプレイ１２２（例えば、タッチ感知面など）上の消去入力６７４を検出する。図６Ｈに示すように、コンテンツ配信シナリオのインスタンス６８０（例えば、時間Ｔ₈に関連付けられている）の間、電子デバイス１２０は、図６Ｇにおける消去入力６７４の検出に応じて、ＸＲ環境１２８内のマーク６５４を除去する。

【0126】

図６Ｉに示されるように、コンテンツ配信シナリオの（例えば、時間Ｔ₉に関連付けられた）インスタンス６９０の間、電子デバイス１２０は、ＶＡ６０６と、現在の姿勢値（例えば、照準）及び現在のユーザグリップ値（例えば、ワンド）を有するインスタンス６９０の視覚インジケータ６９２と、ユーザ１４９の右手１５２の表現１５３によって保持されている物理オブジェクト６９５の表現６９６（例えば、物理環境１０５のビデオパススルー）とを含むＸＲ環境１２８を提示する。図６Ｉ及び６Ｊは、インスタンス６９０及び６１００に対するユーザ１４９の現在の胴体姿勢６９７の図を含み、それによって、ユーザ１４９は、空間内を指すために、彼／彼女の右手１５２で物理オブジェクト６９５（例えば、定規、スティック、コントローラ１３０など）を把持している。

【0127】

現在の姿勢値が「照準」に対応し、現在のユーザグリップ値が「ワンド」に対応すると判定したことに応じて、電子デバイス１２０は、物理オブジェクト６９５の現在の動作モダリティとしてポインティングモードを選択し、「ポインティングモード起動中」を示す通知６９４も表示する。したがって、物理オブジェクト６９５の現在の動作モダリティがポインティングモードに対応する間、ユーザ１４９は、ＸＲ環境１２８内で物理オブジェクト６９５をレーザポインタ型デバイスとして使用することができる。図６Ｉ及び図６Ｊに示すように、物理オブジェクト６９５の表現６９６は、ＸＲ環境１２８内のＶＡ６０６に向けられている。

【0128】

図６Ｊに示されるように、コンテンツ配信シナリオの（例えば、時間Ｔ₁₀に関連付けられた）インスタンス６１００の間、電子デバイス１２０は、物理オブジェクト６９５の表現６９６が図６ＩのＸＲ環境１２８内のＶＡ６０６に向けられていると判定したことに応じて、ＸＲ環境１２８内のＶＡ６０６と同じ場所に配置されたクロスヘア６１０２（例えば、フォーカス選択部）を提示する。

【0129】

図６Ｋに示すように、コンテンツ配信シナリオの（例えば、時間Ｔ₁₁に関連付けられた）インスタンス６１１０の間、電子デバイス１２０は、ＶＡ６０６、ＸＲコンテンツの第１の視点６１１６Ａ（例えば、立方体、箱などの前面）、現在の姿勢値（例えば、中立）及び現在のユーザグリップ値（例えば、ワンド）を有するインスタンス６１１０の視覚インジケータ６１１２、並びにユーザ１４９の右手１５２の表現１５３によって保持されている物理オブジェクト６９５の表現６９６（例えば、物理環境１２８のビデオパススルー）を含むＸＲ環境１０５を提示する。図６Ｋ～図６Ｍは、ユーザ１４９がＸＲコンテンツを操作するために自分の右手１５２で物理オブジェクト６９５（例えば、定規、スティック、コントローラ１３０など）を把持しているインスタンス６１１０～６１３０についてのユーザ１４９の現在の胴体姿勢６１１５の図を含む。

【0130】

現在の姿勢値が「中立」に対応し、現在のユーザグリップ値が「ワンド」に対応すると判定したことに応じて、電子デバイス１２０は、物理オブジェクト６９５の現在の動作モダリティとして操作モードを選択し、「操作モード起動中」を示す通知６１１４も表示する。したがって、物理オブジェクト６９５の現在の動作モダリティが操作モードに対応する間、ユーザ１４９は、物理オブジェクト６９５を使用して、ＸＲ環境１２８内のＸＲコンテンツを操作（例えば、並進、回転など）することができる。

【0131】

図６Ｌに示すように、コンテンツ配信シナリオの（例えば、時間Ｔ₁₂に関連付けられた）インスタンス６１２０の間、電子デバイス１２０は、（例えば、コンピュータビジョンなどに基づいて）空間内の物理オブジェクト６９５を用いて操作入力６１２２を検出する。例えば、操作入力６１２２は、時計回り方向への１８０度の回転入力に対応する。図６Ｍに示されるように、コンテンツ配信シナリオの（例えば、時間Ｔ₁₃に関連付けられた）インスタンス６１３０の間、電子デバイス１２０は、図６Ｌにおける操作入力６１２２を検出したことに応じて、ＸＲコンテンツの第２の視点６１１６Ｂ（例えば、立方体、箱などの背面）を示すために、ＸＲコンテンツを時計回りに１８０度回転させる。

【0132】

図６Ｎに示すように、コンテンツ配信シナリオの（例えば、時間Ｔ₁₄に関連付けられた）インスタンス６１４０の間、電子デバイス１２０は、ＶＡ６０６と、現在の姿勢値（例えば、口近傍）及び現在のユーザグリップ値（例えば、ワンド）を有するインスタンス６１４０の視覚インジケータ６１４２と、ユーザ１４９の右手１５２の表現１５３によって保持されている物理オブジェクト６９５の表現６９６（例えば、物理環境１０５のビデオパススルー）とを含むＸＲ環境１２８を提示する。図６Ｎ～図６Ｒは、ユーザ１４９が自分の口の近傍で自分の右手１５２で物理オブジェクト６９５（例えば、定規、スティック、コントローラ１３０など）を把持している、インスタンス６１４０～６１８０についてのユーザ１４９の現在の胴体姿勢６１４５の図を含む。

【0133】

現在の姿勢値が「口近傍」に対応し、現在のユーザグリップ値が「ワンド」に対応すると判定したことに応じて、かつキーワード又はキーフレーズ（例えば、「へい、デジタルアシスタント」など）を有するユーザ１４９からの発話入力６１４６を検出したことに応じて、電子デバイス１２０は、物理オブジェクト６９５の現在の動作モダリティとしてデジタルアシスタントモードを選択し、「デジタルアシスタントモード起動中」を示す通知６１４４も表示する。したがって、物理オブジェクト６９５の現在の動作モダリティがデジタルアシスタントモードに対応する間、ユーザ１４９は、デジタルアシスタントプログラムが実行するための可聴コマンドや検索文字列などを提供することができる。

【0134】

図６Ｏに示すように、コンテンツ配信シナリオの（例えば、時間Ｔ₁₅に関連付けられた）インスタンス６１５０の間、電子デバイス１２０は、ＸＲ環境１２８内にデジタルアシスタント（ＤＡ）インジケータ６１５２Ａ（例えば、アイコン、バッジ、画像、テキストボックス、通知など）を表示する。図６Ｏに示すように、ＸＲ環境１２８はまた、図６ＯのＤＡインジケータ６１５２Ａに現在向けられているユーザ１４９の視線方向の視覚化６１５４を含む。当業者であれば、ＤＡインジケータ６１５２Ａが、様々な他の実装形態において修正又は置換され得る例示的な視覚化にすぎないことを理解するであろう。当業者であれば、視線方向の視覚化６１５４が様々な他の実装形態において表示されなくてもよいことを理解するであろう。

【0135】

図６Ｐに示すように、コンテンツ配信シナリオの（例えば、時間Ｔ₁₆に関連付けられた）インスタンス６１６０の間、電子デバイス１２０は、図６Ｏにおいて、ユーザ１４９の視線方向が少なくとも所定の時間量にわたってＤＡインジケータ６１５２Ａに向けられたことを検出したことに応じて、オーディオ出力６１６２を提供し（例えば、検索文字列又は音声コマンドを提供するようにユーザ１４９に促す）、ＸＲ環境１２８内にＤＡインジケータ６１５２Ｂを表示する。図６Ｐに示すように、ＤＡインジケータ６１５２Ｂは、図６ＯのＤＡインジケータ６１５２Ａよりも大きなサイズに関連付けられている。いくつかの実装形態では、電子デバイス１２０は、ユーザ１４９の視線方向が少なくとも所定の時間量にわたってＤＡインジケータに向けられたことを検出したことに応じて、（例えば、図６Ｏ及び図６Ｐに示すように）ＤＡインジケータの外観を変化させて、ＤＡが検索文字列又は音声コマンドを受信する準備ができていることを示す。

【0136】

図６Ｑに示すように、コンテンツ配信シナリオの（例えば、時間Ｔ₁₇に関連付けられた）インスタンス６１７０の間、電子デバイス１２０は、ユーザ１４９からの発話入力６１７２（例えば、検索文字列）を検出する。図６Ｒに示すように、コンテンツ配信シナリオの（例えば、時間Ｔ₁₈に関連付けられた）インスタンス６１８０中に、電子デバイス１２０は、図６Ｑにおいて検出された発話入力６１７２に関連付けられた検索文字列に対応する検索結果６１８２をＸＲ環境内に提示する。例えば、検索結果６１８２は、テキスト、オーディオコンテンツ、ビデオコンテンツ、３Ｄコンテンツ、ＸＲコンテンツなどを含む。

【0137】

図７は、いくつかの実装形態に係る、物理オブジェクトの動作モダリティを動的に選択する方法７００のフローチャートである。様々な実装形態では、方法７００は、非一時的メモリ及び１つ以上のプロセッサを含むコンピューティングシステムにおいて実行され、コンピューティングシステムは、ディスプレイデバイス及び（任意選択の）１つ以上の入力デバイス（例えば、図１及び図３に示す電子デバイス１２０、図１及び図２の処理デバイス１１０、又はそれらの適切な組み合わせ）に通信可能に結合される。いくつかの実装形態では、方法７００は、処理ロジックによって実行され、処理ロジックは、ハードウェア、ファームウェア、ソフトウェア、又はそれらの組み合わせを含む。いくつかの実装形態では、方法７００は、非一時的コンピュータ可読媒体（例えば、メモリ）に記憶されたコードを実行するプロセッサによって実行される。いくつかの実装形態では、コンピューティングシステムは、タブレット、ラップトップ、モバイルフォン、ニアアイシステム、ウェアラブルコンピューティングデバイスなどのうちの１つに対応する。

【0138】

上述したように、スタイラスの挙動を変更するために、ユーザは通常、利用可能なツールのメニューから異なるツールを選択する。これは、扱いにくく面倒なプロセスであり得る。対照的に、本明細書で説明される革新は、ユーザが、その姿勢及び把持に基づいて、物理オブジェクト（例えば、スタイラス、指装着型デバイス、ハンドヘルドデバイスなどのプロキシオブジェクト又は電子デバイス）の動作モダリティを動的に変更することを可能にする。例えば、コンピューティングシステム（例えば、提示デバイス）は、物理オブジェクト自体に関連付けられた追跡データ、並びにコンピューティングシステムによって取得されたコンピュータビジョン、視線追跡、手／四肢追跡、音声入力などの他の入力に基づいて、物理オブジェクトの姿勢及び把持を判定する。したがって、ユーザは、自分のワークフローを中断することなく、物理オブジェクト（例えば、ハンドヘルドスタイラス）の動作モダリティをシームレスに変更し得る。

【0139】

ブロック７１０によって表されるように、方法７００は、複数の異なる入力モダリティのうちの１つに関連付けられた少なくとも１つのユーザ入力インジケータ値を含むユーザ入力ベクトルを取得する（例えば、受信する、取り出す、又は検出／収集する）ことを含む。例えば、ユーザは、コンピューティングシステムの１つ以上の入力デバイスを介してベクトルを入力する。この例を続けると、１つ以上の入力デバイスは、視線追跡エンジン、指／手／四肢追跡エンジン、頭部／胴体姿勢追跡エンジン、１つ以上のマイクロフォン、外向き画像センサなどを含み得る。

【0140】

図５Ａに示されるように、コンテンツ配信アーキテクチャの第１の部分５００Ａは、ローカルセンサデータ５０３及びリモートセンサデータ５０５に基づいて視線追跡ベクトル５１３を判定／生成し、視線追跡ベクトル５１３を経時的に更新する視線追跡エンジン５１２を含む。更に、図５Ａに示されるように、コンテンツ配信アーキテクチャの第１の部分５００Ａは、ローカルセンサデータ５０３及びリモートセンサデータ５０５に基づいて姿勢特徴付けベクトル５１５を判定／生成し、経時的に姿勢特徴付けベクトル５１５を更新する胴体／頭部姿勢追跡エンジン５１４を含む。いくつかの実装形態によれば、視線追跡ベクトル５１３及び姿勢特徴付けベクトル５１５は、まとめてユーザ入力ベクトル５１９と呼ばれる。図５Ｂは、視線追跡ベクトル５１３及び姿勢特徴付けベクトル５１５の例示的なデータ構造を示す。

【0141】

いくつかの実装形態では、コンピューティングシステムは、１つ以上の外向き画像センサに更に通信可能に結合され、物理オブジェクトに関連付けられた追跡データを取得することは、物理オブジェクトを視覚的に追跡するために、１つ以上の外向き画像センサによってキャプチャされた画像ストリームを分析することを含む。

【0142】

いくつかの実装形態では、コンピューティングシステムが、１つ以上の四肢追跡インジケータ値を出力する四肢追跡サブシステムに更に通信可能に結合され、１つ以上の四肢追跡インジケータ値が、複数の入力モダリティのうちの四肢追跡モダリティに関連付けられ、ユーザ入力ベクトルが、１つ以上の四肢追跡インジケータ値を含む。

【0143】

いくつかの実装形態では、コンピューティングシステムが、１つ以上の頭部／胴体姿勢追跡インジケータ値を出力する頭部／胴体姿勢追跡サブシステムに更に通信可能に結合され、１つ以上の頭部／胴体姿勢追跡インジケータ値が、複数の入力モダリティのうちの頭部／胴体姿勢追跡モダリティに関連付けられ、ユーザ入力ベクトルが、１つ以上の頭部／胴体姿勢追跡インジケータ値を含む。

【0144】

いくつかの実装形態では、コンピューティングシステムは、１つ以上の音声検出インジケータ値を出力する音声検出サブシステムに更に通信可能に結合され、１つ以上の音声検出インジケータ値は、複数の入力モダリティのうちの音声検出モダリティに関連付けられ、ユーザ入力ベクトルは、１つ以上の音声検出インジケータ値を含む。

【0145】

いくつかの実装形態では、コンピューティングシステムは、１つ以上の視線追跡インジケータ値を出力する視線追跡サブシステムに更に通信可能に結合され、１つ以上の視線追跡インジケータ値は、複数の入力モダリティのうちの１つの視線追跡モダリティに関連付けられ、ユーザ入力ベクトルは、１つ以上の視線追跡インジケータ値を含む。

【0146】

ブロック７２０によって表されるように、方法７００は、物理オブジェクトに関連付けられた追跡データを取得する（例えば、受信する、取り出す、又は検出／収集する）ことを含む。図５Ａに示されるように、コンテンツ配信アーキテクチャの第１の部分５００Ａは、追跡データ５０６に基づいてオブジェクト追跡ベクトル５１１を判定／生成し、オブジェクト追跡ベクトル５１１を経時的に更新するオブジェクト追跡エンジン５１０を含む。図５Ｂは、オブジェクト追跡ベクトル５１１の例示的なデータ構造を示す。

【0147】

一例として、物理オブジェクトは、鉛筆、ペン、定規、スティックなど、コンピューティングシステムへの通信チャネルがない物理環境内で検出されたプロキシオブジェクトに対応する。図６Ｉ～図６Ｒは、電子デバイス１２０と通信することができず、ＸＲ環境１２８と対話するために使用される物理オブジェクト６９５を把持しているユーザ１４９を示す。別の例として、物理オブジェクトは、スタイラス、指装着型デバイス、ハンドヘルドデバイスなど、コンピューティングシステムへの有線又は無線通信チャネルを有する電子デバイスに対応する。図６Ａ～図６Ｈは、電子デバイス１２０と通信し、ＸＲ環境１２８と対話するために使用されるコントローラ１３０を把持するユーザ１４９を示す。いくつかの実装形態によれば、コンピューティングシステムは、物理オブジェクトがプロキシオブジェクトに対応するか、又は電子デバイスに対応するかにかかわらず、物理オブジェクトの動作モダリティを動的に選択する。

【0148】

いくつかの実装形態では、１つ以上の入力デバイスは、１つ以上の外向き画像センサを含み、物理オブジェクトに関連付けられた追跡データを取得することは、物理オブジェクトを視覚的に追跡するために、１つ以上の外向き画像センサによってキャプチャされた画像ストリームを分析することを含む。いくつかの実装形態では、追跡データは、コンピュータビジョン技法を介して６自由度（６ＤＯＦ）で物理オブジェクトの追跡を可能にするために、物理オブジェクトを含む物理環境の１つ以上の画像に対応する。いくつかの実装形態では、追跡データは、ＧＰＳ、ＩＭＵ、加速度計、ジャイロスコープ、磁力計などの物理オブジェクトの様々な統合センサによって収集されたデータに対応する。例えば、追跡データは、生のセンサデータ又は処理されたデータ、例えば、（物理環境又は世界全体に対する）物理オブジェクトに関連付けられた並進値、（重力に対する）物理オブジェクトに関連付けられた回転値、物理オブジェクトに関連付けられた速度値、物理オブジェクトに関連付けられた角速度値、物理オブジェクトに関連付けられた加速度値、物理オブジェクトに関連付けられた角加速度値、物理オブジェクトが物理表面にどの程度強く接触しているかに関連付けられた第１の圧力値、物理オブジェクトが物理表面にどの程度強くユーザによって把持されているか接触しているかに関連付けられた第２の圧力値などに対応する。いくつかの実装形態では、コンピューティングシステムはまた、通信インタフェースを介して物理オブジェクトによって検出された指操作データを取得する。例えば、指操作データは、物理オブジェクトのタッチ感知領域に向けられたタッチ入力又はジェスチャなどを含む。例えば、指操作データは、物理オブジェクトの本体に対する接触強度データを含む。

【0149】

いくつかの実装形態では、コンピューティングシステムは、物理オブジェクトに更に通信可能に結合され、物理オブジェクトに関連付けられた追跡データを取得することは、物理オブジェクトから追跡データを取得することを含み、追跡データは、物理オブジェクトの１つ以上の統合センサからの出力データに対応する。したがって、いくつかの実装形態によれば、物理オブジェクトに関連付けられた追跡データは、姿勢値を含む。図６Ａ～図６Ｈは、電子デバイス１２０と通信し、ＸＲ環境１２８と対話するために使用されるコントローラ１３０を把持するユーザ１４９を示す。例えば、１つ以上の統合センサは、ＩＭＵ、加速度計、ジャイロスコープ、ＧＰＳ、磁力計、１つ以上の接触強度センサ、タッチ感知面、及び／又は同様のもののうちの少なくとも１つを含む。いくつかの実装形態では、追跡データは更に、物理オブジェクトの先端が、物理表面に接触するか否か、及びそれに関連付けられた圧力値を示す。

【0150】

いくつかの実装形態では、コンピューティングシステムは、物理オブジェクトに更に通信可能に結合され、ユーザ入力ベクトルを取得することは、物理オブジェクトからユーザ入力ベクトルを取得することを含み、ユーザ入力ベクトルは、物理オブジェクトの１つ以上の統合センサからの出力データに対応する。したがって、いくつかの実装形態によれば、ユーザ入力ベクトルは、ユーザグリップ値を含む。

【0151】

いくつかの実装形態では、方法７００は、物理環境の１つ以上の画像を取得することと、物理環境の１つ以上の画像を用いて物理オブジェクトを認識することと、ユーザインタフェースと対話するときにフォーカス選択部として機能するように物理オブジェクト（例えば、プロキシオブジェクト）を割り当てることと、を含む。図６Ｉ～図６Ｒは、電子デバイス１２０と通信することができず、ＸＲ環境１２８と対話するために使用される物理オブジェクト６９５を把持しているユーザ１４９を示す。いくつかの実装形態では、コンピューティングシステムは、物理オブジェクトがユーザによって把持されるとき、物理オブジェクトをフォーカス選択部として指定する。いくつかの実装形態では、コンピューティングシステムは、物理オブジェクトがユーザによって把持され、物理オブジェクトが事前定義された制約（例えば、最大又は最小サイズ、特定の形状、デジタル著作権管理（ＤＲＭ）非限定子など）を満たすとき、物理オブジェクトをフォーカス選択部として指定する。したがって、いくつかの実装形態では、ユーザは、家庭用オブジェクトを使用して、ＸＲ環境と対話することができる。いくつかの実装形態では、姿勢及びグリップインジケータは、プロキシオブジェクトが移動する及び／又はＦＯＶが移動するとき、プロキシオブジェクト（又はその表現）に固定され得る。

【0152】

ブロック７３０によって表されるように、方法７００は、ユーザ入力ベクトル及び追跡データに基づいて、姿勢値及びユーザグリップ値を含む、物理オブジェクトについての第１の特徴付けベクトルであって、姿勢値は、物理オブジェクトとコンピューティングシステムのユーザとの間の空間関係を特徴付け、ユーザグリップ値は、物理オブジェクトがユーザによって保持されている様式を特徴付ける、第１の特徴付けベクトルを生成することを含む。図５Ａに示されるように、コンテンツ配信アーキテクチャの第１の部分５００Ａは、ユーザ入力ベクトル（例えば、視線追跡ベクトル５１３及び姿勢特徴付けベクトル５１５の組み合わせ）及び追跡データ（例えば、オブジェクト追跡ベクトル５１１）に基づいて、物理オブジェクトの特徴付けベクトル５４３を判定／生成し、特徴付けベクトル５４３を経時的に更新する、特徴付けエンジン５４２を含む。図５Ｂは、ユーザグリップ値５１０２及び姿勢値５１０４を含む特徴付けベクトル５４３の例示的なデータ構造を示す。

【0153】

いくつかの実装形態では、ユーザ入力ベクトルは、追跡データ内の任意のオクルージョン又はギャップを埋めて曖昧さをなくすために使用される。したがって、いくつかの実装形態では、コンピューティングシステムは、リソース消費を低減するために、追跡データに基づいて判定／生成された姿勢値及びユーザグリップ値が所定の信頼値を突破しない場合、ユーザ入力ベクトルを使用し得る。

【0154】

例えば、姿勢値は、中立姿勢、コンダクタ／ワンド姿勢、筆記姿勢、表面姿勢、口近傍姿勢、照準姿勢などのうちの１つに対応する。いくつかの実装形態では、姿勢値は、コンピュータビジョン技法を介して検出可能な物理表面又は別のオブジェクトなどに対する物理オブジェクトの配向を示す。一例では、他のオブジェクトは、環境の可視領域内の異なる物理オブジェクト又は仮想オブジェクトに対応する。別の例では、他のオブジェクトは、環境の可視領域の外側にあるが、ユーザの口の近傍で移動する物理オブジェクトなど、推測され得る異なる物理オブジェクト又は仮想オブジェクトに対応する。例えば、姿勢値は、他のオブジェクトに対する物理オブジェクトの近接度を示し得る。例えば、グリップ値は、リモコン様グリップ、ワンド様グリップ、筆記グリップ、逆筆記グリップ、ハンドルグリップ、サムトップグリップ、レベル様グリップ、ゲームパッド様グリップ、フルート様グリップ、又は発火具様グリップなどのうちの１つに対応する。

【0155】

ブロック７４０によって表されるように、方法７００は、第１の特徴付けベクトルに基づいて、物理オブジェクトについての現在の動作モダリティとして第１の動作モダリティを選択することを含む。一例として、図６Ｂを参照すると、現在の姿勢値が「口近傍」に対応し、現在のユーザグリップ値が「ワンド」に対応すると判定したことに応じて、電子デバイス１２０は、コントローラ１３０の現在の動作モダリティとして口述モードを選択し、「口述モード起動中」を示す通知６２４も表示する。したがって、コントローラ１３０の現在の動作モダリティが口述モードに対応している間、ユーザ１４９は、ＸＲ環境１２８内に表示される宣伝文、メモ、コンテンツなどを口述することができる。物理オブジェクトが１つ以上のマイクロフォンを含まないいくつかの実装形態では、電子デバイス１２０のマイクロフォンは、ユーザの発話を感知するために使用され得る。物理オブジェクトが１つ以上のマイクロフォンを含まないいくつかの実装形態では、電子デバイス１２０の画像センサによってキャプチャされた画像は、ユーザの唇を読み取り、次にユーザの発話を感知するために分析することができる。当業者であれば、通知６２４は、様々な他の実装形態において修正又は置換され得る例示的な視覚化にすぎないことを理解するであろう。

【0156】

別の例として、図６Ｃを参照すると、現在の姿勢値が「中立」に対応し、現在のユーザグリップ値が「筆記」に対応すると判定したことに応じて、電子デバイス１２０は、コントローラ１３０の現在の動作モダリティとしてマーキングモードを選択し、「マーキングモード起動中」を示す通知６３４も表示する。更に別の例として、図６Ｆを参照すると、現在の姿勢値が「表面」に対応し、現在のユーザグリップ値が「逆筆記」に対応すると判定したことに応じて、電子デバイス１２０は、コントローラ１３０の現在の動作モダリティとして消去モードを選択し、「消去モード起動中」を示す通知６６４も表示する。

【0157】

更に別の例として、図６Ｉを参照すると、現在の姿勢値が「照準」に対応し、現在のユーザグリップ値が「ワンド」に対応すると判定したことに応じて、電子デバイス１２０は、物理オブジェクト６９５の現在の動作モダリティとしてポインティングモードを選択し、「ポインティングモード起動中」を示す通知６９４も表示する。したがって、物理オブジェクト６９５の現在の動作モダリティがポインティングモードに対応する間、ユーザ１４９は、ＸＲ環境１２８内で物理オブジェクト６９５をレーザポインタ型デバイスとして使用することができる。更に別の例として、図６Ｉを参照すると、現在の姿勢値が「中立」に対応し、現在のユーザグリップ値が「ワンド」に対応すると判定したことに応じて、電子デバイス１２０は、物理オブジェクト６９５の現在の動作モダリティとして操作モードを選択し、「操作モード起動中」を示す通知６１１４も表示する。したがって、物理オブジェクト６９５の現在の動作モダリティが操作モードに対応する間、ユーザ１４９は、物理オブジェクト６９５を使用して、ＸＲ環境１２８内のＸＲコンテンツを操作（例えば、並進、回転など）することができる。

【0158】

いくつかの実装形態では、ブロック７４２によって表されるように、第１の動作モダリティは、口述モード、デジタルアシスタントモード、ナビゲーションモード、操作モード、マーキングモード、消去モード、ポインティングモード、又は具現化モードのうちの１つに対応する。一例として、姿勢値が中立姿勢（又は表面姿勢）に対応し、ユーザグリップ値が筆記用具様グリップに対応するとき、第１の動作モダリティは、マーキングモードに対応する。別の例として、姿勢値が中立姿勢（又は表面姿勢）に対応し、ユーザグリップ値が逆筆記用具様グリップに対応するとき、第１の動作モダリティは、消去モードに対応する。更に別の例として、姿勢値が口近傍姿勢に対応し、ユーザグリップ値がワンド様グリップに対応するとき、第１の動作モダリティは口述モードに対応する。更に別の例として、姿勢値が中立姿勢に対応し、ユーザグリップ値がワンド様グリップに対応するとき、第１の動作モダリティは、操作モードに対応する。更に別の例として、姿勢値が照準姿勢に対応し、ユーザグリップ値がワンド様グリップに対応するとき、第１の動作モダリティは、ポインティングモードに対応する。更に別の例として、姿勢値が口近傍姿勢に対応し、ユーザグリップ値がワンド様グリップに対応し、コンピューティングデバイスがキーワード又はキーフレーズを有する発話入力を検出するとき、第１の動作モダリティは、デジタルアシスタントモードに対応する。当業者であれば、姿勢値とユーザグリップ値との異なる組み合わせが、前述の動作をトリガし得ることを理解するであろう。

【0159】

いくつかの実装形態では、第１の動作モダリティを物理オブジェクトの現在の出力モダリティとして選択した後、方法７００は、ディスプレイデバイスを介して、１つ以上の仮想オブジェクトを含む拡張現実（ＸＲ）環境を提示することを含み、物理オブジェクトは、第１の動作モダリティに従ってＸＲ環境内の１つ以上の仮想オブジェクトと対話するように提供される。いくつかの実装形態では、１つ以上の仮想オブジェクトは、ＸＲ環境内に表示されている間に物理環境上にオーバーレイされる。一例として、図６Ａでは、ＸＲ環境１２８は、ドア１１５の表現１１６と、物理環境１０５の表現上にオーバーレイされた仮想エージェント６０６と、を含む。別の例として、図６Ｋでは、ＸＲ環境１２８は、物理環境１０５の表現上にオーバーレイされたＸＲコンテンツの第１の視点６１１６Ａ（例えば、立方体や箱などの前面）を含む。

【0160】

いくつかの実装形態では、ディスプレイデバイスは透明レンズアセンブリに対応し、ＸＲ環境の提示は透明レンズアセンブリ上に投影される。いくつかの実装形態では、ディスプレイデバイスはニアアイシステムに対応し、ＸＲ環境を提示することは、ＸＲ環境の提示を、外向き画像センサによってキャプチャされた物理環境の１つ以上の画像と合成することを含む。

【0161】

いくつかの実装形態では、ＸＲ環境は、姿勢値及びユーザグリップ値のうちの少なくとも１つに関連付けられた１つ以上の視覚インジケータを含む。一例として、図６Ａにおいて、ＸＲ環境１２８は、現在の姿勢値（例えば、コントローラ１３０が現在ユーザ１４９によって把持されていないので現在の姿勢値がない）及び現在のユーザグリップ値（例えば、コントローラ１３０が現在ユーザ１４９によって把持されていないのでユーザグリップ値がない）を有するインスタンス６１０の視覚インジケータ６１２を含む。当業者であれば、視覚インジケータ６１２が、様々な他の実装形態において修正又は置換され得る姿勢及びユーザグリップ値を有する例示的な視覚化にすぎないことを理解するであろう。一例として、視覚インジケータ６１２は、テキスト通知の代わりに、バッジ、アイコン、オーディオ出力などであってもよい。別の例として、図６Ｂでは、ＸＲ環境１２８は、現在の姿勢値（例えば、口近傍）及び現在のユーザグリップ値（例えば、ワンド）を有するインスタンス６２０の視覚インジケータ６２２と、ユーザ１４９の右手１５２の表現１５３によって保持されているコントローラ１３０の表現１３１（例えば、物理環境１０５のビデオパススルー）と、を含む。

【0162】

いくつかの実装形態では、１つ以上の視覚インジケータは、現在の姿勢及びグリップ値をユーザに示すためのアイコン、バッジ、テキストボックス、通知などに対応する。いくつかの実装形態では、１つ以上の視覚インジケータは、世界ロック、頭部ロック、胴体ロックなどのうちの１つである。一例では、１つ以上の視覚インジケータは、物理オブジェクトが移動する、及び／又はＦＯＶが移動するときに、物理オブジェクト（又はその表現）に固定され得る。いくつかの実装形態では、１つ以上の視覚インジケータは、追跡データ及び／又はユーザ入力ベクトルに対する変化に基づいて経時的に変化し得る。例えば、姿勢値に関連付けられた視覚インジケータは、物理オブジェクトの表現（例えば、アイコン）及び関連付けられた姿勢の表現を含む。

【0163】

いくつかの実装形態では、ＸＲ環境は、現在の動作モダリティに関連付けられた１つ以上の視覚インジケータを含む。一例として、図６Ｂにおいて、ＸＲ環境１２８は、「口述モード起動中」を示す通知６２４を含む。当業者であれば、通知６２４は、様々な他の実装形態において修正又は置換され得る例示的な視覚化にすぎないことを理解するであろう。いくつかの実装形態では、１つ以上の視覚インジケータは、現在の動作モダリティをユーザに示すためのアイコン、バッジ、テキストボックス、通知などに対応する。いくつかの実装形態では、１つ以上の視覚インジケータは、世界ロック、頭部ロック、胴体ロックなどのうちの１つである。一例では、１つ以上の視覚インジケータは、物理オブジェクトが移動する、及び／又はＦＯＶが移動するときに、物理オブジェクト（又はその表現）に固定され得る。いくつかの実装形態では、１つ以上の視覚インジケータは、追跡データ及び／又はユーザ入力ベクトルに対する変化に基づいて経時的に変化し得る。

【0164】

いくつかの実装形態では、第１の動作モダリティを物理オブジェクトの現在の出力モダリティとして選択した後、方法７００は、ディスプレイデバイスを介して、ユーザインタフェースを表示することと、（例えば、ＩＭＵデータ、コンピュータビジョン、磁気追跡などを用いて３Ｄで物理オブジェクトを追跡することによって）ユーザインタフェース内のコンテンツに向けられた物理オブジェクトによる修正入力を検出することと、を含む。修正入力を検出したことに応じて、修正入力（例えば、修正入力の大きさ、形状、変位など）及び第１の動作モダリティに基づいてユーザインタフェース内のコンテンツを修正することと、を含む。一例として、図６Ｃ～図６Ｅは、電子デバイス１２０が、図６Ｅにおけるマーキング入力６４４（例えば、修正入力）を検出したことに応じて、ＸＲ環境１２８内にマーク６５４を表示するシーケンスを示す。例えば、マーク６５４は、マーキング入力６４４の形状や変位などに対応する。別の例では、マーク６５４は、マーキング入力６４４の形状や変位など、及び重み係数（例えば、増幅値、減衰値など）の関数に対応する。別の例として、図６Ｋ～図６Ｍは、電子デバイス１２０が、図６Ｌにおける操作入力６１２２（例えば、修正入力）を検出したことに応じて、ＸＲコンテンツを図６Ｋにおける第１の視点６１１６Ａ（例えば、立方体、箱などの前面）から図６Ｍにおける第２の視点６１１６Ｂ（例えば、立方体、箱などの背面）へ時計回りに１８０度回転させるシーケンスを示す。

【0165】

いくつかの実装形態では、方法７００は、ユーザ入力ベクトル又は物理オブジェクトに関連付けられた追跡データのうちの１つの変化を検出することと、ユーザ入力ベクトル又は物理オブジェクトに関連付けられた追跡データのうちの１つの変化に基づいて物理オブジェクトの第２の特徴付けベクトルを決定することと、第２の特徴付けベクトルに基づいて、物理オブジェクトの現在の動作モダリティとして、第１の動作モダリティとは異なる第２の動作モダリティを選択することと、を含む。いくつかの実装形態では、方法７００は、ディスプレイデバイスを介して、ユーザインタフェースを表示することと、第２の動作モダリティを物理オブジェクトについての現在の出力モダリティとして選択した後、（例えば、ＩＭＵデータ、コンピュータビジョン、磁気追跡などを用いて３Ｄで物理オブジェクトを追跡することによって）ユーザインタフェース内のコンテンツに向けられた物理オブジェクトを用いて修正入力を検出することと、修正入力を検出したことに応じて、修正入力（例えば、修正入力の大きさ、形状、変位など）及び第２の動作モダリティに基づいてユーザインタフェース内のコンテンツを修正することと、を含む。

【0166】

いくつかの実装形態では、方法７００は、第１の動作モダリティがデジタルアシスタントを呼び出すことに対応すると判定したことに応じて、ユーザインタフェース内にデジタルアシスタント（ＤＡ）インジケータを表示することと、１つ以上の視線追跡インジケータ値がＤＡインジケータに対応すると判定したことに応じて、ＤＡインジケータの外観を変更し、ＤＡを有効化することとを含む。いくつかの実装形態では、ＤＡインジケータの外観を変更することは、ＤＡインジケータのサイズをスケーリングすること、ＤＡインジケータの色を変更すること、ＤＡインジケータの輝度を変更することなどのうちの少なくとも１つに対応する。一例として、図６Ｎ～図６Ｒは、現在の動作モダリティがデジタルアシスタント（ＤＡ）モードに対応するシーケンスを示す。この例を続けると、ユーザ１４９の視線方向が少なくとも所定の時間量にわたってＤＡインジケータに向けられたことを検出したことに応じて、ＤＡインジケータの外観が変化する（例えば、図６ＯのＤＡインジケータ６１５２Ａから図６ＰのＤＡインジケータ６１５２Ｂにサイズが増大する）。この例を続けると、ＤＡは、図６Ｑにおけるユーザ１４９からの発話入力６１７２（例えば、検索文字列）に基づいて検索動作を実行し、電子デバイス１２０は、図６Ｑにおいて検出された発話入力６１７２に関連付けられた検索文字列に対応する検索結果６１８２をＸＲ環境内に表示する。例えば、検索結果６１８２は、テキスト、オーディオコンテンツ、ビデオコンテンツ、３Ｄコンテンツ、ＸＲコンテンツなどを含む。

【0167】

いくつかの実装形態では、ＤＡインジケータは、物理オブジェクトのロケーションに隣接して表示され、物理オブジェクトが移動する及び／又はＦＯＶが移動するときに、物理オブジェクト（又はその表現）に固定されたままである。いくつかの実装形態では、電子デバイスは、検索文字列を取得し、それに応じて、ＸＲ環境内に表示されるＤＡから結果情報を取得する。一例では、ユーザは、ＸＲ環境内で結果情報を平行移動及び／又は回転させることができる。別の例では、ユーザは、得られた情報をＸＲ環境内の掲示板又は他のリポジトリに固定することができる。

【0168】

添付の特許請求の範囲内の実装形態の様々な態様を上述したが、上述の実装形態の様々な特徴は、多種多様な形態で具現化されてもよく、上記の特定の構造及び／又は機能は単なる例示にすぎないことは明らかである。本開示に基づいて、当業者は、本明細書に記載される態様は、任意の他の態様とは独立して実施されてもよく、これらの態様のうちの２つ以上が様々な方法で組み合わされてもよいことを理解すべきである。例えば、本明細書に記載される任意の数の態様を使用して、装置が実装されてもよい、及び／又は方法が実行されてもよい。加えて、本明細書に記載される態様のうちの１つ以上に加えて、又はその他の構造及び／又は機能を使用して、このような装置が実装されてもよい、及び／又はこのような方法が実行されてもよい。

【0169】

本明細書では、様々な要素を説明するために「第１の」、「第２の」などの用語が使用される場合があるが、これらの要素は、これらの用語によって限定されるべきではないことも理解されるであろう。これらの用語は、ある要素を別の要素と区別するためにのみ使用される。例えば、「第１の媒体アイテム」の全ての出現について一貫して名前が変更され、「第２の媒体アイテム」の全ての出現について一貫して名前が変更される限り、説明の意味を変えることなく、第１の媒体アイテムは第２の媒体アイテムと呼ぶことができ、同様に、第２の媒体アイテムは第１の媒体アイテムと呼ぶことができる。第１の媒体アイテム及び第２の媒体アイテムは両方とも媒体アイテムであるが、それらは同じ媒体アイテムではない。

【0170】

本明細書で使用される用語は、特定の実装形態を説明する目的のためであり、特許請求の範囲を限定することを意図するものではない。説明される実装形態の説明及び添付の特許請求の範囲で使用されるとき、単数形の「ａ」、「ａｎ」、及び「ｔｈｅ」は、文脈がそうではないことを明確に示さない限り、複数形も含むことを意図している。また、本明細書で使用されるとき、用語「及び／又は」は、関連する列挙された項目のうちの１つ以上のいずれか及び全ての考えられる組み合わせを指し、かつこれを含むことを理解されたい。用語「ｃｏｍｐｒｉｓｅｓ（含む）」及び／又は「ｃｏｍｐｒｉｓｉｎｇ（含む）」が、本明細書で使用される場合、述べられた特徴、整数、ステップ、動作、要素、及び／又は構成要素の存在を指定するが、１つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、及び／又はそれらのグループの存在又は追加を除外しないことを更に理解されたい。

【0171】

本明細書で使用されるときには、用語「ｉｆ」は、文脈に応じて、「時」又は「際に」又は、先に述べた条件が正しいとの「判定に応じて」又は「判定に従って」、「検出に応じて」を意味するものと解釈できる。同様に、「［先に述べた条件が正しい］と判定される場合」、「［先に述べた条件が正しい］場合」、又は「［先に述べた条件が正しい］とき」というフレーズは、先に述べた条件が正しいとの「判定に際して」、「判定に応じて」、「判定に従って」、「検出した際に」、又は「検出に応じて」ということを意味するものと解釈できる。

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図5C】

【図6A】

【図6B】

【図6C】

【図6D】

【図6E】

【図6F】

【図6G】

【図6H】

【図6I】

【図6J】

【図6K】

【図6L】

【図6M】

【図6N】

【図6O】

【図6P】

【図6Q】

【図6R】

【図7】

【手続補正書】

【提出日】2024-01-05

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

方法であって、
非一時的メモリと１つ以上のプロセッサとを含み、ディスプレイデバイスに通信可能に結合される、コンピューティングシステムにおいて、
複数の異なる入力モダリティのうちの１つに関連付けられた少なくとも１つのユーザ入力インジケータ値を含むユーザ入力ベクトルを取得することと、
物理オブジェクトに関連付けられた追跡データを取得することと、
前記ユーザ入力ベクトル及び前記追跡データに基づいて、姿勢値及びユーザグリップ値を含む、前記物理オブジェクトについての第１の特徴付けベクトルであって、前記姿勢値は、前記物理オブジェクトと前記コンピューティングシステムのユーザとの間の空間関係を特徴付け、前記ユーザグリップ値は、前記物理オブジェクトが前記ユーザによって保持されている様式を特徴付ける、第１の特徴付けベクトルを生成することと、
前記第１の特徴付けベクトルに基づいて、第１の動作モダリティを前記物理オブジェクトについての現在の動作モダリティとして選択することと、を含む方法。

【請求項2】

前記第１の動作モダリティは、口述モード、デジタルアシスタントモード、ナビゲーションモード、操作モード、マーキングモード、消去モード、ポインティングモード、又は具現化モードのうちの１つに対応する、請求項１に記載の方法。

【請求項3】

前記第１の動作モダリティを前記物理オブジェクトについての前記現在の出力モダリティとして選択した後に、
前記ディスプレイデバイスを介して、ユーザインタフェースを表示することと、
前記ユーザインタフェース内のコンテンツに向けられた前記物理オブジェクトによる修正入力を検出することと、
前記修正入力を検出したことに応じて、前記修正入力及び前記第１の動作モダリティに基づいて前記ユーザインタフェース内の前記コンテンツを修正することと、を更に含む、請求項１に記載の方法。

【請求項4】

前記物理オブジェクトに関連付けられた前記ユーザ入力ベクトル又は前記追跡データのうちの１つの変化を検出することと、
前記ユーザ入力ベクトル又は前記物理オブジェクトに関連付けられた前記追跡データのうちの１つの前記変化を検出したことに応じて、
前記ユーザ入力ベクトル又は前記物理オブジェクトに関連付けられた前記追跡データのうちの１つの前記変化に基づいて、前記物理オブジェクトについての第２の特徴付けベクトルを判定することと、
前記第２の特徴付けベクトルに基づいて、前記物理オブジェクトについての現在の動作モダリティとして、前記第１の動作モダリティとは異なる第２の動作モダリティを選択することと、を更に含む、請求項１に記載の方法。

【請求項5】

前記ディスプレイデバイスを介して、ユーザインタフェースを表示することと、
前記物理オブジェクトについての前記現在の出力モダリティとして前記第２の動作モダリティを選択した後に、前記ユーザインタフェース内のコンテンツに向けられた前記物理オブジェクトによる修正入力を検出することと、
前記修正入力を検出したことに応じて、前記修正入力及び前記第２の動作モダリティに基づいて前記ユーザインタフェース内の前記コンテンツを修正することと、を更に含む、請求項４に記載の方法。

【請求項6】

前記第１の動作モダリティを前記物理オブジェクトについての前記現在の出力モダリティとして選択した後に、前記ディスプレイデバイスを介して、１つ以上の仮想オブジェクトを含む拡張現実（ＸＲ）環境を提示することを更に含み、前記物理オブジェクトは、前記第１の動作モダリティに従って前記ＸＲ環境内の前記１つ以上の仮想オブジェクトと対話するように提供される、請求項１に記載の方法。

【請求項7】

前記ディスプレイデバイスが透明レンズアセンブリに対応し、前記ＸＲ環境の前記提示が前記透明レンズアセンブリ上に投影される、請求項６に記載の方法。

【請求項8】

前記ディスプレイデバイスが、ニアアイシステムに対応し、前記ＸＲ環境を提示することが、前記ＸＲ環境の前記提示を、外向き画像センサによってキャプチャされた物理環境の１つ以上の画像と合成することを含む、請求項６に記載の方法。

【請求項9】

前記ＸＲ環境が、前記姿勢値及び前記ユーザグリップ値のうちの少なくとも１つに関連付けられた１つ以上の視覚インジケータを含む、請求項１に記載の方法。

【請求項10】

前記ＸＲ環境が、前記現在の動作モダリティに関連付けられた１つ以上の視覚インジケータを含む、請求項１に記載の方法。

【請求項11】

物理環境の１つ以上の画像を取得することと、
前記物理環境の前記１つ以上の画像を用いて前記物理オブジェクトを認識することと、
ユーザインタフェースと対話するときにフォーカス選択部として機能するように前記物理オブジェクトを割り当てることと、を更に含む、請求項１に記載の方法。

【請求項12】

前記コンピューティングシステムは、前記物理オブジェクトに更に通信可能に結合され、前記物理オブジェクトに関連付けられた前記追跡データを取得することは、前記物理オブジェクトから前記追跡データを取得することを含み、前記追跡データは、前記物理オブジェクトの１つ以上の統合センサからの出力データに対応する、請求項１に記載の方法。

【請求項13】

前記物理オブジェクトに関連付けられた前記追跡データが、前記姿勢値を含む、請求項１２に記載の方法。

【請求項14】

前記コンピューティングシステムが、前記物理オブジェクトに更に通信可能に結合され、前記ユーザ入力ベクトルを取得することが、前記物理オブジェクトから前記ユーザ入力ベクトルを取得することを含み、前記ユーザ入力ベクトルが、前記物理オブジェクトの１つ以上の統合センサからの出力データに対応する、請求項１に記載の方法。

【請求項15】

前記ユーザ入力ベクトルが、前記ユーザグリップ値を含む、請求項１４に記載の方法。

【請求項16】

前記コンピューティングシステムが、１つ以上の外向き画像センサに更に通信可能に結合され、前記物理オブジェクトに関連付けられた前記追跡データを取得することが、前記物理オブジェクトを視覚的に追跡するために、前記１つ以上の外向き画像センサによってキャプチャされた画像ストリームを分析することを含む、請求項１に記載の方法。

【請求項17】

前記コンピューティングシステムが、１つ以上の四肢追跡インジケータ値を出力する四肢追跡サブシステムに更に通信可能に結合され、前記１つ以上の四肢追跡インジケータ値が、前記複数の入力モダリティのうちの四肢追跡モダリティに関連付けられ、前記ユーザ入力ベクトルが、前記１つ以上の四肢追跡インジケータ値を含む、請求項１に記載の方法。

【請求項18】

前記コンピューティングシステムが、１つ以上の頭部／胴体姿勢追跡インジケータ値を出力する頭部／胴体姿勢追跡サブシステムに更に通信可能に結合され、前記１つ以上の頭部／胴体姿勢追跡インジケータ値が、前記複数の入力モダリティのうちの頭部／胴体姿勢追跡モダリティに関連付けられ、前記ユーザ入力ベクトルが、前記１つ以上の頭部／胴体姿勢追跡インジケータ値を含む、請求項１に記載の方法。

【請求項19】

デバイスであって、
１つ以上のプロセッサと、
非一時的メモリと、
ディスプレイデバイスと通信するためのインタフェースと、
前記非一時的メモリに記憶された１つ以上のプログラムであって、前記１つ以上のプロセッサによって実行されると、前記デバイスに、
複数の異なる入力モダリティのうちの１つに関連付けられた少なくとも１つのユーザ入力インジケータ値を含むユーザ入力ベクトルを取得させ、
物理オブジェクトに関連付けられた追跡データを取得させ、
前記ユーザ入力ベクトル及び前記追跡データに基づいて、姿勢値及びユーザグリップ値を含む、前記物理オブジェクトについての第１の特徴付けベクトルであって、前記姿勢値は、前記物理オブジェクトと前記デバイスのユーザとの間の空間関係を特徴付け、前記ユーザグリップ値は、前記物理オブジェクトが前記ユーザによって保持されている様式を特徴付ける、第１の特徴付けベクトルを生成させ、
前記第１の特徴付けベクトルに基づいて、第１の動作モダリティを前記物理オブジェクトについての現在の動作モダリティとして選択させる、１つ以上のプログラムと、を備えるデバイス。

【請求項20】

１つ以上のプログラムを記憶する非一時的メモリであって、前記１つ以上のプログラムが、ディスプレイデバイスと通信するためのインタフェースを有するデバイスの１つ以上のプロセッサによって実行されると、前記デバイスに、
複数の異なる入力モダリティのうちの１つに関連付けられた少なくとも１つのユーザ入力インジケータ値を含むユーザ入力ベクトルを取得させ、
物理オブジェクトに関連付けられた追跡データを取得させ、
前記ユーザ入力ベクトル及び前記追跡データに基づいて、姿勢値及びユーザグリップ値を含む、前記物理オブジェクトについての第１の特徴付けベクトルであって、前記姿勢値は、前記物理オブジェクトと前記デバイスのユーザとの間の空間関係を特徴付け、前記ユーザグリップ値は、前記物理オブジェクトが前記ユーザによって保持されている様式を特徴付ける、第１の特徴付けベクトルを生成させ、
前記第１の特徴付けベクトルに基づいて、第１の動作モダリティを前記物理オブジェクトについての現在の動作モダリティとして選択させる、非一時的メモリ。

【国際調査報告】