特表 2024-508691 三次元環境におけるアバターの提示のためのインタフェース

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-02-28

(54)【発明の名称】三次元環境におけるアバターの提示のためのインタフェース

(51)【国際特許分類】

   G06F 3/01 20060101AFI20240220BHJP

   G06T 11/80 20060101ALI20240220BHJP

   G06T 19/00 20110101ALI20240220BHJP

【ＦＩ】

G06F3/01 510

G06F3/01 570

G06T11/80 D

G06T19/00 600

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023548256

(86)(22)【出願日】2022-02-15

(85)【翻訳文提出日】2023-08-09

(86)【国際出願番号】 US2022016451

(87)【国際公開番号】W WO2022177900

(87)【国際公開日】2022-08-25

(31)【優先権主張番号】63/149,989

(32)【優先日】2021-02-16

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/667,350

(32)【優先日】2022-02-08

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

２．ＦＩＲＥＷＩＲＥ

３．ＴＨＵＮＤＥＲＢＯＬＴ

４．ＺＩＧＢＥＥ

５．ツイッター

(71)【出願人】

【識別番号】503260918

【氏名又は名称】アップル インコーポレイテッド

【氏名又は名称原語表記】Ａｐｐｌｅ Ｉｎｃ．

【住所又は居所原語表記】Ｏｎｅ Ａｐｐｌｅ Ｐａｒｋ Ｗａｙ，Ｃｕｐｅｒｔｉｎｏ， Ｃａｌｉｆｏｒｎｉａ ９５０１４， Ｕ．Ｓ．Ａ．

(74)【代理人】

【識別番号】100094569

【弁理士】

【氏名又は名称】田中 伸一郎

(74)【代理人】

【識別番号】100103610

【弁理士】

【氏名又は名称】▲吉▼田 和彦

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100139712

【弁理士】

【氏名又は名称】那須 威夫

(74)【代理人】

【識別番号】100170209

【弁理士】

【氏名又は名称】林 陽和

(72)【発明者】

【氏名】バートン ルパート トーマス ガイ

(72)【発明者】

【氏名】ブッチャー ギャリー イアン

(72)【発明者】

【氏名】バウアリー クリスティ エレイン シュミット

(72)【発明者】

【氏名】ルメイ スティーヴン オー

(72)【発明者】

【氏名】リックウォルド ジェイソン

(72)【発明者】

【氏名】ソレンティノ ザ サード ウィリアム エイ

(72)【発明者】

【氏名】ヤーキス ジャンカルロ

(72)【発明者】

【氏名】ダーガン ドリアン ディー

【テーマコード（参考）】

5B050

5E555

【Ｆターム（参考）】

5B050AA03

5B050BA06

5B050BA09

5B050BA11

5B050BA12

5B050BA13

5B050CA07

5B050CA08

5B050DA04

5B050DA05

5B050EA04

5B050EA19

5B050EA26

5B050FA02

5B050FA05

5B050FA10

5B050FA13

5B050FA14

5B050FA17

5E555AA27

5E555AA64

5E555AA76

5E555BA05

5E555BA06

5E555BB05

5E555BB06

5E555BE17

5E555CA42

5E555CB23

5E555CB47

5E555CB65

5E555CB66

5E555CB67

5E555DA02

5E555DA08

5E555DA09

5E555DB32

5E555DC19

5E555DC32

5E555FA00

(57)【要約】

いくつかの実施形態では、コンピュータシステムは、コンピュータシステムのユーザの１つ以上の特徴を登録するためのユーザインタフェースを表示する。いくつかの実施形態では、コンピュータシステムは、ＸＲ環境において仮想アバターに関連付けられた視覚効果を表示する。いくつかの実施形態では、コンピュータシステムは、ＸＲ環境において異なる視覚的特性を有するオブジェクトを表示する。いくつかの実施形態では、コンピュータシステムは、ＸＲ環境で表されるユーザに関連付けられた異なる提示モード間で切り替える。いくつかの実施形態では、コンピュータシステムは、ＸＲ環境において仮想アバターを表示する。
【選択図】図７Ｆ

【特許請求の範囲】

【請求項1】

方法であって、
表示生成コンポーネントと、第１のユーザに関連付けられた外部コンピュータシステムと通信するコンピュータシステムにおいて、
前記表示生成コンポーネントを介して、第１の提示モードで前記外部コンピュータシステムの前記第１のユーザの表現を含む通信ユーザインタフェースであって、
前記通信ユーザインタフェースが、拡張現実環境において前記第１のユーザの前記表現を表示し、
前記第１のユーザの前記表現が、前記第１の提示モードにある間、前記外部コンピュータシステムによって検出される前記第１のユーザの第１の部分の移動の変化に視覚的に反応する形状を有する、通信ユーザインタフェースを表示することと、
前記第１の提示モードにおいて前記第１のユーザの前記表現を表示する間に、
前記外部コンピュータシステムから、前記第１のユーザの前記第１の部分の移動を示す第１のデータを受信することと、
前記第１のデータを受信したことに応じて、前記第１のユーザの前記第１の部分の前記移動に基づいて、前記第１のユーザの前記表現の前記形状を修正することと、
前記第１のユーザの前記表現の前記形状を修正した後に、前記第１のユーザの前記表現が、前記第１の提示モードとは異なる第２の提示モードで表示されることを示す第２のデータを受信することと、
前記第２のデータを受信したことに応じて、前記表示生成コンポーネントを介して、前記第１のユーザの前記表現であって、前記第１のユーザの前記表現が、前記第２の提示モードにある間、前記外部コンピュータシステムによって検出される前記第１のユーザの前記第１の部分の移動の変化に視覚的に反応しない形状を有する、前記第１のユーザの前記表現を前記第２の提示モードで表示することと、
前記第２の提示モードにおいて前記第１のユーザの前記表現を表示する間に、
物理環境における第１のロケーションから、前記物理環境における前記第１のロケーションとは異なる前記物理環境における第２のロケーションへの前記第１のユーザの移動を示す第３のデータを受信することと、
前記第３のデータを受信したことに応じて、前記拡張現実環境内の第１のロケーションから、前記拡張現実環境内の前記第１のロケーションとは異なる前記拡張現実環境内の第２のロケーションへ移動する前記第１のユーザの前記表現を表示することと、
を含む、方法。

【請求項2】

前記第１のユーザの前記第１の部分が、前記第１のユーザの手の少なくとも一部を含む、請求項１に記載の方法。

【請求項3】

前記第２のデータを受信したことに応じて、前記表示生成コンポーネントを介して、前記第１の提示モードから前記第２の提示モードに遷移する前記第１のユーザの前記表現のアニメーションを表示することを更に含む、請求項１又は２に記載の方法。

【請求項4】

前記第２の提示モードにおける前記第１のユーザの前記表現が、前記第１のユーザに関連付けられた１つ以上の色に基づいて選択される１つ以上の色のセットを含む、請求項１から３のいずれか一項に記載の方法。

【請求項5】

前記第２の提示モードにおける前記第１のユーザの前記表現が、カラーパレットの所定のセットから選択される１つ以上の色のセットを含む、請求項１から３のいずれか一項に記載の方法。

【請求項6】

前記第２の提示モードにおける前記第１のユーザの前記表現が、暖色系カラーパレットのセットから選択される１つ以上の色のセットを含む、請求項１から３のいずれか一項に記載の方法。

【請求項7】

前記表示生成コンポーネントを介して、システム要素の表現であって、前記システム要素の前記表現が、寒色系カラーパレットのセットから選択される１つ以上の色のセットを含む、システム要素の表現を表示することを更に含む、請求項６に記載の方法。

【請求項8】

前記第２の提示モードにおいて前記第１のユーザの前記表現を表示する間に、
前記第１のユーザから受信されたオーディオを表すデータを受信することと、
前記第１のユーザから受信されたオーディオを表す前記データを受信したことに応じて、前記第１のユーザから受信された前記オーディオの１つ以上の特性の検出された変化に応じて、前記第２の提示モードにおける前記第１のユーザの前記表現の外観を修正することと、を更に含む、請求項１から７のいずれか一項に記載の方法。

【請求項9】

前記第１の提示モードにおいて前記第１のユーザの前記表現を表示する間に、
前記第１のユーザから受信されたオーディオを表すデータを受信することと、
前記第１のユーザから受信されたオーディオを表す前記データを受信したことに応じて、前記第１のユーザから受信された前記オーディオの１つ以上の特性の検出された変化に応じて、前記第１の提示モードにおける前記第１のユーザの前記表現の外観を修正することを取り止めることと、を更に含む、請求項８に記載の方法。

【請求項10】

前記第２の提示モードにおける前記第１のユーザの前記表現が、前記第１のユーザによって出力されるオーディオとは無関係に、前記第１のユーザの前記表現の外観の少なくとも一部を変化させる、請求項１から９のいずれか一項に記載の方法。

【請求項11】

前記第２の提示モードにおける前記第１のユーザの前記表現が、二次元又は実質的に二次元の外観を有する要素を含む、請求項１から１０のいずれか一項に記載の方法。

【請求項12】

前記外部コンピュータシステムが、第２のユーザに関連付けられた第２の外部コンピュータシステムと通信しており、
前記第２の提示モードで前記第１のユーザの前記表現を表示することが、前記表示生成コンポーネントを介して、前記拡張現実環境において、前記コンピュータシステムのユーザに面する前記拡張現実環境内の第１のポジションを有する前記要素を表示することを含み、
前記第２の外部コンピュータシステムが、前記第１のユーザの前記表現を前記第２の提示モードで表示し、前記拡張現実環境において、前記第２のユーザに面する前記拡張現実環境内の第２のポジションを有する前記要素を表示することを含む、請求項１１に記載の方法。

【請求項13】

第１の表示サイズを有する前記第２の提示モードにおいて前記第１のユーザの前記表現を表示する間に、
前記外部コンピュータシステムから第４のデータを受信することと、
前記第４のデータを受信したことに応じて、第２の表示サイズから前記第２の表示サイズと異なる第３の表示サイズに変化する前記要素を表示することと、を更に含む、請求項１１又は１２に記載の方法。

【請求項14】

前記第２の提示モードにおける前記第１のユーザの前記表現が、前記第１のユーザのミュート状態の視覚的インジケーションを含む、請求項１から１３のいずれか一項に記載の方法。

【請求項15】

前記第２の提示モードにおける前記第１のユーザの前記表現が、前記第１のユーザの識別情報の視覚的インジケーションを含む、請求項１から１３のいずれか一項に記載の方法。

【請求項16】

前記第１の提示モードにおける前記第１のユーザの前記表現が、アバター頭部特徴を有するアバターを含み、
前記第１のユーザの前記表現を前記第２の提示モードで表示することが、前記アバターの表示を停止し、前記アバター頭部特徴によって以前に占有されていた第２のロケーションと重複する第１のロケーションに前記第２の提示モードで前記第１のユーザの前記表現を表示することを含む、請求項１から１５のいずれか一項に記載の方法。

【請求項17】

表示生成コンポーネントと、第１のユーザに関連付けられた外部コンピュータシステムと通信するコンピュータシステムの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムであって、請求項１から１６のいずれか一項に記載の方法を実行する命令を含む１つ以上のプログラムを記憶する、非一時的コンピュータ可読記憶媒体。

【請求項18】

コンピュータシステムであって、
１つ以上のプロセッサと、
前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、を備え、前記１つ以上のプログラムが、請求項１から１６のいずれか一項に記載の方法を実行する命令を含む、コンピュータシステム。

【請求項19】

コンピュータシステムであって、
請求項１から１６のいずれか一項に記載の方法を実行する手段
を備える、コンピュータシステム。

【請求項20】

表示生成コンポーネントと、第１のユーザに関連付けられた外部コンピュータシステムと通信しているコンピュータシステムの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、
前記表示生成コンポーネントを介して、第１の提示モードで前記外部コンピュータシステムの前記第１のユーザの表現を含む通信ユーザインタフェースであって、
前記通信ユーザインタフェースが、拡張現実環境において前記第１のユーザの前記表現を表示し、
前記第１のユーザの前記表現が、前記第１の提示モードにある間、前記外部コンピュータシステムによって検出される前記第１のユーザの第１の部分の移動の変化に視覚的に反応する形状を有する、通信ユーザインタフェースを表示し、
前記第１の提示モードにおいて前記第１のユーザの前記表現を表示する間に、
前記外部コンピュータシステムから、前記第１のユーザの前記第１の部分の移動を示す第１のデータを受信し、
前記第１のデータを受信したことに応じて、前記第１のユーザの前記第１の部分の前記移動に基づいて、前記第１のユーザの前記表現の前記形状を修正し、
前記第１のユーザの前記表現の前記形状を修正した後に、前記第１のユーザの前記表現が、前記第１の提示モードとは異なる第２の提示モードで表示されることを示す第２のデータを受信し、
前記第２のデータを受信したことに応じて、前記表示生成コンポーネントを介して、前記第１のユーザの前記表現であって、前記第１のユーザの前記表現が、前記第２の提示モードにある間、前記外部コンピュータシステムによって検出される前記第１のユーザの前記第１の部分の移動の変化に視覚的に反応しない形状を有する、前記第１のユーザの前記表現を前記第２の提示モードで表示し、
前記第２の提示モードにおいて前記第１のユーザの前記表現を表示する間に、
物理環境における第１のロケーションから、前記物理環境における前記第１のロケーションとは異なる前記物理環境における第２のロケーションへの前記第１のユーザの移動を示す第３のデータを受信し、
前記第３のデータを受信したことに応じて、前記拡張現実環境内の第１のロケーションから、前記拡張現実環境内の前記第１のロケーションとは異なる前記拡張現実環境内の第２のロケーションへ移動する前記第１のユーザの前記表現を表示する、命令を含む、非一時的コンピュータ可読記憶媒体。

【請求項21】

コンピュータシステムであって、前記コンピュータシステムが、表示生成コンポーネントと、第１のユーザに関連付けられた外部コンピュータシステムと通信しており、前記コンピュータシステムが、
１つ以上のプロセッサと、
前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、
を備える、コンピュータシステムであって、前記１つ以上のプログラムが、
前記表示生成コンポーネントを介して、第１の提示モードで前記外部コンピュータシステムの前記第１のユーザの表現を含む通信ユーザインタフェースであって、
前記通信ユーザインタフェースが、拡張現実環境において前記第１のユーザの前記表現を表示し、
前記第１のユーザの前記表現が、前記第１の提示モードにある間、前記外部コンピュータシステムによって検出される前記第１のユーザの第１の部分の移動の変化に視覚的に反応する形状を有する、通信ユーザインタフェースを表示し、
前記第１の提示モードにおいて前記第１のユーザの前記表現を表示する間に、
前記外部コンピュータシステムから、前記第１のユーザの前記第１の部分の移動を示す第１のデータを受信し、
前記第１のデータを受信したことに応じて、前記第１のユーザの前記第１の部分の前記移動に基づいて、前記第１のユーザの前記表現の前記形状を修正し、
前記第１のユーザの前記表現の前記形状を修正した後に、前記第１のユーザの前記表現が、前記第１の提示モードとは異なる第２の提示モードで表示されることを示す第２のデータを受信し、
前記第２のデータを受信したことに応じて、前記表示生成コンポーネントを介して、前記第１のユーザの前記表現であって、前記第１のユーザの前記表現が、前記第２の提示モードにある間、前記外部コンピュータシステムによって検出される前記第１のユーザの前記第１の部分の移動の変化に視覚的に反応しない形状を有する、前記第１のユーザの前記表現を前記第２の提示モードで表示し、
前記第２の提示モードにおいて前記第１のユーザの前記表現を表示する間に、
物理環境における第１のロケーションから、前記物理環境における前記第１のロケーションとは異なる前記物理環境における第２のロケーションへの前記第１のユーザの移動を示す第３のデータを受信し、
前記第３のデータを受信したことに応じて、前記拡張現実環境内の第１のロケーションから、前記拡張現実環境内の前記第１のロケーションとは異なる前記拡張現実環境内の第２のロケーションへ移動する前記第１のユーザの前記表現を表示する、命令を含む、コンピュータシステム。

【請求項22】

コンピュータシステムであって、前記コンピュータシステムが、表示生成コンポーネントと、第１のユーザに関連付けられた外部コンピュータシステムと通信しており、前記コンピュータシステムが、
前記表示生成コンポーネントを介して、第１の提示モードで前記外部コンピュータシステムの前記第１のユーザの表現を含む通信ユーザインタフェースであって、
前記通信ユーザインタフェースが、拡張現実環境において前記第１のユーザの前記表現を表示し、
前記第１のユーザの前記表現が、前記第１の提示モードにある間、前記外部コンピュータシステムによって検出される前記第１のユーザの第１の部分の移動の変化に視覚的に反応する形状を有する、通信ユーザインタフェースを表示する手段と、
前記第１の提示モードにおいて前記第１のユーザの前記表現を表示する間に、
前記外部コンピュータシステムから、前記第１のユーザの前記第１の部分の移動を示す第１のデータを受信し、
前記第１のデータを受信したことに応じて、前記第１のユーザの前記第１の部分の前記移動に基づいて、前記第１のユーザの前記表現の前記形状を修正する手段と、
前記第１のユーザの前記表現の前記形状を修正した後に、前記第１のユーザの前記表現が、前記第１の提示モードとは異なる第２の提示モードで表示されることを示す第２のデータを受信する手段と、
前記第２のデータを受信したことに応じて、前記表示生成コンポーネントを介して、前記第１のユーザの前記表現であって、前記第１のユーザの前記表現が、前記第２の提示モードにある間、前記外部コンピュータシステムによって検出される前記第１のユーザの前記第１の部分の移動の変化に視覚的に反応しない形状を有する、前記第１のユーザの前記表現を前記第２の提示モードで表示する手段と、
前記第２の提示モードにおいて前記第１のユーザの前記表現を表示する間に、
物理環境における第１のロケーションから、前記物理環境における前記第１のロケーションとは異なる前記物理環境における第２のロケーションへの前記第１のユーザの移動を示す第３のデータを受信し、
前記第３のデータを受信したことに応じて、前記拡張現実環境内の第１のロケーションから、前記拡張現実環境内の前記第１のロケーションとは異なる前記拡張現実環境内の第２のロケーションへ移動する前記第１のユーザの前記表現を表示する、手段と、を備える、コンピュータシステム。

【請求項23】

方法であって、
表示生成コンポーネントと、第１のユーザに関連付けられた外部コンピュータシステムと通信するコンピュータシステムにおいて、
拡張現実環境において前記第１のユーザの表現を表示する要求を受信したことに応じて、
眼鏡表示基準のセットが満たされているとの判定に従って、
前記表示生成コンポーネントを介して、前記拡張現実環境において前記第１のユーザの前記表現を表示することと、
前記表示生成コンポーネントを介して、前記拡張現実環境において前記第１のユーザの前記表現上に配置された眼鏡の表現を表示することと、
前記眼鏡表示基準のセットが満たされていないとの判定に従って、
前記表示生成コンポーネントを介して、前記拡張現実環境内の前記第１のユーザの前記表現上に配置された前記眼鏡の表現を表示することなく、前記拡張現実環境内の前記第１のユーザの前記表現を表示することと、
を含む、方法。

【請求項24】

前記眼鏡表示基準のセットが、ユーザ設定が前記眼鏡の表現を表示するために有効にされるときに満たされる基準を含む、請求項２３に記載の方法。

【請求項25】

前記眼鏡表示基準のセットが、眼鏡のセットが登録プロセス中に検出されたときに満たされる基準を含む、請求項２３に記載の方法。

【請求項26】

前記拡張現実環境において前記第１のユーザの前記表現上に配置された前記眼鏡の表現を表示することが、
第１の外観に対するオプションが前記第１のユーザによって選択されたとの判定に従って、前記第１の外観を有する前記眼鏡の表現を表示することと、
第２の外観に対するオプションが前記第１のユーザによって選択されたとの判定に従って、前記第２の外観を有する前記眼鏡の表現を表示することと、を含む、請求項２３から２５のいずれか一項に記載の方法。

【請求項27】

前記第１の外観が、前記コンピュータシステムの前記表示生成コンポーネントに基づく外観である、請求項２６に記載の方法。

【請求項28】

前記拡張現実環境において前記第１のユーザの前記表現上に配置された前記眼鏡の表現を表示することが、
第３の外観基準が満たされているとの判定に従って、前記ユーザの顔で検出された眼鏡に基づいて選択された第３の外観を有する前記眼鏡の表現を表示することを含む、請求項２３から２５のいずれか一項に記載の方法。

【請求項29】

前記第１のユーザが、外観特性の第１のセットを有する眼鏡のセットに関連付けられており、
前記眼鏡の表現が、前記眼鏡のセットの１つ以上の視覚的詳細を省略することによって、前記外観特性の第１のセットとは異なる外観特性の第２のセットを有する、請求項２３から２８のいずれか一項に記載の方法。

【請求項30】

前記眼鏡の表現が半透明の外観を有する、請求項２３から２９のいずれか一項に記載の方法。

【請求項31】

前記拡張現実環境において前記第１のユーザの前記表現上に配置された前記眼鏡の表現が、前記眼鏡の１つ以上のリム部分の表現を含み、前記眼鏡のテンプル部分の表現を含まない、請求項２３から３０のいずれか一項に記載の方法。

【請求項32】

表示生成コンポーネントと、第１のユーザに関連付けられた外部コンピュータシステムと通信するコンピュータシステムの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムであって、請求項２３から３１のいずれか一項に記載の方法を実行する命令を含む１つ以上のプログラムを記憶する、非一時的コンピュータ可読記憶媒体。

【請求項33】

コンピュータシステムであって、
１つ以上のプロセッサと、
前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、を備え、前記１つ以上のプログラムが、請求項２３から３１のいずれか一項に記載の方法を実行する命令を含む、コンピュータシステム。

【請求項34】

コンピュータシステムであって、
請求項２３から３１のいずれか一項に記載の方法を実行する手段
を備える、コンピュータシステム。

【請求項35】

表示生成コンポーネントと、第１のユーザに関連付けられた外部コンピュータシステムと通信しているコンピュータシステムの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、
拡張現実環境において前記第１のユーザの表現を表示する要求を受信したことに応じて、
眼鏡表示基準のセットが満たされているとの判定に従って、
前記表示生成コンポーネントを介して、前記拡張現実環境において前記第１のユーザの前記表現を表示し、
前記表示生成コンポーネントを介して、前記拡張現実環境において前記第１のユーザの前記表現上に配置された眼鏡の表現を表示し、
前記眼鏡表示基準のセットが満たされていないとの判定に従って、
前記表示生成コンポーネントを介して、前記拡張現実環境内の前記第１のユーザの前記表現上に配置された前記眼鏡の表現を表示することなく、前記拡張現実環境内の前記第１のユーザの前記表現を表示する、命令を含む、非一時的コンピュータ可読記憶媒体。

【請求項36】

コンピュータシステムであって、前記コンピュータシステムが、表示生成コンポーネントと、第１のユーザに関連付けられた外部コンピュータシステムと通信しており、前記コンピュータシステムが、
１つ以上のプロセッサと、
前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、
を備える、コンピュータシステムであって、前記１つ以上のプログラムが、
拡張現実環境において前記第１のユーザの表現を表示する要求を受信したことに応じて、
眼鏡表示基準のセットが満たされているとの判定に従って、
前記表示生成コンポーネントを介して、前記拡張現実環境において前記第１のユーザの前記表現を表示し、
前記表示生成コンポーネントを介して、前記拡張現実環境において前記第１のユーザの前記表現上に配置された眼鏡の表現を表示し、
前記眼鏡表示基準のセットが満たされていないとの判定に従って、
前記表示生成コンポーネントを介して、前記拡張現実環境内の前記第１のユーザの前記表現上に配置された前記眼鏡の表現を表示することなく、前記拡張現実環境内の前記第１のユーザの前記表現を表示する、命令を含む、コンピュータシステム。

【請求項37】

コンピュータシステムであって、前記コンピュータシステムが、表示生成コンポーネントと、第１のユーザに関連付けられた外部コンピュータシステムと通信しており、前記コンピュータシステムが、
拡張現実環境において前記第１のユーザの表現を表示する要求を受信したことに応じて、
眼鏡表示基準のセットが満たされているとの判定に従って、
前記表示生成コンポーネントを介して、前記拡張現実環境において前記第１のユーザの前記表現を表示し、
前記表示生成コンポーネントを介して、前記拡張現実環境において前記第１のユーザの前記表現上に配置された眼鏡の表現を表示し、
前記眼鏡表示基準のセットが満たされていないとの判定に従って、
前記表示生成コンポーネントを介して、前記拡張現実環境内の前記第１のユーザの前記表現上に配置された前記眼鏡の表現を表示することなく、前記拡張現実環境内の前記第１のユーザの前記表現を表示する、手段と、
を備える、コンピュータシステム。

【請求項38】

方法であって、
表示生成コンポーネント及び１つ以上のカメラと通信しているコンピュータシステムにおいて、
前記１つ以上のカメラを介してユーザの顔データをキャプチャすることを含む登録プロセス中に、前記表示生成コンポーネントを介して、ユーザの１つ以上の特徴を登録するための登録インタフェースを表示することと、を含み、前記登録インタフェースを表示することは、
前記ユーザの顔特徴のうちの１つ以上の第１のセットを、１つ以上の表情の第１の所定のセットに配置するための第１のプロンプトを出力することと、
前記ユーザの顔特徴のうちの１つ以上の第２のセットを、１つ以上の表情の前記第１の所定のセットとは異なる１つ以上の表情の第２の所定のセットに配置するための第２のプロンプトを出力することと、を含む、方法。

【請求項39】

前記第１のプロンプトは、登録基準の第１のセットが満たされていないとの判定に従って出力され、
前記第２のプロンプトは、前記登録基準の第１のセットが満たされ、かつ登録基準の第２のセットが満たされていないとの判定に従って出力される、請求項３８に記載の方法。

【請求項40】

前記第１のプロンプトを出力した後に、前記１つ以上のカメラを介して前記ユーザの顔データの第１のセットをキャプチャすることと、
前記第２のプロンプトを出力した後に、前記１つ以上のカメラを介して前記ユーザの顔データの第２のセットをキャプチャすることと、を更に含む、請求項３８又は３９に記載の方法。

【請求項41】

前記１つ以上のカメラを介して前記ユーザの前記顔データの第１のセットをキャプチャした後、前記第１のプロンプトの表示を停止することと、
前記１つ以上のカメラを介して前記ユーザの前記顔データの第２のセットをキャプチャした後、前記第２のプロンプトの表示を停止することと、を更に含む、請求項４０に記載の方法。

【請求項42】

前記１つ以上の表情の前記第１の所定のセットが、笑顔、眉毛をひそめた表情、目を細めた表情、及び驚いた表情からなる群から選択される、請求項３８から４１のいずれか一項に記載の方法。

【請求項43】

前記第２のプロンプトが、前記ユーザが１つ以上の単語のセットを話すためのプロンプトを含む、請求項３８から４２のいずれか一項に記載の方法。

【請求項44】

前記ユーザの１つ以上の特徴を登録するための前記登録インタフェースを表示することが、
前記ユーザの頭部のポジションを変化させるための第３のプロンプトを出力することを更に含む、請求項３８から４３のいずれか一項に記載の方法。

【請求項45】

前記第３のプロンプトが、前記第１のプロンプト又は前記第２のプロンプトのうちの少なくとも１つの前に出力される、請求項４４に記載の方法。

【請求項46】

前記ユーザの１つ以上の特徴を登録するための前記登録インタフェースを表示することが、
前記ユーザの頭部を静止させたまま、前記ユーザの頭部に対する前記１つ以上のカメラのポジションを変化させるための第４のプロンプトを出力することを更に含む、請求項３８から４５のいずれか一項に記載の方法。

【請求項47】

前記ユーザの１つ以上の特徴を登録するための前記登録インタフェースを表示することが、
前記ユーザの身長を示すための第５のプロンプトを出力することを更に含む、請求項３８から４６のいずれか一項に記載の方法。

【請求項48】

前記ユーザの１つ以上の特徴を登録するための前記登録インタフェースを表示することが、
前記登録プロセスの少なくとも一部の間、前記ユーザの顔から眼鏡のセットを除去するための第６のプロンプトを出力することを更に含む、請求項３８から４７のいずれか一項に記載の方法。

【請求項49】

前記登録プロセス中にキャプチャされた前記顔データの少なくとも一部を使用してアバターが生成され、
前記アバターが、前記コンピュータシステムとは異なる外部コンピュータシステムを使用して表示される、請求項３８から４８のいずれか一項に記載の方法。

【請求項50】

前記ユーザの１つ以上の特徴を登録するための前記登録インタフェースを表示することが、
前記ユーザの非顔特徴の姿勢をキャプチャするための第７のプロンプトを出力することを更に含む、請求項３８から４９のいずれか一項に記載の方法。

【請求項51】

表示生成コンポーネント及び１つ以上のカメラと通信しているコンピュータシステムの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムであって、請求項３８から５０のいずれか一項に記載の方法を実行する命令を含む１つ以上のプログラムを記憶する、非一時的コンピュータ可読記憶媒体。

【請求項52】

コンピュータシステムであって、
１つ以上のプロセッサと、
前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、を備え、前記１つ以上のプログラムが、請求項３８から５０のいずれか一項に記載の方法を実行する命令を含む、コンピュータシステム。

【請求項53】

コンピュータシステムであって、
請求項３８から５０のいずれか一項に記載の方法を実行する手段
を備える、コンピュータシステム。

【請求項54】

表示生成コンポーネント及び１つ以上のカメラと通信しているコンピュータシステムの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、
前記１つ以上のカメラを介してユーザの顔データをキャプチャすることを含む登録プロセス中に、前記表示生成コンポーネントを介して、ユーザの１つ以上の特徴を登録するための登録インタフェースを表示する命令を含み、前記登録インタフェースを表示することは、
前記ユーザの顔特徴のうちの１つ以上の第１のセットを、１つ以上の表情の第１の所定のセットに配置するための第１のプロンプトを出力することと、
前記ユーザの顔特徴のうちの１つ以上の第２のセットを、１つ以上の表情の前記第１の所定のセットとは異なる１つ以上の表情の第２の所定のセットに配置するための第２のプロンプトを出力することと、を含む、非一時的コンピュータ可読記憶媒体。

【請求項55】

コンピュータシステムであって、前記コンピュータシステムが、表示生成コンポーネント及び１つ以上のカメラと通信しており、前記コンピュータシステムが、
１つ以上のプロセッサと、
前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、
を備える、コンピュータシステムであって、前記１つ以上のプログラムが、
前記１つ以上のカメラを介してユーザの顔データをキャプチャすることを含む登録プロセス中に、前記表示生成コンポーネントを介して、ユーザの１つ以上の特徴を登録するための登録インタフェースを表示する、命令を含み、前記登録インタフェースを表示することは、
前記ユーザの顔特徴のうちの１つ以上の第１のセットを、１つ以上の表情の第１の所定のセットに配置するための第１のプロンプトを出力することと、
前記ユーザの顔特徴のうちの１つ以上の第２のセットを、１つ以上の表情の前記第１の所定のセットとは異なる１つ以上の表情の第２の所定のセットに配置するための第２のプロンプトを出力することと、を含む、コンピュータシステム。

【請求項56】

コンピュータシステムであって、前記コンピュータシステムが、表示生成コンポーネント及び１つ以上のカメラと通信しており、前記コンピュータシステムが、
前記１つ以上のカメラを介してユーザの顔データをキャプチャすることを含む登録プロセス中に、前記表示生成コンポーネントを介して、ユーザの１つ以上の特徴を登録する登録インタフェースを表示する手段を備え、前記登録インタフェースを表示することは、
前記ユーザの顔特徴のうちの１つ以上の第１のセットを、１つ以上の表情の第１の所定のセットに配置するための第１のプロンプトを出力することと、
前記ユーザの顔特徴のうちの１つ以上の第２のセットを、１つ以上の表情の前記第１の所定のセットとは異なる１つ以上の表情の第２の所定のセットに配置するための第２のプロンプトを出力することと、を含む、コンピュータシステム。

【請求項57】

方法であって、
表示生成コンポーネント及び１つ以上のセンサと通信しているコンピュータシステムにおいて、
前記表示生成コンポーネントを介して、ユーザ特徴インジケータインタフェースであって、
物理環境におけるユーザの手の１つ以上の特徴のセットの検出ロケーションに対応する１つ以上の視覚インジケータのセットを含み、前記１つ以上の視覚インジケータのセットが、拡張現実環境において表示され、前記物理環境における前記ユーザの前記手の前記１つ以上の特徴のセットの第１の検出ロケーションに対応する第１の表示ポジションを有する、ユーザ特徴インジケータインタフェースを表示することと、
前記１つ以上のセンサを介して、前記ユーザの前記手の前記１つ以上の特徴のセットにおける前記ユーザの前記手の少なくとも１つの特徴の移動を検出することと、
前記ユーザの前記手の前記１つ以上の特徴のセットにおける前記ユーザの前記手の少なくとも１つの特徴の前記移動を検出したことに応じて、前記ユーザ特徴インジケータインタフェースの表示を更新することと、を含み、前記表示を更新することは、
前記ユーザの前記手の前記１つ以上の特徴のセットが前記物理環境内の第２の検出ロケーションに移動したとの判定に従って、前記表示生成コンポーネントを介して、前記物理環境内の前記ユーザの前記手の前記１つ以上の特徴のセットの前記第２の検出ロケーションに対応する前記拡張現実環境内の第２の表示ポジションを有する前記１つ以上の視覚インジケータのセットを表示することと、
前記ユーザの前記手の前記１つ以上の特徴のセットが前記第２の検出ロケーションとは異なる前記物理環境内の第３の検出ロケーションに移動したとの判定に従って、前記表示生成コンポーネントを介して、前記物理環境内の前記ユーザの前記手の前記１つ以上の特徴のセットの前記第３の検出ロケーションに対応する前記拡張現実環境内の第３の表示ポジションであって、前記拡張現実環境内の前記第３の表示ポジションが、前記拡張現実環境内の前記第２の表示ポジションとは異なる、前記拡張現実環境内の第３の表示ポジションを有する前記１つ以上の視覚インジケータのセットを表示することと、を含む、方法。

【請求項58】

前記ユーザの前記手の前記１つ以上の特徴のセットにおける前記ユーザの前記手の前記少なくとも１つの特徴の前記移動を検出することが、前記ユーザの前記手の前記１つ以上の特徴のセットにおける前記ユーザの前記手の前記少なくとも１つの特徴の前記移動の大きさ及び／又は方向を検出することを含み、
前記拡張現実環境において前記第２の表示ポジションを有する前記１つ以上の視覚インジケータのセットを表示することが、前記第１の表示ポジションから前記第２の表示ポジションに移動する前記１つ以上の視覚インジケータのセットを表示することを含み、前記第１の表示ポジションから前記第２の表示ポジションへの前記移動が、前記ユーザの前記手の前記１つ以上の特徴のセットにおける前記ユーザの前記手の前記少なくとも１つの特徴の前記移動の前記検出された大きさ及び／又は方向に基づき、
前記拡張現実環境において前記第３の表示ポジションを有する前記１つ以上の視覚インジケータのセットを表示することが、前記第１の表示ポジションから前記第３の表示ポジションに移動する前記１つ以上の視覚インジケータのセットを表示することを含み、前記第１の表示ポジションから前記第３の表示ポジションへの前記移動が、前記ユーザの前記手の前記１つ以上の特徴のセットにおける前記ユーザの前記手の前記少なくとも１つの特徴の前記移動の前記検出された大きさ及び／又は方向に基づく、請求項５７に記載の方法。

【請求項59】

前記表示生成コンポーネントが、透明ディスプレイコンポーネントを含み、
前記１つ以上の視覚インジケータのセットが、前記ユーザの目と前記手の前記１つ以上の特徴のセットの検出ロケーションとの間の視線に沿っていると予測される、前記透明ディスプレイコンポーネント上のロケーションに表示される、請求項５７又は５８に記載の方法。

【請求項60】

前記１つ以上の視覚インジケータのセットを表示することが、前記拡張現実環境において、前記ユーザの前記手の前記１つ以上の特徴のセットの周辺領域に対応するロケーションに仮想強調表示効果を表示することを含む、請求項５７から５９のいずれか一項に記載の方法。

【請求項61】

前記拡張現実環境において前記第２の表示ポジションを有する前記１つ以上の視覚インジケータのセットを表示することが、
前記第１の表示ポジションから前記第２の表示ポジションに移動する前記１つ以上の視覚インジケータのセットを表示することと、
前記１つ以上の視覚インジケータのセットが前記第１の表示ポジションから前記第２の表示ポジションに移動するにつれて、前記１つ以上の視覚インジケータのセットに続く１つ以上の視覚インジケータの第２のセットを表示することと、を含み、
前記拡張現実環境において前記第３の表示ポジションを有する前記１つ以上の視覚インジケータのセットを表示することが、
前記第１の表示ポジションから前記第３の表示ポジションに移動する前記１つ以上の視覚インジケータのセットを表示することと、
前記１つ以上の視覚インジケータのセットが前記第１の表示ポジションから前記第３の表示ポジションに移動するにつれて、前記１つ以上の視覚インジケータのセットに続く１つ以上の視覚インジケータの第３のセットを表示することと、を含む、請求項５７から６０のいずれか一項に記載の方法。

【請求項62】

前記ユーザの前記手の前記少なくとも１つの特徴が、前記ユーザの前記手の指の先端であり、
前記１つ以上の視覚インジケータのセットを表示することが、前記拡張現実環境において、前記ユーザの前記手の前記指の前記先端に対応するロケーションに強調表示効果を表示することを含む、請求項５７から６１のいずれか一項に記載の方法。

【請求項63】

前記ユーザ特徴インジケータインタフェースが、前記デバイスが前記ユーザの前記手のポジション及び／又は移動に基づいて入力を受け入れる準備ができているとの判定に従って表示される、請求項５７から６２のいずれか一項に記載の方法。

【請求項64】

前記デバイスは、前記ユーザが前記手を見ているという判定がなされるとき、前記ユーザの前記手のポジション及び／又は移動に基づいて入力を受け入れるように準備される、請求項６３に記載の方法。

【請求項65】

前記デバイスは、前記手が１つ以上の所定の姿勢のセットのうちの少なくとも１つを有すると判定された場合に、前記ユーザの前記手のポジション及び／又は移動に基づいて入力を受け入れる準備ができている、請求項６３から６４のいずれか一項に記載の方法。

【請求項66】

前記特徴インジケータインタフェースは、表示基準の第１のセットが満たされているとの判定に従って表示され、前記方法が、
表示基準の第２のセットが満たされているとの判定に従って、前記表示生成コンポーネントを介して、仮想現実環境において前記ユーザの前記手の仮想表現を表示することを更に含む、請求項５７から６５のいずれか一項に記載の方法。

【請求項67】

前記コンピュータシステムが外部コンピュータシステムと通信しており、
前記コンピュータシステムが、前記表示生成コンポーネントを介して、前記１つ以上の視覚インジケータのセットを含む前記ユーザ特徴インジケータインタフェースを表示している間に、前記外部コンピュータシステムが、前記拡張現実環境において前記ユーザの前記手の仮想表現を表示する、請求項５７から６６のいずれか一項に記載の方法。

【請求項68】

前記１つ以上のセンサを介して、所定のジェスチャのセットから少なくとも１つのジェスチャを検出することと、
前記少なくとも１つのジェスチャを検出したことに応じて、前記１つ以上の視覚インジケータのセットの外観を修正することと、を更に含む、請求項５７から６７のいずれか一項に記載の方法。

【請求項69】

前記１つ以上の視覚インジケータのセットを表示することが、前記表示生成コンポーネントを介して、前記物理環境内の前記ユーザの前記手の前記１つ以上の特徴のセットのビデオフィード上に配置された前記視覚インジケータを表示することを含む、請求項５７から６８のいずれか一項に記載の方法。

【請求項70】

表示生成コンポーネント及び１つ以上のセンサと通信しているコンピュータシステムの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムであって、請求項５７から６９のいずれか一項に記載の方法を実行する命令を含む１つ以上のプログラムを記憶する、非一時的コンピュータ可読記憶媒体。

【請求項71】

コンピュータシステムであって、
１つ以上のプロセッサと、
前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、を備え、前記１つ以上のプログラムが、請求項５７から６９のいずれか一項に記載の方法を実行する命令を含む、コンピュータシステム。

【請求項72】

コンピュータシステムであって、
請求項５７から６９のいずれか一項に記載の方法を実行する手段
を備える、コンピュータシステム。

【請求項73】

表示生成コンポーネント及び１つ以上のセンサと通信しているコンピュータシステムの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、
前記表示生成コンポーネントを介して、ユーザ特徴インジケータインタフェースであって、
物理環境におけるユーザの手の１つ以上の特徴のセットの検出ロケーションに対応する１つ以上の視覚インジケータのセットを含み、前記１つ以上の視覚インジケータのセットが、拡張現実環境において表示され、前記物理環境における前記ユーザの前記手の前記１つ以上の特徴のセットの第１の検出ロケーションに対応する第１の表示ポジションを有する、ユーザ特徴インジケータインタフェースを表示し、
前記１つ以上のセンサを介して、前記ユーザの前記手の前記１つ以上の特徴のセットにおける前記ユーザの前記手の少なくとも１つの特徴の移動を検出し、
前記ユーザの前記手の前記１つ以上の特徴のセットにおける前記ユーザの前記手の少なくとも１つの特徴の前記移動を検出したことに応じて、前記ユーザ特徴インジケータインタフェースの表示を更新する、命令を含み、前記表示を更新することは、
前記ユーザの前記手の前記１つ以上の特徴のセットが前記物理環境内の第２の検出ロケーションに移動したとの判定に従って、前記表示生成コンポーネントを介して、前記物理環境内の前記ユーザの前記手の前記１つ以上の特徴のセットの前記第２の検出ロケーションに対応する前記拡張現実環境内の第２の表示ポジションを有する前記１つ以上の視覚インジケータのセットを表示することと、
前記ユーザの前記手の前記１つ以上の特徴のセットが前記第２の検出ロケーションとは異なる前記物理環境内の第３の検出ロケーションに移動したとの判定に従って、前記表示生成コンポーネントを介して、前記物理環境内の前記ユーザの前記手の前記１つ以上の特徴のセットの前記第３の検出ロケーションに対応する前記拡張現実環境内の第３の表示ポジションであって、前記拡張現実環境内の前記第３の表示ポジションが、前記拡張現実環境内の前記第２の表示ポジションとは異なる、前記拡張現実環境内の第３の表示ポジションを有する前記１つ以上の視覚インジケータのセットを表示することと、を含む、非一時的コンピュータ可読記憶媒体。

【請求項74】

コンピュータシステムであって、前記コンピュータシステムが、表示生成コンポーネント及び１つ以上のセンサと通信しており、前記コンピュータシステムが、
１つ以上のプロセッサと、
前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、
を備える、コンピュータシステムであって、前記１つ以上のプログラムが、
前記表示生成コンポーネントを介して、ユーザ特徴インジケータインタフェースであって、
物理環境におけるユーザの手の１つ以上の特徴のセットの検出ロケーションに対応する１つ以上の視覚インジケータのセットを含み、前記１つ以上の視覚インジケータのセットが、拡張現実環境において表示され、前記物理環境における前記ユーザの前記手の前記１つ以上の特徴のセットの第１の検出ロケーションに対応する第１の表示ポジションを有する、ユーザ特徴インジケータインタフェースを表示し、
前記１つ以上のセンサを介して、前記ユーザの前記手の前記１つ以上の特徴のセットにおける前記ユーザの前記手の少なくとも１つの特徴の移動を検出し、
前記ユーザの前記手の前記１つ以上の特徴のセットにおける前記ユーザの前記手の少なくとも１つの特徴の前記移動を検出したことに応じて、前記ユーザ特徴インジケータインタフェースの表示を更新する、命令を含み、前記表示を更新することは、
前記ユーザの前記手の前記１つ以上の特徴のセットが前記物理環境内の第２の検出ロケーションに移動したとの判定に従って、前記表示生成コンポーネントを介して、前記物理環境内の前記ユーザの前記手の前記１つ以上の特徴のセットの前記第２の検出ロケーションに対応する前記拡張現実環境内の第２の表示ポジションを有する前記１つ以上の視覚インジケータのセットを表示することと、
前記ユーザの前記手の前記１つ以上の特徴のセットが前記第２の検出ロケーションとは異なる前記物理環境内の第３の検出ロケーションに移動したとの判定に従って、前記表示生成コンポーネントを介して、前記物理環境内の前記ユーザの前記手の前記１つ以上の特徴のセットの前記第３の検出ロケーションに対応する前記拡張現実環境内の第３の表示ポジションであって、前記拡張現実環境内の前記第３の表示ポジションが、前記拡張現実環境内の前記第２の表示ポジションとは異なる、前記拡張現実環境内の第３の表示ポジションを有する前記１つ以上の視覚インジケータのセットを表示することと、を含む、コンピュータシステム。

【請求項75】

コンピュータシステムであって、前記コンピュータシステムが、表示生成コンポーネント及び１つ以上のセンサと通信しており、前記コンピュータシステムが、
前記表示生成コンポーネントを介して、ユーザ特徴インジケータインタフェースであって、
物理環境におけるユーザの手の１つ以上の特徴のセットの検出ロケーションに対応する１つ以上の視覚インジケータのセットを含み、前記１つ以上の視覚インジケータのセットが、拡張現実環境において表示され、前記物理環境における前記ユーザの前記手の前記１つ以上の特徴のセットの第１の検出ロケーションに対応する第１の表示ポジションを有する、ユーザ特徴インジケータインタフェースを表示する手段と、
前記１つ以上のセンサを介して、前記ユーザの前記手の前記１つ以上の特徴のセットにおける前記ユーザの前記手の少なくとも１つの特徴の移動を検出する手段と、
前記ユーザの前記手の前記１つ以上の特徴のセットにおける前記ユーザの前記手の少なくとも１つの特徴の前記移動を検出したことに応じて、前記ユーザ特徴インジケータインタフェースの表示を更新する手段と、を備え、前記表示を更新することは、
前記ユーザの前記手の前記１つ以上の特徴のセットが前記物理環境内の第２の検出ロケーションに移動したとの判定に従って、前記表示生成コンポーネントを介して、前記物理環境内の前記ユーザの前記手の前記１つ以上の特徴のセットの前記第２の検出ロケーションに対応する前記拡張現実環境内の第２の表示ポジションを有する前記１つ以上の視覚インジケータのセットを表示することと、
前記ユーザの前記手の前記１つ以上の特徴のセットが前記第２の検出ロケーションとは異なる前記物理環境内の第３の検出ロケーションに移動したとの判定に従って、前記表示生成コンポーネントを介して、前記物理環境内の前記ユーザの前記手の前記１つ以上の特徴のセットの前記第３の検出ロケーションに対応する前記拡張現実環境内の第３の表示ポジションであって、前記拡張現実環境内の前記第３の表示ポジションが、前記拡張現実環境内の前記第２の表示ポジションとは異なる、前記拡張現実環境内の第３の表示ポジションを有する前記１つ以上の視覚インジケータのセットを表示することと、を含む、コンピュータシステム。

【請求項76】

方法であって、
表示生成コンポーネントと、第１のユーザに関連付けられた外部コンピュータシステムと通信するコンピュータシステムにおいて、
拡張現実環境において、前記表示生成コンポーネントを介して、前記第１のユーザの表現であって、前記第１のユーザの前記表現が、第１の姿勢と、前記第１のユーザの少なくとも一部の形状に基づく形状とを有する前記拡張現実環境に表示され、前記第１のユーザの前記表現の前記形状が、視覚的特性の第１のセットで視覚化される、第１のユーザの表現を表示することと、
前記第１のユーザの姿勢の変化を示すデータを含む第１のデータを受信することと、
前記第１のデータを受信したことに応じて、前記拡張現実環境における前記第１のユーザの前記表現の外観を更新することと、を含み、前記外観を更新することは、
前記第１のデータが、前記第１のユーザの第１の部分がオブジェクトに接触しているというインジケーションを含むとの判定に従って、前記拡張現実環境において、
前記第１のユーザの姿勢の前記変化に基づく第２の姿勢を有する前記第１のユーザの前記表現であって、前記第１のユーザの前記表現の前記形状が前記視覚的特性の第１のセットによって視覚化される、前記第１のユーザの前記表現と、
前記オブジェクトの少なくとも一部の形状に基づく形状を有する前記オブジェクトの表現であって、前記オブジェクトの前記表現の前記形状が、前記視覚的特性の第１のセットとは異なる視覚的特性の第２のセットを用いて視覚化される、前記オブジェクトの表現と、を表示することを含む、方法。

【請求項77】

前記拡張現実環境における前記第１のユーザの前記表現の外観を更新することが、
前記第１のデータが、前記第１のユーザの前記第１の部分が前記オブジェクトに接触しているというインジケーションを含まないとの判定に従って、
前記拡張現実環境において、前記第１のユーザの姿勢の変化に基づく第２の姿勢を有する前記第１のユーザの前記表現であって、前記第１のユーザの前記表現の前記形状が前記視覚的特性の第１のセットによって視覚化される、前記第１のユーザの前記表現を表示することと、
前記拡張現実環境において、前記オブジェクトの少なくとも一部の形状に基づく形状を有し、前記視覚的特性の第１のセットとは異なる視覚的特性の第２のセットを用いて視覚化された前記オブジェクトの前記表現を表示することを取り止めることと、を含む、請求項７６に記載の方法。

【請求項78】

前記視覚的特性の第１のセットが、前記第１のユーザの前記表現の前記形状のぼかしの第１の量を含み、
前記視覚的特性の第２のセットが、前記ぼかしの第１の量とは異なる、前記オブジェクトの前記表現の前記形状のぼかしの第２の量を含む、請求項７６又は７７に記載の方法。

【請求項79】

前記視覚的特性の第１のセットが、前記第１のユーザの前記表現の前記形状を含む粒子の第１の密度を含み、
前記視覚的特性の第２のセットが、前記第１の密度とは異なる、前記オブジェクトの前記表現の前記形状を含む粒子の第２の密度を含む、請求項７６から７８のいずれか一項に記載の方法。

【請求項80】

前記視覚的特性の第１のセットが、前記第１のユーザの前記表現の前記形状の視覚的平滑化の第１の量を含み、
前記視覚的特性の第２のセットが、前記視覚的平滑化の第１の量とは異なる、前記オブジェクトの前記表現の前記形状の視覚的平滑化の第２の量を含む、請求項７６から７９のいずれか一項に記載の方法。

【請求項81】

前記視覚的特性の第１のセットが、前記第１のユーザの前記表現の前記形状のピクセル化の第１の量を含み、
前記視覚的特性の第２のセットが、前記ピクセル化の第１の量とは異なる、前記オブジェクトの前記表現の前記形状のピクセル化の第２の量を含む、請求項７６から８０のいずれか一項に記載の方法。

【請求項82】

前記オブジェクトの前記表現が、少なくとも部分的に、オブジェクトのライブラリからのデータに基づく、請求項７６から８１のいずれか一項に記載の方法。

【請求項83】

前記第１のユーザの前記表現が、少なくとも部分的に、前記第１のユーザに関する登録プロセスからのデータに基づく、請求項７６から８２のいずれか一項に記載の方法。

【請求項84】

前記コンピュータシステムが、前記表示生成コンポーネントを介して、前記第１のユーザの前記表現及び前記オブジェクトの前記表現を表示している間、前記外部コンピュータシステムが、前記第１のユーザの前記表現及び前記オブジェクトの前記表現を表示することを取り止める、請求項７６から８３のいずれか一項に記載の方法。

【請求項85】

第１のポジションを有する前記オブジェクトの前記表現及び前記第２の姿勢を有する前記第１のユーザの前記表現を表示している間に、前記第１のユーザの少なくとも前記第１の部分の移動を示すデータを含む第２のデータを受信することと、
前記第２のデータを受信したことに応じて、前記拡張現実環境において前記オブジェクトの前記表現及び前記第１のユーザの前記表現の表示を更新することであって、
前記ユーザの少なくとも前記第１の部分の前記移動に基づいて第３の姿勢を有する前記第１のユーザの前記表現を表示することと、
前記ユーザの少なくとも前記第１の部分の前記移動に基づいて、第２のポジションを有する前記オブジェクトの前記表現を表示することと、を含む、ことと、を更に含む、請求項７６から８４のいずれか一項に記載の方法。

【請求項86】

表示生成コンポーネントと、第１のユーザに関連付けられた外部コンピュータシステムと通信するコンピュータシステムの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムであって、請求項７６から８５のいずれか一項に記載の方法を実行する命令を含む１つ以上のプログラムを記憶する、非一時的コンピュータ可読記憶媒体。

【請求項87】

コンピュータシステムであって、
１つ以上のプロセッサと、
前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、を備え、前記１つ以上のプログラムが、請求項７６から８５のいずれか一項に記載の方法を実行する命令を含む、コンピュータシステム。

【請求項88】

コンピュータシステムであって、
請求項７６から８５のいずれか一項に記載の方法を実行する手段
を備える、コンピュータシステム。

【請求項89】

表示生成コンポーネントと、第１のユーザに関連付けられた外部コンピュータシステムと通信しているコンピュータシステムの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、
拡張現実環境において、前記表示生成コンポーネントを介して、前記第１のユーザの表現であって、前記第１のユーザの前記表現が、第１の姿勢と、前記第１のユーザの少なくとも一部の形状に基づく形状とを有する前記拡張現実環境に表示され、前記第１のユーザの前記表現の前記形状が、視覚的特性の第１のセットで視覚化される、第１のユーザの表現を表示し、
前記第１のユーザの姿勢の変化を示すデータを含む第１のデータを受信し、
前記第１のデータを受信したことに応じて、前記拡張現実環境における前記第１のユーザの前記表現の外観を更新する、命令を含み、前記外観を更新することは、
前記第１のデータが、前記第１のユーザの第１の部分がオブジェクトに接触しているというインジケーションを含むとの判定に従って、前記拡張現実環境において、
前記第１のユーザの姿勢の変化に基づく第２の姿勢を有する前記第１のユーザの前記表現であって、前記第１のユーザの前記表現の前記形状が前記視覚的特性の第１のセットによって視覚化される、前記第１のユーザの前記表現と、
前記オブジェクトの少なくとも一部の形状に基づく形状を有する前記オブジェクトの表現であって、前記オブジェクトの前記表現の前記形状が、前記視覚的特性の第１のセットとは異なる視覚的特性の第２のセットを用いて視覚化される、前記オブジェクトの表現と、を表示すること含む、非一時的コンピュータ可読記憶媒体。

【請求項90】

コンピュータシステムであって、前記コンピュータシステムが、表示生成コンポーネントと、第１のユーザに関連付けられた外部コンピュータシステムと通信しており、前記コンピュータシステムが、
１つ以上のプロセッサと、
前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、
を備える、コンピュータシステムであって、前記１つ以上のプログラムが、
拡張現実環境において、前記表示生成コンポーネントを介して、前記第１のユーザの表現であって、前記第１のユーザの前記表現が、第１の姿勢と、前記第１のユーザの少なくとも一部の形状に基づく形状とを有する前記拡張現実環境に表示され、前記第１のユーザの前記表現の前記形状が、視覚的特性の第１のセットで視覚化される、第１のユーザの表現を表示し、
前記第１のユーザの姿勢の変化を示すデータを含む第１のデータを受信し、
前記第１のデータを受信したことに応じて、前記拡張現実環境における前記第１のユーザの前記表現の外観を更新する、命令を含み、前記外観を更新することは、
前記第１のデータが、前記第１のユーザの第１の部分がオブジェクトに接触しているというインジケーションを含むとの判定に従って、前記拡張現実環境において、
前記第１のユーザの姿勢の変化に基づく第２の姿勢を有する前記第１のユーザの前記表現であって、前記第１のユーザの前記表現の前記形状が前記視覚的特性の第１のセットによって視覚化される、前記第１のユーザの前記表現と、
前記オブジェクトの少なくとも一部の形状に基づく形状を有する前記オブジェクトの表現であって、前記オブジェクトの前記表現の前記形状が、前記視覚的特性の第１のセットとは異なる視覚的特性の第２のセットを用いて視覚化される、前記オブジェクトの表現と、を表示することを含む、コンピュータシステム。

【請求項91】

コンピュータシステムであって、前記コンピュータシステムが、表示生成コンポーネントと、第１のユーザに関連付けられた外部コンピュータシステムと通信しており、前記コンピュータシステムが、
拡張現実環境において、前記表示生成コンポーネントを介して、前記第１のユーザの表現であって、前記第１のユーザの前記表現が、第１の姿勢と、前記第１のユーザの少なくとも一部の形状に基づく形状とを有する前記拡張現実環境に表示され、前記第１のユーザの前記表現の前記形状が、視覚的特性の第１のセットで視覚化される、第１のユーザの表現を表示する手段と、
前記第１のユーザの姿勢の変化を示すデータを含む第１のデータを受信する手段と、
前記第１のデータを受信したことに応じて、前記拡張現実環境における前記第１のユーザの前記表現の外観を更新する手段と、を備え、前記外観を更新することは、
前記第１のデータが、前記第１のユーザの第１の部分がオブジェクトに接触しているというインジケーションを含むとの判定に従って、前記拡張現実環境において、
前記第１のユーザの姿勢の変化に基づく第２の姿勢を有する前記第１のユーザの前記表現であって、前記第１のユーザの前記表現の前記形状が前記視覚的特性の第１のセットによって視覚化される、前記第１のユーザの前記表現と、
前記オブジェクトの少なくとも一部の形状に基づく形状を有する前記オブジェクトの表現であって、前記オブジェクトの前記表現の前記形状が、前記視覚的特性の第１のセットとは異なる視覚的特性の第２のセットを用いて視覚化される、前記オブジェクトの表現と、を表示することを含む、コンピュータシステム。

【請求項92】

表示生成コンポーネントと、第１のユーザに関連付けられた外部コンピュータシステムと通信するコンピュータシステムの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムであって、請求項１から１６のいずれか一項に記載の方法を実行する命令を含む１つ以上のプログラムを備える、コンピュータプログラム製品。

【請求項93】

表示生成コンポーネントと、第１のユーザに関連付けられた外部コンピュータシステムと通信しているコンピュータシステムの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを備えるコンピュータプログラム製品であって、前記１つ以上のプログラムが、
前記表示生成コンポーネントを介して、第１の提示モードで前記外部コンピュータシステムの前記第１のユーザの表現を含む通信ユーザインタフェースであって、
前記通信ユーザインタフェースが、拡張現実環境において前記第１のユーザの前記表現を表示し、
前記第１のユーザの前記表現が、前記第１の提示モードにある間、前記外部コンピュータシステムによって検出される前記第１のユーザの第１の部分の移動の変化に視覚的に反応する形状を有する、通信ユーザインタフェースを表示し、
前記第１の提示モードにおいて前記第１のユーザの前記表現を表示する間に、
前記外部コンピュータシステムから、前記第１のユーザの前記第１の部分の移動を示す第１のデータを受信し、
前記第１のデータを受信したことに応じて、前記第１のユーザの前記第１の部分の前記移動に基づいて、前記第１のユーザの前記表現の前記形状を修正し、
前記第１のユーザの前記表現の前記形状を修正した後に、前記第１のユーザの前記表現が、前記第１の提示モードとは異なる第２の提示モードで表示されることを示す第２のデータを受信し、
前記第２のデータを受信したことに応じて、前記表示生成コンポーネントを介して、前記第１のユーザの前記表現であって、前記第１のユーザの前記表現が、前記第２の提示モードにある間、前記外部コンピュータシステムによって検出される前記第１のユーザの前記第１の部分の移動の変化に視覚的に反応しない形状を有する、前記第１のユーザの前記表現を前記第２の提示モードで表示し、
前記第２の提示モードにおいて前記第１のユーザの前記表現を表示する間に、
物理環境における第１のロケーションから、前記物理環境における前記第１のロケーションとは異なる前記物理環境における第２のロケーションへの前記第１のユーザの移動を示す第３のデータを受信し、
前記第３のデータを受信したことに応じて、前記拡張現実環境内の第１のロケーションから、前記拡張現実環境内の前記第１のロケーションとは異なる前記拡張現実環境内の第２のロケーションへ移動する前記第１のユーザの前記表現を表示する、命令を含む、コンピュータプログラム製品。

【請求項94】

表示生成コンポーネントと、第１のユーザに関連付けられた外部コンピュータシステムと通信するコンピュータシステムの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムであって、請求項２３から３１のいずれか一項に記載の方法を実行する命令を含む１つ以上のプログラムを備える、コンピュータプログラム製品。

【請求項95】

表示生成コンポーネントと、第１のユーザに関連付けられた外部コンピュータシステムと通信しているコンピュータシステムの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを備えるコンピュータプログラム製品であって、前記１つ以上のプログラムが、
拡張現実環境において前記第１のユーザの表現を表示する要求を受信したことに応じて、
眼鏡表示基準のセットが満たされているとの判定に従って、
前記表示生成コンポーネントを介して、前記拡張現実環境において前記第１のユーザの前記表現を表示し、
前記表示生成コンポーネントを介して、前記拡張現実環境において前記第１のユーザの前記表現上に配置された眼鏡の表現を表示し、
前記眼鏡表示基準のセットが満たされていないとの判定に従って、
前記表示生成コンポーネントを介して、前記拡張現実環境内の前記第１のユーザの前記表現上に配置された前記眼鏡の表現を表示することなく、前記拡張現実環境内の前記第１のユーザの前記表現を表示する、命令を含む、コンピュータプログラム製品。

【請求項96】

表示生成コンポーネント及び１つ以上のカメラと通信しているコンピュータシステムの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムであって、請求項３８から５０のいずれか一項に記載の方法を実行する命令を含む１つ以上のプログラムを含む、コンピュータプログラム製品。

【請求項97】

表示生成コンポーネント及び１つ以上のカメラと通信しているコンピュータシステムの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを備えるコンピュータプログラム製品であって、前記１つ以上のプログラムが、
前記１つ以上のカメラを介してユーザの顔データをキャプチャすることを含む登録プロセス中に、前記表示生成コンポーネントを介して、ユーザの１つ以上の特徴を登録するための登録インタフェースを表示する、命令をふくみ、前記登録インタフェースを表示することは、
前記ユーザの顔特徴のうちの１つ以上の第１のセットを、１つ以上の表情の第１の所定のセットに配置するための第１のプロンプトを出力することと、
前記ユーザの顔特徴のうちの１つ以上の第２のセットを、１つ以上の表情の前記第１の所定のセットとは異なる１つ以上の表情の第２の所定のセットに配置するための第２のプロンプトを出力することと、を含む、コンピュータプログラム製品。

【請求項98】

表示生成コンポーネント及び１つ以上のセンサと通信しているコンピュータシステムの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムであって、請求項５７から６９のいずれか一項に記載の方法を実行する命令を含む１つ以上のプログラムを含む、コンピュータプログラム製品。

【請求項99】

表示生成コンポーネント及び１つ以上のセンサと通信しているコンピュータシステムの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを備えるコンピュータプログラム製品であって、前記１つ以上のプログラムが、
前記表示生成コンポーネントを介して、ユーザ特徴インジケータインタフェースであって、
物理環境におけるユーザの手の１つ以上の特徴のセットの検出ロケーションに対応する１つ以上の視覚インジケータのセットを含み、前記１つ以上の視覚インジケータのセットが、拡張現実環境において表示され、前記物理環境における前記ユーザの前記手の前記１つ以上の特徴のセットの第１の検出ロケーションに対応する第１の表示ポジションを有する、ユーザ特徴インジケータインタフェースを表示し、
前記１つ以上のセンサを介して、前記ユーザの前記手の前記１つ以上の特徴のセットにおける前記ユーザの前記手の少なくとも１つの特徴の移動を検出し、
前記ユーザの前記手の前記１つ以上の特徴のセットにおける前記ユーザの前記手の少なくとも１つの特徴の前記移動を検出したことに応じて、前記ユーザ特徴インジケータインタフェースの表示を更新する、命令を含み、前記表示を更新することは、
前記ユーザの前記手の前記１つ以上の特徴のセットが前記物理環境内の第２の検出ロケーションに移動したとの判定に従って、前記表示生成コンポーネントを介して、前記物理環境内の前記ユーザの前記手の前記１つ以上の特徴のセットの前記第２の検出ロケーションに対応する前記拡張現実環境内の第２の表示ポジションを有する前記１つ以上の視覚インジケータのセットを表示することと、
前記ユーザの前記手の前記１つ以上の特徴のセットが前記第２の検出ロケーションとは異なる前記物理環境内の第３の検出ロケーションに移動したとの判定に従って、前記表示生成コンポーネントを介して、前記物理環境内の前記ユーザの前記手の前記１つ以上の特徴のセットの前記第３の検出ロケーションに対応する前記拡張現実環境内の第３の表示ポジションであって、前記拡張現実環境内の前記第３の表示ポジションが、前記拡張現実環境内の前記第２の表示ポジションとは異なる、前記拡張現実環境内の第３の表示ポジションを有する前記１つ以上の視覚インジケータのセットを表示することと、を含む、コンピュータプログラム製品。

【請求項100】

表示生成コンポーネントと、第１のユーザに関連付けられた外部コンピュータシステムと通信するコンピュータシステムの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムであって、請求項７６から８５のいずれか一項に記載の方法を実行する命令を含む１つ以上のプログラムを備える、コンピュータプログラム製品。

【請求項101】

表示生成コンポーネントと、第１のユーザに関連付けられた外部コンピュータシステムと通信しているコンピュータシステムの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを備えるコンピュータプログラム製品であって、前記１つ以上のプログラムが、
拡張現実環境において、前記表示生成コンポーネントを介して、前記第１のユーザの表現であって、前記第１のユーザの前記表現が、第１の姿勢と、前記第１のユーザの少なくとも一部の形状に基づく形状とを有する前記拡張現実環境に表示され、前記第１のユーザの前記表現の前記形状が、視覚的特性の第１のセットで視覚化される、第１のユーザの表現を表示し、
前記第１のユーザの姿勢の変化を示すデータを含む第１のデータを受信し、
前記第１のデータを受信したことに応じて、前記拡張現実環境における前記第１のユーザの前記表現の外観を更新する、命令を含み、前記外観を更新することは、
前記第１のデータが、前記第１のユーザの第１の部分がオブジェクトに接触しているというインジケーションを含むとの判定に従って、前記拡張現実環境において、
前記第１のユーザの姿勢の変化に基づく第２の姿勢を有する前記第１のユーザの前記表現であって、前記第１のユーザの前記表現の前記形状が前記視覚的特性の第１のセットによって視覚化される、前記第１のユーザの前記表現と、
前記オブジェクトの少なくとも一部の形状に基づく形状を有する前記オブジェクトの表現であって、前記オブジェクトの前記表現の前記形状が、前記視覚的特性の第１のセットとは異なる視覚的特性の第２のセットを用いて視覚化される、前記オブジェクトの表現と、を表示することを含む、コンピュータプログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本出願は、２０２１年２月１６日に出願された「ＩＮＴＥＲＦＡＣＥＳ ＦＯＲ ＰＲＥＳＥＮＴＩＮＧ ＡＶＡＴＡＲＳ ＩＮ ＴＨＲＥＥ－ＤＩＭＥＮＳＩＯＮＡＬ ＥＮＶＩＲＯＮＭＥＮＴＳ」と題する米国仮特許出願第６３／１４９，９８９号、及び２０２２年２月８日に出願された「ＩＮＴＥＲＦＡＣＥＳ ＦＯＲ ＰＲＥＳＥＮＴＩＮＧ ＡＶＡＴＡＲＳ ＩＮ ＴＨＲＥＥ－ＤＩＭＥＮＳＩＯＮＡＬ ＥＮＶＩＲＯＮＭＥＮＴＳ」と題する米国特許出願第１７／６６７，３５０号の優先権を主張し、これらの各出願の内容は、その全体が参照により本明細書に組み込まれる。

【0002】

本開示は、概して、ディスプレイを介して仮想現実体験及び複合現実体験を提供する電子デバイスを含むがこれらに限定されない、表示生成コンポーネントと、任意選択的に、コンピュータ生成体験を提供する１つ以上の入力デバイスと、通信しているコンピュータシステムに関する。

【背景技術】

【0003】

拡張現実のためのコンピュータシステムの開発は、近年顕著に進んでいる。例示的な拡張現実環境は、物理的世界を置換又は強化する少なくともいくつかの仮想要素を含む。コンピュータシステム及び他の電子コンピューティングデバイス用のカメラ、コントローラ、ジョイスティック、タッチ感知面、及びタッチスクリーンディスプレイなどの入力デバイスが、仮想／拡張現実環境と相互作用するために使用される。例示的な仮想要素は、デジタル画像などの仮想オブジェクト、ビデオ、テキスト、アイコン、並びにボタン及び他のグラフィックなど制御要素を含む。

【発明の概要】

【0004】

少なくともいくつかの仮想要素を含む環境（例えばアプリケーション、拡張現実環境、複合現実環境、及び仮想現実環境）と相互作用するいくつかの方法及びインタフェースは、煩雑で、非効率で、限定されたものである。例えば、仮想オブジェクトに関連付けられたアクションを実行するのに不十分なフィードバックしか提供しないシステム、拡張現実環境において所望の結果を達成するために一連の入力を必要とするシステム、及び仮想オブジェクトの操作が複雑で、エラーを起こしやすいシステムは、ユーザに対して大きな認知負担を引き起こし、仮想／拡張現実環境での体験を損なう。加えて、それらの方法は必要以上に時間がかかり、それによって、コンピュータシステムのエネルギを浪費する。この後者の考慮事項は、バッテリ動作式デバイスにおいて特に重要である。

【0005】

したがって、コンピュータシステムとの対話をユーザにとってより効率的かつ直感的にするコンピュータ生成体験をユーザに提供するための改善された方法及びインタフェースを有するコンピュータシステムが必要とされている。このような方法及びインタフェースは、ユーザに拡張現実体験を提供する従来の方法を補完又は置換することができる。このような方法及びインタフェースは、提供された入力とその入力に対するデバイス応答との間の接続をユーザが理解することを補助することにより、ユーザからの入力の数、程度及び／又は種類を低減し、それによって、より効率的なヒューマンマシンインタフェースを生成する。

【0006】

表示生成コンポーネント及び任意選択で１つ以上の入力デバイスと通信するコンピュータシステムのためのユーザインタフェースに関連する上記の欠陥及び他の問題は、開示されたシステムによって低減又は排除される。いくつかの実施形態では、コンピュータシステムは、関連付けられたディスプレイを備えたデスクトップコンピュータである。いくつかの実施形態では、コンピュータシステムは、ポータブルデバイスである（例えばノートブックコンピュータ、タブレットコンピュータ、又はハンドヘルドデバイスである）。いくつかの実施形態では、コンピュータシステムは、パーソナル電子デバイス（例えば腕時計やヘッドマウントデバイスなどのウェアラブル電子デバイス）である。いくつかの実施形態では、コンピュータシステムは、タッチパッドを有する。いくつかの実施形態では、コンピュータシステムは、１つ以上のカメラを有する。いくつかの実施形態では、コンピュータシステムは、タッチ感知ディスプレイ（「タッチスクリーン」又は「タッチスクリーンディスプレイ」としても知られる）を有する。いくつかの実施形態では、コンピュータシステムは、１つ以上のアイトラッキングコンポーネントを有する。いくつかの実施形態では、コンピュータシステムは、１つ以上のハンドトラッキングコンポーネントを有する。いくつかの実施形態では、コンピュータシステムは、表示生成コンポーネントに加えて１つ以上の出力デバイスを有し、出力デバイスは、１つ以上の触知出力ジェネレータ及び１つ以上のオーディオ出力デバイスを含む。いくつかの実施形態では、コンピュータシステムは、グラフィカルユーザインタフェース（graphical user interface、ＧＵＩ）、１つ以上のプロセッサ、メモリ、及び複数の機能を実行するためのメモリに記憶された１つ以上のモジュール、プログラム、又は命令セットを有する。いくつかの実施形態では、ユーザは、タッチ感知面上のスタイラス及び／又は指の接触及びジェスチャ、カメラ及び他の移動センサによってキャプチャされたときのＧＵＩ（及び／又はコンピュータシステム）又はユーザの身体に対する空間内のユーザの目及び手の移動、並びに１つ以上のオーディオ入力デバイスによってキャプチャされたときの音声入力を通じてＧＵＩと相互作用する。いくつかの実施形態では、相互作用を通じて実行される機能は、任意選択的に、画像編集、描画、プレゼンティング、ワードプロセッシング、スプレッドシートの作成、ゲームプレイ、電話をかけること、ビデオ会議、電子メール送信、インスタントメッセージング、トレーニングサポート、デジタル写真撮影、デジタルビデオ撮影、ウェブブラウジング、デジタル音楽の再生、メモ取り、及び／又はデジタルビデオの再生を含む。それらの機能を実行する実行可能命令は任意選択で、一次的コンピュータ可読記憶媒体及び／又は非一時的コンピュータ可読記憶媒体、あるいは１つ以上のプロセッサによって実行されるように構成された他のコンピュータプログラム製品に含まれる。

【0007】

三次元環境と相互作用するための改善された方法及びインタフェースを備えた電子デバイスが必要とされている。そのような方法及びインタフェースは、三次元環境と相互作用するための従来の方法を補完又は置換することができる。そのような方法及びインタフェースは、ユーザからの入力の数、程度、及び／又は種類を削減し、より効率的なヒューマンマシンインタフェースを生成する。バッテリ動作式コンピューティングデバイスの場合、そのような方法及びインタフェースは、電力を節約し、バッテリ充電の間隔を長くする。

【0008】

前述の様々な実施形態は、本明細書に記載の任意の他の実施形態と組み合わせることができることに留意されたい。本明細書で説明する特徴及び利点は、包括的なものではなく、特に、図面、明細書及び特許請求の範囲を鑑みると、多くの追加の特徴及び利点が当業者には明らかになるであろう。更に、本明細書において使用される文言は、専ら読みやすさ及び説明の目的で選択されたものであり、本発明の主題を画定又は制限するために選択されたものではないことに留意されたい。

【0009】

説明される様々な実施形態をより良く理解するため、以下の図面と併せて、以下の「発明を実施するための形態」が参照されるべきであり、類似の参照番号は、以下の図の全てを通じて、対応する部分を指す。

【図面の簡単な説明】

【0010】

【図1】いくつかの実施形態による、拡張現実（ＸＲ）体験を提供するためのコンピュータシステムの動作環境を示すブロック図である。

【図2】いくつかの実施形態による、ユーザのＸＲ体験を管理及び調整するように構成されたコンピュータシステムのコントローラを示すブロック図である。

【図3】いくつかの実施形態による、ＸＲ体験の視覚的コンポーネントをユーザに提供するように構成されたコンピュータシステムの表示生成コンポーネントを示すブロック図である。

【図4】いくつかの実施形態による、ユーザのジェスチャ入力をキャプチャするように構成されたコンピュータシステムのハンドトラッキングユニットを示すブロック図である。

【図5】いくつかの実施形態による、ユーザの視線入力をキャプチャするように構成されたコンピュータシステムのアイトラッキングユニットを示すブロック図である。

【図6】いくつかの実施形態による、グリント支援視線追跡パイプラインを示すフロー図である。

【図7A】いくつかの実施形態による、コンピュータシステムのユーザの１つ以上の特徴を登録するためのユーザインタフェースを図示する。

【図7B】いくつかの実施形態による、コンピュータシステムのユーザの１つ以上の特徴を登録するためのユーザインタフェースを図示する。

【図7C】いくつかの実施形態による、コンピュータシステムのユーザの１つ以上の特徴を登録するためのユーザインタフェースを図示する。

【図7D】いくつかの実施形態による、コンピュータシステムのユーザの１つ以上の特徴を登録するためのユーザインタフェースを図示する。

【図7E】いくつかの実施形態による、コンピュータシステムのユーザの１つ以上の特徴を登録するためのユーザインタフェースを図示する。

【図7F】いくつかの実施形態による、コンピュータシステムのユーザの１つ以上の特徴を登録するためのユーザインタフェースを図示する。

【図7G】いくつかの実施形態による、コンピュータシステムのユーザの１つ以上の特徴を登録するためのユーザインタフェースを図示する。

【図7H】いくつかの実施形態による、コンピュータシステムのユーザの１つ以上の特徴を登録するためのユーザインタフェースを図示する。

【図8】いくつかの実施形態による、コンピュータシステムのユーザの１つ以上の特徴を登録するための例示的な方法を示すフロー図である。

【図9A】いくつかの実施形態による、ＸＲ環境において提示される仮想アバターに関連付けられた様々な視覚効果を示す。

【図9B】いくつかの実施形態による、ＸＲ環境において提示される仮想アバターに関連付けられた様々な視覚効果を示す。

【図9C】いくつかの実施形態による、ＸＲ環境において提示される仮想アバターに関連付けられた様々な視覚効果を示す。

【図9D】いくつかの実施形態による、ＸＲ環境において提示される仮想アバターに関連付けられた様々な視覚効果を示す。

【図9E】いくつかの実施形態による、ＸＲ環境において提示される仮想アバターに関連付けられた様々な視覚効果を示す。

【図9F】いくつかの実施形態による、ＸＲ環境において提示される仮想アバターに関連付けられた様々な視覚効果を示す。

【図10】いくつかの実施形態による、ＸＲ環境において仮想アバターの手に視覚インジケータを表示するための例示的な方法を示すフロー図である。

【図11】いくつかの実施形態による、ＸＲ環境において異なる視覚的特性を有するオブジェクトを表示するための例示的な方法を示すフロー図である。

【図12A】いくつかの実施形態による、ＸＲ環境で表されるユーザに関連付けられた様々な提示モードを示す。

【図12B】いくつかの実施形態による、ＸＲ環境で表されるユーザに関連付けられた様々な提示モードを示す。

【図12C】いくつかの実施形態による、ＸＲ環境で表されるユーザに関連付けられた様々な提示モードを示す。

【図12D】いくつかの実施形態による、ＸＲ環境で表されるユーザに関連付けられた様々な提示モードを示す。

【図12E】いくつかの実施形態による、ＸＲ環境で表されるユーザに関連付けられた様々な提示モードを示す。

【図13A】いくつかの実施形態による、ＸＲ環境において表されるユーザに関連付けられた異なる提示モード間で切り替えるための例示的な方法を示すフロー図である。

【図13B】いくつかの実施形態による、ＸＲ環境において表されるユーザに関連付けられた異なる提示モード間で切り替えるための例示的な方法を示すフロー図である。

【図14】いくつかの実施形態による、ＸＲ環境において仮想アバターを表示するための例示的な方法を示すフロー図である。

【発明を実施するための形態】

【0011】

本開示は、いくつかの実施形態による、拡張現実（ＸＲ）体験をユーザに提供するユーザインタフェースに関する。

【0012】

本明細書に記載するシステム、方法、及びＧＵＩは、複数の方法で仮想／拡張現実環境とのユーザインタフェース相互作用を改善する。

【0013】

いくつかの実施形態では、コンピュータシステムは、ＸＲ環境で表されるユーザに関連付けられた異なる提示モード間で切り替える。コンピュータシステムは、表示生成コンポーネントと、第１のユーザに関連付けられた外部コンピュータシステムと通信する。コンピュータシステムは、表示生成コンポーネントを介して、第１の提示モードで外部コンピュータシステムの第１のユーザの表現を含む通信ユーザインタフェースであって、通信ユーザインタフェースが、拡張現実環境において第１のユーザの表現を表示し、第１のユーザの表現が、第１の提示モードにある間、外部コンピュータシステムによって検出される第１のユーザの第１の部分の移動の変化に視覚的に反応する形状を有する、通信ユーザインタフェースを表示する。第１の提示モードにおいて第１のユーザの表現を表示する間に、コンピュータシステムは、外部コンピュータシステムから、第１のユーザの第１の部分の移動を示す第１のデータを受信し、第１のデータを受信したことに応じて、第１のユーザの第１の部分の移動に基づいて、第１のユーザの表現の形状を修正する。第１のユーザの表現の形状を修正した後に、コンピュータシステムは、第１のユーザの表現が、第１の提示モードとは異なる第２の提示モードで表示されることを示す第２のデータを受信する。第２のデータを受信したことに応じて、コンピュータシステムは、表示生成コンポーネントを介して、第１のユーザの表現であって、第１のユーザの表現が、第２の提示モードにある間、外部コンピュータシステムによって検出される第１のユーザの第１の部分の移動の変化に視覚的に反応しない形状を有する、第１のユーザの表現を第２の提示モードで表示する。第２の提示モードにおいて第１のユーザの表現を表示する間に、コンピュータシステムは、物理環境における第１のロケーションから、物理環境における第１のロケーションとは異なる物理環境における第２のロケーションへの第１のユーザの移動を示す第３のデータを受信し、第３のデータを受信したことに応じて、拡張現実環境内の第１のロケーションから、拡張現実環境内の第１のロケーションとは異なる拡張現実環境内の第２のロケーションへ移動する第１のユーザの表現を表示する。

【0014】

いくつかの実施形態では、コンピュータシステムは、ＸＲ環境において仮想アバターを表示する。コンピュータシステムは、表示生成コンポーネントと、第１のユーザに関連付けられた外部コンピュータシステムと通信する。拡張現実環境において第１のユーザの表現を表示する要求を受信したことに応じて、眼鏡表示基準のセットが満たされているとの判定に従って、コンピュータシステムは、表示生成コンポーネントを介して、拡張現実環境において第１のユーザの表現を表示し、表示生成コンポーネントを介して、拡張現実環境において第１のユーザの表現上に配置された眼鏡の表現を表示する。眼鏡表示基準のセットが満たされていないとの判定に従って、コンピュータシステムは、表示生成コンポーネントを介して、拡張現実環境内の第１のユーザの表現上に配置された眼鏡の表現を表示することなく、拡張現実環境内の第１のユーザの表現を表示する。

【0015】

いくつかの実施形態では、コンピュータシステムは、コンピュータシステムのユーザの１つ以上の特徴を登録するためのユーザインタフェースを表示する。コンピュータシステムは、表示生成コンポーネント及び１つ以上のカメラと通信している。１つ以上のカメラを介してユーザの顔データをキャプチャすることを含む登録プロセス中に、コンピュータシステムは、表示生成コンポーネントを介して、ユーザの１つ以上の特徴を登録するための登録インタフェースを表示し、ユーザの顔特徴のうちの１つ以上の第１のセットを、１つ以上の表情の第１の所定のセットに配置するための第１のプロンプトを出力することと、ユーザの顔特徴のうちの１つ以上の第２のセットを、１つ以上の表情の第１の所定のセットとは異なる１つ以上の表情の第２の所定のセットに配置するための第２のプロンプトを出力することと、を含む。

【0016】

いくつかの実施形態では、コンピュータシステムは、ＸＲ環境において仮想アバターに関連付けられた視覚効果を表示する。コンピュータシステムは、表示生成コンポーネント及び１つ以上のセンサと通信している。コンピュータシステムは、表示生成コンポーネントを介して、ユーザ特徴インジケータインタフェースであって、物理環境におけるユーザの手の１つ以上の特徴のセットの検出ロケーションに対応する１つ以上の視覚インジケータのセットを含み、１つ以上の視覚インジケータのセットが、拡張現実環境において表示され、物理環境におけるユーザの手の１つ以上の特徴のセットの第１の検出ロケーションに対応する第１の表示ポジションを有する、ユーザ特徴インジケータインタフェースを表示する。コンピュータシステムは、１つ以上のセンサを介して、ユーザの手の１つ以上の特徴のセットにおけるユーザの手の少なくとも１つの特徴の移動を検出する。ユーザの手の１つ以上の特徴のセットにおけるユーザの手の少なくとも１つの特徴の移動を検出したことに応じて、コンピュータシステムは、ユーザ特徴インジケータインタフェースの表示を更新し、ユーザの手の１つ以上の特徴のセットが物理環境内の第２の検出ロケーションに移動したとの判定に従って、表示生成コンポーネントを介して、物理環境内のユーザの手の１つ以上の特徴のセットの第２の検出ロケーションに対応する拡張現実環境内の第２の表示ポジションを有する１つ以上の視覚インジケータのセットを表示することと、ユーザの手の１つ以上の特徴のセットが第２の検出ロケーションとは異なる物理環境内の第３の検出ロケーションに移動したとの判定に従って、表示生成コンポーネントを介して、物理環境内のユーザの手の１つ以上の特徴のセットの第３の検出ロケーションに対応する拡張現実環境内の第３の表示ポジションであって、拡張現実環境内の第３の表示ポジションが、拡張現実環境内の第２の表示ポジションとは異なる、拡張現実環境内の第３の表示ポジションを有する１つ以上の視覚インジケータのセットを表示することと、を含む。

【0017】

いくつかの実施形態では、コンピュータシステムは、ＸＲ環境において異なる視覚的特性を有するオブジェクトを表示する。コンピュータシステムは、表示生成コンポーネントと、第１のユーザに関連付けられた外部コンピュータシステムと通信する。コンピュータシステムは、拡張現実環境において、表示生成コンポーネントを介して、第１のユーザの表現であって、第１のユーザの表現が、第１の姿勢と、第１のユーザの少なくとも一部の形状に基づく形状とを有する拡張現実環境に表示され、第１のユーザの表現の形状が、視覚的特性の第１のセットで視覚化される、第１のユーザの表現を表示する。コンピュータシステムは、第１のユーザの姿勢の変化を示すデータを含む第１のデータを受信し、第１のデータを受信したことに応じて、拡張現実環境における第１のユーザの表現の外観を更新する。この外観を更新することは、第１のデータが、第１のユーザの第１の部分がオブジェクトに接触しているというインジケーションを含むとの判定に従って、拡張現実環境において、表示することを含み、第１のユーザの表現は第１のユーザの姿勢の変化に基づく第２の姿勢を有すし、第１のユーザの表現の形状が視覚的特性の第１のセットによって視覚化され、オブジェクトの表現はオブジェクトの少なくとも一部の形状に基づく形状を有し、オブジェクトの表現の形状は、視覚的特性の第１のセットとは異なる視覚的特性の第２のセットを用いて視覚化される。

【0018】

図１～図６は、ＸＲ体験をユーザに提供するための例示的なコンピュータシステムを説明する。図７Ａ～図７Ｈは、いくつかの実施形態による、コンピュータシステムのユーザの１つ以上の特徴を登録するためのユーザインタフェースを図示する。図８は、様々な実施形態による、コンピュータシステムのユーザの１つ以上の特徴を登録するための例示的な方法を示すフローチャートである。図７Ａ～図７Ｈは、図８のプロセスを説明するために使用される。図９Ａ～図９Ｆは、いくつかの実施形態による、ＸＲ環境における仮想アバターに関連付けられた様々な視覚効果を示す。図１０は、いくつかの実施形態による、ＸＲ環境において仮想アバターの手に視覚インジケータを表示するための例示的な方法を示すフローチャートである。図１１は、いくつかの実施形態による、ＸＲ環境において異なる視覚的特性を有するオブジェクトを表示するための例示的な方法を示すフローチャートである。図９Ａ～図９Ｆは、図１０及び図１１のプロセスを説明するために使用される。図１２Ａ～図１２Ｅは、いくつかの実施形態による、ＸＲ環境で表されるユーザに関連付けられた様々な提示モードを示す。図１３Ａ及び図１３Ｂは、いくつかの実施形態による、ＸＲ環境において表されるユーザに関連付けられた異なる提示モード間で切り替えるための例示的な方法を示すフローチャートである。図１４は、いくつかの実施形態による、ＸＲ環境において仮想アバターを表示するための例示的な方法を示すフローチャートである。図１２Ａ～１２Ｅは、図１３Ａ、図１３Ｂ、及び図１４のプロセスを示すために使用される。

【0019】

後述のプロセスは、改善された視覚的なフィードバックをユーザに提供すること、操作を実行するために必要な入力の数を減らすこと、表示される追加のコントロールでユーザインタフェースを雑然とさせることなく追加の制御オプションを提供すること、条件のセットが満たされたときに更なるユーザ入力を必要とせずに操作を実行すること、プライバシー及び／又はセキュリティを改善すること及び／又は、他の技術を含む、様々な技術により、（例えば、ユーザがデバイスを操作／対話する際に適切な入力を行うのを助け、ユーザの誤りを減らすことによって）デバイスの操作性を高め、ユーザとデバイスのインタフェースを効率化するものである。これらの技術はまた、ユーザがデバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。

【0020】

更に、１つ以上のステップが満たされている１つ以上の条件を条件とする本明細書に記載の方法では、記載の方法は、繰り返しの過程にわたって、本方法のステップが条件とする条件の全てが本方法の異なる繰り返しで満たされるように、複数の繰り返しで繰り返されることができることを理解されたい。例えば、ある方法が、条件が満たされた場合に第１のステップを実行し、条件が満たされなかった場合に第２のステップを実行することを必要とする場合、当業者であれば、条件が満たされ、満たされなくなるまで、請求項に記載のステップが、特定の順序で繰り返されることを理解するであろう。したがって、満たされた１つ以上の条件に依存する１つ以上のステップで説明される方法は、方法に記載された各条件が満たされるまで繰り返される方法として書き換えられることができる。しかしながら、これは、システム又はコンピュータ可読媒体が、対応する１つ以上の条件の充足に基づいて条件付き動作を実行する命令を含み、したがって、方法のステップが条件付きである全ての条件が満たされるまで、方法のステップを明示的に繰り返すことなく偶発性が満たされたか否かを判定することができる、システム又はコンピュータ可読媒体の請求項には必要とされない。当業者はまた、条件付きステップを有する方法と同様に、システム又はコンピュータ可読記憶媒体が、条件付きステップの全てが実行されたことを確実にするために必要な回数だけ方法のステップを繰り返すことができることを理解するであろう。

【0021】

いくつかの実施形態では、図１に示されるように、ＸＲ体験は、コンピュータシステム１０１を含む動作環境１００を介してユーザに提供される。コンピュータシステム１０１は、コントローラ１１０（例えば、ポータブル電子デバイス又はリモートサーバのプロセッサ）と、表示生成コンポーネント１２０（例えば、ヘッドマウントデバイス（ＨＭＤ）、ディスプレイ、プロジェクタ、タッチスクリーンなど）と、１つ以上の入力デバイス１２５（例えば、アイトラッキングデバイス１３０、ハンドトラッキングデバイス１４０、他の入力デバイス１５０）と、１つ以上の出力デバイス１５５（例えば、スピーカ１６０、触知出力ジェネレータ１７０、及び他の出力デバイス１８０）と、１つ以上のセンサ１９０（例えば、画像センサ、光センサ、深度センサ、触覚センサ、配向センサ、近接センサ、温度センサ、ロケーションセンサ、運動センサ、速度センサなど）と、任意選択的に１つ以上の周辺デバイス１９５（例えば、家電製品、ウェアラブルデバイスなど）と、を含む。いくつかの実施形態では、入力デバイス１２５、出力デバイス１５５、センサ１９０、及び周辺デバイス１９５のうちの１つ以上は、（例えば、ヘッドマウントデバイス又はハンドヘルドデバイス内で）表示生成コンポーネント１２０と統合される。

【0022】

ＸＲ体験を説明するとき、ユーザが感知することができる、及び／又は（例えば、ＸＲ体験を生成するコンピュータシステムに、コンピュータシステム１０１に提供される様々な入力に対応するオーディオ、視覚、及び／又は触覚フィードバックを生成させる、ＸＲ体験を生成するコンピュータシステム１０１によって検出された入力を用いて）ユーザが対話することができる、いくつかの関連するが、別個の環境に個別的に言及するために様々な用語が使用される。以下は、これらの用語のサブセットである。

【0023】

物理環境：物理環境とは、人々が電子システムの助けなしに、感知及び／又は相互作用することができる物理的世界を指す。物理的な公園などの物理環境には、物理的な木々、物理的な建物、及び物理的な人々などの物理的物品が挙げられる。人々は、視覚、触覚、聴覚、味覚、及び嗅覚などを介して、物理環境を直接感知し、及び／又はそれと相互作用することができる。

【0024】

拡張現実：これと対照的に、拡張現実（extended reality、ＸＲ）環境は、人々が電子システムを介して感知及び／又は対話する、全体的又は部分的にシミュレートされた環境を指す。ＸＲでは、人物の身体運動のサブセット又はその表現が追跡され、それに応じて、ＸＲ環境内でシミュレートされた１つ以上の仮想オブジェクトの１つ以上の特性が、少なくとも１つの物理学の法則でふるまうように調節される。例えば、ＸＲシステムは、人物の頭部の回転を検出し、それに応じて、そのようなビュー及び音が物理環境においてどのように変化するかと同様の方法で、人物に提示されるグラフィックコンテンツ及び音場を調節することができる。状況によっては（例えば、アクセス性の理由から）、ＸＲ環境における仮想オブジェクト（単数又は複数）の特性（単数又は複数）に対する調節は、身体運動の表現（例えば、音声コマンド）に応じて行われてもよい。人物は、視覚、聴覚、触覚、味覚及び嗅覚を含むこれらの感覚のうちのいずれか１つを使用して、ＸＲオブジェクトを感知し、かつ／又はＸＲオブジェクトと対話してもよい。例えば、人は、３Ｄ空間内のポイントオーディオソースの知覚を提供する、３Ｄ又は空間オーディオ環境を作り出すオーディオオブジェクトを感知し、及び／又はそれと対話することができる。別の例では、オーディオオブジェクトによって、コンピュータ生成オーディオを含めて、又は含めずに、物理環境から周囲音を選択的に組み込むオーディオ透過性が可能になり得る。いくつかのＸＲ環境では、人物は、オーディオオブジェクトのみを感知し、かつ／又はそれと相互作用してもよい。

【0025】

ＸＲの例としては、仮想現実及び複合現実が挙げられる。

【0026】

仮想現実：仮想現実（ＶＲ）環境とは、１つ以上の感覚について、コンピュータ生成感覚入力に全面的に基づくように設計された模倣環境を指す。ＶＲ環境は、人物が感知かつ／又は相互作用することができる複数の仮想オブジェクトを含む。例えば、木、建物、及び人々を表すアバターのコンピュータ生成画像は、仮想オブジェクトの例である。人物は、コンピュータ生成環境内に人物が存在することのシミュレーションを通じて、かつ／又はコンピュータ生成環境内での人物の物理的移動のサブセットのシミュレーションを通じて、ＶＲ環境における仮想オブジェクトを感知し、かつ／又はそれと相互作用することができる。

【0027】

複合現実：複合現実（ＭＲ）環境とは、コンピュータ生成感覚入力に全面的に基づくように設計されたＶＲ環境とは対照的に、コンピュータ生成感覚入力（例えば、仮想オブジェクト）を含むことに加えて、物理環境からの感覚入力又はその表現を組み込むように設計された模倣環境を指す。仮想の連続体上では、複合現実環境は、一方の端部における完全な物理環境と、他方の端部における仮想現実環境との間であるがこれらを含まない、任意の場所である。いくつかのＭＲ環境では、コンピュータ生成感覚入力は、物理環境からの感覚入力の変化に応答し得る。また、ＭＲ環境を提示するためのいくつかの電子システムは、仮想オブジェクトが現実のオブジェクト（すなわち、物理環境からの物理的物品又はその表現）と相互作用することを可能にするために、物理環境に対するロケーション及び／又は配向を追跡してもよい。例えば、システムは、仮想の木が物理的な地面に対して静止して見えるように、移動を考慮に入れてもよい。

【0028】

複合現実の例としては、拡張現実及び拡張仮想が挙げられる。

【0029】

拡張現実：拡張現実（ＡＲ）環境とは、１つ以上の仮想オブジェクトが物理環境上又はその表現上に重ね合わされた模倣環境を指す。例えば、ＡＲ環境を提示するための電子システムは、人物が物理環境を直接見ることができる透明又は半透明のディスプレイを有してもよい。システムは、透明又は半透明のディスプレイに仮想オブジェクトを提示するように構成されていてもよく、それによって、人物はシステムを使用して、物理環境の上に重ね合わされた仮想オブジェクトを知覚する。あるいは、システムは、不透明ディスプレイと、物理環境の表現である、物理環境の画像又はビデオをキャプチャする１つ以上の撮像センサとを有してもよい。システムは、画像又はビデオを仮想オブジェクトと合成し、その合成物を不透明ディスプレイ上に提示する。人物はこのシステムを使用して、物理環境を、物理環境の画像又はビデオによって間接的に見て、物理環境に重ね合わされた仮想オブジェクトを知覚する。本明細書で使用するとき、不透明ディスプレイ上に示される物理環境のビデオは、「パススルービデオ」と呼ばれ、システムが、１つ以上の画像センサ（単数又は複数）を使用して、物理環境の画像をキャプチャし、不透明ディスプレイ上にＡＲ環境を提示する際にそれらの画像を使用することを意味する。更に代替的に、システムが仮想オブジェクトを、例えば、ホログラムとして物理環境の中に、又は物理的表面に投影するプロジェクションシステムを有してもよく、それによって、人物はシステムを使用して、物理環境に重ね合わされた仮想オブジェクトを知覚する。拡張現実環境はまた、物理環境の表現がコンピュータ生成感覚情報によって変換される模倣環境を指す。例えば、パススルービデオを提供する際に、システムは、１つ以上のセンサ画像を、撮像センサがキャプチャした透視図とは別の選択された透視図（例えば、視点）を面付けするように変形してもよい。別の例として、物理環境の表現を、その一部をグラフィカルに修正（例えば、拡大）することによって変形してもよく、それにより、修正された部分を、元のキャプチャ画像を表すが非写実的な、改変版にすることもできる。更なる例として、物理環境の表現は、その一部をグラフィカルに除去又は不明瞭化することによって変形されてもよい。

【0030】

拡張仮想：拡張仮想（augmented virtuality、ＡＶ）環境とは、仮想環境又はコンピュータ生成環境が物理環境から１つ以上の感覚入力を組み込んだ模倣環境を指す。感覚入力は、物理環境の１つ以上の特性の表現であり得る。例えば、ＡＶの公園には仮想の木及び仮想の建物があり得るが、顔がある人々は、物理的な人々が撮られた画像から写実的に再現される。別の例として、仮想オブジェクトは、１つ以上の撮像センサによって撮像された物理的物品の形状又は色を採用してもよい。更なる例として、仮想オブジェクトは、物理環境における太陽のポジションと一致する影を採用することができる。

【0031】

視点ロック仮想オブジェクト：ユーザの視点がシフト（例えば、変化）しても、コンピュータシステムが仮想オブジェクトをユーザの視点内の同じロケーション及び／又はポジションに表示するとき、仮想オブジェクトは視点ロックされる。コンピュータシステムがヘッドマウントデバイスである実施形態では、ユーザの視点は、ユーザの頭部の前向き方向にロックされる（例えば、ユーザの視点は、ユーザが真っ直ぐ前を見ているときのユーザの視野の少なくとも一部である）。したがって、ユーザの視点は、ユーザの頭部を動かさずに、ユーザの視線が動いても固定されたままである。コンピュータシステムが、ユーザの頭部に対して再配置され得る表示生成コンポーネント（例えば、表示画面）を有する実施形態では、ユーザの視点は、コンピュータシステムの表示生成コンポーネント上でユーザに提示されている拡張現実ビューである。例えば、ユーザの視点が第１の向きにある（例えば、ユーザの頭部が北を向いている）ときにユーザの視点の左上隅に表示される視点ロック仮想オブジェクトは、ユーザの視点が第２の向きに変化しても（例えば、ユーザの頭部が西を向いている）、ユーザの視点の左上隅に表示され続ける。言い換えれば、視点ロック仮想オブジェクトがユーザの視点において表示されるロケーション及び／又はポジションは、物理環境におけるユーザのポジション及び／又は向きとは無関係である。コンピュータシステムがヘッドマウントデバイスである実施形態では、ユーザの視点は、仮想オブジェクトが「頭部ロック仮想オブジェクト」とも称されるように、ユーザの頭部の向きにロックされる。

【0032】

環境ロック仮想オブジェクト：仮想オブジェクトは、コンピュータシステムが、三次元環境（例えば、物理環境又は仮想環境）内のロケーション及び／又はオブジェクトに基づく（例えば、それを参照して選択される、及び／又はそれに固定される）ユーザの視点内のロケーション及び／又はポジションに仮想オブジェクトを表示するとき、環境ロック（又は、「世界ロック」）される。ユーザの視点がシフトすると、ユーザの視点に対する環境内のロケーション及び／又はオブジェクトが変化し、その結果、環境ロック仮想オブジェクトがユーザの視点内の異なるロケーション及び／又はポジションに表示される。例えば、ユーザの直前にある木にロックされた環境ロック仮想オブジェクトは、ユーザの視点の中心に表示される。ユーザの視点が右にシフトして（例えば、ユーザの頭部が右に向けられて）木がユーザの視点において左寄りになる（例えば、ユーザの視点における木のポジションがシフトする）場合、木にロックされた環境ロック仮想オブジェクトは、ユーザの視点において左寄りに表示される。言い換えれば、環境ロック仮想オブジェクトがユーザの視点において表示されるロケーション及び／又ポジションは、仮想オブジェクトがロックされる環境におけるロケーション及び／又はオブジェクトのポジション及び／又は向きに依存する。いくつかの実施形態では、コンピュータシステムは、ユーザの視点において環境ロック仮想オブジェクトを表示するポジションを決定するために、静止基準フレーム（例えば、物理環境における固定ロケーション及び／又はオブジェクトに固定される座標系）を使用する。環境ロック仮想オブジェクトは、環境の静止部分（例えば、床、壁、テーブル、又は他の静止オブジェクト）にロックされることができ、又は環境の可動部分（例えば、車両、動物、人、又はユーザの手、手首、腕、足など、ユーザの視点とは無関係に移動するユーザの身体の部分の表現）にロックされることができ、それにより、仮想オブジェクトは、仮想オブジェクトと環境の部分との間の固定された関係を維持するために、視点又は環境の部分が移動するにつれて移動する。

【0033】

いくつかの実施形態では、環境ロック又は視点ロックされた仮想オブジェクトは、仮想オブジェクトが追従している基準点の移動に対して、環境ロック又は視点ロックされた仮想オブジェクトの動きを低減又は遅延させる遅延追従挙動を示す。いくつかの実施形態では、遅延追従挙動を示すとき、コンピュータシステムは、仮想オブジェクトが追従している基準点（例えば、環境の一部、視点、又は視点から５～３００ｃｍの間にある点等の視点に対して固定された点）の移動を検出すると、仮想オブジェクトの移動を意図的に遅延させる。例えば、基準点（例えば、環境の一部又は視点）が第１の速度で移動するとき、仮想オブジェクトは、基準点にロックされたままであるようにデバイスによって移動されるが、第１の速度よりも遅い第２の速度で移動する（例えば、基準点が移動を停止又は減速するまで、その時点で仮想オブジェクトが基準点に追いつき始める）。いくつかの実施形態では、仮想オブジェクトが遅延追従挙動を示すとき、デバイスは、基準点の少量の移動を無視する（例えば、０～５度の移動又は０～５０ｃｍの移動など、閾値移動量未満である基準点の移動を無視する）。例えば、基準点（例えば、仮想オブジェクトがロックされる環境の部分又は視点）が第１の量だけ移動するとき、基準点と仮想オブジェクトとの間の距離は増加し（例えば、仮想オブジェクトがロックされる基準点とは異なる視点又は環境の部分に対して固定又は実質的に固定されたポジションを維持するように仮想オブジェクトが表示されているので）、基準点（例えば、仮想オブジェクトがロックされる基準点とは異なる環境の部分又は視点）が第１の量よりも大きい第２の量だけ移動するとき、基準点と仮想オブジェクトとの間の距離は最初に増加し（例えば、仮想オブジェクトがロックされる基準点とは異なる視点又は環境の部分に対して固定又は実質的に固定されたポジションを維持するように仮想オブジェクトが表示されているので）、次いで、仮想オブジェクトが基準点に対して固定又は実質的に固定されたポジションを維持するようにコンピュータシステムによって移動されるので、基準点の移動量が閾値（例えば、「遅延追従」閾値）を超えて増加するにつれて減少する。いくつかの実施形態では、基準点に対して実質的に固定されたポジションを維持する仮想オブジェクトは、仮想オブジェクトが、１つ以上の寸法（例えば、基準点のポジションに対して上／下、左／右、及び／又は前方／後方）において基準点の閾値距離（例えば、１、２、３、５、１５、２０、５０ｃｍ）内に表示されることを含む。

【0034】

ハードウェア：人物が様々なＸＲ環境を感知し、及び／又はそれと相互作用することを可能にする、多くの異なるタイプの電子システムが存在する。例としては、ヘッドマウントシステム、プロジェクションベースシステム、ヘッドアップディスプレイ（heads-up displays、ＨＵＤ）、統合表示機能を有する車両ウィンドシールド、統合表示機能を有する窓、（例えば、コンタクトレンズと同様に）人物の目の上に配置されるように設計されたレンズとして形成されたディスプレイ、ヘッドホン／イヤフォン、スピーカアレイ、入力システム（例えば、触覚フィードバックを有する又は有さない、装着型コントローラ又はハンドヘルドコントローラ）、スマートフォン、タブレット、及びデスクトップ／ラップトップコンピュータ、が挙げられる。ヘッドマウントシステムは、１つ以上のスピーカ（単数又は複数）及び一体型不透明ディスプレイを有してもよい。あるいは、ヘッドマウントシステムは、外部の不透明ディスプレイ（例えば、スマートフォン）を受容するように構成されていてもよい。ヘッドマウントシステムは、物理環境の画像若しくはビデオをキャプチャするための１つ以上の撮像センサ、及び／又は物理環境のオーディオをキャプチャするための１つ以上のマイクロフォンを組み込んでいてもよい。ヘッドマウントシステムは、不透明ディスプレイではなく、透明又は半透明のディスプレイを有してもよい。透明又は半透明のディスプレイは、画像を表す光が人物の目に向けられる媒体を有してもよい。ディスプレイは、デジタル光投影、ＯＬＥＤ、ＬＥＤ、ｕＬＥＤ、液晶オンシリコン、レーザスキャン光源、又はこれらの技術の任意の組み合わせを利用することができる。媒体は、光導波路、ホログラム媒体、光結合器、光反射器、又はこれらの任意の組み合わせであってもよい。一実施形態では、透明又は半透明のディスプレイは、選択的に不透明になるように構成されていてもよい。プロジェクションベースシステムは、グラフィカル画像を人物の網膜上に投影する網膜投影技術を採用することができる。プロジェクションシステムはまた、例えば、ホログラムとして、又は物理的表面上に、仮想オブジェクトを物理環境内に投影するように構成されていてもよい。

【0035】

いくつかの実施形態では、コントローラ１１０は、ユーザに対するＸＲ体験を管理及び調整するように構成されている。いくつかの実施形態では、コントローラ１１０は、ソフトウェア、ファームウェア、及び／又はハードウェアの好適な組み合わせを含む。コントローラ１１０については、図２を参照して以下により詳細に記載する。いくつかの実施形態では、コントローラ１１０は、シーン１０５（例えば、物理環境）に対してローカル又はリモートであるコンピューティングデバイスである。例えば、コントローラ１１０は、シーン１０５内に位置するローカルサーバである。別の例では、コントローラ１１０は、シーン１０５の外側に位置するリモートサーバ（例えば、クラウドサーバ、中央サーバなど）である。いくつかの実施形態では、コントローラ１１０は、１つ以上の有線又は無線通信チャネル１４４（例えば、ＢＬＵＥＴＯＯＴＨ、ＩＥＥＥ８０２．１１ｘ、ＩＥＥＥ８０２．１６ｘ、ＩＥＥＥ８０２．３ｘなど）を介して、表示生成コンポーネント１２０（例えば、ＨＭＤ、ディスプレイ、プロジェクタ、タッチスクリーンなど）と通信可能に結合される。別の例では、コントローラ１１０は、表示生成コンポーネント１２０（例えば、ＨＭＤ、又はディスプレイ及び１つ以上のプロセッサなどを含むポータブル電子デバイス）、入力デバイス１２５のうちの１つ以上、出力デバイス１５５のうちの１つ以上、センサ１９０のうちの１つ以上、及び／又は周辺デバイス１９５のうちの１つ以上の筐体（例えば、物理的ハウジング）内に含まれる、又は上記のうちの１つ以上と同じ物理的筐体又は支持構造を共有する。

【0036】

いくつかの実施形態では、表示生成コンポーネント１２０は、ＸＲ体験（例えば、ＸＲ体験の少なくとも視覚的コンポーネント）をユーザに提供するように構成される。いくつかの実施形態では、表示生成コンポーネント１２０は、ソフトウェア、ファームウェア、及び／又はハードウェアの好適な組み合わせを含む。表示生成コンポーネント１２０について、図３を参照して以下により詳細に説明する。いくつかの実施形態では、コントローラ１１０の機能は、表示生成コンポーネント１２０によって提供される、及び／又は表示生成コンポーネント１２０と組み合わされる。

【0037】

いくつかの実施形態によれば、表示生成コンポーネント１２０は、ユーザがシーン１０５内に仮想的及び／又は物理的に存在している間に、ＸＲ体験をユーザに提供する。

【0038】

いくつかの実施形態では、表示生成コンポーネントは、ユーザの身体の一部（例えば、自身の頭部や自身の手など）に装着される。したがって、表示生成コンポーネント１２０は、ＸＲコンテンツを表示するために提供された１つ以上のＸＲディスプレイを含む。例えば、様々な実施形態では、表示生成コンポーネント１２０は、ユーザの視野を包囲する。いくつかの実施形態では、表示生成コンポーネント１２０は、ＸＲコンテンツを提示するように構成されたハンドヘルドデバイス（スマートフォン又はタブレットなど）であり、ユーザは、ユーザの視野に向けられるディスプレイ及びシーン１０５に向けられるカメラを備えたデバイスを保持する。いくつかの実施形態では、ハンドヘルドデバイスは、任意選択的に、ユーザの頭部に装着された筐体内に配置される。いくつかの実施形態では、ハンドヘルドデバイスは、任意選択的に、ユーザの前の支持体（例えば、三脚）上に配置される。いくつかの実施形態では、表示生成コンポーネント１２０は、ユーザが表示生成コンポーネント１２０を着用又は保持しない状態でＸＲコンテンツを提示するように構成されたＸＲチャンバ、筐体、又は部屋である。ＸＲコンテンツ（例えば、ハンドヘルドデバイス又は三脚上のデバイス）を表示するための１つのタイプのハードウェアを参照して説明される多くのユーザインタフェースは、ＸＲコンテンツ（例えば、ＨＭＤ又は他のウェアラブルコンピューティングデバイス）を表示するための別のタイプのハードウェア上に実施され得る。例えば、ハンドヘルド又は三脚搭載デバイスの前の空間内で起こる相互作用に基づいてトリガされるＸＲコンテンツとの相互作用を示すユーザインタフェースは、相互作用がＨＭＤの前の空間で発生し、ＸＲコンテンツの応答がＨＭＤを介して表示されるＨＭＤと同様に実施され得る。同様に、物理環境（例えば、シーン１０５又はユーザの身体の一部（例えば、ユーザの目（単数又は複数）、頭部、又は手））に対するハンドヘルド又は三脚搭載デバイスの移動に基づいてトリガされたＸＲコンテンツとの相互作用を示すユーザインタフェースは、物理環境（例えば、シーン１０５又はユーザの身体の一部（例えば、ユーザの目（単数又は複数）、頭部、又は手））に対するＨＭＤの移動によって移動が引き起こされるＨＭＤと同様に実施され得る。

【0039】

動作環境１００の関連する特徴が図１に示されているが、当業者は、本明細書に開示される例示的な実施形態のより適切な態様を曖昧にしないように、簡潔にするために様々な他の特徴が示されていないことを、本開示から理解されよう。

【0040】

図２は、いくつかの実施形態による、コントローラ１１０の一例のブロック図である。特定の特徴が示されているが、当業者は、本明細書に開示される実施形態のより適切な態様を曖昧にしないよう、簡潔にするために様々な他の特徴が示されていないことを、本開示から理解されよう。そのため、非限定的な例として、いくつかの実施形態では、コントローラ１１０は、１つ以上の処理ユニット２０２（例えば、マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、グラフィック処理ユニット（ＧＰＵ）、中央処理ユニット（ＣＰＵ）、処理コアなど）、１つ以上の入出力（Ｉ／Ｏ）デバイス２０６、１つ以上の通信インタフェース２０８（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＦＩＲＥＷＩＲＥ、ＴＨＵＮＤＥＲＢＯＬＴ、ＩＥＥＥ ８０２．３ｘ、ＩＥＥＥ ８０２．１１ｘ、ＩＥＥＥ ８０２．１６ｘ、グローバル移動通信システム（ＧＳＭ）、符号分割多元接続（ＣＤＭＡ）、時分割多元接続（ＴＤＭＡ）、グローバル測位システム（ＧＰＳ）、赤外線（ＩＲ）、ＢＬＵＥＴＯＯＴＨ、ＺＩＧＢＥＥ、又は同様のタイプのインタフェース）、１つ以上のプログラミング（例えば、Ｉ／Ｏ）インタフェース２１０、メモリ２２０、並びにこれら及び様々な他のコンポーネントを相互接続するための１つ以上の通信バス２０４を含む。

【0041】

いくつかの実施形態では、１つ以上の通信バス２０４は、システムコンポーネントを相互接続し、システムコンポーネント間の通信を制御する、回路を含む。いくつかの実施形態では、１つ以上のＩ／Ｏデバイス２０６は、キーボード、マウス、タッチパッド、ジョイスティック、１つ以上のマイクロフォン、１つ以上のスピーカ、１つ以上の画像センサ、１つ以上のディスプレイなどのうちの少なくとも１つを含む。

【0042】

メモリ２２０は、ダイナミックランダムアクセスメモリ（dynamic random-access memory、ＤＲＡＭ）、スタティックランダムアクセスメモリ（static random-access memory、ＳＲＡＭ）、ダブルデータレートランダムアクセスメモリ（double-data-rate random-access memory、ＤＤＲＲＡＭ）、又は他のランダムアクセスソリッドステートメモリデバイスなどの高速ランダムアクセスメモリを含む。いくつかの実施形態では、メモリ２２０は、１つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、又はその他の不揮発性ソリッドステート記憶デバイスなどの不揮発性メモリを含む。メモリ２２０は、１つ以上の処理ユニット２０２から遠隔に位置する１つ以上の記憶デバイスを任意選択的に含む。メモリ２２０は、非一時的コンピュータ可読記憶媒体を含む。いくつかの実施形態では、メモリ２２０、又はメモリ２２０の非一時的コンピュータ可読記憶媒体は、任意選択的なオペレーティングシステム２３０及びＸＲ体験モジュール２４０を含む、以下のプログラム、モジュール及びデータ構造、又はそれらのサブセットを記憶する。

【0043】

オペレーティングシステム２３０は、様々な基本システムサービスを処理する命令、及びハードウェア依存タスクを実行する命令を含む。いくつかの実施形態では、ＸＲ体験モジュール２４０は、１人以上のユーザに対する１つ以上のＸＲ体験（例えば、１人以上のユーザに対する単一のＸＲ体験、又は１人以上のユーザのそれぞれのグループに対する複数のＸＲ体験）を管理及び調整するように構成されている。その目的で、様々な実施形態では、ＸＲ体験モジュール２４０は、データ取得ユニット２４１と、トラッキングユニット２４２と、調整ユニット２４６と、データ送信ユニット２４８と、を含む。

【0044】

いくつかの実施形態では、データ取得ユニット２４１は、少なくとも図１の表示生成コンポーネント１２０から、並びに任意選択的に、入力デバイス１２５、出力デバイス１５５、センサ１９０、及び／又は周辺デバイス１９５のうちの１つ以上から、データ（例えば、提示データ、対話データ、センサデータ、ロケーションデータなど）を取得するように構成される。その目的で、様々な実施形態では、データ取得ユニット２４１は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。

【0045】

いくつかの実施形態では、トラッキングユニット２４２は、シーン１０５をマッピングし、図１のシーン１０５に対する少なくとも表示生成コンポーネント１２０のロケーション／ポジションを、並びに任意選択的に、入力デバイス１２５、出力デバイス１５５、センサ１９０、及び／又は周辺デバイス１９５のうちの１つ以上の位置を、追跡するように構成される。その目的で、様々な実施形態では、トラッキングユニット２４２は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。いくつかの実施形態では、トラッキングユニット２４２は、ハンドトラッキングユニット２４４及び／又はアイトラッキングユニット２４３を含む。いくつかの実施形態では、ハンドトラッキングユニット２４４は、図１のシーン１０５に対する、表示生成コンポーネント１２０に対する、及び／又はユーザの手に対して定義された座標系に対する、ユーザの手の１つ以上の部分のロケーション／ポジション、及び／又はユーザの手の１つ以上の部分の動きを追跡するように構成される。ハンドトラッキングユニット２４４について、図４に関して以下でより詳細に説明する。いくつかの実施形態では、アイトラッキングユニット２４３は、シーン１０５に対する（例えば、物理環境及び／又はユーザ（例えば、ユーザの手）に対する）、又は表示生成コンポーネント１２０を介して表示されたＸＲコンテンツに対する、ユーザの視線（又は、より広範にはユーザの目、顔、又は頭部）のポジション及び移動を追跡するように構成される。アイトラッキングユニット２４３について、図５に関して以下でより詳細に説明する。

【0046】

いくつかの実施形態では、調整ユニット２４６は、表示生成コンポーネント１２０によって、並びに任意選択的に、出力デバイス１５５及び／又は周辺デバイス１９５のうちの１つ以上によって、ユーザに提示されるＸＲ体験を管理及び調整するように構成される。その目的で、様々な実施形態において、調整ユニット２４６は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。

【0047】

いくつかの実施形態では、データ送信ユニット２４８は、データ（例えば、提示データ、ロケーションデータなど）を少なくとも表示生成コンポーネント１２０、並びに任意選択的に、入力デバイス１２５、出力デバイス１５５、センサ１９０、及び／又は周辺デバイス１９５のうちの１つ以上に送信するように構成される。その目的で、様々な実施形態では、データ送信ユニット２４８は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。

【0048】

データ取得ユニット２４１、トラッキングユニット２４２（例えば、アイトラッキングユニット２４３及びハンドトラッキングユニット２４４を含む）、調整ユニット２４６、及びデータ送信ユニット２４８が、単一のデバイス（例えば、コントローラ１１０）上に存在するものとして示されているが、他の実施形態では、データ取得ユニット２４１、トラッキングユニット２４２（例えば、アイトラッキングユニット２４３及びハンドトラッキングユニット２４４を含む）、調整ユニット２４６、及びデータ送信ユニット２４８の任意の組み合わせが、別個のコンピューティングデバイス内に配置されてもよいことを理解されたい。

【0049】

更に、図２は、本明細書に記載される実施形態の構造概略とは対照的に、特定の実施形態に存在し得る様々な特徴の機能を説明することをより意図している。当業者によって認識されるように、別々に示された事項を組み合わせることができ、また、一部の事項は分離することができる。例えば、図２に別々に示すいくつかの機能モジュールは、単一のモジュール内に実現することができ、単一の機能ブロックの様々な機能は、様々な実施形態では１つ以上の機能ブロックによって実行することができる。モジュールの実際の数、並びに特定の機能の分割及びそれらの間にどのように機能が割り当てられるかは、実装形態によって異なり、いくつかの実施形態では、特定の実装形態のために選択されたハードウェア、ソフトウェア、及び／又はファームウェアの特定の組み合わせに部分的に依存する。

【0050】

図３は、いくつかの実施形態による、表示生成コンポーネント１２０の一例のブロック図である。特定の特徴が示されているが、当業者は、本明細書に開示される実施形態のより適切な態様を曖昧にしないよう、簡潔にするために様々な他の特徴が示されていないことを、本開示から理解されよう。その目的で、非限定的な例として、いくつかの実施形態では、表示生成コンポーネント１２０（例えば、ＨＭＤ）には、１つ以上の処理ユニット３０２（例えば、マイクロプロセッサ、ＡＳＩＣ、ＦＰＧＡ、ＧＰＵ、ＣＰＵ、処理コアなど）、１つ以上の入出力（Ｉ／Ｏ）デバイス及びセンサ３０６、１つ以上の通信インタフェース３０８（例えば、ＵＳＢ、ＦＩＲＥＷＩＲＥ、ＴＨＵＮＤＥＲＢＯＬＴ、ＩＥＥＥ ８０２．３ｘ、ＩＥＥＥ ８０２．１１ｘ、ＩＥＥＥ ８０２．１６ｘ、ＧＳＭ、ＣＤＭＡ、ＴＤＭＡ、ＧＰＳ、赤外線、ＢＬＵＥＴＯＯＴＨ、ＺＩＧＢＥＥ、及び／又は同様のタイプのインタフェース）、１つ以上のプログラミング（例えば、Ｉ／Ｏ）インタフェース３１０、１つ以上のＸＲディスプレイ３１２、１つ以上の任意の内向き及び／又は外向き画像センサ３１４、メモリ３２０、並びにこれら及び様々な他のコンポーネントを相互接続するための１つ以上の通信バス３０４、が含まれる。

【0051】

いくつかの実施形態では、１つ以上の通信バス３０４は、システムコンポーネントを相互接続し、システムコンポーネント間の通信を制御する、回路を含む。いくつかの実施形態では、１つ以上のＩ／Ｏデバイス及びセンサ３０６は、慣性測定装置（ＩＭＵ）、加速度計、ジャイロスコープ、温度計、１つ以上の生理的センサ（例えば、血圧モニタ、心拍数モニタ、血液酸素センサ、血糖センサなど）、１つ以上のマイクロフォン、１つ以上のスピーカ、触覚エンジン、１つ以上の深度センサ（例えば、構造化光、飛行時間など）などのうちの少なくとも１つを含む。

【0052】

いくつかの実施形態では、１つ以上のＸＲディスプレイ３１２は、ユーザにＸＲ体験を提供するように構成される。いくつかの実施形態では、１つ以上のＸＲディスプレイ３１２は、ホログラフィック、デジタル光処理（ＤＬＰ）、液晶ディスプレイ（ＬＣＤ）、液晶オンシリコン（ＬＣｏＳ）、有機発光電界効果トランジスタ（ＯＬＥＴ）、有機発光ダイオード（ＯＬＥＤ）、表面伝導型電子放射素子ディスプレイ（ＳＥＤ）、電界放射ディスプレイ（ＦＥＤ）、量子ドット発光ダイオード（ＱＤ－ＬＥＤ）、ＭＥＭＳ、及び／又は同様のディスプレイタイプに相当する。いくつかの実施形態では、１つ以上のＸＲディスプレイ３１２は、回折、反射、偏光、ホログラフィックなどの、導波管ディスプレイに相当する。例えば、表示生成コンポーネント１２０（例えば、ＨＭＤ）は、単一のＸＲディスプレイを含む。別の実施例では、表示生成コンポーネント１２０は、ユーザの各目用のＸＲディスプレイを含む。いくつかの実施形態では、１つ以上のＸＲディスプレイ３１２は、ＭＲ又はＶＲコンテンツを提示することができる。いくつかの実施形態では、１つ以上のＸＲディスプレイ３１２は、ＭＲ又はＶＲコンテンツを提示することができる。

【0053】

いくつかの実施形態では、１つ以上の画像センサ３１４は、ユーザの目を含むユーザの顔の少なくとも一部に対応する画像データを取得するように構成される（及び、アイトラッキングカメラと称する場合がある）。いくつかの実施形態では、１つ以上の画像センサ３１４は、ユーザの手（単数又は複数）及び任意選択的にユーザの腕（単数又は複数）の少なくとも一部に対応する画像データを取得するように構成される（及び、ハンドトラッキングカメラと称される場合がある）。いくつかの実施形態では、１つ以上の画像センサ３１４は、表示生成コンポーネント１２０（例えばＨＭＤ）、が存在しない場合に、ユーザが閲覧するようなシーンに対応する画像データを取得するように前方を向くように構成されている（かつ、シーンカメラと称されることがある）。１つ以上の任意選択的な画像センサ３１４は、（例えば、相補型金属酸化膜半導体（ＣＭＯＳ）画像センサ若しくは電荷結合デバイス（ＣＣＤ）画像センサを備えた）１つ以上のＲＧＢカメラ、１つ以上の赤外線（ＩＲ）カメラ、１つ以上のイベントベースのカメラ、及び／又は同様のもの、を含むことができる。

【0054】

メモリ３２０は、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ、又は他のランダムアクセスソリッドステートメモリデバイスなどの、高速ランダムアクセスメモリを含む。いくつかの実施形態では、メモリ３２０は、１つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、又はその他の不揮発性ソリッドステート記憶デバイスなどの不揮発性メモリを含む。メモリ３２０は、１つ以上の処理ユニット３０２から遠隔に位置する１つ以上の記憶デバイスを任意選択的に含む。メモリ３２０は、非一時的コンピュータ可読記憶媒体を含む。いくつかの実施形態では、メモリ３２０、又はメモリ３２０の非一時的コンピュータ可読記憶媒体は、任意選択のオペレーティングシステム３３０及びＸＲ提示モジュール３４０を含む、以下のプログラム、モジュール及びデータ構造、又はそれらのサブセットを記憶する。

【0055】

オペレーティングシステム３３０は、様々な基本システムサービスを処理する命令、及びハードウェア依存タスクを実行する命令を含む。いくつかの実施形態では、ＸＲ提示モジュール３４０は、１つ以上のＸＲディスプレイ３１２を介してＸＲコンテンツをユーザに提示するように構成される。その目的で、様々な実施形態では、ＸＲ提示モジュール３４０は、データ取得ユニット３４２、ＸＲ提示ユニット３４４、ＸＲマップ生成ユニット３４６、及びデータ送信ユニット３４８を含む。

【0056】

いくつかの実施形態では、データ取得ユニット３４２は、少なくとも図１のコントローラ１１０からデータ（例えば、提示データ、相互作用データ、センサデータ、ロケーションデータなど）を取得するように構成される。その目的で、様々な実施形態では、データ取得ユニット３４２は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。

【0057】

いくつかの実施形態では、ＸＲ提示ユニット３４４は、１つ以上のＸＲディスプレイ３１２を介してＸＲコンテンツを提示するように構成される。その目的で、様々な実施形態では、ＸＲ提示ユニット３４４は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。

【0058】

いくつかの実施形態では、ＸＲマップ生成ユニット３４６は、メディアコンテンツデータに基づいて、ＸＲマップ（例えば、複合現実シーンの３Ｄマップ又はコンピュータ生成オブジェクトを配置して拡張現実を生成することができる物理環境のマップ）を生成するように構成されている。その目的で、様々な実施形態では、ＸＲマップ生成ユニット３４６は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。

【0059】

いくつかの実施形態では、データ送信ユニット３４８は、少なくともコントローラ１１０、及び任意選択的に入力デバイス１２５、出力デバイス１５５、センサ１９０、及び／又は周辺デバイス１９５のうちの１つ以上にデータ（例えば、提示データ、ロケーションデータなど）を伝送するように構成される。その目的で、様々な実施形態では、データ送信ユニット３４８は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。

【0060】

データ取得ユニット３４２は、ＸＲ提示ユニット３４４、ＸＲマップ生成ユニット３４６、及びデータ送信ユニット３４８は、単一のデバイス（例えば、図１の表示生成コンポーネント１２０）上に存在するものとして示されているが、他の実施形態では、データ取得ユニット３４２、ＸＲ提示ユニット３４４、ＸＲマップ生成ユニット３４６、及びデータ送信ユニット３４８の任意の組み合わせが、別個のコンピューティングデバイス内に配置されてもよいことを理解されたい。

【0061】

更に、図３は、本明細書に記載される実施形態の構造概略とは対照的に、特定の実装形態に存在し得る様々な特徴の機能を説明することをより意図している。当業者によって認識されるように、別々に示された事項を組み合わせることができ、また、一部の事項は分離することができる。例えば、図３に別々に示すいくつかの機能モジュールは、単一のモジュール内に実現することができ、単一の機能ブロックの様々な機能は、様々な実施形態では１つ以上の機能ブロックによって実行することができる。モジュールの実際の数、並びに特定の機能の分割及びそれらの間にどのように機能が割り当てられるかは、実装形態によって異なり、いくつかの実施形態では、特定の実装形態のために選択されたハードウェア、ソフトウェア、及び／又はファームウェアの特定の組み合わせに部分的に依存する。

【0062】

図４は、ハンドトラッキングデバイス１４０の例示的な実施形態の概略図である。いくつかの実施形態では、ハンドトラッキングデバイス１４０（図１）は、図１のシーン１０５に対する（例えば、ユーザを囲む物理環境の一部に対する、表示生成コンポーネント１２０に対する、又はユーザの一部（例えば、ユーザの顔、目、又は頭部）に対する、及び／又はユーザの手に対して定義された座標系に対する、ユーザの手の１つ以上の部分のロケーション／ポジションを、及び／又は、ユーザの手の１つ以上の部分の動きを追跡するように、ハンドトラッキングユニット２４４（図２）によって制御される。いくつかの実施形態では、ハンドトラッキングデバイス１４０は、表示生成コンポーネント１２０の一部である（例えば、ヘッドマウントデバイスに埋め込まれる、又はヘッドマウントデバイスに取り付けられる）。いくつかの実施形態では、ハンドトラッキングデバイス１４０は、表示生成コンポーネント１２０とは別個である（例えば、別個のハウジング内に位置する、又は別個の物理的支持構造に取り付けられる）。

【0063】

いくつかの実施形態では、ハンドトラッキングデバイス１４０は、人間のユーザの少なくとも手４０６を含む三次元シーン情報をキャプチャする画像センサ４０４（例えば、１つ以上のＩＲカメラ、３Ｄカメラ、深度カメラ、及び／又はカラーカメラなど）を含む。画像センサ４０４は、指及びそれらのそれぞれのポジションを区別するのを可能にするのに十分な解像度で手画像をキャプチャする。画像センサ４０４は、典型的には、ユーザの身体の他の部分の画像、又は身体の全ての画像をキャプチャし、ズーム機能又は高倍率を有する専用センサのいずれかを有して、所望の解像度で手の画像をキャプチャすることができる。いくつかの実施形態では、画像センサ４０４はまた、手４０６の２Ｄカラービデオ画像及びシーンの他の要素をキャプチャする。いくつかの実施形態では、画像センサ４０４は、シーン１０５の物理環境をキャプチャする他の画像センサと併せて使用される、又はシーン１０５の物理環境をキャプチャする画像センサとして機能する。いくつかの実施形態では、画像センサ４０４は、画像センサ又はその一部の視野が使用されて、画像センサによってキャプチャされた手の移動がコントローラ１１０への入力として処理される相互作用空間を定義するように、ユーザ又はユーザの環境に対して位置決めされる。

【0064】

いくつかの実施形態では、画像センサ４０４は、３Ｄマップデータ（及び場合によってはカラー画像データも）を含むフレームのシーケンスをコントローラ１１０に出力し、これにより、マップデータから高レベル情報を抽出する。この高レベル情報は、典型的には、アプリケーションプログラムインタフェース（ＡＰＩ）を介して、コントローラ上で実行されるアプリケーションに提供され、それに応じて表示生成コンポーネント１２０を駆動する。例えば、ユーザは、自身の手４０６を移動させ、自身の手の姿勢を変化させることによって、コントローラ１１０上で動作するソフトウェアと対話することができる。

【0065】

いくつかの実施形態では、画像センサ４０４は、手４０６を含むシーン上にスポットパターンを投影し、投影されたパターンの画像をキャプチャする。いくつかの実施形態では、コントローラ１１０は、パターンのスポットの横方向シフトに基づいて、三角測量によって（ユーザの手の表面上の点を含む）シーン内の点の３Ｄ座標を計算する。このアプローチは、ユーザが任意の種類のビーコン、センサ、又は他のマーカを保持又は着用する必要がないという点で有利である。これは、画像センサ４０４からの特定の距離で、所定の基準面に対するシーン内の点の深度座標を与える。本開示では、画像センサ４０４は、シーン内の点の深度座標が画像センサによって測定されたｚ成分に対応するように、直交する一連のｘ、ｙ、ｚ軸を定義すると想定される。代替的に、画像センサ４０４（例えば、ハンドトラッキングデバイス）は、単一又は複数のカメラ又は他のタイプのセンサに基づいて、立体撮像又は飛行時間測定などの他の３Ｄマッピング方法を使用することができる。

【0066】

いくつかの実施形態では、ハンドトラッキングデバイス１４０は、ユーザが手（例えば、手全体又は１本以上の指）を移動させている間、ユーザの手を含む深度マップの時間シーケンスをキャプチャし処理する。画像センサ４０４及び／又はコントローラ１１０内のプロセッサ上で動作するソフトウェアは、３Ｄマップデータを処理して、これらの深度マップ内の手のパッチ記述子を抽出する。ソフトウェアは、各フレームにおける手の姿勢を推定するために、以前の学習プロセスに基づいて、これらの記述子をデータベース４０８に記憶されたパッチ記述子と照合する。姿勢は、典型的には、ユーザの手関節及び指先の３Ｄロケーションを含む。

【0067】

ソフトウェアはまた、ジェスチャを識別するために、シーケンス内の複数のフレームにわたって手及び／又は指の軌道を解析することができる。本明細書に記載される姿勢推定機能は、運動追跡機能とインターリーブされてもよく、それにより、パッチベースの姿勢推定が２つ（又はそれより多く）のフレーム毎に１回のみ実行される一方、追跡は残りのフレームにわたって発生する姿勢の変化を発見するために使用される。姿勢、運動、及びジェスチャ情報は、上述のＡＰＩを介して、コントローラ１１０上で実行されるアプリケーションプログラムに提供される。このプログラムは、例えば、姿勢及び／又はジェスチャ情報に応じて、表示生成コンポーネント１２０上に提示された画像を移動させ修正する、又は他の機能を実行することができる。

【0068】

いくつかの実施形態では、ジェスチャは、エアジェスチャを含む。エアジェスチャは、ユーザがデバイス（例えば、コンピュータシステム１０１、１つ以上の入力デバイス１２５、及び／又は、ハンドトラッキングデバイス１４０）の一部である入力要素に触れることなく（又はそれとは無関係に）検出されるジェスチャであり、絶対基準（例えば、地面に対するユーザの腕の角度、又は地面に対するユーザの手の距離）に対するユーザの身体の動き、ユーザの身体の別の部分（例えば、ユーザの肩に対するユーザの手の移動、ユーザの一方の手のユーザの別の手に対する移動、及び／又はユーザの指の、別の指若しくはユーザの手の一部に対する移動）に対するユーザの身体の動き、及び／又はユーザの身体の一部（例えば、所定の量及び／又は速さによる所定の姿勢での手の移動を含むタップジェスチャ、又は所定の速度又はユーザの身体の一部の回転量を含むシェイクジェスチャ）の絶対的な動きを含む、空中にあるユーザの身体の一部（例えば、頭部、１つ以上の腕、１つ以上の手、１つ以上の指、及び／又は１つ以上の脚）の検出された動きに基づく。

【0069】

いくつかの実施形態では、本明細書に記載の様々な例及び実施形態で使用される入力ジェスチャは、いくつかの実施形態に係る、ＸＲ環境（例えば、仮想又は複合現実環境）と相互作用するための他の指（単数又は複数）又はユーザの手の部分（単数又は複数）に対するユーザの指（単数又は複数）の移動によって実行されるエアジェスチャを含む。いくつかの実施形態では、エアジェスチャは、ユーザがデバイスの一部である入力要素に触れることなく（又はデバイスの一部である入力要素から独立して）検出されるジェスチャであり、絶対的な基準に対するユーザの身体の動き（例えば、地面に対するユーザの腕の角度、又は地面に対するユーザの手の距離）、ユーザの身体の別の部分に対するユーザの身体の動き（例えば、ユーザの肩に対するユーザの手の移動、ユーザの一方の手に対するユーザの他方の手の移動、及び／又はユーザの手の別の指若しくは部分に対するユーザの指の移動）、及び／又は、ユーザの身体の一部の絶対的な動き（例えば、所定の量及び／又は速さによる所定の姿勢での手の移動を含むタップジェスチャ、又はユーザの身体の一部の所定の速さ又は量の回転を含むシェイクジェスチャ）を含む、ユーザの身体の一部の空間中の検出された動きに基づく。

【0070】

入力ジェスチャがエアジェスチャ（例えば、タッチスクリーン上に表示されたユーザインタフェース要素との接触、又はユーザインタフェース要素にカーソルを移動させるためのマウス又はトラックパッドとの接触など、どのユーザインタフェース要素がユーザ入力のターゲットであるかに関する情報をコンピュータシステムに提供する入力デバイスとの物理的接触がない場合）であるいくつかの実施形態では、ジェスチャは、ユーザ入力のターゲット（例えば、以下で説明するように、直接入力の場合）を決定するためにユーザの注意（例えば、視線）を考慮に入れる。したがって、エアジェスチャを含む実装形態では、入力ジェスチャは、例えば、以下でより詳細に説明するように、ピンチ及び／又はタップ入力を実行するためのユーザの指（単数又は複数）及び／又は手の移動と組み合わせて（例えば、同時）ユーザインタフェース要素に対する検出された注意（例えば、視線）である。

【0071】

いくつかの実施形態では、ユーザインタフェースオブジェクトに向けられた入力ジェスチャは、ユーザインタフェースオブジェクトを参照して直接的又は間接的に実行される。例えば、ユーザ入力は、３次元環境（例えば、ユーザの現在の視点に基づいて決定されるように、）におけるユーザインタフェースオブジェクトのポジションに対応するポジションでユーザの手で入力ジェスチャを実行したことに応じて、ユーザインタフェースオブジェクトに対して直接実行される。いくつかの実施形態では、入力ジェスチャは、ユーザインタフェースオブジェクトに対するユーザの注意（例えば、視線）を検出しながら、ユーザの手のポジションが３次元環境におけるユーザインタフェースオブジェクトのポジションに対応するポジションにない間に入力ジェスチャを実行するユーザに従って、ユーザインタフェースオブジェクトに対して間接的に実行される。例えば、直接入力ジェスチャの場合、ユーザは、ユーザインタフェースオブジェクトの表示ポジション（例えば、オプションの外縁又はオプションの中央部分から測定して、０．５ｃｍ、１ｃｍ、５ｃｍ、又は０～５ｃｍの距離内）に対応するポジション又はその付近でジェスチャを開始することによって、ユーザの入力をユーザインタフェースオブジェクトに向けることができる。間接的な入力ジェスチャの場合、ユーザは、ユーザインタフェースオブジェクトに注意を払うことによって（例えば、ユーザインタフェースオブジェクトを注視することによって）ユーザの入力をユーザインタフェースオブジェクトに向けることができ、オプションに注意を払いながら、ユーザは、入力ジェスチャを開始する（例えば、コンピュータシステムによって検出可能な任意のポジションで）（例えば、ユーザインタフェースオブジェクトの表示ポジションに対応しないポジションで）。

【0072】

いくつかの実施形態では、本明細書に記載の様々な例及び実施形態で使用される入力ジェスチャ（例えば、エアジェスチャ）は、いくつかの実施形態に係る、仮想又は複合現実環境と相互作用するためのピンチ入力及びタップ入力を含む。例えば、後述するピンチ入力やタップ入力は、エアジェスチャとして行われる。

【0073】

いくつかの実施形態では、ピンチ入力は、ピンチジェスチャ、ロングピンチジェスチャ、ピンチアンドドラッグジェスチャ、又はダブルピンチジェスチャのうちの１つ以上を含むエアジェスチャの一部である。例えば、エアジェスチャであるピンチジェスチャは、互いに接触するように手の２本以上の指を動かすこと、すなわち、任意選択的に、互いに接触した直後の（例えば、０～１秒以内）中断を含む。エアジェスチャであるロングピンチジェスチャは、互いに接触している中断を検出する前に、少なくとも閾値時間量（例えば、少なくとも１秒）にわたって互いに接触するように手の２本以上の指を動かすことを含む。例えば、ロングピンチジェスチャは、ユーザがピンチジェスチャ（例えば、２つ以上の指が接触している場合、）を保持することを含み、ロングピンチジェスチャは、２本以上の指の間の接触の中断が検出されるまで継続する。いくつかの実施形態では、エアジェスチャであるダブルピンチジェスチャは、互いに直接（例えば、所定の期間内に）連続して検出される２つ（例えば、又はそれより多く）のピンチ入力（例えば、同じ手で実行される）を含む。例えば、ユーザは、第１のピンチ入力を実行し（例えば、ピンチ入力又はロングピンチ入力）、第１のピンチ入力を解放し（例えば、２つ以上の指の間の接触を破壊する）、第１のピンチ入力を解放した後、所定の期間（例えば、１秒以内又は２秒以内）内に第２のピンチ入力を実行する。

【0074】

いくつかの実施形態では、エアジェスチャであるピンチアンドドラッグジェスチャは、ユーザの手のポジションを第１のポジション（例えば、ドラッグの開始ポジション）から第２のポジション（例えば、抗力の終了ポジション）に変化させるドラッグ入力に関連して（例えば、その後に）実行されるピンチジェスチャ（例えば、ピンチジェスチャ又はロングピンチジェスチャ）を含む。いくつかの実施形態では、ユーザは、ドラッグ入力を実行しながらピンチジェスチャを維持し、（例えば、第２のポジションにおいて）ドラッグジェスチャを終了するためにピンチジェスチャ（例えば、２本以上の指を開く）を解放する。いくつかの実施形態では、ピンチ入力及びドラッグ入力は、同じ手（例えば、ユーザは、２本以上の指をつまんで互いに接触し、ドラッグジェスチャで空中の第２のポジションに同じ手を移動させる）によって実行される。いくつかの実施形態では、ピンチ入力はユーザの第１の手によって実行され、ドラッグ入力はユーザの第２の手によって実行される（例えば、ユーザの第２の手は、ユーザがユーザの第１の手でピンチ入力を継続する間に空中で第１のポジションから第２のポジションに移動する）。いくつかの実施形態では、エアジェスチャである入力ジェスチャは、ユーザの両手の双方を使用して実行される入力（例えば、ピンチ入力及び／又はタップ入力）を含む。例えば、入力ジェスチャは、互いに関連して（例えば、所定の期間と同時に、又は所定の期間内に）行われる２つ（例えば、又はそれより多く）のピンチ入力を含む。例えば、ユーザの第１の手を使用して実行される第１のピンチジェスチャ（例えば、ピンチ入力、ロングピンチ入力、又はピンチ及びドラッグ入力）と、第１の手を使用してピンチ入力を実行することに関連して、他方の手（例えば、ユーザの両手の第２の手）を使用して第２のピンチ入力を実行する。いくつかの実施形態では、ユーザの両手の間の移動（例えば、ユーザの両手の間の距離又は相対的な向きを増加及び／又は減少させるために）。

【0075】

いくつかの実施形態では、エアジェスチャとして実行されるタップ入力（例えば、ユーザインタフェース要素に向けられる）は、ユーザインタフェース要素に向かうユーザの指の移動（単数又は複数）、任意選択的にユーザの指（単数又は複数）をユーザインタフェース要素に向かって伸ばした状態でのユーザの手のユーザインタフェース要素に向かう移動、ユーザの指の下方への動き（例えば、マウスクリック動作又はタッチスクリーン上のタップを模倣する）、又はユーザの手の他の所定の移動を含む。いくつかの実施形態では、エアジェスチャとして実行されるタップ入力は、ユーザの視点から離れて、及び／又は移動の終了が続くタップ入力のターゲットであるオブジェクトに向かって指又は手のタップジェスチャの移動を実行する指又は手の移動特性に基づいて検出される。いくつかの実施形態では、タップジェスチャ（例えば、ユーザの視点から離れる、及び／又はタップ入力の対象であるオブジェクトに向かう移動の終了、指又は手の移動方向の反転、及び／又は指又は手の移動の加速方向の反転）を実行する指又は手の移動特性の変化に基づいて、移動の終了が検出される。

【0076】

いくつかの実施形態では、ユーザの注意は、（任意選択で、他の条件を必要とせずに）三次元環境の一部に向けられた視線の検出に基づいて、三次元環境の一部に向けられていると判定される。いくつかの実施形態では、ユーザの注意が三次元環境の一部に向けられていることをデバイスが判定するために、ユーザの視点が三次元環境の一部から距離閾値内にある間に、少なくとも閾値持続時間（例えば、滞留時間）、視線が三次元環境の一部に向けられていることを必要とすること、及び／又は視線が三次元環境の一部に向けられていることを必要とすることなどの１つ以上の追加の条件を伴う三次元環境の一部に向けられた視線の検出に基づいて、ユーザの注意が三次元環境の一部に向けられていると判定され、追加の条件のうちの１つが満たされていない場合、デバイスは、三次元環境のうちの視線が向けられている部分に注意が向けられていないと判定する（例えば、１つ以上の追加の条件が満たされるまで）。

【0077】

いくつかの実施形態では、ユーザ又はユーザの一部の準備完了状態構成の検出は、コンピュータシステムによって検出される。手の準備完了状態構成の検出は、ユーザが、手によって実行される１つ以上のエアジェスチャ入力（例えば、ピンチ、タップ、ピンチ及びドラッグ、ダブルピンチ、ロングピンチ、又は本明細書に説明される他のエアジェスチャ）を使用して、コンピュータシステムと対話する準備をしている可能性が高いというインジケーションとして、コンピュータシステムによって使用される。例えば、手の準備完了状態は、手が所定の手形状（例えば、親指と１本以上の指が伸ばされて間隔を空けてピンチ若しくはグラブジェスチャを行う準備ができているプレピンチ形状、又は１本以上の指が伸ばされて手のひらがユーザから離れる方向を向いているプレタップ）を有するか否か、手がユーザの視点に対して所定のポジションにあるか否か（例えば、ユーザの頭部の下、ユーザの腰の上、身体から少なくとも１５ｃｍ、２０ｃｍ、２５ｃｍ、３０ｃｍ、又は５０ｃｍだけ伸ばされている）、及び／又は手が特定の方法で移動したか否か（例えば、ユーザの腰の上、ユーザの頭部の下のユーザの正面の領域に向かって移動したか、又はユーザの身体若しくは脚から離れたか）に基づいて決定される。いくつかの実施形態では、準備完了状態は、ユーザインタフェースの対話要素が注意（例えば、視線）入力に応答するかどうかを判定するために使用される。

【0078】

いくつかの実施形態では、ソフトウェアは、例えばネットワーク上で、コントローラ１１０に電子形態でダウンロードされてもよい、又はその代わりに、光学、磁気、若しくは電子メモリ媒体などの、実体的非一時的媒体に提供されてもよい。いくつかの実施形態では、データベース４０８は、同様に、コントローラ１１０に関連付けられたメモリに記憶される。代替的又は追加的に、コンピュータの記載された機能の一部又は全ては、カスタム又は半カスタム集積回路又はプログラム可能なデジタル信号プロセッサ（ＤＳＰ）などの専用のハードウェアに実装されてもよい。コントローラ１１０は、例として、画像センサ４０４とは別個のユニットとして図４に示されているが、コントローラの処理機能の一部又は全部は、好適なマイクロプロセッサ及びソフトウェアによって、又は画像センサ４０４（例えば、ハンドトラッキングデバイス）のハウジング内の専用回路によって、又は他の方法で画像センサ４０４に関連付けることができる。いくつかの実施形態では、これらの処理機能のうちの少なくともいくつかは、（例えば、テレビセット、ハンドヘルドデバイス、又はヘッドマウントデバイスにおいて）表示生成コンポーネント１２０と統合された好適なプロセッサによって、又はゲームコンソール又はメディアプレーヤなどの任意の他の適切なコンピュータ化されたデバイスを用いて実行されてもよい。画像センサ４０４の感知機能は、同様に、センサ出力によって制御されるコンピュータ又は他のコンピュータ化された装置に統合することができる。

【0079】

図４は、いくつかの実施形態による、画像センサ４０４によってキャプチャされた深度マップ４１０の概略図を更に含む。深度マップは、上述したように、それぞれの深度値を有するピクセルのマトリックスを含む。手４０６に対応するピクセル４１２は、このマップで背景及び手首からセグメント化されている。深度マップ４１０内の各ピクセルの輝度は、深度値、すなわち、画像センサ４０４からの測定されたｚ距離に反比例し、深度が上昇するにつれて階調が濃くなる。コントローラ１１０は、人間の手の特性を有する画像の成分（すなわち、隣接ピクセル群）を識別及びセグメント化するために、これらの深度値を処理する。これらの特性は、例えば、深度マップのシーケンスの全体サイズ、形状、フレームからフレームへの動きを含むことができる。

【0080】

図４はまた、いくつかの実施形態による、コントローラ１１０が手４０６の深度マップ４１０から最終的に抽出する手骨格４１４を概略的に示す。図４では、手の骨格４１４は、元の深度マップからセグメント化された手の背景４１６に重ね合わされる。いくつかの実施形態では、手（例えば、指関節、指先、手のひらの中心、手首に接続する手の終端など）、及び任意選択的に手に接続された手首又は腕上の主要な特徴点が、手骨格４１４上で識別され配置される。いくつかの実施形態では、複数の画像フレーム上にわたるこれらの主要な特徴点のロケーション及び移動がコントローラ１１０によって使用されて、いくつかの実施形態により、手によって実行される手ジェスチャ又は手の現在の状態を判定する。

【0081】

図５は、アイトラッキングデバイス１３０（図１）の例示的な実施形態を示す。いくつかの実施形態では、アイトラッキングデバイス１３０は、シーン１０５に対する、又は表示生成コンポーネント１２０を介して表示されたＸＲコンテンツに対する、ユーザの視線のポジション及び移動を追跡するように、アイトラッキングユニット２４３（図２）によって制御される。いくつかの実施形態では、アイトラッキングデバイス１３０は、表示生成コンポーネント１２０と統合される。例えば、いくつかの実施形態では、表示生成コンポーネント１２０がヘッドセット、ヘルメット、ゴーグル、又は眼鏡などのヘッドマウントデバイス、又はウェアラブルフレームに配置されたハンドヘルドデバイスである場合、ヘッドマウントデバイスは、ユーザによる視聴のためのＸＲコンテンツを生成するコンポーネント及びＸＲコンテンツに対するユーザの視線を追跡するためのコンポーネントの両方を含む。いくつかの実施形態では、アイトラッキングデバイス１３０は、表示生成コンポーネント１２０とは別個である。例えば、表示生成コンポーネントがハンドヘルドデバイス又はＸＲチャンバである場合、アイトラッキングデバイス１３０は、任意選択的に、ハンドヘルドデバイス又はＸＲチャンバとは別個のデバイスである。いくつかの実施形態では、アイトラッキングデバイス１３０は、ヘッドマウントデバイス又はヘッドマウントデバイスの一部である。いくつかの実施形態では、ヘッドマウントアイトラッキングデバイス１３０は、任意選択的に、頭部に装着されている表示生成コンポーネント又は頭部に装着されていない表示生成コンポーネントと共に使用される。いくつかの実施形態では、アイトラッキングデバイス１３０は、ヘッドマウントデバイスではなく、任意選択的に、ヘッドマウント表示生成コンポーネントと組み合わせて使用される。いくつかの実施形態では、アイトラッキングデバイス１３０は、ヘッドマウントデバイスではなく、任意選択的に、非ヘッドマウント表示生成コンポーネントの一部である。

【0082】

いくつかの実施形態では、表示生成コンポーネント１２０は、ユーザの目の前に左及び右の画像を含むフレームを表示して、３Ｄ仮想ビューをユーザに提供するディスプレイ機構（例えば、左右の目近傍ディスプレイパネル）を使用する。例えば、ヘッドマウント表示生成コンポーネントは、ディスプレイとユーザの目との間に位置する左右の光学レンズ（本明細書では接眼レンズと称される）を含んでもよい。いくつかの実施形態では、表示生成コンポーネントは、表示のためにユーザの環境のビデオをキャプチャする１つ以上の外部ビデオカメラを含んでもよい、又はそれに結合されてもよい。いくつかの実施形態では、ヘッドマウント表示生成コンポーネントは、ユーザが物理環境を直接視認し、透明又は半透明ディスプレイ上に仮想オブジェクトを表示することができる透明又は半透明のディスプレイを有してもよい。いくつかの実施形態では、表示生成コンポーネントは、仮想オブジェクトを物理環境に投影する。仮想オブジェクトは、例えば、物理的表面上に、又はホログラフとして投影され、それによって、個人は、システムを使用して、物理環境の上に重ね合わされた仮想オブジェクトを観察することができる。そのような場合、左右の目のための別個のディスプレイパネル及び画像フレームが必要とされない場合がある。

【0083】

図５に示すように、いくつかの実施形態では、アイトラッキングデバイス１３０（例えば、視線トラッキングデバイス）は、少なくとも１つのアイトラッキングカメラ（例えば、赤外線（ＩＲ）カメラ又は近ＩＲ（ＮＩＲ）カメラ）、並びに光（例えば、ＩＲ光又はＮＩＲ光）をユーザの目に向けて発する照明源（例えば、ＬＥＤのアレイ若しくはリングなどのＩＲ光源又はＮＩＲ光源）を含む。アイトラッキングカメラは、ユーザの目に向けられて、光源からの反射ＩＲ又はＮＩＲ光を目から直接受信してもよく、又は代替的に、ユーザの目と、視覚的光が通過することを可能にしながら目からアイトラッキングカメラにＩＲ又はＮＩＲ光を反射させるディスプレイパネルとの間に配置される「ホット」ミラーに向けられてもよい。アイトラッキングデバイス１３０は、任意選択的に、ユーザの目の画像を（例えば、６０～１２０フレーム／秒（ｆｐｓ）でキャプチャされるビデオストリームとして）キャプチャし、画像を解析して、視線追跡情報を生成し、視線追跡情報をコントローラ１１０に通信する。いくつかの実施形態では、ユーザの両目は、それぞれのアイトラッキングカメラ及び照明源によって別々に追跡される。いくつかの実施形態では、ユーザの片目のみが、個別のアイトラッキングカメラ及び照明源によって追跡される。

【0084】

いくつかの実施形態では、アイトラッキングデバイス１３０は、デバイス固有の較正プロセスを使用して較正されて、特定の動作環境１００用のアイトラッキングデバイスのパラメータ、例えば、ＬＥＤ、カメラ、ホットミラー（存在する場合）、接眼レンズ、及びディスプレイスクリーンの３Ｄ幾何学的関係及びパラメータを判定する。デバイス固有の較正プロセスは、ＡＲ／ＶＲ機器のエンドユーザへの配送前に、工場又は別の施設で実行されてもよい。デバイス固有の較正プロセスは、自動較正プロセスであってもよく、又は手動較正プロセスであってもよい。ユーザ固有の較正プロセスは、特定のユーザの目パラメータ、例えば、瞳孔ロケーション、中心視覚ロケーション、光軸、視軸、目の間隔などの推定を含んでもよい。いくつかの実施形態によれば、いったんアイトラッキングデバイス１３０についてデバイス固有及びユーザ固有のパラメータが判定されると、アイトラッキングカメラによってキャプチャされた画像は、グリント支援方法を使用して処理され、ディスプレイに対するユーザの現在の視軸及び視点を判定することができる。

【0085】

図５に示されるように、アイトラッキングデバイス１３０（例えば、１３０Ａ又は１３０Ｂ）は、接眼レンズ（単数又は複数）５２０と、アイトラッキングが行われるユーザの顔の側に配置された少なくとも１つのアイトラッキングカメラ５４０（例えば、赤外線（ＩＲ）又は近ＩＲ（ＮＩＲ）カメラ）と光（例えば、ＩＲ又はＮＩＲ光）をユーザの目（単数又は複数）５９２に向かって発する照明源５３０（例えば、ＮＩＲ発光ダイオード（ＬＥＤ）のアレイ若しくはリングなどのＩＲ又はＮＩＲ光源）とを含む視線追跡システムと、を含む。アイトラッキングカメラ５４０は、ユーザの目（単数又は複数）５９２とディスプレイ５１０（例えば、ヘッドマウントディスプレイの左若しくは右側のディスプレイパネル、又はハンドヘルドデバイスのディスプレイ、プロジェクタなど）との間に位置し、（例えば、図５の上部に示されるように）可視光を透過させながら、目（単数又は複数）５９２からのＩＲ又はＮＩＲ光を反射するミラー５５０に向けられてもよく、あるいは、（例えば、図５の下部に示されるように）反射されたユーザの目（単数又は複数）５９２からのＩＲ又はＮＩＲ光を受光するようにユーザの目（単数又は複数）５９２に向けられてもよい。

【0086】

いくつかの実施形態では、コントローラ１１０は、ＡＲ又はＶＲフレーム５６２（例えば、左及び右のディスプレイパネルの左及び右のフレーム）をレンダリングし、フレーム５６２をディスプレイ５１０に提供する。コントローラ１１０は、様々な目的のために、例えば、表示のためにフレーム５６２を処理する際に、アイトラッキングカメラ５４０からの視線追跡入力５４２を使用する。コントローラ１１０は、任意選択的に、グリント支援方法又は他の適切な方法を使用して、アイトラッキングカメラ５４０から得られた視線追跡入力５４２に基づいて、ディスプレイ５１０上のユーザの視点を推定する。視線追跡入力５４２から推定された視点は、任意選択的に、ユーザが現在見ている方向を判定するために使用される。

【0087】

以下、ユーザの現在の視線方向のいくつかの可能な使用事例について説明するが、これは限定することを意図するものではない。例示的な使用例として、コントローラ１１０は、判定されたユーザの視線方向に基づいて、仮想コンテンツを異なってレンダリングすることができる。例えば、コントローラ１１０は、周辺領域においてよりもユーザの現在の視線方向から判定された中心視覚領域において、より高い解像度で仮想コンテンツを生成してもよい。別の例として、コントローラは、ユーザの現在の視線方向に少なくとも部分的に基づいて、ビュー内の仮想コンテンツを位置決め又は移動させてもよい。別の例として、コントローラは、ユーザの現在の視線方向に少なくとも部分的に基づいて、ビュー内に特定の仮想コンテンツを表示してもよい。ＡＲアプリケーションにおける別の例示的な使用事例として、コントローラ１１０は、ＸＲ体験の物理環境をキャプチャして、判定された方向に焦点を合わせるように外部カメラを方向付けることができる。次いで、外部カメラの自動焦点機構は、ユーザが現在ディスプレイ５１０上で見ている環境内のオブジェクト又は表面に焦点を合わせることができる。別の例示的な使用事例として、接眼レンズ５２０は集束可能なレンズであってもよく、視線追跡情報がコントローラによって使用されて、ユーザが現在見ている仮想オブジェクトが、ユーザの目５９２の収束に一致するために適切な両目連動を有するように接眼レンズ５２０の焦点を調整する。コントローラ１１０は、視線追跡情報を活用して、ユーザが見ている近接オブジェクトが正しい距離で現れるように接眼レンズ５２０を方向付けて焦点を調整することができる。

【0088】

いくつかの実施形態では、アイトラッキングデバイスは、ウェアラブルハウジングに取り付けられた、ディスプレイ（例えば、ディスプレイ５１０）、２つの接眼レンズ（例えば、接眼レンズ（単数又は複数）５２０）、アイトラッキングカメラ（例えば、アイトラッキングカメラ（単数又は複数）５４０）、及び光源（例えば、光源５３０（例えば、ＩＲ ＬＥＤ又はＮＩＲ ＬＥＤ））を含むヘッドマウントデバイスの一部である。光源は、ユーザの目（単数又は複数）５９２に向かって光（例えば、ＩＲ光又はＮＩＲ光）を発する。いくつかの実施形態では、光源は、図５に示されるように、各レンズの周りにリング又は円状に配置されてもよい。いくつかの実施形態では、８つの光源５３０（例えば、ＬＥＤ）が、一例として各レンズ５２０の周りに配置される。しかしながら、より多くの又はより少ない光源５３０が使用されてもよく、光源５３０の他の配置及びロケーションが用いられてもよい。

【0089】

いくつかの実施形態では、ディスプレイ５１０は、可視光範囲内の光を発し、ＩＲ又はＮＩＲ範囲内の光を発さないため、視線追跡システムにノイズを導入しない。アイトラッキングカメラ（単数又は複数）５４０のロケーション及び角度は、例として与えられ、限定することを意図するものではないことに留意されたい。いくつかの実施形態では、単一のアイトラッキングカメラ５４０がユーザの顔の各側に位置する。いくつかの実施形態では、２つ以上のＮＩＲカメラ５４０をユーザの顔の各側に使用することができる。いくつかの実施形態では、より広い視野（ＦＯＶ）を有するカメラ５４０と狭いＦＯＶを有するカメラ５４０が、ユーザの顔の各側に使用されてもよい。いくつかの実施形態では、１つの波長（例えば、８５０ｎｍ）で動作するカメラ５４０と異なる波長（例えば、９４０ｎｍ）で動作するカメラ５４０とが、ユーザの顔の各側に使用されてもよい。

【0090】

図５に示すような視線トラッキングシステムの実施形態は、例えば、コンピュータ生成現実、仮想現実、及び／又は複合現実アプリケーションに使用されて、コンピュータ生成現実、仮想現実、拡張現実、及び／又は拡張仮想の体験をユーザに提供することができる。

【0091】

図６は、いくつかの実施形態による、グリント支援視線追跡パイプラインを示す。いくつかの実施形態では、視線トラッキングパイプラインは、グリント支援視線トラッキングシステム（例えば、図１及び図５に示されるようなアイトラッキングデバイス１３０）によって実現される。グリント支援視線追跡システムは、追跡状態を維持することができる。当初、追跡状態はオフ又は「いいえ」である。追跡状態にあるとき、グリント支援視線追跡システムは、現フレームを解析する際に前のフレームからの先行情報を使用して、現フレーム内の瞳孔輪郭及びグリントを追跡する。追跡状態にない場合、グリント支援視線追跡システムは、現フレーム内の瞳孔及びグリントを検出しようとし、それに成功した場合、追跡状態を「はい」に初期化し、追跡状態で次のフレームに続く。

【0092】

図６に示されるように、視線追跡カメラは、ユーザの左目及び右目の左右の画像をキャプチャすることができる。次いで、キャプチャされた画像は、６１０で開始される処理のために視線追跡パイプラインに入力される。要素６００に戻る矢印によって示されるように、視線追跡システムは、例えば、毎秒６０～１２０フレームの速度で、ユーザの目の画像をキャプチャし続けることができる。いくつかの実施形態では、キャプチャされた画像の各セットが、処理のためにパイプラインに入力されてもよい。しかしながら、いくつかの実施形態、又はいくつかの条件下では、全てのキャプチャされたフレームがパイプラインによって処理されるわけではない。

【0093】

６１０で、現在のキャプチャされた画像について、追跡状態がはいである場合、この方法は要素６４０に進む。６１０で、追跡状態がいいえである場合、６２０に示されるように、画像が解析されて、画像内のユーザの瞳孔及びグリントを検出する。６３０で、瞳孔とグリントが正常に検出される場合、方法は要素６４０に進む。正常に検出されない場合、方法は要素６１０に戻り、ユーザの目の次の画像を処理する。

【0094】

６４０で、要素６１０から進む場合、前のフレームからの先行情報に部分的に基づいて、現フレームが解析されて、瞳孔及びグリントを追跡する。６４０で、要素６３０から進む場合、現フレーム内の検出された瞳孔及びグリントに基づいて、追跡状態が初期化される。要素６４０での処理の結果は、追跡又は検出の結果が信頼できることを確認するためにチェックされる。例えば、結果は、瞳孔及び視線推定を実行するための十分な数のグリントが現フレームで正常に追跡又は検出されるかどうかを判定するためにチェックすることができる。６５０で、結果が信頼できない場合、追跡状態は要素６６０でいいえに設定され、方法は要素６１０に戻り、ユーザの目の次の画像を処理する。６５０で、結果が信頼できる場合、方法は要素６７０に進む。６７０で、追跡状態は、はいに設定され（まだはいではない場合）、瞳孔及びグリント情報が要素６８０に渡されて、ユーザの視点を推定する。

【0095】

図６は、特定の実施で使用され得るアイトラッキング技術の一例として機能することを意図している。当業者によって認識されるように、現在存在するか、又は将来開発される他のアイトラッキング技術は、様々な実施形態によるＸＲ体験をユーザに提供するためにコンピュータシステム１０１において、本明細書に記載されるグリント支援アイトラッキング技術の代わりに、又はそれと組み合わせて使用することができる。

【0096】

本開示では、コンピュータシステムとの相互作用に関して、様々な入力方法が説明される。一例が１つの入力デバイス又は入力方法を使用して提供され、別の例が別の入力デバイス又は入力方法を使用して提供される場合、各例は、別の例に関して記載された入力デバイス又は入力方法と互換性があり得、任意選択的にそれらを利用することを理解されたい。同様に、様々な出力方法が、コンピュータシステムとの相互作用に関して説明される。一例が１つの出力デバイス又は出力方法を使用して提供され、別の例が別の出力デバイス又は出力方法を使用して提供される場合、各例は、別の例に関して記載された出力デバイス又は出力方法と互換性があり得、任意選択的にそれらを利用することを理解されたい。同様に、様々な方法が、コンピュータシステムを介した仮想環境又は複合現実環境との相互作用に関して説明される。一例が仮想環境との相互作用を使用して提供され、別の例が複合現実環境を使用して提供される場合、各例は、別の例に関して説明された方法と互換性があり得、任意選択的にそれらを利用することを理解されたい。したがって、本開示は、各例示的な実施形態の説明における実施形態の全ての特徴を網羅的に列挙することなく、複数の例の特徴の組み合わせである実施形態を開示する。

【0097】

ユーザインタフェース及び関連するプロセス
ここで、ユーザインタフェース（「ＵＩ」）の実施形態、及び、表示生成コンポーネント及び（任意選択的に）１つ以上のセンサ（例えば、カメラ）と通信する、ポータブル多機能デバイス又はヘッドマウントデバイスなどのコンピュータシステムにおいて実行され得る関連プロセスに注目する。

【0098】

本開示は、ＸＲ環境内のユーザを表すための例示的なプロセスに関する。図７Ａ～図７Ｈ及び図８は、ユーザがＸＲ環境における表現のために登録される例を示す。図９Ａ～図９Ｆ、図１０、及び図１１は、仮想アバターに関連付けられた様々な視覚効果がＸＲ環境において提示される例を示す。図１２Ａ～図１２Ｅ、図１３Ａ～図１３Ｂ、及び図１４は、ＸＲ環境で表されるユーザに関連付けられた様々な提示モードの例を示す。本明細書に開示されるプロセスは、上述のように、コンピュータシステム（例えば、図１のコンピュータシステム１０１）を使用して実装される。

【0099】

図７Ａ～図７Ｈは、ユーザ７００の特徴を登録するための登録プロセスを示す。登録プロセスは、身体的特徴（例えば、顔特徴）、顔の表情、特徴の移動、肌のトーン、衣服、及び眼鏡などのユーザ７００の様々な態様を表すデータ、又はＸＲ環境においてユーザ７００の表示される表現を設計及び／又は操作するために使用することができる他のデータをキャプチャすることを含む。いくつかの実施形態では、ユーザ７００は、図９Ａ～図９Ｆ及び１２Ａ～図１２Ｅに関して以下でより詳細に議論されるように、例えば、仮想アバター又はオーディオ表現として、ＸＲ環境で表されることができる。

【0100】

図７Ａは、ディスプレイ７０２及びカメラ（単数又は複数）７０３を含む電子デバイス７０１を保持するユーザ７００を示す。ユーザ７００は、デバイス７０１を見ており、眼鏡７０７並びにオレンジ及び黄色のシャツ７０９を着用している。電子デバイス７０１は、コンピュータシステム（例えば、図１のコンピュータシステム１０１）である。

【0101】

図７Ａでは、デバイス７０１は、登録プロセスを通してユーザ７００をガイドするために使用される登録インタフェース７０４を表示している。登録インタフェース７０４は、カメラ７０３からキャプチャされた画像及び／又は深度データの表現を示すカメラビュー７０５を含む。図７Ａに示される実施形態では、カメラビュー７０５は、ユーザ７００の表現７００ａ（ユーザ７００が着用しているシャツ７０９の表現７０９ａ及び眼鏡７０７の表現７０７ａを含む）を含む。登録インタフェース７０４はまた、以下により詳細に説明されるように、登録プロセスの部分を完了するようにユーザ７００に指示する種々のプロンプトを含む。

【0102】

図７Ａに描写される実施形態では、登録インタフェース７０４は、ユーザ７００に、ユーザの顔、及びいくつかの実施形態では、ユーザの頭部等のユーザの身体の他の部分をスキャンするために、頭部を静止させ、デバイス７０１を移動させるように指示する、プロンプト７０６を含む。デバイス７０１は、ユーザの顔／頭部を表す画像データ及び／又は深度データを収集することによってスキャンを実行する。いくつかの実施形態では、この収集されたデータは、本明細書では顔データと呼ばれる。加えて、デバイス７０１は、ユーザ７００が眼鏡をかけていることを検出するので、プロンプト７０６はまた、ユーザの顔及び頭部の輪郭をより正確に表す顔データを収集するために、眼鏡７０７を外すようにユーザ７００に指示する。いくつかの実施形態では、登録インタフェース７０４上に表示されるプロンプトは、更なる命令を含むことができる。例えば、ユーザが頭部又は顔の一部を覆う長髪を有する場合、プロンプトは、頭部／顔の隠れた部分（例えば、耳）を露出させるために髪を後に引く命令（単数又は複数）を含むことができる。

【0103】

図７Ｂは、眼鏡７０７が取り外され、プロンプト７０６によって指示されるように、顔をスキャンするためにデバイス７０１を移動させているユーザ７００を示す。いくつかの実施形態では、デバイス７０１は、スキャンから収集された顔データに影響を及ぼし得る、ユーザの顔上の任意の潜在的な光グレアの移動を低減するように、ユーザに頭部を静止させておくように指示する。登録インタフェース７０４はまた、デバイス７０１がユーザの顔及び／又は頭部を表す顔データを収集するにつれて、スキャンの進捗を示すように更新する進捗インジケータ７０８を含む。

【0104】

図７Ｃは、図７Ａ及び図７Ｂの顔／頭部スキャンの代替実施形態を示す。図７Ｃに示される実施形態では、登録インタフェース７０４は、顔／頭部スキャンを完了するためにユーザ７００に自分の頭部を円形に動かすように指示するプロンプト７１０を含む。この実施形態では、ユーザ７００は、自分の頭部の異なる部分がカメラ７０３に見えるように、自分の頭部を動かしている間自分の前にデバイス７０１を保持し、カメラは、ユーザの顔／頭部が円を描いて動くときにユーザの顔／頭部から顔データをキャプチャする。

【0105】

図７Ｄ～図７Ｇは、デバイス７０１がユーザ７００の顔データを（例えば、カメラ７０３を介して）キャプチャしている間に、ユーザが様々な表情を行うように促される登録プロセスの一部を示す。デバイス７０１は、表情の各々についてのユーザの顔特徴の移動及び姿勢を表す顔データをキャプチャするために、異なる表情をするようにユーザ７００に促す。この顔データは、例えば、ＸＲ環境においてユーザを表すために使用される仮想アバターの作成及び動作を通知するために、（いくつかの実施形態では、顔／頭部スキャンから取得された顔データと組み合わせて）使用され得る。図７Ｄ～図７Ｇに示すプロンプトは、登録プロセスの例示的な実施形態を表す。したがって、登録プロセスは、ユーザ７００の身体的特徴を登録するのに十分な顔データを取得するために、より多くのプロンプトを含むか、異なるプロンプトを使用するか、又はプロンプトの異なる組み合わせを使用することができる。

【0106】

図７Ｄでは、デバイス７０１は、（カメラプレビュー７０５と同様の）カメラプレビュー７１２と、ユーザ７００に笑顔になるように指示するプロンプト７１４とを有する登録インタフェース７０４を表示する。プロンプト７１４を表示した後、デバイス７０１は、（例えば、カメラ７０３を介して）収集された顔データを評価し、ユーザによって行われた表情が登録インタフェース７０４内に表示されたプロンプトに一致することを顔データが示すかどうかを判定する。デバイス７０１が、ユーザ７００が要求された表情（笑顔）をしていると判定した後、デバイス７０１は、プロンプト７１４の表示を停止し、例えば、図７Ｅに示されるように、確認インジケーション（単数又は複数）７１６を表示することによって、ユーザが要求された表情をしたことを確認する。

【0107】

図７Ｆでは、デバイス７０１は、カメラプレビュー７１２と、ユーザ７００に「あー」と言うように指示するプロンプト７１８とを伴う登録インタフェース７０４を表示する。プロンプト７１８を表示した後、デバイス７０１は、（例えば、カメラ７０３を介して）収集された顔データを評価し、ユーザによって行われた表情が登録インタフェース７０４内に表示されたプロンプトに一致することを顔データが示すかどうかを判定する。ユーザ７００が要求された表情（「あー」と言っている）をしているとデバイス７０１が判定した後、デバイス７０１は、プロンプト７１８の表示を停止し、例えば、図７Ｇに示されるように、確認インジケーション（単数又は複数）７１９を表示することによって、ユーザが要求された表情をしたことを確認する。

【0108】

図７Ｄ及び７Ｅに描写されるもの等のいくつかの実施形態では、デバイス７０１が登録インタフェース７０４内に表示するプロンプトは、ユーザに笑う等の特定の表情をさせる命令である。図７Ｆ及び７Ｇに描写されるもの等のいくつかの実施形態では、プロンプトは、「あー」等の特定の語句又は単語を言うようにユーザに指示する命令である。図７Ｄ～図７Ｇに示す実施形態は、デバイス７０１がユーザ特徴を登録するために使用することができる特定のプロンプトの例であり、限定することを意図していない。例えば、プロンプトは、眉毛をひそめた表情、目を細めた表情、及び／又は驚いた表情などの異なる表情を作らせる命令を含むことができる。同様に、プロンプトは、他の句及び／又は単語を言う命令を含むことができる。要求された表情をするか、又は要求された単語又は句を言う間に、ユーザの顔特徴が姿勢をとる及び／又は移動されると、デバイス７０１は、顔特徴の移動／姿勢をキャプチャし、顔特徴の移動／姿勢を通して明らかにされる追加の顔特徴を検出し、キャプチャされた顔データを使用して、ユーザの顔、口、舌、唇、鼻などのユーザの特徴を、それらの特徴をＸＲ環境において適切に表すことができるように登録する。例えば、ユーザに笑顔になるように、又は「あー」と言うように指示することによって、デバイス７０１は、ユーザの歯の外観、ユーザの唇の移動、ユーザがえくぼを有するかどうか、並びにＸＲ環境におけるユーザの身体的特徴を正確に反映するアバターの移動をモデル化及び／又は制御するのに有用な他の情報を決定することができる。

【0109】

図７Ｈに示されるように、デバイス７０１がユーザの表情から顔データをキャプチャした後、デバイス７０１は、プロンプト７２０を有する登録インタフェース７０４を表示し、様々な外観オプションを選択し、次いで別個のデバイス（例えば、ヘッドセット）を使用してユーザ７００の他の身体的特徴（例えば、手）をスキャンするようにユーザ７００に指示する。登録インタフェース７０４に示される異なる外観オプションは、身長オプション７２２、表現オプション７２４、及び眼鏡オプション７２６を含む。これらの外観オプションの各々について、以下でより詳細に説明する。

【0110】

身長オプション７２２は、ユーザ７００の身長を示すように調整可能である。いくつかの実施形態では、身長オプション７２２は省略され、ユーザ７００の身長は、ヘッドセット、センサ、ウェアラブルデバイス、又はユーザの身長を近似することが可能な他のコンポーネントなど、他のソースから収集されたデータに基づいて決定される。

【0111】

表現オプション７２４は、オーディオオプション７２４ａ及びアバターオプション７２４ｂを含む。表現オプションは、ＸＲ環境においてユーザ７００を表現するために使用される提示モードを決定するために選択可能である。オーディオオプション７２４ａが選択されると、ユーザ７００は、ＸＲ環境においてオーディオ表現によって表される。アバターオプション７２４ｂが選択されると（図７Ｈに示すように）、ユーザ７００は、ＸＲ環境において仮想アバターによって表される。異なる表現オプションは、図９Ａ～図９Ｆ及び図１２Ａ～図１２Ｅに関して以下でより詳細に説明される。

【0112】

眼鏡オプション７２６は、眼鏡なしオプション７２６ａ、矩形フレームオプション７２６ｂ、半透明フレームオプション７２６ｃ、及びヘッドセットオプション７２６ｄを含む。眼鏡オプション７２６は、ＸＲ環境においてユーザ７００を表すために使用されるアバターの外観をカスタマイズするために使用される。例えば、アバターは、選択された眼鏡オプションに対応する眼鏡を有するＸＲ環境において示される。眼鏡なしオプション７２６ａが選択された場合、アバターは眼鏡なしで描かれる。同様に、ヘッドセットオプション７２６ｄが選択された場合、アバターはヘッドセットデバイス（例えば、ＨＭＤ）と共に示される。いくつかの実施形態では、眼鏡オプション７２６は、アバターオプション７２４ｂが選択されたときにのみ表示されるか、又は選択可能である。眼鏡オプション７２６は、ユーザ７００によって手動で選択されてもよく、デバイス７０１によって自動的に選択されてもよい。例えば、デバイス７０１が、ユーザ７００が登録プロセス中のどの時点においても眼鏡を着用していないと判定した場合、デバイス７０１は、眼鏡なしオプション７２６ａを自動的に選択する。同様に、デバイス７０１が、ユーザ７００が登録プロセス中の任意の時点で眼鏡を装着していると判定した場合、デバイス７０１は、登録中にユーザ上で検出された眼鏡に任意選択的に一致する眼鏡オプションを自動的に選択する（又はそれを作成する）。図７Ｈに示される実施形態では、デバイス７０１は、ユーザの眼鏡７０７を検出し、したがって、眼鏡７０７とスタイルが類似する矩形フレームオプション７２６ｂを選択した。

【0113】

所望の外観オプションが選択されると、ユーザ７００は、継続アフォーダンス７２８を選択して、別個のデバイスを使用して自分の身体の他の部分の登録を開始することができる。例えば、ユーザは、ヘッドセットデバイス（例えば、表示生成コンポーネント１２０に関して上記で説明したようなＨＭＤ）を装着し、ヘッドセット、具体的にはヘッドセットと一体化された１つ以上のカメラを使用して、ユーザの手、足、胴、腕、肩などのユーザ７００の他の身体的特徴に関する画像及び／又は深度データを収集することができる。別の例として、ユーザは、図９Ａに示す電子デバイス９０１などの別のデバイスを使用して、ユーザ７００の他の身体的特徴に関する画像及び／又は深度データを収集することができる。いくつかの実施形態では、別個のデバイス（例えば、ヘッドセット又はデバイス９０１）を使用して、更なるプロンプトを表示することができる。例えば、ヘッドセットデバイスのカメラがユーザの手及び指についてのデータをキャプチャしている間に、ユーザに指を曲げるように指示するプロンプトがヘッドセットデバイスの表示コンポーネント上に表示され得る。デバイス７０１を介して収集される顔データと同様に、別個のデバイスから収集されるデータは、ＸＲ環境においてユーザ７００を表すために使用されるアバターの様々な特徴を作成、モデル化、及び／又は制御するために使用され得る、ユーザ７００の特徴を登録するために使用される。

【0114】

図７Ａ～図７Ｈに示す実施形態では、デバイス７０１はスマートフォンである。しかしながら、いくつかの実施形態では、登録プロセスは、図１のコンピュータシステム１０１又は図９Ａのデバイス９０１等のユーザ及び／又はＸＲ環境と対話するために使用される他のデバイス又はコンポーネントを使用して行われることができる。そのようなデバイスは、デバイス７０１の代わりに、又はそれに加えて使用することができる。

【0115】

図７Ａ～図７Ｈに関する追加の説明は、以下の図８に関して記載された方法８００を参照して以下に提供される。

【0116】

図８は、いくつかの実施形態による、コンピュータシステムのユーザの１つ以上の特徴を登録するための例示的な方法８００のフローチャートである。方法８００は、表示生成コンポーネント（例えば、７０２）（例えば、視覚出力デバイス、３Ｄディスプレイ、画像が投影され得る透明又は半透明である少なくとも一部を有するディスプレイ（例えば、シースルーディスプレイ）、プロジェクタ、ヘッドアップディスプレイ、ディスプレイコントローラ）、及び１つ以上のカメラ（例えば、７０３）（例えば、赤外線カメラ、深度カメラ、可視光カメラ）と通信するコンピュータシステム（例えば、１０１、７０１）（例えば、スマートフォン、タブレット、ヘッドマウント表示生成コンポーネント）において生じる。

【0117】

１つ以上のカメラ（例えば、７０３）を介してユーザ（例えば、７００）の顔データ（例えば、サイズ、形状、ポジション、姿勢、色、深度、又はユーザの顔の１つ以上の特徴の他の特性を表すデータ（例えば、画像データ、センサデータ、及び／又は深度データ））をキャプチャすることを含む登録プロセス中、コンピュータシステム（例えば、７０１）は、表示生成コンポーネント（例えば、７０２）を介して、ユーザ（例えば、７００）の１つ以上の特徴（例えば、バイオメトリック特徴、顔、頭部、髪、目、鼻、耳、口、眉、顔の毛、皮膚等の頭部及び／又は顔特徴、毛髪の色、毛髪の質感、髪型、目の色、皮膚のトーンなどの特徴の特性、帽子、眼鏡、シャツ等の衣服）を登録するための登録インタフェース（例えば、７０４）を表示する（８０２）。

【0118】

ユーザ（例えば、７００）の１つ以上の特徴を登録するための登録インタフェース（例えば、７０４）を表示することの一部として、コンピュータシステム（例えば、７０１）は、第１のプロンプト（例えば、７０６、７１０、７１４、７１８）（例えば、視覚的、聴覚的、及び／又は触覚的プロンプト）を出力して（８０４）、ユーザの顔特徴のうちの１つ以上の第１のセットを、１つ以上の表情の第１の所定のセットに配置する（例えば、特定の表情（例えば、笑顔、目を細めた表情、驚いた表情など）及び／又は特定の句又は単語を言うようにユーザに促す）。

【0119】

ユーザ（例えば、７００）の１つ以上の特徴を登録するための登録インタフェース（例えば、７０４）を表示することの一部として、コンピュータシステム（例えば、７０１）は、第２のプロンプト（例えば、７０６、７１０、７１４、７１８）を出力して（８０６）、ユーザの顔特徴（いくつかの実施形態では、１つ以上の顔特徴の第２のセットは、第１のセットからの１つ以上の顔特徴を含む）のうちの１以上の第２のセットを、１つ以上の表情の第１の所定のセットとは異なる１つ以上の表情の第２の所定のセットに配置する（例えば、異なる特定の表情を作るように、及び／又は異なる特定の句若しくは単語を言うようにユーザに促す）。ユーザの顔特徴のうちの１つ以上の第１のセットを、１つ以上の表情の第１の所定のセットに配置するための第１のプロンプトを出力することと、ユーザの顔特徴のうちの１つ以上の第２のセットを、１つ以上の表情の第１の所定のセットとは異なる１つ以上の表情の第２の所定のセットに配置するための第２のプロンプトを出力することは、ユーザの１つ以上の特徴を登録するための顔データを取得するために、ユーザの顔を動かすための特定の命令セットを示すフィードバックをコンピュータシステムのユーザに提供することによって、登録プロセスの速度及び精度を改善する。改善されたフィードバックを提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する／コンピュータシステムと対話するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）登録プロセスの速度及び精度を改善し、ユーザシステムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより素早くかつ効率的に使用できるようにすることによって、電力使用を低減し、システムのバッテリ寿命を改善する。

【0120】

いくつかの実施形態では、１つ以上の表情の第１の所定のセットは、特定の表情（例えば、笑顔）であり、１つ以上の表情の第２の所定のセットは、特定の句若しくは単語（例えば、「あー」）、又はその逆である。

【0121】

いくつかの実施形態では、コンピュータシステム（例えば、７０１）は、登録基準の第１のセットが満たされていない（例えば、顔データの第１のセットがキャプチャされていない（例えば、所定の期間内にキャプチャされていない））との判定に従って、第１のプロンプト（例えば、７１４）を出力する。いくつかの実施形態では、コンピュータシステムは、登録基準の第１のセットが満たされ、登録基準の第２のセットが満たされていない（例えば、顔データの第１のセットがキャプチャされ、顔データの第２のセットがキャプチャされていない（例えば、所定の期間内にキャプチャされていない））との判定に従って、第２のプロンプト（例えば、７１８）を出力する。登録基準の第１のセットが満たされていないとの判定に従って第１のプロンプトを出力し、登録基準の第１のセットが満たされ、登録基準の第２のセットが満たされていないという判定に従って第２のプロンプトを出力することは、ユーザの１つ以上の特徴を登録するための顔データを取得するために、ユーザの顔を移動させるための基準をユーザが満たしたかどうかを示すフィードバックをコンピュータシステムのユーザに提供する。改善されたフィードバックを提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する／コンピュータシステムと対話するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザシステムインタフェースをより効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用できるようにすることによって、電力使用を低減し、コンピュータシステムのバッテリ寿命を改善する。

【0122】

いくつかの実施形態では、第１のプロンプト（例えば、７１４）を出力した後、コンピュータシステム（例えば、７０１）は、１つ以上のカメラ（例えば、７０３）を介してユーザ（例えば、７００）の顔データの第１のセットをキャプチャする（例えば、ユーザが第１の表情をしている間にユーザの顔データをキャプチャする（例えば、１つ以上の表情の第１の所定のセット内に１つ以上の顔特徴の第１のセットを配置する））。いくつかの実施形態では、第２のプロンプト（例えば、７１８）を出力した後、コンピュータシステムは、１つ以上のカメラを介してユーザの顔データの第２のセットをキャプチャする（例えば、ユーザが第２の表情をしている（例えば、１つ以上の表情の第２の所定のセット内に１つ以上の顔特徴の第２のセットを配置している）間にユーザの顔データをキャプチャする）。

【0123】

いくつかの実施形態では、１つ以上のカメラ（例えば、７０３）を介してユーザ（例えば、７００）の顔データの第１のセットをキャプチャした後（例えば、それに応じて）（いくつかの実施形態では、ユーザの顔データの第１のセットが表情基準の第１のセットを満たす（例えば、データが第１のタイプの表情（例えば、笑顔、第１のプロンプトに対応する表情）に対応するものとして識別される）との判定に従って）、コンピュータシステム（例えば、７０１）は、第１のプロンプトの表示を停止する（例えば、図７Ｅに示すように、プロンプト７１４はもはや表示されない）。いくつかの実施形態では、１つ以上のカメラを介してユーザの顔データの第２のセットをキャプチャした後（例えば、それに応じて）（いくつかの実施形態では、ユーザの顔データの第２のセットが表情基準の第２のセットを満たす（例えば、データが第２のタイプの表情（例えば、眉毛をひそめた表情、第２のプロンプトに対応する表情）に対応するものとして識別される）との判定に従って）、コンピュータシステム（例えば、７０１）は、第２のプロンプトの表示を停止する（例えば、図７Ｇに示すように、プロンプト７１８はもはや表示されない）。顔データの第１のセットをキャプチャした後に第１のプロンプトの表示を停止し、顔データの第２のセットをキャプチャした後に第２のプロンプトの表示を停止することは、ユーザの１つ以上の特徴を登録するための顔データを取得するために、ユーザの顔を移動させるための特定の命令セット（例えば、第１のプロンプト内の命令及び第２のプロンプト内の命令）をユーザが満たしたことを示すフィードバックをコンピュータシステムのユーザに提供する。改善されたフィードバックを提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する／コンピュータシステムと対話するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザシステムインタフェースをより効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用できるようにすることによって、電力使用を低減し、コンピュータシステムのバッテリ寿命を改善する。

【0124】

いくつかの実施形態では、１つ以上の表情の第１の所定のセットは、（例えば、図７Ｄのプロンプト７１４によって示されるように）笑顔、眉をひそめた表情、目を細めた表情、及び驚いた表情（例えば、眉を上げて口及び目を開いた）からなる群から選択される。

【0125】

一部の実施形態では、第２のプロンプト（例えば、７１８）は、ユーザ（例えば、７００）が１つ以上の単語のセット（例えば、単語又は句（例えば、図７Ｆのプロンプト７１８によって示されるように「‘あー’と言って下さい」））を話すためのプロンプトを含む。いくつかの実施形態では、ユーザは、ユーザの顔が話している間に特定の表情を達成するように、特定の単語又は句を話すように指示され、コンピュータシステム（例えば、７０１）は、ユーザが話している間にユーザの顔データをキャプチャする。

【0126】

いくつかの実施形態では、ユーザ（例えば、７００）の１つ以上の特徴を登録するための登録インタフェース（例えば、７０４）を表示することの一部として、コンピュータシステム（例えば、７０１）は、ユーザの頭部のポジションを変化させるための第３のプロンプト（例えば、７０６、７１０）（例えば、視覚、聴覚、及び／又は触覚プロンプト）（例えば、頭部の異なる部分が１つ以上のカメラ（例えば、７０３）の視野内に入るようにユーザの頭部を移動させるためのプロンプト）を出力する。ユーザの頭部のポジションを変化させるための第３のプロンプトを出力することは、ユーザの１つ以上の特徴を登録するための顔データを取得するためにユーザの頭部を移動させるための特定の命令セットを示すフィードバックをコンピュータシステムのユーザに提供する。改善されたフィードバックを提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する／コンピュータシステムと対話するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザシステムインタフェースをより効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用できるようにすることによって、電力使用を低減し、コンピュータシステムのバッテリ寿命を改善する。

【0127】

いくつかの実施形態では、コンピュータシステム（例えば、７０１）は、第１のプロンプト（例えば、７１４）又は第２のプロンプト（例えば、７１８）のうちの少なくとも１つの前に第３のプロンプト（例えば、７０６、７１０）を出力する（例えば、異なる表情に対するプロンプトは、ユーザの頭部を動かすためのプロンプトの後に出力される）。

【0128】

いくつかの実施形態では、ユーザ（例えば、７００）の１つ以上の特徴を登録するための登録インタフェース（例えば、７０４）を表示することの一部として、コンピュータシステム（例えば、７０１）は、ユーザの頭部を静止させたままユーザの頭部に対する１つ以上のカメラ（例えば、７０３）のポジションを変化させるための第４のプロンプト（例えば、７０６）（例えば、視覚的、聴覚的、及び／又は触覚的プロンプト）（例えば、ユーザの頭部を動かさずにユーザの頭部の周りで１つ以上のカメラを動かすためのプロンプト）を出力する。ユーザの頭部を静止させたまま、ユーザの頭部に対する１つ以上のカメラのポジションを変化させるための第４のプロンプトを出力することは、ユーザの１つ以上の特徴を登録するための顔データを取得しながら、光グレアの影響を低減するために、ユーザの頭部に対して１つ以上のカメラを移動させるための特定の命令セットを示すフィードバックを、コンピュータシステムのユーザに提供する。改善されたフィードバックを提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する／コンピュータシステムと対話するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザシステムインタフェースをより効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用できるようにすることによって、電力使用を低減し、コンピュータシステムのバッテリ寿命を改善する。いくつかの実施形態では、ユーザの頭部を移動させることは、頭部が移動している間、光グレアをユーザの頭部上で移動させる。グレアのポジションの変化は、顔データのキャプチャに関する問題を引き起こす可能性がある。したがって、これらの問題を回避するために、コンピュータシステム（例えば、７０１）は、ユーザ（例えば、７００）に、ユーザの頭部を移動させることなくカメラ（例えば、７０３、７０１）を移動させるように促し、それによって、カメラが、ユーザの頭部からのいかなる光グレアのポジションも変化させることなく、異なる角度からユーザの頭部の顔データをキャプチャすることを可能にする。

【0129】

いくつかの実施形態では、ユーザ（例えば、７００）の１つ以上の特徴を登録するための登録インタフェース（例えば、７０４）を表示することの一部として、コンピュータシステム（例えば、７０１）は、ユーザの身長を示す第５のプロンプト（例えば、７２２）（例えば、視覚的、聴覚的、及び／又は触覚的プロンプト）を出力する。ユーザの身長を示す第５のプロンプトを出力することは、ユーザの１つ以上の特徴を登録するためのデータを提供させる命令の特定のセットを示すフィードバックをコンピュータシステムのユーザに提供する。改善されたフィードバックを提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する／コンピュータシステムと対話するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザシステムインタフェースをより効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用できるようにすることによって、電力使用を低減し、コンピュータシステムのバッテリ寿命を改善する。いくつかの実施形態では、第５のプロンプトを出力することと併せて、コンピュータシステムは、身長を入力するための１つ以上のユーザインタフェースオブジェクト（例えば、テキスト入力フィールド、仮想キーボード又はキーパッド、スライドバー）を表示する。

【0130】

いくつかの実施形態では、ユーザ（例えば、７００）の１つ以上の特徴を登録するための登録インタフェース（例えば、７０４）を表示することの一部として、コンピュータシステム（例えば、７０１）は、登録プロセスの少なくとも一部の間、ユーザの顔から眼鏡のセット（例えば、７０７）（例えば、眼鏡、フレーム付き矯正レンズ、フレーム付き装飾レンズ、フレーム付き保護レンズ）を取り外すための第６のプロンプト（例えば、７０６）（例えば、視覚、聴覚、及び／又は触覚プロンプト）を出力する。登録プロセスの少なくとも一部にわたってユーザの顔から眼鏡のセットを除去するための第６のプロンプトを出力することは、ユーザの１つ以上の特徴を登録するための顔データを取得しながら、眼鏡を着用することの影響を排除するための特定の命令セットを示すフィードバックをコンピュータシステムのユーザに提供する。改善されたフィードバックを提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する／コンピュータシステムと対話するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザシステムインタフェースをより効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用できるようにすることによって、電力使用を低減し、コンピュータシステムのバッテリ寿命を改善する。いくつかの実施形態では、第６のプロンプトは、ユーザが現在眼鏡を装着しているという（例えば、１つ以上のカメラによってキャプチャされたデータに基づく）判定に従って出力される。

【0131】

いくつかの実施形態では、（例えば、コンピュータシステム（例えば、７０１）において）アバターが生成される。別のコンピュータシステム（例えば、以下で説明される９０１及び／又は９０１ａ））において、登録プロセス中にキャプチャされた顔データの少なくとも一部を使用する。いくつかの実施形態では、アバター（例えば、後述する９１９及び／又は１２２０）は、コンピュータシステム（例えば、７０１）（例えば、登録プロセスを実行するために使用されるコンピュータシステムとは異なるコンピュータシステム）（例えば、拡張現実、仮想現実、及び／又は拡張現実環境において対話するためのヘッドセットデバイス）とは異なる外部コンピュータシステム（例えば、９０１、９０１ａ）を使用して表示される。いくつかの実施形態では、登録プロセスは、第１のデバイス（例えば、７０１）（例えば、スマートフォン）を使用して実行され、登録プロセスから生成されるアバターは、異なるデバイス（例えば、９０１ａ）（例えば、ヘッドセットデバイス）を使用して（例えば、拡張現実環境において）表示される。いくつかの実施形態では、登録プロセスのために異なるデバイスを使用することは、コンピュータシステムが、特定の登録タスクを、それらのタスクをより便利に促進するように装備されたデバイスにオフロードすることを可能にする。

【0132】

いくつかの実施形態では、ユーザ（例えば、７００）の１つ以上の特徴を登録するための登録インタフェース（例えば、７０４）を表示することの一部として、コンピュータシステム（例えば、７０１）は、ユーザの非顔特徴の姿勢をキャプチャするための第７のプロンプト（例えば、７２０）（例えば、視覚、聴覚、及び／又は触覚プロンプト）（例えば、耳、腕、手、上半身などの非顔特徴を登録するためのプロンプト）を出力する。ユーザの非顔特徴の姿勢をキャプチャするための第７のプロンプトを出力することは、ユーザの１つ以上の非顔特徴を登録する命令の特定のセットを示すフィードバックをコンピュータシステムのユーザに提供する。改善されたフィードバックを提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する／コンピュータシステムと対話するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザシステムインタフェースをより効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用できるようにすることによって、電力使用を低減し、コンピュータシステムのバッテリ寿命を改善する。

【0133】

いくつかの実施形態では、ユーザの髪が耳を覆っている場合、プロンプト（例えば、７０６、７１０、７１４、７１８、７２０）は、耳がスキャンされ得る（例えば、耳のサイズ、形状、ポジション、姿勢、色、深度、又は他の特性を表すデータがキャプチャされる）ように、耳を露出させるために髪を後に引くようにユーザに指示する。いくつかの実施形態では、プロンプト（例えば、７２０）は、非顔特徴の姿勢をキャプチャするために、デバイス（例えば、ヘッドセット）を装着するようにユーザに指示する。例えば、ユーザ（例えば、７００）は、ヘッドセットを装着して自分の手をスキャンするように指示される。いくつかの実施形態では、ユーザは、登録中に非顔特徴を移動させるように促される。例えば、ユーザは、手をスキャンしながら指を曲げるように指示される。

【0134】

方法８００に関して上述したプロセス（例えば図８）の詳細はまた、上述及び後述する方法１０００、１１００、１３００及び１４００にも、類似の方式で適用可能であることに留意されたい。例えば、方法１０００、１１００、１３００、及び１４００は、方法８００に関して上述した様々な方法の特性のうちの１つ以上を任意選択的に含む。簡潔にするために、これらの詳細は、以下で繰り返さない。

【0135】

図９Ａ～図９Ｆ、図１０、及び図１１は、仮想アバターに関連付けられた様々な視覚効果がＸＲ環境において提示される例を示す。

【0136】

図９Ａは、ＸＲ環境を見るために使用されるコンピュータシステム（例えば、図１のコンピュータシステム１０１）である電子デバイス９０１を保持するユーザ７００を示す。デバイス９０１は、カメラ９０４（例えば、背面カメラ）と、図９Ｂに示されるように、ディスプレイ９０２及びカメラ（単数又は複数）９０３（例えば、前面カメラ）とを含む。いくつかの実施形態では、カメラ９０４は、ディスプレイ９０２を使用してＸＲ環境をレンダリングするために物理環境の画像及び／又は深度データをキャプチャするために使用される。例えば、図９Ａでは、ユーザ７００は、ＸＲ環境と対話するために、カメラ９０４の視野内に手７００－１を配置している。一部の実施形態では、デバイス９０１は、タブレットである。しかしながら、デバイス９０１は、例えば、スマートフォン又はヘッドセットデバイスなど、ＸＲ環境を見ることが可能な１つ以上の代替電子デバイスであり得る。

【0137】

図９Ｂは、ＸＲ環境を示すインタフェースを表示するデバイス９０１及びデバイス９０１ａを示す。デバイス９０１ａは、デバイス９０１と同様であり、デバイス９０１と同様の特徴を含み、ディスプレイ９０２ａ、カメラ（単数又は複数）９０３ａ、及びいくつかの実施形態では、カメラ９０４と同様にデバイス９０１ａの反対側に配置されたカメラを含む。デバイス９０１ａは、ＸＲ環境を見るために、第２のユーザ（例えば、デバイス９０１上のアバター９２２及びデバイス９０１ａ上のレンダリング９１８－１によって表されるユーザ）によって使用される。いくつかの実施形態では、ユーザ７００及び第２のユーザは、同じ物理環境（例えば、同じ部屋）にいる。いくつかの実施形態では、ユーザ７００及び第２のユーザは、異なる物理環境（例えば、異なる部屋又は地理的ロケーション）にいる。

【0138】

デバイス９０１は、ディスプレイ９０２を介して、ＸＲ環境９０５を見るためのＸＲセッションのためのインタフェースであるＸＲインタフェース９０６を表示する。ＸＲインタフェース９０６は、カメラ９０４を介してキャプチャされた画像及び／又は深度データを使用したＸＲ環境９０５のレンダリングを含む（例えば、カメラ９０４は、ＸＲ環境をレンダリングするための画像／深度データをキャプチャするために現在選択されている）。ＸＲインタフェース９０６は、任意選択で、制御オプション９０７及びカメラプレビュー９０８を含む。制御オプション９０７は、オーディオ（例えば、デバイス９０１におけるオーディオ）をミュートすること、カメラビューを反転すること（例えば、カメラ９０４からキャプチャされたデータを含むビューからカメラ９０３からキャプチャされたデータを含むビューに切り替えること）、及びＸＲセッションを終了することなど、様々な動作を実行するために選択可能である。カメラプレビュー９０８は、ＸＲ環境をレンダリングするためのデータをキャプチャするために現在選択されていないカメラの視野内でキャプチャされたデータのレンダリングを提供する。例えば、図９Ｂにおいて、カメラプレビュー９０８は、カメラ９０３を介してキャプチャされたユーザ７００のレンダリング９０８－１を提供する。

【0139】

デバイス９０１は、ユーザ７００の物理環境内に物理的に存在し、カメラ９０４の視野内に位置する物理オブジェクトの表現を有するＸＲ環境９０５を表示する。物理的オブジェクトの表現は、ボトル９１０、テーブル９１２、及びユーザの手９１４（指９１４－１～９１４－５を有する）を含む（ユーザ７００の手７００－１は、図９Ａに示されるようにカメラ９０４の前に位置付けられる）。図９Ｂに示す実施形態では、物理オブジェクトの表現は、物理環境のパススルービデオとして表示される。例えば、いくつかの実施形態において、手９１４は、手７００－１のパススルービデオフィードである。いくつかの実施形態では、デバイス９０１は、透明表示コンポーネントを含み、物理的オブジェクトは、その透明な性質に起因して、透明ディスプレイコンポーネントを通して可視である。いくつかの実施形態では、デバイス９０１は、例えば、デバイス９０１が完全仮想モード（例えば、ＶＲモード）で動作しているときなどに、物理オブジェクトを仮想オブジェクトとしてレンダリングする。例えば、そのような実施形態では、手９１４は、ユーザの手７００－１の仮想表現である。手９１４（及び／又は指９１４－１～９１４－５）のポジション、姿勢、移動、又は他の態様は、ユーザの物理的な手７００－１の対応するポジション、姿勢、移動、又は他の態様に基づいて決定される。しかしながら、簡潔にするために、ユーザの物理的な手７００－１及び／又はユーザの物理的な指の対応するポジション、姿勢、移動、又は他の態様を説明するときに、手９１４（及び／又は指９１４－１～９１４－５）を参照することがある。

【0140】

デバイス９０１はまた、デバイス９０１によってＸＲ環境においてレンダリングされる仮想オブジェクトを有するＸＲ環境９０５を表示する。仮想オブジェクトは、強調表示９２０及びアバター９２２を含む。アバター９２２は、ＸＲ環境９０５における第２のユーザの表現（例えば、仮想表現）である。いくつかの実施形態では、アバター９２２は、デバイス９０１及び／又はデバイス９０１ａにおいて受信された、及び／又はデバイス９０１及び／又はデバイス９０１ａによって取得されたデータに基づいて、デバイス９０１においてレンダリングされる。強調表示９２０は、カメラ９０４の視野内に位置付けられ、ディスプレイ９０２上にレンダリングされる、ユーザの手９１４の一部の周囲の周りに表示される視覚的手効果（例えば、視覚インジケータ）である。強調表示９２０及び後述する他のものなどの表示された視覚的手効果は、デバイス９０１がユーザの手９１４を手として認識することを示す。これは、デバイス９０１が手７００－１を認識していることを示すフィードバックをユーザ７００に提供し、したがって、手の移動に応答する。強調表示９２０の様々な属性を以下に説明する。しかし、これらの属性は、別段の指定がない限り、本明細書で説明する他の視覚的手効果に類似の方法で適用可能であることを理解されたい。

【0141】

ユーザの手７００－１がカメラ９０４の視野内で移動すると、デバイス９０１は、手９１４と共に移動する強調表示９２０を表示する。いくつかの実施形態では、表示される強調表示９２０の量は、ディスプレイ９０２上で見える手９１４の量に基づいて変化する。例えば、ユーザの手７００－１のより多くがカメラ９０４の視野内に移動するにつれて、より多くの量の手９１４がディスプレイ９０２上に表示され、より多くの量の強調表示９２０が、手９１４がスクリーン上でより遠くに移動するにつれて、その周囲に表示される。同様に、ユーザの手７００－１がカメラ９０４の視野の外に移動するにつれて、ディスプレイ９０２上に表示される手９１４の量は減少し、手９１４が画面外に移動するにつれて、より少ない強調表示９２０が手の周囲に表示される。いくつかの実施形態では、ユーザが自分の手７００－１の姿勢を操作すると（例えば、拳を握る、つかむジェスチャを行う、自分の指を交差させるなど）、強調表示９２０は、手の姿勢が操作されるときの手９１４の周囲の変化に適応する。一部の実施形態では、デバイス９０１は、強調表示９２０に加えて、又はその代わりに、他の視覚的手効果を表示する。これらの他の視覚的手効果は、図９Ｃ～図９Ｆ、図１０、及び図１１を参照することを含めて、以下でより詳細に説明される。

【0142】

デバイス９０１ａは、ＸＲインタフェース９０６と同様のＸＲインタフェース９１６を表示する。ＸＲインタフェース９１６は、制御オプション９１７（制御オプション９０７と同様）と、カメラプレビュー９１８（カメラプレビュー９０８と同様）とを含み、カメラプレビュー９１８は、カメラ９０３ａを介してキャプチャされた第２のユーザのレンダリング９１８－１を提供する。ＸＲインタフェース９１６は、ディスプレイ９０２ａ上にレンダリングされ、ＸＲセッション中に第２のユーザに表示されるＸＲ環境であるＸＲ環境９１５を示す。

【0143】

図９Ｂに示されるように、デバイス９０１ａは、アバター９１９を有するＸＲ環境９１５を表示する。アバター９１９は、ＸＲ環境９１５におけるユーザ７００の表現である。本明細書に示す実施形態では、アバター９１９は、仮想シャツ９１９－１及び仮想手９１９－２などの仮想特徴を有する仮想アバターである。図９Ｂに示す実施形態では、ＸＲ環境９１５は、デバイス９０１上に示された物理オブジェクトの表現を含まない（例えば、第２のユーザは、ユーザ７００とは異なる物理環境にいる）。図９Ｂ～図９Ｆに示すように、デバイス９０１ｂは、ユーザの手７００－１（例えば、手９１４と同様）の仮想表現であるアバターの手９１９－２を有するアバター９１９を有するＸＲ環境９１５を表示するが、アバターの手９１９－２上に視覚的手効果（例えば、強調表示９２０）を表示しない。

【0144】

いくつかの実施形態では、アバター９１９の外観の１つ以上の属性は、プロファイル設定、外観設定、登録データ、及び／又はデバイス９０１で取得されたデータ（例えば、ユーザ７００（又はその部分（例えば、７００－１））のポジション、姿勢、外観などを示す、デバイス９０１の１つ以上のカメラ／センサから収集されたデータ）に基づいて決定される。いくつかの実施形態では、デバイス９０１から収集されたデータは、デバイス９０１ａに送信され、アバター９１９の外観の様々な属性又はＸＲ環境９１５の他の態様を決定するために使用される。いくつかの実施形態では、アバター９１９の外観の１つ以上の属性は、デバイス９０１ａから収集されたデータに基づいて決定される。例えば、ユーザ７００及び第２のユーザが同じ部屋にいる場合、デバイス９０１ａは、以下でより詳細に説明するように、デバイス９０１ａのカメラの視野内のユーザ７００の姿勢に基づいて、アバター９１９の姿勢を決定することができる。

【0145】

いくつかの実施形態では、アバター９１９の部分は、図７Ａ～図７Ｈに関して上述したように、ユーザ７００の登録から導出することができる。例えば、図９Ｂでは、アバター９１９はシャツ９１９－１を着用して示されており、これは、図９Ａ及びプレビュー９０８－１に示されるように、ユーザ７００が現在異なるシャツを着用しているにもかかわらず、ユーザ７００が登録プロセス中に着用していたのと同じオレンジ及び黄色のシャツ７０９を表す。アバター９１９は、いくつかの実施形態では、ユーザ７００によって選択された様々な外観設定に基づいて決定される外観を有する。例えば、アバター９１９は、ユーザ７００が図７Ｈに関して上述した眼鏡なしオプション７２６ａを選択しているので、眼鏡を着用して示されていない。

【0146】

いくつかの実施形態では、アバター９１９の外観は、例えばデバイス９０１を使用してリアルタイムで収集されたデータに基づいて決定される。例えば、アバター９１９は、デバイス９０１のカメラ９０４を使用して検出されたユーザの手７００－１のポジションに基づくユーザの手９１４の姿勢をモデル化するために左手が上げられた状態で示されている。いくつかの実施形態では、アバター９１９は、例えば、デバイス９０１のカメラ９０３などの他のソースから収集されたデータに基づいて決定された外観（例えば、姿勢）を有することができる。例えば、ユーザ７００が口を開けると、開いた口がカメラ９０３によって検出される。このデータは、デバイス９０１ａに通信され、次いで、同様の方法で口を開いているアバター９１９を表示する。更に別の例として、デバイス９０１は、カメラ９０３を介して収集されたデータから、ユーザ７００が眼鏡を着用していると判定し、それに応じて、アバター９１９の眼鏡外観オプション（例えば、オプション７２６ｂ）を選択するようにアバター外観設定を更新することができる。外観設定の更新は、次いで、デバイス９０１ａによって検出され、次いで、選択された眼鏡を含むように、アバター９１９の表示を更新する。

【0147】

図９Ｃは、ユーザ７００が自分の手７００－１を（ボトル９１０に対する手９１４のポジションによって示されるように）ボトルに向かって移動させたことを除いて、図９Ｂの実施形態と同様の実施形態を示し、視覚的手効果は、ここでは、指９１４－１～９１４－５の指先に位置する強調表示されたドットインジケータ９３０として示されている。ユーザの手７００－１の検出された移動に応じて、デバイス９０１は、ＸＲインタフェース９０６の表示を更新して、手９１４がボトル９１０に向かって届くことを描写し、デバイス９０１ａは、ＸＲインタフェース９１６の表示を更新して、アバター９１９がアバターの手９１９－２を同様に動かすことを描写する。

【0148】

強調表示９２０と同様に、強調表示されたドットインジケータ９３０は、ユーザの手７００－１の移動、具体的には指の移動に基づいて変化する視覚的手効果である。デバイス９０１は、手９１４の指９１４－１～９１４－５の先端に強調表示されたドットインジケータ９３０を表示する。指先が動くと、ドットインジケータ９３０もそれに応じて動く。

【0149】

いくつかの実施形態では、デバイス９０１は、ユーザの手７００－１によって実行される特定のジェスチャを検出したことに応じて、表示された視覚的手効果を修正する。例えば、図９Ｄにおいて、ユーザ７００は、手９１４によって示されるように、手７００－１でピンチジェスチャを実行する。ピンチジェスチャの検出に応じて、デバイス９０１は、強調表示されたドットインジケータ９３０－１及び９３０－２の表示サイズ及び輝度を増加させる。視覚的手効果に対する修正は、ジェスチャがデバイス９０１によって認識されたことを示すフィードバックをユーザ７００に提供する。いくつかの実施形態では、デバイス９０１は、ジェスチャに関連付けられた１つ以上の動作（ドットインジケータ９３０－１及び９３０－２の修正以外）を実行することによってジェスチャに応答する。

【0150】

図９Ｄに示されるように、デバイス９０１ａは、ピンチジェスチャを実行するアバター９１９を示すようにＸＲインタフェース９１６の表示を修正するが、視覚的手効果は表示しない。

【0151】

図９Ｅでは、デバイス９０１は、ユーザ７００がボトルを保持していることを検出し、それに応じて、ボトル９１０を保持している手９１４を表示する。図９Ｅ及び図９Ｆに示す実施形態では、視覚的手効果は、手９１４の指に現れる粒子９４０として表示される。ユーザの手が動くと、粒子は、図９Ｆに示されるように、動いている指に沿って追跡する。いくつかの実施形態では、粒子９４０は、手９１４のそれぞれの指の周りを移動又はシフトするアニメーション化された外観を有する。

【0152】

上述したように、デバイス９０１及び／又はデバイス９０１ａから収集されたデータを使用して、ユーザ７００の姿勢を決定することができる。同様に、そのようなデータは、ユーザ７００が物理的オブジェクト、すなわちボトル９１０を保持していることを判定するために使用されることができる。ユーザが物理的オブジェクトを保持していると判定したことに応じて、デバイス９０１ａは、アバター９１９の手９１９－２内にレンダリングされたボトル９４５を含むようにＸＲインタフェース９１６の表示を更新する。レンダリングされたボトル９４５は、ボトル９１０と同じ外観を有しない、ユーザ７００によって保持される物理的ボトルの表現である。例えば、レンダリングされたボトル９４５は、ボトル９１０とは異なる形状を有して表示される。加えて、レンダリングされたボトル９４５は、図９Ｅに表示され、アバター９１９と区別する変更された視覚的特性（例えば、ハッチング９４７によって表される）を有する。

【0153】

いくつかの実施形態では、視覚的特性は、ぼかし、不透明度、色、視覚的平滑化、減衰、粒子密度、解像度、又は他の視覚的パラメータの量のうちの１つ以上を含む。変更された視覚的特性は、レンダリングされたボトル９４５の視覚的特性のうちの１つ以上をアバター９１９（例えば、アバターの手９１９－２）の視覚的特性と対比することによって、レンダリングされたボトル９４５の外観をアバター９１９の外観から区別する。例えば、レンダリングされたボトル９４５は、アバター９１９よりも高い（又は低い）ぼかしで表示することができる。別の例として、レンダリングされたボトル９４５は、より少ない及び／又はより小さいギャップを有する密に詰め込まれた粒子を用いてレンダリングされたアバター９１９と比較して、レンダリングされたボトル９４５が、ボトルを形成する粒子間により多くの及び／又はより大きい間隙を有する粒子のゆるい集合体であるように見えるように、低い量の粒子密度を有して表示され得る。別の例として、レンダリングされたボトル９４５は、アバター９１９よりも低い視覚的平滑化で表示することができる。更に別の例として、レンダリングされたボトル９４５は、アバター９１９よりも高くピクセル化された外観を有して表示され得る。変更された視覚的特性の前述の例は、レンダリングされたボトル及びアバターに関して切り替えることができることを理解されたい。例えば、レンダリングされたボトル９４５をより高いピクセル化で表示する代わりに、レンダリングされたボトル９４５は、アバター９１９よりも低くピクセル化された外観を有して表示され得る。

【0154】

ユーザ７００が物理的なボトルを動かすと、デバイス９０１及び９０１ａは、検出された移動に基づいてそれぞれのＸＲインタフェースを修正する。例えば、ユーザ７００が図９Ｆにおいてボトルを傾けると、デバイス９０１は、カメラ９０４の視野内の移動を検出し、それに応じて、ボトル９１０を傾けている手９１４を表示するようにＸＲインタフェース９０６を更新する。手９１４が移動すると、デバイス９０１はまた、手９１４の指と共に移動し、粒子９４０－１によって示されるトレーリング効果を有する粒子９４０を表示する。

【0155】

デバイス９０１ａは、ユーザの手７００－１及びボトルの検出された移動に基づいて、アバター９１９及びレンダリングされたボトル９４５の表示（例えば、レンダリングされたボトル９４５のポジション）を修正する。いくつかの実施形態では、デバイス９０１ａは、移動中に図９Ｅに示される外観（例えば、形状及び変更された視覚的特性（単数又は複数））を有するレンダリングされたボトル９４５を表示する。

【0156】

いくつかの実施形態では、デバイス９０１ａは、画像データ（例えば、画像、ビデオ等）又はデバイス９０１から受信されず、ユーザ７００によって保持されている物理的オブジェクトのレンダリングを生成するために使用されることができる他のデータのライブラリに基づいて生成される外観を有する、レンダリングされたボトルを表示する。図９Ｆに示される実施形態では、デバイス９０１ａは、レンダリングされたボトル９４５をレンダリングされたボトル９４８で置き換える。レンダリングされたボトル９４８は、ボトル９１０（及びレンダリングされたボトル９４５）とは異なる形状を有する。なぜなら、レンダリングされたボトル９４８は、物理的ボトルのためにキャプチャされたデータ（例えば、画像データ）ではなく、画像データのライブラリに基づいてレンダリングされるからである。いくつかの実施形態では、レンダリングされたボトル９４８は、現実的な外観を有する。いくつかの実施形態では、レンダリングされたボトル９４８は、変更された視覚的特性を有する。いくつかの実施形態では、レンダリングされたボトル９４８は、アバター９１９と同じ視覚的特性を有する。

【0157】

いくつかの実施形態では、デバイス９０１は、ユーザの手７００－１のポジション、姿勢、又は形状に基づいて視覚的手効果（例えば、強調表示９２０、ドットインジケータ９３０、粒子９４０）を選択的に表示する。例えば、いくつかの実施形態では、デバイス９０１は、ユーザの手７００－１がカメラ（例えば、カメラ９０４）の視野の所定の領域内にない限り、又は手が関連している（例えば、ユーザが自分の手を見ている）と判定される場合、視覚的手効果を表示しない。いくつかの実施形態では、デバイス９０１は、現在有効化されている視覚的手効果及びユーザの手７００－１の姿勢に応じて、視覚的手効果を表示しない。例えば、ユーザの手が拳の形状である場合、ユーザの指先は表示されず、したがって、デバイス９０１は、手の指先上にドットインジケータ９３０を表示しない。いくつかの実施形態では、デバイス９０１は、手７００－１が特定の姿勢（例えば、拳）を有するとき、又はそうでなければ特定のシナリオに関連しないと判定されるとき、いかなる視覚的手効果も表示しない。

【0158】

いくつかの実施形態では、デバイス（例えば、デバイス９０１）は、ヘッドセットデバイスであり、及び／又はカメラ（例えば、カメラ９０４）は、ディスプレイ（例えば、ディスプレイ９０２）から（例えば、垂直に）オフセットされたポジションを有し、視覚的手効果は予測された視線を有して表示され、その結果、ディスプレイ上で視覚的手効果を見ているときにユーザの手に位置付けられているように見えるように、視覚的手効果がユーザの視線と位置合わせされる。

【0159】

図９Ａ～図９Ｆに関する追加の説明は、以下の図１０及び図１１に関して記載された方法１０００及び１１００を参照して以下に提供される。

【0160】

図１０は、いくつかの実施形態による、ＸＲ環境において仮想アバターの手に視覚インジケータを表示するための例示的な方法１０００のフローチャートである。方法は、表示生成コンポーネント（例えば、９０２）（例えば、視覚出力デバイス、３Ｄディスプレイ、画像が投影され得る透明又は半透明である少なくとも一部を有するディスプレイ（例えば、シースルーディスプレイ）、プロジェクタ、ヘッドアップディスプレイ、ディスプレイコントローラ）、及び１つ以上のセンサ（例えば、９０３、９０４）（例えば、赤外線カメラ、深度カメラ、可視光カメラ）と通信するコンピュータシステム（例えば、１０１、９０１）（例えば、スマートフォン、タブレット、ヘッドマウント表示生成コンポーネント）において生じる。

【0161】

コンピュータシステム（例えば、９０１）は、表示生成コンポーネント（例えば、９０２）を介して、ユーザ特徴インジケータインタフェース（例えば、９０６）を表示する（１００２）。ユーザ特徴インジケータインタフェースは、物理環境におけるユーザ（例えば、７００）の手（例えば、７００－１、９１４）（例えば、コンピュータシステムのユーザの手）の１つ以上の特徴（９１４－１、９１４－２、９１４－３、９１４－４、９１４－５）（例えば、手、手の一部、１つ以上の指、１つ以上の指の１つ以上の部分（例えば、指先、指関節））のセットの検出ロケーション（例えば、ロケーションは１つ以上のセンサを介して検出される）に対応する１つ以上の視覚インジケータ（９２０、９３０、９４０）（例えば、仮想オブジェクト及び／又は視覚効果）のセットを含む（１００４）。１つ以上の視覚インジケータのセットは、拡張現実環境（例えば、９０５）内に表示され、物理環境内のユーザの手（例えば、７００－１）の１つ以上の特徴のセットの第１の検出ロケーション（例えば、図９Ｂの手９１４の周囲に表示される９２０、図９Ｃの指９１４－１～９１４－５上に表示される９３０、図９Ｅの指９１４－５上に表示される９４０）に対応する（例えば、同一位置に配置される、それに基づく、それと重複する）第１の表示ポジションを有する。いくつかの実施形態では、１つ以上の視覚インジケータのセットは、ユーザの視点から、ユーザの手の１つ以上の特徴のセットのうちの少なくとも１つの特徴上に位置付けられるようにユーザに見えるように、第１の検出ロケーションに重複する（例えば、オーバーレイする）ように、インタフェース内に表示される。いくつかの実施形態では、コンピュータシステムは、ユーザに対して、拡張現実環境内のユーザの手（又はその一部（単数又は複数））上に位置付けられているように見えるように、ユーザとユーザの手（又はその一部（単数又は複数））との間のユーザの視線（例えば、予測／推定視線）内に視覚インジケータを表示する。いくつかの実施形態では、ユーザの手のロケーションは、１つ以上のセンサを使用して検出され、ユーザの視点は、物理環境内のユーザの手のポジションをキャプチャする１つ以上のセンサ（例えば、カメラ）の視点とは異なる視線視点である。

【0162】

コンピュータシステム（例えば、９０１）は、１つ以上のセンサ（例えば、９０４）を介して、ユーザの手の１つ以上の特徴のセットにおけるユーザ（例えば、７００）の手（例えば、７００－１、９１４）の少なくとも１つの特徴（例えば、９１４－１、９１４－２、９１４－３、９１４－４、９１４－５）の移動（例えば、ポジションの変化、姿勢の変化、ハンドジェスチャ等）を検出する（１００６）。いくつかの実施形態では、コンピュータシステムは、物理環境におけるユーザの手の少なくとも一部のポジションの変化（例えば、物理的ポジション、向き、ジェスチャ、移動等）を示すデータ（例えば、深度データ、画像データ、センサデータ（例えば、カメラからの画像データ））を受信する。

【0163】

ユーザの手の１つ以上の特徴（例えば、９１４－１、９１４－２、９１４－３、９１４－４、９１４－５）のセットにおけるユーザ（例えば、７００）の手（例えば、７００－１、９１４）の少なくとも１つの特徴の移動の検出に応じて、コンピュータシステム（例えば、９０１）は、ユーザ特徴インジケータインタフェース（例えば、９０６）の表示を更新する（１００８）。

【0164】

ユーザ特徴インジケータインタフェース（例えば、９０６）の表示を更新することの一部として、ユーザ（例えば、７００）の手（例えば、９１４）の１つ以上の特徴（例えば、９１４－１、９１４－２、９１４－３、９１４－４、９１４－５）のセットが（いくつかの実施形態では、第１の検出ロケーションから）物理環境（例えば、図９Ｄ）内の第２の検出ロケーションに移動する（例えば、ユーザの手（単数又は複数）が物理環境内の第１のロケーションから物理環境内の第２のロケーションに移動していることが検出される）との判定に従って、コンピュータシステム（例えば、９０１）は、表示生成コンポーネント（例えば、９０２）を介して、物理環境内のユーザの手の１つ以上の特徴のセットの第２の検出ロケーションに対応する拡張現実環境内の第２の表示ポジションを有する１つ以上の視覚インジケータ（例えば、９２０、９３０、９４０）のセットを表示する（１０１０）。いくつかの実施形態では、１つ以上の視覚インジケータのセットを表示することは、ユーザの手の１つ以上の特徴と協調して移動するようにユーザに見えるように移動する視覚インジケータのうちの１つ以上を表示することを含む。いくつかの実施形態では、１つ以上の視覚インジケータのセットは、ユーザの視点から、ユーザの手の１つ以上の特徴のセットのうちの少なくとも１つの特徴上に位置付けられるようにユーザに見えるように、第２の検出ロケーションに重複する（例えば、オーバーレイする）ように、インタフェース内に配置されて表示される。

【0165】

ユーザ特徴インジケータインタフェース（例えば、９０６）の表示の更新の一部として、ユーザ（例えば、７００）の手（例えば、９１４）の１つ以上の特徴（例えば、９１４－１、９１４－２、９１４－３、９１４－４、９１４－５）のセットが（いくつかの実施形態では、第１の検出ロケーションから）第２の検出ロケーション（例えば、図９Ｅ）とは異なる物理環境内の第３の検出ロケーションに移動したとの判定に従って、コンピュータシステム（例えば９０１）は、表示生成コンポーネント（例えば９０２）を介して、物理環境内のユーザの手の１つ以上の特徴のセットの第３の検出ロケーションに対応する拡張現実環境内の第３の表示ポジションであって、拡張現実環境内の第３の表示ポジションが、拡張現実環境内の第２の表示ポジションとは異なる、拡張現実環境内の第３の表示ポジションを有する１つ以上の視覚インジケータのセット（例えば、９２０、９３０、９４０）を表示する（１０１２）。物理環境内のユーザの手の１つ以上の特徴のセットの第２又は第３の検出ロケーションに対応する拡張現実環境内の第２又は第３の表示ポジションを有する１つ以上の視覚インジケータのセットを表示することは、ユーザの手の１つ以上の特徴のセットの検出ロケーションを示すフィードバックをコンピュータシステムのユーザに提供し、物理環境内のユーザの手の１つ以上の特徴のセットの移動を考慮することによって、拡張現実環境内の表示された視覚インジケータの精度を高める。改善されたフィードバックを提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する／コンピュータシステムと対話するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザシステムインタフェースをより効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用できるようにすることによって、電力使用を低減し、コンピュータシステムのバッテリ寿命を改善する。

【0166】

いくつかの実施形態では、ユーザの手の１つ以上の特徴のセットにおけるユーザ（例えば、７００）の手（例えば、９１４）の少なくとも１つの特徴（例えば、９１４－１、９１４－２、９１４－３、９１４－４、９１４－５）の移動を検出することの一部として、コンピュータシステム（例えば、９０１）は、ユーザの手の１つ以上の特徴のセットにおけるユーザの手の少なくとも１つの特徴の移動の大きさ及び／又は方向を（例えば、１つ以上のセンサ（例えば、９０４）を介して）検出する。いくつかの実施形態では、拡張現実環境において第２の表示ポジションを有する１つ以上の視覚インジケータのセット（例えば、９２０、９３０、９４０）を表示することは、第１の表示ポジションから第２の表示ポジションに移動する１つ以上の視覚インジケータのセットを表示することを含み、第１の表示ポジションから第２の表示ポジションへの移動は、ユーザの手の１つ以上の特徴のセットにおけるユーザの手の少なくとも１つの特徴の移動の検出された大きさ及び／又は方向に基づく（例えば、移動の特性（例えば、速度、大きさ、方向）が基づく）。いくつかの実施形態では、拡張現実環境において第３の表示ポジションを有する１つ以上の視覚インジケータのセットを表示することは、第１の表示ポジションから第３の表示ポジションに移動する１つ以上の視覚インジケータのセットを表示することを含み、第１の表示ポジションから第３の表示ポジションへの移動は、ユーザの手の１つ以上の特徴のセットにおけるユーザの手の少なくとも１つの特徴の移動の検出された大きさ及び／又は方向に基づく（例えば、移動の特性（例えば、速度、大きさ、方向）が基づく）。ユーザの手の１つ以上の特徴のセット内のユーザの手の少なくとも１つの特徴の移動の検出された大きさ及び／又は方向に基づいて、拡張現実環境内で第１の表示ポジションから第２又は第３の表示ポジションへ移動する１つ以上の視覚インジケータのセットの移動を表示することは、ユーザの手の１つ以上の特徴のセット内のユーザの手の少なくとも１つの特徴の移動の大きさ及び／又は方向を考慮することによって、ユーザの手の１つ以上の特徴のセットの検出ロケーションを示すフィードバックをコンピュータシステムのユーザに提供し、表示される視覚インジケータの精度を高める。改善されたフィードバックを提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する／コンピュータシステムと対話するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザシステムインタフェースをより効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用できるようにすることによって、電力使用を低減し、コンピュータシステムのバッテリ寿命を改善する。

【0167】

いくつかの実施形態では、視覚インジケータ（例えば、９２０、９３０、９４０）のうちの１つ以上は、ユーザに対して、ユーザの手（例えば、９１４）の１つ以上の対応する特徴（例えば、９１４－１、９１４－２、９１４－３、９１４－４、９１４－５）と共に移動するように見えるように移動して表示される。

【0168】

いくつかの実施形態では、表示生成コンポーネントは、透明ディスプレイコンポーネント（例えば、コンテンツが表示され（例えば、投影され）、ディスプレイの透明な性質により物理環境がそれを通して見えるシースルーディスプレイ）を含み、１つ以上の視覚インジケータ（例えば、９２０、９３０、９４０）のセットは、ユーザ（例えば、７００）の目と、手（例えば、９１４）の１つ以上の特徴（例えば、９１４－１、９１４－２、９１４－３、９１４－４、９１４－５）のセットの検出ロケーションとの間の視線に沿っていると予測（例えば、コンピュータシステム（例えば、９０１）によって推定）される透明ディスプレイコンポーネント（例えば、視覚インジケータは、ユーザの手が透明ディスプレイを通して見えるように透明ディスプレイ上に表示され、視覚インジケータは、ユーザの手が透明ディスプレイに投影されていることでユーザの手上に位置するように見える）上のロケーションに表示される（例えば、コンピュータシステムは、拡張現実環境においてユーザにはユーザの手（又はその一部（単数又は複数））上に位置しているように見えるように、ユーザとユーザの手（又はその一部（単数又は複数））との間のユーザの視線（例えば、予測／推定視線）に視覚インジケータを表示する）。ユーザの目と手の１つ以上の特徴のセットの検出ロケーションとの間の視線に沿っていると予測される透明ディスプレイコンポーネント上のロケーションに１つ以上の視覚インジケータのセットを表示することは、ユーザの手の１つ以上の特徴のセットの検出ロケーションを示すフィードバックをコンピュータシステムのユーザに提供し、ユーザの視線からの視覚的オフセット及びユーザの手の１つ以上の特徴のセットのロケーションを検出したセンサの視点を考慮することによって、表示された視覚インジケータの精度を向上させる。改善されたフィードバックを提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する／コンピュータシステムと対話するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザシステムインタフェースをより効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用できるようにすることによって、電力使用を低減し、コンピュータシステムのバッテリ寿命を改善する。

【0169】

いくつかの実施形態では、ユーザの手（例えば、９１４）のロケーションは、１つ以上のセンサ（例えば、９０４）を使用して検出され、ユーザ（例えば、７００）の視点は、物理環境におけるユーザの手のポジションをキャプチャする１つ以上のセンサ（例えば、カメラ）の視点とは異なる視線視点である。

【0170】

一部の実施形態では、１つ以上の視覚インジケータ（例えば、９２０、９３０、９４０）のセットを表示することは、拡張現実環境（例えば、９０５）において、ユーザ（例えば、７００）の手（例えば、９１４）の１つ以上の特徴のセットの周辺領域（例えば、図９Ｂ参照）に対応する（例えば、周辺領域にある、又は周辺領域の近くにある）ロケーションに、仮想強調表示効果（例えば、９２０）を表示することを含む（例えば、視覚インジケータは、ユーザの手（単数又は複数）の少なくとも一部の周りを強調表示するように表示される）。ユーザの手の１つ以上の特徴のセットの周辺領域に対応するロケーションに仮想強調表示効果を表示することは、ユーザの手の１つ以上の特徴のセットの少なくとも一部の検出ロケーションを示すフィードバックをコンピュータシステムのユーザに提供する。改善されたフィードバックを提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する／コンピュータシステムと対話するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザシステムインタフェースをより効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用できるようにすることによって、電力使用を低減し、コンピュータシステムのバッテリ寿命を改善する。

【0171】

いくつかの実施形態では、拡張現実環境（例えば、９０５）において第２の表示ポジションを有する１つ以上の視覚インジケータ（例えば、９２０、９３０、９４０）のセットを表示することの一部として、コンピュータシステム（例えば、９０１）は、第１の表示ポジションから第２の表示ポジションに移動する１つ以上の視覚インジケータ（例えば、９４０）のセットを表示する（例えば、図９Ｆ）。いくつかの実施形態では、拡張現実環境（例えば、９０５）において第２の表示ポジションを有する１つ以上の視覚インジケータ（例えば、９２０、９３０、９４０）のセットを表示することの一部として、コンピュータシステムは、１つ以上の視覚インジケータのセットが第１の表示ポジションから第２の表示ポジションに移動するときに１つ以上の視覚インジケータのセットに続く（例えば、追跡する、１つ以上の視覚インジケータのセットの後ろの同じ経路に沿って移動する）１つ以上の視覚インジケータの第２のセット（例えば、９４０－１）（例えば、粒子、粒子効果、１つ以上の視覚インジケータのセットの移動の跡に残るインジケータの残留軌跡）を表示する（例えば、図９Ｆ）。

【0172】

いくつかの実施形態では、拡張現実環境（例えば、９０５）において第３の表示ポジションを有する１つ以上の視覚インジケータ（例えば、９２０、９３０、９４０）のセットを表示することの一部として、コンピュータシステム（例えば、９０１）は、第１の表示ポジションから第３の表示ポジションに移動する１つ以上の視覚インジケータ（例えば、９４０）のセットを表示する。いくつかの実施形態では、ＸＲ環境において第３の表示ポジションを有する１つ以上の視覚インジケータのセットを表示することの一部として、コンピュータシステムは、１つ以上の視覚インジケータのセットが第１の表示ポジションから第３の表示ポジションに移動するときに１つ以上の視覚インジケータのセットに続く（例えば、追跡する、１つ以上の視覚インジケータのセットの後ろの同じ経路に沿って移動する）１つ以上の視覚インジケータの第３のセット（例えば、９４０－１）（例えば、粒子、粒子効果、１つ以上の視覚インジケータのセットの移動の跡に残るインジケータの残留軌跡）を表示する（例えば、図９Ｆ）。第１の表示ポジションから第２又は第３の表示ポジションに移動するときに、１つ以上の視覚インジケータのセットに続く１つ以上の視覚インジケータの第２又は第３のセットを表示することは、ユーザの指の検出ロケーション及び移動を示すフィードバックをコンピュータシステムのユーザに提供する。改善されたフィードバックを提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する／コンピュータシステムと対話するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザシステムインタフェースをより効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用できるようにすることによって、電力使用を低減し、コンピュータシステムのバッテリ寿命を改善する。

【0173】

いくつかの実施形態では、ユーザ（例えば、７００）の手（例えば、９１４）の少なくとも１つの特徴は、ユーザの手の指（例えば、９１４－１、９１４－２、９１４－３、９１４－４、９１４－５）の先端である。いくつかの実施形態では、１つ以上の視覚インジケータ（例えば、９２０、９３０、９４０）のセットを表示することは、拡張現実環境（例えば、９０５）において、ユーザの手の指の先端に対応する（例えば、その付近にある）ロケーションに強調表示効果（例えば、９３０）（例えば、強調表示されたドット又は球）を表示することを含む（例えば、視覚インジケータは、ユーザの指先（単数又は複数）に位置する強調表示されたドット又は球として表示される）（例えば、複数の指が検出され、視覚インジケータは、検出された指の指先の各々に位置する強調表示されたドット又は球として表示される）。ユーザの手の指の先端に対応するロケーションに強調表示効果を表示することは、ユーザの指先の検出ロケーションを示すフィードバックをコンピュータシステムのユーザに提供する。改善されたフィードバックを提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する／コンピュータシステムと対話するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザシステムインタフェースをより効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用できるようにすることによって、電力使用を低減し、コンピュータシステムのバッテリ寿命を改善する。

【0174】

一部の実施形態では、コンピュータシステム（例えば、９０１）は、ユーザ（例えば、７００）の手（例えば、９１４）のポジション及び／又は移動に基づいて、デバイス（例えば、コンピュータシステム９０１）が入力を受け付ける準備ができている（例えば、ユーザの手が、電子デバイスに入力を提供するのに利用可能なポジション及び／又は向きにある）との判定に従って、ユーザ特徴インジケータインタフェース（例えば、９０６）を表示する（例えば、ユーザの手の１つ以上の特徴のセットは、インジケータ表示基準のセットを満たす（例えば、コンピュータシステムは、ユーザの手（単数又は複数）がアクティブであるとき（例えば、ユーザが手を見ているとき、ユーザの手が所定の姿勢にあるとき、ユーザの手が１つ以上のセンサ及び／又はディスプレイの所定の領域に位置するとき）のみ視覚インジケータを表示する）。ユーザの手のポジション及び／又は移動に基づいてユーザの手が入力を受け入れる準備ができているとの判定に従って１つ以上の視覚インジケータを表示することは、デバイスがユーザの手のポジション及び／又は移動に基づいて入力を受け入れる準備ができていない限り、ユーザの手を追跡して視覚インジケータを表示するための計算を実行する必要をなくすことによって計算リソースを節約する。計算作業負荷を低減することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する／コンピュータシステムと対話するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザシステムインタフェースをより効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用できるようにすることによって、電力使用を低減し、コンピュータシステムのバッテリ寿命を改善する。

【0175】

いくつかの実施形態では、ユーザ（例えば、７００）の手（例えば、９１４）がアクティブでないとの判定（例えば、ユーザの手が移動基準（例えば、十分な程度の移動）を満たさないとの判定、及び／又はユーザの視線が現在ユーザの手に向けられていない、及び／又はユーザの手が現在ユーザの予測視野内にないとの判定（例えば、予測））に従って、コンピュータシステム（例えば、９０１）は、視覚インジケータ（例えば、９２０、９３０、９４０）、又はいくつかの実施形態では、ユーザ特徴インジケータインタフェース（例えば、９０６）の表示を停止する。

【0176】

いくつかの実施形態では、デバイス（例えば、コンピュータシステム９０１）は、ユーザが手を見ていると判定されたとき（例えば、コンピュータシステムが、ユーザの視線がユーザの手の決定されたポジションに向けられていると判定及び／又は予測したとき）、ユーザ（例えば、７００）の手（例えば、９１４）のポジション及び／又は移動に基づいて、入力を受け入れるように準備される。

【0177】

いくつかの実施形態では、デバイス（例えば、コンピュータシステム９０１）は、ユーザ（例えば、７００）の手（例えば、９１４）のポジション及び／又は移動に基づいて、手が１つ以上の所定の姿勢のセットのうちの少なくとも１つを有すると判定されたとき（例えば、コンピュータシステムが、ユーザの手が所定の姿勢（例えば、手を開いた、指を広げた、指差した等）を有すると判定したとき）、入力を受け入れるように準備される。

【0178】

いくつかの実施形態では、特徴インジケータインタフェース（例えば、９０６）は、表示基準の第１のセットが満たされている（例えば、複合現実表示モードが有効化されているときに表示基準の第１のセットが満たされている）との判定に従って表示される。いくつかの実施形態では、表示基準の第２のセットが満たされている（例えば、仮想現実表示モードが有効化されているときに表示基準の第２のセットが満たされている）との判定に従って、コンピュータシステム（例えば、９０１）は、表示生成コンポーネント（例えば、９０２）を介して、仮想現実環境におけるユーザの手の仮想表現を表示する（例えば、ユーザの手は、ＶＲ環境において完全に仮想的に表示される）。仮想現実環境においてユーザの手の仮想表現を表示することは、仮想環境におけるユーザの手の検出ロケーションについてのフィードバックをコンピュータシステムのユーザに提供する。改善されたフィードバックを提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する／コンピュータシステムと対話するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザシステムインタフェースをより効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用できるようにすることによって、電力使用を低減し、コンピュータシステムのバッテリ寿命を改善する。

【0179】

いくつかの実施形態では、仮想環境を表示している間、表示生成コンポーネント（例えば、９０２）は不透明であり、手の仮想表現を表示している表示生成コンポーネントの少なくとも一部において、物理環境からの光又はビデオを通過させない。いくつかの実施形態では、表示基準の第２のセットが満たされるとき、コンピュータシステム（例えば、９０１）は、１つ以上の視覚インジケータ（例えば、９２０、９３０、９４０）のセットを表示することを取り止める。いくつかの実施形態では、表示基準の第２のセットが満たされるとき、コンピュータシステムは、ユーザの手の仮想表現と共に１つ以上の視覚インジケータのセットを表示し続ける。

【0180】

いくつかの実施形態では、コンピュータシステム（例えば、９０１）は、外部コンピュータシステム（例えば、９０１ａ）（例えば、第１のユーザに関連付けられた外部コンピュータシステム（例えば、第１のユーザによって操作されている（例えば、コンピュータシステムのユーザと通信セッション（例えば、拡張現実、仮想現実、及び／又はビデオ会議）にあるユーザ）））と通信している。コンピュータシステム（例えば、９０１）が、表示生成コンポーネント（例えば、９０２）を介して、１つ以上の視覚インジケータ（例えば、９２０、９３０、９４０）のセットを含むユーザ特徴インジケータインタフェース（例えば、９０６）を表示している間、外部コンピュータシステム（例えば、９０１ａ）は、拡張現実環境（例えば、９１５）においてユーザの手（例えば、９１９－２）の仮想表現を表示する（いくつかの実施形態では、１つ以上の視覚インジケータのセット及び／又は手の画像データ（例えば、カメラ画像データ）を表示せずに）。外部コンピュータシステムが拡張現実環境においてユーザの手の仮想表現を表示している間に、１つ以上の視覚インジケータのセットを含むユーザ特徴インジケータインタフェースを表示することは、コンピュータシステムのユーザの手がどこに位置し、どのように動いているかを示すフィードバックを外部コンピュータシステムのユーザに提供すると共に、手のロケーション及び移動に関する視覚フィードバックをコンピュータシステムのユーザに提供する。改善されたフィードバックを提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する／コンピュータシステムと対話するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザシステムインタフェースをより効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用できるようにすることによって、電力使用を低減し、コンピュータシステムのバッテリ寿命を改善する。

【0181】

いくつかの実施形態では、コンピュータシステム（例えば、９０１）のユーザ（例えば、７００）は、ユーザの手（例えば、９１４）のパススルービュー上に位置付けられた視覚インジケータ（例えば、９２０、９３０、９４０）を用いて拡張現実環境（例えば、９０５）を見て（例えば、ディスプレイの透明な性質に起因して、ユーザの手のビデオパススルーに起因して）、拡張現実環境（例えば、９１５）を見る他のユーザは、ユーザの手（例えば、９１９－２）の仮想表現を見る（例えば、視覚インジケータを用いて、又は用いずに、物理的手の画像データを表示せずに）。

【0182】

いくつかの実施形態では、コンピュータシステム（例えば、９０１）は、１つ以上のセンサ（例えば、９０４）を介して、所定のジェスチャ（例えば、指差しジェスチャ、スナップジェスチャ、ピンチジェスチャ、つかむジェスチャ、ユーザの手及び／又は指（単数又は複数）の所定の移動）のセットから少なくとも１つのジェスチャ（例えば、図９Ｄ）を検出する。少なくとも１つのジェスチャを検出したことに応じて、コンピュータシステムは、１つ以上の視覚インジケータ（例えば、９３０－１、９３０－２）のセットの外観を修正する（例えば、輝度を増加させる、視覚インジケータ（単数又は複数）の形状を変化させる、追加の視覚インジケータ及び／又はその一部を表示する、視覚インジケータの表示部分を除去する）。少なくとも１つのジェスチャの検出に応じて１つ以上の視覚インジケータのセットの外観を修正することは、ジェスチャがコンピュータシステムによって認識されるか否かを示すフィードバックをコンピュータシステムのユーザに提供する。改善されたフィードバックを提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する／コンピュータシステムと対話するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザシステムインタフェースをより効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用できるようにすることによって、電力使用を低減し、コンピュータシステムのバッテリ寿命を改善する。

【0183】

いくつかの実施形態では、１つ以上の視覚インジケータ（例えば、９３０－１、９３０－２）のセットの修正された外観は、一時的である。例えば、コンピュータシステム（例えば、９０１）がジェスチャを認識したことを示すための視覚インジケータの輝度の一時的な増加。いくつかの実施形態では、コンピュータシステムは、ユーザの手（例えば、９１４）の移動に基づいて視覚インジケータを動かし続け、また、ジェスチャのうちの１つが認識されると、視覚インジケータの外観を修正する。

【0184】

いくつかの実施形態では、１つ以上の視覚インジケータ（例えば、９２０、９３０、９４０）のセットを表示することの一部として、コンピュータシステム（例えば、９０１）は、表示生成コンポーネント（例えば、９０２）（例えば、不透明ディスプレイ、非透明ディスプレイ、ユーザの手のビデオフィードが表示され、ディスプレイの不透明性により物理環境が見えないディスプレイ）を介して、物理環境内のユーザ（例えば、７００）の手（例えば、９１４）の１つ以上の特徴のセットのビデオフィード（例えば、パススルービデオフィード）上に配置された視覚インジケータを表示する。物理環境におけるユーザの手の１つ以上の特徴のセットのビデオフィード上に位置付けられた１つ以上の視覚インジケータのセットを表示することは、手の１つ以上の特徴のセットのビデオフィードに対するユーザの手の１つ以上の特徴のセットの検出ロケーションを示すフィードバックをコンピュータシステムのユーザに提供する。改善されたフィードバックを提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する／コンピュータシステムと対話するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザシステムインタフェースをより効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用できるようにすることによって、電力使用を低減し、コンピュータシステムのバッテリ寿命を改善する。

【0185】

方法１０００に関して上述したプロセス（例えば図１０）の詳細はまた、本明細書で説明する方法８００、１１００、１３００及び１４００にも、類似の方式で適用可能であることに留意されたい。例えば、方法８００、１１００、１３００、及び１４００は、方法１０００に関して上述した様々な方法の特性のうちの１つ以上を任意選択的に含む。簡潔にするために、これらの詳細は、以下で繰り返さない。

【0186】

図１１は、いくつかの実施形態に係る、ＸＲ環境において異なる視覚的特性を有するオブジェクトを表示するための例示的な方法１１００を示すフローチャートである。方法は、表示生成コンポーネント（例えば、９０２ａ）（例えば、視覚出力デバイス、３Ｄディスプレイ、画像が投影され得る透明又は半透明である少なくとも一部を有するディスプレイ（例えば、シースルーディスプレイ）、プロジェクタ、ヘッドアップディスプレイ、ディスプレイコントローラ）、及び第１のユーザ（例えば、７００）に関連付けられた外部コンピュータシステム（例えば、９０１）と通信するコンピュータシステム（例えば、１０１、９０１ａ）（例えば、スマートフォン、タブレット、ヘッドマウント表示生成コンポーネント）において行われる（例えば、第１のユーザによって操作されている（例えば、コンピュータシステムのユーザと通信セッションにあるユーザ（例えば、拡張現実及び／又はビデオ会議））。

【0187】

コンピュータシステム（例えば、９０１ａ）は、拡張現実環境（例えば、９１５）において、表示生成コンポーネント（例えば、９０２ａ）を介して、表現（例えば、９１９）（例えば、アバター、仮想アバター（例えば、アバターは、第１のユーザの少なくとも一部の仮想表現である）を表示し（１１０２）、いくつかの実施形態では、第１のユーザ（例えば、７００）の仮想アバターが、拡張現実環境において、第１のユーザの代わりに））（例えば、物理環境内のユーザ）表示される。第１のユーザの表現は、拡張現実環境（例えば、９１５）内に表示され、第１の姿勢（例えば、物理的ポジション、向き、ジェスチャ等）と、第１のユーザの少なくとも一部の形状に基づく形状（例えば、三次元形状）とを有する（例えば、アバター９１９は、ユーザの手（例えば、９１４）の形状に基づくアバターの手９１９－２を有する（例えば、ユーザの手と同じ姿勢を有する））。第１のユーザの表現の形状は、視覚的特性の第１のセット（例えば、アバターのレンダリングの１つ以上の視覚的パラメータのセット、ぼかしの量、不透明度、色、視覚的平滑化、減衰／密度、解像度など）を用いて視覚化される（例えば、視覚的に表される）。

【0188】

いくつかの実施形態では、第１のユーザ（例えば、９１９）の表現は、第１のユーザ（例えば、７００）が、拡張現実環境（例えば、９１５）において、擬人化された特徴（例えば、頭部、腕、脚、手など）を有するレンダリング（例えば、仮想アバター）によって、又はアニメーション化されたキャラクタ（例えば、人間、漫画のキャラクタ、犬、ロボットなどの非人間キャラクタの擬人化された構成物）として表現されるモード（例えば、仮想プレゼンスモード）を有して表示される。いくつかの実施形態では、第１のユーザの表現は、第１のユーザの同じ姿勢を有して表示される。一部の実施形態では、第１のユーザの表現は、第１のユーザの対応する部分（例えば、９１４）と同じ姿勢を有する部分（例えば、９１９－２）を有して表示される。いくつかの実施形態では、第１のユーザの表現は、物理環境における第１のユーザの少なくとも一部の姿勢の検出された変化に応じて姿勢を変化させるアバター（例えば、仮想アバター）である。例えば、アバターは、物理環境における第１のユーザの検出された移動を模倣するアニメーションキャラクタとして拡張現実環境（例えば、９１５）に表示される。

【0189】

コンピュータシステム（例えば、９０１ａ）は、第１のユーザ（例えば、７００）の姿勢の変化（例えば、物理的ポジション、向き、ジェスチャ、移動など）（例えば、物理環境における、第１のユーザの姿勢の変化）を示すデータを含む第１のデータ（例えば、深度データ、画像データ、センサデータ（例えば、カメラからの画像データ））を受信する（１１０４）。いくつかの実施形態では、データは、センサデータ（例えば、カメラ（例えば、９０４、９０３）からの画像データ）、加速度計からの移動データ、ＧＰＳセンサからのロケーションデータ、近接センサからのデータ、ウェアラブルデバイス（例えば、腕時計、ヘッドセットデバイス）からのデータ）を含む。いくつかの実施形態では、センサは、コンピュータシステム（例えば、９０１ａ、９０１）に接続又は統合することができる。いくつかの実施形態では、センサは、外部センサ（例えば、異なるコンピュータシステム（例えば、別のユーザの電子デバイス）のセンサ）であってもよい。

【0190】

第１のデータの受信に応じて、コンピュータシステム（例えば、９０１ａ）は、拡張現実環境（例えば、９１５）における第１のユーザ（例えば、９１９）の表現の外観を（例えば、第１のデータの少なくとも一部に基づいて）更新する（１１０６）。拡張現実環境において第１のユーザの表現の外観を更新することは、第１のデータが、第１のユーザ（例えば、９１４）の第１の部分（例えば、第１のユーザの物理的な手）がオブジェクト（例えば、９１０）（例えば、物理環境内の物理的オブジェクト）（いくつかの実施形態では、第１のユーザの第１の部分は、第１のデータを受信する前に物理環境内のオブジェクトに接触していると以前に判定されなかった）に接触している（例えば、触れている、保持している、把持している、操作している、対話しているなど）というインジケーション（例えば、姿勢の変化を示すデータ）を含むとの判定に従って、コンピュータシステム（例えば、９０１ａ）は、拡張現実環境内に、方法１１００のステップ１１１０及び１１１２において参照された項目を表示する（１１０８）。

【0191】

１１１０では、コンピュータシステム（例えば、９０１ａ）は、第１のユーザ（例えば、９１９）の姿勢の変化（例えば、図９Ｅ）（例えば、その大きさ又は方向のうちの少なくとも１つ）に基づいて、第２の姿勢（例えば、図９Ｅの姿勢）を有する第１のユーザ（例えば、７００）の表現を表示する（例えば、アバターの姿勢は、第１のユーザの姿勢の変化の大きさ及び／又は方向に対応する大きさ及び／又は方向によって更新される）。第１のユーザ（例えば、９１９）の表現の形状は、視覚的特性の第１のセットを用いて視覚化される（例えば、図９Ｅに示されるように）。

【0192】

１１１２において、コンピュータシステム（例えば、９０１ａ）は、オブジェクト（例えば、９１０）の少なくとも一部の形状に基づく形状（例えば、三次元形状）を有するオブジェクト（例えば、９４５、９４８）の表現を表示する（例えば、オブジェクトの表現は、物理的オブジェクト又はその一部の形状と同様の形状を有する）。オブジェクトの表現の形状は、視覚的特性の第１のセットとは異なる視覚的特性の第２のセット（例えば、９４７）を用いて視覚化される。第１のユーザの姿勢の変化に基づいて第２の姿勢を有し、視覚的特性の第１のセットで視覚化された第１のユーザの表現を表示し、かつオブジェクトの少なくとも一部の形状に基づいた形状を有し、視覚的特性の第１のセットとは異なる視覚的特性の第２のセットで視覚化されたオブジェクトの表現を表示することは、コンピュータシステムのユーザに、第１のユーザが物理環境内のオブジェクトに接触しており、オブジェクトが第１のユーザから離れているというフィードバックを提供する。改善されたフィードバックを提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する／コンピュータシステムと対話するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザシステムインタフェースをより効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用できるようにすることによって、電力使用を低減し、コンピュータシステムのバッテリ寿命を改善する。

【0193】

いくつかの実施形態では、物理的オブジェクト（例えば、９１０）は、物理環境における第１のユーザ（例えば、９１４）の第１の部分に対して相対ポジションを有し、オブジェクト（例えば、９４５）の表現は、拡張現実環境における第１のユーザの第１の部分（例えば、９１９－２）の表現に対して同じ相対ポジションを有して、拡張現実環境（例えば、９１５）に表示される。

【0194】

いくつかの実施形態では、拡張現実環境（例えば、９１５）における第１のユーザ（例えば、９１９）の表現の外観を更新することの一部として、第１のユーザ（例えば、７００）の第１の部分（例えば、９１４）がオブジェクト（例えば、９１０）に接触している（例えば、第１のユーザがオブジェクトに接触していない）（例えば、ユーザ７００が図９Ｄのボトルを保持していない）というインジケーションを第１のデータが含まないとの判定に従って、コンピュータシステム（例えば、９０１ａ）は、拡張現実環境（例えば、９１５）において、第１のユーザ（例えば、７００）の姿勢の変化に基づいて、第２の姿勢（例えば、図９Ｄ）を有する第１のユーザ（例えば、９１９）の表現を表示する。第１のユーザ（例えば、９１９）の表現の形状は、視覚的特性の第１のセットを用いて視覚化される。コンピュータシステムはまた、拡張現実環境（例えば、９１５）において、オブジェクトの少なくとも一部の形状に基づく形状を有し、視覚的特性の第１のセットとは異なる視覚的特性の第２のセットで視覚化されるオブジェクト（例えば、９４５）の表現を表示することを取り止める（例えば、オブジェクトの表現は、ユーザがオブジェクトに接触していない場合、拡張現実環境において表示されない（例えば、図９Ｄ参照））。第１のユーザの姿勢の変化に基づいて第２の姿勢を有する第１のユーザの表現を表示し、かつオブジェクトの少なくとも一部の形状に基づいた形状を有し、視覚的特性の第１のセットとは異なる視覚的特性の第２のセットで視覚化されたオブジェクトの表現を表示することを取り止めるは、コンピュータシステムのユーザに、第１のユーザが物理環境内のオブジェクトに接触していないというフィードバックを提供し、拡張現実環境においてオブジェクトの表現をレンダリングするための計算を排除することによって計算負荷を低減する。改善されたフィードバックを提供すること及び計算作業量を低減することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する／コンピュータシステムと対話するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザシステムインタフェースをより効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用できるようにすることによって、電力使用を低減し、コンピュータシステムのバッテリ寿命を改善する。

【0195】

いくつかの実施形態では、視覚的特性の第１のセットは、第１のユーザ（例えば、９１９）の表現の形状のぼかしの第１の量（例えば、第１のぼやけ度合い又は鮮明度）を含み、視覚的特性の第２のセット（例えば、９４７）は、ぼかしの第１の量とは異なる（例えば、ぼかしの第１の量よりも大きい、小さい）オブジェクト（例えば、９４５）の表現の形状のぼかしの第２の量を含む（例えば、オブジェクトの表現の形状は、第１のユーザの表現の形状よりも大きいぼかし度（より小さい鮮明度）又はより小さいぼかし度（より大きい鮮明度）で表示される）。オブジェクトの表現の形状とは異なるぼかし量で視覚化された第１のユーザの表現の形状を表示することは、第１のユーザが物理環境内でオブジェクトに接触していること、及びオブジェクトが第１のユーザとは離れている（例えば、別個）ことのフィードバックをコンピュータシステムのユーザに提供する。改善されたフィードバックを提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する／コンピュータシステムと対話するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザシステムインタフェースをより効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用できるようにすることによって、電力使用を低減し、コンピュータシステムのバッテリ寿命を改善する。

【0196】

いくつかの実施形態では、視覚的特性の第１のセットは、第１のユーザ（例えば、９１９）の表現の形状を含む粒子の第１の密度（例えば、粒子間の間隔の量及び／又はサイズ）を含み、視覚的特性の第２のセット（例えば、９４７）は、第１の密度とは異なる（例えば、第１の密度よりも大きい、第１の密度よりも小さい）オブジェクト（例えば、９４５）の表現の形状を含む粒子の第２の密度を含む（例えば、第１のユーザの表現の形状は、オブジェクトの表現の形状よりも大きい粒子密度（例えば、より小さい及び／又はより少ない粒子間の間隙）、又はより小さい粒子密度（例えば、より大きい及び／又はより多い粒子間の間隙）で表示される）。オブジェクトの表現の形状とは異なる粒子の密度で視覚化された第１のユーザの表現の形状を表示することは、第１のユーザが物理環境内でオブジェクトに接触していること、及びオブジェクトが第１のユーザとは離れている（例えば、別個）ことのフィードバックをコンピュータシステムのユーザに提供する。改善されたフィードバックを提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する／コンピュータシステムと対話するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザシステムインタフェースをより効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用できるようにすることによって、電力使用を低減し、コンピュータシステムのバッテリ寿命を改善する。

【0197】

いくつかの実施形態では、視覚的特性の第１のセットは、第１のユーザ（例えば、９１９）の表現の形状の第１の量の視覚的平滑化（例えば、画像平滑化）を含み、視覚的特性の第２のセット（例えば、９４７）は、第１の量の視覚的平滑化とは異なる（例えば、より大きい、より小さい）オブジェクト（例えば、９４５）の表現の形状の第２の量の視覚的平滑化を含む（例えば、第１のユーザの表現の形状は、オブジェクトの表現の形状よりも大きい視覚的平滑化（例えば、画像平滑化）、又はより小さい視覚的平滑化で表示される）。オブジェクトの表現の形状とは異なる視覚的平滑化の量で視覚化された第１のユーザの表現の形状を表示することは、第１のユーザが物理環境内でオブジェクトに接触していること、及びオブジェクトが第１のユーザとは離れている（例えば、別個）ことのフィードバックをコンピュータシステムのユーザに提供する。改善されたフィードバックを提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する／コンピュータシステムと対話するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザシステムインタフェースをより効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用できるようにすることによって、電力使用を低減し、コンピュータシステムのバッテリ寿命を改善する。

【0198】

一部の実施形態では、視覚的特性の第１のセットは、第１のユーザ（例えば、９１９）の表現の形状の第１のピクセル化量（例えば、解像度、第１のユーザの表現の形状を含む粒子のサイズ）を含み、視覚的特性の第２のセット（例えば、９４７）は、オブジェクト（例えば、９４５）の表現の形状の第２のピクセル化量を含み、第２のピクセル化量は、第１のピクセル化量とは異なる（例えば、第１のユーザの表現の形状は、オブジェクトの表現の形状よりも低いピクセル化（例えば、より高い解像度）、又はより高いピクセル化（例えば、より低い解像度）で表示される）。オブジェクトの表現の形状とは異なるピクセル化量で視覚化された第１のユーザの表現の形状を表示することは、第１のユーザが物理環境内でオブジェクトに接触していること、及びオブジェクトが第１のユーザとは離れている（例えば、別個）ことのフィードバックをコンピュータシステムのユーザに提供する。改善されたフィードバックを提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する／コンピュータシステムと対話するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザシステムインタフェースをより効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用できるようにすることによって、電力使用を低減し、コンピュータシステムのバッテリ寿命を改善する。

【0199】

いくつかの実施形態では、オブジェクト（例えば、９４８）の表現は、少なくとも部分的に、オブジェクトのライブラリ（例えば、コンピュータシステム及び／又は外部コンピュータシステムによってアクセス可能なライブラリ）からのデータ（例えば、画像データ、モデルデータ）に基づく。いくつかの実施形態では、コンピュータシステム（例えば、９０１ａ）及び／又は外部コンピュータシステム（例えば、９０１）は、オブジェクト（例えば、９１０）のアイデンティティを判定し、オブジェクトのアイデンティティに基づいてオブジェクトのライブラリから一致するデータを判定する。オブジェクトのライブラリからのデータに基づいてオブジェクトの表現を表示することは、オブジェクトがオブジェクトのライブラリから識別され、オブジェクトのライブラリからのデータを使用して表示されるというフィードバックをコンピュータシステムのユーザに提供し、これは、他のデータ（例えば、コンピュータシステムによってリアルタイムで検出されるデータ）に基づいてオブジェクトの表現をレンダリングするための計算を排除することによって、計算作業負荷を低減する。改善されたフィードバックを提供すること及び計算作業量を低減することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する／コンピュータシステムと対話するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザシステムインタフェースをより効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用できるようにすることによって、電力使用を低減し、コンピュータシステムのバッテリ寿命を改善する。

【0200】

いくつかの実施形態では、第１のユーザ（例えば、９１９－１）の表現は、第１のユーザ（例えば、７００）の登録プロセス（例えば、図７Ａ～図７Ｈに関して説明したような登録プロセス）からのデータ（例えば、画像データ）に少なくとも部分的に基づく。いくつかの実施形態では、コンピュータシステム（例えば、９０１ａ）は、別のソース（例えば、画像のライブラリ）からの画像データではなく、登録プロセスからの画像データに基づく外観を有する第１のユーザ（例えば、９１９）の表現を表示する。第１のユーザのための登録プロセスからのデータに基づいて第１のユーザの表現を表示することは、第１のユーザのより現実的な外観を提供することによってユーザシステム体験を向上させ、コンピュータシステムの操作性を向上させ、ユーザシステムインタフェースをより効率的にし（例えば、ユーザが適切な入力を提供するのを支援し、コンピュータシステムを操作する／コンピュータシステムと対話するときに、ユーザの誤りを低減することによって）、更に、ユーザがシステムをより迅速かつ効率的に使用することを可能にすることによって、電力使用を低減し、コンピュータシステムの電池寿命を改善する。

【0201】

いくつかの実施形態では、コンピュータシステム（例えば、９０１ａ）が、表示生成コンポーネント（例えば、９０２ａ）を介して、第１のユーザ（例えば、９１９）の表現及びオブジェクト（例えば、９４５）の表現を表示している間、外部コンピュータシステム（例えば、９０１）は、第１のユーザ（例えば、９１９）の表現及びオブジェクト（例えば、９４５）の表現を表示することを取り止める（例えば、第１のユーザは、第１のユーザの手の表現及びオブジェクトの表現の代わりに、自分の手及び物理的オブジェクトのパススルービューを見る）。

【0202】

いくつかの実施形態では、コンピュータシステム（例えば、９０１ａ）は、第１のポジション（例えば、図９Ｅ）を有するオブジェクト（例えば、９４５）の表現及び第２の姿勢（例えば、図９Ｅ）を有する第１のユーザ（例えば、９１９、９１９－２）の表現を表示している間に、第１のユーザ（例えば、９１４）の少なくとも第１の部分の移動を示すデータを含む第２のデータを受信する。第２のデータを受信したことに応じて、コンピュータシステムは、拡張現実環境（例えば、９１５）においてオブジェクトの表現（例えば、９４５、９４８）及び第１のユーザの表現（例えば、９１９、９１９－２）の表示を更新する。オブジェクトの表現及び第１のユーザの表現の表示を更新することの一部として、コンピュータシステムは、ユーザの少なくとも第１の部分の移動に基づく第３の姿勢（例えば、図９Ｆの姿勢）を有する第１のユーザ（例えば、９１９）の表現を表示する（例えば、第１のユーザの表現は、第１のユーザの手の移動に基づいて動く）（例えば、第１のユーザの表現の形状は、第１の視覚的特性のセットで視覚化される）。コンピュータシステムはまた、ユーザの少なくとも第１の部分の移動に基づく第２のポジション（例えば、図９Ｆのポジション）を有するオブジェクト（例えば、９４５、９４８）の表現を表示する（例えば、オブジェクトの表現は、第１のユーザの手と共に移動する）（例えば、オブジェクトの形状は、視覚的特性の第２のセットを用いて視覚化される）。第３の姿勢を有する第１のユーザの表現を表示し、ユーザの少なくとも第１の部分の移動に基づいて第２のポジションを有するオブジェクトの表現を表示することは、第１のユーザがオブジェクトに接触し続け、オブジェクトを異なるポジションに移動させたというフィードバックをコンピュータシステムのユーザに提供する。改善されたフィードバックを提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する／コンピュータシステムと対話するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザシステムインタフェースをより効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用できるようにすることによって、電力使用を低減し、コンピュータシステムのバッテリ寿命を改善する。

【0203】

方法１１００に関して上述したプロセス（例えば図１１）の詳細はまた、本明細書で説明する方法８００、１０００、１３００及び１４００にも、類似の方式で適用可能であることに留意されたい。例えば、方法８００、１０００、１３００、及び／又は１４００は、任意選択的に、方法１１００を参照して上述した様々な方法の特性のうちの１つ以上を含む。簡潔にするために、これらの詳細は、以下で繰り返さない。

【0204】

図１２Ａ～図１２Ｅ、図１３Ａ～図１３Ｂ、及び図１４は、ＸＲ環境で表されるユーザに関連付けられた様々な提示モードの例を示す。

【0205】

図１２Ａは、図９Ａ～図９Ｆに関して上述したものと同様の方法で第２のユーザとのＸＲセッションに参加している間に頭部７００－３が前方を向き手７００－２が持ち上げられた状態でデバイス９０１の前に（少なくとも部分的にカメラ９０４の視野内に）立っているユーザ７００を含む物理環境１２００を示す。デバイス９０１は、ディスプレイ９０２を介して、ＸＲインタフェース９０６と同様のＸＲインタフェース１２０６を表示する。ＸＲインタフェース１２０６は、ＸＲ環境１２０５（ＸＲ環境９０５と同様）及び制御オプション１２０７（制御オプション９０７と同様）を含む。図１２Ａに示すように、ＸＲ環境１２０５は、現在、ＸＲ環境内の第２のユーザの存在を表すアバター１２２２（アバター９２２と同様）を含む。

【0206】

図１２Ａはまた、ディスプレイ９０２ａを介して、ＸＲインタフェース９１６と同様のＸＲインタフェース１２１６を表示するデバイス９０１ａを示す。ＸＲインタフェース１２１６は、カメラ９０３ａの視野内に位置する第２のユーザのレンダリング１２１８－１を有するプレビュー１２１８を含む。ＸＲインタフェース１２１６はまた、ＸＲ環境１２１５（ＸＲ環境９１５と同様）及び制御オプション１２１７を表示する。図１２Ａに示す実施形態では、ＸＲ環境１２１５は、現在、（アバター９１９と同様の）アバター１２２０の形態のユーザ７００の表現を含む。デバイス９０１及び９０１ａは、図９Ａ～図９Ｆに関して上述したものと同様の方法で、ＸＲインタフェース１２０６及び１２１６をそれぞれ表示する。簡潔にするために、以下ではこれらの詳細は繰り返さない。

【0207】

図１２Ａに示す実施形態では、アバター１２２０は、ユーザ７００の仮想表現として表示される部分１２２０－１、１２２０－２、１２２０－３、及び１２２０－４を含む。部分１２２０－１は、アバターの左前腕及び手を形成し、例えば、デバイス９０１のカメラ９０４によって検出されるユーザの左前腕及び手７００－１の種々の側面（例えば、ポジション、姿勢、向き、色、移動等）に基づいて判定される外観（例えば、ポジション、姿勢、向き、色、形状等）を有する。同様に、部分１２２０－２は、アバターの右前腕及び手を形成し、ユーザの右前腕及び手７００－２の様々な態様に基づいて決定される外観を有する。部分１２２０－３は、アバターの頭部及び肩領域を形成し、ユーザの頭部７００－３及び肩の様々な態様に基づいて決定される外観を有する。部分１２２０－４は、アバター１２２０の残りの部分を形成し、部分１２２０－１～１２２０－３の外観とは異なる外観を有する。例えば、図１２Ａに示すように、部分１２２０－４は、様々な色及び任意選択的に形状（任意選択的に異なる形状、任意選択的に重なり合う又は重なり合わない）を有する要素１２２５で形成された外観を有し、部分１２２０－１～１２２０－３は、ユーザ７００の対応する部分を視覚的に表す（例えば、１つ以上の人間の特徴の形状に類似する、その形状を有する）外観を有する。例えば、部分１２２０－２は、ユーザ７００の対応する部分（例えば、ユーザの右前腕及び手７００－２）と同じ形状及び姿勢を有する。いくつかの実施形態では、部分１２２０－４（そのサブ部分）は、要素１２２５から形成されたアモルファス形状を有する。いくつかの実施形態では、部分１２２０－４は、胴体、肘、脚等の１つ以上の人間の特徴の形状を有する。いくつかの実施形態では、要素１２２５（又はそのサブセット）は、１つ以上の人間の特徴を形成するように成形される視覚効果（例えば、ボケ効果）を生成する。いくつかの実施形態では、部分１２２０－４内の要素１２２５の色は、物理環境１２００内のユーザ７００によって着用されている衣服の色に対応する。いくつかの実施形態では、部分１２２０－４内の要素１２２５の色は、デバイス９０１及び／又はデバイス９０１ａによって自動的に選択される。例えば、いくつかの実施形態では、部分１２２０－４内の要素１２２５の色は、図７Ａ～図７Ｈに関して上述した登録プロセス中にユーザ７００が着用する衣服（例えば、シャツ７０９）の色に一致するように選択される。いくつかの実施形態では、部分１２２０－４内の要素１２２５の色は、暖色系カラーパレットを有するように選択され、一方、仮想アシスタントの表現等のデバイス９０１又はデバイス９０１ａの他の態様（例えば、システム要素）の色は、寒色系カラーパレットを有するように選択される。いくつかの実施形態では、部分１２２０－４は表示されない。いくつかの実施形態では、部分１２２０－１、１２２０－２、及び／又は１２２０－３に直接隣接する要素１２２５のサブセットなど、部分１２２０－４の一部のみが表示される。いくつかの実施形態では、部分１２２０－４は、ユーザ７００の対応する部分（単数又は複数）の外観（例えば、姿勢）が未知であるか、検出されないか、又は外観を決定するのに不十分なデータ（又は閾値量未満のデータ）がある、アバター１２２０の部分（単数又は複数）を表す。

【0208】

上述したように、デバイス９０１ａは、ユーザ７００の表現の外観の様々な態様を規定する様々な外観設定に少なくとも部分的に基づいて、ＸＲ環境１２１５においてユーザ７００の表現（例えば、アバター１２２０）を表示する。参考のために、これらの外観設定は、外観設定インタフェース１２０４に示されており、これは、デバイス７０１によって（例えば、ディスプレイ７０２を使用して）表示されるものとして示されている。外観設定インタフェース１２０４は、ＸＲ環境におけるユーザ７００の表現の外観を制御するための、図７Ｈに示されるものと同様の様々な外観設定を含む。例えば、外観設定インタフェース１２０４は、表現オプション１２２４（表現オプション７２４と同様）及び眼鏡オプション１２２６（眼鏡オプション７２６と同様）を含む。図１２Ａに示されるように、アバターオプション１２２４ｂ及び眼鏡なしオプション１２２６ａが選択される。したがって、ユーザ７００の表現は、デバイス９０１ａ上に表示されるアバター１２２０によって示されるように、眼鏡を含まないアバターの外観を有する。

【0209】

図１２Ｂでは、ユーザ７００は、頭部７００－３を回転させ、右腕を下げて、手７００－２を横にしており、外観設定インタフェース１２０４において矩形フレームオプション１２２６ｂが選択されている。したがって、デバイス９０１ａは、ユーザ７００の姿勢の変化及び更新された外観設定に基づいて、更新された外観を有するアバター１２２０を表示するようにＸＲインタフェース１２１６を更新する。具体的には、デバイス９０１ａは、図１２Ｂに示されるように部分１２２０－２が下げられた状態でアバター１２２０を表示し、部分１２２０－３は、アバターの頭部が横に向けられ、眼鏡１２２１がアバターの顔に表示されていることを示すように更新される。

【0210】

いくつかの実施形態では、アバター１２２０の部分は、ユーザ７００の姿勢の変化に基づいて形状を変化させる。例えば、部分１２２０－２は、図１２Ｂにおいて、手がリラックスした状態で表示され、図１２Ａに示されるように、指が広げられた状態で持ち上げられたポジションにあるときの部分１２２０－２の形状と比較して、部分１２２０－２の表示された形状（例えば、幾何学形状、輪郭）を変化させる。いくつかの実施形態では、ユーザ７００が移動すると、ユーザのいくつかの部分がカメラ９０４の視野の内外に移動し、ユーザの異なる部分が（例えば、デバイス９０１によって）検出され、アバター１２２０がそれに応じて更新される。例えば、図１２Ｂでは、より多くの量のユーザの右前腕がカメラ９０４に見え、その結果、より多くの量のアバターの右前腕が部分１２２０－２に表されるので、部分１２２０－２の形状が変化する（その結果、以前に部分１２２０－４に表された要素１２２５の一部がもはや表示されず、アバター１２２０の対応する部分が今や部分１２２０－２の前腕に含まれるので、部分１２２０－４のより少ない部分が表示される）。

【0211】

いくつかの実施形態では、眼鏡１２２１は、図１２Ｂに示すように、フレーム部分を含むが、アーム又はテンプル部を含まない。いくつかの実施形態では、眼鏡１２２１は、選択された眼鏡オプションに対応する外観を有する。例えば、図１２Ｂでは、眼鏡１２２１は、矩形フレームオプション１２２６ｂに示される眼鏡と同じ外観を有する矩形フレームである。いくつかの実施形態では、眼鏡１２２１は、ユーザの眼鏡７０７の外観に基づかないデフォルトの外観を有する。いくつかの実施形態では、眼鏡１２２１は、ユーザ７００上で検出された眼鏡７０７に対応する外観を有する。いくつかの実施形態では、眼鏡オプションは、（例えば、デバイス７０１、デバイス９０１、及び／又はデバイス９０１ａによって）自動的に選択される。例えば、デバイス９０１は、ユーザの顔の上の眼鏡７０７を検出し、それに応じて、矩形フレームオプション１２２６ｂを選択するように外観設定を変化させる。いくつかの実施形態では、矩形フレームオプション１２２６ｂは、そのオプションがユーザ７００上の眼鏡７０７の外観を最も正確に描写するため、選択される。いくつかの実施形態では、矩形フレームオプション１２２６ｂは、ユーザ７００によって手動で選択される。いくつかの実施形態では、アバター眼鏡（例えば、１２２１）の表示は、登録プロセスの少なくとも一部の間にユーザの顔上で眼鏡７０７を検出したことに応じて、（例えば、デバイス７０１によって）自動的に有効化される（かつ眼鏡オプションのうちの１つが選択される）。

【0212】

図１２Ｃでは、ユーザ７００は、話している間静止したままであり、外観設定インタフェース１２０４において半透明フレームオプション１２２６ｃが選択されている。したがって、デバイス９０１ａは、更新された外観設定に基づいて、更新された外観を有するアバター１２２０を表示するようにＸＲインタフェース１２１６を更新する。具体的には、デバイス９０１ａは、図１２Ｃにおいてアバターの顔に表示されているように、半透明フレームに更新された外観を有する眼鏡１２２１を有するアバター１２２０を表示する。ユーザ７００が移動していないので、デバイス９０１ａは、部分１２２０－１～１２２０－４の形状を変化させない。しかしながら、ユーザ７００は話しているので、デバイス９０１ａは、アバター１２２０の部分の形状を変化させることなくアバターの口の移動を表示する。更に、デバイス９０１ａは、会話しているユーザ７００から検出された（例えば、デバイス９０１及び／又はデバイス９０１ａによって、）オーディオに応じて、アバター１２２０の任意の部分（部分１２２０－４及び要素１２２５を含む）の外観を変化させない。

【0213】

図１２Ｄでは、オーディオオプション１２２４ａが選択され、デバイス９０１ａは、ＸＲインタフェース１２１６を更新して、アバター表現からオーディオ表現に遷移するユーザ７００の表現を表示する。図１２Ｄでは、遷移は、部分１２２０－１～１２２０－３が要素１２２５によって置換又はオーバーレイされ、要素１２２５が動き回り始めて、ユーザがオーディオ表現モードにあるときに、ユーザ７００の表現の形状を、ＸＲ環境１２１５内のユーザ７００を表す二次元又は三次元形状（例えば、立方体、球体、又は円）に変化させるアニメーションとして示されている。遷移中、要素１２２５は一緒に移動するが、表現の形状が図１２Ｅに示される立方体形状に遷移するにつれて、いくつかの要素は重複し始め、他の要素は消失する。

【0214】

ユーザ７００がオーディオ提示モードでＸＲセッションに参加しているとき、ユーザ７００からのオーディオは、ＸＲセッションに参加している他のユーザのデバイス（単数又は複数）（例えば、第２のユーザのデバイス９０１ａ）に通信され、ユーザ７００の表現は、ユーザ７００の移動に応じて形状を変化させないオーディオ表現として表示される。例えば、ユーザ７００が動く（例えば、歩く、手７００－２を上げる、及び／又は頭部７００－３を回す）につれて、オーディオ表現は、同じ幾何学的形状を維持する。いくつかの実施形態では、デバイス９０１ａは、物理環境１２００におけるユーザ７００の移動に基づいて、ＸＲ環境１２１５を動き回るオーディオ表現を表示する。例えば、ユーザ７００が物理環境１２００を歩き回ると、デバイス９０１ａは、任意選択的に、ＸＲ環境１２１５内で同様に移動する（例えば、ロケーションが変化する）オーディオ表現（例えば、オーディオ表現１２３０－１）を表示する。ユーザ７００のオーディオ表現の様々な例が図１２Ｅに示されており、各々が、物理環境において検出された異なる条件のセットに関連付けられている。オーディオ表現の各例は、立方体として表示される。しかしながら、オーディオ表現は、球、不定形の三次元形状などの異なる形態を有することができることを理解されたい。

【0215】

本明細書で説明される実施形態では、ＸＲ環境１２１５におけるユーザ７００のオーディオ表現の様々な特徴を説明するために、オーディオ表現１２３０－１などの特定のオーディオ表現が参照される。しかしながら、特定のオーディオ表現への言及は、説明される特徴を特定のオーディオ表現に限定することを意図するものではないことを理解されたい。したがって、特定のオーディオ表現に関して説明される様々な特徴は、本明細書で説明される他のオーディオ表現（例えば、オーディオ表現１２３０－２～１２３０－４）に同様に適用され得る。簡潔にするために、本明細書では重複するこれらの詳細は繰り返さない。

【0216】

いくつかの実施形態では、オーディオ表現１２３０－１は、異なるサイズ及び色を有する粒子１２３５の集合から形成される。いくつかの実施形態では、粒子１２３５は要素１２２５と同様である。いくつかの実施形態では、粒子１２３５の色は、物理環境１２００においてユーザ７００によって着用されている衣服の色及び／又はユーザ７００の肌のトーンに対応する。いくつかの実施形態では、粒子１２３５の色は、デバイス９０１及び／又はデバイス９０１ａによって自動的に選択される。例えば、いくつかの実施形態では、色は、図７Ａ～図７Ｈに関して上述した登録プロセス中にユーザ７００が着用する衣服（例えば、シャツ７０９）の色に一致するように選択される。いくつかの実施形態では、粒子１２３５の色は、暖色系カラーパレットを有するように選択され、一方、仮想アシスタントの表現等のデバイス９０１又はデバイス９０１ａの他の態様（例えば、システム要素）の色は、寒色系カラーパレットを有するように選択される。いくつかの実施形態では、粒子１２３５は、矩形、正方形、円形、球形などの異なる形態を有することができる。

【0217】

いくつかの実施形態では、粒子１２３５は、オーディオ表現１２３０－１の表面（単数又は複数）に沿って移動し、サイズ及び任意選択的に形状を変化させる。例えば、いくつかの実施形態では、粒子１２３５は、オーディオ表現１２３０－１の漸進的なアニメーションの一部としてポジション及びサイズを変化させる。このようにして、オーディオ表現１２３０－１は、ユーザ７００が話しているか否かとは無関係に、時間と共に外観を変化させる。いくつかの実施形態では、オーディオ表現１２３０－１、１２３０－２、１２３０－３、及び１２３０－４は、異なる時点で示されるような単一のオーディオ表現の異なる外観を表し、オーディオ表現を形成する粒子１２３５は、異なるポジション、サイズ、及び色を有し、それによって、アニメーションの結果として経時的に変化するオーディオ表現の外観を示す。

【0218】

上述したように、図１２Ｅに示すオーディオ表現は、異なる瞬間に決定された物理環境１２００におけるユーザ７００のポジション及び／又は挙動に基づいて、オーディオ表現の異なる外観に対応する。例えば、デバイス９０１ａは、図１２Ｅに示すように、ユーザ７００がロケーション１２００－１におり、デバイス９０１のカメラ（例えば、カメラ９０４）から見て外方を向いているとき、ＸＲ環境１２１５内のユーザ７００を表すオーディオ表現１２３０－１と共に、ＸＲインタフェース１２１６を表示する。同様に、デバイス９０１ａは、ユーザ７００がロケーション１２００－２にいるときにオーディオ表現１２３０－２を表示する。デバイス９０１ａは、ユーザ７００がロケーション１２００－３にいるときにオーディオ表現１２３０－３を表示する。デバイス９０１ａは、ユーザ７００がロケーション１２００－４にいるときにオーディオ表現１２３０－４を表示する。いくつかの実施形態では、物理環境１２００内の異なるロケーション（例えば、１２００－１～１２００－４）は、デバイス９０１のカメラからの異なる深度に対応する。例えば、ロケーション１２００－２は、ロケーション１２００－４よりもカメラからの距離が大きいことを表し、したがって、図１２Ｅでは、より小さいサイズを有して示されている。いくつかの実施形態では、ロケーション１２００－１、１２００－３、及び１２００－４は全て、カメラから同様の距離を有する。

【0219】

オーディオ表現１２３０－１は、オーディオ表現をユーザ７００に関連付ける二次元（又は実質的に二次元）特徴である要素１２３２を含む。例えば、図１２Ｅにおいて、要素１２３２は、ユーザ７００のイニシャルを含むモノグラムである。いくつかの実施形態では、要素１２３２は、イニシャルの代わりに、又はイニシャルに加えて、ユーザの名前及び／若しくは名字、又はユーザの電話番号、電子メールアドレス、ユーザ名などの他の識別情報を含むことができる。

【0220】

いくつかの実施形態では、複数のユーザがＸＲセッションに参加することができ、ＸＲセッションに参加している各ユーザにとって、オーディオ表現１２３０－１は、ユーザ７００が実際に物理環境又はＸＲ環境においてそれぞれのユーザに面しているかどうかにかかわらず、それぞれのユーザに面しているように見える。例えば、図１２Ｅでは、ユーザ７００は第２のユーザから見て外方を向いているが、デバイス９０１ａは、第２のユーザの方を向いているＸＲ環境１２１５においてオーディオ表現１２３０－１（要素１２３２を含む）を表示し、ユーザ７００が第２のユーザの方を向いている外観を第２のユーザに与え、それによって、オーディオ表現１２３０－１によってＸＲ環境１２１５においてユーザと対話及び／又は通信する。いくつかの実施形態では、第３（又は第４、第５、第６など）のユーザなどの追加のユーザも、ユーザ７００及び第２のユーザとのＸＲセッションに参加している。これらの追加のユーザの各々に対して、ユーザ７００のオーディオ表現は、オーディオ表現（要素１２３２を含む）がその特定のユーザに面しているように見えるように、オーディオ表現１２３０－１と同じ外観を有する。いくつかの実施形態では、オーディオ表現１２３０－１は、ユーザがＸＲ環境を動き回る（向きが変化する）ときであっても、それぞれのユーザに面しているように見える。

【0221】

いくつかの実施形態では、デバイス９０１ａは、物理環境１２００内のユーザ頭部７００－３のロケーション（例えば、１２００－１）及び／又はユーザがアバター１２２０によってＸＲ環境１２１５内で表されていた場合にアバターの頭部が表示されるポジションに対応する、ＸＲ環境１２１５内のロケーションにオーディオ表現１２３０－１を表示する。オーディオ表現１２３０－１をユーザ及び／又はアバターの頭部のポジションに表示することによって、オーディオ表現１２３０－１は、第２のユーザがオーディオ表現１２３０－１を見ているとき、第２のユーザが（ユーザ７００の視点から）アイコンタクトを維持しているように見えるように、ユーザ７００の目線と位置合わせされたままである。いくつかの実施形態では、デバイス９０１ａは、ＸＲ環境１２１５内の（例えば、ユーザ７００からのオーディオに対応する）オーディオ源の知覚又は決定された空間ロケーションに対応するＸＲ環境１２１５内のロケーションにオーディオ表現１２３０－１を表示する。

【0222】

いくつかの実施形態において、要素１２３２の様々な属性は、物理環境１２００又はＸＲ環境１２０５内のユーザ７００のポジション及び／又はロケーションに関する情報を示すために使用される。例えば、いくつかの実施形態では、要素１２３２のサイズは、デバイス９０１のカメラからのユーザ７００の距離を伝えるために使用される。例えば、ユーザ７００がロケーション１２００－２にいるとき、デバイス９０１ａは、オーディオ表現１２３０－１と同じサイズを有するオーディオ表現１２３０－２を表示するが、要素１２３２は、（オーディオ表現１２３０－１における要素１２３２のサイズと比較して）より小さいサイズを有して、カメラからのユーザ７００のより大きな距離を伝える。したがって、ユーザ７００がロケーション１２００－１からロケーション１２００－２までカメラから離れると、デバイス９０１ａは、オーディオ表現１２３０－１のロケーションからオーディオ表現１２３０－２のロケーションまで移動するオーディオ表現を表示し、要素１２３２は、ユーザ７００がカメラから遠くに移動するにつれてサイズが縮小する。逆に、オーディオ表現１２３０－１内の要素１２３２のサイズが大きいほど、ユーザ７００がロケーション１２００－１にいるときにカメラに近いことを示す。いくつかの実施形態では、デバイス９０１ａは、オーディオ表現全体（要素１２３２を含む）の表示サイズを修正して、カメラからのユーザ７００の距離の変化を示す。

【0223】

いくつかの実施形態では、デバイス９０１ａは、（ユーザ７００が話しているときに）ユーザ７００からのオーディオを検出したことに応じてオーディオ表現を修正する。いくつかの実施形態では、修正は、表示されたオーディオ表現のサイズ、輝度、又は他の視覚的特性の変化を含む。例えば、図１２Ｅでは、オーディオ表現１２３０－３は、ユーザ７００がロケーション１２００－３にいるときに話していることを検出したことに応じて、一時的に表示されたより大きなサイズのオーディオ表現を表す。いくつかの実施形態では、オーディオ表現は、トーン、ピッチ、音量などの変化など、ユーザ７００が話しているオーディオ特性の検出された変化と同期して拡大及び縮小する。いくつかの実施形態では、ディスプレイ９０１ａは、例えば、表示されたオーディオ表現の輝度をパルス化するなど、オーディオに応じてオーディオ表現１２３０－３の他の視覚的特性を変変化させる。いくつかの実施形態では、ユーザ７００が話していることを検出したことに応じて、デバイス９０１ａは、上述したように、オーディオ表現１２３０－３の視覚的特性を修正するが、アバター１２２０の視覚的特性は修正しない。

【0224】

いくつかの実施形態では、デバイス９０１ａは、（例えば、デバイス９０１で検出されるような）ユーザ７００のオーディオがミュートされるとき、オーディオ表現の外観を修正する。例えば、図１２Ｅでは、デバイス９０１ａは、ユーザ７００がロケーション１２００－４にいるときにユーザ７００のオーディオがミュートされていることを示すために、ミュートアイコン１２４０を有するオーディオ表現１２３０－４を表示する。

【0225】

いくつかの実施形態では、デバイス９０１ａは、アバター表現（例えば、アバター１２２０）が利用不可能であるとき、オーディオ表現（例えば、オーディオ表現１２３０－１）を有するユーザ７００の表現を表示する。いくつかの実施形態では、オーディオ表現は、条件がＸＲ環境においてアバターをレンダリングするのに不十分である場合（例えば、環境１２００及び／又は第２のユーザの環境における照明が弱い場合）、又はアバター表現を描写するのに不十分なデータがある場合、利用不可能である。いくつかの実施形態では、ユーザ７００が図７Ａ～図７Ｈに関して上述した登録動作を実行していない場合、アバター表現を描写するのに不十分なデータが存在する。

【0226】

図１２Ａ～図１２Ｅに関する追加の説明は、以下の図１３Ａ～図１３Ｂ及び図１４に関して記載された方法１３００及び１４００を参照して以下に提供される。

【0227】

図１３Ａ及び図１３Ｂは、いくつかの実施形態による、ＸＲ環境において表されるユーザに関連付けられた異なる提示モード間で切り替えるための例示的な方法１３００のフローチャートである。方法１３００は、表示生成コンポーネント（例えば、９０２ａ）（例えば、視覚出力デバイス、３Ｄディスプレイ、画像が投影され得る透明又は半透明である少なくとも一部を有するディスプレイ（例えば、シースルーディスプレイ）、プロジェクタ、ヘッドアップディスプレイ、ディスプレイコントローラ）、及び第１のユーザ（例えば、７００）に関連付けられた外部コンピュータシステム（例えば、９０１）と通信するコンピュータシステム（例えば、１０１、９０１ａ）（例えば、スマートフォン、タブレット、ヘッドマウント表示生成コンポーネント）において行われる（例えば、第１のユーザによって操作されている（例えば、コンピュータシステムのユーザ（例えば、第２のユーザ）と通信セッションにあるユーザ（例えば、拡張現実及び／又はビデオ会議））。

【0228】

コンピュータシステム（例えば、９０１ａ）は、表示生成コンポーネント（例えば、９０２ａ）を介して、第１の提示モード（例えば、１２２４ｂによって示される）（例えば、仮想プレゼンスモード、第１のユーザが、拡張現実環境において、人間又は擬人化された特徴（例えば、頭部、腕、脚、手など）を有するレンダリング（例えば、仮想アバター）によって、又はアニメーション化されたキャラクタ（例えば、人間、漫画のキャラクタ、犬、ロボットなどの非人間キャラクタの擬人化された構成物）として表現されるモード）で、外部コンピュータシステム（例えば、９０１）の第１のユーザ（例えば、７００）の表現（例えば、１２２０）（例えば、アニメーション表現、アバター表現、仮想アバター（例えば、アバターは第１のユーザの少なくとも一部の仮想表現である），いくつかの実施形態では、拡張現実環境において、第１のユーザの代わりに、仮想アバターが表示される）を含む通信ユーザインタフェース（例えば、１２１６）を表示する（１３０２）。いくつかの実施形態では、第１のユーザの表現は、第１のユーザの同じ姿勢を有して表示される。一部の実施形態では、第１のユーザの表現は、第１のユーザの対応する部分（例えば、１２２０－１、１２２０－２、１２２０－３）と同じ姿勢を有する部分（例えば、７００－１、７００－２、７００－３）を有して表示される。

【0229】

通信ユーザインタフェース（例えば、１２１６）は、拡張現実環境（例えば、１２１５）において第１のユーザ（例えば、１２２０）の表現を表示する（１３０４）（例えば、コンピュータシステム（例えば、９０１ａ）は、拡張現実環境において第１のユーザの表現を有する通信ユーザインタフェースを表示する）。第１のユーザ（例えば、１２２０）の表現は、第１の提示モード（例えば、１２２４ｂ）にある間、外部コンピュータシステム（例えば、９０１）によって検出される第１のユーザ（例えば、７００）の第１の部分（例えば、７００－１、７００－２、７００－３）（例えば、手又は手の一部（例えば、手のひら、指など））の移動の変化に視覚的に反応する（例えば、それに応じて外観を変化させる）形状（例えば、外観、幾何学形状）を有するように、（例えば、コンピュータシステムによって（例えば、表示生成コンポーネント（例えば、９０２ａ）を介して）表示される（１３０６）（例えば、第１の提示モードにあるとき、ユーザの表現は、物理環境及び／又は拡張現実環境において検出されるユーザの手（単数又は複数）の移動に応じて視覚的に反応する）。いくつかの実施形態では、第１のユーザの表現は、物理環境における第１のユーザの少なくとも一部の姿勢の検出された変化に応じて姿勢を変化させるアバター（例えば、仮想アバター）である。例えば、アバターは、物理環境における第１のユーザの検出された移動を模倣するアニメーションキャラクタとして拡張現実環境に表示される。

【0230】

コンピュータシステム（例えば、９０１ａ）が第１の提示モード（例えば、１２２４ｂ）で第１のユーザ（例えば、１２２０）の表現を表示する（１３０８）間に、コンピュータシステムは、第１のユーザ（例えば、７００）の第１の部分（例えば、７００－１、７００－２、７００－３）の移動を示す第１のデータ（例えば、深度データ、画像データ、センサデータ（例えば、カメラからの画像データ））を外部コンピュータシステム（例えば、９０１、９０４）から受信する（１３１０）。いくつかの実施形態では、第１のデータは、センサデータ（例えば、カメラ（例えば、９０４）からの画像データ）、加速度計からの移動データ、ＧＰＳセンサからのロケーションデータ、近接センサからのデータ、ウェアラブルデバイス（例えば、腕時計、ヘッドセット）からのデータ）を含む。

【0231】

コンピュータシステム（例えば、９０１ａ）が第１の提示モード（例えば、１２２４ｂ）で第１のユーザ（例えば、１２２０）の表現を表示している間（１３０８）、第１のデータを受信したことに応じて、コンピュータシステムは、第１のユーザ（例えば、７００）（例えば、図１２Ｂ参照）の第１の部分（例えば、７００－１、７００－２、７００－３）の移動（例えば、移動の大きさ及び／又は方向）に基づいて、第１のユーザの表現の形状を修正する（１３１２）（例えば、ユーザの表現（例えば、仮想アバター）のより多くの量又はより少ない量を表示する、ユーザの表現の一部（例えば、１２２０－２、１２２０－３）の形状を変化させ、ユーザの表現の一部の幾何学形状を変化させ、ユーザの表現の外観の輪郭を変化させる）。

【0232】

第１のユーザ（例えば、１２２０）の表現の形状を修正した後、コンピュータシステム（例えば、９０１ａ）は、（例えば、外部コンピュータシステム（例えば、９０１）から、コンピュータシステム（例えば、７０１）における入力を介して）第１のユーザの表現が、第１の提示モードとは異なる第２の提示モード（例えば、１２２４ａによって示される）（例えば、オーディオプレゼンスモード、擬人化された特徴を有さない及び／又は無生物であるレンダリング（例えば、１２３０－１、１２３０－２、１２３０－３、１２３０－４）（例えば、アイコン、モノグラム）によって拡張現実環境において第１のユーザが表現されるモード）で表示されることを示す、第２のデータを受信する（１３１４）。いくつかの実施形態では、コンピュータシステムは、第１のユーザがその表現を第１の提示モードから第２の提示モードに遷移させたというインジケーションを（例えば、外部コンピュータシステムから）受信する。

【0233】

第２のデータを受信したことに応じて、コンピュータシステム（例えば、９０１ａ）は、表示生成コンポーネント（例えば、９０２ａ）を介して、第２の提示モードで第１のユーザの表現（例えば、１２３０－１、１２３０－２、１２３０－３、１２３０－４）を表示し（１３１６）、第１のユーザの表現は、第２の提示モードにある間、外部コンピュータシステム（例えば、９０１）によって検出される第１のユーザ（例えば、７００）の第１の部分（例えば、７００－１、７００－２、７００－３）の移動の変化に視覚的に反応しない形状（例えば、外観、幾何学形状（例えば、ディスク又は球形状、立方体、直角プリズム））を有する（例えば、第２の提示モードにあるとき、ユーザの表現は、物理環境及び／又は拡張現実環境において検出されるユーザの手（単数又は複数）の移動に応じて視覚的に反応しない）。

【0234】

コンピュータシステム（例えば、９０１ａ）が第１のユーザの表現を第２の提示モード（例えば、１２３０－１、１２３０－２、１２３０－３、１２３０－４）で表示している間（１３１８）、コンピュータシステムは、物理環境（例えば、１２００）における（例えば、第１のユーザの物理環境内）第１のロケーション（例えば、１２００－１、１２００－２、１２００－３、１２００－４）から、物理環境における第１のロケーションとは異なる物理環境における第２のロケーション（例えば、１２００－１、１２００－２、１２００－３、１２００－４）への第１のユーザ（例えば、７００）の移動を示す第３のデータを（例えば、外部コンピュータシステム（例えば、９０１）から、コンピュータシステムにおける入力を介して、移動又は位置付けを検出するセンサから）受信する（１３２０）。いくつかの実施形態では、第３のデータは、センサデータ（例えば、カメラからの画像データ、加速度計からの移動データ、ＧＰＳセンサからのロケーションデータ、近接センサからのデータ、ウェアラブルデバイス（例えば、腕時計、ヘッドセットデバイス）からのデータ）を含む。いくつかの実施形態では、センサは、コンピュータシステムに接続又は統合することができる。いくつかの実施形態では、センサは、外部センサ（例えば、異なるコンピュータシステム（例えば、外部コンピュータシステム）のセンサ）であってもよい。

【0235】

コンピュータシステム（例えば、９０１ａ）が第２の提示モードにおいて第１のユーザの表現（例えば、１２３０－１、１２３０－２、１２３０－３、１２３０－４）を表示する（１３１８）間に、第３のデータを受信したことに応じて、コンピュータシステムは、拡張現実環境（例えば、１２１５）内の第１のロケーション（例えば、図１２Ｅの１２３０－１のロケーション）から拡張現実環境内の第１のロケーションとは異なる拡張現実環境内の第２のロケーション（例えば、図１２Ｅの１２３０－２のロケーション）へ移動する第１のユーザの表現を表示する（１３２２）。第３のデータを受信したことに応じて、拡張現実環境内の第１のロケーションから拡張現実環境内の第２のロケーションに移動する第１のユーザの表現を表示することは、第１のユーザが自分の物理的ロケーションの周りを移動していること、及び物理的ロケーションの周りの移動が拡張現実環境内の第１のユーザの表現の移動に対応することのフィードバックをコンピュータシステムのユーザに提供する。改善されたフィードバックを提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する／コンピュータシステムと対話するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザシステムインタフェースをより効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用できるようにすることによって、電力使用を低減し、コンピュータシステムのバッテリ寿命を改善する。

【0236】

いくつかの実施形態では、拡張現実環境（例えば、１２１５）内の第１のロケーション（例えば、図１２Ｅの１２３０－１のロケーション）は、第１のユーザの物理環境（例えば、１２００）内の第１のユーザ（例えば、７００）の第１のロケーション（例えば、１２００－１）を表し、拡張現実環境内の第２のロケーション（例えば、図１２Ｅの１２３０－２のロケーション）は、第１のユーザの物理環境内の第１のユーザの第２のロケーション（例えば、１２００－２）を表す（例えば、第１のユーザの表現は、第１のユーザの物理環境の周りの第１のユーザの物理的移動を表すために、拡張現実環境の周りを移動する）。

【0237】

いくつかの実施形態では、第２の提示モード（例えば、１２２４ａ）にある間、第１のユーザの表現（例えば、１２３０－２、１２３２）（例えば、第１のユーザの表現（例えば、１２３２）の一部）は、第１のユーザの表現がコンピュータシステムのユーザ（例えば、９０１ａ）（例えば、第２のユーザ）に向かって、又はそこから離れて移動するにつれて、コンピュータシステムのユーザに対する第１のユーザの表現の相対ポジションを示すようにサイズが変化して表示される。例えば、第１のユーザの表現がコンピュータシステムのユーザから離れるにつれて、第１のユーザの表現は、サイズが縮小して表示される。逆に、第１のユーザの表現がコンピュータシステムのユーザの近くに移動するにつれて、第１のユーザの表現はサイズが大きくなって表示される。

【0238】

いくつかの実施形態では、第１のユーザ（例えば、９０１）の第１の部分（例えば、７００－１、７００－２）は、第１のユーザの手の少なくとも一部を含む（例えば、ユーザの手であり、少なくとも外部コンピュータシステム（例えば、７００）によってユーザの手の少なくとも一部として検出及び／又は認識される）。

【0239】

いくつかの実施形態では、第２のデータの受信に応じて、コンピュータシステム（例えば、９０１ａ）は、表示生成コンポーネント（例えば、９０２ａ）を介して、第１の提示モード（例えば、１２２４ｂ）から第２の提示モード（例えば、１２２４ａ）に遷移する第１のユーザ（例えば、７００）の表現のアニメーション（例えば、連続グラフィカル遷移）（例えば、図１２Ｄを参照）を表示する。いくつかの実施形態では、遷移は、第１の提示モードにおける第１のユーザ（例えば、１２２０）の表現を形成する（例えば、ボケ効果からの）粒子（例えば、１２２５）が一緒に移動して、第２の提示モードにおける第１のユーザ（例えば、１２３０－１）の表現を形成するアニメーションとして示される。

【0240】

いくつかの実施形態では、第２の提示モードにおける第１のユーザ（例えば、１２３０－１）の表現は、第１のユーザ（例えば、７００）に関連付けられた１つ以上の色（例えば、ユーザの外観に基づいて決定される色のセット）に基づいて（例えば、自動的に、ユーザ入力なしに、コンピュータシステムによって）選択される（例えば、粒子１２３５上の）１つ以上の色のセットを含む。いくつかの実施形態では、第１のユーザに関連付けられた１つ以上の色は、物理環境（例えば、１２００）において第１のユーザが着用している衣服（例えば、７０９）の色、登録プロセス（例えば、図７Ａ～図７Ｈに関して説明した登録プロセス）中に第１のユーザが着用している衣服の色、ＸＲ環境において第１のユーザの表現が着用している衣服の色、第１のユーザの肌のトーンの色、及び／又は第１のユーザの表現の肌のトーンの色を含む。いくつかの実施形態では、第２の提示モードにおける第１のユーザの表現の色を表すデータは、外部コンピュータシステム（例えば、９０１、７０１）によってコンピュータシステム（例えば、９０１ａ）に提供される。いくつかの実施形態では、第１のユーザとは異なる第２のユーザは、第１のユーザに関連付けられた色とは異なる、第２のユーザに関連付けられた色を使用して、第２の提示モードで表される。

【0241】

いくつかの実施形態では、第２の提示モード（例えば、１２２４ａ）における第１のユーザ（例えば、１２３０－１）の表現は、カラーパレットの所定のセット（例えば、ユーザの外観に基づいて決定されない色の所定のセット）から（例えば、自動的に、ユーザ入力なしに、コンピュータシステムによって）選択される（例えば、粒子１２３５上の）１つ以上の色のセットを含む。カラーパレットの所定のセットから選択される１つ以上の色のセットを有する第１のユーザの表現を第２の提示モードで表示することは、第２の提示モードで第１のユーザの表現を表示するのに必要なユーザ入力の数を減らすことによって、ユーザの色をサンプリングする必要性をなくすことによって、及び／又はユーザに関連付けられた色が望ましくない（例えば、黒色及び／又は白色が第２の提示モードで第１のユーザの表現の外観を不明瞭にすることがある）又は検出されない（例えば、登録中に）ときに起こり得る問題をなくすことによって、コンピュータシステムによって消費される計算リソースを減らす。計算作業負荷を低減することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する／コンピュータシステムと対話するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザシステムインタフェースをより効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用できるようにすることによって、電力使用を低減し、コンピュータシステムのバッテリ寿命を改善する。

【0242】

いくつかの実施形態では、第２の提示モード（例えば、１２２４ａ）における第１のユーザ（例えば、１２３０－１）の表現は、暖色系カラーパレットのセット（例えば、暖色系トーン（例えば、オレンジ系、赤色系、及び／又は黄色系の色、平均に対してより低い色温度を有する色）のセット）から（例えば、自動的に、ユーザ入力なしに、コンピュータシステムによって）選択される（例えば、粒子１２３５上の）１つ以上の色のセットを含む。暖色系カラーパレットのセットから選択される１つ以上の色のセットを有する第２の提示モードで第１のユーザの表現を表示することは、第１のユーザの表現が擬人化された構成物でない場合であっても、第１のユーザの表現が人を表すというフィードバックをコンピュータシステムのユーザに提供する。改善されたフィードバックを提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する／コンピュータシステムと対話するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザシステムインタフェースをより効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用できるようにすることによって、電力使用を低減し、コンピュータシステムのバッテリ寿命を改善する。

【0243】

いくつかの実施形態では、コンピュータシステム（例えば、９０１ａ）は、表示生成コンポーネント（例えば、９０２ａ）を介して、システム要素の表現（例えば、仮想アシスタント、第１のユーザ以外の何かの視覚表現）を表示し、システム要素の表現は、寒色系カラーパレットのセット（例えば、寒色系トーン（例えば、青色、緑色、及び／又は紫色ベースの色、平均と比較してより高い色温度を有する色）のセット）から（例えば、自動的に、ユーザ入力なしに、コンピュータシステムによって）選択される１つ以上の色のセットを含む。寒色系カラーパレットのセットから選択される１つ以上の色のセットを有するシステム要素の表現を表示することは、システム要素の表現が人以外の何かを表す（例えば、拡張現実環境内の別のユーザを表さない）というフィードバックをコンピュータシステムのユーザに提供する。改善されたフィードバックを提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する／コンピュータシステムと対話するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザシステムインタフェースをより効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用できるようにすることによって、電力使用を低減し、コンピュータシステムのバッテリ寿命を改善する。

【0244】

いくつかの実施形態では、第１のユーザ（例えば、１２３０－１）の表現を第２の提示モード（例えば、１２２４ａ）で表示している間、コンピュータシステム（例えば、９０１ａ）は、第１のユーザ（例えば、７００、９０１）から受信したオーディオ（例えば、スピーチ）を表すデータを受信する。第１のユーザから受信されたオーディオを表すデータを受信したことに応じて、コンピュータシステムは、第１のユーザから受信されたオーディオの１つ以上の特性（例えば、トーン、音量、ピッチなどのオーディオ特性）の検出された変化に応じて、第２の提示モードにおける第１のユーザ（例えば、１２３０－３）の表現の外観（例えば、第２の提示モードにおける第１のユーザの表現及び／又は第２の提示モードにおける第１のユーザの表現を形成する粒子のサイズ、色、形状、明るさ、及び／又は、脈動パターン）を修正する（例えば、第１のユーザが話すとき、第２の提示モードにおける第１のユーザの表現は、第１のユーザの発話の変化に伴ってサイズ、色、形状、輝度、及び／又は脈動を変化させしたことによって外観が変化する）。第１のユーザから受信されたオーディオの１つ以上の特性の検出された変化に応じて、第２の提示モードにおける第１のユーザの表現の外観を修正することは、第１のユーザの表現が擬人化された構成物でない場合であっても、第１のユーザが話しているというフィードバックをコンピュータシステムのユーザに提供する。改善されたフィードバックを提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する／コンピュータシステムと対話するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザシステムインタフェースをより効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用できるようにすることによって、電力使用を低減し、コンピュータシステムのバッテリ寿命を改善する。

【0245】

いくつかの実施形態では、第１のユーザ（例えば、１２２０）の表現を第１の提示モード（例えば、１２２４ｂ）で表示している間、コンピュータシステム（例えば、９０１ａ）は、第１のユーザ（例えば、７００、９０１）から受信したオーディオ（例えば、スピーチ）を表すデータを受信する。第１のユーザから受信されたオーディオを表すデータを受信したことに応じて、コンピュータシステムは、第１のユーザから受信されたオーディオの１つ以上の特性（例えば、トーン、音量、ピッチなどのオーディオ特性）の検出された変化に応じて、第１の提示モードにおける第１のユーザの表現の外観（例えば、第１の提示モードにおける第１のユーザの表現を形成する粒子の色、形状、輝度、及び／又は脈動）を修正することを取り止める（例えば、第１のユーザが話すとき、第１の提示モードにおける第１のユーザの表現を形成する粒子は、第１のユーザの発話の変化に伴って外観が変化しない）。いくつかの実施形態では、第１のユーザが話すにつれて、第１の提示モードにおける第１のユーザの表現は、口の特徴を動かすことによって、又は話す移動を模倣する別のアクションを実行することによって、外観が任意選択的に変化するが（例えば、図１２Ｃ参照）、第１のユーザの表現を形成する粒子（例えば、１２２５）は、そうでなければ外観が変化しない。対照的に、第１のユーザの表現が第２の提示モード（１２３０－３）にあるとき、第１のユーザの表現を形成する粒子（例えば、１２３５）は、例えば、色、輝度、及び／又はパルス挙動を変化させることによって、外観を変化させる。

【0246】

いくつかの実施形態では、第２の提示モード（例えば、１２２４ａ）における第１のユーザ（例えば、１２３０－１、１２３０－２、１２３０－３、１２３０－４）の表現は、第１のユーザ（例えば、７００）によって出力される（例えば、外部コンピュータシステム（例えば、９０１）によって出力される）オーディオとは無関係に、その外観の少なくとも一部を変化させる（例えば、第２の提示モードにおける第１のユーザの表現を形成する粒子（例えば、１２３５）が所定のパターンで移動する、コンピュータシステム（例えば、９０１ａ）に提供される）。いくつかの実施形態では、第２の提示モードで第１のユーザの表現を表示することの一部が、第１のユーザに対して所定のレベルのオーディオが検出されなかった（例えば、第１のユーザに対してオーディオデータが受信されなかった、第１のユーザが話していない）所定の期間の後に、コンピュータシステム（例えば、９０１ａ）は、第１のユーザが話しているか否かとは無関係に、第２の提示モードで第１のユーザの表現の外観を所定の方法で修正する（例えば、第２のモードで第１のユーザの表現の外観が時間と共に徐々に変化する（例えば、第２の提示モードで第１のユーザの表現を形成する粒子が所定のパターンで移動する））。

【0247】

いくつかの実施形態では、第２の提示モード（例えば、１２２４ａ）における第１のユーザ（例えば、１２３０－１）の表現は、二次元又は実質的に二次元の外観（例えば、深度を伝えない外観、平坦な外観、奥行きを有するようにモデル化されていない拡張現実環境における外観）を有する要素（例えば、１２３２）（例えば、モノグラム、第１のユーザのイニシャル）を含む。一部の実施形態では、第２の提示モードにおける第１のユーザの表現（例えば、１２３０－１）は、三次元外観（例えば、球面形状、湾曲レンズ形状、直角プリズム形状、立方体形状等）を有し、第２の提示モードにおける第１のユーザの表現上に表示される要素は、二次元外観又は実質的に二次元外観（例えば、幾分三次元外観を与え得る厚さ又は視覚効果を有する二次元テキスト）を有する。

【0248】

いくつかの実施形態では、外部コンピュータシステム（例えば、９０１）は、第２のユーザ（例えば、第３のユーザ）に関連付けられた第２の外部コンピュータシステムと通信する。いくつかの実施形態では、第２の提示モード（例えば、１２２４ａ）で第１のユーザ（例えば、１２３０－１）の表現を表示することの一部として、コンピュータシステム（例えば、９０１ａ）は、表示生成コンポーネント（例えば、９０２ａ）を介して、コンピュータシステムのユーザに面する（例えば、ユーザの視点に面するように向けられた）拡張現実環境（例えば、１２１５）内の第１のポジションを有する要素（例えば、１２３２）（例えば、第１のユーザのイニシャル）を拡張現実環境内に表示する。いくつかの実施形態では、第２の外部コンピュータシステムは、第２の提示モード（例えば、１２３０－１に類似）において第１のユーザの表現を表示し、拡張現実環境において第２のユーザに面する拡張現実環境において第２のポジション（例えば、第１のポジションとは異なる）を有する要素（例えば、１２３２に類似）を表示することを含む（例えば、第２の提示モードにおける第１のユーザの表現は、要素が、コンピュータシステムのユーザには拡張現実環境においてコンピュータシステムのユーザに面しているように見え、第２のユーザには拡張現実環境において第２のユーザに面しているように見えるように表示される）。いくつかの実施形態では、要素は、拡張現実環境を見ており、第２の提示モードで第１のユーザの表現の伝送を受信している各ユーザに対して、要素が各ユーザに対してそのユーザの方を向いているように見えるように、異なって表示される。いくつかの実施形態では、表示生成コンポーネントは、拡張現実環境内のアクティブユーザに面するように要素変化ポジションを表示する。例えば、拡張現実環境内のユーザが話し始めると、要素は、話しているユーザに面するように移動（例えば、回転）する。

【0249】

いくつかの実施形態では、第１の表示サイズを有する第２の提示モード（例えば、１２２４ａ）で第１のユーザ（例えば、１２３０－１）の表現を表示している間、コンピュータシステム（例えば、９０１ａ）は、外部コンピュータシステム（例えば、９０１）から第４のデータ（いくつかの実施形態では、第３のデータ）（例えば、第１のユーザの物理環境における第１のユーザの移動（例えば、ロケーション１２００－１からロケーション１２００－２へ）を示すデータ）を受信する。第４のデータの受信に応じて、コンピュータシステム（例えば、９０１ａ）は、第２の表示サイズ（例えば、１２３０－１に示される要素１２３２のサイズ）から第２の表示サイズとは異なる第３の表示サイズ（例えば、１２３０－２に示される要素１２３２のサイズ）に変化する（例えば、拡大又は縮小する）要素（例えば、１２３２）を表示する（例えば、第２の提示モードにおける第１のユーザの表現のサイズは、（例えば、物理環境における第１のユーザの移動に基づいて）要素のサイズが変化する間、一定である）。第２の提示モードにおける第１のユーザの表現が第１のサイズを有して表示されている間に、第２の表示サイズから第２の表示サイズと異なる第３の表示サイズに変化する要素を表示することは、第１のユーザがコンピュータシステムのユーザに向かって移動している、又はコンピュータシステムのユーザから離れているというフィードバックをコンピュータシステムのユーザに提供する。改善されたフィードバックを提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する／コンピュータシステムと対話するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザシステムインタフェースをより効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用できるようにすることによって、電力使用を低減し、コンピュータシステムのバッテリ寿命を改善する。

【0250】

いくつかの実施形態では、第２の提示モード（例えば、１２３０－１）における第１のユーザの表現のサイズもサイズが変化する。例えば、第２の提示モードにおける第１のユーザの表現のサイズは、拡張現実環境（例えば、１２１５）におけるコンピュータシステム（例えば、９０１ａ）のユーザからの第１のユーザ（例えば、７００）の相対距離を示すために、より大きく又はより小さくなり得る。

【0251】

いくつかの実施形態では、第２の提示モード（例えば、１２２４ａ）における第１のユーザ（例えば、１２３０－４）の表現は、第１のユーザ（例えば、７００）のミュート状態（例えば、第１の外部コンピュータシステム（例えば、９０１）によって検出可能なオーディオがコンピュータシステム（例えば、９０１ａ）によって出力されている（又は提供されている）かどうかの状態）の視覚的インジケーション（例えば、１２４０）（例えば、グリフ）を含む。第１のユーザのミュート状態の視覚的インジケーションを表示することは、第１のユーザのオーディオがミュートされているかどうかを示すフィードバックをコンピュータシステムのユーザに提供する。改善されたフィードバックを提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する／コンピュータシステムと対話するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザシステムインタフェースをより効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用できるようにすることによって、電力使用を低減し、コンピュータシステムのバッテリ寿命を改善する。

【0252】

一部の実施形態では、第２の提示モード（例えば、１２２４ａ）における第１のユーザ（例えば、１２３０－１）の表現は、第１のユーザ（例えば、７００）の識別情報（例えば、名前又はイニシャル、テキストインジケーション）の視覚的インジケーション（例えば、１２３２）を含む。第１のユーザの識別情報の視覚的インジケーションを表示することは、第１のユーザが拡張現実環境において別様に認識可能でないとき、第１のユーザを識別するフィードバックをコンピュータシステムのユーザに提供する。改善されたフィードバックを提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する／コンピュータシステムと対話するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザシステムインタフェースをより効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用できるようにすることによって、電力使用を低減し、コンピュータシステムのバッテリ寿命を改善する。

【0253】

一部の実施形態では、第１の提示モード（例えば、１２２４ｂ）における第１のユーザ（例えば、１２２０）の表現は、アバター頭部特徴（例えば、部分１２２０－３の一部）を有するアバターを含む。いくつかの実施形態では、第１のユーザ（例えば、１２３０－１）の表現を第２の提示モード（例えば、１２２４ａ）で表示することは、アバター（例えば、１２２０）の表示を停止することと、アバター頭部特徴によって以前に占有されていた第２のロケーションと重複する第１のロケーションに、第２の提示モードで第１のユーザ（例えば、１２３０－１）の表現を表示することとを含む（例えば、第２の提示モードの第１のユーザの表現は、第１のユーザが第１の提示モードから第２の提示モードに遷移したときにアバターの頭部が位置していた位置又はその近くに表示される）。第２のモードにおいて、第１のユーザの表現を、アバター頭部特徴によって以前に占有されていた第２のロケーションと重複する第１のロケーションに表示することは、第１のユーザの顔のロケーションのフィードバックをコンピュータシステムのユーザに提供し、コンピュータシステムのユーザが、第１のユーザの視点から、拡張現実環境において第１のユーザの表現とアイコンタクトしているように見えるように、第１のユーザの表現をコンピュータシステムのユーザの焦点面と位置合わせする。改善されたフィードバックを提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する／コンピュータシステムと対話するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザシステムインタフェースをより効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用できるようにすることによって、電力使用を低減し、コンピュータシステムのバッテリ寿命を改善する。いくつかの実施形態では、アバターの頭部のロケーションは、拡張現実環境におけるオーディオ源の知覚又は決定された空間的ロケーションに基づいて決定される。

【0254】

方法１３００に関して上述したプロセス（例えば図１３Ａ～図１３Ｂ）の詳細はまた、本明細書で説明する方法８００、１０００、１１００及び１４００にも、類似の方式で適用可能であることに留意されたい。例えば、方法８００、１０００、１１００、及び／又は１４００は、任意選択的に、方法１３００を参照して上述した様々な方法の特性のうちの１つ以上を含む。簡潔にするために、これらの詳細は、以下で繰り返さない。

【0255】

図１４は、いくつかの実施形態による、ＸＲ環境において仮想アバターを表示するための例示的な方法１４００のフローチャートである。方法１４００は、表示生成コンポーネント（例えば、９０２ａ）（例えば、視覚出力デバイス、３Ｄディスプレイ、画像が投影され得る透明又は半透明である少なくとも一部を有するディスプレイ（例えば、シースルーディスプレイ）、プロジェクタ、ヘッドアップディスプレイ、ディスプレイコントローラ）、及び第１のユーザ（例えば、７００）に関連付けられた外部コンピュータシステム（例えば、９０１）と通信するコンピュータシステム（例えば、１０１、９０１ａ）（例えば、スマートフォン、タブレット、ヘッドマウント表示生成コンポーネント）において行われる（例えば、第１のユーザによって操作されている（例えば、コンピュータシステムのユーザと通信セッションにあるユーザ（例えば、拡張現実及び／又はビデオ会議））。

【0256】

方法１４００において、拡張現実環境（例えば、１２１５）において第１のユーザ（例えば、７００）（例えば、外部コンピュータシステムのユーザ）の表現（例えば、１２２０）（例えば、アバター、仮想アバター（例えば、アバターは、第１のユーザの少なくとも一部の仮想表現である、いくつかの実施形態では、仮想アバターは、第１のユーザの代わりに、拡張現実環境において表示される）を表示する要求を受信した（１４０２）ことに応じて、コンピュータシステム（例えば、９０１ａ）は、以下の項目を実行する。

【0257】

眼鏡（例えば、眼鏡、眼鏡、フレーム付き矯正レンズ、フレーム付き装飾レンズ、フレーム付き保護レンズ）表示基準のセットが満たされている（例えば、ユーザ設定（例えば、１２２６ｂ、１２２６ｃ、１２２６ｄ）が眼鏡を表示するために有効にされ、眼鏡（例えば、７０７）が登録プロセス中に第１のユーザ（例えば、７００）上で検出される（例えば、図７Ａ～図７Ｈに関して説明する、眼鏡の表示は、第１のユーザによって手動で有効化され、眼鏡の表示は、コンピュータシステム又は別のコンピュータシステム（例えば、７０１、９０１、９０１ａ）によって自動的に有効化され、第１のユーザが眼鏡を着用していることが分かっている場合）との判定（１４０４）に従って、コンピュータシステム（例えば、９０１ａ）は、表示生成コンポーネント（例えば、９０２ａ）を介して、拡張現実環境（例えば、１２１５）において第１のユーザ（例えば、１２２０）の表現を表示する（例えば、拡張現実環境においてアバターを表示する）（１４０６）。いくつかの実施形態では、第１のユーザの表現は、第１のユーザが、拡張現実環境において、人間又は擬人化された特徴（例えば、頭部、腕、脚、手など）を有するレンダリング（例えば、仮想アバター）によって、又はアニメーション化されたキャラクタ（例えば、人間、漫画のキャラクタ、犬、ロボットなどの非人間キャラクタの擬人化された構成物）として表現されるモード（例えば、１２２４ｂ）（例えば、仮想プレゼンスモード）を有して表示される。いくつかの実施形態では、第１のユーザ（例えば、１２２０）の表現は、第１のユーザ（例えば、７００）の同じ姿勢を有して表示される。一部の実施形態では、第１のユーザの表現は、第１のユーザの対応する部分（例えば、１２２０－２）と同じ姿勢を有する部分（例えば、７００－２）を有して表示される。いくつかの実施形態では、第１のユーザの表現は、物理環境における第１のユーザの少なくとも一部の姿勢の検出された変化に応じて姿勢を変化させるアバター（例えば、仮想アバター）である。例えば、アバターは、物理環境における第１のユーザの検出された移動を模倣するアニメーションキャラクタとして拡張現実環境に表示される）。

【0258】

眼鏡表示基準のセットが満たされているとの判定に従って、コンピュータシステム（例えば、９０１ａ）は、表示生成コンポーネント（例えば、９０２ａ）を介して、拡張現実環境（例えば、１２１５）において第１のユーザ（例えば、１２２０）の表現上に配置された眼鏡（例えば、１２２１）（例えば、アバター眼鏡）の表現を表示する（１４０８）（例えば、アバターは、拡張現実環境において、（例えば、目の上にヘッドセットデバイスを有するアバターを表示する代わりに）目の前に眼鏡を着用して表示される）。

【0259】

眼鏡表示基準のセットが満たされていない（例えば、図１２Ａにおいてオプション１２２６ａが選択されている）との判定（１４１０）に従って、コンピュータシステム（例えば、９０１ａ）は、表示生成コンポーネント（例えば、９０２ａ）を介して、拡張現実環境（例えば、１２１５）内の第１のユーザの表現上に配置された眼鏡の表現を表示することなく（例えば、拡張現実環境において、第１のユーザの表現上に配置された眼鏡の表現を表示することを取り止める（例えば、拡張現実環境において同じアバターが表示されるが、目の前に眼鏡を着用しない））、拡張現実環境内の第１のユーザの表現（例えば、１２２０）を表示する（１４１２）（例えば、図１２Ａ参照）。眼鏡表示基準のセットが満たされるか否かに応じて、拡張現実環境において第１のユーザの表現上に配置された眼鏡の表現を選択的に表示することは、第１のユーザの外観（第１のユーザが眼鏡を着用しているか否かなど）に関するフィードバックをコンピュータシステムのユーザに提供し、第１のユーザの表現のより現実的な外観を提供することによって人間－システム対話を改善する。改善されたフィードバックを提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する／コンピュータシステムと対話するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザシステムインタフェースをより効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用できるようにすることによって、電力使用を低減し、コンピュータシステムのバッテリ寿命を改善する。

【0260】

いくつかの実施形態では、眼鏡表示基準のセットは、眼鏡（例えば、１２２１）の表現を表示するために、ユーザ設定（例えば、１２２６ｂ、１２２６ｃ、１２２６ｄ）（例えば、ユーザ設定インタフェース（例えば、１２０４、７０４）内の選択可能なオプション（例えば、トグルスイッチ））が（例えば、第１のユーザ（例えば、７００）によって）有効にされるときに満たされる基準を含む。

【0261】

いくつかの実施形態では、眼鏡表示基準のセットは、登録プロセス中に眼鏡のセット（例えば、７０７）（例えば、ユーザによって装着されている眼鏡のセット）が（例えば、自動的に、外部コンピュータシステム（例えば、９０１、７０１）によって）検出された（例えば、外部コンピュータシステムが、登録プロセス（例えば、図７Ａ－７Ｈに関して議論されるような登録プロセス）中に第１のユーザが眼鏡のセットを装着又は保持していることを検出した）ときに満たされる基準を含む。

【0262】

いくつかの実施形態では、拡張現実環境（例えば、１２１５）において第１のユーザ（例えば、１２２０）の表現上に配置された眼鏡（例えば、１２２１）の表現を表示することの一部として、コンピュータシステム（例えば、９０１ａ）は、以下の項目を実行する。第１の外観（例えば、眼鏡の表現（例えば、図１２Ｂの眼鏡１２２１）の第１の外観）に対するオプション（例えば、１２２６ｂ）が第１のユーザ（例えば、７００）によって選択された（例えば、第１のユーザによる以前の手動選択）（例えば、第１の外観オプションが第１のユーザによって現在選択／有効化されている）との判定に従って、コンピュータシステムは、（例えば、図１２Ｂに示すように）第１の外観を有する眼鏡の表現（例えば、１２２１）を表示する。第２の外観（例えば、第１の外観（例えば、図１２Ｃの眼鏡１２２１）とは異なる眼鏡の表現の第２の外観）に対するオプション（例えば、１２２６ｃ）が第１のユーザによって選択された（例えば、第２の外観オプションが第１のユーザによって現在選択／有効化されている）との判定に従って、コンピュータシステムは、（例えば、図１２Ｃに示すように）第２の外観を有する眼鏡の表現（例えば、１２２１）を表示する。どのオプションが第１のユーザによって選択されたかに依存して、第１又は第２の外観を有する眼鏡の表現を表示することは、第１のユーザの外観（第１のユーザが着用する眼鏡の外観など）についてのフィードバックをコンピュータシステムのユーザに提供し、第１のユーザの表現のより現実的な外観を提供することによって人間－システム対話を改善する。改善されたフィードバックを提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する／コンピュータシステムと対話するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザシステムインタフェースをより効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用できるようにすることによって、電力使用を低減し、コンピュータシステムのバッテリ寿命を改善する。

【0263】

いくつかの実施形態では、第１の外観は、コンピュータシステムの表示生成コンポーネント（例えば、ヘッドセットコンポーネント、例えば、拡張現実ヘッドセット）に基づく外観である（例えば、図７Ｈ及び図１２Ａに示されるオプション１２２６ｄ）。いくつかの実施形態では、眼鏡の表現（例えば、１２２１）は、ヘッドセットデバイスの外観を有する。

【0264】

いくつかの実施形態では、拡張現実環境（例えば、１２１５）において第１のユーザ（例えば、１２２０）の表現上に配置された眼鏡（例えば、１２２１）の表現を表示することの一部として、コンピュータシステム（例えば、９０１ａ）は、以下の項目を実行する。第３の外観基準が満たされる（例えば、眼鏡の表現について第３の外観が（例えば、自動的に、コンピュータシステム及び／又は外部コンピュータシステムによって（例えば、登録プロセス中に））検出されたことを示すデータ（例えば、入力データ、コンピュータシステムのカメラ（例えば、９０４と同様）又はセンサからのデータ、外部コンピュータシステム（例えば、９０１、７０１）からのデータ）が受信される）との判定に従って、コンピュータシステム（例えば、９０１ａ）は、ユーザ（例えば、７００）の顔で検出された眼鏡（例えば、７０７）に基づいて選択された第３の外観（例えば、図１２Ｂの眼鏡１２２１の外観）を有する眼鏡（例えば、１２２１）の表現を表示する（例えば、拡張現実ヘッドセットを使用するための登録プロセス中など、拡張現実ヘッドセットを置く前に）。いくつかの実施形態では、第３の外観は、例えば、登録プロセス中にコンピュータシステム（例えば、７０１）（例えば、外部コンピュータシステム）によって自動的に検出される眼鏡の外観である。例えば、登録中に、コンピュータシステムは、ユーザが厚いフレームを有する眼鏡を着用していることを検出し、したがって、検出された眼鏡の外観（例えば、厚いフレームを有する）に類似する眼鏡の表現の外観を自動的に選択する。第３の外観基準が満たされているとの判定に従って第３の外観を有する眼鏡の表現を表示することは、第１のユーザの外観（第１のユーザが着用している眼鏡の外観など）に関するフィードバックをコンピュータシステムのユーザに提供し、第１のユーザの表現のより現実的な外観を提供することによってシステムインタラクションを改善する。改善されたフィードバックを提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する／コンピュータシステムと対話するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザシステムインタフェースをより効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用できるようにすることによって、電力使用を低減し、コンピュータシステムのバッテリ寿命を改善する。

【0265】

いくつかの実施形態では、第１のユーザ（例えば、７００）は、外観特性（例えば、スタイル、サイズ、色、形状、色合い）の第１のセットを有する眼鏡（例えば、７０７）のセットに関連付けられる。いくつかの実施形態では、第１のユーザのための登録プロセス中に眼鏡のセットが検出及び／又は選択されたとき、第１のユーザは眼鏡のセットに関連付けられる。いくつかの実施形態では、眼鏡の表現（例えば、１２２１）は、眼鏡のセットの１つ以上の視覚的詳細を省略することによって、外観特性の第１のセットとは異なる外観特性の第２のセットを有する（例えば、眼鏡の表現は、第１のユーザに関連付けられた眼鏡のセットの抽象的な表現である）。

【0266】

いくつかの実施形態では、眼鏡の表現（例えば、１２２１）は、半透明の外観を有する（例えば、図１２Ｃに示されるように）（例えば、ユーザ（例えば、１２２０）の表現の外観、仮想オブジェクトの１つ以上の表現の外観、及び／又は１つ以上の物理的オブジェクトの外観が眼鏡の表現を通して見えるように、外観はオブジェクトの形状、色、数、又はサイズのうちの１つ以上を含む）。

【0267】

いくつかの実施形態では、拡張現実環境（例えば、１２１５）内の第１のユーザ（例えば、１２２０）の表現上に位置付けられた眼鏡（例えば、１２２１）の表現は、眼鏡の１つ以上のリム部分（例えば、図１２Ｂ及び図１２Ｃに示すように）（例えば、任意選択的にレンズを有する又は有さないレンズフレーム（単数又は複数））の表現を含み、眼鏡のテンプル部分（例えば、１つ以上のアーム）の表現を含まない（例えば、眼鏡の表示された表現は、眼鏡のアーム又はテンプルを含まない）。眼鏡のテンプル部分の表現なしに眼鏡の表現を表示することは、眼鏡の表現のテンプル部分の位置決め及び表示を考慮する必要性を排除することによって、コンピュータシステムによって費やされる計算リソースを低減する。計算作業負荷を低減することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する／コンピュータシステムと対話するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザシステムインタフェースをより効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用できるようにすることによって、電力使用を低減し、コンピュータシステムのバッテリ寿命を改善する。

【0268】

方法１４００に関して上述されたプロセス（例えば、図１４）の詳細はまた、前述の方法８００、１０００、１１００及び１３００にも類似の方式で適用可能であることに留意されたい。例えば、方法８００、１０００、１１００、及び／又は１３００は、任意選択的に、方法１４００を参照して上述した様々な方法の特性のうちの１つ以上を含む。

【0269】

いくつかの実施形態では、方法８００、１０００、１１００、１３００、及び１４００の態様及び／又は動作は、これらの方法の間で交換、置換、及び／又は追加されてもよい。簡潔にするために、それらの詳細はここでは繰り返さない。

【0270】

上記は、説明を目的として、特定の実施形態を参照して記述されている。しかしながら、上記の例示的な論考は、網羅的であること、又は開示される厳密な形態に本発明を限定することを意図するものではない。上記の教示を考慮して、多くの修正及び変形が可能である。本発明の原理及びその実際的な応用を最良の形で説明し、それによって他の当業者が、想到される特定の用途に適した様々な変更で本発明及び様々な記載された実施形態を最良の形で使用することを有効化するために、これらの実施形態を選択し記載した。

【0271】

上述したように、本技術の一態様は、ユーザのＸＲ体験を改善するために、様々なソースから入手可能なデータを収集及び使用することである。本開示は、いくつかの場合には、この収集されたデータが、特定の人を一意に識別する個人情報データ、又は特定の人に連絡する若しくはその所在を突き止めるために使用できる個人情報データを含み得ることを考察する。そのような個人情報データとしては、人口統計データ、ロケーションベースのデータ、電話番号、電子メールアドレス、ツイッターＩＤ、自宅の住所、ユーザの健康若しくはフィットネスのレベルに関するデータ若しくは記録（例えば、バイタルサイン測定値、投薬情報、運動情報）、生年月日、又は任意の他の識別情報若しくは個人情報を挙げることができる。

【0272】

本開示は、本技術におけるそのような個人情報データの使用がユーザの利益になる使用であり得る点を認識するものである。例えば、個人情報データは、ユーザのＸＲ体験を向上させるために使用することができる。更に、ユーザに利益をもたらす個人情報データに関する他の使用も本開示によって意図されている。例えば、健康データ及びフィットネスデータは、ユーザの全般的なウェルネスについての洞察を提供するために使用することができ、又は、ウェルネスの目標を追求する技術を使用している個人への、積極的なフィードバックとして使用することもできる。

【0273】

本開示は、そのような個人情報データの収集、分析、開示、送信、記憶、又は他の使用に関与するエンティティが、確固たるプライバシーポリシー及び／又はプライバシー慣行を遵守するものとなることを想到する。具体的には、そのようなエンティティは、個人情報データを秘密として厳重に保守するための、業界又は政府の要件を満たしているか又は上回るものとして一般に認識されている、プライバシーのポリシー及び慣行を実施し、一貫して使用するべきである。そのようなポリシーは、ユーザによって容易にアクセス可能とするべきであり、データの収集及び／又は使用が変化するにつれて更新されるべきである。ユーザからの個人情報は、そのエンティティの合法的かつ正当な使用のために収集されるべきであり、それらの合法的使用を除いては、共有又は販売されるべきではない。更には、そのような収集／共有は、ユーザに告知して同意を得た後に実施されるべきである。その上、そのようなエンティティは、そのような個人情報データへのアクセスを保護及び安全化し、個人情報データへのアクセス権を有する他者が、それらのプライバシーポリシー及び手順を忠実に守ることを保証するための、あらゆる必要な措置を講じることを考慮するべきである。更に、そのようなエンティティは、広く受け入れられているプライバシーポリシー及び慣行に対する自身の遵守を証明するために、サードパーティによる評価を自らが受けることができる。更には、ポリシー及び慣行は、収集及び／又はアクセスされる具体的な個人情報データのタイプに適合されるべきであり、また、管轄権固有の考慮事項を含めた、適用可能な法令及び規格に適合されるべきである。例えば、アメリカ合衆国では、特定の健康データの収集又はそれへのアクセスは、医療保険の相互運用性と説明責任に関する法律（ＨＩＰＡＡ）などの、連邦法及び／又は州法に準拠し得る。その一方で、他国における健康データは、他の規制及びポリシーの対象となり得るものであり、それに従って対処されるべきである。それゆえ、各国において、異なる個人データのタイプに関して異なるプライバシー慣行が保たれるべきである。

【0274】

前述のことがらにも関わらず、本開示はまた、個人情報データの使用又は個人情報データへのアクセスを、ユーザが選択的に阻止する実施形態も想到する。すなわち、本開示は、そのような個人情報データへのアクセスを防止又は阻止するために、ハードウェア要素及び／又はソフトウェア要素が提供され得ることを意図している。例えば、ＸＲ体験の場合において、本技術は、ユーザが、サービスの登録中又はその後のいつでも、個人情報データの収集への参加の「オプトイン」又は「オプトアウト」を選択できるように構成され得る。別の例では、ユーザは、サービスのカスタマイズのためにデータを提供しないことを選択することができる。更に別の実施例では、ユーザは、データが維持される時間長を制限するか、又はカスタマイズされたサービスの展開を完全に禁止するかを選択することができる。「オプトイン」及び「オプトアウト」のオプションを提供することに加えて、本開示は、個人情報のアクセス又は使用に関する通知を提供することを意図している。例えば、ユーザの個人情報データにアクセスすることとなるアプリのダウンロード時にユーザに知らされ、その後、個人情報データがアプリによってアクセスされる直前に再びユーザに注意してもよい。

【0275】

更には、本開示の意図は、個人情報データを、非意図的若しくは許可のないアクセス又は使用の危険性を最小限に抑える方法で、管理及び処理するべきであるという点である。データの収集を制限し、データがもはや必要とされなくなると削除することにより、リスクを最小化することができる。加えて、特定の健康関連アプリケーションにおいて適用可能な場合、ユーザのプライバシーを保護するために、データの匿名化を使用することができる。非特定化は、適切な場合には、特定の識別子（例えば、生年月日など）を除去すること、記憶されたデータの量又は特異性を制御すること（例えば、ロケーションデータを住所レベルよりも都市レベルで収集すること）、データがどのように記憶されるかを制御すること（例えば、データをユーザ全体にわたって集約すること）及び／又は他の方法によって、容易にすることができる。

【0276】

それゆえ、本開示は、１つ以上の様々な開示された実施形態を実施するための、個人情報データの使用を広範に網羅するものであるが、本開示はまた、そのような個人情報データにアクセスすることを必要とせずに、それらの様々な実施形態を実施することも可能であることを想到する。すなわち、本技術の様々な実施形態は、そのような個人情報データの全て又は一部が欠如することにより、動作不可能にされるものではない。例えば、ユーザに関連付けられたデバイスによって要求されているコンテンツなどの非個人情報データ若しくは必要最小量の個人情報、サービスに利用可能な他の非個人情報、又は公的に入手可能な情報に基づき嗜好を推測することによって、ＸＲ体験を生成できる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7A】

【図7B】

【図7C】

【図7D】

【図7E】

【図7F】

【図7G】

【図7H】

【図8】

【図9A】

【図9B】

【図9C】

【図9D】

【図9E】

【図9F】

【図10】

【図11】

【図12A】

【図12B】

【図12C】

【図12D】

【図12E】

【図13A】

【図13B】

【図14】

【手続補正書】

【提出日】2023-08-09

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

方法であって、
表示生成コンポーネント及び１つ以上のカメラと通信しているコンピュータシステムにおいて、
前記１つ以上のカメラを介してユーザの顔データをキャプチャすることを含む登録プロセス中に、前記表示生成コンポーネントを介して、前記ユーザの１つ以上の特徴を登録するための登録インタフェースを表示することと、を含み、前記登録インタフェースを表示することは、
前記ユーザの顔特徴のうちの１つ以上の第１のセットを、第１の特定の表情を含む１つ以上の表情の第１の所定のセットに配置するための第１のプロンプトを出力することと、
前記ユーザの顔特徴のうちの１つ以上の第２のセットを、１つ以上の表情の前記第１の所定のセットとは異なる、前記第１の特定の表情とは異なる第２の特定の表情を含む１つ以上の表情の第２の所定のセットに配置するための第２のプロンプトを出力することと、を含む、方法。

【請求項2】

前記第１のプロンプトは、登録基準の第１のセットが満たされていないとの判定に従って出力され、
前記第２のプロンプトは、前記登録基準の第１のセットが満たされ、かつ登録基準の第２のセットが満たされていないとの判定に従って出力される、請求項１に記載の方法。

【請求項3】

前記第１のプロンプトを出力した後に、前記１つ以上のカメラを介して前記ユーザの顔データの第１のセットをキャプチャすることと、
前記第２のプロンプトを出力した後に、前記１つ以上のカメラを介して前記ユーザの顔データの第２のセットをキャプチャすることと、を更に含む、請求項１又は２に記載の方法。

【請求項4】

前記１つ以上のカメラを介して前記ユーザの前記顔データの第１のセットをキャプチャした後、前記第１のプロンプトの表示を停止することと、
前記１つ以上のカメラを介して前記ユーザの前記顔データの第２のセットをキャプチャした後、前記第２のプロンプトの表示を停止することと、を更に含む、請求項３に記載の方法。

【請求項5】

前記１つ以上の表情の前記第１の所定のセットが、笑顔、眉毛をひそめた表情、目を細めた表情、及び驚いた表情からなる群から選択される、請求項１から４のいずれか一項に記載の方法。

【請求項6】

前記第２のプロンプトが、前記ユーザが１つ以上の単語のセットを話すためのプロンプトを含む、請求項１から５のいずれか一項に記載の方法。

【請求項7】

前記ユーザの１つ以上の特徴を登録するための前記登録インタフェースを表示することが、
前記ユーザの頭部のポジションを変化させるための第３のプロンプトを出力することを更に含む、請求項１から６のいずれか一項に記載の方法。

【請求項8】

前記第３のプロンプトが、前記第１のプロンプト又は前記第２のプロンプトのうちの少なくとも１つの前に出力される、請求項７に記載の方法。

【請求項9】

前記ユーザの１つ以上の特徴を登録するための前記登録インタフェースを表示することが、
前記ユーザの頭部を静止させたまま、前記ユーザの頭部に対する前記１つ以上のカメラのポジションを変化させるための第４のプロンプトを出力することを更に含む、請求項１から８のいずれか一項に記載の方法。

【請求項10】

前記ユーザの１つ以上の特徴を登録するための前記登録インタフェースを表示することが、
前記ユーザの身長を示すための第５のプロンプトを出力することを更に含む、請求項１から９のいずれか一項に記載の方法。

【請求項11】

前記ユーザの１つ以上の特徴を登録するための前記登録インタフェースを表示することが、
前記登録プロセスの少なくとも一部の間、前記ユーザの顔から眼鏡のセットを除去するための第６のプロンプトを出力することを更に含む、請求項１から１０のいずれか一項に記載の方法。

【請求項12】

前記登録プロセス中にキャプチャされた前記顔データの少なくとも一部を使用してアバターが生成され、
前記アバターが、前記コンピュータシステムとは異なる外部コンピュータシステムを使用して表示される、請求項１から１１のいずれか一項に記載の方法。

【請求項13】

前記ユーザの１つ以上の特徴を登録するための前記登録インタフェースを表示することが、
前記ユーザの非顔特徴の姿勢をキャプチャするための第７のプロンプトを出力することを更に含む、請求項１から１２のいずれか一項に記載の方法。

【請求項14】

表示生成コンポーネント及び１つ以上のカメラと通信しているコンピュータに、請求項１から１３のいずれか一項に記載の方法を実行させる、コンピュータプログラム。

【請求項15】

表示生成コンポーネント及び１つ以上のカメラと通信するように構成されたコンピュータシステムであって、
請求項１４に記載のコンピュータプログラムを記憶しているメモリと、
前記メモリに記憶されている前記コンピュータプログラムを実行可能な１つ以上のプロセッサと、を備えるコンピュータシステム。

【請求項16】

表示生成コンポーネント及び１つ以上のカメラと通信するように構成されたコンピュータシステムであって、
請求項１から１３のいずれか一項に記載の方法を実行する手段を備えるコンピュータシステム。

【国際調査報告】