IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ アップル インコーポレイテッドの特許一覧

特表2024-544604ユーザの表現を生成及び表示するためのデバイス、方法、及びグラフィカルユーザインタフェース
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-12-03
(54)【発明の名称】ユーザの表現を生成及び表示するためのデバイス、方法、及びグラフィカルユーザインタフェース
(51)【国際特許分類】
   G06F 3/01 20060101AFI20241126BHJP
【FI】
G06F3/01 570
G06F3/01 510
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024531175
(86)(22)【出願日】2022-11-22
(85)【翻訳文提出日】2024-05-23
(86)【国際出願番号】 US2022050799
(87)【国際公開番号】W WO2023096940
(87)【国際公開日】2023-06-01
(31)【優先権主張番号】63/283,969
(32)【優先日】2021-11-29
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/988,532
(32)【優先日】2022-11-16
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.BLUETOOTH
2.FIREWIRE
3.THUNDERBOLT
4.ZIGBEE
5.ツイッター
(71)【出願人】
【識別番号】503260918
【氏名又は名称】アップル インコーポレイテッド
【氏名又は名称原語表記】Apple Inc.
【住所又は居所原語表記】One Apple Park Way,Cupertino, California 95014, U.S.A.
(74)【代理人】
【識別番号】110003281
【氏名又は名称】弁理士法人大塚国際特許事務所
(72)【発明者】
【氏名】デドナート, エイミー イー.
(72)【発明者】
【氏名】バウアリー, クリスティ イー.
(72)【発明者】
【氏名】バートン, ルパート
(72)【発明者】
【氏名】ダーガン, ドリアン ディー.
(72)【発明者】
【氏名】リックウォルド, ジェイソン ディー.
(72)【発明者】
【氏名】ロッケル, フィリップ
(72)【発明者】
【氏名】ヤーキーズ, ジャンカルロ
【テーマコード(参考)】
5E555
【Fターム(参考)】
5E555AA12
5E555AA27
5E555AA32
5E555AA43
5E555AA64
5E555BA38
5E555BB38
5E555BE17
5E555CA42
5E555CA44
5E555CB66
5E555CC01
5E555DB32
5E555DD04
5E555FA00
(57)【要約】
いくつかの例では、コンピュータシステムは、コンピュータシステムがユーザの表現を生成するためにユーザに関する情報をキャプチャすることができるように、コンピュータシステムがユーザの身体上に配置されている間にユーザの身体からコンピュータシステムを取り外すためのプロンプトを表示する。いくつかの例では、コンピュータシステムは、ユーザに関する情報をキャプチャし、ユーザの表現を生成し、ユーザの表現を表示する。いくつかの例では、コンピュータシステムは、1つ以上の所定の時間量にわたって受信されていないユーザの身体の状態に関する直接情報に基づいて、異なる外観を有するユーザの表現を表示する。いくつかの例では、コンピュータシステムは、ユーザの口の物理的状態に関するキャプチャされた情報に基づいて、ユーザの表現の異なる口表現を表示する。いくつかの例では、コンピュータシステムは、毛表現の部分がユーザの表現の個別の部分から位置決めされる距離に基づいて、ユーザの表現の毛表現の異なる部分を表示する。いくつかの例では、コンピュータシステムは、ユーザの表現の内側部分と比較して視覚的に強調されたユーザの表現の接続部分を表示する。
【特許請求の範囲】
【請求項1】
方法であって、
1つ以上の表示生成構成要素と通信しているコンピュータシステムにおいて、
前記コンピュータシステムがユーザの身体上に配置されている間に、前記1つ以上の表示生成構成要素を介して、前記ユーザの前記身体から前記コンピュータシステムを取り外し、前記コンピュータシステムを使用して前記ユーザに関連する情報をキャプチャするように指示するプロンプトを表示することと、
前記コンピュータシステムを前記ユーザの前記身体から取り外すように指示する前記プロンプトを表示した後に、前記コンピュータシステムが前記ユーザの前記身体から取り外されたことを検出することと、
前記コンピュータシステムが前記ユーザの前記身体から取り外されたことを検出した後に、前記ユーザに関連する情報をキャプチャすることであって、前記コンピュータシステムは、前記情報を使用して、前記ユーザの表現を生成するように構成されている、ことと、
を含む、方法。
【請求項2】
前記ユーザの前記表現は、拡張現実環境及び/又は仮想現実環境において表示されるように構成されている、請求項1に記載の方法。
【請求項3】
前記コンピュータシステムは、前記ユーザの前記表現を立体的に生成するように構成されている、請求項1又は2に記載の方法。
【請求項4】
前記コンピュータシステムが前記ユーザの前記身体から取り外されたことを検出する前に、前記コンピュータシステムを使用して前記ユーザに関連する前記情報をキャプチャする命令を提供することを更に含む、請求項1から3のいずれか一項に記載の方法。
【請求項5】
前記命令を提供することは、前記1つ以上の表示生成構成要素を介して、前記コンピュータシステムを使用して前記ユーザに関する前記情報をキャプチャすることを実演するアニメーションを表示することを含む、請求項4に記載の方法。
【請求項6】
前記コンピュータシステムが前記ユーザの前記身体から取り外されたことを検出する前に、
基準のセットが満たされているという判定に従って、前記1つ以上の表示生成構成要素を介して、前記ユーザに関連する情報の前記キャプチャに影響を及ぼす条件に関連するインジケーションを表示することと、
前記基準のセットが満たされていないという判定に従って、前記ユーザに関連する情報の前記キャプチャに影響を及ぼす前記条件に関連付けられた前記インジケーションを表示することを取り止めることと、を更に含む、請求項1から5のいずれか一項に記載の方法。
【請求項7】
前記ユーザに関連する情報の前記キャプチャに影響を及ぼす前記条件に関連付けられた前記インジケーションは、前記条件を修正するのに役立つアクションを取ることに関する情報を含む、請求項6に記載の方法。
【請求項8】
前記コンピュータシステムが前記ユーザの前記身体から取り外されたことを検出したことに応じて、前記ユーザに関連する前記情報をキャプチャするプロセスを開始することを更に含む、請求項1から7のいずれか一項に記載の方法。
【請求項9】
前記コンピュータシステムが前記ユーザの前記身体から取り外されたことを検出した後に、前記ユーザに関連する前記情報をキャプチャする命令を含む第2のプロンプトを提供することを更に含む、請求項1から8のいずれか一項に記載の方法。
【請求項10】
前記第2のプロンプトを提供することは、前記1つ以上の表示生成構成要素を介して、1つ以上の登録命令とともに視覚的プロンプトを表示することを含む、請求項9に記載の方法。
【請求項11】
前記コンピュータシステムを前記ユーザの前記身体から取り外し、前記コンピュータシステムを使用して前記ユーザに関連する情報をキャプチャするように指示する前記プロンプトは、前記1つ以上の表示生成構成要素のうちの第1の表示生成構成要素を介して表示され、
前記視覚的プロンプトは、前記1つ以上の表示生成構成要素のうちの、前記第1の表示生成構成要素とは異なる第2の表示生成構成要素を介して表示される、請求項10に記載の方法。
【請求項12】
前記第2のプロンプトを提供することは、前記コンピュータシステムと通信するオーディオデバイスを介して、1つ以上の登録命令とともにオーディオプロンプトを出力することを含む、請求項9から11のいずれか一項に記載の方法。
【請求項13】
前記第2のプロンプトを提供することは、前記コンピュータシステムに対してターゲットロケーション内で前記ユーザの前記身体の一部分を配向させるように前記ユーザに指示するインジケーションを提供することを含む、請求項9から12のいずれか一項に記載の方法。
【請求項14】
前記第2のプロンプトを提供することは、前記ユーザの情報の前記キャプチャに影響を及ぼす条件を調整するように前記ユーザに指示するインジケーションを提供することを含む、請求項9から13のいずれか一項に記載の方法。
【請求項15】
前記第2のプロンプトを提供することは、前記ユーザの頭部のポジションを移動させるように前記ユーザに指示するインジケーションを提供することを含む、請求項9から14のいずれか一項に記載の方法。
【請求項16】
前記第2のプロンプトを提供することは、前記ユーザの顔の特徴のうちの1つ以上のセットを1つ以上の顔の表情の既定のセット内に位置決めするように前記ユーザに指示するインジケーションを提供することを含む、請求項9から15のいずれか一項に記載の方法。
【請求項17】
前記第2のプロンプトを提供することは、前記コンピュータシステムのポジションを調整して前記コンピュータシステムを前記ユーザの身体の既定の部分に配向させるように前記ユーザに指示するインジケーションを提供することを含む、請求項9から16のいずれか一項に記載の方法。
【請求項18】
前記コンピュータシステムを前記ユーザの前記身体から取り外し、前記コンピュータシステムを使用して前記ユーザに関連する情報をキャプチャするように指示する前記プロンプトは、前記1つ以上の表示生成構成要素のうちの第1の表示生成構成要素を介して表示され、前記方法は、
前記ユーザに関連する前記情報をキャプチャした後に、前記1つ以上の表示生成構成要素のうちの前記第1の表示生成構成要素とは異なる第2の表示生成構成要素を介して、前記ユーザの前記表現のプレビューを表示することを更に含む、請求項1から17のいずれか一項に記載の方法。
【請求項19】
前記ユーザに関連する前記情報をキャプチャした後に、前記コンピュータシステムが前記ユーザの前記身体上に配置されたことを検出することと、
前記コンピュータシステムが前記ユーザの前記身体上に配置されたことを検出した後に、前記1つ以上の表示生成構成要素を介して、前記ユーザの前記表現のプレビューを表示することと、を更に含む、請求項1から18のいずれか一項に記載の方法。
【請求項20】
前記ユーザに関連する前記情報をキャプチャすることは、前記ユーザの身体の第1の部分に関する第1の情報をキャプチャすることを含み、前記方法は、
前記ユーザの前記身体の前記第1の部分に関連する前記第1の情報をキャプチャした後に、前記コンピュータシステムが前記ユーザの前記身体上に配置されたことを検出することと、
前記コンピュータシステムが前記ユーザの前記身体上に配置されたことを検出した後に、前記ユーザの前記身体の前記第1の部分とは異なる、前記ユーザの前記身体の第2の部分に関連する第2の情報をキャプチャするプロセスを開始することと、を更に含む、請求項1から19のいずれか一項に記載の方法。
【請求項21】
前記ユーザの前記身体の前記第2の部分に関連する前記第2の情報をキャプチャする前記プロセスを開始することは、前記1つ以上の表示生成構成要素を介して、前記ユーザが前記ユーザの前記身体の前記第2の部分を位置決めするためのロケーションを示す視覚的インジケーションを表示することを含む、請求項20に記載の方法。
【請求項22】
前記ユーザの前記身体の前記第2の部分に関連する前記第2の情報をキャプチャする前記プロセスを開始することは、前記ユーザの前記身体の前記第2の部分の配向を調整するように前記ユーザに指示するプロンプトを提供することを含む、請求項20又は21に記載の方法。
【請求項23】
前記ユーザの前記身体の前記第2の部分に関連する前記第2の情報をキャプチャした後に、前記1つ以上の表示生成構成要素を介して、エクステンデッドリアリティ環境内で前記ユーザの前記表現を表示することを更に含む、請求項20から22のいずれか一項に記載の方法。
【請求項24】
1つ以上の表示生成構成要素と通信しているコンピュータシステムの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記1つ以上のプログラムは、請求項1から23のいずれか一項に記載の方法を実行する命令を含む、非一時的コンピュータ可読記憶媒体。
【請求項25】
1つ以上の表示生成構成要素と通信しているコンピュータシステムであって、前記コンピュータシステムは、
1つ以上のプロセッサと、
前記1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶するメモリと、を備え、前記1つ以上のプログラムは、請求項1から23のいずれか一項に記載の方法を実行する命令を含む、コンピュータシステム。
【請求項26】
1つ以上の表示生成構成要素と通信しているコンピュータシステムであって、前記コンピュータシステムは、
請求項1から23のいずれか一項に記載の方法を実行する手段を備える、コンピュータシステム。
【請求項27】
1つ以上の表示生成構成要素と通信しているコンピュータシステムの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記1つ以上のプログラムは、
前記コンピュータシステムがユーザの身体上に配置されている間に、前記1つ以上の表示生成構成要素を介して、前記ユーザの前記身体から前記コンピュータシステムを取り外し、前記コンピュータシステムを使用して前記ユーザに関連する情報をキャプチャするように指示するプロンプトを表示し、
前記コンピュータシステムを前記ユーザの前記身体から取り外すように指示する前記プロンプトを表示した後に、前記コンピュータシステムが前記ユーザの前記身体から取り外されたことを検出し、
前記コンピュータシステムが、前記ユーザの前記身体から取り外されたことを検出した後に、前記ユーザに関連する情報をキャプチャする、命令を含む、非一時的コンピュータ可読記憶媒体であって、前記コンピュータシステムは、前記情報を使用して、前記ユーザの表現を生成するように構成されている、非一時的コンピュータ可読記憶媒体。
【請求項28】
1つ以上の表示生成構成要素と通信しているコンピュータシステムであって、前記コンピュータシステムは、
1つ以上のプロセッサと、
前記1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶するメモリと、を備え、前記1つ以上のプログラムは、
前記コンピュータシステムがユーザの身体上に配置されている間に、前記1つ以上の表示生成構成要素を介して、前記ユーザの前記身体から前記コンピュータシステムを取り外し、前記コンピュータシステムを使用して前記ユーザに関連する情報をキャプチャするように指示するプロンプトを表示し、
前記コンピュータシステムを前記ユーザの前記身体から取り外すように指示する前記プロンプトを表示した後に、前記コンピュータシステムが前記ユーザの前記身体から取り外されたことを検出し、
前記コンピュータシステムは、前記情報を使用して、前記ユーザの表現を生成するように構成されている、前記コンピュータシステムが、前記ユーザの前記身体から取り外されたことを検出した後に、前記ユーザに関連する情報をキャプチャする、命令を含む、コンピュータシステムであって、前記コンピュータシステムは、前記情報を使用して、前記ユーザの表現を生成するように構成されている、コンピュータシステム。
【請求項29】
1つ以上の表示生成構成要素と通信しているコンピュータシステムであって、前記コンピュータシステムは、
前記コンピュータシステムがユーザの身体上に配置されている間に、前記1つ以上の表示生成構成要素を介して、前記ユーザの前記身体から前記コンピュータシステムを取り外し、前記コンピュータシステムを使用して前記ユーザに関連する情報をキャプチャするように指示するプロンプトを表示する手段と、
前記コンピュータシステムを前記ユーザの前記身体から取り外すように指示する前記プロンプトを表示した後に、前記コンピュータシステムが前記ユーザの前記身体から取り外されたことを検出する手段と、
前記コンピュータシステムは、前記情報を使用して、前記ユーザの表現を生成するように構成されている、前記コンピュータシステムが、前記ユーザの前記身体から取り外されたことを検出した後に、前記ユーザに関連する情報をキャプチャする手段と、を備える、コンピュータシステムであって、前記コンピュータシステムは、前記情報を使用して、前記ユーザの表現を生成するように構成されている、コンピュータシステム。
【請求項30】
方法であって、
1つ以上の表示生成構成要素と通信しているコンピュータシステムにおいて、
ユーザの表現を生成するための登録プロセス中に、前記コンピュータシステムのユーザの1つ以上の身体的特徴に関する情報をキャプチャすることと、
前記コンピュータシステムの前記ユーザの前記1つ以上の身体的特徴に関する前記情報をキャプチャした後に、前記ユーザの前記1つ以上のキャプチャされた身体的特徴に基づいて前記表現の1つ以上の身体的特徴を選択することを含む、前記ユーザの前記1つ以上の身体的特徴に関する前記情報に基づいて前記ユーザの前記表現を生成することと、
前記ユーザの前記表現を生成した後に、前記1つ以上の表示生成構成要素を介して、エクステンデッドリアリティ環境内に前記ユーザの前記表現の少なくとも一部分を表示することと、を含む、方法。
【請求項31】
前記エクステンデッドリアリティ環境は、拡張現実環境を含む、請求項30に記載の方法。
【請求項32】
前記エクステンデッドリアリティ環境は、仮想現実環境を含む、請求項30に記載の方法。
【請求項33】
前記コンピュータシステムの前記ユーザの1つ以上の身体的特徴に関する前記情報をキャプチャすることは、前記コンピュータシステムが前記ユーザの身体から取り外されている間に、前記コンピュータシステムの前記ユーザの1つ以上の身体的特徴に関する前記情報をキャプチャすることを含み、
前記エクステンデッドリアリティ環境内に前記ユーザの前記表現の少なくとも前記一部分を表示することは、前記コンピュータシステムが前記ユーザの前記身体上に配置されたことを検出した後に、前記エクステンデッドリアリティ環境内に前記ユーザの前記表現の少なくとも前記一部分を表示することを含む、請求項30から32のいずれか一項に記載の方法。
【請求項34】
前記エクステンデッドリアリティ環境内に前記ユーザの表現の少なくとも前記一部分を表示することは、前記コンピュータシステムの少なくとも前記一部分に対する前記ユーザの移動に基づいて前記表現をアニメーション化することを含む、請求項30から33のいずれか一項に記載の方法。
【請求項35】
前記表現をアニメーション化することは、前記コンピュータシステムの少なくとも前記一部分に対する前記ユーザの前記移動の鏡像である前記表現の移動を表示することを含む、請求項34に記載の方法。
【請求項36】
前記エクステンデッドリアリティ環境内に前記ユーザの前記表現の少なくとも前記一部分を表示することは、前記ユーザが位置する物理的環境内の前記ユーザの第2の配向の鏡像である第1の配向を用いて前記表現を表示することを含む、請求項30から35のいずれか一項に記載の方法。
【請求項37】
前記エクステンデッドリアリティ環境内に前記ユーザの前記表現の少なくとも前記一部分を表示することは、前記エクステンデッドリアリティ環境内の前記表現の周囲に、フレームを表示することを含み、前記フレームは、前記エクステンデッドリアリティ環境内の前記ユーザの前記表現が、前記ユーザが位置する物理的環境内の前記ユーザの配向の鏡像である配向を有することを示す、請求項30から36のいずれか一項に記載の方法。
【請求項38】
前記エクステンデッドリアリティ環境内に前記ユーザの前記表現の少なくとも一部分を表示している間に、前記1つ以上の表示生成構成要素を介して、前記表現の視覚的特性を編集するための1つ以上の選択可能オプションを表示することを更に含む、請求項30から37のいずれか一項に記載の方法。
【請求項39】
前記1つ以上の選択可能オプションは、前記表現のアイウェアを編集するためのアイウェア選択可能オプションを含む、請求項38に記載の方法。
【請求項40】
前記1つ以上の選択可能オプションは、前記表現のアクセサリを編集するためのアクセサリ選択可能オプションを含む、請求項38又は39に記載の方法。
【請求項41】
前記1つ以上の選択可能オプションは、前記表現のスキントーンを編集するための1つ以上のスキントーン選択可能オプションを含む、請求項38から40のいずれか一項に記載の方法。
【請求項42】
前記1つ以上のスキントーン選択可能オプションは、前記表現の顔のスキントーンを編集するための第1のスキントーン選択可能オプションと、前記表現の手のスキントーンを編集するための第2のスキントーン選択可能オプションと、を含む、請求項41に記載の方法。
【請求項43】
前記1つ以上の選択可能オプションは、選択されると、前記ユーザの前記1つ以上の身体的特徴に関する情報を再キャプチャするプロセスを開始する、再キャプチャ選択可能オプションを含む、請求項38から42のいずれか一項に記載の方法。
【請求項44】
前記1つ以上の選択可能オプションは、選択されると、前記コンピュータシステムの前記ユーザの前記1つ以上の身体的特徴に関する第2の情報をキャプチャすることを含む、前記登録プロセスのステップを開始する、再開選択可能オプションを含む、請求項38から43のいずれか一項に記載の方法。
【請求項45】
前記ユーザの前記1つ以上の身体的特徴は、前記ユーザの顔の1つ以上の第1の特徴及び前記ユーザの手の1つ以上の第2の特徴を含み、前記方法は、
前記ユーザの前記表現を生成するための前記登録プロセス中に、かつ前記コンピュータシステムが前記ユーザの身体から取り外されている間に、前記ユーザの前記顔の前記1つ以上の第1の特徴をキャプチャすることと、
前記ユーザの前記顔の前記1つ以上の第1の特徴をキャプチャした後に、前記コンピュータシステムが前記ユーザの前記身体上に配置されていることを検出することと、
前記コンピュータシステムが前記ユーザの前記身体上に配置されていることを検出した後に、前記ユーザの前記手の前記1つ以上の第2の特徴をキャプチャすることと、を更に含む、請求項30から44のいずれか一項に記載の方法。
【請求項46】
前記登録プロセスは、前記コンピュータシステムのためのセットアッププロセスの一部であり、前記方法は、
前記コンピュータシステムのための前記セットアッププロセス中に、前記ユーザの1つ以上の生体特徴をキャプチャすることを更に含む、請求項30から45のいずれか一項に記載の方法。
【請求項47】
前記登録プロセスは、前記コンピュータシステムのためのセットアッププロセスの一部であり、前記方法は、
前記コンピュータシステムのための前記セットアッププロセス中に、前記コンピュータシステムが1つ以上の入力技術の検出を較正することを可能にする入力較正プロセスを実行することを更に含む、請求項30から46のいずれか一項に記載の方法。
【請求項48】
前記登録プロセスは、前記コンピュータシステムのためのセットアッププロセスの一部であり、前記方法は、
前記コンピュータシステムのための前記セットアッププロセス中に、空間オーディオ較正プロセスを実行することを更に含む、請求項30から47のいずれか一項に記載の方法。
【請求項49】
前記登録プロセスは、前記コンピュータシステムのためのセットアッププロセスの一部であり、前記方法は、
前記コンピュータシステムのための前記セットアッププロセス中に、リアルタイム通信セッション中に前記表現を使用する命令のインジケーションを提供することを更に含む、請求項30から48のいずれか一項に記載の方法。
【請求項50】
前記ユーザの前記1つ以上の身体的特徴は、前記ユーザの衣類を含み、前記表現は、前記ユーザの前記表現を生成するための前記登録プロセス中に検出された前記ユーザの前記衣類に基づく衣類表現を含む、請求項30から49のいずれか一項に記載の方法。
【請求項51】
前記エクステンデッドリアリティ環境内に前記ユーザの前記表現の少なくとも前記一部分を表示した後に、前記1つ以上の表示生成構成要素を介して、メニューユーザインタフェースを表示することを更に含み、前記メニューユーザインタフェースは、
選択されると、前記コンピュータシステムに、前記エクステンデッドリアリティ環境内で前記ユーザの前記表現の少なくとも前記一部分を表示させる、選択可能オプションを含む、請求項30から50のいずれか一項に記載の方法。
【請求項52】
1つ以上の表示生成構成要素と通信しているコンピュータシステムの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記1つ以上のプログラムは、請求項30から51のいずれか一項に記載の方法を実行する命令を含む、非一時的コンピュータ可読記憶媒体。
【請求項53】
1つ以上の表示生成構成要素と通信しているコンピュータシステムであって、前記コンピュータシステムは、
1つ以上のプロセッサと、
前記1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶するメモリと、を備え、前記1つ以上のプログラムは、請求項30から51のいずれか一項に記載の方法を実行する命令を含む、コンピュータシステム。
【請求項54】
1つ以上の表示生成構成要素と通信しているコンピュータシステムであって、前記コンピュータシステムは、
請求項30から51のいずれか一項に記載の方法を実行する手段を備える、コンピュータシステム。
【請求項55】
1つ以上の表示生成構成要素と通信しているコンピュータシステムの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記1つ以上のプログラムは、
ユーザの表現を生成するための登録プロセス中に、前記コンピュータシステムのユーザの1つ以上の身体的特徴に関する情報をキャプチャし
前記コンピュータシステムの前記ユーザの前記1つ以上の身体的特徴に関する前記情報をキャプチャした後に、前記ユーザの前記1つ以上のキャプチャされた身体的特徴に基づいて前記表現の1つ以上の身体的特徴を選択することを含む、前記ユーザの前記1つ以上の身体的特徴に関する前記情報に基づいて前記ユーザの前記表現を生成し、
前記ユーザの前記表現を生成した後に、前記1つ以上の表示生成構成要素を介して、エクステンデッドリアリティ環境内に前記ユーザの前記表現の少なくとも一部分を表示する、命令を含む、非一時的コンピュータ可読記憶媒体。
【請求項56】
1つ以上の表示生成構成要素と通信しているコンピュータシステムであって、前記コンピュータシステムは、
1つ以上のプロセッサと、
前記1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶するメモリと、を備え、前記1つ以上のプログラムは、
ユーザの表現を生成するための登録プロセス中に、前記コンピュータシステムのユーザの1つ以上の身体的特徴に関する情報をキャプチャし
前記コンピュータシステムの前記ユーザの前記1つ以上の身体的特徴に関する前記情報をキャプチャした後に、前記ユーザの前記1つ以上のキャプチャされた身体的特徴に基づいて前記表現の1つ以上の身体的特徴を選択することを含む、前記ユーザの前記1つ以上の身体的特徴に関する前記情報に基づいて前記ユーザの前記表現を生成し、
前記ユーザの前記表現を生成した後に、前記1つ以上の表示生成構成要素を介して、エクステンデッドリアリティ環境内に前記ユーザの前記表現の少なくとも一部分を表示する、命令を含む、コンピュータシステム。
【請求項57】
1つ以上の表示生成構成要素と通信しているコンピュータシステムであって、前記コンピュータシステムは、
ユーザの表現を生成するための登録プロセス中に、前記コンピュータシステムのユーザの1つ以上の身体的特徴に関する情報をキャプチャする手段と、
前記コンピュータシステムの前記ユーザの前記1つ以上の身体的特徴に関する前記情報をキャプチャした後に、前記ユーザの前記1つ以上のキャプチャされた身体的特徴に基づいて前記表現の1つ以上の身体的特徴を選択することを含む、前記ユーザの前記1つ以上の身体的特徴に関する前記情報に基づいて前記ユーザの前記表現を生成する手段と、
前記ユーザの前記表現を生成した後に、前記1つ以上の表示生成構成要素を介して、エクステンデッドリアリティ環境内に前記ユーザの前記表現の少なくとも一部分を表示する手段と、を備える、コンピュータシステム。
【請求項58】
方法であって、
1つ以上の表示生成構成要素と通信している第1のコンピュータシステムにおいて、
前記第1のコンピュータシステムが前記第1のコンピュータシステムの第1のユーザによって使用されている間に、前記1つ以上の表示生成構成要素を介して、第2のユーザの表現であって、前記第2のユーザの前記表現は、前記第1のコンピュータシステムとのライブ通信セッション中に第2のコンピュータシステムによって検出された前記第2のユーザの検出された移動に基づいて移動する、第2のユーザの表現を、第1の忠実度でエクステンデッドリアリティ環境内に表示することと、
前記エクステンデッドリアリティ環境内に前記第2のユーザの前記表現を表示している間に、前記第2のユーザの前記身体の状態に関する直接情報の量が変化し、
前記第2のユーザの前記身体の前記状態に関する前記直接情報の量が変化したことに応じて、前記第1のコンピュータシステムが、前記1つ以上の表示生成構成要素を介して、異なる忠実度で前記第2のユーザの前記表現を表示することを開始することと、を含む、方法であって、前記表示することは、
前記第2のユーザの前記身体の前記状態に関する前記直接情報が、第1の時間閾値よりも長く、かつ第2の時間閾値よりも短い第1の時間量にわたって受信されないという判定に従って、前記1つ以上の表示生成構成要素を介して、前記第1の忠実度よりも低い第2の忠実度で前記第2のユーザの前記表現を表示することと、
前記第2のユーザの前記身体の前記状態に関する直接情報が、前記第1の時間閾値よりも長く、かつ前記第2の時間閾値よりも長い第2の時間量にわたって受信されないという判定に従って、前記1つ以上の表示生成構成要素を介して、前記第2の忠実度よりも低い第3の忠実度で前記第2のユーザの前記表現を表示することと、を含む、方法。
【請求項59】
前記エクステンデッドリアリティ環境内に前記第2のユーザの前記表現を表示することは、前記第1のユーザとのリアルタイム通信セッション中に前記第2のユーザの前記表現を表示することを含む、請求項58に記載の方法。
【請求項60】
前記第2のユーザの前記身体の前記状態に関する直接情報の前記量が変化しないことに応じて、前記第1の忠実度で前記エクステンデッドリアリティ環境内に前記第2のユーザの前記表現を表示することを維持することを更に含む、請求項58又は59に記載の方法。
【請求項61】
前記第2の忠実度で前記第2のユーザの前記表現を表示することは、1つ以上の擬人化特徴を有する前記第2のユーザの前記表現を表示することを含み、前記第2の忠実度よりも低い前記第3の忠実度で前記第2のユーザの前記表現を表示することは、前記1つ以上の表示生成構成要素を介して、前記1つ以上の擬人化特徴のうちの個別の擬人化特徴を有さない前記第2のユーザの前記表現を表示することを含む、請求項58から60のいずれか一項に記載の方法。
【請求項62】
前記1つ以上の擬人化特徴のうちの前記個別の擬人化特徴を有さない前記第2のユーザの前記表現を表示することは、前記第2のユーザの前記表現が前記1つ以上の擬人化特徴とともに表示されるときに表示される前記第2のユーザの前記表現の第2のサイズよりも小さい第1のサイズで前記第2のユーザの前記表現を表示することを含む、請求項61に記載の方法。
【請求項63】
前記1つ以上の擬人化特徴を有する前記第2のユーザの前記表現を表示することは、第4の視覚的忠実度で前記第2のユーザの前記表現の第1の部分を表示することを含み、前記1つ以上の擬人化特徴のうちの前記個別の擬人化特徴を有さない前記第2のユーザの前記表現を表示することは、前記第4の忠実度よりも低い第5の視覚的忠実度で前記第2のユーザの前記表現の前記第1の部分を表示することを含む、請求項61又は62に記載の方法。
【請求項64】
前記第1の忠実度で前記第2のユーザの前記表現を表示することは、前記表示生成構成要素を介して、第1の精度で前記第2のユーザの前記表現を表示することを含み、
前記第2の忠実度で前記第2のユーザの前記表現を表示することは、前記表示生成構成要素を介して、前記第1の精度よりも低い第2の精度で前記第2のユーザの前記表現を表示することを含む、請求項58から63のいずれか一項に記載の方法。
【請求項65】
前記ユーザの個別のタイプの移動を検出することと、
前記ユーザの前記個別のタイプの移動を検出したことに応じて、
前記第2のユーザの前記表現が前記第1の忠実度で表示されているという判定に従って、前記1つ以上の表示生成構成要素を介して、前記ユーザの前記個別のタイプの移動に基づいて前記第2のユーザの前記表現の移動を表示し、
前記第2のユーザの前記表現が前記第2の忠実度で表示されているという判定に従って、前記ユーザの前記個別のタイプの移動に基づいて、前記第2のユーザの前記表現の移動を表示することを取り止めることと、を含む、請求項58から64のいずれか一項に記載の方法。
【請求項66】
前記第1の忠実度で前記第2のユーザの前記表現を表示することは、第1の平均粒子サイズを有する複数の粒子で前記第2のユーザの前記表現を表示することを含み、
前記第2の忠実度で前記第2のユーザの前記表現を表示することは、前記第1の平均粒子サイズよりも大きい第2の平均粒子サイズを有する複数の粒子で前記第2のユーザの前記表現を表示することを含む、請求項58から65のいずれか一項に記載の方法。
【請求項67】
前記第1の忠実度は、第1のぼかし量を含み、
前記第2の忠実度は、前記第1のぼかし量よりも大きい第2のぼかし量を含む、請求項58から66のいずれか一項に記載の方法。
【請求項68】
前記第2の忠実度で前記第2のユーザの前記表現を表示することは、前記第2のユーザの形状に基づく形状を有する前記第2のユーザの前記表現を表示することを含む、請求項58から67のいずれか一項に記載の方法。
【請求項69】
前記第2の忠実度で前記第2のユーザの前記表現を表示している間に、
前記第2のユーザの前記身体の前記状態に関する前記直接情報が前記第2の時間量にわたって受信されないという判定に従って、前記1つ以上の表示生成構成要素を介して、前記第2の忠実度よりも低い前記第3の忠実度で前記第2のユーザの前記表現を表示することを更に含む、請求項58から68のいずれか一項に記載の方法。
【請求項70】
前記第2のユーザの前記身体の前記状態に関する前記直接情報は、前記第2のユーザの前記身体の第1の部分の状態に関する直接情報を含み、
前記第2のユーザの前記身体の前記状態に関する前記直接情報は、前記第2のユーザの前記身体の前記第1の部分とは異なる、前記第2のユーザの前記身体の第2の部分の状態に関する直接情報を含まない、請求項58から69のいずれか一項に記載の方法。
【請求項71】
1つ以上の表示生成構成要素と通信しているコンピュータシステムの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記1つ以上のプログラムは、請求項58から70のいずれか一項に記載の方法を実行する命令を含む、非一時的コンピュータ可読記憶媒体。
【請求項72】
1つ以上の表示生成構成要素と通信しているコンピュータシステムであって、前記コンピュータシステムは、
1つ以上のプロセッサと、
前記1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶するメモリと、を備え、前記1つ以上のプログラムは、請求項58から70のいずれか一項に記載の方法を実行する命令を含む、コンピュータシステム。
【請求項73】
1つ以上の表示生成構成要素と通信しているコンピュータシステムであって、前記コンピュータシステムは、
請求項58から70のいずれか一項に記載の方法を実行する手段を備える、コンピュータシステム。
【請求項74】
1つ以上の表示生成構成要素と通信している第1のコンピュータシステムの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記1つ以上のプログラムは、
前記第1のコンピュータシステムが前記第1のコンピュータシステムの第1のユーザによって使用されている間に、前記1つ以上の表示生成構成要素を介して、第2のユーザの表現であって、前記第2のユーザの前記表現は、前記第1のコンピュータシステムとのライブ通信セッション中に第2のコンピュータシステムによって検出された前記第2のユーザの検出された移動に基づいて移動する、第2のユーザの表現を、第1の忠実度でエクステンデッドリアリティ環境内に表示し、
前記エクステンデッドリアリティ環境内に前記第2のユーザの前記表現を表示している間に、前記第2のユーザの前記身体の状態に関する直接情報の量が変化し、
前記第2のユーザの前記身体の前記状態に関する前記直接情報の量が変化したことに応じて、前記第1のコンピュータシステムが、前記1つ以上の表示生成構成要素を介して、異なる忠実度で前記第2のユーザの前記表現を表示することを開始する、命令を含む、非一時的コンピュータ可読記憶媒体であって、前記表示することは、
前記第2のユーザの前記身体の前記状態に関する前記直接情報が、第1の時間閾値よりも長く、かつ第2の時間閾値よりも短い第1の時間量にわたって受信されないという判定に従って、前記1つ以上の表示生成構成要素を介して、前記第1の忠実度よりも低い第2の忠実度で前記第2のユーザの前記表現を表示することと、
前記第2のユーザの前記身体の前記状態に関する直接情報が、前記第1の時間閾値よりも長く、かつ前記第2の時間閾値よりも長い第2の時間量にわたって受信されないという判定に従って、前記1つ以上の表示生成構成要素を介して、前記第2の忠実度よりも低い第3の忠実度で前記第2のユーザの前記表現を表示することと、を含む、非一時的コンピュータ可読記憶媒体。
【請求項75】
1つ以上の表示生成構成要素と通信している第1のコンピュータシステムであって、前記コンピュータシステムは、
1つ以上のプロセッサと、
前記1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶するメモリと、を備え、前記1つ以上のプログラムは、
前記第1のコンピュータシステムが前記第1のコンピュータシステムの第1のユーザによって使用されている間に、前記1つ以上の表示生成構成要素を介して、第2のユーザの表現であって、前記第2のユーザの前記表現は、前記第1のコンピュータシステムとのライブ通信セッション中に第2のコンピュータシステムによって検出された前記第2のユーザの検出された移動に基づいて移動する、第2のユーザの表現を、第1の忠実度でエクステンデッドリアリティ環境内に表示し、
前記エクステンデッドリアリティ環境内に前記第2のユーザの前記表現を表示している間に、前記第2のユーザの前記身体の状態に関する直接情報の量が変化し、
前記第2のユーザの前記身体の前記状態に関する前記直接情報の量が変化したことに応じて、前記第1のコンピュータシステムが、前記1つ以上の表示生成構成要素を介して、異なる忠実度で前記第2のユーザの前記表現を表示することを開始する、命令を含む、第1のコンピュータシステムであって、前記表示することは、
前記第2のユーザの前記身体の前記状態に関する前記直接情報が、第1の時間閾値よりも長く、かつ第2の時間閾値よりも短い第1の時間量にわたって受信されないという判定に従って、前記1つ以上の表示生成構成要素を介して、前記第1の忠実度よりも低い第2の忠実度で前記第2のユーザの前記表現を表示することと、
前記第2のユーザの前記身体の前記状態に関する直接情報が、前記第1の時間閾値よりも長く、かつ前記第2の時間閾値よりも長い第2の時間量にわたって受信されないという判定に従って、前記1つ以上の表示生成構成要素を介して、前記第2の忠実度よりも低い第3の忠実度で前記第2のユーザの前記表現を表示することと、を含む、第1のコンピュータシステム。
【請求項76】
1つ以上の表示生成構成要素と通信している第1のコンピュータシステムであって、前記コンピュータシステムは、
前記第1のコンピュータシステムが前記第1のコンピュータシステムの第1のユーザによって使用されている間に、前記1つ以上の表示生成構成要素を介して、第2のユーザの表現であって、前記第2のユーザの前記表現は、前記第1のコンピュータシステムとのライブ通信セッション中に第2のコンピュータシステムによって検出された前記第2のユーザの検出された移動に基づいて移動する、第2のユーザの表現を、第1の忠実度でエクステンデッドリアリティ環境内に表示する手段と、
前記エクステンデッドリアリティ環境内に前記第2のユーザの前記表現を表示している間に、前記第2のユーザの前記身体の状態に関する直接情報の量が変化する手段と、
前記第2のユーザの前記身体の前記状態に関する前記直接情報の量が変化したことに応じて、前記第1のコンピュータシステムが、前記1つ以上の表示生成構成要素を介して、異なる忠実度で前記第2のユーザの前記表現を表示することを開始する手段と、を備える、第1のコンピュータシステムであって、前記表示することは、
前記第2のユーザの前記身体の前記状態に関する前記直接情報が、第1の時間閾値よりも長く、かつ第2の時間閾値よりも短い第1の時間量にわたって受信されないという判定に従って、前記1つ以上の表示生成構成要素を介して、前記第1の忠実度よりも低い第2の忠実度で前記第2のユーザの前記表現を表示することと、
前記第2のユーザの前記身体の前記状態に関する直接情報が、前記第1の時間閾値よりも長く、かつ前記第2の時間閾値よりも長い第2の時間量にわたって受信されないという判定に従って、前記1つ以上の表示生成構成要素を介して、前記第2の忠実度よりも低い第3の忠実度で前記第2のユーザの前記表現を表示することと、を含む、第1のコンピュータシステム。
【請求項77】
方法であって、
1つ以上の表示生成構成要素と通信している第1のコンピュータシステムにおいて、
前記第1のコンピュータシステムが前記第1のコンピュータシステムの第1のユーザによって使用されている間に、前記1つ以上の表示生成構成要素を介して、エクステンデッドリアリティ環境内に、前記第2のユーザの表現であって、前記第2のユーザの前記表現は、前記第1のコンピュータシステムとのライブ通信セッション中に第2のコンピュータシステムによって検出された前記第2のユーザの検出された移動に基づいて移動する、前記第2のユーザの表現を表示することと、
前記エクステンデッドリアリティ環境内に前記第2のユーザの前記表現を表示している間に、前記第2のユーザの発話に対応する情報を受信することと、
前記第2のユーザの前記発話に対応する前記情報を受信したことに応じて、前記第2のユーザの前記発話に対応する前記情報に基づいて前記第2のユーザの前記表現の外観を更新することと、を含む、方法であって、前記更新することは、
前記第2のユーザの口の検出された物理的状態に関する情報が1つ以上の基準のセットを満たさないという判定に従って、前記1つ以上の表示生成構成要素を介して、前記第2のユーザの前記表現の第1の口表現であって、前記第1の口表現は、前記第2のユーザの前記発話に対応するオーディオ情報に基づいて生成される、第1の口表現を表示することと、
前記第2のユーザの前記口の前記検出された物理的状態に関する情報が前記1つ以上の基準のセットを満たすという判定に従って、前記1つ以上の表示生成構成要素を介して、前記第2のユーザの前記表現の第2の口表現であって、前記第2の口表現は、前記第2の口表現を生成するために前記第2のユーザの前記発話に対応するオーディオ情報を使用することなく、前記第2のユーザの前記口の前記検出された物理的状態に関する前記情報に基づいて生成される、第2の口表現を表示することと、を含む、方法。
【請求項78】
前記エクステンデッドリアリティ環境内に前記第2のユーザの前記表現を表示することは、前記第1のユーザとのリアルタイム通信セッション中に前記第2のユーザの前記表現を表示することを含む、請求項77に記載の方法。
【請求項79】
前記第1の口表現は、前記第2のユーザの前記発話に対応する前記オーディオ情報に基づいて生成される第1の部分と、前記第2のユーザの前記口の前記検出された物理的状態に関する前記情報に基づいて生成される第2の部分と、を含み、前記第1の部分及び前記第2の部分は、組み合わせられ、前記第1の口表現を形成する、請求項77又は78に記載の方法。
【請求項80】
前記第2の部分は、静的である、請求項79に記載の方法。
【請求項81】
前記第2の部分は、前記第2のユーザの前記口の前記検出された物理的状態に関する前記情報に基づいて移動する、請求項79に記載の方法。
【請求項82】
前記第2のユーザの前記発話に対応する前記オーディオ情報に基づいて生成される前記第1の部分は、第1の視覚的強調度を含み、
前記第2のユーザの前記口の前記検出された物理的状態に関する前記情報に基づいて生成される前記第2の部分は、第2の視覚的強調度を含み、
前記第1の視覚的強調度及び前記第2の視覚的強調度の相対的な大きさは、前記第2のユーザの前記口の前記検出された物理的状態に関する前記情報に基づく、請求項79から81のいずれか一項に記載の方法。
【請求項83】
前記第1の視覚的強調度及び前記第2の視覚的強調度の前記相対的な大きさは、前記第2のユーザの前記口の前記検出された物理的状態に関する前記情報に基づいて変化する、請求項82に記載の方法。
【請求項84】
前記第2のユーザの前記発話に対応する前記オーディオ情報に基づいて、前記第2のユーザの前記口の前記検出された物理的状態に関する前記情報の精度を決定することを更に含む、請求項77から83のいずれか一項に記載の方法。
【請求項85】
前記第2のユーザの前記表現の前記第1の口表現を表示している間に、
1つ以上の基準の第2のセットが満たされているという判定に従って、前記1つ以上の表示生成構成要素を介して、前記第2のユーザの前記口の前記表現の第1の部分を、前記口の前記表現の前記第1の部分とは異なる前記口の前記表現の第2の部分の第2の透明度とは異なる第1の透明度で表示することを更に含む、請求項77から84のいずれか一項に記載の方法。
【請求項86】
1つ以上の表示生成構成要素と通信しているコンピュータシステムの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記1つ以上のプログラムは、請求項77から85のいずれか一項に記載の方法を実行する命令を含む、非一時的コンピュータ可読記憶媒体。
【請求項87】
1つ以上の表示生成構成要素と通信しているコンピュータシステムであって、前記コンピュータシステムは、
1つ以上のプロセッサと、
前記1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶するメモリと、を備え、前記1つ以上のプログラムは、請求項77から85のいずれか一項に記載の方法を実行する命令を含む、コンピュータシステム。
【請求項88】
1つ以上の表示生成構成要素と通信しているコンピュータシステムであって、前記コンピュータシステムは、
請求項77から85のいずれか一項に記載の方法を実行する手段を備える、コンピュータシステム。
【請求項89】
1つ以上の表示生成構成要素と通信している第1のコンピュータシステムの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記1つ以上のプログラムは、
前記第1のコンピュータシステムが前記第1のコンピュータシステムの第1のユーザによって使用されている間に、前記1つ以上の表示生成構成要素を介して、エクステンデッドリアリティ環境内に、前記第2のユーザの表現であって、前記第2のユーザの前記表現は、前記第1のコンピュータシステムとのライブ通信セッション中に第2のコンピュータシステムによって検出された前記第2のユーザの検出された移動に基づいて移動する、前記第2のユーザの表現を表示し、
前記エクステンデッドリアリティ環境内に前記第2のユーザの前記表現を表示している間に、前記第2のユーザの発話に対応する情報を受信し、
前記第2のユーザの前記発話に対応する前記情報を受信したことに応じて、前記第2のユーザの前記発話に対応する前記情報に基づいて前記第2のユーザの前記表現の外観を更新する、命令を含む、非一時的コンピュータ可読記憶媒体であって、前記更新することは、
前記第2のユーザの口の検出された物理的状態に関する情報が1つ以上の基準のセットを満たさないという判定に従って、前記1つ以上の表示生成構成要素を介して、前記第2のユーザの前記表現の第1の口表現であって、前記第1の口表現は、前記第2のユーザの前記発話に対応するオーディオ情報に基づいて生成される、第1の口表現を表示することと、
前記第2のユーザの前記口の前記検出された物理的状態に関する情報が前記1つ以上の基準のセットを満たすという判定に従って、前記1つ以上の表示生成構成要素を介して、前記第2のユーザの前記表現の第2の口表現であって、前記第2の口表現は、前記第2の口表現を生成するために前記第2のユーザの前記発話に対応するオーディオ情報を使用することなく、前記第2のユーザの前記口の前記検出された物理的状態に関する前記情報に基づいて生成される、第2の口表現を表示することと、を含む、非一時的コンピュータ可読記憶媒体。
【請求項90】
1つ以上の表示生成構成要素と通信している第1のコンピュータシステムであって、前記コンピュータシステムは、
1つ以上のプロセッサと、
前記1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶するメモリと、を備え、前記1つ以上のプログラムは、
前記第1のコンピュータシステムが前記第1のコンピュータシステムの第1のユーザによって使用されている間に、前記1つ以上の表示生成構成要素を介して、エクステンデッドリアリティ環境内に、前記第2のユーザの表現であって、前記第2のユーザの前記表現は、前記第1のコンピュータシステムとのライブ通信セッション中に第2のコンピュータシステムによって検出された前記第2のユーザの検出された移動に基づいて移動する、前記第2のユーザの表現を表示し、
前記エクステンデッドリアリティ環境内に前記第2のユーザの前記表現を表示している間に、前記第2のユーザの発話に対応する情報を受信し、
前記第2のユーザの前記発話に対応する前記情報を受信したことに応じて、前記第2のユーザの前記発話に対応する前記情報に基づいて前記第2のユーザの前記表現の外観を更新する、命令を含む、第1のコンピュータシステムであって、前記更新することは、
前記第2のユーザの口の検出された物理的状態に関する情報が1つ以上の基準のセットを満たさないという判定に従って、前記1つ以上の表示生成構成要素を介して、前記第2のユーザの前記表現の第1の口表現であって、前記第1の口表現は、前記第2のユーザの前記発話に対応するオーディオ情報に基づいて生成される、第1の口表現を表示することと、
前記第2のユーザの前記口の前記検出された物理的状態に関する情報が前記1つ以上の基準のセットを満たすという判定に従って、前記1つ以上の表示生成構成要素を介して、前記第2のユーザの前記表現の第2の口表現であって、前記第2の口表現は、前記第2の口表現を生成するために前記第2のユーザの前記発話に対応するオーディオ情報を使用することなく、前記第2のユーザの前記口の前記検出された物理的状態に関する前記情報に基づいて生成される、第2の口表現を表示することと、を含む、第1のコンピュータシステム。
【請求項91】
1つ以上の表示生成構成要素と通信している第1のコンピュータシステムであって、前記コンピュータシステムは、
前記第1のコンピュータシステムが前記第1のコンピュータシステムの第1のユーザによって使用されている間に、前記1つ以上の表示生成構成要素を介して、エクステンデッドリアリティ環境内に、前記第2のユーザの表現であって、前記第2のユーザの前記表現は、前記第1のコンピュータシステムとのライブ通信セッション中に第2のコンピュータシステムによって検出された前記第2のユーザの検出された移動に基づいて移動する、前記第2のユーザの表現を表示する手段と、
前記エクステンデッドリアリティ環境内に前記第2のユーザの前記表現を表示している間に、前記第2のユーザの発話に対応する情報を受信する手段と、
前記第2のユーザの前記発話に対応する前記情報を受信したことに応じて、前記第2のユーザの前記発話に対応する前記情報に基づいて前記第2のユーザの前記表現の外観を更新する手段と、を備える、第1のコンピュータシステムであって、前記更新することは、
前記第2のユーザの口の検出された物理的状態に関する情報が1つ以上の基準のセットを満たさないという判定に従って、前記1つ以上の表示生成構成要素を介して、前記第2のユーザの前記表現の第1の口表現であって、前記第1の口表現は、前記第2のユーザの前記発話に対応するオーディオ情報に基づいて生成される、第1の口表現を表示することと、
前記第2のユーザの前記口の前記検出された物理的状態に関する情報が前記1つ以上の基準のセットを満たすという判定に従って、前記1つ以上の表示生成構成要素を介して、前記第2のユーザの前記表現の第2の口表現であって、前記第2の口表現は、前記第2の口表現を生成するために前記第2のユーザの前記発話に対応するオーディオ情報を使用することなく、前記第2のユーザの前記口の前記検出された物理的状態に関する前記情報に基づいて生成される、第2の口表現を表示することと、を含む、第1のコンピュータシステム。
【請求項92】
方法であって、
1つ以上の表示生成構成要素と通信している第1のコンピュータシステムにおいて、
前記第1のコンピュータシステムが前記第1のコンピュータシステムの第1のユーザによって使用されている間に、前記1つ以上の表示生成構成要素を介して、エクステンデッドリアリティ環境内に、前記第2のユーザの表現であって、前記第2のユーザの前記表現は、前記第1のコンピュータシステムとのライブ通信セッション中に第2のコンピュータシステムによって検出された前記第2のユーザの検出された移動に基づいて移動する、前記第2のユーザの表現を表示することを含む方法であって、前記第2のユーザの前記表現は、
前記第2のユーザの毛の視覚的表現を含み、前記第2のユーザの毛の前記視覚的表現は、
前記第2のユーザの個別の身体部分に対応する前記第2のユーザの前記表現の一部分から第1の距離に位置決めされた毛の前記表現の第1の部分であって、毛の前記表現の前記第1の部分は、第1の視覚的忠実度を含む、毛の前記表現の第1の部分と、
前記第2のユーザの前記個別の身体部分に対応する前記第2のユーザの前記表現の前記一部分から、前記第1の距離よりも大きい第2の距離に位置決めされた毛の前記表現の第2の部分であって、毛の前記表現の前記第2の部分は、前記第1の視覚的忠実度よりも小さい第2の視覚的忠実度を含む、毛の前記表現の第2の部分と、を含む、方法。
【請求項93】
前記エクステンデッドリアリティ環境内に前記第2のユーザの前記表現を表示することは、前記第1のユーザとのリアルタイム通信セッション中に前記第2のユーザの前記表現を表示することを含む、請求項92に記載の方法。
【請求項94】
前記第2のユーザの毛の前記視覚的表現は、前記第2のユーザの顔の毛の視覚的表現である、請求項92又は93に記載の方法。
【請求項95】
前記第2のユーザの毛の前記視覚的表現は、前記第2のユーザの髭の視覚的表現であり、前記第2のユーザの他の毛の視覚的表現ではない、請求項92から94のいずれか一項に記載の方法。
【請求項96】
前記第1の視覚的忠実度は、第1のぼかし量を含み、前記第2の視覚的忠実度は、前記第1のぼかし量よりも大きい第2のぼかし量を含む、請求項92から95のいずれか一項に記載の方法。
【請求項97】
前記第1の視覚的忠実度は、第1の平均粒子サイズを有する複数の粒子を使用して、毛の前記表現を表示することを含み、前記第2の視覚的忠実度は、前記第1の平均粒子サイズよりも大きい第2の平均粒子サイズを有する複数の粒子を使用して、毛の前記表現を表示することを含む、請求項92から96のいずれか一項に記載の方法。
【請求項98】
前記第1の視覚的忠実度は、第1の量の不透明度を含み、前記第2の視覚的忠実度は、前記第1の量の不透明度よりも小さい第2の量の不透明度を含む、請求項92から97のいずれか一項に記載の方法。
【請求項99】
前記第2のユーザの毛の前記視覚的表現は、前記第2のユーザの顔の毛の視覚的表現であり、
前記第2のユーザの顔の毛の前記視覚的表現は、部分的に透明である、請求項92から98のいずれか一項に記載の方法。
【請求項100】
前記第2のユーザの前記個別の身体部分は、前記第2のユーザの顔であり、
前記第1の視覚的忠実度は、第1の量の透明度を含み、前記第2の視覚的忠実度は、前記第1の量の透明度よりも大きい第2の量の透明度を含む、請求項99に記載の方法。
【請求項101】
前記第2のユーザの前記個別の身体部分は、前記第2のユーザの首であり、
前記第1の視覚的忠実度は、第1の量の透明度を含み、前記第2の視覚的忠実度は、前記第1の量の透明度よりも大きい第2の量の透明度を含む、請求項99又は100に記載の方法。
【請求項102】
前記第2のユーザの前記毛が既定の長さを超えるという判定に従って、前記第2のユーザの毛の前記視覚的表現は、前記第2のユーザの前記表現とは別個の毛の三次元表現を含み、
前記第2のユーザの前記毛が前記既定の長さを超えないという判定に従って、前記第2のユーザの前記毛の視覚的表現は、対応する毛の三次元表現を伴わずに、前記第2のユーザの顔の表現の上に適用される、毛のテクスチャ表現を含む、請求項92から101のいずれか一項に記載の方法。
【請求項103】
1つ以上の表示生成構成要素と通信しているコンピュータシステムの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記1つ以上のプログラムは、請求項92から102のいずれか一項に記載の方法を実行する命令を含む、非一時的コンピュータ可読記憶媒体。
【請求項104】
1つ以上の表示生成構成要素と通信しているコンピュータシステムであって、前記コンピュータシステムは、
1つ以上のプロセッサと、
前記1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶するメモリと、を備え、前記1つ以上のプログラムは、請求項92から102のいずれか一項に記載の方法を実行する命令を含む、コンピュータシステム。
【請求項105】
1つ以上の表示生成構成要素と通信しているコンピュータシステムであって、前記コンピュータシステムは、
請求項92から102のいずれか一項に記載の方法を実行する手段を備える、コンピュータシステム。
【請求項106】
1つ以上の表示生成構成要素と通信している第1のコンピュータシステムの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記1つ以上のプログラムは、
前記第1のコンピュータシステムが前記第1のコンピュータシステムの第1のユーザによって使用されている間に、前記1つ以上の表示生成構成要素を介して、エクステンデッドリアリティ環境内に、前記第2のユーザの表現であって、前記第2のユーザの前記表現は、前記第1のコンピュータシステムとのライブ通信セッション中に第2のコンピュータシステムによって検出された前記第2のユーザの検出された移動に基づいて移動する、前記第2のユーザの表現を表示する命令を含む、非一時的コンピュータ可読記憶媒体であって、前記第2のユーザの前記表現は、
前記第2のユーザの毛の視覚的表現を含み、前記第2のユーザの毛の前記視覚的表現は、
前記第2のユーザの個別の身体部分に対応する前記第2のユーザの前記表現の一部分から第1の距離に位置決めされた毛の前記表現の第1の部分であって、毛の前記表現の前記第1の部分は、第1の視覚的忠実度を含む、毛の前記表現の第1の部分と、
前記第2のユーザの前記個別の身体部分に対応する前記第2のユーザの前記表現の前記一部分から、前記第1の距離よりも大きい第2の距離に位置決めされた毛の前記表現の第2の部分であって、毛の前記表現の前記第2の部分は、前記第1の視覚的忠実度よりも小さい第2の視覚的忠実度を含む、毛の前記表現の第2の部分と、を含む、非一時的コンピュータ可読記憶媒体。
【請求項107】
1つ以上の表示生成構成要素と通信している第1のコンピュータシステムであって、前記コンピュータシステムは、
1つ以上のプロセッサと、
前記1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶するメモリと、を備え、前記1つ以上のプログラムは、
前記第1のコンピュータシステムが前記第1のコンピュータシステムの第1のユーザによって使用されている間に、前記1つ以上の表示生成構成要素を介して、エクステンデッドリアリティ環境内に、前記第2のユーザの表現であって、前記第2のユーザの前記表現は、前記第1のコンピュータシステムとのライブ通信セッション中に第2のコンピュータシステムによって検出された前記第2のユーザの検出された移動に基づいて移動する、前記第2のユーザの表現を表示する命令を含む、第1のコンピュータシステムであって、前記第2のユーザの前記表現は、
前記第2のユーザの毛の視覚的表現を含み、前記第2のユーザの毛の前記視覚的表現は、
前記第2のユーザの個別の身体部分に対応する前記第2のユーザの前記表現の一部分から第1の距離に位置決めされた毛の前記表現の第1の部分であって、毛の前記表現の前記第1の部分は、第1の視覚的忠実度を含む、毛の前記表現の第1の部分と、
前記第2のユーザの前記個別の身体部分に対応する前記第2のユーザの前記表現の前記一部分から、前記第1の距離よりも大きい第2の距離に位置決めされた毛の前記表現の第2の部分であって、毛の前記表現の前記第2の部分は、前記第1の視覚的忠実度よりも小さい第2の視覚的忠実度を含む、毛の前記表現の第2の部分と、を含む、第1のコンピュータシステム。
【請求項108】
1つ以上の表示生成構成要素と通信している第1のコンピュータシステムであって、前記コンピュータシステムは、
前記第1のコンピュータシステムが前記第1のコンピュータシステムの第1のユーザによって使用されている間に、前記1つ以上の表示生成構成要素を介して、エクステンデッドリアリティ環境内に、前記第2のユーザの表現であって、前記第2のユーザの前記表現は、前記第1のコンピュータシステムとのライブ通信セッション中に第2のコンピュータシステムによって検出された前記第2のユーザの検出された移動に基づいて移動する、前記第2のユーザの表現を表示する手段を備える、第1のコンピュータシステムであって、前記第2のユーザの前記表現は、
前記第2のユーザの毛の視覚的表現を含み、前記第2のユーザの毛の前記視覚的表現は、
前記第2のユーザの個別の身体部分に対応する前記第2のユーザの前記表現の一部分から第1の距離に位置決めされた毛の前記表現の第1の部分であって、毛の前記表現の前記第1の部分は、第1の視覚的忠実度を含む、毛の前記表現の第1の部分と、
前記第2のユーザの前記個別の身体部分に対応する前記第2のユーザの前記表現の前記一部分から、前記第1の距離よりも大きい第2の距離に位置決めされた毛の前記表現の第2の部分であって、毛の前記表現の前記第2の部分は、前記第1の視覚的忠実度よりも小さい第2の視覚的忠実度を含む、毛の前記表現の第2の部分と、を含む、第1のコンピュータシステム。
【請求項109】
方法であって、
1つ以上の表示生成構成要素と通信している第1のコンピュータシステムにおいて、
前記第1のコンピュータシステムが前記第1のコンピュータシステムの第1のユーザによって使用されている間に、前記1つ以上の表示生成構成要素を介して、エクステンデッドリアリティ環境内に、前記第2のユーザの表現であって、前記第2のユーザの前記表現は、前記第1のコンピュータシステムとのライブ通信セッション中に第2のコンピュータシステムによって検出された前記第2のユーザの検出された移動に基づいて移動する、前記第2のユーザの表現を表示することを含む、方法であって、前記第2のユーザの前記表現は、
前記第2のユーザの前記表現と前記エクステンデッドリアリティ環境の他の部分との間の境界に対応する前記第2のユーザの前記表現の第1の部分であって、前記第2のユーザの前記表現の前記第1の部分は、第1の視覚的外観を用いて表示される、第1の部分と、
前記第2のユーザの前記表現と前記エクステンデッドリアリティ環境の他の部分との間の前記境界に対応しない前記第2のユーザの前記表現の第2の部分であって、前記第2のユーザの前記表現の前記第2の部分は、第2の視覚的外観を用いて表示され、前記第1の視覚的外観は、前記第2の視覚的外観と比較して強調される、第2の部分と、を含む、方法。
【請求項110】
前記エクステンデッドリアリティ環境内に前記第2のユーザの前記表現を表示することは、前記第1のユーザとのリアルタイム通信セッション中に前記第2のユーザの前記表現を表示することを含む、請求項109に記載の方法。
【請求項111】
前記エクステンデッドリアリティ環境内に第1の配向で前記第2のユーザの前記表現を表示している間に、
前記第2のユーザの前記表現の配向が前記第1の配向から第2の配向に変化したという判定に従って、前記表示生成構成要素を介して、
前記第2のユーザの前記表現と前記エクステンデッドリアリティ環境の他の部分との間の第2の境界に対応する前記第2のユーザの前記表現の第3の部分であって、前記第2のユーザの前記表現の前記第3の部分は、前記第1の視覚的外観を用いて表示される、第3の部分と、
前記第2のユーザの前記表現と前記エクステンデッドリアリティ環境の他の部分との間の前記第2の境界に対応しない前記第2のユーザの前記表現の第4の部分であって、前記第2のユーザの前記表現の前記第4の部分は、前記第2の視覚的外観を用いて表示され、前記第1の視覚的外観は、前記第2の視覚的外観と比較して強調される、第4の部分と、を表示することと、
前記第2のユーザの前記表現の前記配向が変化していないという判定に従って、前記エクステンデッドリアリティ環境内に前記第2のユーザの前記表現を前記第1の配向で表示することを維持することと、を更に含む、請求項109又は110に記載の方法。
【請求項112】
前記第2のユーザの前記表現の前記配向は、前記第1のユーザの視点の変化に基づいて、前記第1の配向から前記第2の配向に変化する、請求項111に記載の方法。
【請求項113】
前記第2のユーザの前記表現の前記配向は、前記エクステンデッドリアリティ環境内の前記第2のユーザの前記表現の移動に基づいて、前記第1の配向から前記第2の配向に変化する、請求項111に記載の方法。
【請求項114】
前記エクステンデッドリアリティ環境内に第1の角度で前記第2のユーザの前記表現を表示している間に、前記1つ以上の表示生成構成要素を介して、前記第2のユーザの前記表現の第5の部分の前記視覚的強調を減少させる個別の視覚的効果が適用された前記第2のユーザの前記表現の前記第5の部分を表示することと、
前記第2のユーザの前記表現が前記エクステンデッドリアリティ環境内に前記第1の角度とは異なる第2の角度で表示されていることに応じて、前記1つ以上の表示生成構成要素を介して、前記第2のユーザの前記表現の前記第5の部分とは異なる前記第2のユーザの前記表現の第6の部分を、前記第2のユーザの前記表現の前記第6の部分の前記視覚的強調を減少させる前記個別の視覚的効果を適用して表示することと、を更に含む、請求項109から113のいずれか一項に記載の方法。
【請求項115】
前記第2のユーザの前記表現の前記第6の部分の前記視覚的強調を減少させる前記個別の視覚的効果が適用された前記第2のユーザの前記表現の前記第6の部分を表示することは、前記第2のユーザの前記表現の前記第5の部分の前記視覚的強調を減少させる前記個別の視覚的効果が適用された前記第2のユーザの前記表現の前記第5の部分から、前記第2のユーザの前記表現の前記第6の部分の前記視覚的強調を減少させる前記個別の視覚的効果が適用された前記第2のユーザの前記表現の前記第6の部分への漸進的な遷移を表示することを含む、請求項114に記載の方法。
【請求項116】
前記エクステンデッドリアリティ環境内に前記第1のユーザの前記視点から前方配向で前記第2のユーザの前記表現を表示している間に、1つ以上の擬人化特徴を有する前記第2のユーザの前記表現を表示することと、
前記第2のユーザの前記表現が前記エクステンデッドリアリティ環境内に前記第1のユーザの前記視点から後方配向で表示されていることに応じて、前記1つ以上の表示生成構成要素を介して、前記1つ以上の擬人化特徴のうちの個別の擬人化特徴を有さない前記第2のユーザの前記表現を表示することと、を更に含む、請求項109から115のいずれか一項に記載の方法。
【請求項117】
前記エクステンデッドリアリティ環境内に前記第1のユーザの前記視点から後方配向で前記第2のユーザの前記表現を表示している間に、前記1つ以上の表示生成構成要素を介して、1つ以上の擬人化特徴のうちの個別の擬人化特徴を有さない前記第2のユーザの前記表現を表示することと、
前記第2のユーザの前記表現が前記エクステンデッドリアリティ環境内に前記第1のユーザの前記視点から前方配向で表示されることに応じて、前記1つ以上の擬人化特徴のうちの前記個別の擬人化特徴を有する前記第2のユーザの前記表現を表示することと、を更に含む、請求項109から116のいずれか一項に記載の方法。
【請求項118】
1つ以上の表示生成構成要素と通信しているコンピュータシステムの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記1つ以上のプログラムは、請求項109から117のいずれか一項に記載の方法を実行する命令を含む、非一時的コンピュータ可読記憶媒体。
【請求項119】
1つ以上の表示生成構成要素と通信しているコンピュータシステムであって、前記コンピュータシステムは、
1つ以上のプロセッサと、
前記1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶するメモリと、を備え、前記1つ以上のプログラムは、請求項109から117のいずれか一項に記載の方法を実行する命令を含む、コンピュータシステム。
【請求項120】
1つ以上の表示生成構成要素と通信しているコンピュータシステムであって、前記コンピュータシステムは、
請求項109から117のいずれか一項に記載の方法を実行する手段を備える、コンピュータシステム。
【請求項121】
1つ以上の表示生成構成要素と通信している第1のコンピュータシステムの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記1つ以上のプログラムは、
前記第1のコンピュータシステムが前記第1のコンピュータシステムの第1のユーザによって使用されている間に、前記1つ以上の表示生成構成要素を介して、エクステンデッドリアリティ環境内に、前記第2のユーザの表現であって、前記第2のユーザの前記表現は、前記第1のコンピュータシステムとのライブ通信セッション中に第2のコンピュータシステムによって検出された前記第2のユーザの検出された移動に基づいて移動する、前記第2のユーザの表現を表示する命令を含む、非一時的コンピュータ可読記憶媒体であって、前記第2のユーザの前記表現は、
前記第2のユーザの前記表現と前記エクステンデッドリアリティ環境の他の部分との間の境界に対応する前記第2のユーザの前記表現の第1の部分であって、前記第2のユーザの前記表現の前記第1の部分は、第1の視覚的外観を用いて表示される、第1の部分と、
前記第2のユーザの前記表現と前記エクステンデッドリアリティ環境の他の部分との間の前記境界に対応しない前記第2のユーザの前記表現の第2の部分であって、前記第2のユーザの前記表現の前記第2の部分は、第2の視覚的外観を用いて表示され、前記第1の視覚的外観は、前記第2の視覚的外観と比較して強調される、第2の部分と、を含む、非一時的コンピュータ可読記憶媒体。
【請求項122】
1つ以上の表示生成構成要素と通信している第1のコンピュータシステムであって、前記コンピュータシステムは、
1つ以上のプロセッサと、
前記1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶するメモリと、を備え、前記1つ以上のプログラムは、
前記第1のコンピュータシステムが前記第1のコンピュータシステムの第1のユーザによって使用されている間に、前記1つ以上の表示生成構成要素を介して、エクステンデッドリアリティ環境内に、前記第2のユーザの表現であって、前記第2のユーザの前記表現は、前記第1のコンピュータシステムとのライブ通信セッション中に第2のコンピュータシステムによって検出された前記第2のユーザの検出された移動に基づいて移動する、前記第2のユーザの表現を表示する命令を含む、非一時的コンピュータ可読記憶媒体であって、前記第2のユーザの前記表現は、
前記第2のユーザの前記表現と前記エクステンデッドリアリティ環境の他の部分との間の境界に対応する前記第2のユーザの前記表現の第1の部分であって、前記第2のユーザの前記表現の前記第1の部分は、第1の視覚的外観を用いて表示される、第1の部分と、
前記第2のユーザの前記表現と前記エクステンデッドリアリティ環境の他の部分との間の前記境界に対応しない前記第2のユーザの前記表現の第2の部分であって、前記第2のユーザの前記表現の前記第2の部分は、第2の視覚的外観を用いて表示され、前記第1の視覚的外観は、前記第2の視覚的外観と比較して強調される、第2の部分と、を含む、第1のコンピュータシステム。
【請求項123】
1つ以上の表示生成構成要素と通信している第1のコンピュータシステムであって、前記コンピュータシステムは、
前記第1のコンピュータシステムが前記第1のコンピュータシステムの第1のユーザによって使用されている間に、前記1つ以上の表示生成構成要素を介して、エクステンデッドリアリティ環境内に、前記第2のユーザの表現であって、前記第2のユーザの前記表現は、前記第1のコンピュータシステムとのライブ通信セッション中に第2のコンピュータシステムによって検出された前記第2のユーザの検出された移動に基づいて移動する、前記第2のユーザの表現を表示する手段を備える、第1のコンピュータシステムであって、前記第2のユーザの前記表現は、
前記第2のユーザの前記表現と前記エクステンデッドリアリティ環境の他の部分との間の境界に対応する前記第2のユーザの前記表現の第1の部分であって、前記第2のユーザの前記表現の前記第1の部分は、第1の視覚的外観を用いて表示される、第1の部分と、
前記第2のユーザの前記表現と前記エクステンデッドリアリティ環境の他の部分との間の前記境界に対応しない前記第2のユーザの前記表現の第2の部分であって、前記第2のユーザの前記表現の前記第2の部分は、第2の視覚的外観を用いて表示され、前記第1の視覚的外観は、前記第2の視覚的外観と比較して強調される、第2の部分と、を含む、第1のコンピュータシステム。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、2022年11月16日に出願された「DEVICEい,METHODS,AND GRAPHICAL USER INTERFACES FOR GENERATING AND DISPLAYING A REPRESENTATION OF A USER」と題する米国特許出願第17/988,532号、及び2021年11月29日に出願された「DEVICES,METHODS,AND GRAPHICAL USER INTERFACES FOR GENERATING AND DISPLAYING A REPRESENTATION OF A USER」と題する米国特許仮出願第63/283,969号の利益を主張し、これらのそれぞれの内容は、参照によりその全体が本明細書に組み込まれる。
【0002】
技術分野
本開示は、概して、限定はしないが、ディスプレイを介して仮想現実及び複合現実体験を提供する電子デバイスを含む、コンピュータ生成体験を提供するコンピュータシステムに関する。
【背景技術】
【0003】
拡張現実のためのコンピュータシステムの開発は、近年顕著に進んでいる。例示的な拡張現実環境は、物理的世界を置換又は強化する少なくともいくつかの仮想要素を含む。コンピュータシステム及び他の電子コンピューティングデバイス用のカメラ、コントローラ、ジョイスティック、タッチ感知面、及びタッチスクリーンディスプレイなどの入力デバイスが、仮想/拡張現実環境と相互作用するために使用される。例示的な仮想要素は、デジタル画像などの仮想オブジェクト、ビデオ、テキスト、アイコン、並びにボタン及び他のグラフィックなど制御要素を含む。
【発明の概要】
【0004】
少なくともいくつかの仮想要素を含む環境(例えば、アプリケーション、拡張現実環境、複合現実環境、及び仮想現実環境)においてユーザの表現を生成及び/又は表示するためのいくつかの方法及びインタフェースは、扱いにくく、非効率的であり、制限されている。例えば、ユーザの表現を生成するためのデータをキャプチャするシステム、ユーザの表現を表示するシステム、及び/又はユーザの表現を表示しながら不十分なフィードバックを受信するシステムは、複雑で、退屈で、エラーを起こしやすく、ユーザに著しい認知的負担をもたらし、仮想/拡張現実環境での体験を損なっている。加えて、それらの方法は必要以上に時間がかかり、それによって、コンピュータシステムのエネルギを浪費する。この後者の考慮事項は、バッテリ動作式デバイスにおいて特に重要である。
【0005】
したがって、ユーザにとってより効率的で直感的なユーザの表現の作成及び/又は表示を可能にする、コンピュータ生成体験をユーザに提供するための改善された方法及びインタフェースを有するコンピュータシステムが必要とされている。そのような方法及びインタフェースは、任意選択的に、少なくともいくつかの仮想要素を含む環境内にユーザの表現を生成及び/又は表示するための従来の方法を補完又は置換する。このような方法及びインタフェースは、提供された入力とその入力に対するデバイス応答との間の接続をユーザが理解することを補助することにより、ユーザからの入力の数、程度及び/又は種類を低減し、それによって、より効率的なヒューマンマシンインタフェースを生成する。
【0006】
コンピュータシステムのユーザインタフェースに関連付けられた上記の欠点及び他の問題は、開示されるシステムによって低減又は解消される。いくつかの実施形態では、コンピュータシステムは、関連付けられたディスプレイを備えたデスクトップコンピュータである。いくつかの実施形態では、コンピュータシステムは、ポータブルデバイスである(例えばノートブックコンピュータ、タブレットコンピュータ、又はハンドヘルドデバイスである)。いくつかの実施形態では、コンピュータシステムは、パーソナル電子デバイス(例えば腕時計やヘッドマウントデバイスなどのウェアラブル電子デバイス)である。いくつかの実施形態では、コンピュータシステムは、タッチパッドを有する。いくつかの実施形態では、コンピュータシステムは、1つ以上のカメラを有する。いくつかの実施形態では、コンピュータシステムは、タッチ感知ディスプレイ(「タッチスクリーン」又は「タッチスクリーンディスプレイ」としても知られる)を有する。いくつかの実施形態では、コンピュータシステムは、1つ以上のアイトラッキングコンポーネントを有する。いくつかの実施形態では、コンピュータシステムは、1つ以上のハンドトラッキングコンポーネントを有する。いくつかの実施形態では、コンピュータシステムは、表示生成構成要素に加えて1つ以上の出力デバイスを有し、出力デバイスは、1つ以上の触知出力ジェネレータ及び/又は1つ以上のオーディオ出力デバイスを含む。いくつかの実施形態では、コンピュータシステムは、グラフィカルユーザインタフェース(GUI)、1つ以上のプロセッサ、メモリ、及び複数の機能を実行するためのメモリに記憶された1つ以上のモジュール、プログラム、又は命令セットを有する。いくつかの実施形態では、ユーザは、タッチ感知面上のスタイラス及び/又は指の接触及びジェスチャ、カメラ及び他の移動センサによってキャプチャされたときのGUI(及び/又はコンピュータシステム)又はユーザの身体に対する空間内のユーザの目及び手の移動、並びに1つ以上のオーディオ入力デバイスによってキャプチャされたときの音声入力を通じてGUIと相互作用する。いくつかの実施形態では、相互作用を通じて実行される機能は、任意選択的に、画像編集、描画、プレゼンティング、ワードプロセッシング、スプレッドシートの作成、ゲームプレイ、電話をかけること、ビデオ会議、電子メール送信、インスタントメッセージング、トレーニングサポート、デジタル写真撮影、デジタルビデオ撮影、ウェブブラウジング、デジタル音楽の再生、メモ取り、及び/又はデジタルビデオの再生を含む。それらの機能を実行する実行可能命令は任意選択で、一次的コンピュータ可読記憶媒体及び/又は非一時的コンピュータ可読記憶媒体、あるいは1つ以上のプロセッサによって実行されるように構成された他のコンピュータプログラム製品に含まれる。
【0007】
ユーザの表現を生成及び/又は表示するための改善された方法及びインタフェースを有する電子デバイスが必要とされている。そのような方法及びインタフェースは、ユーザの表現を生成及び/又は表示するための従来の方法を補完又は置換することができる。そのような方法及びインタフェースは、ユーザからの入力の数、程度、及び/又は種類を削減し、より効率的なヒューマンマシンインタフェースを生成する。そのような方法及びインタフェースはまた、コンピュータシステムの処理能力が低減され、それによって、より効率的なヒューマンマシンインタフェースを生成するように、ユーザの表現の関連部分を表示する。バッテリ動作式コンピューティングデバイスの場合、そのような方法及びインタフェースは、電力を節約し、バッテリ充電の間隔を長くする。
【0008】
いくつかの実施形態によれば、方法が記載される。本方法は、1つ以上の表示生成構成要素と通信しているコンピュータシステムにおいて実行される。本方法は、コンピュータシステムがユーザの身体上に配置されている間に、1つ以上の表示生成構成要素を介して、ユーザの身体からコンピュータシステムを取り外し、コンピュータシステムを使用してユーザに関連する情報をキャプチャするように指示するプロンプトを表示することと、コンピュータシステムをユーザの身体から取り外すように指示するプロンプトを表示した後に、コンピュータシステムがユーザの身体から取り外されたことを検出することと、コンピュータシステムであって、コンピュータシステムは、情報を使用して、ユーザの表現を生成するように構成されている、コンピュータシステムがユーザの身体から取り外されたことを検出した後に、ユーザに関連する情報をキャプチャすることと、を含む。
【0009】
いくつかの実施形態によれば、非一時的コンピュータ可読記憶媒体が記載される。非一時的コンピュータ可読記憶媒体は、1つ以上の表示生成構成要素と通信しているコンピュータシステムの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶し、1つ以上のプログラムは、コンピュータシステムがユーザの身体上に配置されている間に、1つ以上の表示生成構成要素を介して、ユーザの身体からコンピュータシステムを取り外し、コンピュータシステムを使用してユーザに関連する情報をキャプチャするように指示するプロンプトを表示し、コンピュータシステムをユーザの身体から取り外すように指示するプロンプトを表示した後に、コンピュータシステムがユーザの身体から取り外されたことを検出し、コンピュータシステムであって、コンピュータシステムは、情報を使用して、ユーザの表現を生成するように構成されている、コンピュータシステムがユーザの身体から取り外されたことを検出した後に、ユーザに関連する情報をキャプチャする、命令を含む。
【0010】
いくつかの実施形態によれば、一時的コンピュータ可読記憶媒体が記載される。一時的コンピュータ可読記憶媒体は、1つ以上の表示生成構成要素と通信しているコンピュータシステムの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶し、1つ以上のプログラムは、コンピュータシステムがユーザの身体上に配置されている間に、1つ以上の表示生成構成要素を介して、ユーザの身体からコンピュータシステムを取り外し、コンピュータシステムを使用してユーザに関連する情報をキャプチャするように指示するプロンプトを表示し、コンピュータシステムをユーザの身体から取り外すように指示するプロンプトを表示した後に、コンピュータシステムがユーザの身体から取り外されたことを検出し、コンピュータシステムであって、コンピュータシステムは、情報を使用して、ユーザの表現を生成するように構成されている、コンピュータシステムがユーザの身体から取り外されたことを検出した後に、ユーザに関連する情報をキャプチャする、命令を含む。
【0011】
いくつかの実施形態によれば、コンピュータシステムが記載される。コンピュータシステムは、1つ以上の表示生成構成要素と通信する。コンピュータシステムは、1つ以上のプロセッサと、1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶するメモリと、を備え、1つ以上のプログラムは、コンピュータシステムがユーザの身体上に配置されている間に、1つ以上の表示生成構成要素を介して、ユーザの身体からコンピュータシステムを取り外し、コンピュータシステムを使用してユーザに関連する情報をキャプチャするように指示するプロンプトを表示し、コンピュータシステムをユーザの身体から取り外すように指示するプロンプトを表示した後に、コンピュータシステムがユーザの身体から取り外されたことを検出し、コンピュータシステムであって、コンピュータシステムは、情報を使用して、ユーザの表現を生成するように構成されている、コンピュータシステムがユーザの身体から取り外されたことを検出した後に、ユーザに関連する情報をキャプチャする、命令を含む。
【0012】
いくつかの実施形態によれば、コンピュータシステムが記載される。コンピュータシステムは、1つ以上の表示生成構成要素と通信する。コンピュータシステムは、コンピュータシステムがユーザの身体上に配置されている間に、1つ以上の表示生成構成要素を介して、ユーザの身体からコンピュータシステムを取り外し、コンピュータシステムを使用してユーザに関連する情報をキャプチャするように指示するプロンプトを表示する手段と、コンピュータシステムをユーザの身体から取り外すように指示するプロンプトを表示した後に、コンピュータシステムがユーザの身体から取り外されたことを検出する手段と、コンピュータシステムであって、コンピュータシステムは、情報を使用して、ユーザの表現を生成するように構成されている、コンピュータシステムがユーザの身体から取り外されたことを検出した後に、ユーザに関連する情報をキャプチャする手段と、を備える。
【0013】
いくつかの実施形態によれば、方法が記載される。本方法は、1つ以上の表示生成構成要素と通信しているコンピュータシステムにおいて実行される。本方法は、ユーザの表現を生成するための登録プロセス中に、コンピュータシステムのユーザの1つ以上の身体的特徴に関する情報をキャプチャすることと、コンピュータシステムのユーザの1つ以上の身体的特徴に関する情報をキャプチャした後に、ユーザの1つ以上のキャプチャされた身体的特徴に基づいて表現の1つ以上の身体的特徴を選択することを含む、ユーザの1つ以上の身体的特徴に関する情報に基づいてユーザの表現を生成することと、ユーザの表現を生成した後に、1つ以上の表示生成構成要素を介して、エクステンデッドリアリティ環境内にユーザの表現の少なくとも一部分を表示することと、を含む。
【0014】
いくつかの実施形態によれば、非一時的コンピュータ可読記憶媒体が記載される。非一時的コンピュータ可読記憶媒体は、1つ以上の表示生成構成要素と通信しているコンピュータシステムの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶し、1つ以上のプログラムは、ユーザの表現を生成するための登録プロセス中に、コンピュータシステムのユーザの1つ以上の身体的特徴に関する情報をキャプチャし、コンピュータシステムのユーザの1つ以上の身体的特徴に関する情報をキャプチャした後に、ユーザの1つ以上のキャプチャされた身体的特徴に基づいて表現の1つ以上の身体的特徴を選択することを含む、ユーザの1つ以上の身体的特徴に関する情報に基づいてユーザの表現を生成し、ユーザの表現を生成した後に、1つ以上の表示生成構成要素を介して、エクステンデッドリアリティ環境内にユーザの表現の少なくとも一部分を表示する、命令を含む。
【0015】
いくつかの実施形態によれば、一時的コンピュータ可読記憶媒体が記載される。一時的コンピュータ可読記憶媒体は、1つ以上の表示生成構成要素と通信しているコンピュータシステムの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶し、1つ以上のプログラムは、ユーザの表現を生成するための登録プロセス中に、コンピュータシステムのユーザの1つ以上の身体的特徴に関する情報をキャプチャし、コンピュータシステムのユーザの1つ以上の身体的特徴に関する情報をキャプチャした後に、ユーザの1つ以上のキャプチャされた身体的特徴に基づいて表現の1つ以上の身体的特徴を選択することを含む、ユーザの1つ以上の身体的特徴に関する情報に基づいてユーザの表現を生成し、ユーザの表現を生成した後に、1つ以上の表示生成構成要素を介して、エクステンデッドリアリティ環境内にユーザの表現の少なくとも一部分を表示する、命令を含む。
【0016】
いくつかの実施形態によれば、コンピュータシステムが記載される。コンピュータシステムは、1つ以上の表示生成構成要素と通信する。コンピュータシステムは、1つ以上のプロセッサと、1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶するメモリと、を備え、1つ以上のプログラムは、ユーザの表現を生成するための登録プロセス中に、コンピュータシステムのユーザの1つ以上の身体的特徴に関する情報をキャプチャし、コンピュータシステムのユーザの1つ以上の身体的特徴に関する情報をキャプチャした後に、ユーザの1つ以上のキャプチャされた身体的特徴に基づいて表現の1つ以上の身体的特徴を選択することを含む、ユーザの1つ以上の身体的特徴に関する情報に基づいてユーザの表現を生成し、ユーザの表現を生成した後に、1つ以上の表示生成構成要素を介して、エクステンデッドリアリティ環境内にユーザの表現の少なくとも一部分を表示する、命令を含む。
【0017】
いくつかの実施形態によれば、コンピュータシステムが記載される。コンピュータシステムは、1つ以上の表示生成構成要素と通信する。コンピュータシステムは、ユーザの表現を生成するための登録プロセス中に、コンピュータシステムのユーザの1つ以上の身体的特徴に関する情報をキャプチャする手段と、コンピュータシステムのユーザの1つ以上の身体的特徴に関する情報をキャプチャした後に、ユーザの1つ以上のキャプチャされた身体的特徴に基づいて表現の1つ以上の身体的特徴を選択することを含む、ユーザの1つ以上の身体的特徴に関する情報に基づいてユーザの表現を生成する手段と、ユーザの表現を生成した後に、1つ以上の表示生成構成要素を介して、エクステンデッドリアリティ環境内にユーザの表現の少なくとも一部分を表示する手段と、を備える。
【0018】
いくつかの実施形態によれば、方法が記載される。本方法は、1つ以上の表示生成構成要素と通信している第1のコンピュータシステムにおいて実行される。本方法は、第1のコンピュータシステムが第1のコンピュータシステムの第1のユーザによって使用されている間に、1つ以上の表示生成構成要素を介して、第2のユーザの表現であって、第2のユーザの表現は、第1のコンピュータシステムとのライブ通信セッション中に第2のコンピュータシステムによって検出された第2のユーザの検出された移動に基づいて移動する、第2のユーザの表現を、第1の忠実度でエクステンデッドリアリティ環境内に表示することと、エクステンデッドリアリティ環境内に第2のユーザの表現を表示している間に、第2のユーザの身体の状態に関する直接情報の量が変化することと、第2のユーザの身体の状態に関する直接情報の量が変化したことに応じて、第1のコンピュータシステムが、1つ以上の表示生成構成要素を介して、異なる忠実度で第2のユーザの表現を表示することを開始することと、を含む、方法であって、表示することは、第2のユーザの身体の状態に関する直接情報が、第1の時間閾値よりも長く、かつ第2の時間閾値よりも短い第1の時間量にわたって受信されないという判定に従って、1つ以上の表示生成構成要素を介して、第1の忠実度よりも低い第2の忠実度で第2のユーザの表現を表示することと、第2のユーザの身体の状態に関する直接情報が、第1の時間閾値よりも長く、かつ第2の時間閾値よりも長い第2の時間量にわたって受信されないという判定に従って、1つ以上の表示生成構成要素を介して、第2の忠実度よりも低い第3の忠実度で第2のユーザの表現を表示することと、を含む。
【0019】
いくつかの実施形態によれば、非一時的コンピュータ可読記憶媒体が記載される。非一時的コンピュータ可読記憶媒体は、1つ以上の表示生成構成要素と通信している第1のコンピュータシステムの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶し、1つ以上のプログラムは、第1のコンピュータシステムが第1のコンピュータシステムの第1のユーザによって使用されている間に、1つ以上の表示生成構成要素を介して、第2のユーザの表現であって、第2のユーザの表現は、第1のコンピュータシステムとのライブ通信セッション中に第2のコンピュータシステムによって検出された第2のユーザの検出された移動に基づいて移動する、第2のユーザの表現を、第1の忠実度でエクステンデッドリアリティ環境内に表示し、エクステンデッドリアリティ環境内に第2のユーザの表現を表示している間に、第2のユーザの身体の状態に関する直接情報の量が変化し、第2のユーザの身体の状態に関する直接情報の量が変化したことに応じて、第1のコンピュータシステムが、1つ以上の表示生成構成要素を介して、異なる忠実度で第2のユーザの表現を表示することを開始する、命令を含む、非一時的コンピュータ可読記憶媒体であって、表示することは、第2のユーザの身体の状態に関する直接情報が、第1の時間閾値よりも長く、かつ第2の時間閾値よりも短い第1の時間量にわたって受信されないという判定に従って、1つ以上の表示生成構成要素を介して、第1の忠実度よりも低い第2の忠実度で第2のユーザの表現を表示することと、第2のユーザの身体の状態に関する直接情報が、第1の時間閾値よりも長く、かつ第2の時間閾値よりも長い第2の時間量にわたって受信されないという判定に従って、1つ以上の表示生成構成要素を介して、第2の忠実度よりも低い第3の忠実度で第2のユーザの表現を表示することと、を含む。
【0020】
いくつかの実施形態によれば、一時的コンピュータ可読記憶媒体が記載される。一時的コンピュータ可読記憶媒体は、1つ以上の表示生成構成要素と通信している第1のコンピュータシステムの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶し、1つ以上のプログラムは、第1のコンピュータシステムが第1のコンピュータシステムの第1のユーザによって使用されている間に、1つ以上の表示生成構成要素を介して、第2のユーザの表現であって、第2のユーザの表現は、第1のコンピュータシステムとのライブ通信セッション中に第2のコンピュータシステムによって検出された第2のユーザの検出された移動に基づいて移動する、第2のユーザの表現を、第1の忠実度でエクステンデッドリアリティ環境内に表示し、エクステンデッドリアリティ環境内に第2のユーザの表現を表示している間に、第2のユーザの身体の状態に関する直接情報の量が変化し、第2のユーザの身体の状態に関する直接情報の量が変化したことに応じて、第1のコンピュータシステムが、1つ以上の表示生成構成要素を介して、異なる忠実度で第2のユーザの表現を表示することを開始する、命令を含む、一時的コンピュータ可読記憶媒体であって、表示することは、第2のユーザの身体の状態に関する直接情報が、第1の時間閾値よりも長く、かつ第2の時間閾値よりも短い第1の時間量にわたって受信されないという判定に従って、1つ以上の表示生成構成要素を介して、第1の忠実度よりも低い第2の忠実度で第2のユーザの表現を表示することと、第2のユーザの身体の状態に関する直接情報が、第1の時間閾値よりも長く、かつ第2の時間閾値よりも長い第2の時間量にわたって受信されないという判定に従って、1つ以上の表示生成構成要素を介して、第2の忠実度よりも低い第3の忠実度で第2のユーザの表現を表示することと、を含む。
【0021】
いくつかの実施形態によれば、第1のコンピュータシステムが記載される。第1のコンピュータシステムは、1つ以上の表示生成構成要素と通信する。第1のコンピュータシステムは、1つ以上のプロセッサと、1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶するメモリと、を備え、1つ以上のプログラムは、第1のコンピュータシステムが第1のコンピュータシステムの第1のユーザによって使用されている間に、1つ以上の表示生成構成要素を介して、第2のユーザの表現であって、第2のユーザの表現は、第1のコンピュータシステムとのライブ通信セッション中に第2のコンピュータシステムによって検出された第2のユーザの検出された移動に基づいて移動する、第2のユーザの表現を、第1の忠実度でエクステンデッドリアリティ環境内に表示し、エクステンデッドリアリティ環境内に第2のユーザの表現を表示している間に、第2のユーザの身体の状態に関する直接情報の量が変化し、第2のユーザの身体の状態に関する直接情報の量が変化したことに応じて、第1のコンピュータシステムが、1つ以上の表示生成構成要素を介して、異なる忠実度で第2のユーザの表現を表示することを開始する、命令を含む、第1のコンピュータシステムであって、表示することは、第2のユーザの身体の状態に関する直接情報が、第1の時間閾値よりも長く、かつ第2の時間閾値よりも短い第1の時間量にわたって受信されないという判定に従って、1つ以上の表示生成構成要素を介して、第1の忠実度よりも低い第2の忠実度で第2のユーザの表現を表示することと、第2のユーザの身体の状態に関する直接情報が、第1の時間閾値よりも長く、かつ第2の時間閾値よりも長い第2の時間量にわたって受信されないという判定に従って、1つ以上の表示生成構成要素を介して、第2の忠実度よりも低い第3の忠実度で第2のユーザの表現を表示することと、を含む。
【0022】
いくつかの実施形態によれば、第1のコンピュータシステムが記載される。第1のコンピュータシステムは、1つ以上の表示生成構成要素と通信する。第1のコンピュータシステムは、第1のコンピュータシステムが第1のコンピュータシステムの第1のユーザによって使用されている間に、1つ以上の表示生成構成要素を介して、第2のユーザの表現であって、第2のユーザの表現は、第1のコンピュータシステムとのライブ通信セッション中に第2のコンピュータシステムによって検出された第2のユーザの検出された移動に基づいて移動する、第2のユーザの表現を、第1の忠実度でエクステンデッドリアリティ環境内に表示する手段と、エクステンデッドリアリティ環境内に第2のユーザの表現を表示している間に、第2のユーザの身体の状態に関する直接情報の量が変化する手段と、第2のユーザの身体の状態に関する直接情報の量が変化したことに応じて、第1のコンピュータシステムが、1つ以上の表示生成構成要素を介して、異なる忠実度で第2のユーザの表現を表示することを開始する手段と、を備える、第1のコンピュータシステムであって、表示することは、第2のユーザの身体の状態に関する直接情報が、第1の時間閾値よりも長く、かつ第2の時間閾値よりも短い第1の時間量にわたって受信されないという判定に従って、1つ以上の表示生成構成要素を介して、第1の忠実度よりも低い第2の忠実度で第2のユーザの表現を表示することと、第2のユーザの身体の状態に関する直接情報が、第1の時間閾値よりも長く、かつ第2の時間閾値よりも長い第2の時間量にわたって受信されないという判定に従って、1つ以上の表示生成構成要素を介して、第2の忠実度よりも低い第3の忠実度で第2のユーザの表現を表示することと、を含む。
【0023】
いくつかの実施形態によれば、方法が記載される。本方法は、1つ以上の表示生成構成要素と通信している第1のコンピュータシステムにおいて実行される。本方法は、第1のコンピュータシステムが第1のコンピュータシステムの第1のユーザによって使用されている間に、1つ以上の表示生成構成要素を介して、エクステンデッドリアリティ環境内に、第2のユーザの表現であって、第2のユーザの表現は、第1のコンピュータシステムとのライブ通信セッション中に第2のコンピュータシステムによって検出された第2のユーザの検出された移動に基づいて移動する、第2のユーザの表現を表示することと、エクステンデッドリアリティ環境内に第2のユーザの表現を表示している間に、第2のユーザの発話に対応する情報を受信することと、第2のユーザの発話に対応する情報を受信したことに応じて、第2のユーザの発話に対応する情報に基づいて第2のユーザの表現の外観を更新することと、を含む、方法であって、更新することは、第2のユーザの口の検出された物理的状態に関する情報が1つ以上の基準のセットを満たさないという判定に従って、1つ以上の表示生成構成要素を介して、第2のユーザの表現の第1の口表現であって、第1の口表現は、第2のユーザの発話に対応するオーディオ情報に基づいて生成される、第1の口表現を表示することと、第2のユーザの口の検出された物理的状態に関する情報が1つ以上の基準のセットを満たすという判定に従って、1つ以上の表示生成構成要素を介して、第2のユーザの表現の第2の口表現であって、第2の口表現は、第2の口表現を生成するために第2のユーザの発話に対応するオーディオ情報を使用することなく、第2のユーザの口の検出された物理的状態に関する情報に基づいて生成される、第2の口表現を表示することと、を含む。
【0024】
いくつかの実施形態によれば、非一時的コンピュータ可読記憶媒体が記載される。非一時的コンピュータ可読記憶媒体は、1つ以上の表示生成構成要素と通信している第1のコンピュータシステムの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶し、1つ以上のプログラムは、第1のコンピュータシステムが第1のコンピュータシステムの第1のユーザによって使用されている間に、1つ以上の表示生成構成要素を介して、エクステンデッドリアリティ環境内に、第2のユーザの表現であって、第2のユーザの表現は、第1のコンピュータシステムとのライブ通信セッション中に第2のコンピュータシステムによって検出された第2のユーザの検出された移動に基づいて移動する、第2のユーザの表現を表示し、エクステンデッドリアリティ環境内に第2のユーザの表現を表示している間に、第2のユーザの発話に対応する情報を受信し、第2のユーザの発話に対応する情報を受信したことに応じて、第2のユーザの発話に対応する情報に基づいて第2のユーザの表現の外観を更新する、命令を含む、非一時的コンピュータ可読記憶媒体であって、更新することは、第2のユーザの口の検出された物理的状態に関する情報が1つ以上の基準のセットを満たさないという判定に従って、1つ以上の表示生成構成要素を介して、第2のユーザの表現の第1の口表現であって、第1の口表現は、第2のユーザの発話に対応するオーディオ情報に基づいて生成される、第1の口表現を表示することと、第2のユーザの口の検出された物理的状態に関する情報が1つ以上の基準のセットを満たすという判定に従って、1つ以上の表示生成構成要素を介して、第2のユーザの表現の第2の口表現であって、第2の口表現は、第2の口表現を生成するために第2のユーザの発話に対応するオーディオ情報を使用することなく、第2のユーザの口の検出された物理的状態に関する情報に基づいて生成される、第2の口表現を表示することと、を含む。
【0025】
いくつかの実施形態によれば、一時的コンピュータ可読記憶媒体が記載される。一時的コンピュータ可読記憶媒体は、1つ以上の表示生成構成要素と通信している第1のコンピュータシステムの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶し、1つ以上のプログラムは、第1のコンピュータシステムが第1のコンピュータシステムの第1のユーザによって使用されている間に、1つ以上の表示生成構成要素を介して、エクステンデッドリアリティ環境内に、第2のユーザの表現であって、第2のユーザの表現は、第1のコンピュータシステムとのライブ通信セッション中に第2のコンピュータシステムによって検出された第2のユーザの検出された移動に基づいて移動する、第2のユーザの表現を表示し、エクステンデッドリアリティ環境内に第2のユーザの表現を表示している間に、第2のユーザの発話に対応する情報を受信し、第2のユーザの発話に対応する情報を受信したことに応じて、第2のユーザの発話に対応する情報に基づいて第2のユーザの表現の外観を更新する、命令を含む、一時的コンピュータ可読記憶媒体であって、更新することは、第2のユーザの口の検出された物理的状態に関する情報が1つ以上の基準のセットを満たさないという判定に従って、1つ以上の表示生成構成要素を介して、第2のユーザの表現の第1の口表現であって、第1の口表現は、第2のユーザの発話に対応するオーディオ情報に基づいて生成される、第1の口表現を表示することと、第2のユーザの口の検出された物理的状態に関する情報が1つ以上の基準のセットを満たすという判定に従って、1つ以上の表示生成構成要素を介して、第2のユーザの表現の第2の口表現であって、第2の口表現は、第2の口表現を生成するために第2のユーザの発話に対応するオーディオ情報を使用することなく、第2のユーザの口の検出された物理的状態に関する情報に基づいて生成される、第2の口表現を表示することと、を含む。
【0026】
いくつかの実施形態によれば、第1のコンピュータシステムが記載される。第1のコンピュータシステムは、1つ以上の表示生成構成要素と通信する。第1のコンピュータシステムは、1つ以上のプロセッサと、1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶するメモリと、を備え、1つ以上のプログラムは、第1のコンピュータシステムが第1のコンピュータシステムの第1のユーザによって使用されている間に、1つ以上の表示生成構成要素を介して、エクステンデッドリアリティ環境内に、第2のユーザの表現であって、第2のユーザの表現は、第1のコンピュータシステムとのライブ通信セッション中に第2のコンピュータシステムによって検出された第2のユーザの検出された移動に基づいて移動する、第2のユーザの表現を表示し、エクステンデッドリアリティ環境内に第2のユーザの表現を表示している間に、第2のユーザの発話に対応する情報を受信し、第2のユーザの発話に対応する情報を受信したことに応じて、第2のユーザの発話に対応する情報に基づいて第2のユーザの表現の外観を更新する、命令を含む、第1のコンピュータシステムであって、更新することは、第2のユーザの口の検出された物理的状態に関する情報が1つ以上の基準のセットを満たさないという判定に従って、1つ以上の表示生成構成要素を介して、第2のユーザの表現の第1の口表現であって、第1の口表現は、第2のユーザの発話に対応するオーディオ情報に基づいて生成される、第1の口表現を表示することと、第2のユーザの口の検出された物理的状態に関する情報が1つ以上の基準のセットを満たすという判定に従って、1つ以上の表示生成構成要素を介して、第2のユーザの表現の第2の口表現であって、第2の口表現は、第2の口表現を生成するために第2のユーザの発話に対応するオーディオ情報を使用することなく、第2のユーザの口の検出された物理的状態に関する情報に基づいて生成される、第2の口表現を表示することと、を含む。
【0027】
いくつかの実施形態によれば、第1のコンピュータシステムが記載される。第1のコンピュータシステムは、1つ以上の表示生成構成要素と通信する。第1のコンピュータシステムは、第1のコンピュータシステムが第1のコンピュータシステムの第1のユーザによって使用されている間に、1つ以上の表示生成構成要素を介して、エクステンデッドリアリティ環境内に、第2のユーザの表現であって、第2のユーザの表現は、第1のコンピュータシステムとのライブ通信セッション中に第2のコンピュータシステムによって検出された第2のユーザの検出された移動に基づいて移動する、第2のユーザの表現を表示する手段と、エクステンデッドリアリティ環境内に第2のユーザの表現を表示している間に、第2のユーザの発話に対応する情報を受信する手段と、第2のユーザの発話に対応する情報を受信したことに応じて、第2のユーザの発話に対応する情報に基づいて第2のユーザの表現の外観を更新する手段と、を備える、第1のコンピュータシステムであって、更新することは、第2のユーザの口の検出された物理的状態に関する情報が1つ以上の基準のセットを満たさないという判定に従って、1つ以上の表示生成構成要素を介して、第2のユーザの表現の第1の口表現であって、第1の口表現は、第2のユーザの発話に対応するオーディオ情報に基づいて生成される、第1の口表現を表示することと、第2のユーザの口の検出された物理的状態に関する情報が1つ以上の基準のセットを満たすという判定に従って、1つ以上の表示生成構成要素を介して、第2のユーザの表現の第2の口表現であって、第2の口表現は、第2の口表現を生成するために第2のユーザの発話に対応するオーディオ情報を使用することなく、第2のユーザの口の検出された物理的状態に関する情報に基づいて生成される、第2の口表現を表示することと、を含む。
【0028】
いくつかの実施形態によれば、方法が記載される。本方法は、1つ以上の表示生成構成要素と通信している第1のコンピュータシステムにおいて実行される。本方法は、第1のコンピュータシステムが第1のコンピュータシステムの第1のユーザによって使用されている間に、1つ以上の表示生成構成要素を介して、エクステンデッドリアリティ環境内に、第2のユーザの表現であって、第2のユーザの表現は、第1のコンピュータシステムとのライブ通信セッション中に第2のコンピュータシステムによって検出された第2のユーザの検出された移動に基づいて移動する、第2のユーザの表現を表示することを含む方法であって、第2のユーザの表現は、第2のユーザの毛の視覚的表現を含み、第2のユーザの毛の視覚的表現は、第2のユーザの個別の身体部分に対応する第2のユーザの表現の一部分から第1の距離に位置決めされた毛の表現の第1の部分であって、毛の表現の第1の部分は、第1の視覚的忠実度を含む、毛の表現の第1の部分と、第2のユーザの個別の身体部分に対応する第2のユーザの表現の一部分から、第1の距離よりも大きい第2の距離に位置決めされた毛の表現の第2の部分であって、毛の表現の第2の部分は、第1の視覚的忠実度よりも小さい第2の視覚的忠実度を含む、毛の表現の第2の部分と、を含む。
【0029】
いくつかの実施形態によれば、非一時的コンピュータ可読記憶媒体が記載される。非一時的コンピュータ可読記憶媒体は、1つ以上の表示生成構成要素と通信している第1のコンピュータシステムの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶し、1つ以上のプログラムは、第1のコンピュータシステムが第1のコンピュータシステムの第1のユーザによって使用されている間に、1つ以上の表示生成構成要素を介して、エクステンデッドリアリティ環境内に、第2のユーザの表現であって、第2のユーザの表現は、第1のコンピュータシステムとのライブ通信セッション中に第2のコンピュータシステムによって検出された第2のユーザの検出された移動に基づいて移動する、第2のユーザの表現を表示する命令を含む、非一時的コンピュータ可読記憶媒体であって、第2のユーザの表現は、第2のユーザの毛の視覚的表現を含み、第2のユーザの毛の視覚的表現は、第2のユーザの個別の身体部分に対応する第2のユーザの表現の一部分から第1の距離に位置決めされた毛の表現の第1の部分であって、毛の表現の第1の部分は、第1の視覚的忠実度を含む、毛の表現の第1の部分と、第2のユーザの個別の身体部分に対応する第2のユーザの表現の一部分から、第1の距離よりも大きい第2の距離に位置決めされた毛の表現の第2の部分であって、毛の表現の第2の部分は、第1の視覚的忠実度よりも小さい第2の視覚的忠実度を含む、毛の表現の第2の部分と、を含む。
【0030】
いくつかの実施形態によれば、一時的コンピュータ可読記憶媒体が記載される。一時的コンピュータ可読記憶媒体は、1つ以上の表示生成構成要素と通信している第1のコンピュータシステムの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶し、1つ以上のプログラムは、第1のコンピュータシステムが第1のコンピュータシステムの第1のユーザによって使用されている間に、1つ以上の表示生成構成要素を介して、エクステンデッドリアリティ環境内に、第2のユーザの表現であって、第2のユーザの表現は、第1のコンピュータシステムとのライブ通信セッション中に第2のコンピュータシステムによって検出された第2のユーザの検出された移動に基づいて移動する、第2のユーザの表現を表示する命令を含む、一時的コンピュータ可読記憶媒体であって、第2のユーザの表現は、第2のユーザの毛の視覚的表現を含み、第2のユーザの毛の視覚的表現は、第2のユーザの個別の身体部分に対応する第2のユーザの表現の一部分から第1の距離に位置決めされた毛の表現の第1の部分であって、毛の表現の第1の部分は、第1の視覚的忠実度を含む、毛の表現の第1の部分と、第2のユーザの個別の身体部分に対応する第2のユーザの表現の一部分から、第1の距離よりも大きい第2の距離に位置決めされた毛の表現の第2の部分であって、毛の表現の第2の部分は、第1の視覚的忠実度よりも小さい第2の視覚的忠実度を含む、毛の表現の第2の部分と、を含む。
【0031】
いくつかの実施形態によれば、第1のコンピュータシステムが記載される。第1のコンピュータシステムは、1つ以上の表示生成構成要素と通信する。第1のコンピュータシステムは、1つ以上のプロセッサと、1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶するメモリと、を備え、1つ以上のプログラムは、第1のコンピュータシステムが第1のコンピュータシステムの第1のユーザによって使用されている間に、1つ以上の表示生成構成要素を介して、エクステンデッドリアリティ環境内に、第2のユーザの表現であって、第2のユーザの表現は、第1のコンピュータシステムとのライブ通信セッション中に第2のコンピュータシステムによって検出された第2のユーザの検出された移動に基づいて移動する、第2のユーザの表現を表示する命令を含む、第1のコンピュータシステムであって、第2のユーザの表現は、第2のユーザの毛の視覚的表現を含み、第2のユーザの毛の視覚的表現は、第2のユーザの個別の身体部分に対応する第2のユーザの表現の一部分から第1の距離に位置決めされた毛の表現の第1の部分であって、毛の表現の第1の部分は、第1の視覚的忠実度を含む、毛の表現の第1の部分と、第2のユーザの個別の身体部分に対応する第2のユーザの表現の一部分から、第1の距離よりも大きい第2の距離に位置決めされた毛の表現の第2の部分であって、毛の表現の第2の部分は、第1の視覚的忠実度よりも小さい第2の視覚的忠実度を含む、毛の表現の第2の部分と、を含む。
【0032】
いくつかの実施形態によれば、第1のコンピュータシステムが記載される。第1のコンピュータシステムは、1つ以上の表示生成構成要素と通信する。第1のコンピュータシステムは、第1のコンピュータシステムが第1のコンピュータシステムの第1のユーザによって使用されている間に、1つ以上の表示生成構成要素を介して、エクステンデッドリアリティ環境内に、第2のユーザの表現であって、第2のユーザの表現は、第1のコンピュータシステムとのライブ通信セッション中に第2のコンピュータシステムによって検出された第2のユーザの検出された移動に基づいて移動する、第2のユーザの表現を表示する手段を備える、第1のコンピュータシステムであって、第2のユーザの表現は、第2のユーザの毛の視覚的表現を含み、第2のユーザの毛の視覚的表現は、第2のユーザの個別の身体部分に対応する第2のユーザの表現の一部分から第1の距離に位置決めされた毛の表現の第1の部分であって、毛の表現の第1の部分は、第1の視覚的忠実度を含む、毛の表現の第1の部分と、第2のユーザの個別の身体部分に対応する第2のユーザの表現の一部分から、第1の距離よりも大きい第2の距離に位置決めされた毛の表現の第2の部分であって、毛の表現の第2の部分は、第1の視覚的忠実度よりも小さい第2の視覚的忠実度を含む、毛の表現の第2の部分と、を含む。
【0033】
いくつかの実施形態によれば、方法が記載される。本方法は、1つ以上の表示生成構成要素と通信している第1のコンピュータシステムにおいて実行される。本方法は、第1のコンピュータシステムが第1のコンピュータシステムの第1のユーザによって使用されている間に、1つ以上の表示生成構成要素を介して、エクステンデッドリアリティ環境内に、第2のユーザの表現であって、第2のユーザの表現は、第1のコンピュータシステムとのライブ通信セッション中に第2のコンピュータシステムによって検出された第2のユーザの検出された移動に基づいて移動する、第2のユーザの表現を表示することを含む方法であって、第2のユーザの表現は、第2のユーザの表現とエクステンデッドリアリティ環境の他の部分との間の境界に対応する第2のユーザの表現の第1の部分であって、第2のユーザの表現の第1の部分は、第1の視覚的外観を用いて表示される、第1の部分と、第2のユーザの表現とエクステンデッドリアリティ環境の他の部分との間の境界に対応しない第2のユーザの表現の第2の部分であって、第2のユーザの表現の第2の部分は、第2の視覚的外観を用いて表示され、第1の視覚的外観は、第2の視覚的外観と比較して強調される、第2の部分と、を含む。
【0034】
いくつかの実施形態によれば、非一時的コンピュータ可読記憶媒体が記載される。非一時的コンピュータ可読記憶媒体は、1つ以上の表示生成構成要素と通信している第1のコンピュータシステムの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶し、1つ以上のプログラムは、第1のコンピュータシステムが第1のコンピュータシステムの第1のユーザによって使用されている間に、1つ以上の表示生成構成要素を介して、エクステンデッドリアリティ環境内に、第2のユーザの表現であって、第2のユーザの表現は、第1のコンピュータシステムとのライブ通信セッション中に第2のコンピュータシステムによって検出された第2のユーザの検出された移動に基づいて移動する、第2のユーザの表現を表示する命令を含む、非一時的コンピュータ可読記憶媒体であって、第2のユーザの表現は、第2のユーザの表現とエクステンデッドリアリティ環境の他の部分との間の境界に対応する第2のユーザの表現の第1の部分であって、第2のユーザの表現の第1の部分は、第1の視覚的外観を用いて表示される、第1の部分と、第2のユーザの表現とエクステンデッドリアリティ環境の他の部分との間の境界に対応しない第2のユーザの表現の第2の部分であって、第2のユーザの表現の第2の部分は、第2の視覚的外観を用いて表示され、第1の視覚的外観は、第2の視覚的外観と比較して強調される、第2の部分と、を含む。
【0035】
いくつかの実施形態によれば、一時的コンピュータ可読記憶媒体が記載される。一時的コンピュータ可読記憶媒体は、1つ以上の表示生成構成要素と通信している第1のコンピュータシステムの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶し、1つ以上のプログラムは、第1のコンピュータシステムが第1のコンピュータシステムの第1のユーザによって使用されている間に、1つ以上の表示生成構成要素を介して、エクステンデッドリアリティ環境内に、第2のユーザの表現であって、第2のユーザの表現は、第1のコンピュータシステムとのライブ通信セッション中に第2のコンピュータシステムによって検出された第2のユーザの検出された移動に基づいて移動する、第2のユーザの表現を表示する命令を含む、一時的コンピュータ可読記憶媒体であって、第2のユーザの表現は、第2のユーザの表現とエクステンデッドリアリティ環境の他の部分との間の境界に対応する第2のユーザの表現の第1の部分であって、第2のユーザの表現の第1の部分は、第1の視覚的外観を用いて表示される、第1の部分と、第2のユーザの表現とエクステンデッドリアリティ環境の他の部分との間の境界に対応しない第2のユーザの表現の第2の部分であって、第2のユーザの表現の第2の部分は、第2の視覚的外観を用いて表示され、第1の視覚的外観は、第2の視覚的外観と比較して強調される、第2の部分と、を含む。
【0036】
いくつかの実施形態によれば、第1のコンピュータシステムが記載される。第1のコンピュータシステムは、1つ以上の表示生成構成要素と通信する。第1のコンピュータシステムは、1つ以上のプロセッサと、1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶するメモリと、を備え、1つ以上のプログラムは、第1のコンピュータシステムが第1のコンピュータシステムの第1のユーザによって使用されている間に、1つ以上の表示生成構成要素を介して、エクステンデッドリアリティ環境内に、第2のユーザの表現であって、第2のユーザの表現は、第1のコンピュータシステムとのライブ通信セッション中に第2のコンピュータシステムによって検出された第2のユーザの検出された移動に基づいて移動する、第2のユーザの表現を表示する命令を含む、第1のコンピュータシステムであって、第2のユーザの表現は、第2のユーザの表現とエクステンデッドリアリティ環境の他の部分との間の境界に対応する第2のユーザの表現の第1の部分であって、第2のユーザの表現の第1の部分は、第1の視覚的外観を用いて表示される、第1の部分と、第2のユーザの表現とエクステンデッドリアリティ環境の他の部分との間の境界に対応しない第2のユーザの表現の第2の部分であって、第2のユーザの表現の第2の部分は、第2の視覚的外観を用いて表示され、第1の視覚的外観は、第2の視覚的外観と比較して強調される、第2の部分と、を含む。
【0037】
いくつかの実施形態によれば、第1のコンピュータシステムが記載される。第1のコンピュータシステムは、1つ以上の表示生成構成要素と通信する。第1のコンピュータシステムは、第1のコンピュータシステムが第1のコンピュータシステムの第1のユーザによって使用されている間に、1つ以上の表示生成構成要素を介して、エクステンデッドリアリティ環境内に、第2のユーザの表現であって、第2のユーザの表現は、第1のコンピュータシステムとのライブ通信セッション中に第2のコンピュータシステムによって検出された第2のユーザの検出された移動に基づいて移動する、第2のユーザの表現を表示する手段を備える、第1のコンピュータシステムであって、第2のユーザの表現は、第2のユーザの表現とエクステンデッドリアリティ環境の他の部分との間の境界に対応する第2のユーザの表現の第1の部分であって、第2のユーザの表現の第1の部分は、第1の視覚的外観を用いて表示される、第1の部分と、第2のユーザの表現とエクステンデッドリアリティ環境の他の部分との間の境界に対応しない第2のユーザの表現の第2の部分であって、第2のユーザの表現の第2の部分は、第2の視覚的外観を用いて表示され、第1の視覚的外観は、第2の視覚的外観と比較して強調される、第2の部分と、を含む。
【0038】
前述の様々な実施形態は、本明細書に記載の任意の他の実施形態と組み合わせることができることに留意されたい。本明細書で説明する特徴及び利点は、包括的なものではなく、特に、図面、明細書及び特許請求の範囲を鑑みると、多くの追加の特徴及び利点が当業者には明らかになるであろう。更に、本明細書において使用される文言は、専ら読みやすさ及び説明の目的で選択されたものであり、本発明の主題を画定又は制限するために選択されたものではないことに留意されたい。
【図面の簡単な説明】
【0039】
説明される様々な実施形態をより良く理解するため、以下の図面と併せて、以下の「発明を実施するための形態」が参照されるべきであり、類似の参照番号は、以下の図の全てを通じて、対応する部分を指す。
【0040】
図1】いくつかの実施形態による、XR体験を提供するためのコンピュータシステムの動作環境を示すブロック図である。
【0041】
図2】いくつかの実施形態による、ユーザのXR体験を管理及び調整するように構成されたコンピュータシステムのコントローラを示すブロック図である。
【0042】
図3】いくつかの実施形態による、XR体験の視覚的コンポーネントをユーザに提供するように構成されたコンピュータシステムの表示生成構成要素を示すブロック図である。
【0043】
図4】いくつかの実施形態による、ユーザのジェスチャ入力をキャプチャするように構成されたコンピュータシステムのハンドトラッキングユニットを示すブロック図である。
【0044】
図5】いくつかの実施形態による、ユーザの視線入力をキャプチャするように構成されたコンピュータシステムのアイトラッキングユニットを示すブロック図である。
【0045】
図6】いくつかの実施形態による、グリント支援視線追跡パイプラインを示すフロー図である。
【0046】
図7A】いくつかの実施形態による、ユーザの表現を生成し、ユーザの表現を表示するための例示的な技術を示す。
図7B】いくつかの実施形態による、ユーザの表現を生成し、ユーザの表現を表示するための例示的な技術を示す。
図7C】いくつかの実施形態による、ユーザの表現を生成し、ユーザの表現を表示するための例示的な技術を示す。
図7D】いくつかの実施形態による、ユーザの表現を生成し、ユーザの表現を表示するための例示的な技術を示す。
図7E】いくつかの実施形態による、ユーザの表現を生成し、ユーザの表現を表示するための例示的な技術を示す。
図7F】いくつかの実施形態による、ユーザの表現を生成し、ユーザの表現を表示するための例示的な技術を示す。
図7G】いくつかの実施形態による、ユーザの表現を生成し、ユーザの表現を表示するための例示的な技術を示す。
図7H】いくつかの実施形態による、ユーザの表現を生成し、ユーザの表現を表示するための例示的な技術を示す。
図7I】いくつかの実施形態による、ユーザの表現を生成し、ユーザの表現を表示するための例示的な技術を示す。
図7J】いくつかの実施形態による、ユーザの表現を生成し、ユーザの表現を表示するための例示的な技術を示す。
【0047】
図8】様々な実施形態による、ユーザの表現を生成する方法のフロー図である。
【0048】
図9】様々な実施形態による、ユーザの表現を表示する方法のフロー図である。
【0049】
図10A】いくつかの実施形態による、ユーザの表現の外観を調整するための例示的な技術を示す。
図10B】いくつかの実施形態による、ユーザの表現の外観を調整するための例示的な技術を示す。
図10C】いくつかの実施形態による、ユーザの表現の外観を調整するための例示的な技術を示す。
図10D】いくつかの実施形態による、ユーザの表現の外観を調整するための例示的な技術を示す。
図10E】いくつかの実施形態による、ユーザの表現の外観を調整するための例示的な技術を示す。
図10F】いくつかの実施形態による、ユーザの表現の外観を調整するための例示的な技術を示す。
図10G】いくつかの実施形態による、ユーザの表現の外観を調整するための例示的な技術を示す。
図10H】いくつかの実施形態による、ユーザの表現の外観を調整するための例示的な技術を示す。
図10I】いくつかの実施形態による、ユーザの表現の外観を調整するための例示的な技術を示す。
【0050】
図11】様々な実施形態による、ユーザの表現の外観を調整する方法のフロー図である。
【0051】
図12】様々な実施形態による、ユーザの表現の口表現を表示する方法のフロー図である。
【0052】
図13】様々な実施形態による、ユーザの表現の毛表現を表示する方法のフロー図である。
【0053】
図14】様々な実施形態による、ユーザの表現の一部分を視覚的強調とともに表示する方法のフロー図である。
【発明を実施するための形態】
【0054】
本開示は、いくつかの実施形態による、拡張現実(XR)体験をユーザに提供するユーザインタフェースに関する。
【0055】
本明細書に記載するシステム、方法、及びGUIは、複数の方法で仮想/拡張現実環境とのユーザインタフェース相互作用を改善する。
【0056】
いくつかの実施形態では、コンピュータシステムは、ユーザに関連する情報をキャプチャし、キャプチャされた情報を使用して、ユーザの表現を生成する。コンピュータシステムがユーザの身体上に配置されている間に、コンピュータシステムは、ユーザの身体からコンピュータシステムを取り外し、コンピュータシステムを使用してユーザに関連する情報をキャプチャするようにユーザに促す。コンピュータシステムは、コンピュータシステムがユーザの身体から取り外されたことを検出し、コンピュータシステムがユーザの身体から取り外されたことを検出した後に、ユーザに関する情報をキャプチャする。いくつかの実施形態では、コンピュータシステムは、ユーザの身体に対して個別の配向及び/又はポジションで装着されることができる、ヘッドマウント表示生成構成要素及び/又は時計などのウェアラブルコンピュータシステムである。いくつかの実施形態では、コンピュータシステムは、コンピュータシステムがユーザの身体から取り外されている間に、ユーザの頭部及び/又は顔に関連する情報をキャプチャしコンピュータシステムがユーザの身体上に配置されている間に、ユーザの手に関連する情報をキャプチャする。いくつかの実施形態では、コンピュータシステムは、ユーザの身体からコンピュータシステムを取り外すようにユーザに促す第1のプロンプトを第1の表示生成構成要素上に表示し、コンピュータシステムがユーザの身体から取り外されている間にユーザに関する情報をキャプチャする命令を提供する第2のプロンプトを第2の表示生成構成要素上に表示する。
【0057】
いくつかの実施形態では、コンピュータシステムは、ユーザの1つ以上の身体的特徴についての情報をキャプチャし、ユーザの1つ以上の身体的特徴についての情報に基づいて、ユーザの表現を生成し、拡張現実環境及び/又は仮想現実環境などのエクステンデッドリアリティ環境内にユーザの表現を表示する。いくつかの実施形態では、コンピュータシステムは、物理的環境内のユーザの物理的状態の鏡像である代表的状態を含むように、ユーザの表現を表示する。いくつかの実施形態では、コンピュータシステムは、物理的環境内のユーザの物理的移動に基づく表現の移動をアニメーション化及び/又は表示する。いくつかの実施形態では、コンピュータシステムは、エクステンデッドリアリティ環境内にユーザの表現を表示している間に、ユーザの表現を編集するための、及び/又はユーザの1つ以上の身体的特徴に関する情報を再キャプチャするための選択可能オプションを提供する。
【0058】
いくつかの実施形態では、第1のユーザによって使用されている第1のコンピュータシステムは、エクステンデッドリアリティ環境内に第2のユーザの表現を表示し、第2のユーザの身体の状態に関する直接情報の量に基づいて、第2のユーザの表現の外観を調整する。例えば、コンピュータシステムは、第1の視覚的忠実度及び/又は精度で第2のユーザの表現を表示する。第2のユーザの身体の状態に関する直接情報が、第1の時間閾値よりも長く、第2の時間閾値よりも短い第1の時間量にわたって受信されないとき、コンピュータシステムは、第1の視覚的忠実度及び/又は精度よりも低い第2の視覚的忠実度及び/又は精度で第2のユーザの表現を表示する。第2のユーザの身体の状態に関する直接情報が、第1の時間閾値よりも長く、第2の時間閾値よりも長い第2の時間量にわたって受信されない場合、コンピュータシステムは、第1の視覚的忠実度及び/又は精度よりも低く、第2の視覚的忠実度及び/又は精度よりも低い第3の視覚的忠実度及び/又は精度で第2のユーザの表現を表示する。いくつかの実施形態では、第2のユーザの身体の状態に関する直接情報が第2の時間量にわたって受信されないとき、コンピュータシステムは、第2のユーザの表現が擬人化特徴を有しない、かつ/又はエクステンデッドリアリティ環境内の無生物物質であるように、第2のユーザの表現をプレゼンテーションモードで表示する。
【0059】
いくつかの実施形態では、第1のユーザによって使用されている第1のコンピュータシステムは、エクステンデッドリアリティ環境内に第2のユーザの表現を表示し、第2のユーザの発話に対応するオーディオ情報及び/又は第2のユーザの口の検出された物理的状態に関する情報のうちの1つ以上に基づいて、第2のユーザの表現の口表現を表示する。コンピュータシステムは、第2のユーザの発話に対応するオーディオ情報を受信し、ユーザの発話に対応するオーディオ情報に基づいて、第2のユーザの表現の外観を更新する。第2のユーザの口の検出された物理的状態に関する情報が信頼水準閾値よりも小さいなど、第2のユーザの口の検出された物理的状態に関する情報が1つ以上の基準のセットを満たさないとき、コンピュータシステムは、第2のユーザの発話に対応するオーディオ情報に基づいて生成される第1の口表現を有する、第2のユーザの表現を表示する。第2のユーザの口の検出された物理的状態に関する情報が信頼水準閾値よりも大きいなど、第2のユーザの口の検出された物理的状態に関する情報が1つ以上の基準のセットを満たすとき、コンピュータシステムは、第2のユーザの発話に対応するオーディオ情報を使用せずに、第2のユーザの口の検出された物理的状態に関する情報に基づいて生成される第2の口表現を有する、第2のユーザの表現を表示する。いくつかの実施形態では、第1の口表現は、第2のユーザの発話に対応するオーディオ情報に基づいて生成される第3の口表現と、第2のユーザの口の検出された物理的状態に関する情報に基づいて生成される第4の口表現との組み合わせ及び/又はオーバーレイである。いくつかの実施形態では、第1の口表現は、第2のユーザの口の検出された物理的状態に関する情報の信頼水準に基づいて、異なる量の第3の口表現及び第4の口表現を使用して生成される。
【0060】
いくつかの実施形態では、第1のユーザによって使用されている第1のコンピュータシステムは、エクステンデッドリアリティ環境内に第2のユーザの表現を表示し、第2のユーザの毛の視覚的表現を含む第2のユーザの表現を表示する。第2のユーザの毛の視覚的表現は、顔及び/又は首などの第2のユーザの個別の身体部分に対応する第2のユーザの表現の一部分から第1の距離に位置決めされ、第1の視覚的忠実度及び/又は精度を含む、第1の部分を含む。毛の視覚的表現は、第2のユーザの個別の身体部分に対応する第2のユーザの表現の一部分から、第1の距離よりも大きい第2の距離に位置決めされた第2の部分を含み、第1の視覚的忠実度及び/又は精度よりも低い第2の視覚的忠実度及び/又は精度を含む。したがって、第2のユーザの毛の視覚的表現は、毛の視覚的表現が第2のユーザの個別の身体部分に対応する第2のユーザの表現の一部分から離れて位置決めされるほど、より不明瞭になる。いくつかの実施形態では、毛の視覚的表現は、第2のユーザの顔の毛及び/又は髭のみに対応する。
【0061】
いくつかの実施形態では、第1のユーザによって使用されている第1のコンピュータシステムは、エクステンデッドリアリティ環境内に第2のユーザの表現を表示し、異なるレベル及び/又は程度の視覚的強調を伴って、第2のユーザの表現の異なる部分を表示する。例えば、第2のユーザの表現とエクステンデッドリアリティ環境の他の部分との間の境界に対応する第2のユーザの表現の第1の部分は、第1の視覚的外観を用いて表示される。第2のユーザの表現とエクステンデッドリアリティ環境の他の部分との間の境界に対応しない第2のユーザの表現の第2の部分は、第2の視覚的外観を用いて表示され、第1の視覚的外観は、第2の視覚的外観と比較して視覚的に強調される。いくつかの実施形態では、コンピュータシステムは、第2のユーザの表現の第1の部分及び第2の部分が、表示された透視図及び/又は視点の変化に基づいて変化するように、第2のユーザの表現の表示された視点及び/又は透視図の変化に基づいて、第2のユーザの表現の外観を調整する。いくつかの実施形態では、コンピュータシステムは、第2のユーザの表現が後方配向で表示されるときに、第2のユーザの表現をプレゼンテーションモードで表示し、プレゼンテーションモードは、擬人化特徴を伴わずに、かつ/又は無生物物質として、第2のユーザの表現を表示することを含む。
【0062】
図1図6は、XR体験をユーザに提供するための例示的なコンピュータシステムを説明する。図7A図7Jは、いくつかの実施形態による、ユーザの表現を生成し、ユーザの表現を表示するための例示的な技術を示す。図8は、様々な実施形態による、ユーザの表現を生成する方法のフロー図である。図9は、様々な実施形態による、ユーザの表現を表示する方法のフロー図である。図7A図7Jのユーザインタフェースは、図8及び図9のプロセスを示すために使用される。図10A図10Iは、いくつかの実施形態による、ユーザの表現の外観を調整するための例示的な技術を示す。図11は、様々な実施形態による、ユーザの表現の外観を調整する方法のフロー図である。図12は、様々な実施形態による、ユーザの表現の口表現を表示する方法のフロー図である。図13は、様々な実施形態による、ユーザの表現の毛表現を表示する方法のフロー図である。図14は、様々な実施形態による、ユーザの表現の一部分を視覚的強調とともに表示する方法のフロー図である。図10A図10Iのユーザインタフェースは、図11図14のプロセスを示すために使用される。
【0063】
以下で説明されるプロセスは、(例えば、ユーザが適切な入力を提供するのを助け、デバイスを操作する/デバイスと相互作用するときのユーザの誤りを低減することによって)デバイスの操作性を向上させ、改善された視覚的フィードバックをユーザに提供すること、動作を実行するために必要とされる入力の数を低減すること、追加の表示されたコントロールでユーザインタフェースを混乱させることなく追加のコントロールオプションを提供すること、更なるユーザ入力を必要とすることなく条件のセットが満たされたときに動作を実行すること、プライバシー及び/又はセキュリティを改善すること、記憶空間を節約しながらより多様な、詳細な、及び/若しくは現実的なユーザエクスペリエンスを提供すること、並びに/又は追加の技術によることを含む、種々の技術を通じてユーザデバイスインタフェースをより効率的にする。これらの技術はまた、ユーザがデバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。バッテリ電力、従って重量を節約することは、デバイスの人間工学を改善する。これらの技術はまた、リアルタイム通信を可能にし、より少ない及び/又はより精度の低いセンサの使用を可能にし、よりコンパクトで、より軽く、より安価なデバイスをもたらし、デバイスが様々な照明条件で使用されることを可能にする。これらの技術は、エネルギ使用を低減し、それによってデバイスによって放出される熱を低減し、これは、デバイス構成要素のための動作パラメータ内に十分にあるデバイスが、過度に多くの熱を生成している場合、ユーザが装着するには不快になり得るウェアラブルデバイスにとって特に重要である。
【0064】
更に、1つ以上のステップが満たされている1つ以上の条件を条件とする本明細書に記載の方法では、記載の方法は、繰り返しの過程にわたって、本方法のステップが条件とする条件の全てが本方法の異なる繰り返しで満たされるように、複数の繰り返しで繰り返されることができることを理解されたい。例えば、ある方法が、条件が満たされた場合に第1のステップを実行し、条件が満たされなかった場合に第2のステップを実行することを必要とする場合、当業者であれば、条件が満たされ、満たされなくなるまで、2に記載のステップが、特定の順序で繰り返されることを理解するであろう。したがって、満たされた1つ以上の条件に依存する1つ以上のステップで説明される方法は、方法に記載された各条件が満たされるまで繰り返される方法として書き換えられることができる。しかしながら、これは、システム又はコンピュータ可読媒体が、対応する1つ以上の条件の充足に基づいて条件付き動作を実行する命令を含み、したがって、方法のステップが条件付きである全ての条件が満たされるまで、方法のステップを明示的に繰り返すことなく偶発性が満たされたか否かを判定することができる、システム又はコンピュータ可読媒体の請求項には必要とされない。当業者はまた、条件付きステップを有する方法と同様に、システム又はコンピュータ可読記憶媒体が、条件付きステップの全てが実行されたことを確実にするために必要な回数だけ方法のステップを繰り返すことができることを理解するであろう。
【0065】
いくつかの実施形態では、図1に示されるように、XR体験は、コンピュータシステム101を含む動作環境100を介してユーザに提供される。コンピュータシステム101は、コントローラ110(例えば、ポータブル電子デバイス又はリモートサーバのプロセッサ)と、表示生成構成要素120(例えば、ヘッドマウントデバイス(HMD)、ディスプレイ、プロジェクタ、タッチスクリーンなど)と、1つ以上の入力デバイス125(例えば、アイトラッキングデバイス130、ハンドトラッキングデバイス140、他の入力デバイス150)と、1つ以上の出力デバイス155(例えば、スピーカ160、触知出力ジェネレータ170、及び他の出力デバイス180)と、1つ以上のセンサ190(例えば、画像センサ、光センサ、深度センサ、触覚センサ、配向センサ、近接センサ、温度センサ、ロケーションセンサ、運動センサ、速度センサなど)と、任意選択的に1つ以上の周辺デバイス195(例えば、家電製品、ウェアラブルデバイスなど)と、を含む。いくつかの実施形態では、入力デバイス125、出力デバイス155、センサ190、及び周辺デバイス195のうちの1つ以上は、(例えば、ヘッドマウントデバイス又はハンドヘルドデバイス内で)表示生成構成要素120と統合される。
【0066】
XR体験を説明するとき、ユーザが感知する、及び/又は(例えば、XR体験を生成するコンピュータシステムに、XR体験を生成するコンピュータシステム101に提供される様々な入力に対応するオーディオ、視覚、及び/又は触覚フィードバックを生成させる、コンピュータシステム101によって検出された入力を用いて)ユーザが相互作用することができる、いくつかの関連するが、別個の環境に個別的に言及するために様々な用語が使用される。以下は、これらの用語のサブセットである。
【0067】
物理的環境:物理的環境とは、人々が電子システムの助けなしに、感知及び/又は相互作用することができる物理的世界を指す。物理的な公園などの物理的環境には、物理的な木々、物理的な建物、及び物理的な人々などの物理的物品が挙げられる。人々は、視覚、触覚、聴覚、味覚、及び嗅覚などを介して、物理的環境を直接感知し、及び/又はそれと相互作用することができる。
【0068】
拡張現実:これと対照的に、拡張現実(extended reality、XR)環境は、人々が電子システムを介して感知及び/又は対話する、全体的又は部分的に模倣された環境を指す。XRでは、人物の身体運動のサブセット又はその表現が追跡され、それに応じて、XR環境内でシミュレートされた1つ以上の仮想オブジェクトの1つ以上の特性が、少なくとも1つの物理学の法則でふるまうように調節される。例えば、XRシステムは、人物の頭部の回転を検出し、それに応じて、そのようなビュー及び音が物理的環境においてどのように変化するかと同様の方法で、人物に提示されるグラフィックコンテンツ及び音場を調節することができる。状況によっては(例えば、アクセス性の理由から)、XR環境における仮想オブジェクト(単数又は複数)の特性(単数又は複数)に対する調節は、身体運動の表現(例えば、音声コマンド)に応じて行われてもよい。人物は、視覚、聴覚、触覚、味覚及び嗅覚を含むこれらの感覚のうちのいずれか1つを使用して、XRオブジェクトを感知し、かつ/又はXRオブジェクトと相互作用してもよい。例えば、人は、3D空間内のポイントオーディオソースの知覚を提供する、3D又は空間オーディオ環境を作り出すオーディオオブジェクトを感知し、及び/又はそれと対話することができる。別の例では、オーディオオブジェクトによって、コンピュータ生成オーディオを含めて、又は含めずに、物理的環境から周囲音を選択的に組み込むオーディオ透過性が可能になり得る。いくつかのXR環境では、人物は、オーディオオブジェクトのみを感知し、かつ/又はそれと相互作用してもよい。
【0069】
XRの例としては、仮想現実及び複合現実が挙げられる。
【0070】
仮想現実:仮想現実(VR)環境とは、1つ以上の感覚について、コンピュータ生成感覚入力に全面的に基づくように設計された模倣環境を指す。VR環境は、人物が感知かつ/又は相互作用することができる複数の仮想オブジェクトを含む。例えば、木、建物、及び人々を表すアバターのコンピュータ生成画像は、仮想オブジェクトの例である。人物は、コンピュータ生成環境内に人物が存在することのシミュレーションを通じて、かつ/又はコンピュータ生成環境内での人物の物理的移動のサブセットのシミュレーションを通じて、VR環境における仮想オブジェクトを感知し、かつ/又はそれと相互作用することができる。
【0071】
複合現実:複合現実(MR)環境とは、コンピュータ生成感覚入力に全面的に基づくように設計されたVR環境とは対照的に、コンピュータ生成感覚入力(例えば、仮想オブジェクト)を含むことに加えて、物理的環境からの感覚入力又はその表現を組み込むように設計された模倣環境を指す。仮想の連続体上では、複合現実環境は、一方の端部における完全な物理的環境と、他方の端部における仮想現実環境との間であるがこれらを含まない、任意の場所である。いくつかのMR環境では、コンピュータ生成感覚入力は、物理的環境からの感覚入力の変化に応じ得る。また、MR環境を提示するためのいくつかの電子システムは、仮想オブジェクトが現実のオブジェクト(すなわち、物理的環境からの物理的物品又はその表現)と相互作用することを可能にするために、物理的環境に対するロケーション及び/又は配向を追跡してもよい。例えば、システムは、仮想の木が物理的な地面に対して静止して見えるように、移動を考慮に入れてもよい。
【0072】
複合現実の例としては、拡張現実及び拡張仮想が挙げられる。
【0073】
拡張現実:拡張現実(AR)環境とは、1つ以上の仮想オブジェクトが物理的環境上又はその表現上に重ね合わされた模倣環境を指す。例えば、AR環境を提示するための電子システムは、人物が物理的環境を直接見ることができる透明又は半透明のディスプレイを有してもよい。システムは、透明又は半透明のディスプレイに仮想オブジェクトを提示するように構成されていてもよく、それによって、人物はシステムを使用して、物理的環境の上に重ね合わされた仮想オブジェクトを知覚する。あるいは、システムは、不透明ディスプレイと、物理的環境の表現である、物理的環境の画像又はビデオをキャプチャする1つ以上の撮像センサとを有してもよい。システムは、画像又はビデオを仮想オブジェクトと合成し、その合成物を不透明ディスプレイ上に提示する。人物はこのシステムを使用して、物理的環境を、物理的環境の画像又はビデオによって間接的に見て、物理的環境に重ね合わされた仮想オブジェクトを知覚する。本明細書で使用するとき、不透明ディスプレイ上に示される物理的環境のビデオは、「パススルービデオ」と呼ばれ、システムが、1つ以上の画像センサ(単数又は複数)を使用して、物理的環境の画像をキャプチャし、不透明ディスプレイ上にAR環境を提示する際にそれらの画像を使用することを意味する。更に代替的に、システムが仮想オブジェクトを、例えば、ホログラムとして物理的環境の中に、又は物理的表面に投影するプロジェクションシステムを有してもよく、それによって、人物はシステムを使用して、物理的環境に重ね合わされた仮想オブジェクトを知覚する。拡張現実環境はまた、物理的環境の表現がコンピュータ生成感覚情報によって変換される模倣環境を指す。例えば、パススルービデオを提供する際に、システムは、1つ以上のセンサ画像を、撮像センサがキャプチャした透視図とは別の選択された透視図(例えば、視点)を面付けするように変形してもよい。別の例として、物理的環境の表現を、その一部をグラフィカルに修正(例えば、拡大)することによって変形してもよく、それにより、修正された部分を、元のキャプチャ画像を表すが非写実的な、改変版にすることもできる。更なる例として、物理的環境の表現は、その一部をグラフィカルに除去又は不明瞭化することによって変形されてもよい。
【0074】
拡張仮想:拡張仮想(augmented virtuality、AV)環境とは、仮想環境又はコンピュータ生成環境が物理的環境から1つ以上の感覚入力を組み込んだ模倣環境を指す。感覚入力は、物理的環境の1つ以上の特性の表現であり得る。例えば、AVの公園には仮想の木及び仮想の建物があり得るが、顔がある人々は、物理的な人々が撮られた画像から写実的に再現される。別の例として、仮想オブジェクトは、1つ以上の撮像センサによって撮像された物理的物品の形状又は色を採用してもよい。更なる例として、仮想オブジェクトは、物理的環境における太陽のポジションと一致する影を採用することができる。
【0075】
視点ロック仮想オブジェクト:ユーザの視点がシフト(例えば、変化)しても、コンピュータシステムが仮想オブジェクトをユーザの視点内の同じロケーション及び/又はポジションに表示するとき、仮想オブジェクトは視点ロックされる。コンピュータシステムがヘッドマウントデバイスである実施形態では、ユーザの視点は、ユーザの頭部の前向き方向にロックされる(例えば、ユーザの視点は、ユーザが真っ直ぐ前を見ているときのユーザの視野の少なくとも一部分である)。したがって、ユーザの視点は、ユーザの頭部を動かさずに、ユーザの視線が動いても固定されたままである。コンピュータシステムが、ユーザの頭部に対して再配置され得る表示生成構成要素(例えば、表示画面)を有する実施形態では、ユーザの視点は、コンピュータシステムの表示生成構成要素上でユーザに提示されている拡張現実ビューである。例えば、ユーザの視点が第1の配向にある(例えば、ユーザの頭部が北を向いている)ときにユーザの視点の左上隅に表示される視点ロック仮想オブジェクトは、ユーザの視点が第2の配向に変化しても(例えば、ユーザの頭部が西を向いている)、ユーザの視点の左上隅に表示され続ける。言い換えれば、視点ロック仮想オブジェクトがユーザの視点において表示されるロケーション及び/又はポジションは、物理的環境におけるユーザのポジション及び/又は配向とは無関係である。コンピュータシステムがヘッドマウントデバイスである実施形態では、ユーザの視点は、仮想オブジェクトが「頭部ロック仮想オブジェクト」とも称されるように、ユーザの頭部の配向にロックされる。
【0076】
環境ロック仮想オブジェクト:仮想オブジェクトは、コンピュータシステムが、三次元環境(例えば、物理的環境又は仮想環境)内のロケーション及び/又はオブジェクトに基づく(例えば、それを参照して選択される、及び/又はそれに固定される)ユーザの視点内のロケーション及び/又はポジションに仮想オブジェクトを表示するとき、環境ロック(又は、「世界ロック」)される。ユーザの視点がシフトすると、ユーザの視点に対する環境内のロケーション及び/又はオブジェクトが変化し、その結果、環境ロック仮想オブジェクトがユーザの視点内の異なるロケーション及び/又はポジションに表示される。例えば、ユーザの直前にある木にロックされた環境ロック仮想オブジェクトは、ユーザの視点の中心に表示される。ユーザの視点が右にシフトして(例えば、ユーザの頭部が右に向けられて)木がユーザの視点において左寄りになる(例えば、ユーザの視点における木のポジションがシフトする)場合、木にロックされた環境ロック仮想オブジェクトは、ユーザの視点において左寄りに表示される。言い換えれば、環境ロック仮想オブジェクトがユーザの視点において表示されるロケーション及び/又はポジションは、仮想オブジェクトがロックされる環境におけるロケーション及び/又はオブジェクトのポジション及び/又は配向に依存する。いくつかの実施形態では、コンピュータシステムは、ユーザの視点において環境ロック仮想オブジェクトを表示するポジションを決定するために、静止基準フレーム(例えば、物理的環境における固定ロケーション及び/又はオブジェクトに固定される座標系)を使用する。環境ロック仮想オブジェクトは、環境の静止部分(例えば、床、壁、テーブル、又は他の静止オブジェクト)にロックされることができ、又は環境の可動部分(例えば、車両、動物、人、又はユーザの手、手首、腕、足など、ユーザの視点とは無関係に移動するユーザの身体の部分の表現)にロックされることができ、それにより、仮想オブジェクトは、仮想オブジェクトと環境の部分との間の固定された関係を維持するために、視点又は環境の部分が移動するにつれて移動する。
【0077】
いくつかの実施形態では、環境ロック又は視点ロックされた仮想オブジェクトは、仮想オブジェクトが追従している基準点の移動に対して、環境ロック又は視点ロックされた仮想オブジェクトの動きを低減又は遅延させる遅延追従挙動を示す。いくつかの実施形態では、遅延追従挙動を示すとき、コンピュータシステムは、仮想オブジェクトが追従している基準点(例えば、環境の一部、視点、又は視点から5~300cmの間にある点等の視点に対して固定された点)の移動を検出すると、仮想オブジェクトの移動を意図的に遅延させる。例えば、基準点(例えば、環境の一部又は視点)が第1の速度で移動するとき、仮想オブジェクトは、基準点にロックされたままであるようにデバイスによって移動されるが、第1の速度よりも遅い第2の速度で移動する(例えば、基準点が移動を停止又は減速するまで、その時点で仮想オブジェクトが基準点に追いつき始める)。いくつかの実施形態では、仮想オブジェクトが遅延追従挙動を示すとき、デバイスは、基準点の少量の移動を無視する(例えば、0~5度の移動又は0~50cmの移動など、閾値移動量未満である基準点の移動を無視する)。例えば、基準点(例えば、仮想オブジェクトがロックされる環境の部分又は視点)が第1の量だけ移動するとき、基準点と仮想オブジェクトとの間の距離は増加し(例えば、仮想オブジェクトがロックされる基準点とは異なる視点又は環境の部分に対して固定又は実質的に固定されたポジションを維持するように仮想オブジェクトが表示されているので)、基準点(例えば、仮想オブジェクトがロックされる環境の部分又は視点)が第1の量よりも大きい第2の量だけ移動するとき、基準点と仮想オブジェクトとの間の距離は最初に増加し(例えば、仮想オブジェクトがロックされる基準点とは異なる視点又は環境の部分に対して固定又は実質的に固定されたポジションを維持するように仮想オブジェクトが表示されているので)、次いで、仮想オブジェクトが基準点に対して固定又は実質的に固定されたポジションを維持するようにコンピュータシステムによって移動されるので、基準点の移動量が閾値(例えば、「遅延追従」閾値)を超えて増加するにつれて減少する。いくつかの実施形態では、基準点に対して実質的に固定されたポジションを維持する仮想オブジェクトは、仮想オブジェクトが、1つ以上の寸法(例えば、基準点のポジションに対して上/下、左/右、及び/又は前方/後方)において基準点の閾値距離(例えば、1、2、3、5、15、20、50cm)内に表示されることを含む。
【0078】
ハードウェア:人物が様々なXR環境を感知し、及び/又はそれと相互作用することを可能にする、多くの異なるタイプの電子システムが存在する。例としては、ヘッドマウントシステム、プロジェクションベースシステム、ヘッドアップディスプレイ(HUD)、統合表示機能を有する車両フロントガラス、統合表示機能を有する窓、人の目の上に配置されるように設計されたレンズとして形成されたディスプレイ(例えば、コンタクトレンズ類)、ヘッドホン/イヤフォン、スピーカアレイ、入力システム(例えば、触覚フィードバックを有する又は有さない、ウェアラブルコントローラ又はハンドヘルドコントローラ)、スマートフォン、タブレット、及びデスクトップ/ラップトップコンピュータ、が挙げられる。ヘッドマウントシステムは、オーディオ出力を提供するためにヘッドマウントシステムに統合されたスピーカ及び/又は他のオーディオ出力デバイスを含み得る。ヘッドマウントシステムは、1つ以上のスピーカ(単数又は複数)及び一体型不透明ディスプレイを有してもよい。代替的に、ヘッドマウントシステムは、外部の不透明ディスプレイ(例えば、スマートフォン)を受け入れるように構成されていてもよい。ヘッドマウントシステムは、物理的環境の画像若しくはビデオをキャプチャするための1つ以上の撮像センサ、及び/又は物理的環境のオーディオをキャプチャするための1つ以上のマイクロフォンを組み込んでいてもよい。ヘッドマウントシステムは、不透明ディスプレイではなく、透明又は半透明のディスプレイを有してもよい。透明又は半透明のディスプレイは、画像を表す光が人物の目に向けられる媒体を有してもよい。ディスプレイは、デジタル光投影、OLED、LED、uLED、液晶オンシリコン、レーザスキャン光源、又はこれらの技術の任意の組み合わせを利用することができる。媒体は、光導波路、ホログラム媒体、光結合器、光反射器、又はこれらの任意の組み合わせであってもよい。一実施形態では、透明又は半透明のディスプレイは、選択的に不透明になるように構成されていてもよい。プロジェクションベースシステムは、グラフィカル画像を人物の網膜上に投影する網膜投影技術を採用することができる。プロジェクションシステムはまた、例えば、ホログラムとして、又は物理的表面上に、仮想オブジェクトを物理的環境内に投影するように構成されていてもよい。いくつかの実施形態では、コントローラ110は、ユーザに対するXR体験を管理及び調整するように構成されている。いくつかの実施形態では、コントローラ110は、ソフトウェア、ファームウェア、及び/又はハードウェアの好適な組み合わせを含む。コントローラ110については、図2を参照して以下により詳細に記載する。いくつかの実施形態では、コントローラ110は、シーン105(例えば、物理的環境)に対してローカル又はリモートであるコンピューティングデバイスである。例えば、コントローラ110は、シーン105内に位置するローカルサーバである。別の例では、コントローラ110は、シーン105の外側に位置するリモートサーバ(例えば、クラウドサーバ、中央サーバなど)である。いくつかの実施形態では、コントローラ110は、1つ以上の有線又は無線通信チャネル144(例えば、BLUETOOTH、IEEE802.11x、IEEE802.16x、IEEE802.3xなど)を介して、表示生成構成要素120(例えば、HMD、ディスプレイ、プロジェクタ、タッチスクリーンなど)と通信可能に結合される。別の例では、コントローラ110は、表示生成構成要素120(例えば、HMD、又はディスプレイ及び1つ以上のプロセッサなどを含むポータブル電子デバイス)、入力デバイス125のうちの1つ以上、出力デバイス155のうちの1つ以上、センサ190のうちの1つ以上、及び/又は周辺デバイス195のうちの1つ以上の筐体(例えば、物理的ハウジング)内に含まれる、又は上記のうちの1つ以上と同じ物理的筐体又は支持構造を共有する。
【0079】
いくつかの実施形態では、表示生成構成要素120は、XR体験(例えば、XR体験の少なくとも視覚的コンポーネント)をユーザに提供するように構成される。いくつかの実施形態では、表示生成構成要素120は、ソフトウェア、ファームウェア、及び/又はハードウェアの好適な組み合わせを含む。表示生成構成要素120について、図3を参照して以下により詳細に説明する。いくつかの実施形態では、コントローラ110の機能は、表示生成構成要素120によって提供される、及び/又は表示生成構成要素120と組み合わされる。
【0080】
いくつかの実施形態によれば、表示生成構成要素120は、ユーザがシーン105内に仮想的及び/又は物理的に存在している間に、XR体験をユーザに提供する。
【0081】
いくつかの実施形態では、表示生成構成要素は、ユーザの身体の一部(例えば、自身の頭部や自身の手など)に装着される。したがって、表示生成構成要素120は、XRコンテンツを表示するために提供された1つ以上のXRディスプレイを含む。例えば、様々な実施形態では、表示生成構成要素120は、ユーザの視野を包囲する。いくつかの実施形態では、表示生成構成要素120は、XRコンテンツを提示するように構成されたハンドヘルドデバイス(スマートフォン又はタブレットなど)であり、ユーザは、ユーザの視野に向けられるディスプレイ及びシーン105に向けられるカメラを備えたデバイスを保持する。いくつかの実施形態では、ハンドヘルドデバイスは、任意選択的に、ユーザの頭部に装着された筐体内に配置される。いくつかの実施形態では、ハンドヘルドデバイスは、任意選択的に、ユーザの前の支持体(例えば、三脚)上に配置される。いくつかの実施形態では、表示生成構成要素120は、ユーザが表示生成構成要素120を着用又は保持しない状態でXRコンテンツを提示するように構成されたXRチャンバ、筐体、又は部屋である。XRコンテンツ(例えば、ハンドヘルドデバイス又は三脚上のデバイス)を表示するための1つのタイプのハードウェアを参照して説明される多くのユーザインタフェースは、XRコンテンツ(例えば、HMD又は他のウェアラブルコンピューティングデバイス)を表示するための別のタイプのハードウェア上に実施され得る。例えば、ハンドヘルド又は三脚搭載デバイスの前の空間内で起こる相互作用に基づいてトリガされるXRコンテンツとの相互作用を示すユーザインタフェースは、相互作用がHMDの前の空間で発生し、XRコンテンツの応答がHMDを介して表示されるHMDと同様に実施され得る。同様に、物理的環境(例えば、シーン105又はユーザの身体の一部(例えば、ユーザの目(単数又は複数)、頭部、又は手))に対するハンドヘルド又は三脚搭載デバイスの移動に基づいてトリガされたXRコンテンツとの相互作用を示すユーザインタフェースは、物理的環境(例えば、シーン105又はユーザの身体の一部(例えば、ユーザの目(単数又は複数)、頭部、又は手))に対するHMDの移動によって移動が引き起こされるHMDと同様に実施され得る。
【0082】
動作環境100の関連する特徴が図1に示されているが、当業者は、本明細書に開示される例示的な実施形態のより適切な態様を曖昧にしないように、簡潔にするために様々な他の特徴が示されていないことを、本開示から理解されよう。
【0083】
図2は、いくつかの実施形態によるコントローラ110の一例のブロック図である。特定の特徴が示されているが、当業者は、本明細書に開示される実施形態のより適切な態様を曖昧にしないよう、簡潔にするために様々な他の特徴が示されていないことを、本開示から理解されよう。そのため、非限定的な例として、いくつかの実施形態では、コントローラ110は、1つ以上の処理ユニット202(例えば、マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、グラフィック処理ユニット(GPU)、中央処理ユニット(CPU)、処理コアなど)、1つ以上の入出力(I/O)デバイス206、1つ以上の通信インタフェース208(例えば、ユニバーサルシリアルバス(USB)、FIREWIRE、THUNDERBOLT、IEEE 802.3x、IEEE 802.11x、IEEE 802.16x、グローバル移動通信システム(GSM)、符号分割多元接続(CDMA)、時分割多元接続(TDMA)、グローバル測位システム(GPS)、赤外線(IR)、BLUETOOTH、ZIGBEE、又は同様のタイプのインタフェース)、1つ以上のプログラミング(例えば、I/O)インタフェース210、メモリ220、並びにこれら及び様々な他のコンポーネントを相互接続するための1つ以上の通信バス204を含む。
【0084】
いくつかの実施形態では、1つ以上の通信バス204は、システム構成要素間の通信を相互接続及び制御する回路を含む。いくつかの実施形態では、1つ以上のI/Oデバイス206は、キーボード、マウス、タッチパッド、ジョイスティック、1つ以上のマイクロフォン、1つ以上のスピーカ、1つ以上の画像センサ、1つ以上のディスプレイなどのうちの少なくとも1つを含む。
【0085】
メモリ220は、ダイナミックランダムアクセスメモリ(dynamic random-access memory、DRAM)、スタティックランダムアクセスメモリ(static random-access memory、SRAM)、ダブルデータレートランダムアクセスメモリ(double-data-rate random-access memory、DDRRAM)、又は他のランダムアクセスソリッドステートメモリデバイスなどの高速ランダムアクセスメモリを含む。いくつかの実施形態では、メモリ220は、1つ以上の磁気記憶デバイス、光学記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性固体記憶デバイスなどの非揮発性メモリを含む。メモリ220は、任意選択的に、1つ以上の処理ユニット202から遠隔に位置する1つ以上の記憶デバイスを含む。メモリ220は、非一時的コンピュータ可読記憶媒体を含む。いくつかの実施形態では、メモリ220、又はメモリ220の非一時的コンピュータ可読記憶媒体は、任意選択的なオペレーティングシステム230及びXR体験モジュール240を含む、以下のプログラム、モジュール及びデータ構造、又はそれらのサブセットを記憶する。
【0086】
オペレーティングシステム230は、様々な基本システムサービスを処理し、ハードウェア依存タスクを実行する命令を含む。いくつかの実施形態では、XR体験モジュール240は、1人以上のユーザに対する1つ以上のXR体験(例えば、1人以上のユーザに対する単一のXR体験、又は1人以上のユーザのそれぞれのグループに対する複数のXR体験)を管理及び調整するように構成されている。そのために、様々な実施形態では、XR体験モジュール240は、データ取得ユニット241と、トラッキングユニット242と、調整ユニット246と、データ送信ユニット248と、を含む。
【0087】
いくつかの実施形態では、データ取得ユニット241は、少なくとも図1の表示生成構成要素120、並びに任意選択的に入力デバイス125、出力デバイス155、センサ190、及び/又は周辺デバイス195のうちの1つ以上からデータ(例えば、提示データ、相互作用データ、センサデータ、ロケーションデータなど)を取得するように構成される。その目的で、様々な実施形態では、データ取得ユニット241は、その命令及び/又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
【0088】
いくつかの実施形態では、トラッキングユニット242は、シーン105をマッピングし、図1のシーン105に対して、かつ任意選択的に、入力デバイス125、出力デバイス155、センサ190、及び/又は周辺デバイス195のうちの1つ以上に対して、少なくとも表示生成構成要素120のポジション/ロケーションを追跡するように構成される。そのために、様々な実施形態では、トラッキングユニット242は、その命令及び/又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。いくつかの実施形態では、トラッキングユニット242は、ハンドトラッキングユニット244及び/又はアイトラッキングユニット243を含む。いくつかの実施形態では、ハンドトラッキングユニット244は、図1のシーン105に対する、表示生成構成要素120に対する、かつ/又はユーザの手に対して定義された座標系に対する、ユーザの手の1つ以上の部分のポジション/ロケーション、及び/又はユーザの手の1つ以上の部分の運動を追跡するように構成される。ハンドトラッキングユニット244は、図4に関して以下でより詳細に説明される。いくつかの実施形態では、アイトラッキングユニット243は、シーン105に対する(例えば、物理的環境及び/又はユーザ(例えば、ユーザの手)に対する)、又は表示生成構成要素120を介して表示されたXRコンテンツに対する、ユーザの視線(又は、より広範にはユーザの目、顔、又は頭部)のポジション及び移動を追跡するように構成される。アイトラッキングユニット243は、図5に関して以下でより詳細に説明される。
【0089】
いくつかの実施形態では、調整ユニット246は、表示生成構成要素120によって、並びに任意選択的に、出力デバイス155及び/又は周辺デバイス195のうちの1つ以上によって、ユーザに提示されるXR体験を管理及び調整するように構成される。その目的で、様々な実施形態において、調整ユニット246は、その命令及び/又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
【0090】
いくつかの実施形態では、データ送信ユニット248は、データ(例えば、提示データ、ロケーションデータなど)を少なくとも表示生成構成要素120、並びに任意選択的に、入力デバイス125、出力デバイス155、センサ190、及び/又は周辺デバイス195のうちの1つ以上に送信するように構成される。そのために、様々な実施形態では、データ送信ユニット248は、その命令及び/又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
【0091】
データ取得ユニット241、(例えば、アイトラッキングユニット243及びハンドトラッキングユニット244を含む)トラッキングユニット242、調整ユニット246、及びデータ送信ユニット248は、単一のデバイス(例えば、コントローラ110)上に存在するものとして示されているが、他の実施形態では、データ取得ユニット241、(例えば、アイトラッキングユニット243及びハンドトラッキングユニット244を含む)トラッキングユニット242、調整ユニット246、及びデータ送信ユニット248の任意の組み合わせが別個のコンピューティングデバイス中に位置することができることを理解されたい。
【0092】
更に、図2は、本明細書に記載される実施形態の構造概略とは対照的に、特定の実施形態に存在し得る様々な特徴の機能を説明することをより意図している。当業者によって認識されるように、別々に示された事項を組み合わせることができ、また、一部の事項は分離することができる。例えば、図2に別々に示されるいくつかの機能モジュールは、単一のモジュールにおいて実現することができ、単一の機能ブロックの様々な機能は、様々な実施形態において1つ以上の機能ブロックによって実現することができる。モジュールの実際の数、並びに特定の機能の分割及びそれらの間にどのように機能が割り当てられるかは、実装形態によって異なり、いくつかの実施形態では、特定の実装形態のために選択されたハードウェア、ソフトウェア、及び/又はファームウェアの特定の組み合わせに部分的に依存する。
【0093】
図3は、いくつかの実施形態による表示生成構成要素120の一例のブロック図である。特定の特徴が示されているが、当業者は、本明細書に開示される実施形態のより適切な態様を曖昧にしないよう、簡潔にするために様々な他の特徴が示されていないことを、本開示から理解されよう。その目的で、非限定的な例として、いくつかの実施形態では、表示生成構成要素120(例えば、HMD)には、1つ以上の処理ユニット302(例えば、マイクロプロセッサ、ASIC、FPGA、GPU、CPU、処理コアなど)、1つ以上の入出力(I/O)デバイス及びセンサ306、1つ以上の通信インタフェース308(例えば、USB、FIREWIRE、THUNDERBOLT、IEEE 802.3x、IEEE 802.11x、IEEE 802.16x、GSM、CDMA、TDMA、GPS、赤外線、BLUETOOTH、ZIGBEE、及び/又は同様のタイプのインタフェース)、1つ以上のプログラミング(例えば、I/O)インタフェース310、1つ以上のXRディスプレイ312、1つ以上の任意選択の内向き及び/又は外向き画像センサ314、メモリ320、並びにこれら及び様々な他のコンポーネントを相互接続するための1つ以上の通信バス304、が含まれる。
【0094】
いくつかの実施形態では、1つ以上の通信バス304は、システムコンポーネント間の通信を相互接続及び制御する回路を含む。いくつかの実施形態では、1つ以上のI/Oデバイス及びセンサ306は、慣性測定装置(IMU)、加速度計、ジャイロスコープ、温度計、1つ以上の生理的センサ(例えば、血圧モニタ、心拍数モニタ、血液酸素センサ、血糖センサなど)、1つ以上のマイクロフォン、1つ以上のスピーカ、触覚エンジン、1つ以上の深度センサ(例えば、構造化光、飛行時間など)などのうちの少なくとも1つを含む。
【0095】
いくつかの実施形態では、1つ以上のXRディスプレイ312は、ユーザにXR体験を提供するように構成される。いくつかの実施形態では、1つ以上のXRディスプレイ312は、ホログラフィック、デジタル光処理(DLP)、液晶ディスプレイ(LCD)、液晶オンシリコン(LCoS)、有機発光電界効果トランジスタ(OLET)、有機発光ダイオード(OLED)、表面伝導型電子放射素子ディスプレイ(SED)、電界放射ディスプレイ(FED)、量子ドット発光ダイオード(QD-LED)、MEMS、及び/又は同様のディスプレイタイプに相当する。いくつかの実施形態では、1つ以上のXRディスプレイ312は、回折、反射、偏光、ホログラフィックなどの、導波管ディスプレイに相当する。例えば、表示生成構成要素120(例えば、HMD)は、単一のXRディスプレイを含む。別の実施例では、表示生成構成要素120は、ユーザの各目用のXRディスプレイを含む。いくつかの実施形態では、1つ以上のXRディスプレイ312は、MR又はVRコンテンツを提示することができる。いくつかの実施形態では、1つ以上のXRディスプレイ312は、MR又はVRコンテンツを提示することができる。
【0096】
いくつかの実施形態では、1つ以上の画像センサ314は、ユーザの目を含むユーザの顔の少なくとも一部分に対応する画像データを取得するように構成される(及び、アイトラッキングカメラと称する場合がある)。いくつかの実施形態では、1つ以上の画像センサ314は、ユーザの手(単数又は複数)及び任意選択的にユーザの腕(単数又は複数)の少なくとも一部分に対応する画像データを取得するように構成される(及び、ハンドトラッキングカメラと称される場合がある)。いくつかの実施形態では、1つ以上の画像センサ314は、表示生成構成要素120(例えばHMD)、が存在しない場合に、ユーザが閲覧するようなシーンに対応する画像データを取得するように前方を向くように構成されている(かつ、シーンカメラと称されることがある)。1つ以上の任意選択的な画像センサ314は、(例えば、相補型金属酸化膜半導体(CMOS)画像センサ若しくは電荷結合デバイス(CCD)画像センサを備えた)1つ以上のRGBカメラ、1つ以上の赤外線(IR)カメラ、1つ以上のイベントベースのカメラ、及び/又は同様のもの、を含むことができる。
【0097】
メモリ320は、DRAM、SRAM、DDR RAM、又は他のランダムアクセスソリッドステートメモリデバイスなどの、高速ランダムアクセスメモリを含む。いくつかの実施形態では、メモリ320は、1つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、又はその他の不揮発性ソリッドステート記憶デバイスなどの不揮発性メモリを含む。メモリ320は、1つ以上の処理ユニット302から遠隔に位置する1つ以上の記憶デバイスを任意選択的に含む。メモリ320は、非一時的コンピュータ可読記憶媒体を含む。いくつかの実施形態では、メモリ320、又はメモリ320の非一時的コンピュータ可読記憶媒体は、任意選択のオペレーティングシステム330及びXR提示モジュール340を含む、以下のプログラム、モジュール及びデータ構造、又はそれらのサブセットを記憶する。
【0098】
オペレーティングシステム330は、様々な基本システムサービスを処理する命令、及びハードウェア依存タスクを実行する命令を含む。いくつかの実施形態では、XR提示モジュール340は、1つ以上のXRディスプレイ312を介してXRコンテンツをユーザに提示するように構成される。その目的で、様々な実施形態では、XR提示モジュール340は、データ取得ユニット342、XR提示ユニット344、XRマップ生成ユニット346、及びデータ送信ユニット348を含む。
【0099】
いくつかの実施形態では、データ取得ユニット342は、少なくとも図1のコントローラ110からデータ(例えば、提示データ、相互作用データ、センサデータ、ロケーションデータなど)を取得するように構成される。その目的で、様々な実施形態では、データ取得ユニット342は、その命令及び/又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
【0100】
いくつかの実施形態では、XR提示ユニット344は、1つ以上のXRディスプレイ312を介してXRコンテンツを提示するように構成される。その目的で、様々な実施形態では、XR提示ユニット344は、その命令及び/又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
【0101】
いくつかの実施形態では、XRマップ生成ユニット346は、メディアコンテンツデータに基づいて、XRマップ(例えば、複合現実シーンの3Dマップ又はコンピュータ生成オブジェクトを配置して拡張現実を生成することができる物理的環境のマップ)を生成するように構成されている。その目的で、様々な実施形態では、XRマップ生成ユニット346は、その命令及び/又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
【0102】
いくつかの実施形態では、データ送信ユニット348は、少なくともコントローラ110、及び任意選択的に入力デバイス125、出力デバイス155、センサ190、及び/又は周辺デバイス195のうちの1つ以上にデータ(例えば、提示データ、ロケーションデータなど)を伝送するように構成される。その目的で、様々な実施形態では、データ送信ユニット348は、その命令及び/又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
【0103】
データ取得ユニット342は、XR提示ユニット344、XRマップ生成ユニット346、及びデータ送信ユニット348は、単一のデバイス(例えば、図1の表示生成構成要素120)上に存在するものとして示されているが、他の実施形態では、データ取得ユニット342、XR提示ユニット344、XRマップ生成ユニット346、及びデータ送信ユニット348の任意の組み合わせが、別個のコンピューティングデバイス内に配置されてもよいことを理解されたい。
【0104】
更に、図3は、本明細書に記載される実施形態の構造概略とは対照的に、特定の実装形態に存在し得る様々な特徴の機能を説明することをより意図している。当業者によって認識されるように、別々に示された事項を組み合わせることができ、また、一部の事項は分離することができる。例えば、図3に別々に示すいくつかの機能モジュールは、単一のモジュール内に実現することができ、単一の機能ブロックの様々な機能は、様々な実施形態では1つ以上の機能ブロックによって実行することができる。モジュールの実際の数、並びに特定の機能の分割及びそれらの間にどのように機能が割り当てられるかは、実装形態によって異なり、いくつかの実施形態では、特定の実装形態のために選択されたハードウェア、ソフトウェア、及び/又はファームウェアの特定の組み合わせに部分的に依存する。
【0105】
図4は、ハンドトラッキングデバイス140の例示的な実施形態の概略図である。いくつかの実施形態では、ハンドトラッキングデバイス140(図1)は、図1のシーン105に対する(例えば、ユーザを取り囲む物理的環境の一部に対する、表示生成構成要素120に対する、又はユーザの一部(例えば、ユーザの顔、目、又は頭部)に対する、及び/又はユーザの手に対して定義された座標系に対する)ユーザの手の1つ以上の部分のロケーション/ポジション、及び/又は、ユーザの手の1つ以上の部分の動きを追跡するように、ハンドトラッキングユニット244(図2)によって制御される。いくつかの実施形態では、ハンドトラッキングデバイス140は、表示生成構成要素120の一部である(例えば、ヘッドマウントデバイスに埋め込まれる、又はヘッドマウントデバイスに取り付けられる)。いくつかの実施形態では、ハンドトラッキングデバイス140は、表示生成構成要素120とは別個である(例えば、別個のハウジング内に位置する、又は別個の物理的支持構造に取り付けられる)。
【0106】
いくつかの実施形態では、ハンドトラッキングデバイス140は、人間のユーザの少なくとも手406を含む三次元シーン情報をキャプチャする画像センサ404(例えば、1つ以上のIRカメラ、3Dカメラ、深度カメラ、及び/又はカラーカメラなど)を含む。画像センサ404は、指及びそれらのそれぞれのポジションを区別するのを可能にするのに十分な解像度で手画像をキャプチャする。画像センサ404は、典型的には、ユーザの身体の他の部分の画像、又は身体の全ての画像をキャプチャし、ズーム機能又は高倍率を有する専用センサのいずれかを有して、所望の解像度で手の画像をキャプチャすることができる。いくつかの実施形態では、画像センサ404はまた、手406の2Dカラービデオ画像及びシーンの他の要素をキャプチャする。いくつかの実施形態では、画像センサ404は、シーン105の物理的環境をキャプチャする他の画像センサと併せて使用される、又はシーン105の物理的環境をキャプチャする画像センサとして機能する。いくつかの実施形態では、画像センサ404は、画像センサ又はその一部の視野が使用されて、画像センサによってキャプチャされた手の移動がコントローラ110への入力として処理される相互作用空間を定義するように、ユーザ又はユーザの環境に対して位置決めされる。
【0107】
いくつかの実施形態では、画像センサ404は、3Dマップデータ(及び場合によってはカラー画像データも)を含むフレームのシーケンスをコントローラ110に出力し、これにより、マップデータから高レベル情報を抽出する。この高レベル情報は、典型的には、アプリケーションプログラムインタフェース(API)を介して、コントローラ上で実行されるアプリケーションに提供され、それに応じて表示生成構成要素120を駆動する。例えば、ユーザは、自分の手406を移動させて自分の手の姿勢を変えることによって、コントローラ110上で実行されるソフトウェアと相互作用することができる。
【0108】
いくつかの実施形態では、画像センサ404は、手406を含むシーン上にスポットパターンを投影し、投影されたパターンの画像をキャプチャする。いくつかの実施形態では、コントローラ110は、パターンのスポットの横方向シフトに基づいて、三角測量によって(ユーザの手の表面上の点を含む)シーン内の点の3D座標を計算する。このアプローチは、ユーザが任意の種類のビーコン、センサ、又は他のマーカを保持又は着用する必要がないという点で有利である。これは、画像センサ404からの特定の距離で、所定の基準面に対するシーン内の点の深度座標を与える。本開示では、画像センサ404は、シーン内の点の深度座標が画像センサによって測定されたzコンポーネントに対応するように、直交する一連のx、y、z軸を定義すると想定される。代替的に、画像センサ404(例えば、ハンドトラッキングデバイス)は、単一又は複数のカメラ又は他のタイプのセンサに基づいて、立体撮像又は飛行時間測定などの他の3Dマッピング方法を使用することができる。
【0109】
いくつかの実施形態では、ハンドトラッキングデバイス140は、ユーザが手(例えば、手全体又は1本以上の指)を移動させている間、ユーザの手を含む深度マップの時間シーケンスをキャプチャし処理する。画像センサ404及び/又はコントローラ110内のプロセッサ上で動作するソフトウェアは、3Dマップデータを処理して、これらの深度マップ内の手のパッチ記述子を抽出する。ソフトウェアは、各フレームにおける手の姿勢を推定するために、以前の学習プロセスに基づいて、これらの記述子をデータベース408に記憶されたパッチ記述子と照合する。姿勢は、典型的には、ユーザの手関節及び指先の3Dロケーションを含む。
【0110】
ソフトウェアはまた、ジェスチャを識別するために、シーケンス内の複数のフレームにわたって手及び/又は指の軌道を解析することができる。本明細書に記載される姿勢推定機能は、運動追跡機能とインターリーブされてもよく、それにより、パッチベースの姿勢推定が2つ(又はそれより多く)のフレームごとに1回のみ実行される一方、追跡は残りのフレームにわたって発生する姿勢の変化を発見するために使用される。姿勢、運動、及びジェスチャ情報は、上述のAPIを介して、コントローラ110上で実行されるアプリケーションプログラムに提供される。このプログラムは、例えば、姿勢及び/又はジェスチャ情報に応じて、表示生成構成要素120上に提示された画像を移動させ修正する、又は他の機能を実行することができる。
【0111】
いくつかの実施形態では、ジェスチャは、エアジェスチャを含む。エアジェスチャは、ユーザがデバイス(例えば、コンピュータシステム101、1つ以上の入力デバイス125、及び/又は、ハンドトラッキングデバイス140)の一部である入力要素に触れることなく(又はそれとは無関係に)検出されるジェスチャであり、絶対的な基準(例えば、地面に対するユーザの腕の角度、又は地面に対するユーザの手の距離)に対するユーザの身体の動き、ユーザの身体の別の部分(例えば、ユーザの肩に対するユーザの手の移動、ユーザの一方の手のユーザの別の手に対する移動、及び/又はユーザの指の、別の指若しくはユーザの手の一部に対する移動)に対するユーザの身体の動き、及び/又はユーザの身体の一部(例えば、所定の量及び/又は速さによる所定の姿勢での手の移動を含むタップジェスチャ、又は所定の速度又はユーザの身体の一部の回転量を含むシェイクジェスチャ)の絶対的な動きを含む、空中にあるユーザの身体の一部(例えば、頭部、1つ以上の腕、1つ以上の手、1つ以上の指、及び/又は1つ以上の脚)の検出された動きに基づく。
【0112】
いくつかの実施形態では、本明細書に記載の様々な例及び実施形態で使用される入力ジェスチャは、いくつかの実施形態に係る、XR環境(例えば、仮想又は複合現実環境)と相互作用するための他の指(単数又は複数)又はユーザの手の部分(単数又は複数)に対するユーザの指(単数又は複数)の移動によって実行されるエアジェスチャを含む。いくつかの実施形態では、エアジェスチャは、ユーザがデバイスの一部である入力要素に触れることなく(又はデバイスの一部である入力要素から独立して)検出されるジェスチャであり、絶対的な基準に対するユーザの身体の動き(例えば、地面に対するユーザの腕の角度、又は地面に対するユーザの手の距離)、ユーザの身体の別の部分に対するユーザの身体の動き(例えば、ユーザの肩に対するユーザの手の動き、ユーザの一方の手に対するユーザの他方の手の移動、及び/又はユーザの手の別の指若しくは部分に対するユーザの指の移動)、及び/又は、ユーザの身体の一部の絶対的な動き(例えば、所定の量及び/又は速さによる所定のポーズでの手の移動を含むタップジェスチャ、又はユーザの身体の一部の所定の速さ又は量の回転を含むシェイクジェスチャ)を含む、ユーザの身体の一部の検出された動きに基づく。
【0113】
入力ジェスチャがエアジェスチャ(例えば、タッチスクリーン上に表示されたユーザインタフェース要素との接触、又はユーザインタフェース要素にカーソルを移動させるためのマウス又はトラックパッドとの接触など、どのユーザインタフェース要素がユーザ入力のターゲットであるかに関する情報をコンピュータシステムに提供する入力デバイスとの物理的接触がない場合)であるいくつかの実施形態では、ジェスチャは、ユーザ入力のターゲット(例えば、以下で説明するように、直接入力の場合)を決定するためにユーザの注意(例えば、視線)を考慮に入れる。したがって、エアジェスチャを含む実装形態では、入力ジェスチャは、例えば、以下でより詳細に説明するように、ピンチ及び/又はタップ入力を実行するためのユーザの指(単数又は複数)及び/又は手の移動と組み合わせて(例えば、同時)ユーザインタフェース要素に対する検出された注意(例えば、視線)である。
【0114】
いくつかの実施形態では、ユーザインタフェースオブジェクトに向けられた入力ジェスチャは、ユーザインタフェースオブジェクトを参照して直接的又は間接的に実行される。例えば、ユーザ入力は、三次元環境(例えば、ユーザの現在の視点に基づいて決定されるように、)におけるユーザインタフェースオブジェクトのポジションに対応するポジションでユーザの手で入力ジェスチャを実行する際に、ユーザインタフェースオブジェクトに対して直接実行される。いくつかの実施形態では、入力ジェスチャは、ユーザインタフェースオブジェクトに対するユーザの注意(例えば、視線)を検出しながら、ユーザの手のポジションが三次元環境におけるユーザインタフェースオブジェクトのポジションに対応するポジションにない間に入力ジェスチャを実行するユーザに従って、ユーザインタフェースオブジェクトに対して間接的に実行される。例えば、直接入力ジェスチャの場合、ユーザは、ユーザインタフェースオブジェクトの表示ポジション(例えば、オプションの外縁又はオプションの中央部分から測定して、0.5cm、1cm、5cm、又は0~5cmの距離内)に対応するポジション又はその付近でジェスチャを開始することによって、ユーザの入力をユーザインタフェースオブジェクトに向けることができる。間接的な入力ジェスチャの場合、ユーザは、ユーザインタフェースオブジェクトに注意を払うことによって(例えば、ユーザインタフェースオブジェクトを注視することによって)ユーザの入力をユーザインタフェースオブジェクトに向けることができ、オプションに注意を払いながら、ユーザは、入力ジェスチャを開始する(例えば、コンピュータシステムによって検出可能な任意のポジションで)(例えば、ユーザインタフェースオブジェクトの表示ポジションに対応しないポジションで)。
【0115】
いくつかの実施形態では、本明細書に記載の様々な例及び実施形態で使用される入力ジェスチャ(例えば、エアジェスチャ)は、いくつかの実施形態では、仮想又は複合現実環境と相互作用するためのピンチ入力及びタップ入力を含む。例えば、後述するピンチ入力やタップ入力は、エアジェスチャとして行われる。
【0116】
いくつかの実施形態では、ピンチ入力は、ピンチジェスチャ、ロングピンチジェスチャ、ピンチアンドドラッグジェスチャ、又はダブルピンチジェスチャのうちの1つ以上を含むエアジェスチャの一部である。例えば、エアジェスチャであるピンチジェスチャは、互いに接触するように手の2本以上の指を動かすこと、すなわち、任意選択的に、互いに接触した直後の(例えば、0~1秒以内)中断を含む。エアジェスチャであるロングピンチジェスチャは、互いに接触している中断を検出する前に、少なくとも閾値時間量(例えば、少なくとも1秒)にわたって互いに接触するように手の2本以上の指を動かすことを含む。例えば、ロングピンチジェスチャは、ユーザがピンチジェスチャ(例えば、2つ以上の指が接触している場合、)を保持することを含み、ロングピンチジェスチャは、2本以上の指の間の接触の中断が検出されるまで継続する。いくつかの実施形態では、エアジェスチャであるダブルピンチジェスチャは、互いに直接(例えば、既定の期間内に)連続して検出される2つ(例えば、又はそれより多く)のピンチ入力(例えば、同じ手で実行される)を含む。例えば、ユーザは、第1のピンチ入力を実行し(例えば、ピンチ入力又はロングピンチ入力)、第1のピンチ入力を解放し(例えば、2つ以上の指の間の接触を破壊する)、第1のピンチ入力を解放した後、既定の期間(例えば、1秒以内又は2秒以内)内に第2のピンチ入力を実行する。
【0117】
いくつかの実施形態では、エアジェスチャであるピンチアンドドラッグジェスチャは、ユーザの手のポジションを第1のポジション(例えば、ドラッグの開始ポジション)から第2のポジション(例えば、抗力の終了ポジション)に変化させるドラッグ入力に関連して(例えば、その後に)実行されるピンチジェスチャ(例えば、ピンチジェスチャ又はロングピンチジェスチャ)を含む。いくつかの実施形態では、ユーザは、ドラッグ入力を実行しながらピンチジェスチャを維持し、(例えば、第2のポジションにおいて)ドラッグジェスチャを終了するためにピンチジェスチャ(例えば、2本以上の指を開く)を解放する。いくつかの実施形態では、ピンチ入力及びドラッグ入力は、同じ手(例えば、ユーザは、2本以上の指をつまんで互いに接触し、ドラッグジェスチャで空中の第2のポジションに同じ手を移動させる)によって実行される。いくつかの実施形態では、ピンチ入力はユーザの第1の手によって実行され、ドラッグ入力はユーザの第2の手によって実行される(例えば、ユーザの第2の手は、ユーザがユーザの第1の手でピンチ入力を継続する間に空中で第1のポジションから第2のポジションに移動する)。いくつかの実施形態では、エアジェスチャである入力ジェスチャは、ユーザの両手の双方を使用して実行される入力(例えば、ピンチ入力及び/又はタップ入力)を含む。例えば、入力ジェスチャは、互いに関連して(例えば、既定の期間と同時に、又は既定の期間内に)行われる2つ(例えば、又はそれより多く)のピンチ入力を含む。例えば、ユーザの第1の手を使用して実行される第1のピンチジェスチャ(例えば、ピンチ入力、ロングピンチ入力、又はピンチ及びドラッグ入力)と、第1の手を使用してピンチ入力を実行することに関連して、他方の手(例えば、ユーザの両手の第2の手)を使用して第2のピンチ入力を実行する。いくつかの実施形態では、ユーザの両手の間の移動(例えば、ユーザの両手の間の距離又は相対的な配向を増加及び/又は減少させるために)。
【0118】
いくつかの実施形態では、エアジェスチャとして実行されるタップ入力(例えば、ユーザインタフェース要素に向けられる)は、ユーザインタフェース要素に向かうユーザの指の移動(単数又は複数)、任意選択的にユーザの指(単数又は複数)をユーザインタフェース要素に向かって伸ばした状態でのユーザの手のユーザインタフェース要素に向かう移動、ユーザの指の下方への動き(例えば、マウスクリック動作又はタッチスクリーン上のタップを模倣する)、又はユーザの手の他の既定の移動を含む。いくつかの実施形態では、エアジェスチャとして実行されるタップ入力は、ユーザの視点から離れて、及び/又は移動の終了が続くタップ入力のターゲットであるオブジェクトに向かって指又は手のタップジェスチャの移動を実行する指又は手の移動特性に基づいて検出される。いくつかの実施形態では、タップジェスチャ(例えば、ユーザの視点から離れる、及び/又はタップ入力の対象であるオブジェクトに向かう移動の終了、指又は手の移動方向の反転、及び/又は指又は手の移動の加速方向の反転)を実行する指又は手の移動特性の変化に基づいて、移動の終了が検出される。
【0119】
いくつかの実施形態では、ユーザの注意は、(任意選択で、他の条件を必要とせずに)三次元環境の一部に向けられた視線の検出に基づいて、三次元環境の一部に向けられていると判定される。いくつかの実施形態では、ユーザの注意が三次元環境の一部に向けられていることをデバイスが判定するために、ユーザの視点が三次元環境の一部から距離閾値内にある間に、少なくとも閾値持続時間(例えば、滞留時間)、視線が三次元環境の一部に向けられていることを必要とすること、及び/又は視線が三次元環境の一部に向けられていることを必要とすることなどの1つ以上の追加の条件を伴う三次元環境の一部に向けられた視線の検出に基づいて、ユーザの注意が三次元環境の一部に向けられていると判定され、追加の条件のうちの1つが満たされていない場合、デバイスは、三次元環境のうちの視線が向けられている部分に注意が向けられていないと判定する(例えば、1つ以上の追加の条件が満たされるまで)。
【0120】
いくつかの実施形態では、ユーザ又はユーザの一部の準備完了状態構成の検出は、コンピュータシステムによって検出される。手の準備完了状態構成の検出は、ユーザが、手によって実行される1つ以上のエアジェスチャ入力(例えば、ピンチ、タップ、ピンチ及びドラッグ、ダブルピンチ、ロングピンチ、又は本明細書に説明される他のエアジェスチャ)を使用して、コンピュータシステムと対話する準備をしている可能性が高いというインジケーションとして、コンピュータシステムによって使用される。例えば、手の準備完了状態は、手が所定の手形状(例えば、親指と1本以上の指が伸ばされて間隔を空けてピンチ若しくはグラブジェスチャを行う準備ができているプレピンチ形状、又は1本以上の指が伸ばされて手のひらがユーザから離れる方向を向いているプレタップ)を有するか否か、手がユーザの視点に対して所定のポジションにあるか否か(例えば、ユーザの頭部の下、ユーザの腰の上、身体から少なくとも15cm、20cm、25cm、30cm、又は50cmだけ伸ばされている)、及び/又は手が特定の方法で移動したか否か(例えば、ユーザの腰の上、ユーザの頭部の下のユーザの正面の領域に向かって移動したか、又はユーザの身体若しくは脚から離れたか)に基づいて決定される。いくつかの実施形態では、準備完了状態は、ユーザインタフェースの対話要素が注意(例えば、視線)入力に応じるかどうかを判定するために使用される。
【0121】
いくつかの実施形態では、ソフトウェアは、例えばネットワーク上で、コントローラ110に電子形態でダウンロードされてもよい、又はその代わりに、光学、磁気、若しくは電子メモリ媒体などの、実体的非一時的媒体に提供されてもよい。いくつかの実施形態では、データベース408は、同様に、コントローラ110に関連付けられたメモリに記憶される。代替的又は追加的に、コンピュータの記載された機能の一部又は全ては、カスタム又は半カスタム集積回路又はプログラム可能なデジタル信号プロセッサ(DSP)などの専用のハードウェアに実装されてもよい。コントローラ110は、例として、画像センサ404とは別個のユニットとして図4に示されているが、コントローラの処理機能の一部又は全部は、好適なマイクロプロセッサ及びソフトウェアによって、又は画像センサ404(例えば、ハンドトラッキングデバイス)のハウジング内の専用回路によって、又は他の方法で画像センサ404に関連付けることができる。いくつかの実施形態では、これらの処理機能のうちの少なくともいくつかは、(例えば、テレビセット、ハンドヘルドデバイス、又はヘッドマウントデバイスにおいて)表示生成構成要素120と統合された好適なプロセッサによって、又はゲームコンソール又はメディアプレーヤーなどの任意の他の適切なコンピュータ化されたデバイスを用いて実行されてもよい。画像センサ404の感知機能は、同様に、センサ出力によって制御されるコンピュータ又は他のコンピュータ化された装置に統合することができる。
【0122】
図4は、いくつかの実施形態における、画像センサ404によってキャプチャされた深度マップ410の概略図を更に含む。深度マップは、上述したように、それぞれの深度値を有するピクセルのマトリックスを含む。手406に対応するピクセル412は、このマップで背景及び手首からセグメント化されている。深度マップ410内の各ピクセルの輝度は、深度値、すなわち、画像センサ404からの測定されたz距離に反比例し、深度が上昇するにつれて階調が濃くなる。コントローラ110は、人間の手の特性を有する画像のコンポーネント(すなわち、隣接ピクセル群)を識別及びセグメント化するために、これらの深度値を処理する。これらの特性は、例えば、深度マップのシーケンスの全体サイズ、形状、フレームからフレームへの動きを含むことができる。
【0123】
図4はまた、いくつかの実施形態における、コントローラ110が手406の深度マップ410から最終的に抽出する手骨格414を概略的に示す。図4では、手の骨格414は、元の深度マップからセグメント化された手の背景416に重ね合わされる。いくつかの実施形態では、手(例えば、指関節、指先、手のひらの中心、手首に接続する手の終端など)、及び任意選択的に手に接続された手首又は腕上の主要な特徴点が、手骨格414上で識別され配置される。いくつかの実施形態では、複数の画像フレーム上にわたるこれらの主要な特徴点のロケーション及び移動がコントローラ110によって使用されて、いくつかの実施形態では、手によって実行される手ジェスチャ又は手の現在の状態を判定する。
【0124】
図5は、アイトラッキングデバイス130(図1)の例示的な実施形態を示す。いくつかの実施形態では、アイトラッキングデバイス130は、シーン105に対する、又は表示生成構成要素120を介して表示されたXRコンテンツに対する、ユーザの視線のポジション及び移動を追跡するように、アイトラッキングユニット243(図2)によって制御される。いくつかの実施形態では、アイトラッキングデバイス130は、表示生成構成要素120と統合される。例えば、いくつかの実施形態では、表示生成構成要素120がヘッドセット、ヘルメット、ゴーグル、又は眼鏡などのヘッドマウントデバイス、又はウェアラブルフレームに配置されたハンドヘルドデバイスである場合、ヘッドマウントデバイスは、ユーザによる視聴のためのXRコンテンツを生成するコンポーネント及びXRコンテンツに対するユーザの視線を追跡するためのコンポーネントの両方を含む。いくつかの実施形態では、アイトラッキングデバイス130は、表示生成構成要素120とは別個である。例えば、表示生成構成要素がハンドヘルドデバイス又はXRチャンバである場合、アイトラッキングデバイス130は、任意選択的に、ハンドヘルドデバイス又はXRチャンバとは別個のデバイスである。いくつかの実施形態では、アイトラッキングデバイス130は、ヘッドマウントデバイス又はヘッドマウントデバイスの一部である。いくつかの実施形態では、ヘッドマウントアイトラッキングデバイス130は、任意選択的に、頭部に装着されている表示生成構成要素又は頭部に装着されていない表示生成構成要素とともに使用される。いくつかの実施形態では、アイトラッキングデバイス130は、ヘッドマウントデバイスではなく、任意選択的に、ヘッドマウント表示生成構成要素と組み合わせて使用される。いくつかの実施形態では、アイトラッキングデバイス130は、ヘッドマウントデバイスではなく、任意選択的に、非ヘッドマウント表示生成構成要素の一部である。
【0125】
いくつかの実施形態では、表示生成構成要素120は、ユーザの目の前に左及び右の画像を含むフレームを表示して、3D仮想ビューをユーザに提供するディスプレイ機構(例えば、左右の目近傍ディスプレイパネル)を使用する。例えば、ヘッドマウント表示生成構成要素は、ディスプレイとユーザの目との間に位置する左右の光学レンズ(本明細書では接眼レンズと称される)を含んでもよい。いくつかの実施形態では、表示生成構成要素は、表示のためにユーザの環境のビデオをキャプチャする1つ以上の外部ビデオカメラを含んでもよい、又はそれに結合されてもよい。いくつかの実施形態では、ヘッドマウント表示生成構成要素は、ユーザが物理的環境を直接視認し、透明又は半透明ディスプレイ上に仮想オブジェクトを表示することができる透明又は半透明のディスプレイを有してもよい。いくつかの実施形態では、表示生成構成要素は、仮想オブジェクトを物理的環境に投影する。仮想オブジェクトは、例えば、物理的表面上に、又はホログラフとして投影され、それによって、個人は、システムを使用して、物理的環境の上に重ね合わされた仮想オブジェクトを観察することができる。そのような場合、左右の目のための別個のディスプレイパネル及び画像フレームが必要とされない場合がある。
【0126】
図5に示すように、いくつかの実施形態では、アイトラッキングデバイス130(例えば、視線トラッキングデバイス)は、少なくとも1つのアイトラッキングカメラ(例えば、赤外線(IR)カメラ又は近IR(NIR)カメラ)、並びに光(例えば、IR光又はNIR光)をユーザの目に向けて発する照明源(例えば、LEDのアレイ若しくはリングなどのIR光源又はNIR光源)を含む。アイトラッキングカメラは、ユーザの目に向けられて、光源からの反射IR又はNIR光を目から直接受信してもよく、又は代替的に、ユーザの目と、視覚的光が通過することを可能にしながら目からアイトラッキングカメラにIR又はNIR光を反射させるディスプレイパネルとの間に配置される「ホット」ミラーに向けられてもよい。アイトラッキングデバイス130は、任意選択的に、ユーザの目の画像を(例えば、60~120フレーム/秒(fps)でキャプチャされるビデオストリームとして)キャプチャし、画像を解析して、視線追跡情報を生成し、視線追跡情報をコントローラ110に通信する。いくつかの実施形態では、ユーザの両目は、それぞれのアイトラッキングカメラ及び照明源によって別々に追跡される。いくつかの実施形態では、ユーザの片目のみが、個別のアイトラッキングカメラ及び照明源によって追跡される。
【0127】
いくつかの実施形態では、アイトラッキングデバイス130は、デバイス固有の較正プロセスを使用して較正されて、特定の動作環境100用のアイトラッキングデバイスのパラメータ、例えば、LED、カメラ、ホットミラー(存在する場合)、接眼レンズ、及びディスプレイスクリーンの3D幾何学的関係及びパラメータを判定する。デバイス固有の較正プロセスは、AR/VR機器のエンドユーザへの配送前に、工場又は別の施設で実行されてもよい。デバイス固有の較正プロセスは、自動較正プロセスであってもよく、又は手動較正プロセスであってもよい。ユーザ固有の較正プロセスは、特定のユーザの目パラメータ、例えば、瞳孔ロケーション、中心視覚ロケーション、光軸、視軸、目間隔などの推定を含んでもよい。いくつかの実施形態では、いったんアイトラッキングデバイス130についてデバイス固有及びユーザ固有のパラメータが判定されると、アイトラッキングカメラによってキャプチャされた画像は、グリント支援方法を使用して処理され、ディスプレイに対するユーザの現在の視覚軸及び視点を判定することができる。
【0128】
図5に示されるように、アイトラッキングデバイス130(例えば、130A又は130B)は、接眼レンズ(単数又は複数)520と、アイトラッキングが行われるユーザの顔の側に配置された少なくとも1つのアイトラッキングカメラ540(例えば、赤外線(IR)又は近IR(NIR)カメラ)と光(例えば、IR又はNIR光)をユーザの目(単数又は複数)592に向かって発する照明源530(例えば、NIR発光ダイオード(LED)のアレイ若しくはリングなどのIR又はNIR光源)とを含む視線トラッキングシステムと、を含む。アイトラッキングカメラ540は、ユーザの目(単数又は複数)592とディスプレイ510(例えば、ヘッドマウントディスプレイの左若しくは右側のディスプレイパネル、又はハンドヘルドデバイスのディスプレイ、プロジェクタなど)との間に位置し、(例えば、図5の上部に示されるように)可視光を透過させながら、目(単数又は複数)592からのIR又はNIR光を反射するミラー550に向けられてもよく、あるいは、(例えば、図5の下部に示されるように)反射された目(単数又は複数)592からのIR又はNIR光を受光するようにユーザの目(単数又は複数)592に向けられてもよい。
【0129】
いくつかの実施形態では、コントローラ110は、AR又はVRフレーム562(例えば、左及び右のディスプレイパネルの左及び右のフレーム)をレンダリングし、フレーム562をディスプレイ510に提供する。コントローラ110は、様々な目的のために、例えば、表示のためにフレーム562を処理する際に、アイトラッキングカメラ540からの視線トラッキング入力542を使用する。コントローラ110は、任意選択的に、グリント支援方法又は他の適切な方法を使用して、アイトラッキングカメラ540から得られた視線トラッキング入力542に基づいて、ディスプレイ510上のユーザの視点を推定する。視線トラッキング入力542から推定された視点は、任意選択的に、ユーザが現在見ている方向を判定するために使用される。
【0130】
以下、ユーザの現在の視線方向のいくつかの可能な使用事例について説明するが、これは限定することを意図するものではない。例示的な使用例として、コントローラ110は、判定されたユーザの視線方向に基づいて、仮想コンテンツを異なってレンダリングすることができる。例えば、コントローラ110は、周辺領域においてよりもユーザの現在の視線方向から判定された中心視覚領域において、より高い解像度で仮想コンテンツを生成してもよい。別の例として、コントローラは、ユーザの現在の視線方向に少なくとも部分的に基づいて、ビュー内の仮想コンテンツを位置決め又は移動させてもよい。別の例として、コントローラは、ユーザの現在の視線方向に少なくとも部分的に基づいて、ビュー内に特定の仮想コンテンツを表示してもよい。ARアプリケーションにおける別の例示的な使用事例として、コントローラ110は、XR体験の物理的環境をキャプチャして、判定された方向に焦点を合わせるように外部カメラを方向付けることができる。次いで、外部カメラの自動焦点機構は、ユーザが現在ディスプレイ510上で見ている環境内のオブジェクト又は表面に焦点を合わせることができる。別の例示的な使用事例として、接眼レンズ520は集束可能なレンズであってもよく、視線トラッキング情報がコントローラによって使用されて、ユーザが現在見ている仮想オブジェクトが、ユーザの目592の収束に一致するために適切な両目連動を有するように接眼レンズ520の焦点を調整する。コントローラ110は、視線トラッキング情報を活用して、ユーザが見ている近接オブジェクトが正しい距離で現れるように接眼レンズ520を方向付けて焦点を調整することができる。
【0131】
いくつかの実施形態では、アイトラッキングデバイスは、ウェアラブルハウジングに取り付けられた、ディスプレイ(例えば、ディスプレイ510)、2つの接眼レンズ(例えば、接眼レンズ(単数又は複数)520)、アイトラッキングカメラ(例えば、アイトラッキングカメラ(単数又は複数)540)、及び光源(例えば、光源530(例えば、IR LED又はNIR LED))を含むヘッドマウントデバイスの一部である。光源は、ユーザの目(単数又は複数)592に向かって光(例えば、IR光又はNIR光)を発する。いくつかの実施形態では、光源は、図5に示されるように、各レンズの周りにリング又は円状に配置されてもよい。いくつかの実施形態では、8つの光源530(例えば、LED)が、一例として各レンズ520の周りに配置される。しかしながら、より多くの又はより少ない光源530が使用されてもよく、光源530の他の配置及びロケーションが用いられてもよい。
【0132】
いくつかの実施形態では、ディスプレイ510は、可視光範囲内の光を発し、IR又はNIR範囲内の光を発さないため、視線トラッキングシステムにノイズを導入しない。アイトラッキングカメラ(単数又は複数)540のロケーション及び角度は、例として与えられ、限定することを意図するものではないことに留意されたい。いくつかの実施形態では、単一のアイトラッキングカメラ540がユーザの顔の各側に位置する。いくつかの実施形態では、2つ以上のNIRカメラ540をユーザの顔の各側に使用することができる。いくつかの実施形態では、より広い視野(FOV)を有するカメラ540と狭いFOVを有するカメラ540が、ユーザの顔の各側に使用されてもよい。いくつかの実施形態では、1つの波長(例えば、850nm)で動作するカメラ540と異なる波長(例えば、940nm)で動作するカメラ540とが、ユーザの顔の各側に使用されてもよい。
【0133】
図5に示すような視線トラッキングシステムの実施形態は、例えば、コンピュータ生成現実、仮想現実、及び/又は複合現実アプリケーションに使用されて、コンピュータ生成現実、仮想現実、拡張現実、及び/又は拡張仮想の体験をユーザに提供することができる。
【0134】
図6は、いくつかの実施形態による、グリント支援視線トラッキングパイプラインを示す。いくつかの実施形態では、視線トラッキングパイプラインは、グリント支援視線トラッキングシステム(例えば、図1及び図5に示されるようなアイトラッキングデバイス130)によって実現される。グリント支援視線トラッキングシステムは、追跡状態を維持することができる。当初、追跡状態はオフ又は「いいえ」である。追跡状態にあるとき、グリント支援視線トラッキングシステムは、現フレームを解析する際に前のフレームからの先行情報を使用して、現フレーム内の瞳孔輪郭及びグリントを追跡する。追跡状態にない場合、グリント支援視線トラッキングシステムは、現フレーム内の瞳孔及びグリントを検出しようとし、それに成功した場合、追跡状態を「はい」に初期化し、追跡状態で次のフレームに続く。
【0135】
図6に示されるように、視線追跡カメラは、ユーザの左目及び右目の左右の画像をキャプチャすることができる。次いで、キャプチャされた画像は、610で開始される処理のために視線トラッキングパイプラインに入力される。要素600に戻る矢印によって示されるように、視線トラッキングシステムは、例えば、毎秒60~120フレームの速度で、ユーザの目の画像をキャプチャし続けることができる。いくつかの実施形態では、キャプチャされた画像の各セットが、処理のためにパイプラインに入力されてもよい。しかしながら、いくつかの実施形態、又はいくつかの条件下では、全てのキャプチャされたフレームがパイプラインによって処理されるわけではない。
【0136】
610で、現在のキャプチャされた画像について、追跡状態がはいである場合、この方法は要素640に進む。610で、追跡状態がいいえである場合、620に示されるように、画像が解析されて、画像内のユーザの瞳孔及びグリントを検出する。630で、瞳孔とグリントが正常に検出される場合、方法は要素640に進む。正常に検出されない場合、方法は要素610に戻り、ユーザの目の次の画像を処理する。
【0137】
640において、要素610から進む場合、以前のフレームからの前の情報に部分的に基づいて瞳孔及びグリントを追跡するために、現在のフレームが分析される。640で、要素630から進む場合、現フレーム内の検出された瞳孔及びグリントに基づいて、追跡状態が初期化される。要素640での処理の結果は、追跡又は検出の結果が信頼できることを確認するためにチェックされる。例えば、結果は、瞳孔及び視線推定を実行するための十分な数のグリントが現フレームで正常に追跡又は検出されるかどうかを判定するためにチェックすることができる。650で、結果が信頼できない場合、追跡状態は要素660でいいえに設定され、方法は要素610に戻り、ユーザの目の次の画像を処理する。650で、結果が信頼できる場合、方法は要素670に進む。670で、追跡状態は、はいに設定され(まだはいではない場合)、瞳孔及びグリント情報が要素680に渡されて、ユーザの視点を推定する。
【0138】
図6は、特定の実施で使用され得るアイトラッキング技術の一例として機能することを意図している。当業者によって認識されるように、現在存在するか、又は将来開発される他のアイトラッキング技術は、いくつかの実施形態におけるXR体験をユーザに提供するためにコンピュータシステム101において、本明細書に記載されるグリント支援アイトラッキング技術の代わりに、又はそれと組み合わせて使用することができる。
【0139】
本開示では、コンピュータシステムとの相互作用に関して、様々な入力方法が説明される。一例が1つの入力デバイス又は入力方法を使用して提供され、別の例が別の入力デバイス又は入力方法を使用して提供される場合、各例は、別の例に関して記載された入力デバイス又は入力方法と互換性があり得、任意選択的にそれらを利用することを理解されたい。同様に、様々な出力方法が、コンピュータシステムとの相互作用に関して説明される。一例が1つの出力デバイス又は出力方法を使用して提供され、別の例が別の出力デバイス又は出力方法を使用して提供される場合、各例は、別の例に関して記載された出力デバイス又は出力方法と互換性があり得、任意選択的にそれらを利用することを理解されたい。同様に、様々な方法が、コンピュータシステムを介した仮想環境又は複合現実環境との相互作用に関して説明される。一例が仮想環境との相互作用を使用して提供され、別の例が複合現実環境を使用して提供される場合、各例は、別の例に関して説明された方法と互換性があり得、任意選択的にそれらを利用することを理解されたい。したがって、本開示は、各例示的な実施形態の説明における実施形態の全ての特徴を網羅的に列挙することなく、複数の例の特徴の組み合わせである実施形態を開示する。
ユーザインタフェース及び関連するプロセス
【0140】
次に、1つ以上の表示生成構成要素と通信する、ポータブル多機能デバイス又はヘッドマウントデバイスなどのコンピュータシステム上に実現され得るユーザインタフェース(「UI」)及び関連するプロセスの実施形態に注目する。
【0141】
図7A図7Jは、ユーザの表現を生成すること、及びユーザの表現を表示することの例を示す。図8は、ユーザの表現を生成するための例示的な方法800のフロー図である。図9は、ユーザの表現を表示するための例示的な方法900のフロー図である。図7A図7Jのユーザインタフェースは、図8及び図9のプロセスを含む、以下で説明するプロセスを示すために使用される。
【0142】
図7A図7Jは、ユーザの表現を生成するために使用される情報をキャプチャするための例を示す。いくつかの実施形態では、ユーザの表現は、リアルタイム通信セッション中に通信するために表示され、及び/又は別様に使用される。いくつかの実施形態では、リアルタイム通信セッションは、電子デバイスのユーザと、第1の電子デバイスとは異なる第2の電子デバイスに関連付けられた第2のユーザとの間のリアルタイム通信を含み、リアルタイム通信セッションは、電子デバイス及び/又は第2の電子デバイスを介して、ユーザの顔及び/又は身体の表情の表現を、ユーザの表現を介して第2のユーザに表示すること、及び/又は別様に通信することを含む。いくつかの実施形態では、リアルタイム通信セッションは、ユーザの表現を表示すること、及び/又はユーザの発話に対応するオーディオをリアルタイムで出力することを含む。いくつかの実施形態では、第1の電子デバイス及び第2の電子デバイスは、ユーザの表現を示す情報及び/又はユーザの発話に対応するオーディオが互いの間で送信されることを可能にするために、互いに通信(例えば、無線通信)している。いくつかの実施形態では、リアルタイム通信セッションは、第1の電子デバイス及び第2の電子デバイスのディスプレイデバイスを介して、エクステンデッドリアリティ環境内にユーザの表現(及び、任意選択的に、第2のユーザの表現)を表示することを含む。
【0143】
図7Aは、ディスプレイ704上にプロンプト702を表示する電子デバイス700(例えば、時計及び/又はスマートウォッチ)を示す。加えて、図7Aは、電子デバイス700を使用している及び/又はそれに関連付けられているユーザ708の物理的環境706を示す。図7Aにおいて、電子デバイス700は、物理的環境706内のユーザ708の手首708aに装着されている。電子デバイス700は、ユーザ708の身体(例えば、ユーザ708の手首708a)に装着されるように構成されたウェアラブルデバイスである。図7Aにおいて、電子デバイス700は、ウォッチ(例えば、スマートウォッチ)である。いくつかの実施形態では、電子デバイス700は、ヘッドセット、ヘルメット、ゴーグル、眼鏡、又はウェアラブルフレーム内に配置されたハンドヘルドデバイスである。いくつかの実施形態では、電子デバイス700は、ユーザ708の身体に装着されたときに主に使用されるように構成されるが、電子デバイス700はまた、電子デバイス700がユーザ708の身体から取り外されたときに使用され得る(例えば、ユーザ708を介して相互作用され、及び/又は情報をキャプチャするために使用される)。
【0144】
図7Aは、ディスプレイ704及びセンサ712(例えば、カメラなどの画像センサ)を含む、電子デバイス700の第1の部分710(例えば、第1の面及び/若しくは第1の側、前側、並びに/又はヘッドマウントデバイス(HMD)の内側部分)を示す。電子デバイス700がユーザ708の手首708a(又は頭部708d及び/又は顔708cなどのユーザ708の身体の別の部分)に装着されているとき、デバイス700の第1の部分710は、ユーザ708の手首708a及び/又は腕708bから可視であり、かつ/又は遮られていない。換言すれば、デバイスの第1の部分710は、電子デバイス700がユーザ708の手首708a(又はユーザ708の頭部708d及び/若しくは顔708cなどのユーザ708の身体の別の部分)に位置決めされたときに、ディスプレイ704がユーザ708に可視であるように位置決めされる(例えば、ディスプレイ704が手首708aの反対の方向を向く、並びに/又はディスプレイ704がユーザ708の目の上及び/若しくは目の前に位置決めされる)ように構成される。以下に記載されるように、電子デバイス700はまた、図7Dに示される第2の部分714(例えば、第2の面及び/若しくは第2の側、後側、並びに/又はHMDの外側部分)を含む。電子デバイス700がユーザ708の手首708a(又はユーザ708の頭部708d及び/若しくは顔708cなどのユーザ708の身体の別の部分)に装着されているとき、電子デバイス700の第2の部分714は、ユーザ708の手首708a及び/又は腕708bによって遮られる(例えば、その上に載る、それに接触する、及び/又は別様でその近くに位置決めされる)(例えば、HMDの第2の部分714は、HMDがユーザ708の頭部708d上に配置されているとき、第1の部分710がユーザ708の目を覆っており、かつ/又は目の前にあるため、ユーザには見えない)。換言すれば、電子デバイス700の第2の部分714は、電子デバイス700がユーザ708の手首708aに装着されている間に、第2の部分714の表面がユーザ708の手首708aに向かう(例えば、ユーザの顔から離れる)方向を向くように位置決めされる。
【0145】
図7A図7Jは電子デバイス700を腕時計として示しているが、いくつかの実施形態では、電子デバイス700はヘッドマウントデバイス(HMD)である。HMDは、ユーザ708の頭部708d上に装着されるように構成されており、HMDの内側部分上及び/又はその中に第1のディスプレイを含む。第1のディスプレイは、ユーザ708がユーザ708の頭部708d上にHMDを装着しているとき、ユーザ708に可視である。例えば、HMDは、第1のディスプレイがユーザ708の目の上及び/又は正面に位置決めされるように、ユーザ708の頭部708d上に配置されると、ユーザ708の目を少なくとも部分的に覆う。いくつかの実施形態では、HMDはまた、HMDの外側部分上及び/又はその中に位置決めされた第2のディスプレイを含む。いくつかの実施形態では、第2のディスプレイは、HMDがユーザ708の頭部708d上に配置されたとき、ユーザ708に可視ではない。したがって、HMDの第1のディスプレイは、ユーザ708の頭部708dからHMDを取り外すようにユーザ708に指示するプロンプト702を表示し、HMDの第2のディスプレイは、以下に記載されるように、ユーザ708の1つ以上の身体的特徴をキャプチャするためにHMDを使用する命令及び/又はガイダンスをユーザ708に提供する、1つ以上の追加のプロンプト(例えば、コンテンツ722a)を表示する。
【0146】
図7Aにおいて、電子デバイス700は、ユーザ708の身体(例えば、手首708a、並びに/又は頭部708d及び/若しくは顔708cなどの身体の別の部分)に装着され、ディスプレイ704上にプロンプト702を表示している。プロンプト702は、電子デバイス700の登録プロセス(例えば、セットアッププロセス)を継続するために、ユーザ708の身体から電子デバイス700を取り外す(例えば、ユーザ708の手首708aから電子デバイス700を取り外す、及び/又はユーザ708の頭部708d及び/又は顔708cなどのユーザ708の身体の別の部分から電子デバイス700を取り外す)ようにユーザ708に指示するインジケーション(例えば、テキスト及び/又は画像)を含む。図7Aにおいて、電子デバイス700は、ユーザ708の表現726(例えば、ユーザ708のキャプチャされた1つ以上の身体的特徴に基づく外観を含むアバターなどの仮想表現)を生成するためにユーザ708の1つ以上の身体的特徴をキャプチャすることを含むプロセスである登録プロセスを受けている。以下に記載されるように、電子デバイス700は、電子デバイス700がユーザ708の身体に装着されているときに、アクセス不可能であるか、遮られているか、かつ/又は別様でユーザ708の1つ以上の身体的特徴をキャプチャするのに適していないユーザ708に対するポジションにあるセンサ720a~720jを用いて、ユーザ708の1つ以上の身体的特徴の少なくとも一部分をキャプチャする(例えば、HMDがユーザ708の頭部708dに装着されているとき、HMDのセンサ720a~720jは、ユーザ708の個別の身体部分に向けられていない)。したがって、電子デバイス700は、センサ720a~720jのうちの1つ以上がユーザ708の1つ以上の身体的特徴の少なくとも一部分をキャプチャするために効果的に使用され得るように、ユーザ708の身体から電子デバイス700を取り外すようにユーザ708に指示するプロンプト702を出力する。図7Aは、プロンプト702を電子デバイス700のディスプレイ704上に表示されているものとして示しているが、いくつかの実施形態では、プロンプト702は、ユーザ708の身体(例えば、手首708a及び/又は頭部708d及び/又は顔708cなどの身体の別の部分)から電子デバイス700を取り外すようにユーザ708に指示する(例えば、電子デバイス700のスピーカを介した)オーディオ出力及び/又は(例えば、電子デバイス700の1つ以上の触覚出力デバイスを介した)触覚出力を含む。
【0147】
いくつかの実施形態では、電子デバイス700は、電子デバイス700が電源投入されたとき及び/又はそれに応じて(例えば、ユーザ708が電子デバイス700に関連付けられたアカウントにサインインする前に最初に電源投入されたとき、及び/又は電子デバイス700がセットアップ動作モードにある間に電源投入されたとき)、登録プロセスを開始する。いくつかの実施形態では、登録プロセスは、電子デバイス700の初期セットアッププロセス内に含まれる。いくつかの実施形態では、電子デバイス700の初期セットアッププロセスは、(例えば、センサ712及び/又はセンサ720a~720jを介して)ユーザ708の1つ以上の身体的特徴をキャプチャすること、ユーザ708の生体情報(例えば、顔の特徴、目の特徴、及び/又は指紋)をキャプチャすること、入力較正プロセス(例えば、電子デバイス700が、視線ユーザ入力、エアジェスチャ、音声コマンド、及び/又はタップジェスチャなどのユーザ入力を検出し、認識し、かつ/又はそれに応答することを可能にする情報を電子デバイス700がキャプチャする)、及び/又は空間オーディオ較正プロセス(例えば、電子デバイス700のスピーカのロケーションではない物理的環境706内のロケーションから生成されるオーディオをシミュレートするように電子デバイス700がオーディオを出力することと、任意選択的に、出力オーディオの知覚ロケーションに対応する1つ以上のユーザ入力を検出することと、を含むプロセス)を含む。いくつかの実施形態では、電子デバイス700は、登録プロセスが開始されることを要求する1つ以上のユーザ入力に基づいて、登録プロセスを開始する。
【0148】
図7Bにおいて、電子デバイス700は、ユーザ708の身体(例えば、手首708a及び/又は頭部708d及び/又は顔708cなどの身体の別の部分)上に位置決めされたままであり、ディスプレイ704を介して、命令716(方向など)を表示する。いくつかの実施形態では、電子デバイス700は、プロンプト702を表示してから所定の時間量(例えば、10秒、15秒、30秒、及び/又は60秒)が経過した後に、電子デバイス700がユーザ708の身体(例えば、手首708a、並びに/又は頭部708d及び/若しくは顔708cなどの身体の別の部分)から取り外されていないときに、命令716を表示する。命令716は、登録プロセスを完了するためのガイダンスをユーザ708に提供する追加の情報、提案、及び/又はヒントを含む。図7Bにおいて、命令716は、登録プロセスについてのコンテキストをユーザ708に提供し、登録プロセスの少なくとも一部分を完了するために電子デバイス700をどのように使用するかについてユーザ708に通知するテキストを含む。図7Bにおいて、命令716は、電子デバイス700の第2の部分714(例えば、HMDの外側部分)などの背面部分上のセンサ(例えば、センサ720a~720j)をユーザ708の顔708c及び/又は頭部708dに向けるようにユーザ708に促す。図7Bは、電子デバイス700のディスプレイ704上に表示されるテキストを含む命令716を示すが、いくつかの実施形態では、命令716は、登録プロセスの少なくとも一部分を完了するために電子デバイス700をどのように配向及び/又は使用するかに関するガイダンスをユーザ708に提供する画像、記号、ビデオ、アニメーション、オーディオ、及び/又はテキストを含む。例えば、いくつかの実施形態では、命令716は、電子デバイス700を使用して登録プロセスの少なくとも一部分を完了するための視覚的な例をユーザ708に提供するビデオ及び/又はアニメーション化された一連の画像を含む。いくつかのそのような実施形態では、ビデオ及び/又はアニメーション化された一連の画像は、ユーザ708が登録プロセスの少なくとも一部分を完了する方法をより良く理解することができるように、人物が電子デバイス700を人物の身体から取り外すこと、電子デバイス700(例えば、第2の部分714)を人物の身体の部分に向かって配向すること、及び/又は人物がその身体の一部分を移動及び/又は配向することの視覚的インジケーションを含む。
【0149】
いくつかの実施形態では、命令716は、登録プロセスの少なくとも一部分の間にキャプチャされたユーザ708の1つ以上の身体的特徴が表現726を生成するために使用されることを示す情報を含む。いくつかの実施形態では、命令716は、外部電子デバイスに関連付けられた別のユーザとのリアルタイム通信セッションにおいて表現726を使用することに関する情報を含み、これは、ユーザ708の1つ以上の身体的特徴をキャプチャする目的に関するコンテキストをユーザ708に提供する。
【0150】
図7Cにおいて、電子デバイス700は、ユーザ708の身体(例えば、手首708a及び/又は頭部708d及び/又は顔708cなどの身体の別の部分)上に位置決めされたままであり、ディスプレイ704を介してプロンプト718を表示する。図7Cにおいて、プロンプト718は、ユーザ708が位置する物理的環境706の条件に関連するインジケーション(例えば、テキスト)を含む。いくつかの実施形態では、電子デバイス700のセンサ712(及び/又は他のセンサ)は、物理的環境706に関する情報をキャプチャし、電子デバイス700は、キャプチャされた情報が、ユーザ708の1つ以上の身体的特徴をキャプチャすることに影響を及ぼし得る1つ以上の条件を示すかどうかを判定する。図7Cにおいて、電子デバイス700は、物理的環境706が弱照明を含む(例えば、電球、ランプ、及び/又は太陽などの1つ以上の光源から放出された光が、電子デバイスがユーザ708の1つ以上の身体的特徴を効果的にキャプチャすることを可能にするのに十分な量でユーザに到達していない)ことを物理的環境706に関する情報が示すと判定する。したがって、電子デバイス700は、物理的環境706内の照明条件がユーザ708の1つ以上の身体的特徴をキャプチャすることに影響を及ぼし得ることをユーザ708に警告及び/又は助言するためのプロンプト718を出力する。図7Cは、物理的環境706の弱照明条件に関連するプロンプト718を提供する電子デバイス700を示すが、いくつかの実施形態では、電子デバイス700は、過酷な照明条件、電子デバイス700とユーザ708との間に位置決めされたオブジェクト(例えば、電子デバイス700の1つ以上のセンサが情報をキャプチャするように構成されるエリアを遮るオブジェクト)、及び/又はユーザ708の身体の個別の部分に位置決めされたオブジェクト及び/又はアクセサリ(例えば、眼鏡、顔カバー、頭部カバー、及び/又は帽子)などの、物理的環境706の1つ以上の他の条件に関連するプロンプトを出力するように構成される。いくつかの実施形態では、電子デバイス700は、電子デバイス700が閾値量よりも小さい電力量及び/又はバッテリ寿命を含むときなど、1つ以上の基準のセットが満たされていると電子デバイス700が判定したときに、プロンプトを出力するように構成される。
【0151】
図7Cにおいて、プロンプト718は、ユーザ708の1つ以上の身体的特徴をキャプチャすることに影響を及ぼし得る物理的環境706内の条件を示す第1の部分718a(例えば、テキストの第1の部分)を含む。加えて、プロンプト718は、ユーザ708の1つ以上の身体的特徴をキャプチャすることに影響を及ぼし得る条件を修正することについての提案及び/又はガイダンスをユーザ708に提供する第2の部分718b(例えば、テキストの第2の部分)を含む。図7Cにおいて、第2の部分718bは、増加した照明の量を含む物理的環境706のエリア(例えば、より明るいエリア)に移動するようにユーザ708に提案することを含む。いくつかの実施形態では、第2の部分718bは、追加の光源をオンにする、及び/又は光源に供給される電力量を増加させる提案を含む。いくつかの実施形態では、第2の部分718bは、それほど過酷でない照明(例えば、より涼しい及び/又はより暗い照明)を含む物理的環境706内のエリアに移動すること、電子デバイス700とユーザ708との間でオブジェクトを取り外し、かつ/又は移動させること、ユーザ708の身体の個別の部分上のオブジェクト及び/又はアクセサリを取り外し、かつ/又は移動させること、及び/又は電子デバイス700を充電することなどの別の条件を補正及び/又は調整するための提案を含む。
【0152】
いくつかの実施形態では、プロンプト718は、テキストの代わりに及び/又はテキストに加えて、ユーザ708の1つ以上の身体的特徴のキャプチャに影響を及ぼす条件についてユーザ708に通知及び/又は警告する、ビデオ、画像、記号、絵文字、アニメーション、オーディオプロンプト、及び/又は触覚プロンプトなどの視覚的プロンプトを含む。
【0153】
図7Dにおいて、ユーザ708は、物理的環境706内のユーザ708の身体(例えば、手首708a及び/又は頭部708d及び/又は顔708cなどの身体の別の部分)から電子デバイス700を取り外している。加えて、図7Dは、ユーザ708が身体(例えば、手首708a及び/又は頭部708d及び/又は顔708cなどの身体の別の部分)から電子デバイス700を取り外した後にアクセス可能及び/又は可視である、電子デバイス700の第2の部分714(例えば、HMDの背面及び/又は外側部分)を示す。電子デバイス700の第2の部分714は、ユーザ708に関する様々な情報をキャプチャするように構成されたセンサ720a~720jを含む。いくつかの実施形態では、センサ720a~720jは、1つ以上の画像センサ(例えば、IRカメラ、3Dカメラ、深度カメラ、カラーカメラ、RGBカメラ(例えば、相補型金属酸化膜半導体(CMOS)画像センサ又は電荷結合素子(CCD)画像センサを有する)、1つ以上の赤外線(IR)カメラ、及び/又は1つ以上のイベントベースのカメラ)、慣性測定ユニット(IMU)、加速度計、ジャイロスコープ、温度計、1つ以上の生理学的センサ(例えば、血圧モニタ、心拍数モニタ、血中酸素センサ、血中グルコースセンサなど)、1つ以上のマイクロフォン、1つ以上のスピーカ、触覚エンジン、1つ以上の深度センサ(例えば、構造化光、飛行時間、及び/又は2つ以上のカメラの透視図の差に基づいて深度を判定する2つ以上のカメラ)、1つ以上の光センサ、1つ以上の触覚センサ、1つ以上の配向センサ、1つ以上の近接センサ、1つ以上のロケーションセンサ、1つ以上の運動センサ、及び/又は1つ以上の速度センサを含む。
【0154】
図7Dにおいて、第2の部分714は、エリア722(例えば、センサ720a~720jを含まない第2の部分714の一部分及び/又はディスプレイ704とは異なるディスプレイを含むHMDの外側部分)を含む。エリア722は、ユーザ708によって閲覧及び/又は知覚されることが可能なコンテンツ722a(例えば、図7Dに示されるようなテキスト)を含む。いくつかの実施形態では、エリア722は、コンテンツ722aを表示する1つ以上の表示生成構成要素722bを含む。例えば、エリア722はディスプレイである。いくつかの実施形態では、電子デバイス700は、1つ以上の表示生成構成要素722bに、電子デバイス700を使用して(例えば、センサ720a~720jを介して)ユーザ708の1つ以上の身体的特徴をキャプチャするようにユーザ708に命令を提供する及び/又は別様でガイドする視覚的インジケーションを表示させる。
【0155】
いくつかの実施形態では、電子デバイス700は、電子デバイス700がユーザ708の身体(例えば、手首708a、並びに/又は頭部708d及び/若しくは顔708cなどの身体の別の部分)から取り外されたことを検出する。電子デバイス700がユーザ708の身体(例えば、手首708a及び/又は頭部708d及び/又は顔708cなどの身体の別の部分)から取り外されたことを検出したことに応じて、電子デバイス700は、1つ以上の表示生成構成要素722bに、ユーザ708の1つ以上の身体的特徴をキャプチャするために電子デバイス700を使用するようにユーザ708に指示及び/又はガイドする1つ以上のプロンプトを表示させる。いくつかの実施形態では、1つ以上のプロンプトは、電子デバイス700を移動させ、かつ/又はユーザ708の身体の一部分を特定の配向に移動させる(例えば、電子デバイス700をユーザ708の身体に対して特定の配向に移動させ、かつ/又はユーザ708の身体の一部分を電子デバイス700に対して特定の配向に移動させる)ようにユーザ708に促すテキスト、画像、記号、ビデオ、アニメーション、及び/又は他の視覚的キューを含む。例えば、いくつかの実施形態では、1つ以上のプロンプトは、センサ720a~720jのうちの1つ以上がユーザ708の顔708c及び/又は頭部708dなどのユーザの特定の身体部分に向けられるように、物理的環境706内の電子デバイス700及び/又はユーザ708の身体のポジションを調整するようにユーザ708に指示する。いくつかの実施形態では、1つ以上のプロンプトは、センサ720a~720jがユーザ708の特定の身体部分の特徴をキャプチャするように、電子デバイス700に対してユーザ708の特定の身体部分(例えば、顔708c及び/又は頭部708d)を移動させるようにユーザ708に指示する。いくつかの実施形態では、1つ以上のプロンプトは、センサ720a~720jがユーザ708の顔708cに関する身体的特徴をキャプチャするように、電子デバイス700に対してユーザ708の頭部708dを(任意選択的に、特定の速度で)回転させるようにユーザ708に指示する。いくつかの実施形態では、1つ以上のプロンプトは、センサ720a~720jがユーザ708の胴体708e(例えば、肩及び/又は胸)に向けられるように電子デバイス700を移動及び/又は配向させるようにユーザ708に指示し、それにより、電子デバイス700は、胴体708e及び/又はユーザ708が装着している衣類(例えば、胴体708eを覆う及び/又は胴体708e上に配置された衣類)に関する身体的特徴をキャプチャする。
【0156】
いくつかの実施形態では、電子デバイス700は、1つ以上のプロンプトを(例えば、1つ以上の表示生成構成要素722bを介して)提供して、ユーザ708の顔708cの1つ以上の身体的特徴をキャプチャするために、1つ以上の特定の顔の表情(例えば、笑顔、しかめ面、口を開ける、及び/又は眉毛を上げる及び/又は下げる)をするようにユーザ708に指示する。いくつかの実施形態では、1つ以上のプロンプトは、プロンプト718と同様に、1つ以上の身体的特徴に関する情報のキャプチャに影響を及ぼす物理的環境706の条件に関する情報、並びに/又は条件を調整及び/若しくは補正することに関する情報を含む。いくつかの実施形態では、1つ以上のプロンプトは、ユーザ708の身体の個別の部分がフレーム(例えば、1つ以上の表示生成構成要素722bを介して表示されるボックス及び/又は輪郭などのフレーム)内にあるように、ユーザ708の身体の一部分を移動させ、かつ/又は電子デバイス700を移動させるようにユーザ708に指示する。いくつかの実施形態では、1つ以上のプロンプトは、ユーザ708に、電子デバイス700に近づくように及び/又は電子デバイス700から離れるように移動するように、かつ/又はユーザ708に近づくように及び/又はユーザ708から離れるように電子デバイス700を移動させるように指示する。いくつかの実施形態では、電子デバイス700によって提供される1つ以上のプロンプトは、エリア722の1つ以上の表示生成構成要素722bを介して表示される。いくつかの実施形態では、1つ以上のプロンプトは、ユーザ708の1つ以上の身体的特徴をキャプチャすることについてユーザ708に命令及び/又はガイダンスを提供するオーディオプロンプト(例えば、電子デバイス700のスピーカを介して出力される)及び/又は触覚プロンプト(例えば、電子デバイス700の1つ以上の触覚出力デバイスを介して出力される)である。
【0157】
図7Dにおいて、ユーザ708は、それぞれ矢印724a及び/又は724bによって示されるように、頭部708dを移動させ、かつ/又は電子デバイス700を移動させる。ユーザ708が頭部708d(及び、任意選択的に、ユーザ708の身体の他の部分)及び/又は電子デバイス700を移動させる間、センサ720a~720jは、ユーザ708の1つ以上の身体的特徴に関する情報をキャプチャする。電子デバイス700のセンサ720a~720jは、1つ以上の顔の特徴、ユーザ708の毛(例えば、ユーザ708の頭部708d上の毛及び/又はユーザ708の顔の毛)の1つ以上の特徴、ユーザ708の胴体708e(例えば、肩、胸、及び/又は衣類)の1つ以上の特徴、及び/又は電子デバイス700がユーザ708の身体(例えば、手首708a及び/又は頭部708d及び/又は顔708cなどの身体の別の部分)上に配置されている間に他の方法ではアクセスできない及び/又はセンサ720a~720jのキャプチャエリアの外側にあるユーザ708の他の身体的特徴などの、ユーザ708の1つ以上の身体的特徴に関する情報をキャプチャする。例えば、ユーザ708が電子デバイス700を身体(例えば、手首708a及び/又は頭部708d及び/又は顔708cなどの身体の別の部分)に装着している間、センサ720a~720jのキャプチャエリア及び/又はフィールドは、ユーザ708の身体の特定の部分(例えば、顔708c、頭部708d、及び/又は胴体708e)に向けられず、かつ/又はユーザ708の1つ以上の身体的特徴をキャプチャすることを妨げられる。以下に記載されるように、電子デバイス700は、ユーザ708の表現726を生成するために、ユーザ708の1つ以上の身体的特徴に関するキャプチャされた情報を使用する。
【0158】
図7Eにおいて、ユーザ708は、電子デバイス700をユーザ708の身体(例えば、手首708及び/又は頭部708d及び/又は顔708cなどの身体の別の部分)の上に戻して配置している。いくつかの実施形態では、ユーザ708の1つ以上の身体的特徴をキャプチャした後に、電子デバイス700は、登録プロセスを継続するために、電子デバイス700をユーザ708の身体(例えば、手首708a、並びに/又は頭部708d及び/若しくは顔708cなどの身体の別の部分)上に戻すようにユーザ708に指示するプロンプトを出力する(例えば、1つ以上の表示生成構成要素722bを介して表示する、並びに/又はオーディオ及び/若しくは触覚を出力する)。図7Eにおいて、電子デバイス700は、電子デバイス700がユーザ708の身体(例えば、手首708a、並びに/又は頭部708d及び/若しくは顔708cなどの身体の別の部分)上に位置決めされていることを判定及び/又は検出する。電子デバイス700がユーザ708の身体(例えば、手首708a及び/又は頭部708d及び/又は顔708cなどの身体の別の部分)上に位置決めされていると判定したことに応じて(及び、任意選択的に、ユーザ708の1つ以上の身体的特徴がキャプチャされたことを検出したことに応じて)、電子デバイス700は、ディスプレイ704を介してプロンプト728を表示する。
【0159】
図7Eにおいて、プロンプト728は、センサ712がユーザ708の左手708fに向かう方向を向くように、電子デバイス700(及び/又はユーザ708の身体の一部分)を移動及び/又は配向させるようにユーザ708に指示するインジケーション(例えば、テキスト)を含む(例えば、HMDのセンサ712はカメラであり、HMDがユーザ708の頭部708dに装着されている間に、ユーザ708は、左手708fがカメラの視野内にあるように、頭部708d、左手708f、及び/又はユーザの目を向けることができる)。いくつかの実施形態では、電子デバイス700は、電子デバイス700がユーザ708の身体(例えば、手首708a及び/又は頭部708d及び/又は顔708cなどの身体の別の部分)から取り外されている間に、センサ720a~720jを介してユーザ708の1つ以上の第1の身体的特徴に関する第1の情報をキャプチャし、電子デバイス700がユーザ708の身体(例えば、手首708a及び/又は頭部708d及び/又は顔708cなどの身体の別の部分)上に配置されている間に、センサ712を介してユーザ708の1つ以上の第2の身体的特徴に関する第2の情報をキャプチャする。いくつかの実施形態では、電子デバイス700は、表現726を生成するために、ユーザ708の1つ以上の第1の身体的特徴及びユーザ708の1つ以上の第2の身体的特徴の両方の少なくとも一部分を使用する。いくつかの実施形態では、電子デバイス700は、表現726を生成するために、ユーザ708の1つ以上の第1の身体的特徴及びユーザ708の1つ以上の第2の身体的特徴のうちの1つのみを使用する。いくつかの実施形態では、ユーザ708の1つ以上の第1の身体的特徴は、電子デバイス700がユーザ708の身体(例えば、手首708a、及び/又は頭部708d及び/又は顔708cなどの身体の別の部分)上にある間にアクセス不可能である、及び/又はセンサ720a~720jのキャプチャエリア及び/又はフィールドの外側にあるユーザ708の身体の部分の身体的特徴、例えば、顔708c、頭部708d、及び/又は胴体708eの身体的特徴に対応する。いくつかの実施形態では、ユーザ708の1つ以上の第1の身体的特徴は、電子デバイス700がユーザ708の身体(例えば、手首708a及び/又は頭部708d及び/又は顔708cなどの身体の別の部分)上にある間にセンサ712を介してキャプチャするのにアクセス不可能である及び/又は別様で適していないユーザ708の身体の部分(例えば、電子デバイス700がユーザ708の身体上にあるときに電子デバイスによって覆われるユーザ708の身体の部分(例えば、HMDがユーザ708の頭部708dに装着されるときにユーザ708の顔708c及び/又は頭部708dがHMDによって覆われる))の身体的特徴に対応する。いくつかの実施形態では、ユーザ708の1つ以上の第2の身体的特徴は、電子デバイス700がユーザ708の身体(例えば、手首708a及び/又は頭部708d及び/又は顔708cなどの身体の別の部分)上にある間にセンサ712を介してキャプチャするのにアクセス可能及び/又は好適であるユーザ708の身体の部分、例えば左手708f及び/又は右手708gの身体的特徴に対応する(例えば、左手708f及び/又は右手708gは、HMDがユーザ708の頭部708d上に装着されている間にHMDのカメラ(例えば、センサ712)を介してキャプチャされ得る)。したがって、電子デバイス700は、ユーザ708の1つ以上の第1の身体的特徴及び/又はユーザ708の1つ以上の第2の身体的特徴をキャプチャするために、ユーザ708の身体(例えば、手首708a及び/又は頭部708d及び/又は顔708cなどの身体の別の部分)から電子デバイス700を取り外すこと、及び/又はユーザ708の身体(例えば、手首708a及び/又は頭部708d及び/又は顔708cなどの身体の別の部分)上に電子デバイス700を配置することをユーザに指示する1つ以上のプロンプトを出力する。
【0160】
図7Fにおいて、ユーザ708は、電子デバイス700、左手708f、及び/又は右手708gを、センサ712のキャプチャエリア及び/又はフィールドが左手708fに向けられるポジションにセンサ712があるように位置決めしている(例えば、HMDのセンサ712はカメラであり、ユーザ708は、左手708fがカメラの視野内にあるように、頭部708dのポジション、左手708fのポジション、及び/又はユーザの目の視線のポジションを調整している)。加えて、電子デバイス700は、ディスプレイ704を介して、電子デバイス700(例えば、電子デバイス700のセンサ712)に対する左手708fのターゲットポジションを示すフレーム730を表示する。図7Fにおいて、センサ712は、カメラなどの画像センサを含み、電子デバイス700は、センサ712を介してキャプチャされた情報をディスプレイ704上に表示する。したがって、電子デバイス700は、センサ712がユーザ708の左手708fをキャプチャ及び/又は他の方法で検出したことを示す手表現732をディスプレイ704上に表示する。いくつかの実施形態では、ユーザ708は、手表現732がディスプレイ704上のフレーム730内にあるように、左手708f及び/又は電子デバイス700のポジションを調整することができる。いくつかの実施形態では、手表現732がフレーム730内にあるとき、ユーザ708の左手708fは、センサ712が左手708fの1つ以上の身体的特徴に関する情報をキャプチャすることを可能にする電子デバイス700に対してターゲットエリア内に位置決めされる。いくつかの実施形態では、電子デバイス700は、手表現732がフレーム730内にあることに応じて、及び/又は手表現732が所定の時間量にわたってフレーム730内にあることに応じて、センサ712に、ユーザ708の左手708fの1つ以上の身体的特徴に関する情報をキャプチャさせる。
【0161】
電子デバイス700が左手708fの1つ以上の身体的特徴に関する情報をキャプチャした後及び/又はキャプチャしている間に、電子デバイス700は、ディスプレイ704を介してプロンプト734を表示する。図7Fにおいて、プロンプト734は、左手708fのポジションを調整して左手708fを裏返す(例えば、電子デバイス700及び/又はセンサ712に対して左手708fを約180°回転させる)ようにユーザ708に指示するインジケーション(例えば、テキスト)を含む。いくつかの実施形態では、ユーザの左手708fが回転及び/又はひっくり返されたことを検出したことに応じて、電子デバイス700は、センサ712を介して、ユーザ708の左手708fに関する追加の1つ以上の身体的特徴をキャプチャする。いくつかの実施形態では、電子デバイス700は、表現726の一部分を生成するために、ユーザ708の左手708fに関する1つ以上の身体的特徴及び/又はユーザ708の左手708fに関する追加の1つ以上の身体的特徴を使用する。いくつかの実施形態では、電子デバイス700は、入力較正プロセスの一部として、ユーザ708の左手708fに関する1つ以上の身体的特徴及び/又はユーザ708の左手708fに関する追加の1つ以上の身体的特徴を使用する。
【0162】
いくつかの実施形態では、電子デバイス700は、電子デバイス700がユーザ708の身体(例えば、手首708a、手首708h、並びに/又は頭部708d及び/若しくは顔708cなどの身体の別の部分)上に配置されている間に、ユーザ708の右手708gに関する1つ以上の身体的特徴に関する情報をキャプチャする。いくつかの実施形態では、電子デバイス700は、電子デバイス700がユーザ708の身体(例えば、手首708a、手首708h、並びに/又は頭部708d及び/若しくは顔708cなどの身体の別の部分)から取り外されている間に、ユーザ708の右手708gに関する情報をキャプチャする(例えば、センサ720a~720jを介してユーザ708の右手708gに関する情報をキャプチャする)。
【0163】
ユーザ708の左手708fに関する情報をキャプチャした後(及び、任意選択的に、ユーザ708の1つ以上の身体的特徴に関する情報のキャプチャの完了後、及び/又は電子デバイス700がユーザ708の身体(例えば、手首708a及び/又は頭部708d及び/又は顔708cなどの身体の別の部分)上に配置されたことを検出した後)、電子デバイス700は、ディスプレイ704を介して、図7Gに示すように、表現726を含むユーザインタフェース736を表示する。図7Gにおいて、表現726は、ユーザ708のキャプチャされた1つ以上の身体的特徴に基づく外観を含み、その結果、表現726は、ユーザ708に似ている、及び/又は別様で類似しているように見える。例えば、表現726の衣類表現726iは、ユーザ708によって装着される衣類708iの1つ以上の物理的属性に基づく1つ以上の属性を含む外観を含む。いくつかの実施形態では、電子デバイス700は、ユーザ708のキャプチャされた1つ以上の身体的特徴を使用して、表現726を立体的に生成する(例えば、ユーザ708の2つ以上の二次元画像を組み合わせ、及び/又はオーバーレイして、表現726が三次元である外観を作成する)。
【0164】
図7Gにおいて、電子デバイス700は、ユーザインタフェース736の第1の領域736aに表現726を表示し、ユーザインタフェース736の第2の領域736bに選択可能オプション738a~738dを表示する。以下で説明するように、電子デバイス700は、選択可能オプション738a~738dのうちの1つ以上を選択するユーザ入力を検出したことに応じて、表現726の外観を編集し、かつ/又はユーザ708の1つ以上の身体的特徴を再キャプチャするプロセスを開始するように構成される。
【0165】
図7Gにおいて、表現726は、第1のエリア726aの環境740内に表示される。いくつかの実施形態では、環境740は仮想現実環境である。いくつかの実施形態では、環境740は拡張現実環境740である。いくつかの実施形態では、環境740は静的な背景である。いくつかの実施形態では、環境740は、フレーム及び/又は鏡などの1つ以上のオブジェクト(例えば、仮想オブジェクト)を含む。
【0166】
いくつかの実施形態では、表現726を表示している間、電子デバイス700は、物理的環境706内のユーザ708の移動を示す情報を受信する。物理的環境740内のユーザ708の移動を示す情報を受信したことに応じて、電子デバイス700は、環境706内の表現726の移動を表示する。いくつかの実施形態では、電子デバイス700は、物理的環境706内のユーザ708の物理的な移動を反映するように、環境740内の表現726の移動を表示する。換言すれば、電子デバイス700は、あたかもユーザ708が鏡で表現726を見ているかのように表現726の移動を表示する(例えば、ユーザ708が物理的環境706内で右手708gを移動させると、電子デバイスは表現726の左手の移動を表示する)。いくつかの実施形態では、電子デバイス700は、環境740内にフレーム及び/又はミラー(例えば、仮想フレーム及び/又は仮想ミラー)を表示して、表現726がユーザ708の身体の鏡像表現として表示されることをユーザ708に示す。
【0167】
いくつかの実施形態では、電子デバイス700は、ユーザ708が他のユーザとのリアルタイム通信セッションに参加している間に、外部電子デバイスを介して、別のユーザに表示されるコンテンツのプレビューとして表現726を表示する。いくつかの実施形態では、電子デバイス700は、電子デバイス700がユーザ708の身体(例えば、手首708a及び/又は頭部708d及び/又は顔708cなどの身体の別の部分)から取り外されている間に、1つ以上の表示生成構成要素722bを介して表現726及び/又は表現726の少なくとも一部分を表示する。いくつかの実施形態では、電子デバイス700は、電子デバイス700がユーザ708の身体(例えば、手首708a及び/又は頭部708d及び/又は顔708cなどの身体の別の部分)上に配置されたことを電子デバイス700が検出したときに表現726を表示し、電子デバイス700がユーザ708の身体(例えば、手首708a及び/又は頭部708d及び/又は顔708cなどの身体の別の部分)から取り外されたことを電子デバイス700が検出したときに表現726を表示しない。
【0168】
上述したように、電子デバイス700は、ユーザインタフェース736の第2の領域736bにおいて選択可能オプション738a~738dを表示し、これは、ユーザ708が表現726の外観を編集すること、及び/又はユーザ708の1つ以上の身体的特徴を再キャプチャするプロセスを開始することを可能にする。図7Gにおいて、第1の選択可能オプション738aは、表現726のアイウェア(例えば、眼鏡、サングラス、二焦点眼鏡、単眼鏡、ゴーグル、及び/又はヘッドセット)を編集するためのオプションに対応する。第1の選択可能オプション738aを選択するユーザ入力を検出したことに応じて、電子デバイス700は、表現726が選択されたタイプのアイウェアを装着している(例えば、含む)又は装着していない(例えば、含まない)ように、表現726の外観が調整及び/又は変更されることを可能にする。いくつかの実施形態では、電子デバイス700は、ユーザ708がアイウェアを装着している間にユーザ708の1つ以上の身体的特徴をキャプチャし、したがって、第1の選択可能オプション738aは、表現726がユーザ708のキャプチャされた1つ以上の身体的特徴に基づく外観を含むアイウェアを装着しているか否かをユーザ708が選択することを可能にする(例えば、表現726は、電子デバイス700がユーザ708の1つ以上の身体的特徴をキャプチャした間にユーザ708が装着していた物理的アイウェアに対応する1つ以上の属性を有する外観を含むアイウェアを装着している)。
【0169】
第2の選択可能オプション738bは、表現726のアクセス性アクセサリ(例えば、アイパッチ、補装具、及び/又は補聴器)を編集するためのオプションに対応する。第2の選択可能オプション738bを選択するユーザ入力を検出したことに応じて、電子デバイス700は、表現726が選択されたアクセス性アクセサリを装着している(例えば、含む)又は装着していない(例えば、含まない)ように、表現726の外観が調整及び/又は変更されることを可能にする。いくつかの実施形態では、電子デバイス700は、ユーザ708がアクセス性アクセサリを装着している間にユーザ708の1つ以上の身体的特徴をキャプチャし、したがって、第2の選択可能オプション738bは、ユーザ708が、表現726がユーザ708のキャプチャされた1つ以上の身体的特徴に基づく外観を含むアクセス性アクセサリを装着しているか否かを選択することを可能にする(例えば、表現726は、電子デバイス700がユーザ708の1つ以上の身体的特徴をキャプチャした間にユーザ708が装着していた物理的アクセス性アクセサリに対応する1つ以上の属性を有する外観を含むアクセス性アクセサリを装着している)。
【0170】
第3の選択可能オプション738cは、表現726のスキントーン(例えば、スキン表現の色、色相、色合い、輝度、及び/又は暗さ)を編集するためのオプションに対応する。第3の選択可能オプション738cを選択するユーザ入力を検出したことに応じて、電子デバイス700は、表現726の1つ以上の部分のスキントーンが調整されるように、表現726の外観が調整及び/又は変更されることを可能にする。いくつかの実施形態では、ユーザ708のキャプチャされた1つ以上の身体的特徴は、ユーザ708の1つ以上の物理的スキントーンに関する情報を含まず、かつ/又は表現726の表示されたスキントーンは、そうでなければ、ユーザ708の1つ以上の物理的スキントーンを正確に反映しない。従って、第3の選択可能オプション738cは、表現726がユーザ708の物理的なスキントーンに正確に似ているスキントーン表現を含むように、ユーザ708が表現726のスキントーン表現を変更及び/又は調整することを可能にする。
【0171】
第4の選択可能オプション738dは、電子デバイス700がユーザ708の再キャプチャされた1つ以上の身体的特徴に基づいて表現726を再生成及び/又は更新することができるように、ユーザ708の1つ以上の身体的特徴を再キャプチャするためのオプションに対応する。いくつかの実施形態では、第4の選択可能オプション738dを選択するユーザ入力を検出したことに応じて、電子デバイス700は、図7Aに示すように、プロンプト702を表示し、かつ/又は別様にユーザ708の1つ以上の身体的特徴を再キャプチャするプロセスを開始する。
【0172】
図7Gにおいて、電子デバイス700は、第3の選択可能オプション738cの選択に対応するユーザ入力750aを検出する。ユーザ入力750aを検出したことに応じて、電子デバイス700は、図7Hに示すように、ディスプレイを介して、表現726並びに選択可能なスキントーンオプション742a及び742bを含むユーザインタフェース742を表示する。
【0173】
図7Hにおいて、電子デバイス700は、表現726の異なる部分のスキントーンを編集するための第1のスキントーンオプション742a及び第2のスキントーンオプション742bを表示し、その結果、表現726は、異なるスキントーン(例えば、表現726の身体部分の異なる表現上のスキン表現の色、色相、輝度、及び/又は暗さ)を有する異なる部分を含むことができる。第1のスキントーンオプション742aは、表現726の手表現のスキントーンを編集することに対応する。第1のスキントーンオプション742aを選択するユーザ入力を検出したことに応じて、電子デバイス700は、表現726の手表現のスキントーンが調整されるように、表現726の外観が調整及び/又は変更されることを可能にする。第2のスキントーンオプション742bは、表現726の顔表現726cのスキントーンを編集することに対応する。第2のスキントーンオプション742bを選択するユーザ入力を検出したことに応じて、電子デバイス700は、表現726の顔表現726cのスキントーンが調整されるように、表現726の外観が調整及び/又は変更されることを可能にする。図7Hは、2つの選択可能なスキントーンオプション742a及び742bを含むユーザインタフェース742を示すが、いくつかの実施形態では、ユーザインタフェース742は、表現726の異なる部分のスキントーンを編集することに対応する3つ以上の選択可能なスキントーンオプションを含む。
【0174】
図7Hにおいて、電子デバイス700は、完了ユーザインタフェースオブジェクト744の選択に対応するユーザ入力750bを検出する。ユーザ入力750bを検出した後に、電子デバイス700は、図7Iに示されるように、メニューユーザインタフェース746を表示する。図7Iにおいて、メニューユーザインタフェース746は、電子デバイス700によって実行及び/又は表示されるように構成された様々な機能、ユーザインタフェース、及び/又はアプリケーションに対応するメニューユーザインタフェースオブジェクト746a~746fを含む。いくつかの実施形態では、メニューユーザインタフェース746は、電子デバイス700のオペレーティングシステムのホームユーザインタフェース及び/又はデフォルトユーザインタフェースである。
【0175】
図7Iにおいて、電子デバイス700は、第1のメニューユーザインタフェースオブジェクト746a(例えば、「人々」)の選択に対応するユーザ入力750cを検出する。ユーザ入力750cを検出したことに応じて、電子デバイス700は、図7Jに示すように、ディスプレイ704を介して、人々ユーザインタフェース748(例えば、表現ユーザインタフェース)を表示する。人々ユーザインタフェース748は、電子デバイス700によって生成されるユーザ708(及び、任意選択的に、電子デバイス700の他のユーザ)の異なる表現に対応する。図7Jにおいて、人々ユーザインタフェース748は、電子デバイス700によって生成された第1の表現(例えば、表現726)に対応する第1の人物ユーザインタフェースオブジェクト748aと、電子デバイス700によって生成された第2の表現(例えば、表現726とは異なる表現)に対応する第2の人物ユーザインタフェースオブジェクト748bとを含む。いくつかの実施形態では、第1の表現及び/又は第2の表現は、それぞれのユーザの1つ以上のキャプチャされた身体特徴に基づいて電子デバイス700によって生成されるユーザの表現に対応する。
【0176】
いくつかの実施形態では、第1の人物ユーザインタフェースオブジェクト748aの選択に対応するユーザ入力を検出したことに応じて、電子デバイス700は、第1の人物ユーザインタフェースオブジェクト748aに対応する第1の表現(例えば、表現726)を含むユーザインタフェース736を表示する。同様に、第2の人物ユーザインタフェースオブジェクト748bの選択に対応するユーザ入力を検出したことに応じて、電子デバイス700は、第2の人物ユーザインタフェースオブジェクト748bに対応する第2の表現(例えば、表現726とは異なる表現)を含むユーザインタフェース736を表示する。
【0177】
図7A図7Jに関する追加の説明は、図7A図7Jに関して説明される方法800及び900を参照して以下に提供される。
【0178】
図8は、いくつかの実施形態による、ユーザの表現を生成するための例示的な方法800のフロー図である。いくつかの実施形態では、方法800は、1つ以上の表示生成構成要素(例えば、120、704、722、722b、及び/又は1000a)(例えば、視覚出力デバイス、3Dディスプレイ、及び/又は画像が投影され得る透明若しくは半透明である少なくとも一部分を有するディスプレイ(例えば、シースルーディスプレイ)、プロジェクタ、ヘッドアップディスプレイ、及び/又はディスプレイコントローラ)を含む(かつ、任意選択的に、1つ以上のカメラ(例えば、赤外線カメラ、深度カメラ、及び/又は可視光カメラ)と通信する)コンピュータシステム(例えば、101、700、及び/又は1000)(例えば、スマートフォン、タブレット、ヘッドマウント表示生成構成要素)において行われる。いくつかの実施形態では、方法800は、非一時的(又は一時的)コンピュータ可読記憶媒体に記憶され、コンピュータシステム101の1つ以上のプロセッサ202(例えば、図1の制御110)などのコンピュータシステムの1つ以上のプロセッサによって実行される命令によって管理される。方法800のいくつかの動作は、任意選択的に、組み合わされ、かつ/又はいくつかの動作の順序は、任意選択的に、変更される。
【0179】
コンピュータシステム(例えば、101、700、及び/又は1000)は、ユーザ(例えば、708)の身体(例えば、708a)上に配置されている間(例えば、コンピュータシステムは、ユーザの身体の個別の部分に対して個別の配向及び/又はポジションで装着される)(例えば、コンピュータシステムは、コンピュータシステムのユーザの身体部分上に装着されるように構成されるウェアラブルコンピュータシステム(例えば、ヘッドマウント表示生成構成要素、眼鏡、ヘッドセット、及び/又は時計)である)(いくつかの実施形態では、コンピュータシステムは、コンピュータシステムのユーザの手首(例えば、708a)上に装着されるように構成される時計である)(いくつかの実施形態では、コンピュータシステムは、コンピュータシステムが装着可能なポジションにあるかどうかを示すデータをキャプチャする1つ以上のセンサと通信している)、コンピュータシステム(例えば、101、700、及び/又は1000)は、1つ以上の表示生成構成要素(例えば、120、704、722、722b、及び/又は1000a)を介して、ユーザ(例えば、708)の身体(例えば、708a)からコンピュータシステム(例えば、101、700、及び/又は1000)を取り外し(例えば、ユーザの身体部分に装着されなくなるようにウェアラブルコンピュータシステムを取り外し)、コンピュータシステム(例えば、101、700、及び/又は1000)(例えば、コンピュータシステムの1つ以上のセンサ)を使用して、ユーザ(例えば、708)に関する情報(例えば、コンピュータシステムのユーザの1つ以上の身体的特徴に関する情報)をキャプチャするように命令するプロンプト(例えば、702)(例えば、命令を含むテキスト、画像、及び/又はユーザインタフェースオブジェクト)を表示する(802)。
【0180】
いくつかの実施形態では、コンピュータシステム(例えば、101、700、及び/又は1000)は、ユーザの表現(例えば、726)を生成するための登録プロセス(例えば、ユーザの1つ以上の身体部分及び/又は身体部分の特徴のサイズ、形状、ポジション、ポーズ、色、深度、及び/又は他の特性を示すデータ(例えば、画像データ、センサデータ、及び/又は深度データ)をキャプチャすることを含むプロセス)中に、コンピュータシステムを装着可能ポジションから取り外すためのプロンプト(例えば、702)を表示する。
【0181】
ユーザ(例えば、708)の身体(例えば、708a)からコンピュータシステム(例えば、101、700、及び/又は1000)を取り外すように指示するプロンプト(例えば、702)を表示した後(例えば、表示している間)、コンピュータシステム(例えば、101、700、及び/又は1000)は、コンピュータシステム(例えば、101、700、及び/又は1000)がユーザ(例えば、708)の身体(例えば、708a)から取り外されたことを検出する(804)(例えば、コンピュータシステムと通信する1つ以上のセンサを介してキャプチャされたデータを受信し、データは、コンピュータシステムがユーザの身体部分(例えば、特定の身体部分)上に装着されていないことを示す)。
【0182】
コンピュータシステム(例えば、101、700、及び/又は1000)がユーザ(例えば、708)の身体(例えば、708a)から取り外されたことを検出した後(例えば、それに応じて)、コンピュータシステムは、ユーザ(例えば、708)に関連する(例えば、それに関する)情報(例えば、ユーザの1つ以上の身体部分(例えば、頭部及び/又は顔)のサイズ、形状、ポジション、ポーズ、色、深度、及び/又は他の特性を示す画像データ、センサデータ、及び/又は深度データ)(例えば、コンピュータシステムのユーザの1つ以上の身体的特徴に関する情報)を(例えば、カメラなどの1つ以上のセンサを介して)キャプチャする(806)。コンピュータシステム(例えば、101、700、及び/又は1000)は、情報を使用して、ユーザ(例えば、708)の表現(例えば、726)(例えば、(2D又は3D)仮想表現、(2D又は3D)アバター)を生成するように構成される(例えば、コンピュータシステムは、ユーザの表現が、身体、毛、衣類、及び/又はユーザの他の特徴のサイズ、形状、ポジション、ポーズ、色、深さ、及び/又は他の特性に基づく(例えば、同様の)視覚的インジケーションを含むように、ユーザに関連する情報に基づくユーザの表現(例えば、アバター)を生成する)。
【0183】
コンピュータシステムがユーザの身体から取り外されたことを検出した後にユーザに関連する情報をキャプチャすることにより、コンピュータシステムは、コンピュータシステムがユーザの身体上に配置されている間にコンピュータシステムにアクセス可能ではないユーザの身体の部分に関する情報をキャプチャすることが可能になる。したがって、コンピュータシステムは、追加の及び/又は外部のデバイス及び/又はセンサなしに、ユーザに関する情報をキャプチャすることができる。加えて、コンピュータシステムは、ユーザのより正確な表現を生成するために使用されるユーザに関連するより多くの情報をキャプチャすることができる。
【0184】
いくつかの実施形態では、ユーザ(例えば、708)の表現(例えば、726)は、拡張現実環境(例えば、740及び/又は1008)(例えば、1つ以上の仮想オブジェクトが物理的環境又はその表現の上に重ね合わされるシミュレートされた環境、及び/又は物理的環境の表現がコンピュータ生成感覚情報によって変換されるシミュレートされた環境)及び/又は仮想現実環境(例えば、740及び/又は1008)(例えば、ある人物が感知及び/又は相互作用することができる複数の仮想オブジェクトを含む1つ以上の感覚に対するコンピュータ生成感覚入力に完全に基づくように設計されたシミュレートされた環境)に表示されるように構成される。
【0185】
いくつかの実施形態では、ユーザ(例えば、708)の表現(例えば、726)は、ユーザ(例えば、708)と、コンピュータシステム(例えば、101、700、及び/又は1000)とは異なる第2のコンピュータシステムに関連付けられた第2のユーザ(例えば、第2の表現1012に関連付けられたユーザ)との間のリアルタイム通信セッション中に、拡張現実環境(例えば、740及び/又は1008)及び/又は仮想現実環境(例えば、740及び/又は1008)に表示されるように構成される。
【0186】
拡張現実環境及び/又は仮想現実環境内にユーザの表現を表示することは、表現を見ているユーザがデバイスの状態に関するコンテキストを得ることを可能にし、それによって、デバイスの状態に関する改善されたフィードバックを提供する。
【0187】
いくつかの実施形態では、コンピュータシステム(例えば、101、700、及び/又は1000)は、ユーザ(例えば、708)の表現(例えば、726)を立体的に生成するように構成される(例えば、表現は、一緒に見たとき及び/又は互いに組み合わせたときに、表現が表示される環境内で表現が三次元で存在するように見える一連の二次元画像である)。ユーザの表現を立体的に生成することは、コンピュータシステムがユーザのより正確な及び/又は現実的な表現を生成することを可能にする。
【0188】
いくつかの実施形態では、コンピュータシステム(例えば、101、700、及び/又は1000)がユーザ(例えば、708)の身体(例えば、708a)から取り外されたことを検出する前に(例えば、コンピュータシステムがユーザの身体上に配置されている間)、コンピュータシステム(例えば、101、700、及び/又は1000)は、コンピュータシステム(例えば、101、700、及び/又は1000)を使用してユーザ(例えば、708)に関する情報(例えば、コンピュータシステムのユーザが、ユーザに関する情報をキャプチャするために、コンピュータシステム及び/又はユーザの身体をどのように使用、操作、及び/又は別様に位置決めするべきかを説明する命令)をキャプチャする命令(例えば、716)(例えば、テキスト命令、画像命令、ビデオ命令、アニメーション命令、オーディオ命令、及び/又は他の命令)を提供する(例えば、ユーザの身体からコンピュータシステムを取り外し、コンピュータシステムを使用してユーザに関する情報をキャプチャするように指示するプロンプトとは別個に、又はそれと同時に出力及び/又は表示する)。いくつかの実施形態では、ユーザ(例えば、708)に関連する情報をキャプチャするためにコンピュータシステム(例えば、101、700、及び/又は1000)を使用する命令(例えば、716)は、ユーザ(例えば、708)に関連する情報をキャプチャするためにユーザがコンピュータシステム(例えば、101、700、及び/又は1000)をどのように使用すると想定されるかの例を提供する一連の画像、テキスト命令、及び/又はビデオを含む。例えば、いくつかの実施形態では、命令(例えば、716)は、コンピュータシステム(例えば、101、700、及び/又は1000)を使用する例、及び/又はユーザ(例えば、708)に関する情報をキャプチャするためにユーザ(例えば、708)が模倣すべき運動を含む。
【0189】
ユーザに関する情報をキャプチャするためにコンピュータシステムを使用する命令を提供することは、ユーザに関する情報をキャプチャするためにコンピュータシステムを使用するユーザの能力を促進し、それによって、ユーザに関する情報をキャプチャするために必要とされる入力の数及び/又は時間量を低減させる。
【0190】
いくつかの実施形態では、命令(例えば、716)を提供することは、コンピュータシステム(例えば、101、700、及び/又は1000)が、1つ以上の表示生成構成要素を介して、コンピュータシステム(例えば、101、700、及び/又は1000)を使用してユーザ(例えば、708)に関連する情報(例えば、コンピュータシステムのユーザが、ユーザに関連する情報をキャプチャするために、コンピュータシステム及び/又はユーザの身体をどのように使用し、操作し、かつ/又は別様で位置決めすべきかを説明する命令)をキャプチャすることを実演する(例えば、その視覚的な例を提供する)アニメーション(例えば、716)(例えば、一連の視覚的インジケーション及び/又はビデオ)を表示することを含む。ユーザに関連する情報をキャプチャするためにコンピュータシステムを使用することを実演するアニメーションを表示することは、ユーザに関連する情報をキャプチャするためにコンピュータシステムを使用するユーザの能力を促進し、それによって、ユーザに関連する情報をキャプチャするために必要な入力の数及び/又は時間量を低減する。
【0191】
いくつかの実施形態では、コンピュータシステム(例えば、101、700、及び/又は1000)がユーザ(例えば、708)の身体(例えば、708a)から取り外されたことを検出する前に(例えば、コンピュータシステムがユーザの身体上に配置されている間に)、かつ基準のセットが満たされる(例えば、コンピュータシステムが低電力及び/又は低バッテリ寿命(例えば、閾値量を下回る電力及び/又はバッテリ寿命の量)を有すること、オブジェクトがユーザの身体の1つ以上の部分(例えば、眼鏡、帽子、及び/又は顔カバー)を遮断していること、ユーザが位置する環境が過酷な照明(例えば、ユーザに関する情報をキャプチャすることに影響を及ぼし得る明るい照明)を含むこと、ユーザが位置する環境が弱照明(例えば、ユーザに関する情報を正確に及び/又は完全にキャプチャするために十分ではない照明)を含むこと、及び/又はユーザが位置する環境の別の条件がユーザに関する情報をキャプチャすることに影響を及ぼし得ることを示す、コンピュータシステムと通信する1つ以上のセンサからの情報及び/又はデータを受信すること)という判定に従って、コンピュータシステム(例えば、101、700、及び/又は1000)は、1つ以上の表示生成構成要素(例えば、120、704、722、722b、及び/又は1000a)を介して、ユーザ(例えば、708)に関連する情報のキャプチャに影響を及ぼす条件と関連付けられたインジケーション(例えば、718)(例えば、視覚通知及び/又はオーディオ通知等のアラート)を表示する(例えば、コンピュータシステムが低電力を有する、オブジェクトがユーザの身体の1つ以上の部分を遮っている、ユーザが位置する環境が過酷な照明を含む、ユーザが位置する環境が弱照明を含む、及び/又はユーザが位置する環境がユーザに関連する情報をキャプチャすることに影響を及ぼし得る別の条件を含む)。コンピュータシステム(例えば、101、700、及び/又は1000)がユーザ(例えば、708)の身体から取り外されたことを検出する前に(例えば、コンピュータシステムがユーザの身体上に配置されている間に)、基準のセットが満たされていないという判定に従って、コンピュータシステム(例えば、101、700、及び/又は1000)は、ユーザ(例えば、708)に関する情報のキャプチャに影響を及ぼす条件に関連付けられたインジケーション(例えば、718)を表示することを取り止める(及び、任意選択的に、ユーザの身体からコンピュータシステムを取り外し、コンピュータシステムを使用してユーザに関する情報をキャプチャするように指示するプロンプト(例えば、702)の表示を維持する)。
【0192】
いくつかの実施形態では、基準のセットは、ユーザに関連する情報のキャプチャに影響を及ぼす第1の条件に対応する基準の第1のセットであり、インジケーションは、ユーザに関連する情報のキャプチャに影響を及ぼす第1の条件に関連付けられた第1のインジケーションである。基準の第2のセットが満たされ、基準の第2のセットが、基準の第1のセットとは異なる、ユーザに関連する情報のキャプチャに影響を及ぼす第2の条件に対応することに従って、コンピュータシステム(例えば、101、700、及び/又は1000)は、(例えば、第1のインジケーションと同時に、第1のインジケーションの前及び/若しくは後に、並びに/又は第1のインジケーションの代わりに)ユーザに関する情報のキャプチャに影響を及ぼす第2の条件と関連付けられた第2のインジケーションを表示する(いくつかの実施形態では、コンピュータシステムは、1つ以上の他のインジケーションよりも高い優先度を含む個別のインジケーションを表示し、個別のインジケーションの優先度は、ユーザに関連する情報のキャプチャに影響を及ぼす個別の条件に基づく(例えば、第2の条件が、ユーザに関連する情報のキャプチャに影響を及ぼす可能性がより高いか、又はより高い程度まで影響を及ぼすであろう条件と関連付けられるため、第2の条件が第1の条件よりも高い優先度を有するとき、コンピュータシステムは、第1のインジケーションの代わりに第2のインジケーションを表示する))。基準のセットが満たされていないという判定に従って、コンピュータシステム(例えば、101、700、及び/又は1000)は、ユーザに関する情報のキャプチャに影響を及ぼす第2の条件に関連付けられた第2のインジケーションを表示することを取り止める。
【0193】
ユーザに関連する情報のキャプチャに影響を及ぼす条件に関連付けられたインジケーションを表示することは、ユーザが、情報のキャプチャに影響を及ぼす条件に先制して対処することを可能にし、それによって、ユーザに関連する情報をキャプチャするために必要とされる時間量を低減する。
【0194】
いくつかの実施形態では、ユーザ(例えば、708)に関する情報のキャプチャに影響を及ぼす条件に関連付けられたインジケーション(例えば、718)は、条件(例えば、コンピュータシステムに充電することを提案する情報、ユーザがユーザの身体の1つ以上の部分を遮るオブジェクトを取り外すことを提案する情報、及び/又はユーザが照明条件を調整し、かつ/又は改善された照明条件を含む異なるロケーション及び/又は環境に移動することを提案する情報などの、ユーザに関する情報のキャプチャを促進し、かつ/又は他の方法で改善する1つ以上のステップ及び/又は提案)を修正する(例えば、ユーザに関する情報のキャプチャにもはや影響を及ぼさないように条件を修正し、かつ/又は他の方法で調整する)のに役立つアクションを取ることに関する情報(例えば、718b)(例えば、提案及び/又は命令)を含む。条件を修正するのに役立つアクションを取ることに関する情報を含めることは、ユーザが、情報のキャプチャに影響を及ぼす条件に先制して対処することを可能にし、それによって、ユーザに関連する情報をキャプチャするために必要とされる時間量を低減する。
【0195】
いくつかの実施形態では、コンピュータシステム(例えば、101、700、及び/又は1000)がユーザ(例えば、708)の身体(例えば、708a)から取り外されたことを検出したことに応じて、コンピュータシステム(例えば、101、700、及び/又は1000)は、ユーザ(例えば、708)に関する情報をキャプチャするプロセスを開始する(例えば、ユーザに関する情報をキャプチャするプロセスは、コンピュータシステムがユーザの身体から取り外されたことを検出したことに応じてトリガされ、開始され、及び/又は始動される)。コンピュータシステムがユーザの身体から取り外されたことを検出したことに応じて、ユーザに関連する情報をキャプチャするプロセスを開始することは、ユーザに関連する情報をキャプチャするために必要とされる入力の数を低減する。
【0196】
いくつかの実施形態では、コンピュータシステム(例えば、101、700、及び/又は1000)がユーザ(例えば、708)の身体(例えば、708a)から取り外されたことを検出した後(例えば、ユーザに関する情報の少なくとも一部分をキャプチャする前、それと同時、及び/又はその後)、コンピュータシステム(例えば、101、700、及び/又は1000)は、ユーザ(例えば、708)に関する情報をキャプチャする命令(例えば、ユーザに関する情報をキャプチャするためにコンピュータシステムを使用する命令、提案、及び/又は例を提供するテキスト、画像、ビデオ、オーディオ、及び/又は触覚出力)を含む第2のプロンプト(例えば、722a)を提供する。いくつかの実施形態では、第2のプロンプト(例えば、722a)は、ユーザ(例えば、708)に関する情報をキャプチャするための異なる命令を含む複数のプロンプトを含む。いくつかの実施形態では、第2のプロンプト(例えば、722a)は、ユーザ(例えば、708)に関する情報をキャプチャする命令を含む第2のプロンプトのシーケンスを含む。
【0197】
ユーザに関する情報をキャプチャする命令を含む第2のプロンプトを提供することは、ユーザに関する情報をキャプチャするためにコンピュータシステムを使用するユーザの能力を促進し、それによって、ユーザに関する情報をキャプチャするために必要とされる入力の数及び/又は時間量を低減させる。
【0198】
いくつかの実施形態では、第2のプロンプト(例えば、722a)を提供することは、コンピュータシステム(例えば、101、700、及び/又は1000)が、1つ以上の表示生成構成要素(例えば、120、704、722、722b、及び/又は1000a)を介して、1つ以上の登録命令とともに視覚的プロンプト(例えば、ユーザに関連する情報をキャプチャするユーザの能力を促進する情報、命令、提案、及び/又は例を提供する、テキスト、1つ以上の画像、及び/又はビデオ)を表示することを含む。いくつかの実施形態では、視覚的プロンプト(例えば、722a)は、ユーザに関する情報をキャプチャする命令の視覚的インジケーションを含む複数の視覚的プロンプトを含む。いくつかの実施形態では、視覚的プロンプト(例えば、722a)は、ユーザに関連する情報をキャプチャする命令の視覚的インジケーションを含む視覚的プロンプトのシーケンスを含む。視覚的プロンプトを表示することは、ユーザに関連する情報をキャプチャするためにコンピュータシステムを使用するユーザの能力を促進し、それによって、ユーザに関連する情報をキャプチャするために必要とされる入力の数及び/又は時間量を低減させる。
【0199】
いくつかの実施形態では、ユーザ(例えば、708)の身体からコンピュータシステム(例えば、101、700、及び/又は1000)を取り外し、コンピュータシステム(例えば、101、700、及び/又は1000)を使用してユーザ(例えば、708)に関する情報をキャプチャするように指示するプロンプト(例えば、702)は、1つ以上の表示生成構成要素(例えば、120、704、722、722b、及び/又は1000a)のうちの第1の表示生成構成要素(例えば、704)を介して表示され(例えば、コンピュータシステムと通信する、及び/又はコンピュータシステムのハウジング上及び/又はハウジング内の第1のロケーションに含まれる、第1のディスプレイデバイス)(いくつかの実施形態では、第1の表示生成構成要素は、コンピュータシステムがユーザの身体上に配置されたとき、コンピュータシステムの内側にある)(いくつかの実施形態では、コンピュータシステムは、ヘッドマウントデバイスであって、第1の表示生成構成要素は、ヘッドマウントデバイスがユーザの頭部上及び/又はユーザの目を覆って配置されると、ユーザによって視認されるように構成されている、表示生成構成要素である)、視覚的プロンプト(例えば、722a)は、1つ以上の表示生成構成要素(例えば、120、704、722、722b、及び/又は1000a)のうちの第1の表示生成構成要素(例えば、704)とは異なる第2の表示生成構成要素(例えば、722及び/又は722b)を介して表示される(例えば、コンピュータシステムと通信する、及び/又はコンピュータシステムのハウジング上及び/又はハウジング内の第1のロケーションと異なる第2のロケーションに含まれる、第2のディスプレイデバイス)(いくつかの実施形態では、第2の表示生成構成要素は、コンピュータシステムがユーザの身体上に配置されたとき、コンピュータシステムの外側にある)(いくつかの実施形態では、コンピュータシステムは、ヘッドマウントデバイスであって、第2の表示生成構成要素は、ヘッドマウントデバイスがユーザの頭部上及び/又はユーザの目を覆って配置されていないときにユーザによって視認されるように構成される表示生成構成要素である、及び/又は第2の表示生成構成要素は、ヘッドマウントデバイスがユーザの頭部上及び/又はユーザの目を覆って配置されているときにユーザによって視認されるように構成されない)。
【0200】
第1の表示生成構成要素を介してユーザの身体からコンピュータシステムを取り外すように指示するプロンプトを表示し、第1の表示生成構成要素とは異なる第2の表示生成構成要素を介して視覚的プロンプトを表示することは、ユーザの視点内にある可能性が高い個別の表示生成構成要素上でユーザに情報を表示し、それによって、ユーザに関連する情報をキャプチャするために必要とされる時間量を低減する。
【0201】
いくつかの実施形態では、第2のプロンプト(例えば、722a)を提供することは、コンピュータシステム(例えば、101、700、及び/又は1000)と通信するオーディオデバイス(例えば、スピーカ及び/又はヘッドホン)を介して、1つ以上の登録命令とともにオーディオプロンプト(例えば、オーディオアラート、音声命令を含むオーディオ、及び/又はユーザが位置する環境内の特定のロケーションから生成されるオーディオをシミュレートするように生成されるオーディオ)を出力することを含む。1つ以上の登録命令とともにオーディオプロンプトを出力することは、ユーザに関連する情報をキャプチャするためにコンピュータシステムを使用するユーザの能力を促進し、それによって、ユーザに関連する情報をキャプチャするために必要とされる入力の数及び/又は時間量を低減する。
【0202】
いくつかの実施形態では、第2のプロンプト(例えば、722a)を提供することは、ユーザ(例えば、708)の身体の一部分(例えば、顔、手、及び/又は胴体)をコンピュータシステム(例えば、101、700、及び/又は1000)に対するターゲットロケーション(例えば、ユーザの身体の一部分に関する情報をキャプチャすることを促進するコンピュータシステムと通信する1つ以上のセンサに対するロケーション)内で配向させるようにユーザ(例えば、708)に指示するインジケーション(例えば、722a)(例えば、テキスト、画像、ビデオ、オーディオ、及び/又はユーザインタフェースオブジェクト)を提供することを含む。いくつかの実施形態では、インジケーションは、1つ以上の表示生成構成要素(例えば、120、704、722、722b、及び/又は1000a)を介して表示されるフレーム及び/又は他のユーザインタフェースオブジェクトを含み、これは、コンピュータシステム(例えば、101、700、及び/又は1000)に対してユーザ(例えば、708)の身体の一部分を移動及び/又は配向するターゲットロケーションの視覚的インジケーションをユーザ(例えば、708)に提供する。
【0203】
ユーザの身体の一部分をコンピュータシステムに対してターゲットロケーション内に配向させるようにユーザに指示するインジケーションを提供することにより、ユーザがコンピュータシステムを使用してユーザに関連する情報をキャプチャすることが促進され、それによって、ユーザに関連する情報をキャプチャするのに必要な入力の数及び/又は時間が低減される。
【0204】
いくつかの実施形態では、第2のプロンプト(例えば、722a)を提供することは、ユーザ(例えば、708)の情報のキャプチャに影響を及ぼす条件(例えば、コンピュータシステムが低電力を有する、オブジェクトがユーザの身体の1つ以上の部分を遮断している、ユーザが位置する環境が過酷な照明を含む、ユーザが位置する環境が低照明を含む、及び/又はユーザが位置する環境がユーザに関する情報のキャプチャに影響を及ぼし得る別の条件を含む)を調整するようにユーザ(例えば、708)に指示するインジケーション(例えば、718及び/又は722a)(例えば、テキスト、画像、ビデオ、オーディオ、及び/又はユーザインタフェースオブジェクト)(例えば、コンピュータシステムを充電することを提案する情報、ユーザがユーザの身体の1つ以上の部分を遮るオブジェクトを取り外すことを提案する情報、及び/又はユーザが照明条件を調整する及び/又は改善された照明条件を含む異なるロケーション及び/又は環境に移動することを提案する情報などの、ユーザに関する情報をキャプチャすることを促進する及び/又は別様で改善する1つ以上のステップ及び/又は提案)を提供することを含む。
【0205】
ユーザの情報のキャプチャに影響を及ぼす条件を調整するようにユーザに指示するインジケーションを提供することは、ユーザに関連する情報をキャプチャするためにコンピュータシステムを使用するユーザの能力を促進し、それによって、ユーザに関連する情報をキャプチャするために必要とされる入力の数及び/又は時間量を低減させる。加えて、ユーザの情報のキャプチャに影響を及ぼす条件を調整するようにユーザに指示するインジケーションを提供することは、コンピュータシステムがユーザに関連するより正確な情報をキャプチャすることを可能にし、これは、コンピュータシステムがユーザのより正確な表現を生成することを可能にする。
【0206】
いくつかの実施形態では、第2のプロンプト(例えば、722a)を提供することは、ユーザ(例えば、708)の頭部(例えば、708d)のポジションを移動させる(例えば、コンピュータシステムが特定の角度からユーザの頭部に関する情報をキャプチャすることができるように、かつ/又はユーザの頭部が特定の配向に位置決めされたときに、コンピュータシステムに対して及び/又はコンピュータシステムと通信する1つ以上のセンサに対してユーザの頭部を移動させる)ようにユーザ(例えば、708)に指示するインジケーション(例えば、722a)(例えば、テキスト、画像、ビデオ、オーディオ、及び/又はユーザインタフェースオブジェクト)を提供することを含む。ユーザの頭部のポジションを移動させるようにユーザに指示するインジケーションを提供することは、コンピュータシステムを使用してユーザに関連する情報をキャプチャするユーザの能力を促進し、それによって、ユーザに関連する情報をキャプチャするのに必要な入力の数及び/又は時間量を低減する。
【0207】
いくつかの実施形態では、第2のプロンプト(例えば、722a)を提供することは、ユーザの顔の特徴(例えば、708c)(例えば、目、頬、額、鼻、口、及び/又は唇)のうちの1つ以上のセットを1つ以上の顔の表情(例えば、ユーザの目、頬、額、鼻、口、及び/又は唇で特定の顔の表情をするようにユーザに指示するテキスト、画像、ビデオ、オーディオ、及び/又はユーザインタフェースオブジェクト)の既定のセットに位置決めするようにユーザ(例えば、708)に指示するインジケーション(例えば、722a)(例えば、テキスト、画像、ビデオ、オーディオ、及び/又はユーザインタフェースオブジェクト)を提供することを含む。ユーザの顔の特徴のうちの1つ以上のセットを1つ以上の顔の表情の既定のセット中に位置決めするようにユーザに指示するインジケーションを提供することは、ユーザに関連する情報をキャプチャするためにコンピュータシステムを使用するユーザの能力を促進し、それによって、ユーザに関連する情報をキャプチャするために必要とされる入力の数及び/又は時間量を低減する。
【0208】
いくつかの実施形態では、第2のプロンプト(例えば、722a)を提供することは、コンピュータシステム(例えば、101、700、及び/又は1000)のポジションを調整して(例えば、コンピュータシステムをユーザの身体に対して移動させて)、コンピュータシステム(例えば、101、700、及び/又は1000)をユーザ(例えば、708)の身体の既定の部分(例えば、708e)(例えば、ユーザの腰及び/又は胴体)(例えば、シャツ、ドレス、パンツ、ショーツ、スカート、ジャケット、及び/又は装身具などの衣類を含むユーザの身体の既定の部分)に配向させる(例えば、コンピュータシステムと通信する1つ以上のセンサを配向させる)ようにユーザ(例えば、708)に指示するインジケーション(例えば、722a)(例えば、テキスト、画像、ビデオ、オーディオ、及び/又はユーザインタフェースオブジェクト)を提供することを含む。コンピュータシステムをユーザの身体の既定の部分に配向させるようにコンピュータのポジションを調整するようにユーザに指示するインジケーションを提供することにより、ユーザがコンピュータシステムを使用してユーザに関連する情報をキャプチャすることが促進され、それによって、ユーザに関連する情報をキャプチャするのに必要な入力の数及び/又は時間が低減される。
【0209】
いくつかの実施形態では、ユーザ(例えば、708)の身体(例えば、708a)からコンピュータシステム(例えば、101、700、及び/又は1000)を取り外し、コンピュータシステム(例えば、101、700、及び/又は1000)を使用してユーザ(例えば、708)に関する情報をキャプチャするように指示するプロンプト(例えば、702)は、1つ以上の表示生成構成要素(例えば、120、704、722、722b、及び/又は1000a)の第1の表示生成構成要素(例えば、704)(例えば、コンピュータシステムと通信し、かつ/又はコンピュータシステムのハウジング上及び/又はハウジング内の第1のロケーションに含まれる第1のディスプレイデバイス)を介して表示される。ユーザ(例えば、708)に関する情報をキャプチャした後に、コンピュータシステム(例えば、101、700、及び/又は1000)は、1つ以上の表示生成構成要素(例えば、120、704、722、722b、及び/又は1000a)の第1の表示生成構成要素(例えば、704)とは異なる第2の表示生成構成要素(例えば、722及び/又は722b)(例えば、コンピュータシステムと通信し、かつ/又はコンピュータシステムのハウジング上及び/又はハウジング内の第1のロケーションとは異なる第2のロケーションに含まれる、第2のディスプレイデバイス)を介して、ユーザ(例えば、708)の表現(例えば、726)(例えば、ユーザに関する情報に基づく外観を含むユーザ(例えば、アバター)を表す画像)のプレビューを表示する(いくつかの実施形態では、ユーザの表現のプレビューは、ユーザによって提供される1つ以上のユーザ入力に基づいて修正及び/又は再生成されることができる、ユーザの初期及び/又は予備表現である)。
【0210】
第2の表示生成構成要素を介してユーザの表現のプレビューを表示することは、ユーザが、ユーザの視点内にある可能性が高い表示生成構成要素上でユーザの生成された表現を見ることを可能にし、ユーザが、ユーザの生成された表現の正確さを決定することを可能にし、それによって、改善された視覚的フィードバックを提供する。
【0211】
いくつかの実施形態では、ユーザ(例えば、708)に関する情報をキャプチャした後に、コンピュータシステム(例えば、101、700、及び/又は1000)は、コンピュータシステム(例えば、101、700、及び/又は1000)がユーザ(例えば、708)の身体(例えば、708a)上に配置された(例えば、コンピュータシステムがユーザの身体の個別の部分に対して個別の配向及び/又はポジションで装着される)ことを(例えば、コンピュータシステムと通信する1つ以上のセンサを介して)検出する(例えば、コンピュータシステムは、コンピュータシステムのユーザの身体部分上に装着されるように構成されるウェアラブルコンピュータシステム(例えば、ヘッドマウント表示生成構成要素、眼鏡、ヘッドセット、及び/又は時計)である)。コンピュータシステム(例えば、101、700、及び/又は1000)がユーザ(例えば、708)の身体(例えば、708a)上に配置されたことを検出した後に、コンピュータシステム(例えば、101、700、及び/又は1000)は、1つ以上の表示生成構成要素(例えば、120、704、722、及び/又は722b)を介して、ユーザ(例えば、708)の表現(例えば、726)のプレビュー(例えば、ユーザに関する情報に基づく外観を含むユーザ(例えば、アバター)を表す画像)を表示する(いくつかの実施形態では、ユーザの表現のプレビューは、ユーザによって提供される1つ以上のユーザ入力に基づいて修正及び/又は再生成されることができる、ユーザの初期及び/又は予備表現である)。いくつかの実施形態では、ユーザ(例えば、708)の表現(例えば、726)のプレビューは、コンピュータシステム(例えば、101、700、及び/又は1000)がユーザ(例えば、708)の身体(例えば、708a)上に配置されたことを検出する前に(ユーザに関する情報をキャプチャした後に)、(例えば、第1の表示生成構成要素を介して及び/又は第2の表示生成構成要素を介して)表示されない。
【0212】
ユーザの表現のプレビューを表示することは、ユーザが、ユーザの生成された表現の精度を決定することを可能にし、それによって、改善された視覚的フィードバックを提供する。
【0213】
いくつかの実施形態では、ユーザ(例えば、708)に関する情報をキャプチャすることは、コンピュータシステム(例えば、101、700、及び/又は1000)が、ユーザ(例えば、708)の身体(例えば、ユーザの顔及び/又は頭部)の第1の部分(例えば、708c、708d、及び/又は708e)に関する第1の情報(例えば、ユーザの顔の1つ以上の顔特徴)をキャプチャすることを含む。ユーザ(例えば、708)の身体の第1の部分(例えば、708c、708d、及び/又は708e)に関する第1の情報をキャプチャした後に、コンピュータシステム(例えば、101、700、及び/又は1000)は、(例えば、コンピュータシステムと通信する1つ以上のセンサを介して)コンピュータシステム(例えば、101、700、及び/又は1000)がユーザ(例えば、708)の身体(例えば、708a)上に配置された(例えば、コンピュータシステムがユーザの身体の個別の部分に対して個別の配向及び/又はポジションで装着される)ことを検出する(例えば、コンピュータシステムは、コンピュータシステムのユーザの身体部分上に装着されるように構成されている、ウェアラブルコンピュータシステム(例えば、ヘッドマウント表示生成構成要素、眼鏡、ヘッドセット、及び/又は時計)である)。コンピュータシステム(例えば、101、700、及び/又は1000)がユーザ(例えば、708)の身体(例えば、708a)上に配置されたことを検出した後(例えば、それに応じて)、コンピュータシステム(例えば、101、700、及び/又は1000)は、ユーザ(例えば、708)の身体の第1の部分(例えば、708c、708d、及び/又は708e)とは異なる、ユーザ(例えば、708)の身体の第2の部分(例えば、708b、708f、及び/又は708g)(例えば、ユーザの手及び/又は腕)に関する第2の情報(例えば、ユーザの手の1つ以上の特徴)をキャプチャするプロセスを開始する。いくつかの実施形態では、ユーザ(例えば、708)の身体の第2の部分(例えば、708b、708f、及び/又は708g)に関する第2の情報は、システム(例えば、101、700、及び/又は1000)がユーザ(例えば、708)の身体(例えば、708a)上に配置されている間にキャプチャされる。
【0214】
コンピュータシステムがユーザの身体上に配置されたことを検出した後に、ユーザの身体の第2の部分に関連する第2の情報をキャプチャするプロセスを開始することは、ユーザの身体の第2の部分に関連する第2の情報のキャプチャを実行するために必要とされる入力の数を低減する。
【0215】
いくつかの実施形態では、ユーザ(例えば、708)の身体の第2の部分(例えば、708b、708f、及び/又は708g)に関する第2の情報をキャプチャするプロセスを開始することは、コンピュータシステム(例えば、101、700、及び/又は1000)が、1つ以上の表示生成構成要素(例えば、120、704、722、722b、及び/又は1000a)を介して、ユーザ(例えば、708)がユーザ(例えば、708)の身体の第2の部分(例えば、708b、708f、及び/又は708g)を(例えば、コンピュータシステムに対して、及び/又はコンピュータシステムと通信する1つ以上のセンサに対して)位置決めするためのロケーション(例えば、コンピュータシステムに対して、及び/又はコンピュータシステムと通信する1つ以上のセンサに対して)を示す視覚的インジケーション(例えば、730)(例えば、輪郭、人間の手の形状を含むユーザインタフェースオブジェクト)を表示することを含む。
【0216】
ユーザがユーザの身体の第2の部分を位置決めするためのロケーションを示す視覚的インジケーションを表示することは、ユーザがコンピュータシステムを使用してユーザの身体の第2の部分に関連する第2の情報をキャプチャする能力を促進し、それによって、ユーザの身体の第2の部分に関連する第2の情報をキャプチャするために必要とされる時間量を低減させる。
【0217】
いくつかの実施形態では、ユーザ(例えば、708)の身体の第2の部分(例えば、708b、708f、及び/又は708g)に関する第2の情報をキャプチャするプロセスを開始することは、コンピュータシステム(例えば、101、700、及び/又は1000)が、ユーザ(例えば、708)の身体の第2の部分(例えば、708b、708f、及び/又は708g)の配向(例えば、コンピュータシステムに対する、及び/又はコンピュータシステムと通信する1つ以上のセンサに対するユーザの手のポジション及び/又はロケーション)を調整するようにユーザ(例えば、708)に指示するプロンプト(例えば、734)を(例えば、テキスト、画像、ビデオ、及び/又はユーザインタフェースオブジェクトなどの視覚的プロンプトを介して、及び/又はオーディオプロンプトを介して)提供することを含む。いくつかの実施形態では、ユーザ(例えば、708)の身体の第2の部分(例えば、708b、708f、及び/又は708g)の配向を調整するようにユーザ(例えば、708)に促すことは、手(例えば、708f及び/又は708g)の手のひら側及び/又は裏側に関する情報をキャプチャすることができるように、ユーザ(例えば、708)の手(例えば、708f及び/又は708g)を裏返す命令(例えば、734)をユーザに提供することを含む。
【0218】
ユーザの身体の第2の部分の配向を調整するようにユーザに指示するプロンプトを提供することは、ユーザの身体の第2の部分に関連する第2の情報をキャプチャするためにコンピュータシステムを使用するユーザの能力を促進し、それによって、ユーザの身体の第2の部分に関連する第2の情報をキャプチャするために必要とされる時間量を低減させる。
【0219】
いくつかの実施形態では、ユーザ(例えば、708)の身体の第2の部分(例えば、708b、708f、及び/又は708g)に関連する第2の情報をキャプチャした後(例えば、それに応じて)、コンピュータシステム(例えば、101、700、及び/又は1000)は、1つ以上の表示生成構成要素(例えば、120、704、722、722b、及び/又は1000a)を介して、エクステンデッドリアリティ環境(例えば、740及び/又は1008)(例えば、人物の物理的運動又はその表現のサブセットが追跡され、それに応じて、エクステンデッドリアリティ環境内でシミュレートされる1つ以上の仮想オブジェクトの1つ以上の特性が、少なくとも1つの物理法則に適合する方法で調整される、人々が電子システムを介して感知及び/又は相互作用する、全体的又は部分的にシミュレートされた環境)内でユーザ(例えば、708)の表現(例えば、726)を表示する。いくつかの実施形態では、ユーザ(例えば、708)の表現(例えば、726)は、ユーザ(例えば、708)に関するキャプチャされた情報及び/又はユーザ(例えば、708)の身体の第2の部分(例えば、708b、708g、及び/又は708f)に関するキャプチャされた第2の情報に基づく顔表現(例えば、726c)及び手表現を含む。ユーザの身体の第2の部分に関連する第2の情報をキャプチャした後に、エクステンデッドリアリティ環境内にユーザの表現を表示することは、ユーザが、ユーザの生成された表現の正確度を判定し、それによって、改善された視覚的フィードバックを提供することを可能にする。
【0220】
いくつかの実施形態では、方法900、1100、1200、1300、及び/又は1400の態様/動作は、これらの方法の間で交換、置換、及び/又は追加され得る。例えば、方法800のコンピュータシステムを使用して、ユーザの表現を表示し、ユーザの表現の外観を調整し、ユーザの表現の口表現を表示し、ユーザの表現の毛表現を表示し、かつ/又は視覚的強調を有するユーザの表現の一部分を表示することができる。簡潔にするために、それらの詳細はここでは繰り返さない。
【0221】
図9は、いくつかの実施形態による、ユーザの表現を表示するための例示的な方法900のフロー図である。いくつかの実施形態では、方法900は、1つ以上の表示生成構成要素(例えば、120、704、722、722b、及び/又は1000a)(例えば、視覚出力デバイス、3Dディスプレイ、画像が投影され得る透明又は半透明である少なくとも一部分を有するディスプレイ(例えば、シースルーディスプレイ)、プロジェクタ、ヘッドアップディスプレイ、及び/又はディスプレイコントローラ)(及び、任意選択的に、1つ以上のカメラ(例えば、赤外線カメラ、深度カメラ、可視光カメラ)と通信する)を含む、コンピュータシステム(例えば、101、700、及び/又は1000)(例えば、スマートフォン、タブレット、ヘッドマウント表示生成構成要素)において行われる。いくつかの実施形態では、方法900は、非一時的(又は一時的)コンピュータ可読記憶媒体に記憶され、コンピュータシステム101の1つ以上のプロセッサ202(例えば、図1の制御110)などのコンピュータシステムの1つ以上のプロセッサによって実行される命令によって管理される。方法900のいくつかの動作は、任意選択的に、組み合わされ、かつ/又はいくつかの動作の順序は、任意選択的に、変更される。
【0222】
ユーザ(例えば、708)(例えば、第1のユーザの少なくとも一部分のアバター及び/又は仮想表現)の表現(例えば、726)を生成するための登録プロセス(例えば、ユーザの1つ以上の身体部分及び/又は身体部分の特徴のサイズ、形状、ポジション、ポーズ、色、深度及び/又は他の特性を示すデータ(例えば、画像データ、センサデータ、及び/又は深度データ)をキャプチャすることを含むプロセス)中に、コンピュータシステム(例えば、101、700、及び/又は1000)は、コンピュータシステム(例えば、101、700、及び/又は1000)のユーザ(例えば、708)の1つ以上の身体的特徴に関する情報(例えば、ユーザの1つ以上の身体部分及び/又は身体部分の特徴のサイズ、形状、ポジション、ポーズ、色、深度及び/又は他の特性を表すデータ(例えば、画像データ、センサデータ、及び/又は深度データ)を(例えば、1つ以上のカメラを介して)検出する(902)。
【0223】
コンピュータシステム(例えば、101、700、及び/又は1000)のユーザ(例えば、708)の1つ以上の身体的特徴に関する情報をキャプチャした後に、コンピュータシステム(例えば、101、700、及び/又は1000)は、ユーザ(例えば、708)の1つ以上のキャプチャされた身体的特徴に基づいて表現(例えば、726)の1つ以上の身体的特徴を選択することを含む、ユーザ(例えば、708)の1つ以上の身体的特徴に関する情報に基づいてユーザ(例えば、708)の表現(例えば、726)を生成する(904)(例えば、コンピュータシステムは、コンピュータシステムのユーザに関する情報を使用して、第1のユーザの身体、衣類、毛、及び/又は特徴のキャプチャされた及び/又は検出されたサイズ、形状、ポジション、ポーズ、色、深さ、及び/又は他の特徴と同様の視覚的インジケーションを含むユーザの表現(例えば、アバター)を生成する)。
【0224】
ユーザ(例えば、708)の表現(例えば、726)を生成した後、コンピュータシステム(例えば、101、700、及び/又は1000)は、1つ以上の表示生成構成要素(例えば、120、704、722、722b、及び/又は1000a)を介して、エクステンデッドリアリティ環境(例えば、740)(例えば、人物の物理的運動のサブセット又はその表現が追跡され、それに応じて、エクステンデッドリアリティ環境においてシミュレートされた1つ以上の仮想オブジェクトの1つ以上の特性が、少なくとも1つの物理法則に適合するように調整される、人々が電子システムを介して感知及び/又は相互作用する完全に又は部分的にシミュレートされた環境)においてユーザ(例えば、708)の表現(例えば、726)の少なくとも一部分を表示する(906)。いくつかの実施形態では、コンピュータシステム(例えば、101、700、及び/又は1000)は、ユーザ(例えば、708)が表現(例えば、726)を閲覧し、いくつかの実施形態では、表現(例えば、726)を編集及び/又は修正することができるように、登録プロセスが完了した後、エクステンデッドリアリティ環境(例えば、740)内にユーザ(例えば、708)の表現(例えば、726)を表示する。
【0225】
ユーザの表現を生成した後にエクステンデッドリアリティ環境内にユーザの表現の少なくとも一部分を表示することは、ユーザが、ユーザの生成された表現の正確さを決定し、コンピュータシステムがユーザに関連する情報を再キャプチャすることを要求するかどうかを判定することを可能にし、それによって、改善された視覚的フィードバックを提供する。
【0226】
いくつかの実施形態では、エクステンデッドリアリティ環境(例えば、740)は、拡張現実環境(例えば、1つ以上の仮想オブジェクトが物理的環境若しくはその表現上に重畳される、シミュレートされた環境、及び/又は物理的環境の表現がコンピュータ生成知覚情報によって変換される、シミュレートされた環境)を含む。拡張現実環境内にユーザの表現を表示することは、表現を閲覧するユーザがデバイスの状態に関するコンテキストを得ることを可能にし、それによって、デバイスの状態に関する改善されたフィードバックを提供する。
【0227】
いくつかの実施形態では、エクステンデッドリアリティ環境(例えば、740)は、仮想現実環境(例えば、人物が感知及び/又は相互作用することができる複数の仮想オブジェクトを含む1つ以上の感覚のためのコンピュータ生成感覚入力に完全に基づくように設計されたシミュレートされた環境)を含む。仮想現実環境内にユーザの表現を表示することは、表現を見ているユーザがデバイスの状態に関するコンテキストを得ることを可能にし、それによって、デバイスの状態に関する改善されたフィードバックを提供する。
【0228】
いくつかの実施形態では、コンピュータシステム(例えば、101、700、及び/又は1000)のユーザ(例えば、708)の1つ以上の身体的特徴に関する情報をキャプチャすることは、コンピュータシステム(例えば、101、700、及び/又は1000)がユーザ(例えば、708)の身体(例えば、708a)から取り外されている間に、コンピュータシステム(例えば、101、700、及び/又は1000)がコンピュータシステム(例えば、101、700、及び/又は1000)のユーザ(例えば、708)の1つ以上の身体的特徴に関する情報をキャプチャすることを含む(例えば、コンピュータシステムは、コンピュータシステムと通信する1つ以上のセンサを介してキャプチャされたデータを受信し、データは、コンピュータシステムがユーザの身体部分(例えば、特定の身体部分)に装着されていないことを示す)(例えば、コンピュータシステムは、コンピュータシステムのユーザの身体部分に装着されるように構成されるウェアラブルコンピュータシステム(例えば、ヘッドマウント表示生成構成要素、眼鏡、ヘッドセット、及び/又は時計)である)(いくつかの実施形態では、コンピュータシステムは、コンピュータシステムのユーザの腕に装着されるように構成される時計である)。エクステンデッドリアリティ環境(例えば、740)内にユーザ(例えば、708)の表現(例えば、726)の少なくとも一部分を表示することは、コンピュータシステム(例えば、101、700、及び/又は1000)がユーザ(例えば、708)の身体(例えば、708a)上に配置された(例えば、コンピュータシステムがユーザの身体の個別の部分に対して個別の配向及び/又はポジションで装着されている)ことをコンピュータシステム(例えば、101、700、及び/又は1000)が検出した後に(例えば、それに応じて)、コンピュータシステム(例えば、101、700、及び/又は1000)がエクステンデッドリアリティ環境(例えば、740)内にユーザ(例えば、708)の表現(例えば、726)の少なくとも一部分を表示することを含む。
【0229】
コンピュータシステムがユーザの身体から取り外されている間にユーザの1つ以上の身体的特徴に関する情報をキャプチャすることにより、コンピュータシステムは、コンピュータシステムがユーザの身体上に配置されている間にコンピュータシステムにアクセス可能ではないユーザの身体の部分に関する情報をキャプチャすることが可能になる。したがって、コンピュータシステムは、追加の及び/又は外部のデバイス及び/又はセンサなしに、ユーザに関する情報をキャプチャすることができる。加えて、コンピュータシステムは、ユーザのより正確な表現を生成するために使用されるユーザに関連するより多くの情報をキャプチャすることができる。
【0230】
いくつかの実施形態では、エクステンデッドリアリティ環境(例えば、740)内にユーザ(例えば、708)の表現(例えば、726)の少なくとも一部分を表示することは、コンピュータシステム(例えば、101、700、及び/又は1000)が、(例えば、ユーザが位置する物理的環境内の)コンピュータシステム(例えば、101、700、及び/又は1000)の少なくとも一部分に対するユーザ(例えば、708)の移動に基づいて、表現(例えば、726)をアニメーション化する(例えば、ユーザの移動をミラーリング及び/又は模倣する表現の移動を表示する)ことを含む(例えば、コンピュータシステムは、ユーザの移動を含む、ユーザの身体の状態に関する情報を受信し、受信された情報に基づいて、エクステンデッドリアリティ環境内にユーザの表現の少なくとも一部分を表示する)。いくつかの実施形態では、表現(例えば、726)のアニメーションは、ユーザ(例えば、708)の検出された移動と併せて表示される(例えば、ユーザの移動と一致する)。コンピュータシステムの少なくとも一部分に対するユーザの移動に基づいて表現をアニメーション化することは、ユーザが、表現がユーザに関連付けられていることを理解することを可能にし、それによって、デバイスの状態に関する改善されたフィードバックを提供する。
【0231】
いくつかの実施形態では、表現(例えば、726)をアニメーション化することは、コンピュータシステム(例えば、101、700、及び/又は1000)が、(例えば、物理的環境内の)コンピュータシステム(例えば、101、700、及び/又は1000)の少なくとも一部分に対するユーザ(例えば、708)の移動の鏡像である表現(例えば、726)の移動を表示することを含む(例えば、表現の移動は、ユーザが鏡でその反射を見ているかのようにユーザに表示される)。いくつかの実施形態では、表現(例えば、726)のアニメーションは、ユーザ(例えば、708)の検出された移動と併せて表示される(例えば、ユーザの移動と一致する)。コンピュータシステムの少なくとも一部分に対するユーザの移動の鏡像として表現の移動を表示することは、ユーザが、表現がユーザに関連付けられていることを理解することを可能にし、それによって、デバイスの状態に関する改善されたフィードバックを提供する。
【0232】
いくつかの実施形態では、エクステンデッドリアリティ環境(例えば、740)においてユーザ(例えば、708)の表現(例えば、726)の少なくとも一部分を表示することは、コンピュータシステム(例えば、101、700、及び/又は1000)が、ユーザ(例えば、708)が位置する物理的環境(例えば、706)におけるユーザ(例えば、708)の第2の配向(例えば、姿勢、ポジション、ポーズ、及び/又はスタンス)の(例えば、ユーザが鏡の中のユーザの反射として表現を見ているかのように表示される、及び/又はユーザの表現が水平軸の上で反転されることなく垂直軸の上で反転されたかのように表示される)鏡像である第1の配向(例えば、姿勢、ポジション、ポーズ、及び/又はスタンス)を有する表現(例えば、726)を表示することを含む(例えば、コンピュータシステムは、ユーザの身体の状態に関する情報を受信し、受信された情報に基づいて、エクステンデッドリアリティ環境内にユーザの表現の少なくとも一部を表示する)。ユーザが位置する物理的環境内のユーザの第2の配向の鏡像である第1の配向を有する表現を表示することは、その表現がユーザに関連付けられていることをユーザが理解することを可能にし、それによって、デバイスの状態に関する改善されたフィードバックを提供する。
【0233】
いくつかの実施形態では、エクステンデッドリアリティ環境(例えば、740)内にユーザ(例えば、708)の表現(例えば、726)の少なくとも一部分を表示することは、コンピュータシステム(例えば、101、700、及び/又は1000)が、エクステンデッドリアリティ環境(例えば、740)内の表現(例えば、726)の周囲にフレーム(例えば、鏡及び/又は反射面を囲むフレームに似たユーザインタフェースオブジェクト)を表示することを含む。フレームは、エクステンデッドリアリティ環境(例えば、740)内のユーザ(例えば、708)の表現(例えば、726)が、ユーザ(例えば、708)が位置する物理的環境(例えば、706)内のユーザ(例えば、708)の配向(例えば、物理的及び/又は実際の姿勢、ポジション、ポーズ、及び/又はスタンス)の鏡像である(例えば、ユーザがフレームによって囲まれた鏡の反射として表現を見ているかのように表示される)配向(例えば、姿勢、ポジション、ポーズ、及び/又はスタンス)を有することを示す(例えば、ユーザに示す)。エクステンデッドリアリティ環境内に表現の周りにフレームを表示することは、表現がユーザに関連付けられていることをユーザが理解することを可能にし、それによって、デバイスの状態に関する改善されたフィードバックを提供する。
【0234】
いくつかの実施形態では、エクステンデッドリアリティ環境(例えば、740)においてユーザ(例えば、708)の表現(例えば、726)の少なくとも一部分を表示している間に、コンピュータシステム(例えば、101、700、及び/又は1000)は、1つ以上の表示生成構成要素(例えば、120、704、722、722b、及び/又は1000a)を介して、表現(例えば、726)の視覚的特性を編集する(例えば、表現の視覚的外観を修正、調整、及び/又は変更して、アクセサリ(例えば、ヘッドウェア、ヘッドカバー、アイウェア、及び/又は衣類)を追加及び/又は取り外す、補装具、アイパッチ、及び/又は補聴器を追加及び/又は取り外す、表現の身体の1つ以上の部分のスキントーンを調整する、表現の毛の色及び/又は毛のスタイルを調整する、表現の顔の毛の特徴を調整する、ユーザの1つ以上の身体的特徴に関する情報を再キャプチャする、及び/又はユーザの1つ以上の身体的特徴に関する情報のキャプチャを再開する)ための1つ以上の選択可能オプション(例えば、738a~738d)(例えば、仮想ボタン及び/又はテキストなどの選択可能なユーザインタフェースオブジェクト)を表示する。表現の視覚的特性を編集するための1つ以上の選択可能オプションを表示することは、別個の編集ユーザインタフェースにナビゲートするための追加のユーザ入力を必要とすることなく、表現が編集されることを可能にし、それによって、表現の視覚的特性を編集するために必要とされる入力の数を低減する。
【0235】
いくつかの実施形態では、1つ以上の選択可能オプション(例えば、738a~738d)は、表現(例えば、726)のアイウェアを編集する(例えば、ユーザの表現が眼鏡(及び任意選択的に、眼鏡のタイプ)、ヘッドセット、モノクル、及び/又はサングラスを装着しているか否か、かつ/又は表現に含まれるアイウェアのタイプ、形状(例えば、フレーム形状)、色、及び/又はサイズを選択する)ためのアイウェア選択可能オプション(例えば、738a)(例えば、仮想ボタン及び/又はテキストなどの選択可能ユーザインタフェースオブジェクト)を含む。アイウェア選択可能オプションを含むことは、別個の編集ユーザインタフェースにナビゲートするための追加のユーザ入力を必要とせずに、表現のアイウェアが編集されることを可能にし、それによって、表現のアイウェアを編集するために必要とされる入力の数を低減させる。
【0236】
いくつかの実施形態では、1つ以上の選択可能オプション(例えば、738a~738d)は、表現(例えば、726)のアクセサリ(例えば、ユーザの表現がアイパッチ、補装具、及び/又は補聴器を含むか否か)を編集するためのアクセサリ選択可能オプション(例えば、738b)(例えば、仮想ボタン及び/又はテキストなどの選択可能ユーザインタフェースオブジェクト)を含む。アクセサリ選択可能オプションを含むことは、別個の編集ユーザインタフェースにナビゲートするための追加のユーザ入力を必要とすることなく、表現のアクセサリが編集されることを可能にし、それによって、表現のアクセサリを編集するために必要とされる入力の数を低減する。
【0237】
いくつかの実施形態では、1つ以上の選択可能オプション(例えば、738a~738d)は、表現(例えば、726)のスキントーンを編集する(例えば、ユーザの表現の1つ以上の部分に含まれるスキン表現の色相及び/又は色を調整、修正、及び/又は変更する)ための1つ以上のスキントーン選択可能オプション(例えば、738c、742a、及び/又は742b)(例えば、仮想ボタン及び/又はテキストなどの選択可能なユーザインタフェースオブジェクト)を含む。1つ以上のスキントーン選択可能オプションを含むことは、別個の編集ユーザインタフェースにナビゲートするための追加のユーザ入力を必要とすることなく、表現のスキントーンが編集されることを可能にし、それによって、表現のスキントーンを編集するために必要とされる入力の数を低減する。
【0238】
いくつかの実施形態では、1つ以上のスキントーン選択可能オプション(例えば、738c、742a、及び/又は742b)(例えば、仮想ボタン及び/又はテキストなどの選択可能ユーザインタフェースオブジェクト)は、表現(例えば、726)の顔(例えば、726c)のスキントーンを編集するための第1のスキントーン選択可能オプション(例えば、742a)(例えば、仮想ボタン及び/又はテキストなどの選択可能ユーザインタフェースオブジェクト)と、表現(例えば、726)の手のスキントーンを編集するための第2のスキントーン選択可能オプション(例えば、724b)(例えば、仮想ボタン及び/又はテキストなどの選択可能ユーザインタフェースオブジェクト)とを含む。いくつかの実施形態では、ユーザのスキントーンは、ユーザの身体の異なる部分上で異なり、したがって、複数のスキントーン選択可能オプションを提供することは、ユーザ(例えば、708)が、ユーザ(例えば、708)の実際の外観をより正確に反映するように、ユーザ(例えば、708)の表現(例えば、726)の外観を修正することを可能にする。表現の顔のスキントーンを編集するための第1のスキントーン選択可能オプションと、表現オプションの手のスキントーンを編集するための第2のスキントーン選択可能オプションとを含むことは、別個の編集ユーザインタフェースにナビゲートするための追加のユーザ入力を必要とすることなしに、表現の異なる部分のスキントーンが編集されることを可能にし、それによって、表現のスキントーンを編集するために必要とされる入力の数を低減する。
【0239】
いくつかの実施形態では、1つ以上の選択可能オプション(例えば、738a~738d)は、選択されると、ユーザ(例えば、708)の1つ以上の身体的特徴に関する情報を再キャプチャするプロセスを開始する再キャプチャ選択可能オプション(例えば、738d)(例えば、仮想ボタン及び/又はテキストなどの選択可能なユーザインタフェースオブジェクト)を含む(例えば、再キャプチャ選択可能オプションの選択は、コンピュータシステムにユーザインタフェースを表示させ、かつ/又はユーザの1つ以上の身体的特徴のうちの1つ以上に関する情報を再キャプチャするプロセスを開始させる)。いくつかの実施形態では、ユーザ(例えば、708)の1つ以上の身体的特徴についての情報の最初のキャプチャは、不正確及び/又は不完全であり得、したがって、ユーザ(例えば、708)の1つ以上の身体的特徴についての情報の少なくとも一部分を再キャプチャする能力をユーザ(例えば、708)に提供することは、コンピュータシステム(例えば、101、700、及び/又は1000)が、ユーザ(例えば、708)の実際の外観をより正確に反映するように表現(例えば、726)を生成することを可能にする。再キャプチャ選択可能オプションを含むことは、ユーザの1つ以上の身体的特徴に関する情報が、別個のユーザインタフェースにナビゲートするための追加のユーザ入力を必要とすることなく再キャプチャされることを可能にし、それによって、ユーザの1つ以上の身体的特徴に関する情報を再キャプチャするために必要とされる入力の数を低減する。
【0240】
いくつかの実施形態では、1つ以上の選択可能オプション(例えば、738a~738d)は、選択されると、コンピュータシステム(例えば、101、700、及び/又は1000)のユーザ(例えば、708)の1つ以上の身体的特徴に関する第2の情報をキャプチャすることを含む登録プロセスのステップを開始する、再開選択可能オプション(例えば、738d)(例えば、仮想ボタン及び/又はテキストなどの選択可能ユーザインタフェースオブジェクト)を含む(例えば、再開選択可能オプションの選択は、コンピュータシステムに、コンピュータシステムの1つ以上のセンサを使用して、コンピュータシステムのユーザの1つ以上の身体的特徴に関する情報のキャプチャを再開させ、任意選択的に、コンピュータシステムに、ユーザの表現を生成するために、ユーザの1つ以上の身体的特徴に関する最初にキャプチャされた情報を削除させ、かつ/又は別様に使用させない)。再開選択可能オプションを含むことは、別個のユーザインタフェースにナビゲートするための追加のユーザ入力を必要とすることなく、ユーザの1つ以上の身体的特徴に関する第2の情報がキャプチャされることを可能にし、それによって、ユーザの1つ以上の身体的特徴に関する第2の情報をキャプチャするために必要とされる入力の数を低減する。
【0241】
いくつかの実施形態では、ユーザ(例えば、708)の1つ以上の身体的特徴は、ユーザ(例えば、708)の顔(例えば、708c)の1つ以上の第1の特徴(例えば、顔の特徴)と、ユーザ(例えば、708)の手(例えば、708f及び/又は708g)の1つ以上の第2の特徴(例えば、サイズ、形状、スキントーン、及び/又は輪郭)とを含む。ユーザ(例えば、708)の表現(例えば、726)を生成するための登録プロセス中、及びコンピュータシステム(例えば、101、700、及び/又は1000)がユーザ(例えば、708)の身体(例えば、708a)から取り外されている間(例えば、コンピュータシステムは、コンピュータシステムと通信する1つ以上のセンサを介してキャプチャされたデータを受信し、データは、コンピュータシステムがユーザの身体部分(例えば、特定の身体部分)上に装着されていないことを示す)(例えば、コンピュータシステムは、コンピュータシステムのユーザの身体部分に装着されるように構成されたウェアラブルコンピュータシステム(例えば、ヘッドマウント表示生成構成要素、眼鏡、ヘッドセット、及び/又は時計)である)(いくつかの実施形態では、コンピュータシステムは、コンピュータシステムのユーザの手首に装着されるように構成された時計である)(いくつかの実施形態では、コンピュータシステムは、コンピュータシステムが装着可能なポジションにあるかどうかを示すデータをキャプチャする1つ以上のセンサと通信している)、コンピュータシステム(例えば、101、700、及び/又は1000)は、(例えば、ユーザの手の特徴をキャプチャすることなく)ユーザ(例えば、708)の顔(例えば、708c)の1つ以上の第1の特徴をキャプチャする。ユーザ(例えば、708)の顔(例えば、708c)の1つ以上の第1の特徴をキャプチャした後に、コンピュータシステム(例えば、101、700、及び/又は1000)は、コンピュータシステム(例えば、101、700、及び/又は1000)がユーザ(例えば、708)の身体(例えば、708a)上に配置されている(例えば、コンピュータシステムがユーザの身体の個別の部分に対して個別の配向及び/又はポジションで装着されている)ことを検出する。コンピュータシステム(例えば、101、700、及び/又は1000)がユーザ(例えば、708)の身体(例えば、708a)上に配置されたことを検出した後(例えば、それに応じて、及び/又はその間に)、コンピュータシステム(例えば、101、700、及び/又は1000)は、ユーザ(例えば、708)の手(例えば、708f及び/又は708g)の1つ以上の第2の特徴をキャプチャする(例えば、ユーザの顔の特徴をキャプチャすることなく)(例えば、コンピュータシステムと通信する1つ以上のセンサ(例えば、カメラ)を介してユーザの手の1つ以上の第2の特徴をキャプチャする)。
【0242】
コンピュータシステムがユーザの身体から取り外されている間にユーザの顔の1つ以上の第1の特徴をキャプチャし、コンピュータシステムがユーザの身体上に配置されている間にユーザの手の1つ以上の第2の特徴をキャプチャすることは、ユーザの身体の異なる部分に関する情報をキャプチャするコンピュータシステムの能力を促進し、それによって、ユーザの1つ以上の身体的特徴に関する情報をキャプチャするために必要とされる時間量を低減させる。
【0243】
いくつかの実施形態では、登録プロセスは、コンピュータシステム(例えば、101、700、及び/又は1000)のためのセットアッププロセスの一部である(例えば、コンピュータシステムが最初にオンにされたときに開始されるセットアッププロセス、及び/又はコンピュータシステムのユーザがコンピュータシステムを使用するためのアカウントを作成している、及び/又はそれに最初にサインインしているときに開始されるセットアッププロセス)。コンピュータシステム(例えば、101、700、及び/又は1000)のためのセットアッププロセス中に、コンピュータシステム(例えば、101、700、及び/又は1000)は、ユーザの1つ以上の生体特徴(例えば、ユーザの顔の1つ以上の特徴、ユーザの目の1つ以上の特徴、ユーザの手及び/若しくは指の1つ以上の特徴、並びに/又はユーザの音声の1つ以上の特徴)をキャプチャする。コンピュータシステムのためのセットアッププロセス中にユーザの1つ以上の生体特徴をキャプチャすることは、コンピュータシステムが、追加のユーザ入力を必要とすることなしに追加の情報を取得することを可能にし、それによって、ユーザの1つ以上の生体特徴をキャプチャするために必要とされる入力の数を低減する。
【0244】
いくつかの実施形態では、登録プロセスは、コンピュータシステム(例えば、101、700、及び/又は1000)のためのセットアッププロセスの一部である(例えば、コンピュータシステムが最初にオンにされたときに開始されるセットアッププロセス、及び/又はコンピュータシステムのユーザがコンピュータシステムを使用するためのアカウントを作成している、及び/又はそれに最初にサインインしているときに開始されるセットアッププロセス)。コンピュータシステム(例えば、101、700、及び/又は1000)のセットアッププロセス中に、コンピュータシステム(例えば、101、700、及び/又は1000)は、コンピュータシステム(例えば、101、700、及び/又は1000)が1つ以上の入力技術の検出を較正することを可能にする入力較正プロセス(例えば、ユーザの視線についての情報を検出すること、観察すること、及び/又はキャプチャすること(例えば、ユーザは、既知及び/又は所定のシーケンスの視線入力を提供しようと試みており、ユーザの視線に関する検出、観察、及び/又はキャプチャされた情報は、既知及び/又は所定のシーケンスの視線入力と比較され、比較は、ユーザの視線に関する検出、観察、及び/又はキャプチャされた情報が既知及び/又は所定のシーケンスの視線入力と一致するように、コンピュータシステムが視線入力を解釈する方法を調整するために使用される)、及び/又はユーザの手、ユーザの手の移動、及び/又はユーザの手によって行われるジェスチャに関する情報を検出及び/又はキャプチャすること(例えば、ユーザは、既知及び/又は所定の一連のハンドジェスチャ入力を提供しようとしており、ユーザの手に関する検出、観察、及び/又はキャプチャされた情報は、既知及び/又は所定の一連のハンドジェスチャ入力と比較され、比較は、ユーザの手に関する検出、観察、及び/又はキャプチャされた情報が既知及び/又は所定の一連のハンドジェスチャ入力と一致するように、コンピュータシステムがどのようにハンドジェスチャ入力を解釈するかを調整するために使用され、コンピュータシステムは、入力に基づいて、1つ以上の機能を検出及び実行することができ、及び/又はコンピュータシステムは、入力をより正確に検出することができる)を含むプロセス)を実行する。
【0245】
コンピュータシステムのセットアッププロセス中に入力較正プロセスを実行することにより、コンピュータシステムは、追加のユーザ入力を必要とせずに追加の情報を取得することができ、それにより、入力較正プロセスを実行するのに必要な入力の数が低減される。
【0246】
いくつかの実施形態では、登録プロセスは、コンピュータシステム(例えば、101、700、及び/又は1000)のためのセットアッププロセスの一部である(例えば、コンピュータシステムが最初にオンにされたときに開始されるセットアッププロセス、及び/又はコンピュータシステムのユーザがコンピュータシステムを使用するためのアカウントを作成している、及び/又はそれに最初にサインインしているときに開始されるセットアッププロセス)。コンピュータシステム(例えば、101、700、及び/又は1000)のセットアッププロセス中に、コンピュータシステム(例えば、101、700、及び/又は1000)は、空間オーディオ較正プロセス(例えば、コンピュータシステムと通信するオーディオ出力デバイス(例えば、スピーカ及び/又はヘッドホン)を介してオーディオを出力することを含むプロセスであって、オーディオ出力デバイスの実際のロケーションとは異なる少なくとも1つのロケーションから生成されるオーディオをシミュレートするように出力オーディオが生成されるプロセス)を実行する(いくつかの実施形態では、空間オーディオ較正は、オーディオを出力することと、出力オーディオの知覚ロケーションに対応するフィードバック及び/又は1つ以上のユーザ入力を検出することと、ターゲットロケーションから生成されるオーディオをシミュレートするように出力オーディオを生じさせるように知覚ロケーションを較正することと、を含む)。
【0247】
コンピュータシステムのためのセットアッププロセス中に空間オーディオ較正プロセスを実行することは、コンピュータシステムが追加のユーザ入力を必要とすることなく追加の情報を取得することを可能にし、それによって、空間オーディオ較正を実行するために必要とされる入力の数を低減する。
【0248】
いくつかの実施形態では、登録プロセスは、コンピュータシステム(例えば、101、700、及び/又は1000)のためのセットアッププロセスの一部である(例えば、コンピュータシステムが最初にオンにされたときに開始されるセットアッププロセス、及び/又はコンピュータシステムのユーザがコンピュータシステムを使用するためのアカウントを作成している、及び/又はそれに最初にサインインしているときに開始されるセットアッププロセス)。コンピュータシステム(例えば、101、700、及び/又は1000)のセットアッププロセス中に、コンピュータシステム(例えば、101、700、及び/又は1000)は、リアルタイム通信セッション中に表現(例えば、726)を使用する命令(例えば、コンピュータシステムのユーザが、リアルタイム通信セッション(例えば、コンピュータシステムのユーザと、第1のコンピュータシステムとは異なる第2のコンピュータシステムに関連付けられた第2のユーザとの間のリアルタイム通信セッションであって、リアルタイム通信セッションは、コンピュータシステム及び/又は第2のコンピュータシステムを介して、ユーザの顔及び/又は身体の表情の表現を第2のユーザに表示及び/又は他の方法で通信することを含む)中に1人以上の追加のユーザ(例えば、外部コンピュータシステムに関連付けられた追加のユーザ)と通信するために表現をどのように使用することができるかを説明する命令)のインジケーションを(例えば、1つ以上の表示生成構成要素を介して)提供する。
【0249】
コンピュータシステムのセットアッププロセス中のリアルタイム通信セッション中に表現を使用する命令のインジケーションを提供することは、デバイスに、表現がどのように使用され得るかに関する追加のコンテキストをユーザに提供する動作を自動的に実行させる。
【0250】
いくつかの実施形態では、ユーザ(例えば、708)の1つ以上の身体的特徴は、ユーザ(例えば、708)の衣類(例えば、708i)(例えば、ユーザが位置する物理的環境内にユーザが装着している物理的衣類)を含み、表現(例えば、726)は、ユーザ(例えば、708)の表現(例えば、726)を生成するための登録プロセス中に検出されたユーザ(例えば、708)の衣類(例えば、708i)に基づく衣類表現(726i)(例えば、ユーザの物理的衣類の1つ以上の類似属性に類似する、及び/又はそれを含む衣類の視覚画像及び/又はインジケーション)を含む。ユーザの衣類に基づく衣類表現を含む表現は、表現の外観がユーザの実際の外観により厳密に似ることを可能にし、それによって改善された視覚的フィードバックを提供する。
【0251】
いくつかの実施形態では、エクステンデッドリアリティ環境(例えば、740)内にユーザ(例えば、708)の表現(例えば、726)の少なくとも一部分を表示した後、コンピュータシステム(例えば、101、700、及び/又は1000)は、1つ以上の表示生成構成要素(例えば、120、704、722、722b、及び/又は1000a)を介して、メニューユーザインタフェース(例えば、746及び/又は748)(例えば、リアルタイム通信セッションを開始すること、表現を編集及び/又は修正すること、及び/又はゲームを開始することなどのコンピュータシステムの機能を行うための1つ以上の選択可能オプションを含むユーザインタフェース)を表示する。メニューユーザインタフェース(例えば、746及び/又は748)は、選択されると、コンピュータシステム(例えば、101、700、及び/又は1000)に、ユーザ(例えば、708)の表現(例えば、726)の少なくとも一部分を表示させる(例えば、エクステンデッドリアリティ環境内のユーザの表現が、エクステンデッドリアリティ環境(例えば、740)内の配向(例えば、ユーザが位置する物理的環境内のユーザの物理的及び/又は実際の姿勢、ポジション、ポーズ、及び/又はスタンス)の(例えば、ユーザがあたかも、フレームを取り囲む鏡の反射である表現を閲覧しているように表示される)鏡像’である配向(例えば、姿勢、ポジション、ポーズ、及び/又はスタンス)を有することを示す(例えば、ユーザに示す)鏡映された及び/又はフレーム内の)選択可能オプション(例えば、746a、748a、及び/又は748b)(例えば、仮想ボタン及び/又はテキストなどの選択可能ユーザインタフェースオブジェクト)を含む(例えば、エクステンデッドリアリティ環境内のユーザの表現を表示及び/又は再表示し、任意選択で、ユーザの表現を編集するための1つ以上の選択可能オプションを表示する)。いくつかの実施形態では、ユーザ(例えば、708)の表現(例えば、726)は、アニメーション化され、ユーザ(例えば、708)の検出された移動と併せて表示される(例えば、ユーザの移動と一致する)。いくつかの実施形態では、ユーザ(例えば、708)が位置する物理的環境(例えば、706)内のコンピュータシステム(例えば、101、700、及び/又は1000)の一部分に対するユーザ(例えば、708)の物理的移動は、エクステンデッドリアリティ環境(例えば、740)内の表現(例えば、726)の移動を介して表示される。いくつかの実施形態では、エクステンデッドリアリティ環境(例えば、740)内の表現(例えば、726)の移動を表示することは、ユーザ(例えば、708)が位置する物理的環境(例えば、706)内のコンピュータシステムの一部分(例えば、101、700、及び/又は1000)に対するユーザ(例えば、708)の物理的な移動の鏡像である表現(例えば、726)の移動を表示することを含む。
【0252】
選択可能オプションを含むメニューユーザインタフェースを表示することは、コンピュータシステムが、エクステンデッドリアリティ環境内にユーザの表現の少なくとも一部分を迅速かつ容易に表示することを可能にし、それによって、エクステンデッドリアリティ環境内にユーザの表現を表示するために必要とされる入力の数を低減する。
【0253】
図10A図10Iは、ユーザの表現の外観を調整するための技術の例を示す。図11は、ユーザの表現の外観を調整するための例示的な方法1100のフロー図である。図12は、ユーザの表現の口表現を表示するための例示的な方法1200のフロー図である。図13は、ユーザの表現の毛表現を表示するための例示的な方法1300のフロー図である。図14は、視覚的強調とともにユーザの表現の一部分を表示するための例示的な方法1400のフロー図である。図10A図10Iのユーザインタフェースは、図11図14のプロセスを含む、以下で説明するプロセスを示すために使用される。
【0254】
図10A図10Iは、電子デバイス1000によって受信された情報に基づいて、異なる外観を有するユーザ1004の身体の1つ以上の部分の表現1002を表示する電子デバイス1000の例を示す。図10A図10Iはまた、ディスプレイ1000aを介して、ユーザ1004に対応する第1の参加者領域1006aと、第2のユーザ(例えば、電子デバイス1000に関連付けられた及び/又はそれを使用する第2のユーザ)に対応する第2の参加者領域1006bとを含む通信インタフェース1006を表示する電子デバイス1000の例を示す。図10Aにおいて、第1の参加者領域1006aは、エクステンデッドリアリティ環境1008、並びにエクステンデッドリアリティ環境1008内のユーザ1004の表現1002及びテーブル表現1010(例えば、仮想テーブルを表す画像及び/又は物理的環境1014内のテーブル1016を表す画像)を含む。加えて、第2の参加者領域1006bは、第2のユーザの第2の表現1012(例えば、第2のユーザを表すアバター及び/又は画像)を含む。いくつかの実施形態では、ユーザ1004は、第2のユーザとのテレビ会議及び/又は仮想テレビ会議などのリアルタイム通信セッションに参加している(例えば、電子デバイス1000は、ユーザ1004の外部電子デバイスと通信し、ユーザ1004及び/又は第2のユーザが、電子デバイス1000及び/又は外部電子デバイス上に表示されるオーディオ、ビデオ、及び/又は画像を介して互いに通信することを可能にする)。
【0255】
図10A図10Iはまた、物理的環境1014(例えば、ユーザ1004が物理的に位置する実際の環境)内のユーザ1004を示し、物理的環境1014は、ユーザ1004及びテーブル1016(例えば、物理的テーブル)を含む。電子デバイス1000は、物理的環境1014内に位置決めされたセンサ1018a及びセンサ1018bと通信する(例えば、ユーザ1004が関連付けられた及び/又は使用する外部電子デバイスを介した無線通信)。いくつかの実施形態では、センサ1018a及び1018bは、カメラ、画像センサ、光センサ、深度センサ、触覚センサ、配向センサ、近接センサ、温度センサ、ロケーションセンサ、運動センサ、及び/又は速度センサを含む。センサ1018a及び1018bは、物理的環境1014内のユーザ1004の状態(例えば、ポジション、配向、姿勢、及び/又はポーズ)に関するデータ及び/又は情報をキャプチャするように構成される。例えば、センサ1018a及び1018bは、物理的環境1014内のユーザ1004の様々な身体部分のポジション及び/又は移動に関連する情報を検出及びキャプチャするように構成される。図10A図10Iは、2つのセンサ(例えば、センサ1018a及びセンサ1018b)と通信している電子デバイス1000を示すが、いくつかの実施形態では、電子デバイス1000は、(例えば、ユーザ1004に関連付けられた外部電子デバイスを介して)任意の好適な数のセンサと通信している。
【0256】
図10A図10Iは、ユーザ1004の表現1002を表示する電子デバイス1000を示すが、いくつかの実施形態では、電子デバイス700は、ディスプレイ704を介してユーザ1004の表現1002を含む通信インタフェース1006を表示する。いくつかの実施形態では、電子デバイス1000は、図7A図7Jを参照して上述したように、ユーザ708(及び/又はユーザ1004)の1つ以上の身体的特徴をキャプチャし表現726(及び/又は表現1002)を生成し、かつ/又は表現726(及び/又は表現1002)を電子デバイス1000のディスプレイ1000a上に表示するように構成される。いくつかの実施形態では、同じ電子デバイス(例えば、電子デバイス700及び/又は電子デバイス1000)が、図7A図7Jを参照して上述したように、表現726を生成して表示するために使用され、図10A図10Iを参照して後述するように、表現1002を表示するために使用される。
【0257】
図10Aにおいて、電子デバイス1000は、(例えば、センサ1018a及び/若しくは1018bを介して、並びに/又は外部デバイスを介して)物理的環境1014内のユーザ1004の1つ以上の身体部分の状態を示す情報を受信する。情報を受信したことに応じて、電子デバイス1000は、第1の参加者領域1006aのエクステンデッドリアリティ環境1008内に表現1002を表示する。図10Aに示すように、表現1002は、物理的環境1014内のユーザ1004の物理的外観を模倣する外観を含む。例えば、第1の表現1002は、ユーザ900の腰1002a、手1002b、手1002c、脚1002d、脚1002e、頭部1002f、及び顔1002gに対応する、腰1004a、手1004b、手1004c、脚1004d、脚1004e、頭部1004f、及び顔1004gを含む。具体的には、表現1002の手1002bは、物理的環境1014内のユーザ1004の手1004bと同様に、エクステンデッドリアリティ環境1008内で腰1002aの上に持ち上げられる。表現1002の手1002cは、エクステンデッドリアリティ環境1008内の表現1002の腰1002a及び/又はその近くに位置決めされ、これは、物理的環境1014内のユーザ1004の腰1004a及び/又はその近くに位置決めされたユーザ1004の手1004cと同様である。
【0258】
図10Aにおいて、電子デバイス1000は、ユーザ1004の身体の状態(例えば、ポジション、配向、姿勢、及び/又はポーズ)を示す情報を受信する。受信された情報に基づいて、電子デバイス1000は、エクステンデッドリアリティ環境1008内に第1の外観を有するものとして表現1002を表示する(例えば、図10Aに示される実線によって示されるように)。図10Aにおいて、電子デバイス1000は、第1の量の視覚的忠実性で、及び/又は表現1002の少なくとも一部分に適用されるぼかしなしで、表現1002を表示する。いくつかの実施形態では、電子デバイス1000は、表現1002にいかなるぼかし量も適用することなく、ユーザ1004の解剖学的に正確な表現として表現1002を表示する。いくつかの実施形態では、受信された情報は、ユーザ1004の身体の一部分の状態を示す。一部のそのような実施形態では、電子デバイス1000は、第1の外観を有するユーザ1004の身体の一部分に対応する表現1002の第1の部分を表示し、第1の外観とは異なる第2の外観を有するユーザ1004の身体の一部分に対応しない表現1002の第2の部分を表示する。
【0259】
図10Aにおいて、電子デバイス1000は、矢印1019によって示されるように、エクステンデッドリアリティ環境1008内の表現1002の移動を表示する。電子デバイス1000が、ユーザ1004の状態を示す情報を受信し、ユーザ1004の状態を示す情報が、第1の所定の時間量内に受信されるユーザ1004の身体の少なくとも一部分の状態に関する直接情報(例えば、物理的環境1014内のユーザ1004の身体の一部分のポジションを示す、センサ1018a及び/又は1018bを介して直接キャプチャされた情報)を含む場合、電子デバイス1000は、第1の外観を有する表現1002の表示を維持する。いくつかの実施形態において、表現1002の第1の外観は、透明度を含まず(例えば、表現1002に適用されるゼロ量の透明度)、その結果、テーブル表現1010の部分1010aは、表現1002によって覆い隠され、及び/又は別様でブロックされる。いくつかの実施形態では、電子デバイス1000がエクステンデッドリアリティ環境1008内で表現1002の移動を表示すると、電子デバイス1000は、テーブル表現1010の他の部分を不明瞭にする及び/又は別様でブロックするものとして表現1002を表示する。
【0260】
図10Bにおいて、電子デバイス1000は、物理的環境1014内のユーザ1004の状態を示す情報を受信する。しかしながら、物理的環境1014内のユーザ1004の状態を示す情報は、ユーザ1004の身体の少なくとも一部分の状態に関する直接情報(例えば、物理的環境1014内のユーザ1004の身体の一部分のポジションを示すセンサ1018a及び/又は1018bを介して直接キャプチャされた情報)を含まない。いくつかの実施形態では、電子デバイス1000は、物理的環境1014内のユーザ1004の状態を示す情報が、ユーザ1004の身体の少なくとも一部分の状態に関する直接情報を含まない、かつ/又は第1の所定の時間量の間、ユーザ1004の身体の少なくとも一部分の状態に関する直接情報を含まなかったと判定する。いくつかの実施形態では、物理的環境1014内のユーザ1004の状態を示す情報は、ユーザ1004の身体の少なくとも一部分の状態に関する直接情報が利用可能でないこと、及び/又は第1の所定の時間量にわたって利用可能でなかったことを電子デバイス1000に示す命令及び/又は追加情報を含む。
【0261】
図10Bにおいて、電子デバイス1000は、第1の所定の時間量にわたって受信されていない及び/又は利用可能ではないユーザ1004の身体の少なくとも一部分の状態に関する直接情報に基づいて、第1の外観とは異なる第2の外観を有するものとして表現1002を表示する。いくつかの実施形態では、第1の所定の時間量は、1秒、5秒、10秒、及び/又は30秒などの第1の時間閾値よりも長いが、45秒、60秒、90秒、及び/又は120秒などの第2の時間閾値よりも短い時間量である。いくつかの実施形態では、ユーザ1004の身体の少なくとも一部分の状態に関する直接情報が、第1の所定の時間量が経過する前の時点で(例えば、第1の所定の時間量未満の時間量内に)受信された(例えば、電子デバイス1000によって受信された、及び/又は電子デバイス1000と通信している別の電子デバイスによって受信された)とき、電子デバイス1000は、図10Aに示すように、第1の外観を有する表現1002の表示を維持する。
【0262】
ユーザ1004の身体の少なくとも一部分の状態に関する直接情報が第1の所定の時間量にわたって受信されていない(例えば、電子デバイス1000によって受信されていない、かつ/又は電子デバイス1000と通信している別の電子デバイスによって受信されていない)場合、電子デバイス1000は、図10Bに示すように、第2の外観を有する表現1002を表示する。例えば、図10Bにおいて、表現1002は、電子デバイスが第2の外観で表現1002を表示していることを示すために、第1の破線で電子デバイス1000によって表示されているものとして示されている。いくつかの実施形態では、第2の外観は、第2の量の視覚的忠実性(例えば、精度及び/又は明瞭性)を伴って、及び/又は第1の量の視覚的忠実性と比較して増加したぼかし量を伴って、表現1002を表示することを含む。いくつかの実施形態では、第2の外観は、第1の外観の粒子サイズよりも大きい粒子サイズを有する表現1002を表示することを含む。したがって、いくつかの実施形態では、電子デバイス1000は、ユーザ1004の身体の少なくとも一部分の状態に関する直接情報が第1の所定の時間量にわたって受信されていない(例えば、電子デバイス1000によって受信されていない、かつ/又は電子デバイス1000と通信している別の電子デバイスによって受信されていない)とき、表現1002のより正確でないバージョンを表示する。図10Bは、表現1002全体を第2の外観を有するものとして示しているが、いくつかの実施形態では、電子デバイス1000は、表現1002の第1の部分(例えば、直接情報が受信されないユーザ1004の身体の一部分に対応する表現1002の一部分)を第2の外観を用いて表示し、表現1002の第2の部分を第1の外観を用いて表示する。
【0263】
いくつかの実施形態では、ユーザ1004の身体の少なくとも一部分の状態に関する直接情報が、第1の所定の時間量にわたって受信されていない(例えば、電子デバイス1000によって受信されていない、かつ/又は電子デバイス1000と通信している別の電子デバイスによって受信されていない)場合、電子デバイス1000は、エクステンデッドリアリティ環境1008内で静的及び/又は静止しているものとして表現1002を表示する。例えば、いくつかの実施形態では、ユーザ1004の状態に関する情報及び/又はユーザ1004の身体の少なくとも一部分の状態に関する直接情報は、物理的環境1014内のユーザ1004の移動(例えば、ユーザ1004の1つ以上の身体部分の移動)を示す情報を含む。いくつかの実施形態では、電子デバイス1000が、第1の所定の時間量よりも短い時間量内にユーザ1004の身体の少なくとも一部分の状態に関する直接情報を受信すると、電子デバイス1000は、物理的環境1014内のユーザ1004の物理的移動を示す、ユーザ1004の身体の少なくとも一部分の状態に関する直接情報に基づいて、表現1002の移動を表示する。しかしながら、いくつかの実施形態では、電子デバイスが第1の所定の時間量にわたってユーザ1004の身体の少なくとも一部分の状態に関する直接情報を受信しないとき、電子デバイス1000は、エクステンデッドリアリティ環境1008内のあるポジションでの表現1002の表示を維持し、そうでなければ(例えば、ユーザ1004が物理的環境1014内で移動するときでも)表現1002の移動を表示しない。
【0264】
いくつかの実施形態では、電子デバイス1000は、表現1002を第2の外観を用いて表示し、表現1002の一般的な形状を維持する。換言すれば、電子デバイス1000は、第1の外観を有する表現1002を表示し、第2の外観を有する表現1002を、それぞれが同じ形状(例えば、ユーザ1004の形状及び/又はシルエットに似た、及び/又は別様で類似の外観を含む形状)を有するものとして表示する。
【0265】
いくつかの実施形態では、電子デバイス1000は、矢印1021によって示されるように、エクステンデッドリアリティ環境1008内の第2の外観を有する表現1002の移動を表示する。いくつかの実施形態では、表現1002の第2の外観は、テーブル表現1010の部分1010aが表現1002を通して少なくとも部分的に可視及び/又は識別可能であるように、第1の量の透明度(例えば、表現1002に適用される非ゼロの量の透明度)を含む。いくつかの実施形態では、電子デバイス1000がエクステンデッドリアリティ環境1008内の表現1002の移動を表示するとき、電子デバイス1000が第2の外観を有する表現1002を表示しているとき、電子デバイス1000は、テーブル表現1010~表現1002の他の部分を表示する。
【0266】
図10Cにおいて、電子デバイス1000は、物理的環境1014内のユーザ1004の状態を示す情報を受信する。しかしながら、物理的環境1014内のユーザ1004の状態を示す情報は、ユーザ1004の身体の少なくとも一部分の状態に関する直接情報(例えば、物理的環境1014内のユーザ1004の身体の一部分のポジションを示すセンサ1018a及び/又は1018bを介して直接キャプチャされた情報)を含まない。いくつかの実施形態では、電子デバイス1000は、物理的環境1014内のユーザ1004の状態を示す情報が、ユーザ1004の身体の少なくとも一部分の状態に関する直接情報を含まない、かつ/又は第1の所定の時間量よりも長い第2の所定の時間量の間、ユーザ1004の身体の少なくとも一部分の状態に関する直接情報を含まなかったと判定する。いくつかの実施形態では、物理的環境1014内のユーザ1004の状態を示す情報は、ユーザ1004の身体の少なくとも一部分の状態に関する直接情報が利用可能ではない、かつ/又は第2の所定の時間量にわたって利用可能ではなかったことを電子デバイス1000に示す命令及び/又は追加情報を含む。
【0267】
図10Cにおいて、電子デバイス1000は、ユーザ1004の身体の少なくとも一部分の状態に関する直接情報が受信されていないこと、及び/又は第2の所定の時間量にわたって利用可能でないことに基づいて、第1の外観及び第2の外観とは異なる第3の外観を有するものとして表現1002を表示する。いくつかの実施形態では、第2の所定の時間量は、1秒、5秒、10秒、及び/又は30秒などの第1の時間閾値よりも大きく、45秒、60秒、90秒、及び/又は120秒などの第2の時間閾値よりも大きい時間量である。いくつかの実施形態では、ユーザ1004の身体の少なくとも一部分の状態に関する直接情報が、第2の所定の時間量の前の時間内(例えば、第2の所定の時間量未満の時間内)に受信された場合、電子デバイス1000は、図10Aに示すように、第1の外観を有する表現1002の表示を維持し、かつ/又は図10Bに示すように、第2の外観を有する表現1002の表示を維持する。いくつかの実施形態では、電子デバイス100は、ユーザ1004の身体の少なくとも一部分に関する直接情報が第1の所定の時間量にわたって受信されていないとき、第2の外観を有する表現1002を表示し、電子デバイス1000は、ユーザ1004の身体の少なくとも一部分に関する直接情報が第2の所定の時間量にわたって受信されていないとき、第3の外観を有する表現1002を表示する(例えば、第2の外観を有する表現1002を表示することから、第3の外観を有する表現1002を表示することへの遷移)。いくつかの実施形態では、電子デバイス1000は、ユーザ1004の身体の少なくとも一部分に関する直接情報が第1の所定の時間量の間受信されていないとき、第2の外観を有する表現1002を表示し、電子デバイス1000は、ユーザ1004の身体の少なくとも一部分に関する直接情報が第2の所定の時間量の前であるが、第1の所定の時間量が既に経過した後の時間量内に受信されたとき、第1の外観を有する表現1002を表示する(例えば、第2の外観を有する表現1002を表示することから第1の外観を有する表現を表示することへの遷移)。
【0268】
ユーザ1004の身体の少なくとも一部分の状態に関する直接情報が第2の所定の時間量にわたって受信されていない(例えば、電子デバイス1000によって受信されていない、かつ/又は電子デバイス1000と通信している別の電子デバイスによって受信されていない)場合、電子デバイス1000は、図10Cに示すように、第3の外観を有する表現1002を表示する。例えば、図10Cでは、表現1002は、電子デバイスが第3の外観を有する表現1002を表示していることを示すために、第2の破線で電子デバイス1000によって表示されているものとして示されている。いくつかの実施形態では、第3の外観は、第3の量の視覚的忠実性(例えば、精度及び/又は明瞭性)を伴って、及び/又は第1の量の視覚的忠実性及び/又は第2の量の視覚的忠実性と比較して増加したぼかし量を伴って、表現1002を表示することを含む。いくつかの実施形態では、第3の外観は、第1の外観の粒子サイズよりも大きい、かつ/又は第2の外観の粒子サイズよりも大きい粒子サイズを有する表現1002を表示することを含む。したがって、いくつかの実施形態では、電子デバイス1000は、ユーザ1004の身体の少なくとも一部分の状態に関する直接情報が第2の所定の時間量にわたって電子デバイス1000によって受信されていないとき、表現1002のより正確でないバージョンを表示する。図10Cは、表現1002全体を第3の外観を有するものとして示しているが、いくつかの実施形態では、電子デバイス1000は、第3の外観を有する表現1002の第1の部分(例えば、直接情報が受信されないユーザ1004の身体の一部分に対応する表現1002の一部分)と、第1の外観及び/又は第2の外観を有する表現1002の第2の部分とを表示する。
【0269】
いくつかの実施形態では、ユーザ1004の身体の少なくとも一部分の状態に関する直接情報が、第2の所定の時間量にわたって受信されていない(例えば、電子デバイス1000によって受信されていない、かつ/又は電子デバイス1000と通信している別の電子デバイスによって受信されていない)場合、電子デバイス1000は、表現1002をプレゼンテーションモードで表示する。いくつかの実施形態では、プレゼンテーションモードは、表現1002をユーザ1004のぼやけた円及び/又は他の非解剖学的に正確な表現として表示することを含む。いくつかの実施形態では、プレゼンテーションモードは、表現1002をオーディオ存在モードで表示することを含み、表現1002は、物理的環境1014におけるユーザ1004の検出された発話に基づく外観を有するアイコン及び/又はモノグラムを含む。いくつかの実施形態では、プレゼンテーションモードは、表現1002を、ユーザ1004の移動の変化に視覚的に反応しない形状を有するものとして表示することを含む。いくつかの実施形態では、プレゼンテーションモードは、第1の外観及び/又は第2の外観を用いて表示されるときの表現1002のサイズよりも小さいサイズで表現1002を表示することを含む。
【0270】
いくつかの実施形態では、電子デバイス1000は、ユーザ1004の身体の少なくとも一部分の状態に関する直接情報が、第2の所定の時間量よりも長い時間量にわたって受信されないとき、第3の外観を有する表現1002の表示を維持する。換言すれば、第2の所定の時間量が経過した後にユーザ1004の身体の少なくとも一部分の状態に関する直接情報が受信されない限り、電子デバイス1000は、第3の外観を有する表現1002の表示を維持する。いくつかの実施形態では、電子デバイス1000は、ユーザ1004の身体の少なくとも一部分の状態に関する直接情報を受信すると、第3の外観を有する表現1002を表示することから、第1の外観を有する表現1002を表示することに移行する。
【0271】
いくつかの実施形態では、電子デバイス1000は、矢印1023によって示されるように、エクステンデッドリアリティ環境1008内の第3の外観を有する表現1002の移動を表示する。いくつかの実施形態では、表現1002の第3の外観は、テーブル表現1010の部分1010aが表現1002を通して少なくとも部分的に可視及び/又は識別可能であるように、第2の量の透明度(例えば、第1の量の透明度よりも大きい、表現1002に適用される非ゼロの量の透明度)を含む。いくつかの実施形態では、テーブル表現1010の部分1010aは、電子デバイス1000が第2の外観を有する表現1002を表示することと比較して、第3の外観を有する表現1002を表示するときに、表現1002を通してより可視及び/又は識別可能である。いくつかの実施形態では、電子デバイス1000がエクステンデッドリアリティ環境1008内の表現1002の移動を表示すると、電子デバイス1000が第3の外観を有する表現1002を表示しているときに、電子デバイス1000は、テーブル表現1010~表現1002の他の部分を表示する。
【0272】
図10Dにおいて、電子デバイス1000は、エクステンデッドリアリティ環境1008内の表現1002のズームインビューを第1の参加者領域1006aに表示する。いくつかの実施形態では、電子デバイス1000は、ユーザ入力(例えば、タップジェスチャ、音声コマンド、及び/又はエアジェスチャ)に応じて、第1の参加者領域1006aをエクステンデッドリアリティ環境1008の特定の部分にズームする。いくつかの実施形態では、電子デバイス1000は、ユーザ1004が発話(例えば、スピーチ、ハミング、発声、及び/又は別様で口頭で作成する他の音)を出力している(例えば、話している及び/又は作成している)ときなど、条件が満たされたときに、第1の参加者領域1006aをエクステンデッドリアリティ環境1008の特定の部分にズームする。
【0273】
図10Dにおいて、ユーザ1004は、物理的環境1014内でスピーチ1020(「こんにちはJANE、今日はどうですか?」)を出力している。したがって、ユーザの口1004hは開いており、ユーザ1004がスピーチ1020を話していることを示す。図10Dにおいて、電子デバイス1000は、物理的環境1014内のユーザ1004の口1004hの状態を示す情報を受信する。加えて、電子デバイス1000は、ユーザ1004がスピーチ1020を出力していることを示すオーディオ情報を(例えば、ユーザ1004に関連付けられた電子デバイス1000のスピーカを介して、並びに/又はセンサ1018a及び/若しくは1018bを介して)受信する。ユーザ1004の口1004hの状態を示す受信された情報に基づいて、及び/又はユーザ1004がスピーチ1020を出力していることを示す受信されたオーディオ情報に基づいて、電子デバイス1000は、図10Dに示されるように、第1の外観を有し、開いたポジションにある口1002hを有する表現1002を表示する。
【0274】
図10Dにおいて、電子デバイス1000は、第1の量の視覚的忠実性(例えば、精度及び/又は明瞭性)を有する表現1002の口1002hを表示する。いくつかの実施形態では、電子デバイス1000は、表現1002の口1002hを、口1002hにいかなるぼかし量も適用することなく、ユーザ1004の口1004hの解剖学的に正確な表現として表示する。
【0275】
いくつかの実施形態では、電子デバイス1000は、ユーザ1004の口1004hの状態を示す受信された情報に基づいて、かつユーザ1004がスピーチ1020を出力していることを示す受信されたオーディオ情報に基づかずに、表現1002の口1002hを開いたポジションで表示する。いくつかの実施形態では、電子デバイス1000は、表現1002の口1002hを開いたポジションに表示している間に、スピーカを介して、スピーチ1020に対応するオーディオを出力する。
【0276】
図10Eにおいて、電子デバイス1000は、ユーザ1004の口1004hの状態を示す情報を受信するが、ユーザ1004の口1004hの状態を示す情報は、1つ以上の基準のセットを満たさない。例えば、いくつかの実施形態では、1つ以上の基準のセットは、ユーザ1004の口1004hの状態を示す情報が所定の期間内(例えば、1秒ごと、5秒ごと、及び/又は10秒ごとなどの繰り返しの所定の時間間隔内)に受信されたときに満たされる第1の基準、ユーザ1004の口1004hの状態を示す情報が、スピーチ1020がユーザ1004によって出力された時間(例えば、スピーチ1020がマイクロフォン及び/又はセンサ1018a及び/又は1018bを介して検出された時間)に対応する時間における口1004hの移動を示す情報を含むときに満たされる第2の基準、及び/又はユーザ1004の口1004hの状態を示す情報が、精度の閾値量よりも大きい精度の量を含む(例えば、情報は、情報の量、経時的に受信された情報の量、並びに/あるいは口1004hの実際の状態を検出及び/又は推定することに関する情報の精度及び/又は確度に少なくとも部分的に基づいて決定される信頼水準閾値よりも大きい口1004hのポジション、ポーズ、配向、及び/又は表情を示すデータを含む)ときに満たされる第3の基準を含む。
【0277】
ユーザ1004の口1004hの状態を示す情報が1つ以上の基準のセットを満たさないとき、電子デバイス1000は、第2の外観を有する表現1002の口1002pを表示する。例えば、図10Eにおいて、表現1002の口1002pは、電子デバイスが表現1002の口1002pを第2の外観を用いて表示していることを示すために、電子デバイス1000によって破線で表示されているものとして示されている。いくつかの実施形態では、第2の外観は、第2の量の視覚的忠実性(例えば、精度及び/又は明瞭性)を伴って、及び/又は第1の量の視覚的忠実性と比較して増加したぼかし量を伴って、表現1002の口1002pを表示することを含む。
【0278】
いくつかの実施形態では、第2の外観は、スピーチ1020に対応するオーディオ情報に少なくとも部分的に基づいて表現1002の口1002pを表示することを含む。例えば、電子デバイス1000は、表現1002の口1002pを、スピーチ1020に対応するオーディオ情報に少なくとも部分的に基づく特定のポーズ、配向、表情、及び/又はポジション(例えば、スピーチ1020に対応するオーディオ情報に基づく推定、外挿、及び/又は予測されるポーズ、配向、表情、及び/又はポジション)を含むように表示する。いくつかの実施形態では、電子デバイス1000は、口1004hの状態を示す情報が1つ以上の基準のセットを満たさないときに、スピーチ1020に対応するオーディオ情報及びユーザ1004の口1004hの状態を示す情報の両方に基づいて、表現1002の口1002pを表示する。いくつかの実施形態では、口1004hの状態を示す情報が1つ以上の基準のセットを満たさないとき、電子デバイス1000は、表現1002の口1002pを、ユーザ1004の口1004hの状態を示す情報に基づいて生成される第1の部分(例えば、第1の外観を有する口1002h)と、スピーチ1020に対応するオーディオ情報に基づいて生成される第2の部分との組み合わせとして表示する。例えば、いくつかの実施形態では、第1の部分及び第2の部分は、電子デバイス1000によって表示される表現1002の口1002pを生成するために、組み合わされ、互いにオーバーレイされ、及び/又は他の方法で使用される。いくつかの実施形態では、第1の部分は静的表現であり、第2の部分は動的表現である。いくつかの実施形態では、第1の部分及び第2の部分は両方とも動的表現である。
【0279】
いくつかの実施形態では、表現1002の口1002pは、ユーザ1004の口1004hの状態を示す情報に基づいて、第1の部分及び第2の部分の異なる量及び/又は程度の強調を含む。例えば、いくつかの実施形態では、1つ以上の基準のセットが満たされず、ユーザ1004の口1004hの状態を示す情報が信頼水準閾値よりも小さい信頼水準を含むと(例えば、電子デバイス1000を介して及び/又はユーザ1004に関連付けられた別の電子デバイスを介して)判定された場合、表現1002の口1002pは、第1の強調量(例えば、第1の視覚的強調量及び/又は第1の重み)を有する第1の部分と、第1の強調量よりも大きい第2の強調量(例えば、第2の視覚的強調量及び/又は第2の重み)を有する第2の部分とを使用して生成される。同様に、いくつかの実施形態では、1つ以上の基準のセットが満たされず、ユーザ1004の口1004hの状態を示す情報が(例えば、電子デバイス1000を介して、及び/又はユーザ1004に関連付けられた別の電子デバイスを介して)信頼水準閾値よりも大きい信頼水準を含むと判定される場合、表現1002の口1002pは、第3の強調量(例えば、第3の視覚的強調量及び/又は第3の重み)を有する第1の部分と、第3の強調量よりも小さい第4の強調量(例えば、第4の視覚的強調量及び/又は第4の重み)を有する第2の部分とを使用して生成される。いくつかの実施形態では、電子デバイス1000は、口1004hの状態を示す情報の信頼水準が変化するにつれて、表現1002の口1002pの表示を変更及び/又は更新する。
【0280】
いくつかの実施形態では、口1004hの状態を示す情報の信頼水準は、スピーチ1020に対応するオーディオ情報に基づいて(例えば、電子デバイス1000を介して、及び/又はユーザ1004に関連付けられた別の電子デバイスを介して)判定される。例えば、いくつかの実施形態では、口1004hの状態を示す情報は、口1004hの移動、所与の時間における口1004hのポジション、所与の時間における口1004hの表情、及び/又は所与の時間における口1004hの配向に関する情報を含む。いくつかの実施形態では、スピーチ1020に対応するオーディオ情報は、スピーチ1020に含まれる単語及び/又は音に関する情報を含む。いくつかの実施形態では、スピーチ1020に含まれる単語及び/又は音に関連する情報は、ユーザ1004がスピーチ1020を出力する間のユーザ1004の口1004hのポジションを推定、外挿、及び/又は他の方法で近似するために使用される。次いで、スピーチ1020に対応するオーディオ情報に基づくユーザの口1004hの推定ポジションは、ユーザ1004の口1004hの状態を示す情報に基づくユーザ1004の口1004hのポジションと比較されて、ユーザ1004の口1004hの状態を示す情報がスピーチ1020に対応するオーディオ情報に対応するかどうか(例えば、口1004hの追跡及び/又は検出されたポジションが、スピーチ1020に対応するオーディオ情報に基づく口1004hの推定ポジションに対応及び/又は一致するかどうか)を判定する。いくつかの実施形態では、口1004hの状態を示す情報の信頼水準は、ユーザ1004の口1004hの状態を示す情報とスピーチ1020に対応するオーディオ情報との間の対応(例えば、類似度、一致度、及び/又は肖像度)の量に基づいて判定される。
【0281】
いくつかの実施形態では、表現1002の口1002pは、1つ以上の基準の第2のセットが満たされたときに第3の外観を含む。いくつかの実施形態では、第3の外観は、表現1002の口1002pの後ろに位置決めされたエクステンデッドリアリティ環境1008の一部分が少なくとも部分的に可視であるように、非ゼロの量の透明度を含む。いくつかの実施形態では、1つ以上の基準の第2のセットは、電子デバイス1000が表現1002の頭部1002fの少なくとも一部分を非ゼロの量の透明度で表示するときに満たされる第1の基準、及び/又は電子デバイス1000が表現1002の口1002pを開いたポジションで表示するときに満たされる第2の基準を含む。いくつかの実施形態では、1つ以上の基準の第2のセットが満たされるとき、口1002pの内側部分1002iは、第3の外観を有するものとして表示され、口1002pの周囲部分1002jは、第1の外観及び/又は第2の外観を有するものとして表示される。
【0282】
電子デバイス1000はまた、ユーザ1004の毛の1つ以上の表現を有する表現1002を表示するように構成される。図10Fにおいて、電子デバイス1000は、ユーザ1004の頭部1004f上の毛1004kに対応する第1の毛表現1002kと、ユーザ1004の顔1004g上の髭1004lに対応する第2の毛表現1002lとを有する表現1002を表示する。第1の毛表現1002kは、(例えば、図10Fに示される第1のハッチングによって示されるような)エクステンデッドリアリティ環境1008内の第1の外観を含む。いくつかの実施形態では、第1の外観は、第1の量の視覚的忠実性を伴って、及び/又は第1の毛表現1002kに適用されるぼかしを伴わずに、第1の毛表現1002kを表示することを含む。いくつかの実施形態では、第1の毛表現1002kは、第1の毛表現1002kの外観が毛1004kの外観に基づくように、物理的環境1014内のユーザ1004の状態を示す情報に基づく。
【0283】
図10Fにおいて、第2の毛表現1002lは、(例えば、図10Fにおいて第2のハッチングによって示されるような)第2の外観を有する第1の部分1022aと、(例えば、図10Fにおいて第3のハッチングによって示されるような)第3の外観を有する第2の部分1022bとを含む。いくつかの実施形態では、第2の毛表現1002lの第1の部分1022a及び第2の部分1022bは、表現1002の顔1002g及び/又は首1002mからの距離に基づいて(例えば、電子デバイス1000を介して及び/又はユーザ1004に関連付けられた別の電子デバイスを介して)決定される。例えば、図10Fにおいて、第2の毛表現1002lの第1の部分1022aは、表現1002の顔1002g及び/又は首1002mの距離1024内に位置し、第2の毛表現1002lの第2の部分1022bは、表現1002の顔1002g及び/又は首1002mから距離1024よりも遠くに位置する。いくつかの実施形態では、距離1024は、表現1002の顔1002g及び/又は首1002mの任意の部分から均一に延びる距離である。いくつかの実施形態では、距離1024は、表現1002の顎1002n及び/又は首1002mからより長い距離、並びに表現1002の頬1002oからより短い距離に延在する不均一な距離である。いくつかの実施形態では、電子デバイス1000は、表現1002の頭部1002fからの距離に基づいて、異なる外観及び/又は異なる量の視覚的忠実性を有する第1及び第2の部分を有する第1の毛表現1000kを表示する。いくつかの実施形態では、電子デバイス1000は、第1の部分1022a及び第2の部分1022bが表現1002の顔1002gから位置決めされる距離1024に基づいて、第1の部分1022a及び第2の部分1022bが異なる外観及び/又は異なる量の視覚的忠実性を有する、ユーザ1004の顔の毛(例えば、髭1004l)に対応する第2の毛表現1000lのみを表示する。いくつかの実施形態では、電子デバイス1000は、距離1024及び/又は部分が表現1002の顔1002gから位置決めされる別の距離に基づいて、異なる外観及び/又は異なる量の視覚的忠実性を含む3つ以上の部分を有するものとして、第2の毛表現1002lを表示する。
【0284】
図10Fにおいて、第2の外観は、第2の毛表現1002lの第1の部分1022aに適用された第2の量の視覚的忠実性及び/又は第1のぼかし量を含む。第3の外観は、第2の毛表現1002lの第2の部分1022bに適用される、第3の量の視覚的忠実性及び/又は第1のぼかし量よりも大きい第2のぼかし量を含む。いくつかの実施形態では、第2の外観は、第1の粒子サイズを有する第1の部分1022aを表示することを含み、第3の外観は、第1の粒子サイズよりも大きい第2の粒子サイズを有する第2の部分1022bを表示することを含む。いくつかの実施形態では、第2の外観は、第1の量の不透明度で第1の部分1022aを表示することを含み、第3の外観は、第1の量の不透明度よりも小さい第2の量の不透明度で第2の部分1022bを表示することを含む。いくつかの実施形態では、第2の外観は、第1の量の透明度で第1の部分1022aを表示することを含み、第3の外観は、第1の量の透明度よりも大きい第2の量の透明度で第2の部分1022bを表示することを含む。
【0285】
いくつかの実施形態では、電子デバイス1000は、ユーザ1004の髭1004lの長さが既定の長さを超えるとき、第4の外観を有する第2の毛表現1002lを表示し、ユーザ1004の髭1004lの長さが既定の長さ未満であるとき、第5の外観を有する第2の毛表現1002lを表示する。一部のそのような実施形態では、第4の外観は、エクステンデッドリアリティ環境1008内の3つの別個の軸に沿って延在する三次元表現を含む。いくつかの実施形態では、第5の外観は、エクステンデッドリアリティ環境内の2つの軸に沿って延在するテクスチャ化外観及び/又は二次元表現を含む。いくつかの実施形態では、三次元表現を含む第4の外観は、表現1002の頭部1002f、顔1002g、首1002m、顎1002n、及び/又は頬1002oなどの表現1002の他の部分とは別個である。
【0286】
電子デバイス1000はまた、例えば、エクステンデッドリアリティ環境1008が増加した暗さ及び/又は減少した輝度を含むときに表現1002をより明瞭に見ることができるように、視覚的強調を含む表現1002の少なくとも一部分を表示するように構成される。図10Gにおいて、電子デバイス1000は、エクステンデッドリアリティ環境1008の第1の視点1025を表示し、表現1002は、エクステンデッドリアリティ環境1008内の第1のポジション1027にあり、第1の部分1026a及び第2の部分1026bを含む。表現1002の第1の部分1026aは、表現1002の周囲部分、及び/又は表現1002とエクステンデッドリアリティ環境1008との間の境界を含む表現1002の一部分を含む。表現1002の第2の部分1026bは、表現1002の内側部分、及び/又は表現1002とエクステンデッドリアリティ環境1008との間の境界を含まない表現1002の一部分を含む。
【0287】
図10Gにおいて、表現1002の第1の部分1026aは、破線によって示されるような第1の外観を含み、表現1002の第2の部分1026bは、ハッチングによって示されるような第2の外観を含む。第1の外観は、表現1002の第1の部分1026aが、第2の部分1026bと比較したときにエクステンデッドリアリティ環境1008に対して対比されるように、第2の外観と比較して視覚的に強調される。いくつかの実施形態では、第1の外観は、第2の外観と比較して、ハイライト、増加した輝度、並びに/又は増加した明瞭性及び/若しくは視覚的忠実度を含む。いくつかの実施形態では、第1の外観は、フレネル視覚的効果を含む。いくつかの実施形態では、第2の外観は、第1のぼかし量、第1の量の透明度、及び/又は第1の粒子サイズを含む視覚的忠実度の量を含む。いくつかの実施形態では、第2の外観は、電子デバイス1000がエクステンデッドリアリティ環境1008の少なくとも一部分を表現1002の第2の部分1026bの背後に表示するように、ある量の透明度を含む。例えば、図10Gにおいて、エクステンデッドリアリティ環境1008は、物理的環境1014内のテーブル1016を表すテーブル表現1010を含む。いくつかの実施形態では、表現1002の第2の部分1026bの背後のテーブル表現1010の部分1010aは、表現1002の第2の部分1026bを通して少なくとも部分的に可視である。いくつかの実施形態では、電子デバイス1000は、矢印1029によって示されるように、表現1002がエクステンデッドリアリティ環境1008内で移動するにつれて、表現1002の第2の部分1026bの背後にテーブル表現1010の異なる部分を表示する。いくつかの実施形態では、電子デバイス1000は、電子デバイス1000によって表示されるエクステンデッドリアリティ環境1008の視点が変化するにつれて、表現1002の第2の部分1026bの背後にテーブル表現1010の異なる部分を表示する。
【0288】
図10Hにおいて、電子デバイス1000は、エクステンデッドリアリティ環境1008の第2の視点1028を表示し、表現1002は、エクステンデッドリアリティ環境1008内の第2のポジション1030にある。いくつかの実施形態では、電子デバイス1000は、エクステンデッドリアリティ環境1008の有利な点、角度、及び/又は透視図を変更することを要求するユーザ入力に基づいて、エクステンデッドリアリティ環境1008の第1の視点1025を表示することから、エクステンデッドリアリティ環境1008の第2の視点1028に遷移する。いくつかの実施形態では、電子デバイス1000は、エクステンデッドリアリティ環境内の表現1002の移動に基づいて、エクステンデッドリアリティ環境1008の第1の視点1025を表示することからエクステンデッドリアリティ環境1008の第2の視点1028を表示することに移行する。いくつかの実施形態では、第1の視点1025及び第2の視点1028は、エクステンデッドリアリティ環境1008の同じ有利な点、角度、及び/又は透視図を含むが、電子デバイス1000は、エクステンデッドリアリティ環境1008内の1つ以上のオブジェクト(例えば、テーブル表現1010)に対して異なるポジションに表現1002を表示する(例えば、表現1002は、エクステンデッドリアリティ環境1008の1つ以上のオブジェクトに対して移動するが、エクステンデッドリアリティ環境1008の有利な点、角度、及び/又は透視図は維持される)。いくつかの実施形態では、第1の視点1025及び第2の視点1028は、エクステンデッドリアリティ環境1008の異なる有利な点、角度、及び/又は透視図を含むが、電子デバイス1000は、エクステンデッドリアリティ環境1008内の1つ以上のオブジェクト(例えば、テーブル表現1010)に対して特定のポジションに表現1002の表示を維持する(例えば、表現1002は、エクステンデッドリアリティ環境1008の1つ以上のオブジェクトに対して移動しないが、エクステンデッドリアリティ環境1008の表示された有利な点、角度、及び/又は透視図は変化する)。いくつかの実施形態では、第1の視点1025及び第2の視点1028は、エクステンデッドリアリティ環境1008の異なる有利な点、角度、及び/又は透視図を含み、表現1002は、エクステンデッドリアリティ環境1008内の1つ以上のオブジェクト(例えば、テーブル表現1010)に対してエクステンデッドリアリティ環境1008内の異なるポジションに表示される(例えば、エクステンデッドリアリティ環境1008の表示された有利な点、角度、及び/又は透視図が変化し、エクステンデッドリアリティ環境1008の1つ以上のオブジェクトに対する表現1002のポジションが変化する)。
【0289】
図10Hにおいて、電子デバイス1000は、第3の部分1026c及び第4の部分1026dを含む表現1002の側面透視図を表示する。表現1002の第3の部分1026cは、表現1002の周囲部分、及び/又は表現1002とエクステンデッドリアリティ環境1008との間の境界を含む表現1002の一部分を含む。表現1002の第4の部分1026dは、表現1002の内側部分、及び/又は表現1002とエクステンデッドリアリティ環境1008との間の境界を含まない表現1002の一部分を含む。図10Hにおいて、表現1002の第3の部分1026c及び第4の部分1026dは、電子デバイス1000がエクステンデッドリアリティ環境1008の第1の視点1025の代わりにエクステンデッドリアリティ環境1008の第2の視点1028を表示するため、図10Gに示す表現1002の第1の部分1026a及び第2の部分1026bとは異なる。したがって、電子デバイス1000は、エクステンデッドリアリティ環境1008の表示された視点の変化に基づいて、第1の外観及び第2の外観を有する表現1002の異なる部分を表示する。
【0290】
図10Hにおいて、表現1002の第3の部分1026cは、破線によって示されるように、第1の外観を含み、表現1002の第4の部分1026dは、ハッチングによって示されるように、第2の外観を含む。上述したように、表現1002の第3の部分1026cが、第4の部分1026dと比較したときにエクステンデッドリアリティ環境1008に対して対比されるように、第1の外観は、第2の外観と比較して視覚的に強調される。図10Hにおいて、エクステンデッドリアリティ環境1008は、物理的環境1014内のテーブル1016を表すテーブル表現1010を含む。いくつかの実施形態では、表現1002の第4の部分1026dの背後のテーブル表現1010の部分1010bは、表現1002の第4の部分1026dを通して少なくとも部分的に可視である。いくつかの実施形態では、電子デバイス1000は、矢印1031によって示されるように、表現1002がエクステンデッドリアリティ環境1008内で移動するにつれて、表現1002の第4の部分1026dの背後にテーブル表現1010の異なる部分を表示する。いくつかの実施形態では、電子デバイス1000は、電子デバイス1000によって表示されるエクステンデッドリアリティ環境1008の視点が変化するにつれて、表現1002の第4の部分1026dの背後にテーブル表現1010の異なる部分を表示する。
【0291】
いくつかの実施形態では、電子デバイス1000は、第1の視点1025を表示することから第2の視点1028を表示することへの変化に基づいて、表現1002の外観を徐々に調整及び/又は変更する。例えば、電子デバイス1000が第1の視点1025を表示することから第2の視点1028を表示することに遷移するとき、電子デバイス1000は、表現1002の第1の部分1026a及び第2の部分1026bを表示することから、表現1002の第3の部分1026c及び第4の部分1026dを表示することに徐々に遷移する。いくつかの実施形態では、電子デバイス1000は、電子デバイス1000が第1の視点1025の表示から第2の視点1028の表示に遷移するにつれて、表現1002の異なる部分に適用されるぼかし量を徐々に変化させる。いくつかの実施形態では、電子デバイス1000は、エクステンデッドリアリティ環境1008内の1つ以上のオブジェクト(例えば、テーブル表現1002)に対する表現1002の角度が変化するにつれて(例えば、表現1002がエクステンデッドリアリティ環境1008内で移動するように表示されるにつれて)、表現1010の外観を徐々に変化させ、かつ/又は調整するように構成される。
【0292】
図10Iにおいて、電子デバイス1000は、エクステンデッドリアリティ環境1008の第3の視点1032を表示し、表現1002は、エクステンデッドリアリティ環境1008内の第3のポジション1034にある。図10Iにおいて、電子デバイス1000は、第5の部分1026e及び第6の部分1026fを含む表現1002のリアビュー(例えば、後ろ向きの)透視図を表示する。表現1002が後方透視図で表示されるとき、表現1002の第5の部分1026eは、表現1002の周囲部分、及び/又は表現1002とエクステンデッドリアリティ環境1008との間の境界を含む表現1002の一部分を含む。表現1002の第6の部分1026fは、表現1002の内側部分、及び/又は表現1002とエクステンデッドリアリティ環境1008との間の境界を含まない表現1002の一部分を含む。
【0293】
図10Hにおいて、表現1002の第5の部分1026eは、破線によって示されるように、第3の外観(例えば、第1の外観)を含み、表現1002の第6の部分1026fは、第2のハッチングによって示されるように、第4の外観を含む。いくつかの実施形態では、表現1002の第5の部分1026eが、第6の部分1026fと比較したときにエクステンデッドリアリティ環境1008に対して対比されるように、第3の外観は、第4の外観と比較して視覚的に強調される。いくつかの実施形態では、第5の部分1026eの第3の外観と第6の部分1026fの第4の外観は同じである。いくつかの実施形態では、第4の外観は、表現1002の第6の部分1026fをプレゼンテーションモードで表示することを含む。いくつかの実施形態では、プレゼンテーションモードは、表現1002の第6の部分1026f(及び、任意選択的に、第5の部分1026e)をユーザ1004のぼやけた円及び/又は他の非解剖学的に正確な表現として表示することを含む。いくつかの実施形態では、プレゼンテーションモードは、表現1002の第6の部分1026f(及び、任意選択的に、第5の部分1026e)をオーディオ存在モードで表示することを含み、表現1002は、物理的環境1014におけるユーザ1004の検出された発話に基づく外観を有するアイコン及び/又はモノグラムを含む。いくつかの実施形態では、プレゼンテーションモードは、表現1002の第6の部分1026f(及び、任意選択的に、第5の部分1026e)を、ユーザ1004の移動の変化に視覚的に反応しない形状を有するものとして表示することを含む。いくつかの実施形態では、プレゼンテーションモードは、表現1002の第6の部分1026f(及び、任意選択的に、第5の部分1026e)を、第2の外観を用いて表示されるときの表現1002の第2の部分1026b及び/又は第4の部分1026dのサイズよりも小さいサイズで表示することを含む。
【0294】
いくつかの実施形態では、電子デバイス1000が、表現1002の後方透視図を表示することから表現1002の前方透視図及び/又は側方透視図(例えば、非後方透視図)に遷移するとき、電子デバイス1000は、第3の外観を含む第5の部分1026e及び第4の外観を含む第6の部分1026fではなく、第1の外観及び第2の外観を有する表現1002の2つの部分を表示する。
【0295】
図10Iにおいて、エクステンデッドリアリティ環境1008は、物理的環境1014内のテーブル1016を表すテーブル表現1010を含む。いくつかの実施形態では、表現1002の第6の部分1026f(及び、任意選択的に、第5の部分1026e)の背後のテーブル表現1010の部分1010cは、表現1002の第6の部分1026fを通して少なくとも部分的に可視である。いくつかの実施形態では、電子デバイス1000は、第2の部分1026bの背後に部分1010aを表示すること、及び/又は第4の部分1026dの背後に部分1010bを表示することと比較して、視覚的忠実度のレベルを高めて、第6の部分1026fの背後にテーブル表現1010の部分1010cを表示する。いくつかの実施形態では、電子デバイス1000は、矢印1036によって示されるように、表現1002がエクステンデッドリアリティ環境1008内で移動するにつれて、表現1002の第6の部分1026fの背後にテーブル表現1010の異なる部分を表示する。いくつかの実施形態では、電子デバイス1000は、電子デバイス1000によって表示されるエクステンデッドリアリティ環境1008の視点が変化するにつれて、表現1002の第6の部分1026fの背後にテーブル表現1010の異なる部分を表示する。
【0296】
図10A図10Iは、第2のユーザ(例えば、表現1002に関連付けられたユーザ)とのリアルタイム通信セッション中にユーザ1004の表現1012を表示する電子デバイス1000を示すが、いくつかの実施形態では、電子デバイス1000は、追加のユーザ及び/又は参加者(例えば、3人以上のユーザがリアルタイム通信セッションに参加している)とのリアルタイム通信セッション中にユーザ1004の表現1002を表示する。いくつかの実施形態では、電子デバイス1000は、リアルタイム通信セッションに参加している複数のユーザに対応する複数の表現を同時に表示し、個別の表現は、対応するユーザによって使用されている対応する電子デバイスによって受信及び/又はキャプチャされた情報に基づく(例えば、第1のユーザによって使用されている第1のデバイスによって受信及び/又はキャプチャされた情報に基づく第1の表現、第2のユーザによって使用されている第2のデバイスによって受信及び/又はキャプチャされた情報に基づく第2の表現、及び/又は第3のユーザによって使用されている第3のデバイスによって受信及び/又はキャプチャされた情報に基づく第3の表現であり、第1の表現、第2の表現、及び第3の表現は互いに異なり、第1のデバイス、第2のデバイス、及び第3のデバイスは互いに異なり、第1のユーザ、第2のユーザ、及び第3のユーザは互いに異なる)。いくつかの実施形態では、電子デバイス1000は、図10A図10Iを参照して上述した技術に従って、それぞれの電子デバイスによって受信及び/又はキャプチャされた情報に基づいて、調整された外観を有する表現のうちの1つ以上を表示するように構成される。換言すれば、電子デバイス1000は、それぞれの電子デバイスによって受信及び/又はキャプチャされた情報に基づいて、表現を、互いに同じ及び/又は異なる外観を有するものとして、及び/又は同じ及び/又は異なる視覚的効果を有するものとして表示することができる。例えば、いくつかの実施形態では、電子デバイス1000は、第1の所定の時間量が経過する前の時点で第1のユーザの身体の少なくとも一部分の状態に関する直接情報が受信された(例えば、第1のユーザに関連付けられた及び/又は第1のユーザによって使用されている電子デバイスによって受信された)とき、図10Aに示すように、第1の外観を有する第1のユーザの第1の表現を表示し、第1の所定の時間量にわたって第2のユーザの身体の少なくとも一部分の状態に関する直接情報が受信されなかった(例えば、第2のユーザに関連付けられた及び/又は第2のユーザによって使用されている電子デバイスによって受信されなかった)とき、図10Bに示すように、第2の外観を有する第2のユーザの第2の表現を表示する。いくつかの実施形態では、電子デバイス1000は、第1のユーザの口の状態を示す受信された情報(例えば、第1のユーザと関連付けられた、及び/又は第1のユーザによって使用されている電子デバイスによって受信された)に基づく第1の口表現(例えば、口1002h)を有する第1のユーザの第1の表現を表示し、第2のユーザがスピーチ(例えば、スピーチ1020)を出力していることを示す受信されたオーディオ情報(例えば、第2のユーザと関連付けられた、及び/又は第2のユーザによって使用されている電子デバイスによって受信された)に基づく第2の口表現(例えば、口1002p)を有する第2のユーザの第2の表現を表示する。
【0297】
図10A図10Iに関する追加の説明は、図10A図10Iに関して説明される方法1100、1200、1300、及び1400を参照して以下に提供される。
【0298】
図11は、いくつかの実施形態による、ユーザの表現の外観を調整するための例示的な方法1100のフロー図である。いくつかの実施形態では、方法1100は、1つ以上の表示生成構成要素(例えば、120、704、722、722b、及び/又は1000a)(例えば、視覚出力デバイス、3Dディスプレイ、画像が投影され得る透明又は半透明である少なくとも一部分を有するディスプレイ(例えば、シースルーディスプレイ)、プロジェクタ、ヘッドアップディスプレイ、ディスプレイコントローラ)を含む、第1のコンピュータシステム(例えば、101、700、及び/又は1000)(例えば、スマートフォン、タブレット、ヘッドマウント表示生成構成要素)において行われる(いくつかの実施形態では、第1のコンピュータシステムは、第2のユーザと関連付けられた第2のコンピュータシステムと通信している(例えば、第2のユーザによって操作されている、及び/又は第2のユーザは、第2のコンピュータシステムにログインしている(例えば、第1のコンピュータシステムの第1のユーザと通信セッション(例えば、エクステンデッドリアリティ及び/又はビデオ会議)にあるユーザ))。いくつかの実施形態では、方法1100は、非一時的(又は一時的)コンピュータ可読記憶媒体に記憶され、コンピュータシステム101の1つ以上のプロセッサ202(例えば、図1の制御110)などのコンピュータシステムの1つ以上のプロセッサによって実行される命令によって管理される。方法1100のいくつかの動作は、任意選択的に、組み合わされ、かつ/又はいくつかの動作の順序は、任意選択的に、変更される。
【0299】
第1のコンピュータシステム(例えば、101、700、及び/又は1000)が第1のコンピュータシステム(例えば、101、700、及び/又は1000)の第1のユーザ(例えば、第2の表現1012に関連付けられたユーザ)によって使用されている間、第1のコンピュータシステム(例えば、101、700、及び/又は1000)は、1つ以上の表示生成構成要素(例えば、120、704、722、722b、及び/又は1000a)を介して、第1の忠実度(例えば、図10Aに示される第1の忠実度)(例えば、第2のユーザの身体の状態についての情報に基づいて、表現の第1の推定された状態を示す、ぼかし度、不透明度、色、減衰/密度、及び/又は解像度の量)を有するエクステンデッドリアリティ環境(例えば、1008)(いくつかの実施形態では、仮想アバターは、エクステンデッドリアリティ環境において、第2のユーザの代わりに表示される)における第2のユーザ(例えば、1004)(例えば、第2のコンピュータシステムのユーザ)の表現(例えば、1002)(例えば、アバター、仮想アバター(例えば、アバターは、第2のユーザの少なくとも一部分の仮想表現である))を表示する(1102)。第2のユーザ(例えば、1004)の表現(例えば、1002)は、第1のコンピュータシステム(例えば、101、700、及び/又は1000)とのライブ通信セッション中に第2のコンピュータシステムによって検出された第2のユーザ(例えば、1004)の検出された移動(例えば、物理的環境内の第2のユーザの検出された移動)に基づいて移動する(例えば、エクステンデッドリアリティ環境内で移動する)。いくつかの実施形態では、第1のユーザ(例えば、1004)の表現(例えば、1002)は、第1のユーザ(例えば、1004)の表現(例えば、1002)を表示する要求を受信したことに応じて(例えば、コンピュータシステムにおけるユーザ入力に基づいて)、エクステンデッドリアリティ環境(例えば、1008)に表示される。
【0300】
エクステンデッドリアリティ環境(例えば、1008)において第2のユーザ(例えば、1004)の表現(例えば、1002)を表示している間に、第2のユーザ(例えば、1004)の身体の状態に関する直接情報の量が変化する(1104)(例えば、第1のコンピュータシステムは、第2のユーザの身体の状態に関する直接情報の量が変化したと判定し、かつ/又は第2のコンピュータシステムは、第2のユーザの身体の状態に関する直接情報の量が変化したと判定する)。
【0301】
第2のユーザ(例えば、1004)の身体の状態に関する直接情報の量が変化する(例えば、第1のコンピュータシステム及び/又は第2のコンピュータシステムを介して決定及び/又は検出される)ことに応じて、第1のコンピュータシステム(例えば、101、700、及び/又は1000)は、1つ以上の表示生成構成要素(例えば、120、704、722、722b、及び/又は1000a)を介して、異なる忠実度で第2のユーザ(例えば、1004)の表現(例えば、1002)を表示することを開始する(1106)。いくつかの実施形態では、第1のコンピュータシステム(例えば、101、700、及び/又は1000)(例えば、受信側コンピュータシステム)及び/又は第2のコンピュータシステム(例えば、送信側コンピュータシステム)は、第2のユーザ(例えば、1004)の身体の状態に関する直接情報の量が変化することを決定し、異なる忠実度で第2のユーザ(例えば、1004)の表現(例えば、1002)を表示するために第1のコンピュータシステム(例えば、101、700、及び/又は1000)によって使用される第2のユーザ(例えば、1004)の表現の忠実度に関する情報を生成する。
【0302】
第2のユーザの身体(例えば、第2のユーザの物理的身体の少なくとも一部分)の状態(例えば、ポジション、配向、姿勢、及び/又はポーズ)に関する直接情報(例えば、第2のユーザの身体の状態に関する情報を含む、第2のコンピュータシステムと通信する1つ以上のセンサを介してキャプチャされた情報は、第2のユーザの身体の少なくとも一部分(例えば、全て)のポジション、配向、姿勢、及び/又はポーズを示すデータを含まない)(例えば、第1のコンピュータシステム(例えば、情報を受信するコンピュータシステム)及び/又は第2のコンピュータシステム(例えば、情報を送信するコンピュータシステム)は、第2のユーザの身体の状態に関する直接情報が第1の時間量にわたって受信されないことを決定する)が、第1の時間閾値(例えば、1秒、5秒、10秒、及び/又は30秒)よりも長く、第2の時間閾値(例えば、45秒、60秒、90秒、及び/又は120秒)よりも短い第1の時間量にわたって受信されないという判定に従って、第1のコンピュータシステム(例えば、101、700、及び/又は1000)は、1つ以上の表示生成構成要素(例えば、120、704、722、722b、及び/又は1000a)を介して、第1の忠実度よりも低い第2の忠実度(例えば、図10Bに示される第2の忠実度)で第2のユーザ(例えば、1004)の表現(例えば、1002)(例えば、第2のユーザの表現の少なくとも一部分)を表示する(1108)(例えば、第2のユーザの表現の一部分は、非ゼロのぼかし量で表示される)。
【0303】
第2のユーザの身体(例えば、第2のユーザの身体の少なくとも一部分)の状態(例えば、ポジション、配向、姿勢、及び/又はポーズ)に関する直接情報(例えば、第2のユーザの身体の状態に関する情報を含む、第2のコンピュータシステムと通信している1つ以上のセンサを介してキャプチャされた情報は、第2のユーザの身体の少なくとも一部分のポジション、配向、姿勢、及び/又はポーズを示すデータを含まない)が、第1の時間閾値よりも長く、第2の時間閾値よりも長い第2の時間量(例えば、45秒、60秒、90秒、及び/又は120秒)にわたって受信されないという判定に従って(例えば、第1のコンピュータシステム(例えば、情報を受信するコンピュータシステム)及び/又は第2のコンピュータシステム(例えば、情報を送信するコンピュータシステム)は、第2のユーザの身体の状態に関する直接情報が第2の時間量にわたって受信されないと判定する)、第1のコンピュータシステム(例えば、101、700、及び/又は1000)が、1つ以上の表示生成構成要素(例えば、120、704、722、722b、及び/又は1000a)を介して、第2の忠実度よりも低い第3の忠実度(例えば、図10Cに示す第3の忠実度)で第2のユーザ(例えば、1004)の表現(例えば、1002)(例えば、第2のユーザの表現の少なくとも一部分)を表示する(1110)(例えば、第2のユーザの表現の一部分は、第2の忠実度のぼかし量よりも大きいゼロではないぼかし量で表示される)(例えば、オーディオ存在モード、第2のユーザが、擬人化特徴を有さない、及び/又は無生物物質であるレンダリング(例えば、アイコン、モノグラム)によってエクステンデッドリアリティ環境内で表現されるモード)。
【0304】
第2のユーザの身体の状態に関する直接情報が第1の時間量にわたって受信されないという判定に従って、第2の忠実度で第2のユーザの表現を表示すること、及び第2のユーザの身体の状態に関する直接情報が第2の時間量にわたって受信されないという判定に従って、第3の忠実度で第2のユーザの表現を表示することは、第2のユーザの身体の状態に関する直接情報が個別の時間量にわたって受信されない場合であっても、第1のコンピュータシステムが第2のユーザの表現を表示し続けることを可能にし、それによって、第1のコンピュータシステム及び第2のコンピュータシステムを介した第1のユーザと第2のユーザとの間の通信を改善する。
【0305】
いくつかの実施形態では、エクステンデッドリアリティ環境(例えば、1008)において第2のユーザ(例えば、1004)の表現(例えば、1002)を表示することは、第1のコンピュータシステム(例えば、101、700、及び/又は1000)が、第1のユーザとのリアルタイム通信セッション中に第2のユーザ(例えば、1004)の表現(例えば、1002)を表示することを含む。いくつかの実施形態では、第2のユーザ(例えば、1004)の表現(例えば、1002)は、第2のコンピュータシステムと通信する表示生成構成要素を介して(例えば、第1のコンピュータシステムと通信する1つ以上の表示生成構成要素を介した第2のユーザの表現の表示と同時に)表示される。リアルタイム通信セッション中にエクステンデッドリアリティ環境内に第2のユーザの表現を表示することは、第2のユーザの身体の状態に関する直接情報が個別の時間量にわたって受信されない場合であっても、第1のコンピュータシステムが第2のユーザの表現を表示することを可能にし、それによって、第1のコンピュータシステム及び第2のコンピュータシステムを介した第1のユーザと第2のユーザとの間の通信を改善する。
【0306】
いくつかの実施形態では、第2のユーザ(例えば、1004)の身体の状態に関する直接情報の量が変化していない(例えば、第1のコンピュータシステム及び/又は第2のコンピュータシステムが、第2のユーザの身体の状態に関する直接情報の量が維持されている、及び/又は変化していないと判定する)ことに応じて、第1のコンピュータシステム(例えば、101、700、及び/又は1000)は、第1の忠実度(例えば、図10Aに示される第1の忠実度)でエクステンデッドリアリティ環境(例えば、1008)における第2のユーザ(例えば、1004)の表現(例えば、1002)の表示を維持する(例えば、第2の忠実度及び/又は第3の忠実度で第2のユーザの表現を表示しない)。第2のユーザの身体の状態に関する直接情報の量が変化しないことに応じて、第1の忠実度でエクステンデッドリアリティ環境内に第2のユーザの表現を表示することを維持することは、第2のユーザの身体の状態に関する直接情報が利用可能であるとき、第1のコンピュータシステムが第2のユーザのより正確な表現を表示することを可能にし、それによって、第1のコンピュータシステム及び第2のコンピュータシステムを介した第1のユーザと第2のユーザとの間の通信を改善する。
【0307】
いくつかの実施形態では、第2の忠実度(例えば、図10Bに示す第2の忠実度)で第2のユーザ(例えば、1004)の表現(例えば、1002)を表示することは、第1のコンピュータシステム(例えば、101、700、及び/又は1000)が、1つ以上の擬人化特徴(例えば、1002a~1002f)(例えば、顔及び/又は手)で第2のユーザ(例えば、1004)の表現(例えば、1002)を表示することを含む。第2の忠実度よりも低い第3の忠実度(例えば、図10Cに示される第3の忠実度)で第2のユーザ(例えば、1004)の表現(例えば、1002)を表示することは、第1のコンピュータシステム(例えば、101、700、及び/又は1000)が、1つ以上の表示生成構成要素(例えば、120、704、722、722b、及び/又は1000a)を介して、1つ以上の擬人化特徴(例えば、1002a~1002f)の個別の擬人化特徴を有さない(例えば、1つ以上の手なしに、かつ/又は顔なしに)第2のユーザ(例えば、1004)の表現(例えば、1002)を表示することを含む。いくつかの実施形態では、第3の忠実度(例えば、図10Cに示される第3の忠実度)で第2のユーザ(例えば、1004)の表現(例えば、1002)を表示することは、第1のコンピュータシステム(例えば、101、700、及び/又は1000)が、プレゼンテーションモード(例えば、オーディオ存在モード、第1のユーザが、擬人化特徴を有さない、かつ/又は無生物物質であるレンダリング(例えば、アイコン、モノグラム)によってエクステンデッドリアリティ環境内で表現されるモード)で第2のユーザ(例えば、1004)の表現(例えば、1002)を表示することを含み、第2のユーザ(例えば、1004)の表現(例えば、1002)は、プレゼンテーションモードにある間、第2のユーザ(例えば、1004)の移動の変化に視覚的に反応しない形状(例えば、外観、幾何学的形状(例えば、ディスク又は球形、立方体、直方体))を有する(例えば、プレゼンテーションモードにあるとき、第2のユーザの表現は、物理的環境及び/又はエクステンデッドリアリティ環境内で検出される第2のユーザの身体の移動に応じて視覚的に反応しない)。
【0308】
1つ以上の擬人化特徴のうちの個別の擬人化特徴を有さない第2のユーザの表現を表示することは、第2のユーザの身体の状態に関する直接情報が第2の時間量にわたって受信されないときでも、コンピュータシステムが第2のユーザの表現を表示し続けることを可能にし、それによって、第1のコンピュータシステム及び第2のコンピュータシステムを介した第1のユーザと第2のユーザとの間の通信を改善する。
【0309】
いくつかの実施形態では、1つ以上の擬人化特徴(例えば、1002a~1002f)(例えば、オーディオ存在モード、第1のユーザが、擬人化特徴を有していない、及び/又は無生物物質であるレンダリング(例えば、アイコン、モノグラム)によってエクステンデッドリアリティ環境内に表されるモード)の個別の擬人化特徴なしに第2のユーザ(例えば、1004)の表現(例えば、1002)を表示することは、第1のコンピュータシステム(例えば、101、700、及び/又は1000)が、第2のユーザ(例えば、1004)の表現(例えば、1002)が1つ以上の擬人化特徴(例えば、1002a~1002f)とともに表示されるときに表示される第2のユーザ(例えば、1004)の表現(例えば、1002)の第2のサイズ(例えば、1つ以上の表示生成構成要素の縁部及び/又はサイズに対して、及び/又はエクステンデッドリアリティ環境内の1つ以上のオブジェクトに対して)よりも小さい第1のサイズ(例えば、1つ以上の表示生成構成要素の縁部及び/又はサイズに対して、及び/又はエクステンデッドリアリティ環境内の1つ以上のオブジェクトに対して)で第2のユーザ(例えば、1004)の表現(例えば、1002)を表示することを含む(例えば、第2のユーザの表現が第1の忠実度及び/又は第2の忠実度で表示される場合)。
【0310】
第2のユーザの表現が1つ以上の擬人化特徴とともに表示されるときに表示される第2のユーザの表現の第2のサイズよりも小さい第1のサイズを有する1つ以上の擬人化特徴のうちの個別の擬人化特徴を有さない第2のユーザの表現を表示することは、第2のユーザの表現を表示するためにコンピュータシステムによって必要とされる処理能力の量を低減する。
【0311】
いくつかの実施形態では、1つ以上の擬人化特徴(例えば、1002a~1002f)(例えば、顔及び/又は手)を有する第2のユーザ(例えば、1004)の表現(例えば、1002)を表示することは、第1のコンピュータシステム(例えば、101、700、及び/又は1000)が、第2のユーザ(例えば、1004)の表現(例えば、1002)の第1の部分(例えば、外周部分及び/又は第2のユーザの表現とエクステンデッドリアリティ環境との間の境界を含む部分)を第4の視覚的忠実度(例えば、第2のユーザの身体の状態に関する情報に基づいて表現の第1の推定された状態を示すぼかし、不透明度、色、減衰/密度、及び/又は解像度の量)で表示することを含む。1つ以上の擬人化特徴(例えば、1002a~1002f)の個別の擬人化特徴を伴わない第2のユーザ(例えば、1004)の表現(例えば、1002)を表示すること(例えば、オーディオ存在モード、擬人化特徴を有さない及び/又は無生物物質であるレンダリング(例えば、アイコン、モノグラム)によってエクステンデッドリアリティ環境内に第1のユーザが表現されるモード)は、第4の忠実度よりも低い第5の視覚的忠実度で第2のユーザ(例えば、1004)の表現(例えば、1002)の第1の部分(例えば、第2のユーザの表現とエクステンデッドリアリティ環境との間の境界を含む外周部分及び/又は部分)を表示する第1のコンピュータシステム(例えば、101、700、及び/又は1000)を含む(例えば、第2のユーザの表現の第1の部分は、第4の忠実度のぼかし量よりも大きい非ゼロのぼかし量で表示される)。
【0312】
第5の視覚的忠実度で第2のユーザの表現の第1の部分を表示することは、第2のユーザの表現を表示するためにコンピュータシステムによって必要とされる処理能力の量を低減する。
【0313】
いくつかの実施形態では、第1の忠実度(例えば、図10Aに示される第1の忠実度)で第2のユーザ(例えば、1004)の表現(例えば、1002)を表示することは、第1のコンピュータシステム(例えば、101、700、及び/又は1000)が、表示生成構成要素(例えば、120、704、722、722b、及び/又は1000a)を介して、第1の精度で第2のユーザ(例えば、1004)の表現(例えば、1002)を表示する(例えば、第2のユーザの身体的特徴を模倣及び/又は類似することが意図される1つ以上の第1の身体的特徴を有する第2のユーザの表現を表示することであって、1つ以上の第1の身体的特徴は、第2のユーザの1つ以上の検出された身体的特徴(例えば、第2のユーザの身体の1つ以上のキャプチャされた身体的特徴)に基づく)ことを含む。第2の忠実度(例えば、図10Bに示す第2の忠実度)で第2のユーザ(例えば、1004)の表現(例えば、1002)を表示することは、第1のコンピュータシステム(例えば、101、700、及び/又は1000)が、表示生成構成要素(例えば、120、704、722、722b、及び/又は1000a)を介して、第1の精度よりも低い第2の精度で第2のユーザ(例えば、1004)の表現(例えば、1002)を表示すること(例えば、1つ以上の第1の身体的特徴と比較して、ぼかしの増加、粒子サイズの増加、及び/又は透明度の増加など、精度の低い1つ以上の第2の身体的特徴を有する第2のユーザの表現を表示すること)を含む(いくつかの実施形態では、1つ以上の第2の身体的特徴は、第2のユーザの1つ以上の検出された身体的特徴(例えば、第2のユーザの身体の1つ以上のキャプチャされた身体的特徴)に基づく)。
【0314】
第1の精度よりも低い第2の精度で第2のユーザの表現を表示することは、第2のユーザの身体の状態に関する直接情報が第1の時間量にわたって受信されないときでも、コンピュータシステムが第2のユーザの表現を表示し続けることを可能にし、それによって、第1のコンピュータシステム及び第2のコンピュータシステムを介した第1のユーザと第2のユーザとの間の通信を改善する。
【0315】
いくつかの実施形態では、第1のコンピュータシステム(例えば、101、700、及び/又は1000)は、ユーザ(例えば、1004)の個別のタイプの移動(例えば、ユーザが位置する物理的環境内のユーザの身体の移動、又はユーザの身体に対するユーザの付属物の移動)を検出する。ユーザ(例えば、1004)の個別のタイプの移動を検出したことに応じて、第2のユーザ(例えば、1004)の表現(例えば、1002)が第1の忠実度(例えば、図10Aに示される第1の視覚的忠実度)で表示されているという判定に従って、第1のコンピュータシステム(例えば、101、700、及び/又は1000)は、1つ以上の表示生成構成要素(例えば、120、704、722、722b、及び/又は1000a)を介して、ユーザ(例えば、1004)の個別のタイプの移動に基づいて、第2のユーザ(例えば、1004)の表現(例えば、1002)の移動を表示する。ユーザ(例えば、1004)の個別のタイプの移動を検出したことに応じて、第2のユーザ(例えば、1004)の表現(例えば、1002)が第2の忠実度(例えば、図10Bに示される第2の視覚的忠実度)で表示されているという判定に従って、第1のコンピュータシステム(例えば、101、700、及び/又は1000)は、ユーザ(例えば、1004)の個別のタイプの移動に基づいて、表現(例えば、1002)の移動の表示を取り止める(例えば、コンピュータシステムは、第2のユーザが位置する物理的環境内の第2のユーザの物理的移動に関する情報を受信することに基づいて、エクステンデッドリアリティ環境内に第2のユーザの表現の表示を移動させない)。
【0316】
ユーザの移動の個別のタイプに基づいて第2のユーザの表現の移動を表示することを取り止めることを含む、第2の忠実度で第2のユーザの表現を表示することは、第2のユーザの表現を表示するためにコンピュータシステムによって必要とされる処理能力の量を低減する。
【0317】
いくつかの実施形態では、第1の忠実度(例えば、図10Aに示される第1の忠実度)で第2のユーザ(例えば、1004)の表現(例えば、1002)を表示することは、第1のコンピュータシステム(例えば、101、700、及び/又は1000)が、第1の平均粒子サイズを有する複数の粒子で第2のユーザ(例えば、1004)の表現(例えば、1002)を表示することを含む(例えば、第2のユーザの表現は、第2の精度と比較してより高い分解能及び/又はより大きい画素数で表示される)。第2の忠実度(例えば、図10Bに示される第2の忠実度)で第2のユーザ(例えば、1004)の表現(例えば、1002)を表示することは、第1のコンピュータシステム(例えば、101、700、及び/又は1000)が、第1の平均粒子サイズよりも大きい第2の平均粒子サイズを有する複数の粒子で第2のユーザ(例えば、1004)の表現(例えば、1002)を表示することを含む(例えば、第2のユーザの表現は、第1の精度と比較して低減された分解能及び/又は低減された画素数で表示される)。
【0318】
第1の平均粒子サイズよりも大きい第2の平均粒子サイズを含む第2の忠実度は、第2のユーザの表現を表示するためにコンピュータシステムによって必要とされる処理能力の量を低減する。
【0319】
いくつかの実施形態では、第1の忠実度(例えば、図10Aに示される第1の忠実度)は、第1のぼかし量(例えば、ゼロのぼかし及び/又は第2の精度の非ゼロのぼかし量よりも少ない非ゼロのぼかし量)を含み、第2の忠実度(例えば、図10Bに示される第2の忠実度)は、第1のぼかし量よりも多い第2のぼかし量(例えば、第1の精度のぼかし量よりも多い非ゼロのぼかし量)を含む。第1のぼかし量よりも大きい第2のぼかし量を含む第2の忠実度は、第2のユーザの表現を表示するためにコンピュータシステムによって必要とされる処理能力の量を低減する。
【0320】
いくつかの実施形態では、第2の忠実度(例えば、図10Bに示される第2の忠実度)で第2のユーザ(例えば、1004)の表現(例えば、1002)を表示することは、第1のコンピュータシステム(例えば、101、700、及び/又は1000)が、第2のユーザ(例えば、1004)の形状(例えば、第2のユーザの物理的身体のシルエットによって形成される形状)に基づく形状(例えば、第2のユーザの表現とエクステンデッドリアリティ環境の他の部分との間の境界によって形成される形状)を有する第2のユーザ(例えば、1004)の表現(例えば、1002)を表示することを含む。第2のユーザの形状に基づく形状を有する第2のユーザの表現を表示することを含む、第2の忠実度で第2のユーザの表現を表示することは、コンピュータシステムが、第2のユーザの身体の状態に関する直接情報が第1の時間量にわたって受信されないときでも、第2のユーザの表現を表示し続けることを可能にし、それによって、第1のコンピュータシステム及び第2のコンピュータシステムを介した第1のユーザと第2のユーザとの間の通信を改善する。
【0321】
いくつかの実施形態では、第2の忠実度(例えば、図10Bに示す第2の忠実度)で第2のユーザ(例えば、1004)の表現(例えば、1002)を表示している間に、第2のユーザ(例えば、1004)の身体の状態に関する直接情報の量が第2の時間量にわたって受信されないという判定(例えば、第1のコンピュータシステム(例えば、受信側コンピュータシステム)及び/又は第2のコンピュータシステム(例えば、送信側コンピュータシステム)が、第2のユーザの身体の状態に関する直接情報の量が第2の時間量にわたって受信されないと判定及び/又は検出する)に従って、第1のコンピュータシステム(例えば、101、700、及び/又は1000)は、1つ以上の表示生成構成要素(例えば、120、704、722、722b、及び/又は1000a)を介して、第2の忠実度よりも低い第3の忠実度(例えば、図10Cに示す第3の忠実度)で第2のユーザ(例えば、1004)の表現(例えば、1002)を表示する(例えば、第1のコンピュータシステムは、第2のユーザの身体の状態に関する直接情報が第2の時間量にわたって受信されないという判定に応じて、第2の忠実度で第2のユーザの表現を表示することから第3の忠実度で第2のユーザの表現を表示することに移行する)。
【0322】
第2のユーザの身体の状態に関する直接情報が第2の時間量にわたって受信されないという判定に従って、第3の忠実度で第2のユーザの表現を表示することは、第2のユーザの身体の状態に関する直接情報が第2の時間量にわたって受信されないときでも、コンピュータシステムが第2のユーザの表現を表示し続けることを可能にし、それによって、第1のコンピュータシステム及び第2のコンピュータシステムを介した第1のユーザと第2のユーザとの間の通信を改善する。
【0323】
いくつかの実施形態では、第2のユーザ(例えば、1004)の身体の状態に関する直接情報は、第2のユーザ(例えば、1004)の身体の第1の部分(例えば、1004d及び/又は1004e)(例えば、手、腕、腰、胴体、及び/又は脚などの、第2のユーザの首及び/又は肩の下の第2のユーザの身体の部分)の状態に関する直接情報を含み、第2のユーザ(例えば、1004)の身体の状態に関する直接情報は、第2のユーザ(例えば、1004)の身体の第1の部分(例えば、1004d及び/又は1004e)とは異なる、第2のユーザ(例えば、1004)の身体の第2の部分(例えば、1004b、1004c、1004g、及び/又は1004f)(例えば、頭部及び/又は顔などの、第2のユーザの首及び/又は肩の上の第2のユーザの身体の部分)の状態に関する直接情報を含まない。いくつかの実施形態では、第2のユーザ(例えば、1004)の表現(例えば、1002)を第2の忠実度(例えば、図10Bに示す第2の忠実度)で表示することは、第1のコンピュータシステム(例えば、101、700、及び/又は1000)が、第2のユーザ(例えば、1004)の身体の第1の部分(例えば、1002d及び/又は1002e)に関連付けられた第2のユーザ(例えば、1004)の表現(例えば、1002)の第1の部分(例えば、1004d及び/又は1004e)を第2の忠実度(例えば、図10Bに示す第2の忠実度)で表示することと、第2のユーザ(例えば、1004)の身体の第2の部分(例えば、1002b、1002c、1002g、及び/又は1002f)に関連付けられた第2のユーザ(例えば、1004)の表現(例えば、1002)の第2の部分(例えば、1004b、1004c、1004g、及び/又は1004f)を第1の忠実度(例えば、図10Aに示す第1の忠実度)で表示することとを含む。いくつかの実施形態では、第3の忠実度(例えば、図10Cに示す第3の忠実度)で第2のユーザ(例えば、1004)の表現(例えば、1002)を表示することは、第1のコンピュータシステム(例えば、101、700、及び/又は1000)が、第3の忠実度(例えば、図10Cに示す第3の忠実度)で第2のユーザ(例えば、1004)の身体の第1の部分(例えば、1004d及び/又は1004e)に関連付けられた第2のユーザ(例えば、1004)の表現(例えば、1002)の第1の部分(例えば、1002d及び/又は1002e)を表示することと、第1のコンピュータシステム(例えば、101、700、及び/又は1000)が、第2のユーザ(例えば、1004)の身体の第2の部分(例えば、1002b、1002c、1002g、及び/又は1002f)に関連付けられた第2のユーザ(例えば、1002)の表現(例えば、1002)の第2の部分(例えば、1004b、1004c、1004g、及び/又は1004f)を、第1の忠実度(例えば、図10Aに示される第1の忠実度)及び/又は第2の忠実度(例えば、図10Bに示される第2の忠実度)で表示することと、を含む。
【0324】
第2のユーザの身体の第1の部分の状態に関する直接情報を含むが、第2のユーザの身体の第2の部分の状態に関する直接情報を含まない、第2のユーザの身体の状態に関する直接情報は、コンピュータシステムが、第2のユーザの表現が第2のユーザの身体の少なくとも一部分の状態をより正確に表すように、利用可能な情報に基づいて、第2のユーザの表現の外観を調整することを可能にし、それによって、第1のコンピュータシステム及び第2のコンピュータシステムを介した第1のユーザと第2のユーザとの間の通信を改善する。
【0325】
図12は、いくつかの実施形態による、ユーザの表現の口表現を表示するための例示的な方法1200のフロー図である。いくつかの実施形態では、方法1200は、1つ以上の表示生成構成要素(例えば、120、704、722、722b、及び/又は1000a)(例えば、視覚出力デバイス、3Dディスプレイ、画像が投影され得る透明又は半透明である少なくとも一部分を有するディスプレイ(例えば、シースルーディスプレイ)、プロジェクタ、ヘッドアップディスプレイ、ディスプレイコントローラ)を含む、第1のコンピュータシステム(例えば、101、700、及び/又は1000)(例えば、スマートフォン、タブレット、ヘッドマウント表示生成構成要素)において行われる(いくつかの実施形態では、第1のコンピュータシステムは、第2のユーザ(例えば、第2のユーザ(例えば、第1のコンピュータシステムの第1のユーザと通信セッション(例えば、エクステンデッドリアリティ及び/又はビデオ会議)中であるユーザ)によって操作されている)と関連付けられる第2のコンピュータシステムと通信している)。いくつかの実施形態では、方法1200は、非一時的(又は一時的)コンピュータ可読記憶媒体に記憶され、コンピュータシステム101の1つ以上のプロセッサ202(例えば、図1の制御110)などのコンピュータシステムの1つ以上のプロセッサによって実行される命令によって管理される。方法1200のいくつかの動作は、任意選択的に、組み合わされ、かつ/又はいくつかの動作の順序は、任意選択的に、変更される。
【0326】
第1のコンピュータシステム(例えば、101、700、及び/又は1000)が第1のコンピュータシステム(例えば、101、700、及び/又は1000)の第1のユーザ(例えば、第2の表現1012に関連付けられたユーザ)によって使用されている間に、第1のコンピュータシステム(例えば、101、700、及び/又は1000)は、1つ以上の表示生成構成要素(例えば、120、704、722、722b、及び/又は1000a)を介して、エクステンデッドリアリティ環境(例えば、1008)において第2のユーザ(例えば、1004)(例えば、外部コンピュータシステムのユーザ)の表現(例えば、1002)(例えば、アバター、仮想アバター(例えば、アバターは、第1のユーザの少なくとも一部分の仮想表現である))を表示する(1202)(いくつかの実施形態では、仮想アバターは、エクステンデッドリアリティ環境内で、第1のユーザの代わりに表示される)。第2のユーザ(例えば、1004)の表現(例えば、1002)は、第1のコンピュータシステム(例えば、101、700、及び/又は1000)とのライブ通信セッション中に第2のコンピュータシステムによって検出された第2のユーザ(例えば、1004)の検出された移動(例えば、物理的環境内の第2のユーザの検出された移動)に基づいて移動する(例えば、エクステンデッドリアリティ環境内で移動する)。いくつかの実施形態では、第2のユーザ(例えば、1004)の表現(例えば、1002)は、第2のユーザ(例えば、1004)の表現(例えば、1002)を表示する要求を受信したことに応じて(例えば、コンピュータシステムにおけるユーザ入力に基づいて)、エクステンデッドリアリティ環境(例えば、1008)に表示される。
【0327】
エクステンデッドリアリティ環境(例えば、1008)において第2のユーザ(例えば、1004)の表現(例えば、1002)を表示している間に、第1のコンピュータシステム(例えば、101、700、及び/又は1000)は、第2のユーザ(例えば、1004)の発話(例えば、1020)(例えば、スピーチ)に対応する情報(例えば、オーディオ情報、運動情報、第2のユーザの口の状態に関する情報、及び/又は第2のコンピュータシステムによって生成された第2のユーザの表現に関する情報)(例えば、コンピュータシステムと通信しているマイクロフォン及び/又は他のオーディオ感知デバイスを介してキャプチャされたオーディオデータ)を受信する(1204)。
【0328】
第2のユーザ(例えば、1004)の発話(例えば、1020)に対応する情報を受信したことに応じて、第1のコンピュータシステム(例えば、101、700、及び/又は1000)は、第2のユーザ(例えば、1004)の発話(例えば、1020)に対応する情報に基づいて、第2のユーザ(例えば、1004)の表現(例えば、1002)の外観を更新する(1206)。
【0329】
第2のユーザ(例えば、1004)の口(例えば、1004h)の検出された物理的状態に関する情報が1つ以上の基準のセットを満たさないという判定(例えば、第1のコンピュータシステム(例えば、情報を受信するコンピュータシステム)及び/又は第2のコンピュータシステム(例えば、情報を送信するコンピュータシステム)は、第2のユーザの発話に対応する情報が、1つ以上の基準のセットを満たさない第2のユーザの口の検出された物理的状態についての情報を含むことを判定する)に従って(例えば、口の検出された物理的状態に関する情報が受信されない、口の検出された物理的状態に関する情報が発話と同じ時間に対応しない、及び/又は第2のユーザの口の検出された物理的状態に関する情報が、正確度の閾値量を下回る正確度の量を含む(例えば、情報が、口の物理的ポジション、ポーズ、配向、及び/又は表情に関するキャプチャされたデータを推測する、及び/又は含まない間接データを含む、及び/又は口のポジション、ポーズ、配向、及び/又は表情が信頼水準閾値を下回ることを示すデータ(例えば、信頼水準閾値は、データの量、既定の期間にわたるデータの量、及び/又は実際の口の状態を検出及び/又は推定することに関するデータの精度及び/又は正確度に少なくとも部分的に基づいて判定される)))、第1のコンピュータシステム(例えば、101、700、及び/又は1000)は、1つ以上の表示生成構成要素(例えば、120、704、722、722b、及び/又は1000a)を介して、第2のユーザ(例えば、1004)の表現(例えば、1002)の第1の口表現(例えば、第2のユーザの発話に対応する情報に基づいて、口のポジション、ポーズ、配向、及び/又は表情を推測、近似、外挿、及び/又は推定することによって、第2のユーザの発話に対応する情報に少なくとも部分的に基づいて生成される第2のユーザの実際の口の視覚的インジケーション)(例えば、1002p)を表示する(1208)。第1の口表現(例えば、1002p)は、第2のユーザ(例えば、1004)の発話(例えば、1020)に対応するオーディオ情報に基づいて(例えば、少なくとも部分的に基づいて、及び/又はそれのみに基づいて)生成される(例えば、コンピュータシステムは、第2のユーザの発話に対応するオーディオ情報に基づいて、第1の口表現のポジション、ポーズ、配向、及び/又は表情を推測、近似、外挿、及び/又は推定する)(いくつかの実施形態では、コンピュータシステムは、第2のユーザの発話に対応するオーディオ情報に完全に基づいて、及び/又は第2のユーザの発話に対応するオーディオ情報及び第2のユーザの口の状態に関する情報の両方に基づいて、第1の口表現を生成する)。
【0330】
第2のユーザ(例えば、1004)の口(例えば、1004h)の検出された物理的状態(例えば、ポジション、配向、ポーズ、表情、及び/又はポーズ)についての情報が1つ以上の基準のセットを満たすという判定(例えば、第1のコンピュータシステム(例えば、情報を受信するコンピュータシステム)及び/又は第2のコンピュータシステム(例えば、情報を送信するコンピュータシステム)は、第2のユーザの発話に対応する情報が、1つ以上の基準のセットを満たす、第2のユーザの口の検出された物理的状態についての情報を含むことを判定する)に従って(例えば、口の検出された物理的状態に関する情報が受信され、口の検出された物理的状態に関する情報は、発話が話された同じ時間に対応し、かつ/又は物理的口の検出された物理的状態に関する情報は、正確度の閾値量を上回る正確度の量を含む(例えば、情報は、信頼水準閾値を上回る口のポジション、ポーズ、配向、及び/又は表情を示すデータを含む(例えば、信頼水準閾値は、データの量、既定の期間にわたるデータの量、並びに/又は実際の口の状態を検出及び/若しくは推定することに関するデータの精度及び/若しくは正確度に少なくとも部分的に基づいて決定される)))、第1のコンピュータシステム(例えば、101、700、及び/又は1000)は、1つ以上の表示生成構成要素(例えば、120、704、722、722b、及び/又は1000a)を介して、第2のユーザ(例えば、1004)の表現(例えば、1002)の第2の口表現(例えば、1002h)(例えば、物理的な口のポジション、ポーズ、配向、及び/又は表情を示すデータに基づいて生成される第1のユーザの実際の口の視覚的インジケーション)を表示する(1210)。第2の口表現(例えば、1002h)は、第2の口表現(例えば、1002h)を生成するために第2のユーザ(例えば、1004)の発話(例えば、1020)に対応するオーディオ情報を使用せずに、第2のユーザ(例えば、1004)の口(例えば、1004h)の検出された物理的状態に関する情報に基づいて生成される(例えば、コンピュータシステムは、口の状態を推定及び/又は推測するために第2のユーザの発話に対応するオーディオ情報を使用せず、かつ/又は別様で、第2の口表現を生成し、エクステンデッドリアリティ環境内のポジション、ポーズ、配向、及び/又は表情を有する第2の口表現を表示するために第2のユーザの発話に対応するオーディオ情報を使用しない)。
【0331】
第2のユーザの発話に対応するオーディオ情報に基づいて生成された第2のユーザの第1の口表現を表示することは、第2のユーザの口の検出された物理的状態に関する情報が利用可能でない、かつ/又は部分的に利用可能であるときでも、第1のコンピュータシステムが第2のユーザの口表現を表示することを可能にし、それによって、第1のコンピュータシステム及び第2のコンピュータシステムを介した第1のユーザと第2のユーザとの間の通信を改善する。
【0332】
いくつかの実施形態では、エクステンデッドリアリティ環境(例えば、1008)において第2のユーザ(例えば、1004)の表現(例えば、1002)を表示することは、第1のユーザとのリアルタイム通信セッション中に第2のユーザ(例えば、1004)の表現(例えば、1002)を表示することを含む。いくつかの実施形態では、第2のユーザ(例えば、1004)の表現(例えば、1002)は、第2のコンピュータシステムと通信する表示生成構成要素を介して(例えば、第1のコンピュータシステムと通信する1つ以上の表示生成構成要素を介した第2のユーザの表現の表示と同時に)表示される。リアルタイム通信セッション中にエクステンデッドリアリティ環境内に第2のユーザの表現を表示することは、第2のユーザの口の検出された物理的状態に関する情報が利用可能ではない、かつ/又は部分的に利用可能であるときでも、第1のコンピュータシステムが第2のユーザの口表現を表示することを可能にし、それによって、第1のコンピュータシステム及び第2のコンピュータシステムを介した第1のユーザと第2のユーザとの間の通信を改善する。
【0333】
いくつかの実施形態では、第1の口表現(例えば、1002p)は、第2のユーザ(例えば、1004)の発話(例えば、1020)に対応するオーディオ情報(例えば、第2のユーザの口のポジション、ポーズ、表情、及び/又は配向の推測、近似、外挿、及び/又は推定された画像)に基づいて生成された第1の部分(例えば、口の第1の画像及び/又は複数の画像)と、第2のユーザ(例えば、1004)の口(例えば、1004h)の検出された物理的状態に関する情報(例えば、第2のユーザの口の検出された物理的状態に関する直接情報に基づく、及び/又は第2のユーザの口の検出された物理的状態に関する間接情報に基づく、第2のユーザの口のポジション、ポーズ、表情、及び/又は配向の検出、キャプチャしかつ/又は推定された画像)に基づいて生成された第2の部分(例えば、口の第2の画像及び/又は複数の画像)とを含む。第1の部分及び第2の部分は、第1の口表現(例えば、1002p)を形成するために組み合わされる(例えば、互いにオーバーレイされる、及び/又は一緒にマージされる)。第2のユーザの発話に対応するオーディオ情報に基づいて生成された第1の部分と、第2のユーザの口の検出された物理的状態に関する情報に基づいて生成された第2の部分とを有する第2のユーザの第1の口表現を表示することは、第1のコンピュータシステムが、第1のコンピュータシステムに利用可能な情報に基づいて第2のユーザの正確な口表現を表示することを可能にし、それによって、第1のコンピュータシステム及び第2のコンピュータシステムを介した第1のユーザと第2のユーザとの間の通信を改善する。
【0334】
いくつかの実施形態では、第2の部分は、静的である(例えば、第1の口表現の第2の部分は、第2のユーザの表現の他の部分に対して、及び/又はエクステンデッドリアリティ環境に対して移動せず、かつ/又は第1の口表現の第2の部分は、第2のユーザの口が移動していることを示す第2のユーザの口の検出された物理的状態に関する情報に基づいて移動しない)。第1の口表現の第2の部分を静的に表示することは、第1のコンピュータシステムが、ユーザの口のキャプチャされた及び/又は検出された身体的特徴に基づく外観を含む第2のユーザの口表現を表示することを可能にし、それによって、第1のコンピュータシステム及び第2のコンピュータシステムを介した第1のユーザと第2のユーザとの間の通信を改善する。
【0335】
いくつかの実施形態では、第2の部分は、第2のユーザ(例えば、1004)の口(例えば、1004h)の検出された物理的状態に関する情報に基づいて、移動する(例えば、第2のユーザの表現の他の部分に対して、及び/又はエクステンデッドリアリティ環境内の1つ以上のオブジェクトに対して、エクステンデッドリアリティ環境内で移動する)(例えば、第2のユーザの口の検出された物理的状態に関する情報は、第2のユーザの口が経時的に移動している(例えば、ユーザが話している、あくびをしている、口を合わせている、発話を行っている、顔の表情を変化させている、及び/又は別様に口を移動させている)ことを示す)。第2のユーザの口の検出された物理的状態に関する情報に基づいて第1の口表現の第2の部分の移動を表示することは、第1のコンピュータシステムが、第2のユーザのより正確な口表現を表示することを可能にし、それによって、第1のコンピュータシステム及び第2のコンピュータシステムを介した第1のユーザと第2のユーザとの間の通信を改善する。
【0336】
いくつかの実施形態では、第2のユーザ(例えば、1004)の発話(例えば、1020)に対応するオーディオ情報に基づいて生成される第1の部分は、第1の視覚的強調度を含み(例えば、第1の口表現は、第1の部分の第1の量を使用して生成され、及び/又は第1の口表現は、1つ以上の表示生成構成要素上で視覚的に区別可能な第1の部分の第1の量を含む)、第2のユーザ(例えば、1004)の口(例えば、1004h)の検出された物理的状態に関する情報に基づいて生成される第2の部分は、第2の視覚的強調度を含み(例えば、第1の口表現は、第2の部分の第2の量を使用して生成され、及び/又は第1の口表現は、1つ以上の表示生成構成要素上で視覚的に区別可能な第2の部分の第2の量を含む)、第1の視覚的強調度及び第2の視覚的強調度の相対的な大きさは、第2のユーザ(例えば、1004)の口(例えば、1004h)の検出された物理的状態に関する情報に基づいている(例えば、第1の口表現は、第1の部分の第1の量及び第2の部分の第2の量を使用して生成され、第1の部分の第1の量及び第2の部分の第2の量は、第2のユーザの口の検出された物理的状態に関する情報に基づいて判定される)。いくつかの実施形態では、第1の口表現(例えば、1002p)は、第2のユーザ(例えば、1004)の口(例えば、1004h)の検出された物理的状態に関する情報が、閾値よりも小さい信頼水準及び/又は精度を含むとき、第2の部分よりも多い量の第1の部分を使用して生成される。いくつかの実施形態では、第1の口表現(例えば、1002p)は、第2のユーザ(例えば、1004)の口(例えば、1004h)の検出された物理的状態に関する情報が、閾値よりも大きい信頼水準及び/又は正確度を含むとき、第1の部分より多い量の第2の部分を使用して生成される。
【0337】
第1の部分が第1の視覚的強調度を有し、第2の部分が第2の視覚的強調度を有する状態で第2のユーザの第1の口表現を表示することは、第1のコンピュータシステムが、第1のコンピュータシステムに利用可能な情報に基づいて第2のユーザの正確な口表現を表示することを可能にし、それによって、第1のコンピュータシステム及び第2のコンピュータシステムを介した第1のユーザと第2のユーザとの間のコミュニケーションを改善する。
【0338】
いくつかの実施形態では、第1の視覚的強調度及び第2の視覚的強調度の相対的な大きさは、第2のユーザ(例えば、1004)の口(例えば、1004h)の検出された物理的状態に関する情報に基づいて変化する(例えば、第1の口表現は経時的に変化し、第1の口表現を生成するために使用される第1の部分及び第2の部分の量は、第2のユーザの口の検出された物理的状態に関する情報の信頼水準及び/又は精度に基づいて変化する)。いくつかの実施形態では、第2のユーザ(例えば、1004)の口(例えば、1004h)の検出された物理的状態に関する情報が、閾値よりも小さい信頼水準及び/又は精度を含むとき、第1の視覚的強調度の第1の大きさは増加し、第2の視覚的強調度の第2の大きさは減少する(例えば、第1の大きさは第2の大きさよりも大きい)。いくつかの実施形態では、第2のユーザ(例えば、1004)の口(例えば、1004h)の検出された物理的状態に関する情報が、閾値よりも大きい信頼水準及び/又は精度を含むとき、第1の視覚的強調度の第1の大きさは減少し、第2の視覚的強調度の第2の大きさは増加する(例えば、第1の大きさは第2の大きさ未満である)。
【0339】
第2のユーザの口の検出された物理的状態に関する情報に基づいて第1の視覚的強調度及び第2の視覚的強調度を変更することは、第1のコンピュータシステムが、第1のコンピュータシステムに利用可能な情報に基づいて第2のユーザの正確な口表現を表示することを可能にし、それによって、第1のコンピュータシステム及び第2のコンピュータシステムを介した第1のユーザと第2のユーザとの間の通信を改善する。
【0340】
いくつかの実施形態では、第1のコンピュータシステム(例えば、101、700、及び/又は1000)は、第2のユーザ(例えば、1004)の発話(例えば、1020)に対応するオーディオ情報に基づいて、第2のユーザ(例えば、1004)の口(例えば、1004h)の検出された物理的状態に関する情報の精度を判定する(例えば、第1の口表現及び/又は第2の口表現を生成するために使用され得る第2のユーザの口の検出された物理的状態に関する情報の信頼水準、精度、及び/又は精密度が、第2のユーザの発話に対応するオーディオ情報に基づいて(例えば、第1のコンピュータシステム及び/又は第2のコンピュータシステムを介して)判定される)。いくつかの実施形態では、第2のユーザ(例えば、1004)の口(例えば、1004h)の検出された物理的状態に関する情報は、第2のユーザ(例えば、1004)の発話(例えば、1020)に対応するオーディオ情報と比較され、第2のユーザ(例えば、1004)の口(例えば、1004h)の検出された物理的状態に関する情報が、第2のユーザ(例えば、1004)の発話(例えば、1020)に対応するオーディオ情報と一致するかどうかを判定し、第2のユーザ(例えば、1004)の口(例えば、1004h)の検出された物理的状態に関する情報の信頼水準及び/又は精度を判定する。例えば、第2のユーザ(例えば、1004)の発話(例えば、1020)に対応するオーディオ情報が、第2のユーザ(例えば、1004)が話していることを示すとき、第2のユーザ(例えば、1004)の口(例えば、1004h)の検出された物理的状態に関する情報は、第2のユーザ(例えば、1004)の口(例えば、1004h)の検出された物理的状態に関する情報が、第2のユーザ(例えば、1004)の発話(例えば、1020)に対応するオーディオ情報と一致する第2のユーザ(例えば、1004)の口(例えば、1004h)の移動(例えば、検出された発話を行うために検出されることが予期されるであろう口形状)を示すかどうかを判定するために査定される。いくつかの実施形態では、第2のユーザ(例えば、1004)の口(例えば、1004h)の検出された物理的状態に関する情報が、第2のユーザ(例えば、1004)の発話(例えば、1020)に対応するオーディオ情報に対応及び/又は一致しないとき、口(例えば、1004h)の検出された物理的状態に関する情報の信頼水準及び/又は精度は、第2のユーザ(例えば、1004)の口(例えば、1004h)の検出された物理的状態に関する情報が、第2のユーザ(例えば、1004)の発話(例えば、1020)に対応するオーディオ情報に対応及び/又は一致するときよりも低くなるように低減及び/又は決定される。
【0341】
第2のユーザの発話に対応するオーディオ情報に基づいて、第2のユーザの口の検出された物理的状態に関する情報の精度を判定することは、第1のコンピュータシステムが、第1のコンピュータシステムに利用可能な情報に基づいて、第2のユーザの正確な口表現を表示することを可能にし、それによって、第1のコンピュータシステム及び第2のコンピュータシステムを介した第1のユーザと第2のユーザとの間の通信を改善する。
【0342】
いくつかの実施形態では、第2のユーザ(例えば、1004)の表現(例えば、1002)の第1の口表現(例えば、1002p)を表示している間に、1つ以上の基準の第2のセットが満たされる(例えば、第2のユーザの表現の頭部表現及び/又は第2のユーザの表現の別の部分が非ゼロの量の透明度を含む、及び/又は第1の口表現が開いている及び/又は部分的に開いているように表示される)という判定に従って、第1のコンピュータシステム(例えば、101、700、及び/又は1000)は、1つ以上の表示生成構成要素(例えば、120、704、722、722b、及び/又は1000a)を介して、第2のユーザ(例えば、1004)の口(例えば、1002i)の表現の第1の部分(例えば、内側部分)を、口(例えば、1002i)の表現の第1の部分とは異なる口(例えば、1002j)の表現の第2の部分(例えば、外側部分)の第2の透明度とは異なる(例えば、より大きい又はより小さい)第1の透明度で表示する(例えば、第1の口表現は、第1の口表現の背後に位置決めされるエクステンデッドリアリティ環境の少なくとも一部分が、第1の口表現を通して可視である、部分的に可視である、部分的に覆われていない、かつ/又は区別可能であるように、非ゼロの量の透明度を含む)。
【0343】
1つ以上の基準の第2のセットが満たされるという判定に従って、第1の透明度を有する口表現の第1の部分を表示することは、第1のコンピュータシステムが、第2のユーザの表現の他の部分及び/又はエクステンデッドリアリティ環境と融合する第2のユーザの口表現を表示することを可能にし、それによって、第1のコンピュータシステム及び第2のコンピュータシステムを介した第1のユーザと第2のユーザとの間の通信を改善する。
【0344】
図13は、いくつかの実施形態による、ユーザの表現の毛表現を表示するための例示的な方法1300のフロー図である。いくつかの実施形態では、方法1300は、1つ以上の表示生成構成要素(例えば、120、704、722、722b、及び/又は1000a)(例えば、視覚出力デバイス、3Dディスプレイ、画像が投影され得る透明又は半透明である少なくとも一部分を有するディスプレイ(例えば、シースルーディスプレイ)、プロジェクタ、ヘッドアップディスプレイ、ディスプレイコントローラ)を含む、第1のコンピュータシステム(例えば、101、700、及び/又は1000)(例えば、スマートフォン、タブレット、ヘッドマウント表示生成構成要素)において行われる(いくつかの実施形態では、第1のコンピュータシステムは、第2のユーザ(例えば、第2のユーザ(例えば、第1のコンピュータシステムの第1のユーザと通信セッション(例えば、エクステンデッドリアリティ及び/又はビデオ会議)中であるユーザ)によって操作されている)と関連付けられる第2のコンピュータシステムと通信している)。いくつかの実施形態では、方法1300は、非一時的(又は一時的)コンピュータ可読記憶媒体に記憶され、コンピュータシステム101の1つ以上のプロセッサ202(例えば、図1の制御110)などのコンピュータシステムの1つ以上のプロセッサによって実行される命令によって管理される。方法1300のいくつかの動作は、任意選択的に、組み合わされ、かつ/又はいくつかの動作の順序は、任意選択的に、変更される。
【0345】
第1のコンピュータシステム(例えば、101、700、及び/又は1000)が第1のコンピュータシステム(例えば、101、700、及び/又は1000)の第1のユーザ(例えば、第2の表現1012に関連付けられたユーザ)によって使用されている間に、第1のコンピュータシステム(例えば、101、700、及び/又は1000)は、1つ以上の表示生成構成要素(例えば、120、704、722、722b、及び/又は1000a)を介して、エクステンデッドリアリティ環境(例えば、1008)において第2のユーザ(例えば、1004)(例えば、外部コンピュータシステムのユーザ)の表現(例えば、1002)(例えば、アバター、仮想アバター(例えば、アバターは、第1のユーザの少なくとも一部分の仮想表現である))を表示する(1302)(いくつかの実施形態では、仮想アバターは、エクステンデッドリアリティ環境内で、第1のユーザの代わりに表示される)(いくつかの実施形態では、第1のユーザの表現は、第1のユーザの表現を表示する要求を(例えば、コンピュータシステムにおけるユーザ入力に基づいて)受信したことに応じて、エクステンデッドリアリティ環境内に表示される)。第2のユーザ(例えば、1004)の表現(例えば、1002)は、第1のコンピュータシステム(例えば、101、700、及び/又は1000)とのライブ通信セッション中に第2のコンピュータシステムによって検出された第2のユーザ(例えば、1004)の検出された移動(例えば、物理的環境内の第2のユーザの検出された移動)に基づいて移動する(例えば、エクステンデッドリアリティ環境内で移動する)。
【0346】
第2のユーザ(例えば、1004)の表現(例えば、1002)は、第2のユーザ(例えば、1004)の毛(例えば、1002k及び/又は1002l)の視覚的表現(例えば、エクステンデッドリアリティ環境内に表示される第2のユーザの毛を表す画像であって、第2のユーザの毛を表す画像は、第2のコンピュータシステムと通信しているカメラを介してキャプチャされた実際の画像ではない)を含む(1304)。
【0347】
毛(例えば、1002k及び/又は1002l)の視覚的表現は、第2のユーザ(例えば、1004)の個別の身体部分(例えば、1004g、1004m、1004n、及び/又は1004o)に対応する第2のユーザ(例えば、1004)の表現(例えば、1002)の一部分(例えば、1002g、1002m、1002n、及び/又は1002o)から第1の距離(例えば、距離1024内)に位置決めされた毛(例えば、1002k及び/又は1002l)の表現(例えば、第2のユーザの身体に近い及び/又は接続された第2のユーザの毛の1つ以上のストランドの第1の部分の表現)(例えば、第2のユーザの毛ではない第2のユーザの身体部分の表現)の第1の部分(例えば、1022a)を含む(1306)。毛の表現(例えば、1002k及び/又は1002l)の第1の部分(例えば、1022a)は、第1の視覚的忠実度(例えば、第2のユーザに関する情報に基づいて、毛の表現の第1の推定された状態を示す、ぼかし度、不透明度、色、減衰/密度、及び/又は解像度の量)を含む。いくつかの実施形態では、第1のコンピュータシステム(例えば、101、700、及び/又は1000)(例えば、情報を受信するコンピュータシステム)及び/又は第2のコンピュータシステム(例えば、情報を伝送するコンピュータシステム)は、第1の視覚的忠実度を含む、毛の表現(例えば、1002k及び/又は1002l)の第1の部分(例えば、1022a)を判定する。
【0348】
毛の視覚的表現(例えば、1002k及び/又は1002l)は、第2のユーザ(例えば、1004)の個別の身体部分(例えば、1004g、1004m、1004n、及び/又は10054o)に対応する第2のユーザ(例えば、1004)の表現(例えば、1002)の一部分(例えば、1002g、1002m、1002n、及び/又は1002o)から第1の距離よりも大きい第2の距離(例えば、距離1024を超える)に位置決めされる(例えば、第2のユーザの身体から離れて延在する、及び/又はそこから離れて位置決めされた第2のユーザの毛の1本又はそれよりも大きいストランドの第2の部分の表現である)毛の表現(例えば、1002k及び/又は1002l)の第2の部分(例えば、1022b)を含む(1308)。毛の表現(例えば、1002k及び/又は1002l)の第2の部分(例えば、1022b)は、第1の視覚的忠実度よりも低い第2の視覚的忠実度(例えば、第2のユーザに関する情報に基づいて毛の表現の第2の推定状態を示すぼかし度、不透明度、色、減衰/密度、及び/又は解像度の量)を含む(例えば、第2の部分は、非ゼロのぼかし量で表示され、及び/又は第2の部分は、第1の部分と比較して増加した量の透明度で表示される)。いくつかの実施形態では、第2のユーザ(例えば、1004)の毛(例えば、1002k及び/又は1002l)の視覚的インジケーションは、顔の毛に対応する。いくつかの実施形態では、第2のユーザ(例えば、1004)の毛(例えば、1002k及び/又は1002l)の視覚的インジケーションは、ユーザ(例えば、1004)の身体からの毛の距離に基づいて変化する可変量の視覚的忠実性(例えば、可変量の精度及び/又は明瞭性)で表示される(例えば、第1のユーザの身体に近い及び/又は接触している第1のユーザの毛の房の第1の部分は、増加した量の視覚的忠実性で表示され、一方、第1のユーザの身体から離れた及び/又は近くないポジションにある第1のユーザの毛の房の第2の部分は、減少した量の視覚的忠実性で表示される)。いくつかの実施形態では、第1のコンピュータシステム(例えば、101、700、及び/又は1000)(例えば、情報を受信するコンピュータシステム)及び/又は第2のコンピュータシステム(例えば、情報を伝送するコンピュータシステム)は、第2の視覚的忠実度を含む、毛の表現(例えば、1002k及び/又は1002l)の第2の部分(例えば、1022b)を判定する。
【0349】
第1の視覚的忠実度で毛の表現の第1の部分を表示し、第2の視覚的忠実度で毛の表現の第2の部分を表示することは、第1のコンピュータシステムが、第2のユーザの表現の他の部分及び/又はエクステンデッドリアリティ環境の部分を妨害及び/又は遮断することなく、第2のユーザの毛の視覚的表現を表示することを可能にし、それによって、第1のコンピュータシステム及び第2のコンピュータシステムを介した第1のユーザと第2のユーザとの間の通信を改善する。
【0350】
いくつかの実施形態では、エクステンデッドリアリティ環境(例えば、1008)において第2のユーザ(例えば、1004)の表現(例えば、1002)を表示することは、第1のコンピュータシステム(例えば、101、700、及び/又は1000)が、第1のユーザとのリアルタイム通信セッション中に第2のユーザ(例えば、1004)の表現(例えば、1002)を表示することを含む。いくつかの実施形態では、第2のユーザ(例えば、1004)の表現(例えば、1002)は、第2のコンピュータシステムと通信する表示生成構成要素を介して(例えば、第1のコンピュータシステムと通信する1つ以上の表示生成構成要素を介した第2のユーザの表現の表示と同時に)表示される。リアルタイム通信セッション中にエクステンデッドリアリティ環境内に第2のユーザの表現を表示することは、第1のコンピュータシステムが、第2のユーザの表現の他の部分及び/又はエクステンデッドリアリティ環境の部分を妨害及び/又は遮断することなく、第2のユーザの毛の視覚的表現を表示することを可能にし、それによって、第1のコンピュータシステム及び第2のコンピュータシステムを介した第1のユーザと第2のユーザとの間の通信を改善する。
【0351】
いくつかの実施形態では、第2のユーザ(例えば、1004)の毛(例えば、1002l)の視覚的表現は、第2のユーザ(例えば、1004)の顔の毛(例えば、1004l)の視覚的表現(例えば、第2のユーザの顔の、及び/又は第2のユーザの顔から延びる、髭、口髭、ヤギの毛、及び/又は他の毛を示す画像)である。第2のユーザの顔の毛の視覚的表現である第2のユーザの毛の視覚的表現は、第1のコンピュータシステムが第2のユーザの顔の毛の視覚的表現を表示することを可能にし、それによって視覚的フィードバックを改善する。
【0352】
いくつかの実施形態では、第2のユーザ(例えば、1004)の毛(例えば、1002l)の視覚的表現は、第2のユーザ(例えば、1004)の髭(例えば、1004l)(例えば、第2のユーザの顔及び/若しくは首の毛、並びに/又は第2のユーザの顔及び/若しくは首から延びる毛)の視覚的表現であり、第2のユーザ(例えば、1004)の他の毛(例えば、1004k)の視覚的表現ではない(例えば、髭ではない毛の視覚的表現に適用せず、並びに/又は第2のユーザの頭頂部の上の及び/若しくは頭頂部から延びる毛、並びに/又はユーザの顔及び/若しくは首以外の第2のユーザの身体の任意の他の部分の上にある及び/若しくは任意の他の部分から延びる毛に適用しない)。第2のユーザの髭の視覚的表現である第2のユーザの毛の視覚的表現は、第1のコンピュータシステムが第2のユーザの髭の視覚的表現を表示することを可能にし、それによって視覚的フィードバックを改善する。
【0353】
いくつかの実施形態では、第1の視覚的忠実度は、第1のぼかし量(例えば、ゼロのぼかし量及び/又は第2のぼかし量よりも小さい非ゼロのぼかし量)を含み、第2の視覚的忠実度は、第1のぼかし量よりも大きい第2のぼかし量(例えば、第1のぼかし量よりも大きい(例えば、第1のぼかし量よりもぼやけた)非ゼロのぼかし量)を含む。第1のぼかし量よりも大きい第2のぼかし量を含む第2の視覚的忠実度は、第2のユーザの毛の視覚的表現を表示するためにコンピュータシステムによって必要とされる処理能力の量を低減する。
【0354】
いくつかの実施形態では、第1の視覚的忠実度は、第1の平均粒子サイズ(例えば、第2の粒子サイズと比較してより高い分解能及び/又はより大きい画素数)を伴う複数の粒子を使用して、毛(例えば、1002k及び/又は1002l)の表現を表示することを含み、第2の視覚的忠実度は、第1の平均粒子サイズよりも大きい第2の平均粒子サイズ(例えば、第1の粒子サイズと比較して低減された分解能及び/又は低減された画素数)を伴う複数の粒子を使用して、毛(例えば、1002k及び/又は1002l)の表現を表示することを含む。第1の平均粒子サイズよりも大きい第2の平均粒子サイズを含む第2の視覚的忠実度は、第2のユーザの毛の視覚的表現を表示するためにコンピュータシステムによって必要とされる処理能力の量を低減する。
【0355】
いくつかの実施形態では、第1の視覚的忠実度は、第1の量の不透明度を含み(例えば、ゼロ透明度及び/又は毛の表現の第1の部分は、毛の表現の第1の部分の背後に位置決めされた第2のユーザの表現の1つ以上の部分を完全に遮断するように表示される)、第2の視覚的忠実度は、第1の量の不透明度未満の第2の量の不透明度を含む(例えば、非ゼロの量の透明度及び/又は毛の表現の第2の部分は、毛の表現の第2の部分の背後に位置決めされた第2のユーザの表現の1つ以上の部分及び/又はエクステンデッドリアリティ環境内の1つ以上のオブジェクト及び/又は視覚的要素を部分的に覆うか、かつ/又は覆い隠すように表示される)。第1の量の不透明度よりも小さい第2の量の不透明度を含む第2の視覚的忠実度は、第2のユーザの毛の視覚的表現を表示するためにコンピュータシステムによって必要とされる処理能力の量を低減する。
【0356】
いくつかの実施形態では、第2のユーザ(例えば、1004髭)の毛(例えば、1004l)の視覚的表現は、第2のユーザ(例えば、1004)の顔の毛(例えば、1002l)の視覚的表現(例えば、第2のユーザの顔の、及び/又はそこから延在する、口髭、ヤギの毛、及び/又は他の毛を示す画像)であり、第2のユーザ(例えば、1004)の顔の毛(例えば、1002l)の視覚的表現は、部分的に透明である(例えば、エクステンデッドリアリティ環境内の第2のユーザの表現の1つ以上の部分及び/又は1つ以上のオブジェクト及び/又は視覚的要素が、顔の毛の視覚的表現を通して少なくとも部分的に可視であるように、顔の毛の視覚的表現は、ゼロではない量の透明度を含む)。第2のユーザの顔の毛の視覚的表現を部分的に透明であるものとして表示することは、第2のユーザの毛の視覚的表現を表示するためにコンピュータシステムによって必要とされる処理能力の量を低減する。
【0357】
いくつかの実施形態では、第2のユーザ(例えば、1004)の個別の身体部分(例えば、1004g)は、第2のユーザ(例えば、1004)の顔(例えば、1002g)(例えば、第2のユーザの物理的な顔の視覚的インジケーション)であり、第1の視覚的忠実度は、第1の量の透明度(例えば、ゼロの透明度及び/又は第2の量の透明度よりも小さい非ゼロの量の透明度)を含み、第2の視覚的忠実度は、第1の量の透明度よりも大きい第2の量の透明度(例えば、第1の量の透明度よりも大きい非ゼロの量の透明度)を含む。第1の量の透明度よりも大きい第2の量の透明度を含む第2の視覚的忠実度は、第1のコンピュータシステムが、第2のユーザの顔に対応する第2のユーザの表現の一部分を不明瞭化及び/又は遮断することなく、第2のユーザの毛の視覚的表現を表示することを可能にし、それによって、第1のコンピュータシステム及び第2のコンピュータシステムを介した第1のユーザと第2のユーザとの間の通信を改善する。
【0358】
いくつかの実施形態では、第2のユーザ(例えば、1004)の個別の身体部分(例えば、1004m)は、第2のユーザ(例えば、1004)の首(例えば、1002m)(例えば、第2のユーザの物理的な首の視覚的インジケーション)であり、第1の視覚的忠実度は、第1の量の透明度(例えば、ゼロの透明度及び/又は第2の量の透明度よりも小さい非ゼロの量の透明度)を含み、第2の視覚的忠実度は、第1の量の透明度よりも大きい第2の量の透明度(例えば、第1の量の透明度よりも大きい非ゼロの量の透明度)を含む。第1の量の透明度よりも大きい第2の量の透明度を含む第2の視覚的忠実度は、第1のコンピュータシステムが、第2のユーザの首に対応する第2のユーザの表現の一部分を不明瞭化及び/又は遮断することなく、第2のユーザの毛の視覚的表現を表示することを可能にし、それによって、第1のコンピュータシステム及び第2のコンピュータシステムを介した第1のユーザと第2のユーザとの間の通信を改善する。
【0359】
いくつかの実施形態では、第2のユーザの毛(例えば、1004k及び/又は1004l)が既定の長さを超える(例えば、第1の長さ及び/又は首、顔、頬、唇、及び/又は顎などの第2のユーザの物理的身体部分を示す第2のユーザの表現の一部分から測定された長さである)(いくつかの実施形態では、第1の長さは、閾値長さよりも大きい)という判定に従って、第2のユーザ(例えば、1004)の毛(例えば、1002k及び/又は1002l)の視覚的表現は、(例えば、毛を表すために第2のユーザのスキンの表現にテクスチャを適用することなく)第2のユーザの表現とは別個の毛の三次元表現(例えば、エクステンデッドリアリティ環境内で3つの別個の軸(例えば、三次元)に沿って延在するように見える体積表現)を含む(例えば、三次元表現は、第2のユーザの顔を示す第2のユーザの表現の少なくとも一部分から分離可能である)。第2のユーザ(例えば、1004)の毛(例えば、1004k及び/又は1004l)が既定の長さを超えない(例えば、第1の長さ未満の第2の長さ及び/又は首、顔、頬、唇、及び/又は顎などの第2のユーザの物理的身体部分を示す、第2のユーザの表現の一部分から測定される長さである)(いくつかの実施形態では、第2の長さは、閾値長さ未満である)という判定に従って、第2のユーザ(例えば、1004)の毛(例えば、1002k及び/又は1002l)の視覚的表現は、対応する毛の三次元表現を伴わずに、第2のユーザ(例えば、1004)の顔(例えば、1002g)の表現の上に適用される、毛のテクスチャ表現を含む(例えば、第2のユーザの表現と別個の毛の三次元表現、及び/又はエクステンデッドリアリティ環境内の3つの軸(例えば、二次元)に沿って延在しない画像を表示することなく、毛を表現するために、第2のユーザのスキンの表現にテクスチャを適用する)(いくつかの実施形態では、テクスチャ表現は、第2のユーザの表現の他の部分から分離可能ではない)。
【0360】
第2のユーザの毛が既定の長さを超えるという判定に従って、三次元表現を含み、第2のユーザの毛が既定の長さを超えないという判定に従って、テクスチャ表現を含む、第2のユーザの毛の視覚的表現は、第1のコンピュータシステムが、第2のユーザの表現の別の部分及び/又はエクステンデッドリアリティ環境の一部分を不明瞭化及び/又は遮断することなく、第2のユーザの毛の視覚的表現を表示することを可能にし、それによって、第1のコンピュータシステム及び第2のコンピュータシステムを介した第1のユーザと第2のユーザとの間の通信を改善する。
【0361】
図14は、いくつかの実施形態による、ユーザの表現の一部分を視覚的強調とともに表示するための例示的な方法1400のフロー図である。いくつかの実施形態では、方法1400は、1つ以上の表示生成構成要素(例えば、120、704、722、722b、及び/又は1000a)(例えば、視覚出力デバイス、3Dディスプレイ、画像が投影され得る透明又は半透明である少なくとも一部分を有するディスプレイ(例えば、シースルーディスプレイ)、プロジェクタ、ヘッドアップディスプレイ、ディスプレイコントローラ)を含む、第1のコンピュータシステム(例えば、101、700、及び/又は1000)(例えば、スマートフォン、タブレット、ヘッドマウント表示生成構成要素)において行われる(いくつかの実施形態では、第1のコンピュータシステムは、第2のユーザ(例えば、第2のユーザ(例えば、第1のコンピュータシステムの第1のユーザと通信セッション(例えば、エクステンデッドリアリティ及び/又はビデオ会議)中であるユーザ)によって操作されている)と関連付けられる第2のコンピュータシステムと通信している)。いくつかの実施形態では、方法1400は、非一時的(又は一時的)コンピュータ可読記憶媒体に記憶され、コンピュータシステム101の1つ以上のプロセッサ202(例えば、図1の制御110)などのコンピュータシステムの1つ以上のプロセッサによって実行される命令によって管理される。方法1400のいくつかの動作は、任意選択的に、組み合わされ、かつ/又はいくつかの動作の順序は、任意選択的に、変更される。
【0362】
第1のコンピュータシステム(例えば、101、700、及び/又は1000)が第1のコンピュータシステム(例えば、101、700、及び/又は1000)の第1のユーザ(例えば、第2の表現1012に関連付けられたユーザ)によって使用されている間に、第1のコンピュータシステム(例えば、101、700、及び/又は1000)は、1つ以上の表示生成構成要素(例えば、120、704、722、722b、及び/又は1000a)を介して、エクステンデッドリアリティ環境(例えば、1008)において第2のユーザ(例えば、1004)(例えば、外部コンピュータシステムのユーザ)の表現(例えば、1002)(例えば、アバター、仮想アバター(例えば、アバターは、第1のユーザの少なくとも一部分の仮想表現である))を表示する(1402)(いくつかの実施形態では、仮想アバターは、エクステンデッドリアリティ環境内で、第1のユーザの代わりに表示される)(いくつかの実施形態では、第1のユーザの表現は、第1のユーザの表現を表示する要求を(例えば、コンピュータシステムにおけるユーザ入力に基づいて)受信したことに応じて、エクステンデッドリアリティ環境内に表示される)。第2のユーザ(例えば、1004)の表現(例えば、1002)は、第1のコンピュータシステム(例えば、101、700、及び/又は1000)とのライブ通信セッション中に第2のコンピュータシステムによって検出された第2のユーザ(例えば、1004)の検出された移動(例えば、物理的環境内の第2のユーザの検出された移動)に基づいて移動する(例えば、エクステンデッドリアリティ環境内で移動する)。
【0363】
第2のユーザ(例えば、1004)の表現(例えば、1002)は、第2のユーザ(例えば、1004)の表現(例えば、1002)とエクステンデッドリアリティ環境(例えば、1008)の他の部分(例えば、表現のシルエットの外側部分)との間の境界に対応する第2のユーザ(例えば、1004)の表現(例えば、1002)の第1の部分(例えば、1026a及び/又は1026c)(1404)(例えば、第2のユーザの表現のシルエットの周囲を少なくとも含む外側部分)を含む。第2のユーザ(例えば、1004)の表現(例えば、1002)の第1の部分(例えば、1026a及び/又は1026c)は、第1の視覚的外観(例えば、第2のユーザの表現の第2の部分と比較して、第2のユーザの表現の第1の部分を強調する、対比する、及び/又は別様にハイライトする強調された視覚的外観)で表示される。いくつかの実施形態では、第1のコンピュータシステム(例えば、101、700、及び/又は1000)(例えば、情報を受信するコンピュータシステム)及び/又は第2のコンピュータシステム(例えば、情報を受信するコンピュータシステム)は、第1の視覚的外観を用いて表示される第2のユーザ(例えば、1004)の表現(例えば、1002)の第1の部分(例えば、1026a及び/又は1026c)を決定する。
【0364】
第2のユーザ(例えば、1004)の表現(例えば、1002)は、第2のユーザ(例えば、1004)の表現(例えば、1002)とエクステンデッドリアリティ環境(例えば、1008)の他の部分(例えば、表現のシルエットの内側部分及び/又は内部)との間の境界に対応しない、第2のユーザ(例えば、1004)の表現(例えば、1002)の第2の部分(例えば、1026b及び/又は1026d)(1406)(例えば、第2のユーザの表現のシルエットの周囲を含まない第2のユーザの表現のシルエットの内側部分)を含む。第2のユーザ(例えば、1004)の表現(例えば、1002)の第2の部分(例えば、1026b及び/又は1026e)は、第2の視覚的外観(例えば、第2のユーザの表現の第1の部分と比較して、第2のユーザの表現の第2の部分をハイライト、対比、及び/又は別様に強調しない、強調されていない及び/又は通常の視覚的外観)で表示され、第1の視覚的外観は、第2の視覚的外観と比較して強調され(例えば、第1の視覚的外観は、視覚的強調(例えば、ハイライト、増加した輝度、増加した明瞭性及び/又は視覚的忠実度、及び/又はフレネル視覚的効果)を含み、第2の視覚的外観は、視覚的強調を含まない(例えば、第2のユーザの表現の第1の部分は、第2のユーザの表現の第2の部分と比較して視覚的に強調される))。いくつかの実施形態では、第1のコンピュータシステム(例えば、101、700、及び/又は1000)(例えば、情報を受信するコンピュータシステム)及び/又は第2のコンピュータシステム(例えば、情報を送信するコンピュータシステム)は、第2の視覚的外観を用いて表示される第2のユーザ(例えば、1004)の表現(例えば、1002)の第2の部分(例えば、1026b及び/又は1026d)を決定する。
【0365】
第2のユーザの表現と第1の視覚的外観を有するエクステンデッドリアリティ環境の他の部分との間の境界に対応する第1の部分を含み、第2のユーザの表現と第2の視覚的外観を有するエクステンデッドリアリティ環境の他の部分との間の境界に対応しない第2の部分を含む第2のユーザの表現を表示することは、第1のコンピュータシステムが、第2のユーザの表現をエクステンデッドリアリティ環境の他の部分と対比することを可能にし、それによって、第1のコンピュータシステム及び第2のコンピュータシステムを介した第1のユーザと第2のユーザとの間の通信を改善する。
【0366】
いくつかの実施形態では、エクステンデッドリアリティ環境(例えば、1008)において第2のユーザ(例えば、1004)の表現(例えば、1002)を表示することは、第1のコンピュータシステム(例えば、101、700、及び/又は1000)が、第1のユーザとのリアルタイム通信セッション中に第2のユーザ(例えば、1004)の表現(例えば、1002)を表示することを含む。いくつかの実施形態では、第2のユーザ(例えば、1004)の表現(例えば、1002)は、第2のコンピュータシステムと通信する表示生成構成要素を介して(例えば、第1のコンピュータシステムと通信する1つ以上の表示生成構成要素を介した第2のユーザの表現の表示と同時に)表示される。リアルタイム通信セッション中にエクステンデッドリアリティ環境内に第2のユーザの表現を表示することは、第1のコンピュータシステムが、第2のユーザの表現をエクステンデッドリアリティ環境の他の部分と対比することを可能にし、それによって、第1のコンピュータシステム及び第2のコンピュータシステムを介した第1のユーザと第2のユーザとの間の通信を改善する。
【0367】
いくつかの実施形態では、第2のユーザ(例えば、1004)の表現(例えば、1002)をエクステンデッドリアリティ環境(例えば、1008)内の第1の配向(例えば、1023)(例えば、エクステンデッドリアリティ環境に対する、及び/又は第1のコンピュータシステムの1つ以上の表示生成構成要素の1つ以上の縁に対する第1の視点)で表示しながら、第2のユーザ(例えば、1004)の表現(例えば、1002)の配向が第1の配向(例えば、1023)から第2の配向(例えば、1028)(例えば、エクステンデッドリアリティ環境に対する、及び/又は第1の視点とは異なる1つ以上の表示生成構成要素の1つ以上の縁に対する第2の視点)に変化するという判定(例えば、第1のコンピュータシステム及び/又は第2のコンピュータシステムによって行われる判定)に従って、第1のコンピュータシステム(例えば、101、700、及び/又は1000)は、表示生成構成要素(例えば、120、704、722、722b、及び/又は1000a)を介して、第2のユーザ(例えば、1004)の表現(例えば、1002)とエクステンデッドリアリティ環境(例えば、1008)の他の部分(例えば、表現のシルエットの外側部分)との間の第2の境界に対応する第2のユーザ(例えば、1004)の表現(例えば、1002)の第3の部分(例えば、1026c)(例えば、第2のユーザの表現のシルエットの外周を少なくとも含む外側部分)を表示する。第2のユーザ(例えば、1004)の表現(例えば、1002)の第3の部分(例えば、1026c)は、第1の視覚的外観(例えば、第2のユーザの表現の第4の部分と比較して、第2のユーザの表現の第3の部分を強調する、対比する、及び/又は別様にハイライトする強調された視覚的外観)で表示される。エクステンデッドリアリティ環境(例えば、1008)において第1の配向(例えば、1023)(例えば、エクステンデッドリアリティ環境に対する、及び/又は第1のコンピュータシステムの1つ以上の表示生成構成要素の1つ以上の縁部に対する第1の視点)で第2のユーザ(例えば、1004)の表現(例えば、1002)を表示している間に、かつ第2のユーザ(例えば、1004)の表現(例えば、1002)の配向が第1の配向(例えば、1023)から第2の配向(例えば、1028)(例えば、第1の視点とは異なる、エクステンデッドリアリティ環境に対する、及び/又は1つ以上の表示生成構成要素の1つ以上の縁部に対する第2の視点)に変化するという判定(例えば、第1のコンピュータシステム及び/又は第2のコンピュータシステムによって行われる判定)に従って、第1のコンピュータシステム(例えば、101、700、及び/又は1000)は、表示生成構成要素(例えば、120、704、722、722b、及び/又は1000a)を介して、第2のユーザ(例えば、1004)の表現(例えば、1002)とエクステンデッドリアリティ環境(例えば、1008)の他の部分との間の第2の境界に対応しない第2のユーザ(例えば、1004)の表現(例えば、1002)の第4の部分(例えば、第2のユーザの表現のシルエットの周囲を含まない第2のユーザの表現のシルエットの内側部分)(例えば、1026d)(例えば、表現のシルエットの内側部分及び/又は内部)を表示する。第2のユーザ(例えば、1004)の表現(例えば、1002)の第4の部分(例えば、1026d)は、第2の視覚的外観(例えば、第2のユーザの表現の第3の部分と比較して、第2のユーザの表現の第4の部分をハイライト、対比、及び/又は別様に強調しない、非強調及び/又は通常の視覚的外観)を伴って表示され、第1の視覚的外観は、第2の視覚的外観と比較して強調され(例えば、第1の視覚的外観は、視覚的強調(例えば、ハイライト、増加した輝度、増加した明瞭性及び/又は視覚的忠実度、及び/又はフレネル視覚的効果)を含み、第2の視覚的外観は、視覚的強調を含まない(例えば、第2のユーザの表現の第1の部分は、第2のユーザの表現の第2の部分と比較して視覚的に強調される))。エクステンデッドリアリティ環境(例えば、1008)において第1の配向(例えば、1023)(例えば、エクステンデッドリアリティ環境に対する、及び/又は第1のコンピュータシステムの1つ以上の表示生成構成要素の1つ以上の縁部に対する第1の視点)で第2のユーザ(例えば、1004)の表現(例えば、1002)を表示している間に、かつ第2のユーザ(例えば、1004)の表現(例えば、1002)の配向が変化しないという判定(例えば、第1のコンピュータシステム及び/又は第2のコンピュータシステムによって行われる判定)に従って(例えば、第2のユーザの表現は、エクステンデッドリアリティ環境に対して、及び/又は1つ以上の表示生成構成要素の1つ以上の縁部に対して、第1の配向及び/又は第1の視点に維持されているものとして表示される)、第1のコンピュータシステム(例えば、101、700、及び/又は1000)は、エクステンデッドリアリティ環境(例えば、1008)における第1の配向(例えば、1023)での第2のユーザ(例えば、1004)の表現(例えば、1002)の表示を維持する(例えば、第2のユーザの表現の第1の部分及びユーザの表現の第2の部分とともに第2のユーザの表現を表示することを維持する)。
【0368】
第2のユーザの表現と第1の視覚的外観を有するエクステンデッドリアリティ環境の他の部分との間の第2の境界に対応する第3の部分を含み、第2のユーザの表現と第2の視覚的外観を有するエクステンデッドリアリティ環境の他の部分との間の第2の境界に対応しない第4の部分を含む第2のユーザの表現を表示することは、第2のユーザの表現の視点がエクステンデッドリアリティ環境内で変化するときでも、第1のコンピュータシステムが第2のユーザの表現をエクステンデッドリアリティ環境の他の部分と対比することを可能にし、それによって、第1のコンピュータシステム及び第2のコンピュータシステムを介した第1のユーザと第2のユーザとの間の通信を改善する。
【0369】
いくつかの実施形態では、第2のユーザ(例えば、1004)の表現(例えば、1002)の配向は、第1のユーザ(例えば、第2の表現1012に関連付けられたユーザ)の視点の変化に基づいて第1の配向(例えば、1023)から第2の配向(例えば、1028)に変化する(例えば、第1のユーザの視点は、エクステンデッドリアリティ環境内の第2のユーザの表現の移動に基づいて、第2のユーザが位置する物理的環境内の第2のユーザの移動に基づいて、第1のコンピュータシステムの移動に基づいて、第2のユーザの第2のコンピュータシステムの移動に基づいて、及び/又はエクステンデッドリアリティ環境の視点の調整に基づいて変化する(例えば、エクステンデッドリアリティ環境の視点の調整は、第1のコンピュータシステム及び/又は第2のコンピュータシステムを介して検出された1つ以上のユーザ入力に基づいて行われる))。第2のユーザの表現と第1の視覚的外観を有するエクステンデッドリアリティ環境の他の部分との間の第2の境界に対応する第3の部分を含み、第2のユーザの表現と第2の視覚的外観を有するエクステンデッドリアリティ環境の他の部分との間の第2の境界に対応しない第4の部分を含む第2のユーザの表現を表示することは、第2のユーザの表現の視点が変化するときでも、第1のコンピュータシステムが第2のユーザの表現をエクステンデッドリアリティ環境の他の部分と対比することを可能にし、それによって、第1のコンピュータシステム及び第2のコンピュータシステムを介した第1のユーザと第2のユーザとの間の通信を改善する。
【0370】
いくつかの実施形態では、第2のユーザ(例えば、1004)の表現(例えば、1002)の配向は、エクステンデッドリアリティ環境(例えば、1008)における第2のユーザ(例えば、1004)の表現(例えば、1002)の移動に基づいて、第1の配向(例えば、1023)から第2の配向(例えば、1028)に変化する(例えば、第2のユーザの表現は、エクステンデッドリアリティ環境内で移動し、任意選択的に、エクステンデッドリアリティ環境の視界は維持される)。いくつかの実施形態では、エクステンデッドリアリティ環境(例えば、1008)における第2のユーザ(例えば、1004)の表現(例えば、1002)の移動は、第2のユーザ(例えば、1004)が位置する物理的環境(例えば、1014)内で検出された(例えば、第2のコンピュータシステムと通信する1つ以上のセンサを介して検出された)第2のユーザ(例えば、1004)の移動に基づいて生じる。第2のユーザの表現と第1の視覚的外観を有するエクステンデッドリアリティ環境の他の部分との間の第2の境界に対応する第3の部分を含み、第2のユーザの表現と第2の視覚的外観を有するエクステンデッドリアリティ環境の他の部分との間の第2の境界に対応しない第4の部分を含む第2のユーザの表現を表示することは、第2のユーザの表現がエクステンデッドリアリティ環境内で移動するときでも、第1のコンピュータシステムが第2のユーザの表現をエクステンデッドリアリティ環境の他の部分と対比することを可能にし、それによって、第1のコンピュータシステム及び第2のコンピュータシステムを介した第1のユーザと第2のユーザとの間の通信を改善する。
【0371】
いくつかの実施形態では、エクステンデッドリアリティ環境(例えば、1008)において第1の角度(例えば、1023及び/又は1027)(例えば、エクステンデッドリアリティ環境の少なくとも1つのオブジェクトに対して第1の角度を形成する第1の姿勢、配向、ポーズ、及び/又は身長)で第2のユーザ(例えば、1004)の表現(例えば、1002)を表示している間に、第1のコンピュータシステム(例えば、101、700、及び/又は1000)は、1つ以上の表示生成構成要素(例えば、120、704、722、722b、及び/又は1000a)を介して、第2のユーザ(例えば、1004)の表現(例えば、1002)の第5の部分の視覚的強調を減少させる個別の視覚的効果が適用された第2のユーザ(例えば、1004)の表現(例えば、1002)の第5の部分(例えば、第2のユーザの表現がエクステンデッドリアリティ環境内に表示及び/又は位置決めされた第1の角度に基づいて部分的に不明瞭及び/又は部分的に可視である第2のユーザの表現の一部分)(例えば、第2のユーザの表現の第6の部分に対して)(例えば、第2のユーザの身体の状態に関する情報に基づいて、表現の第5の部分の第1の推定された状態を示す、ぼかし度、不透明度、色、減衰/密度、及び/又は解像度の量)を表示する。第2のユーザ(例えば、1004)の表現(例えば、1002)が、エクステンデッドリアリティ環境(例えば、1008)において、第1の角度(例えば、1023及び/又は1027)とは異なる第2の角度(例えば、1028及び/又は1030)(例えば、エクステンデッドリアリティ環境の少なくとも1つのオブジェクトに対して第2の角度を形成する第2の姿勢、配向、ポーズ、及び/又は身長)で表示されていることに応じて、第1のコンピュータシステム(例えば、101、700、及び/又は1000)は、1つ以上の表示生成構成要素(例えば、120、704、722、722b、及び/又は1000a)を介して、第2のユーザ(例えば、1004)の表現(例えば、1002)の第5の部分とは異なる、第2のユーザ(例えば、1004)の表現の第6の部分(例えば、第2のユーザの表現がエクステンデッドリアリティ環境内に表示及び/又は位置決めされる第2の角度に基づいて、部分的に隠される、及び/又は部分的に可視である第2のユーザの表現の一部分)の視覚的強調を減少させる個別の視覚的効果が適用された、第2のユーザ(例えば、)の表現(例えば、1002)の第6の部分(例えば、第2のユーザの表現の第5の部分の視覚的強調に対して)(例えば、第2のユーザの身体の状態に関する情報に基づいて、表現の第6の部分の第1の推定された状態を示す、ぼかし度、不透明度、色、減衰/密度、及び/又は解像度の量)を表示する。
【0372】
第2のユーザの表現が第1の角度にある間に個別の視覚的効果が適用された第5の部分を含み、第2のユーザの表現が第2の角度で表示されることに応じて個別の視覚的効果が適用された第6の部分を含む第2のユーザの表現を表示することは、第2のユーザの表現の角度がエクステンデッドリアリティ環境に対して変化する間に、第1のコンピュータシステムが第2のユーザの表現をエクステンデッドリアリティ環境の他の部分と対比することを可能にし、それによって、第1のコンピュータシステム及び第2のコンピュータシステムを介した第1のユーザと第2のユーザとの間の通信を改善する。
【0373】
いくつかの実施形態では、第2のユーザ(例えば、1004)の表現(例えば、1002)の第6の部分の視覚的強調を減少させる個別の視覚的効果が適用された第2のユーザ(例えば、1004)の表現(例えば、1002)の第6の部分を表示することは、第1のコンピュータシステム(例えば、101、700、及び/又は1000)が、第2のユーザ(例えば、1004)の表現(例えば、1002)の第5の部分の視覚的強調を減少させる個別の視覚的効果が適用された第2のユーザ(例えば、1004)の表現(例えば、1002)の第5の部分から、第2のユーザ(例えば、1004)の表現(例えば、1002)の第6の部分の視覚的強調を減少させる個別の視覚的効果が適用された第2のユーザ(例えば、1004)の表現(例えば、1002)の第6の部分への漸進的な遷移を表示する(例えば、個別の視覚的効果が適用された第2のユーザの表現の第5の部分から個別の視覚的効果が適用された第2のユーザの表現の第6の部分に第2のユーザの表現の外観を徐々に変化させる)ことを含む。個別の視覚的効果を含む第2のユーザの表現の第5の部分から個別の視覚的効果を含む第2のユーザの表現の第6の部分への漸進的な遷移を表示することは、第1のコンピュータシステムが、第2のユーザの表現をエクステンデッドリアリティ環境の他の部分と対比することを可能にし、それによって、第1のコンピュータシステム及び第2のコンピュータシステムを介した第1のユーザと第2のユーザとの間の通信を改善する。
【0374】
いくつかの実施形態では、エクステンデッドリアリティ環境(例えば、1008)内の第1のユーザの視点から前方配向(例えば、1023、1027、1028、及び/又は1030)で第2のユーザ(例えば、1004)の表現(例えば、1002)を表示している(例えば、第2のユーザの表現の顔表現が表示されているように、第2のユーザの表現の正面表現がエクステンデッドリアリティ環境内に表示されている)間に、第1のコンピュータシステム(例えば、101、700、及び/又は1000)は、1つ以上の擬人化特徴(例えば、1002a~1002f)(例えば、顔及び/又は手)を有する第2のユーザ(例えば、1004)の表現(例えば、1002)を表示する。第2のユーザ(例えば、1004)の表現(例えば、1002)がエクステンデッドリアリティ環境(例えば、1008)内の第1のユーザの視点から後方配向(例えば、1032及び/又は1034)で表示される(例えば、第2のユーザの表現の顔表現が表示されないように、第2のユーザの表現の背面表現がエクステンデッドリアリティ環境内に表示される)ことに応じて、第1のコンピュータシステム(例えば、101、700、及び/又は1000)は、1つ以上の表示生成構成要素(例えば、120、704、722、722b、及び/又は1000a)を介して、1つ以上の擬人化特徴(例えば、1002a~1002f)(例えば、顔及び/又は手)の個別の擬人化特徴を伴わずに、第2のユーザ(例えば、1004)の表現(例えば、1002)を表示する。いくつかの実施形態では、それぞれの擬人化特徴(例えば、1002a~1002f)を伴わない第2のユーザ(例えば、1004)の表現(例えば、1002)を表示することは、第1のコンピュータシステム(例えば、101、700、及び/又は1000)が、プレゼンテーションモード(例えば、オーディオ存在モード、擬人化特徴を有さない及び/又は無生物物質であるレンダリング(例えば、アイコン、モノグラム)によってエクステンデッドリアリティ環境内で第1のユーザが表現されるモード)で第2のユーザ(例えば、1004)の表現(例えば、1002)を表示することを含み、第2のユーザ(例えば、1004)の表現(例えば、1002)は、プレゼンテーションモードにある間、第2のユーザ(例えば、1004)の移動の変化に視覚的に反応しない形状(例えば、外観、幾何学的形状(例えば、ディスク、又は球形、立方体、直方体))を有する(例えば、プレゼンテーションモードにあるとき、第2のユーザの表現は、物理的環境及び/又はエクステンデッドリアリティ環境内で検出される第2のユーザの手(単数又は複数)の移動に応じて視覚的に反応しない)。
【0375】
第2のユーザの表現がエクステンデッドリアリティ環境内に後方配向に表示されることに応じて、1つ以上の擬人化特徴のうちの個別の擬人化特徴を有さない第2のユーザの表現を表示することは、第2のユーザの表現を表示するために第1のコンピュータシステムによって必要とされる処理能力の量を低減する。
【0376】
いくつかの実施形態では、エクステンデッドリアリティ環境(例えば、1008)内の第1のユーザの視点から後方配向(例えば、1032及び/又は1034)で第2のユーザ(例えば、1004)の表現(例えば、1002)を表示している間(例えば、第2のユーザの表現の顔表現が表示されないように、第2のユーザの表現の背面表現がエクステンデッドリアリティ環境内に表示されている)、第1のコンピュータシステム(例えば、101、700、及び/又は1000)は、1つ以上の表示生成構成要素(例えば、120、704、722、722b、及び/又は1000a)を介して、1つ以上の擬人化特徴(例えば、1002a~1002f)(例えば、顔及び/又は手)の個別の擬人化特徴を伴わずに、第2のユーザ(例えば、1004)の表現(例えば、1002)を表示する。第2のユーザ(例えば、1004)の表現(例えば、1002)がエクステンデッドリアリティ環境(例えば、1008)内の第1のユーザの視点から前方配向(例えば、1023、1027、1028、及び/又は1030)で表示されている(例えば、第2のユーザの表現の顔表現が表示されているように、第2のユーザの表現の正面表現がエクステンデッドリアリティ環境内に表示されている)ことに応じて、第1のコンピュータシステム(例えば、101、700、及び/又は1000)は、1つ以上の擬人化特徴(例えば、1002a~1002f)(例えば、顔及び/又は手)の個別の擬人化特徴とともに、第2のユーザ(例えば、1004)の表現(例えば、1002)を表示する。いくつかの実施形態では、それぞれの擬人化特徴(例えば、1002a~1002f)を伴わない第2のユーザ(例えば、1004)の表現(例えば、1002)を表示することは、第1のコンピュータシステム(例えば、101、700、及び/又は1000)が、プレゼンテーションモード(例えば、オーディオ存在モード、擬人化特徴を有さない及び/又は無生物物質であるレンダリング(例えば、アイコン、モノグラム)によってエクステンデッドリアリティ環境内で第1のユーザが表現されるモード)で第2のユーザ(例えば、1004)の表現(例えば、1002)を表示することを含み、第2のユーザ(例えば、1004)の表現(例えば、1002)は、プレゼンテーションモードにある間、第2のユーザ(例えば、1004)の移動の変化に視覚的に反応しない形状(例えば、外観、幾何学的形状(例えば、ディスク、又は球形、立方体、直方体))を有する(例えば、プレゼンテーションモードにあるとき、第2のユーザの表現は、物理的環境及び/又はエクステンデッドリアリティ環境内で検出される第2のユーザの手(単数又は複数)の移動に応じて視覚的に反応しない)。
【0377】
第2のユーザの表現がエクステンデッドリアリティ環境内に後方配向に表示されているときに、1つ以上の擬人化特徴のうちの個別の擬人化特徴を伴わずに第2のユーザの表現を表示することは、第2のユーザの表現を表示するために第1のコンピュータシステムによって必要とされる処理能力の量を低減する。
【0378】
上記は、説明を目的として、特定の実施形態を参照して記述されている。しかしながら、上記の例示的な論考は、網羅的であること、又は開示される厳密な形態に本発明を限定することを意図するものではない。上記の教示を考慮して、多くの修正及び変形が可能である。本発明の原理及びその実際的な応用を最良の形で説明し、それによって他の当業者が、想到される特定の用途に適した様々な変更で本発明及び様々な記載された実施形態を最良の形で使用することを有効化するために、これらの実施形態を選択し記載した。
【0379】
上述したように、本技術の一態様は、ユーザのXR体験を改善するために、様々なソースから入手可能なデータを収集及び使用することである。本開示は、いくつかの場合には、この収集されたデータが、特定の人を一意に識別する個人情報データ、又は特定の人に連絡する若しくはその所在を突き止めるために使用できる個人情報データを含み得ることを考察する。そのような個人情報データとしては、人口統計データ、ロケーションベースのデータ、電話番号、電子メールアドレス、ツイッターID、自宅の住所、ユーザの健康若しくはフィットネスのレベルに関するデータ若しくは記録(例えば、バイタルサイン測定値、投薬情報、運動情報)、生年月日、又は任意の他の識別情報若しくは個人情報を挙げることができる。
【0380】
本開示は、本技術におけるそのような個人情報データの使用がユーザの利益になる使用であり得る点を認識するものである。例えば、個人情報データは、ユーザのXR体験を向上させるために使用することができる。更に、ユーザに利益をもたらす個人情報データに関する他の使用も本開示によって意図されている。例えば、健康データ及びフィットネスデータは、ユーザの全般的なウェルネスについての洞察を提供するために使用することができ、又は、ウェルネスの目標を追求する技術を使用している個人への、積極的なフィードバックとして使用することもできる。
【0381】
本開示は、そのような個人情報データの収集、分析、開示、送信、記憶、又は他の使用に関与するエンティティが、確固たるプライバシーポリシー及び/又はプライバシー慣行を遵守するものとなることを想到する。具体的には、そのようなエンティティは、個人情報データを秘密として厳重に保守するための、業界又は政府の要件を満たしているか又は上回るものとして一般に認識されている、プライバシーのポリシー及び慣行を実施し、一貫して使用するべきである。そのようなポリシーは、ユーザによって容易にアクセス可能とするべきであり、データの収集及び/又は使用が変更されるにつれて更新されるべきである。ユーザからの個人情報は、そのエンティティの合法的かつ正当な使用のために収集されるべきであり、それらの合法的使用を除いては、共有又は販売されるべきではない。更には、そのような収集/共有は、ユーザに告知して同意を得た後に実施されるべきである。その上、そのようなエンティティは、そのような個人情報データへのアクセスを保護及び安全化し、個人情報データへのアクセス権を有する他者が、それらのプライバシーポリシー及び手順を忠実に守ることを保証するための、あらゆる必要な措置を講じることを考慮するべきである。更に、そのようなエンティティは、広く受け入れられているプライバシーポリシー及び慣行に対する自身の遵守を証明するために、サードパーティによる評価を自らが受けることができる。更には、ポリシー及び慣行は、収集及び/又はアクセスされる具体的な個人情報データのタイプに適合されるべきであり、また、管轄権固有の考慮事項を含めた、適用可能な法令及び規格に適合されるべきである。例えば、アメリカ合衆国では、特定の健康データの収集又はそれへのアクセスは、医療保険の相互運用性と説明責任に関する法律(HIPAA)などの、連邦法及び/又は州法に準拠し得る。その一方で、他国における健康データは、他の規制及びポリシーの対象となり得るものであり、それに従って対処されるべきである。それゆえ、各国において、異なる個人データのタイプに関して異なるプライバシー慣行が保たれるべきである。
【0382】
前述のことがらにも関わらず、本開示はまた、個人情報データの使用又は個人情報データへのアクセスを、ユーザが選択的に阻止する実施形態も想到する。すなわち、本開示は、そのような個人情報データへのアクセスを防止又は阻止するために、ハードウェア要素及び/又はソフトウェア要素が提供され得ることを意図している。例えば、XR体験の場合において、本技術は、ユーザが、サービスの登録中又はその後のいつでも、個人情報データの収集への参加の「オプトイン」又は「オプトアウト」を選択できるように構成され得る。別の例では、ユーザは、サービスのカスタマイズ及び/又はユーザの表現を生成するためのデータを提供しないことを選択することができる。「オプトイン」及び「オプトアウト」のオプションを提供することに加えて、本開示は、個人情報のアクセス又は使用に関する通知を提供することを意図している。例えば、ユーザの個人情報データにアクセスすることとなるアプリのダウンロード時にユーザに通知され、その後、個人情報データがアプリによってアクセスされる直前に再びユーザに注意してもよい。
【0383】
更には、本開示の意図は、個人情報データを、非意図的若しくは許可のないアクセス又は使用の危険性を最小限に抑える方法で、管理及び処理するべきであるという点である。データの収集を制限し、データがもはや必要とされなくなると削除することにより、リスクを最小化することができる。加えて、特定の健康関連アプリケーションにおいて適用可能な場合、ユーザのプライバシーを保護するために、データの匿名化を使用することができる。非特定化は、適切な場合には、特定の識別子(例えば、生年月日など)を除去すること、記憶されたデータの量又は特異性を制御すること(例えば、ロケーションデータを住所レベルよりも都市レベルで収集すること)、データがどのように記憶されるかを制御すること(例えば、データをユーザ全体にわたって集約すること)及び/又は他の方法によって、容易にすることができる。
【0384】
それゆえ、本開示は、1つ以上の様々な開示された実施形態を実施するための、個人情報データの使用を広範に網羅するものであるが、本開示はまた、そのような個人情報データにアクセスすることを必要とせずに、それらの様々な実施形態を実施することも可能であることを想到する。すなわち、本技術の様々な実施形態は、そのような個人情報データの全て又は一部が欠如することにより、動作不可能にされるものではない。例えば、XR体験は、ユーザに関連付けられたデバイスによって要求されているコンテンツ、サービスにとって利用可能な他の非個人情報、又は公的に利用可能な情報など、非個人情報データ又は最小限の量の個人情報に基づいて、選好を推論すること及び/又はユーザの一般的な表現を使用することによって生成され得る。
図1
図2
図3
図4
図5
図6
図7A
図7B
図7C
図7D
図7E
図7F
図7G
図7H
図7I
図7J
図8
図9
図10A
図10B
図10C
図10D
図10E
図10F
図10G
図10H
図10I
図11
図12
図13
図14
【手続補正書】
【提出日】2024-05-23
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
方法であって、
1つ以上の表示生成構成要素と通信しているコンピュータシステムにおいて、
前記コンピュータシステムがユーザの身体上に配置されている間に、前記1つ以上の表示生成構成要素を介して、前記ユーザの前記身体から前記コンピュータシステムを取り外し、前記コンピュータシステムを使用して前記ユーザに関連する情報をキャプチャするように指示するプロンプトを表示することと、
前記コンピュータシステムを前記ユーザの前記身体から取り外すように指示する前記プロンプトを表示した後に、前記コンピュータシステムが前記ユーザの前記身体から取り外されたことを検出することと、
前記コンピュータシステムが前記ユーザの前記身体から取り外されたことを検出した後に、前記ユーザに関連する情報をキャプチャすることであって、前記コンピュータシステムは、前記情報を使用して、前記ユーザの表現を生成するように構成されている、ことと、
を含む、方法。
【請求項2】
前記ユーザの前記表現は、拡張現実環境及び/又は仮想現実環境において表示されるように構成されている、請求項1に記載の方法。
【請求項3】
前記コンピュータシステムは、前記ユーザの前記表現を立体的に生成するように構成されている、請求項1に記載の方法。
【請求項4】
前記コンピュータシステムが前記ユーザの前記身体から取り外されたことを検出する前に、前記コンピュータシステムを使用して前記ユーザに関連する前記情報をキャプチャする命令を提供することを更に含む、請求項1に記載の方法。
【請求項5】
前記命令を提供することは、前記1つ以上の表示生成構成要素を介して、前記コンピュータシステムを使用して前記ユーザに関する前記情報をキャプチャすることを実演するアニメーションを表示することを含む、請求項4に記載の方法。
【請求項6】
前記コンピュータシステムが前記ユーザの前記身体から取り外されたことを検出する前に、
基準のセットが満たされているという判定に従って、前記1つ以上の表示生成構成要素を介して、前記ユーザに関連する情報の前記キャプチャに影響を及ぼす条件に関連するインジケーションを表示することと、
前記基準のセットが満たされていないという判定に従って、前記ユーザに関連する情報の前記キャプチャに影響を及ぼす前記条件に関連付けられた前記インジケーションを表示することを取り止めることと、を更に含む、請求項1に記載の方法。
【請求項7】
前記ユーザに関連する情報の前記キャプチャに影響を及ぼす前記条件に関連付けられた前記インジケーションは、前記条件を修正するのに役立つアクションを取ることに関する情報を含む、請求項6に記載の方法。
【請求項8】
前記コンピュータシステムが前記ユーザの前記身体から取り外されたことを検出したことに応じて、前記ユーザに関連する前記情報をキャプチャするプロセスを開始することを更に含む、請求項1に記載の方法。
【請求項9】
前記コンピュータシステムが前記ユーザの前記身体から取り外されたことを検出した後に、前記ユーザに関連する前記情報をキャプチャする命令を含む第2のプロンプトを提供することを更に含む、請求項1に記載の方法。
【請求項10】
前記第2のプロンプトを提供することは、前記1つ以上の表示生成構成要素を介して、1つ以上の登録命令とともに視覚的プロンプトを表示することを含む、請求項9に記載の方法。
【請求項11】
前記コンピュータシステムを前記ユーザの前記身体から取り外し、前記コンピュータシステムを使用して前記ユーザに関連する情報をキャプチャするように指示する前記プロンプトは、前記1つ以上の表示生成構成要素のうちの第1の表示生成構成要素を介して表示され、
前記視覚的プロンプトは、前記1つ以上の表示生成構成要素のうちの、前記第1の表示生成構成要素とは異なる第2の表示生成構成要素を介して表示される、請求項10に記載の方法。
【請求項12】
前記第2のプロンプトを提供することは、前記コンピュータシステムと通信するオーディオデバイスを介して、1つ以上の登録命令とともにオーディオプロンプトを出力することを含む、請求項9に記載の方法。
【請求項13】
前記第2のプロンプトを提供することは、前記コンピュータシステムに対してターゲットロケーション内で前記ユーザの前記身体の一部分を配向させるように前記ユーザに指示するインジケーションを提供することを含む、請求項9に記載の方法。
【請求項14】
前記第2のプロンプトを提供することは、前記ユーザの情報の前記キャプチャに影響を及ぼす条件を調整するように前記ユーザに指示するインジケーションを提供することを含む、請求項9に記載の方法。
【請求項15】
前記第2のプロンプトを提供することは、前記ユーザの頭部のポジションを移動させるように前記ユーザに指示するインジケーションを提供することを含む、請求項9に記載の方法。
【請求項16】
前記第2のプロンプトを提供することは、前記ユーザの顔の特徴のうちの1つ以上のセットを1つ以上の顔の表情の既定のセット内に位置決めするように前記ユーザに指示するインジケーションを提供することを含む、請求項9に記載の方法。
【請求項17】
前記第2のプロンプトを提供することは、前記コンピュータシステムのポジションを調整して前記コンピュータシステムを前記ユーザの身体の既定の部分に配向させるように前記ユーザに指示するインジケーションを提供することを含む、請求項9に記載の方法。
【請求項18】
前記コンピュータシステムを前記ユーザの前記身体から取り外し、前記コンピュータシステムを使用して前記ユーザに関連する情報をキャプチャするように指示する前記プロンプトは、前記1つ以上の表示生成構成要素のうちの第1の表示生成構成要素を介して表示され、前記方法は、
前記ユーザに関連する前記情報をキャプチャした後に、前記1つ以上の表示生成構成要素のうちの前記第1の表示生成構成要素とは異なる第2の表示生成構成要素を介して、前記ユーザの前記表現のプレビューを表示することを更に含む、請求項1に記載の方法。
【請求項19】
前記ユーザに関連する前記情報をキャプチャした後に、前記コンピュータシステムが前記ユーザの前記身体上に配置されたことを検出することと、
前記コンピュータシステムが前記ユーザの前記身体上に配置されたことを検出した後に、前記1つ以上の表示生成構成要素を介して、前記ユーザの前記表現のプレビューを表示することと、を更に含む、請求項1に記載の方法。
【請求項20】
前記ユーザに関連する前記情報をキャプチャすることは、前記ユーザの身体の第1の部分に関する第1の情報をキャプチャすることを含み、前記方法は、
前記ユーザの前記身体の前記第1の部分に関連する前記第1の情報をキャプチャした後に、前記コンピュータシステムが前記ユーザの前記身体上に配置されたことを検出することと、
前記コンピュータシステムが前記ユーザの前記身体上に配置されたことを検出した後に、前記ユーザの前記身体の前記第1の部分とは異なる、前記ユーザの前記身体の第2の部分に関連する第2の情報をキャプチャするプロセスを開始することと、を更に含む、請求項1に記載の方法。
【請求項21】
前記ユーザの前記身体の前記第2の部分に関連する前記第2の情報をキャプチャする前記プロセスを開始することは、前記1つ以上の表示生成構成要素を介して、前記ユーザが前記ユーザの前記身体の前記第2の部分を位置決めするためのロケーションを示す視覚的インジケーションを表示することを含む、請求項20に記載の方法。
【請求項22】
前記ユーザの前記身体の前記第2の部分に関連する前記第2の情報をキャプチャする前記プロセスを開始することは、前記ユーザの前記身体の前記第2の部分の配向を調整するように前記ユーザに指示するプロンプトを提供することを含む、請求項20に記載の方法。
【請求項23】
前記ユーザの前記身体の前記第2の部分に関連する前記第2の情報をキャプチャした後に、前記1つ以上の表示生成構成要素を介して、エクステンデッドリアリティ環境内で前記ユーザの前記表現を表示することを更に含む、請求項20に記載の方法。
【請求項24】
請求項1から23のいずれか一項に記載の方法をコンピュータに実行させるコンピュータプログラム。
【請求項25】
請求項24に記載のコンピュータプログラムを格納したメモリと、
前記メモリに格納された前記コンピュータプログラムを実行可能な1つ以上のプロセッサと、
を備えるコンピュータシステムであって、
前記コンピュータシステムは、1つ以上の表示生成構成要素と通信するように構成される、
コンピュータシステム。
【請求項26】
請求項1から23のいずれか一項に記載の方法を実行する手段
を備えるコンピュータシステム。
【国際調査報告】