IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ アップル インコーポレイテッドの特許一覧

特表2024-546082メディアをキャプチャ及び表示するためのデバイス、方法、及びグラフィカルユーザインタフェース
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-12-17
(54)【発明の名称】メディアをキャプチャ及び表示するためのデバイス、方法、及びグラフィカルユーザインタフェース
(51)【国際特許分類】
   G06F 3/01 20060101AFI20241210BHJP
   G06F 3/04842 20220101ALI20241210BHJP
   H04N 23/63 20230101ALI20241210BHJP
【FI】
G06F3/01 510
G06F3/04842
H04N23/63
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024532566
(86)(22)【出願日】2022-11-23
(85)【翻訳文提出日】2024-05-30
(86)【国際出願番号】 US2022050916
(87)【国際公開番号】W WO2023101881
(87)【国際公開日】2023-06-08
(31)【優先権主張番号】63/285,897
(32)【優先日】2021-12-03
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】63/338,864
(32)【優先日】2022-05-05
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】63/409,690
(32)【優先日】2022-09-23
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/992,789
(32)【優先日】2022-11-22
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.BLUETOOTH
2.FIREWIRE
3.THUNDERBOLT
4.ZIGBEE
5.ツイッター
(71)【出願人】
【識別番号】503260918
【氏名又は名称】アップル インコーポレイテッド
【氏名又は名称原語表記】Apple Inc.
【住所又は居所原語表記】One Apple Park Way,Cupertino, California 95014, U.S.A.
(74)【代理人】
【識別番号】110003281
【氏名又は名称】弁理士法人大塚国際特許事務所
(72)【発明者】
【氏名】ダ ヴェイガ, アレクサンドレ
(72)【発明者】
【氏名】リン, チア ヤング
(72)【発明者】
【氏名】マンザーリ, ジョニー ビー.
(72)【発明者】
【氏名】メンジイズ, アレクサンダー
(72)【発明者】
【氏名】リック, トビアス
(72)【発明者】
【氏名】シュミットヒェン, ブライス エル.
(72)【発明者】
【氏名】ソレンティーノ サード, ウィリアム エー.
(72)【発明者】
【氏名】ラヴァスズ, ジョナサン
(72)【発明者】
【氏名】マーコヴィック, イヴァン
(72)【発明者】
【氏名】チェング, エンジェル スエト ヤン
(72)【発明者】
【氏名】モリング, アーロン
(72)【発明者】
【氏名】ブロートン, リー エス.
(72)【発明者】
【氏名】ルメイ, ステファン オー.
【テーマコード(参考)】
5C122
5E555
【Fターム(参考)】
5C122DA09
5C122EA42
5C122FH19
5C122FH22
5C122FK12
5C122FK24
5C122FK40
5C122FL08
5C122HA13
5C122HA35
5C122HB01
5C122HB05
5E555AA12
5E555BA04
5E555BA18
5E555BA38
5E555BA73
5E555BB04
5E555BB18
5E555BB38
5E555BC18
5E555BE17
5E555CA42
5E555CB65
5E555CB66
5E555FA00
(57)【要約】
本開示は、概して、メディアをキャプチャし、メディアのプレビューを表示し、記録インジケータを表示し、カメラユーザインタフェースを表示し、かつ/又は以前にキャプチャされたメディアを表示するための技術及びユーザインタフェースに関する。
【特許請求の範囲】
【請求項1】
方法であって、
表示生成構成要素及び1つ以上のカメラと通信しているコンピュータシステムにおいて、
前記表示生成構成要素を介して、物理的環境の表現であって、前記物理的環境の前記表現は、前記物理的環境の前記表現に対応する前記物理的環境の部分が変化し、かつ/又は前記ユーザの視点が変化するにつれて変化する、物理的環境の表現の上にオーバーレイされる第1のユーザインタフェースを表示している間に、メディアキャプチャユーザインタフェースを表示する要求を検出することと、
前記メディアキャプチャユーザインタフェースを表示する前記要求を検出したことに応じて、前記表示生成構成要素を介して、前記1つ以上のカメラの視野の部分の表現を含むメディアキャプチャプレビューを、前記1つ以上のカメラの前記視野の前記部分内にある前記物理的環境の前記部分が変化するにつれて更新されるコンテンツとともに表示することと、を含む、方法であって、
前記メディアキャプチャプレビューは、前記メディアキャプチャユーザインタフェースが表示されている間にメディアキャプチャ入力を検出したことに応じてキャプチャされるメディアの境界を示し、
前記メディアキャプチャプレビューは、前記物理的環境の前記表現の第1の部分が可視である間に表示され、前記物理的環境の前記表現の前記第1の部分は、前記メディアキャプチャユーザインタフェースを表示する前記要求が検出される前に可視であり、
前記メディアキャプチャプレビューは、前記物理的環境の前記表現の第2の部分の代わりに表示され、前記物理的環境の前記表現の前記第1の部分は、前記物理的環境の前記表現の前記第1の部分に対応する前記物理的環境の前記部分が変化し、かつ/又は前記ユーザの前記視点が変化するにつれて更新される、方法。
【請求項2】
前記物理的環境の前記表現は、前記コンピュータシステムの前記現実世界環境のパススルー表現である、請求項1に記載の方法。
【請求項3】
前記物理的環境の前記表現は、第1のスケールで可視であり、前記メディアキャプチャプレビューに含まれる前記1つ以上のカメラの前記視野の前記部分の前記表現は、第2のスケールで表示され、前記第1のスケールは、前記第2のスケールよりも大きい、請求項1又は2に記載の方法。
【請求項4】
前記物理的環境の前記表現は、前記メディアキャプチャプレビューに含まれる前記視野の前記表現に含まれない第1のコンテンツを含む、請求項1から3のいずれか一項に記載の方法。
【請求項5】
前記物理的環境の前記表現は、前記物理的環境の部分を含み、前記メディアキャプチャプレビューに含まれる前記1つ以上のカメラの前記視野の前記表現は、前記物理的環境の前記部分を含む、請求項1から4のいずれか一項に記載の方法。
【請求項6】
前記コンピュータシステムは、物理入力機構と通信し、前記メディアキャプチャユーザインタフェースを表示するための前記要求は、前記物理入力機構のアクティブ化を含む、請求項1から5のいずれか一項に記載の方法。
【請求項7】
前記メディアキャプチャプレビューを表示している間に、メディアをキャプチャするための要求に対応する入力を検出することと、
メディアをキャプチャする前記要求に対応する前記入力を検出したことに応じて、
メディアをキャプチャするための前記要求に対応する入力が第1のタイプであるという判定に従って、第1のタイプのメディアコンテンツをキャプチャするためのプロセスを開始し、
メディアをキャプチャするための前記要求に対応する前記入力が第2のタイプであるという判定に従って、第2のタイプのメディアコンテンツをキャプチャするためのプロセスを開始することと、
を更に含む、請求項1から6のいずれか一項に記載の方法。
【請求項8】
前記メディアキャプチャプレビューに含まれる前記1つ以上のカメラの前記視野の前記部分の前記表現は、視覚的視差特性の第1のセットを有し、前記物理的環境の前記表現は、視差特性の前記第1のセットとは異なる視覚的視差特性の第2のセットを有する、請求項1から7のいずれか一項に記載の方法。
【請求項9】
前記物理的環境の前記表現は、没入型透視図であり、前記メディアキャプチャプレビューに含まれる前記1つ以上のカメラの前記視野の前記部分の前記表現は、非没入型透視図である、請求項1から8のいずれか一項に記載の方法。
【請求項10】
前記メディアキャプチャユーザインタフェースを表示する前記要求を検出する前に、前記物理的環境の前記表現の第3の部分は、第1の大きさを有する視覚的特徴を含む第1の視覚的外観を有し、前記方法は、
前記メディアキャプチャユーザインタフェースを表示するための前記要求を検出したことに応じて、第2の大きさを有する前記視覚特性であって、前記視覚特性の前記第2の大きさは、前記視覚特性の前記第1の大きさとは異なる、前記視覚特性を含む第2の視覚的外観を有するように、前記物理的環境の前記表現の前記第3の部分を変更することを更に含む、請求項1から9のいずれか一項に記載の方法。
【請求項11】
前記メディアキャプチャプレビューを表示することは、メディアキャプチャプレビューの前記表示と空間的関係を有する1つ以上の仮想オブジェクトを表示することを含み、前記メディアキャプチャプレビュー及び前記1つ以上の仮想オブジェクトは、第1の表示ロケーションに表示され、前記方法は、
前記メディアキャプチャプレビュー及び前記1つ以上の仮想オブジェクトを前記第1の表示ロケーションに表示している間に、前記ユーザの前記視点のポーズの変化を検出することと、
前記ユーザの前記視点のポーズの前記変化を検出したことに応じて、
前記メディアキャプチャプレビュー及び前記1つ以上の仮想オブジェクトを、前記第1のロケーションとは異なる第2の表示ロケーションに表示し、
前記メディアキャプチャプレビューの前記表示と前記1つ以上の仮想オブジェクトとの間の前記空間的関係を維持することと、を更に含む、請求項1から10のいずれか一項に記載の方法。
【請求項12】
前記1つ以上の仮想オブジェクトは、メディアをキャプチャするためのプロセスの開始から経過した時間の量のインジケーションを提供する時間経過仮想オブジェクトを含む、請求項11に記載の方法。
【請求項13】
前記1つ以上の仮想オブジェクトは、選択されると、メディアをキャプチャするためのプロセスの前記開始を引き起こすシャッタボタン仮想オブジェクトを含む、請求項11又は12に記載の方法。
【請求項14】
前記1つ以上の仮想オブジェクトは、選択されると、以前にキャプチャされたメディアアイテムの前記表示を引き起こすカメラロール仮想オブジェクトを含む、請求項11から13のいずれか一項に記載の方法。
【請求項15】
前記メディアキャプチャプレビューを表示している間に、前記カメラロール仮想オブジェクトの選択を検出することと、
前記カメラロール仮想オブジェクトの選択を検出したことに応じて、前記表示生成構成要素を介して、前記以前にキャプチャされたメディアアイテムの表現を表示することと、を更に含む方法であって、前記以前にキャプチャされたメディアの前記表現を表示することは、
選択されると、前記以前にキャプチャされたメディアアイテムの前記表現の表示を中止させる第1の消去仮想オブジェクト、
選択されると、前記以前にキャプチャされたメディアアイテムの前記表現を共有するためのプロセスの前記開始を引き起こす共有仮想オブジェクト、
選択されると、複数の以前にキャプチャされたメディアアイテムの前記表示を引き起こすメディアライブラリ仮想オブジェクト、及び/又は
1つ以上のジェスチャの前記検出に基づいて、前記以前にキャプチャされたメディアアイテムの前記表現のサイズが変化することを示すリサイズ仮想オブジェクト、を表示すること、
を含む、請求項14に記載の方法。
【請求項16】
前記カメラロール仮想オブジェクトに対応する入力を含む1つ以上の入力のセットを受信することと、
前記1つ以上の入力のセットを受信したことに応じて、第1のロケーションにおいて、複数の以前にキャプチャされたメディアアイテムのうちの第1の以前にキャプチャされたメディアアイテムの表現を表示することと、
前記第1のロケーションにおいて前記第1の以前にキャプチャされたメディアアイテムの前記表現を表示している間に、前記複数の以前にキャプチャされたメディアアイテムのうちの異なる以前にキャプチャされたメディアアイテムにナビゲートする要求を受信することと、
前記複数の以前にキャプチャされたメディアアイテムのうちの異なる以前にキャプチャされたメディアアイテムにナビゲートするための前記要求を受信したことに応じて、前記第1のロケーションにおける前記第1の以前にキャプチャされたメディアアイテムの前記表現の表示を、前記複数の以前にキャプチャされたメディアアイテムのうちの第2の以前にキャプチャされたメディアアイテムの表現の表示と置き換えることと、
を更に含む、請求項14又は15に記載の方法。
【請求項17】
前記1つ以上の仮想オブジェクトは、選択されると、前記メディアキャプチャプレビューの表示を中止させる第2の消去仮想オブジェクトを含む、請求項11から16のいずれか一項に記載の方法。
【請求項18】
前記1つ以上の仮想オブジェクトは、再位置決め仮想オブジェクトを含み、前記方法は、
前記メディアキャプチャプレビューが前記メディアキャプチャユーザインタフェース内の第1のロケーションに表示されている間に、前記再位置決め仮想オブジェクトに対応する入力を含む1つ以上の入力のセットを検出することと、
前記再位置決め仮想オブジェクトに対応する前記入力を含む前記1つ以上の入力のセットを検出したことに応じて、前記メディアキャプチャプレビューを前記第1のロケーションから第2のロケーションに移動させることと、を更に含む、請求項11から17のいずれか一項に記載の方法。
【請求項19】
前記メディアキャプチャプレビューが表示されている間に、前記表示生成構成要素を介して、選択されると、複数の以前にキャプチャされたメディアアイテムの前記表示を引き起こすメディアライブラリ仮想オブジェクトを同時に表示する、請求項1から18のいずれか一項に記載の方法。
【請求項20】
前記メディアキャプチャプレビューに含まれる前記1つ以上のカメラの前記視野の前記部分は、第1の視角範囲を有し、
前記物理的環境の前記表現は、第2の視角範囲を有する前記1つ以上のカメラの第2の視野を表し、
前記第1の角度範囲は、前記第2の角度範囲よりも狭い、
請求項1から19のいずれか一項に記載の方法。
【請求項21】
前記メディアキャプチャプレビューに含まれる前記1つ以上のカメラの前記視野の前記部分の前記表現は、前記1つ以上のカメラの第1のカメラの前記視野内にある第1のコンテンツであって、前記1つ以上のカメラの第2のカメラの前記視野内にある、第1のコンテンツを含む、請求項1から20のいずれか一項に記載の方法。
【請求項22】
表示生成構成要素及び1つ以上のカメラと通信しているコンピュータシステムの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムであって、前記1つ以上のプログラムは、請求項1から21のいずれか一項に記載の方法を実行する命令を含む1つ以上のプログラムを記憶する、非一時的コンピュータ可読記憶媒体。
【請求項23】
表示生成構成要素及び1つ以上のカメラと通信しているコンピュータシステムであって、前記コンピュータシステムは、
1つ以上のプロセッサと、
前記1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶するメモリと、を備え、前記1つ以上のプログラムは、請求項1から21のいずれか一項に記載の方法を実行する命令を含む、コンピュータシステム。
【請求項24】
表示生成構成要素及び1つ以上のカメラと通信しているコンピュータシステムであって、
請求項1から21のいずれか一項に記載の方法を実行する手段を備える、コンピュータシステム。
【請求項25】
表示生成構成要素及び1つ以上のカメラと通信しているコンピュータシステムの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを備え、前記1つ以上のプログラムは、請求項1から21のいずれか一項に記載の方法を実行する命令を含む、コンピュータプログラム製品。
【請求項26】
表示生成構成要素及び1つ以上のカメラと通信しているコンピュータシステムの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記1つ以上のプログラムが、
前記表示生成構成要素を介して、物理的環境の表現であって、前記物理的環境の前記表現は、前記物理的環境の前記表現に対応する前記物理的環境の部分が変化し、かつ/又は前記ユーザの視点が変化するにつれて変化する、物理的環境の表現の上にオーバーレイされる第1のユーザインタフェースを表示している間に、メディアキャプチャユーザインタフェースを表示する要求を検出し、
前記メディアキャプチャユーザインタフェースを表示する前記要求を検出したことに応じて、前記表示生成構成要素を介して、前記1つ以上のカメラの視野の部分の表現を含むメディアキャプチャプレビューを、前記1つ以上のカメラの前記視野の前記部分内にある前記物理的環境の前記部分が変化するにつれて更新されるコンテンツとともに表示する、命令を含む、非一時的コンピュータ可読記憶媒体であって、
前記メディアキャプチャプレビューは、前記メディアキャプチャユーザインタフェースが表示されている間にメディアキャプチャ入力を検出したことに応じてキャプチャされるメディアの境界を示し、
前記メディアキャプチャプレビューは、前記物理的環境の前記表現の第1の部分が可視である間に表示され、前記物理的環境の前記表現の前記第1の部分は、前記メディアキャプチャユーザインタフェースを表示する前記要求が検出される前に可視であり、
前記メディアキャプチャプレビューは、前記物理的環境の前記表現の第2の部分の代わりに表示され、前記物理的環境の前記表現の前記第1の部分は、前記物理的環境の前記表現の前記第1の部分に対応する前記物理的環境の前記部分が変化し、かつ/又は前記ユーザの前記視点が変化するにつれて更新される、非一時的コンピュータ可読記憶媒体。
【請求項27】
表示生成構成要素及び1つ以上のカメラと通信しているコンピュータシステムであって、
1つ以上のプロセッサと、
前記1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶するメモリと、を備え、前記1つ以上のプログラムは、
前記表示生成構成要素を介して、物理的環境の表現であって、前記物理的環境の前記表現は、前記物理的環境の前記表現に対応する前記物理的環境の部分が変化し、かつ/又は前記ユーザの視点が変化するにつれて変化する、物理的環境の表現の上にオーバーレイされる第1のユーザインタフェースを表示している間に、メディアキャプチャユーザインタフェースを表示する要求を検出し、
前記メディアキャプチャユーザインタフェースを表示する前記要求を検出したことに応じて、前記表示生成構成要素を介して、前記1つ以上のカメラの視野の部分の表現を含むメディアキャプチャプレビューを、前記1つ以上のカメラの前記視野の前記部分内にある前記物理的環境の前記部分が変化するにつれて更新されるコンテンツとともに表示する、命令を含む、コンピュータシステムであって、
前記メディアキャプチャプレビューは、前記メディアキャプチャユーザインタフェースが表示されている間にメディアキャプチャ入力を検出したことに応じてキャプチャされるメディアの境界を示し、
前記メディアキャプチャプレビューは、前記物理的環境の前記表現の第1の部分が可視である間に表示され、前記物理的環境の前記表現の前記第1の部分は、前記メディアキャプチャユーザインタフェースを表示する前記要求が検出される前に可視であり、
前記メディアキャプチャプレビューは、前記物理的環境の前記表現の第2の部分の代わりに表示され、前記物理的環境の前記表現の前記第1の部分は、前記物理的環境の前記表現の前記第1の部分に対応する前記物理的環境の前記部分が変化し、かつ/又は前記ユーザの前記視点が変化するにつれて更新される、コンピュータシステム。
【請求項28】
表示生成構成要素及び1つ以上のカメラと通信しているコンピュータシステムであって、
前記表示生成構成要素を介して、物理的環境の表現であって、前記物理的環境の前記表現は、前記物理的環境の前記表現に対応する前記物理的環境の部分が変化し、かつ/又は前記ユーザの視点が変化するにつれて変化する、物理的環境の表現の上にオーバーレイされる第1のユーザインタフェースを表示している間に、メディアキャプチャユーザインタフェースを表示する要求を検出する手段と、
前記メディアキャプチャユーザインタフェースを表示する前記要求を検出したことに応じて、前記表示生成構成要素を介して、前記1つ以上のカメラの視野の部分の表現を含むメディアキャプチャプレビューを、前記1つ以上のカメラの前記視野の前記部分内にある前記物理的環境の前記部分が変化するにつれて更新されるコンテンツとともに表示する手段と、を備える、コンピュータシステムであって、
前記メディアキャプチャプレビューは、前記メディアキャプチャユーザインタフェースが表示されている間にメディアキャプチャ入力を検出したことに応じてキャプチャされるメディアの境界を示し、
前記メディアキャプチャプレビューは、前記物理的環境の前記表現の第1の部分が可視である間に表示され、前記物理的環境の前記表現の前記第1の部分は、前記メディアキャプチャユーザインタフェースを表示する前記要求が検出される前に可視であり、
前記メディアキャプチャプレビューは、前記物理的環境の前記表現の第2の部分の代わりに表示され、前記物理的環境の前記表現の前記第1の部分は、前記物理的環境の前記表現の前記第1の部分に対応する前記物理的環境の前記部分が変化し、かつ/又は前記ユーザの前記視点が変化するにつれて更新される、コンピュータシステム。
【請求項29】
表示生成構成要素及び1つ以上のカメラと通信しているコンピュータシステムの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを備えるコンピュータプログラム製品であって、前記1つ以上のプログラムが、
前記表示生成構成要素を介して、物理的環境の表現であって、前記物理的環境の前記表現は、前記物理的環境の前記表現に対応する前記物理的環境の部分が変化し、かつ/又は前記ユーザの視点が変化するにつれて変化する、物理的環境の表現の上にオーバーレイされる第1のユーザインタフェースを表示している間に、メディアキャプチャユーザインタフェースを表示する要求を検出し、
前記メディアキャプチャユーザインタフェースを表示する前記要求を検出したことに応じて、前記表示生成構成要素を介して、前記1つ以上のカメラの視野の部分の表現を含むメディアキャプチャプレビューを、前記1つ以上のカメラの前記視野の前記部分内にある前記物理的環境の前記部分が変化するにつれて更新されるコンテンツとともに表示する、命令を含む、コンピュータプログラム製品であって、
前記メディアキャプチャプレビューは、前記メディアキャプチャユーザインタフェースが表示されている間にメディアキャプチャ入力を検出したことに応じてキャプチャされるメディアの境界を示し、
前記メディアキャプチャプレビューは、前記物理的環境の前記表現の第1の部分が可視である間に表示され、前記物理的環境の前記表現の前記第1の部分は、前記メディアキャプチャユーザインタフェースを表示する前記要求が検出される前に可視であり、
前記メディアキャプチャプレビューは、前記物理的環境の前記表現の第2の部分の代わりに表示され、前記物理的環境の前記表現の前記第1の部分は、前記物理的環境の前記表現の前記第1の部分に対応する前記物理的環境の前記部分が変化し、かつ/又は前記ユーザの前記視点が変化するにつれて更新される、コンピュータプログラム製品。
【請求項30】
方法であって、
表示生成構成要素及び1つ以上のカメラと通信しているコンピュータシステムにおいて、
ユーザの視点が第1のポーズにある間に、前記表示生成構成要素を介して、前記ユーザの前記視点において可視である三次元環境の第1の部分上にオーバーレイされる前記1つ以上のカメラの視野のプレビューであって、前記プレビューは、前記三次元環境の前記第1の部分の表現を含み、前記ユーザの前記視点に対する個別の空間構成とともに表示される、プレビューを含むエクステンデッドリアリティユーザインタフェースを表示することと、
前記第1のポーズから前記第1のポーズとは異なる第2のポーズへの前記ユーザの前記視点の前記ポーズの変化を検出することと、
前記第1のポーズから前記第2のポーズへの前記ユーザの前記視点の前記ポーズの前記変化を検出したことに応じて、前記第1のポーズから前記第2のポーズへの前記ユーザの前記視点の前記ポーズの前記変化に基づいて決定される方向に、前記ユーザの前記視点に対して前記個別の空間構成から離れるように前記1つ以上のカメラの前記視野の前記プレビューをシフトすることと、を含む、方法であって、前記1つ以上のカメラの前記視野の前記プレビューの前記シフトは、第1の速度で行われ、前記1つ以上のカメラの前記視野の前記プレビューが前記ユーザの前記視点のポーズの前記変化に基づいてシフトしている間に、前記三次元環境の前記表現は、前記第1の速度とは異なる第2の速度で前記ユーザの前記視点のポーズの前記変化に基づいて変化する、方法。
【請求項31】
前記コンピュータシステムは、第1の量の追跡ラグで前記ユーザの前記視点のポーズの変化を追跡し、
前記第1の速度は、前記1つ以上のカメラの前記視野の前記プレビューの前記ロケーションを更新する際に、前記第1の量の検出追跡ラグに基づいて導入される前記1つ以上のカメラの前記視野の前記プレビューの前記ロケーションを更新する際の視覚的遅延よりも大きい視覚的遅延を導入する、
請求項30に記載の方法。
【請求項32】
前記1つ以上のカメラの前記視野の前記プレビューが前記第1の速度でシフトしている間に、前記ユーザの前記視点が第1の閾値量未満でポーズを変化させていることを検出することと、
前記ユーザの前記視点が前記閾値量未満でポーズを変化させていることを検出したことに応じて、前記第1の速度よりも速い第3の速度で前記個別の空間構成に向かって前記1つ以上のカメラの前記視野の前記プレビューをシフトすることと、
を更に含む、請求項30又は31に記載の方法。
【請求項33】
前記1つ以上のカメラの前記視野の前記プレビューが前記第1の速度でシフトしている間に、前記ユーザの前記視点が第2の閾値量未満でポーズを変化させていることを検出することと、
前記ユーザの前記視点が前記第2の閾値量未満のポーズを変化させていることを検出したことに応じて、
前記1つ以上のカメラの前記視野の前記プレビューを前記個別の空間構成から離れるようにシフトすることを中止し、
前記ユーザの前記視点に対する前記個別の空間構成を有する前記1つ以上のカメラの前記視野の前記プレビューを表示することと、
を更に含む、請求項30から32のいずれか一項に記載の方法。
【請求項34】
前記ポーズの変化は、前記ユーザの視点の平面に沿った横方向の移動を含む、請求項30から33のいずれか一項に記載の方法。
【請求項35】
前記ポーズの変化は、前記ユーザの視点の前記平面に沿った長手方向の移動を含む、請求項30から34のいずれか一項に記載の方法。
【請求項36】
前記ポーズの変化は、前記ユーザの視点の前記平面に垂直な前後移動を含む、請求項30から35のいずれか一項に記載の方法。
【請求項37】
前記1つ以上のカメラの前記視野の前記プレビューは、前記ユーザの前記視点から可視である前記三次元環境の第2の部分にオーバーレイしない、請求項30から36のいずれか一項に記載の方法。
【請求項38】
前記メディアキャプチャプレビューに含まれる前記三次元環境の前記表現は、前記ユーザの前記視点のポーズの前記変化に基づいて変化し、前記方法は、
前記第1のポーズから前記第2のポーズへの前記ユーザの前記視点の前記ポーズの前記変化を検出している間に、前記1つ以上のカメラの前記視野の前記プレビューに含まれる前記三次元環境の前記表現に対して第1の視覚的安定化を実行することを更に含む、請求項30から37のいずれか一項に記載の方法。
【請求項39】
前記第1の安定化を実行することは、前記1つ以上のカメラの前記視野の前記プレビューに含まれる前記三次元環境の前記表現に第1の量の視覚的安定化を適用することを含み、前記方法は、
前記第1のポーズから前記第2のポーズへの前記ユーザの前記視点の前記ポーズの前記変化を検出している間に、前記三次元環境の前記表現の第2の部分に対して、第2の視覚的安定化であって、前記第2の視覚的安定化は、視覚的安定化の前記第1の量よりも少ない視覚的安定化の第2の量を前記三次元環境の前記表現の前記第2の部分に適用する、第2の視覚的安定化を実行することを更に含む、請求項38に記載の方法。
【請求項40】
表示生成構成要素及び1つ以上のカメラと通信しているコンピュータシステムの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムであって、前記1つ以上のプログラムは、請求項30から39のいずれか一項に記載の方法を実行する命令を含む1つ以上のプログラムを記憶する、非一時的コンピュータ可読記憶媒体。
【請求項41】
表示生成構成要素及び1つ以上のカメラと通信しているコンピュータシステムであって、前記コンピュータシステムは、
1つ以上のプロセッサと、
前記1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶するメモリと、を備え、前記1つ以上のプログラムは、請求項30から39のいずれか一項に記載の方法を実行する命令を含む、コンピュータシステム。
【請求項42】
表示生成構成要素及び1つ以上のカメラと通信しているコンピュータシステムであって、
請求項30から39のいずれか一項に記載の方法を実行する手段を備える、コンピュータシステム。
【請求項43】
表示生成構成要素及び1つ以上のカメラと通信しているコンピュータシステムの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを備え、前記1つ以上のプログラムは、請求項30から39のいずれか一項に記載の方法を実行する命令を含む、コンピュータプログラム製品。
【請求項44】
表示生成構成要素及び1つ以上のカメラと通信しているコンピュータシステムの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記1つ以上のプログラムが、
ユーザの視点が第1のポーズにある間に、前記表示生成構成要素を介して、前記ユーザの前記視点において可視である三次元環境の第1の部分上にオーバーレイされる前記1つ以上のカメラの視野のプレビューであって、前記プレビューは、前記三次元環境の前記第1の部分の表現を含み、前記ユーザの前記視点に対する個別の空間構成とともに表示される、プレビューを含むエクステンデッドリアリティユーザインタフェースを表示し、
前記第1のポーズから前記第1のポーズとは異なる第2のポーズへの前記ユーザの前記視点の前記ポーズの変化を検出し、
前記第1のポーズから前記第2のポーズへの前記ユーザの前記視点の前記ポーズの前記変化を検出したことに応じて、前記第1のポーズから前記第2のポーズへの前記ユーザの前記視点の前記ポーズの前記変化に基づいて決定される方向に、前記ユーザの前記視点に対して前記個別の空間構成から離れるように前記1つ以上のカメラの前記視野の前記プレビューをシフトする、命令を含む、非一時的コンピュータ可読記憶媒体であって、前記1つ以上のカメラの前記視野の前記プレビューの前記シフトは、第1の速度で行われ、前記1つ以上のカメラの前記視野の前記プレビューが前記ユーザの前記視点のポーズの前記変化に基づいてシフトしている間に、前記三次元環境の前記表現は、前記第1の速度とは異なる第2の速度で前記ユーザの前記視点のポーズの前記変化に基づいて変化する、非一時的コンピュータ可読記憶媒体。
【請求項45】
表示生成構成要素及び1つ以上のカメラと通信しているコンピュータシステムであって、
1つ以上のプロセッサと、
前記1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶するメモリと、を備え、前記1つ以上のプログラムは、
ユーザの視点が第1のポーズにある間に、前記表示生成構成要素を介して、前記ユーザの前記視点において可視である三次元環境の第1の部分上にオーバーレイされる前記1つ以上のカメラの視野のプレビューであって、前記プレビューは、前記三次元環境の前記第1の部分の表現を含み、前記ユーザの前記視点に対する個別の空間構成とともに表示される、プレビューを含むエクステンデッドリアリティユーザインタフェースを表示し、
前記第1のポーズから前記第1のポーズとは異なる第2のポーズへの前記ユーザの前記視点の前記ポーズの変化を検出し、
前記第1のポーズから前記第2のポーズへの前記ユーザの前記視点の前記ポーズの前記変化を検出したことに応じて、前記第1のポーズから前記第2のポーズへの前記ユーザの前記視点の前記ポーズの前記変化に基づいて決定される方向に、前記ユーザの前記視点に対して前記個別の空間構成から離れるように前記1つ以上のカメラの前記視野の前記プレビューをシフトする、命令を含む、コンピュータシステムであって、前記1つ以上のカメラの前記視野の前記プレビューの前記シフトは、第1の速度で行われ、前記1つ以上のカメラの前記視野の前記プレビューが前記ユーザの前記視点のポーズの前記変化に基づいてシフトしている間に、前記三次元環境の前記表現は、前記第1の速度とは異なる第2の速度で前記ユーザの前記視点のポーズの前記変化に基づいて変化する、コンピュータシステム。
【請求項46】
表示生成構成要素及び1つ以上のカメラと通信しているコンピュータシステムであって、
ユーザの視点が第1のポーズにある間に、前記表示生成構成要素を介して、前記ユーザの前記視点において可視である三次元環境の第1の部分上にオーバーレイされる前記1つ以上のカメラの視野のプレビューであって、前記プレビューは、前記三次元環境の前記第1の部分の表現を含み、前記ユーザの前記視点に対する個別の空間構成とともに表示される、プレビューを含むエクステンデッドリアリティユーザインタフェースを表示する手段と、
前記第1のポーズから前記第1のポーズとは異なる第2のポーズへの前記ユーザの前記視点の前記ポーズの変化を検出する手段と、
前記第1のポーズから前記第2のポーズへの前記ユーザの前記視点の前記ポーズの前記変化を検出したことに応じて、前記第1のポーズから前記第2のポーズへの前記ユーザの前記視点の前記ポーズの前記変化に基づいて決定される方向に、前記ユーザの前記視点に対して前記個別の空間構成から離れるように前記1つ以上のカメラの前記視野の前記プレビューをシフトする手段と、を備える、コンピュータシステムであって、前記1つ以上のカメラの前記視野の前記プレビューの前記シフトは、第1の速度で行われ、前記1つ以上のカメラの前記視野の前記プレビューが前記ユーザの前記視点のポーズの前記変化に基づいてシフトしている間に、前記三次元環境の前記表現は、前記第1の速度とは異なる第2の速度で前記ユーザの前記視点のポーズの前記変化に基づいて変化する、コンピュータシステム。
【請求項47】
表示生成構成要素及び1つ以上のカメラと通信しているコンピュータシステムの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを備えるコンピュータプログラム製品であって、前記1つ以上のプログラムが、
ユーザの視点が第1のポーズにある間に、前記表示生成構成要素を介して、前記ユーザの前記視点において可視である三次元環境の第1の部分上にオーバーレイされる前記1つ以上のカメラの視野のプレビューであって、前記プレビューは、前記三次元環境の前記第1の部分の表現を含み、前記ユーザの前記視点に対する個別の空間構成とともに表示される、プレビューを含むエクステンデッドリアリティユーザインタフェースを表示し、
前記第1のポーズから前記第1のポーズとは異なる第2のポーズへの前記ユーザの前記視点の前記ポーズの変化を検出し、
前記第1のポーズから前記第2のポーズへの前記ユーザの前記視点の前記ポーズの前記変化を検出したことに応じて、前記第1のポーズから前記第2のポーズへの前記ユーザの前記視点の前記ポーズの前記変化に基づいて決定される方向に、前記ユーザの前記視点に対して前記個別の空間構成から離れるように前記1つ以上のカメラの前記視野の前記プレビューをシフトする、命令を含む、コンピュータプログラム製品であって、前記1つ以上のカメラの前記視野の前記プレビューの前記シフトは、第1の速度で行われ、前記1つ以上のカメラの前記視野の前記プレビューが前記ユーザの前記視点のポーズの前記変化に基づいてシフトしている間に、前記三次元環境の前記表現は、前記第1の速度とは異なる第2の速度で前記ユーザの前記視点のポーズの前記変化に基づいて変化する、コンピュータプログラム製品。
【請求項48】
方法であって、
表示生成構成要素と通信するコンピュータシステムにおいて、
エクステンデッドリアリティ環境ユーザインタフェースを表示している間に、1つ以上の視点の個別の範囲から見たときに、前記ユーザが没入コンテンツによって少なくとも部分的に取り囲まれているという視覚的キューの第1のセットを提供する前記没入コンテンツを含むキャプチャされたメディアを表示するための要求を検出することと、
前記キャプチャされたメディアを表示するための前記要求を検出したことに応じて、前記ユーザの第1の視点が1つ以上の視点の前記個別の範囲の外側にあるように、前記コンピュータシステムによって選択された三次元環境内のロケーションに表示される前記キャプチャされたメディアの前記三次元表現として前記キャプチャされたメディアを表示することと、を含む、方法。
【請求項49】
前記コンピュータシステムによって選択された前記ロケーションは、物理的環境内のロケーションであり、前記キャプチャされたメディアの前記三次元表現は、環境ロックされた仮想オブジェクトであり、前記方法は、
前記キャプチャされたメディアの前記三次元表現を表示している間に、前記ユーザの前記視点が変化したことを検出することと、
前記ユーザの前記視点が変化したことを検出したことに応じて、前記キャプチャされたメディアの前記三次元表現の前記表示を、前記コンピュータシステムによって選択された前記三次元環境内の前記ロケーションに維持することと、を更に含む、請求項48に記載の方法。
【請求項50】
前記ユーザの前記第1の視点は、前記コンピュータシステムによって選択された前記ロケーションから第1の距離にある第1の視点ロケーションに対応し、前記方法は、
前記コンピュータシステムによって選択された前記ロケーションで前記キャプチャされたメディアの前記三次元表現を表示している間に、かつ前記ユーザが前記第1の視点ロケーションにいる間に、前記コンピュータシステムによって選択された前記ロケーションから、第2の距離であって、前記第2の距離は、前記第1の距離よりも小さい、第2の距離にある第2の視点ロケーションに対応する前記ユーザの第2の視点に対する前記ユーザの前記視点のポーズの変化を検出することと、
前記ユーザの第2の視点に対する前記ユーザの前記視点のポーズの前記変化を検出したことに応じて、前記ユーザが前記コンテンツによって少なくとも部分的に取り囲まれているという視覚的キューの第2のセットであって、視覚的キューの前記第2のセットは、前記ユーザの前記第1の視点から見たときに前記三次元表現を表示している間に提供されない前記コンテンツによって前記ユーザが少なくとも部分的に取り囲まれているという第2の視覚的キューを少なくとも含む、視覚的キューの第2のセットとともに前記三次元表現を表示することと、を更に含む、請求項48又は49に記載の方法。
【請求項51】
前記ユーザが前記第2の視点ロケーションにいる間に、かつ前記キャプチャされたメディアの前記三次元表現が表示されている間に、第3の視点ロケーションに対応する前記ユーザの第3の視点に対する前記ユーザの前記視点のポーズの変化を検出することと、
前記ユーザの前記第3の視点に対する前記ユーザの前記視点のポーズの前記変化を検出したことに応じて、
表示基準の第1のセットであって、前記表示基準の第1のセットは、前記第3の視点ロケーションと前記コンピュータシステムによって選択された前記ロケーションとの間の距離が第1の閾値距離よりも大きいときに満たされる第1の基準を含む、表示基準の第1のセットが満たされているという判定に従って、前記キャプチャされたメディアの前記三次元表現を表示することを中止することと、
を更に含む、請求項50に記載の方法。
【請求項52】
前記ユーザが前記第2の視点ロケーションにいる間に、かつ前記キャプチャされたメディアの前記三次元表現が表示されている間に、第4の視点ロケーションに対応する前記ユーザの第4の視点に対する前記ユーザの前記視点のポーズの変化を検出することと、
前記ユーザの前記第4の視点に対する前記ユーザの前記視点のポーズの前記変化を検出したことに応じて、
表示基準の第2のセットであって、前記表示基準の第2のセットは、前記第4の視点ロケーションと前記コンピュータシステムによって選択された前記ロケーションとの間の距離が第2の閾値距離未満であるときに満たされる第2の基準を含む、表示基準の第2のセットが満たされているという判定に従って、前記コンピュータシステムによって選択された前記ロケーションよりも前記第4の視点ロケーションから遠い、前記コンピュータシステムによって選択された個別のロケーションに、前記キャプチャされたメディアの前記三次元表現を表示することと、
を更に含む、請求項50に記載の方法。
【請求項53】
前記ユーザの前記第1の視点は、前記コンピュータシステムによって選択された前記ロケーションから第5の距離にある第5の視点ロケーションに対応し、前記方法は、
前記コンピュータによって選択された前記ロケーションに前記キャプチャされたメディアの前記三次元表現を表示し、前記ユーザが前記第5の視点ロケーションにいる間に、前記コンピュータシステムによって選択された前記ロケーションから第6の距離にある第6の視点ロケーションに対応する前記ユーザの第6の視点に対する前記ユーザの前記視点のポーズの変化を検出することと、
前記ユーザの前記第6の視点への前記ユーザの前記視点のポーズの前記変化を検出したことに応じて、前記ユーザが前記コンテンツによって少なくとも部分的に取り囲まれているという視覚的キューの第3のセットとともに前記三次元表現を表示することと、を更に含む、請求項48から52のいずれか一項に記載の方法。
【請求項54】
前記キャプチャされたメディアの前記三次元表現は、第1の仮想オブジェクト及び第2の仮想オブジェクトを含む複数の仮想オブジェクトを含み、前記方法は、
前記ユーザの前記ユーザの第7の視点に対する前記ユーザの前記視点のポーズの変化を検出することと、
前記ユーザの前記第7の視点に対する前記ユーザの視点のポーズの前記変化を検出したことに応じて、前記表示生成構成要素を介して、前記ユーザのポーズの前記変化に基づいて、前記第2の仮想オブジェクトに対して移動する前記第1の仮想オブジェクトを表示することと、を更に含む、請求項48から53のいずれか一項に記載の方法。
【請求項55】
前記キャプチャされたメディアの前記三次元表現は、第1のタイプの投影として表示され、前記方法は、
前記キャプチャされたメディアの前記三次元表現を第1の投影形状として表示している間に、前記三次元表現を前記第1のタイプの投影とは異なる第2のタイプの投影として表示する要求を検出することと、
前記三次元表現を第2のタイプの投影として表示するための前記要求を検出したことに応じて、前記三次元表現を前記第2のタイプの投影として表示することと、を更に含む、請求項48から54のいずれか一項に記載の方法。
【請求項56】
前記第1のタイプの投影及び前記第2のタイプの投影は、独立して、
球形の立体投影と、
平坦化された形状のステレオ投影と、からなる群から選択される、請求項55に記載の方法。
【請求項57】
前記キャプチャされたメディアの前記三次元表現は、第1のサイズで表示され、前記方法は、
前記第1のサイズで前記三次元表現を表示している間に、1つ以上のジェスチャのセットを検出することと、
前記1つ以上のジェスチャのセットを検出したことに応じて、前記キャプチャされたメディアの前記三次元表現の前記表示を、前記第1のサイズよりも大きい第2のサイズに拡大することと、を更に含む、請求項48から56のいずれか一項に記載の方法。
【請求項58】
前記1つ以上のジェスチャのセットを検出する前に、前記エクステンデッドリアリティ環境ユーザインタフェースは、物理的環境の表現の第1の部分を含み、
前記キャプチャされたメディアの三次元表現の前記表示を、前記第1のサイズよりも大きい前記第2のサイズに拡大することは、前記物理的環境の前記表現の前記第1の部分の代わりに、前記キャプチャされたメディアの前記三次元表現を前記第2のサイズに表示すること、
を含む、請求項57に記載の方法。
【請求項59】
前記キャプチャされたメディアの前記三次元表現が表示されている間に、移動成分を含む1つ以上のジェスチャの第2のセットを検出することと、
1つ以上のジェスチャの前記第2のセットを検出したことに応じて、
前記キャプチャされたメディアの前記三次元表現の表示を中止することと、
前記コンピュータシステムによって選択された前記ロケーションに第2のキャプチャされたメディアの第2の三次元表現を表示することと、
を更に含む、請求項48から58のいずれか一項に記載の方法。
【請求項60】
前記方法は、
キャプチャされたメディアを前記キャプチャされたメディアの三次元表現として表示している間に、前記キャプチャされたメディアを再生する要求を受信することと、
前記キャプチャされたメディアを再生するための前記要求を受信したことに応じて、前記キャプチャされたメディアはオーディオデータを含むという判定に従って、前記キャプチャされたメディアを再生することと、を更に含む方法であって、前記キャプチャされたメディアアイテムの再生は、前記オーディオデータに対応する空間オーディオを出力する、
ことを含む、請求項48から59のいずれか一項に記載の方法。
【請求項61】
前記コンピュータシステムは、外部デバイスと通信し、前記キャプチャされたメディアは、深度データを含み、前記方法は、
前記キャプチャされたメディアを前記キャプチャされたメディアの三次元表現として表示している間に、前記外部デバイス上で前記キャプチャされたメディアを再生する要求を受信することと、
前記外部デバイス上で前記キャプチャされたメディアを再生するための前記要求を受信したことに応じて、かつ前記外部デバイスが前記キャプチャされたメディア中に含まれる前記深度データを表示することができないという判定に従って、立体視深度効果なしに前記外部デバイス上で前記キャプチャされたメディアの再生を開始することと、を更に含む、請求項48から60のいずれか一項に記載の方法。
【請求項62】
前記外部デバイス上で前記キャプチャされたメディアを再生することは、前記キャプチャされたメディアに対応する空間オーディオを出力することを含む、請求項61に記載の方法。
【請求項63】
前記コンピュータシステムは、デフォルト瞳孔間距離値設定を有し、前記方法は、
前記キャプチャされたメディアを再生する要求を検出することと、
前記キャプチャされたメディアを再生するための前記要求を検出したことに応じて、かつ前記ユーザの目が前記デフォルト瞳孔間距離値設定とは異なる瞳孔間距離値を有するという判定に従って、前記ユーザの瞳孔間距離に基づく第1の量の視覚的シフトで前記キャプチャされたメディアアイテムの再生を開始することと、を更に含む、請求項48から62のいずれか一項に記載の方法。
【請求項64】
表示生成構成要素と通信するコンピュータシステムの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記1つ以上のプログラムは、請求項48から63のいずれか一項に記載の方法を実施する命令を含む、非一時的コンピュータ可読記憶媒体。
【請求項65】
表示生成構成要素と通信するコンピュータシステムであって、前記コンピュータシステムは、
1つ以上のプロセッサと、
前記1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶するメモリと、を備え、前記1つ以上のプログラムは、請求項48から63のいずれか一項に記載の方法を実行する命令を含む、コンピュータシステム。
【請求項66】
表示生成構成要素と通信するコンピュータシステムであって、
請求項48から63のいずれか一項に記載の方法を実行する手段を備える、コンピュータシステム。
【請求項67】
表示生成構成要素と通信するコンピュータシステムの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムであって、前記1つ以上のプログラムは、請求項48から63のいずれか一項に記載の方法を実行する命令を含む1つ以上のプログラムを備える、コンピュータプログラム製品。
【請求項68】
表示生成構成要素と通信するコンピュータシステムの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記1つ以上のプログラムが、
エクステンデッドリアリティ環境ユーザインタフェースを表示している間に、1つ以上の視点の個別の範囲から見たときに、前記ユーザが没入コンテンツによって少なくとも部分的に取り囲まれているという視覚的キューの第1のセットを提供する前記没入コンテンツを含むキャプチャされたメディアを表示するための要求を検出し、
前記キャプチャされたメディアを表示するための前記要求を検出したことに応じて、前記ユーザの第1の視点が1つ以上の視点の前記個別の範囲の外側にあるように、前記コンピュータシステムによって選択されたロケーションに表示される前記キャプチャされたメディアの三次元表現として前記キャプチャされたメディアを表示する、命令を含む、非一時的コンピュータ可読記憶媒体。
【請求項69】
表示生成構成要素と通信するコンピュータシステムであって、
1つ以上のプロセッサと、
前記1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶するメモリと、を備え、前記1つ以上のプログラムは、
エクステンデッドリアリティ環境ユーザインタフェースを表示している間に、1つ以上の視点の個別の範囲から見たときに、前記ユーザが没入コンテンツによって少なくとも部分的に取り囲まれているという視覚的キューの第1のセットを提供する前記没入コンテンツを含むキャプチャされたメディアを表示するための要求を検出し、
前記キャプチャされたメディアを表示するための前記要求を検出したことに応じて、前記ユーザの第1の視点が1つ以上の視点の前記個別の範囲の外側にあるように、前記コンピュータシステムによって選択されたロケーションに表示される前記キャプチャされたメディアの三次元表現として前記キャプチャされたメディアを表示する、命令を含む、コンピュータシステム。
【請求項70】
表示生成構成要素と通信するコンピュータシステムであって、
エクステンデッドリアリティ環境ユーザインタフェースを表示している間に、1つ以上の視点の個別の範囲から見たときに、前記ユーザが没入コンテンツによって少なくとも部分的に取り囲まれているという視覚的キューの第1のセットを提供する前記没入コンテンツを含むキャプチャされたメディアを表示するための要求を検出する手段と、
前記キャプチャされたメディアを表示するための前記要求を検出したことに応じて、前記ユーザの第1の視点が1つ以上の視点の前記個別の範囲の外側にあるように、前記コンピュータシステムによって選択されたロケーションに表示される前記キャプチャされたメディアの三次元表現として前記キャプチャされたメディアを表示する手段と、を備える、コンピュータシステム。
【請求項71】
表示生成構成要素と通信しているコンピュータシステムの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを備えるコンピュータプログラム製品であって、前記1つ以上のプログラムが、
エクステンデッドリアリティ環境ユーザインタフェースを表示している間に、1つ以上の視点の個別の範囲から見たときに、前記ユーザが没入コンテンツによって少なくとも部分的に取り囲まれているという視覚的キューの第1のセットを提供する前記没入コンテンツを含むキャプチャされたメディアを表示するための要求を検出し、
前記キャプチャされたメディアを表示するための前記要求を検出したことに応じて、前記ユーザの第1の視点が1つ以上の視点の前記個別の範囲の外側にあるように、前記コンピュータシステムによって選択されたロケーションに表示される前記キャプチャされたメディアの三次元表現として前記キャプチャされたメディアを表示する、命令を含む、コンピュータプログラム製品。
【請求項72】
方法であって、
表示生成構成要素及び1つ以上のカメラと通信しているコンピュータシステムにおいて、
前記表示生成構成要素を介して、エクステンデッドリアリティカメラユーザインタフェースであって、前記エクステンデッドリアリティカメラユーザインタフェースは、
物理的環境の表現と、
前記1つ以上のカメラの視野内の記録領域を示す記録インジケータであって、前記記録インジケータは、前記記録インジケータの可視部分における視覚的パラメータの複数の異なる値を通じて減少する前記視覚的パラメータを有する少なくとも第1の縁部領域を含み、前記パラメータの前記値は、前記記録インジケータの前記第1の縁部領域からの距離が増加するにつれて徐々に減少する、記録インジケータと、を含む、エクステンデッドリアリティカメラユーザインタフェースを表示することを含む、方法。
【請求項73】
前記エクステンデッドリアリティカメラユーザインタフェースが表示されている間に、メディアをキャプチャするための要求に対応する入力を検出することと、
メディアをキャプチャするための要求に対応する前記入力を検出したことに応じて、前記記録領域内にある前記物理的環境の少なくとも一部分の表現を含むメディアをキャプチャすることと、
を更に含む、請求項72に記載の方法。
【請求項74】
前記キャプチャされたメディアは、静止メディアである、請求項73に記載の方法。
【請求項75】
前記キャプチャされたメディアは、動画メディアである、請求項73に記載の方法。
【請求項76】
前記キャプチャされたメディアは、前記記録領域内にある前記物理的環境の表現とは異なる、前記1つ以上のカメラの前記視野の表現を含む、請求項73から75のいずれか一項に記載の方法。
【請求項77】
前記視覚的パラメータは、色合い勾配である、請求項72から76のいずれか一項に記載の方法。
【請求項78】
前記記録インジケータは、前記第1の縁部領域よりも前記記録領域の前記中心から遠い第2の縁部領域を含み、前記第2の縁部領域は、前記第1の縁部領域よりも大きい、請求項77に記載の方法。
【請求項79】
前記コンピュータシステムと通信する前記1つ以上のカメラは、深度データをキャプチャするための最適キャプチャ距離を有し、前記記録インジケータのサイズ及び/又は形状は、前記コンピュータシステムを、前記1つ以上のカメラの前記視野内の1つ以上のオブジェクトに対して、前記1つ以上のカメラの前記最適キャプチャ距離に位置決めすることを補助する、請求項72から78のいずれか一項に記載の方法。
【請求項80】
前記記録インジケータは、前記物理的環境の前記表現内の固定されたシミュレートされた深度に表示される、請求項72から79のいずれか一項に記載の方法。
【請求項81】
前記記録インジケータは、1つ以上の角部を含み、前記方法は、
前記記録インジケータが表示されている間に、表示基準のセットが満たされているという判定に従って、前記表示生成構成要素を介して、前記記録インジケータの前記1つ以上の角部に二次記録インジケータを表示することを更に含む、請求項72から80のいずれか一項に記載の方法。
【請求項82】
前記記録インジケータは、第1の平面に表示され、前記二次記録インジケータは、前記第1の平面に表示される、請求項81に記載の方法。
【請求項83】
前記二次記録インジケータを表示することは、
前記物理的環境が第1の量の輝度を有するという判定に従って、前記記録インジケータに対して第1の量の視覚的強調を有する前記二次記録インジケータを表示することと、
前記物理的環境が前記第1の量の輝度よりも小さい第2の量の輝度を有するという判定に従って、前記記録インジケータに対して、第2の量の視覚的強調であって、前記第2の量の視覚的強調は、前記第1の量の視覚的強調よりも大きい、第2の量の視覚的強調で前記二次記録インジケータを表示することを含む、請求項81又は82に記載の方法。
【請求項84】
前記表示基準のセットは、1つ以上の対象の状態が深度キャプチャに適切であるときに満たされる基準を含む、請求項81から83のいずれか一項に記載の方法。
【請求項85】
前記二次記録インジケータは、現在の状態が深度キャプチャに適切ではないことを示す第1の視覚的外観で表示されている間に、第2の対象の表現の周りに前記記録インジケータを表示することと、
1つ以上の深度キャプチャ基準のセットが満たされているという判定に従って、前記二次記録インジケータの前記視覚的外観を、前記第1の視覚的外観から、前記現在の状態が深度キャプチャに適切であることを示す第2の視覚的外観に変更することと、
を更に含む、請求項81から84のいずれか一項に記載の方法。
【請求項86】
前記エクステンデッドリアリティカメラユーザインタフェースを表示する前に、前記エクステンデッドリアリティカメラユーザインタフェースを表示するための要求に対応する入力を検出することと、
前記エクステンデッドリアリティカメラユーザインタフェースを表示するための前記要求に対応する前記入力を検出したことに応じて、前記エクステンデッドリアリティカメラユーザインタフェースを表示することと、を更に含む方法であって、前記エクステンデッドリアリティカメラユーザインタフェースを表示することは、前記記録インジケータがフェードインするアニメーションを表示すること、
を含む、請求項72から85のいずれか一項に記載の方法。
【請求項87】
前記物理的環境の前記表現は、前記記録インジケータを取り囲む第3の部分を含み、前記物理的環境の前記表現の前記第3の部分及び前記記録領域は、表示されたユーザインタフェース要素に起因して実質的に同じ量の輝度修正を有する、請求項72から86のいずれか一項に記載の方法。
【請求項88】
前記記録インジケータは、第3の縁部領域を有し、前記第1の縁部領域は、前記第3の縁部領域よりも暗い、請求項87に記載の方法。
【請求項89】
前記記録インジケータは、第4の縁部領域を有し、前記第4の縁部領域は、前記第1の縁部領域よりも暗い、請求項87に記載の方法。
【請求項90】
前記記録インジケータ内に、選択されると、メディアをキャプチャするためのプロセスの開始を引き起こすキャプチャ仮想オブジェクトを表示すること、
を更に含む、請求項72から89のいずれか一項に記載の方法。
【請求項91】
前記記録インジケータ内に、選択されると、以前にキャプチャされたメディアを表示するためのプロセスの前記開始を引き起こすカメラロール仮想オブジェクトを表示すること、
を更に含む、請求項72から90のいずれか一項に記載の方法。
【請求項92】
前記記録インジケータは、1つ以上の丸い角部を含む、請求項72から91のいずれか一項に記載の方法。
【請求項93】
前記記録インジケータが前記物理的環境の前記表現の第4の部分を取り囲むように表示されている間に、前記1つ以上のカメラのポーズの変化を検出することと、
前記1つ以上のカメラの前記ポーズの前記変化を検出したことに応じて、
前記物理的環境の前記表現の前記第4の部分の周囲に前記記録インジケータを表示することなく、前記物理的環境の前記表現の第5の部分の周囲に前記記録インジケータを表示することと、
を更に含む、請求項72から92のいずれか一項に記載の方法。
【請求項94】
表示生成構成要素及び1つ以上のカメラと通信しているコンピュータシステムの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムであって、前記1つ以上のプログラムは、請求項72から93のいずれか一項に記載の方法を実行する命令を含む1つ以上のプログラムを記憶する、非一時的コンピュータ可読記憶媒体。
【請求項95】
表示生成構成要素及び1つ以上のカメラと通信するように構成されたコンピュータシステムであって、前記コンピュータシステムは、
1つ以上のプロセッサと、
前記1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶するメモリと、を備え、前記1つ以上のプログラムは、請求項72から93のいずれか一項に記載の方法を実行する命令を含む、コンピュータシステム。
【請求項96】
表示生成構成要素及び1つ以上のカメラと通信するように構成されたコンピュータシステムであって、
請求項72から93のいずれか一項に記載の方法を実行する手段を備える、コンピュータシステム。
【請求項97】
表示生成構成要素及び1つ以上のカメラと通信しているコンピュータシステムの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを備え、前記1つ以上のプログラムは、請求項72から93のいずれか一項に記載の方法を実行する命令を含む、コンピュータプログラム製品。
【請求項98】
表示生成構成要素及び1つ以上のカメラと通信しているコンピュータシステムの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記1つ以上のプログラムは、
前記表示生成構成要素を介して、エクステンデッドリアリティカメラユーザインタフェースであって、前記エクステンデッドリアリティカメラユーザインタフェースは、
物理的環境の表現と、
前記1つ以上のカメラの視野内の記録領域を示す記録インジケータであって、前記記録インジケータは、前記記録インジケータの可視部分における視覚的パラメータの複数の異なる値を通じて減少する前記視覚的パラメータを有する少なくとも第1の縁部領域を含み、前記パラメータの前記値は、前記記録インジケータの前記第1の縁部領域からの距離が増加するにつれて徐々に減少する、記録インジケータと、を含む、エクステンデッドリアリティカメラユーザインタフェースを表示する、命令を含む、非一時的コンピュータ可読記憶媒体。
【請求項99】
表示生成構成要素及び1つ以上のカメラと通信するように構成されたコンピュータシステムであって、
1つ以上のプロセッサと、
前記1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶するメモリと、を備え、前記1つ以上のプログラムは、
前記表示生成構成要素を介して、エクステンデッドリアリティカメラユーザインタフェースであって、前記エクステンデッドリアリティカメラユーザインタフェースは、
物理的環境の表現と、
前記1つ以上のカメラの視野内の記録領域を示す記録インジケータであって、前記記録インジケータは、前記記録インジケータの可視部分における視覚的パラメータの複数の異なる値を通じて減少する前記視覚的パラメータを有する少なくとも第1の縁部領域を含み、前記パラメータの前記値は、前記記録インジケータの前記第1の縁部領域からの距離が増加するにつれて徐々に減少する、記録インジケータと、を含む、エクステンデッドリアリティカメラユーザインタフェースを表示する、命令を含む、コンピュータシステム。
【請求項100】
表示生成構成要素及び1つ以上のカメラと通信するように構成されたコンピュータシステムであって、
前記表示生成構成要素を介して、エクステンデッドリアリティカメラユーザインタフェースであって、前記エクステンデッドリアリティカメラユーザインタフェースは、
物理的環境の表現と、
前記1つ以上のカメラの視野内の記録領域を示す記録インジケータであって、前記記録インジケータは、前記記録インジケータの可視部分における視覚的パラメータの複数の異なる値を通じて減少する前記視覚的パラメータを有する少なくとも第1の縁部領域を含み、前記パラメータの前記値は、前記記録インジケータの前記第1の縁部領域からの距離が増加するにつれて徐々に減少する、記録インジケータと、を含む、エクステンデッドリアリティカメラユーザインタフェースを表示する手段を備える、コンピュータシステム。
【請求項101】
表示生成構成要素及び1つ以上のカメラと通信しているコンピュータシステムの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを備えるコンピュータプログラム製品であって、前記1つ以上のプログラムは、
前記表示生成構成要素を介して、エクステンデッドリアリティカメラユーザインタフェースであって、前記エクステンデッドリアリティカメラユーザインタフェースは、
物理的環境の表現と、
前記1つ以上のカメラの視野内の記録領域を示す記録インジケータであって、前記記録インジケータは、前記記録インジケータの可視部分における視覚的パラメータの複数の異なる値を通じて減少する前記視覚的パラメータを有する少なくとも第1の縁部領域を含み、前記パラメータの前記値は、前記記録インジケータの前記第1の縁部領域からの距離が増加するにつれて徐々に減少する、記録インジケータと、を含む、エクステンデッドリアリティカメラユーザインタフェースを表示する、命令を含む、コンピュータプログラム製品。
【請求項102】
方法であって、
表示生成構成要素、1つ以上の入力デバイス、及び1つ以上のカメラと通信しているコンピュータシステムにおいて、
前記1つ以上の入力デバイスを介して、カメラユーザインタフェースを表示する要求を検出することと、
前記カメラユーザインタフェースを表示するための前記要求を検出したことに応じて、前記カメラユーザインタフェースであって、前記カメラユーザインタフェースは、前記1つ以上のカメラのキャプチャ領域を示すレチクル仮想オブジェクトを含む、前記カメラユーザインタフェースを表示することと、を含む、方法であって、前記カメラユーザインタフェースを表示することは、
1つ以上の基準のセットが満たされているという判定に従って、前記カメラユーザインタフェース内に、チュートリアルであって、前記チュートリアルは、前記カメラユーザインタフェースが表示されている間に前記コンピュータシステムを用いてメディアをどのようにキャプチャするかについての情報を提供する、チュートリアルとともに、前記カメラユーザインタフェースを表示することと、
前記1つ以上の基準のセットが満たされていないという判定に従って、前記チュートリアルを表示することなく、前記カメラユーザインタフェースを表示することと、を含む、方法。
【請求項103】
前記1つ以上の基準のセットは、前記カメラユーザインタフェースが最初に表示されるときに満たされる基準を含む、請求項102に記載の方法。
【請求項104】
前記チュートリアルを表示することは、前記1つ以上のカメラを使用して第1のメディアアイテムをキャプチャする命令を表示することを含む、請求項102又は103に記載の方法。
【請求項105】
前記チュートリアルは、ビデオを含む、請求項102から104のいずれか一項に記載の方法。
【請求項106】
前記カメラユーザインタフェースを表示することは、ビューファインダ仮想オブジェクトを表示することを含み、前記チュートリアルを表示することは、前記ビューファインダ仮想オブジェクトの少なくとも一部分にオーバーレイして前記チュートリアルを表示することを含む、請求項102から105のいずれか一項に記載の方法。
【請求項107】
前記コンピュータシステムは、アクティブ化されると、メディアキャプチャプロセスの開始を引き起こすハードウェア入力機構と通信し、前記チュートリアルは、前記ハードウェア入力の表現を含み、前記チュートリアルを表示することは、前記ハードウェア入力機構のアクティブ化に対応する入力の表現を表示することを含む、請求項102から106のいずれか一項に記載の方法。
【請求項108】
前記ハードウェア入力機構は、ユーザが前記コンピュータシステムを操作している間に、前記ユーザには可視ではない、請求項107に記載の方法。
【請求項109】
前記ハードウェア入力機構の第1のアクティブ化であって、前記ハードウェア入力機構の前記第1のアクティブ化は、第1のタイプの入力である、第1のアクティブ化を検出することと、
前記ハードウェア入力機構の前記第1のアクティブ化を検出したことに応じて、前記1つ以上のカメラを使用して第2のメディアアイテムをキャプチャすることと、
を更に含む、請求項107又は108に記載の方法。
【請求項110】
前記ハードウェア入力機構の第2のアクティブ化であって、前記ハードウェア入力機構の前記第2のアクティブ化は、所定の時間期間の間、前記入力を維持することを含む第2のタイプの入力に対応する、第2のアクティブ化を検出することと、
前記ハードウェア入力機構の前記第2のアクティブ化を検出したことに応じて、第3のメディアアイテムをキャプチャすることと、
を更に含む、請求項107から109のいずれか一項に記載の方法。
【請求項111】
カメラユーザインタフェースが前記チュートリアルとともに表示されている間に、前記ハードウェア入力機構の第3のアクティブ化を検出することと、
前記ハードウェア入力機構の前記第3のアクティブ化を検出したことに応じて、前記チュートリアルの前記表示を中止することと、
を更に含む、請求項107から110のいずれか一項に記載の方法。
【請求項112】
基準のセットが満たされているという判定に従って、前記カメラユーザインタフェースは、選択されると、メディアアイテムをキャプチャするためのプロセスを開始するカメラシャッタ仮想オブジェクトを含み、
前記基準のセットが満たされていないという判定に従って、前記カメラユーザインタフェースは、メディアアイテムをキャプチャするプロセスを開始するための前記カメラシャッタ仮想オブジェクトを含まない、
請求項102から111のいずれか一項に記載の方法。
【請求項113】
前記基準のセットは、前記コンピュータシステムの設定が有効にされたときに満たされる基準を含む、請求項112に記載の方法。
【請求項114】
前記カメラユーザインタフェースは、選択されると、前記カメラユーザインタフェースの表示を中止させる近接仮想オブジェクトを含む、請求項102から113のいずれか一項に記載の方法。
【請求項115】
前記カメラユーザインタフェースは、エクステンデッドリアリティ環境内に表示され、前記エクステンデッドリアリティ環境の第1の部分は、前記レチクル仮想オブジェクト内に表示される、請求項102から114のいずれか一項に記載の方法。
【請求項116】
第4のメディアアイテムをキャプチャするための要求を検出することと、
前記第4のメディアアイテムをキャプチャするための前記要求を検出したことに応じて、前記第4のメディアアイテムであって、前記第4のメディアアイテムは、立体視メディアアイテムである、前記第4のメディアアイテムをキャプチャすることと、
を更に含む、請求項102から115のいずれか一項に記載の方法。
【請求項117】
表示生成構成要素、1つ以上の入力デバイス、及び1つ以上のカメラと通信しているコンピュータシステムの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記1つ以上のプログラムは、請求項102から116のいずれか一項に記載の方法を実行する命令を含む、非一時的コンピュータ可読記憶媒体。
【請求項118】
表示生成構成要素、1つ以上の入力デバイス、及び1つ以上のカメラと通信するように構成されたコンピュータシステムであって、前記コンピュータシステムは、
1つ以上のプロセッサと、
前記1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶するメモリと、を備え、前記1つ以上のプログラムは、請求項102から116のいずれか一項に記載の方法を実行する命令を含む、コンピュータシステム。
【請求項119】
表示生成構成要素、1つ以上の入力デバイス、及び1つ以上のカメラと通信するように構成されたコンピュータシステムであって、
請求項102から116のいずれか一項に記載の方法を実行する手段を備える、コンピュータシステム。
【請求項120】
表示生成構成要素、1つ以上の入力デバイス、及び1つ以上のカメラと通信しているコンピュータシステムの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを備えるコンピュータプログラム製品であって、前記1つ以上のプログラムは、請求項102から116のいずれか一項に記載の方法を実行する命令を含む、コンピュータプログラム製品。
【請求項121】
表示生成構成要素、1つ以上の入力デバイス、及び1つ以上のカメラと通信しているコンピュータシステムの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記1つ以上のプログラムは、
前記1つ以上の入力デバイスを介して、カメラユーザインタフェースを表示する要求を検出し、
前記カメラユーザインタフェースを表示するための前記要求を検出したことに応じて、前記カメラユーザインタフェースであって、前記カメラユーザインタフェースは、前記1つ以上のカメラのキャプチャ領域を示すレチクル仮想オブジェクトを含む、前記カメラユーザインタフェースを表示する、命令を含む、非一時的コンピュータ可読記憶媒体であって、前記カメラユーザインタフェースを表示することは、
1つ以上の基準のセットが満たされているという判定に従って、前記カメラユーザインタフェース内に、チュートリアルであって、前記チュートリアルは、前記カメラユーザインタフェースが表示されている間に前記コンピュータシステムを用いてメディアをどのようにキャプチャするかについての情報を提供する、チュートリアルとともに、前記カメラユーザインタフェースを表示することと、
前記1つ以上の基準のセットが満たされていないという判定に従って、前記チュートリアルを表示することなく、前記カメラユーザインタフェースを表示することと、を含む、非一時的コンピュータ可読記憶媒体。
【請求項122】
表示生成構成要素、1つ以上の入力デバイス、及び1つ以上のカメラと通信するように構成されたコンピュータシステムであって、
1つ以上のプロセッサと、
前記1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶するメモリと、を備え、前記1つ以上のプログラムは、
前記1つ以上の入力デバイスを介して、カメラユーザインタフェースを表示する要求を検出し、
前記カメラユーザインタフェースを表示するための前記要求を検出したことに応じて、前記カメラユーザインタフェースであって、前記カメラユーザインタフェースは、前記1つ以上のカメラのキャプチャ領域を示すレチクル仮想オブジェクトを含む、前記カメラユーザインタフェースを表示する、命令を含む、コンピュータシステムであって、前記カメラユーザインタフェースを表示することは、
1つ以上の基準のセットが満たされているという判定に従って、前記カメラユーザインタフェース内に、チュートリアルであって、前記チュートリアルは、前記カメラユーザインタフェースが表示されている間に前記コンピュータシステムを用いてメディアをどのようにキャプチャするかについての情報を提供する、チュートリアルとともに、前記カメラユーザインタフェースを表示することと、
前記1つ以上の基準のセットが満たされていないという判定に従って、前記チュートリアルを表示することなく、前記カメラユーザインタフェースを表示することと、を含む、コンピュータシステム。
【請求項123】
表示生成構成要素、1つ以上の入力デバイス、及び1つ以上のカメラと通信するように構成されたコンピュータシステムであって、
前記1つ以上の入力デバイスを介して、カメラユーザインタフェースを表示する要求を検出する手段と、
前記カメラユーザインタフェースを表示するための前記要求を検出したことに応じて、前記カメラユーザインタフェースであって、前記カメラユーザインタフェースは、前記1つ以上のカメラのキャプチャ領域を示すレチクル仮想オブジェクトを含む、前記カメラユーザインタフェースを表示する手段と、を備える、コンピュータシステムであって、前記カメラユーザインタフェースを表示することは、
1つ以上の基準のセットが満たされているという判定に従って、前記カメラユーザインタフェース内に、チュートリアルであって、前記チュートリアルは、前記カメラユーザインタフェースが表示されている間に前記コンピュータシステムを用いてメディアをどのようにキャプチャするかについての情報を提供する、チュートリアルとともに、前記カメラユーザインタフェースを表示することと、
前記1つ以上の基準のセットが満たされていないという判定に従って、前記チュートリアルを表示することなく、前記カメラユーザインタフェースを表示することと、を含む、コンピュータシステム。
【請求項124】
表示生成構成要素、1つ以上の入力デバイス、及び1つ以上のカメラと通信しているコンピュータシステムの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを備えるコンピュータプログラム製品であって、前記1つ以上のプログラムは、
前記1つ以上の入力デバイスを介して、カメラユーザインタフェースを表示する要求を検出し、
前記カメラユーザインタフェースを表示するための前記要求を検出したことに応じて、前記カメラユーザインタフェースであって、前記カメラユーザインタフェースは、前記1つ以上のカメラのキャプチャ領域を示すレチクル仮想オブジェクトを含む、前記カメラユーザインタフェースを表示する、命令を含む、コンピュータプログラム製品であって、前記カメラユーザインタフェースを表示することは、
1つ以上の基準のセットが満たされているという判定に従って、前記カメラユーザインタフェース内に、チュートリアルであって、前記チュートリアルは、前記カメラユーザインタフェースが表示されている間に前記コンピュータシステムを用いてメディアをどのようにキャプチャするかについての情報を提供する、チュートリアルとともに、前記カメラユーザインタフェースを表示することと、
前記1つ以上の基準のセットが満たされていないという判定に従って、前記チュートリアルを表示することなく、前記カメラユーザインタフェースを表示することと、を含む、コンピュータプログラム製品。
【請求項125】
方法であって、
表示生成構成要素、1つ以上のカメラ、及び1つ以上の入力デバイスと通信しているコンピュータシステムにおいて、
前記表示生成構成要素を介して、ユーザインタフェースを表示することであって、前記ユーザインタフェースは、
物理的環境の表現であって、前記物理的環境の前記表現の第1の部分は、前記1つ以上のカメラのキャプチャ領域の内側にあり、前記物理的環境の前記表現の第2の部分は、前記1つ以上のカメラの前記キャプチャ領域の外側にある、物理的環境の表現と、
ビューファインダであって、前記ビューファインダは、境界を含む、ビューファインダと、
を含む、ことと、
前記ユーザインタフェースを表示している間に、前記1つ以上の入力デバイスを介して、メディアをキャプチャするための第1の要求を検出することと、
メディアをキャプチャするための前記第1の要求を検出したことに応じて、
前記1つ以上のカメラを使用して、前記物理的環境の前記表現の少なくとも前記第1の部分を含む第1のメディアアイテムをキャプチャすることと、
前記ビューファインダの外観を変更することであって、前記ビューファインダの前記外観を変更することは、
前記ビューファインダの前記境界の第1の側の閾値距離内にあるコンテンツの第1の部分の前記外観を変更することと、
前記ビューファインダの前記境界の前記第1の側とは異なる、前記ビューファインダの前記境界の第2の側の前記閾値距離内にあるコンテンツの第2の部分の前記外観を変更することと、を含む、
ことと、
を含む、方法。
【請求項126】
前記第1のメディアアイテムは、立体視メディアアイテムである、請求項125に記載の方法。
【請求項127】
前記メディアをキャプチャするための第1の要求を検出する前に、前記ビューファインダは、第1の外観で表示され、前記ビューファインダの前記外観を変更することは、前記第1の外観とは異なる第2の外観で前記ビューファインダを表示することを含み、前記方法は、
前記ビューファインダがある時間期間にわたって前記第2の外観で表示された後に、前記ビューファインダの前記外観を前記第2の外観から前記第1の外観に変更すること、
を更に含む、請求項125又は126に記載の方法。
【請求項128】
前記コンテンツの第1の部分の前記外観及び前記コンテンツの第2の部分の前記外観は、同じように変更される、請求項125から127のいずれか一項に記載の方法。
【請求項129】
前記ビューファインダの前記外観を変更することは、前記ビューファインダの前記境界の第3の側の前記閾値距離内にあるコンテンツの第3の部分の前記外観を変更することを含み、コンテンツの前記第1の部分、コンテンツの前記第2の部分、及びコンテンツの前記第3の部分の前記外観は、同じように変更される、請求項128に記載の方法。
【請求項130】
前記ビューファインダの前記境界は、レチクル仮想オブジェクトであり、メディアをキャプチャするための前記第1の要求が検出される前に、前記レチクル仮想オブジェクトは、第1の外観で表示され、前記方法は、
メディアをキャプチャするための前記第1の要求を検出したことに応じて、前記レチクル仮想オブジェクトの前記外観を、前記第1の外観から、前記第1の外観とは異なる第2の外観に変更することを更に含む、請求項125から129のいずれか一項に記載の方法。
【請求項131】
前記ビューファインダを表示することは、前記ビューファインダ内に1つ以上の要素を表示することを含み、前記レチクル仮想オブジェクトの前記外観を変更することは、前記ビューファインダ内に表示される前記1つ以上の要素に対して前記レチクル仮想オブジェクトの前記外観を変更することを含む、請求項130に記載の方法。
【請求項132】
前記ユーザインタフェースを表示することは、1つ以上の角部を表示することを含み、前記ビューファインダの前記外観を変更することは、
第1の方式で前記1つ以上の角部の前記外観を変更することと、
前記第1の方式とは異なる第2の方式で、前記ビューファインダの前記境界の少なくとも前記第1の側の前記外観を変更することと、を含む、請求項130又は131に記載の方法。
【請求項133】
前記ビューファインダの前記外観を変更することは、前記ビューファインダ内の前記コンテンツの第1の部分の1つ以上の光学特性の第1のセットを変更することを含む、請求項125から132のいずれか一項に記載の方法。
【請求項134】
1つ以上の光学特性の前記第1のセットは、前記ビューファインダ内の前記コンテンツのコントラストを含む、請求項133に記載の方法。
【請求項135】
1つ以上の光学特性の前記第1のセットは、前記ビューファインダ内の前記コンテンツの輝度を含む、請求項133又は134に記載の方法。
【請求項136】
1つ以上の光学特性の前記第1のセットは、前記ビューファインダ内の前記コンテンツの透光性を含む、請求項133から135のいずれか一項に記載の方法。
【請求項137】
前記1つ以上の光学特性の第1のセットは、前記ビューファインダ内の前記コンテンツのサイズを含む、請求項133から136のいずれか一項に記載の方法。
【請求項138】
前記ユーザインタフェースを表示することは、前記ビューファインダの前記境界内に仮想制御オブジェクトの第1のセットを表示することを含む、請求項125から137のいずれか一項に記載の方法。
【請求項139】
仮想オブジェクトの前記第1のセットは、第1の近接仮想オブジェクトを含み、前記方法は、
前記第1の近接仮想オブジェクトの選択に対応する入力を検出することと、
前記第1の近接仮想オブジェクトの選択に対応する前記入力を検出したことに応じて、前記ユーザインタフェースの前記表示を中止することと、を更に含む、請求項138に記載の方法。
【請求項140】
前記仮想オブジェクトの第1のセットは、第1のメディアレビュー仮想オブジェクトを含み、前記方法は、
前記第1のメディアレビュー仮想オブジェクトの選択に対応する入力を検出することと、
前記第1のメディアレビュー仮想オブジェクトの選択に対応する前記入力を検出したことに応じて、以前にキャプチャされたメディアアイテムの1つ以上の表現を表示することと、を更に含む、請求項138又は139に記載の方法。
【請求項141】
前記仮想オブジェクトの第1のセットは、前記コンピュータシステムが第1のビデオキャプチャ動作を開始してから経過した時間量を示す記録時間仮想オブジェクトを含む、請求項138から140のいずれか一項に記載の方法。
【請求項142】
前記ユーザインタフェースを表示することは、前記ビューファインダの前記境界の外側に仮想制御オブジェクトの第2のセットを表示することを含む、請求項125から141のいずれか一項に記載の方法。
【請求項143】
仮想制御オブジェクトの前記第2のセットは、前記1つ以上のカメラのそれぞれの動作モードにそれぞれ対応するカメラモード仮想オブジェクトのセットを含み、前記カメラモード仮想オブジェクトのセットは、第1のカメラモード仮想オブジェクト及び第2のカメラモード仮想オブジェクトを含み、前記方法は、
前記カメラモード仮想オブジェクトのセット内の個別のカメラモード仮想オブジェクトの選択に対応する入力を検出することと、
前記カメラモード仮想オブジェクトのセット内の個別のカメラモード仮想オブジェクトの選択に対応する前記入力を検出したことに応じて、
前記入力が前記第1のカメラモード仮想オブジェクトの選択に対応するという判定に従って、第1のモードで動作するように前記1つ以上のカメラを構成し、
前記入力が前記第2のカメラモード仮想オブジェクトの選択に対応するという判定に従って、前記1つ以上のカメラを第2のモードで動作するように構成することと、
を更に含む、請求項142に記載の方法。
【請求項144】
仮想制御オブジェクトの前記第2のセットは、第2の近接仮想オブジェクトを含み、前記方法は、
前記第2の近接仮想オブジェクトの選択に対応する入力を検出することと、
前記第2の仮想オブジェクトの選択に対応する前記入力を検出したことに応じて、前記ユーザインタフェースを表示することを中止することと、
を更に含む、請求項142又は143に記載の方法。
【請求項145】
前記第1のメディアアイテムがキャプチャされた後に、前記ユーザインタフェースの前記表示にフェードインする前記第1のメディアアイテムの表現を表示すること、
を更に含む、請求項125から144のいずれか一項に記載の方法。
【請求項146】
前記ユーザインタフェースの前記表示にフェードインする前記第1のメディアアイテムの前記表現を表示することは、
第1のサイズから第2のサイズに遷移する前記第1のメディアアイテムの前記表現を表示することであって、前記第1のサイズは、前記第2のサイズよりも大きい、ことと、
前記ユーザインタフェース内の第1のロケーションから前記ユーザインタフェース内の第2のロケーションに移動する前記第1のメディアアイテムの前記表現を表示することとであって、前記第2のロケーションは、前記ビューファインダの角部に対応する、ことと、
を含む、請求項145に記載の方法。
【請求項147】
前記第1のメディアアイテムの前記表現を表示する前に、前記ビューファインダは、第2のレチクル仮想オブジェクトを含み、前記第1のメディアアイテムの前記表現の前記表示は、前記第2のレチクル仮想オブジェクトの前記表示に置き換わる、請求項145又は146に記載の方法。
【請求項148】
前記ユーザインタフェースを表示することは、前記ユーザインタフェース内の第3のロケーションに第2のメディアレビュー仮想オブジェクトを表示することを含み、前記第2のメディアレビュー仮想オブジェクトは、第3のサイズで表示され、前記ユーザインタフェースにフェードインする前記第1のメディアアイテムの前記表現を表示することは、
第4のサイズから第5のサイズに遷移する前記第1のメディアアイテムの前記表現を表示することであって、前記第4のサイズは前記第5のサイズよりも大きく、前記第4のサイズは前記第3のサイズよりも大きい、ことと、
前記第1のメディアアイテムの前記表現を、前記ユーザインタフェース内の第4のロケーションから前記ユーザインタフェース内の前記第3のロケーションに移動するものとして表示することと、を含む、請求項145から147のいずれか一項に記載の方法。
【請求項149】
前記第1のメディアアイテムは、静止写真又はビデオである、請求項125から148のいずれか一項に記載の方法。
【請求項150】
前記ビューファインダの前記外観を変更した後に、メディアをキャプチャするための第2の要求を検出することと、
メディアをキャプチャするための前記第2の要求を検出したことに応じて、
前記メディアをキャプチャするための第2の要求が静止写真をキャプチャするための要求に対応するという判定に従って、第1のタイプのフィードバックを表示し、
前記メディアをキャプチャするための第2の要求がビデオをキャプチャするための要求に対応するという判定に従って、前記第1のタイプのフィードバックとは異なる第2のタイプのフィードバックを表示することと、
を更に含む、請求項149に記載の方法。
【請求項151】
メディアをキャプチャするための前記第1の要求は、第1のタイプの入力に対応し、前記第1のメディアアイテムは、静止写真であり、前記第1のタイプの入力は、第1のハードウェア入力機構のショートプレスに対応する、
請求項125から150のいずれか一項に記載の方法。
【請求項152】
前記ビューファインダの前記外観を変更した後に、メディアをキャプチャするための第3の要求を検出することと、
メディアをキャプチャするための前記第3の要求を検出したことに応じて、かつメディアをキャプチャするための前記第3の要求が、第2のタイプの入力であって、前記第2のタイプの入力は、第2のハードウェア入力機構のロングプレスに対応する、第2のタイプの入力に対応するという判定に従って、ビデオメディアアイテムをキャプチャすることと、
を更に含む、請求項125から151のいずれか一項に記載の方法。
【請求項153】
メディアをキャプチャするための前記第3の要求は、前記第2のタイプの入力に対応し、前記方法は、
メディアをキャプチャするための前記第3の要求を検出したことに応じて、前記ビデオメディアアイテムのキャプチャが第2のビデオキャプチャ動作に対応するというインジケーションを表示することであって、前記インジケーションを表示することは、
基準のセットが満たされていないという判定に従って、第1の外観で前記インジケーションを表示することと、
前記基準のセットが満たされているという判定に従って、第2の外観で前記インジケーションを表示することと、
を含む、ことと、
前記インジケーションが表示されている間に、前記第2のタイプの入力の検出を中止することと、
前記第2のタイプの入力の検出を中止したことに応じて、
前記第2のタイプの入力の検出を中止する前に前記基準のセットが満たされなかったという判定に従って、前記第2のビデオキャプチャ動作の実行を中止し、
前記第2のタイプの入力の検出を中止する前に前記基準のセットが満たされたという判定に従って、前記第2のビデオキャプチャ動作の実行を継続することと、
を更に含む、請求項152に記載の方法。
【請求項154】
前記インジケーションは、前記コンピュータシステムが前記第2のビデオキャプチャ動作を開始してから経過した時間量を示し、前記インジケーションを表示することは、
前記第1の外観で前記インジケーションを表示することと、
前記第1の外観で前記インジケーションが表示されている間に、前記基準のセットが満たされていることを検出することと、
前記基準のセットが満たされていることを検出したことに応じて、前記インジケーションの前記外観を前記第1の外観から前記第2の外観に変更することと、を含む、請求項153に記載の方法。
【請求項155】
前記コンピュータシステムが前記ビデオメディアアイテムをキャプチャしている間に、第3のハードウェア入力機構のアクティブ化に対応する入力を検出することと、
前記第3のハードウェア入力機構のアクティブ化に対応する前記入力を検出したことに応じて、前記ビデオメディアアイテムの前記キャプチャを中止することと、
を更に含む、請求項152から154のいずれか一項に記載の方法。
【請求項156】
前記境界の前記第1の側及び前記境界の前記第2の側は、前記境界の反対側にある、請求項125から155のいずれか一項に記載の方法。
【請求項157】
前記コンテンツの第1の部分は、前記ビューファインダの前記境界の前記第1の側から前記閾値距離にあり、前記コンテンツの第2の部分は、前記ビューファインダの前記境界の前記第2の側から前記閾値距離にある、請求項125から156のいずれか一項に記載の方法。
【請求項158】
前記ユーザインタフェースを表示することは、第3のレチクル仮想オブジェクトを表示することを含み、前記第3のレチクル仮想オブジェクトは、前記1つ以上のカメラの前記キャプチャ領域を示す、請求項125から157のいずれか一項に記載の方法。
【請求項159】
表示生成構成要素、1つ以上の入力デバイス、及び1つ以上のカメラと通信しているコンピュータシステムの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記1つ以上のプログラムは、請求項125から158のいずれか一項に記載の方法を実行する命令を含む、非一時的コンピュータ可読記憶媒体。
【請求項160】
表示生成構成要素、1つ以上の入力デバイス、及び1つ以上のカメラと通信するように構成されたコンピュータシステムであって、前記コンピュータシステムは、
1つ以上のプロセッサと、
前記1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶するメモリと、を備え、前記1つ以上のプログラムは、請求項125から158のいずれか一項に記載の方法を実行する命令を含む、コンピュータシステム。
【請求項161】
表示生成構成要素、1つ以上の入力デバイス、及び1つ以上のカメラと通信するように構成されたコンピュータシステムであって、
請求項125から158のいずれか一項に記載の方法を実行する手段を備える、コンピュータシステム。
【請求項162】
表示生成構成要素、1つ以上の入力デバイス、及び1つ以上のカメラと通信しているコンピュータシステムの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを備えるコンピュータプログラム製品であって、前記1つ以上のプログラムは、請求項125から158のいずれか一項に記載の方法を実行する命令を含む、コンピュータプログラム製品。
【請求項163】
表示生成構成要素、1つ以上の入力デバイス、及び1つ以上のカメラと通信しているコンピュータシステムの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記1つ以上のプログラムは、
前記表示生成構成要素を介して、ユーザインタフェースであって、
物理的環境の表現であって、前記物理的環境の前記表現の第1の部分は、前記1つ以上のカメラのキャプチャ領域の内側にあり、前記物理的環境の前記表現の第2の部分は、前記1つ以上のカメラの前記キャプチャ領域の外側にある、物理的環境の表現と、
ビューファインダであって、前記ビューファインダは、境界を含む、ビューファインダと、を含む、ユーザインタフェースを表示し、
前記ユーザインタフェースを表示している間に、前記1つ以上の入力デバイスを介して、メディアをキャプチャするための第1の要求を検出し、
メディアをキャプチャするための前記第1の要求を検出したことに応じて、
前記1つ以上のカメラを使用して、前記物理的環境の前記表現の少なくとも前記第1の部分を含む第1のメディアアイテムをキャプチャし、
前記ビューファインダの外観を変更する、命令を含む、非一時的コンピュータ可読記憶媒体であって、前記ビューファインダの前記外観を変更することは、
前記ビューファインダの前記境界の第1の側の閾値距離内にあるコンテンツの第1の部分の前記外観を変更することと、
前記ビューファインダの前記境界の前記第1の側とは異なる、前記ビューファインダの前記境界の第2の側の前記閾値距離内にあるコンテンツの第2の部分の前記外観を変更することと、を含む、非一時的コンピュータ可読記憶媒体。
【請求項164】
表示生成構成要素、1つ以上の入力デバイス、及び1つ以上のカメラと通信するように構成されたコンピュータシステムであって、
1つ以上のプロセッサと、
前記1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶するメモリと、を備え、前記1つ以上のプログラムは、
前記表示生成構成要素を介して、ユーザインタフェースであって、
物理的環境の表現であって、前記物理的環境の前記表現の第1の部分は、前記1つ以上のカメラのキャプチャ領域の内側にあり、前記物理的環境の前記表現の第2の部分は、前記1つ以上のカメラの前記キャプチャ領域の外側にある、物理的環境の表現と、
ビューファインダであって、前記ビューファインダは、境界を含む、ビューファインダと、を含む、ユーザインタフェースを表示し、
前記ユーザインタフェースを表示している間に、前記1つ以上の入力デバイスを介して、メディアをキャプチャするための第1の要求を検出し、
メディアをキャプチャするための前記第1の要求を検出したことに応じて、
前記1つ以上のカメラを使用して、前記物理的環境の前記表現の少なくとも前記第1の部分を含む第1のメディアアイテムをキャプチャし、
前記ビューファインダの外観を変更する、命令を含む、コンピュータシステムであって、前記ビューファインダの前記外観を変更することは、
前記ビューファインダの前記境界の第1の側の閾値距離内にあるコンテンツの第1の部分の前記外観を変更することと、
前記ビューファインダの前記境界の前記第1の側とは異なる、前記ビューファインダの前記境界の第2の側の前記閾値距離内にあるコンテンツの第2の部分の前記外観を変更することと、を含む、コンピュータシステム。
【請求項165】
表示生成構成要素、1つ以上の入力デバイス、及び1つ以上のカメラと通信するように構成されたコンピュータシステムであって、
前記表示生成構成要素を介して、ユーザインタフェースであって、
物理的環境の表現であって、前記物理的環境の前記表現の第1の部分は、前記1つ以上のカメラのキャプチャ領域の内側にあり、前記物理的環境の前記表現の第2の部分は、前記1つ以上のカメラの前記キャプチャ領域の外側にある、物理的環境の表現と、
ビューファインダであって、前記ビューファインダは、境界を含む、ビューファインダと、を含む、ユーザインタフェースを表示する手段と、
前記ユーザインタフェースを表示している間に、前記1つ以上の入力デバイスを介して、メディアをキャプチャするための第1の要求を検出する手段と、
メディアをキャプチャするための前記第1の要求を検出したことに応じて、
前記1つ以上のカメラを使用して、前記物理的環境の前記表現の少なくとも前記第1の部分を含む第1のメディアアイテムをキャプチャし、
前記ビューファインダの外観を変更する手段と、を備える、コンピュータシステムであって、前記ビューファインダの前記外観を変更することは、
前記ビューファインダの前記境界の第1の側の閾値距離内にあるコンテンツの第1の部分の前記外観を変更することと、
前記ビューファインダの前記境界の前記第1の側とは異なる、前記ビューファインダの前記境界の第2の側の前記閾値距離内にあるコンテンツの第2の部分の前記外観を変更することと、を含む、コンピュータシステム。
【請求項166】
表示生成構成要素、1つ以上の入力デバイス、及び1つ以上のカメラと通信しているコンピュータシステムの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを備えるコンピュータプログラム製品であって、前記1つ以上のプログラムは、
前記表示生成構成要素を介して、ユーザインタフェースであって、
物理的環境の表現であって、前記物理的環境の前記表現の第1の部分は、前記1つ以上のカメラのキャプチャ領域の内側にあり、前記物理的環境の前記表現の第2の部分は、前記1つ以上のカメラの前記キャプチャ領域の外側にある、物理的環境の表現と、
ビューファインダであって、前記ビューファインダは、境界を含む、ビューファインダと、を含む、ユーザインタフェースを表示し、
前記ユーザインタフェースを表示している間に、前記1つ以上の入力デバイスを介して、メディアをキャプチャするための第1の要求を検出し、
メディアをキャプチャするための前記第1の要求を検出したことに応じて、
前記1つ以上のカメラを使用して、前記物理的環境の前記表現の少なくとも前記第1の部分を含む第1のメディアアイテムをキャプチャし、
前記ビューファインダの外観を変更する、命令を含む、コンピュータプログラム製品であって、前記ビューファインダの前記外観を変更することは、
前記ビューファインダの前記境界の第1の側の閾値距離内にあるコンテンツの第1の部分の前記外観を変更することと、
前記ビューファインダの前記境界の前記第1の側とは異なる、前記ビューファインダの前記境界の第2の側の前記閾値距離内にあるコンテンツの第2の部分の前記外観を変更することと、を含む、コンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、2022年11月22日に出願された「DEVICES,METHODS,AND GRAPHICAL USER INTERFACES FOR CAPTURING AND DISPLAYING MEDIA」という名称の米国特許出願第17/992,789号、2022年9月23日に出願された「DEVICES,METHODS,AND GRAPHICAL USER INTERFACES FOR CAPTURING AND DISPLAYING MEDIA」という名称の米国仮特許出願第63/409,690号、2022年5月5日に出願された「DEVICES,METHODS,AND GRAPHICAL USER INTERFACES FOR CAPTURING AND DISPLAYING MEDIA」という名称の米国仮特許出願第63/338,864号、及び2021年12月3日に出願された「DEVICES,METHODS,AND GRAPHICAL USER INTERFACES FOR CAPTURING AND DISPLAYING MEDIA」という名称の米国仮特許出願第63/285,897号の優先権を主張する。これらの出願のそれぞれの内容は、その全体が参照により本明細書に組み込まれる。
【0002】
技術分野
本開示は、概して、ディスプレイを介して仮想現実及び複合現実体験を提供する電子デバイスを含むが、それらに限定されない、コンピュータ生成体験を提供する、表示生成構成要素、任意選択的に、1つ以上の入力デバイス、及び1つ以上のカメラと通信する、コンピュータシステムに関する。
【背景技術】
【0003】
エクステンデッドリアリティ環境などの様々な環境においてメディアをキャプチャ及び/又は表示するためのコンピュータシステムの開発は、近年著しく増加している。例示的なエクステンデッドリアリティ環境は、物理的世界を置換又は強化する少なくともいくつかの仮想要素を含む。コンピュータシステム及び他の電子コンピューティングデバイス用のカメラ、コントローラ、ジョイスティック、タッチ感知面、及びタッチスクリーンディスプレイなどの入力デバイスが、仮想/エクステンデッドリアリティ環境と相互作用するために使用される。例示的な仮想要素は、デジタル画像などの仮想オブジェクト、ビデオ、テキスト、アイコン、並びにボタン及び他のグラフィックなど制御要素を含む。
【発明の概要】
【0004】
様々な環境においてメディアをキャプチャ及び/又は表示するためのいくつかの方法及びインタフェースは、扱いにくく、非効率的であり、制限されている。例えば、メディアをキャプチャするための不十分な視覚的フィードバックを提供するシステム、メディアキャプチャプロセスを実行するために一連の複雑な入力を必要とするシステム、及びメディアの表示が複雑で退屈でエラーを起こしやすいシステムは、ユーザに対して著しい認知的負担をもたらし、仮想/エクステンデッドリアリティ環境での体験を損なう。加えて、それらの方法は必要以上に時間がかかり、それによって、コンピュータシステムのエネルギを浪費する。この後者の考慮事項は、バッテリ動作式デバイスにおいて特に重要である。
【0005】
したがって、様々な環境においてメディアをキャプチャ及び/又は表示することをユーザにとってより効率的かつ直感的にする、ユーザにコンピュータ生成体験を提供するための改善された方法及びインタフェースを有するコンピュータシステムが必要とされている。そのような方法及びインタフェースは、任意選択的に、様々な環境においてメディアをキャプチャ及び/又は表示するための従来の方法を補完するか、又はそれに置き換わる。このような方法及びインタフェースは、提供された入力とその入力に対するデバイス応答との間の接続をユーザが理解することを補助することにより、ユーザからの入力の数、程度及び/又は種類を低減し、それによって、より効率的なヒューマンマシンインタフェースを生成する。
【0006】
コンピュータシステムのユーザインタフェースに関連付けられた上記の欠点及び他の問題は、開示されるシステムによって低減又は解消される。いくつかの実施形態では、コンピュータシステムは、関連付けられたディスプレイを備えたデスクトップコンピュータである。いくつかの実施形態では、コンピュータシステムは、ポータブルデバイスである(例えばノートブックコンピュータ、タブレットコンピュータ、又はハンドヘルドデバイスである)。いくつかの実施形態では、コンピュータシステムは、パーソナル電子デバイス(例えば腕時計やヘッドマウントデバイスなどのウェアラブル電子デバイス)である。いくつかの実施形態では、コンピュータシステムは、タッチパッドを有する。いくつかの実施形態では、コンピュータシステムは、1つ以上のカメラを有する。いくつかの実施形態では、コンピュータシステムは、タッチ感知ディスプレイ(「タッチスクリーン」又は「タッチスクリーンディスプレイ」としても知られる)を有する。いくつかの実施形態では、コンピュータシステムは、1つ以上のアイトラッキングコンポーネントを有する。いくつかの実施形態では、コンピュータシステムは、1つ以上のハンドトラッキングコンポーネントを有する。いくつかの実施形態では、コンピュータシステムは、表示生成構成要素に加えて1つ以上の出力デバイスを有し、出力デバイスは、1つ以上の触知出力ジェネレータ及び/又は1つ以上のオーディオ出力デバイスを含む。いくつかの実施形態では、コンピュータシステムは、グラフィカルユーザインタフェース(GUI)、1つ以上のプロセッサ、メモリ、及び複数の機能を実行するためのメモリに記憶された1つ以上のモジュール、プログラム、又は命令セットを有する。いくつかの実施形態では、ユーザは、タッチ感知面上のスタイラス及び/又は指の接触及びジェスチャ、カメラ及び他の移動センサによってキャプチャされたときのGUI(及び/又はコンピュータシステム)又はユーザの身体に対する空間内のユーザの目及び手の移動、並びに1つ以上のオーディオ入力デバイスによってキャプチャされたときの音声入力を通じてGUIと相互作用する。いくつかの実施形態では、相互作用を通じて実行される機能は、任意選択的に、画像編集、描画、プレゼンティング、ワードプロセッシング、スプレッドシートの作成、ゲームプレイ、電話をかけること、ビデオ会議、電子メール送信、インスタントメッセージング、トレーニングサポート、デジタル写真撮影、デジタルビデオ撮影、ウェブブラウジング、デジタル音楽の再生、メモ取り、及び/又はデジタルビデオの再生を含む。それらの機能を実行する実行可能命令は任意選択で、一次的コンピュータ可読記憶媒体及び/又は非一時的コンピュータ可読記憶媒体、あるいは1つ以上のプロセッサによって実行されるように構成された他のコンピュータプログラム製品に含まれる。
【0007】
様々な環境においてメディアをキャプチャ及び/又は表示するための改善された方法及びインタフェースを有する電子デバイスが必要とされている。そのような方法及びインタフェースは、メディアをキャプチャ及び/又は表示するための従来の方法を補完するか、又はそれに置き換わることができる。そのような方法及びインタフェースは、ユーザからの入力の数、程度、及び/又は種類を削減し、より効率的なヒューマンマシンインタフェースを生成する。バッテリ動作コンピューティングデバイスの場合、そのような方法及びインタフェースは、電力を節約し、バッテリ充電間の時間を増加させ、処理電力量を低減させる。
【0008】
いくつかの実施形態によれば、表示生成構成要素及び1つ以上のカメラと通信しているコンピュータシステムにおいて実行される方法が説明される。本方法は、表示生成構成要素を介して、物理的環境の表現であって、物理的環境の表現は、物理的環境の表現に対応する物理的環境の部分が変化し、かつ/又はユーザの視点が変化するにつれて変化する、物理的環境の表現の上にオーバーレイされる第1のユーザインタフェースを表示している間に、メディアキャプチャユーザインタフェースを表示する要求を検出することと、メディアキャプチャユーザインタフェースを表示する要求を検出したことに応じて、表示生成構成要素を介して、1つ以上のカメラの視野の部分の表現を含むメディアキャプチャプレビューを、1つ以上のカメラの視野の部分内にある物理的環境の部分が変化するにつれて更新されるコンテンツとともに表示することと、を含み、メディアキャプチャプレビューは、メディアキャプチャユーザインタフェースが表示されている間にメディアキャプチャ入力を検出したことに応じてキャプチャされるメディアの境界を示し、メディアキャプチャプレビューは、物理的環境の表現の第1の部分が可視である間に表示され、物理的環境の表現の第1の部分は、メディアキャプチャユーザインタフェースを表示する要求が検出される前に可視であり、メディアキャプチャプレビューは、物理的環境の表現の第2の部分の代わりに表示され、物理的環境の表現の第1の部分は、物理的環境の表現の第1の部分に対応する物理的環境の部分が変化し、かつ/又はユーザの視点が変化するにつれて更新される。
【0009】
いくつかの実施形態によれば、非一時的コンピュータ可読記憶媒体が記載される。非一時的コンピュータ可読記憶媒体は、表示生成構成要素及び1つ以上のカメラと通信しているコンピュータシステムの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶し、1つ以上のプログラムは、表示生成構成要素を介して、物理的環境の表現であって、物理的環境の表現は、物理的環境の表現に対応する物理的環境の部分が変化し、かつ/又はユーザの視点が変化するにつれて変化する、物理的環境の表現の上にオーバーレイされる第1のユーザインタフェースを表示している間に、メディアキャプチャユーザインタフェースを表示する要求を検出し、メディアキャプチャユーザインタフェースを表示する要求を検出したことに応じて、表示生成構成要素を介して、1つ以上のカメラの視野の部分の表現を含むメディアキャプチャプレビューを、1つ以上のカメラの視野の部分内にある物理的環境の部分が変化するにつれて更新されるコンテンツとともに表示する、命令を含み、メディアキャプチャプレビューは、メディアキャプチャユーザインタフェースが表示されている間にメディアキャプチャ入力を検出したことに応じてキャプチャされるメディアの境界を示し、メディアキャプチャプレビューは、物理的環境の表現の第1の部分が可視である間に表示され、物理的環境の表現の第1の部分は、メディアキャプチャユーザインタフェースを表示する要求が検出される前に可視であり、メディアキャプチャプレビューは、物理的環境の表現の第2の部分の代わりに表示され、物理的環境の表現の第1の部分は、物理的環境の表現の第1の部分に対応する物理的環境の部分が変化し、かつ/又はユーザの視点が変化するにつれて更新される。
【0010】
いくつかの実施形態によれば、一時的コンピュータ可読記憶媒体が記載される。一時的コンピュータ可読記憶媒体は、表示生成構成要素及び1つ以上のカメラと通信しているコンピュータシステムの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶し、1つ以上のプログラムは、表示生成構成要素を介して、物理的環境の表現であって、物理的環境の表現は、物理的環境の表現に対応する物理的環境の部分が変化し、かつ/又はユーザの視点が変化するにつれて変化する、物理的環境の表現の上にオーバーレイされる第1のユーザインタフェースを表示している間に、メディアキャプチャユーザインタフェースを表示する要求を検出し、メディアキャプチャユーザインタフェースを表示する要求を検出したことに応じて、表示生成構成要素を介して、1つ以上のカメラの視野の部分の表現を含むメディアキャプチャプレビューを、1つ以上のカメラの視野の部分内にある物理的環境の部分が変化するにつれて更新されるコンテンツとともに表示する、命令を含み、メディアキャプチャプレビューは、メディアキャプチャユーザインタフェースが表示されている間にメディアキャプチャ入力を検出したことに応じてキャプチャされるメディアの境界を示し、メディアキャプチャプレビューは、物理的環境の表現の第1の部分が可視である間に表示され、物理的環境の表現の第1の部分は、メディアキャプチャユーザインタフェースを表示する要求が検出される前に可視であり、メディアキャプチャプレビューは、物理的環境の表現の第2の部分の代わりに表示され、物理的環境の表現の第1の部分は、物理的環境の表現の第1の部分に対応する物理的環境の部分が変化し、かつ/又はユーザの視点が変化するにつれて更新される。
【0011】
いくつかの実施形態によれば、表示生成構成要素及び1つ以上のカメラと通信しているコンピュータシステムが説明される。コンピュータシステムは、1つ以上のプロセッサと、1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶するメモリと、を備え、1つ以上のプログラムは、表示生成構成要素を介して、物理的環境の表現であって、物理的環境の表現は、物理的環境の表現に対応する物理的環境の部分が変化し、かつ/又はユーザの視点が変化するにつれて変化する、物理的環境の表現の上にオーバーレイされる第1のユーザインタフェースを表示している間に、メディアキャプチャユーザインタフェースを表示する要求を検出し、メディアキャプチャユーザインタフェースを表示する要求を検出したことに応じて、表示生成構成要素を介して、1つ以上のカメラの視野の部分の表現を含むメディアキャプチャプレビューを、1つ以上のカメラの視野の部分内にある物理的環境の部分が変化するにつれて更新されるコンテンツとともに表示する、命令を含み、メディアキャプチャプレビューは、メディアキャプチャユーザインタフェースが表示されている間にメディアキャプチャ入力を検出したことに応じてキャプチャされるメディアの境界を示し、メディアキャプチャプレビューは、物理的環境の表現の第1の部分が可視である間に表示され、物理的環境の表現の第1の部分は、メディアキャプチャユーザインタフェースを表示する要求が検出される前に可視であり、メディアキャプチャプレビューは、物理的環境の表現の第2の部分の代わりに表示され、物理的環境の表現の第1の部分は、物理的環境の表現の第1の部分に対応する物理的環境の部分が変化し、かつ/又はユーザの視点が変化するにつれて更新される。
【0012】
いくつかの実施形態によれば、表示生成構成要素及び1つ以上のカメラと通信しているコンピュータシステムが説明される。コンピュータシステムは、表示生成構成要素を介して、物理的環境の表現であって、物理的環境の表現は、物理的環境の表現に対応する物理的環境の部分が変化し、かつ/又はユーザの視点が変化するにつれて変化する、物理的環境の表現の上にオーバーレイされる第1のユーザインタフェースを表示している間に、メディアキャプチャユーザインタフェースを表示する要求を検出する手段と、メディアキャプチャユーザインタフェースを表示する要求を検出したことに応じて、表示生成構成要素を介して、1つ以上のカメラの視野の部分の表現を含むメディアキャプチャプレビューを、1つ以上のカメラの視野の部分内にある物理的環境の部分が変化するにつれて更新されるコンテンツとともに表示する手段と、を備え、メディアキャプチャプレビューは、メディアキャプチャユーザインタフェースが表示されている間にメディアキャプチャ入力を検出したことに応じてキャプチャされるメディアの境界を示し、メディアキャプチャプレビューは、物理的環境の表現の第1の部分が可視である間に表示され、物理的環境の表現の第1の部分は、メディアキャプチャユーザインタフェースを表示する要求が検出される前に可視であり、メディアキャプチャプレビューは、物理的環境の表現の第2の部分の代わりに表示され、物理的環境の表現の第1の部分は、物理的環境の表現の第1の部分に対応する物理的環境の部分が変化し、かつ/又はユーザの視点が変化するにつれて更新される。
【0013】
いくつかの実施形態によれば、コンピュータプログラム製品が記載される。コンピュータプログラム製品は、表示生成構成要素及び1つ以上のカメラと通信しているコンピュータシステムの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを備える。1つ以上のプログラムは、表示生成構成要素を介して、物理的環境の表現であって、物理的環境の表現は、物理的環境の表現に対応する物理的環境の部分が変化し、かつ/又はユーザの視点が変化するにつれて変化する、物理的環境の表現の上にオーバーレイされる第1のユーザインタフェースを表示している間に、メディアキャプチャユーザインタフェースを表示する要求を検出し、メディアキャプチャユーザインタフェースを表示する要求を検出したことに応じて、表示生成構成要素を介して、1つ以上のカメラの視野の部分の表現を含むメディアキャプチャプレビューを、1つ以上のカメラの視野の部分内にある物理的環境の部分が変化するにつれて更新されるコンテンツとともに表示する、命令を含み、メディアキャプチャプレビューは、メディアキャプチャユーザインタフェースが表示されている間にメディアキャプチャ入力を検出したことに応じてキャプチャされるメディアの境界を示し、メディアキャプチャプレビューは、物理的環境の表現の第1の部分が可視である間に表示され、物理的環境の表現の第1の部分は、メディアキャプチャユーザインタフェースを表示する要求が検出される前に可視であり、メディアキャプチャプレビューは、物理的環境の表現の第2の部分の代わりに表示され、物理的環境の表現の第1の部分は、物理的環境の表現の第1の部分に対応する物理的環境の部分が変化し、かつ/又はユーザの視点が変化するにつれて更新される。
【0014】
いくつかの実施形態によれば、表示生成構成要素及び1つ以上のカメラと通信しているコンピュータシステムにおいて実行される方法が説明される。本方法は、ユーザの視点が第1のポーズにある間に、表示生成構成要素を介して、ユーザの視点において可視である三次元環境の第1の部分上にオーバーレイされる1つ以上のカメラの視野のプレビューであって、プレビューは、三次元環境の第1の部分の表現を含み、ユーザの視点に対する個別の空間構成とともに表示される、プレビューを含むエクステンデッドリアリティユーザインタフェースを表示することと、第1のポーズから第1のポーズとは異なる第2のポーズへのユーザの視点のポーズの変化を検出することと、第1のポーズから第2のポーズへのユーザの視点のポーズの変化を検出したことに応じて、第1のポーズから第2のポーズへのユーザの視点のポーズの変化に基づいて決定される方向に、ユーザの視点に対して個別の空間構成から離れるように1つ以上のカメラの視野のプレビューをシフトすることと、を含み、1つ以上のカメラの視野のプレビューのシフトは、第1の速度で行われ、1つ以上のカメラの視野のプレビューがユーザの視点のポーズの変化に基づいてシフトしている間に、三次元環境の表現は、第1の速度とは異なる第2の速度でユーザの視点のポーズの変化に基づいて変化する。
【0015】
いくつかの実施形態によれば、非一時的コンピュータ可読記憶媒体が記載される。非一時的コンピュータ可読記憶媒体は、表示生成構成要素及び1つ以上のカメラと通信しているコンピュータシステムの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶し、1つ以上のプログラムは、ユーザの視点が第1のポーズにある間に、表示生成構成要素を介して、ユーザの視点において可視である三次元環境の第1の部分上にオーバーレイされる1つ以上のカメラの視野のプレビューであって、プレビューは、三次元環境の第1の部分の表現を含み、ユーザの視点に対する個別の空間構成とともに表示される、プレビューを含むエクステンデッドリアリティユーザインタフェースを表示し、第1のポーズから第1のポーズとは異なる第2のポーズへのユーザの視点のポーズの変化を検出し、第1のポーズから第2のポーズへのユーザの視点のポーズの変化を検出したことに応じて、第1のポーズから第2のポーズへのユーザの視点のポーズの変化に基づいて決定される方向に、ユーザの視点に対して個別の空間構成から離れるように1つ以上のカメラの視野のプレビューをシフトする、命令を含み、1つ以上のカメラの視野のプレビューのシフトは、第1の速度で行われ、1つ以上のカメラの視野のプレビューがユーザの視点のポーズの変化に基づいてシフトしている間に、三次元環境の表現は、第1の速度とは異なる第2の速度でユーザの視点のポーズの変化に基づいて変化する。
【0016】
いくつかの実施形態によれば、一時的コンピュータ可読記憶媒体が記載される。一時的コンピュータ可読記憶媒体は、表示生成構成要素及び1つ以上のカメラと通信しているコンピュータシステムの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶し、1つ以上のプログラムは、ユーザの視点が第1のポーズにある間に、表示生成構成要素を介して、ユーザの視点において可視である三次元環境の第1の部分上にオーバーレイされる1つ以上のカメラの視野のプレビューであって、プレビューは、三次元環境の第1の部分の表現を含み、ユーザの視点に対する個別の空間構成とともに表示される、プレビューを含むエクステンデッドリアリティユーザインタフェースを表示し、第1のポーズから第1のポーズとは異なる第2のポーズへのユーザの視点のポーズの変化を検出し、第1のポーズから第2のポーズへのユーザの視点のポーズの変化を検出したことに応じて、第1のポーズから第2のポーズへのユーザの視点のポーズの変化に基づいて決定される方向に、ユーザの視点に対して個別の空間構成から離れるように1つ以上のカメラの視野のプレビューをシフトする、命令を含み、1つ以上のカメラの視野のプレビューのシフトは、第1の速度で行われ、1つ以上のカメラの視野のプレビューがユーザの視点のポーズの変化に基づいてシフトしている間に、三次元環境の表現は、第1の速度とは異なる第2の速度でユーザの視点のポーズの変化に基づいて変化する。
【0017】
いくつかの実施形態によれば、表示生成構成要素及び1つ以上のカメラと通信しているコンピュータシステムが説明される。コンピュータシステムは、1つ以上のプロセッサと、1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶するメモリと、を備え、1つ以上のプログラムは、ユーザの視点が第1のポーズにある間に、表示生成構成要素を介して、ユーザの視点において可視である三次元環境の第1の部分上にオーバーレイされる1つ以上のカメラの視野のプレビューであって、プレビューは、三次元環境の第1の部分の表現を含み、ユーザの視点に対する個別の空間構成とともに表示される、プレビューを含むエクステンデッドリアリティユーザインタフェースを表示し、第1のポーズから第1のポーズとは異なる第2のポーズへのユーザの視点のポーズの変化を検出し、第1のポーズから第2のポーズへのユーザの視点のポーズの変化を検出したことに応じて、第1のポーズから第2のポーズへのユーザの視点のポーズの変化に基づいて決定される方向に、ユーザの視点に対して個別の空間構成から離れるように1つ以上のカメラの視野のプレビューをシフトする、命令を含み、1つ以上のカメラの視野のプレビューのシフトは、第1の速度で行われ、1つ以上のカメラの視野のプレビューがユーザの視点のポーズの変化に基づいてシフトしている間に、三次元環境の表現は、第1の速度とは異なる第2の速度でユーザの視点のポーズの変化に基づいて変化する。
【0018】
いくつかの実施形態によれば、表示生成構成要素及び1つ以上のカメラと通信しているコンピュータシステムが説明される。コンピュータシステムは、ユーザの視点が第1のポーズにある間に、表示生成構成要素を介して、ユーザの視点において可視である三次元環境の第1の部分上にオーバーレイされる1つ以上のカメラの視野のプレビューであって、プレビューは、三次元環境の第1の部分の表現を含み、ユーザの視点に対する個別の空間構成とともに表示される、プレビューを含むエクステンデッドリアリティユーザインタフェースを表示する手段と、第1のポーズから第1のポーズとは異なる第2のポーズへのユーザの視点のポーズの変化を検出する手段と、第1のポーズから第2のポーズへのユーザの視点のポーズの変化を検出したことに応じて、第1のポーズから第2のポーズへのユーザの視点のポーズの変化に基づいて決定される方向に、ユーザの視点に対して個別の空間構成から離れるように1つ以上のカメラの視野のプレビューをシフトする手段と、を備え、1つ以上のカメラの視野のプレビューのシフトは、第1の速度で行われ、1つ以上のカメラの視野のプレビューがユーザの視点のポーズの変化に基づいてシフトしている間に、三次元環境の表現は、第1の速度とは異なる第2の速度でユーザの視点のポーズの変化に基づいて変化する。
【0019】
いくつかの実施形態によれば、コンピュータプログラム製品が記載される。上記のコンピュータプログラム製品は、表示生成構成要素と通信しているコンピュータシステムの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを備え、1つ以上のプログラムは、ユーザの視点が第1のポーズにある間に、表示生成構成要素を介して、ユーザの視点において可視である三次元環境の第1の部分上にオーバーレイされる1つ以上のカメラの視野のプレビューであって、プレビューは、三次元環境の第1の部分の表現を含み、ユーザの視点に対する個別の空間構成とともに表示される、プレビューを含むエクステンデッドリアリティユーザインタフェースを表示し、第1のポーズから第1のポーズとは異なる第2のポーズへのユーザの視点のポーズの変化を検出し、第1のポーズから第2のポーズへのユーザの視点のポーズの変化を検出したことに応じて、第1のポーズから第2のポーズへのユーザの視点のポーズの変化に基づいて決定される方向に、ユーザの視点に対して個別の空間構成から離れるように1つ以上のカメラの視野のプレビューをシフトする、命令を含み、1つ以上のカメラの視野のプレビューのシフトは、第1の速度で行われ、1つ以上のカメラの視野のプレビューがユーザの視点のポーズの変化に基づいてシフトしている間に、三次元環境の表現は、第1の速度とは異なる第2の速度でユーザの視点のポーズの変化に基づいて変化する。
【0020】
いくつかの実施形態によれば、本方法は、表示生成構成要素と通信するコンピュータシステムにおいて実行される。本方法は、エクステンデッドリアリティ環境ユーザインタフェースを表示している間に、1つ以上の視点の個別の範囲から見たときに、ユーザが没入コンテンツによって少なくとも部分的に取り囲まれているという視覚的キューの第1のセットを提供する没入コンテンツを含むキャプチャされたメディアを表示するための要求を検出することと、キャプチャされたメディアを表示するための要求を検出したことに応じて、ユーザの第1の視点が1つ以上の視点の個別の範囲の外側にあるように、コンピュータシステムによって選択されたロケーションに表示されるキャプチャされたメディアの三次元表現としてキャプチャされたメディアを表示することと、を含む。
【0021】
いくつかの実施形態によれば、非一時的コンピュータ可読記憶媒体が記載される。非一時的コンピュータ可読記憶媒体は、表示生成構成要素と通信するコンピュータシステムの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶し、1つ以上のプログラムは、エクステンデッドリアリティ環境ユーザインタフェースを表示している間に、1つ以上の視点の個別の範囲から見たときに、ユーザが没入コンテンツによって少なくとも部分的に取り囲まれているという視覚的キューの第1のセットを提供する没入コンテンツを含むキャプチャされたメディアを表示するための要求を検出し、キャプチャされたメディアを表示するための要求を検出したことに応じて、ユーザの第1の視点が1つ以上の視点の個別の範囲の外側にあるように、コンピュータシステムによって選択されたロケーションに表示されるキャプチャされたメディアの三次元表現としてキャプチャされたメディアを表示する、命令を含む。
【0022】
いくつかの実施形態によれば、一時的コンピュータ可読記憶媒体が記載される。一時的コンピュータ可読記憶媒体は、表示生成構成要素と通信するコンピュータシステムの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶し、1つ以上のプログラムは、エクステンデッドリアリティ環境ユーザインタフェースを表示している間に、1つ以上の視点の個別の範囲から見たときに、ユーザが没入コンテンツによって少なくとも部分的に取り囲まれているという視覚的キューの第1のセットを提供する没入コンテンツを含むキャプチャされたメディアを表示するための要求を検出し、キャプチャされたメディアを表示するための要求を検出したことに応じて、ユーザの第1の視点が1つ以上の視点の個別の範囲の外側にあるように、コンピュータシステムによって選択されたロケーションに表示されるキャプチャされたメディアの三次元表現としてキャプチャされたメディアを表示する、命令を含む。
【0023】
いくつかの実施形態によれば、コンピュータシステムは、表示生成構成要素と通信する。コンピュータシステムは、1つ以上のプロセッサと、1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶するメモリと、を備え、1つ以上のプログラムは、エクステンデッドリアリティ環境ユーザインタフェースを表示している間に、1つ以上の視点の個別の範囲から見たときに、ユーザが没入コンテンツによって少なくとも部分的に取り囲まれているという視覚的キューの第1のセットを提供する没入コンテンツを含むキャプチャされたメディアを表示するための要求を検出し、キャプチャされたメディアを表示するための要求を検出したことに応じて、ユーザの第1の視点が1つ以上の視点の個別の範囲の外側にあるように、コンピュータシステムによって選択されたロケーションに表示されるキャプチャされたメディアの三次元表現としてキャプチャされたメディアを表示する、命令を含む。
【0024】
いくつかの実施形態によれば、表示生成構成要素と通信するコンピュータシステムが説明される。コンピュータシステムは、エクステンデッドリアリティ環境ユーザインタフェースを表示している間に、1つ以上の視点の個別の範囲から見たときに、ユーザが没入コンテンツによって少なくとも部分的に取り囲まれているという視覚的キューの第1のセットを提供する没入コンテンツを含むキャプチャされたメディアを表示するための要求を検出する手段と、キャプチャされたメディアを表示するための要求を検出したことに応じて、ユーザの第1の視点が1つ以上の視点の個別の範囲の外側にあるように、コンピュータシステムによって選択されたロケーションに表示されるキャプチャされたメディアの三次元表現としてキャプチャされたメディアを表示する手段と、を備える。
【0025】
いくつかの実施形態によれば、コンピュータプログラム製品が記載される。上記のコンピュータプログラム製品は、表示生成構成要素と通信しているコンピュータシステムの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを備え、1つ以上のプログラムは、エクステンデッドリアリティ環境ユーザインタフェースを表示している間に、1つ以上の視点の個別の範囲から見たときに、ユーザが没入コンテンツによって少なくとも部分的に取り囲まれているという視覚的キューの第1のセットを提供する没入コンテンツを含むキャプチャされたメディアを表示するための要求を検出し、キャプチャされたメディアを表示するための要求を検出したことに応じて、ユーザの第1の視点が1つ以上の視点の個別の範囲の外側にあるように、コンピュータシステムによって選択されたロケーションに表示されるキャプチャされたメディアの三次元表現としてキャプチャされたメディアを表示する、命令を含む。
【0026】
いくつかの実施形態によれば、表示生成構成要素及び1つ以上のカメラと通信しているコンピュータシステムにおいて実行される方法が説明される。本方法は、表示生成構成要素を介して、エクステンデッドリアリティカメラユーザインタフェースであって、エクステンデッドリアリティカメラユーザインタフェースは、物理的環境の表現と、1つ以上のカメラの視野内の記録領域を示す記録インジケータであって、記録インジケータは、記録インジケータの可視部分における視覚的パラメータの複数の異なる値を通じて減少する視覚的パラメータを有する少なくとも第1の縁部領域を含み、パラメータの値は、記録インジケータの第1の縁部領域からの距離が増加するにつれて徐々に減少する、記録インジケータと、を含む、エクステンデッドリアリティカメラユーザインタフェースを表示することを含む。
【0027】
いくつかの実施形態によれば、非一時的コンピュータ可読記憶媒体が記載される。非一時的コンピュータ可読記憶媒体は、表示生成構成要素及び1つ以上のカメラと通信しているコンピュータシステムの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶し、1つ以上のプログラムは、表示生成構成要素を介して、エクステンデッドリアリティカメラユーザインタフェースであって、エクステンデッドリアリティカメラユーザインタフェースは、物理的環境の表現と、1つ以上のカメラの視野内の記録領域を示す記録インジケータであって、記録インジケータは、記録インジケータの可視部分における視覚的パラメータの複数の異なる値を通じて減少する視覚的パラメータを有する少なくとも第1の縁部領域を含み、パラメータの値は、記録インジケータの第1の縁部領域からの距離が増加するにつれて徐々に減少する、記録インジケータと、を含む、エクステンデッドリアリティカメラユーザインタフェースを表示する、命令を含む。
【0028】
いくつかの実施形態によれば、一時的コンピュータ可読記憶媒体が記載される。一時的コンピュータ可読記憶媒体は、表示生成構成要素及び1つ以上のカメラと通信しているコンピュータシステムの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶し、1つ以上のプログラムは、表示生成構成要素を介して、エクステンデッドリアリティカメラユーザインタフェースであって、エクステンデッドリアリティカメラユーザインタフェースは、物理的環境の表現と、1つ以上のカメラの視野内の記録領域を示す記録インジケータであって、記録インジケータは、記録インジケータの可視部分における視覚的パラメータの複数の異なる値を通じて減少する視覚的パラメータを有する少なくとも第1の縁部領域を含み、パラメータの値は、記録インジケータの第1の縁部領域からの距離が増加するにつれて徐々に減少する、記録インジケータと、を含む、エクステンデッドリアリティカメラユーザインタフェースを表示する、命令を含む。
【0029】
いくつかの実施形態によれば、表示生成構成要素及び1つ以上のカメラと通信するように構成されたコンピュータシステムが説明される。コンピュータシステムは、1つ以上のプロセッサと、1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶するメモリと、を備え、1つ以上のプログラムは、表示生成構成要素を介して、エクステンデッドリアリティカメラユーザインタフェースであって、エクステンデッドリアリティカメラユーザインタフェースは、物理的環境の表現と、1つ以上のカメラの視野内の記録領域を示す記録インジケータであって、記録インジケータは、記録インジケータの可視部分における視覚的パラメータの複数の異なる値を通じて減少する視覚的パラメータを有する少なくとも第1の縁部領域を含み、パラメータの値は、記録インジケータの第1の縁部領域からの距離が増加するにつれて徐々に減少する、記録インジケータと、を含む、エクステンデッドリアリティカメラユーザインタフェースを表示する、命令を含む。
【0030】
いくつかの実施形態によれば、表示生成構成要素及び1つ以上のカメラと通信するように構成されたコンピュータシステムが説明される。コンピュータシステムは、表示生成構成要素を介して、エクステンデッドリアリティカメラユーザインタフェースであって、エクステンデッドリアリティカメラユーザインタフェースは、物理的環境の表現と、1つ以上のカメラの視野内の記録領域を示す記録インジケータであって、記録インジケータは、記録インジケータの可視部分における視覚的パラメータの複数の異なる値を通じて減少する視覚的パラメータを有する少なくとも第1の縁部領域を含み、パラメータの値は、記録インジケータの第1の縁部領域からの距離が増加するにつれて徐々に減少する、記録インジケータと、を含む、エクステンデッドリアリティカメラユーザインタフェースを表示する手段を備える。
【0031】
いくつかの実施形態によれば、コンピュータプログラム製品が記載される。コンピュータプログラム製品は、表示生成構成要素及び1つ以上のカメラと通信しているコンピュータシステムの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを備える。1つ以上のプログラムは、表示生成構成要素を介して、エクステンデッドリアリティカメラユーザインタフェースであって、エクステンデッドリアリティカメラユーザインタフェースは、物理的環境の表現と、1つ以上のカメラの視野内の記録領域を示す記録インジケータであって、記録インジケータは、記録インジケータの可視部分における視覚的パラメータの複数の異なる値を通じて減少する視覚的パラメータを有する少なくとも第1の縁部領域を含み、パラメータの値は、記録インジケータの第1の縁部領域からの距離が増加するにつれて徐々に減少する、記録インジケータと、を含む、エクステンデッドリアリティカメラユーザインタフェースを表示する、命令を含む。
【0032】
いくつかの実施形態によれば、表示生成構成要素、1つ以上の入力デバイス、及び1つ以上のカメラと通信しているコンピュータシステムにおいて実行される方法が説明される。本方法は、1つ以上の入力デバイスを介して、カメラユーザインタフェースを表示する要求を検出することと、カメラユーザインタフェースを表示するための要求を検出したことに応じて、カメラユーザインタフェースであって、カメラユーザインタフェースは、1つ以上のカメラのキャプチャ領域を示すレチクル仮想オブジェクトを含む、カメラユーザインタフェースを表示することと、を含む、方法であって、カメラユーザインタフェースを表示することは、1つ以上の基準のセットが満たされているという判定に従って、カメラユーザインタフェース内に、チュートリアルであって、チュートリアルは、カメラユーザインタフェースが表示されている間にコンピュータシステムを用いてメディアをどのようにキャプチャするかについての情報を提供する、チュートリアルとともに、カメラユーザインタフェースを表示することと、1つ以上の基準のセットが満たされていないという判定に従って、チュートリアルを表示することなく、カメラユーザインタフェースを表示することと、を含む。
【0033】
いくつかの実施形態によれば、非一時的コンピュータ可読記憶媒体が記載される。非一時的コンピュータ可読記憶媒体は、表示生成構成要素、1つ以上の入力デバイス、及び1つ以上のカメラと通信しているコンピュータシステムの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶し、1つ以上のプログラムは、1つ以上の入力デバイスを介して、カメラユーザインタフェースを表示する要求を検出し、カメラユーザインタフェースを表示するための要求を検出したことに応じて、カメラユーザインタフェースであって、カメラユーザインタフェースは、1つ以上のカメラのキャプチャ領域を示すレチクル仮想オブジェクトを含む、カメラユーザインタフェースを表示する、命令を含み、カメラユーザインタフェースを表示することは、1つ以上の基準のセットが満たされているという判定に従って、カメラユーザインタフェース内に、チュートリアルであって、チュートリアルは、カメラユーザインタフェースが表示されている間にコンピュータシステムを用いてメディアをどのようにキャプチャするかについての情報を提供する、チュートリアルとともに、カメラユーザインタフェースを表示することと、1つ以上の基準のセットが満たされていないという判定に従って、チュートリアルを表示することなく、カメラユーザインタフェースを表示することと、を含む。
【0034】
いくつかの実施形態によれば、一時的コンピュータ可読記憶媒体が説明される。一時的コンピュータ可読記憶媒体は、表示生成構成要素、1つ以上の入力デバイス、及び1つ以上のカメラと通信しているコンピュータシステムの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶し、1つ以上のプログラムは、1つ以上の入力デバイスを介して、カメラユーザインタフェースを表示する要求を検出し、カメラユーザインタフェースを表示するための要求を検出したことに応じて、カメラユーザインタフェースであって、カメラユーザインタフェースは、1つ以上のカメラのキャプチャ領域を示すレチクル仮想オブジェクトを含む、カメラユーザインタフェースを表示する、命令を含み、カメラユーザインタフェースを表示することは、1つ以上の基準のセットが満たされているという判定に従って、カメラユーザインタフェース内に、チュートリアルであって、チュートリアルは、カメラユーザインタフェースが表示されている間にコンピュータシステムを用いてメディアをどのようにキャプチャするかについての情報を提供する、チュートリアルとともに、カメラユーザインタフェースを表示することと、1つ以上の基準のセットが満たされていないという判定に従って、チュートリアルを表示することなく、カメラユーザインタフェースを表示することと、を含む。
【0035】
いくつかの実施形態によれば、コンピュータシステムが記載される。コンピュータシステムは、1つ以上のプロセッサを備え、コンピュータシステムは、表示生成構成要素、1つ以上の入力デバイス、及び1つ以上のカメラと通信するように構成されており、メモリは、1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶し、1つ以上のプログラムは、1つ以上の入力デバイスを介して、カメラユーザインタフェースを表示する要求を検出し、カメラユーザインタフェースを表示するための要求を検出したことに応じて、カメラユーザインタフェースであって、カメラユーザインタフェースは、1つ以上のカメラのキャプチャ領域を示すレチクル仮想オブジェクトを含む、カメラユーザインタフェースを表示する、命令を含み、カメラユーザインタフェースを表示することは、1つ以上の基準のセットが満たされているという判定に従って、カメラユーザインタフェース内に、チュートリアルであって、チュートリアルは、カメラユーザインタフェースが表示されている間にコンピュータシステムを用いてメディアをどのようにキャプチャするかについての情報を提供する、チュートリアルとともに、カメラユーザインタフェースを表示することと、1つ以上の基準のセットが満たされていないという判定に従って、チュートリアルを表示することなく、カメラユーザインタフェースを表示することと、を含む。
【0036】
いくつかの実施形態によれば、コンピュータシステムが記載される。コンピュータシステムは、表示生成構成要素、1つ以上の入力デバイス、及び1つ以上のカメラと通信するように構成されており、コンピュータシステムは、1つ以上の入力デバイスを介して、カメラユーザインタフェースを表示する要求を検出する手段と、カメラユーザインタフェースを表示するための要求を検出したことに応じて、カメラユーザインタフェースであって、カメラユーザインタフェースは、1つ以上のカメラのキャプチャ領域を示すレチクル仮想オブジェクトを含む、カメラユーザインタフェースを表示する手段と、を備え、カメラユーザインタフェースを表示することは、1つ以上の基準のセットが満たされているという判定に従って、カメラユーザインタフェース内に、チュートリアルであって、チュートリアルは、カメラユーザインタフェースが表示されている間にコンピュータシステムを用いてメディアをどのようにキャプチャするかについての情報を提供する、チュートリアルとともに、カメラユーザインタフェースを表示することと、1つ以上の基準のセットが満たされていないという判定に従って、チュートリアルを表示することなく、カメラユーザインタフェースを表示することと、を含む。
【0037】
いくつかの実施形態によれば、コンピュータプログラム製品が記載される。コンピュータプログラム製品は、表示生成構成要素、1つ以上の入力デバイス、及び1つ以上のカメラと通信しているコンピュータシステムの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを備え、1つ以上のプログラムは、1つ以上の入力デバイスを介して、カメラユーザインタフェースを表示する要求を検出し、カメラユーザインタフェースを表示するための要求を検出したことに応じて、カメラユーザインタフェースであって、カメラユーザインタフェースは、1つ以上のカメラのキャプチャ領域を示すレチクル仮想オブジェクトを含む、カメラユーザインタフェースを表示する、命令を含み、カメラユーザインタフェースを表示することは、1つ以上の基準のセットが満たされているという判定に従って、カメラユーザインタフェース内に、チュートリアルであって、チュートリアルは、カメラユーザインタフェースが表示されている間にコンピュータシステムを用いてメディアをどのようにキャプチャするかについての情報を提供する、チュートリアルとともに、カメラユーザインタフェースを表示することと、1つ以上の基準のセットが満たされていないという判定に従って、チュートリアルを表示することなく、カメラユーザインタフェースを表示することと、を含む。
【0038】
いくつかの実施形態によれば、表示生成構成要素、1つ以上の入力デバイス、及び1つ以上のカメラと通信しているコンピュータシステムにおいて実行される方法が説明される。本方法は、表示生成構成要素を介して、ユーザインタフェースであって、物理的環境の表現であって、物理的環境の表現の第1の部分は、1つ以上のカメラのキャプチャ領域の内側にあり、物理的環境の表現の第2の部分は、1つ以上のカメラのキャプチャ領域の外側にある、物理的環境の表現と、ビューファインダであって、ビューファインダは、境界を含む、ビューファインダと、を含む、ユーザインタフェースを表示することと、ユーザインタフェースを表示している間に、1つ以上の入力デバイスを介して、メディアをキャプチャするための第1の要求を検出することと、メディアをキャプチャするための第1の要求を検出したことに応じて、1つ以上のカメラを使用して、物理的環境の表現の少なくとも第1の部分を含む第1のメディアアイテムをキャプチャし、ビューファインダの外観を変更することと、を含み、ビューファインダの外観を変更することは、ビューファインダの境界の第1の側の閾値距離内にあるコンテンツの第1の部分の外観を変更することと、ビューファインダの境界の第1の側とは異なる、ビューファインダの境界の第2の側の閾値距離内にあるコンテンツの第2の部分の外観を変更することと、を含む。
【0039】
いくつかの実施形態によれば、非一時的コンピュータ可読記憶媒体が記載される。非一時的コンピュータ可読記憶媒体は、表示生成構成要素、1つ以上の入力デバイス、及び1つ以上のカメラと通信しているコンピュータシステムの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶し、1つ以上のプログラムは、表示生成構成要素を介して、ユーザインタフェースであって、物理的環境の表現であって、物理的環境の表現の第1の部分は、1つ以上のカメラのキャプチャ領域の内側にあり、物理的環境の表現の第2の部分は、1つ以上のカメラのキャプチャ領域の外側にある、物理的環境の表現と、ビューファインダであって、ビューファインダは、境界を含む、ビューファインダと、を含む、ユーザインタフェースを表示し、ユーザインタフェースを表示している間に、1つ以上の入力デバイスを介して、メディアをキャプチャするための第1の要求を検出し、メディアをキャプチャするための第1の要求を検出したことに応じて、1つ以上のカメラを使用して、物理的環境の表現の少なくとも第1の部分を含む第1のメディアアイテムをキャプチャし、ビューファインダの外観を変更する、命令を含み、ビューファインダの外観を変更することは、ビューファインダの境界の第1の側の閾値距離内にあるコンテンツの第1の部分の外観を変更することと、ビューファインダの境界の第1の側とは異なる、ビューファインダの境界の第2の側の閾値距離内にあるコンテンツの第2の部分の外観を変更することと、を含む。
【0040】
いくつかの実施形態によれば、一時的コンピュータ可読記憶媒体が説明される。一時的コンピュータ可読記憶媒体は、表示生成構成要素、1つ以上の入力デバイス、及び1つ以上のカメラと通信しているコンピュータシステムの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶し、1つ以上のプログラムは、表示生成構成要素を介して、ユーザインタフェースであって、物理的環境の表現であって、物理的環境の表現の第1の部分は、1つ以上のカメラのキャプチャ領域の内側にあり、物理的環境の表現の第2の部分は、1つ以上のカメラのキャプチャ領域の外側にある、物理的環境の表現と、ビューファインダであって、ビューファインダは、境界を含む、ビューファインダと、を含む、ユーザインタフェースを表示し、ユーザインタフェースを表示している間に、1つ以上の入力デバイスを介して、メディアをキャプチャするための第1の要求を検出し、メディアをキャプチャするための第1の要求を検出したことに応じて、1つ以上のカメラを使用して、物理的環境の表現の少なくとも第1の部分を含む第1のメディアアイテムをキャプチャし、ビューファインダの外観を変更する、命令を含み、ビューファインダの外観を変更することは、ビューファインダの境界の第1の側の閾値距離内にあるコンテンツの第1の部分の外観を変更することと、ビューファインダの境界の第1の側とは異なる、ビューファインダの境界の第2の側の閾値距離内にあるコンテンツの第2の部分の外観を変更することと、を含む。
【0041】
いくつかの実施形態によれば、コンピュータシステムが記載される。コンピュータシステムは、表示生成構成要素、1つ以上の入力デバイス、及び1つ以上のカメラと通信するように構成された1つ以上のプロセッサと、1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶するメモリと、を備え、1つ以上のプログラムは、表示生成構成要素を介して、ユーザインタフェースであって、物理的環境の表現であって、物理的環境の表現の第1の部分は、1つ以上のカメラのキャプチャ領域の内側にあり、物理的環境の表現の第2の部分は、1つ以上のカメラのキャプチャ領域の外側にある、物理的環境の表現と、ビューファインダであって、ビューファインダは、境界を含む、ビューファインダと、を含む、ユーザインタフェースを表示し、ユーザインタフェースを表示している間に、1つ以上の入力デバイスを介して、メディアをキャプチャするための第1の要求を検出し、メディアをキャプチャするための第1の要求を検出したことに応じて、1つ以上のカメラを使用して、物理的環境の表現の少なくとも第1の部分を含む第1のメディアアイテムをキャプチャし、ビューファインダの外観を変更する、命令を含み、ビューファインダの外観を変更することは、ビューファインダの境界の第1の側の閾値距離内にあるコンテンツの第1の部分の外観を変更することと、ビューファインダの境界の第1の側とは異なる、ビューファインダの境界の第2の側の閾値距離内にあるコンテンツの第2の部分の外観を変更することと、を含む。
【0042】
いくつかの実施形態によれば、コンピュータシステムが記載される。コンピュータシステムは、表示生成構成要素、1つ以上の入力デバイス、及び1つ以上のカメラと通信するように構成されており、コンピュータシステムは、表示生成構成要素を介して、ユーザインタフェースであって、物理的環境の表現であって、物理的環境の表現の第1の部分は、1つ以上のカメラのキャプチャ領域の内側にあり、物理的環境の表現の第2の部分は、1つ以上のカメラのキャプチャ領域の外側にある、物理的環境の表現と、ビューファインダであって、ビューファインダは、境界を含む、ビューファインダと、を含む、ユーザインタフェースを表示する手段と、ユーザインタフェースを表示している間に、1つ以上の入力デバイスを介して、メディアをキャプチャするための第1の要求を検出する手段と、メディアをキャプチャするための第1の要求を検出したことに応じて、1つ以上のカメラを使用して、物理的環境の表現の少なくとも第1の部分を含む第1のメディアアイテムをキャプチャし、ビューファインダの外観を変更する手段と、を備え、ビューファインダの外観を変更することは、ビューファインダの境界の第1の側の閾値距離内にあるコンテンツの第1の部分の外観を変更することと、ビューファインダの境界の第1の側とは異なる、ビューファインダの境界の第2の側の閾値距離内にあるコンテンツの第2の部分の外観を変更することと、を含む。
【0043】
いくつかの実施形態によれば、コンピュータプログラム製品が記載される。コンピュータプログラム製品は、表示生成構成要素、1つ以上の入力デバイス、及び1つ以上のカメラと通信しているコンピュータシステムの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを備え、1つ以上のプログラムは、表示生成構成要素を介して、ユーザインタフェースであって、物理的環境の表現であって、物理的環境の表現の第1の部分は、1つ以上のカメラのキャプチャ領域の内側にあり、物理的環境の表現の第2の部分は、1つ以上のカメラのキャプチャ領域の外側にある、物理的環境の表現と、ビューファインダであって、ビューファインダは、境界を含む、ビューファインダと、を含む、ユーザインタフェースを表示し、ユーザインタフェースを表示している間に、1つ以上の入力デバイスを介して、メディアをキャプチャするための第1の要求を検出し、メディアをキャプチャするための第1の要求を検出したことに応じて、1つ以上のカメラを使用して、物理的環境の表現の少なくとも第1の部分を含む第1のメディアアイテムをキャプチャし、ビューファインダの外観を変更する、命令を含み、ビューファインダの外観を変更することは、ビューファインダの境界の第1の側の閾値距離内にあるコンテンツの第1の部分の外観を変更することと、ビューファインダの境界の第1の側とは異なる、ビューファインダの境界の第2の側の閾値距離内にあるコンテンツの第2の部分の外観を変更することと、を含む。
【0044】
前述の様々な実施形態は、本明細書に記載の任意の他の実施形態と組み合わせることができることに留意されたい。本明細書で説明する特徴及び利点は、包括的なものではなく、特に、図面、明細書及び特許請求の範囲を鑑みると、多くの追加の特徴及び利点が当業者には明らかになるであろう。更に、本明細書において使用される文言は、専ら読みやすさ及び説明の目的で選択されたものであり、本発明の主題を画定又は制限するために選択されたものではないことに留意されたい。
【図面の簡単な説明】
【0045】
説明される様々な実施形態をより良く理解するため、以下の図面と併せて、以下の「発明を実施するための形態」が参照されるべきであり、類似の参照番号は、以下の図の全てを通じて、対応する部分を指す。
【0046】
図1】いくつかの実施形態による、XR体験を提供するためのコンピュータシステムの動作環境を示すブロック図である。
【0047】
図2】いくつかの実施形態による、ユーザのためのXR体験を管理及び調整するように構成されたコンピュータシステムのコントローラを示すブロック図である。
【0048】
図3】いくつかの実施形態による、XR体験の視覚的構成要素をユーザに提供するように構成されたコンピュータシステムの表示生成構成要素を示すブロック図である。
【0049】
図4】いくつかの実施形態による、ユーザのジェスチャ入力をキャプチャするように構成されたコンピュータシステムのハンドトラッキングユニットを示すブロック図である。
【0050】
図5】いくつかの実施形態による、ユーザの視線入力をキャプチャするように構成されたコンピュータシステムのアイトラッキングユニットを示すブロック図である。
【0051】
図6】いくつかの実施形態によるグリント支援型視線追跡パイプラインを示すフロー図である。
【0052】
図7A】いくつかの実施形態による、いくつかの環境においてメディアをキャプチャ及び/又は表示するための例示的な技術を示す。
図7B】いくつかの実施形態による、いくつかの環境においてメディアをキャプチャ及び/又は表示するための例示的な技術を示す。
図7C】いくつかの実施形態による、いくつかの環境においてメディアをキャプチャ及び/又は表示するための例示的な技術を示す。
図7D】いくつかの実施形態による、いくつかの環境においてメディアをキャプチャ及び/又は表示するための例示的な技術を示す。
図7E】いくつかの実施形態による、いくつかの環境においてメディアをキャプチャ及び/又は表示するための例示的な技術を示す。
図7F】いくつかの実施形態による、いくつかの環境においてメディアをキャプチャ及び/又は表示するための例示的な技術を示す。
図7G】いくつかの実施形態による、いくつかの環境においてメディアをキャプチャ及び/又は表示するための例示的な技術を示す。
図7H】いくつかの実施形態による、いくつかの環境においてメディアをキャプチャ及び/又は表示するための例示的な技術を示す。
図7I】いくつかの実施形態による、いくつかの環境においてメディアをキャプチャ及び/又は表示するための例示的な技術を示す。
図7J】いくつかの実施形態による、いくつかの環境においてメディアをキャプチャ及び/又は表示するための例示的な技術を示す。
図7K】いくつかの実施形態による、いくつかの環境においてメディアをキャプチャ及び/又は表示するための例示的な技術を示す。
図7L】いくつかの実施形態による、いくつかの環境においてメディアをキャプチャ及び/又は表示するための例示的な技術を示す。
図7M】いくつかの実施形態による、いくつかの環境においてメディアをキャプチャ及び/又は表示するための例示的な技術を示す。
図7N】いくつかの実施形態による、いくつかの環境においてメディアをキャプチャ及び/又は表示するための例示的な技術を示す。
図7O】いくつかの実施形態による、いくつかの環境においてメディアをキャプチャ及び/又は表示するための例示的な技術を示す。
図7P】いくつかの実施形態による、いくつかの環境においてメディアをキャプチャ及び/又は表示するための例示的な技術を示す。
図7Q】いくつかの実施形態による、いくつかの環境においてメディアをキャプチャ及び/又は表示するための例示的な技術を示す。
【0053】
図8】いくつかの実施形態による、メディアをキャプチャする方法のフロー図である。
【0054】
図9】いくつかの実施形態による、メディアのプレビューを表示する方法のフロー図である。
【0055】
図10】いくつかの実施形態による、以前にキャプチャされたメディアを表示するための方法のフロー図である。
【0056】
図11A】いくつかの実施形態による、記録インジケータを用いて物理的環境の表現を表示するための例示的な技術を示す。
図11B】いくつかの実施形態による、記録インジケータを用いて物理的環境の表現を表示するための例示的な技術を示す。
図11C】いくつかの実施形態による、記録インジケータを用いて物理的環境の表現を表示するための例示的な技術を示す。
図11D】いくつかの実施形態による、記録インジケータを用いて物理的環境の表現を表示するための例示的な技術を示す。
【0057】
図12】いくつかの実施形態による、記録インジケータを用いて物理的環境の表現を表示するための方法のフロー図である。
【0058】
図13A】カメラユーザインタフェースを表示するための例示的な技術を示す。
図13B】カメラユーザインタフェースを表示するための例示的な技術を示す。
図13C】カメラユーザインタフェースを表示するための例示的な技術を示す。
図13D】カメラユーザインタフェースを表示するための例示的な技術を示す。
図13E1】カメラユーザインタフェースを表示するための例示的な技術を示す。
図13E2】カメラユーザインタフェースを表示するための例示的な技術を示す。
図13E3】カメラユーザインタフェースを表示するための例示的な技術を示す。
図13E4】カメラユーザインタフェースを表示するための例示的な技術を示す。
図13E5】カメラユーザインタフェースを表示するための例示的な技術を示す。
図13F】カメラユーザインタフェースを表示するための例示的な技術を示す。
図13G】カメラユーザインタフェースを表示するための例示的な技術を示す。
図13H】カメラユーザインタフェースを表示するための例示的な技術を示す。
図13I】カメラユーザインタフェースを表示するための例示的な技術を示す。
図13J】カメラユーザインタフェースを表示するための例示的な技術を示す。
【0059】
図14】いくつかの実施形態による、キャプチャメディアに関連する情報を表示するための方法のフロー図である。
【0060】
図15A】いくつかの実施形態による、ビューファインダの外観を変更するための方法のフロー図である。
図15B】いくつかの実施形態による、ビューファインダの外観を変更するための方法のフロー図である。
【発明を実施するための形態】
【0061】
本開示は、いくつかの実施形態による、エクステンデッドリアリティ(XR)体験をユーザに提供するユーザインタフェースに関する。
【0062】
図1図6は、XR体験をユーザに提供するための例示的なコンピュータシステムの説明を提供する。図7A図7Qは、いくつかの実施形態による、様々な環境においてメディアをキャプチャ及び/又は表示するための例示的な技術を示す。図8は、様々な実施形態による、メディアをキャプチャ及び視認する方法のフロー図である。図9は、様々な実施形態による、メディアのプレビューを表示する方法のフロー図である。図10は、様々な実施形態による、以前にキャプチャされたメディアを表示する方法のフロー図である。図7A図7Qのユーザインタフェースは、図8図9、及び図10のプロセスを示す。図11A図11Dは、いくつかの実施形態による、記録インジケータを用いて物理的環境の表現を表示するための例示的な技術を示す。図12は、いくつかの実施形態による、記録インジケータを用いて物理的環境の表現を表示する方法のフロー図である。図11A図11Dのユーザインタフェースは、図12のプロセスを示す。図13A図13Jは、いくつかの実施形態による、カメラユーザインタフェースを表示するための例示的な技術を示す。図14は、いくつかの実施形態による、キャプチャメディアに関連する情報を表示するための方法のフロー図である。図15A図15Bは、いくつかの実施形態による、ビューファインダの外観を変更するための方法のフロー図である。図13A図13Jのユーザインタフェースは、図14図15A、及び図15Bのプロセスを示す。
【0063】
後述のプロセスは、改善された視覚的なフィードバックをユーザに提供すること、操作を実行するために必要な入力の数を減らすこと、表示される追加のコントロールでユーザインタフェースを混乱させることなく追加の制御オプションを提供すること、条件のセットが満たされたときに更なるユーザ入力を必要とせずに操作を実行すること、プライバシー及び/若しくはセキュリティを改善すること、記憶空間を節約しながらより多様な、詳細な、及び/若しくは現実的なユーザ体験を提供すること、並びに/又は追加の技術を含む、様々な技術を通して、(例えば、ユーザが適切な入力を提供するのを助け、デバイスを動作させる/デバイスと相互作用するときのユーザの誤りを低減することによって)デバイスの操作性を高め、ユーザデバイスインタフェースをより効率的にする。これらの技術はまた、ユーザがデバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。バッテリ電力、従って重量を節約することは、デバイスの人間工学を改善する。これらの技術はまた、リアルタイム通信を可能にし、より少ない及び/又はより精度の低いセンサの使用を可能にし、よりコンパクトで、より軽く、より安価なデバイスをもたらし、デバイスが様々な照明条件で使用されることを可能にする。これらの技術は、エネルギ使用を低減し、それによってデバイスによって放出される熱を低減し、これは、デバイス構成要素のための動作パラメータ内に十分にあるデバイスが、過度に多くの熱を生成している場合、ユーザが装着するには不快になり得るウェアラブルデバイスにとって特に重要である。
【0064】
更に、1つ以上のステップが満たされている1つ以上の条件を条件とする本明細書に記載の方法では、記載の方法は、繰り返しの過程にわたって、本方法のステップが条件とする条件の全てが本方法の異なる繰り返しで満たされるように、複数の繰り返しで繰り返されることができることを理解されたい。例えば、ある方法が、条件が満たされた場合に第1のステップを実行し、条件が満たされなかった場合に第2のステップを実行することを必要とする場合、当業者であれば、条件が満たされ、満たされなくなるまで、請求項に記載のステップが、特定の順序で繰り返されることを理解するであろう。したがって、満たされた1つ以上の条件に依存する1つ以上のステップで説明される方法は、方法に記載された各条件が満たされるまで繰り返される方法として書き換えられることができる。しかしながら、これは、システム又はコンピュータ可読媒体が、対応する1つ以上の条件の充足に基づいて条件付き動作を実行するための命令を含み、したがって、方法のステップが条件付きである全ての条件が満たされるまで、方法のステップを明示的に繰り返すことなく偶発性が満たされたか否かを判定することができる、システム又はコンピュータ可読媒体の請求項には必要とされない。当業者はまた、条件付きステップを有する方法と同様に、システム又はコンピュータ可読記憶媒体が、条件付きステップの全てが実行されたことを確実にするために必要な回数だけ方法のステップを繰り返すことができることを理解するであろう。
【0065】
いくつかの実施形態では、図1に示すように、XR体験は、コンピュータシステム101を含む動作環境100を介してユーザに提供される。コンピュータシステム101は、コントローラ110(例えば、ポータブル電子デバイス又はリモートサーバのプロセッサ)と、表示生成構成要素120(例えば、ヘッドマウントデバイス(HMD)、ディスプレイ、プロジェクタ、タッチスクリーンなど)と、1つ以上の入力デバイス125(例えば、アイトラッキングデバイス130、ハンドトラッキングデバイス140、他の入力デバイス150)と、1つ以上の出力デバイス155(例えば、スピーカ160、触知出力ジェネレータ170、及び他の出力デバイス180)と、1つ以上のセンサ190(例えば、画像センサ、光センサ、深度センサ、触覚センサ、配向センサ、近接センサ、温度センサ、ロケーションセンサ、運動センサ、速度センサなど)と、任意選択的に1つ以上の周辺デバイス195(例えば、家電製品、ウェアラブルデバイスなど)と、を含む。いくつかの実施形態では、入力デバイス125、出力デバイス155、センサ190、及び周辺デバイス195のうちの1つ以上は、(例えば、ヘッドマウントデバイス又はハンドヘルドデバイス内で)表示生成構成要素120と統合される。
【0066】
XR体験を説明するとき、ユーザが感知する、及び/又は(例えば、XR体験を生成するコンピュータシステムに、XR体験を生成するコンピュータシステム101に提供される様々な入力に対応するオーディオ、視覚、及び/又は触覚フィードバックを生成させる、コンピュータシステム101によって検出された入力を用いて)ユーザが相互作用することができる、いくつかの関連するが、別個の環境に個別的に言及するために様々な用語が使用される。以下は、これらの用語のサブセットである。
【0067】
物理的環境:物理的環境とは、人々が電子システムの助けなしに、感知及び/又は相互作用することができる物理的世界を指す。物理的な公園などの物理的環境には、物理的な木々、物理的な建物、及び物理的な人々などの物理的物品が挙げられる。人々は、視覚、触覚、聴覚、味覚、及び嗅覚などを介して、物理的環境を直接感知し、及び/又はそれと相互作用することができる。
【0068】
エクステンデッドリアリティ:これと対照的に、エクステンデッドリアリティ(extended reality、XR)環境は、人々が電子システムを介して感知及び/又は対話する、全体的又は部分的に模倣された環境を指す。XRでは、人物の身体運動のサブセット又はその表現が追跡され、それに応じて、XR環境内でシミュレートされた1つ以上の仮想オブジェクトの1つ以上の特性が、少なくとも1つの物理学の法則でふるまうように調節される。例えば、XRシステムは、人物の頭部の回転を検出し、それに応じて、そのようなビュー及び音が物理的環境においてどのように変化するかと同様の方法で、人物に提示されるグラフィックコンテンツ及び音場を調節することができる。状況によっては(例えば、アクセス性の理由から)、XR環境における仮想オブジェクト(単数又は複数)の特性(単数又は複数)に対する調節は、身体運動の表現(例えば、音声コマンド)に応じて行われてもよい。人物は、視覚、聴覚、触覚、味覚及び嗅覚を含むこれらの感覚のうちのいずれか1つを使用して、XRオブジェクトを感知し、かつ/又はXRオブジェクトと相互作用してもよい。例えば、人は、3D空間内のポイントオーディオソースの知覚を提供する、3D又は空間オーディオ環境を作り出すオーディオオブジェクトを感知し、及び/又はそれと対話することができる。別の例では、オーディオオブジェクトによって、コンピュータ生成オーディオを含めて、又は含めずに、物理的環境から周囲音を選択的に組み込むオーディオ透過性が可能になり得る。いくつかのXR環境では、人物は、オーディオオブジェクトのみを感知し、かつ/又はそれと相互作用してもよい。
【0069】
XRの例としては、仮想現実及び複合現実が挙げられる。
【0070】
仮想現実:仮想現実(VR)環境とは、1つ以上の感覚について、コンピュータ生成感覚入力に全面的に基づくように設計された模倣環境を指す。VR環境は、人物が感知かつ/又は相互作用することができる複数の仮想オブジェクトを含む。例えば、木、建物、及び人々を表すアバターのコンピュータ生成画像は、仮想オブジェクトの例である。人物は、コンピュータ生成環境内に人物が存在することのシミュレーションを通じて、かつ/又はコンピュータ生成環境内での人物の物理的移動のサブセットのシミュレーションを通じて、VR環境における仮想オブジェクトを感知し、かつ/又はそれと相互作用することができる。
【0071】
複合現実:複合現実(MR)環境とは、コンピュータ生成感覚入力に全面的に基づくように設計されたVR環境とは対照的に、コンピュータ生成感覚入力(例えば、仮想オブジェクト)を含むことに加えて、物理的環境からの感覚入力又はその表現を組み込むように設計された模倣環境を指す。仮想の連続体上では、複合現実環境は、一方の端部における完全な物理的環境と、他方の端部における仮想現実環境との間であるがこれらを含まない、任意の場所である。いくつかのMR環境では、コンピュータ生成感覚入力は、物理的環境からの感覚入力の変化に応じ得る。また、MR環境を提示するためのいくつかの電子システムは、仮想オブジェクトが現実のオブジェクト(すなわち、物理的環境からの物理的物品又はその表現)と相互作用することを可能にするために、物理的環境に対するロケーション及び/又は配向を追跡してもよい。例えば、システムは、仮想の木が物理的な地面に対して静止して見えるように、移動を考慮に入れてもよい。
【0072】
複合現実の例としては、エクステンデッドリアリティ及び拡張仮想が挙げられる。
【0073】
エクステンデッドリアリティ:エクステンデッドリアリティ(AR)環境とは、1つ以上の仮想オブジェクトが物理的環境上又はその表現上に重ね合わされた模倣環境を指す。例えば、AR環境を提示するための電子システムは、人物が物理的環境を直接見ることができる透明又は半透明のディスプレイを有してもよい。システムは、透明又は半透明のディスプレイに仮想オブジェクトを提示するように構成されていてもよく、それによって、人物はシステムを使用して、物理的環境の上に重ね合わされた仮想オブジェクトを知覚する。あるいは、システムは、不透明ディスプレイと、物理的環境の表現である、物理的環境の画像又はビデオをキャプチャする1つ以上の撮像センサとを有してもよい。システムは、画像又はビデオを仮想オブジェクトと合成し、その合成物を不透明ディスプレイ上に提示する。人物はこのシステムを使用して、物理的環境を、物理的環境の画像又はビデオによって間接的に見て、物理的環境に重ね合わされた仮想オブジェクトを知覚する。本明細書で使用するとき、不透明ディスプレイ上に示される物理的環境のビデオは、「パススルービデオ」と呼ばれ、システムが、1つ以上の画像センサ(単数又は複数)を使用して、物理的環境の画像をキャプチャし、不透明ディスプレイ上にAR環境を提示する際にそれらの画像を使用することを意味する。更に代替的に、システムが仮想オブジェクトを、例えば、ホログラムとして物理的環境の中に、又は物理的表面に投影するプロジェクションシステムを有してもよく、それによって、人物はシステムを使用して、物理的環境に重ね合わされた仮想オブジェクトを知覚する。エクステンデッドリアリティ環境はまた、物理的環境の表現がコンピュータ生成感覚情報によって変換される模倣環境を指す。例えば、パススルービデオを提供する際に、システムは、1つ以上のセンサ画像を、撮像センサがキャプチャした透視図とは別の選択された透視図(例えば、視点)を面付けするように変形してもよい。別の例として、物理的環境の表現を、その一部をグラフィカルに修正(例えば、拡大)することによって変形してもよく、それにより、修正された部分を、元のキャプチャ画像を表すが非写実的な、改変版にすることもできる。更なる例として、物理的環境の表現は、その一部をグラフィカルに除去又は不明瞭化することによって変形されてもよい。
【0074】
拡張仮想:拡張仮想(augmented virtuality、AV)環境とは、仮想環境又はコンピュータ生成環境が物理的環境から1つ以上の感覚入力を組み込んだ模倣環境を指す。感覚入力は、物理的環境の1つ以上の特性の表現であり得る。例えば、AVの公園には仮想の木及び仮想の建物があり得るが、顔がある人々は、物理的な人々が撮られた画像から写実的に再現される。別の例として、仮想オブジェクトは、1つ以上の撮像センサによって撮像された物理的物品の形状又は色を採用してもよい。更なる例として、仮想オブジェクトは、物理的環境における太陽のポジションと一致する影を採用することができる。
【0075】
視点ロック仮想オブジェクト:ユーザの視点がシフト(例えば、変化)しても、コンピュータシステムが仮想オブジェクトをユーザの視点内の同じロケーション及び/又はポジションに表示するとき、仮想オブジェクトは視点ロックされる。コンピュータシステムがヘッドマウントデバイスである実施形態では、ユーザの視点は、ユーザの頭部の前向き方向にロックされる(例えば、ユーザの視点は、ユーザが真っ直ぐ前を見ているときのユーザの視野の少なくとも一部分である)。したがって、ユーザの視点は、ユーザの頭部を動かさずに、ユーザの視線が動いても固定されたままである。コンピュータシステムが、ユーザの頭部に対して再配置され得る表示生成構成要素(例えば、表示画面)を有する実施形態では、ユーザの視点は、コンピュータシステムの表示生成構成要素上でユーザに提示されているエクステンデッドリアリティビューである。例えば、ユーザの視点が第1の配向にある(例えば、ユーザの頭部が北を向いている)ときにユーザの視点の左上隅に表示される視点ロック仮想オブジェクトは、ユーザの視点が第2の配向に変化しても(例えば、ユーザの頭部が西を向いている)、ユーザの視点の左上隅に表示され続ける。言い換えれば、視点ロック仮想オブジェクトがユーザの視点において表示されるロケーション及び/又はポジションは、物理的環境におけるユーザのポジション及び/又は配向とは無関係である。コンピュータシステムがヘッドマウントデバイスである実施形態では、ユーザの視点は、仮想オブジェクトが「頭部ロック仮想オブジェクト」とも称されるように、ユーザの頭部の配向にロックされる。
【0076】
環境ロック仮想オブジェクト:仮想オブジェクトは、コンピュータシステムが、三次元環境(例えば、物理的環境又は仮想環境)内のロケーション及び/又はオブジェクトに基づく(例えば、それを参照して選択される、及び/又はそれに固定される)ユーザの視点内のロケーション及び/又はポジションに仮想オブジェクトを表示するとき、環境ロック(又は、「世界ロック」)される。ユーザの視点がシフトすると、ユーザの視点に対する環境内のロケーション及び/又はオブジェクトが変化し、その結果、環境ロック仮想オブジェクトがユーザの視点内の異なるロケーション及び/又はポジションに表示される。例えば、ユーザの直前にある木にロックされた環境ロック仮想オブジェクトは、ユーザの視点の中心に表示される。ユーザの視点が右にシフトして(例えば、ユーザの頭部が右に向けられて)木がユーザの視点において左寄りになる(例えば、ユーザの視点における木のポジションがシフトする)場合、木にロックされた環境ロック仮想オブジェクトは、ユーザの視点において左寄りに表示される。言い換えれば、環境ロック仮想オブジェクトがユーザの視点において表示されるロケーション及び/又はポジションは、仮想オブジェクトがロックされる環境におけるロケーション及び/又はオブジェクトのポジション及び/又は配向に依存する。いくつかの実施形態では、コンピュータシステムは、ユーザの視点において環境ロック仮想オブジェクトを表示するポジションを決定するために、静止基準フレーム(例えば、物理的環境における固定ロケーション及び/又はオブジェクトに固定される座標系)を使用する。環境ロック仮想オブジェクトは、環境の静止部分(例えば、床、壁、テーブル、又は他の静止オブジェクト)にロックされることができ、又は環境の可動部分(例えば、車両、動物、人、又はユーザの手、手首、腕、足など、ユーザの視点とは無関係に移動するユーザの身体の部分の表現)にロックされることができ、それにより、仮想オブジェクトは、仮想オブジェクトと環境の部分との間の固定された関係を維持するために、視点又は環境の部分が移動するにつれて移動する。
【0077】
いくつかの実施形態では、環境ロック又は視点ロックされた仮想オブジェクトは、仮想オブジェクトが追従している基準点の移動に対して、環境ロック又は視点ロックされた仮想オブジェクトの動きを低減又は遅延させる遅延追従挙動を示す。いくつかの実施形態では、遅延追従挙動を示すとき、コンピュータシステムは、仮想オブジェクトが追従している基準点(例えば、環境の一部、視点、又は視点から5~300cmの間にある点などの視点に対して固定された点)の移動を検出すると、仮想オブジェクトの移動を意図的に遅延させる。例えば、基準点(例えば、環境の一部又は視点)が第1の速度で移動するとき、仮想オブジェクトは、基準点にロックされたままであるようにデバイスによって移動されるが、第1の速度よりも遅い第2の速度で移動する(例えば、基準点が移動を停止又は減速するまで、その時点で仮想オブジェクトが基準点に追いつき始める)。いくつかの実施形態では、仮想オブジェクトが遅延追従挙動を示すとき、デバイスは、基準点の少量の移動を無視する(例えば、0~5度の移動又は0~50cmの移動など、閾値移動量未満である基準点の移動を無視する)。例えば、基準点(例えば、仮想オブジェクトがロックされる環境の部分又は視点)が第1の量だけ移動するとき、基準点と仮想オブジェクトとの間の距離は増加し(例えば、仮想オブジェクトがロックされる基準点とは異なる視点又は環境の部分に対して固定又は実質的に固定されたポジションを維持するように仮想オブジェクトが表示されているので)、基準点(例えば、仮想オブジェクトがロックされる環境の部分又は視点)が第1の量よりも大きい第2の量だけ移動するとき、基準点と仮想オブジェクトとの間の距離は最初に増加し(例えば、仮想オブジェクトがロックされる基準点とは異なる視点又は環境の部分に対して固定又は実質的に固定されたポジションを維持するように仮想オブジェクトが表示されているので)、次いで、仮想オブジェクトが基準点に対して固定又は実質的に固定されたポジションを維持するようにコンピュータシステムによって移動されるので、基準点の移動量が閾値(例えば、「遅延追従」閾値)を超えて増加するにつれて減少する。いくつかの実施形態では、基準点に対して実質的に固定されたポジションを維持する仮想オブジェクトは、仮想オブジェクトが、1つ以上の寸法(例えば、基準点のポジションに対して上/下、左/右、及び/又は前方/後方)において基準点の閾値距離(例えば、1、2、3、5、15、20、50cm)内に表示されることを含む。
【0078】
ハードウェア:人物が様々なXR環境を感知し、及び/又はそれと相互作用することを可能にする、多くの異なるタイプの電子システムが存在する。例としては、ヘッドマウントシステム、プロジェクションベースシステム、ヘッドアップディスプレイ(HUD)、統合表示機能を有する車両フロントガラス、統合表示機能を有する窓、人の目の上に配置されるように設計されたレンズとして形成されたディスプレイ(例えば、コンタクトレンズ類)、ヘッドホン/イヤフォン、スピーカアレイ、入力システム(例えば、触覚フィードバックを有する又は有さない、ウェアラブルコントローラ又はハンドヘルドコントローラ)、スマートフォン、タブレット、及びデスクトップ/ラップトップコンピュータ、が挙げられる。ヘッドマウントシステムは、音声出力を提供するためにヘッドマウントシステムに統合されたスピーカ及び/又は他の音声出力デバイスを含み得る。ヘッドマウントシステムは、1つ以上のスピーカ(単数又は複数)及び一体型不透明ディスプレイを有してもよい。代替的に、ヘッドマウントシステムは、外部の不透明ディスプレイ(例えば、スマートフォン)を受け入れるように構成されていてもよい。ヘッドマウントシステムは、物理的環境の画像若しくはビデオをキャプチャするための1つ以上の撮像センサ、及び/又は物理的環境の音声をキャプチャするための1つ以上のマイクロフォンを組み込んでいてもよい。ヘッドマウントシステムは、不透明ディスプレイではなく、透明又は半透明のディスプレイを有してもよい。透明又は半透明のディスプレイは、画像を表す光が人物の目に向けられる媒体を有してもよい。ディスプレイは、デジタル光投影、OLED、LED、uLED、液晶オンシリコン、レーザスキャン光源、又はこれらの技術の任意の組み合わせを利用することができる。媒体は、光導波路、ホログラム媒体、光結合器、光反射器、又はこれらの任意の組み合わせであってもよい。一実施形態では、透明又は半透明のディスプレイは、選択的に不透明になるように構成されていてもよい。プロジェクションベースシステムは、グラフィカル画像を人物の網膜上に投影する網膜投影技術を採用することができる。プロジェクションシステムはまた、例えば、ホログラムとして、又は物理的表面上に、仮想オブジェクトを物理的環境内に投影するように構成されていてもよい。いくつかの実施形態では、コントローラ110は、ユーザに対するXR体験を管理及び調整するように構成されている。いくつかの実施形態では、コントローラ110は、ソフトウェア、ファームウェア、及び/又はハードウェアの好適な組み合わせを含む。コントローラ110は、図2に関して以下でより詳細に説明される。いくつかの実施形態では、コントローラ110は、シーン105(例えば、物理的環境)に対してローカル又はリモートであるコンピューティングデバイスである。例えば、コントローラ110は、シーン105内に位置するローカルサーバである。別の例では、コントローラ110は、シーン105の外側に位置するリモートサーバ(例えば、クラウドサーバ、中央サーバなど)である。いくつかの実施形態では、コントローラ110は、1つ以上の有線又は無線通信チャネル144(例えば、BLUETOOTH、IEEE802.11x、IEEE802.16x、IEEE802.3xなど)を介して、表示生成構成要素120(例えば、HMD、ディスプレイ、プロジェクタ、タッチスクリーンなど)と通信可能に結合される。別の例では、コントローラ110は、表示生成構成要素120(例えば、HMD、又はディスプレイ及び1つ以上のプロセッサなどを含むポータブル電子デバイス)、入力デバイス125のうちの1つ以上、出力デバイス155のうちの1つ以上、センサ190のうちの1つ以上、及び/又は周辺デバイス195のうちの1つ以上の筐体(例えば、物理的ハウジング)内に含まれる、又は上記のうちの1つ以上と同じ物理的筐体又は支持構造を共有する。
【0079】
いくつかの実施形態では、表示生成構成要素120は、XR体験(例えば、XR体験の少なくとも視覚的コンポーネント)をユーザに提供するように構成される。いくつかの実施形態では、表示生成構成要素120は、ソフトウェア、ファームウェア、及び/又はハードウェアの好適な組み合わせを含む。表示生成構成要素120は、図3に関して以下でより詳細に説明される。いくつかの実施形態では、コントローラ110の機能は、表示生成構成要素120によって提供される、及び/又は表示生成構成要素120と組み合わされる。
【0080】
いくつかの実施形態によれば、表示生成構成要素120は、ユーザがシーン105内に仮想的及び/又は物理的に存在している間に、XR体験をユーザに提供する。
【0081】
いくつかの実施形態では、表示生成構成要素は、ユーザの身体の一部(例えば、自身の頭部や自身の手など)に装着される。したがって、表示生成構成要素120は、XRコンテンツを表示するために提供された1つ以上のXRディスプレイを含む。例えば、様々な実施形態では、表示生成構成要素120は、ユーザの視野を包囲する。いくつかの実施形態では、表示生成構成要素120は、XRコンテンツを提示するように構成されたハンドヘルドデバイス(スマートフォン又はタブレットなど)であり、ユーザは、ユーザの視野に向けられるディスプレイ及びシーン105に向けられるカメラを備えたデバイスを保持する。いくつかの実施形態では、ハンドヘルドデバイスは、任意選択的に、ユーザの頭部に装着された筐体内に配置される。いくつかの実施形態では、ハンドヘルドデバイスは、任意選択的に、ユーザの前の支持体(例えば、三脚)上に配置される。いくつかの実施形態では、表示生成構成要素120は、ユーザが表示生成構成要素120を着用又は保持しない状態でXRコンテンツを提示するように構成されたXRチャンバ、筐体、又は部屋である。XRコンテンツ(例えば、ハンドヘルドデバイス又は三脚上のデバイス)を表示するための1つのタイプのハードウェアを参照して説明される多くのユーザインタフェースは、XRコンテンツ(例えば、HMD又は他のウェアラブルコンピューティングデバイス)を表示するための別のタイプのハードウェア上に実施され得る。例えば、ハンドヘルド又は三脚搭載デバイスの前の空間内で起こる相互作用に基づいてトリガされるXRコンテンツとの相互作用を示すユーザインタフェースは、相互作用がHMDの前の空間で発生し、XRコンテンツの応答がHMDを介して表示されるHMDと同様に実施され得る。同様に、物理的環境(例えば、シーン105又はユーザの身体の一部(例えば、ユーザの目(単数又は複数)、頭部、又は手))に対するハンドヘルド又は三脚搭載デバイスの移動に基づいてトリガされたXRコンテンツとの相互作用を示すユーザインタフェースは、物理的環境(例えば、シーン105又はユーザの身体の一部(例えば、ユーザの目(単数又は複数)、頭部、又は手))に対するHMDの移動によって移動が引き起こされるHMDと同様に実施され得る。
【0082】
動作環境100の関連する特徴が図1に示されているが、当業者は、簡潔にするために、及び本明細書で開示される例示的な実施形態のより関連する態様を不明瞭にしないように、様々な他の特徴が示されていないことを本開示から理解するであろう。
【0083】
図2は、いくつかの実施形態によるコントローラ110の一例のブロック図である。特定の特徴が示されているが、当業者は、本明細書に開示される実施形態のより適切な態様を曖昧にしないよう、簡潔にするために様々な他の特徴が示されていないことを、本開示から理解されよう。そのため、非限定的な例として、いくつかの実施形態では、コントローラ110は、1つ以上の処理ユニット202(例えば、マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、グラフィック処理ユニット(GPU)、中央処理ユニット(CPU)、処理コアなど)、1つ以上の入出力(I/O)デバイス206、1つ以上の通信インタフェース208(例えば、ユニバーサルシリアルバス(USB)、FIREWIRE、THUNDERBOLT、IEEE 802.3x、IEEE 802.11x、IEEE 802.16x、グローバル移動通信システム(GSM)、符号分割多元接続(CDMA)、時分割多元接続(TDMA)、グローバル測位システム(GPS)、赤外線(IR)、BLUETOOTH、ZIGBEE、又は同様のタイプのインタフェース)、1つ以上のプログラミング(例えば、I/O)インタフェース210、メモリ220、並びにこれら及び様々な他のコンポーネントを相互接続するための1つ以上の通信バス204を含む。
【0084】
いくつかの実施形態では、1つ以上の通信バス204は、システム構成要素を相互接続し、システム構成要素間の通信を制御する、回路を含む。いくつかの実施形態では、1つ以上のI/Oデバイス206は、キーボード、マウス、タッチパッド、ジョイスティック、1つ以上のマイクロフォン、1つ以上のスピーカ、1つ以上の画像センサ、1つ以上のディスプレイなどのうちの少なくとも1つを含む。
【0085】
メモリ220は、ダイナミックランダムアクセスメモリ(dynamic random-access memory、DRAM)、スタティックランダムアクセスメモリ(static random-access memory、SRAM)、ダブルデータレートランダムアクセスメモリ(double-data-rate random-access memory、DDRRAM)、又は他のランダムアクセスソリッドステートメモリデバイスなどの高速ランダムアクセスメモリを含む。いくつかの実施形態では、メモリ220は、1つ以上の磁気記憶デバイス、光学記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性固体記憶デバイスなどの非揮発性メモリを含む。メモリ220は、任意選択的に、1つ以上の処理ユニット202から遠隔に位置する1つ以上の記憶デバイスを含む。メモリ220は、非一時的コンピュータ可読記憶媒体を含む。いくつかの実施形態では、メモリ220、又はメモリ220の非一時的コンピュータ可読記憶媒体は、任意選択的なオペレーティングシステム230及びXR体験モジュール240を含む、以下のプログラム、モジュール及びデータ構造、又はそれらのサブセットを記憶する。
【0086】
オペレーティングシステム230は、様々な基本システムサービスを処理し、ハードウェア依存タスクを実行する命令を含む。いくつかの実施形態では、XR体験モジュール240は、1人以上のユーザに対する1つ以上のXR体験(例えば、1人以上のユーザに対する単一のXR体験、又は1人以上のユーザのそれぞれのグループに対する複数のXR体験)を管理及び調整するように構成されている。そのために、様々な実施形態では、XR体験モジュール240は、データ取得ユニット241と、トラッキングユニット242と、調整ユニット246と、データ伝信ユニット248と、を含む。
【0087】
いくつかの実施形態では、データ取得ユニット241は、少なくとも図1の表示生成構成要素120、並びに任意選択的に入力デバイス125、出力デバイス155、センサ190、及び/又は周辺デバイス195のうちの1つ以上からデータ(例えば、提示データ、相互作用データ、センサデータ、ロケーションデータなど)を取得するように構成される。その目的で、様々な実施形態では、データ取得ユニット241は、そのための命令及び/又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
【0088】
いくつかの実施形態では、トラッキングユニット242は、シーン105をマッピングし、図1のシーン105に対して、かつ任意選択的に、入力デバイス125、出力デバイス155、センサ190、及び/又は周辺デバイス195のうちの1つ以上に対して、少なくとも表示生成構成要素120のポジション/ロケーションを追跡するように構成される。そのために、様々な実施形態では、トラッキングユニット242は、そのための命令及び/又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。いくつかの実施形態では、トラッキングユニット242は、ハンドトラッキングユニット244及び/又はアイトラッキングユニット243を含む。いくつかの実施形態では、ハンドトラッキングユニット244は、図1のシーン105に対する、表示生成構成要素120に対する、かつ/又はユーザの手に対して定義された座標系に対する、ユーザの手の1つ以上の部分のポジション/ロケーション、及び/又はユーザの手の1つ以上の部分の運動を追跡するように構成される。ハンドトラッキングユニット244は、図4に関して以下でより詳細に説明される。いくつかの実施形態では、アイトラッキングユニット243は、シーン105に対する(例えば、物理的環境及び/又はユーザ(例えば、ユーザの手)に対する)、又は表示生成構成要素120を介して表示されたXRコンテンツに対する、ユーザの視線(又は、より広範にはユーザの目、顔、又は頭部)のポジション及び移動を追跡するように構成される。アイトラッキングユニット243は、図5に関して以下でより詳細に説明される。
【0089】
いくつかの実施形態では、調整ユニット246は、表示生成構成要素120によって、並びに任意選択的に、出力デバイス155及び/又は周辺デバイス195のうちの1つ以上によって、ユーザに提示されるXR体験を管理及び調整するように構成される。その目的で、様々な実施形態において、調整ユニット246は、そのための命令及び/又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
【0090】
いくつかの実施形態では、データ伝信ユニット248は、データ(例えば、提示データ、ロケーションデータなど)を少なくとも表示生成構成要素120、並びに任意選択的に、入力デバイス125、出力デバイス155、センサ190、及び/又は周辺デバイス195のうちの1つ以上に送信するように構成される。そのために、様々な実施形態では、データ伝信ユニット248は、そのための命令及び/又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
【0091】
データ取得ユニット241、トラッキングユニット242(例えば、アイトラッキングユニット243及びハンドトラッキングユニット244を含む)、調整ユニット246、及びデータ伝信ユニット248が、単一のデバイス(例えば、コントローラ110)上に存在するものとして示されているが、他の実施形態では、データ取得ユニット241、トラッキングユニット242(例えば、アイトラッキングユニット243及びハンドトラッキングユニット244を含む)、調整ユニット246、及びデータ伝信ユニット248の任意の組み合わせが、別個のコンピューティングデバイス内に位置することができることを理解されたい。
【0092】
更に、図2は、本明細書に記載される実施形態の構造概略とは対照的に、特定の実装形態に存在し得る様々な特徴の機能を説明することをより意図している。当業者によって認識されるように、別々に示された事項を組み合わせることができ、また、一部の事項は分離することができる。例えば、図2に別々に示すいくつかの機能モジュールは、単一のモジュール内に実現することができ、単一の機能ブロックの様々な機能は、様々な実施形態では1つ以上の機能ブロックによって実現することができる。モジュールの実際の数、並びに特定の機能の分割及びそれらの間にどのように機能が割り当てられるかは、実装形態によって異なり、いくつかの実施形態では、特定の実装形態のために選択されたハードウェア、ソフトウェア、及び/又はファームウェアの特定の組み合わせに部分的に依存する。
【0093】
図3は、いくつかの実施形態による、表示生成構成要素120の一例のブロック図である。特定の特徴が示されているが、当業者は、本明細書に開示される実施形態のより適切な態様を曖昧にしないよう、簡潔にするために様々な他の特徴が示されていないことを、本開示から理解されよう。その目的で、非限定的な例として、いくつかの実施形態では、表示生成構成要素120(例えば、HMD)には、1つ以上の処理ユニット302(例えば、マイクロプロセッサ、ASIC、FPGA、GPU、CPU、処理コアなど)、1つ以上の入出力(I/O)デバイス及びセンサ306、1つ以上の通信インタフェース308(例えば、USB、FIREWIRE、THUNDERBOLT、IEEE 802.3x、IEEE 802.11x、IEEE 802.16x、GSM、CDMA、TDMA、GPS、赤外線、BLUETOOTH、ZIGBEE、及び/又は同様のタイプのインタフェース)、1つ以上のプログラミング(例えば、I/O)インタフェース310、1つ以上のXRディスプレイ312、1つ以上の任意選択の内向き及び/又は外向き画像センサ314、メモリ320、並びにこれら及び様々な他のコンポーネントを相互接続するための1つ以上の通信バス304、が含まれる。
【0094】
いくつかの実施形態では、1つ以上の通信バス304は、システムコンポーネント間の通信を相互接続及び制御する回路を含む。いくつかの実施形態では、1つ以上のI/Oデバイス及びセンサ306は、慣性測定装置(IMU)、加速度計、ジャイロスコープ、温度計、1つ以上の生理的センサ(例えば、血圧モニタ、心拍数モニタ、血液酸素センサ、血糖センサなど)、1つ以上のマイクロフォン、1つ以上のスピーカ、触覚エンジン、1つ以上の深度センサ(例えば、構造化光、飛行時間など)などのうちの少なくとも1つを含む。
【0095】
いくつかの実施形態では、1つ以上のXRディスプレイ312は、XR体験をユーザに提供するように構成される。いくつかの実施形態では、1つ以上のXRディスプレイ312は、ホログラフィック、デジタル光処理(DLP)、液晶ディスプレイ(LCD)、液晶オンシリコン(LCoS)、有機発光電界効果トランジスタ(OLET)、有機発光ダイオード(OLED)、表面伝導型電子放射素子ディスプレイ(SED)、電界放射ディスプレイ(FED)、量子ドット発光ダイオード(QD-LED)、微小電気機械システム(MEMS)、及び/又は同様のディスプレイタイプに相当する。いくつかの実施形態では、1つ以上のXRディスプレイ312は、回折、反射、偏光、ホログラフィックなどの、導波管ディスプレイに相当する。例えば、表示生成構成要素120(例えば、HMD)は、単一のXRディスプレイを含む。別の実施例では、表示生成構成要素120は、ユーザの各目用のXRディスプレイを含む。いくつかの実施形態では、1つ以上のXRディスプレイ312は、MR又はVRコンテンツを提示することができる。いくつかの実施形態では、1つ以上のXRディスプレイ312は、MR又はVRコンテンツを提示することができる。
【0096】
いくつかの実施形態では、1つ以上の画像センサ314は、ユーザの目を含むユーザの顔の少なくとも一部分に対応する画像データを取得するように構成される(及び、アイトラッキングカメラと称する場合がある)。いくつかの実施形態では、1つ以上の画像センサ314は、ユーザの手(単数又は複数)及び任意選択的にユーザの腕(単数又は複数)の少なくとも一部分に対応する画像データを取得するように構成される(及び、ハンドトラッキングカメラと称される場合がある)。いくつかの実施形態では、1つ以上の画像センサ314は、表示生成構成要素120(例えばHMD)、が存在しない場合に、ユーザが閲覧するようなシーンに対応する画像データを取得するように前方を向くように構成されている(かつ、シーンカメラと称されることがある)。1つ以上の任意選択的な画像センサ314は、(例えば、相補型金属酸化膜半導体(CMOS)画像センサ若しくは電荷結合デバイス(CCD)画像センサを備えた)1つ以上のRGBカメラ、1つ以上の赤外線(IR)カメラ、1つ以上のイベントベースのカメラ、及び/又は同様のもの、を含むことができる。
【0097】
メモリ320は、DRAM、SRAM、DDR RAM、又は他のランダムアクセスソリッドステートメモリデバイスなどの、高速ランダムアクセスメモリを含む。いくつかの実施形態では、メモリ320は、1つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、又はその他の不揮発性ソリッドステート記憶デバイスなどの不揮発性メモリを含む。メモリ320は、1つ以上の処理ユニット302から遠隔に位置する1つ以上の記憶デバイスを任意選択的に含む。メモリ320は、非一時的コンピュータ可読記憶媒体を含む。いくつかの実施形態では、メモリ320、又はメモリ320の非一時的コンピュータ可読記憶媒体は、任意選択のオペレーティングシステム330及びXR提示モジュール340を含む、以下のプログラム、モジュール及びデータ構造、又はそれらのサブセットを記憶する。
【0098】
オペレーティングシステム330は、様々な基本システムサービスを処理する命令、及びハードウェア依存タスクを実行する命令を含む。いくつかの実施形態では、XR提示モジュール340は、1つ以上のXRディスプレイ312を介してXRコンテンツをユーザに提示するように構成される。その目的で、様々な実施形態では、XR提示モジュール340は、データ取得ユニット342、XR提示ユニット344、XRマップ生成ユニット346、及びデータ伝信ユニット348を含む。
【0099】
いくつかの実施形態では、データ取得ユニット342は、少なくとも図1のコントローラ110からデータ(例えば、提示データ、相互作用データ、センサデータ、ロケーションデータなど)を取得するように構成される。その目的で、様々な実施形態では、データ取得ユニット342は、そのための命令及び/又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
【0100】
いくつかの実施形態では、XR提示ユニット344は、1つ以上のXRディスプレイ312を介してXRコンテンツを提示するように構成される。その目的で、様々な実施形態では、XR提示ユニット344は、そのための命令及び/又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
【0101】
いくつかの実施形態では、XRマップ生成ユニット346は、メディアコンテンツデータに基づいて、XRマップ(例えば、複合現実シーンの3Dマップ又はコンピュータ生成オブジェクトを配置してエクステンデッドリアリティを生成することができる物理的環境のマップ)を生成するように構成されている。その目的で、様々な実施形態では、XRマップ生成ユニット346は、そのための命令及び/又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
【0102】
いくつかの実施形態では、データ伝信ユニット348は、少なくともコントローラ110、及び任意選択的に入力デバイス125、出力デバイス155、センサ190、及び/又は周辺デバイス195のうちの1つ以上にデータ(例えば、提示データ、ロケーションデータなど)を伝送するように構成される。その目的で、様々な実施形態では、データ伝信ユニット348は、そのための命令及び/又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
【0103】
データ取得ユニット342は、XR提示ユニット344、XRマップ生成ユニット346、及びデータ伝信ユニット348は、単一のデバイス(例えば、図1の表示生成構成要素120)上に存在するものとして示されているが、他の実施形態では、データ取得ユニット342、XR提示ユニット344、XRマップ生成ユニット346、及びデータ伝信ユニット348の任意の組み合わせが、別個のコンピューティングデバイス内に位置することができることを理解されたい。
【0104】
更に、図3は、本明細書に記載される実施形態の構造概略とは対照的に、特定の実装形態に存在し得る様々な特徴の機能を説明することをより意図している。当業者によって認識されるように、別々に示された事項を組み合わせることができ、また、一部の事項は分離することができる。例えば、図3に別々に示すいくつかの機能モジュールは、単一のモジュール内に実現することができ、単一の機能ブロックの様々な機能は、様々な実施形態では1つ以上の機能ブロックによって実現することができる。モジュールの実際の数、並びに特定の機能の分割及びそれらの間にどのように機能が割り当てられるかは、実装形態によって異なり、いくつかの実施形態では、特定の実装形態のために選択されたハードウェア、ソフトウェア、及び/又はファームウェアの特定の組み合わせに部分的に依存する。
【0105】
図4は、ハンドトラッキングデバイス140の例示的な実施形態の概略図である。いくつかの実施形態では、ハンドトラッキングデバイス140(図1)は、図1のシーン105に対する(例えば、ユーザを取り囲む物理的環境の部分に対する、表示生成構成要素120に対する、又はユーザの一部(例えば、ユーザの顔、目、又は頭部)に対する、及び/又はユーザの手に対して定義された座標系に対する)ユーザの手の1つ以上の部分のロケーション/ポジション、及び/又は、ユーザの手の1つ以上の部分の動きを追跡するように、ハンドトラッキングユニット244(図2)によって制御される。いくつかの実施形態では、ハンドトラッキングデバイス140は、表示生成構成要素120の一部である(例えば、ヘッドマウントデバイスに埋め込まれる、又はヘッドマウントデバイスに取り付けられる)。いくつかの実施形態では、ハンドトラッキングデバイス140は、表示生成構成要素120とは別個である(例えば、別個のハウジング内に位置する、又は別個の物理的支持構造に取り付けられる)。
【0106】
いくつかの実施形態では、ハンドトラッキングデバイス140は、人間のユーザの少なくとも手406を含む三次元シーン情報をキャプチャする画像センサ404(例えば、1つ以上のIRカメラ、3Dカメラ、深度カメラ、及び/又はカラーカメラなど)を含む。画像センサ404は、指及びそれらのそれぞれのポジションを区別するのを可能にするのに十分な解像度で手画像をキャプチャする。画像センサ404は、典型的には、ユーザの身体の他の部分の画像、又は身体の全ての画像をキャプチャし、ズーム機能又は高倍率を有する専用センサのいずれかを有して、所望の解像度で手の画像をキャプチャすることができる。いくつかの実施形態では、画像センサ404はまた、手406の2Dカラービデオ画像及びシーンの他の要素をキャプチャする。いくつかの実施形態では、画像センサ404は、シーン105の物理的環境をキャプチャする他の画像センサと併せて使用される、又はシーン105の物理的環境をキャプチャする画像センサとして機能する。いくつかの実施形態では、画像センサ404は、画像センサ又はその一部の視野が使用されて、画像センサによってキャプチャされた手の移動がコントローラ110への入力として処理される相互作用空間を定義するように、ユーザ又はユーザの環境に対して位置決めされる。
【0107】
いくつかの実施形態では、画像センサ404は、3Dマップデータ(及び場合によってはカラー画像データも)を含むフレームのシーケンスをコントローラ110に出力し、これにより、マップデータから高レベル情報を抽出する。この高レベル情報は、典型的には、アプリケーションプログラムインタフェース(API)を介して、コントローラ上で実行されるアプリケーションに提供され、それに応じて表示生成構成要素120を駆動する。例えば、ユーザは、自分の手406を移動させて自分の手の姿勢を変化させることによって、コントローラ110上で実行されるソフトウェアと対話することができる。
【0108】
いくつかの実施形態では、画像センサ404は、手406を含むシーン上にスポットパターンを投影し、投影されたパターンの画像をキャプチャする。いくつかの実施形態では、コントローラ110は、パターンのスポットの横方向シフトに基づいて、三角測量によって(ユーザの手の表面上の点を含む)シーン内の点の3D座標を計算する。このアプローチは、ユーザが任意の種類のビーコン、センサ、又は他のマーカを保持又は着用する必要がないという点で有利である。これは、画像センサ404からの特定の距離で、所定の基準面に対するシーン内の点の深度座標を与える。本開示では、画像センサ404は、シーン内の点の深度座標が画像センサによって測定されたzコンポーネントに対応するように、直交する一連のx、y、z軸を定義すると想定される。代替的に、画像センサ404(例えば、ハンドトラッキングデバイス)は、単一又は複数のカメラ又は他のタイプのセンサに基づいて、立体撮像又は飛行時間測定などの他の3Dマッピング方法を使用することができる。
【0109】
いくつかの実施形態では、ハンドトラッキングデバイス140は、ユーザが手(例えば、手全体又は1本以上の指)を移動させている間、ユーザの手を含む深度マップの時間シーケンスをキャプチャし処理する。画像センサ404及び/又はコントローラ110内のプロセッサ上で動作するソフトウェアは、3Dマップデータを処理して、これらの深度マップ内の手のパッチ記述子を抽出する。ソフトウェアは、各フレームにおける手の姿勢を推定するために、以前の学習プロセスに基づいて、これらの記述子をデータベース408に記憶されたパッチ記述子と照合する。姿勢は、典型的には、ユーザの手関節及び指先の3Dロケーションを含む。
【0110】
ソフトウェアはまた、ジェスチャを識別するために、シーケンス内の複数のフレームにわたって手及び/又は指の軌道を解析することができる。本明細書に記載される姿勢推定機能は、運動追跡機能とインターリーブされてもよく、それにより、パッチベースの姿勢推定が2つ(又はそれより多く)のフレーム毎に1回のみ実行される一方、追跡は残りのフレームにわたって発生する姿勢の変化を発見するために使用される。姿勢、運動、及びジェスチャ情報は、上述のAPIを介して、コントローラ110上で実行されるアプリケーションプログラムに提供される。このプログラムは、例えば、姿勢及び/又はジェスチャ情報に応じて、表示生成構成要素120上に提示された画像を移動させ修正する、又は他の機能を実行することができる。
【0111】
いくつかの実施形態では、ジェスチャは、エアジェスチャを含む。エアジェスチャは、ユーザがデバイス(例えば、コンピュータシステム101、1つ以上の入力デバイス125、及び/又は、ハンドトラッキングデバイス140)の一部である入力要素に触れることなく(又はそれとは無関係に)検出されるジェスチャであり、絶対的な基準(例えば、地面に対するユーザの腕の角度、又は地面に対するユーザの手の距離)に対するユーザの身体の動き、ユーザの身体の別の部分(例えば、ユーザの肩に対するユーザの手の移動、ユーザの一方の手のユーザの別の手に対する移動、及び/又はユーザの指の、別の指若しくはユーザの手の一部に対する移動)に対するユーザの身体の動き、及び/又はユーザの身体の一部(例えば、所定の量及び/又は速さによる所定の姿勢での手の移動を含むタップジェスチャ、又は所定の速度又はユーザの身体の一部の回転量を含むシェイクジェスチャ)の絶対的な動きを含む、空中にあるユーザの身体の一部(例えば、頭部、1つ以上の腕、1つ以上の手、1つ以上の指、及び/又は1つ以上の脚)の検出された動きに基づく。
【0112】
いくつかの実施形態では、本明細書に記載の様々な例及び実施形態で使用される入力ジェスチャは、いくつかの実施形態に係る、XR環境(例えば、仮想又は複合現実環境)と相互作用するための他の指(単数又は複数)又はユーザの手の部分(単数又は複数)に対するユーザの指(単数又は複数)の移動によって実行されるエアジェスチャを含む。いくつかの実施形態では、エアジェスチャは、ユーザがデバイスの一部である入力要素に触れることなく(又はデバイスの一部である入力要素から独立して)検出されるジェスチャであり、絶対的な基準に対するユーザの身体の動き(例えば、地面に対するユーザの腕の角度、又は地面に対するユーザの手の距離)、ユーザの身体の別の部分に対するユーザの身体の動き(例えば、ユーザの肩に対するユーザの手の動き、ユーザの一方の手に対するユーザの他方の手の移動、及び/又はユーザの手の別の指若しくは部分に対するユーザの指の移動)、及び/又は、ユーザの身体の一部の絶対的な動き(例えば、所定の量及び/又は速さによる所定のポーズでの手の移動を含むタップジェスチャ、又はユーザの身体の一部の所定の速さ又は量の回転を含むシェイクジェスチャ)を含む、ユーザの身体の一部の検出された動きに基づく。
【0113】
入力ジェスチャがエアジェスチャ(例えば、タッチスクリーン上に表示されたユーザインタフェース要素との接触、又はユーザインタフェース要素にカーソルを移動させるためのマウス又はトラックパッドとの接触など、どのユーザインタフェース要素がユーザ入力のターゲットであるかに関する情報をコンピュータシステムに提供する入力デバイスとの物理的接触がない場合)であるいくつかの実施形態では、ジェスチャは、ユーザ入力のターゲット(例えば、以下で説明するように、直接入力の場合)を決定するためにユーザの注意(例えば、視線)を考慮に入れる。したがって、エアジェスチャを含む実装形態では、入力ジェスチャは、例えば、以下でより詳細に説明するように、ピンチ及び/又はタップ入力を実行するためのユーザの指(単数又は複数)及び/又は手の移動と組み合わせて(例えば、同時)ユーザインタフェース要素に対する検出された注意(例えば、視線)である。
【0114】
いくつかの実施形態では、ユーザインタフェースオブジェクトに向けられた入力ジェスチャは、ユーザインタフェースオブジェクトを参照して直接的又は間接的に実行される。例えば、ユーザ入力は、三次元環境(例えば、ユーザの現在の視点に基づいて決定されるように、)におけるユーザインタフェースオブジェクトのポジションに対応するポジションでユーザの手で入力ジェスチャを実行したことに応じて、ユーザインタフェースオブジェクトに対して直接実行される。いくつかの実施形態では、入力ジェスチャは、ユーザインタフェースオブジェクトに対するユーザの注意(例えば、視線)を検出しながら、ユーザの手のポジションが三次元環境におけるユーザインタフェースオブジェクトのポジションに対応するポジションにない間に入力ジェスチャを実行するユーザに従って、ユーザインタフェースオブジェクトに対して間接的に実行される。例えば、直接入力ジェスチャの場合、ユーザは、ユーザインタフェースオブジェクトの表示ポジション(例えば、オプションの外縁又はオプションの中央部分から測定して、0.5cm、1cm、5cm、又は0~5cmの距離内)に対応するポジション又はその付近でジェスチャを開始することによって、ユーザの入力をユーザインタフェースオブジェクトに向けることができる。間接的な入力ジェスチャの場合、ユーザは、ユーザインタフェースオブジェクトに注意を払うことによって(例えば、ユーザインタフェースオブジェクトを注視することによって)ユーザの入力をユーザインタフェースオブジェクトに向けることができ、オプションに注意を払いながら、ユーザは、入力ジェスチャを開始する(例えば、コンピュータシステムによって検出可能な任意のポジションで)(例えば、ユーザインタフェースオブジェクトの表示ポジションに対応しないポジションで)。
【0115】
いくつかの実施形態では、本明細書に記載の様々な例及び実施形態で使用される入力ジェスチャ(例えば、エアジェスチャ)は、いくつかの実施形態に係る、仮想又は複合現実環境と相互作用するためのピンチ入力及びタップ入力を含む。例えば、後述するピンチ入力やタップ入力は、エアジェスチャとして行われる。
【0116】
いくつかの実施形態では、ピンチ入力は、ピンチジェスチャ、ロングピンチジェスチャ、ピンチアンドドラッグジェスチャ、又はダブルピンチジェスチャのうちの1つ以上を含むエアジェスチャの一部である。例えば、エアジェスチャであるピンチジェスチャは、互いに接触するように手の2本以上の指を動かすこと、すなわち、任意選択的に、互いに接触した直後の(例えば、0~1秒以内)中断を含む。エアジェスチャであるロングピンチジェスチャは、互いに接触している中断を検出する前に、少なくとも閾値時間量(例えば、少なくとも1秒)にわたって互いに接触するように手の2本以上の指を動かすことを含む。例えば、ロングピンチジェスチャは、ユーザがピンチジェスチャ(例えば、2つ以上の指が接触している場合、)を保持することを含み、ロングピンチジェスチャは、2本以上の指の間の接触の中断が検出されるまで継続する。いくつかの実施形態では、エアジェスチャであるダブルピンチジェスチャは、互いに直接(例えば、既定の期間内に)連続して検出される2つ(例えば、又はそれより多く)のピンチ入力(例えば、同じ手で実行される)を含む。例えば、ユーザは、第1のピンチ入力を実行し(例えば、ピンチ入力又はロングピンチ入力)、第1のピンチ入力を解放し(例えば、2つ以上の指の間の接触を破壊する)、第1のピンチ入力を解放した後、既定の期間(例えば、1秒以内又は2秒以内)内に第2のピンチ入力を実行する。
【0117】
いくつかの実施形態では、エアジェスチャであるピンチアンドドラッグジェスチャは、ユーザの手のポジションを第1のポジション(例えば、ドラッグの開始ポジション)から第2のポジション(例えば、抗力の終了ポジション)に変化させるドラッグ入力に関連して(例えば、その後に)実行されるピンチジェスチャ(例えば、ピンチジェスチャ又はロングピンチジェスチャ)を含む。いくつかの実施形態では、ユーザは、ドラッグ入力を実行しながらピンチジェスチャを維持し、(例えば、第2のポジションにおいて)ドラッグジェスチャを終了するためにピンチジェスチャ(例えば、2本以上の指を開く)を解放する。いくつかの実施形態では、ピンチ入力及びドラッグ入力は、同じ手(例えば、ユーザは、2本以上の指をつまんで互いに接触し、ドラッグジェスチャで空中の第2のポジションに同じ手を移動させる)によって実行される。いくつかの実施形態では、ピンチ入力はユーザの第1の手によって実行され、ドラッグ入力はユーザの第2の手によって実行される(例えば、ユーザの第2の手は、ユーザがユーザの第1の手でピンチ入力を継続する間に空中で第1のポジションから第2のポジションに移動する)。いくつかの実施形態では、エアジェスチャである入力ジェスチャは、ユーザの両手の双方を使用して実行される入力(例えば、ピンチ入力及び/又はタップ入力)を含む。例えば、入力ジェスチャは、互いに関連して(例えば、既定の期間と同時に、又は既定の期間内に)行われる2つ(例えば、又はそれより多く)のピンチ入力を含む。例えば、ユーザの第1の手を使用して実行される第1のピンチジェスチャ(例えば、ピンチ入力、ロングピンチ入力、又はピンチ及びドラッグ入力)と、第1の手を使用してピンチ入力を実行することに関連して、他方の手(例えば、ユーザの両手の第2の手)を使用して第2のピンチ入力を実行する。いくつかの実施形態では、ユーザの両手の間の移動(例えば、ユーザの両手の間の距離又は相対的な向きを増加及び/又は減少させるために)。
【0118】
いくつかの実施形態では、エアジェスチャとして実行されるタップ入力(例えば、ユーザインタフェース要素に向けられる)は、ユーザインタフェース要素に向かうユーザの指の移動(単数又は複数)、任意選択的にユーザの指(単数又は複数)をユーザインタフェース要素に向かって伸ばした状態でのユーザの手のユーザインタフェース要素に向かう移動、ユーザの指の下方への動き(例えば、マウスクリック動作又はタッチスクリーン上のタップを模倣する)、又はユーザの手の他の既定の移動を含む。いくつかの実施形態では、エアジェスチャとして実行されるタップ入力は、ユーザの視点から離れて、及び/又は移動の終了が続くタップ入力のターゲットであるオブジェクトに向かって指又は手のタップジェスチャの移動を実行する指又は手の移動特性に基づいて検出される。いくつかの実施形態では、タップジェスチャ(例えば、ユーザの視点から離れる、及び/又はタップ入力の対象であるオブジェクトに向かう移動の終了、指又は手の移動方向の反転、及び/又は指又は手の移動の加速方向の反転)を実行する指又は手の移動特性の変化に基づいて、移動の終了が検出される。
【0119】
いくつかの実施形態では、ユーザの注意は、(任意選択で、他の条件を必要とせずに)三次元環境の一部に向けられた視線の検出に基づいて、三次元環境の一部に向けられていると判定される。いくつかの実施形態では、ユーザの注意が三次元環境の一部に向けられていることをデバイスが判定するために、ユーザの視点が三次元環境の一部から距離閾値内にある間に、少なくとも閾値持続時間(例えば、滞留時間)、視線が三次元環境の一部に向けられていることを必要とすること、及び/又は視線が三次元環境の一部に向けられていることを必要とすることなどの1つ以上の追加の条件を伴う三次元環境の一部に向けられた視線の検出に基づいて、ユーザの注意が三次元環境の一部に向けられていると判定され、追加の条件のうちの1つが満たされていない場合、デバイスは、三次元環境のうちの視線が向けられている部分に注意が向けられていないと判定する(例えば、1つ以上の追加の条件が満たされるまで)。
【0120】
いくつかの実施形態では、ユーザ又はユーザの一部の準備完了状態構成の検出は、コンピュータシステムによって検出される。手の準備完了状態構成の検出は、ユーザが、手によって実行される1つ以上のエアジェスチャ入力(例えば、ピンチ、タップ、ピンチ及びドラッグ、ダブルピンチ、ロングピンチ、又は本明細書に説明される他のエアジェスチャ)を使用して、コンピュータシステムと対話する準備をしている可能性が高いというインジケーションとして、コンピュータシステムによって使用される。例えば、手の準備完了状態は、手が所定の手形状(例えば、親指と1本以上の指が伸ばされて間隔を空けてピンチ若しくはグラブジェスチャを行う準備ができているプレピンチ形状、又は1本以上の指が伸ばされて手のひらがユーザから離れる方向を向いているプレタップ)を有するか否か、手がユーザの視点に対して所定のポジションにあるか否か(例えば、ユーザの頭部の下、ユーザの腰の上、身体から少なくとも15cm、20cm、25cm、30cm、又は50cmだけ伸ばされている)、及び/又は手が特定の方法で移動したか否か(例えば、ユーザの腰の上、ユーザの頭部の下のユーザの正面の領域に向かって移動したか、又はユーザの身体若しくは脚から離れたか)に基づいて決定される。いくつかの実施形態では、準備完了状態は、ユーザインタフェースの対話要素が注意(例えば、視線)入力に応じるかどうかを判定するために使用される。
【0121】
いくつかの実施形態では、ソフトウェアは、例えばネットワーク上で、コントローラ110に電子形態でダウンロードされてもよい、又はその代わりに、光学、磁気、若しくは電子メモリ媒体などの、実体的非一時的媒体に提供されてもよい。いくつかの実施形態では、データベース408は、同様に、コントローラ110に関連付けられたメモリに記憶される。代替的又は追加的に、コンピュータの記載された機能の一部又は全ては、カスタム又は半カスタム集積回路又はプログラム可能なデジタル信号プロセッサ(DSP)などの専用のハードウェアに実装されてもよい。コントローラ110は、例として、画像センサ404とは別個のユニットとして図4に示されているが、コントローラの処理機能の一部又は全部は、好適なマイクロプロセッサ及びソフトウェアによって、又は画像センサ404(例えば、ハンドトラッキングデバイス)のハウジング内の専用回路によって、又は他の方法で画像センサ404に関連付けることができる。いくつかの実施形態では、これらの処理機能のうちの少なくともいくつかは、(例えば、テレビセット、ハンドヘルドデバイス、又はヘッドマウントデバイスにおいて)表示生成構成要素120と統合された好適なプロセッサによって、又はゲームコンソール又はメディアプレーヤーなどの任意の他の適切なコンピュータ化されたデバイスを用いて実行されてもよい。画像センサ404の感知機能は、同様に、センサ出力によって制御されるコンピュータ又は他のコンピュータ化された装置に統合することができる。
【0122】
図4は、いくつかの実施形態による、画像センサ404によってキャプチャされた深度マップ410の概略図を更に含む。深度マップは、上述したように、それぞれの深度値を有するピクセルのマトリックスを含む。手406に対応するピクセル412は、このマップで背景及び手首からセグメント化されている。深度マップ410内の各ピクセルの輝度は、深度値、すなわち、画像センサ404からの測定されたz距離に反比例し、深度が上昇するにつれて階調が濃くなる。コントローラ110は、人間の手の特性を有する画像のコンポーネント(すなわち、隣接ピクセル群)を識別及びセグメント化するために、これらの深度値を処理する。これらの特性は、例えば、深度マップのシーケンスの全体サイズ、形状、フレームからフレームへの動きを含むことができる。
【0123】
図4はまた、いくつかの実施形態による、コントローラ110が手406の深度マップ410から最終的に抽出する手骨格414を概略的に示す。図4では、手骨格414は、元の深度マップからセグメント化された手の背景416に重ね合わされる。いくつかの実施形態では、手(例えば、指関節、指先、手のひらの中心、手首に接続する手の終端など)、及び任意選択的に手に接続された手首又は腕上の主要な特徴点が、手骨格414上で識別され配置される。いくつかの実施形態では、複数の画像フレーム上にわたるこれらの主要な特徴点のロケーション及び移動がコントローラ110によって使用されて、いくつかの実施形態により、手によって実行される手ジェスチャ又は手の現在の状態を判定する。
【0124】
図5は、アイトラッキングデバイス130(図1)の例示的な実施形態を示す。いくつかの実施形態では、アイトラッキングデバイス130は、シーン105に対する、又は表示生成構成要素120を介して表示されたXRコンテンツに対する、ユーザの視線のポジション及び移動を追跡するように、アイトラッキングユニット243(図2)によって制御される。いくつかの実施形態では、アイトラッキングデバイス130は、表示生成構成要素120と統合される。例えば、いくつかの実施形態では、表示生成構成要素120がヘッドセット、ヘルメット、ゴーグル、又は眼鏡などのヘッドマウントデバイス、又はウェアラブルフレームに配置されたハンドヘルドデバイスである場合、ヘッドマウントデバイスは、ユーザによる視聴のためのXRコンテンツを生成するコンポーネント及びXRコンテンツに対するユーザの視線を追跡するためのコンポーネントの両方を含む。いくつかの実施形態では、アイトラッキングデバイス130は、表示生成構成要素120とは別個である。例えば、表示生成構成要素がハンドヘルドデバイス又はXRチャンバである場合、アイトラッキングデバイス130は、任意選択的に、ハンドヘルドデバイス又はXRチャンバとは別個のデバイスである。いくつかの実施形態では、アイトラッキングデバイス130は、ヘッドマウントデバイス又はヘッドマウントデバイスの一部である。いくつかの実施形態では、ヘッドマウントアイトラッキングデバイス130は、任意選択的に、頭部に装着されている表示生成構成要素又は頭部に装着されていない表示生成構成要素とともに使用される。いくつかの実施形態では、アイトラッキングデバイス130は、ヘッドマウントデバイスではなく、任意選択的に、ヘッドマウント表示生成構成要素と組み合わせて使用される。いくつかの実施形態では、アイトラッキングデバイス130は、ヘッドマウントデバイスではなく、任意選択的に、非ヘッドマウント表示生成構成要素の一部である。
【0125】
いくつかの実施形態では、表示生成構成要素120は、ユーザの目の前に左及び右の画像を含むフレームを表示して、3D仮想ビューをユーザに提供するディスプレイ機構(例えば、左右の目近傍ディスプレイパネル)を使用する。例えば、ヘッドマウント表示生成構成要素は、ディスプレイとユーザの目との間に位置する左右の光学レンズ(本明細書では接眼レンズと称される)を含んでもよい。いくつかの実施形態では、表示生成構成要素は、表示のためにユーザの環境のビデオをキャプチャする1つ以上の外部ビデオカメラを含んでもよい、又はそれに結合されてもよい。いくつかの実施形態では、ヘッドマウント表示生成構成要素は、ユーザが物理的環境を直接視認し、透明又は半透明ディスプレイ上に仮想オブジェクトを表示することができる透明又は半透明のディスプレイを有してもよい。いくつかの実施形態では、表示生成構成要素は、仮想オブジェクトを物理的環境に投影する。仮想オブジェクトは、例えば、物理的表面上に、又はホログラフとして投影され、それによって、個人は、システムを使用して、物理的環境の上に重ね合わされた仮想オブジェクトを観察することができる。そのような場合、左右の目のための別個のディスプレイパネル及び画像フレームが必要とされない場合がある。
【0126】
図5に示すように、いくつかの実施形態では、アイトラッキングデバイス130(例えば、視線トラッキングデバイス)は、少なくとも1つのアイトラッキングカメラ(例えば、赤外線(IR)カメラ又は近IR(NIR)カメラ)、並びに光(例えば、IR光又はNIR光)をユーザの目に向けて発する照明源(例えば、LEDのアレイ若しくはリングなどのIR光源又はNIR光源)を含む。アイトラッキングカメラは、ユーザの目に向けられて、光源からの反射IR又はNIR光を目から直接受信してもよく、又は代替的に、ユーザの目と、視覚的光が通過することを可能にしながら目からアイトラッキングカメラにIR又はNIR光を反射させるディスプレイパネルとの間に配置される「ホット」ミラーに向けられてもよい。アイトラッキングデバイス130は、任意選択的に、ユーザの目の画像を(例えば、60~120フレーム/秒(fps)でキャプチャされるビデオストリームとして)キャプチャし、画像を解析して、視線追跡情報を生成し、視線追跡情報をコントローラ110に通信する。いくつかの実施形態では、ユーザの両目は、それぞれのアイトラッキングカメラ及び照明源によって別々に追跡される。いくつかの実施形態では、ユーザの片目のみが、個別のアイトラッキングカメラ及び照明源によって追跡される。
【0127】
いくつかの実施形態では、アイトラッキングデバイス130は、デバイス固有の較正プロセスを使用して較正されて、特定の動作環境100用のアイトラッキングデバイスのパラメータ、例えば、LED、カメラ、ホットミラー(存在する場合)、接眼レンズ、及びディスプレイスクリーンの3D幾何学的関係及びパラメータを判定する。デバイス固有の較正プロセスは、AR/VR機器のエンドユーザへの配送前に、工場又は別の施設で実行されてもよい。デバイス固有の較正プロセスは、自動較正プロセスであってもよく、又は手動較正プロセスであってもよい。ユーザ固有の較正プロセスは、特定のユーザの目パラメータ、例えば、瞳孔ロケーション、中心視覚ロケーション、光軸、視軸、目の間隔などの推定を含んでもよい。いくつかの実施形態によれば、一旦アイトラッキングデバイス130についてデバイス固有及びユーザ固有のパラメータが判定されると、アイトラッキングカメラによってキャプチャされた画像は、グリント支援方法を使用して処理され、ディスプレイに対するユーザの現在の視軸及び視点を判定することができる。
【0128】
図5に示すように、アイトラッキングデバイス130(例えば、130A又は130B)は、接眼レンズ(単数又は複数)520と、アイトラッキングが行われるユーザの顔の側に位置決めされた少なくとも1つのアイトラッキングカメラ540(例えば、赤外線(IR)又は近IR(NIR)カメラ)と光(例えば、IR又はNIR光)をユーザの目(単数又は複数)592に向かって発する照明源530(例えば、NIR発光ダイオード(LED)のアレイ若しくはリングなどのIR又はNIR光源)とを含む視線トラッキングシステムと、を含む。アイトラッキングカメラ540は、ユーザの目(単数又は複数)592とディスプレイ510(例えば、ヘッドマウントディスプレイの左若しくは右側のディスプレイパネル、又はハンドヘルドデバイスのディスプレイ、プロジェクタなど)との間に位置し、(例えば、図5の上部に示されるように)可視光を透過させながら、目(単数又は複数)592からのIR又はNIR光を反射するミラー550に向けられてもよく、あるいは、(例えば、図5の下部に示されるように)反射された目(単数又は複数)592からのIR又はNIR光を受光するようにユーザの目(単数又は複数)592に向けられてもよい。
【0129】
いくつかの実施形態では、コントローラ110は、AR又はVRフレーム562(例えば、左及び右のディスプレイパネルの左及び右のフレーム)をレンダリングし、フレーム562をディスプレイ510に提供する。コントローラ110は、様々な目的のために、例えば、表示のためにフレーム562を処理する際に、アイトラッキングカメラ540からの視線トラッキング入力542を使用する。コントローラ110は、任意選択的に、グリント支援方法又は他の適切な方法を使用して、アイトラッキングカメラ540から得られた視線トラッキング入力542に基づいて、ディスプレイ510上のユーザの視点を推定する。視線トラッキング入力542から推定された視点は、任意選択的に、ユーザが現在見ている方向を判定するために使用される。
【0130】
以下、ユーザの現在の視線方向のいくつかの可能な使用事例について説明するが、これは限定することを意図するものではない。例示的な使用例として、コントローラ110は、判定されたユーザの視線方向に基づいて、仮想コンテンツを異なってレンダリングすることができる。例えば、コントローラ110は、周辺領域においてよりもユーザの現在の視線方向から判定された中心視覚領域において、より高い解像度で仮想コンテンツを生成してもよい。別の例として、コントローラは、ユーザの現在の視線方向に少なくとも部分的に基づいて、ビュー内の仮想コンテンツを位置決め又は移動させてもよい。別の例として、コントローラは、ユーザの現在の視線方向に少なくとも部分的に基づいて、ビュー内に特定の仮想コンテンツを表示してもよい。ARアプリケーションにおける別の例示的な使用事例として、コントローラ110は、XR体験の物理的環境をキャプチャして、判定された方向に焦点を合わせるように外部カメラを方向付けることができる。次いで、外部カメラの自動焦点機構は、ユーザが現在ディスプレイ510上で見ている環境内のオブジェクト又は表面に焦点を合わせることができる。別の例示的な使用事例として、接眼レンズ520は集束可能なレンズであってもよく、視線トラッキング情報がコントローラによって使用されて、ユーザが現在見ている仮想オブジェクトが、ユーザの目592の収束に一致するために適切な両目連動を有するように接眼レンズ520の焦点を調整する。コントローラ110は、視線トラッキング情報を活用して、ユーザが見ている近接オブジェクトが正しい距離で現れるように接眼レンズ520を方向付けて焦点を調整することができる。
【0131】
いくつかの実施形態では、アイトラッキングデバイスは、ウェアラブルハウジングに取り付けられた、ディスプレイ(例えば、ディスプレイ510)、2つの接眼レンズ(例えば、接眼レンズ(単数又は複数)520)、アイトラッキングカメラ(例えば、アイトラッキングカメラ(単数又は複数)540)、及び光源(例えば、光源530(例えば、IR LED又はNIR LED))を含むヘッドマウントデバイスの一部である。光源は、ユーザの目(単数又は複数)592に向かって光(例えば、IR光又はNIR光)を発する。いくつかの実施形態では、光源は、図5に示されるように、各レンズの周りにリング又は円状に配置されてもよい。いくつかの実施形態では、8つの光源530(例えば、LED)が、一例として各レンズ520の周りに配置される。しかしながら、より多くの又はより少ない光源530が使用されてもよく、光源530の他の配置及びロケーションが用いられてもよい。
【0132】
いくつかの実施形態では、ディスプレイ510は、可視光範囲内の光を発し、IR又はNIR範囲内の光を発さないため、視線トラッキングシステムにノイズを導入しない。アイトラッキングカメラ(単数又は複数)540のロケーション及び角度は、例として与えられ、限定することを意図するものではないことに留意されたい。いくつかの実施形態では、単一のアイトラッキングカメラ540がユーザの顔の各側に位置する。いくつかの実施形態では、2つ以上のNIRカメラ540をユーザの顔の各側に使用することができる。いくつかの実施形態では、より広い視野(FOV)を有するカメラ540と狭いFOVを有するカメラ540が、ユーザの顔の各側に使用されてもよい。いくつかの実施形態では、1つの波長(例えば、850nm)で動作するカメラ540と異なる波長(例えば、940nm)で動作するカメラ540とが、ユーザの顔の各側に使用されてもよい。
【0133】
図5に示すような視線トラッキングシステムの実施形態は、例えば、コンピュータ生成現実、仮想現実、及び/又は複合現実アプリケーションに使用されて、コンピュータ生成現実、仮想現実、エクステンデッドリアリティ、及び/又は拡張仮想体験をユーザに提供することができる。
【0134】
図6は、いくつかの実施形態による、グリント支援視線追跡パイプラインを示す。いくつかの実施形態では、視線トラッキングパイプラインは、グリント支援視線トラッキングシステム(例えば、図1及び図5に示されるようなアイトラッキングデバイス130)によって実現される。グリント支援視線トラッキングシステムは、追跡状態を維持することができる。当初、追跡状態はオフ又は「いいえ」である。追跡状態にあるとき、グリント支援視線トラッキングシステムは、現フレームを解析する際に前のフレームからの先行情報を使用して、現フレーム内の瞳孔輪郭及びグリントを追跡する。追跡状態にない場合、グリント支援視線トラッキングシステムは、現フレーム内の瞳孔及びグリントを検出しようとし、それに成功した場合、追跡状態を「はい」に初期化し、追跡状態で次のフレームに続く。
【0135】
図6に示すように、視線追跡カメラは、ユーザの左目及び右目の左右の画像をキャプチャすることができる。次いで、キャプチャされた画像は、610で開始される処理のために視線トラッキングパイプラインに入力される。要素600に戻る矢印によって示されるように、視線トラッキングシステムは、例えば、毎秒60~120フレームの速度で、ユーザの目の画像をキャプチャし続けることができる。いくつかの実施形態では、キャプチャされた画像の各セットが、処理のためにパイプラインに入力されてもよい。しかしながら、いくつかの実施形態、又はいくつかの条件下では、全てのキャプチャされたフレームがパイプラインによって処理されるわけではない。
【0136】
610で、現在のキャプチャされた画像について、追跡状態がはいである場合、この方法は要素640に進む。610で、追跡状態がいいえである場合、620に示されるように、画像が解析されて、画像内のユーザの瞳孔及びグリントを検出する。630で、瞳孔とグリントが正常に検出される場合、方法は要素640に進む。正常に検出されない場合、方法は要素610に戻り、ユーザの目の次の画像を処理する。
【0137】
640において、要素610から進む場合、以前のフレームからの前の情報に部分的に基づいて瞳孔及びグリントを追跡するために、現在のフレームが分析される。640で、要素630から進む場合、現フレーム内の検出された瞳孔及びグリントに基づいて、追跡状態が初期化される。要素640での処理の結果は、追跡又は検出の結果が信頼できることを確認するためにチェックされる。例えば、結果は、瞳孔及び視線推定を実行するための十分な数のグリントが現フレームで正常に追跡又は検出されるかどうかを判定するためにチェックすることができる。650で、結果が信頼できない場合、追跡状態は要素660でいいえに設定され、方法は要素610に戻り、ユーザの目の次の画像を処理する。650で、結果が信頼できる場合、方法は要素670に進む。670で、追跡状態は、はいに設定され(まだはいではない場合)、瞳孔及びグリント情報が要素680に渡されて、ユーザの視点を推定する。
【0138】
図6は、特定の実装形態で使用され得るアイトラッキング技術の一例として機能することを意図している。当業者によって認識されるように、現在存在するか、又は将来開発される他のアイトラッキング技術は、様々な実施形態によるXR体験をユーザに提供するためにコンピュータシステム101において、本明細書に記載されるグリント支援アイトラッキング技術の代わりに、又はそれと組み合わせて使用することができる。
【0139】
本開示では、コンピュータシステムとの相互作用に関して、様々な入力方法が説明される。一例が1つの入力デバイス又は入力方法を使用して提供され、別の例が別の入力デバイス又は入力方法を使用して提供される場合、各例は、別の例に関して記載された入力デバイス又は入力方法と互換性があり得、任意選択的にそれらを利用することを理解されたい。同様に、様々な出力方法が、コンピュータシステムとの相互作用に関して説明される。一例が1つの出力デバイス又は出力方法を使用して提供され、別の例が別の出力デバイス又は出力方法を使用して提供される場合、各例は、別の例に関して記載された出力デバイス又は出力方法と互換性があり得、任意選択的にそれらを利用することを理解されたい。同様に、様々な方法が、コンピュータシステムを介した仮想環境又は複合現実環境との相互作用に関して説明される。一例が仮想環境との相互作用を使用して提供され、別の例が複合現実環境を使用して提供される場合、各例は、別の例に関して説明された方法と互換性があり得、任意選択的にそれらを利用することを理解されたい。したがって、本開示は、各例示的な実施形態の説明における実施形態の全ての特徴を網羅的に列挙することなく、複数の例の特徴の組み合わせである実施形態を開示する。
ユーザインタフェース及び関連するプロセス
【0140】
次に、表示生成構成要素、並びに(任意選択的に)1つ以上のカメラ及び1つ以上の入力デバイスと通信する、ポータブル多機能デバイス又はヘッドマウントデバイスなどのコンピュータシステム上に実現され得るユーザインタフェース(「UI」)及び関連するプロセスの実施形態に注目する。
【0141】
図7A図7Qは、いくつかの実施形態による、様々な環境においてメディアをキャプチャ及び/又は表示するための例示的な技術を示す。図8は、様々な実施形態による、メディアをキャプチャする方法のフロー図である。図9は、様々な実施形態による、メディアのプレビューを表示する方法のフロー図である。図10は、以前にキャプチャされたメディアを表示するための方法のフロー図である。図7A図7Qのユーザインタフェースは、図8図9、及び図10のプロセスを含む、以下で説明するプロセスを示すために使用される。
【0142】
図7A図7Qは、いくつかの実施形態による、メディアをキャプチャ及び閲覧するための例示的な技術を示す。図7A図7Qの概略図及びユーザインタフェースは、図8図9、及び図10のプロセスを含む、以下で説明するプロセスを示すために使用される。
【0143】
図7Aは、物理的環境(例えば、家の中の部屋)においてディスプレイ702を含むコンピュータシステム700を保持しているユーザ712を示す。物理的環境は、カウチ709a、写真709b、第1の個人709c1、第2の個人709c2、テレビ709d、及びテーブル709eを含む。ディスプレイ702は、(例えば、上述のような「パススルービデオ」を使用して)物理的環境704の表現を提示する。ユーザ712は、カウチ709a、写真709b、第1の個人709c1、及び第2の個人709c2が、仮想パススルーのために、物理的環境についての視覚的情報を取得し、視覚環境についての視覚的情報に基づいて仮想環境を生成するために使用される1つ以上のカメラを含むコンピュータシステム700の一部分のロケーションに基づいて決定されるユーザの視点から可視であるように、コンピュータシステム700を保持している。図7A図7Qの実施形態では、ユーザの視点は、コンピュータシステム700と通信する1つ以上のカメラ(例えば、コンピュータシステム700の背面のカメラ)の視野に対応する。したがって、仮想パススルーの場合、コンピュータシステム700が物理的環境全体にわたって移動されると、1つ以上のカメラの視野が変化し、それによってユーザの視点が変化する。カウチ709a、写真709b、個人709c1、及び第2の個人709c2は、図7Aのユーザの視点から可視であるため、ディスプレイ702は、カウチ709a、写真709b、第1の個人709c1、及び第2の個人709c2の描写を含む。ユーザ712がディスプレイ702を見るとき、ユーザ712は、(例えば、図7B図7Qに示されるように)コンピュータシステム700が表示することができる1つ以上の仮想オブジェクトとともに物理的環境704の表現を見ることができる。したがって、コンピュータシステム700は、ディスプレイ702を介してエクステンデッドリアリティ環境を提示する。
【0144】
コンピュータシステム700は、図7Aではタブレットであるが、いくつかの実施形態では、コンピュータシステム700は、ハンドヘルドデバイス(例えば、スマートフォン)及び/又はヘッドマウントデバイスなどの1つ以上の他のデバイスであり得る。いくつかの実施形態では、コンピュータシステム700がヘッドマウントデバイスであるとき、物理的環境704の表現はエクステンデッドリアリティ環境である。いくつかの実施形態では、物理的環境704の表現はエクステンデッドリアリティ環境であるが、物理的環境704の表現は、深度データの表示を含む没入型視覚特性を含む(例えば、物理的環境704の表現の前景及び背景は、コンピュータシステム700のユーザが見たときに深度の視覚効果を提示するように異なって表示される)。いくつかの実施形態では、コンピュータシステム700は、コンピュータシステム101の1つ以上の構成要素を含み、かつ/又はディスプレイ702は、表示生成構成要素120の構成要素を含む。いくつかの実施形態では、ディスプレイ702は、(例えば、図7Aにおける物理的環境の代わりに)仮想環境の表現を提示する。
【0145】
図7B図7Eは、空間(例えば、没入型)メディアをキャプチャするための方法を示す。図7B図7Eにおいて、コンピュータシステム700は、概略図701に示すように、図7Aに示される物理的環境のままであり、これについては以下でより詳細に説明する。図7B図7Eにおいて、コンピュータシステム700は、ディスプレイ702上に可視であるコンテンツをよりよく示すために、ここでは拡大図で示される。図7Bに示すように、コンピュータシステム700は、(例えば、ユーザ712によって実行されるディスプレイ702上のスワイプジェスチャに応じて)コントロールセンター仮想オブジェクト707を表示する。コントロールセンター仮想オブジェクト707は、複数の仮想オブジェクトを含む。コントロールセンター仮想オブジェクト707に含まれる各仮想オブジェクトは、選択可能である。コントロールセンター仮想オブジェクト707に含まれる各仮想オブジェクトは、選択されると、コンピュータシステム700にそれぞれの動作(例えば、コンピュータシステム700の再生状態を変更する、コンピュータシステム700がオーディオを出力する音量を変更する、コンピュータシステム700に現在インストールされているアプリケーションを表示させる、及び/又は任意の他の適切な動作)を実行させる。
【0146】
図7Bに示すように、コンピュータシステム700は、物理的環境704の表現を提示する。物理的環境704の表現は、ユーザの視点に対応する(例えば、物理的環境704の表現は、ユーザの視点から可視であるコンテンツを含む)。すなわち、ユーザの視点が変化すると、物理的環境704の表現は、コンピュータシステム700のユーザの視点の変化に基づいて変化する。いくつかの実施形態では、物理的環境704の表現は、コンピュータシステム700を取り囲む物理的環境の少なくとも一部分のパススルー表現である。
【0147】
図7Bに示すように、物理的環境704の表現は、コントロールセンター仮想オブジェクト707の表示と視覚的に対照的である。物理的環境704の表現は、第1の量の陰影/ぼかしを含み、コントロールセンター仮想オブジェクト707の表示は、第1の量の陰影/ぼかしとは異なる第2の量の陰影/ぼかし(例えば、陰影/ぼかしなし)で表示される。いくつかの実施形態では、物理的環境704の表現は、コントロールセンター仮想オブジェクト707の表示と対照的ではない。いくつかの実施形態では、物理的環境704の表現は、いかなる量のぼかし/陰影も有さない。
【0148】
図7B図7Qは、物理的環境の概略図701を含む。コンピュータシステム700は、概略図701内のインジケーション703によって表される。すなわち、概略図701におけるインジケーション703のロケーション及び配向は、物理的環境内のコンピュータシステム700のロケーション及び配向を表す。概略図701は、図7Aに示される物理的環境を示しているが、これは、例にすぎず、本明細書に説明される技術は、他のタイプの物理的環境と連動することができることを認識されたい。概略図701は、単に視覚的な補助である。コンピュータシステム700は、概略図701を表示しない。
【0149】
図7Bは、ハードウェアボタン711a(例えば、ハードウェア入力デバイス/機構)(例えば、物理入力デバイス)及びハードウェアボタン711bを有するものとしてコンピュータシステム700を示す。更に、図7Bは、ユーザ712の身体部分712aを示す。身体部分712aは、ユーザ704の指(例えば、ユーザの人差し指、薬指、小指、中指、又は親指)のうちの1つを示す。いくつかの実施形態では、身体部分712aの表現は、ハードウェアボタン711a又はハードウェアボタン711bをアクティブ化することが可能なユーザ704の身体の任意の他の部分(例えば、手首、腕、手、及び/又は任意の他の好適な身体部分)である。図7Bにおいて、コンピュータシステム700は、身体部分712aによるハードウェアボタン711aのアクティブ化を検出するか、又はコンピュータシステム700は、カメラ仮想オブジェクト707aに向けられた入力750bを検出する。いくつかの実施形態では、入力750bは、カメラ仮想オブジェクト707a上のタップ入力(例えば、カメラ仮想オブジェクト707aのディスプレイのロケーションに対応する空間内のエアタップ)である。いくつかの実施形態では、入力750bは、カメラ仮想オブジェクト707aのディスプレイの方向に向けられた視線入力(例えば、持続的視線)である。いくつかの実施形態では、入力750bは、カメラ仮想オブジェクト707aのディスプレイの方向への視線の検出と組み合わせたエアタップ入力である。いくつかの実施形態では、入力750bは、カメラ仮想オブジェクト707aのディスプレイの方向に向けられた視線及びまばたきである。
【0150】
図7Cに示すように、コンピュータシステム700は、身体部分712aによるハードウェアボタン711aのアクティブ化又はカメラ仮想オブジェクト707aに向けられた入力750bの検出に応じて、メディアキャプチャプレビュー708、タイマ仮想オブジェクト713、カメラシャッタ仮想オブジェクト714、再位置決め仮想オブジェクト716、消去仮想オブジェクト719、及びフォトウェル仮想オブジェクト715を表示する。コンピュータシステム700は、物理的環境704の表現の上にオーバーレイされるようにメディアキャプチャプレビュー708を表示する。図7Cに示すように、メディアキャプチャプレビュー708の表示は、物理的環境704の表現よりも小さい(例えば、ディスプレイ702上で占有する空間がより少ない)。いくつかの実施形態では、コンピュータシステム700は、ユーザの視野を取り囲む(又は実質的に囲む)表示生成構成要素を介してコンピュータシステム700が表示する1つ以上の仮想オブジェクトとともに物理的環境704の表現を提示するヘッドマウントデバイスである。コンピュータシステム700がHMDである実施形態では、ユーザの視点は、ユーザの頭部の前向き方向にロックされ、その結果、物理的環境704及びメディアキャプチャプレビュー708などの1つ以上の仮想オブジェクトの表現は、ユーザの頭部が移動するにつれてシフトする(例えば、ユーザの頭部が移動するにつれてコンピュータシステム700も移動するので)。
【0151】
タイマ仮想オブジェクト713、カメラシャッタ仮想オブジェクト714、再位置決め仮想オブジェクト716、消去仮想オブジェクト719、及びフォトウェル仮想オブジェクト715は全て、メディアキャプチャプレビュー708に固定される。すなわち、タイマ仮想オブジェクト713、カメラシャッタ仮想オブジェクト714、再位置決め仮想オブジェクト716、及びフォトウェル仮想オブジェクト715の表示のロケーションは、メディアキャプチャプレビュー708の表示のロケーションに関連付けられる。いくつかの実施形態では、メディアキャプチャプレビュー708の表示のロケーションが変化すると、タイマ仮想オブジェクト713、カメラシャッタ仮想オブジェクト714、再位置決め仮想オブジェクト716、消去仮想オブジェクト719、及びフォトウェル仮想オブジェクト715の表示のロケーションは変化する(例えば、図7F図7G参照)。図7Cに示すように、コンピュータシステム700は、メディアキャプチャプレビュー708を、カメラシャッタ仮想オブジェクト714の上/上部に、かつディスプレイ702の中心に表示する。図7Cに示すように、メディアキャプチャプレビュー708は、コンピュータシステム700がメディアキャプチャプレビュー708を表示する前に可視であった物理的環境704の表現の部分を含む。例えば、図7Bにおいて(例えば、コンピュータシステム700がメディアキャプチャプレビュー708を表示する前に)、物理的環境の表現は、カウチ709a、写真709b、第1の個人709c1、及び第2の個人709c2を含む。したがって、図7Cに示すように、メディアキャプチャプレビュー708は、カウチ709a1、ピクチャ709b1、第1の個人709c3、及び第2の個人709c4の描写を含む。メディアキャプチャプレビュー708は、コンピュータシステム700がメディアをキャプチャする要求を検出したことに応じてキャプチャされるコンテンツのプレビューを提供する。メディアキャプチャプレビュー708内に表示されるコンテンツは、コンピュータシステム700と通信する1つ以上のカメラの視野に基づく(例えば、メディアキャプチャプレビュー708内に表示されるコンテンツは、コンピュータシステム700と通信する1つ以上のカメラの視野内にある)。メディアキャプチャプレビュー708内に表示されるコンテンツは、1つ以上のカメラの視野の変化に基づいて変化する。いくつかの実施形態では、コンピュータシステム700は2つのカメラを含み、メディアキャプチャプレビュー708内に表示されるコンテンツは、2つのカメラの両方の視野内に入るコンテンツであり、これは没入コンテンツのキャプチャを可能にする。
【0152】
図7Cでは、物理的環境704の表現に対応するユーザの視点は、メディアキャプチャプレビュー708に対応する視野の角度範囲よりも広い視角範囲を有する。これにより、物理的環境704の表現は、メディアキャプチャプレビュー708内に示される物理的環境の量よりも多い量の物理的環境を示す(例えば、メディアキャプチャプレビュー708では、ソファの部分のみが可視であるのに対して、物理的環境704の表現では、ソファの全体が可視である)。したがって、メディアキャプチャプレビュー708が図7Cに示されるように現れる間にキャプチャされたメディアは、ソファの全体ではなく、ソファの部分のみを含むことになる。いくつかの実施形態では、メディアキャプチャプレビュー708に含まれる物理的環境の表現は、第1のスケールで表示され、物理的環境704の表現は、第1のスケールよりも大きい第2のスケールで提示される。いくつかの実施形態では、コンピュータシステム700は、異なるが重複する視野を有する2つのカメラを含み、メディアキャプチャプレビュー708は、両方のカメラの視野に共通する物理的環境の部分(例えば、FOVが重複する部分)を表し、物理的環境704の表現は、2つのカメラのうちの第1のカメラ及び/又は第2のカメラのFOV内のコンテンツを含む(例えば、重複及び非重複の両方)。いくつかの実施形態では、コンピュータシステム700のメディアキャプチャプレビュー708の表示は、物理的環境704の表現に含まれるコンテンツを含む。いくつかの実施形態では、物理的環境704の表現は、没入型透視図から表示され、メディアキャプチャプレビュー708の表示に含まれるコンテンツは、非没入型透視図から表示される。
【0153】
図7Cに示すように、メディアキャプチャプレビュー708は、減光及び/又はぼかしを含まない視覚的外観で表示され、物理的環境704の表現は、減光及び/又はぼかして表示される。これは、メディアキャプチャプレビュー708の表示と物理的環境704の表現との間のコントラストを提供する。いくつかの実施形態では、物理的環境704の表現は、コンピュータシステム700が入力750bを検出する前に、又はコンピュータシステム700が図7Bのハードウェアボタン711aの身体部分712aによるアクティブ化を検出する前に、減光及び/又はぼかされない。いくつかの実施形態では、物理的環境704の表現は、コンピュータシステム700が入力750bを検出したことに応じて、又はコンピュータシステム700がハードウェアボタン711aの身体部分712aによるアクティブ化を検出したことに応じて、減光及び/又はぼかされる(例えば、フェードアウトされる)。
【0154】
メディアキャプチャプレビュー708の表示に固定された仮想オブジェクトに関して、タイマ仮想オブジェクト713は、コンピュータシステム700がメディアキャプチャプロセスを開始してから経過した時間量(例えば、分、秒、時間)のインジケーションを提供する。フォトウェル仮想オブジェクト715は、直近にキャプチャされたメディアアイテム(例えば、静止写真又はビデオ)の表現を含む。いくつかの実施形態では、フォトウェル仮想オブジェクト715は、コンピュータシステム700によってキャプチャされた直近にキャプチャされたメディアアイテムの表現を含む。いくつかの実施形態では、フォトウェル仮想オブジェクト715は、コンピュータシステム700と通信している外部デバイスによってキャプチャされた直近にキャプチャされたメディアアイテムの表現を含む。図7Cに示すように、フォトウェル仮想オブジェクト715は、噴水の表現を含む。したがって、直近にキャプチャされたメディアアイテムは、噴水の描写を含む。
【0155】
カメラシャッタ仮想オブジェクト714の選択は、メディアキャプチャプレビュー708内に示されるコンテンツを含むメディアをキャプチャするためのコンピュータシステム700上のプロセスを開始する。仮想オブジェクト716を再位置決めすることは、ユーザ712がメディアキャプチャプレビュー708の表示のロケーションを再位置決めすることを可能にする。例えば、再位置決め仮想オブジェクト716の表示ロケーションを左に移動することは、メディアキャプチャプレビュー708の表示が左に移動されることをもたらす。消去仮想オブジェクト719を選択すると、コンピュータシステム700はメディアキャプチャプレビュー708の表示を中止する。いくつかの実施形態では、メディアキャプチャプレビュー708が表示されなくなると、物理的環境704の表現はぼやけなくなり、かつ/又は陰影がなくなる。
【0156】
図7Cにおいて、コンピュータシステム700は、身体部分712aによるハードウェアボタン711aのアクティブ化を検出するか、又はコンピュータシステム700は、カメラシャッタ仮想オブジェクト714に向けられた入力750cを検出する。いくつかの実施形態では、入力750cは、カメラシャッタ仮想オブジェクト714上のタップ(例えば、カメラシャッタ仮想オブジェクト714のディスプレイのロケーションに対応する空間内のエアタップ)である。いくつかの実施形態では、入力750cは、カメラシャッタ仮想オブジェクト714のディスプレイの方向に向けられた視線(例えば、持続的視線)入力である。いくつかの実施形態では、入力750cは、カメラシャッタ仮想オブジェクト714のディスプレイの方向における視線の検出と組み合わせたエアタップ入力である。いくつかの実施形態では、入力750cは、カメラシャッタ仮想オブジェクト714のディスプレイの方向に向けられた視線及びまばたきである。いくつかの実施形態では、身体部分712aによるハードウェアボタン711a又は入力750cのアクティブ化は、ロングプレス(例えば、プレスアンドホールド)である(例えば、身体部分712aによるハードウェアボタン又は入力750cのアクティブ化の持続時間は、数秒にわたる)。いくつかの実施形態では、身体部分712aによるハードウェアボタン711又は入力750cのアクティブ化は、ショートプレス(例えば、プレスアンドリリース)である(例えば、身体部分712aによるハードウェアボタン711a又は入力750cのアクティブ化の持続時間は、1秒未満である)。いくつかの実施形態では、メディアをキャプチャする要求として認識される(例えば、XR環境における仮想オブジェクトの選択に関して上述したような)特定のエアジェスチャが検出される。
【0157】
図7Dにおいて、ハードウェアボタン711aの身体部分712aのアクティブ化を検出したことに応じて、又は入力750cを検出したことに応じて、コンピュータシステム700は、メディアキャプチャプロセスを開始する。図7Dにおいて、身体部分712aによるハードウェアボタン711又は入力750cのアクティブ化がロングプレスであるという判定が行われる。ハードウェアボタン711の身体部分712aのアクティブ化又は入力750cがロングプレスであるという判定が行われるため、ビデオメディアがキャプチャされる(例えば、静止メディアではない)。メディアキャプチャプロセスは、メディアキャプチャプロセスが進行中である間にメディアキャプチャプレビュー708内に表示されるコンテンツを記録する。いくつかの実施形態では、コンピュータシステム700と通信する1つ以上のカメラの視野は、メディアキャプチャプロセス中に変更され、メディアキャプチャプレビュー708内に表示されるものを変更させ、メディアキャプチャプロセスによってキャプチャされているコンテンツを変更させる。いくつかの実施形態では、身体部分712aによるハードウェアボタン711又は入力750cのアクティブ化がショートプレスであるという判定に従って、メディアキャプチャプロセスを介して静止メディア(例えば、写真)がキャプチャされる。
【0158】
図7Dに示すように、タイマ仮想オブジェクト713の表示は、「00:05」(例えば、5秒)と示される。図7Dのタイマ仮想オブジェクト713は、コンピュータシステム700がメディアキャプチャプロセスを開始してから5秒が経過したことを示す。更に、図7Dに示すように、カメラシャッタ仮想オブジェクト714の表示は、正方形を含む。正方形を有するカメラシャッタ仮想オブジェクト714の表示は、コンピュータシステム700が現在ビデオメディアを記録していることを示す。いくつかの実施形態では、カメラシャッタ仮想オブジェクト714の形状、サイズ、及び/又は色は、コンピュータシステム700が現在ビデオメディアを記録していることを示すように更新される。図7Dにおいて、コンピュータシステム700は、身体部分712aによるハードウェアボタン711aのアクティブ化を検出するか、又はコンピュータシステム700は、カメラシャッタ仮想オブジェクト714に向けられた入力750dを検出する。いくつかの実施形態では、入力750dは、カメラシャッタ仮想オブジェクト714上のタップ入力(例えば、カメラシャッタ仮想オブジェクト714のディスプレイのロケーションに対応する空間内のエアタップ)である。いくつかの実施形態では、入力750bは、カメラシャッタ仮想オブジェクト714のディスプレイの方向に向けられた視線入力である。いくつかの実施形態では、入力750dは、カメラシャッタ仮想オブジェクト714のディスプレイの方向における視線の検出と組み合わせたエアタップである。いくつかの実施形態では、入力750dは、カメラシャッタ仮想オブジェクト714のディスプレイの方向に向けられた視線及びまばたきである。
【0159】
図7Eにおいて、コンピュータシステム700は、ハードウェアボタン711aの身体部分712aによるアクティブ化、又はカメラシャッタ仮想オブジェクト714に向けられた入力750dを検出したことに応じて、メディアキャプチャプロセスを中止する。コンピュータシステム700はもはやメディアキャプチャプロセスを実行していないため、図7Eのカメラシャッタ仮想オブジェクト714の表示は正方形を含まない。図7Eに示すように、コンピュータシステム700は、図7C図7Dでキャプチャされたビデオの表現(例えば、物理的環境のビデオ)とともに、フォトウェル仮想オブジェクト715を表示する。更に、図7Eに示すように、コンピュータシステム700はもはやメディアキャプチャプロセスを実行していないため、タイマ仮想オブジェクト713の表示は0:00と示される。
【0160】
図7Eに示すように、概略図701は、移動インジケータ721を含む。移動インジケータ721は、コンピュータシステム700が物理的環境内で移動し始めていることを示す。図7Eにおいて、コンピュータシステム700は、物理的環境内で右に横方向に移動し始める。
【0161】
図7F図7Hは、コンピュータシステム700の移動に遅れて(例えば、追従して)メディアキャプチャプレビュー708を表示するコンピュータシステム700の方法を示す。図7E図7Gは、物理的環境内でのコンピュータシステム700の右への横方向の1つの連続的な移動を示す。いくつかの実施形態では、コンピュータシステム700は、物理的環境内で左、上、及び/又は下に横方向に移動される。いくつかの実施形態では、コンピュータシステム700は、異なる方向の組み合わせ(例えば、上及び左及び/又は下及び右)に移動される。
【0162】
図7Fにおいて、コンピュータシステム700は、コンピュータシステム700の以前のポジション(例えば、図7Eにおけるコンピュータシステム700のポジション)の右側に横方向に位置決めされている。コンピュータシステム700の移動は、ユーザの視点を変化させる。上述したように、物理的環境704の表現は、ユーザの視点から可視である物理的環境の部分に対応する。したがって、ユーザの視点が変化すると、物理的環境704の表現もそれに応じて変化する。更に、上述したように、メディアキャプチャプレビュー708は、コンピュータシステム700と通信する1つ以上のカメラの視野に対応する。コンピュータシステム700の移動は、1つ以上のカメラの視野を変化させる。したがって、1つ以上のカメラの視野が変化すると、メディアキャプチャプレビュー708内に表示されるコンテンツもそれに応じて変化する。
【0163】
図7Fに示すように、コンピュータシステム700は、メディアキャプチャプレビュー708を中心から外れて(例えば、ディスプレイ702の中心の右、左、上、又は下に)表示する。図7Fにおいて、コンピュータシステム700は、第1の速度(例えば、1フィート/秒、3フィート/秒、5フィート/秒)で物理的環境内を移動しており、コンピュータシステム700は、第1の速度よりも遅い第2の速度(例えば、物理的環境に対して第2の速度)で移動しているものとしてメディアキャプチャプレビュー708を表示する(例えば、コンピュータシステムが5フィート/秒で移動している場合、メディアキャプチャプレビューは3フィート/秒で移動する)。コンピュータシステム700が物理的環境内で移動する速度と、コンピュータシステム700がメディアキャプチャプレビュー708を物理的環境に対して移動するように表示する速度との間の差は、コンピュータシステム700の移動に遅れて(例えば、追従して)メディアキャプチャプレビュー708を示すラグ視覚効果を生成する。厳密にディスプレイ702の透視図から、メディアキャプチャプレビュー708は、物理的環境に対してコンピュータシステム700よりも遅く移動するメディアキャプチャプレビュー708の視覚効果を生成するように、コンピュータシステム700の移動方向とは反対の方向に画面上で移動される。いくつかの実施形態では、コンピュータシステム700が移動している間に、物理的環境704の表現は、視差特性の第1のセットを有し、コンピュータシステム700は、視差特性の第1のセットとは異なる視差特性の第2のセットを有するメディアキャプチャプレビュー708を表示する。例えば、図7Fでは、コンピュータシステム700が物理的環境内で移動するにつれて、第1の個人709c3及び第2の個人709c4の描写とメディアキャプチャプレビュー708内にあるピクチャ709b1の描写との間に第1の量のシフトがあり、第1の個人709c1及び第2の個人709c2の描写と物理的環境704の表現内にあるピクチャ709bの描写との間に第2の量のシフトがある。物理的環境704の表現は、メディアキャプチャプレビュー708とは異なる視差特性のセットを有するため、メディアキャプチャプレビュー708内の第1の個人709c3及び第2の個人709c4の描写とピクチャ709b1の描写との間の第1のシフト量は、物理的環境704の表現における第1の個人709c1及び第2の個人709c2の描写とピクチャ709bの描写との間のシフト量とは異なる。いくつかの実施形態では、メディアキャプチャプレビュー708はいかなる視差効果もなしに表示され(例えば、第1のシフト量はゼロである)、一方、物理的環境704の表現は非ゼロのシフト度を含み、その結果、物理的環境704の表現は深度を有するものとして知覚されるが、メディアキャプチャプレビュー708はそうではない(例えば、平坦に見える)。いくつかの実施形態では、コンピュータシステム700が移動している間に、コンピュータシステム700は、第1の画像安定化技術を物理的環境704の表現に適用し、コンピュータシステム700は、第2の異なる安定化技術をメディアキャプチャプレビュー708の表示に適用する。いくつかの実施形態では、コンピュータシステム700が移動している間に、コンピュータシステム700は、コンピュータシステム700がメディアキャプチャプレビュー708に適用するデジタル安定化の量よりも少ない量のデジタル画像安定化を物理的環境704の表現に適用する。
【0164】
図7Fにおいて、コンピュータシステム700は、横方向に右に移動されている。コンピュータシステム700が右に横方向に移動されているため、コンピュータシステム700は、ディスプレイ702の中心の左にメディアキャプチャプレビュー708を表示する。いくつかの実施形態では、コンピュータシステム700は、物理的環境内で左に横方向に移動され、それにより、コンピュータシステム700は、メディアキャプチャプレビュー708をディスプレイ702の中心の右に表示する。いくつかの実施形態では、コンピュータシステム700は、物理的環境内で垂直方向上向きに移動され、それにより、コンピュータシステム700は、ディスプレイ702の中心の下にメディアキャプチャプレビュー708を表示する。いくつかの実施形態では、コンピュータシステム700は、物理的環境内で垂直方向下向きに移動され、それにより、コンピュータシステム700は、ディスプレイ702の中心の上にメディアキャプチャプレビュー708を表示する。いくつかの実施形態では、コンピュータシステム700は、物理的環境内で(例えば、z方向に)前方に(例えば、ページ内に)移動され、これにより、コンピュータシステム700は、移動の開始前に物理的環境704の表現に対して同じ相対サイズを有するようにメディアキャプチャプレビュー708のサイズを遷移させる前に、ある時間期間の間、物理的環境704の表現に対してより大きいものとしてメディアキャプチャプレビュー708を表示し、そのような実施形態では、メディアキャプチャプレビュー708が2つのサイズ間で遷移するレートは、コンピュータシステム700の前方移動の速度よりも遅れる。いくつかの実施形態では、コンピュータシステム700は、物理的環境内で後方に(例えば、ページ外に)移動され、これにより、コンピュータシステムは、移動の開始前に物理的環境704の表現に対して同じ相対サイズを有するようにメディアキャプチャプレビュー708のサイズを遷移させる前に、ある時間期間の間、物理的環境704の表現に対してより小さいものとしてメディアキャプチャプレビュー708を表示し、そのような実施形態では、メディアキャプチャプレビュー708が2つのサイズ間で遷移するレートは、コンピュータシステム700の前方移動の速度よりも遅れる。いくつかの実施形態では、コンピュータシステム700が物理的環境内で移動するとき、コンピュータシステム700は、第1の量の追跡ラグ(例えば、経時的な距離の関数として測定される)でコンピュータシステム700の移動を検出する。例えば、コンピュータシステム700が、図7Fの概略図701のインジケーション703によって示されるポジションに位置している間に、コンピュータシステム700は、第1の追跡ラグに対応する時間量の間、図7Fの以前のポジションインジケータ717によって示されるポジションに位置決めされていることを検出する。いくつかの実施形態では、コンピュータシステム700がメディアキャプチャプレビュー708を移動しているように表示する第2の速度は、ラグ視覚効果を示すために(例えば、視覚的アーチファクトを低減するために)追跡ラグの第1の量よりも小さくなるように構成される。
【0165】
図7Fに示すように、概略図701は、以前のポジションインジケータ717を含む。以前のポジションインジケータ717は、コンピュータシステム700の先のポジション(例えば、図7Eのコンピュータシステム700のポジション)を示す。図7Fにおいて、移動インジケーション721を含む概略図701によって示されるように、コンピュータシステム700は、物理的環境内で右に横方向への移動を継続する。
【0166】
図7Gでは、コンピュータシステム700は、図7Fのコンピュータシステム700のポジションよりも物理的環境内で更に右に位置決めされ、移動を中止している。図7Gに示すように、概略図701は、コンピュータシステム700の以前のポジション(例えば、図7Fのコンピュータシステム700のポジション)を示す以前のポジションインジケーション717を含む。概略図701はまた、コンピュータシステム700の現在ロケーションを示すインジケーション703を含む。図7Gでは、コンピュータシステム700は図7Fではもはや移動していないため、概略図701は移動インジケータ721を含まない。
【0167】
図7Gに示すように、コンピュータシステム700は、ディスプレイ702の中央の左側にメディアキャプチャプレビュー708を表示する。すなわち、図7Gではコンピュータシステム700はもはや移動していないが、コンピュータシステム700は、メディアキャプチャプレビュー708がコンピュータシステム700に「追いつく」ことができるように、メディアキャプチャプレビュー708を第2の速度(例えば、コンピュータシステムが5フィート/秒で移動しているときは3フィート/秒)で移動しているものとして表示を継続する。いくつかの実施形態では、コンピュータシステム700が移動を中止すると、コンピュータシステム700は、メディアキャプチャプレビュー708が第2の速度で移動した場合よりも迅速に再センタリングされるように、第2の速度よりも速い第3の速度(例えば、5フィート/秒)で移動しているものとしてメディアキャプチャプレビュー708を表示する。
【0168】
図7Gにおいて、物理的環境704の表現は、図7Hの物理的環境704の表現に対して更新される(例えば、図7Gの物理的環境704の表現は、背景にテーブル709eを含み、前景にカウチ709aの一部を含む)。上で説明したように、ユーザの視点は、コンピュータシステム700と通信する1つ以上のカメラの視野の変化に基づいて変化する。したがって、コンピュータシステム700が物理的環境全体にわたって移動される(例えば、コンピュータシステム700と通信している1つ以上のカメラの視野を変化させる)と、ユーザの視点が変化し、それに応じて物理的環境704の表現が変化する。更に、7Gにおいて、メディアキャプチャプレビュー708の表示が更新される。コンピュータシステム700が物理的環境内で移動するにつれて、コンピュータシステムと通信する1つ以上のカメラの視野が変化し、それによってメディアキャプチャプレビュー708内に表示されるものが変化する。
【0169】
図7Hにおいて、メディアキャプチャプレビュー708は、コンピュータシステム700の以前の移動(例えば、図7E図7Gに関連して上述したようなコンピュータシステム700の移動)に追いついている。図7Hに示すように、メディアキャプチャプレビュー708がコンピュータシステム700の以前の移動に追いついたため、コンピュータシステム700は、ディスプレイ702の中心にメディアキャプチャプレビュー708を表示する。ディスプレイ702の中心におけるメディアキャプチャプレビュー708のコンピュータシステム700の表示は、以前に可視であった(例えば、図7Gにおいて可視であった)物理的環境704の表現の第1の部分(例えば、第2の個人709c2の胴体の部分)を可視でないようにし(例えば、メディアキャプチャプレビュー708が第1の部分の上にオーバーレイされて表示されるため)、以前に可視でなかった物理的環境704の表現の第2の部分(例えば、第1の個人709c1の胴体)を可視にする(例えば、メディアキャプチャプレビュー708がもはや第2の部分の上にオーバーレイされて表示されないため)。図7Hにおいて、コンピュータシステム700は、フォトウェル仮想オブジェクト715に向けられた入力750hを検出する。いくつかの実施形態では、入力750hは、フォトウェル仮想オブジェクト715のディスプレイの方向に向けられた視線入力(例えば、持続的視線)である。いくつかの実施形態では、入力750hは、フォトウェル仮想オブジェクト715上でのタップ(例えば、フォトウェル仮想オブジェクトの表示のロケーションに対応する空間内でのエアタップ)である。いくつかの実施形態では、入力750hは、フォトウェル仮想オブジェクト715のディスプレイの方向への視線の検出と組み合わせたエアタップである。いくつかの実施形態では、入力750hは、フォトウェル仮想オブジェクト715のディスプレイの方向に向けられた視線及びまばたきである。
【0170】
図7Iに示すように、入力750hを検出したことに応じて、コンピュータシステム700は、以前にキャプチャされたメディアアイテム730を表示する。以前にキャプチャされたメディアアイテム730は、コンピュータシステム700によって直近にキャプチャされたメディアアイテム(例えば、図7C及び図7Dでキャプチャされたメディアアイテム)である。いくつかの実施形態では、以前にキャプチャされたメディアアイテム730は、コンピュータシステム700と通信している外部デバイス(例えば、コンピュータシステム700とは別個のデバイス)によってキャプチャされた直近にキャプチャされたメディアアイテムである。以前にキャプチャされたメディアアイテム730は、正方形として表示される。いくつかの実施形態では、以前にキャプチャされたメディアアイテム730は、矩形、三角形、又は任意の他の適切な形状として表示される。
【0171】
コンピュータシステム700は、以前にキャプチャされたメディアアイテム730を、ライブラリ仮想オブジェクト731、再位置決め仮想オブジェクト732、消去仮想オブジェクト733、識別子仮想オブジェクト734、共有仮想オブジェクト735、及び投影形状仮想オブジェクト736とともに表示する。いくつかの実施形態では、上に列挙された仮想オブジェクトは、(例えば、図7Cの説明で上述したように)以前にキャプチャされたメディアアイテム730の表示に固定される。いくつかの実施形態では、ライブラリ仮想オブジェクト731、再位置決め仮想オブジェクト732、消去仮想オブジェクト733、識別子仮想オブジェクト734、共有仮想オブジェクト735、及び投影形状仮想オブジェクト736は、図7Iに示される空間構成と異なる空間構成で表示される。いくつかの実施形態では、入力750hを検出したことに応じて、コンピュータシステム700は、図7Iに表示される仮想オブジェクトのサブセットを含むユーザインタフェースを表示する。
【0172】
ライブラリ仮想オブジェクト731の選択により、以前にキャプチャされたメディアアイテムの複数の表現が表示される。いくつかの実施形態では、ライブラリ仮想オブジェクト731は、メディアキャプチャプレビュー708と同時に表示される。いくつかの実施形態では、以前にキャプチャされたメディアアイテムの複数の表現の表示は、以前にキャプチャされたメディアアイテム730の表示に置き換わる。仮想オブジェクト732を再位置決めすることは、メディアキャプチャプレビュー708が再位置決め仮想オブジェクト716を使用して再位置決めすることができるのと同じ方法で、ユーザが以前にキャプチャされたメディアアイテム730の表現の表示のロケーションを再位置決めすることを可能にする。消去仮想オブジェクト733の選択は、コンピュータシステム700に、以前にキャプチャされたメディアアイテム730を表示することを中止させる。いくつかの実施形態では、消去仮想オブジェクト733の選択は、コンピュータシステム700に、ライブラリ仮想オブジェクト731、再位置決め仮想オブジェクト732、消去仮想オブジェクト733、識別子仮想オブジェクト734、共有仮想オブジェクト735、及び投影形状仮想オブジェクト736を表示することを中止させる。いくつかの実施形態では、消去仮想オブジェクト733の選択は、コンピュータシステム700にメディアキャプチャプレビュー708を表示させる。識別子仮想オブジェクト734は、以前にキャプチャされたメディアアイテム730がどこでいつキャプチャされたかのインジケーションを提供する。いくつかの実施形態では、識別子仮想オブジェクト734は、以前にキャプチャされたメディアアイテム730に対して異なる情報(例えば、以前にキャプチャされたメディアアイテムの解像度、以前にキャプチャされたメディアアイテムがキャプチャされた日付)を提供する。共有仮想オブジェクト735の選択は、以前にキャプチャされたメディアアイテム730を外部デバイス(例えば、コンピュータシステム700とは別個のデバイス)と共有するためのコンピュータシステム700上のプロセスを開始する。図7Iにおいて、コンピュータシステム700は、投影形状仮想オブジェクト736に向けられた入力750iを検出する。いくつかの実施形態では、入力750iは、投影形状仮想オブジェクト736のディスプレイの方向に向けられた視線入力である。いくつかの実施形態では、入力750iは、投影形状仮想オブジェクト736上のタップ入力(例えば、投影形状仮想オブジェクト736のディスプレイのロケーションに対応する空間内のエアタップ)である。いくつかの実施形態では、入力750iは、投影形状仮想オブジェクト736の表示の方向における視線の検出と組み合わせたエアタップ入力である。いくつかの実施形態では、入力750iは、投影形状仮想オブジェクト736のディスプレイの方向に向けられた視線及びまばたきである。
【0173】
図7Jに示すように、入力750iを検出したことに応じて、コンピュータシステム700は、以前にキャプチャされたメディアアイテム730の表現を円として表示する。図7Jに示すように、コンピュータシステム700は、以前にキャプチャされたメディアアイテム730を円として表示するが、コンピュータシステム700は、図7Iの説明で上述したように、ライブラリ仮想オブジェクト731、再位置決め仮想オブジェクト732、消去仮想オブジェクト733、識別子仮想オブジェクト734、共有仮想オブジェクト735、及び投影形状仮想オブジェクト736を表示する。いくつかの実施形態では、入力750iを検出したことに応じて、コンピュータシステム700は、以前にキャプチャされたメディアアイテム730を三次元球体として表示する。図7Iに示すように、概略図は、移動インジケータ721を含む。移動インジケータ721は、コンピュータシステム700が物理的環境内で(例えば、左に横方向に)移動し始めていることを示す。図7Jにおいて、移動インジケーション721を含む概略図701によって示されるように、コンピュータシステム700は、コンピュータシステム700の初期ポジション(例えば、図7Aのコンピュータシステム700のポジション)に戻るように、物理的環境内で左に横方向に移動し始める。
【0174】
図7K図7Qは、以前にキャプチャされたメディアアイテムの三次元表現とユーザが対話する方法を示す。図7K図7Qは、経過時間インジケーション744を含む。経過時間インジケーション744は、各図の間に経過した時間量を示す視覚的補助である。経過時間インジケーション744は、コンピュータシステム700によって表示されない。図7Kにおいて、コンピュータシステム700は、物理的環境内の初期ロケーション(例えば、図7A図7Eのコンピュータシステム700のロケーション)に位置する。図7J図7Kとの間で、コンピュータシステム700は、空間キャプチャ仮想オブジェクト740を表示する要求を受信する。図7Kに示すように、空間キャプチャ仮想オブジェクト740を表示するための要求を受信したことに応じて、コンピュータシステム700は、物理的環境704の表現の上にオーバーレイされた空間キャプチャ仮想オブジェクト740を表示する。空間キャプチャ仮想オブジェクト740の表示は、物理的環境704の表現の部分を不明瞭にする。空間キャプチャ仮想オブジェクト740は、以前にキャプチャされたビデオメディアアイテムの表現である。いくつかの実施形態では、コンピュータシステム700は、エクステンデッドリアリティ環境の一部として空間キャプチャ仮想オブジェクト740を提示するヘッドマウントデバイスであり、コンピュータシステム700が動いている間に、空間キャプチャ仮想オブジェクト740は、メディアアイテム内のコンテンツの前景と背景との間のある量の深度を有する空間キャプチャ仮想オブジェクト740によって表されるメディアアイテムをもたらす、視差効果(例えば、図7Fに関して上記で議論されたような)を伴って表示される。いくつかの実施形態では、空間キャプチャ仮想オブジェクト740は、以前にキャプチャされた静止メディアの表現である。いくつかの実施形態では、以前にキャプチャされたビデオメディアアイテムは、コンピュータシステム700と通信する1つ以上のカメラを使用してキャプチャされた。いくつかの実施形態では、空間キャプチャ仮想オブジェクト740を表示する要求は、コンピュータシステム700と通信する1つ以上のハードウェアボタンに向けられた1つ以上の入力を含む。いくつかの実施形態では、空間キャプチャ仮想オブジェクト740を表示するための要求は、コンピュータシステム700によって表示される1つ以上の仮想オブジェクトに向けられた1つ以上の入力を含む。いくつかの実施形態では、空間キャプチャ仮想オブジェクト740を表示するための要求は、以前にキャプチャされたメディアアイテムのサブ表現のうちの1つに対応する方向における(例えば、ユーザによって行われる)視線の検出を含む。コンピュータシステム700がHMDである実施形態では、ユーザの視点は、ユーザの頭部の前向き方向にロックされ、したがって、物理的環境704及び空間キャプチャ仮想オブジェクト740などの1つ以上の仮想オブジェクトの表現は、ユーザの頭部が移動するにつれてシフトする(例えば、コンピュータシステム700もまた、ユーザの頭部が移動するにつれて移動するため)。
【0175】
コンピュータシステム700は、物理的環境内の第1のロケーション(例えば、概略図701内の空間キャプチャインジケータ740aによって示されるロケーション)に対応する物理的環境704の表現内の第1のロケーションに空間キャプチャ仮想オブジェクト740を表示する。コンピュータシステム700は、物理的環境の第1のロケーションが、コンピュータシステム700と通信する1つ以上のカメラの視野内にあるとき、空間キャプチャ仮想オブジェクト740を表示する。空間キャプチャ仮想オブジェクト740の表示は、物理的環境704の表現における第1のロケーションで環境ロックされる。すなわち、物理的環境704の表現内の空間キャプチャ仮想オブジェクト740の表示のロケーションは、コンピュータシステム700の現実世界のポジションが変化しても変化しない。しかしながら、空間キャプチャ仮想オブジェクト740の表示は、ユーザの視点が物理的環境内で変化するにつれて更新される。例えば、ユーザの視点が物理的環境内の第1のロケーションに近づくにつれて、コンピュータシステム700は、(例えば、ユーザが空間キャプチャ仮想オブジェクト740に近づいたという視覚効果を提供するために)空間キャプチャ仮想オブジェクト740をより大きく表示する。対照的に、ユーザの視点が物理的環境内の第1のロケーションから離れて移動すると、コンピュータシステム700は、(例えば、ユーザが空間キャプチャ仮想オブジェクト740から更に離れて移動したという視覚効果を提供するために)空間キャプチャ仮想オブジェクト740をより小さく表示する。
【0176】
図7Kに示すように、空間キャプチャ仮想オブジェクト740を表示するための要求を受信したことに応じて、コンピュータシステム700は、空間キャプチャ仮想オブジェクト740の表示と同時に、以前にキャプチャされたメディアアイテム743の複数のサブ表現も表示する。図7Kに示すように、コンピュータシステム700は、空間キャプチャ仮想オブジェクト740の表示の下に、以前にキャプチャされたメディアアイテム743の複数のサブ表現を表示する。以前にキャプチャされたメディアの各サブ表現は、コンピュータシステム700又はコンピュータシステム700と通信する外部デバイスによって以前にキャプチャされたそれぞれのメディアアイテム(例えば、ビデオメディア又は静止メディア)を表す。以前にキャプチャされたメディアアイテム743の複数のサブ表現の中心に表示される、以前にキャプチャされたメディアアイテム743aのサブ表現は、フォーカスされて表示される(例えば、空間キャプチャ仮想オブジェクト740によって表される)メディアアイテムに対応する。いくつかの実施形態では、ユーザは、以前にキャプチャされたメディアアイテム743の複数のサブ表現をナビゲートして、空間キャプチャ仮想オブジェクト740のロケーションにフォーカスされて表示されるサブ表現を選択することができる。いくつかの実施形態では、ユーザは、モーション入力(例えば、ピンチアンドドラッグジェスチャ)を実行することによって、どのサブ表現がフォーカスされて表示されるかを切り替えることができる。いくつかの実施形態では、空間キャプチャ仮想オブジェクト740が表示されている間に、コンピュータシステム700は、ユーザがピンチジェスチャを行ったことをコンピュータシステム700が(例えば、コンピュータシステム700と通信する1つ以上のカメラを介して)検出したことに応じて、表示空間キャプチャ仮想オブジェクト740のサイズを拡大する。いくつかの実施形態では、コンピュータシステム700は、ユーザがデピンチエアジェスチャを行ったことをコンピュータシステム700が(例えば、コンピュータシステム700と通信する1つ以上のカメラを介して)検出したことに応じて、空間キャプチャ仮想オブジェクト740の表示のサイズを減少させる。
【0177】
図7Kに示すように、概略図701は、空間キャプチャインジケータ740aを含む。空間キャプチャ仮想オブジェクト740は、物理的環境内に物理的に存在しない。むしろ、空間キャプチャ仮想オブジェクト740は、物理的環境704の表現内としてのみ表示される仮想オブジェクトである。空間キャプチャインジケータ740aは、物理的環境704の表現内の空間キャプチャ仮想オブジェクト740の表示の空間的配向/ポジションを示し、また、空間キャプチャ仮想オブジェクト740が環境ロックされるロケーションを示す。
【0178】
図7Kにおいて、空間キャプチャ仮想オブジェクト740が表示されている間に、コンピュータシステム700は、空間キャプチャ仮想オブジェクト740によって表されるビデオメディアアイテムを再生する。コンピュータシステム700は、コンピュータシステム700が空間キャプチャ仮想オブジェクト740を表示すると、空間キャプチャ仮想オブジェクト740によって表されるビデオメディアアイテムの再生を自動的に(例えば、介在するユーザ入力なしに)開始する。いくつかの実施形態では、空間キャプチャ仮想オブジェクト740によって表されるビデオメディアアイテムの再生は、自動的に再生されない。いくつかの実施形態では、コンピュータシステム700は、空間キャプチャ仮想オブジェクト740によって表されるビデオメディアアイテムを再生することの一部として空間オーディオを出力する。いくつかの実施形態では、空間キャプチャ仮想オブジェクト740によって表されるビデオメディアアイテムは、立体視ビデオメディアアイテムである。立体視ビデオメディアアイテムは、同じシーンの2つの異なる画像をユーザに提示する。いくつかの実施形態では、第1の画像は第1のカメラからのものであり、第2の画像は第2のカメラからのものであり、第1のカメラ及び第2のカメラは、シーンのわずかに異なる透視図を有する。その結果、第1の画像は第2の画像からわずかに変化する。2つの画像は、ユーザによって視認されると、相互に重ね合わせられ、結果として得られる画像内に深度の錯覚を生成する。いくつかの実施形態では、図7Jに関連して上述した技術を使用して、ユーザは、コンピュータシステム700が空間キャプチャ仮想オブジェクト740を表示する形状を変更することができる。いくつかの実施形態では、ユーザは、空間キャプチャ仮想オブジェクト740の形状を、平坦化ステレオ投影から球状ステレオ投影に、及びその逆に変更することができる。いくつかの実施形態では、空間キャプチャ仮想オブジェクト740によって表されるビデオメディアアイテムは、立体視ビデオを再生することができない外部電子デバイス上で再生される。いくつかの実施形態では、空間キャプチャ仮想オブジェクト740によって表されるビデオメディアアイテムが、立体視ビデオを再生することができない外部電子デバイス上で再生されるとき、空間オーディオが使用される。いくつかの実施形態では、コンピュータシステム700のユーザがコンピュータシステム700のデフォルト瞳孔間距離設定とは異なる瞳孔間距離を有するという判定に従って、コンピュータシステム700は、シフトを伴ってビデオメディアアイテムを再生する(例えば、コンピュータシステム700は、ビデオメディアアイテムがキャプチャされたスケールとは異なるスケールで、空間キャプチャ仮想オブジェクト740によって表されるビデオメディアアイテムを再生する)。瞳孔間距離は、個人の目の瞳孔の中心間の距離(例えば、ミリメートル単位)である。いくつかの実施形態では、コンピュータシステム700のユーザがコンピュータシステム700のデフォルト瞳孔間距離設定と異なる瞳孔間距離を有するという判定に従って、コンピュータシステム700は、立体視ビデオメディアアイテムの再生のスケールを変更することなく、ユーザの瞳孔間距離とコンピュータシステム700の瞳孔間距離設定との間の差に基づいて、立体視ビデオ画像の第1の画像及び/又は第2の画像を(例えば、左又は右に)変更する(例えば、シフトさせる)。
【0179】
空間キャプチャ仮想オブジェクト740によって表されるビデオメディアアイテムは、軌跡に沿って進行する個人のビデオである。図7Kにおいて、コンピュータシステム700は、空間キャプチャ仮想オブジェクト740によって表されるビデオメディアアイテムを非没入型透視図から再生する。非没入型透視図からのコンテンツの再生は、コンピュータシステム700の配向/ロケーションの検出された変化に応じて複数の透視図から提示することはできない。ビデオメディアは、非没入型透視図から提示される場合、コンピュータシステム700の配向/ロケーションが変化するか否かに関わらず、1つの透視図のみから提示される。図7Kにおいて、コンピュータシステム700は、コンピュータシステム700が物理的環境704の表現において空間キャプチャ仮想オブジェクト740を表示する物理的環境内の第1のロケーションから第1の距離(例えば、仮想距離)だけ離れて位置する。図7Kにおいて、移動インジケーション721を含む概略図701によって示されるように、コンピュータシステム700は、物理的環境の第1のロケーションに向かって移動し始める。
【0180】
図7Lに示すように、経過時間インジケーション744は、「00:01」と示される。したがって、図7K図7Lとの間で1秒が経過している。図7Lにおいて、コンピュータシステム700は、物理的環境704の表現内に空間キャプチャ仮想オブジェクト740の表示を継続する。更に、図7Lにおいて、コンピュータシステム700は、図7Kにおけるコンピュータシステム700のポジションよりも物理的環境内の第1のロケーションの近くに位置決めされている。したがって、図7Lでは、コンピュータシステム700が物理的環境の第1のロケーションのより近くに位置するため、コンピュータシステム700は、空間キャプチャ仮想オブジェクト740の表示のサイズを(例えば、7Kにおける空間キャプチャ仮想オブジェクト740の表示のサイズと比較して)増大させる。上記で説明されるように、ユーザの視点が変化するにつれて、空間キャプチャ仮想オブジェクト740の表示は、ユーザの変化する視点に基づいて変化する。コンピュータシステム700は、空間キャプチャ仮想オブジェクト740をより大きく表示するため、物理的環境704のより少ない表現が可視である。いくつかの実施形態では、コンピュータシステム700は、物理的環境内で後方に移動し、これは、空間キャプチャ仮想オブジェクト740の表示のサイズを減少させる。いくつかの実施形態では、コンピュータシステム700が物理的環境内で側方に横方向に移動する間、物理的環境704の表現は、それぞれの視覚的視差効果を伴って提示され、コンピュータシステム700は、それぞれの視覚的視差効果を伴って空間キャプチャ仮想オブジェクト740を表示する。
【0181】
図7Lにおいて、コンピュータシステム700は、空間キャプチャ仮想オブジェクト740によって表されるビデオメディアの再生を継続する。したがって、図7Lでは、コンピュータシステム700は、ビデオメディアの再生が1秒(例えば、図7Kと7Lとの間に経過した時間量)だけ進行したことを示すように、空間キャプチャ仮想オブジェクト740によって表されるビデオメディアの表現を更新する(例えば、ビデオメディアの表現は、軌跡に沿って進行したものとしてユーザを示す)。図7Lにおいて、概略図701内の移動インジケーション721によって示されるように、コンピュータシステム700は、物理的環境の第1のロケーションに向かって移動を継続する。
【0182】
図7Mに示すように、経過時間インジケーション744は、「00:05」と示される。したがって、図7L図7Mとの間で4秒が経過している。図7Mでは、コンピュータシステム700は、図7Lのコンピュータシステム700のポジションよりも物理的環境の第1のロケーションの近くに位置決めされている。図7Mでは、コンピュータシステム700が物理的環境の第1のロケーションのより近くに位置決めされるため、コンピュータシステム700は、空間キャプチャ仮想オブジェクト740の表示のサイズを(例えば、図7Lの空間キャプチャ仮想オブジェクト740の表示のサイズと比較して)増大させる。コンピュータシステム700は、空間キャプチャ仮想オブジェクト740をより大きく表示するため、物理的環境704のより少ない表現が可視である。
【0183】
図7Mにおいて、コンピュータシステム700は、空間キャプチャ仮想オブジェクト740によって表されるビデオメディアアイテムの再生を継続する。したがって、図7Mにおいて、コンピュータシステム700は、図7Lに示されるビデオメディアのフレームの4秒後のビデオメディアアイテムの表現のフレームを表示して、ビデオメディアの再生が4秒進んだことを示す。いくつかの実施形態では、コンピュータシステム700は、コンピュータシステム700が物理的環境の第1のロケーションを過ぎて移動するとき、空間キャプチャ仮想オブジェクト740を表示することを中止する。いくつかの実施形態では、コンピュータシステム700は、エクステンデッドリアリティ環境の一部として空間キャプチャ仮想オブジェクト740を提示するヘッドマウントデバイスであり、コンピュータシステム700が物理的環境内の第1のロケーションに近づくほど、空間キャプチャ仮想オブジェクト740によって表されるビデオメディアアイテムはより没入型になる(例えば、前景と背景との間のより大きい深度、及び/又はコンピュータシステム700の配向のシフトに対するより大きい応答性を有する)。いくつかの実施形態では、図7Mにおいて、空間キャプチャ仮想オブジェクト740は、全画面構成として表示される。空間キャプチャ仮想オブジェクト740が全画面構成として表示されている間に、物理的環境704の表現は視覚的に不明瞭にされる(例えば、物理的環境704の表現はぼかされ、減光され、及び/又は黒く塗りつぶされる)。いくつかの実施形態では、空間キャプチャ仮想オブジェクト740は、全画面構成として表示されるが、コンピュータは、物理的環境704の表現の代わりに、異なる仮想環境(例えば、仮想映画館環境及び/又は仮想ドライブイン環境)を表示する。図7Mにおいて、概略図701内の移動インジケーション721によって示されるように、コンピュータシステム700は、物理的環境内で時計回り方向(例えば、時計回りに90度)に回転し始める。
【0184】
図7Nでは、図7Mのユーザの視点に対して、ユーザの視点が時計回りに90度回転している。上述したように、コンピュータシステム700の移動は、ユーザの視点を変化させ、これは、物理的環境704の表現を変化させる。したがって、図7Nにおいて、物理的環境704の表現は、ユーザの視点の変化に対応する。図7Nでは、物理的環境の一部である、第1の個人709c1、第2の個人709c2、写真709b、及びカウチ709aは、図7Nにおけるユーザの視点から可視ではない。したがって、図7Nにおける物理的環境704の表現は、カウチ709a、ピクチャ709b、第1の個人709c1、及び第2の個人790c2の描写を含まない。むしろ、7Nにおける物理的環境704の表現は、物理的環境の右側の描写を含む。
【0185】
図7Nにおいて、物理的環境の第1のロケーション(例えば、コンピュータシステム700が物理的環境704の物理表現内に空間キャプチャ仮想オブジェクト740を表示するロケーション)は、コンピュータシステム700と通信する1つ以上のカメラの視野内にない。したがって、図7Nにおいて、コンピュータシステム700は、空間キャプチャ仮想オブジェクト740を表示しない。いくつかの実施形態では、空間キャプチャ仮想オブジェクト740が、(例えば、図7Mに関連して上述したように)物理的環境704を表さない全画面表示内の仮想環境構成として表示されるとき、コンピュータシステムは、仮想環境の初期透視図から時計回り方向に90°回転するユーザの視点に対応する仮想環境の透視図を表示する。図7Nにおいて、概略図701内の移動インジケーション721によって示されるように、コンピュータシステム700は、反時計回りに(例えば、左に90度)回転し始める。
【0186】
図7Oでは、図7Nのユーザの視点に対して、ユーザの視点が反時計回りに90度回転している。図7Oに示すように、経過時間インジケーション744は、「00:06」と示される。したがって、図7M図7Oとの間で1秒が経過している。図7Oにおいて、物理的環境の第1のロケーション(例えば、コンピュータシステム700が物理的環境704の表現内に空間キャプチャ仮想オブジェクト740を表示するロケーション)は、コンピュータシステム700と通信する1つ以上のカメラの視野内にある。したがって、図7Oに示すように、コンピュータシステム700は、物理的環境704の表現内に空間キャプチャ仮想オブジェクト740を表示する。図7Oにおいて、コンピュータシステム700は、空間キャプチャ仮想オブジェクト740によって表されるビデオメディアの再生を継続する。したがって、図7Oにおいて、コンピュータシステム700は、図7Mに示されるビデオメディアアイテムのフレームの1秒後のビデオメディアアイテムのフレームを表示して、ビデオメディアアイテムの再生が1秒進んだことを示す。
【0187】
図7Oにおいて、移動インジケーション721を含む概略図701によって示されるように、コンピュータシステム700は、物理的環境の第1のロケーションに向かって移動し始める。
【0188】
図7Pでは、概略図701内のインジケーション703の位置決めによって示されるように、コンピュータシステム700は、物理的環境内の第1のロケーション(例えば、コンピュータシステム700が物理的環境704の表現において空間キャプチャ仮想オブジェクト740を表示するロケーション)にある。コンピュータシステム700は、物理的環境内の第1のロケーションに位置決めされているため、コンピュータシステム700は、没入型透視図から空間キャプチャ仮想オブジェクト740によって表されるビデオメディアを再生する。没入型視覚コンテンツは、所与の時点において、物理的環境内の同じ第1の点(例えば、ロケーション)からキャプチャされた複数の透視図のコンテンツを含む視覚コンテンツである。没入型(例えば、一人称)透視図からのコンテンツの再生(例えば、プレイバック)は、第1の視点に一致する透視図からコンテンツを再生することを含み、ユーザ入力に応じて、複数の異なる透視図(例えば、視野)を提供することができる。いくつかの実施形態では、コンピュータシステム700が物理的環境内の第1のロケーションにある間に、コンピュータシステム700は、物理的環境内で前方に(例えば、物理的環境内の第1のロケーションを越えて)更新されたポジションに移動され、これにより、コンピュータシステムは、物理的環境内のコンピュータシステム700の更新されたポジションの前にあるロケーションに対応する物理的環境704の表現内のロケーションに、非没入型透視図から空間キャプチャ仮想オブジェクト740を表示する。いくつかの実施形態では、コンピュータシステム700が物理的環境内の第1のロケーションにある間に、コンピュータシステム700は、物理的環境内で後方に移動され(例えば、コンピュータシステム700が物理的環境内の第1のロケーションの正面に位置決めされるように移動され)、コンピュータシステム700に、第1のロケーションに対応する物理的環境704の表現内のロケーションにおいて非没入型透視図から空間キャプチャ仮想オブジェクト740を表示させる。したがって、物理的環境内のコンピュータシステム700のポジションを変更することによって、ユーザは、コンピュータシステム700が没入型透視図又は非没入型透視図からメディアアイテムを表示するときを制御する能力を有する。
【0189】
図7Pでは、没入型透視図からの空間キャプチャ仮想オブジェクト740によって表されるビデオメディアのコンピュータシステム700の再生は、ディスプレイ702の全体を占有する。コンピュータシステム700が、没入型透視図から空間キャプチャ仮想オブジェクト740によって表されるビデオメディアを再生する間、物理的環境704の表現は可視ではない。いくつかの実施形態では、物理的環境704の表現は、コンピュータシステム700が空間キャプチャ仮想オブジェクト740によって表されるビデオメディアを没入型透視図から再生している間に、可視である。
【0190】
図7Pに示すように、時間インジケーションは00:07と示される。従って、図7O図7Pとの間で1秒が経過している。図7Pにおいて、コンピュータシステム700は、空間キャプチャ仮想オブジェクト740によって表されるビデオメディアの再生を継続する。したがって、図7Pにおいて、コンピュータシステム700は、ビデオメディアの再生が1秒進んだことを示すために、図7Oに示されるビデオメディアのフレームの1秒前であるビデオメディアのフレームを表示する(例えば、空間キャプチャ仮想オブジェクト740は、軌跡に沿って進んだものとしてユーザを示す)。いくつかの実施形態では、コンピュータシステムが物理的環境内の第1のロケーションにあることを検出したことに応じて、コンピュータシステムは、空間キャプチャ仮想オブジェクト740によって表されるビデオメディアの再生を最初から再開する。図7Pにおいて、概略図701内の移動インジケーション721によって示されるように、コンピュータシステム700は、時計回りに(例えば、右に90度)回転し始める。
【0191】
図7Qにおいて、ユーザの視点は、図7Pにおけるユーザの視点に対して、物理的環境において時計回り方向に90度回転される。図7Qにおいて、概略図701内のインジケーション703によって示されるように、コンピュータシステム700は、物理的環境内の第1のロケーションに位置する。図7Qに示すように、ユーザの視点が物理的環境において時計回り方向に90度回転されたことに応じて、コンピュータシステム700は、コンピュータシステム700が図7Pにおいてビデオメディアを表示する視点とは異なる視点から、空間キャプチャ仮想オブジェクト740によって表されるビデオメディアの再生を表示する。より具体的には、コンピュータシステム700は、ビデオメディアに示される軌跡の右側に個々に面する透視図からビデオメディアを表示する。上述したように、コンピュータシステム700が物理的環境内の第1のロケーションに位置決めされている間に、コンピュータシステム700は、没入型透視図から空間キャプチャ仮想オブジェクト740によって表されるビデオメディアを表示する。すなわち、空間キャプチャ仮想オブジェクト740によって表されるメディアアイテムの再生の透視図は、物理的環境におけるユーザの視点の変化に基づいて変化する。
【0192】
図7A図7Qに関する追加の説明が、図7A図7Qに関して説明される方法800、900、及び1000を参照して以下で与えられる。
【0193】
図8は、いくつかの実施形態による、メディアをキャプチャするための例示的な方法800のフロー図である。いくつかの実施形態では、方法800は、表示生成構成要素(例えば、図1図3、及び図4の表示生成構成要素120)(例えば、ヘッドアップディスプレイ、ディスプレイ、ディスプレイコントローラ、タッチ感知ディスプレイシステム、ディスプレイ(例えば、統合及び/又は接続)、3Dディスプレイ、透明ディスプレイ、プロジェクタ、タッチスクリーン、及び/又はプロジェクタ)、及び1つ以上のカメラ(例えば、ユーザの手の下方を指すカメラ(例えば、カラーセンサ、赤外線センサ、及び他の深度感知カメラ)、又はユーザの頭部から前方を指すカメラ)、及び任意選択的に、物理入力機構を含むコンピュータシステム(例えば、図1のコンピュータシステム101及び/又はコンピュータシステム700)(例えば、スマートフォン、タブレット、及び/又はヘッドマウントデバイス)で実行される。いくつかの実施形態では、コンピュータシステムは、1つ以上の視線追跡センサ(例えば、コンピュータシステムのユーザの視線の方向及び/又はユーザの注意を追跡するように構成される光学及び/又はIRカメラ)と通信する。いくつかの実施形態では、第1のカメラは、第2のカメラのFOVの少なくとも一部分の外側にあるFOVを有する。いくつかの実施形態では、第2のカメラは、第1のカメラのFOVの少なくとも一部分の外側にあるFOVを有する。いくつかの実施形態では、第1のカメラは、第2のカメラが位置決めされるコンピュータシステムの側とは反対のコンピュータシステムの側に位置決めされる。いくつかの実施形態では、方法800は、非一時的(又は一時的)コンピュータ可読記憶媒体に記憶され、コンピュータシステム101の1つ以上のプロセッサ202(例えば、図1のコントロール110)などのコンピュータシステムの1つ以上のプロセッサによって実行される命令によって管理される。方法800のいくつかの動作は、任意選択的に、組み合わされ、かつ/又はいくつかの動作の順序は、任意選択的に、変更される。
【0194】
コンピュータシステムは、表示生成構成要素(例えば、702)を介して、物理的環境(例えば、704)の表現の上にオーバーレイされる第1のユーザインタフェースを表示しながら、物理的環境の表現は、物理的環境の表現に対応する物理的環境の部分が変化し、かつ/又はユーザ(例えば、712)の視点が変化する(例えば、コンピュータシステムと通信している1つ以上のカメラによってキャプチャされている)(例えば、物理的環境の表現である複合現実及び/又はエクステンデッドリアリティ環境)に応じて変化し、メディアキャプチャユーザインタフェース(例えば、図7Bにおける711aの712aの選択及び/又は750b)を表示する要求を検出する(802)。いくつかの実施形態では、メディアキャプチャユーザインタフェースを表示する要求を受信することの一部として、コンピュータシステムは、ハードウェアボタン上の入力(例えば、押下、スワイプ、及び/又はタップ)を検出する。いくつかの実施形態では、メディアキャプチャユーザインタフェースを表示する要求を受信することの一部として、コンピュータシステムは、第1のユーザインタフェースの1つ以上のロケーションにおけるユーザの注目及び/又は1つ以上の移動音声コマンド入力を(例えば、コンピュータシステムと通信する1つ以上のマイクロフォンを介して)検出する。
【0195】
メディアキャプチャユーザインタフェースを表示する(例えば、没入型又は半没入型視覚メディアをキャプチャする、三次元メディアをキャプチャする、三次元ステレオメディアをキャプチャする、及び/又は空間メディアをキャプチャする)要求を検出したことに応じて(例えば、ユーザ及び/又はコンピュータシステムの配向の検出された変化に応じて複数の透視図からコンテンツを提示することができるビデオコンテンツをキャプチャする)、コンピュータシステムは、(例えば、メディアのキャプチャを開始した後に)表示生成構成要素を介して、1つ以上のカメラの視野の部分の表現(例えば、仮想表現及び/又は仮想オブジェクト)を含むメディアキャプチャプレビュー(例えば、708)を、1つ以上のカメラの視野の一部にある物理的環境の部分が変化するにつれて更新されるコンテンツ(例えば、1つ以上のカメラの視野を変化させるライブプレビュー及び/又は物理的環境の外観の変化)(例えば、図7Kに関連して上述したような没入型メディアコンテンツ)とともに表示する(804)。
【0196】
メディアキャプチャプレビューは、メディアキャプチャユーザインタフェースが表示されている間にメディアキャプチャ入力(例えば、図7Dにおける712aの711aのアクティブ化及び/又は750d)を検出したことに応じてキャプチャされるメディアの境界を示す(806)。
【0197】
メディアキャプチャプレビューは、(例えば、図7Cに関連して上述したように)物理的環境の表現の第1の部分(例えば、704を含む709bの部分)が可視である間に表示され、物理的環境の表現の第1の部分は、メディアキャプチャユーザインタフェースを表示する要求が検出される前に可視であった(例えば、遮られていない)(808)。
【0198】
メディアキャプチャプレビューは、(例えば、図7Cに関連して上述したように)物理的環境の表現の第2の部分(例えば、704の部分を含む709c1の部分)の代わりに表示され(例えば、その上にオーバーレイされ)、物理的環境の表現の第1の部分は、(例えば、図7Cに関連して上述したように)物理的環境の表現の第1の部分に対応する物理的環境の部分が変化し、かつ/又はユーザの視点が変化すると更新される(810)(例えば、メディアキャプチャプレビューが表示され、かつ/又は可視である間、物理的環境の表現の1つ以上の他の部分は可視のままである)。いくつかの実施形態では、コンピュータシステム700は、黒い境界を有するメディアキャプチャプレビューを表示する。いくつかの実施形態では、メディアをキャプチャする要求を検出したことに応じて、コンピュータシステムは、メディア(例えば、三次元メディア、三次元、ステレオメディア、及び/又は空間メディア)のキャプチャを開始する。いくつかの実施形態では、第1のカメラによってキャプチャされた第1のコンテンツは、第2のカメラによってキャプチャされた第2のコンテンツとは異なる。いくつかの実施形態では、メディアキャプチャプレビューは、コンピュータシステムの中心(例えば、中央)に(例えば、表示生成構成要素の中心に)、コンピュータシステムを装着しているユーザの鼻の近くに、物理的環境の三次元表現の中心に表示される。いくつかの実施形態では、メディアキャプチャプレビューは、1つ以上の仮想オブジェクト(例えば、時間経過仮想オブジェクト、キャプチャ制御仮想オブジェクト、カメラロール仮想オブジェクト、クローズボタン仮想オブジェクト)の間に表示される。いくつかの実施形態では、コンピュータシステムは、(例えば、図7Cに関連して上述したように)シャッタボタン仮想オブジェクトの上のディスプレイの中心にメディアキャプチャプレビューを表示する。いくつかの実施形態では、キャプチャされたメディアは、図7K図7Qに関連して上述したような1つ以上の技術を使用して再生される。いくつかの実施形態では、メディアキャプチャプレビューは、物理的環境のコンテンツを含み、コンテンツは、メディアキャプチャプレビューが表示される前に物理的環境の表現において可視である。いくつかの実施形態では、非没入型透視図で再生している間に、第1の点以外の物理的環境内の点からの複数の透視図を、ユーザ入力に応じて表示することができる。メディアキャプチャ入力を検出したことに応じて、キャプチャされるメディアの境界を示すメディアキャプチャプレビューを表示することは、ユーザの視点のどのコンテンツがキャプチャされるかに関する改善されたフィードバックをユーザに提供する。物理的環境の表現の部分が可視である間にメディアキャプチャプレビューを表示することは、物理的環境の認識も維持しながら、所望のメディアをより良好に構成し、キャプチャする能力をユーザに提供し、それは、メディアキャプチャ動作を改善し、キャプチャ動作が非効率的であるか、又は使用するのが困難である場合に見逃される可能性がある一時的なイベントをキャプチャすることができないリスクを低減する。メディアキャプチャ動作を改善することは、システムの操作性を向上させ、(例えば、ユーザが適切な入力を提供するのを助け、デバイスを動作させる/デバイスと対話するときのユーザの誤りを低減することによって)ユーザ-システムインタフェースをより効率的にする。
【0199】
いくつかの実施形態では、物理的環境(例えば、図7Bの704)の表現は、コンピュータシステム(例えば、コンピュータシステムを取り囲む現実世界環境の部分)の現実世界環境(例えば、図7Aに見られるような)(例えば、物理的環境(例えば、コンピュータシステムの外側))のパススルー表現(例えば、パススルー表現は、仮想(例えば、コンピュータシステムに統合された1つ以上のカメラによってキャプチャされたカメラ画像データの表現)及び/又は光パススルー(例えば、ユーザに対してシステムの一部(例えば、透明部分)を直接通過する光))である。いくつかの実施形態では、コンピュータシステムのポジション及び/又は配向の変化に応じて、パススルー表現は、コンピュータシステムのポジション及び/又は配向の変化を反映するように更新される。コンピュータシステムの現実世界環境のパススルー表現を提供することは、現実世界環境内のコンピュータシステムのロケーション(例えば、ポジション及び/又は配向)に関する視覚的フィードバックをユーザに提供し、これは、特にメディアキャプチャプレビューが表示されている間にパススルー表現が可視であるときに、改善された視覚的フィードバックを提供する。
【0200】
いくつかの実施形態では、物理的環境(例えば、704)の表現(例えば、表現内のコンテンツ)は、第1のスケール(例えば、1:1、1:2、1:4、及び/又は任意の他の好適なスケール)で可視(例えば、光学パススルーを介して表示又は可視)であり、メディアキャプチャプレビュー(例えば、708)に含まれる1つ以上のカメラの視野の部分(例えば、物理的環境の表現の第2の部分)の表現(例えば、表現内のコンテンツ)は、第2のスケールで表示され、第1のスケールは、(例えば、図7Cに関連して上述したように)第2のスケールよりも大きい(例えば、両方の表現内に現れる同じオブジェクトは、物理的環境の表現内でより大きく現れる)。物理的環境の表現が可視であるスケールよりも小さいスケールでメディアキャプチャプレビューを表示することは、どの表現がどれであるかに関する改善された視覚的フィードバックをユーザに提供し、ユーザの混乱を低減する。そうすることはまた、ディスプレイの空間を節約し、両方が一緒に可視であることを可能にし、これは、ユーザに、所望のメディアをより良く構成してキャプチャする能力を提供する一方で、物理的環境の認識も維持し、これは、メディアキャプチャ動作を改善し、キャプチャ動作が非効率的であるか又は使用するのが困難である場合に見逃される可能性がある一時的なイベントをキャプチャすることができないリスクを低減する。メディアキャプチャ動作を改善することは、システムの操作性を向上させ、(例えば、ユーザが適切な入力を提供するのを助け、デバイスを動作させる/デバイスと対話するときのユーザの誤りを低減することによって)ユーザ-システムインタフェースをより効率的にする。
【0201】
いくつかの実施形態では、物理的環境(例えば、図7Gの704)(例えば、個別の部分)の表現は、メディアキャプチャプレビューに含まれる視野の表現(例えば、図7Gの708)に含まれない(例えば、その外側の)(例えば、メディアキャプチャプレビュー内に表示されない)第1のコンテンツ(例えば、図7Gの709Eの右半分)を含む。メディアキャプチャプレビューに含まれないコンテンツを含む物理的環境の表現を有することは、ユーザが視点をシフトした場合に、メディアキャプチャに含まれ得る(しかし、現在は含まれていない)追加のコンテンツを閲覧する能力をユーザに提供するとともに、メディアキャプチャを構成しながら、ユーザの現在の物理的環境のより大きな認識をユーザに提供する。そうすることは、メディアキャプチャ動作を改善し、キャプチャ動作が非効率的であるか又は使用するのが困難である場合に見逃される可能性がある一時的なイベント及び/又はコンテンツをキャプチャすることができないリスクを低減する。メディアキャプチャ動作を改善することは、システムの操作性を向上させ、(例えば、ユーザが適切な入力を提供するのを助け、デバイスを動作させる/デバイスと対話するときのユーザの誤りを低減することによって)ユーザ-システムインタフェースをより効率的にする。
【0202】
いくつかの実施形態では、物理的環境(例えば、図7Cの704)の表現は、物理的環境の部分(例えば、第1の部分、特定の部分)(例えば、物理的環境の表現の第1の部分とは異なる(例えば、物理的環境の第2の部分の角度範囲は、物理的環境の第1の部分の角度範囲よりも狭い))(例えば、図7Cの709c1)を含み、メディアキャプチャプレビュー(例えば、図7Cの708)に含まれる1つ以上のカメラの視野の表現は、物理的環境の部分(例えば、図7Cの709c3)を含む(例えば、メディアキャプチャプレビューは、物理的環境の表現にも含まれるオブジェクトを含む)。いくつかの実施形態では、物理的環境の表現に含まれる物理的環境の第2の部分は、メディアキャプチャプレビューに含まれる物理的環境の第2の部分とは異なる視覚的外観(例えば、ぼかし及び/又は減光)を有する。
【0203】
いくつかの実施形態では、コンピュータシステムは、物理的入力機構(例えば、711a又は711b)(例えば、ハードウェアボタン)(例えば、ハードウェア入力デバイス/機構)(例えば、物理的入力デバイス)と通信(例えば、直接通信(例えば、有線通信)及び/又は無線通信)し、そしてメディアキャプチャユーザインタフェースを表示するための要求は、物理的入力機構のアクティブ化(例えば、作動及び/又は選択(例えば、ボタンを押下する))(例えば、図7Bの711aの712aのアクティブ化)を含む。物理入力機構のアクティブ化を検出したことに応じて、1つ以上のカメラの視野の部分の表現(例えば、仮想表現及び/又は仮想オブジェクト)を含むメディアキャプチャプレビューを表示することは、コンピュータシステムが、追加のコントロールを表示することなくコンピュータシステムに対するより大きなコントロールをユーザに提供する表示動作を実行することを可能にし、これは、ユーザインタフェースを混乱させることなく追加のコントロールオプションを提供する。
【0204】
いくつかの実施形態では、メディアキャプチャプレビューを表示している間に、コンピュータシステムは、(例えば、コンピュータシステムと通信する1つ以上の入力デバイスを介して)メディアをキャプチャする要求に対応する入力(例えば、図7Cの750c及び/又は712aの711aのアクティブ化)を検出する。メディアをキャプチャするための要求に対応する入力を検出したことに応じて、メディアをキャプチャするための要求に対応する入力が第1のタイプ(例えば、ハードウェアボタン(例えば、仮想シャッタボタン)の単一の迅速な押下、タッチ感知面上でのタップジェスチャ、又は迅速なエアジェスチャ(例えば、以下で説明する第2のタイプの入力よりも持続時間が短いエアジェスチャ)(例えば、XR環境における仮想オブジェクトの選択に関して上述したようなピンチアンドリリース又は任意の他の適切なエアジェスチャ)であるとの判定に従って、コンピュータシステムは、(例えば、図7Cに関連して上述したように)第1のタイプのメディアコンテンツ(例えば、静止メディア(例えば、写真))を(例えば、コンピュータシステムの1つ以上のカメラを使用して)キャプチャするプロセスを開始し、メディアをキャプチャするための要求に対応する入力が第2のタイプ(例えば、第1のタイプとは異なる)(例えば、ボタンのロングプレス、仮想シャッタオブジェクトの表示に向けられた持続的視線、仮想シャッタオブジェクトの表示に対応する空間内のロケーションでのタッチアンドホールドジェスチャ、仮想シャッタボタン上でのタッチアンドホールドジェスチャ、持続的エアジェスチャ(例えば、保持されるピンチ)、又はXR環境内の仮想オブジェクトの選択に関して上述したような任意の他の適切なエアジェスチャ)であるという判定に従って、(例えば、図7Cに関連して上述したように)(例えば、ビデオ)(例えば、メディアコンテンツの第1のタイプとは異なる)第2のタイプのメディアコンテンツを(例えば、コンピュータシステムの1つ以上のカメラを使用して)キャプチャするためのプロセスを開始する。ショートプレス又はロングプレスの入力のタイプ(例えば、ショートプレス又はロングプレス)が受信されたかどうかに基づいて、第1のタイプのメディアキャプチャ処理又は第2のタイプのメディアキャプチャ処理のいずれかを開始することは、コンピュータシステムが、追加のコントロールを表示することなく、コンピュータシステムが実行するメディアキャプチャ処理のタイプに関する追加のコントロールオプションをユーザに提供することを可能にし、これは、ユーザインタフェースを混乱させることなく追加の制御オプションを提供する。
【0205】
いくつかの実施形態では、メディアキャプチャプレビュー(例えば、708)に含まれる1つ以上のカメラの視野の部分の表現は、第1のセットの視覚的視差特性を有し、物理的環境の表現は、(例えば、図7Fに関連して上述したように)第1のセットの視差特性とは異なる第2のセットの視覚的視差特性を有する。いくつかの実施形態では、メディアキャプチャプレビューは、第1の前景及び第1の背景を含む。いくつかの実施形態では、1つ以上のカメラの視野の部分内にある物理的環境の部分が変化するにつれて、第1の前景と第1の背景との間に第1のシフト量が存在する。いくつかの実施形態では、物理的環境の表現は、第2の前景及び第2の背景を含む。いくつかの実施形態では、1つ以上のカメラの視野の部分内にある物理的環境の部分が変化するにつれて、第2の前景と第2の背景との間に第2のシフト量(例えば、第1のシフト量とは異なる)が存在する(例えば、1つ以上のカメラの視野の部分内にある物理的環境の部分が変化するにつれて、第1の前景は、第1の背景に対して第1の速度で移動し、第2の前景は、第2の背景に対して第2の速度(第1の速度とは異なる)で移動する)。メディアキャプチャプレビューに含まれる1つ以上のカメラの視野の部分の表現に視覚的視差特性の第1のセットを提供すること、及び物理的環境の表現に視覚的視差特性の第2のセットを提供することは、コンピュータシステムが動いているか否かに関する視覚的フィードバックをユーザに提供し、また、どの表現がメディアキャプチャのプレビューであり、どの表現が物理的環境のプレビューであるかに関するフィードバックを提供し、改善された視覚的フィードバックを提供する。
【0206】
いくつかの実施形態では、物理的環境(例えば、704)の表現は、没入型透視図(例えば、一人称視点)であり(例えば、環境の表現は、ユーザ及び/又はコンピュータシステムの配向の変化を検出したことに応じて複数の透視図から提示される)、メディアキャプチャプレビューに含まれる1つ以上のカメラの視野の部分の表現は、非没入型透視図(例えば、三人称視点)である(例えば、図7Cに関して上述したように)。いくつかの実施形態では、没入型透視図は、環境内の同じ点(例えば、ロケーション)からキャプチャされた複数の透視図のコンテンツを含む環境の表現のコンテンツを含む。没入型透視図から物理的環境の表現を提供し、非没入型透視図からメディアキャプチャプレビューに含まれる1つ以上のカメラの視野の部分を提供することは、どの表現がどれであるかに関する改善された視覚的フィードバックを提供し、また、キャプチャされたメディアが非没入型で(例えば、非没入型フォトアルバムで)表示されるときにどのようにプレビューされ得るかに関するフィードバックを提供する。
【0207】
いくつかの実施形態では、メディアキャプチャユーザインタフェースを表示する要求を検出する前に、物理的環境の表現(例えば、環境の表現の全体)の第3の部分(例えば、第1の部分と同じであるか、又は第1の部分とは異なる部分)(例えば、環境の表現の全体よりも少ない環境の表現の第1の部分)は、第1の大きさ(例えば、量なし、低い非ゼロ量(例えば、最大量に対して0%、10%、又は20%))を有する視覚特性(例えば、減光、ぼかし、かつ/又は重ね合わせフィルタ)を含む第1の視覚的外観を有する。いくつかの実施形態では、メディアキャプチャユーザインタフェースを表示する要求(例えば、図7Bの750b及び/又は712aの711aの選択)を検出したことに応じて、コンピュータシステムは、例えば、図7Cに関連して上述したように、第2の大きさを有する視覚的特徴を含む第2の視覚的外観(例えば、第1の視覚的外観とは異なる)を有するように物理的環境の表現の第3の部分を変更する。いくつかの実施形態では、視覚特性の第2の大きさは、(例えば、図7Cに関連して上述したように)視覚特性の第1の大きさとは異なる(例えば、第1の大きさよりも大きい又は小さい)。いくつかの実施形態では、視覚特性の大きさは、表現の第3の部分に適用される減光の量であり、要求を受信する前に、第1の大きさは、減光が適用されず、第2の量は、適用される減光の非ゼロレベルである。メディアキャプチャユーザインタフェースを表示する要求を検出したことに応じて、物理的環境の表現の第3の部分の視覚的外観を変更することは、コンピュータシステムの状態(例えば、コンピュータシステムがメディアキャプチャユーザインタフェースを表示する要求を検出した)に関する視覚的フィードバックをユーザに提供し、また、メディアキャプチャプレビューを強調し、改善された視覚的フィードバックを提供する。
【0208】
いくつかの実施形態では、メディアキャプチャプレビューを表示することは、メディアキャプチャプレビュー(例えば、708)の表示と空間的関係(例えば、空間的関係は、メディアキャプチャプレビューの表示に対して1つ以上の仮想オブジェクトが表示される既定の距離及び相対的な配向、並びに/又はメディアキャプチャプレビューの表示に対して1つ以上の仮想オブジェクトが表示されるポジション(例えば、上、下、及び/又は横)を含む)(例えば、1つ以上の仮想オブジェクトの各仮想オブジェクトは、メディアキャプチャプレビューとの個別の空間的関係を有する)を有する1つ以上の仮想オブジェクト(例えば、713、714、715、及び716)(例えば、選択されると、コンピュータシステムに動作(例えば、メディア関連動作(例えば、写真をキャプチャする、ビデオをキャプチャする、以前にキャプチャされた写真を表示する、及び/又は任意の他の適切な動作))を実行させる仮想オブジェクト)を表示すること(例えば、その一部として表示される)(例えば、その中に組み込まれる)を含み(例えば、1つ以上の仮想オブジェクトの表示は、メディアキャプチャプレビューの表示を取り囲む)、メディアキャプチャプレビュー及び1つ以上の仮想オブジェクトは、第1の表示ロケーション(例えば、図7C図7Eの713、714、715、及び716のロケーション)に表示され、メディアキャプチャプレビュー及び1つ以上の仮想オブジェクトを第1の表示ロケーションに表示している間に、コンピュータシステムは、(例えば、図7Eに関して上述したように)ユーザの視点のポーズの変化を(例えば、コンピュータシステムと通信している1つ以上のセンサを介して)検出する。いくつかの実施形態では、ユーザの視点のポーズの変化を検出したことに応じて、コンピュータシステムは、メディアキャプチャプレビュー及び1つ以上の仮想オブジェクトを、第1のロケーションとは異なる(例えば、表示生成構成要素上の異なるロケーションにある)第2の表示ロケーション(例えば、図7Fの708、713、714、715、及び716のロケーション)に表示し、コンピュータシステムは、メディアキャプチャプレビューの表示と1つ以上の仮想オブジェクトとの間の空間的関係を維持する。視点のポーズの変化を検出したことに応じて、メディアキャプチャプレビューの表示と1つ以上の仮想オブジェクトとの間の空間的関係を維持することは、ユーザが1つ以上の仮想オブジェクトの表示の位置を容易に特定することを可能にする視覚的フィードバックをユーザに提供し、これは改善された視覚的フィードバックを提供する。メディアキャプチャプレビューのコンピュータシステムの表示に基づいて1つ以上の仮想オブジェクトを表示することは、コンピュータシステムに、更なるユーザ入力を必要とすることなくメディアキャプチャに関係する追加の制御オプションをユーザに提供する表示動作を実行させ、これは、動作を実行するために必要とされる入力の数を低減する。
【0209】
いくつかの実施形態では、1つ以上の仮想オブジェクトは、メディアをキャプチャするためのプロセス(例えば、ビデオ記録)の開始から経過した時間(例えば、秒、分、及び/又は時間)のインジケーションを提供する時間経過仮想オブジェクト(例えば、713)を含む。コンピュータシステムがメディアをキャプチャするためのプロセスを開始してから経過した時間量を示す時間経過仮想オブジェクトを表示することは、コンピュータシステムのビデオメディア記録状態に関する視覚的フィードバックを提供し、改善された視覚的フィードバックを提供する。
【0210】
いくつかの実施形態では、1つ以上の仮想オブジェクトは、シャッタボタン仮想オブジェクト(例えば、714)(例えば、ソフトウェアシャッタボタン)を含み、シャッタボタン仮想オブジェクトは、選択されると(例えば、シャッタボタン仮想オブジェクトに向けられたユーザの視線(例えば、視線及び停留)の検出を介して選択され、いくつかの実施形態では、1つ以上のジェスチャ(例えば、エアピンチジェスチャ、デピンチエアジェスチャ、エアタップ、及び/又はエアスワイプ)を実行するユーザの検出と組み合わせて(例えば、XR環境における仮想オブジェクトの選択を参照して上述したように)、及び/又はシャッタボタン仮想オブジェクト上のタップの検出を介して選択されると)、メディアをキャプチャするためのプロセスの開始を引き起こす(例えば、コンピュータシステムにメディア(例えば、静止メディア又はビデオメディア)をキャプチャするためのプロセスを開始させる)(例えば、コンピュータシステムと通信する1つ以上のカメラを使用してメディアをキャプチャする)。いくつかの実施形態では、シャッタボタン仮想オブジェクトの表示は、コンピュータシステムがビデオメディアを記録していることを示すように更新される。メディアキャプチャプレビューの表示に固定されたシャッタボタン仮想オブジェクトを表示することは、コンピュータシステムの表示状態(例えば、コンピュータシステムが現在メディアキャプチャプレビューを表示している)に関する視覚的フィードバックを提供し、また、オブジェクトと対話することによって実行され得る動作を提供し、これは、改善された視覚的フィードバックを提供する。
【0211】
いくつかの実施形態では、1つ以上の仮想オブジェクトは、選択されると(例えば、カメラロール仮想オブジェクトに向けられたユーザの視線(例えば、視線及び停留)の検出を介して選択されると)、カメラロール仮想(例えば、715)オブジェクトを含み、いくつかの実施形態では、1つ以上のジェスチャ(例えば、エアピンチジェスチャ、デピンチエアジェスチャ、エアタップ、及び/又はエアスワイプ)を行うユーザの検出と組み合わせて(例えば、XR環境における仮想オブジェクトの選択を参照して上述したように)、及び/又はカメラロール仮想オブジェクト上のタップの検出を介して選択されると、以前にキャプチャされたメディアアイテムの表示を(例えば、表示生成構成要素を介して)生じさせる(例えば、コンピュータシステムに以前にキャプチャされたメディアアイテムを表示させる)(例えば、静止メディア又はビデオメディア)(例えば、コンピュータシステムと通信する1つ以上のカメラを使用して以前にキャプチャされたメディアアイテム)(例えば、外部デバイス(例えば、スマートフォン)(例えば、コンピュータシステムとは別個のデバイス)を使用して以前にキャプチャされたメディアアイテム)。いくつかの実施形態では、カメラロール仮想オブジェクトの選択を検出したことに応じて、コンピュータシステムは、1つ以上の仮想オブジェクトのサブセットを含むユーザインタフェースを表示する。メディアキャプチャプレビューの表示に固定されるカメラロール仮想オブジェクトを表示することは、コンピュータシステムの表示状態(例えば、コンピュータシステムが現在メディアキャプチャプレビューを表示している)に関する視覚的フィードバックを提供し、また、オブジェクトと対話することによって実行され得る動作を提供し、これは、改善された視覚的フィードバックを提供する。
【0212】
いくつかの実施形態では、メディアキャプチャプレビューを表示している間に、コンピュータシステムは、カメラロール仮想オブジェクトの選択(例えば、750h)を検出する。いくつかの実施形態では、カメラロール仮想オブジェクト(例えば、図7Hの715)を検出したことに応じて、コンピュータシステムは、表示生成構成要素を介して、以前にキャプチャされたメディアアイテム(例えば、730)の表現を表示する(例えば、メディアキャプチャプレビューの表示を中止する)。いくつかの実施形態では、以前にキャプチャされたメディアの表現を表示することは、第1の消去仮想オブジェクト(例えば、733)であって、選択されると(例えば、第1の消去仮想オブジェクトの表示のロケーションに向けられたユーザの視線(例えば、視線及び停留)の検出を介して選択され、いくつかの実施形態では、1つ以上のジェスチャ(例えば、エアピンチジェスチャ、デピンチエアジェスチャ、エアタップ、及び/又はエアスワイプ)を実行するユーザの検出と組み合わせて選択され、及び/又は第1の消去仮想オブジェクトをタップするユーザを介して選択される(例えば、XR環境における仮想オブジェクトの選択を参照して上述したように))、以前にキャプチャされたメディアアイテムの表現の表示を中止させる(例えば、コンピュータシステムに以前にキャプチャされたメディアアイテムの表示を中止させる)、第1の消去仮想オブジェクト、共有仮想オブジェクト(例えば、735)であって、選択されると(例えば、共有仮想オブジェクトの表示のロケーションに向けられたユーザの視線(例えば、視線及び停留)の検出を介して選択され、いくつかの実施形態では、1つ以上のジェスチャ(例えば、エアピンチジェスチャ、デピンチエアジェスチャ、エアタップ、及び/又はエアスワイプ)を実行するユーザの検出と組み合わせて選択されると(例えば、XR環境における仮想オブジェクトの選択を参照して上述したように)、及び/又は共有仮想オブジェクト上でユーザがタップすることを介して選択されると)、以前にキャプチャされたメディアアイテムの表現を共有する(例えば、コンピュータシステムに記憶された連絡先(例えば、外部ユーザ)と表現を共有する)ためのプロセスの開始を引き起こす(例えば、以前にキャプチャされたメディアアイテムの表現を共有するためのプロセスをコンピュータシステムに開始させる)、共有仮想オブジェクト、メディアライブラリ仮想オブジェクト(例えば、731)であって、選択されると(例えば、メディアライブラリ仮想オブジェクトの表示のロケーションに向けられたユーザの視線(例えば、視線及び停留)の検出を介して選択され、いくつかの実施形態では、1つ以上のジェスチャ(例えば、エアピンチジェスチャ、デピンチエアジェスチャ、エアタップ、及び/又はエアスワイプ)(例えば、XR環境における仮想オブジェクトの選択を参照して上述したように)を実行するユーザの検出と組み合わせて選択され、及び/又はメディアライブラリ仮想オブジェクト上のユーザタップを介して選択されると))、複数の以前にキャプチャされたメディアアイテムの表示を引き起こす(例えば、コンピュータシステムに複数の以前にキャプチャされたメディアアイテム(例えば、非没入型及び/又は没入型メディアアイテム)を表示させる)、メディアライブラリ仮想オブジェクト、及び/又は(例えば、XR環境における仮想オブジェクトの選択に関して上述したように)1つ以上のジェスチャ(例えば、タッチ感知ディスプレイ上のジェスチャ及び/又はエアジェスチャ(例えば、エアピンチアンドドラッグジェスチャ、エアスワイプ、及び/又はエアタップ))の検出(例えば、コンピュータシステムと通信する1つ以上のカメラによって検出される)に基づいて、以前にキャプチャされたメディアアイテムの表現のサイズが変化する(例えば、サイズの増大又はサイズの減少)ことを示すリサイズ仮想オブジェクト(例えば、736)を表示する(例えば、同時に表示する)ことを含む。いくつかの実施形態では、サイズの変化の大きさは、ジェスチャの特性に基づく(例えば、サイズ変更の量は、ピンチアンドドラッグジェスチャのドラッグ動作の距離に基づく)。いくつかの実施形態では、第1の消去仮想オブジェクトの選択は、メディアキャプチャプレビューを再表示させる。以前にキャプチャされたメディアアイテムの表示に基づいて複数の仮想オブジェクトを表示することは、コンピュータシステムの表示状態(例えば、コンピュータシステムが、以前にキャプチャされたメディアアイテムの表現を現在表示している)に関する視覚的フィードバックを提供し、オブジェクトと対話することによって実行され得る動作も提供し、これは、改善された視覚的フィードバックを提供する。
【0213】
いくつかの実施形態では、コンピュータシステムは、カメラロール仮想オブジェクト(例えば、715)に対応する入力を含む1つ以上の入力のセットを受信する。いくつかの実施形態では、1つ以上の入力のセットは、カメラロール仮想オブジェクトの選択と、その後に続く、以前にキャプチャされたメディアアイテムのサブセット(例えば、没入型透視図からキャプチャされた全てのメディアアイテム)に対応する仮想オブジェクトの選択である。いくつかの実施形態では、1つ以上の入力のセットを受信したことに応じて、コンピュータシステムは、複数の以前にキャプチャされたメディアアイテムのうちの第1の以前にキャプチャされたメディアアイテム(例えば、図7I及び図7Jの730)の表現(例えば、静止写真及び/又はビデオ)を第1のロケーション(例えば、表示生成構成要素上の中心ロケーション)に表示し(例えば、第1の以前にキャプチャされたメディアアイテムの第1の表現は選択可能である)(例えば、第1の以前にキャプチャされたメディアアイテムはコンピュータシステムによってキャプチャされる)、第1の以前にキャプチャされたメディアアイテムの表現を第1のロケーションに表示している間に、コンピュータシステムは、複数の以前にキャプチャされたメディアアイテムのうちの異なる以前にキャプチャされたメディアアイテムにナビゲートする要求(例えば、エアピンチジェスチャ、デピンチエアジェスチャ、エアタップ、及び/又はエアスワイプ)を(例えば、XR環境における仮想オブジェクトの選択に関して上述したように)受信する。いくつかの実施形態では、複数の以前にキャプチャされたメディアアイテムのうちの異なる以前にキャプチャされたメディアアイテムにナビゲートする要求を受信したことに応じて、コンピュータシステムは、第1のロケーションにおける第1の以前にキャプチャされたメディアアイテムの表現の表示を、(例えば、図7Kに関連して上述したように)複数の以前にキャプチャされたメディアアイテムのうちの第2の以前にキャプチャされたメディアアイテム(例えば、第1の以前にキャプチャされたメディアアイテムとは異なる)の表現の表示と置き換える。いくつかの実施形態では、第1の以前にキャプチャされたメディアアイテムの表現の表示を置換することは、第1の以前にキャプチャされたメディアアイテムを表示することを中止することを含む。いくつかの実施形態では、第2の以前にキャプチャされたメディアアイテムが第1のロケーションに表示されている間に、第1の以前にキャプチャされたメディアアイテムが(例えば、第1のロケーションとは異なる第2のロケーションに)表示される。いくつかの実施形態では、表現は、物理的環境の表現の部分の代わりに表示される。いくつかの実施形態では、第2の以前にキャプチャされたメディアアイテムが表示されている間に、コンピュータシステムは、異なる(例えば、第1の以前にキャプチャされたメディアアイテム及び第2の以前にキャプチャされたメディアアイテムとは異なる)以前にキャプチャされたメディアアイテムにナビゲートするための第2の要求を受信し、第2の要求は、初期要求の繰り返しであり(例えば、初期要求及び第2の要求は、同じタイプのジェスチャを含む)、及び/又は第2の要求は、初期要求に含まれるジェスチャの反対である(例えば、反対方向に実行される)ジェスチャを含む。いくつかの実施形態では、複数の以前にキャプチャされたメディアアイテムのうちの以前にキャプチャされたメディアアイテムにナビゲートする要求は、(例えば、XR環境における仮想オブジェクトの選択を参照して上述したような)エアジェスチャであり、第2の以前にキャプチャされたメディアアイテムは、エアジェスチャの大きさ(エアジェスチャの方向、エアジェスチャの速度、及び/又はエアジェスチャの強度)に基づいてコンピュータシステムによって選択される。第1のロケーションにおける第1の以前にキャプチャされたメディアアイテムの表現の表示を、第2の以前にキャプチャされたメディアアイテムの表現の表示と置き換えることは、コンピュータシステムの状態(例えば、第1の以前にキャプチャされたメディアアイテムが表示されていた間に、コンピュータシステムが異なる以前にキャプチャされたメディアアイテムにナビゲートする要求を受信したこと)に関する視覚的フィードバックを提供し、これは、改善された視覚的フィードバックを提供する。
【0214】
いくつかの実施形態では、1つ以上の仮想オブジェクトは、第2の消去仮想オブジェクト(例えば、719)を含み、第2の消去仮想オブジェクトは、選択されると(例えば、第2の消去仮想オブジェクトのディスプレイのロケーションに向けられたユーザの視線(例えば、視線及び停留)の検出を介して選択され、いくつかの実施形態では、(例えば、XR環境における仮想オブジェクトの選択を参照して上述したように)1つ以上のジェスチャ(例えば、エアピンチジェスチャ、デピンチエアジェスチャ、エアタップ、及び/又はエアスワイプ)を実行するユーザの検出と組み合わせて、かつ/又は第2の消去仮想オブジェクトに対するユーザタップを介して選択されると)、メディアキャプチャプレビュー(例えば、708)の表示を中止させる(例えば、コンピュータシステムにメディアキャプチャプレビューの表示を中止させる)。いくつかの実施形態では、メディアキャプチャプレビューの表示を中止することは、メディアキャプチャプレビューが表示されていた間に表示されなかった環境の表現の部分(例えば、第2の部分)の表示をもたらす。メディアキャプチャプレビューの表示に固定された第2の消去仮想オブジェクトを表示することは、コンピュータシステムの表示状態(例えば、コンピュータシステムが現在メディアキャプチャプレビューを表示している)に関する視覚的フィードバックを提供し、オブジェクトと対話することによって実行され得る動作も提供し、これは、改善された視覚的フィードバックを提供する。
【0215】
いくつかの実施形態では、1つ以上の仮想オブジェクトは、再位置決め仮想オブジェクト(例えば、716)を含み、メディアキャプチャプレビュー(例えば、708)がメディアキャプチャユーザインタフェース内の第1のロケーションに表示されている間に、コンピュータシステムは、再位置決め仮想オブジェクトに対応する入力を含む1つ以上の入力のセット(例えば、タッチ感知面上のジェスチャ(単数又は複数)及び/又はエアジェスチャ(単数又は複数))を検出する。いくつかの実施形態では、再位置決め仮想オブジェクトに対応する入力を含む1つ以上の入力のセットを検出したことに応じて、コンピュータシステムは、(例えば、図7Cに関連して上述したように)メディアキャプチャプレビューを第1のロケーションから第2のロケーションに移動させる(例えば、メディアキャプチャプレビューは、再位置決め仮想オブジェクトの表示を移動させる要求の方向、大きさ、及び/又は速度に基づいて(例えば、メディアキャプチャユーザインタフェースのx軸、y軸、及び/又はz軸に沿って)移動される)。いくつかの実施形態では、1つ以上の入力のセットは、再位置決め仮想オブジェクトを選択する入力と、後続の標的ロケーション及び/又は移動の方向を指定する1つ以上の入力とを含む。メディアキャプチャプレビューの表示に固定された再位置決めオブジェクトを表示することは、コンピュータシステムの表示状態(例えば、コンピュータシステムが現在メディアキャプチャプレビューを表示している)に関する視覚的フィードバックを提供し、また、オブジェクトと対話することによって実行することができる動作を提供し、これは改善された視覚的フィードバックを提供する。
【0216】
いくつかの実施形態では、メディアキャプチャプレビュー(例えば、708)が表示されている間に、コンピュータシステムは、表示生成構成要素を介して、メディアライブラリ仮想オブジェクト(例えば、731)を同時に表示し、メディアライブラリ仮想オブジェクトは、選択されると(例えば、メディアライブラリ仮想オブジェクトの表示のロケーションに向けられたユーザの視線(例えば、視線及び停留)の検出を介して選択され、いくつかの実施形態では、1つ以上のジェスチャ(例えば、エアピンチジェスチャ、デピンチエアジェスチャ、エアタップ、及び/又はエアスワイプ)を実行するユーザの検出と組み合わせて(例えば、XR環境内の仮想オブジェクトの選択を参照して上述したように)、及び/又はメディアライブラリ仮想オブジェクト上でのユーザタップを介して選択されると、複数の以前にキャプチャされたメディアアイテムの表示を引き起こし(例えば、図7Cに関連して上述したように)、コンピュータシステムに、複数の以前にキャプチャされたメディアアイテムを表示させる。いくつかの実施形態では、メディアライブラリ仮想オブジェクトの選択は、メディアライブラリ仮想オブジェクトの表示を中止させる。いくつかの実施形態では、メディアライブラリ仮想オブジェクトの選択は、メディアキャプチャプレビューの表示を中止させる。いくつかの実施形態では、メディアライブラリ仮想オブジェクトの選択は、複数の以前にキャプチャされたメディアアイテムを、メディアキャプチャプレビューの表示の下、上、及び/又は横に表示させる。メディアライブラリ仮想オブジェクト(例えば、メディアキャプチャプレビューが表示されている間に表示される)を同時に表示することは、コンピュータシステムの表示状態(例えば、コンピュータシステムがメディアキャプチャプレビューを現在表示している)に関する視覚的フィードバックを提供し、また、オブジェクトと対話することによって実行され得る動作を提供し、これは、改善された視覚的フィードバックを提供する。
【0217】
いくつかの実施形態では、メディアキャプチャプレビュー(例えば、708)に含まれる1つ以上のカメラの視野の部分(例えば、1つ以上のカメラの水平視野及び/又は垂直視野)は、第1の視角範囲(例えば、0~45°、0~90°、40~180°、又は任意の他の適切な角度範囲)を有し(例えば、メディアキャプチャプレビューに含まれる1つ以上のカメラの視野の部分は、1つ以上のカメラの視野の重複に基づく)(例えば、メディアキャプチャプレビューは、1つ以上のカメラの視野の重複部分からのデータのみを含む)(例えば、メディアキャプチャプレビューは、1つ以上のカメラの視野の非重複部分からのデータを含まない)、物理的環境(例えば、704)の表現は、第2の視角範囲(例えば、0~45°、0~90°、40~180°、又は任意の他の適切な角度範囲)を有する1つ以上のカメラの第2の視野(例えば、1つ以上のカメラの水平及び/又は垂直視野)を表す(例えば、第2の視野は、1つ以上のカメラからの非重複データを含む)、第1の角度範囲は、第2の角度範囲よりも狭い(例えば、小さい)(例えば、第2の角度は、第1の角度範囲よりも広い)(例えば、図7Cに関連して上述したように)。いくつかの実施形態では、第1の角度範囲は第2の角度範囲のサブセットである。メディアキャプチャプレビューよりも広い視野を含む物理的環境の表現を表示することは、ユーザが視点をシフトした場合に、メディアキャプチャプレビューに含まれ得る(しかし、現在は含まれていない)追加のコンテンツを閲覧する能力をユーザに提供するとともに、メディアキャプチャを構成しながら、ユーザの現在の物理的環境のより大きな認識もユーザに提供する。そうすることは、メディアキャプチャ動作を改善し、キャプチャ動作が非効率的であるか又は使用するのが困難である場合に見逃される可能性がある一時的なイベント及び/又はコンテンツをキャプチャすることができないリスクを低減する。メディアキャプチャ動作を改善することは、システムの操作性を向上させ、(例えば、ユーザが適切な入力を提供するのを助け、デバイスを操作する/デバイスと対話するときのユーザの誤りを低減することによって)ユーザ-システムインタフェースをより効率的にする。
【0218】
いくつかの実施形態では、メディアキャプチャプレビュー(例えば、708)に含まれる1つ以上のカメラの視野の部分の表現は、1つ以上のカメラの第1のカメラ(例えば、メディアをキャプチャする要求を検出したことに応じて第1のカメラによってキャプチャされたコンテンツ、並びに/又はコンピュータシステムによって保存及び/若しくは記憶されたコンテンツ)の視野内にある第1のコンテンツ(例えば、図7Fの709c3及び709c4)(例えば、三次元コンテンツ)、及び(例えば、図7Cにおいて上述したように)1つ以上のカメラのうちの第2のカメラの視野(例えば、メディアをキャプチャする要求を検出したことに応じて第2のカメラによってキャプチャされたコンテンツ及び/又はコンピュータシステムによって保存及び/又は記憶されたコンテンツ)を含む。いくつかの実施形態では、第1のカメラの視野内にあるが、第2のカメラの視野内にない物理的環境の部分は、メディアキャプチャプレビューに含まれない。いくつかの実施形態では、第1のカメラの視野内にあるが、第2のカメラの視野内にない物理的環境の部分は、メディアキャプチャプレビューに含まれないが、物理的環境の表現の一部である。
【0219】
いくつかの実施形態では、方法800、900、1000、1200、1400及び1500の態様/動作は、これらの方法の間で交換、置換、及び/又は追加され得る。例えば、方法800においてキャプチャされたメディアアイテムは、方法1000の一部として表示されてもよい。簡潔にするために、それらの詳細はここでは繰り返さない。
【0220】
図9は、いくつかの実施形態による、メディアのプレビューを表示するための例示的な方法900のフロー図である。いくつかの実施形態では、方法900は、表示生成構成要素(例えば、図1、3、及び4の表示生成構成要素120及び/又は702)(例えば、ディスプレイコントローラ、タッチ感知ディスプレイシステム、ディスプレイ(例えば、統合及び/又は接続された)、3Dディスプレイ、透明ディスプレイ、プロジェクタ、ヘッドアップディスプレイ、及び/又はヘッドマウントディスプレイ)及び1つ以上のカメラ(例えば、ユーザの手の下方を指すカメラ(例えば、カラーセンサ、赤外線センサ、及び他の深度感知カメラ)又はユーザの頭部から前方を指すカメラ)と通信しているコンピュータシステム(例えば、図1のコンピュータシステム101及び/又はコンピュータシステム700)(例えば、スマートフォン、タブレット、及び/又はヘッドマウントデバイス)で実行される。いくつかの実施形態では、コンピュータシステムは、1つ以上の視線追跡センサ(例えば、ユーザの視線の方向及び/又はコンピュータシステムのユーザの注意を追跡するように構成される光学及び/又はIRカメラ)と通信する。いくつかの実施形態では、コンピュータシステムは、第1のカメラを含む。いくつかの実施形態では、方法900は、非一時的(又は一時的)コンピュータ可読記憶媒体に記憶され、コンピュータシステム101の1つ以上のプロセッサ202(例えば、図1のコントロール110)などのコンピュータシステムの1つ以上のプロセッサによって実行される命令によって管理される。方法900のいくつかの動作は、任意選択的に、組み合わされ、かつ/又はいくつかの動作の順序は、任意選択的に、変更される。
【0221】
コンピュータシステムは、ユーザ(例えば、712)(例えば、及び/又はコンピュータシステム)の視点が第1のポーズ(例えば、物理的環境及び/又は仮想環境内の配向及び/又はポジション)にある間(例えば、及び/又はユーザの頭部が存在すると検出されている間)、表示生成構成要素を介して、ユーザ(例えば、712)の視点で可視である三次元環境(例えば、704)(例えば、表示生成構成要素上で可視である環境)の第1の部分(例えば、環境の第1の部分は、表示生成構成要素を介して可視である)上にオーバーレイされた1つ以上のカメラ(例えば、7Eの708)(例えば、コンピュータシステムと通信するように構成された仮想カメラ又は物理カメラ)の視野のプレビュー(例えば、リアルタイムプレビュー)を含むエクステンデッドリアリティユーザインタフェースを表示し、プレビューは、三次元環境の第1の部分の表現(例えば、三次元表現、空間表現、及び/又は二次元表現)を含み、ユーザの視点(例えば、図7C図7Eの708)に対する個別の空間構成で表示される(902)。いくつかの実施形態では、第1のカメラの視野は、第1のカメラの視野の部分であり、第1のカメラの視野全体ではない。いくつかの実施形態では、プレビューは、物理的環境の部分の表現を含む第2のカメラ(例えば、第1のカメラとは異なる)の視野の少なくとも一部分の表現を含む。いくつかの実施形態では、第2のカメラの視野は、第2のカメラの視野の部分である。いくつかの実施形態では、プレビューは、コンピュータシステムの中心(例えば、中央)に(例えば、表示生成構成要素の中心に)、コンピュータシステムを装着しているユーザの鼻の近くに、物理的環境の三次元表現の中心に表示される。
【0222】
コンピュータシステムは、(例えば、図7E図7Fに関連して上述したように)第1のポーズから第1のポーズとは異なる第2のポーズへのユーザの視点(及び/又はユーザの頭部)のポーズの変化を検出する(904)(例えば、エクステンデッドリアリティユーザインタフェース上の第1のロケーションにオーバーレイされた第1のカメラの視野のプレビューを含むエクステンデッドリアリティ環境ユーザインタフェースを表示している間に)。いくつかの実施形態では、コンピュータシステム及び/又はユーザの視点が第2のポーズにある間に、第1のカメラの視野は、第1のカメラが第2のポーズにある間に、物理的環境の第2の部分に向けられ、及び/又は物理的環境の第2の部分は、ユーザの視点において可視である。
【0223】
第1のポーズから第2のポーズへのユーザの視点のポーズの変化を検出したことに応じて、コンピュータシステムは、第1のポーズから第2のポーズへのユーザの視点のポーズの変化に基づいて(例えば、視点のポーズの変化の方向及び/又は速度に基づいて)決定される方向に、ユーザの視点に対して個別の空間構成(例えば、図7F及び図7Gの708)から離れるように(例えば、パンする、変化させる、及び/又は更新するために)1つ以上のカメラの視野のプレビューをシフトし(例えば、プレビューの表示を変化させる及び/又は遷移させる)、1つ以上のカメラの視野のプレビューのシフトは、第1の速度(例えば、図7F及び図7Gの708)で行われ、1つ以上のカメラの視野のプレビューがユーザの視点のポーズの変化に基づいてシフトしている間、三次元環境の表現は、(例えば、図7Fに関して上述したように)第1の速度とは異なる(例えば、第1の速度よりも速い又は遅い)第2の速度で(例えば、視点の移動が更新されるのと同じレートでプレビューを更新し続けながら)ユーザの視点のポーズの変化に基づいて変化する(906)。いくつかの実施形態では、プレビューは、第2の速度で移動されている間の第1の速度での環境の第2の部分の表現を含むように更新される。いくつかの実施形態では、視野の表現内の1つ以上のオブジェクトを表示することは、物理的環境の視点内の1つ以上のオブジェクトと同じレートで更新される。いくつかの実施形態では、第1の配向から第2の配向へのユーザの視点の配向の変化を検出したことに応じて、環境の第1の部分は可視ではなくなる。いくつかの実施形態では、環境の第1の部分は、環境の第2の部分によって包含されず、環境の第2の部分を取り囲み、環境の第2の部分から分離しており、環境の第2の部分とは異なり、環境の第2の部分を含み、かつ/又はその逆である。いくつかの実施形態では、環境の第1の部分に含まれるロケーションは、環境の第1の部分に含まれるロケーションとは異なる。1つ以上のカメラの視野のプレビューをシフトすることは、第1の速度でのユーザの視点のポーズの変化に基づくが、三次元環境の表現は、第1の速度とは異なる第2の速度でのユーザの視点のポーズの変化に基づいて変化し(例えば、第1のポーズから第2のポーズへのユーザの視点のポーズの変化を検出したことに応じて)、コンピュータシステムが、ユーザに示される要素間の移動の量を低減し、酔いの可能性を低減する動作を自動的に実行することを可能にし、これは、更なるユーザ入力を必要とすることなく、条件のセットが満たされたときに動作を実行する。そうすることはまた、ユーザがプレビューに焦点を維持する傾向があり得るため、メディアキャプチャモードにある間に視点への変更を低減するようにユーザに促すことができる。メディアをキャプチャしている間の視点の変化を低減することは、メディアキャプチャ動作を改善することができ、キャプチャ動作が非効率的であるか又は使用するのが困難である場合に見逃される可能性がある一時的なイベント及び/又はコンテンツをキャプチャすることができないリスクを低減する。メディアキャプチャ動作を改善することは、システムの操作性を向上させ、(例えば、ユーザが適切な入力を提供するのを助け、デバイスを動作させる/デバイスと対話するときのユーザの誤りを低減することによって)ユーザ-システムインタフェースをより効率的にする。
【0224】
いくつかの実施形態では、コンピュータシステム(例えば、700)は、(例えば、図7E図7Fに関連して上述したように)第1の量の追跡ラグ(例えば、視点の実際の変化とコンピュータシステムがその移動の量/程度を追跡するように構成されることとの間の遅延(例えば、0.1、0.2、0.3、0.4、又は0.5メートル/秒の遅延))でユーザ(例えば、712)の視点のポーズの変化を追跡し、第1の速度は、(例えば、図7Fに関連して上述したように)第1の量の検出追跡ラグに基づいて(例えば、単独で基づいて)導入される1つ以上のカメラ(例えば、708)の視野のプレビューのロケーションを更新する際の視覚的遅延の量よりも大きい1つ以上のカメラの視野のプレビューのロケーションを更新する際の視覚的遅延の量を導入する(例えば、検出追跡ラグは0.1メートル/秒であり、第1の速度は0.09メートル/秒である)。いくつかの実施形態では、1つ以上のカメラの視野のプレビューのシフトの最大速度は、追跡ラグの量(例えば、現在の量)を下回る値に制限される(例えば、上限を定められる)。いくつかの実施形態では、追跡ラグの量は、視点のポーズのレートに比例する)。第1の速度を追跡ラグの量未満に維持することは、追跡ラグによって引き起こされるプレビューの表示における混乱の発生を低減し、更なるユーザ入力を必要とすることなく、システムパラメータに基づいてプレビューの移動の速度を自動的に調整する。
【0225】
いくつかの実施形態では、1つ以上のカメラの視野のプレビューが第1の速度でシフトしている間(例えば、図7F及び図7Gの708)、コンピュータシステムは、ユーザの視点が第1の閾値量未満でポーズを変化させている(例えば、閾値未満のレートで変化している、又は変化していない(例えば、静止ポーズ)(例えば、ユーザが現在第2のポーズにポジションしている))ことを検出する。いくつかの実施形態では、(例えば、図7Gに関連して上述したように)ユーザの視点が閾値量未満でポーズを変化させていることを検出したことに応じて、コンピュータシステムは、(例えば、図7Hに関連して上述したように)第1の速度よりも速い第3の速度で1つ以上のカメラの視野のプレビューを個別の空間構成に向かってシフトさせる(例えば、ユーザが移動を中止したことを検出したことに応じて、1つ以上のカメラのプレビューは、ユーザの視点に対する個別の空間構成を有するその元のポジションに「スナップ」バックする)。いくつかの実施形態では、コンピュータシステムは、コンピュータシステムが1つ以上のカメラの視野のプレビューを個別の空間構成に向かってシフトするとき、1つ以上のカメラの視野のプレビューを反対方向に(例えば、個別の空間構成から離れるシフトの方向と反対に)シフトする。ユーザの視点が閾値量未満でポーズを変化させていることを検出したことに応じて、1つ以上のカメラの視野のプレビューを個別の空間構成に向かってシフトすることは、コンピュータシステムに、ユーザの視野の中心であるディスプレイ上のロケーションに視野のプレビューを表示させ、これは、更なるユーザ入力を必要とすることなく動作を実行する。
【0226】
いくつかの実施形態では、1つ以上のカメラの視野のプレビューが第1の速度(例えば、図7F及び図7Gの708)でシフトしている間に、コンピュータシステムは、ユーザの視点が(例えば、図7Gに関連して上述したように)第2の閾値量未満でポーズを変化させている(例えば、閾値未満のレートで変化しているか、又は変化していない(例えば、静止ポーズ))(例えば、非ゼロ量)ことを検出する。いくつかの実施形態では、ユーザの視点が第2の閾値量未満でポーズを変化させていることを検出したことに応じて、コンピュータシステムは、1つ以上のカメラの視野のプレビューを(例えば、図7Hで上述したように)個別の空間構成から離れるようにシフトする(例えば、自動的に(例えば、ユーザ入力なしで))ことを中止し、コンピュータシステムは、ユーザの視点(例えば、図7Hの708)に対する個別の空間構成を有する1つ以上のカメラの視野のプレビューを表示する(例えば、1つ以上のカメラの視野のプレビューは、コンピュータシステムがユーザの視点のポーズの変化の移動を検出する前に視野のプレビューが表示されたポジションに表示される)(例えば、1つ以上のカメラの視野のプレビューは、三次元環境の第1の部分にオーバーレイされて表示される)。いくつかの実施形態では、1つ以上のカメラの視野のプレビューのシフトを中止した後、1つ以上のカメラの視野のプレビューは、ユーザの視点が第2の閾値量よりも大きいレートで2回目にポーズを変化させていることをコンピュータシステムが検出したことに応じて、三次元環境の表現が変化する速度とは異なる速度で2回目に個別の空間構成から離れるようにシフトする。ユーザの視点が第2の閾値量未満でポーズを変更していることを検出したことに応じて、1つ以上のカメラの視野のプレビューをシフトすることを中止することは、コンピュータシステムに、ユーザの視野の中心であるそのディスプレイ上のロケーションに視野のプレビューを表示させ、これは、更なるユーザ入力を必要とすることなく動作を実行する。
【0227】
いくつかの実施形態では、(例えば、図7Fに関連して上記で説明されるような)ポーズの変化は、ユーザの視点の平面に沿った横方向の移動を含む(例えば、それに対応する)(例えば、ユーザの視点のポーズの変化は、ユーザの視点から左及び/又は右に移動するユーザの視点に対応する)。横方向におけるユーザの視点のポーズの変化に基づいて1つ以上のカメラの視野のプレビューをシフトすることは、コンピュータシステムが移動している方向に関する視覚的フィードバックを提供し、これは、改善された視覚的フィードバックを提供する。
【0228】
いくつかの実施形態では、(例えば、図7Fに関連して上記で説明されるような)ポーズの変化は、ユーザの視点の平面に沿った長手方向の移動を含む(例えば、それに対応する)(例えば、ユーザの視点のポーズの変化は、ユーザの視点が上方及び/又は下方に移動することに対応する)。いくつかの実施形態では、ユーザが第1のポーズにある間に、ユーザの頭部は、地面から第1の距離に位置し、ユーザが第2のポーズにある間に、ユーザの頭部は、地面から第1の距離より大きい/小さい第2の距離に位置する)。長手方向におけるユーザの視点のポーズの変化に基づいて1つ以上のカメラの視野のプレビューをシフトすることは、コンピュータシステムが移動している方向に関する視覚的フィードバックを提供し、これは、改善された視覚的フィードバックを提供する。
【0229】
いくつかの実施形態では、(例えば、図7Fに関連して上記で説明されるような)ポーズの変化は、ユーザの視点の平面に垂直な前後移動を含む(例えば、それに対応する)(例えば、ユーザの視点のポーズの変化を検出することは、ユーザの視点が前方及び/又は後方に移動することに対応する)。いくつかの実施形態では、ユーザの視点が第1のポーズにある間に、コンピュータシステムは、物理的環境内で後方に移動し、これは、コンピュータシステムに、1つ以上のカメラの視野のプレビューを表示することを中止させる。ユーザの視点のポーズの変化に基づいて1つ以上のカメラの視野のプレビューを前方向及び後方向にシフトすることは、コンピュータシステムが移動している方向に関する視覚的フィードバックを提供し、これは、改善された視覚的フィードバックを提供する。
【0230】
いくつかの実施形態では、1つ以上のカメラ(例えば、708)の視野のプレビューは、ユーザの視点から可視である三次元環境の第2の部分(例えば、図7Fの第2の個人709c2を含む704の部分)にオーバーレイしない。いくつかの実施形態では、三次元物理的環境は、ユーザが現在位置している現実世界環境である。いくつかの実施形態では、カメラプレビューは、物理世界のビューの少なくとも一部分をカバーし、一方、物理世界のビューの少なくとも一部分は、カメラプレビューの縁部の近くに又はそれに隣接して表示される。三次元環境の少なくとも一部分が可視である間に1つ以上のカメラの視野のプレビューを表示することは、物理的環境の認識も維持しながら、所望のメディアをより良好に構成し、キャプチャする能力をユーザに提供し、これは、メディアキャプチャ動作を改善し、キャプチャ動作が非効率的であるか、又は使用するのが困難である場合に見逃される可能性がある一時的なイベントをキャプチャすることができないリスクを低減する。メディアキャプチャ動作を改善することは、システムの操作性を向上させ、(例えば、ユーザが適切な入力を提供するのを助け、デバイスを動作させる/デバイスと対話するときのユーザの誤りを低減することによって)ユーザ-システムインタフェースをより効率的にする。
【0231】
いくつかの実施形態では、メディアキャプチャプレビュー(例えば、708)に含まれる三次元環境の表現は、(例えば、図7Gに関連して上述したように)ユーザの視点のポーズの変化に基づいて変化し、第1のポーズから第2のポーズへのユーザの視点のポーズの変化を検出しながら(例えば、図7Fに関連して上述したように)、コンピュータシステムは、(例えば、図7Fに関連して上述したように)1つ以上のカメラの視野のプレビューに含まれる(例えば、無意識の頭部の動き(例えば、第1のポーズから第2のポーズへのユーザの視点のポーズの変化に対応しないユーザによって行われる頭部モーメント)を平均化する(例えば、弱める)ために、三次元環境の表現に対して第1の視覚的安定化を行う(例えば、自動的に行う(例えば、ユーザ入力なしで)(例えば、第1の視覚的安定化はデジタル画像安定化に対応する))(例えば、三次元環境の表現に対して第1の視覚的安定化を行わない)。いくつかの実施形態では、第1の視覚的安定化は、ユーザの視点のポーズの変化に基づいて、コンピュータシステムと通信する1つ以上のカメラ内の1つ以上のガラス要素を調整する、光学画像安定化技術である。いくつかの実施形態では、第1の視覚的安定化は、ユーザの視点のポーズの変化に基づいて、メディアキャプチャプレビューに含まれる三次元環境の表現をズーム及び/又はクロッピングすることを含むデジタル安定化技術を含む。1つ以上のカメラの視野のプレビューに含まれる三次元環境の表現に第1の視覚的安定化を適用することは、コンピュータシステムに、ユーザ入力を必要とすることなく、1つ以上のカメラの視野に含まれる三次元環境の表現をユーザが見る鮮明度を高める表示動作を自動的に実行させ、これは、動作を実行するのに必要な入力の数を低減する。第1の視覚的安定化を三次元環境の表現に適用することは、メディアキャプチャ動作を改善し、キャプチャ動作が非効率的であるか又は使用するのが困難である場合に見逃される可能性がある一時的なイベントをキャプチャすることができないリスクを低減する。メディアキャプチャ動作を改善することは、システムの操作性を向上させ、(例えば、ユーザが適切な入力を提供するのを助け、デバイスを動作させる/デバイスと対話するときのユーザの誤りを低減することによって)ユーザ-システムインタフェースをより効率的にする。
【0232】
いくつかの実施形態では、第1の安定化を実行することは、1つ以上のカメラ(例えば、708)の視野のプレビューに含まれる三次元環境の表現に第1の量の視覚的安定化を適用することを含み、第1のポーズから第2のポーズへのユーザの視点のポーズの変化を検出している間(例えば、図7E図7Gに関連して上述したように)、コンピュータシステムは、三次元環境の表現(例えば、1つ以上のカメラの視野のプレビューに含まれない三次元環境の表現)の第2の部分に対して第2の視覚的安定化(例えば、第2の視覚的安定化はデジタル視覚的安定化に対応する)を(例えば、コンピュータシステムを介して)実行する(例えば、自動的に実行する(例えば、ユーザ入力なしで))(例えば、1つ以上のカメラの視野のプレビューに対して第2の視覚的安定化を実行しない)。いくつかの実施形態では、第2の視覚的安定化は、(例えば、図7Fに関連して上述したように)第1の量の視覚的安定化よりも少ない第2の量の視覚的安定化を三次元環境の表現の第2の部分に適用する(例えば、1つ以上のカメラの視野のプレビューに含まれる三次元環境の表現は、三次元環境の表現よりも鮮明である(例えば、より鮮明である))。いくつかの実施形態では、第2の視覚的安定化は、第1の視覚的安定化と同じプロセス(例えば、方法)である。いくつかの実施形態では、第1の視覚的安定化が実行されている間に第2の視覚的安定化が実行される。ユーザの視点のポーズの変化を検出しながら、三次元環境の表現の第2の部分に第2の視覚的安定化を適用することは、コンピュータシステムに、ユーザ入力を必要とすることなく、ユーザが三次元環境の表現の第2の部分を見る鮮明度を高める表示動作を自動的に実行させ、これは、動作を実行するために必要とされる入力の数を低減する。より少ない安定化を三次元環境の表現に適用することは、現在の物理的環境に関してより正確な視覚的フィードバックを提供し、これは視覚的フィードバックを改善する。
【0233】
いくつかの実施形態では、方法800、900、1000、1200、1400及び1500の態様/動作は、これらの方法の間で交換、置換、及び/又は追加され得る。例えば、方法800において表示されるメディアキャプチャプレビューは、方法900において説明される方法を使用して任意選択的にシフトされる。簡潔にするために、それらの詳細はここでは繰り返さない。
【0234】
図10は、いくつかの実施形態による、以前にキャプチャされたメディアを表示するための例示的な方法1000のフロー図である。いくつかの実施形態では、方法1000は、表示生成構成要素(例えば、図1図3、及び図4、並びに/又は図702の表示生成構成要素120)(例えば、ディスプレイコントローラ、タッチ感知ディスプレイシステム、ディスプレイ(例えば、一体化された及び/若しくは接続された)、3Dディスプレイ、透明ディスプレイ、プロジェクタ、ヘッドアップディスプレイ、並びに/又はヘッドマウントディスプレイ)と通信しているコンピュータシステム(例えば、図1のコンピュータシステム101及び/又はコンピュータシステム700)(例えば、スマートフォン、タブレット、並びに/又はヘッドマウントデバイス)で実行される。いくつかの実施形態では、コンピュータシステムは、1つ以上の視線追跡センサ(例えば、コンピュータシステムのユーザの視線の方向を追跡するように構成された光学カメラ及び/又はIRカメラ)と通信する。いくつかの実施形態では、方法1000は、非一時的(又は一時的)コンピュータ可読記憶媒体に記憶され、コンピュータシステム101の1つ以上のプロセッサ202(例えば、図1のコントロール110)などのコンピュータシステムの1つ以上のプロセッサによって実行される命令によって統制される。方法1000のいくつかの動作は、任意選択的に、組み合わされ、かつ/又はいくつかの動作の順序は、任意選択的に、変更される。
【0235】
エクステンデッドリアリティ環境ユーザインタフェースを表示している間に、コンピュータシステムは、1つ以上の視点の個別の範囲から見たときに、ユーザがコンテンツ(例えば、没入型又は半没入型視覚メディア、三次元メディア、三次元ステレオメディア、及び/又は空間メディア)(例えば、ユーザ及び/又はコンピュータシステムの配向の検出された変化に応じて複数の透視図から提示することができるビデオコンテンツ)によって少なくとも部分的に取り囲まれているという視覚的キューの第1のセット(例えば、深度の視覚的インジケーション、透視図の視覚的インジケーション、ユーザの視点の配向のシフトに対する視覚的応答)を提供する没入コンテンツ(例えば、730)を含むキャプチャされたメディアを(例えば、図7Kに関連して上述したように)表示する要求を検出する(1002)。いくつかの実施形態では、メディアコンテンツは、没入型又は半没入型視覚メディアである。いくつかの実施形態では、没入型又は半没入型視覚メディアは、所与の時点において、物理的環境内の同一の第1の点(例えば、ロケーション)からキャプチャされた複数の透視図に対するコンテンツを含む、視覚メディアである。いくつかの実施形態では、没入型(例えば、一人称)透視図から視覚メディアを再生(例えば、プレイバック)することは、所与の時点において、物理的環境内の第1の点に一致する透視図からメディアコンテンツを再生することを含み、ユーザ入力に応じて、全て物理的環境内の第1の点から、複数の異なる透視図(例えば、視野)を提供することができる。いくつかの実施形態では、非没入型(例えば、三人称)透視図から視覚メディアを再生することは、物理的環境内の第1の点以外の透視図からメディアコンテンツを再生すること(例えば、(例えば、ユーザ入力に応じて生じる)透視図のシフト)を含む。いくつかの実施形態では、非没入型透視図で再生している間に、物理的環境内の第1の点に対応する複数の透視図は、ユーザ入力に応じて表示されない。いくつかの実施形態では、キャプチャされたメディアを再生する要求を検出することの一部が検出されると、コンピュータシステムは、コンピュータシステム上の1つ以上のロケーション(例えば、1つ以上の仮想オブジェクトに対応する1つ以上のロケーション)へのユーザの注意(例えば、ユーザの視線及び/又はユーザの視点)を検出し、コンピュータシステム上に位置決めされた及び/又はコンピュータシステムに結合された1つ以上のハードウェア入力機構への1つ以上の入力を検出し、かつ/又はキャプチャされたメディアを再生することに向けられた1つ以上の音声コマンドを検出する。いくつかの実施形態では、メディアは、図7C図7Dに関連して上記で説明されるような1つ以上の技術を使用してキャプチャされた)。いくつかの実施形態では、キャプチャされたメディアは、非没入型ではない(例えば、没入型視覚メディアではない、及び/又は半没入型視覚メディアではない)。いくつかの実施形態では、非没入型ビデオメディアは、ユーザ及び/又はコンピュータシステムの配向の検出された変化に応じて複数の透視図から提示することができないビデオコンテンツである。いくつかの実施形態では、非没入型ビデオメディアは、コンピュータシステムがコンピュータシステム及び/又はコンピュータシステムのユーザの配向の変化を検出するか否かに関わらず、1つの透視図(例えば、一人称透視図又は三人称透視図)のみで提示することができる。
【0236】
キャプチャされたメディアを表示するための要求を検出したことに応じて、コンピュータシステムは、ユーザの第1の視点(例えば、712)が1つ以上の視点(例えば、非没入型透視図)(例えば、三人称透視図)の個別の範囲の外側にあるように、コンピュータシステムによって選択された三次元環境内のロケーション(例えば、701内の740aのロケーション)に表示されるキャプチャされたメディアの三次元表現(例えば、740)(例えば、非静的表現)としてキャプチャされたメディアを表示する(1004)(再生されているキャプチャメディアを表示する)。いくつかの実施形態では、キャプチャされたメディアの三次元表現は、(例えば、図7Cに関連して上述したような1つ以上の技術を使用して)以前に表示された(例えば、キャプチャされたメディアを再生するための要求が受信される前に表示された)環境(例えば、仮想環境及び/又は物理的環境)の表現の1つ以上の部分を置き換える。いくつかの実施形態では、コンピュータシステムは、(例えば、図7Cに関連して上述したように)シャッタボタン仮想オブジェクトの上に、及び/又は表示生成構成要素の中心に、キャプチャされたメディアの三次元表現を表示する。いくつかの実施形態では、キャプチャメディアを表示する要求を検出したことに応じて、コンピュータシステムは、以前にキャプチャされたメディアアイテムの複数の表現を、キャプチャされたメディアの三次元表現と同時に表示する。いくつかの実施形態では、キャプチャされたメディアを再生する要求を受信したことに応じて、コンピュータシステムは、キャプチャされたメディアの表現(例えば、静的表現)の表示を中止させる。キャプチャされたメディアを三次元表現として規定された条件のセットを満たすロケーション(例えば、ロケーションが1つ以上の視点の個別の範囲の外側にある)に表示することは、コンピュータシステムが、ユーザ入力なしに非没入型透視図から三次元表現を提示することを自動的に可能にし、これは、動作を実行するのに必要な入力の数を低減する。そうすることはまた、最初に表示された視点が1つ以上の視点の個別の範囲内にないという改善された視覚的フィードバックを提供する。
【0237】
いくつかの実施形態では、コンピュータシステムによって選択されたロケーションは、物理的環境内のロケーション(例えば、701における740aのロケーション)であり、キャプチャされたメディアの三次元表現は、環境ロックされた仮想オブジェクトであり、キャプチャされたメディアの三次元表現を表示している間に、コンピュータシステムは、ユーザの視点が変化したことを検出する(例えば、図7K図7Pに関連して上述したように)(例えば、ユーザが現実世界環境内で左/右、上/下、及び/又は手前/奥に移動する)(例えば、ユーザが上、下、右、又は左を見る)(例えば、コンピュータシステムに統合された1つ以上のカメラの視野が変化した)(例えば、コンピュータシステムに統合された1つ以上のカメラを介して検出する)(例えば、コンピュータシステムと通信(例えば、無線通信)している外部デバイス(例えば、スマートウォッチ、1つ以上のカメラ、及び/又は外部コンピュータシステム)を介して検出する)。いくつかの実施形態では、ユーザの視点が変化したことを検出したことに応じて、コンピュータシステムは、キャプチャされたメディアの三次元表現の表示を、(例えば、図7Kに関連して上述したように)コンピュータシステムによって選択された三次元環境内のロケーションに維持する。いくつかの実施形態では、三次元表現は環境ロックされている)。いくつかの実施形態では、ユーザの視点が変化したことを検出したことに応じて、キャプチャされたメディアの三次元表現のサイズが変化する(例えば、キャプチャされたメディアの三次元表現がより大きく及び/又はより小さく表示される)。いくつかの実施形態では、ユーザの視点が変化したことを検出したことに応じて、キャプチャされたメディアの三次元表現は表示されなくなる。ユーザの視点が変化したことを検出したことに応じて、コンピュータシステムによって選択された三次元環境内のロケーションにおけるキャプチャされたメディアの三次元表現の表示を維持することは、コンピュータシステムに、ユーザがユーザ入力を必要とすることなくキャプチャされたメディアの三次元表現のビューを移動及び維持することを可能にする表示動作を自動的に実行させ、これは、動作を実行するために必要とされる入力の数を低減する。
【0238】
いくつかの実施形態では、ユーザの第1の視点は、コンピュータシステムによって選択されたロケーションから第1の距離(例えば、10メートル、5メートル、又は3メートル)にある第1の視点ロケーションに対応し、コンピュータシステムによって選択されたロケーション(例えば、図7Kの740のロケーション)にキャプチャされたメディアの三次元表現を表示している間に、及びユーザが第1の視点ロケーションにいる間に、コンピュータシステムは、コンピュータシステムによって選択されたロケーションから第2の距離(例えば、5メートル、3メートル、又は1メートル)である第2の視点ロケーションに対応するユーザの第2の視点に対するユーザの視点のポーズの変化(例えば、ユーザの身体全体の再位置決め、ユーザの身体の一部(例えば、頭部、手、腕、及び/又は脚)の再位置決め、ユーザの頭部の再位置決め)を検出し(例えば、ユーザの位置決めの変化は、上述のように、ユーザの1つ以上のカメラ及び/又は外部デバイスによって検出される)、第2の距離は、第1の距離未満である(例えば、図7Lで上述されるように)。いくつかの実施形態では、ユーザの第2の視点に対するユーザの視点のポーズの変化を検出したことに応じて、コンピュータシステムは、ユーザがコンテンツによって少なくとも部分的に取り囲まれているという視覚的キューの第2のセット(例えば、図7Lの740)を有する三次元表現を表示する。いくつかの実施形態では、視覚的キューの第2のセットは、ユーザの第1の視点(例えば、図7Lの740)から見たときに、三次元表現を表示している間に提供されないコンテンツによってユーザが少なくとも部分的に取り囲まれているという第2の視覚的キューを少なくとも含む。いくつかの実施形態では、ユーザの視点がコンピュータシステムによって選択されたロケーションに近づくにつれて、キャプチャされたメディアの三次元表現は、(ユーザの視点が視覚的キューの第1のセットを提供する1つ以上の視点の範囲内にあるときよりも没入度は低いが)より没入度が高くなる。いくつかの実施形態では、視覚的キューの第2のセットは、ユーザが視覚的キューの第1のセットに含まれるコンテンツによって少なくとも部分的に取り囲まれているという少なくとも第1の視覚的キュー(例えば、深度の視覚的インジケーション、透視図の視覚的インジケーション、ユーザの視点の配向のシフトに対する視覚的応答)を含まない。いくつかの実施形態では、視覚的キューの第2のセットは、ユーザが視覚的キューの第1のセットに含まれるコンテンツによって少なくとも部分的に取り囲まれているという少なくとも第1の視覚的キュー(例えば、深度の視覚的インジケーション、透視図の視覚的インジケーション、ユーザの視点の配向のシフトに対する視覚的応答)を含まない。ユーザがコンピュータシステムによって選択されたロケーションに近づくにつれて、異なる視覚的キューのセットを用いて三次元表現を表示することにより、コンピュータシステムは、ユーザ入力を必要とすることなく、コンピュータによって選択されたロケーションに対するユーザの視点のロケーションに基づいて、キャプチャされたメディアの三次元表現をユーザが異なるように知覚することを可能にする表示動作を自動的に実行し、これは、更なるユーザ入力を必要とすることなく動作を実行する。ユーザがコンピュータシステムによって選択されたロケーションに近づくにつれて、異なる視覚的キューのセットを用いて三次元表現を表示することは、三次元表現が没入型透視図から表示されるように、ユーザがどのようなアクションを取る必要があるかに関する視覚的フィードバックをユーザに提供し、改善された視覚的フィードバックを提供する。
【0239】
いくつかの実施形態では、ユーザが第2の視点ロケーションにいる間に、かつキャプチャされたメディアの三次元表現が表示されている間に、コンピュータシステムは、(例えば、図7Mに関連して上述したように)第3の視点ロケーションに対応するユーザの第3の視点に対するユーザの視点のポーズの変化を検出する。いくつかの実施形態では、ユーザの第3の視点に対するユーザの視点のポーズの変化を検出したことに応じて、表示基準の第1のセットであって、第3の視点ロケーションとコンピュータシステムによって選択されたロケーションとの間の距離が第1の閾値距離(例えば、0.1メートル、0.5メートル、1メートル、2メートル、3メートル)よりも大きい(例えば、ユーザがコンピュータシステムによって選択されたロケーションを通過する)ときに満たされる第1の基準を含む、表示基準の第1のセットが満たされているという判定に従って、コンピュータシステムは、キャプチャされたメディアの三次元表現を(例えば、図7Mに関して上述したように)表示することを中止する。いくつかの実施形態では、ユーザの第2の視点からユーザの第3の視点へのポーズの変化は、ユーザの第1の視点からユーザの第2の視点へのポーズの変化と同じ方向(例えば、同じ平面に沿って)(同じ経路に沿って)である(例えば、ユーザの第1の視点からユーザの第2の視点へのポーズの変化についてのベクトルの方向成分は、ユーザの第2の視点からユーザの第3の視点へのポーズの変化についてのベクトルの方向成分と同じである)。いくつかの実施形態では、ユーザの第3の視点に対するユーザの視点のポーズの変化を検出したことに応じて、表示基準の第1のセットが満たされていないという判定に従って、コンピュータシステムは、キャプチャされたメディアの三次元表現の表示を維持する。いくつかの実施形態では、コンピュータシステムは、第3の視点ロケーションからコンピュータシステムによって選択されたロケーションまでの距離が第1の閾値距離よりも大きいときに、キャプチャされたメディアの三次元表現を表示することを中止する。いくつかの実施形態では、表示基準の第1のセットは、コンピュータシステムによって選択されたロケーションがユーザの第3の視点から可視ではない(例えば、コンピュータシステムによって選択されたロケーションがもはやユーザの前にない)ときに満たされる基準を含む。第3の視点ロケーションとコンピュータシステムによって選択されたロケーションとの間の距離が第1の閾値距離よりも大きいという判定に従って三次元表現を表示するのを中止することは、ロケーション(例えば、コンピュータシステムによって選択されたポジションに対するコンピュータシステムのポジション)に関する視覚的フィードバックを提供し、これは、改善された視覚的フィードバックを提供する。
【0240】
いくつかの実施形態では、ユーザが第2の視点ロケーションにいる間に、かつキャプチャされたメディアの三次元表現が表示されている間に、コンピュータシステムは、(例えば、図7Pに関連して上述したように)第4の視点ロケーションに対応するユーザの第4の視点に対するユーザの視点のポーズの変化を検出する。いくつかの実施形態では、ユーザの第4の視点に対するユーザの視点のポーズの変化を検出したことに応じて、表示基準の第2のセットであって、第4の視点ロケーションとコンピュータシステムによって選択されたロケーションとの間の距離が第2の閾値距離(例えば、0.1メートル、0.5メートル、1メートル、2メートル、又は3メートル)未満である(例えば、ユーザがコンピュータシステムによって選択されたロケーションに向かって移動する)ときに満たされる第2の基準を含む、表示基準の第2のセットが満たされているという判定に従って、コンピュータシステムは、コンピュータシステムによって選択されたロケーションよりも第4の視点ロケーションから遠い、コンピュータシステムによって選択された個別のロケーションに、キャプチャされたメディアの三次元表現を表示する(例えば、図7Pに関連して上述したように)(例えば、キャプチャされたメディアの三次元表現は、ユーザの現在ロケーションから離れるように移動される)。いくつかの実施形態では、個別のロケーションは、ユーザの第4の視点から可視である物理的環境内のロケーションである。いくつかの実施形態では、表示基準の第2のセットは、コンピュータシステムによって選択されたロケーションがユーザの第4の視点から可視ではない(例えば、コンピュータシステムによって選択されたロケーションがもはやユーザの前にない)ときに満たされる基準を含む。いくつかの実施形態では、個別のロケーションは、ユーザの第4の視点から可視であるロケーションである。いくつかの実施形態では、コンピュータシステムは、第4の視点ロケーションからコンピュータシステムによって選択されたロケーションまでの距離が第2の閾値距離よりも大きいときに、コンピュータシステムによって選択された個別のロケーションにキャプチャされたメディアの三次元表現を表示する。いくつかの実施形態では、視点ロケーションが三次元表現のロケーションを過ぎて移動したという判定に従って(例えば、第4の視点ロケーションとコンピュータシステムによって選択されたロケーションとの間の距離が第3の閾値距離よりも大きい(又は小さい)とき)、コンピュータシステムは、コンピュータシステムによって選択されたロケーションよりも第4の視点ロケーションから遠い、コンピュータシステムによって選択された個別のロケーションに、キャプチャされたメディアの三次元表現を表示する。いくつかの実施形態では、ユーザの第2の視点からユーザの第4の視点へのポーズの変化は、ユーザの第1の視点からユーザの第2の視点へのポーズの変化と同じ方向である(例えば、ユーザの第1の視点からユーザの第2の視点へのポーズの変化のベクトルの方向成分は、ユーザの第2の視点からユーザの第4の視点へのポーズの変化のベクトルの方向成分と同じである))。特定の規定された条件が満たされたときに、コンピュータシステムによって選択されたロケーションよりも第4の視点ロケーションから遠い、コンピュータシステムによって選択された個別のロケーションにキャプチャされたメディアの三次元表現を表示することは、キャプチャされたメディアの三次元表現がユーザによって容易に閲覧可能であるように、三次元表現の表示を自動的に変更し、これは、更なるユーザ入力を必要とすることなく、条件のセットが満たされたときに動作を実行する。コンピュータシステムによって選択されたロケーションよりも第4の視点ロケーションから遠い個別のロケーションでキャプチャされたメディアの三次元表現を表示することは、コンピュータシステムのロケーション(例えば、計算システムによって選択されたポジションに対するコンピュータシステムのポジション)に関する視覚的フィードバックをユーザに提供し、これは、改善された視覚的フィードバックを提供する。
【0241】
いくつかの実施形態では、ユーザの第1の視点は、コンピュータシステムによって選択されたロケーションから第5の距離である第5の視点ロケーションに対応し、コンピュータによって選択されたロケーションにキャプチャされたメディアの三次元表現を表示し、ユーザが第5の視点ロケーションにいる間に、コンピュータシステムは、コンピュータシステムによって選択されたロケーションから第6の距離である第6の視点ロケーションに対応するユーザの第6の視点に対するユーザの視点のポーズの変化(例えば、ユーザの身体全体の再位置決め、ユーザの身体の一部(例えば、頭部、手、腕、脚)の再位置決め、ユーザの頭部の再位置決め)を検出する(例えば、ユーザの位置決めの変化は、上述のようにユーザの1つ以上のカメラ及び/又は外部デバイスによって検出される)(例えば、図7Pに関連して上述したように)。いくつかの実施形態では、ユーザの第6の視点へのユーザの視点のポーズの変化を検出したことに応じて、コンピュータシステムは、ユーザがコンテンツによって少なくとも部分的に取り囲まれているという視覚的キューの第3のセットを有する三次元表現を表示する。いくつかの実施形態では、ユーザの視点がコンピュータシステムによって選択されたロケーションから更に移動するにつれて、キャプチャされたメディアの三次元表現は、(ユーザの視点が視覚的キューの第1のセットを提供する1つ以上の視点の範囲内にあるときよりも没入度が低いが)没入度が低くなる。いくつかの実施形態では、視覚的キューの第3のセットは、視覚的キューの第1のセットに含まれるコンテンツによってユーザが少なくとも部分的に取り囲まれているという第3の視覚的キューを少なくとも含まない。いくつかの実施形態では、視覚的キューの第3のセットは、ユーザの第1の視点から見たときに三次元表現を表示している間に提供されたコンテンツによってユーザが少なくとも部分的に取り囲まれているという少なくとも第4の視覚的キューを含まない。ユーザがコンピュータシステムによって選択されたロケーションから更に移動すると、異なる視覚的キューのセットを有する三次元表現を表示することは、コンピュータシステムに、追加のコントロールを表示することなく、ユーザの視点に基づいて、ユーザがキャプチャされたメディアの三次元表現を異なって知覚することを可能にする表示動作を実行させ、これは、ユーザインタフェースを混乱させることなく、追加のコントロールオプションを提供する。
【0242】
いくつかの実施形態では、キャプチャされたメディアの三次元表現は、第1の仮想オブジェクト及び第2の仮想オブジェクトを含む、複数の仮想オブジェクトを含み、コンピュータシステムは、ユーザの第7の視点に対するユーザの視点のポーズの変化(例えば、ユーザの全身の位置決めの変化、ユーザの身体の第1の部分の位置決めの変化)(例えば、ユーザの視点の変化)を検出する(例えば、ユーザの横方向の移動、ユーザの左右移動、及び/又は水平面に沿ったユーザの移動)。いくつかの実施形態では、ユーザの第7の視点に対するユーザの視点のポーズの変化を検出したことに応じて、コンピュータシステムは、表示生成構成要素を介して、ユーザのポーズの変化に基づいて、第2の仮想オブジェクト(例えば、740のコンテンツの背景)に対して移動する第1の仮想オブジェクト(例えば、740のコンテンツの前景)を表示する(例えば、図7Kに関連して上述したように)(例えば、ユーザの視点のポーズが変化するにつれて第1及び第2の仮想オブジェクトが異なるようにシフトする視差効果を表示する)(例えば、第1の仮想オブジェクトは、キャプチャされたメディアの三次元表現の前景に表示され、ユーザの視点のポーズの変化に基づく第1の可変速度で移動し、第2の仮想オブジェクトは、キャプチャされたメディアの三次元表現の背景に表示され、ユーザの視点のポーズの変化に基づく第2の可変速度で移動する)。いくつかの実施形態では、第1の可変速度は、任意の時点において、第2の可変速度よりも大きい。ユーザの視点のポーズの変化を検出したことに応じて、第2の仮想オブジェクトに対して移動する第1の仮想オブジェクトを表示することは、キャプチャされたメディアに関連付けられた深度データに関する視覚的フィードバックをユーザに提供し、これは、改善された視覚的フィードバックを提供する。
【0243】
いくつかの実施形態では、キャプチャされたメディア(例えば、740)の三次元表現は、第1のタイプの投影(例えば、第1のタイプの形状)として表示され、キャプチャされたメディアの三次元表現を第1の投影形状として表示している間に、コンピュータシステムは、第1のタイプの投影とは異なる(例えば、異なる形状、異なるサイズ、及び/又は異なるロケーションに表示される)第2のタイプの投影として三次元表現を表示する要求(例えば、736の選択)(例えば、仮想矢印オブジェクトの選択)(例えば、仮想オブジェクトの選択に対応する1つ以上のジェスチャ)を検出する。いくつかの実施形態では、三次元表現を第2のタイプの投影として表示する要求を検出したことに応じて、コンピュータシステムは、三次元表現を第2のタイプの投影として(例えば、図7Kに関連して上述したように)表示する。いくつかの実施形態では、第2のタイプの投影として三次元表現を表示することは、三次元表現が第1のタイプの投影として表示されるときよりも少ないキャプチャされたメディアを表示することを含む。いくつかの実施形態では、三次元表現を第1のタイプの投影(例えば、球形投影)として表示することは、キャプチャされたメディアの三次元表現を投影の縁部に沿って歪ませることを含み、三次元表現を第2のタイプの投影(例えば、平坦化された投影)として表示することは、キャプチャされたメディアの三次元表現を歪ませることを含まない。いくつかの実施形態では、三次元表現を第1のタイプの投影(例えば、球面投影)として表示することは、キャプチャされたメディアを3つの軸(例えば、x軸、y軸、及びz軸)に沿って表示することを含み、三次元表現を第2のタイプの投影(例えば、平面投影)として表示することは、キャプチャされたメディアを2つの軸(例えば、y軸及びz軸)に沿って表示することを含む。第2のタイプ又は投影として三次元表現を表示することは、コンピュータシステムの状態に関する視覚的フィードバックを提供し(例えば、コンピュータシステムは、三次元表現が第1の投影形状として表示されている間に、第2のタイプの投影として三次元表現を表示する要求を検出した)、これは、改善された視覚的フィードバックを提供する。
【0244】
いくつかの実施形態では、第1のタイプの投影及び第2のタイプの投影は、独立して、球形ステレオ投影(例えば、図7Kに関連して上述したように)及び平坦形状ステレオ投影(例えば、図7I及び7Jにおける730の形状)からなる群から選択される。
【0245】
いくつかの実施形態では、キャプチャされたメディアの三次元表現は、第1のサイズ(例えば、図7Kの740)で表示され、第1のサイズで三次元表現を表示している間に、コンピュータシステムは、(例えば、コンピュータシステムに統合された1つ以上のカメラを介して)1つ以上のジェスチャ(例えば、ピンチ及び/又はデピンチ)(例えば、XR環境における仮想オブジェクトの選択に関して上述したように)(例えば、タッチ感知面上の1つ以上のハンドジェスチャ又は1つ以上のエアジェスチャ)のセットを検出する(例えば、図7Kにおいて上述したように)。いくつかの実施形態では、1つ以上のジェスチャのセットを検出したことに応じて、コンピュータシステムは、キャプチャされたメディアの三次元表現の表示を、第1のサイズよりも大きい第2のサイズ(例えば、図7Lの740のサイズ)に拡大する。いくつかの実施形態では、1つ以上のハンドジェスチャのセットを検出したことに応じて、三次元表現のサイズが縮小される。いくつかの実施形態では、キャプチャされたメディアの三次元表現を第2のサイズで表示することは、エクステンデッドリアリティ実環境ユーザインタフェースの所定の量又は全て(例えば、全体)よりも多くをカバーする。(例えば、XR環境における仮想オブジェクトの選択に関して上述したように)1つ以上のジェスチャ(例えば、エアジェスチャ、エアモーション)のセットを検出したことに応じて、キャプチャされたメディアの三次元表現の表示を拡大することは、コンピュータシステムに、追加のコントロールを表示することなしに表示動作を実行させ、これは、ユーザインタフェースを混乱させることなしに追加のコントロールオプションを与える。1つ以上のジェスチャのセットを検出したことに応じて、キャプチャされたメディアの三次元表現の表示を拡大することは、コンピュータシステムの状態に関する視覚的フィードバックを提供し(例えば、コンピュータシステムは、三次元表現が第1のサイズで表示されている間に三次元表現の表示を拡大する要求を検出した)、これは、改善された視覚的フィードバックを提供する。
【0246】
いくつかの実施形態では、1つ以上のジェスチャのセットを検出する前に、エクステンデッドリアリティ環境ユーザインタフェースは、物理的環境(例えば、図7Kの709c1)(例えば、コンピュータシステムのロケーションに対応する物理的環境)の表現(例えば、仮想表現及び/又は光学表現)の第1の部分を含み、キャプチャされたメディアの三次元表現の表示を第1のサイズよりも大きい第2のサイズに拡大することは、物理的環境の表現の第1の部分(例えば、図7Lの709c1)の代わりに、キャプチャされたメディアの三次元表現(例えば、表現の部分)を第2のサイズ(例えば、図7Lの740)に表示することを含む。いくつかの実施形態では、1つ以上のハンドジェスチャのセットを検出したことに応じて、物理的環境の表現(例えば、物理的環境の表現の全体)は、第2のサイズでの三次元表現の表示に置き換えられる。いくつかの実施形態では、1つ以上のハンドジェスチャのセットを検出したことに応じて、物理的環境の表現のより多くが可視である。物理的環境の表現の第1の部分の代わりにキャプチャされたメディアの三次元表現を表示することは、ユーザが明示的な関心を表明していないコンテンツ(例えば、物理的環境の表現の第1の部分)を除去することによって、キャプチャされたメディアの三次元表現に関するより集中した視覚的フィードバックをユーザに提供し、これは、改善された視覚的フィードバックを提供する。
【0247】
いくつかの実施形態では、キャプチャされたメディア(例えば、740)の三次元表現が表示されている間に、コンピュータシステムは、移動成分(例えば、ピンチ(例えば、2本の指を互いに隣り合わせに置くこと、及び/又は2本の指を互いに近づける移動)及びドラッグジェスチャ(例えば、つままれた手の移動)(例えば、コンピュータシステムと通信する1つ以上のカメラによって検出する)を含む1つ以上のジェスチャの第2のセット(例えば、ユーザ(例えば、コンピュータシステムのユーザ)によって実行される1つ以上のジェスチャの第2のセット)を検出する(例えば、図7Kにおいて上述したように)。いくつかの実施形態では、1つ以上のジェスチャの第2のセットを検出したことに応じて、コンピュータシステムは、キャプチャされたメディアの三次元表現を表示することを中止し、コンピュータシステムは、コンピュータシステムによって選択されたロケーション(例えば、740a)に、(例えば、キャプチャされたメディアの三次元表現とは異なる)第2のキャプチャされたメディア(例えば、743における以前にキャプチャされたメディアアイテムのうちの1つ)の第2の三次元表現を表示する(例えば、第2のキャプチャされたメディアの第2の三次元表現は、モーション入力に対応する1つ以上のジェスチャのセットを検出する前に表示されなかった)。いくつかの実施形態では、モーション入力に対応する1つ以上のジェスチャのセットを検出する前に、キャプチャされたメディアの三次元表現と第2のキャプチャされたメディアの第2の三次元表現とが同時に表示される。いくつかの実施形態では、1つ以上のジェスチャは、(例えば、XR環境における仮想オブジェクトの選択に関して上述したような)エアジェスチャを含む。1つ以上のジェスチャ(例えば、エアジェスチャ、エアモーション)の第2のセットを検出したことに応じて、メディアアイテムの第1の表現の表示をメディアの第2の表現と置き換えることは、コンピュータシステムに、追加のコントロールを表示することなく表示動作を実行させ、これは、ユーザインタフェースを混乱させることなく追加のコントロールオプションを提供する。
【0248】
いくつかの実施形態では、キャプチャされたメディア(例えば、740)の三次元表現としてキャプチャされたメディアを表示している間に、コンピュータシステムは、キャプチャされたメディアを再生する(例えば、コンピュータシステム及び/又は外部デバイスを使用してキャプチャされたメディアを再生する)要求を受信する。いくつかの実施形態では、キャプチャされたメディアを再生する要求を受信したことに応じて、キャプチャされたメディアがオーディオデータを含むという判定に従って、コンピュータシステムは、キャプチャされたメディアを再生し、キャプチャされたメディアアイテムの再生は、オーディオデータに対応する空間オーディオ(例えば、図7Kに関連して上述したような)(例えば、ユーザの視点及び/又はポジションが変化しても、ユーザが物理的環境内の1つ以上の固定ロケーション及び/又は方向から生じると知覚するオーディオ)を出力することを含む(例えば、オーディオデータは、ユーザが各チャネルの出力をユーザのポジションを取り囲むそれぞれの空間ポジションから生じると知覚する様々なチャネルを含み、各チャネルが生じる空間ポジションは、コンピュータシステムに現実世界環境内のユーザの頭部の移動に基づいてそれぞれのチャネルを可聴的に強調させるコンピュータシステムのポジションにロックされる)(例えば、指向性オーディオフィルタを使用して調整されたオーディオ信号)(例えば、空間オーディオは、コンピュータシステムに統合されたスピーカを介して出力される)(例えば、空間オーディオは、コンピュータシステムと通信するスピーカを介して出力される)。いくつかの実施形態では、空間オーディオの出力は、物理的環境に対するコンピュータシステムの位置決めに依存する(例えば、基づく)。特定の規定された条件が満たされたときに空間オーディオを出力することは、入力を実行することなくユーザが三次元オーディオサウンドを聞くことを可能にするオーディオ出力動作を実行する能力をコンピュータシステムに自動的に提供し、それは、更なるユーザ入力を必要とすることなく条件のセットが満たされたときに動作を実行する。
【0249】
いくつかの実施形態では、コンピュータシステムは、外部デバイス(例えば、テレビ、ラップトップ、スマートフォン、スマートウォッチ)(例えば、コンピュータシステムとは別個のデバイス)と通信し、キャプチャされたメディアは、深度データを含む(例えば、キャプチャされたメディアアイテムは、立体視メディアアイテム(例えば、2つの異なるカメラ(又はカメラのセット)から同時にキャプチャされたメディアを含むメディアアイテムであり、キャプチャされたメディアをキャプチャされたメディアの三次元表現(例えば、740)として表示している間に、コンピュータシステムは、キャプチャされたメディアを外部デバイス上で再生する要求を受信する。いくつかの実施形態では、外部デバイス上でキャプチャされたメディアを再生する要求を受信したことに応じて、かつ外部デバイスがキャプチャされたメディアに含まれる深度データを表示することができないという判定に従って、コンピュータシステムは、(例えば、図7Kに関連して上述したように)立体視深度効果なしで、外部デバイス上でキャプチャされたメディアの再生を開始する(例えば、キャプチャされたメディアは深度データなしで外部デバイス上で再生される)。外部デバイス上でキャプチャされたメディアの再生を開始することは、コンピュータシステムの状態に関する視覚的フィードバックを提供し(例えば、コンピュータシステムは、キャプチャされたメディアが三次元表現として表示されている間に、外部デバイス上でキャプチャされたメディアを再生する要求を受信している)、これは、改善された視覚的フィードバックを提供する。
【0250】
いくつかの実施形態では、外部デバイス上でキャプチャされたメディアを再生することは、キャプチャされたメディアに対応する空間オーディオを出力することを含む。
【0251】
いくつかの実施形態では、コンピュータシステムは、デフォルト瞳孔間距離値設定(例えば、60mm、64mm、又は68mmなどの58mm~70mmの値)を有し、コンピュータシステムは、キャプチャされたメディアを再生する(例えば、コンピュータシステム及び/又は外部デバイス(例えば、深度データを含むメディアアイテムを再生することが可能な外部デバイス)を使用して、キャプチャされたメディアを再生する)要求を検出する。いくつかの実施形態では、キャプチャされたメディアを再生する要求を検出したことに応じて、ユーザの目がデフォルト瞳孔間距離値設定とは異なる(例えば、より大きい及び/又はより小さい)瞳孔間距離値を有する(例えば、デフォルト瞳孔間距離値設定とユーザの目の瞳孔間距離値との間の差が所定の閾値を上回る)という判定に従ってコンピュータシステムは、ユーザの瞳孔間距離に基づく第1の量の視覚的シフト(例えば、キャプチャされたメディアがユーザの左目と比較してユーザの右目にどのように表示されるかのシフト)でキャプチャされたメディアアイテムの再生を開始する(例えば、キャプチャされたメディアの再生は、キャプチャされたメディアアイテムがキャプチャされたスケールとは異なるスケールで表示される)(例えば、図7Kに関連して上述したように、第1の量のシフトは、デフォルトの瞳孔間距離値設定とユーザの目の瞳孔間距離の値との間の差に相関する)。いくつかの実施形態では、キャプチャメディアを再生する要求を検出したことに応じて、かつユーザの目がデフォルト瞳孔間距離値と同じ(例えば、又は閾値差以内)である瞳孔間距離値を有するという判定に従って、第1のシフト量を伴わずにキャプチャされたメディアアイテムの再生を開始する。いくつかの実施形態では、ユーザの瞳孔間距離値が第1の瞳孔間距離値であるという判定に従って、コンピュータシステムは、第2のシフト量でキャプチャされたメディアアイテムの再生を開始し、ユーザの瞳孔間距離値が第1の瞳孔間距離値とは異なる第2の瞳孔間距離値であるという判定に従って、コンピュータシステムは、第2のシフト量とは異なる第3のシフト量でキャプチャされたメディアアイテムの再生を開始する。ユーザの瞳孔間距離値が瞳孔間距離値と一致しないときに、キャプチャされたメディアアイテムを第1のシフト量で再生することは、コンピュータシステムに、追加のユーザ入力を必要とすることなくユーザがメディアアイテムの再生をより容易に見ることを可能にする再生動作を実行させ、これは、ユーザインタフェースを混乱させることなく追加の制御オプションを提供する。
【0252】
いくつかの実施形態では、方法800、900、1000、1200、1400、及び1500の態様/動作は、これらの方法の間で交換、置換、及び/又は追加され得る。例えば、方法800においてキャプチャされるビデオメディアアイテムは、方法1000においてキャプチャされたメディアの三次元表現であってもよい。簡潔にするために、それらの詳細はここでは繰り返さない。
【0253】
図11A図11Dは、いくつかの実施形態による、記録インジケータを用いて物理的環境の表現を表示するための例示的な技術を示す。図11A図11Dのユーザインタフェースは、図12のプロセスを含む、以下で説明するプロセスを示すために使用される。
【0254】
図11Aは、物理的環境においてディスプレイ702を含むコンピュータシステム700を保持しているユーザ712を示す。物理的環境は、カウチ709a、ピクチャ709b、及び第1の個人709c1を含む。ディスプレイ702は、(例えば、上述のような「パススルービデオ」を使用して)物理的環境704の表現を提示する。図11A図11Dの実施形態では、コンピュータシステム700の視点は、コンピュータシステム700と通信(例えば、有線通信又は無線通信)する1つ以上のカメラ(例えば、コンピュータシステム700の背面のカメラ)の視野に対応する。したがって、コンピュータシステム700が物理的環境全体にわたって移動されると、1つ以上のカメラの視野が変化し、それによってコンピュータシステム700の視点が変化する。
【0255】
図11Aにおいて、カウチ709a、写真709b、及び第1の個人709c1は、コンピュータシステム700の視点から可視であるため、ディスプレイ702は、カウチ709a、写真709b、及び第1の個人709c1の描写を提示する。ユーザ712がディスプレイ702を見ると、ユーザ712は、(例えば、図11A図11Dに示すように)コンピュータシステム700が表示する1つ以上の仮想オブジェクトとともに物理的環境704の表現を見ることができる。したがって、コンピュータシステム700は、ディスプレイ702を介してエクステンデッドリアリティ環境を提示する。いくつかの実施形態では、コンピュータシステム700は、ユーザの視野を取り囲む(又は実質的に囲む)表示生成構成要素を介してコンピュータシステム700が表示する1つ以上の仮想オブジェクトとともに物理的環境704の表現を提示するヘッドマウントデバイスである。コンピュータシステム700がHMDである実施形態では、ユーザの視点は、ユーザの頭部の前向き方向にロックされ、したがって、物理的環境704及び記録インジケータ1102(以下で議論される)などの1つ以上の仮想オブジェクトの表現は、ユーザの頭部が移動するにつれて(例えば、コンピュータシステム700もまた、ユーザの頭部が移動するにつれて移動するため)シフトする。
【0256】
図11B図11Dでは、コンピュータシステム700は、ディスプレイ702上で可視であるコンテンツをよりよく示すために拡大図で示されている。図11Bに示すように、コンピュータシステム700は、記録インジケータ1102を表示する。記録インジケータ1102は、コンピュータシステム700にインストールされたカメラアプリケーションに関連付けられる。コンピュータシステム700は、カメラアプリケーションが起動されたことに応じて、記録インジケータ1102をフェードインするように表示する(例えば、記録インジケータ1102は、輝度が増加し、かつ/又はある時間期間にわたってより可視的になる)。記録インジケータ1102の境界は、メディアキャプチャ処理(例えば、静止写真をキャプチャする処理及び/又はビデオをキャプチャする処理)を介してキャプチャされる物理的環境704の表現の少なくとも一部分を示す。例えば、図11Bに示すように、記録インジケータ1102の境界は、第1の個人709c1の上半身、写真709b、及びカウチ709aの一部を取り囲む。したがって、記録インジケータ1102が図11Bに示されるポジションにある間に、第1の個人709c1の上半身、写真709b、及びカウチ709aの一部は、コンピュータシステム700がメディアキャプチャプロセスを開始することに応じてキャプチャされる。コンピュータシステム700の1つ以上のカメラの視野が変化する(例えば、コンピュータシステム700の位置決めが物理的環境内で移動される)と、記録インジケータ1102の境界によって取り囲まれた物理的環境704の表現は、コンピュータシステム700の1つ以上のカメラの視野の変化に従って変化する。図11Bに示すように、コンピュータシステム700は、記録インジケータ1102を矩形として表示する。いくつかの実施形態では、コンピュータシステム700は、記録インジケータ1102を矩形とは異なる形状(例えば、円、三角形、又は正方形)として表示する。
【0257】
図11Bにおいて、コンピュータシステム700は、物理的環境におけるコンピュータシステム700のロケーションに対して物理的環境704の表現内の固定されたシミュレートされた深度に記録インジケータ1102を表示する。コンピュータシステム700は、コンピュータシステム700の位置決めが物理的環境内で変更されるとき(例えば、ユーザがコンピュータシステム700を物理的環境の周りで移動させるとき)、物理的環境704の表現内の固定されたシミュレートされた深度に記録インジケータ1102の表示を維持する。コンピュータシステム700は、物理的環境704の表現内の固定されたシミュレートされた深度に記録インジケータ1102を表示するため、記録インジケータ1102の表示は、記録インジケータ1102が表示されるシミュレートされた深度よりも大きいコンピュータシステム700からの距離で物理的環境内に位置決めされる特定のコンテンツを遮る。いくつかの実施形態では、記録インジケータ1102の表示は、コンピュータシステム700が記録インジケータ1102を表示するシミュレートされた深度よりも短い距離で物理的環境内に位置決めされたコンテンツによって遮られる。
【0258】
図11Bでは、記録インジケータの外側の領域が暗くなることに起因して、ユーザは、記録インジケータ1102内にあるコンテンツを、記録インジケータ1102の外側にあるコンテンツよりも明るいものとして知覚する(例えば、任意選択的に、コンピュータシステム700が、記録インジケータ1102の外側の領域に対して記録インジケータ1102の内側の領域の輝度を著しく及び/又は体系的に変更していない場合でも)。この視覚効果は、結果として得られるマルチメディアアイテムの主題となる記録インジケータ1102の境界内にあるコンテンツをユーザが容易に閲覧し、集中することを支援し、かつ/又は可能にする。上述の視覚効果は、(例えば、後述するような)様々な特徴を有する記録インジケータ1102を表示することによって生成され、特徴の組み合わせが上述の視覚効果を生成する。
【0259】
図11Bにおいて、記録インジケータ1102は、内側角部1128及び外側角部1130を含む。加えて、図11Bでは、記録インジケータ1102は、内側縁部領域1102a及び外側縁部領域1102bを含む。内側縁部領域1102a及び外側縁部領域1102bは、記録インジケータ1102の内側縁部における暗色から記録インジケータ1102の外側縁部における明色に遷移するグレースケール勾配を形成する。内側縁部領域1102aは、記録インジケータ1102の離散的な内側縁部と、最小/ゼロの透光性(例えば、最大彩度)を有するグレースケール勾配のエリアとを含む。外側縁部領域1102は、段階的な透光性/彩度を有するグレースケール勾配の残りの部分を含む。記録インジケータ1102の内側縁部領域1102aは内側角部1128を形成し、記録インジケータ1102の外側縁部領域1102bは外側角部1130を形成する。更に、図11Bにおいて、記録インジケータ1102は、記録インジケータ1102の内側縁部領域1102aから記録インジケータ1102の外側縁部領域1102bまで値が変化する視覚的パラメータ(例えば、輝度、透光性の量、及び/又は色合い密度)を有する。記録インジケータ1102の視覚的パラメータの値を記録インジケータ1102の内側縁部領域1102aから記録インジケータ1102の外側縁部領域1102bに変更することは、任意選択的に、コンテンツのエリアの相対的な輝度が修正されていない場合であっても、記録インジケータ1102内にあるコンテンツを記録インジケータ1102の外側にあるコンテンツよりも明るくユーザに閲覧させる視覚効果を作成するのに役立つ(例えば、効果は、実際の輝度の差ではなく、知覚効果である)。図11Bに示すように、記録インジケータ1102の内側縁部領域1102aは、記録インジケータ1102の外側縁部領域1102bよりも暗い。図11Bにおいて、記録インジケータ1102の外側縁部領域1102bの表示は、記録インジケータ1102の内側縁部領域1102aの表示よりも大きい(例えば、ディスプレイ702のより多くを覆う)。記録インジケータ1102の内側縁部領域1102aと記録インジケータ1102の外側縁部領域1102bとのサイズの不一致と、記録インジケータ1102の内側縁部領域1102aに関連付けられた暗色から記録インジケータ1102の外側縁部領域1102bに関連付けられた明色への遷移との両方は、ユーザに、記録インジケータ1102内にあるコンテンツを、記録インジケータ1102の外側にあるコンテンツよりも明るく見えるようにさせる視覚効果を生成するのに役立つ。
【0260】
図11Bでは、記録インジケータ1102の内側縁部領域1102aは、半透明ではなく(例えば、記録インジケータ1102の内側縁部領域1102aは、鮮明な単色である)、記録インジケータ1102の外側縁部領域1102bは、部分的に半透明である。すなわち、図11Bにおいて、記録インジケータ1102の透光性は、記録インジケータ1102の内側縁部領域1102aから記録インジケータ1102の外側縁部領域1102bへと増加する。記録インジケータ1102の内側縁部1102a領域から記録インジケータ1102の外側縁部領域1102bまで記録インジケータ1102の透光性を増加させることは、ユーザに、記録インジケータ1102の境界内のコンテンツを、記録インジケータ1102の境界内にないコンテンツよりも明るく見えるようにさせる視覚効果を生成するのに役立つ。いくつかの実施形態では、記録インジケータ1102の内側縁部領域1102aは、記録インジケータの外側縁部領域1102bとは異なる色である。いくつかの実施形態では、記録インジケータ1102の内側縁部領域1102aは、記録インジケータ1102の外側縁部領域1102bよりも明るい(例えば、明るい)。記録インジケータ1102の内側縁部領域1102aが記録インジケータ1102の外側縁部領域1102bよりも明るい実施形態では、ユーザは、記録インジケータ1102の外側にあるコンテンツを、記録インジケータ1102内にあるコンテンツよりも明るいと知覚する。
【0261】
図11Bに示すように、コンピュータシステム700は、丸い角部を有する記録インジケータ1102を表示する。丸い角部を有する記録インジケータ1102を表示することは、記録インジケータ1102の境界内にあるコンテンツが、記録インジケータ1102の境界内にないコンテンツよりも明るいことをユーザに知覚させる視覚効果を生成するのに役立つ。
【0262】
図11A図11Bの実施形態では、コンピュータシステム700と通信する1つ以上のカメラは、1つ以上のカメラが改善された及び/又は最適な深度データをキャプチャすること、又はいくつかの実施形態では深度データを完全にキャプチャすることを可能にする最適なキャプチャ距離(例えば、又は距離の範囲)を有する。すなわち、コンピュータシステム700が対象から離れた最適なキャプチャ距離に位置決めされる場合、対象を含む結果として得られるメディアアイテムは、深度データ及び/又は改善若しくは最適化された深度データを含む。記録インジケータ1102のサイズ及び形状は、ユーザがコンピュータシステム700を対象から最適なキャプチャ距離に配置することを促進するように(例えば、コンピュータシステム700の製造業者によって)選択される(例えば、記録インジケータ1102のサイズは、ユーザがコンピュータシステム700を対象のより近くに配置することを促進するためにより小さくなるように選択されるか、又は記録インジケータ1102のサイズは、ユーザが対象からより遠くに立つことを促進するためにより大きくなるように選択される)。いくつかの実施形態では、コンピュータシステム700は、(例えば、コンピュータシステム700を使用してキャプチャされた以前のメディアアイテムからのデータに基づいて、かつ/又は現在の環境条件に基づいて)記録インジケータ1102のサイズを動的に更新して、コンピュータシステム700を最適なキャプチャ距離に配置するようにユーザを促す。いくつかの実施形態では、記録インジケータ1102のサイズ及び形状は、コンピュータシステム700のユーザによって選択される。
【0263】
図11Bに示すように、コンピュータシステム700は、記録インジケータ1102内にカメラシャッタ仮想オブジェクト1124を表示する。カメラシャッタ仮想オブジェクト1124の選択は、メディアをキャプチャするためのコンピュータシステム700上のプロセスを開始し、キャプチャされたメディアは、記録インジケータ1102内にあるコンテンツの表現を含む。カメラシャッタ仮想オブジェクト1124は、記録インジケータ1102に固定される。すなわち、コンピュータシステム700が物理的環境内で再位置決めされると、コンピュータシステム700は、記録インジケータ1102内のカメラシャッタ仮想オブジェクト1124の表示を維持する。いくつかの実施形態では、カメラシャッタ仮想オブジェクト1124は、カメラシャッタ仮想オブジェクト714に関して上述した1つ以上の特徴を含む。
【0264】
図11Bに示すように、コンピュータシステム700は、記録インジケータ1102内にフォトウェル仮想オブジェクト1126を表示する。上述したように、フォトウェル仮想オブジェクト1126は、直近にキャプチャされたメディアアイテム(例えば、静止写真又はビデオ)(例えば、図11Bのコーヒーマグ)の表現を含む。コンピュータシステム700は、フォトウェル仮想オブジェクト1126の選択を検出したことに応じて、直近にキャプチャされたメディアアイテムの表現の拡大バージョンを表示する。カメラシャッタ仮想オブジェクト1124と同様に、フォトウェル仮想オブジェクト1126は、記録インジケータ1102の表示に固定される。いくつかの実施形態では、カメラアプリケーション(例えば、上述のように記録インジケータ1102に関連付けられたカメラアプリケーション)が起動されたことに応じて、コンピュータシステム700は、カメラシャッタ仮想オブジェクト1124及びフォトウェル仮想オブジェクト1126の両方を、記録インジケータ1102のフェードインとともに同時にフェードインするように表示する。いくつかの実施形態では、フォトウェル仮想オブジェクト1126の選択は、コンピュータシステム700に記録インジケータ1102の表示を中止させる。いくつかの実施形態では、コンピュータシステム700は、記録インジケータ1102内に追加の仮想オブジェクト(例えば、コンピュータシステムと通信する1つ以上のカメラのズームレベルを制御するための仮想オブジェクト)を表示する。いくつかの実施形態では、フォトウェル仮想オブジェクト1126は、フォトウェル仮想オブジェクト715に関して上述した1つ以上の特徴を含む。
【0265】
図11Bは、メディアキャプチャ概略図1120の描写を含む。コンピュータシステム700は、メディアキャプチャ概略図1120を表示しない。むしろ、メディアキャプチャ概略図1120は、以下の概念を説明するのに役立つ視覚的補助として図11Bに含まれている。上述したように、記録インジケータ1102の境界は、それぞれのメディアキャプチャプロセスを介してどのコンテンツがキャプチャされるかを示す。しかしながら、それぞれのメディアキャプチャプロセスは、記録インジケータ1102の境界内にない追加のコンテンツをキャプチャする。メディアキャプチャ概略図1120の境界内にあるコンテンツも、それぞれのメディアキャプチャプロセスキャプチャを介してキャプチャされる。図11Bに示すように、メディアキャプチャ概略図1120の境界は、記録インジケータ1102の境界よりも、コンピュータシステム700のディスプレイ702のより大きな領域をカバーする(例えば、物理的環境の表現のより多くを取り囲む)。したがって、それぞれのメディアキャプチャプロセスは、記録インジケータ1102の境界によって取り囲まれたコンテンツだけでなく、より多くのコンテンツをキャプチャする。いくつかの実施形態では、それぞれのメディアキャプチャプロセスの結果として得られるマルチメディアは、記録インジケータ1102の境界によって取り囲まれたコンテンツを含み、記録インジケータ1102の境界の外側にあるコンテンツを含まない。いくつかの実施形態では、メディアキャプチャ概略図1120及び記録インジケータ1102の幅は同じであるが、メディアキャプチャ概略図1120の高さは記録インジケータ1102の高さよりも大きい。いくつかの実施形態では、メディアキャプチャ概略図1120の高さと記録インジケータ1102の高さは同じであるが、メディアキャプチャ概略図1120の幅は記録インジケータ1102の幅よりも大きい。
【0266】
図11Cにおいて、コンピュータシステム700は、物理的環境内で再位置決めされる(例えば、ユーザ712は、コンピュータシステム700を第1の個人709c1に向かって移動させる)。図11Cでは、コンピュータシステム700が物理的環境内で再位置決めされるため、記録インジケータ1102によって取り囲まれる物理的環境704の表現の部分は、(例えば、図11Bの記録インジケータ1102によって取り囲まれる物理的環境704の表現の部分に対して)変化する。いくつかの実施形態では、記録インジケータ1102によって取り囲まれた物理的環境704の表現の部分は、コンピュータシステム700がユーザの視点の漸進的な変化を(例えば、コンピュータシステムに結合された1つ以上のセンサ及び/又はコンピュータシステムと通信する1つ以上のカメラを介して)検出したことに応じて変化する(例えば、ユーザの視点は、コンピュータシステム700と通信する1つ以上のカメラの視野に対応する)。いくつかの実施形態では、記録インジケータ1102によって取り囲まれた物理的環境704の表現の部分は、コンピュータシステム700が(例えば、コンピュータシステムと通信する1つ以上のカメラを介して)物理的環境内のコンテンツのポジションの漸進的な変化を検出したことに応じて変化する(例えば、物理的環境内の個人709c1などのコンテンツは、コンピュータシステム700のポジションに対して移動する)。
【0267】
図11Cでは、表示基準のセットが満たされている(例えば、コンピュータシステム700と第1の個人709c1との間の距離が深度キャプチャに適切である(例えば、コンピュータシステム700と第1の個人709c1との間の距離が第1の閾値よりも大きく、かつ/又は第2の閾値よりも小さく、かつ/又は物理的環境内の光の輝度が第3の閾値よりも大きく、かつ/又は第4の閾値よりも小さい)、かつ/又は物理的環境内の照明が深度キャプチャに適切である)という判定が行われる。表示基準のセットが満たされているという判定が行われるため、コンピュータシステム700は、二次記録インジケータ1116を表示する。図11Cに示すように、二次記録インジケータ1116は、記録インジケータ1102の1つ以上の内側角部1128に表示される1つ以上の非連続部分を含む。二次記録インジケータ1116の1つ以上の不連続部分は、記録インジケータ1102の表示の色とは異なる色(例えば、黄色、赤色、及び/又はオレンジ色)として表示される。いくつかの実施形態では、コンピュータシステム700は、記録インジケータ1102の内側角部1128及び外側角部1130の両方に重複するように二次記録インジケータ1116を表示する。いくつかの実施形態では、二次記録インジケータ1116は、記録インジケータ1102の1つ以上の外側角部1130に表示される(例えば、記録インジケータ1102の1つ以上の内側角部1128には表示されない)。いくつかの実施形態では、コンピュータシステム700は、記録インジケータ1102の内側角部1128上に二次記録インジケータ1116を表示しない。コンピュータシステム700が記録インジケータ1102の内側角部1128上に二次記録インジケータ1116を表示しないいくつかの実施形態では、コンピュータシステム700は、記録インジケータ1102内にあるコンテンツの周囲に(例えば、コンテンツに隣接して)二次記録インジケータ1116を表示する。いくつかの実施形態では、コンピュータシステム700は、記録インジケータ1102の内側角部1128のサブセット(例えば、全てよりも少ない)上に二次記録インジケータ1116を表示する。いくつかの実施形態では、二次記録インジケータ1116は、オートフォーカス、最適露出条件、及び/又は顔検出などの他の基準が満たされていることを示すために表示される。
【0268】
図11Cにおいて、コンピュータシステム700は、記録インジケータ1102及び二次記録インジケータ1116を同じ平面に表示する。上述したように、コンピュータシステム700は、物理的環境内のコンピュータシステム700のロケーションに対して物理的環境704の表現内の固定された深度に記録インジケータ1102を表示する。コンピュータシステム700は、記録インジケータ1102及び二次記録インジケータ1116を同じ平面に表示するため、コンピュータシステム700はまた、記録インジケータ1102の表示と同じ固定された深度で二次記録インジケータ1116を表示する。
【0269】
図11Cにおいて、コンピュータシステム700は、身体部分712aによるハードウェアボタン711aのアクティブ化を検出するか、又はコンピュータシステム700は、カメラシャッタ仮想オブジェクト1124に向けられた入力1150cを検出する。いくつかの実施形態では、入力1150cは、カメラシャッタ仮想オブジェクト1124上のタップ(例えば、カメラシャッタ仮想オブジェクト1124のディスプレイのロケーションに対応する空間内のエアタップ)である。いくつかの実施形態では、入力1150cは、カメラシャッタ仮想オブジェクト1124のディスプレイの方向に向けられた視線(例えば、持続的視線)入力である。いくつかの実施形態では、入力1150cは、カメラシャッタ仮想オブジェクト1124のディスプレイの方向における視線の検出と組み合わせたエアタップ入力である。いくつかの実施形態では、入力1150cは、カメラシャッタ仮想オブジェクト1124のディスプレイの方向に向けられた視線及びまばたきである。いくつかの実施形態では、身体部分712aによるハードウェアボタン711aのアクティブ化又は入力1150cは、ロングプレス(例えば、プレスアンドホールド)である(例えば、身体部分712aによるハードウェアボタンのアクティブ化又は入力1150cの持続時間は、0.25、0.5、1、2、又は5秒などのそれぞれの閾値よりも長い持続時間である)。いくつかの実施形態では、身体部分712aによるハードウェアボタン711又は入力1150cのアクティブ化は、ショートプレス(例えば、プレスアンドリリース)である(例えば、身体部分712aによるハードウェアボタン711a又は入力1150cのアクティブ化の持続時間は、1秒未満である)。いくつかの実施形態では、メディアをキャプチャする要求として認識される(例えば、XR環境における仮想オブジェクトの選択に関して上述したような)特定のエアジェスチャが検出される。いくつかの実施形態では、カメラシャッタ仮想オブジェクト1124の選択に対応するロングプレスを検出したことに応じて、コンピュータシステム700は、コンピュータシステム700と通信している1つ以上のカメラがビデオメディアをキャプチャしていることを示すように、カメラシャッタ仮想オブジェクト1124の視覚的外観を変更する。
【0270】
図11Dにおいて、身体部分712aによるハードウェアボタン711aのアクティブ化を検出したことに応じて、又は入力1150cを検出したことに応じて、コンピュータシステム700はメディアキャプチャプロセスを開始する。図11Dにおいて、身体部分1150cによるハードウェアボタン711のアクティブ化又は入力712aがショートプレスであるという判定がなされる。身体部分1150cによるハードウェアボタン711のアクティブ化又は入力712aがショートプレスであるという判定が行われるため、静止メディアがキャプチャされる(例えば、ビデオメディアではない)。結果として得られるメディアアイテムは、図11Cにおいて記録インジケータ1102の境界によって取り囲まれたコンテンツを含む(例えば、結果として得られるメディアは、第1の個人709c1の上半身の表現と、写真709bの一部とを含む)。図11Dにおいて、直近にキャプチャされたメディアアイテムは、現在、物理的環境の表現であるため、コンピュータシステム700は、物理的環境の表現を含むように、フォトウェル仮想オブジェクト1126の表示を更新する(例えば、フォトウェル仮想オブジェクトは、図11Cにおいて記録インジケータ1102の境界によって取り囲まれたコンテンツの表現を含む)。
【0271】
図11Dにおいて、コンピュータシステム700は、物理的環境における周囲の輝度が減少したという判定を行う。物理的環境内の周囲の輝度が減少したという判定が行われたため、コンピュータシステム700は、二次記録インジケータ1116の視覚的強調を増加させる(例えば、二次記録インジケータ1116は、図11Cにおける二次記録インジケータ1116の表示よりも強調して表示される)。コンピュータシステム700は、コンピュータシステム700が二次記録インジケータ1116を表示する輝度を(例えば、図11Cの二次記録インジケータ1116の輝度と比較して)増加させることによって、二次記録インジケータ1116の視覚的強調を増加させる。いくつかの実施形態では、コンピュータシステム700は、(例えば、同時に)記録インジケータ1102の輝度を減少させ、二次記録インジケータ1116の輝度を増加させることによって、二次記録インジケータ1116の視覚的強調を増加させる。いくつかの実施形態では、コンピュータシステム700は、記録インジケータ1102の表示のサイズを減少させ、二次記録インジケータ1116の表示のサイズを増大させることによって、二次記録インジケータ1116の視覚的強調を増加させる。いくつかの実施形態では、二次記録インジケータ1116の視覚的外観は、現在の条件(例えば、コンピュータシステム700と対象との間の距離及び/又は物理的環境内の照明)が深度キャプチャのために満足のいくものであることを示す。いくつかの実施形態では、コンピュータシステム700は、二次記録インジケータ1116の視覚的外観を動的に変更して、現在の条件が深度キャプチャに対して満足のいくものであること、又は現在の条件が深度キャプチャに対して満足のいくものではないことを示す。
【0272】
図12は、いくつかの実施形態による、記録インジケータを用いて物理的環境の表現を表示するための方法を示すフロー図である。方法1200は、表示生成構成要素及び1つ以上のカメラと通信しているコンピュータシステム(例えば、100、300、500)において実行される。方法1200のいくつかの動作は、任意選択的に組み合わされ、いくつかの動作の順序は、任意選択的に変更され、いくつかの動作は、任意選択的に省略される。
【0273】
コンピュータシステム(例えば、700)は、表示生成構成要素(例えば、702)を介して、エクステンデッドリアリティカメラユーザインタフェース(例えば、1124、1126及び/又は1102の表示)(例えば、カメラアプリケーション(例えば、第三者カメラアプリケーション及び/又はコンピュータシステムの製造業者によってコンピュータシステムにインストールされたカメラアプリケーション)に対応するユーザインタフェース)を表示し(1200)、このユーザインタフェースは、物理的環境(例えば、704)(例えば、コンピュータシステムがポジションする物理的環境)(例えば、1つ以上のカメラの視野内にある物理的環境)(例えば、ユーザの視野内にある物理的環境)の表現(1204)(例えば、リアルタイム表現又は三次元表現)(例えば、光学表現(例えば、コンピュータシステムの一部を直接通過してユーザに至る光を介する)又はコンピュータシステムによって表示されるグラフィック表現)と、記録領域(例えば、1102内のエリア)を示す記録インジケータ(1206)(例えば、1102)(例えば、物理的環境の表現の第1の部分を取り囲み、物理的環境の表現の第2の部分を取り囲まない)(例えば、記録インジケータは、カメラユーザインタフェース上の中心ロケーションに表示される)(例えば、記録領域は、コンピュータシステムがメディアをキャプチャする要求を検出したことに応じて、1つ以上のカメラによってキャプチャされる物理的環境の表現の少なくとも一部を含み、記録領域内の物理的環境の表現の部分は、1つ以上のカメラの視野内の結果として得られるメディア(例えば、静止メディア及び/又はビデオメディア)において可視である)と、を含み、記録インジケータは、記録インジケータの可視部分における視覚的パラメータの複数の異なる値を通じて減少する視覚的パラメータ(例えば、密度及び/又は色(例えば、単色又は多色である色勾配))(例えば、透光性の量(例えば、視覚的特性の背後に可視である物理的環境の表現の量))(例えば、視覚的特性は、物理的環境の第1の部分にオーバーレイされ、物理的環境の表現の第2の部分にオーバーレイされない)を有する少なくとも第1の縁部領域(例えば、1102a)を含み、パラメータの値は、記録インジケータの第1の縁部領域からの(例えば、第1の縁部領域の方向に垂直であり、記録領域から外側に延在する方向の)距離(例えば、インチ、センチメートル、及び/又はミリメートル)が増加する(例えば、比例的に減少する、所定の関数に基づいて減少する、線形的に減少する、及び/又は非線形的に減少する)(例えば、図11Bに関連して上述したように)(例えば、記録領域からの距離が増加するにつれて、視覚特性の強度(例えば、陰影の量)及び/又は密度が減少する)につれて、漸進的に(例えば、徐々に又は複数の離散的なステップを通して)減少する(例えば、記録領域の中心に対して単一の方向に減少する)。いくつかの実施形態では、記録領域は、1つ以上のカメラのうちの少なくとも1つのカメラの視野の部分である。いくつかの実施形態では、記録領域は、1つ以上のカメラのうちの少なくとも2つのカメラの視野の部分(例えば、視野が重複する部分)である。いくつかの実施形態では、視覚特性は、記録インジケータの横方向部分ではなく、記録インジケータの角部に表示される。いくつかの実施形態では、視覚特性は、視覚的インジケータの角部ではなく、視覚的インジケータの横方向部分上に表示される。いくつかの実施形態では、記録インジケータは、1つ以上のカメラによってキャプチャされた物理的環境の表現と、1つ以上のカメラによってキャプチャされていない物理的環境の表現との間の境界である。いくつかの実施形態では、記録領域の角度範囲は、1つ以上のカメラの視野の角度範囲と同じ(例えば、又は実質的に同じ)である。いくつかの実施形態では、視覚特性は、記録領域上に延在する。いくつかの実施形態では、視覚特性は、記録領域からの距離に基づいて増加する。複数の異なる値を通じて減少する視覚的パラメータを有する少なくとも第1の縁部領域を含む記録インジケータを表示することは、記録領域が視覚的に強調されている(例えば、記録領域が記録領域の外側の物理的環境の表現よりも明るく見える)とユーザに知覚させる視覚効果を生成するのに役立ち、これは、写真又はビデオのいずれかとしてキャプチャされる記録領域内にあるコンテンツをユーザがより容易に見て焦点を当てるようにし、これは、改善された視覚的フィードバックを提供し、ユーザが関心のあるコンテンツを適切かつ迅速にフレーミング及びキャプチャするのを支援し、これは、一時的なイベントに特に関連し、コンピュータシステムの機能を改善する。
【0274】
いくつかの実施形態では、エクステンデッドリアリティカメラユーザインタフェース(例えば、1124、1126、及び/又は1102のディスプレイ)が表示されている間に、コンピュータシステム(例えば、700)は、メディアをキャプチャする要求に対応する入力(例えば、712a又は1150c)(例えば、エアジェスチャ(例えば、エアピンチ、エアスワイプ、エアデピンチ、及び/又はエアタップ)、コンピュータシステムと通信しているハードウェアボタンに対応する入力、及び/又はエクステンデッドリアリティカメラユーザインタフェースに表示されるシャッタ仮想オブジェクトの方向に向けられた視線)を(例えば、コンピュータシステムと通信している1つ以上のカメラを介して、かつ/又はコンピュータシステムに結合された1つ以上のセンサを介して)検出する。メディアをキャプチャする要求に対応する入力を検出したことに応じて、コンピュータシステムは、記録領域内にある物理的環境の少なくとも一部分の表現(例えば、図11Dの1126に示される写真の表現)を含むメディアをキャプチャする(例えば、コンピュータシステムと通信する1つ以上のカメラを介してメディアをキャプチャする)。メディアをキャプチャするための要求に対応する入力を検出したことに応じてメディアをキャプチャすることは、コンピュータシステムに、記録インジケータによって示される記録領域内にある物理的環境の少なくとも一部分の表現をキャプチャすることを含むメディアキャプチャ動作を実行させ、これは、ユーザが関心のあるコンテンツを適切かつ迅速にフレーミング及びキャプチャするのを支援し、これは、一時的なイベントに特に関連し、コンピュータシステムの機能を改善する。
【0275】
いくつかの実施形態では、キャプチャされたメディアは、(例えば、図11Bを参照しながら上述したように)静止メディア(例えば、単一の時点に対応する写真又はメディア)である。
【0276】
いくつかの実施形態では、キャプチャされたメディアは、(例えば、図11Bを参照して上述したような)動画メディア(例えば、ビデオ、又は一連の画像などの、ある期間に対応するメディア)である。いくつかの実施形態では、キャプチャされたメディアが動画メディアであるとき、メディアをキャプチャする要求は、所定の閾値(例えば、ボタンのロングプレス、仮想シャッタボタンの表示に対応するタッチアンドホールドジェスチャ、又は持続的エアジェスチャ(例えば、保持されるピンチ))よりも長い持続時間にわたって検出される。
【0277】
いくつかの実施形態では、キャプチャされたメディアは、(例えば、図11Bに関連して上述したように)記録領域内にある物理的環境(例えば、1102内にある704の部分)の表現とは異なる1つ以上のカメラの視野(例えば、1120内にある704の部分)の表現を含む(例えば、1つ以上のカメラの視野のキャプチャされた表現は、記録領域内にある物理的環境の表現よりも少ない物理的環境の表現を含むか、又は1つ以上のカメラの視野のキャプチャされた表現は、記録領域内にある物理的環境の表現よりも多くの物理的環境の表現を含む)。いくつかの実施形態では、キャプチャされたメディアを表すマルチメディア(例えば、写真及び/又はビデオ)は、記録領域内にある物理的環境の表現の部分を含まない(例えば、記録領域内にある物理的環境の表現の部分は、写真及び/又はビデオ内で可視ではない))。記録領域に含まれるコンテンツとは異なるコンテンツを含む物理的環境の表現を有することは、ユーザがコンピュータシステムの位置決めをシフトした場合に、記録領域に含まれ得る(しかし現在は含まれていない)追加のコンテンツを閲覧する能力をユーザに提供するとともに、コンピュータシステムがメディアキャプチャプロセスを実行している間に、ユーザの現在の物理的環境のより大きな認識をユーザに提供する。そうすることは、メディアキャプチャ動作を改善し、キャプチャ動作が非効率的であるか又は使用するのが困難である場合に見逃される可能性がある一時的なイベント及び/又はコンテンツをキャプチャすることができないリスクを低減する。メディアキャプチャ動作を改善することは、システムの操作性を向上させ、(例えば、ユーザが適切な入力を提供するのを助け、デバイスを動作させる/デバイスと対話するときのユーザの誤りを低減することによって)ユーザ-システムインタフェースをより効率的にする。
【0278】
いくつかの実施形態では、視覚的パラメータは、色合い勾配(例えば、内側縁部領域1102a及び外側縁部領域1102bによって作成されるグレースケール勾配)(又は色合い密度勾配)(例えば、100%の色合い(例えば、無地(例えば、黒色、灰色、青色、又は赤色などの所与の色))から0%の色合い(例えば、所与の色及び/又は任意の色の不在(例えば、実質的に透明))までの範囲の色合い勾配)である。色合い勾配を有する記録インジケータを表示することは、記録領域が視覚的に強調されている(例えば、記録領域が記録領域の外側の物理的環境の表現よりも明るく見える)とユーザに知覚させる視覚効果を生成するのに役立ち、これは、写真又はビデオのいずれかとしてキャプチャされる記録領域内にあるコンテンツをユーザがより容易に見て焦点を当てるようにし、これは、改善された視覚的フィードバックを提供し、ユーザが関心のあるコンテンツを適切かつ迅速にフレーミング及びキャプチャするのを支援し、これは、一時的なイベントに特に関連し、コンピュータシステムの機能を改善する。
【0279】
いくつかの実施形態では、記録インジケータ(例えば、1102)は、第1の縁部領域(例えば、1102a)よりも記録領域の中心(例えば、1102の内部)から遠い第2の縁部領域(例えば、1102b)を含み、第2の縁部領域は、第1の縁部領域よりも大きい(例えば、コンピュータシステムの表示生成構成要素上でより多くの空間を占め、第1の縁部領域よりも長さ及び/又は厚さが大きい)。いくつかの実施形態では、第2の縁部領域のサイズは、第1の縁部領域のサイズの関数である。第2の縁部領域(例えば、フェザリングされた)を第1のシャープな縁部領域よりも大きく表示することは、記録領域が視覚的に強調されている(例えば、記録領域が記録領域の外側の物理的環境の表現よりも明るく見える)とユーザに知覚させる視覚効果を生成するのに役立ち、これは、写真又はビデオのいずれかとしてキャプチャされる記録領域内にあるコンテンツをユーザがより容易に見て焦点を当てるようにし、これは、改善された視覚フィードバックを提供し、ユーザが関心のあるコンテンツを適切かつ迅速にフレーミング及びキャプチャするのを支援し、これは、一時的なイベントに特に関連し、コンピュータシステムの機能を改善する。
【0280】
いくつかの実施形態では、コンピュータシステム(例えば、700)と通信する1つ以上のカメラは、深度データをキャプチャするための最適なキャプチャ距離(例えば、深度データがキャプチャされ得るような1つ以上のカメラと対象との間の最適な距離)(例えば、照明、焦点、及び/又は鮮明度などの1つ以上のキャプチャパラメータが深度キャプチャに十分である距離)を有し、記録インジケータ(例えば、1102)のサイズ及び/又は形状は、(例えば、図11Bに関連して上述したように)コンピュータシステムを最適なキャプチャ距離に位置決めするのを支援する(例えば、ユーザを支援する)(例えば、記録インジケータのサイズ(例えば、記録インジケータの高さ及び記録インジケータの幅)及び記録インジケータの形状は、1つ以上のカメラの視野内の1つ以上のオブジェクト(例えば、検出されたオブジェクト及び/又は検出された対象)に対して1つ以上のカメラの対象(ユーザが1つ以上のカメラを介してキャプチャしようと意図する対象)から離れた必要なキャプチャ距離にユーザが位置決めすることを促すように選択される(例えば、コンピュータシステムの製造業者によって選択される)。いくつかの実施形態では、記録インジケータのサイズ及び/又は形状は、1つ以上のカメラのFOV内で識別された1つ以上のオブジェクトに基づいて動的に調整される。いくつかの実施形態では、最適距離は、キャプチャパラメータが最適及び/又は許容可能な値の範囲内にある距離の範囲である。最適なキャプチャ距離でのコンピュータシステムの配置を促進するために選択されたサイズ及び/又は形状を有する記録インジケータを表示することは、結果として得られる写真及び/又はビデオが満足のいく深度データを含むようにコンピュータシステムが物理的環境内のどこに位置決めされる必要があるかに関する視覚的キュー(単数又は複数)をユーザに提供し、これは、改善された視覚的フィードバックを提供し、ユーザが最適な方法で関心のあるコンテンツを適切かつ迅速にフレーミング及びキャプチャするのを支援し、これは、特に一時的なイベントに関連し、コンピュータシステムの機能を改善する。
【0281】
いくつかの実施形態では、記録インジケータ(例えば、1102)は、(例えば、物理的環境内のコンピュータシステムのポジションに対して)物理的環境(例えば、704)の表現内の固定されたシミュレートされた(例えば、仮想)深度(例えば、1フィート、3フィート、5フィート、及び/又は7フィート)で表示される(例えば、記録インジケータは、物理的環境内のコンピュータシステムのポジションからの固定された深度に対応するポジションで物理的環境の表現上に重ね合わされる)(例えば、コンピュータシステムが物理的環境内で移動されるとき、記録インジケータは、固定されたシミュレートされた深度で表示されるように維持される)。いくつかの実施形態では、記録インジケータは、オブジェクトがコンピュータシステムから固定されたシミュレートされた深度未満の距離(例えば、実世界距離)にあるとき、物理的環境の表現内に含まれるオブジェクトによって遮られる。いくつかの実施形態では、記録インジケータは、オブジェクトが、固定されたシミュレートされた深度未満であるコンピュータシステムからの距離(例えば、実世界距離)にあるとき、物理的環境の表現に含まれるオブジェクトを遮る。物理的環境の表現内の固定されたシミュレートされた深度に記録インジケータを表示することは、ユーザが物理的環境内の他のオブジェクトに対する物理的環境内のそれらのポジションを決定することができるように、ユーザに視覚的キューを提供し、これは、改善された視覚的フィードバックを提供し、ユーザが関心のあるコンテンツを適切かつ迅速にフレーミング及びキャプチャするのを支援し、これは、一時的なイベントに特に関連し、コンピュータシステムの機能を改善する。
【0282】
いくつかの実施形態では、記録インジケータ(例えば、1102)は、1つ以上の角部(例えば、1128又は1130)を含む。いくつかの実施形態では、記録インジケータが表示されている間に、表示基準のセットが満たされている(例えば、記録インジケータ内の対象が表示基準のセットを満たす)という判定に従って、コンピュータシステム(例えば、700)は、表示生成構成要素(例えば、702)を介して、記録インジケータの1つ以上の角部に(例えば、上に)二次記録インジケータ(例えば、1116)(例えば、非連続的な黄色の角部)を表示する。いくつかの実施形態では、表示基準のセットが満たされていないという判定に従って、二次記録インジケータの表示を取り止める。いくつかの実施形態では、二次記録インジケータは、記録インジケータの1つ以上の角部に直接隣接して(例えば、内側半径上又は外側半径上に)表示される。いくつかの実施形態では、二次記録インジケータは、表示基準のセットが満たされなくなったという判定に従って表示されなくなる。いくつかの実施形態では、二次記録インジケータは、記録インジケータの外周全体の周りに連続的に広がる。いくつかの実施形態では、二次記録インジケータは、記録インジケータ内の1つ以上の対象(例えば、表示基準のセットを満たす1つ以上の対象)の周囲に表示され、二次記録インジケータの1つ以上の角部には表示されない。特定の規定された条件が満たされたときに(例えば、表示基準のセットが満たされたという判定に従って)二次記録インジケータを表示することは、コンピュータシステムに、物理的環境における条件が表示基準のセットを満たすことをユーザに示す表示動作を自動的に実行する能力を提供し、この表示動作は、更なるユーザ入力を必要とすることなく、条件のセットが満たされたときに動作を実行する。
【0283】
いくつかの実施形態では、記録インジケータ(例えば、1102)は、第1の平面(例えば、コンピュータシステムと通信する1つ以上のカメラの視野に垂直な平面)(例えば、物理的環境の表現内の平面)に表示され、二次記録インジケータは、(例えば、図11Cを参照して上述したように)第1の平面に表示される(例えば、記録インジケータ及び二次記録インジケータの両方は、物理的環境の表現内の模擬(例えば、仮想)深度(例えば、上述した模擬深度)にある第1の平面に表示される)。記録インジケータ及び二次記録インジケータを同じ平面に表示することは、ユーザが記録インジケータ及び二次記録インジケータの両方を同時に容易に見ることを可能にし、ユーザが物理的環境内の他のオブジェクトに対する物理的環境内のそれらの位置決めを決定することができるように、追加の視覚的キューをユーザに提供し、それは、改善された視覚的フィードバックを提供し、ユーザが深度キャプチャを介して関心のあるコンテンツを適切かつ迅速にフレーミング及びキャプチャするのを支援し、それは、一時的なイベントに特に関連し、コンピュータシステムの機能を改善する。
【0284】
いくつかの実施形態では、二次記録インジケータ(例えば、1116)を表示することは、物理的環境(例えば、コンピュータシステムのロケーションに対応する物理的環境)(例えば、物理的環境の表現に対応する物理的環境)が第1の量の輝度(例えば、周囲照明条件(例えば、1ルクス、5ルクス、又は10ルクス))を有するという判定に従って、記録インジケータ(例えば、1102)に対して第1の量の視覚的強調(例えば、コントラスト)(例えば、二次記録インジケータが記録インジケータと視覚的に対照をなす程度)で二次記録インジケータを表示することと、物理的環境が第1の量の輝度よりも小さい第2の量の輝度を有するという判定に従って、記録インジケータに対して第2の量の視覚的強調で二次記録インジケータを表示することとを含み、第2の量の視覚的強調は、第1の量の視覚的強調よりも大きい(例えば、図11Dを参照して説明したように)。いくつかの実施形態では、二次記録インジケータの視覚的外観は、記録インジケータの視覚的外観が静的なままである間に物理的環境の輝度が変化するにつれて動的に変化する(例えば、二次記録インジケータの視覚的外観は、物理的環境の輝度が減光されることに応じて、より大きく及び/又はより明るくなる)。いくつかの実施形態では、記録インジケータの視覚的外観は、物理的環境の輝度が変化するにつれて動的に変化するが、二次記録インジケータの視覚的外観は静的なままである(例えば、記録インジケータの視覚的外観は、物理的環境の輝度が減光されることに応じて、より小さくなり、かつ/又はより減光される)。特定の規定された条件が満たされる(例えば、物理的環境内に少量の光が存在する)ときに、第2の量の視覚的強調で(例えば、より明るく)二次記録インジケータを表示することは、コンピュータシステムが、少量の光を含む環境内でユーザが二次記録インジケータを容易に見ることを可能にする表示動作を自動的に実行することを可能にし、この表示動作は、条件のセットが満たされたときに、更なるユーザ入力を必要とせずに動作を実行する。
【0285】
いくつかの実施形態では、表示基準のセットは、1つ以上の対象(例えば、709a、709b、及び/又は709c1)の条件(例えば、対象とコンピュータシステムとの間の距離及び/又はコンピュータシステムが位置する環境の照明)、(例えば、コンピュータシステムと通信している1つ以上のカメラを使用してユーザがキャプチャすることを意図する人、オブジェクト、及び/又はシーン)が(例えば、図11Cを参照して上述したように)深度キャプチャ(例えば、立体視メディアアイテムを生じる2つ以上の異なるカメラ(又はカメラのセット)からメディアをキャプチャするプロセス)に適切であるときに満たされる基準を含む。いくつかの実施形態では、コンピュータシステムと対象との間の距離が第1の閾値よりも大きく、かつ/又は第2の閾値よりも小さく、かつ/又は光(例えば、物理的環境内の自然光及び/又は周囲光)の量が第3の閾値よりも大きく、かつ/又は第4の閾値よりも小さいとき、条件は深度キャプチャに適切である。1つ以上の対象の条件が深度キャプチャに適切であるときに二次記録インジケータを表示することは、結果として得られるマルチメディアアイテムがキャプチャされた深度データの表現を含むかどうかに関する視覚的フィードバックをユーザに与え、それは、改善された視覚的フィードバックを与え、更なるユーザ入力を必要とすることなしに条件のセットが満たされたときに動作を実行し、ユーザが深度キャプチャを介して関心のあるコンテンツを適切かつ迅速にフレーミング及びキャプチャするのを支援し、それは、一時的なイベントに特に関連し、コンピュータシステムの機能を改善する。
【0286】
いくつかの実施形態では、二次記録インジケータ(例えば、1116)は、現在の状態(例えば、コンピュータシステムと対象との間の距離及び/又は照明(例えば、周囲照明及び/又は人工照明))が深度キャプチャ(例えば、立体視メディアアイテムをもたらす2つ以上の異なるカメラ(又はカメラのセット)からメディアをキャプチャするプロセス)に適していないことを示す第1の視覚的外観(例えば、図11C又は図11Dにおける二次記録インジケータの視覚的外観)(例えば、第1の色及び/又は第1の不透明度)で表示されている間に、コンピュータシステム(例えば、700)は、第2の対象(例えば、709a、709b、及び/又は709c1)(例えば、コンピュータシステムと通信する1つ以上のカメラを使用してユーザがキャプチャすることを意図する人、オブジェクト、及び/又はシーン)の表現の周囲に記録インジケータを表示し、1つ以上の深度キャプチャ基準のセットが満たされる(例えば、第2の対象とコンピュータシステムとの間の距離が所定の閾値内にある、物理的環境の照明が所定の輝度閾値を上回る)という(例えば、コンピュータシステムと通信(例えば、有線通信又は無線通信)している1つ以上のセンサによって行われる)判定に従って、コンピュータシステムは、二次記録インジケータの視覚的外観を、第1の視覚的外観から、(例えば、図11Dを参照して上述したように)現在の状態が深度キャプチャに適切であることを示す第2の視覚的外観(例えば、図11C又は図11Dにおける二次記録の視覚的外観)に変更する(例えば、二次記録インジケータの色を変更する、二次記録インジケータのサイズを変更する、第2の記録インジケータの不透明度を変更する、及び/又は二次記録の表示のロケーションを変更する)。いくつかの実施形態では、深度キャプチャが現在の条件下で発生することができないとき、現在の条件は深度キャプチャに適切ではない。いくつかの実施形態では、現在の条件は、キャプチャが可能であるが、非最適又は非理想的レベル(例えば、品質のレベル)であるとき、深度キャプチャのために適切ではない。いくつかの実施形態では、1つ以上の深度キャプチャ基準のセットが満たされないという判定に従って、二次記録インジケータの第1の視覚的外観が維持される。いくつかの実施形態では、1つ以上の深度キャプチャ基準のセットが満たされていないという判定に従って、二次記録インジケーションは表示されるのを中止する。1つ以上の深度キャプチャのセットが満たされたときに第2の外観を有する記録インジケータを表示することは、物理的環境内の条件が深度キャプチャに適しているかどうかに関する視覚的フィードバックをユーザに提供し、これは、改善された視覚的フィードバックを提供し、ユーザが深度キャプチャを介して関心のあるコンテンツを適切かつ迅速にフレーミング及びキャプチャするのを支援し、これは、一時的なイベントに特に関連し、コンピュータシステムの機能を改善する。特定の規定された条件が満たされたときに(例えば、深度キャプチャ基準のセットが満たされたという判定に従って)記録インジケータを表示することは、物理的環境内の条件が深度キャプチャに適切であることをユーザに示す表示動作を自動的に実行する能力をコンピュータシステムに自動的に提供し、この表示動作は、更なるユーザ入力を必要とすることなく、条件のセットが満たされたときに動作を実行する。
【0287】
いくつかの実施形態では、エクステンデッドリアリティカメラユーザインタフェース(例えば、1102、1124、及び/又は1126のディスプレイ)を表示する前に、コンピュータシステム(例えば、700)は、エクステンデッドリアリティカメラユーザインタフェースを表示する要求に対応する入力(例えば、エアジェスチャ(例えば、エアピンチ、エアスワイプ、エアデピンチ、及び/又はエアタップ)、触覚入力(例えば、コンピュータシステムに結合されたハードウェアボタンの選択に対応する入力、又はカメラアプリケーション起動アイコン上の入力)を(例えば、コンピュータシステムと通信する1つ以上のカメラ及び/又はコンピュータシステムと通信する1つ以上のセンサを介して)検出し、エクステンデッドリアリティカメラユーザインタフェースを表示する要求に対応する入力を検出したことに応じて、コンピュータシステムは、エクステンデッドリアリティカメラユーザインタフェースを表示し、エクステンデッドリアリティカメラユーザインタフェースを表示することは、(例えば、図11Bに関して上述したように)記録インジケータがフェードインするアニメーションを表示することを含む(例えば、記録インジケータの外観が所定の時間期間にわたって漸進的に変化する(例えば、より顕著になる))。いくつかの実施形態では、エクステンデッドリアリティカメラユーザインタフェースを表示するのを中止する要求に対応する入力を検出したことに応じて、記録インジケータはフェードアウトする。いくつかの実施形態では、記録インジケータがフェードインしている間に物理的環境の表現が表示される。いくつかの実施形態では、記録インジケータがフェードインした後に物理的環境の表現が表示される。いくつかの実施形態では、記録インジケータは、物理的環境の表現がフェードインする間にフェードインする。フェードインとして記録インジケータを表示することは、コンピュータシステムの状態についての視覚的フィードバックをユーザに提供し(例えば、コンピュータシステムが、エクステンデッドリアリティカメラユーザインタフェースを表示する要求を検出した)、これは、改善された視覚的フィードバックを提供し、ユーザが関心のあるコンテンツを適切かつ迅速にフレーミング及びキャプチャすることを支援し、これは、一時的なイベントに特に関連し、コンピュータシステムの機能を改善する。
【0288】
いくつかの実施形態では、物理的環境(例えば、704)の表現は、記録インジケータ(例えば、1102)を取り囲む(例えば、かつ記録インジケータによって取り囲まれていない)第3の部分(例えば、図11B図11Cの記録インジケータ1102によって取り囲まれていない704の部分)を含み、物理的環境の表現の第3の部分及び記録領域(例えば、記録インジケータ1102の内部)は、任意選択的に、表示されたユーザインタフェース要素(例えば、図11Bを参照して上述したような)に起因して実質的に同じ量の輝度変更を有する(例えば、任意選択的に、同じ量の輝度変更を有するか、又は閾値が全輝度範囲の5%、4%、3%、2%、又は1%未満である輝度変更の差の閾値量未満を有する)(例えば、平均輝度量、同じ量の周囲輝度、物理的環境の表現の第3の部分及び記録領域は同じ量の輝度を有するが、ユーザは記録領域を物理的環境の表現の第3の部分よりも明るいと知覚する)。いくつかの実施形態では、物理的環境の表現の第3の部分及び記録領域は、任意選択的に、同じ量の輝度で表示される)。いくつかの実施形態では、コンピュータシステムは、記録領域の輝度の量と比較して、第3の部分の輝度の量を差別的に修正しない。物理的環境の表現の第3の部分及び記録領域を同じ量の輝度で表示することにより、ユーザは、物理的環境のどのコンテンツが記録領域内にあり、メディアキャプチャプロセスの一部としてキャプチャされるか、及び物理的環境のどのコンテンツが記録領域内になく、メディアキャプチャプロセスの一部としてキャプチャされないかを容易に確認することができ、これは、改善された視覚的フィードバックを提供し、ユーザが深度キャプチャを介して関心のあるコンテンツを適切かつ迅速にフレーミング及びキャプチャするのを支援し、これは、一時的なイベントに特に関連し、コンピュータシステムの機能を改善する。
【0289】
いくつかの実施形態では、記録インジケータ(例えば、1102)は、第3の縁部領域(例えば、1102b)を有し(例えば、第1の縁部領域は、第3の縁部領域よりも記録インジケータの中心に近い)、第1の縁部領域(例えば、1102a)は、(例えば、図11Bを参照して上述したように)第3の縁部領域よりも暗い(例えば、第1の縁部領域の色は、第3の縁部領域の色よりも暗い)(例えば、第1の縁部領域及び第3の縁部領域は、同じ輝度で表示される)。いくつかの実施形態では、視覚的パラメータは、暗さのレベルである。第3の縁部領域を第1の縁部領域よりも暗く表示することは、記録領域が視覚的に強調されている(例えば、記録領域が記録領域の外側の物理的環境の表現よりも明るく見える)とユーザに知覚させる視覚効果を生成するのに役立ち、これは、写真又はビデオのいずれかとしてキャプチャされる記録領域内にあるコンテンツをユーザがより容易に見て焦点を当てるようにし、これは、改善された視覚的フィードバックを提供し、ユーザが関心のあるコンテンツを適切かつ迅速にフレーミングしキャプチャするのを支援し、これは、特に一時的なイベントに関連し、コンピュータシステムの機能を改善する。
【0290】
いくつかの実施形態では、記録インジケータ(例えば、1102)は、第4の縁部領域(例えば、1102b)を有し(例えば、第1の縁部領域は、第4の縁部領域よりも記録インジケータの中心に近い)、第4の縁部領域は、(例えば、図11Bを参照して上述したように)第1の縁部領域(例えば、1102a)よりも暗い(例えば、第4の縁部領域の色は、第1の縁部領域の色よりも暗い)(例えば、第4の縁部領域及び第1の縁部領域は、同じ輝度で表示される)。いくつかの実施形態では、視覚的パラメータはグレースケールである(例えば、0~255の範囲の色値を有するグレースケールであり、0は黒に対応し、255は白に対応する)。第4の縁部領域を第1の縁部領域よりも暗く表示することは、エクステンデッドリアリティカメラユーザインタフェースの部分(例えば、記録領域又は記録インジケータを取り囲むエクステンデッドリアリティユーザインタフェースの部分)がより明るく見える(例えば、記録領域が記録インジケータの外側の物理的環境の表現よりも明るく見えるか、又は記録インジケータを取り囲む物理的環境の表現がより明るく見える)ことをユーザに知覚させる視覚効果を作成するのに役立ち、これは、ユーザがエクステンデッドリアリティカメラユーザインタフェースの特定の部分内のコンテンツを容易に見て集中することを可能にし、これは、改善された視覚的フィードバックを提供し、ユーザが関心のあるコンテンツを適切かつ迅速にフレーミング及びキャプチャするのを支援し、これは、一時的なイベントに特に関連し、コンピュータシステムの機能を改善する。
【0291】
いくつかの実施形態では、コンピュータシステム(例えば、700)は、記録インジケータ(例えば、1102)内にキャプチャ仮想オブジェクト(例えば、1124)を表示し、キャプチャ仮想オブジェクトは、選択されると(例えば、キャプチャ仮想オブジェクトに向けられたユーザの視線(例えば、視線及び停留)の検出を介して選択され、いくつかの実施形態では、1つ以上のジェスチャ(例えば、ピンチジェスチャ、デピンチジェスチャ、エアタップ、及び/又はエアスワイプ)を実行するユーザの検出と組み合わせて選択され、及び/又はキャプチャ仮想オブジェクトの表示に対応する空間内の点に向けられたタップの検出を介して選択される)、メディアをキャプチャするためのプロセスを開始させる(例えば、図11Dを参照して上述したように)(例えば、コンピュータシステムにメディアをキャプチャするためのプロセスの開始を引き起こす)(例えば、静止メディア又はビデオメディア)(例えば、コンピュータシステムと通信している1つ以上のカメラを使用してメディアをキャプチャする)。いくつかの実施形態では、キャプチャ仮想オブジェクトの外観は、キャプチャ仮想オブジェクトが選択されることに応じて変化する。記録インジケータ内にキャプチャアフォーダンスを表示することにより、ユーザは、キャプチャアフォーダンスを選択すると、メディアをキャプチャするためのプロセスを介して、キャプチャされるコンテンツを見ながら、キャプチャアフォーダンスを容易に見てアクセスすることが可能になり、これは、改善された視覚的フィードバックを提供し、ユーザが関心のあるコンテンツを適切かつ迅速にフレーミング及びキャプチャするのを支援し、これは、一時的なイベントに特に関連し、コンピュータシステムの機能を改善する。
【0292】
いくつかの実施形態では、コンピュータシステム(例えば、700)は、記録インジケータ(例えば、1102)内にカメラロール仮想オブジェクト(例えば、1126)を表示し、カメラロール仮想オブジェクトは、選択されると(例えば、カメラロール仮想オブジェクトのディスプレイに向けられたユーザの視線(例えば、視線及び停留)の検出を介して選択されると)、いくつかの実施形態では、1つ以上のジェスチャ(例えば、ピンチジェスチャ、デピンチジェスチャ、エアタップ、エアスワイプ、及び/又はタッチ感知面などのハードウェア入力デバイス上の入力、又はボタン若しくは回転可能入力機構のアクティブ化)を実行するユーザの検出と組み合わせて、かつ/又はカメラロール仮想オブジェクト上の表示に対応する空間内の点でのタップの検出を介して選択されると、以前にキャプチャされたメディア(例えば、図11Bを参照して上述したように)を(例えば、表示生成構成要素を介して)表示するプロセスの開始を引き起こす(例えば、コンピュータシステムに以前にキャプチャされたメディアアイテム(例えば、静止メディア又はビデオメディア)(例えば、コンピュータシステムと通信する1つ以上のカメラを使用して以前にキャプチャされたメディアアイテム)(例えば、外部デバイス(例えば、スマートフォン)(例えば、コンピュータシステムとは別個のデバイス)を使用して以前にキャプチャされたメディアアイテム)を表示させる)。いくつかの実施形態では、カメラロール仮想オブジェクトの選択は、エクステンデッドリアリティカメラユーザインタフェースの表示を中止する。記録インジケータ内にカメラロール仮想オブジェクトを表示することは、ユーザが、メディアをキャプチャするためのプロセスの一部としてキャプチャされることになるコンテンツを見ながら、カメラロール仮想オブジェクトを容易に見てアクセスすることを可能にし、これは、改善された視覚的フィードバックを提供し、ユーザが関心のあるコンテンツを適切かつ迅速にフレーミング及びキャプチャするのを支援し、これは、一時的なイベントに特に関連し、コンピュータシステムの機能を改善する。
【0293】
いくつかの実施形態では、記録インジケータ(例えば、1102)は、1つ以上の丸い角部(例えば、1128又は1130)を含む(例えば、記録インジケータの丸い角部のそれぞれの半径は同じである)。
【0294】
いくつかの実施形態では、記録インジケータ(例えば、1102)は、物理的環境の表現の第4の部分(例えば、図11Bの1102内にある704の部分)を取り囲むように表示される(例えば、物理的環境の表現の第4の部分は、物理的環境の表現の全体未満である)(例えば、物理的環境の表現の第4の部分は、記録インジケータによって取り囲まれる)が、コンピュータシステム(例えば、700)は、1つ以上のカメラのポーズの変化(例えば、1つ以上のカメラのポーズの変化は、ユーザ(例えば、コンピュータシステムのユーザ)の視野の変化に対応する)(例えば、図11Bと11Cとの間のコンピュータシステムの移動)を検出する(例えば、コンピュータシステムと通信(例えば、有線通信又は無線通信)している1つ以上のセンサを介して)。1つ以上のカメラのポーズの変化を検出したことに応じて、コンピュータシステムは、物理的環境の表現の第4の部分(例えば、図11Cの1102内にある704の部分)の周囲に記録インジケータを表示することなく、物理的環境の表現の第5の部分の周囲に記録インジケータを表示する(例えば、物理的環境の表現の第4の部分の周囲の記録インジケータの表示を中止する)(例えば、物理的環境の表現の第4の部分は、ユーザに可視のままである)(例えば、コンピュータシステムは、記録インジケータの表示を維持する)(例えば、1つ以上のカメラが物理的環境内で移動されると、記録インジケータ内にある物理的環境の部分が変化する)(例えば、物理的環境の表現の第5の部分は、物理的環境の表現の第4の部分とは異なる)。いくつかの実施形態では、物理的環境の表現の第4の部分及び物理的環境の表現の第5の部分に含まれるコンテンツに重複がある。いくつかの実施形態では、物理的環境の表現の第4の部分及び物理的環境の表現の第5の部分に含まれるコンテンツに重複はない。いくつかの実施形態では、物理的環境の表現の第4の部分は、1つ以上のカメラのポーズの変化を検出したことに応じて、ユーザに可視であることを中止する。いくつかの実施形態では、コンピュータシステムは、ユーザの視点の段階的なシフト(例えば、ユーザの視点のシフトは、1つ以上のカメラのポーズの変化に対応する)を(例えば、コンピュータシステムに結合された1つ以上のセンサ及び/又はコンピュータシステムと通信する1つ以上のカメラを介して)検出したことに応じて、物理的環境の表現の第4の部分の周囲に記録インジケータを表示することなく、物理的環境の表現の第5の部分の周囲に記録インジケータを表示する。いくつかの実施形態では、コンピュータシステムは、(例えば、コンピュータシステムと通信する1つ以上のカメラを介して)物理的環境内のコンテンツの漸進的な変化(例えば、コンピュータシステムが静止している間に物理的環境内のコンテンツがシフトしている)を検出したことに応じて、物理的環境の表現の第4の部分の周囲に記録インジケータを表示することなく、物理的環境の表現の第5の部分の周囲に記録インジケータを表示する。1つ以上のカメラのポーズの変化を検出したことに応じて、物理的環境の表現の第4の部分の周囲に記録インジケータを表示することを中止し、物理的環境の表現の第5の部分の周囲に記録インジケータを表示することは、追加のコントロールを表示することなく、メディアキャプチャプロセスを介して物理的環境のどの部分がキャプチャされるかを制御する能力をユーザに提供し、これは、ユーザインタフェースを混乱させることなく追加のコントロールオプションを提供する。
【0295】
いくつかの実施形態では、方法800、900、1000、1200、1400及び1500の態様/動作は、これらの方法の間で交換、置換、及び/又は追加され得る。例えば、1つ以上のカメラの視野のプレビューが、ユーザの視点のポーズの変化を検出したことに応じてシフトされる方式(例えば、方法900で説明されるように)は、方法1200の記録インジケータに適用されてもよい。簡潔にするために、それらの詳細はここでは繰り返さない。
【0296】
図13A図13Jは、カメラユーザインタフェースを表示する例を示す。図14は、キャプチャメディアに関連する情報を表示するための例示的な方法1400のフロー図である。図15A図15Bは、ビューファインダの外観を変更するための例示的な方法1500のフロー図である。図13A図13Jのユーザインタフェースは、図14及び図15A図15Bのプロセスを含む、以下で説明するプロセスを示すために使用される。
【0297】
図13Aは、物理的環境においてディスプレイ702を含むコンピュータシステム700を保持しているユーザ712を示す。(例えば、図7A図7Q及び図11A図11Dに関連して上述したような)コンピュータシステム700の上記説明は、図13A図13Jに示すコンピュータシステム700に適用される。物理的環境は、カウチ709a、写真709b、第1の個人709c1、第2の個人709c2、テレビ709d、及び椅子709eを含む。図13A図13Jの実施形態では、コンピュータシステム700の視点は、コンピュータシステム700と通信(例えば、有線通信又は無線通信)している1つ以上のカメラ(例えば、コンピュータシステム700の背面のカメラ)の視野に対応する。したがって、コンピュータシステム700が物理的環境全体にわたって移動されると、コンピュータシステム700の視点が変化し、それにより、1つ以上のカメラの視野が変化する。図13Aは、コンピュータシステム700をタブレットとして示しているが、以下に説明する技術は、ヘッドマウントデバイスに適用可能である。コンピュータシステム700がヘッドマウントデバイスであるいくつかの実施形態では、コンピュータシステム700は、任意選択的に2つのディスプレイ(コンピュータシステム700のユーザの各目に対して1つ)を含み、各ディスプレイは様々なコンテンツを表示する。コンピュータシステム700がヘッドマウントデバイスであるとき、物理的環境1306の表現の外観(例えば、以下でより詳細に議論されるような)は、ユーザの視点の変化(例えば、ユーザがその頭部を回転させる、及び/又はユーザが物理的環境内で自身を再位置決めする)に基づいて変化する。更に、コンピュータシステム700がヘッドマウントデバイスであるとき、ビューファインダ1318内にあるコンテンツ(例えば、以下でより詳細に論じられるように)は、ユーザの視点の変化(例えば、ユーザがその頭部を回転させる、及び/又はユーザが物理的環境内で自身を再位置決めする)に基づいて変化する。
【0298】
図13B図13Jにおいて、コンピュータシステム700は、ディスプレイ702上で可視であるコンテンツをより良く示すために拡大図で示される。図13Bに示すように、コンピュータシステム700は、ホーム画面ユーザインタフェース1314を表示する。ホーム画面ユーザインタフェース1314は、複数の仮想オブジェクト1310を含む。複数の仮想オブジェクト1310の各仮想オブジェクトは、コンピュータシステム700にインストールされた個別のアプリケーションに対応する。コンピュータシステム700は、複数の仮想オブジェクト1310内の個別の仮想オブジェクトの選択を検出したことに応じて、対応するアプリケーションを起動する。
【0299】
カメラアプリケーション仮想オブジェクト1310aは、コンピュータシステム700にインストールされたカメラアプリケーションに対応する。図13Bに示すように、コンピュータシステム700は、ハードウェアボタン711aを含む。ハードウェアボタン711aは、ハードウェアボタン711aが押下されたことをコンピュータシステム700が検出したことに応じてアクティブ化される。図13Bにおいて、コンピュータシステム700は、カメラアプリケーション仮想オブジェクト1310aの選択に対応する入力1350b(例えば、タップ)を検出する。いくつかの実施形態では、入力1350bは、カメラアプリケーション仮想オブジェクト1310aの表示に対応する空間内の点で(例えば、コンピュータシステム700と通信する1つ以上のカメラを介して)検出されるエアジェスチャ(例えば、エアタップ、エアピンチ、エアデピンチ、及び/又はエアスワイプ)に対応する。いくつかの実施形態では、入力1350bは、カメラアプリケーション仮想オブジェクト1310aのディスプレイの方向へのユーザの持続的視線の(例えば、コンピュータシステム700の1つ以上のカメラによる)検出に対応する。いくつかの実施形態では、ハードウェアボタン711aは、ユーザがコンピュータシステム700を操作している間に、ユーザには可視ではない(例えば、コンピュータシステム700がHMDであるとき、ハードウェアボタン711aはユーザの視野内にない)。いくつかの実施形態では、ハードウェアボタン711aは回転可能なボタンである。いくつかの実施形態では、ハードウェアボタン711aは、ハードウェアボタン711aが回転されたことをコンピュータシステム700が検出したことに応じてアクティブ化される。いくつかの実施形態では、ハードウェアボタン711aは、ハードウェアボタン711aが押下されて回転されたことをコンピュータシステム700が検出したことに応じてアクティブ化される。
【0300】
図13Cにおいて、入力1350bを検出したことに応じて、コンピュータシステム700は、カメラユーザインタフェース1304を表示する。カメラユーザインタフェース1304は、コンピュータシステム700にインストールされたカメラアプリケーションに対応する。図13Cに示すように、カメラユーザインタフェース1304は、物理的環境1306の表現を含む。物理的環境1306の表現は、コンピュータシステム700と通信(例えば、有線通信及び/又は無線通信)している1つ以上のカメラの視野に対応する。したがって、物理的環境1306の表現に含まれるコンテンツは、1つ以上のカメラの視野の変化に基づいて変化する。ユーザがディスプレイ702を見るとき、ユーザは、(例えば、図13C図13F及び図13H図13Jに示すように)コンピュータシステム700が表示する1つ以上の仮想オブジェクトとともに物理的環境1106の表現を見ることができる。したがって、コンピュータシステム700は、ディスプレイ702を介してエクステンデッドリアリティ環境を提示する。
【0301】
図13Cにおいて、コンピュータシステム700は、コンピュータシステム700が最初に電源投入されてから最初にカメラユーザインタフェース1304が表示される(例えば、コンピュータシステム700は、図13Cにおいてコンピュータシステム700の寿命の間に最初にカメラユーザインタフェース1304を表示する)という判定を行う。コンピュータシステム700は、カメラユーザインタフェース1304が最初に表示されると判定するため、コンピュータシステム700は、カメラユーザインタフェース1304内にチュートリアル1308を表示する。チュートリアル1308は、コンピュータシステム700のグラフィック表現と、ハードウェアボタン711aのグラフィック表現と、コンピュータシステム700を使用してビデオ及び/又は写真をどのようにキャプチャするかに関する命令とを含む。
【0302】
チュートリアル1308は、ハードウェアボタン711aの表現上で入力を実行するユーザの指の表現を示すビデオ(例えば、ルーピングビデオ(例えば、コンピュータシステム700は、チュートリアル1308の再生を繰り返しパターンで表示する))である。チュートリアル1308に含まれる命令は、コンピュータシステム700がハードウェアボタン711a上のタップ入力を検出したことに応じて写真をキャプチャすること、及びコンピュータシステム700がハードウェアボタン711a上のプレスアンドホールド入力を検出したことに応じてビデオをキャプチャすることを示す。いくつかの実施形態では、コンピュータシステム700は、コンピュータシステム700がアプリケーションを最初に起動したときに、コンピュータシステム700にインストールされた異なるアプリケーション(例えば、メディア再生アプリケーション、電子メールアプリケーション、及び/又はテキストメッセージングアプリケーション)に対応するチュートリアル1308をユーザインタフェース内に表示する。いくつかの実施形態では、チュートリアル1308は、コンピュータシステム700の他の機能をどのように使用するか(例えば、コンピュータシステム700上でメディアをどのように再生するか、コンピュータシステム700上でメディアの再生をどのように制御するか、及び/又はコンピュータシステム700上でインターネットブラウザをどのようにナビゲートするか)に関する命令を含む。
【0303】
図13Cに示すように、コンピュータシステム700がカメラユーザインタフェース1304内にチュートリアル1308を表示する間、コンピュータシステム700は、(例えば、コンピュータシステム700がチュートリアル1308を表示する輝度と比較して)輝度の低減を伴って、物理的環境1306の表現を表示する。更に、図13Cに示すように、コンピュータシステム700がカメラユーザインタフェース1304にチュートリアル1308を表示している間に、コンピュータシステム700は、物理的環境1306の表現の部分が可視であるように、物理的環境1306の表現の上にオーバーレイされたチュートリアル1308を表示する。
【0304】
図13Cにおいて、コンピュータシステム700は、ハードウェアボタン711aのアクティブ化に対応する入力1350cを検出する。いくつかの実施形態では、入力1350cは、ハードウェアボタン711aのプレスアンドホールドに対応する(例えば、コンピュータシステム700は、ハードウェアボタン711aが所定の時間よりも長く押下されたことを検出する)。いくつかの実施形態では、入力1350cは、ハードウェアボタン711aのタップに対応する(例えば、コンピュータシステム700は、ハードウェアボタン711aが所定の時間未満にわたって押下されたことを検出する)。いくつかの実施形態では、入力1350cは、ハードウェアボタン711aの回転に対応する。いくつかの実施形態では、コンピュータシステム700は、チュートリアル1308の表示が物理的環境1306の表現の外観を不明瞭にしないように、ある程度の透光性でチュートリアル1308を表示する。
【0305】
図13Dにおいて、入力1350cの検出に応じて、コンピュータシステム700はチュートリアル1308の表示を中止する。すなわち、コンピュータシステム700は、チュートリアル1308によって示される入力(例えば、ハードウェアボタン711aのアクティブ化)を検出したことに応じて、チュートリアル1308を表示することを中止する。図13Dに示すように、コンピュータシステム700は、チュートリアル1308が表示されていなくても、カメラユーザインタフェース1304の表示を維持する。更に、図13Dに示すように、コンピュータシステム700は、チュートリアル1308の表示を中止することの一部として、カメラユーザインタフェース1304内にビューファインダ1318を表示する。
【0306】
図13Dに示すように、コンピュータシステム700は、ビューファインダ1318の各角部にレチクル仮想オブジェクト1320を表示する。レチクル仮想オブジェクト1320は、コンピュータシステム700と通信する1つ以上のカメラのキャプチャ領域を示す。コンピュータシステム700がメディアキャプチャ動作を実行する(例えば、コンピュータシステム700が写真及び/又はビデオをキャプチャする)間、レチクル仮想オブジェクト1320内にある物理的環境1306の表現からのコンテンツは、結果として得られるメディアアイテムにおいて可視である。加えて、図13Dに示すように、コンピュータシステム700は、終了仮想オブジェクト1316を表示する。コンピュータシステム700は、コンピュータシステム700が終了仮想オブジェクト1316の選択に対応する入力を検出したことに応じて、カメラユーザインタフェース1304を表示することを中止する。いくつかの実施形態では、レチクル仮想オブジェクト1320は、ビューファインダ1318の境界を示す。いくつかの実施形態では、ビューファインダ1318は、コンピュータシステム700と通信する1つ以上のカメラのキャプチャ領域を示す。いくつかの実施形態では、コンピュータシステム700は、メディアキャプチャ動作を実行することの一部として、ビューファインダ1318及び/又はレチクル仮想オブジェクト1320の外側にあるコンテンツをキャプチャする。いくつかの実施形態では、レチクル仮想オブジェクト1320は、ビューファインダ1318の周縁の周囲の連続線である。
【0307】
注目すべきことに、図13Dにおいて、コンピュータシステム700は、選択されたときにコンピュータシステム700にメディアキャプチャ動作を実行させる仮想オブジェクトをビューファインダ1318内に表示しない。むしろ、以下でより詳細に説明されるように、コンピュータシステム700は、コンピュータシステム700に結合されたハードウェアボタンのアクティブ化を検出したことに応じて、メディアキャプチャ動作を実行する。図13Dにおいて、コンピュータシステムは、ハードウェアボタン711aのタップに対応する入力1350dを検出する。入力1350dは、写真をキャプチャする要求に対応する。いくつかの実施形態では、コンピュータシステム700は、ビューファインダ1318のディスプレイの外側に複数のカメラモード仮想オブジェクトを表示する(例えば、複数のカメラモード仮想オブジェクト内の各仮想オブジェクトは、選択されると、コンピュータシステム700と通信する1つ以上のカメラを、それぞれのタイプのメディアアイテム(例えば、スローモーションビデオ、パノラマ写真、及び/又はポートレートスタイルの写真)をキャプチャするように構成させる)。いくつかの実施形態では、コンピュータシステム700は、終了仮想オブジェクト1316をビューファインダ1318の外側に表示する。いくつかの実施形態では、コンピュータシステム700は、ビューファインダ1318のディスプレイ内に/その上にオーバーレイされてチュートリアル1308を表示する。いくつかの実施形態では、コンピュータシステム700のアクセシビリティ設定が有効にされると、コンピュータシステム700は、ビューファインダ1318内にシャッタボタン仮想オブジェクトを表示し、シャッタボタン仮想オブジェクトは、選択されると、コンピュータシステム700にメディアアイテム(例えば、写真又はビデオ)をキャプチャするプロセスを開始させる。
【0308】
図13E1図13E5は、コンピュータシステム700が入力1350dの検出にどのように応答するか(例えば、コンピュータシステム700が、入力1350dの検出に応じて、レチクル仮想オブジェクト1320の外観及び/又は物理的環境1306の表現をどのように変化させるか)の様々な例示的な実施形態を描写する。以下でより詳細に説明するように、図13E1図13E5に示す例示的な実施形態のそれぞれでは、コンピュータシステム700は、入力1350dを検出したことに応じて、ビューファインダ1318内にある物理的環境1306の表現の少なくとも1つの光学特性(例えば、輝度、コントラスト、透光性、及び/又はサイズ)を変更する。いくつかの実施形態では、コンピュータシステム700は、入力1350dを検出したことに応じて、ビューファインダ1317内にある物理的環境1306の表現の2つ以上の光学特性を変更する。
【0309】
図13E1は、コンピュータシステム700が、入力1350dがハードウェアボタン711a上のタップ入力に対応する(例えば、ハードウェアボタン711aが所定の時間(例えば、0.1、0.3、0.5、0.7秒)未満にわたって押下される)という判定を行う、第1の例示的な実施形態を示す。図13E1において、コンピュータシステム700は、入力1350dがハードウェアボタン711a上のタップ入力に対応すると判定するため、コンピュータシステム700は、写真キャプチャ動作を実行する。図13E1において、写真キャプチャ動作を実行することの一部として、コンピュータシステム700は、ビューファインダ1318内にある物理的環境1306の表現の大部分(例えば、80%超)を暗くする。すなわち、図13E1において、コンピュータシステム700は、ビューファインダ1318の縁部からの距離閾値よりも大きいビューファインダ1318内のロケーションに位置決めされた物理的環境1306の表現の外観を均一に変更する。図13E1において、コンピュータシステム700は、ビューファインダ1318の個別の縁部から閾値距離内にある物理的環境1306の表現の外観を変更しない。
【0310】
加えて、図13E1では、写真キャプチャ動作を行うことの一部として、コンピュータシステム700は、終了仮想オブジェクト1316の表示を中止する。いくつかの実施形態では、写真キャプチャ動作を実行することの一部として、コンピュータシステム700はまた、ビューファインダ1318内にない物理的環境1306の部分表現を暗くする。いくつかの実施形態では、コンピュータシステム700は、ビューファインダ1318内にある物理的環境1306の表現の部分を、ビューファインダ1318内にない物理的環境1306の表現の部分よりも暗くするか、又はその逆を行う。
【0311】
図13E2は、コンピュータシステム700が、入力1350dがハードウェアボタン711a上のタップ入力に対応するという判定を行う、第2の例示的な実施形態を示す。図13E2において、コンピュータシステム700は、入力1350dがハードウェアボタン711a上のタップ入力に対応すると判定するため、コンピュータシステム700は、写真キャプチャ動作を実行する。図13E2において、写真キャプチャ動作を実行することの一部として、コンピュータシステム700は、ビューファインダ1318内にある物理的環境1306の表現の全てを暗くする。図13E2では、ビューファインダ1318内の物理的環境1306の表現の全てが均一に変更される。図13E2において、コンピュータシステム700は、ビューファインダ1318の外側にある物理的環境1306の表現の部分を暗くする。図13E2に示すように、コンピュータシステム700は、ビューファインダ1318内にある物理的環境1306の表現の部分を、ビューファインダ1318の外側にある物理的環境1306の表現の部分よりも暗くする。図13E2に示すように、コンピュータシステム700は、(例えば、図13Dにおいてコンピュータシステム700がレチクル仮想オブジェクト1320を表示する黒色とは対照的に)白色でレチクル仮想オブジェクト1320を表示する。図13E2では、コンピュータシステム700は、写真キャプチャ動作を行うことの一部として、(例えば、図13Dにおけるレチクル仮想オブジェクト1320の外観と比較して)レチクル仮想オブジェクト1320の色を変化させる。いくつかの実施形態では、コンピュータシステム700は、ビューファインダ1318内にある物理的環境1306の表現に対してレチクル仮想オブジェクト1320の外観を変更する。いくつかの実施形態では、写真キャプチャ動作を行うことの一部として、コンピュータシステム700は、コンピュータシステム700がビューファインダ1318の1つ以上の縁部及び/又はレチクル仮想オブジェクト1320の1つ以上の縁の外観を変化させる方法と異なるように、ビューファインダ1318の1つ以上の角部及び/又はレチクル仮想オブジェクト1320の1つ以上の角部の外観を変化させる。
【0312】
図13E3は、コンピュータシステム700が、入力1350dがハードウェアボタン711a上のタップ入力に対応する(例えば、ハードウェアボタン711aが所定の時間よりも短い時間にわたって押下される)という判定を行う、第3の例示的な実施形態を示す。図13E3において、コンピュータシステム700は、入力1350dがハードウェアボタン711a上のタップ入力に対応すると判定するため、コンピュータシステム700は、写真キャプチャ動作を実行する。図13E3において、写真キャプチャ動作を実行することの一部として、コンピュータシステム700は、ビューファインダ1318内にあり、ビューファインダ1318の個別の縁部から閾値距離にある物理的環境1306の表現の部分を暗くする。すなわち、図13E3において、コンピュータシステム700は、ビューファインダ1318内及びビューファインダ1318の縁部の距離閾値内のロケーションに位置決めされた物理的環境1306の表現の外観を均一に変化させる。図13E3において、コンピュータシステム700は、ビューファインダ1318内にあり、閾値距離よりも大きいビューファインダ1318の個別の縁部からの距離に位置する物理的環境1306の表現の外観を変更しない。
【0313】
図13E3において、コンピュータシステム700は、ビューファインダ1318の外側にある物理的環境1306の表現の部分を暗くする。図13E3に示すように、コンピュータシステム700は、ビューファインダ1318内にあり、ビューファインダ1318の個別の縁部から閾値距離にある物理的環境1306の表現の部分を、ビューファインダ1318の外側にある物理的環境1306の表現の部分よりも暗くなるように暗くする。加えて、図13E3では、写真キャプチャ動作を行うことの一部として、コンピュータシステム700は、増加した厚さ(例えば、図13Dにおけるレチクル仮想オブジェクト1320の厚さと比較して)を伴うレチクル仮想オブジェクト1320を表示し、終了仮想オブジェクト1316を表示することを中止する。
【0314】
図13E4は、コンピュータシステム700が、入力1350dがハードウェアボタン711a上のタップ入力に対応するという判定を行う、第4の例示的な実施形態を示す。図13E4において、コンピュータシステム700は、入力1350dがハードウェアボタン711a上のタップ入力に対応すると判定するため、コンピュータシステム700は、写真キャプチャ動作を実行する。図13E4において、写真キャプチャ動作を実行することの一部として、コンピュータシステム700は、ビューファインダ1318内にある物理的環境1306の表現の全体を暗くする。図13E4では、ビューファインダ1318内にない物理的環境1306の表現の部分の外観は修正されない。更に、図13E4において、写真キャプチャ動作を実行することの一部として、コンピュータシステム700は、レチクル仮想オブジェクト1320を表示することを中止し、ビューファインダ1318内の仮想オブジェクト1316を出る。図13E4に示すように、コンピュータシステム700は、ビューファインダ1318内にある物理的環境1306の表現を、ビューファインダ1318の外側にある物理的環境1306の表現よりも暗く表示する。いくつかの実施形態では、写真キャプチャ動作を実行することの一部として、コンピュータシステム700コンピュータシステム700は、ビューファインダ1318の外側にある物理的環境1306の表現の部分を暗くする。いくつかの実施形態では、コンピュータシステム700は、ビューファインダ1318内にある物理的環境1306の表現の部分を、ビューファインダ1318内にない物理的環境1306の表現の部分よりも暗くするか、又はその逆を行う。
【0315】
図13E5は、コンピュータシステム700が、入力1350dがハードウェアボタン711a上のタップ入力に対応するという判定を行う、第5の例示的な実施形態を示す。図13E5において、コンピュータシステム700は、入力1350dがハードウェアボタン711a上のタップ入力に対応すると判定するため、コンピュータシステム700は、写真キャプチャ動作を実行する。図13E5において、写真キャプチャ動作を実行することの一部として、コンピュータシステム700は、レチクル仮想オブジェクト1320の表示を暗くする。図13E5において、コンピュータシステム700は、ビューファインダ1318内又はビューファインダ1318外にある物理的環境1306の表現の外観を変更しない。
【0316】
図13E1図13E5の例示的な実施形態に示されるコンピュータシステム700の挙動を組み合わせることができることに留意されたい。例えば、入力1350dを検出したことに応じて、コンピュータシステム700は、図13E2に示すように、レチクル仮想オブジェクト1320の外観を変更することができ、コンピュータシステム700は、図13E1及び/又は13E3に示すように、物理的環境1306の表現の部分の外観を変更することができる。
【0317】
図13Fにおいて、コンピュータシステム700は、コンピュータシステム700が入力1350dを検出したことに応じて開始された写真キャプチャ動作を完了している。図13Fに示されるコンピュータシステム700の描写は、図13E1図13E5のいずれか1つに示されるコンピュータシステム700の挙動に従うことができる。図13Fに示すように、コンピュータシステム700が写真キャプチャ動作を完了したため、コンピュータシステム700は、表示レチクル仮想オブジェクト1320及び物理的環境1306の表現をそれらの初期外観(例えば、図13Dに示されるようなレチクル仮想オブジェクト1320及び物理的環境1306の表現の外観)に戻す。すなわち、図13E1図13E5に見られるように、レチクル仮想オブジェクト1318の外観及び物理的環境1306の表現への変化は、一時的である。コンピュータシステム700は、コンピュータシステム700が写真キャプチャ動作を完了した後に、レチクル仮想オブジェクト1320の外観及び物理的環境1306の表現に対する変更を逆にする。いくつかの実施形態では、コンピュータシステム700は、コンピュータシステム700が写真キャプチャ動作を完了してから所定の時間量(例えば、1、3、5、10、15、15、又は30秒)が経過した後、レチクル仮想オブジェクト1320の外観及び物理的環境1306の表現への変化を逆転させる。
【0318】
図13Fに示すように、コンピュータシステム700が写真キャプチャ動作を完了したため、コンピュータシステム700は、ビューファインダ1318内にフォトウェル仮想オブジェクト1330を表示する。フォトウェル仮想オブジェクト1330は、コンピュータシステム700によって直近にキャプチャされたメディアアイテムの表現を含む。したがって、図13Fにおいて、フォトウェル仮想オブジェクト1330は、入力1350dを検出したことに応じてコンピュータシステム700がキャプチャした写真の表現を含む。図13Fに示すように、コンピュータシステム700が写真キャプチャ動作を完了すると、コンピュータシステム700は、物理的環境1306の表現を明るくし(例えば、図13E1図13E5における物理的環境1306の表現の外観と比較して)、コンピュータシステム700は、終了仮想オブジェクト1316をビューファインダ1318内に表示する。
【0319】
図13Fにおいて、コンピュータシステム700は、終了仮想オブジェクト1316の選択に対応する入力1350fを検出する。いくつかの実施形態では、入力1350fは、終了仮想オブジェクト1316の表示に対応する空間内の点で(例えば、コンピュータシステム700と通信する1つ以上のカメラを介して)検出されるエアジェスチャ(例えば、エアタップ、エアピンチ、エアデピンチ、及び/又はエアスワイプ)に対応する。いくつかの実施形態では、コンピュータシステム700がメディアキャプチャ動作を終了した後、コンピュータシステム700は、キャプチャされたメディアのプレビューをカメラユーザインタフェース1304のディスプレイにフェードインしながら表示する(例えば、コンピュータシステム700は、キャプチャされたメディアのプレビューを漸進的に表示する)。いくつかの実施形態では、コンピュータシステム700がメディアキャプチャ動作を終了した後、コンピュータシステム700は、第1のサイズから第2のサイズに縮小し、ビューファインダ1318の角部に移動するキャプチャされたメディアのプレビューを表示する。いくつかの実施形態では、コンピュータシステム700がメディアキャプチャ動作を実行した後、コンピュータシステム700は、レチクル仮想オブジェクト1320の表示を、キャプチャされたメディアのプレビューの表示と置き換える。いくつかの実施形態では、コンピュータシステム700がメディアキャプチャ動作を実行した後、コンピュータシステム700は、最初に、フォトウェル仮想オブジェクト1330のサイズよりもわずかに大きいサイズでキャプチャされたメディアのプレビューを表示し、コンピュータシステム700は、キャプチャされたメディアアイテムのプレビューを、サイズが減少し、フォトウェル仮想オブジェクト1330の表示ロケーションに移動するものとして表示する。いくつかの実施形態では、コンピュータシステム700は、入力1350d(例えば、物理的環境内の異なるロケーション(例えば、わずかに異なる(例えば、1インチ、2インチ、3インチ、及び/又は人の平均瞳孔間距離によって分離される))に位置決めされた2つ以上のカメラからキャプチャされるメディアアイテムであって、各カメラが物理的環境の異なる透視図をキャプチャする、メディアアイテム)を検出したことに応じて、立体視メディアアイテムをキャプチャする。いくつかの実施形態では、コンピュータシステム700は、フォトウェル仮想オブジェクト1330の選択に対応する入力を検出したことに応じて、以前にキャプチャされたメディアアイテムの表現を表示する。
【0320】
図13Gにおいて、入力1350fの検出に応じて、コンピュータシステム700は、カメラユーザインタフェース1304の表示を中止し、ホーム画面ユーザインタフェース1314を表示する。図13Gにおいて、コンピュータシステム700は、カメラアプリケーション仮想オブジェクト1310aの選択に対応する入力1350gを検出する。いくつかの実施形態では、入力1350gは、カメラアプリケーション仮想オブジェクト1310aの表示に対応する空間内の点で(例えば、コンピュータシステム700と通信する1つ以上のカメラを介して)検出されるエアジェスチャ(例えば、エアタップ、エアピンチ、エアデピンチ、及び/又はエアスワイプ)に対応する。
【0321】
図13Hにおいて、入力1350gの検出に応じて、コンピュータシステム700は、カメラユーザインタフェース1304を表示する。図13Hにおいて、コンピュータシステム700は、カメラユーザインタフェース1304が(例えば、図13Dにおいて)コンピュータシステム700によって以前に表示されたという判定を行う。コンピュータシステム700は、カメラユーザインタフェース1304がコンピュータシステム700によって以前に表示されたことを決定するため、コンピュータシステム700は、チュートリアル1308なしでカメラユーザインタフェース1304を表示する。上述したように、コンピュータシステム700は、コンピュータシステム700がカメラユーザインタフェース1304を最初に表示するときに、カメラユーザインタフェース1304内にチュートリアル1308を表示する。しかしながら、コンピュータシステム700は、コンピュータシステム700が最初にカメラユーザインタフェース1304を表示した後に、カメラユーザインタフェース1304内にチュートリアル1308を表示しない。図13Hにおいて、コンピュータシステム700は、ハードウェアボタン711aのアクティブ化に対応する入力1350hを検出する。入力1350hは、ビデオメディアをキャプチャする要求に対応する。
【0322】
図13Iにおいて、コンピュータシステム700は、入力1350hがハードウェアボタン711aのプレスアンドホールド入力であるという判定を行う(例えば、コンピュータシステム700は、ハードウェアボタン711aが所定の時間(例えば、0.5、1、2、3、4、又は5秒)よりも長く押下されたことを検出する)。コンピュータシステム700は、入力1350hがハードウェアボタン711aのプレスアンドホールド入力であると判定するため、コンピュータシステム700は、ビデオキャプチャ動作を開始する。したがって、図13Hにおいて、コンピュータシステム700はビデオキャプチャ動作を実行しており、コンピュータシステム700がビデオキャプチャ動作を実行している間にレチクル仮想オブジェクト1320内にあるコンテンツは、結果として得られるビデオメディアにおいて可視となる。図13Iに示すように、コンピュータシステム700はビデオキャプチャ動作を実行しているため、コンピュータシステム700は、ビューファインダ1318の外側にある物理的環境1306の表現の外観の輝度を(例えば、図13Hの物理的環境1306の表現と比較して)低減する。
【0323】
図13Iに示すように、コンピュータシステム700はビデオキャプチャ動作を実行しているため、コンピュータシステム700は、ビューファインダ1318内に記録インジケータ仮想オブジェクト1332を表示する。記録インジケータ仮想オブジェクト1332は、コンピュータシステム700がビデオキャプチャ動作を開始してから経過した時間量に関するインジケーションを提供する。したがって、図13Iにおいて、コンピュータシステム700は、2秒間ビデオキャプチャ動作を実行している。記録インジケータ仮想オブジェクト1332の表示は、ビデオキャプチャ動作を実行することの一部としてコンピュータシステム700が表示する視覚的フィードバックの一部である。コンピュータシステム700は、コンピュータシステム700が写真キャプチャ動作を実行している間に、第1のタイプのフィードバック(例えば、図13E1図13E5のいずれか1つに示されるフィードバック)を表示し、コンピュータシステム700は、コンピュータシステム700がビデオキャプチャ動作を実行している間に、(例えば、図13Iに示されるような)第2のタイプのフィードバックを表示する。
【0324】
図13Iにおいて、コンピュータシステム700は、ハードウェアボタン711aのアクティブ化に対応する入力1350iを検出する。いくつかの実施形態では、コンピュータシステム700は、コンピュータシステム700がビデオキャプチャ動作を実行している間に、物理的環境1306の表現の輝度を修正しない。いくつかの実施形態では、コンピュータシステム700は、コンピュータシステム700が入力1350hを検出する限り、ビデオキャプチャの動作を実行する。いくつかの実施形態では、コンピュータシステム700が所定の時間量(例えば、2、3、4、又は5)を超えて入力1350hを検出した後、コンピュータシステム700は、コンピュータシステム700が入力1350hの検出を中止しても、ビデオキャプチャ動作の実行を継続する。いくつかの実施形態では、コンピュータシステム700は、記録インジケータ仮想オブジェクト1332の外観を変更して、コンピュータシステム700が入力1350hの検出を中止した場合でも、コンピュータシステム700がビデオキャプチャ動作の実行を継続することをユーザに示す。いくつかの実施形態では、コンピュータシステム700は、ビューファインダ1318の外側に記録インジケータ仮想オブジェクト1332を表示する。
【0325】
図13Jにおいて、入力1350iの検出に応じて、コンピュータシステム700は、ビデオキャプチャ動作の実行を中止する。すなわち、コンピュータシステム700は、ハードウェアボタン711aの第1のアクティブ化を検出したことに応じてビデオキャプチャ動作を開始し、コンピュータシステム700は、ハードウェアボタン711aの後続のアクティブ化を検出したことに応じてビデオキャプチャ動作を終了する。コンピュータシステム700は、ビデオキャプチャ動作の実行を中止することの一部として、記録インジケータ仮想オブジェクト1332の表示を中止する。上述したように、フォトウェル仮想オブジェクト1330の表示は、コンピュータシステム700によって直近にキャプチャされたメディアアイテムの表現を含む。したがって、図13Jにおいて、コンピュータシステム700は、フォトウェル仮想オブジェクト1330が図13Iにおいてキャプチャされたビデオメディアアイテムの表現を含むように、(例えば、図13Iにおけるフォトウェル仮想オブジェクトの外観と比較して)フォトウェル仮想オブジェクト1330の表示を更新する。図13Jにおいて、ビデオキャプチャ動作を中止することの一部として、コンピュータシステム700は、カメラユーザインタフェース1304内の物理的環境1306の表現の外観を(例えば、図13Iにおける物理的環境1306の表現の外観と比較して)明るくする。
【0326】
図13A図13Jに関する追加の説明は、図13A図13Jに関して説明される方法1400及び1500を参照して以下に提供される。
【0327】
図14は、いくつかの実施形態による、メディアアイテムを表示するための例示的な方法1400のフロー図である。いくつかの実施形態では、方法1400は、表示生成構成要素(例えば、702)(例えば、ディスプレイコントローラ、タッチ感知ディスプレイシステム、ディスプレイ(例えば、統合及び/又は接続)、3Dディスプレイ、透明ディスプレイ、プロジェクタ、ヘッドアップディスプレイ、及び/又はヘッドマウントディスプレイ)、1つ以上の入力デバイス(例えば、711a)(例えば、タッチ感知面(例えば、タッチ感知ディスプレイ))と通信しているコンピュータシステム(例えば、700)(例えば、スマートフォン、タブレット、及び/又はヘッドマウントデバイス)、マウス、キーボード、リモートコントロール、視覚入力デバイス(例えば、カメラ)、オーディオ入力デバイス(例えば、マイクロフォン)、及び/又は生体センサ(例えば、指紋センサ、顔識別センサ、及び/又は虹彩識別センサ))、1つ以上のカメラで実行される。いくつかの実施形態では、方法1400は、非一時的(又は一時的)コンピュータ可読記憶媒体内に記憶され、コンピュータシステム101の1つ以上のプロセッサ202(例えば、図1のコントロール110)などのコンピュータシステムの1つ以上のプロセッサによって実行される命令によって統制される。方法1400のいくつかの動作は、任意選択的に、組み合わされ、かつ/又はいくつかの動作の順序は、任意選択的に、変更される。
【0328】
コンピュータシステムは、1つ以上の入力デバイスを介して、カメラユーザインタフェース(例えば、1304)(例えば、コンピュータシステムにインストールされたカメラアプリケーションに対応するカメラユーザインタフェース)を表示する要求(例えば、1350b、1350g、1350c、1350d)(例えば、1つ以上のカメラによって検出されるエアジェスチャ(例えば、エアスワイプ、エアタップ、エアピンチ、及び/又はエアデピンチ)、視線に基づく要求、及び/又はコンピュータシステムと通信(例えば、有線及び/又は無線通信)するハードウェア入力機構のアクティブ化)を検出する(1402)。
【0329】
カメラユーザインタフェースを表示する要求を検出したことに応じて、コンピュータシステムは、カメラユーザインタフェースを表示し(1404)、カメラユーザインタフェースは、1つ以上のカメラのキャプチャ領域(例えば、キャプチャ領域内にあるコンテンツ(例えば、1つ以上のカメラの視野のプレビュー)が、1つ以上のカメラによってキャプチャされた結果として生じるメディア(例えば、静止メディア及び/又はビデオメディア)内で可視である)(キャプチャ領域は、1つ以上のカメラのうちの少なくとも2つのカメラの視野の部分(例えば、重なり合う視野の部分)である)を示すレチクル仮想オブジェクト(例えば、1320)(例えば、1つ以上の連続又は非連続の線又は他の形状のセット)を含み、カメラユーザインタフェースを表示することは、1つ以上の基準のセットが満たされているという判定に従って、カメラユーザインタフェース内の(例えば、レチクル仮想オブジェクト内の)チュートリアル(例えば、1308)(例えば、図13Cの1304)(例えば、コンピュータシステムの1つ以上の機能をどのように使用するかをユーザに説明するガイド)とともにカメラユーザインタフェースを表示することであって(例えば、チュートリアルは、カメラユーザインタフェース内に埋め込まれている)、チュートリアルは、カメラユーザインタフェースが表示されている間にコンピュータシステムでメディアをどのようにキャプチャするかに関する情報を提供する、こと(1406)と、1つ以上の基準のセットが満たされていないという判定に従って、チュートリアル(例えば、図13Dの1304)を表示することなく、カメラユーザインタフェースを表示すること(1408)と、を含む。いくつかの実施形態では、レチクルは、コンピュータシステムのロケーションの物理的環境の表現の上にオーバーレイされる。いくつかの実施形態では、物理的環境の表現がユーザに表示されている間にチュートリアルが表示される。いくつかの実施形態では、チュートリアルの表示は環境ロックされる。いくつかの実施形態では、チュートリアルの表示は視点ロックされる。いくつかの実施形態では、チュートリアルはループアニメーションである(例えば、アニメーション自体が繰り返される)。いくつかの実施形態では、物理的環境の表現の外観は、カメラユーザインタフェースを表示する要求を検出したことに応じて変更される(例えば、減光される)。いくつかの実施形態では、コンピュータシステムは、一旦コンピュータシステムがチュートリアルの再生を完了すると、チュートリアルの再生を継続しない。いくつかの実施形態では、チュートリアルは、2つの異なるタイプのメディア(例えば、ビデオ、スチール写真、及び/又はテキスト記述)の組み合わせを含む。いくつかの実施形態では、コンピュータシステムは、コンピュータシステムがチュートリアルの再生を完了した後に、チュートリアルの表現(例えば、チュートリアルの最後のビデオフレームの静止写真表現)を表示する。条件のセットが満たされた(例えば、カメラユーザインタフェースが最初に表示された)ときにチュートリアルとともにカメラユーザインタフェースを表示することは、ユーザがコンピュータシステムのメディアキャプチャ機能をどのように動作させるかに関する情報を制限した時点で、コンピュータシステムが、コンピュータシステムのメディアキャプチャ機能をどのように使用するかに関する情報をユーザに提供する表示動作を自動的に実行することを可能にし、これは、更なるユーザ入力を必要とすることなく、条件のセットが満たされたときに動作を実行する。
【0330】
いくつかの実施形態では、1つ以上の基準のセットは、(例えば、図11Cに関連して上述したように)カメラユーザインタフェース(例えば、1304)が最初に表示されるとき(例えば、コンピュータシステムが最初に電源投入された後にカメラユーザインタフェースが最初に表示されるとき、又はカメラユーザインタフェースがソフトウェア更新後に最初に表示されるとき)に満たされる基準を含む(例えば、コンピュータシステムは、コンピュータシステムが最初に電源投入されてから最初にカメラユーザインタフェースに関連付けられたカメラアプリケーションを実行する)。いくつかの実施形態では、基準は、コンピュータシステムのオペレーティングシステムがリセットされた後にカメラユーザインタフェースが最初に表示されるときに満たされる基準を含む。いくつかの実施形態では、カメラユーザインタフェースが最初に表示された後、コンピュータシステムは、チュートリアルを表示する要求を検出したことに応じてチュートリアルを表示する。いくつかの実施形態では、カメラユーザインタフェースの以前のインスタンスがチュートリアルとともに表示された後に、カメラユーザインタフェースの第2のインスタンスが表示されているとき、1つ以上の基準のセットは満たされない。いくつかの実施形態では、コンピュータシステムがカメラユーザインタフェースを最初に表示した後に、コンピュータシステムがカメラユーザインタフェースを再表示するとき、1つ以上の基準のセットは満たされない。いくつかの実施形態では、1つ以上の基準のセットは、コンピュータシステムがカメラユーザインタフェースを最初に表示した後の離散期間中に、コンピュータシステムがカメラユーザインタフェースを最初に表示する(例えば、コンピュータシステムがカメラユーザインタフェースを1日のうちの最初に表示する)ときに満たされない。いくつかの実施形態では、コンピュータシステムが最初にカメラユーザインタフェースを表示した後、コンピュータシステムが再起動された後にコンピュータシステムが最初にカメラユーザインタフェースを表示するとき、1つ以上の基準のセットは満たされない。いくつかの実施形態では、コンピュータシステムが以前にカメラユーザインタフェースを表示してからある時間期間(例えば、3日、1週間、1ヶ月、及び/又は1年)が経過した後に、コンピュータシステムが最初にカメラユーザインタフェースを表示するとき、1つ以上の基準のセットは満たされない。カメラユーザインタフェースが最初に表示されるときにチュートリアルを表示することは、カメラユーザインタフェースが過去にコンピュータシステムによって表示されたか否かに関する視覚的フィードバックをユーザに提供し、これは改善された視覚的フィードバックを提供する。
【0331】
チュートリアル(例えば、1308)を表示することは、(例えば、図13C及び図13Iを参照して上述したように)1つ以上のカメラ(例えば、静止写真及び/又はビデオ)を使用して第1のメディアアイテム(例えば、図13E1図13E5及び/又は図13Iでキャプチャされたメディアアイテム)をキャプチャする命令(例えば、テキスト命令及び/又はグラフィック命令)を表示することを含む。いくつかの実施形態では、チュートリアルは、コンピュータシステムの2つ以上のメディアキャプチャ機能(例えば、写真キャプチャ機能及びビデオキャプチャ機能)をどのように動作させるかについての命令を含む。カメラユーザインタフェースが最初に表示されたときにメディアアイテムをキャプチャする命令を表示することは、ユーザがコンピュータシステムのメディアキャプチャ機能に精通していない時点でコンピュータシステムのメディアキャプチャ機能をどのように動作させるかに関する明確さをユーザに提供し、その結果、ユーザがコンピュータシステムのメディアキャプチャ機能を最初に使用しているときのユーザエラーの量が低減される。
【0332】
いくつかの実施形態では、チュートリアル(例えば、1308)は、(例えば、図13Cを参照して上述したような)ビデオ(例えば、ループビデオ)を含む(例えば、コンピュータシステムは、チュートリアルを繰り返しループで連続的に再生する)。いくつかの実施形態では、コンピュータシステムは、チュートリアルのビデオを1回再生する。いくつかの実施形態では、コンピュータシステムは、チュートリアルのビデオの再生を制御するための1つ以上のコントロールを表示する(例えば、ユーザは、ビデオの再生を一時停止、巻き戻し、かつ/又は早送りしてもよい)。いくつかの実施形態では、チュートリアルのビデオの再生を中止する要求を検出したことに応じて、コンピュータシステムは、チュートリアルのビデオの再生を中止する。コンピュータシステムを用いてメディアをどのようにキャプチャするかについての命令を含むビデオを表示することは、ユーザがコンピュータシステムのメディアキャプチャ機能に精通していない時点でコンピュータシステムのメディアキャプチャ機能をどのように使用するかに関する明確かつ曖昧でないガイダンスをユーザに提供し、その結果、ユーザがコンピュータシステムのメディアキャプチャ機能を最初に使用しているときのユーザエラーの量が低減される。
【0333】
いくつかの実施形態では、カメラユーザインタフェース(例えば、1304)を表示することは、ビューファインダ仮想オブジェクト(例えば、1318)を表示することを含み(例えば、ビューファインダ仮想オブジェクトは、コンピュータシステムと通信する1つ以上のカメラのキャプチャ領域を示す)、チュートリアル(例えば、1308)を表示することは、(例えば、図13Dを参照して上述したように)ビューファインダ仮想オブジェクトの少なくとも一部分をオーバーレイするチュートリアルを表示することを含む(例えば、チュートリアルは、ビューファインダ内に(例えば、ビューファインダの中心に)表示される)。いくつかの実施形態では、チュートリアルは、ビューファインダ仮想オブジェクト内の中心に表示されない。いくつかの実施形態では、チュートリアルは、ビューファインダ仮想オブジェクト及び物理的環境の表現(例えば、光学表現又は仮想表現)の上にオーバーレイされる。
【0334】
いくつかの実施形態では、コンピュータシステム(例えば、700)は、ハードウェア入力機構(例えば、711a)(例えば、押下可能及び/又は回転可能なハードウェア入力機構)(例えば、チュートリアルが表示されている間に、ハードウェア入力機構はユーザには可視ではない)(例えば、コンピュータシステムに組み込まれたサイドボタン)と通信(例えば、無線通信及び/又は有線通信)しており、アクティブ化されると(例えば、ハードウェア入力機構が押下されると)、(例えば、図13E1図13E5及び図13Iに示すように)メディアキャプチャプロセスの開始を引き起こし(例えば、ビデオ又は静止メディアをキャプチャする)、チュートリアル(例えば、1308)は、ハードウェア入力機構の表現(例えば、ハードウェア入力機構のグラフィック表現)を含み(ISEは、コンピュータシステムの表現(例えば、グラフィック表現)を含む)、チュートリアルを表示することは、(例えば、図13Cを参照して上述したように)ハードウェア入力機構のアクティブ化に対応する入力(例えば、タップ入力及び/又はプレスアンドホールド入力)(例えば、ユーザ入力)の表現(例えば、グラフィック表現)を表示することを含む(例えば、チュートリアルは、ハードウェア入力機構の表現を選択する(例えば、押下する)ユーザの表現を示す)。ハードウェア入力機構の表現の選択に対応する入力の表現を表示することは、ユーザがコンピュータシステムのメディアキャプチャ機能に精通していない時点でコンピュータシステムのメディアキャプチャ機能をどのように使用するかに関するガイダンスをユーザに提供し、その結果、ユーザが最初にコンピュータシステムのメディアキャプチャ機能を使用しているときのユーザエラーの量が低減される。
【0335】
いくつかの実施形態では、ハードウェア入力機構(例えば、711a)(例えば、アクティブ化されると、メディアキャプチャプロセスの開始を引き起こす)は、ユーザがコンピュータシステム(例えば、700)を操作している間に、ユーザ(例えば、712)には可視ではない(例えば、ハードウェア入力機構は、コンピュータシステム(例えば、コンピュータシステムがHMDである場合)がチュートリアルを表示している間に、ユーザの視野内にない)(例えば、コンピュータシステムは、ハードウェア入力機構を見るユーザの能力を妨げる)(例えば、ハードウェア入力機構は、コンピュータシステムがチュートリアルを表示している間に、ユーザには可視ではない)。ハードウェア入力機構がユーザに可視ではない間にユーザがコンピュータシステムを操作することを可能にすることは、ハードウェア入力機構が、コンピュータによって表示される情報及び/又は命令を見るユーザの能力を妨害することを防止し(例えば、ユーザは、コンピュータシステムが表示するチュートリアルを明確に見ることができる)、ユーザにとってハードウェア入力機構が見えないことを前提として、ハードウェア入力機構のロケーション及び機能に関する重要性が高まった情報を効果的に送達する能力をコンピュータシステムに提供し、これは、情報及び/又は命令をユーザに送達するコンピュータシステムの能力の有効性を増加させる。
【0336】
いくつかの実施形態では、コンピュータシステムは、ハードウェア入力機構(例えば、711a上の1350c、1350h、1350i)の第1のアクティブ化(例えば、ハードウェア入力機構が押下及び/又は回転される)を検出し、ハードウェア入力機構の第1のアクティブ化は、第1のタイプの入力である(例えば、タップ入力(例えば、ハードウェア入力機構が閾値時間量(例えば、0.1、0.3、0.5、7、1、又は2秒)未満にわたって押下される)及び/又は持続入力構成要素を含まない入力に対応する)。いくつかの実施形態では、ハードウェア入力機構の第1のアクティブ化を検出したことに応じて、コンピュータシステムは、(例えば、図13E1図13E5及び図13Iを参照して上述したように)1つ以上のカメラを使用して第2のメディアアイテム(例えば、写真)をキャプチャする(例えば、コンピュータシステムがハードウェア入力機構の第1のアクティブ化を検出した時点でレチクル仮想オブジェクト内にあるコンテンツは、第2のメディアアイテムにおいて可視である)。いくつかの実施形態では、コンピュータシステムは、カメラユーザインタフェースがチュートリアルなしで表示されている間にハードウェア入力機構の第1のアクティブ化を検出する。ハードウェア入力機構のアクティブ化を検出したことに応じて第2のメディアアイテムをキャプチャすることは、ユーザが、追加のコントロールを表示することなくコンピュータシステムのメディアキャプチャプロセスを制御することを可能にし、これは、ユーザインタフェースを混乱させることなく追加のコントロールオプションを提供する。
【0337】
いくつかの実施形態では、コンピュータシステムは、ハードウェア入力機構(例えば、711a上の1350h、1350i、1350c)の第2のアクティブ化を検出し、ハードウェア入力機構の第2のアクティブ化は、(例えば、図13Iを参照して上述したように)所定の時間期間にわたって入力を維持することを含む第2のタイプ(第1のタイプとは異なるISE)の入力(例えば、(例えば、図13Iを参照して上述したように)プレスアンドホールド(例えば、ハードウェア入力機構が閾値時間(0.5、1、2、3、5、又は8秒)を超えて押下される)に対応する。いくつかの実施形態では、ハードウェア入力機構の第2のアクティブ化を検出したことに応じて、コンピュータシステムは、(例えば、図13Iを参照して上述したように)第3のメディアアイテム(例えば、ビデオ)をキャプチャする(例えば、第3のメディアアイテムのキャプチャの持続時間中にレチクル仮想オブジェクト内にあるコンテンツは、第3のメディアアイテムにおいて可視である)。いくつかの実施形態では、所定の時間期間にわたって入力を維持することを含まないハードウェア入力機構のアクティブ化は、メディアのキャプチャを引き起こさない。いくつかの実施形態では、コンピュータは、カメラユーザインタフェースがチュートリアルなしで表示されている間にハードウェア入力機構の第2のアクティブ化を検出する。ハードウェア入力機構のアクティブ化を検出したことに応じて第2のメディアアイテムをキャプチャすることは、ユーザが、追加のコントロールを表示することなくコンピュータシステムのメディアキャプチャプロセスを制御することを可能にし、これは、ユーザインタフェースを混乱させることなく追加のコントロールオプションを提供する。
【0338】
いくつかの実施形態では、カメラユーザインタフェース(例えば、1304)がチュートリアル(例えば、1308)とともに表示されている間に、コンピュータシステムは、ハードウェア入力機構(例えば、711a上の1350c、1350h、又は1350i)(例えば、コンピュータシステムが(例えば、直接的に(例えば、ソリッドステート入力機構上で)又は間接的に(例えば、ソリッドステート入力機構上ではなく))押下を検出したことに応じてアクティブ化されるソリッドステート入力機構)の第3のアクティブ化(例えば、ロングプレス(例えば、プレスアンドホールド)又はショートプレス(例えば、プレスアンドリリース))を検出する(例えば、ハードウェア入力機構が押下及び/又は回転される)。いくつかの実施形態では、ハードウェア入力機構の第3のアクティブ化を検出したことに応じて、(例えば、図13Dにおいて上述したように)チュートリアルの表示を中止する(例えば、レチクル仮想オブジェクトを有するカメラユーザインタフェースの表示を維持する)。いくつかの実施形態では、チュートリアルの表示を中止することは、物理的環境の表現の外観を変化させることを含む(例えば、物理的環境の表現は、ぼやけた状態からぼやけていない状態に、又はその逆に変化する)。いくつかの実施形態では、ハードウェア入力機構がソリッドステート入力機構であるとき、ハードウェア入力機構は、ハードウェア入力機構がアクティブ化されることに応じて、触知出力を生成する。ハードウェア入力機構のアクティブ化を検出したことに応じて第2のメディアアイテムをキャプチャすることにより、ユーザは、追加のコントロールを表示することなくコンピュータシステムの表示動作を制御することが可能になり、これにより、ユーザインタフェースを混乱させることなく追加のコントロールオプションが提供される。ハードウェア入力機構の第3のアクティブ化を検出したことに応じてチュートリアルの表示を中止することは、コンピュータシステムの状態(例えば、コンピュータシステムがハードウェア入力機構のアクティブ化を検出した)に関する視覚的フィードバックをユーザに提供し、これは、改善された視覚的フィードバックを提供する。
【0339】
いくつかの実施形態では、基準のセットが満たされている(例えば、コンピュータシステムのアクセシビリティ設定が有効である)という判定に従って、カメラユーザインタフェース(例えば、1304)は、選択されると、メディアアイテム(例えば、静止写真及び/又はビデオ)をキャプチャするためのプロセスを開始する(例えば、図13Dを参照して上述したように、カメラシャッタ仮想オブジェクトがレチクル仮想オブジェクト内に表示される)カメラシャッタ仮想オブジェクトを含み、基準のセットが満たされていない(例えば、コンピュータシステムのアクセシビリティ設定が有効でない)という判定に従って、カメラユーザインタフェースは、メディアアイテム(例えば、図13Dを参照して上述したように、静止写真及び/又はビデオ)をキャプチャするプロセスを開始するためのカメラシャッタ仮想オブジェクト(例えば、選択可能な仮想オブジェクト)を含まない。いくつかの実施形態では、カメラシャッタ仮想オブジェクトは、レチクル仮想オブジェクト内に表示される。いくつかの実施形態では、コンピュータシステムは、コンピュータシステムの設定が無効であるという判定に応じて、カメラシャッタ仮想オブジェクトを表示することを中止する。いくつかの実施形態では、カメラシャッタ仮想オブジェクトの選択に対応する入力を検出したことに応じて、コンピュータシステムは、メディアアイテムをキャプチャするためのプロセスを開始する(例えば、コンピュータは、メディアアイテムをキャプチャすることの一部として、キャプチャされたメディアアイテムを(例えば、コンピュータシステム上及び/又はクラウドサーバ上の)メディアライブラリに任意選択的に追加する)(例えば、キャプチャされたメディアは、以下で説明するように、レチクル仮想オブジェクト内にあるエクステンデッドリアリティ環境からのコンテンツを含む)。いくつかの実施形態では、カメラユーザインタフェースは、カメラシャッタ仮想オブジェクトを含む一方、カメラユーザインタフェースは、チュートリアルを伴わずに(例えば、レチクル仮想オブジェクトとともに)表示される。規定された条件のセットが満たされた(例えば、基準の第1のセットが満たされた(例えば、コンピュータシステムのアクセシビリティ設定が有効にされた))ときにカメラシャッタ仮想オブジェクトを表示することは、コンピュータシステムが、更なるユーザ入力を必要とすることなく条件のセットが満たされたときに動作を実行するメディアキャプチャプロセスを容易にするのを助ける表示動作を実行することを自動的に可能にする。
【0340】
いくつかの実施形態では、基準のセットは、(例えば、図13Dに関連して上述したように)コンピュータシステム(例えば、700)の設定(例えば、アクセシビリティ設定)が有効にされる(例えば、ユーザによって有効にされる)ときに満たされる基準を含む。いくつかの実施形態では、設定は、ユーザの視線が所定の時間量(例えば、1、3、5、又は7秒)を超えて設定に対応する仮想オブジェクトのディスプレイに向けられていることをコンピュータシステムが検出したことに応じて有効にされる。いくつかの実施形態では、コンピュータシステムの設定が有効にされていないとき、基準のセットは満たされない。いくつかの実施形態では、基準のセットは、コンピュータシステムのセットが有効から無効に遷移するときに満たされない。
【0341】
いくつかの実施形態では、カメラユーザインタフェース(例えば、1304)は、選択されると(例えば、近接仮想オブジェクトの表示に対応する空間内の点でのエアジェスチャ(例えば、エアタップ、エアピンチ、エアデピンチ、及び/又はエアスワイプ)の検出を介して選択されると)、(例えば、図13Gに関連して上述したように)カメラユーザインタフェースの表示を中止させる近接仮想オブジェクト(例えば、1316)を含む。いくつかの実施形態では、コンピュータシステムは、近接仮想オブジェクトの選択を検出したことに応じて、コンピュータシステムのホーム画面ユーザインタフェースに対応するユーザインタフェース(例えば、コンピュータシステムにインストールされた様々なアプリケーションに対応する複数の選択可能な仮想オブジェクトを含むユーザインタフェース)を表示する。カメラユーザインタフェース内に近接仮想オブジェクトを表示することは、メディアをキャプチャするためのプロセスの一部としてキャプチャされることになるコンテンツを見ながら、ユーザが近接仮想オブジェクトを容易に見てアクセスすることを可能にし、これは、改善された視覚的フィードバックを提供し、ユーザが関心のあるコンテンツを適切かつ迅速にフレーミング及びキャプチャするのを支援し、これは、一時的なイベントに特に関連し、コンピュータシステムの機能を改善する。
【0342】
いくつかの実施形態では、カメラユーザインタフェース(例えば、1304)は、エクステンデッドリアリティ環境内に表示され(例えば、カメラユーザインタフェースは、エクステンデッドリアリティ環境の上にオーバーレイされるように表示される)、エクステンデッドリアリティ環境の第1の部分(例えば、エクステンデッドリアリティ環境の全体未満)は、(例えば、図13D図13E5図13F図13H、及び図13Iに示されるように)レチクル仮想オブジェクト内に表示される。いくつかの実施形態では、エクステンデッドリアリティ環境の第1の部分は、第2のユーザ(例えば、コンピュータシステムのユーザ)に可視である。いくつかの実施形態では、コンピュータシステムは、ユーザの視点の変化を検出したことに応じて、レチクル垂直オブジェクト内に表示されるエクステンデッドリアリティ環境の部分を変更する。いくつかの実施形態では、エクステンデッドリアリティ環境の第1の部分は、結果として得られるメディアアイテム内でユーザに可視である。レチクル仮想オブジェクト内にエクステンデッドリアリティ環境の第1の部分を表示することは、コンピュータシステムがメディアをキャプチャする要求を検出した場合、コンピュータシステムがどのコンテンツをキャプチャするかをユーザに通知し、これは、ユーザが、コンピュータシステムがメディアキャプチャプロセスを実行する前に、メディアキャプチャプロセスを介してどのコンテンツがキャプチャされるかをレビューし、潜在的に変更することを可能にし、改善された視覚的フィードバックを提供し、結果として得られるメディアアイテム内で可視となるコンテンツをユーザに通知することによって、コンピュータシステムのプライバシー及びセキュリティを強化する。コンピュータシステムのプライバシー及びセキュリティを向上させることは、デバイスの操作性を向上させ、ユーザ-デバイスインタフェースをより効率的にし(例えば、ユーザがキャプチャすることを意図しないコンテンツをキャプチャすることなく、ユーザがキャプチャすることを意図するコンテンツをキャプチャする際にユーザを支援することによって)、加えて、電力使用を低減させ、ユーザがデバイスをより迅速かつ効率的に使用することを可能にすることによって、デバイスのバッテリ寿命を向上させる。
【0343】
いくつかの実施形態では、コンピュータシステムは、第4のメディアアイテム(例えば、711a上の1350h、1350c、1350i)をキャプチャする要求を検出する(例えば、コンピュータシステムと通信するハードウェア入力機構のアクティブ化を検出する、音声コマンドを検出する、及び/又はエアジェスチャ(例えば、エアピンチ、エアデピンチ、エアタップ、及び/又はエアスワイプ)を検出する)。いくつかの実施形態では、第4のメディアアイテムをキャプチャする要求を検出したことに応じて、コンピュータシステムは、第4のメディアアイテム(例えば、図13E1図13E5又は図13Iでキャプチャされたメディアアイテム)(例えば、写真又はビデオ)をキャプチャし、第4のメディアアイテムは、(例えば、図13Fを参照して上述したように)立体視メディアアイテムである(例えば、第4のメディアアイテムは、物理的環境内の共通のロケーションに位置するカメラのセット(例えば、2つ以上のカメラ)からキャプチャされ、カメラのセット内の各カメラは、物理的環境の固有の透視図をキャプチャする(例えば、カメラのセット内の第1のカメラがキャプチャする物理的環境の透視図は、カメラのセット内の第2のカメラがキャプチャする物理的環境の透視図とは異なる))(例えば、第4のメディアアイテムは、立体視スチール写真及び/又は立体視ビデオである)。いくつかの実施形態では、コンピュータシステムは、チュートリアルなしでカメラユーザインタフェースを表示している間に、第4のメディアアイテムをキャプチャする要求を検出する。立体視メディアアイテムをキャプチャすることは、ユーザが、第4のメディアアイテムに含まれるコンテンツ間の深度を知覚することを可能にし、これは、第4のメディアアイテムに含まれるコンテンツ間の現実世界ポジション関係のより正確な感覚をユーザに提供し、これは、改善されたより正確なメディアキャプチャプロセスをもたらす。
【0344】
いくつかの実施形態では、方法800、900、1000、1200、1400及び1500の態様/動作は、これらの方法の間で交換、置換、及び/又は追加され得る。例えば、方法1400で説明されるチュートリアルは、方法1000で説明されるように、ユーザが以前にキャプチャされたメディアを最初に視聴するときに任意選択的に表示される。簡潔にするために、それらの詳細はここでは繰り返さない。
【0345】
図15A図15Bは、いくつかの実施形態による、メディアアイテムを表示するための例示的な方法1500のフロー図である。いくつかの実施形態では、方法1500は、表示生成構成要素(例えば、702)(例えば、ディスプレイコントローラ、タッチ感知ディスプレイシステム、ディスプレイ(例えば、統合及び/又は接続)、3Dディスプレイ、透明ディスプレイ、プロジェクタ、ヘッドアップディスプレイ、及び/又はヘッドマウントディスプレイ)、1つ以上のカメラ、及び1つ以上の入力デバイス(711a)(例えば、タッチ感知面(例えば、タッチ感知ディスプレイ))と通信しているコンピュータシステム(例えば、700)(例えば、スマートフォン、タブレット、及び/又はヘッドマウントデバイス)で実行される。マウス、キーボード、リモートコントロール、視覚入力デバイス(例えば、カメラ)、オーディオ入力デバイス(例えば、マイクロフォン)、及び/又はバイオメトリックセンサ(例えば、指紋センサ、顔識別センサ、及び/又は虹彩識別センサ))で実行される。いくつかの実施形態では、方法1500は、非一時的(又は一時的)コンピュータ可読記憶媒体に記憶され、コンピュータシステム101の1つ以上のプロセッサ202(例えば、図1のコントロール110)などのコンピュータシステムの1つ以上のプロセッサによって実行される命令によって管理される。方法1500のいくつかの動作は、任意選択的に、組み合わされ、かつ/又はいくつかの動作の順序は、任意選択的に、変更される。
【0346】
コンピュータシステムは、表示生成構成要素を介して、ユーザインタフェースを表示し(1502)、ユーザインタフェースは、物理的環境(例えば、1306)の表現(1504)(例えば、光学パススルー表現又は仮想表現)であって、物理的環境の表現の第1の部分は、1つ以上のカメラのキャプチャ領域内にあり(例えば、1318内にある1306の部分)(例えば、物理的環境の表現の第1の部分は、ビューファインダ内にある)(例えば、物理的環境の表現の第1の部分は、1つ以上のカメラによってキャプチャされた結果として生じるメディアアイテムにおいて可視である)、物理的環境の表現の第2の部分(例えば、第1の部分とは異なる)は、1つ以上のカメラのキャプチャ領域の外側(例えば、1318の外側の1306の部分)にある(例えば、物理的環境の表現の第2の部分は、1つ以上のカメラによってキャプチャされた結果として生じるメディアアイテムにおいて可視ではない)(例えば、物理的環境の表現の第2の部分は、ビューファインダの外側にある)、物理的環境の表現と、ビューファインダ(1506)(例えば、1318)(例えば、物理的環境の表現の少なくとも第1の部分は、ビューファインダ内にある)であって、ビューファインダは、境界(例えば、ビューファインダの境界は、1つ以上のカメラのキャプチャ領域内のコンテンツを、1つ以上のカメラのキャプチャ領域内にないコンテンツから分離する)(例えば、ビューファインダの周囲の実線及び/又は破線)を含む、ビューファインダと、を含む。
【0347】
ユーザインタフェースを表示している間に、コンピュータシステムは、1つ以上の入力デバイスを介して、メディア(例えば、静止写真又はビデオ)をキャプチャするための第1の要求(例えば、エアジェスチャ(例えば、エアスワイプ、エアタップ、エアピンチ、及び/又はエアデピンチ)、及び/又はコンピュータシステムと通信(例えば、無線通信又は有線通信)しているハードウェア入力機構のアクティブ化)を検出する(1508)(例えば、メディアは、1つ以上のカメラを使用してキャプチャされる)。
【0348】
メディアをキャプチャするための第1の要求を検出したことに応じて(1510)、コンピュータシステムは、1つ以上のカメラを使用して、物理的環境の表現の少なくとも第1の部分を含む第1のメディアアイテム(例えば、スチール写真又はビデオ)をキャプチャし(1512)、コンピュータシステムは、ビューファインダ(例えば、図13E1図13E5の1318)の外観を変更し(1514)(例えば、ビューファインダの透光性を変更する、ビューファインダの内部(例えば、内部の部分又は内部の全体)をぼかす)、ビューファインダの外観を変更することは、ビューファインダの境界の第1の側(例えば、1318の左境界)の閾値距離(例えば、0.1インチ、0.25インチ、0.5インチ、1インチ、3インチ、又は5インチ)内にあるコンテンツの第1の部分(例えば、1306の部分)(例えば、ぼかし)(例えば、ユーザに可視であるコンテンツ)(例えば、ビューファインダ内の及び/又はビューファインダに近接したコンテンツ)(例えば、物理的環境の表現の部分)の外観を変更すること(1516)と、ビューファインダの境界の第1の側とは異なるビューファインダの境界の第2の側(例えば、1318の右境界)の閾値距離内にあるコンテンツの第2の部分(例えば、1306の部分)の外観を変更すること(1518)と、を含む(例えば、ビューファインダの外観及びコンテンツの外観が変更される間、物理的環境の表現はユーザに可視であるままである)。いくつかの実施形態では、ビューファインダの外観を変更することは、ビューファインダの第2の部分の外観を変更することなく、ビューファインダの第1の部分の外観を変更することを含む。いくつかの実施形態では、ビューファインダの外観を変更することは、ビューファインダの第1の部分を第1の方式で変更することと、ビューファインダの第2の部分を第1の方式とは異なる第2の方式で変更することと、を含む。いくつかの実施形態では、ビューファインダの全体が均一に変更される。いくつかの実施形態では、ビューファインダ内にあるコンテンツは、ビューファインダの外観が変更されている間は可視ではない。いくつかの実施形態では、ビューファインダの外観は、コンテンツの第1の部分及びコンテンツの第2の部分とは異なる方法で変更される。いくつかの実施形態では、コンテンツの第1の部分の外観は、コンテンツの第2の部分の外観とは異なる方法で変更される。いくつかの実施形態では、ビューファインダ及びコンテンツの2つ以上の視覚特性(例えば、色、サイズ、形状、透光性、及び/又は輝度)が変更される。いくつかの実施形態では、コンピュータシステムは、メディアアイテムをキャプチャする要求を検出したことに応じてメディアアイテム(例えば、写真又はビデオ)をキャプチャし、キャプチャされたメディアアイテムの表現がビューファインダの内部に表示される。いくつかの実施形態では、ユーザインタフェースは、エクステンデッドリアリティユーザインタフェースである。メディアをキャプチャする要求を検出したことに応じてビューファインダの外観を変更することは、コンピュータシステムの状態(例えば、コンピュータシステムがメディアをキャプチャする要求を検出した)に関する視覚的フィードバックをユーザに提供し、これは、改善された視覚的フィードバックをユーザに提供する。メディアキャプチャ動作中に改善された視覚的フィードバックを提供することは、ユーザがキャプチャされたメディアをレビュー及び/又は編集し得ることをユーザに通知することによって、コンピュータシステムのプライバシー及びセキュリティを強化する。更に、メディアキャプチャ動作中に改善された視覚的フィードバックを提供することは、ユーザが、別様でコンピュータシステムの追加の電力を使用することになるより少ない数のキャプチャ動作で、ユーザがキャプチャすることを意図するコンテンツをキャプチャすることを可能にし、したがって、コンピュータシステムのバッテリ寿命を節約する。
【0349】
いくつかの実施形態では、第1のメディアアイテムは、(例えば、図13Fを参照して上述したような)立体視メディアアイテム(例えば、物理的環境内の共通点に位置決めされたカメラのセット(例えば、2つ以上のカメラ(例えば、カメラのセット内の第1のそれぞれのカメラが第1の画像をキャプチャし、第2のそれぞれのカメラが第2の画像をキャプチャする))からキャプチャされた2つ以上の画像からなるメディアアイテム)であり、カメラのセット内の各カメラは、物理的環境の異なる透視図をキャプチャする(例えば、カメラのセット内の第1のカメラがキャプチャする物理的環境の透視図は、カメラのセット内の第2のカメラがキャプチャする物理的環境の透視図とは異なる)。第1のメディアアイテムを立体視メディアアイテムとしてキャプチャすることは、ユーザが、第1のメディアアイテムに含まれるコンテンツ間の深度を知覚することを可能にし、これは、第1のメディアアイテムに含まれるコンテンツ間の現実世界ポジション関係のより正確な感覚をユーザに提供し、これは、改善されたより正確なメディアキャプチャプロセスをもたらす。
【0350】
いくつかの実施形態では、メディア(例えば、711a上の1350d、1350h、1350i、又は1350d)をキャプチャするための第1の要求を検出する前に、ビューファインダ(例えば、1318)は、第1の外観(例えば、図13Dの1318の外観)で表示され、ビューファインダの外観を変更することは、第1の外観とは異なる第2の外観(例えば、図13E1図13E5の1318の外観)でビューファインダを表示することを含む(例えば、ビューファインダが第1の外観で表示されるときと比較して、ビューファインダが第2の外観で表示されるときに、ビューファインダの輝度、透光性、コントラスト、及び/又はサイズの量が異なる)。いくつかの実施形態では、(例えば、ビューファインダが第2の外観で表示されている間に)ビューファインダがある時間期間(例えば、0.1.3,5.7,1、1.5、又は2秒)にわたって第2の外観で表示された(例えば、コンピュータシステムが第1のメディアアイテムをキャプチャしてから第1の時間期間が経過した)後に、コンピュータシステムは、ビューファインダの外観を第2の外観から第1の外観に変更する(例えば、図13Fで上述したように)(例えば、更なるユーザ入力なしに自動的に変更する)(例えば、ビューファインダの外観はビューファインダの初期の外観に戻る)。いくつかの実施形態では、物理的環境の表現は、ビューファインダの外観が第2の外観から第1の外観に変化する間、ユーザに可視のままである。いくつかの実施形態では、ビューファインダの外観を第2の外観から第1の外観に変更することは、ビューファインダの2つ以上の視覚特性(例えば、サイズ、輝度、透光性、及び/又はコントラスト)を変更することを含む。いくつかの実施形態では、ビューファインダの外観を第2の外観から第1の外観に変更することは、ある時間期間(例えば、0.1、0.3.、0.5、0.7、1、1.5、2秒)にわたってビューファインダを表示するのを中止することを含む。ビューファインダの外観を第2の外観から第1の外観に変更することは、コンピュータシステムが第1のメディアアイテムをキャプチャしてから時間期間が経過したという視覚的フィードバックをユーザに提供し、これは、改善された視覚的フィードバックを提供する。メディアキャプチャ動作が実行されたという改善された視覚的フィードバックを提供することは、キャプチャされたメディアが、ユーザがキャプチャすることを意図しなかったコンテンツを含むことなく、ユーザがキャプチャすることを意図したコンテンツを含むことを確実にするように、ユーザがキャプチャされたメディアをレビュー及び/又は編集し得ることをユーザに通知することによって、コンピュータシステムのプライバシー及びセキュリティを向上させる。
【0351】
いくつかの実施形態では、コンテンツの第1の部分(例えば、1318内の1306の第1の部分)の外観及びコンテンツの第2の部分(例えば、1318内の1306の第2の部分)の外観は、同じように変更される(例えば、コンテンツの第1の部分及びコンテンツの第2の部分の両方の1つ以上の光学特性(例えば、輝度、透光性、サイズ、及び/又はコントラスト)は、同じように変更される)。いくつかの実施形態では、ビューファインダ、コンテンツの第2の部分、及びコンテンツの第1の部分の外観は、同じように変更される。
【0352】
いくつかの実施形態では、ビューファインダ(例えば、1318)の外観を変更することは、ビューファインダの境界(例えば、1318の上部/下部境界)の第3の側(例えば、第3の側は、境界の第1の側及び第2の側とは異なる)の閾値距離内にあるコンテンツの第3の部分(例えば、1318内の1306の部分)(例えば、第3のコンテンツは、コンテンツの第2の部分及びコンテンツの第1の部分とは異なる)の外観を変更することを含み、コンテンツの第1の部分、コンテンツの第2の部分、及びコンテンツの第3の部分の外観は、同じように変更される(例えば、コンテンツの第1の部分、コンテンツの第2の部分、及びコンテンツの第3の部分の両方の1つ以上の光学特性(例えば、輝度、透光性、サイズ、及び/又はコントラスト)は、同じように変更される)。いくつかの実施形態では、コンテンツの第1の部分、コンテンツの第2の部分、コンテンツの第3の部分、及びビューファインダの外観は、全て同じように変更される。
【0353】
いくつかの実施形態では、ビューファインダ(例えば、1318)の境界は、レチクル仮想オブジェクト(例えば、132)(例えば、ビューファインダの周縁の周囲又はビューファインダの1つ以上の角部に表示される、一連の連続又は非連続線)であり(例えば、レチクル仮想オブジェクトは、コンピュータシステムと通信する1つ以上のカメラのキャプチャ領域を示す)、メディアをキャプチャするための第1の要求が検出される(例えば、711a上の1350c、1350d、1350h、及び/又は1350i)前に、レチクル仮想オブジェクトは、第1の外観(例えば、図13Dの1320)で表示される。いくつかの実施形態では、メディアをキャプチャするための第1の要求を検出したことに応じて、コンピュータシステムは、レチクル仮想オブジェクトの外観を第1の外観から、第1の外観とは異なる第2の外観(例えば、図13E2図13E3、及び/又は図13E4の1320)に変更する(例えば、レチクル仮想オブジェクトの輝度、透光性、コントラスト、位置決め、及び/又はサイズが変化する)。いくつかの実施形態では、レクチル仮想オブジェクトの外観は、コンピュータシステムが個別のメディアアイテムをキャプチャした後、第2の外観から第1の外観に戻るように変化する。いくつかの実施形態では、レチクル仮想オブジェクトの外観を第1の外観から第2の外観に変更することは、レチクル仮想オブジェクトの一部(例えば、レチクルの全体未満)を変更することを含む。いくつかの実施形態では、レチクル仮想オブジェクトは、メディアをキャプチャする要求を検出したことに応じて、ある時間期間の間、表示されるのを中止する。メディアをキャプチャする要求を検出したことに応じて、レチクルの外観を第1の外観から第2の外観に変更することは、コンピュータシステムの状態(例えば、コンピュータシステムがメディアをキャプチャする要求を検出した)に関する視覚的フィードバックをユーザに提供し、これは、改善された視覚的フィードバックを提供する。メディアキャプチャ動作中に改善された視覚的フィードバックを提供することは、キャプチャされたメディアが、ユーザがキャプチャすることを意図しなかったコンテンツを含むことなく、ユーザがキャプチャすることを意図したコンテンツを含むことを確実にするために、ユーザがキャプチャされたメディアをレビュー及び/又は編集し得ることをユーザに通知することによって、コンピュータシステムのプライバシー及びセキュリティを強化する。更に、メディアキャプチャ動作中に改善された視覚的フィードバックを提供することは、ユーザが、別様でコンピュータシステムの追加の電力を使用することになるより少ない数のキャプチャ動作で、ユーザがキャプチャすることを意図するコンテンツをキャプチャすることを可能にし、したがって、コンピュータシステムのバッテリ寿命を節約する。レチクル仮想オブジェクトの表示に関連しないアニメーションを実行する代わりにレチクル仮想オブジェクトの外観を変更することは、コンピュータシステムのディスプレイ上に表示される要素の数を低減し、それは、仮想要素の表示によって不明瞭にされる1つ以上のカメラの視野の量を低減し、それは、コンピュータシステムの電力消費の低減をもたらす。
【0354】
いくつかの実施形態では、ビューファインダ(例えば、1318)を表示することは、ビューファインダ内の1つ以上の要素(例えば、1306、1316、1330、及び/又は1332)(例えば、コンテンツ)(例えば、ビューファインダ内の1つ以上の選択可能な仮想オブジェクト)(例えば、コンテンツ(例えば、物理的環境の表現))を表示することを含み、レチクル仮想オブジェクト(例えば、1320)の外観を変更することは、ビューファインダ内に表示される1つ以上の要素に対してレチクル仮想オブジェクトの外観を変更することを含む(例えば、レチクル仮想オブジェクトの1つ以上の光学特性は、ビューファインダ内の1つ以上の要素の1つ以上の光学特性に対して変更される)(例えば、レチクル仮想オブジェクトの1つ以上の光学特性は、ビューファインダ内の1つ以上の要素の同じ1つ以上の光学特性とは異なる大きさだけ変更される)。レチクル仮想オブジェクトの表示に関連しないアニメーションを実行する代わりに、レチクル仮想オブジェクトの外観を変更することは、コンピュータシステムのディスプレイ上に表示される要素の数を低減し、これは、仮想要素の表示によって不明瞭にされる1つ以上のカメラの視野の量を低減し、コンピュータシステムの電力消費の低減をもたらす。
【0355】
いくつかの実施形態では、ユーザインタフェース(例えば、1304)を表示することは、1つ以上の角部(例えば、1318及び/又は1320の1つ以上の角部)(例えば、丸い角部)を表示すること(例えば、1つ以上の角部がビューファインダ内に表示される)(例えば、角部がビューファインダの1つ以上の角部に表示される)(例えば、1つ以上の角部がビューファインダの一部である)(例えば、1つ以上の角部がレチクル仮想オブジェクトの一部である)(例えば、1つ以上の角部がビューファインダ及びレチクル仮想オブジェクトの両方から独立している)を含み、ビューファインダ(例えば、1318)の外観を変更することは、1つ以上の角部の外観を第1の方式で変更すること(例えば、レチクル仮想オブジェクトの1つ以上の角部の色が第1の色(例えば、白色、黒色、黄色、及び/又はオレンジ色)に変更される)(例えば、図13E2及び/又は図13E3の1320の外観)と、ビューファインダの境界の少なくとも第1の側の外観を第1の方式とは異なる第2の方式で変更すること(例えば、図13E2を参照して上述したように)(例えば、ビューファインダの境界の第1の側の色が第1の色とは異なる第2の色に変更される)とを含む。いくつかの実施形態では、ビューファインダの境界の1つ以上の角部の外観及び第1の側の外観は、同時に変更される。いくつかの実施形態では、ビューファインダの境界の1つ以上の角部の外観及び第1の側の外観は、ビューファインダの境界の1つ以上の角部と第1の側との間のコントラストが増加するように変更される。いくつかの実施形態では、ビューファインダの境界の1つ以上の角部及び第1の側の同じ光学特性(例えば、輝度、透光性、及び/又はサイズ)が変更される。いくつかの実施形態では、ビューファインダの境界の第1の側部の外観及び1つ以上の角部の外観は、逆に変更される(例えば、ビューファインダの境界の第1の側部は暗くなり、1つ以上の角部は明るくなる)。いくつかの実施形態では、1つ以上の角部は接続されていない。メディアキャプチャプロセスを実行することの一部として境界の第1の側の外観がどのように変更されるかとは異なるように1つ以上の角部の外観を変更することは、ビューファインダの他の部分の外観を変更することなくメディアキャプチャプロセスを実行することの一部としてレチクルの外観を変更するコンピュータシステムとは対照的に、メディアアイテムがキャプチャされたことをユーザにより効果的に警告することができるコンピュータシステムをもたらし、これは改善された視覚的フィードバックをもたらす。メディアキャプチャ動作中に改善された視覚的フィードバックを提供することは、キャプチャされたメディアが、ユーザがキャプチャすることを意図しなかったコンテンツを含むことなく、ユーザがキャプチャすることを意図したコンテンツを含むことを確実にするために、ユーザがキャプチャされたメディアをレビュー及び/又は編集し得ることをユーザに更に確実に通知することによって、コンピュータシステムのプライバシー及びセキュリティを強化する。更に、メディアキャプチャ動作中に改善された視覚的フィードバックを提供することは、ユーザが、別様でコンピュータシステムの追加の電力を使用することになるより少ない数のキャプチャ動作で、ユーザがキャプチャすることを意図するコンテンツをキャプチャすることを可能にし、したがって、コンピュータシステムのバッテリ寿命を節約する。
【0356】
いくつかの実施形態では、ビューファインダ(例えば、1318)の外観を変更することは、(例えば、図13E1図13E5を参照して上述したように)ビューファインダ内のコンテンツ(例えば、1306)の第1の部分(例えば、ビューファインダ内にあるコンテンツの大部分、コンテンツの50%、70%、80%、90%、又は95%超)の1つ以上の光学特性の第1のセットを変更する(例えば、第1の光学特性の値を増加又は減少させる)ことを含む。いくつかの実施形態では、コンテンツの第1の部分は、コンテンツの第2の部分がどのように変更されるかに対して逆に変更される(例えば、コンテンツの第1の部分は暗くされ、コンテンツの第2の部分は明るくされる)。いくつかの実施形態では、ビューファインダ内のコンテンツの2つ以上の光学特性が変更される。いくつかの実施形態では、ビューファインダ内のコンテンツの2つ以上の光学特性は、逆の方法で変更される(例えば、第1の光学特性の値が増加し、第2の光学特性の値が減少する)。いくつかの実施形態では、コンピュータシステムは、コンピュータシステムがビューファインダ内のコンテンツの第2の光学特性を変更する前に、ビューファインダ内のコンテンツの第1の光学特性を変更する。メディアをキャプチャするための要求を検出したことに応じてビューファインダ内のコンテンツの光学特性を変更することは、コンピュータシステムの状態に関する視覚的フィードバックをユーザに提供し(例えば、コンピュータシステムがメディアをキャプチャするための要求を検出する)、コンピュータシステムがキャプチャしたことと、キャプチャされたメディアがユーザがキャプチャすることを意図していなかったコンテンツを含まないことを確認するためにユーザがレビューすることができるメディアアイテムとをユーザに警告し、改善された視覚的フィードバックを提供する。メディアキャプチャ動作中に改善された視覚的フィードバックを提供することは、ユーザがキャプチャされたメディアをレビュー及び/又は編集し得ることをユーザに通知することによって、コンピュータシステムのプライバシー及びセキュリティを強化する。更に、メディアキャプチャ動作中に改善された視覚的フィードバックを提供することは、ユーザが、別様でコンピュータシステムの追加の電力を使用することになるより少ない数のキャプチャ動作で、ユーザがキャプチャすることを意図するコンテンツをキャプチャすることを可能にし、したがって、コンピュータシステムのバッテリ寿命を節約する。
【0357】
いくつかの実施形態では、1つ以上の光学特性の第1のセットは、ビューファインダ(例えば、1318)内のコンテンツ(例えば、1306)のコントラストを含む(例えば、ビューファインダ内のコンテンツと物理的環境の表現との間のコントラストの量が増加及び/又は減少する)(例えば、コンテンツの第1の部分とコンテンツの第2の部分との間のコントラストの量)。メディアをキャプチャする要求を検出したことに応じてビューファインダ内のコンテンツのコントラストを変更することは、コンピュータシステムの状態に関する視覚的フィードバックをユーザに提供し(例えば、コンピュータシステムがメディアをキャプチャする要求を検出する)、コンピュータシステムがメディアアイテムをキャプチャしたことをユーザに警告し、ユーザは、キャプチャされたメディアが、ユーザがキャプチャすることを意図していなかったコンテンツを含まないことを確認するためにメディアアイテムをレビューすることができ、改善された視覚的フィードバックを提供する。メディアキャプチャ動作中に改善された視覚的フィードバックを提供することは、ユーザがキャプチャされたメディアをレビュー及び/又は編集し得ることをユーザに通知することによって、コンピュータシステムのプライバシー及びセキュリティを強化する。更に、メディアキャプチャ動作中に改善された視覚的フィードバックを提供することは、ユーザが、別様でコンピュータシステムの追加の電力を使用することになるより少ない数のキャプチャ動作で、ユーザがキャプチャすることを意図するコンテンツをキャプチャすることを可能にし、したがって、コンピュータシステムのバッテリ寿命を低下させる。
【0358】
いくつかの実施形態では、1つ以上の光学特性の第1のセットは、ビューファインダ(例えば、1318)内のコンテンツ(例えば、1306)の輝度を含む(例えば、ビューファインダ内のコンテンツの輝度の量が増加及び/又は減少する)。いくつかの実施形態では、ビューファインダ内に含まれるコンテンツの第1の部分の輝度は増加し、ビューファインダ内に含まれるコンテンツの第2の部分の輝度は減少する。メディアをキャプチャする要求を検出したことに応じてビューファインダ内のコンテンツの輝度を変更することは、コンピュータシステムの状態に関する視覚的フィードバックをユーザに提供し(例えば、コンピュータシステムがメディアをキャプチャする要求を検出する)、コンピュータシステムがメディアアイテムをキャプチャしたことをユーザに警告し、キャプチャされたメディアが、ユーザがキャプチャすることを意図していなかったコンテンツを含まないことを確認するために、ユーザはメディアアイテムをレビューすることができ、改善された視覚的フィードバックを提供する。メディアキャプチャ動作中に改善された視覚的フィードバックを提供することは、ユーザがキャプチャされたメディアをレビュー及び/又は編集し得ることをユーザに通知することによって、コンピュータシステムのプライバシー及びセキュリティを強化する。更に、メディアキャプチャ動作中に改善された視覚的フィードバックを提供することは、ユーザが、別様でコンピュータシステムの追加の電力を使用することになるより少ない数のキャプチャ動作で、ユーザがキャプチャすることを意図するコンテンツをキャプチャすることを可能にし、したがって、コンピュータシステムのバッテリ寿命を低下させる。
【0359】
いくつかの実施形態では、1つ以上の光学特性の第1のセットは、ビューファインダ(例えば、1318)内のコンテンツ(例えば、1306)の透光性を含む(例えば、ビューファインダ内のコンテンツの透光性の量が増加及び/又は減少する)。いくつかの実施形態では、ビューファインダに含まれるコンテンツの第1の部分の透光性は増加し、ビューファインダに含まれるコンテンツの第2の部分の透光性は減少する。メディアをキャプチャする要求の検出に応じてビューファインダ内のコンテンツの透光性を変更することは、コンピュータシステムの状態に関する視覚的フィードバックをユーザに提供し(例えば、コンピュータシステムがメディアをキャプチャする要求を検出する)、コンピュータシステムがメディアアイテムをキャプチャしたことをユーザに警告し、ユーザは、キャプチャされたメディアが、ユーザがキャプチャすることを意図していなかったコンテンツを含まないことを確認するためにメディアアイテムをレビューすることができ、改善された視覚的フィードバックを提供する。メディアキャプチャ動作中に改善された視覚的フィードバックを提供することは、ユーザがキャプチャされたメディアをレビュー及び/又は編集し得ることをユーザに通知することによって、コンピュータシステムのプライバシー及びセキュリティを強化する。更に、メディアキャプチャ動作中に改善された視覚的フィードバックを提供することは、ユーザが、別様でコンピュータシステムの追加の電力を使用することになるより少ない数のキャプチャ動作で、ユーザがキャプチャすることを意図するコンテンツをキャプチャすることを可能にし、したがって、コンピュータシステムのバッテリ寿命を節約する。
【0360】
いくつかの実施形態では、1つ以上の光学特性の第1のセットは、ビューファインダ(例えば、1318)内のコンテンツ(例えば、1306)のサイズを含む(例えば、ビューファインダ内のコンテンツのサイズが増加及び/又は減少する)。いくつかの実施形態では、ビューファインダ内のコンテンツのサイズは、ビューファインダ内のコンテンツのサイズが減少する前に増加するか、又はその逆である。いくつかの実施形態では、ビューファインダに含まれるコンテンツの第1の部分のサイズは増加し、ビューファインダに含まれるコンテンツの第2の部分のサイズは減少する。メディアをキャプチャする要求を検出したことに応じてビューファインダ内のコンテンツのサイズを変更することは、コンピュータシステムの状態に関する視覚的フィードバックをユーザに提供し(例えば、コンピュータシステムがメディアをキャプチャする要求を検出する)、コンピュータシステムがメディアアイテムをキャプチャしたことをユーザに警告し、ユーザは、キャプチャされたメディアが、ユーザがキャプチャすることを意図していなかったコンテンツを含まないことを確認するためにメディアアイテムをレビューすることができ、改善された視覚的フィードバックを提供する。メディアキャプチャ動作中に改善された視覚的フィードバックを提供することは、ユーザがキャプチャされたメディアをレビュー及び/又は編集し得ることをユーザに通知することによって、コンピュータシステムのプライバシー及びセキュリティを強化する。更に、メディアキャプチャ動作中に改善された視覚的フィードバックを提供することは、ユーザが、別様でコンピュータシステムの追加の電力を使用することになるより少ない数のキャプチャ動作で、ユーザがキャプチャすることを意図するコンテンツをキャプチャすることを可能にし、したがって、コンピュータシステムのバッテリ寿命を節約する。
【0361】
いくつかの実施形態では、ユーザインタフェース(例えば、1304)を表示することは、ビューファインダの境界内に仮想制御オブジェクト(例えば、1316、1320、1332、及び/又は1330)の第1のセット(例えば、1つ以上の仮想制御オブジェクト)(例えば、1つ以上のメディアキャプチャ制御仮想オブジェクト)を表示することを含む(例えば、仮想制御オブジェクトの第1のセット内の各仮想制御オブジェクトは選択可能である)。ビューファインダの境界内に仮想オブジェクトの第1のセットを表示することは、ユーザが、メディアをキャプチャするためのプロセスの一部としてキャプチャされることになるコンテンツを見ながら、仮想オブジェクトの第1のセットを容易に見てアクセスすることを可能にし、これは、改善された視覚的フィードバックを提供し、ユーザが関心のあるコンテンツを適切かつ迅速にフレーミング及びキャプチャするのを支援し、これは、一時的なイベントに特に関連し、コンピュータシステムの機能を改善する。
【0362】
いくつかの実施形態では、仮想オブジェクトの第1のセットは、第1の近接仮想オブジェクト(例えば、1316)を含む。いくつかの実施形態では、コンピュータシステムは、第1の近接仮想オブジェクトの選択に対応する入力(例えば、1350f、1350c、1350d)(例えば、1つ以上のカメラによって検出される(例えば、第1の近接仮想オブジェクトの表示に対応する空間内の点で検出される)エアジェスチャ(例えば、エアスワイプ、エアタップ、エアピンチ、及び/又はエアデピンチ)、視線ベースの要求、及び/又はコンピュータシステムと通信する(例えば、有線及び/又は無線通信)ハードウェア入力機構のアクティブ化)を検出する。いくつかの実施形態では、第1の近接仮想オブジェクトの選択に対応する入力を検出したことに応じて、コンピュータシステムは、(例えば、図13Gを参照して上述したように)ユーザインタフェースの表示を中止する。いくつかの実施形態では、ユーザインタフェースは第1のアプリケーションに対応し、コンピュータシステムは、ユーザインタフェースを表示することを中止することの一部として、第2のアプリケーションに対応する第2のユーザインタフェースを表示する。いくつかの実施形態では、コンピュータシステムは、ユーザインタフェースを表示するのを中止することの一部として、ホームユーザインタフェース(例えば、コンピュータシステムにインストールされた様々なアプリケーションに対応する複数の選択可能な仮想オブジェクトを含むユーザインタフェース)を表示する。いくつかの実施形態では、コンピュータシステムは、(例えば、ユーザインタフェースに含まれる仮想オブジェクトの数と比較して)低減された数の仮想オブジェクトを、ユーザインタフェースを中止することの一部として物理的環境のパススルー表現の上にオーバーレイされたものとして表示する。ビューファインダの境界内に近接仮想オブジェクトを表示することは、メディアをキャプチャするためのプロセスの一部としてキャプチャされることになるコンテンツを見ながら、ユーザが近接仮想オブジェクトを容易に見てアクセスすることを可能にし、これは、改善された視覚的フィードバックを提供し、ユーザが関心のあるコンテンツを適切かつ迅速にフレーミング及びキャプチャするのを支援し、これは、一時的なイベントに特に関連し、コンピュータシステムの機能を改善する。
【0363】
いくつかの実施形態では、仮想オブジェクトの第1のセットは、第1のメディアレビュー仮想(例えば、1330)オブジェクトを含む(例えば、第1のメディアレビュー仮想オブジェクトは、コンピュータシステムと通信する1つ以上のカメラによって直近にキャプチャされたメディアアイテムの表現を含む)(例えば、フォトウェル)。いくつかの実施形態では、コンピュータシステムは、第1のメディアレビュー仮想オブジェクトの選択に対応する入力(例えば、1350f、1350g、1350d、1350c)(例えば、1つ以上のカメラによって検出される(例えば、第1のメディアレビュー仮想オブジェクトの表示に対応する空間内の点で検出される)エアジェスチャ(例えば、エアスワイプ、エアタップ、エアピンチ、及び/又はエアデピンチ)、視線ベースの要求、及び/又はコンピュータシステムと通信する(例えば、有線及び/又は無線通信)ハードウェア入力機構のアクティブ化)を検出する。いくつかの実施形態では、第1のメディアレビュー仮想オブジェクトの選択に対応する入力を検出したことに応じて、コンピュータシステムは、(例えば、図13Fを参照して上述したように)以前にキャプチャされたメディアアイテム(例えば、コンピュータシステムと通信する1つ以上のカメラによって以前にキャプチャされたメディアアイテム)の1つ以上の表現を表示する。いくつかの実施形態では、以前にキャプチャされたメディアアイテムの1つ以上の表現は、コンピュータシステムと通信している外部デバイス(例えば、スマートフォン及び/又はタブレット)によってキャプチャされたメディアアイテムを表す。いくつかの実施形態では、第1のメディアレビュー仮想オブジェクトは、ビューファインダの角部に表示される。いくつかの実施形態では、第1のメディアレビュー仮想オブジェクトは、コンピュータシステムがメディアキャプチャ動作を実行したことに応じて、直近にキャプチャされたメディアアイテムの表現を含むように更新する。メディアレビュー仮想オブジェクトをビューファインダの境界内に表示することは、ユーザが、メディアをキャプチャするためのプロセスの一部としてキャプチャされるコンテンツを見ながら、メディアレビュー仮想オブジェクトを容易に見てアクセスすることを可能にし、これは、改善された視覚的フィードバックを提供し、ユーザが関心のあるコンテンツを適切かつ迅速にフレーミング及びキャプチャするのを支援し、これは、一時的なイベントに特に関連し、コンピュータシステムの機能を改善する。
【0364】
いくつかの実施形態では、仮想オブジェクトの第1のセットは、コンピュータシステム(例えば、700)が第1のビデオキャプチャ動作を開始してから経過した時間を示す記録時間仮想オブジェクト(例えば、1332)を含む(例えば、コンピュータシステムがビデオキャプチャ動作を実行している間に記録時間仮想オブジェクトが表示される)。いくつかの実施形態では、コンピュータシステムは、コンピュータシステムがビデオ記録動作を中止することに応じて、記録時仮想オブジェクトを表示することを中止する。コンピュータシステムがビデオキャプチャ動作を開始してから経過した時間を示す記録時間仮想オブジェクトを表示することは、コンピュータシステムがビデオキャプチャ動作を実行した時間に関する視覚的フィードバックをユーザに提供し、キャプチャされたビデオメディアがユーザがキャプチャすることを意図していなかったコンテンツを含まないことを確認するためにユーザが(例えば、コンピュータシステムがビデオキャプチャ動作を実行し終えたときに)レビューすることができるビデオメディアアイテムをコンピュータシステムがキャプチャしていることをユーザに警告し、これは、改善された視覚的フィードバックを提供する。メディアキャプチャ動作中に改善された視覚的フィードバックを提供することは、ユーザがキャプチャされたメディアをレビュー及び/又は編集し得ることをユーザに通知することによって、コンピュータシステムのプライバシー及びセキュリティを強化する。更に、メディアキャプチャ動作中に改善された視覚的フィードバックを提供することは、ユーザが、別様でコンピュータシステムの追加の電力を使用することになるより少ない数のキャプチャ動作で、ユーザがキャプチャすることを意図するコンテンツをキャプチャすることを可能にし、したがって、コンピュータシステムのバッテリ寿命を節約する。
【0365】
いくつかの実施形態では、ユーザインタフェースを表示することは、ビューファインダ(例えば、1318)の境界の外側に仮想制御オブジェクト(例えば、1332、1330、1316、及び/又は1320)の第2のセット(例えば、1つ以上のキャプチャ制御仮想オブジェクト)を表示することを含む。ビューファインダの境界の外側に仮想オブジェクトの第2のセットを表示することは、ビューファインダ内にあるコンテンツの表示を妨害しない仮想オブジェクトの第2のセットの表示をもたらし、これは、ユーザがメディアキャプチャプロセスを介してキャプチャされることになるコンテンツを明確に見て集中することを可能にし、これは、ユーザが関心のあるコンテンツを適切かつ迅速にフレーミング及びキャプチャするのを支援し、これは、一時的なイベントに特に関連し、コンピュータシステムの機能を改善する。
【0366】
いくつかの実施形態では、仮想制御オブジェクトの第2のセットは、1つ以上のカメラのそれぞれの動作モードにそれぞれ対応するカメラモード仮想オブジェクトのセットを含み(例えば、カメラモード仮想オブジェクトのセットは、タイムラプス仮想オブジェクト(例えば、選択されると、コンピュータシステムの1つ以上のカメラがある期間の一連の画像をキャプチャするように1つ以上のカメラを構成させる)、スローモーション仮想オブジェクト(例えば、選択されると、コンピュータシステムの1つ以上のカメラがスローモーション効果を有するビデオメディアをキャプチャするように1つ以上のカメラを構成させる)、映画的仮想オブジェクト(例えば、選択されると、コンピュータシステムの1つ以上のカメラがぼやけた背景を有するメディアをキャプチャするように1つ以上のカメラに構成させる)、ポートレート仮想オブジェクト(例えば、選択されると、コンピュータシステムの1つ以上のカメラが被写界深度効果を有する静止メディアをキャプチャするように1つ以上のカメラを構成させる)、及びパノラマ仮想オブジェクト(例えば、選択されると、コンピュータシステムの1つ以上のカメラが、(例えば、1つ以上のカメラが通常動作範囲で動作しているときのキャプチャ範囲と比較して)増加したキャプチャ範囲に及ぶメディアをキャプチャするように1つ以上のカメラを構成させる)のうちの1つ以上を含む)、カメラモード仮想オブジェクトのセットは、第1のカメラモード仮想オブジェクトと、(例えば、第1のカメラモード仮想オブジェクトとは異なる)第2のカメラモード仮想オブジェクトと、を含む。いくつかの実施形態では、コンピュータシステムは、カメラモード仮想オブジェクトのセット内の個別のカメラモード仮想オブジェクトの選択に対応する入力(例えば、1350g、1350c、1350d)(例えば、1つ以上のカメラによって検出されるエアジェスチャ(例えば、エアスワイプ、エアタップ、エアピンチ、及び/又はエアデピンチ)、視線ベースの要求、及び/又はコンピュータシステムと通信する(例えば、有線及び/又は無線通信)ハードウェア入力機構のアクティブ化)を検出する。いくつかの実施形態では、カメラモード仮想オブジェクトのセット内の個別のカメラモード仮想オブジェクトの選択に対応する入力を検出したことに応じて、入力が第1のカメラモード仮想オブジェクトの選択に対応するという判定に従って、コンピュータシステムは、第1のモードで動作するように1つ以上のカメラを構成し、入力が第2のカメラモード仮想オブジェクトの選択に対応するという判定に従って、コンピュータシステムは、第2のモード(例えば、第1のモードとは異なる)で動作するように1つ以上のカメラを構成する(例えば、図13Dを参照して上述したように)。ビューファインダの境界の外側にカメラモード仮想オブジェクトのセットを表示することは、ビューファインダ内にあるコンテンツの表示を妨害しないカメラモード仮想オブジェクトのセットの表示をもたらし、これは、ユーザが関心のあるコンテンツを適切かつ迅速にフレーミング及びキャプチャするのを支援するメディアキャプチャプロセスを介してキャプチャされることになるコンテンツをユーザが明確に見て焦点を合わせることを可能にし、これは、一時的なイベントに特に関連し、コンピュータシステムの機能を改善する。
【0367】
いくつかの実施形態では、仮想制御オブジェクトの第2のセットは、第2の近接仮想オブジェクト(例えば、1316)を含む。いくつかの実施形態では、コンピュータシステムは、第2の近接仮想オブジェクトの選択に対応する入力(例えば、1350g、1350c、1350d)(例えば、1つ以上のカメラによって検出される(例えば、第1の近接仮想オブジェクトの表示に対応する空間内の点で検出される)エアジェスチャ(例えば、エアスワイプ、エアタップ、エアピンチ、及び/又はエアデピンチ)、視線ベースの要求、及び/又はコンピュータシステムと通信する(例えば、有線及び/又は無線通信)ハードウェア入力機構のアクティブ化)を検出する。いくつかの実施形態では、第2の仮想オブジェクトの選択に対応する入力を検出したことに応じて、コンピュータシステムは、(例えば、図13Gを参照して上述したように)ユーザインタフェース(例えば、1304)を表示することを中止する。いくつかの実施形態では、コンピュータシステムのホームユーザインタフェース(例えば、コンピュータシステムにインストールされた様々なアプリケーションに対応する複数の選択可能な仮想オブジェクトを含むユーザインタフェース)は、第2の近接仮想オブジェクトの検出時に表示される。いくつかの実施形態では、ユーザインタフェースは第1のアプリケーションに対応し、コンピュータシステムは、ユーザインタフェースを表示することを中止することの一部として、第2のアプリケーションに対応する第2のユーザインタフェースを表示する。いくつかの実施形態では、コンピュータシステムは、ユーザインタフェースを表示するのを中止することの一部として、ホームユーザインタフェース(例えば、コンピュータシステムにインストールされた様々なアプリケーションに対応する複数の選択可能な仮想オブジェクトを含むユーザインタフェース)を表示する。いくつかの実施形態では、コンピュータシステムは、(例えば、ユーザインタフェースに含まれる仮想オブジェクトの数と比較して)低減された数の仮想オブジェクトを、ユーザインタフェースを中止することの一部として物理的環境のパススルー表現の上にオーバーレイされたものとして表示する。ビューファインダの境界の外側に近接仮想オブジェクト仮想オブジェクトを表示することは、ビューファインダ内にあるコンテンツの表示を妨害しない近接仮想オブジェクトの表示をもたらし、これは、ユーザが関心のあるコンテンツを適切かつ迅速にフレーミング及びキャプチャするのを支援するメディアキャプチャプロセスを介してキャプチャされることになるコンテンツをユーザがはっきりと見て、それに集中することを可能にし、これは、一時的なイベントに特に関連し、コンピュータシステムの機能を改善する。
【0368】
いくつかの実施形態では、第1のメディアアイテムがキャプチャされた後、コンピュータシステムは、(例えば、図13Fを参照して上述したように)ユーザインタフェース(例えば、1304)の表示にフェードインする(例えば、第1のメディアアイテムの表現が徐々に(例えば、所定の時間にわたって)表示される)第1のメディアアイテム(例えば、図13E1図13E5又は図13Iでキャプチャされたメディアアイテム)の表現を(例えば、自動的に(例えば、ユーザ入力を介在させることなく))表示する。いくつかの実施形態では、第1のメディアアイテムの表現の第1の部分は、第1のメディアアイテムの表現の第2の部分の前に、ユーザインタフェースの表示にフェードインする。いくつかの実施形態では、第1のメディアアイテムの表現がユーザインタフェースのディスプレイにフェードインするのに要する時間量は、第1のメディアアイテムのサイズに直接相関する(例えば、第1のメディアアイテムのサイズが大きいほど、第1のメディアアイテムがユーザインタフェースにフェードインするのに要する時間が長くなる)。第1のメディアアイテムがキャプチャされた後に第1のメディアアイテムの表現をユーザインタフェースのディスプレイにフェードインするように表示することは、コンピュータシステムの状態(例えば、コンピュータシステムが第1のメディアアイテムをキャプチャするプロセスを完了した)に関する視覚的フィードバックをユーザに提供し、これは、改善された視覚的フィードバックをユーザに提供する。メディアキャプチャ動作が実行されたという改善された視覚的フィードバックを提供することは、キャプチャされたメディアが、ユーザがキャプチャすることを意図しなかったコンテンツを含むことなく、ユーザがキャプチャすることを意図したコンテンツを含むことを確実にするように、ユーザがキャプチャされたメディアをレビュー及び/又は編集し得ることをユーザに通知することによって、コンピュータシステムのプライバシー及びセキュリティを向上させる。
【0369】
いくつかの実施形態では、ユーザインタフェースのディスプレイにフェードインする第1のメディアアイテム(例えば、図13E1図13E5又は図13Iでキャプチャされたメディアアイテム)の表現を表示することは、第1のサイズ(例えば、第1のメディアアイテムの表現が最初に第1のサイズで表示される)から第2のサイズに遷移する第1のメディアアイテムの表現を表示することであって、第1のサイズは、第2のサイズよりも大きい(例えば、第1のメディアアイテムの表現のサイズは徐々に減少する)(例えば、コンピュータシステムは、ある時間期間にわたって第1のサイズから第2のサイズに遷移する第1のメディアアイテムの表現を表示する)、ことと、ユーザインタフェース内の第1のロケーション(例えば、ユーザインタフェース内の中心ロケーション)からユーザインタフェース内の(例えば、第1のロケーションとは異なる)第2のロケーション(例えば、第2のロケーションはビューファインダの角部にある)に移動する第1のメディアアイテムの表現を表示することであって、第2のロケーションは、ビューファインダ(例えば、1318)の角部(例えば、1330のロケーション)に対応する(例えば、図13Fを参照して上述したように)、ことと、を含む。いくつかの実施形態では、コンピュータシステムは、第1のメディアアイテムの表現を第1のサイズから第2のサイズに遷移するものとして表示し、一方、コンピュータシステムは、第1のメディアアイテムの表現を第1のロケーションから第2のロケーションに移動するものとして表示する。いくつかの実施形態では、コンピュータシステムは、コンピュータシステムが第1のメディアアイテムの表現を第1のロケーションから第2のロケーションに移動するように表示する前/後に、第1のメディアアイテムの表現を第1のサイズから第2のサイズに遷移するように表示する。いくつかの実施形態では、コンピュータは、第1のサイズから第2のサイズに遷移し、第1のロケーションから第2のロケーションに移動するものとして第1のメディアアイテムの表現を表示し、一方、コンピュータシステムは、ユーザインタフェースのディスプレイにフェードインするものとして第1のメディアアイテムの表現を表示する。いくつかの実施形態では、コンピュータは、コンピュータシステムが第1のメディアアイテムの表現をユーザインタフェースのディスプレイにフェードインするように表示する前/後に、第1のサイズから第2のサイズに遷移し、第1のロケーションから第2のロケーションに移動するように第1のメディアアイテムの表現を表示する。第1のメディアアイテムがキャプチャされた後に、第1のメディアアイテムの表現を、サイズが減少し、ユーザインタフェース上の第1のロケーションからユーザインタフェース内の第2のロケーションに移動するものとして表示することは、コンピュータシステムの状態(例えば、コンピュータシステムが第1のメディアアイテムをキャプチャした)に関する視覚的フィードバックをユーザに提供し、これは改善された視覚的フィードバックを提供する。メディアキャプチャ動作が実行されたという改善された視覚的フィードバックを提供することは、キャプチャされたメディアが、ユーザがキャプチャすることを意図しなかったコンテンツを含むことなく、ユーザがキャプチャすることを意図したコンテンツを含むことを確実にするように、ユーザがキャプチャされたメディアをレビュー及び/又は編集し得ることをユーザに通知することによって、コンピュータシステムのプライバシー及びセキュリティを向上させる。
【0370】
いくつかの実施形態では、第1のメディアアイテムの表現を表示する前に、ビューファインダ(例えば、1318)は、第2のレチクル仮想オブジェクト(例えば、1320)(例えば、連続又は非連続線のセット)を含み、第1のメディアアイテムの表現の表示は、(例えば、図13Fを参照して上述したように)第2のレチクル仮想オブジェクトの表示に置き換わる。いくつかの実施形態では、第2のレチクル仮想オブジェクトは、表現の表示が第1のロケーションから第2のロケーションに移動した後に再表示される。いくつかの実施形態では、第2のレチクル仮想オブジェクトは、第1のメディアアイテムの表現が表示されなくなったことに応じて再表示される。第1のメディアアイテムがキャプチャされた後に第2のレチクル仮想オブジェクトの表示を置き換えることは、コンピュータシステムの状態(例えば、コンピュータシステムが第1のメディアアイテムをキャプチャした)に関する視覚的フィードバックをユーザに提供し、これは、改善された視覚的フィードバックを提供する。メディアキャプチャ動作が実行されたという改善された視覚的フィードバックを提供することは、キャプチャされたメディアが、ユーザがキャプチャすることを意図しなかったコンテンツを含むことなく、ユーザがキャプチャすることを意図したコンテンツを含むことを確実にするように、ユーザがキャプチャされたメディアをレビュー及び/又は編集し得ることをユーザに通知することによって、コンピュータシステムのプライバシー及びセキュリティを向上させる。
【0371】
いくつかの実施形態では、ユーザインタフェース(例えば、1304)を表示することは、第2のメディアレビュー仮想オブジェクト(例えば、1330)(例えば、メディアレビュー仮想オブジェクトは、選択されると、以前にキャプチャされたメディアをレビューするためのユーザインタフェース(例えば、カメラロールアフォーダンス)を表示させる、直近にキャプチャされた(例えば、コンピュータシステムの1つ以上のカメラによって直近にキャプチャされた)メディアアイテムの表現を含む)をユーザインタフェース内の第3のロケーション(例えば、1330のロケーション)に表示すること(例えば、第2のメディアレビュー仮想オブジェクトは、ビューファインダの角部に表示される)を含み、第2のメディアレビュー仮想オブジェクトは、第3のサイズ(例えば、1330のサイズ)で表示され、ユーザインタフェースにフェードインする第1のメディアアイテム(例えば、図13E1図13E5又は図13Iにおいてキャプチャされたメディアアイテム)の表現を表示することは、第4のサイズから第5のサイズに遷移する第1のメディアアイテムの表現を表示することであって、第4のサイズは、第5のサイズよりも大きく、第4のサイズは、第3のサイズよりも大きい(例えば、第4のサイズは、第3のサイズよりもわずかに大きい(例えば、第1のサイズは、第3のサイズよりも2%、5%、7%、又は10%大きい))(例えば、第1のメディアアイテムの表現が縮小する)、ことと、第1のメディアアイテムの表現を、ユーザインタフェース内の第4のロケーション(例えば、第4のロケーションは、ユーザインタフェースの中心に位置する)からユーザインタフェース内の第3のロケーションに移動するものとして表示すること(例えば、図13Fを参照して上述したように)と、を含む。
【0372】
いくつかの実施形態では、第1のメディアアイテム(例えば、図13E1図13E5又は図13Iでキャプチャされたメディアアイテム)は、(例えば、図13E1図13E5及び図13Iで上述したように)静止写真又はビデオである。
【0373】
いくつかの実施形態では、ビューファインダの外観を変更した後、コンピュータシステムは、メディア(例えば、1350c、1350d、1350h、1350i)をキャプチャするための第2の要求を検出する。いくつかの実施形態では、メディアをキャプチャするための第2の要求を検出したことに応じて、メディアをキャプチャするための第2の要求が静止写真をキャプチャするための要求に対応する(例えば、要求が、コンピュータシステムと通信しているハードウェア入力機構のタップである)という判定に従って、コンピュータシステムは、第1のタイプのフィードバック(例えば、図13E1図13E5における1318の外観)を表示し(例えば、第1のタイプのフィードバックは、ビューファインダの境界の第1の側の閾値距離内にあるコンテンツの第1の部分の外観を変更することを含み、第1のタイプのフィードバックを表示することは、ビューファインダの第2の境界の閾値距離内にあるコンテンツの第2の部分の外観を変更することを含む)、メディアをキャプチャする第2の要求がビデオをキャプチャする要求に対応する(例えば、要求がコンピュータシステムと通信しているハードウェア入力機構のタップアンドホールドである)という判定に従って、コンピュータシステムは、(例えば、図13Iを参照して上述したように)第1のタイプのフィードバックとは異なる(例えば、第1のタイプのフィードバックを表示しない)第2のタイプのフィードバック(例えば、1318内の1332の表示)を表示する(例えば、第2のタイプのフィードバックを表示することは、コンピュータシステムがビデオキャプチャプロセスを実行した時間を示すビデオ記録インジケータをビューファインダ内に表示することを含む)。コンピュータシステムが静止写真をキャプチャしたときに第1のタイプのフィードバックを表示し、コンピュータシステムがビデオをキャプチャしたときに第2のタイプのフィードバックを表示することは、コンピュータシステムがどのタイプのメディアキャプチャ動作を実行しているかに関する視覚的フィードバックをユーザに提供し、これは改善された視覚的フィードバックを提供する。メディアキャプチャ動作中に改善された視覚的フィードバックを提供することは、ユーザがキャプチャされたメディアをレビュー及び/又は編集し得ることをユーザに通知することによって、コンピュータシステムのプライバシー及びセキュリティを強化する。加えて、メディアキャプチャ動作中に改善された視覚的フィードバックを提供することは、ユーザが、別様でコンピュータシステムの追加の電力を使用することになるより少ない数のキャプチャ動作で、ユーザがキャプチャすることを意図するコンテンツをキャプチャすることを可能にし、したがって、コンピュータシステムのバッテリ寿命を節約する。
【0374】
いくつかの実施形態では、メディアをキャプチャするための第1の要求(例えば、1350c、1350d、1350h、1350i)は、第1のタイプの入力に対応し、第1のメディアアイテムは、静止写真(例えば、13E1~13E5においてキャプチャされたメディアアイテム)(例えば、写真)であり、第1のタイプの入力は、第1のハードウェア入力機構(例えば、711a)(例えば、コンピュータシステムと通信(例えば、無線通信及び/又は有線通信)しているハードウェア入力機構)のショートプレス(例えば、ハードウェア入力機構のプレスアンドリリース)(例えば、ハードウェア入力機構が閾値時間未満にわたって押下される)(例えば、第1のメディアアイテムは、コンピュータシステムがメディアをキャプチャするための要求を検出した時点でビューファインダ内にあるコンテンツを含む)(例えば、コンピュータシステムが圧力を(例えば、直接的に(例えば、ソリッドステート入力機構上で)又は間接的に(例えば、ソリッドステート入力機構上ではなく))検出したことに応じてアクティブ化されるソリッドステート入力機構)に対応する。いくつかの実施形態では、ハードウェア入力機構がソリッドステート入力機構であるとき、ハードウェア入力機構は、ハードウェア入力機構がアクティブ化されることに応じて、触知出力を生成する。条件のセットが満たされた(例えば、メディアをキャプチャする要求が第1のタイプの入力に対応する)ときにスチール写真をキャプチャすることは、コンピュータシステムが、ユーザが所望のタイプのメディアアイテムをキャプチャすることを可能にするメディアキャプチャプロセスを実行することを自動的に可能にし、メディアキャプチャプロセスは、更なるユーザ入力を必要とすることなく、条件のセットが満たされたときに動作を実行する。ハードウェア入力機構のアクティブ化に応じて静止写真をキャプチャすることにより、ユーザは、追加のコントロールを表示することなくコンピュータシステムのメディアキャプチャ動作を制御することが可能になり、これにより、ユーザインタフェースを混乱させることなく追加のコントロールオプションが提供される。
【0375】
いくつかの実施形態では、ビューファインダ(例えば、図13Fの1318)の外観を変更した後、コンピュータシステムは、メディアをキャプチャするための第3の要求(例えば、1350c、1350d、1350h、1350i)を検出する。いくつかの実施形態では、メディアをキャプチャするための第3の要求を検出したことに応じて、及びメディアをキャプチャするための第3の要求が第2のタイプの入力に対応する(例えば、第2のタイプの入力が第1のタイプの入力とは異なる)という判定に従って、コンピュータシステムは、ビデオメディアアイテム(例えば、図13Iでキャプチャされたビデオメディアアイテム)をキャプチャし、第2のタイプの入力は、(例えば、図13Iに関連して上述したような)第2のハードウェア入力機構(例えば、711a)のロングプレス(例えば、1350h)(例えば、プレスアンドホールド)に対応する(例えば、ハードウェア入力機構は、コンピュータシステムと通信(例えば、無線通信及び/又は有線通信)している)(例えば、第1のメディアアイテムは、コンピュータシステムがビデオキャプチャ動作を実行している間の任意の時点でビューファインダ内に含まれるコンテンツを含む)(例えば、コンピュータシステムが(例えば、直接的に(例えば、ソリッドステート入力機構上で)又は間接的に(例えば、ソリッドステート入力機構上ではなく))押下を検出したことに応じてアクティブ化されるソリッドステート入力機構)。いくつかの実施形態では、ハードウェア入力機構がソリッドステート入力機構であるとき、ハードウェア入力機構は、ハードウェア入力機構がアクティブ化されることに応じて、触知出力を生成する。条件のセットが満たされた(例えば、メディアをキャプチャするための要求が第2のタイプの入力に対応する)ときにビデオをキャプチャすることは、コンピュータシステムが、ユーザが所望のタイプのメディアアイテムをキャプチャすることを可能にするメディアキャプチャプロセスを実行することを自動的に可能にし、それは、更なるユーザ入力を必要とすることなく、条件のセットが満たされたときに動作を実行する。ハードウェア入力機構のアクティブ化に応じてビデオをキャプチャすることにより、ユーザは、追加のコントロールを表示することなくコンピュータシステムのメディアキャプチャ動作を制御することが可能になり、これにより、ユーザインタフェースを混乱させることなく追加のコントロールオプションが提供される。
【0376】
いくつかの実施形態では、メディアをキャプチャするための第3の要求は、第2のタイプの入力(例えば、1350c、1350d、1350h、1350k)に対応する。いくつかの実施形態では、メディアをキャプチャする第3の要求を検出したことに応じて、コンピュータシステムは、(例えば、図13Iを参照して上述したように)ビデオメディアアイテムのキャプチャが第2のビデオキャプチャ動作に対応するというインジケーション(例えば、1332)を表示し(例えば、インジケーションはビューファインダ内に表示される)(例えば、インジケーションは物理的環境の表現の上にオーバーレイされて表示される)、インジケーションを表示することは、基準のセットが満たされていない(例えば、コンピュータシステムが所定の時間量(例えば、0.1、0.3、0.5、0.7、1、1.5、又は2秒)未満の間第2のタイプの入力を検出した)という判定に従って、第1の外観でインジケーションを表示することと、基準のセットが満たされている(例えば、コンピュータシステムが所定の時間量よりも長い間第2のタイプの入力を検出した)という判定に従って、第1の外観とは異なる(例えば、インジケーションは、インジケーションが第1の外観で表示されるときと比較して、インジケーションが第2の外観で表示されるときに異なるコンテンツを含む)第2の外観(例えば、図13Iの1332の外観)でインジケーションを表示することと、を含む。いくつかの実施形態では、インジケーションが表示されている間に、コンピュータは、第2のタイプの入力の検出を中止する(例えば、ユーザが第2のハードウェア入力機構を押下するのを中止する)。いくつかの実施形態では、第2のタイプの入力の検出を中止したことに応じて、かつ第2のタイプの入力の検出を中止する前に基準のセットが満たされなかった(例えば、かつインジケーションが第1の外観で表示される)という判定に従って、コンピュータシステムは、(例えば、図13Iを参照して上述したように)第2のビデオキャプチャ動作の実行を中止し、第2のタイプの入力の検出を中止する前に基準のセットが満たされた(例えば、かつインジケーションが第2の外観で表示されている)という判定に従って、コンピュータシステムは、(例えば、図13Iで上述したように)第2のビデオキャプチャ動作の実行を継続する(例えば、コンピュータシステムが第2の入力を検出しない間、コンピュータシステムはビデオのキャプチャを継続する)。いくつかの実施形態では、インジケーションが第1の外観で表示されている間にコンピュータシステムが第2のタイプの入力の検出を中止すると、コンピュータシステムは、写真キャプチャ動作を実行する(例えば、コンピュータシステムが写真をキャプチャする)。いくつかの実施形態では、インジケーションは、インジケーションが第1の外観で表示されている間にビデオメディアをどのようにキャプチャするかに関する命令を含む。ハードウェア入力機構の選択に対応する第2のタイプの入力の検出の中止に応じて第2のビデオキャプチャ動作の実行を中止することにより、ユーザは、追加のコントロールを表示することなくコンピュータシステムのメディアキャプチャ動作を制御することが可能になり、これは、ユーザインタフェースを混乱させることなく追加のコントロールオプションを提供する。規定された条件が自動的に満たされたときに特定の条件を有するインジケーションを表示することにより、コンピュータシステムは、ユーザがハードウェア入力機構を押下するのを中止した場合にコンピュータシステムが第2のビデオキャプチャ動作を継続するかどうかをユーザに示す表示動作を実行することができる。
【0377】
いくつかの実施形態では、インジケーション(例えば、1332)は、コンピュータシステム(例えば、700)が第2のビデオキャプチャ動作を開始してから経過した時間を示し(例えば、インジケーションはタイマである)、インジケーションを表示することは、第1の外観でインジケーションを表示することを含む(例えば、インジケーションが最初に表示されたときに基準のセットが満たされていない)。いくつかの実施形態では、インジケーションが第1の外観で表示されている間に、コンピュータシステムは、基準のセットが満たされたことを検出する(例えば、コンピュータシステムが、所定の時間よりも長い間、第2のタイプの入力を検出した)。いくつかの実施形態では、基準のセットが満たされたことを検出したことに応じて、コンピュータシステムは、(例えば、図13Iを参照して上述したように)インジケーションの外観を第1の外観から第2の外観(例えば、図13Iの1332の外観)に変更する(例えば、コンピュータシステムは、コンピュータシステムが第2のビデオキャプチャ動作を実行している間にインジケーションの外観を変更する)。基準のセットが満たされたときにインジケーションの外観を第1の外観から第2の外観に変更することは、基準のセットが満たされたという視覚的フィードバックをユーザに提供し、コンピュータシステムが第2のタイプの入力の検出を中止した場合にコンピュータシステムが第2のビデオキャプチャ動作の実行を継続することになり、改善された視覚的フィードバックを提供する。メディアキャプチャ動作中に改善された視覚的フィードバックを提供することは、ユーザがキャプチャされたメディアをレビュー及び/又は編集し得ることをユーザに通知することによって、コンピュータシステムのプライバシー及びセキュリティを強化する。更に、メディアキャプチャ動作中に改善された視覚的フィードバックを提供することは、ユーザが、別様でコンピュータシステムの追加の電力を使用することになるより少ない数のキャプチャ動作で、ユーザがキャプチャすることを意図するコンテンツをキャプチャすることを可能にし、したがって、コンピュータシステムのバッテリ寿命を節約する。
【0378】
いくつかの実施形態では、コンピュータシステム(例えば、700)がビデオメディアアイテムをキャプチャしている間(例えば、コンピュータシステムがビデオキャプチャ動作を実行している間)、コンピュータシステムは、第3のハードウェア入力機構(例えば、711a)のアクティブ化に対応する入力(例えば、1350c、1350d、1350h、1350k)を検出する(例えば、ハードウェア入力機構が押下される)(例えば、ユーザが第3のハードウェア入力機構上でショートプレス(例えば、プレスアンドリリース)及び/又はロングプレス(プレスアンドホールド)を実行する)(例えば、コンピュータシステムがロングプレスを(例えば、直接的に(例えば、ソリッドステート入力機構上で)又は間接的に(例えば、ソリッドステート入力機構上ではなく))検出したことに応じてアクティブ化されるソリッドステート入力機構)。いくつかの実施形態では、第3のハードウェア入力機構のアクティブ化に対応する入力を検出したことに応じて、コンピュータシステムは、(例えば、図13Jを参照して上述したように)ビデオメディアアイテムのキャプチャを中止する。いくつかの実施形態では、第1のメディアアイテムのキャプチャを中止する入力は、第1のメディアアイテムのキャプチャを開始する入力と同じタイプの入力(例えば、タップ入力及び/又はプレスアンドホールド入力)である。いくつかの実施形態では、第1のメディアアイテムのキャプチャを中止する入力は、第1のメディアのキャプチャを開始する入力とは異なるタイプの入力である。いくつかの実施形態では、ハードウェア入力機構がソリッドステート入力機構であるとき、ハードウェア入力機構は、ハードウェア入力機構がアクティブ化されることに応じて、触知出力を生成する。いくつかの実施形態では、キャプチャされたビデオメディアアイテムは、ビデオメディアアイテムのキャプチャが完了したときに、メディアライブラリ(例えば、コンピュータシステムに記憶された及び/又はクラウドサーバに記憶された)に任意選択的に追加される。ハードウェア入力機構のアクティブ化に対応する入力を検出したことに応じて第1のメディアアイテムのキャプチャを中止することは、ユーザが、追加のコントロールを表示することなくコンピュータシステムのメディアキャプチャプロセスを制御することを可能にし、これは、ユーザインタフェースを混乱させることなく追加のコントロールオプションを提供する。
【0379】
いくつかの実施形態では、境界の第1の側(例えば、1318の右境界)及び境界の第2の側(例えば、1318の左境界)は、境界の両側にある(例えば、境界の第1の側は、境界の左側にあり、境界の第2の側は、境界の右側にあるか、又は第1の側は、境界の上部にあり、第2の側は、境界の下部にある)。
【0380】
いくつかの実施形態では、コンテンツの第1の部分(例えば、1306)は、ビューファインダの境界の第1の側(例えば、1318の右境界)から閾値距離にあり(例えば、コンテンツの第1の部分は、ビューファインダの境界の第1の側から閾値距離に位置決めされ/位置し)、コンテンツの第2の部分(例えば、1306)は、ビューファインダの境界の第2の側(例えば、1318の左境界)から閾値距離にある(例えば、コンテンツの第1の部分は、ビューファインダの境界の第2の側から閾値距離に位置決めされ/位置する)。いくつかの実施形態では、コンテンツの第1の部分及びコンテンツの第2の部分は、ビューファインダの反対側にある。
【0381】
いくつかの実施形態では、ユーザインタフェース(例えば、1304)を表示することは、第3のレチクル仮想オブジェクト(例えば、1320)を表示することを含み(例えば、レチクルは、ビューファインダの1つ以上の角部に、又はビューファインダの周囲に表示される)(例えば、レチクルは、一連の非連続線又は連続線から構成される)、第3のレチクル仮想オブジェクトは、1つ以上のカメラのキャプチャ領域を示す(例えば、図13Dを参照して上述したように)(例えば、コンピュータシステムがメディアキャプチャ動作(例えば、ビデオ又は静止写真のキャプチャ)を実行している間にレチクル内にあるコンテンツは、結果として得られるメディアアイテムにおいて可視である)。1つ以上のカメラのキャプチャ領域を示すレチクル仮想オブジェクトを表示することは、所望のコンテンツがレチクル内にあり、所望のコンテンツが結果として得られるメディア内で可視であるように、ユーザがコンピュータシステムの1つ以上のカメラを正しく位置決めするのを助ける視覚補助をユーザに提供し、その結果、より高速でより効率的なメディアキャプチャプロセスがもたらされる。
【0382】
いくつかの実施形態では、方法800、900、1000、1200、1400及び1500の態様/動作は、これらの方法の間で交換、置換、及び/又は追加され得る。例えば、(例えば、方法1500で説明したように)メディアキャプチャプロセスを実行することの一部としてコンテンツの外観を変更することは、方法800で説明したメディアキャプチャ動作に任意選択的に適用することができる。簡潔にするために、それらの詳細はここでは繰り返さない。
【0383】
上記は、説明を目的として、特定の実施形態を参照して記述されている。しかしながら、上記の例示的な論考は、網羅的であること、又は開示される厳密な形態に本発明を限定することを意図するものではない。上記の教示を考慮して、多くの修正及び変形が可能である。本発明の原理及びその実際的な応用を最良の形で説明し、それによって他の当業者が、想到される特定の用途に適した様々な変更で本発明及び様々な記載された実施形態を最良の形で使用することを有効化するために、これらの実施形態を選択し記載した。
【0384】
上述したように、本技術の一態様は、XR環境においてメディアをキャプチャし、閲覧するユーザの体験を改善するための、様々なソースから利用可能なデータの収集及び使用である。本開示は、いくつかの場合には、この収集されたデータが、特定の人を一意に識別する個人情報データ、又は特定の人に連絡する若しくはその所在を突き止めるために使用できる個人情報データを含み得ることを考察する。そのような個人情報データとしては、人口統計データ、ロケーションベースのデータ、電話番号、電子メールアドレス、ツイッターID、自宅の住所、ユーザの健康若しくはフィットネスのレベルに関するデータ若しくは記録(例えば、バイタルサイン測定値、投薬情報、運動情報)、生年月日、又は任意の他の識別情報若しくは個人情報を挙げることができる。
【0385】
本開示は、本技術におけるそのような個人情報データの使用がユーザの利益になる使用であり得る点を認識するものである。例えば、個人情報データは、ユーザのためのメディアキャプチャプロセスを改善するために使用され得る。更に、ユーザに利益をもたらす個人情報データに関する他の使用も本開示によって意図されている。例えば、健康データ及びフィットネスデータは、ユーザの全般的なウェルネスについての洞察を提供するために使用することができ、又は、ウェルネスの目標を追求する技術を使用している個人への、積極的なフィードバックとして使用することもできる。
【0386】
本開示は、そのような個人情報データの収集、分析、開示、送信、記憶、又は他の使用に関与するエンティティが、確固たるプライバシーポリシー及び/又はプライバシー慣行を遵守するものとなることを想到する。具体的には、そのようなエンティティは、個人情報データを秘密として厳重に保守するための、業界又は政府の要件を満たしているか又は上回るものとして一般に認識されている、プライバシーのポリシー及び慣行を実施し、一貫して使用するべきである。そのようなポリシーは、ユーザによって容易にアクセス可能とするべきであり、データの収集及び/又は使用が変更されるにつれて更新されるべきである。ユーザからの個人情報は、そのエンティティの合法的かつ正当な使用のために収集されるべきであり、それらの合法的使用を除いては、共有又は販売されるべきではない。更には、そのような収集/共有は、ユーザに告知して同意を得た後に実施されるべきである。その上、そのようなエンティティは、そのような個人情報データへのアクセスを保護及び安全化し、個人情報データへのアクセス権を有する他者が、それらのプライバシーポリシー及び手順を忠実に守ることを保証するための、あらゆる必要な措置を講じることを考慮するべきである。更に、そのようなエンティティは、広く受け入れられているプライバシーポリシー及び慣行に対する自身の遵守を証明するために、サードパーティによる評価を自らが受けることができる。更には、ポリシー及び慣行は、収集及び/又はアクセスされる具体的な個人情報データのタイプに適合されるべきであり、また、管轄権固有の考慮事項を含めた、適用可能な法令及び規格に適合されるべきである。例えば、アメリカ合衆国では、特定の健康データの収集又はそれへのアクセスは、医療保険の相互運用性と説明責任に関する法律(HIPAA)などの、連邦法及び/又は州法に準拠し得る。その一方で、他国における健康データは、他の規制及びポリシーの対象となり得るものであり、それに従って対処されるべきである。それゆえ、各国において、異なる個人データのタイプに関して異なるプライバシー慣行が保たれるべきである。
【0387】
前述のことがらにも関わらず、本開示はまた、個人情報データの使用又は個人情報データへのアクセスを、ユーザが選択的に阻止する実施形態も想到する。すなわち、本開示は、そのような個人情報データへのアクセスを防止又は阻止するために、ハードウェア要素及び/又はソフトウェア要素が提供され得ることを意図している。例えば、様々なXR環境においてメディアをキャプチャ及び/又は表示する場合、本技術は、サービスの登録中又はその後いつでも、ユーザが個人情報データの収集への参加の「オプトイン」又は「オプトアウト」を選択することを可能にするように構成され得る。別の例では、ユーザは、キャプチャ及び/又は表示されるメディアのデータを提供しないことを選択することができる。更に別の例では、ユーザは、キャプチャ及び/又は表示されるメディアのタイプに基づいて、データが維持される時間の長さを制限すること、又はプロファイルの作成を完全に禁止することを選択することができる。「オプトイン」及び「オプトアウト」のオプションを提供することに加えて、本開示は、個人情報のアクセス又は使用に関する通知を提供することを意図している。例えば、ユーザの個人情報データにアクセスすることとなるアプリのダウンロード時にユーザに通知され、その後、個人情報データがアプリによってアクセスされる直前に再びユーザに注意してもよい。
【0388】
更には、本開示の意図は、個人情報データを、非意図的若しくは許可のないアクセス又は使用の危険性を最小限に抑える方法で、管理及び処理するべきであるという点である。データの収集を制限し、データがもはや必要とされなくなると削除することにより、リスクを最小化することができる。加えて、特定の健康関連アプリケーションにおいて適用可能な場合、ユーザのプライバシーを保護するために、データの匿名化を使用することができる。非特定化は、適切な場合には、特定の識別子(例えば、生年月日など)を除去すること、記憶されたデータの量又は特異性を制御すること(例えば、ロケーションデータを住所レベルよりも都市レベルで収集すること)、データがどのように記憶されるかを制御すること(例えば、データをユーザ全体にわたって集約すること)及び/又は他の方法によって、容易にすることができる。
【0389】
それゆえ、本開示は、1つ以上の様々な開示された実施形態を実施するための、個人情報データの使用を広範に網羅するものであるが、本開示はまた、そのような個人情報データにアクセスすることを必要とせずに、それらの様々な実施形態を実施することも可能であることを想到する。すなわち、本技術の様々な実施形態は、そのような個人情報データの全て又は一部が欠如することにより、動作不可能にされるものではない。例えば、メディアアイテムは、ユーザと関連付けられたデバイスによって要求されているコンテンツ、サービスに利用可能な他の非個人情報、又は公的に利用可能な情報などの非個人情報データ又は最小限の量の個人情報に基づいて、選好を推測することによって表示されることができる。
図1
図2
図3
図4
図5
図6
図7A
図7B
図7C
図7D
図7E
図7F
図7G
図7H
図7I
図7J
図7K
図7L
図7M
図7N
図7O
図7P
図7Q
図8
図9
図10
図11A
図11B
図11C
図11D
図12
図13A
図13B
図13C
図13D
図13E1
図13E2
図13E3
図13E4
図13E5
図13F
図13G
図13H
図13I
図13J
図14
図15A
図15B
【手続補正書】
【提出日】2024-05-30
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
方法であって、
表示生成構成要素、1つ以上のカメラ、及び1つ以上の入力デバイスと通信しているコンピュータシステムにおいて、
前記表示生成構成要素を介して、ユーザインタフェースを表示することであって、前記ユーザインタフェースは、
物理的環境の表現であって、前記物理的環境の前記表現の第1の部分は、前記1つ以上のカメラのキャプチャ領域の内側にあり、前記物理的環境の前記表現の第2の部分は、前記1つ以上のカメラの前記キャプチャ領域の外側にある、物理的環境の表現と、
ビューファインダであって、前記ビューファインダは、境界を含む、ビューファインダと、
を含む、ことと、
前記ユーザインタフェースを表示している間に、前記1つ以上の入力デバイスを介して、メディアをキャプチャするための第1の要求を検出することと、
メディアをキャプチャするための前記第1の要求を検出したことに応じて、
前記1つ以上のカメラを使用して、前記物理的環境の前記表現の少なくとも前記第1の部分を含む第1のメディアアイテムをキャプチャすることと、
前記ビューファインダの外観を変更することであって、前記ビューファインダの前記外観を変更することは、
前記ビューファインダの前記境界の第1の側の閾値距離内にあるコンテンツの第1の部分の前記外観を変更することと、
前記ビューファインダの前記境界の前記第1の側とは異なる、前記ビューファインダの前記境界の第2の側の前記閾値距離内にあるコンテンツの第2の部分の前記外観を変更することと、を含む、
ことと、
を含む、方法。
【請求項2】
前記第1のメディアアイテムは、立体視メディアアイテムである、請求項に記載の方法。
【請求項3】
前記メディアをキャプチャするための第1の要求を検出する前に、前記ビューファインダは、第1の外観で表示され、前記ビューファインダの前記外観を変更することは、前記第1の外観とは異なる第2の外観で前記ビューファインダを表示することを含み、前記方法は、
前記ビューファインダがある時間期間にわたって前記第2の外観で表示された後に、前記ビューファインダの前記外観を前記第2の外観から前記第1の外観に変更すること、
を更に含む、請求項に記載の方法。
【請求項4】
前記コンテンツの第1の部分の前記外観及び前記コンテンツの第2の部分の前記外観は、同じように変更される、請求項に記載の方法。
【請求項5】
前記ビューファインダの前記外観を変更することは、前記ビューファインダの前記境界の第3の側の前記閾値距離内にあるコンテンツの第3の部分の前記外観を変更することを含み、コンテンツの前記第1の部分、コンテンツの前記第2の部分、及びコンテンツの前記第3の部分の前記外観は、同じように変更される、請求項に記載の方法。
【請求項6】
前記ビューファインダの前記境界は、レチクル仮想オブジェクトであり、メディアをキャプチャするための前記第1の要求が検出される前に、前記レチクル仮想オブジェクトは、第1の外観で表示され、前記方法は、
メディアをキャプチャするための前記第1の要求を検出したことに応じて、前記レチクル仮想オブジェクトの前記外観を、前記第1の外観から、前記第1の外観とは異なる第2の外観に変更することを更に含む、請求項に記載の方法。
【請求項7】
前記ビューファインダを表示することは、前記ビューファインダ内に1つ以上の要素を表示することを含み、前記レチクル仮想オブジェクトの前記外観を変更することは、前記ビューファインダ内に表示される前記1つ以上の要素に対して前記レチクル仮想オブジェクトの前記外観を変更することを含む、請求項に記載の方法。
【請求項8】
前記ユーザインタフェースを表示することは、1つ以上の角部を表示することを含み、前記ビューファインダの前記外観を変更することは、
第1の方式で前記1つ以上の角部の前記外観を変更することと、
前記第1の方式とは異なる第2の方式で、前記ビューファインダの前記境界の少なくとも前記第1の側の前記外観を変更することと、を含む、請求項に記載の方法。
【請求項9】
前記ビューファインダの前記外観を変更することは、前記ビューファインダ内の前記コンテンツの第1の部分の1つ以上の光学特性の第1のセットを変更することを含む、請求項に記載の方法。
【請求項10】
1つ以上の光学特性の前記第1のセットは、前記ビューファインダ内の前記コンテンツのコントラストを含む、請求項に記載の方法。
【請求項11】
1つ以上の光学特性の前記第1のセットは、前記ビューファインダ内の前記コンテンツの輝度を含む、請求項に記載の方法。
【請求項12】
1つ以上の光学特性の前記第1のセットは、前記ビューファインダ内の前記コンテンツの透光性を含む、請求項に記載の方法。
【請求項13】
前記1つ以上の光学特性の第1のセットは、前記ビューファインダ内の前記コンテンツのサイズを含む、請求項に記載の方法。
【請求項14】
前記ユーザインタフェースを表示することは、前記ビューファインダの前記境界内に仮想制御オブジェクトの第1のセットを表示することを含む、請求項に記載の方法。
【請求項15】
仮想オブジェクトの前記第1のセットは、第1の近接仮想オブジェクトを含み、前記方法は、
前記第1の近接仮想オブジェクトの選択に対応する入力を検出することと、
前記第1の近接仮想オブジェクトの選択に対応する前記入力を検出したことに応じて、前記ユーザインタフェースの前記表示を中止することと、を更に含む、請求項14に記載の方法。
【請求項16】
前記仮想オブジェクトの第1のセットは、第1のメディアレビュー仮想オブジェクトを含み、前記方法は、
前記第1のメディアレビュー仮想オブジェクトの選択に対応する入力を検出することと、
前記第1のメディアレビュー仮想オブジェクトの選択に対応する前記入力を検出したことに応じて、以前にキャプチャされたメディアアイテムの1つ以上の表現を表示することと、を更に含む、請求項14に記載の方法。
【請求項17】
前記仮想オブジェクトの第1のセットは、前記コンピュータシステムが第1のビデオキャプチャ動作を開始してから経過した時間量を示す記録時間仮想オブジェクトを含む、請求項14に記載の方法。
【請求項18】
前記ユーザインタフェースを表示することは、前記ビューファインダの前記境界の外側に仮想制御オブジェクトの第2のセットを表示することを含む、請求項に記載の方法。
【請求項19】
仮想制御オブジェクトの前記第2のセットは、前記1つ以上のカメラのそれぞれの動作モードにそれぞれ対応するカメラモード仮想オブジェクトのセットを含み、前記カメラモード仮想オブジェクトのセットは、第1のカメラモード仮想オブジェクト及び第2のカメラモード仮想オブジェクトを含み、前記方法は、
前記カメラモード仮想オブジェクトのセット内の個別のカメラモード仮想オブジェクトの選択に対応する入力を検出することと、
前記カメラモード仮想オブジェクトのセット内の個別のカメラモード仮想オブジェクトの選択に対応する前記入力を検出したことに応じて、
前記入力が前記第1のカメラモード仮想オブジェクトの選択に対応するという判定に従って、第1のモードで動作するように前記1つ以上のカメラを構成し、
前記入力が前記第2のカメラモード仮想オブジェクトの選択に対応するという判定に従って、前記1つ以上のカメラを第2のモードで動作するように構成することと、
を更に含む、請求項18に記載の方法。
【請求項20】
仮想制御オブジェクトの前記第2のセットは、第2の近接仮想オブジェクトを含み、前記方法は、
前記第2の近接仮想オブジェクトの選択に対応する入力を検出することと、
前記第2の仮想オブジェクトの選択に対応する前記入力を検出したことに応じて、前記ユーザインタフェースを表示することを中止することと、
を更に含む、請求項18に記載の方法。
【請求項21】
前記第1のメディアアイテムがキャプチャされた後に、前記ユーザインタフェースの前記表示にフェードインする前記第1のメディアアイテムの表現を表示すること、
を更に含む、請求項に記載の方法。
【請求項22】
前記ユーザインタフェースの前記表示にフェードインする前記第1のメディアアイテムの前記表現を表示することは、
第1のサイズから第2のサイズに遷移する前記第1のメディアアイテムの前記表現を表示することであって、前記第1のサイズは、前記第2のサイズよりも大きい、ことと、
前記ユーザインタフェース内の第1のロケーションから前記ユーザインタフェース内の第2のロケーションに移動する前記第1のメディアアイテムの前記表現を表示することとであって、前記第2のロケーションは、前記ビューファインダの角部に対応する、ことと、
を含む、請求項21に記載の方法。
【請求項23】
前記第1のメディアアイテムの前記表現を表示する前に、前記ビューファインダは、第2のレチクル仮想オブジェクトを含み、前記第1のメディアアイテムの前記表現の前記表示は、前記第2のレチクル仮想オブジェクトの前記表示に置き換わる、請求項21に記載の方法。
【請求項24】
前記ユーザインタフェースを表示することは、前記ユーザインタフェース内の第3のロケーションに第2のメディアレビュー仮想オブジェクトを表示することを含み、前記第2のメディアレビュー仮想オブジェクトは、第3のサイズで表示され、前記ユーザインタフェースにフェードインする前記第1のメディアアイテムの前記表現を表示することは、
第4のサイズから第5のサイズに遷移する前記第1のメディアアイテムの前記表現を表示することであって、前記第4のサイズは前記第5のサイズよりも大きく、前記第4のサイズは前記第3のサイズよりも大きい、ことと、
前記第1のメディアアイテムの前記表現を、前記ユーザインタフェース内の第4のロケーションから前記ユーザインタフェース内の前記第3のロケーションに移動するものとして表示することと、を含む、請求項21に記載の方法。
【請求項25】
前記第1のメディアアイテムは、静止写真又はビデオである、請求項に記載の方法。
【請求項26】
前記ビューファインダの前記外観を変更した後に、メディアをキャプチャするための第2の要求を検出することと、
メディアをキャプチャするための前記第2の要求を検出したことに応じて、
前記メディアをキャプチャするための第2の要求が静止写真をキャプチャするための要求に対応するという判定に従って、第1のタイプのフィードバックを表示し、
前記メディアをキャプチャするための第2の要求がビデオをキャプチャするための要求に対応するという判定に従って、前記第1のタイプのフィードバックとは異なる第2のタイプのフィードバックを表示することと、
を更に含む、請求項25に記載の方法。
【請求項27】
メディアをキャプチャするための前記第1の要求は、第1のタイプの入力に対応し、前記第1のメディアアイテムは、静止写真であり、前記第1のタイプの入力は、第1のハードウェア入力機構のショートプレスに対応する、
請求項に記載の方法。
【請求項28】
前記ビューファインダの前記外観を変更した後に、メディアをキャプチャするための第3の要求を検出することと、
メディアをキャプチャするための前記第3の要求を検出したことに応じて、かつメディアをキャプチャするための前記第3の要求が、第2のタイプの入力であって、前記第2のタイプの入力は、第2のハードウェア入力機構のロングプレスに対応する、第2のタイプの入力に対応するという判定に従って、ビデオメディアアイテムをキャプチャすることと、
を更に含む、請求項に記載の方法。
【請求項29】
メディアをキャプチャするための前記第3の要求は、前記第2のタイプの入力に対応し、前記方法は、
メディアをキャプチャするための前記第3の要求を検出したことに応じて、前記ビデオメディアアイテムのキャプチャが第2のビデオキャプチャ動作に対応するというインジケーションを表示することであって、前記インジケーションを表示することは、
基準のセットが満たされていないという判定に従って、第1の外観で前記インジケーションを表示することと、
前記基準のセットが満たされているという判定に従って、第2の外観で前記インジケーションを表示することと、
を含む、ことと、
前記インジケーションが表示されている間に、前記第2のタイプの入力の検出を中止することと、
前記第2のタイプの入力の検出を中止したことに応じて、
前記第2のタイプの入力の検出を中止する前に前記基準のセットが満たされなかったという判定に従って、前記第2のビデオキャプチャ動作の実行を中止し、
前記第2のタイプの入力の検出を中止する前に前記基準のセットが満たされたという判定に従って、前記第2のビデオキャプチャ動作の実行を継続することと、
を更に含む、請求項28に記載の方法。
【請求項30】
前記インジケーションは、前記コンピュータシステムが前記第2のビデオキャプチャ動作を開始してから経過した時間量を示し、前記インジケーションを表示することは、
前記第1の外観で前記インジケーションを表示することと、
前記第1の外観で前記インジケーションが表示されている間に、前記基準のセットが満たされていることを検出することと、
前記基準のセットが満たされていることを検出したことに応じて、前記インジケーションの前記外観を前記第1の外観から前記第2の外観に変更することと、を含む、請求項29に記載の方法。
【請求項31】
前記コンピュータシステムが前記ビデオメディアアイテムをキャプチャしている間に、第3のハードウェア入力機構のアクティブ化に対応する入力を検出することと、
前記第3のハードウェア入力機構のアクティブ化に対応する前記入力を検出したことに応じて、前記ビデオメディアアイテムの前記キャプチャを中止することと、
を更に含む、請求項28に記載の方法。
【請求項32】
前記境界の前記第1の側及び前記境界の前記第2の側は、前記境界の反対側にある、請求項に記載の方法。
【請求項33】
前記コンテンツの第1の部分は、前記ビューファインダの前記境界の前記第1の側から前記閾値距離にあり、前記コンテンツの第2の部分は、前記ビューファインダの前記境界の前記第2の側から前記閾値距離にある、請求項に記載の方法。
【請求項34】
前記ユーザインタフェースを表示することは、第3のレチクル仮想オブジェクトを表示することを含み、前記第3のレチクル仮想オブジェクトは、前記1つ以上のカメラの前記キャプチャ領域を示す、請求項に記載の方法。
【請求項35】
請求項1から34のいずれか一項に記載の方法をコンピュータに実行させるコンピュータプログラム。
【請求項36】
請求項35に記載のコンピュータプログラムを格納したメモリと、
前記メモリに格納された前記コンピュータプログラムを実行可能な1つ以上のプロセッサと、
を備えるコンピュータシステムであって、
前記コンピュータシステムは、表示生成構成要素、1つ以上の入力デバイス、及び1つ以上のカメラと通信するように構成される、
コンピュータシステム。
【請求項37】
請求項1から34のいずれか一項に記載の方法を実行する手段
を備えるコンピュータシステム。
【国際調査報告】