特表 2024-544477 エクステンデッドリアリティ用のデバイス相互運用性のためのシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-12-03

(54)【発明の名称】エクステンデッドリアリティ用のデバイス相互運用性のためのシステム及び方法

(51)【国際特許分類】

   G06F 3/01 20060101AFI20241126BHJP

   G09G 5/00 20060101ALI20241126BHJP

   G09G 5/36 20060101ALI20241126BHJP

   G06T 19/00 20110101ALI20241126BHJP

   H04N 13/344 20180101ALI20241126BHJP

   H04N 13/194 20180101ALI20241126BHJP

【ＦＩ】

G06F3/01 510

G09G5/00 555G

G09G5/00 510

G09G5/00 555D

G09G5/00 510V

G09G5/00 510X

G09G5/00 550C

G09G5/00 510H

G09G5/36 500

G09G5/00 510W

G09G5/00 520V

G09G5/00 520W

G06T19/00 600

H04N13/344

H04N13/194

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024525119

(86)(22)【出願日】2022-10-13

(85)【翻訳文提出日】2024-04-25

(86)【国際出願番号】 US2022078027

(87)【国際公開番号】W WO2023081573

(87)【国際公開日】2023-05-11

(31)【優先権主張番号】63/263,429

(32)【優先日】2021-11-02

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/724,408

(32)【優先日】2022-04-19

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵ―ＲＡＹ ＤＩＳＣ

(71)【出願人】

【識別番号】507364838

【氏名又は名称】クアルコム，インコーポレイテッド

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100163522

【弁理士】

【氏名又は名称】黒田 晋平

(72)【発明者】

【氏名】スティーヴ・ルーカス

【テーマコード（参考）】

5B050

5C182

5E555

【Ｆターム（参考）】

5B050BA09

5B050CA07

5B050DA04

5B050DA05

5B050EA07

5B050EA12

5B050EA19

5B050FA06

5C182AA02

5C182AA03

5C182AA04

5C182AA12

5C182AA26

5C182AB02

5C182AB08

5C182AB14

5C182AB21

5C182AB25

5C182AB34

5C182AB35

5C182AC02

5C182AC03

5C182AC43

5C182AC46

5C182BA03

5C182BA04

5C182BA06

5C182BA14

5C182BA27

5C182BA28

5C182BA29

5C182BA46

5C182BA47

5C182BA55

5C182BA56

5C182BA66

5C182BA75

5C182BB02

5C182BB03

5C182BB04

5C182BB17

5C182BC01

5C182BC22

5C182BC25

5C182BC26

5C182BC45

5C182CA01

5C182CA02

5C182CA22

5C182CA33

5C182CA34

5C182CA37

5C182CB01

5C182CB13

5C182CB14

5C182CB32

5C182CB45

5C182CC14

5C182CC15

5C182CC24

5C182DA04

5C182DA14

5C182DA33

5C182DA42

5C182DA44

5C182DA52

5E555AA27

5E555AA41

5E555BA01

5E555BA04

5E555BA20

5E555BA38

5E555BA73

5E555BB01

5E555BB04

5E555BB20

5E555BB38

5E555BC01

5E555BC04

5E555BC07

5E555BE16

5E555BE17

5E555CA12

5E555CA42

5E555CB12

5E555DA08

5E555DA09

5E555DA11

5E555DB53

5E555DC05

5E555DC43

5E555FA00

(57)【要約】

エクステンデッドリアリティ（ＸＲ）用のデバイス相互運用性のためのシステム及び技法が説明されている。モバイルハンドセットなどの装置は、ソフトウェアアプリケーションを実行し、ソフトウェアアプリケーションを使用して、装置の第１のディスプレイを使用して表示される第１のコンテンツを生成する。装置は、装置の第１のディスプレイを使用して第１のコンテンツを表示させる。装置は、ソフトウェアアプリケーションを使用して、第１のコンテンツに基づいて、第１のコンテンツとは別個であり、かつヘッドマウント装置の第２のディスプレイを使用して表示される第２のコンテンツを生成する。装置は、第２のコンテンツをヘッドマウント装置に少なくとも部分的に送信することによって、ヘッドマウント装置の第２のディスプレイを使用して第２のコンテンツを表示させる。場合によっては、装置及びヘッドマウント装置は、両方とも同じユーザに関連付けられ、異なるデバイスタイプである。

【特許請求の範囲】

【請求項1】

装置であって、
少なくとも１つのメモリと、
前記少なくとも１つのメモリに結合された１つ又は複数のプロセッサであって、
ソフトウェアアプリケーションを使用して、前記装置の第１のディスプレイを使用して表示される第１のコンテンツを生成し、
前記装置の前記第１のディスプレイを使用して前記第１のコンテンツを表示させ、
前記ソフトウェアアプリケーションを使用して、前記第１のコンテンツに基づいて第２のコンテンツを生成し、前記第２のコンテンツが前記第１のコンテンツとは別個であり、
前記第２のコンテンツをヘッドマウント装置に少なくとも部分的に送信することによって、前記ヘッドマウント装置の第２のディスプレイを使用して前記第２のコンテンツを表示させる、
ように構成された、１つ又は複数のプロセッサと、
を備える、装置。

【請求項2】

前記装置及び前記ヘッドマウント装置が、両方ともユーザに関連付けられ、異なるデバイスタイプである、請求項１に記載の装置。

【請求項3】

前記装置の前記第１のディスプレイ及び前記ヘッドマウント装置の前記第２のディスプレイが、異なるディスプレイタイプである、請求項１に記載の装置。

【請求項4】

前記ヘッドマウント装置の前記第２のディスプレイが、光透過性ディスプレイ又は３次元ディスプレイのうちの少なくとも１つを含む、請求項３に記載の装置。

【請求項5】

前記第１のコンテンツが、第１の視点から表された要素の第１のビューを含み、前記第２のコンテンツが、第２の視点から表された前記要素の第２のビューを含み、前記第１の視点が前記第２の視点とは別個である、請求項１に記載の装置。

【請求項6】

前記第１のコンテンツが、要素の２次元（２Ｄ）ビューを含み、前記第２のコンテンツが、前記要素の３次元（３Ｄ）ビューを含む、請求項１に記載の装置。

【請求項7】

前記第１のコンテンツが、要素の３次元（３Ｄ）ビューを含み、前記第２のコンテンツが、前記要素の２次元（２Ｄ）ビューを含む、請求項１に記載の装置。

【請求項8】

前記１つ又は複数のプロセッサが、
入力インターフェースを使用して１つ又は複数の入力を受信するように構成されており、前記第１のコンテンツを生成するために、前記１つ又は複数のプロセッサが、前記１つ又は複数の入力に基づいて前記第１のコンテンツを生成するように構成されている、請求項１に記載の装置。

【請求項9】

前記１つ又は複数のプロセッサが、
入力インターフェースを使用して１つ又は複数の入力を受信するように構成されており、前記第２のコンテンツを生成するために、前記１つ又は複数のプロセッサが、前記１つ又は複数の入力に基づいて前記第２のコンテンツを生成するように構成されている、請求項１に記載の装置。

【請求項10】

前記１つ又は複数のプロセッサが、結合解除状態から結合状態への遷移の指示を受信するように構成されており、前記装置が、前記結合状態で前記ヘッドマウント装置に結合され、前記装置が、前記結合解除状態で前記ヘッドマウント装置から結合解除され、
前記第２のコンテンツを前記ヘッドマウント装置に送信するために、前記１つ又は複数のプロセッサが、前記指示を受信したことに応じて、前記第２のコンテンツを前記ヘッドマウント装置に送信するように構成されている、請求項１に記載の装置。

【請求項11】

前記１つ又は複数のプロセッサが、
前記第２のコンテンツを前記ヘッドマウント装置に送信したことに応じて、結合状態から結合解除状態への遷移の指示を受信するように構成されており、前記装置が、前記結合状態で前記ヘッドマウント装置に結合され、前記装置が、前記結合解除状態で前記ヘッドマウント装置から結合解除され、前記第２のコンテンツを前記ヘッドマウント装置に送信するために、前記１つ又は複数のプロセッサが、前記指示を受信する前に前記第２のコンテンツを前記ヘッドマウント装置に送信するように構成されている、請求項１に記載の装置。

【請求項12】

前記１つ又は複数のプロセッサが、
コンテンツ切り替え入力を受信し、
前記コンテンツ切り替え入力の受信に応じて、前記第１のディスプレイを使用して前記第２のコンテンツを表示させ、
前記コンテンツ切り替え入力の受信に応じて、前記ヘッドマウント装置の前記第２のディスプレイによって表示される前記第１のコンテンツを前記ヘッドマウント装置に送信する、
ように構成されている、請求項１に記載の装置。

【請求項13】

前記第１のコンテンツが、前記ソフトウェアアプリケーションのソフトウェアアプリケーションタイプに関連付けられた第１のメディア要素の第１のビューを表し、前記第２のコンテンツが、前記ソフトウェアアプリケーションの前記ソフトウェアアプリケーションタイプに関連付けられた前記第１のメディア要素又は第２のメディア要素の第２のビューを表し、前記ソフトウェアアプリケーションタイプが、ビデオゲーム、メディアビューア、イラストレーションツール、メディアエディタ、ブラウザ、対話式環境、又は通信プラットフォームのうちの少なくとも１つを含む、請求項１に記載の装置。

【請求項14】

前記第１のコンテンツを表示するように構成された前記第１のディスプレイ
を更に備える、請求項１に記載の装置。

【請求項15】

前記第１のディスプレイが、タッチスクリーンディスプレイである、請求項１に記載の装置。

【請求項16】

前記装置が、モバイルハンドセット及びワイヤレス通信デバイスのうちの少なくとも１つを含む、請求項１に記載の装置。

【請求項17】

エクステンデッドリアリティ（ＸＲ）用のデバイス相互運用性の方法であって、
装置のソフトウェアアプリケーションを使用して、前記装置の第１のディスプレイを使用して表示される第１のコンテンツを生成することと、
前記装置の前記第１のディスプレイを使用して前記第１のコンテンツを表示させることと、
前記装置の前記ソフトウェアアプリケーションを使用して、前記第１のコンテンツに基づいて第２のコンテンツを生成することであって、前記第２のコンテンツが前記第１のコンテンツとは別個である、生成することと、
前記第２のコンテンツを前記装置からヘッドマウント装置に少なくとも部分的に送信することによって、前記ヘッドマウント装置の第２のディスプレイを使用して前記第２のコンテンツを表示させることと、
を含む、方法。

【請求項18】

前記装置及び前記ヘッドマウント装置が、両方ともユーザに関連付けられ、異なるデバイスタイプである、請求項１７に記載の方法。

【請求項19】

前記装置の前記第１のディスプレイ及び前記ヘッドマウント装置の前記第２のディスプレイが、異なるディスプレイタイプである、請求項１７に記載の方法。

【請求項20】

前記ヘッドマウント装置の前記第２のディスプレイが、光透過性ディスプレイ又は３次元ディスプレイのうちの少なくとも１つを含む、請求項１９に記載の方法。

【請求項21】

前記第１のコンテンツが、要素の第１のビューを含み、前記第２のコンテンツが、前記要素の第２のビューを含み、前記第１のビューが前記第２のビューとは別個である、請求項１７に記載の方法。

【請求項22】

前記第１のコンテンツが、要素の２次元（２Ｄ）ビューを含み、前記第２のコンテンツが、前記要素の３次元（３Ｄ）ビューを含む、請求項１７に記載の方法。

【請求項23】

前記第１のコンテンツが、要素の３次元（３Ｄ）ビューを含み、前記第２のコンテンツが、前記要素の２次元（２Ｄ）ビューを含む、請求項１７に記載の方法。

【請求項24】

入力インターフェースを使用して１つ又は複数の入力を受信することを更に含み、前記第１のコンテンツを生成することが、前記１つ又は複数の入力に基づく、請求項１７に記載の方法。

【請求項25】

入力インターフェースを使用して１つ又は複数の入力を受信することを更に含み、前記第２のコンテンツを生成することが、前記１つ又は複数の入力に基づく、請求項１７に記載の方法。

【請求項26】

結合解除状態から結合状態への遷移の指示を受信することを更に含み、前記装置が、前記結合状態で前記ヘッドマウント装置に結合され、前記装置が、前記結合解除状態で前記ヘッドマウント装置から結合解除され、前記第２のコンテンツを前記ヘッドマウント装置に送信することが、前記指示を受信したことに応じて実行される、請求項１７に記載の方法。

【請求項27】

前記第２のコンテンツを前記ヘッドマウント装置に送信したことに応じて、結合状態から結合解除状態への遷移の指示を受信することを更に含み、前記装置が、前記結合状態で前記ヘッドマウント装置に結合され、前記装置が、前記結合解除状態で前記ヘッドマウント装置から結合解除され、前記第２のコンテンツを前記ヘッドマウント装置に送信することが、前記指示を受信する前に実行される、請求項１７に記載の方法。

【請求項28】

コンテンツ切り替え入力を受信することと、
前記コンテンツ切り替え入力の受信に応じて、前記装置の前記第１のディスプレイを使用して前記第２のコンテンツを表示させることと、
前記コンテンツ切り替え入力の受信に応じて、前記ヘッドマウント装置の前記第２のディスプレイによって表示される前記第１のコンテンツを前記装置から前記ヘッドマウント装置に送信することと、
を更に含む、請求項１７に記載の方法。

【請求項29】

前記第１のコンテンツが、前記ソフトウェアアプリケーションのソフトウェアアプリケーションタイプに関連付けられた第１のメディア要素の第１のビューを表し、前記第２のコンテンツが、前記ソフトウェアアプリケーションの前記ソフトウェアアプリケーションタイプに関連付けられた前記第１のメディア要素又は第２のメディア要素の第２のビューを表し、前記ソフトウェアアプリケーションタイプが、ビデオゲーム、メディアビューア、イラストレーションツール、メディアエディタ、ブラウザ、対話式環境、又は通信プラットフォームのうちの少なくとも１つを含む、請求項１７に記載の方法。

【請求項30】

前記方法が、前記装置によって実行され、前記装置が、前記第１のコンテンツを表示するように構成された前記第１のディスプレイを含む、請求項１７に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、エクステンデッドリアリティ（ＸＲ）システムにおけるデバイス間の相互運用性に関する。より具体的には、本出願は、装置のディスプレイを使用して表示される第１のコンテンツを生成し、ヘッドマウント装置の第２のディスプレイを使用して表示される第２のコンテンツを生成及び送信する装置を使用するシステム及び方法に関する。

【背景技術】

【0002】

エクステンデッドリアリティ（ＸＲ）デバイスは、例えば、ヘッドマウントディスプレイ（ＨＭＤ）又はモバイルハンドセットを通して、環境をユーザに表示するデバイスである。環境は、ユーザがいる現実世界の環境とは少なくとも部分的に異なる。ユーザは、一般に、例えば、ＨＭＤ又は他のデバイスを傾けるか又は移動させることによって、環境のビューを対話式に変更することができる。仮想現実（ＶＲ）及び拡張現実（ＡＲ）は、ＸＲの例である。いくつかの実施例では、コントローラ又は別の装置などの、ＸＲデバイスと対話するか又はＸＲデバイスを拡張するデバイスはまた、ＸＲデバイスと呼ばれることがある。

【発明の概要】

【0003】

いくつかの実施例では、装置（例えば、モバイルハンドセット、ウェアラブルデバイス、及び／又はＸＲデバイス）とヘッドマウント装置（例えば、ヘッドマウントディスプレイ、一対のスマートグラス、及び／又はＸＲデバイス）との間のエクステンデッドリアリティ（ＸＲ）用のデバイス相互運用性のためのシステム及び技法について説明する。装置は、ソフトウェアアプリケーションを実行する。装置は、ソフトウェアアプリケーションを使用して、装置の第１のディスプレイを使用して表示される第１のコンテンツを生成する。装置は、装置の第１のディスプレイを使用して第１のコンテンツを表示させる。装置は、ソフトウェアアプリケーションを使用して、第１のコンテンツに基づいて、第１のコンテンツとは別個である第２のコンテンツを生成する。第２のコンテンツは、ヘッドマウント装置の第２のディスプレイを使用して表示されるように構成される。装置は、第２のコンテンツをヘッドマウント装置に少なくとも部分的に送信することによって、ヘッドマウント装置の第２のディスプレイを使用して第２のコンテンツを表示させる。いくつかの実施例では、装置及びヘッドマウント装置は、異なるデバイスタイプである。例えば、例示的な実施例では、装置は、モバイルハンドセットであり、ヘッドマウント装置は、ヘッドマウントディスプレイである。いくつかの実施例では、装置の第１のディスプレイ及びヘッドマウント装置の第２のディスプレイは、異なるディスプレイタイプである。例えば、例示的な実施例では、ヘッドマウント装置の第２のディスプレイは、環境からの光が第２のディスプレイを通過することを可能にする光透過性ディスプレイであるが、装置の第１のディスプレイは、光透過性ではない。いくつかの実施例では、装置及びヘッドマウント装置は、両方とも同じユーザに関連付けられる。例えば、装置及びヘッドマウント装置は、両方とも第１のコンテンツ及び第２のコンテンツがそれぞれのデバイスのそれぞれのディスプレイを使用して生成及び／又は表示される期間中に同じユーザによって使用され得る。

【0004】

少なくとも１つの実施例によれば、（例えば、仮想コンテンツデータ、１つ又は複数の画像などのデータを記憶するように構成された）メモリと、メモリに結合された（例えば、回路内に実装された）１つ又は複数のプロセッサとを含む、装置が提供される。１つ又は複数のプロセッサは、ソフトウェアアプリケーションを使用して、装置の第１のディスプレイを使用して表示される第１のコンテンツを生成し、装置の第１のディスプレイを使用して第１のコンテンツを表示させ、ソフトウェアアプリケーションを使用して、第１のコンテンツに基づいて第２のコンテンツを生成し、第２のコンテンツが第１のコンテンツとは別個であり、第２のコンテンツをヘッドマウント装置に少なくとも部分的に送信することによって、第２のコンテンツをヘッドマウント装置の第２のディスプレイを使用して表示させる、ように構成され、及びそのようにすることができる。

【0005】

別の実施例では、エクステンデッドリアリティ（ＸＲ）用のデバイス相互運用性のための方法が提供される。方法は、装置のソフトウェアアプリケーションを使用して、装置の第１のディスプレイを使用して表示される第１のコンテンツを生成することと、装置の第１のディスプレイを使用して第１のコンテンツを表示させることと、第１のＸＲシステムのソフトウェアアプリケーションを使用して、第１のコンテンツに基づいて第２のコンテンツを生成することであって、第２のコンテンツが第１のコンテンツとは別個である、生成することと、第２のコンテンツを装置からヘッドマウント装置に少なくとも部分的に送信することによって、ヘッドマウント装置の第２のディスプレイを使用して第２のコンテンツを表示させることと、を含む。

【0006】

別の実施例では、命令を記憶した装置の非一時的コンピュータ可読媒体が提供され、命令は、装置の１つ又は複数のプロセッサによって実行されると、１つ又は複数のプロセッサに、装置のソフトウェアアプリケーションを使用して、第１のディスプレイを使用して表示される第１のコンテンツを生成させ、装置の第１のディスプレイを使用して第１のコンテンツを表示させ、装置のソフトウェアアプリケーションを使用して、第１のコンテンツに基づいて第２のコンテンツを生成させ、第２のコンテンツが第１のコンテンツとは別個であり、第２のコンテンツを装置からヘッドマウント装置に少なくとも部分的に送信することによって、第２のコンテンツをヘッドマウント装置の第２のディスプレイを使用して表示させる。

【0007】

別の実施例では、エクステンデッドリアリティ（ＸＲ）用のデバイス相互運用性のための装置が提供される。装置は、装置のソフトウェアアプリケーションを使用して、装置の第１のディスプレイを使用して表示される第１のコンテンツを生成する手段と、装置の第１のディスプレイを使用して第１のコンテンツを表示させる手段と、装置のソフトウェアアプリケーションを使用して、第１のコンテンツに基づいて第２のコンテンツを生成する手段であって、第２のコンテンツが第１のコンテンツとは別個である、手段と、第２のコンテンツを装置からヘッドマウント装置に少なくとも部分的に送信することによって、第２のコンテンツをヘッドマウント装置の第２のディスプレイによって表示させる手段と、を含む。

【0008】

いくつかの態様では、装置は、ウェアラブルデバイス、エクステンデッドリアリティデバイス（例えば、仮想現実（virtual reality、ＶＲ）デバイス、拡張現実（augmented reality、ＡＲ）デバイス、又は複合現実（mixed reality、ＭＲ）デバイス）、ヘッドマウントディスプレイ（ＨＭＤ）デバイス、ワイヤレス通信デバイス、モバイルデバイス（例えば、携帯電話及び／若しくはモバイルハンドセット並びに／又はいわゆる「スマートフォン」又は他のモバイルデバイス）、カメラ、パーソナルコンピュータ、ラップトップコンピュータ、サーバコンピュータ、車両若しくは車両のコンピューティングデバイス若しくは構成要素、別のデバイス、あるいはそれらの組み合わせであり、それらの一部であり、かつ／又はそれらを含む。いくつかの態様では、装置は、１つ又は複数の画像を捕捉するための１つのカメラ又は複数のカメラを含む。いくつかの態様では、装置は、１つ若しくは複数の画像、通知、及び／又は他の表示可能なデータを表示するためのディスプレイを更に含む。いくつかの態様では、上記で説明した装置は、１つ若しくは複数のセンサ（例えば、１つ若しくは複数のジャイロメータ、１つ若しくは複数の加速度計、それらの任意の組み合わせ、及び／又は他のセンサなどの、１つ若しくは複数の慣性測定ユニット（inertial measurement units、ＩＭＵｓ）を含み得る。

【0009】

本概要では、特許請求される主題の主要な又は必須の特徴を特定することは意図されず、特許請求される主題の範囲を決定するために独立して使用されることも意図されない。本主題は、この特許の明細書全体、いずれか又は全ての図面、及び各請求項の適切な部分を参照することによって理解されるはずである。

【0010】

上記のことは、他の特徴および実施形態とともに、以下の明細書、特許請求の範囲、および添付図面を参照すると、より明らかになろう。

【0011】

本出願の例示的な実施形態について、以下の図面を参照して以下で詳細に説明する。

【図面の簡単な説明】

【0012】

【図1】いくつかの実施例による、画像捕捉及び処理システムの例示的なアーキテクチャを示すブロック図である。

【図2】いくつかの実施例による、ヘッドマウント装置に通信可能に結合され、ヘッドマウント装置用のコンテンツを生成する装置を有するエクステンデッドリアリティ（ＸＲ）システムの例示的なアーキテクチャを示すブロック図である。

【図3A】いくつかの実施例による、エクステンデッドリアリティ（ＸＲ）システムの少なくとも一部として使用されるヘッドマウントディスプレイ（ＨＭＤ）を示す斜視図である。

【図3B】いくつかの実施例による、ユーザによって装着されている図３Ａのヘッドマウントディスプレイ（ＨＭＤ）を示す斜視図である。

【図4A】いくつかの実施例による、前向きカメラを含み、エクステンデッドリアリティ（ＸＲ）システムの少なくとも一部として使用され得るモバイルハンドセットの前面を示す斜視図である。

【図4B】いくつかの実施例による、後向きカメラを含む、図４Ａのモバイルハンドセットの背面を示す斜視図である。

【図5】いくつかの実施例による、第１のコンテンツを表示し、第２のコンテンツを表示するヘッドマウント装置に第２のコンテンツを送信する装置を示す概念図であり、第１のコンテンツ及び第２のコンテンツは、装置上で実行しているレシピアプリからのレシピに対応する。

【図6】いくつかの実施例による、第１のコンテンツを表示し、第２のコンテンツを表示するヘッドマウント装置に第２のコンテンツを送信する装置を示す概念図であり、第１のコンテンツ及び第２のコンテンツは、装置上で実行しているメディアアセットビューアアプリからの少なくとも選択されたメディアアセットに対応する。

【図7】いくつかの実施例による、第１のコンテンツを表示し、第２のコンテンツを表示するヘッドマウント装置に第２のコンテンツを送信する装置を示す概念図であり、第１のコンテンツ及び第２のコンテンツは、装置上で実行しているメディアアセットビューアアプリからのメディアアセットに対応する。

【図8】いくつかの実施例による、第１のコンテンツを表示し、第２のコンテンツを表示するヘッドマウント装置に第２のコンテンツを送信する装置を示す概念図であり、第１のコンテンツ及び第２のコンテンツは、装置上で実行しているイラストレーションツールからのイラストレーションに対応する。

【図9】いくつかの実施例による、第１のコンテンツを表示し、第２のコンテンツを表示するヘッドマウント装置に第２のコンテンツを送信する装置を示す概念図であり、第１のコンテンツ及び第２のコンテンツは、装置上で実行している車両レースを伴うビデオゲームからの環境に対応する。

【図10】いくつかの実施例による、第１のコンテンツを表示し、第２のコンテンツを表示するヘッドマウント装置に第２のコンテンツを送信する装置を示す概念図であり、第１のコンテンツ及び第２のコンテンツは、装置上で実行しているバルーンの射撃を伴うビデオゲームからの環境に対応する。

【図11】いくつかの実施例による、装置とヘッドマウント装置との間の相互運用性のためのプロセスを示すスイムレーン図である。

【図12】いくつかの実施例による、エクステンデッドリアリティ（ＸＲ）用のデバイス相互運用性のためのプロセスを示すフロー図である。

【図13】本明細書で説明するいくつかの態様を実装するためのコンピューティングシステムの一例を示す図である。

【発明を実施するための形態】

【0013】

本開示の特定の態様及び実施形態が、以下で提供される。当業者に明らかになるように、これらの態様及び実施形態のうちのいくつかが独立して適用されてもよく、それらのうちのいくつかは組み合わせて適用されてもよい。以下の説明では、説明目的で、本出願の実施形態の完全な理解をもたらすために具体的な詳細が記載される。しかしながら、様々な実施形態がこれらの具体的な詳細なしに実践され得ることは明らかであろう。図及び説明は限定的であることが意図されていない。

【0014】

以下の説明は、例示的な実施形態を提供するにすぎず、本開示の範囲、適用可能性、又は構成を限定することを意図しない。むしろ、例示的な実施形態の以下の説明は、例示的な実施形態を実装することを可能にする説明を当業者に提供する。添付の特許請求の範囲に記載されるような本出願の趣旨及び範囲から逸脱することなく、要素の機能及び構成において様々な変更が加えられてよいことを理解されたい。

【0015】

カメラは、画像センサを使用して、光を受け入れるとともに静止画像又はビデオフレームなどの画像フレームを捕捉するデバイスである。「画像」、「画像フレーム」、及び「フレーム」という用語は、本明細書では互換的に使用される。カメラは、様々な画像捕捉及び画像処理設定を用いて構成され得る。異なる設定は、外観の異なる画像をもたらす。ＩＳＯ、露光時間、開口サイズ、Ｆ／ストップ、シャッタ速度、焦点、及び利得などのいくつかのカメラ設定は、１つ又は複数の画像フレームの捕捉の前又はその間に決定されて適用される。例えば、設定又はパラメータは、１つ又は複数の画像フレームを捕捉するための画像センサに適用され得る。コントラスト、明るさ、飽和度、鮮明さ、レベル、曲線、又は色の変更などの他のカメラ設定は、１つ又は複数の画像フレームの後処理を構成し得る。例えば、設定又はパラメータは、画像センサによって捕捉された１つ又は複数の画像フレームを処理するためのプロセッサ（例えば、画像信号プロセッサ又はＩＳＰ）に適用され得る。

【0016】

エクステンデッドリアリティ（ＸＲ）システム又はデバイスは、仮想コンテンツをユーザに提供することができ、及び／又はＸＲ体験をユーザに提供するために、現実世界又は物理環境と（仮想コンテンツで構成された）仮想環境とを組み合わせることができる。現実世界環境は、人、車両、建物、テーブル、椅子、及び／又は他の現実世界若しくは物理オブジェクトなどの現実世界オブジェクト（物理オブジェクトとも呼ばれる）を含み得る。ＸＲシステム又はデバイスは、異なるタイプのＸＲ環境との対話を容易にすることができる（例えば、ユーザは、ＸＲシステム又はデバイスを使用してＸＲ環境と対話することができる）。ＸＲシステムは、仮想現実（ＶＲ）環境との対話を容易にするＶＲシステム、拡張現実（ＡＲ）環境との対話を容易にするＡＲシステム、複合現実（ＭＲ）環境との対話を容易にするＭＲシステム、及び／又は他のＸＲシステムを含み得る。ＸＲシステム又はデバイスの例は、特に、ヘッドマウントディスプレイ（ＨＭＤｓ）、スマートグラスを含む。場合によっては、ＸＲシステムは、ユーザが仮想コンテンツのアイテムと対話することを可能にするためにユーザの部分（例えば、ユーザの手及び／又は指先）を追跡することができる。

【0017】

エクステンデッドリアリティ（ＸＲ）デバイスは、例えば、ヘッドマウントディスプレイ（ＨＭＤ）又はモバイルハンドセットを通して、環境をユーザに表示するデバイスである。環境は、ユーザがいる現実世界の環境とは少なくとも部分的に異なる。ユーザは、一般に、例えば、ＨＭＤ又は他のデバイスを傾けるか又は移動させることによって、環境のビューを対話式に変更することができる。仮想現実（ＶＲ）及び拡張現実（ＡＲ）は、ＸＲの例である。コントローラなどの、ＸＲデバイスと対話するか又はＸＲデバイスを拡張するデバイスはまた、ＸＲデバイスと呼ばれることがある。

【0018】

いくつかの実施例では、装置（例えば、モバイルハンドセット、ウェアラブルデバイス、及び／又はＸＲデバイス）とヘッドマウント装置（例えば、ヘッドマウントディスプレイ、一対のスマートグラス、及び／又はＸＲデバイス）との間のエクステンデッドリアリティ（ＸＲ）用のデバイス相互運用性のためのシステム及び技法について説明する。装置は、ビデオゲーム、メディアビューア、イラストレーションツール、メディアエディタ、ブラウザ、対話式環境、通信プラットフォーム、又はそれらの組み合わせなどのソフトウェアアプリケーションを実行する。装置は、ソフトウェアアプリケーションを使用して、装置の第１のディスプレイを使用して表示される第１のコンテンツを生成する。装置は、装置の第１のディスプレイを使用して第１のコンテンツを表示させる。装置は、ソフトウェアアプリケーションを使用して、第１のコンテンツに基づいて、第１のコンテンツとは別個であり、かつヘッドマウント装置の第２のディスプレイを使用して表示される第２のコンテンツを生成する。装置は、第２のコンテンツをヘッドマウント装置に少なくとも部分的に送信することによって、ヘッドマウント装置の第２のディスプレイによって第２のコンテンツを表示させる。いくつかの実施例では、装置及びヘッドマウント装置は、異なるデバイスタイプである。例えば、例示的な実施例では、装置は、モバイルハンドセットであり、ヘッドマウント装置は、ヘッドマウントディスプレイである。いくつかの実施例では、装置の第１のディスプレイ及びヘッドマウント装置の第２のディスプレイは、異なるディスプレイタイプである。例えば、例示的な実施例では、ヘッドマウント装置の第２のディスプレイは、環境からの光が第２のディスプレイを通過することを可能にする光透過性ディスプレイであるが、装置の第１のディスプレイは、光透過性ではない。いくつかの実施例では、装置及びヘッドマウント装置は、両方とも同じユーザに関連付けられる。例えば、装置及びヘッドマウント装置は、両方とも第１のコンテンツ及び第２のコンテンツがそれぞれのデバイスのそれぞれのディスプレイを使用して生成及び／又は表示される期間中に、同じユーザによって使用され得る。

【0019】

本明細書で説明するＸＲ用のデバイス相互運用性のためのシステム及び技法は、従来のＸＲ技術及びディスプレイ技術を上回る多数の技術的利点及び利益を提供する。例えば、本明細書で説明するＸＲデバイス相互運用性のためのシステム及び技法は、ヘッドマウント装置ではなく装置において第２のコンテンツを生成することによって、ヘッドマウント装置のバッテリ寿命を延ばし、ヘッドマウント装置のプロセッサ上の計算負荷を低減し、ヘッドマウント装置によって生成される熱を低減し、及び／又はヘッドマウント装置内の熱放散構成要素の必要性を低減することができる。加えて、本明細書で説明するＸＲ用のデバイス相互運用性のためのシステム及び技法は、ヘッドマウント装置ではなく装置において第１のコンテンツと第２のコンテンツの両方を生成することによって、第１のコンテンツ及び第２のコンテンツ内の要素（単数又は複数）（例えば、共有要素又は他の要素）の表現（単数又は複数）が一致し、協調し、及び／又は同期される（例えば、時間的に同期される）ことを確実にすることができる。（例えば、装置のタッチスクリーン又はボタン又は他の入力インターフェースを通して）装置において受信された任意の入力は、入力が装置からヘッドマウント装置に転送されなければならないことに起因するいかなる遅延も伴うことなく、同時に第１のコンテンツ及び第２のコンテンツの両方に対する効果を直ちに生成することができ、デバイス相互運用性をより応答性にする。更に、本明細書で説明するＸＲ用のデバイス相互運用性のためのシステム及び技法は、ヘッドマウント装置ではなく装置において第１のコンテンツ及び第２のコンテンツの両方を生成することによって、第１のコンテンツ及び第２のコンテンツを生成するための基礎として使用される機密情報（例えば、クレジットカード番号、バイオメトリックデータ）へのアクセスを装置のみがアクセス可能であるように（例えば、ヘッドマウント装置がアクセスできないように）制限し、かつそのような機密情報を潜在的に脆弱な有線又はワイヤレス接続を介して送信する必要性を制限又は排除することによって、セキュリティを改善することができる。このように、本明細書で説明するＸＲ用のデバイス相互運用性のためのシステム及び技法は、従来のＸＲ技術及び従来のディスプレイ技術よりも効率的であり、より正確であり、より同期され、より応答性が高く、より安全である。

【0020】

適用例の様々な態様が、図に関して説明される。図１は、画像捕捉及び処理システム１００のアーキテクチャを示すブロック図である。画像捕捉及び処理システム１００は、場面の画像（例えば、場面１１０の画像）を捕捉して処理するために使用される様々な構成要素を含む。画像捕捉及び処理システム１００は、スタンドアロン画像（又は写真）を捕捉することができ、かつ／又は、特定の順序で複数の画像（又はビデオフレーム）を含むビデオを捕捉することができる。システム１００のレンズ１１５は、場面１１０に面し、場面１１０から光を受け入れる。レンズ１１５は、画像センサ１３０に向かって光を曲げる。レンズ１１５によって受けられた光は、１つ又は複数の制御機構１２０によって制御される開口を通過し、画像センサ１３０によって受けられる。

【0021】

１つ若しくは複数の制御機構１２０は、画像センサ１３０からの情報に基づいて、かつ／又は画像プロセッサ１５０からの情報に基づいて、露光、焦点、及び／又はズームを制御し得る。１つ又は複数の制御機構１２０は、複数の機構及び構成要素を含み得る。例えば、制御機構１２０は、１つ若しくは複数の露光制御機構１２５Ａ、１つ若しくは複数の焦点制御機構１２５Ｂ、及び／又は１つ若しくは複数のズーム制御機構１２５Ｃを含み得る。１つ又は複数の制御機構１２０は、アナログ利得、フラッシュ、ＨＤＲ、被写界深度、及び／又は他の画像捕捉特性を制御する制御機構などの、示されるもの以外の追加の制御機構を含んでもよい。

【0022】

制御機構１２０の焦点制御機構１２５Ｂは、焦点設定を取得することができる。いくつかの実施例では、焦点制御機構１２５Ｂは、メモリレジスタ内に焦点設定を記憶する。焦点設定に基づいて、焦点制御機構１２５Ｂは、画像センサ１３０の位置に対してレンズ１１５の位置を調整することができる。例えば、焦点設定に基づいて、焦点制御機構１２５Ｂは、モータ又はサーボを作動させることによって画像センサ１３０のより近く又は画像センサ１３０からより遠くにレンズ１１５を動かし、それによって、焦点を調整することができる。場合によっては、画像センサ１３０の各フォトダイオードの上方の１つ以上のマイクロレンズなどの追加のレンズがシステム１００の中に含まれてよく、それらは各々、光がフォトダイオードに到達する前に、レンズ１１５から受けられる光を対応するフォトダイオードに向かって曲げる。焦点設定は、コントラスト検出自動焦点（contrast detection autofocus、ＣＤＡＦ）、位相検出自動焦点（ＰＤＡＦ）、又はそれらの何らかの組み合わせを介して決定されてよい。焦点設定は、制御機構１２０、画像センサ１３０、及び／又は画像プロセッサ１５０を使用して決定されてよい。焦点設定は、画像捕捉設定及び／又は画像処理設定と呼ばれることがある。

【0023】

制御機構１２０の露光制御機構１２５Ａは、露光設定を取得することができる。場合によっては、露光制御機構１２５Ａは、メモリレジスタ内に露光設定を記憶する。この露光設定に基づいて、露光制御機構１２５Ａは、開口のサイズ（例えば、開口サイズ又はＦ／ストップ）、開口が開放されている持続時間（例えば、露光時間又はシャッタ速度）、画像センサ１３０の感度（例えば、ＩＳＯ速度又はフィルム速度）、画像センサ１３０によって適用されるアナログ利得、又はそれらの任意の組み合わせを制御することができる。露光設定は、画像捕捉設定及び／又は画像処理設定と呼ばれることがある。

【0024】

制御機構１２０のズーム制御機構１２５Ｃは、ズーム設定を取得することができる。いくつかの実施例では、ズーム制御機構１２５Ｃは、メモリレジスタ内にズーム設定を記憶する。ズーム設定に基づいて、ズーム制御機構１２５Ｃは、レンズ１１５及び１つ又は複数の追加のレンズを含むレンズ要素の組立体（レンズ組立体）の焦点距離を制御することができる。例えば、ズーム制御機構１２５Ｃは、１つ又は複数のモータ又はサーボを作動させてレンズのうちの１つ又は複数を互いに対して移動させることによって、レンズ組立体の焦点距離を制御することができる。ズーム設定は、画像捕捉設定及び／又は画像処理設定と呼ばれることがある。いくつかの実施例では、レンズ組立体は、同焦点ズームレンズ又は可変焦点ズームレンズを含んでよい。いくつかの実施例では、レンズ組立体は、場面１１０から光を最初に受け入れる（場合によっては、レンズ１１５であり得る）集束レンズを含んでよく、次いで、光が画像センサ１３０に到達する前に、集束レンズ（例えば、レンズ１１５）と画像センサ１３０との間の無限焦点ズームシステムを光が通過する。場合によっては、無限焦点ズームシステムは、等しいか又は類似の焦点距離（例えば、閾値差内）の２つの正の（例えば、収束、凸）レンズを、それらの間の負の（例えば、発散、凹）レンズとともに含んでよい。場合によっては、ズーム制御機構１２５Ｃは、負のレンズ、及び正のレンズのうちの一方又は両方などの、無限焦点ズームシステムの中のレンズのうちの１つ又は複数を動かす。

【0025】

画像センサ１３０は、フォトダイオード又は他の感光素子の１つ以上のアレイを含む。各フォトダイオードは、画像センサ１３０によって生み出される画像の中の特定の画素に最終的には対応する光の量を測定する。場合によっては、異なるフォトダイオードは、異なるカラーフィルタによって覆われてよく、したがって、フォトダイオードを覆うフィルタの色に整合する光を測定してよい。例えば、ベイヤーカラーフィルタは、赤のカラーフィルタ、青のカラーフィルタ、及び緑のカラーフィルタを含み、画像の各画素は、赤のカラーフィルタで覆われる少なくとも１つのフォトダイオードからの赤い光のデータ、青のカラーフィルタで覆われる少なくとも１つのフォトダイオードからの青い光のデータ、及び緑のカラーフィルタで覆われる少なくとも１つのフォトダイオードからの緑色の光のデータに基づいて生成される。他のタイプの色フィルタは、赤色、青色、及び／又は緑色フィルタの代わりに、又はそれらに加えて、黄色、マゼンダ、及び／又はシアン（「エメラルド」とも呼ばれる）色フィルタを使用してよい。いくつかの画像センサは、カラーフィルタが完全になくてよく、代わりに、ピクセルアレイ全体にわたって（場合によっては、垂直方向に積層された）異なるフォトダイオードを使用してもよい。ピクセルアレイ全体にわたる異なるフォトダイオードは、異なるスペクトル感度曲線を有することができ、したがって、光の異なる波長に応答する。モノクロ画像センサも色フィルタがなくてよく、したがって、色深度もなくてよい。

【0026】

場合によっては、画像センサ１３０は、代替又は追加として、ある時間において、かつ／又はいくつかの角度から、いくつかのフォトダイオード又はいくつかのフォトダイオードの部分に光が到達するのを阻止する不透明なかつ／又は反射性のマスクを含んでよく、それは位相検出自動焦点（ＰＤＡＦ）のために使用されてよい。画像センサ１３０はまた、フォトダイオードによって出力されたアナログ信号を増幅するためのアナログゲイン増幅器、並びに／又は、フォトダイオードから出力された（及び／若しくはアナログゲイン増幅器によって増幅された）アナログ信号をデジタル信号に変換するためのアナログデジタル変換器（ＡＤＣ）を含んでよい。場合によっては、その代わりに又は追加として、制御機構１２０のうちの１つ又は複数に関して論じるいくつかの構成要素又は機能が画像センサ１３０内に含まれてよい。画像センサ１３０は、電荷結合デバイス（charge-coupled device、ＣＣＤ）センサ、電子増倍ＣＣＤ（electron-multiplying CCD、ＥＭＣＣＤ）センサ、アクティブ画素センサ（active-pixel sensor、ＡＰＳ）、相補型金属酸化物半導体（complimentary metal-oxide semiconductor、ＣＭＯＳ）、ｎ型金属酸化物半導体（N-type metal-oxide-semiconductor、ＮＭＯＳ）、ハイブリッドＣＣＤ／ＣＭＯＳセンサ（例えば、ｓＣＭＯＳ）、又はそれらの何らかの他の組み合わせであってよい。

【0027】

画像プロセッサ１５０は、１つ若しくは複数の画像信号プロセッサ（image signal processors、ＩＳＰｓ）（ＩＳＰ１５４を含む）、１つ若しくは複数のホストプロセッサ（ホストプロセッサ１５２を含む）、及び／又はコンピューティングシステム１３００に関して論じる任意の他のタイプのプロセッサ１３１０のうちの１つ若しくは複数などの、１つ若しくは複数のプロセッサを含んでよい。ホストプロセッサ１５２は、デジタル信号プロセッサ（digital signal processor、ＤＳＰ）及び／又は他のタイプのプロセッサであり得る。いくつかの実装形態では、画像プロセッサ１５０は、ホストプロセッサ１５２及びＩＳＰ１５４を含む単一の集積回路又はチップ（例えば、システムオンチップ又はＳｏＣと呼ばれる）である。場合によっては、チップは、１つ若しくは複数の入力／出力ポート（例えば、入力／出力（input/output、Ｉ／Ｏ）ポート１５６）、中央処理ユニット（central processing units、ＣＰＵｓ）、グラフィックス処理ユニット（graphics processing units、ＧＰＵｓ）、ブロードバンドモデム（例えば、３Ｇ、４Ｇ又はＬＴＥ、５Ｇなど）、メモリ、接続性構成要素（例えば、Ｂｌｕｅｔｏｏｔｈ（商標）、全地球測位システム（Global Positioning System、ＧＰＳ）など）、それらの任意の組み合わせ、及び／又は他の構成要素を含んでもよい。Ｉ／Ｏポート１５６は、インターインテグレーテッドサーキット２（Inter-Integrated Circuit 2、Ｉ２Ｃ）インターフェース、インターインテグレーテッドサーキット３（Inter-Integrated Circuit 3、Ｉ３Ｃ）インターフェース、シリアル周辺インターフェース（Serial Peripheral Interface、ＳＰＩ）インターフェース、シリアル汎用入力／出力（General Purpose Input/Output、ＧＰＩＯ）インターフェース、モバイルインダストリプロセッサインターフェース（Mobile Industry Processor Interface、ＭＩＰＩ）（例えば、ＭＩＰＩ ＣＳＩ－２物理（physical、ＰＨＹ）層ポート若しくはインターフェースなど）、高度高性能バス（Advanced High-performance Bus、ＡＨＢ）バス、それらの任意の組み合わせ、及び／又は他の入力／出力ポートなどの、１つ若しくは複数のプロトコル又は仕様による、任意の好適な入力／出力ポート又はインターフェースを含み得る。１つの例示的な例では、ホストプロセッサ１５２は、Ｉ２Ｃポートを使用して画像センサ１３０と通信することができ、ＩＳＰ１５４は、ＭＩＰＩポートを使用して画像センサ１３０と通信することができる。

【0028】

画像プロセッサ１５０は、デモザイク処理、色空間変換、画像フレームダウンサンプリング、画素補間、自動露光（automatic exposure、ＡＥ）制御、自動利得制御（automatic gain control、ＡＧＣ）、ＣＤＡＦ、ＰＤＡＦ、自動ホワイトバランス、ＨＤＲ画像を形成するための画像フレームの統合、画像認識、対象物認識、特徴認識、入力の受け入れ、出力の管理、メモリの管理、又はこれらの何らかの組み合わせなどの、いくつかのタスクを実施してもよい。画像プロセッサ１５０は、画像フレーム及び／又は処理された画像を、ランダムアクセスメモリ（random access memory、ＲＡＭ）１４０及び／若しくは１３２０、読取り専用メモリ（read-only memory、ＲＯＭ）１４５及び／若しくは１３２５、キャッシュ、メモリユニット、別の記憶デバイス、又はそれらの何らかの組み合わせに記憶することができる。

【0029】

様々な入力／出力（Ｉ／Ｏ）デバイス１６０が、画像プロセッサ１５０に接続されてよい。Ｉ／Ｏデバイス１６０は、ディスプレイスクリーン、キーボード、キーパッド、タッチスクリーン、トラックパッド、タッチ感知画面、プリンタ、任意の他の出力デバイス１３３５、任意の他の入力デバイス１３４５、又はそれらの何らかの組み合わせを含み得る。場合によっては、Ｉ／Ｏデバイス１６０の物理キーボード若しくはキーパッドを通じて、又はＩ／Ｏデバイス１６０のタッチスクリーンの仮想キーボード若しくはキーパッドを通じて、キャプションが画像処理デバイス１０５Ｂに入力されてもよい。Ｉ／Ｏ１６０は、システム１００と１つ若しくは複数の周辺デバイスとの間の有線接続を可能にする、１つ若しくは複数のポート、ジャック、又は他のコネクタを含んでよく、システム１００は、それを介して、１つ若しくは複数の周辺デバイスからデータを受信してよく、かつ／又は１つ若しくは複数の周辺デバイスへデータを送信してよい。Ｉ／Ｏ１６０は、システム１００と１つ若しくは複数の周辺デバイスとの間のワイヤレス接続を可能にする、１つ若しくは複数のワイヤレストランシーバを含んでよく、システム１００は、それを介して、１つ若しくは複数の周辺デバイスからデータを受信してよく、かつ／又は１つ若しくは複数の周辺デバイスへデータを送信してよい。周辺デバイスは、前に説明したタイプのＩ／Ｏデバイス１６０のうちのいずれかを含んでよく、ポート、ジャック、ワイヤレストランシーバ、又は他の有線及び／若しくはワイヤレスのコネクタに結合されると、それら自体がＩ／Ｏデバイス１６０と見なされてよい。

【0030】

場合によっては、画像捕捉及び処理システム１００は、単一のデバイスであってもよい。場合によっては、画像捕捉及び処理システム１００は、画像捕捉デバイス１０５Ａ（例えば、カメラ）及び画像処理デバイス１０５Ｂ（例えば、カメラに結合されたコンピューティングデバイス）を含む、２つ以上の別々のデバイスであってもよい。いくつかの実装形態では、画像捕捉デバイス１０５Ａ及び画像処理デバイス１０５Ｂは、例えば、１つ若しくは複数のワイヤ、ケーブル、若しくは他の電気的なコネクタを介して、かつ／又は１つ若しくは複数のワイヤレストランシーバを介してワイヤレスに、結合されてよい。いくつかの実装形態では、画像捕捉デバイス１０５Ａ及び画像処理デバイス１０５Ｂは、互いから切り離されていてよい。

【0031】

図１に示すように、垂直の破線は、図１の画像捕捉及び処理システム１００を、画像捕捉デバイス１０５Ａ及び画像処理デバイス１０５Ｂをそれぞれ表す２つの部分へと分割する。画像捕捉デバイス１０５Ａは、レンズ１１５と、制御機構１２０と、画像センサ１３０とを含む。画像処理デバイス１０５Ｂは、画像プロセッサ１５０（ＩＳＰ１５４及びホストプロセッサ１５２を含む）と、ＲＡＭ１４０と、ＲＯＭ１４５と、Ｉ／Ｏ１６０とを含む。場合によっては、ＩＳＰ１５４及び／又はホストプロセッサ１５２などの、画像捕捉デバイス１０５Ａに示すいくつかの構成要素は、画像捕捉デバイス１０５Ａの中に含まれてよい。

【0032】

画像捕捉及び処理システム１００は、モバイル若しくは固定の電話ハンドセット（例えば、スマートフォン、携帯電話など）、デスクトップコンピュータ、ラップトップ若しくはノートブックコンピュータ、タブレットコンピュータ、セットトップボックス、テレビ、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲーミングコンソール、ビデオストリーミングデバイス、インターネットプロトコル（Internet Protocol、ＩＰ）カメラ、又は任意の他の好適な電子デバイスなどの、電子デバイスを含み得る。いくつかの実施例では、画像捕捉及び処理システム１００は、セルラーネットワーク通信、８０２．１１ ｗｉ－ｆｉ通信、ワイヤレスローカルエリアネットワーク（wireless local area network、ＷＬＡＮ）通信、又はこれらの何らかの組み合わせなどの、ワイヤレス通信のための１つ又は複数のワイヤレストランシーバを含み得る。いくつかの実装形態では、画像捕捉デバイス１０５Ａ及び画像処理デバイス１０５Ｂは、異なるデバイスであり得る。例えば、画像捕捉デバイス１０５Ａはカメラデバイスを含んでよく、画像処理デバイス１０５Ｂは、モバイルハンドセット、デスクトップコンピュータ、又は他のコンピューティングデバイスなどの、コンピューティングデバイスを含み得る。

【0033】

画像捕捉及び処理システム１００はいくつかの構成要素を含むものとして示されるが、画像捕捉及び処理システム１００は図１に示すものより多数の構成要素を含み得ることを、当業者は諒解されよう。画像捕捉及び処理システム１００の構成要素は、ソフトウェア、ハードウェア、又はソフトウェアとハードウェアの１つ又は複数の組み合わせを含み得る。例えば、いくつかの実装形態では、画像捕捉及び処理システム１００の構成要素は、１つ若しくは複数のプログラマブル電子回路（例えば、マイクロプロセッサ、ＧＰＵ、ＤＳＰ、ＣＰＵ、及び／又は他の適切な電子回路）を含み得る、電子回路若しくは他の電子ハードウェアを含んでよく、かつ／若しくはそれらを使用して実装されてよく、かつ／又は、本明細書において説明する様々な動作を実施するために、コンピュータソフトウェア、ファームウェア、又はこれらの任意の組み合わせを含んでよく、かつ／若しくはそれらを使用して実装されてよい。ソフトウェア及び／又はファームウェアは、コンピュータ可読記憶媒体上に記憶され、画像捕捉及び処理システム１００を実装する電子デバイスの１つ又は複数のプロセッサによって実行可能である、１つ又は複数の命令を含み得る。

【0034】

図２は、ヘッドマウント装置２５２に通信可能に結合され、ヘッドマウント装置用のコンテンツを生成する装置２０２を有するエクステンデッドリアリティ（ＸＲ）システム２００の例示的なアーキテクチャを示すブロック図である。ＸＲシステム２００は、装置２０２とヘッドマウント装置２５２とを含む。装置２０２は、１つ又は複数のコンピューティングシステム１３００の少なくとも一部（単数又は複数）を含み得る。ヘッドマウント装置２５２は、１つ又は複数のコンピューティングシステム１３００の少なくとも一部（単数又は複数）を含み得る。（図２に示されるような）例示的な実施例では、装置２０２は、モバイルハンドセット（例えば、モバイルハンドセット４１０）であり、ヘッドマウント装置２５２は、ヘッドマウントディスプレイ（ＨＭＤ）（例えば、ＨＭＤ３１０）である。第２の実施例では、装置２０２は、ＨＭＤ（例えば、ＨＭＤ３１０）であり、ヘッドマウント装置２５２は、モバイルハンドセット（例えば、モバイルハンドセット４１０）である。第３の実施例では、装置２０２は、モバイルハンドセット（例えば、モバイルハンドセット４１０）であり、ヘッドマウント装置２５２は、第２のモバイルハンドセット（例えば、モバイルハンドセット４１０）である。第４の実施例では、装置２０２は、ＨＭＤ（例えば、ＨＭＤ３１０）であり、ヘッドマウント装置２５２は、第２のＨＭＤ（例えば、ＨＭＤ３１０）である。本明細書で使用されるヘッドマウント装置及びヘッドマウントデバイスという用語は、装置２０２、ヘッドマウント装置２５２、モバイルハンドセット２０４、ＨＭＤ２５４、ＨＭＤ３１０、モバイルハンドセット４１０、装置５１０、ヘッドマウント装置５２０、装置１１０５、ヘッドマウント装置１１１０、コンピューティングシステム１３００、又はそれらの組み合わせに関して本明細書で図示及び／又は説明されるディスプレイ（単数若しくは複数）及び／又は他の要素を含み得る、眼鏡、コンタクトレンズ、単眼鏡、ゴーグル、ヘルメット、ヘッドバンド、及び／又は任意の他の形態のヘッドウェアを指すために使用され得る。

【0035】

装置２０２は、プロセッサ２０６を含む。プロセッサ２０６は、コンピューティングシステム１３００のプロセッサ１３１０の一例であり得る。装置２０２は、記憶デバイス２３６を含む。記憶デバイス２３６は、キャッシュ１３１２、メモリ１３１５、ＲＯＭ１３２０、ＲＡＭ１３２５、記憶デバイス１３３０、非一時的コンピュータ可読記憶媒体、又はそれらの組み合わせの一例であり得る。ヘッドマウント装置２５２は、プロセッサ２５６を含む。プロセッサ２５６は、コンピューティングシステム１３００のプロセッサ１３１０の一例であり得る。ヘッドマウント装置２５２は、記憶デバイス２７２を含む。記憶デバイス２７２は、キャッシュ１３１２、メモリ１３１５、ＲＯＭ１３２０、ＲＡＭ１３２５、記憶デバイス１３３０、非一時的コンピュータ可読記憶媒体、又はそれらの組み合わせの一例であり得る。

【0036】

装置２０２のプロセッサ２０６は、記憶デバイス２３６に記憶された命令を実行して、ソフトウェアアプリケーション２０８を実行することができる。ソフトウェアアプリケーション２０８のいくつかの実施例は、ブラウザ、レシピアプリ（例えば、レシピアプリ５４０）、メディアアセットビューアアプリ（例えば、メディアアセットビューアアプリ６４０）、イラストレーションツール（例えば、イラストレーションツール８４０）、ビデオゲーム（例えば、ビデオゲーム９４０、ビデオゲーム１０４０）、本明細書で説明する別のタイプのソフトウェアアプリケーション、又はそれらの組み合わせを含み得る。ソフトウェアアプリケーション２０８、及び／又はプロセッサ２０６を使用して実行する他のソフトウェアは、入力インタープリタ２１０、第１のコンテンツ生成器２１２、第２のコンテンツ生成器２１４、及び／又は表示フォーマットのための画像プロセッサ２１６を含み得る。ヘッドマウント装置２５２のプロセッサ２５６は、記憶デバイス２７２に記憶された命令を実行して、１つ又は複数のソフトウェアアプリケーションを実行することができ、ソフトウェアアプリケーションは、入力インタープリタ２５７及び／又は表示フォーマットのための画像プロセッサ２５８を含み得る。

【0037】

装置２０２は、１つ又は複数のセンサ２１８を含む。ヘッドマウント装置２５２は、１つ又は複数のセンサ２６０を含む。センサ（単数若しくは複数）２１８及び／又はセンサ（単数若しくは複数）２６０には各々、１つ若しくは複数のカメラ、１つ若しくは複数の画像センサ、１つ若しくは複数のマイクロフォン、１つ若しくは複数の心拍数モニタ、１つ若しくは複数のオキシメータ、１つ若しくは複数のバイオメトリックセンサ、１つ若しくは複数の測位受信機、１つ若しくは複数の全地球的航法衛星システム（ＧＮＳＳ）受信機、１つ若しくは複数の慣性測定ユニット（ＩＭＵｓ）、１つ若しくは複数の加速度計、１つ若しくは複数のジャイロスコープ、１つ若しくは複数の気圧計、１つ若しくは複数の温度計、１つ若しくは複数の高度計、１つ若しくは複数の深度センサ、１つ若しくは複数の光検出及び測距（ＬＩＤＡＲ）センサ、１つ若しくは複数の電波検出及び測距（ＲＡＤＡＲ）センサ、１つ若しくは複数の音響検出及び測距（ＳＯＤＡＲ）センサ、１つ若しくは複数の音響航法及び測距（ＳＯＮＡＲ）センサ、１つ若しくは複数の飛行時間（ＴｏＦ）センサ、１つ若しくは複数の構造化光センサ、１つ若しくは複数の入力デバイス（単数若しくは複数）１３４５、本明細書で説明する１つ若しくは複数の他のセンサ、又はそれらの組み合わせを含み得る。装置２０２のセンサ（単数又は複数）２１８は、センサデータ２２６を捕捉し、センサデータ２２６を装置２０２の入力インタープリタ２１０に送信することができる。ヘッドマウント装置２５２のセンサ（単数又は複数）２６０は、センサデータ２６８を捕捉し、センサデータ２６８をヘッドマウント装置２５２の入力インタープリタ２５７に送信することができる。

【0038】

装置２０２は、１つ又は複数の入力インターフェース２２０を含む。ヘッドマウント装置２５２は、１つ又は複数の入力インターフェース２６２を含む。入力インターフェース（単数若しくは複数）２２０及び／又は入力インターフェース（単数若しくは複数）２６２には各々、（例えば、タッチスクリーン及び／若しくはトラックパッドの）１つ若しくは複数のタッチ感知面、１つ若しくは複数のボタン（例えば、タッチスクリーン上の物理ボタン若しくは仮想ボタン）、１つ若しくは複数のマウス、１つ若しくは複数のキーボード、１つ若しくは複数のキーパッド、１つ若しくは複数のマイクロフォン、１つ若しくは複数の入力デバイス（単数若しくは複数）１３４５、又はそれらの組み合わせを含み得る。装置２０２の入力インターフェース（単数又は複数）２２０は、入力データ２２８を捕捉し、入力データ２２８を装置２０２の入力インタープリタ２１０に送信することができる。ヘッドマウント装置２５２の入力インターフェース（単数又は複数）２６２は、入力データ２７０を捕捉し、入力データ２７０をヘッドマウント装置２５２の入力インタープリタ２５７に送信することができる。

【0039】

装置２０２の入力インタープリタ２１０は、センサデータ２２６及び／又は入力データ２２８内の要素を解析、解釈、変換、再フォーマット、及び／又は検出することができる。入力インタープリタ２１０は、センサデータ２２６及び／又は入力データ２２８に基づいて入力情報を生成することができ、入力情報を、ソフトウェアアプリケーション２０８の他の要素、例えば第１のコンテンツ生成器２１２、第２のコンテンツ生成器２１４、及び／又は表示フォーマットのための画像プロセッサ２１６に出力することができる。入力情報は、センサデータ２２６及び／又は入力データ２２８に基づいて入力インタープリタ２１０によって行われた様々な検出、識別、及び／又は決定を識別することができる。例えば、入力インタープリタ２１０は、センサデータ２２６の画像又は他の環境表現（例えば、深度データポイントクラウド）内のオブジェクト（単数若しくは複数）の表現（単数若しくは複数）（例えば、１つ若しくは複数の顔）を検出し、センサデータ２２６の姿勢データ（例えば、場所、加速度計、ジャイロスコープ、及び／若しくはＩＭＵデータ）に基づいて装置２０２がどのように移動しているかを識別し、入力データ２２８からタッチ入力（単数若しくは複数）を受信した入力インターフェース（単数若しくは複数）２２０のタッチスクリーンの部分を識別し、又はそれらの組み合わせを行うことができる。いくつかの実施例では、入力インタープリタ２１０は、センサデータ２２６及び／又は入力データ２２８を使用して、ユーザの顔の表情、及び／又はユーザによって実行されるジェスチャを検出することができる。

【0040】

同様に、ヘッドマウント装置２５２の入力インタープリタ２５７は、センサデータ２６８及び／又は入力データ２７０内の要素を解析、解釈、変換、再フォーマット、及び／又は検出することができる。入力インタープリタ２５７は、センサデータ２６８及び／又は入力データ２７０に基づいて入力情報を生成することができ、入力情報を、表示フォーマットのための画像プロセッサ２５８などのプロセッサ２５６によって実行される他の要素に、及び／又は装置２０２のプロセッサ２０６に（例えば、ヘッドマウント装置２５２の送受信機（単数若しくは複数）２６６から装置２０２の送受信機（単数若しくは複数）２２４に送信することによって）出力することができる。入力情報は、入力インタープリタ２７０に関して上記で説明したデータのタイプのいずれかなどの、センサデータ２６８及び／又は入力データ２５７に基づいて入力インタープリタ２１０によって行われた様々な検出、識別、及び／又は決定を識別することができる。

【0041】

装置２０２は、第１のコンテンツ生成器２１２と第２のコンテンツ生成器２１４とを含む。第１のコンテンツ生成器２１２及び／又は第２のコンテンツ生成器２１４は、ソフトウェアアプリケーション２０８の一部であり得る。第１のコンテンツ生成器２１２は、装置２０２の出力デバイス（単数又は複数）２２２を使用して出力される第１のコンテンツ２３０を生成する。例えば、第１のコンテンツ２３０は、装置２０２の出力デバイス（単数若しくは複数）２２２の１つ若しくは複数のディスプレイを使用して出力されるビジュアルコンテンツ（例えば、１つ若しくは複数の画像及び／若しくはビデオ）、並びに／又は装置２０２の出力デバイス（単数若しくは複数）２２２の１つ若しくは複数のスピーカ及び／若しくは１つ若しくは複数のヘッドホンを使用して出力されるオーディオコンテンツ（例えば、１つ若しくは複数のサウンド、音楽クリップ、及び／若しくはオーディオクリップ）を含み得る。第２のコンテンツ生成器２１４は、（例えば、通信（単数又は複数）２５０を使用して）装置２０２からヘッドマウント装置２５２に送信され、ヘッドマウント装置２５２の出力デバイス（単数又は複数）２６４を使用して出力される、第２のコンテンツ２３２を生成する。例えば、第２のコンテンツ２３２は、ヘッドマウント装置２５２の出力デバイス（単数若しくは複数）２６４の１つ若しくは複数のディスプレイを使用して出力されるビジュアルコンテンツ（例えば、１つ若しくは複数の画像及び／若しくはビデオ）、並びに／又はヘッドマウント装置２５２の出力デバイス（単数若しくは複数）２６４の１つ若しくは複数のスピーカ及び／若しくは１つ又は複数のヘッドホンを使用して出力されるオーディオコンテンツ（例えば、１つ若しくは複数のサウンド、音楽クリップ、及び／若しくはオーディオクリップ）を含み得る。

【0042】

いくつかの実施例では、第１のコンテンツ２３０及び／又は第２のコンテンツ２３２を生成するために、第１のコンテンツ生成器２１２及び／又は第２のコンテンツ生成器２１４は、要素（例えば、共有要素）の２つのそれぞれの表現を生成することができる。例えば、第１のコンテンツ生成器２１２は、要素の第１の表現（例えば、第１のビュー、第１の描写、第１の視点、第１の部分、第１の詳細レベル、第１の解像度、及び／又は第１のサイズ）を含むように第１のコンテンツ２３０を生成することができ、第２のコンテンツ生成器２１４は、要素の第２の表現（例えば、第２のビュー、第２の描写、第２の視点、第２の部分、第２の詳細レベル、第２の解像度、及び／又は第２のサイズ）を含むように第２のコンテンツ２３２を生成することができる。要素は、例えば、１つ若しくは複数の画像、１つ若しくは複数のビデオ、１つ若しくは複数の文字列（例えば、英数文字、数字、テキスト、ユニコード文字、記号、及び／若しくはアイコン）、１つ若しくは複数の２次元（２Ｄ）形状（例えば、円、楕円、正方形、長方形、三角形、他の多角形、１つ若しくは複数の丸みを帯びた角を有する丸みを帯びた多角形、それらの部分、若しくはそれらの組み合わせ）、１つ若しくは複数の３次元（３Ｄ）形状（例えば、球体、円筒、立方体、角錐、三角柱、直方体、四面体、他の多面体、１つ又は複数の丸みを帯びた縁及び／若しくは角を有する丸みを帯びた多面体、それらの部分、若しくはそれらの組み合わせ）、形状のテクスチャ、形状のバンプマッピング、照明効果、又はそれらの組み合わせを含み得る。いくつかの実施例では、要素は、環境の少なくとも一部を含んでもよい。環境は、現実世界環境、（例えば、ビデオゲーム若しくはＶＲ環境における）仮想環境、及び／又は現実世界環境要素及び仮想環境要素を含む複合環境であってもよい。いくつかの実施例では、第１のコンテンツ２３０は、要素の２次元（２Ｄ）ビューを含み、第２のコンテンツ２３２は、要素の３次元（３Ｄ）ビューを含む。いくつかの実施例では、第１のコンテンツ２３０は、要素の３次元（３Ｄ）ビューを含み、第２のコンテンツ２３２は、要素の２次元（２Ｄ）ビューを含む。

【0043】

いくつかの実施例では、第１のコンテンツ２３０及び／又は第２のコンテンツ２３２を生成するために、第１のコンテンツ生成器２１２及び／又は第２のコンテンツ生成器２１４は、入力インタープリタ２１０からの入力情報、センサ（単数若しくは複数）２１８からのセンサデータ２２６、入力インターフェース（単数若しくは複数）２２０からの入力データ２２８、ヘッドマウント装置２５２の入力インタープリタ２５７からの入力情報（通信（単数若しくは複数）２５０を使用してヘッドマウント装置２５２から装置２０２に転送される）、ヘッドマウント装置２５２のセンサ（単数若しくは複数）２６０からのセンサデータ２６８（通信（単数若しくは複数）２５０を使用してヘッドマウント装置２５２から装置２０２に転送される）、ヘッドマウント装置２５２の入力インターフェース（単数若しくは複数）２６２からの入力データ２７０（通信（単数若しくは複数）２５０を使用してヘッドマウント装置２５２から装置２０２に転送される）、又はそれらの組み合わせを使用することができる。例えば、第１のコンテンツ生成器２１２は、入力インタープリタ２１０からの入力情報、センサデータ２２６、及び／又は入力データ２２８に基づいて、装置２０２の姿勢（例えば、３Ｄ空間における場所、ピッチ、ロール、及び／又はヨー）を決定することができる。第１のコンテンツ生成器２１２は、装置２０２の決定された姿勢に基づく視点又は視野（ＦＯＶ）からの１つ又は複数の要素（例えば、環境）のビューを含むように第１のコンテンツ２３０を生成することができる。同様に、第２のコンテンツ生成器２１４は、（例えば、通信（単数若しくは複数）２５０を使用して）ヘッドマウント装置２５２から装置２０２によって受信された、入力インタープリタ２５７からの入力情報、センサデータ２６８、及び／又は入力データ２７８に基づいて、ヘッドマウント装置２５２の姿勢（例えば、３Ｄ空間における場所、ピッチ、ロール、及び／又はヨー）を決定することができる。第２のコンテンツ生成器２１４は、ヘッドマウント装置２５２の決定された姿勢に基づく視点又は視野（ＦＯＶ）からの１つ又は複数の要素（例えば、環境）のビューを含むように第２のコンテンツ２３２を生成することができる。

【0044】

いくつかの実施例では、第１のコンテンツ生成器２１２及び／又は第２のコンテンツ生成器２１４は、ソフトウェアアプリケーション２０８のソフトウェアアプリケーションタイプに基づいて、第１のコンテンツ２３０及び／又は第２のコンテンツ２３２を生成することができる。例えば、ソフトウェアアプリケーションタイプがビデオゲームである場合、第１のコンテンツ２３０及び／又は第２のコンテンツ２３２は、例えば、環境内の１つ又は複数のキャラクタ及び／又はアイテムとともに、ビデオゲームの環境を描写及び／又は含むことができる。ソフトウェアアプリケーションタイプがメディアアセットビューアアプリケーションである場合、第１のコンテンツ２３０及び／又は第２のコンテンツ２３２は、メディアアセットビューアアプリケーションを使用して閲覧及び／又は閲覧可能な様々なメディアアセットを描写及び／又は含むことができる。ソフトウェアアプリケーションタイプが（例えば、本、雑誌、新聞、レシピ、ブログ、及び／又はソーシャルメディア用の）読書アプリケーションである場合、第１のコンテンツ２３０及び／又は第２のコンテンツ２３２は、読書アプリケーションを使用して読むことができる様々な文字列を描写及び／又は含むことができる。ソフトウェアアプリケーションタイプが計算機アプリケーションである場合、第１のコンテンツ２３０及び／又は第２のコンテンツ２３２は、計算機アプリケーションを使用して計算及び／又は生成される様々な数字、変数、方程式、チャート、及び／又はグラフを描写及び／又は含むことができる。異なるタイプのソフトウェアアプリケーション２０８に関連付けられた異なるタイプの第１のコンテンツ２３０及び第２のコンテンツ２３２の例が、図５～図１０に示されている。

【0045】

装置２０２は、１つ又は複数の出力デバイス２２２を含む。第１のコンテンツ２３０を生成したことに応じて、第１のコンテンツ生成器２１２は、第１のコンテンツ２３０が出力デバイス（単数又は複数）２２２によって出力され得るように、第１のコンテンツ２３０を装置２０２の出力デバイス（単数又は複数）２２２に転送することができる。出力デバイス（単数又は複数）２２２は、第１のコンテンツ２３０を受信し、第１のコンテンツ２３０を出力する。出力デバイス（単数又は複数）２２２は、例えば、１つ若しくは複数のディスプレイ、１つ若しくは複数のプロジェクタ、１つ若しくは複数のスピーカ、１つ若しくは複数のヘッドホン、１つ若しくは複数のヘッドセット、１つ若しくは複数の触覚フィードバックアクチュエータ、１つ若しくは複数の触覚フィードバックモータ、出力デバイス（単数若しくは複数）１３３５、本明細書で説明する別の出力デバイス、先に列挙された出力デバイスのうちの１つが装置２０２に結合され得る１つ若しくは複数のコネクタ（例えば、ポート、ジャック、ケーブル、ワイヤレス送受信機）、又はそれらの組み合わせを含み得る。いくつかの実施例では、出力デバイス（単数又は複数）２２２は、第１のコンテンツ２３０が出力デバイス（単数又は複数）２２２によって出力される前に１つ又は複数のバッファに一時的に記憶されるように、第１のコンテンツ生成器２１２が第１のコンテンツ２３０を送信することができる、１つ又は複数のバッファを含むことができる。例示的な実施例では、第１のコンテンツ２３０は、ビジュアルコンテンツが出力デバイス（単数又は複数）２２２の１つ又は複数のディスプレイ及び／又はプロジェクタによって出力（表示）される前にビジュアルコンテンツを表示バッファに一時的に記憶するために、第１のコンテンツ生成器２１２が表示バッファに送信することができるビジュアルコンテンツ（例えば、１つ又は複数の画像及び／又はビデオ）を含むことができる。別の実施例示的な実施例では、第１のコンテンツ２３０は、オーディオコンテンツが出力デバイス（単数又は複数）２２２の１つ又は複数のスピーカ、ヘッドホン、及び／又はヘッドセットによって出力（再生）される前にオーディオコンテンツをオーディオバッファに一時的に記憶するために、第１のコンテンツ生成器２１２がオーディオバッファに送信することができるオーディオコンテンツ（例えば、１つ又は複数のサウンド、音楽クリップ、及び／又はオーディオクリップ）を含むことができる。

【0046】

装置２０２は、１つ又は複数の送受信機２２４を含む。送受信機（単数又は複数）２２４は、受信機（単数若しくは複数）、送信機（単数若しくは複数）、送受信機（単数若しくは複数）、ケーブル（単数若しくは複数）、ワイヤ（単数若しくは複数）、ピン（単数若しくは複数）、ポート（単数若しくは複数）、プラグ（単数若しくは複数）、ジャック（単数若しくは複数）、コネクタ（単数若しくは複数）、又はそれらの組み合わせを含むことができる有線の、電気的な、及び／又は物理的な送受信機（単数若しくは複数）を含み得る。送受信機（単数又は複数）２２４は、受信機（単数若しくは複数）、送信機（単数若しくは複数）、送受信機（単数若しくは複数）、アンテナ（単数若しくは複数）、アンテナアレイ（単数若しくは複数）、コイル（単数若しくは複数）、又はそれらの組み合わせを含むことができるワイヤレス送受信機（単数又は複数）を含み得る。送受信機（単数又は複数）２２４は、ユニバーサルシリアルバス（ＵＳＢ）コネクタ（単数若しくは複数）、ライトニングコネクタ（単数若しくは複数）、イーサネットコネクタ（単数若しくは複数）、Ｂｌｕｅｔｏｏｔｈ（登録商標）送受信機（単数若しくは複数）、Ｂｌｕｅｔｏｏｔｈ（登録商標）低エネルギー送受信機（単数若しくは複数）、近距離ワイヤレス通信（ＮＦＣ）送受信機（単数若しくは複数）、Ｗｉ－Ｆｉ送受信機、Ｌｉ－Ｆｉ送受信機（単数若しくは複数）、ローカルエリアネットワーク（ＬＡＮ）送受信機（単数若しくは複数）、ワイヤレスローカルエリアネットワーク送受信機（単数若しくは複数）、ＩＥＥＥ ８０２．１１送受信機（単数若しくは複数）、ＩＥＥＥ ８０２．１５送受信機（単数若しくは複数）、ワイドエリアネットワーク送受信機（単数若しくは複数）、パーソナルエリアネットワーク（ＰＡＮ）送受信機（単数若しくは複数）、ボディエリアネットワーク（ＢＡＮ）送受信機（単数若しくは複数）、キャンパスエリアネットワーク（ＣＡＮ）送受信機（単数若しくは複数）、メトロポリタンエリアネットワーク（ＭＡＮ）送受信機（単数若しくは複数）、ストレージエリアネットワーク（ＳＡＮ）送受信機（単数若しくは複数）、エンタープライズプライベートネットワーク（ＥＰＮ）送受信機（単数若しくは複数）、仮想プライベートネットワーク（ＶＰＮ）送受信機（単数若しくは複数）、誘導送受信機（単数若しくは複数）、産業科学医療（ＩＳＭ）バンド送受信機（単数若しくは複数）、ワイヤレス周波数（ＲＦ）送受信機（単数若しくは複数）、赤外線データ協会（ＩｒＤＡ）送受信機（単数若しくは複数）、赤外線（ＩＲ）送受信機（単数若しくは複数）、可視光通信（ＶＬＣ）送受信機（単数若しくは複数）、通信インターフェース（単数若しくは複数）１３４０、又はそれらの組み合わせを含み得る。ヘッドマウント装置２５２はまた、１つ又は複数の送受信機２６６を含む。送受信機（単数又は複数）２６６は、送受信機（単数又は複数）２２４に関して上に列挙したタイプの送受信機（単数若しくは複数）、コネクタ、及び／又は通信インターフェースのうちのいずれかを含み得る。装置２０２及びヘッドマウント装置２５２は、装置２０２の送受信機（単数又は複数）２２４とヘッドマウント装置２５２の送受信機（単数又は複数）２６６との間で１つ又は複数の通信２５０を送信することによって通信することができる。いくつかの実施例では、通信（単数又は複数）２５０は、装置２０２の送受信機（単数又は複数）２２４からヘッドマウント装置２５２の送受信機（単数又は複数）２６６に送信される少なくとも１つの通信を含む。いくつかの実施例では、通信（単数又は複数）２５０は、ヘッドマウント装置２５２の送受信機（単数又は複数）２６６から装置２０２の送受信機（単数又は複数）２２４に送信される少なくとも１つの通信を含む。

【0047】

いくつかの実施例では、いったん第２のコンテンツ生成器２１４が第２のコンテンツ２３２を生成すると、第２のコンテンツ生成器２１４は、通信（単数又は複数）２５０を使用して装置２０２の送受信機（単数又は複数）２２４によってヘッドマウント装置２５２の送受信機（単数又は複数）２６６に送信される第２のコンテンツ２３２を、装置２０２の送受信機（単数又は複数）２２４に送信することができる。ヘッドマウント装置２５２は、装置２０２の送受信機（単数又は複数）２２４から、送受信機（単数又は複数）２６６を使用して通信（単数又は複数）２５０を受信することによって、第２のコンテンツ２３２を受信することができる。ヘッドマウント装置２５２は、装置２０２の出力デバイス（単数又は複数）２２２に関して説明した出力デバイスのタイプのいずれかを含むことができる出力デバイス（単数又は複数）２６４を含む。いくつかの実施例では、ヘッドマウント装置２５２の送受信機（単数又は複数）２６６を使用して第２のコンテンツ２３２を受信したことに応じて、ヘッドマウント装置２５２は、出力デバイス２６４を使用して出力される第２のコンテンツ２３２を、出力デバイス（単数若しくは複数）２６４に、及び／又は出力デバイス（単数若しくは複数）２６４に関連付けられた１つ又は複数のバッファに送信する。例示的な実施例では、第２のコンテンツ２３２は、ビジュアルコンテンツが出力デバイス（単数又は複数）２６４の１つ又は複数のディスプレイ及び／又はプロジェクタによって出力（表示）される前にビジュアルコンテンツを表示バッファに一時的に記憶するために、第２のコンテンツ生成器２１４が（例えば、通信（単数又は複数）２５０を介して）ヘッドマウント装置２５２の表示バッファに送信することができるビジュアルコンテンツ（例えば、１つ又は複数の画像及び／又はビデオ）を含むことができる。別の実施例示的な実施例では、第２のコンテンツ２３２は、オーディオコンテンツがヘッドマウント装置２５２の出力デバイス（単数又は複数）２６４の１つ又は複数のスピーカ、ヘッドホン、及び／又はヘッドセットによって出力（再生）される前にオーディオコンテンツをオーディオバッファに一時的に記憶するために、第２のコンテンツ生成器２１４が（例えば、通信（単数又は複数）２５０を介して）ヘッドマウント装置２５２のオーディオバッファに送信することができるオーディオコンテンツ（例えば、１つ又は複数のサウンド、音楽クリップ、及び／又はオーディオクリップ）を含むことができる。

【0048】

いくつかの実施例では、いったん第２のコンテンツ生成器２１４が第２のコンテンツ２３２を生成すると、第２のコンテンツ生成器２１４は、第２のコンテンツ２３２を、表示フォーマットのための画像プロセッサ２１６に、及び／又は表示フォーマットのための画像プロセッサ２５８に送信することができる。表示フォーマットのための画像プロセッサ２１６及び／又は表示フォーマットのための画像プロセッサ２５８は、第２のコンテンツ２３２を処理、修正、フォーマット、再フォーマット、及び／又は更新して、処理された第２のコンテンツ２３４を生成することができる。処理された第２のコンテンツ２３４は、ヘッドマウント装置２５２の出力デバイス（単数又は複数）２６４のうちの少なくともいくつかのタイプ、形状、及び／又はフォーマットに基づいて処理され得る。例えば、ヘッドマウント装置２５２の出力デバイス（単数又は複数）２６４が、ヘッドマウント装置２５２の眼の各々にコンテンツを表示する立体視ディスプレイを（単数又は複数）含む場合、表示フォーマットのための画像プロセッサ２１６及び／又は表示フォーマットのための画像プロセッサ２５８は、処理された第２のコンテンツ２３４として、ヘッドマウント装置２５２の出力デバイス（単数又は複数）２６４の立体視ディスプレイ（単数又は複数）に送信されて表示される第２のコンテンツ２３２に基づく２つの立体視画像を生成することができる。いくつかの実施例では、ヘッドマウント装置２５２の出力デバイス（単数又は複数）２６４は、曲面ディスプレイ（単数又は複数）を含んでもよく、表示フォーマットのための画像プロセッサ２１６及び／又は表示フォーマットのための画像プロセッサ２５８は、ヘッドマウント装置２５２の出力デバイス（単数又は複数）２６４の曲面ディスプレイ（単数又は複数）によって表示される処理された第２のコンテンツ２３２を送信する前に、曲面ディスプレイ（単数又は複数）の曲率に基づいて第２のコンテンツ２３２をワープ、歪曲、及び／又はスキューさせることによって、処理された第２のコンテンツ２３４を生成することができる。いくつかの実施例では、表示フォーマットのための画像プロセッサ２１６及び／又は表示フォーマットのための画像プロセッサ２５８は、ヘッドマウント装置２５２の出力デバイス（単数又は複数）２６４に含まれる表示技術のタイプ、例えば、出力デバイス（単数又は複数）２６４のディスプレイがＬＣＤディスプレイ、ＯＬＥＤディスプレイ、ミニＬＥＤディスプレイ、プラズマディスプレイ、プロジェクタベースのディスプレイ、電子インクディスプレイ、レーザディスプレイ、本明細書で説明する別のタイプのディスプレイ、又はそれらの組み合わせであるかどうかに基づいて、最適な閲覧のために第２のコンテンツ２３２のビジュアルコンテンツのパラメータ（例えば、輝度、彩度、色空間、及び／又は色調）を修正することによって、処理された第２のコンテンツ２３２を生成することができる。いくつかの実施例では、表示フォーマットのための画像プロセッサ２１６及び／又は表示フォーマットのための画像プロセッサ２５８は、例えば、ヘッドマウント装置２５２の場所、ピッチ、ロール、及び／又はヨーを含む、ヘッドマウント装置２５２の姿勢（センサデータ２６８、入力データ２７０、入力インタープリタ２５７からの入力情報、又はそれらの組み合わせに基づいて決定される）に基づいて、第２のコンテンツ２３２のビジュアルコンテンツの視点及び／又は視野を修正することによって、処理された第２のコンテンツ２３２を生成することができる。

【0049】

装置２０２は、電力システム２３８を含む。いくつかの実施例では、電力システム２３８は、１つ若しくは複数のバッテリ、１つ若しくは複数の再充電可能バッテリ、１つ若しくは複数の交換可能バッテリ、１つ若しくは複数の燃料容器、１つ若しくは複数の燃料電池、１つ若しくは複数の発電機、又はそれらの組み合わせなどの、１つ又は複数の電力貯蔵要素を含むことができる。電力システム２３８は、プロセッサ（単数若しくは複数）２０６、記憶デバイス（単数若しくは複数）２３６、センサ（単数若しくは複数）２１８、入力インターフェース（単数若しくは複数）２２０、出力デバイス（単数若しくは複数）２２２、送受信機（単数若しくは複数）２２４、又はそれらの組み合わせを含む、装置２０２の構成要素のうちの少なくともいくつかに電力を供給することができる。いくつかの実施例では、電力システム２３８は、例えば、プラグ、ポート、コネクタ、誘導充電器、容量充電器、又はそれらの組み合わせを使用して、外部電源から電力を引き出すことができる。いくつかの実施例では、電力システム２３８は、例えば、プラグ、ポート、コネクタ、誘導充電器、容量充電器、又はそれらの組み合わせを使用して、外部電力受信デバイスに電力を供給することができる。

【0050】

ヘッドマウント装置２５２は、電力システム２７４を含む。いくつかの実施例では、電力システム２７４は、装置２０２の電力システム２３８に関して説明した電力貯蔵要素のタイプのいずれかの１つ又は複数の電力貯蔵要素を含むことができる。電力システム２７４は、プロセッサ（単数若しくは複数）２５６、記憶デバイス（単数若しくは複数）２７２、センサ（単数若しくは複数）２６０、入力インターフェース（単数若しくは複数）２６２、出力デバイス（単数若しくは複数）２６４、送受信機（単数若しくは複数）２６６、又はそれらの組み合わせを含む、ヘッドマウント装置２５２の構成要素のうちの少なくともいくつかに電力を供給することができる。いくつかの実施例では、電力システム２７４は、装置２０２の電力システム２３８に関して説明した外部電源のタイプのいずれかなどの外部電源から電力を引き出すことができる。いくつかの実施例では、電力システム２７４は、装置２０２の電力システム２３８に関して説明した外部電力受信デバイスのタイプのいずれかなどの外部電力受信デバイスに電力を供給することができる。

【0051】

いくつかの実施例では、装置２０２及びヘッドマウント装置２５２は、送受信機（単数又は複数）２２４と送受信機（単数又は複数）２６６とを（例えば、通信可能に、ワイヤレスに、物理的に、及び／又は電気的に）結合することによって、結合解除状態から結合状態に遷移することができる。いくつかの実施例では、装置２０２及びヘッドマウント装置２５２は、送受信機（単数又は複数）２２４を送受信機（単数又は複数）２６６から（例えば、通信可能に、ワイヤレスに、物理的に、及び／又は電気的に）結合解除することによって、結合状態から結合解除状態に遷移することができる。いくつかの実施例では、装置２０２及びヘッドマウント装置２５２は、装置２０２及びヘッドマウント装置２５２が、例えばワイヤ又はケーブルを使用して物理的に一緒に接続されているとき、結合状態にある。いくつかの実施例では、装置２０２及びヘッドマウント装置２５２は、装置２０２とヘッドマウント装置２５２とを結合することができるワイヤ又はケーブルが、装置２０２、ヘッドマウント装置２５２、又はその両方から抜かれているか、又はそうでなければ切断されているとき、結合解除状態にある。いくつかの実施例では、装置２０２及びヘッドマウント装置２５２は、装置２０２及びヘッドマウント装置２５２がワイヤレスに接続されているとき、例えば、装置２０２及びヘッドマウント装置２５２が送受信機（単数若しくは複数）２２４及び／又は送受信機（単数若しくは複数）２６６のワイヤレス通信範囲（単数又は複数）に基づいて互いのワイヤレス通信範囲内に位置しているとき、結合状態にある。いくつかの実施例では、装置２０２及びヘッドマウント装置２５２は、装置２０２及びヘッドマウント装置２５２がワイヤレスに接続されていないとき、例えば、装置２０２及びヘッドマウント装置２５２が互いに離れすぎていて互いのワイヤレス通信範囲内に位置しておらず、したがって、送受信機（単数若しくは複数）２２４及び／又は送受信機（単数若しくは複数）２６６のワイヤレス通信範囲（単数又は複数）に基づいて互いのワイヤレス通信範囲外にあるとき、結合解除状態にある。いくつかの実施例では、装置２０２及びヘッドマウント装置２５２は、送受信機（単数若しくは複数）２２４及び／又は送受信機（単数若しくは複数）２６６が無効にされているとき、結合解除状態にある。いくつかの実施例では、装置２０２及びヘッドマウント装置２５２は、送受信機（単数若しくは複数）２２４及び／又は送受信機（単数若しくは複数）２６６が有効にされているとき、結合状態にあり得る。

【0052】

図３Ａは、エクステンデッドリアリティ（ＸＲ）システム２００の少なくとも一部として使用されるヘッドマウントディスプレイ（ＨＭＤ）３１０を示す斜視図３００である。ＨＭＤ３１０は、例えば、拡張現実（ＡＲ）ヘッドセット、仮想現実（ＶＲ）ヘッドセット、複合現実（ＭＲ）ヘッドセット、エクステンデッドリアリティ（ＸＲ）ヘッドセット、又はそれらの何らかの組み合わせであってもよい。ＨＭＤ３１０は、ＸＲシステム２００の少なくとも一部の一例であり得る。ＨＭＤ３１０は、装置２０２の一例であり得る。ＨＭＤ３１０は、ヘッドマウント装置２５２の一例であり得る。ＨＭＤ３１０は、ＨＭＤ３１０の前部に沿って第１のカメラ３３０Ａ及び第２のカメラ３３０Ｂを含む。第１のカメラ３３０Ａ及び第２のカメラ３３０Ｂは、装置２０２のセンサ（単数若しくは複数）２１８及び／又はヘッドマウント装置２５２のセンサ（単数若しくは複数）２６０の例であり得る。ＨＭＤ３１０は、ユーザの眼（単数又は複数）がディスプレイ（単数又は複数）３４０に面するときにユーザの眼（単数又は複数）に面する第３のカメラ３３０Ｃ及び第４のカメラ３３０Ｄを含む。第３のカメラ３３０Ｃ及び第４のカメラ３３０Ｄは、装置２０２のセンサ（単数若しくは複数）２１８及び／又はヘッドマウント装置２５２のセンサ（単数若しくは複数）２６０の例であり得る。いくつかの実施例では、ＨＭＤ３１０は、単一の画像センサを有する単一のカメラのみを有し得る。いくつかの実施例では、ＨＭＤ３１０は、第１のカメラ３３０Ａ、第２のカメラ３３０Ｂ、第３のカメラ３３０Ｃ、及び第４のカメラ３３０Ｄに加えて、１つ又は複数の追加のカメラを含んでもよい。いくつかの実施例では、ＨＭＤ３１０は、第１のカメラ３３０Ａ、第２のカメラ３３０Ｂ、第３のカメラ３３０Ｃ、及び第４のカメラ３３０Ｄに加えて、１つ又は複数の追加のセンサを含んでもよく、また、他のタイプのユーザに面するセンサ及び／又は環境に面するセンサを含んでもよい。そのような追加のセンサはまた、装置２０２のセンサ（単数若しくは複数）２１８及び／又はヘッドマウント装置２５２のセンサ（単数若しくは複数）２６０の例であり得る。いくつかの実施例では、第１のカメラ３３０Ａ、第２のカメラ３３０Ｂ、第３のカメラ３３０Ｃ、及び／又は第４のカメラ３３０Ｄの各々は、画像捕捉及び処理システム１００、画像捕捉デバイス１０５Ａ、画像処理デバイス１０５Ｂ、又はそれらの組み合わせの例であり得る。

【0053】

ＨＭＤ３１０は、ユーザ３２０の頭部上に又はその周りにＨＭＤ３１０を装着しているユーザ３２０に見える１つ又は複数のディスプレイ３４０を含んでもよい。ＨＭＤ３１０の１つ又は複数のディスプレイ３４０は、装置２０２の出力デバイス（単数若しくは複数）２２２のディスプレイ（単数若しくは複数）の、及び／又はヘッドマウント装置２５２の出力デバイス（単数若しくは複数）２６４のディスプレイ（単数若しくは複数）の例であり得る。いくつかの実施例では、ＨＭＤ３１０は、１つのディスプレイ３４０と２つのビューファインダとを含むことができる。２つのビューファインダは、ユーザ３２０の左眼用の左ビューファインダと、ユーザ３２０の右眼用の右ビューファインダとを含むことができる。左ビューファインダは、ユーザ３２０の左眼がディスプレイの左側を見るように向けることができる。右ビューファインダは、ユーザ３２０の左眼がディスプレイの右側を見るように向けることができる。いくつかの実施例では、ＨＭＤ３１０は、ユーザ３２０の左眼にコンテンツを表示する左ディスプレイと、ユーザ３２０の右眼にコンテンツを表示する右ディスプレイとを含む、２つのディスプレイ３４０を含んでもよい。いくつかの実施例では、ディスプレイ（単数又は複数）３４０を使用して表示されるビジュアルコンテンツは、第１のコンテンツ生成器２１２によって生成された第１のコンテンツ２３０を含む。いくつかの実施例では、ディスプレイ（単数又は複数）３４０を使用して表示されるビジュアルコンテンツは、第２のコンテンツ生成器２１４によって生成された第２のコンテンツ２３２、表示フォーマットのために画像プロセッサ２１６によって処理された、処理された第２のコンテンツ２３４、及び／又は表示フォーマットのために画像プロセッサ２５８によって処理された、処理された第２のコンテンツ２３４を含む。いくつかの実施例では、ＨＭＤ３１０の１つ又は複数のディスプレイ３４０は、１つ又は複数のデジタル「パススルー」ディスプレイを含むことができ、その場合、ディスプレイ（単数又は複数）３４０上に表示されるコンテンツは、第１のカメラ３３０Ａ及び／又は第２のカメラ３３０Ｂによって捕捉された現実世界のビュー（単数若しくは複数）を含み、及び／又はそれに基づくことができる。いくつかの実施例では、１つ又は複数のディスプレイ３４０は、１つ又は複数の光学「シースルー」ディスプレイを含むことができ、その場合、現実世界環境からの光は、（例えば、透明、半透明、光受容性、光許容性、及び／又は光透過性であってもよい）１つ又は複数のディスプレイ３４０の少なくとも一部（単数又は複数）を通過して、ユーザの眼に到達することができる。

【0054】

ＨＭＤ３１０は、ＨＭＤ３１０のユーザの１つ又は複数の耳にオーディオを出力するスピーカ及び／又はヘッドホンとして機能することができる、１つ又は複数のイヤピース３３５を含んでもよい。図３Ａ及び図３Ｂには１つのイヤピース３３５が示されているが、ＨＭＤ３１０は、ユーザの各耳（左耳及び右耳）に１つのイヤピースを有する２つのイヤピースを含むことができることを理解されたい。１つ又は複数のイヤピース３３５は、装置２０２の出力デバイス（単数若しくは複数）２２２のオーディオ出力デバイス（単数若しくは複数）及び／又はヘッドマウント装置２５２の出力デバイス（単数若しくは複数）２６４のオーディオ出力デバイス（単数若しくは複数）の例であり得る。いくつかの実施例では、ＨＭＤ３１０はまた、１つ又は複数のマイクロフォン（図示せず）を含むことができる。１つ又は複数のマイクロフォンは、装置２０２のセンサ（単数若しくは複数）２１８及び／又はヘッドマウント装置２５２のセンサ（単数若しくは複数）２６０の例であり得る。いくつかの実施例では、ＨＭＤ３１０によって１つ又は複数のイヤピース３３５を通してユーザに出力されるオーディオは、１つ若しくは複数のマイクロフォンを使用して記録されたオーディオを含む、又はそれに基づくことができる。

【0055】

図３Ｂは、ユーザ３２０によって装着されている図３Ａのヘッドマウントディスプレイ（ＨＭＤ）３１０を示す斜視図３５０である。ユーザ３２０は、ＨＭＤ３１０をユーザ３２０の頭部の上又はその周りに装着し、少なくとも部分的にユーザ３２０の眼の上に装着する。ＨＭＤ３１０は、第１カメラ３３０Ａ及び第２カメラ３３０Ｂを用いて画像をキャプチャすることができる。いくつかの実施例では、ＨＭＤ３１０は、ディスプレイ（単数又は複数）３４０を使用して、ユーザ３２０の眼に向かって１つ又は複数の出力画像を表示する。いくつかの実施例では、出力画像は、第１のコンテンツ生成器２１２によって生成された第１のコンテンツ２３０、第２のコンテンツ生成器２１４によって生成された第２のコンテンツ２３２、表示フォーマットのために画像プロセッサ２１６によって処理された、処理された第２のコンテンツ２３４、及び／又は表示フォーマットのために画像プロセッサ２５８によって処理された、処理された第２のコンテンツ２３４を含むことができる。いくつかの実施例では、（例えば、第１のコンテンツ２３０、第２のコンテンツ２３２、及び／又は処理された第２のコンテンツ２３４の）出力画像は、例えば、仮想コンテンツがオーバーレイされた、第１のカメラ３３０Ａ及び第２のカメラ３３０Ｂによって捕捉された画像に基づくことができる。出力画像は、場合によっては、仮想コンテンツがオーバーレイされた、及び／又は他の修正を伴う、環境の立体視ビューを提供することができる。例えば、ＨＭＤ３１０は、第１のカメラ３３０Ａによってキャプチャされた画像に基づく第１の表示画像を、ユーザ３２０の右眼に表示することができる。ＨＭＤ３１０は、第２のカメラ３３０Ｂによってキャプチャされた画像に基づく第２の表示画像を、ユーザ３２０の左眼に表示することができる。例えば、ＨＭＤ３１０は、第１のカメラ３３０Ａ及び第２のカメラ３３０Ｂによって捕捉された画像の上にオーバーレイされた表示画像内に、オーバーレイされた仮想コンテンツを提供することができる。第３のカメラ３３０Ｃ及び第４のカメラ３３０Ｄは、ユーザがディスプレイ（単数又は複数）３４０によって表示された表示画像を見る前、見ている間、及び／又は見た後に、眼の画像を捕捉することができる。このようにして、第３のカメラ３３０Ｃ及び／又は第４のカメラ３３０Ｄからのセンサデータは、ユーザの眼（例えば、眼の位置、動き、反応、及び／若しくは反射）、ユーザの顔（例えば、顔の表情、発声）、並びに／又はユーザの他の部分（例えば、ジェスチャ）による仮想コンテンツへの反応を捕捉することができる。ＨＭＤ３１０のイヤピース３３５は、ユーザ３２０の耳内に示されている。ＨＭＤ３１０は、オーディオを、ユーザ３２０の一方の耳にあるイヤピース３３５を通して、及び／又はユーザ３２０の他方の耳にある（図示せず）ＨＭＤ３１０の別のイヤピース（図示せず）を通して、ユーザ３２０の耳（単数又は複数）に出力することができる。

【0056】

図４Ａは、前向きカメラ４３０Ａ～４３０Ｂを含み、エクステンデッドリアリティ（ＸＲ）システム２００の少なくとも一部として使用され得る、モバイルハンドセット４１０の前面４２０を示す斜視図４００である。モバイルハンドセット４１０は、ＸＲシステム２００の少なくとも一部の一例であり得る。モバイルハンドセット４１０は、装置２０２の一例であり得る。モバイルハンドセット４１０は、ヘッドマウント装置２５２の一例であり得る。モバイルハンドセット４１０は、例えば、携帯電話、衛星電話、ポータブルゲームコンソール、音楽プレーヤ、健康追跡デバイス、ウェアラブルデバイス、無線通信デバイス、ラップトップ、モバイルデバイス、本明細書に記載する任意の他のタイプのコンピューティングデバイス若しくはコンピューティングシステム、又はそれらの組み合わせであってもよい。

【0057】

モバイルハンドセット４１０の前面４２０は、ディスプレイ４４０を含む。モバイルハンドセット４１０の前面４２０は、第１のカメラ４３０Ａ及び第２のカメラ４３０Ｂを含む。第１のカメラ４３０Ａ及び第２のカメラ４３０Ｂは、装置２０２のセンサ（単数若しくは複数）２１８及び／又はヘッドマウント装置２５２のセンサ（単数若しくは複数）２６０の例であり得る。いくつかの実施例では、第１のカメラ４３０Ａ及び第２のカメラ４３０Ｂは、ビジュアルコンテンツがディスプレイ４４０上に表示されている間に、ユーザの眼（単数又は複数）を含むユーザに面することができる。ディスプレイ４４０は、装置２０２の出力デバイス（単数若しくは複数）２２２のディスプレイ及び／又はヘッドマウント装置２５２の出力デバイス（単数若しくは複数）２６４のディスプレイの一例であり得る。ビジュアルコンテンツは、第１のコンテンツ生成器２１２によって生成された第１のコンテンツ２３０、第２のコンテンツ生成器２１４によって生成された第２のコンテンツ２３２、表示フォーマットのために画像プロセッサ２１６によって処理された、処理された第２のコンテンツ２３４、及び／又は表示フォーマットのために画像プロセッサ２５８によって処理された、処理された第２のコンテンツ２３４を含むことができる。

【0058】

第１のカメラ４３０Ａ及び第２のカメラ４３０Ｂは、モバイルハンドセット４１０の前面４２０上のディスプレイ４４０の周りのベゼル内に示されている。いくつかの実施例では、第１のカメラ４３０Ａ及び第２のカメラ４３０Ｂは、モバイルハンドセット４１０の前面４２０上のディスプレイ４４０から切り抜かれたノッチ又は切り欠きに配置することができる。いくつかの実施例では、第１のカメラ４３０Ａ及び第２のカメラ４３０Ｂは、ディスプレイ４４０とモバイルハンドセット４１０の残りの部分との間に配置されたアンダーディスプレイカメラであってもよく、その結果、光は、第１のカメラ４３０Ａ及び第２のカメラ４３０Ｂに到達する前にディスプレイ４４０の一部分を通過する。斜視図４００の第１のカメラ４３０Ａ及び第２のカメラ４３０Ｂは、前向きカメラである。第１のカメラ４３０Ａ及び第２のカメラ４３０Ｂは、モバイルハンドセット４１０の前面４２０の平面に垂直な方向を向いている。第１のカメラ４３０Ａ及び第２のカメラ４３０Ｂは、モバイルハンドセット４１０の１つ又は複数のカメラのうちの２つであってもよい。第１のカメラ４３０Ａ及び第２のカメラ４３０Ｂは、センサ４０５Ａ及びセンサ４０５Ｂそれぞれであってもよい。いくつかの実施例では、モバイルハンドセット４１０の前面４２０は、単一のカメラのみを有することができる。

【0059】

いくつかの実施例では、モバイルハンドセット４１０の前面４２０は、第１のカメラ４３０Ａ及び第２のカメラ４３０Ｂに加えて、１つ又は複数の追加のカメラを含むことができる。１つ又は複数の追加のカメラはまた、装置２０２のセンサ（単数若しくは複数）２１８及び／又はヘッドマウント装置２５２のセンサ（単数若しくは複数）２６０の例であり得る。いくつかの実施例では、モバイルハンドセット４１０の前面４２０は、第１のカメラ４３０Ａ及び第２のカメラ４３０Ｂに加えて、１つ又は複数の追加のセンサを含むことができる。１つ又は複数の追加のセンサはまた、装置２０２のセンサ（単数若しくは複数）２１８及び／又はヘッドマウント装置２５２のセンサ（単数若しくは複数）２６０の例であり得る。場合によっては、モバイルハンドセット４１０の前面４２０は、２つ以上のディスプレイ４４０を含む。モバイルハンドセット４１０の前面４２０の１つ又は複数のディスプレイ４４０は、装置２０２の出力デバイス（単数若しくは複数）２２２のディスプレイ（単数若しくは複数）及び／又はヘッドマウント装置２５２の出力デバイス（単数若しくは複数）２６４のディスプレイ（単数若しくは複数）の例であり得る。例えば、１つ又は複数のディスプレイ４４０は、１つ又は複数のタッチスクリーンディスプレイを含むことができる。

【0060】

モバイルハンドセット４１０は、モバイルハンドセット４１０のユーザの１つ又は複数の耳にオーディオを出力することができる、１つ若しくは複数のスピーカ４３５Ａ及び／又は他のオーディオ出力デバイス（例えば、イヤホン又はヘッドホン又はそれらへのコネクタ）を含んでもよい。１つのスピーカ４３５Ａが図４Ａに示されているが、モバイルハンドセット４１０は、２つ以上のスピーカ及び／又は他のオーディオデバイスを含むことができることを理解されたい。１つ又は複数のスピーカ４３５Ａは、装置２０２の出力デバイス（単数若しくは複数）２２２のオーディオ出力デバイス（単数若しくは複数）及び／又はヘッドマウント装置２５２の出力デバイス（単数若しくは複数）２６４のオーディオ出力デバイス（単数若しくは複数）の例であり得る。いくつかの実施例では、モバイルハンドセット４１０はまた、１つ又は複数のマイクロフォン４４５を含むことができる。１つ又は複数のマイクロフォン４４５は、装置２０２のセンサ（単数若しくは複数）２１８及び／又はヘッドマウント装置２５２のセンサ（単数若しくは複数）２６０の例であり得る。いくつかの実施例では、モバイルハンドセット４１０は、モバイルハンドセット４１０の前面４２０に沿って及び／又はそれに隣接して１つ又は複数のマイクロフォンを含むことができ、これらのマイクロフォンは、装置２０２のセンサ（単数若しくは複数）２１８及び／又はヘッドマウント装置２５２のセンサ２６０（単数若しくは複数）の例である。いくつかの実施例では、モバイルハンドセット４１０によって１つ若しくは複数のスピーカ４３５Ａ及び／又は他のオーディオ出力デバイスを通してユーザに出力されるオーディオは、１つ若しくは複数のマイクロフォンを使用して記録されたオーディオを含む、又はそれに基づくことができる。

【0061】

図４Ｂは、後向きカメラ４３０Ｃ～４３０Ｄを含む図４Ａのモバイルハンドセット４１０の背面４６０を示す斜視図である。モバイルハンドセット４１０は、モバイルハンドセット４１０の背面４６０上に第３のカメラ４３０Ｃ及び第４のカメラ４３０Ｄを含む。斜視図４５０の第３のカメラ４３０Ｃ及び第４のカメラ４３０Ｄは、後ろ向きである。第３のカメラ４３０Ｃ及び第４のカメラ４３０Ｄは、装置２０２のセンサ（単数若しくは複数）２１８及び／又はヘッドマウント装置２５２のセンサ（単数若しくは複数）２６０の例であり得る。第３のカメラ４３０Ｃ及び第４のカメラ４３０Ｄは、モバイルハンドセット４１０の背面４６０の平面に垂直な方向を向いている。

【0062】

第３のカメラ４３０Ｃ及び第４のカメラ４３０Ｄは、モバイルハンドセット４１０の１つ又は複数のカメラのうちの２つであってもよい。いくつかの実施例では、モバイルハンドセット４１０の背面４６０は、単一のカメラのみを有することができる。いくつかの実施例では、モバイルハンドセット４１０の背面４６０は、第３のカメラ４３０Ｃ及び第４のカメラ４３０Ｄに加えて、１つ又は複数の追加のカメラを含むことができる。１つ又は複数の追加のカメラはまた、装置２０２のセンサ（単数若しくは複数）２１８及び／又はヘッドマウント装置２５２のセンサ（単数若しくは複数）２６０の例であり得る。いくつかの実施例では、モバイルハンドセット４１０の背面４６０は、第３のカメラ４３０Ｃ及び第４のカメラ４３０Ｄに加えて、１つ又は複数の追加のセンサを含むことができる。１つ又は複数の追加のセンサはまた、装置２０２のセンサ（単数若しくは複数）２１８及び／又はヘッドマウント装置２５２のセンサ（単数若しくは複数）２６０の例であり得る。いくつかの実施例では、第１のカメラ４３０Ａ、第２のカメラ４３０Ｂ、第３のカメラ４３０Ｃ、及び／又は第４のカメラ４３０Ｄは、画像捕捉及び処理システム１００、画像捕捉デバイス１０５Ａ、画像処理デバイス１０５Ｂ、又はそれらの組み合わせの例であり得る。

【0063】

モバイルハンドセット４１０は、モバイルハンドセット４１０のユーザの１つ又は複数の耳にオーディオを出力することができる、１つ若しくは複数のスピーカ４３５Ｂ及び／又は他のオーディオ出力デバイス（例えば、イヤホン又はヘッドホン又はそれらへのコネクタ）を含んでもよい。１つのスピーカ４３５Ｂが図４Ｂに示されているが、モバイルハンドセット４１０は、２つ以上のスピーカ及び／又は他のオーディオデバイスを含むことができることを理解されたい。１つ又は複数のスピーカ４３５Ｂは、装置２０２の出力デバイス（単数若しくは複数）２２２のオーディオ出力デバイス（単数若しくは複数）及び／又はヘッドマウント装置２５２の出力デバイス（単数若しくは複数）２６４のオーディオ出力デバイス（単数若しくは複数）の例であり得る。いくつかの実施例では、モバイルハンドセット４１０はまた、１つ又は複数のマイクロフォン（図示せず）を含むことができる。１つ又は複数のマイクロフォンは、装置２０２のセンサ（単数若しくは複数）２１８及び／又はヘッドマウント装置２５２のセンサ（単数若しくは複数）２６０の例であり得る。いくつかの実施例では、モバイルハンドセット４１０は、モバイルハンドセット４１０の背面４６０に沿って及び／又はそれに隣接して１つ又は複数のマイクロフォンを含むことができ、これらのマイクロフォンは、装置２０２のセンサ（単数若しくは複数）２１８及び／又はヘッドマウント装置２５２のセンサ２６０（単数若しくは複数）の例である。いくつかの実施例では、モバイルハンドセット４１０によって１つ若しくは複数のスピーカ４３５Ｂ及び／又は他のオーディオ出力デバイスを通してユーザに出力されるオーディオは、１つ若しくは複数のマイクロフォンを使用して記録されたオーディオを含む、又はそれに基づくことができる。

【0064】

モバイルハンドセット４１０は、前面４２０上のディスプレイ４４０をパススルーディスプレイとして使用することができる。例えば、ディスプレイ４４０は、出力画像を表示することができる。出力画像は、第１のコンテンツ生成器２１２によって生成された第１のコンテンツ２３０、第２のコンテンツ生成器２１４によって生成された第２のコンテンツ２３２、表示フォーマットのために画像プロセッサ２１６によって処理された、処理された第２のコンテンツ２３４、及び／又は表示フォーマットのために画像プロセッサ２５８によって処理された、処理された第２のコンテンツ２３４を含むか、又はその一部であり得る。出力画像は、第３のカメラ４３０Ｃ及び／又は第４のカメラ４３０Ｄによって捕捉された画像に基づくことができ、例えば、仮想コンテンツがオーバーレイされている。第１のカメラ４３０Ａ及び／又は第２のカメラ４３０Ｂは、ディスプレイ４４０上の仮想コンテンツを伴う出力画像の表示の前、その間、及び／又はその後に、ユーザの眼（及び／又はユーザの他の部分）の画像を捕捉することができる。このようにして、第１のカメラ４３０Ａ及び／又は第２のカメラ４３０Ｂからのセンサデータは、ユーザの眼（及び／又はユーザの他の部分）による仮想コンテンツに対する反応を捕捉することができる。

【0065】

図５は、第１のコンテンツ５３０を表示し、第２のコンテンツ５５０を表示するヘッドマウント装置５２０に第２のコンテンツ５５０を送信する装置５１０を示す概念図５００であり、第１のコンテンツ５３０及び第２のコンテンツ５５０は、装置５１０上で実行しているレシピアプリ５４０からのレシピ５４５に対応する。装置５１０は、図２のＸＲシステム２００の装置２０２の一例である。装置５１０は、モバイルハンドセット５１５として示されている。モバイルハンドセット５１５は、モバイルハンドセット４１０の一例であり得る。ヘッドマウント装置５２０は、図２のＸＲシステム２００のヘッドマウント装置２５２の一例である。ヘッドマウント装置５２０は、ユーザ５０５によって装着されたＨＭＤ５２５として示されている。ＨＭＤ５２５は、ＨＭＤ３１０の一例であり得る。ユーザ５０５は、ユーザ３２０の一例であり得る。装置５１０は、ユーザ５０５の手であり得る、手によって保持されているものとして示されている。

【0066】

装置５１０は、装置２０２のソフトウェアアプリケーション２０８の一例である、レシピアプリ５４０を実行する。レシピアプリ５４０、及び／又は装置５１０の別の部分は、第１のコンテンツ５３０を生成する第１のコンテンツ生成器（例えば、第１のコンテンツ生成器２１２）を含む。第１のコンテンツ５３０は、第１のコンテンツ２３０の一例である。図５では、第１のコンテンツ５３０は、レシピアプリ５４０からのレシピ５４５を含む。レシピ５４５は、チョコチップクッキーのレシピとして示されている。装置５１０は、装置５１０のディスプレイを使用して第１のコンテンツ２３０（レシピ５４５を含む）を表示しているものとして示されている。第１のコンテンツ２３０は、文字列（例えば、レシピ５４５のテキスト部分）、チョコチップクッキーの画像、及びチョコレートのバーの画像を含むものとして示されている。装置５１０のディスプレイは、装置２０２の出力デバイス（単数若しくは複数）２２２及び／又はモバイルハンドセット４１０のディスプレイ４４０のうちの１つの一例である。

【0067】

レシピアプリ５４０、及び／又は装置５１０の別の部分は、第２のコンテンツ５５０を生成する第２のコンテンツ生成器（例えば、第２のコンテンツ生成器２１４）を含む。いくつかの実施例では、レシピアプリ５４０、及び／又は装置５１０の別の部分は、ディスプレイ（単数若しくは複数）を使用して表示するために及び／又はヘッドマウント装置５２０の他の出力デバイス（単数若しくは複数）を使用して出力するために第２のコンテンツ５５０を処理することができる、表示フォーマットのための画像プロセッサ（例えば、表示フォーマットのための画像プロセッサ２１６）を含む。第２のコンテンツ５５０は、第２のコンテンツ２３２の、及び／又は処理された第２のコンテンツ２３４の一例であり得る。

【0068】

装置５１０は、ヘッドマウント装置５２０に送信５６０を送信し、ヘッドマウント装置５２０は、装置５１０から送信５６０を受信する。送信５６０は、第２のコンテンツ５５０を含む。送信５６０は、装置２０２の送受信機（単数又は複数）２２４の例であり得る、装置５１０の送受信機（単数又は複数）から送信され得る。送信５６０は、ヘッドマウント装置２５２の送受信機（単数又は複数）２６６の例であり得る、ヘッドマウント装置５２０の送受信機（単数又は複数）から受信され得る。送信５６０は、通信（単数又は複数）２５０の一例であり得る。送信５６０は、装置５１０からヘッドマウント装置５２０を指し示す矢印によって示されている。いくつかの実施例では、矢印は、装置５１０とヘッドマウント装置５２０とを一緒に物理的に、電気的に、及び／又は通信可能に結合するワイヤ又はケーブルの上を移動する送信５６０を表す。いくつかの実施例では、矢印は、装置５１０とヘッドマウント装置５２０とを一緒にワイヤレスに、及び／又は通信可能に結合するワイヤレス接続を介してワイヤレス信号として空気中を移動する送信５６０を表す。いくつかの実施例では、ヘッドマウント装置５２０はまた、装置５１０からヘッドマウント装置５２０への送信５６０の送信の際に関与する同じ送受信機（単数又は複数）を使用して、装置５１０に情報を送信してもよい。例えば、ヘッドマウント装置５２０は、第２のコンテンツ５５０の送信５６０を要求し、及び／又は第２のコンテンツ５５０を伴う送信５６０の少なくとも一部の受信を確認する情報を、装置５１０に送信することができる。

【0069】

ヘッドマウント装置５２０は、装置２０２の出力デバイス（単数若しくは複数）２２２及び／又はＨＭＤ３１０のディスプレイ（単数若しくは複数）３４０の例であり得る、１つ又は複数のディスプレイを含む。ユーザ５０５は、ヘッドマウント装置５２０のディスプレイ（単数又は複数）を通して、（例えば、現実世界、仮想、拡張、及び／又は複合）環境の視野（ＦＯＶ）５８０を見ることができる。いくつかの実施例では、ヘッドマウント装置５２０のディスプレイ（単数又は複数）は、ＦＯＶ５８０内のコンテンツの少なくともサブセットを表示する。ヘッドマウント装置５２０は、ヘッドマウント装置５２０のディスプレイを使用して、ＦＯＶ５８０内に第２のコンテンツ５５０の少なくとも一部を表示する。第２のコンテンツ５５０は、レシピアプリ５４０からのレシピ５４５の拡大ビュー５５５を含む。例えば、レシピ５４５の拡大ビュー５５５は、２つのパネルを含むものとして示されており、一方は、チョコチップクッキーの大きな画像を有し、他方は、文字列（例えば、レシピ５４５のテキスト部分）、チョコレートのバーの画像、及び卵の画像を有する。いくつかの実施例では、第２のコンテンツ５５０内のレシピ５４５の拡大ビュー５５５は、第１のコンテンツ５３０内に提示されるよりも多くのレシピ５４５を含み、例えば、卵の画像は、第２のコンテンツ５５０内に存在するが、第１のコンテンツ５３０からは欠けている。いくつかの実施例では、ヘッドマウント装置５２０は、ディスプレイ（単数若しくは複数）を使用して表示するために及び／又はヘッドマウント装置５２０の他の出力デバイス（単数若しくは複数）を使用して出力するために第２のコンテンツ５５０を処理することができる、表示フォーマットのための画像プロセッサ（例えば、表示フォーマットのための画像プロセッサ２５８）を含む。

【0070】

ヘッドマウント装置５２０を使用するユーザ５０５への第２のコンテンツ５５０の表示は、装置５１０上に表示される第１のコンテンツ５３０内のレシピ５４５を見ているユーザ５０５に対して有用な技術的改善を提供することができる。いくつかの実施例では、レシピ５４５の拡大ビュー５５５は、第１のコンテンツ５３０内のレシピ５４５のビューよりもＦＯＶ５８０内で大きく現れてもよく、例えば、ユーザ５０５が視覚に問題がある場合、アクセス可能性を高めることによって拡大ビュー５５５をより有用なものにすることができる。いくつかの実施例では、レシピ５４５の拡大ビュー５５５により、たとえユーザ５０５が自分の頭部を回転させても、装置５１０がＦＯＶ５８０内にあるか否かにかかわらず、ＦＯＶ５８０内に留まることができ、例えば、レシピ５４５のビューを依然として保持しながら、ユーザ５０５がキッチンを動き回ることを可能にする。いくつかの実施例では、レシピ５４５の拡大ビュー５５５は、第１のコンテンツ５３０内のレシピ５４５のビューと共通の１つ又は複数の要素（例えば、チョコチップクッキーの画像、チョコレートのバーの画像、及び／又は文字列の少なくとも一部）を含んでもよい。いくつかの実施例では、レシピ５４５の拡大ビュー５５５は、第１のコンテンツ５３０内のレシピ５４５のビューに現れない１つ又は複数の追加の要素（例えば、卵の画像及び／又は文字列の少なくとも一部）を含んでもよい。

【0071】

いくつかの実施例（図示せず）では、装置５１０は、代わりに、ＨＭＤ３１０又はＨＭＤ５２５などのＨＭＤであってもよく、例えば、ユーザ５０５以外の第２のユーザによって装着されてもよい。いくつかの実施例（図示せず）では、ヘッドマウント装置５２０は、代わりに、モバイルハンドセット４１０又はモバイルハンドセット５１５などのモバイルハンドセットであってもよく、ユーザ５０５によって、又はユーザ５０５以外の第２のユーザによって保持されてもよい。

【0072】

図６は、第１のコンテンツ６３０を表示し、第２のコンテンツ６５０を表示するヘッドマウント装置５２０に第２のコンテンツ６５０を送信する装置５１０を示す概念図６００であり、第１のコンテンツ６３０及び第２のコンテンツ６５０は、装置５１０上で実行しているメディアアセットビューアアプリケーション６４０からの少なくとも選択されたメディアアセット６４６に対応する。装置５１０は、装置２０２のソフトウェアアプリケーション２０８の一例である、メディアアセットビューアアプリケーション６４０を実行する。メディアアセットビューアアプリ６４０、及び／又は装置５１０の別の部分は、第１のコンテンツ６３０を生成する第１のコンテンツ生成器（例えば、第１のコンテンツ生成器２１２）を含む。第１のコンテンツ６３０は、第１のコンテンツ２３０の一例である。

【0073】

第１のコンテンツ６３０は、メディアアセットビューアアプリケーション６４０のメディアアセットビューアインターフェース６４５を含む。メディアアセットビューアインターフェース６４５は、ユーザ５０５が様々なメディアアセット６５７を閲覧及び／又はそこから選択することができるメニューインターフェースを含むものとして示されている。選択されたメディアアセット６５６の表現がメディアアセットビューアインターフェース６４５内に表示されるタッチスクリーンの位置において装置５１０にタッチ入力を提供することによって、メディアアセット６５７のうちの選択されたメディアアセット６５６を選択するために装置５１０のタッチスクリーンに触れているユーザの手が示されている。メディアアセット６５７は、３Ｄ形状を含むものとして示されている。メディアアセットビューアインターフェース６４５はまた、図７の装置５１０によって表示されているものとして示されている。メディアアセット６５７は、それらの平坦な円形側面上に積層された２つの積層された円筒を描写するメディアアセット、２つの並んだ直方体を描写するメディアアセット、角錐を描写するメディアアセット、球体を描写するメディアアセット、その丸みを帯びた側面上に円筒を描写するメディアアセット、星形を描写するメディアアセット、八面体を描写するメディアアセット、及び円錐を描写するメディアアセットを含む。選択されたメディアアセット６５６は、図６及び７に示されるように、メディアアセットビューアインターフェース６４５の右上角に現れる、２つの並んだ直方体を描写するメディアアセットである。

【0074】

メディアアセットビューアアプリケーション６４０、及び／又は装置５１０の別の部分は、第２のコンテンツ６５０を生成する第２のコンテンツ生成器（例えば、第２のコンテンツ生成器２１４）を含む。いくつかの実施例では、メディアアセットビューアアプリケーション６４０、及び／又は装置５１０の別の部分は、ディスプレイ（単数若しくは複数）を使用して表示するために及び／又はヘッドマウント装置５２０の他の出力デバイス（単数若しくは複数）を使用して出力するために第２のコンテンツ６５０を処理することができる、表示フォーマットのための画像プロセッサ（例えば、表示フォーマットのための画像プロセッサ２１６）を含む。第２のコンテンツ６５０は、第２のコンテンツ２３２の、及び／又は処理された第２のコンテンツ２３４の一例であり得る。

【0075】

装置５１０は、装置５１０の送受信機（単数又は複数）（例えば、送受信機２２４）からヘッドマウント装置５２０の送受信機（単数又は複数）（例えば、送受信機２６６（単数又は複数））に送信６６０を送信する。ヘッドマウント装置５２０の送受信機（単数又は複数）は、装置５１０の送受信機（単数又は複数）から送信６６０を受信する。送信６６０は、通信（単数又は複数）２５０の一例であり得る。送信６６０は、第２のコンテンツ６５０を含む。送信６６０は、図５の送信５６０及び／又は図２の通信（単数若しくは複数）２５０に関して説明したように送信及び受信され得る。いくつかの実施例では、ヘッドマウント装置５２０はまた、例えば、第２のコンテンツ６５０の送信６６０を要求し、及び／又は第２のコンテンツ６５０を伴う送信６６０の少なくとも一部の受信を確認する情報を、装置５１０に送信することができる。

【0076】

ユーザ５０５は、ヘッドマウント装置５２０のディスプレイ（単数又は複数）を通して、（例えば、現実世界、仮想、拡張、及び／又は複合）環境の視野（ＦＯＶ）６８０を見ることができる。いくつかの実施例では、ヘッドマウント装置５２０のディスプレイ（単数又は複数）は、ＦＯＶ６８０内のコンテンツの少なくともサブセットを表示する。ヘッドマウント装置５２０は、ヘッドマウント装置５２０のディスプレイを使用して、ＦＯＶ ６８０内に第２のコンテンツ６５０の少なくとも一部を表示する。第２のコンテンツ６５０は、メディアアセットビューアアプリケーション６４０のメディアアセットビューアインターフェース６４５からのメディアアセット６５７のうちの選択されたメディアアセット６５６の代替ビュー６５５を含む。選択されたメディアアセット６５６の代替ビュー６５５は、第１のコンテンツ６３０内の選択されたメディアアセット６５６の描写と比較して、異なる視点、角度、及び／又は配向からの選択されたメディアアセット６５６を描写するものとして示されている。例えば、選択されたメディアアセット６５６の代替ビュー６５５は、第１のコンテンツ６３０内の選択されたメディアアセット６５６の描写と比較して、垂直ヨー軸に沿って時計回りに約９０度回転されるものとして示されている。選択されたメディアアセット６５６は、第１のコンテンツ６３０及び第２のコンテンツ６５０の両方に存在する要素であってもよい。いくつかの実施例では、第２のコンテンツ６５０内の選択されたメディアアセット６５６の描写は、例えば、サイズ、解像度、テクスチャ解像度、多角形の数、バンプマッピング忠実度、又はそれらの組み合わせに関して、第１のコンテンツ６３０内の選択されたメディアアセット６５６の描写より詳細であってもよい。

【0077】

図７は、第１のコンテンツ６３０を表示し、第２のコンテンツ７５０を表示するヘッドマウント装置５２０に第２のコンテンツ７５０を送信する装置５１０を示す概念図７００であり、第１のコンテンツ７３０及び第２のコンテンツ７５０は、装置５１０上で実行しているメディアアセットビューアアプリケーション７４０からのメディアアセット６５７に対応する。装置５１０は、装置２０２のソフトウェアアプリケーション２０８の一例である、図６のメディアアセットビューアアプリケーション６４０を実行する。メディアアセットビューアアプリ６４０、及び／又は装置５１０の別の部分は、第１のコンテンツ６３０を生成する第１のコンテンツ生成器（例えば、第１のコンテンツ生成器２１２）を含む。第１のコンテンツ６３０は、第１のコンテンツ２３０の一例である。図６の第１のコンテンツ６３０と同様に、図７の第１のコンテンツ６３０は、メディアアセットビューアアプリケーション６４０からのメディアアセット６５７のメディアアセットビューアインターフェース６４５を含む。

【0078】

メディアアセットビューアアプリケーション６４０、及び／又は装置５１０の別の部分は、第２のコンテンツ７５０を生成する第２のコンテンツ生成器（例えば、第２のコンテンツ生成器２１４）を含む。いくつかの実施例では、メディアアセットビューアアプリケーション６４０、及び／又は装置５１０の別の部分は、ディスプレイ（単数若しくは複数）を使用して表示するために及び／又はヘッドマウント装置５２０の他の出力デバイス（単数若しくは複数）を使用して出力するために第２のコンテンツ７５０を処理することができる、表示フォーマットのための画像プロセッサ（例えば、表示フォーマットのための画像プロセッサ２１６）を含む。第２のコンテンツ７５０は、第２のコンテンツ２３２の、及び／又は処理された第２のコンテンツ２３４の一例であり得る。

【0079】

装置５１０は、装置５１０の送受信機（単数又は複数）（例えば、送受信機２２４）からヘッドマウント装置５２０の送受信機（単数又は複数）（例えば、送受信機２６６（単数又は複数））に送信７６０を送信する。ヘッドマウント装置５２０の送受信機（単数又は複数）は、装置５１０の送受信機（単数又は複数）から送信７６０を受信する。送信７６０は、通信（単数又は複数）２５０の一例であり得る。送信７６０は、第２のコンテンツ７５０を含む。送信７６０は、図５の送信５６０、図６の送信６６０、及び／又は図２の通信（単数又は複数）２５０に関して説明したように送信及び受信され得る。いくつかの実施例では、ヘッドマウント装置５２０はまた、例えば、第２のコンテンツ７５０の送信７６０を要求し、及び／又は第２のコンテンツ７５０を伴う送信７６０の少なくとも一部の受信を確認する情報を、装置５１０に送信することができる。

【0080】

ユーザ５０５は、ヘッドマウント装置５２０のディスプレイ（単数又は複数）を通して、（例えば、現実世界、仮想、拡張、及び／又は複合）環境の視野（ＦＯＶ）７８０を見ることができる。いくつかの実施例では、ヘッドマウント装置５２０のディスプレイ（単数又は複数）は、ＦＯＶ７８０内のコンテンツの少なくともサブセットを表示する。ヘッドマウント装置５２０は、ヘッドマウント装置５２０のディスプレイ（単数又は複数）を使用して、ＦＯＶ７８０内に第２のコンテンツ７５０の少なくとも一部を表示する。第２のコンテンツ７５０は、メディアアセットビューアアプリケーション７４０のメディアアセットビューアインターフェース６４５からのメディアアセット６５７の組み合わせ７５５を含む。組み合わせ７５５は、一緒に積層されて組み合わせ７５５を形成する、第１のコンテンツ６３０内のメディアアセットビューアインターフェース６４５の一部として示されるメディアアセット６５７の全てを含むものとして示されている。例えば、球体、八面体、及び角錐は、長方形の角錐の上に積層され、長方形の角錐は、積層された円筒の上にそれらの平坦な側面で積層される。丸い側の円筒及び星形はまた、平坦な側面上の積層された円筒の上に積層される。２つの積層されたシリンダのうちの１つは、それらの平坦な側面上で円錐によってサポートされる。いくつかの実施例では、ユーザ５０５は、装置５１０及び／又はヘッドマウント装置５２０の入力インターフェース（単数又は複数）と対話して、組み合わせ７５５を操作して、例えば、組み合わせ７５５内の様々なメディアアセット６５７をブロックのように（例えば、互いに対して）移動させ、メディアアセット６５７を互いに対してサイズ変更し、メディアアセット６５７を互いに対して回転若しくは再配向させ、又はそれらの組み合わせを行うことができる。

【0081】

図８は、第１のコンテンツ８３０を表示し、第２のコンテンツ８５０を表示するヘッドマウント装置５２０に第２のコンテンツ８５０を送信する装置５１０を示す概念図８００であり、第１のコンテンツ８３０及び第２のコンテンツ８５０は、装置５１０上で実行しているイラストレーションツール８４０からのイラストレーション８４５に対応する。装置５１０は、装置２０２のソフトウェアアプリケーション２０８の一例であるイラストレーションツール８４０を実行する。イラストレーションツール８４０、及び／又は装置５１０の別の部分は、第１のコンテンツ８３０を生成する第１のコンテンツ生成器（例えば、第１のコンテンツ生成器２１２）を含む。第１のコンテンツ８３０は、第１のコンテンツ２３０の一例である。

【0082】

第１のコンテンツ８３０は、イラストレーションツール８４０のイラストレーション８４５を含む。イラストレーション８４５は、線を使用して描画された単語「Ｈｉ！」を含むものとして示されている。イラストレーション８４５の形状でタッチ入力を装置５１０に提供する（例えば、単語「Ｈｉ！」を綴る）ことによって、イラストレーションツール８４０を使用してイラストレーション８４５を描画するために、装置５１０のタッチスクリーンに触れているユーザの手が示されている。

【0083】

イラストレーションツール８４０、及び／又は装置５１０の別の部分は、第２のコンテンツ８５０を生成する第２のコンテンツ生成器（例えば、第２のコンテンツ生成器２１４）を含む。いくつかの実施例では、イラストレーションツール８４０、及び／又は装置５１０の別の部分は、ディスプレイ（単数若しくは複数）を使用して表示するために及び／又はヘッドマウント装置５２０の他の出力デバイス（単数若しくは複数）を使用して出力するために第２のコンテンツ８５０を処理することができる、表示フォーマットのための画像プロセッサ（例えば、表示フォーマットのための画像プロセッサ２１６）を含む。第２のコンテンツ８５０は、第２のコンテンツ２３２の、及び／又は処理された第２のコンテンツ２３４の一例であり得る。

【0084】

装置５１０は、装置５１０の送受信機（単数又は複数）（例えば、送受信機２２４）からヘッドマウント装置５２０の送受信機（単数又は複数）（例えば、送受信機２６６（単数又は複数））に送信８６０を送信する。ヘッドマウント装置５２０の送受信機（単数又は複数）は、装置５１０の送受信機（単数又は複数）から送信８６０を受信する。送信８６０は、通信（単数又は複数）２５０の一例であり得る。送信８６０は、第２のコンテンツ８５０を含む。送信８６０は、図５の送信５６０、図６の送信６６０、図７の送信７６０、及び／又は図２の通信（単数又は複数）２５０に関して説明したように送信及び受信され得る。いくつかの実施例では、ヘッドマウント装置５２０はまた、例えば、第２のコンテンツ８５０の送信８６０を要求し、及び／又は第２のコンテンツ８５０を伴う送信８６０の少なくとも一部の受信を確認する情報を、装置５１０に送信することができる。

【0085】

ユーザ５０５は、ヘッドマウント装置５２０のディスプレイ（単数又は複数）を通して、（例えば、現実世界、仮想、拡張、及び／又は複合）環境の視野（ＦＯＶ）８８０を見ることができる。いくつかの実施例では、ヘッドマウント装置５２０のディスプレイ（単数又は複数）は、イラストレーションツール８４０からのイラストレーション８４５の代替ビュー８５５を表示する。第２のコンテンツ８５０内のイラストレーション８４５の代替ビュー８５５は、第１のコンテンツ８３０内のイラストレーション８４５の描写に対してワープされ、歪められ、及び／又はスキューされて現れ、具体的には、例えば、ユーザ５０５がＦＯＶ８８０内で閲覧している環境により良く適合するように、水平方向に引き伸ばされて及び／又は垂直方向に短縮されて現れる。第２のコンテンツ８５０内のイラストレーション８４５の代替ビュー８５５はまた、例えば、ユーザ５０５がＦＯＶ８８０内で閲覧している環境により良く適合するように、図８が示されている平面に対して垂直なロール軸を中心に時計回りに約３０度回転されているように現れる。イラストレーション８４５は、第１のコンテンツ８３０及び第２のコンテンツ８５０の両方に存在する要素であってもよい。いくつかの実施例では、第２のコンテンツ８５０内のイラストレーション８４５の描写は、例えば、サイズ、解像度、テクスチャ解像度、多角形の数、バンプマッピング忠実度、又はそれらの組み合わせに関して、第１のコンテンツ８３０内のイラストレーション８４５の描写よりも詳細であってもよい。

【0086】

図９は、第１のコンテンツ９３０を表示し、第２のコンテンツ９５０を表示するヘッドマウント装置５２０に第２のコンテンツ９５０を送信する装置５１０を示す概念図９００であり、第１のコンテンツ９３０及び第２のコンテンツ９５０は、装置５１０上で実行している車両レースを伴うビデオゲーム９４０からの環境９４５に対応する。装置５１０は、装置２０２のソフトウェアアプリケーション２０８の一例であるビデオゲーム９４０を実行する。ビデオゲーム９４０、及び／又は装置５１０の別の部分は、第１のコンテンツ９３０を生成する第１のコンテンツ生成器（例えば、第１のコンテンツ生成器２１２）を含む。第１のコンテンツ９３０は、第１のコンテンツ２３０の一例である。

【0087】

第１のコンテンツ９３０は、ビデオゲーム９４０の環境９４５を含む。環境９４５は、レーシングゲームの環境９４５として示されており、パトカーのように見える、環境９４５内の第１の車の後方のビューを描写している。第１のコンテンツ９３０内の環境９４５のビュー内で、第２の車（パトカーではない）が、第１の車の前方及び右側に見える。第１のコンテンツ９３０はまた、環境９４５のビューの上に階層化された仮想ボタン（例えば、灰色の影付きとして示されている）を含み、これは、環境９４５の（第２の車を含む）特定の部分をいくらか見にくくする。特定の仮想ボタンを押すために装置５１０のタッチスクリーンに触れているユーザの２つの手が示されている。いくつかの実施例では、これらのタッチ入力は、ビデオゲーム９４０の環境９４５内の第１の車を制御する。

【0088】

ビデオゲーム９４０、及び／又は装置５１０の別の部分は、第２のコンテンツ９５０を生成する第２のコンテンツ生成器（例えば、第２のコンテンツ生成器２１４）を含む。いくつかの実施例では、ビデオゲーム９４０、及び／又は装置５１０の別の部分は、ディスプレイ（単数若しくは複数）を使用して表示するために及び／又はヘッドマウント装置５２０の他の出力デバイス（単数若しくは複数）を使用して出力するために第２のコンテンツ９５０を処理することができる、表示フォーマットのための画像プロセッサ（例えば、表示フォーマットのための画像プロセッサ２１６）を含む。第２のコンテンツ９５０は、第２のコンテンツ２３２の、及び／又は処理された第２のコンテンツ２３４の一例であり得る。

【0089】

装置５１０は、装置５１０の送受信機（単数又は複数）（例えば、送受信機２２４）からヘッドマウント装置５２０の送受信機（単数又は複数）（例えば、送受信機２６６（単数又は複数））に送信９６０を送信する。ヘッドマウント装置５２０の送受信機（単数又は複数）は、装置５１０の送受信機（単数又は複数）から送信９６０を受信する。送信９６０は、送信（単数又は複数）２５０の一例であり得る。送信９６０は、第２のコンテンツ９５０を含む。送信９６０は、図５の送信５６０、図６の送信６６０、図７の送信７６０、図８の送信８６０、及び／又は図２の通信（単数又は複数）２５０に関して説明したように送信及び受信され得る。いくつかの実施例では、ヘッドマウント装置５２０はまた、例えば、第２のコンテンツ９５０の送信９６０を要求し、及び／又は第２のコンテンツ９５０を伴う送信９６０の少なくとも一部の受信を確認する情報を、装置５１０に送信することができる。

【0090】

ユーザ５０５は、ヘッドマウント装置５２０のディスプレイ（単数又は複数）を通して、（例えば、現実世界、仮想、拡張、及び／又は複合）環境の視野（ＦＯＶ）９８０を見ることができる。いくつかの実施例では、ヘッドマウント装置５２０のディスプレイ（単数又は複数）は、ビデオゲーム９４０からの環境９４５の代替ビュー９５５を表示する。第２のコンテンツ９５０内の環境９４５の代替ビュー９５５は、ＦＯＶ９８０の右側に示される第１の代替ビューを含む。第１の代替ビューは、環境９４５内の道路のトップダウン鳥瞰図として示されており、第１の車及び第２の車が明確に示され、第２の車が第１の車の前方及び右側に見える。第２のコンテンツ９５０内の環境９４５の代替ビュー９５５は、ＦＯＶ９８０の左側に示される第２の代替ビューを含む。第２の代替ビューは、両方の車の前及び両方の車の左側の視点からの環境９４５内の道路の斜視図として示されている。第１の車及び第２の車は、第２の代替ビュー内に明確に示されており、第２の車は、第１の車の前方及び右側に見える。道路及び２台の車などの環境９４５の少なくとも一部は、第１のコンテンツ９３０及び第２のコンテンツ９５０の両方に存在する要素（単数又は複数）であってもよい。いくつかの実施例では、第２のコンテンツ９５０内の環境９４５の描写は、例えば、第１の車の後方の環境の部分を描写することによって、第１のコンテンツ９３０内に欠けている環境９４５の要素を含み得る。

【0091】

図１０は、第１のコンテンツ１０３０を表示し、第２のコンテンツ１０５０を表示するヘッドマウント装置５２０に第２のコンテンツ１０５０を送信する装置５１０を示す概念図１０００であり、第１のコンテンツ１０３０及び第２のコンテンツ１０５０は、装置５１０上で実行しているバルーンの射撃を伴うビデオゲーム１０４０からの環境１０４５に対応する。装置５１０は、装置２０２のソフトウェアアプリケーション２０８の一例であるビデオゲーム１０４０を実行する。ビデオゲーム１０４０、及び／又は装置５１０の別の部分は、第１のコンテンツ１０３０を生成する第１のコンテンツ生成器（例えば、第１のコンテンツ生成器２１２）を含む。第１のコンテンツ１０３０は、第１のコンテンツ２３０の一例である。

【0092】

第１のコンテンツ１０３０は、ビデオゲーム１０４０の環境１０４５を含む。環境１０４５は、バルーン射撃ゲームの環境１０４５として示されている。環境１０４５は、第１のコンテンツ１０３０内に３つのバルーン、すなわち第１のバルーン、第１のバルーンの下方の第２のバルーン、及び第２のバルーンの下方の第３のバルーンを含むものとして示されている。第１のコンテンツ１０３０に示されているように、第３のバルーンの表現が環境１０４５内に表示されているタッチスクリーンの位置において装置５１０にタッチ入力を提供することによって、環境１０４５内のバルーンのうちの第３のバルーンを指示するように、装置５１０のタッチスクリーンに触れているユーザの手が示されている。炎の流れは、環境１０４５内の第３のバルーンめがけて発射され、第３のバルーンに当たり、環境１０４５内の第３のバルーンの位置において爆発を引き起こすことが示されている。

【0093】

ビデオゲーム１０４０、及び／又は装置５１０の別の部分は、第２のコンテンツ１０５０を生成する第２のコンテンツ生成器（例えば、第２のコンテンツ生成器２１４）を含む。いくつかの実施例では、ビデオゲーム１０４０、及び／又は装置５１０の別の部分は、ディスプレイ（単数若しくは複数）を使用して表示するために及び／又はヘッドマウント装置５２０の他の出力デバイス（単数若しくは複数）を使用して出力するために第２のコンテンツ１０５０を処理することができる、表示フォーマットのための画像プロセッサ（例えば、表示フォーマットのための画像プロセッサ２１６）を含む。第２のコンテンツ１０５０は、第２のコンテンツ２３２の、及び／又は処理された第２のコンテンツ２３４の一例であり得る。

【0094】

装置５１０は、装置５１０の送受信機（単数又は複数）（例えば、送受信機２２４）からヘッドマウント装置５２０の送受信機（単数又は複数）（例えば、送受信機２６６）に送信１０６０を送信する。ヘッドマウント装置５２０の送受信機（単数又は複数）は、装置５１０の送受信機（単数又は複数）から送信１０６０を受信する。送信１０６０は、送信（単数又は複数）２５０の一例であり得る。送信１０６０は、第２のコンテンツ１０５０を含む。送信１０６０は、図５の送信５６０、図６の送信６６０、図７の送信７６０、図８の送信８６０、図９の送信９６０、及び／又は図２の通信（単数又は複数）２５０に関して説明したように送信及び受信され得る。いくつかの実施例では、ヘッドマウント装置５２０はまた、例えば、第２のコンテンツ１０５０の送信１０６０を要求し、及び／又は第２のコンテンツ１０５０を伴う送信１０６０の少なくとも一部の受信を確認する情報を、装置５１０に送信することができる。

【0095】

ユーザ５０５は、ヘッドマウント装置５２０のディスプレイ（単数又は複数）を通して、（例えば、現実世界、仮想、拡張、及び／又は複合）環境の視野（ＦＯＶ）１０８０を見ることができる。いくつかの実施例では、ヘッドマウント装置５２０のディスプレイ（単数又は複数）は、ビデオゲーム１０４０からの環境１０４５の拡大ビュー１０５５を表示する。第２のコンテンツ１０５０内の環境１０４５の拡大ビュー１０５５は、第１のコンテンツ１０３０において可視である環境１０４５の一部、並びに例えば、第１のコンテンツ１０３０において可視である３つのバルーンの左側に更に２つのバルーン、及び第１のコンテンツ１０３０において可視である３つのバルーンの右側に更に２つのバルーンを含む、第１のコンテンツ１０３０において可視であったよりも多くの環境１０４５を描写する。ライフルは、第２のコンテンツ１０５０内で可視であり、炎の流れは、環境１０４５内の第３のバルーンめがけて発射され、第３のバルーンに当たり、環境１０４５内の第３のバルーンの位置において爆発を引き起こす。３つのバルーン、炎の流れ、及び爆発などの環境１０４５の少なくとも一部は、第１のコンテンツ１０３０及び第２のコンテンツ１０５０の両方に存在する要素（単数又は複数）であってもよい。

【0096】

いくつかの実施例では、ビデオゲーム１０４０内のライフルからの炎の流れは、上述して図１０に示されるように、第３のバルーンの位置を示す装置５１０のタッチスクリーンへのタッチ入力に基づいて、第３のバルーンに照準を合わせられてもよい。いくつかの実施例では、ビデオゲーム１０４０内のライフルからの炎の流れは、ヘッドマウント装置５２０の配向に基づいて照準を合わせられてもよい。例えば、ヘッドマウント装置５２０が図５～図１０に示されるようなＨＭＤ５２５である場合、ユーザ５０５は、ＨＭＤ５２５を装着しながら自分の頭部を回転させて、ビデオゲーム１０４０内のライフル銃からの炎を、ユーザ５０５の顔が面している、及び／若しくはヘッドマウント装置５２０の前部が向いている、又はそれらの組み合わせであるＦＯＶ１０８０内の一点に照準を合わせることができる。ヘッドマウント装置５２０がモバイルハンドセットである場合、ユーザ５０５は、ヘッドマウント装置５２０を保持しながら自分の手を移動させて、ビデオゲーム１０４０内のライフルからの炎を、ユーザ５０５の手が面している、及び／若しくはヘッドマウント装置５２０の後部が向いている、又はそれらの組み合わせであるＦＯＶ１０８０内の一点に照準を合わせることができる。

【0097】

図１１は、装置１１０５とヘッドマウント装置１１１０との間の相互運用性のためのプロセス１１００を示すスイムレーン図である。装置１１０５は、装置２０２及び／又は装置５１０の一例である。ヘッドマウント装置１１１０は、ヘッドマウント装置２５２及び／又はヘッドマウント装置５２０の一例である。装置１１０５は、モバイルハンドセット４１０及び／又はモバイルハンドセット５１５などのモバイルハンドセットとして示されている。いくつかの実施例（図示せず）では、装置１１０５は、ＨＭＤ３１０及び／又はＨＭＤ５２５などのＨＭＤであり得る。ヘッドマウント装置５２０は、ＨＭＤ３１０及び／又はＨＭＤ５２５などのＨＭＤとして示されている。いくつかの実施例では、ヘッドマウント装置５２０は、モバイルハンドセット４１０及び／又はモバイルハンドセット５１５などのモバイルハンドセットであり得る。

【0098】

動作１１１５において、装置１１０５は、ソフトウェアアプリケーションを実行する。動作１１１５のソフトウェアアプリケーションの例は、ソフトウェアアプリケーション２０８、レシピアプリ５４０、メディアアセットビューアアプリケーション６４０、イラストレーションツール８４０、ビデオゲーム９４０、ビデオゲーム１０４０、プロセス１２００のソフトウェアアプリケーション、ブラウザ、本明細書で説明する別のソフトウェアアプリケーション、又はそれらの組み合わせを含む。動作１１１５の後に、動作１１２０、動作１１２５、動作１１３０、及び／又は動作１１４０が続いてもよい。

【0099】

動作１１２０において、装置１１０５は、センサデータ及び／又は入力データを受信する。例えば、動作１１２０のセンサデータ及び／又は入力データは、装置１１０５のセンサ（単数若しくは複数）２１８からのセンサデータ２２８、装置１１０５の入力インターフェース（単数若しくは複数）２２０からの入力データ２２８、装置１１０５の入力インタープリタ２１０からの入力情報、又はそれらの組み合わせを含み得る。動作１１２０の後に、動作１１２５、動作１１３０、及び／又は動作１１４０が続いてもよい。

【0100】

動作１１２５において、ヘッドマウント装置１１１０は、センサデータ及び／又は入力データを受信し、それら（センサデータ及び／又は入力データ）を装置１１０５に送信する。例えば、動作１１２５のセンサデータ及び／又は入力データは、ヘッドマウント装置１１１０のセンサ（単数若しくは複数）２６０からのセンサデータ２６８、ヘッドマウント装置１１１０の入力インターフェース（単数若しくは複数）２６２からの入力データ２７０、ヘッドマウント装置１１１０の入力インタープリタ２５７からの入力情報、又はそれらの組み合わせを含み得る。

【0101】

ヘッドマウント装置１１１０は、動作１１２５のセンサデータ及び／又は入力データを装置１１０５に送信することができ、装置１１０５は、有線通信（単数若しくは複数）及び／又はワイヤレス通信（単数若しくは複数）を使用して、それらを受信することができる。ヘッドマウント装置１１１０は、動作１１２５のセンサデータ及び／又は入力データを、ヘッドマウント装置１１１０の送受信機（単数若しくは複数）２６６から装置１１０５の送受信機（単数若しくは複数）２２４に送信することができる。装置１１０５は、動作１１２５のセンサデータ及び／又は入力データを、ヘッドマウント装置１１１０の送受信機（単数若しくは複数）２６６から、装置１１０５の送受信機（単数若しくは複数）２２４において受信することができる。ヘッドマウント装置１１１０は、動作１１２５のセンサデータ及び／又は入力データを装置１１０５に送信することができ、装置１１０５は、通信（単数若しくは複数）２５０を使用して、動作１１２５のセンサデータ及び／又は入力データを受信することができる。動作１１２５の後に、動作１１２０、動作１１３０、動作１１４０、動作１１４５、及び／又は動作１１６０が続いてもよい。

【0102】

動作１１３０において、装置１１０５は、ソフトウェアアプリケーションを使用して第１のコンテンツを生成する。例えば、装置１１０５は、第１のコンテンツ生成器２１２を使用して第１のコンテンツを生成することができる。第１の動作のコンテンツ１１３０の例は、第１のコンテンツ２３０、第１のコンテンツ５３０、第１のコンテンツ６３０、第１のコンテンツ８３０、第１のコンテンツ９３０、第１のコンテンツ１０３０、プロセス１２００の第１のコンテンツ、又はそれらの何らかの組み合わせを含む。いくつかの実施例では、装置１１０５は、動作１１２０において装置１１０５から受信されたセンサデータ及び／若しくは入力データに基づいて、動作１１２５においてヘッドマウント装置１１１０から受信されたセンサデータ及び／若しくは入力データに基づいて、又はそれらの組み合わせに基づいて、動作１１３０において第１のコンテンツを生成することができる。動作１１３０の後に、動作１１３５及び／又は動作１１４０が続いてもよい。

【0103】

動作１１３５において、装置１１０５は、装置１１０５のディスプレイ（単数又は複数）に第１のコンテンツを表示させる。動作１１３５の装置１１０５のディスプレイ（単数又は複数）は、装置１１０５の出力デバイス（単数又は複数）２２２の一例であり得る。いくつかの実施例では、装置１１０５は、装置１１０５のディスプレイ（単数又は複数）に関連付けられた表示バッファに第１のコンテンツを記憶することによって、装置１１０５のディスプレイ（単数又は複数）に第１のコンテンツを表示させる。いくつかの実施例では、第１のコンテンツは、ビジュアルメディアの代わりに又はビジュアルメディアに加えて、ビジュアルメディア以外の他のタイプのメディアを含み、装置１１０５は、動作１１３５において、装置１１０５の出力デバイス（単数又は複数）に第１のコンテンツを出力させる。動作１１３５の後に、動作１１４０～１１７５のいずれかが続いてもよい。動作１１３５は、動作１１４０～１１７５のいずれかによって先行されてもよい。動作１１３５は、動作１１４０～１１７５のいずれかと同時に生じてもよい。

【0104】

動作１１４０において、装置１１０５は、ソフトウェアアプリケーションを使用して第２のコンテンツを生成する。例えば、装置１１０５は、第２のコンテンツ生成器２１４を使用して第２のコンテンツを生成することができる。第２の動作のコンテンツ１１４０の例は、第２のコンテンツ２３２、第２のコンテンツ５５０、第２のコンテンツ６５０、第２のコンテンツ８５０、第２のコンテンツ９５０、第２のコンテンツ１０５０、プロセス１２００の第２のコンテンツ、又はそれらの何らかの組み合わせを含む。いくつかの実施例では、装置１１０５は、動作１１２０において装置１１０５から受信されたセンサデータ及び／若しくは入力データに基づいて、動作１１２５においてヘッドマウント装置１１１０から受信されたセンサデータ及び／若しくは入力データに基づいて、又はそれらの組み合わせに基づいて、動作１１５０において第２のコンテンツを生成することができる。動作１１４０の後に、動作１１４５及び／又は動作１１５０が続いてもよい。

【0105】

動作１１４５において、装置１１０５は、例えば、装置１１０５の表示フォーマットのための画像プロセッサ２１６を使用して、ヘッドマウント装置１１１０のディスプレイ（単数又は複数）上に表示するために第２のコンテンツを処理する。動作１１４５の処理を使用して処理された第２のコンテンツは、処理された第２のコンテンツ２３４の一例であり得る。動作１１４５の後に、動作１１５０が続いてもよい。

【0106】

動作１１５０において、装置１１０５は、ヘッドマウント装置１１１０のディスプレイ（単数又は複数）によって表示される第２のコンテンツをヘッドマウント装置１１１０に送信する。動作１１５５において、ヘッドマウント装置１１１０は、装置１１０５から第２のコンテンツを受信する。装置１１０５は、第２のコンテンツをヘッドマウント装置１１１０に送信することができ、ヘッドマウント装置１１１０は、有線通信（単数若しくは複数）及び／又はワイヤレス通信（単数若しくは複数）を使用して、第２のコンテンツを受信することができる。装置１１０５は、装置１１０５の送受信機（単数又は複数）２２４からヘッドマウント装置１１１０の送受信機（単数又は複数）２６６に第２のコンテンツを送信することができる。ヘッドマウント装置１１１０は、ヘッドマウント装置１１１０の送受信機（単数又は複数）２６６において、装置１１０５の送受信機（単数又は複数）２２４から第２のコンテンツを受信することができる。装置１１０５は、第２のコンテンツをヘッドマウント装置１１１０に送信することができ、ヘッドマウント装置１１１０は、通信（単数若しくは複数）２５０、送信（単数若しくは複数）５６０、送信（単数若しくは複数）６６０、送信（単数若しくは複数）７６０、送信（単数若しくは複数）７６０、送信（単数若しくは複数）８６０、送信（単数若しくは複数）９６０、送信（単数若しくは複数）１０６０、又はそれらの組み合わせを使用して、第２のコンテンツを受信することができる。動作１１５０の後に、動作１１５５が続いてもよい。動作１１５５の後に、動作１１６０及び／又は動作１１６５が続くことができる。

【0107】

動作１１６０において、装置１１０５は、例えば、ヘッドマウント装置１１１０の表示フォーマットのための画像プロセッサ２５８を使用して、ヘッドマウント装置１１１０のディスプレイ（単数又は複数）上に表示するために第２のコンテンツを処理する。動作１１４５の処理を使用して処理された第２のコンテンツは、処理された第２のコンテンツ２３４の一例であり得る。動作１１６０の後に、動作１１６５が続いてもよい。

【0108】

動作１１６５において、ヘッドマウント装置１１１０は、ヘッドマウント装置１１１０のディスプレイ（単数又は複数）に第２のコンテンツを表示させる。動作１１６５のヘッドマウント装置１１１０のディスプレイ（単数又は複数）は、装置１１０５の出力デバイス（単数又は複数）２６４の一例であり得る。いくつかの実施例では、ヘッドマウント装置１１１０は、ヘッドマウント装置１１１０のディスプレイ（単数又は複数）に関連付けられた表示バッファに第２のコンテンツを記憶することによって、ヘッドマウント装置１１１０のディスプレイ（単数又は複数）に第２のコンテンツを表示させる。いくつかの実施例では、第２のコンテンツは、ビジュアルメディアの代わりに又はビジュアルメディアに加えて、ビジュアルメディア以外の他のタイプのメディアを含み、ヘッドマウント装置１１１０は、動作１１６５において、ヘッドマウント装置１１１０の出力デバイス（単数又は複数）に第１のコンテンツを出力させる。動作１１６５の後に、動作１１７０が続いてもよい。

【0109】

動作１１７０において、ヘッドマウント装置１１１０は、装置１１０５に、第２のコンテンツがヘッドマウント装置１１１０のディスプレイ（単数又は複数）によって表示されたという確認を送信する。動作１１７５において、装置１１０５は、ヘッドマウント装置１１１０から、第２のコンテンツがヘッドマウント装置１１１０のディスプレイ（単数又は複数）によって表示されたという確認を受信する。ヘッドマウント装置１１１０は、装置１１０５に確認を送信することができ、装置１１０５は、有線通信（単数若しくは複数）及び／又はワイヤレス通信（単数若しくは複数）を使用して、確認を受信することができる。ヘッドマウント装置１１１０は、ヘッドマウント装置１１１０の送受信機（単数又は複数）２６６から装置１１０５の送受信機（単数又は複数）２２４に確認を送信することができる。装置１１０５は、装置１１０５の送受信機（単数又は複数）２２４において、ヘッドマウント装置１１１０の送受信機（単数又は複数）２６６から確認を受信することができる。ヘッドマウント装置１１１０は、装置１１０５に確認を送信することができ、装置１１０５は、通信（単数又は複数）２５０を使用して、確認を受信することができる。動作１１７０の後に、動作１１７５が続いてもよい。

【0110】

図１２は、エクステンデッドリアリティ（ＸＲ）の相互運用性のためのプロセス１２００を示すフロー図である。プロセス１２００は、ＸＲシステムによって実行されてもよい。いくつかの実施例では、ＸＲシステムは、例えば、画像捕捉及び処理システム１００、画像捕捉デバイス１０５Ａ、画像処理デバイス１０５Ｂ、画像プロセッサ１５０、ＩＳＰ１５４、ホストプロセッサ１５２、ＸＲシステム２００、装置２０２、ヘッドマウント装置２５２、プロセッサ２０６、プロセッサ２５６、ＨＭＤ３１０、モバイルハンドセット４１０、装置５１０、ヘッドマウント装置５２０、装置１１０５、ヘッドマウント装置１１１０、コンピューティングシステム１３００、プロセッサ１３１０、ワイヤレス通信デバイス、非一時的コンピュータ可読媒体から命令を読み取るプロセッサを有するシステム、又はそれらの組み合わせを含み得る。

【0111】

動作１２０５において、ＸＲシステムは、装置のソフトウェアアプリケーションを使用して、装置の第１のディスプレイを使用して表示される第１のコンテンツを生成することができる。いくつかの実施例では、動作１２０５は、動作１１１５、動作１１２０、動作１１２５、動作１１３０、又はそれらの組み合わせを含み得る。装置の例は、画像捕捉及び処理システム１００、画像捕捉デバイス１０５Ａ、画像処理デバイス１０５Ｂ、画像プロセッサ１５０、ＩＳＰ１５４、ホストプロセッサ１５２、ＸＲシステム２００、装置２０２、プロセッサ２０６、ＨＭＤ３１０、モバイルハンドセット４１０、装置５１０、装置１１０５、コンピューティングシステム１３００、プロセッサ１３１０、ワイヤレス通信デバイス、非一時的コンピュータ可読媒体から命令を読み取るプロセッサを有するシステム、又はそれらの組み合わせを含む。

【0112】

いくつかの実施例では、ＸＲシステム（例えば、装置）は、第１のコンテンツ生成器２１２を使用して第１のコンテンツを生成することができる。ソフトウェアアプリケーションの例は、ソフトウェアアプリケーション２０８、レシピアプリ５４０、メディアアセットビューアアプリ６４０、イラストレーションツール８４０、ビデオゲーム９４０、ビデオゲーム１０４０、プロセス１２００のソフトウェアアプリケーション、ブラウザ、対話式環境（例えば、「メタバース」）、通信プラットフォーム（例えば、テレビ会議及び／若しくはテレビ会議用）、本明細書に記載される別のソフトウェアアプリケーション若しくはソフトウェアアプリケーションタイプ、又はそれらの組み合わせを含む。第１のコンテンツの例は、第１のコンテンツ２３０、第１のコンテンツ５３０、第１のコンテンツ６３０、第１のコンテンツ８３０、第１のコンテンツ９３０、第１のコンテンツ１０３０、動作１１３０において生成された第１のコンテンツ、又はそれらの何らかの組み合わせを含む。

【0113】

いくつかの実施例では、ＸＲシステム（例えば、装置）は、（例えば、装置及び／又はヘッドマウント装置の）入力インターフェースを使用して１つ又は複数の入力を受信することができる。動作１２０５において第１のコンテンツを生成するために、装置は、１つ又は複数の入力に基づいて第１のコンテンツを生成することができる。入力インターフェースは、プロセス１２００を実行するＸＲシステムの装置の構成要素（単数若しくは複数）、動作１２２０で説明したヘッドマウント装置の構成要素（単数若しくは複数）、又はそれらの組み合わせを含み得る。入力インターフェースの例は、装置２０２のセンサ（単数若しくは複数）２１８、装置２０２の入力インターフェース（単数若しくは複数）２２０、装置２０２の入力インタープリタ２１０、装置２０２の送受信機（単数若しくは複数）２２５、ヘッドマウント装置２５２のセンサ（単数若しくは複数）２６０、ヘッドマウント装置２５２の入力インターフェース（単数若しくは複数）２６２、ヘッドマウント装置２５２の入力インタープリタ２５７、ヘッドマウント装置２５２の送受信機（単数若しくは複数）２６６、又はそれらの組み合わせを含む。１つ又は複数の入力の例は、センサデータ２２６、入力データ２２８、入力インタープリタ２１０によって出力された入力情報、送受信機（単数若しくは複数）２２４によって受信された通信（単数若しくは複数）２５０のうちの少なくとも１つ、ヘッドマウント装置２５２以外の別のデバイスから送受信機（単数若しくは複数）２２４によって受信された他の通信（単数若しくは複数）、センサデータ２６８、入力データ２７０、入力インタープリタ２５７によって出力された入力情報、送受信機（単数若しくは複数）２６６によって受信された通信（単数若しくは複数）２５０のうちの少なくとも１つ、装置２０２以外の別のデバイスから送受信機（単数若しくは複数）２６６によって受信された他の通信（単数若しくは複数）、送受信機（単数若しくは複数）２６６によって送信された通信（単数若しくは複数）２５０のうちの少なくとも１つ、又はそれらの組み合わせを含む。

【0114】

動作１２１０において、ＸＲシステムは、装置の第１のディスプレイを使用して第１のコンテンツを表示させることができる。いくつかの実施例では、動作１２１０は、動作１１３０、動作１１３５、又はそれらの組み合わせを含み得る。いくつかの実施例では、ＸＲシステムの装置は、第１のコンテンツを表示するように構成された第１のディスプレイを含む。いくつかの実施例では、第１のディスプレイは、（例えば、モバイルハンドセット４１０のディスプレイ４４０のような）タッチスクリーンディスプレイである。

【0115】

装置の第１のディスプレイの例は、装置２０２の出力デバイス（単数若しくは複数）２２２、ヘッドマウント装置２５２の出力デバイス（単数若しくは複数）２６４、ＨＭＤ３１０のディスプレイ（単数若しくは複数）３４０、モバイルハンドセット４１０のディスプレイ４４０、装置５１０のディスプレイ（単数若しくは複数）、モバイルハンドセット５１５のディスプレイ（単数若しくは複数）、ＨＭＤ５２５のディスプレイ（単数若しくは複数）、装置１００５のディスプレイ（単数若しくは複数）、又はそれらの組み合わせを含む。いくつかの実施例では、動作１２０５及び／又は１２１０は、装置２０２又はその変形によって実行される。そのような例では、第１のディスプレイは、装置２０２の出力デバイス（単数又は複数）２２２のうちの１つ又は複数の一例であってもよい。

【0116】

いくつかの実施例では、ＸＲシステムの装置は、表示バッファを含む。動作１２１０におけるように、第１のコンテンツを第１のディスプレイを使用して表示させることは、第１のコンテンツを装置の表示バッファに送信して装置の表示バッファに記憶させることを含むことができる。次いで、ＸＲシステム（例えば、装置）は、装置の第１のディスプレイによって表示される第１のコンテンツを、装置の表示バッファから装置の第１のディスプレイに送信することができる。

【0117】

動作１２１５において、ＸＲシステムは、装置のソフトウェアアプリケーションを使用して、第２のコンテンツを生成することができる。第２のコンテンツは、第１のコンテンツに基づく。第２のコンテンツは、第１のコンテンツとは別個である。いくつかの実施例では、動作１２１５は、動作１１１５、動作１１２０、動作１１２５、動作１１４０、動作１１４５、又はそれらの組み合わせを含み得る。いくつかの実施例では、ＸＲシステム（例えば、装置）は、第１のコンテンツ生成器２１４を使用して第２のコンテンツを生成することができる。第２のコンテンツの例は、第２のコンテンツ２３２、第２のコンテンツ５５０、第２のコンテンツ６５０、第２のコンテンツ８５０、第２のコンテンツ９５０、第２のコンテンツ１０５０、動作１１４０において生成された第２のコンテンツ、又はそれらの何らかの組み合わせを含む。

【0118】

いくつかの実施例では、ＸＲシステム（例えば、装置）は、装置の入力インターフェースを使用して１つ又は複数の入力を受信することができる。動作１２１５において第２のコンテンツを生成するために、ＸＲシステム（例えば、装置）は、１つ又は複数の入力に基づいて第２のコンテンツを生成することができる。入力インターフェースは、プロセス１２００を実行するＸＲシステムの構成要素（単数又は複数）、動作１２２０で説明したヘッドマウント装置の構成要素（単数若しくは複数）、又はそれらの組み合わせを含み得る。入力インターフェースの例は、装置２０２のセンサ（単数若しくは複数）２１８、第１のＸＲシステムの入力インターフェース（単数若しくは複数）２２０、装置２０２の入力インタープリタ２１０、装置２０２の送受信機（単数若しくは複数）２２５、ヘッドマウント装置２５２のセンサ（単数若しくは複数）２６０、ヘッドマウント装置２５２の入力インターフェース（単数若しくは複数）２６２、ヘッドマウント装置２５２の入力インタープリタ２５７、ヘッドマウント装置２５２の送受信機（単数若しくは複数）２６６、又はそれらの組み合わせを含む。１つ又は複数の入力の例は、センサデータ２２６、入力データ２２８、入力インタープリタ２１０によって出力された入力情報、送受信機（単数若しくは複数）２２４によって受信された通信（単数若しくは複数）２５０のうちの少なくとも１つ、ヘッドマウント装置２５２以外の別のデバイスから送受信機（単数若しくは複数）２２４によって受信された他の通信（単数若しくは複数）、センサデータ２６８、入力データ２７０、入力インタープリタ２５７によって出力された入力情報、送受信機（単数若しくは複数）２６６によって受信された通信（単数若しくは複数）２５０のうちの少なくとも１つ、装置２０２以外の別のデバイスから送受信機（単数若しくは複数）２６６によって受信された他の通信（単数若しくは複数）、送受信機（単数若しくは複数）２６６によって送信された通信（単数若しくは複数）２５０のうちの少なくとも１つ、又はそれらの組み合わせを含む。

【0119】

いくつかの実施例では、第１のコンテンツは、要素の第１のビューを含み、第２のコンテンツは共有要素の第２のビューを含む。第１のビューは、第２のビューとは別個である。要素の例は、図５のレシピ５４５の一部（例えば、チョコチップクッキー及びチョコレートバーの画像）、図６の選択されたメディアアセット６５６、図７のメディアアセット６５７、図８のイラストレーション８４５、図９の環境９４５、図１０の環境１０４５、又はそれらの組み合わせを含む。いくつかの実施例では、第１のコンテンツは、第１の視点から表される要素の第１のビューを含み、第２のコンテンツは、第２の視点から表される要素の第２のビューを含む。第１のビューは、第２のビューとは別個である。第１の視点は、第２の視点とは別個である。要素の例は、図５のレシピ５４５の一部（例えば、チョコチップクッキー及びチョコレートバーの画像）、図６の選択されたメディアアセット６５６、図７のメディアアセット６５７、図８のイラストレーション８４５、図９の環境９４５、図１０の環境１０４５、又はそれらの組み合わせを含む。要素の異なるビュー及び／又は視点の例は、第２のコンテンツ５５０内のレシピ５４５の拡大ビュー５５５とは異なる第１のコンテンツ５３０内のレシピ５４５のビュー、第２のコンテンツ６５０内の選択されたメディアアセット６５６の代替ビュー６５５とは異なる第１のコンテンツ６３０内のメディアアセット６５７のメディアアセットビューアインターフェース６４５、第２のコンテンツ７５０内のメディアアセット６５７の組み合わせ７５５とは異なる第１のコンテンツ６３０内のメディアアセット６５７のメディアアセットビューアインターフェース６４５、第２のコンテンツ８５０内のイラストレーション８４５の代替ビュー８５５とは異なる第１のコンテンツ８３０内のイラストレーション８４５のビュー、第２のコンテンツ９５０内のビデオゲーム９４０の環境９４５の代替ビュー９５５とは異なる第１のコンテンツ９３０内のビデオゲーム９４０の環境９４５のビュー、及び第２のコンテンツ１０５０内のビデオゲーム１０４０の環境１０４５の拡大ビュー１０５５とは異なる第１のコンテンツ１０３０内のビデオゲーム１０４０の環境１０４５のビューを含む。

【0120】

いくつかの実施例では、第１のコンテンツは、要素の２次元（２Ｄ）ビューを含み、第２のコンテンツは、要素の３次元（３Ｄ）ビューを含む。例えば、図６～図７では、（選択されたメディアアセット６５６を含む）メディアアセット６５７の各々の表現は、第１のコンテンツ６３０のメディアアセットビューアインターフェース６４５では２Ｄであり得るが、第２のコンテンツ６５０及び／又は第２のコンテンツ７５０では３Ｄであり得る。図８では、イラストレーション８４５の表現は、第１のコンテンツ８３０のイラストレーションインターフェースでは２Ｄであり得、一方、第２のコンテンツ８５０では、イラストレーション８４５は、（例えば、３Ｄ表面上へのイラストレーション８４５の投影をシミュレートする）３Ｄ表面にマッピングされ得、したがって、イラストレーション８４５の３Ｄ表現であり得る。図１０では、バルーンの表現は、第１のコンテンツ１０３０では２Ｄであり得るが、第２のコンテンツ１０５０では、バルーンは３Ｄで現れ得る。いくつかの実施例では、第１のコンテンツは、要素の３次元（３Ｄ）ビューを含み、第２のコンテンツは、要素の２次元（２Ｄ）ビューを含む。

【0121】

動作１２２０において、ＸＲシステムは、第２のコンテンツを装置からヘッドマウント装置に少なくとも部分的に送信することによって、ヘッドマウント装置の第２のディスプレイを使用して第２のコンテンツを表示させることができる。いくつかの実施例では、動作１２２０は、動作１１４０、動作１１４５、動作１１５０、動作１１５５、動作１１６０、動作１１６５、動作１１７０、動作１１７５、又はそれらの組み合わせを含み得る。ヘッドマウント装置の例は、ヘッドマウント装置２５２、ヘッドマウント装置５２０、ヘッドマウント装置１１１０、又はそれらの組み合わせを含む。ヘッドマウント装置は、例えば、画像捕捉及び処理システム１００、画像捕捉デバイス１０５Ａ、画像処理デバイス１０５Ｂ、画像プロセッサ１５０、ＩＳＰ１５４、ホストプロセッサ１５２、ＸＲシステム２００、ヘッドマウント装置２５２、ＨＭＤ３１０、モバイルハンドセット４１０、ヘッドマウント装置５２０、ヘッドマウント装置１１１０、コンピューティングシステム１３００、プロセッサ１３１０、ワイヤレス通信デバイス、又はそれらの組み合わせを含み得る。

【0122】

画像捕捉及び処理システム１００、画像捕捉デバイス１０５Ａ、画像処理デバイス１０５Ｂ、画像プロセッサ１５０、ＩＳＰ１５４、ホストプロセッサ１５２、ＸＲシステム２００、装置２０２、ヘッドマウント装置２５２、プロセッサ２０６、プロセッサ２５６、ＨＭＤ３１０、モバイルハンドセット４１０、装置５１０、ヘッドマウント装置５２０、装置１１０５、ヘッドマウント装置１１１０、コンピューティングシステム１３００、プロセッサ１３１０、ワイヤレス通信デバイス、非一時的コンピュータ可読媒体から命令を読み取るプロセッサを有するシステム、又はそれらの組み合わせ。

【0123】

いくつかの実施例では、装置及びヘッドマウント装置は、両方ともユーザに関連付けられる。例えば、ＸＲシステムが動作（単数又は複数）１２０５、１２１０、１２１５、１２２０、及び／又はプロセス１２００に関して説明した任意の他の動作を実行する期間中に、装置及びヘッドマウント装置の両方がユーザによって使用されてもよい。ユーザの例は、画像捕捉及び処理システム１００のユーザ、ＸＲシステム２００のユーザ、装置２０２及びヘッドマウント装置２５２のユーザ、モバイルハンドセット２０４及びヘッドマウント装置２５２のユーザ、ＨＭＤ２５４のユーザ、ＨＭＤ３１０のユーザ３２０、モバイルハンドセット４１０のユーザ、装置５１０及びヘッドマウント装置５２０のユーザ５０５、モバイルハンドセット５１５及びＨＭＤ５２５のユーザ５０５、装置１１０５及びヘッドマウント装置１１１０のユーザ、コンピューティングシステム１３００のユーザ、又はそれらの組み合わせを含む。

【0124】

いくつかの実施例では、装置及びヘッドマウント装置は、異なるデバイスタイプ、デバイスカテゴリ、デバイス形状因子、又はそれらの組み合わせである。例えば、いくつかの実施例では、装置は、モバイルハンドセット（例えば、モバイルハンドセット２０４、モバイルハンドセット４１０、モバイルハンドセット５１５）であり、ヘッドマウント装置は、ＨＭＤ（例えば、ＨＭＤ２５４、ＨＭＤ３１０、ＨＭＤ５２５）である。いくつかの実施例では、装置及びヘッドマウント装置は、ユーザの身体の異なる部分を使用してユーザによって使用される。例えば、いくつかの実施例では、装置は、ユーザの１つ又は複数の手によって使用及び／又は装着され、ヘッドマウント装置は、ユーザの頭部によって使用及び／又は装着される。

【0125】

いくつかの実施例では、装置の第１のディスプレイ及びヘッドマウント装置の第２のディスプレイは、異なるディスプレイタイプ、ディスプレイカテゴリ、ディスプレイ形状因子、又はそれらの組み合わせである。例えば、いくつかの実施例では、ヘッドマウント装置の第２のディスプレイは、１つ又は複数の光透過性ディスプレイを含む。１つ又は複数の光透過性ディスプレイは、１つ又は複数の光学「シースルー」ディスプレイと呼ばれることがある。第２のディスプレイが１つ又は複数の光透過性ディスプレイを含む例では、現実世界環境からの光は、（例えば、透明、半透明、受光性、光許容性、及び／又は光透過性であり得る）第２のディスプレイの少なくとも一部（単数又は複数）を通過して、ユーザの眼に到達することができる。いくつかの実施例では、第２のコンテンツは、ユーザが環境を見るビューの少なくとも一部の上にオーバーレイされるように表示され得る。いくつかの実施例では、装置の第１のディスプレイは、任意の光透過性ディスプレイ又は光学的「シースルー」ディスプレイを欠いており、及び／又は含まず、光透過性ではない（例えば、第１のディスプレイは、遮光及び／又は不透明である）。いくつかの実施例では、装置の第１のディスプレイが、１つ又は複数の光透過性ディスプレイを含み、かつ少なくとも部分的に光透過性である一方で、ヘッドマウント装置の第２のディスプレイが、光透過性ディスプレイを欠いており、かつ光透過性でないディスプレイを含むという点で、逆は真である。

【0126】

いくつかの実施例では、ヘッドマウント装置の第２のディスプレイは、１つ又は複数の立体ディスプレイなどの１つ又は複数の３次元（３Ｄ）ディスプレイを含む。３Ｄディスプレイは、ユーザが、例えば、高さ軸（Ｙ軸）及び幅軸（Ｘ軸）に加えて、深度軸（Ｚ軸）に沿った第２のコンテンツにおける知覚可能な差異を伴って、第２のコンテンツを３次元で閲覧することを可能にし得る。深度軸（Ｚ軸）、高さ軸（Ｙ軸）、及び幅軸（Ｘ軸）は、全て互いに対して垂直である。いくつかの実施例では、第２のディスプレイは、１つ又は複数の３Ｄディスプレイを含むが、装置の第１のディスプレイは、３Ｄディスプレイを欠いているか、又は３Ｄディスプレイを含まず、１つ又は複数の２Ｄディスプレイに限定される。２Ｄディスプレイ上に表示されると、第１のコンテンツは、高さ軸（Ｙ軸）及び幅軸（Ｘ軸）に沿ってのみ知覚可能な差異を含む。いくつかの実施例では、装置の第１のディスプレイが、第１のコンテンツを３つの知覚可能な次元で表示するための１つ又は複数の３Ｄディスプレイを含む一方で、ヘッドマウント装置の第２のディスプレイが、３Ｄディスプレイを欠いており、かつ第２のコンテンツを２つの知覚可能な次元で表示するための２Ｄディスプレイを含むという点で、逆は真である。

【0127】

いくつかの実施例では、ヘッドマウント装置は、ＨＭＤ３１０及び／又はＨＭＤ５２５などのＨＭＤである。いくつかの実施例では、ヘッドマウント装置は、モバイルハンドセット４１０及び／又はモバイルハンドセット５１５などのモバイルハンドセットである。第２のコンテンツは、通信（単数若しくは複数）２５０、送信（単数若しくは複数）５６０、送信（単数若しくは複数）６６０、送信（単数若しくは複数）７６０、送信（単数若しくは複数）７６０、送信（単数若しくは複数）８６０、送信（単数若しくは複数）９６０、送信（単数若しくは複数）１０６０、又はそれらの組み合わせなどの１つ又は複数の通信を介してヘッドマウント装置に送信され得る。

【0128】

いくつかの実施例では、ＸＲシステム（例えば、装置）は、第２のコンテンツをＸＲシステムの送受信機（単数又は複数）からヘッドマウント装置の送受信機（単数又は複数）に送信することによって、第２のコンテンツをヘッドマウント装置に送信することができる。ＸＲシステムは、ＸＲシステムの送受信機（単数又は複数）を含み得る。ヘッドマウント装置は、ヘッドマウント装置の送受信機（単数又は複数）を含み得る。ＸＲシステムの送受信機（単数又は複数）の例は、送受信機（単数若しくは複数）２２４及び／又は通信インターフェース１３４０を含む。ヘッドマウント装置の送受信機（単数又は複数）の例は、送受信機（単数若しくは複数）２６６及び／又は通信インターフェース１３４０を含む。

【0129】

いくつかの実施例では、ヘッドマウント装置は、表示バッファを含む。動作１２２０におけるように、ヘッドマウント装置の第２のディスプレイを使用して第２のコンテンツを表示させることは、第２のコンテンツをヘッドマウント装置の表示バッファに送信して表示バッファに記憶させることを含むことができる。次いで、ヘッドマウント装置は、第２のディスプレイによって表示される第２のコンテンツを、表示バッファから第２のディスプレイに送信することができる。

【0130】

いくつかの実施例では、ＸＲシステム（例えば、装置）は、結合解除状態から結合状態への遷移の第１の指示を受信することができる。いくつかの実施例では、ＸＲシステム（例えば、装置）は、結合状態から結合解除状態への遷移の第２の指示を受信することができる。装置は、結合状態でヘッドマウント装置に結合される（例えば、接続される）。装置は、結合解除状態でヘッドマウント装置から結合解除される（例えば、切り離される）。場合によっては、ＸＲシステム（例えば、装置）は、結合解除状態から結合状態への遷移の第１の指示を受信したことに応じて、第２のコンテンツを装置からヘッドマウント装置に送信することができる。例えば、いったん装置とヘッドマウント装置とが結合されると、装置は、（動作１２１５におけるように）第２のコンテンツの生成を開始し、及び／又は（動作１２２０におけるように）ヘッドマウント装置への第２のコンテンツの送信を開始することができる。いくつかの実施例では、装置からヘッドマウント装置への第２のコンテンツの送信は、結合解除状態から結合状態への遷移の一部であり得る。結合解除状態から結合状態への遷移は、ユーザが結合状態に入りたいか、及び／又は結合解除状態から出たいかどうかに関するユーザへのクエリに答えるユーザインターフェース入力などのユーザインターフェース入力に基づいて開始され得る。いくつかの実施例では、ＸＲシステム（例えば、装置）は、結合状態から結合解除状態への遷移の第２の指示を受信する前に、第２のコンテンツを装置からヘッドマウント装置に送信することができる。例えば、いったん装置とヘッドマウント装置とが結合解除されると、ＸＲシステム（例えば、装置）は、（動作１２１５におけるように）第２のコンテンツの生成を停止し、及び／又は（動作１２２０におけるように）ヘッドマウント装置への第２のコンテンツを送信することを停止することができる。いくつかの実施例では、装置からヘッドマウント装置への第２のコンテンツの送信は、結合状態から結合解除状態への遷移の一部であり得る。結合状態から結合解除状態への遷移は、ユーザが結合状態を終了したいか、及び／又は結合解除状態に入りたいかどうかに関するユーザへのクエリに答えるユーザインターフェース入力などのユーザインターフェース入力に基づいて開始され得る。

【0131】

いくつかの実施例では、ＸＲシステム（例えば、装置）は、コンテンツ切り替え入力を受信することができる。コンテンツ切り替え入力の受信に応じて、ＸＲシステム（例えば、装置）は、第１のディスプレイを使用して第２のコンテンツを表示させることができる。コンテンツ切り替え入力の受信に応じて、装置は、ヘッドマウント装置への第２のコンテンツを送信することを停止することができる。コンテンツ切り替え入力の受信に応じて、ＸＲシステム（例えば、装置）は、ヘッドマウント装置に第２のコンテンツを表示することを停止させることができる。コンテンツ切り替え入力の受信に応じて、ＸＲシステム（例えば、装置）は、ヘッドマウント装置の第２のディスプレイによって表示される第１のコンテンツを、装置からヘッドマウント装置に送信することができる。コンテンツ切り替え入力の受信に応じて、ＸＲシステム（例えば、装置）は、装置の第１のディスプレイを使用して第１のコンテンツを表示させることを停止することができる。コンテンツ切り替え入力の受信に応じて、ＸＲシステム（例えば、装置）は、装置の第１のディスプレイに第１のコンテンツを表示することを停止させることができる。

【0132】

コンテンツ切り替え入力は、例えば、センサデータ２２６、入力データ２２８、入力インタープリタ２１０によって出力された入力情報、送受信機（単数若しくは複数）２２４によって受信された通信（単数若しくは複数）２５０のうちの少なくとも１つ、ヘッドマウント装置２５２以外の別のデバイスから送受信機（単数若しくは複数）２２４によって受信された他の通信（単数若しくは複数）、センサデータ２６８、入力データ２７０、入力インタープリタ２５７によって出力された入力情報、送受信機（単数若しくは複数）２６６によって受信された通信（単数若しくは複数）２５０のうちの少なくとも１つ、装置２０２以外の別のデバイスから送受信機（単数若しくは複数）２６６によって受信された他の通信（単数若しくは複数）、送受信機（単数若しくは複数）２６６によって送信された通信（単数若しくは複数）２５０のうちの少なくとも１つ、又はそれらの組み合わせを含み得る。

【0133】

いくつかの実施例では、ソフトウェアアプリケーションは、ビデオゲーム９４０及び／又はビデオゲーム１０４０などのビデオゲームである。いくつかの実施例では、第１のコンテンツは、ビデオゲーム内の環境の少なくとも第１の部分を描写し、第２のコンテンツは、ビデオゲーム内の環境の少なくとも第２の部分を描写する。第１の部分及び第２の部分は、互いに別個及び／又は異なっていてもよい。いくつかの実施例では、第２のコンテンツは、第２の部分、及び第１の部分の少なくとも一部を描写する。いくつかの実施例では、第１のコンテンツは、第１の部分、及び第２の部分の少なくとも一部を描写する。例えば、図１０では、環境１０４５内のバルーンのうちの３つのみが、第１のコンテンツ１０３０内で可視である。環境１０４５の第１の部分は、これらの３つのバルーンを含み得る。図１０では、７つのバルーンが、第２のコンテンツ１０５０内の環境１０４５の拡大ビュー１０５５内で可視である。環境１０４５の第２の部分は、４つの追加のバルーンを含み得る。この実施例では、第２のコンテンツ１０５０は、第１の部分と第２の部分との両方を描写している。

【0134】

いくつかの実施例では、ソフトウェアアプリケーションは、ビデオゲーム９４０及び／又はビデオゲーム１０４０などのビデオゲームである。いくつかの実施例では、第１のコンテンツは、第１の視点からのビデオゲーム内の環境の少なくとも第１のビューを描写し、第２のコンテンツは、第２の視点からのビデオゲーム内の環境の少なくとも第２のビューを描写する。第１のビュー及び第２のビューは、互いに別個及び／又は異なっていてもよい。第１の視点及び第２の視点は、互いに別個及び／又は異なっていてもよい。例えば、図９では、第１のコンテンツ９３０は、第１の車の後方の第１の視点からの環境９４５の第１のビューを描写し、第２のコンテンツ９５０は、環境９４５の２つの代替ビュー９５５（第２のビュー（単数又は複数））を含み、すなわち、一方は、トップダウンの鳥瞰図からのビューであり、他方は、２台の車の前、左、及び上からの斜めの視点からのビューである。

【0135】

いくつかの実施例では、ソフトウェアアプリケーションは、メディアアセットビューアアプリケーション６４０などのメディアビューアである。いくつかの実施例では、第１のコンテンツは、メディアビューアを使用して閲覧される少なくとも第１のメディア要素を描写し、第２のコンテンツは、メディアビューアを使用して閲覧される少なくとも第２のメディア要素を描写する。第１のメディア要素及び第２のメディア要素は、互いに別個及び／又は異なっていてもよい。いくつかの実施例では、第２のコンテンツは、第２のメディア要素、及び第１のメディア要素の少なくとも一部を描写する。いくつかの実施例では、第１のコンテンツは、第１のメディア要素、及び第２のメディア要素の少なくとも一部を描写する。例えば、図６のコンテキストでは、第２のメディア要素は、選択されたメディアアセット６５６とすることができ、第１のメディア要素は、メディアアセット６５７のうちの異なるメディアアセット（選択されたメディアアセット６５６以外）とすることができる。図７のコンテキストでは、第１のメディア要素は、メディアアセット６５７のうちの第１のメディアアセットとすることができ、第２のメディア要素は、メディアアセット６５７のうちの第２のメディアアセットとすることができる。

【0136】

いくつかの実施例では、ソフトウェアアプリケーションは、メディアアセットビューアアプリケーション６４０などのメディアビューアである。いくつかの実施例では、第１のコンテンツは、メディアビューアを使用して閲覧されるメディア要素の少なくとも第１のビューを描写し、第２のコンテンツは、メディアビューアを使用して閲覧されるメディア要素の少なくとも第２のビューを描写する。第１のビュー及び第２のビューは、互いに別個及び／又は異なっていてもよい。メディア要素の例は、選択されたメディアアセット６５６であり、これは、図６の第１のコンテンツ６３０及び第２のコンテンツ６５０の両方に現れるが、第１のコンテンツ６３０とは異なる第２のコンテンツ６５０内の視点から閲覧される。図７のコンテキストでは、メディア要素は、例えば、第１のコンテンツ６３０と比較して第２のコンテンツ７５０内で異なって回転されて現れる、メディアアセット６５７の星形又は八面体メディアアセットであってもよい。

【0137】

いくつかの実施例では、ソフトウェアアプリケーションは、イラストレーションツール８４０などのイラストレーションツールである。第１のコンテンツは、イラストレーション８４５などの、イラストレーションツールを使用して示されたイラストレーションの少なくとも第１のビューを描写する。第２のコンテンツは、イラストレーションツールを使用して示されたイラストレーションの少なくとも第２のビューを描写する。第１のビュー及び第２のビューは、互いに別個及び／又は異なっていてもよい。例えば、図８では、イラストレーション８４５は、第１のコンテンツ８３０内のイラストレーション８４５の外観と比較して、第２のコンテンツ８５０において垂直方向に縮小され、水平方向に延長され、及び／又は時計回りに回転されて現れる。

【0138】

いくつかの実施例では、ソフトウェアアプリケーションは、メディアエディタである。メディアエディタの例は、例えば、輝度、コントラスト、色彩度、利得、色合い、色相、又はそれらの何らかの組み合わせなどの画像処理プロパティを編集することによって、メディアアセット（単数又は複数）を編集及び／又は処理することができる、メディアビューア（例えば、メディアアセットビューアアプリケーション６４０）を含み得る。メディアエディタの例は、ユーザが画像又は他のメディアアセットを描画及び／又はそうでなければ編集することを可能にし得る、イラストレーションツール（例えば、イラストレーションツール８４０）を含んでもよい。いくつかの実施例では、第１のコンテンツは、メディアエディタを使用して編集されるメディア要素の少なくとも第１のビューを描写し、第２のコンテンツは、メディアエディタを使用して編集されるメディア要素の少なくとも第２のビューを描写する。

【0139】

いくつかの態様では、撮像システムは、ソフトウェアアプリケーションを使用して、第１のディスプレイを使用して表示される第１のコンテンツを生成する手段と、第１のディスプレイを使用して第１のコンテンツを表示させる手段と、ソフトウェアアプリケーションを使用して、第１のコンテンツに基づいて第２のコンテンツを生成する手段であって、第２のコンテンツが第１のコンテンツとは別個である、手段と、ヘッドマウント装置の第２のディスプレイによって表示される第２のコンテンツを、ヘッドマウント装置に送信する手段と、を含み得る。

【0140】

いくつかの実施例では、第１のコンテンツを生成する手段は、ＸＲシステム２００、装置２０２、プロセッサ２０６、ソフトウェアアプリケーション２０８、第１のコンテンツ生成器２１２、ＨＭＤ３１０、モバイルハンドセット４１０、装置５１０、モバイルハンドセット５１５、ＨＭＤ５２５、装置１１０５、コンピューティングシステム１３００、プロセッサ１３１０、又はそれらの組み合わせを含む。いくつかの実施例では、第１のディスプレイを使用して第１のコンテンツを表示させる手段は、装置２０２、プロセッサ２０６、ソフトウェアアプリケーション２０８、第１のコンテンツ生成器２１２、出力デバイス（単数又は複数）２２２、ＨＭＤ３１０、モバイルハンドセット４１０、装置５１０、モバイルハンドセット５１５、ＨＭＤ５２５、装置１１０５、コンピューティングシステム１３００、プロセッサ１３１０、出力デバイス１３３５、メディアバッファ、又はそれらの組み合わせを含む。いくつかの実施例では、第２のコンテンツを生成する手段は、ＸＲシステム２００、装置２０２、プロセッサ２０６、ソフトウェアアプリケーション２０８、第２のコンテンツ生成器２１４、表示フォーマットのための画像プロセッサ２１６、ＨＭＤ３１０、モバイルハンドセット４１０、装置５１０、モバイルハンドセット５１５、ＨＭＤ５２５、装置１１０５、コンピューティングシステム１３００、プロセッサ１３１０、又はそれらの組み合わせを含む。いくつかの実施例では、ヘッドマウント装置の第２のディスプレイによって表示される第２のコンテンツを、ヘッドマウント装置に送信する手段は、ＸＲシステム２００、装置２０２、プロセッサ２０６、ソフトウェアアプリケーション２０８、第２のコンテンツ生成器２１４、表示フォーマットのための画像プロセッサ２１６、送受信機（単数若しくは複数）２２４、通信（単数若しくは複数）２５０、送受信機（単数若しくは複数）２６６、ヘッドマウント装置２５２、表示フォーマットのための画像プロセッサ２５８、出力デバイス（単数若しくは複数）２６４、ＨＭＤ３１０、モバイルハンドセット４１０、装置５１０、ヘッドマウント装置５２０、モバイルハンドセット５１５、ＨＭＤ５２５、送信（単数若しくは複数）５６０、送信（単数若しくは複数）６６０、送信（単数若しくは複数）７６０、送信（単数若しくは複数）７６０、送信（単数若しくは複数）８６０、送信（単数若しくは複数）９６０、送信（単数若しくは複数）１０６０、装置１１０５、ヘッドマウント装置１１１０、コンピューティングシステム１３００、プロセッサ１３１０、出力デバイス１３３５、通信インターフェース１３４０、又はそれらの組み合わせを含む。

【0141】

いくつかの実施例では、本明細書で説明するプロセス（例えば、図１のプロセス（単数又は複数）、図２のプロセス（単数又は複数）、図５のプロセス（単数又は複数）、図６のプロセス（単数又は複数）、図７のプロセス（単数又は複数）、図８のプロセス（単数又は複数）、図９のプロセス（単数又は複数）、図１０のプロセス（単数又は複数）、プロセス１１００、プロセス１２００、図１３のプロセス（単数又は複数）、及び／又は本明細書で説明する他のプロセス）は、コンピューティングデバイス又は装置によって実行され得る。いくつかの実施例では、本明細書で説明するプロセスは、画像捕捉及び処理システム１００、画像捕捉デバイス１０５Ａ、画像処理デバイス１０５Ｂ、画像プロセッサ１５０、ＩＳＰ１５４、ホストプロセッサ１５２、ＸＲシステム２００、装置２０２、ヘッドマウント装置２５２、ＨＭＤ３１０、モバイルハンドセット４１０、装置５１０、ヘッドマウント装置５２０、装置１１０５、ヘッドマウント装置１１１０、コンピューティングシステム１３００、プロセッサ１３１０、又はそれらの組み合わせによって実行され得る。

【0142】

コンピューティングデバイスは、本明細書に記載されるプロセスプロセスを含む、本明細書に記載されるプロセスを実行するためのリソース能力を有する、モバイルデバイス（例えば、携帯電話）、デスクトップコンピューティングデバイス、タブレットコンピューティングデバイス、ウェアラブルデバイス（例えば、ＶＲヘッドセット、ＡＲヘッドセット、ＡＲ眼鏡、ネットワーク接続されたウォッチ若しくはスマートウォッチ、又は他のウェアラブルデバイス）、サーバコンピュータ、自律車両若しくは自律車両のコンピューティングデバイス、ロボットデバイス、テレビ、及び／又は任意の他のコンピューティングデバイスなどの、任意の好適なデバイスを含み得る。場合によっては、コンピューティングデバイス又は装置は、１つ又は複数の入力デバイス、１つ又は複数の出力デバイス、１つ又は複数のプロセッサ、１つ又は複数のマイクロプロセッサ、１つ又は複数のマイクロコンピュータ、１つ又は複数のカメラ、１つ又は複数のセンサ、及び／又は本明細書で説明するプロセスのステップを実行するように構成される他の構成要素（単数又は複数）などの、様々な構成要素を含み得る。いくつかの実施例では、コンピューティングデバイスは、ディスプレイ、データを通信及び／又は受信するように構成されたネットワークインターフェース、それらの任意の組み合わせ、及び／又は他の構成要素（単数又は複数）を含んでよい。ネットワークインターフェースは、インターネットプロトコル（ＩＰ）ベースのデータ若しくは他のタイプのデータを通信及び／又は受信するように構成され得る。

【0143】

コンピューティングデバイスの構成要素は、回路に実装され得る。例えば、構成要素は、１つ又は複数のプログラマブル電子回路（例えば、マイクロプロセッサ、グラフィックス処理ユニット（ＧＰＵｓ）、デジタル信号プロセッサ（ＤＳＰｓ）、中央処理ユニット（ＣＰＵｓ）、及び／又は他の好適な電子回路）を含み得る、電子回路若しくは他の電子ハードウェアを含むことができる、及び／若しくはそれらを使用して実装されることが可能であり、並びに／又は本明細書で説明する様々な動作を実行するために、コンピュータソフトウェア、ファームウェア、若しくはそれらの任意の組み合わせを含むことができる、及び／若しくはそれらを使用して実装されることが可能である。

【0144】

本明細書で説明するプロセスは、論理フロー図、ブロック図、及び／又は概念図として示されており、その動作は、ハードウェア、コンピュータ命令、又はそれらの組み合わせで実施され得る動作のシーケンスを表す。コンピュータ命令のコンテキストでは、動作は、１つ又は複数のプロセッサによって実行されたとき、記載された動作を実行する、１つ又は複数のコンピュータ可読記憶媒体上に記憶されたコンピュータ実行可能命令を表す。概して、コンピュータ実行可能命令は、特定の機能を実行するか又は特定のデータタイプを実装するルーチン、プログラム、オブジェクト、構成要素、データ構造などを含む。動作が説明される順序は、限定として解釈されることを意図せず、任意の数の説明される動作は、プロセスを実装するために任意の順序で、及び／又は並列に組み合わせることができる。

【0145】

加えて、本明細書において説明されるプロセスは、実行可能命令を用いて構成された１つ又は複数のコンピュータシステムの制御下で実行されてもよく、１つ又は複数のプロセッサ上で、ハードウェアによって、又はそれらの組み合わせで、まとめて実行するコード（例えば、実行可能命令、１つ若しくは複数のコンピュータプログラム、又は１つ又は複数のアプリケーション）として実装されてもよい。上述のように、コードは、例えば、１つ又は複数のプロセッサによって実行可能な複数の命令を備えるコンピュータプログラムの形態で、コンピュータ可読記憶媒体又は機械可読記憶媒体上に記憶されてもよい。コンピュータ可読記憶媒体又は機械可読記憶媒体は、非一時的であってもよい。

【0146】

図１３は、本技術のいくつかの態様を実装するためのシステムの一例を示す図である。詳細には、図１３は、例えば、システムの構成要素が接続１３０５を使用して互いに通信している、内部コンピューティングシステム、リモートコンピューティングシステム、カメラ、又はそれらの任意の構成要素を構成する、任意のコンピューティングデバイスであり得るコンピューティングシステム１３００の一例を示す。接続１３０５は、バスを使用した物理接続、又はチップセットアーキテクチャなどにおけるプロセッサ１３１０への直接接続であってよい。接続１３０５はまた、仮想接続、ネットワーク接続、又は論理接続であってもよい。

【0147】

いくつかの実施形態では、コンピューティングシステム１３００は、本開示において説明する機能が、１つのデータセンター、複数のデータセンター、ピアネットワークなどに分散され得る分散型システムである。いくつかの実施形態では、説明するシステム構成要素の１つ又は複数は、構成要素の説明の対象である機能のうちのいくつか又は全てを各々実施するような多くの構成要素を表す。いくつかの実施形態では、構成要素は物理デバイス又は仮想デバイスとすることができる。

【0148】

例示的なシステム１３００は、少なくとも１つの処理装置（ＣＰＵ又はプロセッサ）１３１０と、読取り専用メモリ（ＲＯＭ）１３２０及びランダムアクセスメモリ（ＲＡＭ）１３２５などのシステムメモリ１３１５を含む様々なシステム構成要素をプロセッサ１３１０に結合する接続１３０５とを含む。コンピューティングシステム１３００は、プロセッサ１３１０と直接接続されるか、プロセッサ１３１０に極めて近接しているか、又はプロセッサ１３１０の一部として統合される、高速メモリのキャッシュ１３１２を含み得る。

【0149】

プロセッサ１３１０は、任意の汎用プロセッサと、記憶デバイス１３３０内に記憶され、プロセッサ１３１０、並びにソフトウェア命令が実際のプロセッサ設計に組み込まれた専用プロセッサを制御するように構成された、サービス１３３２、１３３４、及び１３３６などのハードウェアサービス又はソフトウェアサービスとを含み得る。プロセッサ１３１０は基本的に、複数のコア又はプロセッサ、バス、メモリコントローラ、キャッシュなどを含む、完全に自己完結型のコンピューティングシステムであってもよい。マルチコアプロセッサは、対称であってもよく又は非対称であってもよい。

【0150】

ユーザ対話を可能にするために、コンピューティングシステム１３００は、発話のためのマイクロフォン、ジェスチャ入力又はグラフィカル入力のためのタッチ感知画面、キーボード、マウス、モーション入力、発話などの、任意の数の入力機構を表すことができる、入力デバイス１３４５を含む。コンピューティングシステム１３００は、いくつかの出力機構の１つ又は複数であり得る出力デバイス１３３５を含んでもよい。場合によっては、多モードのシステムは、コンピューティングシステム１３００と通信するためにユーザが複数のタイプの入力／出力を提供することを可能にし得る。コンピューティングシステム１３００は、一般に、ユーザ入力及びシステム出力を支配し管理することができる通信インターフェース１３４０を含み得る。通信インターフェースは、オーディオジャック／プラグ、マイクロフォンジャック／プラグ、ユニバーサルシリアルバス（universal serial bus、ＵＳＢ）ポート／プラグ、Ａｐｐｌｅ（登録商標）Ｌｉｇｈｔｎｉｎｇ（登録商標）ポート／プラグ、Ｅｔｈｅｒｎｅｔポート／プラグ、光ファイバーポート／プラグ、プロプライエタリ有線ポート／プラグ、ＢＬＵＥＴＯＯＴＨ（登録商標）ワイヤレス信号転送、ＢＬＵＥＴＯＯＴＨ（登録商標）低エネルギー（low energy、ＢＬＥ）ワイヤレス信号転送、ＩＢＥＡＣＯＮ（登録商標）ワイヤレス信号転送、無線周波識別（radio-frequency identification、ＲＦＩＤ）ワイヤレス信号転送、近距離通信（near-field communications、ＮＦＣ）ワイヤレス信号転送、専用短距離通信（dedicated short range communication、ＤＳＲＣ）ワイヤレス信号転送、８０２．１１ Ｗｉ－Ｆｉワイヤレス信号転送、ワイヤレスローカルエリアネットワーク（ＷＬＡＮ）信号転送、可視光通信（Visible Light Communication、ＶＬＣ）、ワールドワイドインターオペラビリティフォーマイクロウェーブアクセス（Worldwide Interoperability for Microwave Access、ＷｉＭＡＸ）、赤外線（infrared、ＩＲ）通信ワイヤレス信号転送、公衆交換電話網（Public Switched Telephone Network、ＰＳＴＮ）信号転送、統合サービスデジタルネットワーク（Integrated Services Digital Network、ＩＳＤＮ）信号転送、３Ｇ／４Ｇ／５Ｇ／ＬＴＥセルラーデータネットワークワイヤレス信号転送、アドホックネットワーク信号転送、電波信号転送、マイクロ波信号転送、赤外線信号転送、可視光信号転送、紫外光信号転送、電磁スペクトルに沿ったワイヤレス信号転送、又はそれらの何らかの組み合わせを利用するものを含む、有線及び／又はワイヤレスのトランシーバを使用する有線通信又はワイヤレス通信の受信及び／又は送信を実施し得るか、又は容易にし得る。通信インターフェース１３４０は、１つ又は複数の全地球航法衛星システム（Global Navigation Satellite System、ＧＮＳＳ）システムに関連する１つ又は複数の衛星からの１つ又は複数の信号の受信に基づいて、コンピューティングシステム１３００の位置を決定するために使用される、１つ又は複数のＧＮＳＳ受信機又はトランシーバを含んでもよい。ＧＮＳＳシステムは、限定はしないが、米国の全地球測位システム（ＧＰＳ）、ロシアの全地球航法衛星システム（Global Navigation Satellite System、ＧＬＯＮＡＳＳ）、中国の北斗航法衛星システム（BeiDou Navigation Satellite system、ＢＤＳ）、及び欧州のＧａｌｉｌｅｏ ＧＮＳＳを含む。任意の特定のハードウェア配列で動作することに対して制約がなく、したがって、ここでの基本的な特徴は、それらが開発されるにつれて、改善されたハードウェア配列又はファームウェア配列のために容易に置き換えられてよい。

【0151】

記憶デバイス１３３０は、不揮発性のかつ／又は非一時的なかつ／又はコンピュータ可読のメモリデバイスであってもよく、磁気カセット、フラッシュメモリカード、固体メモリデバイス、デジタル多用途ディスク、カートリッジ、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、磁気ストリップ／ストライプ、任意の他の磁気記憶媒体、フラッシュメモリ、メモリスタメモリ、任意の他の固体メモリ、コンパクトディスク読取り専用メモリ（compact disc read only memory、ＣＤ－ＲＯＭ）光ディスク、再書き込み可能コンパクトディスク（compact disc、ＣＤ）光ディスク、デジタルビデオディスク（digital video disk、ＤＶＤ）光ディスク、ブルーレイディスク（blu-ray disc、ＢＤＤ）光ディスク、ホログラフィック光ディスク、別の光媒体、セキュアデジタル（secure digital、ＳＤ）カード、マイクロセキュアデジタル（micro secure digital、ｍｉｃｒｏＳＤ）カード、メモリスティック（登録商標）カード、スマートカードチップ、ＥＭＶチップ、加入者識別モジュール（subscriber identity module、ＳＩＭ）カード、ミニ／マイクロ／ナノ／ピコＳＩＭカード、別の集積回路（integrated circuit、ＩＣ）チップ／カード、ランダムアクセスメモリ（ＲＡＭ）、スタティックＲＡＭ（static RAM、ＳＲＡＭ）、ダイナミックＲＡＭ（dynamic RAM、ＤＲＡＭ）、読取り専用メモリ（ＲＯＭ）、プログラマブル読取り専用メモリ（programmable read-only memory、ＰＲＯＭ）、消去可能プログラマブル読取り専用メモリ（erasable programmable read-only memory、ＥＰＲＯＭ）、電気的消去可能プログラマブル読取り専用メモリ（electrically erasable programmable read-only memory、ＥＥＰＲＯＭ）、フラッシュＥＰＲＯＭ（ｆｌａｓｈＥＰＲＯＭ、ＦＬＡＳＨＥＰＲＯＭ）、キャッシュメモリ（Ｌ１／Ｌ２／Ｌ３／Ｌ４／Ｌ５／Ｌ＃）、抵抗性ランダムアクセスメモリ（resistive random-access memory、ＲＲＡＭ／ＲｅＲＡＭ）、位相変化メモリ（phase change memory、ＰＣＭ）、スピン転送トルクＲＡＭ（spin transfer torque RAM、ＳＴＴ－ＲＡＭ）、別のメモリチップ若しくはカートリッジ、及び／又はそれらの組み合わせなどの、コンピュータによってアクセス可能であるデータを記憶できるハードディスク又は他のタイプのコンピュータ可読媒体であってよい。

【0152】

記憶デバイス１３３０は、そのようなソフトウェアを定義するコードがプロセッサ１３１０によって実行されると、システムに機能を実施させる、ソフトウェアサービス、サーバ、サービスなどを含み得る。いくつかの実施形態では、特定の機能を実施するハードウェアサービスは、機能を実行するために、プロセッサ１３１０、接続１３０５、出力デバイス１３３５などの必要なハードウェア構成要素に関してコンピュータ可読媒体内に記憶された、ソフトウェア構成要素を含み得る。

【0153】

本明細書で使用する「コンピュータ可読媒体」という用語は、限定はしないが、携帯型又は非携帯型の記憶デバイス、光記憶デバイス、並びに命令及び／又はデータを記憶、格納、又は搬送することが可能な様々な他の媒体を含む。コンピュータ可読媒体は、データが記憶され、かつワイヤレスで若しくは有線接続を介して伝搬する搬送波及び／又は一時的な電子信号を含まない、非一時的媒体を含んでもよい。非一時的媒体の例としては、限定はしないが、磁気ディスク若しくはテープ、コンパクトディスク（ＣＤ）若しくはデジタル多用途ディスク（ＤＶＤ）などの光記憶媒体、フラッシュメモリ、メモリ、又はメモリデバイスが挙げられ得る。コンピュータ可読媒体は、プロシージャ、関数、サブプログラム、プログラム、ルーチン、サブルーチン、モジュール、ソフトウェアパッケージ、クラス、又は命令、データ構造、若しくはプログラムステートメントの任意の組み合わせを表し得る、コンピュータ可読媒体上に記憶されたコード及び／又は機械実行可能命令を有してもよい。コードセグメントは、情報、データ、引数、パラメータ、又はメモリコンテンツを渡すこと及び／又は受けることによって、別のコードセグメント又はハードウェア回路に結合されてもよい。情報、引数、パラメータ、データなどは、メモリ共有、メッセージパッシング、トークンパッシング、ネットワーク伝送などを含む、任意の適切な手段を使用して渡され、転送され、又は伝送されてもよい。

【0154】

いくつかの実施形態では、コンピュータ可読記憶デバイス、媒体、及びメモリは、ビットストリームなどを含むケーブル又はワイヤレス信号を含み得る。しかしながら、言及する場合、非一時的コンピュータ可読記憶媒体は、エネルギー、キャリア信号、電磁波、及び信号自体などの媒体を明確に除外する。

【0155】

本明細書で提供する実施形態及び例の完全な理解を与えるために、上記の説明において具体的な詳細が提供されている。しかしながら、実施形態がこれらの具体的な詳細なしに実践され得ることが当業者によって理解されよう。説明を分かりやすくするために、いくつかの事例では、本技術は、デバイス、デバイス構成要素、ソフトウェアの中で具現される方法におけるステップ若しくはルーチン、又はハードウェアとソフトウェアとの組み合わせを備える機能ブロックを含む、個々の機能ブロックを含むものとして提示されることがある。図中に示され、及び／又は本明細書で説明される構成要素以外の、追加の構成要素が使用されてもよい。例えば、不必要な詳細で実施形態を不明瞭にしないように、回路、システム、ネットワーク、プロセス、及び他の構成要素がブロック図の形態で構成要素として示されてもよい。他の事例では、実施形態を不明瞭にすることを避けるために、よく知られている回路、プロセス、アルゴリズム、構造、及び技法は、不必要な詳細なしに示されてもよい。

【0156】

個々の実施形態は、フローチャート、フロー図、データフロー図、構造図、又はブロック図として示されるプロセス又は方法として上記で説明されてもよい。フローチャートは、動作を逐次プロセスとして説明することがあるが、動作の多くは並列に又は同時に実行することができる。加えて、動作の順序は並べ替えられてもよい。プロセスは、その動作が完了するときに終了するが、図に含まれていない追加のステップを有することができる。プロセスは、メソッド、関数、プロシージャ、サブルーチン、サブプログラムなどに対応してもよい。プロセスが関数に対応するとき、その終了は、その関数が呼出し関数又はメイン関数に戻ることに対応することができる。

【0157】

上記で説明した例によるプロセス及び方法は、コンピュータ可読媒体に記憶されているか、又はそうでなければコンピュータ可読媒体から入手可能なコンピュータ実行可能命令を使用して実装され得る。そのような命令は、例えば、汎用コンピュータ、専用コンピュータ、若しくは処理デバイスにいくつかの機能若しくは機能の群を実施させるか、又は場合によっては、いくつかの機能若しくは機能の群を実施するように汎用コンピュータ、専用コンピュータ、若しくは処理デバイスを構成する、命令及びデータを含み得る。使用されるコンピュータリソースの部分は、ネットワークを介してアクセス可能であり得る。コンピュータ実行可能命令は、例えば、アセンブリ言語、ファームウェア、ソースコードなどの、バイナリ、中間フォーマット命令であってもよい。命令、使用される情報、及び／又は説明する例による方法の間に作成される情報を記憶するために使用されることがあるコンピュータ可読媒体の例としては、磁気又は光ディスク、フラッシュメモリ、不揮発性メモリを備えたＵＳＢデバイス、ネットワーク接続された記憶デバイスなどが挙げられる。

【0158】

これらの開示に従ってプロセス及び方法を実施するデバイスは、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、又はそれらの任意の組み合わせを含むことができ、様々なフォームファクタのうちのいずれかをとることができる。ソフトウェア、ファームウェア、ミドルウェア、又はマイクロコードにおいて実装されるとき、必要なタスクを実行するためのプログラムコード又はコードセグメント（例えば、コンピュータプログラム製品）は、コンピュータ可読媒体又は機械可読媒体に記憶されてもよい。プロセッサ（単数又は複数）は、必要なタスクを実行してもよい。フォームファクタの典型的な例は、ラップトップ、スマートフォン、携帯電話、タブレットデバイス又は他の小スペース型パーソナルコンピュータ、携帯情報端末、ラックマウントデバイス、スタンドアロンデバイスなどを含む。本明細書で説明した機能はまた、周辺装置又はアドインカードで具現化され得る。そのような機能はまた、更なる例として、異なるチップのうちの回路基板上、又は単一のデバイスにおいて実行する異なるプロセス上で実施され得る。

【0159】

命令、そのような命令を伝えるための媒体、命令を実行するためのコンピューティングリソース、及びそのようなコンピューティングリソースをサポートするための他の構造は、本開示で説明した機能を提供するための例示的な手段である。

【0160】

上記の説明では、本出願の態様はそれらの特定の実施形態を参照しながら説明されるが、本出願がそれらに限定されないことを当業者は認識されよう。したがって、本出願の例示的な実施形態が本明細書で詳細に説明されているが、本発明の概念が別のやり方で様々に具現及び採用され得ること、並びに従来技術によって限定される場合を除き、添付の特許請求の範囲がそのような変形を含むものと解釈されることが意図されることを理解されたい。上記で説明した本出願の様々な特徴及び態様は、個別に又は共同で使用され得る。更に、実施形態は、本明細書のより広い趣旨及び範囲から逸脱することなく、本明細書で説明されるもの以外の任意の数の環境及び適用例において利用することができる。したがって、本明細書及び図面は、限定的ではなく例示的と見なされるべきである。例示の目的のために、方法は特定の順序で説明された。代替実施形態では、方法は、説明された順序とは異なる順序で実行されてもよいことを理解されたい。

【0161】

本明細書において使用される、よりも小さい（「＜」）及びよりも大きい（「＞」）という記号又は用語は、本説明の範囲から逸脱することなく、それぞれ、以下（「≦」）及び以上（「≧」）という記号で置き換えられ得ることを、当業者は理解するであろう。

【0162】

構成要素が特定の動作を実行する「ように構成されている」ものとして説明される場合、そのような構成は、例えば、動作を実行するように電子回路若しくは他のハードウェアを設計することによって、動作を実行するようにプログラマブル電子回路（例えば、マイクロプロセッサ、又は他の適切な電子回路）をプログラムすることによって、又はそれらの任意の組み合わせで達成され得る。

【0163】

「に結合された」という句は、直接的若しくは間接的のいずれかで別の構成要素に物理的に接続されている任意の構成要素、及び／又は直接的若しくは間接的のいずれかで別の構成要素と通信している（例えば、有線接続若しくはワイヤレス接続及び／又は他の好適な通信インターフェースを介して他の構成要素に接続されている）任意の構成要素を指す。

【0164】

集合「のうちの少なくとも１つ」及び／又は集合のうちの「１つ以上」と記載する請求項の文言又は他の文言は、集合の１つのメンバー又は集合の（任意の組み合わせでの）複数のメンバーが請求項を満たすことを示す。例えば、「Ａ及びＢのうちの少なくとも１つ」と記載する請求項の文言は、Ａ、Ｂ、又はＡ及びＢを意味する。別の例では、「Ａ、Ｂ、及びＣのうちの少なくとも１つ」と記載する請求項の文言は、Ａ、Ｂ、Ｃ、又はＡ及びＢ、又はＡ及びＣ、又はＢ及びＣ、又はＡ及びＢ及びＣを意味する。集合「のうちの少なくとも１つ」及び／又は集合のうちの「１つ又は複数」という文言は、集合の中で列挙される項目にその集合を限定しない。例えば、「Ａ及びＢのうちの少なくとも１つ」を記述する請求項の文言は、Ａ、Ｂ、又はＡ及びＢを意味することができ、加えて、Ａ及びＢの集合に列挙されていない項目を更に含むことができる。

【0165】

本明細書で開示する実施形態に関して説明した様々な例示的な論理ブロック、モジュール、回路、及びアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、ファームウェア、又はそれらの組み合わせとして実装され得る。ハードウェアとソフトウェアのこの互換性を明確に示すために、様々な例示的な構成要素、ブロック、モジュール、回路、及びステップについて、それらの機能に関して概略的に上記で説明した。そのような機能がハードウェアとして実装されるのか又はソフトウェアとして実装されるのかは、特定の適用例及びシステム全体に課される設計上の制約に依存する。当業者は、説明した機能を特定の適用例ごとに様々な方法で実装し得るが、そのような実装の決定は、本出願の範囲から逸脱する原因として解釈されるべきではない。

【0166】

本明細書で説明される技法はまた、電子ハードウェア、コンピュータソフトウェア、ファームウェア、又はそれらの任意の組み合わせにおいて実装され得る。そのような技法は、汎用コンピュータ、ワイヤレス通信デバイスハンドセット、又はワイヤレス通信デバイスハンドセット及び他のデバイスにおける適用例を含む複数の用途を有する集積回路デバイスなどの、様々なデバイスのうちのいずれかにおいて実装されてもよい。モジュール又は構成要素として説明した任意の特徴は、集積ロジックデバイスの中で一緒に、又は個別であるが相互動作可能なロジックデバイスとして別々に実装され得る。ソフトウェアで実装される場合、技法は、実行されると、上で説明された方法のうちの１つ以上を実施する命令を含むプログラムコードを備える、コンピュータ可読データ記憶媒体によって少なくとも部分的に実現されてよい。コンピュータ可読データ記憶媒体は、コンピュータプログラム製品の一部を形成してもよく、これはパッケージ材料を含んでもよい。コンピュータ可読媒体は、同期ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）などのランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（non-volatile random access memory、ＮＶＲＡＭ）、電気的消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、磁気又は光データ記憶媒体などの、メモリ又はデータ記憶媒体を備えてもよい。技法は、追加又は代替として、命令又はデータ構造の形態でのプログラムコードを搬送又は通信し得る、かつコンピュータによってアクセスされ、読み取られ、及び／又は実行され得る、伝搬される信号又は波などの、コンピュータ可読通信媒体によって少なくとも部分的に実現されてもよい。

【0167】

プログラムコードは、１つ又は複数のデジタル信号プロセッサ（ＤＳＰｓ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣｓ）、フィールドプログラマブルロジックアレイ（ＦＰＧＡｓ）、又は他の同等の集積論理回路若しくは個別論理回路などの１つ又は複数のプロセッサを含み得る、プロセッサによって実行されてもよい。そのようなプロセッサは、本開示に記載された技法のいずれかを実施するように構成されてもよい。汎用プロセッサは、マイクロプロセッサであってもよい代わりに、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、又はステートマシンでもあってもよい。プロセッサはまた、コンピューティングデバイスの組み合わせ、例えば、ＤＳＰとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアと連携した１つ又は複数のマイクロプロセッサ、又は任意の他のそのような構成として実装されてもよい。したがって、本明細書で使用する「プロセッサ」という用語は、上記の構造、上記の構造の任意の組み合わせ、又は本明細書で説明した技法の実装に適した任意の他の構造若しくは装置のうちのいずれかを指すことがある。加えて、いくつかの態様では、本明細書で説明した機能性は、符号化及び復号のために構成された専用のソフトウェアモジュール若しくはハードウェアモジュール内に設けられてよく、又は複合ビデオエンコーダデコーダ（combined video encoder-decoder、ＣＯＤＥＣ）内に組み込まれてよい。

【0168】

本開示の例示的な態様は以下を含む。

【0169】

態様１．装置であって、少なくとも１つのメモリと、少なくとも１つのメモリに結合された１つ又は複数のプロセッサであって、ソフトウェアアプリケーションを使用して、装置の第１のディスプレイを使用して表示される第１のコンテンツを生成し、装置の第１のディスプレイを使用して第１のコンテンツを表示させ、ソフトウェアアプリケーションを使用して、第１のコンテンツに基づいて第２のコンテンツを生成し、第２のコンテンツが第１のコンテンツとは別個であり、第２のコンテンツをヘッドマウント装置に少なくとも部分的に送信することによって、ヘッドマウント装置の第２のディスプレイを使用して第２のコンテンツを表示させる、ように構成された、１つ又は複数のプロセッサと、を備える、装置。

【0170】

態様２．装置の第１のディスプレイ及びヘッドマウント装置の第２のディスプレイが、異なるディスプレイタイプである、態様１に記載の装置。

【0171】

態様３．ヘッドマウント装置の第２のディスプレイが、光透過性ディスプレイ又は３次元ディスプレイのうちの少なくとも１つを含む、態様１又は２に記載の装置。

【0172】

態様４．第１のコンテンツが、第１の視点から表された要素の第１のビューを含み、第２のコンテンツが、第２の視点から表された要素の第２のビューを含み、第１の視点が第２の視点とは別個である、態様１～３のいずれかに記載の装置。

【0173】

態様５．第１のコンテンツが、要素の２次元（２Ｄ）ビューを含み、第２のコンテンツが、要素の３次元（３Ｄ）ビューを含む、態様１～４のいずれかに記載の装置。

【0174】

態様６．第１のコンテンツが、要素の３次元（３Ｄ）ビューを含み、第２のコンテンツが、要素の２次元（２Ｄ）ビューを含む、態様１～５のいずれかに記載の装置。

【0175】

態様７．１つ又は複数のプロセッサが、入力インターフェースを使用して１つ又は複数の入力を受信するように構成されており、第１のコンテンツを生成するために、１つ又は複数のプロセッサが、１つ又は複数の入力に基づいて第１のコンテンツを生成するように構成されている、態様１～６のいずれかに記載の装置。

【0176】

態様８．１つ又は複数のプロセッサが、入力インターフェースを使用して１つ又は複数の入力を受信するように構成されており、第２のコンテンツを生成するために、１つ又は複数のプロセッサが、１つ又は複数の入力に基づいて第２のコンテンツを生成するように構成されている、態様１～７のいずれかに記載の装置。

【0177】

態様９．１つ又は複数のプロセッサが、結合解除状態から結合状態への遷移の指示を受信するように構成されており、装置が、結合状態でヘッドマウント装置に結合され、装置が、結合解除状態でヘッドマウント装置から結合解除され、第２のコンテンツをヘッドマウント装置に送信するために、１つ又は複数のプロセッサが、指示を受信したことに応じて、第２のコンテンツをヘッドマウント装置に送信するように構成されている、態様１～８のいずれかに記載の装置。

【0178】

態様１０．１つ又は複数のプロセッサが、第２のコンテンツをヘッドマウント装置に送信したことに応じて、結合状態から結合解除状態への遷移の指示を受信するように構成されており、装置が、結合状態でヘッドマウント装置に結合され、装置が、結合解除状態でヘッドマウント装置から結合解除され、第２のコンテンツをヘッドマウント装置に送信するために、１つ又は複数のプロセッサが、指示を受信する前に第２のコンテンツをヘッドマウント装置に送信するように構成されている、態様１～９のいずれかに記載の装置。

【0179】

態様１１．１つ又は複数のプロセッサが、コンテンツ切り替え入力を受信し、コンテンツ切り替え入力の受信に応じて、第１のディスプレイを使用して第２のコンテンツを表示させ、コンテンツ切り替え入力の受信に応じて、ヘッドマウント装置の第２のディスプレイによって表示される第１のコンテンツをヘッドマウント装置に送信する、ように構成されている、態様１～１０のいずれかに記載の装置。

【0180】

態様１２．第１のコンテンツが、ソフトウェアアプリケーションのソフトウェアアプリケーションタイプに関連付けられた第１のメディア要素の第１のビューを表し、第２のコンテンツが、ソフトウェアアプリケーションのソフトウェアアプリケーションタイプに関連付けられた第１のメディア要素又は第２のメディア要素の第２のビューを表し、ソフトウェアアプリケーションタイプが、ビデオゲーム、メディアビューア、イラストレーションツール、メディアエディタ、ブラウザ、対話式環境、又は通信プラットフォームのうちの少なくとも１つを含む、態様１～１１のいずれかに記載の装置。

【0181】

態様１３．ソフトウェアアプリケーションが、ビデオゲームであり、第１のコンテンツが、ビデオゲーム内の環境の少なくとも第１の部分を描写し、第２のコンテンツが、ビデオゲーム内の環境の少なくとも第２の部分を描写する、態様１～１２のいずれかに記載の装置。

【0182】

態様１４．ソフトウェアアプリケーションが、ビデオゲームであり、第１のコンテンツが、第１の視点からのビデオゲーム内の環境の少なくとも第１のビューを描写し、第２のコンテンツが、第２の視点からのビデオゲーム内の環境の少なくとも第２のビューを描写する、態様１～１３のいずれかに記載の装置。

【0183】

態様１５．ソフトウェアアプリケーションが、メディアビューアであり、第１のコンテンツが、メディアビューアを使用して閲覧される少なくとも第１のメディア要素を描写し、第２のコンテンツが、メディアビューアを使用して閲覧される少なくとも第２のメディア要素を描写する、態様１～１４のいずれかに記載の装置。

【0184】

態様１６．ソフトウェアアプリケーションが、メディアビューアであり、第１のコンテンツが、メディアビューアを使用して閲覧されるメディア要素の少なくとも第１のビューを描写し、第２のコンテンツが、メディアビューアを使用して閲覧されるメディア要素の少なくとも第２のビューを描写する、態様１～１５のいずれかに記載の装置。

【0185】

態様１７．ソフトウェアアプリケーションが、イラストレーションツールであり、第１のコンテンツが、イラストレーションツールを使用して図示されるイラストレーションの少なくとも第１のビューを描写し、第２のコンテンツが、イラストレーションツールを使用して図示されるイラストレーションの少なくとも第２のビューを描写する、態様１～１６のいずれかに記載の装置。

【0186】

態様１８．ソフトウェアアプリケーションが、メディアエディタであり、第１のコンテンツが、メディアエディタを使用して編集されるメディア要素の少なくとも第１のビューを描写し、第２のコンテンツが、メディアエディタを使用して編集されるメディア要素の少なくとも第２のビューを描写する、態様１～１７のいずれかに記載の装置。

【0187】

態様１９．第１のコンテンツを表示するように構成された第１のディスプレイを更に備える、態様１～１８のいずれかに記載の装置。

【0188】

態様２０．第１のディスプレイが、タッチスクリーンディスプレイである、態様１～１９のいずれかに記載の装置。

【0189】

態様２１．装置が、モバイルハンドセット及びワイヤレス通信デバイスのうちの少なくとも１つを含む、態様１～２０のいずれかに記載の装置。

【0190】

態様２２．ヘッドマウント装置が、ヘッドマウントディスプレイを含む、態様１～２１のいずれかに記載の装置。

【0191】

態様２３．装置及びヘッドマウント装置が、両方ともユーザに関連付けられ、異なるデバイスタイプである、態様１～２２のいずれかに記載の装置。

【0192】

態様２４．エクステンデッドリアリティ（ＸＲ）用のデバイス相互運用性の方法であって、装置のソフトウェアアプリケーションを使用して、装置の第１のディスプレイを使用して表示される第１のコンテンツを生成することと、装置の第１のディスプレイを使用して第１のコンテンツを表示させることと、装置のソフトウェアアプリケーションを使用して、第１のコンテンツに基づいて第２のコンテンツを生成することであって、第２のコンテンツが第１のコンテンツとは別個である、生成することと、第２のコンテンツを装置からヘッドマウント装置に少なくとも部分的に送信することによって、ヘッドマウント装置の第２のディスプレイを使用して第２のコンテンツを表示させることと、を含む、方法。

【0193】

態様２５．装置の第１のディスプレイ及びヘッドマウント装置の第２のディスプレイが、異なるディスプレイタイプである、態様２４に記載の方法。

【0194】

態様２６．ヘッドマウント装置の第２のディスプレイが、光透過性ディスプレイ又は３次元ディスプレイのうちの少なくとも１つを含む、態様２４又は２５に記載の方法。

【0195】

態様２７．第１のコンテンツが、要素の第１のビューを含み、第２のコンテンツが、要素の第２のビューを含み、第１のビューが第２のビューとは別個である、態様２４～２６のいずれかに記載の方法。

【0196】

態様２８．第１のコンテンツが、要素の２次元（２Ｄ）ビューを含み、第２のコンテンツが、要素の３次元（３Ｄ）ビューを含む、態様２４～２７のいずれかに記載の方法。

【0197】

態様２９．第１のコンテンツが、要素の３次元（３Ｄ）ビューを含み、第２のコンテンツが、要素の２次元（２Ｄ）ビューを含む、態様２４～２８のいずれかに記載の方法。

【0198】

態様３０．入力インターフェースを使用して１つ又は複数の入力を受信することを更に含み、第１のコンテンツを生成することが、１つ又は複数の入力に基づく、態様２４～２９のいずれかに記載の方法。

【0199】

態様３１．入力インターフェースを使用して１つ又は複数の入力を受信することを更に含み、第２のコンテンツを生成することが、１つ又は複数の入力に基づく、態様２４～３０のいずれかに記載の方法。

【0200】

態様３２．結合解除状態から結合状態への遷移の指示を受信することを更に含み、装置が、結合状態でヘッドマウント装置に結合され、装置が、結合解除状態でヘッドマウント装置から結合解除され、第２のコンテンツをヘッドマウント装置に送信することが、指示を受信したことに応じて実行される、態様２４～３１のいずれかに記載の方法。

【0201】

態様３３．第２のコンテンツをヘッドマウント装置に送信したことに応じて、結合状態から結合解除状態への遷移の指示を受信することを更に含み、装置が、結合状態でヘッドマウント装置に結合され、装置が、結合解除状態でヘッドマウント装置から結合解除され、第２のコンテンツをヘッドマウント装置に送信することが、指示を受信する前に実行される、態様２４～３２のいずれかに記載の方法。

【0202】

態様３４．コンテンツ切り替え入力を受信することと、コンテンツ切り替え入力の受信に応じて、装置の第１のディスプレイを使用して第２のコンテンツを表示させることと、コンテンツ切り替え入力の受信に応じて、ヘッドマウント装置の第２のディスプレイによって表示される第１のコンテンツを装置からヘッドマウント装置に送信することと、を更に含む、態様２４～３３のいずれかに記載の方法。

【0203】

態様３５．第１のコンテンツが、ソフトウェアアプリケーションのソフトウェアアプリケーションタイプに関連付けられた第１のメディア要素の第１のビューを表し、第２のコンテンツが、ソフトウェアアプリケーションのソフトウェアアプリケーションタイプに関連付けられた第１のメディア要素又は第２のメディア要素の第２のビューを表し、ソフトウェアアプリケーションタイプが、ビデオゲーム、メディアビューア、イラストレーションツール、メディアエディタ、ブラウザ、対話式環境、又は通信プラットフォームのうちの少なくとも１つを含む、態様２４～３４のいずれかに記載の方法。

【0204】

態様３６．ソフトウェアアプリケーションが、ビデオゲームであり、第１のコンテンツが、ビデオゲーム内の環境の少なくとも第１の部分を描写し、第２のコンテンツが、ビデオゲーム内の環境の少なくとも第２の部分を描写する、態様２４～３５のいずれかに記載の方法。

【0205】

態様３７．ソフトウェアアプリケーションが、ビデオゲームであり、第１のコンテンツが、第１の視点からのビデオゲーム内の環境の少なくとも第１のビューを描写し、第２のコンテンツが、第２の視点からのビデオゲーム内の環境の少なくとも第２のビューを描写する、態様２４～３６のいずれかに記載の方法。

【0206】

態様３８．ソフトウェアアプリケーションが、メディアビューアであり、第１のコンテンツが、メディアビューアを使用して閲覧される少なくとも第１のメディア要素を描写し、第２のコンテンツが、メディアビューアを使用して閲覧される少なくとも第２のメディア要素を描写する、態様２４～３７のいずれかに記載の方法。

【0207】

態様３９．ソフトウェアアプリケーションが、メディアビューアであり、第１のコンテンツが、メディアビューアを使用して閲覧されるメディア要素の少なくとも第１のビューを描写し、第２のコンテンツが、メディアビューアを使用して閲覧されるメディア要素の少なくとも第２のビューを描写する、態様２４～３８のいずれかに記載の方法。

【0208】

態様４０．ソフトウェアアプリケーションが、イラストレーションツールであり、第１のコンテンツが、イラストレーションツールを使用して図示されるイラストレーションの少なくとも第１のビューを描写し、第２のコンテンツが、イラストレーションツールを使用して図示されるイラストレーションの少なくとも第２のビューを描写する、態様２４～３９のいずれかに記載の方法。

【0209】

態様４１．ソフトウェアアプリケーションが、メディアエディタであり、第１のコンテンツが、メディアエディタを使用して編集されるメディア要素の少なくとも第１のビューを描写し、第２のコンテンツが、メディアエディタを使用して編集されるメディア要素の少なくとも第２のビューを描写する、態様２４～４０のいずれかに記載の方法。

【0210】

態様４２．方法が、装置によって実行され、装置が、第１のコンテンツを表示するように構成された第１のディスプレイを含む、態様２４～４１のいずれかに記載の方法。

【0211】

態様４３．第１のディスプレイが、タッチスクリーンディスプレイである、態様２４～４２のいずれかに記載の方法。

【0212】

態様４４．装置が、モバイルハンドセット及びワイヤレス通信デバイスのうちの少なくとも１つを含む、態様２４～４３のいずれかに記載の方法。

【0213】

態様４５．ヘッドマウント装置が、ヘッドマウントディスプレイを含む、態様２４～４４のいずれかに記載の方法。

【0214】

態様４６．装置及びヘッドマウント装置が、両方ともユーザに関連付けられ、異なるデバイスタイプである、態様２４～４５のいずれかに記載の方法。

【0215】

態様４７．装置の１つ又は複数のプロセッサによって実行されると、１つ又は複数のプロセッサに態様１～４６のいずれかに記載の動作を実行させる命令を記憶した、装置の非一時的コンピュータ可読媒体。

【0216】

態様４８．態様１～４６のいずれかによる動作を実行する１つ又は複数の手段を含む、エクステンデッドリアリティ（ＸＲ）用のデバイス相互運用性のための装置。

【図1】

【図2】

【図3A】

【図3B】

【図4A】

【図4B】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【国際調査報告】