特表 2024-538548 コンテンツアイテムのためのポータルビュー

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-10-23

(54)【発明の名称】コンテンツアイテムのためのポータルビュー

(51)【国際特許分類】

   G06T 19/00 20110101AFI20241016BHJP

   G09G 5/00 20060101ALI20241016BHJP

   G09G 5/36 20060101ALI20241016BHJP

   G06F 3/01 20060101ALI20241016BHJP

   G06F 3/14 20060101ALI20241016BHJP

【ＦＩ】

G06T19/00 A

G09G5/00 550C

G09G5/00 510A

G09G5/36 500

G06F3/01 510

G06F3/14 A

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024518372

(86)(22)【出願日】2022-09-20

(85)【翻訳文提出日】2024-03-22

(86)【国際出願番号】 US2022044059

(87)【国際公開番号】W WO2023049087

(87)【国際公開日】2023-03-30

(31)【優先権主張番号】63/247,922

(32)【優先日】2021-09-24

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＦＩＲＥＷＩＲＥ

２．ＴＨＵＮＤＥＲＢＯＬＴ

３．ＢＬＵＥＴＯＯＴＨ

４．ＺＩＧＢＥＥ

(71)【出願人】

【識別番号】503260918

【氏名又は名称】アップル インコーポレイテッド

【氏名又は名称原語表記】Ａｐｐｌｅ Ｉｎｃ．

【住所又は居所原語表記】Ｏｎｅ Ａｐｐｌｅ Ｐａｒｋ Ｗａｙ，Ｃｕｐｅｒｔｉｎｏ， Ｃａｌｉｆｏｒｎｉａ ９５０１４， Ｕ．Ｓ．Ａ．

(74)【代理人】

【識別番号】100094569

【弁理士】

【氏名又は名称】田中 伸一郎

(74)【代理人】

【識別番号】100103610

【弁理士】

【氏名又は名称】▲吉▼田 和彦

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100139712

【弁理士】

【氏名又は名称】那須 威夫

(74)【代理人】

【識別番号】100170209

【弁理士】

【氏名又は名称】林 陽和

(72)【発明者】

【氏名】ダ ヴェイガ アレクサンドレ

(72)【発明者】

【氏名】チョン ティモシー ティー

(72)【発明者】

【氏名】ピーズ ティモシー アール

【テーマコード（参考）】

5B050

5B069

5C182

5E555

【Ｆターム（参考）】

5B050BA09

5B050BA11

5B050CA07

5B050DA10

5B050EA03

5B050EA07

5B050EA12

5B050EA18

5B050EA27

5B050FA02

5B050FA09

5B050GA08

5B069BB18

5C182AA02

5C182AA03

5C182AA05

5C182AA31

5C182AB33

5C182AC03

5C182AC43

5C182AC46

5C182BA14

5C182BA28

5C182BA29

5C182BA47

5C182BA56

5C182CB13

5C182CB14

5E555AA27

5E555AA64

5E555AA76

5E555BA02

5E555BA04

5E555BB02

5E555BB04

5E555BC18

5E555BD07

5E555BE16

5E555BE17

5E555CA42

5E555CA44

5E555CA45

5E555CB65

5E555DA08

5E555DA09

5E555DB02

5E555DB03

5E555DC05

5E555DC43

5E555DC57

5E555DC85

5E555DD05

5E555FA00

(57)【要約】

本明細書で開示する様々な実装形態は、視聴ポータルの背後に配置された追加コンテンツアイテムを視聴するための視聴ポータルを用いて環境を表すＸＲ環境を提供するデバイス、システム、及び方法を含む。いくつかの実装形態は、環境に対応する３Ｄ座標系内の視聴ポータルの第１のポジションを決定し、３Ｄ座標系内のコンテンツアイテムの第２のポジションを決定し、第２のポジションは視聴ポータルの前面と反対側であり、３Ｄ座標系内の電子デバイスの視点を決定する。いくつかの実装形態では、視点から視聴ポータルを通して見えるコンテンツアイテムの部分が識別され、この部分は、第１のポジション、第２のポジション、及び視点に基づいて識別される。次いで、コンテンツアイテムの識別された部分のビューが環境内で提供される。

【特許請求の範囲】

【請求項1】

電子デバイスの１つ以上のプロセッサにおいて、
環境に対応する三次元（３Ｄ）座標系内の視聴ポータルの第１のポジションを決定することと、
前記３Ｄ座標系内のコンテンツアイテムの第２のポジションであって、前記第２のポジションは、前記視聴ポータルの前面の反対側である、第２のポジションを決定することと、
表面オブジェクトであって、前記表面オブジェクトは、前記コンテンツアイテムに対応する画像でテクスチャ処理され、前記表面オブジェクトは、前記第２のポジションに配置される、
表面オブジェクトを生成することと、
前記３Ｄ座標系内の前記電子デバイスの視点を決定することと、
前記視点から前記視聴ポータルを通して見える前記表面オブジェクトの部分であって、前記部分は、前記第１のポジション、前記第２のポジション、及び前記視点に基づいて識別される、部分を識別することと、
前記環境内の前記表面オブジェクトの前記識別された部分のビューを提供することと、
を含む、方法。

【請求項2】

前記コンテンツアイテムは、深度セグメント化画像、二次元（２Ｄ）写真、又はパノラマ写真を備える、請求項１に記載の方法。

【請求項3】

前記第２のポジションは、前記第１のポジションから独立しており、前記コンテンツアイテムに奥行きの外観を提供するように選択される、請求項１又は２に記載の方法。

【請求項4】

前記コンテンツアイテムを修正することなく、前記視聴ポータルを拡張、伸長、又は動画化することを更に含む、請求項１から３のいずれか一項に記載の方法。

【請求項5】

前記表面オブジェクトの前記識別された部分は、前記電子デバイスの前記視点が前記環境内で移動するにつれて変化する、請求項１から４のいずれか一項に記載の方法。

【請求項6】

前記視聴ポータルのサイズは、前記環境よりも小さく、前記表面オブジェクトの前記識別された部分は、前記環境の包囲面と交差しない、請求項１から５のいずれか一項に記載の方法。

【請求項7】

前記第２のポジションは、前記コンテンツアイテムを作成した電子デバイスからのセンサデータを使用して決定される、請求項１から６のいずれか一項に記載の方法。

【請求項8】

前記視聴ポータルのサイズ又はアスペクト比は、前記表面オブジェクトが視聴されるときに実行されているアプリケーションのパラメータ又は前記コンテンツアイテムの特性に基づいて決定される、請求項１から７のいずれか一項に記載の方法。

【請求項9】

前記第２のポジションは、前記コンテンツアイテムに基づいて決定される、請求項１から８のいずれか一項に記載の方法。

【請求項10】

前記表面オブジェクト上の前記コンテンツアイテムに対応する前記画像の水平線を前記環境の水平線と位置合わせすることを更に含む、請求項１から９のいずれか一項に記載の方法。

【請求項11】

前記表面オブジェクト上の前記コンテンツアイテムに対応する前記画像の表示サイズは、前記コンテンツアイテム内の描写の元のサイズに基づく、請求項１から１０のいずれか一項に記載の方法。

【請求項12】

前記環境内の複数の異なるコンテンツアイテムに対応する複数の視聴ポータルであって、前記複数の視聴ポータルは前記視聴ポータルを含み、前記複数のコンテンツアイテムは前記コンテンツアイテムを含み、前記複数のコンテンツアイテムは、前記複数の視聴ポータルの対応する視聴ポータルの背後の一貫した焦点距離にある複数の表面オブジェクト上に提供される、複数の視聴ポータルのビューを提供することと、
前記複数のコンテンツアイテムのうちの１つの選択に従って、前記複数の視聴ポータルのうちの対応する１つのサイズを拡張することと、
を更に含む、請求項１から１１のいずれか一項に記載の方法。

【請求項13】

前記第２のポジション、前記視点、及び前記複数の視聴ポータルのそれぞれのロケーションに基づいて、前記表面オブジェクトの異なる部分のビューを含む複数の視聴ポータルのビューを提供することを更に含み、前記複数の視聴ポータルの各々は、前記表面オブジェクトに適用される異なるイメージング効果を示す、
請求項１から１１のいずれか一項に記載の方法。

【請求項14】

前記コンテンツアイテムは、第１の奥行きを有する第１の部分と、第２のより大きい奥行きを有する第２の部分とを含み、前記方法は、
前記第２の部分に対応する前記表面オブジェクトの部分が前記視聴ポータルを通して可視のままである間に、前記視聴ポータルのサイズを縮小することと、
前記第１の部分を対応するサイズに変更しながら、前記第１の部分を前記サイズ縮小視聴ポータルの前の接地面上のポジションに同時に移動させることと、を更に含む、請求項１から１１のいずれか一項に記載の方法。

【請求項15】

前記コンテンツアイテムの対象に対応する前記コンテンツアイテムの部分を識別することと、
前記コンテンツアイテムの前記対象に対応する前記コンテンツアイテムの前記識別された部分に一致するように、前記視聴ポータルのアスペクト比を選択することと、
を更に含む、請求項１から１１のいずれか一項に記載の方法。

【請求項16】

前記視聴ポータルは、前記視聴ポータルの縁部を使用して前記表面オブジェクトを前記環境から区別する、請求項１から１５のいずれか一項に記載の方法。

【請求項17】

前記コンテンツアイテムはパノラマ写真であり、前記表面オブジェクトは、前記視聴ポータルの背後の距離である仮想曲面を含む、請求項１から１６のいずれか一項に記載の方法。

【請求項18】

前記環境は、物理的環境又は３Ｄ仮想環境である、請求項１から１７のいずれか一項に記載の方法。

【請求項19】

前記電子デバイスは頭部装着型デバイスである、請求項１から１８のいずれか一項に記載の方法。

【請求項20】

前記コンテンツアイテムに対応する前記画像は、前記コンテンツアイテムに対応する２Ｄ画像を含む、請求項１から１９のいずれか一項に記載の方法。

【請求項21】

前記表面オブジェクトは、円筒シェルの部分を含み、前記円筒シェルの内面は、前記コンテンツアイテムに対応する前記画像を用いてテクスチャ処理される、請求項１から２０のいずれか一項に記載の方法。

【請求項22】

前記円筒シェルは、前記第１のポジションを中心とする、請求項２１に記載の方法。

【請求項23】

システムであって、
メモリと、
前記メモリに結合されたデバイスにおける１つ以上のプロセッサとを備え、前記メモリは、前記１つ以上のプロセッサ上で実行されたとき、前記システムに動作を実行させるプログラム命令を含み、前記動作は、
環境に対応する三次元（３Ｄ）座標系内の視聴ポータルの第１のポジションを決定することと、
前記３Ｄ座標系内のコンテンツアイテムの第２のポジションであって、前記第２のポジションは、前記視聴ポータルの前面の反対側である、第２のポジションを決定することと、
表面オブジェクトであって、前記表面オブジェクトは、前記コンテンツアイテムに対応する画像でテクスチャ処理され、前記表面オブジェクトは、前記第２のポジションに配置される、
表面オブジェクトを生成することと、
前記３Ｄ座標系内の前記電子デバイスの視点を決定することと、
前記視点から前記視聴ポータルを通して見える前記表面オブジェクトの部分であって、前記部分は、前記第１のポジション、前記第２のポジション、及び前記視点に基づいて識別される、部分を識別することと、
前記環境内の前記表面オブジェクトの前記識別された部分のビューを提供することと、を含む、システム。

【請求項24】

前記コンテンツアイテムは、深度セグメント化画像、二次元（２Ｄ）写真、又はパノラマ写真を備える、請求項２３に記載のシステム。

【請求項25】

前記第２のポジションは、前記第１のポジションから独立しており、前記コンテンツアイテムに奥行きの外観を提供するように選択される、請求項２３又は２４に記載のシステム。

【請求項26】

前記コンテンツアイテムを修正することなく、前記視聴ポータルを拡張、伸長、又は動画化することを更に含む、請求項２３から２５のいずれか一項に記載のシステム。

【請求項27】

前記表面オブジェクトの前記識別された部分は、前記電子デバイスの前記視点が前記環境内で移動するにつれて変化する、請求項２３から２６のいずれか一項に記載のシステム。

【請求項28】

前記視聴ポータルのサイズは、前記環境よりも小さく、前記表面オブジェクトの前記識別された部分は、前記環境の包囲面と交差しない、請求項２３から２７のいずれか一項に記載のシステム。

【請求項29】

前記第２のポジションは、前記コンテンツアイテムを作成した電子デバイスからのセンサデータを使用して決定される、請求項２３から２８のいずれか一項に記載のシステム。

【請求項30】

前記視聴ポータルのサイズ又はアスペクト比は、前記表面オブジェクトが視聴されるときに実行されているアプリケーションのパラメータ又は前記コンテンツアイテムの特性に基づいて決定される、請求項２３から２９のいずれか一項に記載のシステム。

【請求項31】

前記第２のポジションは、前記コンテンツアイテムに基づいて決定される、請求項２３から３０のいずれか一項に記載のシステム。

【請求項32】

前記表面オブジェクト上の前記コンテンツアイテムに対応する前記画像の水平線を前記環境の水平線と位置合わせすることを更に含む、請求項２３から３１のいずれか一項に記載のシステム。

【請求項33】

前記表面オブジェクト上の前記コンテンツアイテムに対応する前記画像の表示サイズは、前記コンテンツアイテム内の描写の元のサイズに基づく、請求項２３から３１のいずれか一項に記載のシステム。

【請求項34】

前記環境内の複数の異なるコンテンツアイテムに対応する複数の視聴ポータルであって、前記複数の視聴ポータルは前記視聴ポータルを含み、前記複数のコンテンツアイテムは前記コンテンツアイテムを含み、前記複数のコンテンツアイテムは、前記複数の視聴ポータルの対応する視聴ポータルの背後の一貫した焦点距離にある複数の表面オブジェクト上に提供される、複数の視聴ポータルのビューを提供することと、
前記複数のコンテンツアイテムのうちの１つの選択に従って、前記複数の視聴ポータルのうちの対応する１つのサイズを拡張することと、
を更に含む、請求項２３から３２のいずれか一項に記載のシステム。

【請求項35】

前記第２のポジション、前記視点、及び前記複数の視聴ポータルのそれぞれのロケーションに基づいて、前記表面オブジェクトの異なる部分のビューを含む複数の視聴ポータルのビューを提供することを更に含み、前記複数の視聴ポータルの各々は、前記表面オブジェクトに適用される異なるイメージング効果を示す、
請求項２３から３３のいずれか一項に記載のシステム。

【請求項36】

前記コンテンツアイテムは、第１の奥行きを有する第１の部分と、第２のより大きい奥行きを有する第２の部分とを含み、前記動作は、
前記第２の部分に対応する前記表面オブジェクトの部分が前記視聴ポータルを通して可視のままである間に、前記視聴ポータルのサイズを縮小することと、
前記第１の部分を対応するサイズに変更しながら、前記第１の部分を前記サイズ縮小視聴ポータルの前の接地面上のポジションに同時に移動させることと、を更に含む、請求項２３から３３のいずれか一項に記載のシステム。

【請求項37】

前記コンテンツアイテムの対象に対応する前記コンテンツアイテムの部分を識別することと、
前記コンテンツアイテムの前記対象に対応する前記コンテンツアイテムの前記識別された部分に一致するように、前記視聴ポータルのアスペクト比を選択することと、
を更に含む、請求項２３から３３のいずれか一項に記載のシステム。

【請求項38】

前記視聴ポータルは、前記視聴ポータルの縁部を使用して前記表面オブジェクトを前記環境から区別する、請求項２３から３７のいずれか一項に記載のシステム。

【請求項39】

前記コンテンツアイテムはパノラマ写真であり、前記表面オブジェクトは、前記視聴ポータルの背後の距離である仮想曲面を含む、請求項２３から３８のいずれか一項に記載のシステム。

【請求項40】

前記環境は、物理的環境又は３Ｄ仮想環境である、請求項２３から３９のいずれか一項に記載のシステム。

【請求項41】

前記電子デバイスは頭部装着型デバイスである、請求項２３から４０のいずれか一項に記載のシステム。

【請求項42】

前記コンテンツアイテムに対応する前記画像は、前記コンテンツアイテムに対応する２Ｄ画像を含む、請求項２３から４１のいずれか一項に記載のシステム。

【請求項43】

前記表面オブジェクトは、円筒シェルの部分を含み、前記円筒シェルの内面は、前記コンテンツアイテムに対応する前記画像を用いてテクスチャ処理される、請求項２３から４２のいずれか一項に記載のシステム。

【請求項44】

前記円筒シェルは、前記第１のポジションを中心とする、請求項４３に記載のシステム。

【請求項45】

動作を実行するように１つ以上のプロセッサを介して実行可能なプログラム命令を記憶する非一時的コンピュータ可読記憶媒体であって、前記動作は、
環境に対応する三次元（３Ｄ）座標系内の視聴ポータルの第１のポジションを決定することと、
前記３Ｄ座標系内のコンテンツアイテムの第２のポジションであって、前記第２のポジションは、前記視聴ポータルの前面の反対側である、第２のポジションを決定することと、
表面オブジェクトであって、前記表面オブジェクトは、前記コンテンツアイテムに対応する画像でテクスチャ処理され、前記表面オブジェクトは、前記第２のポジションに配置される、
表面オブジェクトを生成することと、
前記３Ｄ座標系内の前記電子デバイスの視点を決定することと、
前記視点から前記視聴ポータルを通して見える前記表面オブジェクトの部分であって、前記部分は、前記第１のポジション、前記第２のポジション、及び前記視点に基づいて識別される、部分を識別することと、
前記環境内の前記表面オブジェクトの前記識別された部分のビューを提供することと、を含む、非一時的コンピュータ可読記憶媒体。

【請求項46】

前記コンテンツアイテムは、深度セグメント化画像、二次元（２Ｄ）写真、又はパノラマ写真を備える、請求項４５に記載のシステム。

【請求項47】

前記第２のポジションは、前記第１のポジションから独立しており、前記コンテンツアイテムに奥行きの外観を提供するように選択される、請求項４５又は４６に記載のシステム。

【請求項48】

前記コンテンツアイテムを修正することなく、前記視聴ポータルを拡張、伸長、又は動画化することを更に含む、請求項４５から４７のいずれか一項に記載のシステム。

【請求項49】

前記表面オブジェクトの前記識別された部分は、前記電子デバイスの前記視点が前記環境内で移動するにつれて変化する、請求項４５から４８のいずれか一項に記載のシステム。

【請求項50】

前記視聴ポータルのサイズは、前記環境よりも小さく、前記表面オブジェクトの前記識別された部分は、前記環境の包囲面と交差しない、請求項４５から４９のいずれか一項に記載のシステム。

【請求項51】

前記第２のポジションは、前記コンテンツアイテムを作成した電子デバイスからのセンサデータを使用して決定される、請求項４５から５０のいずれか一項に記載のシステム。

【請求項52】

前記視聴ポータルのサイズ又はアスペクト比は、前記表面オブジェクトが視聴されるときに実行されているアプリケーションのパラメータ又は前記コンテンツアイテムの特性に基づいて決定される、請求項４５から５１のいずれか一項に記載のシステム。

【請求項53】

前記第２のポジションは、前記コンテンツアイテムに基づいて決定される、請求項４５から５２のいずれか一項に記載のシステム。

【請求項54】

前記表面オブジェクト上の前記コンテンツアイテムに対応する前記画像の水平線を前記環境の水平線と位置合わせすることを更に含む、請求項４５から５３のいずれか一項に記載のシステム。

【請求項55】

前記表面オブジェクト上の前記コンテンツアイテムに対応する前記画像の表示サイズは、前記コンテンツアイテム内の描写の元のサイズに基づく、請求項４５から５４のいずれか一項に記載のシステム。

【請求項56】

前記環境内の複数の異なるコンテンツアイテムに対応する複数の視聴ポータルであって、前記複数の視聴ポータルは前記視聴ポータルを含み、前記複数のコンテンツアイテムは前記コンテンツアイテムを含み、前記複数のコンテンツアイテムは、前記複数の視聴ポータルの対応する視聴ポータルの背後の一貫した焦点距離にある複数の表面オブジェクト上に提供される、複数の視聴ポータルのビューを提供することと、
前記複数のコンテンツアイテムのうちの１つの選択に従って、前記複数の視聴ポータルのうちの対応する１つのサイズを拡張することと、
を更に含む、請求項４５から５５のいずれか一項に記載のシステム。

【請求項57】

前記第２のポジション、前記視点、及び前記複数の視聴ポータルのそれぞれのロケーションに基づいて、前記表面オブジェクトの異なる部分のビューを含む複数の視聴ポータルのビューを提供することを更に含み、前記複数の視聴ポータルの各々は、前記表面オブジェクトに適用される異なるイメージング効果を示す、
請求項４５から５５のいずれか一項に記載のシステム。

【請求項58】

前記コンテンツアイテムは、第１の奥行きを有する第１の部分と、第２のより大きい奥行きを有する第２の部分とを含み、前記動作は、
前記第２の部分に対応する前記表面オブジェクトの部分が前記視聴ポータルを通して可視のままである間に、前記視聴ポータルのサイズを縮小することと、
前記第１の部分を対応するサイズに変更しながら、前記第１の部分を前記サイズ縮小視聴ポータルの前の接地面上のポジションに同時に移動させることと、を更に含む、請求項４５から５５のいずれか一項に記載のシステム。

【請求項59】

前記コンテンツアイテムの対象に対応する前記コンテンツアイテムの部分を識別することと、
前記コンテンツアイテムの前記対象に対応する前記コンテンツアイテムの前記識別された部分に一致するように、前記視聴ポータルのアスペクト比を選択することと、
を更に含む、請求項４５から５５のいずれか一項に記載のシステム。

【請求項60】

前記視聴ポータルは、前記視聴ポータルの縁部を使用して前記表面オブジェクトを前記環境から区別する、請求項４５から５９のいずれか一項に記載のシステム。

【請求項61】

前記コンテンツアイテムはパノラマ写真であり、前記表面オブジェクトは、前記視聴ポータルの背後の距離である仮想曲面を含む、請求項４５から６０のいずれか一項に記載のシステム。

【請求項62】

前記環境は、物理的環境又は３Ｄ仮想環境である、請求項４５から６１のいずれか一項に記載のシステム。

【請求項63】

前記電子デバイスは頭部装着型デバイスである、請求項４５から６２のいずれか一項に記載のシステム。

【請求項64】

前記コンテンツアイテムに対応する前記画像は、前記コンテンツアイテムに対応する２Ｄ画像を含む、請求項４５から６３のいずれか一項に記載のシステム。

【請求項65】

前記表面オブジェクトは、円筒シェルの部分を含み、前記円筒シェルの内面は、前記コンテンツアイテムに対応する前記画像を用いてテクスチャ処理される、請求項４５から６４のいずれか一項に記載のシステム。

【請求項66】

前記円筒シェルは、前記第１のポジションを中心とする、請求項６５に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、一般に、仮想コンテンツを表示する電子デバイスに関し、特に、物理的環境において仮想コンテンツのビューを提供するシステム、方法、及びデバイスに関する。

【背景技術】

【0002】

拡張現実（ＸＲ）環境は、実コンテンツと仮想コンテンツとを様々な方法で組み合わせるビューを提供する。例えば、ＸＲ環境は、現実の物理的環境内で見られる二次元（２Ｄ）写真に対応する仮想コンテンツアイテムを含むビューを含むことができる。既存のシステム及び技術は、仮想コンテンツを周囲の物理的環境から適切に区別する方法でそのような仮想コンテンツを表示しない場合がある。例えば、２Ｄ写真は、その縁部が周囲の物理的環境から区別することが容易でないように、又は仮想コンテンツの部分が物理的環境の境界／壁を通して延在するように見えるように表示され得る。物理的環境内で仮想２Ｄ写真を有するＸＲ環境のビューを提供するための改善された技術が必要とされている。

【発明の概要】

【0003】

本明細書で開示される様々な実装形態は、視聴ポータルの背後のある距離に配置される追加された仮想コンテンツアイテムを視聴するための視聴ポータルを有する物理的環境を含むＸＲ環境のビューを提供するデバイス、システム、及び方法を含む。例えば、パノラマ写真は、視聴ポータルの背後１０メートルなどの計算された距離である仮想曲面上にテクスチャ処理され得る。いくつかの実装形態では、視聴ポータルの背後にコンテンツアイテムを配置することは、例えば、視聴ポータルの縁部における物理的環境からコンテンツアイテムをより良く区別する、望ましい外観を提供することができる。いくつかの実装形態では、異なるコンテンツアイテムの複数の視聴ポータルが、同時に提示されてもよく、コンテンツアイテムのうちの１つの選択は、選択されたコンテンツアイテムのための拡張された視聴ポータルの提供をトリガしてもよい。代替として、複数の視聴ポータルは、例えば、同じコンテンツアイテムに適用される異なるイメージング効果の比較を可能にするために、同じコンテンツアイテムを示してもよい。

【0004】

一般に、本明細書で説明する対象の１つの革新的な態様は、環境に対応する３Ｄ座標系内の視聴ポータルの第１のポジションを決定するアクションと、３Ｄ座標系内のコンテンツアイテムの第２のポジションを決定するアクションとを含む方法で実施することができ、第２のポジションは、視聴ポータルの前面と反対側である。次に、電子デバイスの視点が３Ｄ座標系内で決定される。いくつかの実装形態では、視点から視聴ポータルを通して見えるコンテンツアイテムの部分が識別され、この部分は、第１のポジション、第２のポジション、及び視点に基づいて識別される。次いで、環境内のコンテンツアイテムの識別された部分のビューが提供される。

【0005】

本開示は、当業者によって理解され得るように、いくつかの例示的な実装形態の態様を参照することによって、より詳細な説明を有してもよく、そのいくつかは添付図面に示されている。

【図面の簡単な説明】

【0006】

【図1】いくつかの実装形態による、物理的環境内に描かれた仮想コンテンツを含むＸＲ環境のビューを表示している、物理的環境内の電子デバイスを示す。

【0007】

【図2】いくつかの実装形態による、例示的な視聴ポータルの背後に配置され、それを通して視聴される仮想コンテンツを示す。

【0008】

【図3A】いくつかの実装形態による、複数の例示的な視聴ポータルの背後に配置され、複数の例示的な視聴ポータルを通して視聴される個別の仮想コンテンツを含むＸＲ環境のビューを示す。

【図3B】いくつかの実装形態による、複数の例示的な視聴ポータルの背後に配置され、複数の例示的な視聴ポータルを通して視聴される個別の仮想コンテンツを含むＸＲ環境のビューを示す。

【図3C】いくつかの実装形態による、複数の例示的な視聴ポータルの背後に配置され、複数の例示的な視聴ポータルを通して視聴される個別の仮想コンテンツを含むＸＲ環境のビューを示す。

【0009】

【図3D】いくつかの実装形態による、拡張された例示的な視聴ポータルの背後に変位され、それを通して視聴される選択された仮想コンテンツアイテムを含むＸＲ環境のビューを示す。

【0010】

【図4】いくつかの実装形態による、複数の例示的な視聴ポータルの背後に配置され、複数の例示的な視聴ポータルを通して視聴される仮想コンテンツを含むＸＲ環境のビューを示す。

【0011】

【図5】いくつかの実装形態による、複数の例示的な視聴ポータルの背後に配置され、別の視聴ポータルを通して視聴される仮想コンテンツを含むＸＲ環境のビューを示す。

【0012】

【図6A】いくつかの実装形態による、複数の例示的な視聴ポータルの背後に配置され、更に別の視聴ポータルを通して視聴される仮想コンテンツを含むＸＲ環境のビューを示す。

【0013】

【図6B】いくつかの実装形態による、図６Ａの仮想コンテンツの奥行き分離された対象、及び図６Ａの視聴ポータルを通して視聴されたままである図６Ａの仮想コンテンツの奥行き分離された背景の後続ビューを図示する。

【0014】

【図7】いくつかの実装形態による、視聴ポータルの背後に配置された追加コンテンツアイテムを視聴するための視聴ポータルを用いて物理的環境を示すＸＲ環境のビューを提供する例示的な方法を示すフローチャートである。

【0015】

【図8】一部の実装形態による、例示的な電子デバイスを示す。

【発明を実施するための形態】

【0016】

慣行により、図面に示される様々な特徴は、縮尺どおりに描かれていない場合がある。したがって、様々な特徴の寸法は明確化のために、任意に拡大又は縮小されている場合がある。加えて、いくつかの図面は、所与のシステム、方法、又はデバイスの構成要素の全てを描いていない場合がある。最後に、本明細書及び図の全体を通して、同様の特徴を有することを示すために、同様の参照番号が使用される場合がある。

【0017】

図面に示される例示的な実装形態の十分な理解を提供するために、数多くの詳細が記載されている。しかしながら、図面は単に本開示のいくつかの例示的な態様を示すものであり、したがって、限定的であると考慮されるべきではない。当業者は、他の有効な態様又は変形が本明細書に記載される特定の詳細全ては含まないことを理解するであろう。更に、本明細書に記載される例示的な実装形態のより適切な態様を不明瞭にしないよう、周知のシステム、方法、構成要素、デバイス及び回路は、網羅的に詳細を記載していない。

【0018】

本明細書で開示される様々な実装形態は、視聴ポータルの背後（例えば、視聴ポータルの前面の反対側）に配置された追加コンテンツアイテムを視聴するための視聴ポータルを有する物理的環境の描写を含むＸＲ環境のビューを提供するデバイス、システム、及び方法を含む。いくつかの実装形態では、視聴ポータルは、仮想２Ｄ平面（例えば、丸みを帯びた長方形によって境界付けられた平面領域）である。いくつかの実装形態では、追加コンテンツアイテムは、視聴ポータルの背後の所定の距離（例えば、１０メートル又は何らかの他の距離）に配置された表面を使用して表示される。例えば、２Ｄパノラマピクチャは、視聴ポータルの１０メートル背後にあり、視聴ポータルを中心とする、垂直方向に平坦で水平方向に湾曲した表面にテクスチャ処理することができる。

【0019】

追加コンテンツアイテムを視聴ポータルの背後の距離に配置することは、電子デバイスのユーザが視聴ポータルウィンドウを越えた奥行きにフォーカスすることを可能にする。ポータルの背後のコンテンツの変位は、ポータルの縁部で視聴されるコンテンツと周囲環境との間の差異をより明確にし得る。ポータルの背後のコンテンツの変位はまた、ポータルと仮想コンテンツとの間の、及び／又は２Ｄ仮想コンテンツ自体内の奥行きの外観を提供し得る。仮想コンテンツは、２Ｄピクチャ、２Ｄ画像、２Ｄパノラマなどを含んでもよい。

【0020】

視聴ポータル構成は、それを通して視聴されるコンテンツ及び／又は物理的環境に基づいて決定されてもよい。いくつかの実装形態では、視聴ポータルの形状及び／又はサイズは、物理的環境内に表示される視聴ポータルが物理的環境の物理境界（例えば、壁、天井、床）と交差しないように制御される。

【0021】

図１は、物理的環境１０５内で電子デバイス１８０を使用するユーザ１２０を示す。物理的環境１０５は、この例では、家の中の部屋又はオフィスである。電子デバイス１８０は、ＸＲ環境を提示する。

【0022】

図１に示すように、電子デバイス１８０のディスプレイ１１０は、物理的環境１０５の描写１３０内に仮想コンテンツ１４０として２Ｄ写真（例えば、パノラマ写真）を含むＸＲ環境を提示している。仮想コンテンツ１４０は、物理的環境１０５内で浮遊しているように見える。しかしながら、正しい縮尺で表示された２Ｄパノラマ写真１４０は、物理的環境１０５の描写の望ましくない大きな部分を遮り、この場合、仮想コンテンツ１４０の部分１４０ａ、１４０ｂが物理的環境１０５の壁を越えて延びるので、物理的環境１０５を覆い隠す。場合によっては、仮想コンテンツ１４０は、ＸＲ環境において提示される他のユーザインタフェース又は仮想コンテンツをカバーすることができる。これは、特に、物理的環境１０５において２Ｄパノラマ写真１４０などの複数の大きな仮想コンテンツアイテムを視聴するときに起こり得る。

【0023】

したがって、いくつかの実装形態では、仮想コンテンツ及び物理的又は仮想環境は、視聴ポータル（例えば、ユーザインタフェース）を使用して分離される。例えば、視聴ポータルは、３Ｄ仮想環境へのポータルとして機能する物理的環境又は仮想環境内の２Ｄ平面（例えば、丸みを帯びた長方形によって囲まれた平面領域）とすることができる。その仮想環境内に含まれるのは、３Ｄ仮想環境における奥行きの外観を用いて仮想コンテンツを表示するために、視聴ポータルに向かって配向され、視聴ポータルの背後の所定の奥行き（例えば、１０メートル又は何らかの他の距離）に配置された表面であり得る。仮想コンテンツ（例えば、２Ｄ写真）が視聴ポータルの背後に配置される距離は、視聴者（例えば、眼／脳）に、写真のシーンが真の縮尺であるという錯覚、言い換えれば、その人が実際の風景又は実際の環境で窓を見ているという錯覚を与えるために選択される。人々は、自身の眼の輻輳角によって（部分的に）距離を判断することができ、人の焦点の対象が数メートルを過ぎると、彼らの脳は、もはや、眼の輻輳から実際の奥行きを区別することができない（例えば、彼らは、その点において「無限遠」に焦点を合わせていると言われる）。この場合、プレゼンテーションにおける二次的な考慮事項（例えば、ジオメトリ、相対的なサイズ、影など）は、分離された視聴ポータルと、視聴ポータルの背後の表面上の仮想コンテンツ配置とを使用して、奥行きにおける代替的なヒントを提供することができる。

【0024】

いくつかの実装形態では、仮想コンテンツは、２Ｄ写真、２Ｄパノラマ写真、又は２Ｄ奥行き分離写真を含む。２Ｄ奥行き分離写真は、第１の奥行きを有する少なくとも１つの部分（例えば、写真の対象）と、第１の奥行きよりも大きい第２の奥行きを有する第２の部分（例えば、背景）とを含み得る。

【0025】

図２は、例示的な視聴ポータルの背後に変位され、それを通して視聴される仮想コンテンツを示す。図２に示すように、電子デバイス１８０のディスプレイ１１０は、垂直方向に平坦であり、視聴ポータル２５０の背後１０メートル（例えば、予め設定された距離）になるように水平方向に湾曲した表面２６０上にテクスチャ処理された仮想コンテンツ１４０を表示している。いくつかの例では、表面２６０は、視聴ポータル２５０を中心とする完全な又は部分的な円筒シェルを含むことができる。図２では、視聴ポータル２５０の背後に表示された仮想コンテンツ１４０は、視聴ポータル２５０までの距離とは異なり、視聴ポータル２５０までの距離よりも大きい焦点距離を有する。

【0026】

いくつかの実装形態では、仮想コンテンツ１４０は、視聴ポータル２５０の背後に配置されて、物理的環境１０５内で視聴ポータル２５０を通して視聴されるときに奥行きの外観を与える。図２に示すように、電子デバイス１８０が物理的環境１０５内で移動するにつれて、視聴ポータル２５０を通して見える仮想コンテンツ１４０の部分は、電子デバイス１８０の変化する視点に従って変化する。例えば、電子デバイス１８０が物理的環境１０５内で左に移動すると、仮想コンテンツ１４０の右の追加のエリアが、固定視聴ポータル２５０を通して見えるようになる。表面２６０上の仮想コンテンツ１４０は、視聴ポータル２５０を通してのみ視聴可能であり得ることを理解されたい。例えば、ユーザが物理的環境１０５の描写１３０において視聴ポータル２５０の横又は背後に移動した場合、仮想コンテンツ１４０も表面２６０も視聴ポータル２５０の背後には見えない。

【0027】

いくつかの実装形態では、ＸＲ環境内の物理的環境１０５の描写１３０に対する視聴ポータル２５０の初期ポジションは、電子デバイス１８０の前にあり、電子デバイス１８０に向かって配向されたデフォルトポジションである。例えば、視聴ポータル２５０の初期ポジションは、電子デバイス１８０の前方３フィートであり、電子デバイス１８０に面しており、物理的環境１０５の床（例えば、接地面）の上方５フィートであり得る。いくつかの実装形態では、視聴ポータル２５０の初期サイズ及び形状は、視聴ポータル２５０の背後にあり、それを通して見える、対応する仮想コンテンツを実行及び表示しているアプリケーションによって決定される。いくつかの実装形態では、物理的環境１０５に対する視聴ポータル２５０の視聴ポジションは、手動で制御され、電子デバイス１８０のユーザ１２０によって移動させることができる。

【0028】

いくつかの実装形態では、仮想コンテンツ１４０の初期ポジションは、視聴ポータル２５０に向かって配向される（例えば、中心にある）。いくつかの実装形態では、視聴ポータル２５０の背後の表面２６０又は仮想コンテンツ１４０内に示される地平線又は水平線は、物理的環境１０５又は他の視聴環境の地平線又は水平線と位置合わせされる。そのような位置合わせは、物理的環境内のデバイス１８０のポジション及び配向を追跡し、デバイス１８０の配向及びポジションに基づいて水平線のロケーションを識別し、（例えば、画像分析、又は２Ｄコンテンツのキャプチャに関連付けられたキャプチャ情報などのメタデータに基づいて）２Ｄコンテンツ内に示された水平線を識別し、物理的環境の描写に対して２Ｄコンテンツを配置するときに水平線を位置合わせすることによって達成され得る。いくつかの実装形態では、視聴ポータル２５０の背後の表面２６０又は仮想コンテンツ１４０に示された接地面は、物理的環境１０５又は他の視聴環境の接地面と位置合わせされる。いくつかの実装形態では、表面２６０の配置及び形状は、対応する視聴ポータルを通して視聴される表面２６０上の対応する仮想コンテンツを実行及び表示しているアプリケーションによって決定される。いくつかの実装形態では、物理的環境１０５又は他の視聴環境は、他の表面又はコンテンツを含まなくてもよい。

【0029】

いくつかの実装形態では、仮想コンテンツは、仮想コンテンツに含まれる奥行き（例えば、焦点距離）に基づいて、対応する視聴ポータルの背後に配置され、それを通して視聴されるのに適切ではない。例えば、ステレオキャプチャは、左眼キャプチャと右眼キャプチャとの間に顕著な差をもたらし得、それは、視聴ポータルを通して視聴されたときに視覚的不快感をもたらし得るので、キャプチャする画像センサに近い対象を含んで作成されたパノラマを使用することは望ましくない場合がある。

【0030】

図３Ａは、複数の例示的な視聴ポータルの背後に配置され、それを通して視聴される個別の仮想コンテンツを示す。図３Ａに示すように、ディスプレイ１１０は、視聴ポータル３５０－１を通して見える仮想コンテンツ３４０－１としてパノラマ２Ｄ写真を示し、視聴ポータル３５０－２を通して見える仮想コンテンツ１４０を示し、視聴ポータル３５０－３を通して見える仮想コンテンツ３４０－３としてパノラマ２Ｄ写真を示す。仮想コンテンツ３４０－１は岩場の丘であり、仮想コンテンツ１４０は湖の岩場の岸であり、仮想コンテンツ３４０－３は水上の日の出である。いくつかの実装形態では、視聴ポータル３５０－１、３５０－２、３５０－３を通して見える仮想コンテンツ３４０－１、１４０、３４０－３の部分は、視聴ポータル３５０－１、３５０－２、３５０－３の各個別の背後に変位された異なる対応する表面上に表示される。表面及び関連付けられた仮想コンテンツは、個別の視聴ポータルを通してのみ視聴され得る（例えば、仮想コンテンツ３４０－１は、視聴ポータル３５０－１を通して視聴され得るが、視聴ポータル３５０－２及び３５０－３を通しては視聴され得ない）。いくつかの実装形態では、対応する表面は、個別の仮想コンテンツ３４０－１、１４０、３４０－３の特性（例えば、サイズ、キャプチャパラメータ、対象サイズ、形状など）に基づいて、共通焦点距離を有するように配置されることができる。いくつかの実装形態では、対応する表面は、各個別の視聴ポータルの周りに中心が置かれ、各個別の視聴ポータルの背後に変位され得る。言い換えれば、対応する表面は、同じ仮想環境内に配置された場合、異なるロケーションに配置され得るが、部分的に重複し得る。

【0031】

図３Ｂに示されるように、視聴ポータル３５０－１、３５０－２、３５０－３を通して見える仮想コンテンツ３４０－１、１４０、３４０－３の部分は、同じ表面２６０上に表示されてもよく、又は同じロケーションに配置された異なる表面上に表示されてもよい。したがって、仮想コンテンツ３４０－１、１４０、３４０－３の焦点距離は同じであり得る。仮想コンテンツ３４０－１、１４０、３４０－３の焦点距離は、視聴ポータル３５０－１、３５０－２、３５０－３までの距離とは異なり、それよりも大きくすることができる。例えば、共通焦点距離は、ユーザ１２０が、物理的環境１０５内の個別の仮想コンテンツ３４０－１、１４０、３４０－３の間で自身の注目を容易に切り替えることを可能にする。いくつかの実装形態では、視聴ポータル３５０－１、３５０－２、３５０－３は、共通の形状及びサイズを有する。いくつかの実装形態では、視聴ポータル３５０－１、３５０－２、３５０－３は、異なるサイズであるが、共通の形状を維持しており、これにより、ユーザ１２０は、物理的環境１０５から仮想コンテンツ３４０－１、１４０、３４０－３をより良く認識し区別することができる。いくつかの実装形態では、視聴ポータル３５０－１、３５０－２、３５０－３は、丸みを帯びた角部を有し、これは更に、ユーザ１２０が、視聴ポータル３５０－１、３５０－２、３５０－３を通して見られる３Ｄ仮想環境を、視聴ポータル３５０－１、３５０－２、３５０－３の周りで見られる物理的環境１０５から区別することを可能にし得る。視聴ポータル３５０－１、３５０－２、３５０－３上の丸みを帯びた角部は、湾曲した角部に対して同じ半径を使用することができる。いくつかの実装形態では、視聴ポータル３５０－１、３５０－２、３５０－３は、知覚可能な奥行きを有する縁部を有する。いくつかの実装形態では、視聴ポータル３５０－１、３５０－２、３５０－３の縁部効果は、仮想コンテンツ及び視聴ポータルにおける照明効果に関して、一貫した又は所望の照明効果が提供されることを可能にする（例えば、光が視聴ポータルからこぼれている）。

【0032】

図３Ｃに示すように、視聴ポータル３５０－１、３５０－２、３５０－３を通して見える仮想コンテンツ３４０－１、１４０、３４０－３の部分は、同じ又は異なるＸＲ環境に配置された異なる表面３６０－１、３６０－２、３６０－３上に表示することができる。いくつかの実装形態では、異なる仮想コンテンツ３４０－１、１４０、３４０－３を、物理的環境又は仮想環境において同時に視聴される対応する視聴ポータル３５０－１、３５０－２、３５０－３の背後の異なるそれぞれの表面３６０－１、３６０－２、３６０－３上に配置すると、異なるそれぞれの表面３６０－１、３６０－２、３６０－３は、異なる仮想コンテンツ３４０－１、１４０、３４０－３の視聴可能な部分のそれぞれの焦点距離が互いに類似しており、ユーザ１２０から視聴ポータル３５０－１、３５０－２、３５０－３までの距離と全て異なるように決定され得る。

【0033】

いくつかの実装形態では、視聴ポータルの設計（例えば、サイズ、形状、アスペクト比、奥行き、動画など）は、視聴ポータルの背後にあり、それを通して見える、対応する仮想コンテンツを実行及び／又は表示しているアプリケーションによって決定される。視聴ポータルと、対応する視聴ポータルを通して見えるがその背後に表示される仮想コンテンツとを分離することにより、仮想コンテンツを修正することなく、対応する視聴ポータルの設計を変更する（例えば、拡張、伸長、又は動画化する）ことが可能になる。いくつかの実装形態では、対応する視聴ポータルは、それを通して見える仮想コンテンツの縁部を常にカバーする。例えば、視聴ポータルは、ユーザ１２０が物理的環境１０５内のどこに移動しても、対応する視聴ポータルと視聴された仮想コンテンツとの間に見える隙間を防止するために、視聴ポータルを通して見える仮想コンテンツに基づいて変化（例えば、サイズ、形状など）することができる。いくつかの実装形態では、対応する視聴ポータルは、対応する視聴ポータルと視聴された仮想コンテンツとの間に見える隙間を防止するために物理的環境１０５から除去される。いくつかの実装形態では、視聴ポータルの背後の仮想コンテンツの配置（例えば、表示サイズ）は、仮想コンテンツ又はその中の描写の元のサイズ及び物理的環境１０５に基づく。

【0034】

図３Ｄは、背後に変位され、拡張された例示的な視聴ポータルを通して視聴される、選択された仮想コンテンツアイテムを示す。図３Ａに示されるように、ユーザ１２０によって仮想コンテンツ１４０が選択されると、視聴ポータル３５０－２は、２Ｄパノラマ写真１４０のより多くがユーザ１２０に見えるように、拡張及び伸長され得る。図３Ｄに示されるように、図３Ｂにおいてユーザ１２０によって仮想コンテンツ１４０が選択されると、２Ｄパノラマ写真１４０の１８０度全てが、物理的環境１０５内の拡張された視聴ポータル３５０－２’を通してユーザ１２０に対して表面２６０上で見える。この場合、視聴ポータル３５０－２’は、図３Ａ～図３Ｃに示す視聴ポータル３５０－２の背後の仮想環境に入るユーザ１２０の視覚効果を提供することができる。いくつかの実装形態では、どの仮想コンテンツ３４０－１、１４０、３４０－３が選択されるか、及び対応する視聴ポータルが物理的環境１０５に対してどこに配置されるかに基づいて適用され得る他のタイプの効果（例えば、オーディオなど）がある。

【0035】

いくつかの実装形態では、２Ｄパノラマ写真１４０が作成されたときに３６０度を含んでいた場合、３６０度の仮想コンテンツ１４０は、ユーザ１２０が物理的環境１０５内で３６０度回転すると、上部及び下部が除去されて物理的環境１０５内に表示された球のような形状の表面をフレーミングすることができる視聴ポータル３５０－２’を通して見ることができる。更に、対応する視聴ポータルの背後に表示される仮想コンテンツは、水平以外の配向を含むことができる。例えば、パノラマは、３０度又は４５度の角度などで垂直に配向され得る。

【0036】

図４は、複数の例示的な視聴ポータルの背後に変位され、それを通して視聴される仮想コンテンツを示す。図４に示すように、ディスプレイ１１０は、複数の視聴ポータル４５０－１、４５０－２、４５０－３、４５０－４を通してユーザ１２０に見える仮想コンテンツ１４０を示す。仮想コンテンツ１４０は、湖の岩場の岸、湖の一部、及び湖の上の距離にある雲を含む。いくつかの実装形態では、仮想コンテンツ１４０は、視聴ポータル４５０－１、４５０－２、４５０－３、４５０－４の背後に延在する単一の２Ｄ表面上に表示され、仮想コンテンツ１４０の異なる部分は、物理的環境１０５内の電子デバイス１８０の視点に基づいて、視聴ポータル４５０－１、４５０－２、４５０－３、４５０－４の各々を通して見える。図４に示されるように、仮想コンテンツ１４０は、物理的環境１０５内の視聴ポータル４５０－１、４５０－２、４５０－３、４５０－４においてユーザ１２０によって視聴されるとき、視聴ポータル４５０－１、４５０－２、４５０－３、４５０－４の背後の平坦な２Ｄ平面上にそれぞれ表示される。

【0037】

図４に示されるように、視聴ポータル４５０－１、４５０－２、４５０－３、４５０－４の各々は、それを通してユーザ１２０に見える同じ２Ｄパノラマ画像１４０に異なる芸術的効果を適用している。例えば、異なる視覚効果は、鮮やかな暖かい色相、シルバートーン、モノトーン、冷たい色相、自然光などを強調する効果を含むことができるが、これらに限定されない。視覚効果は、仮想コンテンツをよりスケッチ又は絵画のように見せることができ、鮮明さ、色、輝度、又はコントラストを調整することができる。このようにして、視聴ポータル４５０－１、４５０－２、４５０－３、４５０－４は、ユーザ１２０が視覚効果の異なるシミュレーションを通じて仮想コンテンツ１４０を同時に見るための有形の方法を提供する。

【0038】

図５は、背後に変位され、別の例示的視聴ポータルを通して視聴される仮想コンテンツを図示する。例えば、対応する視聴ポータル（例えば、そこから入った）の背後の仮想環境内の仮想コンテンツの配置は、仮想コンテンツの特性に基づくことができる。いくつかの実装形態では、仮想コンテンツの特性は、仮想コンテンツが作成されたときのキャプチャする電子デバイスの配向又は動きを含む。いくつかの実装形態では、キャプチャする電子デバイスの重力ベクトル及び他のセンサデータを使用して、対応する視聴ポータルの背後の仮想コンテンツの配置（例えば、水平線、接地面、その中の対象の姿勢など）を決定することができる。いくつかの実装形態では、仮想コンテンツの画像分析を使用して、物理的環境内の対応する視聴ポータルの背後の仮想コンテンツの配置（例えば、水平線、接地面、その中の対象の姿勢など）を決定することができる。

【0039】

図５に示されるように、ユーザ１２０は、仮想コンテンツ５４０のクリエータと同じ向きを使用して、物理的環境１０５の描写において視聴ポータル５５０の背後に配置された仮想コンテンツ５４０を視聴する。いくつかの実装形態では、仮想コンテンツ５４０の水平線は、物理的環境１０５の水平線と一致する。図５では、仮想コンテンツ５４０内のスカイスクレーパは、視聴ポータル５５０に向けられた平坦な２Ｄ表面上に表示され、視聴ポータル５５０の１０メートル背後かつ上方にあるように湾曲され得る。例えば、仮想コンテンツ５４０は、物理的環境１０５内のポータル５４０に対して垂直配向を有するように９０度回転された表面２６０上に表示され得る。しかしながら、配置はそのように限定されることを意図しておらず、他の実装形態は、キャプチャ方向を維持又は再現する、物理的環境１０５内の視聴ポータル５５０の背後の仮想コンテンツ５４０の配置を提供することができる。例えば、仮想コンテンツ５４０は、物理的環境１０５の遠い壁に平行な第１の垂直面及び天井に平行な第２の水平面である視聴ポータル５５０の背後に配置された交差する直交平面に表示することができる。

【0040】

図６Ａは、背後に配置され、更に別の例示的な視聴ポータルを通して視聴される仮想コンテンツを示す。図６Ａに示すように、ユーザ１２０は、物理的環境１０５内の視聴ポータル６５０の背後に配置される仮想コンテンツ６４０を視聴する。図６Ａでは、仮想コンテンツ６４０は、第１の奥行きを有する分離された対象６４０ａと、第１の奥行きよりも大きい第２の奥行きを有する分離された背景６４０ｂとを含む、２Ｄ奥行き分離写真である。

【0041】

図６Ｂは、物理的環境１０５内の修正された視聴ポータル６５０’を通してユーザ１２０によって視聴されたままである奥行き分離背景６４０ｂの前に移動され、それと位置合わせされた仮想コンテンツ６４０の奥行き分離対象６４０ａの後続ビューを示す。図６Ｂに示されるように、仮想コンテンツ６４０’の背景６４０ｂの接地面６６０は、対象６４０ａが接地面６６０上の背景６４０ｂから分離されてその前に表示されるように拡張される。いくつかの実装形態では、修正された視聴ポータル６５０’は、仮想コンテンツ６４０’の対象６４０ａのサイズに基づくサイズを有する。いくつかの実装形態では、仮想コンテンツ６４０’は、物理的環境１０５内の３Ｄ仮想オブジェクトである。いくつかの実装形態では、仮想コンテンツ６４０’は、物理的環境１０５内で（例えば、接地面、床、デスクトップ、又はテーブルトップなどの平坦面に）位置合わせされる。図６Ｂに示すように、仮想コンテンツ６４０’は、ボックス６７０の上面に位置合わせされる。いくつかの実装形態では、仮想コンテンツ６４０’の対象６４０ａは、仮想コンテンツ６４０’の背景６４０ｂの異なる特性（水平線、特有の特徴など）に位置合わせされる。

【0042】

いくつかの実装形態では、仮想コンテンツ６４０及び視聴ポータル６５０は、図６Ａに示される配置と、図６Ｂに示される後続構成との間で、動画オブジェクトとして移動する。いくつかの実装形態では、図６Ｂに示す仮想コンテンツ６４０’のビューと空間関係を有するテキストを追加することができる。いくつかの実装形態では、図６Ｂに示される仮想コンテンツ６４０’の配置と空間関係を有する視覚効果（例えば、煙、稲妻、祝い効果など）が、追加されることができる。いくつかの実装形態では、図６Ｂに示す仮想コンテンツ６４０’のビューに対して空間関係を有するオーディオ効果（例えば、ポイントソース、背景音、空間オーディオなど）を追加することができる。

【0043】

図７は、視聴ポータルの背後に配置された追加コンテンツアイテムを視聴するための視聴ポータルを用いて物理的又は仮想環境を示すＸＲ環境のビューを提供する例示的な方法を示すフローチャートである。例えば、パノラマ写真は、視聴ポータルの背後１０メートルなどである仮想曲面上にテクスチャ処理され得る。いくつかの実装形態では、視聴ポータルの背後にコンテンツアイテムを配置することは、例えば、視聴ポータルの縁部における物理的環境からコンテンツアイテムをより良く区別する、及び／又は視聴者に、奥行きを伴う画像を見ているという感覚を与える、望ましい外観を提供することができる。いくつかの実装形態において、方法７００は、デバイス（例えば、図８の電子デバイス８００）によって実行される。方法７００は、電子デバイスを使用して、又は互いに通信する複数のデバイスによって、実行することができる。いくつかの実装形態では、方法７００は、処理ロジックによって実行され、処理ロジックは、ハードウェア、ファームウェア、ソフトウェア、又はそれらの組み合わせを含む。いくつかの実装形態では、方法７００は、非一時的コンピュータ可読媒体（例えば、メモリ）に記憶されたコードを実行するプロセッサによって実行される。いくつかの実装形態では、方法７００は、プロセッサを有する電子デバイスによって実行される。

【0044】

ブロック７１０において、方法７００は、環境（例えば、物理的環境又は仮想環境）に対応する３Ｄ座標系内の視聴ポータルの第１のポジションを決定する。いくつかの実装形態では、視聴ポータルの初期ポジションは、物理的環境又は３Ｄ座標系に基づく（例えば、中心に置かれた）予め設定されたロケーションである。いくつかの実装形態では、視聴ポータルの初期ポジションは、物理的環境について取得された奥行きデータ及び／又は他のセンサデータに基づく。いくつかの実装形態では、視聴ポータルの初期サイズ及び／又はアスペクト比も決定され得る。

【0045】

ブロック７２０において、方法７００は、３Ｄ座標系内のコンテンツアイテムの第２のポジションであって、第２のポジションは、視聴ポータルの前面の反対側である、第２のポジションを決定する。いくつかの実装形態では、第２のポジションは、人の両眼からの追加コンテンツアイテムのビューが実質的に同じになる（例えば、視差がほとんど又は全くない）ように、第１のポジションの背後の焦点距離に選択される。例えば、追加コンテンツアイテムは、視聴ポータルの１０メートル背後に配置され、視聴ポータルの中心に置かれてもよい。いくつかの実装形態では、コンテンツアイテムは、深度セグメント化画像、２Ｄ写真、又は２Ｄパノラマ写真を含む。いくつかの実装形態では、第２のポジションを決定することはまた、コンテンツアイテムをテクスチャ処理する表面、例えば、平坦面又は湾曲した平坦面を識別することを伴い得る。表面オブジェクト上のコンテンツアイテムに対応する画像の表示サイズは、コンテンツアイテム又はその中の描写の元のサイズに基づいてもよい。

【0046】

いくつかの実装形態では、ブロック７２０において、第２のポジションは第１のポジションから独立しており、したがって、コンテンツアイテムを修正することなく、視聴ポータルを拡張、伸長、又は動画化することができる。いくつかの実装形態では、第２のポジションは、コンテンツアイテムに奥行きの外観を提供するように選択される。

【0047】

いくつかの実装形態では、ブロック７２０において、第２のポジションは、環境又は３Ｄ座標系に対してコンテンツアイテムを位置合わせする。第２のポジションにおけるコンテンツアイテムの位置合わせは、コンテンツアイテムを作成した電子デバイスからのセンサデータ（例えば、配向、動き、重力ベクトルなど）を使用して決定され得る。いくつかの実装形態では、第２のポジションは、表面オブジェクト上のコンテンツアイテムに対応する画像の特徴（例えば、水平線）を、環境の特徴（例えば、水平線）と位置合わせさせる。

【0048】

ブロック７３０において、方法７００は、表面オブジェクトであって、表面オブジェクトは、コンテンツアイテムに対応する画像でテクスチャ処理され、表面オブジェクトは、第２のポジションに配置される、表面オブジェクトを生成する。いくつかの実装形態では、コンテンツアイテムはパノラマ写真であり、表面オブジェクトは、視聴ポータルの背後の距離である仮想曲面を含む。いくつかの実装形態では、コンテンツアイテムに対応する画像は、コンテンツアイテムに対応する２Ｄ画像を含む。いくつかの実装形態では、表面オブジェクトは、円筒シェルの部分を含み、円筒シェルの内面は、コンテンツアイテムに対応する画像を用いてテクスチャ処理される。

【0049】

ブロック７４０において、方法７００は、３Ｄ座標系内の電子デバイスの視点を決定する。いくつかの実装形態では、電子デバイスの視点は、電子デバイスのセンサデータに基づいて決定される。いくつかの実装形態では、電子デバイスの視点は、物理的環境に対して決定される。いくつかの実装形態では、視聴ポータルの初期ポジションは、視点のすぐ前の設定距離である。

【0050】

ブロック７５０において、方法７００は、視点から視聴ポータルを通して見える表面オブジェクトの部分であって、部分は、第１のポジション、第２のポジション、及び視点に基づいて識別される、部分を識別する。いくつかの実装形態では、視聴ポータルのサイズ、アスペクト比、又は第１のポジションは、表面オブジェクトが視聴されるときに実行されているアプリケーションのパラメータ、及び／又は視聴されるコンテンツアイテムの特性に基づいて決定される。

【0051】

ブロック７６０において、方法７００は、環境内の表面オブジェクトの識別された部分のビューを提供する。いくつかの実装形態では、表面コンテンツの識別された部分は、電子デバイスの視点が物理的環境内で移動するにつれて変化する。例えば、識別された部分は、コンテンツアイテムの対象であってもよい。

【0052】

いくつかの実装形態では、視聴ポータルは、（例えば、視聴ポータルの縁部を使用して）コンテンツアイテムを物理的環境から区別することができる。視聴ポータルは、視聴ポータルの縁部を使用して表面オブジェクトを環境から区別してもよい。いくつかの実装形態では、視聴ポータルのサイズは、物理的環境よりも小さく、表面オブジェクトの識別された部分は、物理的環境の壁などの包囲面と交差しない。

【0053】

いくつかの実装形態では、物理的環境又は仮想環境において同時に視聴され得る、対応する複数の視聴ポータルの背後に異なるコンテンツアイテムを配置することは、異なるコンテンツアイテムの視聴可能部分のそれぞれの焦点距離が互いに類似しており、物理的環境又は仮想環境内の複数の視聴ポータルまでの距離とは全て異なるように決定される。いくつかの実装形態では、異なるコンテンツアイテムの複数の視聴ポータルが同時に視聴されてもよく、コンテンツアイテムのうちの１つの選択は、選択されたコンテンツアイテムのより多くが物理的環境において可視となるように、拡張された視聴ポータルを提供してもよい。あるいは、同じコンテンツアイテムの複数の視聴ポータルを使用して、同じコンテンツアイテムに適用された異なるイメージング効果の比較を可能にすることができる。

【0054】

方法７００は、環境内の複数の異なるコンテンツアイテムに対応する複数の視聴ポータルであって、複数の視聴ポータルは視聴ポータルを含み、複数のコンテンツアイテムはコンテンツアイテムを含む、複数の視聴ポータルのビューを提供することを含み得る。複数のコンテンツアイテムは、複数の視聴ポータルのうちの対応する視聴ポータルの背後の一貫した焦点距離にある複数の表面オブジェクト上に提供されてもよい。複数のコンテンツアイテムのうちの１つの選択に従って、複数の視聴ポータルのうちの対応する１つのサイズは拡張されてもよい。

【0055】

いくつかの実装形態では、コンテンツアイテムは、第１の奥行きを伴う第１の部分と、第２のより大きい奥行きを伴う第２の部分とを含む。次に、第２の部分に対応する表面オブジェクトの一部が可視のままである間に、視聴ポータルのサイズが縮小され、同時に、第１の部分を対応するサイズに変更しながら、サイズ縮小視聴ポータルの前の接地面上のポジションに第１の部分が移動される。

【0056】

いくつかの実装形態では、ブロック７１０～７６０は繰り返し実行される。いくつかの実装形態では、本明細書で開示される技術は、光学シースルー又は不透明ディスプレイを有するＨＭＤなどのウェアラブルデバイス上で実装され得る。

【0057】

上記で提供された例は、物理的環境における視聴ポータルの使用を説明しているが、視聴ポータルは、同様の利益を提供するために、仮想環境においてコンテンツを視聴するためにも使用され得ることを理解されたい。

【0058】

図８は、例示的なデバイス８００のブロック図である。特定の特徴が示されているが、当業者は、本明細書に開示される実装形態のより適切な態様を曖昧にしないよう、簡潔にするために様々な他の特徴が示されていないことを、本開示から理解されよう。その目的のため、非限定的な例として、いくつかの実装形態では、電子デバイス８００は、１つ以上の処理ユニット８０２（例えば、マイクロプロセッサ、ＡＳＩＣ、ＦＰＧＡ、ＧＰＵ、ＣＰＵ、処理コアなど）、１つ以上の入出力（Ｉ／Ｏ）デバイス及びセンサ８０６、１つ以上の通信インタフェース８０８（例えば、ＵＳＢ、ＦＩＲＥＷＩＲＥ、ＴＨＵＮＤＥＲＢＯＬＴ、ＩＥＥＥ ８０２．３ｘ、ＩＥＥＥ ８０２．１１ｘ、ＩＥＥＥ ８０２．１６ｘ、ＧＳＭ、ＣＤＭＡ、ＴＤＭＡ、ＧＰＳ、赤外線、ＢＬＵＥＴＯＯＴＨ、ＺＩＧＢＥＥ、ＳＰＩ、Ｉ２Ｃ、又は同様のタイプのインタフェース）、１つ以上のプログラミング（例えば、Ｉ／Ｏ）インタフェース８１０、１つ以上のディスプレイ８１２、１つ以上の内向き又は外向きセンサシステム８１４、メモリ８２０、並びにこれら及び様々な他の構成要素を相互接続するための１つ以上の通信バス８０４を含む。

【0059】

いくつかの実装形態では、１つ以上の通信バス８０４は、システム構成要素間の通信を相互接続し、制御する回路を含む。いくつかの実装形態では、１つ以上のＩ／Ｏデバイス及びセンサ８０６は、慣性測定装置（ＩＭＵ）、加速度計、磁力計、ジャイロスコープ、温度計、１つ以上の生理的センサ（例えば、血圧モニタ、心拍数モニタ、血液酸素センサ、血糖センサなど）、１つ以上のマイクロフォン、１つ以上のスピーカ、触覚エンジン、１つ以上の深度センサ（例えば、構造化光、飛行時間など）などのうちの少なくとも１つを含む。

【0060】

いくつかの実装形態では、１つ以上のディスプレイ８１２が、ユーザにコンテンツを提示するように構成される。いくつかの実装形態では、１つ以上のディスプレイ８１２は、ホログラフィック、デジタル光処理（ＤＬＰ）、液晶ディスプレイ（ＬＣＤ）、反射型液晶オブジェクト（ＬＣｏＳ）、有機発光電界効果トランジスタ（ＯＬＥＴ）、有機発光ダイオード（ＯＬＥＤ）、表面伝導型電子放出素子ディスプレイ（ＳＥＤ）、電界放出ディスプレイ（ＦＥＤ）、量子ドット発光ダイオード（ＱＤ－ＬＥＤ）、微小電気機械システム（ＭＥＭＳ）、又は同様のディスプレイタイプに相当する。いくつかの実装形態では、１つ以上のディスプレイ８１２は、回折、反射、偏光、ホログラフィックなどの、導波路ディスプレイに相当する。例えば、電子デバイス８００は、単一のディスプレイを含んでもよい。別の例では、電子デバイス８００は、ユーザの各眼用のディスプレイを含む。

【0061】

いくつかの実装形態では、１つ以上のセンサシステム８１４は、画像データをキャプチャする画像キャプチャデバイス若しくはアレイ、又はオーディオデータをキャプチャするオーディオキャプチャデバイス若しくはアレイ（例えば、マイクロフォン）を含む。１つ以上の画像センサシステム８１４は、１つ以上のＲＧＢカメラ（例えば、相補型金属酸化膜半導体（ＣＭＯＳ）画像センサ又は電荷結合デバイス（ＣＣＤ）画像センサを備えた）、モノクロカメラ、赤外線カメラなどを含むことができる。１つ以上のセンサシステム８１４は、内向き又は外向きセンサを含んでもよい。いくつかの実装形態では、１つ以上の画像センサシステム８１４は、フラッシュなどの光を放射する照明光源を更に含む。いくつかの実装形態では、１つ以上の画像センサシステム８１４は、画像データに対して複数の処理動作を実行するように構成されたオンカメラ画像信号プロセッサ（ＩＳＰ）を更に含む。

【0062】

メモリ８２０は、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ、又は他のランダムアクセスソリッドステートメモリデバイスなどの、高速ランダムアクセスメモリを含む。いくつかの実装形態では、メモリ８２０には、１つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性記憶デバイスなどの不揮発性メモリが含まれる。メモリ８２０は、１つ以上の処理ユニット８０２からリモートに位置する１つ以上の記憶デバイスを任意選択的に含む。メモリ８２０は、非一時的コンピュータ可読記憶媒体を含む。

【0063】

いくつかの実装形態では、メモリ８２０又はメモリ８２０の非一時的コンピュータ可読記憶媒体は、任意選択的なオペレーティングシステム８３０及び１つ以上の命令セット（単数又は複数）８４０を記憶する。オペレーティングシステム８３０は、様々な基本システムサービスを処理するための手順、及びハードウェア依存タスクを実行するための手順を含む。いくつかの実装形態では、命令セット（単数又は複数）８４０は、電荷の形態で記憶されたバイナリ情報によって定義される実行可能ソフトウェアを含む。いくつかの実装形態では、命令セット（単数又は複数）８４０は、本明細書で説明する技術のうちの１つ以上を実行するように１つ以上の処理ユニット８０２によって実行可能なソフトウェアである。

【0064】

いくつかの実装形態では、命令セット（単数又は複数）８４０は、本明細書に開示される技術のうちの１つ以上に従って、視聴ポータルの背後に位置付けられる追加された仮想コンテンツを視聴するための物理的環境において視聴ポータルを提供するように、処理ユニット（単数又は複数）８０２によって実行可能である視聴ポータル生成器８４２を含む。

【0065】

命令セット（単数又は複数）８４０は単一のデバイス上に存在するものとして示されているが、他の実装形態では、要素の任意の組み合わせが別個のコンピューティングデバイス内に配置され得ることを理解されたい。図８は、本明細書に記載される実装形態の構造概略とは対照的に、特定の実装形態に存在する様々な特徴の機能的説明を更に意図している。当業者によって認識されるように、別々に示された事項を組み合わせることができ、また、一部の事項は分離することができる。例えば、命令セットの実際の数並びに特定の機能の分割及びそれらの間にどのように機能が割り当てられるかは、実装形態によって異なり、いくつかの実装形態において、特定の実装形態のために選択されたハードウェア、ソフトウェア又はファームウェアの特定の組み合わせに部分的に依存する。

【0066】

上述の実装形態は例として挙げられており、本発明は、上記において具体的に図示及び説明したものに限定されないことを理解されたい。むしろ、その範囲は、以上に説明した様々な特徴の組み合わせ及び部分的組み合わせの両方、並びに当業者であれば前述の説明を読むことによって想到するであろう、従来技術に開示されていないそれらの変型及び修正を含む。

【0067】

当業者であれば、本明細書に記載される例示的な実装形態のより適切な態様を不明瞭にしないよう、周知のシステム、方法、構成要素、デバイス及び回路は、網羅的に詳細を記載していないことを理解するであろう。更に、他の有効な態様及び／又は変形が本明細書に記載される特定の詳細全てを含むものではない。したがって、図面に示される例示的な態様の十分な理解を提供するために、いくつかの詳細が記載されている。更に、図面は単に本開示のいくつかの例示的な実施形態を示すものであり、したがって、限定的であると考慮されるべきではない。

【0068】

本明細書は、多数の特定の実装詳細を含むが、これらは、任意の発明の範囲又は特許請求され得る範囲の制限として解釈されるべきではなく、特定の発明の特定の実施形態に固有である特徴の説明として解釈されるべきである。別個の実施形態のコンテキストで本明細書に記載されている特定の特徴どうしを組み合わせて、単一の実施形態に実装することもできる。その逆に、単一の実施形態のコンテキストで記載されている様々な特徴をそれぞれ別個に複数の実施形態に、又は任意の好適な部分的組み合わせにて実装することもできる。更に、特徴が特定の組み合わせで作用するものとして上に記載されている場合もあれば、更には当初からそのようなものとして主張されている場合もあるが、いくつかの実例においては、主張された組み合わせの１つ以上の特徴をその組み合わせから削除することもできる。また、主張された組み合わせを部分的組み合わせ又は部分的組み合わせの変形態様に向けることもできる。

【0069】

同様に、図面において、動作は、特定の順番で表されているが、望ましい結果を達成するために、これらの動作が示された順番、若しくは逐次的順番、又は示された動作が全て実行されることを必要としていると理解すべきではない。特定の状況において、多重タスク処理及び並列処理が、有利な場合がある。そのうえ、上述した実施形態における様々なシステム構成要素の分離は、あらゆる実施形態においてそのような分離が要求されるものとして理解されるべきではなく、説明したプログラム構成要素及びシステムを概してまとめて単一のソフトウェア製品に一体化してもよいし、又は複数のソフトウェア製品にパッケージ化してもよいことは理解されるべきである。

【0070】

したがって、対象の特定の実施形態が説明されている。他の実施形態は、下掲の特許請求の範囲内に含まれる。場合によっては、特許請求の範囲に記載されているアクションを異なる順序で実行しても、望ましい結果を達成することができる。更に、添付の図に示されているプロセスは、望ましい結果を達成するために、必ずしも示されている特定の順序、又は一連の順序を必要とするわけではない。特定の実装形態では、多重タスク処理及び並列処理が有利な場合がある。

【0071】

本明細書で説明される対象及び動作の実施形態は、本明細書で開示される構造、及びその構造的均等物を含む、デジタル電子回路機構として、又は、コンピュータソフトウェア、ファームウェア、若しくはハードウェアとして、あるいはそれらのうちの１つ以上の組み合わせとして実装することができる。本明細書に記載の対象の実施形態は、１つ以上のコンピュータプログラム、すなわち、データ処理装置によって実行するために、又はデータ処理装置の動作を制御するためにコンピュータ記憶媒体上に符号化されたコンピュータプログラム命令の１つ以上のモジュールとして実装することができる。代替的又は追加的に、プログラム命令は、データ処理装置による実行のために適切な受信機装置に送信するための情報を符号化するために生成される人工的に生成された伝播信号、例えば機械生成の電気信号、光学信号、又は電磁信号で符号化することができる。コンピュータ記憶媒体は、コンピュータ可読記憶デバイス、コンピュータ可読記憶基板、ランダムアクセス若しくはシリアルアクセスメモリアレイ若しくはデバイス、又はそれらのうちの１つ以上の組み合わせであってもよく、又はそれらに含まれてもよい。更に、コンピュータ記憶媒体は伝搬信号ではないが、コンピュータ記憶媒体は、人工的に生成された伝搬信号に符号化されたコンピュータプログラム命令のソース又は対象とすることができる。コンピュータ記憶媒体はまた、１つ以上の別個の物理的構成要素又は媒体（例えば、複数のＣＤ、ディスク、又は他の記憶デバイス）であってもよく、又はそれらに含まれてもよい。

【0072】

「データ処理装置」という用語は、例として、プログラマブルプロセッサ、コンピュータ、システムオンチップ、又は上記の複数のもの、又は組み合わせを含む、データを処理するためのあらゆる種類の装置、デバイス、及び機械を包含する。装置は、例えばＦＰＧＡ（フィールドプログラマブルゲートアレイ）又はＡＳＩＣ（特定用途向け集積回路）などの専用ロジック回路を含むことができる。それらの装置としてはまた、ハードウェアに加えて、当該のコンピュータプログラム用の実行環境を作り出すコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、クロスプラットフォーム実行時環境、仮想マシン、又はそれらのうちの１つ以上の組み合わせを構成する、コードを挙げることもできる。装置及び実行環境は、ウェブサービス、分散コンピューティング、及びグリッドコンピューティングインフラストラクチャなど、様々な異なるコンピューティングモデルインフラストラクチャを実現することができる。特に明記しない限り、本明細書の説明全体を通して、「処理する」、「計算する（computing）」、「計算する（calculating）」、「判定する」、及び「特定する」などの用語を利用することは、コンピューティングデバイスのアクション又はプロセスを指すことが理解される。コンピューティングデバイスとは、メモリ、レジスタ若しくは他の情報記憶デバイス、送信デバイス又はコンピューティングプラットフォームの表示デバイス範囲内にある物理電子量又は磁気量として表されるデータを操作するか又は変換する、１つ以上のコンピュータ又は類似の電子コンピューティングデバイス（単数又は複数）などである。

【0073】

本明細書で論じられるシステム（単数又は複数）は、いかなる特定のハードウェアアーキテクチャ又は構成にも限定されない。コンピューティングデバイスは、１つ以上の入力が条件づけられた結果を提供する、任意の好適な構成要素の配置を含み得る。好適なコンピューティングデバイスは、汎用計算装置から本対象の１つ以上の実装形態を実装する専用計算装置まで、コンピューティングシステムをプログラミングするか又は構成するよう記憶されたソフトウェアにアクセスする汎用マイクロプロセッサベースのコンピュータシステムを含む。任意の好適なプログラミング、スクリプティング又は他のタイプの言語若しくは言語の組み合わせを使用して、本明細書に含まれる教示をソフトウェア内に実装して、コンピューティングデバイスのプログラミング又は構成に使用してもよい。

【0074】

本明細書に開示される方法の実装形態は、このようなコンピューティングデバイスの動作において実行されてもよい。上述の例で提示されているブロックの順序は変更可能であり、例えば、ブロックを並べ替えるか、結合するか及び／又はサブブロックに分割することができる。特定のブロック又はプロセスは、並行して実行することができる。本明細書に記載の動作は、１つ以上のコンピュータ可読記憶デバイス上に記憶された、又は他のソースから受信されたデータに対してデータ処理装置によって実行される動作として実装することができる。

【0075】

本明細書の「ように適合される」又は「ように構成される」の使用は、追加のタスク若しくはステップを実行するように適合するか又は構成されるデバイスを排除しない、限定されず、かつ包括的な言語を意味する。更に、「に基づく」の使用は、１つ以上の列挙された条件又は値「に基づく」プロセス、ステップ、計算又は他のアクションが、実際には、列挙された条件又は値を超える追加の条件又は値に基づいてもよいという点で、限定されずかつ包括的であることを意味する。本明細書に含まれる見出し、リスト及び番号付けは、説明を容易にするためのものであり、限定することを意図するものではない。

【0076】

本明細書では、様々な要素を説明するために「第１の」、「第２の」などの用語が使用される場合があるが、これらの要素は、これらの用語によって限定されるべきではないことも理解されるであろう。これらの用語は、ある要素を別の要素と区別するためにのみ使用される。例えば、「第１ノード」の全ての出現について一貫して名前が変更され、「第２ノード」の全ての出現について一貫して名前が変更される限り、説明の意味を変えることなく、第１ノードは第２ノードと呼ぶことができ、同様に、第２ノードは第１ノードと呼ぶことができる。第１のノードと第２のノードは両方ともノードであるが、それらは同じノードではない。

【0077】

本明細書で使用される用語は、特定の実装形態を説明する目的のためであり、特許請求の範囲を限定することを意図するものではない。説明される実装形態の説明及び添付の特許請求の範囲で使用されるとき、単数形の「ａ」、「ａｎ」、及び「ｔｈｅ」は、文脈がそうではないことを明確に示さない限り、複数形も含むことを意図している。また、本明細書で使用されるとき、用語「及び／又は」は、関連する列挙された項目のうちの１つ以上のいずれか及び全ての考えられる組み合わせを指し、かつこれを含むことを理解されたい。用語「ｃｏｍｐｒｉｓｅｓ（含む）」及び／又は「ｃｏｍｐｒｉｓｉｎｇ（含む）」が、本明細書で使用される場合、述べられた特徴、整数、ステップ、動作、要素、及び／又は構成要素の存在を指定するが、１つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、及び／又はそれらのグループの存在又は追加を除外しないことを更に理解されたい。

【0078】

本明細書で使用されるときには、用語「ｉｆ」は、文脈に応じて、「時」又は「際に」又は、先に述べた条件が正しいとの「判定に応じて」又は「判定に従って」、「検出に応じて」を意味するものと解釈できる。同様に、「［先に述べた条件が正しい］と判定される場合」、「［先に述べた条件が正しい］場合」、又は「［先に述べた条件が正しい］とき」というフレーズは、先に述べた条件が正しいとの「判定に際して」、「判定に応じて」、「判定に従って」、「検出した際に」、又は「検出に応じて」ということを意味するものと解釈できる。

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図3D】

【図4】

【図5】

【図6A】

【図6B】

【図7】

【図8】

【手続補正書】

【提出日】2024-03-22

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

電子デバイスの１つ以上のプロセッサにおいて、
環境に対応する三次元（３Ｄ）座標系内の視聴ポータルの第１のポジションを決定することと、
前記３Ｄ座標系内のコンテンツアイテムの第２のポジションであって、前記第２のポジションは、前記視聴ポータルの前面の反対側である、第２のポジションを決定することと、
表面オブジェクトであって、前記表面オブジェクトは、前記コンテンツアイテムに対応する画像でテクスチャ処理され、前記表面オブジェクトは、前記第２のポジションに配置される、
表面オブジェクトを生成することと、
前記３Ｄ座標系内の前記電子デバイスの視点を決定することと、
前記視点から前記視聴ポータルを通して見える前記表面オブジェクトの部分であって、前記部分は、前記第１のポジション、前記第２のポジション、及び前記視点に基づいて識別される、部分を識別することと、
前記環境内の前記表面オブジェクトの前記識別された部分のビューを提供することと、
を含む、方法。

【請求項2】

前記コンテンツアイテムは、深度セグメント化画像、二次元（２Ｄ）写真、又はパノラマ写真を備える、請求項１に記載の方法。

【請求項3】

前記第２のポジションは、前記第１のポジションから独立しており、前記コンテンツアイテムに奥行きの外観を提供するように選択される、請求項１に記載の方法。

【請求項4】

前記コンテンツアイテムを修正することなく、前記視聴ポータルを拡張、伸長、又は動画化することを更に含む、請求項１に記載の方法。

【請求項5】

前記表面オブジェクトの前記識別された部分は、前記電子デバイスの前記視点が前記環境内で移動するにつれて変化する、請求項１に記載の方法。

【請求項6】

前記視聴ポータルのサイズは、前記環境よりも小さく、前記表面オブジェクトの前記識別された部分は、前記環境の包囲面と交差しない、請求項１に記載の方法。

【請求項7】

前記第２のポジションは、前記コンテンツアイテムを作成した電子デバイスからのセンサデータを使用して決定される、請求項１に記載の方法。

【請求項8】

前記視聴ポータルのサイズ又はアスペクト比は、前記表面オブジェクトが視聴されるときに実行されているアプリケーションのパラメータ又は前記コンテンツアイテムの特性に基づいて決定される、請求項１に記載の方法。

【請求項9】

前記第２のポジションは、前記コンテンツアイテムに基づいて決定される、請求項１に記載の方法。

【請求項10】

前記表面オブジェクト上の前記コンテンツアイテムに対応する前記画像の水平線を前記環境の水平線と位置合わせすることを更に含む、請求項１に記載の方法。

【請求項11】

前記表面オブジェクト上の前記コンテンツアイテムに対応する前記画像の表示サイズは、前記コンテンツアイテム内の描写の元のサイズに基づく、請求項１に記載の方法。

【請求項12】

前記環境内の複数の異なるコンテンツアイテムに対応する複数の視聴ポータルであって、前記複数の視聴ポータルは前記視聴ポータルを含み、前記複数のコンテンツアイテムは前記コンテンツアイテムを含み、前記複数のコンテンツアイテムは、前記複数の視聴ポータルの対応する視聴ポータルの背後の一貫した焦点距離にある複数の表面オブジェクト上に提供される、複数の視聴ポータルのビューを提供することと、
前記複数のコンテンツアイテムのうちの１つの選択に従って、前記複数の視聴ポータルのうちの対応する１つのサイズを拡張することと、
を更に含む、請求項１に記載の方法。

【請求項13】

前記第２のポジション、前記視点、及び前記複数の視聴ポータルのそれぞれのロケーションに基づいて、前記表面オブジェクトの異なる部分のビューを含む複数の視聴ポータルのビューを提供することを更に含み、前記複数の視聴ポータルの各々は、前記表面オブジェクトに適用される異なるイメージング効果を示す、
請求項１に記載の方法。

【請求項14】

前記コンテンツアイテムは、第１の奥行きを有する第１の部分と、第２のより大きい奥行きを有する第２の部分とを含み、前記方法は、
前記第２の部分に対応する前記表面オブジェクトの部分が前記視聴ポータルを通して可視のままである間に、前記視聴ポータルのサイズを縮小することと、
前記第１の部分を対応するサイズに変更しながら、前記第１の部分を前記サイズ縮小視聴ポータルの前の接地面上のポジションに同時に移動させることと、を更に含む、請求項１に記載の方法。

【請求項15】

前記コンテンツアイテムの対象に対応する前記コンテンツアイテムの部分を識別することと、
前記コンテンツアイテムの前記対象に対応する前記コンテンツアイテムの前記識別された部分に一致するように、前記視聴ポータルのアスペクト比を選択することと、
を更に含む、請求項１に記載の方法。

【請求項16】

前記視聴ポータルは、前記視聴ポータルの縁部を使用して前記表面オブジェクトを前記環境から区別する、請求項１に記載の方法。

【請求項17】

前記コンテンツアイテムはパノラマ写真であり、前記表面オブジェクトは、前記視聴ポータルの背後の距離である仮想曲面を含む、請求項１に記載の方法。

【請求項18】

前記環境は、物理的環境又は３Ｄ仮想環境である、請求項１に記載の方法。

【請求項19】

システムであって、
メモリと、
前記メモリに結合されたデバイスにおける１つ以上のプロセッサとを備え、前記メモリは、前記１つ以上のプロセッサ上で実行されたとき、前記システムに動作を実行させるプログラム命令を含み、前記動作は、
環境に対応する三次元（３Ｄ）座標系内の視聴ポータルの第１のポジションを決定することと、
前記３Ｄ座標系内のコンテンツアイテムの第２のポジションであって、前記第２のポジションは、前記視聴ポータルの前面の反対側である、第２のポジションを決定することと、
表面オブジェクトであって、前記表面オブジェクトは、前記コンテンツアイテムに対応する画像でテクスチャ処理され、前記表面オブジェクトは、前記第２のポジションに配置される、
表面オブジェクトを生成することと、
前記３Ｄ座標系内の前記電子デバイスの視点を決定することと、
前記視点から前記視聴ポータルを通して見える前記表面オブジェクトの部分であって、前記部分は、前記第１のポジション、前記第２のポジション、及び前記視点に基づいて識別される、部分を識別することと、
前記環境内の前記表面オブジェクトの前記識別された部分のビューを提供することと、を含む、システム。

【請求項20】

動作を実行するように１つ以上のプロセッサを介して実行可能なプログラム命令を記憶する非一時的コンピュータ可読記憶媒体であって、前記動作は、
環境に対応する三次元（３Ｄ）座標系内の視聴ポータルの第１のポジションを決定することと、
前記３Ｄ座標系内のコンテンツアイテムの第２のポジションであって、前記第２のポジションは、前記視聴ポータルの前面の反対側である、第２のポジションを決定することと、
表面オブジェクトであって、前記表面オブジェクトは、前記コンテンツアイテムに対応する画像でテクスチャ処理され、前記表面オブジェクトは、前記第２のポジションに配置される、
表面オブジェクトを生成することと、
前記３Ｄ座標系内の前記電子デバイスの視点を決定することと、
前記視点から前記視聴ポータルを通して見える前記表面オブジェクトの部分であって、前記部分は、前記第１のポジション、前記第２のポジション、及び前記視点に基づいて識別される、部分を識別することと、
前記環境内の前記表面オブジェクトの前記識別された部分のビューを提供することと、を含む、非一時的コンピュータ可読記憶媒体。

【国際調査報告】