特許 7699611 実世界画像において拡張現実オブジェクトを組み合わせるための方法および装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-06-19

(45)【発行日】2025-06-27

(54)【発明の名称】実世界画像において拡張現実オブジェクトを組み合わせるための方法および装置

(51)【国際特許分類】

   G06T 19/00 20110101AFI20250620BHJP

【ＦＩ】

G06T19/00 600

【請求項の数】 26

(21)【出願番号】P 2022571306

(86)(22)【出願日】2020-05-22

(65)【公表番号】

(43)【公表日】2023-08-15

(86)【国際出願番号】 US2020070069

(87)【国際公開番号】W WO2021236173

(87)【国際公開日】2021-11-25

【審査請求日】2023-05-19

(73)【特許権者】

【識別番号】502208397

【氏名又は名称】グーグル エルエルシー

【氏名又は名称原語表記】Ｇｏｏｇｌｅ ＬＬＣ

【住所又は居所原語表記】１６００ Ａｍｐｈｉｔｈｅａｔｒｅ Ｐａｒｋｗａｙ ９４０４３ Ｍｏｕｎｔａｉｎ Ｖｉｅｗ， ＣＡ Ｕ．Ｓ．Ａ．

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】ターナー，エリック

(72)【発明者】

【氏名】立野 圭祐

(72)【発明者】

【氏名】ツォツォス，コンスタンティン・ニコラス・ジョン

(72)【発明者】

【氏名】コードル，アダルシュ

(72)【発明者】

【氏名】グプタ，バイバブ

(72)【発明者】

【氏名】チャーサー，アンブラス

【審査官】鈴木 肇

(56)【参考文献】

【文献】国際公開第２０１９／０３０２３５（ＷＯ，Ａ１）

【文献】特表２０１６－５１４３８４（ＪＰ，Ａ）

【文献】特開２０１９－１２５３４５（ＪＰ，Ａ）

【文献】特開２０１４－１０６５４３（ＪＰ，Ａ）

【文献】特開２０１２－０２６８９５（ＪＰ，Ａ）

【文献】特開２０１５－１２５６２１（ＪＰ，Ａ）

【文献】国際公開第２０１９／１２３７２９（ＷＯ，Ａ１）

【文献】国際公開第２０１８／２２３１５２（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１７／０１１６７０８（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００

Ｇ０６Ｔ １１／６０－１３／８０

Ｇ０６Ｔ １７／０５

Ｇ０６Ｔ １９／００－１９／２０

(57)【特許請求の範囲】

【請求項1】

方法であって、
拡張現実（ＡＲ）アプリケーションの第１の時間にカメラによってキャプチャされた第１のフレームに関連付けられる第１の深度画像を受信することを含み、前記第１の深度画像は、実世界空間の少なくとも第１の部分を表し、前記方法はさらに、
前記ＡＲアプリケーションの前記第１の時間の後の第２の時間に前記カメラによってキャプチャされた第２のフレームに関連付けられる第２の深度画像を受信することとを含み、前記第２の深度画像は、前記実世界空間の少なくとも第２の部分を表し、前記方法はさらに、
前記第２の深度画像における欠落した深度情報または無効な深度情報を特定すること、および、
前記欠落した深度情報または無効な深度情報を、前記第１の深度画像からの前記欠落した深度情報または無効な深度情報に対応する深度情報と置換すること、によってブレンド深度画像を生成することと、
前記ブレンド深度画像に基づいて生成された実世界画像と組み合わされたＡＲオブジェクトを表示することとを含む、方法。

【請求項2】

前記第１の深度画像は、前記ＡＲアプリケーションに関連付けられるバッファに記憶される前記ＡＲアプリケーションのフレームを表す複数の深度画像のうちの１つである、請求項１に記載の方法。

【請求項3】

前記第１の深度画像は、前記ＡＲアプリケーションに関連付けられるバッファに記憶される前記ＡＲアプリケーションのフレームを表す複数の深度画像のうちの１つであり、前記方法は、さらに、
前記バッファに記憶される前記複数の深度画像の一部を選択することと、
前記複数の深度画像の前記一部に基づいてデータ構造を生成することとを含み、前記データ構造は前記実世界空間を表し、前記データ構造は、深度情報、位置情報、および方向情報を含み、前記方法は、さらに、
前記生成されたデータ構造を記憶することを含む、請求項１に記載の方法。

【請求項4】

前記第１の深度画像は、前記ＡＲアプリケーションに関連付けられるバッファに記憶される前記ＡＲアプリケーションのフレームを表す複数の深度画像のうちの１つであり、前記方法は、さらに、
前記バッファに記憶される前記複数の深度画像の一部を受信することと、
前記複数の深度画像の前記一部に基づいて複数のサーフェルを生成することとを含み、前記複数のサーフェルは前記実世界空間を表し、前記方法はさらに、
前記生成された複数のサーフェルを記憶することを含む、請求項１に記載の方法。

【請求項5】

さらに、
深度情報、位置情報、および方向情報を含むデータ構造を受信することと、
前記データ構造を第３の深度画像としてレンダリングすることと、
前記第３の深度画像を前記実世界画像とブレンドすることとを含む、請求項１～４のいずれか１項に記載の方法。

【請求項6】

さらに、
前記実世界空間を表す複数のサーフェルを受信することと、
前記複数のサーフェルを第３の深度画像としてレンダリングすることと、
前記第３の深度画像を前記実世界画像とブレンドすることとを含む、請求項１～４のいずれか１項に記載の方法。

【請求項7】

前記実世界画像内において前記ＡＲオブジェクトを組み合わせることは、深度に基づいて、前記実世界画像内のピクセルの一部を前記ＡＲオブジェクト内のピクセルの一部と置換することを含む、請求項１～６のいずれか１項に記載の方法。

【請求項8】

前記実世界画像を生成することは、前記第２の深度画像内のピクセルの一部を、前記第１の深度画像の一部と置換することを含む、請求項１～７のいずれか１項に記載の方法。

【請求項9】

前記欠落した深度情報または無効な深度情報は、少なくとも１つのピクセルに対応し、
前記実世界画像を生成することは、前記少なくとも１つのピクセルを前記第１の深度画像の一部と置換することを含む、請求項１～７のいずれか１項に記載の方法。

【請求項10】

さらに、
前記実世界空間を表す複数のサーフェルを受信することと、
前記複数のサーフェルをレンダリングすることとを含み、
前記第２の深度画像は、少なくとも１つのピクセルを欠いており、
前記実世界画像を生成することは、前記少なくとも１つのピクセルを、前記レンダリングされた複数のサーフェルの一部と置換することを含む、請求項１～９のいずれか１項に記載の方法。

【請求項11】

前記第１の深度画像は、前記第１の深度画像が前記実世界空間をある位置において表す尤度を示す位置信頼度を含む、請求項１～１０のいずれか１項に記載の方法。

【請求項12】

方法であって、
拡張現実（ＡＲ）アプリケーションのフレームに関連付けられる深度データを受信することを含み、前記深度データは、実世界空間の少なくとも一部を表し、前記方法はさらに、
前記深度データを、前記ＡＲアプリケーションのフレームを表す複数の深度画像のうちの１つとして、前記ＡＲアプリケーションに関連付けられるバッファに記憶することを含み、前記フレームは単一のカメラによってキャプチャされ、前記方法はさらに、
前記深度データにおける欠落した深度情報または無効な深度情報を特定することと、
前記バッファに記憶される、前記欠落した深度情報または無効な深度情報に対応する前記複数の深度画像の一部を選択することと、
前記欠落した深度情報または無効な深度情報を前記複数の深度画像の前記一部と置換することによりデータ構造を生成することとを含み、前記データ構造は前記実世界空間を表し、前記データ構造は、深度情報、位置情報、および方向情報を含み、前記方法は、さらに、
前記生成されたデータ構造を記憶することを含む、方法。

【請求項13】

前記データ構造は、複数の表面要素（サーフェル）を含む、請求項１２に記載の方法。

【請求項14】

前記データ構造は、サーバと関連して記憶される、請求項１２または１３に記載の方法。

【請求項15】

前記複数の深度画像の前記一部を選択することは、前記ＡＲアプリケーションを実行する複数のデバイス上の複数のバッファから前記複数の深度画像を選択することを含む、請求項１２～１４のいずれか１項に記載の方法。

【請求項16】

前記記憶された深度データは、前記深度データがある位置において前記実世界空間を表す尤度を示す位置信頼度を含む、請求項１２～１５のいずれか１項に記載の方法。

【請求項17】

方法であって、
拡張現実（ＡＲ）アプリケーションの第１のフレームに関連付けられる第１の深度データを受信することを含み、前記第１の深度データは、実世界空間の少なくとも一部を表し、前記第１のフレームはカメラによってキャプチャされ、前記方法はさらに、
前記ＡＲアプリケーションに関連付けられる前記実世界空間の少なくとも第２の部分を表すデータ構造を受信することを含み、前記データ構造は、前記カメラによってキャプチャされた第２のフレームと関連付けられ、前記データ構造は、深度情報、位置情報、および方向情報を含み、前記方法はさらに、
前記第１の深度データにおける欠落した深度情報または無効な深度情報を特定すること、および、
前記欠落した深度情報または無効な深度情報を、前記データ構造からの前記欠落した深度情報または無効な深度情報に対応する深度情報と置換すること、によってブレンド深度画像を生成することと、
前記ブレンド深度画像に基づいて生成された実世界画像と組み合わされたＡＲオブジェクトを表示することとを含む、方法。

【請求項18】

前記実世界画像内において前記ＡＲオブジェクトを組み合わせることは、深度に基づいて、前記実世界画像内のピクセルの一部を前記ＡＲオブジェクト内のピクセルの一部と置換することを含む、請求項１７項に記載の方法。

【請求項19】

前記実世界画像を生成することは、前記第１の深度データ内のピクセルの一部を、前記データ構造の一部と置換することを含む、請求項１７または１８に記載の方法。

【請求項20】

前記第１の深度データは、少なくとも１つのピクセルを欠いており、
前記実世界画像を生成することは、前記少なくとも１つのピクセルを前記データ構造の一部と置換することを含む、請求項１７～１９のいずれか１項に記載の方法。

【請求項21】

前記データ構造は、複数の表面要素（サーフェル）を含む、請求項１７～２０のいずれか１項に記載の方法。

【請求項22】

前記データ構造は、複数のサーフェルを含み、
前記第１の深度データは、少なくとも１つのピクセルを欠いており、本方法はさらに、前記少なくとも１つのピクセルを前記複数のサーフェルの一部と置換することを含む、請求項１７～２１のいずれか１項に記載の方法。

【請求項23】

前記実世界空間を表す前記データ構造は、前記第１の深度データが前記実世界空間をある位置において表す尤度を示す位置信頼度を含む、請求項１７～２２のいずれか１項に記載の方法。

【請求項24】

前記データ構造は、サーバから受信される、請求項１７～２３のいずれか１項に記載の方法。

【請求項25】

請求項１～２４のいずれか１項に記載の方法をコンピュータに実行させるための、プログラム。

【請求項26】

１つ以上のプロセッサと、前記１つ以上のプロセッサによって実行される請求項２５に記載のプログラムを記憶するメモリとを備える、装置。

【発明の詳細な説明】

【技術分野】

【0001】

分野
実施形態は、拡張現実システムにおけるシーン表現に関する。

【背景技術】

【0002】

背景
拡張現実（ＡＲ）は、３次元（３Ｄ）グラフィックスを実世界ジオメトリと融合することを含み得る。３Ｄオブジェクトが実世界ジオメトリにおいて動き回るとき、３Ｄオブジェクトは、ＡＲディスプレイ上にレンダリングされると、実世界オブジェクトの前または後ろに現れ得る。例えば、人間型オブジェクトは、ＡＲディスプレイ上にレンダリングされると、実世界ジオメトリにおいて家具、半壁、木等の前または後ろに現れ得る。

【0003】

しかしながら、現在のＡＲシステムは、ＡＲディスプレイ上でのレンダリング時に、実世界オブジェクトおよび／または３Ｄオブジェクトの一部を（例えば、正しい深度および／または位置に）出現させ、および／または出現させない場合がある、不正確なおよび／または不安定な深度データを有し得る。たとえば、人間型が実世界オブジェクト（たとえば、半壁）の背後から出るとき、人間型の一部（たとえば、脚）は、ＡＲディスプレイ上でのレンダリング時、人間型のその部分が現れるべきであるときに、現れないことがある。代替的に、人間型が実世界オブジェクト（たとえば、半壁）の背後の位置に移動するとき、人間型の一部（たとえば、脚）は、ＡＲディスプレイ上でのレンダリング時、人間型のその部分が現れるべきでないときに現れることがある。これは、現在のＡＲシステムにおいて、所望に満たないユーザ経験をもたらし得る。

【発明の概要】

【0004】

概要
一般的な局面では、１つ以上のプロセッサと命令を記憶するメモリとを含む装置、デバイス、システム、（コンピュータシステム上で実行され得るコンピュータ実行可能プログラムコードを記憶した）非一時的コンピュータ可読媒体、および／または方法は、あるプロセスをある方法で実行し得、その方法は、拡張現実（ＡＲ）アプリケーションの第１の時間に第１のフレームに関連付けられる第１の深度画像を受信することを含み、第１の深度画像は、実世界空間の少なくとも第１の部分を表し、本方法はさらに、第１の深度画像を記憶することと、ＡＲアプリケーションの第１の時間の後の第２の時間に第２のフレームに関連付けられる第２の深度画像を受信することとを含み、第２の深度画像は、実世界空間の少なくとも第２の部分を表し、本方法はさらに、少なくとも、記憶された第１の深度画像を第２の深度画像とブレンドすることによって、実世界画像を生成することと、レンダリングされたＡＲオブジェクトを受信することと、実世界画像内でＡＲオブジェクトを組み合わせることと、ＡＲオブジェクトと組み合わされた実世界画像を表示することとを含み得る。

【0005】

実施形態は、以下の特徴のうちの１つまたは複数を含み得る。たとえば、第１の深度画像は、ＡＲアプリケーションに関連付けられるバッファに記憶されるＡＲアプリケーションのフレームを表す複数の深度画像のうちの１つであり得る。第１の深度画像は、ＡＲアプリケーションに関連付けられるバッファに記憶されるＡＲアプリケーションのフレームを表す複数の深度画像のうちの１つであり得、本方法は、さらに、バッファに記憶される複数の深度画像の一部を選択することと、複数の深度画像の一部に基づいてデータ構造を生成することとを含み、データ構造は実世界空間を表し、データ構造は、深度情報、位置情報、および方向情報を含み、本方法は、さらに、生成されたデータ構造を記憶することを含み得る。第１の深度画像は、ＡＲアプリケーションに関連付けられるバッファに記憶されるＡＲアプリケーションのフレームを表す複数の深度画像のうちの１つであり得、本方法は、さらに、バッファに記憶される複数の深度画像の一部を受信することと、複数の深度画像の一部に基づいて複数の表面要素（サーフェル）を生成することとを含み、複数のサーフェルは実世界空間を表し、本方法はさらに、生成された複数のサーフェルを記憶することを含み得る。

【0006】

例えば、本方法はさらに、深度情報、位置情報、および方向情報を含むデータ構造を受信することと、データ構造を第３の深度画像としてレンダリングすることと、第３の深度画像を実世界画像とブレンドすることとを含み得る。本方法はさらに、実世界空間を表す複数のサーフェルを受信することと、複数のサーフェルを第３の深度画像としてレンダリングすることと、第３の深度画像を実世界画像とブレンドすることとを含み得る。実世界画像内においてＡＲオブジェクトを組み合わせることは、深度に基づいて、実世界画像内のピクセルの一部をＡＲオブジェクト内のピクセルの一部と置換することを含み得る。

【0007】

記憶された第１の深度画像を第２の深度画像とブレンドすることは、第２の深度画像内のピクセルの一部を、記憶された第１の深度画像の一部と置換することを含み得る。第２の深度画像は、少なくとも１つのピクセルを欠き得、記憶された第１の深度画像を第２の深度画像とブレンドすることは、少なくとも１つのピクセルを、記憶された第１の深度画像の一部と置換することを含み得る。本方法はさらに、実世界空間を表す複数のサーフェルを受信することと、複数のサーフェルをレンダリングすることとを含む。第２の深度画像は、少なくとも１つのピクセルを欠き得、本方法はさらに、少なくとも１つのピクセルを、レンダリングされた複数のサーフェルの一部と置換することを含む。記憶された第１の深度画像は、第１の深度画像が実世界空間をある位置において表す尤度を示す位置信頼度を含み得る。

【0008】

別の一般的な局面では、１つ以上のプロセッサと命令を記憶するメモリとを含む装置、デバイス、システム、（コンピュータシステム上で実行され得るコンピュータ実行可能プログラムコードを記憶した）非一時的コンピュータ可読媒体、および／または方法は、あるプロセスをある方法で実行し得、その方法は、拡張現実（ＡＲ）アプリケーションのフレームに関連付けられる深度データを受信することを含み、深度データは、実世界空間の少なくとも一部を表し、本方法はさらに、深度データを、ＡＲアプリケーションのフレームを表す複数の深度画像のうちの１つとして、ＡＲアプリケーションに関連付けられるバッファに記憶することと、バッファに記憶される複数の深度画像の一部を選択することと、複数の深度画像の一部に基づいてデータ構造を生成することとを含み、データ構造は実世界空間を表し、データ構造は、深度情報、位置情報、および方向情報を含み、本方法は、さらに、生成されたデータ構造を記憶することを含む。

【0009】

実施形態は、以下の特徴のうちの１つまたは複数を含み得る。例えば、データ構造は、複数の表面要素（サーフェル）を含み得る。データ構造は、サーバと関連して記憶され得る。複数の深度画像の一部を選択することは、ＡＲアプリケーションを実行する複数のデバイス上の複数のバッファから複数の画像を選択することを含み得る。記憶された深度データは、深度データが実世界空間をある位置において表す尤度を示す位置信頼度を含み得る。

【0010】

さらに別の一般的な局面では、１つ以上のプロセッサと命令を記憶するメモリとを含む装置、デバイス、システム、（コンピュータシステム上で実行され得るコンピュータ実行可能プログラムコードを記憶した）非一時的コンピュータ可読媒体、および／または方法は、あるプロセスをある方法で実行し得、その方法は、拡張現実（ＡＲ）アプリケーションのフレームに関連付けられる第１の深度データを受信することを含み、第１の深度データは、実世界空間の少なくとも一部を表し、本方法はさらに、ＡＲアプリケーションに関連付けられる実世界空間の少なくとも第２の部分を表すデータ構造を受信することを含み、データ構造は、深度情報、位置情報、および方向情報を含み、本方法はさらに、少なくとも第１の深度データをデータ構造とブレンドすることによって実世界画像を生成することと、ＡＲオブジェクトを受信することと、実世界画像をＡＲオブジェクトと組み合わせることと、ＡＲオブジェクトと組み合わされた実世界画像を表示することとを含み得る。

【0011】

実施形態は、以下の特徴のうちの１つまたは複数を含み得る。例えば、実世界画像内においてＡＲオブジェクトを組み合わせることは、深度に基づいて、実世界画像内のピクセルの一部をＡＲオブジェクト内のピクセルの一部と置換することを含み得る。記憶された第１の深度データをデータ構造とブレンドすることは、第２の深度画像内のピクセルの一部を、記憶された第１の深度画像の一部と置換することを含み得る。第１の深度データは、少なくとも１つのピクセルを欠き得、第１の深度データをデータ構造とブレンドすることは、少なくとも１つのピクセルをデータ構造の一部と置換することを含み得る。データ構造は、複数の表面要素（サーフェル）を含み得る。データ構造は、複数のサーフェルを含み得、第１の深度データは、少なくとも１つのピクセルを欠き得、本方法はさらに、少なくとも１つのピクセルを複数のサーフェルの一部と置換することを含み得る。実世界空間を表すデータ構造は、深度データが実世界空間をある位置において表す尤度を示す位置信頼度を含み得る。データ構造は、サーバから受信され得る。

【0012】

図面の簡単な説明
例示的な実施形態は、以下に与えられる詳細な説明および添付の図面からより充分に理解されることになり、同様の要素は、同様の参照番号によって示されるが、それらは例示のみのために与えられており、したがって例示的な実施形態を限定するものではない。

【図面の簡単な説明】

【0013】

【図1A】例示的な実現例による実世界空間を示す。

【図1B】例示的な実現例による実世界空間を示す。

【図1C】例示的な実現例による実世界空間を示す。

【図1D】例示的な実現例による、拡張現実画像を生成するための信号フローのブロック図を示す。

【図2】例示的な実現例による、ジオメトリを記憶するための信号フローのブロック図である。

【図3A】パーティション平面に含まれる表面要素（サーフェル）のラスタ化を示すブロック図である。

【図3B】パーティション平面に含まれる表面要素（サーフェル）のラスタ化を示すブロック図である。

【図3C】パーティション平面に含まれる表面要素（サーフェル）のラスタ化を示すブロック図である。

【図3D】パーティション平面に含まれる表面要素（サーフェル）のラスタ化を示すブロック図である。

【図3E】パーティション平面に含まれる表面要素（サーフェル）のラスタ化を示すブロック図である。

【図4A】例示的な実現例による、ジオメトリの蓄積を図形で示す。

【図4B】例示的な実現例による、ジオメトリの蓄積を図形で示す。

【図4C】例示的な実現例による、ジオメトリの蓄積を図形で示す。

【図4D】例示的な実現例による、ジオメトリの蓄積を図形で示す。

【図5】例示的な実現例による、表示のために画像を生成するための信号フローのブロック図である。

【図6】例示的な実現例による、ジオメトリを記憶するための方法を示す図である。

【図7】例示的な実現例による、画像を生成するための方法を示す図である。

【図8】例示的な実現例による、マルチデバイスジオメトリを記憶するための信号フローのブロック図である。

【図9】例示的な実現例によるマルチデバイス拡張現実システムのための信号フローのブロック図である。

【図10】少なくとも１つの例示的な実施形態によるコンピュータデバイスおよびモバイルコンピュータデバイスの一例を示す。

【発明を実施するための形態】

【0014】

これらの図は、特定の例示的な実施形態において利用される方法、構造および／または材料の一般的特性を説明し、以下の記述を補足することを意図していることに留意されたい。しかしながら、これらの図面は、縮尺どおりではなく、任意の所与の実施形態の正確な構造または性能特性を精密に反映しない場合があり、例示的実施形態によって包含される値または特性の範囲を規定または限定するものとして解釈されるべきではない。例えば、分子、層、領域、および／または構造要素の相対的な厚みならびに位置決めは、明確にするために低減または誇張される場合がある。様々な図面における類似または同一の参照番号の使用は、類似もしくは同一の要素または特徴の存在を示すことを意図している。

【0015】

詳細な説明
現在の拡張現実（ＡＲ）システムに関する少なくとも１つの問題は、３次元（３Ｄ）オブジェクトが実世界空間（例えば、ジオメトリ）内で動き回るときの３次元（３Ｄ）オブジェクトの深度処理の遅延の可能性である。たとえば、３Ｄオブジェクトの一部分の不正確なレンダリング（たとえば、深度および／または位置）は、３Ｄオブジェクトが実世界ジオメトリにおけるオブジェクト（たとえば、実世界オブジェクト）の後ろから移動するときに起こり得る。例示的な実現例は、実世界オブジェクトに関連付けられる深度データを記憶し、３Ｄオブジェクトを実世界ジオメトリと融合およびレンダリングするときに、記憶された深度データを使用することによって、この問題を解決する。この技術の少なくとも１つの利点は、３Ｄオブジェクトが実世界ジオメトリにおいて位置を変更するときのオブジェクト深度および／または位置処理がより正確であり得ることである。より高い深度処理精度は、現在のＡＲシステムと比較して、より望ましいユーザ経験をもたらし得る。

【0016】

例示的な実現例では、入力深度フレームがバッファに蓄積され得る。（たとえば、カメラによってキャプチャされる）ＡＲビデオがフレームからフレームに進行するにつれて、（バッファに記憶される）前のフレームデータが現在のフレームに再投影される。言い換えれば、最新の入力値が以前の値とマージされる。このデータ統合プロセスは、入力深度フレームおよび／または累積深度フレームにおける誤差の統計分析に基づき得る。

【0017】

図１Ａは、実世界空間１００を示し、実世界空間１００内のユーザ１３０を示す。実世界オブジェクトおよびＡＲオブジェクトは、モバイルデバイスを介してユーザ１３０によって見られるであろうように、この図に共に示される。ＡＲシステムのユーザ１３０によって見られる（例えば、部屋の）シーンは、破線で示されている。実世界空間１００は、少なくとも１つの実世界オブジェクト１３５を含み得る。モバイルデバイスに関連付けられるＡＲシステムは、実世界空間１００内にＡＲオブジェクト１４０を配置するよう構成され得る。図１Ａは、ＡＲオブジェクト１４０が、実世界オブジェクト１３５の背後の深度に配置されるのを示す。しかしながら、ＡＲオブジェクト１４０の深度および位置と比較して、実世界オブジェクト１３５の深度および位置に基づいて、ＡＲオブジェクトの一部１４５のみが、実世界オブジェクト１３５の背後にある。

【0018】

図１Ｂは、再び、実世界空間１００内のＡＲオブジェクト１４０を図示する。図１Ｂでは、ＡＲオブジェクトは、再位置決めされ、実世界オブジェクト１３５の前の深度に配置されている。図１Ｃは、再び、実世界空間１００内のＡＲオブジェクト１４０を図示する。図１Ｃでは、ＡＲオブジェクトは、実世界オブジェクト１３５の前の深度にある場所にとどまる。しかしながら、実世界オブジェクト１３５の深度処理（例えば、欠落している深度データおよび／または正確な深度データの欠如）は、（例えば、ＡＲシステムのディスプレイ上における）実世界空間１００のレンダリングを遅らせている。深度処理またはデータ取得におけるこの遅延は、ＡＲオブジェクト１４０のすべてが実世界オブジェクト１３５の前にレンダリングされるべきであるときに、実世界オブジェクトの一部１５０がＡＲオブジェクト１４０の前にあるものとして示される。

【0019】

図１Ｃは、実世界空間１００をレンダリングするときの望ましくない結果を示す。図１Ｃによって示される結果は、実世界空間１００に関連付けられる（およびさらに具体的には、実世界オブジェクト１３５に関する）深度情報が不完全である場合に生じ得る。この結果は、ＡＲオブジェクト１４０が移動された後に深度情報が不完全である場合、および／または仮に、ユーザ１３０が実世界オブジェクト１３５から視線をそむけ、次いで、実世界オブジェクト１３５に視線を戻す場合に、生じ得る。例えば、図１Ａは、ＡＲシステムにおける第１のフレームに対応し得、図１Ｂおよび／または図１Ｃは、図１Ａに対応するフレームの順次後のフレームに対応し得る。

【0020】

例示的な実現例によれば、図１Ａに対応するフレームに関連付けられる深度情報は、メモリ（たとえば、バッファ）に記憶され得る。深度情報は、実世界空間１００および／または実世界空間１００の（例えば、深度を含む複数のピクセル）のレンダリングに基づいて生成される（以下でより詳細に説明されるような）ジオメトリとして記憶され得る。図１Ａに対応するフレームの後に順次レンダリングされるフレームは、記憶された深度情報を使用し得る。これは、（実世界オブジェクト１３５に関連する）完全な深度情報を使用するレンダリングをもたらし得る。したがって、ＡＲオブジェクト１４０が移動された後のフレームは、（実世界オブジェクト１３５に関連する）完全な深度情報を含み、図１Ｂに示すようにレンダリングされ得る。例示的な実現例は、図１Ｃに示されるようなレンダリングを防止または最小限に抑え得る。

【0021】

図１Ｄは、例示的な実現例による、拡張現実（ＡＲ）画像を生成するための信号フローのブロック図である。図１Ｄに示されるように、信号フローは、レンダリングされた深度画像１０５ブロックと、バッファ１１０ブロックと、レンダリングされた、記憶された画像１１５ブロックと、ブレンド１２０ブロックと、表示１２５ブロックとを含む。

【0022】

例示的な実現例では、（例えば、図１Ａに示すように）モバイルデバイスを介してユーザによって見られる画像に関連付けられる深度データは、レンダリングされた深度画像１０５に対応し得、バッファ１１０に記憶され得る。フレームに次ぐフレームが、モバイルデバイスによってキャプチャおよび表示され得る。これらのフレームの各々は、バッファ１１０に記憶され得る。これらの記憶されたフレームは、実世界空間１００内のオブジェクトの深度を表す、より完全な深度データを生成するために、使用され得る。（例えば、図１Ｂに示すように）新たなフレームがレンダリングされるにつれて、記憶された深度データを用いて、実世界空間１００の現在のレンダリングに関連付けられる深度データを補足し得る（か、または、ブレンド１２０ブロックによって表されるように、前者が後者とブレンドされ得る）。したがって、ＡＲオブジェクト（たとえば、ＡＲオブジェクト１４０）が再位置決めされる（か、または新たなＡＲオブジェクトが位置決めされる）と、そのＡＲオブジェクトは、実世界オブジェクトに対して正しい深度でレンダリングされ得る。

【0023】

レンダリングされた深度画像１０５ブロックは、ＡＲアプリケーションを実行するデバイス（例えば、携帯電話、タブレット、ヘッドセット等）のカメラによってキャプチャされた画像（またはビデオのフレーム）のレンダリングであり得る。レンダリングされた深度画像１０５（または関連付けられる深度データ）は、バッファ１１０に記憶され得る。例示的な実現例では、複数のレンダリングされた深度画像が、バッファ１１０内に記憶または蓄積され得る。レンダリングされた深度画像の蓄積されたフレームは、複数のレンダリングされた深度画像１０５がバッファ１０５に記憶されるのを表し得る。代替として、または加えて、蓄積されたフレームは、ブレンドされた深度画像が（破線によって表されるように）バッファ１０５内に記憶されるのを表し得る。ブレンドされた深度画像の蓄積の結果、欠落した深度データまたは無効深度データが経時的に有効な深度データによって置換され得る。言い換えると、ＡＲシステムが画像をキャプチャするにつれて、キャプチャされた画像からの有効深度データは、経時的に蓄積（および記憶され）得る。複数のレンダリングされた深度画像（または深度画像）は、ＡＲアプリケーションのフレームを表す。

【0024】

レンダリングされた深度画像１０５ブロックは、深度情報および／または色情報を有する画像を含み得る。深度情報は、画像内のピクセルごとの深度値を有する深度マップを含み得る。深度情報は、層順序を示す数（例えば、インデックスまたはｚインデックス）を各々が有する深度層を含み得る。深度情報は、画像中のピクセルごとに複数の順序付けられた深度を有する階層化された深度画像（ＬＤＩ）であり得る。色情報は、画像内の各ピクセルについての色（例えば、ＲＧＢ、ＹＵＶなど）であり得る。深度画像は、各ピクセルがカメラ位置からの距離を表す画像であり得る。場合によっては、入力深度画像は、疎な画像であり得、ピクセルの一部（例えば、いくつかまたは大部分）は、空白であるかまたは無効として印され得る。

【0025】

レンダリングされた、記憶された深度画像１１５ブロックは、ＡＲアプリケーションを実行するデバイス（例えば、携帯電話、タブレット、ヘッドセット等）のストレージ（たとえば、メモリ）および／またはＡＲアプリケーションを実行するデバイスを使用してアクセス可能なメモリを有するサーバから取り出された画像のレンダリングであり得る。示されるように、レンダリングされた、記憶された深度画像１１５ブロックは、バッファ１１０から読み出され得る。レンダリングされた、記憶された深度画像１１５ブロックは、深度情報および／または色情報を有する画像を含み得る。深度情報は、画像内のピクセルごとの深度値を有する深度マップを含み得る。深度情報は、層順序を示す数（例えば、インデックスまたはｚインデックス）を各々が有する深度層を含み得る。深度情報は、画像中のピクセルごとに複数の順序付けられた深度を有する階層化された深度画像（ＬＤＩ）であり得る。色情報は、画像内の各ピクセルについての色（例えば、ＲＧＢ、ＹＵＶなど）であり得る。

【0026】

ブレンド１２０ブロックは、レンダリングされた深度画像１０５をレンダリングされた、記憶された深度画像１１５とブレンドするよう構成され、表示１２５ブロックは、結果として生じるブレンドされた画像を表示するよう構成される。例示的な実現例では、ブレンドされた画像（または関連付けられる深度データ）は、バッファ１１０に記憶され得る。例示的な実現例では、複数のブレンドされた画像が、バッファ１１０内に記憶または蓄積され得る。

【0027】

２つ以上の深度画像をブレンドすることは、各画像の一部を組み合わせることを含み得る。例えば、レンダリングされた深度画像１０５ブロックから欠落しているデータ（例えば、深度データ、色データ、ピクセル等）は、レンダリングされた、記憶された深度画像１１５ブロックからのデータを使用して埋められ得る。例えば、同じ位置ならびに／または同じ位置および同じ深度を有するピクセルを組み合わせ得る。位置は、基準点（またはホーム位置）からの距離および方向に基づき得る。位置は、座標系（例えば、ｘ、ｙグリッド）に基づき得る。

【0028】

前述のように、深度画像内のピクセルの一部は、空白であるかまたは無効として印され得る。したがって、例示的な実現例では、レンダリングされた深度画像１０５内で欠落しているかまたは無効として印されるピクセルは、欠落または無効ピクセルと同じ位置および層を有する、レンダリングされた、記憶された深度画像１１５からのピクセルで埋められ得る。ある例示的な実現例では、レンダリングされた深度画像１０５、およびレンダリングされた、記憶された深度画像１１５からのピクセルは、同じ位置を有し、同じインデックス値を有する層にある。２つの画像をブレンドすることは、レンダリングされた、記憶された深度画像１１５からピクセルを選択することと、レンダリングされた深度画像１０５からピクセルを破棄することとを含み得る。代替として、２つの画像をブレンドすることは、レンダリングされた深度画像１０５からピクセルを選択することと、レンダリングされた、記憶された深度画像１１５からピクセルを破棄することとを含み得る。代替として、２つの画像をブレンドすることは、色を平均することと、平均された色を当該の位置および当該の層に割り当てることとを含み得る。２つの画像をブレンドするための他の技術は、本開示の範囲内である。

【0029】

図２は、例示的な実現例による、ジオメトリを記憶するための信号フローのブロック図である。図２に示すように、信号フローは、位置２０５ブロックと、画像２１０ブロックと、深度２１５ブロックと、記憶されたジオメトリ２２０ブロックと、ジオメトリ構築２２５ブロックと、位置信頼度２３０ブロックとを含む。画像２１０ブロックは、ＡＲシステムのカメラによってキャプチャされた画像に関連付けられるデータであり得る。深度２１５ブロックは、ＡＲシステムに関連付けられる深度センサによってキャプチャされる、および／または画像データに基づいて計算される、深度データであり得る。

【0030】

ＡＲシステム（例えば、ＡＲシステムのカメラ）によってキャプチャされる各画像は、（画像２１０ブロックによって表される）色データおよび（深度２１５ブロックによって表される）深度データを含み得る。画像をキャプチャするカメラは、実世界空間（例えば、実世界空間１００）内のある位置にあり得、実世界空間内のある方向に向けられ得る。その位置および方向は、位置２０５ブロックによって表し得る。位置２０５、画像２１０、および深度２１５は、（ジオメトリ構築２２５ブロックによって表される）実世界空間に関連付けられるジオメトリデータを生成するために使用され得る。生成されたジオメトリは、以前に生成されたジオメトリに追加され、記憶され得る。ジオメトリを追加することは、置換および／またはデータを置換することも含み得る。ジオメトリは、実世界空間内のオブジェクトを表すデータを含み得る。あるオブジェクトを表す特定のデータが、ある位置におけるあるオブジェクトにどのように対応するかが判断および保存され得る（位置信頼度２３０ブロックによって表される）。

【0031】

位置２０５ブロックは、ＡＲシステムに関連付けられる位置情報であり得る。位置情報は、基準点（例えば、実世界ジオメトリにおける開始（基準もしくはホーム）位置）および／または（たとえば、全地球測位センサ（グローバルポジションセンサ）からの）全地球（グローバルポジション）基準点に関連付けられ得る。位置２０５は、基準点（またはホーム位置）からの距離および方向であり得る。位置２０５は、座標系（例えば、ｘ、ｙグリッド）および方向に基づき得る。

【0032】

ジオメトリ構築２２５ブロックは、ＡＲシステムに関連付けられる実世界ジオメトリを表すデータ構造（例えば、ｎタプル、ツリー等）を生成するよう構成され得る。ジオメトリ構築２２５ブロックは、位置についてデータ構造を生成し得る。いくつかの実現例では、位置２０５、画像２１０、および深度２１５は、バッファ１１０から読み出され得る。ジオメトリ構築２２５ブロックは、画像２１０、深度２１５、および位置２０５を使用してデータ構造を生成し得る。すなわち、データ構造は、色情報、テクスチャ情報、深度情報、位置情報および方向情報を含み得る。深度情報は、層順序を示す数（例えば、インデックスまたはｚインデックス）を各々が有する深度層を含み得る。深度情報は、画像中のピクセルごとに複数の順序付けられた深度を有する階層化された深度画像（ＬＤＩ）であり得る。深度情報は深度マップを含み得る。テクスチャ情報、深度情報、位置情報、および方向情報は、接続性を有する幾何学的オブジェクト（例えば、多角形のメッシュ）の要素であり得る。テクスチャ情報、深度情報、位置情報、および方向情報は、接続性のない幾何学的オブジェクトの要素（たとえば、表面要素またはサーフェル）であり得る。さらに、深度データは、３Ｄ空間におけるサンプリングにおいて符号付き距離関数（ＳＤＦ）を記憶し得る、ボクセルまたはオクタイル等のグリッドベースのデータ構造に記憶され得る。ジオメトリ構築２２５ブロックは、記憶されたジオメトリ２２０にデータ構造を追加し得る。

【0033】

ジオメトリ構築２２５ブロックはまた、生成されたばかりのデータ構造と（例えば、以前に生成された）記憶されたデータ構造との比較に基づいて信頼度値を生成し得る。生成されたばかりのデータ構造が記憶されたデータ構造に類似しているほど、位置信頼度は高くなる。言い換えれば、ある位置について、２つのデータ構造間に、近い整合がある場合、画像をレンダリングするために、記憶されたデータ構造を使用することは、現在の実世界のシーンについて正確な画像をもたらすであろう、という、いくらか高い確率（例えば、高い信頼度）がある。位置信頼度は、データ、データ構造、データ構造の一部、深度データなどが、実世界空間をある位置において表す尤度を示し得る。

【0034】

階層化された深度画像（ＬＤＩ）は、３次元（３Ｄ）シーンの画像ベース表現であり得る。ＬＤＩは、階層化された深度ピクセルの２次元（２Ｄ）アレイまたはグループを含み得る。各階層化された深度ピクセルは、単一のカメラ位置または視点から見た際に１つの視線に沿ってソートされたＬＤＩサンプルのセットを含み得る。カメラは、ＬＤＩカメラとも称され得る。ＬＤＩサンプルを参照する他の方法は、限定はしないが、点、深度ピクセル、または階層化された深度ピクセルサンプルを含み得る。各ＬＤＩサンプルについて、ソースカメラと呼ばれるカメラは、ＬＤＩサンプルに関連付けられるデータを提供する。ＬＤＩピクセルの表現は、色情報、アルファチャネル情報、深度情報（ピクセルとカメラとの間の距離）、ＬＤＩサンプルのソースカメラの識別子（例えば、番号、ポインタまたはカメラへの参照）、および３次元（３Ｄ）空間におけるＬＤＩのレンダリングをサポートし得る他の属性を含み得る。たとえば、アルファチャネル情報は、ピクセルの不透明度レベルを判断するために使用され得る。

【0035】

そのパーティション平面内のＬＤＩサンプルは、ソースカメラウィンドウ空間内の点に投影され得る。ソースカメラウィンドウ空間は、複数のピクセルを含み得る。点は、ソースカメラの像平面に含まれる少なくとも１つのピクセルに投影され得る。次いで、点をソースカメラウィンドウ空間からパーティション平面に投影し戻し得る。投影は、パーティション平面内の点のある位置に表面要素（サーフェル）をもたらし得る。サーフェルのサイズは、ソースフィルタとも称され得る、ソースカメラウィンドウ空間内で定義される画像フィルタによって決定され得る。サーフェルは、点がソースカメラの像平面内に投影されたピクセルの色に基づいて、関連付けられる色を有し得る。

【0036】

ターゲットカメラウィンドウ空間を含むターゲットカメラが選択され得る。パーティション平面内のサーフェルは、ターゲットカメラウィンドウ空間内でサーフェルフットプリントに投影され得る。サーフェルフットプリントは、ターゲットカメラウィンドウ空間の像平面に含まれる１つ以上のピクセルを覆うか、そのようなピクセルと重なるか、またはそのようなピクセルを含み得る。１つ以上のピクセルは、サーフェルに関連付けられる色および／または深度で埋められ得る。１つ以上のピクセルの各々は、複数のピクセルサンプルまたは点を含み得る。複数のピクセルサンプルの各々は、ターゲットカメラウィンドウ空間からパーティション平面に投影され得る。複数のピクセルサンプルの各々は、パーティション平面からソースカメラウィンドウ空間内に投影され、ソースカメラウィンドウ空間内において各ピクセルサンプルについて現在位置を識別し得る。ソースカメラウィンドウ空間における各ピクセルサンプルの識別された現在位置に基づいて、色重みを各ピクセルサンプルに適用し得る。パーティション平面およびテクスチャマップは、ＡＲ空間において３Ｄでリアルタイムでレンダリングするためのシーンのモデルを形成するために組み合わされ得る。

【0037】

図３は、パーティション平面に含まれる表面要素（サーフェル）のラスタ化を示すブロック図である。コンピューティングシステムにおいて実行されるアプリケーションは、ＡＲアプリケーションを実行するデバイス（例えば、携帯電話、タブレット、ヘッドセット等）の視野内の様々な位置からシーンの画像を生成し得る。各シーン画像は、関連付けられる色情報、深度情報、および表面法線についての値を含む、複数のピクセルサンプルまたは点を含み得る。点は、ボリューム、サイズ、および範囲のない、３Ｄ空間内の位置であり得る。点は、ソースカメラの中心からピクセルの中心を通して見られるピクセルの位置を表し得る。画像のビュー内のピクセル数は、画像の解像度に基づいて判断される。

【0038】

例えば、ピクセルは、表面の表現に投影されるとき、サーフェルと見なされ得る。サーフェルは、３Ｄ空間内にリアルタイムで（対話型フレームレートで）複雑な幾何学的オブジェクトを効率的にレンダリングするために使用され得る。サーフェルは、生のＬＤＩに含まれる１つ以上のサンプル（点）を含み得る。サーフェルは、任意の特定の接続性を欠くポイントプリミティブであり得る。したがって、隣接情報などのトポロジ情報を計算する必要がないので、サーフェルを使用して動的ジオメトリをモデル化し得る。サーフェルの属性は、深度、テクスチャ色、ならびに正規化されたベクトルおよび位置を含み得るが、それらに限定されない。

【0039】

各シーン画像は、ＡＲアプリケーションによってＡＲ空間において３Ｄでリアルタイムでレンダリング（描画）するためにシーンの簡略化されたバージョンの表現において使用され得るデータ構造（たとえば、ＬＤＩ）にアセンブルされ得る。たとえば、複数のピクセルサンプルまたは点は、複数のパーティションにグループ化され得る。パーティションは、シーン画像を表す複数のピクセルサンプルもしくは点のサブセットを含む平面または多角形であり得る。パーティション平面（例えば、パーティション平面３０４）は、点のサブセットが３Ｄ空間内に位置する３Ｄ画像空間内のある位置にあり得る。いくつかの実現例では、四角形化アルゴリズムは、パーティション平面を作成するために使用され得る多角形近似を作成し得る。いくつかの実現例では、反復パーティショニングアルゴリズムは、パーティション平面を作成するために使用され得る多角形近似を作成し得る。

【0040】

各パーティション平面に対してテクスチャマップが作成（生成）され得る。各パーティション平面およびその関連付けられるテクスチャマップは、ＡＲアプリケーションによってＡＲ空間において３Ｄでリアルタイムでレンダリング（描画）するためにシーンのモデル（簡略化された表現）を形成するよう組み合わせられ得る。シーンのモデルをレンダリングするときにＡＲアプリケーションによって実行されるアルゴリズムは、パーティション平面の各々を作成するために使用されるアルゴリズムに基づき得る。

【0041】

図３Ａを参照すると、パーティション平面に含まれる点は、パーティション平面のためにテクスチャマップを作成（生成）するためにラスタ化される。点３０２は、パーティション平面３０４に含まれる多くの点のうちの１つであり得る。テクスチャマップには、パーティション平面に含まれる各点の色が組み込まれる。テクスチャラスタ化アルゴリズムは、ＲＧＢＡテクスチャを含む所与のパーティション平面のためにテクスチャマップを作成（生成）し得る。

【0042】

例えば、図３Ａ～図３Ｅを参照すると、テクスチャラスタライザは、ソースカメラの像平面であり得るソースカメラウィンドウ空間３０６を含むソースカメラを選択し得る。テクスチャラスタライザは、ターゲットカメラの像平面であり得るターゲットカメラウィンドウ空間３３６を含むターゲットカメラを選択し得る。テクスチャラスタライザは、所与のパーティション平面についてソースカメラおよびターゲットカメラを選択し得、パーティション平面は、生のＬＤＩからのサンプル（点）を含む。いくつかの実現例では、ターゲットカメラの選択は、パーティション平面の最良のビューを有するカメラに基づく。いくつかの実現例では、ソースカメラは、生のＬＤＩに含まれるサンプルを提供（生成）したカメラである。いくつかの実現例では、ターゲットカメラは仮想カメラであり得る。

【0043】

パーティション平面に含まれる各点は、ソースカメラウィンドウ空間に投影され得る。図３Ａを参照すると、ソースカメラウィンドウ空間３０６は、複数のピクセル（たとえば、ピクセル３６０ａ～３６０ｌ）を含み得る。投影されると、点（例えば、点３０２）は、ソースカメラの像平面（ソースカメラウィンドウ空間３０６）に含まれる少なくとも１つのピクセル（例えば、ピクセル３６０ｆ）に投影され、投影された点３０８をもたらす。特定のサイズおよび形状（例えば、図３Ａ～３Ｂの例に示されるような特定の半径を有する円）のフィルタ３１０が、ソースカメラウィンドウ空間３０６に含まれる。フィルタ３１０は、投影された点３０８をフィルタ３１０の中心に配置する（フィルタ３１０は投影された点３０８の周囲に配置される）。フィルタ３１０は、ソースカメラウィンドウ空間３０６に含まれるピクセルに完全にまたは部分的に重なり得る形状を画定し得る。図３Ａに示す例では、フィルタ３１０は、投影された点３０８を含むピクセル３６０ｆを含む陰影付きピクセル（例えば、ピクセル３６０ｂ～ｃ、ピクセル３６０ｅ～ｆ、およびピクセル３６０ｈ～ｌ）と完全にまたは部分的に重なる。フィルタ３１０の形状はまた、ソースカメラウィンドウ空間３０６内で投影された点３０２のサイズを画定し得る。

【0044】

図３Ａ～図３Ｂを参照すると、投影された点３０８は、パーティション平面３０４内に投影し戻されると、パーティション平面３０４内の点３０２の位置にサーフェル３２２をもたらす。例えば、複数の光線（例えば、光線３１０ａ～３１０ｄ）は、フィルタ３１０に含まれる（フィルタ３１０が重なる）ピクセルの角からパーティション平面３０４に引かれ得る。光線とパーティション平面３０４との交差は、サーフェル３２２のためのサーフェルフットプリント３２０を画定し得る。加えて、サーフェルは、円の数学的関数として描かれ得る。サーフェルは、多角形によって近似され、ラスタ化され得る。サーフェルは、前向きの矩形に単純化され、均一な深度として描かれ得る。円形フィルタ（例えば、フィルタ３１０）は、ソースカメラの像平面（例えば、ソースカメラウィンドウ空間３０６）内の点３０２のサイズを画定し得る。フィルタ３１０（例えば、図３Ａ～３Ｂの例に示されるような特定の半径を有する円）は、投影された点３０８と共に、パーティション平面３０４に投影し戻され得る。投影された点３０８は、パーティション平面３０４内に投影し戻されると、図３Ａ～図３Ｃに示される例に関して、パーティション平面３０４内の点３０２を画定する四角形サーフェルフットプリント（例えば、サーフェルフットプリント３２０）をもたらす。加えて、サーフェルフットプリント３２０は、パーティション平面３０４内の点３０２のサイズを提供（定義）する。サーフェルフットプリント３２０は、サーフェル３２２に対する３Ｄ形状である。

【0045】

フィルタ３１０によって画定され、投影された点３０８を含むソースカメラウィンドウ空間３０６内のピクセル３６０ｆは、パーティション平面３０４内に投影し戻され、サーフェル３２２をもたらす。テクスチャラスタライザが、パーティション平面３０４から、点３０２を、ソースカメラウィンドウ空間３０６内においてフィルタによって定義されるように、ピクセル（例えば、ピクセル３６０ｆ）に投影することを実行し、次いで、そのピクセル（例えば、ピクセル３６０ｆ）をパーティション平面３０４内に投影し戻した結果、点３０２は、そのピクセルの色に基づく関連付けられる色で、サーフェル３２２に変えられる。フィルタ３１０に関連付けられるサイズは、サーフェルフットプリントのサイズを決定し得る。いくつかの実現例では、サーフェルフットプリントのサイズは、各サーフェルフットプリントについてほぼ同じであり得る。加えて、または代替として、パーティション平面に対するソースカメラの位置も、サーフェルフットプリントのサイズの決定に寄与し得る。

【0046】

第１のソースカメラからの、パーティション平面内に投影されるピクセルは、第１のソースカメラの位置が第２のソースカメラの位置よりもパーティション平面に近いとき、第２のソースカメラからパーティション平面内に投影されるピクセルから生じるサーフェルフットプリントよりも大きいサーフェルフットプリントをもたらすことになる。各サーフェルについて、最良のソースカメラが選択され得る。したがって、各サーフェルは、異なるソースカメラに関連付けられてもよい。

【0047】

記載されるように、パーティション平面３０４は、シーン画像を表す複数のピクセルサンプルまたは点のサブセットを含み得る。パーティション平面３０４に含まれる複数の点をソースカメラウィンドウ空間３０６に投影し、次いでパーティション平面３０４に投影し戻す結果、パーティション平面３０４は、様々なサーフェルフットプリントを有する複数のサーフェルを含み得る。

【0048】

パーティション平面に含まれる各サーフェルは、関連付けられる色を有する。サーフェルに関連付けられる色は、ソースカメラからの投影されたピクセルの色であり得る。例えば、サーフェル３２２に関連付けられる色は、ピクセル３６０ｆの色であり得る。パーティション平面に含まれるサーフェルについてテクスチャマップを作成することは、ＡＲ空間における３Ｄでのリアルタイムでのシーンにおけるパーティション平面のレンダリング（描画）に必要な色を提供する。

【0049】

一般に、パーティション平面は、テクスチャラスタライザに入力され得る。テクスチャラスタライザは、パーティション平面についてテクスチャマップおよび行列を生成して出力し得る。出力テクスチャマップは、ＲＧＢＡテクスチャを含み得る。行列は、点の座標を、世界またはカメラ空間から、ビュー行列を使用して、眼空間（ビュー空間）に変換し得る。眼空間は、各座標がカメラまたは観察者の視点から見られることを可能にする。パーティション平面は、ＬＤＩ眼空間におけるサーフェルの平面およびベクトルを含み得る。

【0050】

テクスチャラスタライザは、ターゲットカメラを定義し得る。いくつかの実現例では、ターゲットカメラはソースカメラと同じであり得る。場合によっては、ターゲットカメラは、ソースカメラとは異なるカメラであり得る。図３Ｃを参照すると、パーティション平面に含まれるサーフェル（例えば、パーティション平面３０４に含まれるサーフェル３２２）をターゲットカメラウィンドウ空間（例えば、ターゲットカメラウィンドウ空間３３６）に投影し得る。サーフェル３２２の投影は、点３０２をピクセル３４０ｅに投影すること（投影された点３１８）と、サーフェルフットプリント３２０を投影すること（投影されたサーフェルフットプリント３３０）とを含む。

【0051】

テクスチャラスタライザは、テクスチャマップ（テクスチャの画像）をターゲットカメラウィンドウ空間３３６内のピクセルとして定義し得る。パーティション平面３０４をターゲットカメラウィンドウ空間３３６内に投影することは、サーフェル３２２について、ピクセルサンプルまたは点３１２ａ～３１２ｅを含むサーフェルフットプリント３３０をもたらす。サーフェルフットプリント３３０に含まれる点３１２ａ～３１２ｅはパーティション平面３０４についてテクスチャを定義するので、テクスチャラスタライザは、点３１２ａ～３１２ｅを使用して、サーフェルの色値を判断し得る。

【0052】

ターゲットカメラウィンドウ空間は、像平面であり得る。像平面は、ピクセル３４０ａ～３４０ｌを含み得る。ターゲットカメラの像平面は、含まれるピクセルの数に基づく、関連付けられる解像度を有する。例えば、図３Ａ～図３Ｃに示すように、ターゲットカメラの像平面（ターゲットカメラウィンドウ空間３３６）の解像度は、ソースカメラの像平面（ソースカメラウィンドウ空間３０６）の解像度と同じである。いくつかの実現例では、ターゲットカメラの像平面の解像度は、ソースカメラの像平面の解像度とは異なり得る。

【0053】

ターゲットカメラウィンドウ空間３３６は、複数のピクセル３４０ａ～３４０ｌを含み得る。投影されたサーフェルフットプリント３３０は、ターゲットカメラウィンドウ空間３３６に含まれるピクセル３４０ａ～３４０ｉを含み得る（覆い得る）。図３Ｃを参照すると、サーフェルフットプリント３３０に含まれる（覆われた）ピクセル３４０ａ～３４０ｉは、陰影付けされて示されている。投影されたサーフェルフットプリント３３０によって覆われる（それと重なる）ピクセル３４０ａ～３４０ｉは、サーフェル３２２に関連付けられる色で埋められ（色付けされ）得る。ピクセル３４０ａ～３４０ｉは、サーフェル３２２についてテクスチャ（テクスチャマップ）を定義し得る。

【0054】

投影されたサーフェルフットプリント３３０は、投影されたサーフェル３３２の色で埋められ得る。いくつかの実現例では、投影されたサーフェルフットプリント３３０に部分的に含まれる（投影されたサーフェルフットプリント３３０が重なる）１つ以上のピクセルは、投影されたサーフェル３３２に関連付けられる色で埋められ得る。例えば、ピクセル３４０ａ～３４０ｄおよびピクセル３４０ｆ～３４０ｉは、投影されたサーフェルフットプリント３３０によって部分的に覆われる。

【0055】

９つのピクセル（例えば、ピクセル３４０ａ～３４０ｉ）が、投影されたサーフェルフットプリント３３０に含まれる（投影されたサーフェルフットプリント３３０が重なる）ように示されている。いくつかの実現例では、９個未満のピクセルが、投影されたサーフェルフットプリント３３０に含まれてもよい（９個未満のピクセルに、投影されたサーフェルフットプリント３３０が重なってもよい）。いくつかの実現例では、９個を超えるピクセルが、投影されたサーフェルフットプリント３３０に含まれてもよい（９個を超えるピクセルに、投影されたサーフェルフットプリント３３０が重なってもよい）。例えば、投影されたサーフェルフットプリント３３０に含まれてもよい（投影されたサーフェルフットプリント３３０が重なってもよい）ピクセルの数は、１～９個のピクセルのオーダーであり得る。しかしながら、投影されたサーフェルフットプリント３３０は、画像全体と同じ大きさであり得る。

【0056】

図３Ｃ～図３Ｄを参照すると、ピクセルは、複数のピクセルサンプルまたは点を含み得る。説明の目的で、図３Ｃ～図３Ｄは、投影されたサーフェルフットプリント３３０によって覆われる各それぞれのピクセル３４０ａ～３４０ｉに対するピクセルサンプルまたは点を示す点３１２ａ～３１２ｉを示す。各ピクセル３４０ａ～３４０ｌは、複数のピクセルサンプルを含み得る。投影されたサーフェルフットプリント３３０によって覆われる点（例えば、点３１２ａ～３１２ｉ）は、パーティション平面３０４内に投影し戻され得、投影された点（例えば、それぞれ、投影された点３４２ａ～３４２ｉ）を含む投影されたサーフェルフットプリント３４０をもたらし得る。投影は、点３１８を投影することを含み、投影されたサーフェル３３２内に投影される点３４４をもたらす。

【0057】

図３Ｄに示す投影されたサーフェルフットプリント３４０は、図３Ｃに示すサーフェルフットプリント３２０と同じサイズ、同じ形状であり、同じ３Ｄ空間内の同じ位置にある。投影されたサーフェル３３２の色に関連付けられる色は、サーフェル３２２に関連付けられる色である。

【0058】

図３Ｃ～図３Ｅを参照すると、パーティション平面内に含まれる投影されたサーフェルフットプリント内に含まれる各ピクセルサンプルまたは点は、ソースカメラウィンドウ空間内に投影し戻され得る。投影は、ソースカメラウィンドウ空間内のピクセルサンプルまたは点について現在位置を識別し得る。例えば、点３４２ａ～３４２ｉは、ソースカメラウィンドウ空間３０６内に、投影された点３６２ａ～３６２ｉとして、投影し戻され得る。例えば、投影された点３６２ａは、ターゲットカメラウィンドウ空間３３６からの点３１２ａの投影である投影された点３４２ａについてソースカメラウィンドウ空間３０６内における位置を識別する。例えば、点３１２ａは、ターゲットカメラウィンドウ空間３３６において、ピクセル３４０ａに含まれる点として生成され得る。

【0059】

フィルタ３１０は、フィルタ３１０に含まれる（フィルタ３１０が重なる）各ピクセルサンプルまたは点に、点の色に対する重みを与える、関連付けられる関数を有し得る。点の色重みは、その点の、フィルタ３１０の中心に位置する点（例えば、投影された点３５４）からの距離に基づき得る。点３５４およびサーフェル３３２は、ソースカメラウィンドウ空間３０６内に投影し戻されると、中心が点３５４であるサーフェル３５２をもたらし得る。

【0060】

図３Ａ～図３Ｅを参照すると、パーティション平面３０４は、複数のサーフェルおよび関連付けられるサーフェルフットプリントを含んでもよい。各サーフェルおよびその関連付けられるフットプリントは、ソースカメラウィンドウ空間３０６内に投影し戻され得、フィルタ３１０を適用し得る。場合によっては、１つのサーフェルフットプリントが、隣接するサーフェルフットプリントに重なってもよい。フィルタ３１０の関数をベルカーブとすることにより、隣接するサーフェル間の滑らかなブレンドが保証される。隣接するサーフェルの色のブレンドが改善される。

【0061】

パーティション平面は、複数のサーフェル（例えば、２つ以上のサーフェル）を含み得る。いくつかの実現例では、各サーフェルは、異なるソースカメラに関連付けられてもよい。いくつかの実現例では、各サーフェルは、同じソースカメラに関連付けられてもよい。いくつかの実現例では、いくつかのサーフェルは第１のソースカメラに関連付けられてもよく、他のサーフェルは第２のソースカメラに関連付けられてもよい。例えば、最良のソースカメラは、ある特定のサーフェルについて選ばれ得る。

【0062】

ソースカメラウィンドウ空間（例えば、ソースカメラウィンドウ空間３０６）内に投影し戻されるサーフェルフットプリント（例えば、サーフェルフットプリント３４０）に含まれ、フィルタ（例えば、フィルタ３１０）に含まれる点またはピクセルサンプルに対する色は、フィルタの中心に含まれるサーフェルに対する色値（例えば、サーフェル３５２の色であるサーフェル３３２の色）に基づいて判断（計算）され得る。ピクセルサンプルまたは点の色（色（ｐ１））を判断するための例示的な計算は、式１によって示され、

【0063】

【数1】

【0064】

ここで、ｐ１はピクセルサンプルまたは点であり、サーフェル色値はピクセルサンプルまたは点ｐ１と同じフィルタに含まれるサーフェルの色値であり、重み値（ｐ１）はピクセルサンプルまたは点ｐ１に対する重み値であり、

【0065】

【数2】

【0066】

は、すべての重みの和であり、ｎ＝重みの総数である。
深度マップのためのサーフェルベースの融合は、入力として深度画像のシーケンスをとり得る。深度画像は、ピクセルがカメラ位置からの距離を表す画像であり得る。この入力画像は、疎な画像であり得る。例えば、入力ピクセルの一部（いくつか／大部分）は、空白であり得、および／または無効として印され得る。各深度ピクセルは、関連付けられる信頼度値（例えば、０～１の範囲）を有し得る。さらに、深度画像は、同じシーンおよびカメラ要素（例えば、ピクセル数、画像長および幅など）を表す対応する輝度画像を有し得る。例示的な実現例では、（たとえば、バッファ１１０に記憶された）累積された深度フレームを、３Ｄサーフェル生成への入力として使用し得る。

【0067】

いくつかの実現例では、本明細書で説明する技術は、アプリケーションプログラミングインターフェイス（ＡＰＩ）において実現され得る。ＡＰＩにおける包含は、これらの技術に追加のデータへのアクセスを与え得る。例えば、世界座標に対する各カメラフレームの推定される姿勢は、ＡＰＩによって提供される追跡に基づいて判断され得る。追跡はまた、位置判断、環境光推定、背景および平坦面判断などにおいて使用され得る。言い換えれば、ＡＰＩデータへのアクセスは、本明細書で説明する技術のうちのいくつかを実行するのを助け得る。

【0068】

いくつかの実現例では、深度フレームの一部（例えば、１つおき、３つのうちの１つ、４つのうちの１つ、すべて未満など）。言い換えれば、（例えば、ＡＲセッション中に深度２１５および／または画像２１０としてキャプチャされるフレームと比較して）より低いフレームレートが３Ｄサーフェル生成に使用され得る。いくつかの実現例では、３Ｄサーフェル生成のためのフレームは、第２の（図示されない）バッファおよび／またはバッファ１１０の一部に記憶され得る。）。いくつかの実現例では、入力フレームは、第２のバッファに記憶され得、より低いフレームレートでサーフェル生成への入力のために使用され得る。その結果、複数のフレームからのデータを使用し得るが、複数のフレームの実際の処理は、より低いフレームレートで実行され得る。

【0069】

図４Ａ、図４Ｂ、図４Ｃ、および図４Ｄは、例示的な実現例による、ジオメトリの蓄積を図形で示す。ジオメトリは、（上記で論議されるように）データ構造として記憶され得る。例えば、データ構造はｎタプルであり得る。サーフェルなど）。例示的な実現例では、サーフェルは、まず、入力内の各ピクセルに関連付けられる法線配向を推定することによって、入力深度から生成され得る。各ピクセルに関連付けられる深度値および法線ベクトルが存在すると、サーフェルは、これらのピクセルをクラスタ化し、世界座標で表される（前述のような）ディスクを生成することによって、生成され得る。これらのディスクのサイズは、同じ深度および向き（ならびに場合によっては色）を共有する、ある数の隣接するピクセルに基づき得る。これらのサーフェルは、ＡＲセッションのフレームにわたって記憶され得、各新たな深度フレームが統合されると、サーフェルは、この新たな情報に基づいて更新および／またはマージされ得る。新たな深度情報が以前のサーフェルデータと一致しない場合（例えば、何かがシーン内で動く場合）、元のサーフェルはペナルティを課され（例えば、信頼度の低下）、削除され、および／または新たなジオメトリと置換され得る。

【0070】

図４Ａに示されるように、グリッド４０５は、ＡＲディスプレイ上に表示され得る実世界ジオメトリ（またはパーティション平面）の一部を表し得る。グリッド４０５上には、第１のオブジェクト４１０がある。円４１５は、第１のオブジェクト４１０を含むグリッド４０５の一部分に関する情報を含み得るデータ構造（例えば、サーフェルフットプリント）の図形的表現である。例示的な実現例では、データ構造（またはデータ構造、サーフェルなど）は、記憶されたジオメトリ２２０として記憶され得る。さらに、データ構造は、信頼度２３０として記憶され得る信頼度を含み得る。）
図４Ｂに示すように、円４１５の数が増加しており、第２のオブジェクト４２０がグリッド４０５に追加されている。円４２５は、第２のオブジェクト４２０を含むグリッド４０５の一部分に関する情報を含み得るデータ構造（例えば、サーフェルフットプリント）の図形的表現である。図４Ｂは、グリッド４０５が、図４Ａとは異なる時間（例えば、後の時間）にキャプチャされる現実世界の部分を表すのを表し得る。

【0071】

図４Ｃに示すように、円４１５の数は増加しており、第２のオブジェクト４２０はグリッド４０５上を移動している。円４２５は、グリッド４０５上の異なる位置で第２のオブジェクト４２０に各々関連付けられる円４２５－１および４２５－２として示される２つの部分にある。円４２５－１は、４２０が図４Ｂにおける位置にないときに、その位置に留まっていることを示すので、円４２５－１はペナルティを課され得る（例えば、信頼度の低下）。図４Ｃは、グリッド４０５が、図４Ｂとは異なる時間（例えば、後の時間）にキャプチャされる現実世界の部分を表すのを表し得る。

【0072】

図４Ｄに示すように、円４１５は数が増加し、円４２５－１は除去されており、円４２５－２は数が増加している（円４２５－２はオブジェクト４２０を表し得る）。図４Ｄにおいて、オブジェクト４１０およびオブジェクト４２０は（例えば、データ構造またはサーフェルとして）完全に表され得る。図４Ｄは、グリッド４０５が、図４Ｃとは異なる時間（例えば、後の時間）にキャプチャされる現実世界の部分を表すのを表し得る。

【0073】

図５は、例示的な実現例による、表示のために画像を生成するための信号フローのブロック図である。図５に示すように、信号フローは、レンダリングされた画像５０５ブロックと、記憶されたジオメトリ２２０ブロックと、レンダリング５１０ブロックと、ブレンド５１５ブロックと、ＡＲオブジェクト５２０ブロックと、後処理５２５ブロックと、表示５３０ブロックとを含む。例示的な実現例では、（たとえば、経時的にキャプチャされ記憶される実世界空間を表す）記憶されたジオメトリを使用して、実世界空間内でオブジェクトの深度を表す、より完全な深度データを生成し得る。新たなフレームがレンダリングされると、記憶されたジオメトリは、実世界空間の現在のレンダリングに関連付けられる深度データを補足するよう用いられ得る（か、またはブレンド５１５ブロックによって表されるようにそれとブレンドされ得る）。ＡＲオブジェクトは、ブレンドされたレンダリングと組み合わせられて、ＡＲシステムのディスプレイ上に表示するための画像を生成し得る。

【0074】

レンダリングされた画像５０５ブロックは、（たとえば深度２１５に基づく）レンダリングされた深度画像および／または（たとえば画像２１０に基づく）レンダリングされたカラー画像であり得る。言い換えれば、レンダリングされた画像５０５は、色情報、深度情報、方向情報、層情報、オブジェクト情報などを含み得る。いくつかの実現例では、深度情報は、空白（たとえば、不完全なピクセルまたは欠落したピクセル）であり得、および／または無効と印され得る。

【0075】

レンダリング５１０ブロックは、記憶されたジオメトリ２２０ブロックから取り出される画像のレンダリングであり得る。記憶されたジオメトリ２２０ブロックは、ＡＲアプリケーションを実行するデバイス（例えば、携帯電話、タブレット、ヘッドセット等）のストレージ（たとえば、メモリ）および／またはＡＲアプリケーションを実行するデバイスを使用してアクセス可能なメモリを有するサーバを表し得る。示されるように、レンダリング５１０ブロックは、記憶されたジオメトリ２２０ブロックから読み出され得る。レンダリング５１０ブロックは、深度情報および／または色情報を有する画像を含み得る。深度情報は、画像内のピクセルごとの深度値を有する深度マップを含み得る。深度情報は、層順序を示す数（例えば、インデックスまたはｚインデックス）を各々が有する深度層を含み得る。深度情報は、画像中のピクセルごとに複数の順序付けられた深度を有する階層化された深度画像（ＬＤＩ）であり得る。色情報は、画像内の各ピクセルについての色（例えば、ＲＧＢ、ＹＵＶなど）であり得る。

【0076】

例示的な実現例では、記憶されたジオメトリ２２０ブロックは、サーフェルを含むデータ構造を含み得る。したがって、レンダリング５１０ブロックは、投影技術を使用し得る。投影技術は、点に基づくレンダリングまたはスプラッティングを含み得る。点に基づくレンダリングまたはスプラッティングは、ピクセル空間内でピクセルに変数を割り当てることを含み得る。変数は、色、テクスチャ、深度、方向などを含み得る。変数は、少なくとも１つのサーフェルから（例えば、サーフェルおよびピクセルの位置に基づいて）読み出され得る。

【0077】

ブレンドブロック５１５は、レンダリングされた画像５０５を記憶されたジオメトリ２２０のレンダリング５１０とブレンドするよう構成される。レンダリングされた画像５０５を記憶されたジオメトリ２２０のレンダリング５１０とブレンドすることにより、実世界の表現または実世界画像を生成し得る。２つ以上の画像をブレンドすることは、各画像の一部を組み合わせることを含み得る。例えば、レンダリングされた画像５０５ブロックから欠落しているデータ（例えば、深度データ、色データ、ピクセル等）は、記憶されたジオメトリ２２０のレンダリング５１０からのデータを使用して埋められ得る。例えば、同じ位置ならびに／または同じ位置および同じ深度を有するピクセルを組み合わせ得る。位置は、基準点（またはホーム位置）からの距離および方向に基づき得る。位置は、座標系（例えば、ｘ、ｙグリッド）に基づき得る。

【0078】

前述のように、深度画像内のピクセルの一部は、空白であるかまたは無効として印され得る。したがって、例示的な実現例では、レンダリングされた画像５０５内において（例えば深度を有する）欠落しているかまたは無効として印されるピクセル（例えば欠落した深度情報または無効な深度情報）は、欠落または無効ピクセルと同じ位置および層を有する記憶されたジオメトリ２２０のレンダリング５１０からのピクセル（例えば深度情報）で埋められ得る。ある例示的な実現例では、レンダリングされた画像５０５および記憶されたジオメトリ２２０のレンダリング５１０からのピクセルは、同じ位置を有し、同じインデックス値を有する層にある。２つの画像をブレンドすることは、記憶されたジオメトリ２２０のレンダリング５１０からピクセルを選択することと、レンダリングされた画像１０５からピクセルを破棄することとを含み得る。

【0079】

代替として、２つの画像をブレンドすることは、レンダリングされた画像１０５からピクセルを選択することと、記憶されたジオメトリ２２０のレンダリング５１０からピクセルを破棄することとを含み得る。代替として、２つの画像をブレンドすることは、色を平均することと、平均された色を当該の位置および当該の層に割り当てることとを含み得る。２つの画像をブレンドするための他の技術は、本開示の範囲内である。

【0080】

さらに、ブレンドの前に、画像を互いに投影し得る。たとえば、モバイルデバイスが移動している間に画像がキャプチャされ得る。（例えば、バッファに記憶され、および／またはレンダリング（５１０）ブロックで生成される）前のフレームは、現在のフレーム（たとえば、レンダリングされた画像５０５）に再投影され得る。この実現例は、オブジェクトおよび／または観測された特徴をフレームにわたって整列させることを可能にし得る（か、または可能にするのに役立ち得る）。

【0081】

ブレンドブロック５１５はまた、ＡＲオブジェクト５２０を実世界画像に組み合わせ得る。ＡＲオブジェクトは、（ＡＲアプリケーションによる）実世界空間の中への配置のためにＡＲアプリケーションによって生成される画像であり得る。上述のように、２つ以上の画像をブレンドおよび／または組み合わせることは、各画像の一部を組み合わせることを含み得る。例示的な実現例では、ＡＲオブジェクト５２０を実世界画像に組み合わせることは、深度に基づくオクルージョンを含み得る。例えば、ＡＲオブジェクト５２０の一部が、実世界オブジェクトの一部の前にある深度（例えば、層）にある場合、実世界オブジェクトの一部は、組み合わせられた画像から除去され得る。さらに、ＡＲオブジェクト５２０の一部が、実世界オブジェクトの一部の背後にある深度（たとえば、層）にある場合、ＡＲオブジェクト５２０の一部は、組み合わせられた画像から除去され得る。記憶されたジオメトリ２２０を使用することの利点は、実世界画像がＡＲオブジェクト５２０の一部の位置で空白または無効として印される深度情報を含む場合、記憶されたジオメトリ２２０の深度情報が、空白または無効な深度情報の代わりに使用され得ることである。したがって、深度に基づくオクルージョンは、記憶されたジオメトリ２２０を使用して、より正確であり得る。

【0082】

後処理５２５ブロックは、結果として生じる画像またはフレームの品質を改善し得る。表示５３０ブロックは、結果として生じる後処理されたブレンドおよび／または組み合わせられた画像を表示するよう構成される。例えば、結果として生じる画像またはフレームは、色間の遷移を平滑化するかまたは色間の遷移を鮮鋭化するようにフィルタリングされ得る。結果として生じる画像またはフレームは、アーチファクト（例えば、画像に属さない可能性が高い色または深度を含む誤差）を除去するようにフィルタリングされ得る。結果として生じる画像またはフレームは、ＡＲおよび実世界の不連続性（実世界の要素によってブロックされるべきＡＲ要素など）を除去するようにフィルタリングされ得る。

【0083】

例示的な実現例では、記憶されたジオメトリ２２０は、レンダリングされた画像５０５なしで使用され得る。言い換えれば、実世界空間は、記憶された実世界空間であり得る。したがって、記憶されたジオメトリ２２０は、実世界空間の完全な（または非常に完成した）表現であり得る。この実現例では、ＡＲオブジェクト５２０は、レンダリングされた、記憶された現実世界と組み合わせられる。

【0084】

いくつかの実現例では、本明細書で説明する技術は、アプリケーションプログラミングインターフェイス（ＡＰＩ）において実現され得る。ＡＰＩは、開発者ツールキットの要素であり得る。開発者によってアクセス可能なＡＰＩにこれらの技術を含めることは、多くのユースケースを可能にし得る。例えば、実世界空間は、生活空間（例えば、リビングルーム、ダイニングルームなど）を表し得る。ＡＲオブジェクト５２０は、家具オブジェクト（例えば、ソファー、椅子、テーブルなど）であり得る。ＡＲアプリケーションのユーザは、必要に応じて家具オブジェクトを生活空間に配置し得る。さらなる実現例では、ＡＲアプリケーションは、実世界空間においてオブジェクトを除去するよう構成され得る。例えば、既存の家具を取り除き、別の家具のＡＲ画像に置き換え得る。上述のように、記憶されたジオメトリ２２０はサーフェルを含み得る。この実施形態では、サーフェルの一部を除去し得る（たとえば、記憶されたジオメトリ２２０から削除されるか、またはレンダリング５１０ブロックによるレンダリングを妨げられる）。

【0085】

図６および図７は、例示的な実施形態による方法のフローチャートである。図６および図７に関して説明した方法は、装置に関連付けられるメモリ（例えば、非一時的なコンピュータ可読記憶媒体）に記憶され、装置に関連付けられる少なくとも１つのプロセッサによって実行されるソフトウェアコードの実行に起因して実行されてもよい。

【0086】

しかしながら、専用プロセッサとして具現化されるシステム等の代替実施形態が検討される。専用プロセッサは、グラフィックス処理ユニット（ＧＰＵ）であり得る。ＧＰＵは、グラフィックスカードの構成要素であり得る。グラフィックスカードはまた、ビデオメモリ、ランダムアクセスメモリデジタルアナログ変換器（ＲＡＭＤＡＣ）、およびドライバソフトウェアを含み得る。ビデオメモリは、画像、ビデオのフレーム、画像のオブジェクト、またはフレームのシーンを表すデジタルデータを記憶するフレームバッファであり得る。ＲＡＭＤＡＣは、ビデオメモリの内容を読み出し、その内容をアナログＲＧＢ信号に変換し、アナログ信号をディスプレイまたはモニタに送信するよう構成され得る。ドライバソフトウェアは、上述のメモリに記憶されるソフトウェアコードであり得る。ソフトウェアコードは、本明細書で説明される方法を実現するよう構成され得る。

【0087】

以下で説明する方法は、プロセッサおよび／または専用プロセッサによって実行されるものとして説明するが、方法は必ずしも同じプロセッサによって実行されるとは限らない。言い換えれば、少なくとも１つのプロセッサおよび／または少なくとも１つの専用プロセッサが、図６および図７に関して以下で説明する方法を実行してもよい。

【0088】

図６は、例示的な実現例による、ジオメトリを記憶するための方法を示す図である。ステップＳ６０５に示すように、色データを受信する。例えば、ＡＲアプリケーションが動作し得る。ＡＲアプリケーションは、カメラを含むコンピューティングデバイス（例えば、携帯電話、タブレット、ヘッドセット等）上で動作し得る。色データは、カメラによってキャプチャされ、通信され得る。ステップＳ６０５は、二段階技術の第１の段階を開始する。

【0089】

ステップＳ６１０において、深度データが受信される。例えば、カメラは、深度データをキャプチャする機能を含み得る。言い換えると、カメラは、色データ（例えば、ＲＧＢ）および深度（Ｄ）データをキャプチャし得る。カメラは、ＲＧＢＤカメラであり得る。代替として、または加えて、ＡＲアプリケーションは、色データから深度データを生成するよう構成されてもよい。上述のように、深度データは、空白であるピクセル（例えば、不完全もしくは欠落ピクセル）および／または無効と印されたピクセルを含み得る。

【0090】

ステップＳ６１５において、位置が受信される。例えば、ＡＲアプリケーションは、実世界空間内のコンピューティングデバイスの位置を判断するよう構成され得る。位置は、基準点（またはホーム位置）からの距離および方向に基づき得る。位置は、座標系（例えば、ｘ、ｙグリッド）に基づき得る。位置はまた、深度（たとえば、オブジェクトからの距離）を含み得る。ＡＲアプリケーションは、ＡＲアプリケーションの初期化中に基準を生成するよう構成され得る。基準は、実世界空間における位置および／または（たとえば、全地球測位センサ（グローバルポジションセンサ）からの）全地球（グローバルポジション）基準点であり得る。

【0091】

ステップＳ６２０では、画像データを記憶する。例えば、色データおよび深度データに基づく画像データが記憶される。画像データは、ピクセル、点（または点群）データ、多角形（例えば、三角形）データ、メッシュデータ、サーフェルなどであり得る。上述のように、深度データは、空白であるピクセル（例えば、不完全または欠落ピクセル）および／または無効と印されたピクセルを含み得る。したがって、画像データは、欠落または無効な深度情報を有し得る。上述のように、画像データは、バッファ（例えば、バッファ１１０）に記憶され得る。この第１の段階において、この画像データは、再投影（例えば、レンダリング）され、現在のデータ（例えば、カメラによってキャプチャされるような）とブレンドされ、ＡＲアプリケーションによる表示のためにＡＲオブジェクトと結合され得る。

【0092】

ステップＳ６２５では、記憶された画像データを読み出す。例えば、予め記憶された画像データを読み出し得る。記憶された画像データは、バッファ（例えば、バッファ１１０）から読み出され得る。例示的な実現例では、記憶された画像データは、ＡＲアプリケーションを実行するデバイスのカメラによってキャプチャされる複数のフレームを含む。さらに、複数のフレームの一部を読み出し得る（例えば、１つおきのフレーム、３つのフレームのうちの１つ、４つのフレームのうちの１つ、すべて未満など）。ステップＳ６２５は、二段階技術の第２の段階を開始する。

【0093】

ステップＳ６３０において、現在のジオメトリが構築される。例えば、ＡＲアプリケーションまたはシステムに関連付けられる実世界ジオメトリ（例えば、実世界空間のジオメトリ）を表すデータ構造（例えば、ｎタプル、ツリー等）を構築し得る。データ構造は、ある位置について、（例えば、ある位置におけるあるオブジェクトについて、）あるジオメトリを含み得る。データ構造は、色情報、テクスチャ情報、深度情報、位置情報、および方向情報を含み得る。深度情報は、層順序を示す数（例えば、インデックスまたはｚインデックス）を各々が有する深度層を含み得る。深度情報は、画像中のピクセルごとに複数の順序付けられた深度を有する階層化された深度画像（ＬＤＩ）であり得る。深度情報は深度マップを含み得る。テクスチャ情報、深度情報、位置情報、および方向情報は、接続性を有する幾何学的オブジェクト（例えば、多角形のメッシュ）の要素であり得る。テクスチャ情報、深度情報、位置情報、および方向情報は、接続性のない幾何学的オブジェクトの要素（たとえば、表面要素またはサーフェル）であり得る。

【0094】

ステップＳ６３５において、記憶された幾何学的データが更新される。例えば、ジオメトリを、既存のデータ構造（例えば、記憶されたジオメトリ２２０）に追加し得る。記憶されたデータを更新することは、記憶された幾何学的データに追加すること、記憶された幾何学的データを修正すること、記憶された幾何学的データの一部を置換すること、および／または記憶された幾何学的データの一部を削除することを含み得る。上述のように、幾何学的データはサーフェルであり得る。したがって、記憶された幾何学的データを更新することは、サーフェルを追加すること、サーフェルを修正すること、サーフェルを置換すること、および／またはサーフェルを削除することを含み得る。経時的に（例えば、データ構造が実世界空間の完全な表現になるにつれて、）、記憶されたジオメトリは、記憶された画像データの代わりに、ＡＲアプリケーション内で画像（例えば、フレーム）を生成するために使用され得る。言い換えると、記憶された幾何学的データ（またはその一部）は、レンダリングされ、（例えば、カメラによってキャプチャされる）現在のデータとブレンドされ、ＡＲアプリケーションによる表示のためにＡＲオブジェクトと組み合わせられ得る。いくつかの実現例では、記憶された幾何学的データ（またはその一部）は、レンダリングされ、ＡＲアプリケーションによる表示のために（現在のデータなしで）ＡＲオブジェクトと組み合わせられ得る。

【0095】

ステップＳ６４０において、位置信頼度が更新される。例えば、信頼度は、ある範囲（例えば、０～１）の数値であり得る。より大きい（またはより小さい）数値は、高い信頼度を示し得、より小さい（またはより大きい）数値は、低い信頼度を示し得る。例えば、信頼度１は高い信頼度であり得、信頼度０は低い信頼度であり得る。信頼度は、データ構造（またはデータ構造の一部）が実世界空間をどのように表しそうかを示し得る。

【0096】

たとえば、実世界空間中のあるオブジェクトがある位置および深度で繰り返し現れる場合、実世界空間中のそのオブジェクトを表すデータ構造は、関連付けられる高い信頼度（たとえば、１に近づく数値）を有してもよい。例示的な実現例では、オブジェクトを表すサーフェルは、関連付けられる高い信頼度（たとえば、１に近づく数値）を有してもよい。実世界空間内のオブジェクトが第１のフレーム内で第１の位置および深度に、ならびに第２のフレーム内で第２の位置および深度に現れる場合、実世界空間内でそのオブジェクトを表すデータ構造は、関連付けられる低い信頼度（たとえば、０に近づく数値）を有してもよい。例示的な実現例では、オブジェクトを表すサーフェルは、関連付けられる低い信頼度（たとえば、０に近づく数値）を有してもよい。上述したように、実世界空間内で移動したオブジェクトを表すデータ構造は、データ構造内のその位置および深度において最終的に削除されてもよい。上述したように、実世界空間は、複数のデータ構造（例えば、サーフェル）によって表されてもよい。

【0097】

これらのサーフェルには、オブジェクト走査、部屋再構成、物理衝突、自由空間検出、経路計画などを含むいくつかのユースケースがある。さらに、我々のコアユースケースの１つは、サーフェルデータを最終出力深度マップにフィードバックすることである。

【0098】

図７は、例示的な実現例による、画像を生成するための方法を示す図である。ステップＳ７０５に示すように、レンダリングされた画像が受信される。例えば、ＡＲアプリケーションが動作し得る。ＡＲアプリケーションは、カメラを含むコンピューティングデバイス（例えば、携帯電話、タブレット、ヘッドセット等）上で動作し得る。画像（またはビデオのフレーム）は、カメラから受信され得る。受信された画像（またはビデオのフレーム）は、レンダリングされ得る。

【0099】

ステップＳ７１０において、拡張現実（ＡＲ）オブジェクトが受信される。例えば、ＡＲオブジェクトは、（ＡＲアプリケーションによる）実世界空間の中への配置のためにＡＲアプリケーションによって生成されるオブジェクトであり得る。したがって、ＡＲオブジェクトは、ＡＲオブジェクトを生成するよう構成されるＡＲアプリケーションの要素から受信され得る。ＡＲオブジェクトは、色情報、深度情報、方向情報、位置情報などを含み得る。

【0100】

ステップＳ７１５において、記憶された幾何学的データが受信される。例えば、幾何学的データは、コンピューティングデバイス上に記憶され得る。例えば、幾何学的データは、サーバ上に記憶され得る。例えば、幾何学的データは、クラウド（または遠隔）メモリデバイス上に記憶され得る。したがって、幾何学的データは、コンピューティングデバイス、サーバ、および／またはクラウドメモリから受信され得る。幾何学的データは、有線または無線通信を介して受信され得る。

【0101】

ステップＳ７２０において、記憶された幾何学的データはレンダリングされる。例えば、幾何学的データは、画像としてレンダリングされる。幾何学的データをレンダリングすることは、実世界空間を表す画像の少なくとも一部を生成し得る。レンダリングは、投影技術を使用し得る。投影技術は、点に基づくレンダリングまたはスプラッティングを含み得る。点に基づくレンダリングまたはスプラッティングは、ピクセル空間内でピクセルに変数を割り当てることを含み得る。変数は、色、テクスチャ、深度、方向などを含み得る。変数は、少なくとも１つのサーフェルから（例えば、サーフェルおよびピクセルの位置に基づいて）読み出され得る。

【0102】

ステップＳ７２５において、レンダリングされた画像およびレンダリングされた幾何学的データは、ブレンドされ、ＡＲオブジェクトと組み合わせられる。例えば、レンダリングされた画像とレンダリングされた幾何学的データとはブレンドされ得る。次いで、ＡＲオブジェクトは、結果として生じた画像と組み合わせられ得る。レンダリングされた画像を記憶されたジオメトリのレンダリングとブレンドすることにより、現実世界の表現または実世界画像を生成し得る。２つ以上の画像をブレンドすることは、各画像の一部を組み合わせることを含み得る（上記でより詳細に説明される）。

【0103】

前述のように、深度画像内のピクセルの一部は、空白であるかまたは無効として印され得る。したがって、例示的な実現例では、レンダリングされた画像内において（例えば深度を有する）欠落しているかまたは無効として印されるピクセル（例えば欠落した深度情報または無効な深度情報）は、欠落または無効ピクセルと同じ位置および層を有する記憶された幾何学的データのレンダリングからのピクセル（例えば深度情報）で埋められ得る。

【0104】

例示的な実現例では、ＡＲオブジェクトを実世界画像に組み合わせることは、深度に基づくオクルージョンを含み得る。例えば、ＡＲオブジェクトの一部が、実世界オブジェクトの一部の前にある深度（例えば、層）にある場合、実世界オブジェクトの一部は、組み合わせられた画像から除去され得る。さらに、ＡＲオブジェクトの一部が、実世界オブジェクトの一部の背後にある深度（たとえば、層）にある場合、ＡＲオブジェクトの一部は、組み合わせられた画像から除去され得る。記憶された幾何学的データを使用することの利点は、実世界画像がＡＲオブジェクトの一部の位置で空白または無効として印される深度情報を含む場合、記憶された幾何学的データの深度情報が、空白または無効な深度情報の代わりに使用され得ることである。したがって、深度に基づくオクルージョンは、記憶された幾何学的データを使用して、より正確であり得る。

【0105】

ステップＳ７３０では、ブレンド後処理が実行される。例えば、ブレンド後処理は、結果として得られる画像またはフレームの品質を改善し得る。結果として生じる画像またはフレームは、色間の遷移を平滑化するかまたは色間の遷移を鮮鋭化するようフィルタリングされ得る。結果として生じる画像またはフレームは、アーチファクト（例えば、画像に属さない可能性が高い色または深度を含む誤差）を除去するようにフィルタリングされ得る。結果として生じる画像またはフレームは、ＡＲおよび実世界の不連続性（実世界の要素によってブロックされるべきＡＲ要素など）を除去するようにフィルタリングされ得る。ステップＳ７３５では、画像を表示する。例えば、結果として得られる後処理されたブレンドされた画像を表示し得る。

【0106】

図８は、例示的な実現例による、マルチデバイスジオメトリを記憶するためのシステムのブロック図である。図８に示すように、システムは、デバイス１ ８０５と、デバイス２ ８１０と、デバイスｎ ８１５と、サーバ８２０と、メモリ８２５とを含む。デバイス１ ８０５は、位置２０５ブロックと、画像２１０ブロックと、深度２１５ブロックとを含む。デバイス２ ８１０は、位置２０５ブロックと、画像２１０ブロックと、深度２１５ブロックとを含む。デバイスｎ ８２５は、位置２０５ブロックと、画像２１０ブロックと、深度２１５ブロックとを含む。サーバ８２０は、ジオメトリ構築２２５ブロックを含む。メモリ８２５は、記憶されたジオメトリ２２０ブロックおよび位置信頼度２３０ブロックを含む。

【0107】

図８の例示的な実現例では、複数のデバイス（例えば、デバイス１ ８０５、デバイス２ ８１０、…、デバイスｎ）がＡＲ環境において共に動作する。サーバは、複数のデバイスの各々から画像、深度、および位置データを受信する。ジオメトリ構築２２５ブロックは、複数のデバイスの各々からの画像、深度、および位置データを使用して、幾何学的データを生成し得る。サーバ８２０は、メモリ８２５の記憶されたジオメトリ２２０ブロックおよび位置信頼度２３０ブロックに、幾何学的データおよび信頼度を記憶し得る。メモリ８２５はサーバ８２０とは別個に示されているが、メモリ８２５はサーバ８２０に含まれ得る。

【0108】

複数のデバイスは、バッファ１１０を含み、バッファ１１０に記憶されるフレームの一部をサーバ８２０に通信し得る。サーバ８２０は、記憶されたジオメトリを（例えばサーフェルとして）複数のデバイスに通信し得る。したがって、複数のデバイスの各々は、個々のデバイスにより生成される実世界空間と比較して、ＡＲアプリケーションにおいて、より完全な実世界空間を利用し得る。言い換えれば、複数のデバイスの各々は、個々のデバイスによっては見られなかった実世界空間の部分を利用し得る。図８の実施形態では、複数のデバイスの各々は、画像を投影（たとえば、レンダリング）およびブレンドするよう構成される。

【0109】

図９は、例示的な実現例による、マルチデバイス拡張現実システムのためのシステムのブロック図を図示する。図９に示すように、システムは、デバイス１ ８０５と、デバイス２ ８１０と、デバイスｎ ８１５と、サーバ８２０と、メモリ８２５とを含む。デバイス１ ８０５は、位置２０５ブロックと、画像２１０ブロックと、表示９２０ブロックとを含む。デバイス２ ８１０は、位置２０５ブロックと、画像２１０ブロックと、表示９２０ブロックとを含む。デバイスｎ ８１５は、位置２０５ブロックと、画像２１０ブロックと、表示９２０ブロックとを含む。メモリ８２５は、記憶されたジオメトリ２２０ブロックおよび位置信頼度２３０ブロックを含む。

【0110】

図９の実施形態では、複数のデバイスは、サーバ９２０から投影（たとえばレンダリング）およびブレンドされた画像を受信するよう構成される。レンダリングおよびブレンドされた画像は、実世界空間（例えば、実世界空間１００）を表す。したがって、サーバ８２０は、ポストブレンダ９１５ブロックと、画像ブレンダ９１０ブロックと、画像レンダラ９０５ブロックとを含む。しかしながら、複数のデバイスの各々は、ＡＲオブジェクトを実世界空間のレンダリングと組み合わせるよう構成される。

【0111】

図１０は、ここに説明される手法を用いて使用され得るコンピュータデバイス１０００およびモバイルコンピュータデバイス１０５０の一例を示す。コンピューティングデバイス１０００は、ラップトップ、デスクトップ、ワークステーション、携帯情報端末、サーバ、ブレードサーバ、メインフレーム、および他の適切なコンピュータといった、さまざまな形態のデジタルコンピュータを表わすよう意図されている。コンピューティングデバイス１０５０は、携帯情報端末、携帯電話、スマートフォン、および他の同様のコンピューティングデバイスといった、さまざまな形態のモバイルデバイスを表わすよう意図されている。ここに示すコンポーネント、それらの接続および関係、ならびにそれらの機能は単なる例示であることが意図されており、本文書に記載のおよび／または請求項に記載の本発明の実現化例を限定するよう意図されてはいない。

【0112】

コンピューティングデバイス１０００は、プロセッサ１００２と、メモリ１００４と、記憶装置１００６と、メモリ１００４および高速拡張ポート１０１０に接続している高速インターフェイス１００８と、低速バス１０１４および記憶装置１００６に接続している低速インターフェイス１０１２とを含む。コンポーネント１００２、１００４、１００６、１００８、１０１０、および１０１２の各々は、さまざまなバスを使用して相互接続されており、共通のマザーボード上にまたは他の態様で適宜搭載され得る。プロセッサ１００２は、コンピューティングデバイス１０００内で実行される命令を処理可能であり、これらの命令は、ＧＵＩのためのグラフィック情報を、高速インターフェイス１００８に結合されたディスプレイ１０１６などの外部入力／出力デバイス上に表示するために、メモリ１００４内または記憶装置１００６上に格納された命令を含む。他の実現化例では、複数のプロセッサおよび／または複数のバスが、複数のメモリおよび複数のタイプのメモリとともに適宜使用され得る。また、複数のコンピューティングデバイス１０００が接続されてもよく、各デバイスは（たとえば、サーババンク、ブレードサーバのグループ、またはマルチプロセッサシステムとして）必要な動作の部分を提供する。

【0113】

メモリ１００４は、情報をコンピューティングデバイス１０００内に格納する。一実現化例では、メモリ１００４は１つまたは複数の揮発性メモリユニットである。別の実現化例では、メモリ１００４は１つまたは複数の不揮発性メモリユニットである。メモリ１００４はまた、磁気ディスクまたは光ディスクといった別の形態のコンピュータ読取可能媒体であってもよい。

【0114】

記憶装置１００６は、コンピューティングデバイス１０００のためのマスストレージを提供可能である。一実現化例では、記憶装置１００６は、フロッピー（登録商標）ディスクデバイス、ハードディスクデバイス、光ディスクデバイス、もしくはテープデバイス、フラッシュメモリまたは他の同様のソリッドステートメモリデバイス、もしくは、ストレージエリアネットワークまたは他の構成におけるデバイスを含むデバイスのアレイといった、コンピュータ読取可能媒体であってもよく、または当該コンピュータ読取可能媒体を含んでいてもよい。コンピュータプログラム製品が情報担体において有形に具現化され得る。コンピュータプログラム製品はまた、実行されると上述のような１つ以上の方法を行なう命令を含み得る。情報担体は、メモリ１００４、記憶装置１００６、またはプロセッサ１００２上のメモリといった、コンピュータ読取可能媒体または機械読取可能媒体である。

【0115】

高速コントローラ１００８はコンピューティングデバイス１０００のための帯域幅集約的な動作を管理し、一方、低速コントローラ１０１２はより低い帯域幅集約的な動作を管理する。機能のそのような割当ては例示に過ぎない。一実現化例では、高速コントローラ１００８は、メモリ１００４、ディスプレイ１０１６に（たとえば、グラフィックスプロセッサまたはアクセラレータを介して）、および、さまざまな拡張カード（図示せず）を受付け得る高速拡張ポート１０１０に結合される。この実現化例では、低速コントローラ１０１２は、記憶装置１００６および低速拡張ポート１０１４に結合される。さまざまな通信ポート（たとえば、ＵＳＢ、ブルートゥース（登録商標）、イーサネット（登録商標）、無線イーサネット）を含み得る低速拡張ポートは、キーボード、ポインティングデバイス、スキャナなどの１つ以上の入力／出力デバイスに、もしくは、スイッチまたはルータなどのネットワーキングデバイスに、たとえばネットワークアダプタを介して結合され得る。

【0116】

コンピューティングデバイス１０００は、図に示すように多くの異なる形態で実現され得る。たとえばそれは、標準サーバ１０２０として、またはそのようなサーバのグループで複数回実現され得る。それはまた、ラックサーバシステム１０２４の一部として実現され得る。加えて、それは、ラップトップコンピュータ１０２２などのパーソナルコンピュータにおいて実現され得る。これに代えて、コンピューティングデバイス１０００からのコンポーネントは、デバイス１０５０などのモバイルデバイス（図示せず）における他のコンポーネントと組合され得る。そのようなデバイスの各々は、コンピューティングデバイス１０００、１０５０のうちの１つ以上を含んでいてもよく、システム全体が、互いに通信する複数のコンピューティングデバイス１０００、１０５０で構成されてもよい。

【0117】

コンピューティングデバイス１０５０は、他のコンポーネントの中でもとりわけ、プロセッサ１０５２と、メモリ１０６４と、ディスプレイ１０５４などの入力／出力デバイスと、通信インターフェイス１０６６と、トランシーバ１０６８とを含む。デバイス１０５０にはまた、追加のストレージを提供するために、マイクロドライブまたは他のデバイスなどの記憶装置が設けられてもよい。コンポーネント１０５０、１０５２、１０６４、１０５４、１０６６、および１０６８の各々は、さまざまなバスを使用して相互接続されており、当該コンポーネントのうちのいくつかは、共通のマザーボード上にまたは他の態様で適宜搭載され得る。

【0118】

プロセッサ１０５２は、メモリ１０６４に格納された命令を含む、コンピューティングデバイス１０５０内の命令を実行可能である。プロセッサは、別個の複数のアナログおよびデジタルプロセッサを含むチップのチップセットとして実現され得る。プロセッサは、たとえば、ユーザインターフェイス、デバイス１０５０が実行するアプリケーション、およびデバイス１０５０による無線通信の制御といった、デバイス１０５０の他のコンポーネント同士の連携を提供し得る。

【0119】

プロセッサ１０５２は、ディスプレイ１０５４に結合された制御インターフェイス１０５８およびディスプレイインターフェイス１０５６を介してユーザと通信し得る。ディスプレイ１０５４は、たとえば、ＴＦＴ ＬＣＤ（Thin-Film-Transistor Liquid Crystal Display：薄膜トランジスタ液晶ディスプレイ）、またはＯＬＥＤ（Organic Light Emitting Diode：有機発光ダイオード）ディスプレイ、または他の適切なディスプレイ技術であり得る。ディスプレイインターフェイス１０５６は、ディスプレイ１０５４を駆動してグラフィカル情報および他の情報をユーザに提示するための適切な回路を含み得る。制御インターフェイス１０５８は、ユーザからコマンドを受信し、それらをプロセッサ１０５２に送出するために変換し得る。加えて、デバイス１０５０と他のデバイスとの近接エリア通信を可能にするように、外部インターフェイス１０６２がプロセッサ１０５２と通信した状態で設けられ得る。外部インターフェイス１０６２は、たとえば、ある実現化例では有線通信を提供し、他の実現化例では無線通信を提供してもよく、複数のインターフェイスも使用されてもよい。

【0120】

メモリ１０６４は、情報をコンピューティングデバイス１０５０内に格納する。メモリ１０６４は、１つまたは複数のコンピュータ読取可能媒体、１つまたは複数の揮発性メモリユニット、もしくは、１つまたは複数の不揮発性メモリユニットのうちの１つ以上として実現され得る。拡張メモリ１０７４も設けられ、拡張インターフェイス１０７２を介してデバイス１０５０に接続され得る。拡張インターフェイス１０７２は、たとえばＳＩＭＭ（Single In Line Memory Module）カードインターフェイスを含み得る。そのような拡張メモリ１０７４は、デバイス１０５０に余分の格納スペースを提供してもよく、もしくは、デバイス１０５０のためのアプリケーションまたは他の情報も格納してもよい。具体的には、拡張メモリ１０７４は、上述のプロセスを実行または補足するための命令を含んでいてもよく、安全な情報も含んでいてもよい。このため、たとえば、拡張メモリ１０７４はデバイス１０５０のためのセキュリティモジュールとして設けられてもよく、デバイス１０５０の安全な使用を許可する命令でプログラミングされてもよい。加えて、ハッキング不可能な態様でＳＩＭＭカード上に識別情報を載せるといったように、安全なアプリケーションが追加情報とともにＳＩＭＭカードを介して提供されてもよい。

【0121】

メモリはたとえば、以下に説明されるようなフラッシュメモリおよび／またはＮＶＲＡＭメモリを含み得る。一実現化例では、コンピュータプログラム製品が情報担体において有形に具現化される。コンピュータプログラム製品は、実行されると上述のような１つ以上の方法を行なう命令を含む。情報担体は、メモリ１０６４、拡張メモリ１０７４、またはプロセッサ１０５２上のメモリといった、コンピュータ読取可能媒体または機械読取可能媒体であり、たとえばトランシーバ１０６８または外部インターフェイス１０６２を通して受信され得る。

【0122】

デバイス１０５０は、必要に応じてデジタル信号処理回路を含み得る通信インターフェイス１０６６を介して無線通信し得る。通信インターフェイス１０６６は、とりわけ、ＧＳＭ（登録商標）音声通話、ＳＭＳ、ＥＭＳ、またはＭＭＳメッセージング、ＣＤＭＡ、ＴＤＭＡ、ＰＤＣ、ＷＣＤＭＡ（登録商標）、ＣＤＭＡ２０００、またはＧＰＲＳといった、さまざまなモードまたはプロトコル下での通信を提供し得る。そのような通信は、たとえば無線周波数トランシーバ１０６８を介して生じ得る。加えて、ブルートゥース、Ｗｉ－Ｆｉ、または他のそのようなトランシーバ（図示せず）などを使用して、短距離通信が生じ得る。加えて、ＧＰＳ（Global Positioning System：全地球測位システム）レシーバモジュール１０７０が、追加のナビゲーション関連および位置関連無線データをデバイス１０５０に提供してもよく、当該データは、デバイス１０５０上で実行されるアプリケーションによって適宜使用されてもよい。

【0123】

デバイス１０５０はまた、ユーザから口頭情報を受信してそれを使用可能なデジタル情報に変換し得る音声コーデック１０６０を使用して、音声通信してもよい。音声コーデック１０６０はまた、たとえばデバイス１０５０のハンドセットにおいて、スピーカを介するなどして、ユーザに聞こえる音を生成してもよい。そのような音は、音声電話からの音を含んでいてもよく、録音された音（たとえば、音声メッセージ、音楽ファイルなど）を含んでいてもよく、デバイス１０５０上で動作するアプリケーションが生成する音も含んでいてもよい。

【0124】

コンピューティングデバイス１０５０は、図に示すように多くの異なる形態で実現され得る。たとえばそれは、携帯電話１０８０として実現され得る。それはまた、スマートフォン１０８２、携帯情報端末、または他の同様のモバイルデバイスの一部として実現され得る。

【0125】

一般的な局面では、１つ以上のプロセッサと命令を記憶するメモリとを含む装置、デバイス、システム、（コンピュータシステム上で実行され得るコンピュータ実行可能プログラムコードを記憶した）非一時的コンピュータ可読媒体、および／または方法は、あるプロセスをある方法で実行し得、その方法は、拡張現実（ＡＲ）アプリケーションの第１の時間に第１のフレームに関連付けられる第１の深度画像を受信することを含み、第１の深度画像は、実世界空間の少なくとも第１の部分を表し、本方法はさらに、第１の深度画像を記憶することと、ＡＲアプリケーションの第１の時間の後の第２の時間に第２のフレームに関連付けられる第２の深度画像を受信することとを含み、第２の深度画像は、実世界空間の少なくとも第２の部分を表し、本方法はさらに、少なくとも、記憶された第１の深度画像を第２の深度画像とブレンドすることによって、実世界画像を生成することと、レンダリングされたＡＲオブジェクトを受信することと、実世界画像内でＡＲオブジェクトを組み合わせることと、ＡＲオブジェクトと組み合わされた実世界画像を表示することとを含み得る。

【0126】

実施形態は、以下の特徴のうちの１つまたは複数を含み得る。たとえば、第１の深度画像は、ＡＲアプリケーションに関連付けられるバッファに記憶されるＡＲアプリケーションのフレームを表す複数の深度画像のうちの１つであり得る。第１の深度画像は、ＡＲアプリケーションに関連付けられるバッファに記憶されるＡＲアプリケーションのフレームを表す複数の深度画像のうちの１つであり得、本方法は、さらに、バッファに記憶される複数の深度画像の一部を選択することと、複数の深度画像の一部に基づいてデータ構造を生成することとを含み、データ構造は実世界空間を表し、データ構造は、深度情報、位置情報、および方向情報を含み、本方法は、さらに、生成されたデータ構造を記憶することを含み得る。第１の深度画像は、ＡＲアプリケーションに関連付けられるバッファに記憶されるＡＲアプリケーションのフレームを表す複数の深度画像のうちの１つであり得、本方法は、さらに、バッファに記憶される複数の深度画像の一部を受信することと、複数の深度画像の一部に基づいて複数の表面要素（サーフェル）を生成することとを含み、複数のサーフェルは実世界空間を表し、本方法はさらに、生成された複数のサーフェルを記憶することを含み得る。

【0127】

例えば、本方法はさらに、深度情報、位置情報、および方向情報を含むデータ構造を受信することと、データ構造を第３の深度画像としてレンダリングすることと、第３の深度画像を実世界画像とブレンドすることとを含み得る。本方法はさらに、実世界空間を表す複数のサーフェルを受信することと、複数のサーフェルを第３の深度画像としてレンダリングすることと、第３の深度画像を実世界画像とブレンドすることとを含み得る。実世界画像内においてＡＲオブジェクトを組み合わせることは、深度に基づいて、実世界画像内のピクセルの一部をＡＲオブジェクト内のピクセルの一部と置換することを含み得る。

【0128】

記憶された第１の深度画像を第２の深度画像とブレンドすることは、第２の深度画像内のピクセルの一部を、記憶された第１の深度画像の一部と置換することを含み得る。第２の深度画像は、少なくとも１つのピクセルを欠き得、記憶された第１の深度画像を第２の深度画像とブレンドすることは、少なくとも１つのピクセルを、記憶された第１の深度画像の一部と置換することを含み得る。本方法はさらに、実世界空間を表す複数のサーフェルを受信することと、複数のサーフェルをレンダリングすることとを含む。第２の深度画像は、少なくとも１つのピクセルを欠き得、本方法はさらに、少なくとも１つのピクセルを、レンダリングされた複数のサーフェルの一部と置換することを含む。記憶された第１の深度画像は、第１の深度画像が実世界空間をある位置において表す尤度を示す位置信頼度を含み得る。

【0129】

別の一般的な局面では、１つ以上のプロセッサと命令を記憶するメモリとを含む装置、デバイス、システム、（コンピュータシステム上で実行され得るコンピュータ実行可能プログラムコードを記憶した）非一時的コンピュータ可読媒体、および／または方法は、あるプロセスをある方法で実行し得、その方法は、拡張現実（ＡＲ）アプリケーションのフレームに関連付けられる深度データを受信することを含み、深度データは、実世界空間の少なくとも一部を表し、本方法はさらに、深度データを、ＡＲアプリケーションのフレームを表す複数の深度画像のうちの１つとして、ＡＲアプリケーションに関連付けられるバッファに記憶することと、バッファに記憶される複数の深度画像の一部を選択することと、複数の深度画像の一部に基づいてデータ構造を生成することとを含み、データ構造は実世界空間を表し、データ構造は、深度情報、位置情報、および方向情報を含み、本方法は、さらに、生成されたデータ構造を記憶することを含み得る。

【0130】

実施形態は、以下の特徴のうちの１つまたは複数を含み得る。例えば、データ構造は、複数の表面要素（サーフェル）を含み得る。データ構造は、サーバと関連して記憶され得る。複数の深度画像の一部を選択することは、ＡＲアプリケーションを実行する複数のデバイス上の複数のバッファから複数の画像を選択することを含み得る。記憶された深度データは、深度データが実世界空間をある位置において表す尤度を示す位置信頼度を含み得る。

【0131】

さらに別の一般的な局面では、１つ以上のプロセッサと命令を記憶するメモリとを含む装置、デバイス、システム、（コンピュータシステム上で実行され得るコンピュータ実行可能プログラムコードを記憶した）非一時的コンピュータ可読媒体、および／または方法は、あるプロセスをある方法で実行し得、その方法は、拡張現実（ＡＲ）アプリケーションのフレームに関連付けられる第１の深度データを受信することを含み、第１の深度データは、実世界空間の少なくとも一部を表し、本方法はさらに、ＡＲアプリケーションに関連付けられる実世界空間の少なくとも第２の部分を表すデータ構造を受信することを含み、データ構造は、深度情報、位置情報、および方向情報を含み、本方法はさらに、少なくとも第１の深度データをデータ構造とブレンドすることによって実世界画像を生成することと、ＡＲオブジェクトを受信することと、実世界画像をＡＲオブジェクトと組み合わせることと、ＡＲオブジェクトと組み合わされた実世界画像を表示することとを含み得る。

【0132】

実施形態は、以下の特徴のうちの１つまたは複数を含み得る。例えば、実世界画像内においてＡＲオブジェクトを組み合わせることは、深度に基づいて、実世界画像内のピクセルの一部をＡＲオブジェクト内のピクセルの一部と置換することを含み得る。記憶された第１の深度データをデータ構造とブレンドすることは、第２の深度画像内のピクセルの一部を、記憶された第１の深度画像の一部と置換することを含み得る。第１の深度データは、少なくとも１つのピクセルを欠き得、第１の深度データをデータ構造とブレンドすることは、少なくとも１つのピクセルをデータ構造の一部と置換することを含み得る。データ構造は、複数の表面要素（サーフェル）を含み得る。データ構造は、複数のサーフェルを含み得、第１の深度データは、少なくとも１つのピクセルを欠き得、本方法はさらに、少なくとも１つのピクセルを複数のサーフェルの一部と置換することを含み得る。実世界空間を表すデータ構造は、深度データが実世界空間をある位置において表す尤度を示す位置信頼度を含み得る。データ構造は、サーバから受信され得る。

【0133】

例示的な実施形態はさまざまな修正および代替的形態を含み得るが、それらの実施形態は例として図面に示されており、上に詳細に説明される。しかしながら、例示的な実施形態を開示された特定の形態に限定する意図はなく、それどころか、例示的な実施形態は請求の範囲内に該当するすべての修正、均等物、および代替物を網羅することが理解されるべきである。同じ番号は、図の説明全体にわたって同じ要素を指す。

【0134】

ここに説明されるシステムおよび手法のさまざまな実現化例は、デジタル電子回路、集積回路、特別に設計されたＡＳＩＣ（application specific integrated circuit：特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／またはそれらの組合せで実現され得る。これらのさまざまな実現化例は、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステム上で実行可能および／または解釈可能である１つ以上のコンピュータプログラムにおける実現化例を含んでいてもよく、当該プロセッサは専用であっても汎用であってもよく、ストレージシステム、少なくとも１つの入力デバイス、および少なくとも１つの出力デバイスとの間でデータおよび命令を送受信するように結合されてもよい。ここに説明されるシステムおよび手法のさまざまな実現化例は、ソフトウェア局面とハードウェア局面とを組合せることができる回路、モジュール、ブロック、またはシステムとして実現可能であり、および／または、ここに概してそう呼ばれ得る。たとえば、モジュールは、プロセッサ（たとえば、シリコン基板、ＧａＡｓ基板などの上に形成されたプロセッサ）または何らかの他のプログラマブルデータ処理装置上で実行される機能／行為／コンピュータプログラム命令を含み得る。

【0135】

上述の例示的な実施形態のうちのいくつかは、フローチャートとして示されるプロセスまたは方法として説明される。これらのフローチャートは動作を逐次プロセスとして説明しているが、動作の多くは、並列、同時または一斉に行なわれてもよい。加えて、動作の順序は並び替えられてもよい。それらの動作が完了されるとプロセスは終了され得るが、図に含まれていない追加のステップも有していてもよい。これらのプロセスは、方法、機能、手順、サブルーチン、サブプログラムなどに対応していてもよい。

【0136】

それらのうちのいくつかがフローチャートによって示されている、上述された方法は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、またはそれらの任意の組合せによって実現され得る。ソフトウェア、ファームウェア、ミドルウェア、またはマイクロコードにおいて実現される場合、必要なタスクを行なうプログラムコードまたはコードセグメントは、記憶媒体などの機械読取可能媒体またはコンピュータ読取可能媒体に格納され得る。プロセッサが必要なタスクを行ない得る。

【0137】

ここに開示された具体的な構造詳細および機能詳細は、例示的な実施形態を説明するための代表的なものに過ぎない。しかしながら、例示的な実施形態は、多くの代替的な形態で具現化され、ここに述べられた実施形態のみに限定されると解釈されるべきでない。

【0138】

第１、第２などといった用語は、さまざまな要素を説明するためにここに使用され得るが、これらの要素はこれらの用語によって限定されるべきでない、ということが理解されるであろう。これらの用語は、１つの要素を別の要素と区別するために使用されているに過ぎない。たとえば、例示的な実施形態の範囲から逸脱することなく、第１の要素を第２の要素と称してもよく、同様に、第２の要素を第１の要素と称してもよい。ここに使用されるように、「および／または」という用語は、関連付けられる列挙された項目の１つ以上のいずれかおよびすべての組合せを含む。

【0139】

ある要素が別の要素に接続または結合されると称される場合、ある要素は別の要素に直接接続または結合され得るか、もしくは介在要素が存在し得る、ということが理解されるであろう。対照的に、ある要素が別の要素に直接接続または直接結合されると称される場合、介在要素は存在しない。要素間の関係を説明するために使用される他の文言は、類似の態様（たとえば、「間に」と「間に直接」、「隣接」と「直接隣接」など）で解釈されるべきである。

【0140】

ここに使用される用語は特定の実施形態を説明するためのものに過ぎず、例示的な実施形態の限定であるよう意図されてはいない。ここに使用されるように、単数形は、文脈が別の態様を明らかに示していない限り、複数形も含むよう意図される。「備える（comprises, comprising）」および／または「含む（includes, including）」という用語は、ここに使用される場合、言及された特徴、整数、ステップ、動作、要素および／またはコンポーネントの存在を特定するが、１つ以上の他の特徴、整数、ステップ、動作、要素、コンポーネントおよび／またはそれらのグループの存在または追加を排除しない、ということがさらに理解されるであろう。

【0141】

また、いくつかの代替的な実現化例では、言及された機能／行為が、図に示された順序とは異なって生じてもよい。たとえば、連続して示される２つの図は実際には、関与する機能性／行為に依存して、同時に実行されてもよく、または、時には逆の順序で実行されてもよい。

【0142】

別の態様で定義されていない限り、ここに使用されるすべての用語（技術用語および科学用語を含む）は、例示的な実施形態が属する技術の当業者によって一般に理解されているのと同じ意味を有する。さらに、たとえば一般に使用されている辞書で定義されているような用語は、関連技術の文脈におけるそれらの意味と一致する意味を有すると解釈されるべきであり、ここに明らかにそう定義されていない限り、理想化されたまたは過度に形式的な意味で解釈されない、ということが理解されるであろう。

【0143】

ソフトウェア、または、コンピュータメモリ内でのデータビットに対する動作のアルゴリズムおよび記号的表現に関して、上述の例示的な実施形態および対応する詳細な説明の部分が提示される。これらの説明および表現は、当業者が自分の研究の内容を他の当業者に効果的に伝えるものである。アルゴリズムとは、その用語がここに使用される場合、および一般的に使用される場合、所望の結果に至るステップの首尾一貫したシーケンスであると考えられる。これらのステップは、物理量の物理的操作を必要とするものである。必ずではないものの、通常は、これらの量は、格納、転送、組合せ、比較、および別の態様での操作が可能である光学信号、電気信号、または磁気信号の形態を取る。これらの信号をビット、値、要素、記号、文字、項、または数字などと称することは、主に一般的な使用の理由により、時に便利であることが証明されている。

【0144】

上述の例示的な実施形態において、プログラムモジュールまたは機能的プロセスとして実現され得る（たとえばフローチャートの形態での）行為および動作の記号的表現への参照は、特定のタスクを行ない、または特定の抽象データタイプを実現するとともに、既存の構造要素で既存のハードウェアを使用して記述および／または実現され得る、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。そのような既存のハードウェアは、１つ以上の中央処理装置（Central Processing Unit：ＣＰＵ）、デジタル信号プロセッサ（digital signal processor：ＤＳＰ）、特定用途向け集積回路、または、フィールドプログラマブルゲートアレイ（field programmable gate array：ＦＰＧＡ）コンピュータなどを含み得る。

【0145】

しかしながら、これらおよび同様の用語はすべて、適切な物理量に関連付けられるべきであり、これらの量に適用された便利なラベルに過ぎない、ということが念頭に置かれるべきである。特に別記されない限り、あるいは説明から明らかであるように、表示の処理、コンピューティング、計算、または判断といった用語は、コンピュータシステムのレジスタおよびメモリ内で物理的な電子量として表わされるデータを操作し、当該データを、コンピュータシステムメモリ、レジスタ、もしくは他のそのような情報記憶、送信または表示装置内の物理量として同様に表わされる他のデータに変換する、コンピュータシステムまたは同様の電子コンピューティングデバイスのアクションおよびプロセスを指す。

【0146】

また、例示的な実施形態のソフトウェアによって実現される局面は典型的には、何らかの形態の非一時的プログラム記憶媒体上で符号化されるか、または、何らかのタイプの伝送媒体上で実現される。プログラム記憶媒体は、磁気的（たとえば、フロッピーディスクまたはハードドライブ）であるか、または光学的（たとえば、コンパクトディスク読み取り専用メモリ、すなわちＣＤ ＲＯＭ）であってもよく、読み取り専用またはランダムアクセスであってもよい。同様に、伝送媒体は、当該技術について公知であるツイストペア線、同軸ケーブル、光ファイバ、または何らかの他の好適な伝送媒体であってもよい。例示的な実施形態は、所与の実現化例のこれらの局面によって限定されない。

【0147】

最後に、添付の請求の範囲は、ここに説明された特徴の特定の組合せを述べているが、本開示の範囲は、請求されるその特定の組合せに限定されず、代わりに、その特定の組合せが現時点で添付の請求の範囲において具体的に列挙されているか否かに関わらず、ここに開示された特徴または実施形態の任意の組合せを包含するよう広がる。

【図1A】

【図1B】

【図1C】

【図1D】

【図2】

【図3A】

【図3B】

【図3C】

【図3D】

【図3E】

【図4A】

【図4B】

【図4C】

【図4D】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】