特表 2022-517327 慣性センサーからの信号に基づいて合成深度画像を生成するためのシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-03-08

(54)【発明の名称】慣性センサーからの信号に基づいて合成深度画像を生成するためのシステムおよび方法

(51)【国際特許分類】

   G06T 7/55 20170101AFI20220228BHJP

   G06T 7/70 20170101ALI20220228BHJP

【ＦＩ】

G06T7/55

G06T7/70 Z

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2021539415

(86)(22)【出願日】2020-01-17

(85)【翻訳文提出日】2021-09-01

(86)【国際出願番号】 US2020014114

(87)【国際公開番号】W WO2020154196

(87)【国際公開日】2020-07-30

(31)【優先権主張番号】16/254,574

(32)【優先日】2019-01-22

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＦＩＲＥＷＩＲＥ

(71)【出願人】

【識別番号】515046968

【氏名又は名称】フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニー

【氏名又は名称原語表記】ＦＡＣＥＢＯＯＫ ＴＥＣＨＮＯＬＯＧＩＥＳ， ＬＬＣ

(74)【代理人】

【識別番号】110002974

【氏名又は名称】特許業務法人Ｗｏｒｌｄ ＩＰ

(72)【発明者】

【氏名】リッチ， ルカ

(72)【発明者】

【氏名】ワグナー， ダニエル

(72)【発明者】

【氏名】ホル， イエルン ディーデリク

(72)【発明者】

【氏名】ツィルナー， ヤコブ

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA09

5L096CA18

5L096CA27

5L096FA67

5L096FA69

5L096MA03

(57)【要約】

合成深度画像を生成するためのシステムおよび方法が開示されている。例示的な実装形態は、深度センサーによって、キャプチャ時間期間にわたって深度画像のセットをキャプチャし、慣性センサーによって、キャプチャ時間期間中の深度センサーの動きを特徴づける１つまたは複数の慣性パラメータの値を伝達する慣性信号を生成し、深度画像のセットのキャプチャ位置のうちの１つまたは複数に基づいてターゲットキャプチャ位置を選択し、キャプチャ時間期間中の１つまたは複数の慣性パラメータの値を使用して、再投影深度画像を生成し、複数の深度画像を組み合わせることによって合成深度画像を生成し得、そのような複数の深度画像は、第１の再投影深度画像と第２の再投影深度画像とを含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

合成深度画像を生成するように構成されたシステムであって、前記システムは、
キャプチャ時間期間にわたって深度画像のセットをキャプチャするように構成された深度センサーであって、深度画像の前記セットが、深度情報を含み、個々の前記深度画像の前記深度情報が、深度画像の前記セットのキャプチャ位置から、前記キャプチャ位置から見える表面までの距離を示し、深度画像の前記セットが、少なくとも、第１のキャプチャ位置から第１の時間においてキャプチャされた第１の深度画像と、前記第１のキャプチャ位置とは異なる第２のキャプチャ位置から第２の時間においてキャプチャされた第２の深度画像とを含む、深度センサーと、
前記キャプチャ時間期間中の前記深度センサーの動きを特徴づける１つまたは複数の慣性パラメータの値を伝達する慣性信号を生成するように構成された慣性センサーと、
深度画像の前記セットの前記キャプチャ位置のうちの１つまたは複数に基づいてターゲットキャプチャ位置を選択することと、
前記キャプチャ時間期間中の前記１つまたは複数の慣性パラメータの前記値を使用して、前記第１の深度画像が前記ターゲットキャプチャ位置からキャプチャされたかのように、前記第１の深度画像中に含まれる前記深度情報を表す第１の再投影深度画像を生成することと、
前記キャプチャ時間期間中の前記１つまたは複数の慣性パラメータの前記値を使用して、前記第２の深度画像が前記ターゲットキャプチャ位置からキャプチャされたかのように、前記第２の深度画像中に含まれる前記深度情報を表す第２の再投影深度画像を生成することと、
複数の深度画像を組み合わせることによって合成深度画像を生成することであって、そのような複数の深度画像が、前記第１の再投影深度画像と前記第２の再投影深度画像とを含む、合成深度画像を生成することと
を行うように機械可読命令によって構成されている、１つまたは複数のハードウェアプロセッサと
を備える、システム。

【請求項2】

深度画像の前記セットが、前記第１のキャプチャ位置および前記第２のキャプチャ位置とは異なる第３のキャプチャ位置から第３の時間においてキャプチャされた第３の深度画像をさらに含み、前記ターゲットキャプチャ位置が、前記第３のキャプチャ位置であり、前記合成深度画像を生成することが、前記第３の深度画像にさらに基づく、請求項１に記載のシステム。

【請求項3】

前記深度センサーに取り付けられたセンサーをさらに備え、前記センサーが、特定の位置を有し、前記ターゲットキャプチャ位置が、前記センサーの前記特定の位置である、請求項１に記載のシステム。

【請求項4】

前記１つまたは複数のハードウェアプロセッサが、
前記慣性信号に基づいて前記１つまたは複数の慣性パラメータを決定することであって、前記１つまたは複数の慣性パラメータが、前記第１の深度画像に対応する慣性パラメータの第１のセットと、前記第２の深度画像に対応する慣性パラメータの第２のセットとを含む、前記１つまたは複数の慣性パラメータを決定することと、
慣性値の前記第１のセットに基づいて、前記ターゲットキャプチャ位置における前記深度センサーの回転と、前記第１のキャプチャ位置における前記深度センサーの第１の回転との間の第１の回転変化を決定することと、
慣性値の前記第２のセットに基づいて、前記ターゲットキャプチャ位置における前記深度センサーの前記回転と、前記第２のキャプチャ位置における前記深度センサーの第２の回転との間の第２の回転変化を決定することと
を行うように機械可読命令によってさらに構成され、
前記第１の再投影深度画像の生成が、前記第１の回転変化に基づき、前記第２の再投影深度画像の生成が、前記第２の回転変化に基づく、請求項１に記載のシステム。

【請求項5】

前記１つまたは複数のハードウェアプロセッサが、
慣性パラメータの前記第１のセットに基づいて、前記ターゲットキャプチャ位置と前記第１のキャプチャ位置との間の第１の位置変化を決定することと、
慣性パラメータの前記第２のセットに基づいて、前記ターゲットキャプチャ位置と前記第２のキャプチャ位置との間の第２の位置変化を決定することと
を行うように機械可読命令によってさらに構成され、
前記第１の再投影深度画像の生成が、前記第１の位置変化にさらに基づき、前記第２の再投影深度画像の生成が、前記第２の位置変化にさらに基づく、請求項４に記載のシステム。

【請求項6】

前記慣性センサーが、ジャイロスコープを含み、前記１つまたは複数の慣性パラメータが、角速度を含む、請求項１に記載のシステム。

【請求項7】

前記慣性センサーが、加速度計をさらに含み、前記１つまたは複数の慣性パラメータが、加速度をさらに含む、請求項６に記載のシステム。

【請求項8】

前記慣性パラメータからの個々の値が、前記ターゲットキャプチャ位置に対応する、請求項１に記載のシステム。

【請求項9】

前記合成深度画像を生成することが、前記第１の深度画像からの空間中の特定の３次元ポイントに対応する深度情報を、空間中の同じ特定の３次元ポイントに対応する前記第２の深度画像からの深度情報と統合することを含む、請求項１に記載のシステム。

【請求項10】

前記深度情報を統合することが、複数の深度画像からの値の加重平均に基づく、請求項９に記載のシステム。

【請求項11】

複数の深度画像を組み合わせることによって前記合成深度画像を生成することが、空間中の特定の３次元ポイントに対応する中央値に基づき、前記中央値が、複数の深度画像に基づく、請求項２に記載のシステム。

【請求項12】

前記合成深度画像を生成することが、複数の深度画像からの値の周辺のガウシアンカーネルを決定することを含む、請求項２に記載のシステム。

【請求項13】

前記合成深度画像を生成することが、他の深度画像によってサポートされない個々の深度画像から前記深度情報をフィルタ処理して除くことを含む、請求項１に記載のシステム。

【請求項14】

ディスプレイを含む拡張現実デバイスをさらに備え、前記１つまたは複数のハードウェアプロセッサは、
ユーザが現実と画像とを同時に閲覧することができるように、前記ディスプレイ上で前記ユーザに前記画像を提示することであって、前記画像が、前記合成深度画像中に含まれる情報に少なくとも部分的に基づく、前記画像を提示すること
を行うように機械可読命令によってさらに構成されている、請求項１に記載のシステム。

【請求項15】

合成深度画像を生成するためのコンピュータ実装方法であって、前記方法は、機械可読命令によって構成された１つまたは複数のハードウェアプロセッサを含むコンピュータシステムにおいて実装され、前記方法は、
深度センサーによって、キャプチャ時間期間にわたって深度画像のセットをキャプチャすることであって、深度画像の前記セットが、深度情報を含み、個々の前記深度画像の前記深度情報が、深度画像の前記セットのキャプチャ位置から、前記キャプチャ位置から見える表面までの距離を示し、深度画像の前記セットが、少なくとも、第１のキャプチャ位置から第１の時間においてキャプチャされた第１の深度画像と、前記第１のキャプチャ位置とは異なる第２のキャプチャ位置から第２の時間においてキャプチャされた第２の深度画像とを含む、深度画像のセットをキャプチャすることと、
慣性センサーによって、前記キャプチャ時間期間中の前記深度センサーの動きを特徴づける１つまたは複数の慣性パラメータの値を伝達する慣性信号を生成することと、
深度画像の前記セットの前記キャプチャ位置のうちの１つまたは複数に基づいてターゲットキャプチャ位置を選択することと、
前記キャプチャ時間期間中の前記１つまたは複数の慣性パラメータの前記値を使用して、再投影深度画像を生成することであって、前記再投影深度画像が、第１の再投影深度画像と第２の再投影深度画像とを含み、前記第１の再投影深度画像は、前記第１の深度画像が前記ターゲットキャプチャ位置からキャプチャされたかのように、前記第１の深度画像中に含まれる前記深度情報を表し、前記第２の再投影深度画像は、前記第２の深度画像が前記ターゲットキャプチャ位置からキャプチャされたかのように、前記第２の深度画像中に含まれる前記深度情報を表す、再投影深度画像を生成することと、
複数の深度画像を組み合わせることによって合成深度画像を生成することであって、そのような複数の深度画像が、前記第１の再投影深度画像と前記第２の再投影深度画像とを含む、合成深度画像を生成することと
を含む、コンピュータ実装方法。

【請求項16】

前記慣性信号に基づいて前記１つまたは複数の慣性パラメータを決定することであって、
前記１つまたは複数の慣性パラメータが、前記第１の深度画像に対応する慣性パラメータの第１のセットと、前記第２の深度画像に対応する慣性パラメータの第２のセットとを含む、前記１つまたは複数の慣性パラメータを決定することと、
回転変化を決定することであって、前記回転変化が、第１の回転変化と第２の回転変化とを含み、前記ターゲットキャプチャ位置における前記深度センサーの回転と、前記第１のキャプチャ位置における前記深度センサーの第１の回転との間の前記第１の回転変化が、慣性値の前記第１のセットに基づき、前記ターゲットキャプチャ位置における前記深度センサーの前記回転と、前記第２のキャプチャ位置における前記深度センサーの第２の回転との間の前記第２の回転変化が、慣性値の前記第２のセットに基づく、回転変化を決定することと
をさらに含み、
前記第１の再投影深度画像を生成することが、前記第１の回転変化に基づき、前記第２の再投影深度画像を生成することが、前記第２の回転変化に基づく、請求項１５に記載の方法。

【請求項17】

位置変化を決定することであって、前記位置変化が、第１の位置変化と第２の位置変化とを含み、前記ターゲットキャプチャ位置と前記第１のキャプチャ位置との間の前記第１の位置変化が、慣性パラメータの前記第１のセットに基づき、前記ターゲットキャプチャ位置と前記第２のキャプチャ位置との間の前記第２の位置変化が、慣性パラメータの前記第２のセットに基づく、位置変化を決定すること
をさらに含み、
前記第１の再投影深度画像を生成することが、前記第１の位置変化にさらに基づき、前記第２の再投影深度画像を生成することが、前記第２の位置変化にさらに基づく、請求項１６に記載の方法。

【請求項18】

前記慣性センサーが、ジャイロスコープを含み、前記１つまたは複数の慣性パラメータが、角速度を含む、請求項１５に記載の方法。

【請求項19】

前記慣性センサーが、加速度計をさらに含み、前記１つまたは複数の慣性パラメータが、加速度をさらに含む、請求項１８に記載の方法。

【請求項20】

前記合成深度画像を生成することが、前記第１の深度画像からの空間中の特定の３次元ポイントに対応する深度情報を、空間中の同じ特定の３次元ポイントに対応する前記第２の深度画像からの深度情報と統合することを含む、請求項１５に記載の方法。

【請求項21】

深度画像の前記セットが、前記第１のキャプチャ位置および前記第２のキャプチャ位置とは異なる第３のキャプチャ位置から第３の時間においてキャプチャされた第３の深度画像をさらに含み、前記ターゲットキャプチャ位置が、前記第３のキャプチャ位置であり、前記合成深度画像を生成することが、前記第３の深度画像にさらに基づく、請求項１５に記載の方法。

【請求項22】

複数の深度画像を組み合わせることによって前記合成深度画像を生成することが、空間中の特定の３次元ポイントに対応する中央値に基づき、前記中央値が、複数の深度画像に基づく、請求項２１に記載の方法。

【請求項23】

前記合成深度画像を生成することが、他の深度画像によってサポートされない個々の深度画像から前記深度情報をフィルタ処理して除くことを含む、請求項２１に記載の方法。

【請求項24】

ユーザが現実と画像とを同時に閲覧することができるように、拡張現実デバイスのディスプレイ上で前記ユーザに前記画像を提示することであって、前記画像が、前記合成深度画像中に含まれる情報に少なくとも部分的に基づく、前記画像を提示すること
をさらに含む、請求項１１に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、合成深度画像（composite depth image）を生成するためのシステムおよび方法に関する。合成深度画像は複数の深度画像からの情報を含む。

【背景技術】

【0002】

深度センサーは知られている。深度センサーによってキャプチャされた深度画像は知られている。慣性センサー（inertial sensor）は知られている。（物体に結合された）慣性センサーからの信号に基づいて、物体が行った動きを決定することは知られている。

【発明の概要】

【0003】

本開示の一態様は、合成深度画像を生成するために構成されたシステムに関し、本方法は、機械可読命令によって構成された１つまたは複数のハードウェアプロセッサを含むコンピュータシステム中に実装される。本システムは、機械可読命令によって構成された１つまたは複数のハードウェアプロセッサを含み得る。本システムは、深度センサーによって、キャプチャ時間期間にわたって深度画像のセットをキャプチャするように構成され得る。深度画像のセットは深度情報を含み得る。個々の深度画像の深度情報は、深度画像のセットのキャプチャ位置から、キャプチャ位置から見える表面までの距離を示し得る。深度画像のセットは、少なくとも、第１のキャプチャ位置から第１の時間においてキャプチャされた第１の深度画像、第１のキャプチャ位置とは異なる第２のキャプチャ位置から第２の時間においてキャプチャされた第２の深度画像、および／または他の深度画像を含み得る。本システムは、慣性センサーによって、キャプチャ時間期間中の深度センサーの動きを特徴づける１つまたは複数の慣性パラメータの値を伝達する慣性信号を生成するように構成され得る。プロセッサは、深度画像のセットのキャプチャ位置のうちの１つまたは複数に基づいてターゲットキャプチャ位置を選択するように構成され得る。プロセッサは、キャプチャ時間期間中の１つまたは複数の慣性パラメータの値を使用して、再投影（re-projected）深度画像を生成するように構成され得る。再投影深度画像は、第１の再投影深度画像、第２の再投影深度画像、および／または他の再投影深度画像を含み得る。第１の再投影深度画像は、第１の深度画像がターゲットキャプチャ位置からキャプチャされたかのように、第１の深度画像中に含まれる深度情報を表し得る。第２の再投影深度画像は、第２の深度画像がターゲットキャプチャ位置からキャプチャされたかのように、第２の深度画像中に含まれる深度情報を表し得る。プロセッサは、複数の深度画像を組み合わせることによって合成深度画像を生成するように構成され得、そのような複数の深度画像は、第１の再投影深度画像、第２の再投影深度画像、および／または他の深度画像を含む。

【0004】

本開示の別の態様は、合成深度画像を生成するための方法に関し、本方法は、機械可読命令によって構成された１つまたは複数のハードウェアプロセッサを含むコンピュータシステム中に実装される。本方法は、深度センサーによって、キャプチャ時間期間にわたって深度画像のセットをキャプチャすることを含み得る。深度画像のセットは深度情報を含み得る。個々の深度画像の深度情報は、深度画像のセットのキャプチャ位置から、キャプチャ位置から見える表面までの距離を示し得る。深度画像のセットは、少なくとも、第１のキャプチャ位置から第１の時間においてキャプチャされた第１の深度画像、第１のキャプチャ位置とは異なる第２のキャプチャ位置から第２の時間においてキャプチャされた第２の深度画像、および／または他の深度画像を含み得る。本方法は、慣性センサーによって、キャプチャ時間期間中の深度センサーの動きを特徴づける１つまたは複数の慣性パラメータの値を伝達する慣性信号を生成することを含み得る。本方法は、深度画像のセットのキャプチャ位置のうちの１つまたは複数に基づいてターゲットキャプチャ位置を選択することを含み得る。本方法は、キャプチャ時間期間中の１つまたは複数の慣性パラメータの値を使用して、再投影深度画像を生成することを含み得る。再投影深度画像は、第１の再投影深度画像、第２の再投影深度画像、および／または他の再投影深度画像を含み得る。第１の再投影深度画像は、第１の深度画像がターゲットキャプチャ位置からキャプチャされたかのように、第１の深度画像中に含まれる深度情報を表し得る。第２の再投影深度画像は、第２の深度画像がターゲットキャプチャ位置からキャプチャされたかのように、第２の深度画像中に含まれる深度情報を表し得る。本方法は、複数の深度画像を組み合わせることによって合成深度画像を生成することを含み得、そのような複数の深度画像は、第１の再投影深度画像、第２の再投影深度画像、および／または他の深度画像を含む。

【0005】

本明細書で使用する際、システムの任意の部分と対話する、および／またはシステムの動作において役割を果たす、サーバ、プロセッサ、クライアント計算プラットフォーム、深度センサー、慣性センサー、深度画像、慣性信号、慣性パラメータ、キャプチャ位置、再投影深度画像、合成深度画像、回転変化、位置変化、角速度、加速度、中央値（median value）、および／または別のエンティティもしくは物体を伴ういかなる関連付け（または関係、または反映、または指示、または対応）も、１対１関連付け、１対多関連付け、多対１関連付け、および／または多対多関連付けもしくはＮ対Ｍ関連付け（ＮおよびＭは１よりも大きい異なる数であり得ることに留意されたい。）であり得る。

【0006】

本明細書で使用する際、「取得する」という用語（およびそれの派生語）は、能動的および／または受動的な取出し、決定、導出、伝達、アップロード、ダウンロード、サブミッション、および／もしくは情報の交換、ならびに／またはそれらの任意の組合せを含み得る。本明細書で使用する際、「実施する（effectuate）」という用語（およびそれの派生語）は、任意の効果（effect）の能動的および／または受動的な因果関係を含み得る。本明細書で使用する際、「決定する」という用語（およびそれの派生語）は、測定する、計算する、算出する、推定する、近似する、生成する、および／もしくは場合によっては導出する、ならびに／またはそれらの任意の組合せを含み得る。

【0007】

本技術のこれらのおよび他の特徴、および特性、ならびに構造の関係する要素の動作の方法および機能、および部品の組合せおよび製造の経済は、それらのすべてが本明細書の一部を形成する添付の図面を参照しながら、以下の説明および添付の特許請求の範囲を検討するとより明らかになるであろうし、同様の参照番号は様々な図中の対応する部分を指定する。しかしながら、図面は、例示および説明の目的のみのためであり、本発明の限定の定義として意図されないことが明確に理解されるべきである。本明細書および特許請求の範囲で使用する際、単数形の「ａ」、「ａｎ」、および「ｔｈｅ」は、文脈が別段に明確に規定しない限り、複数の指示対象を含む。

【図面の簡単な説明】

【0008】

【図1】１つまたは複数の実装形態による、合成深度画像を生成するために構成されたシステムを示す図である。

【図2】１つまたは複数の実装形態による、合成深度画像を生成するための方法のフローチャートを含む図である。

【図3A】１つまたは複数の実装形態による、合成深度画像を生成するために構成されたシステムの使用のための例示的なシナリオを示す図である。

【図3B】１つまたは複数の実装形態による、合成深度画像を生成するために構成されたシステムの使用のための例示的なシナリオを示す図である。

【図3C】１つまたは複数の実装形態による、合成深度画像を生成するために構成されたシステムの使用のための例示的なシナリオを示す図である。

【図4】１つまたは複数の実装形態による、合成深度画像を生成するために構成されたシステムの使用のための例示的なシナリオを示す図である。

【発明を実施するための形態】

【0009】

図１は、合成深度画像を生成するために構成されたシステム１００を示し、本方法は、１つまたは複数の実装形態による、機械可読命令によって構成された１つまたは複数のハードウェアプロセッサを含むコンピュータシステム中に実装される。いくつかの実装形態では、システム１００は、サーバ１０２、深度センサー１０８、センサー１０９、慣性センサー１１０、電子的ストレージ１２６、プロセッサ１２８、および／または他の構成要素のうちの１つまたは複数を含み得る。サーバ１０２は、クライアント／サーバアーキテクチャおよび／または他のアーキテクチャに従って１つまたは複数のクライアント計算プラットフォーム１０４と通信するように構成され得る。クライアント計算プラットフォーム１０４は、サーバ１０２を介して、ならびに／またはピアツーピアアーキテクチャおよび／もしくは他のアーキテクチャに従って、他のクライアント計算プラットフォームと通信するように構成され得る。ユーザはクライアント計算プラットフォーム１０４を介してシステム１００にアクセスし得る。いくつかの実装形態では、システム１００は拡張現実デバイス１０５を含み得る。

【0010】

深度センサー１０８は、深度画像をキャプチャするように構成され得る。いくつかの実装形態では、深度センサー１０８は、キャプチャ時間期間にわたっておよび／またはキャプチャレートで深度画像のセットをキャプチャするように構成され得る。深度センサー１０８は、深度画像をキャプチャしている間、移動していることがある。深度センサー１０８が移動する際に、深度センサー１０８はまた、たとえば３次元において回転し得る。個々の深度画像はキャプチャ位置においてまたはキャプチャ位置からキャプチャされ得る。いくつかの実装形態では、個々の深度画像は、特定の方位および／もしくは深度センサー１０８の回転において、または特定の方位および／もしくは深度センサー１０８の回転からキャプチャされ得る。キャプチャ位置は空間中の３次元ポイントであり得る。いくつかの実装形態では、キャプチャ位置は１つまたは複数の現実世界物体に関し得る。いくつかの実装形態では、キャプチャ位置は３次元座標によって反映され得る。いくつかの実装形態では、１つまたは複数のキャプチャされた物体は静止しているか、または少なくとも、その１つまたは複数のキャプチャされた物体がキャプチャ時間期間中に実質的に移動しないように、キャプチャ時間期間中に十分に静止していると仮定され得る。深度センサー１０８が移動する際に、異なる深度画像が、異なるキャプチャ位置および／または角度からキャプチャされ得る。深度画像のセットは深度情報および／または他の情報を含み得る。個々の深度画像の深度情報は、深度画像のセットのキャプチャ位置から、キャプチャ位置から見える（現実世界物体の）表面までの距離を示し得る。深度画像のセットは、第１のキャプチャ位置から第１の時間においてキャプチャされた第１の深度画像、第１のキャプチャ位置とは異なる第２のキャプチャ位置から第２の時間においてキャプチャされた第２の深度画像、第１のキャプチャ位置および第２のキャプチャ位置とは異なる第３のキャプチャ位置から第３の時間においてキャプチャされた第３の深度画像などのうちの１つまたは複数を含み得る。非限定的な例として、深度センサー１０８は、ＩＮＴＥＬ（商標）ＲＥＡＬＳＥＮＳＥ（商標）Ｒ２００など、コンシューマーグレード深度センサーであり得る。いくつかの実装形態では、個々の深度画像は、限定はしないが、消失した深度情報（たとえば、オクルージョン（occlusion）および／または反射による、たとえば画像中のホール）、雑音の多いデータ、アウトライアー（outlier）、および／または他の不正確さを含む、様々なタイプのエラーおよび／またはアーテファクトを含み得る。本開示で説明するように、複数の深度画像からの情報を組み合わせることによって、個々の深度画像よりも少ない不正確さおよび／または高い品質を有する合成深度画像が構築され得る。いくつかの実装形態では、個々の合成深度画像は、合成深度画像を構築するために使用された複数の深度画像よりも小さくなり得る（すなわち、より少ない記憶空間を取り得る）。そのような場合、合成深度画像を生成することは、深度画像の品質を改善することに加えて、データ圧縮として効果的に働き得る。

【0011】

慣性センサー１１０は、１つまたは複数の慣性パラメータの値を伝達する慣性信号を生成するように構成され得る。たとえば、慣性パラメータは慣性センサー１１０の動きに関し得る。いくつかの実装形態では、慣性センサー１１０は、深度センサー１０８、センサー１０９、および／またはシステム１００の別の構成要素に物理的に結合され得る。したがって、慣性センサー１１０からの情報は、慣性センサー１１０の動きだけでなく、深度センサー１０８、センサー１０９、および／またはシステム１００の別の構成要素の動きをも反映し得る。いくつかの実装形態では、慣性センサー１１０は、動きを特徴づける慣性パラメータの値を伝達する慣性信号を生成するように構成され得る。たとえば、動きは、慣性センサー１１０、深度センサー１０８、センサー１０９、および／またはシステム１００の別の構成要素の動きであり得る。いくつかの実装形態では、特徴づけられる動きは、特定の周期、たとえば、深度センサー１０８のキャプチャ時間期間、および／または別の時間期間に限定され得る。いくつかの実装形態では、慣性センサー１１０は、特定のレートで慣性信号を生成するように構成され得る。いくつかの実装形態では、慣性センサー１１０の生成のレートは深度センサー１０８のキャプチャレートよりも大きくなり得る。非限定的な例として、いくつかの実装形態では、慣性センサー１１０の生成のレートは深度センサー１０８のキャプチャレートよりも１０倍大きくなり得る。したがって、複数の慣性値は、深度センサー１０８による２つの後続の深度画像のキャプチャ間の時間中に慣性センサー１１０によって生成され得る。

【0012】

いくつかの実装形態では、慣性センサー１１０は慣性測定ユニット（ＩＭＵ）であり得る。いくつかの実装形態では、慣性センサー１１０はジャイロスコープを含み得る。いくつかの実装形態では、１つまたは複数の慣性パラメータは、角速度、および／または角速度に基づくもしくは関するパラメータを含み得る。代替的におよび／または同時に、いくつかの実装形態では、慣性センサー１１０は加速度計を含み得る。いくつかの実装形態では、１つまたは複数の慣性パラメータは、加速度、および／または加速度に基づくもしくは関するパラメータを含み得る。本明細書で使用する際、加速度は、２次元加速度、３次元加速度、角加速度、および／または他のタイプの加速度を含み得る。たとえば、いくつかの実装形態では、慣性パラメータは、ヨーレート、ロールレート、および／またはピッチレートのうちの１つまたは複数を含み得る。いくつかの実装形態では、慣性センサー１１０、深度センサー１０８、および／またはシステム１００の他の構成要素の間の相対位置および／または方位は、たとえば較正によって、別個におよび／または深度画像の再投影の前に決定され得る。たとえば、外部システムが、慣性センサー１１０によって、生成された出力信号からのバイアスを除去し得る。いくつかの実装形態では、そのような外部システムは、生成された出力信号をフィルタ処理するおよび／または別段に前処理するためにカルマンフィルタおよび／または他のフィルタを使用し得る。

【0013】

センサー１０９は、非限定的な例として、画像センサー、カメラ、および／または別のセンサーのうちの１つまたは複数を含み得る。いくつかの実装形態では、センサー１０９は、深度センサー１０８、慣性センサー１１０、および／またはシステム１００の別の構成要素に物理的に結合され得る。したがって、慣性センサー１１０からの情報は、慣性センサー１１０の動きだけでなく、センサー１０９の動きをも反映し得る。たとえば、他のセンサーは、高度計（たとえば、音響高度計、レーダー高度計、および／または他のタイプの高度計）、気圧計、磁力計、圧力センサー（たとえば、静圧センサー、動圧センサー、またはピトーセンサーなど）、サーモメータ、加速度計、ジャイロスコープ、慣性測定センサー、ジオロケーションセンサー、全地球測位システムセンサー、チルトセンサー、動きセンサー、振動センサー、離間センサー、超音波センサー、赤外線センサー、光センサー、マイクロフォン、対気速度センサー、対地速度センサー、高度センサー、自由度センサー（たとえば６－ＤＯＦおよび／または９－ＤＯＦセンサー）、コンパス、および／または他のセンサーを含み得る。本明細書で使用する際、「動きセンサー」という用語は、位置、ロケーション、距離、動き、移動、加速、ジャーク、がたつき（jounce）、および／または他の動きベースパラメータに関する情報を伝達する出力を生成するように構成された１つまたは複数のセンサーを含み得る。個々のセンサーによって生成された出力信号（および／またはそれらの出力信号に基づく情報）は、電子ファイル中に記憶され、および／または電子ファイル中で転送され得る。いくつかの実装形態では、個々のセンサーによって生成された出力信号（および／またはそれらの出力信号に基づく情報）はシステム１００の１つまたは複数の他の構成要素にストリーミングされ得る。

【0014】

前述のように、センサー１０９は、画像センサー、カメラ、および／または他のセンサーを含み得る。本明細書で使用する際、「カメラ」および／または「画像センサー」という用語は、限定はしないが、単レンズベースカメラ、カメラアレイ、ソリッドステートカメラ、機械式カメラ、デジタルカメラ、画像センサー、深度センサー、リモートセンサー、ライダー、赤外線センサー、（モノクローム）相補型金属酸化物半導体（ＣＭＯＳ）センサー、アクティブピクセルセンサー、および／または他のセンサーを含む、画像をキャプチャする任意のデバイスを含み得る。センサー１０９は、限定はしないが、視覚情報、ビデオ情報、オーディオ情報、ジオロケーション情報、方位および／もしくは動き情報、深度情報、ならびに／または他の情報を含む情報をキャプチャするように構成され得る。センサーによってキャプチャされた情報は、他のセンサーによってキャプチャされた情報が、その情報と同期させられ、整合させられ、注釈を付けられ、および／または別様に関連付けられ得るように、マーキングされ、タイムスタンプされ、注釈を付けられ、および／または別様に処理され得る。たとえば、画像センサーによってキャプチャされたビデオ情報は、加速度計、ＧＰＳユニット、および／または他のセンサーによってキャプチャされた情報と同期させられ得る。個々の画像センサーによって生成された出力信号（および／またはその出力信号に基づく情報）は、電子ファイル中に記憶され、および／または電子ファイル中で転送され得る。

【0015】

いくつかの実装形態では、キャプチャされた情報が、少なくとも最初に、一体化された組込みストレージ中に記憶され得るように、画像センサーが電子的ストレージと一体化され得る。たとえば、カメラは１つまたは複数の画像センサーと電子的記憶媒体とを含み得る。いくつかの実装形態では、画像センサーは、限定はしないが、たとえば「クラウド」による、リモート電子的記憶媒体を含む、システム１００の１つまたは複数の構成要素に、キャプチャされた情報を伝達するように構成され得る。

【0016】

システム１００および／またはサーバ１０２は機械可読命令１０６によって構成され得る。機械可読命令１０６は１つまたは複数の命令構成要素を含み得る。命令構成要素はコンピュータプログラム構成要素を含み得る。命令構成要素は、位置選択構成要素１１２、再投影構成要素１１４、合成構成要素１１６、パラメータ決定構成要素１１８、デルタ構成要素１２０、プレゼンテーション構成要素１２２、および／または他の命令構成要素のうちの１つまたは複数を含み得る。

【0017】

位置選択構成要素１１２は、ターゲットキャプチャ位置を選択するように構成され得る。いくつかの実装形態では、位置選択構成要素１１２は、深度画像のセットのキャプチャ位置のうちの１つまたは複数に基づいて選択を行うように構成され得る。深度画像のセットは、２つ、３つ、４つ、５つ、６つ、７つ、８つ、９つ、１０個、またはより多い深度画像を含み得る。たとえば、深度センサー１０８が２つの深度画像をキャプチャし得たいくつかの場合では、位置選択構成要素１１２は、ターゲットキャプチャ位置が両方の深度画像のキャプチャ位置の間にあるように、ターゲットキャプチャ位置を選択し得る。別の例として、深度センサー１０８が３つの深度画像をキャプチャし得たいくつかの場合では、位置選択構成要素１１２は、ターゲットキャプチャ位置が中央の深度画像のキャプチャ位置であるように、ターゲットキャプチャ位置を選択し得る。いくつかの実装形態では、ターゲットキャプチャは個々の深度画像のキャプチャ位置と一致し得る。いくつかの実装形態では、ターゲットキャプチャ画像は、深度画像のセットのキャプチャ位置とターゲットキャプチャ位置との間の合計距離が最小になるように選択され得る。

【0018】

非限定的な例として、図３Ａは、システム１００の使用のための例示的なシナリオ３１を示す。深度センサー１０８は、ｔ＝０、ｔ＝１、およびｔ＝２として標示されている３つの異なる時点において示されている。最初に、ｔ＝０において、深度センサー１０８は、図３Ａ中の矢印によって示されているように、深度画像が方向１０８ａにおいてキャプチャされるように配置される。この深度画像は、ｔ＝０における深度センサー１０８のキャプチャ位置から、キャプチャ位置から見える、物体３０を含む現実世界物体の表面までの距離を示す深度情報を含み得る。少し後に、ｔ＝１において、深度センサー１０８は、図３Ａ中の矢印によって示されているように、別の深度画像が今度は方向１０８ｂにおいてキャプチャされるように配置される。この深度画像は、ｔ＝１における深度センサー１０８のキャプチャ位置から、キャプチャ位置から見える、物体３０を含む現実世界物体の表面までの距離を示す深度情報を含み得る。少し後に、ｔ＝２において、深度センサー１０８は、図３Ａ中の矢印によって示されているように、別の深度画像が今度は方向１０８ｃにおいてキャプチャされるように配置される。この深度画像は、ｔ＝２における深度センサー１０８のキャプチャ位置から、キャプチャ位置から見える、物体３０を含む現実世界物体の表面までの距離を示す深度情報を含み得る。

【0019】

非限定的な例として、図３Ｂは、システム１００の使用のための例示的なシナリオ３２を示し、例示的なシナリオ３２は図３Ａの例示的なシナリオ３１に関する。図３Ｂにおいて、キャプチャ位置３３ａは、図３Ａに示されているように、ｔ＝０における深度センサー１０８のキャプチャ位置に対応し、キャプチャ位置３３ｂは、図３Ａに示されているように、ｔ＝１における深度センサー１０８のキャプチャ位置に対応し、キャプチャ位置３３ｃは、図３Ａに示されているように、ｔ＝２における深度センサー１０８のキャプチャ位置に対応する。図１中の位置選択構成要素１１２と同様の位置選択構成要素は、再投影深度画像を生成するために使用されるべきターゲットキャプチャ位置を選択し得る。場合によっては、選択されたターゲットキャプチャ位置は深度センサー１０８のキャプチャ位置のうちの１つと一致し得る。たとえば、選択されたターゲットキャプチャ位置はキャプチャ位置３３ｂであり得る。場合によっては、選択されたターゲットキャプチャ位置は深度センサー１０８のキャプチャ位置のうちの１つと一致しないことがある。たとえば、選択されたターゲットキャプチャ位置は、キャプチャ位置３３ａ－３３ｂ－３３ｃと一致しない位置３４であり得る。

【0020】

図１を参照すると、再投影構成要素１１４は、再投影深度画像を生成するように構成され得る。いくつかの実装形態では、再投影構成要素１１４は、特定の時間期間中の１つまたは複数の慣性パラメータの値を使用して、再投影深度画像を生成するように構成され得る。特定の時間期間は深度センサー１０８のキャプチャ時間期間であり得る。再投影深度画像は、第１の再投影深度画像、第２の再投影深度画像、第３の再投影画像などを含み得る。（特定のキャプチャ位置からキャプチャされる特定の深度画像に基づく）再投影深度画像は、特定の深度画像が、特定のキャプチャ位置とは異なるキャプチャ位置からキャプチャされたかのように、特定の深度画像中に含まれる深度情報を表し得る。特に、（特定のキャプチャ位置からキャプチャされる特定の深度画像に基づく）再投影深度画像は、特定の深度画像が、位置選択構成要素１１２によって選択されたターゲットキャプチャ位置からキャプチャされたかのように、特定の深度画像中に含まれる深度情報を表し得る。そのような再投影は、異なるキャプチャ位置間の深度センサー１０８の移動に基づき得る。たとえば、図３Ａおよび図３Ｂを参照し、（この段落中の例について）キャプチャ位置３３ｂがターゲットキャプチャ位置として選択されたと仮定すると、再投影構成要素１１４と同様の再投影構成要素は、キャプチャ位置３３ａからｔ＝０においてキャプチャされた深度画像についての第１の再投影深度画像と、キャプチャ位置３３ｃからｔ＝２においてキャプチャされた深度画像についての第２の再投影深度画像とを生成し得る。第１の再投影深度画像は、キャプチャ位置３３ａからｔ＝０においてキャプチャされる深度情報が、キャプチャ位置３３ｂにおいてターゲットキャプチャ位置からキャプチャされたかのように、この深度情報を表し得る。第２の再投影深度画像は、キャプチャ位置３３ｃからｔ＝２においてキャプチャされる深度情報が、キャプチャ位置３３ｂにおいてターゲットキャプチャ位置からキャプチャされたかのように、この深度情報を表し得る。いくつかの実装形態では、再投影深度画像はターゲットキャプチャ位置における深度画像と同じ座標系を有する。

【0021】

図１を参照すると、合成構成要素１１６は、複数の深度画像に基づいて合成深度画像を生成するように構成され得る。いくつかの実装形態では、合成構成要素１１６は、複数の深度画像を組み合わせることによって合成深度画像を生成するように構成され得る。複数の深度画像は、キャプチャされる１つまたは複数の深度画像、ならびに／または再投影構成要素１１４によって再投影されるおよび／もしくは生成される１つまたは複数の深度画像を含み得る。先行する段落における例を継続し、図３Ａおよび図３Ｂを参照することによって説明すると、特定の合成深度画像は、第１の再投影深度画像と、第２の再投影深度画像と、キャプチャ位置３３ｂからｔ＝１においてキャプチャされる深度画像とを組み合わせることに基づき得る。いくつかの実装形態では、選択されたターゲットキャプチャ位置がいかなる特定のキャプチャ位置とも一致しない場合、合成構成要素１１６は、再投影深度画像のみを組み合わせることによって合成深度画像を生成するように構成され得る。

【0022】

いくつかの実装形態では、特定の合成深度画像の個々のピクセルは、複数の深度画像の同じ座標における個々のピクセルを統合することによって生成され、および／または構築され得る。たとえば、特定の合成深度画像の特定の個々のピクセルは、第１の再投影深度画像と、第２の再投影深度画像と、キャプチャ位置３３ｂからｔ＝１においてキャプチャされる深度画像との同じピクセルの値を平均化することによって構築され得る。いくつかの実装形態では、特定の合成深度画像の特定の個々のピクセルは、第１の再投影深度画像と、第２の再投影深度画像と、キャプチャ位置３３ｂからｔ＝１においてキャプチャされる深度画像との同じピクセルの値の中央値を決定することによって構築され得る。

【0023】

いくつかの実装形態では、特定の合成深度画像の空間中の個々の３次元座標またはポイントは、複数の深度画像の空間中の個々の３次元座標またはポイントを統合することによって生成され、および／または構築され得る。たとえば、特定の合成深度画像の空間中の特定の個々のポイントは、第１の再投影深度画像と、第２の再投影深度画像と、キャプチャ位置３３ｂからｔ＝１においてキャプチャされる深度画像とについての空間中の同じポイントの値を平均化することによって構築され得る。いくつかの実装形態では、特定の合成深度画像の空間中の特定の個々のポイントは、第１の再投影深度画像と、第２の再投影深度画像と、キャプチャ位置３３ｂからｔ＝１においてキャプチャされる深度画像との空間中の同じポイントの値の中央値を決定することによって構築され得る。

【0024】

いくつかの実装形態では、合成深度画像を生成することは、特定の座標についての中央値を統合し、平均化し、および／または取ることの前にアウトライアー値を除去することによって実行され得る。たとえば、合成深度画像を生成することは、他の深度画像によってサポートされない個々の深度画像から（特定のピクセルまたは座標についての）深度情報をフィルタ処理して除くことを含み得る。たとえば、空間中の特定のポイントが１つの深度画像中にのみ存在する場合、その特定のポイントはキャプチャ中の不正確さを表す可能性があるので、その特定のポイントは、合成深度画像を生成するときに無視され得る。いくつかの実装形態では、合成深度画像を生成することは、ガウシアンカーネルを使用して、複数の（再投影）深度画像からの値を平均化することを含み得る。

【0025】

非限定的な例として、図４は、システム１００の使用のための例示的なシナリオ４０を示す。経路４１は（図示されていない）深度センサーの時間における移動を表す。経路４１に沿って、様々なキャプチャ位置は、位置４２ａ、位置４２ｂ、位置４２ｃ、位置４２ｄ、位置４２ｅ、および位置４２ｆにおいて深度画像がキャプチャされた位置を表す。６つのキャプチャ位置の使用は例示的であり、いかなる形でも限定的なものではない。これらのキャプチャ位置のいずれか１つがターゲットキャプチャ位置として選択され得る。いくつかの実装形態では、経路４１の一部でもなく、経路４１上に位置決めされることもないターゲットキャプチャ位置４３が選択され得る。システム１００は、位置４２ａ－４２ｂ－４２ｃ－４２ｄ－４２ｅ－４２ｆにおけるキャプチャされた深度画像の複数についてそのような場合において再投影深度画像を生成するように構成され得る。再投影深度画像の各々は個々のピクセルおよび／または個々の座標についての個々の深度値を有し得る。いくつかの実装形態では、各ピクセルについての複数の値が、合成深度画像を構築するために平均化され得る。いくつかの実装形態では、各ピクセルについての複数の値の中央値が、合成深度画像を構築するために使用され得る。いくつかの実装形態では、各ピクセルについての複数の値の間のアウトライアー値が廃棄され得、残っている値が平均化され得るか、または中央値が決定され得る。いくつかの実装形態では、（異なる位置からの値が、合成深度画像を構築する際に異なる重みまたは重要度を有するように）各ピクセルについての複数の値を平均化するために加重平均が使用され得る。たとえば、いくつかの実装形態では、重みまたは重要度についての係数はキャプチャ位置とターゲットキャプチャ位置との間の距離に基づき得る。

【0026】

図１を参照すると、パラメータ決定構成要素１１８は、慣性信号に基づいて１つまたは複数の慣性パラメータを決定するように構成され得る。いくつかの実装形態では、パラメータ決定構成要素１１８は、キャプチャされる個々の深度画像に対応する慣性パラメータのセットを決定し得る。たとえば、慣性パラメータの第１のセットは第１の深度画像に対応し得、慣性パラメータの第２のセットは第２の深度画像に対応し得、慣性パラメータの第３のセットは第３の深度画像に対応し得るなど。非限定的な例として、いくつかの実装形態では、慣性信号は慣性センサー１１０の角速度についての値を伝達し得る。個々の深度画像は角速度についての複数の値に関し得る。深度センサー１０８と慣性センサー１１０との間の動作の相対レートに応じて、個々の深度画像は、角速度についての５、１０、１５、２０、またはより大きい値に関し得る。いくつかの実装形態では、パラメータ決定構成要素１１８は、同じタイプのパラメータについての複数の値を決定するように構成され得る。代替的におよび／または同時に、いくつかの実装形態では、パラメータ決定構成要素１１８は、たとえば積分によって、特定のパラメータについての複数の値を組み合わせて異なるパラメータにするように構成され得る。いくつかの実装形態では、パラメータ決定構成要素１１８は、個々の深度画像に対応する特定のパラメータを決定するためにストラップダウン積分（strap down integration）（ＳＤＩ）を使用するように構成され得る。非限定的な例として、いくつかの実装形態では、慣性信号は慣性センサー１１０の直線加速度についての値を伝達し得る。個々の深度画像は直線加速度についての複数の値に関し得る。

【0027】

デルタ構成要素１２０は、（異なる時間における）同じパラメータの決定間の変化を決定するように構成され得る。いくつかの実装形態では、デルタ構成要素１２０は、限定はしないが、慣性センサー１１０および／または深度センサー１０８の回転の変化を含む、回転変化を決定するように構成され得る。いくつかの実装形態では、デルタ構成要素１２０は、限定はしないが、慣性センサー１１０および／または深度センサー１０８の位置の変化を含む、位置変化を決定するように構成され得る。デルタ構成要素１２０による決定は、パラメータ決定構成要素１１８からの結果、慣性センサー１１０によって生成された慣性信号、および／または他の情報に基づき得る。たとえば、回転変化は、（第１の時点および／または位置における）第１の回転と、（第２の時点および／または位置における）第２の回転とに基づき得る。たとえば、位置変化は、（第１の時点における）第１の位置と、（第２の時点における）第２の位置とに基づき得る。いくつかの実装形態では、デルタ構成要素１２０は、ターゲットキャプチャ位置、および／またはターゲットキャプチャ位置における回転に対する変化を決定するように構成され得る。いくつかの実装形態では、合成構成要素１１６は、回転変化および／または位置変化のうちの１つまたは複数に基づいて再投影深度画像を生成するように構成され得る。たとえば、第１の再投影深度画像は第１の回転変化に基づき得、第２の再投影深度画像は第２の回転変化に基づき得るなど。

【0028】

非限定的な例として、図３Ｃは、システム１００の使用のための例示的なシナリオ３５を示し、例示的なシナリオ３５は図３Ａの例示的なシナリオ３１と図３Ｂの例示的なシナリオ３２とに関する。図３Ｃにおいて、キャプチャ位置３３ａは、図３Ａに示されているように、ｔ＝０における深度センサー１０８のキャプチャ位置に対応し、キャプチャ位置３３ｂは、図３Ａに示されているように、ｔ＝１における深度センサー１０８のキャプチャ位置に対応し、キャプチャ位置３３ｃは、図３Ａに示されているように、ｔ＝２における深度センサー１０８のキャプチャ位置に対応する。この段落中の例について、キャプチャ位置３３ｂはターゲットキャプチャ位置として選択されていると仮定する。図１におけるデルタ構成要素１２０と同様のデルタ構成要素は、キャプチャ位置３３ａとキャプチャ位置３３ｂとの間の第１の位置変化３６ａを決定し得る。さらに、デルタ構成要素はキャプチャ位置３３ｂとキャプチャ位置３３ｃとの間の第２の位置変化３６ｂを決定し得る。たとえば、第１の再投影深度画像の生成は第１の位置変化３６ａに基づき得、第２の再投影深度画像の生成は第２の位置変化３６ｂに基づき得るなど。

【0029】

図１を参照すると、プレゼンテーション構成要素１２２は、拡張現実デバイス１０５のディスプレイ上でユーザに画像を提示するように構成され得る。いくつかの実装形態では、ユーザが現実と画像とを同時に閲覧することができるように、ユーザに画像が提示され得る。画像は、１つまたは複数の合成深度画像中に含まれる情報に少なくとも部分的に基づき得る。

【0030】

いくつかの実装形態では、サーバ１０２、クライアント計算プラットフォーム１０４、および／または外部リソース１２４は、１つまたは複数の電子通信リンクを介して動作可能にリンクされ得る。たとえば、そのような電子通信リンクは、インターネットおよび／または他のネットワークなどのネットワークを介して少なくとも部分的に確立され得る。このことは限定的なものではないこと、ならびに本開示の範囲は、サーバ１０２、クライアント計算プラットフォーム１０４、および／または外部リソース１２４がいくつかの他の通信媒体を介して動作可能にリンクされ得る実装形態を含むことが諒解されよう。

【0031】

所与のクライアント計算プラットフォーム１０４は、コンピュータプログラム構成要素を実行するように構成された１つまたは複数のプロセッサを含み得る。コンピュータプログラム構成要素は、所与のクライアント計算プラットフォーム１０４に関連するエキスパートまたはユーザが、システム１００および／もしくは外部リソース１２４とインターフェース接続する、および／または本明細書ではクライアント計算プラットフォーム１０４に帰せられる他の機能を与えることを可能にするように構成され得る。非限定的な例として、所与のクライアント計算プラットフォーム１０４は、デスクトップコンピュータ、ラップトップコンピュータ、ハンドヘルドコンピュータ、タブレット計算プラットフォーム、ネットブック、スマートフォン、ゲーミングコンソール、拡張現実デバイス、および／または他の計算プラットフォームのうちの１つまたは複数を含み得る。

【0032】

外部リソース１２４は、システム１００の外部の情報のソース、システム１００を用いて参加している外部エンティティ、および／または他のリソースを含み得る。いくつかの実装形態では、本明細書では外部リソース１２４に帰せられる機能のうちのいくつかまたはすべてが、システム１００中に含まれるリソースによって与えられ得る。

【0033】

サーバ１０２は、電子的ストレージ１２６、１つまたは複数のプロセッサ１２８、および／または他の構成要素を含み得る。サーバ１０２は、ネットワークおよび／または他の計算プラットフォームとの情報の交換を可能にするための通信回線またはポートを含み得る。図１中のサーバ１０２の例は限定的なものではない。サーバ１０２は、本明細書でサーバ１０２に帰せられる機能を与えるために一緒に動作する複数のハードウェア、ソフトウェア、および／またはファームウェア構成要素を含み得る。たとえば、サーバ１０２は、サーバ１０２として一緒に動作する計算プラットフォームのクラウドによって実装され得る。

【0034】

電子的ストレージ１２６は、情報を電子的に記憶する非一時的記憶媒体を備え得る。電子的ストレージ１２６の電子的記憶媒体は、サーバ１０２と一体に（すなわち実質的に取外し不可能に）与えられるシステムストレージ、および／または、たとえば、ポート（たとえば、ＵＳＢポート、ファイアワイヤポート（firewire port）など）もしくはドライブ（たとえばディスクドライブなど）を介してサーバ１０２に取外し可能に接続可能なリムーバブルストレージのうちの一方または両方を含み得る。電子的ストレージ１２６は、光可読記憶媒体（たとえば光ディスクなど）、磁気可読記憶媒体（たとえば、磁気テープ、磁気ハードドライブ、フロッピードライブなど）、電荷ベース記憶媒体（たとえば、ＥＥＰＲＯＭ、ＲＡＭなど）、ソリッドステート記憶媒体（たとえばフラッシュドライブなど）、および／または他の電子的に読取り可能な記憶媒体のうちの１つまたは複数を含み得る。電子的ストレージ１２６は、１つまたは複数の仮想記憶リソース（たとえば、クラウドストレージ、仮想プライベートネットワーク、および／または他の仮想記憶リソース）を含み得る。電子的ストレージ１２６は、ソフトウェアアルゴリズム、プロセッサ１２８によって決定された情報、サーバ１０２から受信された情報、クライアント計算プラットフォーム１０４から受信された情報、および／またはサーバ１０２が本明細書で説明するように機能することを可能にする他の情報を記憶し得る。

【0035】

プロセッサ１２８は、サーバ１０２における情報処理能力を与えるように構成され得る。したがって、プロセッサ１２８は、デジタルプロセッサ、アナログプロセッサ、情報を処理するように設計されたデジタル回路、情報を処理するように設計されたアナログ回路、状態機械、および／または情報を電子的に処理するための他の機構のうちの１つまたは複数を含み得る。プロセッサ１２８は単一のエンティティとして図１に示されているが、このことは説明の目的にすぎない。いくつかの実装形態では、プロセッサ１２８は複数の処理ユニットを含み得る。これらの処理ユニットは同じデバイス内に物理的に位置し得るか、またはプロセッサ１２８は、協調して動作する複数のデバイスの処理機能を表し得る。プロセッサ１２８は、構成要素１１２、１１４、１１６、１１８、１２０、および／もしくは１２２、ならびに／または他の構成要素を実行するように構成され得る。プロセッサ１２８は、ソフトウェア、ハードウェア、ファームウェア、ソフトウェア、ハードウェア、および／もしくはファームウェアのいくつかの組合せ、ならびに／またはプロセッサ１２８上の処理能力を構成するための他の機構によって、構成要素１１２、１１４、１１６、１１８、１２０、および／もしくは１２２、ならびに／または他の構成要素を実行するように構成され得る。本明細書で使用する際、「構成要素」という用語は、構成要素に帰せられる機能を実行する任意の構成要素、または構成要素のセットを指し得る。このことは、プロセッサ可読命令の実行中の１つまたは複数のハードウェアプロセッサ、プロセッサ可読命令、回路、ハードウェア、記憶媒体、または任意の他の構成要素を含み得る。

【0036】

構成要素１１２、１１４、１１６、１１８、１２０、および／または１２２は、プロセッサ１２８が複数の処理ユニットを含む実装形態において単一の処理ユニット内で実装されるものとして図１に示されているが、構成要素１１２、１１４、１１６、１１８、１２０、および／または１２２のうちの１つまたは複数は他の構成要素からリモートで実装され得ることを諒解されたい。構成要素１１２、１１４、１１６、１１８、１２０、および／または１２２のいずれかは、説明されたよりも多いまたは少ない機能を与え得るので、以下で説明する異なる構成要素１１２、１１４、１１６、１１８、１２０、および／または１２２によって与えられる機能の説明は例示の目的であり、限定的なものではない。たとえば、構成要素１１２、１１４、１１６、１１８、１２０、および／または１２２のうちの１つまたは複数はなくされ得、それの機能のうちのいくつかまたはすべてが、構成要素１１２、１１４、１１６、１１８、１２０、および／または１２２のうちの他の構成要素によって与えられ得る。別の例として、プロセッサ１２８は、構成要素１１２、１１４、１１６、１１８、１２０、および／または１２２のうちの１つに以下で帰せられる機能のうちのいくつかまたはすべてを実行し得る１つまたは複数の追加の構成要素を実行するように構成され得る。

【0037】

図２は、合成深度画像を生成するための方法２００を示し、本方法は、１つまたは複数の実装形態による、機械可読命令によって構成された１つまたは複数のハードウェアプロセッサを含むコンピュータシステム中で実装される。以下で提示される方法２００の動作は例示的なものである。いくつかの実装形態では、方法２００は、説明されない１つまたは複数の追加の動作を用いて、および／または説明された動作のうちの１つまたは複数用いずに達成され得る。さらに、方法２００の動作が図２に示され、以下で説明されている順序は限定的なものではない。

【0038】

いくつかの実装形態では、方法２００は、１つまたは複数の処理デバイス（たとえば、デジタルプロセッサ、アナログプロセッサ、情報を処理するように設計されたデジタル回路、情報を処理するように設計されたアナログ回路、状態機械、および／または情報を電子的に処理するための他の機構）中で実装され得る。１つまたは複数の処理デバイスは、電子記憶媒体上に電子的に記憶された命令に応答して、方法２００の動作のうちのいくつかまたはすべてを実行する１つまたは複数のデバイスを含み得る。１つまたは複数の処理デバイスは、方法２００の動作のうちの１つまたは複数の実行のために特に設計されるべきハードウェア、ファームウェア、および／またはソフトウェアによって構成された１つまたは複数のデバイスを含み得る。

【0039】

動作２０２は、キャプチャ時間期間にわたって深度画像のセットをキャプチャすることを含み得る。深度画像のセットは深度情報を含み得る。個々の深度画像の深度情報は、深度画像のセットのキャプチャ位置から、キャプチャ位置から見える表面までの距離を示し得る。深度画像のセットは、少なくとも、第１のキャプチャ位置から第１の時間においてキャプチャされた第１の深度画像と、第１のキャプチャ位置とは異なる第２のキャプチャ位置から第２の時間においてキャプチャされた第２の深度画像とを含み得る。動作２０２は、１つまたは複数の実装形態による深度センサー１０８と同じまたは同様である深度センサーによって実行され得る。

【0040】

動作２０４は、キャプチャ時間期間中の深度センサーの動きを特徴づける１つまたは複数の慣性パラメータの値を伝達する慣性信号を生成することを含み得る。動作２０４は、１つまたは複数の実装形態による慣性センサー１１０と同じまたは同様である慣性センサーによって実行され得る。

【0041】

動作２０６は、深度画像のセットのキャプチャ位置のうちの１つまたは複数に基づいてターゲットキャプチャ位置を選択することを含み得る。動作２０６は、１つまたは複数の実装形態による位置選択構成要素１１２と同じまたは同様である構成要素を含む、機械可読命令によって構成された１つまたは複数のハードウェアプロセッサによって実行され得る。

【0042】

動作２０８は、キャプチャ時間期間中の１つまたは複数の慣性パラメータの値を使用して、再投影深度画像を生成することを含み得る。再投影深度画像は第１の再投影深度画像と第２の再投影深度画像とを含み得る。第１の再投影深度画像は、第１の深度画像がターゲットキャプチャ位置からキャプチャされたかのように、第１の深度画像中に含まれる深度情報を表し得る。第２の再投影深度画像は、第２の深度画像がターゲットキャプチャ位置からキャプチャされたかのように、第２の深度画像中に含まれる深度情報を表し得る。動作２０８は、１つまたは複数の実装形態による再投影構成要素１１４と同じまたは同様である構成要素を含む、機械可読命令によって構成された１つまたは複数のハードウェアプロセッサによって実行され得る。

【0043】

動作２１０は、複数の深度画像を組み合わせることによって合成深度画像を生成することを含み得、そのような複数の深度画像は第１の再投影深度画像と第２の再投影深度画像とを含む。動作２１０は、１つまたは複数の実装形態による深度画像構成要素１１６と同じまたは同様である構成要素を含む、機械可読命令によって構成された１つまたは複数のハードウェアプロセッサによって実行され得る。

【0044】

現在最も実際的で好ましい実装形態であると考えられるものに基づいて、例示の目的で本技術について詳細に説明したが、そのような詳細はその目的のみのためであること、および本技術は、開示された実装形態に限定されず、むしろ反対に、添付の特許請求の範囲の趣旨および範囲内である変更形態および均等な構成をカバーするものであることを理解されたい。たとえば、本技術は、可能な程度まで、任意の実装形態の１つまたは複数の特徴が任意の他の実装形態の１つまたは複数の特徴と組み合わせられ得ることを企図することを理解されたい。

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図4】

【国際調査報告】