特許 7076368 レンジゲート式デプスカメラ部品

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-05-19

(45)【発行日】2022-05-27

(54)【発明の名称】レンジゲート式デプスカメラ部品

(51)【国際特許分類】

   H04N 13/254 20180101AFI20220520BHJP

   H04N 13/271 20180101ALI20220520BHJP

   H04N 13/296 20180101ALI20220520BHJP

   H04N 13/344 20180101ALI20220520BHJP

   G01S 17/894 20200101ALI20220520BHJP

   G01C 3/06 20060101ALI20220520BHJP

【ＦＩ】

H04N13/254

H04N13/271

H04N13/296

H04N13/344

G01S17/894

G01C3/06 140

G01C3/06 120Q

【請求項の数】 20

(21)【出願番号】P 2018527936

(86)(22)【出願日】2016-12-09

(65)【公表番号】

(43)【公表日】2019-03-07

(86)【国際出願番号】 US2016065985

(87)【国際公開番号】W WO2017106053

(87)【国際公開日】2017-06-22

【審査請求日】2019-11-06

(31)【優先権主張番号】62/268,488

(32)【優先日】2015-12-16

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】15/372,779

(32)【優先日】2016-12-08

(33)【優先権主張国・地域又は機関】US

【前置審査】

(73)【特許権者】

【識別番号】515046968

【氏名又は名称】フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニー

【氏名又は名称原語表記】ＦＡＣＥＢＯＯＫ ＴＥＣＨＮＯＬＯＧＩＥＳ， ＬＬＣ

(74)【代理人】

【識別番号】110002974

【氏名又は名称】特許業務法人Ｗｏｒｌｄ ＩＰ

(72)【発明者】

【氏名】トレイル、ニコラス ダニエル

【審査官】益戸 宏

(56)【参考文献】

【文献】特開２０００－０５５６３２（ＪＰ，Ａ）

【文献】特開平０７－１１０３８１（ＪＰ，Ａ）

【文献】特表２０１５－５２７７６１（ＪＰ，Ａ）

【文献】特開２０１５－１２５６４１（ＪＰ，Ａ）

【文献】国際公開第２０１４／１５０７２８（ＷＯ，Ａ１）

【文献】特開２００４－１５２１３３（ＪＰ，Ａ）

【文献】特開２０１０－００８０９３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １３／００

Ｈ０４Ｎ ５／６６

Ｈ０４Ｎ ５／２２５

Ｇ０１Ｓ １７／００

Ｇ０１Ｃ ３／００

Ｇ０１Ｂ １１／２４

Ｇ０６Ｔ １９／００

(57)【特許請求の範囲】

【請求項1】

レンジゲート式デプスカメラ部品であって、
照明光パルスを放射するように構成された照明源と、
局所領域の複数の画像を捕捉することにより画像データを生成するように構成された撮像装置と、
コントローラと、を備え、前記コントローラは、
前記複数の画像のうちの画像のコントラスト測定値がコントラスト閾値未満であるとの決定に応答して、前記照明光パルスの振幅および量を少なくとも含む１つまたは複数の照明パラメータを調整し、
前記１つまたは複数の照明パラメータに従って、複数の照明光パルスを放射して前記局所領域のシーンを照明するように前記照明源を調整し、前記局所領域は、少なくとも１つの非空の深度ゾーンを含む複数の深度ゾーンに分割され、前記非空の深度ゾーンは、少なくとも１つの対象物を含み、
前記複数の深度ゾーンの各非空の深度ゾーンに対して、一組の反射光パルスを記録して前記非空の深度ゾーンの画像データを生成するように前記撮像装置を調整し、前記一組の反射光パルスは、前記非空の深度ゾーンに含まれる１つまたは複数の対象物から反射された前記照明光パルスであり、
複数の非空の深度ゾーンのうちの前記少なくとも１つの非空の深度ゾーンに対して生成された前記画像データを使用して、前記シーンの１つまたは複数の部分的に拡張された画像を生成し、前記１つまたは複数の部分的に拡張された画像のうちの少なくとも１つは、前記少なくとも１つの対象物についての深度情報を含み、
前記シーンの前記１つまたは複数の部分的に拡張された画像をコンソールに提供する
ように構成されており、
前記１つまたは複数の部分的に拡張された画像は、ユーザに提示するための仮想コンテンツを生成するために使用される、レンジゲート式デプスカメラ部品。

【請求項2】

前記深度ゾーンの第１の深度ゾーンに対する第１の露光期間は、前記深度ゾーンの第２の深度ゾーンに対する第２の露光期間とは異なり、前記第１の深度ゾーンは、前記第２の深度ゾーンとは異なる、請求項１に記載のレンジゲート式デプスカメラ部品。

【請求項3】

前記シーンの前記１つまたは複数の部分的に拡張された画像を生成することは、深度ゾーンの画像データを当該深度ゾーンの深度情報に関連付けることを含む、請求項１に記載のレンジゲート式デプスカメラ部品。

【請求項4】

前記コントローラは、さらに
前記撮像装置から前記深度ゾーンのうちの１つの深度ゾーンまでの距離、および前記複数の画像のうちの前記画像の品質のうちの１つに少なくとも基づいて前記１つまたは複数の照明パラメータを調整するように構成されている、請求項１に記載のレンジゲート式デプスカメラ部品。

【請求項5】

前記コントローラは、さらに
対象物の反射率、対象物の動きの速度、対象物の前記撮像装置からの距離、前記画像のノイズ測定値、および前記画像の信号対雑音比（ＳＮＲ）のうちの少なくとも１つに基づいて前記１つまたは複数の照明パラメータを調整するように構成されており、前記１つまたは複数の照明パラメータは、前記照明光パルスのパルス幅、振幅、周波数、量、および波長のうちの少なくとも１つを含む、請求項１に記載のレンジゲート式デプスカメラ部品。

【請求項6】

前記コントローラは、１つまたは複数の露光パラメータに従って前記撮像装置を調整するようにさらに構成され、前記コントローラは、さらに
前記照明源の前記１つまたは複数の照明パラメータおよび前記深度ゾーンの特性に少なくとも基づいて、更新された１つまたは複数の露光パラメータを決定し、
前記更新された１つまたは複数の露光パラメータに従って前記１つまたは複数の露光パラメータを調整するように構成され、前記１つまたは複数の露光パラメータは、露光期間、前記露光期間の開始時間、読み出しフレームごとの繰り返し回数、および読み出しフレームごとの繰り返しカウント値のうちの少なくとも１つを含む、請求項１に記載のレンジゲート式デプスカメラ部品。

【請求項7】

前記コントローラはさらに
前記局所領域を前記複数の深度ゾーンに分割し、前記複数の深度ゾーンの数が予め定められており、
前記複数の深度ゾーンの各非空の深度ゾーンに対して、前記撮像装置からの所定の距離範囲内に１つまたは複数の対象物を特定して前記１つまたは複数の対象物を識別するように構成されている、請求項１に記載のレンジゲート式デプスカメラ部品。

【請求項8】

前記コントローラはさらに
前記複数の深度ゾーンを生成するように構成され、前記複数の深度ゾーンを生成することは、
前記局所領域を第２の複数の所定の深度ゾーンに分割すること、各所定の深度ゾーンの寸法は予め定められており、
複数の空の深度ゾーンを識別すること、前記複数の空の深度ゾーンは、対象物を含まない前記第２の複数の所定の深度ゾーンの一部であり、
識別された前記複数の空の深度ゾーンのうちの互いに隣接する２つを、単一の空の深度ゾーンに結合することを含む、請求項１に記載のレンジゲート式デプスカメラ部品。

【請求項9】

前記コントローラはさらに
前記複数の深度ゾーンを生成するように構成され、前記複数の深度ゾーンを生成することは、
前記局所領域を第１の組の深度ゾーンのセットに分割すること、
一組の非空の深度ゾーンを識別すること、前記一組の非空の深度ゾーンは、少なくとも１つの対象物を含む前記第１の組の深度ゾーンの一部であり、
各非空の深度ゾーンに対して、当該非空の深度ゾーンを第２の組の深度ゾーンに分割することを含み、前記第２の組の深度ゾーンの各深度ゾーンの寸法は閾値寸法より大きい、請求項１に記載のレンジゲート式デプスカメラ部品。

【請求項10】

前記コントローラはさらに
前記複数の深度ゾーンの各深度ゾーンに対して、
当該深度ゾーンの第１の境界を第１の対象物の第１の位置に調整し、前記第１の対象物は、前記深度ゾーンに含まれる１つまたは複数の対象物の中で前記撮像装置までの最短距離を有し、
当該深度ゾーンの第２の境界を第２の対象物の第２の位置に調整するように構成され、前記第２の対象物は、前記深度ゾーンに含まれる１つまたは複数の対象物の中で前記撮像装置までの最長距離を有する、請求項１に記載のレンジゲート式デプスカメラ部品。

【請求項11】

前記コントローラはさらに
深度ゾーンを監視するように構成され、深度ゾーンを監視することは、
深度ゾーンに含まれる対象物の動きを検出すること、
前記対象物の動きを検出することに応答して、前記対象物から前記撮像装置までの更新された距離を決定すること、
前記更新された距離に基づいて前記複数の深度ゾーンを調整することによって第２の複数の調整された深度ゾーンを生成することを含み、前記複数の深度ゾーンを調整することは、前記複数の深度ゾーンのうちのある深度ゾーンの境界を調整すること、前記更新された距離が第１の所定の範囲内であると判定することに応答して新規の深度ゾーンを形成すること、および前記更新された距離が第２の所定の範囲外であると判定することに応答して、既存の深度ゾーンを除去することのうちの少なくとも１つを含む、請求項１に記載のレンジゲート式デプスカメラ部品。

【請求項12】

ＨＭＤ（ヘッドマウントディスプレイ）であって、
電子ディスプレイと、
レンジゲート式デプスカメラ部品であって、
照明光パルスを放射するように構成された照明源と、
局所領域の複数の画像を捕捉することにより画像データを生成するように構成された撮像装置と、
コントローラと、を含む前記レンジゲート式デプスカメラ部品と、を備え、前記コントローラは、
前記複数の画像のうちの画像のコントラスト測定値がコントラスト閾値未満であるとの決定に応答して、前記照明光パルスの振幅および量を少なくとも含む１つまたは複数の照明パラメータを調整し、
前記１つまたは複数の照明パラメータに従って、複数の照明光パルスを放射して前記局所領域のシーンを照明するように前記照明源を調整し、前記局所領域は、少なくとも１つの非空の深度ゾーンを含む複数の深度ゾーンに分割され、前記非空の深度ゾーンは、少なくとも１つの対象物を含み、
前記複数の深度ゾーンの各非空の深度ゾーンに対して、一組の反射光パルスを記録して前記非空の深度ゾーンの画像データを生成するように前記撮像装置を調整し、前記一組の反射光パルスは、前記非空の深度ゾーンに含まれる１つまたは複数の対象物から反射された前記照明光パルスであり、
複数の非空の深度ゾーンの前記少なくとも１つの非空の深度ゾーンに対して生成された前記画像データを使用して、前記シーンの１つまたは複数の部分的に拡張された画像を生成し、前記１つまたは複数の部分的に拡張された画像のうちの少なくとも１つは、前記少なくとも１つの対象物についての深度情報を含み、
前記シーンの前記１つまたは複数の部分的に拡張された画像をコンソールに提供する
ように構成されており、
前記１つまたは複数の部分的に拡張された画像は、ユーザに提示するための仮想コンテンツを生成するために使用される、ＨＭＤ。

【請求項13】

前記深度ゾーンの第１の深度ゾーンに対する第１の露光期間は、前記深度ゾーンの第２の深度ゾーンに対する第２の露光期間とは異なり、前記第１の深度ゾーンは、前記第２の深度ゾーンとは異なる、請求項１２に記載のＨＭＤ。

【請求項14】

前記シーンの前記１つまたは複数の部分的に拡張された画像を生成することは、深度ゾーンの画像データを当該深度ゾーンの深度情報に関連付けることを含む、請求項１２に記載のＨＭＤ。

【請求項15】

前記コントローラは、さらに
前記撮像装置から前記深度ゾーンのうちの１つの深度ゾーンまでの距離、および前記複数の画像のうちの前記画像の品質のうちの１つに少なくとも基づいて前記１つまたは複数の照明パラメータを調整するように構成されている、請求項１２に記載のＨＭＤ。

【請求項16】

前記コントローラは、さらに
対象物の反射率、対象物の動きの速度、対象物の前記撮像装置からの距離、前記画像のノイズ測定値、および前記画像の信号対雑音比（ＳＮＲ）のうちの少なくとも１つに基づいて前記１つまたは複数の照明パラメータを調整するように構成されており、前記１つまたは複数の照明パラメータは、前記照明光パルスのパルス幅、振幅、周波数、量、および波長のうちの少なくとも１つを含む、請求項１２に記載のＨＭＤ。

【請求項17】

前記コントローラは、１つまたは複数の露光パラメータに従って前記撮像装置を調整するようにさらに構成され、前記コントローラは、さらに
前記照明源の前記１つまたは複数の照明パラメータおよび前記深度ゾーンの特性に少なくとも基づいて、更新された１つまたは複数の露光パラメータを決定し、
前記更新された１つまたは複数の露光パラメータに従って前記１つまたは複数の露光パラメータを調整するように構成され、前記１つまたは複数の露光パラメータは、露光期間、前記露光期間の開始時間、読み出しフレームごとの繰り返し回数、および読み出しフレームごとの繰り返しカウント値のうちの少なくとも１つを含む、請求項１２に記載のＨＭＤ。

【請求項18】

方法であって、
撮像装置により捕捉された局所領域の複数の画像のうちの画像のコントラスト測定値が、コントラスト閾値未満であると決定するステップと、
前記コントラスト測定値が前記コントラスト閾値未満であることに基づいて、複数の照明光パルスの振幅および量を少なくとも含む１つまたは複数の照明パラメータを調整するステップと、
前記１つまたは複数の照明パラメータに従って、照明源が前記複数の照明光パルスを放射して前記局所領域のシーンを照明するステップと、前記局所領域は、少なくとも１つの非空の深度ゾーンを含む複数の深度ゾーンに分割され、前記非空の深度ゾーンは、少なくとも１つの対象物を含み、
前記複数の深度ゾーンの各深度ゾーンに対して、一組の反射光パルスを記録して前記非空の深度ゾーンに対する画像データを生成するステップと、前記一組の反射光パルスは、前記非空の深度ゾーンに含まれる１つまたは複数の対象物から反射された前記照明光パルスであり、
複数の非空の深度ゾーンのうちの前記少なくとも１つの非空の深度ゾーンに対して生成された前記画像データを使用して、前記シーンの１つまたは複数の部分的に拡張された画像を生成するステップと、前記１つまたは複数の部分的に拡張された画像のうちの少なくとも１つは、前記少なくとも１つの対象物についての深度情報を含み、
前記シーンの前記１つまたは複数の部分的に拡張された画像をコンソールに提供するステップと、を含み、
前記１つまたは複数の部分的に拡張された画像は、ユーザに提示するための仮想コンテンツを生成するために使用される、方法。

【請求項19】

前記深度ゾーンの第１の深度ゾーンに対する第１の露光期間は、前記深度ゾーンの第２の深度ゾーンに対する第２の露光期間とは異なり、前記第１の深度ゾーンは、前記第２の深度ゾーンとは異なる、請求項１８に記載の方法。

【請求項20】

前記シーンの前記１つまたは複数の部分的に拡張された画像を生成することは、深度ゾーンの画像データを当該深度ゾーンの深度情報に関連付けることを含む、請求項１８に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、一般に、デプスカメラアーキテクチャに関し、より詳細には、レンジゲート式デプスカメラ部品に関する。

【背景技術】

【0002】

拡張現実（ＡＲ）システムを含み得る仮想現実（ＶＲ）システムは、ユーザを３次元（３Ｄ）で取り囲む環境の捕捉を活用することができる。しかしながら、従来のデプスカメラアーキテクチャは、サイズが比較的大きく、重く、相当量の電力を消費する。さらに、異なる深度のカメラアーキテクチャ（例えば、タイムオブフライト（ｔｉｍｅ－ｏｆ－ｆｌｉｇｈｔ）、構造化ライト、およびステレオビジョン）は、それぞれが異なる長所／短所を有するため、異なる動作環境において最適に機能する。さらに、従来のデプスカメラアーキテクチャは、ＶＲシステムで経験する拡張動作範囲（センチメートルから数メートル）には適していない。例えば、そのような拡張された動作範囲は、従来のデプスカメラアーキテクチャが効率的に処理するにはあまりにも多くのデータが生じ、従来のデプスカメラアーキテクチャが処理するには大きすぎるダイナミックレンジを有する可能性がある。

【発明の概要】

【0003】

拡張現実（ＡＲ）システムまたは仮想現実（ＶＲ）システムに含まれるヘッドセットは、ヘッドセットを囲う、ヘッドセットに含まれる撮像装置の視野（即ち、「局所領域」）内のシーンの領域の様々な深度ゾーンの視覚情報の捕捉を可能にするデプスカメラ部品（ＤＣＡ：ｄｅｐｔｈ ｃａｍｅｒａ ａｓｓｅｍｂｌｙ）を含む。ＤＣＡは、シーン内の特定の範囲、重要な光景、および／または関心領域に集中することができる。ＤＣＡは、１つまたは複数の撮像装置、照明源、およびコントローラを含む。照明源は、拡張された画像を生成するために使用される光パルス（例えば、赤外線（ＩＲ）、可視光）を放射する。撮像装置は、露光期間に亘って光を記録して画像データを生成する。

【0004】

ＤＣＡは、１つまたは複数の光パルスを用いて局所領域のシーンを照明する。局所領域内の対象物は、ＤＣＡによって放射される光（即ち、光パルス）を反射する。ＤＣＡは、画像が単一の深度ゾーンに関する情報を含むように（例えば、光パルスと画像捕捉との間の時間を制御することによって）局所領域の画像データを生成するように構成される。捕捉された画像は、単一の深度ゾーンに固有であり、単一の深度ゾーン内の対象物を表す。ＤＣＡは、各深度ゾーンの画像データを生成する。ＤＣＡは、複数の深度ゾーンに対して生成された画像データを使用して、拡張された画像または部分的に拡張された画像を生成する。拡張された画像は、局所領域内の１つまたは複数の対象物についての深度情報（即ち、対象物からＤＣＡまでの距離）を含む局所領域の画像である。部分的に拡張された画像は、局所領域内のいくつかの（しかし全てではない）深度ゾーンに対する画像データを含む。

【0005】

いくつかの実施形態では、所与の深度ゾーンに関連する画像データを読み出す前に、所与の深度ゾーンに対して複数のパルスが放射されることに留意されたい。これにより、連続パルスからの光が加えられるので、所与の深度ゾーンにおける画像データに関連する信号強度が改善される。次いで、ＤＣＡは、複数のパルス（例えば、１００パルス）を使用して生成された画像データを読み出すことができる。改善された信号強度は、低反射率の対象物および／またはＤＣＡから離れた対象物に対する正確な画像データを捕捉するのに有用である。同様に、ＤＣＡは、画像飽和を制御するためにパルス数を設定することができる。

【0006】

一実施形態では、レンジゲート式デプスカメラ部品は、照明光パルスを放射するように構成された照明源と、局所領域の画像データを生成するように構成された撮像装置とを含む。レンジゲート式デプスカメラ部品はさらにコントローラを含む。コントローラは、局所領域のシーンを照明するために複数の照明光パルスを放射するように照明源を調整するように構成される。局所領域は、少なくとも１つの対象物を含む少なくとも１つの非空の深度ゾーン（ｎｏｎ－ｅｍｐｔｙ ｄｅｐｔｈ ｚｏｎｅ）を含む複数の深度ゾーンに分割され、撮像装置が局所領域の画像データを生成するように構成されている。コントローラは、複数の深度ゾーンの各非空の深度ゾーンについて、一組の反射光パルスを記録して非空の深度ゾーンの画像データを生成するように撮像装置を調整するように構成される。一組の反射光パルスは、非空の深度ゾーンに含まれる１つまたは複数の対象物から反射された照明光パルスである。コントローラはさらに、複数の非空の深度ゾーンのうちの少なくとも１つの非空の深度ゾーンに対して生成された画像データを使用してシーンの画像を生成し、シーンの画像をコンソールに提供するように構成される。

【0007】

一実施形態では、ヘッドマウントディスプレイ（ＨＭＤ：ｈｅａｄ－ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ）は、電子ディスプレイと、照明光パルスを放射するように構成された照明源および局所的な画像データを生成するように構成された撮像装置とを含むレンジゲート式デプスカメラ部品とを含む。ＨＭＤは、コントローラを含むように構成されたコントローラをさらに含む。コントローラは、局所領域のシーンを照明するために複数の照明光パルスを放射するように照明源を調整するように構成される。局所領域は、少なくとも１つの対象物を含む少なくとも１つの非空の深度ゾーンを含む複数の深度ゾーンに分割され、撮像装置が局所領域の画像データを生成するように構成される。コントローラは、複数の深度ゾーンの各非空の深度ゾーンに対して、一組の反射光パルスを記録して非空の深度ゾーンの画像データを生成するように撮像装置を調整するように構成される。一組の反射光パルスは、非空の深度ゾーンに含まれる１つまたは複数の対象物から反射された照明光パルスである。コントローラはさらに、複数の非空の深度ゾーンのうちの少なくとも１つの非空の深度ゾーンに対して生成された画像データを使用してシーンの画像を生成し、シーンの画像をコンソールに提供するように構成される。

【0008】

一実施形態では、方法は、照明源が、局所領域のシーンを照明するために複数の照明光パルスを放射するステップを含む。局所領域は、少なくとも１つの非空の深度ゾーンを含む複数の深度ゾーンに分割される。非空の深度ゾーンは、少なくとも１つの対象物を含む。方法はさらに、複数の深度ゾーンの各深度ゾーンに対して、一組の反射光パルスを記録して非空の深度ゾーンの画像データを生成するステップを含む。一組の反射光パルスは、非空の深度ゾーンに含まれる１つまたは複数の対象物から反射された照明光パルスである。方法はさらに、複数の非空の深度ゾーンのうちの少なくとも１つの非空の深度ゾーンに対して生成された画像データを使用してシーンの画像を生成するステップを含む。方法は、シーンの画像をコンソールに提供するステップをさらに含む。

【図面の簡単な説明】

【0009】

【図1】一実施形態による拡張現実システムを含むシステム環境のブロック図である。

【図2】一実施形態による拡張リアリティヘッドセットの図である。

【図3】一実施形態による拡張現実ヘッドセットの前部剛体の断面図である。

【図4】一実施形態による異なる距離の異なる対象物を含むシーンの画像データを捕捉するＤＣＡの一例を示す図である。

【図5】一実施形態による拡張された画像を生成するプロセスのフロー図を示す。

【発明を実施するための形態】

【0010】

図面は、例示のみを目的として本開示の実施形態を示す。当業者であれば、以下の説明から、本明細書で説明した構造および方法の代替の実施形態を、本明細書に記載の原理または利点から逸脱することなく用いることができることを容易に認識するであろう。

【0011】

システムの概要
図１は、ＡＲコンソール１１０が動作する拡張現実（ＡＲ：ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）システム環境１００の一実施形態のブロック図である。本明細書で使用されるように、ＡＲシステム環境１００は、ユーザが対話することができる仮想環境をユーザに提示する仮想現実システム環境を含み得る。図１に示すＡＲシステム環境１００は、ＡＲコンソール１１０にそれぞれ結合されたＡＲヘッドセット１０５およびＡＲ入出力（Ｉ／Ｏ）インタフェース１１５を備える。図１は、１つのＡＲヘッドセット１０５および１つのＡＲ Ｉ／Ｏインタフェース１１５を含む例示的なシステム１００を示しているが、他の実施形態では、任意の数のこれらのコンポーネントがＡＲシステム環境１００に含まれてもよい。例えば、複数のＡＲヘッドセット１０５が設けられ、各ＡＲヘッドセット１０５がＡＲ Ｉ／Ｏインタフェース１１５を有し、各ＡＲヘッドセット１０５およびＡＲ Ｉ／Ｏインタフェース１１５がＡＲコンソール１１０と通信してもよい。代替の構成では、異なるおよび／または追加のコンポーネントをＡＲシステム環境１００に含ませることができる。さらに、いくつかの実施形態において図１に示される１つまたは複数の構成要素と関連して説明される機能が、図１に関連して説明したのとは異なる方法で複数の構成要素に分配されてもよい。例えば、ＡＲコンソール１１０の機能の一部または全部は、ＡＲヘッドセット１０５によって提供される。

【0012】

ＡＲヘッドセット１０５は、コンピュータが生成した要素（例えば、２次元（２Ｄ）または３次元（３Ｄ）画像、２Ｄまたは３Ｄ動画、音声他）を用いて物理的な現実世界環境の拡大ビューを含むコンテンツをユーザに提示するヘッドマウントディスプレイである。いくつかの実施形態では、提示されるコンテンツは、ＡＲヘッドセット１０５、ＡＲコンソール１１０、またはその両方からオーディオ情報を受信し、オーディオ情報に基づいてオーディオデータを提示する外部デバイス（例えば、スピーカおよび／またはヘッドフォン）を介して提示されるオーディオを含む。ＡＲヘッドセット１０５の一実施形態は、図２および図３に関連して以下でさらに説明される。ＡＲヘッドセット１０５は、互いに強固にまたは非剛性に結合され得る１つまたは複数の剛体を備え得る。剛体間の堅固な結合は、結合された剛体を単一の剛体として機能させる。対照的に、剛体間の非剛性結合は、剛体が互いに対して移動することを可能にする。

【0013】

ＡＲヘッドセット１０５は、ＤＣＡ１２０、電子ディスプレイ１２５、光学ブロック１３０、１つまたは複数の位置センサ１３５、および慣性測定ユニット（ＩＭＵ：ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）１４０を含む。ＡＲヘッドセット１０５のいくつかの実施形態は、図１に関連して説明されるものとは異なる構成要素を有する。さらに、図１に関連して説明した様々な構成要素によって提供される機能は、他の実施形態では、ＡＲヘッドセット１０５の構成要素において異なるようにして分散されてもよい。

【0014】

ＤＣＡ１２０は、ＤＣＡ１２０に含まれる１つまたは複数の撮像装置を使用して、「局所領域」とも呼ばれる、ＡＲヘッドセット１０５に近接するエリアの１つまたは複数の画像を捕捉するように構成される。ＤＣＡ１２０のいくつかの実施形態は、１つまたは複数の撮像装置（例えば、カメラ、ビデオカメラ）、照明源、およびコントローラを含む。照明源は、拡張された画像を生成するために使用される光パルス（例えば、赤外線（ＩＲ：ｉｎｆｒａｒｅｄ）、可視光）を放射する。例えば、照明源は、所定の期間の間、一連の光パルスを放射する。いくつかの実施形態では、照明源は、対称ドットパターンまたは疑似ランダムドットパターン、グリッド、または水平バーなどの構造化ライト（ＳＬ：ｓｔｒｕｃｔｕｒｅｄ ｌｉｇｈｔ）パターンをシーンに放射するように構成されたＳＬイルミネータであってもよい。

【0015】

ＤＣＡ１２０は、１つまたは複数の撮像装置を使用して局所領域の画像を捕捉する。撮像装置は、特定の波長範囲の光（即ち、「波長帯域」の光）を捕捉して記録する。撮像装置によって捕捉される例示的な光の波長帯域は、可視帯域（３８０ｎｍ～７５０ｎｍ）、赤外線帯域（７５０ｎｍ～１５００ｎｍ）、紫外線帯域（１０ｎｍ～３８０ｎｍ）、電磁波スペクトルの別の一部、またはそれらのいくつかの組合せを含む。１つまたは複数の撮像装置は、ＩＲ波長または電磁波スペクトルの他の一部における波長を有する光だけでなく、可視波長を有する光にも感応的であり得る。例えば、撮像装置は赤、緑、青、ＩＲ（ＲＧＢＩ）カメラである。いくつかの実施形態では、１つまたは複数の撮像装置は、電荷結合素子（ＣＣＤ：ｃｈａｒｇｅ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）、相補型金属酸化物半導体（ＣＭＯＳ：ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ－ｏｘｉｄｅ－ｓｅｍｉｃｏｎｄｕｃｔｏｒ）撮像素子、他の感光素子、またはそれらの組合せを含む。

【0016】

ＤＣＡ１２０は、放射された光パルスの異なる特性を変化させることができる。例えば、ＤＣＡ１２０は、例えば、パルス幅、パルス振幅、パルス間の時間、放射するパルスの量、パルス波長、またはそれらのいくつかの組合せを変化させることができる。以下に詳細に説明するように、ＤＣＡ１２０は、捕捉画像の飽和を防止し、かつ捕捉画像の画質を保証するために、パルス特性（例えば、パルス振幅、パルス量等）を変化させることができる。さらに、ＤＣＡ１２０は、光を記録して画像データを生成するための露光期間および／または（パルスがＤＣＡ１２０によって放射された時点に対して）露光期間の開始時間を制御することによって画像データが収集される時期を調整する。

【0017】

局所領域は、ＶＲヘッドセット１０５から異なる距離にある複数の対象物を含み得る。いくつかの実施形態では、ＤＣＡ１２０は、局所領域をスキャンして、局所領域に含まれる対象物を識別する。次いで、ＤＣＡ１２０は、各識別された対象物とＤＣＡ１２０との間の距離を決定する。ＤＣＡ１２０は、識別された対象物に対して決定された距離に基づいて、局所領域を１つまたは複数の深度ゾーンに分割する。代替的に、ＤＣＡ１２０は、局所領域を所定数の深度ゾーンに分割する。

【0018】

ＤＣＡ１２０は、深度ゾーン（単数または複数）の画像データを１つずつ捕捉する。ＤＣＡ１２０は、画像データが収集される時期に関して光パルスが放射される時期を制御する。従って、ＤＣＡ１２０は、深度ゾーンに特有の画像データを選択的に収集することができる。特定の深度ゾーンに対して、ＤＣＡ１２０は、深度ゾーンを（例えば、光パルスによって）照明し、深度ゾーンに含まれる対象物から反射された光を捕捉する。ＤＣＡ１２０は、１つまたは複数の深度ゾーンの捕捉画像を使用して拡張された画像を生成する。拡張された画像は、局所領域内の１つまたは複数の対象物についての深度情報（即ち、対象物からＤＣＡまでの距離）を含む局所領域の画像である。ＤＣＡ１２０については、図３～図５を参照して以下でさらに説明する。

【0019】

電子ディスプレイ１２５は、ＡＲコンソール１１０から受信したデータに従って２Ｄまたは３Ｄ画像をユーザに表示する。種々の実施形態において、電子ディスプレイ１２５は、単一の電子ディスプレイまたは複数の電子ディスプレイ（例えば、ユーザの各眼に対するディスプレイ）を含む。例示的な電子ディスプレイ１２５は、液晶ディスプレイ（ＬＣＤ：ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）、有機発光ダイオード（ＯＬＥＤ：ｏｒｇａｎｉｃ ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）ディスプレイ、アクティブマトリクス有機発光ダイオードディスプレイ（ＡＭＯＬＥＤ：ａｃｔｉｖｅ－ｍａｔｒｉｘ ｏｒｇａｎｉｃ ｌｉｇｈｔ－ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）、その他のディスプレイ、またはそれらの組合せを含む。いくつかの実施形態では、ＡＲヘッドセット１０５の一部（例えば、前面）は可視光に対して透明であり、ヘッドセットのユーザがＡＲヘッドセット１０５を介して局所領域を見ることが可能である。これらの実施形態において、電子ディスプレイ１２５は、１つまたは複数の透明電子ディスプレイパネルで構成されている。透明な電子ディスプレイパネルは、部分的または完全に透明であり、例えば、透明な有機発光ダイオードディスプレイ（ＴＯＬＥＤ：ｔｒａｎｓｐａｒｅｎｔ ｏｒｇａｎｉｃ ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ ｄｉｓｐｌａｙ）、他の透明な電子ディスプレイ、またはそれらのいくつかの組合せであってもよい。

【0020】

光学ブロック１３０は、電子ディスプレイ１２５から受け取った画像光を拡大し、画像光に関連する光学誤差を補正し、かつ補正された画像光をＡＲヘッドセット１０５のユーザに提示する。様々な実施形態において、光学ブロック１３０は、１つまたは複数の光学素子を含む。光学ブロック１３０に含まれる例示的な光学素子は、開口、フレネルレンズ、凸レンズ、凹レンズ、フィルタ、ミラー素子、または画像光に影響を与える他の任意の適切な光学素子を含む。さらに、光学ブロック１３０は、異なる光学素子の組合せを含み得る。いくつかの実施形態では、光学ブロック１３０内の１つまたは複数の光学素子は、反射防止コーティングのような１つまたは複数のコーティングを有することができる。

【0021】

光学ブロック１３０による画像光の拡大および集束は、より大きなディスプレイよりも電子ディスプレイ１２５を物理的に小さくし、重量を低減し、消費電力を低減することを可能にする。さらに、拡大は、電子ディスプレイ１２５によって提示されるコンテンツの視界を増加させる。例えば、表示されたコンテンツの視界は、表示されたコンテンツが、ユーザの視野のほぼすべて（例えば、約１１０度傾斜）、および場合によっては全部を使用して提示されるようになる。さらにいくつかの実施形態では、光学素子を追加または除去することによって拡大の量を調整することができる。

【0022】

いくつかの実施形態では、光学ブロック１３０は、１つまたは複数のタイプの光学誤差を補正するように設計されてもよい。光学誤差の例には、バレル歪み、ピンクッション歪み、軸上色収差、または横方向色収差が含まれる。他のタイプの光学誤差は、球面収差、コマ収差またはレンズ像面湾曲による誤差、非点収差、または他のタイプの光学誤差をさらに含み得る。いくつかの実施形態では、表示のために電子ディスプレイ１２５に提供されるコンテンツは予歪状態であり、光学ブロック１３０は、コンテンツに基づいて生成された電子ディスプレイ１２５から画像光を受け取るときに歪みを補正する。

【0023】

ＩＭＵ１４０は、１つまたは複数の位置センサ１３５から受信した測定信号およびＤＣＡ１２０から受信した深度情報に基づいて、ＡＲヘッドセット１０５の位置を示すデータを生成する電子デバイスである。位置センサ１３５は、ＡＲヘッドセット１０５の動きに応答した１つまたは複数の測定信号を生成する。位置センサ１３５の例には、１つまたは複数の加速度計、１つまたは複数のジャイロスコープ、１つまたは複数の磁力計、動きを検出する別の適切なタイプのセンサ、ＩＭＵ１４０の誤差訂正に使用されるあるタイプのセンサ、またはそれらの組合せが含まれる。位置センサ１３５は、ＩＭＵ１４０の外部に、ＩＭＵ１４０の内部に、またはそれらの位置の組合せに配置することができる。

【0024】

ＩＭＵ１４０は、１つまたは複数の位置センサ１３５からの１つまたは複数の測定信号に基づいて、ＡＲヘッドセット１０５の初期位置に対するＡＲヘッドセット１０５の推定の現在位置を示すデータを生成する。例えば、センサ１３５は、並進運動（前後、上下、左右）を測定する複数の加速度計、および回転運動（例えば、ピッチ、ヨー、ロール）を測定する複数のジャイロスコープを含む。いくつかの実施形態では、ＩＭＵ１４０は測定信号を迅速にサンプリングし、サンプリングされたデータからＡＲヘッドセット１０５の推定の現在位置を計算する。例えば、ＩＭＵ１４０は、加速度計から受信した測定信号を経時的に積分して速度ベクトルを推定し、速度ベクトルを経時的に積分して、ＡＲヘッドセット１０５上の基準点の推定の現在位置を決定する。代替的に、ＩＭＵ１４０は、サンプリングされた測定信号をＡＲコンソール１１０に提供し、ＡＲコンソール１１０がデータを解釈して誤差を低減する。基準点は、ＡＲヘッドセット１０５の位置を特徴付けるために使用され得る点である。基準点は、一般に、ＡＲヘッドセット１０５の向きおよび位置に関連する空間内の点または位置として定義され得る。

【0025】

ＩＭＵ１４０は、ＡＲコンソール１１０から１つまたは複数のパラメータを受信する。以下でさらに説明するように、１つまたは複数のパラメータは、ＡＲヘッドセット１０５の追跡を維持するために使用される。受信したパラメータに基づいて、ＩＭＵ１４０は、１つまたは複数のＩＭＵパラメータ（例えば、サンプルレート）を調整することができる。いくつかの実施形態では、特定のパラメータによって、ＩＭＵ１４０は、基準点の初期位置が基準点の次の位置に対応するように基準点の初期位置を更新する。基準点の次の較正された位置として基準点の初期位置を更新することは、ＩＭＵ１４０の推定の現在の位置に関連する累積誤差を低減するのに役立つ。累積誤差は、ドリフト誤差とも呼ばれ、推定の基準点の位置を基準点の実際の位置から経時的に「離脱」させる。ＡＲヘッドセット１０５のいくつかの実施形態では、ＩＭＵ１４０は、専用ハードウェアコンポーネントであってもよい。他の実施形態では、ＩＭＵ１４０は、１つまたは複数のプロセッサに実装されたソフトウェアコンポーネントであってもよい。

【0026】

ＡＲ Ｉ／Ｏインタフェース１１５は、ユーザがアクション要求を送信し、ＡＲコンソール１１０から応答を受信することを可能にするデバイスである。アクション要求は、特定のアクションを実行するための要求である。例えば、アクション要求は、画像またはビデオデータの捕捉を開始または終了するための命令、またはアプリケーション内で特定のアクションを実行するための命令であってもよい。ＡＲ Ｉ／Ｏインタフェース１１５は、１つまたは複数の入力デバイスを含むことができる。例示的な入力デバイスには、キーボード、マウス、ゲームコントローラ、またはアクション要求を受け取り、ＡＲコンソール１１０にアクション要求を伝達するための他の適切な装置が含まれる。ＡＲ Ｉ／Ｏインタフェース１１５によって受信されたアクション要求は、アクション要求に対応するアクションを実行するＡＲコンソール１１０に伝達される。いくつかの実施形態では、ＡＲ Ｉ／Ｏインタフェース１１５は、ＡＲ Ｉ／Ｏインタフェース１１５の初期位置に対するＡＲ Ｉ／Ｏインタフェース１１５の推定の位置を示す較正データを取得する上述したようなＩＭＵ １４０をさらに含む。いくつかの実施形態では、ＡＲ Ｉ／Ｏインタフェース１１５は、ＡＲコンソール１１０から受信した指示に従ってユーザに触覚フィードバックを提供することができる。例えば、アクション要求が受信されたときに触覚フィードバックが提供されるか、またはＡＲコンソール１１０がアクションを実行するときにＡＲコンソール１１０がＡＲ Ｉ／Ｏインタフェース１１５に命令を送り、ＡＲ Ｉ／Ｏインタフェース１１５に触覚フィードバックを生成させる。

【0027】

ＡＲコンソール１１０は、ＤＣＡ１２０、ＡＲヘッドセット１０５、およびＡＲ Ｉ／Ｏインタフェース１１５のうちの１つまたは複数から受信した情報に従って処理するためにＡＲヘッドセット１０５にコンテンツを提供する。図１に示すように、ＡＲコンソール１１０は、アプリケーションストア１５０、追跡モジュール１５５、およびＡＲエンジン１４５を含む。ＡＲコンソール１１０のいくつかの実施形態は、図１に関連して説明したものとは異なるモジュールまたはコンポーネントを有する。同様に、以下でさらに説明される機能は、図１と関連して説明したものとは異なる方法で、ＡＲコンソール１１０の複数のコンポーネントに分散されてもよい。

【0028】

アプリケーションストア１５０は、ＡＲコンソール１１０による実行のための１つまたは複数のアプリケーションを格納する。アプリケーションは、プロセッサによる実行時に、ユーザに提示するためのコンテンツを生成する１つのグループの命令である。アプリケーションによって生成されるコンテンツは、ＡＲヘッドセット１０５またはＡＲ Ｉ／Ｏインタフェース１１５の動きによりユーザから受信した入力に応答したものであってもよい。アプリケーションの例には、ゲームアプリケーション、会議アプリケーション、ビデオ再生アプリケーション、または他の適切なアプリケーションが含まれる。

【0029】

追跡モジュール１５５は、１つまたは複数の較正パラメータを使用してＡＲシステム環境１００を較正するとともに、１つまたは複数の較正パラメータを調整して、ＡＲヘッドセット１０５またはＡＲ Ｉ／Ｏインタフェース１１５の位置の決定における誤差を低減することができる。追跡モジュール１５５によって実行される較正はまた、ＡＲヘッドセット１０５内のＩＭＵ１４０および／またはＡＲ Ｉ／Ｏインタフェース１１５に含まれるＩＭＵ１４０から受信した情報を考慮する。さらに、ＡＲヘッドセット１０５の追跡を喪失した場合（例えば、ＤＣＡ１２０が少なくとも閾値のＳＬ要素の照準線を喪失する）、追跡モジュール１４０は、ＡＲシステム環境１００の一部または全部を再較正することができる。

【0030】

追跡モジュール１５５は、ＤＣＡ１２０、１つまたは複数の位置センサ１３５、ＩＭＵ１４０またはそれらのいくつかの組合せからの情報を使用してＡＲヘッドセット１０５またはＡＲ Ｉ／Ｏインタフェース１１５の動きを追跡する。例えば、追跡モジュール１５５は、ＡＲヘッドセット１０５からの情報に基づいて局所領域のマッピングにおけるＡＲヘッドセット１０５の基準点の位置を決定する。追跡モジュール１５５は、ＩＭＵ１４０からのＡＲヘッドセット１０５の位置を示すデータを使用して、またはＡＲ Ｉ／Ｏインタフェース１１５に含まれるＩＭＵ１４０からのＡＲ Ｉ／Ｏインタフェース１１５の位置を示すデータを使用して、ＡＲヘッドセット１０５の基準点の位置またはＡＲ Ｉ／Ｏインタフェース１１５の基準点を決定する。さらに、いくつかの実施形態では、追跡モジュール１５５は、ＩＭＵ１４０からのＡＲヘッドセット１０５の位置を示すデータの一部ならびにＤＣＡ１２０からの局所領域の表現を使用してＡＲヘッドセット１０５の将来の位置を予測することができる。追跡モジュール１５５は、ＡＲヘッドセット１０５またはＡＲ Ｉ／Ｏインタフェース１１５の推定または予測した将来の位置をＡＲエンジン１４５に提供する。

【0031】

ＡＲエンジン１４５は、ＡＲヘッドセット１０５から受信した情報に基づいて、ＡＲヘッドセット１０５を囲む領域（即ち、「局所領域」）の３Ｄマッピングを生成する。いくつかの実施形態では、ＡＲエンジン１４５は、ＡＲヘッドセット１０５を取り囲む領域内の１つまたは複数の対象物によって反射された後にＤＣＡ１２０によって検出されるＤＣＡ１２０によって放射された光の時間に基づいて、またはＡＲヘッドセット１０５のＤＣＡ１２０によって捕捉される変形したＳＬ要素の画像に基づいて局所領域の３Ｄマッピングのための深度情報を決定する。様々な実施形態では、ＡＲエンジン１４５は、ＤＣＡ１２０によって決定された異なるタイプの情報、またはＤＣＡ１２０によって決定された組合せのタイプの情報を使用する。

【0032】

ＡＲエンジン１４５はまた、ＡＲシステム環境１００内のアプリケーションを実行して、ＡＲヘッドセット１０５の位置情報、加速度情報、速度情報、予測した将来の位置、またはそれらのいくつかの組合せを追跡モジュール１５５から受信する。受信した情報に基づいて、ＡＲエンジン１４５は、ユーザに提示するためにＡＲヘッドセット１０５に提供するコンテンツを決定する。例えば、受信した情報が、ユーザが左方向を見たことを示している場合、ＡＲエンジン１４５は、バーチャル環境または追加のコンテンツで局所領域を拡張する環境においてユーザの動きを反映するＡＲヘッドセット１０５に対するコンテンツを生成する。さらに、ＡＲエンジン１４５は、ＡＲ Ｉ／Ｏインタフェース１１５から受信したアクション要求に応答してＡＲコンソール１１０上で実行中のアプリケーション内でアクションを実行し、アクションが実行されたことをユーザにフィードバックする。提供されるフィードバックは、ＡＲヘッドセット１０５による視覚的または聴覚的なフィードバックまたはＡＲ Ｉ／Ｏインタフェース１１５による触覚フィードバックであり得る。

【0033】

図２は、ＡＲヘッドセット２００の一実施形態の線図である。ＡＲヘッドセット２００は、ＡＲヘッドセット１０５の一実施形態であり、前部剛体２０５、バンド２１０、基準点２１５、左側面２２０Ａ、上面２２０Ｂ、右側面２２０Ｃ、底面２２０Ｄ、および前面２２０Ｅを含む。図２に示すＡＲヘッドセット２００はまた、図３～５に関連して以下でさらに説明するデプスカメラ部品（ＤＣＡ）（図示せず）の実施形態を含む。前部剛体２０５は、電子ディスプレイ１２５（図示せず）の１つまたは複数の電子ディスプレイ素子、ＩＭＵ１３０、光を通過させる撮像開口２２５および照明開口２３０、１つまたは複数の位置センサ１３５、および基準点２１５を含む。いくつかの実施形態では、前部剛体２０５の一部は、可視光に対して透明（例えば、前面２２０Ｅ、いくつかの他の側面など）であり、ユーザが前部剛体２０５の透明部分を介して局所領域を見ることを可能にする。

【0034】

図３は、図２に示したＡＲヘッドセット２００の前部剛体２０５の断面図である。図３に示すように、前部剛体２０５は、照明源３０４、撮像装置３０６、およびコントローラ３０８を含むＤＣＡ１２０を含む。さらに、前部剛体２０５は、図１及び２に関して上述した電子ディスプレイ１２５、光学ブロック１３０、撮像開口２２５、および照明開口２３０を含む。前部剛体２０５はまた、ユーザの眼３４０が配置される射出瞳３３５を含む。様々な実施形態において、照明源３０４および撮像装置３０６は、前面２２０Ｅである。いくつかの実施形態では、撮像装置３０６は、撮像装置３０６の視野内で前部剛体２０５を取り囲む環境の一部である局所領域３１０の画像を捕捉する。説明のために、図３は、単一の眼３４０による前部剛体２０５の断面を示す。いくつかの実施形態では、ＤＣＡ１２０またはＤＣＡのいくつかの構成要素は、ユーザの眼３４０と一直線をなす。他の実施形態では、ＤＣＡの構成要素は、ユーザの眼３４０と一直線をなしていない。

【0035】

電子ディスプレイ１２５は、光学ブロック１３０に向けて画像を形成する光を放射し、光学ブロック１３０は、電子ディスプレイ１２５から受け取った光を変更する。光学ブロック１３０は、変更した画像光をユーザの眼３４０が配置されている前部剛体２０５の位置にある射出瞳３３５に向ける。図３は、ユーザの単一の眼３４０のための前部剛体２０５の断面図を示し、図３に示されるものとは別個の別の電子ディスプレイ１２５および光学ブロック１３０は、前部剛体２０５に含まれ、局所領域３１０の拡張表現または仮想コンテンツなどのコンテンツをユーザの別の眼に提示する。

【0036】

ＤＣＡ１２０は、照明源３０４、撮像装置３０６、およびコントローラ３０８を含む。照明源３０４は、局所領域３１０に関連する深度情報を決定するために使用される光パルスを生成する。照明源３０４は、コントローラ３０８からの照明パラメータを含む命令を受信することに応答して、１つまたは複数の光パルスを生成する。照明パラメータは、１つまたは複数の光パルスを生成するために照明源によって使用される命令である。照明パラメータは、例えば、１つまたは複数の光パルスを送信するためのトリガ信号、パルス幅、パルス振幅、パルス周期、デューティサイクル、放射するパルスの量、パルス波長、またはそれらのいくつかの組合せであり得る。光パルスは、特定の周期を有する一連のパルスを含む単一のパルスまたは一連のパルス（櫛形パルスとも呼ばれる）であり得る。

【0037】

照明源３０４は、可視帯域（３８０ｎｍ～７５０ｎｍ）、赤外線（ＩＲ）帯域（７５０ｎｍ～１５００ｎｍ）、紫外線帯域（１０ｎｍ～３８０ｎｍ）などの１つまたは複数の帯域、電磁波スペクトルの別の部分、またはそれらのいくつかの組合せにおける１つまたは複数の光パルスを生成する。生成された光は、コヒーレント、半コヒーレント、および／またはインコヒーレントであってもよい。照明源３０４は、撮像装置３０６のフレームレート（例えば、１２０Ｈｚ、２４０Ｈｚなど）で光パルスを生成することができる。一連のパルスが撮像装置３０６で所与のフレームに対して予測される状況では、照明源３０４は、フレームレートよりも著しく速い光パルス（例えば、フレームレートの１００倍，１０，０００倍または１０，０００倍以上のフレームレート）を生成することができる。さらに、パルス（または一連のパルス）を生成するための照明源３０４をトリガすることと、照明源３０４がパルス（または一連のパルス）を生成することとの間のレイテンシ時間において、低いジッタ（数ナノ秒以下のオーダの）および測定されたレイテンシおける小さい誤差が存在する。照明源３０４は、１つまたは複数の光パルスを照明開口２３０から局所領域３１０に投射する。

【0038】

撮像装置３０６は、撮像開口２２５を介して局所領域３１０の画像データを生成する。撮像装置３０６は、コントローラ３０８からの露光パラメータを含む命令を受信することに応答して画像データを捕捉する。露光パラメータは、画像データを生成する撮像装置によって使用される命令である。露光パラメータは、例えば、光を記録して画像データを生成するためのトリガ信号、光を記録して画像データを生成するための露光期間、露光期間の開始時間、予測される一連の各パルスに対する露光開始時間及び露光時間、またはそれらのいくつかの組合せを含む。

【0039】

撮像装置３０６は、捕捉された光で搬送される情報を検出し信号にて伝達する。撮像装置３０６は、照明源３０４と少なくとも同じスペクトルで画像を捕捉するように構成されている。撮像装置３０６はまた、可視光、ＩＲ光、または電磁波スペクトルの他の部分おける波長を有する光に感応的であってもよい。いくつかの実施形態では、撮像装置３０６はカメラであり、かつ電荷結合素子（ＣＣＤ）、相補型金属酸化物半導体（ＣＭＯＳ）撮像素子、他の感光素子、またはそれらの組合せを含む。さらに、露光を開始する（即ち、画像を捕捉する）ために撮像装置３０６をトリガすることと、撮像装置３０６が露光を開始することとの間に低いジッタ（数ナノ秒のオーダ）が存在する。同様に、露光を停止する（即ち、画像の捕捉を停止する）ために撮像装置３０６をトリガすることと、撮像装置３０６が露光を停止することとの間には、低いジッタ（数ナノ秒のオーダ）が存在する。さらに、実際の開始時間および停止時間の情報は、ジッタ値のほんの一部（例えば、１ナノ秒未満）に対して正確であり得る。

【0040】

コントローラ３０８は、照明パラメータを用いて照明源３０４を調整する。コントローラ３０８は、１つまたは複数の照明パラメータを含む１つまたは複数の命令を、１つまたは複数の照明パラメータに従って光パルスを放射する照明源３０４に供給する。コントローラ３０８は、各光パルスの間に、光パルスが局所領域をクリアすることを可能にする少なくとも１つの時間間隔が存在するように、１つまたは複数の照明パラメータを決定する。例えば、局所領域３１０の長さが２０フィート（６０９．６センチメートル）である場合、パルス間の時間は、光が約１フィート（３０．４８センチメートル）／ナノ秒で移動するとき、少なくとも４０ナノ秒である。コントローラ３０８は、局所領域３１０のサイズに基づいて、照明源３０４によって放射される光パルスの周波数を決定することができる。さらに、コントローラ３０８は、放射パルスごとに（ナノ秒のオーダで）パルス幅を設定するとともに、パルスごとまたはフレームごとにパルスの特定の振幅（放射されるパワー）を決定する。いくつかの実施形態では、照明パラメータは、トリガとすることができ、照明源３０４によって放射される光パルスの少なくとも１つのパルス特性が照明源３０４において決定される。例えば、コントローラ３０８は、特定のパルス幅（例えば、６ナノ秒）を有する光パルスを放射するために照明源３０４を調整するが、パルス振幅は照明源３０４によって決定される。

【0041】

コントローラ３０８は、反射光を捕捉して局所領域３１０の画像データを生成するために撮像装置３０６を調整する。コントローラ３０８は、１つまたは複数の露光パラメータ（例えば、反射光を捕捉するための露光期間、露光期間の開始時間、読み出しフレーム毎の繰り返し回数／繰り返しカウント値等）を含む１つまたは複数の命令を撮像装置３０６に提供する。このように、コントローラ３０８は、撮像装置３０６に対して露光開始時間、露光継続期間、繰り返しカウント値を調整する。露光期間中に撮像装置３０６は光を記録し、光を画像データに変換する。コントローラ３０８は、ＤＣＡ１２０からの深度ゾーンまでの距離に従って露光開始時間を決定することができる。深度ゾーンのサイズは、露光期間の長さに依存する。従って、コントローラ３０８は、深度ゾーンのサイズに従って露光期間を決定することができる。深度ゾーンの位置は、照明源３０４からパルスが放射された時間に対する露光期間の開始時間によって決定される。従って、コントローラ３０８は、照明源３０４から光パルスが放射された時間に対する露光期間の開始時間を調整することによって、画像データを収集する深度ゾーンを選択することができる。例えば、前部平面３２２に対する深度ゾーンの近方境界の距離Ｄ_ｎｅａｒ（ＤＣＡ１２０により近方深度ゾーンの境界）に基づいて露光開始時間を決定する。開始時間と、照明源３０４が光パルスを放射するようにトリガされるときの時点との間の時間差は、光の速度（例えば、約３×１０^８ｍ／秒）でＤ_ｎｅａｒを除算したものの２倍に等しい。このように、コントローラ３０８は、深度ゾーンの全ての対象物から反射された光を捕捉するように撮像装置３０６を調整する。

【0042】

局所領域３１０に含まれる対象物は、照明源３０４によって局所領域３１０に放射される光だけでなく入射環境光も反射する。局所領域３１０は、前部平面３２２から異なる距離にある１つまたは複数の深度ゾーンを含む。深度ゾーンは、前部平面３２２から所定の距離範囲内にある局所領域における対象物を含む。例えば、局所領域３１０は、近方深度ゾーン３５０、中間深度ゾーン３５２、および遠方深度ゾーン３５４を含む。近方深度ゾーン３５０は、前部平面３２２から第１の所定の距離範囲（例えば、１メートル未満）内にある対象物を含む。中間深度ゾーン３５２は、第２の所定の距離範囲（例えば、１メートルと２メートルとの間）内にある対象物を含む。遠方深度ゾーン３５４は、前部平面３２２から第３の所定の距離範囲（例えば、２メートルを超える）内にある対象物を含む。当業者は、局所領域３１０は、異なるサイズの任意の数の深度ゾーンを含むことができ、各深度ゾーンが所定の距離範囲内の対象物を含み得ることを認識するであろう。

【0043】

いくつかの実施形態では、コントローラ３０８は、局所領域３１０を固定数の深度ゾーンに分割し、各深度ゾーン内の対象物を識別する。例えば、コントローラ３０８は、局所領域３１０を３つの深度ゾーン、即ち近方深度ゾーン３５０、中間深度ゾーン３５２、および遠方深度ゾーン３５４に分割する。コントローラ３０８は、各々の深度ゾーンにおいて局所領域３１０の対象物を探索する。例えば、コントローラ３０８は、各深度ゾーンについて１つまたは複数の光パルスを放射するように照明源３０４を調整し、個々の反射光を捕捉して画像データを生成するように撮像装置３０６を調整する。所与の深度ゾーンに対して、コントローラ３０８は、画像データを分析して、所与の深度ゾーン内の対象物を識別することができる。コントローラ３０８は、識別された対象物を、対象物が位置している深度ゾーンの属性である深度情報と関連付ける。例えば、対象物のＤＣＡ１２０までの距離は、光パルスを放射する照明源３０４と、露光期間の開始時間との間の時間差に基づく。光が空気中を一定速度（例えば、３×１０^８メートル／秒）で移動するので、深度ゾーンまでの距離は、時間差の間に光が移動する距離の半分である。従って、コントローラ３０８は、所与の深度ゾーンで識別された対象物に深度情報を属性付けすることができる。

【0044】

いくつかの実施形態では、コントローラ３０８は、局所領域３１０を比較的多数の深度ゾーン（例えば、それぞれインチに対応する）に自動的に分割し、各深度ゾーンに対する画像データを生成することができる。コントローラ３０８は、どの深度ゾーンが対象物を含むかを識別し、識別された対象物間の空きスペースではなく、識別された対象物を強調する新規の組の深度ゾーンを生成する。例えば、対象物を含む領域は、多数の深度ゾーンと関連していてもよいが、対象物間の空きスペースは、少数の深度ゾーン（例えば、単一の深度ゾーン）と関連付けられ得る。

【0045】

別の実施形態では、コントローラ３０８は、局所領域３１０を比較的少数の大きな深度ゾーン（例えば、３）に分割する。コントローラ３０８は、どの深度ゾーンが対象物を含むかを識別し、識別された深度ゾーンをより小さい深度ゾーンに分割する。コントローラ３０８は、再び、より小さい深度ゾーンのどれが対象物を含むかを識別し、識別されたより小さい深度ゾーンをさらにより小さい深度ゾーンにさらに分割する。コントローラ３０８は、ある閾値レベルの深度分解能が得られるまでこのプロセスを継続する。

【0046】

コントローラ３０８は、さらに、深度ゾーンに位置する対象物に基づいて、深度ゾーンのサイズを調整することができる。深度ゾーンのサイズは、近方境界（即ち、前部平面３２２までの最短距離を有する境界）および遠方境界（即ち、前部平面３２２までの最長距離を有する境界）によって決定される。たとえば、コントローラ３０８は、深度ゾーン内で識別された全ての対象物の中で最短（最長）距離を有する対象物の位置に深度ゾーンの近方（遠方）境界を調整する。

【0047】

コントローラ３０８は、対象物から反射され、かつ撮像装置３０６によって捕捉された光に基づいて対象物の反射率をさらに決定することができる。より高い反射率の対象物は、同じまたは類似の放射照度および距離下でより低い反射率の対象物よりも明るい。例えば、対象物に関して、コントローラ３０８は、対象物の画像を生成し、対象物の画像の受信信号を、対象物の距離に関連する閾値と比較する。輝度が閾値よりも大きい（小さい）場合、コントローラ３０８は、対象物の反射率が高い（低い）と判定する。さらに、時間的なデータ収集を通じて、反射率の推定値、より正確には対象物の双方向反射率分布関数（ＢＲＤＦ：Ｂｉ－Ｄｉｒｅｃｔｉｏｎａｌ Ｒｅｆｌｅｃｔａｎｃｅ Ｄｉｓｔｒｉｂｕｔｉｏｎ Ｆｕｎｃｔｉｏｎ）を継続的にリファインして、追跡し、マッピングし、照射された照明信号が対象物の特性に対する許容範囲内にあることを保証するようにすることができる。さらに、コントローラ３０８は、ＤＣＡ１２０に対する対象物の動きを決定することができる。例えば、コントローラ３０８は、対象物の動きを決定するために、ある画像から別の画像への対象物の位置の変化を識別する。コントローラ３０８は、対象物の移動速度を閾値速度と比較する。速度が閾値速度よりも大きい（小さい）場合、コントローラ３０８は、対象物の動きが大きい（小さい）と判定する。

【0048】

コントローラ３０８は、深度ゾーン、深度ゾーンに含まれる対象物（単数または複数）、画像解像度、および／または画像品質に基づいて１つまたは複数の照明パラメータを決定する。画像解像度は、ユーザによって設定されてもよい。例えば、コントローラ３０８は、近方深度ゾーン３５０（遠方深度ゾーン３５４）の画像を捕捉するために、より低い（より高い）振幅を有する光パルスを放射するように照明源３０４を調整する。光ビームの強度は、光ビームが局所領域３１０内の様々な体積の材料を通過するときに経時的に減衰するため、前面３２２からより遠方対象物は、前面３２２により近方対象物よりも少ない光で照射される。さらに、単一の識別された深度ゾーン内で操作する場合、他の（照明されていない）深度ゾーンにおける周囲照明特性の推定値を決定することができる。これは、後続の画像フレームがそれらの個々の深度ゾーンでアクティブな照明を提供する場合に、環境減算法（ａｍｂｉｅｎｔ ｓｕｂｔｒａｃｔｉｏｎ ｍｅｔｈｏｄｓ）をサポートする。

【0049】

別の例として、コントローラ３０８は、含まれる対象物が高い（低い）反射率を有する深度ゾーンの画像を捕捉するために、より低い（より高い）振幅を有する光パルスを放射するよう照明源３０４を調整する。さらなる例として、コントローラ３０８は、単一パルスの量がより低い（より高い）光パルスを放射して、対象物（単数または複数）の動きが少ない（大きい）深度ゾーンの画像を捕捉するように照明源３０４を制御する。コントローラ３０８は、繰り返し回数がより少ない（多い）光パルスを放射して、対象物（単数または複数）の動きが少ない（大きい）深度ゾーンの画像を捕捉するように照明源３０４を制御する。深度ゾーンに含まれる異なる対象物の画像は、同じ照明下で対象物の距離および／または反射率により異なる輝度を有し得る。明るさの差が撮像装置３０６のダイナミックレンジを超える場合、明るい対象物（単数または複数）の画像が飽和する。さらに別の例として、コントローラ３０８は、単一パルスの量がより低い（より高い）光パルスを放射して、より低い（より高い）解像度の画像を捕捉するように照明源３０４を調整する。

【0050】

コントローラ３０８は、画像品質を保証するために１つまたは複数の照明パラメータをさらに決定することができる。コントローラ３０８は、捕捉された画像の画質（例えば、ノイズ、コントラスト、シャープネスなど）を分析する。例えば、コントローラ３０８は、捕捉された画像を分析してノイズ測定値（例えば、ガウスノイズ、ごま塩ノイズ（ｓａｌｔ ａｎｄ ｐｅｐｐｅｒ ｎｏｉｓｅ）、ショットノイズ、量子化ノイズ、フィルムグレインなど）を決定し、ノイズ測定値が閾値を下回ることを確実にする照明パラメータ（単数または複数）を決定する。別の例として、コントローラは、測定された画像の信号対雑音比（ＳＮＲ）を決定し、ＳＮＲが閾値を上回ることを確実にする照明パラメータ（単数または複数）を決定する。さらなる例として、コントローラ３０８は、捕捉された画像を分析してコントラスト測度値（例えば、輝度コントラスト、色コントラスト）を決定し、コントラスト測定値が閾値を上回ることを確実にする照明パラメータ（単数または複数）を決定する。コントローラ３０８は、ノイズ測定値を最小化するために、ＳＮＲを最大にするために、および／または捕捉された画像のコントラスト測定値を最大にするためなど、捕捉された画像の画質を最大にするために照射パラメータ（単数または複数）をさらに決定してもよい。捕捉された画像の画質を向上または高めるために、コントローラ３０８は、より高い振幅、より高い品質の単一パルスのパルス、またはより多くの繰り返し回数を有する光パルスを放射するように照明源３０４を調整する。

【0051】

コントローラ３０８は、例えば、深度ゾーンに対して生成された画像データを分析することによって識別された深度ゾーンを監視する。対象物は移動し得るため、コントローラ３０８は、識別された対象物を監視し、決定された深度ゾーンを調整する。例えば、対象物が移動したと判定したことに応答して、コントローラ３０８は、対象物の更新された距離を決定し、更新された距離を用いて１つまたは複数の深度ゾーンを調整する。例えば、コントローラ３０８は、対象物が深度ゾーンの最も近方対象物または最も遠方対象物になることを決定することによって、識別された対象物が属する深度ゾーンの近方境界および／または遠方境界を調整することができる。コントローラ３０８は、対象物が新規の深度ゾーンの所定の距離範囲内に移動するときに、新規の深度ゾーンをさらに生成することができる。コントローラ３０８は、最後の対象物が深度ゾーンの所定の距離範囲外に移動するときに深度ゾーンを除去することができる。

【0052】

コントローラ３０８は、深度ゾーンの画像を捕捉するために、調整された深度ゾーンに基づいて撮像装置３０６および照明源３０４を調整することをさらに調整することができる。即ち、コントローラ３０８は、深度ゾーンの画像を取得するために、１つまたは複数の照明パラメータおよび／または１つまたは複数の露光パラメータを調整することができる。このようにして、照明源３０４が起動されると、照明源３０４は、撮像装置３０６が積分ウィンドウ（単数または複数）を同期させるために、撮像装置３０６に関して任意の所定のまたは決定された関心のある範囲に単一または一連のパルスを送ることができる。これにより、ユーザの眼に安全な入手可能なパルスのＬＥＤまたはレーザ技術を依然として利用しながら、（撮像装置３０６の所定のダイナミックレンジ内にある）受信信号をより細かく制御することが可能になる。次に、撮像装置３０６は、任意の所与のフレームにおける関心のある１つまたは複数の範囲に適した積分ウィンドウを同期させ、１つまたは複数の関心領域の各々に関連する各パルスに関連する時間に光を記録／収集することができる。これは、全てが（現在のＣＣＤまたはＣＭＯＳアーキテクチャにおける）検出器のアナログ領域にある任意のフレームに対して、任意のパルスウィンドウで複数回の電荷合計をサポートする。これにより、可能性のあるデジタルノイズまたは読み取りノイズが最小限に抑えられ、パルス間の周囲信号（ノイズ源）を積算することなく関心のある信号を増大させる。

【0053】

各画像または画像データは、特定の深度ゾーンに関連付けることができる。画像データは、１つまたは複数の識別された対象物を含むことができる。深度ゾーンに関連する所与の画像データに対して、コントローラ３０８は、関連する深度ゾーン内の対象物に対応する所与の画像データ内のピクセル値を決定する。コントローラ３０８は、深度ゾーンに関する深度情報を深度ゾーンに対応するピクセル値に関連付けて、部分的に拡張された画像を生成する。部分的に拡張された画像は、局所領域内のいくつかの（しかし全てではない）深度ゾーンの画像データを含む。コントローラ３０は、局所領域３１０内の深度ゾーン（例えば、近方３５０、中間３５２、および遠方３５４）の各々に対して部分的に拡張された画像を生成し、かつ部分的に拡張された画像を、局所領域の撮像された部分に関する深度情報を含む拡張された画像と合成し得る。いくつかの実施形態では、拡張された画像および／または部分的に拡張された画像は、局所領域３１０のＲＧＢ画像と合成され得る。画像データは、部分的に拡張された画像を生成するために使用され、いくつかの実施形態では、部分的に拡張された画像および／または拡張された画像は、画像データを生成するために使用される、例えば照明パラメータおよび／または露光パラメータなどを記述するメタデータを含む。別の実施形態では、コントローラ３０８は、各ピクセルに関連する深度情報を維持しながら、部分的に拡張された画像（全ての深度ゾーンに対する）を統合することによって局所領域３１０の拡張された画像を生成する。コントローラ３０８は、拡張現実コンソール１１０に拡張された画像を提供する。

【0054】

図４は、１つまたは複数の深度ゾーンを含む局所領域の画像データを捕捉する例示的なＤＣＡ１２０を示す。ＤＣＡ１２０は、局所領域を走査し、第１の近方対象物４０４、第２の近方対象物４０６、および遠方対象物４０８を識別する。ＤＣＡ１２０は、ＤＣＡ１２０からの各対象物の位置および距離をも決定する。さらに、ＤＣＡ１２０は、ユーザに対する各対象物の反射率および／または動きを決定することができる。例えば、識別された対象物の距離に基づいて、ＤＣＡ１２０は、シーンを、（１）第１の近距離対象物４０４および第２の近距離対象物４０６を含む近方深度ゾーン４０２と、（２）遠距離対象物４０８を含む遠方深度ゾーン４０３とに分割する。

【0055】

ＤＣＡ１２０は、ある深度ゾーンの画像を一度に捕捉し、異なる深度ゾーンの画像を異なる時間に捕捉する。ｔ_１において、ＤＣＡ１２０は、単一の光パルス４１４を放射して、近方深度ゾーン４０２の画像を捕捉する。ＤＣＡ１２０は、近方深度ゾーン４０２、第１および第２の近方対象物４０４，４０６、および／または画像解像度に基づいて光パルス４１４の１つまたは複数の照明パラメータを決定し得る。例えば、ＤＣＡ１２０は、光パルス４１４が１つの単一光パルスを含み、かつｔ_１－ｔ_２のパルス幅を有すると判定する。ＤＣＡ１２０は、１つまたは複数の露光パラメータを決定して、近方深度ゾーン４０２からの画像データを生成する。ＤＣＡ１２０は、近方深度ゾーン４０２の近方境界４０５に基づいて、ｔ_３を露光開始時間として決定し、ｔ_３で反射光パルス４２４を捕捉するように撮像装置を調整する。反射光パルス４２４は、近距離対象物４０４から反射された光パルス４１４である。ｔ_１からｔ_３までの期間は、光パルス４１４がＤＣＡ１２０から近方深度ゾーン４０２の近方境界４０５に移動し、ＤＣＡ１２０に戻るのに要する期間である。即ち、ｔ_１からｔ_３までの期間の半分がＤＣＡ１２０から近方境界４０５への距離に対応する。さらに、ＤＣＡ１２０は、露光期間を決定する。近方深度ゾーン４０２に関する画像データを捕捉する際に、露光期間は、近方境界４０５と遠方境界４０７との間の距離に対応する。反射光パルス４２６は、近方対象物４０６から反射された光パルス４１４である。ｔ_３からｔ_４までの期間は、光パルス４１４の立ち上がりエッジが近方境界４０５に到達する第１の時点と、光パルス４１４の立ち下がりエッジが遠方境界４０７に到達する第２の時点との間の期間である。

【0056】

近方深度ゾーン４０２に対して、ＤＣＡ１２０は、決定された露光開始時間及び露光期間を用いて画像データを生成する。近方深度ゾーン４０２は、近方深度ゾーン４０２（または近方深度ゾーン４０２内のある点）までの距離に対応する深度情報に関連付けられている。ＤＣＡ１２０は、画像データ内の対象物のピクセル値を、近方深度ゾーン４０２に関連する深度情報にマッピングすることによって部分的に拡張された画像を生成する。

【0057】

次に、ＤＣＡ１２０は、遠方深度ゾーン４０３に対して焦点をシフトする。ｔ_５において、ＤＣＡ１２０は、遠方深度ゾーン４０３の画像を捕捉するために単一の光パルス４１８を放射する。ＤＣＡ１２０は、遠方深度ゾーン４０３、遠方対象物４０８、および／または画像解像度に基づいて光パルス４１８の１つまたは複数の照明パラメータを決定する。例えば、ＤＣＡ１２０は、光パルス４１８が１つの単一光パルスを含み、かつｔ_５－ｔ_６のパルス幅を有すると判定する。ＤＣＡ１２０は、遠方深度ゾーン４０３からの画像データを生成するための１つまたは複数の露光パラメータを決定する。遠方深度ゾーン４０３の近方境界４０９に基づいて、ＤＣＡ１２０は、ｔ_７を露光開始時間として決定し、ｔ_７で反射光パルス４２８を捕捉するように撮像装置を調整する。反射光パルス４２８は、遠方対象物４０８から反射される光パルス４１８である。時間ｔ_５から時間ｔ_７までの期間は、光パルス４１８がＤＣＡ１２０から遠方深度ゾーン４０３の遠方境界４１０に移動し、ＤＣＡ１２０に戻るのに要する期間である。さらに、ＤＣＡ１２０は、露光期間を決定する。遠方深度ゾーン４０３に関する画像データを捕捉する際に、露光期間は、近方境界４０９と遠方境界４１０との間の距離に対応する。期間ｔ_７～ｔ_８は、光パルス４１８の立ち上がりエッジが近方境界４０９に到達する第１の時点と、光パルス４１８の立ち下がりエッジが遠方境界４１０に到達する第２の時点との間の期間である。

【0058】

遠方深度ゾーン４０３に対して、ＤＣＡ１２０は、決定された露光開始時間および露光期間を用いて画像データを生成する。遠方深度ゾーン４０３は、遠方深度ゾーン４０３（または遠方深度ゾーン４０３内のある点）までの距離に対応する深度情報に関連付けられている。ＤＣＡ１２０は、画像データ内の対象物のピクセル値を、遠方深度ゾーン４０３に関連する深度情報にマッピングすることによって別の部分的に拡張された画像を生成する。

【0059】

ＤＣＡ１２０は、部分的に拡張された画像の両方を使用して拡張された画像を生成する。ＤＣＡ１２０は、部分的に拡張された画像を、局所領域の撮像された部分（即ち、近方深度ゾーン４０２および遠方深度ゾーン４０３）に関する深度情報を含む拡張された画像と合成する。いくつかの実施形態では、拡張された画像および／または部分的に拡張された画像は、局所領域３１０のＲＧＢ画像と合成されてもよい。ＤＣＡ１２０は、照明源に対する空間変調信号を用いて動作して、（三角測量、または照明器とカメラとの間の既知のベースライン距離を利用して深度計算を測定する）構造化光深度検索法を提供し得る。これにより、システムは、時間的に（説明したように、フレームごとに単一または複数のパルス光）および空間的に変調された光源の両方で動作し、深度検索推定をリファインすることが可能になる。

【0060】

上記の例では、所与の深度ゾーンに対して、部分的に拡張された画像を生成するために単一パルスが主に使用されることに留意されたい。しかしながら、別の実施形態では、深度ゾーンに関連する画像データを読み取る前に、所与の深度ゾーンに対して複数のパルスが放射される。これは、連続するパルスからの光がノイズのない状態で加えられるので、所与の深度ゾーンにおける画像データに関連する信号強度を改善する。次いで、ＤＣＡ１２０は、複数のパルス（例えば、１００パルス）を使用して生成された深度ゾーンに関連する画像データを読み出すことができる。改善された信号強度は、低反射率の対象物および／またはＤＣＡ１２０から離れた対象物に対する正確な画像データを捕捉するのに有用である。

【0061】

図５は、一実施形態による、拡張された画像を生成するプロセスのフロー図を示す。図５のプロセスは、ＤＣＡ１２０によって実行され得る。他のエンティティは、他の実施形態において、プロセスのステップの一部または全部を実行してもよい。同様に、実施形態は、異なるステップおよび／または追加のステップを含むことができ、または異なる順序でステップを実行することができる。

【0062】

ＤＣＡは、局所領域内の１つまたは複数の深度ゾーンを決定する（５０２）。各深度ゾーンは、異なる深度情報（例えば、含まれる対象物（単数または複数）およびＤＣＡ１２０への個々の距離）を有する。ＤＣＡは、局所領域に含まれる対象物を識別し、識別された各対象物のＤＣＡまでの距離を決定する。さらに、ＤＣＡは、識別された対象物の決定された距離に基づいて局所領域を１つまたは複数の深度ゾーンに分割する。

【0063】

ＤＣＡは、１つまたは複数の対象物を含む１つまたは複数の深度ゾーンのある深度ゾーンを照明する（５０４）。ＤＣＡは、深度ゾーンを照明するために光パルスを放射するように照明源を調整する。ＤＣＡは、１つまたは複数の照明パラメータ（例えば、パルス幅、振幅、周波数、含まれるパルスの量、および／または波長）を決定し、決定された照明パラメータに従って照明源を調整する。ＤＣＡは、深度ゾーン、深度ゾーンに含まれる対象物（単数または複数）、および／または画像解像度に基づいて１つまたは複数の照明パラメータを決定する。一実施形態では、ＤＣＡは、幅が６ナノ秒以下の光パルスを放射する。

【0064】

ＤＣＡは、深度ゾーン内の対象物から反射された光を捕捉して、深度ゾーンの画像データを生成する（５０６）。ＤＣＡは、照明源によって放射された光パルスによって照射されたことに応答して、深度ゾーン内の対象物から反射された光を捕捉するように撮像装置を調整する。ＤＣＡは、１つまたは複数の露光パラメータ（例えば、開始時間、期間など）を決定し、決定された照明パラメータに従って撮像装置を調整する。ＤＣＡは、深度ゾーンおよび／または放射された対応する光パルスに基づいて１つまたは複数の露光パラメータを決定する。生成された画像データは、深度ゾーンの画像のピクセルに関するピクセル値（例えば、ＲＧＢ値）を含む。ＤＣＡは、生成された画像データに基づいて深度ゾーンを監視する。ＤＣＡは、１つまたは複数の照明パラメータ、１つまたは複数の露光パラメータ、深度ゾーンの近方境界および／または深度ゾーンの遠方境界を調整し、それに応じて深度ゾーンの照明を調整する。

【0065】

ＤＣＡは、例えば、ＤＣＡの範囲内で、またはそのサンプリングの基準および関心場所の対象物についての以前のデータセットからの情報に基づいて、識別されたすべての深度ゾーンに関する画像データを生成したかどうかを判定する（５０６）。識別されたすべての深度ゾーンの画像データが生成されていない場合、プロセスフローは５０４に移動し、異なる深度ゾーンが照明される。

【0066】

全ての識別された深度ゾーンについて画像データが生成されたと判定したことに応答して、ＤＣＡは、識別された全ての深度ゾーンの画像データ及び深度情報に基づいて深度ゾーンの拡張された画像を生成する（５０８）。ＤＣＡは、異なる深度ゾーンに関連する画像データについて部分的に拡張された画像を決定し、部分的に拡張された画像データを拡張された画像と合成する。ＤＣＡは、さらなる処理のために、局所領域の拡張された画像をＡＲコンソールに提供する（５１０）。

【0067】

追加の構成情報
本開示の実施形態に関する前述の説明は、例示のために提示されたものであり、網羅的であること、または開示された正確な形態に本開示を限定することを意図するものではない。当業者であれば、上記の開示を参照して多くの変更および変形が可能であることを理解することができる。

【0068】

この説明のいくつかの部分は、情報の処理のアルゴリズムおよび記号表現に関して本開示の実施形態を説明する。これらのアルゴリズムの説明および表現は、データ処理技術の当業者が仕事の内容を他の当業者に効果的に伝えるために一般的に使用するものである。これらの処理は、機能的に、計算的に、または論理的に記述されているが、コンピュータプログラムまたは同等の電気回路、マイクロコードなどによって実現されることが理解される。さらに、これらの処理の方法をモジュールとして参照することは、一般性を失うことなく、時には便利であることが実証されている。記載された処理およびそれらに関連するモジュールは、ソフトウェア、ファームウェア、ハードウェア、またはそれらの任意の組合せで具体化されてもよい。

【0069】

本明細書に記載のステップ、動作、またはプロセスのいずれかは、単独で、または他のデバイスと組合せて、１つまたは複数のハードウェアまたはソフトウェアモジュールで実行または実施することができる。一実施形態では、ソフトウェアモジュールは、記述されたステップ、動作またはプロセスのいずれかまたはすべてを実行するコンピュータプロセッサによって実行されるコンピュータプログラムコードを含むコンピュータ可読媒体を含むコンピュータプログラム製品で実施される。

【0070】

本開示の実施形態はまた、本明細書の動作を実行するための装置に関連してもよい。この装置は、必要な目的のために特別に構成することができ、かつ／またはコンピュータに格納されたコンピュータプログラムによって選択的に作動または再構成された汎用コンピューティング装置を含むことができる。そのようなコンピュータプログラムは、非一時的な有形のコンピュータ可読記憶媒体、またはコンピュータシステムバスに結合することができる電子命令を格納するのに適した任意のタイプの媒体に格納することができる。さらに、本明細書で言及される任意のコンピューティングシステムは、単一のプロセッサを含むか、またはコンピューティング能力が向上された複数のプロセッサ設計を採用するアーキテクチャであってもよい。

【0071】

本開示の実施形態はまた、本明細書に記載のコンピューティングプロセスによって生成される製品に関連してもよい。そのような製品は、情報が非一時的な有形のコンピュータ可読記憶媒体に格納される計算プロセスから生じる情報を含むことができ、かつ本明細書に記載のコンピュータプログラム製品または他のデータの組合せの任意の実施形態を含むことができる。

【0072】

最後に、本明細書で使用される用語は、主に、読みやすさおよび教示目的のために選択されたものであり、本発明の主題を画定または制限するために選択されていない。従って、本開示の範囲は、この詳細な説明ではなく、本明細書に基づいて出願時の任意の特許請求の範囲によって限定されることが意図される。従って、実施形態の開示は、以下の特許請求の範囲に記載されている本開示の範囲に限定するものではなく例示的なものとすることを意図する。

【図1】

【図2】

【図3】

【図4】

【図5】