特表 2024-518893 ３次元撮像システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-05-08

(54)【発明の名称】３次元撮像システム

(51)【国際特許分類】

   G01S 17/894 20200101AFI20240426BHJP

   G01S 7/4863 20200101ALI20240426BHJP

   G01C 3/06 20060101ALI20240426BHJP

   H04N 23/56 20230101ALI20240426BHJP

   H04N 23/698 20230101ALI20240426BHJP

【ＦＩ】

G01S17/894

G01S7/4863

G01C3/06 120Q

G01C3/06 140

H04N23/56

H04N23/698

【審査請求】有

【予備審査請求】有

(21)【出願番号】P 2023565193

(86)(22)【出願日】2022-04-21

(85)【翻訳文提出日】2023-10-31

(86)【国際出願番号】 IB2022000235

(87)【国際公開番号】W WO2022224037

(87)【国際公開日】2022-10-27

(31)【優先権主張番号】17/237,536

(32)【優先日】2021-04-22

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】523398938

【氏名又は名称】ライトコード フォトニックス オーユー

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100226263

【弁理士】

【氏名又は名称】中田 未来生

(72)【発明者】

【氏名】セルゲイ オメルコフ

(72)【発明者】

【氏名】アンドレアス バルドマン

(72)【発明者】

【氏名】ヘリ バルトナ

(72)【発明者】

【氏名】ジャン ボグダノフ

【テーマコード（参考）】

2F112

5C122

5J084

【Ｆターム（参考）】

2F112AD01

2F112CA12

2F112DA02

2F112DA21

2F112DA28

2F112EA05

2F112EA11

2F112FA45

2F112GA01

5C122DA03

5C122DA04

5C122EA61

5C122FA04

5C122FC01

5C122FC02

5C122FH18

5C122GG01

5C122GG21

5C122HB01

5J084AA05

5J084AB07

5J084AB17

5J084AD01

5J084AD02

5J084BA05

5J084BA20

5J084BA36

5J084BA40

5J084CA03

5J084CA20

5J084CA31

5J084CA70

(57)【要約】

シーン内のオブジェクトの距離を判定することによって、３次元撮像のための方法を開示し、該方法は、以下のステップ、すなわち、所定の長さの時間にわたり、１つ以上の光放射デバイスを用いてシーン内のオブジェクトに光を放射するステップと、オブジェクトからの光の複数の反射を受光するステップであって、複数の反射の各々がパターンに対応する１組の反射セットを含み、複数の反射の各々は、シーンのフレームに対する露光時間よりも短い所定の長さの時間にわたり受光され、光子検出器が電気信号を生成するものである、該受光するステップと、所与の電気信号に対応するシーン内のオブジェクトの少なくとも１つの部分の奥行き場所情報を決定するステップと、及びシーン内のオブジェクトの部分の奥行き場所情報から、シーンのフレームの３次元画像を生成するステップと、を備える。一実施形態において、複数の反射は、光子検出器によって受光される一連の光パターンを放射することによって生起する。代案的実施形態において、複数の反射は、単独の光放射によって生起するが、放射が光子検出器の異なる部分で受光され、感度パターンと称される光子検出器パターンを作り出すよう光子検出器を変更される。各光子検出器は、互いに独立したものであり得る多重の感度領域（301, 302, 303）を含み、また各感度領域が、他の感度領域及び／又は光子検出器と比較して独立した電気信号を生成する。
【選択図】図３

【特許請求の範囲】

【請求項1】

シーン内のオブジェクトの距離を決定することによって３次元撮像するための方法であって、該方法は、
撮像システムの光放射デバイスを使用して、光をシーン内のオブジェクトに所定の長さの時間にわたり放射するステップと、
前記撮像システムの少なくとも1つの光子検出器で前記オブジェクトからの前記光の複数の反射を受光するステップであり、前記複数の反射の各々は、1組の反射セットを含み、前記シーンのフレームの露光時間よりも短い所定の長さの時間にわたり受光され、前記少なくとも1つの光子検出器は、前記複数の反射の各々を受光することに応答して電気信号を生成する少なくとも1つの感度領域を含む、該受光するステップであり、
前記光子検出器の前記少なくとも1つの感度領域の各々は、各々が少なくとも1つのピクセルレベル電気信号を生成する複数のピクセルレベル感度領域を含み、前記電気信号を生成するステップは、前記少なくとも1つの感度領域の所与の範囲内で生成される前記ピクセルレベル電気信号を集約するステップを含むものである、該受光するステップと、
所与の前記電気信号の特性から、前記所与の前記電気信号に対応する前記シーン内の前記オブジェクトの少なくとも一部分の奥行き場所情報を決定するステップと、及び
前記シーン内の前記オブジェクトの部分の前記奥行き場所情報から、前記シーンの前記フレームの３次元画像を生成するステップと、
を備える、方法。

【請求項2】

請求項１に記載の方法において、前記特性はタイムスタンプを含み、前記タイムスタンプは、前記オブジェクトへの前記光の前記放射の時刻を考慮して、前記光子検出器における前記少なくとも１つの反射の到達時刻に基づいて生成される、方法。

【請求項3】

請求項１に記載の方法において、前記複数のピクセルレベル感度領域の各々の感度は、前記複数のピクセルレベル感度領域における他のピクセルレベル感度領域の感度から独立して制御可能である、方法。

【請求項4】

請求項３に記載の方法において、前記複数のピクセルレベル感度領域の各々の前記感度は、バイアス及び供給電圧の少なくとも１つの制御を介して独立して制御される、方法。

【請求項5】

請求項３に記載の方法において、前記複数のピクセルレベル感度領域の各々の前記感度を制御するステップは、前記複数のピクセルレベル感度領域の所与の前記ピクセルレベル電気信号の増幅係数及び減衰係数のうちの少なくとも一方を制御するステップを含む、方法。

【請求項6】

請求項１に記載の方法において、前記受光するステップは、前記少なくとも１つの光子検出器で、複数の感度パターンを生成するステップを含み、各感度パターンは、ゼロ以外の値に設定されている少なくとも１つの前記ピクセルレベル感度領域の感度を含み、各感度パターンは他の前記感度パターンと異なるものであり、また各感度パターンは、前記シーンの前記フレームの前記露光時間よりも短い前記所定の長さの時間にわたり前記光子検出器上で露光される、方法。

【請求項7】

請求項６に記載の方法において、前記３次元画像を前記生成するステップは、前記複数の感度パターンの各々に応答して前記光子検出器によって生成される前記電気信号から決定される奥行き場所情報を組み合わせるステップを含む、方法。

【請求項8】

請求項６に記載の方法において、所与の前記感度パターンに応答する前記光子検出器によって生成される電気信号は、前記所与の前記感度パターンとは別の感度パターンに応答する前記光子検出器によって生成される電気信号とは別個に処理される、方法。

【請求項9】

請求項１に記載の方法において、前記ピクセルレベル感度領域の各々は、各々が少なくとも１つのマイクロピクセル電気信号を生成する複数のマイクロピクセルを含み、また
前記ピクセルレベル電気信号を前記生成するステップは、所与の前記ピクセルレベル感度領域内で生成されるマイクロピクセル電気信号を集約するステップを含む、方法。

【請求項10】

請求項１に記載の方法において、前記放射するステップは、複数のパターンの光を前記オブジェクトに放射するステップを含み、また
前記複数のパターンの各々は、前記シーンのフレームの露光時間よりも短い前記所定の長さの時間にわたり放射される、方法。

【請求項11】

請求項１に記載の方法において、前記３次元画像の解像度は、前記撮像システムの前記感度領域の数よりも大きい、方法。

【請求項12】

シーン内のオブジェクトの距離を決定することによって３次元撮像をするための撮像システムであって、該撮像システムは、
少なくとも１つの光放射デバイスと、
少なくとも１つの光子検出器と、
１つ以上のプロセッサと、
命令を格納するメモリデバイスであって、前記命令は前記１つ以上のプロセッサによって実行可能であり、
撮像システムの前記少なくとも１つの光放射デバイスを使用して、光をシーン内のオブジェクトに所定の長さの時間にわたり放射するステップ、
前記撮像システムの少なくとも1つの光子検出器で前記オブジェクトからの前記光の複数の反射を受光するステップであり、前記複数の反射の各々は、１組の反射セットを含み、また前記シーンのフレームの露光時間よりも短い所定の長さの時間にわたり受光され、前記少なくとも1つの光子検出器は、前記複数の反射の各々を受光することに応答して電気信号を生成する少なくとも1つの感度領域を含む、該受光するステップであり、
前記光子検出器の前記少なくとも1つの感度領域の各々は、各々が少なくとも1つのピクセルレベル電気信号を生成する複数のピクセルレベル感度領域を含み、電気信号を前記生成するステップは、所与の前記少なくとも1つの感度領域内で生成される前記ピクセルレベル電気信号を集約するステップを含むものである、該受光するステップ、
所与の前記電気信号の特性から、前記所与の前記電気信号に対応する前記シーン内の前記オブジェクトの少なくとも一部分の奥行き場所情報を決定するステップ、及び
前記シーン内の前記オブジェクトの部分の前記奥行き場所情報から、前記シーンのフレームの３次元画像を生成するステップ、
を行わせる前記命令を格納する、該メモリデバイスと、
を備える、撮像システム。

【請求項13】

請求項１２に記載の撮像システムにおいて、前記特性はタイムスタンプを含み、前記タイムスタンプは、前記オブジェクトへの前記光の前記放射の時刻を考慮して、前記光子検出器における前記少なくとも１つの反射の到達時刻に基づいて生成される、撮像システム。

【請求項14】

請求項１２に記載の撮像システムにおいて、前前記複数のピクセルレベル感度領域の各々の感度は、前記複数のピクセルレベル感度領域における他のピクセルレベル感度領域の感度から独立して制御可能であり、また、前記複数のピクセルレベル感度領域の各々の前記感度を制御するステップは、前記複数のピクセルレベル感度領域の所与の前記ピクセルレベル電気信号の増幅係数及び減衰係数のうちの少なくとも一方を制御するステップを含む、撮像システム。

【請求項15】

請求項１４に記載の撮像システムにおいて、前記複数のピクセルレベル感度領域の各々の前記感度は、バイアス及び供給電圧の少なくとも１つの制御を介して独立して制御される、撮像システム。

【請求項16】

請求項１２に記載の撮像システムにおいて、受光するステップは、前記少なくとも１つの光子検出器で、複数の感度パターンを生成するステップを含み、各感度パターンは、ゼロ以外の値に設定されている少なくとも１つの前記ピクセルレベル感度領域の感度を含み、各感度パターンは他の前記感度パターンと異なるものであり、また各感度パターンは、前記シーンの前記フレームの前記露光時間よりも短い前記所定の長さの時間にわたり前記光子検出器上で露光される、撮像システム。

【請求項17】

請求項１６に記載の撮像システムにおいて、３次元画像を生成するステップは、前記複数の感度パターンの各々に応答して前記光子検出器によって生成される前記電気信号から決定された奥行き場所情報を組み合わせるステップを含む、撮像システム。

【請求項18】

請求項１６に記載の撮像システムにおいて、所与の前記感度パターンに応答して前記光子検出器によって生成される電気信号は、前記所与の前記感度パターンとは別の感度パターンに応答して前記光子検出器によって生成される電気信号とは別個に処理される、撮像システム。

【請求項19】

請求項１２に記載の撮像システムにおいて、放射するステップは、複数のパターンの光を前記オブジェクトに放射するステップを含み、また
前記複数のパターンの各々は、前記シーンのフレームの露光時間よりも短い前記所定の長さの時間にわたり放射される、撮像システム。

【請求項20】

シーン内のオブジェクトの距離を決定することによって３次元撮像するための方法であって、該方法は、
撮像システムの光放射デバイスを使用して、光をシーン内のオブジェクトに所定の長さの時間にわたり放射するステップと、
前記撮像システムの少なくとも1つの光子検出器で前記オブジェクトからの前記光の複数の反射を受光するステップであり、前記複数の反射の各々は、１組の反射セットを含み、前記シーンのフレームの露光時間よりも短い所定の長さの時間にわたり受光されるものである、該受光するステップであり、
前記少なくとも１つの光子検出器は、前記複数の反射の各々の受光に応答して電気信号を生成する少なくとも１つの感度領域を含み、前記光子検出器の前記少なくとも1つの感度領域の各々は、各々が少なくとも1つのピクセルレベル電気信号を生成する複数のピクセルレベル感度領域を含み、前記複数のピクセルレベル感度領域の各々の感度は、前記複数のピクセルレベル感度領域の他の感度から独立して制御可能であり、また電気信号を前記生成するステップは、所与の前記少なくとも１つのピクセルレベル感度領域内で生成される前記ピクセルレベル電気信号を集約するステップを含むものである、該受光するステップであり、
前記受光するステップは、前記少なくとも１つの光子検出器で、複数の感度パターンを生成するステップを含み、各感度パターンは、ゼロ以外の値に設定されている少なくとも１つの前記ピクセルレベル感度領域の感度を含み、各感度パターンは、前記シーンの前記フレームの前記露光時間よりも短い前記所定の長さの時間にわたり前記光子検出器上で露光される、該受光するステップと、
所与の前記電気信号の特性から、前記所与の前記電気信号に対応する前記シーン内の前記オブジェクトの少なくとも一部の奥行き場所情報を決定するステップと、及び
前記シーン内の前記オブジェクトの部分の前記奥行き場所情報から、前記シーンの前記フレームの３次元画像を生成するステップであり、前記３次元画像を生成するステップは、前記複数の感度パターンの各々に応答して前記光子検出器によって生成される前記電気信号から決定される奥行き場所情報を組み合わせるステップと、
を備える、方法。

【発明の詳細な説明】

【技術分野】

【0001】

［優先権主張］
本出願は、２０２１年４月２２日に出願され、「３次元撮像システム（THREE-DIMENSIONAL IMAGING SYSTEM）」と題された米国特許出願第１７／２３７，５３６号の優先権を主張するものであり、その内容は参照によりその全体が本明細書に組み込まれる。

【背景技術】

【0002】

３次元画像を生成するためには、画像は、フレーム又は画像内のオブジェクトの水平及び垂直位置情報を含むだけでなく、奥行き位置情報も含むものでなければならない。奥行き位置情報は、ユーザ又は見る者がフレーム又は画像の３次元的な態様を知覚することを可能にするものである。かくして、３次元画像を生成する際、特に、現実世界の物体、場所、人物、シーン等から、画像処理システムは、フレーム又は画像に含まれるであろうオブジェクト（例えば、風景の特徴、人物、動物、ランドマーク、物等）の奥行き位置情報を捕捉しなければならない。

【発明の概要】

【0003】

要約すると、１つの態様は、シーン内のオブジェクトの距離を決定することによって３次元撮像するための方法を提供し、本方法は、以下のステップ、すなわち、撮像システムの光放射（発光）デバイス（ light emitting device）を使用して、光をシーン内のオブジェクトに所定の長さの時間にわたり放射するステップと、前記撮像システムの少なくとも1つの光子検出器で前記オブジェクトからの前記光の複数の反射を受光するステップであり、前記複数の反射の各々は、１組の反射セットを含み、前記シーンのフレームの露光時間よりも短い所定の長さの時間にわたり受光され、前記少なくとも1つの光子検出器は、前記複数の反射の各々を受光することに応答して電気信号を生成する少なくとも1つの感度領域を含む、該受光するステップであり、前記光子検出器の前記少なくとも1つの感度領域の各々は、各々が少なくとも1つのピクセルレベル電気信号を生成する複数のピクセルレベル感度領域を含み、前記電気信号を生成するステップは、前記少なくとも1つの感度領域の所与の範囲内で生成される前記ピクセルレベル電気信号を集約するステップを含むものである、該受光するステップと、所与の前記電気信号の特性から、前記所与の前記電気信号に対応する前記シーン内の前記オブジェクトの少なくとも一部分の奥行き場所情報を決定するステップと、及び前記シーン内の前記オブジェクトの部分の前記奥行き場所情報から、前記シーンの前記フレームの３次元画像を生成するステップと、を備える。

【0004】

シーン内のオブジェクトの距離を決定することによって３次元撮像をするための撮像システムを提供し、本撮像システムは、少なくとも１つの光放射デバイスと、少なくとも１つの光子検出器と、１つ以上のプロセッサと、命令を記憶するメモリデバイスであって、前記命令は前記１つ以上のプロセッサによって以下を実行可能であり、撮像システムの前記少なくとも１つの光放射デバイスを使用して、光をシーン内のオブジェクトに所定の長さの時間にわたり放射するステップ、前記撮像システムの少なくとも1つの光子検出器で前記オブジェクトからの前記光の複数の反射を受光するステップであり、前記複数の反射の各々は、１組の反射のセットを含み、また前記シーンのフレームの露光時間よりも短い所定の長さの時間にわたり受光され、前記少なくとも1つの光子検出器は、前記複数の反射の各々を受光することに応答して電気信号を生成する少なくとも1つの感度領域を含む、該受光するステップであり、前記光子検出器の前記少なくとも1つの感度領域の各々は、各々が少なくとも1つのピクセルレベル電気信号を生成する複数のピクセルレベル感度領域を含み、電気信号を前記生成するステップは、所与の前記少なくとも1つの感度領域内で生成される前記ピクセルレベル電気信号を集約するステップを含むものである、該受光するステップ、所与の前記電気信号の特性から、前記所与の前記電気信号に対応する前記シーン内の前記オブジェクトの少なくとも一部分の奥行き場所情報を決定するステップ、及び、前記シーン内の前記オブジェクトの部分の前記奥行き場所情報から、前記シーンのフレームの３次元画像を生成するステップ、を行わせる前記命令を格納する、該メモリデバイスと、を備える。

【0005】

さらなる態様は、シーン内のオブジェクトの距離を決定することによって３次元撮像するための方法を提供し、本方法は、撮像システムの光放射デバイスを使用して、光をシーン内のオブジェクトに所定の長さの時間にわたり放射するステップと、前記撮像システムの少なくとも1つの光子検出器で前記オブジェクトからの前記光の複数の反射を受光するステップであり、前記複数の反射の各々は、１組の反射セットを含み、前記シーンのフレームの露光時間よりも短い所定の長さの時間にわたり受光されるものである、該受光するステップであり、前記少なくとも１つの光子検出器は、前記複数の反射の各々の受光に応答して電気信号を生成する少なくとも１つの感度領域を含み、前記光子検出器の前記少なくとも1つの感度領域の各々は、各々が少なくとも1つのピクセルレベル電気信号を生成する複数のピクセルレベル感度領域を含み、前記複数のピクセルレベル感度領域の各々の感度は、前記複数のピクセルレベル感度領域の他の感度から独立して制御可能であり、また電気信号を前記生成するステップは、所与の前記少なくとも１つのピクセルレベル感度領域内で生成される前記ピクセルレベル電気信号を集約するステップを含むものである、該受光するステップであり、前記受光するステップは、前記少なくとも１つの光子検出器で、複数の感度パターンを生成するステップを含み、各感度パターンは、ゼロ以外の値に設定されている少なくとも１つの前記ピクセルレベル感度領域の感度を含み、各感度パターンは、前記シーンの前記フレームの前記露光時間よりも短い前記所定の長さの時間、前記光子検出器上で露光される、該受光するステップと、所与の前記電気信号の特性から、前記所与の前記電気信号に対応する前記シーン内の前記オブジェクトの少なくとも一部の奥行き場所情報を決定するステップと、及び前記シーン内の前記オブジェクトの部分の前記奥行き場所情報から、前記シーンの前記フレームの３次元画像を生成するステップであって、前記３次元画像を生成するステップは、前記複数の感度パターンの各々に応答して前記光子検出器によって生成される前記電気信号から決定される奥行き場所情報を組み合わせるステップと、を備える。

【0006】

上述したところは要約であり、またしたがって、簡略化、一般化、及び詳細の省略が含まれている場合がある。その結果として、当業者は、要約が例示的なものであり、いかなる意味においても限定的であることを意図するものではないことを理解するであろう。

【0007】

実施形態のより良い理解のために、その他のさらなる特徴及び利点とともに、添付の図面と併せて以下の記載を参照する。本発明の範囲は、添付の特許請求の範囲において指し示される。

【図面の簡単な説明】

【0008】

【図1】撮像システム内の光子検出器によって生成された電気信号から識別された奥行き位置情報から３次元画像を生成するための例示的な方法を図示する。

【図2】例示的な光子検出器の設計を図示する。

【図3】マクロピクセル出力設計の例示的な簡略化された回路を図示する。

【図4】マクロピクセル出力設計の例示的な簡略化された回路を図示する。

【図5】デバイス回路の例を図示する。

【発明を実施するための形態】

【0009】

本明細書の図に一般的に記載及び図示されているように、実施形態の構成要素は、記載された例示的な実施形態に加えて、多種多様な異なる構成で配列及び設計され得ることが容易に理解されるであろう。このように、図に表されるような例示的な実施形態のより詳細な以下の記載は、特許請求をされているような実施形態の範囲を限定することを意図するものではなく、例示的な実施形態を単に代表するものである。

【0010】

本明細書全体を通して「１つの実施形態（one embodiment）」又は「一実施形態（an embodiment）」（又は同様のもの）への言及は、実施形態に関係して記載される特定の特徴、構造、又は特性が、少なくとも１つの実施形態に含まれることを意味する。このように、本明細書を通じて様々な箇所における「１つの実施形態において（in one embodiment）」又は「一実施形態において（in an embodiment）」などの表現の出現は、必ずしも全てが同じ実施形態を指しているわけではない。

【0011】

さらに、記載された特徴、構造、又は特性は、１つ以上の実施形態において任意の好適な方法で組み合わせることができる。以下の説明では、実施形態の熟知を与えるために、多数の具体的な詳細が提供される。しかしながら、関連技術分野の当業者であれば、様々な実施形態は、具体的な詳細の１つ以上がなくても、又は他の方法、構成要素、材料などと共に実施することができることを認識するであろう。他の例では、よく知られた構造、材料、又は動作は、難読化を避けるために詳細に示されず、記載されない。

【0012】

シーンから奥行き位置情報を捕捉するには、オブジェクト又はオブジェクトの一部が、既知の位置を有する特定の場所又は基準点からどの程度離れているかを決定する必要がある。例えば、シーン及び奥行き位置情報を捕捉している撮像システムは、奥行き位置情報を識別するための基準として使用される撮像システムの他の構成要素に対して既知の位置を有する特定のデバイスを含むことができる。このように、システムは、基準点に対するシーン内のオブジェクト又はオブジェクトの一部の距離を決定するために距離決定技術を使用する。奥行き位置情報を収集するシステムは、多くの異なる構成要素を含むことができ、追加の処理能力を必要とし、そして、非常に複雑になり得る。生じる画像又はフレームの所望の解像度が高くなるにつれて、システムはますます複雑になる。

【0013】

シーン内のオブジェクト又はオブジェクトの部分間の距離を判定するための１つの技術は、飛行時間距離決定アルゴリズムを使用することである。このタイプのアルゴリズムを使用するには、信号をオブジェクト又はオブジェクトの一部に向け、信号が基準点に戻るまでの時間の長さを決定する必要がある。言い換えれば、システムは、信号の放射から信号の反射の受信の間にかかる時間を決定する。それから、システムは数式を使用して、オブジェクト又はオブジェクトの部分が基準点からどの程度離れているかを決定することができる。具体的には、信号の速度と、信号の反射を受信するのにかかる時間の長さを知ることにより、システムは、信号及びその結果生じる反射が進んだ距離を決定することができ、かつ、それゆえに、オブジェクト又はオブジェクトの一部が基準の場所からどの程度離れているかを決定することができる。

【0014】

距離を計算するための数学はかなり簡単である一方、システムを実装するために必要なコンポーネントは複数のコンポーネントを含む。奥行き位置情報を決定することができる従来のシステムの１つは、伝統的撮像システムと呼ばれる。このシステムは、反射信号を受信し、信号を処理し、信号にタイムスタンプを付ける多数の光検出器を含む。このタイプの伝統的システムにおける光検出器の数は、所望の解像度に相当する。このように、所望の解像度が高くなるにつれて、より多くの光検出器が必要となる。しかしながら、光検出器の数が多いため、各光検出器はシーンの一部をカバーすることができ、シーン全体からの反射信号を捕捉するための追加コンポーネントは必要ない。この問題点は、各光検出器から受信した信号を個別に処理することであり、それにより、撮像システムの処理要件が増大することである。加えて、信号にタイムスタンプを付けることは、タイムスタンプ回路を必要とする。かくして、各光検出器に対してタイムスタンプ回路が必要となり、それにより、システムの全体的なコスト、システムの消費電力、及びシステムの処理要件が増加する。加えて、撮像システム内で極めて多くのより小さい光検出器を使用することにより、最大で達成可能な画質が影響を受ける可能性がある。

【0015】

奥行き位置情報を判定することができる別の従来のシステムは、走査システムと呼ばれる。このシステムは、反射信号を受信し、信号を処理し、信号にタイムスタンプを付ける少数の光検出器を含む。このシステムはまた、シーン全体の撮像を可能にするために、捕捉されているシーンの異なる部分を異なるタイミングで光検出器に投射する走査機構を含む。これは、特に上述した伝統的撮像システムと比較して、作られる画像の全体的な解像度よりも少ない数の光検出器の使用を可能にする。加えて、システムは、伝統的撮像システムと比較して、比較的少数の光検出器を使用することができるので、光検出器は、高い感度を有することができ、それにより、各光検出器による比較的大量のデータの収集が可能になり、その結果、高い画像品質が得られる。しかしながら、走査コンポーネントは、結果として、全体的に高価で、かさばり、そして信頼性の低い撮像システムとなる。

【0016】

検討されている別のシステムは、ゴースト撮像又はシングルピクセル撮像と称されるものである。これらのシステムでは、少数の光検出器が撮像システム内で利用される。これらのシステムは、しばしば単一の光検出器を使用する。ゴースト撮像システムでは、単一の光検出器により収集されるべき反射を用いる光放射体のアレイ（array of light emitters）を使用して一連のパターンをシーンに投射する。シングルピクセル撮像システムでは、単一の放射（発光）体が使用されるが、反射された信号は、光検出器上に光のパターンを形成する空間光変調器に収集される。パターンから収集されたデータは、３次元画像を生成するために使用され、生成された３次元画像は、撮像システム内で使用される光検出器の数よりも高い解像度を有する。これらのシステムは、伝統的撮像システムに見られるような多数の光検出器及びタイムスタンプ回路の必要性を排除し、また、走査システムに見られるような走査コンポーネントの必要性も排除する。

【0017】

しかしながら、ゴースト撮像システムに見られる個別にアドレス指定可能な光放射（発光）体（light emitters）の大規模なアレイは、このようなシステムを作り出すことが可能であるとしても、非常に高価なので、まだ広く市販されていない。加えて、シングルピクセル撮像システムに見られる空間光変調器は、システム全体に超小型の可動部品を追加し、光路に組み込むことが困難である。加えて、大きな視野を有する単一の光検出器を使用することにより、大量の背景光、例えば太陽光も捕捉され、かつ同一の検出器によって処理され、このことは高レベルの背景ノイズを発生させ、また光検出器又は対応するタイムスタンプ回路に負担を掛けるおそれがある。

【0018】

従って、一実施形態では、撮像システム内の光子検出器によって生成される電気信号から識別される奥行き位置情報から３次元画像を生成する方法を提供する。本システムは、撮像システムの１つ以上の光放射（発光）デバイス（light emitting devices）を使用して、所定の長さの時間にわたり、シーン内のオブジェクトに光を放射する。シーンは、捕捉されて３次元画像にされるべき光景を指す。シーンは、例えば、風景の特徴、物、動物、人、ランドマークなどの１つ以上のオブジェクトを含んでもよい。放射される光は、本明細書でより詳細に記載するように、シーン内のオブジェクトまでの距離を決定するために使用される。

【0019】

放射されて信号とも称される光は、オブジェクトから反射され、撮像システムの所定の場所に戻される。このように、システムは、撮像システムの光検出器とも呼ばれる１つ以上の光子検出器で反射を受光する。システムは、放射された光からの複数の反射を受光し、複数の反射の各々は、パターンに対応する1組の反射セットを含む。一実施形態において、複数の反射は、光子検出器によって受光される一連の光パターンを放射することによって生起する。代替的な実施形態では、複数の反射は、単一の光放射（single light emission）によって生起するが、光子検出器は、感度パターンと称される光子検出器パターンを作り出す光子検出器の異なる部分で放射が受光されるように変更される。反射の各々は、シーンのフレームの露光時間よりも短い所定の長さの時間にわたり受光される。このようにして、パターンにして光を放射することによって、又は異なるパターンとして反射を受光するように光子検出器を変更することによってのいずれかによって生起する複数の反射パターンは、単一フレームの露光に対する長さの時間の間に、受光される。反射の各々に応答して、光子検出器は、撮像システムによって処理される電気信号を生成する。各光子検出器は、互いに独立させることができ、また他の感度領域及び／又は光子検出器と比較して、各々が独立した電気信号を生成する多重の感度領域を含んでもよい。

【0020】

撮像システムは、シーン内のオブジェクトにおける少なくとも１つの部分について奥行き場所情報を決定するために、光子検出器によって生ずる電気信号を処理することができる。言い換えれば、複数の反射の各々に対して、システムは、パターンごとに照明されたシーン内のオブジェクトの部分に対応する奥行き場所情報を決定することができる。システムは、結果として、シーンの全ての部分が照明されることになる、また、それゆえに結果として少なくとも１つの対応する電気信号を有する画像の各部分になる多重のパターンを生成することができる。これらの電気信号の各々について、決定されることになる奥行き場所情報は、処理されている電気信号に対応するオブジェクトの一部分に対するものである。奥行き場所情報を決定するために、システムは距離決定アルゴリズムを利用してもよい。例えば、システムは、電気信号の飛行時間又はタイムスタンプ特性から、オブジェクトのその部分が、この例では光子検出器である基準場所から離れている距離を決定することができる。

【0021】

シーン全体の全ての電気信号から奥行き場所情報を集約することは、システムがシーンのフレームの３次元画像を生成することを可能にする。言い換えれば、シーン内のオブジェクトの奥行き場所情報を使用して、システムはシーンに対応する３次元画像を生成することができる。パターンを利用してシーンの全体を照明し、各パターンからの情報を集約して３次元画像を形成することにより、このシステムは、従来のシステムに見られるような独自の高価なコンポーネントも、多数のコンポーネントも必要としない。

【0022】

このように、記載されるシステム及び方法は、伝統的システムの利点を取り入れながら、従来のシステムの問題点を最小限に抑える。具体的には、記載されるシステムは、少数の光検出器を利用し、必要とされるタイムスタンプ回路の数も減少させ、それにより、伝統的撮像システムと比較して、システムの全体的なコスト及び複雑さを低減する。加えて、記載されるシステムは、伝統的走査システムの走査機構を必要としない。これらは、ゴースト撮像システム又はシングルピクセル撮像システムのいずれかによって得られる２つの利点である。しかしながら、ゴースト撮像システム又はシングルピクセル撮像システムのいずれとも違い、記載されるシステム及び方法は、個別にアドレス指定可能な光放射体（light emitters）の大きなアレイ又は空間光変調器のいずれかを追加する必要がなく、それによりまた、撮像システムの全体的なコスト及び複雑さを低減する。このように、記載されるシステムは、伝統的システムよりも複雑でなく、それにより、従来のシステムと比較して、システムの全体的なコスト及び必要とされる処理の複雑さを低減する。しかしながら、生ずる結果の画像は、システムによって必要とされる光検出器の数と比較して、高品質かつ高解像度である。

【0023】

図示された例示的な実施形態は、図を参照することによって最もよく理解されるであろう。以下の記載は、例示のみを意図したものであり、単に若干の例示的な実施形態を図示する。

【0024】

図１は、撮像システム内の光子検出器によって生成される電気信号から識別された奥行き位置情報から３次元画像を生成するための例示的な方法を図示する。ステップ１０１において、システムは、撮像システムの光放射デバイスを使用して、所定の時間にわたり、シーン内のオブジェクトに光を放射する。シーンは、３次元画像に変換されている光景のことである。言い換えれば、シーンは、撮像システムによって捕捉されるべき光景のことである。例えば、シーンがカメラによって捕捉されるべき場合、シーンは、カメラの視野界によって捕捉可能な光景である。シーンは、例えば、人、動物、風景の特徴、物、ランドマーク、照明効果、又は任意の他の見ることができ、捕捉可能なものなど、１つ以上のオブジェクトを含んでもよい。

【0025】

光は、人の可視光スペクトル内にない可能性もあるため、光は信号とも呼んでよい。例えば、光は、赤外線、Ｘ線、ガンマ線、紫外線、ラジオ、又は人間には見えない可能性がある他の光信号であってもよい。放射される光が可視光スペクトル上でない可能性があるという事実は、可視光スペクトル上にある光の使用を除外するものではないことに留意すべきである。言い換えれば、撮像システムは、撮像システムの受光デバイスによって放射、反射、及び受光され得る任意なタイプの光又は信号を採用することができる。

【0026】

反射される光は、パルス光とすることができる、つまり、パルス光放射を生起する多重光放射（multiple light emissions）を生成する、又は一定の光流とすることができる。光放射（light emissions）は、所定の長さの時間にわたり発生させてもよく、所定の長さの時間は、撮像デバイスの構成に基づいて決定される。例えば、例示的な一実施形態において、光放射は特定のパターンで放射されてもよく、フレーム露光時間に対応する長さの時間の間に多重のパターンが放射される。言い換えれば、シーンを捕捉する際に、撮像デバイスはフレーム露光長が設定される。放射体が多重の光放射パターン（multiple light emission patterns）を生成するように設定されている場合には、フレーム露光長よりも光放射パターンの長さを短くすることで、フレーム露光長の時間の間に多重の光放射パターンを生成することができる。加えて、所定の長さの時間は動的に変更されてもよい。例えば、システムは、受光した光子の数を識別することができ、また受光した光子の数に基づいて所定の長さの時間を変更することができる。所定の長さの時間を動的に変更するために他の基準が使用されてもよく、例えば、異なるフレーム露光長、異なる処理能力、異なるシーンの複雑さなどが、所定の長さの時間の動的な変更を必要とする場合がある。このように、所定の長さの時間は、異なるフレーム露光の間に、異なるパターンの露光のために、異なる用途のために、及びそのようなもののために変化させることができる。

【0027】

光放射デバイスが特定のパターン内で光を放射する実施形態では、光放射デバイスは多重個別光放射デバイスを含んでもよい。個別光放射デバイスの各々は、シーンの特定の部分を照明し得る。このとき、システムは、シーンの照明が本明細書においてシーンパターンと称されるパターンを生成するように、光放射デバイス各々の強度を個別に制御することができる。これらシーンパターンの各々は、本明細書でさらに詳述されるように、光子検出器によって受光することができる。

【0028】

あるいは、光放射が単一の光放射であるように撮像システムが構成される場合、つまり光放射が特定のパターン内で構成されていない場合、それが連続光信号又はパルス光信号のどちらかに対してであろうとも所定長さの時間はフレーム露光の長さに等しくてもよい。パルス光信号のケースでは、フレーム露光の長さの間に起こるパルスの数は、ユーザによって構成されてもよく、又はデフォルト値であってもよい。

【0029】

ステップ１０２において、撮像システムは、オブジェクトから光の複数の反射を受光する。複数の反射の各々は、1組の反射セットを含む。明確にすると、複数の反射の各々は、単一のパターンに応答して受光する反射セットを指す。複数の反射の各々内には、反射セットがあり、これら反射の各々は、パターンが放射体パターン又は光子検出器パターンのいずれであるかにかかわらず、パターンを介して照明されるシーンの一部分に対応する。

【0030】

反射は、撮像システムの少なくとも１つの光子検出器で受光されてもよい。このように、光子検出器は、本明細書でより詳細に記載するように、奥行き距離情報を決定するための基準場所又は基準ポイントであってもよい。反射の各々は、シーンのフレームの露光時間よりも短い所定の長さの時間にわたり、受光され得る。光放射が一連のパターンに設定されているケースでは、反射は、各パターンが生成されている時間の長さにわたり受光され、各パターンは、フレームの露光時間の長さよりも短い長さの時間にわたり生成される。代替的な実施形態では、光放射（発光）体（light emitter）は、パルス状又は連続的のいずれであるかにかかわらず、特定の一連のパターン内ではない、単一の光信号を生成するように構成され、光子検出器は、感度領域のグループ化として構成されてもよく、その感度は、撮像システムの処理ユニットによって個別に制御可能である。

【0031】

図２は、感度領域のグループを有する光子検出器２００の構成例を図示する。光子検出器２００は、光子検出器の感度領域に対応するマクロピクセル２０１と称される複数の領域のグループを含む。各マクロピクセル２０１は、マクロピクセル感度領域とピクセルレベル感度領域とを区別するためにピクセルレベル感度領域と称されるピクセル２０２と称される複数の個別に制御可能な感度領域を含む。ピクセル２０２はまた、マイクロピクセル２０３と称されるより小さな領域で構成されてもよい。このように、各マクロピクセル２０１は、多重ピクセル２０２及びさらに多くのマイクロピクセル２０３を包含する。ピクセル及び／又はマイクロピクセルは、ＳＰＡＤ（単一光子アバランシェダイオード）、フォトダイオード、アバランシェフォトダイオード、又は他のタイプのダイオードであってもよい。図２に図示されたマクロピクセルの直線的な構成は単に例示的なものであり、マクロピクセル内のピクセル、ピクセル内のマイクロピクセル、単一光子検出器内のマクロピクセル、及びそれらのようなものなどの多くの異なる構成、サイズ、及び形状が想定され、可能である。

【0032】

各マクロピクセルは、そのマクロピクセルで受光した反射に基づき独立した電気信号を生成する能力を有する。加えて、各マクロピクセルは、対応するタイムスタンプ回路を有し、これは、伝統的撮像システムと比較して、タイムスタンプ回路全体の数を減らす。１つのマクロピクセルによって生成される電気信号は、同一光子検出器上の他のマクロピクセルによって作られる他の電気信号から独立しており、またさらに、撮像システムに含まれる他の光子検出器がある場合には、その他の光子検出器によって生ずる他の電気信号からも独立している。光子検出器が受光した反射の各々は、感度領域の各々からの個別電気信号となる。言い換えれば、単一の感度領域は、時間的に広がった多重電気信号を生ずることができ、電気信号の各々は、反射のうちの１つに対応する。

【0033】

マクロピクセルが他のマクロピクセルから独立して構成可能、又は制御可能であることに加えて、マクロピクセル内のピクセルも、マクロピクセル内の他のピクセルから独立して構成可能、又は制御可能である。具体的には、ピクセルの感度は、マクロピクセル内の他のピクセルから独立して構成可能であり得る。ピクセルの感度は、例えば、バイアス若しくは供給電圧を制御又は変化させることを通して、独立して制御可能であり得る。感度は、線形的設定可能、オン・オフ設定可能、又はユーザ若しくはデフォルトによって選択可能とすることができるいくつかの他のやり方で設定可能としてもよい。マクロピクセル内のピクセルの感度を制御できることにより、システムはピクセルレベルのパターンを生成することができる。かくして、上述したような光放射デバイス（light emitting device）でパターンを生成する代替として、撮像システムは代わりに光子検出器でパターンを生成してもよい。放射体パターン生成及び光子検出器パターン生成を代替実施形態として詳述してきたが、いくつかの用途は、照射体及び光子検出器上の両方からのパターンを利用することから利益を得る場合があるので、これらの技術を単一の用途に組み合わせてもよいことに留意されたい。

【0034】

光子検出器上にパターンを生成する際、システムの処理ユニットは、マクロピクセル内のピクセルの感度を制御する。これらのパターンは感度パターンと称される。各パターンは、ゼロ以外の感度に設定された１つより多いピクセルを含む。言い換えれば、１つより多いピクセルがゼロ以外の感度に設定される。ゼロ以外に設定されるピクセルは、マクロピクセル内のどこに位置してもよい。放射体パターン生成と同様に、シーンの１フレームの露光時間の間に、光子検出器上に多重感度パターンが生成され、また露光される。各パターンが光子検出器上に生成されている間、放射体はパターンごとに１つ以上の光パルス又は連続光を使用してシーンを照明してもよい。パターンが光子検出器で生成されているので、光パルスはシーンの一部分だけの代わりに、シーン全体を照明してもよい。シーン内のオブジェクト又はオブジェクトの部分からの光の反射は、次に感度パターンの１つで露光される光子検出器で受光される。その後、マクロピクセルは反射の受光に応答する電気信号を生成する。

【0035】

マクロピクセルの電気信号が処理ユニットで受光されると、感度パターンは、例えば、感度パターンの他のものと比較して、ピクセルをオフにしてもよく、ピクセルをオンにしてもよく、ピクセルの感度レベルを変更してもよく、又はそれらのような、異なる感度値を有する少なくとも１つのピクセルを含む異なるパターンに変更することができる。言い換えれば、各感度パターンは、他の感度パターンと異なる感度値を有する少なくとも１つのピクセルを有する。いくつかの用途では、シーンのフレーム露光内での単一のパターンの重複が有益な場合がある。加えて、シーンの異なるフレーム露光に対して単一のパターンを複製してもよい。しかしながら、異なるパターン間の区別は、少なくとも１つのピクセルが、異なるパターン内のピクセルとは異なるように設定される感度値を有することである。処理ユニットは、この新しい感度パターンに応答する電気信号を受信して処理する。この処理は、各フレーム露光の感度の全てのパターンにわたって継続する。

【0036】

ピクセルの各々は、光子検出器における反射の受光、特に、ピクセルのうちの所与のピクセルにおける反射の受光に応答する電気信号を生成する。ピクセルが独立して構成可能であってさえ、マクロピクセル内のピクセルによって生成される電気信号は集約される、又は他の方法でマクロピクセルの電気信号に結合される。かくして、撮像システムの処理ユニットは、個々のピクセルレベル電気信号を、単一のマクロピクセル内の他の個々のピクセルレベル電気信号から区別することができない。したがって、処理ユニットは、マクロピクセル内のどのピクセルが光子又は反射を検出したかを決定することはできないが、マクロピクセルによって検出された反射の光子がどのくらい多くあるかを決定することができ、またマクロピクセルにおける光子の到達時刻を決定することもできる。

【0037】

一般的に、個々のマイクロピクセルの感度は必要ないので、設定不能なことに留意すべきである。しかしながら、マイクロピクセルレベル感度が有用であり、本明細書で記載する原理をマイクロピクセルレベルに適用できる用途がある可能性はある。マイクロピクセルの電気信号は、マイクロピクセルを収容するピクセルの電気信号に集約されてもよい。

【0038】

図３は、マクロピクセル電気信号であるマクロピクセル出力へのマイクロピクセル電気信号の集約及びピクセルレベル電気信号の集約の例示的な簡略化された回路図を図示する。図示されるように、マイクロピクセル３０３は、マイクロピクセル３０３によって生ずる電気信号が単一のピクセル３０２に集約されるように、一緒に接続される。この例では、４つのマイクロピクセル３０３が１つのピクセル３０２に結合される。しかしながら、異なる集約数及び構成が可能であり、また構想されることを理解されたい。ピクセル３０２は単一のマクロピクセル３０１に含まれる。このように、各ピクセル３０２によって生成される電気信号は、マクロピクセル出力３０５内に集約される。図３に示すように、回路は、必要に応じて追加の構成要素、例えば、電気信号を増強する場合があるゲイン制御３０４又は他の増幅器を含んでもよい。また、他の構成要素、例えば、抵抗器、コンデンサ、分周回路、ダイオード、及びそれらのようなものが含まれていてもよい。このように、上記に示したように、図３の実施例は、全てのあり得る回路構成要素を図示するものではなく、むしろ、単純化された回路図を単に図示するものである。

【0039】

図４は、図３に関連して記載するシステムの別の例の回路図を示す。この例は、利用することができるあり得る回路のより完全な図を提供するために、回路に含められ得るいくつかの追加の構成要素を図示する。しかしながら、完成した回路には、図４に図示したものよりも追加の構成要素が含まれる場合もある。例えば、いくつかの用途は、図４に図示されていない追加の構成要素を必要としてもよい。同様に、図４に図示された幾つかの構成要素は、全ての用途に必要とされるとは限らないので、用途に応じていくつかの構成要素を削除してもよい。加えて、図３及び図４の両方は、ピクセルレベル感度領域から受信された電気信号が、マクロピクセル出力に集約される前に、先ず修正され得ることを図示する。

【0040】

図３及び図４に具体的に図示されるのは、電気信号の増幅係数又は減衰係数が、マクロピクセル出力に集約される前に制御又は変化させられてもよいことである。これらの２つの図に図示されるように、各ピクセルレベル電気信号の増幅率又は減衰係数を制御することは、ピクセルレベル電気信号の他のものの増幅係数又は減衰係数を制御することから独立して行うことができる。増幅係数又は減衰係数を制御することにより、システムは対応するピクセルレベル感度領域の感度を制御することができる。このように、システムは、ピクセルレベル感度領域によって生じた電気信号の増幅係数又は減衰係数を使用して、ピクセルレベル感度の異なるパターンを生ずることができる。係数を制御することは、係数を０以上の値に設定することを含んでもよい。１より小さくゼロより大きい値は信号の減衰を生じさせ、１より大きい値は信号の増幅をもたらし、ゼロの値は、結果として信号の排除となる。

【0041】

ステップ１０３において、システムは、ステップ１０２において受光した複数の反射から奥行き場所情報を決定できるか否かを判定する。奥行き場所情報を決定できるか否かを判定するために、システムは、反射の受光に応答して光子検出器によって生成される電気信号を分析する。本明細書で示すように、光子検出器は複数の電気信号を生成する。光子検出器は、光子検出器のマクロピクセルの各々から独立した電気信号を生成する。加えて、光子検出器は、各放射体パターン又は各感度パターンのどちらかであるときでも、各パターンで独立した電気信号を生成する。これら電気信号の各々は、撮像システムの処理ユニットによって独立して処理される。

【0042】

これらの電気信号から、システムは、奥行き場所情報を提供し得る各電気信号の特性を識別することができる。例えば、処理ユニットは、各電気信号に特定の時間をタイムスタンプ付けしてもよい。一例では、時刻は、光子検出器における電気信号の受信時刻であってもよい。別の例では、時刻は、光の放射時刻から光子検出器での反射の受光時刻までに要した時間を識別する電気信号の飛行時間であってもよい。このように、タイムスタンプは、直接的な情報を含んでもよく、又は派生した情報であってもよい。電気信号内の各光子のタイムスタンプ情報は、独立して抽出されてもよいことに留意すべきである。言い換えれば、各マクロピクセル／パターンの組み合わせからの１つの電気信号は、各々が対応するタイムスタンプを有する多重光子を包含することができる。

【0043】

タイムスタンプ情報、又は電気信号の他の特性を利用して、システムは、反射の電気信号に対応するシーン内のオブジェクトの１つ以上の部分までの距離を決定することができる。言い換えれば、各反射はシーンの異なる部分を含むので、システムは、受信した反射に対応する電気信号からシーンのそれらの部分の距離情報を決定することができる。例えば、システムは、放射された信号の速度を知得しており、また信号の反射を受信するのにかかった時間を知得しており、その情報から、システムは、基準場所と、反射を生じさせたオブジェクトの部分との間の距離を決定することができる。このように、電気信号の特性を使用して、処理ユニットはシーン内のオブジェクトの奥行き場所情報を計算することができる。パターンの各々に対応する電気信号は、計算された奥行き場所情報に対応するシーンの部分の指標を与える。このように、電気信号から派生する全ての奥行き場所情報を組み合わせることによって、システムは、シーン内のオブジェクト及びシーンの異なる部分に対する奥行き場所情報を決定することができる。

【0044】

本明細書では、受信時間特性及び飛行時間距離アルゴリズムを詳述するが、他の特性及び／又は距離アルゴリズムを利用してもよい。他の距離アルゴリズムは、シーンの奥行き場所情報を決定するために、電気信号の異なる情報又は特性を必要としてもよい。利用する場合がある他の例示的な距離又は位置アルゴリズムには、到達時間差、到達角度、又は他の距離若しくは位置アルゴリズムを含む。しかしながら、いくつかの距離アルゴリズムは、正確な奥行き場所情報を提供するために、撮像システム内に含まれるべき追加のハードウェア構成要素を必要としてもよいことを理解されたい。

【0045】

ステップ１０３において奥行き場所情報が決定できない場合、ステップ１０５において、システムは入力を無視してもよく、又は電気信号に関して何もアクションを取らなくてもよい。例えば、電気信号又は電気信号の処理が破損した情報を生じさせた場合、システムは単に電気信号を無視してよい。奥行き場所情報を正確に決定するために、システムは複数の電気信号を必要としてもよい。このように、シーンの特定の部分又はシーン内のオブジェクトの奥行き場所情報が単一の電気信号から決定できない場合には、システムは、単純にステップ１０５において追加の入力を待ってもよい。

【0046】

一方、ステップ１０３において、システムが、シーンのオブジェクト又は部分の奥行き場所情報を決定できる場合、システムは、シーンのオブジェクト及び／又は部分の奥行き場所情報から、シーンのフレームの３次元画像を生成してもよい。３次元画像を生成するために、システムは、電気信号から決定された奥行き場所情報を組み合わせて、シーンの全てのオブジェクト及び部分の距離を単一フレーム中で識別する。言い換えれば、システムは、各パターンからの電気信号からシーンの各オブジェクト及び部分の奥行き場所情報を導き出し、その情報を組み合わせて、フレームに対応する単一３次元画像を生成することができる。システムは、シーンの一部分の位置とパターンとを関連付けて、パターン中で照明されたシーンのその部分、またひいては、電気信号に由来する奥行き場所情報に対応するシーンのその部分、を識別することができる。複数の反射に応答して生成される全ての電気信号に由来する奥行き場所情報を集約することは、システムが、正しい奥行き場所情報と、またできれば他の位置決め情報（水平位置、垂直位置、相対位置など）とを有する３次元画像を正確に生成することを可能にする。従来のシステムよりも少ない構成要素しか必要としない一方で、結果として生じるのは、撮像システム内の他の感度領域から独立した電気信号を生成する感度領域の数よりも大きい解像度を有する３次元画像である。

【0047】

コンピュータ、サーバ、クライアントデバイス、及びそれらのようなものを有する情報ハンドリングデバイスにおいては、様々な他の回路、回路、又は構成要素を利用する可能性がある一方で、１つ以上の実施形態を実施する際に使用され得る例示的なデバイスは、図５に図示するようなコンピュータ１０′の形態のコンピューティングデバイスを含む。この例示的なデバイスは、ネットワーク内のシステムの１つで使用されるサーバであってもよく、又はネットワークに接続されたリモートコンピュータの１つであってもよい。コンピュータ１０′の構成要素は、これらに限定されないが、処理ユニット２０′、システムメモリ３０′、及びシステムメモリ３０′を含む様々なシステム構成要素を処理ユニット２０′に結合するシステムバス２２′を含んでもよい。コンピュータ１０′は、データベースを含む様々なコンピュータ可読媒体を含んでもよく、又はそれらに対するアクセス権を有してもよい。システムメモリ３０′は、例えば、読み出し専用メモリ（ＲＯＭ）及び／若しくはランダムアクセスメモリ（ＲＡＭ）などのような揮発性並びに／又は不揮発性メモリの形態の、非信号コンピュータ可読記憶媒体を含んでもよい。限定ではなく例として、システムメモリ３０′はまた、オペレーティングシステム、アプリケーションプログラム、他のプログラムモジュール、及びプログラムデータを含んでもよい。

【0048】

ユーザは、入力デバイス５０′（例えば、キーボード、ソフトキーボード、マウス、聴覚入力、触覚入力、ジェスチャ入力など）を通して、コンピュータ１０′とインターフェースをとる（例えば、コマンド及び情報を入力する）ことができる。モニタ又は他のタイプのデバイスもまた、出力インターフェース６０′などのようなインターフェースを介してシステムバス２２′に接続することができる。コンピュータは、データベース４０′を含んでもよい。モニタに加えて、コンピュータは、他の周辺出力デバイスも含んでもよい。コンピュータ１０′は、他のコンピュータなどのような１つ以上の他のリモートデバイス８０′への論理接続を使用して、ネットワーク環境又は分散環境で動作してもよい。論理接続は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、及び／又はグローバルコンピュータネットワークなどのようなネットワークへのネットワークインターフェース７０′を含んでもよいが、他のネットワーク／バスもまた含んでもよい。

【0049】

例えば図５に概略を示すような情報ハンドリングデバイス回路は、パーソナルデスクトップコンピュータ、ラップトップコンピュータ、又はタブレット若しくはスマートフォンなどのような小型デバイスなどのようなクライアントデバイスで使用してもよい。後者のケース、すなわちタブレットコンピュータ及びスマートフォンについて、図５に概略を示した回路は、システムオンチップタイプの回路に適合させてもよい。デバイスは、提供される回路に関係なく、他のデバイス、例えば、様々な他のシステムと連携するサーバ又はシステムとの間でデータを提供し、また受信してもよい。当業者には理解されるように、本明細書に記載される様々な実施形態のシステム、方法、及び製品を実装するために全体的又は部分的に使用される様々な電子デバイスにおいて、図５の例に概略的に示される回路とは別の回路又は追加の回路が採用されてもよい。

【0050】

当業者には理解されるように、様々な態様は、システム、方法、又はデバイスプログラム製品として具現化され得る。したがって、態様は、完全にハードウェアの実施形態、又は、本明細書ではすべて一般的に「回路」、「モジュール」、又は「システム」と称される場合があるソフトウェアを含む実施形態の形をとることができる。さらに、態様は、それに具現化されたデバイス可読プログラムコードを有する１つ以上のデバイス可読媒体に具現化されたデバイスプログラム製品の形をとることができる。

【0051】

本明細書で記載される様々な機能は、プロセッサによって実行される非信号記憶デバイスなどのようなデバイス可読記憶媒体に格納された命令を使用して実装されてもよいことに留意されたい。記憶デバイスは、例えば、電子式、磁気式、光学式、電磁式、赤外線式、若しくは半導体式のシステム、装置、若しくはデバイス、又はこれらの任意の適切な組み合わせであってもよい。記憶媒体のより具体的な例としては、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリーメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、光学記憶デバイス、磁気記憶デバイス、又はこれらの任意の適切な組み合わせを含むであろう。本書の文脈では、記憶デバイスは信号ではなく、かつ「非一過性／持続性（non-transitory）」には信号媒体を除く全ての媒体を含む。

【0052】

記憶媒体に具現化されたプログラムコードは、無線、有線、光ファイバーケーブル、ＲＦなど、又は前述の任意の適切な組み合わせを含むが、これらに限定されない任意の適切な媒体を使用して、伝送することができる。

【0053】

動作を遂行するためのプログラムコードは、１つ以上のプログラミング言語の任意の組み合わせで記述することができる。プログラムコードは、完全に単一のデバイス上で実行してもよく、部分的に単一のデバイス上で実行してもよく、スタンドアロン・ソフトウェアパッケージとして実行してもよく、部分的に単一のデバイス上で実行し、部分的に別のデバイス上で実行してもよく、又は完全に別のデバイス上で実行してもよい。いくつかのケースでは、デバイスは、任意のタイプの接続又はローカルエリアネットワーク（ＬＡＮ）若しくはワイドエリアネットワーク（ＷＡＮ）を含むネットワークを通して接続されてもよく、又は、接続は、他のデバイスを通して（例えば、インターネットサービスプロバイダを使用してインターネットを通して）、無線接続、例えば、近距離無線通信を通して、又はＵＳＢ接続を介してなどのようなハードワイヤ接続を通して行われてもよい。

【0054】

本明細書では、様々な例示的実施形態による例示的方法、デバイス、及びプログラム製品を図示する図を参照して、例示的実施形態を記載する。動作及び機能は、プログラム命令によって少なくとも部分的に実施され得ることが理解されよう。これらのプログラム命令は、デバイスのプロセッサ、特別な目的の情報ハンドリングデバイス、又は他のプログラム可能なデータ処理デバイスに提供され、デバイスのプロセッサを介して実行される命令が、指定された機能／動作を実装するように、マシンを作ってもよい。

【0055】

図では特定のブロックが使用され、ブロックの特定の順序が図示されている一方で、これらは非限定的な例であることは特筆すべきことである。明示的に図示された例は説明のためにのみ使用されており、限定的に解釈されるものではないように、特定の文脈では、２つ以上のブロックが組み合わされてもよく、ブロックが２つ以上のブロックに分割されてもよく、又は特定のブロックが適切なように再順序付け若しくは再組織化されてもよい。

【0056】

本明細書で使用される場合、単数形の「１つ（a）」及び「１つ（an）」は、他に明確に示されない限り、複数形の「１つ以上（one or more）」を含むものと解釈され得る。

【0057】

本開示は、例示及び説明の目的で提示されているが、網羅的又は限定的であることを意図していない。多くの修正及び変形が当業者には明らかであろう。例示的な実施形態は、原理及び実用的な用途を説明するために、かつ、当業者が、企図される特定の用途に適するように様々な変更を伴う様々な実施形態について本開示を理解できるようにするために、選択され、記載されている。

【0058】

このように、例示的な実施形態が、添付の図を参照して本明細書で記載されてきたが、この記載は限定的なものではなく、当業者であれば、本開示の範囲又は精神から逸脱することなく、他の様々な変更及び修正がそこに影響し得ることを理解されたい。

【図1】

【図2】

【図3】

【図4】

【図5】

【手続補正書】

【提出日】2023-02-22

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

シーン内のオブジェクトの距離を決定することによって３次元撮像するための方法であって、該方法は、
撮像システムの光放射デバイスを使用して、光をシーン内のオブジェクトに所定の長さの時間にわたり放射するステップと、
前記撮像システムの少なくとも1つの光子検出器で前記オブジェクトからの前記光の複数の反射を受光するステップであり、前記複数の反射の各々は、1組の反射セットを含み、前記シーンのフレームの露光時間よりも短い所定の長さの時間にわたり受光され、前記少なくとも1つの光子検出器は、前記複数の反射の各々を受光することに応答して電気信号を生成する少なくとも1つの感度領域を含む、該受光するステップであり、
前記光子検出器の前記少なくとも1つの感度領域の各々は、各々が少なくとも1つのピクセルレベル電気信号を生成する複数のピクセルレベル感度領域を含み、前記電気信号を生成するステップは、前記少なくとも1つの感度領域の所与の範囲内で生成される前記ピクセルレベル電気信号を集約するステップを含み、前記受光するステップは、前記少なくとも１つの光子検出器で、複数の感度パターンを生成するステップを含み、各感度パターンは、ゼロ以外の値に設定されている少なくとも１つの前記ピクセルレベル感度領域の感度を含み、各感度パターンは他の前記感度パターンと異なるものである、該受光するステップと、
所与の前記電気信号の特性から、前記所与の前記電気信号に対応する前記シーン内の前記オブジェクトの少なくとも一部分の奥行き場所情報を決定するステップと、及び
前記シーン内の前記オブジェクトの部分の前記奥行き場所情報から、前記シーンの前記フレームの３次元画像を生成するステップと、
を備える、方法。

【請求項2】

請求項１に記載の方法において、前記特性はタイムスタンプを含み、前記タイムスタンプは、前記オブジェクトへの前記光の前記放射の時刻を考慮して、前記光子検出器における前記少なくとも１つの反射の到達時刻に基づいて生成される、方法。

【請求項3】

請求項１に記載の方法において、前記複数のピクセルレベル感度領域の各々の感度は、前記複数のピクセルレベル感度領域における他のピクセルレベル感度領域の感度から独立して制御可能である、方法。

【請求項4】

請求項３に記載の方法において、前記複数のピクセルレベル感度領域の各々の前記感度は、バイアス及び供給電圧の少なくとも１つの制御を介して独立して制御される、方法。

【請求項5】

請求項３に記載の方法において、前記複数のピクセルレベル感度領域の各々の前記感度を制御するステップは、前記複数のピクセルレベル感度領域の所与の前記ピクセルレベル電気信号の増幅係数及び減衰係数のうちの少なくとも一方を制御するステップを含む、方法。

【請求項6】

請求項１に記載の方法において、前記３次元画像を前記生成するステップは、前記複数の感度パターンの各々に応答して前記光子検出器によって生成される前記電気信号から決定される奥行き場所情報を組み合わせるステップを含む、方法。

【請求項7】

請求項１に記載の方法において、所与の前記感度パターンに応答する前記光子検出器によって生成される電気信号は、前記所与の前記感度パターンとは別の感度パターンに応答する前記光子検出器によって生成される電気信号とは別個に処理される、方法。

【請求項8】

請求項１に記載の方法において、前記ピクセルレベル感度領域の各々は、各々が少なくとも１つのマイクロピクセル電気信号を生成する複数のマイクロピクセルを含み、また
前記ピクセルレベル電気信号を前記生成するステップは、所与の前記ピクセルレベル感度領域内で生成されるマイクロピクセル電気信号を集約するステップを含む、方法。

【請求項9】

請求項１に記載の方法において、前記放射するステップは、複数のパターンの光を前記オブジェクトに放射するステップを含み、また
前記複数のパターンの各々は、前記シーンのフレームの露光時間よりも短い前記所定の長さの時間にわたり放射される、方法。

【請求項10】

請求項１に記載の方法において、前記３次元画像の解像度は、前記撮像システムの前記感度領域の数よりも大きい、方法。

【請求項11】

シーン内のオブジェクトの距離を決定することによって３次元撮像をするための撮像システムであって、該撮像システムは、
少なくとも１つの光放射デバイスと、
少なくとも１つの光子検出器と、
１つ以上のプロセッサと、
命令を格納するメモリデバイスであって、前記命令は前記１つ以上のプロセッサによって実行可能であり、
撮像システムの前記少なくとも１つの光放射デバイスを使用して、光をシーン内のオブジェクトに所定の長さの時間にわたり放射するステップ、
前記撮像システムの少なくとも1つの光子検出器で前記オブジェクトからの前記光の複数の反射を受光するステップであり、前記複数の反射の各々は、１組の反射セットを含み、また前記シーンのフレームの露光時間よりも短い所定の長さの時間にわたり受光され、前記少なくとも1つの光子検出器は、前記複数の反射の各々を受光することに応答して電気信号を生成する少なくとも1つの感度領域を含む、該受光するステップであり、
前記光子検出器の前記少なくとも1つの感度領域の各々は、各々が少なくとも1つのピクセルレベル電気信号を生成する複数のピクセルレベル感度領域を含み、電気信号を前記生成するステップは、所与の前記少なくとも1つの感度領域内で生成される前記ピクセルレベル電気信号を集約するステップを含み、前記受光するステップは、前記少なくとも１つの光子検出器で、複数の感度パターンを生成するステップを含み、各感度パターンは、ゼロ以外の値に設定されている少なくとも１つの前記ピクセルレベル感度領域の感度を含み、各感度パターンは他の前記感度パターンと異なるものである、該受光するステップ、
所与の前記電気信号の特性から、前記所与の前記電気信号に対応する前記シーン内の前記オブジェクトの少なくとも一部分の奥行き場所情報を決定するステップ、及び
前記シーン内の前記オブジェクトの部分の前記奥行き場所情報から、前記シーンのフレームの３次元画像を生成するステップ、
を行わせる前記命令を格納する、該メモリデバイスと、
を備える、撮像システム。

【請求項12】

請求項１１に記載の撮像システムにおいて、前記特性はタイムスタンプを含み、前記タイムスタンプは、前記オブジェクトへの前記光の前記放射の時刻を考慮して、前記光子検出器における前記少なくとも１つの反射の到達時刻に基づいて生成される、撮像システム。

【請求項13】

請求項１１に記載の撮像システムにおいて、前記複数のピクセルレベル感度領域の各々の前記感度は、バイアス及び供給電圧の少なくとも１つの制御を介して独立して制御される、撮像システム。

【請求項14】

請求項１１に記載の撮像システムにおいて、受光するステップは、前記少なくとも１つの光子検出器で、複数の感度パターンを生成するステップを含み、各感度パターンは、ゼロ以外の値に設定されている少なくとも１つの前記ピクセルレベル感度領域の感度を含み、各感度パターンは他の前記感度パターンと異なるものであり、また各感度パターンは、前記シーンの前記フレームの前記露光時間よりも短い前記所定の長さの時間にわたり前記光子検出器上で露光される、撮像システム。

【請求項15】

請求項１４に記載の撮像システムにおいて、３次元画像を生成するステップは、前記複数の感度パターンの各々に応答して前記光子検出器によって生成される前記電気信号から決定された奥行き場所情報を組み合わせるステップを含む、撮像システム。

【請求項16】

請求項１４に記載の撮像システムにおいて、所与の前記感度パターンに応答して前記光子検出器によって生成される電気信号は、前記所与の前記感度パターンとは別の感度パターンに応答して前記光子検出器によって生成される電気信号とは別個に処理される、撮像システム。

【請求項17】

請求項１１に記載の撮像システムにおいて、放射するステップは、複数のパターンの光を前記オブジェクトに放射するステップを含み、また
前記複数のパターンの各々は、前記シーンのフレームの露光時間よりも短い前記所定の長さの時間にわたり放射される、撮像システム。

【請求項18】

シーン内のオブジェクトの距離を決定することによって３次元撮像するための方法であって、該方法は、
撮像システムの光放射デバイスを使用して、光をシーン内のオブジェクトに所定の長さの時間にわたり放射するステップと、
前記撮像システムの少なくとも1つの光子検出器で前記オブジェクトからの前記光の複数の反射を受光するステップであり、前記複数の反射の各々は、１組の反射セットを含み、前記シーンのフレームの露光時間よりも短い所定の長さの時間にわたり受光されるものである、該受光するステップであり、
前記少なくとも１つの光子検出器は、前記複数の反射の各々の受光に応答して電気信号を生成する少なくとも１つの感度領域を含み、前記光子検出器の前記少なくとも1つの感度領域の各々は、各々が少なくとも1つのピクセルレベル電気信号を生成する複数のピクセルレベル感度領域を含み、前記複数のピクセルレベル感度領域の各々の感度は、前記複数のピクセルレベル感度領域の他の感度から独立して制御可能であり、また電気信号を前記生成するステップは、所与の前記少なくとも１つのピクセルレベル感度領域内で生成される前記ピクセルレベル電気信号を集約するステップを含むものである、該受光するステップであり、
前記受光するステップは、前記少なくとも１つの光子検出器で、複数の感度パターンを生成するステップを含み、前記複数の感度パターンの各々は、ゼロ以外の値に設定されている少なくとも１つの前記ピクセルレベル感度領域の感度を含み、前記複数の感度パターンの各々は、前記シーンの前記フレームの前記露光時間よりも短い前記所定の長さの時間にわたり前記光子検出器上で露光される、該受光するステップと、
所与の前記電気信号の特性から、前記所与の前記電気信号に対応する前記シーン内の前記オブジェクトの少なくとも一部の奥行き場所情報を決定するステップと、及び
前記シーン内の前記オブジェクトの部分の前記奥行き場所情報から、前記シーンの前記フレームの３次元画像を生成するステップであり、前記３次元画像を生成するステップは、前記複数の感度パターンの各々に応答して前記光子検出器によって生成される前記電気信号から決定される奥行き場所情報を組み合わせるステップと、
を備える、方法。

【国際調査報告】