特表 2019-508717 画像取得および解析用の能動パルス式４Ｄカメラのための方法および装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】特表2019-508717(P2019-508717A)

(43)【公表日】2019年3月28日

(54)【発明の名称】画像取得および解析用の能動パルス式４Ｄカメラのための方法および装置

(51)【国際特許分類】

   G01S 17/87 20060101AFI20190301BHJP

   G01S 17/89 20060101ALI20190301BHJP

   G01S 17/93 20060101ALI20190301BHJP

【ＦＩ】

   G01S17/87

   G01S17/89

   G01S17/93

【審査請求】未請求

【予備審査請求】未請求

【全頁数】36

(21)【出願番号】特願2018-565248(P2018-565248)

(86)(22)【出願日】2017年2月28日

(85)【翻訳文提出日】2018年9月28日

(86)【国際出願番号】US2017019852

(87)【国際公開番号】WO2017151561

(87)【国際公開日】20170908

(31)【優先権主張番号】15/059,811

(32)【優先日】2016年3月3日

(33)【優先権主張国】US

(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT,TZ

(71)【出願人】

【識別番号】518314028

【氏名又は名称】フォーディ インテレクチュアル プロパティーズ エルエルシー

【氏名又は名称原語表記】４Ｄ ＩＮＴＥＬＬＥＣＴＵＡＬ ＰＲＯＰＥＲＴＩＥＳ，ＬＬＣ

(74)【代理人】

【識別番号】100105957

【弁理士】

【氏名又は名称】恩田 誠

(74)【代理人】

【識別番号】100068755

【弁理士】

【氏名又は名称】恩田 博宣

(74)【代理人】

【識別番号】100142907

【弁理士】

【氏名又は名称】本田 淳

(72)【発明者】

【氏名】レッテラート、ジェームズ イー．

【テーマコード（参考）】

5J084

【Ｆターム（参考）】

5J084AA04

5J084AA05

5J084AA20

5J084AB01

5J084AC02

5J084AD01

5J084BA02

5J084BA03

5J084BA19

5J084BA34

5J084BA36

5J084BA40

5J084BB01

5J084BB02

5J084BB20

5J084CA03

5J084CA10

5J084CA20

5J084CA44

5J084CA49

5J084CA65

5J084CA67

5J084CA70

5J084EA01

5J084EA22

(57)【要約】

正確に制御される光源を利用する能動パルス式４次元カメラシステムは、空間情報と、人が見たまたはコンピュータ解析された画像とを生成する。４次元光学情報の取得は、カメラが移動中であり、かつ／またはイメージングされ、検出され、分類される被写体が移動中である移動中用途に対して正確な画像および空間情報を提供するのに十分な速度で実施される。実施形態は、処理された画像からの霧、雪、雨、みぞれおよび埃のような画像遮蔽条件の低減または除去を可能にする。実施形態は、昼間条件または夜間条件での動作を提供し、陰影除去のような特徴を有する昼または夜用フルモーションビデオキャプチャに利用することができる。マルチアングル画像解析は、被写体および表面特徴をそれらの光学反射特性に基づいて分類および識別するための方法として教示されている。

【特許請求の範囲】

【請求項1】

シーンについての情報を取得するための能動パルス式４次元（４Ｄ）カメラシステムであって、
前記シーンの撮像視野全体にわたって所定の周波数範囲内で光を生成して放射するように構成された少なくとも１つの放射体であって、前記放射された光は、パルスの能動シーケンスである、前記少なくとも１つの放射体と、
複数の検出器のアレイの撮像視野について前記所定の周波数範囲内の光を受信するように構成された前記複数の検出器のアレイであって、前記シーンの撮像視野は、前記アレイの撮像視野によって画定され、前記アレイ内の各検出器は、前記アレイの撮像視野の異なる一部分である個別の撮像視野を有する、前記複数の検出器のアレイと、
前記少なくとも１つの放射体および前記複数の検出器のアレイに動作可能に結合され、前記少なくとも１つの放射体に第１の時点で前記パルスの能動シーケンスの放射を開始させ、前記複数の検出器のアレイに、放射体／検出器サイクルにおける前記第１の時点後の第２の時点で光を受信させ始めるように構成された制御回路であって、前記制御回路は、Ｋ回の連続した放射体／検出器サイクルにおける前記第１の時点と前記第２の時点との間の経過時間を変化させるように構成され、Ｋは４よりも大きく、前記Ｋ回の連続した放射体／検出器サイクルの経過時間の合計は５０マイクロ秒未満である、前記制御回路と、
前記複数の検出器のアレイおよび前記制御回路に動作可能に結合された処理システムであって、
前記複数の検出器のアレイ内の各検出器が受信した光に対応するデジタル情報を生成して記憶することであって、前記複数の検出器のアレイ内の各検出器に対するデジタル情報は、前記Ｋ回の放射体／検出器サイクルのうちの１つに対応するＫ個のフレームバッファのうちの１つにサンプリングされ記憶される、前記デジタル情報を生成して記憶すること、
各検出器についての前記デジタル情報を解析し、前記シーンの少なくとも一部分の表示を、前記Ｋ個のフレームバッファのうちの異なるフレームバッファによって受信された前記パルスのシーケンスに対応する前記デジタル情報内の飛行時間（ＴＯＦ）データと、前記Ｋ回の放射体／検出器サイクルのそれぞれについての前記パルスのシーケンスの相対的なタイミング差とに少なくとも部分的に基づいて構築すること、を行うように構成された前記処理システムと、を備えた能動パルス式４次元カメラシステム。

【請求項2】

前記処理システムは、前記シーンの少なくとも一部分の表示の一部分として、複数の検出器に対応する前記飛行時間データに基づいて、深度マップを構築するように構成される、請求項１に記載の能動パルス式４次元カメラシステム。

【請求項3】

前記処理システムは、前記シーンの少なくとも一部分の画像を出力するようにさらに構成される、請求項１に記載の能動パルス式４次元カメラシステム。

【請求項4】

前記処理システムは、前記Ｋ個のフレームバッファのうちの異なるフレームバッファによる色情報に関する前記デジタル情報を解析することによって前記表示を構築するように構成される、請求項１に記載の能動パルス式４次元カメラシステム。

【請求項5】

前記放射体は、少なくとも１つの発光ダイオード（ＬＥＤ）を備える、請求項１に記載の能動パルス式４次元カメラシステム。

【請求項6】

前記放射体は、複数の色成分を有する複数のＬＥＤを備える、請求項５に記載の能動パルス式４次元カメラシステム。

【請求項7】

前記放射体は、少なくとも１つの車両ヘッドランプを備える、請求項１に記載の能動パ
ルス式４次元カメラシステム。

【請求項8】

前記少なくとも１つの放射体の所定の周波数範囲は、
１００ナノメートル（ｎｍ）〜４００ｎｍ、４００ｎｍ〜７００ｎｍ、７-ｎｍ〜１４００ｎｍ、１４００ｎｍ〜８０００ｎｍ、８マイクロメートル（μｍ）〜１５μｍ、１５μｍ〜１０００μｍ、および０．１ｍｍ〜１ｍｍからなる群から選択される、請求項１に記載の能動パルス式４次元カメラシステム。

【請求項9】

前記複数の検出器のアレイは、前記所定の周波数範囲外の受信した光を除去する帯域フィルタを備える、請求項１に記載の能動パルス式４次元カメラシステム。

【請求項10】

前記複数の検出器のアレイは、周辺光と区別するためにＫ個のパルスの前記能動シーケンスに関連する反射光を受信するように構成されている、請求項１に記載の能動パルス式４次元カメラシステム。

【請求項11】

前記放射された光は、前記所定の周波数範囲で不均一である、請求項１に記載の能動パルス式４次元カメラシステム。

【請求項12】

前記複数の検出器のアレイ内の各検出器は、フォトダイオードおよび検出器積分回路を備え、
前記フォトダイオードは、前記フォトダイオードが前記放射体／検出器サイクルの間に光を受信するときに、前記検出器積分回路に電荷を転送するように構成される、請求項１に記載の能動パルス式４次元カメラシステム。

【請求項13】

前記複数の検出器のアレイ内の各検出器の前記検出器積分回路は、第１の放射体／検出器サイクルによる前記電荷を、前記検出器用の前記Ｋ個のフレームバッファのうちの１つに転送し、その後、前記Ｋ回の連続する放射体／検出器サイクルの第２の放射体／検出器サイクルが開始するように構成される、請求項１２に記載の能動パルス式４次元カメラシステム。

【請求項14】

各検出器の個々の撮像視野は、画素を含む、請求項１に記載の能動パルス式４次元カメラシステム。

【請求項15】

隣接する検出器の個々の撮像視野は、部分的に重なり合うことができる、請求項１に記載の能動パルス式４次元カメラシステム。

【請求項16】

処理回路は、前記放射された光または前記複数の検出器のアレイによって受信された光のうちの少なくとも一方の減衰を検出し、前記表示を構築する際に前記減衰の影響を低減するようにさらに構成される、請求項１に記載の能動パルス式４次元カメラシステム。

【請求項17】

前記制御回路は、前記Ｋ回の連続した放射体／検出器サイクルのうちの連続したサイクルにおける前記連続したパルスのシーケンスに対して前記第１の時点を変化させることによって前記経過時間を変化させるように構成される、請求項１に記載の能動パルス式４次元カメラシステム。

【請求項18】

前記複数の検出器のアレイは、カラーフィルタリングのためにベイヤーパターンを利用する、請求項１に記載の能動パルス式４次元カメラシステム。

【請求項19】

各カラープレーンについての前記デジタル情報は、デモザイク処理によってスパースカラーマップから高密度カラーマップに変換される、請求項１８に記載の能動パルス式４次
元カメラシステム。

【請求項20】

能動パルス式４次元（４Ｄ）カメラシステムを用いてシーンについての情報を取得する方法であって、
前記シーンの撮像視野全体にわたって所定の周波数範囲内で光パルスの能動シーケンスとして前記能動パルス式４次元カメラシステムから光を放射するステップと、
前記放射するステップの開始からの第１の経過時間後に、前記能動パルス式４次元カメラシステムにより前記撮像視野の所定の周波数範囲内の光を検出するステップと、
前記検出するステップによる光をデジタル情報に変換するステップと、
前記デジタル情報を前記能動パルス式４次元カメラシステムのＫ個のフレームバッファのうちの１つに記憶するステップと、
連続したサイクル中の複数の前記放射するステップの間に第２の経過時間を有するＫ回の連続したサイクルで前記放射するステップ、前記検出するステップ、前記変換するステップ、および前記記憶するステップを繰り返すステップであって、前記第１の経過時間および前記第２の経過時間は、前記Ｋ回の連続したサイクルのそれぞれで異なり、Ｋは４よりも大きい、前記繰り返すステップと、
前記Ｋ個のフレームバッファに記憶された前記デジタル情報を解析し、前記シーンの少なくとも一部分のデジタル表示を、前記Ｋ個のフレームバッファのうちの異なるフレームバッファによって受信された前記光パルスのシーケンスに対応する前記デジタル情報内の飛行時間（ＴＯＦ）データと、前記Ｋ回の連続したサイクルのそれぞれについての前記光パルスのシーケンスの相対的なタイミング差とに少なくとも部分的に基づいて構築するステップと、を備える方法。

【請求項21】

距離情報についての前記Ｋ個のフレームバッファ内の前記デジタル情報を解析することによって、前記能動パルス式４次元カメラシステムと前記シーンの少なくとも一部分との間の距離の深度マップを構築するステップをさらに備える請求項２０に記載の方法。

【請求項22】

前記シーンの少なくとも一部分の画像を出力するステップをさらに備える請求項２０に記載の方法。

【請求項23】

前記シーンの少なくとも一部分のデジタル表示を構築するステップは、
色情報についての前記Ｋ回の連続したサイクルによる前記デジタル情報を解析するステップを含む、請求項２０に記載の方法。

【請求項24】

前記Ｋ回の連続サイクルのうちの１つにおける前記変換するステップは、
前記Ｋ回の連続したサイクルのうちの次のサイクルの前記放射するステップが開始する前に完了する、請求項２０に記載の方法。

【請求項25】

前記能動パルス式４次元カメラシステムによって検出された前記放射された光または前記光のうちの少なくとも一方の減衰を検出するステップと、
前記デジタル表示を構築する際に前記検出された減衰の影響を低減するステップと、をさらに備える請求項２０に記載の方法。

【請求項26】

シーンから情報を取得するための能動パルス式４次元（４Ｄ）カメラシステムであって、
前記シーン全体にわたってＫ回の連続したサイクルの複数の能動光パルスを放射するように構成された少なくとも１つの放射体であって、前記Ｋ回の連続したサイクルのうちのあるサイクルの開始と前記Ｋ回の連続したサイクルのうちの次のサイクルの開始との間の時間は、前記Ｋ回の連続したサイクルを通して変化する、前記少なくとも１つの放射体と、
前記Ｋ回の連続したサイクルのそれぞれにおいて放射された前記能動光パルスに関連する反射光を受信するように構成された複数の検出器のアレイであって、前記能動光パルスの放射開始と反射光の受信開始との間の時間は、前記Ｋ回の連続したサイクルの各々で変えられる、前記複数の検出器のアレイと、
前記複数の検出器のアレイによって受信された前記反射光に関連するデジタル情報を記憶するように構成された複数のバッファと、
前記複数のバッファに動作可能に結合された処理システムであって、
前記デジタル情報を解析して、前記Ｋ回の連続したサイクル中で変化する前記Ｋ回の連続したサイクルのうちのあるサイクルの開始と前記Ｋ回の連続したサイクルのうちの次のサイクルの開始との間の時間に少なくとも部分的に基づいて、前記シーンの距離情報および色情報を決定し、
決定された距離情報および決定された色情報に基づいて前記シーンのデジタル表示を構築するように構成された前記処理システムと、を備えた能動パルス式４次元カメラシステム。

【発明の詳細な説明】

【技術分野】

【0001】

実施形態は一般に、シーンのある画像の複数の点までの距離の測定を提供するカメラに関する。さらに詳細には、実施形態は、シーンおよび被写体の画像が広範囲の周辺照明条件で取得され、各カメラ画素が色および距離の情報を提供する能動光源カメラに関する。

【背景技術】

【0002】

３次元（３Ｄ）カメラとも呼ばれる３次元光イメージングシステムは、シーン内の物理的被写体用の距離測定および光測定を提供できる。このような３Ｄカメラの用途は、工業的検査、選択的ロボットビジョン、３Ｄモデリング、測量および法医学的分析である。

【0003】

３Ｄカメラは、種々の技術で実施することができるが、各種技術の組み合わせではカメラに広範な用途を与えられないある程度の限界がある。立体視３Ｄカメラは、固定された高度に較正された構成において２つ以上のイメージングアレイを実装し、撮像視野中で共通した複数の点の三角測量を利用して、共通した複数の点のそれぞれまでの距離を求める。立体視システムは、オクルージョンおよび視差のため画像距離の不正確さに悩まされる。さらに、画像アレイ間の基準距離が測定距離に比べて小さい場合、距離の不正確さが問題となる。最後に、立体３Ｄカメラは、複数の画像アレイの必要性と、画像アレイ間の基準オフセットのための高精度要件のゆえに高価である。

【0004】

飛行時間（Time-Of-Flight : TOF）システムは、パルス化または変調されたレーザなどの光源がシーン内の被写体から反射された光の振幅およびタイミングを測定するための撮像システムに連動してシーンを照明する光パルスを提供するように光源を利用する。シーン内の点までの距離は、反射された信号のすべてについて既に分かっている光速を用いて決定される。ＴＯＦデバイス用のイメージングシステムは、典型的にはＣＣＤまたはＣＭＯＳ技術を使用して製造された光検出器アレイを有するカメラと、光検出素子のための収集時間を迅速にゲーティングする（gating）方法とを含む。反射された光は、特定のゲートサイクル中に光検出素子によって取り込まれる。

【0005】

ＴＯＦシステムによっては、光パルスとゲート式光検出器（gated photodetectors）との間のタイミングのみを利用して３Ｄ被写体距離を決定する。ＴＯＦシステムによっては、ゲート式取り込みサイクル中の受光量を利用して被写体距離を求める。これらのシステムの精度は、入射光の均一性および光検出器用のゲート機構の速度に依存する。

【0006】

ゲート式光検出器の利用は、シーン内の被写体までの距離を求める有効な方法である。入射光パルスとゲート式光検出器との間のタイミングを正確に制御することにより、ある距離バンド内における被写体までの距離を正確に決定することができる。他の距離バンドで被写体距離を求めるためには、その後の光およびゲート式光検出器サイクルが利用されるが、静止した被写体および静止したカメラは現在の構成および配向で維持される。シーン内のカメラおよび被写体の両方またはいずれかの移動により、互いに対して記録されない距離測定バンドが生じる。

【0007】

特許文献１に記述された３Ｄカメラは、変調された光源（source）およびイメージングシステムを利用する。このシステムの好ましい実施形態は、ＣＷレーザを使用し、入射信号と反射信号との間の位相差を利用して被写体までの距離を求める。

【0008】

別の３Ｄカメラは、特許文献２に記述される。このシステムは、各光検出器素子に対し
て一対のゲート（gate）を利用する。被写体までの距離は、２つのゲートされた素子でサンプリングしたエネルギー間の差の比から決定される。

【0009】

特許文献３および特許文献４はそれぞれ、変調された光度源および位相範囲を利用して、放射信号と検出信号との間の位相シフトを検出する。特許文献５の実施形態は、飛行時間決定のために変調された光度および位相シフトの検出を利用している。特許文献５の他の実施形態は、低分解能距離経路を有する高分解能色経路を利用して、検出器または検出器のグループの３Ｄ情報を決定する。

【0010】

ヤハブ（Ｙａｈａｖ）に付与された特許文献６は、チップ上の３Ｄビジョンについて記述しており、稼働時にゲートされる光検出器素子のアレイを利用して、シーン内の被写体距離を求める。光検出器サイトは、ＴＯＦ距離測定または被写体の色の決定のいずれかのために利用される。ヤハブの実施形態は、さまざまな距離バンドを求めるために光検出素子のグループまたはバンドを利用することを記述している。ヤハブの他の実施形態は、取り込みサイクルのシーケンスを利用して求められた全シーン距離により、各取り込みサイクルについての単一の距離バンドについて記述している。ヤハブには規定されていないが、これらの実施形態の要件は、取り込みサイクルのシーケンス全体を通してカメラおよびシーン内の被写体の移動がないことである。

【0011】

自律走行自動車ナビゲーション、モービルマッピング、農業、鉱業および監視などの現実世界の用途では、一連のイメージングサイクル中に３Ｄカメラとシーン内の被写体との間の相対移動がほとんどまたはまったくないことを要求するというのは現実的ではない。さらに、現実世界の状況の大部分は、周囲光条件が広く変化するシーンで生じる。被写体、カメラまたはその両方が動いている過渡的なシーンにおいて被写体を正確に測定するのに十分な速度で画像を取り込む３Ｄカメラを有することが望ましい。さらに、昼間および夜間のイメージングのための正確な距離および色を生成する能動光源３Ｄカメラを有することが望ましい。さらに、２次元カメラの視界を劇的に制限する大気条件を「見通す（see through）」ことができるカメラを有することが望ましい。

【先行技術文献】

【特許文献】

【0012】

【特許文献1】米国特許第４，９３５，６１６号明細書

【特許文献2】米国特許第５，０８１，５３０号明細書

【特許文献3】米国特許第７，３６２，４１９号明細書

【特許文献4】米国特許第７，７５５，７４３号明細書

【特許文献5】米国特許第８，１５９，５９８号明細書

【特許文献6】米国特許第８，１０２，４２６号明細書

【発明の概要】

【0013】

実施形態では、４次元（４Ｄ）カメラの光検出器アレイは、連続した光パルスと対応するゲート式検出器サイクルとの間の異なる相対的タイミングを用いる、素早い一連の能動光パルスおよびゲート式光検出器サイクルを利用して、シーンから反射した光を取り込む。

【0014】

実施形態では、入射光は、約４００ナノメートル〜７００ナノメートルのエネルギー帯の全スペクトル可視光である。光検出器サイトは、この波長域の放射線に対して敏感である。実施形態では、光検出器は、所望のエネルギー帯外の放射線を低減または除去するために帯域フィルタを利用する。帯域フィルタは、ＩＲ除去フィルタの場合にはグローバルアレイフィルタとして適用することができ、アレイ内のＲＧＢ成分を確立するベイヤーパターンの場合には各光検出器の個別のフィルタとして適用することができる。

【0015】

いくつかの実施形態では、光検出器素子は、光検出器積分素子に結合されたフォトダイオードを利用し、これにより、フォトダイオードからの電流が光検出器のゲートサイクル中に収集または積分される電荷を生成する。光検出器積分段は、積分した電荷をシステム内の次の処理素子に高速で転送することによって空にされ、これによって光検出器段が次の光検出器積分サイクルの積分を開始することを可能にする。

【0016】

実施形態では、アレイ内の各光検出器サイトは専用の電荷転送段に接続され、Ｋ個の段はそれぞれ、光検出器サイトからの電荷の高速転送を可能にする。光検出器ごとのＫ個の電荷転送段を利用することにより、１回のイメージングサイクルあたり最大Ｋ回のゲート式放射体／検出器サイクルが可能になる。

【0017】

実施形態では、検出器アレイおよび電荷転送サイトは、ゲート回路および電荷転送制御回路と共に焦点面アレイ上に一緒に製造される。光検出器サイトの数は十分に多く、下流のカメラ回路への焦点面アレイインタフェースは、高速電荷転送アレイのスループットレートよりも比較的低いスループットレートとなる。

【0018】

実施形態では、検出器アレイは、ゲート回路と共に焦点面アレイ上に製造される。焦点面アレイの信号インタフェースは十分に高速であるため、電荷転送アレイを必要とすることなく、積分電荷を積分サイトから４Ｄフレームバッファに直接転送することができる。

【0019】

いくつかの実施形態では、４Ｄカメラ光源は、所望の周波数範囲全体にわたって均一な強度を提供するＬＥＤのような１つまたは複数の素子を備える。他の実施形態では、光源は、ＬＥＤのような光素子の組み合わせであり、別個の光素子における周波数応答を合成して、所望の周波数範囲全体にわたって均一な出力信号を形成する。

【0020】

実施形態では、カメラは、放射信号および反射信号を減衰させる環境条件を検出し、環境信号および大気信号からの検出情報を利用して、非減衰信号強度、被写体距離および被写体の色を求める。

【0021】

実施形態では、光度は周波数範囲全体にわたって不均一である。不均一な光は、画像の後処理の間に適用される色補正に使用するパラメータを求めるために特性評価される。実施形態では、光度は撮像視野全体にわたって空間的に不均一である。不均一な空間輝度は、画像の後処理の間にシーン輝度および色の調整を可能とするようにマッピングされる。

【0022】

いくつかの実施形態では、光エネルギーは、６５０ｎｍ、９０５ｎｍ、または１５５０ｎｍの共通のレーザ波長として放射され受信される。いくつかの実施形態では、光エネルギーは、紫外線（ＵＶ）（１００〜４００ｎｍ）、可視線（４００〜７００ｎｍ）、近赤外線（ＮＩＲ）（７００〜１４００ｎｍ）、赤外線（ＩＲ）（１４００〜８０００ｎｍ）、長波長ＩＲ（ＬＷＩＲ）（８μｍ〜１５μｍ）、遠ＩＲ（ＦＩＲ）（１５μｍ〜１０００μｍ）、またはテラヘルツ（０．１ｍｍ〜１ｍｍ）の波長帯であり得る。

【図面の簡単な説明】

【0023】

【図1】４Ｄカメラ構成の外観を示す。

【図2】システムの撮像視野を画定する４Ｄカメラの態様を示す。

【図3】システムの主な電気素子および光学素子の機能ブロック図を示す。

【図4】複数の４Ｄ画像の取り込みおよび処理サイクルを示す電気タイミング図を示す。

【図5】各光検出器画素が単一の光検出器、関連する積分段およびＫ個の電荷転送段からなる、検出器アレイの電気的機能ブロック図を示す。

【図6】単一の４Ｄフレームバッファ用に収集されたデータを構成する１１段の放射体／検出器事象の電気的タイミング図を示す。

【図7】典型的な１６段の検出器画素のＴＯＦ範囲を示し、すべての積分段についての関連する収集輝度値を示す。

【図8】光路を不明瞭にする霧を伴う被写体のイメージングを示す。

【図9】光路を不明瞭にする霧を伴ったイメージング用のＴＯＦ範囲および輝度値を示す。

【図10】単一の４Ｄフレームバッファ用の１０段の検出器事象の電気的タイミング図を示し、最後の段は時間的に拡張されてより多くの色情報を積分する。

【図11】１０段の検出器画素のＴＯＦ範囲を示し、すべての積分段についての関連する収集輝度値を示す。

【図12a】５０ｎＳｅｃ放射体パルスの光タイミング図を示す。

【図12b】同じ５０ｎＳｅｃ放射体パルスの累積輝度の光タイミング図を示す。

【図13a】理想的な可視スペクトル放射体のスペクトル出力を示す。

【図13b】典型的なＬＥＤ放射体のスペクトル出力を示す。

【図14a】白色ＬＥＤ放射体と共に赤色ＬＥＤ放射体および緑色ＬＥＤ放射体のスペクトル出力を示す。

【図14b】白色ＬＥＤ、緑色ＬＥＤおよび赤色ＬＥＤで生成された合成信号の累積スペクトル出力を示す。

【図15】青色放射体、赤色放射体および緑色放射体のスペクトル出力を示す。

【図16】放射光が車両のヘッドランプによって生成され、検出器の光学部品および電気部品が放射体から離れて車両の内部に収容される自動車の構成を示す。

【図17】４Ｄカメラ回路がヘッドランプの制御を行う自動車の構成におけるヘッドランプ制御タイミングを示す。

【図18】被写体の角度輝度プロファイル解析に使用する画像データを収集するための環境を示す。

【図19】被写体を分類または識別するために角度輝度プロファイル解析を利用するアルゴリズムのフローチャートを示す。

【図20】カメラを使用して視界不良条件で情報を提供する自動車の構成を示す。

【発明を実施するための形態】

【0024】

図１は、４Ｄカメラ１０の機械的構成を示す。レンズ２０は、撮像視野（Ｆｉｅｌｄ Ｏｆ Ｖｉｅｗ：ＦＯＶ）からの光を検出器アレイ上に導き、焦点を合わせる１つまたは複数の透過性光学素子を備える。帯域フィルタは、典型的には、不要な周波数成分を除去するためにレンズ２０のアセンブリの一部として備えられる。例えば、放射体（emitter）用に９０５ｎｍのレーザを利用する４Ｄカメラ１０は、可視スペクトルおよび他のＩＲ周波数が検出器素子を作動させないように、９０５ｎｍの狭帯域フィルタを備えることができる。複数の放射体（emitter）３０は、検出器アレイおよび関連するレンズ１０のＦＯＶを含む領域全体に分配される入射光を提供する。複数の放射体３０から生じる光は、「受動的（passive）」な周辺光とは区別できる「能動的（active）」な光である。個々の放射体３０は、ＦＯＶ全体に光を適切に分配するようにレンズが嵌められてもよい（lensed）。すべての放射体３０は、互いに同じ周波数を生成することができ、または別個の放射体３０は、デバイス１０の異なる帯域の所望のスペクトル出力を生成することができる。放射体３０のパルシング（Pulsing）は、４Ｄカメラ１０に実装された電子機器によって正確に制御される。カメラ１０用の機械的ハウジング４０は、典型的には、カメラ１０が取り付けられているデバイスまたは車両に対するカメラ１０の正確な配向を可能にするデバイス取り付け特徴を有する。電力は、電力接続４５を介して４Ｄカメラ１０に供給される。情報は一体型電力／通信ケーブル４５を介して、別個のＩ／Ｏケーブルを介して、または無線インタフェースを介してカメラ１０へ／から転送される。

【0025】

図２は、検出器アレイ５０の一実施形態の光学的構成を示す。レンズ５２または他の光学素子は、検出器アレイ５０の撮像視野５６を決定する。検出器アレイ５０の撮像視野５６のエッジは、デバイスの法線ベクトルからの角度範囲によって画定される。この同じ法線ベクトルは、検出された被写体に対するその後の角度測定のための基準ベクトルとしての機能を果たす。図示されている表面５４は、アレイ５０から一定の距離にある検出器アレイ５０の撮像視野の描写である。さまざまな実施形態では、アレイ５０内の各検出器素子５８は、撮像視野５６内での異なる角度６０と関連し得る。個々の検出器５８の撮像視野６２は、検出器アレイ５０の撮像視野５６の一部分である。換言すると、検出器アレイ５０の撮像視野５６は、個々の撮像視野６２のすべての合計である。

【0026】

焦点レンズ５２を備えた検出器アレイ５０の場合、各検出器５８に対応する個々の撮像視野６２は、隣接する検出器の撮像視野と完璧に整列しているべきである。実際には、レンズ５２の焦点が完璧に合うことはほぼない。したがって、レンズ付きシステムの各検出器５８の撮像視野６２は典型的には重なり合っていてもよいが、各検出器５８の撮像視野は、検出器アレイ５０内のどの他の検出器５８の撮像視野とも異なる。検出器アレイ５０は、半導体レイアウトの制限、基板の熱の考慮、電気的なクロストークの回避、または他のレイアウト、製造もしくは歩留まりの制約ゆえに、それらの構成において最適な密度を有していない可能性がある。このように、まばらな検出器アレイ５０は、連続した検出器素子５８間の未使用空間に接触する反射光子ゆえに、デバイスの撮像視野５６内の光子検出器の効率損失を被る可能性がある。

【0027】

レンズなしシステムの場合、各検出器５８の撮像視野６２は、回折格子、干渉計、導波管、２Ｄマスク、３Ｄマスク、または特定の撮像視野内の光を許容するように構成されたさまざまな他のアパーチャ構成によって決定され得る。これらの個々の検出器のアパーチャは、典型的には、デバイスの撮像視野５６内に重なり合う撮像視野６２を有する。

【0028】

さまざまな実施形態の要素は、各検出器５８のための角度６０の決定である。図２は、単レンズ５２を備えた検出器アレイ５０を示す。別の実施形態は、各検出器素子５８でマイクロレンズを利用し、個々のマイクロレンズは、デバイスの撮像視野５６全体にわたってさまざまな角度で反射された光を透過させるように構成されている。別の実施形態は、デバイスの撮像視野全体にわたってさまざまな角度で導波管を備えた検出器素子５８を利用する。他の実施形態は、干渉計、回折格子、２Ｄマスク、３Ｄマスク、または他のアパーチャ形成構造から作り出されたアパーチャを有する検出器素子を利用し、デバイスの撮像視野全体にわたってさまざまな角度で導波管特性を生み出す。集束光（ｉｎ−ｆｏｃｕｓ ｌｉｇｈｔ）をアレイ５０に送るように構成されたレンズ５２を備えた図２のような単レンズ５２のシステムの場合、個々の撮像視野６２は、アレイ５０内で隣接する検出器５８の撮像視野に本質的に隣接している。焦点外（ｏｕｔ−ｏｆ−ｆｏｃｕｓ）レンズ５２は、個々の検出器５８に対して重なり合った撮像視野６２を生成する。導波管およびアパーチャ検出器は、個々の検出器５８に対して重なり合った撮像視野６２を生成する可能性が高い。マイクロレンズもまた、個々の検出器５８に対して重なり合った撮像視野６２を生成する可能性が高い。これらの重なり合った撮像視野の実施形態はすべて、本明細書の仕様に従って信頼できる結果を生み出す。これらの実施形態の光学検出システムの特徴は、複数の検出器素子がデバイスの撮像視野５６を構成し、検出器アレイ内のすべての素子が、検出器５８の撮像視野６２を決定する角度６０によって画定されることである。

【0029】

４Ｄカメラで使用される検出器アレイ５０の製造には変化が生じる。図２に示すような単レンズ（５２）式検出器アレイデバイスでは、アレイ５０とレンズ５２との位置合わせのわずかな差異は、別個のデバイス間の検出器角度に差異を生じさせる可能性がある。デバイス間のわずかな製造およびアセンブリの違いのため、各デバイスは製造後の特性評価プロセスを受けてもよい。特性評価プロセスは、構築された各検出器素子の中心角６０を
画定する。さまざまな実施形態では、このプロセスによる特性評価データは、不揮発性メモリまたはあらゆるデバイスの環境設定ファイルに記憶される。導波管、マイクロレンズおよびアパーチャデバイスは、各検出器素子に対する角度６０を求めるために類似の特徴評価を必要とし得る。

【0030】

光路の正確な決定が重要であることから、現場での較正は、さまざまな実施形態によるデバイスにとって望ましくなり得る。一例として、一実施形態による４Ｄカメラデバイスは、自律走行自動車のセンサとして使用されてもよい。デバイスを保護するために、乗用車内部においてバックミラー裏のフロントガラスに取り付けて設置することができる。デバイスは車両の前方を向いているため、放射光および反射光は、外部の被写体までまたそれからの間にフロントガラスを通過する。光の両方の成分は、反射、屈折および減衰のため、フロントガラスを通過する際に歪む。この自律走行自動車の４Ｄカメラの現場における較正は、所定の較正パターンを放射し、反射信号の輝度、位置および角度を測定するデバイスを含むことができる。デバイスの特性評価パラメータは、較正に基づいて、入射光および反射光の、または入射光もしくは反射光の修正された光路を考慮に入れるように更新される。

【0031】

図３は、４Ｄカメラ７０のための電気素子および光学素子を有する実施形態の機能ブロック図を示す。光検出器アレイ７２は、特定の周波数で光子を感知し、光エネルギーを電気的情報に変換するＭ行×Ｎ列の素子の構成である。４Ｄカメラ７０の画像取り込みサイクルは、高速シーケンスで生成されるＫ回の連続した放射体／検出器サイクルからなり、その相対的タイミングは、異なるＴＯＦ、ひいては取り込みサイクル用の異なる距離範囲バンドを考慮するようにＫ回の連続したサイクルのそれぞれに対して変化する。光検出器アレイ７２からの情報は、４Ｄフレームバッファメモリ７４に記憶される。４Ｄフレームバッファメモリ７４にはＫ個のフレームバッファがあり、Ｋ個のフレームバッファはそれぞれ、各放射体／検出器サイクルのためのＭ×Ｎ個の検出器７２に関して収集された検出器情報に対応する。光検出器７２からの情報は、典型的には、アナログ信号形態で収集され統合される。Ａ／Ｄ変換器７６は、デジタル情報４Ｄフレームバッファ７４に記憶する前に、検出器７２の情報をデジタルフォーマットに変換する。Ｋ個の４Ｄフレームバッファ７４はそれぞれ、Ｍ×Ｎ×Ｌ個のビットを有し、ここで、Ｍは検出器アレイ７２内の行の数であり、Ｎは検出器アレイ７２内の列の数であり、ＬはそれぞれのＡ／Ｄ変換器７６によって生成される画素あたりのビット数である。実施形態中のＡ／Ｄ変換器素子７６の数は、１〜Ｍ×Ｎの範囲であることができる。Ａ／Ｄ変換器素子７６が多いほど、光検出器アレイ７２から４Ｄフレームバッファ７４へのより高速での情報の転送を可能にする。

【0032】

実施形態では、光検出器アレイ７２は、電気的接続７８を利用して他のカメラ７０の回路と連動する焦点面アレイとして製造される。この電気的インタフェース７８は、典型的には、複数の高速光検出素子７２によって要求されるよりも低い帯域幅のものである。電荷転送アレイ８０は、複数の光検出器素子７２に後続の放射体／検出器事象を迅速に処理させるようにするのに十分な速度で光検出器アレイ７２から情報を取り込む高速アナログ記憶素子の集合である。電荷転送アレイ８０のサイズは、典型的にはＭ×Ｎ×Ｋ個のアナログ記憶素子であり、ここで、Ｍは検出器アレイ７２内の行の数であり、Ｎは検出器アレイ７２内の列の数であり、Ｋは単一の４Ｄカメラ７０事象のための４Ｄ取り込みサイクルを構成する放射体／検出器サイクルの数である。

【0033】

４Ｄフレームバッファ７４からの情報は、色情報および距離情報のために別個に処理される。コントローラ８２は、Ｍ×Ｎ個の画素それぞれのためのＴＯＦアルゴリズムから距離値を計算し、その距離情報を深度マップ８４メモリに記憶させる。実施形態では、光検出器アレイ７２は、ベイヤーパターンまたは他の何らかの光の三原色（ＲＧＢ）構成のようなカラーフィルタパターンを用いて製造される。検出器フィルタパターンによる各色は
、デバイス７０のメモリにおいて対応するカラープレーン（color plane）８６を必要とする。図３は、ベイヤーフィルタパターンを有する検出器アレイの例えば赤色プレーン、緑色プレーンおよび青色プレーンに対応するカラープレーン０〜２（８６）を示す。カラープレーン８６の数は、モノクロ、グレースケール、または単一周波数の用途のため、ならびにＩＲおよびＮＩＲの用途のための数とすることができる。カラープレーン８６の数はＣで示され、検出器アレイ７２の光路で利用される異なる帯域フィルタの数に対応するか、または単一の検出器でフィルタされるマルチ放射体波長構成で利用される別個の放射体周波数の数に対応する。Ｃ個のカラープレーン８６はそれぞれ、Ｍ×Ｎ個の素子を含み、各素子はＬビットの情報を有する。多色検出器フィルタを有する実施形態では、コントローラ８２は、Ｃ個のカラープレーン８６のそれぞれにデモザイク処理を実行して、検出器フィルタパターンによって生成されたスパースマップ（sparse map）から高密度カラーマップを作成することができる。

【0034】

コントローラ８２は、別個のカラープレーン８６を出力画像フォーマットにアセンブルし（assemble）、その結果として得られたファイルをデバイスメモリ８８に記憶させる。出力ファイルは、ＴＩＦＦ、ＪＰＥＧ、ＢＭＰもしくは任意の他の業界標準または他の独自仕様のフォーマットなどのフォーマットであってもよい。ある画像用の深度マップ８４の情報は、画像ファイルに記憶されても、または画像ファイルに関連付けられた別個のファイルで生成されてもよい。出力ファイルの作成が完了した後、コントローラ８２は、Ｉ／Ｏ９０のインタフェースを介して上流のアプリケーションまたはデバイスに情報を送信する。コントローラ８２は、放射体９２用の制御情報の順序付け、光検出器７２の積分、４Ｄフレームバッファ７４の色８６および深度８４の情報への変換、ならびにデバイス７０の他のデバイスとの通信のすべてを設定する。コントローラ８２は、単一のＣＰＵ素子であってもよいし、またはデバイス７０のためのさまざまな制御機能を実行するマイクロコントローラおよび／もしくはグラフィックス処理ユニット（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＧＰＵ）の集合であってもよい。

【0035】

図４は、複数回の画像取り込みサイクルのための電気信号タイミングを示す。放射体駆動パルス１００の第１のシーケンス中に、カメラの放射体（camera emitters）を作動させるＫ個のパルスが存在する。放射体駆動パルスの開始以降の選択された時間において、Ｋ回の検出器積分サイクル１０２が実行される。最後の検出器積分サイクル１０２が完了すると、情報は検出器アレイまたは電荷転送アレイから４Ｄフレームバッファ１０４に転送される。検出器アレイまたは電荷転送アレイから４ＤフレームバッファにＭ×Ｎ×Ｋ個の輝度値を転送する時間は、典型的には、放射体／検出器サイクル１００、１０２の時間よりもはるかに長い。

【0036】

４Ｄフレームバッファの充填が完了すると、カメラコントローラはＭ×Ｎ深度マップ１０６を作成し、カラープレーン１０８を作成する。カメラが検出器アレイにおいて複数のカラーフィルタによって生成された複数のカラープレーンを利用する実施形態では、コントローラは、スパースなカラープレーンのそれぞれにデモザイク処理を実行し、各カラープレーンにＭ×Ｎ個の明度を生成する。コントローラは、現在のカラー画像用の出力ファイルを作成し、上流のデバイスまたはアプリケーションへの送信のためにファイルをフォーマットする（１１０）。

【0037】

４Ｄカメラのフレームレートは、典型的には、処理シーケンスにおける最も長い動作の関数である。図４の実施形態では、４Ｄフレームバッファ１０４の充填（filling）は、焦点面アレイアーキテクチャの典型的な帯域幅制約のため、最も長い動作である。４Ｄフレームバッファが空になると、新しい放射体／検出器サイクルを開始できる。第２の４Ｄカメラフレームサイクルのための放射体駆動パルス１１４および検出器積分サイクル１１６は、深度１０６およびカラープレーン１０８が前のカメラサイクルに対して作成されて
いる間に開始するサイクルとして示されている。この計算サイクルのパイプライン処理は、通常、一連の計算事象のシーケンスのスループットを増加させるために当該技術分野で知られている技術である。

【0038】

図５は、検出器アレイ１２０の素子の機能的電気回路図を示す。検出器アレイ１２０は、Ｍ行とＮ列の素子からなる。単一の検出器素子１２２の機能は、図５の上部に示されている。光検出器１２４は、逆バイアス構成で示されている。光検出器１２４における入射光子１２６は、積分ゲート１２８がゲートＯＮ位置にあるときに電流を流す。このゲートスイッチは、ゲート１２８が閉じている間にのみ電流を積分段１３０に流すことができる。積分器段１３０に流れる電流は、増幅器１３４を介してコンデンサ１３２に電荷を集めることを可能にする。コンデンサ１２３は、光検出器１２４からの電流の流れにより電荷を収集する任意のデバイスまたは機能を表す機能素子であることに留意されたい。当業者は、実施形態の素子に一致しつつも同等の機能部品を有するゲートスイッチ１２８、積分器１３４、およびコンデンサ１３２の代替品を製造してもよい。

【0039】

検出器１２２の積分サイクルの間、コンデンサ１３２で収集された電荷の強度は、積分器１３０のゲート時間中に存在する入射光子１２６の数に比例する。光検出器１３０の積分中、電荷転送スイッチ１３６は開位置にとどまる。積分サイクルが完了すると、積分スイッチ１２８が開き、収集された電荷は積分器１３０段にとどまる。電荷転送サイクルの開始時に、電荷転送段「０」（１３８）のゲートスイッチ１３６を閉じることによって、電荷は積分コンデンサ１３２から電荷転送段「０」（１３８）のコンデンサ１４０に移動される。電荷転送段「０」（１３８）からの出力線において、別のゲートスイッチ１４２は、段「０」（１３８）から段「１」（１４４）への電荷の転送を可能にする。段「０」に対する入力スイッチ１３６および出力スイッチ１４２は、同時に「オン」または閉位置にないため、電荷を次の電荷転送サイクルで段「１」に転送される前に段「０」（１３８）に転送し記憶する。電荷転送段「Ｋ−１」（１４４）は、Ｋ回の放射体／検出器サイクルの最後の電荷転送段を表す。電荷は、Ｋ−１出力スイッチ１４８が閉じているとき、段「Ｋ−１」（１４４）からデータバス１４６に転送され、４Ｄフレームバッファに導かれる。Ｋ回の検出器積分サイクルのそれぞれの終わりに、接地スイッチ１４９を閉じて、光検出器１２４で収集し得た過剰な電荷をすべて除去することができる。

【0040】

図６は、Ｋ段を有する４Ｄカメラの放射体／検出器シーケンスの最初の１１段の電気的タイミングを示すが、ここでＫは１６である。放射体および検出器の制御回路は、ｔ_０１５２で始まる放射体クロック１５０に参照される。放射体駆動パルス１５４は、放射体サイクルごとに放射体クロック１５０の４つの期間にわたって放射体を起動する。検出器積分１５６の信号は、検出器アレイにおけるすべての積分段の積分時間を決定する。各検出器積分期間１５６は、本実施形態では６つの放射体クロック（１５０）期間に等しい。放射体駆動パルス１５４および検出器積分１５６の相対的な開始タイミングは、各放射体検出器サイクルがシーン内の被写体を検出する距離範囲を決定する。Ｋ段のうちの段「０」の場合、ｔ_０の放射体開始時点とｔ_０の検出器積分の開始とのずれの結果、放射体クロック（１５０）の０周期の最小飛行時間（time of flight : ＴＯＦ）および放射体クロック（１５０）の６周期の最大ＴＯＦが得られ、ここで、第１の放射体パルス１５８の開始時点および第１の検出器積分サイクル１６０の完了時点によって６周期が決定される。シーケンスの第２の放射体／検出器段については、検出器積分１５６の開始１６４は、第２の放射体駆動パルス１５４の開始（１６２）後から放射体クロック（１５０）の１周期であり、第２の検出器積分１５６の終了１６６は、放射体駆動パルス１５４の開始（１６２）後から放射体クロック（１５０）の７周期である。第２の放射体／検出器段のための放射体信号および検出器信号の相対的タイミングは、放射体クロック（１５０）の１〜７周期のＴＯＦ範囲に対応する。Ｋ段の各々に対する後続の検出器積分１５６の相対開始時間を増加させることによって、個々のＴＯＦ範囲が累積され、４Ｄカメラ取り込みシーケン
ス全体の範囲を定義する。

【0041】

第１の検出器積分１５６の周期の完了時に（１６０）、積分電荷がＭ×Ｎ個の積分素子の各々からＭ×Ｎ個の電荷転送段「０」の各素子に転送される（１６８）。第２の検出器積分１５６の周期が終了した後、段「０」から段「１」へ電荷を転送し、積分段から電荷転送段「０」に電荷を転送する第２の電荷転送（１７０）動作が実行される。検出器入力１７２の信号は、電荷がＭ×Ｎ個の積分素子の積分段で収集される期間を示す。

【0042】

図７は、図６のＫ段タイミングシーケンスに対応するデータ素子チャート１８０を示し、ここで、Ｋ＝１６であり、放射体クロック周波数は８０ＭＨｚであり、放射体クロック周期は１２．５ｎＳｅｃである。第１の列１８２は、１６段の段番号を示す。各放射体サイクルは、それらを表す時点ｔ_ｘにより示される開始時点１８４および終了時点１８６を有する４つの周期である。各検出器積分サイクルは、それらを表す時点ｔ_ｘにより示される開始時点１８８および終了時点１９０を有する６つの周期である。最小時点１９２および最大時点１９４を定義するｔ_ｘ期間の数で示されるＴＯＦ ｍｉｎ（１９２）およびＴＯＦ ｍａｘ（１９４）の時点は、Ｋ段それぞれについてのＴＯＦ範囲を求めるために示される。１２．５ｎＳｅｃの放射体クロック期間を使用して、ＴＯＦ ｍｉｎ（ｔ_ｘ）１９２期間をＴＯＦ ｍｉｎ（ｎＳｅｃ）１９６期間に変換し、ＴＯＦ ｍａｘ（ｔ_ｘ）１９４期間をＴＯＦ ｍａｘ（ｎＳｅｃ）１９８期間に変換する。ＴＯＦの式および光速を使用すると、各ＴＯＦに対応する距離は次のように決定することができる。

【0043】

距離＝ (TOF * c) / 2 式１
（式中、ＴＯＦ＝飛行時間であり、ｃ＝媒体中の光速である。）
光速としてｃ＝０．３ｍ／ｎＳｅｃを使用して、最小距離（ｍ）２００および最大距離（ｍ）２０２の値を、４Ｄカメラ取り込みシーケンスのＫ段のそれぞれで検出される範囲の上限値および下限値のために求める。輝度（Ｈｅｘ）２０４の列は、Ｋ段のそれぞれの積分輝度値のデジタル１６進値を示す。検出器アレイ内のＭ×Ｎ個の素子のそれぞれは、Ｋ段の積分輝度に対応するＫ個の輝度値を有することに留意されたい。図７のタイミングパラメータおよびＴＯＦ値は、Ｍ×Ｎ個の素子すべてで同じであるが、輝度値は、Ｍ×Ｎ検出器アレイ内の素子ｍ，ｎに対してのみ有効である。

【0044】

輝度値２０４のレビューは０ｘ２８の最小値２０６と０ｘＦ０の最大値２０８を示す。これらの値は、Ｉ_ｍｉｎ［ｍ，ｎ］＝０ｘ２８およびＩ_ｍａｘ［ｍ，ｎ］＝０ｘＦ０と示される。取り込みシーケンスにおけるすべての検出器／放射体段に対して一定のパルス幅タイミングを利用する実施形態では、カラープレーンバッファに挿入される輝度値は、下記式によって決定される。

【0045】

I_color[m,n] = I_max[m,n] - I_min[m,n] 式２
カラープレーン輝度のための式２を利用することにより、周囲光の影響は、シーンまたは被写体上の周囲光に起因する輝度Ｉ_ｍｉｎ［ｍ，ｎ］の光子成分を減算することによって除去される。式２は、光検出器積分応答が光検出器における入射光子の数に対して比例関係を有する場合、周辺光を除去するための有効な手法である。非線形の光子／電荷収集関係の場合、式２は、入射光子と積分電荷強度との間の２次またはＮ次の関係を考慮に入れるように修正されるであろう。

【0046】

多色フィルタ素子を利用する実施形態における各光検出器ｍ，ｎについて、Ｉ_{ｃｏｌｏｒ}［ｍ，ｎ］値は、フィルタの色に対応するカラープレーン内の位置ｍ，ｎに記憶される。一例として、ベイヤーフィルタパターン（ＲＧＢＧ）を有する実施形態は、Ｍ×Ｎ／２個の緑色フィルタ検出器、Ｍ×Ｎ／４個の青色フィルタ検出器、およびＭ×Ｎ／４個の赤色フィルタ検出器を有する。Ｋ個の積分段、４Ｄフレームバッファの次の充填、およびＭ
×Ｎ個の明度の決定が完了すると、コントローラはＭ×Ｎ／４個のＩ_ｒｅｄ［ｍ，ｎ］値を赤色カラープレーンメモリの適切な位置に記憶する。次に、コントローラは、Ｍ×Ｎ／４個の青色値を決定して青色カラープレーンメモリの適切な位置に記憶し、Ｍ×Ｎ／２個の緑色値を決定して緑色カラープレーンメモリの適切な位置に記憶する。

【0047】

再び図７を参照すると、最大値２０８は３つの連続する積分サイクルで生じ、これは、反射信号パルス全体が３つの連続する積分ウィンドウで取り込まれたことを示している。輝度が最大である段のうちの最後の最小距離を利用することによって、コントローラは、この画素ｍ，ｎに関する被写体までの距離が３０メートルであると判定する。３０メートルに対応する値は、深度マップメモリ内の位置ｍ，ｎに記憶される。実際には、最大輝度値は、単一の積分サイクルの間にのみ生じ得る。これらの場合、コントローラは、部分積分信号を利用して被写体距離を決定することができる。実施形態では、放射体パルス幅および検出器パルス幅は、全幅反射信号を含む少なくとも１つの全輝度積分サイクルが存在するように選択される。さらに、連続する放射体／検出器サイクルの開始時点の相対的なずれは、少なくとも１回の積分サイクルがリーディングエッジ切落し反射信号（leading-edge-clipped reflected signal）を含み、少なくとも１回の積分サイクルがトレーリングエッジ切落し反射信号を含むことを確実にする。リーディングエッジ切落し積分サイクルおよびトレーリングエッジ切落し積分サイクル（leading-edge-clipped and trailing-edge-clipped integration cycles）用のＴＯＦは、次の式で決定される。

【0048】

【数1】

（式中、ｉは、リーディングエッジ切落し信号が検出される段であり、
ｊは、トレーリングエッジ切落し信号が検出される段であり、
Ｉ（ｉ，ｍ，ｎ）は、段ｉにおける画素ｍ，ｎの輝度値であり、
Ｉ（ｊ，ｍ，ｎ）は、段ｊにおける画素ｍ，ｎの輝度値であり、
Ｉ_ｍｉｎ（ｍ，ｎ）は、現在の放射体／検出器シーケンスの最小輝度値であり、
Ｉ_ｍａｘ（ｍ，ｎ）は、現在の放射体／検出器シーケンスの最大輝度値であり、
ＴＯＦ_ｍｉｎ（ｉ）は、検出器シーケンスの段ｉの最小ＴＯＦであり、
ＴＯＦ_ｍａｘ（ｊ）は、検出器シーケンスの段ｊの最大ＴＯＦである。）
図６および図７の実施形態は、３．０７５マイクロ秒の経過時間（２４６個の放射体クロック周期×１２．５ｎＳｅｃ／放射体クロック周期）を有する放射体および検出器パルスのＫサイクルシーケンスを実施する。４Ｄ画像サイクルを構成するＫ回の放射体／検出器サイクルの経過時間は、移動中用途に重要なパラメータである。移動中イメージングのための実施形態の目的は、シーンと検出器との間の相対移動を、第１の放射体サイクルの開始から最後の検出器サイクルの終了まで０．０５画素に制限することである。シーンの被写体と検出器画素との間の相対移動は、
・カメラ速度および方向、
・カメラ輸送速度および方向、
・被写体速度および方向、
・カメラの撮像視野、
・検出器アレイの分解能、
・４Ｄ測定値の最小範囲、
・４Ｄ測定値の最大範囲
が挙げられるがこれらに限定されないパラメータの関数である。

【0049】

地上車両に搭載される用途および低高度飛行航空機に搭載される用途では、４Ｄイメージングサイクル時間は５０マイクロ秒以下であるべきである。より高速の高高度飛行航空機での用途では、４Ｄイメージングサイクル時間は１０マイクロ秒以下であるべきである。当業者は、シーンの被写体とカメラとの間の相対移動が０．０５画素を超える実施形態を想定することができる。これらのより長時間のイメージングサイクルの実施形態は、サンプル間軌道（inter-sample trajectory）技術を利用して、検出器アレイグリッドの構造内に整列していない後続の放射体／検出器段からの情報を考慮する。

【0050】

図６および図７で説明した実施形態は、相対的に妨害のない環境での均一なパルス幅に対する信号タイミングおよび積分輝度値を示す。センサは、理想的ではない検知条件を示す環境で動作することが多い。光センサの場合、入射信号または反射信号の減衰を引き起こす条件は、明度および輝度の値を決定するとき、および被写体距離を決定するときにさらなる考慮を必要とする。塵、雨、霧、みぞれおよび雪のような大気条件は、光子妨害ゆえに信号の減衰を引き起こす。

【0051】

図８の実施形態は、図６および図７の信号タイミングを利用する。本実施形態は、図６および図７とは対照的に、各画素についてのＲＧＢ情報を利用する。ＲＧＢ情報は、ベイヤーパターンもしくは検出器アレイにおける他の何らかのＲＧＢマイクロフィルタ構成によって生成されてもよく、または赤色、緑色および青色の交互の照明を用いたモノクロまたは他のグレースケール検出器アレイによって生成される。図８は、霧３０２を含む大気条件の道路を横断する車両３００を示す。カメラ３０６から被写体３０８までの光路３０４が、霧３０２を通って発射するものとして示されている。点線の弧は、放射体／検出器カメラ３０６のシーケンスにおいてＫ＝１６であるＫ段の最初の１０段のそれぞれの最大距離の近似位置を示す。段「０」の最大距離３１０は、カメラ３０６に最も近い距離範囲であり、段「９」の最大距離３１２は、被写体３０８を含む範囲である。

【0052】

図９は、Ｋ＝１６であり、放射体クロック周波数が８０ＭＨｚであり、放射体クロック周期が１２．５ｎＳｅｃであるＫ段のタイミングシーケンスに対応するデータ素子チャート３１４を示す。青色３１６、緑色３１８および赤色３２０の輝度について、各段の積分輝度値が示されている。カメラが信号を減衰させる環境にあるため、各色の最小輝度値は、検出された被写体を超える距離範囲からの輝度値を利用して決定される。段「１５」からの輝度値を利用して、現在のシーケンスにＩ_{ｍｉｎ，ｒｅｄ}（ｍ，ｎ）＝０ｘ２６（３２２）、Ｉ_{ｍｉｎ，ｇｒｅｅｎ}（ｍ，ｎ）＝０ｘ２７（３２４）、Ｉ_{ｍｉｎ，ｂｌｕｅ}（ｍ，ｎ）＝０ｘ２８（３２６）の値が割り当てられる。

【0053】

本実施形態の放射体パルス幅および検出器パルス幅の選択に基づいて、制御アルゴリズムは、輝度値が段「６」の環境値から段「１２」の大気値に推移することを確立させる。さらに、制御アルゴリズムは、１〜３段ならどこでも１００％の被写体反射波形を含む積分信号を含むことを判定する。図９のデータより、アルゴリズムは、全期間の反射被写体波形を含む段として段「９」を確立する。段「１１」のＲＧＢ輝度値（３２８）は、段「１２〜１５」の間に取り込まれた値よりも振幅が高い。高い振幅は、段「１１」（３２８）の値が、大気信号と被写体からの反射信号との組み合わせであることを意味する。さらに、放射体パルス幅および検出器パルス幅の選択されたタイミングゆえに、反射輝度値は、トレーリングエッジ切落し戻り信号から生じる部分信号値である。段「７」（３３２）の値は、環境信号と被写体からの反射信号との組み合わせであり、環境信号は、検出された被写体とセンサとの間の環境からの戻り信号として定義される。放射体パルス幅および検出器パルス幅の選択されたタイミングゆえに、反射輝度値は、リーディングエッジ切落し戻り信号から生じる部分信号値である。選択信号タイミングおよび検知された輝度値を利用して、選択段に関して得られた値を利用して、被写体までの距離を求め、被写体の明度を決定する。

【0054】

【表1】

I(clr,m,n,s-3) = I_env(clr,m,n) 式５
I(clr,m,n,s-2) = E₀*I_env(clr,m,n) + (1-E₀)I_obj(clr,m,n) 式６
I(clr,m,n,s) = E₁*I_env(clr,m,n) + (1-E₁-A₁)I_obj(clr,m,n) + A₁*I_amb(clr,m,n) 式７
I(clr,m,n,s+2) = A₀*I_amb(clr,m,n) + (1-A₀)I_obj(clr,m,n) 式８
I(clr,m,n,s+3) = I_amb(clr,m,n) 式９
E₀= E₁ + (2*t_{放射体クロックサイクル})/D 式１０
A₁ = A₀ + (2*t_{放射体クロックサイクル})/D 式１１
（式中、ｓは、反射信号が１００％の検出器段の段番号識別子であり、
ｃｌｒは、画素の色であり、
ｍ，ｎは、アレイ内の画素の識別子であり、
Ｉ_ｅｎｖ（）は、環境信号が１００％の段の検出輝度であり、
Ｉ_ａｍｂ（）は、大気信号が１００％の段の検出輝度であり、
Ｉ_ｏｂｊ（）は、被写体の計算輝度であり、
Ｅ_０は、環境信号に起因する段ｓ−２の輝度のパーセンテージであり、
Ｅ_１は、環境信号に起因する段ｓの輝度のパーセンテージであり、
Ａ_０は、大気信号に起因する段ｓの輝度のパーセンテージであり、
Ａ_１は、大気信号に起因する段ｓ＋２の輝度のパーセンテージであり、
ｔ_{放射体クロックサイクル}は、放射体クロックの周期であり、
Ｄは、シーケンスの段に対する放射体／検出器のデューティサイクルであり、放射体パルス幅を段の検出器パルス幅で除したものとして定義される。）
５つの未知数（Ｉ_ｏｂｊ（）、Ｅ_０、Ｅ_１、Ａ_０およびＡ_１）を含んだ５つの式（式６、式７、式８、式１０および式１１）を利用して、制御アルゴリズムは、各色および各画素のＩ_ｏｂｊ（）を決定し、計算された輝度値をカラーフレームバッファ内の適切な位置に割り当てる。被写体までの距離は、式７に基づいて被写体までのＴＯＦを計算することによって決定される。

【0055】

TOF(clr,m,n) = TOF_min(clr,m,n,s) + E₁*t_{検出器パルス幅}(s) 式１２
（式中、ＴＯＦ（）は、特定の画素の飛行時間であり、
ＴＯＦ_ｍｉｎ（ｓ）は、段ｓの最小飛行時間であり、
Ｅ_１は、環境信号に起因する段ｓの輝度のパーセンテージであり、
ｔ_{検出器パルス幅}（ｓ）は、段ｓの検出器パルスの幅である。）
式５〜式１２に関する段ｓの識別は、各段の放射体パルス幅および各段の検出器パルス幅の知識に依存する。既知のパルス幅は、デューティサイクルを決定し、各画素に対する環境信号から大気信号への推移にどのくらい多くの段が関わるかを決定する。式５〜式１２は、放射体パルスが検出器パルスよりも持続時間が短い実施形態に適用可能である。放射体パルスが検出器パルスよりも長い実施形態では、式７は、Ｅ_１またはＡ_１のいずれかが０に等しくなるように計算する。結果として、さらに２つの未知数を有するさらに２つの式が、被写体の輝度値を導くために必要である。第１の追加式は、測定された段の輝度の関数として２つの新しい未知数（Ａ_２およびＥ_２）を説明し、第２の追加式は、段デューティサイクルの関数としてＡ_２およびＥ_２を説明する。

【0056】

さまざまな実施形態において、信号減衰を評価する技術の利用は、最低５回の放射体／
検出器サイクル（環境検出信号が決定される１サイクル、能動パルス式信号（active pulsed signal）のリーディングエッジ検出信号を含む１サイクル、能動パルス式信号の検出信号の１つの全放射体サイクルと、トレーリングエッジ検出信号を含む１サイクル、および大気検出信号を含む１サイクル）を利用できることが認識されるであろう。タイミング、視野、距離、大気条件および環境条件に依存して、これらの実施形態に関して説明した信号減衰を評価する技術を利用するのに必要な情報を得るために、追加の放射体／検出器サイクルが必要な場合がある。

【0057】

均一な放射体パルスの場合、式３および式４は、各画素ｍ，ｎのＴＯＦに対して同じ値を生成する。信号ノイズおよび周辺光ゆえに、高い積分輝度値に基づくＴＯＦ値は、低い積分輝度値よりも高い精度の距離計算値を出す。実施形態では、コントローラは、式３または式４の値のうちの一方だけを利用して画素のＴＯＦを求めるが、好ましいＴＯＦ値は、最大振幅の積分輝度値を利用する式から選択される。

【0058】

４Ｄカメラから遠い被写体は、放射体からカメラに近い被写体よりも少ない光を受け取る。結果として、遠い被写体からの反射信号は、より近い被写体からの反射信号よりも低い輝度を有することになる。低輝度戻り信号を補償する１つの方法は、放射体パルス幅を増加させ、また検出器の積分時間を増加させることにより、所与の被写体距離に対する積分信号の輝度を増加させる方法である。図１０は、放射体／検出器シーケンスにおいて１０段を利用する実施形態の電気的タイミングを示す。すべての放射体パルスが一定の長さであり、すべての検出器積分サイクルが一定の長さであった前述の実施形態とは対照的に、本実施形態は、増加し続ける放射体パルス周期および検出器積分周期を利用する。

【0059】

段「０」は、４周期の放射体サイクル２１０および６周期の検出器積分サイクル２１２を有する。段「１」は、５周期の放射体サイクル２１４を有し、７周期の検出器積分サイクル２１６を有する。段「９」は、非常に長い放射体パルス２１８およびこれに対応して長い検出器積分サイクル２２０を有する特別なサイクルである。この特別長い放射体／検出器サイクルは、距離測定には使用できないが、カメラの放射体の波長であまり再帰反射性が高くない被写体の正確な明度を求めるために使用される。

【0060】

図１１は、図１０のタイミングシーケンスに対応するＴＯＦ範囲を有するデータテーブル２３０を示す。段「０」〜段「８」を使用して、Ｍ×Ｎ画素の各々に関する深度マップの値を決定する。段「９」は、別個のカラープレーンのＩ_{ｃｏｌｏｒ}［ｍ，ｎ］値を決定するために利用される。

【0061】

前述の実施形態では、ＴＯＦを介して計算された被写体までの距離は、多周期検出器積分サイクルによって求められた距離範囲に依存していた。ＴＯＦ距離測定のさらに高い精度を達成することが望ましい場合がある。図１２ａは、５０ｎＳｅｃの放射体パルスに対する可能な輝度曲線２４０を示す。曲線２４０は、ターンオフ（２４４）時間（ｔ_ＯＦＦ）よりもゆっくりとしたターンオン（２４２）時間（ｔ_ＯＮ）を有し、最大値２４６を有する。積分された検出器値の最大輝度は、曲線下面積２４０に比例する。図１２ｂ（２４８）は、同じ放射体パルスに対する累積積分輝度対時間を示す。下記式１３および式１４のために、図１２ｂによる情報はｆ（ｔ）として表され、最大輝度値のパーセンテージとして表される累積輝度値は時間の関数である。累積輝度曲線を利用したＫ段シーケンスの部分輝度値については、リーディングエッジ切落し積分サイクルおよびトレーリングエッジ切落し積分サイクルのＴＯＦが下記により決定される。

【0062】

【数2】

（式中、ｉは、リーディングエッジ切落し信号が検出される段であり、
ｊは、トレーリングエッジ切落し信号が検出される段であり、
Ｉ（ｉ，ｍ，ｎ）は、段ｉにおける画素ｍ，ｎの輝度値であり、
Ｉ（ｊ，ｍ，ｎ）は、段ｊにおける画素ｍ，ｎの輝度値であり、
Ｉ_ｍｉｎ（ｍ，ｎ）は、現在の放射体／検出器シーケンスの最小輝度値であり、
Ｉ_ｍａｘ（ｍ，ｎ）は、現在の放射体／検出器シーケンスの最大輝度値であり、
ＴＯＦ_ｍｉｎ（ｉ）は、検出器シーケンスの段ｉの最小ＴＯＦであり、
ＴＯＦ_ｍａｘ（ｊ）は、検出器シーケンスの段ｊの最大ＴＯＦであり、
ｆ^−１（ｔ）はｆ（ｔ）の逆関数であり、累積輝度がリーディングエッジ信号の非積分部分に等しいか、または累積輝度がトレーリングエッジ信号の積分部分に等しい反射パルス積分中の時点を表す。）
実際には、ｆ（ｔ）は累積輝度と時間との間に非線形またはより高次の関係にある可能性が高い。このように、逆関数ｆ^−１（ｔ）は、ルックアップテーブルまたは他の何らかの数値変換関数としての実施形態で実施することができる。

【0063】

図１３ａは、理想的な白色（完全可視スペクトル）放射体のスペクトル出力２５０を示す。出力エネルギーは、４００ナノメートルから７００ナノメートルの範囲全体で最大輝度２５２となっている。図１３ｂは、ＬＥＤベースの白色放射体のスペクトル出力２５４を示す。この曲線は４３０ナノメートル付近のピーク輝度２５６、５２０ナノメートル付近のやや低い輝度２５８、および６６０ナノメートル付近のかなり低い輝度２６０を示している。必要条件ではないが、実施形態では、４Ｄカメラ光源に対してより均一なスペクトル出力を有することが望ましい。図１４ａは、３つのＬＥＤタイプのスペクトル出力２６２を示す。白色２６４、緑色２６６および赤色２６８の応答曲線が、それらの輝度値が互いに正規化されて示されている。３つの色成分ＬＥＤは、デバイスの所望のスペクトル範囲全体にわたってより均一な累積放射体応答を生成するように合成される。本明細書に記載されている「合成する（combining）」という行為は、同時にスイッチオンされたときに出力スペクトル応答に対して所望の累積効果を生じる放射体コンポーネントを放射体アレイに選択的に実装することを指す。図１４ｂは、図１４ａに示す３つのＬＥＤ放射体応答から合成した信号のスペクトル出力２７０を示す。

【0064】

実施形態では、未フィルタリング検出器アレイと多色放射体の選択的な使用とによって、別個のカラープレーンに対する輝度の決定が行われる。図１５は、ＲＧＢ構成で利用されるＬＥＤのスペクトル出力を示す。放射体／検出器サイクルが青色（２７２）ＬＥＤを利用するときは青色カラープレーンについての情報が生成され、放射体／検出器サイクル
が緑色（２７４）ＬＥＤを利用するときは緑色カラープレーンについての情報が生成され、放射体／検出器サイクルが赤色（２７６）ＬＥＤを利用するときは赤色カラープレーンについての情報が生成される。未フィルタリング検出器アレイまたは広帯域フィルタリングされたアレイおよび別の波長域による放射体を利用する実施形態は、単一波長放射体検出器段または多波長放射体／検出器段として放射体／検出器段を構成することができる。下表１の例は、Ｋ＝１２であるＫサイクルシーケンスに対する複数の放射体／検出器段を示しており、各放射体波長はラウンドロビン方式で利用される。

【0065】

【表2】

下表２の例は、Ｋ＝１２のＫ段シーケンスに対する複数の放射体／検出器段を示し、各放射体波長はＫ／３の連続した段に利用される。

【0066】

【表3】

Ｋ＝１２のＫ段シーケンスを単一波長放射体に割り当てることもでき、下表３に示すように、後続のＫ段シーケンスをラウンドロビン方式で他の波長に割り当てることもできる。

【0067】

【表4】

【0068】

【表5】

個々の検出器フィルタを利用する実施形態は、多色検出信号を得るために別個の波長放射体を利用する実施形態と比べてある長所および短所を有する。下表４は、実施形態の相対的な利点を比較している。

【0069】

【表6】

図１６は、車両ヘッドランプ２８２、２８４がカメラ２８０の照明機能を実行する実施形態を示す。放射体（ヘッドランプ）２８２、２８４および検出器制御部は、ヘッドランプ制御回路、カメラ２８０、電子制御モジュール（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｍｏｄｕｌｅ：ＥＣＭ）、または放射体事象と検出器事象との間の制御可能なタイミングを保証できる別の車中位置にあることができる。

【0070】

図１７は、放射体照明のために車両用ヘッドランプを利用する分散型カメラシステムの電気タイミング素子を示す。ヘッドランプは、非イメージング期間中はＥＣＭによって、イメージング期間中はカメラによって制御される。ＥＣＭ制御２８６信号は、ＥＣＭがヘッドランプのオン状態およびオフ状態を制御する時点を指定し、カメラ制御２８８信号は、カメラが放射体（ヘッドランプ）をいつ制御するかを指定する。放射体駆動パルス２９０および検出器積分２９２は、カメラ制御２８８がヘッドランプを担当している間にのみ起こるものとして示されている。ヘッドランプ出力２９４は、カメラ制御２８８中の複数回のオン／オフ状態、およびＥＣＭ制御２８６中のオン状態のヘッドランプを示す。

【0071】

移動中イメージング用途は、複数の視点、さらに重要なことには、複数の角度から被写体をイメージングするという利点がある。物理的被写体は、適切に検知されたときに、被写体を分類し、さらには被写体とその表面特徴を一意に識別するために利用され得る光反射特性を有する。図１８は、カメラ３４２の撮像視野内に被写体３４４がある道路上における、カメラ３４２を有する車両３４０を示す。車両３４０の位置は、被写体３４４を含む第１の画像３４４が、カメラ３４２によって取り込まれるときの車両３４０の初期位置であるため、Ｔ０に指定される。車両３４０のその後の位置は、Ｔ１（３４６）、Ｔ２（３４８）およびＴ３（３５０）に示されている。被写体３４４は、他の被写体と区別可能な表面を有するため、被写体３４４の表面上の同じ点は、被写体３４４に対して異なる位置および向きから得られた画像において識別され、解析され得る。

【0072】

図１９は、環境内の被写体点に対するマルチアングル情報を取得するためのカメラ処理アルゴリズムにおけるステップのフローチャートを示す。処理され、解析される各被写体に対して、ループカウンタが利用される。ループカウンタ値ｎは、各被写体プロセスの開始時にｎ＝０（３６０）を割り当てることによって初期化される。画像解析ソフトウェアは、角度輝度プロファイル解析を使用して被写体を識別する際の可能な用途について解析される被写体表面上の点Ｐ０を識別する（３６２）。点Ｐ０は被写体の表面上にあるため、アルゴリズムは、点Ｐ０における表面の法線ベクトルθ_Ｎ（ｎ）を計算する（３６４）。法線ベクトルが求められると、処理アルゴリズムは、シーンの幾何形状を利用して、センサの光路と点Ｐ０における被写体に対する法線ベクトルとの間の相対角度であるθ_Ｒ（ｎ）を計算する（３６６）。Ｐ０の角度輝度情報は、角度応答プロファイルメモリに、点Ｐ０に対するサンプルｎの輝度、距離および相対角度を指定するＩ_{ｃｏｌｏｒ}（ｎ）、ｄ（ｎ）、θ_Ｒ（ｎ）の形式のデータ素子として記憶される（３６８）。検出器フィルタアレイおよび放射体アレイの両方またはいずれかに複数の色を使用する実施形態では、各サンプルｎは、色ごとに別個の応答プロファイルメモリエントリを有する。

【0073】

ｎ＝０の処理が完了すると、処理アルゴリズムはシーケンスで次の画像を取得する（３７０）。画像は、点Ｐ０が画像内に存在するかどうかを判定するために解析される（３７２）。Ｐ０が存在する場合、ループカウンタが増分され（３７４）、アルゴリズムは法線ベクトル決定ステップ３６４に進む。Ｐ０が存在しない場合、アルゴリズムは、角度輝度特性に基づいて被写体を識別するのに十分な点があるかどうかを確立する（３７６）。最小限の要件が満たされない場合、アルゴリズムは被写体を識別せずに終了する（３８４）。最小限の要件が満たされている場合、アルゴリズムは、ｎ個の点すべてについて決定された輝度情報のための色ごとのプロットを３Ｄ空間３７８に作成する。アルゴリズムは、収集された角度輝度プロファイルをライブラリに記憶されている基準特徴プロファイルと比較することによって被写体を画定する。特徴プロファイルがライブラリから検索され（３８０）、相関が各特徴プロファイルおよびＰ０プロファイルについて決定される（３８２）。Ｐ０と最も相関の高い特徴プロファイルを使用して、Ｐ０で表される被写体の被写体タイプ、分類または特徴を決定する。

【0074】

図１９のアルゴリズムは、単一の点Ｐ０について論じる。リアルタイム被写体解析のために、アルゴリズムは、典型的には、画像ストリーム内の複数の点Ｐｘに対して同時に実行される。特徴的な角度輝度プロファイル解析からの結果は、典型的には、さらなる処理および／もしくは解析のために上流のアプリケーションに渡されるか、または、別のデバイスもしくはアプリケーションに送信される画像もしくは深度マップ情報を有する出力データストリームにパッケージ化される。図１９のアルゴリズムは、閾値テストを利用して、被写体を識別するのに十分な情報が収集されているかどうかを判定する。他のテストも利用可能であり、特徴プロファイル内の情報に基づいて利用される。例えば、欠落検査は、Ｐ０に対するθ_Ｒ（ｎ）値の範囲を解析することができる。値の範囲が狭すぎる場合、アルゴリズムは、被写体を一意に特徴付けるには幅情報が不十分であるためＰ０を破棄することができる。他の場合には、Ｐ０に対するθ_Ｒ（ｎ）の値は大きすぎる可能性があり、特徴プロファイルと相関しない。閾値チェックの一部としてθ_Ｒ（ｎ）振幅チェックを含めることにより、アルゴリズムは、特徴プロファイル相関において信頼できる結果を生じないプロファイルを破棄することが可能になる。

【0075】

実際には、特徴的な角度輝度プロファイルのライブラリには、数百または可能であれば数千のプロファイルが含まれる。すべてのプロファイルの相関をリアルタイムで実行することは、計算集約的な操作である。この課題をより扱いやすい規模にパースする方法として、デバイスの解析機能は、検出された被写体を分類するために画像解析を実行することができる。いったん分類されると、検出された被写体の角度輝度プロファイルは、識別された被写体分類に関連するライブラリプロファイルとだけ比較することができる。一例として、車載用途における画像解析機能は、着色、平坦度、移動方向に対する向きなどの特徴に基づいて道路を識別することができる。点Ｐ０に対するプロファイルが路面の点として分類されることが確立されると、アルゴリズムは、路面特徴として分類されたライブラリからの特徴プロファイルのみにアクセスすることができる。いくつかの路面特徴プロファイルとしては、
アスファルト−平滑度評点Ａ
アスファルト−平滑度評点Ｂ
アスファルト−平滑度評点Ｃ
路面が湿ったアスファルト
路面が凍ったアスファルト
コンクリート−平滑度評点Ａ
コンクリート−平滑度評点Ｂ
コンクリート−平滑度評点Ｃ
路面が湿ったコンクリート
路面が凍ったコンクリート
を挙げることができるが、これらに限定されない。

【0076】

道路標識のような被写体は、プロファイルライブラリ内で別々であり得る別のプロファイル分類である。いくつかの道路標識の特徴プロファイルとしては、
ＡＳＴＭタイプＩ
ＡＳＴＭタイプＩＩＩ
ＡＳＴＭタイプＩＶ−製造業者Ａ
ＡＳＴＭタイプＩＶ−製造業者Ｍ
ＡＳＴＭタイプＩＶ−製造業者Ｎ
ＡＳＴＭタイプＶＩＩＩ−製造業者Ａ
ＡＳＴＭタイプＶＩＩＩ−製造業者Ｍ
ＡＳＴＭタイプＩＸ−製造業者Ａ
ＡＳＴＭタイプＩＸ−製造業者Ｍ
ＡＳＴＭタイプＸＩ−製造業者Ａ
ＡＳＴＭタイプＸＩ−製造業者Ｍ
を挙げることができるが、これらに限定されない。

【0077】

特徴プロファイルアルゴリズムは、特徴プロファイルを比較し、Ｐ０によって表される被写体を最も良く表す特徴プロファイルを選択する手段として相関を指定する。当業者は、Ｐ０によって表される被写体について収集され、解析された情報に基づいて、最も良く表す特徴プロファイルを選択する他の方法を考案または利用することができる。

【0078】

図２０は、車両４００のパッセンジャーコンパートメント内部から見た図を示す。ハンドル４０２が示されているが、ハンドル４０２のない自律走行自動車に実施形態を利用することもできる。車両４００の外部の環境条件４１４は、霧、雨、雪、みぞれ、塵のような現象ゆえに視界不良を生じる。代わりに、または加えて、フロントガラス４０４およびリアウィンドウ（図示せず）のようなシースルー要素は、車両４００内部からの外部の状態４１４の観察を制限する表面の凸凹またはコーティングを有している場合がある。前方を向くカメラ４０６は、車両４００の内部において、バックミラー４０８の近くのフロントガラス４０４の裏に取り付けられ、前方イメージング視野を提供する。前方を向くカメラ４０６の制御システムは、視界不良に対する環境条件を検出し、画像４１０をフロントガラス４０４または他の警告用ディスプレイ上に投影する（４１２）ことにより、視界不良の環境で被写体を遮ることなく見ることができる。

【0079】

バックミラー４０８は、車両４００の後部に設置されているか、またはリアウィンドウを通って突出するように車両４００の内部に取り付けられた後方を向く配向にある、後ろ向きのカメラ（図示せず）から遮られていない視野を表示する。車両４００側方の環境４１６妨害物は、サイドミラー４１８の特徴により解決される。後方斜角カメラ４２０は、妨害物のある環境条件４１６を検出し、車両４００のオペレータが使用するために、妨害物のない画像４２２をミラーに投影する。代わりに、または加えて、妨害物のない画像４２２は、自律運転システムまたは半自律運転システムのために車両制御システムに送信される。サイドミラー上のインジケータ４２４は、ある空間内に被写体が存在することを示し、それによって車線変更のような操縦の際に車両４００のオペレータを支援する。

【0080】

他の実施形態では、処理システムは、それぞれが機能または機能のセットを自律的に実行するように構築、プログラム、設定、または別様に適応されるさまざまなエンジンを備えることができる。本明細書で使用される用語「エンジン」は、例えば特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）もしくはフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ）などのハードウェアを使用して
実装された実世界のデバイス、コンポーネント、もしくはコンポーネントの構成として、または（実行されている間に）マイクロプロセッサもしくはコントローラシステムを特殊用途のデバイスに変換する、特定の機能を実装するようにエンジンを適合させるマイクロプロセッサシステムおよびプログラム命令のセットなどのハードウェアおよびソフトウェアの組み合わせとして定義される。エンジンは、ハードウェアのみによって容易にされる特定の機能と、ハードウェアとソフトウェアの組み合わせによって容易にされる他の機能との２つの組み合わせとして実装することもできる。特定の実施態様では、マルチタスキング（multitasking）、マルチスレッディング（multithreading）、適切な場合には分散処理、または他のそのような技術を使用してエンジンを実装することも可能である一方で、エンジンの少なくとも一部、場合によってはすべてが、オペレーティングシステム、システムプログラム、および／またはアプリケーションプログラムを実行するハードウェアで構成される１つまたは複数のコンピューティングプラットフォームのプロセッサ上で実行され得る。

【0081】

したがって、各処理システムは、種々の物理的に実現可能な構成で実現することができ、そのような制限が明示的に示されない限り、本明細書に例示される特定の実施態様に一般に限定されるべきではないことが理解される。さらに、処理システムそれ自体は、それぞれが独自の処理システムとみなすことができる複数のエンジン、サブエンジン、またはサブ処理システムで構成することができる。さらに、本明細書で説明する実施形態では、さまざまな処理システムの各々は、定義された自律機能に対応していてもよいが、しかしながら、他の考えられる実施形態では、各機能を２つ以上の処理システムに分散させられることを理解すべきである。同様に、他に考えられる実施形態では、複数の定義された機能は、場合によっては他の機能と並行して、または処理システムセットの間で本明細書の実施例に具体的に示されるものとは異なるように分散されたそれらの複数の機能を実行する単一の処理システムによって、実装されてもよい。

【0082】

実施形態は、高速コンポーネントおよび回路を利用するため、デバイスおよびシーンの両方またはいずれかの相対移動が、検出器アレイ内の素子間の間隔よりも小さい移動として定義され得る。相対移動が小さい実施形態の場合、処理ソフトウェアは、３Ｄボリューム計算の軸がアレイ内の検出器素子に対して垂直であると仮定することができる。放射体サイクル期間中の検出器アレイ内の素子間間隔よりも大きい相対移動の場合、フレームバッファ解析ソフトウェアは、サンプリングされた波形の３Ｄ解析を実行する必要があり、それにより、その図示はアレイ内の検出器素子に対して非垂直な軸を有する。

【0083】

実施形態の電気回路は、半導体の専門用語を利用して説明される。他の実施形態では、光コンピューティングを利用する回路および制御ロジック、量子コンピューティングまたは同様の小型スケーラブルコンピューティングプラットフォームを使用して、本明細書に記載のシステムの必要な高速ロジック、デジタルストレージおよびコンピューティング態様の一部またはすべてを実施することができる。光放射体素子は、製造された半導体ＬＥＤおよびレーザダイオードの専門用語を用いて説明される。他の実施形態では、本明細書に記載されたさまざまな技術の要件は、任意の制御可能な光子放射素子の使用によって達成され得るもので、放射される光子の出力周波数が既知であるかまたは特性評価が可能であり、論理素子で制御可能であり、十分なスイッチング速度を有する。

【0084】

いくつかの実施形態では、光エネルギーまたは光パケットは、６５０ｎｍ、９０５ｎｍまたは１５５０ｎｍの共通のレーザ波長のような、ほぼコリメートされたコヒーレントな、または広角の電磁エネルギーとして放射および受信される。いくつかの実施形態では、光エネルギーは、紫外線（ＵＶ）（１００〜４００ｎｍ）、可視線（４００〜７００ｎｍ）、近赤外線（ＮＩＲ）（７００〜１４００ｎｍ）、赤外線（ＩＲ）（１４００〜８０００ｎｍ）、長波長ＩＲ（ＬＷＩＲ）（８μｍ〜１５μｍ）、遠ＩＲ（ＦＩＲ）（１５μｍ
〜１０００μｍ）、またはテラヘルツ（０．１ｍｍ〜１ｍｍ）の波長帯であり得る。さまざまな実施形態は、これらのさまざまな波長において、デバイス分解能の向上、有効サンプリングレートの向上、およびデバイス範囲の拡大を提供することができる。

【0085】

さまざまな実施形態で利用される検出器は、光エネルギーを電気エネルギーに変換する個別のデバイスまたはデバイスの焦点面アレイを指す。本明細書で定義される検出器は、ＰＩＮフォトダイオード、アバランシェフォトダイオード、ガイガーモードバイアスでもしくはその近くで動作するフォトダイオード、または光エネルギーを電気エネルギーに変換する任意の他のデバイスの形態をとることができ、それにより、デバイスの電気出力は、その標的光子が検出器表面に衝突している速度に関する。

【0086】

関連分野の当業者は、実施形態が上記の個々の実施形態に示されたものより少ない特徴を含むことができることを認識するであろう。本明細書に記載された実施形態は、それら実施形態のさまざまな特徴が組み合わされ得る方法の網羅的な提示を意味するものではない。したがって、実施形態は、相互に排他的な特徴の組み合わせではない。むしろ、実施形態は、当業者によって理解されるように、異なる個々の実施形態から選択された異なる個別の特徴の組み合わせを含むことができる。さらに、一実施形態に関して記載された要素は、別段の記載がない限り、そのような実施形態に記載されていない場合でも、他の実施形態で実装することができる。特許請求の範囲において、従属クレームは、１つまたは複数の他の請求項との特定の組み合わせを参照することができるが、他の実施形態は、従属クレームと互いに従属するクレームの主題との組み合わせ、または、１つもしくは複数の特徴と他の従属クレームもしくは独立クレームとの組み合わせを含み得る。特定の組み合わせが意図されていない限り、このような組み合わせが本明細書で提示される。さらに、たとえあるクレームが、直接的に他のいずれかの独立クレームの従属クレームになるものではないとしても、その独立クレームのうちの１つのクレームの特徴を含めることも意図されている。

【0087】

上述の文献の参照による組み込みはいずれも、本明細書に明白に開示されたものに反する主題がいずれも組み込まれないように限定されている。上述の文献の参照による組み込みはいずれも、文献に含まれるクレームが、参照によって本明細書に組み込まれないようにさらに限定されている。上述の文献の参照による組み込みはいずれも、文献で与えられる定義がいずれも、本明細書に明示的に含まれない限り、参照によって本明細書に組み込まれないようにさらに限定されている。

【0088】

クレームを解釈するために、特定の用語「〜する手段（ｍｅａｎｓ ｆｏｒ）」または「〜するステップ（ｓｔｅｐ ｆｏｒ）」がクレームに記載されていない場合には、米国特許法１１２条第６パラグラフの規定は行使されないことが明白に意図される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12a】

【図12b】

【図13a】

【図13b】

【図14a】

【図14b】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【国際調査報告】