(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】特表2021-507218(P2021-507218A)
(43)【公表日】2021年2月22日
(54)【発明の名称】物体までの距離を測定するためのシステムおよび方法
(51)【国際特許分類】
G01S 17/10 20200101AFI20210125BHJP
G01S 7/483 20060101ALI20210125BHJP
【FI】
G01S17/10
G01S7/483
【審査請求】未請求
【予備審査請求】有
【全頁数】40
(21)【出願番号】特願2020-532609(P2020-532609)
(86)(22)【出願日】2018年12月17日
(85)【翻訳文提出日】2020年8月11日
(86)【国際出願番号】EP2018085353
(87)【国際公開番号】WO2019115839
(87)【国際公開日】20190620
(31)【優先権主張番号】17207878.4
(32)【優先日】2017年12月15日
(33)【優先権主張国】EP
(31)【優先権主張番号】18165804.8
(32)【優先日】2018年4月4日
(33)【優先権主張国】EP
(81)【指定国】
AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JO,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT
(71)【出願人】
【識別番号】516011213
【氏名又は名称】ゼノマティクス・ナムローゼ・フエンノートシャップ
【氏名又は名称原語表記】XENOMATIX NV
(74)【代理人】
【識別番号】110001195
【氏名又は名称】特許業務法人深見特許事務所
(72)【発明者】
【氏名】ゴーエンス,フィリップ
(72)【発明者】
【氏名】バン・ダイク,ディルク
(72)【発明者】
【氏名】パエセン,リク
(72)【発明者】
【氏名】バン・デン・ボッシュ,ヨハン
【テーマコード(参考)】
5J084
【Fターム(参考)】
5J084AA05
5J084AC02
5J084AD01
5J084BA34
5J084CA03
5J084DA08
5J084EA31
(57)【要約】
本発明は物体までの距離を測定するためのシステムに関し、このシステムは、固体光源と、複数の画像素子を含む検出器と、検出した光に応答して画像素子が生成した露出値に応じて物体までの距離を算出するように構成された処理手段とを備え、上記画像素子は、第1の予め定められた時間ウィンドウの期間中の反射光を表す第1の電荷量と第2の予め定められた時間ウィンドウの期間中の反射光を表す第2の電荷とを蓄積することによって露出値を生成し、各画像素子は2つの電荷ストレージウェルを含み、上記検出はこれら2つの電荷ストレージウェルで行われ、上記システムは、上記予め定められた時間ウィンドウに、上記検出とは異なる機能において上記画像素子が使用される時間ウィンドウを挿入する、および/または、上記画像素子は、上記第1の光量の検出および上記第2の光量の検出とは異なる上記機能を果たすために少なくとも1つのその他の電荷ストレージウェルを含む。
【特許請求の範囲】
【請求項1】
物体までの距離を測定するためのシステム(200)であって、
−レーザ光の不連続スポットのパターンを、周期的に繰り返されるパルスのシーケンスで前記物体に向けて投射するように配置された半導体光源(210)と、
−複数のCMOS画像素子を含み、前記パルスのシーケンスと同期して、前記物体から反射された前記不連続スポットのパターンを表す光を検出するように構成され、狭帯域フィルタが設けられた、検出器(220)と、
−前記検出した光に応答して前記画像素子が生成した露出値に応じて前記物体までの前記距離を算出するように構成された処理手段(240)とを備え、
前記画像素子(220)は、前記シーケンスの前記パルスすべてについて、第1の予め定められた時間ウィンドウ(10)の期間中に前記物体から反射された第1の光量を表す第1の電荷量と、前記第1の予め定められた時間ウィンドウ(10)の後に起こる第2の予め定められた時間ウィンドウ(20)の期間中に前記物体から反射された第2の光量を表す第2の電荷量とを蓄積することによって前記露出値を生成するように構成され、
前記複数の画像素子の各々は、少なくとも2つの電荷ストレージウェル(221,222)を含み、前記第1の光量の前記検出および前記第2の光量の前記検出は、前記少なくとも2つの電荷ストレージウェル(221,222)のうちの対応するそれぞれの電荷ストレージウェルで行われ、
前記複数の画像素子の各々は、前記第1の光量の前記検出および前記第2の光量の前記検出とは異なる機能を果たすように構成された少なくとも1つのその他の電荷ストレージウェル(223)を含み、前記少なくとも1つのその他の電荷ストレージウェル(223)の電荷ストレージ容量は、前記少なくとも2つの電荷ストレージウェル(221,222)の電荷ストレージ容量よりも小さい、システム。
【請求項2】
前記機能は2次元画像を取得することを含む、請求項1に記載のシステム。
【請求項3】
前記機能は背景光の値を取得することを含む、請求項1に記載のシステム。
【請求項4】
前記機能は、前記シーケンスの前記パルスすべてについて、第3の予め定められた時間ウィンドウの期間中に第3の光量を表す第3の電荷量を蓄積することを含む、請求項1に記載のシステム。
【請求項5】
前記第1の光量の前記検出のために使用される前記第1の電荷ストレージウェル(221)の電荷ストレージ容量は、前記第2の光量の前記検出のために使用される前記第2の電荷ストレージウェル(222)の電荷ストレージ容量よりも大きい、請求項1に記載のシステム。
【請求項6】
さらに、前記投射および前記検出をパルスの少なくとも2つの連続シーケンスについて実行するように構成され、前記連続シーケンスの各々は、前記第1の予め定められた時間ウィンドウおよび前記第2の予め定められた時間ウィンドウのうちの異なる期間で実施される、先行する請求項のいずれか1項に記載のシステム。
【請求項7】
前記第1の予め定められた時間ウィンドウおよび前記第2の予め定められた時間ウィンドウは、実質的に等しい期間であり、連続して発生する、請求項1〜6のいずれか1項に記載のシステム。
【請求項8】
さらに、前記第1の予め定められた時間ウィンドウおよび前記第2の予め定められた時間ウィンドウに、前記第1の光量の前記検出および前記第2の光量の前記検出とは異なる前記機能において前記複数の画像素子が使用される時間ウィンドウを挿入するように構成される、先行する請求項のいずれか1項に記載のシステム。
【請求項9】
先行する請求項のいずれか1項に記載のシステム(100)を備える車両であって、前記システムは前記車両を取囲むエリアのうちの少なくとも一部を作動的にカバーするように配置されている、車両。
【請求項10】
請求項1〜8のいずれか1項に記載のシステム(100)を備えるカメラであって、前記システム(100)は、前記システムから得られた情報に基づいてカメラ画像に3次元情報を付加することによって3次元画像を作成することを可能にするように構成されている、カメラ。
【請求項11】
物体までの距離を測定するための方法であって、
−半導体光源(210)を用いて、レーザ光の不連続スポットのパターンを、周期的に繰り返されるパルスのシーケンスで前記物体に向けて投射するステップ(110)と、
−複数のCMOS画像素子を含み狭帯域フィルタが設けられた検出器(220)を用いて、前記パルスのシーケンスと同期して、前記物体から反射された前記不連続スポットのパターンを表す光を検出するステップ(120;130)と、
−前記検出した光に応答して前記画像素子が生成した露出値に応じて前記物体までの前記距離を算出するステップ(140)とを含み、
前記画像素子(220)は、前記シーケンスの前記パルスすべてについて、第1の予め定められた時間ウィンドウ(10)の期間中に前記物体から反射された第1の光量を表す第1の電荷量と、前記第1の予め定められた時間ウィンドウ(10)の後に起こる第2の予め定められた時間ウィンドウ(20)の期間中に前記物体から反射された第2の光量を表す第2の電荷量とを蓄積することによって前記露出値を生成し、
前記複数の画像素子の各々は、少なくとも2つの電荷ストレージウェルを含み、前記第1の光量の前記検出および前記第2の光量の前記検出は、前記少なくとも2つの電荷ストレージウェルのうちの対応するそれぞれの電荷ストレージウェルで行われ、
前記複数の画像素子の各々は、前記第1の光量の前記検出および前記第2の光量の前記検出とは異なる前記機能を果たすように構成された少なくとも1つのその他の電荷ストレージウェル(223)を含み、前記少なくとも1つのその他の電荷ストレージウェル(223)の電荷ストレージ容量は、前記少なくとも2つの電荷ストレージウェル(221,222)の電荷ストレージ容量よりも小さい、方法。
【請求項12】
前記機能は2次元画像を取得することを含む、請求項11に記載の方法。
【請求項13】
前記機能は背景光の値を取得することを含む、請求項11に記載の方法。
【請求項14】
前記機能は、前記シーケンスの前記パルスすべてについて、第3の予め定められた時間ウィンドウの期間中に第3の光量を表す第3の電荷量を蓄積することを含む、請求項11に記載の方法。
【請求項15】
前記第1の予め定められた時間ウィンドウおよび前記第2の予め定められた時間ウィンドウは、実質的に等しい期間であり、連続して発生する、請求項11〜14のいずれか1項に記載の方法。
【請求項16】
前記投射するステップ(110)、前記検出するステップ(120;130)、および前記算出するステップ(140)は、周期的に繰り返される、請求項11〜15のいずれか1項に記載の方法。
【請求項17】
前記第1の予め定められた時間ウィンドウおよび前記第2の予め定められた時間ウィンドウに、前記第1の光量の前記検出および前記第2の光量の前記検出とは異なる前記機能において前記複数の画像素子が使用される時間ウィンドウが挿入される、請求項11〜16のいずれか1項に記載の方法。
【請求項18】
請求項11〜17のいずれか1項に記載の方法をプロセッサに実行させるように構成されたコード手段を含むコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【0001】
発明の分野
本発明は、物体までの距離を測定するためのシステムの分野に関し、特に、車両の周囲等の光景またはその一部の特徴付けに用いられるアクティブ照明に基づいた飛行時間ベースの検知システムに関する。
【背景技術】
【0002】
背景
遠隔検知技術の分野、主に、多くの制御用途およびナビゲーション用途(限定はされないが、たとえば自動車環境および工業環境、ゲーム用途、および地図用途など)で用いられる高分解能の周辺地図の製作の用途において、飛行時間ベースの検知を用いて、センサからの物体の距離を測定することが知られている。飛行時間ベースの技術は、RF変調ソース、距離ゲート撮像装置、または直接飛行時間型(DToF:direct time-of-flight)撮像装置の使用を含む。RF変調ソースおよび距離ゲート撮像装置を用いるためには、対象の光景全体を、変調ソースまたはパルスソースで照射することが必要である。たいていのLIDARなどの直接飛行時間型システムは、パルスビームで関心領域を機械的にスキャンし、その反射をパルス検出器で検知する。
【0003】
放出されたRF変調信号を検出された反射信号に相関させることを可能にするためには、放出された信号は多数の制約条件を満たさなければならない。実際にはこれらの制約条件により、RF変調システムは、車両用システムとして用いるには極めて非実用的であることがわかった。従来の安全性限界の範囲内かつ通常の車両のパワーバジェットの範囲内の信号強度の場合、達成可能な検出範囲が非常に限られる。
【0004】
たいていのLIDARシステムに使用される直接飛行時間型(DToF)撮像装置は、強力なパルスレーザ(ナノ秒パルス方式で動作する)と、1次元の点の測定から3次元のマップを得るための機械的スキャンシステムと、パルス検出器とを含む。このタイプのシステムは、ベロダイン・ライダー(Velodyne Lidar)(カリフォルニア、モーガンヒル)を含む供給業者から現在入手可能である。最新式システムの一例としてのベロダインのHDL−64Eは、毎秒5回転〜15回転で機械的に回転する構造の64個の高出力レーザおよび64個の検出器(アバランシェダイオード)を使用する。これらのDToF LIDARシステムが必要とする光パワーは非常に大きいため、パワーの範囲が5桁〜6桁小さい半導体レーザでは得ることができない。さらに、スキャンするために機械的に回転する要素を使用することにより、このタイプのシステムの小型化、信頼性、およびコスト削減の可能性が制限される。
【0005】
トリルミナ(Trilumina)名義の米国特許出願公開US2015/0063387には、パルス幅が20ナノ秒であるパルスで合計50mWのエネルギを送出するVCSELが開示されている。市販されているOptek OPV310 VCSELは、持続時間が10ナノ秒であるパルスで合計60mWのエネルギを送出し、当該VCSELは、外挿により、100mWの最大光出力パワーを有するものと推定され得る。この値は非常に厳格な動作条件、すなわち、熱的問題による不安定さを回避するような最適なデューティサイクルおよび短いパルス幅という条件の下でのみ実現されるものである。トリルミナの開示およびOptekシステムがともに示しているのは、連続波VCSELシステムが、本来的にVCSEL設計に関連した熱的制約に起因する、光学的ピークパワー出力についての物理的限界に達するということである。これらのパルスエネルギレベルで、DToF用途で現在使用されるナノ秒パルスを用いると、120m離れた物体によって有用に反射されることが見込まれ得る光子の純粋な数は非常に少ないため、CMOSアレイ、またはCCDアレイ、またはSPADアレイなどの従来の半導体センサによる検出が無効になる。したがって、公知のDToFシステムの範囲を広げるために必要になるであろう5桁分または6桁分のVCSELパワー出力の増大は物理的に不可能である。
【0006】
いくつかの反射された光子を取込むのに理論上は十分な感度のアバランシェダイオード(ADまたはSPAD)を使用したとしても、公知のLIDARシステムアーキテクチャでは有益に機能させることができない。SPADアレイの固体の実現例は、順次読出さなければならない。所望の精度を達成するためには、多数のSPADが必要とされる。固体の実現例は、順次読出しという制約によってシステムの帯域幅が制限されるため、所望の精度を得るには不適当である。ベロダインのシステムのような精度(距離にかかわらず0.02m〜0.04m)を得るために必要な読出しデータレートは、今日のIC実現例で実際的に達成可能な帯域幅を超えるものである。120mでの動作の場合、500画素×500画素のSPADアレイが必要とされ、ICベースの実現例では順次読出さなければならない。上述のベロダインのシステムと同じ精度を得るためには、1ミリ秒につき1000パルス、したがって1ミリ秒につき1000フレーム(毎秒250ギガピクセルの読出しレートに換算される)が必要であろう。これは、現在のSPAD IC技術の文脈では技術的に実施不可能であると考えられる。
【0007】
ニール・イー・ニューマン(Neil E. Newman)らによる論文「短距離LIDARの使用における高ピークパワーのVCSEL(“High Peak Power VCSELs in Short Range LIDAR Applications”)」(Journal of Undergraduate Research in Physics,2013, http://www.jurp.org/2013/12017EXR.pdf)には、VCSELベースのLIDARの使用について記載されている。広視野LIDARを0.75mよりも大きな範囲で行うには、記載されているプロトタイプシステムの最大出力パワーは不十分であったことが、上記論文に述べられている。著者らは、比較的集束したビーム(1mの距離で0.02mのスポットサイズ)を用いた場合に、最大1m離れた対象物体の距離を測定することができた。
【0008】
公知のLIDARシステムの動作が自動車用途において実用に供されるために必要なパワー必要条件(たとえば、最大200mの範囲)は、現在の半導体レーザによって放出された光パワーでは満たすことができないことを、上記の例は明らかに示している。
【0009】
アバゴ・テクノロジーズ・ジェネラル・アイピー(シンガポール)プライベート・リミテッド(Avago Technologies General IP (Singapore) Pte. Ltd.)名義の米国特許第7,544,945号には、より小型であり、かつ費用効果の高いLIDAR機能を提供するための、複数のレーザを用いた車両ベースのLIDARシステムおよび方法が開示されている。レーザアレイにおける各レーザが順次アクティブにされることによって、レーザアレイに対応する搭載光学素子は、実質的に方向が異なるそれぞれの呼びかけビーム(interrogation beams)を生成することができる。これらのビームからの光が車両の周囲の物体によって反射され、検出されることによって、物体に関する情報が車両の運転者および/または乗客に提供される。当該特許は、公知のDToFのLIDARシステムにおける公知の機械的スキャンの代わりに、個々のレーザを連続的にアクティブにする固体プロジェクタを提供する。
【0010】
飛行時間型検出を使用しない、車両用の高精度の中距離周囲検知システムが、本願出願人名義の国際特許出願公開WO2015/004213A1から公知である。当該公報では、物体の位置測定は、パルス状照射線スポットを投射し、予め定められた基準スポット位置を参照して検出スポットの変位を分析することに基づいて行われる。より特定的には、当該引用公報のシステムは三角測量を用いる。しかしながら、達成可能な精度は三角測量のベースに相関するため、達成可能なさらなる小型化が制限される。
【0011】
米国特許出願公開US2012/0038903A1には、光景の照射を順応的に制御するための方法およびシステムが開示されている。特定的には、光景が照射され、光景から反射された光が検出される。光景における異なるエリアに対応するマルチ画素検出器の異なる画素によって受信された光強度のレベルに関する情報、および/または、光景におけるエリアまでの距離に関する情報が受信される。当該情報は、光景における照射のレベルを制御するためのフィードバック信号として用いられる。より特定的には、光景の異なるエリアには、フィードバック信号に応答して異なる照射レベルが与えられる。US2012/0038903A1は、第1の予め定められた時間ウィンドウの期間中に物体が反射する第1の光量を表す第1の電荷量と、第1の予め定められた時間ウィンドウ後に起こる第2の予め定められた時間ウィンドウの期間中に当該物体が反射する第2の光量を表す第2の電荷とを蓄積することによって露出値を生成するように画像素子を構成することを、開示していない。
【0012】
欧州特許出願公開EP2322953A1には、距離分解能を低下させることなく、距離測定範囲を拡大させることが可能な距離画像センサが開示されている。照射源が、時間軸上に順番に配置された第1〜第5のフレームの照射パルスとして、物体に照射される第1〜第5のパルス列を提供する。各フレームにおいて、撮像時間が、各フレームの開始点から予め定められた時間の点で規定されている。また、パルスは、第1のから第5のフレームの開始点から、それぞれ互いに異なるずれ量だけずれている。画素アレイは、5つのフレームの各々における撮像ウィンドウAおよびBを用いて、各々が互いに異なる距離範囲内の物体の距離情報を有する要素画像信号を生成する。処理ユニットは、要素画像信号を組合わせることによって画像信号を生成する。5つの飛行時間型測定が用いられるので、広い距離範囲にある物体の距離情報を得るために照射パルスの幅を増大させる必要がなく、距離分解能が低下しない。EP2322953A1が示している解決策は、連続する2つの時間ウィンドウで受けた単一パルスの反射のそれぞれの部分を表す電荷の測定からなる。単一の反射パルスを時間ウィンドウAおよびBで受けると、直ちに電荷を「画素画像信号」に変換するために対応するフローティング半導体エリアに転送する。
【0013】
欧州特許出願公開EP2290402A1には、距離画像センサが開示されている。この距離画像センサは、2次元配置された複数のユニットからなる撮像領域を有する半導体基板上に設けられているため、ユニットから出力された電荷量に基づいて距離画像を得ることができる。ユニットのうちの1つには、入射光に応答して電荷が発生する電荷発生領域(転送電極の外側の領域)と、電荷発生領域からの電荷を収集するための、空間的に隔てられて配置された少なくとも2つの半導体領域と、各半導体領域の周囲に取付けられ、位相の異なる電荷転送信号が与えられ、半導体領域を取囲む転送電極とが、設けられている。EP2290402A1は、レーザ光のスポットのパターンを扱うことを意図していない。加えて、EP2290402A1が示している解決策は、周期的に繰り返されるパルスのシーケンスの使用を開示していない。
【0014】
川人祥二(Shoji Kawahito)らによる論文「ゲートオンフィールド酸化膜構造を用いたCMOS飛行時間法距離画像センサ(“A CMOS Time-of-Flight Range Image Sensor With Gates-on-Field-Oxide Structure”)」(IEEEセンサージャーナル(IEEE Sensors Journal)、vol.7、No.12、1578頁〜1586頁)には、光変換および電荷転送のための、フィールド酸化膜構造上の単層ゲートを用いたCMOS飛行時間型(TOS)距離画像センサの一種が開示されている。この構造は、標準CMOS処理で、15×15μm2画素を有する高密度のTOF距離撮像アレイの実現を可能にする。高速の電荷転送のために必要なn型埋め込み層を作製するための追加の処理ステップのみが、製造工程に追加される。センサは、アクティブな照射光源からの赤外光パルスが反射して戻ることによって生じた光電荷の時間遅延依存変調に基づいて動作する。背景光の影響を減少させるために、小さなデューティサイクルの光パルスが用いられ、電荷排出構造が画素に含まれる。製造されたTOFセンサチップは、100ナノ秒のパルス幅で、毎秒3フレームで0.74cmの距離分解能を改良して、毎秒30フレームで2.35cmの距離分解能を測定する。
【0015】
Shoji Kawahitoの米国特許出願公開US2007/158770A1は、標準的なCMOS製造手順よりも製造工程が少ない、光の反射時間の測定に基づく距離画像センサを開示している。酸化膜がシリコン基板上に形成され、電荷転送用の2つのフォトゲート電極が酸化膜上に設けられる。浮遊拡散層が電荷を電位に変換するために使用される。これは、電荷結合素子(CCD)の従来の技術から伝統的に受け継がれているメカニズムである。リセット用の特別のトランジスタおよび所定のリセット電圧供給用の拡散層が設けられる。
【0016】
US2007/158770A1に開示されている画素の欠点は、標準的でない技術の使用、および、画素のアクティブな表面領域を犠牲にすることなくさらにウェルを追加することができない画素設計である。これは、大きな動作範囲を必要とする超ローパワーレーザを用いるセンサシステムで使用するのに最適とは言えない。使用されるプロセスは、標準的なCMOSプロセスで一般的に利用できるものではないため、このコンセプトの応用範囲および手頃なコストで大量生産する能力を減じることになる。
【0017】
このような設計に基づくセンサの距離は、近傍端部において投射光の強い反射により画素が飽和することによっても制限される。
【0018】
短距離反射を、または、道路標識、ナンバープレートなどのような反射率が高い物体を検知するときの画素の飽和は、本発明に係る画素の目的と同様に画素が自動車に応用されるセンサで使用される場合には、特に問題である。なぜなら、先進運転支援システム(Advanced Driver Assistance System)(ADAS)および自動運転車は、短距離での高精度を必要とするからである。加えて、この応用分野では、長距離での精度、明るい環境光条件における動作能力、および、コンパクト要件(固体半導体コンポーネントの使用を必要とする)を、短距離精度要件と引き換えに犠牲にしてはならないからである。
【0019】
米国特許出願公開US2013/0148102A1は、シーンにおける複数の反射によって生じる誤測定に対処することを目的としている。その原因は、現代における最新の飛行時間(TOF)距離カメラにおける全画素についての並列照射および捕捉にある。US2013/0148102A1は、空間的に異なる2つの照射方式を適用することによって得られる結果を融合してマルチパスを補償することを提案している。典型的には、上記2つの照射方法のうちの一方は可能な最大の横方向分解能を得る方法であり、もう一方は放射光を構成することによって横方向分解能を低下させるが複数反射の影響を制限する方法である。しかしながら、US2013/0148102A1に記載のシステムは、広域照射を用いる連続モード飛行時間ベースのセンサであり、この文献で対処している問題は広域照射に固有の問題である。広域照射方式の欠点は、距離ゲーティングモードで動作するときの半導体LIDARのパフォーマンス要件を実現できないことである。
【0020】
複雑な車両周囲検知の用途、たとえば、ADAS(自動運転補助システム)の用途および自動運転の用途などにおいて、極度の小型化および/またはより長い距離を実現することが継続して求められており、しかも、これを、大量生産に適した技術を用いて、手頃なコストで、かつ、小型の半導体集積フォームファクタで、実現することが求められている。
【発明の概要】
【発明が解決しようとする課題】
【0021】
発明の概要
本発明の実施形態の目的は、変位ベースの車両周囲検知システムの代わりに、さらに小型で長距離の代替手段を提供することである。さらに、本発明の実施形態の目的は、公知のLIDARシステムの代わりに、特に半導体部品が大量生産に適している、完全固体の代替手段を提供することである。
【課題を解決するための手段】
【0022】
本発明の一局面によれば、物体までの距離を測定するためのシステムが提供される。このシステムは、不連続のレーザ光のスポットのパターンを、パルスのシーケンスで物体に向けて投射するように配置された固体光源と、複数の画像素子を含み、上記パルスのシーケンスと同期して、物体によって反射された不連続のスポットのパターンを表す光を検出するように構成された検出器と、上記検出された光に応答して上記画像素子によって生成された露出値に応じて、物体までの距離を算出するように構成された処理手段とを備える。画像素子は、上記シーケンスの各パルスについて、第1の予め定められた時間ウィンドウの期間中に上記物体によって反射された第1の光量を表す第1の電荷量と、上記第1の予め定められた時間ウィンドウの後に起こる第2の予め定められた時間ウィンドウの期間中に上記物体によって反射された第2の光量を表す第2の電荷量とを蓄積することによって上記露出値を生成するように構成されている。上記複数の画像素子の各々は、少なくとも2つの電荷ストレージウェルを含み、上記第1の光量の検出および上記第2の光量の検出は、上記少なくとも2つの電荷ストレージウェルのうちの対応するそれぞれの電荷ストレージウェルで行われる。上記複数の画像素子の各々は、上記第1の光量の検出および上記第2の光量の検出とは異なる機能を果たすように構成された少なくとも1つのその他の電荷ストレージウェルを含み、上記少なくとも1つのその他の電荷ストレージウェルの電荷ストレージ容量は、上記少なくとも2つの電荷ストレージウェルの電荷ストレージ容量よりも小さい。
【0023】
上記固体半導体光源は好ましくは半導体光源である。上記検出器の画像素子(画素)は好ましくはCMOS画像素子である。上記検出器には好ましくは狭帯域フィルタが設けられる。
【0024】
「電荷ストレージウェル」という用語は、画素に作用する光子の変換によって発生した電荷を蓄積する、半導体基板に設けられたストレージ(たとえばコンデンサ)を指す。
【0025】
本発明は、直接飛行時間ベースの測距システムと同じ物理原理、すなわち、光が一定の距離だけ進むのにかかる時間は常に一定であるという事実に依拠する。しかしながら、本発明は、伝送されその後対象物体によって反射された光パルスが進んだ距離を測定する距離ゲーティングを用いる。
【0026】
自動車グレードのセンサは、小型で安価で丈夫な構造と、正確で信頼性が高い動作とが必要である。そのため、大量生産用の半導体技術では好ましい固体技術をいかなる可動部品も回避しつつ使用してこのようなセンサを構成することが望ましい。典型的な望ましい精度および信頼度レベルは、最大200mの動作範囲、毎秒100万測定以上の分解能、および、妥当な目の安全性基準を満たしつつ500W/m
2という垂直光パワー密度を超え得る屋外環境光条件下で正確に動作する能力として、定量化することができる。
【0027】
固体半導体技術の使用は、(従来のToF LIDARシステムで使用されるレーザとの比較において)利用可能な光パワーの相違が10
6になる可能性がある相対的にローパワーのレーザを示唆しているが、発明者らは、さらなる複数の特徴を適切に追加することにより、固体プロジェクタのローパワーバジェットから生じる課題を解決することができる。
【0028】
とりわけ本発明が依拠するのは、距離ゲーティングと、少なくとも部分的に同時にスポットパターンを投射すること(新規の照射方式に基づく)と、低出力の半導体光源とを組合わせることによって、大幅に小型化され、完全固体で、かつエネルギ効率のよい、今まで達成できなかった距離の距離検出方法を得ることができるという発明者らの洞察である。ここで用いられる「パターン」という用語は、同時に投射されるスポットの空間的な分布を指す。検出されたスポット反射の3次元空間における位置を測定するためには、測距ステップから得られた距離情報を、予め較正された各ビームからの角度情報と組合わせて、残りの2つの空間座標を固定させることが必要である。画素アレイと好適に配置された光学素子とを含むカメラを用いて、反射が検出された画素を特定することにより、追加の角度情報を提供することができる。
【0029】
本発明の実施形態がさらに依拠するのは、所望範囲でLIDARシステムの固体半導体光源によって生成されたスポットパターンを使用可能にするためには、光パワーの制約を免れる方法が必要であるという発明者らの洞察である。パルス持続時間を延長することによって、かつ、少なくとも2つの半導体センサウェルにおける複数のVCSEL生成光パルスの反射エネルギを統合し、次いで統合された電荷を一度に読出すことによって、固体の実現例を用いて現在可能な動作範囲よりも大幅に動作範囲の広い固体LIDARシステムを得ることができることを、発明者らは見出した。以下において、「ストレージ」という用語は、光子の検出に応答して電荷が蓄積されるウェルを示すために用いられる。
【0030】
本発明の利点は、固体光源(プロジェクタ)と固体センサ(特に、適切なフィルタおよび光学素子と組み合わされて撮像装置を形成する画素アレイを含むCMOSセンサ)とを同一半導体基板上に集積し得ることである。固体光源は、VCSELアレイ、または、所望のパターンを生成するように適合された格子を有するレーザを含み得る。
【0031】
さらに、2つの連続する時間ウィンドウで検出された反射光エネルギを評価し、当該2つの連続するウィンドウで蓄積された電荷の合計を正規化することによって、調査対象の物体の反射率および環境光の寄与の変化の影響を距離算出アルゴリズムで適切に説明することができる。
【0032】
画像素子において、作用する光を表す電荷をウェルレベルまたは画素レベルで蓄積することができる。ウェルレベルで電荷を蓄積する利点は、読出ノイズが最小限に抑えられ、信号対雑音比の改善につながることである。
【0033】
パルスのシーケンスの送信および検出を周期的に繰り返してもよい。
本発明がさらに依拠するのは、距離ゲーティングに基づく撮像システムではデュアルウェル画素(その他のウェルの存在を除外しない)を備えることにより電荷ストレージウェルのうちの一方の電荷容量を他方の電荷ストレージウェルの電荷容量よりも実質的に大きくすることは好都合である、という発明者らの洞察である。「ウェル」という用語は、適切な技術により半導体回路において生成された1つのキャパシタンス(電子容量)、または、たとえばカスケード配置され共同で単一のストレージユニットとして作用する相互接続された多数の容量を、示す場合がある。このタイプの画素は特に、画素を配置した結果として異なるウェルに蓄積される電荷の量の予測可能な非対称性が生じる状況における物理学には有用である。これは、高精度と大きな距離範囲を必要とし結果として大きな光子スパンとなる飛行時間ベースの測定システムの場合と同様である。
【0034】
発明者らはさらに、各画像素子に設けた少なくとも1つのその他の電荷ストレージウェルを使用することにより異なる機能を果たすこともできるという洞察を得た。
【0035】
第3のウェルを、他のウェルの動作のタイミングを考慮したタイミング方式に従って動作させるという条件で設けることにより、多様な機能を実行することができる。第1のウェルおよび第2のウェルが基本的な距離ゲーティングを実行する距離検知システムにおいて、第3のウェルの機能は、長距離の高反射物体(第1のウェルおよび第2のウェルがアクティブであるタイムスロット外の、道路標識またはナンバープレート等)から届いた光子に応じて生成されたその他の電荷を受けること、(任意で、ディフューザを有するVCSELアレイで構成されていてもよい光景を照射するための広角の閃光と同期して、投射光の反射が到達するタイムスロット外の)光景の通常の2次元画像を生成すること、または、(第1のウェルおよび第2のウェルに蓄積された電荷レベルから、投射光の反射が到達するタイムスロット外で第3のウェルに蓄積される電荷を減算することによる)背景光の除去を可能にする背景光レベルの測定値を提供することを、含み得る。
【0036】
この第3の電荷ストレージウェルは、特に背景光の捕捉のみに使用される場合は、電荷ストレージ容量が第1の電荷ストレージウェルおよび第2の電荷ストレージウェルよりも大幅に小さくてもよい。なぜなら、典型的に、画素アレイに到達する背景光は、好ましくは距離検知システムに設けられている、環境光低減フィルタ、特に狭帯域フィルタによって強力に減衰されるからである。第3の電荷ストレージウェルが、(たとえば閃光による)景色の追加照明を用いて2次元画像を取得する、または、範囲外の高反射物体からの反射を捕捉するために使用されることが意図されている場合、第1または第2の電荷ストレージウェルよりも小さなストレージ容量となるようにその寸法が定められてもよい。
【0037】
本発明に係るシステムのある実施形態において、上記機能は2次元画像を取得することを含む。
【0038】
距離ゲーティングに使用しない時間ウィンドウの期間中に取得される、または、画像素子のその他のウェルによって取得される2次元画像を、たとえば、3次元画像を生成するために距離ゲーティングフレームにおいて得た露出値から導き出した距離情報と組み合わせてもよい。
【0039】
本発明に係るシステムのある実施形態において、上記機能は背景光の値を取得することを含む。
【0040】
距離ゲーティングに使用しない時間ウィンドウの期間中に取得される、または、画像素子のその他のウェルによって取得される背景光の値を、算出した距離の精度を改善するために距離ゲーティングフレームにおいて得た露出値から減算してもよい。
【0041】
本発明に係るシステムのある実施形態において、上記機能は、上記シーケンスの上記パルスすべてについて、第3の予め定められた時間ウィンドウの期間中に第3の光量を表す第3の電荷量を蓄積することを含む。
【0042】
本実施形態の利点は、第2の予め定められた時間ウィンドウの後に到達する反射、たとえば、第1の予め定められた時間ウィンドウおよび第2の予め定められた時間ウィンドウがカバーする距離の外部に位置する高反射物体からの反射を捕捉できることである。対応する電荷を用いることにより、範囲外の距離を算出することができる。
【0043】
本発明に係るシステムのある実施形態において、第1の光量の検出のために使用される第1の電荷ストレージウェルの電荷ストレージ容量は、第2の光量の検出のために使用される第2の電荷ストレージウェルの電荷ストレージ容量よりも大きい。
【0044】
発明者らは、有効な動作範囲(検出可能な最低光レベルと飽和が生じる光レベルとの間)を得るために、第2のウェルの寸法を第1のウェルよりも小さくできることを見出した。なぜなら、第2のウェルが受ける光の反射量は常に少ないからである。それは、反射する物体が遠方にあり信号はその距離のために大幅に減じられる、または、反射する物体が近傍にあり反射の大半は第1の時間ウィンドウの期間中に到達するからである。
【0045】
ある実施形態において、本発明に係るシステムは、さらに、投射および検出をパルスの少なくとも2つの連続シーケンスについて実行するように構成され、連続シーケンスの各々は、第1の予め定められた時間ウィンドウおよび第2の予め定められた時間ウィンドウのうちの異なる期間で実施される。
【0046】
本実施形態は、所望の全範囲のうちの複数のサブ範囲についての複数の連続する測定に依拠している。各測定は、第1の電荷ストレージウェルがアクティブにされる対応する第1の時間ウィンドウにおいて放出されるパルスのシーケンスからなる。第1の時間ウィンドウに続いて、第2の電荷ストレージウェルがアクティブにされる対応する第2の時間ウィンドウがあり、任意で、第2の時間ウィンドウに続いて、異なる機能を実行するための対応するその他の時間ウィンドウがある。したがって、それぞれの時間ウィンドウが対応付けられているパルスのシーケンスは測定範囲を画定し、その測定範囲はパルス幅で決まる。ある測定フレームから次の測定フレームまでの異なるパルス幅(および、したがって第1の時間ウィンドウおよび第2の時間ウィンドウの異なる期間)を使用することにより、異なるサブ範囲を検知することができる。所望の全対象範囲をカバーするように組み合わされたフレームのパターンを設計してもよい。
【0047】
本発明に係るシステムのある実施形態において、第1の予め定められた時間ウィンドウおよび第2の予め定められた時間ウィンドウは、実質的に等しい期間であり、連続して発生する。
【0048】
この実施形態の利点は、周辺画素からの平均された蓄積環境光を差し引くことによって、距離算出式における環境光の寄与を容易に相殺することができる点である。
【0049】
ある実施形態において、本発明に係るシステムは、第1の予め定められた時間ウィンドウおよび第2の予め定められた時間ウィンドウに、第1の光量の検出および第2の光量の検出とは異なる上記機能において上記複数の画像素子が使用される時間ウィンドウを挿入するように構成される。
【0050】
本発明の画素は、短距離飽和の問題を解決する限りにおいて、短距離端における動作範囲を拡大するその他の対策を不要にする。典型的に、検知対象の範囲全体は、対応して選択されたパルス幅を有する個々のフレームが網羅できるいくつかのサブ範囲に分割され、1フレームで実行する測定のスパンが増すと、結果として、所望の全範囲をカバーするのに必要なフレームの数は減少する。このようにして空いた時間を用いて異なる機能を実行することができる。すなわち、通常は第1の予め定められた時間ウィンドウと第2の予め定められた時間ウィンドウで構成されるフレームを、上記異なる機能を実行するための1つ以上のその他のウィンドウを用いて拡大することができる(しかしながら、距離ゲーティング機能の適切な動作を保証するには、第1の予め定められた時間ウィンドウと第2の予め定められた時間ウィンドウとの間に追加の時間ウィンドウを挿入してはならない)。よって、システムは、すべて同じ期間からなる、第1の時間ウィンドウ(レーザオン、第1の電荷ストレージウェルオン)、第2の時間ウィンドウ(レーザオフ、第2の電荷ストレージウェルオフ)、第3の時間ウィンドウ(異なる機能またはアイドル時間)、および第4の時間ウィンドウ(異なる機能またはアイドル時間)から得られる、たとえば25%のデューティサイクル(プロジェクタ「オン」時間)を有することができる。第1の時間ウィンドウおよび第2の時間ウィンドウの直後に発生する第3の時間ウィンドウの可能な用途は、範囲外の高反射物体の反射から生じ得るいかなる電荷も排除することにより、次の投射パルスの反射の測定に対する悪影響を回避することであり、そのために専用フラッシュゲートを設けてもよい。
【0051】
なお、これらのまたはその他の挿入された(非測距)時間フレームを用いて、上記少なくとも1つのその他の電荷ストレージウェル(すなわち第3および続く任意の電荷ストレージウェル)の上記機能とは無関係の機能を実行することもできる。
【0052】
デューティサイクルの低減は、システムから発せられる光パワーの平均量の低減にも寄与し、これは、システムの、目の安全性という特徴を改善する。システムから発せられる光パワーの平均量を決定するその他の要素は、1パルス当たり放出される光パワー、シーケンス当たり放出されるパルスの数、および上記シーケンスの繰り返しレートを含む。
【0053】
本発明のある局面に従い、上記システムを備える車両が提供され、このシステムは、上記車両を取囲むエリアのうちの少なくとも一部を作動的にカバーするように配置されている。
【0054】
本発明に係るシステムは、限定はされないが、ECU(電子制御ユニット)などのADASまたは自動運転制御ユニットを備える車両において特に有利である。車両はさらに、車両制御ユニットを含み得る。この車両制御ユニットは、システムから測定情報を受信し、ADAS制御または自動運転の決定の情報を用いるように構成されている。車両を取囲むエリアの一部とは、車両の前方、側方、または後方の道路表面を含み得る。したがって、このシステムは、アクティブサスペンションまたはセミアクティブサスペンション、ならびに、支援運転、ADAS、および自動運転の検出およびトラッキングに用いられる、車の前方の表面の道路形状情報を提供し得る。
【0055】
本発明のある局面に従い、上述のシステムを備えるカメラが提供される。このシステムは、当該システムから得られた情報に基づいてカメラ画像に3次元情報を付加することによって3次元画像を作成することを可能にするように構成されている。
【0056】
カメラは、周知の方法で2次元画像を取得するように構成されている。そのために、カメラは、専用センサ(画素アレイ)を含んでいてもよく、または、本発明に係る距離ゲーティングシステムのセンサを使用してもよい。距離ゲーティングシステムのセンサを使用する場合、これはさまざまなやり方で行うことができ、たとえば、距離ゲーティングが実施される時点と異なる時点で(たとえば、任意でその光景の照明に閃光を用いて別々のフレームで)行ってもよく、距離ゲーティングと同時であるが投射した不連続スポットの反射を受ける画素を除いて行ってもよい。2次元画像を取得するために、距離ゲーティングに使用される上記2つのウェルに加えて第3のウェルを距離ゲーティングセンサに設けてもよい。
【0057】
本発明のある局面に従い、物体までの距離を測定するための方法が提供される。この方法は、固体光源を用いて、レーザ光の不連続スポットのパターンを、パルスのシーケンスで物体に向けて投射するステップと、複数の画像素子を含む検出器を用いて、上記パルスのシーケンスと同期して、物体から反射された上記不連続スポットのパターンを表す光を検出するステップと、上記検出した光に応答して上記画像素子が生成した露出値に応じて物体までの距離を算出するステップとを含む。画像素子は、上記シーケンスの各パルスについて、第1の予め定められた時間ウィンドウの期間中に上記物体から反射された第1の光量を表す第1の電荷量と、上記第1の予め定められた時間ウィンドウの後に起こる第2の予め定められた時間ウィンドウの期間中に上記物体から反射された第2の光量を表す第2の電荷量とを蓄積することによって露出値を生成する。上記複数の画像素子の各々は、少なくとも2つの電荷ストレージウェルを含み、上記第1の光量の検出および上記第2の光量の検出は、上記少なくとも2つの電荷ストレージウェルのうちの対応するそれぞれの電荷ストレージウェルで行われ、上記複数の画像素子の各々は、上記第1の光量の検出および上記第2の光量の検出とは異なる機能を果たすように構成された少なくとも1つのその他の電荷ストレージウェルを含み、上記少なくとも1つのその他の電荷ストレージウェルの電荷ストレージ容量は、上記少なくとも2つの電荷ストレージウェルの電荷ストレージ容量よりも小さい。
【0058】
本発明に係る方法のある実施形態において、上記機能は2次元画像を取得することを含む。
【0059】
本発明に係る方法のある実施形態において、上記機能は背景光の値を取得することを含む。
【0060】
本発明に係る方法のある実施形態において、上記機能は、上記シーケンスのパルスすべてについて、第3の予め定められた時間ウィンドウの期間中に第3の光量を表す第3の電荷量を蓄積することを含む。
【0061】
本発明に係る方法のある実施形態において、上記第1の予め定められた時間ウィンドウおよび上記第2の予め定められた時間ウィンドウは、実質的に等しい期間であり、連続して発生する。
【0062】
本発明に係る方法のある実施形態において、複数の画像素子の各々は少なくとも2つの電荷ストレージウェルを含み、第1の光量の検出および第2の光量の検出は、上記少なくとも2つの電荷ストレージウェルのうちのそれぞれの電荷ストレージウェルで行われる。
【0063】
本発明に係る方法のある実施形態において、上記投射するステップ、上記検出するステップ、および上記算出するステップは、周期的に繰り返される。
【0064】
本発明に係る方法のある実施形態において、上記第1の予め定められた時間ウィンドウおよび上記第2の予め定められた時間ウィンドウに、上記第1の光量の上記検出および上記第2の光量の上記検出とは異なる上記機能において上記複数の画像素子が使用される時間ウィンドウが挿入される。
【0065】
本発明のある局面に従い、上記方法をプロセッサに実行させるように構成されたコード手段を含むコンピュータプログラム製品が提供される。
【0066】
本発明に係るカメラ、車両、方法、およびコンピュータプログラム製品の実施形態の技術的効果および利点には、本発明に係るシステムの対応する実施形態の技術的効果および利点が準用される。
【0067】
次に、本発明の上記および他の局面および利点を、添付の図面を参照してさらに詳細に説明する。
【図面の簡単な説明】
【0068】
【
図1】本発明に係る方法のある実施形態のフローチャートを示す図である。
【
図2】本発明に係るシステムのある実施形態を概略的に示す図である。
【
図3a】距離ゲーティングに必要な2つのウェルの動作を説明するための、本発明の実施形態における光の投射および検出のタイミング図を示す。
【
図3b】距離ゲーティングに必要な2つのウェルの動作を説明するための、本発明の実施形態における光の投射および検出のタイミング図を示す。
【
図3c】距離ゲーティングに必要な2つのウェルの動作を説明するための、本発明の実施形態における光の投射および検出のタイミング図を示す。
【
図4a】その他のウェルの動作を説明するための、本発明の実施形態における光の投射および検出のタイミング図を示す。
【
図4b】その他のウェルの動作を説明するための、本発明の実施形態における光の投射および検出のタイミング図を示す。
【
図4c】その他のウェルの動作を説明するための、本発明の実施形態における光の投射および検出のタイミング図を示す。
【
図4d】その他のウェルの動作を説明するための、本発明の実施形態における光の投射および検出のタイミング図を示す。
【
図4e】その他のウェルの動作を説明するための、本発明の実施形態における光の投射および検出のタイミング図を示す。
【
図4f】その他のウェルの動作を説明するための、本発明の実施形態における光の投射および検出のタイミング図を示す。
【
図4g】
図3cのシーケンスにおける個々のフレームを、如何にして各々が対象範囲の一部をカバーする異なるタイミングパラメータを有するシーケンスに分割できるかを概略的に示す図である。
【
図5】対数トーンマッピング(上)および多重線形トーンマッピング(下)によって得られる、入射光パワーに応じた例示的な画素出力のグラフを示す図である。
【
図6】高ダイナミックレンジのマルチ出力画素によって得られる、入射光パワーに応じた例示的な画素出力のグラフを示す図である。
【
図7】本発明の実施形態に用いられる画素を概略的に示す図である。
【
図8】本発明の実施形態に用いられる、各々が別個の転送ゲートを有する3つの電荷ウェル(ビン)を含む画素アーキテクチャのある実施形態を概略的に示す図である。
【
図9】ウェルの非対称性を得る第1の方法を示す、本発明の実施形態に用いられる画素を概略的に示す図である。
【
図10】ウェルの非対称性を得る第2の方法を示す、本発明の実施形態に用いられる画素を概略的に示す図である。
【
図11】本発明の実施形態に用いられる第1の例示的な光学配置を概略的に示す図である。
【
図12】本発明の実施形態に用いられる第2の例示的な光学配置を概略的に示す図である。
【
図13】本発明の実施形態に用いられる第3の例示的な光学配置を概略的に示す図である。
【
図14】第4の例示的な光学配置を概略的に示す図である。
【発明を実施するための形態】
【0069】
実施形態の詳細な説明
自動車に適用される、特に先進運転支援(ADAS)および自動運転車のための理想的な距離測定システムは、最大200メートルの距離の物体を確実に検出することが可能な、極めてコンパクトで大量生産可能な低コストの固体LIDARである。最適なサイズとコストの削減は、センサが、可動部品がないだけでなく構成要素を半導体技術で大量生産することが可能である(ムーアの法則(Moore's law))という意味において「真の固体状態」である場合にのみ、実現することが可能である。上記目的を達成するためには両立させなければならない2つの競合する要件がある。それは、光出力パワーは、最も遠い距離にある物体を照射する環境光のパワー(最大500W/m
2のパワー)を上回っていなければならないが、同時に、厳しい(クラス1/M)目の安全基準によって課される最大パワーよりも下回っていなければならないという、要件である。
【0070】
本発明に係るシステムは、この明らかに対立する要件を、大型のレーザアレイを用いる光景の並列スポットパターン照射をLIDARに提供することにより、両立させる。そのためにはVCSELアレイを使用することが好都合である。なぜなら、VCSELアレイは、良好なビーム品質(m2因子(m2 factor))を有しビームを非常に小さな不連続スポットに集光させることが可能であり(強い昼光を上回る)、かつ、半導体技術により大量生産することが可能であるからである。
【0071】
今まで、VCSELアレイ等の半導体ベースの光源は、個々のVCSELの光出力がおよそ10mWという極めて低いものであるという理由から、並列照射のLIDARシステムには使用されていなかった。十分な精度に必要な0.1μJというエネルギに達するためには、距離測定を、0.1μJ/10mW=10μsecまで拡大しなければならない。
【0072】
本発明で使用する距離ゲーティング法(間接飛行時間法)では、パルス持続時間が、概ね光が物体との間を往復する(200mという目標範囲に鑑みるとこれは往復400m)のに要する時間に等しくなければならず、約1μsである。このため、十分な精度を得るためには、信号を、少なくとも10、好ましくは最大100(精度改善には100以上)の連続パルスにわたって蓄積しなければならない。しかしながら、各々がわずか2、3電子にしかならないそれほど多くの個々の測定を蓄積すると、所望の信号を読み出しノイズに紛れ込ませてしまう傾向がある。本発明者らは、この課題を、信号がキャパシタに蓄積され蓄積後に初めて読み出される低ノイズCMOS検出器を開発することで、解決した。結果として得られる100μsという測定の総持続時間は、それでもなお、移動する物体を検出するために必要な時間分解能を大幅に下回っている。
【0073】
0.1μJという個々の測定の最小光パルスエネルギを、1mJというクラス1/Mの目の安全性基準と組み合わせると、目の安全性基準が距離測定数を毎秒100万測定に制限するという結論に至る(距離が最大200m、角度範囲が30°×30°と仮定)。
【0074】
本願出願人名義の国際特許出願公開WO2015/004213A1に開示されるタイプの周囲検知システムは、広範囲にわたる光景を観察しながら、その光景を同時または部分的にのみ同時に、明確に画定された多数の不連続スポットで、特に予め定められたスポットパターンで照射するという利点を有する。優れた束品質および非常に狭い出力スペクトルを有するVCSELレーザを用いると、昼光の存在下であっても、限られた量の出力パワーで検出範囲を得ることが可能である。WO2015/004213A1のシステムで行われる実際の測距は、変位検出、特に三角測量に、依拠する。それは、パワーバジェットに鑑みて必要とされる長い(準定常の)パルス持続時間の文脈において実際に利用可能な、唯一の方法であると理解されていた。今まで、小型の半導体ベースの飛行時間ベースのシステムでは、同等のパワー/性能特性を達成することができなかった。
【0075】
本発明は、飛行時間ベースのシステムの動作方法を根本的に変えることによって、この限界を克服する。本発明は、個々のパルスの持続時間を増すことによって、かつ、多数の個々のパルスのシーケンスからなる仮想の「合成パルス」を生成することによって、飛行時間型測定毎に放出される光エネルギの総量(したがって、飛行時間型測定毎の検出器での検出に利用可能な光子の数)を増加する。発明者らは、このように拡張したパルスを束ねることによって、所望の動作範囲について低出力のVCSELで必要量の光エネルギ(光子)を得ることができた。好ましくは、VCSELレーザは、優れた束品質および非常に狭い出力スペクトルを有することにより、昼光の存在下であっても限られた量の出力パワーで長い検出範囲を得る。好ましくは、VCSELレーザを熱的に安定させることにより、一貫した動作特徴を保証する。
【0076】
既存のLIDARシステムの個々のパルスの持続時間が1ナノ秒である場合、本発明に係るシステムは、VCSELなどの半導体レーザの比較的低い出力レベルを部分的に補償するようにパルス持続時間を実質的に長くすることによって、利益を享受する。本発明の実施形態では、シーケンス内の個々のパルスの例示的な持続時間は1マイクロ秒であってもよい(これは説明を明確かつ単純にするために本明細書で選択された1つの可能な値であって、より一般的には、本発明の実施形態において、パルス持続時間はたとえば500ナノ秒以上であってもよく、好ましくは750ナノ秒以上、最も好ましくは900ナノ秒以上であってもよい)。本発明に係る例示的なシステムでは、シーケンスは1000パルスサイクルから構成されてもよく、したがって持続時間が合計1ミリ秒であってもよい。光が100m離れた対象まで進んで検出器に戻るのにおよそ0.66マイクロ秒必要であるという事実を考慮すれば、この程度の距離の測距において、このような持続時間の合成パルスを用いることが可能である。当業者ならば、選択されたパルス幅および所望範囲に応じて必要なパルスサイクル数を調整することが可能であろう。好ましくは、シーケンスの検出は、VCSELベースの光源と同期して個々のパルスを検出するステップと、読出しの前に、シーケンス全体に対して、画素ウェルレベルで入射する光子に応答して発生する電荷を蓄積するステップとを含む。以下において、シーケンスにわたって統合された電荷を表す値(したがって、画素における受光量)を称するために「露出値」という用語を用いる。シーケンスの放出および検出は周期的に繰り返されてもよい。
【0077】
本発明は距離ゲーティングを用いて動作する。距離ゲート撮像装置は、パルスの持続時間の間、放出されたパルスの検出された反射パワーを統合する。パルス放出ウィンドウと反射パルスの到達との間の時間の重なり量は、光パルスの戻り時間、ひいてはパルスが進んだ距離に依存する。したがって、統合されたパワーは、パルスが進んだ距離に相関する。本発明は、上述のパルスのシーケンスに適用された距離ゲーティングの原理を用いる。以下の説明では、シーケンスの個々のパルスが画像素子レベルで統合され、それによりシーケンス全体の測定が得られることが暗示的に理解される。
【0078】
CMOSセンサの画像素子(画素)は、好ましくは、埋め込みダイオード(pinned diode)および転送ゲート技術に基づくことで、読み出し時の蓄積された光電荷の完全な転送を保証することにより、精度を最大化するとともに、標準的なCMOS製造工場(foundry)で大量生産するのに適したディープミクロンCMOS製造技術に準拠するようにする。
【0079】
図1は、本発明に係る方法の実施形態のフローチャートを示す。一般性を失うことなく、距離ゲーティングアルゴリズムを参照して測距方法を説明する。第1の時間ウィンドウ10において、当該方法は、固体光源210を含む光源から光景の対象エリア内の任意の物体へ、レーザ光のスポットパターン(たとえば、規則的または不規則的な空間的スポットパターン)を投射するステップ110を含む。空間的パターンは、パルスのシーケンスで繰り返し投射される。
【0080】
上述のように、固体光源は、VCSELアレイ、または所望のパターンを生成するように適合された格子を有するレーザを含み得る。システムが最適に動作するために、本発明の実施形態に用いられるVCSELは、距離が長く、かつ環境光(たとえば、昼光)が高レベルであっても単位面積当たりのスポットにつき最大の光パワーを放出するように配置されることが好ましい。したがって、良質のビームを有する(M2因子が低い)レーザが好ましい。さらに好ましくは、レーザの波長の幅は最小限であるべきである。モノモードレーザの場合、特に狭い波長の幅を達成することができる。このように、必要な空間的精度および時間的精度で、実質的に同一のものが複製可能に生成され得る。
【0081】
パルスが放出されるのと同一時間ウィンドウの期間中、または実質的に重なる時間ウィンドウにおいて、対象物体によって反射されたスポットパターンを表す第1の光量が、検出器で検出される(120)。当該検出器は、光源のできるだけ近くに配置されることが好ましい。フローチャートにおいて、スポットパターンの投射(110)およびその反射の第1の検出(120)を並べて配置することによって、これらのステップが同時か、またはほぼ同時に起こることを示している。後続の第2の予め定められた時間ウィンドウ20において、反射された光スポットを表す第2の光量が検出器で検出される(130)。この第2のウィンドウ20の期間中、固体光源は非アクティブである。物体までの距離は、反射光の第1の光量および反射光の第2の光量に応じて算出される(140)。
【0082】
好ましくは、第1の予め定められた時間ウィンドウ10および第2の予め定められた時間ウィンドウ20は、持続時間が実質的に等しい連続するウィンドウである。これにより、検出量のうちの一方が他方から差し引かれることによるノイズおよび環境光の相殺が容易になる。以下では、
図3に関連して例示的なタイミングスキームをより詳細に説明する。
【0083】
検出器は、複数の画像素子を含む。すなわち検出器は、光景の画像(照射されたスポットを含む)を画像素子に投射するように配置された適切な光学素子を有する画像素子アレイからなる。ここで用いられる「画像素子」という用語は、画素の個々の感光性の領域もしくはウェルを指してもよいし、または画素全体(複数のウェルを含み得る。下記参照。)であってもよい。与えられたすべての投射スポットについて、第1の光量の検出120および第2の光量の検出130は、1つの同一画像素子または複数の画像素子の同一グループで行われる。
【0084】
一般性を失うことなく、各画像素子は、少なくとも2つの電荷ストレージウェル221、222を含む画素であり得る。それにより、第1の光量の検出120および第2の光量の検出130が同一画素または同一画素グループのそれぞれの電荷ストレージウェル221、222で行なわれ得る。
【0085】
図2は、対象の光景における物体99に関連する、本発明に係るシステムの実施形態を概略的に表す。システム200は、周期的に繰返され得るスポットのシーケンスのパターンを物体99に投射するための固体光源210を含む。検出器220は光源の近くに配置され、物体から反射された光を検出するように構成されている。
【0086】
物体99から跳ね返る光ビームを、光源210から物体99まで進み、検出器220に返る矢印として破線で示す。なお、この図はあくまで概略的なものであり、決して実際の相対距離または角度を示すように意図されたものではない。
【0087】
同期手段230(従来のクロック回路または発振器を含み得る)は、第1の予め定められた時間ウィンドウ10の期間中に物体にスポットパターンを投射するように固体光源210を動作させるとともに、実質的に同時に、物体99によって反射された光スポットを表す第1の光量を検出するように検出器220を動作させるように構成されている。同期手段230はさらに、それぞれの後続の第2の予め定められた時間ウィンドウ20の期間中に、物体99から反射された光スポットを表す第2の光量を検出するように検出器220を動作させる。適切な処理手段240は、第1の反射光量および第2の反射光量に応じて物体までの距離を算出するように構成されている。
【0088】
図3は、本発明の実施形態における光の投射および検出のタイミング図を示す。明確にするために、
図1で周期的に繰り返されるパルスシーケンスのうちの1つのパルスのみを示す。この1つのパルスは、第1の時間ウィンドウ10および第2の時間ウィンドウ20からなる。
【0089】
図3aからわかるように、第1の時間ウィンドウ10の期間中は固体光源210が「オン」状態であり、光スポットのパターンを周囲に放出する。第2の時間ウィンドウ20の期間中は固体光源210が「オフ」状態である。
【0090】
反射光の検出器220への到達は、進んだ距離に比例する時間(自由空間でおよそ3.3ナノ秒/m)の分だけ投射開始よりも遅れる。この遅れにより、反射光のうちの一部のみが検出器220の第1のウェル221(第1の時間ウィンドウ10の期間中にのみアクティブである)で検出される。したがって、アクティブ期間(第1の時間ウィンドウ10)中に当該第1のウェル内に蓄積された電荷は、反射パルスの到達前に画素に作用するノイズおよび環境光のみを表す部分と、ノイズ、環境光、および反射パルスの立ち上がりエッジを表す部分とからなる。
【0091】
反射パルスの後者の部分は、検出器220の第2のウェル222(好ましくは第1の時間ウィンドウ10の直後に続く第2の時間ウィンドウ20の期間中にのみアクティブである)で検出される。したがって、アクティブ期間(第2の時間ウィンドウ20)中に当該第2のウェル内に蓄積された電荷は、ノイズ、環境光、および反射パルスの立ち下がりエッジを表す部分と、反射パルスの到達後に画素に作用するノイズおよび環境光のみを表す部分と、からなる。
【0092】
反射する物体99とシステム200との間の距離が長くなるにつれて、第1のウェル221において検出されるパルスの比率が小さくなるとともに、第2のウェル222において検出されるパルスの比率が大きくなる。
【0093】
第1のウェル221の閉鎖後(すなわち、第1の時間ウィンドウ10の終了後)に反射パルスの立ち上がりエッジが現れた場合、第2のウェル222において検出され得る反射パルスの比率は、飛行時間遅延の増大に伴って減少する。
【0094】
物体99の距離を変化させて、結果としてウェル221、222にそれぞれ生じる電荷A、Bの量を
図3bに示す。図を単純化するために、
図3bでは、逆二乗則による距離に伴う光の減衰効果を考慮しない。第1の時間ウィンドウ10および第2の時間ウィンドウ20の合計持続時間以下の飛行時間遅延については、飛行時間遅延は、原則的には一義的に値AおよびBから得られることが明らかである。
【0095】
−第1の時間ウィンドウ10の持続時間以下の飛行時間遅延については、Bは物体99の距離に比例する。絶対距離の測定を容易に達成するために、正規化された値B/(B+A)を用いてもよい。これにより、検出物体の不完全反射の影響および逆二乗則の影響が排除される。
【0096】
−第1の時間ウィンドウ10の持続時間を超える飛行時間遅延については、Aは昼光およびノイズの寄与のみからなり(図示せず)、B〜Cは実質的に物体99の距離に比例する(逆二乗則に関する補正の後)。Cはオフセット値である。
【0097】
図3aおよび
図3bは時間ウィンドウ10において放出された単一のパルスに関して本発明の原理を示しているが、上で定義したように、図示のパルスはパルスのシーケンスの一部であることを理解すべきである。
図3cは、そのようなシーケンスの例示的なタイミング特性を概略的に示す。図示のように、照射スキーム40は、個々のパルス10のシーケンス30の放出の繰り返しからなる。個々のパルス10の幅は、最大動作範囲によって規定される。シーケンス全体は、たとえば60Hzの周波数で繰り返されてもよい。
【0098】
発明者らは、本明細書に記載のシステムのようなシステムでは、短距離の場所にある物体からの光の反射は画素の飽和を生じさせる可能性が高いことを発見した。なぜなら、このような反射の減衰は、より遠い距離の場所にある物体から発生した反射よりも大幅に小さいからである(距離による光の減衰の逆2乗の法則による)。自動車用途のような特定の用途は、比較的長い距離までシステム動作が正確であることを必要とするので、動作の最短距離と動作の最長距離との間の大きな光子スパンをカバーしなけらばならない。これらの制約があると、短距離の場合の画素飽和は、特に(短距離の反射の大半を受ける)第1のウェルでは極めて現実的なリスクである。発明者らは、所定の画素空間全体について、飽和の問題は、第1のウェルが表す光子容量は増加し第2のウェルが表す光子容量は減少する非対称のウェル構成を用いることによって緩和できることを見出した。この増減のバランスを取ることができれば、追加の画素表面コストを伴うことなくダイナミックレンジを大きくすることができる。
【0099】
画素は、充電モードと放電モードとの間で画素を切り替えることができる回路をさらに含み得る。充電モードでは、上記画素に当たった光が、(照明方式の現段階に従い)第1の電荷ストレージウェルまたは第2の電荷ストレージウェルの蓄積電荷量を増大させる。好ましくは充電モード後に同じ時間量だけアクティブにされる放電モードでは、上記画素に当たった光が、第1の電荷ストレージウェルまたは第2の電荷ストレージウェルの蓄積電荷量を減少させる。この切替方式により、背景光に対応する電荷量を電荷ストレージウェルから取り除くことができる。
【0100】
本発明の実施形態は、相関二重サンプリングを用いることにより、ウェルの容量に関連する熱ノイズ(「kTCノイズ」とも呼ばれる)についてサンプルを補正することができる。そのために、画素のエレクトロニクスを、たとえばフレームの最初でリセット電圧(V
reset)を測定しフレームの最後で信号電圧(V
signal)を測定することにより、リセット電圧V
resetと信号電圧V
signalとの間の差動測定を実行するように、設計してもよい。電子(インピクセル)実装例に代わるものとして、相関二重サンプリングを、プロセッサで読出信号をデジタル減算する(V
signal−V
reset)ことによって実現してもよい。
【0101】
画素構造における感光素子(特にダイオード)に達する光の量を増すために、本発明の実施形態は背面照射を用いることもできる。その場合、画素回路は感光層の後方にあるので、感光素子を読み出すために当たる光子が通過しなければならない層の数は減少する。
【0102】
本発明に係る測距システムを、WO2015/004213A1に係る三角測量ベースのシステムと組合わせてもよい。小型化を目的とする場合、三角測量ベースのシステムでは、プロジェクタと検出器との間の距離が結果的に比較的短くなり、動作範囲が狭くなるであろう。しかしながら、組合わせることによって利益をもたらすのは、まさにその短い距離である。なぜなら、三角測量ベースのシステムは、飛行時間ベースのシステムが十分正確に動作することができない距離をカバーできるからである。
【0103】
1つまたは複数の検出物体までの距離を経時的に監視するために、測距処理全体を繰り返してもよい。そうすると、この方法の結果を、物体の検出および追跡、支援運転、先進運転支援システム、アクティブサスペンションを備える車両、または自律型車両などの、継続的に検出物体までの距離に関する情報を必要とする処理において、用いることができる。繰り返される距離ゲーティングシーケンスを
図4aのタイミング図に概略的に示す。各フレームは、撮像装置(I)の起動(activation)に同期するプロジェクタ(P)のパルスのシーケンスに対応する(パルスのタイミングは小文字「p」で示される)(第1のウェルにおける電荷の蓄積は小文字「a」で示され、第2のウェルにおける電荷の蓄積は小文字「b」で示される)。一般性を失うことなく、2つの連続フレームのみが示されている。
【0104】
図4bは、すべての投射パルスに対して2つの追加時間スロットを含む修正されたタイミング方式を示す。これらの追加時間スロットは、投射光の反射を受けないときに画素に当たる光の強度に比例するレートでそれぞれのウェルを放電するために使用される。パルスがないときに受ける光は、パルスの反射を受けた時点からほんのわずかな時間オフセットされた背景光を表している。この方式は、プロジェクタのパルス毎に、第1のウェルおよび第2のウェルに蓄積された電荷から背景光成分を有効に取り除く。
【0105】
上記放電段階を実現するために、画素は、適切な転送ゲートによってフォトダイオードに結合された電荷を蓄積するためのキャパシタを含み得る。そうすると、蓄積段階は、電荷をキャパシタの第1の側に転送することを含み、減少は、電荷をキャパシタの第2の側に転送することを含む。
【0106】
好ましくは、本発明に係るシステムは、その他のウェルおよびトランスファーゲートを含む。
【0107】
図4cは、すべての投射パルスに対して1つの追加時間スロットを含む修正されたタイミング方式を示す。この追加の時間スロットは、光電荷を第3のウェルに蓄積するために使用される(第3のウェルへの電荷の蓄積は小文字「c」で示される)。第3のウェルが受ける光は、パルスがないときに届いているので、パルス反射を受けた時点からほんのわずかにオフセットされた背景光を表している。したがって、第3のウェルに蓄積された電荷を第1のウェルおよび第2のウェルの電荷から減算することにより、これらの電荷から背景光を有効に取り除くことができる。
【0108】
図4dは、
図4cのタイミング方式の変形を示し、
図4dにおいて、第3のウェルは、複数のプロジェクタパルスの終了後に、同一数のスロットの期間中、アクティブにされる。このように、第3のウェルが受ける光は、パルスがないときに届いているので、パルス反射を受けた時点からわずかに大きな時間オフセットされた背景光を表している。したがって、第3のウェルに蓄積された電荷を第1のウェルおよび第2のウェルの電荷から減算することにより、これらの電荷から背景光成分を有効に取り除くことができる。
【0109】
図4eは、
図4cのタイミング方式の別の変形を示し、
図4eにおいて、第1のウェルは、プロジェクタならびに第1および第2のウェルが距離ゲーティングのためにアクティブであるフレームの終了後に、別のフレームでアクティブにされている。このように、第1のウェルが受ける光は、パルスがないときに届いているので、これもパルス反射を受けた時点からわずかに大きな時間オフセットされた背景光を表している。別のフレームにおいて第1のウェルに蓄積された電荷を、第1のウェルおよび第2のウェルの電荷から減算することにより、これらの電荷から背景光成分を有効に取り除くことができる。
【0110】
所望の大きな動作範囲(およそ200m)と望ましい高精度(最も遠いポイントでわずか1000の光子を正確に検出)とを組み合わせることにより、(短距離の反射の場合)1フレーム内で1ウェルが受けることができる光子の最大数と1フレーム内で1ウェルが受けることができる最低数との間の大きなスパンを得ることができる。
【0111】
図4fは、
図4aの方式と、1つの時間スロットの時間の長さがスロット毎に異なるという点で異なっている、修正されたタイミング方式を示す。このようにすると、異なるフレームの検出しきい値および飽和点は、異なる距離で発生することになり、複数の連続フレームから得られる情報を組み合わせることにより、近傍の物体および遠方の物体の正確な距離測定を得ることができる。
【0112】
図4gは、N
max(画素を飽和させずに蓄積できる電子の最大数)およびN
min(正確な読出に必要な画素の最小数)によって課される制約の結果、距離の全対象範囲[Zmin,Zmax]をカバーしない可能性がある、
図3cのシーケンスにおける個々のフレームを、光子数に対する同じ制約の範囲内でより簡単にカバーすることができる対象範囲の一部[Z
min(i),Z
max(i)]を各々がカバーする、タイミングパラメータが異なるシーケンスに、如何にして分割できるかを、示す。
【0113】
上記説明で導入し
図4gで使用されている記号を参照して、サブ範囲の対応する電子量n
min(i)およびn
max(i)は、次のように定義される。
【0114】
−電子の許容可能な最大数は次の通りである(追加容量がない場合の全ウェル容量に対応する全画素容量に対して「FPC」を使用:
【0116】
−必要な最低精度レベル:n
min=N
min
−z
max(i)=z
min(i−1)
加えて、パルスの特徴は次のようにして求めることができる。
【0118】
上記原理は、以下の非限定的な数値例によってさらに明らかになるであろう。
距離150mで反射率10%の乱反射面は、1.6%の精度を得るには1000の電子を与えなければならない。同じ距離で、100%の反射面は10000電子を生成する。全ウェル容量が200000電子の場合、以下のマルチフレームソリューションが提案される。
【0120】
なお、ロバストネスの観点から、サブレンジは重複していることが好都合であろう。
同一の3次元解像度を保証するためには、より高速のカメラを用いると好都合であろう。たとえば、180Hzで動作する3フレームインターリーブのカメラは、単一フレーム動作で60Hzと同一のデータ速度を与える。
【0121】
(
図7a〜
図7gに例示されている)本発明に係るシステムが使用されるモードに応じてデューティサイクルは異なるであろう。範囲外の反射を捕捉するため、または2次元画像を取得するためにいくつかのフレームを使用した場合、実際の測距に利用できるのはわずかな時間であることが容易にわかる。本発明に係る3ウェルまたは4ウェル画素を使用する利点は、いくつかの機能を同時に実行できるので距離ゲーティング機能のデューティサイクルが増すことである。
【0122】
ブルーミング(blooming)は、(短距離の反射または道路標識もしくはナンバープレート等の高反射面からの反射の場合のように)画素の電荷が、この特定画素の飽和レベルを上回るときに生じる現象である。結果として、電荷はオーバーフローし始め、隣接画素に悪影響を及ぼす。これは、近隣画素に不正確なデータを生じさせる。
【0123】
好ましくは、本発明に係るシステムの画素に、アンチブルーミング電子を設ける。これは特に、上記第3のウェルまたは第4のウェルまでも含むことにより、余剰電荷を、関連するウェルを飽和させる前に、隣接画素のウェルに排出することができる。特に近隣スポットからの情報を背景光の除去に使用する場合、近隣画素から独立して(かつ汚染なしで)得られる背景光の正確な推定を持っていることは極めて重要である。同様に、スポット反射を受けない画素を用いて通常の2次元画像を同時に生成する場合、スポット反射を受ける画素に隣接する画素は、スポット反射を受ける画素から放出される電荷の影響を受けないことが非常に望ましい。
【0124】
上記アンチブルーミング構成は、近傍の端におけるシステムの範囲の増加にも寄与し得る。短距離の場合、反射されたスポットの主要な部分を受ける画素は飽和し易い。アンチブルーミング構成を適用することにより、このような飽和した画素から近隣画素に電荷が放出されることは回避される。よって、近隣画素は引続き正常に動作することができる。反射したスポットによって証明されるエリアは典型的に1画素だけでなくそれよりも多い画素をカバーするので、近隣画素の一部は、飽和を回避するのに十分小さいが距離ゲーティングの実行に使用可能な反射されたスポットの一部を受けると予想される。
【0125】
説明されたシステムのすべての要素を最適に動作させるためには、システムが熱的に安定でなければならない。熱的安定によって、とりわけ光学素子の望ましくない波長シフト(熱ドリフト)が回避される。さもなければ、光学フィルタ、および光学チェーンの他の素子の正常な機能が低下するであろう。本発明に係るシステムの実施形態は、それらの設計によって、または、PIDコントローラを用いた温度制御ループによる能動制御によって、熱的安定を達成する。
【0126】
WO2015/004213A1は、検出区間中に画素に到達する環境光の量を最小限にすることによって、パターン化されたレーザスポットの検出精度を向上させるためのさまざまな技術を開示している。これらの技術はLIDARシステムの文脈で開示されているわけではないが、本発明の発明者らは、いくつかの当該技術を本発明の実施形態と組合わせた場合に優れた結果が生み出されることを見出した。これが特に当てはまるのは、検出器に狭帯域フィルタを使用し、かつ、反射光がフィルタに対してほぼ垂直に入射することを保証する適切な光学配置を用いた場合である。WO2015/004213A1に示されたこれらの配置の詳細は、参照により本明細書に援用される。さらなる特徴および詳細を以下に示す。
【0127】
WO2015/004213A1から公知のさまざまな技術を本発明の実施形態に適用することによって、検出区間中に画素に到達する環境光の量を最小限にし得るが、一定量の環境光は回避できない。マルチ画素システムでは、画素のうちのいくつかのみが反射スポットによって照射される一方、他の画素は残留環境光のみによって照射される。画素の後者のグループの信号レベルを用いて、対象画素の信号に対する環境光の寄与を推定し、それに応じて当該寄与を差し引くことができる。追加的または代替的に、背景光または環境光を画素レベルで検出信号から差し引いてもよい。これは、2回の露出、すなわち、レーザパルスの到達期間に1回、パルスが無いときに1回の露出を必要とする。
【0128】
いくつかの実施形態では、検出器は、高ダイナミックレンジ検出器、すなわち少なくとも90dB、好ましくは少なくとも120dBのダイナミックレンジを有する検出器であってもよい。そのようなセンサを使用することの利点は、高ダイナミックレンジセンサ、すなわち、光景の最も暗い部分でも強度レベルの十分な弁別を維持しつつ、飽和することなく大量の光子が得られるセンサの存在である。すなわち、非常に長距離でありながら、依然として、飽和することなく短距離(反射光が比較的強い)の物体を検出することができるセンサが可能になる。発明者らは、トーンマッピングを適用したセンサを使用するよりも、真の高ダイナミックレンジセンサを使用した方が有利であることを見出した。トーンマッピングでは、センサ線形範囲が高分解能の方へ圧縮される。文献では、対数圧縮または多重線形圧縮などの、いくつかの圧縮方法が記録されている(
図5参照)。しかしながら、この非線形圧縮は、立体情報を抽出するために、取得された光景に対して論理演算または算術演算を行う前に、信号を再線形化することを必要とする。したがって、本発明に係る解決策は、計算の必要条件を増加させることなく検出精度を向上させる。
図6に示すような、完全に線形の高ダイナミックレンジセンサを使用することは、いくつかの実施形態のさらなる利点である。所望のダイナミックレンジ特性を提供することのできる画素アーキテクチャおよび光学検出器が、米国特許出願公開US2014/353472A1(特に65段落〜73段落および88段落)に開示されており、その内容は、当業者が本発明の当該局面を実施することを可能にするために、参照により本明細書に援用される。
【0129】
本発明の実施形態は、高ダイナミックレンジ画素を用いる。これは、フルウェルキャパシティが大きい電荷リザーバ(reservoir)によって、または、画素1つ当たりの電子ノイズを制限する設計によって、または、電荷転送時にノイズを付加しないCCDゲートの使用によって、または、高い検出量子効率(DQE:detection quantum efficiency)を有する設計(たとえば、表面照射では50%の範囲、または、裏面薄型化(back thinning)としても公知である裏面照射の場合は90%)によって、または、上記列挙された改善策の任意の組合わせによって、得ることができる。さらに、オーバーフロー容量を画素の前面に重ねるように追加することによって(この実現例は裏面薄型化を必要とする)、ダイナミックレンジをさらに拡大することが可能である。好ましくは、画素設計はアンチブルーミング機構を実現する。
【0130】
図7は、CMOS技術で使用される想定画素の実現可能なデュアルウェル(dual-well)またはデュアルビン(dual-bin)の実現例を示す。作用する信号は、2つの電荷ストレージに分配される。各リザーバは、レーザソースのパルスと同期する外部パルスによって制御される別個の転送ゲートを有する。
【0131】
アンチブルーミング回路を含む、本発明に係る具体例としての非対称の3ウェル画素が、
図8に概略的に示されている。電荷ストレージウェル221、222、223(SN A、SN B、SN C)が、上述のように2つの電荷ストレージウェルのアクティブ状態を投射パルスの送信と同期させるように制御される転送ゲート(TG A、TG B、TG C)により、光アクティブ領域(PH)に接続される。好ましくは、光アクティブ領域(PH)は、転送ゲートを介して光アクティブ領域に生成された電荷を完全に空乏化させることを可能にする埋め込みフォトダイオードとして実現される。
【0132】
これら3つの電荷ストレージウェルの容量を、C1(第1の反射光量→SN A)、C2(第2の反射光量→SN B)、およびC3(背景光→SN C)で表すと、好ましくは、寸法はC1>C2>C3>である。
【0133】
C2は、好ましくはC1の2/3以下、より好ましくはC1の50%以下である。
C3は、好ましくはC2の90%以下、より好ましくはC2の70%以下、最も好ましくはC2の50%以下である。
【0134】
発明者らはさらに、有用な動作範囲(検出可能な最小光レベルと飽和が生じる光レベルとの間)を得るためには、C2の寸法をC1よりも小さくすればよいことを見出した。なぜなら、第2のウェルが受ける光の反射量は常に少ないからであり、その理由は、反射する物体が遠方にありその距離のために信号が大幅に減じられる(この距離のために反射光の大半は第2の時間ウィンドウの期間中にSN Bに達する)、または、反射する物体が近傍にあり反射の大半は第1の時間ウィンドウの期間中にSN Aに達することにある。
【0135】
C3は、背景の減算のために使用される場合、3つのウェルのうちで最小のものとして寸法が定められてもよい。なぜなら、(好ましくは、以下でより詳しく述べるように入射光をフィルタに対してほぼ垂直にするための光学部品またはその他の手段を用いて)狭帯域フィルタによって背景光は大幅に低減されるからである。狭帯域は、具体例として、最大20nm、好ましくは最大10nm、最も好ましくは最大5nmの通過帯域の帯域幅を有する。
【0136】
好ましくは、転送ゲートを光アクティブ領域(特に埋め込みフォトダイオード)の一方の端に配置することにより、光が画素の内部のどこに入るかに関係なく、各ウェルの収集に対して同じ遅延量にする。
【0137】
好ましい構成において、データは、フォトダイオード素子、より具体的には埋め込みフォトダイオードによって捕捉され、このデータは直接転送ゲートを介してMOSFET(高密度キャパシタとして機能する)の上部プレートに格納される。MOSFETの下部プレートは基準として接地される。このようにしてデータは電圧ドメインに保持される。これは、
図8を参照して転送ゲートTG AおよびストレージノードSN Aの動作を確認することで理解できるであろう。この場合、フォトダイオードは光子を電子に変換し、TG Aとして機能するトランジスタが開かれ、そうすると、電子はSN Aに格納され、読出側の電圧が直ちに増加する。
【0138】
この構成は、電圧ドメイン内で機能させることにより、この実装例をよりコンパクトにすることができ感度とセンサ分解能とをの折り合いをより上手くつけることができるという、発明者らの洞察に基づいている。
【0139】
このように、本明細書に開示される好ましい構成は、フォトゲートを光検知素子として使用しMOSFETチャネルをストレージ素子として使用することにより電荷ドメインに情報を蓄積する当該技術では周知の構成と異なっている。上記周知の構成には2つの落とし穴がある。第1に、ゲートおよびトランジスタの必要数が多くなってセンサの分解能が制限される。第2に、電荷ドメインに情報を蓄積することは、電荷を一方のノードから他方のノードに、または一方のノードから読出増幅器に転送するという問題を生じさせ、この転送が不完全であれば、ストレージノードに残されたデータが、次のフレームに現れるゴースト画像を生じさせる。この問題に対する周知の解決策(埋め込みトランジスタ、埋め込みMOSFETの使用)は、飛行時間センサの製造を、極めて特殊な製造プロセスに制限する。
【0140】
本明細書に開示される構成の利点は、CMOS技術を用いて高分解能の飛行時間センサを製造することを可能にし、CMOS処理の利点(ディープサブミクロンデジタル処理およびオンチップシーケンシング(on-chip sequencing)を含む)を本願にもたらすことにある。
【0141】
図9は、ウェルの非対称性を得るための第1の方法を示す、本発明に係る画素のある実施形態を概略的に表す。
図9に示されるように、半導体製造プロセス中に、第1のウェル221(空乏ゾーンがA信号側にある)は、第2のウェル222(空乏ゾーンがB信号側にある)よりも大きくされる。
【0142】
図10は、ウェルの非対称性を得るための第2の方法を示す、本発明に係る画素のある実施形態を概略的に表す。この場合、半導体ウェル221、222の双方が同一サイズであるが、A信号側に追加のキャパシタを設けることにより、第1のウェル221の有効容量を大きくする。
【0143】
本発明に係るシステムにおいて、測距ノード221(SN A)、222(SN B)の読出は、好ましくは1段階の読出である。読出トランジスタは、好ましくはストレージ容量(検知ノード)に直接接続され、並列に読出すことができる。この構成の結果、2段階の読出と比較して、より高速になりノイズまたは寄生容量が減少する。加えて、フィルファクタ(fill factor)が改善される。このことは、半導体レーザプロジェクタから得ることができる測距光子の数が少ないので、重要である。
【0144】
第3の検知ノード223(SN C)および対応付けられた転送ゲート(TG C)は、アンチブルーミング構成に使用することができる。検知ノード221、222が満杯である(飽和している)ときに、アンチブルーミングゲート(TG C)を用いて、上述のように他の機能(たとえば距離ゲーティング、背景減算のための背景光検知、三角測量、…)を実行するために使用できる周囲画素を汚染させないために、溢れた電子を引き離すことができる。加えて、アンチブルーミングゲート(TG C)を用いて、次により詳細に説明するように、検知ノードBを開く前に検知ノードAにまだ拡散していない電子を引き離すことができる。
【0145】
本発明の実施形態の目的は、検知ノードへの電子の拡散の遅延を低減することである。過剰に遅延すると、SN Aの記録とSN Bの記録との間にフォトダイオード上に残余の電子が残る(すなわち十分に拡散しない)場合がある。したがって、転送ゲートA(TG A)が閉じると、検知ノードA(SN A、221)の残留電子が検知ノードB(SN B、222)に拡散して第2の信号を汚染させる可能性がある。本発明の実施形態は、この現象を、持続時間Tpのフラッシュパルスを与え、アンチブルーミングゲート(TG C)をアクティブにして残留電子をアンチブルーミングゲートを通して追い出すことにより、低減または回避する。アンチブルーミングゲート(TG C)に(電圧を印加することにより)電力を投入すると、残っている電子が引き離される。パルスTpの後に、転送ゲートB(TG B)をアクティブにすることによって検知ノードB(SN B)を開くことにより、反射された信号の残りの部分を記録する。Tpの寸法は、半導体材料の拡散特性および測距信号のパルス持続時間の関数として定める。読出Bの汚染の回避と、測距の式に必要な有用反射光子のうちの多くを失うこととの間で、最適なものを探す必要がある。好ましくは、Tpは10nsと200nsとの間である。
【0146】
図11〜
図13は、本発明の実施形態で使用され得るカメラを示す。このカメラにおいて、光照射源は単色光を放出し、少なくとも1つの検出器は、対応の狭帯域フィルタおよび光学素子を備える。これらの狭帯域フィルタおよび光学素子は、当該狭帯域フィルタへの入射角を変更するように配置されている。これにより、上記入射角は、上記狭帯域フィルタの主面の法線周辺の予め定められた範囲に限定される。上記光学素子は、像空間テレセントリックレンズを含む。「カメラ」という用語は、ここではセンサと、関連光学素子(レンズ、レンズアレイ、フィルタ)との組合わせとして用いられる。特に、
図12では、光学素子は、像空間テレセントリックレンズと上記少なくとも1つの検出器との間に配置されたミニレンズまたはマイクロレンズアレイをさらに含み、ミニレンズアレイの個々のミニレンズは、上記少なくとも1つの検出器の個々の画素のそれぞれの感光性領域に入射光を集束させる。このような1画素当たり1つのミニレンズ(または1画素当たり1つのマイクロレンズ)の配置の利点は、画素の感光性部分にすべての入射光を光学的に誘導することによって、下にあるセンサのフィルファクタによる損失を減少させることができる点である。
【0147】
これらの例すべてにおいて、照射線がフィルタ媒体を通過して実質的に等しい長さだけ進むことになる。すなわち換言すれば、入射した照射線はフィルタ面に対して実質的に垂直である。すなわちそれは、フィルタ面の法線周辺の予め定められた範囲内の入射角に限定される。これにより、たとえば昼光、日光をフィルタにかけ、スポットが昼光を上回るように狭帯域幅内に正確にフィルタリングすることが可能になる。
【0148】
車両周囲の空間全体が限られた数のセンサ、たとえば8個のセンサで監視され、その結果入射光線がたとえば1×1ラドの立体角に広がり得る本発明の実施形態において、入射角の補正は特に重要である。
【0149】
図11は、このタイプの第1の光学配置を概略的に示す。第1の光学配置は、像空間テレセントリック構成で、およそ等しい焦点距離fを有する第1のレンズ1030と第2のレンズ1040とを含む。これは、すべての主光線(開口絞りの中央を通過する光線)が像平面に対して垂直であることを意味する。例示的な開口数である0.16は、円錐角9.3°(円錐角の半分)に対応する。したがって、レンズシステム1030〜1040とセンサ102との間に配置された狭帯域フィルタ1060への最大の入射角は、9.3°であろう。
【0150】
図12に示すように、好ましい設計は、像空間テレセントリック構成(構成は、オプションとして物空間テレセントリックであってもよい)で、およそ等しい焦点距離fを有する縦に並んだ2つのレンズ1130、1140と、平面的に並べられたミニレンズアレイ1150と、スペクトルフィルタ1160と、CMOS検出器102と、からなる。第1のレンズ1130の中心Oは第2のレンズ1140の焦点であるので、Oを横切るすべての光線は、第2のレンズ1140によって光軸に平行な方向に屈折する。ここで、第1のレンズ1130の焦点距離と比較して非常に離れた位置の特定のレーザスポットS1110について考える。第1のレンズ1130による当該スポット1110の像は、このレンズの焦平面近く、たとえば第2のレンズ1140のちょうど中央面に位置する点Pである。スポットS1110から放出されて第1のレンズ1130によって取込まれた光線は、第2のレンズ1140における点Pに向かって集束する光円錐を形成する。当該光円錐の中心軸は点Oを横切り、光軸に平行、つまりスペクトルフィルタ1160に垂直に屈折することにより、最適な分光感度を達成する。したがって、第2のレンズ1140は、入射光ビームの角度を補正するためのレンズとして機能する。第2のレンズ1140の後方にある小さな凸状のミニレンズ1150(点Pがミニレンズ1150の焦点に位置する)を用いることによって、円錐の他の光線が光軸に平行な光線の束として屈曲することもできる。このように、スポットS1110のすべての結像光線は、スペクトルフィルタにほぼ垂直の方向に屈曲する。これは、すべての画素の前に位置付けられたミニレンズのアレイを用いることによって、CMOS検出器のすべての画素の前で個々に行なわれ得る。この構成では、ミニレンズは像テレセントリック機能を有する。主な利点は、ミニレンズ1150における局部補正光学素子によって、球面収差の増大を相殺しつつ、第1のレンズ1030の瞳を拡大することができ、またはアパーチャを除去することができる。このように、センサアセンブリの感度を高めることができる。平行光線を集束させて画素のフォトダイオードに戻すことによってフィルファクタを最大化するために、スペクトルフィルタ1160とCMOS画素102との間に第2のミニレンズアレイ(
図12には図示せず)を追加してもよい。
【0151】
第1および第2のレンズ1130、1140として、市販されているレンズを使用してもよい。当業者ならば、性質が類似する他のスマートフォンカメラまたはウェブカメラで典型的に用いられるレンズも使用され得ることを理解するであろう。前述のアイサイト(iSight)カメラは、8メガピクセルの6×3mmCMOSセンサ、1.5μmの画素サイズ、f/2.2の非常に大きなアパーチャ、約f=7mmの対物焦点距離、および約3.2mmの瞳直径を有する。視野角は、1ラド×1ラドのオーダーである。カメラの分解能がおおよそ画素サイズ(1.5ミクロン)であるとすると、レンズの収差は、アパーチャによって選択される視野角のすべての光線について補正されると結論付けることができる(アッベの法則より)。
【0152】
図13は、
図12の配置の変形例を示しており、1つのリソグラフ処理で製造するために最適化されている。第1のレンズ1230は前述の実施形態の第1のレンズ1130に類似するが、角度を補正する第2のレンズ1140は、同じ焦点距離fを有するフレネルレンズ1240で置換され、ミニレンズアレイ1150はフレネルレンズアレイ1250で置換されている。利点は、それらが完全に平らで、(別個のフェーズゾーンで)ナノエレクトロニクス技術によって製造可能である点である。平行光線を集束させて画素のフォトダイオードに戻すことによってフィルファクタを最大化するために、スペクトルフィルタ1260とCMOS画素102との間に第2のミニレンズアレイ1270を追加してもよい。つまり、カメラは本質的にはアイサイト(iSight)としての標準カメラであるが、CMOSセンサは特別に設計された多層センサによって置換されている。この多層センサは、すべての構成要素が同じリソグラフ処理内で1つの一体化ブロックとして製造される。この多層センサは、大量生産すると安価であり、小型で丈夫であり、位置合わせの必要がない。これらの5つの層1240、1250、1260、1270、102の各々は、本発明によって課される要件を満たすための独自の機能を有する。
【0153】
直径dのレンズによって作られた円錐の最小角度はλ/dのオーダーであり(λは光の波長)、ミニレンズ直径d=8.5μmおよびλ=850nmの場合の最小円錐角は、1/10ラジアンである。高品質のスペクトル干渉フィルタを用いると、これは約3nmのスペクトルウィンドウに対応する。
【0154】
図14は、狭帯域フィルタ1320が内側(図示)または外側(図示せず)に配置されたドーム1310(たとえば、湾曲したガラス板)を備える代替的な光学配置を示す。フィルタ1320をドーム1310の内側に配置することの利点は、ドーム1310がフィルタ1320を外部の力から保護する点である。ドーム1310およびフィルタ1320が光学的に協働することによって、ドームの表面に実質的に垂直な方向に沿って入射光がフィルタ1320を通過することが保証される。ドームフィルタアセンブリとセンサ102との間に魚眼光学素子1330が設けられる。それはCMOSセンサまたはCCDセンサまたはSPADアレイであり得る。魚眼光学素子1330は、ドームフィルタアセンブリを通過した光をセンサの感光性領域に向けて誘導するように配置されている。
【0155】
オプションとして、プロジェクタに他の魚眼光学素子が設けられる。特定の実施形態では、複数のVCSELが1×n配列またはm×n配列で搭載されている。それによって、高さm×1ラドおよび幅n×1ラドの空間的角度にわたるレーザビームの出口角を実現することができる。
【0156】
本発明のいくつかの実施形態では、段階的または可変の減衰フィルタを検出器に適用することによって、深さ範囲全体にわたってスポットの強度を実質的に一定に保つことができる。代替的または追加的には、検出器から遠く離れたスポットの強度を十分な強度で受信しながら検出器に近いスポットの強度を弱くするために、非対称レンズ瞳も設けられてもよい。このようにして、検出器のクリッピングが回避され、すべてのスポットについて平均強度を実質的に同一にすることができる。
【0157】
いくつかの実施形態では、照射源は、異なるゾーンに分割可能なVCSELであってもよく、それによって、当該異なるゾーンについてレーザのオン時間が制御される。したがって、スポットの画像は、一定の強度、たとえばA/D範囲の2/3を有するように制御され得る。代替的に、やはり一定の強度を得るために、高さに応じてスポットのアレイにわたって駆動電圧が駆動されてもよい。このような制御は、飽和回避サーボループと称され得る。アレイ内の異なるVCSELは強度に関して個別に制御されてもよく、同時に投射しながら個々のVCSELの強度のパターンを変化させてもよい。
【0158】
本発明のいくつかの他の実施形態では、+9°〜−9°の入射角の範囲内で照射線がフィルタに対して入射するように、狭帯域フィルタの前でマイクロプリズムマトリックスが使用され得る。これは、狭帯域幅フィルタリングを得ることを可能にする。プリズムマトリックスは、たとえばプラスチック成形によって作製されてもよい。
【0159】
図11〜
図14の構成において、光学素子の特徴は、平坦でない焦平面をもたらす。この結果を補償するために、検出器の画像素子を、光学素子の焦平面に従う曲率を有する基板上に配置することができる。その結果、反射しフィルタリングされたスポットは、どこで検出器に到達するかに関係なく、焦点が合うことになる。検出器の基板の所望の曲率を、フレキシブルチップ(flex-chip)技術を用いることにより、または、向きが異なるタイルを組み合わせることにより、得ることができる。
図15にこの解決策を概略的に示す。
図15は、テレセントリック光学素子1330と、それに続く狭帯域フィルタ1360および湾曲した画素層102とを示す。湾曲した画素層の曲率は、テレセントリック光学素子1330の焦平面の形状に従うように設定される
異なる経路に沿う光線がすべて同じ(垂直)角度で狭帯域フィルタを通ることを保証するように光学素子を配置することが可能ではない(または望ましくない)場合、入射角が異なりフィルタ特性が異なるという問題はソースで解決することができる。特に、VCSELアレイを、異なるスポットそれぞれの波長が異なるように構成してもよい。この構成は、タイル状のレーザアレイを用いることにより、または、VCSELアレイにおける個々のVCSELの波長を変調する手段を提供することにより、得ることができる。この解決策を
図16に概略的に示す。
図16は、光学素子1430およびセンサアレイ102の前に配置された狭帯域フィルタ1460を示す。明確にするために、かつ一般性を失うことなく、異なる波長(λ
1,λ
2)の異なる2つの入射角をこの図に示している。光源の異なる波長(λ
1,λ
2)は、それぞれの入射角において狭帯域フィルタの通過帯域の最大値に対応するように選択される。
【0160】
本発明のいくつかの実施形態において、スポットの強度を、段階的または可変減衰フィルタを検出器に適用することにより、深度の全範囲において実質的に一定に保つことができる。これに代えてまたはこれに加えて、検出器からより遠いスポットを十分な強度で受けつつ、検出器により近いスポットの強度を弱めるために、非対称のレンズの瞳を提供することもできる。このようにして、検出器のクリッピングを回避することができ、平均強度をすべてのスポットについて実質的に同一にすることができる。
【0161】
いくつかの実施形態において、放射源は、異なるゾーンに分割され異なるゾーンに対してレーザのオン時間を制御することが可能な、VCSELアレイであってもよい。いくつかの実施形態において、放射源をVCSELアレイとして、レーザのオン時間を個々のレーザレベルで制御することができる。よって、スポットの画像を、一定の強度、たとえばA/D範囲の3分の2となるように、制御することができる。これに代えて、駆動電圧を、高さに応じてスポットのアレイにわたって駆動することにより、この場合も一定の強度を得ることができる。このような制御は、飽和回避サーボループと呼ぶことができる。アレイ内の異なるVCSELの強度をグループ単位でまたは個別に制御し、同時に投射されるパターン内の個々のVCSELの強度を変化させてもよい。
【0162】
本発明のその他いくつかの実施形態において、マイクロプリズムマトリックスを狭帯域フィルタの前で用いて、照射線が、入射角が+9°と−9°との間になるようにフィルタに入射するようにしてもよい。このようにして狭帯域フィルタリングが得られる。プリズムマトリックスはたとえばプラスチック成形によって作ることができる。
【0163】
たとえばアクティブサスペンション車両用途が想定される本発明の実施形態では、スポットパターンの投射は、有利に下向き、すなわち道路の方に向けられる。
【0164】
本発明に係るシステムは、上述の方法のステップを、専用ハードウェア(たとえばASIC)、構成可能なハードウェア(たとえばFPGA)、プログラム可能なコンポーネント(たとえば、適切なソフトウェアを用いるDSPまたは汎用プロセッサ)、またはこれらの任意の組合わせで実現することを含み得る。同じコンポーネントが他の機能も含んでもよい。本発明は、上述の方法のステップを実現するコード手段を含むコンピュータプログラム製品にも関する。当該製品は、光学媒体、磁気媒体、または固体媒体としてのコンピュータ読取可能媒体で提供されてもよい。
【0165】
本発明は、上述のシステムを含む車両にも関する。
本発明の実施形態は、限定はされないが、自動車用途、工業用途、ゲーム用途など(屋内外の両方、短距離または長距離)を含む、多岐にわたる用途で好都合に用いられ得る。いくつかの用途では、本発明の実施形態に係る異なるセンサを組合わせて(たとえば、デイジーチェーン方式)、好ましくは一周(360°視野)にわたるパノラマのカバー範囲を作り出してもよい。
【0166】
別個のシステムおよび方法の実施形態を参照して本発明を上で説明したが、明確化のためにそのようにしたに過ぎない。システムまたは方法のみに関して説明した特徴はそれぞれ方法またはシステムに適用可能であり、同じ技術的効果および利点を有することを当業者ならば理解するであろう。さらに、本発明の範囲はこれらの実施形態に限定されず、添付の特許請求の範囲によって規定される。
【手続補正書】
【提出日】2019年10月15日
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
物体までの距離を測定するためのシステム(200)であって、
−レーザ光の不連続スポットのパターンを、周期的に繰り返されるパルスのシーケンスで前記物体に向けて投射するように配置された半導体光源(210)と、
−複数のCMOS画像素子を含み、前記パルスのシーケンスと同期して、前記物体から反射された前記不連続スポットのパターンを表す光を検出するように構成され、狭帯域フィルタが設けられた、検出器(220)と、
−前記検出した光に応答して前記画像素子が生成した露出値に応じて前記物体までの前記距離を算出するように構成された処理手段(240)とを備え、
前記画像素子(220)は、前記シーケンスの前記パルスすべてについて、第1の予め定められた時間ウィンドウ(10)の期間中に前記物体から反射された第1の光量を表す第1の電荷量と、前記第1の予め定められた時間ウィンドウ(10)の後に起こる第2の予め定められた時間ウィンドウ(20)の期間中に前記物体から反射された第2の光量を表す第2の電荷量とを蓄積することによって前記露出値を生成するように構成され、
前記複数の画像素子の各々は、少なくとも2つの電荷ストレージウェル(221,222)を含み、前記第1の光量の前記検出および前記第2の光量の前記検出は、前記少なくとも2つの電荷ストレージウェル(221,222)のうちの対応するそれぞれの電荷ストレージウェルで行われ、
前記第1の光量の前記検出に使用される前記第1の電荷ストレージウェル(221)の電荷ストレージ容量は、前記第2の光量の前記検出に使用される前記第2の電荷ストレージウェル(222)の電荷ストレージ容量よりも大きく、
前記複数の画像素子の各々は、背景光の値を取得するという機能を果たすように構成された少なくとも1つのその他の電荷ストレージウェル(223)を含み、前記少なくとも1つのその他の電荷ストレージウェル(223)の電荷ストレージ容量は、前記少なくとも2つの電荷ストレージウェル(221,222)の電荷ストレージ容量よりも小さい、システム。
【請求項2】
さらに、前記投射および前記検出をパルスの少なくとも2つの連続シーケンスについて実行するように構成され、前記連続シーケンスの各々は、前記第1の予め定められた時間ウィンドウおよび前記第2の予め定められた時間ウィンドウのうちの異なる期間で実施される、請求項1に記載のシステム。
【請求項3】
前記第1の予め定められた時間ウィンドウおよび前記第2の予め定められた時間ウィンドウは、実質的に等しい期間であり、連続して発生する、請求項1〜2のいずれか1項に記載のシステム。
【請求項4】
さらに、前記第1の予め定められた時間ウィンドウおよび前記第2の予め定められた時間ウィンドウに、前記背景光の値の取得において前記複数の画像素子が使用される時間ウィンドウを挿入するように構成される、先行する請求項のいずれか1項に記載のシステム。
【請求項5】
先行する請求項のいずれか1項に記載のシステム(100)を備える車両であって、前記システムは前記車両を取囲むエリアのうちの少なくとも一部を作動的にカバーするように配置されている、車両。
【請求項6】
請求項1〜5のいずれか1項に記載のシステム(100)を備えるカメラであって、前記システム(100)は、前記システムから得られた情報に基づいてカメラ画像に3次元情報を付加することによって3次元画像を作成することを可能にするように構成されている、カメラ。
【請求項7】
物体までの距離を測定するための方法であって、
−半導体光源(210)を用いて、レーザ光の不連続スポットのパターンを、周期的に繰り返されるパルスのシーケンスで前記物体に向けて投射するステップ(110)と、
−複数のCMOS画像素子を含み狭帯域フィルタが設けられた検出器(220)を用いて、前記パルスのシーケンスと同期して、前記物体から反射された前記不連続スポットのパターンを表す光を検出するステップ(120;130)と、
−前記検出した光に応答して前記画像素子が生成した露出値に応じて前記物体までの前記距離を算出するステップ(140)とを含み、
前記画像素子(220)は、前記シーケンスの前記パルスすべてについて、第1の予め定められた時間ウィンドウ(10)の期間中に前記物体から反射された第1の光量を表す第1の電荷量と、前記第1の予め定められた時間ウィンドウ(10)の後に起こる第2の予め定められた時間ウィンドウ(20)の期間中に前記物体から反射された第2の光量を表す第2の電荷量とを蓄積することによって前記露出値を生成し、
前記複数の画像素子の各々は、少なくとも2つの電荷ストレージウェルを含み、前記第1の光量の前記検出および前記第2の光量の前記検出は、前記少なくとも2つの電荷ストレージウェルのうちの対応するそれぞれの電荷ストレージウェルで行われ、
前記第1の光量の前記検出に使用される前記第1の電荷ストレージウェル(221)の電荷ストレージ容量は、前記第2の光量の前記検出に使用される前記第2の電荷ストレージウェル(222)の電荷ストレージ容量よりも大きく、
前記複数の画像素子の各々は、背景光の値を取得するという機能を果たすように構成された少なくとも1つのその他の電荷ストレージウェル(223)を含み、前記少なくとも1つのその他の電荷ストレージウェル(223)の電荷ストレージ容量は、前記少なくとも2つの電荷ストレージウェル(221,222)の電荷ストレージ容量よりも小さい、方法。
【請求項8】
前記第1の予め定められた時間ウィンドウおよび前記第2の予め定められた時間ウィンドウは、実質的に等しい期間であり、連続して発生する、請求項7に記載の方法。
【請求項9】
前記投射するステップ(110)、前記検出するステップ(120;130)、および前記算出するステップ(140)は、周期的に繰り返される、請求項7〜8のいずれか1項に記載の方法。
【請求項10】
前記第1の予め定められた時間ウィンドウおよび前記第2の予め定められた時間ウィンドウに、前記背景光の値の取得において前記複数の画像素子が使用される時間ウィンドウが挿入される、請求項7〜9のいずれか1項に記載の方法。
【請求項11】
請求項7〜10のいずれか1項に記載の方法をプロセッサに実行させるように構成されたコード手段を含むコンピュータプログラム製品。
【国際調査報告】