特許 7569334 電子走査ＬＩＤＡＲシステム用同期画像捕捉

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-08

(45)【発行日】2024-10-17

(54)【発明の名称】電子走査ＬＩＤＡＲシステム用同期画像捕捉

(51)【国際特許分類】

   G01S 17/86 20200101AFI20241009BHJP

   G01S 7/484 20060101ALI20241009BHJP

   G01S 17/89 20200101ALI20241009BHJP

【ＦＩ】

G01S17/86

G01S7/484

G01S17/89

【請求項の数】 20

(21)【出願番号】P 2021568199

(86)(22)【出願日】2020-05-12

(65)【公表番号】

(43)【公表日】2022-07-21

(86)【国際出願番号】 US2020032511

(87)【国際公開番号】W WO2020232016

(87)【国際公開日】2020-11-19

【審査請求日】2023-02-10

(31)【優先権主張番号】62/847,208

(32)【優先日】2019-05-13

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】519064609

【氏名又は名称】アウスター インコーポレイテッド

(74)【代理人】

【識別番号】100094569

【弁理士】

【氏名又は名称】田中 伸一郎

(74)【代理人】

【識別番号】100103610

【弁理士】

【氏名又は名称】▲吉▼田 和彦

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100086771

【弁理士】

【氏名又は名称】西島 孝喜

(74)【代理人】

【氏名又は名称】上杉 浩

(74)【代理人】

【識別番号】100120525

【弁理士】

【氏名又は名称】近藤 直樹

(74)【代理人】

【識別番号】100139712

【弁理士】

【氏名又は名称】那須 威夫

(74)【代理人】

【識別番号】100210239

【弁理士】

【氏名又は名称】富永 真太郎

(72)【発明者】

【氏名】パカラ アンガス

【審査官】佐藤 宙子

(56)【参考文献】

【文献】特開２０１８－１５２６３２（ＪＰ，Ａ）

【文献】特開２０１０－０７１９７６（ＪＰ，Ａ）

【文献】特開２０１３－２０７４１５（ＪＰ，Ａ）

【文献】国際公開第２０１９／０１０３２０（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｓ ７／４８－ ７／５１

Ｇ０１Ｓ １７／００－１７／９５

(57)【特許請求の範囲】

【請求項1】

固体電子走査ＬＩＤＡＲシステムであって、
照明パターンに応じた前記固体電子走査ＬＩＤＡＲシステムの外部のフィールド内に動作波長で光を放出するように構成された複数の光エミッタを含む、エミッタアレイと、
前記フィールドから反射された放出光を検出するように構成された第１の複数の光センサを含む第１のセンサアレイであって、前記第１のセンサアレイは、前記エミッタアレイの視野と実質的に同じ視野を有する、第１のセンサアレイと、
前記フィールドと前記第１のセンサアレイとの間に配設され、前記第１のセンサアレイに前記動作波長を含む狭帯域の光を通過させるように動作可能な光学フィルタと、
前記フィールド内の周囲光を検出するように構成された第２の複数の光センサを含む第２のセンサアレイであって、前記第２のセンサアレイは、前記第１のセンサアレイの前記視野と実質的に同じ又は当該視野を包含する視野を有する、第２センサアレイと、
前記エミッタアレイに結合され、複数の放出サイクルを実行するように構成されたエミッタコントローラであって、各放出サイクルの間、前記エミッタコントローラが、前記照明パターンが生成されるまで、前記複数の光エミッタのサブセットのみを一度に起動する、エミッタコントローラと、
前記第１のセンサアレイに結合され、かつ前記第１のセンサアレイ内の個々の光センサの読み出しを、前記エミッタアレイ内の対応する光エミッタの発射と同時に同期させ、このため、前記第１のセンサアレイ内の各光センサが、１つの放出サイクルを通じて読み出され得るように構成された第１のセンサコントローラと、
前記第２のセンサアレイと結合され、かつ前記エミッタアレイの視野と重複する視野を有する前記第２のセンサアレイの少なくとも一部分を読み出して、各放出サイクル中の前記フィールドを提示する画像を捕捉するように構成された第２のセンサコントローラと、
を含む、
固体電子走査ＬＩＤＡＲシステム。

【請求項2】

前記動作波長は、赤外又は近赤外波長である、
請求項１記載の固体電子走査ＬＩＤＡＲシステム。

【請求項3】

前記エミッタコントローラが前記複数の光エミッタのサブセットを起動する各事例において、前記第２のセンサコントローラが、前記起動した光エミッタのサブセットの前記視野を共有する前記第２の複数の光センサのサブセットを起動し、かつ読み出す、
請求項１記載の固体電子走査ＬＩＤＡＲシステム。

【請求項4】

前記エミッタコントローラが前記複数の光エミッタのサブセットを起動する各事例において、前記第２のセンサコントローラが、前記第２のセンサアレイ全体を起動するが、前記起動された光エミッタのサブセットの前記視野を共有する前記第２の複数の光センサのサブセットを読み出す、
請求項１記載の固体電子走査ＬＩＤＡＲシステム。

【請求項5】

前記第２のセンサアレイ内の各光センサが、個々に起動されるように構成されており、前記第２のセンサコントローラが、前記第２の複数の光センサからの光センサのグループの起動を、順番に、対応する光エミッタバンクの発射と同時に同期させるように構成されている、
請求項１記載の固体電子走査ＬＩＤＡＲシステム。

【請求項6】

前記第２の複数の光センサからの光センサの第１のグループの第１の起動の期間が、前記第２の複数の光センサからの光センサの第２のグループの第２の起動の期間とは異なる、
請求項５記載の固体電子走査ＬＩＤＡＲシステム。

【請求項7】

前記第２のセンサアレイ全体が、一度に起動されるように構成されており、前記第２のセンサコントローラが、前記第２のセンサアレイ全体の前記起動と、前記第２の複数の光センサからの光センサのそれぞれのグループの前記読み出しと、を順番に、対応する光エミッタバンクの前記発射と同時に同期させるように構成されている、
請求項１記載の固体電子走査ＬＩＤＡＲシステム。

【請求項8】

前記第２のセンサアレイの起動速度が、前記エミッタアレイの起動速度よりも速い、
請求項７記載の固体電子走査ＬＩＤＡＲシステム。

【請求項9】

前記第２のセンサコントローラが、前記第２のセンサアレイの２つ以上の起動から画像データを読み出し、かつ前記読み出した画像データを、対応する光エミッタバンクの起動と関連付けるように構成されている、
請求項８記載の固体電子走査ＬＩＤＡＲシステム。

【請求項10】

前記第２のセンサアレイの視野が、前記エミッタアレイの前記視野よりも広い、
請求項１記載の固体電子走査ＬＩＤＡＲシステム。

【請求項11】

複数のアパーチャを有するアパーチャ層をさらに含み、前記アパーチャ層および第１のセンサアレイが、複数の受信器チャネルを形成するように配置され、前記複数の受信器チャネル内の各受信器チャネルが、前記複数のアパーチャからのアパーチャと、前記第１のセンサアレイからの光センサと、を含み、前記アパーチャが、前記受信器チャネル内の前記光センサの前記視野を画定する、
請求項１記載の固体電子走査ＬＩＤＡＲシステム。

【請求項12】

前記第２の複数の光センサ内の光センサの起動が、前記対応する光エミッタのそれぞれの発射に対して一時的に中心とされる、
請求項１記載の固体電子走査ＬＩＤＡＲシステム。

【請求項13】

前記第１の複数の光センサ内の各光センサが、前記フィールドにおいて、前記固体電子走査ＬＩＤＡＲシステムからの閾値距離を超えて、前記第１の複数の光センサ内の他の光センサの視野と重複しない個別の視野を有し、前記エミッタアレイが、前記固体電子走査ＬＩＤＡＲシステムからのある範囲の距離にわたってサイズおよび幾何学的形状において前記第１のセンサアレイの前記視野に実質的に一致する照明パターンに従って前記フィールド内に光のビームを放出するように構成されている、
請求項１～１２の何れかに記載の固体電子走査ＬＩＤＡＲシステム。

【請求項14】

固体電子走査ＬＩＤＡＲシステムであって、
バルク送信器光学系と、
前記バルク送信器光学系を介して、照明パターンに従って前記固体電子走査ＬＩＤＡＲシステムの外部のフィールドに動作波長で個別の光ビームを放出するように構成された複数の光エミッタを含むエミッタアレイと、
第１のバルク受信器光学系と、
前記エミッタアレイから放出され、前記固体電子走査ＬＩＤＡＲシステムの外部のフィールドから前記第１のバルク受信器光学系を介して反射された光を検出するように動作可能な複数の第１の光センサを含む第１のセンサアレイであって、前記第１の複数の光センサ内の各光センサは、前記フィールドにおいて、前記固体電子走査ＬＩＤＡＲシステムからの閾値距離を超えて、前記第１の複数の光センサ内の他の光センサの視野と重複しない個別の視野を有し、前記第１センサアレイの前記視野が、前記固体電子走査ＬＩＤＡＲシステムからのある範囲の距離にわたってサイズおよび幾何学的形状において前記エミッタアレイの前記照明パターンと実質的に一致する、第１のセンサアレイと、
前記フィールドと前記第１のセンサアレイとの間に配設され、前記第１のセンサアレイに前記動作波長を含む狭帯域の光を通過させるように動作可能な光学フィルタと、
第２のバルク受信器光学系と、
前記第２のバルク受信器光学系を介して前記フィールドから受信された可視スペクトルの周囲光を検出するように構成された第２の複数の光センサを含む第２のセンサアレイであって、前記第２のセンサアレイは、前記第１のセンサアレイの前記視野と実質的に同じ又は当該視野を包含する視野を有する、第２のセンサアレイと、
前記エミッタアレイに結合され、複数の放出サイクルを実行するように構成されたエミッタコントローラであって、各放出サイクルの間、前記エミッタコントローラが、前記照明パターンが生成されるまで、前記複数の光エミッタのサブセットのみを一度に起動する、エミッタコントローラと、
前記第１のセンサアレイに結合され、かつ前記第１の複数の光センサ内の個々の光センサの読み出しを前記エミッタアレイ内の対応する光エミッタの発射と同時に同期させ、このため、前記第１のセンサアレイ内の各光センサが、１つの放出サイクルを通じて読み出され得るように構成された、ライダーセンサコントローラと、
前記第２のセンサアレイに結合され、かつ前記エミッタアレイの視野と重複する視野を有する前記第２のセンサアレイの少なくとも一部分を読み出して、各放出サイクル中の前記フィールドを提示する画像を捕捉するように構成された画像センサコントローラと、
を含む、
固体電子走査ＬＩＤＡＲシステム。

【請求項15】

前記エミッタコントローラが前記複数の光エミッタのサブセットを起動する各事例において、前記画像センサコントローラが、前記起動された光エミッタのサブセットの前記視野を共有する前記第２の複数の光センサ内の光センサのサブセットを起動し、かつ読み出す、
請求項１４記載の固体電子走査ＬＩＤＡＲシステム。

【請求項16】

前記エミッタコントローラが前記複数の光エミッタのサブセットを起動する各事例において、前記画像センサコントローラが、前記第２の複数の光センサ内の全ての光センサを起動するが、前記起動された光エミッタのサブセットの前記視野を共有する前記第２の複数の光センサ内の光センサのサブセットのみから読み出す、
請求項１４記載の固体電子走査ＬＩＤＡＲシステム。

【請求項17】

前記第２の複数の光センサ内の光センサのグループが、個別に起動され得、前記画像センサコントローラが、所定の順番で、対応する光エミッタバンクの前記発射と同時に前記第２の複数の光センサ内の光センサのグループを起動させ、かつ同期させるように動作可能である、
請求項１４記載の固体電子走査ＬＩＤＡＲシステム。

【請求項18】

前記第２の複数の光センサ内のすべての光センサが同時に起動され、前記画像センサコントローラが、前記第２のセンサアレイ全体の前記起動と、前記第２の複数の光センサ内の光センサのそれぞれのグループの前記読み出しと、を順番に、対応する光エミッタバンクの前記発射と同時に同期させるように構成され、前記第２のセンサアレイの起動速度が、前記エミッタアレイの起動速度よりも高い、
請求項１４記載の固体電子走査ＬＩＤＡＲシステム。

【請求項19】

前記エミッタアレイは、複数の垂直共振器型面発射レーザ（ＶＣＳＥＬ）を含み、前記第１のセンサアレイ内の各光センサは、複数の単一光子アバランシェダイオード（ＳＰＡＤ）を含む、
請求項１～１８の何れかに記載の固体電子走査ＬＩＤＡＲシステム。

【請求項20】

固体電子走査光測距デバイスであって、
照明パターンに従って前記光測距デバイスの外部のフィールドに動作波長の電磁放射を放出するように配列された複数の光学エミッタを含むエミッタアレイと、
第１の解像度を有する第１のセンサアレイに配置され、前記フィールドから反射された前記照明パターン内の放出された電磁放射を検出するように配列された複数の深度光センサであって、前記エミッタアレイ内の各光学エミッタは、前記第１のセンサアレイ内の深度光センサと対になっており、前記エミッタアレイおよび前記第１のセンサアレイは、各光学エミッタ及び対応する対の深度光センサが前記フィールド内の同じ場所を本質的に見るように、閾値距離を超えて、実質的に類似した視野を有し、各深度光センサは、前記フィールド内の表面から反射された後に、その対応する光学エミッタから放出された光子を検出するように動作可能な複数の単一光子アバランシェダイオード（ＳＰＡＤ）を含む、複数の深度光センサと、
前記フィールドと前記第１のセンサアレイとの間に配設され、前記第１のセンサアレイ内の前記複数の深度光センサに前記エミッタアレイの前記動作波長を含む狭帯域の電磁放射を通過させるように動作可能な光学フィルタと、
前記第１の解像度よりも高い第２の解像度を有する第２のセンサアレイ内に配列された複数の画像光センサであって、前記第２のセンサアレイは、前記フィールド内から可視スペクトルの周囲光を検出するように構成され、前記第２のセンサアレイの視野は、前記エミッタアレイの視野を包含する、複数の画像光センサと、
前記エミッタアレイに結合され、複数の放出サイクルを実行するように構成されたエミッタコントローラであって、各放出サイクルの間、前記エミッタコントローラが、前記照明パターンが生成されるまで、前記複数の光学エミッタのサブセットのみを一度に起動する、エミッタコントローラと、
前記第１のセンサアレイに結合され、かつ前記エミッタアレイ内の対応する光学エミッタの発射に同期して、前記第１のセンサアレイ内の個々の深度光センサを起動するように構成された第１のセンサコントローラと、
前記第２のセンサアレイに結合され、前記第２のセンサアレイ内の画像光センサを起動し、前記エミッタアレイの前記照明パターンを含む前記フィールドの画像を捕捉するように構成された第２のセンサコントローラであって、前記第２のセンサアレイ内の前記画像光センサの起動は、前記エミッタアレイ内の光学エミッタの前記発射および前記第１のセンサアレイ内の深度光センサの前記起動と同期される、第２のセンサコントローラと、
を含む、
固体電子走査光測距デバイス。

【発明の詳細な説明】

【背景技術】

【0001】

光撮像、検出および測距（ＬＩＤＡＲ（ライダー））システムは、標的にパルスレーザ光を照射し、センサで反射パルスを測定することにより、標的までの距離を測定する。その後、飛行時間測定を使用して、標的のデジタル３Ｄ表現を作製することができる。ＬＩＤＡＲシステムは、考古学、地理学、地質学、森林学、マッピング、建設、医療用画像処理、軍事用途など、３Ｄ深度画像が役立つ様々な用途に使用することができる。自律車両は、障害物の検出および回避、ならびに車両のナビゲーションにもＬＩＤＡＲを使用することができる。

【0002】

一部のＬＩＤＡＲシステムには、フィールド内のシーンの画像を捕捉するために３６０°以下の回転角度で送受信要素を物理的に走査する機械的な可動部品が含まれている。車両の障害物の検出および回避に使用可能なこのようなシステムの一例は、多くの場合、回転またはスピニングＬＩＤＡＲシステムと称される。回転ＬＩＤＡＲシステムでは、ＬＩＤＡＲセンサが、典型的にはハウジング内で、３６０度回転またはスピンする列に取り付けられている。ＬＩＤＡＲセンサは、ＬＩＤＡＲセンサがシーン内で連続的に回転するときに車両の周囲のシーンを照明するためのコヒーレント光エミッタ（例えば、赤外または近赤外スペクトルのパルスレーザ）を含む。コヒーレント光エミッタが回転すると、ＬＩＤＡＲシステムから放射パルスがシーン内の様々な方向に送信される。シーン内の周囲の物体に入射する放射の一部は、車両の周囲のこれらの物体から反射され、その後、これらの反射は異なる時間間隔撮像システムでＬＩＤＡＲセンサの撮像システム部分によって検出される。撮像システムは、検出された光を電気信号に変換する。

【0003】

このようにして、距離および形状など、ＬＩＤＡＲシステムの周囲の物体に関する情報が収集され、処理される。ＬＩＤＡＲシステムのデジタル信号処理ユニットは、電気信号を処理し、物体の情報を深度画像または３Ｄポイントクラウドで再現することができ、これらの情報は、障害物の検出および回避、ならびに車両ナビゲーションなどの目的で使用することができる。追加的に、画像処理および画像ステッチングモジュールは、情報を取得し、車両周辺の物体のディスプレイを組み立てることができる。

【0004】

可動機械部品を含まない固体ＬＩＤＡＲシステムも存在する。一部の固体ＬＩＤＡＲシステムは、シーンを回転する代わりに、光で捕捉し、反射光を感知する予定のシーン全体部分をフラッシュする。そのようなシステムでは、送信器は、すべての光を一度に放出してシーンを照明するエミッタのアレイを含むため、「フラッシュ」ＬＩＤＡＲシステムと呼ばれることもある。フラッシュＬＩＤＡＲシステムは、可動部品がないため、作製がそれほど複雑ではない。ただし、すべてのエミッタが一度に起動するため、動作には大量の電力が必要になり、すべてのピクセル検出器からの信号を一度に処理するには大量の処理能力が必要になる。さらに、既存のＬＩＤＡＲシステムは、シーンの３次元画像を構築するために、測距目的で放出された光のみを捕捉するように設計されている。このような画像は単色であり、可視光スペクトル中の肉眼で知覚されるものを反映していない。

【発明の概要】

【0005】

本開示のいくつかの実施形態は、シーンの３次元画像を生成するための距離測定に加えて、２次元画像を捕捉することができるスピニング列がない静止した固体ＬＩＤＡＲシステムに関する。実施形態は、現在利用可能なスピニングＬＩＤＡＲシステムと比較して、改善された精度、信頼性、サイズ、統合および外観で、高解像度および低電力消費でシーンの画像を捕捉できる。

【0006】

いくつかの実施形態によれば、固体電子走査ＬＩＤＡＲシステムは、光送信モジュールと、光感知モジュール内のエミッタアレイの発射シーケンスが、飛行時間（ＴＯＦ：ｔｉｍｅ－ｏｆ－ｆｌｉｇｈｔ）測定のための光感知モジュール内の飛行時間センサアレイの捕捉シーケンスに対応するように動作が同期される光感知モジュールと、を含むことができる。ＬＩＤＡＲシステムは、エミッタアレイおよびＴＯＦセンサアレイと同じ視野から周囲光画像を捕捉することができる画像センサアレイを含む画像捕捉モジュールをさらに含むことができる。様々な実施形態において、画像センサアレイは、ローリングシャッタカメラまたはグローバルシャッタカメラとして動作され得、いくつかの実施形態において、画像センサアレイは、ＴＯＦセンサアレイと同期する方法で、またはＴＯＦセンサアレイと非同期の方法で動作させることができる。

【0007】

いくつかの実施形態では、エミッタアレイ、ＴＯＦセンサアレイ、および画像センサアレイはそれぞれ、物体空間においてエミッタ、ＴＯＦセンサ、および画像センサの視野をそれぞれコリメートする画像空間テレセントリックバルク光学系と結合することができる。エミッタアレイは、垂直キャビティ表面放出レーザ（ＶＣＳＥＬ）のアレイであり、ＴＯＦセンサアレイは、ＴＯＦ光センサのアレイを含むことができ、ＴＯＦセンサアレイ内の各ＴＯＦ光センサは、狭いスペクトル内の光、例えば、赤外スペクトル内の光を検出するための単一光子アバランシェダイオード（ＳＰＡＤ）などの光検出器の集合体を含む。しかしながら、ＴＯＦセンサアレイとは異なり、画像センサアレイは、可視光スペクトル内で知覚されるシーンの画像を捕捉するための画像光センサのアレイを含むことができる。

【0008】

動作中、エミッタアレイは、エミッタアレイから１つ以上の列の光エミッタを連続的に発射して、光（例えば、近赤外波長範囲のパルス光ビーム）をシーンに向けて投射することができ、反射光は、ＴＯＦセンサアレイ内のＴＯＦ光センサの１つ以上の対応する列によって受信することができる。発射シーケンスと捕捉シーケンスとを同期させることにより、固体走査ＬＩＤＡＲシステムは、特定の時点で、その対応するＴＯＦ光センサのセットによって効率的に検出できるエミッタのセットから一定量の光のみを照射することで、効率的に画像を捕捉することができ、これにより、シーンの過度の照明を最小限に抑え、システムに利用可能な電力を最大限に活用する方法でエネルギーを集中させる。

【0009】

発射および捕捉シーケンスとさらに同期して、対応する画像光センサのグループを起動し、シーンの周囲光を測定することができる。画像センサアレイの視野は、エミッタアレイの視野（これは、ＴＯＦセンサアレイの視野と同じにすることができる）と重複できるので、電子走査ＬＩＤＡＲシステムは、シーン内の物体の２次元カラー画像を捕捉すると同時に、シーン内のそれらの物体までの距離を捕捉することができる。これにより、電子走査ＬＩＤＡＲシステムは、シーン内の物体までの距離に加えて、シーンの高解像度カラー画像を提供することができるので、ユーザは、シーンのどの部分が電子走査ＬＩＤＡＲシステムによって走査されているかをよりよく理解することができる。

【0010】

いくつかの実施形態では、本明細書の電子走査ＬＩＤＡＲシステムは、マイクロ光学系を利用して、シーンの飛行時間測定値が捕捉される効率をさらに改善することもできる。マイクロ光学系は、エミッタアレイから放出される光の輝度および強度を改善し、電子走査ＬＩＤＡＲシステムのＴＯＦセンサアレイのセンサピクセル間のクロストークを最小限に抑えることができる。例えば、いくつかの実施形態では、ＴＯＦセンサアレイのＴＯＦ光センサの前に位置付けすることができる。各光エミッタは、アパーチャ層のアパーチャに対応することができ、各アパーチャは、各光エミッタが特定のＴＯＦ光センサに対応するように、ＴＯＦセンサアレイ要素のＴＯＦ光センサに対応することができる。アパーチャは、隣接するＴＯＦ光センサへの迷光の露光を緩和し、ＴＯＦ光センサの視野をフィールド内の単一ポイントに狭めることができる。

【0011】

いくつかの実施形態では、光学システムの外部のフィールドに光を放出するように構成された複数の光エミッタを有するエミッタアレイと、フィールドから反射された放出光を検出するように構成され飛行時間（ＴＯＦ）光センサを含むＴＯＦセンサアレイと、フィールド内の周囲光を検出するように構成された複数の画像光センサを含む画像センサアレイと、を含む、電子走査光学システムを記載しており、エミッタアレイの視野は、ＴＯＦセンサアレイの視野および画像センサアレイの視野の少なくともサブセットに対応している。光学システムは、エミッタアレイに結合され、かつ複数の光エミッタのサブセットを一度に起動することにより、各放出サイクルにおいて複数の光エミッタを起動するように構成されたエミッタコントローラと、ＴＯＦセンサアレイに結合され、かつＴＯＦセンサアレイ内の個々のＴＯＦ光センサの読み出しを、エミッタアレイ内の対応する光エミッタの発射と同時に同期させるように構成され、このため、エミッタアレイ内の各光エミッタが起動され得、ＴＯＦセンサアレイ内の各ＴＯＦ光センサが、放出サイクルを通じて読み出され得る、ＴＯＦセンサコントローラと、画像光センサのアレイに結合され、かつ視野がエミッタアレイ全体の視野と重複する画像光センサのアレイの少なくとも一部分を読み出して、放出サイクル中のフィールドを提示する画像を捕捉するように構成されている画像センサコントローラと、をさらに含む。

【0012】

いくつかの実施形態では、飛行時間（ＴＯＦ）センサアレイ、画像センサアレイ、エミッタアレイ、エミッタコントローラ、ＴＯＦセンサコントローラ、および画像センサコントローラを含む固体光学システムが開示されている。ＴＯＦセンサアレイは、エミッタアレイから放出され、固体光学システムの外部のフィールドから反射された、放出光を検出するように動作可能な複数のＴＯＦ光センサを含み得、複数のＴＯＦ光センサ内の各ＴＯＦ光センサが、フィールドにおいて、光学システムからの閾値距離を超えて、複数のＴＯＦ光センサの他のＴＯＦ光センサの視野と重複しない個別の視野を有する。画像センサアレイは、フィールド内の周囲光を検出するように構成された複数の画像光センサを含み得、このため、複数のＴＯＦ光センサにおける各ＴＯＦ光センサの個別の視野が、ＴＯＦセンサアレイの視野を画定し、画像センサアレイの視野がＴＯＦセンサアレイの視野を包含する。エミッタアレイは、各光エミッタが、光学システムの外部のフィールド内に動作波長の光の個別のビームを放出するように構成されている複数の光エミッタを含み得、このため、システムからのある範囲の距離にわたってサイズおよび幾何学的形状においてＴＯＦセンサアレイの視野に実質的に一致する照明パターンに従って、エミッタアレイが、複数の光の個別のビームを出力する。エミッタコントローラは、エミッタアレイに結合され得、一度に複数の光エミッタのサブセットを起動することによって、各放出サイクルにおいて複数の光エミッタを起動するように動作可能である。ＴＯＦセンサコントローラは、ＴＯＦセンサアレイに結合され、かつＴＯＦセンサアレイ内の個々のＴＯＦ光センサの読み出しを、エミッタアレイ内の対応する光エミッタの発射と同時に同期させるように動作可能であり、このため、エミッタアレイ内の各光エミッタが起動され得、ＴＯＦセンサアレイ内の各ＴＯＦ光センサが、放出サイクルを通じて読み出され得る。画像センサコントローラは、画像光センサのアレイに結合され、かつ視野がエミッタアレイの視野と重複する画像光センサのアレイの少なくとも一部分を読み出して、放出サイクル中のフィールドを提示する画像を捕捉するように動作可能である。

【0013】

さらに他の実施形態では、光検出システム、画像捕捉システム、および光放出システムを含む固体光学システムが提供される。光検出システムは、焦点距離を有する第１のバルク光学系と、第１のバルク光学系から焦点距離だけ離間した複数のアパーチャを含むアパーチャ層と、飛行時間（ＴＯＦ）光センサを含むＴＯＦセンサアレイと、アパーチャ層とＴＯＦセンサアレイとの後方に配設された複数のレンズを含むレンズ層と、第１の波長を中心とした狭帯域の光を通過させるように動作可能で、かつ第１のバルク光学系とＴＯＦセンサアレイとの間に配設された光学フィルタと、を含み得る。アパーチャ層、レンズ層、およびＴＯＦセンサアレイは、複数のＴＯＦチャネルを形成するように配置され、複数のＴＯＦチャネル内の各ＴＯＦチャネルが、複数のアパーチャからのアパーチャ、複数のレンズからのレンズ、および複数のＴＯＦ光センサからのＴＯＦ光センサを含み得る。複数のＴＯＦチャネル内の各ＴＯＦ光センサは、複数の単一光子アバランシェダイオード（ＳＰＡＤ）を含むことができ、複数のＴＯＦチャネル内の各ＴＯＦチャネルは、光学システムからの閾値距離を超えて重複しない光学システム前方のフィールドに個別の視野を画定することができ、各ＴＯＦチャネルは、第１のバルク光学系に入射した光をＴＯＦチャネルの複数のＳＰＡＤに通信することができる。画像捕捉システムは、第２のバルク光学系と、第２のバルク光学系を通して受信されたフィールド内の周囲光を検出するように動作可能な複数の画像光センサを含む画像センサアレイと、を含むことができる。複数のＴＯＦ光センサ内の各ＴＯＦ光センサの個別の視野は、ＴＯＦセンサアレイの視野を画定することができ、画像センサアレイの視野は、ＴＯＦセンサアレイの視野を包含することができる。光放出システムは、第３のバルク光学系と、複数の垂直キャビティ表面放出レーザ（ＶＣＳＥＬ）を含むエミッタアレイであって、垂直キャビティ表面放出レーザ（ＶＣＳＥＬ）の各々が、第３のバルク光学系を通じて光学システムの外部のフィールド内に第１の波長の個別の光ビームを放出するように構成されている、エミッタアレイと、を含み得、このため、エミッタアレイが、システムからのある範囲の距離にわたって、サイズおよび幾何学的形状において、ＴＯＦセンサアレイの視野に実質的に一致する照明パターンに従って、複数の光の個別のビームを出力する。

【0014】

固体光学システムは、エミッタコントローラ、ＴＯＦセンサコントローラ、および画像センサコントローラをさらに含むことができる。エミッタコントローラは、エミッタアレイに結合され得、一度に複数の光エミッタのサブセットを起動することによって、各放出サイクルにおいて複数のＶＣＳＥＬを起動するように動作可能である。ＴＯＦセンサコントローラは、ＴＯＦセンサアレイに結合され、ＴＯＦセンサアレイ内の個々のＴＯＦ光センサの読み出しを、エミッタアレイ内の対応する光エミッタの発射と同時に同期させるように動作可能であり、このため、エミッタアレイ内の各光エミッタが起動され得、ＴＯＦセンサアレイ内の各ＴＯＦ光センサが、放出サイクルを通じて読み出され得る。画像センサコントローラは、画像光センサのアレイに結合され、かつ視野がエミッタアレイの視野と重複する画像光センサのアレイの少なくとも一部分を読み出して、放出サイクル中のフィールドを提示する画像を捕捉するように動作可能である。

【0015】

本開示の実施形態の性質および利点のより良好な理解は、以下の詳細な説明および添付の図面を参照して得ることができる。しかしながら、図の各々は、例示のみを目的として提供されており、本開示の範囲の限界の定義として意図されていないことを理解されたい。また、原則として、説明から反対のことが明らかでない限り、異なる図の要素が同一の参照番号を使用する場合、要素は、一般に、機能または目的が同一であるか、または少なくとも類似している。

【図面の簡単な説明】

【0016】

【図1】本開示のいくつかの実施形態による、例示的な固体電子走査ＬＩＤＡＲシステムのブロック図である。

【図2A】本開示のいくつかの実施形態による、例示的な固体電子走査ＬＩＤＡＲシステム用のエミッタアレイと、ＴＯＦセンサアレイと、画像センサアレイとの簡略図である。

【図2B-D】本開示のいくつかの実施形態による、エミッタアレイの例示的な発射シーケンスおよびＴＯＦセンサアレイと画像センサアレイとのセンサ読み出しシーケンスを示す簡略図である。

【図3】本開示のいくつかの実施形態による、シナリオにおける電子走査ＬＩＤＡＲシステムの光送信および検出動作の例示的な例である。

【図4】本開示のいくつかの実施形態による、エミッタアレイと、ＴＯＦセンサアレイと、画像センサアレイとの重複視野の簡略図である。

【図5A】本開示のいくつかの実施形態による、エミッタアレイの視野と画像センサアレイの視野との重複する視野を示す簡略図である。

【図5B】本開示のいくつかの実施形態による、エミッタアレイの視野と画像センサアレイの視野との重複する視野を示す簡略図であり、対応するエミッタアレイと画像センサアレイとは不完全に位置合わせされている。

【図6】本開示のいくつかの実施形態による、画像センサアレイとエミッタアレイとの同期を示すタイミング図である。

【図7A-C】本開示のいくつかの実施形態による、画像センサアレイとエミッタアレイとの同期を示すタイミング図であり、画像センサアレイの起動速度は、エミッタアレイの起動速度よりもはるかに速い。

【図8】本発明のいくつかの実施形態による、例示的な固体電子走査ＬＩＤＡＲシステムの詳細な側面図を示す簡略図である。

【図9】本発明のいくつかの実施形態による、例示的な増強された光放出システムの簡略断面図である。

【図10】本発明のいくつかの実施形態による、道路車両の外側領域に実装された固体電子走査ＬＩＤＡＲシステムの簡略図である。

【図11】本開示のいくつかの実施形態による、道路車両の上部に実装された固体電子走査ＬＩＤＡＲシステムの簡略図である。

【発明を実施するための形態】

【0017】

本開示のいくつかの実施形態は、スピニング列が存在しない静止した固体ＬＩＤＡＲシステムに関する。実施形態は、ＬＩＤＡＲシステムの外部のフィールドに狭帯域光を放出し、飛行時間測定のためにフィールド内の物体で反射した後に放出された狭帯域光を捕捉するだけでなく、フィールドで周囲の可視光を感知することもできる。次に、実施形態は、捕捉された放出光を使用してフィールドの３次元表現を作成し、捕捉された周囲の可視光を使用して、フィールドの高解像度の２次元画像を作成することができる。次に、フィールドの３次元表現をシーンの２次元画像と一致させることができることにより、固体ＬＩＤＡＲシステムの状況認識が向上する。

【0018】

本開示のいくつかの実施形態による固体アレイ電子走査ＬＩＤＡＲシステムは、光送信モジュールおよび光感知モジュールを含むことができる。光送信モジュールは、個々のエミッタのアレイを含む送信器層を含むことができ、光感知モジュールは、ＴＯＦ光センサのアレイを含むＴＯＦセンサ層を含むことができる。エミッタアレイの各エミッタは、ＴＯＦセンサアレイの対応するセンサ（すなわち、ＴＯＦ光センサ）と対にすることができる。いくつかの実施形態では、エミッタのセット全体でシーンをフラッシュする代わりに、エミッタのサブセットのみが一度に起動され、ＴＯＦ光センサの対応するサブセットのみがエミッタの発射と同時に読み出される。その後、異なる時間にエミッタの異なるサブセットが起動され、その対応するＴＯＦ光センサのサブセットが同時に読み出されるため、エミッタアレイ内のすべてのエミッタが起動され得、ＴＯＦセンサアレイ内のすべてのＴＯＦ光センサが１つの放出サイクルを通して読み取られ得る。

【0019】

電子走査ＬＩＤＡＲシステムはまた、システムがシーンの周囲光からの可視光スペクトル内で知覚されるシーンの高解像度画像を捕捉することができるように、画像捕捉モジュールを含むことができる。画像捕捉モジュール内の画像センサアレイの視野は、エミッタアレイの視野と重複することができる（すなわち、エミッタアレイの視野は、画像センサアレイの視野のサブセットであり得、サブセットは視野全体の一部だけに限定されるのではなく、視野全体と等しくすることができる）、これにより、電子走査ＬＩＤＡＲシステムは、シーン内の物体のカラー画像を捕捉すると同時に、シーン内のそれらの物体までの距離を捕捉することができるようになる。いくつかの実施形態では、画像センサアレイは、それぞれが可視光に感度を持つ画像光センサのアレイから形成される。

【0020】

いくつかの実施形態では、画像捕捉モジュールは、ローリングシャッタカメラとして動作させることができ、このため、画像光センサアレイのサブグループは、対応するエミッタバンクと同時に、同じ順序で起動させることができるようになり、画像センサアレイは、距離を測定するためにエミッタアレイによっても照明されているシーンの周囲光を感知することができる。いくつかの実施形態では、画像捕捉モジュールは、画像光センサアレイ全体を一度に起動して、エミッタバンクを起動するたびにその視野内の周囲光を感知することができるように、グローバルシャッタカメラとして動作することができる。その場合、本明細書でさらに詳細に論じられるように、起動されたエミッタバンクと視野を共有する画像センサアレイの部分のみが読み出され、画像を生成するために使用される。

【0021】

Ｉ．電子走査ＬＩＤＡＲシステム
本開示のいくつかの実施形態による固体電子走査ＬＩＤＡＲシステムのより良い理解は、図１を参照して確認することができ、図１は、本開示のいくつかの実施形態による例示的な固体電子走査ＬＩＤＡＲシステム１００のブロック図を示す。固体電子走査ＬＩＤＡＲシステム１００は、測距システムコントローラ１０４、光送信（Ｔｘ）モジュール１０６、光感知（Ｒｘ）モジュール１０８、および画像捕捉（ＩＲｘ）モジュール１５０を含むことができる。

【0022】

Ｔｘモジュール１０６およびＲｘモジュール１０８は、一緒に動作して、視野内の物体までの距離を表す測距データを生成することができ、一方、ＩＲｘモジュール１５０は、Ｔｘモジュール１０６の動作と同期して、同じ視野内の物体の画像を表す画像データを同時に生成することができる。固体電子走査ＬＩＤＡＲシステム１００は、光送信モジュール１０６から１つ以上の光パルス１１０を、システム１００を囲む視野内の物体に送信することによって、測距データを生成することができる。次いで、透過光の反射部分１１２が、いくらかの遅延時間の後、光感知モジュール１０８によって検出される。遅延時間に基づいて、反射面までの距離が判定され得る。測距データに加えて、固体電子走査ＬＩＤＡＲシステム１００はまた、光パルス１１０が放出され、透過光の反射部分１１２が反射されるのと同じ視野から周囲の可視光を感知することによって画像データを生成することができる。画像データを使用して、視野内の物体の高解像度画像をレンダリングできるため、測距データを対応する画像データと照合して、シーンのより詳細な画像を提供することができる。

【0023】

光送信モジュール１０６は、エミッタアレイ１１４（例えば、エミッタの二次元アレイ）と、エミッタアレイ１１４と一緒になって光放出システム１３８を形成することができるＴｘ光学システム１１６と、を含む。Ｔｘ光学システム１１６は、画像空間テレセントリックであるバルク送信器光学系１４４を含むことができる。いくつかの実施形態では、Ｔｘ光学システム１１６は、エミッタアレイ１１４と組み合わせてマイクロ光学送信器チャネルのアレイを形成することができる、アパーチャ層、コリメートレンズ層、および光学フィルタなどの１つ以上のＴｘ光学部品１４６をさらに含むことができ、図１１を参照して本明細書で説明するように、各マイクロ光学送信器チャネルは、バルク送信器光学系から発せられるビームの輝度を増加させ、および／またはビーム成形、ビームステアリングなどのために増加させることができる。エミッタアレイ１１４または個々のエミッタは、垂直キャビティ表面放出レーザ（ＶＣＳＥＬ）、レーザダイオードなどの狭帯域レーザ源であり得る。Ｔｘモジュール１０６は、オプションのプロセッサ１１８およびメモリ１２０をさらに含むことができるが、いくつかの実施形態では、これらのコンピューティングリソースは測距システムコントローラ１０４に組み込むことができる。いくつかの実施形態では、例えばバーカーコードなどのパルスコーディング技術を使用することができる。そのような場合、メモリ１２０は、光をいつ送信すべきかを示すパルスコードを格納することができる。いくつか実施形態では、パルスコードは、メモリに格納された整数のシーケンスとして格納される。

【0024】

光感知モジュール１０８は、ＴＯＦセンサアレイ１２６（例えば、ＴＯＦ光センサの二次元アレイ）を含むことができ、ＴＯＦセンサアレイ１２６の各ＴＯＦ光センサは、例えば、Ｒｘモジュール１０８およびＴｘモジュール１０６の幾何学的構成の結果として、エミッタアレイ１１４の特定のエミッタに対応し得る。いくつかの実施形態では、各ＴＯＦ光センサ（本明細書では単に「センサ」または「ピクセル」とも呼ばれる）は、例えばＳＰＡＤなどの光検出器の集合体を含むことができ、一方、他の実施形態では、ＴＯＦ光センサは、単一の光子検出器（例えば、ＡＰＤ）であり得る。光感知モジュール１０８は、受信器光感知システム１２８を含み、ＴＯＦセンサアレイ１２６と一緒にされると、光検出システム１３６を形成することができる。いくつかの実施形態では、受信器光感知システム１２８は、受信器バルク受信器光学系１４０と、アパーチャ層、レンズ層、光学フィルタなどの受信器光学部品１４２と、を含むことができ、ＴＯＦセンサアレイ１２６と組み合わせてマイクロ光学受信器チャネルのアレイを形成することができ、各マイクロ光学受信器チャネルは、光測距デバイス１０２が位置付けられている周囲の視野の異なる視野内の画像ピクセルに対応する光を測定する。

【0025】

本開示のいくつかの実施形態によるＲｘおよびＴｘ光学システムのさらなる詳細は、図１０と併せて後述するとともに、２０１８年５月１４日に出願された、「Ｏｐｔｉｃａｌ Ｉｍａｇｉｎｇ Ｔｒａｎｓｍｉｔｔｅｒ ｗｉｔｈ Ｂｒｉｇｈｔｎｅｓｓ Ｅｎｈａｎｃｅｍｅｎｔ」と題する共通割当米国特許出願第１５／９７９，２３５号に記載されており、あらゆる目的のためにその全体が参照によって本明細書に組み込まれている。

【0026】

本開示のいくつかの実施形態によれば、光測距デバイス１０２は、Ｒｘモジュール１０８およびＴｘモジュール１０６に加えて、ＩＲｘモジュール１５０を含むことができる。ＩＲｘモジュール１５０は、画像センサアレイ１５２（例えば、可視光を検出するための画像光センサの２次元アレイ）を含むことができ、ＩＲｘモジュール１５０およびＴｘモジュール１０６の幾何学的構成の結果として、画像センサアレイ１５２の視野の少なくとも一部がエミッタアレイ１１４の視野全体と重複する。画像センサアレイ１５２は、帯電結合デバイス（ＣＣＤ）センサまたは相補型金属酸化物半導体（ＣＭＯＳ）画像センサなどの任意の適切な可視光センサであり得る。ＩＲｘモジュール１５０はまた、画像光感知システム１５４を含むことができ、これは、画像センサアレイ１５２と一緒にされると、画像捕捉システム１５６を形成することができる。いくつかの実施形態では、画像光感知システム１５４は、画像センサアレイ１５２に焦点を合わせて露光するために、周囲光が通過する画像化バルク受信器光学系１５８を含むことができる。

【0027】

本明細書で述べたように、光測距デバイス１０２は、一度にエミッタバンクのみを起動し、エミッタの発射と同時に対応するＴＯＦ光センサバンクのみを読み出すことにより、シーン内の物体までの距離に基づく画像を捕捉することができる電子走査ＬＩＤＡＲデバイスであり得る。異なる時間に異なるエミッタバンクが起動され、その対応するＴＯＦ光センサバンクが同時に読み出されるため、最終的にすべてのエミッタが起動し、ＴＯＦセンサアレイ内のすべてのＴＯＦ光センサを１回の放出サイクルで読み出すことができる。ＴＯＦ光センサバンクに加えて、対応する画像光センサのグループを同時に読み出し、周囲光を測定することでシーンの画像を捕捉できる。例として、エミッタアレイは、各放出サイクルに対して、左から右に順番に、一度に１つのバンクを起動することによって、光を放出することができるが、ＴＯＦセンサアレイと画像センサの両方は、対応するＴＯＦ光センサバンクおよび対応するグループの画像光センサをそれぞれ対応するシーケンスで読み出すように構成することができる。したがって、本開示の実施形態は、光の放出と感知を同期させるための１つ以上の部品を含むことができる。

【0028】

例えば、光送信モジュール１０６は、エミッタアレイ１１４に結合されたエミッタコントローラ１１５を含むことができる。エミッタコントローラ１１５は、例えば、発射所望のシーケンスに従って各エミッタバンクを選択的に発射することによって、エミッタアレイ１２６の動作を制御するように構成される。エミッタコントローラ１１５は、エミッタアレイ１１４を動作させるための１つ以上の駆動部品とともに、ＡＳＩＣ、マイクロコントローラ、ＦＰＧＡ、または他の好適な処理要素などの好適なプロセッサを含むことができる。同様に、光検出システム１３６は、ＴＯＦセンサアレイ１２６に結合され、ＴＯＦセンサアレイ１２６の動作を制御するように構成されたＴＯＦセンサコントローラ１２５を含むことができる。そして、画像捕捉システム１５６は、画像センサアレイ１５２に結合され、画像センサアレイ１５２の動作を制御するように構成された画像センサコントローラ１６０を含むことができる。ＴＯＦセンサコントローラ１２５および画像センサコントローラ１６０は、各々が、ＡＳＩＣ、マイクロコントローラ、ＦＰＧＡ、またはマルチプレクサなどの選択回路に結合された他の好適なプロセッサなど、１つ以上の光センサを選択して光を感知することができる任意の好適な部品または部品グループであり得る。

【0029】

いくつかの実施形態では、エミッタコントローラ１１５、ＴＯＦセンサコントローラ１２５、および画像センサコントローラ１６０は、エミッタアレイ１１４内の光放出のシーケンスが、ＴＯＦセンサアレイ１２６内のＴＯＦ光センサおよび画像センサアレイ１５２内の画像光センサを起動および／または読み出すシーケンスと同期するように同期される。一例として、エミッタコントローラ１１５、ＴＯＦセンサコントローラ１２５および画像センサコントローラ１６０のすべてをクロック１１７に結合して、すべてのコントローラが同じタイミングスキームに基づいて動作できるようにすることができる。クロック１１７は、デジタル回路の動作を調整するために、特定の速度で高状態と低状態との間で振動する特定の信号を生成する電気部品であり得る。任意選択で、エミッタコントローラ１１５、ＴＯＦセンサコントローラ１２５および画像センサコントローラ１６０は、独自の動作を調整するための独自のクロック回路を含むことができる。そのような実施形態では、エミッタコントローラ１１５、ＴＯＦセンサコントローラ１２５、および画像センサコントローラ１６０は、ＴＯＦセンサコントローラ１２５および画像センサコントローラ１６０がそれらのクロックをエミッタコントローラ１１５と同期させることができるように、通信線１１９および１６２を介して互いに通信可能に結合することができる。そのようにして、ＴＯＦセンサコントローラ１２５、画像センサコントローラ１６０およびエミッタコントローラ１１５は、ＴＯＦセンサアレイ１２６、画像センサアレイ１５２、およびエミッタアレイ１１４をそれぞれ同期して動作させて、画像捕捉を達成することができる。

【0030】

いくつかの実施形態では、画像センサコントローラ１６０は、画像センサアレイ１５２をローリングシャッタカメラとして動作させることができ、画像光センサのアレイ全体の一部を順番に起動および読み取ることによって、シーンの画像が捕捉される。画像センサアレイ１５２の部分を起動させて読み出すシーケンスは、エミッタアレイ内のエミッタが発射されるシーケンス、および／または、ＴＯＦセンサアレイ内のＴＯＦ光センサが読み出されるシーケンスに対応することができる。

【0031】

特定の実施形態では、画像センサコントローラ１６０は、画像センサアレイ１５２を、画像光センサのアレイ全体を一度に、かつ一定の起動速度で起動することによってシーンの画像を捕捉するグローバルシャッタカメラとして動作させることができるが、順番に従って画像光センサの一部のみを読み出すことができる。画像センサアレイ１５２が起動する速度は、場合によっては、エミッタアレイ内のエミッタバンクが発射される速度に対応する。画像センサアレイ１５２全体から画像データを読み取る代わりに、発射されている対応するエミッタバンクの視野に対応する視野を有する画像光センサの部分のみを読み出して、シーンのカラー画像を生成するための画像データを生成してもよい。

【0032】

本明細書で述べたように、画像センサアレイ１５２の起動速度は、ＴＯＦセンサアレイ１２６の動作と同期させることができる。そのような場合、画像センサアレイ１５２が起動される速度は、ＴＯＦセンサアレイ１２６が読み取られる速度（およびエミッタアレイ１１４が発射される速度）以上であり得る。例えば、速度が同じである場合、画像光センサが起動されるたびに、図６に関して本明細書でさらに説明されるように、ＴＯＦ光センサが同時ではあるが、同じまたは異なる持続時間で起動され得る。画像センサアレイ１５２の起動速度がＴＯＦセンサアレイ１２６の起動速度よりも速い場合、例えば、ＴＯＦセンサアレイ１２６の速度の２倍、４倍、または８倍である場合、図７Ａ～図７Ｃに関して本明細書でさらに説明するように、画像センサアレイ１５２を、所定の時間内にＴＯＦセンサアレイ１２６よりも数回多く起動することができる。

【0033】

いくつかの追加の実施形態では、画像センサコントローラ１６０は、エミッタアレイ１１４およびＴＯＦセンサアレイ１２６の動作に関して非同期的に画像センサアレイ１５２を動作させることができる。例えば、画像センサアレイ１５２の起動速度は、ＴＯＦセンサアレイ１２６およびエミッタアレイ１１４の起動速度とは異なり得、ＴＯＦ光センサの起動またはエミッタの発射のすべてが、同時に起動する画像光センサに対応するとは限らない。このような実施形態では、ＴＯＦセンサアレイ１２６またはエミッタアレイ１１４の起動に時間的に最も近いＴＯＦセンサ光センサのグループの起動から取り出された画像データを読み出すことによって、取り込まれた三次元画像の二次元カラー画像表現を生成することができる。

【0034】

いくつかのさらなる実施形態では、測距システムコントローラ１０４は、光感知モジュール１０８、画像捕捉モジュール１５０、および光送信モジュール１０６の動作を同期させるように構成することができ、そのため、エミッタアレイ１１４による光放出のシーケンスは、ＴＯＦセンサアレイ１２６および画像センサアレイ１５２による感知光のシーケンスと同期する。例えば、測距システムコントローラ１０４は、各放出サイクルに対して一度に１つのバンクずつ左から右に順番に起動することにより、光送信モジュール１０６のエミッタアレイ１１４に光を放出するよう指示し、それに応じて光感知モジュール１０８内のＴＯＦセンサアレイ１２６および画像捕捉モジュール１５０内の画像センサアレイ１５２に、それぞれ対応するＴＯＦ光センサバンクおよび画像光センサのグループを一度に１つのバンクずつ同じ順番で光を感知するように指示することができる。そのような実施形態では、測距システムコントローラ１０４は、光感知モジュール１０８、画像捕捉モジュール１５０、および光送信モジュール１０６へのそのシーケンス命令の基礎となる独自のクロック信号を有することができる。本明細書でさらに議論されるように、光検出のためのシーケンスの他の形態が本明細書で想定され、そのようなシーケンスは限定的ではないことを理解されたい。

【0035】

エミッタアレイの連続発射およびＴＯＦセンサアレイと画像センサアレイとの感知の一例を示すために、本開示のいくつかの実施形態による例示的な固体電子走査ＬＩＤＡＲシステム２００用のエミッタアレイ２１０およびＴＯＦセンサアレイ２２０の簡略化された図である図２Ａを参照する。エミッタアレイ２１０は、ｍ個の数の列およびｎ個の数の行を有するエミッタ２１２の二次元ｍ×ｎアレイとすることができ、ＴＯＦセンサアレイ２２０は、各ＴＯＦ光センサ２２２がエミッタアレイ２１０のそれぞれのエミッタ２１２にマッピングされるように、エミッタアレイ２１０と対応することができる。したがって、ＴＯＦセンサアレイ２２０は、ＴＯＦ光センサ２２２の対応する二次元ｍ×ｎアレイとすることができる。他方、画像感知アレイ２３０は、ｙ個の列およびｚ個の行を有する画像光センサ２３２の２次元ｙ×ｚアレイであり得る。いくつかの実施形態では、画像光センサ２３２の２次元ｙ×ｚアレイの列および行の数は、エミッタ２１２のｍ×ｎアレイよりも実質的に大きいかまたは実質的に大きくなり得、その結果、画像感知アレイの解像度は、エミッタアレイの解像度よりも実質的に高くなる。例えば、いくつかの実施形態では、画像センサアレイ２３０は、ＴＯＦセンサアレイ１２６に含まれるＴＯＦ光センサの列および／または行の数よりも２倍、４倍、８倍、１６倍、またはそれ以上の列および／または行の画像光センサを含むことができる。

【0036】

いくつかの実施形態では、エミッタアレイ２１０およびＴＯＦセンサアレイ２２０は、一般に、回転ＬＩＤＡＲシステムで典型的に採用されるエミッタまたはＴＯＦセンサアレイよりも多くの要素（すなわち、より多くのエミッタおよびより多くのＴＯＦ光センサ）を含む大きなアレイである。ＴＯＦセンサアレイ２２０（およびＴＯＦセンサアレイ２２０に対応する視野を照明するための対応するエミッタアレイ２１０）のサイズ、すなわち全体的な物理的寸法、およびＴＯＦセンサアレイ２２０内のＴＯＦ光センサのピッチは、ＴＯＦセンサアレイ２２０で捕捉することができる画像の視野および解像度を決定することができる。サイズの大きいアレイは、一般に視野が広くなり、ピッチのサイズが小さいと一般に高解像度の画像が捕捉される。いくつかの実施形態では、画像センサアレイ２３０の全体の寸法は、エミッタアレイ２１０の全体の寸法以上であり得るが、そのピッチは、エミッタアレイ２１０のピッチよりも小さいか、または実質的に小さくできる。したがって、画像センサアレイ２３０は、より大きな解像度を達成しながら、エミッタアレイ２１０と同じまたはより大きな視野を有することができる。いくつかの実施形態では、画像センサアレイ２３０の全体の寸法は、図５Ａ～図５Ｂに関して本明細書でさらに説明するように、アライメント公差を増加させることができ、異なるサイズのエミッタアレイとの互換性を達成することができるように、エミッタアレイ２１０の全体的なサイズよりも大きくなっている。

【0037】

いくつかの実施形態では、エミッタアレイ２１０、ＴＯＦセンサアレイ２２０および画像センサアレイ２３０は各々、単一の半導体ダイから形成され、他の実施形態では、アレイ２１０、２２０、および２３０のうちの１つ以上は、本明細書で説明するように、共通基板に取り付けられた複数のチップで形成することができる。いくつかの実施形態では、エミッタアレイ２１０、ＴＯＦセンサアレイ２２０、および画像センサアレイ２３０の各々は、図４に関して本明細書でさらに説明されるように、重複する視野を有するように構成された独立した半導体ダイ上に形成される。

【0038】

エミッタアレイ２１０は、エミッタの１つ以上のセット（本明細書では、各セットを「バンク」と呼ぶ）を同時に発射することができるように動作するように構成することができる。例えば、図２Ａに示される実施形態では、エミッタアレイ２１０は、各バンクが４列のエミッタを含む６個のバンク２１４（１）．．２１４（６）を含むように構成されている。ＴＯＦセンサアレイ２２０は、ＴＯＦ光センサ２２２が同様に配置されたバンクに配置されるように、エミッタアレイ２１０と同様の形状で構成することができる。他方、画像センサアレイ２３０は、エミッタアレイ２１０よりも高い解像度を有し、対応するエミッタバンクの視野内に位置付けられる画像光センサの特定のグループがそれらエミッタバンクに割り当てられるように構成することができる。したがって、図２Ａに示される実施形態では、ＴＯＦセンサアレイ２２０は、各バンクに４列のＴＯＦ光センサを含む６つのバンク２２４（１）．．．２２４（６）を含むようにも構成され、また、画像センサアレイ２３０は、各グループが対応するエミッタバンク２１４（１）～２１４（６）と同じ視野を有する６つのグループ２３４（１）～２３４（６）に分割することができる。

【0039】

図２Ｂ～図２Ｄは、画像センサアレイ２３０がローリングシャッタ技術で動作する本開示のいくつかの実施形態による、エミッタアレイ２１０の発射シーケンスおよびＴＯＦセンサアレイ２２０および画像センサアレイ２３０のセンサ読み出しシーケンスを示す簡略図である。図２Ｂに示されるように、画像捕捉シーケンスの第１の段階は、エミッタアレイ２１０のエミッタバンク２１４（１）を発射し、同時にＴＯＦセンサアレイ２２０のセンサバンク２２４（１）および画像センサアレイ２２０の画像センサバンク２３４（１）を読み出すことにより開始することができる。この第１の段階では、エミッタバンク２１４（１）の個々の各エミッタから放出される光のパルスがフィールドに放出される。次に、放出光は、フィールド内の１つ以上の物体で反射され、ＴＯＦセンサアレイ２２０のセンサバンク２２４（１）内のＴＯＦ光センサのそれぞれのサブセットによって捕捉され得る。一方、視野内のシーンに存在する周囲光は、画像光センサ２３２のそれぞれのグループ２３４（１）によって捕捉される。

【0040】

次に、シーケンスの第２の段階で、エミッタアレイの第２のバンク２１４（２）からのエミッタを起動して、図２Ｃに示されるように、画像センサアレイのグループ２３４（２）の画像光センサがその場所の周囲光を測定している間に、ＴＯＦセンサアレイのＴＯＦセンサバンク２２４（２）のＴＯＦ光センサで読み取ることができる光のパルスを放出することができる。エミッタバンクの連続発射および対応する画像光センサバンクおよびグループにおけるＴＯＦ光センサの同時読み出しは、図２Ｄに示されるように、ＴＯＦ光センサ２２４（６）および画像光センサ２３４（６）の最後のバンクが読み取られると同時にエミッタ２１４（６）の最後のバンクが起動するまで継続する。１つの完全なサイクルが完了すると（図２Ｂ～図２Ｄに示された例では、画像捕捉シーケンスの６段階）、エミッタアレイ２１０のすべてのエミッタバンクが起動され、ＴＯＦセンサアレイ２２０のすべての対応するＴＯＦ光センサバンクが読み出されて、対応するエミッタバンクアレイ２１０のから放出された光子を検出し、画像センサアレイ２３０の画像光センサのすべての対応するグループが読み出されて、エミッタアレイ２１０によって光が放出された視野内の周囲光を検出することになる。次いで、ＬＩＤＡＲシステム２００が動作している間、サイクルを連続的に繰り返すことができる。

【0041】

図２Ａでは、エミッタアレイおよび両方のセンサアレイを、各々が特定の数のエミッタまたは光センサを有する６個の異なるバンク／グループに分割して示しているが、実施形態はこのような構成に限定されるものではない。他の実施形態は、６個より多いまたは少ないバンク／グループ、およびバンク／グループごとに多いまたは少ないエミッタもしくは光センサを有することができる。例えば、いくつかの実施形態では、エミッタのｋ個のバンク／グループおよび光センサのｋ個のバンク／グループが採用され、ここで、ｋは、図２Ａのエミッタアレイに示される６個のバンクよりも多いか、または少ない。さらなる例として、いくつかの実施形態では、ＬＩＤＡＲセンサ２００は、本開示の精神および範囲から逸脱することなく、各バンクが１、２、４、８、またはそれ以上のエミッタ列を含む１６、３２、６４、１２８、またはそれ以上のバンクに分割することができる。追加的に、図２Ａは、エミッタの列および光センサの列に関してバンクを論じているが、他の実施形態では、エミッタおよび光センサアレイは、エミッタの１つ以上の列が発射されると同時に光センサの１つ以上の対応する列を読み取るように、列の代わりにエミッタの１つ以上の列および光センサの１つ以上の列を有するバンクに分割することができる。さらに他の実施形態では、エミッタアレイ２１０内の１つのバンクは、複数の列および複数の行のエミッタを含むエミッタのサブセット（例えば、正方形または長方形のパターンで配置されたエミッタ）を含むことができ、ＴＯＦセンサアレイ２２０または画像センサアレイ２３０のバンク／グループは、エミッタのサブセットに対応するパターンで配置されたＴＯＦ光センサ／画像光センサのサブセットを含むことができる。

【0042】

追加的に、図２Ｂ～図２Ｄは、発射されたエミッタが段階ごとに１つのバンク／１つのグループずつ進む画像捕捉シーケンスを示しているが、本発明の実施形態は、いずれの特定のシーケンスにも限定されない。例えば、いくつかの実施形態では、ｋ個のバンク／グループを有するＬＩＤＡＲシステムにおいて次のシーケンスを採用することができる。段階１では、エミッタアレイ２１０の第１のバンクが発射される。段階２では、バンク（ｋ／２＋１）が発射される。段階３では、バンク２が発射され、段階４では、バンク（Ｋ／２＋２）が発射されるなど、バンクｋが発射されるｋ^番目の段階まで発射される。そのような実施形態は、隣接するセンサバンクが連続した段階で読み出されないため、ＴＯＦセンサアレイ内のクロストークを最小化するのに有益であり得る。別の例として、エミッタの２つ以上の隣接するバンクが同時に発射され、対応するセンサの２つ以上の隣接するバンク／グループが読み出される。２つのバンクが同時に発射され、読み取られる例として、例えば、画像捕捉シーケンスの第１の段階の間に、エミッタアレイ２１０のバンク２１４（１）および２１４（２）が発射され、第２の段階でバンク２１４（３）および２１４（４）が発射され得る、などが挙げられる。

【0043】

図２Ｂ～図２Ｄは、画像光センサの特定のサブセットが特定の順序で起動され、読み取られるローリングシャッタ技術に従って画像センサアレイが動作される実施形態を示すが、実施形態はそのような動作に限定されない。例えば、いくつかの実施形態は、画像センサアレイの画像光センサのアレイ全体がエミッタ発射シーケンスの各段階で起動されるが、発射されたエミッタバンクの視野および／または起動されたＴＯＦセンサバンクの視野に対応する視野を有する画像光センサのみを読み出して、シーンの２次元カラー画像を捕捉するための画像データを生成するグローバルシャッタ技法で画像センサアレイを動作させるように構成される。図２Ｂ～図２Ｄに関して説明されたこれらの例は、可能な多くの異なる発射および読み出しシーケンスのほんの一部であり、他の実施形態では他の発射および読み出しシーケンスが可能である。

【0044】

図３は、特定のシナリオにおける、本開示のいくつかの実施形態による電子走査ＬＩＤＡＲシステム３００の光透過およびＴＯＦ検出動作の例の図である。具体的には、図３は、図１に示されるＬＩＤＡＲシステム１００を代表することができる固体電子走査ＬＩＤＡＲシステム３００が、システムを囲む容積またはシーンの三次元距離データおよび画像データを収集する様子を示している。図３は、エミッタとセンサとの間の関係を強調する理想化された図であり、したがって、他の部品は示されていない。図４は、図３で説明されたＴＯＦアプローチを使用する範囲判定技術のより良い理解を提供するために、参照されている。実施形態におけるＬＩＤＡＲシステムがどのように測距を実行するかについての説明を単純化するために、画像センサアレイは図３および図４に示されていないが、画像センサアレイは、図５Ａおよび図５Ｂに関して本明細書で説明されるように、エミッタおよびＴＯＦセンサアレイと同じまたは重複する視野からの周囲光を感知するために、ＴＯＦセンサアレイおよび／またはエミッタアレイに近接して位置付けられ得ることを理解されたい。

【0045】

図３を参照すると、電子走査ＬＩＤＡＲシステム３００は、エミッタアレイ３１０（例えば、エミッタアレイ１１４）およびＴＯＦセンサアレイ３２０（例えば、ＴＯＦセンサアレイ１２６）を含む。エミッタアレイ３１０は、エミッタ３１２（１）～３１２（ｎ）のバンクを含む、光エミッタのアレイ、例えば、垂直キャビティ面放出レーザ（ＶＣＳＥＬ）のアレイなどとすることができる。ＴＯＦセンサアレイ３２０は、ＴＯＦ光センサバンク３２２（１）～３２２（ｎ）を含む光センサのアレイとすることができる。ＴＯＦ光センサは、各ＴＯＦ光センサに対して、単一光子アバランシェダイオード（ＳＰＡＤ）などの個別の光検出器のセットを採用するピクセル化照明センサであってもよい。しかしながら、様々な実施形態は、任意の種類の光子センサを配置することができる。

【0046】

図示を容易にするために、エミッタアレイ３１０は、各バンクが３つのエミッタの単一列を含むエミッタの７個のバンクを有するものとして示されており、ＴＯＦセンサアレイ３２０は、ＴＯＦ光センサの対応する配置を有するものとして示されている。エミッタバンク３１２（１）～３１２（ｎ）およびセンサバンク３２２（１）～３２２（ｎ）は、それぞれエミッタアレイ３１０およびＴＯＦセンサアレイ３２０のはるかに大きなバンクの一部を代表することができることも理解されたい。したがって、図３Ａは、図示を容易にするために２１個の異なる点についてのエミッタおよびＴＯＦセンサを示しているだけであるが、他の実装は、各列が３個を超える多くの個々のエミッタを含むエミッタの複数の列を有するバンクを含む、かなり多くのエミッタを有することができることを理解することができる。すなわち、より高密度のエミッタアレイと、対応するより高密度のＴＯＦ光センサのアレイを有することで、より高密度のポイントのサンプリングを実現することができる。

【0047】

各エミッタは、隣接するエミッタからピッチ距離によって離間され得、かつ隣接するエミッタから異なる視野内に光パルスを送信するように構成され得るため、そのエミッタのみに関連付けられたそれぞれの視野を照明することができる。例えば、エミッタ３１２（１）のバンクは、視野の領域３１５（１）に照明ビーム３１４（１）（各々が１つ以上の光パルスから形成される）を放出し、したがって、フィールド内の木３３０で反射する。同様に、エミッタ３１２（ｎ）のバンクは、視野の領域３１５（ｎ）に照明ビーム３１４（ｎ）を放出する。図３Ａに示される実施形態では、エミッタアレイ３１０は、そのバンクを左から右へ順番に走査することを理解されたい。したがって、図３Ａは、エミッタのバンク３１２（１）が起動される第１の時間の事例と、最後のバンク、すなわちエミッタのバンク３１２（ｎ）が起動される最後の時間の事例を示す。他のバンクは、バンク３１２（１）とバンク３１２（ｎ）との間で左から右に連続的に移動することができる。図３Ａは、エミッタならびにＴＯＦセンサアレイ３１０および３２０が垂直方向に配向されたバンクによって順番に動作する実施形態を示しているが、実施形態はそのような構成に限定されない。他の実施形態では、上記および本明細書でさらに詳細に説明するように、エミッタならびにＴＯＦセンサアレイ３１０および３２０は、クロストークを最小化するために順番ではない垂直方向に配向されたバンクで、または順番であるか、もしくは順番ではない垂直方向に配向されたバンクで、または光を放出および受信するために他の任意の好適な順序で動作することができる。

【0048】

エミッタによって照明される各視野は、測距データから生成される対応する３Ｄ画像内のピクセルまたはスポットと考えられ得る。したがって、各エミッタは他のエミッタとは異なり、他のエミッタと非重複とすることができ、エミッタのセットと非重複視野のセットとの間に１対１のマッピングがある。いくつかの実施形態では、エミッタアレイ３１０およびＴＯＦセンサアレイ３２０は各々、非常に小さく、互いに非常に近くなり得る固体デバイスである。例えば、本実施形態によるエミッタまたはＴＯＦセンサアレイのサイズは、数ミリメートルから数センチメートルの範囲であり得る。そのため、２つのアレイの寸法、および数センチ以下になり得るそれらの分離距離は、シーン内の物体までの距離と比較して無視することができる。エミッタおよびＴＯＦセンサアレイのこの配置が、エミッタアレイから放出された光をコリメートし、反射光をＴＯＦセンサアレイに集束することができるそれぞれのバルク光学系と対になっているとき、ＴＯＦセンサアレイおよびエミッタアレイは、閾値距離を超えて顕著に類似した視野を有することができるため、各エミッタと対応するＴＯＦセンサは、フィールド内の本質的に同じスポットを見ることができる。この概念は、図４を参照してよりよく理解できる。

【0049】

図４は、本発明のいくつかの実施形態による、エミッタアレイ３１０およびＴＯＦセンサアレイ３２０の重複視野の簡略図である。エミッタアレイ３１０の各エミッタは、図４に円錐４０２として示される光のパルスを放出することができ、これはバルク送信器光学系４０４を通してコリメートされ、放出光４０６としてフィールドに出力される。次に、放出光４０６は、フィールド内の１つ以上の物体で反射し、バルク受信器光学系４１０を最初に伝搬する反射光４１２としてＴＯＦセンサアレイ３２０に向かって伝搬することができ、これは、反射光４１２を集束させてパルス光４０８の円錐として焦点に戻し、次いでＴＯＦセンサアレイ３２０内の対応するＴＯＦ光センサに集束させる。図４を参照して理解することができるように、例えば、１～３ｃｍの範囲であり得るバルク送信器光学系１８４とバルク受信器光学系４１０との間の距離は、シーンまでの距離と比較して比較的小さい。したがって、シーンが遠くなるにつれて、エミッタアレイの視野はＴＯＦセンサアレイの視野と次第に重複する。例えば、図４に示すように、エミッタアレイ３１０およびＴＯＦセンサアレイ３２０の視野の重複領域４１４、４１６、および４１８は、シーンまでの距離が増加するにつれて大きくなる。したがって、シーンの終わり近くの距離、例えばフィールド内の物体では、エミッタアレイ３１０の視野は、ＴＯＦセンサアレイ３２０の視野と実質的に重複する可能性がある。したがって、バルク受信器および送信器の光学系が１センチメートル以上分離されていても、その対応する各エミッタおよびＴＯＦ光センサは、シーン内の本質的に同じポイントを観察することができる。すなわち、バルク送信器光学系１８４からシステムの前方のフィールドに投射される各照明ビームは、システムからの距離において、対応するＴＯＦ光センサ（または対応するＴＯＦ光センサのマイクロ光学受信器チャネル）の視野と実質的に同じサイズおよび幾何学的形状にすることができる。いくつかの実施形態では、エミッタアレイ３１０は、システム３００からのある範囲の距離にわたってサイズおよび幾何学的形状が入力チャネルの視野に実質的に一致する照明パターンに従って、システム３００の前方のフィールドに照明ビームを選択的に投射することができる。エミッタアレイとＴＯＦセンサアレイとの間に実質的に重複する視野を有することにより、固体電子走査ＬＩＤＡＲシステム３００は、高い信号対ノイズ比（ＳＮＲ）を達成することができる。

【0050】

いくつかの実施形態では、送信器アレイおよびＴＯＦセンサアレイは、一致する幾何学的形状を有し、エミッタアレイのバルク光学系は、ＴＯＦセンサアレイのバルク光学系と実質的に同一である。他の実施形態では、ＴＯＦセンサアレイ３２０の寸法およびバルク光学系は、エミッタアレイ３１０のものと同一ではない場合があるが、対応するエミッタアレイ３１０およびＴＯＦセンサアレイ３２０バンクが顕著に同じ視野を有するように選択することができる。例えば、ＴＯＦセンサアレイ３２０のサイズは、エミッタアレイ３１０のサイズより大きくなり得る。これは、ＴＯＦセンサアレイ３２０のバルク受信器光学系４１０がエミッタアレイ３１０のバルク送信器光学系１８４と異なる必要があることを意味し、２つのバルク光学系は、２つのアレイにおける対応するバンクの視野が顕著に同じになるように慎重に選択する必要がある。例えば、エミッタアレイ３１０のレンズ要素の２倍の大きさのレンズ要素を備えた同様のバルク光学系を使用することができる。結果として得られるバルク受信器光学系の焦点距離は、バルク送信器光学系の焦点距離の２倍になる。この場合、ＴＯＦセンサアレイ３２０はエミッタアレイ３１０の２倍の高さおよび２倍の幅で、受光口径が放出口径の２倍である必要がある。これにより、すべてのＴＯＦ光センサおよびエミッタの視野角が一致する。

【0051】

エミッタアレイ３１０およびＴＯＦセンサアレイ３２０の対応するバンクが同じ視野を確実に見るために、ＬＩＤＡＲシステム３００の位置合わせプロセスは、例えば製造業者によるフィールド使用の前に実施することができる。本発明のいくつかの実施形態の設計機能（例えば、エミッタアレイ用の単一の半導体ダイまたはマルチチップモジュールおよびＴＯＦセンサアレイ用のマルチチップモジュールの単一の半導体ダイを有する）により、製造業者はこの位置合わせ一度だけ実施することができ、それによりＬＩＤＡＲシステム３００が製造され、製造後に維持される方法が容易になる。光学系の位置合わせ中に、すべてのピクセルおよびすべてのエミッタの視野を測定して、それらが顕著に同一であることを確認することができる。位置合わせプロセスは、収差、歪み、焦点距離などのレンズ特性の考慮、ならびに外部部品に対するレンズ要素の位置および配向の調整をすることができる。

【0052】

エミッタの視野はそれぞれのセンサの視野と重複しているため、各ＴＯＦ光センサは理想的には、その対応するエミッタを起源とし、理想的にはクロストークのない反射照明ビームを検出することができる、すなわち、他の照明ビームからの反射光は検出されない。例えば、図３Ａに戻ると、エミッタ３１２（１）のバンクは、視野の領域３１５（１）に照明ビーム３１４（１）を放出し、照明ビームの一部は、物体３３０、すなわち木から反射する。理想的には、光３２４（１）の反射部分は、ＴＯＦ光センサバンク３２２（１）のみによって検出される。したがって、エミッタバンク３１２（１）およびＴＯＦ光センサバンク３２２（１）は、同じ視野を共有する。同様に、エミッタバンク３１２（ｎ）およびＴＯＦ光センサバンク３２２（ｎ）は、光３２４（ｎ）の反射部分がＴＯＦ光センサ３２２（ｎ）によってのみ検出されるように、同じ視野を共有することもできる。例えば、放出サイクルの最後の反復中に、エミッタ３１２（ｎ）のバンクは視野の領域３１５（ｎ）に照明ビーム３１４（ｎ）を放出し、照明ビームの一部は物体３３２、すなわち物体３３０の隣に駐車されている車から反射する。１サイクルでは、図３Ａの固体電子走査ＬＩＤＡＲシステム３５０は、木３３０および車３３２の部分を含むシーンを表す画像を捕捉および生成することができる。図１２および図１３に関して本明細書でさらに説明するように、特にシステム３００が車に取り付けられているときなど、システム３００が動いている場合、追加のサイクルはシーンの他の領域をさらに捕捉することができる。図３Ａでは対応するエミッタおよびＴＯＦ光センサは、それぞれのアレイ内の同じ相対的場所にあるものとして示されているが、システムで使用される光学系の設計に応じて、任意のエミッタを任意のＴＯＦ光センサと対にすることができる。

【0053】

測距測定中、ＬＩＤＡＲシステムを取り巻く容積の周りに分布する様々な視野からの反射光が様々なＴＯＦ光センサによって収集されて処理され、それぞれの視野内の任意の物体の範囲情報をもたらす。上記のように、正確にタイミングを合わせたパルスを光エミッタが放出し、ある経過時間の後にパルスの反射がそれぞれのＴＯＦ光センサによって検出される、飛行時間技術を使用することができる。次に、放出と検出との間の経過時間と、既知の光速度と、を使用して、反射面までの距離を計算する。いくつかの実施形態では、範囲に加えて、反射面の他の特性を判定するために、ＴＯＦ光センサにより追加情報を取得することができる。例えば、パルスのドップラーシフトをセンサで測定し、ＴＯＦ光センサと反射面との間の相対速度を計算するために使用することができる。パルス強度を使用して標的の反射率を推定することができ、パルス形状を使用して、標的が硬質または拡散材料であるかどうかを判定することができる。

【0054】

いくつかの実施形態によれば、ＬＩＤＡＲシステム３００は、複数の光のパルスを送信することができる。いくつかの実施形態では、各コード化パルスは、光強度によって形成される埋め込まれた正の値のパルスコードを有する。システムは、異なる時間ビンにおいて検出された反射光の強度ヒストグラムを作成することによって、背景光の存在下で、光パルスの時間的位置および／または振幅を判定することができる。各時間ビンに対して、システムは、検出された光の強度に依存する強度ヒストグラムに加重値を加える。加重値は、正または負で、様々な大きさを有することができる。

【0055】

正値のパルス符号の異なる組み合わせを選択し、異なる重みを適用することによって、システムは、標準デジタル信号処理アルゴリズムに好適な正値および負値コードを検出することができる。この方法は、反射光パルスの測定された時間的位置における低い不確定度を維持しながら、高い信号対ノイズ比を与える。

【0056】

ＩＩ．画像捕捉用の画像センサアレイの構成および動作
本明細書で述べたように、電子走査ＬＩＤＡＲシステムのエミッタアレイおよび画像センサアレイは、重複する視野を有することができるので、画像センサアレイは、エミッタアレイの視野に対応するシーンの画像を捕捉することができる。

【0057】

Ａ．重複する視野
図５Ａは、本開示のいくつかの実施形態による、エミッタアレイの視野５００と画像センサアレイの視野５０２との重複する視野を示す簡略図である。エミッタアレイの視野５００全体は、画像センサアレイの視野５０２の少なくとも一部分と重複することができるので、画像センサは、エミッタアレイの視野全体に対応するシーンの画像を捕捉することができる。すなわち、いくつかの実施形態では、エミッタアレイの視野５００は、画像センサアレイの視野５０２と等しいか、またはそのサブセットであり得る。画像センサの視野５０２は、画像センサアレイ内の個々の画像光センサの個々の視野を表す複数の長方形のブロックで示されている。

【0058】

エミッタアレイの視野５００は、エミッタアレイ内のエミッタバンクの数に対応する別個の視野バンク５０４ａ～ｆを含むことができ、図５Ａに示される例では６つである。各視野バンク５０４ａ～ｆは、図２Ａ～図２Ｄおよび図３～図４に関して本明細書で説明されるように、対応するエミッタバンクからの放出光で照射される視野の領域であり得る。画像センサアレイの視野５０２はまた、周囲光を感知するための画像光センサのグループの数に対応する６つの視野グループ５０６ａ～ｆを含むことができる。各視野のグループ５０６ａ～ｆは、図２Ａ～図２Ｄおよび図３～図４に関して本明細書で説明されるように、対応するエミッタバンク光が光を放出する領域に対応する視野の領域であり得る。したがって、動作中、エミッタバンクが視野バンク５０４ａ～ｆに向かってシーケンシャルな順番で放出すると、対応する視野５０６ａ～ｆを有する画像光センサのグループは、シーンの画像を捕捉するために、同じ順序で画像光センサデータを同時に読み出すことができる。

【0059】

画像センサアレイがローリングシャッタ技術に従って動作するいくつかの実施形態では、画像センサアレイ内のすべての画像光センサを起動させなくても、例えば、エミッタバンクの発射および／またはＴＯＦ光センサバンクの作動と視野が重複しない画像光センサを起動させなくても、光を感知するために画像光センサの特定のグループを順次に起動させることができるように、各画像光センサは個々にアドレス指定可能である。このような場合、各画像光センサを対応するエミッタバンクにマッピングして、コントローラが制御信号を用いて画像光センサを起動させることができる。画像光センサとエミッタバンク間のマッピングは、メモリに記録され、コントローラによって使用され得る。例えば、制御信号バスは、画像センサコントローラ（例えば、画像センサコントローラ１６０）から画像センサアレイに結合することができる。制御信号は、画像光センサのどのグループを起動させるかを示す画像センサアレイに送信することができ、その結果、今度はどの視野グループ５０６ａ～ｆを測定するかを示すことができる。図５Ａに示される例を続けると、制御信号は１～６であり得、ここで、１はグループ５０６ａを測定することを示し、６はグループ５０６ｆを測定することを示す。したがって、視野グループ５０６ａに関連付けられた画像光センサのグループは、図５Ａに示されるように、制御信号１が受信されたときに起動するように構成することができる。同じことが、残りのグループ５０６ｂ～ｆについても言うことができる。画像センサアレイを個々にアドレス指定できるように構成すると、光を感知するために画像光センサのサブセットのみが起動されるため、電力を節約することができ、それにより、一度にすべての画像光センサを照射することによる電力浪費を最小限に抑えることができる。

【0060】

画像センサアレイがグローバルシャッタ技術に従って動作される実施形態では、画像光センサのアレイ全体を毎回起動することができる。したがって、画像センサアレイ全体の視野５０２の画像データは、視野の一部だけがエミッタバンクの発射、例えばバンク５０４ａの視野に対応していても、捕捉することができる。このような場合には、エミッタバンクの発射５０４ａの視野に対応する画像光センサ、例えば、画像光センサのグループ５０６ａのみからの画像データが読み取られ、バンク５０４ａの視野外の視野を有する画像光センサはすべて無視される。したがって、エミッタアレイの視野５００の外側の視野を有するこれらの画像光センサは、完全に無視され得る。

【0061】

各画像光センサに正しいグループ制御信号を割り当てるために、ＬＩＤＡＲシステムの製造時または起動時に較正処理を行うことができる。各エミッタバンクは、どの画像光センサが光を受け取るかを追跡しながら、光を放出するように発射することができる。エミッタの１つのバンクが発射されたときに光を受け取るこれらの画像光センサは、エミッタの１つのバンクが発射されたときに作動するようにプログラムすることができる。残りのエミッタバンクについても同様のことができる。

【0062】

個々にアドレス指定可能な構成に関して本明細書で説明される方法および構成は、個々にアドレス指定できない画像センサアレイ、例えば、グローバルシャッタとして構成された画像センサアレイによっても実装することができる。このような場合、画像センサアレイが起動されるたびに、画像光センサのサブセットのみではなく、画像光センサのアレイ全体が一度に起動される。したがって、いくつかの実施形態は、すべての画像光センサが光を感知するように起動されたにもかかわらず、特定の視野グループ５０６ａ～ｆに対応する画像光センサの画像データのみを読み出すように画像センサアレイを構成することができる。画像センサアレイをグローバルシャッタとして構成すると、設計コストが節約でき製造が容易になるため、図７Ａ～図７Ｃに関して本明細書で説明した理由から、ＬＩＤＡＲシステムが既存の高品質画像センサを活用することができる。

【0063】

いくつかの実施形態では、画像センサアレイの視野５０２は、図５Ａに示されるように、エミッタアレイの視野５００よりも大きくすることができる。したがって、画像センサアレイの物理的寸法は、エミッタアレイの物理的寸法よりも大きくなる可能性がある。より大きな画像センサアレイを持つことで、サイズの異なるエミッタ構成との互換性を高めることができる。より大きな画像センサアレイはまた、より緩い製造公差を可能にし、それによって製造の容易さを改善し、製造コストを節約する。

【0064】

例えば、図５Ｂは、エミッタアレイの視野５１０と画像センサアレイの視野５１２との重複する視野を示す簡略図であり、対応するエミッタアレイと画像センサアレイとは不完全に位置合わせされている。本発明のいくつかの実施形態は、本明細書で説明されるように、この不整合を修正することができる。例えば、画像センサアレイの物理的寸法、ひいては視野５１２を、エミッタアレイの物理的寸法、ひいては視野５１０よりも大きくすることによって、図５Ｂに示すように、画像センサアレイがエミッタアレイに対して斜めに配置されていても、エミッタアレイ視野５１０全体が画像センサアレイ視野５１２の少なくとも一部と重複することができる。画像センサアレイの視野５１２が傾斜している場合でも、エミッタアレイの視野に対応するこれらの画像光センサは、依然として、エミッタアレイと同期して作動するようにプログラムすることができる。例えば、視野グループ５１４ａに関連付けられた画像光センサのグループは、図５Ｂに示されるように、制御信号１が受信されたときに起動するように構成することができる。傾斜している配置は、画像センサアレイの視野５１２とエミッタアレイの視野５１０との間の角度の不一致のアーティファクトとして、ギザギザの縁を有する画像光センサのグループ化をもたらす可能性がある。

【0065】

より大きな寸法はまた、いくつかの光学収差の許容範囲を考慮に入れている。一例として、不完全なバルク撮像光学素子は、画像センサアレイの視野５１２にある程度の歪みをもたらす可能性があり、これにより、視野の縁が内側に陥没する可能性がある。しかしながら、画像センサアレイの視野５１２は、エミッタアレイの視野５１０よりも大きいので、エミッタアレイの視野５１０全体は、依然として、画像センサアレイの視野５１２の少なくとも一部分と重複することができ、エミッタアレイの視野５１０の画像を捕捉する能力に悪影響を与えないであろう。

【0066】

Ｂ．画像光センサの同期とタイミング
本明細書で説明されるように、画像センサアレイ内の画像光センサの起動は、エミッタアレイ内のエミッタの発射およびＴＯＦセンサアレイ内のＴＯＦ光センサの起動と同期させることができる。さらに、いくつかの実施形態では、最適な露光時間を実現するために、同期した画像光センサの露光を起動期間の間に修正することができる。図６は、本開示のいくつかの実施形態による、画像センサアレイとＴＯＦセンサアレイとの同期を示すタイミング図である。ＴＯＦ露光シーケンス６００は、ＴＯＦセンサアレイ内のＴＯＦ光センサバンクの時間的起動（ならびにエミッタアレイ内の対応するエミッタバンクの発射）を表し、画像感知シーケンス６０２は、画像センサアレイ内の画像光センサの対応するグループの時間的な起動を表す。図６に示すように、４つのＴＯＦ光センサバンクは、４つのそれぞれの時間、例えば、各時間ｔ（０）－ｔ（３）で起動することができ、その起動の持続時間はそれぞれ、各々の時間ｔ（０）－ｔ（３）を中心とされ得る。いくつかの実施形態では、画像センサアレイの同期化された起動は、その対応する起動も時間ｔ（０）－ｔ（３）を中心にされるように構成することができる。したがって、画像センサアレイの起動速度は、ＴＯＦセンサアレイの起動速度と等しくすることができる。しかしながら、図７Ａ～図７Ｃに関して本明細書でさらに説明するように、画像センサアレイが速いシャッタ速度を有する実施形態では特に、画像センサアレイの起動速度は、ＴＯＦセンサアレイの起動速度よりも実質的に速くすることができることを理解されたい。

【0067】

特定の実施形態では、画像センサアレイを制御して、各起動の間の露光時間を修正し、画像光センサが最適な量の光を受けるように露光時間を調整することができる。露光時間は、各起動の持続時間によって画定することができる。例えば、画像光センサの第１、第２、第３、および第４のグループの起動は、それぞれ、第１、第２、第３、および第４の露光６０４、６０６、６０８、および６１０を有することができる。前の起動の明るさを使用して、後続の起動のための露光を修正することができる。一例として、前の起動が明るすぎる場合、後続の起動のための露光を減少させることができ、その逆も可能である。例えば、図６に示されるように、画像センサコントローラは、画像光センサの第１のグループの起動中に感知された光が明るすぎると判定することができる。したがって、画像光センサの第２のグループの露光６０６を減少することができる。次に、画像センサコントローラは、画像光センサの第２のグループの起動中に感知された光が明るすぎると判定することができ、したがって、画像光センサの第３のグループの露光６０８を増加させる。その後、画像センサコントローラは、画像光センサの第３のグループの起動中に感知された光がちょうど良かったと判定することができ、したがって、画像センサアレイ全体が起動されるまで、その後の各起動についても露光６１０を同じに保つことができる。

【0068】

本明細書で述べたように、実施形態は、画像センサアレイの起動速度がエミッタアレイの起動速度に等しい構成に限定されず、画像センサアレイの起動速度がエミッタアレイの起動速度よりも大きい、速いシャッタ速度を有するグローバルシャッタとして設計された画像センサアレイを用いて、いくつかの実施形態を構成することができることを示している。図７Ａは、本開示のいくつかの実施形態による、画像センサアレイとＴＯＦセンサアレイとの同期（したがって、エミッタアレイのエミッタの発射との同期）を示すタイミング図であり、ここでは、画像センサアレイの起動速度がＴＯＦセンサアレイの起動速度よりもはるかに速い。起動シーケンス７００は、ＴＯＦセンサアレイ内のＴＯＦ光センサバンクの時間的起動を表し、画像感知シーケンス７０２は、画像センサアレイ内の画像光センサのアレイ全体の時間的起動を表す。

【0069】

図６のように、４つのＴＯＦ光センサバンクは、４つ別個の時間、例えば、各時間ｔ（０）－ｔ（３）で起動することができ、その起動の持続時間はそれぞれ、対応する時間ｔ（０）－ｔ（３）を中心とされ得る。逆に、図６とは異なり、画像感知シーケンス７０２は、実質的により速い起動速度を有することができるので、画像センサアレイは、所与の期間にわたって、ＴＯＦセンサアレイよりも多くの回数で起動する。したがって、画像センサアレイのすべての起動が、ＴＯＦセンサアレイの対応する起動と同期するわけではない。例えば、図７Ａに示すように、画像センサアレイは、ＴＯＦセンサアレイの連続した発射の間に４回起動することができる（すなわち、図７Ａの画像センサアレイのフレームレートは、エミッタが発射される速度に合わせたＴＯＦセンサアレイのフレームレートよりも５倍速くなっている）。画像センサアレイの速い起動速度は、各起動のための露光時間の減少をもたらすことができる。しかしながら、画像センサコントローラは、画像センサアレイの追加の起動を利用して、捕捉された画像の露光を改善するように構成することができる。例えば、図７Ｂに示すように、画像センサコントローラは、ＴＯＦ光センサバンクの単一の起動７０４の間に、視野の画像を捕捉するための３つの起動７０６ａ－ｃの画像データを受信することができる。３つの起動７０６ａ－ｃが発生する時間は、ＴＯＦ光センサバンクが起動される時間ｔ（１）の中心とされ得る。ある程度の起動の数からの画像データを受信して、視野の画像を捕捉することができる。一例として、図７Ｃに示されるように、画像センサコントローラは、ＴＯＦ光センサバンクの１回の起動７０４の間に視野の画像を捕捉するために、起動７０６ａ－ｃに２回の起動７０８ａ－ｂを加えて合計５回の起動から画像データを受信することができる。５つの起動が発生する時間は、ＴＯＦ光センサバンクが起動される時間ｔ（１）の中心とされ得る。

【0070】

ＩＩＩ．光測距用増強された光放出システム
本開示のいくつかの実施形態は、他の用途の中でもとりわけ、自律車両における障害物検出および回避に使用することができるＬＩＤＡＲセンサに関する。いくつかの特定の実施形態は、センサを十分に安価で十分な信頼性を備えて製造し、大量市場の自動車、トラック、および他の車両での使用に十分に小さいフットプリントを可能にする設計機能を含むＬＩＤＡＲセンサに関する。例えば、いくつかの実施形態は、放射線をフィールドに放出する照明源として垂直キャビティ面放出レーザ（ＶＣＳＥＬ）のセットを含み、ＴＯＦ光センサ（検出器）のセットとして単一光子アバランシェダイオード（ＳＰＡＤ）検出器のアレイを含むフィールド内の表面から反射された放射線を検出する。ＶＣＳＥＬをエミッタとして使用し、ＳＰＡＤを検出器として使用すると、複数の測定を同時に行うことができ（すなわち、ＶＣＳＥＬエミッタを同時に発射できる）、かつ、エミッタのセットとＴＯＦ光センサのセットをそれぞれ単一チップ上の標準ＣＭＯＳプロセスを使用して製造できるため、製造および組み立てプロセスが大幅に簡素化される。

【0071】

しかしながら、特定の実施形態でＶＣＳＥＬおよびＳＰＡＤを使用することは、本開示の様々な実施形態が克服する課題を提示する。例えば、ＶＣＳＥＬは、既存のＬＩＤＡＲアーキテクチャで使用される一般的なレーザに比べそれほど強力ではなく、ＳＰＡＤは、既存のＬＩＤＡＲアーキテクチャで使用される一般的な検出器よりもはるかに効率が劣る。これらの課題、および複数のエミッタを同時に発射させることによって提示される課題に対処するために、本開示の特定の実施形態は、様々な光学部品（例えば、レンズ、フィルタ、および開口層）を含み、これは、本明細書で説明するように、各アレイが異なるピクセル（例えば、フィールド内の位置）に対応するＳＰＡＤの複数のアレイと連携して機能することができる。例えば、図１に関して本明細書で説明するように、光感知モジュール１０８の光学システム１２８は、ＴＯＦ光センサのアレイを含み得るＴＯＦセンサアレイ１２６によって検出される光を増強するためのマイクロ光学受信器層（図１には図示せず）を含むことができ、各々がＳＰＡＤのアレイとすることができる。

【0072】

図８は、本開示のいくつかの実施形態による、例示的な固体電子走査ＬＩＤＡＲシステム８００の詳細な側面図を示す簡略図である。固体電子走査ＬＩＤＡＲシステム８００は、光検出システム８０１、光放出システム８０３および画像捕捉システム８０７を含むことができる。光放出システム８０３は、システム８００が狭帯域光線８０５で位置付けられたフィールドの少なくとも一部分のアクティブ照明を提供する。光検出システム８０１は、光放出システム８０３から放出された狭帯域光を、フィールド内の物体によって反射光線８０６として反射した後に検出する。画像捕捉システム８０７は、光放出システム８０３が放出するフィールドの部分に存在する可視スペクトルの周囲光を検出する。

【0073】

光検出システム８０１は、図１に関して上述した光検出システム１３６を代表とすることができる。光検出システム８０１は、光感知システムおよびＴＯＦセンサアレイを含むことができる。光感知システムは、バルク受信器光学系、アパーチャ層、コリメートレンズ層、および光学フィルタ層を含むことができ、ＴＯＦセンサアレイはＴＯＦ光センサのアレイを含むことができ、各ＴＯＦ光センサは光を測定するための１つ以上の光検出器を含むことができる。いくつかの実施形態によれば、これらの部品は一緒に動作して、フィールドから光を受信する。例えば、光検出システム８０１は、バルク受信器光学系８０２およびマイクロ光学受信器（Ｒｘ）層８０４を含むことができる。動作中、光線８０６は複数の方向からバルク受信器光学系８０２に入り、バルク受信器光学系８０２によって集束されて光円錐８０８を形成する。マイクロ光学受信器層８０４は、アパーチャ８１０がバルク受信器光学系８０２の焦点面と一致するように位置付けられる。いくつかの実施形態では、マイクロ光学受信器層８０４は、マイクロ光学受信器チャネル８１２の二次元アレイであり得、各マイクロ光学受信器チャネル８１２は、光送信の方向に同じ軸に沿って、例えば図８に示されるように左から右に水平に位置付けられたそれぞれのアパーチャ８１０、コリメートレンズ８１４、およびＴＯＦ光センサ８１６から形成される。さらに、各マイクロ光学受信器チャネル８１２は、本明細書でさらに議論されるように、ＴＯＦ光センサ間の迷光からの干渉を軽減するための様々な方法で構成され得る。動作中、各マイクロ光学受信器チャネル８１２は、異なるピクセル（すなわち、フィールド内の位置）の光情報を測定する。

【0074】

光線８０６は、バルク受信器光学系８０２の焦点で集束し、開口層８１１のアパーチャ８１０を通過し、それぞれのコリメートレンズ８１４に入る。各コリメートレンズ８１４は、光線がすべてほぼ同じ角度で、例えば互いに平行に光学フィルタに入るように、受信光をコリメートする。バルク受信器光学系８０２のアパーチャおよび焦点距離は、アパーチャ８１０で焦点を結ぶそれぞれの光線の円錐角を判定する。コリメートレンズ８１４のアパーチャサイズおよび焦点距離は、入射光線がどれだけ良好にコリメートすることができるかを判定し、これにより、光学フィルタ８１８でどの程度狭い帯域通過を実装することができるかが判定される。開口層は、光検出システム８００の動作中に様々な機能を果たすことができる。例えば、（１）アパーチャ８１０は、ピクセルの視野を制限することができるため、ＴＯＦ光センサ面のピッチが大きいにもかかわらず、空間選択性が厳しくなる。（２）アパーチャ８１０は、エミッタ光の効率的な使用のために、視野をエミッタ視野に類似または等しいサイズに制限することができる。（３）アパーチャは、コリメートレンズの焦点面に小さな点状の光源を提供し、フィルタを通過する前に光ビームの厳密なコリメーションを実現し、コリメーションが改善されると、フィルタを通過することができる帯域が狭くなる。（４）各アパーチャを囲む開口層の停止領域は、迷光を排除することができる。いくつかの実施形態では、コリメートレンズ８１４は含まれず、帯域通過フィルタの通過帯域はそれほど狭くない。

【0075】

光学フィルタ８１８は、不要な波長の光を遮断する。干渉ベースのフィルタは、性能に強い角度依存性を呈する傾向がある。例えば、ゼロ度の入射角で９００ｎｍの中心波長（ＣＷＬ）を有する１ｎｍ幅の帯域通過フィルタは、１５度の入射角で８９８ｎｍのＣＷＬを有する場合がある。撮像システムは、典型的に、この影響に対応するために幅数十ナノメートルのフィルタを使用するため、ＣＷＬのシフトは帯域通過幅よりもはるかに小さくなる。しかしながら、マイクロ光学層８０４の使用は、すべての光線がほぼ同じ入射角で光学フィルタ８１８に入ることを可能にし、したがって、ＣＷＬのシフトを最小限にし、非常にタイトなフィルタ（例えば８ｎｍ未満の幅）の使用を可能にする。ＴＯＦ光センサ８１６は、入射光子に応答して電流または電圧を生成する。いくつかの実施形態では、光学フィルタ８１８は、マイクロ光学受信器チャネル８１２のアレイ全体にわたって均一であるため、アレイ内の各個々のマイクロ光学受信器チャネル８１２は、同じ波長範囲の光を受信する。

【0076】

いくつかの実施形態では、ＴＯＦ光センサ８１６は、光線８０６がコリメートレンズ８１４および光学フィルタ８１８を最初に通過してからＴＯＦ光センサ８１６に露光するように、コリメートレンズ８１４の反対側に位置付けられる。各ＴＯＦ光センサ８１６は、複数の単一光子アバランシェ検出器（ＳＰＡＤ）のミニアレイなどの複数の光検出器であってもよい。ＳＰＡＤのミニアレイのアレイは、単一のモノリシックチップ上に製造されることでき、それにより、製造が簡素化される。いくつかの代替的な実施形態では、各ＴＯＦ光センサ８１６は、単一の光検出器、例えば標準フォトダイオード、アバランシェフォトダイオード、共振空洞フォトダイオード、または別の種類の光検出器であってもよい。

【0077】

光放出システム８０３は、バルク送信器光学系８２０と、光エミッタ８２４の二次元アレイで形成された光放出層８２２と、を含むことができる。各光エミッタ８２４は、狭帯域光の個別のビームを生成するように構成することができる。いくつかの実施形態では、光放出層８２２は、光放出システム８０３からのある範囲の距離にわたってサイズおよび幾何学的形状がマイクロ光学受信器層８０４の受信器チャネルの視野に一致する照明パターンに従って、バルク送信器光学系８２０を通して個別の光ビームを選択的に投射するように構成される。光エミッタ８２４は、１つ以上のモノリシックチップ上に統合された垂直キャビティ面放出レーザ（ＶＣＳＥＬＳ）または任意の他の種類のレーザダイオードなどの任意の好適な光放出デバイスであり得る。光エミッタ８２４は、バルク送信器光学系８２０に方向付けられた狭帯域光８２６の円錐を生成することができ、それは光の円錐８２６をコリメートし、放出光線８０５としてフィールド内の遠方の標的にコリメートされた光を出力することができる。いくつかの実施形態では、バルク送信器光学系８２０は画像空間テレセントリックである。

【0078】

図８の平行光線８０５および８０６の図から明らかなように、各マイクロ光学受信器チャネル８１２は、閾値距離を超えて非重複視野を有する。図８に示すように、各マイクロ光学受信器チャネル８１２は、複数のアパーチャからのアパーチャ、複数のレンズからのレンズ、および複数の光検出器からの光検出器を含み、各チャネルのアパーチャは、他のマイクロ光学受信器チャネルの視野内で閾値距離を超えて非重複のチャネル内のピクセルの個別の視野を画定する。そのようにして、各マイクロ光学受信器チャネルは、マイクロ光学受信器層８０４内の任意の他のマイクロ光学受信器チャネルによって測定されないフィールド内の個別の位置に対応する反射光を受信する。

【0079】

追加および代替的な実施形態では、光円錐８２６からの光線８０５は、バルク送信器光学系８２０によって遠くの標的に方向付けられる前に、マイクロ光学送信器層（図示せず）によって空間の中間面に焦点を合わせられ、光放出システム８０３から放出される光の輝度および強度を増強させる。そのような実施形態では、光放出システム８０３および光検出システム８０１は、各マイクロ光学送信器チャネル（図示せず）が対応するマイクロ光学受信器層８０４と対になるように構成され、それらの視野の中心は、センサから一定の距離で重複するように位置合わせされているか、主光線が平行になっている。さらなる追加および代替的な実施形態では、光放出システム８０３によって放出される遠視の光ビームは、各マイクロ光学受信器層８０４の遠視の視野と同様のサイズおよび発散角のものである。出力される光の輝度および強度を増強させるためのマイクロ光学送信器層を有する光放出システム８０３の詳細は、以下で詳細に議論される。

【0080】

ＶＣＳＥＬは、いくつかの既存のＬＩＤＡＲアーキテクチャの典型的なレーザよりも強力ではないため、いくつかの実施形態では、光放出システム８０３は、ＬＩＤＡＲシステム８００の光測距機能を実施する能力を改善するように構成されることができる。すなわち、光放出システム８０３によって放出される光の品質を増強させて、光測距の精度および効率を改善することができる。光測距と撮像のための透過光の品質は、輝度および強度の観点から画定することができる。バルク送信器光学系８２０から放出される光線の輝度および強度は、１つ以上の光学送信器層を修正および／または実装することによって増強させることができる。

【0081】

画像捕捉システム８０７は、図１に関して上述した画像捕捉システム１５６を表すことができる。画像捕捉システム８０７は、バルク画像受信器光学系８３０と、画像光センサ８３４の二次元アレイで形成された画像感知層８３２と、を含むことができる。各画像光センサ８３４は、シーンに存在する可視波長スペクトルの周囲光を検出するように構成することができる。バルク画像受信器光学系８３０は、入射してくる周囲光８３８を光円錐８３６として画像感知層８３２に焦点を合わせて、画像光センサ８３４が周囲光８３８を検出できるようにすることができる。いくつかの実施形態では、バルク画像受信器光学系８３０は、画像空間テレセントリックである。画像感知層８３２は、帯電結合デバイス（ＣＣＤ）センサまたは相補型金属酸化物半導体（ＣＭＯＳ）画像センサなどの任意の適切な可視光センサであり得る。

【0082】

図９は、本開示のいくつかの実施形態による、例示的な増強された光放出システム９００の簡略断面図である。光放出システム９００は、例えば、光９１３を放出するためのＬＥＤ、レーザダイオード、ＶＣＳＥＬなどのいずれかを制限なく含む光エミッタ９０４を有する光エミッタアレイ９０２を含むことができる。ＶＣＳＥＬは、上面から垂直にレーザビームを放出する半導体レーザダイオードの一種である。図９に示される線形アレイは、円形、長方形、線形、または他の幾何学的形状を含むがこれらに限定されないエミッタアレイの任意の幾何学的形態であり得ることに留意されたい。

【0083】

増強された光放出システム９００は、開放空間９１８によって光エミッタアレイ９０２から分離されたマイクロ光学送信器チャネルアレイ９０６を含むことができる。各マイクロ光学送信器チャネル９０８は、対応する受信器チャネル（例えば、図５の受信器チャネル５１２）と対にされ得、それらの視野の中心は、光学撮像装置システムから一定の距離で重複するように位置合わせされる。マイクロ光学送信器チャネルアレイ９０６は、光エミッタアレイ９０２に面する側に位置付けられた第１の光学面９２０と、光エミッタアレイ９０２から離れた反対側に位置付けられた第２の光学面９２１との間に挟まれた基板９１９から形成され得る。第１および第２の光学面９２０および９２１の両方は、第１の光学面９２０の各凸レンズが第２の光学面９２０の各凸レンズと光学的に位置合わせされるように構成される、凸状のマイクロ光学レンズのアレイとして各々構成され得、第１の光学面９２０を透過する光は、その後、第２の光学面９２１を透過することができる。第１および第２の光学面９２０および９２１からの対応する凸レンズは、図９に示されるように互いに反対側を向くことができる。特定の実施形態では、第１の光学面９２０の凸レンズは、第１の屈折力を有し、第２の光学面９２１の凸レンズは、第１の屈折力とは異なる第２の屈折力を有する。例えば、第２の屈折力の焦点距離が第１の屈折力の焦点距離よりも短くなるように、第２の屈折力は第１の屈折力より大きくてもよい。基板９１９は、シリコン、二酸化ケイ素、ホウケイ酸ガラス、ポリマーなどの光エミッタ９０４の波長範囲で透過性の任意の好適な材料で形成することができる。第１および第２の光学面９２０および９２１は、基板９１９のそれぞれの対向する表面に刻印された透明なポリマーで形成することができる。

【0084】

いくつかの実施形態では、マイクロ光学送信器チャネルアレイ９０６は、マイクロ光学送信器チャネル９０８のモノリシックアレイで形成することができる。各マイクロ光学送信器チャネル９０８は、第１の光学面９２０からの第１の凸レンズ、第２の光学面９２１からの対応する第２の凸レンズ、および２つの凸レンズの間に位置付けられた基板９１９の対応する部分を含むことができる。各マイクロ光学送信器チャネル９０８は、それぞれの光エミッタ９０４に対応することができ、光エミッタ９０４から出力された光は、最初に第１の凸レンズ、基板９１９の対応する領域、次に動作中に第２の凸レンズを通過する。

【0085】

光が第２の光学面９２１の第２の凸レンズから放出されると、光は、対応する光エミッタ９０４の実像であるが対応する光エミッタ９０４の縮小サイズである小型スポット画像９１０を形成する。いくつかの実施形態では、小型スポット画像９１０は、マイクロ光学送信器チャネルアレイ９０６とバルク送信器光学系９１４との間に位置付けられる。例えば、小型スポット画像９１０は、開口層９０９のそれぞれのアパーチャ内に形成され得る。各アパーチャは、放出光が焦点を合わせて小型スポット画像９１０を形成する反射層または不透明層のピンホールとすることができる。開口層９０９は任意選択であり、開口層９０９がなくてもマイクロ光学送信器チャネルアレイ９０６の光増強能力を達成できることを理解されたい。そのような実施形態では、小型スポット画像９１０は、第２の光学面９２１の第２の凸レンズの焦点面に形成することができる。そこから、光エミッタおよびマイクロ光学チャネルの両方から離れていくと、光は、光円錐９１２を形成し、バルク送信器光学系９１４に向かって伸びる。

【0086】

本開示のいくつかの実施形態によれば、放出光９１３の発散の程度は、光円錐９１２の発散の程度よりも小さくてもよい。発散におけるこの不一致は、マイクロ光学送信器チャネル９０８、特に第２の光学面９２１の光出力によって生成され得る。マイクロ光学送信器チャネル９０８からの光の発散は、光エミッタ９０４からの放出光９１３の発散よりも大きいため、小型スポット画像９１０は、光エミッタ９０４の実際の画像であり得るが、光エミッタ９０４のサイズよりも小さく、放出光９１３と同じ数の光子を有する多数のものであり得る。実スポット画像が形成された後に形成される結果として得られる光円錐９１２は、バルク送信器光学系９１４を通過した後、各光エミッタ９０４に対する個別の光ビーム９２５としてフィールドに投射される。結果として得られる光放出システム９００から発せられる光線は、小さな断面積を有する高度にコリメートされた光ビーム９２５であり、それにより、増強された輝度および強度を有する光を出力することができる光放出システム９００をもたらす。対照的に、バルク送信器光学系９１４の焦点面に代わりに光エミッタアレイ９０２を有するマイクロ光学チャネルアレイのないシステムは、コリメートが顕著に少ないビームを生成し、したがってこれらのビームは、遠視野でより大きな断面積を有する。

【0087】

バルク送信器光学系９１４は、単一のレンズまたは２つ以上のレンズが一緒に機能してバルク送信器光学系９１４を形成するレンズのクラスタのいずれかを含むことができることに留意されたい。バルク送信器光学系９１４内で複数のレンズを使用すると、アパーチャの数を増やし、ＲＭＳスポットサイズを低減し、画像面を平坦化し、テレセントリック性を改善するか、または別様にバルク送信器光学系９１４の性能を改善することができる。また、いくつかの実施形態では、光円錐９１２が重複して円錐重複領域９１６を形成することに留意されたい。

【0088】

バルク送信器光学系９１４は、バルク撮像光学系の焦点面が小型スポット画像９１０と一致するように、マイクロ光学層および放出層の前に位置付けられる。バルク送信器光学系９１４は、発散光円錐９１２を受け入れ、コリメートビームを出力する。そのアパーチャの数は、発散光ビーム円錐の角度の全範囲を捕捉するのに少なくとも十分に大きい可能性がある。また、バルク送信器光学系９１４は、マイクロ光学層を出る光円錐９１２が（バルク光学系の中心を中心軸とするのではなく）すべて平行であり得るため、画像空間テレセントリックとすることができる。一実施形態では、光は、ほぼコリメートされたバルク送信器光学系９１４を出ることができる。ビームコリメーションの品質は、焦点面での「放出物体」（小型スポット画像９１０）のサイズに関連することに留意されたい。この「放出物体」のサイズは、マイクロ光学スタックを使用することで低減されているため、エミッタ物体を単純に直接撮像する場合よりも優れた視準角が得られる。

【0089】

図９は、第１および第２の光学面の間に挟まれた基板で形成され、光放出システムから出力される光の輝度および強度を改善するために開放空間によって光エミッタアレイから距離を置いて位置付けられたマイクロ光学チャネルアレイを有する増強された光放出システムを示しているが、実施形態は、そのような構成に限定されない。むしろ、２０１８年５月１４日に提出され、あらゆる目的のためにその全体が参照により本明細書に組み込まれる「Ｏｐｔｉｃａｌ Ｉｍａｇｉｎｇ Ｔｒａｎｓｍｉｔｔｅｒ ｗｉｔｈ Ｂｒｉｇｈｔｎｅｓｓ Ｅｎｈａｎｃｅｍｅｎｔ」と題する関連する米国特許出願第１５ ／ ９７９，２３５号でさらに詳細に議論されているように、他の実施形態は必ずしも開放空間または２つの光学面を実装しない場合がある。

【0090】

実施形態は、エミッタアレイを電子的に走査するための画像捕捉モジュールについて論じているが、実施形態は、そのような構成に限定されない。いくつかの実施形態では、画像捕捉モジュールは、ミラー検流計などを使用して、光放出を機械的に走査するＬＩＤＡＲシステムに実装することができる。このようなシステムは、ミラー検流計を使用して、所定の走査パターンに沿ってレーザビームの２次元アレイを走査することができる。したがって、光感知モジュールおよび画像捕捉モジュールは、レーザビームの走査パターンと一致するシーンの画像を捕捉するように構成することができる。

【0091】

いくつかの実施形態では、本開示による複数の電気走査ＬＩＤＡＲユニットが協働して、単一のユニットよりも広い視野を提供することができる。例えば、図１０は、本発明のいくつかの実施形態による、自動車などの道路車両１００５の外側領域に固体電子走査ＬＩＤＡＲシステム１００２ａ～ｄが実装される実施態様１０００を示す。図１１は、本発明のいくつかの実施形態による、固体電子走査ＬＩＤＡＲシステム１１０２ａ～ｂが道路車両１１０５の上部に実装される実施態様１１００を示す。各実装では、ＬＩＤＡＲシステムの数、ＬＩＤＡＲシステムの配置、および各ＬＩＤＡＲシステムの視野は、全体ではないにしても、車両を囲む環境の３６０度の視野の大部分を取得するために、選択され得る。ＬＩＤＡＲシステムの自動車実施態様は、本明細書では単に説明のために選択したものであり、本明細書で説明されるセンサは、例えば、ボート、航空機、列車などの他の種類の車両で、ならびに医用撮像、携帯電話、拡張現実、測地学、ジオマティクス、考古学、地理学、地質学、地形学、地震学、林業、大気物理学、レーザ誘導、空中レーザスワスマッピング（ＡＬＳＭ）、レーザ高度計などの、３Ｄ深度画像が有用な様々な他の用途で、採用され得る。

【0092】

図１０を参照すると、固体電子走査ＬＩＤＡＲシステム１００２ａ～ｄは、車両の外側領域、フロントおよびバックフェンダーの近くに取り付けることができる。ＬＩＤＡＲシステム１００２ａ～ｄは各々、車両１００５の最も外側のコーナーの近くに位置付けられるように、車両１００５のそれぞれのコーナーに位置付けることができる。このようにして、ＬＩＤＡＲシステム１００２ａ～ｄは、エリア１００６ａ～ｄのフィールド内の物体から車両１００５までの距離をより適切に測定し、エリア１００６ａ～ｄのフィールド内の物体の画像を捕捉できる。測距／３Ｄ撮像の目的で放出された光と感知された反射放出光は実線で示され、撮像（すなわち２Ｄ撮像）の目的で反射された周囲光は点線で示される。各固体ＬＩＤＡＲシステムは、各ユニットがそれ自体で捕捉することができるよりも大きい複合視野を捕捉することができるように、異なる方向を（おそらくユニット間で部分的に重複するおよび／または重複しない視野を有して）向くことができる。

【0093】

図１０に示されるように、シーン内の物体は、ＬＩＤＡＲ Ｔｘモジュール１００８から放出される光パルス１０１０の部分を反射することができる。次いで、光パルス１０１０の１つ以上の反射部分１０１２は、ＬＩＤＡＲシステム１００２ａに戻り、Ｒｘモジュール１００９により受信され得る。さらに、シーン内の物体によって反射された周囲光１０１４は、ＬＩＤＡＲシステム１００２ａに移動し、ＩＲｘモジュール１０１１によって受信され得る。Ｒｘモジュール１００９とＩＲｘモジュール１０１１は、Ｔｘモジュール１００８と同じハウジングに配設することができる。本明細書で説明されるように、電子走査ＬＩＤＡＲシステム１００２ａ～ｄは、シーンを電子的に走査して、シーンの画像を捕捉することができる。したがって、ＬＩＤＡＲシステム１００２ａは、ポイント１０２０とポイント１０２２との間を走査して、エリア１００６ａのフィールド内の物体を捕捉することができ、システム１００２ｂ～ｄおよびエリア１００６ｂ～ｄについても同様である。

【0094】

図１０は、車両の四隅に取り付けられた４つの固体電子走査ＬＩＤＡＲシステムを示しているが、実施形態はそのような構成に限定されない。他の実施形態は、車両の他の領域に取り付けられたより少ないまたはより多い固体電子走査ＬＩＤＡＲシステムを有することができる。例えば、図１１に示されるように、電子走査ＬＩＤＡＲシステムは車両の屋根に取り付けることができる。そのような実施形態では、電子走査ＬＩＤＡＲシステム１１０２ａ～ｂは、車両１１０５の周囲のエリア１１０７ａ～ｂをより良好に観察するためにより高い視点を有することができる。いくつかの実施形態では、走査は、チップベースのビームステアリング技術などの他の手段、例えば、デジタルマイクロミラー（ＤＭＤ）デバイス、デジタル光処理（ＤＬＰ）デバイスなどのような１つ以上のＭＥＭＳベースの反射器を採用するマイクロチップの使用によって、実装されることができる。

【0095】

本明細書で言及されるように、ＬＩＤＡＲシステムの数、ＬＩＤＡＲシステムの配置、および各ＬＩＤＡＲシステムの視野は、全体ではないにしても、車両を囲む環境の３６０度の視野の大部分を取得できる。したがって、各ＬＩＤＡＲシステム１００２ａ～ｄは、およそ９０度の視野を有するように設計することができ、４つのシステム１０２０ａ～ｄすべてが実装されると、車両１００５の周りの３６０度の視野の実質的な大部分を観察することができる。各ＬＩＤＡＲシステム１００２ａ～ｄが、４５度の視野など、９０度未満の視野を有する実施形態では、追加のＬＩＤＡＲシステムを必要に応じて含めて、視野を拡張して、特定の実施態様で必要とされるであろう組み合わされた視野を達成することができる。

【0096】

本開示を特定の実施形態に関して説明してきたが、本開示は、添付の特許請求の範囲内のすべての修正および同等物を網羅することを意図していることが理解されよう。

【図1】

【図2A】

【図2B】

【図2C】

【図2D】

【図3】

【図4】

【図5A】

【図5B】

【図6】

【図7A】

【図7B】

【図7C】

【図8】

【図9】

【図10】

【図11】