特許 7197571 低レイテンシ動作計画更新を有するインテリジェントＬＡＤＡＲシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-19

(45)【発行日】2022-12-27

(54)【発明の名称】低レイテンシ動作計画更新を有するインテリジェントＬＡＤＡＲシステム

(51)【国際特許分類】

   G01S 7/484 20060101AFI20221220BHJP

   G01S 17/10 20200101ALI20221220BHJP

   G01S 17/86 20200101ALI20221220BHJP

   G01S 17/931 20200101ALI20221220BHJP

   G08G 1/16 20060101ALI20221220BHJP

【ＦＩ】

G01S7/484

G01S17/10

G01S17/86

G01S17/931

G08G1/16 C

【請求項の数】 52

(21)【出願番号】P 2020515068

(86)(22)【出願日】2018-08-21

(65)【公表番号】

(43)【公表日】2020-11-26

(86)【国際出願番号】 US2018047199

(87)【国際公開番号】W WO2019216937

(87)【国際公開日】2019-11-14

【審査請求日】2021-08-16

(31)【優先権主張番号】62/558,937

(32)【優先日】2017-09-15

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】62/693,078

(32)【優先日】2018-07-02

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】517052242

【氏名又は名称】エイアイ インコーポレイテッド

【氏名又は名称原語表記】ＡＥＹＥ， Ｉｎｃ．

【住所又は居所原語表記】８ Ｅｘｅｃｕｔｉｖｅ Ｄｒ．， Ｓｕｉｔｅ １２０， Ｆａｉｒｖｉｅｗ Ｈｅｉｇｈｔｓ， ＩＬ ６２２０８， Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】100114890

【弁理士】

【氏名又は名称】アインゼル・フェリックス＝ラインハルト

(74)【代理人】

【識別番号】100098501

【弁理士】

【氏名又は名称】森田 拓

(74)【代理人】

【識別番号】100116403

【弁理士】

【氏名又は名称】前川 純一

(74)【代理人】

【識別番号】100135633

【弁理士】

【氏名又は名称】二宮 浩康

(74)【代理人】

【識別番号】100162880

【弁理士】

【氏名又は名称】上島 類

(72)【発明者】

【氏名】ルイス カルロス ダッサン

(72)【発明者】

【氏名】アラン スタインハート

(72)【発明者】

【氏名】ジョエル デイヴィッド ベンスコーター

(72)【発明者】

【氏名】ジョーダン スペンサー グリーン

【審査官】梶田 真也

(56)【参考文献】

【文献】国際公開第２０１６／０２５９０８（ＷＯ，Ａ２）

【文献】国際公開第２０１７／０３４６８９（ＷＯ，Ａ１）

【文献】特開２０１６－１６９００１（ＪＰ，Ａ）

【文献】米国特許出願公開第２００８／００２９７０１（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｓ ７／４８ － ７／５１

Ｇ０１Ｓ １７／００ － １７／９５

Ｇ０１Ｂ １１／００ － １１／３０

Ｇ０１Ｃ ３／００ － ３／３２

Ｇ０８Ｇ １／００ － ９９／００

(57)【特許請求の範囲】

【請求項1】

ＬＡＤＡＲ送信機と、プロセッサと、を備える装置であって、
前記ＬＡＤＡＲ送信機は、視野内の複数の測距点に向けて、複数のＬＡＤＡＲフレームに対応する複数のＬＡＤＡＲパルスを送信するように構成されており、
前記プロセッサは、（１）前記視野に関するデータを処理するプロセスと、（２）前記処理されたデータに基づいて、複数の規定されたショットリストフレームの中から前記ＬＡＤＡＲ送信機の規定されたショットリストフレームを選択するプロセスと、を実施するように構成されており、前記規定されたショットリストフレームは、所定のＬＡＤＡＲフレーム内の前記ＬＡＤＡＲパルスによる目標設定のための前記視野内の複数の座標を識別し、
前記ＬＡＤＡＲ送信機は、前記選択されたショットリストフレームに応じて、前記所定のＬＡＤＡＲフレームの前記ＬＡＤＡＲパルスを送信するプロセスを実施するようにさらに構成されている、
装置。

【請求項2】

前記プロセッサは、前記処理するプロセス、前記選択するプロセスおよび前記送信するプロセスをフレームごとに繰り返し実施するようにさらに構成されている、
請求項１に記載の装置。

【請求項3】

前記プロセッサは、前記処理するプロセス、前記選択するプロセスおよび前記送信するプロセスをフレームごとに繰り返し実施するようにさらに構成され、これにより複数の異なる規定されたショットリストフレームは、複数の異なるＬＡＤＡＲフレームに対して選択される、
請求項２に記載の装置。

【請求項4】

前記処理されたデータは、前記視野の複数の特性を表す特性データを含む、
請求項１～３のいずれか１項に記載の装置。

【請求項5】

前記特性データは、前記視野内の物体を表すデータを含む、
請求項４に記載の装置。

【請求項6】

前記装置は、前記送信されたＬＡＤＡＲパルスの反射を受信するように構成されたＬＡＤＡＲ受信機をさらに備え、
前記プロセッサは、前記受信された反射に基づいて前記視野に関する射程情報を計算するようにさらに構成され、前記処理されたデータは、前記計算された射程情報を含む、
請求項１～５のいずれか１項に記載の装置。

【請求項7】

前記装置は、前記視野に対応する画像データを生成するように構成されたカメラをさらに備え、
前記処理されたデータは、前記生成された画像データを含む、
請求項６に記載の装置。

【請求項8】

前記カメラは、前記生成された画像データが前記ＬＡＤＡＲ受信機の前記視野に対応するように、前記ＬＡＤＡＲ受信機と共に照準されている、
請求項７に記載の装置。

【請求項9】

前記生成された画像データは、複数の画像フレームを含み、前記プロセッサは、
前記カメラおよびＬＡＤＡＲフレームによって生成された画像フレームを空間的に整列させることと、
前記画像フレームおよび前記ＬＡＤＡＲフレーム上でエッジ検出を実施して、前記画像フレームおよび前記ＬＡＤＡＲフレーム内の物体を検出することと、
前記エッジ検出および前記画像フレームと前記ＬＡＤＡＲフレームとの前記空間的な整列に基づいて、前記物体に関する動きデータを生成することと、
を行うようにさらに構成されている、
請求項７または８のいずれかに記載の装置。

【請求項10】

前記ＬＡＤＡＲ送信機は、
複数の走査可能なミラーと、
前記走査可能なミラーに対する制御を介して前記測距点に向けて、前記ＬＡＤＡＲ送信機を照準させるように構成されたビームスキャナコントローラと、
を含む、
請求項１～９のいずれか１項に記載の装置。

【請求項11】

複数の前記規定されたショットリストフレームの各々は、これらの規定されたショットリストフレームを前記所定のＬＡＤＡＲフレームに対してパラメータ化することを可能にする複数の変数を含む、
請求項１～１０のいずれか１項に記載の装置。

【請求項12】

前記変数は、前記ショットリストフレームのＬＡＤＡＲパルス間の間隔、前記ショットリストフレームの前記ＬＡＤＡＲパルスによって規定されるパターン、および／または、前記ショットリストフレームのＬＡＤＡＲパルスによる目標設定のための特定の座標のうちの少なくとも１つを制御する、
請求項１１に記載の装置。

【請求項13】

前記規定されたショットリストフレームは、ラスタエミュレーションショットリストフレームを含む、
請求項１～１２のいずれか１項に記載の装置。

【請求項14】

前記規定されたショットリストフレームは、フォビエーションショットリストフレームを含む、
請求項１～１３のいずれか１項に記載の装置。

【請求項15】

前記フォビエーションショットリストフレームは、仰角フォビエーションショットリストフレームを含む、
請求項１４に記載の装置。

【請求項16】

前記フォビエーションショットリストフレームは、方位角フォビエーションショットリストフレームを含む、
請求項１４または１５のいずれかに記載の装置。

【請求項17】

前記フォビエーションショットリストフレームは、重心フォビエーションショットリストフレームを含む、
請求項１４～１６のいずれか１項に記載の装置。

【請求項18】

前記規定されたショットリストフレームは、ランダムサンプリングショットリストフレームを含む、
請求項１～１７のいずれか１項に記載の装置。

【請求項19】

前記規定されたショットリストフレームは、関心領域ショットリストフレームを含む、
請求項１～１８のいずれか１項に記載の装置。

【請求項20】

前記関心領域ショットリストフレームは、少なくとも１つの境界ボックスを含む、
請求項１９に記載の装置。

【請求項21】

前記規定されたショットリストフレームは、画像で喚起されるショットリストフレームを含む、
請求項１～２０のいずれか１項に記載の装置。

【請求項22】

前記画像で喚起されるショットリストフレームは、前記視野内のエッジに基づいている、
請求項２１に記載の装置。

【請求項23】

前記画像で喚起されるショットリストフレームは、前記視野内の影に基づいている、
請求項２１に記載の装置。

【請求項24】

前記規定されたショットリストフレームは、マップで喚起されるショットリストフレームを含む、
請求項１～２３のいずれか１項に記載の装置。

【請求項25】

前記装置は、ＬＡＤＡＲ受信機をさらに含み、
前記ＬＡＤＡＲ送信機は、視野内の目標に向けてＬＡＤＡＲフレーム内のＬＡＤＡＲパルスのクラスタを送信するようにさらに構成されており、前記クラスタ内の複数の前記ＬＡＤＡＲパルスの各々は、離間されているが、前記視野内の指定された距離で前記クラスタ内の他のＬＡＤＡＲパルスのうちの少なくとも１つと重複しており、
前記ＬＡＤＡＲ受信機は、前記送信されたＬＡＤＡＲパルスのクラスタの反射を受信するように構成されており、
前記プロセッサは、（１）前記受信された反射を表すデータを処理し、（２）前記処理されたデータに基づいて、前記目標のフレーム内の動きデータを計算するようにさらに構成されており、前記規定されたショットリストフレームを選択するために使用される前記処理されたデータは、前記計算されたフレーム内の動きデータを含む、
請求項１～２４のいずれか１項に記載の装置。

【請求項26】

プロセッサが、ＬＡＤＡＲシステムの視野に関するデータを処理することと、
プロセッサが、前記処理されたデータに基づいて、複数の規定されたショットリストフレームの中から規定されたショットリストフレームを選択することであって、前記規定されたショットリストフレームが、所定のＬＡＤＡＲフレーム内の複数のＬＡＤＡＲパルスによる目標設定のための前記視野内の複数の座標を識別することと、
前記選択されたショットリストフレームに従って、前記視野内の複数の測距点に向けて、前記所定のＬＡＤＡＲフレームの複数のＬＡＤＡＲパルスを送信することと、
を含む方法。

【請求項27】

前記方法は、前記処理すること、前記選択することおよび前記送信することをフレームごとに繰り返し実施することをさらに含む、
請求項２６に記載の方法。

【請求項28】

前記方法は、複数の異なる規定されたショットリストフレームが複数の異なるＬＡＤＡＲフレームに対して選択されるように、前記処理すること、前記選択することおよび前記送信することをフレームごとに繰り返し実施することをさらに含む、
請求項２７に記載の方法。

【請求項29】

前記処理されたデータは、前記視野の複数の特性を表す特性データを含む、
請求項２６～２８のいずれか１項に記載の方法。

【請求項30】

前記特性データは、前記視野内の物体を表すデータを含む、
請求項２９に記載の方法。

【請求項31】

前記方法は、
前記送信されたＬＡＤＡＲパルスの反射を受信することと、
プロセッサが、前記受信された反射に基づいて、前記視野に関する射程情報を計算することと、
をさらに含み、
前記処理されたデータは、前記計算された射程情報を含む、
請求項２６～３０のいずれか１項に記載の方法。

【請求項32】

前記方法は、カメラが、前記視野に対応する画像データを生成することをさらに含み、
前記処理されたデータは、前記生成された画像データを含む、
請求項３１に記載の方法。

【請求項33】

前記カメラは、前記生成された画像データが、前記受信することを実施するＬＡＤＡＲ受信機の前記視野に対応するように、前記ＬＡＤＡＲ受信機と共に照準されている、
請求項３２に記載の方法。

【請求項34】

前記生成された画像データは、複数の画像フレームを含み、前記方法は、
プロセッサが、前記カメラおよびＬＡＤＡＲフレームによって生成された画像フレームを空間的に整列させることと、
プロセッサが、前記画像フレームおよび前記ＬＡＤＡＲフレーム上でエッジ検出を実施して、前記画像フレームおよび前記ＬＡＤＡＲフレーム内の物体を検出することと、
プロセッサが、前記エッジ検出および前記画像フレームと前記ＬＡＤＡＲフレームとの前記空間的な整列に基づいて、前記物体に関する動きデータを生成することと、
をさらに含む、
請求項３２または３３のいずれかに記載の方法。

【請求項35】

前記送信することは、ＬＡＤＡＲ送信機によって実施され、前記ＬＡＤＡＲ送信機は、
複数の走査可能なミラーと、
前記走査可能なミラーに対する制御を介して前記測距点に向けて、前記ＬＡＤＡＲ送信機を照準させるように構成されたビームスキャナコントローラと、
を含む、
請求項２６～３４のいずれか１項に記載の方法。

【請求項36】

複数の前記規定されたショットリストフレームの各々は、これらの規定されたショットリストフレームを前記所定のＬＡＤＡＲフレームに対してパラメータ化することを可能にする複数の変数を含む、
請求項２６～３５のいずれか１項に記載の方法。

【請求項37】

前記変数は、前記ショットリストフレームのＬＡＤＡＲパルス間の間隔、前記ショットリストフレームの前記ＬＡＤＡＲパルスによって規定されるパターン、および／または、前記ショットリストフレームのＬＡＤＡＲパルスによる目標設定のための特定の座標のうちの少なくとも１つを制御する、
請求項３６に記載の方法。

【請求項38】

前記規定されたショットリストフレームは、ラスタエミュレーションショットリストフレームを含む、
請求項２６～３７のいずれか１項に記載の方法。

【請求項39】

前記規定されたショットリストフレームは、フォビエーションショットリストフレームを含む、
請求項２６～３８のいずれか１項に記載の方法。

【請求項40】

前記フォビエーションショットリストフレームは、仰角フォビエーションショットリストフレームを含む、
請求項３９に記載の方法。

【請求項41】

前記フォビエーションショットリストフレームは、方位角フォビエーションショットリストフレームを含む、
請求項３９または４０のいずれかに記載の方法。

【請求項42】

前記フォビエーションショットリストフレームは、重心フォビエーションショットリストフレームを含む、
請求項３９～４１のいずれか１項に記載の方法。

【請求項43】

前記規定されたショットリストフレームは、ランダムサンプリングショットリストフレームを含む、
請求項２６～４２のいずれか１項に記載の方法。

【請求項44】

前記規定されたショットリストフレームは、関心領域ショットリストフレームを含む、
請求項２６～４３のいずれか１項に記載の方法。

【請求項45】

前記関心領域ショットリストフレームは、少なくとも１つの境界ボックスを含む、
請求項４４に記載の方法。

【請求項46】

前記規定されたショットリストフレームは、画像で喚起されるショットリストフレームを含む、
請求項２６～４５のいずれか１項に記載の方法。

【請求項47】

前記画像で喚起されるショットリストフレームは、前記視野内のエッジに基づいている、
請求項４６に記載の方法。

【請求項48】

前記画像で喚起されるショットリストフレームは、前記視野内の影に基づいている、
請求項４６に記載の方法。

【請求項49】

前記規定されたショットリストフレームは、マップで喚起されるショットリストフレームを含む、
請求項２６～４８のいずれか１項に記載の方法。

【請求項50】

前記送信することは、視野内の目標に向けてＬＡＤＡＲフレーム内のＬＡＤＡＲパルスのクラスタを送信することをさらに含み、前記クラスタ内の複数の前記ＬＡＤＡＲパルスの各々は、離間されているが、前記視野内の指定された距離で前記クラスタ内の他のＬＡＤＡＲパルスのうちの少なくとも１つと重複しており、前記方法は、
ＬＡＤＡＲ受信機が、前記送信されたＬＡＤＡＲパルスのクラスタの反射を受信することと、
プロセッサが、前記受信された反射を表すデータを処理することと、
プロセッサが、前記処理されたデータに基づいて、前記目標のフレーム内の動きデータを計算することであって、前記選択することによって使用される前記処理されたデータが、前記計算されたフレーム内の動きデータを含むことと、
を含む、
請求項２６～４９のいずれか１項に記載の方法。

【請求項51】

前記ＬＡＤＡＲ送信機は、圧縮センシングを使用する、
請求項１～２５のいずれか１項に記載の装置。

【請求項52】

前記ＬＡＤＡＲシステムは、圧縮センシングを使用する、
請求項２６～５０のいずれか１項に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

関連特許出願の相互参照および優先権主張
本特許出願は、２０１８年７月２日に出願された「Ｉｎｔｅｌｌｉｇｅｎｔ Ｌａｄａｒ Ｓｙｓｔｅｍ ｗｉｔｈ Ｌｏｗ Ｌａｔｅｎｃｙ Ｍｏｔｉｏｎ Ｐｌａｎｎｉｎｇ Ｕｐｄａｔｅｓ」と題する米国仮特許出願第６２／６９３，０７８号に対する優先権を主張するものであり、この開示全体が参照により本明細書に組み込まれる。

【0002】

本特許出願はまた、２０１７年９月１５日に出願された「Ｉｎｔｅｌｌｉｇｅｎｔ Ｌａｄａｒ Ｓｙｓｔｅｍ ｗｉｔｈ Ｌｏｗ Ｌａｔｅｎｃｙ Ｍｏｔｉｏｎ Ｐｌａｎｎｉｎｇ Ｕｐｄａｔｅｓ」と題する米国仮特許出願第６２／５５８，９３７号に対する優先権を主張するものでもあり、この開示全体が参照により本明細書に組み込まれる。

【背景技術】

【0003】

導入
空中、地上、または海上を問わず、車両の安全な自律性は、動的障害物の迅速な精度、その特性評価、およびそれに対する迅速な対応に依存している。移動車両の自律障害物検出および動作計画に対する従来のアプローチを図１で示す。車両と共に使用するシステム１００は、センサ１０６のスイート１０４と組み合わせた動作計画システム１０２を含む。スイート１０４内のセンサ１０６は、障害物検出および動作計画プロセスで使用するためのセンサデータ１２０を有する動作計画システム１０２を提供する。動作計画システム１０２内のセンサデータ取り込みインターフェース１０８は、センサ１０６からセンサデータ１２０を受信し、センサデータ１２０をセンサデータリポジトリ１３０に記憶し、そこで処理を待つ。動作計画システム１０２内の動作計画インテリジェンス１１０は、読み出しまたは照会コマンド１２４をセンサデータリポジトリ１３０に発行し、要求されたセンサデータを照会１２４に対する応答１２６として受信する。次いで、インテリジェンス１１０は、この取得されたセンサデータを解析して、１つ以上の他の車両サブシステムに通信される車両の動きに関する決定１２８を行う。動作計画インテリジェンス１１０はまた、センサ１０６にタスク付与コマンド１２２を発行して、センサデータ取得の制御を行使することもできる。

【0004】

図１のシステム１００は、動作計画システム１０２およびセンサスイート１０４をマスタースレーブ階層関係で効果的に編成しており、これにより、動作計画システム１０２に大きな負担がかかっている。これらの処理の負担は、動作計画システム１０２がセンサデータを取り込み、記憶し、取得し、かつ解析するのにかかる時間量から生じる動き意思決定の遅延をもたらす。

【発明の概要】

【課題を解決するための手段】

【0005】

本技術の技術的改善として、本発明者らは、センサ１０６のうちの１つ以上と動作計画システム１０２との間の意思決定のより協調的なモデルを開示し、これによって、物体および異常検出に関するインテリジェンスのいくつかは、センサ１０６のうちの１つ以上に移動する。インテリジェントセンサがセンサデータから関心のある物体を検出した場合、インテリジェントセンサは、優先メッセージングまたは他の「高速経路」通知を介して動作計画システム１０２に通知することができる。この優先メッセージングは、動作計画システム１０２を割り込むベクトル割り込みとして機能して、動作計画システム１０２がインテリジェントセンサによって発見された新たに検出された脅威に迅速に焦点を合わせることができる。このように、図１で示すマスタースレーブ関係とは異なり、センサベースの動作計画への新しいより高速なアプローチの例示的な実施形態は、動作計画システムに優先メッセージ／割り込みを発行するための１つ以上のインテリジェントセンサの機能と相まって、異常検出のためのより多くのピアツーピアモデルを使用することができる。このモデルを使用すると、インテリジェントセンサによって検出された脅威を、動作計画システム１０２によって検討中のデータスタックの最上部にプッシュすることができる。

【0006】

本発明者らはまた、センサタスク付与のための「高速経路」も開示しており、ここでは、インテリジェントセンサによる脅威の検出は、動作計画システムによって要求されたセンサショットのパイプラインに新しいショット要求を挿入するように、インテリジェントセンサをトリガすることができる。これにより、インテリジェントセンサは、動作計画システムによって生成されるより低速な意思決定を待つ必要なく、新たに検出された脅威に関する追加のデータを迅速に得ることができる。

【0007】

さらに、例示的な実施形態では、本発明者らは、インテリジェントセンサが、圧縮センシングを使用してセンサデータのフレームを捕捉するために必要なＬＡＤＡＲショットの数を減少するＬＡＤＡＲシステムであり得ることを開示している。このようなＬＡＤＡＲシステムを脅威検出用の協働／共有モデルと組み合わせると、ＬＡＤＡＲシステムが、考えられる脅威に関して動作計画システムに「高速経路」優先メッセージを発行できる場合、レイテンシはさらに低減される。本明細書で使用する場合、「ＬＡＤＡＲ」という用語は、レーザーレーダー、レーザー検出および測距、ならびに光検出および測距（「ライダー」）のいずれかを指し、これらを包含する。

【0008】

さらに、本発明者らは、カメラがＬＡＤＡＲ受信機と共に照準され、ＬＡＤＡＲシステムの視野内の物体の低レイテンシ検出を提供する例示的な実施形態を開示する。周波数ベースのビームスプリッターを位置付けて、ＬＡＤＡＲ受信機およびカメラが同じ視野を共有することを容易にすることができる。

【0009】

さらに、本発明者らはまた、フレーム内に基づく物体の動きデータの計算を容易にするために、重複するＬＡＤＡＲパルスショットの密接したクラスタが使用される例示的な実施形態も開示している。これにより、視野内の物体の堅牢な運動モデルを低遅延に基づいて開発することができる。

【0010】

さらに、本発明者らはまた、ＬＡＤＡＲ送信機による使用のための複数の定義されたショットリストフレームの中から規定されたショットリストフレームを選択するための技法も開示し、ここでは、ＬＡＤＡＲパルスは、所定のフレームに関して、どこに目標が設定されるかを識別する。これらの選択は、ＬＡＤＡＲシステムの視野の１つ以上の特性を表す処理されたデータに基づいて行うことができ、ショットリストフレームの選択は、フレームごとに異なる場合がある。

【0011】

本発明のこれらおよび他の特徴および利点は、当業者に対して、以下に説明される。

【図面の簡単な説明】

【0012】

【図1】車両自律性のための従来の動作計画システムを開示する。

【図2】インテリジェントなＬＡＤＡＲシステムからの脅威検出に関する高速経路通知を含む例示的な実施形態による、車両自律性のための動作計画システムを開示する。

【図3A】脅威検出に関する高速経路通知を提供できるインテリジェントＬＡＤＡＲシステムの例示的な実施形態を開示する。

【図3B】脅威検出に関する高速経路通知を提供できるインテリジェントＬＡＤＡＲシステムの別の例示的な実施形態を開示する。

【図4】図３Ａまたは図３Ｂで示すものなどのインテリジェントＬＡＤＡＲシステムでの使用のためのＬＡＤＡＲ送信機サブシステムの例示的な実施形態を開示する。

【図5A】図３Ａまたは図３Ｂで示すものなどのインテリジェントＬＡＤＡＲシステムでの使用のためのＬＡＤＡＲ受信機サブシステムの例示的な実施形態を開示する。

【図5B】図３Ａまたは図３Ｂで示すものなどのインテリジェントＬＡＤＡＲシステムでの使用のためのＬＡＤＡＲ受信機サブシステムの別の例示的な実施形態を開示する。

【図6A】「高速経路」ＬＡＤＡＲタスク付与の例を示す。

【図6B】「高速経路」ＬＡＤＡＲタスク付与の例を示す。

【図6C】「高速経路」ＬＡＤＡＲタスク付与の例を示す。

【図7】例示的な実施形態の動作計画操作のシーケンスを、従来のシステムに対する比較タイミングの例と共に示す。

【図8】様々な種類の脅威の協働検出のための例示的な処理フローを開示する。

【図9】高エネルギー干渉源から保護するための例示的な保護回路を開示する。

【図10A】共に照準されるカメラが、ＬＡＤＡＲデータを処理するためのレイテンシを改善するために、ＬＡＤＡＲ受信機を支援する例示的な実施形態を示す。

【図10B】共に照準されるカメラが、ＬＡＤＡＲデータを処理するためのレイテンシを改善するために、ＬＡＤＡＲ受信機を支援する例示的な実施形態を示す。

【図10C】共に照準されるカメラが、ＬＡＤＡＲデータを処理するためのレイテンシを改善するために、ＬＡＤＡＲ受信機を支援する例示的な実施形態を示す。

【図10D】共に照準されるカメラが、ＬＡＤＡＲデータを処理するためのレイテンシを改善するために、ＬＡＤＡＲ受信機を支援する例示的な実施形態を示す。

【図11A】ＬＡＤＡＲショットの緊密なクラスタが、目標のフレーム内の動きデータの計算を容易にするために使用される例示的な処理フローを示す。

【図11B】ＬＡＤＡＲショットの緊密なクラスタが、目標のフレーム内の動きデータの計算を容易にするために使用される例示的な処理フローを示す。

【図12A】フレーム内の動きの計算を容易にするためのＬＡＤＡＲショットの例示的なクラスタパターンを示す。

【図12B】ビームクラスタおよび速度推定の例示的なデータテーブルを示す。

【図13A】ＬＡＤＡＲシステムのショットリストフレームのフレームごとの選択の例示的な処理フローを示す。

【図13B】図１３Ａの処理フローによってサポートされ得る異なる種類のショットリストフレームの例を示す。

【図13C】図１３Ａの処理フローによってサポートされ得る異なる種類のショットリストフレームの例を示す。

【図13D】図１３Ａの処理フローによってサポートされ得る異なる種類のショットリストフレームの例を示す。

【図13E】図１３Ａの処理フローによってサポートされ得る異なる種類のショットリストフレームの例を示す。

【図13F】図１３Ａの処理フローによってサポートされ得る異なる種類のショットリストフレームの例を示す。

【図13G】図１３Ａの処理フローによってサポートされ得る異なる種類のショットリストフレームの例を示す。

【図13H】図１３Ａの処理フローによってサポートされ得る異なる種類のショットリストフレームの例を示す。

【図13I】図１３Ａの処理フローによってサポートされ得る異なる種類のショットリストフレームの例を示す。

【図14】低レイテンシ脅威検出が有利であり得る例示的なシナリオを示す。

【発明を実施するための形態】

【0013】

図２は、動作計画に関する車両自律性のための例示的なシステム２００を開示している。この例では、動作計画システム２０２は、インテリジェントＬＡＤＡＲシステム２０６が検出された脅威に関する高速経路通知を提供できるような方法で、インテリジェントＬＡＤＡＲシステム２０６などのセンサとインタラクトする。従来の動作計画システムとセンサとの間のマスタースレーブ階層関係とは異なり、図２の例示的な実施形態は、インテリジェントＬＡＤＡＲシステム２０６と動作計画システム２０２との間のような協働意思決定モデルを使用し、それによって、物体および異常検出に関するインテリジェンスのいくつかがインテリジェントＬＡＤＡＲシステム２０６に位置付けられている。また、システム２００は、動作計画システム２０２に情報を提供するインテリジェントＬＡＤＡＲシステム２０６以外のセンサ（例えば、１つ以上のカメラ、１つ以上のレーダー、１つ以上の音響センサ、１つ以上の車両テレマティクスセンサ（例えば、ロックされたブレーキを検出できるブレーキセンサ、パンクしたタイヤを検出できるタイヤセンサ）など）を含み得ることも理解されるべきであるが、説明を容易にするために、そのような他のセンサは図２から省略されている。そのような他のセンサのうちの１つ以上はまた、任意に当業者が所望する場合には、本明細書に開示する協働意思決定技法も使用してもよいことが理解されるべきである。

【0014】

インテリジェントＬＡＤＡＲシステム２０６は、動作計画システム２０２に障害物検出および動作計画プロセスで使用するためのＬＡＤＡＲフレーム２２０を提供する。これらのＬＡＤＡＲフレーム２２０は、ＬＡＤＡＲシステムが、目標に設定される測距点でＬＡＤＡＲパルス２６０を発射し、次いで、反射されたＬＡＤＡＲパルス２６２を受信および処理することに応じて生成される。インテリジェントＬＡＤＡＲシステム２０６のＬＡＤＡＲ送信および受信機能をサポートするために使用できるＬＡＤＡＲシステムの例示的な実施形態は、米国特許出願番号第６２／０３８，０６５（２０１４年８月１５日出願）、ならびに米国特許出願第２０１６／００４７８９５号、同第２０１６／００４７８９６号、同第２０１６／００４７８９７号、同第２０１６／００４７８９８号、同第２０１６／００４７８９９号、同第２０１６／００４７９０３号、同第２０１６／００４７９００号、同第２０１７／０２４２１０８号、同第２０１７／０２４２１０５号、同第２０１７／０２４２１０６号、同第２０１７／０２４２１０３号、同第２０１７／０２４２１０４号、および同第２０１７／０３０７８７６号に記載されており、これらの各々の開示全体が参照により本明細書に組み込まれる。

【0015】

動作計画システム２０２内のセンサデータ取り込みインターフェース２０８は、インテリジェントＬＡＤＡＲシステム２０６からＬＡＤＡＲフレームデータ２２０を受信し、ＬＡＤＡＲフレームデータ２２０をセンサデータリポジトリ２３０に記憶し、そこで処理を待つ。動作計画システム２０２内の動作計画インテリジェンス２１０は、読み出しまたは照会コマンド２２４をセンサデータレポジトリ２３０に発行し、要求されたセンサデータを照会２２４に対する応答２２６として受信する。次いで、インテリジェンス２１０は、この取得されたセンサデータを解析して、１つ以上の他の車両サブシステム２３２に通信される車両の動きに関する決定２２８を行う。動作計画インテリジェンス２１０はまた、インテリジェントＬＡＤＡＲシステム２０６にショットリストタスク付与コマンド２２２を発行して、ＬＡＤＡＲパルス２６０がいつどこで目標に設定されるかに対する制御を行使することもできる。

【0016】

従来の動作計画システムに対する改善として、インテリジェントＬＡＤＡＲシステム２０６はまた、検出された脅威または他の異常について動作計画システム２０２に通知するセンサデータ取り込みインターフェース２０８への通知も提供する。この通知は、ＬＡＤＡＲフレームデータ２２０に付随する優先フラグ２５０の形態をとることができる。優先フラグ２５０およびＬＡＤＡＲフレームデータ２２０は一緒に、動作計画インテリジェンス２１０のための「高速」経路通知２５２として機能することができる。これは、新しいＬＡＤＡＲフレームデータ２２０がセンサデータリポジトリ２３０に取り込まれて記憶され、動作計画インテリジェンス２１０によって取得／処理された後にのみ、動作計画インテリジェンスが決定２２８を行う「低速」経路２５４とは対照的である。インテリジェントＬＡＤＡＲシステム２０６内のインテリジェンスがＬＡＤＡＲフレームデータ２２０内に脅威が存在する可能性があると決定した場合、インテリジェントＬＡＤＡＲシステム２０６は、優先フラグ２５０を「高」などに設定することができ、それにより、動作計画システムは、その優先フラグ２５０に付随するＬＡＤＡＲフレームデータ２２０が迅速に評価されるべきであると迅速に判定することができる。したがって、優先フラグ２５０は、動作計画インテリジェンス２１０の通常の処理キューを割り込むベクトル割り込みとして機能することができる。

【0017】

優先フラグ２５０は、多数の形態のいずれかをとることができる。例えば、優先フラグは、脅威がインテリジェントＬＡＤＡＲシステム２０６によって検出されたときに「高」とアサートされ、脅威が検出されなかったときに「低」とアサートされる単純なビット値であり得る。「高」優先フラグ２５０は、「高」優先フラグ２５０に付随するＬＡＤＡＲフレームデータ２２０が優先度に基づいて（例えば、考慮されるべき次のフレーム（複数可）として直ちに、など）、考慮されるべきであることを、センサデータ取り込みインターフェース２０８および動作計画インテリジェンス２１０に通知する。優先フラグ２５０は、ＬＡＤＡＲフレームデータ２２０と整合的にタイミング合わせされた別個の信号として動作計画システム２０２に提供されてもよく、またはＬＡＤＡＲフレームデータ２２０自体の中に埋め込まれてもよい。例えば、インテリジェントＬＡＤＡＲシステム２０６は、ＬＡＤＡＲフレームデータ２２０を動作計画システム２０２に通信するときに、ＬＡＤＡＲデータのフレームと共にヘッダーまたはラッパーを含むことができる。このヘッダー／ラッパーデータは、優先フラグ２５０を含むことができる。ヘッダー／ラッパーは、インテリジェントＬＡＤＡＲシステム２０６と動作計画システム２０２との間で共有される通信プロトコルに従って構成されて、両者の間で効果的なデータ通信を可能にすることができる。

【0018】

さらにまた、実施者は、優先事象の存在以上のものを通信する優先フラグ２５０を実装することを選択してもよい。優先フラグ２５０はまた、あるタイプの優先事象を符号化するようにも構成されてもよい。例えば、インテリジェントＬＡＤＡＲシステム２０６が異なるタイプの脅威／異常を検出して区別することができる場合、インテリジェントＬＡＤＡＲシステム２０６は、検出された脅威／異常のタイプをマルチビットの優先フラグ２５０に符号化することができる。例えば、インテリジェントＬＡＤＡＲシステム２０６が４種類の異なるタイプの脅威／異常を識別できる場合、優先フラグ２５０は２ビットで表すことができる。次いで、脅威／異常のタイプに関するこの情報を動作計画インテリジェンス２１０によって使用して、その意思決定をさらに強化および／または加速することができる。

【0019】

したがって、センサデータ取り込みインターフェース２０８は、（１）（リポジトリ２３０を現在の状態に保つために）「低速」経路２５４を介してセンサデータリポジトリ２３０にＬＡＤＡＲフレーム２２０を記憶し、（２）「高速」経路２５２を介してＬＡＤＡＲフレーム２２０を直接動作計画インテリジェンス２１０に渡すように（優先フラグ２５０によってそのように示された場合）構成することができる。これを達成するために、インターフェース２０８は、インテリジェントＬＡＤＡＲシステム２０６から到来優先フラグ２５０を読み出す論理を含むことができる。優先フラグに適切なビット（複数可）が設定されている場合、センサデータ取り込みインターフェース２０８は、付随するＬＡＤＡＲフレーム２２０を動作計画インテリジェンス２１０に渡す。優先フラグ２５０（または優先フラグ２５０から派生した信号）は、優先フラグ２５０が高である場合に、センサデータ取り込みインターフェース２０８によって動き計画インテリジェンス２１０に渡すこともできる。

【0020】

動作計画インテリジェンス２１０は、優先フラグ２５０がアサートされたときに、その処理を調整するための論理を含むことができる。例えば、動作計画インテリジェンス２１０は、処理状態を保持し、優先フラグ２５０の結果としてのベクトル割り込みに応じてコンテキストの切り替えを可能にするためのバッファを含むことができる。そのような処理を容易にするために、動作計画インテリジェンス２１０は、処理の異なるスレッド間の切り替え（または同時スレッド処理）を可能にするスレッドスタックマネージャを含み、動作計画インテリジェンス２１０が新たに検出された脅威または異常に迅速に集中することを可能にすることができる。

【0021】

図３Ａは、インテリジェントＬＡＤＡＲシステム２０６の例示的な実施形態を示す。インテリジェントＬＡＤＡＲシステム２０６は、ＬＡＤＡＲ送信機３０２、ＬＡＤＡＲ受信機３０４、ならびにＬＡＤＡＲシステムインターフェースおよび制御３０６を含むことができる。ＬＡＤＡＲシステム２０６はまた、カメラなどの環境検知システム３２０も含み得る。このアーキテクチャを有する好適なＬＡＤＡＲシステムの例は、上記で参照されて組み込まれた特許出願に開示されている。

【0022】

ＬＡＤＡＲ送信機３０４は、複数のＬＡＤＡＲパルス２６０を複数の測距点３１０（図示を容易にするために、単一のそのような測距点３１０が図３Ａに示されている）に向けて送信するように構成することができる。

【0023】

例示的な実施形態では、ＬＡＤＡＲ送信機３０２は、走査ミラーを含むＬＡＤＡＲ送信機の形態をとることができる。さらに、例示的な実施形態では、ＬＡＤＡＲ送信機３０２は、測距点絞り込みアルゴリズムを使用して、事前走査圧縮（これは、本明細書では「圧縮センシング」と呼ぶことができる）をサポートする。そのような実施形態はまた、測距点絞り込みをサポートするために、ＬＡＤＡＲ送信機３０２に環境シーンデータを提供する環境検知システム３２０も含み得る（図３Ａに示す環境検知システム３２０の出力から来る破線を参照）。制御命令は、ＬＡＤＡＲ送信機３０２内のレーザー源をいつ発射するかを指示し、送信機ミラーをどこに指すかを指示する。このようなＬＡＤＡＲ送信機の設計の例示的な実施形態は、上記で参照されて組み込まれた特許出願に見出すことができる。事前走査圧縮を使用することにより、そのようなＬＡＤＡＲ送信機３０２は、インテリジェントな測距点目標設定選択を通じて帯域幅をより良好に管理することができる。さらに、この事前走査圧縮はまた、従来のＬＡＤＡＲシステムと比較して脅威検出に関するレイテンシの低減にも寄与し、というのも、シーンの「ピクチャ」を作成するために目標に設定されて撮影される必要のある測距点がより少なくなるためであり、これは、その「ピクチャ」を作成し、それに応じて行動するために必要とされる時間量の短縮につながる。

【0024】

システムインターフェースおよび制御３０６内のＬＡＤＡＲタスク付与インターフェース３５４は、動作計画システム２０２からショットリストタスク付与２２２を受信することができる。このショットリストタスク付与２２２は、ＬＡＤＡＲ送信機３０２による使用のためのショットリストを規定して、走査エリア内の複数の測距点３１０に向けてＬＡＤＡＲパルス２６０を目標に設定することができる。また、動作計画インテリジェンス２１０（図２を参照）は、障害物検出および動作計画プロセスで使用するために、１つ以上の車両サブシステム２３２からフィードバック２３４を受信することができる。インテリジェンス２１０は、このフィードバック２３４を使用して、照会２２４の形成を、センサデータリポジトリ２３０および／またはインテリジェントＬＡＤＡＲシステム２０６のショットリストタスク付与２２２に案内するのに役立ち得る。さらに、車両サブシステム（複数可）２３２は、フェイルセーフショットリスト２３８を、インテリジェントＬＡＤＡＲシステム２０６に渡すために、動作計画インテリジェンス２１０に提供することができる。これと共に、ショットリストタスク２２２およびフェイルセーフショットリスト２３８は、インテリジェントＬＡＤＡＲシステム２０６のための「緊急」通知経路２３６として機能することができる。これは、動作計画インテリジェンス２１０が車両サブシステム２３２のデータをセンサデータリポジトリ２３０に送信して記憶する照会２２４とは対照的である。例として、フェイルセーフショットは、車両サブシステムの自己診断の失敗から生じることがある。例えば、車両のＧＰＳ読み出し値が誤っている場合、または走行距離計が誤動作している場合、ＬＡＤＡＲシステム２０６を使用して、車両を交通から安全に抽出できるまで、車両の速度および位置のプロビジョニングを再較正および／または想定することができる。フェイルセーフショットの別の例は、ショックアブソーバに大きなトルクが発生している場合である。ショットリストは、一時的な道路の陥没で発生したピッチヨーおよびロールの独立した評価を提供することができる。

【0025】

ＬＡＤＡＲ受信機３０４は、測距点３１０からこのＬＡＤＡＲパルスの反射２６２を受信する。ＬＡＤＡＲ受信機３０４は、測距点の距離［深度］および強度情報の決定をサポートするために、反射ＬＡＤＡＲパルス２６２を受信して処理するように構成することができる。さらに、受信機３０４は、（ｉ）送信パルスタイミングの事前知識、および（ｉｉ）到達角を決定するための複数の検出器の任意の組み合わせによって、空間位置情報［送信平面に対する水平配向および垂直配向］を判定することができる。ＬＡＤＡＲ受信機３０４の例示的な実施形態は、上記で参照されて組み込まれた特許出願に見出すことができる。

【0026】

ＬＡＤＡＲ受信機３０４によって生成された測距点データは、フレーム処理論理３５０に通信され得る。このフレーム処理論理３５０は、視野のサンプリングされた領域内の一連の測距点戻りからなど、測距点データからＬＡＤＡＲフレーム２２０を構築するように構成することができる。過去の点群情報からのフレーム差分などの技法を使用することができる。この経路に沿って生成されたフレーム（複数可）は、脅威を検出することをその目的としているため、非常にまばらになる可能性がある。例えば、当面のタスクが交差点での赤信号に違反していないことを確認している場合（例えば、ＬＡＤＡＲ搭載車の前の交差点を移動する場合）、フレームは、交差点に至るまでの道路にわたって動きを検知するために設定された測距点のトリップワイヤーであってもよい。

【0027】

例として、図３Ａは、システムインターフェースおよび制御３０６内に存在するものとして示されているフレーム処理論理３５０を示す。しかしながら、このフレーム処理論理３５０は、ＬＡＤＡＲ受信機３０４自体内など、他の場所に配備できることを理解されるべきである。

【0028】

フレーム処理論理３５０はまた、潜在的な脅威／異常に関して動作計画システム２０２と協働するための十分なインテリジェンスをＬＡＤＡＲシステム２０６に提供するために、脅威検出論理を含み得る。この脅威検出の一部として、フレーム処理論理３５０は、ＬＡＤＡＲ受信機３０４から受信された測距点データから点群３５２を構築することができる。点群３５２は、角度、射程、および強度の関数として示される空間内の点の集合であり得、これらは、フレーム化された関連するフィールド内でタイムスタンプが付され、履歴的に記憶され、追跡される。したがって、点群３５２は、以前の測距点戻りの幾何学的位置、強度、射程範囲、幅、および速度などの履歴データ、ならびにセンサデータ（およびそこから導出された物体データ）を含むことができる。点群３５２を使用して脅威を認識する例は、点群物体の時間履歴を確認することである。例えば、不規則に脱線している車両は、その車両を表す物体の周りの点群の「小刻みに動く」点を見ることによって最も明らかになる脅威である。点群３５２は、車両のＬＡＤＡＲ視野が過去の収集データと交差する限り、さかのぼって照会することができる。したがって、点群３５２は、潜在的な脅威／異常を評価するために、ＬＡＤＡＲシステム２０６によって活用され得るセンサデータのためのローカルリポジトリとして機能することができる。さらに、点群３５２はまた、ＬＡＤＡＲ以外のセンサ（例えば、カメラ）から得られた情報を記憶することもできる。

【0029】

脅威検出インテリジェンスは、点群３５２および新しく入ってくる任意の測距点データ（および／または他のセンサデータ）を活用して、ＬＡＤＡＲシステム２０６（および／または他のセンサ（複数可））によって視野が任意の脅威または異常を含むかどうかを判定するように構成することができる。この処理を実施するために、脅威検出インテリジェンスは、シーン内の様々な物体を経時的に追跡するステートマシンを使用して、位置および外観（例えば、形状、色など）が経時的にどのように変化するかを評価することができる。そのような追跡に基づいて、脅威検出インテリジェンスは、優先フラグ２５０を「高」または「低」のどちらに設定すべきかに関する決定を行うことができる。このような脅威検出の様々なタイプの例を、以下の図８に関連して記載する。

【0030】

図４は、ＬＡＤＡＲ送信機３０２の例示的な実施形態を示す。ＬＡＤＡＲ送信機３０２は、レーザー光学系４０４と光学的に整列したレーザー源４０２、ビームスキャナ４０６、および透過光学系４０８を含むことができる。これらの構成要素は、所望の用途で使用するのに適した形状の設置面積を提供するパッケージに収容することができる。例えば、レーザー源４０２がファイバレーザーまたはファイバ結合レーザーである実施形態の場合、レーザー光学系４０４、ビームスキャナ４０６、および任意の受信機構成要素は、レーザー源４０２を含まない第１のパッケージに一緒に収容することができる。レーザー源４０２は、第２のパッケージに収容することができ、ファイバを使用して、第１のパッケージを第２のパッケージに接続することができる。このような配置により、レーザー源４０２がないことに起因して、第１のパッケージをより小さくかつよりコンパクトにすることができる。さらに、レーザー源４０２は、ファイバ接続を介して第１のパッケージ化から離れて位置付けることができるので、そのような配置は、システムの設置面積に関してより大きな柔軟性を実施者に提供する。

【0031】

システム制御３０６から受信されたショットリスト４００などの制御命令に基づいて、ビームスキャナコントローラ４１０は、ビームスキャナ４０６によって実施される走査の性質を制御すると共に、レーザー源４０２の発射を制御するように構成することができる。閉ループフィードバックシステム４１２をビームスキャナ４０６およびビームスキャナコントローラ４１０に関して使用することができ、これにより、上記で参照されて組み込まれた特許出願で説明されるように、ビームスキャナ４０６の走査位置を精緻に制御できるようにする。

【0032】

レーザー源４０２は、本明細書に記載されるように、ＬＡＤＡＲパルス送信に適した多数のレーザー種類のうちの任意のものであり得る。

【0033】

例えば、レーザー源４０２は、パルスファイバレーザーであり得る。パルスファイバレーザーは、約１～４ナノ秒のパルス持続時間、および約０．１～１００μＪ／パルスのエネルギー含有量を使用することができる。パルスファイバレーザーの反復率は、ｋＨｚの射程（例えば、約１～５００ｋＨｚ）であり得る。さらに、パルスファイバレーザーは、上記で参照されて組み込まれた特許出願に記載されるように、シングルパルス方式および／またはマルチパルス方式を使用することができる。しかしながら、これらのレーザー特性のために他の値を使用できることを理解すべきである。例えば、より低いまたはより高いエネルギーパルスが使用される場合がある。別の例として、反復率は、１０のＭＨｚの射程のように、より高くなり得る（ただし、そのような高い反復率は、現在の市場価格の下で比較的高価なレーザー源の使用を必要とすることが予想される）。

【0034】

別の例として、レーザー源４０２は、パルスＩＲダイオードレーザー（ファイバ結合の有無を問わない）であり得る。パルスＩＲダイオードレーザーは、約１～４ナノ秒のパルス持続時間および約０．０１～１０μＪ／パルスのエネルギー量を使用することができる。パルスＩＲダイオードファイバの反復率は、ｋＨｚまたはＭＨｚの射程（例えば、約１ｋＨｚ～５ＭＨｚ）であり得る。さらに、パルスＩＲダイオードレーザーは、上記で参照されて組み込まれた特許出願に記載されているように、シングルパルス方式および／またはマルチパルス方式を使用することができる。

【0035】

レーザー光学系４０４は、レーザー源４０２によって生成されたレーザービームをコリメートするように機能する望遠鏡を含むことができる。レーザー光学系は、所望のビーム発散およびビーム品質を提供するように構成することができる。例として、実施者の所望に応じて、ダイオードからミラーへの結合光学系、ダイオードからファイバへの結合光学系、およびファイバからミラーへの結合光学系を使用することができる。

【0036】

ビームスキャナ４０６は、ＬＡＤＡＲパルス２６０で所望の測距点を目標に設定することができるような走査機能をＬＡＤＡＲ送信機３０２に提供する構成要素である。ビームスキャナ４０６は、レーザー源４０２から（レーザー光学系４０４を介して）到来するＬＡＤＡＲパルスを受信し、このＬＡＤＡＲパルスを可動ミラーからの反射を介して、所望のダウンレンジ位置（ショットリスト上の測距点など）に方向付ける。ミラーの移動は、ビームスキャナコントローラ４１０から受信された１つ以上の駆動電圧波形４１６によって制御することができる。ビームスキャナ４０６は、多数の構成のうちのいずれかを使用することができる。例えば、ビームスキャナは、デュアル微小電気機械システム（ＭＥＭＳ）ミラー、回転するポリゴンミラーと組み合わせたＭＥＭＳミラー、または他の構成を含むことができる。好適なＭＥＭＳミラーの例は、単一表面の先端／傾斜／ピストンＭＥＭＳミラーである。さらなる例として、例示的なデュアルＭＥＭＳミラーの実施形態では、単一表面先端ＭＥＭＳミラーおよび単一表面傾斜ＭＥＭＳミラーを使用することができる。しかしながら、これらのＭＥＭＳミラーのアレイを使用することもできることが理解されるべきである。また、デュアルＭＥＭＳミラーは、いくつかの周波数のいずれかで動作することができ、その例は上記で参照されて組み込まれた特許出願に記載されており、追加の例が以下で説明される。他の配置の別の例として、小型ガルバノミラーを高速軸走査ミラーとして使用することができる。別の例として、音響光学偏向ミラーを遅軸走査ミラーとして使用することができる。さらに、スパイラル動的走査パターンを使用する例示的な実施形態の場合、ミラーは、共振ガルバノミラーとすることができる。このような代替ミラーは、Ｅｌｅｃｔｒｏ－Ｏｐｔｉｃａｌ Ｐｒｏｄｕｃｔｓ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ｎｅｗ Ｙｏｒｋなどの、多数の供給元のいずれかから入手することができる。別の例として、Ｖｅｓｃｅｎｔ Ｐｈｏｔｏｎｉｃｓ ｏｆ Ｃｏｌｏｒａｄｏから入手可能なものなどの、フォトニックビームステアリングデバイスを、遅軸走査ミラーとして使用することができる。さらに別の例として、ＤＡＲＰＡ ＳＷＥＥＰＥＲプログラムによって開発されているものなどのフェーズドアレイデバイスを、速軸および／または遅軸ミラーの代わりに使用することができる。最近では、Ｂｏｕｌｄｅｒ Ｎｏｎｌｉｎｅａｒ Ｓｙｓｔｅｍｓ、Ｍｅａｄｏｗｌａｒｋ、およびＢｅａｍｃｏによって提供されているような液晶空間光変調器（ＳＬＭ）の使用を検討することができる。さらに、量子ドットＳＬＭが最近提案されており（Ｔｅｃｈｎｉｃａｌ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｄｒｅｓｄｅｎ、２０１１ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｌａｓｅｒｓ ａｎｄ Ｅｌｅｃｔｒｏ－Ｏｐｔｉｃｓを参照）、これは、例示的な実施形態で使用される場合に、より速いスイッチング時間を確保する。

【0037】

また、ビームスキャナ４０６がデュアルミラーを含む例示的な実施形態では、ビームスキャナ４０６は、第１のミラーと第２のミラーとの間にリレー結像光学系を含むことができ、これにより、２つの小さな速軸ミラーを使用する（例えば、１つの小さな高速ミラーと１つの長い低速ミラーとは対照的に、２つの小さな高速ミラーを使用する）ことが可能になる。

【0038】

送信光学系４０８は、ビームスキャナ４０６によって目標に設定されるように、ＬＡＤＡＲパルスを、開口部を通して所望の位置に送信するように構成されている。透過光学系４０８は、実施者の要望に応じて、いくつかの構成のいずれかを有することができる。例えば、環境検知システム３２０および送信機３０２は、送信光学系４０８の一部としてダイクロイックビームスプリッタを使用して、１つの経路に光学的に結合することができる。別の例として、透過光学系は、上記で参照されて組み込まれた特許出願またはデスコーピング［例えば、広角］光学系に記載されている拡大光学系を含むことができる。さらに、整列ピックオフビームスプリッタを透過光学系４０８の一部として含めることができる。

【0039】

図５Ａは、ＬＡＤＡＲ受信機３０４の例示的な実施形態を示す。ＬＡＤＡＲ受信機３０４内の読み出し回路は、検出器アレイ５００内のどのセンサ５０２が信号処理回路５０６に渡されるかを選択するためにマルチプレクサ５０４を使用することができる。例示的な実施形態では、センサ５０２は、前置増幅器に結合された光検出器を含み得る。例示的な実施形態では、光検出器は、ＰＩＮフォトダイオードであり得、関連する前置増幅器は、トランスインピーダンス増幅器（ＴＩＡ）であり得る。図５Ａによって示される例示的な実施形態では、複数の個別にアドレス指定可能な光センサ５０２を含む検出器アレイ５００は、ＬＡＤＡＲパルス反射２６２を検知するために使用される。各光センサ５０２は、アレイ５００の画素として特徴付けることができ、各光センサ５０２は、入射光に応じてそれ自体のセンサ信号５１０を生成する。したがって、アレイ５００は、複数の光検出器画素を含む検出領域を有する光検出器を含むことができる。図５Ａの実施形態は、所定の時間に信号処理回路５０６に渡される、到来センサ信号５１０を分離するマルチプレクサ５０４を使用する。そうすることで、図５Ａの実施形態は、センサ読み出しを選択的に分離するための機能が開示されていない、米国特許第８，０８１，３０１号によって開示されるものなどのＬＡＤＡＲ受信機設計と比較して、特に周囲受動光に対してより良好なＳＮＲの受信を提供する。したがって、信号処理回路５０６は、一度に単一の到来センサ信号５１０（または到来センサ信号５１０のいくつかのサブセット）で動作することができる。

【0040】

マルチプレクサ５０４は、反射されたＬＡＤＡＲパルスを検出する必要を満たすために十分に高いスイッチングレートを提供する任意のマルチプレクサチップまたは回路であり得る。例示的な実施形態では、マルチプレクサ５０４は、検出器アレイ５００のセンサ５０２によって生成された光電流信号を多重化する。しかしながら、マルチプレクサ５０４が検出器アレイ５００のセンサ５０２によって生成された結果として生じる電圧信号を多重化する他の実施形態が使用されてもよいことが理解されるべきである。さらに、図５ＡのＬＡＤＡＲ受信機３０４が、事前走査圧縮センシングを使用する走査ＬＡＤＡＲ送信機３０２と対になっている例示的な実施形態（上述され、上記で参照されて組み込まれた特許出願に記載されている測距点絞り込みを使用する例示的な実施形態など）では、ＬＡＤＡＲ送信機３０２によって提供される測距点の選択的な目標設定は、受信機３０４がＳＮＲを改善するために関心のある画素に検出器の読み出しを分離できるように、マルチプレクサ５０４によって提供される選択的読み出しと良好に対になっている。

【0041】

制御回路５０８は、到来センサ信号５１０のうちのどれが信号処理回路５０６に渡されるかを管理する制御信号５１２を生成するように構成することができる。ＬＡＤＡＲ受信機３０４が、走査パターンに従って事前走査圧縮センシングを使用する走査ＬＡＤＡＲ送信機３０２と対になっている例示的な実施形態では、制御信号５１２は、マルチプレクサ５０４に、送信機のショットリスト（そのような送信機３０２によって使用され得るショットリストの例は、上記で参照されて組み込まれた特許出願に記載されている）に従うパターンで、個別の光センサ５０２に選択的に接続させることができる。制御信号５１２は、ショットリストを介した測距点の目標設定に従うパターンで、アレイ５００内のセンサ５０２を選択することができる。したがって、送信機３０２がＬＡＤＡＲパルス２６０で走査エリアの画素ｘ、ｙを目標に設定にしている場合、マルチプレクサ５０４は、検出器アレイ５００からの画素ｘ、ｙの読み出しを引き起こす制御信号５１２を生成することができる。

【0042】

制御信号５１２は、一度に単一のセンサ５０２を選択するのに有効であり得るか、または一度に複数のセンサ５０２を選択するのに有効であり得るが、その場合、マルチプレクサ５０４は、信号処理回路５０６によるさらなる処理のために、到来センサ信号５１０のサブセットを選択することが理解されるべきである。このような複数のセンサは、複合画素（またはスーパー画素）と呼ばれ得る。例えば、アレイ５００は、複合画素のＪｘＫグリッドに分割されてもよく、各複合画素は、Ｘ個の個別のセンサ５０２から構成される。加算器回路は、検出器アレイ５００とマルチプレクサ５０４との間に位置付けることができ、各加算器回路は、単一の複合画素に対応し、対応する複合画素を構成する画素からの読み出し値（センサ信号５１０）を合計するように構成されている。

【0043】

また実施者が所望する場合、検出器アレイ５００とマルチプレクサ５０４との間にいくつかの前置増幅回路を含めることを選択し得ることも理解されるべきである。

【0044】

実施者が所望する場合、上述された脅威検出インテリジェンスおよび点群３５２は、信号処理回路５０６の一部として含めることができる。そのような場合、信号処理回路５０６は、フレームデータ２２０および対応する優先フラグ２５０を生成することができる。

【0045】

図５Ｂの例では、信号処理回路５０６は、選択されたセンサ信号（複数可）を増幅する増幅器５５０、増幅された信号を複数のデジタルサンプルに変換するアナログ／デジタル変換器（ＡＤＣ）５５２、および処理された信号データを生成するためにデジタルサンプルに対して多数の処理動作を実施するように構成されたフィールドプログラマブルゲートアレイ（ＦＰＧＡ）５５４を含む。信号処理回路５０６は必ずしもＦＰＧＡ５５４を含む必要はなく、信号処理回路５０６の処理能力は、中央処理装置（ＣＰＵ）、マイクロコントローラ装置（ＭＣＵ）、グラフィックス処理装置（ＧＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、および／または特定用途向け集積回路（ＡＳＩＣ）などの、本明細書に記載された動作を実施するのに適した任意のプロセッサに配備することができることが理解されるべきである。しかしながら、本発明者らは、ＦＰＧＡ５５４が、低レイテンシ脅威検出に有益に寄与する好適な高性能および低処理遅延レイテンシを提供することが期待されることに留意している。

【0046】

増幅器５５０は、低ノイズＲＦ増幅器または低ノイズオペアンプのような低雑音増幅器の形態をとることができる。ＡＤＣ５５２は、ＮチャネルＡＤＣの形態をとることができる。

【0047】

ＦＰＧＡ５５４は、デジタルサンプルを処理し、最終的には反射ＬＡＤＡＲパルスに基づいて測距点に関する射程および／または強度に関する情報を返すように構成されたハードウェア論理を含む。例示的な実施形態では、ＦＰＧＡ５５４は、ＡＤＣ５５２によって生成されたデジタルサンプル上でピーク検出を実施するように構成することができる。例示的な実施形態では、そのようなピーク検出は、±１０ｃｍ以内の射程情報を計算するのに有効であり得る。ＦＰＧＡ５５４は、検出されたピークが曲線上のどこに適合するかをより正確に識別する補間をサポートするために、サンプルが多項式上に曲線適合されるデジタルサンプル上で、補間を実施するように構成することもできる。例示的な実施形態では、そのような補間は、±５ｍｍ以内の射程情報を計算するのに有効であり得る。

【0048】

さらに、ＦＰＧＡ５５４は、信号処理回路５０６がフレームデータ２２０および優先フラグ２５０を動作計画システム２０２に提供できるように、上述された脅威検出インテリジェンスを実装することもできる。

【0049】

図５Ｂによって示されるものなどの信号処理回路５０６を使用する受信機３０４が、上述され、上記で参照されて組み込まれた特許出願に記載されたような圧縮センシングを使用するＬＡＤＡＲ送信機３０２と対になっている場合、ＬＡＤＡＲ送信機は、従来の送信機よりも少ないＬＡＤＡＲパルスをフレームごとに空気中に入れるので、受信機３０４は、検出されたパルスに対して信号処理を実施する時間をより多く有し、これにより、信号処理回路５０６に課せられる処理負担が軽減される。さらに、処理性能をさらに向上させるために、ＦＰＧＡ５５４は、検出された信号の異なる部分がＦＰＧＡの異なるハードウェア論理リソースによって同時に処理されるように、ＦＰＧＡの並列ハードウェア論理リソースを活用するように設計することができ、それによって、各測距点の正確な射程および／または強度情報を計算するのに必要な時間をさらに短縮する。

【0050】

さらに、図５Ｂの信号処理回路は、検出を最大化するためにＦＰＧＡ５５４が信号データにもたらすことができる信号処理に起因して、低いＳＮＲを示す到来信号で動作することができる。ＳＮＲは、送信時のパルス持続時間を変化させることによって、さらに向上させることができる。例えば、信号処理回路が測距点で通常よりも高いクラッタ（または他のレーザー干渉器の存在）を明らかにした場合、この情報を、送信機が次にその測距点を検査するときに送信機にフィードバックすることができる。一定のピークパワーを有するパルスは、Ｇの倍数によって拡張され、Ｇ倍のエネルギーを有する。同時にそれは、帯域幅がＧ分の１になる。したがって、ローパスフィルタをデジタル的に行うと、ＳＮＲはＧ^１／２だけ増加することが予想され、固定反射率の検出射程はＧ^１／４だけ増加することが予想される。この改善は、熱流ノイズ（ジョンソンノイズとも呼ばれる）、暗電流、背景などの目標外部ノイズ源のすべてに当てはまると考えられ、というのも、これらはすべて

【数1】

として変化するためである。上記の説明では、広帯域化された伝送パルスを前提としている。パルスは、環境の影響に起因して伸張されることがある。例えば、ビームの回折限界内に射程が投影されている目標は、戻りパルスを伸張する。デジタルローパスフィルタリングは、送信パルスを修正することなく、ここでのＳＮＲを

【数2】

だけ改善することが期待される。また、環境からのパルス伸張を低減するために、送信パルスの持続時間を短縮することもできる。パルスエネルギーを固定してパルスを短くしても、ピークパワーの増加が可能であれば、ＳＮＲは向上する。上記の解析ではホワイトノイズを想定しているが、実施者は、他のノイズスペクトルへの拡張も単純であることを認識する。

【0051】

ＬＡＤＡＲ送信機３０２およびＬＡＤＡＲ受信機３０４の好適な設計の例は、上記で参照されて組み込まれた特許出願に開示されているが、本発明者らはさらに、実施者が所望であれば、インテリジェントＬＡＤＡＲシステム２０６で使用するためのＬＡＤＡＲ送信機およびＬＡＤＡＲ受信機のための代替設計を選択することができることに留意している。

【0052】

図３Ｂは、インテリジェントＬＡＤＡＲシステム２０６の別の例示的な実施形態を開示している。図３Ｂの例では、ＬＡＤＡＲシステム２０６はまた、ショットリストタスク付与のための「高速」経路３６０も含む。上記で示されたように、脅威検出インテリジェンス３５０は、潜在的な脅威または異常に対応する視野内の領域を検出するように構成することができる。この関心のある領域からより多くの情報を得るために、ＬＡＤＡＲ送信機３０２をその領域に向けて目標に設定し、この領域に向けて追加のＬＡＤＡＲパルス２６０を発射することが望ましい。しかしながら、動作計画システム２０２がＬＡＤＡＲ送信機３０２をどこに向けるかついて決定を行うエンティティである場合、本発明者らは、動作計画システム２０２がＬＡＤＡＲ送信機３０２によってどの領域（複数可）を目標に設定すべきかについて決定を行うことができる前に、ＬＡＤＡＲ送信機は情報が動作計画システム２０２に通信され、それによって取り込まれ、考慮されるのを待つ必要があるため、かなりの量のレイテンシがＬＡＤＡＲ送信機３０２の目標設定に導入されることになることに留意している。さらに、ＬＡＤＡＲ送信機が動作計画システム２０２からのこれらの目標設定命令の送信を待つ間にレイテンシが追加される。図３Ｂによって示される高速経路３６０は、このより長い意思決定経路を迂回する。

【0053】

図３Ｂでは、フレーム処理論理３５０内の脅威検出インテリジェンスが走査エリア／視野の関心エリアを検出したときに、脅威検出インテリジェンスは、高速経路３６０を介してＬＡＤＡＲタスク付与インターフェース３５４への関心エリアを識別することによって、ＬＡＤＡＲ送信機３０２にタスク再付与を行うことができる。ＬＡＤＡＲタスク付与インターフェース３５４へのこの直接供給により、ＬＡＤＡＲタスク付与インターフェース３５４は、ＬＡＤＡＲ送信機３０２の目標設定を制御するために使用されるパイプライン化ショットリスト４００に新しいショットを迅速に挿入することができる。新しい射程のショットがどのようにして得られるかの例は、次のとおりであり得る：車両の計画された経路に脅威となるのに十分に近い領域において、ビデオカメラからまたはＬＡＤＡＲ点群から、動きが検知されたとする。次いで、新しいショットは、（ｉ）検知された動きの幾何学的位置の近くにあり、（ｉｉ）車両の計画された軌道に沿っており、かつ（ｉｉｉ）検知された動きの性質が解決される可能性が高いボクセルのセットとして識別することができる。この最後の項目（ｉｉｉ）は、道路を横切る動物を検出するという文脈で（この動きは、葉または移動中の動物からであろうかと）考えるのが最適である。動物の動きと拡散性植生の動きとの両方の動作モデルを使用して、これらの仮説を分離するために最適なショット位置を評価することができる。

【0054】

システムがどのように新しいショットを割り当てるかの例としては、以下の２つが挙げられる：（１）３５０内の脅威検出が、一般的な関心エリアを目標に設定するようにタスク付与システムに指示し、プローブショットが、シーンを構築するためにタスク付与システムによって規定されること（例えば、レーダーからの曖昧なブロブ検出は、脅威を構築するためにプローブショットのリストをトリガし得る）、および（２）脅威インテリジェンスが、特定の測距点のセットを決定するために、脅威をより明確にする源から特定のデータセットを受信すること（例えば、カメラは、コントラスト情報を提供するか、またはエッジを検出し、ここで、高コントラストおよび／またはエッジ画素は、新しいショットのための特定の測距点に対応する）。

【0055】

図６Ａ～図６Ｃは、高速経路３６０を介してショットリスト４００に新しいショットを挿入する方法の例を示している。図６Ａは、ショットリスト４００が、スケジューラ６００によって使用されて、走査ミラー６０２および６０４を介して測距点（目標に設定される測距点を表す図６Ａの星印を参照）の目標設定を制御する方法を示している。ショットリスト４００は、ＬＡＤＡＲ送信機３０２によって発射されるショットのシーケンスを含む。ショットリスト上の各ショットは、目標に設定された測距点の走査エリア内の座標、またはどの測距点が目標に設定されるか（例えば、画像内で検出されるエッジ）をＬＡＤＡＲ送信機に通知するための他の好適な機構によって識別することができる。例えば、知覚された非脅威的な状態で環境のシノプティックな知識を維持するための標準的な走査パターンがある場合があり、ショットリスト４００は、これらのショットを表すことができる。例えば、ラスタ走査またはフォビエイテッドパターンを使用して、隠れた脅威を検出するためにシーンをプローブすることができる。ショットリスト４００からショット１を目標に設定するために、レーザー源４０２は、ＬＡＤＡＲパルスがショット１の目標とされる測距点に向かって投影されるように、走査ミラー６０２および６０４が位置付けられたときに発射される。ＬＡＤＡＲパルスは、次いで、測距点に衝突し、（受信機レンズ６１０などを介して）検出器アレイ５００に反射する。次いで、検出器アレイ５００の１つ以上のセンサ５０２は、目標とされた測距点に関する情報を学習するために処理され得る信号５１０（例えば、読み出し電流）を生成する。

【0056】

図６Ｂは、この信号５１０が、高速経路３６０を介してＬＡＤＡＲ送信機３０２のタスク再付与を制御するためにどのように活用され得るかを示している。図６Ｂでは、ショットリスト４００からのショット２は、ＬＡＤＡＲ送信機３０２の目標設定および発射を制御するために使用される。一方、脅威検出インテリジェンスが、潜在的な脅威／異常に関するより多くの情報を得るために新しいＬＡＤＡＲショットが必要であると判定した場合、ＬＡＤＡＲタスク付与インターフェース３５４は、１つ以上のＬＡＤＡＲショット挿入６５０を生成することができる。これらのショットリスト挿入６５０は、次いで、ＬＡＤＡＲ送信機３０２によって撮影されるショットの次のシーケンスとしてショットリスト４００に挿入され得る（図６Ｃを参照）。したがって、ＬＡＤＡＲ送信機３０２は、ＬＡＤＡＲシステム２０６の脅威検出インテリジェンスによって発見された関心領域を目標に設定するために、迅速にタスク再付与を行うことができる。動作計画部自体がＬＡＤＡＲシステムに照会することも可能であり、これは、実施者が、ＬＡＤＡＲシステムによって自己生成された割り込みをオーバーライドすると規定することを選択してもよい。例えば、車両のピッチまたはヨーの変化は、決定された動きの方向に対応するフォビエイテッド走査の喚起となる可能性がある。

【0057】

図７は、例示的な実施形態の例示的な動作計画操作の例示的なシーケンスを、従来のシステムに対する比較タイミングの例と共に示す。

【0058】

現在の従来のＬＡＤＡＲシステムはラスタ走査を使用しており、これは、バッチモードで点群を生成し、高レイテンシを被る（ビデオカメラを単体で使用する場合と同様）。図７は、ラスタ走査ＬＡＤＡＲシステムから派生した従来の動作計画部が、寛大な想定を用いても、ブレーキ応答時間に関する米国運輸省のデータを使用すると、時速１００キロメートル（ｋｐｈ）で移動する車両に対して、６０フィート以上の閉鎖でシーンデータの解釈を遅延させるシナリオを示しているのに対し、本明細書に開示されたインテリジェントＬＡＤＡＲおよび動作計画システムの例示的な実施形態は、位置レイテンシが１フィート未満であると予想される。言い換えれば、本明細書に記載される本発明の技術を使用する動作計画部は、従来の動作計画システムの場合のように６０フィート以上移動する場合に対し、物体が車両に１フィートだけ近づいた場合に、潜在的な脅威のシーンにある物体に関する行動情報を得ることが期待される。図７は、動作計画操作における様々なステップを開示しており、図７の下部は、従来のラスタ走査ＬＡＤＡＲアプローチ（「旧」と標識されている）および本明細書に記載されている発明的技術（「新」と標識されている）について、シーケンスの各ステップに必要とされるレイテンシおよび距離に関する推定値（ここで、示されている数字は、累積時間および距離の観点からのものである）を開示している。したがって、図７は、本発明の例示的な実施形態が、鹿の横断、交差点での赤信号停止標識で移動する違反者、および自動二輪車両の通過などの、まれではあるが潜在的に致命的である障害物の出現に対抗することができる自律車両の重要な機能である、運動計画のミリ秒応答時間更新に対応するマイクロ秒のプロービングおよび活用を提供することが期待される方法を開示している。事故を確実かつ実証的に回避する場合、これらの３つの障害物はいずれも、ミリ秒単位の時間スケールでの動作計画の更新が必要となる可能性があるかまたは必要となるであろう。

【0059】

最近のＬｕｍｉｎａｒの進歩により、ＬＡＤＡＲが適切に設計されていれば、反射率１０％の弱い目標に対しても、２００ｍ以上の射程で検出射程を達成できることが示されている。これは、応答時間の短縮および人命救助に役立つ。例えば、自動二輪車が２００ｍで検出されることを考える。この検知の射程は有用であるが、適度な交通量であっても、自動二輪車が車両に接近するかまたは追い越す前に、ある程度の時間で遮蔽されてしまう可能性がある。例えば、２００ｍ先でバイクが見えた後、ＬＡＤＡＲ搭載車両との間で車に遮られたと仮定する。次に、自動二輪車が別の車両を追い越そうとしているときに、自動二輪車が１００ｍの射程でＬＡＤＡＲ搭載車両との衝突コース上にあることに気づかずに、自動二輪車が再び出現したと仮定する。自動二輪車とＬＡＤＡＲ搭載車両とが両方とも時速 ６０ｍｐｈ（約１００ｋｐｈ）で走行しているとすると、接近する速度は約５０ｍ／ｓである。２００ｍ地点で自動二輪車を検出することは、点群活用者は、自動二輪車が再出現したときにその存在を再確認することに役立つが、レイテンシはどうであるか。動作計画を更新して人命を救助するために２秒の衝突警告が必要な場合、ミリ秒ごとにカウントするための時間はない。

【0060】

検出を確認するために２回以上の走査を必要とし、１００ミリ秒の速度で更新するＬＡＤＡＲシステムは、検知、評価、および応答（動作計画の変更）を行うだけでなく、データを収集するのに１／５秒を必要とする。この箇所で、開示された本発明の例示的な実施形態は、当技術分野における重要な技術的進歩を提供することができる。例示的な実施形態を通じて、本発明者らは、「検知から計画修正」の段階を約１０ミリ秒に短縮することを期待している（図７を参照）。この改善の価値は、現在、ＬＡＤＡＲ搭載車両が、３０～５０ｍの射程で、不規則な行動、および観察していない車線追い越し者などの予測不可能な事象に対して、回避操作を実行するための１秒以上の時間で応答することができることである。従来のパイプライン化ラスタ走査システムでは一般的な１／２秒の応答時間で、この距離は５０ｍ～７０ｍに伸び、というのも、目標が遠くに離れるほど遮られる可能性が高くなり、反射率が低いと、まったく検出されないためである。

【0061】

鹿、自転車、または車両がＬＡＤＡＲ搭載車両の前の通りを警告なしに横断することによって、ＬＡＤＡＲ搭載車両に不意にぶつかる２つ目のシナリオを考える。２００ｍｓごとに走査して確認するシステムでは、衝突回避のための動き更新に間に合うようにそれらを検出することはもちろんのこと、そのようなブラインドサイド事象を検出できない可能性がある。したがって、開示された本発明の例示的な実施形態によって提供される速度の利点は、線形ゲインよりもはるかに大きく、というのも、人間からであれ動物からであれ、警告時間が短くなるほどブラインドサイド衝突の可能性が増加するためである。

【0062】

したがって、本発明者らは、２００ｍｓ以下（プロセッサの待ち時間を含む）で動作計画の更新を行うことができるシステムに対する技術的な必要が大いにあると考えており、本発明者らは、説明の目的で、「センサから動作計画更新」からの公称１０ミリ秒の遅延をベンチマークとして選択した。

【0063】

図７のシーケンスは、動き経路に影響を与える可能性のある障害物をステップ７０２で検出するインテリジェントセンサのスケジューラ６００から始まる。インテリジェントセンサは、潜在的ではあるが検証されていない危険が環境に存在するという喚起を提供するインテリジェントＬＡＤＡＲシステム２０６などの広視野センサであり得る。センサがＬＡＤＡＲシステム自体ではなく別の異種センサである場合、このプロセス２００は、例示的な実施形態では２つのケースを取ることができる。

【0064】

第１のケースは、「選択的な検知」と呼ぶことができるものであり、それによって、スケジューラ６００は、上述された直接プロービングのケースのように、ＬＡＤＡＲ源４０２を方向付ける。この例では、ＬＡＤＡＲシステム２０６は、センサがカメラなどのようなもの（赤外線または視覚センサ）である場合に、射程、速度、または単により良好な照明などのより詳細な情報を得るために使用される。上記では、物体が識別されたと想定して、当該物体に関する知識を向上させるためにＬＡＤＡＲシステムを利用している。言い換えれば、喚起に基づいて、ＬＡＤＡＲシステムが物体に関する追加情報を返すための検知ショットが選択される。スケジューリングの別の実施形態である「比較」検知では、状況はよりニュアンスのあるものとなる。比較検知では、物体の有無は、ＬＡＤＡＲデータおよびビデオ物体が得られた後にのみ推論される。これは、ビデオ内の変化が、任意の１つの物体に関連付けられている場合と関連付けられていない場合とがあるためである。光の揺らぎは、様々な距離にある様々な静止した物体（例えば、非脅威）に起因しているか、または通過する動物の毛（例えば、脅威）からの反射などのものに起因している可能性がある。例えば、画像のフレーム間の変化は、迅速に動きを示すが、動きは画像をぼかし、したがって、移動する物体の形態および形状を評価することを困難にする。ＬＡＤＡＲシステム２０６は、受動画像センサを補完することができる。さらなるセンシングのためにぼやけエリアを選択することにより、ＬＡＤＡＲシステム２０６は、鮮明な３次元画像をプロービングして判定することができる。これは、画像は、約１０Ｈｚ程度の動きに対してぼやけてしまうが、ＬＡＤＡＲシステム２０６は、数百ナノ秒以内にシーン全体をサンプリングすることができ、そのため、ぼやけないためである。比較は、ＬＡＤＡＲ戻りがぼやけ領域または静的背景に対応するかどうかを評価するために、ＬＡＤＡＲ後の画像形成に実施することができる。

【0065】

別の例として、２つのセンサ（ＬＡＤＡＲシステムとキューセンサなど）間の双方向フィードバックループは、相殺されたデータレビューと検証の固有の性質に基づいて、動作計画のために必要な情報を提供することができる。

【0066】

選択的および比較的な検知はまた、センサの自己喚起からも発生してもよい。選択検知の例として、以下について考える。物体の動きがＬＡＤＡＲシステム２０６で検出され、次いで、ＬＡＤＡＲシステム（圧縮センシングなどを介してインテリジェント測距点機能を有する場合）は、物体をさらに特徴付けるためにＬＡＤＡＲショットのサルボで物体／関心領域を囲むようにタスク付与を行うことができる。比較例として、以前のフレームで物体が検出された道路の部分を再訪することを考える。射程または強度の戻りが変化する場合（これは定義上、比較の行為である）、これは比較検知と呼ばれてもよい。いったん物体が検出されると、信頼性の高い割り込みが自動車テレマティクス制御サブシステムに提供される前に、「客観的」検知と呼ばれ得るより高い知覚層が必要とされる。ＬＡＤＡＲシステム２０６は、低レイテンシであるために、そのビームを喚起された物体に迅速にスルーさせられることが望ましい。これは、迅速な走査を必要とする（その例は、方位角走査ミラー６０２および仰角走査ミラー６０４のジンバリングされた対として図６Ａ～図６Ｃに示されている）。２次元光学フェーズドアレイＬＡＤＡＲも同様に使用することができ、ジンバルは、微小機械走査ミラーの任意の方法で置き換えることができる。機械的走査であるＭＥＭＳシステムの例は、Ｂｏｕｌｄｅｒ Ｎｏｎｌｉｎｅａｒ ＳｙｓｔｅｍｓおよびＢｅａｍｃｏによって提供されているような液晶を使用した空間光変調器である。

【0067】

図７に戻ると、ステップ７００は、後続のセンサ解釈を用いて、潜在的な脅威を検出する。解釈は、道路の側面から道路への突然の動き（例えば、木の枝（無害）またはＬＡＤＡＲ搭載車の前に飛び出す鹿（脅威））であり得る。ここでは、変化検出から動きを検知する簡単なビデオ活用が使用されてもよく、利用可能なアルゴリズムの選択肢は膨大であり、オープンＣＶなどのオープンソースプロジェクトが主流である。数多くのベンダーが、毎秒１００フレーム以上を処理できる１００万画素を超える高解像度カメラを販売している。わずか数フレームで、車両の計画された経路に沿ったまとまった動きを検出することができるので、喚起は非常に高速に発生し得る。第１のベクトル割り込み７０２は、ＬＡＤＡＲシステム２０６自体に対するものであってもよい。この例示的な実施形態では、ステップ７００においてセンサによって観測された物体を抽出する要求で、ＬＡＤＡＲスケジューラ７０４が割り込まれ、オーバーライドされる（ステップ７０６）。この例では、レーザーは照準されていると想定される。視差がないことにより、カメラからレーザーへ座標を迅速に転送することができる。次に、必要に応じて、スキャナ６０２および６０４にコマンドが発行され、スキャナ６０２および６０４によって実行され、関心のある項目に向けてレーザーを発射するように方向付ける（ステップ７０８）。次いで、（例えば、ＬＡＤＡＲ送信機３０２によって）一組のＬＡＤＡＲショットが発射され（ステップ７１０）、（例えば、ＬＡＤＡＲ受信機３０４によって）戻りパルスが光検出器内で収集され（ステップ７１２）て解析される。レイテンシをさらに低減するために、（例えば、マルチプレクサ５０４を介して）受信された焦点面の所望のセルのみが抽出される（ステップ７１４）。これにより、ＬＡＤＡＲデータを光学検出器からデジタルメモリに渡して解析する際の読み取り時間が合理化される。ＬＡＤＡＲシステム２０６自体が元の喚起源である場合、これは、１つのセンサが別のセンサを喚起する交差喚起とは対照的に、自己喚起と呼ぶことができる。

【0068】

次に、単一の測距点パルス戻り（７１６参照）がデジタル化され、ステップ７１８において解析されて、ピーク、最初の戻り、および最後の戻りが判定される。この操作は、点群３５２を活用して、先行する１つ以上の測距点パルス戻りも考慮することができる。このプロセスは、候補の脅威物体が、ベクトル割り込み決定を行うのに十分な忠実度で抽出されるまで、必要に応じて繰り返される。割り込み７２０が必要であるとみなされるならば、動作計画システム２０２が通知され、その結果、動作計画システム２０２のパイプライン化キュー７２２が割り込まれ、新しい経路計画（および関連する必要な動き）がスタックの先頭に挿入され得る（ステップ７２４）。

【0069】

１００ｍを本発明者らのシナリオのための公称基準点としてとると、ステップ７１０でのパルスの発射から射程プロファイル（７１６を参照）の完了までに必要な時間は、以下のようになるので、約６００ナノ秒である。

【数3】

【0070】

図７の下の部分は、本明細書に開示された例示的な実施形態および従来のラスタ走査システムの大まかに類似した段階に関して、このプロセスの各段階の予想される比較タイミングおよび距離（累積的）を示している。その違いは顕著であり、本発明の例示的な実施形態では、従来のシステムの６８フィートに対して、障害物の動きが１フィート未満である必要があることが予想される。図７のこの部分は、レイテンシの支配的な発生源である段階を示す星印を含む。

【0071】

図７の処理チェーンの各段階でのレイテンシの節約の原因を探ることは有益である。

【0072】

センサ処理チェーンにおけるレイテンシの最初の段階は、喚起するセンサが脅威アイテムからの生の波面を受信したときから、ＬＡＤＡＲシステムコントローラが、ＬＡＤＡＲ送信機がこの脅威アイテムに対処するために指すべき方向を判定するまでの時間である。脅威を検出するためには喚起するセンサからの複数のフレームが必要となることが予想されるため、ここでの時間レイテンシは喚起するセンサのフレーム時間に支配される。従来、これには公称２０Ｈｚの更新レートが必要とされていたが、高速フレームビデオでは、衝突の可能性がある領域に重点を置いて１００Ｈｚに短縮することができる。例えば、４５度の走査体積では、衝突評価のために約３０％の画素検査しか必要ないと予想されている。現在利用可能な組み込みプロセッサは 、１００ＧＯＰｓ の射程（毎秒数十億回の演算）で動作するため、異常検出のための画像解析段階は、実行時間をカウントする際に無視することができ、このためカメラの収集時間が支配的になる。

【0073】

かなりのレイテンシの次の段階は、割り込みを通じて（例えば、高速経路ＬＡＤＡＲショットのタスク再付与を介して）ＬＡＤＡＲショットをスケジュールすることである。スケジューリングスタックの最上部に新しいショットを配置する際のレイテンシは、レーザー４０２の最小空間反復率によって支配される。空間反復は、シーン内のスポットを再訪するのに必要な最小時間によって規定される。現在の従来の走査ＬＡＤＡＲシステムの場合、このタイムラインは１０Ｈｚ程度、つまり１００ミリ秒周期である。インテリジェント測距点の場合、例えば、圧縮センシングでＬＡＤＡＲを走査する場合、最小空間反復率は走査速度によって決まる。これは、ＭＥＭＳデバイスの機械的スルーレート（または熱制御された電気走査の同等の機械的ヒステリシス）によって制限される。５ＫＨｚは、必要なタイムラインのかなり控えめな推定である。この段階により、本発明の例示的な実施形態による１フィート未満の予想される追加の距離と比較して、従来のアプローチでは、物体が約１３フィートの追加の距離を移動すると予想される。次のステップは、ＬＡＤＡＲ送信機へのコマンド、およびレーザーが発射するためのセットアップ時間の実行を計算することである。この時間は小さく、従来の方法と本発明の方法との両方に匹敵するものであり、１００ＫＨｚ程度であると本発明者らは考える。これは、ほとんどの自動車用ＬＡＤＡＲシステムの発射時間に対応している。

【0074】

動作計画センサパイプラインにおけるかなりのレイテンシの次の段階は、ＬＡＤＡＲパルスの発射および戻りの収集である。飛行時間はごくわずかなので（前述の解析では約６００ナノ秒）、この段階はショット間の所要時間によって時間的に支配される。ＬＡＤＡＲレポートの信頼性を高めるには、複数の観測が必要になることが予想されるため、この段階は支配的になる可能性がある。実際、１０Ｈｚの空間再訪を行う現在のレーザーの場合、５ショット（安全な割り込みのための確実な使用に必要な最小ショット数であると予想される）１／２秒のレイテンシになる。専用の注視が可能なレーザーを用いると、レーザーの再発射速度内で５ショットを発射することができる（約２００マイクロ秒の再発射時間を控えめな数値として使用することができる場合）。パルスが発射された後、活用前の追加のレイテンシはわずかであり、ＬＡＤＡＲ戻りのメモリページングによって支配される。正確なタイミングは実施者が使用する電子機器に依存するが、現在のＳＤＲＡＭの典型的な量は１マイクロ秒程度である。最後に、ＬＡＤＡＲおよびカメラの画像を動作計画部に割り込む決定（そうである場合、計画部に渡す情報）に変換するための活用段階が必要である。この段階は、インテリジェント測距点ＬＡＤＡＲシステムで非常に短くすることができる。従来のパイプライン化されたＬＡＤＡＲシステムの場合、レイテンシは１つの固定フレーム程度、公称１０Ｈｚであると予想される。

【0075】

最後に、干渉は、レーダーおよび他の能動的なイメージャ（例えば、超音波）と同様に、ＬＡＤＡＲシステムにおけるレイテンシの原因となる。その理由は、データマイニング、機械学習、および推論が、そのようなノイズをフェレットアウトするために使用できるからである。低レイテンシを達成するために、動作計画は、ストライド干渉の低減で使用することができる。そのような方法の１つは、２０１７年２月１７日に出願され、「Ｍｅｔｈｏｄ ａｎｄ Ｓｙｓｔｅｍ ｆｏｒ Ｌａｄａｒ Ｐｕｌｓｅ Ｄｅｃｏｎｆｌｉｃｔｉｏｎ」と題された米国特許出願第６２／４６０，５２０号に開示されているようなパルス符号化の使用であり、その開示の全体が参照により本明細書に組み込まれる。追加の方法が次に提案される。散発的な干渉の１つの原因は、強い戻りからの「独自の」ＬＡＤＡＲシステム誘発の飽和、または他のＬＡＤＡＲシステムの飽和のいずれかに起因する受信機の飽和である。このような飽和は、ＬＡＤＡＲ受信機の光検出回路の増幅器に電流スパイクが入るのを防ぐ保護回路を用いて克服することができる。そのような保護回路は、感度と飽和からのレイテンシとを交換したいという実施者の要望に応じて、製造中に選択的に追加または破棄することができるというよりも、メタライゼーション層として製造することができる。このような保護回路は、次のように動作するように設計することができる：電流スパイクがある値を超えると、フィードバック回路が出力をチョークする。これにより、感度が低下する（例えば、ノイズ等価電力が増加する）代わりに、フォトダイオードが保護される。図９は、（例えば）第１のトランスインピーダンス増幅器の出力における電圧９１０を超えると、ダイオード９２０が起動するように保護ダイオード９２０が使用される、このような保護回路の例示的な実施形態を示している。ダイオード９２０が起動されると、電流が流れ、エネルギーが後続の検出回路９３０から迂回される。

【0076】

図８は、様々な種類の脅威の協働検出のための例示的な処理フローを開示している。図８の異なる列は、インテリジェントセンサに組み込まれた脅威検出インテリジェンスによって検出され得る脅威の異なるタイプを示している。この例では、検出され得る脅威のタイプは、「脱線」８００、「揺らぎ」８１０、および「光沢のある物体」８２０が含まれる。これらの脅威のタイプは例示に過ぎず、実施者が所望する場合、脅威検出インテリジェンスはまた、異なるおよび／または追加の脅威を検出するように構成され得ることが理解されるべきである。

【0077】

図８の行は、システムのどの要素または段階が、協働モデルの様々な操作を実施するために使用され得るかを示している。第１の行は、センサ喚起操作に対応する。第２の行は、ＬＡＤＡＲシステムまたは他のセンサインテリジェンス（カメラインテリジェンスなど）による点群活用に対応する。一般的に、点群活用のための信号処理はＦＰＧＡまたはカスタムプロセッサで実行され、処理ではなくセンサ収集時間が制限要因となるレベルまでレイテンシを抑えることができる。第３の行は、動作計画システム２０２によって実施される割り込み動作に対応する。

【0078】

ＬＡＤＡＲ自己喚起８０２は、脱線事象を検出するために使用することができる。脱線脅威の検出では、ＬＡＤＡＲシステムは、ＬＡＤＡＲ搭載車両の車線内の進入車両および／または進入車両が不規則に移動していることを示すＬＡＤＡＲフレームデータを得る。ＬＡＤＡＲシステムは、関心領域を横断するラスタ走査を使用することができる。この関心領域は、例えば、水平線で見た、ＬＡＤＡＲ搭載車両が中心にある道路であってもよく、ここで、最初に進入車両が検出される。この場合、走査から走査までの間に不規則な行動を示す車両が存在する可能性がある。これは、（ｉ）車両が、検出される方位角ビームの変化によって証明されるように、車線から脱線したり戻ったりしている、（ｉｉ）車両が、おそらく別の車両を追い越しているために、誤った車線から接近してきている、あるいは（ｉｉｉ）車両が、安全であることが保証されている道路状態および標識などの速度を大幅に上回るかまたは下回る速度で移動している可能性がある。これらの３つの状態はすべて、データの１つのまたは数フレームの中で識別することができる（ステップ８０４を参照）。

【0079】

ステップ８０４において、点群３５２は、フレームデータ２２０を介して日常的に更新され、動作計画システム２０２に報知される。背景モードでは、ＬＡＤＡＲシステム２０６内の脅威検出インテリジェンス（例えば、ＦＰＧＡ）が、領域内の個別の物体を追跡する。非線形射程レートまたは角度レートは、物体の追跡が不規則であるか、または車線変更を示すかどうかを明らかにすることができる。物体の動きが脅威的であるとみなされる場合、割り込みを動作計画部に発行することができる（例えば、優先フラグ２５０を介して）。

【0080】

ステップ８０６において、動作計画部は、検出された脱線状態（例えば、正面衝突の脅威または単に対向車両間衝突の脅威）に起因する危険となる進入交通があることを、割り込みを介して通知される。

【0081】

「揺らぎ」検出８１０のための例示的な処理フローは、ステップ８１２によって示されるように、別のセンサからの交差喚起を含むことができる。ここでは、ＬＡＤＡＲ搭載車両の経路に沿って、カメラ画素のクラスタで変化が検出される実施形態が示されている。この変化は、車が森林エリアを走行している場合には、葉が揺らいでいることに起因する場合があり、または鹿が道路に飛び込んできたことに起因する場合がある。このようなカメラの検出は、次いで、ＬＡＤＡＲシステムを喚起して追加のプロービングを行うために使用することができる。

【0082】

ＬＡＤＡＲシステムは、ステップ８１４において２ショット以内の動きを検知することができ、数ショットで移動する物体のサイズを決定することもできる。このような学習は、受動カメラだけでは、はるかに長い時間がかかる。したがって、カメラが揺らぎを示す変化を検出すると、これは、揺らぎ領域に向けてＬＡＤＡＲショットを目標に設定にするために、ＬＡＤＡＲシステムを喚起することができる。ＬＡＤＡＲ戻りを処理するインテリジェンスは、ブロブ動きモデルを作成することができ、これらのブロブ動きモデルは、動作計画の割り込みが必要かどうかを判定するために解析することができる。

【0083】

ステップ８１６において、動作計画部は、障害物（前の点群フレームからは存在しなかった可能性がある）があること、およびこの障害物が車両との衝突コース上にあり得る場所がどこにあるかを、割り込みを介して通知される。

【0084】

脅威検出処理フローの第３の例は、光沢のある物体８２０についてのものであり、これは、別の交差喚起の例であり得る（８２２を参照）。ステップ８２４において、物体が最近の既存のフレームに存在しない色を有する、単一のカメラフレームで観測される。これは、自然の秩序から得られた可能性が低いとみなされ、したがって、人間の人工物であると推定される。このような色の変化は、点群のカラーヒストグラムでフラグを立てることができる。タスクが付与されたＬＡＤＡＲショットは、この物体の位置を迅速に判定し、それが小さな破片であるか、または移動する、潜在的に脅威となる物体の一部であるかを、車両の動き経路と比較することを介して判定することができる。色変化物体が脅威的であるとみなされる場合には、割り込みを発行することができる（その後、ステップ８１６を実施することができる）。

【0085】

図８の例では、計算の複雑さは、低い（ショットあたり数十回程度の演算である）ことが予想され、これは、本発明者らが低レイテンシソリューションに適していると考えている。

【0086】

図１０Ａ～図１０Ｄの例は、カメラをＬＡＤＡＲ受信機と共に照準させることによって、ＬＡＤＡＲデータが処理されるレイテンシをどのように改善できるかを示している。従来のレーザーシステムでは、カメラはレーザーシステムの外部に位置付けられている。この配置では、カメラ画像をレーザーに再整列させるために、計算量の多い（したがって、レイテンシを誘発する）作業が必要となる。外部カメラを有する従来のレーザーシステムのこの再整列プロセスは、視差除去として知られている。このような視差除去タスクを回避するために、図１０Ａ～図１０Ｄは、カメラおよびＬＡＤＡＲ受信機が共通の光学エンジンの一部である例示的な実施形態を説明する。例えば、図１０Ａ～図１０Ｃは、カメラ１００２がＬＡＤＡＲ受信機の光検出器５００と共に照準されている例を示す。カメラ１００２はビデオカメラであってもよいが、これに限定される必要はない。図１０Ａ～図１０Ｃの例は、カメラ１００２が共に照準されていることを除いて、図６Ａ～図６Ｃの例と類似している。

【0087】

レンズ６１０は、受信機を外部環境から分離し、可視光とレーザー帯域光との両方を受信するように構成されている。共に照準されることを達成するために、光学システムは、レンズ６１０と光検出器５００との間に光学的に位置付けられるミラー１０００、およびレンズ６１０とカメラ１００２との間に光学的に位置付けられるミラー１０００を含む。ミラー１０００、光検出器５００、およびカメラ１００２は、通常、統合されたＬＡＤＡＲシステムの一部として同じエンクロージャまたはハウジング内に収容することができる。ミラー１０００は、その反射特性が入射光の周波数または波長に基づいて変化するように、ダイクロイックミラーであり得る。例示的な実施形態では、ダイクロイックミラー１０００は、（１）第１の光スペクトル（例えば、可視光スペクトル、赤外（ＩＲ）光スペクトルなど）のレンズ６１０からの入射光を、経路１００４を介してカメラ１００２に方向付け、かつ（２）第２の光スペクトル（例えば、ＬＡＤＡＲパルス反射を含むレーザー光スペクトル）のレンズ６１０からの入射光を、経路１００６を介して光検出器５００に方向付けるように構成されている。例えば、ミラー１０００は、第１の光スペクトルの光をカメラ１００２に向けて反射し（経路１００４を参照）、第２の光スペクトルの光を光検出器５００に向けて通過させることができる（パス１００６を参照）。光検出器５００およびカメラ１００２は、共に照準されることに起因して同じ視野を共有するため、これにより、特に立体視システムにおいて、カメラ１００２からの画像データと光検出器５００から導出された測距点データとの融合が大幅に合理化される。すなわち、カメラ１００２からの画像データは、当技術分野の従来のシステムによって必要とされる計算集約的な視差除去タスクを必要とせずに、光検出器５００から導出された計算された測距点データと空間的に整列することができる。例えば、典型的な高フレームレートの立体ビデオストリームは、位置合わせ誤差による視力の損失にもかかわらず、ビデオをＬＡＤＡＲデータに整列するために、数十ギガフロップスもの処理を必要とする。これらは、共に照準されるカメラ１００２を使用することで回避することができる。ビデオおよびＬＡＤＡＲの位置合わせにギガフロップスの処理を使用する代わりに、共に照準されるカメラを使用することで、より複雑ではない技術を使用して整列することができる。例えば、工場の組み立てステーションで較正する場合、ＬＡＤＡＲシステムおよびカメラを使用してチェックボードパターンの画像を取り込むことができる。次いで、カメラ画像とＬＡＤＡＲ画像との間に不整合があるかどうかを観測し、読み出しコードの整列をハードワイヤリングすることによって不整合を除去することができる。商用グレードのＬＡＤＡＲシステムおよびカメラでは、これらの不整合はまばらになると予想される。例えば、カメラとＬＡＤＡＲシステムとの両方が１００×１００画素のｘ－ｙ画素グリッドを有しているとする。次いで、ＬＡＤＡＲシステムとカメラとの両方が１００×１００の白黒チェッカーボードに対して画像を表示する。この例では、カメラ画像の右上隅の画素１００、１００がグリッドから外れていることを除いて、すべての画素が一直線に並んでおり、カメラ画像の画素９９、１００がチェックボードのエッジにあるが、ＬＡＤＡＲ画像は、角部を指している画素９９、１００および１００、１００の両方を有する。次いで、整列は単純に以下のようになる：
１） ｘおよびｙのカメラ画素をそれぞれｉおよびｊ、射程をｉ、ｊ＝１、．．．．．、１００、ＬＡＤＡＲをｋ、ｌ、射程を同様にｋ、ｌ＝１、．．．．．、１００と規定する。

【0088】

２） カメラ画像との画素位置合わせに基づいて、ＬＡＤＡＲをインデックス化（融合／整列）する。例えば、カメラ画素、例えば１２、２３を検査するとする。ここで本発明者らは同様に、その対応するＬＡＤＡＲ画素を検査するとする。そのために、システムは、ＬＡＤＡＲデータの画素１２、２３を呼び戻す（例えば、メモリからフェッチする）。上記の例に関して、カメラ画素が９９、１００または１００、１００以外の任意の画素である場合、呼び戻されたＬＡＤＡＲ画素はカメラ画素と同じであり、本発明者らは、カメラの画素９９、１００にアクセスしている場合、ＬＡＤＡＲ画像の画素９９、１００および１００、１００の集合を選択し、カメラ画像が画素１００、１００にある場合、ＬＡＤＡＲ画像にはアクセスしない。

【0089】

３） ＬＡＤＡＲで喚起されるカメラについても、逆方向ではあるが、同様の方向に繰り返す。

【0090】

この整列を実施するために複雑な演算は必要ないことに留意されたい。その代わりに、各データ照会に必要なのは単純で小さな論理テーブルだけであり、典型的には数キロバイトである。対照的に、共に照準されない整列には多くのＧバイトが必要である。

【0091】

図１０Ｄは、共に照準されるカメラ１００２がシステムでどのように有利に使用され得るかを示す例示的な処理フローを示している。ステップ１０５０において、光が受信される。この受信された光は、上述されたように、１つ以上のＬＡＤＡＲパルス反射を含むことができる。ステップ１０５０は、レンズ６１０によって実施することができる。ステップ１０５２において、第１の光スペクトルの受信光の部分は、カメラ１００２に向けて方向付けられ、第２の光スペクトルの受信光の部分は、光検出器５００に向けて方向付けられる。上述されたように、第２の光スペクトルは、ＬＡＤＡＲパルスおよびＬＡＤＡＲパルス反射のスペクトルを包含する。このステップは、ミラー１０００によって実施することができる。

【0092】

ステップ１０５４において、光検出器１０５４は、ミラー１０００によって光検出器１０５４に向けられたＬＡＤＡＲパルス反射を検出する。ステップ１０５６において、検出されたＬＡＤＡＲパルス反射に基づいて測距点データが計算される。ステップ１０５６は、上述されたような信号処理回路およびプロセッサを使用して実施することができる。

【0093】

一方、ステップ１０５８において、カメラ１００２は、ミラー１０００によってカメラ１００２に向けられた光に基づいて画像データを生成する。その後、プロセッサは、ステップ１０５６からの計算された測距点データを、ステップ１０５８からの画像データと空間的に整列することができる（ステップ１０６０を参照）。次に、ＬＡＤＡＲシステムおよび／または動作計画システムは、空間的に整列された測距点データおよび画像データに基づいて、ＬＡＤＡＲ目標設定および／または車両の動きに関する決定を行うことができる。例えば、図１０Ｂ～図１０Ｃによって示されるように、この意思決定は、ショットリスト４００における新しいショットの挿入をもたらすことができる。さらにまた、動作計画システム２０２は、空間的に整列された測距点および画像データの内容に基づいて、何らかの方法で車両の動きを変更することを選択することができる。

【0094】

図１０Ａ～図１０Ｃは例示的な実施形態を示しており、実施者は、システムにさらなる光学素子を含めることを選択してもよいことが理解されるべきである。例えば、ミラー１０００による分割後の光路、例えば、ミラー１０００とカメラ１００２との間の光路１００４、および／またはミラー１０００と光検出器５００との間の光路１００６に、追加の光学素子が含まれてもよい。さらに、カメラ１００２の波長は、可視色スペクトル、グレースケールスペクトル、受動ＩＲスペクトル、ハイパースペクトルスペクトル、ズーム倍率の有無などであってもよい。また、ＬＡＤＡＲシステムの焦点面は、能動（ＬＡＤＡＲ）焦点面と受動（ビデオ）焦点面の組み合わせとして機能するのに十分な受容波長を有してもよい。

【0095】

レイテンシ低減の別の利点は、ＬＡＤＡＲデータの単一フレーム内のデータに基づいて物体に関する動きデータを計算する能力である。例えば、（３Ｄ）速度および加速度の真の推定値は、ＬＡＤＡＲショットの単一フレーム内のＬＡＤＡＲデータから計算することができる。これは、ファイバまたはダイオードＬＡＤＡＲシステムに関連付けられている短いパルス持続時間に起因するものであり、短いタイムライン内での複数の目標測定を可能にする。速度推定により、動きのない物体（ＬＡＤＡＲ搭載車両が動いている場合は閉速度を有する）を除去することができる。また、速度推定は、検出が発生した後に追跡が開始されたときに存在するノイズの量を減少することもできる。例えば、速度がない場合、１００ｍで１０ｍｒａｄのビームでは、３ｍの射程関連付けウィンドウが必要となるが、これは３ｎｓのパルスでは１８個のｘ、ｙ分解能のノイズ暴露ビン（パルス幅から１／２ｍ、ビーム発散から１ｍ）に相当する。対照的に、３ｍの関連付けに加えて、両方の次元で３ｍ／ｓの速度フィルタがある場合、公称１０Ｈｚのフレームレートでは、ノイズ曝露の範囲は約２～４ビンに減少する。フレーム内ベースで物体に関する動きデータを計算する能力により、物体の堅牢な運動学的モデルを低レイテンシで作成することができる。

【0096】

図１１Ａは、例示的な実施形態に従ってフレーム内の動きデータを計算するための例示的な処理フローを示す。ステップ１１００において、ＬＡＤＡＲ送信機３０２は、単一のＬＡＤＡＲフレーム内の目標に、重複するＬＡＤＡＲパルスショットのクラスタを発射する。クラスタ内のＬＡＤＡＲパルスは、短い持続時間（例えば、ＭＥＭＳ走査ミラーがＬＡＤＡＲシステムによって使用される実施形態では、典型的なＭＥＭＳ共振速度では、約５マイクロ秒～約８０マイクロ秒）にわたって時間的に離間している。ビームクラスタは、方位角、仰角、および射程のすべての３次元において重複を提供することができる。これは、各ＬＡＤＡＲパルスがパルスの飛行時間にわたって光の円錐を切り出すことに注目することによって可視化することができる。いずれの時点でも、ミラーの位置から、この円錐が空間のどこに位置付けられるかを計算することができます。この情報は、スケジューラでパルスのショット時間を選択するために使用されて、すべての３次元での重複を確実にすることができる。この重複は、シーンに関する情報を抽出するために、異なるルックアングル（視差）を効果的に使用することによって、シーンに関する独自の情報源を提供する。

【0097】

動き推定に対するこのクラスタ化アプローチのレイテンシの利点は、上記で参照されて組み込まれた特許および特許出願に記載されているような圧縮センシングを使用する動的ＬＡＤＡＲシステムと組み合わせて使用される場合には、さらに拡大され得る。このような動的ＬＡＤＡＲシステムでは、ＬＡＤＡＲコントローラは、パルスごと（すなわち、ショットごと）にＬＡＤＡＲ送信に影響を及ぼす。これとは対照的に、従来のＬＡＤＡＲシステムは、ショットパターンが繰り返されるときに開始および停止を行う固定フレームを規定している。つまり、フレーム内のショットパターンはフレームの開始時に固定されており、フレーム内で動的に適応されることはない。圧縮センシングを使用した動的ＬＡＤＡＲシステムでは、ショットパターンはフレーム内で動的に変化し得（すなわち、フレーム内ダイナミズム）、すなわち、ｉ番目のショットのショットパターンは、ショットｉ－１の直接の結果によって異なり得る。

【0098】

典型的な固定フレームＬＡＤＡＲシステムは、ＦＯＶによって規定されるフレームを有し、ＦＯＶは、ショットからショットへと走査され、ＦＯＶが完全に抽出されると、プロセスが繰り返される。したがって、圧縮センシングを使用する動的ＬＡＤＡＲシステムのショット選択を適応させる能力はマイクロ秒で測定されるが、従来の固定フレームＬＡＤＡＲシステムのショット選択を適応させる能力は数百ミリ秒または１００，０００倍遅く測定される。このように、動きデータを推定するのに役立つフレーム内ＬＡＤＡＲパルスの動的に選択されたタイトなクラスタを使用する能力は、物体の動き推定に関してレイテンシの大幅な改善をもたらすことが期待される。

【0099】

一方で、図１１Ａに戻ると、ステップ１１０２において、ＬＡＤＡＲ受信機３０４は、ＬＡＤＡＲパルスのクラスタからの反射戻りを受信および処理する。この処理の一部として、ＬＡＤＡＲ受信機３０４は、目標のフレーム内の動きデータを計算することができる。この動きデータは、タイトクラスタによって目標に設定された測距点からの反射戻りに対する射程および強度の変化に基づいて計算することができる。例えば、目標の速度および加速度は、これらの反射戻りに基づいて推定することができる。このような動きデータをフレーム内で計算することによって、視野内の１つ以上の目標の動きをモデル化する際のレイテンシを大幅に減少することができ、その結果、動作計画システムによるより高速な意思決定につながる。

【0100】

図１１Ｂは、図１１Ａのステップ１１００および１１０２を実装するための例示的な処理フローを示す。図１２Ａは、図１１Ｂに関して参照のためのＬＡＤＡＲパルスビームの例示的なクラスタを示している。図１１Ｂは、関心目標が検出されるステップ１１１０から始まる。目標検出を実施するために、いくつかの技法のいずれかを使用することができる。例えば、ＬＡＤＡＲデータおよび／またはビデオデータをステップ１１１０で処理して、目標を検出することができる。さらにまた、ソフトウェアで定義されたフレーム（その例は以下で説明される）を処理して、関心のある目標を検出することができる。例として、ステップ１１１０においてランダムフレームを選択することができ、目標は、その射程が高解像度マップからの固定点にマッピングされない戻りとして宣言することができる。しかしながら、目標検出のための他の技法が使用され得ることが理解されるべきである。

【0101】

ステップ１１１２において、検出された目標の座標は、互いに直交する２つの軸に関して規定することができる。参照を容易にするために、これらの座標は、ＸおよびＹと呼ばれ得る。例示的な実施形態では、Ｘは、水平（方位角）軸に沿った座標を指すことができ、Ｙは、垂直（仰角）軸に沿った座標を指すことができる。

【0102】

ステップ１１１４において、ＬＡＤＡＲ送信機３０２は、ＬＡＤＡＲショットＢおよびＣを目標に発射し、ここで、ＬＡＤＡＲショットＢおよびＣは同じ水平座標Ｘを共有するが、ＬＡＤＡＲショットＢおよびＣが視野内の指定された距離で重複するビームを有するように、異なる垂直座標を有する。図１２Ａは、ＬＡＤＡＲショットＢおよびＣの考えられる配置の例を示している。ビームの半径は、光学系（発散）と目標までの射程との両方に依存することが理解されるべきである。

【0103】

ステップ１１１６において、ＬＡＤＡＲ受信機３０４は、ＬＡＤＡＲショットＢおよびＣからの反射戻りを受信および処理する。これらの反射戻りは、推定された目標仰角Ｙｔを計算するために処理される。これを行うために、ＢおよびＣからの戻りのショットエネルギーを比較することができる。例えば、２つの戻りのエネルギーが等しい場合、目標は、ＢとＣとの中心間の線の中点に存在するとみなすことができる。Ｂ戻りのエネルギーがＣ戻りのエネルギーを超える場合、目標は、Ｂ戻りおよびＣ戻りのエネルギー比に対応する量だけこの中間点より上に存在するとみなすことができる（例えば、Ｃ戻りに比べてＢ戻りの対応するエネルギーが大きいほど、Ｂの中心に比例して近くなる）。Ｃ戻りのエネルギーがＢ戻りのエネルギーを超える場合、目標は、Ｂ戻りおよびＣ戻りのエネルギー比に対応する量だけ、この中間点よりも下に存在するとみなすことができる（例えば、Ｂ戻りに比べてＣ戻りの対応するエネルギーが大きいほど、Ｃの中心に比例して近くなる）。

【0104】

ステップ１１１８において、新しいＬＡＤＡＲショットＢ´が、垂直座標Ｙｔおよび水平座標Ｘの測距点を目標とするように規定される。次に、ステップ１１２０において、新しいＬＡＤＡＲショットＡが、垂直座標Ｙｔおよび水平座標Ｘ’の測距点を目標に設定するように規定され、ＸとＸ´との間のオフセットは、交差射程目標位置の推定を可能にするのに十分に大きいが、Ｂ´またはＡのいずれかで目標を見落とすのを避けるのに十分に小さい。すなわち、Ｂ’およびＡのうちの少なくとも１つが検出された目標にヒットする。Ｘ´の選択は、ＬＡＤＡＲビーム発散と同様に、数学を使用して、特徴付けられる対象物までの距離および寸法に依存する。例えば、１０ｍｒａｄのＬＡＤＡＲビーム、１００ｍの射程、１ｍの幅の車両（例えば、自動二輪車）を後方から見た場合、Ｘ´の値は、１／２メートルであるように規定することができる。

【0105】

ステップ１１２２において、ＬＡＤＡＲ送信機３０２は、ＬＡＤＡＲショットＢ´およびＡをそれぞれの目標に設定する測距点で発射する。次いで、ＬＡＤＡＲ受信機３０４は、Ｂ´およびＡの反射戻りを受信して処理し、Ｂ´およびＡの射程および強度データを計算する（ステップ１１２４）。具体的には、標準的なＬＡＤＡＲ射程の式をとり、固定ＬＡＤＡＲシステムパラメータを入力し、測定された信号パルスエネルギーを達成するために必要な目標反射率を計算することによって、所望の反射値を得ることができる。射程は、飛行時間技法を使用して評価することができる。射程は、射程（Ｂ´）および射程（Ａ）で表すことができる。強度は、強度（Ｂ´）および強度（Ａ）で表すことができる。次いで、ステップ１１２６において、プロセッサは、射程（Ｂ´）、射程（Ａ）、強度（Ｂ´）、および強度（Ａ）に基づいて、目標の交差射程および射程重心を計算する。交差射程は、ｒで表される射程（飛行時間）、および方位角θ（発射時間およびミラー位置から）を計算し、極変換ｒｓｉｎ（θ）を評価することによって求めることができる。Ｉ（ｉ）は強度を表し、複数回の測定で射程重心は以下のように求められる：

【数4】

ただし、交差射程重心は以下である：

【数5】

関心のある物体が少なくとも数ミリメートルまたは数センチメートル移動するのに十分な期間が経過した後に新しいデータが収集されるので、このプロセスを最初から繰り返すことができ、重心の位置の変化は、目標の速度および加速度を推定するために使用することができる。

【0106】

図１２Ａは、図１１Ｂに関して動作原理を説明するのに役立つ、ＬＡＤＡＲショットクラスタのための視野内の例示的なビームレイアウトを示す。図１２Ａによって示されているのは、目標が抽出されるビーム位置Ａ、Ｂ、Ｃ（１２００）である。これらのビームは、全幅の半分の最大値、すなわち１／ｅ^２レベルで重複している。説明の目的および教育上の実演のために、（ｉ）有効な目標は、これらのビームＡ、Ｂ、およびＣの結合内にあり、（ｉｉ）Ａ、ＢおよびＢ、Ｃは同一平面上にあると想定される。この文脈では、３つのビームが同一平面上にあると規定されるのは、接続部のコリニアルック方向が直交するペアワイズの組み合わせが存在する場合である。図１２Ａでは、Ａ、Ｂが水平方向に整列し、Ｂ、Ｃが垂直方向に整列するので、これが当てはまることが分かる。中心軸（位相中心）が一致している必要はないことに留意されたい。真の目標は、視野内の１２０１にある。上記のように、図１１Ｂの処理フローは、ある時点での目標位置の精緻な推定値を得るために、方位角および仰角の補間を可能にすることができる。この精緻な推定値を中心とする（またはその近くにある）ＬＡＤＡＲビームは、Ａ´（１２０２）と表すことができる。実際には、Ａ´が１２０１を完全に中心とすることはほとんどなく、というのも、（ｉ）ノイズに起因する重心で１２０１の真の値を近似しているだけであり、（ｉｉ）ソフトウェアは一般的に、常にではないにせよ、選択可能な位置の量子化されたセットに限定されるためである。ビームＡ´が作成されると、システムはまた、同一線上に重複するＬＡＤＡＲビームＢ´およびＣ´も同様に作成することができる（図示を容易にするために図１２Ａには示されていない）。これらのビームを介して行われた抽出および解析の結果は、図１２Ｂに示された速度テーブルとなる。この結果から、システムは、目標の射程および角度位置の正確な推定値を生成することができるが、説明の目的のためには、知識をビーム発散（角度位置）の実質的に減少した割合として考慮することで十分であり、射程の場合も同様である。この精度により、角度および射程のペアワイズの変化を調べて、目標の速度および加速度の情報を抽出することができる。したがって、図１１Ｂの処理フローは、目標のための横方向の動きを追跡するために使用することができる。

【0107】

図１２Ｂは、図１１Ｂの例示的な処理フローに従って目標を追跡するための例示的なタイムラインを示しており、これらのタイムラインは、後述されるように、フレーム内の動きデータを計算するためのクラスタ化技法が従来のアプローチよりも優れていることを示している。さらに、タイムラインは、走査ミラーの速度を妨げないように十分に短いものであり、これは、広い視野を維持するために有用であると同時に、動作計画の低レイテンシを達成することもできる。

【0108】

現実的なシナリオのサンプルおよび既存のコヒーレントＦＭＣＷ（周波数変調連続波）レーザーとの速度抽出比較を提供するために、全体の速度ベクトルに３ｎｓパルス、１００ｍの目標、２５メートル／秒の目標接近速度、１０％の非半径方向速度を想定している。本発明者らはまた、加速度については、１／ｍｓ^２の加速度（標準重力ｇ力の約１０％）を想定している。本発明者らは、半値全幅（ＦＷＨＭ）のレベルで規定されるように、ビームおよび射程ビンにおける不確実性の２０％まで測定する能力を想定する。本発明者らは１５ＫＨｚの高速スキャン軸の想定を使用し、その結果、公称３０ｕ秒の再訪率になる。比較の基礎として、本発明者らは、ドップラー抽出に基づくＬＡＤＡＲシステムを記載し、５００ナノ秒以上の滞留時間を有する米国特許第９，７３５，８８５号および同第９，３１０，４７１号に開示されているＦＭＣＷレーザーを検討することができる。これは、ビームがその時間の間に多くのスルーが発生するという欠点があり、これはフォトニックステアリングで克服することができる。しかし、高デューティサイクルおよびドップラー抽出のための時間積分の必要性は、達成可能なパルスの狭さを制限する。図１２Ｂの現在の比較は、非半径方向速度を抽出する能力に基づいている。

【0109】

図１２Ｂでは、位置精度精緻化のためのショット間の時間が３０μ秒から２，０００μ秒の間であることが分かる（図１２Ｂでは２ｍｓとして示されている）。上限は射程がドリフトするまでの時間であり、射程および距離変化率が混合されている。距離変化率を推定するためには、本発明者らは、目標が確実に推定できる量だけ移動するまで待つ。これは約３ｍｍ（１０ｃｍの持続時間［約３．３ｎｓ］、ＳＮＲ約６０）である。つまり、２５ｍ／ｓでは、５ｍ／ｓの動きに対して２０％刻みで動きを検出することができ、１ｍｓの更新では５ｍｍになる。本発明者らは、図１２Ｂに反映されるように、１ｍ／ｓは距離変化率更新の良好な下限であると結論付ける。１ｍ／ｓ／ｓ／５、または２０ｃｍ／ｓ／ｓの動きの場合、角度のある目標スルーでは、加速度は識別可能ではなく、したがって速度はぼやけない。１０％のオフセットの場合、これは２ｃｍ／ｓになる。３ｍｒａｄのオフセットで１００ｍになると、約３０ｃｍの交差射程範囲、つまり３００ｍｍが得られ、５：１の分割後に６０ｋμｍになる。したがって、１ｍｓの時間では、５：１分割での加速度の動きは２０μｍである。５：１になるためには、これを３，０００倍に増加させる必要がある。本発明者らは、角度空間でのドウェルの限界因子は、加速度ではなく、速度ビームウォークであると結論付ける。ここで、本発明者らは、６ｃｍのビームの１／５をウォークさせることが分かり、したがって、指定された２５ｍ／ｓクラブの１０％では、２．５ｍ／ｓ、つまり２．５ｍｍ／ｍｓが得られる。次いで本発明者らは、約１０ｍｓ前後でぼかす。本発明者らは、上限の射程境界と下限の距離変化率境界との間に、公称５０％のマージンを設けている。本発明者らは、信頼性の高い位置勾配は、常に地形および運動学的制約を伴うため、より複雑なラジオメトリックおよび自我運動のモデル化が必要になるため、図１２Ｂには加速度を含めていない。Ｍａｔｈｗｏｒｋｓ、ＭａｔｈＣＡＤ、Ａｎｓｙｓ、およびその他からソフトウェアツールが入手可能であり、これは、この作業を支援することができる。

【0110】

加速度は典型的には、５ｍｓで５ｍｍ／ｓの速度をぼかす。上記の段落の仕様である５ｍ／ｓを検出するには、本発明者らは、このぼかし率で１０倍のマージンを必要とする。誤差は微分演算子が連続するごとに蓄積されていくので、このようなマージンをとるのが賢明であり、したがって本発明者らは、真の速度のサンプル間の最大持続時間として５ｍｓを使用する。側面情報は、これを大幅に拡大することができ、これは、スピニングシステムに一般的な１０～２０Ｈｚにはほど遠いものである。

【0111】

図１２Ｂでは、発射時の角度ビーム位置（ショットリスト）を大文字で、パルスの発射時間を小文字で示している。本発明者らは、３つの（極）座標すべての射程および速度変化率を得るために使用されるデータの組み合わせの例を示す。その場合、標準的なユークリッド単位ベクトルへのマッピングは簡単である。

【0112】

１フレーム（フレーム内）で向上された測距、速度、加速度を得る能力は、効果的なＳＮＲおよび測定などのＬＡＤＡＲメトリクスの向上につながるが、後述されるように、この機能がカメラまたは同類のものから導出される画像データとの通信などのフレーム内通信と組み合わされたときに生じる追加の利点があることが理解されるべきである。

【0113】

ＬＡＤＡＲシステムとカメラとの間の通信がフレーム間で確立されると、さらに多くのレイテンシ低減を達成することができる。追加のレイテンシの低減を促進するために、例示的な実施形態では、ソフトウェア定義フレーム（ＳＤＦ）を使用する。ＳＤＦは、ＬＡＤＡＲフレームのショットリストであり、ＬＡＤＡＲシステムのフレームごとに選択可能である、事前に指定されたレーザーショットパターンのセット（ファミリー）を識別する。選択プロセスは、動作計画システムおよび／またはＬＡＤＡＲシステムにアクセス可能な知覚スタックなどの視野に関するデータ、またはエンドユーザによって支援され得る。ＬＡＤＡＲシステムにおける処理インテリジェンスは、ＳＤＦの選択を支援することができ、または選択は、機械学習、カメラからのフレームデータ、もしくはさらにはマップデータに基づいていてもよい。

【0114】

例えば、進入車両が、その前の車を追い越している最中に、追い越しによって（潜在的な）正面衝突に向けた速度で向かっている場合、ＳＤＦスタックは、より厳密な監視のために進入してくる脅威車両の周囲の関心エリアを選択することができる。これに加えて、動き構造を使用した精密な定位のために、様々な車両または固定物体の周囲に複数の関心エリアを設定することができる。ＬＡＤＡＲパルスを介した抽出のためのこれらの関心エリアは、ＳＤＦによって規定することができ、例として、ＳＤＦは、固定グリッド、ランダムグリッド、または「フォビエイテッド」グリッドとすることができ、所望の「固定点」の周りに密集したショットパターンを有し、他の場所ではよりまばらにサンプリングされる。衝突の可能性が予測される場合には、ＬＡＤＡＲフレームを終了してリセットすることができる。回転するＬＡＤＡＲなどの既存の固定ＬＡＤＡＲシステムをエミュレートするＬＡＤＡＲ／カメラビジョンソフトウェアを活用することには大きなメリットがある。したがって、このようなソフトウェアを活用するために、固定ＬＡＤＡＲスキャナのためのエミュレーションモードをＳＤＦスイートに含めることは、実施者にとって価値がある。例えば、フォビエイテッドＳＤＦは、ＬＡＤＡＲ搭載車両が進入する道路部分がおそらく検出水平線および／または地理的水平線で最も高い密度でより高いショット密度を享受するように構成することができ、それによって、空および他の道路以外の部分はショットがよりまばらに配置される。

【0115】

図１３Ａは、ＬＡＤＡＲシステムの視野内の観測された特性に基づいてＬＡＤＡＲシステムのＳＤＦを選択するために、プロセッサによって実行される例示的な処理フローを開示している。これにより、フレームごとのＬＡＤＡＲショットの低レイテンシ適応が可能になる。

【0116】

ステップ１３００において、プロセッサは、新しいＬＡＤＡＲフレームが開始されるべきであるかどうかをチェックする。そうであれば、処理フローは、ステップ１３０２に進む。ステップ１３０２において、プロセッサは、ＬＡＤＡＲシステムの視野の１つ以上の特性を表すデータを処理する。この処理されたデータは、ＬＡＤＡＲデータ（例えば、先行するＬＡＤＡＲショットからの射程情報）、画像データ（例えば、ビデオカメラなどからの画像）、および／またはマップデータ（例えば、既存のマップ情報に従った道路内またはその近傍の既知の物体に関するデータ）のうちの１つ以上を含むことができる。この処理されたデータに基づいて、プロセッサは、視野に関する判断を行い、視野の観察特性に適したＳＤＦのライブラリの中から適切なＳＤＦを選択することができる（ステップ１３０４）。ＳＤＦのライブラリは、プロセッサがアクセス可能なメモリに記憶することができ、各ＳＤＦは、そのＳＤＦの特定のＬＡＤＡＲショットを、観測された状況に最も適合するようにさらに調整することを可能にする１つ以上のパラメータを含むことができる。例えば、これらのパラメータは、ＳＤＦのＬＡＤＡＲパルス間の間隔、ＳＤＦのＬＡＤＡＲパルスによって規定されるパターン（例えば、後述されるように、フォビエイテッドＳＤＦの水平線または他の特徴部がどこに位置しているか）、およびＳＤＦのＬＡＤＡＲパルスによる目標設定のための特定の座標のうちの少なくとも１つを制御する１つ以上の変数を含むことができる。ステップ１３０６において、プロセッサは、そのパラメータ化に基づいて選択されたＳＤＦをインスタンス化する。これにより、ＳＤＦは、所定のＬＡＤＡＲフレーム内のＬＡＤＡＲパルスによる目標設定のための複数の測距点を具体的に識別する。ステップ１３０８において、ＬＡＤＡＲ送信機は、次いで、インスタンス化されたＳＤＦに従ってＬＡＤＡＲパルスを発射する。ＳＤＦが完了すると（または場合によっては、対象のＬＡＤＡＲフレームの割り込みに応答して）、処理フローは、次のフレームのためにステップ１３００に戻る。

【0117】

図１３Ｂ～図１３Ｉは、図１３Ａの例示的な実施形態の一部としてＬＡＤＡＲシステムによって使用され得る異なるタイプのＳＤＦの例を示しており、図１３Ｂ～図１３Ｉの例示的な実施形態の様々な線および他のパターンは、ＬＡＤＡＲパルスが視野内で目標に設定される場所を示している。

【0118】

図１３Ｂは、例示的なラスタエミュレーションＳＤＦを示す。このＳＤＦによって規定されるラスタパターンは、多くのＬＡＤＡＲシステムによって使用される標準的なスキャンパターンに対応する。機敏性を維持するために、ＬＡＤＡＲシステムは、任意の既存のＬＡＤＡＲシステムをエミュレートすることが望ましく、これにより、ＬＡＤＡＲシステムが既存のＬＡＤＡＲ抽出ソフトウェアを活用することが可能になる。

【0119】

図１３Ｃ～図１３Ｄは、フォビエーションＳＤＦの例を示している。フォビエーションＳＤＦでは、ＬＡＤＡＲショットは、迅速な脅威対応を可能にするために、潜在的な脅威エリアまたは他の関心領域とみなされるエリアにクラスタ化される。視野内の潜在的な脅威エリアの例としては、ＬＡＤＡＲ搭載車両が走行する車線が挙げられる。フォビエーションは、多くのパターンに基づいて変化し得る。例えば、図１３Ｃは、仰角（または垂直）フォビエーションＳＤＦを示している。フォビエーションは、スパース化（より低い密度およびより高い密度）が望まれる軸として規定されることに注意されたい。これは、対称軸、すなわちショットが（一様に）高密度に適用される軸の反対側である。図１３Ｃの例では、フォビエーションは、視野内の特定の仰角に焦点を当てているが水平線全体を走査する。望ましい仰角の選択は、水平線とＬＡＤＡＲ搭載車両が走行している車線との交点である。本発明者らはまた、車線を水平方向にスキャンし、その先に車両の出入りのある交差点が迫っているかどうかを確認したい場合もある。標高では、ショットの密度は、この水平線領域で最も高く、すぐ上や下の標高では低く、他のすべての標高ではおそらく低くなるが、所望のスパース化の程度によって異なる。別の潜在的なフォビエーションパターンは、方位角（または水平）フォビエーションＳＤＦであり、この場合、ショットの密度が高いことは、水平軸に沿って規定された位置にある垂直線に対応する（方位角はまばらであり、対称性は垂直である）。別の例は、図１３Ｄによって示されるような重心フォビエーションＳＤＦである。図１３Ｄの例では、フォビエーションは、指定された垂直および水平座標に沿って集中しており、これは、この仰角／方位角の交点に重心密度の高いＬＡＤＡＲショットをもたらす。フォビエーションＳＤＦのパラメータ化は、ＬＡＤＡＲショットのこれらの高密度の位置（およびＳＤＦ内のそのようなショットの密度）を規定することができる。

【0120】

図１３Ｅは、ランダムＳＤＦの例を示しており、ここでは、ＬＡＤＡＲショットは、位置のランダムサンプリングに基づいて視野全体に広がっている。ランダムＳＤＦは、曖昧さの抑制を可能にすることによって、迅速な脅威検出をサポートするのに役立ち得る。ランダムＳＤＦは、ランダム性の程度および視野内のランダムショットの間隔を制御するためにパラメータ化することができる。例えば、ランダムＳＤＦ内のＬＡＤＡＲショットのランダムリストは、潜在的な目標がＬＡＤＡＲシステムによって検出される前に１０フィート以上移動することができないように制御可能に規定することができる。

【0121】

図１３Ｆは、関心領域ＳＤＦの例を示している。例として、関心領域ＳＤＦは、所定のＬＡＤＡＲフレーム内のＬＡＤＡＲショットで目標に設定するための関心領域を規定することができる。図１３Ｆによって示される例は、車両が出入りする可能性のあるトリップワイヤー（図１３Ｆの道路交差点の細い線を参照）および／または境界ボックス（図１３Ｆの左側車線の車の後ろの長方形のボックスを参照）などの固定領域を含む。この例は、おそらくＬＡＤＡＲシステムの前にある関心領域、つまり関心の高いエリアを示している。境界ボックスは、事前のＬＡＤＡＲ走査および／またはマシンビジョン（例えば、カメラ画像データの処理を介して）から得ることができ、境界ボックスは、システムが以前に検出された目標の管理を保持することを可能にする。そのような目標の例としては、マシンビジョンを介して検出された歩行者（複数可）、マシンビジョンを介して検出された自動二輪車（複数可）、およびマシンビジョンを介して検出された道路標識（複数可）（または他の固定参照）を含むことができる。

【0122】

図１３Ｇは、例示的な画像で喚起されるＳＤＦを示す図である。このようなＳＤＦに喚起する画像は、受動カメラ画像またはＬＡＤＡＲデータからレンダリングされた画像であってもよい。例として、画像で喚起されるＳＤＦは、画像内で観測されるエッジに基づいていてもよく、検出されたエッジを使用して、ＬＡＤＡＲシステムによる後続の照会のためのフレームを形成することができる。別の例として、画像で喚起されるＳＤＦは、画像内で観測される影に基づいていてもよく、検出された影を使用して、ＬＡＤＡＲシステムによる後続の照会のためのフレームを形成することができる。別の例は、ビデオのみのシステムの深度検知を強化するために、境界ボックスからＬＡＤＡＲを喚起することであり得る。例えば、本明細書に開示されるような専用の測距点選択は、この目的に向けて、２０１８年にＡｒｘｉｖで 公開されたＭＡＧＩＣ Ｌｅａｐ著「Ｅｓｔｉｍａｔｉｎｇ Ｄｅｐｔｈ ｆｒｏｍ ＲＧＢ ａｎｄ Ｓｐａｒｓｅ Ｓｅｎｓｉｎｇ」に記載された技術を活用することができる。

【0123】

図１３Ｈは、例示的なマップで喚起されるＳＤＦを示す。マップで喚起されるＳＤＦは、フレームが自車検知に基づいているが、以前に収集されたマップデータに基づいているため、アジャイルＬＡＤＡＲシステムの強力な動作モードとなり得る。例えば、マップデータを使用して交差道路を検出することができ、マップで喚起されるＳＤＦを操作して交差道路に到着する前にＬＡＤＡＲショットを用いて交差道路を照会することができる。図１３Ｈには、交差道路の位置がブロック点として示されており、白い点は、交差点に進入するＬＡＤＡＲ搭載車両に対応している。

【0124】

単一フレーム喚起を使用することは、ＬＡＤＡＲデータとカメラデータとの両方を支援する。カメラは、ＳＤＦスイートからフレーム選択を指示することができる。また、ＬＡＤＡＲデータは、２つの物体が曖昧に関連付けられている場合（結果として、望ましくない高い混同行列スコアが生じる）に、より高い信頼性を確立することによって、ビデオ機械学習を強化するために使用することができる。この例は、フレーム内（すなわち、サブフレーム）のビデオ／ＬＡＤＡＲ融合によって、既存のソフトウェアがどのように容易に適応され、強化されるかを示している。例えば、標準的な回転ＬＡＤＡＲシステムのフレームレートは１０Ｈｚである。多くのカメラは１００Ｈｚ前後のフレームレートを許容しているが、従来のＬＡＤＡＲのフレームレートは一般的に１０Ｈｚ前後、つまりカメラのフレームレートの１０分の１である。したがって、カメラデータを融合する前にＬＡＤＡＲフレームが完了するのを待つことによって、システムがＬＡＤＡＲフレームの完了を待っている間にレイテンシが発生することが分かる。したがって、このようなサブフレーム処理はレイテンシを高速化し、セットアップ時間またはフレーム間レイテンシを伴わずに、フレーム間でのＳＤＦの更新を可能にすることが理解されるべきである。

【0125】

カメラ―ＬＡＤＡＲ交差喚起の特に説得力のある使用例が図１３Ｉに示されている。図１３Ｉの左側は、視野のＬＡＤＡＲマップを示し、図１３Ｉの右側は、このＬＡＤＡＲマップと重ね合わされた視野のカメラ画像を示している（ここでは、この例はＡＥＹＥ ＪＯ－ＧＬＡＤＡＲユニットを使用して作成された）。図１３Ｉの右側から、ＬＡＤＡＲマップが形成されたときから車両が移動していることが分かり、これは、カラーカメラ画像の視覚的なエッジを検査し、ＬＡＤＡＲ画像のエッジと比較することによって検出することができる。この種の交差喚起は非常に高速であり、カメラ画像またはラダー画像のいずれかでフレーム間のエッジを単独で接続しようとするよりもはるかに誤差が生じにくい。ＬＡＤＡＲフレームが終了した後、車両の方向および速度を判定するのに必要な時間は、カメラ画像を１つ（１０ミリ秒程度）撮影する時間であり、その後、カメラ画像のエッジ検出（これは、自由に利用できるＯｐｅｎ ＣＶソフトウェアを使用して実施することができる）が続き、この時間は１０万回程度の演算に相当するが、光学カメラ画像のみの場合に期待されるギガ演算に比べて大幅に改善されている。

【0126】

図１４は、上述された、いくつかのフレームの詳細を詳しく説明する例示的な実施形態を示す。まず、ビデオカメラにおける影付けを考慮すると、参照番号１００１７は照明源（例えば、太陽、街灯、ヘッドライトなど）を示しており、参照番号１００１８は、光を遮蔽し、それによって光線１００１９および１００２０によって規定される境界を有する影を投射する障害物を示している。この例では、目標１０００４のすべておよび目標１０００３のいくつかは、カメラに視認可能ではないが、影のある領域の大部分は、影で喚起されるＳＤＦの使用を介して、ＬＡＤＡＲ１０００１および１０００２を使用して回復可能である。

【0127】

本発明者らは、車両１０００３が、より遠くにある第２の車両１０００４を妨害しているシナリオを観測する。例えば、これは、車両１０００４が車両１０００３を追い越す途中の自動二輪車であるというシナリオに対応し得る。これは、道路上に自動二輪車がほとんどない場合でも、自動二輪車を巻き込む事故が多いために危険な状況である。この例では、本発明者らは、自動二輪車が、ある程度の期間、ＬＡＤＡＲ搭載車両１０００８の車線内に少なくともある程度の期間存在すると考える。本発明者らのシナリオでは、車両１０００８は、ＬＡＤＡＲおよびビデオを備える２つのセンサヘッド（１０００１および１０００２）を有する。影で喚起されるＳＤＦは、ＬＡＤＡＲヘッドごとに異なるものとなる。図１４のスケッチは縮尺ではなく、車両１０００８上のセンサ間の間隔は、一般的に２メートル程度であり、車両１０００８から車両１０００４までの距離は１００数メートルであり得ることに留意されたい。また、車両のアスペクト比も正確ではないが、フォームファクタは説明を簡略化し、より簡単に要点を示す。

【0128】

１０００１および１０００２を頂点とした２つの三角形は、それぞれ影のあるエリア１０００５、１０００７、および１０００６、１０００７を含み、ＬＡＤＡＲおよび共に照準されるカメラの視野を示している。センサ１０００１は、陰のある領域１０００６として示されている１０００３から投射される影を有する。これは車両１０００４を含むので、ＬＡＤＡＲもカメラも車両１０００４を見ていないことに留意されたい。センサ１０００２についても同様である。センサ１０００２からの影は、車両の後方から投射され、センサ１０００１については右側の前方から投射され、左側では１０００３の前方が両方の影の頂点であることに留意されたい。構造化されたテクスチャ領域１０００５は、センサ１０００２の影のうち、センサ１０００１から既に影が付けられていない部分を示している。動きの立体構造は、センサ１０００１、１０００２の境界ボックスを生成し、ここで、そのような境界ボックスは、車両１０００３上でそれぞれ１００１１、１００１２によって識別される。これは、車両１０００３を追跡するために、各ＬＡＤＡＲのための新しい（関心領域）ソフトウェアフレーム１００１３を規定する。狭いＲＯＩフレームの使用により、所定の正味誤報率に対してより低いＳＮＲが可能になり、したがって、充電時間が短縮され、レイテンシが低減する。

【0129】

車両１０００３が存在しない場合、両方のカメラは異なる角度から車両１０００４を見ることに留意されたい。実施者は、これにより、ビデオカメラが動きから構造を得ることができること、具体的には角度の違いから射程を推測することができることに気づくであろう。当然のことながら、この射程はＬＡＤＡＲから直接得られる。センサの出力を平均化することでノイズが低減されるため、物体が遮蔽されていないときには、本発明者らは、より正確な定位、したがって、速度や動き予測を得ることができ、それによって、射程がさらに伸びることが観測され得る。これは、図１４において参照番号１００１４、１００１５［黒い点を参照］によって示されており、構造化された動きから、車両１０００３の前部が位置付けられるべきであると推定される位置である。一方または両方のＬＡＤＡＲからの射程を使用して、異なる、そして両方ともわずかに誤差のある目標位置１００１４、１００１５をより正確な位置１００１６［白い点を参照］に置き換えて、正確な測距を得ることができる。距離ｄ、１０００９、および角度オフセットａ１００１０からのマルチラテレーションを使用した改良された位置決めは、直接、より小さい推定された目標体積１００１３につながる。その結果、これは、速度推定ナラティブで以前に説明されたように、ノイズの露出を減少させることを通じて有効なＳＮＲを増加させる。

【0130】

以下の項目は、３Ｄ速度および加速度などの運動学的モデルから動作計画値を抽出することができる例示的な使用例である。これらの例では、検出および追跡される目標は、ＬＡＤＡＲ搭載車両のセンサ範囲内にある他の車両であり得る。次いで、これらの他の車両の動きデータを使用して、ＬＡＤＡＲ搭載車両の予測される行動を個別にもしくは集合として（交通密度など）計算するか、または環境状態を抽出する。これらの例は、本明細書に記載されている短パルス速度ＬＡＤＡＲを用いた３Ｄ速度および加速度推定の能力を実証している。さらに、これらの使用例は、コヒーレントであるか否かにかかわらず、任意のＬＡＤＡＲシステムによってアドレス可能であるが、本明細書に記載され、上記で参照されて組み込まれた特許および特許出願に記載されているようなコヒーレントなランダムアクセスＬＡＤＡＲシステムは、図１２Ａおよび図１２Ｂに概説されているように、動的な再訪時間および選択的なプロービング（例えば、可変ショットリスト）に好適である。さらに、カメラがビデオフレームレートよりも速くＬＡＤＡＲセンサに情報をフィードバックすることができれば、これらの使用例はすべて強化される。例えば、先に説明されたように、ＬＡＤＡＲシステムは、６０マイクロ秒以下で所定の位置をサンプリングできるのに対し、ビデオフレームは、通常５～１０ミリ秒程度（２００～１００ｆｐｓカメラの場合）であり、多くの場合、ＦＯＶを犠牲にしている。その結果、カメラがラインごとにＬＡＤＡＲシステムにデータを送り返すことができれば、レイテンシを大幅に低減することができる。例えば、最新の標準規格である３ｋｘ３ｋピクセルのカメラでは、ラインごとの読み出しで３，０００のレイテンシが低減される。つまり、完全な９Ｍピクセルでの更新レートが２０Ｈｚに制限されていたとしても、本発明者らは、読み出しを１フレームから１ラインに落とせば、ＬＡＤＡＲの再訪に一致させることができる。ビデオの活用はＬＡＤＡＲよりも発展している分野のため、Ｏｐｅｎ ＣＶなど様々なソフトウェアツールおよび製品があり、以下のようなシナリオに対応している。

【0131】

高速動作計画のための環境知覚：「環境プロービング」としての他の車両の活用
・ 差し迫ったバンプ／ポットホール‐垂直ｙ軸に沿って上下に再方向付けられる速度
ｏ 検出： マップから明らかなように道路の勾配をはるかに超える高速の瞬間的な垂直速度。
ｏ 実用性： バンプが差し迫っていることを警告し、乗客が快適に過ごせるように減速する時間を確保し、および／または車両制御を強化する。
・ 雨／氷の発生（横滑り）‐バルク速度ベクトルの変化を伴わない水平面内でのマイクロスケールの車両速度シフト
ｏ 検出：車両の位置のランダムウォークは、標準的な自我（すなわち、自車）の動きをはるかに超えて戻る。
ｏ 実用性： 安全でない［グリップが低下した］道路状況の警告、車両制御のためのターン半径および制動モデルを更新する。
・ 差し迫ったワインディング／カーブ道路 ‐速度を変えずに水平方向に徐々に横方向に変化して（揺れて）いるか、または速度が低下している可能性がある
ｏ 検出：車両の半径方向に投影された長さのわずかな変化、および／または車両の後方と前方との速度の差［範囲が分解されている場合］、または上記の検出モダリティに対してＳＮＲ依存の範囲分解が不十分な場合の方位角重心の変化。
ｏ 実用性：横方向の変化は、道路の曲率が近づいていることを事前に警告し、自車の路面が変化する前に車両制御に対する修正アクションを可能にする。
・ 差し迫った渋滞‐減速／制動
ｏ 検出：ライダー搭載車両の前の車両のコヒーレント減速パターン。
ｏ 実用性：減速の必要性の事前警告、および／または好ましい経路の選択肢を探る経路計画の変更。
行動知覚：人間またはロボット運転手の意思確認。行動の知覚は、異常検出の問題である。したがって、例えば、１台の車両は、「フリップフロップ」していた場合、路面が証拠となる原因になることはなく、運転が直接の原因であることは明らかである。
・ 運転者の異常行動［飲酒運転または機器の故障］‐方向および速度（速度ベクトル）の微妙な横方向への変化（脱線）
ｏ 検出：車両の半径方向に投影された長さのわずかな変化、および／または車両の後方と前方との速度の差［範囲が分解されている場合］、または上記の検出モダリティに対してＳＮＲ依存の範囲分解が不十分な場合の方位角重心の変化。
ｏ 実用性：ロボットであれ人間であれ、異常な運転者は脅威的な運転者である。高度な警告は、回避的な自車の予防的な再計画を可能にする。
・ 「マクドナルドでの停止」 （自発的な脱線）‐方向および速度（方位速度ベクトル）の急速な横方向の変化（揺れ）。
ｏ 検出：車両の半径方向に投影された長さのわずかな変化、および／または車両の後方と前方との速度の差［範囲が分解されている場合］、または上記の検出モダリティに対してＳＮＲ依存の範囲分解が不十分な場合の方位角重心の変化。
ｏ 実用性：当該迂回者を後回しにすることを回避する。
上記検出モードの様々な混合を含む追加の行動モード検出は、以下のものを含む。
・ 合流／車線変更／通過－微妙なまたは急速な加速を伴う微妙なまたは急速な横方向の方向転換。
・ 緊急制動‐Ｚ軸（半径方向の）減速
・ 左旋回開始－旋回車線の手前で半径方向に減速する。
・ 黄信号での保護（黄色で飛び出す）－横方向への減速
・ ブレーキの故障による惰性走行（丘）－一定のベクトルでの徐々の加速（減速なし）。

【0132】

本発明をその例示的な実施形態に関連して上述してきたが、なおも本発明の範囲にある様々な修正がそれに対して行われる場合がある。本発明に対するそのような修正は、本明細書の教示を精査することで認識することが可能である。

【図1】

【図2】

【図3A】

【図3B】

【図4】

【図5A】

【図5B】

【図6A】

【図6B】

【図6C】

【図7】

【図8】

【図9】

【図10A】

【図10B】

【図10C】

【図10D】

【図11A】

【図11B】

【図12A】

【図12B】

【図13A】

【図13B】

【図13C】

【図13D】

【図13E】

【図13F】

【図13G】

【図13H】

【図13I】

【図14】