ホーム > 特許ランキング > ルミナー，エルエルシー
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-03-13
(54)【発明の名称】センサシステムのキャリブレーション
(51)【国際特許分類】
G01S 7/497 20060101AFI20230306BHJP
G01S 17/931 20200101ALI20230306BHJP
【ＦＩ】
G01S7/497
G01S17/931
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2022542041
(86)(22)【出願日】2021-01-06
(85)【翻訳文提出日】2022-09-05
(86)【国際出願番号】 US2021012309
(87)【国際公開番号】W WO2021141988
(87)【国際公開日】2021-07-15
(31)【優先権主張番号】62/958,157
(32)【優先日】2020-01-07
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】16/869,506
(32)【優先日】2020-05-07
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】521026699
【氏名又は名称】ルミナー，エルエルシー
(74)【代理人】
【識別番号】110001999
【氏名又は名称】弁理士法人はなぶさ特許商標事務所
(72)【発明者】
【氏名】スタヴァニ，アメイ
(72)【発明者】
【氏名】ワラジャペット モハン，レッカ
(72)【発明者】
【氏名】エングラード，ベンジャミン
【テーマコード（参考）】
5J084
【Ｆターム（参考）】
5J084AA05
5J084AB01
5J084AB07
5J084AB20
5J084AC02
5J084AC03
5J084AC04
5J084AC05
5J084AD01
5J084BA04
5J084BA20
5J084BA36
5J084BA50
5J084BB13
5J084BB16
5J084BB20
5J084BB21
5J084BB22
5J084BB23
5J084BB25
5J084BB26
5J084BB28
5J084BB38
5J084CA03
5J084CA04
5J084CA05
5J084CA26
5J084CA31
5J084CA32
5J084CA68
5J084DA01
5J084EA08
5J084FA01
(57)【要約】
システムは、異なるが重複する視野を有する複数のセンサと、センサに通信可能に結合されたコントローラとを含む。複数のセンサをキャリブレートするための方法は、センサからデータを取得すること、センサの少なくとも１つについて最適化された変換パラメータを決定すること、及びデータを一方のセンサ投影平面から他方のセンサ投影平面に変換することを含む。この方法は、データセット、及びセンサの変換されたデータセット間の、相互情報のメトリックを使用して、最適化された変換パラメータのセットを決定する反復プロセスである。センサは、複数のライダーセンサ、カメラ及びライダーセンサ、又は他のセンサのセットであってもよい。
【特許請求の範囲】
【請求項1】
センサから受信したデータを処理するための方法であって、処理ハードウェアにより、第１のセンサから、該第１のセンサの視野において検出された環境に対応する第１のセンサデータを受信すること、
前記処理ハードウェアにより、前記第１のセンサから位置及び／又は方向が物理的にオフセットされた第２のセンサから、前記第１のセンサの前記視野に少なくとも部分的に重なる、前記第２のセンサの視野において検出された環境に対応する第２のセンサデータを受信すること、及び、
前記処理ハードウェアにより、前記第１のセンサデータと前記第２のセンサデータとの間の相互情報のメトリックを考慮して変換パラメータ候補を反復的に修正することを含み、前記第１のセンサデータと前記第２のセンサデータとの位置合わせのための変換パラメータのセットを決定すること、を含むことを特徴とする方法。
【請求項2】
前記第１のセンサデータを受信することは、それぞれが各々の強度値を含むピクセルで構成される二次元画像を受信することを含み、前記第２のセンサデータを受信することは、それぞれが空間座標のセット及び各々の強度値を含む点で構成される三次元点群を受信することを含むことを特徴とする請求項１記載の方法。
【請求項3】
前記相互情報のメトリックは、前記第１のセンサデータ中の前記強度値と、前記第２のセンサデータ中の前記強度値との間の相関を示すことを特徴とする請求項２記載の方法。
【請求項4】
前記第１のセンサデータを受信することは、それぞれが空間座標のセットを含む点で構成される第１の三次元点群を受信することを含み、前記第２のセンサデータを受信することは、それぞれが空間座標のセットを含む点で構成される第２の三次元点群を受信することを含み、
前記相互情報のメトリックは、前記第１のセンサデータ中の前記空間座標のセットと、前記第２のセンサデータ中の前記空間座標のセットとの間の相関を示すことを特徴とする請求項１記載の方法。
【請求項5】
前記第１の三次元点群及び前記第２の三次元点群中の点の各々は、それぞれの強度値又は反射率値を更に含み、前記相互情報のメトリックは、前記第１のセンサデータ中の前記強度値と、前記第２のセンサデータ中の前記強度値との間の相関を更に示すことを特徴とする請求項４記載の方法。
【請求項6】
前記相互情報のメトリックを生成する際に、前記空間座標のセットに第１の重みを適用し、前記強度値に第２の重みを適用すること、を更に含むことを特徴とする請求項５記載の方法。
【請求項7】
前記変換パラメータのセットは、回転オフセット又は並進オフセットの少なくとも１つを含むことを特徴とする請求項１記載の方法。
【請求項8】
前記変換パラメータ候補を反復的に修正することは、前記処理ハードウェアにより、変換パラメータの候補セットを前記変換パラメータの初期セットに設定すること、
前記処理ハードウェアにより、変換パラメータの前記候補セットに従って、前記第２のセンサデータを前記第１のセンサデータの基準フレームに変換すること、
前記処理ハードウェアにより、前記第１のセンサデータ及び変換された前記第２のセンサデータについて、前記相互情報のメトリックを計算すること、及び、
終了条件が満たされるまで、変換パラメータの異なるそれぞれの候補セットについて、前記変換及び前記計算を反復して行うこと、を含むことを特徴とする請求項１記載の方法。
【請求項9】
ユーザインターフェースを介してオペレータから、変換パラメータの前記初期セットを受信すること、を更に含むことを特徴とする請求項８記載の方法。
【請求項10】
変換パラメータの前記初期セットとして、前のキャリブレーション処理の結果を選択すること、を更に含むことを特徴とする請求項８記載の方法。
【請求項11】
前記第１のセンサの前記視野と前記第２のセンサの前記視野との間の重なりを、特定の閾値以上にするグリッド検索を使用して、変換パラメータの前記初期セットを選択すること、を更に含むことを特徴とする請求項８記載の方法。
【請求項12】
前記第２のセンサデータを変換することは、同次変換行列を適用することを含み、該同次変換行列が、回転四元数及び／又は並進ベクトルに基づくものであることを特徴とする請求項８記載の方法。
【請求項13】
前記相互情報のメトリックを計算することは、前記第１のセンサの前記視野と前記第２のセンサの前記視野との間の重複領域を決定すること、及び、
前記重複領域に対してのみ前記相互情報のメトリックを決定すること、を含むことを特徴とする請求項８記載の方法。
【請求項14】
前記相互情報のメトリックを決定することは、前記第１のセンサの前記視野と前記第２のセンサの前記視野との間の重複領域について、前記第１のセンサデータと前記第２のセンサデータとの間のジョイントヒストグラムを生成することを含み、前記変換及び前記計算を反復して行うことは、前記ジョイントヒストグラムに基づいて前記相互情報のメトリックを最大化することを含むことを特徴とする請求項８記載の方法。
【請求項15】
前記ジョイントヒストグラムは、値の二次元グリッドを含み、該グリッドの各軸は、前記センサの１つからの強度データ又は深度データを表し、前記グリッドの各値は、前記２つのセンサからのデータの対応するサンプルペアが前記重複領域で観察される確率又は回数に対応することを特徴とする請求項１４記載の方法。
【請求項16】
相互情報のメトリックを決定することは、ジョイントヒストグラムに平滑化フィルタを適用すること、及び、
前記ジョイントヒストグラムの値に確率的手法を適用することで、前記相互情報のメトリックを計算すること、を更に含むことを特徴とする請求項１４記載の方法。
【請求項17】
前記変換及び前記計算を反復して行うことは、前記処理ハードウェアにより、変換パラメータの前記候補セットに勾配降下アルゴリズムを適用して、変換パラメータの更新された候補セットを生成することを含むことを特徴とする請求項８記載の方法。
【請求項18】
前記勾配降下アルゴリズムが、バルジライ－ボールウェイン法に従うものであることを特徴とする請求項１７記載の方法。
【請求項19】
前記変換及び前記計算を反復して行うことは、前記処理ハードウェアにより、変換パラメータの前記候補セットに勾配なしアルゴリズムを適用して、変換パラメータの更新された候補セットを生成することを含むことを特徴とする請求項８記載の方法。
【請求項20】
前記勾配なし関数が、ネルダー－ミード最適化法に従うものであることを特徴とする請求項１９記載の方法。
【請求項21】
前記終了条件は、（ｉ）前記相互情報のメトリックが、第１の所定閾値を超えること、
（ｉｉ）前記相互情報のメトリックに基づくコスト値が、第２の所定閾値未満になること、
（ｉｉｉ）前記変換及び前記計算の反復回数が、第３の所定閾値を超えること、
（ｉｖ）現在の反復のコストと前の反復のコストとの間の差が、第４の所定閾値未満になること、のうちの少なくとも１つに対応することを特徴とする請求項８記載の方法。
【請求項22】
前記第１のセンサデータ及び前記第２のセンサデータの各々は、それぞれのセンサによって捕捉された複数のフレームを含むことを特徴とする請求項１記載の方法。
【請求項23】
前記第１のセンサデータを受信することは、第１の三次元点群を受信することを含み、前記第２のセンサデータを受信することは、第２の三次元点群を受信することを含み、
当該方法は、更に、
前記第１の三次元点群及び前記第２の三次元点群の複数の投影を、それぞれの投影平面へ生成すること、
前記投影平面の各々についてそれぞれの相互情報のメトリックを生成することであって、投影平面についての前記相互情報のメトリックが、（ｉ）前記第１のセンサデータにおける前記投影平面に関連する空間座標のサブセットと、（ｉｉ）前記第２のセンサデータにおける前記投影平面に関連する空間座標のサブセットとの間の相関を示すこと、を含むことを特徴とする請求項１記載の方法。
【請求項24】
前記処理ハードウェアにより、前記第１のセンサデータ及び前記第２のセンサデータによって捕捉された動的オブジェクトを識別すること、及び、前記処理ハードウェアにより、前記変換パラメータのセットの決定が静的オブジェクトのみに制限されるように、前記第１のセンサデータ及び前記第２のセンサデータから動的オブジェクトを除去すること、を更に含むことを特徴とする請求項１記載の方法。
【請求項25】
前記第１のセンサ及び前記第２のセンサは、車両において動作し、前記第１のセンサデータ及び前記第２のセンサデータは、前記車両が停止しているときに捕捉されることを特徴とする請求項１記載の方法。
【請求項26】
前記第１のセンサ及び前記第２のセンサからのセンサデータ間の相関量に対応する相関スコアに基づいて、前記第１のセンサ及び前記第２のセンサからの前記センサデータを選択することであって、前記相関スコアが特定の閾値を超える場合に、前記第１のセンサ及び前記第２のセンサからの前記データが選択されること、を更に含むことを特徴とする請求項１記載の方法。
【請求項27】
前記第１のセンサからの第１のセンサデータの追加セットと、前記第２のセンサからの第２のセンサデータの追加セットとを受信すること、及び、決定された前記変換パラメータのセットに従って、第２のセンサデータの前記追加セットを第１のセンサデータの前記追加セットと結合すること、を更に含むことを特徴とする請求項１記載の方法。
【請求項28】
前記第１のセンサからの第１のセンサデータの追加セットと、前記第２のセンサからの第２のセンサデータの追加セットとを受信すること、決定された前記変換パラメータのセットに従って、第２のセンサデータの前記追加セットを変換すること、及び、
健全スコアを決定することであって、該健全スコアが、（ｉ）第１のセンサデータの前記追加セットと第２のセンサデータの変換された前記追加セットとに関連する相互情報の追加メトリック、（ｉｉ）第１のセンサデータの前記追加セットと第２のセンサデータの変換された前記追加セットとに関連するコスト値、或いは（ｉｉｉ）第１のセンサデータの前記追加セットと第２のセンサデータの変換された前記追加セットとに関連する正規化情報距離値に、少なくとも部分的に基づいていること、を更に含むことを特徴とする請求項１記載の方法。
【請求項29】
前記健全スコアが再キャリブレーション閾値より小さいことを判定すること、及び、前記健全スコアが前記再キャリブレーション閾値より小さいことに応答して、変換パラメータの新しいセットを決定する必要がある旨の通知を送信すること、を更に含むことを特徴とする請求項２８記載の方法。
【請求項30】
前記健全スコアが臨界閾値より小さいことを判定すること、及び、前記健全スコアが前記臨界閾値より小さいことに応答して、前記第１のセンサ又は前記第２のセンサを整備或いは修理する必要がある旨の通知を送信すること、を更に含むことを特徴とする請求項２８記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願との相互参照）
本出願は、２０２０年１月７日に出願された米国仮出願第６２／９５８，１５７号、及び２０２０年５月７日に出願された米国特許出願第１６／８６９，５０６号の優先権を主張するものであり、それらの全体が、参照により本明細書に明示的に組み込まれるものとする。
本出願は、２０２０年１月７日に出願された米国仮出願第６２／９５８，１５７号、及び２０２０年５月７日に出願された米国特許出願第１６／８６９，５０６号の優先権を主張するものであり、それらの全体が、参照により本明細書に明示的に組み込まれるものとする。
【0002】
本開示は、概して、センサシステムのキャリブレーションに関し、より詳細には、センサのキャリブレーションのために様々なセンサからのデータセットを結合するための変換を最適化することに関する。
【背景技術】
【0003】
本明細書で提供される背景の説明は、本開示の文脈を大略的に提示することを目的とするものである。本背景のセクションに記載されている範囲での本明細書の発明者の仕事、並びに出願時に先行技術として他に認定されない可能性のある説明の側面は、本開示に対して先行技術として明示的又は黙示的に認められるものではない。
【0004】
自動運転又は「自律型」車両は、一般に、光検出及び測距（ライダー）装置、カメラ、レーダなどのセンサを採用して、車両が目的地に向かって移動する際に周辺環境を検出又は「見る」ことができる。このような車両は、センサデータを処理し、感知された環境と所望の目的地との双方に基づいて、どの操縦及び操作状態（例えば、制動力、操舵方向）が最も適切かを、走行中に多かれ少なかれ継続的に決定する自動運転制御システムを含んでいる。典型的には、自律型車両の自動運転を可能にするために、ターゲットを検出し、ターゲットを識別し、ターゲット（例えば、他の車両、歩行者、木、道路の端など）までの距離を測定するために、１台の車両に複数のセンシングシステムが採用される。
【0005】
光検出及び測距（ライダー）は、遠隔ターゲットまでの距離を測定するために使用することができる技術である。典型的には、ライダーシステムは、光源と光レシーバとを含む。光源は、例えば、特定の動作波長を有する光を放射するレーザであってよい。ライダーシステムの動作波長は、例えば、電磁スペクトルの赤外線、可視光線、又は紫外線の部分領域にあってよい。光源はターゲットに向けて光を照射し、ターゲットはその光を散乱させる。散乱された光の一部がレシーバで受信される。システムは、戻ってきた光に関連する１つ以上の特性に基づいて、ターゲットまでの距離を測定する。例えば、システムは、戻ってきた光パルスの飛行時間に基づいて、ターゲットまでの距離を測定することができる。
【0006】
更に、システムは、複数のライダーシステムを採用し、或いはライダーシステムをカメラや他の画像システムと組み合わせて、ターゲットまでの距離を測定し、ターゲットを識別し、又は環境マッピング及び他のオブジェクト識別の目的のためにデータを結合することができる。
【発明の概要】
【0007】
本開示の技術の例示的な一実施形態は、様々なタイプのセンサから受信したデータを処理するための、コンピュータ実装された方法である。本方法は、第１のセンサから、第１のセンサの視野（ＦＯＲ）（field of regard）内で検出された環境に対応する第１のセンサデータを受信することを含む。本方法は、更に、第１のセンサから位置及び／又は向きについて物理的にオフセットされた第２のセンサから、第２のセンサのＦＯＲにおいて検出された環境に対応する第２のセンサデータを受信することを含み、第１及び第２のセンサのＦＯＲが、少なくとも部分的に重複している。加えて、本方法は、第１のセンサデータと第２のセンサデータとの位置合わせ（alignment）のための、変換パラメータのセットを決定することを含む。変換パラメータのセットの決定は、第１のセンサデータと第２のセンサデータとの間の相互情報のメトリック（metric）に鑑みて、変換パラメータ候補（candidate transformation parameters）を反復的に修正することを含む。
【図面の簡単な説明】
【0008】
【図1】本開示の技術の少なくともいくつかが実装され得る、例示的な光検出及び測距（ライダー）システムのブロック図である。
【0009】
【0010】
【0011】
【0012】
【0013】
【図6A】車両を操縦し操作するための様々な構成要素をコントローラが操作し得る、複数のセンサを備えた例示的な自律型車両を示している。
【0014】
【図6B】異なる視野及び重複する視野を有する複数のセンサを備えた、例示的な自律型車両を示している。
【0015】
【図7】異なる視野を有する２つのセンサの重複領域を示している。
【0016】
【図8】複数のライダーセンサヘッドを備えたライダーシステムが環境に関する情報を取得するために使用される、例示的なシステムを示している。
【0017】
【図9】２つのセンサシステムのための最適な変換パラメータを決定する方法のフロー図である。
【0018】
【図10】異なるライダーセンサからのデータを結合するための最適な変換パラメータを決定する方法のフロー図である。
【0019】
【図11A】それぞれの視野の空間的オフセットを有する２つの独立したライダーセンサから受信された、２つのライダー点群のライダー画像である。
【0020】
【図11B】変換最適化を実行した後の、視野の空間的オフセットを有する２つの独立したライダーセンサから受信された２つのライダー点群のライダー画像である。
【0021】
【図12】カメラがライダーシステムと協働して環境に関する情報を取得する例示的なシステムを示している。
【0022】
【図13】ライダー及びカメラデータを組み合わせるための変換パラメータを最適化する方法のフロー図である。
【0023】
【図14A】環境の写真画像を表す図である。
【0024】
【0025】
【発明を実施するための形態】
【0026】
概して、本開示の技術は、複数のセンサを備えるコンピュータビジョンシステムが、複数のセンサからのデータを結合、マージ、又は登録するために、特に、それらの位置及び／又は角度方向の間の物理的オフセットを有するセンサ（すなわち、異なる及び重複する視野（ＦＯＲ）を有するセンサ）からのデータを結合するために、データ変換を最適化することを可能にする。換言すれば、コンピュータビジョンシステムのセンサは、コンピュータビジョンシステムが動作する環境の同じ部分を、異なるそれぞれの視点から感知する。コンピュータビジョンシステムは、センサデータのセットの１つに適用されるとき、センサデータのセットの位置合わせをもたらす変換パラメータの最適化されたセットを決定する。その結果、コンピュータビジョンシステムは、センサデータのセットを正しく重ね合わせ、知覚及び予測の全体的な精度を向上させるように、他のセンサによって生成されたセンサデータを用いて一方のセンサをキャリブレートすることができ、例えば、他のセンサの出力を考慮して一方のセンサの動作パラメータを調節し、又はセンサが物理的に位置合わせを変更したか否かを判断し、自動的にセンサを再調整することができる。
【0027】
コンピュータビジョンシステムは、例えば、自律型（「自動運転」）車両で動作し得る。様々な実施態様において、コンピュータビジョンシステムは、ライダー対ライダーのキャリブレーション、ライダー対カメラのキャリブレーション、又はセンサの別の組み合わせの変換のキャリブレーションを実行する。２つのセンサがライダーである場合、コンピュータビジョンシステムは、３Ｄ点群内の点の位置を記述する三次元（３Ｄ）タプル（tuples）間の空間（ｘ、ｙ、ｚ）及び回転（ヨー、ピッチ、ロール）の位置合わせを求めることができる。付加的又は代替的に、コンピュータビジョンシステムは、空間座標及び対応する強度値ｉを用いて、３Ｄ点群内の点の強度値間の統計的分析及び位置合わせに基づく最適化された変換を決定し、タプル（ｘ、ｙ、ｚ、ｉ）を生成することができる。強度値は、ライダーの視野内のオブジェクトの反射率（reflectivity）を示していてもよく、従って、強度値は、視野内のオブジェクト及びターゲットの反射率値であると考えられてもよい。実施形態において、２つのセンサは、カメラ及びライダーであってもよく、コンピュータビジョンシステムは、自律運転アプリケーションのために２つの検出器からのデータを結合するために、それぞれ、カメラ及びライダーによって生成された二次元（２Ｄ）画像内のピクセル及び３Ｄ点群内の点の強度値から、最適化された変換を決定することができる。強度値を使用することに加えて、又はその代わりに、コンピュータビジョンシステムは、例えば、（ｉ）表面法線或いは（ｉｉ）路面又は車線標識の検出値など、ライダーデータの他の特徴又はチャネルをキャリブレーションに使用することが可能である。
【0028】
コンピュータビジョンシステムは、３Ｄ空間における並進（ｘ、ｙ、ｚ）及び回転（ヨー、ピッチ、ロール）に対応する変換パラメータ候補を生成することができる。コンピュータビジョンシステムは、センサデータのセット又はセンサデータのサブセットを、センサデータの他のセットの参照フレームにもたらす試みにおいて、センサデータのセットのうちの１つに変換パラメータを適用することができる。コンピュータビジョンシステムは、次に、センサデータの第１のセットとセンサデータの変換された第２のセットとの相互情報（ＭＩ）を計算することができる。この目的のために、コンピュータビジョンシステムは、例えば、ジョイントヒストグラムを適用することができる。ＭＩは、（ｘ、ｙ、ｚ）座標、グレースケール値、反射率値、強度値、表面法線、及び／又は路面若しくは車線標識の検出に基づくものであってよい。コンピュータビジョンシステムは、例えばある閾値を超えるＭＩのメトリックをもたらす変換パラメータのセットを識別するように、又は別の終了条件が満たされるまで（例えば、更なる反復の計算／時間コスト閾値を満たす又は超える、最適化反復の最大数に達する、現在の反復と前の反復との間のコスト差を満たす又は超える）、反復最適化手法の一部としてこれらの手順を適用することが可能である。次の反復のための変換パラメータ候補のセットを決定するための好適な技術は、例えば、バルジライ－ボールウェイン法（Barzilai-Borwein method）及びネルダー－ミード法（Nelder-Mead method）を含む。
【0029】
初期の変換パラメータ候補は、ユーザインタフェースを介して受信したオペレータ入力、前のキャリブレーションプロセスの結果、或いは第１及び第２のセンサのＦＯＲ間のある許容量の重複に対するグリッド探索の結果に対応することができる。
【0030】
更に、いくつかの実施態様において、コンピュータビジョンシステムは、第１及び第２のセンサデータセットに対して複数の変換又は投影を実行し、第１及び第２のデータセットを対応する投影平面に変換することができる。次いで、コンピュータビジョンシステムは、第１及び第２のデータセットをマージするための「最良」（すなわち、ＭＩ閾値などの受容性のあるメトリックを満たす）変換又は投影平面を見つけるために、各平面における、各変換されたデータセットのＭＩを決定する。コンピュータビジョンシステムは、場合によっては、変換最適化中に静的オブジェクトのみを分離し、考慮するように、車や歩行者などの動的オブジェクトを除外することができる。更に、いくつかの実施態様におけるコンピュータビジョンシステムは、車両が静止している期間中にのみ、上記で概説したキャリブレーションプロセスのためのセンサデータを取得する。
【0031】
本技術の出力の例示的な用途は、複数のセンサからのセンサデータをマージすること、ユーザインタフェースを介してマージされたデータをグラフィカルに提示すること、マージされたデータをコントローラ（これは自律型車両の動作を支援し得る）へ提供すること、変換パラメータの決定されたセットを考慮して第１及び／又は第２のセンサの健全性を判定すること、第１及び／又は第２のセンサの空間シフト又は位置合わせの変化を経時的に判定すること、並びに第１及び／又は第２のセンサの手動又は自動物理再調整が必要であるか否かを判断すること、を含んでいる。
【0032】
車両においてライダーと共に従来のカメラを効率的に使用するため、又は車両において複数のライダーシステムを使用するため、本開示のシステムは、ライダーのスキャンパターンを考慮して、カメラ及びライダーからのデータ、又は複数のライダーシステムからのデータを同期させる。特に、カメラ及びライダーを備える実施形態において、システムは、ライダーシステムが１つのスキャンフレームを生成するために全視野を１回スキャンする間に、カメラに一定のレートで写真画像を取り込ませてＮ枚の写真を生成させる。そして、システムは、あるフレームのライダーピクセルがある写真の対応するピクセルと一致し、同じフレームの別のライダーピクセルが別の写真の対応するピクセルと一致するように、写真画像のピクセル（又はピクセルセット）をスキャンフレーム内の対応するピクセルと位置合わせする。このように、システムは、ライダーが１つのスキャンフレームのスキャンを完了する間に発生する車両の変位を考慮する。更に、このシステム及び方法は、ライダー及びカメラのＦＯＲの差を考慮する。同様に、方法及びシステムは、２つのライダー検出器からのデータの、位置合わせ及び組み合わせ、マージ、或いは登録を実行することができる。
【0033】
次に、図１～図５を参照して、これらの技術を実装することができるライダーシステムの例を検討し、続いて、車両に対する環境を検出するためのセンサの幾何学的な例を検討する（図６Ａ、図６Ｂ、及び図７）。次に、異なる視野を有する複数のセンサからのデータを組み合わせるための変換パラメータを最適化する方法及びシステムの例について、図８及び図９を参照しながら検討する。続いて、２つのライダーセンサからのデータを結合し、キャリブレーションするための方法及びシステムの例（図８、及び図１０～図１１Ｂ）、並びにカメラ－ライダーセンサシステムのデータを結合し、キャリブレーションするための方法及びシステムの例（図１２～図１４Ｃ）について検討する。
（システムの概要）
（システムの概要）
【0034】
図１は、例示的な光検出及び測距（ｌｉｄａｒ）システム１００を示す。ライダーシステム１００は、レーザ測距システム、レーザレーダシステム、ＬＩＤＡＲシステム、ライダーセンサ、又はレーザ検出及び測距（ＬＡＤＡＲ又はｌａｄａｒ）システムと呼ばれることがある。ライダーシステム１００は、光源１１０、ミラー１１５、スキャナ１２０、レシーバ１４０、及びコントローラ１５０を含んでもよい。光源１１０は、例えば、電磁スペクトルの赤外線、可視光線、又は紫外線の部分領域において特定の動作波長を有する光を放射するレーザであってもよい。より具体的な例として、光源１１０は、約１．２μｍ～１．７μｍの間の動作波長を有するレーザを含んでもよい。
【0035】
動作中、光源１１０は、所定の用途に適した任意の方法で連続波の、パルスの、又は変調され得る、光の出力ビーム１２５を放出する。光の出力ビーム１２５は、ライダーシステム１００から距離Ｄに位置すると共にシステム１００の視野内に少なくとも部分的に含まれる、遠隔ターゲット１３０へ向けてダウンレンジに向けられる。シナリオ及び／又はライダーシステム１００の実施態様に依存して、Ｄは、例えば１ｍ～１ｋｍの間であってよい。
【0036】
出力ビーム１２５がダウンレンジターゲット１３０に到達すると、ターゲット１３０は、出力ビーム１２５からの光の少なくとも一部を散乱させ、或いは場合によっては反射し、散乱又は反射された光の一部がライダーシステム１００に向かって戻ることができる。図１の例において、散乱又は反射された光は、ビームスキャナ、光学スキャナ、又はレーザスキャナと呼ばれ得るスキャナ１２０を通過する、入力ビーム１３５によって表されている。入力ビーム１３５は、スキャナ１２０を通過して、オーバーラップミラー、重ね合わせミラー、又はビームコンバイナーミラーと呼ばれ得るミラー１１５へ向かう。ミラー１１５は、次に、入力ビーム１３５をレシーバ１４０へ向けさせる。入力１３５は、出力ビーム１２５からの光の比較的小さな部分のみを含むことができる。例えば、入力ビーム１３５の平均パワー、ピークパワー、又はパルスエネルギーの、出力ビーム１２５の平均パワー、ピークパワー、又はパルスエネルギーに対する比は、約１０－１、１０－２、１０－３、１０－４、１０－５、１０－６、１０－７、１０－８、１０－９、１０－１０、１０－１１、又は１０－１２で有り得る。別の例として、出力ビーム１２５のパルスが１マイクロジュール（μＪ）のパルスエネルギーを有する場合、入力ビーム１３５の対応するパルスのパルスエネルギーは、約１０ナノジュール（ｎＪ）、１ｎＪ、１００ピコジュール（ｐＪ）、１０ｐＪ、１ｐＪ、１００フェムトジュール（ｆＪ）、１０ｆＪ、１ｆＪ、１００アトジュール（ａＪ）、１０ａＪ、又は１ａＪのパルスエネルギーを有し得る。
【0037】
出力ビーム１２５は、レーザビーム、光ビーム、光学ビーム、放射ビーム、又は単にビームと称されることがあり、入力ビーム１３５は、戻りビーム、受信ビーム、戻り光、受信光、入力光、散乱光、又は反射光と称されることがある。本明細書で使用されるように、散乱光は、ターゲット１３０によって散乱又は反射される光を指す場合がある。入力ビーム１３５は、ターゲット１３０によって散乱された出力ビーム１２５からの光、ターゲット１３０によって反射された出力ビーム１２５からの光、又はターゲット１３０からの散乱光及び反射光の組み合わせを含んでもよい。
【0038】
ライダーシステム１００の動作波長は、例えば、電磁スペクトルの赤外線部分、可視部分、又は紫外線部分にある場合がある。太陽もこれらの波長範囲の光を生成するため、太陽光は、ライダーシステム１００によって検出される信号光を不明瞭にする背景ノイズとして作用する虞がある。この太陽の背景ノイズは、特にレシーバ１４０がＳＰＡＤ検出器（これは高感度であり得る）を含む場合、ライダーシステム１００の測定値を誤検出させるか、さもなければ破損させる虞がある。
【0039】
一般に、地球の大気を通過してシステム１００などの地上ベースのライダーシステムに到達する太陽からの光は、このシステムに対する光学的背景ノイズフロアを確立することがある。従って、ライダーシステム１００からの信号が検出可能であるためには、信号は、背景ノイズフロアよりも上昇しなければならない。一般に、出力ビーム１２５のパワーレベルを上げることによってライダーシステム１００の信号対ノイズ（ＳＮＲ）比を高めることが可能であるが、いくつかの状況では、出力ビーム１２５のパワーレベルを比較的低く保つことが望ましいことがある。例えば、出力ビーム１２５の送信パワーレベルを上げると、ライダーシステム１００が目に安全（eye-safe）でなくなる可能性がある。
【0040】
いくつかの実施態様において、ライダーシステム１００は、大気吸収が比較的低い周波数で動作する。例えば、ライダーシステム１００は、およそ９８０ｎｍから１１１０ｎｍまで、或いは１１６５ｎｍから１４００ｎｍまでの範囲の波長で動作してもよい。
【0041】
他の実施態様において、ライダーシステム１００は、大気吸収が高い周波数で動作する。例えば、ライダーシステム１００は、およそ９３０ｎｍから９８０ｎｍまで、１１００ｎｍから１１６５ｎｍまで、或いは１４００ｎｍから１４６０ｎｍまでの範囲の波長で動作してもよい。
【0042】
いくつかの実施態様によれば、ライダーシステム１００は、アイセーフレーザを含むことができる。アイセーフレーザは、レーザからの放射光が人の目に損傷を与える可能性をほとんど又は全く示さないような放射波長、平均パワー、ピークパワー、ピーク強度、パルスエネルギー、ビームサイズ、ビーム発散、又は露光時間を有するレーザを指す場合がある。例えば、光源１１０は、通常の使用の全ての条件下で安全なクラス１レーザ製品（国際電気標準会議（ＩＥＣ）の６０８２５－１規格によって規定される）又はクラスＩレーザ製品（米国連邦規則（ＣＦＲ）のタイトル２１、セクション１０４０．１０によって規定される）として分類され得る。いくつかの実施態様において、光源１１０は、約１４００ｎｍから約２１００ｎｍの間の任意の適切な波長で動作するように構成された、アイセーフレーザ（例えば、クラス１又はクラスＩレーザ）を含んでもよい。いくつかの実施態様において、光源１１０は、約１４００ｎｍと約１６００ｎｍとの間の動作波長を有するアイセーフレーザを含んでもよい。いくつかの実施態様において、光源１１０は、約１５３０ｎｍと約１５６０ｎｍとの間の動作波長を有するアイセーフレーザを含んでもよい。いくつかの実施態様において、光源１１０は、約１４００ｎｍと約１６００ｎｍとの間の動作波長を有するアイセーフファイバーレーザ又は固体レーザを含んでもよい。
【0043】
レシーバ１４０は、入力ビーム１３５から光子を受信又は検出し、１つ又は複数の代表的な信号を生成してもよい。例えば、レシーバ１４０は、入力ビーム１３５を代表する出力電気信号１４５を生成してもよい。レシーバは、電気信号１４５をコントローラ１５０に送信してもよい。実施態様によっては、コントローラ１５０は、電気信号１４５の１つ以上の特性を分析して、ライダーシステム１００からの距離ダウンレンジなどのターゲット１３０の１つ以上の特性を決定するように構成された、１つ以上のプロセッサ、メモリモジュール、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、及び／又は他の適切な回路を含んでもよい。より詳細には、コントローラ１５０は、光源１１０によって送信された光ビーム１２５についての飛行時間又は位相変調を分析してもよい。ライダーシステム１００がＴの飛行時間を測定する場合（例えばＴは、放出された光のパルスがライダーシステム１００からターゲット１３０に移動してライダーシステム１００に戻るための往復飛行時間を表す）、ターゲット１３０からライダーシステム１００までの距離Ｄは、「Ｄ＝ｃ・Ｔ／２」と表すことができ、ここでｃは光の速度（約３．０×１０８ｍ／ｓ）である。
【0044】
より具体的な例として、ライダーシステム１００が飛行時間をＴ＝３００ｎｓと測定する場合、ライダーシステム１００は、ターゲット１３０からライダーシステム１００までの距離をおよそＤ＝４５．０ｍと決定することができる。他の例として、ライダーシステム１００は、飛行時間をＴ＝１．３３μｓと測定すると、ターゲット１３０からライダーシステム１００までの距離をおよそＤ＝１９９．５ｍと決定する。ライダーシステム１００からターゲット１３０までの距離Ｄは、ターゲット１３０の距離、深さ、又は範囲と呼ばれ得る。本明細書で使用されるように、光の速度ｃは、例えば空気中、水中、又は真空中など、任意の適切な媒体における光の速度を示す。真空中の光の速度は約２．９９７９×１０８ｍ／ｓであり、空気中（屈折率約１．０００３を有する）の光の速度は約２．９９７０×１０８ｍ／ｓである。
【0045】
ターゲット１３０は、ライダーシステム１００の最大レンジＲＭＡＸ以下である、ライダーシステム１００からの距離Ｄに位置し得る。ライダーシステム１００の最大レンジＲＭＡＸ（最大距離とも呼ばれ得る）は、ライダーシステム１００がライダーシステム１００の視野に現れるターゲットを感知又は識別するように構成される最大距離に対応することができる。ライダーシステム１００の最大レンジは、例えば２５ｍ、５０ｍ、１００ｍ、２００ｍ、５００ｍ、又は１ｋｍなど、任意の適切な距離であってよい。具体例として、２００ｍの最大レンジを有するライダーシステムは、最大２００ｍ離れたところに位置する様々なターゲットを感知又は識別するように構成することができる。最大レンジ２００ｍ（ＲＭＡＸ＝２００ｍ）のライダーシステムの場合、最大レンジに対応する飛行時間は、約２・ＲＭＡＸ／ｃ≒１．３３μｓである。
【0046】
いくつかの実施態様において、光源１１０、スキャナ１２０、及びレシーバ１４０は、ライダーシステム１００の全て又は一部を保持又は含む箱、ケース、或いは筐体であってもよい、単一のハウジング１５５内に一緒にパッケージ化することができる。ハウジング１５５は、ビーム１２５及び１３５が通過する窓１５７を含む。例示的な実施態様において、ライダーシステムハウジング１５５は、ライダーシステム１００の光源１１０、オーバーラップミラー１１５、スキャナ１２０、及びレシーバ１４０を含む。コントローラ１５０は、構成要素１１０、１２０、及び１４０と同じくハウジング１５５内に存在してもよく、或いはコントローラ１５０がハウジングから離れて存在してもよい。
【0047】
更に、いくつかの実施態様において、ハウジング１５５は、各々がそれぞれのスキャナ及びレシーバを含む複数のライダーセンサを含む。特定の実施態様に依存して、複数のセンサの各々は、個別の光源又は共通の光源を含むことができる。複数のセンサは、実施態様に応じて、非重複の隣接するＦＯＲ又は部分的に重複するＦＯＲをカバーするように構成することができる。
【0048】
ハウジング１５５は、水蒸気、液体の水、汚れ、埃、或いは他の汚染物質がハウジング１５５の内部に入ることを防止する、気密又は水密構造であってよい。ハウジング１５５は、例えば乾燥空気、窒素、又はアルゴンなどの、乾燥ガス又は不活性ガスで満たされていてもよい。ハウジング１５５は、電力又は電気信号をハウジングへ及び／又はハウジングから伝達するための、１つ以上の電気接続部を含んでもよい。
【0049】
窓１５７は、例えばガラス又はプラスチック（例えば、ポリカーボネート、アクリル、環状オレフィンポリマー、又は環状オレフィンコポリマー）のような、任意の適切な基板材料から作ることができる。窓１５７は、内面（表面Ａ）及び外面（表面Ｂ）を含んでもよく、表面Ａ又は表面Ｂは、特定の波長における特定の反射率値を有する誘電性コーティングを含んでもよい。誘電性コーティング（薄膜コーティング、干渉コーティング、又はコーティングと呼ばれることがある）は、特定の厚さ（例えば１μｍ未満の厚さ）及び特定の屈折率を有する誘電性材料（例えば、ＳｉＯ２、ＴｉＯ２、Ａｌ２Ｏ３、Ｔａ２Ｏ５、ＭｇＦ２、ＬａＦ３、又はＡｌＦ３）の、１つ又は複数の薄膜層を含んでもよい。誘電性コーティングは、例えばスパッタリングや電子ビーム蒸着などの任意の適切な蒸着技術を使用して、窓１５７の表面Ａ又は表面Ｂに蒸着することができる。
【0050】
誘電性コーティングは、特定の波長において高反射率を有していてもよく、特定の波長において低反射率を有していてもよい。高反射率（ＨＲ）の誘電性コーティングは、任意の適切な波長又は波長の組み合わせにおいて、任意の適切な反射率値（例えば、８０％、９０％、９５％、或いは９９％以上の反射率）を有してもよい。低反射率の誘電性コーティング（反射防止（ＡＲ）コーティングと呼ばれることもある）は、任意の適切な波長又は波長の組み合わせにおいて、任意の適切な反射率値（例えば、５％、２％、１％、０．５％、或いは０．２％以下の反射率）を有してもよい。特定の実施形態において、誘電性コーティングは、特定の波長における高反射率又は低反射率の特定の組み合わせを有するダイクロイックコーティングであってもよい。例えば、ダイクロイックコーティングは、約１５５０～１５６０ｎｍにおいて０．５％以下の反射率、及び約８００～１５００ｎｍにおいて９０％以上の反射率を有していてもよい。
【0051】
いくつかの実施態様において、表面Ａ又は表面Ｂは、エンクロージャ８５０内に含まれる１つ以上の光源１１０の動作波長で反射を防止する誘電性コーティングを有する。表面Ａ及び表面Ｂ上のＡＲコーティングは、窓１５７を透過する光源１１０の動作波長での光の量を増加させることができる。更に、光源１１０の動作波長でのＡＲコーティングは、窓１５７によって反射されハウジング１５５内へ戻される、出力ビーム１２５からの入射光の量を減少させることができる。例示的な実施態様において、表面Ａ及び表面Ｂの各々は、光源１１０の動作波長において０．５％未満の反射率を有するＡＲコーティングを有する。例として、光源１１０が約１５５０ｎｍの動作波長を有する場合、表面Ａ及び表面Ｂの各々は、約１５４７ｎｍから約１５５３ｎｍまで０．５％未満の反射率を有するＡＲコーティングを有していてもよい。別の実施態様において、表面Ａ及び表面Ｂの各々は、光源１１０の動作波長において１％未満の反射率を有するＡＲコーティングを有する。例えば、ハウジング１５５がそれぞれの光源を有する２つのセンサヘッドを囲い、第１の光源が約１５３５ｎｍの波長でパルスを放射し、第２の光源が約１５４０ｎｍの波長でパルスを放射する場合、表面Ａ及び表面Ｂはそれぞれ、約１５３０ｎｍから約１５４５ｎｍまで１％未満の反射率を有するＡＲコーティングを有していてもよい。
【0052】
窓１５７は、ハウジング１５５内に含まれる１つ又は複数の光源１１０の１つ又は複数の波長について任意の適切な値よりも大きい光透過率を有していてもよい。例として、窓１５７は、光源１１０の波長において７０％、８０％、９０％、９５％、又は９９％以上の光透過率を有していてもよい。一例の実施態様において、窓１５７は、光源１１０の動作波長において９５％以上の光を透過することができる。別の実施態様において、窓１５７は、ハウジング１５５内に囲われた光源の動作波長において９０％以上の光を透過させる。
【0053】
表面Ａ又は表面Ｂは、１つ又は複数の光源１１０の１つ又は複数の動作波長において反射を防止し、それら１つ又は複数の動作波長から離れた波長において高反射率である、ダイクロイックコーティングを有していてもよい。例えば、表面Ａは、光源１１０の動作波長に対してＡＲコーティングを有していてもよく、表面Ｂは、光源の動作波長において反射を防止し（AR）、その動作波長から離れた波長に対して高反射率を有する（HR）、ダイクロイックコーティングを有していてもよい。光源の動作波長から離れた波長に対して高反射率を有するコーティングは、不要な波長でのほとんどの入射光が窓１１７を透過することを防止することができる。一実施態様では、光源１１０が約１５５０ｎｍの波長を有する光パルスを放射する場合、表面Ａが、約１５４６ｎｍから約１５５４ｎｍまで０．５％以下の反射率を有するＡＲコーティングを有していてもよい。更に、表面Ｂは、約１５４６～１５５４ｎｍで反射を防止し、約８００～１５００ｎｍ及び約１５８０～１７００ｎｍで高反射率（例えば、９０％以上の反射率）を有する、ダイクロイックコーティングを有してもよい。
【0054】
窓１５７の表面Ｂは、撥油性、疎水性、又は親水性のコーティングを含んでもよい。撥油性（又は疎油性）のコーティングは、窓１５７の外面（表面Ｂ）から油（例えば、指紋油又は他の非極性材料）をはじくことができる。疎水性のコーティングは、外面から水をはじくことができる。例えば、表面Ｂは、撥油性と疎水性との双方を有する材料でコーティングされてもよい。親水性のコーティングは、（疎水性の表面上で発生し得るように水のビーズを形成するのではなく）水が親水性の表面上を濡らして膜を形成するように、水を引き付ける。表面Ｂが親水性コーティングを有する場合、表面Ｂに降り注ぐ水（例えば雨による）が、表面上に膜を形成することができる。水の表面膜は、非親水性コーティング又は疎水性コーティングを有する表面よりも、出力ビーム１２５の歪み、偏向、又は閉塞を少なくする可能性がある。
【0055】
図１を引き続き参照すると、光源１１０は、あるパルス持続時間を有する光のパルスを生成又は放出するように構成されたパルスレーザを含んでもよい。例示的な実施態様において、パルスレーザのパルス持続時間又はパルス幅は、約１０ピコ秒（ｐｓ）～２０ナノ秒（ｎｓ）である。別の実施態様において、光源１１０は、約２００～４００ｐｓのパルス持続時間を有するパルスを生成するパルスレーザである。更に別の実施態様において、光源１１０は、約１００ｋＨｚ～５ＭＨｚのパルス繰り返し周波数、或いは約２００ｎｓ～１０μｓのパルス周期（例えば、連続するパルス間の時間）で、パルスを生成するパルスレーザである。光源１１０は、実施態様に応じて、実質的に一定のパルス繰り返し周波数を有していてもよく、可変のパルス繰り返し周波数を有していてもよい。一例として、光源１１０は、約１．５６μｓのパルス周期に対応する約６４０ｋＨｚ（例えば、１秒間に６４万パルス）の実質的に一定のパルス繰り返し周波数で、パルスを生成するパルスレーザであってもよい。別の例として、光源１１０は、約５００ｋＨｚ～３ＭＨｚに変化させることができるパルス繰り返し周波数を有していてもよい。本明細書で使用されるように、光のパルスは、光パルス（optical pulse）、光パルス（light pulse）、又はパルスと呼ばれることがある。
【0056】
一般に、出力ビーム１２５は、任意の適切な平均光パワーを有してよく、出力ビーム１２５は、任意の適切なパルスエネルギー又はピーク光パワーを有する光パルスを含んでもよい。出力ビーム１２５の平均パワーのいくつかの例は、１ｍＷ、１０ｍＷ、１００ｍＷ、１Ｗ、及び１０Ｗの概算値を含む。出力ビーム１２５のパルスエネルギーの例の値は、０．１μＪ、１μＪ、１０μＪ、１００μＪ、及び１ｍＪの概算値を含む。出力ビーム１２５に含まれるパルスのピークパワーの値の例は、１０Ｗ、１００Ｗ、１ｋＷ、５ｋＷ、１０ｋＷの概算値を含む。持続時間が４００ｐｓでパルスエネルギーが１μＪの光パルスの例では、ピークパワーが約２．５ｋＷである。パルス繰り返し周波数が５００ｋＨｚである場合、１μＪのパルスを有する出力ビーム１２５の平均パワーは、この例では約０．５Ｗである。
【0057】
光源１１０は、ファブリペローレーザダイオード、量子井戸レーザ、分布ブラッグ反射器（ＤＢＲ）レーザ、分布帰還（ＤＦＢ）レーザ、又は垂直共振器面発光レーザ（ＶＣＳＥＬ）などの、レーザダイオードを含んでもよい。光源１１０で動作するレーザダイオードは、アルミニウム－ガリウム－ヒ素（ＡｌＧａＡｓ）レーザダイオード、インジウム－ガリウム－ヒ素（ＩｎＧａＡｓ）レーザダイオード、又はインジウム－ガリウム－ヒ素－リン化物（ＩｎＧａＡｓＰ）レーザダイオード、又は他の任意の適切なダイオードであってもよい。いくつかの実施態様において、光源１１０は、約１４００～１６００ｎｍのピーク発光波長を有するパルスレーザダイオードを含む。更に、光源１１０は、光パルスを生成するために電流変調されるレーザダイオードを含んでもよい。
【0058】
いくつかの実施態様において、光源１１０は、パルスレーザダイオードに続いて１つ以上の光増幅段を含む。例えば、光源１１０は、約１５５０ｎｍのピーク波長を有する電流変調レーザダイオードを含み、これに単段又は多段のエルビウム添加ファイバ増幅器（ＥＤＦＡ）が続く、ファイバレーザモジュールであってもよい。別の例として、光源１１０は、連続波（ＣＷ）又は準ＣＷレーザダイオードに続いて外部光変調器（例えば電気光学変調器）を含んでもよく、変調器の出力は、光増幅器に供給されてもよい。別の例として、光源１１０は、レーザダイオードに続いて、レーザダイオードによって生成された光を増幅する半導体光増幅器（ＳＯＡ）を含んでもよい。更に他の実施態様において、光源１１０は、パルス固体レーザ又はパルスファイバーレーザを含んでもよい。
【0059】
いくつかの実施態様において、光源１１０によって放出される光の出力ビーム１２５は、約０．１～３．０ミリラジアン（ｍｒａｄ）の発散（divergence）など、任意の適切なビーム発散を有する平行光ビームである。出力ビーム１２５の発散は、出力ビーム１２５が光源１１０又はライダーシステム１００から離れるにつれてビームサイズ（例えば、ビーム半径又はビーム直径）が増加する角測度を指す場合がある。出力ビーム１２５は、単一の発散値によって特徴付けられるビーム発散を有する、実質的に円形の断面を有してもよい。例えば、円形断面及び１ｍｒａｄの発散を有する出力ビーム１２５は、ライダーシステム１００から１００ｍの距離で、約１０ｃｍのビーム直径又はスポットサイズを有してもよい。いくつかの実施態様において、出力ビーム１２５は、非点収差（astigmatic）ビームであってもよく、又は実質的に楕円形の断面を有していてもよく、２つの発散値によって特徴付けられることがある。一例として、出力ビーム１２５は、速い軸及び遅い軸を有してもよく、その場合は速い軸の発散が遅い軸の発散より大きい。別の例として、出力ビーム１２５は、２ｍｒａｄの速い軸の発散と０．５ｍｒａｄの遅い軸の発散とを有する非点収差ビームであってもよい。
【0060】
光源１１０によって放射される光の出力ビーム１２５は、非偏光又はランダム偏光であってもよく、特定の又は固定の偏光を有していなくてもよく（例えば、偏光が時間によって変化してもよい）、特定の偏光を有していてもよい（例えば、出力ビーム１２５が直線偏光、楕円偏光、又は円偏光であってよい）。一例として、光源１１０は、直線偏光を生成してもよく、ライダーシステム１００は、この直線偏光を円偏光に変換する１／４波長板を含んでもよい。ライダーシステム１００は、円偏光を出力ビーム１２５として送信し、実質的に又は少なくとも部分的に出力ビーム１２５と同様に円偏光であってよい入力ビーム１３５を受信してもよい（例えば、出力ビーム１２５が右手円偏光である場合、入力ビーム１３５も右手円偏光であってよい）。入力ビーム１３５は、同じ１／４波長板（又は異なる１／４波長板）を通過してもよく、その結果、入力ビーム１３５は、光源１１０によって生成される直線偏光に対して直交偏光（例えば直角に偏光）である、直線偏光に変換されている。別の例として、ライダーシステム１００は、２つの偏光成分が別々に検出される偏光ダイバーシティー検出を採用してもよい。出力ビーム１２５は、直線偏光であってもよく、ライダーシステム１００は、入力ビーム１３５を２つの偏光成分（例えばＳ偏光及びＰ偏光）に分割してもよく、これらは２つのフォトダイオード（例えば、２つのフォトダイオードを含む平衡フォトレシーバ）により別個に検出される。
【0061】
図１を引き続き参照すると、出力ビーム１２５及び入力ビーム１３５は、実質的に同軸であってもよい。換言すれば、出力ビーム１２５及び入力ビーム１３５は、入力ビーム１３５及び出力ビーム１２５が（反対方向ではあるが）実質的に同じ光路に沿って移動するように、少なくとも部分的に重なるか又は共通の伝搬軸を共有してもよい。ライダーシステム１００が出力ビーム１２５を視野にわたってスキャンすると、入力ビーム１３５が出力ビーム１２５に追従して、２つのビームの間の同軸関係が維持されるようにしてもよい。
【0062】
ライダーシステム１００は、出力ビーム１２５及び／又は入力ビーム１３５を調整、成形、フィルタリング、修正、操向、又は方向付けるように構成された、１つ又は複数の光学部品も含んでもよい。例えば、ライダーシステム１００は、１つ以上のレンズ、ミラー、フィルタ（例えば、バンドパス又は干渉フィルタ）、ビームスプリッタ、偏光子、偏光ビームスプリッタ、波長板（例えば、半波長板又は１／４波長板）、回折素子、又はホログラフィック素子を含んでもよい。いくつかの実施態様において、ライダーシステム１００は、出力ビーム１２５を所望のビーム径又は発散に拡大、集束、又は平行化するための、望遠鏡、１つ以上のレンズ、又は１つ以上のミラーを含む。一例として、ライダーシステム１００は、入力ビーム１３５をレシーバ１４０の活性領域上に集束させるための、１つ又は複数のレンズを含んでもよい。別の例として、ライダーシステム１００は、出力ビーム１２５又は入力ビーム１３５を操向又は集束するための、１つ以上の平面ミラー又は湾曲ミラー（例えば、凹面ミラー、凸面ミラー、又は放物線ミラー）を含んでもよい。例えば、ライダーシステム１００は、入力ビーム１３５をレシーバ１４０の活性領域上に集束させるための軸外放物面ミラーを含んでもよい。図１に示されるように、ライダーシステム１００は、金属ミラー又は誘電性ミラーであり得るミラー１１５を含んでもよい。ミラー１１５は、光ビーム１２５がミラー１１５を通過するように構成されてもよい。一例として、ミラー１１５は、出力光ビーム１２５が通過する穴、スロット、又は開口を含んでもよい。別の例として、ミラー１１５は、出力ビーム１２５の少なくとも８０％がミラー１１５を通過し、入力ビーム１３５の少なくとも８０％がミラー１１５によって反射されるように構成されてもよい。いくつかの実施態様において、ミラー１１５は、ビーム１２５及び１３５が実質的に同じ光路に沿って反対方向に移動するように、出力ビーム１２５及び入力ビーム１３５が、実質的に同軸となるように提供してもよい。
【0063】
一般に、スキャナ１２０は、出力ビーム１２５を１つ又は複数の方向でダウンレンジに操向する。スキャナ１２０は、１つ又は複数の走査ミラーと、ミラーを駆動して、例えば１つ又は複数の軸を中心にミラーを回転、傾斜、ピボット、又は角度的に移動させる、１つ又は複数のアクチュエータとを含んでもよい。例えば、スキャナの第１のミラーが、第１の方向に沿って出力ビーム１２５をスキャンしてもよく、第２のミラーが、第１の方向と実質的に直交する第２の方向に沿って出力ビーム１２５をスキャンしてもよい。スキャナ１２０の例示的な実施態様は、図２を参照して以下でより詳細に説明される。
【0064】
スキャナ１２０は、５度の角度範囲、２０度の角度範囲、３０度の角度範囲、６０度の角度範囲、或いは任意の他の適切な角度範囲にわたって、出力ビーム１２５をスキャンするように構成されてもよい。例えば、走査ミラーが、１５度の範囲にわたって周期的に回転するように構成されてもよく、その結果、出力ビーム１２５は、３０度の範囲にわたって走査する（例えば、走査ミラーによるＱ度の回転は、出力ビーム１２５の２Ｑ度の角度スキャンをもたらす）。ライダーシステム１００のＦＯＲは、ライダーシステム１００が距離情報をスキャン又は捕捉するように構成され得る、エリア、領域、又は角度範囲を指す場合がある。ライダーシステム１００が３０度の走査範囲内で出力ビーム１２５をスキャンする場合、ライダーシステム１００は、３０度の角度視野を有すると言及されてもよい。別の例として、３０度の範囲にわたって回転する走査ミラーを備えたライダーシステム１００は、６０度の範囲（例えば６０度のＦＯＲ）にわたってスキャンする出力ビーム１２５を生成することができる。様々な実施態様において、ライダーシステム１００は、約１０°、２０°、４０°、６０°、１２０°、或いは他の任意の適切なＦＯＲを有してよい。ＦＯＲはまた、スキャン領域と呼ばれることもある。
【0065】
スキャナ１２０は、出力ビーム１２５を水平方向及び垂直方向にスキャンするように構成されてもよく、ライダーシステム１００は、水平方向に沿った特定のＦＯＲ及び垂直方向に沿った別の特定のＦＯＲを有してもよい。例えば、ライダーシステム１００は、１０°～１２０°の水平方向のＦＯＲと、２°～４５°の垂直方向のＦＯＲとを有していてもよい。
【0066】
スキャナ１２０の１つ又は複数の走査ミラーは、出力ビーム１２５を所望方向のダウンレンジに又は所望のスキャンパターンに沿って誘導するように走査ミラー（複数可）を制御し得る、コントローラ１５０に通信可能に結合されてもよい。一般に、スキャンパターンは、出力ビーム１２５が導かれるパターン又は経路を指すことがあり、また、光学スキャンパターン、光学スキャン経路、又はスキャン経路と呼ばれることもある。一例として、スキャナ１２０は、６０°の水平ＦＯＲ及び２０°の垂直ＦＯＲにわたって出力ビーム１２５をスキャンするように構成された、２つの走査ミラーを含んでもよい。２つの走査ミラーは、６０°×２０°のＦＯＲを実質的にカバーするスキャン経路をたどるように制御されてもよい。ライダーシステム１００は、スキャン経路を使用して、６０°×２０°のＦＯＲを実質的にカバーするピクセルを有する点群を生成することができる。ピクセルは、６０°×２０°のＦＯＲにわたってほぼ均等に分布していてもよい。代替的に、ピクセルは、特定の非一様な分布を有してもよい（例えば、ピクセルが６０°×２０°のＦＯＲの全体又は一部にわたって分布してもよく、ピクセルが６０°×２０°のＦＯＲの１つ以上の特定領域においてより高い密度を有してもよい）。
【0067】
動作中、光源１１０は、スキャナ１２０がライダーシステム１００のＦＯＲにわたってスキャンする光のパルスを放射することができる。ターゲット１３０は、放出されたパルスの１つ以上を散乱させてもよく、レシーバ１４０は、ターゲット１３０によって散乱された光のパルスの少なくとも一部を検出してもよい。
【0068】
レシーバ１４０は、フォトレシーバ、光学受信機、光学センサ、検出器、光検出器、又は光学検出器と呼ばれてもよい（又はこれらを含んでもよい）。いくつかの実施態様におけるレシーバ１４０は、入力ビーム１３５の少なくとも一部を受信又は検出して、入力ビーム１３５に対応する電気信号を生成する。例えば、入力ビーム１３５が光パルスを含む場合、受信器１４０は、受信器１４０によって検出された光パルスに対応する電流又は電圧パルスを生成してもよい。例示的な実施態様において、レシーバ１４０は、１つ以上のアバランシェフォトダイオード（ＡＰＤ）、或いは１つ以上の単一光子アバランシェダイオード（ＳＰＡＤ）を含む。別の実施態様において、レシーバ１４０は、１つ以上のＰＮフォトダイオード（例えば、ｐ型半導体とｎ型半導体とによって形成されたフォトダイオード構造）、或いは１つ以上のＰＩＮフォトダイオード（例えば、ｐ型領域とｎ型領域との間に位置するアンドープ真性半導体領域によって形成されたフォトダイオード構造）を含む。
【0069】
実施形態において、光学フィルタは、レシーバ１４０の前に配置することができ、光源１１０の１つ以上の動作波長で光を透過し、周囲の波長で光を減衰させるように構成されてもよい。例えば、光学フィルタは、表面Ｂ、表面Ａ、又はレシーバ１４０の前の光路の任意の場所に配置された、自由空間スペクトルフィルタであってもよい。この光学フィルタは、光源１１０の動作波長（例えば、約１５３０ｎｍと１５６０ｎｍとの間）の光を透過させ、その波長範囲外の光を減衰させることができる。より具体的な例として、約４００～１５３０ｎｍ又は１５６０～２０００ｎｍの波長を有する光は、例えば、少なくとも５ｄＢ、１０ｄＢ、２０ｄＢ、３０ｄＢ、又は４０ｄＢといった、任意の適切な量だけ減衰されてもよい。
【0070】
レシーバ１４０は、シリコン、ゲルマニウム、又はＩｎＧａＡｓを含む、活性領域又はアバランシェ多重化領域を有してもよい。レシーバ１４０の活性領域は、例えば約５０～５００μｍの直径又は幅など、任意の好適なサイズを有してもよい。レシーバ１４０は、信号増幅、サンプリング、フィルタリング、信号調整、アナログ／デジタル変換、時間／デジタル変換、パルス検出、閾値検出、立ち上がりエッジ検出、或いは立ち下がりエッジ検出を行う回路を含んでもよい。例えば、レシーバ１４０は、受信した光電流（例えば、受信した光信号に応答してＡＰＤによって生成される電流）を電圧信号に変換するトランスインピーダンス増幅器を含んでもよい。レシーバ１４０は、電圧信号を、受信した光パルスの１つ以上の特性（例えば、立ち上がりエッジ、立ち下がりエッジ、振幅、又は持続時間）に対応するアナログ又はデジタルの出力信号１４５を生成する、パルス検出回路に向けてもよい。例えば、パルス検出回路は、デジタル出力信号１４５を生成するために、時間／デジタル変換を実行してもよい。レシーバ１４０は、処理又は分析のために電気出力信号１４５をコントローラ１５０へ送信して、例えば、受信した光パルスに対応する飛行時間値を決定してもよい。
【0071】
コントローラ１５０は、光源１１０、スキャナ１２０、及びレシーバ１４０のうちの１つ以上に対して、電気的に結合されるか、さもなければ通信可能に結合されてもよい。コントローラ１５０は、光源１１０から電気トリガパルス又はエッジを受信してもよく、その各パルス又はエッジは、光源１１０による光パルスの放出に対応する。コントローラ１５０は、光源１１０がいつ光パルスを生成すべきかを示す指示、制御信号、或いはトリガ信号を、光源１１０へ提供することができる。例えば、コントローラ１５０は、電気パルスを含む電気トリガ信号を送信してもよく、光源１１０は、各電気パルスに応答して光パルスを放射する。更に、コントローラ１５０は、光源１１０によって放射される光パルスの周波数、周期、持続時間、パルスエネルギー、ピークパワー、平均パワー、又は波長のうちの１つ又は複数を、光源１１０に調整させてもよい。
【0072】
コントローラ１５０は、光源１１０によってパルスが放射されたとき、及びレシーバ１４０によってパルスの一部（例えば入力ビーム１３５）が検出又は受信されたときに関連するタイミング情報に基づいて、光パルスの飛行時間値を決定してよい。コントローラ１５０は、信号増幅、サンプリング、フィルタリング、信号調整、アナログ／デジタル変換、時間／デジタル変換、パルス検出、閾値検出、立ち上がりエッジ検出、或いは立ち下がりエッジ検出を行う回路を含んでもよい。
【0073】
上記に示したように、ライダーシステム１００は、１つ以上のダウンレンジターゲット１３０までの距離を測定するために使用することができる。ライダーシステム１００を視野にわたって走査させることによって、このシステムは、視野内の多数の点までの距離をマッピングするために使用することができる。これらの深度マッピングされた点の各々は、ピクセルと呼ばれることがある。連続的に捕捉されたピクセルのコレクション（深度マップ、点群、又はフレームと呼ばれる場合がある）は、画像としてレンダリングされるか、或いは、オブジェクトを識別又は検出するために又はＦＯＲ内のオブジェクトの形状や距離を測定するために分析される場合がある。例えば、深度マップは、水平方向に６０°、垂直方向に１５°延びる視野をカバーしてもよく、深度マップは、水平方向に１００～２０００ピクセル×垂直方向に４～４００ピクセルのフレームを含んでもよい。
【0074】
ライダーシステム１００は、約０．１フレーム／秒（ＦＰＳ）～約１０００ＦＰＳの間の任意の好適なフレームレートで、視野の点群を繰り返し捕捉又は生成するように構成されてもよい。例えば、ライダーシステム１００は、約０．１ＦＰＳ、０．５ＦＰＳ、１ＦＰＳ、２ＦＰＳ、５ＦＰＳ、１０ＦＰＳ、２０ＦＰＳ、１００ＦＰＳ、５００ＦＰＳ、又は１０００ＦＰＳのフレームレートで点群を生成してもよい。例示的な実施態様において、ライダーシステム１００は、５×１０５パルス／秒のレートで光パルスを生成し（例えば、システムは１秒当たり５００，０００ピクセル距離を測定してもよい）、１０００×５０ピクセル（例えば５０，０００ピクセル／フレーム）のフレームをスキャンするように構成され、これは、１０フレーム／秒（例えば１０点群／秒）の点群フレームレートに対応する。点群フレームレートは、実施態様に応じて、実質的に固定されてもよく、又は動的に調整可能であってもよい。例えば、ライダーシステム１００は、特定のフレームレート（例えば１Ｈｚ）で１つ又は複数の点群を捕捉し、その後、異なるフレームレート（例えば１０Ｈｚ）で１つ又は複数の点群を捕捉するように切り替えてもよい。一般に、ライダーシステムは、より遅いフレームレート（例えば１Ｈｚ）を使用して１つ又は複数の高解像度点群を捕捉し、より速いフレームレート（例えば１０Ｈｚ）を使用して複数の低解像度点群を迅速に捕捉することができる。
【0075】
ライダーシステム１００の視野は、ターゲット１３０の少なくとも一部に重なり、包含し、又は囲むことができ、これは、ライダーシステム１００に対して移動又は静止しているオブジェクトの全体又は一部を含むことができる。例えば、ターゲット１３０は、人間、車両、オートバイ、トラック、列車、自転車、車椅子、歩行者、動物、道路標識、交通信号、車線表示、路面表示、駐車スペース、パイロン、ガードレール、交通障壁、窪み、踏切、道路内又はその近くの障害物、縁石、道路上又は道路横の停止車両、電柱、家、建物、ゴミ箱、郵便受け、木、他の任意の適切なオブジェクト、或いは２以上のオブジェクトの全て又は部分の任意の適切な組み合わせの、全体又は一部を含んでもよい。
【0076】
ここで図２を参照すると、スキャナ１６２及びレシーバ１６４は、それぞれスキャナ１２０及びレシーバ１４０として図１のライダーシステムで動作することができる。より一般的には、スキャナ１６２及びレシーバ１６４は、任意の適切なライダーシステムで動作することができる。
【0077】
スキャナ１６２は、任意の適切な数の機械的アクチュエータによって駆動される、任意の適切な数のミラーを含むことができる。例えば、スキャナ１６２は、ガルバノメータスキャナ、共振スキャナ、圧電アクチュエータ、ポリゴンミラースキャナ、回転プリズムスキャナ、音声コイルモータ、ＤＣモータ、ステッピングモータ、又は微小電気機械システム（ＭＥＭＳ）装置、或いは他の任意の適切なアクチュエータ若しくは機構を含んでもよい。
【0078】
ガルバノメータスキャナ（ガルバノメータアクチュエータとも呼ばれることがある）は、磁石及びコイルを備えたガルバノメータベースの走査モータを含むことができる。コイルに電流が供給されると、磁石に回転力が加わり、ガルバノメータスキャナに取り付けられたミラーを回転させることができる。コイルに流す電流を制御して、ガルバノメータミラーの位置をダイナミックに変化させることもできる。共振スキャナ（共振アクチュエータと呼ばれることもある）は、実質的に固定された周波数（例えば１ｋＨｚ）で周期的な振動を生成するためにアクチュエータによって駆動される、ばね状の機構を含んでもよい。ＭＥＭＳベースの走査装置は、約１～１０ｍｍの間の直径を有するミラーを含んでもよく、そのミラーは、電磁的又は静電的な操作を用いて回転される。ボイスコイルモータ（ボイスコイルアクチュエータと呼ばれることもある）は、磁石及びコイルを含むことができる。コイルに電流を流すと、磁石に並進力が加わり、磁石に取り付けられたミラーが移動又は回転する。ポリゴンミラースキャナは、一方向に回転してＦＯＲにわたって出力ビーム１７０をスキャンする、多面ミラー（例えば４面又は６面ミラー）を含んでもよい。
【0079】
例示的な実施態様において、スキャナ１６２は、単一方向に沿って出力ビーム１７０をスキャンするように構成された単一のミラーを含む（例えば、スキャナ１６２は、水平方向又は垂直方向に沿ってスキャンする一次元スキャナであってもよい）。ミラーは、特定の角度範囲にわたってミラーをスキャンするスキャナアクチュエータ又は機構に取り付けられた、平面走査ミラーであってもよい。ミラーは、１つのアクチュエータ（例えばガルバノメータ）により駆動されてもよく、プッシュプル構成でミラーを駆動するように構成された２つのアクチュエータにより駆動されてもよい。２つのアクチュエータがプッシュプル構成でミラーを一方向に駆動する場合、それらのアクチュエータはミラーの反対側の端部又は側部に配置されてもよい。また、一方のアクチュエータがミラーを押すと、他方のアクチュエータがミラーを引っ張るように、及びその逆の動作をするように、協働的に動作してもよい。別の例示的な実施態様では、プッシュプル構成で配置された２つのボイスコイルアクチュエータが、水平方向又は垂直方向に沿ってミラーを駆動する。
【0080】
いくつかの実施態様において、スキャナ１６２は、２つの軸に沿ってスキャンされるように構成された１つのミラーを含むことができ、この場合はプッシュプル構成で配置された２つのアクチュエータが、各軸に沿った運動を提供する。例えば、水平プッシュプル構成で配置された２つの共振アクチュエータは、水平方向に沿ってミラーを駆動することができ、垂直プッシュプル構成で配置された別の一対の共振アクチュエータは、垂直方向に沿ってミラーを駆動することができる。別の例示的な実施態様では、２つのアクチュエータが出力ビーム１７０を２つの方向（例えば水平及び垂直）に沿ってスキャンし、各アクチュエータが特定の方向に沿った又は特定の軸を中心とした回転運動を提供する。
【0081】
スキャナ１６２はまた、実質的に直交する２つの方向に沿ってミラーをスキャンするように構成された２つのアクチュエータにより駆動される１つのミラーを含んでもよい。例えば、共振アクチュエータ又はガルバノメータアクチュエータは、実質的に水平方向に沿って１つのミラーを駆動してもよく、ガルバノメータアクチュエータは、実質的に垂直方向に沿ってそのミラーを駆動してもよい。他の例として、２つの共振アクチュエータが、実質的に直交する２つの方向に沿ってミラーを駆動してもよい。
【0082】
いくつかの実施態様では、スキャナ１６２が２つのミラーを含み、一方のミラーが出力ビーム１７０を実質的に水平方向に沿ってスキャンし、他方のミラーが出力ビーム１７０を実質的に垂直方向に沿ってスキャンする。図２の例では、スキャナ１６２が、ミラー１８０－１及びミラー１８０－２の２つのミラーを含む。ミラー１８０－１は、出力ビーム１７０を実質的に水平方向に沿ってスキャンすることができ、ミラー１８０－２は、出力ビーム１７０を実質的に垂直方向に沿ってスキャンすることができる（又はその逆も同様である）。
【0083】
他の実施態様におけるスキャナ１６２は、それぞれがミラーを駆動する２つのガルバノスキャナを含む。例えば、スキャナ１６２は、ミラー１８０－１を第１の方向（例えば垂直）に沿ってスキャンするガルバノメータアクチュエータを含んでもよく、スキャナ１６２は、ミラー１８０－２を第２の方向（例えば水平）に沿ってスキャンする別のガルバノメータアクチュエータを含んでもよい。更に別の実施態様では、スキャナ１６２が２つのミラーを含み、ガルバノメータアクチュエータが一方のミラーを駆動し、共振アクチュエータが他方のミラーを駆動する。例えば、ガルバノメータアクチュエータが第１の方向に沿ってミラー１８０－１をスキャンし、共振アクチュエータが第２の方向に沿ってミラー１８０－２をスキャンしてもよい。第１及び第２の走査方向は、互いに実質的に直交していてもよく、例えば、第１の方向が実質的に垂直であってもよく、第２の方向が実質的に水平であってもよい。更に別の実施態様では、スキャナ１６２が２つのミラーを含んでもよく、ガルバノメータが第１の方向に沿って一方のミラーをスキャンし、他方のミラーが第２の方向に沿ってスキャンされるポリゴンミラーである。
【0084】
出力ビーム１７０を特定のスキャンパターンに沿って向けるために、スキャナ１６２は、１つのミラーを同期して駆動する２つ以上のアクチュエータを含んでもよい。例えば、２つ以上のアクチュエータは、出力ビーム１７０を実質的に直線のスキャンパターンに従わせるために、２つの実質的に直交する方向に沿ってミラーを同期的に駆動させることができる。いくつかの実施態様において、スキャナ１６２は、実質的に直線を含むスキャンパターンを生成するために、２つのミラーと、２つのミラーを同期して駆動するアクチュエータとを含んでもよい。例えば、ガルバノメータアクチュエータは、出力ビーム１７０に実質的に水平な往復パターンをトレースさせる、実質的に直線的な往復運動（例えば、ガルバノメータは、実質的に正弦波又は三角形の波形で駆動されてよい）でミラー１８０－２を駆動してもよく、別のガルバノメータアクチュエータは、実質的に垂直方向に沿ってミラー１８０－１をスキャンしてもよい。２つのガルバノメータは、６４個の水平方向のトレースごとに、出力ビーム１７０が垂直方向に沿って１つのトレースを行うように同期させてもよい。２つのミラーが使用されようとも、実質的に直線を、実質的に水平に、垂直に、又は他の任意の適切な方向に沿って向けることができる。
【0085】
スキャナ１６２はまた、出力ビーム１７０が実質的に水平方向に沿って走査される際に（例えば、ガルバノメータ又は共振アクチュエータを用いて）、垂直方向に沿って動的に調整された偏向を適用して（例えばガルバノメータアクチュエータを用いて）、直線を実現することができる。垂直偏向が適用されない場合、出力ビーム１７０は、左右にスキャンする際に、湾曲した経路をトレースすることができる。いくつかの実施態様において、スキャナ１６２は、垂直アクチュエータを使用して、出力ビーム１７０が水平にスキャンされるときに動的に調整された垂直偏向を適用すると共に、各水平スキャン間に離散的な垂直オフセットを適用する（例えば、出力ビーム１７０をスキャンパターンの後続列にステップするために）。
【0086】
図２を引き続き参照すると、この例示的な実施態様におけるオーバーラップミラー１９０は、ビーム１７０及び１７２が実質的に同軸となるように、入力ビーム１７２と出力ビーム１７０とを重ねるように構成されている。図２において、オーバーラップミラー１９０は、出力ビーム１７０が通過する穴、スロット、又は開口１９２と、入力ビーム１７２の少なくとも一部をレシーバ１６４に向けて反射する反射面１９４とを含む。オーバーラップミラー１９０は、入力ビーム１７２及び出力ビーム１７０が少なくとも部分的に重なるように配向されてもよい。
【0087】
入力ビーム１７２は、レシーバ１６４の活性領域１６６上にビームを集束させるレンズ１９６を通過することができる。活性領域１６６は、レシーバ１６４が入力光を受信又は検出し得る領域を指す場合がある。活性領域は、任意の適切なサイズ又は直径ｄ、例えば、約２５μｍ、５０μｍ、８０μｍ、１００μｍ、２００μｍ、５００μｍ、１ｍｍ、２ｍｍ、或いは５ｍｍの直径を有していてもよい。オーバーラップミラー１９０は、実質的に平坦である反射面１９４を有していてもよく、又は反射面１９４が湾曲していてもよい（例えば、ミラー１９０は、入力ビーム１７２をレシーバ１４０の活性領域上に集束するように構成された軸外放物面ミラーであってもよい）。
【0088】
開口１９２は、任意の適切なサイズ又は直径Φ１を有してよく、入力ビーム１７２は、任意の適切なサイズ又は直径Φ２を有してよく、ここでΦ２はΦ１よりも大きい。例えば、開口１９２は、約０．２ｍｍ、０．５ｍｍ、１ｍｍ、２ｍｍ、３ｍｍ、５ｍｍ、又は１０ｍｍの直径Φ１を有してもよく、入力ビーム１７２は、約２ｍｍ、５ｍｍ、１０ｍｍ、１５ｍｍ、２０ｍｍ、３０ｍｍ、４０ｍｍ、又は５０ｍｍの直径Φ２を有してもよい。いくつかの実施態様において、オーバーラップミラー１９０の反射面１９４は、入力ビーム１７２の７０％以上をレシーバ１６４に向けて反射させてもよい。例えば、反射面１９４が光源１６０の動作波長で反射率Ｒを有する場合、レシーバ１６４に向けられる入力ビーム１７２の割合は、Ｒ×［１－（Φ１／Φ２）２］と表現されてもよい。より具体的な例として、Ｒが９５％、Φ１が２ｍｍ、Φ２が１０ｍｍである場合、入力ビーム１７２の約９１％が反射面１９４によってレシーバ１６４の方に向けられ得る。
（視野内のピクセル生成）
（視野内のピクセル生成）
【0089】
図３は、図１のライダーシステム１００が生成し得る例示的なスキャンパターン２４０を示している。ライダーシステム１００は、１つ又は複数のスキャンパターン２４０に沿って出力光ビーム１２５をスキャンするように構成されてもよい。いくつかの実施態様において、スキャンパターン２４０は、任意の適切な水平ＦＯＲ（ＦＯＲＨ）及び任意の適切な垂直ＦＯＲ（ＦＯＲＶ）を有する、任意の適切な視野（ＦＯＲ）にわたるスキャンに相当する。例えば、あるスキャンパターンは、角度寸法（例えば、ＦＯＲＨ×ＦＯＲＶ）４０°×３０°、９０°×４０°、又は６０°×１５°によって表される視野を有することができる。別の例として、あるスキャンパターンは、１０°、２５°、３０°、４０°、６０°、９０°、又は１２０°以上のＦＯＲＨを有していてもよい。更に別の例として、あるスキャンパターンは、２°、５°、１０°、１５°、２０°、３０°、又は４５°以上のＦＯＲＶを有していてもよい。図３の例では、基準線２４６が、スキャンパターン２４０の視野の中心を表している。基準線２４６は、任意の適切な向き、例えば、０°の水平角（例えば、基準線２４６が真正面を向いていてもよい）及び０°の垂直角（例えば、基準線２４６が０°の傾斜を有していてもよい）を有していてもよく、或いは基準線２４６は、０以外の水平角又は０以外の傾斜（例えば、＋１０°又は－１０°の垂直角）を有していてもよい。図３において、スキャンパターン２４０が６０°×１５°の視野を有する場合、スキャンパターン２４０は、基準線２４６に対して±３０°の水平範囲と、基準線２４６に対して±７．５°の垂直範囲とをカバーすることになる。更に、図３における光ビーム１２５は、基準線２４６に対して水平方向に約－１５°、垂直方向に約＋３°の向きを有している。ビーム１２５は、基準線２４６に対して－１５°の方位と＋３°の高度とを有すると称されてもよい。方位（方位角と呼ばれることがある）は、基準線２４６に対する水平方向の角度を表すことがあり、高度（高度角、標高、又は仰角と呼ばれることがある）は、基準線２４６に対する垂直方向の角度を表すことがある。
【0090】
スキャンパターン２４０は、複数のピクセル２４２を含んでもよく、各ピクセル２４２は、１つ又は複数のレーザパルス及び１つ又は複数の対応する距離測定に関連してもよい。スキャンパターン２４０の１周期は、Ｐｘ×Ｐｙのピクセル２４２の合計（例えば、Ｐｘ×Ｐｙのピクセルの二次元分布）を含んでもよい。例えば、スキャンパターン２４０は、水平方向に沿って約１００～２０００個のピクセル２４２、垂直方向に沿って約４～４００個のピクセル２４２の寸法を有する分布を含んでもよい。他の例として、スキャンパターン２４０は、スキャンパターン２４０の１周期あたり総計６４，０００個のピクセルについて、水平方向に沿った１，０００個のピクセル２４２×垂直方向に沿った６４個のピクセル２４２（例えば、フレームサイズは１０００×６４ピクセル）の分布を含んでもよい。なお、水平方向に沿ったピクセル２４２の数をスキャンパターン２４０の水平解像度と称し、垂直方向に沿ったピクセル２４２の数をスキャンパターン２４０の垂直解像度と称することがある。一例として、スキャンパターン２４０は、水平解像度が１００ピクセル２４２以上であり、垂直解像度が４ピクセル２４２以上であってもよい。別の例として、スキャンパターン２４０は、１００～２０００ピクセル２４２の水平解像度と、４～４００ピクセル２４２の垂直解像度とを有してもよい。更に、ＦＯＲ内の特定のサブ領域が、オブジェクト及びターゲット検出の所望の解像度に応じて、様々な解像度を有していてもよい。本明細書で論じる例では、解像度が、ＦＯＲあたりのピクセル数、ＦＯＲのラインあたりのピクセル数（例えば、図３のスキャン２４０の各ラインにわたる４つのピクセル２４２であり、新しいラインはＦＯＲの境界で定義される）、或いはピクセル解像度の別の適切な定義として定義されてもよい。例えば、図３のＦＯＲのサブ領域は、樹木及びオフロードターゲットを検出するために、スキャンパターン２４０のラインあたり４～１０ピクセルの間の水平及び／又は垂直解像度を有することができる。一方、道路を含むと判断されたＦＯＲのサブ領域は、道路上の他の車両、歩行者、交通線、又は他のターゲット及びオブジェクトの、位置及び動きをよりよく検出し追跡するために、スキャンパターン２４０のラインあたり数百から数千のピクセルという、より高い水平解像度及び／又は垂直解像度を有していてもよい。
【0091】
各ピクセル２４２は、距離（例えば、対応するレーザパルスが散乱されたターゲット１３０の一部までの距離）及び／又は１つ以上の角度値に関連付けられることがある。一例として、ピクセル２４２は、距離値、及びライダーシステム１００に対するピクセル２４２の角度位置を表す２つの角度値（例えば方位及び高度）と関連付けられてもよい。ターゲット１３０の一部への距離は、対応するパルスの飛行時間測定に少なくとも部分的に基づいて測定されてもよい。角度値（例えば方位又は高度）は、出力ビーム１２５の角度（例えば、基準線２４６に対する）に対応してもよく（例えば、対応するパルスがライダーシステム１００から放射される場合）、或いは、入力ビーム１３５の角度に対応してもよい（例えば、入力信号がライダーシステム１００によって受信される場合）。いくつかの実施態様において、ライダーシステム１００は、スキャナ１２０の構成要素の位置に少なくとも部分的に基づいて角度値を決定する。例えば、ピクセル２４２に関連する方位値又は高度値は、スキャナ１２０の１つ又は複数の対応する走査ミラーの角度位置から決定されてもよい。
【0092】
いくつかの実施態様において、ライダーシステム１００は、視野にわたって複数のビームを同時に配向する。図４の例示的な実施態様において、ライダーシステムは、出力ビーム２５０Ａ、２５０Ｂ、２５０Ｃ、…２５０Ｎなどを生成し、その各々が、線形スキャンパターン２５４Ａ、２５４Ｂ、２５４Ｃ、…２５４Ｎに従う。平行線の数は、２、４、１２、２０、又は他の任意の適切な数であってよい。ライダーシステム１００は、ビーム２５０Ａ、２５０Ｂ、２５０Ｃ、…２５０Ｎを角度的に分離してもよく、この場合、例えば、ある距離におけるビーム２５０Ａと２５０Ｂとの間の分離が３０ｃｍであってよく、より長い距離における同じビーム２５０Ａと２５０Ｂとの間の分離が５０ｃｍであってよい。
【0093】
スキャンパターン２４０と同様に、線形スキャンパターン２５４Ａ～Ｎの各々は、１つ又は複数のレーザパルス及び距離測定に関連するピクセルを含む。図４は、スキャンパターン２５４Ａ、２５４Ｂ、及び２５４Ｃにそれぞれが沿った、例示的なピクセル２５２Ａ、２５２Ｂ、及び２５２Ｃを示している。この例のライダーシステム１００は、ピクセル２５２Ａ～２５２Ｎの値を同時に生成して、スキャンレートを増加させることができる。
【0094】
実施態様に依存して、ライダーシステム１００は、ビーム２５０Ａ～Ｎを同じ波長で出力してもよく、異なる波長で出力してもよい。例えば、ビーム２５０Ａが１４７０ｎｍの波長を有し、ビーム２５０Ｂが１５００ｎｍの波長を有し、ビーム２５０Ｃが１５５０ｎｍの波長を有してもよい、などである。ライダーシステム１００が使用する異なる波長の数は、チャネルの数と一致する必要はない。従って、図４の例示的な実施態様におけるライダーシステム１００は、Ｎ個のチャネルでＭ個の波長を使用してもよく、ここで１≦Ｍ≦Ｎである。
【0095】
次に、図５は、ライダーシステム１００の光源視野（ＦＯＶＬ）及びレシーバ視野（ＦＯＶＲ）の例を示している。光源１１０は、ＦＯＶＬ及びＦＯＶＲがスキャナ１２０によって視野（ＦＯＲ）にわたって走査されるときに、光のパルスを放出してもよい。光源視野は、特定の瞬間に光源１１０によって照らされる角錐を指すことがある。同様に、レシーバ視野は、レシーバ１４０が特定の瞬間に光を受信又は検出することができる角錐を指す場合があり、レシーバ視野の外側の光は、受信又は検出されない場合がある。例えば、スキャナ１２０が光源視野を視野にわたってスキャンすると、ライダーシステム１００は、光源１１０がパルスを発する時にＦＯＶＬが向いている方向に光のパルスを送ってもよい。光のパルスは、ターゲット１３０から散乱することができ、レシーバ１４０は、ＦＯＶＲに沿って向けられるか又はＦＯＶＲ内に含まれる、散乱光の一部を受信して検出することができる。
【0096】
いくつかの実施態様において、スキャナ１２０は、ライダーシステム１００の視野にわたって、光源視野及びレシーバ視野の双方をスキャンするように構成される。ライダーシステム１００は、スキャナ１２０がスキャンパターン２４０をトレースしながら視野にわたってＦＯＶＬ及びＦＯＶＲをスキャンする際に、複数の光パルスを放射及び検出することができる。いくつかの実施態様におけるスキャナ１２０は、光源視野及びレシーバ視野を互いに関して同期してスキャンする。この場合、スキャナ１２０がスキャンパターン２４０にわたってＦＯＶＬをスキャンすると、ＦＯＶＲは同じ走査速度で実質的に同じ経路をたどる。更に、スキャナ１２０がＦＯＶＬ及びＦＯＶＲを視野にわたってスキャンすると、ＦＯＶＬ及びＦＯＶＲは、互いに対して同じ相対位置を維持することができる。例えば、ＦＯＶＬは、ＦＯＶＲと実質的に重なっていてもよく、或いはＦＯＶＲの内部に中心があってもよく（図４に図示されているように）、スキャナ１２０は、スキャン全体にわたってＦＯＶＬとＦＯＶＲとの間のこの相対的な位置関係を維持してもよい。別の例として、ＦＯＶＲは、スキャン全体にわたって特定の固定量だけＦＯＶＬより遅れてもよい（例えば、ＦＯＶＲは、スキャン方向と反対の方向にＦＯＶＬからオフセットされてもよい）。
【0097】
ＦＯＶＬは、出力ビーム１２５の発散と実質的に同じであるか又はそれに対応する角度サイズ又は範囲ＱＬを有してよく、ＦＯＶＲは、レシーバ１４０が光を受信して検出することができる角度に対応する角度サイズ又は範囲ＱＲを有してよい。レシーバ視野は、光源視野に対して任意の適切なサイズであってよい。例えば、レシーバ視野は、光源視野の角度範囲より、小さくてもよく、実質的に同じサイズであってもよく、又は大きくてもよい。いくつかの実施態様において、光源視野は、５０ミリラジアン以下の角度範囲を有し、レシーバ視野は、５０ミリラジアン以下の角度範囲を有する。ＦＯＶＬは、例えば約０．１ｍｒａｄ、０．２ｍｒａｄ、０．５ｍｒａｄ、１ｍｒａｄ、１．５ｍｒａｄ、２ｍｒａｄ、３ｍｒａｄ、５ｍｒａｄ、１０ｍｒａｄ、２０ｍｒａｄ、４０ｍｒａｄ、又は５０ｍｒａｄなどの、任意の適切な角度範囲ＱＬを有していてもよい。同様に、ＦＯＶＲは、例えば約０．１ｍｒａｄ、０．２ｍｒａｄ、０．５ｍｒａｄ、１ｍｒａｄ、１．５ｍｒａｄ、２ｍｒａｄ、３ｍｒａｄ、５ｍｒａｄ、１０ｍｒａｄ、２０ｍｒａｄ、４０ｍｒａｄ、又は５０ｍｒａｄなどの、任意の適切な角度範囲ＱＲを有していてもよい。光源視野及びレシーバ視野は、ほぼ等しい角度範囲を有していてもよい。一例として、ＱＬ及びＱＲは共に、１ｍｒａｄ、２ｍｒａｄ、又は３ｍｒａｄにほぼ等しくてもよい。いくつかの実施態様では、レシーバ視野が光源視野より大きく、或いは光源視野がレシーバ視野より大きい。例えば、ＱＬが１．５ｍｒａｄにほぼ等しくてもよく、ＱＲが３ｍｒａｄにほぼ等しくてもよい。
【0098】
ピクセル２４２は、光源視野を表すか又は光源視野に対応してもよい。出力ビーム１２５が光源１１０から伝播するにつれて、出力ビーム１２５の直径（及び対応するピクセル２４２のサイズ）は、ビーム発散ＱＬに従って増加し得る。一例として、出力ビーム１２５が２ｍｒａｄのＱＬを有する場合、ライダーシステム１００から１００ｍの距離で、出力ビーム１２５は、約２０ｃｍのサイズ又は直径を有してよく、対応するピクセル２４２もまた、約２０ｃｍの対応するサイズ又は直径を有してよい。ライダーシステム１００から２００ｍの距離では、出力ビーム１２５及び対応するピクセル２４２は、それぞれ約４０ｃｍの直径を有していてもよい。
（車両で動作するライダーシステム）
（車両で動作するライダーシステム）
【0099】
上記で示したように、１つ又は複数のライダーシステム１００が車両に統合されてもよい。一例の実施態様では、複数のライダーシステム１００が自動車に統合されて、自動車の周囲の完全な３６０度の水平ＦＯＲを提供してもよい。別の例として、各システムが４５度から１２０度の水平方向のＦＯＲを有する４～１０個のライダーシステム１００を一緒に組み合わせて、３６０度の水平方向のＦＯＲをカバーする点群を提供するセンシングシステムを形成することができる。ライダーシステム１００は、隣接するＦＯＲが空間的又は角度的に重なる量を持つように配向され、複数のライダーシステム１００からのデータを結合又はつなぎ合わせて、単一の又は連続した３６０度点群を形成できるようにしてもよい。一例として、各ライダーシステム１００のＦＯＲは、隣接するＦＯＲと約１～４５度の重なりを有していてもよい。特定の実施形態では、車両が、人又は貨物を輸送するように構成された移動機械を指す場合がある。例えば、車両は、車、自動車、モータビークル、トラック、バス、バン、トレーラー、オフロード車、農業用車両、芝刈り機、建設機械、ゴルフカート、モータホーム、タクシー、バイク、スクーター、自転車、スケートボード、列車、雪上車、船舶（例えば、船又はボート）、航空機（例えば、固定翼機、ヘリコプター、又は飛行船）、或いは宇宙船を、含むことができ、その形態をとり得、又はそれとして言及され得る。特定の実施形態では、車両が、車両の推進力を提供する内燃機関又は電気モータを含んでもよい。
【0100】
いくつかの実施態様において、１つ以上のライダーシステム１００は、運転プロセスにおいて車両の運転者を支援するための先進運転支援システム（ＡＤＡＳ）の一部として、車両に含まれる。例えば、ライダーシステム１００は、運転者に情報又はフィードバックを提供する（例えば、潜在的な問題や危険を運転者に警告する）、或いは、衝突や事故を回避するために車両の一部（例えば、ブレーキシステムやステアリングシステム）を自動的に制御する、ＡＤＡＳの一部であってよい。ライダーシステム１００は、アダプティブクルーズコントロール、自動ブレーキ、自動駐車、衝突回避、危険又は他の車両の運転者への警告、車両の正しい車線への維持、或いは死角に物体や他の車両がある場合の警告、を提供する車両ＡＤＡＳの一部であってもよい。
【0101】
いくつかのケースにおいて、１つ以上のライダーシステム１００は、自律型車両運転システムの一部として車両に統合される。例示的な実施態様において、ライダーシステム１００は、自律型車両の運転システムに周辺環境に関する情報を提供する。自律型車両運転システムは、ライダーシステム１００から周辺環境に関する情報を受信し、受信した情報を分析し、車両の運転システム（例えば、ステアリングホイール、アクセル、ブレーキ、又は方向指示器）へ制御信号を提供する、１つ以上のコンピューティングシステムを含んでもよい。例えば、自律型車両に統合されたライダーシステム１００は、点群を０．１秒ごとに自律型車両運転システムへ提供してもよい（例えば、点群は、１秒あたり１０フレームを表す１０Ｈｚの更新レートを有する）。自律型車両運転システムは、受信した点群を解析して、ターゲット１３０とそのそれぞれの位置、距離、又は速度を感知又は識別することができ、自律型車両運転システムは、この情報に基づいて制御信号を更新することができる。一例として、ライダーシステム１００が、減速又は停止している前方の車両を検出した場合、自律型車両運転システムは、アクセルを解放し、ブレーキをかけるように指示を送信してもよい。
【0102】
自律型車両は、自律走行車、ドライバーレスカー、自動運転車、ロボットカー、又は無人走行車と呼ばれることがある。自律型車両は、その環境を感知し、ほとんど又は全く人間の入力なしにナビゲート又は運転するように構成された車両であってよい。例えば、自律型車両は、任意の適切な場所まで走行し、全行程の全ての安全上重要な機能（例えば、運転、ステアリング、ブレーキ、駐車）を制御又は実行するように構成することができ、運転者はいかなる時も車両を制御することを要求されない。別の例として、自律型車両は、運転者が特定の環境（例えば高速道路上）で運転タスクから安全に注意をそらすことを可能にし、或いは自律型車両は、運転者からの入力又は注意をほとんど又は全く必要とせずに、一部の環境を除く全ての環境で車両の制御を提供することができる。
【0103】
自律型車両は、車両に運転者が存在する状態で運転するように構成されてもよく、或いは自律型車両は、運転者が存在しない状態で車両を操作するように構成されてもよい。一例として、自律型車両は、関連する制御装置（例えば、ステアリングホイール、アクセルペダル、及びブレーキペダル）を有する運転席を含んでもよく、車両が、運転席に誰も座っていない状態で、或いは運転席に座っている人からほとんど又は全く入力がない状態で、運転するよう構成されてもよい。別の例として、自律型車両は、運転席又は関連する運転席の制御装置を一切含まなくてもよく、車両が、人間の入力なしに実質的に全ての運転機能（例えば、運転、ステアリング、ブレーキ、駐車、及びナビゲート）を実行してもよい。別の例として、自律型車両は、運転手なしで動作するように構成されてもよい（例えば、車両は、車両に運転手が存在せずに人間の乗客や貨物を輸送するように構成されてもよい）。別の例として、自律型車両は、人間の乗客なしで動作するように構成されてもよい（例えば、車両は、車両に人間の乗客を乗せることなく、貨物の輸送のために構成されてもよい）。
【0104】
いくつかの実施態様において、ライダーシステムの光源は、スキャナやレシーバなどのライダーシステムの他の構成要素の一部から、離れて配置される。更に、車両に実装されるライダーシステムは、スキャナ及びレシーバよりも少ない光源を含んでもよい。
【0105】
図６Ａ及び図６Ｂは、コントローラ３０４が、車両３００の操縦及び他の操作のための様々な構成要素３０２を操作することができる、例示的な自律型車両３００を示している。これらの構成要素は、明確化のために、図６Ａにおいて拡大図で描かれている。構成要素３０２は、アクセル３１０、ブレーキ３１２、車両エンジン３１４、ステアリング機構３１６、ブレーキライト、ヘッドライト、バックライト、非常灯などのライト３１８、ギアセレクタ３２０、及び／又は車両３００の移動を実施及び制御する他の適切な構成要素を含むことができる。ギアセレクタ３２０は、パークギア、リバースギア、ニュートラルギア、ドライブギアなどを含んでもよい。構成要素３０２の各々は、インタフェースを含んでもよく、このインタフェースを介して、構成要素が車両コントローラ３０４から「速度を上げる」、「速度を下げる」、「左に５度曲がる」、「左折の方向指示器を起動する」などのコマンドを受け取り、場合によっては、車両コントローラ３０４へフィードバックを提供する。
【0106】
自律型車両３００は、センサリンク３０６を介してコントローラに結合された複数のセンサヘッド３０８Ａ～Ｅを含むライダーシステムを備えることができる。センサヘッド３０８の各々は、例えば、光源及びレシーバを含んでもよく、センサリンク３０６の各々は、１つ以上の光リンク及び／又は１つ以上の電気リンクを含んでもよい。図６Ａのセンサヘッド３０８は、車両の周囲環境の３０度より大きいビューを提供するように、位置付けられる又は配向される。より一般的には、複数のセンサヘッドを有するライダーシステムは、約３０°、４５°、６０°、９０°、１２０°、１８０°、２７０°、又は３６０°の、車両周囲の水平視野を提供することができる。センサヘッド３０８の各々は、バンパー、フェンダー、グリル、サイドパネル、スポイラー、ルーフ、ヘッドライトアセンブリ、テールライトアセンブリ、バックミラーアセンブリ、フード、トランク、窓、或いは車両の他の任意の適切な部分に、取り付けられてもよく、又はそれらに組み込まれてもよい。
【0107】
図６Ａの例において、５つのセンサヘッド３０８は、センサヘッド３０８に異なる視野を提供する位置で車両上に配置され（例えば、センサヘッド３０８の各々が、ライトアセンブリ、サイドパネル、バンパー、又はフェンダーに組み込まれてもよい）、レーザが車両３００内（例えば、トランク内又はその近傍）に配置されてもよい。図６Ｂに示されるように、５つのセンサヘッド３０８は、それぞれ１２０°の水平視野（ＦＯＲ）を提供することができ、５つのセンサヘッド３０８は、共に車両の周りの完全な３６０°ビューを提供するように配向されてもよい。別の例として、ライダーシステム３０２は、車両３００上又はその周囲に配置された６つのセンサヘッド３０８を含んでもよく、この場合のセンサヘッド３０８の各々は、６０°～９０°の水平ＦＯＲを提供する。別の例として、ライダーシステムは、８つのセンサヘッド３０８を含んでもよく、センサヘッド３０８の各々が、４５°～６０°の水平ＦＯＲを提供してもよい。更に別の例として、ライダーシステムは、６つのセンサヘッド３０８を含んでもよく、センサヘッド３０８の各々が、隣接するセンサヘッド３０８間の約１０°の重なりを有する７０°の水平ＦＯＲを提供する。別の例として、ライダーシステムは、一緒になって３０°以上の前方向の水平ＦＯＲを提供する、２つのセンサヘッド３０８を含んでもよい。
【0108】
図６Ｂに示される実施形態において、センサヘッド３０８はそれぞれ、センサヘッド３０８のＦＯＲ間に重なりを提供する１２０°のＦＯＲを有している。例えば、センサヘッド３０８Ａ及び３０８Ｂは、センサヘッド３０８Ａ及び３０８Ｂの位置及び相対的な角度構成に起因して、約６０°のＦＯＲの重なりを有している。同様に、センサヘッド３０８Ｂと３０８Ｃ、及びセンサヘッド３０８Ａと３０８ＥについてのＦＯＲの重なりは、約６０°の重なりを有している。センサヘッド３０８のＦＯＲの不均一な空間分布及び配置に起因して、センサヘッド３０８Ｃと３０８Ｄ、並びにセンサヘッド３０８Ｄと３０８ＥについてのＦＯＲの重なりは、約３０°のより小さい重なりを有する。実施形態において、センサのＦＯＲの重なりは、センサヘッド３０８の数と、センサヘッドの空間的及び角度的配置とに依存して、任意の所望の重なりになるように構成することができる。
【0109】
センサヘッド３０８の各々からのデータは、車両の周りの３６０度以下の水平ビューをカバーする点群を生成するために、結合又はつなぎ合わされ（stitched together）てもよい。例えば、ライダーシステムは、（例えば、対応する電気リンク３０６を介して）センサヘッド３０８の各々からデータを受信し、受信したデータを処理して、車両の周囲の３６０度の水平ビューをカバーする点群を構築し、或いは１つ以上のターゲットへの距離を測定する、コントローラ又はプロセッサを含んでもよい。点群又は点群からの情報は、対応する電気リンク、光リンク、又は無線リンク３０６を介して、車両コントローラ３０４に提供されてもよい。車両コントローラ３０４は、１つ以上のＣＰＵ、ＧＰＵ、及び、永続的な構成要素（例えばフラッシュメモリ、光ディスク）及び／又は非永続的な構成要素（例えばＲＡＭ）を有する非一過性のメモリを含んでもよい。
【0110】
いくつかの実施態様において、点群は、ライダーシステム内に含まれるコントローラで複数のセンサヘッド３０８の各々からのデータを結合することによって生成され、車両コントローラ３０４へ提供される。他の実施態様において、センサヘッド３０８の各々は、車両の周りの３６０度の水平ビューの一部について点群を構築し、それぞれの点群を車両コントローラ３０４へ提供する、コントローラ又はプロセッサを含む。次に、車両コントローラ３０４は、それぞれのセンサヘッド３０８からの点群を結合又はつなぎ合わせて、３６０度の水平ビューをカバーする結合点群を構築する。更に、いくつかの実施態様では、車両コントローラ３０４が、点群データを処理するためにリモートサーバと通信する。
【0111】
いくつかの実施態様において、車両コントローラ３０４は、リンク３０６を介してセンサヘッド３０８から点群データを受信し、本明細書に開示される集合型又は個別ＳＤＣＡのいずれか１つ以上を使用して、受信した点群データを分析し、ターゲット及びそれらのそれぞれの位置、距離、速度、形状、サイズ、ターゲットのタイプ（例えば、車両、人間、木、動物）などを感知又は同定する。次に、車両コントローラ３０４は、解析された情報に基づいて車両の動作を制御するために、リンク３０６を介して構成要素３０２へ制御信号を提供する。
【0112】
ライダーシステムに加えて、車両３００は、慣性測定ユニット（ＩＭＵ）３３０と、カメラ、赤外線イメージャ、従来のレーダ（乱雑を避けるために図示されていない）などの他のセンサ３３２とを備えてもよい。他のセンサ３３２はそれぞれ、車両の周囲の３６０度の水平ビューを生成するためにつなぎ合わされ得る、それぞれのＦＯＲを有していてもよい。実施形態において、他のセンサ３３２からのデータは、センサヘッド３０８からのデータと組み合わされて、車両３００の自律的な動作を可能にするためのデータセットを生成してもよい。センサ３３０及び３３２は、有線又は無線の通信リンクを介して、車両コントローラ３０４へ追加のデータを提供することができる。更に、例示的な実施態様における車両３００は、音源を特定するように構成された音響音源定位システム（acoustic source localization system）の一部として動作するマイクロホンアレイを含む。
【0113】
図６Ａに示されるように、車両コントローラ３０４は、知覚モジュール３５２及びモーションプランナ３５４を含むことができ、これらの各々は、ハードウェア、ファームウェア、ソフトウェア、或いは、ハードウェア、ファームウェア、及びソフトウェアの任意の適切な組み合わせを使用して、実装することができる。動作中、知覚モジュール３５２は、センサ３３０、３３２、３０８Ａ～Ｅなどからセンサデータを受信し、受信したセンサデータを知覚モデル３５３へ適用して、道路の曲率、障害物の存在、障害物までの距離などの、自律型車両３００が動作する環境のパラメータを生成することができる。知覚モジュール３５２は次に、これらの生成されたパラメータをモーションプランナ３５４へ供給することができ、モーションプランナは次に、自律型車両３００を制御するための決定を生成し、対応するコマンドを、アクセル３１０、ブレーキ３１２、車両エンジン３１４、ステアリング機構３１６などへ提供することができる。
【0114】
モーションプランナ３５４は、任意の適切な（複数の）タイプの規則、アルゴリズム、ヒューリスティックモデル、機械学習モデル、又は他の適切な技術を利用して、上述のように知覚モデル３５３を利用する知覚モジュール３５２の出力に基づいて運転決定を行うことができる。例えば、いくつかの実施態様において、モーションプランナ３５４は、特定の信号又は信号の組み合わせに応答して自律型車両３００を制御するための特定の決定を行うように、それに対応するアルゴリズムで構成される。別の例として、いくつかの実施形態において、モーションプランナ３５４のための機械学習モデルは、知覚モデル３５３が生成するタイプの環境パラメータの記述を使用して訓練され得る。追加の実施形態では、仮想データによりモーションプランナ５３４の機械学習モデルを訓練する。例えば、モーションプランナ５３４は、「学習ベース」プランナ（例えば、教師あり学習又は強化学習を使用して訓練されるプランナ）、「探索ベース」プランナ（例えば、連続Ａ＊（continuous A*）プランナ）、「サンプリングベース」プランナ（例えば、可能な決定の分野（universe of possible decisions）を表す空間においてランダム探索を実行するプランナ）、「予測制御ベース」プランナ（例えば、モデル予測制御（ＭＰＣ）プランナ）などであってもよい。いずれの場合も、訓練プラットフォームは、知覚モジュール３５２とは別個に独立して、モーション計画モデルを訓練することができる。
【0115】
パルス検出の詳細及び回路
（複数のライダーセンサからのデータを結合するための変換パラメータの最適化）
（複数のライダーセンサからのデータを結合するための変換パラメータの最適化）
【0116】
図７は、図６Ａ及び図６Ｂのセンサヘッド３０８Ａ及び３０８Ｂの、重複領域３０８Ａ－Ｂを示す図である。センサヘッド３０８Ａ及び３０８Ｂの双方は、センサヘッド３０８Ａ及び３０８ＢのそれぞれのＦＯＲでターゲット３６０を検出する。センサヘッド３０８Ａ及び３０８ＢのＦＯＲからのデータをつなぎ合わせるために、センサ３０８Ａ又は３０８Ｂからのデータセットの少なくとも一方に変換を実行しなければならない。更に、センサヘッド３０８Ａは、センサヘッド３０８Ａ及び３０８ＢのＦＯＲの違いにより、センサヘッド３０８Ｂでは観測不可能なターゲット３６０の特定の特徴を検出することができる。例えば、センサヘッド３０８Ａは、車両の全体を検出して、その車両がセミトラックであると判断することができるが、センサヘッド３０８Ｂは、車両の後端部のみを検出して、その車両がセミトラックであるか或いは遥かに小さい移動バンであるかを判断するのに十分なデータを持っていないことがある。従って、車両の自律運転に必要な検出能力、ターゲット識別、ターゲット位置判定、及び他の機能を向上させるために、データの適切な位置合わせ、及びデータ変換を決定して実行することが重要である。
【0117】
図８は、環境に関する情報を得るためにマルチセンサヘッドライダーシステム４０６が使用される、例示的なシステム４００を示している。システム４００は、車両内で動作し、車両の前方の領域に関する情報を収集してもよい。付加的に又は代替的に、システム４００は、車両の後方、車両の右側、車両の左側などの領域に関する情報を収集してもよい。ライダーシステム４０６は、例えば図１のライダーシステム１００と同様であってよく、図６Ａ、図６Ｂ、及び図７のセンサヘッド３０８Ａ及び３０８Ｂのような、複数のセンサヘッドを含んでいてもよい。複数のセンサヘッド３０８Ａ及び３０８Ｂは、図７に例示される、重複するＦＯＲ領域３０８Ａ－Ｂを有する。例示的な実施態様において、センサヘッド３０８Ａ及び３０８Ｂは、例えば、センサヘッド３０８Ａ及び３０８Ｂの視野が図６Ａ、図６Ｂ、及び図７に示された１２０度の水平視野に対応するように、車両に対して同じ向きを維持する。
【0118】
本実施例のシステム４００は、永続的及び非永続的な構成要素を有するコンピュータ可読メモリ４０２と、コンピュータ可読メモリ４０２にアクセスするように構成された１つ以上の処理ユニット（ＣＰＵ及び／又はＧＰＵなど）を含むコントローラ４０４と、を備えている。コンピュータ可読メモリは、ライダーセンサヘッド３０８Ａ及び３０８Ｂなどの１つ又は複数のセンサから画像データを取得し、その画像データに対して画像処理技術を実行するように構成された、画像処理ソフトウェア４１８を格納してもよい。更に、コンピュータ可読メモリ４０２は、ライダーシステム４０６から得られたデータセットに対してデータ変換を行うように、具体的には、ライダーシステム４０６の複数のセンサヘッド３０８Ａ及び３０８Ｂからのデータセットを結合、マージ、又は登録するための最適化された変換パラメータを決定するように構成された、変換最適化ソフトウェア４２０を格納していてもよい。コンピュータ可読メモリ４０２はまた、元のライダーピクセルデータ及び変換されたライダーピクセルデータを、データストレージ４２２に格納してもよい。本明細書で使用されるように、センサデータを結合することは、センサデータをマージすること又は登録することと称されることがある。例えば、（２つのそれぞれのセンサから取得された）センサデータの第１のセット及びセンサデータの第２のセットは、変換パラメータのセットを使用して、センサデータの第２のセットをセンサデータの第１のセットの観点（perspective）へ変換することによって結合されてもよい。データの第２のセットを変換することは、データの第１のセットに関してデータの第２のセットを登録することと称されることがある。
【0119】
動作中、ライダーシステム４０６は、例えば、１つのチャネル（図３参照）又は複数のチャネル（図４参照）に対応するスキャンパターンに従って、上述した技術を使用してピクセルを取得することができる。ライダーシステム４０６によって得られたピクセルは、以下では明確化のために「ライダーピクセル」と呼ばれることがある。一般に、ライダーシステム４０６は、スキャンフレームのＭ個のピクセルを収集し、すなわち、ライダーシステム４０６がスキャンパターン全体を横断するように収集する。例示的な実施態様では、センサヘッド３０８Ａ及び３０８Ｂの各々についてＭが５０，０００である。他の例において、センサヘッド３０８Ａ及び３０８Ｂは、異なるスキャンパターン解像度を有してもよく、例えばセンサヘッド３０８Ａが、単一のスキャンパターン中に４０，０００ピクセルを収集してもよく、センサヘッド３０８Ｂが、それぞれのセンサヘッドのＦＯＲ及びその中の潜在的検出ターゲットの優先度に依存し得る、単一のスキャンパターン中に６０，０００ピクセルを収集してもよい。
【0120】
変換最適化ソフトウェア４２０、或いは別の適切なソフトウェア、ファームウェア、又はハードウェアモジュールは、センサヘッドの１つ（例えばセンサヘッド３０８Ａ）からのライダーピクセルデータを、異なるＦＯＲを有する別のセンサヘッド（例えばセンサヘッド３０８Ｂ）からのライダーデータとより正確に位置合わせする、図９に示された方法５００を実装してもよい。便宜上、方法５００は、図８の変換最適化ソフトウェア４２０及び他の構成要素を参照して、以下に説明される。更に、変換最適化ソフトウェア４２０は、マルチセンサライダーシステム４０６のセンサを調整又はキャリブレーションする際に使用するための、最適化された変換パラメータを決定してもよい。
【0121】
ブロック５０２において、画像処理ソフトウェア４１８は、環境の第１のセンサから、環境に対応する第１のセンサデータを取得する。例えば、画像処理ソフトウェア４１８は、ライダーシステム４０６のセンサヘッド３０８Ａから、ライダーピクセルのセットを取得してもよい。具体的に、画像処理ソフトウェア４１８は、時間ｔ１１、ｔ１２、ｔ１３などにおいて、ライダーピクセルＬＰ１１、ＬＰ１２、ＬＰ１３…を取得してもよい。別の実施態様において、画像処理ソフトウェア４１８は、時間ｔ１１、ｔ１２、ｔ１３などの各々で、センサヘッド３０８Ａから複数のピクセルを取得する。
【0122】
ブロック５０４において、画像処理ソフトウェア４１８は、環境の第２のセンサから、環境に対応する第２のセンサデータを取得する。例えば、画像処理ソフトウェア４１８は、ライダーシステム４０６のセンサヘッド３０８Ｂから、ライダーピクセルのセットを取得することができる。具体的に、画像処理ソフトウェア４１８は、時間ｔ２１、ｔ２２、ｔ２３などにおいて、ライダーピクセルＬＰ２１、ＬＰ２２、ＬＰ２３…を取得してもよい。別の実施態様において、画像処理ソフトウェア４１８は、時間ｔ２１、ｔ２２、ｔ２３などの各々で、センサヘッド３０８Ｂから複数のピクセルを取得する。
【0123】
センサヘッド３０８Ａ及びセンサヘッド３０８Ｂから得られたデータのセットのライダーピクセルは、少なくとも部分的に、視野の重なりを有している。ブロック５０２及び５０４は、別々に又は同時に実行されてもよい。例えば、コントローラ４０４は、ライダーシステム６０８のセンサヘッド３０８Ａ及び第２のセンサヘッド３０８Ｂから、例えばあるインターリーブで並行してデータを受信してもよい。
【0124】
ブロック５０６において、変換最適化ソフトウェア４２０は、第１のセンサ（例えばセンサヘッド３０８Ａ）からのデータを第２のセンサ（例えばセンサヘッド３０８Ｂ）からのデータと位置合わせするための変換パラメータを決定する。更に、変換最適化ソフトウェア４２０は、第１のセンサからのデータを第２のセンサと組み合わせるための最適化された変換パラメータを識別するために、第１のセンサからのデータセットと第２のセンサのデータセットの相互情報を特定する反復技法を実行する。
【0125】
ブロック５０８において、センサヘッド３０８Ａ又はセンサヘッド３０８Ｂは、決定された最適化された変換パラメータを使用してキャリブレートすることができる。例えば、センサヘッド３０８Ａ及び／又はセンサヘッド３０８Ｂのいずれかの手動又は自動の再調整が、決定された最適化された変換パラメータに基づいて、或いは、所望の又は以前に決定された最適化された変換パラメータのセットからの、決定された最適化された変換パラメータの変更に基づいて、行われるべきだと判断される場合がある。更に、決定された最適化された変換パラメータのセットは、コントローラ４０４、図６Ａの車両コントローラ３０４、及び車両３００の自律的動作のための図６Ａの様々な構成要素３０２によって、使用されてもよい。
【0126】
図１０は、本明細書に記載の実施形態による、異なるライダーセンサからのデータを結合するための最適な変換パラメータを決定する方法６００のフロー図である。図１０の方法６００は、図９に示されたステップのいくつかをより詳細に説明し、具体的には、変換パラメータを最適化するための処理のいくつかを説明する。ブロック６０２及び６０４において、第１のライダーピクセル点群及び第２のライダーピクセル点群が、それぞれのライダーシステム、又はライダーセンサヘッドから取得される。第１及び第２のライダーピクセル点群は、それぞれのライダーシステム、又はライダーセンサヘッドの視野の重なりにより、空間データのいくつかの重なりを有している。ブロック６０６において、第１のライダーピクセル点群は、同次変換行列を適用することによって均質化され、第１のライダーピクセル点群内の各ピクセルの、三次元空間座標及び強度値を含むデータセットが生成される。結果のデータセットは、四次元データセット［Ｘ、Ｙ、Ｚ、Ｉ］であり、ここで「Ｘ」、「Ｙ」、及び「Ｚ」はライダーピクセルの三次元空間座標であり、「Ｉ」はそれぞれ、第１のライダーシステムの受信された光強度の値である。ブロック６０８において、第２のライダーピクセルデータは、同次変換行列を適用することによって均質化され、同様に、第２のライダーピクセル点群についての四次元データセット［Ｘ、Ｙ、Ｚ、Ｉ］が生成され、ここで「Ｘ」、「Ｙ」、及び「Ｚ」はライダーピクセルについての空間座標であり、「Ｉ」は第２のライダーシステムによる各ピクセルのそれぞれの受信された強度値である。
【0127】
方法６００は、最適化ループ６３０に入り、そこでは、第１及び第２のライダーセンサから受信したデータを組み合わせるため、及びライダーセンサをキャリブレートするための、最適変換パラメータを決定するために、変換パラメータ候補を使用して、均質化された第２のライダーピクセル点群に反復的に変換を実行する。ブロック６１０では、候補変換行列を使用して、第２の均質化されたピクセルデータセットを、変換された点群に変換する。候補変換行列「Ｔ」は、Ｔ＝［Ｒ｜ｔ］となるような、外部回転パラメータ「Ｒ」のセット、及び外部並進パラメータ「ｔ」のセットといった、外部変換パラメータを有してもよい。回転パラメータ「Ｒ」は、オイラー角、又は四元数として表現されることがある。例えば、変換行列は、回転変換を提供する回転四元数、及び／又は並進を提供する並進ベクトルに基づくものであってよい。四元数を用いて回転パラメータを表現することは、ジンバルロックと三次元空間における自由度の喪失とに起因する、複雑さを低減することができる。均質化された第２のライダーピクセル点群からのピクセルの、均質化された第１のライダーピクセル点群におけるピクセルへのマッピング変換は、以下によって実行することができる。
ｐｉ＝Ｋ［Ｒ｜ｔ］Ｐｉ
ここで、「ｐｉ」は均質化された第１のライダーピクセル点群におけるｉ番目の点、「Ｋ」は第１のセンサ投影行列、「Ｒ」は外部回転パラメータ、「ｔ」は外部並進パラメータ、及び「Ｐｉ」は均質化された第２のライダーピクセル点群におけるｉ番目の点である。
ｐｉ＝Ｋ［Ｒ｜ｔ］Ｐｉ
ここで、「ｐｉ」は均質化された第１のライダーピクセル点群におけるｉ番目の点、「Ｋ」は第１のセンサ投影行列、「Ｒ」は外部回転パラメータ、「ｔ」は外部並進パラメータ、及び「Ｐｉ」は均質化された第２のライダーピクセル点群におけるｉ番目の点である。
【0128】
最適化ループ６３０の第１の反復中にピクセルデータセットへ適用される初期変換パラメータは、前に決定された最適化された変換値のセットに基づいて、ユーザ入力値によって決定されてもよく、或いは、ピクセル点群の第１及び第２のセットのおおよその視野の重なりを見つけるように構成された、プロセッサ又はシステムによって決定されてもよい。
【0129】
変換された点群が生成された後、ブロック６１２及び６１４において、投影マスクが、均質化された第１のライダーピクセル点群、及び変換された点群に適用されて、マスクされた第１の点群及びマスクされた変換された点群が生成される。
【0130】
ブロック６１６及び６１８において、マスクされた第１の点群及びマスクされた変換された点群の、一次元ヒストグラムが決定される。一次元ヒストグラムは、例えば、ヒストグラムデータを平滑化するための平滑化パラメータなど、様々なパラメータを決定するために使用されてもよい。
【0131】
ブロック６２２では、ジョイントヒストグラムが生成され、ブロック６２３において、第１及び第２のデータセットから形成されたジョイントヒストグラムにガウシアンぼかしが適用される。実施形態では、更なる処理のためにジョイントヒストグラム内の潜在的なノイズを低減するように、ガウシアンぼかし以外の様々な平滑化フィルタが、ジョイントヒストグラムに適用されてもよい。ジョイントヒストグラムは、第１のセンサのＦＯＲと第２のセンサのＦＯＲとの間の重複領域について、第１及び第２のデータセットから決定されてもよい。ジョイントヒストグラムは、値の二次元グリッドを含んでもよく、そのグリッドの各軸は、センサの１つからの強度又は深度データに対応する（例えば、カメラデータの場合、軸が強度に対応してもよく、ライダーデータの場合、軸が強度及び／又は深度に対応してもよい）。更に、グリッドの各値は、２つのセンサからのデータの対応するサンプルペアが、重複領域で発生又は観察される確率（又は回数）を表す。例えば、グリッド値は、データの特定のサンプルペアが発生する回数のカウントを含んでもよく、カウント値が、カウント値をグリッド内のカウント値の総数で割ることによって、ジョイント確率値（例えば、ｐｘｙ（ｘ，ｙ））へ変換されてもよい。ブロック６２４において、２つのデータセットの相互情報が、ジョイントヒストグラムから決定される。２つのデータセットの相互情報は、２つのデータセットが共有するデータのおおよその量の尺度であり、従って、処理された第１及び第２のセットのライダーピクセル点群のジョイントヒストグラムの相互情報は、第１及び第２のライダーピクセル点群の空間的重なりの量を決定するために使用され得る尺度の１つである。更に、相互情報は、本明細書に記載されるような点群変換のための最適化されたパラメータを決定するために使用されてもよい。例えば、より高い相互情報値をもたらす変換は、第１のライダーピクセル点群及び変換されたピクセル点群のより良い空間的重なりを示し、これは、本明細書に記載されるように、自律型車両動作を可能にするように複数のセンサからのデータを組み合わせるために、或いはセンサのキャリブレーションのために必要である。
【0132】
２つのデータセットの相互情報は、２つのデータセットのエントロピーを独立して求めることによって算出することができ、
Ｈ（Ｘ）＝－Σｘ∈ＸｐＸｌｏｇｐＸ（ｘ）
Ｈ（Ｙ）＝－Σｙ∈ＹｐＹｌｏｇｐＹ（ｙ）
ジョイントヒストグラムからデータの２つのセットのジョイントエントロピーを決定すると、
Ｈ（Ｘ，Ｙ）＝－Σｘ∈ＸΣｙ∈ＹｐＸｐＹｌｏｇｐＸＹ（ｘ，ｙ）
そして総和を実行すると、
ＭＩ（Ｘ，Ｙ）＝Ｈ（Ｘ）＋Ｈ（Ｙ）－Ｈ（Ｘ，Ｙ）
ここで、「Ｘ」は第１の処理されたライダーピクセル点群のヒストグラムからのデータであり、「Ｙ」は第２のライダーピクセル点群からの処理された変換された点群のヒストグラムからのデータであり、「Ｈ」は所与のデータセットについてのエントロピーであり、「ＭＩ」は相互情報値である。
Ｈ（Ｘ）＝－Σｘ∈ＸｐＸｌｏｇｐＸ（ｘ）
Ｈ（Ｙ）＝－Σｙ∈ＹｐＹｌｏｇｐＹ（ｙ）
ジョイントヒストグラムからデータの２つのセットのジョイントエントロピーを決定すると、
Ｈ（Ｘ，Ｙ）＝－Σｘ∈ＸΣｙ∈ＹｐＸｐＹｌｏｇｐＸＹ（ｘ，ｙ）
そして総和を実行すると、
ＭＩ（Ｘ，Ｙ）＝Ｈ（Ｘ）＋Ｈ（Ｙ）－Ｈ（Ｘ，Ｙ）
ここで、「Ｘ」は第１の処理されたライダーピクセル点群のヒストグラムからのデータであり、「Ｙ」は第２のライダーピクセル点群からの処理された変換された点群のヒストグラムからのデータであり、「Ｈ」は所与のデータセットについてのエントロピーであり、「ＭＩ」は相互情報値である。
【0133】
相互情報を決定するためのこのプロセスは、ジョイントヒストグラムの値に確率的手法を適用することと称されることがあり、確率的手法は、最尤推定（ＭＬＥ）を含むこと、又は最尤推定と称されることがある。相互情報値は、データセット「Ｘ」及び「Ｙ」が完全に独立したデータセットであることを示す０という値から、値が増加するとデータセットがより多くの情報を共有している（すなわち、第１の点群及び変換点群におけるピクセルが三次元空間における同じ点からの情報を表す）ことを示す、１より遥かに大きい値までの範囲であり得る。実施形態において、相互情報は、相互情報の最大値を設定するために正規化された値であってよい。いくつかの実施形態において、相互情報値は、ピクセルの空間座標のセット（すなわちＸ、Ｙ、及びＺ）に適用される第１の重みと、ピクセルの強度値（すなわち値Ｉ）に適用される第２の重みとで重み付けされてもよい。例えば、空間座標及び強度値には、両方のタイプのデータが変換パラメータに等しい影響を有するように、等しい重みを与えることができる。別の例として、強度値は、強度値が変換パラメータに与える影響が小さくなるように、低い重み（例えば、空間座標の重みの２分の１）を与えることができる。強度値に低減された重みを適用することは、例えば、一方のセンサに鏡面反射があるが、他方のセンサは散乱光のみを受信する場合（同じ物体に対して異なる強度値を生成し得る）といった、変則的な場合に役立つことがある。任意の実施形態において、相互情報の測定は、複数のライダーセンサからの点群データを結合するための最適化された変換パラメータを決定するため、及びマルチセンサシステムにおけるセンサをキャリブレートするための、有用なメトリックである。
【0134】
方法６００は、更に相互情報コストを決定してもよい。相互情報コストは、相互情報値、重み付けされた相互情報値、又はスケーリングされた相互情報値の負（negative）である。更に、現在の相互情報値又はコストと、方法６００の最適化手法の前の反復からの相互情報値又はコストとの間の、差分が計算されてもよい。最初の反復については、相互情報差を計算するための前に決定された相互情報値がないため、相互情報差は計算されなくてもよい。或いは、初期の相互情報差は、予め定義された値であってもよく、最初の反復のための相互情報差は、初期の相互情報値、及び最適化ループ６３０の最初の反復によって決定された現在の相互情報値を使用して決定することができる。
【0135】
ブロック６２６において、方法６００は、１つ以上の終了条件が満たされているか否かを判断する。１つ以上の終了条件が満たされている場合、本方法は終了となり、最適化された変換パラメータが、メモリに格納され、プロセッサ又はコントローラへ通信され、或いは、無線通信、ハードワイヤード通信、若しくは他のネットワークや通信インタフェースを介して、外部デバイスやシステムへ通信される。ブロック６２６において、１つ以上の終了条件が満たされていないと判断された場合は、ブロック６２８において、外部変換パラメータ候補（すなわち、回転及び並進変換パラメータ）が更新され、ブロック６１０において、均質化された第２のライダーピクセル点群が、更新後の変換パラメータ候補により変換される。本方法は、ブロック６２６において、１つ以上の終了条件が満たされるまで、変換パラメータを反復的に更新して相互情報値を決定する最適化ループ６３０を繰り返す。
【0136】
実施形態において、１つ以上の終了条件は、ある相互情報値（例えば、１、１０、２０、５０、１００などの相互情報値）の達成、最小相互情報コスト閾値（例えば、１未満、－１未満、－１０未満、－２０未満などのコスト閾値）の達成、現在の反復の相互情報値と前の反復の相互情報値との差（例えば、５未満、１未満、０．５未満、０．１未満、０．０５未満、０．０１未満などの差分閾値）の達成、現在の反復のコスト値と前の反復のコスト値との差（例えば、５未満、１未満、０．５未満、０．１未満、０．０５未満、０．０１未満などの差分閾値）の達成、最適化ループ６３０の反復回数（例えば、１０反復、１００反復、１０００反復など）の実行、或いは別の終了条件を含むことができる。更に、実施形態において、外部パラメータは、決定された値により現在の反復の外部変換パラメータを摂動（perturbing）させることによって、更新されてもよい。例えば、現在のパラメータは、加重ガウス分布、ポアソン分布、指数分布、又は別の確率分布や確率密度関数から、ランダムに生成された値によって、シフト又はスケーリング（すなわち、加算又は乗算）されてもよい。例において、変換パラメータは、現在の変換パラメータ値の割合によって摂動されてもよく、例えば、変換パラメータは、１％、５％、８％、１０％、又は１５％、或いは現在の変換パラメータ値によって摂動されてもよい。更に、更新された外部パラメータは、勾配降下アルゴリズム（例えば、バルジライ－ボールウェイン法）、或いは勾配なしの方法（例えば、ネルダー－ミード最適化）により決定されてもよい。
【0137】
実施形態において、摂動のタイプ及び摂動の量又は割合は、現在の相互情報値、相互情報コスト、現在の反復のコスト値と前の反復のコスト値との差、或いは現在の反復の相互情報値と前の反復の相互情報値との差によって決定されてもよい。例えば、連続する２つの反復間の相互情報値の差が１０より大きい場合、変換パラメータを１５％摂動させることが望ましい場合がある。また、その後の反復では、最適化処理の２つの反復間の相互情報量の差が減少することにより、摂動を５％に低減することが望ましいと判断される場合がある。最適化中に摂動を動的に変更することは、最適化時間を減少させ、決定された最適化された変換パラメータのより大きな相互情報値を可能にし、最適化中の反復間の相互情報値のより小さな差を可能にし得る。
【0138】
図１１Ａ及び図１１Ｂは、２つのライダーセンサの視野が空間的にオフセットされている、２つの独立したライダーセンサから受信した２つのライダー点群を表す画像である。図１１Ａは、第１のセンサのライダー点群を点線で示し、第２のセンサのライダー点群を破線で示している。点線及び破線で示されているが、図１１Ａの２つのライダー点群は、ライダー点群からのピクセルの集合を示すものであり、図１１Ａに示される提示された点線及び破線ではないことを理解すべきである。図１１Ａは、２つのセンサが三次元空間の同様の領域を検出することを示すものである。具体的に、対応する特徴７０２ａと７０２ｂ、及び７０４ａと７０４ｂは、第２のライダーセンサが、第１のライダーセンサによる特徴７０２ａ及び７０４ａの検出と比較して、僅かに右側に、そしてわずかに時計回りに角度をつけて、特徴７０２ｂ及び７０４ｂを検出する視野を有することを示している。
【0139】
図１１Ｂは、図９の方法５００又は図１０の方法６００のような変換最適化処理が、２つのライダー点群に対して実行された後の、図１１Ａに示された２つのライダー点群を示している。図１１Ａ及び図１１Ｂの点群、及び特徴７０２ａ、７０２ｂ、７０４ａ、７０４ｂを比較すると、変換最適化が行われた後の第１のライダー点群（点線）と第２のライダー点群（破線）とが、より重なっている（すなわち、点群間の相互情報がより大きい）ことが明らかである。その後、図１１Ｂに例示された２つの点群は、自律走行アプリケーションや、三次元空間における特徴及びターゲットの空間的検出を必要とする任意のアプリケーションにおいて、使用するために結合することができる。更に、後続の点群に関連する健全スコアを経時的に追跡することによって、第１又は第２のセンサのうちの１つが再調整、すなわち物理的調整を必要とすると判定されてもよい。例えば、左前のヘッドライトと右前のヘッドライトとにそれぞれ配置された第１及び第２のライダーセンサを有する自動車が、他の自動車のバンパーに衝突することがある。衝突の力と位置によっては、衝突によって第２のセンサが物理的に移動し、その視野が角度的及び／又は並進的に変化する可能性がある。その後、変換最適化が実行され、第２のセンサが許容可能な視野からシフトしたと判断され、更に第２のセンサを手動（例えば、整備士、技術者、車両の所有者、又は他のエージェントによって）又は自動（例えば、コントローラによって制御されるアクチュエータ及びモータによって）で物理的に調整する必要があると判断される場合がある。
（ライダーデータ及びカメラデータを結合するための変換パラメータの最適化）
（ライダーデータ及びカメラデータを結合するための変換パラメータの最適化）
【0140】
図１２は、カメラ８０６がライダーシステム８０８と協働して環境に関する情報を取得する、例示的なシステム８００を示している。システム８００は、車両内で動作し、車両の前方の領域に関する情報を収集してもよい。付加的又は代替的に、システム８００は、車両の後方、車両の右側、車両の左側などの領域に関する情報を収集してもよい。ライダーシステム８０８は、例えば、図１のライダーシステム１００と同様であってよい。カメラ８０６は、視野内の受動的光信号を捕捉する任意の好適なカメラとすることができる。例えば、カメラ８０６は、視野内の様々なターゲットにより反射された周囲光を検出することによって、一度に７６８×１０２４のピクセルアレイを捕捉することができる。光パルスを放射し、これらの放射された光パルスの反射を検出することによって、一度に比較的小さなピクセルのセットしか得られないライダーシステムとは異なり、カメラ８０６は、一度に多数のピクセルを捕捉することができる。例示的な実施態様において、カメラ８０６は、例えば、カメラ８０６の視野が車両前方の１２０×６０度の視野に対応するように、車両に対して同じ向きを維持する。
【0141】
この例のシステム８００は、永続的及び非永続的な構成要素を有するコンピュータ可読メモリ８０２と、コンピュータ可読メモリ８０２にアクセスするように構成された１つ又は複数の処理ユニット（ＣＰＵ及び／又はＧＰＵなど）を含むコントローラ８０２と、を備えている。コンピュータ可読メモリ８０２は、適切な画像処理技術を使用して種々のタイプのオブジェクトを検出及び識別するように構成された、画像処理ソフトウェア８１８を格納しても良い。画像処理ソフトウェア８１８は、１つ又は複数のプログラミング言語による命令を含んでもよいが、一般に、画像処理ソフトウェア８１８の機能は、ソフトウェア、ファームウェア、ハードウェア、又はそれらの任意の適切な組み合わせを使用して実装することができる。コンピュータ可読メモリ８０２は、ライダーシステム８０８及びカメラ８０６から得られたデータセットに対してデータ変換を実行するように構成された、変換最適化ソフトウェア８２０を格納してもよい。変換最適化ソフトウェア８２０は、複数のライダーセンサヘッドからのデータセットを結合するための図８のソフトウェア４２０と、同一又は類似のソフトウェアであってもよい。コンピュータ可読メモリ８０２はまた、ライダー点群ピクセルデータと同様に写真のシーケンスを含み得る、画像データ８２２を格納してもよい。
【0142】
図１３は、ライダーデータ及びカメラデータを組み合わせるための変換パラメータを最適化する方法８５０のフロー図である。ここで図１２及び図１３を同時に参照すると、ブロック８５２において、ライダーシステム８０８は、ライダーシステム８０８の視野を示すピクセルデータを取得することができる。動作中、ライダーシステム８０８は、例えば、１つのチャネル（図３参照）又は複数のチャネル（図４参照）に対応するスキャンパターンに従って、上述した技術を使用してピクセルを取得してもよい。ライダーシステム８０８によって得られたピクセルは、以下では明確化ために「ライダーピクセル」と呼ばれることがある。実施形態において、ライダーピクセルは、ライダーモジュール８０８によって実装されるスキャンパターンに対応するシーケンスで得られてもよい。例えば、ライダーシステムは、時間ｔ１、ｔ２、ｔ３などでライダーピクセルＬＰ１、ＬＰ２、ＬＰ３、…を取得してもよい。別の実装では、ライダーシステムは、時間ｔ１、ｔ２、ｔ３などの各々で複数のピクセルを取得してもよい。
【0143】
ブロック８５４において、カメラ８０６は、ライダーシステム８０８がライダーピクセルを得るのと同時に、あるレートで写真画像を取得することができる。一般に、カメラ８０６は、ライダーシステム８０８がスキャンフレームのＭピクセルの全てを収集する間、すなわちスキャンパターン全体を横断する間、Ｎ枚の画像を収集することができる。例示的な実施態様では、Ｍが５０，０００、Ｎは約１００である。従って、ライダーシステム８０８が５０，０００のライダーピクセルを収集する時間間隔の間に、カメラ８０６は１００枚の写真画像を収集する。写真画像は、ライダーシステム８０８の視野に少なくとも部分的に重なる。ブロック８５２及び８５４は、別々に又は同時に実行されてもよい。例えば、コントローラ８０４は、カメラ８０６及びライダーシステム８０８から、あるインターリーブで並行してデータを受信してもよい。
【0144】
実施例において、画像処理ソフトウェア８１８は、ライダーデータと画像データとの取得の違いによる、スキャンのタイミングを考慮して、ライダーピクセルと写真のピクセルとの位置合わせを行う。もちろん、カメラ８０６の解像度とライダーシステム８０８の解像度とは一致する必要はない。従って、一般に、写真画像は、ライダー点群よりも少ない、同数の、又はより多くのピクセルを含んでもよい。従って、１つのライダーピクセルが、写真画像のピクセルのクラスタ（例えば３×３）と位置合わせされてもよく、或いは逆に、ライダーピクセルのクラスタが、写真画像又は画像の１つのピクセルと位置合わせされてもよい。
【0145】
一例として、画像処理ソフトウェア８１８は、ライダーピクセルを写真画像の１つ又はいくつかのピクセルと位置合わせしてもよく、及び／又は、ピクセルを写真画像の１つ又はいくつかのピクセルと位置合わせしてもよい。例示的な実施態様では、あるライダーピクセルについて、画像処理ソフトウェア８１８は、ライダーピクセルに時間的に最も近接しているＮ枚の画像のシーケンス内の写真画像を特定してもよい。従って、例えば、画像処理ソフトウェア８１８は、スキャンパターンの中央付近で得られたライダーピクセルを、Ｎ枚の画像のシーケンスのほぼ中央で撮影された写真画像と位置合わせしてもよい。従って、画像処理ソフトウェア８１８は、結合され、時間整合されたデータセットを生成してもよい。例えば、画像処理ソフトウェア８１８は、（カメラ８０６及びライダーシステム８０８の）２つの解像度のうちの高い方に対応する配列を生成してメモリ６０２へ格納してもよく、各要素がライダーピクセル及びカメラピクセルの双方を格納する。
【0146】
例示的なシナリオにおいて、画像処理ソフトウェア８１８は、写真画像に撮影されたオブジェクトが動物であると一定の確信を持って判断し、更にライダーシステム８０８に、例えば識別に関する確信のレベルを上げるため、或いは動物までの距離を測定するために、この関心領域において一時的にスキャンを集中させるように指示する。より一般的に、画像処理ソフトウェア８１８は、識別されたオブジェクトを考慮して、スキャンパターン、パルスレート、放出パルスのパワー、レシーバにおけるゲインなどのうちの、１つ又は複数を修正することができる。別の例示的なシナリオでは、画像処理ソフトウェア８１８が、オブジェクトがおそらく人間であると判断し、ライダーシステム８０８に安全のために放出パルスのパワーを低下させるように仕向ける。更に、画像処理ソフトウェア８１８は、場合によっては、オブジェクトを識別しないが、それにも関わらず、オブジェクトがライダーシステム８０８の視野内にあると判断し、未知のタイプのオブジェクトを検出することに基づいてスキャンパターンを調節することができる。
【0147】
ブロック８５６において、画像処理ソフトウェア８１８は、写真画像からグレースケール画像を生成する。実施形態において、グレースケール画像処理は、写真カメラ又はセンサによって実行されてもよく、写真カメラ又はセンサが、画像をグレースケール画像として捕捉してもよく、或いはグレースケール画像処理は、画像処理ソフトウェア８１８を実行するプロセッサによって実行されてもよい。
【0148】
ブロック８５８において、画像処理ソフトウェア８１８は、ライダーピクセル点群を、ライダーピクセル点群内の各ピクセルについての三次元空間座標及び強度値を含むデータセットへと均質化する。結果のデータセットは、四次元データセット［Ｘ、Ｙ、Ｚ、Ｉ］であり、ここで「Ｘ」、「Ｙ」、及び「Ｚ」はライダーピクセルについての三次元空間座標であり、「Ｉ」はライダーシステムのそれぞれの受信された光強度の値である。
【0149】
方法８００は、ライダー及び写真カメラからのデータを組み合わせるための、並びにライダー及び写真画像センサをキャリブレートするための、最適変換パラメータを決定するために、変換パラメータ候補を用いて、変換を反復的に実行する最適化ループ８６０に入る。ブロック８６２において、ライダーデータは、図１０を参照して上述したように、候補変換行列Ｔ＝［Ｒ｜ｔ］に従って変換される。ブロック８６４では、変換された点群に投影マスクが適用される。
【0150】
ブロック８６６及び８６８では、グレースケール画像データ及びマスクされたライダーデータについて、それぞれ一次元及び二次元ヒストグラムが決定される。ブロック８７２において、ジョイントヒストグラムが生成され、ブロック８７３では、第１及び第２のデータセットから形成されたジョイントヒストグラムにガウシアンぼかしが適用されて、ヒストグラムデータのノイズ及び高周波コンテンツが低減される。実施形態では、更なる処理のために、ジョイントヒストグラムの潜在的なノイズを低減するように、ガウシアンぼかし以外の異なる平滑化フィルタが、ジョイントヒストグラムに適用されてもよい。ブロック８７４では、図１０を参照して説明したように、２つのデータセットの相互情報が、ジョイントヒストグラムから決定される。方法８００は、更に、相互情報コストを決定してもよい。相互情報コストは、相互情報値、重み付けされた相互情報値、又はスケーリングされた相互情報値の負である。更に、現在の相互情報値又はコストと、方法８００の最適化手法の前の反復からの相互情報値又はコストとの間の、差分が計算されてもよい。最初の反復については、相互情報差を計算するための前に決定された相互情報値がないため、相互情報差が計算されなくてもよい。或いは、初期の相互情報差が、予め定義された値であってもよく、最初の反復についての相互情報差は、初期の相互情報値、及び最適化ループ８６０の最初の反復によって決定された現在の相互情報値を使用して、決定されてもよい。
【0151】
ブロック８７６において、方法８００は、１つ以上の終了条件が満たされているか否かを判断する。１つ以上の終了条件が満たされている場合、方法８００は最適化ループ８６０を終了し、方法８００が終了となり、最適化された変換パラメータが、メモリに格納され、プロセッサ又はコントローラに通信され、或いは、無線通信、ブルートゥース（登録商標）通信、ハードワイヤード通信、又は他のネットワーク若しくは通信インタフェースを介して、外部デバイス若しくはシステムに通信される。ブロック８７６において、１つ以上の終了条件が満たされていないと判断された場合、ブロック８７８において、外部変換パラメータ（すなわち、回転及び並進変換パラメータ）が更新され、ブロック８６２において、均質化ライダーピクセル点群が、更新された変換パラメータ候補によって変換され、最適化ループ８６０の別の反復が実行される。最適化ループ８６０は、ブロック８７６において１つ以上の終了条件が満たされるまで、変換パラメータ候補の更新及び相互情報値の決定を反復して行う。
【0152】
実施形態において、１つ以上の終了条件は、ある相互情報値（例えば、１、１０、２０、５０、１００などの相互情報値）の達成、最小相互情報コスト閾値（例えば、１未満、－１未満、－１０未満、－２０未満などのコスト閾値）の達成、現在の反復の相互情報値と前の反復の相互情報値との間の差（例えば、５未満、１未満、０．５未満、０．１未満、０．０５未満、０．０１未満などの差分閾値）の達成、現在の反復のコスト値と前の反復のコスト値との間の差（例えば、５未満、１未満、０．５未満、０．１未満、０．０５未満、０．０１未満などの差分閾値）の達成、最適化ループ６３０の反復回数（例えば、１０反復、１００反復、１０００反復など）の実行、又は別の終了条件を含むことができる。
【0153】
実施形態において、外部パラメータは、現在の反復の外部変換パラメータを、決定された値によって摂動させることによって更新されてもよい。例えば、現在のパラメータは、加重ガウス分布、ポアソン分布、指数分布、或いは別の確率分布や確率密度関数から、ランダムに生成された値によって乗算されてもよい。例において、変換パラメータは、現在の変換パラメータ値の割合によって摂動されてもよく、例えば、変換パラメータが、１％、５％、８％、１０％、又は１５％、或いは現在の変換パラメータ値によって摂動されてもよい。
【0154】
実施形態において、摂動のタイプ及び摂動の量や割合は、現在の相互情報値、相互情報コスト、現在の反復のコスト値と前の反復のコスト値との差、或いは、現在の反復の相互情報値と前の反復の相互情報値との差によって決定されてもよい。例えば、連続する２つの反復の相互情報値の差が１０より大きい場合、変換パラメータを１５％摂動させることが望ましい場合がある。また、その後の反復では、最適化処理の２つの反復処理間の相互情報値の差が減少することにより、摂動を５％に低減することが望ましいと判断される場合がある。最適化中に摂動を動的に変更することは、最適化時間を減少させることができ、決定された最適化された変換パラメータのより大きな相互情報値を可能にし、最適化中の反復間の相互情報値の差をより小さくすることを可能にし得る。
【0155】
図１４Ａ、図１４Ｂ、及び図１４Ｃは、写真画像、ライダー点群、及び、ライダー点群変換の最適化後の、写真画像と変換されたライダー点群とを組み合わせた結果画像の図である。図１４Ａの特徴９０２ａと図１４Ｂの同じ特徴９０２ａとの位置の違いから、写真カメラとライダーシステムとが異なる視野を有していることが明らかである。更に、図１４Ａの特徴の大きさと図１４Ｂの特徴の大きさとは異なっている。図１４Ｃは、変換パラメータの最適化が行われた後の（例えば、図１３を参照して説明した最適化方法によって）、ライダーデータと写真データとの組み合わせを示している。ライダーデータ（点線）は、画像データの特徴に合うように変換されている。
【0156】
ライダーとカメラデータとの正確なマッピング及び組み合わせにより、カメラデータを用いたターゲット識別と、ライダーデータを用いた距離情報とを、自動車へのフィードバックに、より具体的には、自動車の自律的な操作を可能にするために使用することができる。同様に、自動車の手動運転をより良く支援するために、結合されたデータが自動車のユーザへ提供されてもよい。更に、図１３の方法８００は、自動車に関連する１つ又は複数のセンサをキャリブレートすることを支援してもよい。図１１Ａ及び図１１Ｂを参照して説明したように、車両に関連するセンサは、車両又はセンサの衝突、運転に関連する振動と力とによるシフト、或いは多数の他の理由などの多くの要因によって、時間と共に物理的にシフトする可能性がある。そのため、最適化された変換パラメータも、センサの視野の変化により、時間の経過と共に変化する可能性がある。最適化された変換パラメータが閾値に達し、センサの物理的なキャリブレーションが必要であると判断されることがある。その後、センサからのデータは、車両のユーザに対する情報提供のための使用について、或いは車両の自律的な動作の実現のための使用について、無効であると判断されてもよい。更に、センサの物理的キャリブレーションは、手動（例えば、整備士、技術者、車両のユーザ、又は他のエージェントによる）で、或いは自動（例えば、コントローラ及びアクチュエータ、モータ、又は他の物理的調整器による）で実行されてもよい。
（追加のオプション及び実施形態）
（追加のオプション及び実施形態）
【0157】
変換パラメータ及び最適化方法は、複数のライダーセンサからのライダーデータの組み合わせ、又はライダーデータの写真カメラデータとの組み合わせに関連して、本明細書で説明されてきたが、本明細書に記載された方法及びシステムは、重複する視野を有する任意の２つのセンサからのデータセットを組み合わせるのに有用であり得る。例えば、データの他の組み合わせは、ライダーデータと赤外線データ、写真画像データとレーダデータ、或いは関心領域の空間的視野を示す他のタイプのデータを、組み合わせることを含み得る。更に、本明細書に開示される最適化技術は、重複する視野を有するセンサから得られる、ライダーデータ、写真画像データ、レーダデータ、赤外線データ、ＧＰＳデータ、近赤外線データ、及び／又は超音波データの、いずれかの組み合わせを含む２以上のデータセットの組み合わせに有用であり得る。
【0158】
本明細書に記載された方法及びシステムは、センサシステムの２つ以上のセンサをキャリブレートするためにも有用であり得る。そのような実施形態では、複数のセンサからのデータ、又はデータのサブセット（例えば、センサの重複領域に含まれるデータのみ）が、センサのキャリブレーションのために複数の投影平面に投影され得る。例えば、車両は、それぞれがセンサシステムの少なくとも１つの他のセンサと視野の重なりを有する、５つのセンサ（例えば、図６Ａ及び図６Ｂに図示される車両）を有してよい。本明細書に記載されるような変換最適化及びキャリブレーションは、視野の重複領域を有する隣接する一対のセンサの各々に対して実行されてもよい。更に、５つのセンサ全てからの変換されたデータセットの組み合わせは、センサシステムの３６０度の視野を可能にし得る。２つ以上のセンサを採用する実施形態では、センサの１つがマスターセンサとして指定されてもよく、他のセンサからのデータセットが全てマスターセンサの基準フレームに変換されてもよい。例えば、センサ３０８Ａがマスターセンサとして指定されてもよく、センサ３０８Ｂからのデータ又はデータのサブセットをセンサ３０８Ａの基準フレームに変換するための、最適化された変換パラメータＴＡ
Ｂを決定するために、本明細書に記載の最適化及びキャリブレーション技術が実行されてもよい。すなわち、Ｐ´Ｂ＝［ＴＡ
Ｂ］ＰＢであり、ここでＰＢはセンサ３０８Ｂからの元のデータ、ＴＡ
Ｂはセンサ３０８Ｂの基準フレームからセンサ３０８Ａの基準フレームへの最適変換、及びＰ´Ｂは変換されたデータである。
【0159】
続いて、センサ３０８Ｃの最適な変換パラメータは、最初にセンサ３０８Ｃからのデータをセンサ３０８Ｂの基準フレームに変換し、次に３０８Ｂの基準フレームからセンサ３０８Ａの基準フレームへの変換を実行することによって決定されてもよい。すなわち、Ｐ´Ｃ＝［ＴＡ
Ｂ］［ＴＢ
Ｃ］ＰＣとなり、ここでＰＣはセンサ３０８Ｃからの元のデータ又はデータのサブセット、ＴＢ
Ｃはセンサ３０８Ｃの基準フレームからセンサ３０８Ｂの基準フレームへの最適変換、Ｐ´Ｃは変換されたデータである。更に、視野の複数の重複領域は、５つのセンサ３０８Ａ～Ｅのキャリブレーションをチェックするために使用されてもよい。例えば、センサ３０８Ｄからのデータ又はデータのサブセットを、センサ３０８Ｃの参照フレーム、及び３０８Ｂの参照フレームを通る変換を介して、センサ３０８Ａの参照フレームに変換すると、センサ３０８Ｂからのデータをセンサ３０８Ｅの参照フレームを介してセンサ３０８Ａの参照フレームに変換するのと、同じ変換データを生じるはずである。すなわち、変換［ＴＡ
Ｂ］［ＴＢ
Ｃ］［ＴＣ
Ｄ］は、［ＴＡ
Ｅ］［ＴＥ
Ｄ］にほぼ等しくなるべきである。複数の変換を通じて複数のキャリブレーションを実行する能力は、マルチセンサシステムにおけるセンサのより堅牢なキャリブレーション、より正確なキャリブレーションを可能にし、マルチセンサシステムにおけるセンサの故障を検知する複数の方法を提供する。
【0160】
実施形態において、重複領域は、画像処理を通じて、予め定義された手段を通じて、ユーザ入力を通じて、又は別のシステムによって決定されてもよい。次いで、本明細書に記載される変換最適化方法は、重複領域内のピクセルを表す各センサからのデータに対してのみ実行されてもよい。そのような実施形態は、最適化を実行するための処理時間を短縮することができ、最適化に専念する計算資源を削減することができ、及び／又は最適化を実行するためのシステムのメモリ要件を削減することができる。
【0161】
実施形態において、センサによって得られたデータは、何も動いていない静的な環境で捕捉された静的データ又は「スナップショット」を含んでもよい。他の実施形態において、動的データは、車両が動いている間、又はセンサの視野内の物体や観察された環境が動いている間、センサによって捕捉されてもよい。物体が移動する実施形態では、本明細書に記載の変換最適化技術の実行前に、移動物体が、画像データ（例えば、写真画像データ、ライダーピクセルデータなど）から識別され、除去されてもよい。移動物体を識別するために、ライダーセンサ又はカメラの速さ又は速度を考慮して、どの識別された物体が実際に静止しているか（例えば、駐車された車、標識、道路、柵、木など）、及びどの物体が動いているか（例えば、交通、動物など）を判断してもよい。
【0162】
動的環境において又は移動する車両からデータを捕捉することは、「スマートシーン選択」と呼ばれることがあり、これは、画像を捕捉し、本明細書に記載のセンサキャリブレーション及び最適化方法に使用するための画像の一部、又はシーンを選択することを含むことがある。スマートシーン選択は、複数のセンサを有する車両が、停止しているとき（例えば、駐車されているとき、信号待ちのとき、停止標識のときなど）のみ実行されてもよい。更に、スマートシーン選択は、シーン内のオブジェクトの大部分が、さびれた道路上の森林で運転しているとき、又は交通や歩行者の動きがほとんどない夜間の道路に沿っているときなどの、静的であるときに実行されてもよい。
【0163】
ライダー対カメラキャリブレーション、又は写真画像データを含む任意の変換最適化について、スマートシーン選択は、影が本明細書に記載されるようなピクセルの識別及びマッピングを複雑にする可能性があるので、画像内にほとんど又は全く影がないときにデータを取り込むことを含むことができる。スマートシーン選択は、捕捉されたデータのコスト値を決定することによって実施されてもよい。例えば、コスト値は、シーン内の移動物体の数の識別、シーン内の静止物体の数の識別、シーン内の鏡面反射の量の決定などのいずれかを含む、１つ以上の要因の重み付けによって決定されてもよい。動的データの補足及びスマートシーン選択を実行することは、センサシステム内のセンサのキャリブレーションをいつでも実行することを可能にし、静止物体及び移動物体の双方を含み得るより多様なシーンからのデータの捕捉を可能にすることができる。
【0164】
いくつかの実施形態において、スマートシーン選択は、第１及び第２のセンサから受信されたセンサデータ間の相関の量に基づいて実装されてもよい。センサデータ間の相関が高く、２つのセンサからのデータが良好な情報重複量を有する（例えば、データの両方のセットが類似の特徴又はオブジェクトを含む）ことを示す場合に、センサデータがキャリブレーション処理において使用されてもよい。そうではなく、２つのセンサからのデータが良好な相関を有していない場合に、そのデータが拒絶され、キャリブレーション処理において使用されなくてもよい。２つのセンサから受信されたセンサデータ間の相関は、センサデータの２つのセット間の相関又は情報の重複の量を定量化する相関スコアに基づいてもよい。相関スコアは、任意の適切な技法を用いて決定することができる。例えば、相関スコアは、０から１までの値を有し得る正規化情報距離（ＮＩＤ）に基づくことができる。センサデータの２つのセット間の相関スコアは、２つのデータセット間の類似の度合いを表してもよい。例えば、２つのデータセットは、各データセットが１つ以上の同じオブジェクトを含む場合、比較的高い相関スコア（例えば、０．７を超えるスコア）を有してもよい。センサデータの２つのセットは、キャリブレーションにおける誤差が明らかになるように異なる視点から観察された同じオブジェクトを含むことができ、そのデータの２つのセットは、比較的高い相関スコアを有する場合がある。また、各データセットの異なる視点が、２つのデータセットに含まれる情報間に何らかの差分を生じさせる可能性があるため、相関スコアは１未満であってもよい。センサデータの２つのセットの間の相関スコアが特定の閾値（例えば０．７）よりも大きい場合に、センサデータがキャリブレーション処理において使用されてもよい。
【0165】
本明細書で説明するキャリブレーション処理は、データの単一フレーム又はデータの複数フレームを使用して適用することができる。例えば、図１０に示されるライダー対ライダーキャリブレーションプロセスは、２つのセンサの各々から受信されたライダーデータの単一の点群を使用して、キャリブレーションを実行してもよい。或いは、２つのセンサの各々からのライダーデータの複数の点群を使用して、キャリブレーションを実行してもよい。複数の点群は、ライダーセンサが動作している間の異なる時間に得られた点群を含んでもよい。付加的又は代替的に、複数の点群は、点群データの複数の投影（例えば、２つ以上の投影平面に投影される単一の点群からのデータ）を含んでもよい。データの複数のフレームを使用するキャリブレーション処理については、データフレームが別々に分析されてもよく（例えば、ジョイントヒストグラム及び相互情報の対応する値が、２つのセンサからの一対のデータフレームの各々について決定されてもよい）、或いはデータフレームが結合されて一緒に分析されてもよい（例えば、データの全てのフレームに対応する単一のジョイントヒストグラムが生成され、相互情報についての１つの対応する値が単一のジョイントヒストグラムから決定されてもよい）。
【0166】
変換パラメータのセットが決定されると、２つ以上のセンサから受信された後続のセンサデータを、変換パラメータを使用して一緒に重ね合わせる又は結合することができる。いくつかの実施形態において、変換されたセンサデータの健全スコアは、センサの健全性又は性能を測定又は監視するために使用することができる。時間の経過と共に、又は周囲温度の変化と共に、センサのキャリブレーションが劣化する場合があり（例えば、センサ内の光学部品のわずかな移動や不整列に起因して）、或いは、変換パラメータがもはやデータをうまく重ね合わせない場合がある（例えば、センサ内の部品の粗動、故障、又は破損に起因して）。２つ以上のセンサから受信したデータがどの程度うまく重なっているかに対応する健全スコアを判定することによって、センサの健全性や性能を監視することができる。健全スコアは、相互情報のメトリック、コスト値、又はＮＩＤ値のうちの１つ以上に基づいてもよく、健全スコアは、データの第１のセットと変換されたデータの第２のセットとから判定されてもよい。変換パラメータのセットを使用して変換を実行した後、健全スコア（例えば、相互情報のメトリック）が決定されてもよく、健全スコアが特定の閾値より大きい或いは小さい場合に、センサは再キャリブレーション、整備、又は修理が必要な可能性がある。例えば、データの第１のセットと変換されたデータの第２のセットとの間の相互情報のメトリックが再キャリブレーション閾値より小さい場合、これはセンサが再キャリブレーションされる必要があることを示すことができる。変換パラメータの新しいセットを決定する必要があることを示す通知が送信されてもよい。別の例として、相互情報のメトリックが臨界閾値より小さい場合（例えば、臨界閾値が再キャリブレーション閾値より小さい場合）、これは、センサシステムに問題があること（例えば、部品が壊れた或いは移動した）を示す可能性がある。この場合は、センサに整備又は修理が必要であることを示す通知が送信されてもよい。更に、整備又は修理が行われるまで、センサシステムがシャットダウンされるか、又はサービスから外されてもよい。
【0167】
実施形態において、キャリブレーションは、本開示でマルチビュー投影と呼ばれる、異なる投影面を有する複数のライダーセンサからのセンサデータを使用して、実行される場合がある。マルチビュー投影は、トップダウン投影、正面投影、及び／又は側面投影を有する、ライダーデータセットを含んでもよい。２つ以上の異なる投影面からのライダーデータにより、センサの整列／不整列のより良い検出、及びセンサが再キャリブレートされるべきか否かの判断が可能になる場合がある。単一ビュー投影のキャリブレーションは、視野内のオブジェクトの特定の寸法に依存する空間データの特定の詳細を、最小化又は非強調化することができる。例えば、正面投影から見た物体の横方向の僅かなズレは、上面投影や側面投影で見た場合の同じズレほど明らかでない場合がある。複数の投影を行うことで、物体を複数の視点から見ることができ、キャリブレーションのために収集及び分析される潜在的に異なる情報が提供される。マルチビュー投影を行うことで、１つの視点だけでは見逃されたり、強調されなかったりするようなデータのズレを検出することができる。マルチビュー投影のキャリブレーションは、三次元データセット（ｘ、ｙ、ｚ）が利用可能なライダー対ライダーセンサに有効であると考えられる。
（一般的な考慮事項）
（一般的な考慮事項）
【0168】
いくつかのケースにおいて、本明細書に開示される様々なモジュール、回路、システム、方法、又はアルゴリズムステップを実装するために、コンピューティングデバイスを使用することができる。一例として、本明細書に開示されるモジュール、回路、システム、方法、又はアルゴリズムの全て又は一部は、汎用のシングル又はマルチチッププロセッサ、デジタル信号プロセッサ（ＤＳＰ）、ＡＳＩＣ、ＦＰＧＡ、任意の他の適切なプログラマブルロジックデバイス、離散ゲート又はトランジスタロジック、離散ハードウェアコンポーネント、或いはこれらの任意の適切な組み合わせによって実装又は実行されてもよい。汎用プロセッサは、マイクロプロセッサ、或いは、従来のプロセッサ、コントローラ、マイクロコントローラ、又はステートマシンのいずれであってもよい。プロセッサは、例えば、ＤＳＰとマイクロプロセッサの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアと組み合わせた１つ以上のマイクロプロセッサ、又は他の任意のそのような構成などの、コンピューティングデバイスの組み合わせとして実装することもできる。
【0169】
特定の実施形態において、本明細書に記載された内容の１つ以上の実装は、１つ以上のコンピュータプログラム（例えば、コンピュータ可読非一過性記憶媒体に符号化又は格納された、コンピュータプログラム命令の１つ以上のモジュール）として実装されてもよい。一例として、本明細書に開示される方法又はアルゴリズムのステップは、コンピュータ可読非一過性記憶媒体に常駐し得るプロセッサ実行可能ソフトウェアモジュールに実装されてもよい。特定の実施形態では、コンピュータ可読非一過性記憶媒体が、コンピュータソフトウェアを格納又は転送するために使用され、コンピュータシステムによってアクセスされ得る、任意の適切な記憶媒体を含んでもよい。ここで、コンピュータ可読非一過性記憶媒体又はメディアは、１つ又は複数の半導体ベースの又は他の集積回路（ＩＣ）（例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又は特定用途向けＩＣ（ＡＳＩＣ）など）、ハードディスクドライブ（ＨＤＤ）、ハイブリッドハードドライブ（ＨＨＤ）、光ディスク（例えば、コンパクトディスク（ＣＤ）、ＣＤ－ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）、ブルーレイディスク、又はレーザディスク）、光ディスクドライブ（ＯＤＤ）、光磁気ディスク、光磁気ドライブ、フロッピーディスク、フロッピーディスクドライブ（ＦＤＤ）、磁気テープ、フラッシュメモリ、半導体ドライブ（ＳＳＤ）、ＲＡＭ、ＲＡＭドライブ、ＲＯＭ、セキュアデジタルカード又はドライブ、他の任意の適切なコンピュータ可読非一過性記憶媒体、或いは、必要に応じて、これらの２つ以上の任意の適切な組み合わせを含むことができる。コンピュータ可読非一過性記憶媒体は、適切な場合、揮発性、不揮発性、又は揮発性と不揮発性の組み合わせであってもよい。
【0170】
いくつかのケースでは、別々の実施態様の文脈で本明細書に記載された特定の特徴も、単一の実施態様において組み合わされて実装されることがある。反対に、単一の実施態様の文脈で説明された様々な特徴も、複数の実施態様において別々に、又は任意の適切なサブコンビネーションで実装されることがある。更に、特徴は、特定の組み合わせで作用するものとして上述され、当初はそのように主張されることさえあるが、主張された組み合わせからの１つ以上の特徴は、場合によっては組み合わせから切り取られ、主張された組み合わせは、サブコンビネーション又はサブコンビネーションの変形に向けられてもよい。
【0171】
動作が特定の順序で行われるように図面に描かれている場合があるが、これは、そのような動作が示された特定の順序や連続した順序で行われること、或いは全ての動作が行われることを、要求していると理解されるべきではない。更に、図面は、フロー図又はシーケンス図の形態で、１つ以上の例示的なプロセス又は方法を模式的に描写することができる。しかしながら、描かれていない他の動作が、模式的に示されている例示的なプロセス又は方法に組み込まれてもよい。例えば、１つ以上の追加の動作が、図示された動作のいずれかの前、後、同時に、又はその間に実行されてもよい。更に、図に描かれた１つ以上の動作は、適切な場合には繰り返されてもよい。加えて、図に描かれた動作は、任意の適切な順序で実行されてもよい。更に、特定の構成要素、デバイス、又はシステムは、特定の動作を実行するものとして本明細書に記載されているが、任意の適切な構成要素、デバイス、又はシステムの任意の適切な組み合わせが、任意の適切な動作又は動作の組み合わせを実行するために使用されてもよい。特定の状況では、マルチタスク又は並列処理動作が実行されてもよい。更に、本明細書に記載された実施態様における様々なシステムコンポーネントの分離は、全ての実施態様においてそのような分離を必要とすると理解されるべきではなく、記載されたプログラムコンポーネント及びシステムが、単一のソフトウェア製品に一緒に統合されてもよく、複数のソフトウェア製品にパッケージングされてもよいと理解されるべきである。
【0172】
添付の図面に関連して、様々な実施態様を説明してきた。しかしながら、図が必ずしも縮尺通りに描かれていない場合があることを理解されたい。一例として、図に描かれた距離又は角度は例示であり、図示されたデバイスの実際の寸法やレイアウトと、必ずしも正確な関係を有さない場合がある。
【0173】
本開示の範囲は、当業者であれば理解するであろう、本明細書に記載又は図示された例示的な実施形態に対する全ての変更、置換、変形、改造、及び修正を包含する。本開示の範囲は、本明細書で説明又は図示された例示的な実施形態に限定されるものではない。更に、本開示は、特定のコンポーネント、要素、機能、動作、又はステップを含むものとして、本明細書におけるそれぞれの実施形態を説明又は図示しているが、これらの実施形態のいずれもが、当業者であれば理解するであろう、本明細書のどこかで説明又は図示されているコンポーネント、要素、機能、動作、又はステップの、任意の組み合わせや並び替えも含むことができる。
【0174】
本明細書で使用される用語「又は（或いは、若しくは）」は、明示的にそうではないと示されるか、又は文脈によってそうではないと示されない限り、任意の１つ又は任意の組み合わせを意味する包括的な又はとして解釈される。従って、本明細書において、「Ａ又はＢ」という表現は、「Ａ、Ｂ、又はＡ及びＢの両方」を意味する。別の例として、本明細書では、「Ａ、Ｂ、又はＣ」は、以下のうちの少なくとも１つを意味する：Ａ；Ｂ；Ｃ；Ａ及びＢ；Ａ及びＣ；Ｂ及びＣ；Ａ及びＢ及びＣ。この定義の例外は、要素、デバイス、ステップ、又は動作の組み合わせが、何らかの方法で本質的に相互に排他的である場合に生じると考えられる。
【0175】
本明細書で使用される場合、限定されるものではないが、「約」、「実質的に」、又は「およそ」などの近似の用語は、そのように修飾された場合、必ずしも絶対又は完全ではないと理解されるが、当業者には、その状態が存在すると指定することを保証するために十分に近いと考えられるであろう、状態を参照する。説明をどの程度変えることができるかは、どの程度大きな変更を行うことができ、なおかつ当業者に、変更された特徴が変更されていない特徴の要求特性又は能力を有すると認識させることができるかに、依存することになる。一般的に、しかし前述の議論に従うと、「約」などの近似の言葉によって修飾される本明細書の数値は、記載された値から±０．５％、±１％、±２％、±３％、±４％、±５％、±１０％、±１２％、又は±１５％変動し得る。
【0176】
本明細書で使用されるように、用語「第１の」、「第２の」、「第３の」などは、それらが先んずる名詞のラベルとして使用されてもよく、これらの用語は、必ずしも特定の順序（例えば、特定の空間、時間、又は論理順序）を意味しなくてもよい。一例として、システムは、「第１の結果」及び「第２の結果」を決定すると説明されてもよく、「第１の」及び「第２の」という用語は、第１の結果が第２の結果の前に決定されることを必ずしも意味しなくてよい。
【0177】
本明細書で使用されるように、用語「～に基づく」及び「～に少なくとも部分的に基づく」は、決定（判定、判断）に影響を与える１つ又は複数の要因を説明又は提示するために使用され、これらの用語は、決定に影響を与える可能性のある追加の要因を除外しないことがある。決定は、提示されたこれらの要因にのみ基づいてもよく、これらの要因に少なくとも部分的に基づいてもよい。「Ｂに基づいてＡを決定する」という表現は、ＢがＡの決定に影響を与える要因であることを示している。ある場合には、他の要因もＡの決定に寄与する。別の場合には、Ｂにのみ基づいてＡが決定されることもある。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図7】
【図8】
【図9】
【図10】
【図11A】
【図11B】
【図12】
【図13】
【図14A】
【図14B】
【図14C】
【国際調査報告】