特許 7395755 仮想地平線の推定を備えたアダプティブ走査パターン

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-01

(45)【発行日】2023-12-11

(54)【発明の名称】仮想地平線の推定を備えたアダプティブ走査パターン

(51)【国際特許分類】

   G01S 17/931 20200101AFI20231204BHJP

   G01S 17/42 20060101ALI20231204BHJP

   G08G 1/16 20060101ALI20231204BHJP

【ＦＩ】

G01S17/931

G01S17/42

G08G1/16 C

【請求項の数】 24

(21)【出願番号】P 2022541687

(86)(22)【出願日】2021-01-06

(65)【公表番号】

(43)【公表日】2023-03-15

(86)【国際出願番号】 US2021012298

(87)【国際公開番号】W WO2021141981

(87)【国際公開日】2021-07-15

【審査請求日】2022-09-20

(31)【優先権主張番号】62/957,575

(32)【優先日】2020-01-06

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】16/789,105

(32)【優先日】2020-02-12

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】521026699

【氏名又は名称】ルミナー，エルエルシー

(74)【代理人】

【識別番号】110001999

【氏名又は名称】弁理士法人はなぶさ特許商標事務所

(72)【発明者】

【氏名】トロフィモフ，ドミトロ

【審査官】渡辺 慶人

(56)【参考文献】

【文献】特開２００４－１４４６７１（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１９／０１７９０２４（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１７／０３０８７６０（ＵＳ，Ａ１）

【文献】特開２０１９－０９５４５２（ＪＰ，Ａ）

【文献】特開２０１５－１４３９７９（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１９／００８６５５０（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｓ ７／４８ － ７／５１

１７／００ － １７／９５

(57)【特許請求の範囲】

【請求項1】

車両の撮像センサを制御する方法であって、撮像センサは、特定の走査パターンに従って動作し、車両が移動している環境を感知するように構成され、
車両が環境を通って移動するときに車両の撮像センサによって生成されたセンサデータを受信するステップと、
１つまたは複数のプロセッサが、（i）センサデータの第１のサブセットを使用して、撮像センサの垂直視野内の垂直関心領域（ＶＲＯＩ）の下限を決定するステップであって、ＶＲＯＩは仮想地平線を含んでいるステップと、（ii）センサデータの少なくとも第２のサブセットを使用して、撮像センサの垂直視野内のＶＲＯＩの上限を決定するステップと、
前記決定されたＶＲＯＩの下限値及び前記決定されたＶＲＯＩの上限値に従って、前記撮像センサの走査に関連する１つまたは複数の動作パラメータを調整させるステップと、を含む方法。

【請求項2】

前記撮像センサはライダーシステムであり、
前記ライダーシステムの複数の走査線のうちの単一の走査線から前記センサデータの第１のサブセットを選択し、前記単一の走査線が前記複数の走査線に対応する相対仰角のうち実質的に最も低い相対仰角を有するようにすることをさらに含むことを特徴とする請求項１に記載の方法。

【請求項3】

ＶＲＯＩの下限を決定することは、ＶＲＯＩの下限に、センサデータの第１のサブセットに対応する単一の走査線の仰角を割り当てることを含むことを特徴とする請求項２に記載の方法。

【請求項4】

前記複数の走査線に対応する相対仰角を計算することをさらに含んでおり、該計算は、
ライダーシステムからの最小距離とライダーシステムの視野の方位角中心からの最大方位角偏差とによって定義される受容野の外側にある点を破棄するステップと、
(i)ライダーシステムからの距離とライダーシステムの視野の方位角中心からの方位角偏差に少なくとも部分的に基づく重み、および(ii)ライダーシステム下方の指定基準点に対する点の相対仰角を計算するステップと、
前記複数の走査線の各走査線について、前記走査線から前記受容野内の各点に対する前記相対仰角と前記重みを積算することにより、対応する前記相対仰角を算出するステップと、を含むことを特徴とする請求項２に記載の方法。

【請求項5】

走査線から受容野内の各点について相対仰角と重みを集計することは、相対仰角の加重調和平均を計算することを含むことを特徴とする請求項４に記載の方法。

【請求項6】

撮像センサがライダーシステムであり、ＶＲＯＩの上限を決定することは、
ライダーシステムからの最小距離及びライダーシステムの視野の方位中心からの最大方位偏差によって定義される受容野内にあるセンサデータの単一フレーム内の点を含むようにセンサデータの第２のサブセットを選択することと、
センサデータの第２のサブセットの集計仰角を決定することと、を含むことを特徴とする請求項１に記載の方法。

【請求項7】

センサデータの第２のサブセットの集計仰角を決定することは、
ライダーシステムからの点の対応する距離およびライダーシステムの視野の方位中心からの点の対応する方位偏差に少なくとも部分的に基づいて第２のサブセット内の点に対応する重みを計算することと、
計算された重みに基づいて第２のサブセット内の点の仰角の加重調和平均を計算することと、を含むことを特徴とする請求項６に記載の方法。

【請求項8】

前記センサデータの第２のサブセットの集計仰角を決定することは、前記第２のサブセット内の点の仰角の平均を計算することを含む、請求項６に記載の方法。

【請求項9】

１つまたは複数のプロセッサが、ＶＲＯＩの下限およびＶＲＯＩの上限に少なくとも部分的に基づいて、前記仮想地平線を示す仰角、および前記仮想地平線の角度に関連する不確実性のメトリックを計算するステップを含み、
前記決定したＶＲＯＩの下限および前記決定したＶＲＯＩの上限にしたがって前記撮像センサを調整させることは、前記仮想地平線の角度に関連する不確実性のメトリックの少なくとも部分に基づいて前記撮像センサを調整させることをさらに含むことを特徴とする請求項１に記載の方法。

【請求項10】

前記仮想地平線の角度は、ＶＲＯＩの上限と下限の平均に等しいことを特徴とする請求項９に記載の方法。

【請求項11】

不確実性のメトリックは、ＶＲＯＩの上限と下限との間の差に等しいことを特徴とする請求項９に記載の方法。

【請求項12】

不確実性のメトリックが特定の閾値を超えることを決定することと、
不確実性のメトリックに少なくとも部分的に基づいて撮像センサを調整させることと、を含み、該調整することは、不確実性のメトリックが特定の閾値を超えることに応答して、撮像センサの走査線の分布を走査線のデフォルト分布に設定することを含むことを特徴とする請求項９に記載の方法。

【請求項13】

撮像センサはライダーシステムであり、ＶＲＯＩの決定された下限およびＶＲＯＩの決定された上限に従って撮像センサを調整させることは、ライダー走査線の分布を調整して、ＶＲＯＩ内のライダー走査線の垂直密度をＶＲＯＩの外側よりも大きくすることを含むことを特徴とする請求項１に記載の方法。

【請求項14】

ライダー走査線の分布を調整することは、ライダー走査線の垂直密度が実質的に均一であるＶＲＯＩより上の領域を指定すること、及び、仰角の減少に伴って走査線の垂直密度が徐々に減少するＶＲＯＩより下の領域を指定することをさらに含むことを特徴とする請求項１３に記載の方法。

【請求項15】

ＶＲＯＩの決定された下限およびＶＲＯＩの決定された上限に従って撮像センサを調整させることは、撮像センサの垂直方向の視野を調整することを含むことを特徴とする請求項１に記載の方法。

【請求項16】

前記センサデータの少なくとも一部をデジタルディスプレイ上に表示することと、表示されたセンサデータ上に、ＶＲＯＩの上限を表す線とＶＲＯＩの下限を表す線とを重ねて表示することとをさらに含む請求項１に記載の方法。

【請求項17】

前記センサデータの第２のサブセットは、前記センサデータの第１のサブセットより大きいことを特徴とする請求項１に記載の方法。

【請求項18】

車両に実装される撮像システムであって、特定の走査パターンに従って動作し、車両が環境内を移動する際にセンサデータを生成するように構成された撮像センサと、撮像センサからセンサデータを受信し、（i）センサデータの第１のサブセットを使用して、撮像センサの垂直視野内の垂直関心領域（ＶＲＯＩ）の下限を決定し、（ii）センサデータの少なくとも第２のサブセットを使用して、撮像センサの垂直視野内のＶＲＯＩの上限を決定し、ＶＲＯＩおよびＶＲＯＩの決定された上限の下限に従って撮像センサの走査に関連する１つまたは複数の動作パラメータを調整させること、を含むように構成されたコントローラと、を含んでいる撮像システム。

【請求項19】

前記センサデータの第１のサブセットを選択するために、前記コントローラは、前記センサデータを構成する複数の走査線から単一の走査線を選択し、前記単一の走査線は、前記複数の走査線に対応する相対仰角のうち実質的に最も低い相対仰角を有する、ように構成されることを特徴とする請求項１８に記載の撮像システム。

【請求項20】

ＶＲＯＩの下限を決定するために、前記コントローラは、前記センサデータの第１のサブセットに対応する前記単一の走査線の仰角をＶＲＯＩの下限に割り当てることを特徴とする請求項１９に記載の撮像システム。

【請求項21】

前記コントローラは、前記複数の走査線に対応する相対仰角を計算するようにさらに構成でされ、該計算は、
撮像センサからの最小距離及び撮像センサの視野の方位中心からの最大方位偏差によって定義される受容フィールドの外側にある点を破棄するステップと、
受容フィールド内の各点について、（i）撮像センサからの点の距離及び撮像センサの視野の方位中心からの点の方位偏差に少なくとも一部基づく重みと、（ii）前記撮像センサの下方の指定された基準点に対する前記点の相対仰角とを計算するステップと、
前記複数の走査線の各走査線について、前記走査線から前記受容野内の各点に対する前記相対仰角と前記重みとを積算することにより、対応する相対仰角を算出するステップと、を含む、ことを特徴とする請求項１９に記載の撮像システム。

【請求項22】

前記走査線から前記受容野内の各点について相対仰角と重みを集計することは、相対仰角の加重調和平均を計算することを含むことを特徴とする請求項２１に記載の撮像システム。

【請求項23】

撮像センサはライダーシステムであり、ＶＲＯＩの上限を決定するために、コントローラは、ライダーシステムからの最小距離とライダーシステムの関心領域の方位中心からの最大方位偏差とによって定義される受容野内にあるライダーシステムの単一フレーム内の点のすべてを含むようにセンサデータの第２のサブセットを選択し、センサデータの第２のサブセットの集合仰角を決定するように構成されていることを特徴とする請求項１８に記載の撮像システム。

【請求項24】

前記センサデータの第２のサブセットは、前記センサデータの第１のサブセットより大きいことを特徴とする請求項１８に記載の撮像システム。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、２０２０年１月６日に出願された米国特許仮出願第６２／９５７５７５号及び２０２０年２月１２日に出願された米国特許出願第１６／７８９１０５号の優先権を主張し、これらの内容は本明細書にその全体が組み込まれるものである。

【0002】

本開示は、一般に、特定の走査パターンに従って動作する撮像システムに関し、より詳細には、特定の関心領域においてより多くのデータ又はより高品質なデータを収集するように、そのような撮像システムを構成することに関するものである。

【背景技術】

【0003】

本明細書で提供される背景の説明は、本開示の文脈を一般的に提示することを目的とするものである。本背景の項に記載されている範囲での本明細書の発明者の仕事、および出願時に先行技術として他に認められない可能性のある説明の側面は、本開示に対して先行技術として明示的または黙示的に認められるものではない。

【0004】

「自動運転」または「自律」車両は、一般に、光検出および測距（ライダー）装置などの撮像（イメージング）センサを使用して、車両が目的地に向かって移動する際に周辺環境を検出または「見る」ことができる。このような車両には、センサデータを処理し、感知した環境と希望する目的地の両方に基づいて、走行中多かれ少なかれ継続的に、どの操縦と操作パラメーター（例えば、速度、制動力、操舵方向）が最も適切であるかを決定する制御システムが含まれる。自律車両は、所望の目的地に到着するだけでなく、自律車両の乗客と自律車両の一般的な周辺にいる可能性がある個人の両方の安全を維持することを目指す。

【0005】

この目標を達成することは、主に、自律車両が、急速に変化し得る環境に囲まれ、多種多様な物体（例えば、他の車両、歩行者、停止標識、交通信号、縁石、車線標識など）が車両に対して様々な位置／向きで存在する可能性があるため、難しい課題となっている。車両に対して固定された方向で環境の一部を感知する画像センサは、操縦や操作パラメータの決定への寄与が限定的な道路領域や空領域を著しく過剰に表現するデータを収集する可能性がある。

【発明の概要】

【0006】

本開示の撮像システムは、撮像システムの関心領域に対するセンサデータを受け取る。撮像システムは、仮想地平線を含む垂直関心領域（ＶＲＯＩ）の境界を決定するためにセンサデータを処理するが、これは、水平表面要素を実質的に表面より上のものから分離すると理解され得る。これらの境界を決定するために、撮像システムは、特定のヒューリスティックアルゴリズムを実現することができる。いくつかの実現態様では、上部及び下部境界のそれぞれのヒューリスティックアルゴリズムは、センサデータの異なるサブセットに基づいている。次に、撮像システムは、決定されたＶＲＯＩに従って１つ又は複数の動作パラメータ（例えば、走査パターン、走査レート）を調整することができる。

【0007】

これらの方法の１つの例示的な実施形態は、車両の撮像センサを制御するための方法であって、車両が環境を通って移動するときに車両の撮像センサによって生成されたセンサデータを受信することを含んでいる。本方法はまた、１つ以上のプロセッサが、（i）センサデータの第１のサブセットを使用して、撮像センサの垂直方向の関心領域（ＶＲＯＩ）に対する下限を決定し、該ＶＲＯＩは仮想地平線を含み、（ii）センサデータの少なくとも第２のサブセットを使用して、第１のサブセットが第２のサブセットより小さくなるように撮像センサの垂直方向の関心領域におけるＶＲＯＩの上界を決定することを含んでいる。さらに、本方法は、ＶＲＯＩの決定された下限及びＶＲＯＩの決定された上限に従って、撮像センサを調整させることを含む。

【0008】

これらの方法の別の例示的な実施形態は、上記の方法を実施するように構成された撮像システムである。

【図面の簡単な説明】

【0009】

【図1】図１は、車両の環境における垂直関心領域（ＶＲＯＩ）の検出に基づいて、１つ以上の車両センサのパラメータを制御するための例示的なソフトウェアシステムのブロック図である。

【図2】図２は、図１のセンサ制御アーキテクチャを使用して制御される可能性のある光検出および測距（ライダー）システムの例のブロック図である。

【図3】図３は、図２のライダーシステムが視野内のターゲットを識別するときに生成する可能性のある走査パターンの例を示す図である。

【図4A】図４Ａは、図２のライダーシステムが動作する可能性のある車両例を示す図である。

【図4B】図４Bは、図４Ａの例示的な車両で動作するライダーシステムのセンサヘッド間のイメージング重複の例を示す図である。

【図5A】図５Ａは、自律車両の進行方向における環境の一例を示す図である。

【図5B】図５Ｂは、図５Ａの環境に対して生成され得る点群の例を示す図である。

【図6】図６6は、図２のライダーシステムが動作し得る環境例上にオーバーレイされた仮想地平線からなるＶＲＯＩの例を示している。

【図7A】図７Aは、ＶＲＯＩに基づいて走査線分布が調整された走査パターンの例を示す図である。

【図7B】図７Bは、ＶＲＯＩに基づいて走査線分布が調整された別の例の走査パターンを示す図である。

【図8A】図８Ａは、ＶＲＯＩに基づいて調整された走査線分布関数の例を示す図である。

【図8B】図８Ｂは、ＶＲＯＩに基づいて調整された他の例の走査線分布関数を示す図である。

【図9】図９は、ＶＲＯＩの判定方法のフローチャートである。

【図10A】図１０Ａは、ＶＲＯＩの下限を評価するためのセンサデータの受容野と第１のサブセットを選択する様子を示す図である。

【図10B】図１０Ｂは、ＶＲＯＩの下限を決定するために相対的な高度を使用することを示す図である。

【図11A】図１１Ａ～図１１Ｂは、ＶＲＯＩの上限を評価するためにセンサデータの第２のサブセットを選択することを例示する図である。

【図11B】図１１Ａ～図１１Ｂは、ＶＲＯＩの上限を評価するためにセンサデータの第２のサブセットを選択することを例示する図である。

【図11C】図１１Ｃは、センサデータにわたるＶＲＯＩの下限および上限を表示することを例示する。

【図12A】図１２Ａ～図１２Ｃは、異なる道路構成を有する運転環境において、ＶＲＯＩの上限および下限を決定するためのアルゴリズムの適用を示す図である。

【図12B】図１２Ａ～図１２Ｃは、異なる道路構成を有する運転環境において、ＶＲＯＩの上限および下限を決定するためのアルゴリズムの適用を示す図である。

【図12C】図１２Ａ～図１２Ｃは、異なる道路構成を有する運転環境において、ＶＲＯＩの上限および下限を決定するためのアルゴリズムの適用を示す図である。

【発明を実施するための形態】

【0010】

（概要）
本開示の技術によれば、撮像システムは、移動する車両に対する仮想地平線の推定値を生成し、仮想地平線の推定値を考慮して、車両センサのパラメータを制御し、及び／又はかかるセンサによって生成されたデータを処理し得る。仮想地平線の推定値は、仮想地平線がより低い境界とより高い境界との間にあるように、視野（動眼視野：Field Of Regard）内の領域のより低い境界とより高い境界とに対応し得る。

【0011】

車両は、完全な自動運転または「自律」車両、人間の運転手によって制御される車両、または自律および運転手によって制御されるコンポーネントのいくつかの組み合わせであってもよい。例えば、開示された技術は、自律車両の安全性／性能を向上させるために車両環境情報を取得するために、人間の運転手のための警告を生成するために、又は単に特定の運転旅行に関連するデータを収集するために（例えば、旅行中に何人の他の車両又は歩行者に遭遇したか等を記録するために）使用されてもよい。センサは、ライダー、レーダー、カメラ、及び／又は他のタイプのセンサなど、車両が移動している環境を感知することができる任意のタイプ又はタイプのセンサであってよい。車両はまた、慣性測定装置（ＩＭＵ）などの他のセンサを含んでもよく、及び／又は車両の現在の位置に関する情報を提供する他のタイプの装置（例えば、ＧＰＳ装置）を含んでもよい。

【0012】

センサデータ（及び場合によっては他のデータ）は、車両の知覚コンポーネントによって処理され、車両の環境の現在の状態を示す信号を出力する。例えば、知覚コンポーネントは、車両の環境内の物体の位置を特定する（および場合によっては分類および／または追跡する）ことができる。ライダーまたはレーダーデータを利用する、より具体的な例として、知覚コンポーネントは、ライダーまたはレーダー点群デバイスを、考えられる物体に対応する点のサブセットに分割するセグメント化モジュール、点のサブセット（セグメント化物体）に対するラベル／クラスを決定する分類モジュール、およびセグメント化および／または分類物体を時間の経過とともに（すなわち、その後の点群フレームにわたって）追跡する追跡モジュールなどを含む場合がある。

【0013】

撮像システムは、様々な種類の情報及び／又は基準に基づいてセンサの1つ又は複数のパラメータを調整することができる。いくつかの実施形態では、撮像システムは、センサの焦点の領域を決定するパラメータを制御する。例えば、撮像システムは、ライダー又はレーダー装置の視野の中心及び／又はサイズを調整し、及び／又は、特定のタイプの物体、物体の特定のグループ化、環境内の特定のタイプの領域（例えば、車両の直前の道路、車両の前方の地平線など）などに焦点を合わせるために、そのような装置によって生成される走査線の空間分布（例えば、仰角に関して）を変更することが可能である。走査線分布が制御され得るいくつかの実現態様では、撮像システムは、所望の焦点領域をカバーするピーク走査線密度を有するガウス分布、又は2つ以上の所望の焦点領域におけるピーク走査線密度を有するマルチモーダル分布など、何らかの連続数学分布のサンプリングに従って配置された走査線をセンサに生成させることが可能である。さらに、いくつかの実現態様及び／又はシナリオでは、撮像システムは、何らかの任意の分布に従って走査線を位置付けることができる。例えば、撮像システムは、環境の2つ以上の領域の各々について所望の解像度を達成するように走査線を配置することができる（例えば、２：４．例えば、車両の前方の道路の領域をカバーする走査線と、地平線を含む領域をカバーする走査線と、地平線の上の領域をカバーする走査線の比率は２：４：１である）。

【0014】

いくつかの実現態様では、撮像システムは、様々な規則、アルゴリズム、基準などによって表されるように、ヒューリスティックアプローチを使用して焦点の領域を決定する。例えば、撮像システムは、環境内の「動的」物体、又は特定のタイプの動的物体の存在及び位置に基づいて焦点の領域を決定することができる。動的物体の存在、位置及び／又は種類は、制御されているセンサによって生成されたデータを用いて、及び／又は車両上の1つ又は複数の他のセンサによって生成されたデータを用いて決定されてもよい。例えば、環境の広角ビューを有するカメラは、ライダーデバイスのためのより狭い焦点領域を決定するために使用されてもよい。代替例として、撮像システムは、ライダーデバイスが比較的大きな視野を有するように初期設定し、後に、大きな視野の特定の部分で検出された動的物体に焦点を合わせる（例えば、より小さな視野を中心に置く）ように設定することが可能である。

【0015】

別の例として、画像処理システムは、センサ（例えば、ライダ、カメラなど）の視野を調整する目的で、車両前方の道路の構成を解析することができる。）特に、視野の仰角（例えば、視野の中心の仰角）は、道路の1つ又は複数の部分の傾斜に基づいて調整されてもよい。車両によって現在横断されている道路部分の傾斜は、同様のセンサを用いて決定されてもよく、および／または1つ以上の他のデバイス（例えば、ＩＭＵ）を用いて決定されてもよい。全体的な道路構成は、例えば、ＩＭＵ（複数可）、ライダー（複数可）および／またはカメラ（複数可）などの複数のセンサタイプの融合を使用して、および／またはＧＰＳ高度データを使用して決定されてもよい。いくつかの実施形態では、前方の道路が右または左に曲がる場合など、道路構成に基づいて、視野の位置を水平／横方向に調整することもできる。見晴らしの場の調整は、1つ以上の所定の視認性基準を満たすことを目標に行われ得る。例えば、前方の道路の傾斜とセンサの範囲制約が与えられたときに、視認性（すなわち、感知距離）が最大になるように、視野の中心を設定することができる。視界の中心位置が、センサの視界のある最小閾値をもたらすことができない場合、車両の速度は、自動的に減少され得る。少なくとも視野の仰角を変更する機能は、例えば、センサが車両のほんの比較的短い距離前方の路面に過度に焦点を合わせる（下り坂を走行する場合）、又は上空に過度に焦点を合わせる（上り坂を走行する場合）シナリオを回避することが可能である。視野の垂直および／または水平調整は、センサ内の1つ以上の構成要素（例えば、ライダー装置内の1つ以上のミラー）の向きを制御することによって、または別の適切な方法（例えば、センサ全体の垂直および／または水平の向きを機械的に調整することによって）発生し得る。

【0016】

上述したアプローチの代わりに、又はそれに加えて、他の発見的アプローチも可能である。例えば、焦点の領域は、車両に対する地平線の位置、車両から最も近い又は最も遠い物体の位置（それが動的物体であるかどうかにかかわらず）、特定の物体の分類に関する不確実性のレベル、及び／又は1つ以上の他の要因に基づいて設定されてもよい。

【0017】

センサデータに基づいて焦点領域を設定するが、物体のセグメント化又は分類に依存しないことが有利であり得る。いくつかの実現態様では、撮像システムは、センサデータのサブセット上で直接動作するヒューリスティックアルゴリズムを組み合わせて、適切な精度で焦点の適切な領域を決定することができる。例えば、1つのヒューリスティックアルゴリズムは、セグメント化の前にセンサデータ点を処理することに基づいて、地平線の（センサに対する）仰角の低い推定値を決定するために使用されてもよい。別のヒューリスティックアルゴリズムは、セグメント化の前にセンサデータポイントを処理することに基づいて、地平線の（センサに対する）仰角の上方推定値を決定するために使用されてもよい。撮像システムは、上部及び下部地平線推定値を、対応して、垂直関心領域（ＶＲＯＩ）の上部及び下部境界として設定してもよい。撮像システムは、ＶＲＯＩ内に仮想地平線を指定してもよい。仮想地平線は、走行環境内の特定の隠蔽要素（例えば、丘、並木、他の車両）がない場合の地平線高度線、又は走行環境の水平表面要素と実質的に表面より上の要素とをほぼ分離する適切な垂直視線方向を示してもよい。撮像システムは、決定されたＶＲＯＩに応答して、センサ全体の垂直方向、垂直フィールドまたは点、および／または焦点の領域を調整してもよい（例えば、1つまたは複数の垂直領域におけるライダー走査線の密度を変更する）。

【0018】

次に、図１を参照して、仮想地平線を含むＶＲＯＩを考慮して車両センサを制御するように構成された撮像システムの例示的なアーキテクチャを説明し、続いて、図２～５を参照して、撮像システムが実現態様可能な例示的なライダーシステムを説明する。次に、図６～図８は、ＶＲＯＩを決定し、センサパラメータ（例えば、ライダー走査線分布）を調整する際のセンサ制御アーキテクチャの使用を説明するものである。最後に、ＶＲＯＩを決定し、決定されたＶＲＯＩに基づいて車両センサを制御することに関連する例示的な方法が、図９のフローチャート、およびそれに続く添付の図１０～図１２に関して説明される。

【0019】

（システム例）
図１は、センサ１０２の1つ以上のパラメータを動的に制御する撮像システム１００の例示的なアーキテクチャを示す。センサ１０２は、自律車両によって（例えば、車両の現在の環境に基づいてインテリジェントな運転決定を行うために）、又は他の目的のために非自律車両によって（例えば、特定の運転旅行に係るデータを収集するために）利用されることができる。この用語が本明細書で使用されるように、「自律」または「自動運転」車両は、その環境を感知し、人間の入力なしで、少しの人間の入力で、任意の人間の入力で、および／または状況特有の人間の入力で航行または駆動するように構成された車両である。例えば、自律車両両は、任意の適切な場所まで走行し、全行程の安全上重要な機能（例えば、運転、ステアリング、ブレーキ、駐車）を制御または実行し、運転者はいかなる時も車両を制御することを期待されていない（または可能でさえない）ように構成され得る。別の例として、自律車両は、特定の環境（例えば、高速道路上）および／または特定の走行モードにおいて、運転者が運転作業から安全に注意をそらすことができるようにすることができる。

【0020】

自律車両は、車両内に人間の運転手が存在する状態で運転するように構成されてもよいし、人間の運転手が存在しない状態で運転するように構成されてもよい。一例として、自律車両は、関連する制御装置（例えば、ステアリングホイール、アクセルペダル、及びブレーキペダル）を有する運転席を含んでもよく、車両は、運転席に誰も座っていない状態で、又は運転席に座る人からの入力が限定的、条件付き、若しくはない状態で運転するよう構成されてもよい。別の例として、自律車両は、運転席または関連する運転者の制御装置を一切含まず、車両が人間の入力なしに実質的にすべての運転機能（例えば、運転、操舵、制動、駐車、およびナビゲート）を常時実行してもよい（例えば、車両は、車両に運転者が存在しなくても人間の乗客または貨物を輸送するように構成されてもよい）。別の例として、自律車両は、人間の乗客なしで動作するように構成されてもよい（例えば、車両は、車両に人間の乗客を乗せることなく貨物の輸送のために構成されてもよい）。

【0021】

本明細書で使用される用語として、「車両」は、人または貨物を輸送するように構成された移動機械を指す場合がある。例えば、車両は、乗用車、自動車、トラック、バス、バン、トレーラー、オフロード車、農業用車両、芝刈り機、建設機械、ゴルフカート、キャンピングカー、タクシー、バイク、スクーター、自転車、スケートボード、列車、スノーモービル、水上機（例えば、船又はボート）、航空機（例えば、固定翼機、ヘリコプター、又は飛行船）、又は宇宙機を含んでもよく、その形態を取ってもよく、又はそのように呼ばれるものであってもよい。特定の実施形態では、車両は、車両の推進力を提供する内燃機関または電気モータを含んでもよい。図１に見られるように、車両はＮ個の異なるセンサ１０２を含み、Ｎは任意の適切な整数（例えば、１、２３５、１０、２０など）である。センサ１０２のうち少なくとも「センサ１」は、環境中の物体から反射するレーザーを送受信するなど、何らかの方法で環境と物理的に相互作用することによって、自律車両の環境を感知するように構成されている（例えば、センサがライダー装置である場合）、環境中の物体から反射する無線又は音響信号を送信及び受信する（例えば、センサがレーダー又はソナー装置である場合）、環境の異なる領域から発生又は反射する光波を単に受信する（例えば、センサがカメラである場合）、等々である。実施形態によっては、センサ１０２の全てが環境の一部を感知するように構成されてもよく、センサ１０２の1つ以上が外部環境と物理的に相互作用しなくてもよい（例えば、センサ１０２の1つが慣性測定ユニット（ＩＭＵ）である場合）。センサ１０２は、すべて同じタイプであってもよいし、複数の異なるセンサタイプ（例えば、異なる視角を有する複数のライダー装置、及び／又はライダー、カメラ、レーダ、及び熱画像装置の組み合わせ等）を含んでもよい。

【0022】

センサ１０２によって生成されたデータは、センサ制御アーキテクチャ１００の知覚コンポーネント１０４に入力され、知覚コンポーネント１０４によって処理されて、車両の環境の現在の状態を記述する知覚信号１０６が生成される。用語「現在」は、例えば、知覚コンポーネント１０４の少なくとも一部の部分および他の要因によってもたらされる短い処理遅延のために、任意の与えられた知覚信号１０６の生成に先立つ非常に短い時間を実際に指す場合があることが理解される。別個のＶＲＯＩ検出モジュール１１０は、例えば、物体分類に関連するより計算負荷の高いモジュールよりも短い処理遅延で地平線推定に関連する知覚信号を生成することができる。追加の知覚信号１０６を生成するために、知覚コンポーネント１０４は、セグメント化、分類、及び追跡モジュール１１２を含んでもよい。いくつかの実現態様では、別々のセグメント化、分類、及び追跡モジュールが知覚信号１０６のいくつかを生成する。

【0023】

センサ制御アーキテクチャ１００はまた、予測コンポーネント１２０を含み、これは知覚信号１０６を処理して、車両の環境の1つまたは複数の予測された将来の状態を記述する予測信号１２２を生成する。所定の物体について、例えば、予測コンポーネント１２０は、物体のタイプ／クラスを物体の最近の追跡された動き（セグメント化、分類、および追跡モジュール１１２によって決定される）とともに解析し、物体の1つまたは複数の将来の位置を予測することができる。比較的単純な例として、予測コンポーネント１２０は、任意の移動物体がその現在の方向及び速度に変更を加えずに移動し続けると仮定してもよく、場合によっては、継続的に変化する方向を有する物体、加速している物体などをより良く追跡するために1次又は高次の微分を考慮に入れてもよい。加えてまたは代替的に、予測コンポーネント１２０は、最新のセンサデータに基づいてＶＲＯＩ検出モジュール１１０によって生成された信号を補強および／または検証するために、地平線推定に関連する知覚信号を予測してもよい。予測コンポーネント１２０は、ＶＲＯＩ検出モジュール１１０によって生成された過去の値（例えば、ローパス、メディアン、カルマン、または他の任意の適切なフィルタリングを使用）および／またはセグメント化、分類、および追跡モジュール１１２によって生成された過去の値（例えば、特定された道路構成を使用）を使用してもよい。

【0024】

知覚信号１０６及び（いくつかの実施形態では）予測信号１２２は、センサ制御コンポーネント１３０に入力され、このコンポーネントが信号１０６、１２２を処理して、センサ１０２の少なくとも1つ（「センサ１」の少なくともパラメータを含む）の1つ以上のパラメータを制御するセンサ制御信号１３２を生成する。）特に、センサ制御コンポーネント１３０は、検出及び／又は予測されたＶＲＯＩに基づいて、センサ１０２の1つ又は複数の焦点を向けることを試みる。パラメータ調整モジュール１３６は、検出されたＶＲＯＩに少なくとも部分的に基づいて、制御されるセンサ（複数可）（センサ１０２のうち）のパラメータに対する設定を決定する。特に、パラメータ調整モジュール１３６は、制御されるセンサ（複数可）の焦点領域を設定する1つ又は複数のパラメータの値を決定する。一般に、制御される１つまたは複数のパラメータは、車両環境のどの領域／部分が特定のセンサによって感知されるかに影響を与えるパラメータであり／ある。例えば、パラメータ調整モジュール１３６は、制御される１つまたは複数のセンサの水平及び／又は垂直の関心領域（例えば、関心領域によってカバーされる方位角及び／又は仰角の範囲）、関心領域の中心（例えば、センサ全体を機械的に動かすか、関心領域の中心を動かすミラーを調整することによって）、及び／又はセンサ（複数可）によって生じる走査線の空間分布を設定する数値を決定してもよい。例示的な走査線分布は、図7及び図8を参照しながら、以下でより詳細に議論される。いくつかの実施形態では、制御されたセンサパラメータ（複数可）は、センサの焦点領域だけでなく、車両環境の所定の領域が感知される方法にも影響を与える。例えば、パラメータ調整モジュール１３６は、センサのフレーム／リフレッシュレート、センサの解像度（例えば、点群フレームあたりの点数）などを制御してもよい。

【0025】

上記で提供された様々な例から分かるように、車両によって収集されたセンサデータは、いくつかの実施形態において、1つ以上のライダー装置またはより一般的にはライダーシステムによって生成される点群データを含むことができる。ライダーシステムによって生成され得るデータの種類、及びライダーシステム及びデバイスが機能し得る態様のより良い理解を提供するために、例示的なライダーシステム及び点群について、次に、図２～図５を参照して説明される。

【0026】

最初に図２を参照すると、ライダーシステム２００は、例えば図１のセンサ１０２の少なくとも1つとして動作することができる。様々なライダーシステム構成要素及び特性が本明細書に記載されているが、任意の適切なライダー装置（複数可）又はシステム（複数可）、及び／又は任意の他の適切なタイプのセンサが、本明細書に記載されるソフトウェアアーキテクチャを使用して処理するためのセンサデータを提供し得ることが理解される。

【0027】

例示的なライダーシステム２００は、光源２１０、ミラー２１５、スキャナ２２０、受光器２４０、及びコントローラ２５０を含んでもよい。光源２１０は、例えば、電磁スペクトルの赤外、可視、又は紫外部分において特定の動作波長を有する光を出射するレーザー（例えば、レーザーダイオード）であってよい。動作において、光源２１０は、所定の用途に適した任意の方法で連続波、パルス、又は可変調の光２２５の出力ビームを出射する。光２２５の出力ビームは、ライダーシステム２００から距離Ｄに位置し、システム２００の視野内に少なくとも部分的に含まれる遠隔ターゲット２３０に向かって射程に沿って向けられる。

【0028】

出力ビーム２２５が射程範囲のターゲット２３０に到達すると、ターゲット２３０は、出力ビーム２２５からの光の少なくとも一部を散乱させ、又は場合によっては反射し、散乱又は反射光の一部がライダーシステム２００に向かって戻ってくる可能性がある。図５の例では、散乱または反射された光は、ビームスキャナ、光学スキャナ、またはレーザスキャナと呼ばれることがあるスキャナ２２０を通過する入力ビーム２３５によって表される。入力ビーム２３５は、スキャナ２２０を通過して、オーバーラップミラー、重ね合わせミラー、又はビームコンバイナーミラーと呼ばれることがあるミラー２１５に向かう。ミラー２１５は、今度は、入力ビーム２３５を受光器２４０に向ける。

【0029】

入力ビーム２３５は、ターゲット２３０によって散乱される出力ビーム２２５からの光、ターゲット２３０によって反射される出力ビーム２２５からの光、又はターゲット２３０からの散乱光及び反射光の組合せを含むことができる。いくつかの実施形態では、ライダーシステム２００は、人の目に損傷を与える可能性をほとんど又は全く提しない「アイセーフ」レーザーを含むことができる。入力ビーム２３５は、出力ビーム２２５からの光の比較的小さな部分のみを含むことができる。

【0030】

受光器２４０は、入力ビーム２３５から光子を受信又は検出し、1つ又は複数の代表的な信号を生成してもよい。例えば、受光器２４０は、入力ビーム２３５を代表する出力電気信号２４５を生成してもよい。受光器は、電気信号２４５をコントローラ２５０に送信してもよい。実現態様によっては、コントローラ２５０は、ライダーシステム２００からの距離など、ターゲット２３０の1つ以上の特性を決定するために、電気信号２４５の1つ以上の特性を解析するように構成された1つ以上の命令実行プロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、及び／又は他の適した回路を含んでもよい。より詳細には、コントローラ２５０は、光源２１０によって送信された光ビーム２２５に対する飛行時間または位相変調を解析してもよい。ライダーシステム２００がＴの飛行時間（例えば、Ｔは、出射された光のパルスがライダーシステム２００からターゲット２３０に移動してライダーシステム２００に戻るまでの往復飛行時間を表す）を測定する場合、ターゲット２３０からライダーシステム２００までの距離Dは、Ｄ＝ｃＴ／２と表すことができる。ここで、ｃは光速（約３．０×１０^８ｍ／秒）である。

【0031】

ライダーシステム２００からの距離Dは、ライダーシステム２００の最大範囲Ｒ_ＭＡＸ以下である。ライダーシステム２００の最大範囲Ｒ_ＭＡＸX（最大距離とも呼ばれ得る）は、ライダーシステム２００がライダーシステム２００の視野内に現れる目標を感知または識別するように構成される最大距離に対応し得る。ライダーシステム２００の最大距離は、例えば、５０ｍ、２００m、５００ｍ、または１ｋｍなど、任意の適切な距離であってよい。

【0032】

いくつかの実現態様では、光源２１０、スキャナ２２０、及び受光器２４０は、ライダーシステム２００の全て又は一部を保持又は含む箱、ケース、又は筐体であってもよい単一のハウジング２５５内に一緒にパッケージングされてもよい。ハウジング２５５は、ビーム２２５及び２３５が通過する窓２５７を含む。コントローラ２５０は、構成要素２１０、２２０、及び２４０と同じハウジング２５５内に存在してもよく、又はコントローラ２５０はハウジング２５５の外部に存在してもよい。一実施形態では、例えば、コントローラ２５０は、代わりに、図１に示されるセンサ制御アーキテクチャ１００の知覚コンポーネント１０４内に存在するか、または部分的に存在してもよい。いくつかの実現態様では、ハウジング２５５は、それぞれがそれぞれのスキャナおよび受光器を含む複数のライダーセンサを含む。特定の実現態様に応じてて、複数のセンサの各々が、別個の光源または共通の光源を含むことができる。複数のセンサは、実現態様に応じて、例えば、重ならない隣接する視野または部分的に重なる視野をカバーするように構成することができる。

【0033】

図２を引き続き参照すると、出力ビーム２２５及び入力ビーム２３５は、実質的に同軸であってもよい。言い換えれば、出力ビーム２２５及び入力ビーム２３５は、入力ビーム２３５及び出力ビーム２２５が（反対方向ではあるが）実質的に同じ光路に沿って移動するように、少なくとも部分的に重なるか又は共通の伝搬軸を共有してもよい。ライダーシステム２００が出力ビーム２２５を視野にわたって走査すると、入力ビーム２３５は、2つのビームの間の同軸関係が維持されるように、出力ビーム２２５と共に追従してもよい。

【0034】

一般に、スキャナ２２０は、出力ビーム２２５を射程に沿って1つ又は複数の方向に方向付ける。これを達成するために、スキャナ２２０は、1つ又は複数の走査ミラーと、ミラーを駆動して、例えば1つ又は複数の軸についてミラーを回転、傾斜、旋回、又は角度的に移動させる1つ又は複数のアクチュエータとを含んでもよい。図２は単一のミラー２１５のみを描いているが、ライダーシステム２００は、出力ビーム２２５又は入力ビーム２３５を操縦又は集束するための任意の適切な数の平面又は曲線ミラー（例えば、凹面、凸面、又は放物線面ミラー）を含んでもよい。例えば、スキャナの第１のミラーは、第１の方向に沿って出力ビーム２２５を走査してもよく、第２のミラーは、第１の方向と実質的に直交する第２の方向に沿って出力ビーム２２５を走査してもよい。

【0035】

ライダーシステム２００の「関心領域」は、ライダーシステム２００が距離情報を走査または捕捉するように構成され得る領域、領域、または角度範囲を指す場合がある。ライダーシステム２００が３０度の走査範囲内で出力ビーム２２５を走査するとき、例えば、ライダーシステム２００は、３０度の角度的な視野を有すると言及されてもよい。スキャナ２２０は、出力ビーム２２５を水平方向及び垂直方向に走査するように構成されてもよく、ライダーシステム２００の関心領域は、水平方向に沿った特定の角度幅及び垂直方向に沿った別の特定の角度幅を有していてもよい。例えば、ライダーシステム２００は、１０°～１２０°の水平方向の視野と、２°～４５°の垂直方向の視野とを有していてもよい。

【0036】

スキャナ２２０の1つ以上の走査ミラーは、コントローラ２５０に通信可能に結合されてもよく、コントローラ２５０は、出力ビーム２２５を射程に沿って所望の方向に又は所望の走査パターンに沿って誘導するように１つまたは複数の走査ミラーを制御し得る。一般に、スキャン（又は走査線）パターンは、出力ビーム２２５が向けられるパターン又は経路を指す場合がある。ライダーシステム２００は、走査パターンを使用して、実質的に視野をカバーする点又は「ピクセル」を有する点群を生成することができる。ピクセルは、観点のフィールドにわたってほぼ均等に分布していてもよいし、特定の非一様な分布に従って分布していてもよい。

【0037】

動作において、光源２１０は、スキャナ２２０がライダーシステム２００の関心領域にわたって走査する光のパルスを出射してもよい。ターゲット２３０は、出射されたパルスの1つ以上を散乱させてもよく、受光器２４０は、ターゲット２３０によって散乱された光のパルスの少なくとも一部を検出してもよい。受光器２４０は、入力ビーム２３５の少なくとも一部を受信又は検出し、入力ビーム２３５に対応する電気信号を生成してもよい。コントローラ２５０は、光源２１０、スキャナ２２０、及び受光器２４０のうちの1つ以上に電気的に結合されてもよく、さもなければ通信可能に結合されてもよい。コントローラ２５０は、光源２１０がいつ光パルスを生成すべきか、及び場合によってはパルスの特性（例えば、持続時間、周期、ピークパワー、波長など）を示す命令、制御信号、又はトリガ信号を光源２１０に提供してもよい。コントローラ２５０は、光源２１０によってパルスが出射されたときと、パルスの一部（例えば、入力ビーム２３５）が受光器２４０によって検出又は受信されたときに関連するタイミング情報に基づいて、光パルスの飛行時間値を決定することもできる。

【0038】

上記に示したように、ライダーシステム２００は、1つ以上の射程範囲のターゲット２３０までの距離を決定するために使用され得る。ライダーシステム２００を視野にわたって走査することによって、システムは、視野内の多数の点への距離をマッピングするために使用され得る。これらの深度マッピングされた点の各々は、ピクセルまたはボクセルと呼ばれることがある。連続して取得されたピクセルの集まり（深度マップ、点群、または点群フレームと呼ばれる場合がある）は、画像としてレンダリングされてもよく、物体を識別または検出するため、または視野内の物体の形状または距離を決定するために解析されてもよい。例えば、深度マップは、水平方向に６０°及び垂直方向に１５°延びる視野をカバーしてもよく、深度マップは、水平方向に１００～２０００ピクセル×垂直方向に４～４００ピクセルのフレームを含んでもよい。

【0039】

ライダーシステム２００は、例えば、約０．１フレーム／秒（ＦＰＳ）～約１０００ＦＰＳの間の任意の適切なフレームレートで、関心領域の点群を繰り返し捕捉又は生成するように構成されてもよい。点群フレームレートは、実現態様に応じて、実質的に固定されてもよく、または動的に調整可能であってもよい。一般に、ライダーシステム２００は、より遅いフレームレート（例えば、１Ｈｚ）を使用して1つ又は複数の高解像度点群を取得し、より速いフレームレート（例えば、１０Ｈｚ）を使用して複数の低解像度点群を迅速に取得し得る。

【0040】

ライダーシステム２００の視野は、ターゲット２３０の少なくとも一部に重なり、包含し、又は囲むことができ、これは、ライダーシステム２００に対して移動又は静止している物体の全て又は一部を含むことができる。例えば、ターゲット２３０は、人、車両、オートバイ、トラック、列車、自転車、車椅子、歩行者、動物、道路標識、交通信号、車線表示、路面表示、駐車スペース、パイロン、ガードレール、交通障壁、ポットホール、踏切、道路内またはその近くの障害物、縁石、道路上または横の停止車両、電柱、家、建物、ゴミ箱、郵便受け、木、他の任意の適切な物体、あるいは2以上の物体のすべてまたは一部との適切な組み合わせのすべてまたは一部を含むことがある。

【0041】

図３は、図２のライダーシステム２００が生成する可能性のある例示的な走査パターン２６０を示す。特に、ライダーシステム２００は、出力光ビーム２２５を走査パターン２６０に沿ってスキャンするように構成され得る。いくつかの実現態様では、走査パターン２６０は、任意の適切な水平視野（ＦＯＲ_Ｈ）及び任意の適切な垂直視野（ＦＯＲ_Ｖ）を有する任意の適切な視野にわたる走査に相当する。例えば、ある走査パターンは、角度寸法（例えば、ＦＯＲ_Ｈ×ＦＯＲ_Ｖ）４０°×３０°、９０°×４０°、又は６０°×１５°によって表される視野を有することができる。図３は「ジグザグ」のパターン２６０を描いているが、他の実現態様は、代わりに他のパターン（例えば、平行、水平走査線）を採用してもよく、及び／又は特定の状況において他のパターンが採用されてもよい。

【0042】

図３の例示的な実現態様及び／又はシナリオにおいて、基準線２６２は、走査パターン２６０の視野の中心を表す。図３において、走査パターン２６０が６０°×１５°の視野を有する場合、走査パターン２６０は、基準線２６２に対して±３０°の水平範囲と、基準線２６２に対して±７，５°の垂直範囲とをカバーする。方位（方位角と呼ばれることがある）は、基準線２６２に対する水平方向の角度を表すことがあり、高度（高度角、または仰角と呼ばれることがある）は、基準線２６２に対する垂直方向の角度を表すことがある。

【0043】

走査パターン２６０は、複数の点又はピクセル２６４を含んでもよく、各ピクセル２６４は、1つ又は複数のレーザーパルス及び1つ又は複数の対応する距離測定に関連してもよい。走査パターン２６０の１サイクルは、Ｐ_ｘ×Ｐ_ｙのピクセル２６４の総数を含んでもよい（例えば、Ｐ_ｘ×Ｐ_ｙのピクセルの２次元分布）。水平方向に沿ったピクセル２６４の数は、走査パターン２６０の水平解像度と呼ばれることがあり、垂直方向に沿ったピクセル２６４の数は、走査パターン２６０の垂直解像度と呼ばれることがある。

【0044】

各ピクセル２６４は、距離／深度（例えば、対応するレーザーパルスが散乱されたターゲット２３０の部分までの距離）及び1つ又は複数の角度値と関連付けられてもよい。一例として、ピクセル２６４は、距離値、及びライダーシステム２００に対するピクセル２６４の角度位置を表す2つの角度値（例えば、方位及び高度）と関連付けられてもよい。ターゲット２３０の一部への距離は、対応するパルスの飛行時間測定に少なくとも部分的に基づいて決定されてもよい。より一般的には、各点またはピクセル２６４は、その2つの角度値に加えて、1つまたは複数のパラメータ値に関連付けられてもよい。例えば、各点又はピクセル２６４は、その点又はピクセルの角度値に加えて、深さ（距離）値、受信した光パルスから測定された強度値、及び／又は1つ以上の他のパラメータ値に関連付けられてもよい。

【0045】

角度値（例えば、方位または高度）は、出力ビーム２２５の角度（例えば、基準線２６２に対して）（例えば、対応するパルスがライダーシステム２００から出射されるとき）または入力ビーム２３５の角度（例えば、入力信号がライダーシステム２００によって受信されるとき）に対応し得る。いくつかの実現態様では、ライダーシステム２００は、スキャナ２２０のコンポーネントの位置に少なくとも部分的に基づいて角度値を決定する。例えば、ピクセル２６４に関連する方位値又は高度値は、スキャナ２２０の1つ又は複数の対応する走査ミラーの角度位置から決定されてもよい。基準線２６２に対応するゼロ高度、ゼロ方位角方向は、ライダーシステム２００のニュートラルルック方向（又はニュートラル視線方向）と呼ばれ得る。

【0046】

いくつかの実現態様では、ライダーシステムの光源は、スキャナや受光器など、ライダーシステムの他の構成要素の一部から遠隔に位置している。さらに、車両に搭載されるライダーシステムは、スキャナや受光器に比べて光源の数が少ない場合がある。

【0047】

図４Ａ及び図４Ｂは、コントローラ３０４が、車両３００の操縦及びその他の操作のために様々なコンポーネント３０２を操作できる例示的な自律車両３００を示す。これらのコンポーネントは、分かりやすくするために、図４Ａにおいて拡大図で描かれている。図１に図示された知覚コンポーネント１０４、予測コンポーネント１２０、およびセンサ制御コンポーネント１３０は、図４Ａの車両コントローラ３０４に実装され得る。

【0048】

構成要素３０２は、アクセル３１０、ブレーキ３１２2、車両エンジン３１４、ステアリング機構３１６、ブレーキライト、ヘッドライト、バックライト、非常灯などのライト３１８、ギアセレクタ３２０、及び／又は車両３００の移動を効果的に制御する他の適切な構成要素を含むことができる。ギアセレクタ３２０は、パークギア、リバースギア、ニュートラルギア、ドライブギアなどを含んでもよい。構成要素３０２の各々は、構成要素が車両コントローラ３０４から「速度を上げる」、「速度を下げる」、「左に５度曲がる」、「左方向指示器を起動する」等の指令を受け取り、場合によっては、車両コントローラ３０４にフィードバックを提供するインターフェースを含んでもよい。

【0049】

自律車両３００は、センサリンク３０６を介してコントローラに結合された複数のセンサヘッド３０８Ａ～Ｅを含むライダーシステムを備えることができる。センサヘッド３０８の各々は、例えば、光源及び受光器を含んでもよく、センサリンク３０６の各々は、1つ以上の光リンク及び／又は1つ以上の電気リンクを含んでもよい。図４Ａのセンサヘッド３０８は、車両の周囲の環境の３０度より大きい視野を提供するように位置付けられ、または配向される。より一般的には、複数のセンサヘッドを有するライダーシステムは、約３０°、４５°、６０°、９０°、１２０°、１８０°、２７０°、又は３６０°の車両周囲の水平視野を提供することができる。センサヘッド３０８の各々は、バンパー、フェンダー、グリル、サイドパネル、スポイラー、ルーフ、ヘッドライトアセンブリ、テールライトアセンブリ、バックミラーアセンブリ、フード、トランク、窓、または車両の他の任意の適切な部分に取り付けられてもよく、またはそれらに組み込まれてもよい。

【0050】

図４Ａの例では、5つのセンサヘッド３０８が、センサヘッド３０８に対して異なる視野を提供する位置で車両上に配置され（例えば、センサヘッド３０８の各々は、ライトアセンブリ、サイドパネル、バンパー、又はフェンダーに組み込まれてもよい）、レーザーが車両３００内（例えば、トランク内又はその付近）に配置されてもよい。）図４Ｂに示されるように、5つのセンサヘッド３０８は、それぞれ１２０°の水平方向の視野（ＦＯＲ）を提供してもよく、5つのセンサヘッド３０８は、共に車両の周りの完全な360°の視野を提供するように方向付けられてもよい。別の例として、ライダーシステム３０２は、車両３００上または周囲に配置された6つのセンサヘッド３０８を含んでもよく、センサヘッド３０８の各々は、６０°～９０°の水平方向のＦＯＲを提供する。別の例として、ライダーシステムは、8つのセンサヘッド３０８を含んでもよく、センサヘッド３０８の各々は、４５°～６０°の水平方向のＦＯＲを提供してもよい。さらに別の例として、ライダーシステムは6つのセンサヘッド３０８を含み、センサヘッド３０８の各々は、約１０°の隣接するセンサヘッド３０８間の重複を有する７０°の水平ＦＯＲを提供することができる。別の例として、ライダーシステムは、一緒になって30°以上の前方向水平ＦＯＲを提供する2つのセンサヘッド３０８を含んでもよい。

【0051】

図４Ｂに図示された実施形態では、センサヘッド３０８はそれぞれ、センサヘッド３０８のＦＯＲ間の重なりを提供する１２０°のＦＯＲを有している。例えば、センサヘッド３０８Ａ及び３０８Ｂは、センサヘッド３０８Ａ及び３０８Ｂの位置及び相対的な角度構成に起因して、約６０°のＦＯＲの重なりを有する。同様に、センサヘッド３０８Ｂと３０８Ｃ、およびセンサヘッド３０８Ａと３０８ＢのＦＯＲの重なりは、約６０°の重なりを有している。センサヘッド３０８のＦＯＲの不均一な空間分布及び配置のために、センサヘッド３０８Ｃ及び３０８Ｄ、並びにセンサヘッド３０８Ｄ及び３０８ＥについてのＦＯＲの重なりは、約３０°のより小さい重なりを有する。実施形態では、センサのＦＯＲの重なりは、センサヘッド３０８の数、及びセンサヘッドの空間的及び角度的配置に依存する任意の所望の重なりとなるように構成されてもよい。

【0052】

センサヘッド３０８の各々からのデータは、車両の周囲の３６０度以下の水平視野をカバーする点群を生成するために結合または組み合わせられてもよい。例えば、ライダーシステムは、（例えば、対応する電気リンク３０６を介して）センサヘッド３０８の各々からデータを受信し、受信したデータを処理して、車両の周囲の３６０度の水平視野をカバーする点群を構築し、又は1つ以上のターゲットへの距離を決定するコントローラ又はプロセッサを含んでもよい。点群または点群からの情報は、対応する電気、光学、または無線リンク３０６を介して、車両コントローラ３０４に提供されてもよい。車両コントローラ３０４は、1つ以上のＣＰＵ、ＧＰＵ、及び永続的なコンポーネント（例えば、フラッシュメモリ、光ディスク）及び／又は非永続的なコンポーネント（例えば、ＲＡＭ）を有する非一時的メモリを含んでもよい。

【0053】

いくつかの実現態様では、点群は、ライダーシステム内に含まれるコントローラで複数のセンサヘッド３０８のそれぞれからデータを結合することによって生成され、車両コントローラ３０４に提供される。他の実現態様では、センサヘッド３０８の各々は、車両の周りの360度水平ビューの一部について点群を構築し、それぞれの点群を車両コントローラ３０４に提供するコントローラ又はプロセッサを含む。次に、車両コントローラ３０４は、それぞれのセンサヘッド３０８からの点群を結合又は縫合して、360度の水平ビューをカバーする結合点群を構築する。さらに、いくつかの実現態様における車両コントローラ３０４は、点群データを処理するためにリモートサーバと通信する。

【0054】

いくつかの実現態様では、車両コントローラ３０４は、リンク３０６を介してセンサヘッド３０８から点群データを受信し、受信した点群データを、本明細書に開示する集約型又は個別SDCAのいずれか1つ以上を使用して解析し、ターゲット及びそのそれぞれの位置、距離、速度、形状、サイズ、ターゲットのタイプ（例えば、車両、人間、木、動物）等を感知又は識別する。次に、車両コントローラ３０４は、解析された情報に基づいて車両の動作を制御するために、リンク３０６を介してコンポーネント３０２に制御信号を提供する。

【0055】

ライダーシステムに加えて、車両３００は、慣性測定ユニット（ＩＭＵ）３３０及びカメラ、赤外線撮像装置、従来のレーダー（煩雑さを避けるために図示されていない）等の他のセンサ３３２を備えてもよい。他のセンサ３３２はそれぞれ、車両の周囲の３６０度の水平視野を生成するためにつなぎ合わされ得るそれぞれのＦＯＲを有していてもよい。実施形態において、他のセンサ３３２からのデータは、センサヘッド３０８からのデータと組み合わされて、車両３００の自律的な動作を可能にするためのデータセットを生成してもよい。センサ３３０及び３３２は、有線又は無線通信リンクを介して車両コントローラ３０４に追加のデータを提供することができる。さらに、例示的な実施形態における車両３００は、音源を決定するように構成された音響音源定位システムの一部として動作するマイクロホンアレイを含む。

【0056】

図４Ａに示されるように、車両コントローラ３０４は、知覚モジュール３５２及びモーションプランナー３５４を含むことができ、これらの各々は、ハードウェア、ファームウェア、ソフトウェア、又はハードウェア、ファームウェア、及びソフトウェアの任意の適切な組み合わせを使用して実現態様されることができる。図１の構成要素に関連して、知覚構成要素１０４は知覚モジュール３５２に含まれてもよく、予測構成要素１２０及びセンサ制御構成要素１３０は、例えば、モーションプランナー３５４に統合されてもよい。動作において、知覚モジュール３５２は、センサ３３０、３３２、３０８Ａ～Ｅなどからセンサデータを受信し、受信したセンサデータを知覚モデル３５３に適用して、道路の曲率、障害物の存在、障害物までの距離など、自律車両３００が動作している環境のパラメータを生成することができる。次に、知覚モジュール３５２は、これらの生成されたパラメータをモーションプランナー３５４に供給することができ、モーションプランナーは、自律車両３００を制御するための決定を生成し、アクセル３１０、ブレーキ３１２、車両エンジン３１４、ステアリング機構３１６などに対応する指令を提供する。

【0057】

モーションプランナー３５４は、任意の適切なタイプの１つまたは複数の規則、アルゴリズム、ヒューリスティックモデル、機械学習モデル、または他の適切な技術を利用して、上述のように知覚モデル３５３を利用する知覚モジュール３５２の出力に基づいて運転決定を行うことができる。例えば、いくつかの実現態様では、モーションプランナー３５４は、特定の信号または信号の組み合わせに応答して自律車両３００を制御するための特定の決定を行うための対応するアルゴリズムで構成される。別の例として、いくつかの実施形態では、モーションプランナー３５４のための機械学習モデルは、知覚モデル３５３が生成するタイプの環境パラメータの記述を使用して訓練され得る。追加の実施形態において、モーションプランナー３５４の機械学習モデルを訓練（トレーニング）するための仮想データ。例えば、モーションプランナー３５４は、「学習ベース」プランナー（例えば、教師あり学習または強化学習を使用して訓練されるプランナー）、「探索ベース」プランナー（例えば、連続Ａ^＊プランナー）、「サンプリングベース」プランナー（例えば、可能な決定の宇宙を表す空間においてランダム検索を実行するプランナー）、「予測制御ベース」プランナー（例えば、モデル予測制御（ＭＰＣ）プランナー）など、であってもよい。いずれにしても、訓練プラットフォームは、知覚モジュール３５２とは別個に、独立して、運動計画モデルを訓練することができる。

【0058】

図５Ａは、例示的な実世界の運転環境３８０を描写し、図５Ｂは、環境３８０を走査するライダーシステム（例えば、図２及び図３のライダーシステム２００又は図４Ａのライダーシステム）によって生成される例示的な点群３９０を描写している。図５Aに見られるように、環境３８０は、交通の2つの方向を分割する中央壁を有する高速道路を含み、各方向に複数の車線を有する。図５Bの点群３９０は、2つのライダーデバイスがそれぞれ略６０度の水平視野を捕捉し、2つの視野が小さな重なり３９２（例えば、２度または３度の重なり）を有する例示的な実施形態に対応するものである。点群３９０は、例えば、図４Ａ、図４Ｂのセンサヘッド３０８Ａ及び３０８Ｂを使用して生成されてもよい。点群３９０は、複数のセンサヘッド（例えば、センサヘッド３０８Ａ及び３０８Ｂ）からのデータを融合しているが、各点に、共通の原点及び基準視線方向を基準とした範囲、方位、及び仰角を割り当ててもよい。共通の原点は、複数のセンサヘッドの平均位置及び中立視線方向として指定されてもよく、又は任意の他の都合のよい点及び／若しくは視線方向として指定されてもよい。図５Ｂでは視覚的な画像として描かれているが、いくつかの実施形態では、点群３９０は、実際にユーザインターフェースを介してレンダリングまたは表示される必要はないことが理解される。

【0059】

（仮想地平線の決定）
図５Ｂに見られるように、点群３９０は、多数の実質的に連続した走査線として地面３９４（ここでは、路面）を描写し、また、地面３９４の上方に、多数の物体３９６を描写している。図１に戻って、撮像システム１００は、セグメント化、分類、及び追跡技術を使用して、点群３９０内の物体３９６の一部又は全部を特定することができる。例えば、セグメント化、分類、及び追跡モジュール１１２は、地面３９４の走査線における実質的なギャップ及び／又は他の不連続性を検出し、それらの不連続性の近傍における点のグループを離散物体として識別し得る。セグメント化、分類、及び追跡モジュール１１２は、任意の適切な規則、アルゴリズム、又はモデルを使用して、どの点が同じ物体に属するかを決定してもよい。物体３９６が識別されると、図１のセグメント化、分類、及び追跡モジュール１１２は、点群３９０と同様の将来の点群にわたって（すなわち、複数の点群フレームにわたって）物体を分類及び／又は追跡するよう試みてもよい。

【0060】

いくつかの実現態様では、識別された物体３９６は、環境３８０を走査するライダーシステム（例えば、図４Ａ、図４Ｂのセンサヘッド３０８Ａ及び３０８Ｂ）のための焦点の領域を決定及び制御する際に使用されてもよい。一方、図１のＶＲＯＩ検出モジュール１１０によって生成された信号は、ライダーシステムのための焦点の領域を決定する際の処理量、ひいては遅延を減少させ得る。ＶＲＯＩ検出モジュール１１０は、2つのヒューリスティックアルゴリズムを使用して、点群３９０（又は点群３９０の一部）を処理して、（i）ＶＲＯＩの下限、（ii）ＶＲＯＩの上限、仮想地平線、及び物体分割又は分類を使用せずに焦点領域を決定してもよい。アルゴリズムの各々は、受容野３９８と呼ばれる物理空間の領域に対応し得る点群３９０の少なくとも一部を使用してもよい。例示的な受容野３９８は、説明のために点群３９０にマッピングされる。受容野３９８の破線は、センサ（又はセンサ群）からある最小距離を越えて、中立視線方向からある方位範囲内に横たわる点に対応する点群３９０のセクションを画定している。

【0061】

ＶＲＯＩの下限は、ある範囲（例えば、受容野３９８）内で、相対仰角の最低角に対応するセンサデータのサブセットを識別することに少なくとも部分的に基づいてもよい。いくつかの実現態様では、相対仰角の最低角に対応するセンサデータのサブセットは、ライダーシステムの同じ走査線に関連付けられることがある。すなわち、ＶＲＯＩ検出モジュール１１０は、複数のライダー走査線に対応する相対仰角を決定し、相対仰角が最も低い適切な走査線を特定してもよい。

【0062】

相対仰角の角度は、センサを起点とする光線に関して決定される必要はない。いくつかの実現態様では、相対仰角の角度を決定するための基準点及び／又は光線は、以下で議論するように、センサの下方の指定された高度であってもよい。ＶＲＯＩの下限は、以下でより詳細に議論されるように、車両の前方の水平面（例えば、道路）からの反射を示すことができる。

【0063】

ＶＲＯＩの上限は、ある範囲（例えば、受容野３９８）内のセンサデータの少なくともサブセットについて代表的な仰角を特定することに少なくとも部分的に基づいてもよい。代表的な仰角を特定する際に、撮像システム１００は、センサデータのサブセット内の各点からの寄与を重み付けして集計することができる。したがって、いくつかの実現態様では、ＶＲＯＩの上限は、高度に関するデータ（または戻り値、または情報）の密度のピークを示すことができる。言い換えれば、ＶＲＯＩの上限は、（ある受容野内の）データの大部分又は最大の密度がセンサによって収集される高度を示すものであってもよい。すなわち、ＶＲＯＩの上限は、センサデータが地平線の高度付近及びそれよりわずかに上の高度に多く集中するというヒューリスティックに基づいてもよい。

【0064】

図６は、ＶＲＯＩ検出モジュール１１０がＶＲＯＩ６１０を識別し得る内のシーン６００を示す。そのために、ＶＲＯＩ検出モジュール１１０は、図９～図１２の文脈で簡単に上述し、より詳細に後述するアルゴリズムに基づいて、ＶＲＯＩ６１０の下限６１５及び上限６２０を生成してもよい。シーン６００は、例えば図３に例示されたライダーシステム２００のＦＯＲのようなセンサのＦＯＲによって差し引かれるシーンに対応してもよい。シーン６００はまた、複数のセンサヘッド（例えば、図４Ａ、図４Ｂのセンサヘッド３０８Ａ及び３０８Ｂ）のＦＯＲの組合せを表してもよい。シーン６００は、地平線高度の下位推定値６１５及び上位推定値６２０に基づいてＶＲＯＩを検出するための可能な文脈を例示する目的で、点群３９０ではなく、観察されたドライバ環境（運転環境３８０に類似）を描写している。いくつかの実現態様では、センサパラメータを調整するために、地平線高度の下位推定値６１５及び上位推定値６２０の視覚的表示が生成される必要はない。他の実現態様では、地平線の下位推定値６１５及び上位推定値６２０の少なくとも1つの線又は他の視覚的表示が、センサによって生成された点群（すなわち、地平線推定値のソースデータ）の表示上又はセンサのＦＯＲと好適に整列したカメラビューのビデオ表示上にオーバーレイされてもよい。

【0065】

ＶＲＯＩ検出モジュール１１０は、地平線高度の下位推定値６１５及び上位推定値６２０を組み合わせて、地平線高度角の中間推定値６２５、又はより簡潔に言えば、推定地平線角度を生成してよい。いくつかの実現態様では、ＶＲＯＩ検出モジュール１１０は、地平線高度の下位推定値６１５及び上位推定値６２０の平均として推定地平線６２５を算出してもよい。他の実現態様では、地平線高度の下位推定値６１５及び上位推定値６２０の加重平均は、後述するように、下位推定値６１５及び上位推定値６２０の対応する信頼度尺度に応じて、推定地平線６２５をもたらす。さらに、ＶＲＯＩ検出モジュール１１０は、例えば、地平線高度の下位推定値６１５と上位推定値６２０との間の差に基づき、推定地平線６２５に対する信頼性の尺度を計算してもよい。例えば、１°未満、２°未満、又は任意の適切な角度範囲の差は、推定地平線６２５の高い信頼度を示し、２°以上、３°以上、４°以上、又は任意の適切な角度範囲の差は、推定地平線６２５の低い信頼度を示すことがある。信頼度の尺度（不確実性のメトリックと呼ばれてもよい）が特定の閾値角度値（例えば、３°）を超える場合、走査パターンは、デフォルト走査パターンに設定されてもよい。デフォルト走査パターンは、走査線の特定の分布を含む走査パターンであってもよい（例えば、図７A、７Ｂ、８Ａ、または８Ｂ）。１つ以上のデフォルト走査パターンは、ライダーシステム（例えば、ライダーシステム２００）内に格納されてもよく、ライダーシステムは、推定地平線６２５の信頼度が低い場合、デフォルト走査パターンの1つに切り替えてもよい。

【0066】

ＶＲＯＩ検出モジュール１１０は、推定された地平線６２５から下部角度マージン

【数1】

を減算することによって、推定された地平線６２５に基づくＶＲＯＩ６１０の拡張下部境界６３０を決定してよい。同様に、ＶＲＯＩ検出モジュール１１０は、推定された地平線６２５に上部角度マージン

【数2】

を加えることによって、推定された地平線６２５に基づくＶＲＯＩ６１０の拡張上部境界６４０を決定してもよい。いくつかの実現態様では、下部および上部角度マージンは、等しくてもよい。さらに、下部および上部角度マージンは、推定された地平線６２５に対する信頼度の尺度を考慮して計算されてもよい。いくつかの実現態様では、マージン

【数3】

は、地平線高度の下位推定値６１５と上位推定値６２０との間の角度差に設定されてもよい。一般に、ＶＲＯＩ検出モジュール１１０は、ＶＲＯＩ６１０の範囲（例えば、拡張上部境界６４０と拡張下部境界６３０との差）を、推定地平線６２５の信頼度が低い場合に大きな値に設定し、推定地平線６２５の信頼度が高い場合に小さな値に設定してもよい。

【0067】

ＶＲＯＩ６１０の拡張下限境界６３０および拡張上限境界６４０は、知覚コンポーネント１０４によって図１のセンサ制御コンポーネント１３０に送信された知覚信号１０６に含まれてもよい。次いで、センサ制御コンポーネント１３０のパラメータ調整モジュール１３６は、センサ１０２のパラメータを調整してもよい。例えば、センサ制御コンポーネント１３０は、ライダー（例えば、ライダーシステム２００）のＦＯＲを調整してもよい。加えて、または代わりに、パラメータ調整モジュール１３６は、ライダーの走査パターン（例えば、走査パターン２６０）を調整してもよい。

【0068】

図７Ａは、ＶＲＯＩ検出モジュール１１０によって生成され、知覚信号１０６に含まれるＶＲＯＩパラメータに応答して、パラメータ調整モジュール１３６によって調整される走査パターン７１０を示す図である。走査線７２０は、推定された地平線６２５の仰角における走査線を表し、推定された地平線６２５からの仰角偏差に伴ってライン密度が徐々に減少することがある。走査線の角度分布におけるピークの幅は、推定地平線６２５の信頼度に基づいてもよく、信頼度が低下すると走査線の分布は広がる。

【0069】

図７Ｂは、ＶＲＯＩ検出モジュール１１０によって生成されたＶＲＯＩパラメータに応答して、パラメータ調整モジュール１３６によって調整された別の走査パターン７５０を示す。走査パターン７５０は、地平線領域７６０、道路領域７６２、及び空領域７６４として指定されることができる3つの領域を含む。高度に関して最大の走査線密度を有する地平線領域７６０は、ＶＲＯＩ検出モジュール１１０によって決定されたＶＲＯＩ６１０に対応してもよい。道路領域７６２は、地平線領域７６０よりも低い走査線密度を有するが、空領域７６４よりも高い走査線密度を有してもよい。

【0070】

パラメータ調整モジュール１３６は、ＶＲＯＩ検出モジュール１１０によって生成されたパラメータに基づいて、走査線の他の密度分布を構成してよい。分布は、均一な走査線密度の1つ以上の領域及び／又は可変の走査線密度の領域を含んでもよい。

【0071】

図８Ａ及び図８Ｂは、センサ（例えば、ライダーシステム２００）の中立視線方向（例えば、基準線２６２）に対する仰角の関数として可能な走査線密度分布８１０のグラフ表現である。センサ制御コンポーネント１３０は、ＶＲＯＩ検出モジュール１１０によって決定された仰角に基づいて分布８１０を設定してもよい。下部地平線推定線８１５及び上部地平線推定線８２０は、地平線の高度の下位推定値６１５及び上位推定値６２０にそれぞれ対応してもよい。地平線８２５は、決定された地平線高度６２５に対応してもよい。拡張下部ＶＲＯＩ境界線８３０及び拡張上部ＶＲＯＩ境界線８４０は、ＶＲＯＩ６１０の拡張下部６３０及び拡張上部境界線６４０に対応してもよい。図８Ａに示されるように、分布８１０は、例えば、最低角度と拡張下部ＶＲＯＩ境界線８３０との間の低高度「道路」領域、下部地平線推定線８１５と上部地平線推定線８２０との間の中央均一密度領域、拡張下部ＶＲＯＩ境界線８４０と走査パターンの最高角度との間の高高度均一密度領域、を含んでもよい。均一密度領域は、走査線密度領域を（例えば、直線的に）変化させることによって連結されてもよい。正規化された走査線密度の単位値は、仰角１度あたりの走査線の２、５、１０、２０、５０又は他の任意の適切な数に対応してもよい。いくつかの実現態様では、中心均一密度領域は、ＶＲＯＩ検出モジュール１１０によって決定されたＶＲＯＩ（例えば、ＶＲＯＩ６１０）と一致するように設定されてもよい。高仰角均一密度領域は、図７Ｂの空領域７６４と同様に、ピーク走査線密度よりも２、５、１０0又は任意の他の適切な因子だけ低い、比較的低い走査線密度を有していてもよい。遷移の角度範囲（線８２０と８４０の間、及び線８３０と８１５の間）は、仮想地平線の推定値に対する信頼度の尺度、及びそれに対応して、ＶＲＯＩの下限と上限（例えば、境界６１５と６２０）の間の角度差に依存してもよい。図８Ｂに示されるように、最低角とライン８１５との間の低高度可変密度領域は、車両から遠く離れるほど走査線の角度密度が増加する、センサの前方の道路領域（例えば、道路領域７６２）をカバーするように構成されてもよい。図８Ａ及び図８Ｂの走査線の角度分布は、セグメント化、分類、及び追跡モジュール１１２による走行環境の解析の精度を向上させ、予測コンポーネント１２０による走行環境のより正確な予測を可能にすることができる。

【0072】

運転環境に関して所望の走査線分布を維持するために、撮像システムは、図に示されるフローチャートに従って方法９００を実施することができる。明確にするために、方法９００は、図１０～図１２の例と同様に、主に図１の撮像システム１００を参照して以下に説明される。

【0073】

ブロック９１０において、撮像システム１００は、車両が環境（例えば、走行環境３８０）を移動する際に車両（例えば、車両３００）の撮像センサ（例えば、図２のライダーシステム２００、又は図４Ａ、図４Ｂのセンサヘッド３０８Ａ及び３０８Ｂ等のセンサヘッドの組み合わせ）によって生成されたセンサデータを受信し得る。いくつかの実現態様では、ＶＲＯＩ検出モジュール１１０は、ＶＲＯＩによる後続の処理に先立ち、受容野（例えば、受容野３９８）の外に該当する受信センサデータを破棄する。

【0074】

ＶＲＯＩの下限および上限を決定するために、ＶＲＯＩ検出モジュールは、以下に説明するように、受信したセンサデータから、ＶＲＯＩの下限を決定するための第１のサブセットおよび上限を決定するための第２のサブセットを選択してもよい。

【0075】

ブロック９２０において、ＶＲＯＩ検出モジュール１１０は、受信したセンサデータの好適なサブセットを検出することに少なくとも部分的に基づいて、ＶＲＯＩの下界を決定する。いくつかの実現態様では、好適なサブセットは、最小相対高度メトリックを有することができる。そのために、ＶＲＯＩ検出モジュール１１０は、まず、撮像センサのニュートラルルック方向に対するある対応する高度にそれぞれ関連付けられた、データの複数のサブセット（例えば、対応するライダー走査線によってグループ化された）を特定してもよい。データの識別されたサブセットのそれぞれについて、ＶＲＯＩ検出モジュール１１０は、受容野の点を選択し、受容野の点の位置に基づいてサブセット内の各点に重みを割り当ててもよい。その後、ＶＲＯＩ検出モジュール１１０は、各サブセット内の点の加重寄与を使用して、サブセットについて対応する相対高度メトリックを計算し、最小相対高度メトリックを有するサブセットを選択してもよい。

【0076】

ライダー走査線に対応するデータのサブセット内の点に重みを割り当てる例について、図１０Ａの文脈で説明する。図１０Ａは、ＶＲＯＩ検出モジュールによって使用されるようにライダーシステム１０１０（例えば、図２のライダーシステム２００、又は図４Ａ、図４Ｂのセンサヘッド３０８Ａ及び３０８Ｂなどのセンサヘッドの組み合わせ）によって収集されたデータのサブセットを選択するための例示的な受容野１００５の上面図である。受容野１００５は、最小範囲線１００６及び方位角境界１００７ａ、ｂによって境界付けられてもよい。受容野１００５、Ω、は、次のように表されてもよい。

【数4】

フレーム内の点の全集合Ｐにおけるインデックスｉを有するすべての点、ｐ_ｉは、中立視線方向線１０２０に対する方位角、

【数5】

がある最大絶対値の方位偏差、

【数6】

より大きくなく、範囲、ｒ_ｉが最小範囲、ｒ_ｍｉｎより小さくない集合として定義される。１４個のデータ点の例示的なセット１０１１は、ライダーシステム１０１０の単一の走査線からの点を表し、例示的な点１０１２ａ，ｂは受容野１００５の外側に存在し、例示的な点１０１２ｃ、ｄは受容野１００５の内側に存在する。

【0077】

ＶＲＯＩ検出モジュール１１０は、例えば、ライダーシステム１０１０から遠く、中立視線方向線１０２０に対して方位角が近い点により多くの影響を与えるように、受容野１００５内の各データ点に重みを割り当ててもよい。例えば、インデックスｊを有する点に対する重みは、以下の通りであってもよい。

【数7】

ここで、ｒ_ｊはライダーシステム１０１０からの距離、

【数8】

は中立視線方向線１０２０からの最大方位差の絶対値（例えば、方位差境界線１０７ａ、ｂによって定義される）、

【数9】

は当該地点の方位差の絶対値である。この例では、方位境界１００７ａ、ｂのいずれかに近い点の重みがゼロに近づく。

【0078】

図１０Ｂは、上記の図１０Ａの文脈で議論されたライダーデータの側面図である。図１０Ｂは、ＶＲＯＩ検出モジュール１１０が、重み付けされた点を使用して、受容野１００５内に横たわる走査線点のサブセットに対する相対的な高度のメトリックを計算し得る方法を例示するのに役立つ。上述したように、点１０１２ａ～ｄは、高度方向１０２２によって表される同じ走査線に属していてもよい。したがって、点１０１２ａ～ｄは、ライダーシステム１０１０の観点から中立視線方向１０２０に対して同じ仰角αを有する。各点について、相対仰角、α’は、例えば、ライダーシステム１０１０の開口の下にオフセット高さｈに存在する基準点１０３０の観点からの中立視線方向１０２０に平行な方向１０４０に対する仰角として定義されてもよい。インデックスｊを有する各点について、相対仰角は、以下のように計算されてもよい。

【数10】

ここで、α_０は適切な一定のオフセット角（例えば、正の相対仰角を確保するために使用されてもよい）、ｈ_ｊは中立視線方向１０２０に対する点の高さ、ｄ_ｊは中立視線方向１０２０に沿ったライダーシステム１０１０から点の距離である。点の高さは、実現態様に応じて
ｈ_ｊ＝ｄ_ｊｔａｎ（α_ｊ） または
ｈ_ｊ＝ｒ_ｊｔａｎ（α_ｊ）
として推定されてもよい。
ここで、α_ｊは、中立視線方向１０２０に対する点の仰角（これは、走査線内のすべての点に対して同じα_ｊ＝αであってよい）であり、ｒ_ｊは、ライダーシステム１０１０からの距離である。オフセット高さｈは、地面に対するライダー開口の高さの適切な因子（例えば、１、２、３）になるように選択されてもよい。因子が２であるとき、基準点１０３０は、地面に対するライダー開口の鏡面の点を表してもよい。

【0079】

ＶＲＯＩ検出モジュール１１０は、上述したように、受容野１００５内に入る走査線のすべての点に対する相対仰角の加重平均（例えば、調和、算術、幾何）としてライダーラインに対する相対仰角を計算することができる。例えば、相対仰角α’_ｊ及び重みｗ_ｊを有する点からなるインデックスｋの走査線について、相対仰角は、以下のように計算されてもよい。

【数11】

【0080】

ＶＲＯＩ検出モジュール１１０は、その後、最小相対高度ｍｉｎ（α’_ｋ）を有する走査線を選択し、走査線の高度をＶＲＯＩの下限として使用することができる。いくつかの実現態様では、高度α_ｊは、走査線内のすべての点に対して同じでなくてもよく、ＶＲＯＩ検出モジュールは、高度α_ｊの加重平均（例えば、重みｗ_ｊを有する算術平均）を走査線の高度として用いてもよい。いくつかの実現態様では、高度α_ｊが走査線内のすべての点に対して同じでない場合、ＶＲＯＩ検出モジュール１１０は、高度α_ｊを走査線の高度として平均化してもよい。いくつかの実現態様では、受容野１００５内に最小数のデータ点（例えば、２、５、１０、２0、又は任意の適切な数）を有さない走査線は、ＶＲＯＩの下限を決定するための考慮から除外されてもよい。

【0081】

図９の方法９００に戻ると、ブロック９３０で、ＶＲＯＩ検出モジュール１１０は、センサデータの第２のサブセットを使用してＶＲＯＩの上界を決定してもよい。ＶＲＯＩ検出モジュールは、複数のライダー走査線からセンサデータの第２のサブセットを組み立ててもよい。いくつかの実現態様では、ＶＲＯＩ検出モジュール１１０は、受容野（例えば、受容野１００５）内に入る点群フレーム内のすべての点の集合に基づいて、ＶＲＯＩの上限を決定してもよい。したがって、第２のサブセットは、第１のサブセットよりも大きくてもよく、第１のサブセットを完全に含んでもよい。ＶＲＯＩ検出モジュールは、以下に説明する技術に従って、第２のサブセットの集合的な仰角として、ＶＲＯＩの上限を計算してもよい。ＶＲＯＩの下限を決定するのと同様に、ＶＲＯＩ検出モジュールは、ライダーの中立視線方向において方位角方向に近く、ライダーから遠い点を強調して、点に重みを割り当ててもよい。いくつかの実現態様では、ＶＲＯＩの上限を決定するための受容野は、ＶＲＯＩの下限を決定するための受容野と異なってもよい。同様に、いくつかの実現態様では、ＶＲＯＩの上限を決定するための受容場内の点の重みは、上限推定値を決定するための受容野内の点の重みとは異なる方位角及び範囲に対する依存性を有していてもよい。

【0082】

ＶＲＯＩの上限を決定することは、図１１Ａ～図１１Ｃの文脈で考えることができる。図１１Ａは、ライダー点群を表す可能性のあるセンサデータ１１００のセットを示す。図１１Ｂは、ＶＲＯＩの上界を決定するための第２のサブセット１１０４を示す。ＶＲＯＩ検出モジュールは、上限仰角βを、

【数12】

として計算されるものであってもよい。ここで、和は、受容野の点を表す（すなわち、ｐ_ｉ∈Ωのように）すべてのｉにわたってとられる。ｗ_ｉは対応する重み、α_ｉは対応する仰角、α_０はα_ｉ＋α_０が常に正となるような適切なオフセット角である。調和平均を計算した後、オフセット角度α_０を減算して、角度を中立視線方向に関して元の参照フレームにシフトバックさせる。いくつかの実現態様では、ＶＲＯＩ検出モジュール１１０は、第２のサブセット内の点の仰角の平均として計算された集計仰角として、ＶＲＯＩの上限を計算してもよい。遠方の物体（例えば、点群１１０６ａ、ｂ）からの戻り光は、ＶＲＯＩの上限の決定にかなり影響する可能性がある。撮像システム１００は、第２のサブセット１１０４の加重調和平均の上界インジケータ1１１０として上界を表示してもよい。

【0083】

ＶＲＯＩ検出モジュール１１０がＶＲＯＩの下限及びＶＲＯＩの上限を決定すると、画像処理システム１００は、図１１Ｃに示されるように、ディスプレイ上に点群データと重ねて計算されたＶＲＯＩ境界の一方又は両方を表示し得る。ディスプレイは、リアルタイムで変化する上限及び下限を表示してもよく、又はセンサ制御アーキテクチャは、別の時間に表示するために、決定された境界及び点群データを記憶してもよい。ＶＲＯＩの上限及び下限を対応して表す上部地平線インジケータ1１１０及び／又は下部地平線インジケータ１１１５は、ＶＲＯＩを決定する方法９００のための視覚的出力を提供してもよい。しかしながら、一般に、撮像システム１００は、方法９００の実行中に生成された他の値をユーザインターフェースを介して表示する必要はなく、図１１Ｃは、撮像システム１００が、例えば機械学習モデルの訓練を行うオペレータまたは自動運転車両の乗客に仮想地平線、下限、および上限の推定値の視覚化を提供する単なる一例の実現態様を示すものである。

【0084】

ブロック９４０において、撮像システム１００は、ＶＲＯＩの決定された下限及びＶＲＯＩの決定された上限に従って撮像センサを調整してもよい。例えば、撮像システム１００は、撮像センサの垂直視野（例えば、ライダーシステム２００のＦＯＲv）を1つ又は複数の方法で調整してもよい。撮像システム１１０は、撮像センサの中立視線方向を、決定されたＶＲＯＩ内に収まるように調整してもよい。例えば、車両の基準フレームにおいて－１５°から１５°までの垂直視線方向を差し引く撮像センサを有する撮像システム１００は、－５°と－３°の間の視線方向によって囲まれるＶＲＯＩを決定してもよい。そして、撮像システム１００は、ＶＲＯＩを中心に、車両に対して－１９°から１１°を差し引くように撮像センサを調整してもよい。あるいは、撮像システム１００がライダーシステムを含む場合（例えば、撮像センサはライダーシステム２００である）、撮像システム１００は、（例えば、図７Ａ～図７Ｂ及び図８Ａ～図８ＢBに示されるように）走査線の垂直密度を調整して、－５°と－３°との間のＶＲＯＩ領域において高い密度を有していてもよい。それでも、いくつかの実現態様では、1つ又は複数のＶＲＯＩ判定に応答して、撮像システム１００は、ＦＯＲvのサイズを減少又は増加させることによってライダーシステムの走査パターンを調整してもよい。例えば、撮像システム１００は、ＦＯＲvの中心近くに一貫して高い信頼度で留まるＶＲＯＩに応答して、ＦＯＲvのサイズ（例えば、３０から２５または２０度まで）を減らしてもよい。逆に、画像処理システム１００は、例えば、坂の多い道路、及び／又は車両の前方の頻繁に変化する光景のために、ＶＲＯＩ決定がかなり変化する場合、ＦＯＲvのサイズを（例えば、３５度又は４０度に）増加させてもよい。

【0085】

さらに明確にするために、図１２Ａ～図１２Ｃは、異なる道路構成を有する運転環境１２００ａ～ｃにおけるＶＲＯＩの上限および下限を決定するためのアルゴリズムの適用を示す。対応するセンサ１２０４ａ～ｃを有する車両１２０２ａ～ｃは、対応する道路１２０６ａ～ｃに沿って移動してもよい。センサ１２０４ａ～ｃは、対応する道路１２０６ａ～ｃの実質的に水平な表面を示すデータを収集するライダーセンサであってもよく、また、道路表面の実質的に上にある対応する物体１２０８ａ～ｃからデータを収集してもよい。センサ１２０４ａ～ｃの中立視線方向１２１０ａ～ｃは、ＶＲＯＩ下限値に対応するルック方向１２１５ａ～ｃとＶＲＯＩ上限値に対応する視線方向１２２０ａ～ｃとの間に位置するＶＲＯＩを実質的に見逃す可能性がある。

【0086】

図１２Ａ～図１２Ｂの非凹型道路構成の場合、ＶＲＯＩ下限の視線方向１２１５ａ、ｂは、対応するセンサ１２０４ａ、ｂの範囲内で対応する道路１２０６ａ、ｂ上の実質的に最も遠い点に対応する場合がある。上述したように、対応するＶＲＯＩ下限は、基準点１２２５a、bに対して実質的に最小化された相対仰角α’を有するライダー走査線に対応してもよい。ＶＲＯＩ上限の視線方向１２２０a、bは、路面上の物体１２０８ａ、ｂによって実質的に影響を受けることがある。

【0087】

一方、図１２Ｃの凹型の道路構成は、基準点１２２５ｃに対して実質的に最小化された相対仰角α’に対応するセンサ点のサブセットよりも遠い道路１２０６ｃ上の多くの可視点を残す可能性がある。道路１２０６ｃの上昇区間は、ＶＲＯＩ及び対応する視線方向１２２０ｃの上限を上昇させ、ＶＲＯＩを増加させる上で、物体１２０８ｃの影響に相当に寄与する可能性がある。

【0088】

（一般的な注意事項）
いくつかの場合において、コンピューティングデバイスは、本明細書に開示される様々なモジュール、回路、システム、方法、またはアルゴリズムステップを実装するために使用されてもよい。一例として、本明細書に開示されるモジュール、回路、システム、方法、又はアルゴリズムの全て又は一部は、汎用のシングル又はマルチチッププロセッサ、デジタル信号プロセッサ（ＤＳＰ）、ＡＳＩＣ、ＦＰＧＡ、任意の他の適切なプログラマブルロジックデバイス、離散ゲート又はトランジスタロジック、離散ハードウェア部品、又はそれらの任意の適切な組み合わせによって実現態様又は実行されてもよい。汎用プロセッサは、マイクロプロセッサ、または従来のプロセッサ、コントローラ、マイクロコントローラ、または状態機械のいずれであってもよい。プロセッサは、例えば、ＤＳＰとマイクロプロセッサの組み合わせ、複数のマイクロプロセッサ、ＤＳＰPコアと組み合わせた1つ以上のマイクロプロセッサ、または他の任意のそのような構成など、コンピューティングデバイスの組み合わせとして実装することも可能である。

【0089】

特定の実施形態では、本明細書に記載された主題の1つ以上の実現態様は、1つ以上のコンピュータプログラム（例えば、コンピュータ可読な非一時的記憶媒体に符号化または格納されたコンピュータプログラム命令の1つ以上のモジュール）として実装されてもよい。一例として、本明細書に開示される方法又はアルゴリズムのステップは、コンピュータ可読な非一時的記憶媒体に常駐し得るプロセッサ実行可能なソフトウェアモジュールに実装されてもよい。特定の実施形態では、コンピュータ可読非一時的記憶媒体は、コンピュータソフトウェアを格納または転送するために使用され、コンピュータシステムによってアクセスされ得る任意の適切な記憶媒体を含んでもよい。ここで、コンピュータ読み取り可能な非一時的記憶媒体またはメディアは、1つまたは複数の半導体ベースのまたは他の集積回路（ＩＣ）（例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または特定用途向けＩＣ（ＡＳＩＣ）等）、ハードディスクドライブ（ＨＤＤ）、ハイブリッドハードディスク（ＨＨＤ）、光ディスク（例えば,コンパクトディスク（ＣＤ）、ＣＤ－ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）、ブルーレイディスク、またはレーザーディスク（登録商標））、光ディスクドライブ（ＯＤＤ）、光磁気ディスク、光磁気ドライブ、フロッピーディスク（登録商標）、フロッピーディスクドライブ（ＦＤＤ）、磁気テープ、フラッシュメモリ、半導体ドライブ（ＳＳＤ）、ＲＡＭ、ＲＡＭドライブ、ＲＯＭ、セキュアデジタルカードまたはドライブ、他の任意の適切なコンピュータ可読な非一時的ストレージメディア、またはこれらの2以上の任意の適切な組み合わせ、必要に応じて、これらのうち、任意の組み合わせであってもよい。コンピュータ読み取り可能な非一時的記憶媒体は、必要に応じて、揮発性、不揮発性、または揮発性と不揮発性の組合せであってもよい。

【0090】

場合によっては、別々の実現態様の文脈で本明細書に記載された特定の特徴も、単一の実現態様において組み合わされて実装されるものであってもよい。逆に、単一の実現態様の文脈で説明される様々な特徴は、複数の実現態様において別々に、または任意の適切なサブコンビネーションで実装されることもある。さらに、特徴は、特定の組み合わせで作用するものとして上述され、当初はそのように主張されることさえあるが、主張された組み合わせの1つ以上の特徴、場合によっては、組み合わせから切除され、主張された組み合わせは、サブコンビネーションまたはサブコンビネーションの変形に向けられる可能性がある。

【0091】

操作が特定の順序で起こるように図面に描かれることがあるが、これは、そのような操作が示された特定の順序で、または連続した順序で行われること、またはすべての操作が行われることを要求していると理解されるべきではない。さらに、図面は、フローチャートまたはシーケンス図の形態で、1つのより例示的なプロセスまたは方法を模式的に示すことができる。しかし、示されていない他の操作が、模式的に示されている例示的なプロセスまたは方法に組み込まれてもよい。例えば、1つ以上の追加の操作は、図示された操作のいずれかの前、後、同時に、又はその間に実行されてもよい。さらに、図に描かれた1つ以上の操作は、適切な場合には、繰り返されてもよい。さらに、図に描かれた操作は、任意の適切な順序で実行されてもよい。さらに、特定の構成要素、装置、またはシステムは、特定の動作を実行するものとして本明細書に記載されているが、任意の適切な構成要素、装置、またはシステムの任意の適切な組み合わせは、任意の適切な動作または動作の組み合わせを実行するために使用されてもよい。特定の状況において、マルチタスク又は並列処理動作が実行されてもよい。さらに、本明細書で説明する実現態様における様々なシステム構成要素の分離は、すべての実現態様においてそのような分離を必要とすると理解されるべきではなく、説明するプログラム構成要素とシステムは、単一のソフトウェア製品に一緒に統合されてもよく、複数のソフトウェア製品にパッケージ化されてもよいと理解されるべきである。

【0092】

添付の図面に関連して、様々な実施態様を説明してきた。しかしながら、図が必ずしも縮尺通りに描かれていない場合があることを理解されたい。一例として、図に描かれた距離又は角度は例示であり、図示されたデバイスの実際の寸法又はレイアウトと必ずしも正確な関係を有さない場合がある。

【0093】

本開示の範囲は、当技術分野における通常の技術を有する者が理解するであろう、本明細書に記載又は図示された例示的な実施形態に対するすべての変更、置換、変形、改変、及び修正を包含する。本開示の範囲は、本明細書で説明又は図示された例示的な実施形態に限定されない。さらに、本開示では、特定の構成要素、要素、機能、操作、又はステップを含むものとして本明細書のそれぞれの実施形態を説明又は図示しているが、これらの実施形態のいずれもが、当業者が理解するであろう、本明細書のどこかで説明又は図示している構成要素、要素、機能、操作又はステップのいずれかの組み合わせ又は順列を含んでもよい。

【0094】

本明細書で使用される用語「または」は、明示的に他の方法で示されるか、または文脈によって他の方法で示されない限り、包含的なもの、または任意の1つもしくは任意の組み合わせを意味するものとして解釈される。したがって、本明細書において、「ＡまたはＢ」という表現は、「Ａ、Ｂ、または、ＡとＢの両方」を意味する。別の例として、本明細書では、「Ａ、Ｂ、またはＣ」は、Ａ、Ｂ、Ｃ、Ａ及びＢ、Ａ及びＣ、Ｂ及びＣ、Ａ及びＢ及びC、のうちの少なくとも1つを意味する。この定義の例外は、要素、装置、ステップ、または操作の組み合わせが、何らかの方法で本質的に相互に排他的である場合に発生する。

【0095】

本明細書で使用される場合、限定されないが、「約」、「実質的に」、又は「略」などの近似の言葉は、そのように変更された場合、必ずしも絶対又は完全ではないと理解されるが、その状態が存在すると指定することを保証するために当業者にとって十分な程度に近いと考えられる状態を参照する。説明をどの程度変えることができるかは、どの程度大きな変更を行うことができ、なおかつ当業者に、変更された特徴が変更されていない特徴の要求特性または能力を有すると認識させることができるかに依存することになる。一般的に、ただし前述の議論に従うと、「約」などの近似の言葉によって修正される本明細書の数値は、記載された値から±０．５％、±１％、±２％、±３％、±４％、±５％、±１０％、±１２％、または±１５％変動し得る。

【0096】

本明細書で使用されるように、用語「第１」、「第２」、「第３」などは、それらが先行する名詞のラベルとして使用されてもよく、これらの用語は、必ずしも特定の順序（例えば、特定の空間的、時間的、または論理的な順序）を意味しない場合がある。一例として、システムは、「第１の結果」及び「第２の結果」を決定すると説明されてもよく、「第１の」及び「第２の」という用語は、第１の結果が第２の結果の前に決定されることを必ずしも意味しない場合がある。

【0097】

本明細書で使用されるように、用語「に基づく」および「に少なくとも部分的に基づく」は、決定に影響を与える1つまたは複数の要因を説明または提示するために使用される。これらの用語は、決定に影響を与える可能性のある追加の要因を除外しないことがある。判定は、提示されたこれらの要因のみに基づいてもよいし、これらの要因に少なくとも部分的に基づいてもよい。「Ｂに基づいてＡを判定する」という表現は、ＢがＡの判定に影響を与える要因であることを示している。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5A】

【図5B】

【図6】

【図7A】

【図7B】

【図8A】

【図8B】

【図9】

【図10A】

【図10B】

【図11A】

【図11B】

【図11C】

【図12A】

【図12B】

【図12C】