IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ズークス インコーポレイテッドの特許一覧

特表2023-514618レーダー追跡されたオブジェクト速度及び/又はヨー
<>
  • 特表-レーダー追跡されたオブジェクト速度及び/又はヨー 図1
  • 特表-レーダー追跡されたオブジェクト速度及び/又はヨー 図2
  • 特表-レーダー追跡されたオブジェクト速度及び/又はヨー 図3
  • 特表-レーダー追跡されたオブジェクト速度及び/又はヨー 図4
  • 特表-レーダー追跡されたオブジェクト速度及び/又はヨー 図5
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-04-06
(54)【発明の名称】レーダー追跡されたオブジェクト速度及び/又はヨー
(51)【国際特許分類】
   B60W 40/114 20120101AFI20230330BHJP
   B60W 40/105 20120101ALI20230330BHJP
   B60W 60/00 20200101ALI20230330BHJP
   G08G 1/16 20060101ALI20230330BHJP
【FI】
B60W40/114
B60W40/105
B60W60/00
G08G1/16 C
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022549949
(86)(22)【出願日】2021-02-19
(85)【翻訳文提出日】2022-10-19
(86)【国際出願番号】 US2021018820
(87)【国際公開番号】W WO2021168282
(87)【国際公開日】2021-08-26
(31)【優先権主張番号】16/795,411
(32)【優先日】2020-02-19
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】518156417
【氏名又は名称】ズークス インコーポレイテッド
(74)【代理人】
【識別番号】110001243
【氏名又は名称】弁理士法人谷・阿部特許事務所
(72)【発明者】
【氏名】アントン マリオ ボンジン カールマン
(72)【発明者】
【氏名】マイケル カーステン ボッセ
(72)【発明者】
【氏名】サブハシス ダス
(72)【発明者】
【氏名】フランセスコ パピ
(72)【発明者】
【氏名】ジーフェイ キアン
(72)【発明者】
【氏名】シーウェイ ション
(72)【発明者】
【氏名】チャン ワン
【テーマコード(参考)】
3D241
5H181
【Fターム(参考)】
3D241BC04
3D241CC01
3D241CC08
3D241CC17
3D241CE02
3D241CE04
3D241CE05
3D241CE08
3D241DA39Z
3D241DA52Z
3D241DB02Z
3D241DB05Z
3D241DB08Z
3D241DB09Z
3D241DB12B
3D241DB12Z
3D241DB20Z
3D241DB32Z
3D241DC51Z
5H181AA01
5H181AA28
5H181CC03
5H181CC04
5H181CC11
5H181CC12
5H181CC14
5H181CC27
5H181LL01
5H181LL04
5H181LL09
(57)【要約】
いくつかのレーダーセンサーは、レーダーセンサーの速度に対するオブジェクトの相対速度を示すドップラー測定を提供し得る。オブジェクトに関連づけられた1つ又は複数のレーダー測定から2以上の次元の速度を決定するための技術は、ヨー仮定と、ヨー仮定の影響を調整するための重みのセットとを含むデータ構造を決定することを含み得る。2次元以上の速度を決定することは、オブジェクトに関連付けられた速度及び/又はヨーレートを決定するための回帰アルゴリズムの一部としてデータ構造を使用することをさらに含み得る。
【特許請求の範囲】
【請求項1】
システムであって、
1つ又は複数のプロセッサと、
前記1つ又は複数のプロセッサによって実行されると、前記システムに、
オブジェクトに関連付けられたレーダーデータを受信することと、
前記レーダーデータに少なくとも部分的に基づいて、第1のパラメータ部分及び第2のパラメータ部分を含むデータ構造を決定することであって、前記第2のパラメータ部分は、前記オブジェクトに関連付けられたヨーレートの仮定を備えることと、
前記データ構造に適用するための重みのセットを決定することであって、前記重みのセットは、少なくとも、前記第1のレーダーポイントに関連付けられた第1の重み及び前記ヨーレートの寄与に関連付けられた第2の重みを備えることと、
前記データ構造及び前記重みのセットに少なくとも部分的に基づいて、前記オブジェクトに関連付けられたヨーレートを決定することと、
前記ヨーレートに少なくとも部分的に基づいて、自律車両を制御することと、
を備える動作を実行させる、プロセッサ実行可能な指令を格納するメモリと、
を備えるシステム。
【請求項2】
前記動作は、
前記データ構造及び前記重みのセットに少なくとも部分的に基づいて、速度を決定することと、
前記速度及び前記ヨーレートを予測システムに提供することと、
前記予測システムから前記オブジェクトの予測された軌道を受信することと、
をさらに備え、
前記自律車両を制御することは、さらに前記予測された軌道に少なくとも部分的に基づく、請求項1に記載のシステム。
【請求項3】
前記データ構造は、前記オブジェクトに関連付けられたドップラー観測、ドップラー方向ベクトル、又は前記ベクトルに関連付けられた角度の少なくとも1つを含むレーダー観測を備える、請求項1又は2に記載のシステム。
【請求項4】
前記動作は、前記オブジェクトに関連付けられた追跡を受信することをさらに備え、前記追跡は前記オブジェクトに関連付けられたヨー又はヨーレートの少なくとも1つを備え、前記ヨーの仮定は、前記追跡の前記ヨー又はヨーレートの少なくとも1つに少なくとも部分的に基づく、請求項1から3のいずれか一項に記載のシステム。
【請求項5】
前記ヨーレートを決定することは、提案されたヨーレートを決定することを備え、前記動作は、
前記データ構造に少なくとも部分的に基づいて共分散を決定することと、
前記共分散及び前記提案されたヨーレートに少なくとも部分的に基づいて、前記オブジェクトの確定されたヨーレートを決定することと、
をさらに備え、
前記車両を制御することは、前記ヨーレート及び前記共分散に少なくとも部分的にさらに基づく、請求項1から4のいずれか一項に記載のシステム。
【請求項6】
前記動作は、
前記速度と前記オブジェクトに関連付けられた、以前に生成された追跡とを関連付けること、或いは、
前記オブジェクトに関連付けられた新しい追跡を生成し、前記新しい追跡を前記速度に関連付けることと、
をさらに備える、請求項1から5のいずれか一項に記載のシステム。
【請求項7】
前記動作は、前記オブジェクトの中心又はサイズを決定することの少なくとも1つをさらに備える、請求項1から6のいずれか一項に記載のシステム。
【請求項8】
非一時的コンピュータ可読媒体であって、1つ又は複数のプロセッサによって実行されると、前記1つ又は複数のプロセッサに、
オブジェクトに関連付けられたレーダーデータを受信することと、
前記レーダーデータに少なくとも部分的に基づいて、第1のパラメータ部分及び第2のパラメータ部分を含むデータ構造を決定することであって、前記第2のパラメータ部分は、前記オブジェクトに関連付けられたヨーレートの仮定を備えることと、
前記データ構造に適用するための重みのセットを決定することであって、前記重みのセットは、少なくとも、前記第1のレーダーポイントに関連付けられた第1の重み及び前記ヨーレートの寄与に関連付けられた第2の重みを備えることと、
前記データ構造及び前記重みのセットに少なくとも部分的に基づいて、前記オブジェクトに関連付けられたヨーレートを決定することと、
前記ヨーレートに少なくとも部分的に基づいて、自律車両を制御することと、
を備える動作を実行させる指令を格納する、非一時的コンピュータ可読媒体。
【請求項9】
前記動作は、
前記データ構造及び前記重みのセットに少なくとも部分的に基づいて、速度を決定することと、
前記速度及び前記ヨーレートを予測システムに提供することと、
前記予測システムから前記オブジェクトの予測された軌道を受信することと、
をさらに備え、
前記自律車両を制御することは、さらに前記予測された軌道に少なくとも部分的に基づく、請求項8に記載の非一時的コンピュータ可読媒体。
【請求項10】
前記データ構造は、前記オブジェクトに関連付けられたドップラー観測、ドップラー方向ベクトル、又は前記ベクトルに関連付けられた角度の少なくとも1つを含むレーダー観測を備える、請求項8又は9に記載の非一時的コンピュータ可読媒体。
【請求項11】
前記動作は、前記オブジェクトに関連付けられた追跡を受信することをさらに備え、前記追跡は前記オブジェクトに関連付けられたヨー又はヨーレートの少なくとも1つを備え、前記ヨーの仮定は、前記追跡の前記ヨー又はヨーレートの少なくとも1つに少なくとも部分的に基づく、請求項8から10のいずれか一項に記載の非一時的コンピュータ可読媒体。
【請求項12】
前記ヨーレートを決定することは、提案されたヨーレートを決定することを備え、前記動作は、
前記データ構造に少なくとも部分的に基づいて共分散を決定することと、
前記共分散及び前記提案されたヨーレートに少なくとも部分的に基づいて、前記オブジェクトの確定されたヨーレートを決定することと、
をさらに備え、
前記車両を制御することは、前記ヨーレート及び前記共分散に少なくとも部分的にさらに基づく、請求項8から11のいずれか一項に記載の非一時的コンピュータ可読媒体。
【請求項13】
前記動作は、
前記速度と前記オブジェクトに関連付けられた、以前に生成された追跡とを関連付けること、或いは、
前記オブジェクトに関連付けられた新しい追跡を生成し、前記新しい追跡を前記速度に関連付けることと、
をさらに備える、請求項8から12のいずれか一項に記載の非一時的コンピュータ可読媒体。
【請求項14】
前記第1の重みを決定することは、
前記データ構造及び前記ヨーレートに少なくとも部分的に基づいて残差を決定することと、
前記残差を低減するように前記第1の重みを変更することと、
を備える、請求項8から13のいずれか一項に記載の非一時的コンピュータ可読媒体。
【請求項15】
前記動作は、前記オブジェクトの中心又はサイズを決定することの少なくとも1つをさらに備える、請求項8から14のいずれか一項に記載の非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、レーダー追跡されたオブジェクト速度及び/又はヨーに関する。
【背景技術】
【0002】
本PCT出願は、2020年2月19日に出願された米国特許出願第16/795411号の優先権を主張し、参照により本明細書に組み込まれる。
【0003】
自律車両は、レーダーセンサーを使用して、自律車両が通過する環境に関するデータを取り込み、このデータを使用して、衝突を回避するために環境内のオブジェクトを検出し得る。いくつかのレーダーセンサーは、レーダーセンサーの速度に対するオブジェクトの相対速度を示すドップラー測定を提供し得る。しかしながら、ドップラー測定は、レーダーセンサーに対するオブジェクトの相対速度しか提供しない。換言すれば、ドップラー測定は一次元の速度であり、自律車両における使用等、一部の環境での安全な動作に必要であり得るオブジェクトのヨーレートは特定しない。
【図面の簡単な説明】
【0004】
詳細な説明が添付の図面を参照して説明される。図面において、参照番号の左端の数字は、参照番号が最初に現れる図を表す。異なる図における同じ参照番号の使用は、類似又は同一の特徴を示す。
【0005】
図1】知覚及び追跡コンポーネントで構成された自律車両が、自律車両の周囲の環境におけるオブジェクトの以前及び現在の位置、速度、及び/又は進行方向を追跡し、その追跡に基づいて自律車両を制御するための軌道を少なくとも部分的に生成し得る例示的なシナリオを示す図である。
図2】オブジェクトに関連付けられたレーダーデータから2次元以上の速度を決定するシステムの例示的なアーキテクチャを示すブロック図である。
図3】オブジェクトに関連付けられたリターンを決定、及びオブジェクトに関連付けられたレーダーデータから2次元以上の速度及び/又はヨーレートを決定するための例示的なプロセスの絵画的フロー図である。
図4】オブジェクトに関連付けられたレーダーデータから2次元以上の速度及び/又はヨーレートを決定する例示的なプロセスを示す絵画的フロー図である。
図5】オブジェクトに関連付けられたレーダーデータから2次元以上の速度及び/又はヨーレートを決定する例示的なプロセスを示す絵画的フロー図である。
【発明を実施するための形態】
【0006】
本明細書に記載される技術は、レーダーデータに基づいて環境内のオブジェクトの動きを特徴付けることに向けられる。例えば、本技術は、レーダーセンサーの環境内のオブジェクトに関連付けられた1つ又は複数のレーダーリターンを決定することと、リターンに少なくとも部分的に基づいて、オブジェクトに対する2(又はそれ以上の)次元の速度及び/又はヨーレートを決定することとを含み得る。多くのシステムが本明細書に記載された技術の恩恵を受け得るが、本開示の技術を実装する例示的なシステムは、1つ又は複数のレーダーセンサー(及び/又は他の、或いは異なるモダリティのセンサー)を有する自律車両を含み得る。本技術は、追加的又は代替的に、オブジェクトに関連付けられた軌道を決定することを含み得る。軌道は、本明細書で議論された技術に従って決定された速度、及び/又は、以前、現在、及び/又は予測される速度、位置、ヨーレート、方位、加速度、及び/又は同様なものを含み得る。いくつかの例では、追跡は、以前のセンサーデータによって検出されたオブジェクトが、現在のセンサーデータにおいて検出された同じオブジェクトであることを識別し得る。
【0007】
本技術は、環境に関連付けられたレーダーデータを受信することと、レーダーデータ及び/又は1つ又は複数の他のセンサーからのデータに少なくとも部分的に基づいて、環境内のオブジェクトを検出することと、オブジェクトに関連付けられたレーダーデータのサブセットを識別することとを含み得る。レーダーデータの当該サブセットは、オブジェクトに関連付けられた速度を決定するために使用され得る。例えば、2019年4月16日に出願された米国特許出願第16/386249号、及び2019年9月30日に出願された米国特許出願第16/587605号は、いずれもレーダーデータに少なくとも部分的に基づいて、オブジェクトを検出することについて述べており、その全体が本明細書に組み込まれる。以下の議論において、本技術によって決定される速度は、特に指定されない限り、2次元又は3次元の速度、及び/又はヨーレート等の回転速度を含み得る。そのような例では、速度は、追加的又は代替的に、直線速度及び回転速度のうちの1つ又は複数を含んでもよい。
【0008】
本技術の第1の実装では、ヨーレート及び/又は速度を決定することは、オブジェクトに関連付けられたレーダーデータのサブセットを受信することと、レーダーデータのサブセットに基づく剛体推定についてホロノミック解が存在するかどうかを決定することとを含み得る。例えば、剛体推定は、車両等のオブジェクトが横方向に滑らないという仮定等の物理的拘束を反映するように選択されたホロノミック制約を含み得る。ホロノミック解は、ホロノミック(物理的な)制約を満足しながら、線形回帰、コーシー回帰、及び/又は再重み付け回帰を用いて、剛体推定を解く2次元の速度及びヨーレートであり得る。いくつかの例では、速度及び/又はヨーレートを決定する前に、本技術は、例えば、ランダムサンプルコンセンサス(RANSAC)アルゴリズムを使用して、外れ値を除去することを含み得る。
【0009】
ホロノミック解が存在しない(例えば、物理的制約を満たす解が存在しない)場合、第1の実装は、レーダーデータのサブセットがルールのセットの各ルールを満たすかどうかを決定することを含んでよく、当該ルールのセットは、より複雑な物理的制約チェックである。ルールのすべてが満たされる場合、第1の実装は、オブジェクトに関連付けられた2次元の速度を決定することを含み得るが、ヨーレートを決定することができない場合がある。規則のいずれかが満たされない場合、第1の実装は、レーダーデータのサブセットによって示されるドップラー測定値に少なくとも部分的に基づいて、オブジェクトの1次元の速度を決定することを含み得る。このような例では、ヨーレートが利用できない場合があり、これは、オブジェクトの追跡、オブジェクトの将来の位置の予測の提供、又は同様のことを行う上で問題となり得る。
【0010】
換言すれば、第1の実装によれば、本技術は、速度及びヨーレートを含む解を得るために、レーダー点のサブセットを使用して剛体推定を試みることを含み得る。しかしながら、剛体推定の解は、収束しない多変量回帰含むか、又は解にかけられるホロノミック制約に反することから、解が存在しない場合がある。解が扱いにくい場合、第1の実装は、一組の制約条件を満たすかどうかを判定するためにチェックすることと、満たす場合、第1の判定がレーダー点に関連付けられたドップラー値に基づき、第2の判定が速度はヨー方向であるという仮定に基づく二重速度判定に基づいて速度を決定することとを含み得る。制約条件のいずれか1つが満たされない場合、第1の実装は、オブジェクトに関連付けられたレンジレート(例えば、ドップラー)に依存することに追いやられ得る。
【0011】
追加的又は代替的な実施形態において、オブジェクトに関連付けられたヨーレート及び/又は速度を決定するための技術は、オブジェクトに関連付けられたレーダーデータのセットを受信することと、レーダー点のサブセットを決定するためにランダムサンプルコンセンサス(RANSAC)技術を使用してセットから外れ値を拒否することと、レーダーデータのサブセットに少なくとも部分的に基づいて、2つの異なるデータ構造を生成することを含み得る。第1のデータ構造は、ヨーレート仮定を含んでもよく、一方、第2のデータ構造は、ヨーレート仮定を有していなくてもよい。両方のデータ構造は、オブジェクトに関連付けられた2(又はそれ以上の)次元の速度及びヨーレートを決定するための回帰アルゴリズムの一部において観測変数として使用され得る。いくつかの例では、本技術は、第1のデータ構造に関連して第1の誤差を決定すること、及び第2のデータ構造に関連して第2の誤差を決定することを含んでもよい。2つの誤差のうち低い方の誤差に関連付けられたヨーレート及び/又は速度をもたらすいずれのデータ構造も、オブジェクトに関連付けられ、システムによって出力され得る。
【0012】
例えば、本技術は、レーダーデータのサブセットと、オブジェクトに関連付けられた追跡に少なくとも部分的に基づくヨーレート仮定と、を有する第1のデータ構造を入力することを含み得る。本技術はまた、レーダーデータのサブセットを第2のデータ構造に入力することを含んでもよいが、ヨーレートの仮定を除外してもよい。本技術は、第1のデータ構造を用いて線形回帰を解くことに少なくとも部分的に基づいて第1のヨーレート及び第1の速度を決定することと、第2のデータ構造を用いて線形回帰を解くことに少なくとも部分的に基づいて、第2のヨーレート及び第2の速度を決定することと、を含み得る。第1の誤差は、第1のデータ構造に関連付けられて決定されてもよく、第2の誤差は、第2のデータ構造に関連付けられて決定されてもよい。本技術は、第1の誤差と第2の誤差との間のいずれか低い方の誤差に関連付けられたヨーレート及び/又は速度を選択することを含み得る。
【0013】
いくつかの例では、本技術は、追加的又は代替的に、第1及び第2のデータ構造を、ヨー仮定を含む単一のデータ構造に融合することと、重み付け回帰に少なくとも部分的に基づいて速度及び/又はヨーレートを決定することと、を含み得る。重み付け回帰は、機能的に、ヨーレート仮定の影響を上又は下にしてよく、ヨー仮定をオフにしてもよい。重み付け回帰は、外れ値の影響を拒否又はダウンウェイトする役割を果たし得るため、外れ値拒否の前処理操作(例えば、物体に関連するレーダーデータのサブセットにRANSACを適用する)は、いくつかの例では破棄され得る。
【0014】
いくつかの例では、本技術は、選択されたデータ構造に関連付けられた1つ又は複数の共分散を決定することを追加的又は代替的に含んでよく、ヨーレート及び/又は速度を決定することは、選択されたデータ構造及び1つ又は複数の共分散をカルマンフィルタに提供することを含んでよく、このような場合、カルマンフィルタは、選択されたデータ構造及び1つ又は複数の共分散を入力として受信する。カルマンフィルタは、追加的又は代替的に、入力として追跡を受信してよく、追跡によって示されるオブジェクトに関連付けられた状態を更新してもよい。ヨーの仮定を含む第1のデータ構造が選択された例では、共分散は、ヨーの仮定を重み付けするために使用されてもよい。
【0015】
本明細書で論じられる技術は、車両の周囲にあるオブジェクトの動き及び/又は挙動を予測する車両の能力を向上させることにより、車両の安全性を向上させ得る。本技術は、レーダーデータに基づく2次元以上の速度検出の精度及び/又は利用の可能性を向上させ得る。例えば、本明細書で論じられる技術は、検出されたオブジェクトが旋回しているとき、従来技術によって引き起こされる2つのオブジェクト検出アーティファクトが、発生しにくいか、又は発生しないという結果を生じる。さらに、本明細書で論じられる技術は、手作業で調整された物理的制約ルールの必要性を取り除き、セットアップ中にシステムを実験する必要性を低減又は排除し、システムのトラブルシューティングの容易性を高め、システムの精度を低下させ、手作業で調整された物理的制約ルールによって十分に反映されない外れ値のシナリオの数を減少させる。
【0016】
(例示的なシナリオ)
図1は、車両102を含む例示的なシナリオ100を示している。いくつかの例では、車両102は、運転者(又は乗員)がいつでも車両を制御することが期待されていない状態で、あらゆる移動についてすべての安全上重要な機能を実行することができる車両を説明する、米国道路交通安全局が発行したレベル5の分類に従って動作するように構成された自律車両であり得る。しかしながら、他の例では、車両102は、任意の他のレベル又は分類を有する完全又は部分的な自律車両であってよい。本明細書で論じられる技術は、自律車両等のロボット制御以外にも適用され得ることが企図される。例えば、本明細書で論じられる技術は、採掘、製造、拡張現実等に適用されてもよい。さらに、車両102が陸上車両として描かれているが、車両102は宇宙船、水上機、及び/又は同種のものであり得る。いくつかの例では、車両102は、模擬車両としてシミュレーションで表現されてもよい。簡略化のため、本明細書における議論は、模擬車両と実世界の車両とを区別していない。したがって、「車両」への言及は、シミュレーションされた車両及び/又は実世界の車両を参照する場合がある。
【0017】
本明細書で論じられる技術によれば、車両102は、車両102のセンサー104からセンサーデータを受信し得る。例えば、センサー104は、位置センサー(例えば、全地球測位システム(GPS)センサー)、慣性センサー(例えば、加速度センサー、ジャイロセンサー等)、磁気センサー(例えば、コンパス)、位置/速度/加速度センサー(例えば、速度計、駆動系センサー)、深度位置センサー(例えば、ライダーセンサー、レーダーセンサー、ソナーセンサー、飛行時間(ToF)カメラ、深度カメラ、超音波及び/又はソナーセンサー、及び/又は他の深度感知センサー)、画像センサー(例えば、カメラ)、音声センサー(例えば、マイクロフォン)、及び/又は環境センサー(例えば、気圧計、湿度計等)を含み得る。
【0018】
センサー104は、センサーデータを生成してよく、センサーデータは、車両102に関連付けられたコンピューティングデバイス106によって受信され得る。しかしながら、他の例では、センサー104及び/又はコンピューティングデバイス106の一部又は全部は、車両102とは別であってもよく、及び/又は、車両102から遠隔地に配置されもてよく、データの取り込み、処理、指令、及び/又は制御は、有線及び/又は無線ネットワークを通じて1つ又は複数の遠隔コンピューティングデバイスにより車両102に或いは車両102から伝達されてもよい。
【0019】
コンピューティングデバイス106は、知覚コンポーネント110、計画コンポーネント112、及び/又は追跡コンポーネント114を格納するメモリ108を含み得る。いくつかの例では、知覚コンポーネント110は、レーダーデータに少なくとも部分的に基づいて、オブジェクトのヨーレート及び/又は速度を決定するように構成されたレーダーコンポーネント116を含み得る。知覚コンポーネント110、計画コンポーネント112、追跡コンポーネント114、及び/又はレーダーコンポーネント116は、1つ又は複数の機械学習(ML)モデル及び/又は他のコンピュータ実行可能な指令を含んでもよい。
【0020】
一般に、知覚コンポーネント110は、車両102を取り巻く環境に何があるかを決定してよく、計画コンポーネント112は、知覚コンポーネント110から受信した情報に従って、車両102をどのように操作するかを決定し得る。例えば、計画コンポーネント112は、知覚データ及び/又は、例えば1つ又は複数マップ、位置特定情報(例えば、知覚コンポーネント110によって検出されたマップ及び/又は特徴に対する車両102の環境内の位置)等の他の情報に少なくとも部分的に基づいて、軌道118を決定し得る。軌道118は、車両102のコントローラが、車両102の駆動コンポーネントを作動させてステアリング角及び/又はステアリングレートを実現するための指令を含んでよく、これにより、車両位置、車両速度、及び/又は車両加速度がもたらされ得る。例えば、軌道118は、コントローラが追跡するための目標進行方向、目標ステアリング角、目標ステアリングレート、目標位置、目標速度、及び/又は目標加速度を含み得る。いくつかの例では、コントローラは、軌道118を追跡するために十分な車両102の駆動コンポーネントを作動させるためのソフトウェア及び/又はハードウェアを含み得る。例えば、コントローラは、1つ又は複数の比例-積分-微分(PID)コントローラを含み得る。
【0021】
いくつかの例では、知覚コンポーネント110は、センサー104からセンサーデータを受信し、車両102の近傍にあるオブジェクトに関連するデータ(例えば、検出されたオブジェクトに関連付けられたオブジェクト分類、インスタンス分割、セマンティック分割、2次元及び/又は3次元の境界ボックス、追跡)、車両の目的地を指定するルートデータ、道路の特徴を特定するグローバルマップデータ(例えば、自律車両の位置特定に有用な異なるセンサーモダリティで検出可能な特徴)、車両に近接して検出された特徴を特定するローカルマップデータ(例えば、建物、木、フェンス、消火栓、停止標識、及び様々なセンサーモダリティで検出可能な他の任意の特徴の位置及び/又は寸法)、追跡データ(例えば、本明細書で論じる環境表現、オブジェクト検出及び/又は追跡)等を決定する。
【0022】
いくつかの例では、知覚コンポーネント110は、ハードウェア及び/又はソフトウェアのパイプラインを含んでもよく、1つ又は複数のGPU、MLモデル、カルマンフィルタ、及び/又は同様のものを含んでもよい。いくつかの例では、知覚コンポーネント110は、センサーの能力、オブジェクト及び/又は環境のオクルージョン(例えば、建物、高低差、他のオブジェクトの前にあるオブジェクト)、及び/又は霧、雪等の環境効果によって制限され得る、自律車両の周囲の環境のできるだけ多くを監視し得る。例えば、センサーデータは、知覚コンポーネント110が入力として受信することが可能なレーダーデータを含み得る。知覚コンポーネント110は、軌道118を決定する際に計画コンポーネント112によって考慮されるべき事象又はオブジェクト挙動を考慮しないことを避けるために、できるだけ多くのオブジェクト及び環境に関する情報を検出するように構成され得る。
【0023】
いくつかの例では、知覚コンポーネント110の1つ又は複数のコンポーネントは、例示的なシナリオ100における車両120等のオブジェクトに関連付けられたレーダーデータのサブセットを決定し得る。それにもかかわらず、レーダーコンポーネント116は、オブジェクトに関連付けられたレーダーデータの少なくともサブセットを受信してよく、本明細書で論じられる技術に従って、オブジェクトに関連付けられた2(又はそれ以上の)次元の速度を決定し得る。例えば、速度122は、座標フレーム124に対する横方向成分、縦方向成分、及び/又はヨー成分等、少なくとも2つの成分を有する速度であり得る。座標フレームは、環境、車道又は経路、自律車両102に関連付けられた慣性移動方向、及び/又はそれらに基づいて方向付けられる座標系であり得る。描写される座標フレーム124は、自律車両の姿勢に相対的であり得る。
【0024】
いくつかの例では、本明細書で論じられる技術によって決定された速度は、知覚コンポーネント110及び/又は計画コンポーネント112の予測コンポーネントに提供され得る。予測コンポーネントは、予測された軌道(例えば、予測された進行方向、予測された速度、予測された経路)等、速度に少なくとも部分的に基づいて検出されたオブジェクトの将来の状態を予測するために、速度を使用し得る。追加的又は代替的な例では、自律車両102を制御するための軌道118を計画コンポーネント112が決定するために、速度が計画コンポーネント112に提供され得る。計画コンポーネント112は、予測された軌道及び/又はレーダーコンポーネント116によって決定された速度に少なくとも部分的に基づいて軌道118を決定し得る。
【0025】
いくつかの例では、レーダーコンポーネント116は、追加的又は代替的に、検出されたオブジェクトの中心、及び/又は、オブジェクトに関連付けられたレーダーデータのサブセットに少なくとも部分的に基づいて検出されたオブジェクトのサイズ及び/又は大きさを推定し得る。
【0026】
知覚コンポーネント110によって決定されたオブジェクト分類は、例えば、乗用車、歩行者、自転車、配送トラック、セミトラック、交通標識、及び/又は同様のもの等の異なるオブジェクトタイプの間を区別し得る。追跡は、以前、現在、及び/又は予測されたオブジェクトの位置、速度、加速度、及び/又は進行方向を含み得る。知覚コンポーネント110によって生成されたデータは、知覚データと総称されてよく、本明細書で論じられる技術に従って決定された速度122及び/又はヨーレート126を含み得る。知覚コンポーネント110が知覚データを生成すると、知覚コンポーネント110は、知覚データを計画コンポーネント112に提供し得る。いくつかの例では、知覚データは、センサー特定パイプライン(例えば、視覚、ライダー、レーダー)及び/又はハイブリッドセンサパイプライン(例えば、視覚-ライダー、レーダー-ライダー)の出力を含み得る。
【0027】
図1はまた、従来技術によって引き起こされるエラーの一例を描いている。上述した第1の実装は、図1において「二重関心領域128」として示される2つの関心領域が、オブジェクトに割り当てられるという結果をもたらし得る。この問題は、検出された車両がヨー軸上で旋回する等している場合に発生しやすいと考えられる。
【0028】
追跡コンポーネント114は、センサーデータ及び/又はオブジェクト検出をセンサー及び/又は知覚コンポーネント110から受信し、以前に生成された追跡を現在のオブジェクト検出と関連付けるかどうか、又は現在のオブジェクト検出と関連して新しい追跡を生成するかどうかを決定し得る。換言すれば、追跡コンポーネント114は、最近検出されたオブジェクトが以前に検出されたか否かを識別し、検出されたオブジェクトに関連付けられた情報を追跡する。追跡コンポーネント114は、オブジェクトに関連付けられた履歴、現在、及び/又は予測される位置、進行方向、速度、加速度、ヨーレート、知覚データ(例えば、関心領域、オブジェクトの全部又は一部が1つ又は複数のセンサーから隠れているか/いたかのようなオクルージョン状況)及び/又は同類を識別する検出オブジェクトに関連付けられた追跡を出力し得る。いくつかの例では、追跡情報は、知覚コンポーネント110によって出力される知覚データの一部として含まれ得る。
【0029】
いくつかの例では、追跡は、追加的又は代替的に、オブジェクトの動作/挙動を予測し、自律車両を制御するための軌道及び/又は経路を決定するために、自律車両の計画コンポーネントに有用なオブジェクトに関する様々な現在及び/又は以前のデータを含み得る。例えば、追跡は、追加的又は代替的に、オブジェクトによって現在及び/又は以前に占有された環境の領域、オブジェクトに関連付けられたオブジェクト分類(例えば、車両、大型車両、歩行者、自転車)、オブジェクトに関連付けられた現在/又は以前の進行方向、オブジェクトの現在/又は以前の速度及び/又は加速度、並びにオブジェクトの現在の位置及び/又は速度の表示を含み得る。例えば、追跡は、知覚コンポーネントによって生成された関心領域(ROI)(例えば、境界ボックス、マスク、環境の領域がオブジェクトによって占有されているという何らかの他の識別)を同じ追跡と関連付け得る。ROIは、検出されたオブジェクト、オブジェクトのオブジェクト分類、オブジェクトの進行方向、オブジェクトの速度及び/又は加速度、オブジェクトの高さ、及び/又は同様なものと関連付けられ得る。
【0030】
計画コンポーネント112は、知覚コンポーネント110及び/又は追跡コンポーネント114から受信した知覚データを使用して、1つ又は複数の軌道を決定、経路又はルートを横断するために車両102の動作を制御、及び/又は車両102の動作を他の方法で制御し得るが、任意のそのような動作は、他の種々のコンポーネントにおいて実行されてもよい(例えば、定位は、知覚データに少なくとも部分的に基づくことができる定位コンポーネントによって実行されてもよい)。例えば、計画コンポーネント112は、第1の場所から第2の場所への車両102の経路を決定し、実質的に同時に、且つ知覚データ及び/又はシミュレーション知覚データ(当該データにおいて検出されたオブジェクトに関する予測をさらに含み得る)に少なくとも部分的に基づいて、車両102の動作を制御するための複数の潜在的軌道を、後退ホライズン技術に従って(例えば、1マイクロ秒、半秒)生成し、経路を横断するように(例えば、検出されたオブジェクトのいずれかを回避するために)車両を制御し、車両102の駆動コンポーネントに送信され得る駆動制御信号を生成するために使用され得る車両102の軌道118として、潜在的軌道のうちの1つを選択し得る。図1は、進行方向、速度、及び/又は加速度を示す矢印として表される、そのような軌道118の一例を示しているが、軌道自体は、コントローラに対する指令を含んでもよく、コントローラは、順に車両102の駆動システムを作動させ得る。
【0031】
(例示的なシステム)
図2は、本明細書で論じられる技術を実装する例示的なシステム200のブロック図を示している。いくつかの例では、例示的なシステム200は、図1の車両102を表し得る車両202を含み得る。いくつかの例では、車両202は、運転者(又は乗員)がいつでも車両を制御することが期待されない状態で、あらゆる移動のためにすべての安全上重要な機能を実行できる車両を説明する米国道路交通安全局が発行したレベル5の分類に従って動作するように構成された自律車両であり得る。しかしながら、他の例では、車両202は、任意の他のレベル又は分類を有する完全又は部分的な自律車両であり得る。さらに、いくつかの例では、本明細書に記載される技術は、非自律車両によっても使用可能であり得る。
【0032】
車両202は、車両コンピューティングデバイス204、センサー206、エミッタ208、ネットワークインターフェース210、及び/又は駆動コンポーネント212を含み得る。車両コンピューティングデバイス204は、コンピューティングデバイス106を表してもよく、センサー206は、センサー104を表してもよい。システム200は、追加的又は代替的に、コンピューティングデバイス214を含んでもよい。
【0033】
いくつかの例において、センサー206は、センサー104を表してもよく、ライダーセンサー、レーダーセンサー、超音波トランスデューサ、ソナーセンサー、位置センサー(例えば、全地球測位システム(GPS)、コンパス等)、慣性センサー(例えば、慣性測定ユニット(IMU)、加速度計、磁力計、ジャイロスコープ等)、画像センサー(例えば、赤-緑-青(RGB)、赤外線(IR)、強度、深度、飛行時間カメラ等)、マイクロフォン、ホイールエンコーダ、環境センサー(例えば、温度計、湿度計、光センサー、圧力センサー等)等を含み得る。センサー206は、これらのセンサー又は他の種類のセンサーのそれぞれの多様なインスタンスを含んでもよい。例えば、レーダーセンサーは、車両202の角部、前面、背面、側面、及び/又は上部に配置された個々のレーダーセンサーを含んでもよい。別の例として、カメラは、車両202の外装及び/又は内装に関する様々な場所に配置された多様なカメラを含み得る。センサー206は、車両コンピューティングデバイス204及び/又はコンピューティングデバイス214に入力を提供し得る。
【0034】
車両202は、上述したように、光及び/又は音を放出するためのエミッタ208を含み得る。本例におけるエミッタ208は、車両202の乗客と通信するための室内音声及び映像エミッタを含んでもよい。例として、限定するものではないが、室内音声は、スピーカー、ライト、サイン、ディスプレイスクリーン、タッチスクリーン、触覚エミッタ(例えば、振動及び/又は力フィードバック)、機械アクチュエータ(例えば、シートベルトテンショナ、シートポジショナ、ヘッドレストポジショナ等)、及び同様のものを含み得る。本例におけるエミッタ208は、外装エミッタを含み得る。例示であって限定するものではないが、この例における外装エミッタは、進行方向又は車両動作の他の指示を知らせるためのライト(例えば、表示灯、標識、ライトアレイ等)、及び歩行者又は他の近くの車両と聴覚的に通信するための1つ又は複数の音声エミッタ、そのうちの1つは音響ビームステアリング技術を含む。
【0035】
車両202は、車両202と1つ又は複数の他のローカル又はリモートコンピューティングデバイスとの間の通信を可能にするネットワークインターフェース210も含み得る。例えば、ネットワークインターフェース210は、車両202及び/又は駆動コンポーネント212上の他のローカルコンピューティングデバイスとの通信を促進し得る。また、ネットワークインターフェース210は、追加的又は代替的に、車両が他の近くのコンピューティングデバイス(例えば、他の近くの車両、交通信号等)と通信することを可能にしてもよい。ネットワークインターフェース210は、追加的又は代替的に、車両202がコンピューティングデバイス214と通信することを可能にしてもよい。いくつかの例では、コンピューティングデバイス214は、分散コンピューティングシステム(例えば、クラウドコンピューティングアーキテクチャ)の1つ又は複数のノードを含み得る。
【0036】
ネットワークインターフェース210は、車両コンピューティングデバイス204を別のコンピューティングデバイス又はネットワーク216等のネットワークに接続するための物理的及び/又は論理的インターフェースを含み得る。例えば、ネットワークインターフェース210は、IEEE200.11規格によって定義された周波数を介したようなWi-Fiベースの通信、Bluetooth(登録商標)等の短距離無線周波数、セルラー通信(例えば、2G、3G、4G、4G LTE、5G等)又はそれぞれのコンピューティングデバイスが他のコンピューティングデバイスとインターフェースすることができる任意の適した有線もしくは無線通信プロトコルを可能にし得る。いくつかの例では、車両コンピューティングデバイス204及び/又はセンサー206は、ネットワーク216を介して、特定の周波数で、所定の期間の経過後に、ほぼリアルタイムで等、コンピューティングデバイス214にセンサーデータを送信し得る。
【0037】
いくつかの例では、車両202は、1つ又は複数の駆動コンポーネント212を含み得る。いくつかの例では、車両202は、単一の駆動コンポーネント212を有し得る。いくつかの例では、駆動コンポーネント212は、駆動コンポーネント212及び/又は車両202の周囲の状態を検出するための1つ又は複数のセンサーを含み得る。限定ではなく例として、駆動コンポーネント212のセンサーは、駆動コンポーネントの車輪の回転を感知する1つ又は複数のホイールエンコーダ(例えば、ロータリーエンコーダ)、駆動コンポーネントの方向及び加速度を測定する慣性センサー(例えば、慣性測定ユニット、加速度計、ジャイロスコープ、磁気計等)、カメラ又は他の画像センサー、駆動コンポーネントの周囲にあるオブジェクトを音響的に検出する超音波センサー、ライダーセンサー、レーダーセンサー等を含んでもよい。ホイールエンコーダ等のいくつかのセンサーは、駆動コンポーネント212に固有のものであってもよい。場合によっては、駆動コンポーネント212上のセンサーは、車両202の対応するシステム(例えば、センサー206)と重畳、又は補足してもよい。
【0038】
駆動コンポーネント212は、高電圧バッテリ、車両を推進するモータ、バッテリからの直流を他の車両システムで使用するための交流に変換するインバータ、ステアリングモータ及びステアリングラック(電気的であり得る)を含むステアリングシステム、油圧又は電気アクチュエータを含むブレーキシステム、油圧及び/又は空気圧部品を含むサスペンションシステム、牽引力の損失を緩和し制御を維持するためのブレーキ力を分配する安定制御システム、HVACシステム、照明(例えば、車両の外側周辺を明るくするためのヘッド/テールランプのような照明)、及び1つ又は複数の他のシステム(例えば、冷却システム、安全システム、車載充電システム、DC/DCコンバータ、高電圧ジャンクション、高電圧ケーブル、充電システム、充電ポート等の他の電気部品等)を含む、車両システムの多くを含み得る。さらに、駆動コンポーネント212は、センサーからデータを受信して前処理し、様々な車両システムの動作を制御するために、駆動コンポーネントコントローラを含み得る。いくつかの例では、駆動コンポーネントコントローラは、1つ又は複数のプロセッサと、1つ又は複数のプロセッサと通信可能に結合されたメモリとを含み得る。メモリは、駆動コンポーネント212の様々な機能を実行するための1つ又は複数のコンポーネントを格納してもよい。さらに、駆動コンポーネント212は、それぞれの駆動コンポーネントによる1つ又は複数の他のローカル又はリモートコンピューティングデバイスとの通信を可能にする、1つ又は複数の通信接続部を含み得る。
【0039】
車両コンピューティングデバイス204は、プロセッサ218と、1つ又は複数のプロセッサ218と通信可能に結合されたメモリ220と、を含み得る。メモリ220は、メモリ108を代理してもよい。コンピューティングデバイス214はまた、プロセッサ222、及び/又はメモリ224を含んでもよい。プロセッサ218及び/又は222は、本明細書で述べられるようにデータを処理し、動作を実行する指令を実行することができる任意の適切なプロセッサであり得る。限定ではなく例として、プロセッサ218及び/又は222は、1つ又は複数の中央処理装置(CPU)、グラフィック処理装置(GPU)、集積回路(例えば、特定用途向け集積回路(ASIC))、ゲートアレイ(例えば、フィールドプログラマブルゲートアレイ(FPGA))、及び/又は電子データを処理して、電子データをレジストリ及び/又はメモリに格納され得る他の電子データに変換するデバイスの任意のその他のデバイス又は部分を含み得る。
【0040】
メモリ220及び/又は224は、非一時的コンピュータ可読媒体の例であり得る。メモリ220及び/又は224は、本明細書で述べられる方法及び様々なシステムに帰属する機能を実装するために、オペレーティングシステム及び1つ又は複数のソフトウェアアプリケーション、指令、プログラム、及び/又はデータを格納し得る。様々な実装において、メモリは、静的ランダムアクセスメモリ(SRAM)、同期ダイナミックRAM(SDRAM)、不揮発性/フラッシュ型メモリ、又は情報を格納できる他の任意のタイプのメモリ等、任意の適切なメモリ技術を用いて実装され得る。本明細書で述べられるアーキテクチャ、システム、及び個々の要素は、他の多くの論理的、プログラム的、及び物理的なコンポーネントを含んでよく、そのうち添付の図に示すものは、本明細書の議論に関連する単なる例示に過ぎない。
【0041】
いくつかの例では、メモリ220及び/又はメモリ224は、定位コンポーネント226、知覚コンポーネント228、計画コンポーネント230、レーダーコンポーネント232、マップ234、及び/又はシステムコントローラ236を格納し得る。知覚コンポーネント228は、知覚コンポーネント110を代理し、追跡コンポーネント114を含んでもよく、計画コンポーネント230は、計画コンポーネント112を代理してもよく、及び/又はレーダーコンポーネント232は、レーダーコンポーネント116を代理してもよい。
【0042】
少なくとも一例では、定位コンポーネント226は、センサー206からデータを受信して車両202の位置、速度、及び/又は方向(例えば、x-、y-、z-位置、ロール、ピッチ、又はヨーのうちの1つ又は複数)を決定するハードウェア及び/又はソフトウェアを含み得る。例えば、定位コンポーネント226は、環境のマップ234を含む、及び/又は要求/受信してよく、マップ234内の自律車両の位置、速度、及び/又は方向を継続的に決定することができる。いくつかの例では、定位コンポーネント226は、SLAM(simultaneous localization AND mapping)、CLAMS(calibration, localization and mapping, simultaneously)、相対SLAM、バンドル調整、非線形最小二乗最適化等を利用して、画像データ、ライダーデータ、レーダーデータ、IMUデータ、GPSデータ、ホイールエンコーダーデータ等を受信し、自律車両の位置、姿勢、及び/又は速度は正確に決定し得る。いくつかの例では、定位コンポーネント226は、本明細書で論じられるように、軌道を生成するため、及び/又はマップデータを生成するための自律車両の初期位置を決定するために、車両202の様々なコンポーネントにデータを提供し得る。いくつかの例では、定位コンポーネント226は、知覚コンポーネント228に、環境に対する車両202の位置及び/又は方向、及び/又はそれに関連するセンサーデータを提供し得る。
【0043】
いくつかの例では、知覚コンポーネント228は、ハードウェア及び/又はソフトウェアで実装される一次知覚システム及び/又は予測システムを含み得る。知覚コンポーネント228は、車両202を取り巻く環境におけるオブジェクトを検出(例えば、オブジェクトが存在することを識別)し、オブジェクトを分類(例えば、検出されたオブジェクトに関連するオブジェクトタイプを決定)し、センサーデータ及び/又は環境の他の表現をセグメント化(例えば、検出されたオブジェクト及び/又はオブジェクトタイプに関連するものとしてセンサーデータ及び/又は環境の表現の一部を識別)し、オブジェクトに関連する特性(例えば、オブジェクトに関連する現在、予測される、及び/又は以前の位置、進行方向、速度、及び/又は加速度を識別する追跡)、及び/又は同様のものを決定し得る。知覚コンポーネント228によって決定されたデータは、知覚データと称される。
【0044】
計画コンポーネント230は、定位コンポーネント226から車両202の位置及び/又は方向、及び/又は知覚コンポーネント228から知覚データを受信してよく、このデータのいずれかに少なくとも部分的に基づいて車両202の動作を制御するための指令を決定し得る。いくつかの例では、指令を決定することは、指令が関連付けられたシステムに関連するフォーマットに少なくとも部分的に基づいて指令を決定することを含み得る(例えば、自律車両の動作を制御するための第1の指令は、システムコントローラ236及び/又は駆動コンポーネント212が解析/実行させ得るメッセージ及び/又は信号(例えば、アナログ、デジタル、空力的、運動的)の第1のフォーマットで形式化されてよく、エミッタ208の第2の指令は、それに関連する第2のフォーマットに従って形式化され得る)。
【0045】
レーダーコンポーネント232は、車両202上及び/又はコンピューティングデバイス214上で動作し得る。いくつかの例では、レーダーコンポーネント232は、パイプラインの計画コンポーネント230から上流(入力を提供)にあってよく、知覚コンポーネント228の少なくともいくつかのコンポーネントから下流(入力を受信)にあってよい。レーダーコンポーネント232は、レーダーコンポーネント232の出力の全て又は一部を追跡コンポーネント及び/又は計画コンポーネント230に渡す、或いは何も渡さないように構成されてよい。いくつかの例では、レーダーコンポーネント232は、知覚コンポーネント228の一部であってもよい。いくつかの例では、レーダーコンポーネント232は、本明細書で論じられる技術に従って、速度及び/又はヨーレートを決定し得る。
【0046】
メモリ220及び/又は224は、追加的に又は代替的に、マッピングシステム(例えば、センサーデータに少なくとも部分的に基づいてマップを生成する)、計画システム、乗車管理システム等を格納し得る。定位コンポーネント226、知覚コンポーネント228、計画コンポーネント230、レーダーコンポーネント232、マップ234、及び/又はシステムコントローラ236は、メモリ220に格納されるものとして図示されているが、これらのコンポーネントのいずれかは、プロセッサ実行可能命令、機械学習モデル(例えば、ニューラルネットワーク)、及び/又はハードウェアを含んでよく、これらのコンポーネントのいずれかの全て又は一部がメモリ224に格納されてもよく、或いはコンピューティングデバイス214の一部分として構成されてもよい。
【0047】
本明細書で説明したように、システム200の定位コンポーネント226、知覚コンポーネント228、計画コンポーネント230、レーダーコンポーネント232、及び/又は他のコンポーネントは、1つ又は複数のMLモデルを備え得る。例えば、定位コンポーネント226、知覚コンポーネント228、計画コンポーネント230、及び/又はレーダーコンポーネント232は、それぞれ、異なるMLモデルパイプラインを含んでもよい。いくつかの例では、MLモデルはニューラルネットワークから構成され得る。例示的なニューラルネットワークは、出力を生成するために一連の接続された層に入力データを渡す生物学的にインスパイアされたアルゴリズムである。ニューラルネットワークの各層は、別のニューラルネットワークを含むこともでき、或いは任意の数の層(畳み込み式か否かにかかわらず)を含むこともできる。本開示の文脈で理解されることができるように、ニューラルネットワークは、機械学習を利用することができ、これは、学習されたパラメータに基づいて出力が生成される、そのようなアルゴリズムの広範なクラスを指すことができる。
【0048】
ニューラルネットワークの文脈で論じられるが、任意のタイプの機械学習が本開示と整合的に使用されることができる。例えば、機械学習アルゴリズムは、以下に限定されないが、回帰法(通常の最小二乗回帰(OLSR)、線形回帰、ロジスティック回帰、段階的回帰、多変量適応回帰スプライン(MARS)、局所推定散布図平滑化(LOESS))、インスタンスベースのアルゴリズム(例えば、リッジ回帰、最小絶対収縮及び選択演算子(LASSO)、弾性ネット、最小角度回帰(LARS))、決定木アルゴリズム(例えば、分類及び回帰ツリー(CART)、反復二分法3(ID3)、カイ二乗自動相互作用検出(CHAID)、決定断端、条件付き決定木)、ベイジアンアルゴリズム(ナイーブベイズ、ガウスナイーブベイズ、多項ナイーブベイズ、平均1依存推定量(AODE)、ベイジアンビリーフネットワーク(BNN)、ベイジアンネットワーク)、クラスタリングアルゴリズム(例えば、k平均、k中央値、期待最大化(EM)、階層クラスタリング)、相関ルール学習アルゴリズム(例えば、パーセプトロン、逆伝搬、ホップフィールドネットワーク、動径基底関数ネットワーク(RBFN))、深層学習アルゴリズム(例えば、ディープボルツマンマシン(DBM)、ディープビリーフネットワーク(DBN)、畳み込みニューラルネットワーク(CNN)、スタックドオートエンコーダ)、次元縮小アルゴリズム(例えば、主成分分析(PCA)、主成分回帰(PCR)、部分的最小二乗回帰(PLSR)、サモンマッピング、多次元尺度構成法(MDS)、投影追跡、線形判別分析(LDA)、混合判別分析(MDA)、二次判別分析(QDA)、柔軟判別分析(FDA))、アンサンブルアルゴリズム(例えば、ブースティング、ブートストラップアグリゲーション(バギング)、アダブースト、スタック一般化(ブレンド)、勾配ブースティングマシン(GBM)、勾配ブースト回帰ツリー(GBRT)、ランダムフォレスト)、SVM(サポートベクターマシン)、教師あり学習、教師なし学習、半教師あり学習等を含むことができる。アーキテクチャの追加の例は、ResNet50、ResNet101、VGG、DenseNet、PointNet等のニューラルネットワークを含む。いくつかの例では、本明細書で論じられるMLモデルは、PointPillars、SECOND、トップダウン特徴層(例えば、その全体が本明細書に組み込まれる米国特許出願第15/963833号を参照)、及び/又はVoxelNetを含んでもよい。アーキテクチャのレイテンシ最適化には、MobilenetV2、Shufflenet、Channelnet、Peleenet、及び/又は同種のものが含まれ得る。MLモデルは、いくつかの例において、Pixor等の残差ブロックを含んでもよい。
【0049】
メモリ220は、追加的又は代替的に、1つ又は複数のシステムコントローラ236を格納してよく、システムコントローラ236は、車両202のステアリング、推進、ブレーキ、安全、エミッタ、通信、及び他のシステムを制御するように構成され得る。これらのシステムコントローラ236は、駆動コンポーネント212及び/又は車両202の他のコンポーネントの対応するシステムと通信、及び/又は制御し得る。例えば、計画コンポーネント230は、知覚コンポーネント228によって生成された知覚データに少なくとも部分的に基づいて命令を生成してもよく、知覚データを検証し/又は命令をシステムコントローラ236に送信してもよい。システムコントローラ236は、計画コンポーネント230から受信した命令に少なくとも部分的に基づいて、車両202の動作を制御し得る。
【0050】
図2は分散システムとして図示されているが、代替例では、車両202のコンポーネントがコンピューティングデバイス214と関連付けられてもよく、及び/又はコンピューティングデバイス214のコンポーネントが車両202と関連付けられてもよいことに留意されたい。すなわち、車両202は、コンピューティングデバイス214に関連付けられた機能のうちの1つ又は複数を実行してもよく、その逆もまた然りである。
【0051】
(例示的なプロセス)
図3は、オブジェクトに関連するレーダーデータのサブセットに少なくとも部分的に基づいて、オブジェクトに関連するレーダーデータから2次元以上の速度を決定するための例示的なプロセス300の絵画的フロー図を示している。本明細書で述べられる例では、レーダーデータは、車両304上に配置されたレーダーセンサー302等の1つ又は複数のレーダーセンサーによって取得され得る。いくつかの実装では、例示的なプロセス300の動作は、知覚コンポーネントのレーダーコンポーネント等、自律、半自律、又は非自律車両の知覚コンポーネントの1つ又は複数のコンポーネントによって達成されてもよい。
【0052】
動作306において、例示的なプロセス300は、本明細書で論じられる技術のいずれかに従い、1つ又は複数のレーダーセンサーからレーダーデータ308を受信することを含み得る。図示された例では、車両304は、矢印310によって示される方向に概ね環境内を横断してよく(但し、他の実装では、車両304は静止していてもよいし、異なる方向に動いていてもよい)、例えば、車両304の前にあるオブジェクトについてのデータを取り込むためにレーダーセンサー302が車両304の先端に配置されるようになっている。より具体的には、レーダーセンサー302は、例えば、1つ又は複数のレーダースキャンを介して、レーダーデータ308を取り込んでもよい。
【0053】
いくつかの例示的な実装では、レーダーデータ308は、環境内のオブジェクトの位置を示す位置情報、例えば、車両304に対する範囲及び方角、及び/又はローカル座標系もしくはグローバル座標系における位置を含み得る。レーダーデータ308はまた、信号強度情報を含み得る。例えば、信号強度情報は、電波が反射される表面の種類又は組成を示すものであり得る。いくつかの例では、信号強度は、レーダー断面積(RCS)測定値であり得る。レーダーデータ308はまた、ドップラー測定から決定されたレンジレート等の速度情報を含んでもよい。例えば、オブジェクトの速度は、オブジェクトによって反射された高周波エネルギーの周波数及び/又は反射された高周波エネルギーが検出される時間に基づいてもよい。レーダーデータ308は、追加的又は代替的に、センサーの方向、例えば、車両に対するセンサーの姿勢、センサーのパルス反復周波数(PRF)又はパルス反復間隔(PRI)、視野又は検出アーク等(但し、これらに限定されない)を含む、センサーに関する特定の情報を含み得る。
【0054】
動作312において、例示的なプロセス300は、本明細書で論じられる技術のいずれかに従い、レーダーデータに少なくとも部分的に基づいて、オブジェクトに関連するリターンを決定することを含み得る。例示は、レーダーデータ316の可視化314を含む。より具体的には、可視化314は、車両304の環境において、オブジェクト、表面、又は他の反射性アイテムによって引き起こされるリターンを代表し得る、円形点として図示されたレーダー点の複数の表現を含む。図示されるように、いくつかの円形点は、符号316(1)、316(2)、316(3)、316(4)、316(5)、316(6)でラベルされている。例において、可視化314の一部として描かれた点の各々は、レーダーデバイスによって放出された電波を反射し、レーダーセンサー302で検出された表面の位置に対応し得る。理解されるように、レーダーセンサー302は、環境に関するいくつかのタイプの情報を受信及び/又は生成し得るため、可視化314は、より多くの、又はより少ない情報を含み得る;可視化314は、単に説明のためのものである。
【0055】
可視化314は、いくつかの点が近接する位置に現れ、そのようなものとして、単一のオブジェクトに関連付けられ得ることを示している。例えば、点316(2)-316(6)は、密接に位置し、例えば、閾値距離内にあり、いくつかの例では、それらの点は、オブジェクト318等の単一のオブジェクトを示すと推定され得る。例えば、その全体が参照により本明細書に組み込まれる米国特許出願第16/416686号においてより詳細に論じられるように、データ関連付けコンポーネントは、点316(2)-316(6)が車両304を取り巻く環境におけるオブジェクト318を代表する点群として識別され得ると決定してよい。本明細書で述べられる例では、また、上述したように、点群は、例えば、自律車両の計画システムによって、一緒に考慮されるべき単一のオブジェクト又はオブジェクトのグループ化を識別するための何らかの可能性、例えば、類似性のレベル及び/又は程度を有する複数の点を含んでもよい。本開示の態様では、位置情報に加えて、点群を決定するために情報が使用されてもよい。さらに、データ関連付けコンポーネントは、レーダーリターンをオブジェクト318と適切に関連付けるために、履歴情報、例えば、車両304及び/又はオブジェクト318の追跡情報を考慮してもよい。
【0056】
従って、本開示の実装では、動作312は、例えば、点が1つ又は複数の多様なタイプの情報に基づいてクラスタ化され得るため、及び多様なスキャン及び/又はレーダーセンサーからのセンサーデータがクラスタを作成するために用いられるため、オブジェクト318を代表するリターンを決定し得る。動作312は、1つ又は複数のスキャンからのレーダーデータの中からオブジェクト318に関連するレーダーデータのサブセットを決定する結果となり得る。
【0057】
いくつかの例では、動作312は、レーダーデータ及び/又はレーダーデータのサブセットにおける外れ値を拒絶するためにRANSACアルゴリズムを実行することをさらに含み得る。非限定的な例として、RANSAC手法は、オブジェクト318に関連するレーダーデータのサブセットの一部であると識別されたが、実際にはオブジェクト318からではないリターンを拒絶し得る。例えば、RANSAC手法は、オブジェクト318に近接する地面からのリターンを拒絶することができる。当然、本開示は、外れ値を拒絶するためにRANSACを使用することに限定されない。反復最小二乗法を含むがこれに限定されない他の技術が代替的に使用されてもよい。いくつかの例では、RANSAC動作は、剛体モデル等の検出されたオブジェクトの動作に関する仮定に少なくとも部分的に基づいてもよいが、この仮定は、検出されたオブジェクトの分類に少なくとも部分的に基づいて(例えば、画像データ及び/又はライダーデータに少なくとも部分的に基づいて決定された分類等の他の知覚データに少なくとも部分的に基づいて)変更されてもよい。
【0058】
動作320において、例示的なプロセス300は、本明細書で論じられる技術のいずれかに従い、オブジェクトに関連するレーダーデータのサブセットに少なくとも部分的に基づいて、検出されたオブジェクトの2(又はそれ以上の)次元の速度及び/又はヨーレートを決定することを含み得る。可視化322は、車両304(レーダーセンサー302を有する)と、オブジェクト318に関連付けられた点316(2)、316(3)、及び316(5)のうちの3つと、を含む。可視化322はまた、描写された例における車両304の姿勢に少なくとも部分的に基づいて配向され得る座標系324を図示している。
【0059】
可視化322では、表現を明確にするために、点316(2)は第1の検出点d0として表され、点316(5)は第2の検出点d1として表され、点316(3)は第3の検出点d2として表されている。例示的な描写では、レーダーデータ308からの3つの検出点のみが例示されているが、本明細書で述べられる技術は、オブジェクト318に関連する任意の及び全てのリターンを使用することができる。例示されるように、オブジェクト318は回転中心cを有してよく、オブジェクト318の動きは、x方向の速度、例えば、速度vx、y方向の速度、例えば、速度vy(他の座標系が使用されてもよいが、少なくとも直交座標系において)、及び回転中心cに対するヨーレートωによって特徴づけられ得る。例では、回転中心cは任意に選択されてもよいが、追加的又は代替的な例では、回転中心はレーダーコンポーネント及び/又は別の知覚コンポーネントによって決定されてもよく、及び/又はオブジェクト318に関連する追跡の一部として含まれてもよい。
【0060】
図示された例では、検出点d0-d2の位置、(第1の点d0に関連するリターンを生成した)レーダーセンサー302の位置、及び回転中心cの位置は、すべて既知であるか、又は少なくとも知覚コンポーネントによって推定されている。さらに、第1の検出点d0、第2の検出点d1、及び第3の検出点d2の各々は、関連する観測された速度θi、例えば、ドップラー速度を有する。このような速度は、例では、それぞれgdv0、gdv1、及びgdv2として図示されている。なお、gdvは、「地上ドップラー速度」を表す。このような速度は、点と、速度を感知するセンサーとの間の方向に沿った速度である。例えば、gdv0は、第1の検出点d0からレーダーセンサー302への方向(rd0)に沿った速度であり、gdv1は、第2の検出点d1からレーダーセンサー302への方向(rd1)に沿った速度であり、gdv2は、第3の検出点d2からレーダーセンサー302への方向(rd2)に沿った速度である。理解されるように、速度gdv0、gdv1、及びgdv2の方向は、オブジェクト318が回転中心cを中心に反時計回りに移動していることを示す。
【0061】
本明細書で論じられる技術は、図3に描写された速度等の2(又はそれ以上の)次元の速度、及び/又は図4でより詳細に論じられるようなヨーレートを決定することを含み得る。
【0062】
図4は、オブジェクトに関連するレーダーデータのサブセットに少なくとも部分的に基づいて、オブジェクトに関連するレーダーデータから2次元以上の速度を決定するための例示的なプロセス400の絵画的フロー図を示している。例えば、レーダーデータのサブセットは、動作306及び/又は312に少なくとも部分的に基づいて決定され得る。例示的なプロセスは、追加的又は代替的に、オブジェクトに関連する中心及び/又はサイズ/寸法を決定し得る。
【0063】
動作402において、例示的なプロセス400は、本明細書で論じられる技術のいずれかに従い、オブジェクトに関連付けられたレーダーデータを受信することを含み得る。例えば、レーダーデータは、動作306及び/又は動作312で決定されたn個のレーダー点のサブセットであってよく、ここで、nは正の整数である。レーダーデータの点dnは、例えば、検出面の位置、ドップラー速度(gdvn)、検出からレーダーセンサーまでの長さと方向を示すベクトル(rd0ベクトル)、RCS、方向ベクトルの少なくとも一部に基づいて決定され得る回転角(θdn)、及び/又はその同様のものを含み得る。追加的又は代替的に、知覚コンポーネントは、オブジェクトに関連する追跡をレーダーコンポーネントに提供してよく、追跡は、優先されるヨーα、及び/又はヨーレート、推定される中心c、位置、及び/又は同様のものを含み得る。いくつかの例では、動作402は、レーダーデータをさらに取り除くことを選択するために、外れ値除去アルゴリズムを実行することを追加的又は代替的に含み得る。例えば、外れ値除去アルゴリズムは、RANSACアルゴリズム、M-推定、及び/又は同様なものを含み得る。
【0064】
動作404において、例示的なプロセス400は、本明細書で論じられる技術のいずれかに従い、レーダーデータ及び/又は追跡に少なくとも部分的に基づいて、第1のデータ構造を決定し得る。動作404は、n個のレーダー点によって示されるデータを用いてデータ構造を配置することを含み得る。例えば、第1のデータ構造は、(式1)及び(式2)の行列を含み得る。
【0065】
【数1】
【0066】
ここで、θiは、i番目のレーダー観測の(平坦な回転角からの)ドップラー速度diを含み得る。なお、(式1)の行は、グランドリターンに対する2次元以上の速度の横方向の寄与(cosθd0)、縦方向の寄与(sinθd0)、次のように表されるヨーレートの寄与を含み得る。
【0067】
【数2】
【0068】
動作406で、例示的なプロセス400は、本明細書で論じられる技術のいずれかに従い、レーダーデータ及び/又は追跡に少なくとも部分的に基づいて、第2のデータ構造を決定することを含み得る。動作404は、オブジェクトに関連するn個のレーダー点及び追跡データによって示されるデータを用いてデータ構造を配置することを含み得る。例えば、第1のデータ構造は、(式3)の行列を含み得る。
【0069】
【数3】
【0070】
第2のデータ構造は、第1のデータ構造と同一であってもよいが、第2のデータ構造は、(式4)の最後の行で示されるヨー仮定を追加的に含んでいてもよい。換言すれば、第2のデータ構造は、仮定されたヨーに基づいてヨーに追加の制約を課すための項を含む。RADAR値のサブセットに挿入される、対応する「測定値」は、横方向速度と縦方向速度が角度αを介して関連付けられるような0である。(式1)及び(式4)によって示されるデータ構造は、線形又は非線形(例えば最小二乗法)回帰又はロバスト回帰アルゴリズムのパラメータであってもよい。例えば、線形回帰又はロバスト回帰の基礎を形成し得る線形モデルは、(式4)-(式6)として与えられ得る。
【0071】
【数4】
【0072】
Yは、所定の例における地上のドップラー速度である観測レーダー値を表し、xは、システムが決定している速度成分を表していることに留意されたい。さらに、上記の方程式及び議論がオブジェクトに関連する速度の決定に関するものであっても、例示的プロセス400は、追加的又は代替的に、オブジェクトに関連する中心及び/又はサイズ/寸法の決定を含み得る。例えば、第1及び/又は第2のデータ構造は、オブジェクトの中心及び/又はサイズ/寸法の仮定をより多く含み、これは、オブジェクトに関連する以前の追跡によって示される中心及び/又はサイズ/寸法に少なくとも部分的に基づいてよい。オブジェクトが以前のフレームで検出されていない場合、又は追跡動作がまだ実施されていない場合、中心及び/又はサイズ/寸法は、オブジェクトに関連付けられた分類等の知覚データに少なくとも部分的に基づいて、又はデフォルト初期化を使用して初期化され得る。
【0073】
動作408において、例示的なプロセス400は、本明細書で論じられる技術のいずれかに従い、第1の速度、第1のヨーレート、及び/又は第1の誤差を決定することを含み得る。例えば、第1の誤差は、Ax-Yによって決定される残差に少なくとも部分的に基づいて決定されてよい。動作408は、(式1)によって与えられる第1のデータ構造に少なくとも部分的に基づいて、(式5)を解くことを含んでもよい。
【0074】
動作410において、例示的なプロセス400は、本明細書で論じられる技術のいずれかに従い、第2の速度、第2のヨーレート、及び/又は第2の誤差を決定することを含み得る。動作410は、(式4)によって与えられる第1のデータ構造に少なくとも部分的に基づいて(式5)を解くことを含んでもよい。動作408及び/又は動作410について、(式5)を解くことは、線形回帰を含んでもよい。線形回帰は、レーダー点(例えば、行列の行)及び/又はヨー仮定(例えば、第2のデータ構造の最後の行)のうちの1つ又は複数に関連する誤差を決定してもよい。いくつかの例では、損失関数は回帰の一部であってもよく、第1の誤差及び/又は第2の誤差は、回帰アルゴリズムによって決定される誤差に少なくとも部分的に基づく総誤差に基づいて決定されてもよい。いくつかの例では、本明細書で論じられる誤差は、基礎となるセンサーシステムの故障に関連しない場合があり、代わりに、それに関連する速度が正しいという裕度を示し得る。例えば、誤差は、事後確率であってもよい。
【0075】
いくつかの例では、動作408及び/又は動作410は、追加的に又は代替的に、第1の速度及び第1のヨーレート及び/又は第2の速度及び第2のヨーレートに関連する共分散を決定することをそれぞれ含み得る。例えば、速度及びヨーに関連する共分散は、(式7)によって与えられ得る。
【0076】
【数5】
【0077】
ここで、(式1)に対して(式8)が、或いは(式3)に対して(式9)が成り立つ。
【0078】
【数6】
【0079】
ここで、varnは、静的係数であってもよく、追加的又は代替的な例では、レンジレート測定された分散等の分散であってよい。いくつかの例では、varnの値は、少なくとも部分的に、車両の検出された環境に基づいて設定されてもよい。例えば、知覚コンポーネントが、車両304は高速道路を走っていると決定した場合、レーダーコンポーネントは、車両304は都心の通りを走っていると検出することと比較して、varnの値を低減させてよい。
【0080】
動作412において、例示的なプロセス400は、本明細書で論じられる技術のいずれかに従い、第1の誤差及び第2の誤差に少なくとも部分的に基づいて、第1の速度及び/又は第1のヨーレート、又は第2の速度及び/又は第2のヨーレートを選択することを含み得る。例えば、回帰アルゴリズムは、動作408及び/又は410の間、速度を決定することの一部として、総誤差を決定し得る。動作412は、2つの誤差のうち、より低い誤差に関連するいずれかの速度を選択することを含み得る。いくつかの例では、2つのデータ構造のうちの1つは、非解決方程式又は多重解決方程式を引き起こす可能性があり、この場合、動作412は、解決可能な方程式に関連する速度を選択することを含み得る。例えば、行列は非可逆であってもよく、誤差は回帰中に数値的に発散してもよく、及び/又は解はホロノミック制約に違反してもよい。いくつかの例では、選択された速度は、オブジェクトに関連する追跡と関連してもよい。
【0081】
動作414において、例示的なプロセス400は、本明細書で論じられる技術のいずれかに従い、確定された速度を決定することを含み得る。確定された速度を決定することは、選択された速度及び/又は誤差に少なくとも部分的に基づき得る。例えば、動作408及び410で決定された速度(及び選択された速度)は、提案された速度又は候補速度であってよく、動作414で決定された速度は、いくつかの例においてより高い精度で決定されてよい。動作414は、ベイズフィルタ(例えば、カルマンフィルタ)及び/又は他の推定アルゴリズムによって達成され得る。いくつかの例では、データ構造のうちの1つを使用して速度を決定することは、(式8)に従い、データ構造に基づいて、共分散を決定することと、(式5)-(式7)に少なくとも部分的に基づく回帰アルゴリズムを用いて推定速度及び/又は推定ヨーレートを決定することと、カルマンフィルタを用いて確定された速度及び/又は推定ヨーレートを決定することと、を含み得る。カルマンフィルタは、入力として共分散及び推定速度及び/又は推定ヨーレートを受信し、それに基づいて確定された速度及び/又は推定ヨーレートを決定してもよい。カルマンフィルタは、共分散に加えて、又は代替的に、レーダーデータに関連するノイズ信号を受信してもよい。いくつかの例では、カルマンフィルタは、オブジェクトの元の位置、速度、ヨー、ヨーレート、及び/又は同様のもの等、オブジェクトに関連する追跡又はそれに関連するデータの少なくとも一部を受信してもよい。いくつかの例では、動作414は、動作412のオプション、追加、又は代替であってよい。
【0082】
動作416において、例示的なプロセス400は、本明細書で論じられる技術のいずれかに従い、速度及び/又は誤差に少なくとも部分的に基づいて自律車両を制御することを含み得る。速度は、動作412で決定された選択された速度及び/又は動作414で決定された確定された速度であってよい。いくつかの例では、動作416は、追加的又は代替的に、ヨーレートに少なくとも部分的に基づいてもよい。
【0083】
図5は、オブジェクトに関連するレーダーデータのサブセットに少なくとも部分的に基づいて、オブジェクトに関連するレーダーデータから2次元以上の速度を決定するための例示的プロセス500の絵画的フロー図である。例えば、レーダーデータのサブセットは、動作306及び/又は312に少なくとも部分的に基づいて決定され得る。いくつかの例では、例示的なプロセス500は、RANSACの使用を除外することによって決定的であり得る。例示的プロセス500は、少なくとも、例示的プロセス400が2つのシステムを解くことを含むのに対し、例示的プロセス500が1つのシステムを解くことを含むため、いくつかの例において、例示的プロセス400より高速であり得る。
【0084】
動作502において、例示的なプロセス500は、本明細書で論じられる技術のいずれかに従い、オブジェクトに関連付けられたレーダーデータを受信することを含み得る。例えば、動作502は、動作402を含んでもよい。
【0085】
動作504において、例示的なプロセス500は、本明細書で論じられる技術のいずれかに従い、レーダーデータ及び重みのセットに少なくとも部分的に基づいて、データ構造を決定することを含み得る。動作506は、n個のレーダー点によって示されるデータ及びオブジェクトに関連する追跡データでデータ構造を配置することを含み得る。例えば、データ構造は、(式10)の行列を含み得る。ここでも、(式2)が成り立つ。
【0086】
【数7】
【0087】
いくつかの例では、重みβi(iは行/レーダー点番号)のセットは、行ごとに異なる重みを含み得るが、重みβ(i,j)(jは第1列と第3列の間の範囲である)は列ごとに決定されてもよい。(式10)は、前者の例に従って構築される。重みのセットは、最初のn行のデータ点に対応し得る、動作508における速度決定における行の影響を維持、増加、又は減少させるように機能してもよく、及び/又は上述の(式10)で与えられた行列の最後の行に対応するn+1番目の重みは、行列の最後の行によって与えられるヨー仮定の影響をオン/オフ又は増加又は減少させるように機能してもよい。
【0088】
動作506において、例示的なプロセス500は、本明細書で論じられる技術のいずれかに従い、レーダーデータに少なくとも部分的に基づいて重みのセットを決定することを含み得る。重みβi(iは、行/レーダー点番号)のセットを決定することは、レーダー点に関連する誤差、例えば、分散を決定することと、オブジェクトに関連するレーダーデータのサブセットの全体誤差を最小化するために誤差に少なくとも部分的に基づく重みを決定することとを含み得る。例えば、重みのセットを決定することは、反復的に再重み付けされた最小二乗アルゴリズム等のロバスト回帰を含み得る。ロバスト回帰では、損失関数がレーダー検出に関連する残差を決定し、残差に少なくとも部分的に基づいてレーダー検出を重み付けし得る。例えば、損失関数は、コーシー損失関数、フーバー損失関数、及び/又は同様のものであってもよい。このような例では、損失関数は、それに関連する残差が大きいほど、レーダー検出に小さい重み付け係数を適用し得る。いくつかの例では、重み付けプロセスは、重み付けの総計が収束するまでレーダー検出を反復的に再重み付けすることを含んでよく、これは、反復動作504、506、及び/又は508を含んでよい。いくつかの例では、動作506で決定された誤差は、データ構造に関連して回帰アルゴリズムによって決定された総誤差に少なくとも部分的に基づいて決定され得る。重みのセットは、2つのデータ構造を決定し、それらの間で選択することを置き換え、2つのデータ構造を解くことを1つに減らすために機能してもよい。
【0089】
いくつかの例では、動作506は、少なくとも部分的に以前の追跡又は初期化に基づくオブジェクトの中心及び/又はサイズ/寸法の仮定でデータ構造を入力することを含み得る。
【0090】
動作508において、例示的なプロセス500は、本明細書で論じられる技術のいずれかに従い、データ構造に少なくとも部分的に基づいて、速度及び/又は誤差を決定することを含み得る。例えば、速度及び/又は誤差を決定することは、上述した重み付けされた線形回帰の一部であってもよい。いくつかの例では、共分散は、上述の(式8)及び(式10)による等、速度に関連して決定されてもよい。動作508は、追加的又は代替的に、オブジェクトに関連する中心及び/又はサイズ/寸法を決定することを含んでもよい。
【0091】
動作510において、例示的なプロセス500は、本明細書で論じられる技術のいずれかに従い、確定された速度を決定することを含み得る。確定された速度を決定することは、動作508において決定された速度及び/又は共分散に少なくとも部分的に基づき得る。例えば、動作508で決定された速度は、提案された速度又は候補速度であってよく、動作510で決定された速度は、いくつかの例において、より高い精度で決定されてよい。動作510は、いくつかの例において、ベイズフィルタ(例えば、カルマンフィルタ)及び/又は他の推定アルゴリズムによって達成され得る。
【0092】
動作512において、例示的なプロセス500は、本明細書で論じられる技術のいずれかに従い、提案及び/又は確定された速度、及び/又は誤差に少なくとも部分的に基づいて自律車両を制御することを含み得る。
【0093】
(例示項)
A:方法であって、オブジェクトに関連付けられたレーダーデータを受信することと、レーダーデータに少なくとも部分的に基づいて、第1のパラメータ部分及び第2のパラメータ部分を含むデータ構造を決定することであって、第1のパラメータ部分は、オブジェクトの速度に対する横方向の寄与であって、当該横方向の寄与は第1のレーダー観測に関連付けられること、第1のレーダー観測に関連付けられた縦方向の寄与、第1のレーダー観測に関連付けられたヨーレートの寄与を含み、第2のパラメータ部分は、オブジェクトに関連付けられたヨーレートの仮定を含むことと、データ構造に適用するための重みのセットを決定することであって、重みのセットは、少なくとも、第1のレーダーポイントに関連付けられた第1の重み及びヨーレートの寄与に関連付けられた第2の重みを含むことと、データ構造及び重みのセットに少なくとも部分的に基づいて、オブジェクトに関連付けられたヨーレートを決定することと、ヨーレートに少なくとも部分的に基づいて、自律車両を制御することと、を含む方法。
【0094】
B:段落Aに記載の方法であって、速度を決定することは、データ構造及び重みのセットに少なくとも部分的に基づいて、重み付け回帰を決定することを含む方法。
【0095】
C:段落A又はBのいずれかの方法であって、データ構造及び重みのセットに少なくとも部分的に基づいて、速度を決定することと、速度及びヨーレートを知覚システムに提供することと、知覚システムからオブジェクトの予測された軌道を受信することと、を含み、自律車両を制御することは、さらに予測された軌道に少なくとも部分的に基づく方法。
【0096】
D:段落AからCのいずれか1つの方法であって、オブジェクトに関連付けられた追跡を受信することをさらに含み、追跡は、オブジェクトに関連付けられたヨー又はヨーレートの少なくとも1つを含み、ヨーの仮定は、追跡のヨー又はヨーレートの少なくとも1つに少なくとも部分的に基づく方法。
【0097】
E:段落AからDのいずれか1つの方法であって、ヨーレートを決定することは、提案されたヨーレートを決定することを含み、当該方法は、データ構造に少なくとも部分的に基づいて共分散を決定することと、共分散及び前記提案されたヨーレートに少なくとも部分的に基づいて、前記オブジェクトの確定されたヨーレートを決定することと、をさらに含み、車両を制御することは、ヨーレート及び共分散に少なくとも部分的に基づく方法。
【0098】
F:システムであって、1つ又は複数のプロセッサと、1つ又は複数のプロセッサによって実行されると、システムに、オブジェクトに関連付けられたレーダーデータを受信することと、レーダーデータに少なくとも部分的に基づいて、第1のパラメータ部分及び第2のパラメータ部分を含むデータ構造を決定することであって、第2のパラメータ部分は、オブジェクトに関連付けられたヨーレートの仮定を含むことと、データ構造に適用するための重みのセットを決定することであって、重みのセットは、少なくとも、第1のレーダーポイントに関連付けられた第1の重み及びヨーレートの寄与に関連付けられた第2の重みを含むことと、データ構造及び重みのセットに少なくとも部分的に基づいて、オブジェクトに関連付けられたヨーレートを決定することと、ヨーレートに少なくとも部分的に基づいて、自律車両を制御することと、を含む動作を実行させる、プロセッサ実行可能な指令を格納するメモリと、を含むシステム。
【0099】
G:段落Fのシステムであって、動作は、データ構造及び重みのセットに少なくとも部分的に基づいて、速度を決定することと、速度及びヨーレートを知覚システムに提供することと、知覚システムからオブジェクトの予測された軌道を受信することと、を含み、自律車両を制御することは、さらに予測された軌道に少なくとも部分的に基づくシステム。
【0100】
H:段落F又はGのいずれかのシステムであって、データ構造は、オブジェクト、ドップラー方向ベクトル、又はベクトルに関連する角度に関連付けられたドップラー観測の少なくとも1つを含むレーダー観測を含むシステム。
【0101】
I:段落FからHのいずれかのシステムであって、動作は、オブジェクトに関連付けられた追跡を受信することをさらに含み、追跡はオブジェクトに関連付けられたヨー又はヨーレートの少なくとも1つを含み、ヨーの仮定は、追跡のヨー又はヨーレートの少なくとも1つに少なくとも部分的に基づくシステム。
【0102】
J:段落FからIのいずれかのシステムであって、ヨーレートを決定することは、提案されたヨーレートを決定することを含み、動作は、データ構造に少なくとも部分的に基づいて共分散を決定することと、共分散及び提案されたヨーレートに少なくとも部分的に基づいて、オブジェクトの確定されたヨーレートを決定することと、をさらに含み、車両を制御することは、ヨーレート及び共分散に少なくとも部分的に基づくシステム。
【0103】
K:段落FからJのいずれかのシステムであって、動作は、速度とオブジェクトに関連付する、以前に生成された追跡とを関連付けること、或いは、オブジェクトに関連付けられた新しい追跡を生成し、新しい追跡を速度に関連付けることと、をさらに含むシステム。
【0104】
L:段落FからKのいずれかのシステムであって、動作は、オブジェクトの中心又はサイズを決定することの少なくとも1つをさらに含むシステム。
【0105】
M:非一時的コンピュータ可読媒体であって、1つ又は複数のプロセッサによって実行されると、1つ又は複数のプロセッサに、オブジェクトに関連付けられたレーダーデータを受信することと、レーダーデータに少なくとも部分的に基づいて、第1のパラメータ部分及び第2のパラメータ部分を含むデータ構造を決定することであって、第2のパラメータ部分は、オブジェクトに関連付けられたヨーレートの仮定を含むことと、データ構造に適用するための重みのセットを決定することであって、重みのセットは、少なくとも、第1のレーダーポイントに関連付けられた第1の重み及びヨーレートの寄与に関連付けられた第2の重みを含むことと、データ構造及び重みのセットに少なくとも部分的に基づいて、オブジェクトに関連付けられたヨーレートを決定することと、ヨーレートに少なくとも部分的に基づいて、自律車両を制御することと、を含む動作を実行させる指令を格納する、非一時的コンピュータ可読媒体。
【0106】
N:段落Mの非一時的コンピュータ可読媒体であって、動作は、データ構造及び重みのセットに少なくとも部分的に基づいて、速度を決定することと、速度及びヨーレートを知覚システムに提供することと、知覚システムからオブジェクトの予測された軌道を受信することと、を含み、自律車両を制御することは、さらに予測された軌道に少なくとも部分的に基づく非一時的コンピュータ可読媒体。
【0107】
O:段落M又はNのいずれかの非一時的コンピュータ可読媒体であって、データ構造は、オブジェクト、ドップラー方向ベクトル、又はベクトルに関連する角度に関連付けられたドップラー観測の少なくとも1つを含むレーダー観測を含む非一時的コンピュータ可読媒体。
【0108】
P:段落MからOのいずれかの非一時的コンピュータ可読媒体であって、動作は、オブジェクトに関連付けられた追跡を受信することをさらに含み、追跡はオブジェクトに関連付けられたヨー又はヨーレートの少なくとも1つを含み、ヨーの仮定は、追跡のヨー又はヨーレートの少なくとも1つに少なくとも部分的に基づく非一時的コンピュータ可読媒体。
【0109】
Q:段落MからPのいずれかの非一時的コンピュータ可読媒体であって、ヨーレートを決定することは、提案されたヨーレートを決定することを含み、動作は、データ構造に少なくとも部分的に基づいて共分散を決定することと、共分散及び提案されたヨーレートに少なくとも部分的に基づいて、オブジェクトの確定されたヨーレートを決定することと、をさらに含み、車両を制御することは、ヨーレート及び共分散に少なくとも部分的に基づく非一時的コンピュータ可読媒体。
【0110】
R:段落MからQのいずれかの非一時的コンピュータ可読媒体であって、動作は、速度とオブジェクトに関連付する、以前に生成された追跡とを関連付けること、或いは、オブジェクトに関連付けられた新しい追跡を生成し、新しい追跡を速度に関連付けることと、をさらに含む非一時的コンピュータ可読媒体。
【0111】
S:段落MからRのいずれかの非一時的コンピュータ可読媒体であって、第1の重みを決定することは、データ構造及びヨーレートに少なくとも部分的に基づいて残差を決定することと、残差を低減するように第1の重みを変更することと、を含む、非一時的コンピュータ可読媒体。
【0112】
T:段落MからSのいずれかの非一時的コンピュータ可読媒体であって、動作は、オブジェクトの中心又はサイズを決定することの少なくとも1つをさらに含む、非一時的コンピュータ可読媒体。
【0113】
U:段落AからTのいずれかの方法であって、データ構造は、データ構造は、オブジェクト、ドップラー方向ベクトル、又はベクトルに関連する角度に関連付けられたドップラー観測の少なくとも1つを含むレーダー観測を含む方法。
【0114】
V:方法であって、オブジェクトに関連付けられたレーダーデータを受信することと、
レーダーデータに少なくとも部分的に基づいて、第1のパラメータ部分を含む第1のデータ構造を決定することと、レーダーデータに少なくとも部分的に基づいて、第2のパラメータ部分を含む第2のデータ構造を決定することであって、第2のパラメータ部分は、オブジェクトに関連付けられたヨーの仮定を含むことと、第1のデータ構造に少なくとも部分的に基づいて、オブジェクトに関連付けられた第1の速度及び第1の速度に関連付けられた第1の誤差を決定することと、第2のデータ構造に少なくとも部分的に基づいて、オブジェクトに関連付けられた第2の速度及び第2の速度と第2のヨーレートに関連付けられた第2の誤差を決定することと、第1誤差と第2誤差に少なくとも部分的に基づいて、第1の速度と第1のヨーレート又は第2の速度と第2のヨーレートに少なくとも部分的に基づいて、自律車両を制御することと、を含む方法。
【0115】
W:システムであって、1つ又は複数のプロセッサと、1つ又は複数のプロセッサによって実行されると、システムに段落A-E、U、又はVのいずれかに記載される方法を実行させるプロセッサ実行可能な指令を格納するメモリと、を含むシステム。
【0116】
X:非一時的コンピュータ可読媒体であって、1つ又は複数のプロセッサによって実行されると、1つ又は複数のプロセッサに段落A-E、U、又はVのいずれかに記載される方法を実行させるプロセッサ実行可能な指令を格納する、非一時的コンピュータ可読媒体。
【0117】
上述した例示項は、1つの特定の実装に関して述べられているが、本書の文脈において、例示項の内容は、方法、装置、システム、コンピュータ可読媒体、及び/又は別の実装を介して実装することもできることを理解されるべきである。さらに、段落A-Xのいずれかは、単独で、又は他の1つ又は複数の段落A-Xと組み合わせて実装されてよい。
【0118】
(結言)
主題は、構造的特徴及び/又は方法論的行為に特有の言語で説明されてきたが、添付の請求項に定義された主題は、必ずしも述べられた特定の特徴又は行為に限定されないことが理解されるであろう。むしろ、特定の特徴及び行為は、特許請求の範囲を実施する例示的な形態として開示されている。
【0119】
本明細書で述べられるコンポーネントは、任意のタイプのコンピュータ可読媒体に格納され得る指令を表しており、ソフトウェア及び/又はハードウェアで実施され得る。上述した方法及びプロセスの全ては、1つ又は複数のコンピュータ又はプロセッサ、ハードウェア、又はそれらのいくつかの組み合わせによって実行されるソフトウェアコードコンポーネント及び/又はコンピュータ実行可能な指令において具現化され、それらを介して完全に自動化され得る。方法の一部又は全部は、代替的に、特殊なコンピュータハードウェアで具現化されてもよい。
【0120】
本明細書で論じられる処理の少なくともいくつかは、論理フローグラフとして図示され、その各動作は、ハードウェア、ソフトウェア、又はそれらの組み合わせで実装され得る動作のシーケンスを表している。ソフトウェアの文脈では、動作は、1つ又は複数のプロセッサによって実行されると、コンピュータ又は自律車両に言及された動作を実行させる、1つ又は複数の非一時的コンピュータ可読記憶媒体上に格納されたコンピュータ実行可能な指令を表す。一般に、コンピュータ実行可能な指令は、特定の機能を実行する、又は特定の抽象的なデータタイプを実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造等を含む。動作が記載される順序は、限定として解釈されることを意図しておらず、記載された動作の任意の数は、処理を実行するために任意の順序で及び/又は並行して組み合わされてよい。
【0121】
特に、「してよい」、「し得る」、「だろう」等の条件付き言語は、特に断らない限り、文脈内で、特定の例が特定の特徴、要素及び/又はステップを含み、他の例が含まないことを示すと理解される。したがって、このような条件付き言語は、一般に、特定の特徴、要素及び/又はステップが1つ又は複数の例に何らかの形で必要であること、又は1つ又は複数の例が、特定の特徴、要素及び/又はステップが任意の特定の例に含まれるか又は実行されるべきかを、ユーザ入力又はプロンプトの有無にかかわらず決定するための論理を必ずしも含むことを意味することを意図していない。
【0122】
「X、Y、又はZの少なくとも1つ」のような接続語は、特に断らない限り、項目、用語等がX、Y、又はZのいずれか、或いはそれらの任意の組み合わせ(各要素の倍数を含む)であり得ることを示すと理解されるものとする。単数形として明示的に記述されていない限り、「a」は単数形及び複数形を意味する。
【0123】
本明細書に記載され、添付図に描かれたフロー図における任意のルーチン記述、要素又はブロックは、ルーチン内の特定の論理機能又は要素を実行するための1つ又は複数のコンピュータ実行可能な指令を含むコードのモジュール、セグメント又は部分を表し得ると理解されるべきである。代替の実装は、当業者に理解されるように、関係する機能に応じて、要素又は機能が削除されるか、又は、実質的に同期して、逆順に、追加の動作を伴って、又は動作の省略を含めて、示される或いは論じられるものとは異なる順序で実行され得る、ここで説明する例の範囲に含まれる。実質的にという用語は、範囲を示す場合があることに留意されたい。例えば、実質的に同時にというのは、2つの活動が互いの時間範囲内で発生することを示す場合があり、実質的に同じ寸法というのは、2つの要素が互いの範囲内の寸法を有することを示す場合があり、及び/又は同様なものである。
【0124】
上述した例に多くの変形及び修正を加えられてよく、その要素は他の許容可能な例の中にあるものとして理解される。全てのそのような修正及び変形は、本開示の範囲内に含まれ、以下の請求項によって保護されることが意図される。
図1
図2
図3
図4
図5
【国際調査報告】