特表 2025-500877 トラック信頼度モデル

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2025-01-15

(54)【発明の名称】トラック信頼度モデル

(51)【国際特許分類】

   G06T 7/00 20170101AFI20250107BHJP

【ＦＩ】

G06T7/00 650Z

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024535727

(86)(22)【出願日】2022-12-15

(85)【翻訳文提出日】2024-06-14

(86)【国際出願番号】 US2022053027

(87)【国際公開番号】W WO2023114409

(87)【国際公開日】2023-06-22

(31)【優先権主張番号】17/553,938

(32)【優先日】2021-12-17

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】518156417

【氏名又は名称】ズークス インコーポレイテッド

(74)【代理人】

【識別番号】110001243

【氏名又は名称】弁理士法人谷・阿部特許事務所

(72)【発明者】

【氏名】スブハシス ダス

(72)【発明者】

【氏名】ジーフェイ キアン

(72)【発明者】

【氏名】リウジャン ヤン

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA02

5L096AA06

5L096BA04

5L096FA16

5L096FA59

5L096FA64

5L096FA66

5L096FA67

5L096FA69

5L096GA40

5L096GA51

5L096HA11

5L096KA04

5L096MA07

(57)【要約】

複数のセンサーモダリティから出力を決定する技法が本明細書に説明される。レーダーセンサー、ライダーセンサー、および画像センサーからの特徴は、それぞれのモデルに入力されて、物体に関連付けられたトラックと、関連付けられた信頼度レベルとに関連付けられたそれぞれの中間出力を決定することがある。レーダーモデル、ライダーモデル、およびビジョンモデルからの中間出力は、フューズドモデルに入力されて、トラックに関連付けられたフューズド信頼度レベルおよびフューズド出力を決定することがある。フューズド信頼度レベルと個々の信頼度レベルとは、しきい値と比較されて、自律車両のプランニングシステムまたは予測システムに送信するトラックを生成する。さらに加えて、車両コントローラーは、トラックおよび／または信頼度レベル（複数可）に基づいて自律車両を制御することが可能である。

【特許請求の範囲】

【請求項1】

第１のモダリティを介して動作するセンサーから第１の特徴データを受信することと、
第１のモデルに前記第１の特徴データを入力することと、
前記第１のモデルから、前記第１の特徴データに少なくとも部分的に基づいて、物体に関連付けられた第１のモダリティ信頼度スコアを受信することと、
前記第１のモデルから第１の中間出力を受信することと、
マルチモダリティモデルに前記第１の中間出力を入力することと、
前記マルチモダリティモデルから、前記第１の中間出力に少なくとも部分的に基づいて、前記物体に関連付けられたマルチモダリティ信頼度スコアを受信することと、
前記第１のモダリティ信頼度スコアと前記マルチモダリティ信頼度スコアとに少なくとも部分的に基づいて、前記物体に関連付けられたデータを出力することと
を備えることを特徴とする方法。

【請求項2】

前記第１のモダリティ信頼度スコアが前記マルチモダリティ信頼度スコアよりも高いと決定することと、
前記第１のモダリティ信頼度スコアが前記マルチモダリティ信頼度スコアよりも高いことに少なくとも部分的に基づいて、前記物体に関連付けられた前記データを出力することと
をさらに備えることを特徴とする請求項１に記載の方法。

【請求項3】

前記第１のモダリティ信頼度スコアが前記マルチモダリティ信頼度スコアよりも高いと決定することは、
前記マルチモダリティ信頼度スコアがしきい値より下であると決定することと、
前記第１のモダリティ信頼度スコアが前記しきい値より上であると決定することと
を含むことを特徴とする請求項２に記載の方法。

【請求項4】

前記物体に関連付けられた前記データは、前記物体を表すトラックであり、前記方法は、
第２のモデルからマルチモダリティ出力を受信することと、
前記第１の中間出力または前記マルチモダリティ出力に少なくとも部分的に基づいて、前記物体を表す前記トラックを生成することと
をさらに備えることを特徴とする請求項１ないし３のいずれか一項に記載の方法。

【請求項5】

第２のモデルからマルチモダリティ出力を受信することと、
前記第１のモダリティ信頼度スコアと前記マルチモダリティ信頼度スコアとに少なくとも部分的に基づいて、前記第１の中間出力または前記マルチモダリティ出力のうちの少なくとも１つにより前記物体を表す前記トラックを更新することと、
前記第１のモダリティ信頼度スコアと前記マルチモダリティ信頼度スコアとに少なくとも部分的に基づいて、予測システムまたはプランニングシステムのうちの少なくとも１つに前記物体を表す前記トラックを出力することと
をさらに備えることを特徴とする請求項４に記載の方法。

【請求項6】

前記物体に関連付けられた前記データに少なくとも部分的に基づいて、自律車両を制御すること
をさらに備えることを特徴とする請求項１ないし５のいずれか一項に記載の方法。

【請求項7】

前記第１のモデルは、マルチレイヤパーセプトロンであることを特徴とする請求項１ないし６のいずれか一項に記載の方法。

【請求項8】

前記第１の特徴データは、レーダーデータ、ライダーデータ、またはカメラデータのうちの少なくとも１つと関連付けられることを特徴とする請求項１ないし７のいずれか一項に記載の方法。

【請求項9】

前記センサーは、第１のセンサーであり、
前記第１のモダリティとは異なる第２のモダリティにて動作する第２のセンサーから第２の特徴データを受信することと、
第２のモデルに前記第２の特徴データを入力することと、
前記第２のモデルから、前記第２の特徴データに少なくとも部分的に基づいて、前記物体に関連付けられた第２のモダリティ信頼度スコアを受信することと、
前記第２のモデルから第２の中間出力を受信することと、
前記マルチモダリティモデルに前記第２の中間出力を入力することと、
前記マルチモダリティモデルから、前記第１の中間出力と前記第２の中間出力とに少なくとも部分的に基づいて、前記物体に関連付けられたマルチモダリティ信頼度スコアを受信することと、
前記第１のモダリティ信頼度スコアと前記第２のモダリティ信頼度スコアと前記マルチモダリティ信頼度スコアとに少なくとも部分的に基づいて、前記物体に関連付けられた前記データを出力することと
をさらに備えることを特徴とする請求項１ないし８のいずれか一項に記載の方法。

【請求項10】

１つまたは複数のプロセッサーによって実行されると、前記１つまたは複数のプロセッサーに、請求項１ないし９のいずれか一項に記載の方法を実装する動作を行わせる命令を格納することを特徴とする１つまたは複数の非一時的なコンピューター読取り可能媒体。

【請求項11】

システムであって、
１つまたは複数のプロセッサーと、
前記１つまたは複数のプロセッサーによって実行可能な命令を格納する１つまたは複数の非一時的なコンピューター読取り可能媒体であって、前記命令は、実行されると、前記システムに、
第１のモダリティを介して動作するセンサーから第１の特徴データを受信することと、
第１のモデルに前記第１の特徴データを入力することと、
前記第１のモデルから、前記第１の特徴データに少なくとも部分的に基づいて、物体に関連付けられた第１のモダリティ信頼度スコアを受信することと、
前記第１のモデルから第１の中間出力を受信することと、
マルチモダリティモデルに前記第１の中間出力を入力することと、
前記マルチモダリティモデルから、前記第１の中間出力に少なくとも部分的に基づいて、前記物体に関連付けられたマルチモダリティ信頼度スコアを受信することと、
前記第１のモダリティ信頼度スコアと前記マルチモダリティ信頼度スコアとに少なくとも部分的に基づいて、前記物体に関連付けられたデータを出力することと
を含む動作を行わせる、１つまたは複数の非一時的なコンピューター読取り可能媒体と
を備えたことを特徴とするシステム。

【請求項12】

前記物体に関連付けられた前記データは、前記物体を表すトラックであることを特徴とする請求項１１に記載のシステム。

【請求項13】

前記動作は、
第２のモデルからマルチモダリティ出力を受信することと、
前記第１の中間出力または前記マルチモダリティ出力に少なくとも部分的に基づいて、前記物体を表す前記トラックを生成することと
をさらに含むことを特徴とする請求項１２に記載のシステム。

【請求項14】

前記動作は、
第２のモデルからマルチモダリティ出力を受信することと、
前記第１のモダリティ信頼度スコアと前記マルチモダリティ信頼度スコアとに少なくとも部分的に基づいて、前記第１の中間出力または前記マルチモダリティ出力のうちの少なくとも１つにより前記物体を表す前記トラックを更新することと、
前記第１のモダリティ信頼度スコアと前記マルチモダリティ信頼度スコアとに少なくとも部分的に基づいて、予測システムまたはプランニングシステムのうちの少なくとも１つに前記物体を表す前記トラックを出力することと
をさらに含むことを特徴とする請求項１２または１３に記載のシステム。

【請求項15】

前記センサーは、第１のセンサーであり、前記動作は、
前記第１のモダリティとは異なる第２のモダリティにて動作する第２のセンサーから第２の特徴データを受信することと、
第２のモデルに前記第２の特徴データを入力することと、
前記第２のモデルから、前記第２の特徴データに少なくとも部分的に基づいて、前記物体に関連付けられた第２のモダリティ信頼度スコアを受信することと、
前記第２のモデルから第２の中間出力を受信することと、
前記マルチモダリティモデルに前記第２の中間出力を入力することと、
前記マルチモダリティモデルから、前記第１の中間出力と前記第２の中間出力とに少なくとも部分的に基づいて、前記物体に関連付けられたマルチモダリティ信頼度スコアを受信することと、
前記第１のモダリティ信頼度スコアと前記第２のモダリティ信頼度スコアと前記マルチモダリティ信頼度スコアとに少なくとも部分的に基づいて、前記物体に関連付けられた前記データを出力することと
をさらに含むことを特徴とする請求項１１ないし１４のいずれか一項に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本ＰＣＴ国際特許出願は、本明細書に参照により組み入れられる開示、２０２１年１２月１７日出願の米国特許出願第１７／５５３，９３８号の優先権の利益を主張する。

【背景技術】

【0002】

自律車両のプランニングシステムは、環境のおける物体に関連付けられた情報を利用して、それらの物体に関する作動を決定することが可能である。例えば、自律車両に関するいくつかの既存のプランニングシステムは、たとえば自律車両が環境を通って横切って進む操縦を決定するとき、路面の他の車両などの物体の動きを考慮する。従来のシステムは、たとえばレーダー、ライダー、および／またはビジョンなど、異なるモダリティからのデータを組み合わせて、物体（複数可）についての情報を決定することがある。しかしながら、１つまたは多くのモダリティが物体を検出しないとき、結果のトラック（track）は、低い信頼度レベルを有することがある。

【図面の簡単な説明】

【0003】

【図1】異なるセンサーモダリティの信頼度レベルを決定するための例示的なシステムおよび技法のフロー図である。

【図2】フューズドモダリティモデルのトラックを決定することについての絵入りのフロー図である。

【図3】環境のおける物体をトラックするためにレーダーデータを用いる例示的なシステムおよび技法を例示する図式的な表現である。

【図4】本明細書において説明されるように複数のセンサーモダリティのトラックを決定するための車両制御システムおよびコンピューティングシステムの例示的なアーキテクチャのブロック図を含む。

【図5】出力するために複数のセンサーモダリティからトラックを決定するための例示的な処理を例示するフロー図である。

【発明を実施するための形態】

【0004】

本明細書において、環境においてセンサーによって検出されトラックされた物体の信頼度レベル（複数可）を決定するための技法が述べられる。例えば、センサーデータは、レーダーデータ、ライダーデータ、画像データ、および同類のもののうちの１つまたは複数を用いてキャプチャーされることが可能である。上記センサーデータは、物体（複数可）のトラックを決定するように訓練されたトラッカー（複数可）またはモデル（複数可）に入力されることが可能である。技法は、個々のセンサーモダリティによって生成されたデータを用いて、個々のセンサーモダリティに関連付けられた信頼度レベルを決定することと、それぞれの信頼度レベルをしきい値と比較することとを含むことが可能である。さらに、個々のセンサーモダリティに関連付けられたトラッカーまたはモデルの中間出力は、複数のセンサーモダリティからのデータを組み入れているフューズドデータ（fused data）に結合されることがあり、上記フューズドデータは、１つまたは複数のセンサーモダリティによって検出された物体のグループを含む、および／または備えることがある。いくつかの例では、フューズドデータに関連付けられた信頼度レベルが決定されることがあり、フューズドデータに関連付けられた信頼度レベルは、センサーモダリティのうちの１つからの出力を決定するのに、個々のセンサーモダリティの信頼度レベルと共にしきい値と比較されることがある。したがって、単一のセンサーモダリティを介して決定された第１の信頼度レベルがしきい値より高く、フューズドデータに基づいて決定された第２の信頼度レベルがしきい値より低いならば、第２の信頼度レベルは抑制され、または第１の信頼度レベルと置き換えられ、単一のセンサーモダリティまたはフューズドモダリティ（fused modality）のうちの１つに基づく物体のグループのトラックデータとともに、車両のプランナーシステムおよび／または予測システムのうちの１つまたは複数に出力することが可能である。

【0005】

限定ではないが、例として、パーセプションシステムは、複数のモダリティからセンサーデータを受信し、物体情報（たとえば環境のおける物体をトラックするためのデータなど）を決定することが可能である。場合によっては、すべてのセンサーモダリティからのデータは、トラックおよび／または信頼度レベルを決定するのに、単一のモデルに入力されることがある。例えば、ライダーセンサーおよびビジョンセンサーが物体を検出しないが、レーダーセンサーが検出するならば、物体に対するトラックは、比較的低い信頼度を有することがある（例えば、１つのモダリティによるトゥルーポジティブ検出が、モダリティがフォールスネガティブを報告することと同時に起こる場合のトレーニングイグザンプルは、比較的まれであり得るから）。下流のシステム（例えば、プランナーシステム、予測システム、および同類のもの）が低い信頼度を有するトラックを使い果たす、受信する、あるいは別のやり方にて処理すると、システムはプランニングする（例えば、自律車両に関するミッション、軌道、および同類のものをプランニングする）とき、物体を適切に考慮していないことがある。いくつかの例では、単一のモデルが低い信頼度レベルを決定すると、トラックは、下流のシステムに出力されないことがある。したがって、予測システムは、歩行者の動きを適切に予測しないことがあるだろう、または、プランナーシステムは、信頼度レベルが低いと、下流システムが、歩行者に関連付けられたトラックを低い信頼度により処理したか、低い信頼度のために歩行者に関連付けられたトラックを受信しなかったか、のいずれかであるので、歩行者を適切に考慮しないことがある。しかしながら、フューズドデータに基づくことも同様に、個別にデータトラックに対する信頼度レベルを決定することは、高い信頼度を有する物体に関連付けられたトラックが下流のシステムに出力されることをより確実にすることにより、利用可能なデータについてのより正確な考慮に導くことが可能である。

【0006】

いくつかの例では、複数のセンサー構成は、たとえば自律車両などの車両に配置され、コントローラーおよび／またはリモートコンピューティングデバイスに動作可能に連結されることがある。コントローラーは、第１の信号を、車両に配置された第１のセンサー構成から受信することがある。第１のセンサー構成は、第１のシーンを表すビジョンデータをキャプチャーする画像キャプチャーセンサーを含むことがある（例えば、例えば視野によって決定されることがあるような、画像センサーに見える環境の一部）。いくつかの例では、第１の信号は、ビジョンデータを含むことがある。いくつかの例では、例えば、ビジョンデータは、第１のセンサーおよび／または車両が存在する環境において、検出可能な物体の第１のグループを例示するおよび／または含むシーンを示すことがある。いくつかの例では、コントローラーは、機械学習されたビジョンモデルを用いることによりビジョンデータを分析して、ビジョンデータに関連付けられた１つまたは複数の物体のトラックデータを識別し、ビジョンデータに関連付けられた信頼度レベルを決定することがある。いくつかの例では、ビジョンモデルは、ビジョンデータがグランドトゥルースオブジェクトトラック（ground truth object track）であるかどうかを示すグランドトゥルースを用いて訓練されることがある。

【0007】

いくつかの例では、第２のセンサー構成は、車両に配置されることがある。いくつかの例では、第２のセンサー構成は、ライダーセンサーであり得る。いくつかの例では、コントローラーは、第２の信号をライダーセンサーから受信するように構成されることがある。いくつかの例では、第２の信号は、ライダーデータを含むことがある。いくつかの例では、ライダーデータは、上に説明したビジョンデータと同時に（または技術的な許容範囲内に実質的に同時に）キャプチャーされることがある。いくつかの例では、ライダーデータは、上に説明した画像データと同時に、ライダーセンサーによってキャプチャーされる第２のシーン（例えば、ライダーセンサーに見える環境の一部）を表すことがある。いくつかの例では、例えば、ライダーデータは、環境内に検出できる物体の第２のグループを含む、ライダーセンサーによってキャプチャーされるシーンを示すことがある。いくつかの例では、コントローラーは、機械学習されたライダーモデルを用いることによりライダーデータを分析して、ライダーデータに関連付けられた１つまたは複数の物体のトラックデータを識別し、ライダーデータに関連付けられた信頼度レベルを決定することがある。いくつかの例では、ライダーモデルは、ライダーデータがグランドトゥルースオブジェクトトラック（ground truth object track）であるかどうかを示すグランドトゥルースを用いて訓練されることがある。いくつかの例では、ライダーデータの正確度および／または忠実度に応じて、例えば、物体の第２のグループに含まれる物体は、（例えば、少なくとも物体の第１のグループの一部と物体の第２のグループの一部とが、画像キャプチャーセンサーおよびライダーセンサーに同時に共に見える）画像キャプチャーデバイスによって検出できる物体の第１のグループに含まれる物体と同一であり得る。

【0008】

いくつかの例では、第３のセンサー構成は、車両に配置されることがある。いくつかの例では、第３のセンサー構成は、レーダーセンサーであり得る。いくつかの例では、コントローラーは、第３の信号をレーダーセンサーから受信するように構成されることがある。いくつかの例では、第３の信号は、レーダーデータを含むことがある。いくつかの例では、レーダーデータは、上に説明したビジョンデータおよび／またはライダーデータと同時にキャプチャーされることがある。いくつかの例では、センサーデータは、第３のシーン（例えば、レーダーセンサーに見える環境の一部）を表すことがある。いくつかの例では、例えば、レーダーデータは、環境内に検出できる物体の第３のグループを含む、レーダーセンサーによってキャプチャーされるシーンを示すことがある。いくつかの例では、コントローラーは、機械学習されたレーダーモデルを用いることによりレーダーデータを分析して、レーダーデータに関連付けられた１つまたは複数の物体のトラックデータを識別し、レーダーデータに関連付けられた信頼度レベルを決定することがある。いくつかの例では、レーダーモデルは、レーダーデータがグランドトゥルースオブジェクトトラック（ground truth object track）であるかどうかを示すグランドトゥルースを用いて訓練されることがある。いくつかの例では、レーダーデータの正確度および／または忠実度に応じて、例えば、物体の第３のグループに含まれる物体は、（例えば、少なくとも物体の第１のグループの一部および物体の第２のグループの一部および／または物体の第３のグループの一部が、画像キャプチャーセンサー、ライダーセンサー、および／またはレーダーセンサーに同時に共に見える）画像キャプチャーデバイスによって検出できる物体の第１のグループに、および／またはライダーセンサーによって検出できる物体の第２のグループに含まれる物体と同一であり得る。

【0009】

いくつかの例では、データフューズド処理を通じて、ビジョンデータ、ライダーデータ、および／またはレーダーデータに関連付けられた中間出力は、フューズドセンサーデータ（fused sensor data）として組み合わされることがある。いくつかの例では、中間出力は、上に説明したような個々のモダリティのトラックデータであり得る。いくつかの例では、上記フューズドセンサーデータは、ビジョンデータ、ライダーデータ、および／またはレーダーデータに少なくとも部分的に基づいて、環境内に存在するとして、予測される、決定される、および／またはそうでなければ示される１つまたは複数の物体の第４のグループを含むおよび／または識別することがある。いくつかの例では、フューズドセンサーデータは、第４のシーンを表すことがある。いくつかの例では、コントローラーは、機械学習されたフューズドモデルを用いることによりフューズドデータを分析して、フューズドデータに関連付けられたトラックデータを識別し、フューズドデータに関連付けられた信頼度レベルを決定することがある。いくつかの例では、フューズドモデルは、フューズドセンサーデータがグランドトゥルースオブジェクトトラック（ground truth object track）であるかどうかを示すグランドトゥルースを用いて訓練されることがある。

【0010】

いくつかの例では、フューズドセンサーデータに関連付けられた信頼度レベルと、ビジョンデータ、ライダーデータ、および／またはレーダーデータに関連付けられた信頼度レベルとを、しきい値と比較して、ビジョンデータに関連付けられたトラックデータ、ライダーデータに関連付けられたトラックデータ、レーダーデータに関連付けられたトラックデータ、またはフューズドセンサーデータに関連付けられたトラックデータを、車両に関連付けられたプランナーシステムおよび／または車両に関連付けられた予測システムに送信するかどうかを決定することがある。例えば、フューズドセンサーデータに関連付けられた信頼度レベルがしきい値より下であり、レーダーデータに関連付けられた信頼度レベルがしきい値より上であると、レーダーデータに関連付けられたトラックデータは、車両に関連付けられたプランナーシステムおよび／または車両に関連付けられた予測システムに送信される。

【0011】

個々のセンサーモダリティとフューズドセンサーデータとに関連付けられた信頼度レベルを用いて、車両のプランナーシステムおよび／または車両の予測システムに送信する複数のセンサーモダリティのうちの１つの出力を決定する技法は、より正確な物体検出を提供することにより車両の機能を向上させ、安全な車両の動作を改善することが可能である。いくつかの例では、低い信頼度レベルからの個々のモダリティからの出力を用いて、フューズドセンサーデータは、同等に低い信頼度レベルを有するトラックデータを出力することによって、車両のパーセプションシステムが、低い信頼度を有するバウンディングボックスを出力することに、車両の予測システムが、適切に環境における物体（例えば、歩行者、別の車両、自転車に乗る人、および同類のもの）の動きを予測することが不可能に、または、車両のプランナーシステムが、環境における物体に近すぎる軌道をプランニングすることに、帰着することがある。

【0012】

本明細書に説明される方法、装置、およびシステムは、多くのやり方において実装されることがある。例示的な実装は、次の図面を参照して以下に提供される。本開示が例では自律車両を用いるが、本明細書に説明される技法は、自律車両における適用に限定されない。例えば、レーダーデータを用いて環境を進行するどんなシステムでも、説明されるレーダーデータ処理技法から利益を得ることがある。別の例では、本明細書に説明されている技法は、航空機に用いられて、例えば他の航空機および／または移動物体を識別することがある。その上、非自律車両も、例えば衝突検出および／または回避システムに関して、本明細書に説明されている技法から利益を得ることが可能であるだろう。

【0013】

図１は、異なるセンサーモダリティの信頼度レベル（「信頼度値」または「信頼度スコア」とも呼ばれる）を決定するためのシステムおよび技法の例示的なフロー図１００を例示する。例示的なフロー図１００は、レーダーディテクタ１０２、ライダーディテクタ１１０、およびビジョンディテクタ１１８を含む。

【0014】

いくつかの例では、処理は、レーダーディテクタ１０２がレーダー特徴１０４を検出することを含むことが可能である。いくつかの例では、レーダー特徴１０４は、環境に関連付けられたレーダーデータを含むことがある。レーダー特徴の例は、限定されないが、たとえば、バウンディングボックス、速度、ヨー、中心、加速度、分類、次元性、トラック時間（例えば、モダリティを用いて物体がどれぐらいトラックされていたかを示す時間期間）、および同類のものなどの物体データであり得る。いくつかの例では、レーダー特徴１０４は、レーダーマルチレイヤパーセプトロン（radar multi-layer perceptron）１０６に入力されることがある。いくつかの例では、レーダーマルチレイヤパーセプトロン１０６は、機械学習モデルであり得る。いくつかの例では、レーダーマルチレイヤパーセプトロン１０６は、レーダー特徴に関連付けられた中間レーダー出力を出力することがある。いくつかの例では、中間レーダー出力は、環境における物体を表すトラックデータに関連付けられることがある。いくつかの例では、中間レーダー出力は、レーダーマルチレイヤパーセプトロン１０６の層のうちの１つ（例えば、中間層からの埋め込み）に関連付けられることがある。いくつかの例では、中間レーダー出力は、限定されないが、物体に関連付けられたバウンディングボックス、物体の速度、物体の体勢、および同類のものを含むことがある。いくつかの例では、レーダー信頼度レベル１０８（「レーダー信頼度値」または「レーダー信頼度スコア」とも呼ばれる）は、レーダーマルチレイヤパーセプトロン１０６を用いて、レーダー特徴１０４に基づいて決定されることがある。本明細書に用いられるように、信頼度レベルまたは信頼度値は、モダリティ固有コンポーネントが物体を検出する信頼度に、または物体についてのある特定の特徴（例えば、サイズ、ロケーション、分類、速度など）に対応する信頼度値に対応することが可能である。

【0015】

いくつかの例では、処理は、ライダーディテクタ１１０がライダー特徴１１２を検出することを含むことが可能である。いくつかの例では、ライダー特徴１１２は、環境に関連付けられたライダーデータを含むことがある。ライダー特徴の例は、限定されないが、たとえば、バウンディングボックス、速度、ヨー、中心、加速度、分類、次元性、トラック時間、および同類のものなどの物体データであり得る。いくつかの例では、ライダー特徴１１２は、ライダーマルチレイヤパーセプトロン（lidar multi-layer perceptron）１１４に入力されることがある。いくつかの例では、ライダーマルチレイヤパーセプトロン１１４は、機械学習モデルであり得る。いくつかの例では、ライダーマルチレイヤパーセプトロン１１４は、ライダー特徴１１２に関連付けられた中間ライダー出力を出力することがある。いくつかの例では、中間ライダー出力は、環境における物体を表すトラックデータに関連付けられることがある。いくつかの例では、中間ライダー出力は、ライダーマルチレイヤパーセプトロン１１４の層のうちの１つ（例えば、中間層からの埋め込み）に関連付けられることがある。いくつかの例では、ライダー特徴１１２に関連付けられた中間ライダー出力は、限定されないが、物体に関連付けられたバウンディングボックス、物体の速度、物体の体勢、および同類のものを含むことがある。いくつかの例では、ライダー信頼度レベル１１６（「ライダー信頼度値」または「ライダー信頼度スコア」とも呼ばれる）は、ライダーマルチレイヤパーセプトロン１１４を用いて、ライダー特徴１１２に基づいて決定されることがある。

【0016】

いくつかの例では、処理は、ビジョンディテクタ１１８がビジョン特徴１２０を検出することを含むことが可能である。いくつかの例では、ビジョン特徴１２０は、環境に関連付けられたビジョンデータ（例えば、画像データ、カメラデータ、および同類のもの）を含むことがある。ビジョン特徴の例は、限定されないが、たとえば、バウンディングボックス、速度、ヨー、中心、加速度、分類、次元性、トラック時間、および同類のものなどの物体データであり得る。いくつかの例では、ビジョン特徴１２０は、ビジョンマルチレイヤパーセプトロン（vision multi-layer perceptron）１２２に入力されることがある。いくつかの例では、ビジョンマルチレイヤパーセプトロン１２２は、機械学習モデルであり得る。いくつかの例では、ビジョンマルチレイヤパーセプトロン１２２は、ビジョン特徴１２０に関連付けられた中間ビジョン出力を出力することがある。いくつかの例では、中間ビジョン出力は、環境における物体を表すトラックデータに関連付けられることがある。いくつかの例では、中間ビジョン出力は、ビジョンマルチレイヤパーセプトロン１２２の層のうちの１つ（例えば、中間層からの埋め込み）に関連付けられることがある。いくつかの例では、中間ビジョン出力は、限定されないが、物体に関連付けられたバウンディングボックス、物体の速度、物体の体勢、および同類のものを含むことがある。いくつかの例では、ビジョン信頼度レベル１２４（「ビジョン信頼度値」または「ビジョン信頼度スコア」とも呼ばれる）は、ビジョンマルチレイヤパーセプトロン１２２を用いて、ビジョン特徴１２０に基づいて決定されることがある。

【0017】

いくつかの例では、中間レーダー出力、中間ライダー出力、および中間ビジョン出力は、環境における同一の物体に関連付けられることがある。いくつかの例では、中間レーダー出力、中間ライダー出力、および中間ビジョン出力は、フューズドマルチレイヤパーセプトロン（fused multi-layer perceptron）１２６（「マルチモダリティマルチレイヤパーセプトロン」または「マルチモダリティモデル」とも呼ばれる）に入力されることがある。いくつかの例では、中間レーダー出力、中間ライダー出力、および中間ビジョン出力は、まとめて、フューズドセンサーデータ（「マルチモダリティセンサーデータ」とも呼ばれる）と呼ばれることがある。いくつかの例では、フューズドマルチレイヤパーセプトロン１２６は、機械学習モデルであり得る。いくつかの例では、フューズドマルチレイヤパーセプトロン１２６は、フューズドセンサーデータに関連付けられたフューズド出力（「マルチモダリティ出力」とも呼ばれる）を出力することがある。いくつかの例では、フューズド出力は、環境における物体を表すトラックに関連付けられることがある。いくつかの例では、フューズド出力は、限定されないが、物体に関連付けられたバウンディングボックス、物体の速度、物体の体勢、および同類のものを含むことがある。いくつかの例では、フューズド信頼度レベル１２８（「フューズド信頼度値」、「フューズド信頼度スコア」、「マルチモダリティ信頼度レベル」、「マルチモダリティ信頼度値」、または「マルチモダリティ信頼度スコア」とも呼ばれる）は、フューズドマルチレイヤパーセプトロン（fused multi-layer perceptron）１２６を用いて、フューズドセンサーデータに基づいて決定されることがある。

【0018】

いくつかの例では、処理は、レーダー信頼度レベル１０８、ライダー信頼度レベル１１６、ビジョン信頼度レベル１２４、およびフューズド信頼度レベル１２８を受信する信頼度コンポーネント１３０を含むことが可能である。いくつかの例では、信頼度コンポーネント１３０は、フューズド信頼度レベル１２８がレーダー信頼度レベル１０８、ライダー信頼度レベル１１６、およびビジョン信頼度レベル１２４よりも高いかどうかに基づいて、または、レーダー信頼度レベル１０８、ライダー信頼度レベル１１６、またはビジョン信頼度レベル１２４のうちの少なくとも１つがフューズド信頼度レベル１２８よりも高いかどうかに基づいて、出力する信頼度レベルを決定することが可能である。いくつかの例では、今述べた決定は、レーダー信頼度レベル１０８、ライダー信頼度レベル１１６、またはビジョン信頼度レベル１２４とフューズド信頼度レベル１２８とのうちの少なくとも１つを、しきい値と比較することによりなされる。例えば、フューズド信頼度レベル１２８がしきい値より下であり、ビジョン信頼度レベル１２４がしきい値より上であると、信頼度コンポーネント１３０は、ビジョン信頼度レベル１２４を出力すると決定することが可能である。いくつかの例では、レーダー信頼度レベル１０８、ライダー信頼度レベル１１６、またはビジョン信頼度レベル１２４のうちの少なくとも１つが第１のしきい値と比較されることがあり、フューズド信頼度レベル１２８が、異なる第２のしきい値と比較されることがある複数のしきい値があることがある。いくつかの例では、フューズド信頼度レベル１２８が第２のしきい値より上であると、信頼度コンポーネント１３０は、フューズド信頼度レベル１２８を出力すると決定することが可能である。いくつかの例では、フューズド信頼度レベル１２８が第２のしきい値より下であり、ビジョン信頼度レベル１２４がしきい値より上であると、信頼度コンポーネント１３０は、ビジョン信頼度レベル１２４を出力すると決定することが可能である。

【0019】

信頼度コンポーネント１３０による使用のために、種々のスキーマが想定されることを理解されるべきだろう。例えば、いくつもの（例えば２つの）モダリティに対応する信頼度が、アグリゲーションされ、もししきい値を満たすならば、対応するデータが用いられることがある（たとえ別のモダリティが低い信頼度を示すことがあっても）。今述べたことは、例えば、ある特定のモダリティにとって有害であり得る環境状況において有用であり得る。このようにして、信頼度コンポーネント１３０は、たとえば、天気、時間帯、センサーの向き、センサーの劣化、センサーの動作状態などの環境要因に基づいて、複数のモダリティからデータを適応的に出力することが可能である。信頼度コンポーネント１３０は、１つまたは複数の機械学習モデル、決定論的コード（deterministic code）、または組み合わせを実装することが可能である。例えば、機械学習モデルは、どの環境要因が、有効なパーセプション出力に帰着する、ある特定の対応するモダリティの出力が用いられることを示すかを決定するように訓練されることが可能である。このようにして、どのモダリティがどの条件において有益であるかを決定するモデルの訓練は、（ある特定のモダリティを用いるように過度にバイアスされていることがある）環境のおける物体を決定するように訓練された機械学習パーセプションコンポーネントから切り離して考えられることが可能である。いくつかの例では、信頼度コンポーネント１３０は、１つまたは複数のパーセプション（例えば、モダリティ固有の）コンポーネントから受信される情報を用いることが可能である。本明細書に用いられるように、信頼度は、サイズ、形状、分類の信頼度に、または物体に対応するほかのどんな属性の信頼度にも、適用されることが可能である。いくつかの例では、信頼度コンポーネント１３０は、本明細書に開示された技法を用いたパーセプションコンポーネント（例えば、モダリティベースのパーセプトロン）からの対応する結果および／または出力を見ることが可能である。例えば、もし２つのモダリティが相対的により低い信頼度を有するが、対応する分類を出力するならば、信頼度コンポーネント１３０は、モダリティ／コンポーネントからの出力をより用いそうであり得る。いくつかの例では、信頼度コンポーネント１３０は、ある特定の物体が考慮されることを確実にする１つまたは複数の決定論的ルールを用いることがある。例えば、もしどんなパイプラインでも、（例えば、範囲に対する）対応する信頼度にて車両のある特定の範囲に歩行者を検出するならば、車両は、その情報を用いて、歩行者に関し安全でない作動を避けることがある。

【0020】

いくつかの例では、処理は、レーダー信頼度レベル１０８、ライダー信頼度レベル１１６、ビジョン信頼度レベル１２４、またはフューズド信頼度レベル１２８のうちの少なくとも１つと、環境における物体を表すトラックとを出力するように構成された動作１３２を含むことが可能である。いくつかの例では、動作１３２は、環境における物体を表すトラックデータを生成し、トラックデータを自律車両の予測システムまたはプランニングシステムに出力することが可能である。いくつかの例では、トラックデータは、出力されている信頼度レベルのモダリティに応じて、レーダー中間出力、ライダー中間出力、ビジョン中間出力、またはフューズド中間出力のうちの少なくとも１つに基づくことがある。いくつかの例では、動作１３２は、出力されている信頼度レベルのモダリティに応じて、レーダー中間出力、ライダー中間出力、ビジョン中間出力、またはフューズド中間出力のうちの少なくとも１つに基づいてトラックデータを更新することが可能である。いくつかの例では、トラックデータは、限定されないが、物体に関連付けられた物体ＩＤと、物体に関連付けられた形状表現（例えば、バウンディングボックス、速度、輪郭、体勢、向き、および同類のもの）とを含むことがある。

【0021】

図２は、環境のおける物体を表すトラックを決定することに関する例示的な絵入りのフロー図２００を例示する。図２は、ビジョンディテクタ２０６、ライダーディテクタ２１２、およびレーダーディテクタ２１８を含む。いくつかの例では、ビジョンディテクタ２０６、ライダーディテクタ２１２、およびレーダーディテクタ２１８は、ビジョンディテクタ１１８、ライダーディテクタ１１０、およびレーダーディテクタ１０２と同一であり得る、または類似していることがある。

【0022】

いくつかの例では、ビジョンディテクタ２０６、ライダーディテクタ２１２、およびレーダーディテクタ２１８は、環境２０２を進む間、車両によって用いられることがある。いくつかの例では、環境２０２は物体２０４を含むことがある。いくつかの例では、物体２０４は別の車両である。物体２０４は、車両に限定されず、たとえば、歩行者、自転車に乗る人、および同類のものなど他の種類の物体であり得る。

【0023】

いくつかの例では、ビジョンディテクタ２０６によって検出されたビジョン特徴は、ビジョンマルチレベルパーセプション２０８に入力されることがある。いくつかの例では、ビジョンマルチレベルパーセプション２０８は、ビジョンマルチレイヤパーセプトロン１２２と同一であり得る、または類似していることがある。いくつかの例では、中間ビジョン出力２１０は、ビジョンマルチレベルパーセプション２０８を用いて決定されることがある。いくつかの例では、中間ビジョン出力２１０は、物体２０４に関連付けられたバウンディングボックスを含むことがある。

【0024】

いくつかの例では、ライダーディテクタ２１２によって検出されたライダー特徴は、ライダーマルチレベルパーセプション２１４に入力されることがある。いくつかの例では、ライダーマルチレベルパーセプション２１４は、ライダーマルチレイヤパーセプトロン１１４と同一であり得る、または類似していることがある。いくつかの例では、中間ライダー出力２１６は、ライダーマルチレベルパーセプション２１４を用いて決定されることがある。いくつかの例では、中間ライダー出力２１６は、物体２０４に関連付けられたバウンディングボックスを含むことがある。

【0025】

いくつかの例では、レーダーディテクタ２１８によって検出されたレーダーの特徴は、レーダーマルチレベルパーセプション２２０に入力されることがある。いくつかの例では、レーダーマルチレベルパーセプション２２０は、レーダーマルチレイヤパーセプトロン１０６と同一であり得る、または類似していることがある。いくつかの例では、中間レーダー出力２２２は、レーダーマルチレベルパーセプション２２０を用いて決定されることがある。いくつかの例では、中間レーダー出力２２２は、物体２０４に関連付けられたバウンディングボックスを含むことがある。

【0026】

いくつかの例では、中間ビジョン出力２１０、中間ライダー出力２１６、および中間レーダー出力２２２を、フューズドマルチレベルパーセプション２２４に入力して、フューズド出力２２６を生成することがある。いくつかの例では、フューズドマルチレベルパーセプション２２４は、フューズドマルチレイヤパーセプトロン１２６と同一であり得る、または類似していることがある。いくつかの例では、フューズド出力２２６は、物体２０４に関連付けられたバウンディングボックスを含むことがある。いくつかの例では、物体２０４に関連付けられたトラックデータは、フューズド出力２２６から生成され、トラックデータは、プランナーシステム２２８に送信されることがある。いくつかの例では、プランナーシステム２２８は、たとえば自律車両などの車両のプランナーシステムであり得る。いくつかの例では、トラックデータは、中間ビジョン出力２１０、中間ライダー出力２１６、および中間レーダー出力２２２に基づいて生成される、および／または更新されることがあり、レーダー特徴、ライダー特徴、ビジョン特徴、および／またはフューズド特徴（例えば、フューズドマルチレベルパーセプション２２４を用いて）に関連付けられた信頼度レベルは、プランナーシステム、予測システム、別のトラッキングモデル、および同類のものに入力されることがある。いくつかの例では、プランナーシステム２２８は、図４に例示されたプランニングコンポーネント４２６と同一であり得る、または類似していることがある。いくつかの例では、たとえば図４の車両制御システム４０２などの車両制御システムは、トラックデータに基づいて車両を制御することがある。

【0027】

図３は、車両３０２が路面３０４を運転している例示的なシナリオ３００を示す図式的な図解である。図示されているように、第２の車両３０６も路面３０４を進んでいる。例示的なシナリオ３００では、車両３０２および第２の車両３０６は、一般に、同一の方向に道路の同一のレーンを移動している。いくつかの例では、例示的なシナリオは、環境２０２に例示される同一のシナリオであり得る。

【0028】

いくつかの例では、車両３０２は、運転手（または乗員）がいかなる時点においても車両を制御することが期待されない、全行程にすべてのセーフティクリティカルの機能を行う性能がある車両を記述する、米国連邦道路交通安全局によって発行されるレベル５分類に従って、動作するように構成された自律車両であることが可能である。いくつかの例では、車両３０２が、すべての駐車機能を含む、スタートからストップまでの全機能を制御するように構成されることがあるので、それは、占有されないことがある。しかしながら、車両３０２は、単に例であり、本明細書に説明されるシステムおよび方法は、常に運転者によって手動により制御される必要がある車両から、部分的にまたは完全に自律的に制御される車両までに及ぶ車両を含む、陸上輸送の、航空輸送の、または水上輸送のどんな車両にでも組み入れられることが可能である。追加の実装では、本明細書に説明されている技法は、車両を除くセッティングに有用であり得る。本明細書に説明される技法は、センサーデータを用いて環境のおける物体ついての情報を決定する多くの異なった適用に有用であり得る。

【0029】

いくつかの例では、車両３０２は、第１のレーダーセンサー３０８および第２のレーダーセンサー３１０を含む複数のセンサー構成を含むことがある。図示されているように、第１のレーダーセンサー３０８および第２のレーダーセンサー３１０は、通常、車両３０２の進行方向に（例えば、通常、車両３０２の後方に例示されている矢印の方向に沿って）波を伝播するように配置されている。さらに図示されているように、第１のレーダーセンサー３０８および第２のレーダーセンサー３１０は、重なり合う視野を有することがある。したがって、第１のレーダーセンサー３０８によって放射された第１の放射電波３１２は、第２の車両３０６に反射し、第１のレーダーセンサー３０８に戻り、第１のレーダースキャンを介して検出される。同様に、さらに第２のレーダーセンサー３１０によって放射された第２の放射電波３１４も第２の車両３０６に反射し、第２のレーダーセンサー３１０に戻り、第２のレーダースキャンを介して検出される。いくつかの例では、第１のレーダーセンサー３０８および第２のレーダーセンサー３１０は、車両３０２における位置を除いて、実質的に同一であることがある。いくつかの例では、レーダーセンサー３０８および３１０は、異なって構成されることがある。いくつかの例では、電波３１２、３１４は、別々の周波数にて放射されることがある。いくつかの例では、レーダーセンサー３０８、３１０は、レーダーセンサー３０８、３１０におけるスキャンが異なる間隔（例えば、ドップラー間隔）を有するように構成されることがある。いくつかの例では、レーダーセンサー３０８、３１０の特徴は、限定されないが、中心周波数、スキャンタイプ、スキャンパターン、周波数変調、パルス繰り返し周波数、パルス繰り返し間隔を含むことがあるが、例えば、異なったドップラー間隔を作成するように構成されることがある。したがって、レーダーセンサー３０８、３１０は、両方とも、通常、車両３０２に関して同一の方向に物体を感知するように配置されることがある。

【0030】

レーダーセンサー３０８、３１０は、放射電波３１２、３１４を、環境における表面（例えば、第２の車両３０６の表面）に反射した後に受信することがあり、レーダーセンサー３０８、３１０は、反射に基づいてレーダーデータを生成することが可能である。たとえば、レーダーデータは、限定されないが、レーダーセンサーの環境における表面または物体を表す１つまたは複数のポイント（point）に関連付けられた速度を含む、さまざまな種類の情報を含むことがある。いくつかの例では、レーダーセンサー３０８、３１０がパルスドップラーセンサーであると、それぞれのセンサーに関して物体の速度を決定できることがある。

【0031】

さらに、図３は、ポイントにより図式的に表された、レーダーセンサー３０８、３１０に関連付けられた複数のレーダーリターンも例示する。実例では、第１のポイント３１６（１）、３１６（２）（まとめて、第１のポイント３１６）は、円として例示され、レーダーセンサー３０８に関連付けられたレーダーリターンを表す。つまり、第１のポイント３１６の個々は、放射電波３１２が反射する第２の車両３０６のロケーションを示す。同様に、第２のポイント３１８（１）、３１８（２）（まとめて、第２のポイント３１８）は、「Ｘ」として例示され、レーダーセンサー３１０に関連付けられたレーダーリターンを表す。それゆえ、第２のポイント３１８の個々は、放射電波３１４が反射する第２の車両３０６のロケーションを示す。

【0032】

図３にも例示されているように、車両３０２は、複数の追加センサー３２０も含むことがある。追加のセンサー３２０は、通常、レーダーセンサー３０８および／またはレーダーセンサー３１０と同じ方向の物体を感知するように配置されることがある。追加のセンサー３２０の例は、限定されないが、追加のレーダーセンサー、ライダーセンサー、イメージングセンサー（例えば、カメラ）、タイムオブフライトセンサー、ＳＯＮＡＲセンサー、赤外線イメージングデバイス、または同類のもののうちの１つまたは複数であり得る。追加のセンサー３２０のうちの２つのインスタンスが図３に例示されるが、車両３０２は、異なるモダリティをいくらでも有する追加のセンサーをいくらでも含むことがある。いくつかの例では、車両３０２は、他の相対位置の物体を検出するために配置された多数の追加のセンサーを含むことがある。

【0033】

図３に添付のブロック図に例示されるように、レーダーセンサー３０８、３１０、および追加のセンサー３２０は、車両３０２のセンサーシステム３２２の種類を表すことがある。レーダーセンサー３０８、３１０は、レーダーデータ３２４を生成することがある。いくつかの例では、レーダーデータ３２４は、それぞれのポイント３１６、３１８の位置データを含むことがある。いくつかの例では、ポイント３１６、３１８からのレーダーリターンに関連付けられた情報は、環境におけるロケーション（例えば、ポイント３１６、３１８のロケーション）を示す情報を含むことがある。そのうえ、実例におけるように、上記ポイントが第２の車両３０６に関連付けられると、第２の車両３０６の位置を、決定することが可能である。いくつかの例では、ロケーション情報は、ポイント３１６、３１８に関する範囲および方位またはローカル座標系における位置またはグローバル座標系における位置を含むことがある。いくつかの例では、レーダーデータ３２４は、信号強度情報（signal strength information）を含むことがある。いくつかの例では、信号強度は、レーダークロスセクション（radar cross-section；ＲＣＳ）測定を含むことがある。いくつかの例では、さらに、レーダーデータ３２４は、速度情報も含むことがある。たとえば、ポイント３１６、３１８の各々（および／または第２の車両３０６の）の速度は、ポイント３１６、３１８から反射された無線エネルギーの周波数、および／または反射された無線エネルギーが検出された時間に基づかれることがある。

【0034】

したがって、レーダーデータ３２４は、レーダーセンサー３０８からの第１のポイント３１６のうちのそれぞれの距離（例えば、範囲または半径距離）、距離に沿った第１のポイント３１６のうちのそれぞれの速度（例えば、ドップラー速度）、強度測定（例えば、ＲＣＳ値）、および／または追加情報を含むことが可能である。同様に、さらに、レーダーデータ３２４は、レーダーセンサー３１０からの第２のポイント３１８のうちのそれぞれの距離（例えば、範囲または半径距離）、関連する距離に沿った第２のポイント３１８のうちのそれぞれの速度（例えば、ドップラー速度）、強度情報、および／または追加情報を含むことも可能である。

【0035】

いくつかの例では、レーダーデータ３２４は、通常、物体をトラックするのに用いられる。より具体的には、図３は、車両３０２が、レーダーデータ３２４に関連付けられた機能性を実行するための１つまたは複数の車両コンピューティングデバイス３２６を含むことが可能であることを例示する。車両コンピューティングデバイス（複数可）３２６は、関連する物体表現生成コンポーネント３３０を、トラック関連付けコンポーネント３３２およびトラック生成コンポーネント３３４も同様に、有するレーダー処理システム３２８を含む。

【0036】

いくつかの例では、レーダー処理システム３２８は、通常、レーダーセンサー３０８、３１０からレーダーデータ３２４を受信し、たとえば第２の車両３０６の表現および／または環境のおける他の動的な表現および／または静的な物体の表現など、車両３０２の環境のおける物体の物体表現３３６を生成する機能性を実装する。いくつかの例では、レーダー処理システム３２８は、レーダーデータ３２４のような、例えば他のセンサーモダリティを除外してレーダーデータのみを処理するレーダーパイプラインであり得る。いくつかの例では、レーダー処理システム３２８は、リターンを互いに関連付ける機能性、および／または特定の物体と関連付ける機能性を含むことがある。ゆえに、例えば、レーダー処理システム３２８は、第１のポイント３１６および第２のポイント３１８に関連付けられたレーダーリターンが互いと関連付けられる、および／または第２の車両３０６と関連付けられると決定することが可能である。いくつかの例では、さらに、レーダー処理システム３２８は、他のリターンが（例えば、同じレーダースキャンにおいて）環境における他の物体（例えば、第２の車両３０６に近接する路面３０４、環境における他の車両、および同類のもの）と関連付けられると決定することも可能である。

【0037】

いくつかの例では、レーダー処理システム３２８は、それぞれのレーダーリターンからの情報に基づいて、ポイント（例えば、第１のポイント３１６および第２のポイント３１８）をクラスタリングすることが可能である。例えば、第１のポイント３１６および第２のポイント３１８は、近く（例えば、しきい値距離内）にあり、いくつかの例では、レーダー処理システム３２８は、ポイントが単一の物体を示すと決定することが可能である。いくつかの例では、ポイントクラスタ（point cluster）は、（例えば、自律車両のプランニングシステムによって）一緒に考慮されるべき単一の物体または物体のグルーピングを識別するいくつかの可能性（例えば、類似のレベルおよび／または度合い）を有する複数のポイントを含むことがある。

【0038】

レーダー処理システム３２８は、１つまたは複数のニューラルネットワークを含む１つまたは複数のデータ分析構造として具現化されることがある。いくつかの例では、第２の車両３０６に関連付けられるようなポイントの識別は、１つまたは複数の機械学習ネットワークによって行われることがある。いくつかの例では、レーダー処理システム３２８は、レーダーデータ３２４を処理して、ポイントのグルーピングと、ちょうど述べられた物体とのポイントの関連付けとを行う１つまたは複数のニューラルネットワークを含むことがある。いくつかの例では、ネットワークは、各リターンに対し、１つまたは複数の追加のポイントとのポイントの関連付け、物体とのポイントの関連付けを識別することが、（例えば、車両、建物、歩行者、または同類のものと関連付けられているような）ポイントを分類することが可能である。

【0039】

いくつかの例では、さらに、レーダー処理システム３２８は、物体表現３３６を決定するように構成された物体表現生成コンポーネント３３０を含むこともある。より具体的には、レーダー処理システム３２８が、例えばレーダーセンサー３０８、３１０から、複数のレーダーのポイントを受信し、ポイント毎ベースに決定をする一方、物体表現生成コンポーネント３３０は、ポイント毎のデータに基づいて物体の単一表現を生成する。いくつかの例では、物体表現生成コンポーネント３３０は、物体表現３３６としてバウンディングボックス３３８を生成する。バウンディングボックス３３８は、第１のポイント３１６、第２のポイント３１８、および／または他のレーダーのポイントに基づいて物体表現生成コンポーネント３３０によって生成された、第２の車両３０６の二次元表現であることが可能である。バウンディングボックス３３８が二次元バウンディングボックスとして例示されるが、物体表現３３６の他のインスタンスは、他のまたは異なる多次元表現を、例えば三次元バウンディングボックスを含むことが可能である。

【0040】

いくつかの例では、さらに、物体表現３３６は、たとえばレーダーデータ３２４から決定されるような第２の車両３０６などの物体の他の属性または特性も含むことが可能である。いくつかの例では、物体表現３３６は、感知された物体のエクステント（例えば、バウンディングボックス３３８の長さ、幅、面積、または同類のものとして具現化される）を含むことが可能である。さらに、物体表現３３６は、バウンディングボックス３３８の位置を含むことも可能である。いくつかの例では、バウンディングボックス３３８の位置は、バウンディングボックス３３８の中心を表すことがあるポイント３４０に関連付けられた座標であり得る。ポイント３４０がバウンディングボックス３３８の中心であるように例示されているが、ポイントは、中心以外であり得る。さらに、物体表現３３６は、物体の速度も含むことが可能である。いくつかの例では、さらに、物体表現３３６は、物体の分類（例えば、車両、歩行者、車輪付きの歩行者、自転車に乗る人、建設車両、連結式の車両、建物、または同類のもの）のうちの１つまたは複数を含むことも可能である。いくつかの例では、さらに、物体表現３３６は、表現に関連付けられた信頼度レベルも含むこともある。

【0041】

いくつかの例では、物体表現３３６は、複数のレーダーポイントに基づく物体（例えば、第２の車両３０６）の唯一の表現であることが可能である。車両コンピューティングデバイス（複数可）３２６は、物体表現３３６を用いて、たとえば第２の車両３０６などの物体をトラックすることが可能である。本明細書に用いられる「物体をトラックすること」は、通常、時間の経過に伴う（例えば、車両３０２に関する）物体の動きを決定することに関する。いくつかの例では、車両コンピューティングデバイス（複数可）３２６は、（例えば、トラックデータとして）物体のトラックについての情報を生成するおよび／または受信する機能性を含むことがある。いくつかの例では、トラックは、通常、車両３０２の環境における物体のパスまたは軌道の属性を記述することがある。いくつかの例では、トラックは、（例えば、車両３０２に関する）物体の一連の測定されたおよび／または予測された体勢または状態であり得る。いくつかの例では、トラックは、物体の動きを表現する／予測するのに予め決められた頻度にて生成される一連の多次元表現（例えば、二次元のまたは三次元のバウンディングボックス）を含むことがある。

【0042】

いくつかの例では、トラック関連付けコンポーネント３３２は、物体表現３３６が（例えば、以前に感知された物体の）既存のトラックと関連付けられるべきかどうかを決定する機能性を含む。例えば、トラック関連付けコンポーネント３３２は、物体表現３３６をトラックデータと比較する機能性を含むことが可能である。例えば、第２の車両３０６の表現の属性（例えば、バウンディングボックス３３８の属性）を、トラックデータと比較して、第２の車両３０６が既にトラックされているかどうかを決定することがある。いくつかの例では、トラック情報との物体表現３３６の比較は、トラック速度と物体表現の速度を、トラック位置と物体表現の位置を、および同類のものを比較することを含むことが可能である。

【0043】

トラック生成コンポーネント３３４は、以前に生成されたトラックを更新する機能性を含むことが可能である。例えば、もしトラック関連付けコンポーネント３３２が、物体表現３３６がトラックに関連付けられる（例えば、物体表現３３６が、既にトラックされている物体を表す）と決定するならば、トラック生成コンポーネント３３４は、物体表現３３６を用いて（例えば、物体表現３３６を用いて第２の車両３０６の将来の動きを予測することによって）トラックを更新することが可能である。

【0044】

いくつかの例では、トラック生成コンポーネント３３４は、（例えば、たとえば、第２の車両３０６などの物体が新たに検出されるインスタンスにおいて）新しいトラックを作成することが可能である。例えば、物体表現３３６が既存のトラックと一致しないインスタンスにおいて、トラック生成コンポーネント３３４は、新しいトラックを生成するのに物体表現３３６を用いることが可能である。いくつかの例では、トラック生成コンポーネント３３４は、物体表現３３６の複数のインスタンスを受信して、（例えば、異なるレーダースキャンおよび／または異なる時間からのレーダースキャンに基づいて）新しいトラックを生成することが可能である。いくつかの例では、トラック生成コンポーネント３３４によって生成された、更新されたトラック情報および／または新しいトラック情報は、車両３０２を制御するのに（例えば、たとえば第２の車両３０６などのトラックされる物体に関して進行するのに）用いられることがある。トラックを関連付け、新たなトラックを生成する追加の例は、例えば、２０２１年６月３０日に出願された「Associating Radar Data with Tracked Objects」という題名の米国特許出願１７／３６４，４９１に見つけられることが可能であり、全体が、本明細書において、あらゆる目的のために参照により全体に組み入れられる。

【0045】

図４は、本明細書に説明される技法を実装するための例示的なシステム４００のブロック図である。少なくとも１つの例では、システム４００は、たとえば自律車両などの車両の車両制御システム４０２を含むことが可能である。

【0046】

車両制御システム４０２は、１つまたは複数の車両コンピューティングデバイス４０４、１つまたは複数のセンサーシステム４０６、１つまたは複数のエミッター４０８、１つまたは複数の通信接続４１０、少なくとも１つの直接接続４１２、１つまたは複数のドライブシステム４１４、およびユーザーインターフェース４１６を含むことが可能である。

【0047】

車両コンピューティングデバイス（複数可）４０４は、１つまたは複数のプロセッサー４１８と、１つまたは複数のプロセッサー４１８に通信接続されたメモリー４２０とを含むことが可能である。例示した例では、車両制御システム４０２は、自律車両であるが、しかしながら、車両制御システム４０２は、どんな他の種類の車両でもあることが可能であるだろう。例示した例では、車両コンピューティングデバイス４０４のメモリー４２０は、ローカライゼーションコンポーネント４２２、パーセプションコンポーネント４２４、プランニングコンポーネント４２６、１つまたは複数のシステムコントローラー４２８、センサー処理システム４３０、トラック関連付けコンポーネント４３２、およびトラック生成コンポーネント４３４を格納する。例示的な目的のためにメモリー４２０に常駐しているとして図４に描かれているにもかかわらず、さらに加えて、またはあるいは、ローカライゼーションコンポーネント４２２、パーセプションコンポーネント４２４、プランニングコンポーネント４２６、１つまたは複数のシステムコントローラー４２８、センサー処理システム４３０、トラック関連付けコンポーネント４３２、および／またはトラック生成コンポーネント４３４は、車両制御システム４０２にアクセスできることが可能である（例えば、車両制御システム４０２から離れたメモリーに格納される、または別のやり方にて車両制御システム４０２から離れたメモリーによってアクセス可能である）ことが想定される。

【0048】

少なくとも１つの例では、ローカライゼーションコンポーネント４２２は、データをセンサーシステム（複数可）４０６から受信して、車両制御システム４０２の位置および／または向き（例えば、ｘ位置、ｙ位置、ｚ位置、ロール、ピッチ、またはヨーのうちの１つまたは複数）を決定する機能性を含むことが可能である。例えば、ローカライゼーションコンポーネント４２２は、環境のマップを含むおよび／または要求する／受信することが可能であり、マップ内の自律車両のロケーションおよび／または向きを連続的に決定することが可能である。場合によっては、ローカライゼーションコンポーネント４２２は、ＳＬＡＭ（simultaneous localization and mapping）、キャリブレーション、ローカライゼーションおよびマッピング、同時技法、相対ＳＬＡＭ（relative SLAM）、バンドル調整、非線形最小二乗法最適化（non-linear least squares optimization）を利用する、または、画像データ、ライダーデータ、レーダーデータ、ＩＭＵデータ、ＧＰＳデータ、ホイールエンコーダーデータ、および自律車両のロケーションを正確に決定する同類のものを受信する同類のものを利用することが可能である。場合によっては、ローカライゼーションコンポーネント４２２は、データを、車両制御システム４０２の種々のコンポーネントに提供して、本明細書に述べられるように、候補の軌道を生成するために自律車両の初期の位置を決定することが可能である。

【0049】

場合によっては、パーセプションコンポーネント４２４は、物体検出、セグメンテーション、および／または分類を行う機能性を含むことが可能である。いくつかの例では、パーセプションコンポーネント４２４は、車両制御システム４０２に近接するエンティティの存在、および／またはエンティティのタイプ（例えば、車、歩行者、自転車、動物、建物、木、路面、縁石、歩道、不明など）としてのエンティティの分類を示す処理されたセンサーデータを提供することが可能である。追加のおよび／または代替の例では、パーセプションコンポーネント４２４は、検出されるエンティティおよび／またはエンティティが置かれる環境に関連付けられた１つまたは複数の特性を示す処理されたセンサーデータを提供することが可能である。いくつかの例では、実体に関連付けられた特性は、限定されないが、ｘ位置（グローバルポジション）、ｙ位置（グローバルポジション）、ｚ位置（グローバルポジション）、向き（例えば、ロール、ピッチ、ヨー）、実体の種類（例えば、分類）、実体の速度、実体の加速度、実体のエクステント（大きさ）などを含むことが可能である。限定されないが、環境に関連付けられた特性は、環境における別のエンティティの存在、環境における別のエンティティの状態、時刻、曜日、季節、気象条件、闇／光のインディケーション等を含むことが可能である。非限定の例として、パーセプションコンポーネント４２４は、本明細書に述べられるように、レーダーデータから物体表現３３６を生成することがある。

【0050】

プランニングコンポーネント４２６は、車両制御システム４０２が、環境を通って横切って進むために従うパスを決定することが可能である。プランニングコンポーネント４２６は、種々のルートおよび軌道および種々の詳細のレベルを決定することが可能である。例えば、プランニングコンポーネント４２６は、第１のロケーション（例えば、現在のロケーション）から第２のロケーション（例えば、目標のロケーション）まで進むルートを決定することが可能である。本議論の目的のために、ルートは、２つのロケーション間を進むためのウェイポイントのシーケンスであることが可能である。非限定の例として、ウェイポイントは、街路、交差点、ＧＰＳ（全地球測位システム）座標などを含む。さらに、プランニングコンポーネント４２６は、自律車両を、第１のロケーションから第２のロケーションまでの少なくとも一部分のルートに沿って、導くためのインストラクションを生成することが可能である。少なくとも一例では、プランニングシステム４２６は、自律車両を、ウェイポイントのシーケンスにおける第１のウェイポイントから、ウェイポイントのシーケンスにおける第２のウェイポイントまで、どのように導くかを決定することが可能である。いくつかの例では、インストラクションは、軌道、または軌道の一部分であることが可能である。いくつかの例では、複数の軌道は、レシーディングホライズン（receding horizon）の技法に従って、実質的に同時に（例えば、技法的な許容範囲内に）生成されることが可能であり、複数の軌道のうちの１つが、進行する車両制御システム４０２に対して選択される。

【0051】

少なくとも１つの例では、車両コンピューティングデバイス４０４は、車両制御システム４０２の操舵、推進、制動、安全、エミッター、通信、および他のシステムを制御するように構成されることが可能である１つまたは複数のシステムコントローラー４２８を含むことがある。今述べたシステムコントローラー（複数可）４２８は、車両制御システム４０２のドライブシステム（複数可）４１４および／または他のコンポーネントの対応するシステムに対して通信するおよび／または制御することが可能である。

【0052】

センサー処理システム４３０は、上に説明したレーダー処理システム３２８であることが可能であるが、さらに、例えば、ライダーマルチレイヤパーセプトロン１１４および／またはビジョンマルチレイヤパーセプトロン１２２であることも可能である。通常、センサー処理システム４３０は、センサーデータ（例えば、ビジョン、ライダー、レーダー、および同類のもの）を受信し、センサーデータから物体の表現を、例えば物体表現３３６として、生成する機能性を含むことが可能である。例えば、センサー処理システム４３０は、複数のポイントと、ポイントについての位置情報、信号強度情報、速度情報、または同類のものを含む、ポイントに関連付けられた情報とを含むセンサーデータを受信することがある。センサー処理システム４３０は、受信したセンサーデータに対して、１つまたは複数の処理モデル、アルゴリズム、または同類のものを使用して、たとえば物体表現３３６などの物体表現を決定することがある。物体表現の各々は、感知された同一の物体に関連付けられた複数のレーダーポイントから生成された単一の表現であり得る。別の言い方をすれば、センサー処理システム４３０は、物体に関連付けられるとみなされるセンサーデータに基づいて、物体の単一表現を生成する。感知された物体表現は、限定されないが、速度、位置、分類、および／または感知された物体の体勢または状態の他の側面を含む、感知された物体の関連する属性を有する多次元の、例えば二次元のまたは三次元のバウンディングボックスであり得る。そのうえ、センサー処理システム４３０は、物体表現３３６に、および／または物体表現３３６の側面もしくは属性に関連付けられた１つまたは複数の確率、信頼度値、および／または同類のものを生成することが可能である。

【0053】

トラック関連付けコンポーネント４３２は、トラック関連付けコンポーネント３３２と同一である、または類似していることがある。トラック関連付けコンポーネント４３２は、通常、感知された物体表現（例えば、レーダーデータ、ライダーデータ、ビジョンデータ、および同類のものから生成される）を、すでにトラックされている物体のトラック情報と関連付ける機能性を含む。たとえば、トラック関連付けコンポーネント４３２は、感知された物体表現（例えば、物体表現３３６のうちの１つ）の側面を、トラックの一部であり得るトラックされた物体表現と比較する機能性を含むことが可能である。動作、トラック関連付けコンポーネント４３２に関連付けられた追加の詳細は、図３に関連して、本開示の至る所にも同様に、述べられている。

【0054】

トラック生成コンポーネント４３４は、トラック生成コンポーネント３３４と同一である、または類似していることが可能である。トラック生成コンポーネント４３４は、通常、レーダーデータ、ライダーデータ、ビジョンデータ、および同類のものから物体表現３３６を受信して、既存のトラックを更新する、またはそれに基づいて新しいトラックを作成する機能性を含む。たとえば、トラック関連付けコンポーネント４３２が、感知された物体が既存のトラックと関連付けられると決定すると、トラック生成コンポーネントは、（例えば、既存のトラックを追加する、または更新するために）更新されたトラック情報を生成することが可能である。いくつかの例では、感知された物体に関連付けられた物体表現が既存のトラックに対応しないと、トラック生成コンポーネント４３４は、感知された物体に関連付けるための新しいトラックを生成する。動作、トラック生成コンポーネント４３４に関連付けられた追加の詳細は、図３に関連して、本開示の至る所にも同様に、述べられている。

【0055】

明確性と参照の容易性のために他の構成要素から分離して示されているが、センサー処理システム４３０、トラック関連付けコンポーネント４３２、および／またはトラック生成コンポーネント４３４の機能性は、車両制御システム４０２の他の側面によって行われることがある。限定ではないが、構成要素のうちの１つまたは複数は、パーセプションコンポーネント４２４に組み入れられることがある。本開示の側面は、本明細書に詳述される技法に従うデータを用いるシステム、コンポーネント、またはシステムに関係なく、複数のレーダーリターンの唯一の表現の使用に少なくとも部分的に起因する改善された機能性を提供する。

【0056】

少なくとも１つの例では、センサーシステム（複数可）４０６は、本明細書に説明されるレーダーセンサーを含むことが可能である。さらに例では、センサーシステム（複数可）４０６は、ライダーセンサー、超音波トランスデューサー、ＳＯＮＡＲセンサー、ロケーションセンサー（例えば、ＧＰＳ、方位磁針など）、慣性センサー（例えば、慣性測定ユニット（ＩＭＵ）、加速度計、磁力計、ジャイロスコープなど）、カメラ（例えば、ＲＧＢ、ＩＲ、強度、深度、タイムオブフライト（time-of-flight）など）、マイク、ホイールエンコーダー、環境センサー（例えば、温度センサー、湿度センサー、光センサー、圧力センサーなど）などを含むことが可能である。センサーシステム（複数可）４０６は、今述べたまたは他のタイプのセンサーの各々に関する複数のインスタンスを含むことが可能である。たとえば、本明細書に述べられるように、本開示の実装は、重なり合う視野を有する複数のセンサーからの、例えば複数のレーダーセンサーからの複数のスキャンを用いることが可能である。ゆえに、例えば、自律車両制御システム４０２は、多数のレーダーセンサーを含むことがある。追加の例では、ライダーセンサーは、車両制御システム４０２の角、前面、後面、側面、および／または上面に位置する個々のライダーセンサーを含むことが可能である。別の例として、カメラセンサーは、車両制御システム４０２の外部および／または内部のあちこちに、種々のロケーションに配置された複数のカメラを含むことが可能である。センサーシステム（複数可）４０６は、入力を、車両コンピューティングデバイス４０４に提供することが可能である。さらに加えて、またはあるいは、センサーシステム（複数可）４０６は、１つまたは複数のネットワーク４３６を介して、センサーデータを、特定の周波数において、予め決められた一定の時間が経つと、ほぼリアルタイムにおいてなど、１つまたは複数のコンピューティングデバイスに送ることが可能である。

【0057】

エミッター（複数可）４０８は、光および／または音を放出するように構成されることがある。今述べた例におけるエミッター（複数可）４０８は、車両制御システム４０２の乗客と通信する内部のオーディオおよびビジュアルのエミッターを含む。例および非限定として、内部のエミッターは、スピーカー、ライト、サイン、ディスプレイスクリーン、タッチスクリーン、触覚に関するエミッター（例えば、振動および／またはフォースフィードバック）、メカニカルアクチュエーター（例えば、シートベルトテンショナー、シートポジショナー、ヘッドレストポジショナーなど）、および同類のものなどを含むことが可能である。いくつかの例では、内部エミッターの１つまたは複数を用いて、車両がマップされていない領域に近づいているまたは到着したと、および、マップされていない領域において継続した移動が許可および／または手動制御を要求すると、乗客に合図することがある。加えて、または代替的に、内部エミッターは、テレオペレーターまたは他の外部ソース（例えば、待ち合わせ中の乗客）が車両制御システム４０２の手動制御を行ったと乗客（複数可）に警告することがある。さらに、今述べた例におけるエミッター（複数可）４０８は、外部のエミッターも含むことが可能である。例および非限定として、今述べた例における外部のエミッターは、進む方向、または車両の作動に関する他のインディケーション（例えば、インジケーターライト、サイン、ライトアレイなど）を合図するライト、および歩行者または他の近くの車と聞こえるほどに通信する１つまたは複数のオーディオエミッター（例えば、スピーカー、スピーカーアレイ、ホーンなど）、アコースティックビームステアリング技術を含む１つまたは複数を含む。

【0058】

通信接続（複数可）４１０は、車両制御システム４０２と、１つまたは複数の他のローカルまたはリモートのコンピューティングデバイスとの間の通信を可能にすることが可能である。たとえば、通信接続（複数可）４１０は、車両制御システム４０２における他のローカルコンピューティングデバイス（複数可）との、および／またはドライブシステム（複数可）４１４との通信を容易にすることがある。さらに、通信接続（複数可）４１０は、車両に、他の近くのコンピューティングデバイス（複数可）（例えば、他の近くの車両、交通信号機など）と通信できるようにすることも可能である。さらに、通信接続（複数可）４１０は、車両制御システム４０２に、リモート遠隔操作コンピューティングデバイスと、または他のリモートコントローラーと通信するのを可能にする。

【0059】

通信接続（複数可）４１０は、車両コンピューティングデバイス（複数可）４０４を、別のコンピューティングデバイスに、またはたとえばネットワーク（複数可）４３６などのネットワークに接続するための物理および／または論理インターフェースを含むことが可能である。例えば、通信接続（複数可）４１０は、たとえば、ＩＥＥＥ８０２．１１規格によって定義された周波数、たとえばＢｌｕｅｔｏｏｔｈ（登録商標）などのショートレンジのワイヤレス周波数、セルラー通信（例えば、２Ｇ、４Ｇ、４Ｇ、４Ｇ ＬＴＥ、５Ｇ等）、またはそれぞれのコンピューティングデバイスが他のコンピューティングデバイス（複数可）とインターフェースをとることを可能にするどんな適切なワイヤードもしくはワイヤレスの通信プロトコルでも介してなど、Ｗｉ－Ｆｉベースの通信を可能にすることが可能である。

【0060】

少なくとも１つの例では、車両制御システム４０２は、ドライブシステム（複数可）４１４を含むことが可能である。いくつかの例では、車両制御システム４０２は、単一のドライブシステム４１４を有することが可能である。少なくとも１つの例では、車両制御システム４０２が複数のドライブシステム４１４を有するならば、個々のドライブシステム４１４は、車両制御システム４０２の向き合う端部（例えば、前方および後方など）に置かれることが可能である。少なくとも１つの例では、ドライブシステム（複数可）４１４は、ドライブシステム（複数可）４１４の状態を、および／または車両制御システム４０２の周囲の状態を検出する１つまたは複数のセンサーシステムを含むことが可能である。例および非限定として、センサーシステム（複数可）は、ドライブモジュールの車輪の回転を感知する１つまたは複数のホイールエンコーダー（例えば、ロータリーエンコーダー）、ドライブシステムの向きおよび加速度を測定する慣性センサー（例えば、慣性測定ユニット、加速度計、ジャイロスコープ、磁力計など）、カメラまたは他の画像センサー、ドライブシステムの周囲の物体を聴覚的に検出する超音波センサー、ライダーセンサー、レーダーセンサーなどを含むことが可能である。いくつかのセンサー、たとえばホイールエンコーダーなどは、ドライブシステム（複数可）４１４に一意的であることが可能である。場合によっては、ドライブシステム（複数可）４１４のセンサーシステム（複数可）４０６は、車両制御システム４０２の対応するシステム（例えば、センサーシステム（複数可）４０６）に対して重ねる、または補うことがある。

【0061】

ドライブシステム（複数可）４１４は、高電圧バッテリー、車両を推進するモーター、他の車両システムによる使用のためにバッテリーからの直流を交流に変換するインバーター、（電気で動くことが可能である）ステアリングモーターおよびステアリングラックを含むステアリングシステム、油圧または電気アクチュエーターを含むブレーキングシステム、油圧および／または空気圧コンポーネントを含むサスペンションシステム、けん引のロスを軽減し制御を維持するブレーキ力を分配するための安定性制御システム、ＨＶＡＣシステム、ライティング（例えば、車両の外部の周囲を照らすヘッド／テールライトなどのライティング）、および１つまたは複数の他のシステム（例えば、冷却システム、安全性システム、オンボード充電システム、たとえば、ＤＣ／ＤＣコンバーター、高電圧ジャンクション、高電圧ケーブル、充電システム、充電ポートなどの他の電気コンポーネント）を含む、多くの車両システムを含むことが可能である。加えて、ドライブシステム（複数可）４１４は、センサーシステム（複数可）４０６からのデータを受信し前処理することができ、種々の車両システムの動作を制御するためのドライブシステムコントローラーを含むことが可能である。いくつかの例では、ドライブシステムコントローラーは、１つまたは複数のプロセッサーと、１つまたは複数のプロセッサーに通信接続されたメモリーとを含むことが可能である。メモリーは、ドライブシステム（複数可）４１４の種々の機能性を行う１つまたは複数のシステムを格納することが可能である。さらに、ドライブシステム（複数可）４１４は、それぞれのドライブシステムによって、１つまたは複数の他のローカルまたはリモートのコンピューティングデバイスとの通信を可能にする１つまたは複数の通信接続も含む。

【0062】

少なくとも１つの例では、直接接続４１２は、１つまたは複数のドライブシステム４１４を車両制御システム４０２の車体に接続する物理的なインターフェースを提供することが可能である。例えば、方向接続４１２は、ドライブシステム（複数可）４１４と車両との間のエネルギー、流体、空気、データ等の伝達ができるようにすることが可能である。場合によっては、さらに、直接接続４１２は、車両制御システム４０２の車体にドライブシステム（複数可）４１４を解放可能にしっかり固定することが可能である。

【0063】

ユーザーインターフェース４１６は、乗客が車両制御システム４０２と通信することが可能である１つまたは複数のデバイス、ボタンおよび／または制御パネルを含むことがある。非限定の例では、車両制御システム４０２の乗客は、ユーザーインターフェース４１６とのインタラクション（複数可）を介して車両制御システム４０２の機能性を制御することがある。他の例では、ユーザーインターフェース４１６は、口頭または話し言葉の入力を受信するように構成されたマイクを含むことがある。通常、ユーザーインターフェース４１６は、乗客が車両コンピューティングデバイス（複数可）４０４とインターフェースをとることが可能である手段を提供することが可能である。

【0064】

少なくとも１つの例では、車両制御システム４０２は、１つまたは複数のネットワーク４３６を介して、１つまたは複数のコンピューティングデバイス４３８と通信中であり得る。例えば、本明細書に説明されるように、車両制御システム４０２は、ネットワーク（複数可）４３６を介して１つまたは複数のコンピューティングデバイス４３８と通信することが可能である。いくつかの例では、車両制御システム４０２は、コンピューティングデバイス（複数可）４３８から制御信号を受信することが可能である。他の例では、車両制御システム４０２は、コンピューティングデバイス（複数可）４３８に情報を送信することが可能である。

【0065】

いくつかの例では、コンピューティングデバイス（複数可）４３８は、プロセッサー（複数可）４４０と、プロセッサー（複数可）４４０に通信接続されたメモリー４４２とを含むことが可能である。例示した例では、コンピューティングデバイス（複数可）４３８のメモリー４４２は、レーダーコンポーネント４４４、ライダーコンポーネント４４６、ビジョンコンポーネント４４８、フューズドコンポーネント４５０を含む。いくつかの例では、レーダーコンポーネント４４４は、図１～３に例示されるようなレーダーデータを処理するのに必要なソフトウェアを含むことがある。いくつかの例では、ライダーコンポーネントは、図１および図２に例示されるようなライダーデータを処理するために必要なソフトウェアを含むことがある。いくつかの例では、ビジョンコンポーネントは、図１および図２に例示されるようなビジョンデータを処理するために必要なソフトウェアを含むことがある。いくつかの例では、フューズドコンポーネントは、図１および図２に例示されるようなフューズドセンサーデータを処理するために必要なソフトウェアを含むことがある。

【0066】

場合によっては、本明細書に述べられる構成要素のいくつかまたはすべての側面は、どんなモデル、アルゴリズム、および／または機械学習アルゴリズムでも含むことが可能である。例えば、場合によっては、メモリー４２０および／または４４２におけるコンポーネントの側面は、ニューラルネットワーク（複数可）として実装されることが可能である。

【0067】

本明細書に説明されるように、典型的なニューラルネットワークは、一連の連結された層を通じて入力データを通して出力を生成する生物学的にインスパイアされたアルゴリズムである。さらに、ニューラルネットワークにおける各層は、別のニューラルネットワークを含むことも可能である、またはいくつもの層を（畳み込みかどうかにかかわらず）含むことも可能である。本開示という状況において理解されることが可能であるように、ニューラルネットワークは、出力が学習パラメーターに基づいて生成される上記のアルゴリズムの幅広いクラスを参照することが可能である機械学習を用いることが可能である。

【0068】

ニューラルネットワークという状況にて述べられるが、どんな種類の機械学習でも、本開示と矛盾することなく用いられることが可能である。例えば、限定されないが、機械学習アルゴリズムは、回帰アルゴリズム（例えば、通常の最小二乗回帰（ＯＬＳＲ）、線形回帰、ロジスティック回帰、ステップワイズ回帰、多変量適応型回帰スプライン（ＭＡＲＳ）、局所推定スキャッタープロット平滑化法（ＬＯＥＳＳ））、インスタンスベースのアルゴリズム（例えば、リッジ回帰、最小絶対収縮および選択演算子（ＬＡＳＳＯ）、弾性ネット、最小角度回帰（ＬＡＲＳ））、ディシジョンツリーアルゴリズム（例えば、分類および回帰ツリー（ＣＡＲＴ）、反復二分法３（ＩＤ３）、カイ二乗自動相互作用検出（ＣＨＡＩＤ）、決定断端、条件付きディシジョンツリー）、ベイジアンアルゴリズム（例えば、ナイーブベイズ、ガウスナイーブベイズ、多項式ナイーブベイズ、アベレージワンディペンデンスエスティメータズ（ＡＯＤＥ）、ベイジアンビリーフネットワーク（ＢＮＮ）、ベイジアンネットワーク）、クラスタリングアルゴリズム（例えば、ｋ平均法、ｋメジアン、期待値最大化（ＥＭ）、階層クラスタリング）、相関ルール学習アルゴリズム（例えば、パーセプトロン、逆伝搬、ホップフィールドネットワーク、動径基底関数ネットワーク（ＲＢＦＮ））、深層学習アルゴリズム（例えば、ディープボルツマンマシン（ＤＢＭ）、ディープビリーフネットワーク（ＤＢＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、スタックドオートエンコーダ）、次元縮退アルゴリズム（例えば、主成分分析（ＰＣＡ）、主成分回帰（ＰＣＲ）、部分的最小二乗回帰（ＰＬＳＲ）、サモンマッピング、多次元尺度構成法（ＭＤＳ）、プロジェクション追跡、線形判別分析（ＬＤＡ）、混合判別分析（ＭＤＡ）、二次判別分析（ＱＤＡ）、柔軟判別分析（ＦＤＡ））、アンサンブルアルゴリズム（例えば、ブースティング、ブートストラップアグリゲーション（バギング）、アダブースト、スタックドジェネラリゼーション（ブレンディング）、勾配ブースティングマシン（ＧＢＭ）、勾配ブースト回帰ツリー（ＧＢＲＴ）、ランダムフォレスト）、ＳＶＭ（サポートベクターマシン）、教師あり学習、教師なし学習、準教師あり学習等を含むことがある。

【0069】

アーキテクチャの追加の例は、たとえば、ＲｅｓＮｅｔ５０、ＲｅｓＮｅｔ１０１、ＶＧＧ、ＤｅｎｓｅＮｅｔ、ＰｏｉｎｔＮｅｔ、および同類のものなどのニューラルネットワークを含む。

【0070】

図５は、出力するために複数のセンサーモダリティからトラックを決定するための例示的な処理５００を描く。例えば、処理５００のいくつかまたはすべては、本明細書に説明されるように図４における１つまたは複数のコンポーネントによって行われることが可能である。例えば、処理５００のいくつかまたはすべては、レーダーコンポーネント４４４、ライダーコンポーネント４４６、ビジョンコンポーネント４４８、および／またはフューズドコンポーネント４５０によって行われることが可能である。

【0071】

動作５０２において、処理は、レーダーセンサー構成からレーダー特徴を受信することを含むことが可能である。動作５０２に関連付けられた追加の詳細は、図１～３に関連して、本開示の至る所にも同様に、述べられている。

【0072】

動作５０４において、処理は、レーダーモデルにレーダー特徴を入力することを含むことが可能である。いくつかの例では、レーダーモデルは、機械学習モデルであり得る。動作５０４に関連付けられた追加の詳細は、図１および図２に関連して、本開示の至る所にも同様に、述べられている。

【0073】

動作５０６において、処理は、レーダー特徴に関連付けられた信頼度レベル（「信頼度値」または「信頼度スコア」とも呼ばれる）と、レーダー特徴に関連付けられた出力とを決定することを含むことがある。いくつかの例では、レーダー特徴に関連付けられた出力は、環境のおける物体に関連付けられたトラックデータと関連付けられることがある。いくつかの例では、出力は、中間レーダー出力であり得る。動作５０６に関連付けられた追加の詳細は、図１および図２に関連して、本開示の至る所にも同様に、述べられている。

【0074】

動作５０８において、処理は、ライダーセンサー構成からライダー特徴を受信することを含むことが可能である。動作５０８に関連付けられた追加の詳細は、図１および図２に関連して、本開示の至る所にも同様に、述べられている。

【0075】

動作５１０において、処理は、ライダーモデルにライダー特徴を入力することを含むことが可能である。いくつかの例では、ライダーモデルは、機械学習モデルであり得る。動作５１０に関連付けられた追加の詳細は、図１および図２に関連して、本開示の至る所にも同様に、述べられている。

【0076】

動作５１２において、処理は、ライダー特徴に関連付けられた信頼度レベル（「信頼度値」または「信頼度スコア」とも呼ばれる）と、ライダー特徴に関連付けられた出力とを決定することを含むことがある。いくつかの例では、ライダー特徴に関連付けられた出力は、環境のおける物体に関連付けられたトラックデータと関連付けられることがある。いくつかの例では、出力は、中間ライダー出力であり得る。動作５１２に関連付けられた追加の詳細は、図１および図２に関連して、本開示の至る所にも同様に、述べられている。

【0077】

動作５１４において、処理は、ビジョンセンサー構成（例えば、画像センサー）からビジョン特徴を受信することを含むことがある。動作５１４に関連付けられた追加の詳細は、図１および図２に関連して、本開示の至る所にも同様に、述べられている。

【0078】

動作５１６において、処理は、ビジョンモデルにビジョン特徴を入力することを含むことが可能である。いくつかの例では、ビジョンモデルは、機械学習モデルであり得る。動作５１６に関連付けられた追加の詳細は、図１および図２に関連して、本開示の至る所にも同様に、述べられている。

【0079】

動作５１８において、処理は、ビジョン特徴に関連付けられた信頼度レベル（「信頼度値」または「信頼度スコア」とも呼ばれる）と、ビジョン特徴に関連付けられた出力とを決定することを含むことがある。いくつかの例では、ビジョン特徴に関連付けられた出力は、環境のおける物体に関連付けられたトラックデータと関連付けられることがある。いくつかの例では、出力は、中間ビジョン出力であり得る。動作５１８に関連付けられた追加の詳細は、図１および図２に関連して、本開示の至る所にも同様に、述べられている。

【0080】

動作５２０において、処理は、中間レーダー出力、中間ライダー出力、および中間ビジョン出力を受信し、フューズド特徴として組み合わせることを含むことが可能である。動作５２０に関連付けられた追加の詳細は、図１および図２に関連して、本開示の至る所にも同様に、述べられている。

【0081】

動作５２２において、処理は、フューズドモデルにフューズド特徴を入力することを含むことが可能である。いくつかの例では、フューズドモデルは、機械学習モデルであり得る。動作５２２に関連付けられた追加の詳細は、図１および図２に関連して、本開示の至る所にも同様に、述べられている。

【0082】

動作５２４において、処理は、フューズド特徴に関連付けられた信頼度レベル（「信頼度値」または「信頼度スコア」とも呼ばれる）と、フューズド特徴に関連付けられた出力とを決定することを含むことがある。いくつかの例では、フューズド特徴に関連付けられた出力（「フューズド出力」または「マルチモダリティ出力」とも呼ばれる）は、環境における物体に関連付けられたトラックデータに関連付けられることがある。動作５２４に関連付けられた追加の詳細は、図１および図２に関連して、本開示の至る所にも同様に、述べられている。

【0083】

動作５２６において、処理は、レーダー、ライダー、またはビジョン特徴のうちの１つに関連付けられた信頼度レベルがしきい値より上であり、フューズド特徴に関連付けられた信頼度レベルがしきい値より下であるかどうかを決定することを含むことが可能である。「はい」ならば、動作５２８において、処理は、レーダー、ライダー、またはビジョン特徴のうちの１つに関連付けられた出力（例えば、物体に関連付けられ、センサーモダリティのうちの１つに基づくトラックデータ）を、車両のプランナーシステムに送信することを含むことが可能である。「いいえ」ならば、動作５３０において、処理は、フューズド特徴に関連付けられた出力（例えば、物体に関連付けられ、フューズドモダリティに基づくトラックデータ）を、車両のプランナーシステムに送信することを含むことが可能である。いくつかの例では、車両制御システムは、トラックデータを用いて、車両を制御することが可能である。動作５２６～５３０に関連付けられた追加の詳細は、図１および図２に関連して、本開示の至る所にも同様に、述べられている。

【0084】

例示的な箇条
Ａ：１つまたは複数のプロセッサーと、実行されると、命令は、レーダーデータに基づいて物体を検出するように訓練された第１のディテクタから第１の特徴データを受信することと、ライダーデータまたはカメラデータのうちの少なくとも１つに基づいて物体を検出するように訓練された第２のディテクタから第２の特徴データを受信することと、第１の特徴データを第１のモデルに入力することと、第２の特徴データを第２のモデルに入力することと、第１のモデルから、第１の特徴データに少なくとも部分的に基づいて、第１の信頼度スコアを受信することと、第２のモデルから、第２の特徴データに少なくとも部分的に基づいて、第２の信頼度スコアを受信することと、第１のモデルから第１の中間出力を受信することと、第２のモデルから第２の中間出力を受信することと、第１の中間出力および第２の中間出力を第３のモデルに入力することと、第３のモデルから、第１の中間出力および第２の中間出力に少なくとも部分的に基づいて、第３の信頼度スコアを受信することと、第３の信頼度スコアがしきい値より下であると決定することと、第１の信頼度スコアがしきい値より上であると決定することと、第１の信頼度スコアがしきい値より上であり、第３の信頼度スコアがしきい値より下であると決定すること、第１の信頼度スコアがしきい値より上であり、第３の信頼度スコアがしきい値より下であると決定することに少なくとも部分的に基づいて、および、第１の中間出力に少なくとも部分的に基づいて、環境のおける物体を表すトラックを出力することと、を含む動作をシステムにさせる、１つまたは複数のプロセッサーによって実行可能な命令を格納する１つまたは複数の非一時的なコンピューター読取り可能媒体と、を含むシステム。

【0085】

Ｂ：動作は、第１の特徴データがグランドトゥルースオブジェクトトラックに関連付けられるかどうかを示すグランドトゥルースに少なくとも部分的に基づいて、第１のモデルをトレーニングすることをさらに含む、項Ａのシステム。

【0086】

Ｃ：トラックは、物体識別子を含み、動作は、カメラデータに少なくとも部分的に基づいてトラックを更新することをさらに含む、項Ａのシステム。

【0087】

Ｄ：予測システムまたはプランニングシステムのうちの少なくとも１つにトラックを出力することと、トラックと第１の信頼度スコアとに少なくとも部分的に基づいて自律車両を制御することとをさらに含む、項Ａのシステム。

【0088】

Ｅ：第１の中間出力は、第１のモデルの中間層からの埋め込みである、項Ａのシステム。

【0089】

Ｆ：第１のモダリティを介して動作するセンサーから第１の特徴データを受信することと、第１の特徴データを第１のモデルに入力することと、第１のモデルから、第１の特徴データに少なくとも部分的に基づいて、物体に関連付けられた第１のモダリティ信頼度スコアを受信することと、第１のモデルから第１の中間出力を受信することと、マルチモダリティモデルに第１の中間出力を入力することと、マルチモダリティモデルから、第１の中間出力に少なくとも部分的に基づいて、物体に関連付けられたマルチモダリティ信頼度スコアを受信することと、第１のモダリティ信頼度スコアとマルチモダリティ信頼度スコアとに少なくとも部分的に基づいて、物体に関連付けられたデータを出力することと、を含む方法。

【0090】

Ｇ：第１のモダリティ信頼度スコアがマルチモダリティ信頼度スコアよりも高いと決定することと、第１のモダリティ信頼度スコアがマルチモダリティ信頼度スコアよりも高いことに少なくとも部分的に基づいて、物体に関連付けられたデータを出力することと、をさらに含む、項Ｆの方法。

【0091】

Ｈ：第１のモダリティ信頼度スコアがマルチモダリティ信頼度スコアよりも高いと決定することは、マルチモダリティ信頼度スコアがしきい値より下であると決定することと、第１のモダリティ信頼度スコアがしきい値より上であると決定することとを含む、項Ｇの方法。

【0092】

Ｉ：物体に関連付けられたデータは、物体を表すトラックである、項Ｆの方法。

【0093】

Ｊ：第２のモデルからマルチモダリティ出力を受信することと、第１の中間出力またはマルチモダリティ出力に少なくとも部分的に基づいて、物体を表すトラックを生成することと、をさらに含む、項Ｉの方法。

【0094】

Ｋ：第２のモデルからマルチモダリティ出力を受信することと、第１のモダリティ信頼度スコアおよびマルチモダリティ信頼度スコアに少なくとも部分的に基づいて、第１の中間出力またはマルチモダリティ出力のうちの少なくとも１つにより物体を表すトラックを更新することと、第１のモダリティ信頼度スコアおよびマルチモダリティ信頼度スコアに少なくとも部分的に基づいて、予測システムまたはプランニングシステムのうちの少なくとも１つに物体を表すトラックを出力することと、をさらに含む、項Ｉの方法。

【0095】

Ｌ：物体に関連付けられたデータに少なくとも部分的に基づいて、自律車両を制御すること、をさらに含む、項Ｆの方法。

【0096】

Ｍ：第１のモデルは、マルチレイヤパーセプトロンである、項Ｆの方法。

【0097】

Ｎ：第１の特徴データは、レーダーデータ、ライダーデータ、またはカメラデータのうちの少なくとも１つに関連付けられる、項Ｆの方法。

【0098】

Ｏ：センサーは、第１のセンサーであり、第１のモダリティとは異なる第２のモダリティにて動作する第２のセンサーから第２の特徴データを受信することと、第２の特徴データを第２のモデルに入力することと、第２のモデルから、第２の特徴データに少なくとも部分的に基づいて、物体に関連付けられた第２のモダリティ信頼度スコアを受信することと、第２のモデルから第２の中間出力を受信することと、第２の中間出力をマルチモダリティモデルに入力することと、マルチモダリティモデルから、第１の中間出力および第２の中間出力に少なくとも部分的に基づいて、物体に関連付けられたマルチモダリティ信頼度スコアを受信することと、第１のモダリティ信頼度スコア、第２のモダリティ信頼度スコア、およびマルチモダリティ信頼度スコアに少なくとも部分的に基づいて、物体に関連付けられたデータを出力することと、をさらに含む、項Ｆの方法。
Ｐ：１つまたは複数のプロセッサーによって実行されると、第１のモダリティを介して動作するセンサーから第１の特徴データを受信することと、第１の特徴データを第１のモデルに入力することと、第１のモデルから、第１の特徴データに少なくとも部分的に基づいて、物体に関連付けられた第１のモダリティ信頼度スコアを受信することと、第１のモデルから第１の中間出力を受信することと、マルチモダリティモデルに第１の中間出力を入力することと、マルチモダリティモデルから、第１の中間出力に少なくとも部分的に基づいて、物体に関連付けられたマルチモダリティ信頼度スコアを受信することと、第１のモダリティ信頼度スコアとマルチモダリティ信頼度スコアとに少なくとも部分的に基づいて、物体に関連付けられたデータを出力することと、を含む動作をプロセッサーに行わせる命令を格納する１つまたは複数の非一時的なコンピューター読取り可能媒体。

【0099】

Ｑ：物体に関連付けられたデータは、物体を表すトラックである、項Ｐの非一時的なコンピューター読取り可能媒体。

【0100】

Ｒ：動作は、第２のモデルからマルチモダリティ出力を受信することと、第１の中間出力またはマルチモダリティ出力に少なくとも部分的に基づいて、物体を表すトラックを生成することと、をさらに含む、項Ｑの非一時的なコンピューター読取り可能媒体。

【0101】

Ｓ：動作は、第２のモデルからマルチモダリティ出力を受信することと、第１のモダリティ信頼度スコアおよびマルチモダリティ信頼度スコアに少なくとも部分的に基づいて、第１の中間出力またはマルチモダリティ出力のうちの少なくとも１つにより物体を表すトラックを更新することと、第１のモダリティ信頼度スコアおよびマルチモダリティ信頼度スコアに少なくとも部分的に基づいて、予測システムまたはプランニングシステムのうちの少なくとも１つに物体を表すトラックを出力することと、をさらに含む、項Ｑの非一時的なコンピューター読取り可能媒体。

【0102】

Ｔ：センサーは、第１のセンサーであり、第１のモダリティとは異なる第２のモダリティにて動作する第２のセンサーから第２の特徴データを受信することと、第２の特徴データを第２のモデルに入力することと、第２のモデルから、第２の特徴データに少なくとも部分的に基づいて、物体に関連付けられた第２のモダリティ信頼度スコアを受信することと、第２のモデルから第２の中間出力を受信することと、第２の中間出力をマルチモダリティモデルに入力することと、マルチモダリティモデルから、第１の中間出力および第２の中間出力に少なくとも部分的に基づいて、物体に関連付けられたマルチモダリティ信頼度スコアを受信することと、第１のモダリティ信頼度スコア、第２のモダリティ信頼度スコア、およびマルチモダリティ信頼度スコアに少なくとも部分的に基づいて、物体に関連付けられたデータを出力することと、をさらに含む、項Ｐの非一時的なコンピューター読取り可能媒体。

【0103】

上に説明した例示的な箇条が、１つの特定の実装に関して説明されるが、本文書の状況において、さらに、例示的な箇条の内容は、方法、デバイス、システム、コンピューター読取り可能媒体、および／または別の実装を介して実装されることも可能であることが理解されるべきである。さらに加えて、例Ａ～Ｔのいずれかは、単独において、または例Ａ～Ｔのうちのいずれか他の１つまたは複数との組み合わせにおいて、実装されることがある。

【0104】

終結
本明細書に説明される技法に関する１つまたは複数の例が説明されたが、種々の代替、 追加、置換および均等は、本明細書に説明される技法の範囲内に含まれる。

【0105】

例の説明において、参照は、主張される主題の特定の例を実例として示す、一部を形成する添付の図面に対してされる。他の例が用いられることが可能であること、および、変更または代替、たとえば構造的な変更などがされることが可能であることは、理解されることである。上記の例、変更、または代替は、意図され主張される主題に関して、必ずしも範囲からの逸脱でない。本明細書におけるステップが、ある特定の順において与えられることが可能であるが、場合によっては、順は、ある特定の入力が、説明されるシステムおよび方法の機能を変更することなく異なる時間に、または別個の順に提供されるように、変更されることが可能である。さらに、開示される手順は、異なる順において実行されることも可能だろう。追加として、本明細書に説明される種々の計算は、開示された順において行われる必要がなく、計算に関し代替の順にすることを用いる他の例は、難なく実装されることが可能であろう。並べ替えられることに加えて、いくつかの場合には、さらに、計算は、同一の結果を有する部分計算に分解されることも可能だろう。

【図1】

【図2】

【図3】

【図4】

【図5】

【国際調査報告】