特表 2023-515494 組み合わされたトラック信頼度及び分類モデル

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-04-13

(54)【発明の名称】組み合わされたトラック信頼度及び分類モデル

(51)【国際特許分類】

   B60W 30/095 20120101AFI20230406BHJP

   B60W 60/00 20200101ALI20230406BHJP

   B60W 40/04 20060101ALI20230406BHJP

   G08G 1/16 20060101ALI20230406BHJP

   G06T 7/00 20170101ALN20230406BHJP

【ＦＩ】

B60W30/095

B60W60/00

B60W40/04

G08G1/16 C

G06T7/00 350B

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2022549885

(86)(22)【出願日】2021-02-17

(85)【翻訳文提出日】2022-10-19

(86)【国際出願番号】 US2021018334

(87)【国際公開番号】W WO2021167953

(87)【国際公開日】2021-08-26

(31)【優先権主張番号】16/797,656

(32)【優先日】2020-02-21

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】518156417

【氏名又は名称】ズークス インコーポレイテッド

(74)【代理人】

【識別番号】110001243

【氏名又は名称】弁理士法人谷・阿部特許事務所

(72)【発明者】

【氏名】サブハシス ダス

(72)【発明者】

【氏名】シダ シェン

(72)【発明者】

【氏名】カイ ユー

(72)【発明者】

【氏名】ベンジャミン イサーク ツヴィーベル

【テーマコード（参考）】

3D241

5H181

5L096

【Ｆターム（参考）】

3D241BA32

3D241BA33

3D241CD10

3D241CD12

3D241CE04

3D241CE05

3D241CE08

3D241DB01Z

3D241DB02Z

3D241DB05Z

3D241DC02Z

3D241DC26Z

3D241DC27Z

3D241DC28Z

5H181AA01

5H181BB04

5H181BB05

5H181BB20

5H181CC02

5H181CC03

5H181CC05

5H181CC11

5H181CC14

5H181FF04

5H181FF24

5H181FF27

5H181FF33

5H181FF35

5H181LL01

5H181LL08

5H181LL09

5L096CA02

5L096GA51

5L096KA04

5L096KA15

(57)【要約】

トラック及び／またはオブジェクトの分類に関連付けられたトラック信頼度メトリックを生成し得る、組み合わされた機械学習（ＭＬ）モデルのための技術が開示される。技術は、トラックを取得することを含み得る。１つまたは複数のセンサデータタイプ及び／またはパイプラインからのオブジェクト検出を含み得るトラックは、機械学習（ＭＬ）モデルに入力されてもよい。モデルは、トラック信頼度メトリック及び分類を出力し得る。いくつかの例では、トラック信頼度メトリックが閾値を満たさない場合、ＭＬモデルは、自律車両の計画コンポーネントへのトラックの出力の抑制を引き起こし得る。

【特許請求の範囲】

【請求項1】

システムであって、
１つまたは複数のプロセッサと、
プロセッサ実行可能命令を格納するメモリであって、前記プロセッサ実行可能命令は前記一つまたは複数のプロセッサによって実行されると、前記システムに、
環境内のオブジェクトの第１のオブジェクト検出、及び前記環境内の前記オブジェクトの第２のオブジェクト検出に関連付けられたトラックの少なくとも一部を機械学習（ＭＬ）モデルに入力することと、
前記ＭＬモデルからの出力としてトラック信頼度メトリック及び前記オブジェクトの分類を受信することであって、前記トラック信頼度メトリックは、前記トラックがトゥルーポジティブである可能性を含む、ことと、
前記トラック、前記トラック信頼度メトリック、及び前記分類を計画コンポーネントに出力することと、
を含む動作を実行させる、メモリと、を備えたシステム。

【請求項2】

前記トラックの少なくとも前記一部を前記ＭＬモデルに入力することは、前記第１のオブジェクト検出に関連付けられたオブジェクト検出信頼度値を前記ＭＬモデルに入力することをさらに含む、請求項１に記載のシステム。

【請求項3】

前記トラックを前記計画コンポーネントに出力することは、前記トラック信頼度メトリックが信頼度閾値を満たすか、または超えることを判定することを含む、請求項１または２に記載のシステム。

【請求項4】

前記第１のオブジェクト検出または前記第２のオブジェクト検出のうちの少なくとも１つが、
トップダウンの視点からの前記環境の表現と、
前記環境の一部が占有されている表示と、
前記オブジェクトに関連付けられた関心領域と、
前記第１のオブジェクト検出に関連付けられた第１のセンサタイプに関連付けられた知覚パイプラインによって決定された前記オブジェクトに関連付けられたオブジェクト分類と、
センサデータセグメンテーションと、
センサデータのボクセル化と、
前記オブジェクトに関連付けられたヨーと、
のうちの少なくとも１つを含む、請求項１から３のいずれか１項に記載のシステム。

【請求項5】

前記トラックは、前記第１のオブジェクト検出が生成された時間の前、及び前記第２のオブジェクト検出が生成された時間の前の時間に関連付けられた第１の先行オブジェクト検出にさらに関連付けられ、
前記トラックの少なくとも前記一部を前記ＭＬモデルに入力することは、少なくとも前記第１の先行オブジェクト検出を前記ＭＬモデルに入力することをさらに含む、請求項１から４のいずれか１項に記載のシステム。

【請求項6】

前記第１のオブジェクト検出が、第１のセンサタイプに関連付けられ、
前記第２のオブジェクト検出が、第２のセンサタイプに関連付けられる、請求項１から５のいずれか１項に記載のシステム。

【請求項7】

前記動作は、
前記計画コンポーネントによって、前記トラック信頼度メトリックに基づいて前記制御情報の前記生成における前記トラックの重みを調整することによって、少なくとも部分的に、自律車両のための制御情報を生成することをさらに含む、請求項１から６のいずれか１項に記載のシステム。

【請求項8】

前記動作は、
前記計画コンポーネントによって、前記トラックに基づいて自律車両の制御情報を生成することと、
前記制御情報に基づいて前記自律車両を制御することと、
をさらに含む、請求項１から７のいずれか１項に記載のシステム。

【請求項9】

環境内のオブジェクトの第１のオブジェクト検出、及び前記環境内の前記オブジェクトの第２のオブジェクト検出に関連付けられたトラックを受信することと、
前記トラックの少なくとも一部を機械学習（ＭＬ）モデルに入力することと、
前記ＭＬモデルから出力を受信することであって、前記出力は、トラック信頼度メトリック及び前記オブジェクトの分類を含む、ことと、
前記出力に少なくとも部分的に基づいて損失を判定することと、
訓練されたＭＬモデルとして、前記損失を低減するために前記ＭＬモデルの１つまたは複数のパラメータを変更することと、
前記訓練されたＭＬモデルを自律車両に送信することと、
を含む方法。

【請求項10】

前記第１のオブジェクト検出に関連付けられたグランドトゥルースデータを受信することと、
前記グランドトゥルースデータに少なくとも部分的に基づいて前記損失を判定することと、
前記損失を逆伝搬することによって前記パラメータの前記変更を実行することと、
をさらに含む、請求項９に記載の方法。

【請求項11】

前記トラックの少なくとも一部を前記ＭＬモデルに入力することは、少なくとも前記第１のオブジェクト検出に関連付けられたオブジェクト検出信頼度値を前記ＭＬモデルに入力することを含む、請求項９または１０に記載の方法。

【請求項12】

前記第１のオブジェクト検出が、第１のセンサタイプに関連付けられ、
前記第２のオブジェクト検出が、第２のセンサタイプに関連付けられる、請求項９から１１のいずれか１項に記載の方法。

【請求項13】

前記第１のオブジェクト検出または前記第２のオブジェクト検出のうちの少なくとも１つが、
トップダウンの視点からの前記環境の表現と、
前記環境の一部が占有されている表示と、
前記オブジェクトに関連付けられた関心領域と、
前記第１のセンサタイプに関連付けられた知覚パイプラインによって決定された前記オブジェクトに関連付けられたオブジェクト分類と、
センサデータセグメンテーションと、
センサデータのボクセル化と、
前記オブジェクトに関連付けられたヨーと、
のうちの少なくとも１つを含む、請求項１２に記載の方法。

【請求項14】

前記トラックは、前記第１のオブジェクト検出が生成された時間の前、及び前記第２のオブジェクト検出が生成された時間の前の時間に関連付けられた第１の先行オブジェクト検出にさらに関連付けられ、
前記トラックの前記一部は、前記第１の先行オブジェクト検出、前記第１のオブジェクト検出、及び前記第２のオブジェクト検出のそれぞれの少なくとも一部を含む、請求項９から１３のいずれか１項に記載の方法。

【請求項15】

１つまたは複数のプロセッサによって実行されると、１つまたは複数のコンピューティングデバイスに、請求項９から１４のいずれか１項に記載の方法を実行させる命令を格納する、１つまたは複数の非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、組み合わされたトラック信頼度及び分類モデルに関する。

【背景技術】

【0002】

（関連出願の相互参照）
本出願は、２０２０年２月２１日に出願され、「ＣＯＭＢＩＮＥＤ ＴＲＡＣＫ ＣＯＮＦＩＤＥＮＣＥ ＡＮＤ ＣＬＡＳＳＩＦＩＣＡＴＩＯＮ ＭＯＤＥＬ」と題された米国特許出願第１６／７９７，６５６号の優先権を主張し、その全体が参照により本明細書に組み込まれる。

【0003】

オブジェクトの検出及び追跡は、自律車両の操作、セキュリティ目的のための個人の識別など、多くの用途で使用されている。検出及び追跡技術は、センサを使用して環境に関するデータを取り込み、このセンサデータを使用して環境内のオブジェクトを検出し得る。検出及び追跡技術は、２つ以上の異なるタイプのセンサを利用し得るため、センサデータは、その形式及び内容において広範囲に異なる場合があり、検出アルゴリズムは、センサデータを異なる方法で処理し得るが、異なるセンサタイプによって生成された検出は異なる場合がある。

【図面の簡単な説明】

【0004】

詳細な説明は、添付の図面を参照してなされる。図面において、参照番号の左端の数字は、その参照番号が最初に現れる図を識別する。異なる図面における同一の参照番号は、類似するまたは同一の項目を示している。

【0005】

【図1】自律車両を取り巻く環境内のオブジェクトを追跡し得る追跡コンポーネントと、トラック信頼度メトリック及びトラックの分類の両方を提供し得る組み合わされたモデルとを含む知覚コンポーネントで構成された自律車両の例示的なシナリオを示す図である。

【図2】追跡コンポーネント及び組み合わされたモデルを含む知覚コンポーネントを備えた例示的なシステムのブロック図である。

【図3】トラック信頼度メトリック及び集約されたトラックデータからの分類を決定するための例示的なプロセスのフロー図である。

【図4】組み合わされたトラック信頼度及び分類モデルを含む自律車両の知覚コンポーネントの例示的なデータフロー図である。

【発明を実施するための形態】

【0006】

本明細書で論じられる技術は、一般に、トラック信頼度メトリック及びトラックの分類の両方を、１つまたは複数のパイプラインからの出力（例えば、少なくともいくつかの例では、特定のタイプまたはサブタイプのデータのみの使用を含む、特定の結果をもたらすためにデータに対して実行される一連のステップまたは動作）に少なくとも部分的に基づいて決定し得る、組み合わされたトラック信頼度及び分類モデル（本明細書では「組み合わされたモデル」とも称する）に関する。いくつかの例では、１つまたは複数のパイプライン（それらは知覚データ で動作するので、全体を通して知覚パイプラインとして参照され得る）は、異なるセンサタイプ（例えば、ライダセンサ、カメラ、レーダセンサ）に関連付けられたパイプライン、および／またはライダ－視覚などのセンサのハイブリッドな組み合わせに関連付けられたパイプラインなど）に関連付けられ得る。追跡コンポーネントは、１つまたは複数のパイプラインから入力を受け入れ、１つまたは複数のトラックを生成し得る。より具体的には、追跡コンポーネントは、１つまたは複数のパイプラインから受信したパイプラインデータに基づいて、検出されたオブジェクト（または追跡されたオブジェクト）の現在および／または前の位置、速度、加速度、および／または向きを含むトラックを追跡し、出力するように構成され得る。トラック信頼度メトリックは、関連付けられたトラックがトゥルーポジティブ（対応する追跡されたオブジェクトが環境内に存在する）かフォールスポジティブ（対応する追跡されたオブジェクトがパイプライン及び追跡コンポーネントによって検出及び追跡されたが、環境内に存在しない）かの尺度を提供し得る。さらに、トラックのための組み合わされたモデルによって出力される分類は、１つまたは複数の知覚パイプラインからの情報に基づいて決定され得る粗い分類及び／または細かい分類を含み得る。自律運転システムのいくつかの自律車両の実装では、トラックの追跡されたオブジェクトの粗い分類は、車両、歩行者、自転車運転者、および散乱物（ｃｌｕｔｔｅｒ）などの一般的なカテゴリを含み得、一方、トラックの追跡されたオブジェクトの細かい分類は、例えば、サービス車両、オートバイ、トラクタートレーラー、セダン、ピックアップなどが車両の粗い分類内の細かい分類であるより具体的なサブカテゴリであり得る。

【0007】

本明細書で詳細に説明されるいくつかの例では、トラックは、時間の経過とともにそのようなオブジェクトに関連付けられた運動学的および／または動的情報（例えば、線形および／または角速度、線形および／または角加速度など）に加えて、検出されたオブジェクトの以前の位置、方向、サイズ（範囲）、分類などの履歴記録との一定期間にわたる検出の関連付けを含み得る。

【0008】

いくつかの例では、組み合わされたモデルは、自律車両または同様の自律または部分的自律システムの自動運転システムにおいて利用され得る。トラック信頼度メトリックは、自動運転システムの予測および／または計画コンポーネントに、関連付けられたトラックを出力するかどうかを決定するために利用され得る。他の例では、関連付けられたトラックは、自動運転システムの予測および／または計画コンポーネントに、トラック信頼度メトリックと共に出力され得る。次に、予測および／または計画コンポーネントは、トラック信頼度メトリックを利用して、重み（例えば、アップウェイトまたはダウンウェイト）を決定し、関連付けられたトラックを与え得る。分類（例えば、粗いおよび／または細かい分類）は、予測および／または計画コンポーネントによって利用されて、トラックに関連付けられたオブジェクトの変化および挙動を予測し、および／または自動運転システムの軌道または他のアクションを計画し得る。

【0009】

本明細書で論じられる技術は、例えば、トラック及びその分類の精度を向上させること、及び／または一般にオブジェクトの検出を向上させることによって、オブジェクトの検出及び追跡を向上させ得る。例えば、組み合わされたモデルによって出力されたトラック信頼度メトリックは、追跡コンポーネントによって生成されたフォールスポジティブを検出及び／または抑制し、特定のパイプラインまたは複数のパイプラインへの過度の依存を回避するために使用されてもよく、これは、他のパイプライン内の実際のオブジェクトの検出が、過度に依存したパイプラインによる不検出のために無視されるシナリオにつながり得る。さらに、複数の知覚パイプラインからの情報に基づく組み合わされたモデルによる分類の決定は、いくつかのパイプラインが追跡されたオブジェクトのオブジェクト検出を提供しないときに分類を可能にし得、それによって特定のパイプラインへの過度の依存を排除し、冗長または競合するデータを削減する。オブジェクト及び／またはトラックがフォールスポジティブであるかまたはトゥルーポジティブであるかどうかを判定するためのヒューリスティックロジックは、開発及び改良することが困難であり、改善するために大幅な投資を必要とし得る。トラック信頼度メトリック及びトラックの分類（例えば、トラックの対応する追跡されたオブジェクトの分類）の両方を生成するための組み合わされたモデルの動作は、システム内の計算及びレイテンシを低減するとともに、システムの開発及び改良をより簡単にし得る。

【0010】

上述のように、トラック信頼度メトリックは、複数の知覚パイプラインから集約されたトラックデータ（本明細書ではトラックの集約されたトラックデータと呼ばれる）が環境内のオブジェクトに対応する可能性を示し得る。例えば、トラック信頼度メトリックは、０と１との間の値であってよく、０は、トラックがトゥルーポジティブである可能性が低いことを組み合わされたモデルによって示すことを表し、１は、トラックがトゥルーポジティブである可能性が高いことを示すが、他の変更も考えられる。

【0011】

トラック信頼度メトリック判定は、複数の知覚パイプラインの出力及び追跡コンポーネントの出力に少なくとも部分的に基づいて動作し得る。パイプラインデータは、それぞれのパイプラインによるオブジェクト検出に関する情報を含み得る。追跡コンポーネントは、知覚パイプラインから受信したパイプラインデータに基づいて、検出されたオブジェクトの現在および／または以前の位置、速度、加速度、および／または向きを追跡し、出力するように構成され得る。いくつかの例では、複数の知覚パイプラインの出力は、追跡コンポーネントによって、追跡されたオブジェクトに関連付けられた集約された追跡データに集約され得る。

【0012】

一般に、追跡は、最近受信された（例えば、現在の）センサデータから生成された現在のオブジェクト検出を、他の（例えば、以前に受信された）センサデータから生成された別のオブジェクト検出に関連付けるかどうかを決定することを含み得る。トラックの集約されたトラックデータは、以前のセンサデータ及び現在のセンサデータ及び／または複数の知覚パイプラインによって出力された現在のパイプラインデータ内で検出されたオブジェクトが同じオブジェクトであることを識別し得る。いくつかの例では、集約されたトラックデータに集約されたデータは、現在の時間及び／または１つまたは複数の以前の時間のパイプライン出力の少なくとも一部を含み得る。

【0013】

いくつかの例では、センサは、一定間隔または入力サイクルで知覚パイプラインにセンサデータを入力し得る。知覚パイプラインは、各入力サイクルについてパイプラインデータを生成し、追跡コンポーネントに出力し得る。いくつかの例では、パイプラインは、入力サイクル（例えば、１００ミリ秒毎、５００ミリ秒毎、１秒毎）に対応し得る周波数でパイプライン出力を生成するように同期され得る。パイプラインが５００ミリ秒（例えば、５００ｍｓサイクル）ごとに実質的に同じ時間でパイプラインデータを出力するように同期される例では、集約されたトラックデータは、０ミリ秒（すなわち、現在の入力サイクルのパイプラインデータの最近受信されたセットに対応するデータのセット）、－５００ミリ秒、－１秒などについて上述したデータを含み得る。少なくとも１つの例では、集約されたトラックデータは、時間ステップ０ミリ秒、－１００ミリ秒、－２００ミリ秒、－３００ミリ秒、及び／または－４００ミリ秒、及び／または－１秒、－２秒、及び／または－３秒についてのパイプラインデータを含み得るが、任意の適切な時間ステップまたはサイクル長が使用され得る。いくつかの例では、時間ウィンドウにわたるすべての時間サイクルまたは一定間隔（例えば、すべての他のサイクル）に関連付けられたトラックデータは、現在のトラックデータと共に組み合わされたモデルに入力され得る。

【0014】

上述したように、パイプラインデータは、トラックを決定するために利用され得るオブジェクト検出についての情報を含み得る。例えば、パイプラインデータは、少なくとも１つのパイプラインのＭＬモデルによって決定され、オブジェクトに関連付けられたセンサ及び／または知覚データの一部を識別する１つまたは複数の関心領域（ＲＯＩ）の表示を含み得る。例えば、パイプラインによって出力されるパイプラインデータは、パイプラインによって検出されるオブジェクトに関連付けられた関心領域（ＲＯＩ）の中心、範囲、及び／またはヨーを含んでよい。いくつかの例では、本明細書で論じられる関心領域は、関心のある３次元領域及び／または関心のある２次元領域（例えば、環境のトップダウン／鳥瞰図）であり得る。いくつかの例は、画像の異なる部分について複数の関心領域（ＲＯＩ）を受信することを含み得る。ＲＯＩは、画像内のオブジェクトの存在を識別し得る任意の形態であり得る。例えば、ＲＯＩは、検出されたオブジェクトに関連付けられていると識別されたピクセルを示すボックスまたは他の形状（「バウンディングボックス」）、検出されたオブジェクトに対応するピクセルを含むマスクなどを含み得る。

【0015】

追跡コンポーネントは、オブジェクト検出に関する情報を利用して、複数のパイプラインからのオブジェクト検出と、異なる入力サイクルからのオブジェクト検出とを照合し得る。追跡コンポーネントは、照合されたオブジェクト検出に関する情報を含むトラックのトラックデータを生成し得る。したがって、いくつかの例では、トラックは、オブジェクトに関連付けられた関心領域（ＲＯＩ）の中心、範囲、及び／またはヨー、ならびに／または以前のサイクルでトラックに関連付けられて生成された以前のＲＯＩに関する同様の情報を含み得る。

【0016】

トラックデータは、追加的または代替的に、追跡されたオブジェクトに関する他のデータを含み得る。例えば、トラックデータは、オブジェクト（例えば、車両、大型車両、歩行者、自転車運転者）に関連付けられた分類、オブジェクトに関連付けられた現在／または以前の向き、オブジェクトの現在及び／または以前の速度及び／または加速度、ならびに／またはオブジェクトの現在及び／または以前の位置を含み得る。

【0017】

いくつかの例では、他のコンポーネントは、追跡コンポーネントによって出力されるトラックデータを利用して、自律車両を制御し得る。例えば、自律車両の計画コンポーネントは、検出されたオブジェクトの動き／挙動を予測し、そのような現在及び／または以前のデータに少なくとも部分的に基づいて、自律車両を制御するための軌道及び／または経路を決定し得る。

【0018】

上述したように、知覚コンポーネントのいくつかの知覚パイプラインは、センサのそれぞれのセットに関連付けられ得、センサのそれぞれのセットからのデータに基づいて動作し得る。センサのそれぞれのセットに関連付けられたいくつかの例示的な知覚パイプラインは、視覚パイプライン、ライダパイプライン、レーダパイプラインなどの単一のセンサタイプパイプライン、及び／または視覚－ライダパイプライン、視覚－ライダ－レーダパイプラインなどの組み合わされたセンサタイプパイプラインを含み得る。いくつかの例では、少なくとも１つの知覚パイプラインは、他の知覚パイプラインからのデータに少なくとも部分的に基づいて動作し得る融合検出器またはディープ追跡ネットワークコンポーネントであり得る。例えば、両方ともその全体が本明細書に組み込まれる、米国特許出願第６２／９２６，４２３号の利益を主張する米国特許出願第１６／７７９，５７６号を参照されたい。

【0019】

追加的または代替的に、知覚パイプラインは、パイプラインによって生成されたオブジェクト検出のオブジェクト信頼度スコアを決定し得る。例えば、パイプラインは、パイプラインが画像内の顕著なオブジェクトを実際に識別したかどうか、及び／またはオブジェクトに関連付けられたＲＯＩがオブジェクトにどの程度適合するかを示すオブジェクト信頼度スコアを生成し得るＭＬモデルを含んでよい。例えば、オブジェクト信頼度スコアは、０と１との間の値であってよく、０は、オブジェクトがＲＯＩに出現する可能性が低いことを表し、１は、オブジェクトがＲＯＩに出現する可能性が高いことを示すが、他の変更も考えられる。オブジェクト信頼度は、パイプラインデータ内のオブジェクト検出に関連する情報に含まれ得る。言い換えると、パイプラインは、オブジェクトがどこにある可能性があるかの指示、およびオブジェクトを正しく識別する可能性がどの程度あるか、および／またはＲＯＩがオブジェクトが画像内のどこにあるかをどの程度よく指摘するかを示すスコアを出力し得る。

【0020】

上述したように、追跡コンポーネントは、１つまたは複数の知覚パイプラインによって出力される検出に関する情報をパイプラインデータとして受信し得る。追跡コンポーネントは、パイプラインデータ内の検出に関する情報を比較して、同じオブジェクトに関連するトラックを決定し得る。同じオブジェクトに関連するパイプラインデータを組み合わせて、集約されたトラックデータを生成し得る。例えば、パイプラインからのパイプラインデータを既存のトラックのデータと比較して、既存のトラックがパイプラインデータとマッチするかどうかを判定し得る。既存のトラックがパイプラインデータとマッチすることが見出された場合、トラックデータは、既存の集約されたトラックデータに組み込まれ得る。そうでない場合、新しいトラックが、パイプラインデータに基づいて生成され得る。追跡コンポーネントによるトラックの生成に関する追加の詳細は、米国特許出願第１６／２９７，３８１号において提供され、その全体が本明細書に組み込まれる集約されたトラックデータは、次いで、組み合わされたモデルによって分析されて、集約されたトラックデータに関連付けられたトラックのトラック信頼度メトリック及び分類を生成し得る。

【0021】

組み合わされたモデルは、いくつかの例では、トラックのトラック信頼度メトリックとトラックに関連付けられたオブジェクトの分類との両方を推論し得る単一の機械学習モデルを含み得る。少なくとも１つの非限定的な例では、組み合わされたモデルは、複数の知覚パイプラインからのデータを含む集約されたトラックデータを入力として受信して、トラック信頼度メトリック及び集約されたトラックデータに関連付けられたオブジェクトの粗い及び／または細かい分類を生成し得る単一の多層パーセプトロンであってもよい。

【0022】

組み合わされたモデルに入力され得るデータの例示的なセットは、例えば、ライダ及び視覚のセマンティックセグメンテーション確率（例えば、フロート確率ベクトルの形態）などのライダ、レーダ、視覚、及び融合パイプラインオブジェクト検出、各知覚パイプラインのトラックに関連付けられたオブジェクト検出の存在を示すメトリクス、ライダオブジェクト検出におけるボクセルの総数などのトラックのオブジェクト検出統計、視覚オブジェクト検出信頼度、レーダオブジェクト検出ドプラー曖昧性解決状態など（連続フロート値として組み合わされたモデルに入力され得る）を含み得る。組み合わされたモデルは、追加的または代替的に、入力として、視覚パイプラインからの分類データ及び／またはライダパイプラインからのトップダウンセグメンテーション確率を（例えば、ワンホットベクトルまたは確率値のベクトルの形で）受信し得る。さらに、組み合わされたモデルへの入力は、速度、範囲、遮られる可能性のあるオブジェクトの割合、センサを含むデバイスからの距離などの幾何学的特性を追加的または代替的に含み得る。上記のデータに加えて、以前のサイクル、ティック、または動作からのトラックに関連付けられた任意の以前に生成されたデータも、組み合わされたモデルによって利用され得る。

【0023】

例えば入力の例示的な形態が上記で提供されるが、実施形態はそれほど限定されず、そのような形態は、実装ごとに異なり得る。例えば、入力は、実装に応じて、ワンホットベクトルに離散化されてもよく、または連続値として入力されてもよい。

【0024】

組み合わされたトラック信頼度及び分類モデルを訓練し、利用するための非限定的な例示的なシステムに関する追加の詳細は、図を参照して以下に提供される。

【0025】

（例示的なシナリオ）
図１は、車両１０２を含む例示的なシナリオ１００を示している。いくつかの例では、車両１０２は、米国運輸省道路交通安全局によって発行されたレベル５分類に従って動作するよう構成される自律車両であってよく、この分類は、運転者（または乗員）の常時車両制御を期待することなく全行程に対する全てのセーフティクリティカルな機能を実行することが可能な車両を説明する。しかしながら、他の例では、車両１０２は、任意の他のレベルまたは分類を有する完全なまたは部分的な自律車両であってよい。本明細書で説明される技術は、自律車両のようなロボット制御以外にも適用され得ることが企図される。例えば、本明細書に記載される技術は、マイニング、製造、拡張現実などに適用され得る。さらに、車両１０２は、陸上車両として描写されているが、宇宙船、水上機、および／または同様のものであってもよい。いくつかの例では、車両１０２は、シミュレーションされた車両としてシミュレーションにおいて表されてもよい。簡潔にするために、本明細書での説明は、シミュレーションされた車両と現実世界の車両とを区別しない。したがって、「車両」への言及は、シミュレーションされた車両および／または現実世界の車両を指す場合がある。

【0026】

本明細書に記載される技術によれば、車両１０２は、車両１０２のセンサ１０４からセンサデータを受信し得る。例えば、センサ１０４は、位置センサ（例えば、全地球測位システム（ＧＰＳ）センサ）、慣性センサ（例えば、加速度センサ、ジャイロスコープセンサ等）、磁場センサ（例えば、コンパス）、位置／速度／加速度センサ（例えば、速度計、駆動システムセンサ）、深度位置センサ（例えば、ライダセンサ、レーダセンサ、ソナーセンサ、飛行時間（ＴｏＦ）カメラ、深度カメラ、超音波及び／またはソナーセンサ、及び／または他の深度感知センサ）、画像センサ（例えば、カメラ）、音声センサ（例えば、マイクロフォン）、及び／または環境センサ（例えば、気圧計、湿度計等）を含んでよい。

【0027】

センサ１０４は、センサデータを生成し得、センサデータは、車両１０２に関連付けられたコンピューティングデバイス１０６によって受信され得る。しかしながら、他の例では、センサ１０４および／またはコンピューティングデバイス１０６のうちのいくつかまたは全ては、車両１０２から離れて別個に、および／または車両１０２から遠隔に配置され、データキャプチャ、処理、コマンド、および／または制御は、有線および／または無線ネットワークを介して１つまたは複数のリモートコンピューティングデバイスによって車両１０２との間で通信され得る。

【0028】

コンピューティングデバイス１０６は、知覚コンポーネント１１０、追跡コンポーネント１１２、組み合わされたモデル１１４、予測コンポーネント１１６、計画コンポーネント１１８、及び／またはシステムコントローラ１２０を記憶するメモリ１０８を備えてもよい。図示されるように、知覚コンポーネント１１０は、追跡コンポーネント１１２および／または組み合わされたモデル１１４を含み得る。例示的な目的のために図１に描写されるが、追跡コンポーネント１１２および／または組み合わされたモデル１１４は、他のコンポーネントのうちのいずれか１つまたは複数とは別個のコンピューティングデバイス（またはその他）内／上に存在し得ることを理解されたい。一般に、知覚コンポーネント１１０は、車両１０２を取り囲む環境に何があるかを判定し得、予測コンポーネント１１６は、車両１０２を取り囲む環境内のオブジェクトの将来の動きまたは挙動を推定または予測し得、計画コンポーネント１１８は、知覚コンポーネント１１０及び／または予測コンポーネント１１６から受信した情報に従って、車両１０２を動作せる方法を決定し得る。例えば、計画コンポーネント１１８は、知覚データ、予測データおよび／または例えば、１つまたは複数の地図、位置情報（例えば、車両１０２が地図及び／または知覚コンポーネント１１０によって検出された特徴に対して環境内にある場合）等の他の情報に少なくとも部分的に基づいて軌道１２８を決定してもよい。軌道１２８は、車両位置、車両速度、および／または車両加速度をもたらし得るステアリング角度及び／またはステアリング速度を実現するように車両１０２の駆動コンポーネントを作動させるためのシステムコントローラ１２０に対する命令を含んでよい。例えば、軌道１２８は、コントローラ１２０が追跡するためのターゲット方向、ターゲットステアリング角度、ターゲットステアリング速度、ターゲット位置、ターゲット速度、および／またはターゲット加速度を含み得る。知覚コンポーネント１１０、予測コンポーネント１１６、計画コンポーネント１１８、及び／または追跡コンポーネント１１２は、１つまたは複数の機械学習（ＭＬ）モデル及び／または他のコンピュータ実行可能命令を含み得る。

【0029】

いくつかの例では、知覚コンポーネント１１０は、センサ１０４からセンサデータを受信し、車両１０２の近傍のオブジェクト１３０に関連するデータ（例えば、検出されたオブジェクトに関連する分類、インスタンスセグメンテーション、セマンティックセグメンテーション、２次元及び／または３次元バウンディングボックス、トラック）、車両の目的地を指定する経路データ、車道の特徴を識別するグローバル地図データ（例えば、自律車両を位置決めするのに有用な異なる知覚パイプラインで検出可能な特徴）、車両に近接して検出された特徴を識別するローカル地図データ（例えば、建物、木、フェンス、消火栓、停止標識の位置及び／または寸法、ならびに様々な知覚パイプライン内で検出可能な任意の他の特徴）などを決定し得る。知覚コンポーネント１１０によって決定されるオブジェクト分類は、例えば、乗用車、歩行者、自転車運転者、配送トラック、セミトラック、交通標識等の異なるオブジェクトタイプを区別し得る。知覚コンポーネント１１０によって生成されたデータは、知覚データと総称され得る。

【0030】

いくつかの例では、知覚コンポーネント１１０は、センサ能力、オブジェクト並びに／または環境オクルージョン（例えば、建物、高低差、他のオブジェクトの前方のオブジェクト）、および／または霧、雪などの環境影響によって制限され得る、自律車両を取り巻く環境のできるだけ多くを監視し得る。例えば、センサデータは、画像データ１２２、ＬＩＤＡＲ１２４及び／またはレーダデータ（図示せず）を含んでもよく、これは、知覚コンポーネント１１０が入力として受信し得る。知覚コンポーネント１１０は、オブジェクトの変化または挙動を予測する際に予測コンポーネント１１６によって、および軌道１２８を決定する際に計画コンポーネント１１８によって考慮されるべきイベントまたはオブジェクトの挙動を考慮に入れないことを回避するために、できるだけ多くのオブジェクトおよび環境に関する情報を検出するように構成され得る。

【0031】

いくつかの例では、知覚コンポーネント１１０は、１つまたは複数のＧＰＵ、ＭＬモデル、カルマンフィルタ、及び／または同様のものを含み得る、ハードウェア及び／またはソフトウェアの１つまたは複数のパイプラインを含んでもよい。例えば、知覚データは、知覚コンポーネントのセンサ固有のパイプライン（例えば、視覚、ライダ、レーダ）、ハイブリッドセンサパイプライン（例えば、視覚－ライダ、レーダ－ライダ）、及び／または融合パイプライン（例えば、他のパイプラインの出力に少なくとも部分的に基づいて動作するパイプライン）の出力を含み得る。

【0032】

いくつかの例では、知覚コンポーネント１１０の追跡コンポーネント１１２は、センサ１０４から受信したセンサデータに少なくとも部分的に基づいて追跡データを生成し得る。いくつかの例では、トラックデータは、知覚コンポーネント１１０によって出力される知覚データの一部であり得る。より具体的には、追跡コンポーネント１１２は、知覚コンポーネント１１０の１つまたは複数の知覚パイプラインから受信されたパイプラインデータに基づいて追跡データを決定し得る。例えば、知覚コンポーネント１１０は、センサ１０４のセットに関連付けられた知覚パイプラインを含み得る。いくつかの例では、各タイプのセンサ１０４は、知覚コンポーネント１１０の１つまたは複数の知覚パイプラインに関連付けられ得る。いくつかの知覚パイプラインは、複数のタイプのセンサに関連付けられ得る。追加的または代替的に、いくつかの知覚パイプラインは、１つまたは複数の他の知覚パイプライン（例えば、ディープ追跡ネットワークなどの融合検出器に関連付けられたパイプライン）によって出力される検出データに基づいて動作し得る。複数のパイプラインはそれぞれ、オブジェクトを検出し、各入力サイクルで検出されたオブジェクトの検出情報を生成し得る。

【0033】

各パイプラインによって出力されるパイプラインデータは、１つまたは複数のオブジェクト検出を含み得る。いくつかの例では、トラックの検出されたオブジェクトは、環境内のオブジェクトの位置及び／または任意の他の知覚データを示す関心領域（ＲＯＩ）に関連付けられ得る。そのようなＲＯＩは、図１に示され、画像１２２及びライダデータ１２４はそれぞれ、示されたトラックに関連付けられたＲＯＩ１２６を含む。

【0034】

追跡コンポーネント１１２は、様々なパイプラインからのオブジェクト検出を、以前のサイクルからのトラックと集約し得る（例えば、追跡されたオブジェクトの現在位置が、現在の検出のために複数のパイプラインにわたってどのくらい密接にマッチするか、および現在位置が、以前のサイクルに基づいて生成されたトラックに基づいて決定された予測された位置とどのくらい密接にマッチするかなど、様々なデータを考慮し得る類似性閾値に基づいて）。

【0035】

具体的には、いくつかの例では、本明細書で説明されるコンポーネント１１２の各パイプラインは、１つまたは複数のセンサタイプ（例えば、ライダ、ＲＧＢカメラ、熱画像、ソナー、レーダなどの別個のセンサタイプ、または視覚－ライダ関連付け、ライダ－レーダ関連付けなどのハイブリッドセンサタイプ）によって生成されたセンサデータからオブジェクト検出を決定し得る。図１に示されるように、トラック１３２は、中心１３４、範囲、向き、分類１３６などを含み得る、少なくとも以前の関心領域１２６を含んでよい。オブジェクト検出は、推定された中心１４０及び向き１４２を有する推定されたＲＯＩ１３８を含み得る。いくつかの例では、本明細書で説明される技術は、投影１４４を確立するために、トラックに関連付けられた速度及び／または向きに少なくとも部分的に基づいて、以前のＲＯＩ１２６を投影することを含み得る。オブジェクト検出を投影１４４と比較して、オブジェクト検出がトラックとマッチするかどうかを決定し得る。

【0036】

いくつかの例では、１つまたは複数の検出は、以前のトラックに照合されてもよく、または、照合が決定されない場合、新しいトラックが生成されてもよく、１つまたは複数の検出は、それに関連付けられてもよい。知覚コンポーネント１１０は、このデータのいずれかを、組み合わされたモデル１１４に出力し得る。

【0037】

組み合わされたモデル１１４は、いくつかの例では、トラックのトラック信頼度メトリックとトラックに関連付けられたオブジェクトの分類との両方を推論し得る単一の機械学習モデルを含み得る。言い換えると、組み合わされたモデル１１４は、例えば、別個の分類コンポーネントを含む知覚コンポーネント１１０またはその追跡コンポーネント１１２の代わりに、知覚コンポーネント１１０によって出力される知覚データの分類部分を生成し得る。いくつかの例では、組み合わされたモデル１１４は、複数の知覚パイプラインからのデータを含む集約されたトラックデータに少なくとも部分的に基づいて動作して、トラック信頼度メトリックおよび集約されたトラックデータに関連付けられたオブジェクトの粗いおよび／または細かい分類を決定し得る多層パーセプトロンモデルであり得る。いくつかの例では、組み合わされたモデル１１４によって出力される分類は、集約されたトラックデータに集約され得る。

【0038】

組み合わされたモデルに入力され得る集約されたトラックデータの例示的なセットは、例えば、ライダ及び視覚のセマンティックセグメンテーション確率（例えば、フロート確率ベクトル、マスクにわたる確率分散、またはフィールドの形態で）などのライダ、レーダ、視覚、及び融合パイプラインオブジェクト検出、各知覚パイプラインのトラックに関連付けられたオブジェクト検出の存在を示すメトリック、ライダ検出におけるボクセルの総数などのトラックのオブジェクト検出統計、視覚検出信頼度、レーダ検出ドプラー曖昧性解決状態など（連続フロート値として組み合わされたモデルに入力され得る）を含み得る。いくつかの例では、組み合わされたモデル１１４は、追加的または代替的に、視覚パイプライン（画像データ上で動作するパイプライン）からの入力としての分類データ、及びライダパイプラインからのトップダウンセグメンテーション確率を（例えば、ワンホットベクトル、確率値のベクトル、または確率に関連付けられたピクセル値を有する画像の形態で）受信してもよい。さらに、組み合わされたモデル１１４への入力は、速度、範囲、遮られる割合、センサを含むデバイスからの距離などの幾何学的特性を追加的または代替的に含み得る。上記のデータに加えて、以前のサイクル、ティック、または動作からのトラックに関連付けられた任意の以前に生成されたデータも、組み合わされたモデル１１４によって利用され得る。

【0039】

いくつかの例では、知覚コンポーネント１１０が知覚データを生成すると（例えば、追跡コンポーネント１１２が集約されたトラックデータを生成し、組み合わされたモデル１１４がトラックについてのトラック信頼度メトリック及び分類を生成する）、知覚コンポーネント１１０は、閾値を超えるトラック信頼度メトリックを有するトラックを決定し得る。知覚コンポーネント１１０は、次いで、閾値を満たすかまたは超える信頼度メトリックを有するトラックに関連付けられた知覚データを予測コンポーネント１１６及び／または計画コンポーネント１１８に提供し得る。他の例では、関連付けられたトラックは、トラック信頼度メトリックと共に、予測コンポーネント１１６および／または計画コンポーネント１１８に出力され得る。次に、予測および／または計画コンポーネントは、トラック信頼度メトリックを利用して、重み（例えば、アップウェイトまたはダウンウェイト）を決定し、関連付けられたトラックを与え得る。

【0040】

計画コンポーネント１１８は、知覚コンポーネント１１０から受信した知覚データ及び／または予測コンポーネント１１６から受信した予測データに少なくとも部分的に基づいて、車両１０２の動きを制御するための１つまたは複数の軌道１２８を決定し得る。いくつかの例では、計画コンポーネント１１８は、経路またはルートを横断するように車両１０２を制御するために、及び／またはそうでなければ車両１０２の動作を制御するために、１つまたは複数の軌道１２８を決定し得るが、任意のそのような動作は、様々な他のコンポーネントで実行されてもよい（例えば、位置決めは、位置決めコンポーネントによって実行され得、知覚データに少なくとも部分的に基づいてもよい）。例えば、計画コンポーネント１１８は、第１の位置から第２の位置への車両１０２のルートを決定し、（そのようなデータ内の検出されたオブジェクトに関する予測をさらに含み得る）知覚データおよび／またはシミュレートされた知覚データに実質的に同時にかつ少なくとも部分的に基づいて、後退水平線技法（例えば、１マイクロ秒、半秒）に従って車両１０２の動きを制御するための複数の潜在的な軌道を生成して、（例えば、任意の検出されたオブジェクトを回避するために）ルートを横断するように車両を制御し、車両１０２の駆動コンポーネントに送信され得る駆動制御信号を生成するために使用され得る潜在的な軌道のうちの１つを車両１０２の軌道１２８として選択し得る。図１は、方向、速度、および／または加速度を示す矢印として表されるそのような軌道１２８の例を示すが、軌道自体は、コントローラ１２０のための命令を含んでもよく、コントローラ１２０は、次いで、車両１０２の駆動システムを作動させてもよい。

【0041】

いくつかの例では、コントローラ１２０は、軌道１２８を追跡するのに十分な車両１０２の駆動コンポーネントを作動させるためのソフトウェアおよび／またはハードウェアを備え得る。例えば、コントローラ１２０は、１つまたは複数の比例－積分－微分（ＰＩＤ）コントローラを備え得る。

【0042】

例示的なシステム
図２は、本明細書で説明される技術を実装する例示的なシステム２００のブロック図を示す。いくつかの例では、例示的なシステム２００は、図１の車両１０２を表し得る車両２０２を含み得る。いくつかの例では、車両２０２は、米国運輸省道路交通安全局によって発行されたレベル５分類に従って動作するよう構成された自律車両であってよく、この分類は、運転者（または乗員）の常時車両制御を期待することなく全行程に対する全ての安全上重要な機能を実行することが可能な車両を説明する。しかしながら、他の例では、車両２０２は、他のレベルまたは分類を有する完全なまたは部分的な自律車両であり得る。さらに、場合によっては、本明細書に記載の技術は、非自律車両によっても使用可能であり得る。

【0043】

車両２０２は、車両コンピューティングデバイス２０４、センサ２０６、エミッタ２０８、ネットワークインターフェース２１０、及び／または駆動コンポーネント２１２を含み得る。車両コンピューティングデバイス２０４は、コンピューティングデバイス１０６を表し得、センサ２０６は、センサ１０４を表し得る。システム２００は、追加的または代替的に、コンピューティングデバイス２１４を含み得る。

【0044】

いくつかの例では、センサ２０６は、センサ１０４を表してもよく、ライダセンサ、レーダセンサ、超音波トランスデューサ、ソナーセンサ、位置センサ（例えば、グローバルポジショニングシステム（ＧＰＳ）、コンパスなど）、慣性センサ（例えば、慣性測定ユニット（ＩＭＵ）、加速度計、磁力計、ジャイロスコープなど）、画像センサ（例えば、赤－緑－青（ＲＧＢ）、赤外線（ＩＲ）、強度、深さ、飛行時間カメラなど）、マイクロフォン、ホイールエンコーダ、環境センサ（例えば、温度計、湿度計、光センサ、圧力センサなど）などを含んでもよい。センサ２０６は、これらまたは他のタイプのセンサのそれぞれの複数のインスタンスを含み得る。例えば、レーダセンサは、車両２０２の角部、前部、後部、側部、および／または上部に位置する個々のレーダセンサを含んでよい。別の例として、カメラは、車両２０２の外部および／または内部に関する様々な場所に配置された複数のカメラを含み得る。センサ２０６は、車両コンピューティングデバイス２０４及び／またはコンピューティングデバイス２１４に入力を提供し得る。

【0045】

車両２０２はまた、上記のように、光および／または音を放出するためのエミッタ２０８を含み得る。この例におけるエミッタ２０８は、車両２０２の乗客と通信するための内部オーディオ及びビジュアルエミッタを含み得る。限定ではなく例として、内部エミッタは、スピーカ、ライト、サイン、ディスプレイスクリーン、タッチスクリーン、触覚エミッタ（例えば、振動および／または力フィードバック）、機械的アクチュエータ（例えば、シートベルトテンショナー、シートポジショナー、ヘッドレストポジショナーなど）などを含み得る。この例におけるエミッタ２０８はまた、外部エミッタを含み得る。限定ではなく例として、この例における外部エミッタは、移動の方向の信号を送る照明、または車両の行動の他のインジケーター（例えば、インジケーター照明、標識、照明アレイなど）、ならびに歩行者、または音響ビームステアリング技術を含む１つまたは複数の近隣の他の車両と音響で通信する１つまたは複数のオーディオエミッタ（例えば、スピーカ、スピーカアレイ、ホーンなど）を含む。

【0046】

車両２０２はまた、車両２０２と１つまたは複数の他のローカルまたはリモートコンピューティングデバイスとの間の通信を可能にするネットワークインターフェース２１０を含み得る。例えば、ネットワークインターフェース２１０は、車両２０２および／または駆動コンポーネント２１２上の他のローカルコンピューティングデバイスとの通信を容易にし得る。また、ネットワークインターフェース２１０は、追加的または代替的に、車両が他の近くのコンピューティングデバイス（例えば、他の近くの車両、交通信号など）と通信することを可能にし得る。ネットワークインターフェース２１０は、追加的または代替的に、車両２０２がコンピューティングデバイス２１４と通信することを可能にし得る。いくつかの例では、コンピューティングデバイス２１４は、分散コンピューティングシステム（例えば、クラウドコンピューティングアーキテクチャ）の１つまたは複数のノードを含み得る。

【0047】

ネットワークインターフェース２１０は、車両コンピューティングデバイス２０４を別のコンピューティングデバイスまたはネットワーク２１６などのネットワークに接続するための物理的および／または論理的インターフェースを含み得る。例えば、ネットワークインターフェース２１０は、ＩＥＥＥ２００．１１規格によって定義された周波数、ブルートゥース（登録商標）などの短距離無線周波数、セルラー通信（例えば、２Ｇ、３Ｇ、４Ｇ、４ＧＬＴＥ、５Ｇなど）、またはそれぞれのコンピューティングデバイスが他のコンピューティングデバイスとインターフェースできるようにする適切な有線または無線通信プロトコルを介するなどのＷｉ－Ｆｉベースの通信を可能にし得る。いくつかの例では、車両コンピューティングデバイス２０４および／またはセンサ２０６は、所定の期間の経過後、ほぼリアルタイムで、など、ネットワーク２１６を介して、特定の周波数でセンサデータをコンピューティングデバイス２１４に送信し得る。

【0048】

いくつかの例では、車両２０２は、１つまたは複数の駆動コンポーネント２１２を含み得る。いくつかの例では、車両２０２は、単一の駆動コンポーネント２１２を有し得る。いくつかの例では、駆動コンポーネント２１２は、駆動コンポーネント２１２及び／または車両２０２の周囲の状態を検出するための１つまたは複数のセンサを含み得る。限定ではなく例として、駆動コンポーネント２１２のセンサは、駆動コンポーネントのホイールの回転を感知するための１つまたは複数のホイールエンコーダ（例えば、ロータリーエンコーダ）、駆動コンポーネントの方向および加速度を測定するための慣性センサ（例えば、慣性測定ユニット、加速度計、ジャイロスコープ、磁力計など）、カメラまたは他の画像センサ、駆動コンポーネントの周囲におけるオブジェクトを音響的に検出するための超音波センサ、ライダセンサ、レーダセンサなどを含んでよい。ホイールエンコーダのようなあるセンサは、駆動コンポーネント２１２に特有のものであってよい。場合によっては、駆動コンポーネント２１２上のセンサは、車両２０２の対応するシステム（例えば、センサ２０６）と重複するか、または補足し得る。

【0049】

駆動コンポーネント２１２は、高電圧バッテリー、車両を推進させるためのモーター、他の車両システムによる使用のためにバッテリーからの直流を交流へと変換するためのインバーター、ステアリングモーターおよびステアリングラックを含むステアリングシステム（これは電動式とすることが可能である）、油圧または電動アクチュエータを含むブレーキシステム、油圧および／または空気圧コンポーネントを含むサスペンションシステム、トラクションの損失を緩和し、制御を維持するために制動力を分配するための安定性制御システム、ＨＶＡＣシステム、照明（例えば、車両の外部周囲を照らすためのヘッド／テールライトのような照明）、および１つまたは複数の他のシステム（例えば、冷却システム、安全システム、車載充電システム、ＤＣ／ＤＣコンバーターのような他の電気コンポーネント、高電圧ジャンクション、高電圧ケーブル、充電システム、充電ポートなど）を含む車両システムの多くを含んでよい。さらに、駆動コンポーネント２１２は、センサからデータを受信して前処理をし得る駆動コンポーネントコントローラを含み、様々な車両システムの動作を制御し得る。場合によっては、駆動コンポーネントコントローラは、１つまたは複数のプロセッサと、１つまたは複数のプロセッサと通信可能に結合されたメモリとを含み得る。メモリは、駆動コンポーネント２１２の様々な機能を実行する１つまたは複数のコンポーネントを記憶し得る。さらに、駆動コンポーネント２１２はまた、それぞれの駆動コンポーネントによる、１つまたは複数の他のローカルまたはリモートコンピューティングデバイスとの通信を可能にする１つまたは複数の通信接続を含み得る。

【0050】

車両コンピューティングデバイス２０４は、プロセッサ２１８と、１つまたは複数のプロセッサ２１８と通信可能に結合されたメモリ２２０とを含み得る。メモリ２２０は、メモリ１０８を表し得る。コンピューティングデバイス２１４はまた、プロセッサ２２２、及び／またはメモリ２２４を含んでもよい。プロセッサ２１８及び／または２２２は、データを処理し、本明細書に記載されるような動作を実行するための命令を実行することができる任意の適切なプロセッサであり得る。限定ではなく例として、プロセッサ２１８および／または２２２は、１つまたは複数の中央処理装置（ＣＰＵ）、グラフィックス処理装置（ＧＰＵ）、集積回路（例えば、特定用途向け集積回路（ＡＳＩＣ））、ゲートアレイ（例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ））、および／または電子データを処理してその電子データを、レジスタおよび／またはメモリに格納され得る他の電子データに変換する他のデバイスまたはデバイスの一部を含み得る。

【0051】

メモリ２２０及び／または２２４は、非一時的なコンピュータ可読媒体の例であり得る。メモリ２２０及び／または２２４は、オペレーティングシステム、および本明細書で説明される方法および様々なシステムに起因する機能を実装するための１つまたは複数のソフトウェアアプリケーション、命令、プログラム、及び／またはデータを格納し得る。様々な実装において、メモリは、スタティックランダムアクセスメモリ（ＳＲＡＭ）、シンクロナスダイナミックＲＡＭ（ＳＤＲＡＭ）、不揮発性／フラッシュタイプメモリ、または情報を格納可能な任意の他のタイプのメモリのような適切なメモリ技術を用いて実装されてよい。本明細書で説明される、アーキテクチャ、システム、及び個々のエレメントは、多くの他の論理的、プログラム的、及び物理的なコンポーネントを含んでよく、それらのうちの添付図面に示されるものは、単に本明細書での説明に関連する例示に過ぎない。

【0052】

いくつかの例では、メモリ２２０及び／またはメモリ２２４は、位置決めコンポーネント２２６、知覚コンポーネント２２８、予測コンポーネント２３０、計画コンポーネント２３２、追跡コンポーネント２３４、組み合わされたモデル２３６、地図２３８、システムコントローラ２４０、及び／または訓練コンポーネント２４２を格納し得る。知覚コンポーネント２２８は、知覚コンポーネント１１０を表し得、予測コンポーネント２３０は、予測コンポーネント１１６を表し得、計画コンポーネント２３２は、計画コンポーネント１１８を表し得、追跡コンポーネント２３４は、追跡コンポーネント１１２を表し得、及び／または組み合わされたモデル２３６は、組み合わされたモデル１１４を表し得る。

【0053】

少なくとも１つの例において、位置決めコンポーネント２２６は、車両２０２の位置、速度および／または方向（例えば、ｘ位置、ｙ位置、ｚ位置、ロール、ピッチ、またはヨーのうちの１つまたは複数）を決定するためにセンサ２０６からのデータを受信するハードウェア及び／またはソフトウェアを含んでよい。例えば、位置決めコンポーネント２２６は、環境の地図２３８を含み、及び／または要求／受信し得、地図２３８内の自律車両の位置、速度、及び／または向きを継続的に決定することができる。いくつかの例では、位置決めコンポーネント２２６は、ＳＬＡＭ（自己位置推定とマッピングの同時実行（ｓｉｍｕｌｔａｎｅｏｕｓ ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ ｍａｐｐｉｎｇ））、ＣＬＡＭＳ（ｃａｌｉｂｒａｔｉｏｎ，ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ ｍａｐｐｉｎｇ，ｓｉｍｕｌｔａｎｅｏｕｓｌｙ）、相対ＳＬＡＭ、バンドル調整、非線形最小二乗最適化などを利用し、画像データ、ライダデータ、レーダデータ、ＩＭＵデータ、ＧＰＳデータ、ホイールエンコーダデータなどを受信し、自律車両の位置、姿勢、及び／または速度を正確に決定し得る。いくつかの例では、本明細書で説明されるように、位置決めコンポーネント２２６は、車両２０２の様々なコンポーネントにデータを提供して、軌道を生成するための、及び／または地図データを生成するための自律車両の初期位置を決定し得る。いくつかの例では、位置決めコンポーネント２２６は、追跡コンポーネント２３４に、それに関連付けられた環境及び／またはセンサデータに対する車両２０２の位置及び／または向きを提供し得る。

【0054】

いくつかの例では、知覚コンポーネント２２８は、ハードウェア及び／またはソフトウェアで実装された一次知覚システム及び／または予測システムを含んでもよい。知覚コンポーネント２２８は、車両２０２を取り巻く環境内のオブジェクトを検出し（例えば、オブジェクトが存在することを識別する）、オブジェクトを分類し（例えば、検出されたオブジェクトに関連付けられたオブジェクトタイプを決定する）、センサデータ及び／または環境の他の表現をセグメント化し（例えば、センサデータの一部及び／または環境の表現を検出されたオブジェクト及び／またはオブジェクトタイプに関連付けられているものとして識別する）、オブジェクトに関連付けられた特性（例えば、オブジェクトに関連付けられた現在の、予測された、及び／または以前の位置、向き、速度、及び／または加速度を識別するトラック）及び／または同様のものを決定し得る。知覚コンポーネント２２８によって決定されるデータは、知覚データと呼ばれる。

【0055】

予測コンポーネント２３０は、環境内の１つまたは複数のオブジェクトの可能な位置の予測確率を表す１つまたは複数の確率マップを生成することができる。例えば、予測コンポーネント２３０は、車両２０２からのしきい値距離内の車両、歩行者、動物などに関する１つまたは複数の確率マップを生成することができる。いくつかの例では、予測コンポーネント２３０は、オブジェクトのトラックを測定し、観測された及び予測された挙動に基づいて、オブジェクトについての、離散化された予測確率マップ、ヒートマップ、確率分布、離散化された確率分布、及び／または軌道を生成することができる。いくつかの例では、１つまたは複数の確率マップは、環境内の１つまたは複数のオブジェクトの意図を表すことができる。

【0056】

計画コンポーネント２３２は、位置決めコンポーネント２２６から車両２０２の位置並びに／または向き、及び／または知覚コンポーネント２２８から知覚データを受信してもよく、このデータのいずれかに少なくとも部分的に基づいて車両２０２の動作を制御する命令を決定してもよい。いくつかの例では、命令を決定することは、命令が関連付けられたシステムに関連付けられたフォーマットに少なくとも部分的に基づいて命令を決定することを含み得る（例えば、自律車両の動きを制御するための第１の命令は、システムコントローラ２４０及び／または駆動コンポーネント２１２が解析する／実行させ得るメッセージ及び／または信号（例えば、アナログ、デジタル、空気圧、キネマティック）の第１のフォーマットでフォーマットされてもよく、エミッタ２０８のための第２の命令は、それに関連付けられた第２のフォーマットに従ってフォーマットされてもよい）。

【0057】

追跡コンポーネント２３４は、車両２０２及び／またはコンピューティングデバイス２１４上で動作してもよい。いくつかの例では、追跡コンポーネント２３４は、パイプライン内の組み合わされたモデル２３６、予測コンポーネント２３０及び計画コンポーネント２３２から上流にあり得る（入力を提供し得る）。追跡コンポーネント２３４は、組み合わされたモデル２３６によって決定されたトラック信頼度メトリックが閾値を満たすかどうかに少なくとも部分的に基づいて、追跡コンポーネント２３４の出力の全部または一部を予測コンポーネント２３０及び計画コンポーネント２３２に渡すか、またはまったく渡さないように構成され得る。いくつかの例では、組み合わされたモデル２３６は、追跡コンポーネント２３４についての予測コンポーネント２３０及び／または計画コンポーネント２３２に追跡コンポーネント出力を出力し得る。

【0058】

いくつかの例では、知覚コンポーネント２２８は、センサ２０６から受信したセンサデータに基づいてパイプラインまたは検出データを生成し得る。例えば、知覚コンポーネント２２８は、センサ１０４のセットに関連付けられた知覚パイプラインを含み得る。いくつかの例では、各タイプのセンサ２０６は、知覚コンポーネント２２８の１つまたは複数の知覚パイプラインに関連付けられ得る。いくつかの知覚パイプラインは、複数のタイプのセンサに関連付けられ得る。追加的または代替的に、いくつかの知覚パイプラインは、１つまたは複数の他の知覚パイプライン（例えば、ディープ追跡ネットワークなどの融合検出器に関連付けられたパイプライン）によって出力される検出及び／または追跡データに基づいて動作し得る。複数のパイプラインは、それぞれ、オブジェクトを検出し、各入力サイクルのオブジェクトの検出を生成し得る。いずれにしても、追跡コンポーネント２３４は、パイプラインデータ内のオブジェクト検出を既存のトラックに集約するか否か、またはオブジェクト検出に関連付けられた新しいトラックを生成するか否かを決定し得る。追跡コンポーネント２３４の動作の更なる詳細は、追跡コンポーネント１１２の上記の説明を参照して理解され得る。

【0059】

組み合わされたモデル２３６は、いくつかの例では、トラックのトラック信頼度メトリックとトラックに関連付けられたオブジェクトの分類との両方を推論し得る単一の機械学習モデルを含み得る。より具体的には、組み合わされたモデル２３６は、複数の知覚パイプラインからのデータを含む集約されたトラックデータに基づいて動作し、集約されたトラックデータに関連付けられたオブジェクトのトラック信頼度メトリック及び分類（粗い粒度分類及び細かい粒度分類の両方を含み得る）を生成し得る単一の多層パーセプトロンモデルであり得る。組み合わされたモデル２３６の動作の更なる詳細は、組み合わされたモデル１１４の上記の説明を参照して理解され得る。

【0060】

訓練コンポーネント２４２は、組み合わされたモデル２３６についての機械学習訓練動作を実行するように動作し得る。特に、訓練コンポーネント２４２は、組み合わされたモデル２３６を訓練して、集約されたトラックデータに表されるものとして検出されるオブジェクトと関連付けて、トラック信頼度メトリック及び分類（粗い粒度分類及び細かい粒度分類の両方を含み得る）を出力し得る。上述したように、集約されたトラックデータは、複数の知覚パイプラインから出力されたパイプラインデータ、及び、もしあれば、前の間隔またはサイクルからのマッチするトラックデータに基づいてもよい。言い換えれば、組み合わされたモデル２３６は、トラックのトラック信頼度メトリックを決定するように訓練されてもよく、それによって、追跡コンポーネント２３４によって出力されるトラックが「フォールスポジティブ」である可能性の尺度を提供する。同時に、組み合わされたモデルは、追跡されたオブジェクトの分類を決定するように訓練されてもよい。いくつかの自律車両の実装では、粗い分類は、車両、歩行者、自転車運転者、および散乱物などの一般的なカテゴリを含み得るが、細かい分類は、例えば、サービス車両、オートバイ、トラクター－トレーラー、セダン、ピックアップなどの車両の粗い分類内の細かい分類である、より具体的なものであり得る。

【0061】

いくつかの例では、訓練コンポーネント２４２は、教師あり学習を使用することによって、および組み合わされたモデル２３６を通して損失を逆伝播することによって、組み合わされたモデル２３６を訓練するように動作し得る。

【0062】

いくつかの例では、訓練コンポーネント２４２は、トラック信頼度メトリックの損失、並びに粗い分類及び／または細かい分類の１つまたは複数の損失を逆伝搬し得る。いくつかの例では、損失は、組み合わされたモデルの出力ごとに計算されてもよい（例えば、現在のＲＯＩが対応する以前の入力サイクルにおける現在のＲＯＩ及び／または以前のＲＯＩを指定するグランドトゥルースデータ、ならびに現在のＲＯＩと関連付けられたオブジェクトの粗い分類及び／または細かい分類に少なくとも部分的に基づいて）。例えば、１つまたは複数の損失は、シグモイド関数を使用して、対応する組み合わされたモデル出力及びグランドトゥルースデータから計算され得る。グランドトゥルースデータは、例えば、追跡コンポーネント２３４によって組み合わされたモデル２３６に提供される入力データと共に含まれてもよく、または組み合わされたモデル２３６に注釈されてもよい。複数の知覚パイプラインが使用されるこれらの例では、グランドトゥルースデータは、センサデータのタイプごとのＲＯＩを含み得る。組み合わされたモデル２３６を訓練するために損失を逆伝播することは、組み合わされたモデル２３６の精度をさらに洗練し得る。いくつかの例では、組み合わされたモデル２３６の訓練は、トラック信頼度メトリックの損失、粗い分類の損失、及び細かい分類の損失を決定することを使用してもよい。他の例は、粗い分類および細かい分類出力の訓練のための組み合わされたグランドトゥルースデータおよび／または組み合わされた損失を含み得る。訓練は、次いで、改良のために組み合わされたモデルを通じて損失を逆に伝播し得る。自律車両システムでは、組み合わされたモデルが訓練されると、訓練された組み合わされたモデルは、将来の動作で使用されるために１つまたは複数の自律車両に出力され得る。

【0063】

上述したように、訓練は、注釈を含む訓練データに基づいてもよい。例えば、自律車両の実装では、訓練データは、１つまたは複数のタイプのセンサデータを含み得る。センサデータのタイプのうちの１つまたは複数は、センサデータ内のオブジェクトを識別し、識別されたオブジェクトの分類を提供する注釈を含み得る。センサデータは、パイプラインデータを提供するために知覚パイプラインに入力され得る。パイプラインデータは、１つまたは複数のトラックを出力し得る追跡コンポーネントに提供され得る。１つまたは複数のトラックは、組み合わされたモデルによって処理されてよく、組み合わされたモデルは、トラック信頼度メトリック及び訓練データに基づいて生成された各トラックの分類を出力し得る。次いで、訓練コンポーネント２４２は、センサデータに付けられた注釈を使用して、組み合わされたモデルからの出力が正しいか正しくないかを判定し、それに基づいて損失を逆に伝播する。例えば、所与のトラックについて、訓練コンポーネントは、トラックが、注釈に含まれるオブジェクトに対応すると決定し得る。例えば、訓練コンポーネントは、追跡されたオブジェクトとの注釈で識別されたオブジェクトの交差点オーバーユニオン（ＩＯＵ）が閾値を満たすか、またはそれを超えるかを判定することによって、追跡されたオブジェクトが、注釈で識別されたオブジェクトとマッチするかどうかを判定し得る。訓練コンポーネント２４２は、ＩＯＵ及びトラック信頼度メトリックの大きさを使用してマッチングが見出されたかどうかに基づいて、トラックのトラック信頼度メトリックの損失を決定し得る。同様に、注釈内のオブジェクトがＩＯＵに基づいてマッチングされるとき、訓練コンポーネント２４２は、注釈内の分類及び組み合わされたモデルによって出力される分類に基づいて、組み合わされたモデルによって出力される分類の損失を決定し得る。

【0064】

位置決めコンポーネント２２６、予測コンポーネント２３０、計画コンポーネント２３２、地図２３８、及び／またはシステムコントローラ２４０は、メモリ２２０に記憶されているように図示されるが、これらのコンポーネントのうちのいずれかは、プロセッサ実行可能命令、機械学習モデル（例えば、ニューラルネットワーク）、及び／またはハードウェアを含んでもよく、これらのコンポーネントのいずれかの全てまたは一部は、メモリ２２４に記憶されてもよく、またはコンピューティングデバイス２１４の一部として構成されてもよい。

【0065】

本明細書に記載されるように、位置決めコンポーネント２２６、知覚コンポーネント２２８、予測コンポーネント２３０、計画コンポーネント２３２、及び／またはシステム２００の他のコンポーネントは、１つまたは複数のＭＬモデルを含み得る。例えば、位置決めコンポーネント２２６、知覚コンポーネント２２８、予測コンポーネント２３０、及び／または計画コンポーネント２３２はそれぞれ、異なるＭＬモデルパイプラインを含んでよい。いくつかの例では、ＭＬモデルは、ニューラルネットワークを含み得る。例示的なニューラルネットワークは、一連の接続レイヤを通して入力データを渡して出力を生じさせる生物学的アルゴリズムである。ニューラルネットワークにおけるそれぞれのレイヤが別のニューラルネットワークを含むことも可能であり、または任意の数のレイヤ（畳み込み層であるか否か）を含むことが可能である。本開示のコンテキストで理解されることが可能である通り、ニューラルネットワークは、機械学習を利用することが可能であり、これは、出力が学習されたパラメータに基づいて生成される幅広いクラスのこのようなアルゴリズムを参照することが可能である。

【0066】

ニューラルネットワークのコンテキストで説明されるものの、任意のタイプの機械学習が本開示と整合するように用いられることが可能である。例えば、機械学習アルゴリズムは、回帰アルゴリズム（例えば、通常最小二乗回帰（ＯＬＳＲ）、線形回帰、ロジスティック回帰、段階的回帰、多変量適応回帰スプライン（ＭＡＲＳ）、局所的に推定される散布図の平滑化（ＬＯＥＳＳ）、インスタンスベースのアルゴリズム（例えば、リッジ回帰、最小絶対値縮小選択演算子（ＬＡＳＳＯ）、弾性ネット、最小角回帰（ＬＡＲＳ）、決定木アルゴリズム（例えば、分類回帰木（ＣＡＲＴ）、反復二分法３（ＩＤ３）、カイ二乗自動相互作用検出（ＣＨＡＩＤ）、決定切り株、条件付き決定木）、ベイジアンアルゴリズム（例えば、ナイーブベイズ、ガウスナイーブベイズ、多項式ナイーブベイズ、平均１依存性推定器（ＡＯＤＥ）、ベイジアン信頼度ネットワーク（ＢＮＮ）、ベイジアンネットワーク）、クラスタリングアルゴリズム（例えば、ｋ平均法、ｋメジアン法、期待値最大化（ＥＭ）、階層的クラスタリング）、関連規則学習アルゴリズム（例えば、パーセプトロン、誤差逆伝播法、ホップフィールドネットワーク、動径基底関数ネットワーク（ＲＢＦＮ））、深層学習アルゴリズム（例えば、深層ボルツマンマシン（ＤＢＭ）、深層信頼ネットワーク（ＤＢＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、積層型オートエンコーダ）、次元削減アルゴリズム（例えば、主成分分析（ＰＣＡ）、主成分回帰（ＰＣＲ）、部分最小二乗回帰（ＰＬＳＲ）、サモンマッピング、多次元スケーリング（ＭＤＳ）、射影追跡法、線形判別分析（ＬＤＡ）、混合判別分析（ＭＤＡ）、二次判別分析（ＱＤＡ）、柔軟判別分析（ＦＤＡ））、アンサンブルアルゴリズム（例えば、ブースティング、ブートストラップ集約（バギング）、エイダブースト、階層型一般化（ブレンディング）、勾配ブースティングマシン（ＧＢＭ）、勾配ブースト回帰木（ＧＢＲＴ）、ランダムフォレスト）、ＳＶＭ（サポートベクトルマシン）、教師あり学習、教師なし学習、半教師あり学習などを含んでよいが、これらに限定されない。アーキテクチャのさらなる例は、ＲｅｓＮｅｔ－５０、ＲｅｓＮｅｔ－１０１、ＶＧＧ、ＤｅｎｓｅＮｅｔ、ＰｏｉｎｔＮｅｔなどのニューラルネットワークを含む。いくつかの例では、本明細書で説明されるＭＬモデルは、ＰｏｉｎｔＰｉｌｌａｒｓ、ＳＥＣＯＮＤ、トップダウン特徴層（例えば、その全体が本明細書に組み込まれる米国特許出願第１５／９６３，８３３号を参照）、及び／またはＶｏｘｅｌＮｅｔを含み得る。アーキテクチャ待ち時間最適化は、ＭｏｂｉｌｅｎｅｔＶ２、Ｓｈｕｆｆｌｅｎｅｔ、Ｃｈａｎｎｅｌｎｅｔ、Ｐｅｌｅｅｎｅｔ、及び／または同様のものを含み得る。ＭＬモデルは、いくつかの例では、Ｐｉｘｏｒなどの残差ブロックを含んでもよい。

【0067】

メモリ２２０は、追加的または代替的に、１つまたは複数のシステムコントローラ２４０を格納し得、これは、車両２０２のステアリング、推進、ブレーキ、安全、エミッタ、通信、および他のシステムを制御するように構成され得る。これらのシステムコントローラ２４０は、駆動コンポーネント２１２及び／または車両２０２の他のコンポーネントの対応するシステムと通信し、及び／または制御し得る。例えば、計画コンポーネント２３２は、知覚コンポーネント２２８及び予測コンポーネント２３０によって生成された知覚データ及び予測データに少なくとも部分的に基づいて命令を生成し得る。システムコントローラ２４０は、計画コンポーネント２３２から受信した命令に少なくとも部分的に基づいて、車両２０２の動作を制御し得る。

【0068】

図２は分散システムとして示されているが、代替の例では、車両２０２のコンポーネントは、コンピューティングデバイス２１４に関連付けられ得、および／またはコンピューティングデバイス２１４のコンポーネントは、車両２０２に関連付けられ得ることに留意されたい。すなわち、車両２０２は、コンピューティングデバイス２１４に関連する１つまたは複数の機能を実行し得、逆もまた同様である。

【0069】

（例示的な処理）
図３は、集約されたトラックデータに少なくとも部分的に基づいてトラック信頼度メトリック及び分類を決定するための例示的なプロセス３００のフロー図を示す。集約されたトラックデータは、同じ時間に関連付けられた１つまたは複数のオブジェクト検出および／または前の時間に関連付けられた１つまたは複数のオブジェクト検出を関連付けるトラックを含んでよい。いくつかの例では、プロセス３００は、トラック及び／またはそれに関連付けられたオブジェクト検出が、フォールスポジティブ及び／または集約されたトラックに関連付けられて表されたオブジェクトの分類である可能性を表すメトリクスを判定するＭＬモデルによって実行されてもよい。トラックがフォールスポジティブである場合、例示的なプロセス３００は、予測および計画コンポーネントへの集約されたトラックの出力を抑制することを含み得る。そうでなければ、例示的なプロセス３００は、集約されたトラックを予測および計画コンポーネントに出力することを含み得る。システム１００及び２００の組み合わされたモデル１１４または２３６は、それぞれ、プロセス３００を実行し得るが、１つまたは複数の他のコンポーネントが、例示的なプロセス３００の少なくとも一部を実行し得ることが企図される。

【0070】

３０２において、例示的なプロセス３００は、第１のセンサタイプに関連付けられた第１のオブジェクト検出、第２のセンサタイプに関連付けられた第２のオブジェクト検出、及び／または環境内のオブジェクトに関連付けられた他のトラックデータ及び分類情報を受信することを含んでよい。例えば、受信され得るデータの例示的なセットは、例えば、ライダ、レーダ、視覚（例えば、熱及び／又は可視光スペクトル画像）、並びにライダ及び視覚のセマンティックセグメンテーション確率（例えば、フロート確率ベクトルの形態）などの融合パイプラインオブジェクト検出、各知覚パイプラインのトラックに関連付けられたオブジェクト検出の存在を示すメトリクス、ライダオブジェクト検出におけるボクセルの総数などのトラックのオブジェクト検出統計、視覚オブジェクト検出信頼度、レーダオブジェクト検出ドプラー曖昧性解決状態など（連続フロート値として組み合わされたモデルに入力され得る）を含み得る。プロセス３００は、追加的または代替的に、入力として分類データ及び／またはトップダウンセグメンテーション確率を受信し得る（例えば、その全体が本明細書に組み込まれる米国特許出願第１５／９６３，８３３号を参照されたい）。さらに、受信されたデータは、速度、範囲、閉塞された割合、センサを含むデバイスからの距離などの幾何学的統計を追加的または代替的に含み得る。上記のデータに加えて、以前のサイクル、ティック、または動作からのトラックに関連付けられた任意の以前に生成されたデータも、組み合わされたモデルによって利用され得る。

【0071】

３０４において、例示的なプロセス３００は、組み合わされたモデルのＭＬモデルへの入力として、第１のオブジェクト検出、第２のオブジェクト検出、他のトラックデータ及び／または分類情報を提供することを含んでよい。組み合わされたモデルは、次いで、組み合わされたモデルのＭＬモデルからの出力として、トラック信頼度メトリック及び分類を３０６にて受信し得る。組み合わされたモデルは、いくつかの例では、トラックのトラック信頼度メトリックとトラックに関連付けられたオブジェクトの分類との両方を推論し得る単一の機械学習モデルを含み得る。より具体的には、ＭＬモデルは、複数の知覚パイプラインからのデータを含む集約されたトラックデータに基づいて動作し、集約されたトラックデータに関連付けられたオブジェクトのトラック信頼度メトリック及び分類（粗い粒度分類及び細かい粒度分類の両方を含み得る）を生成し得る単一の多層パーセプトロンモデルであり得る。いくつかの例では、ＭＬモデルは、複数の入力サイクルに関連付けられたデータを受信するための長短期記憶などの、追加または代替のタイプのＭＬモデル及び／または他の付随するコンポーネントを含み得る。組み合わされたモデルの動作の更なる詳細は、組み合わされたモデル１１４及び２３６の上記の説明を参照して理解され得る。

【0072】

いくつかの例では、組み合わされたモデルのＭＬモデルは、教師ありおよび／または半教師あり学習技術を使用することによって訓練され得る。ＭＬモデルの訓練は、ＭＬモデルの出力に関連付けられた損失を判定し、ＭＬモデルを通して損失を逆伝播することを含み得る。いくつかの例では、損失を判定することは、トラック信頼度メトリックおよび／または粗いおよび／または細かい分類とグランドトゥルースデータとの間の差に少なくとも部分的に基づいてもよい。例えば、損失は、現在のＲＯＩが対応する以前の入力サイクルにおける現在のＲＯＩ及び／または以前のＲＯＩを指定するグランドトゥルース、ならびに現在のＲＯＩに関連付けられたオブジェクトの粗い分類及び／または細かい分類に少なくとも部分的に基づいてもよい。複数の知覚パイプラインが使用されるこれらの例では、グランドトゥルースデータは、センサデータの１つまたは複数のタイプのＲＯＩを含み得る。ＭＬモデルを訓練することは、損失を低減するためにＭＬモデルの１つまたは複数のパラメータを変更することを含み得る。このようにしてＭＬモデルを訓練するために損失を逆伝搬することは、ＭＬモデルの精度をさらに改善し得る。いくつかの例では、ＭＬモデルの訓練は、複数の損失を使用し、改良のために複数の損失を逆に伝播し得る。

【0073】

３０８において、例示的なプロセス３００は、３０８においてトラック信頼度メトリックが閾値を満たすかどうかを判定することを含んでよい。上述のように、トラック信頼度メトリックは、複数の知覚パイプラインから集約されたトラックデータ（本明細書ではトラックの集約されたトラックデータと呼ばれる）が環境内のオブジェクトに対応する可能性を示し得る。例えば、トラック信頼度メトリックは、０と１との間の値であってよく、０は、トラックがトゥルーポジティブである可能性が低いことを組み合わされたモデルによって示すことを表し、１は、トラックがトゥルーポジティブである可能性が高いことを示すが、他の変更も考えられる。閾値は、実装に応じて設定される、０と１との間の値（例えば、０．１、０．５、０．９５）であってよい。トラック信頼度メトリクスは、メトリクス判定及び閾値がどのように設定されるかに応じて、閾値を満たすか、または閾値を超えるか、または閾値未満であることによって、閾値を満たすことができる。

【0074】

トラック信頼度メトリックが閾値を満たす場合、プロセスは３１０に継続し得る。そうでなければ、プロセスは、３１２に継続し得る。

【0075】

３１０において、例示的なプロセス３００は、組み合わされたモデルによって出力される分類と共に、第１のオブジェクト検出、第２のオブジェクト検出、および／またはトラックデータに関連付けられたトラックを予測および／または計画コンポーネントに送信することを含み得る。

【0076】

３１２において、例示的なプロセス３００は、第１のオブジェクト検出、第２のオブジェクト検出、他のトラックデータ及び分類情報に関連付けられたトラックを、予測及び計画コンポーネントから予測及び計画コンポーネントに抑制することを含み得る。いくつかの例では、例示的なプロセス３００は、予測および計画コンポーネントへのトラックのトラックデータの出力をブロックするか、または出力しないことによってトラックを抑制し得る。

【0077】

上記のように、例は、トラック信頼度測定に基づいて、予測および／または計画コンポーネントにトラックを出力するかどうかを決定するものに限定されない。他の例では、関連付けられたトラックは、トラック信頼度メトリックの値に関係なく、自動運転システムの予測および／または計画コンポーネントにトラック信頼度メトリックとともに出力され得る。次に、予測および／または計画コンポーネントは、トラック信頼度メトリックを利用して、重み（例えば、アップウェイトまたはダウンウェイト）を決定し、関連付けられたトラックを与え得る。

【0078】

図４は、追跡コンポーネント４０４及び組み合わされたモデル４０６（例えば、組み合わされたモデル１１４及び／または２３６）を含む、自律車両（例えば、コンポーネント１１０または２２８）の知覚コンポーネント４０２内の例示的なデータフロー４００のブロック図を示す。

【0079】

図４に示されるように、知覚コンポーネント４０２は、視覚データ４０８、ライダデータ４１０、およびレーダデータ（図示せず）などの様々なタイプのセンサデータを受信し得る。様々なタイプのセンサデータは、視覚パイプライン４１２、レーダパイプライン４１４、およびライダパイプライン４１６などの知覚パイプラインに入力され得る。

【0080】

パイプライン４１２～４１６は、視覚パイプラインデータ４１８、レーダパイプラインデータ４２０、及び／またはライダパイプラインデータ４２２を判定するために、それぞれのセンサデータ入力に対して検出動作を実行してもよい。

【0081】

１つまたは複数の追加または代替の知覚パイプラインは、生のセンサデータ及び／または他の知覚パイプラインの出力を受信して、パイプラインデータを生成し得る。例は、融合パイプライン４２４として図４に示される。特に、融合パイプライン４２４は、入力として視覚パイプラインデータ４１８、レーダパイプラインデータ４２０、及び／またはライダパイプラインデータ４２２を受信し、さらに検出動作を実行して融合パイプラインデータ４２６を生成し得る。融合パイプラインの動作の詳細は、上記の融合検出器の説明に関して理解され得る。

【0082】

追跡コンポーネント４０４は、パイプラインデータ４１８～４２２及び／または４２６及び以前のトラック４２８のうちの任意の１つまたは複数を入力として受信し得る。パイプラインデータ４１８～４２２及び／または４２６及び／または以前のトラック４２８に基づいて、追跡コンポーネント４０４は、トラックを判定し、対応する集約されたトラックデータ４３０を生成し得る。集約されたトラックデータは、図１、２、及び３に関する上記の説明に基づいて、データ４１８～４２２、４２６、及び／または４２８から集約されてよい。

【0083】

追跡コンポーネント４０４は、集約されたトラックデータ４３０を組み合わされたモデル４０６に提供し得る。組み合わされたモデルは、集約されたトラックデータの各トラックのトラック信頼度メトリック及び分類情報を決定し得る。分類情報は、追跡されたオブジェクトの粗い分類及び／または細かい分類を含み得る。自動運転システムのいくつかの自律車両の実装では、粗い分類は、車両、歩行者、自転車運転者、および散乱物などの一般的なカテゴリを含み得、一方、細かい分類は、例えば、サービス車両、オートバイ、トラクタートレーラー、セダン、ピックアップなどが車両の粗い分類内の細かい分類であるより具体的なサブカテゴリであり得る。次いで、組み合わされたモデルは、トラック信頼度メトリックが閾値を満たす場合、トラック４３０の集約されたトラックデータ及び組み合わされたモデル４０６から予測コンポーネント４３４及び／または計画コンポーネント４３６への分類を含んでもよく、それぞれ予測コンポーネント１１６もしくは２３０及び／または計画コンポーネント１１８もしくは２３２に対応してもよいデータ４３２を出力してもよい。

【0084】

（例示的な節）
Ａ．第１のタイプの第１のセンサデータと、第２のタイプの第２のセンサデータとを含むセンサデータを受信することと、第１のタイプに関連付けられたセンサデータに少なくとも部分的に基づいて、センサデータに表されたオブジェクトの第１のオブジェクト検出を決定することと、第２のタイプに関連付けられたセンサデータに少なくとも部分的に基づいて、センサデータに表されたオブジェクトの第２のオブジェクト検出を決定することと、オブジェクトに関連付けられたトラックを受信することであって、トラックは、１つまたは複数の以前のオブジェクト特性を含む、ことと、第１のオブジェクト検出、第２のオブジェクト検出、及びトラックの少なくとも一部を機械学習（ＭＬ）モデルに入力することと、ＭＬモデルからの出力として、トラック信頼度メトリック及びオブジェクトの分類を受信することであって、トラック信頼度メトリックは、トラックがトゥルーポジティブである可能性を含む、ことと、トラック信頼度メトリックに少なくとも部分的に基づいて、自律車両の計画コンポーネントにトラックを出力することと、を含む方法。

【0085】

Ｂ．分類が、オブジェクトのカテゴリに関連付けられた粗いオブジェクト分類と、カテゴリ内のオブジェクトのサブカテゴリに関連付けられた細かい分類とを含む、節Ａに記載の方法。

【0086】

Ｃ．計画コンポーネントによって、トラックに少なくとも部分的に基づいて自律車両を制御するための命令を決定することと、命令に少なくとも部分的に基づいて自律車両を制御することとをさらに含む、節Ａに記載の方法。

【0087】

Ｄ．トラックを計画コンポーネントに出力することは、トラック信頼度メトリックが信頼度閾値を満たすか、または超えると判断することを含む、節Ａに記載の方法。

【0088】

Ｅ．第１のオブジェクト検出または第２のオブジェクト検出のうちの少なくとも１つは、トップダウンの視点からの環境の表現と、環境の一部が占有されることを示す表示と、オブジェクトに関連付けられた関心領域と、第１のセンサタイプに関連付けられた知覚パイプラインによって決定されたオブジェクトに関連付けられたオブジェクト分類と、センサデータセグメンテーションと、センサデータのボクセル化と、またはオブジェクトに関連付けられたヨーと、のうちの少なくとも１つを含む、節Ａに記載の方法。

【0089】

Ｆ．１つまたは複数のプロセッサと、プロセッサ実行可能命令を記憶するメモリであって、プロセッサ実行可能命令は１つまたは複数のプロセッサによって実行されると、システムに、環境内のオブジェクトの第１のオブジェクト検出及び環境内のオブジェクトの第２のオブジェクト検出に関連付けられたトラックの少なくとも一部を機械学習（ＭＬ）モデルに入力することと、ＭＬモデルからの出力として、トラック信頼度メトリック及びオブジェクトの分類を受信することであって、トラック信頼度メトリックは、トラックがトゥルーポジティブである可能性を含む、ことと、トラック、トラック信頼度メトリック及び分類を計画コンポーネントに出力することと、を含む動作を実行させる、メモリと、を備えるシステム。

【0090】

Ｇ．動作は、トラックの少なくとも一部を機械学習モデルに入力することは、第１のオブジェクト検出に関連付けられたオブジェクト検出信頼度値を前記ＭＬモデルに入力することをさらに含む、節Ｆに記載のシステム。

【0091】

Ｈ．トラックを計画コンポーネントに出力することは、トラック信頼度メトリックが信頼度閾値を満たすか、または超えると判定することを含む、節Ｇに記載のシステム。

【0092】

Ｉ．第１のオブジェクト検出または第２のオブジェクト検出のうちの少なくとも１つは、トップダウンの視点からの環境の表現と、環境の一部が占有されることを示す表示と、オブジェクトに関連付けられた関心領域と、第１のセンサタイプに関連付けられた知覚パイプラインによって決定されたオブジェクトに関連付けられたオブジェクト分類と、センサデータセグメンテーションと、センサデータのボクセル化と、またはオブジェクトに関連付けられたヨーと、のうちの少なくとも１つを含む、節Ｆに記載のシステム。

【0093】

Ｊ．トラックは、第１のオブジェクト検出が生成された時間の前の時間、及び第２のオブジェクト検出が生成された時間の前の時間に関連付けられた第１の先行オブジェクト検出にさらに関連付けられ、少なくともトラックの一部をＭＬモデルに入力することは、少なくとも第１の先行オブジェクト検出をＭＬモデルに入力することをさらに含む、節Ｆに記載のシステム。

【0094】

Ｋ．第１のオブジェクト検出は、第１のセンサタイプに関連付けられ、第２のオブジェクト検出は、第２のセンサタイプに関連付けられる、節Ｆに記載のシステム。

【0095】

Ｌ．動作は、計画コンポーネントによって、トラック信頼度メトリックに基づいて制御情報の生成におけるトラックの重みを調整することによって、少なくとも部分的に、自律車両のための制御情報を生成することをさらに含む、節Ｆに記載のシステム。

【0096】

Ｍ．動作は、計画コンポーネントによって、トラックに基づいて自律車両のための制御情報を生成することと、制御情報に基づいて自律車両を制御することとをさらに含む、節Ｆに記載のシステム。

【0097】

Ｎ．第１のセンサタイプが、ライダ、レーダ、ソナー、飛行時間（ＴＯＦ）、またはカメラのうちの少なくとも１つを含む、節Ｆに記載のシステム。

【0098】

Ｏ．１つまたは複数のプロセッサによって実行されると、１つまたは複数のプロセッサに、環境内のオブジェクトの第１のオブジェクト検出及び環境内のオブジェクトの第２のオブジェクト検出に関連付けられたトラックを受信することと、トラックの少なくとも一部を機械学習（ＭＬ）モデルに入力することと、ＭＬモデルからの出力を受信することであって、出力はトラック信頼度メトリック及びオブジェクトの分類を含む、ことと、出力に少なくとも部分的に基づいて損失を判定することと、訓練されたＭＬモデルとして、ＭＬモデルの１つまたは複数のパラメータを変更して損失を低減することと、訓練されたＭＬモデルを自律車両に送信することと、を含む動作を実行させる、プロセッサ実行可能命令を格納する非一時的なコンピュータ可読媒体。

【0099】

Ｐ．動作は、第１のオブジェクト検出に関連付けられたグランドトゥルースデータを受信することと、グランドトゥルースデータに少なくとも部分的に基づいて損失を判定することと、損失を逆伝搬することによってパラメータの変更を実行することとをさらに含む、節Ｏに記載の非一時的なコンピュータ可読媒体。

【0100】

Ｑ．トラックの少なくとも一部を前記ＭＬモデルに入力することは、第１のオブジェクト検出に関連付けられたオブジェクト検出信頼度値をＭＬモデルに入力することを含む、請求項１５に記載の非一時的コンピュータ可読媒体。

【0101】

Ｒ．第１のオブジェクト検出は、第１のセンサタイプに関連付けられ、第２のオブジェクト検出は、第２のセンサタイプに関連付けられる、節Ｏに記載の非一時的コンピュータ可読媒体。

【0102】

Ｓ．トラックは、第１のオブジェクト検出が生成された時間の前の時間、及び第２のオブジェクト検出が生成された時間の前の時間に関連付けられた第１の先行オブジェクト検出にさらに関連付けられ、トラックの一部は、第１の先行オブジェクト検出、第１のオブジェクト検出、及び第２のオブジェクト検出のそれぞれの少なくとも一部を含む、節Ｏに記載の非一時的コンピュータ可読媒体。

【0103】

Ｔ．第１のオブジェクト検出または第２のオブジェクト検出のうちの少なくとも１つは、トップダウンの視点からの環境の表現と、環境の一部が占有されることを示す表示と、オブジェクトに関連付けられた関心領域と、第１のセンサタイプに関連付けられた知覚パイプラインによって決定されたオブジェクトに関連付けられたオブジェクト分類と、センサデータセグメンテーションと、センサデータのボクセル化と、またはオブジェクトに関連付けられたヨーと、のうちの少なくとも１つを含む、節Ｏに記載の非一時的コンピュータ可読媒体。

【0104】

上記で説明された例示的な節が、１つの特定の実装に関して説明される一方で、本明細書のコンテキストにおいて、例示的な節の内容は、方法、デバイス、システム、コンピュータ可読媒体、及び／または別の実装を介して実施されることも可能であることを理解されたい。さらに、節Ａ－Ｔのいずれかは、単独で、または他の１つもしくは複数の節Ａ－Ｔと組み合わせて実装され得る。

【0105】

発明の主題は、構造的な特徴および／または方法的な動作に特有の言語で説明されてきたが、添付の特許請求の範囲の中で画定される発明の主題は、必ずしも説明される特定の特徴、または動作に限定されるものではないことを理解されたい。むしろ、特定の特徴、および動作は、特許請求の範囲を実施する例示的形態として開示される。

【0106】

本明細書で説明されるコンポーネントは、任意のタイプのコンピュータ可読媒体に格納し得、且つソフトウェアおよび／またはハードウェアにおいて実装され得る命令を表す。上述の方法およびプロセスの全ては、１つもしくは複数のコンピュータまたはプロセッサ、ハードウェア、またはそれらのいくつかの組み合わせによって実行されるソフトウェアコードコンポーネントおよび／またはコンピュータ実行可能命令を介して具体化され、および完全に自動化され得る。あるいは、方法のうちの一部または全ては、専門のコンピュータハードウェアで具現化し得る。

【0107】

そうではないと特に明記されていない限り、特に「可能である」、「得る」、「できる」、または「してよい」などの条件付きの用語は、とりわけ、他の例示が含まないある特徴、要素および／またはステップをある例示が含み、提示することの文脈内で理解される。したがって、そのような条件付きの用語は、概して、ある特徴、要素および／またはステップが、１つまたは複数の例示に任意の方法で要求されるか、またはその１つまたは複数の例示が、ユーザのインプット、またはプロンプトを用いて、または用いずに、ある特徴、要素および／またはステップが任意の具体的な例示に含まれるか、または実行されるべきであるかを判断するための論理を必ずしも含むことを暗示することは意図されていない。

【0108】

「Ｘ、Ｙ、またはＺのうちの少なくとも１つ」という句などの接続言語は、そうではないと特に明記されていない限り、項目、用語などがＸ、Ｙ、またはＺのいずれか、またはそれぞれの要素の集合を含む、それらの任意の組み合わせであってよいと理解されるべきである。単数として明示的に説明されていない限り、「ａ」は、単数、および複数を意味する。

【0109】

本明細書で説明され、および／または添付の図面に示したフロー図における任意のルーティンの説明、要素、またはブロックは、ルーティンにおける特定の論理機能、または要素を実装するための１つまたは複数のコンピュータ実行可能命令を含むモジュール、セグメント、またはコードの部分を潜在的に表すものとして理解されるべきである。代替的な実装は、本明細書に説明される例示の範囲内に含まれ、その中で、要素または機能は、当業者によって理解されるように、関係する機能に応じて、追加の動作と実質的に同時、または逆の順序を含む、図示されたもの、または説明されたものと順不同で、削除され、実行されることが可能である。

【0110】

上述の例示に対して多くの変形例、および修正例を作成することが可能であり、それらの要素は、他の容認できる例示の中にあるものとして理解されるべきである。このような変更例および変形例の全てが本開示の範囲内で本明細書に含まれ、以下の特許請求の範囲によって保護されることが意図される。

【図1】

【図2】

【図3】

【図4】

【国際調査報告】