知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-11-28
(54)【発明の名称】時間トラッカー付き車両知覚システム
(51)【国際特許分類】
B60W 40/02 20060101AFI20241121BHJP
G06T 7/00 20170101ALI20241121BHJP
G06V 20/58 20220101ALI20241121BHJP
G06V 10/70 20220101ALI20241121BHJP
B60W 50/00 20060101ALI20241121BHJP
B60W 60/00 20200101ALI20241121BHJP
G08G 1/16 20060101ALI20241121BHJP
【ＦＩ】
B60W40/02
G06T7/00 350B
G06T7/00 650B
G06V20/58
G06V10/70
B60W50/00
B60W60/00
G08G1/16 D
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024532785
(86)(22)【出願日】2022-12-01
(85)【翻訳文提出日】2024-05-31
(86)【国際出願番号】 US2022051550
(87)【国際公開番号】W WO2023102126
(87)【国際公開日】2023-06-08
(31)【優先権主張番号】17/542,352
(32)【優先日】2021-12-03
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】518156417
【氏名又は名称】ズークス インコーポレイテッド
(74)【代理人】
【識別番号】110001243
【氏名又は名称】弁理士法人谷・阿部特許事務所
(72)【発明者】
【氏名】チェン－シン ウー
(72)【発明者】
【氏名】スブハシス ダス
(72)【発明者】
【氏名】ポー－ジェン ライ
(72)【発明者】
【氏名】キアン ソング
(72)【発明者】
【氏名】ベンジャミン イサーク ツヴィーベル
【テーマコード（参考）】
3D241
5H181
5L096
【Ｆターム（参考）】
3D241BA50
3D241CE08
5H181AA01
5H181BB04
5H181BB20
5H181CC03
5H181CC04
5H181CC11
5H181CC12
5H181CC14
5H181FF04
5H181FF22
5H181FF27
5H181LL04
5H181LL06
5H181LL15
5L096AA06
5L096AA09
5L096BA04
5L096CA04
5L096FA16
5L096FA67
5L096FA69
5L096HA05
5L096KA04
(57)【要約】
本明細書では、環境内のオブジェクトを検出及び追跡できる車両の知覚システムの技術について説明される。知覚システムは、異なるコンポーネント、サブプロセスなどの１つ以上の異なる部分を含む機械学習モデルを含むことができる。ある例では、この技術には、機械学習モデルの第１の部分の出力が機械学習モデルの別の部分への入力として使用できるように調整されるように、機械学習モデルをエンドツーエンドでトレーニングすることが含まれ得る。加えて、または代わりに、本明細書で説明される知覚システムは、時間データを利用して車両の環境内のオブジェクトを追跡し、追跡データを機械学習モデルによって検出された環境内の特定のオブジェクトと関連付けることができる。つまり、機械学習モデルのアーキテクチャは、同じループ内に検出部分と追跡部分の両方を含むことができる。
【特許請求の範囲】
【請求項1】
１つまたは複数のプロセッサと、前記１つまたは複数のプロセッサによって実行されると、システムに、
車両が動作している環境におけるオブジェクトを表すセンサデータを受信することであって、前記センサデータは、現在時間に関連付けられている、ことと、
前記車両で用いるために構成されている機械学習モデルに前記センサデータを入力することであって、前記機械学習モデルは、
前記センサデータに少なくとも部分的に基づいて、環境内のオブジェクトに関連付けられるバウンディングボックスを少なくとも含むオブジェクトデータを判定することであって、前記バウンディングボックスは前記現在時間における前記環境内のオブジェクトの位置を示す、ことと、
前記センサデータに少なくとも部分的に基づいて、及び前記現在時間よりも前に前記機械学習モデルによって受信された追加のセンサデータから判定された追跡データに少なくとも部分的に基づいて、前記現在時間における前記環境内のオブジェクトの推定位置を判定することと、
追跡されたオブジェクトデータとして、前記推定位置に少なくとも部分的に基づいて、前記オブジェクトデータを追跡データと関連付けることと、
を実行するように構成されている、ことと、
前記機械学習モデルから、前記追跡されたオブジェクトデータを少なくとも含む出力を受信することと、
前記追跡されたオブジェクトデータに少なくとも部分的に基づいて、前記車両を制御することと、
を含む動作を実行させる命令を格納する、１つまたは複数の非一時的コンピュータ可読媒体と、
を備えたシステム。
【請求項2】
前記機械学習モデルは、前記オブジェクトデータを前記追跡データと関連付けることに少なくとも部分的に基づいて、軌道が前記位置と交差するように前記追跡データを更新することと、
前記機械学習モデルがアクセスできるメモリに前記更新された追跡データを記憶することと、
をさらに実行するように構成される、請求項１に記載のシステム。
【請求項3】
前記オブジェクトデータを前記追跡データと関連付けることは、前記位置及び前記推定位置の距離が閾値距離未満であること、
前記オブジェクトの検出された分類が前記オブジェクトの追跡された分類に対応していることと、
前記オブジェクトの検出されたサイズと前記オブジェクトの追跡されたサイズとの間の差が閾値差未満であることと、
のうちの少なくとも１つに少なくとも部分的に基づいている、請求項１または請求項２に記載のシステム。
【請求項4】
前記機械学習モデルから受信した出力は、前記オブジェクトの将来位置をさらに示す、請求項１乃至３のいずれか一項に記載のシステム。
【請求項5】
前記追加のセンサデータは、前記現在時間より前の一定期間にわたる前記オブジェクトを表すセンサデータのフレームの時間順に収集されたものを含む、請求項１乃至４のいずれか一項に記載のシステム。
【請求項6】
第１の時間において、環境内で動作している車両に関連付けられるセンサデータを受信することと、前記センサデータを機械学習モデルに入力することであって、前記機械学習モデルは、と、
前記センサデータに少なくとも部分的に基づいて、前記環境内のオブジェクトの位置を判定することと、
前記環境内の追跡されたオブジェクトの推定位置を前記追跡されたオブジェクトによって横断された軌道に少なくとも部分的に基づいて判定することと、
前記位置及び前記推定位置に少なくとも部分的に基づいて前記オブジェクトを前記追跡されたオブジェクトと関連付けることと、
を行うように構成されている、ことと、
前記機械学習モデルからの出力として、前記位置及び前記軌道のインディケーションを受信することと、
前記出力に少なくとも部分的に基づいて前記車両を制御することと、
を含む方法。
【請求項7】
前記位置及び前記推定位置は、前記第１の時間に関連付けられており、前記追跡されたオブジェクトは、前記第１の時間よりも前に前記軌道を横断している、請求項６に記載の方法。
【請求項8】
追加のセンサデータは、前記第１の時間よりも前の一定期間にわたる前記オブジェクトを表す、請求項６または請求項７に記載の方法。
【請求項9】
前記機械学習モデルは、オブジェクトを、車両、歩行者またはサイクリストのうちの少なくとも１つとして分類するように構成される、請求項６乃至８のいずれか一項に記載の方法。
【請求項10】
前記機械学習モデルは、前記オブジェクトを前記追跡されたオブジェクトと関連付けることに少なくとも部分的に基づいて、前記軌道が前記位置を交差するように前記追跡されたオブジェクトによって横断された前記軌道を更新することと、
前記機械学習モデルがアクセス可能なメモリに更新された前記軌道を格納することと、
をさらに行うように構成されている、請求項６乃至９のいずれか一項に記載の方法。
【請求項11】
前記オブジェクトを前記追跡されたオブジェクトと関連付けることは、前記オブジェクトに関連付けられる第１の特徴と前記追跡されたオブジェクトに関連付けられる第２の特徴との間の特徴距離にさらに少なくとも部分的に基づく、請求項６乃至１０のいずれか一項に記載の方法。
【請求項12】
前記オブジェクトを前記追跡されたオブジェクトと関連付けることは、前記オブジェクトの検出された分類が前記追跡されたオブジェクトの追跡された分類に相当するという判定にさらに少なくとも部分的に基づく、請求項６乃至１１のいずれか一項に記載の方法。
【請求項13】
前記オブジェクトを前記追跡されたオブジェクトと関連付けることは、前記位置が前記推定位置からの閾値距離に満たないという判定にさらに少なくとも部分的に基づく、請求項６乃至１２のいずれか一項に記載の方法。
【請求項14】
前記機械学習モデルからの出力は、前記オブジェクトに関連付けられるバウンディングボックスをさらに含み、前記バウンディングボックスは、前記車両に対する環境内の前記オブジェクトの位置、前記オブジェクトに関連付けられるサイズ、及び前記オブジェクトに関連付けられる方向のうちの少なくとも１つを示す、請求項６乃至１３のいずれか一項に記載の方法。
【請求項15】
前記センサデータは、画像データ、
ライダーデータ、
レーダーデータ、または、
飛行時間データのうちの少なくとも１つを含む、
請求項６乃至１４のいずれか一項に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本特許出願は、参照により本明細書に完全に組み込まれる、２０２１年１２月３日に出願された米国特許出願第１７／５４２，３５２号の優先権を主張する。
本特許出願は、参照により本明細書に完全に組み込まれる、２０２１年１２月３日に出願された米国特許出願第１７／５４２，３５２号の優先権を主張する。
【背景技術】
【0002】
自律車両は、環境を横断するために様々なシステム、方法、及び装置を利用する。例えば、自律車両は、１つまたは複数の機械学習モデルを利用して、車両、人、建物、及び他のオブジェクトが存在し得る環境をナビゲートすることができる。多くの場合、自律車両は特定のタスク及び操作に対して特定の機械学習モデルを利用する。さらに、自律車両の１つの機械学習モデルからの出力は、自律車両の別の機械学習モデルへの入力として使用され得る。
【図面の簡単な説明】
【0003】
詳細な説明は添付の図面を参照して説明される。図では、参照番号の左端の数字は、参照番号が最初に現れる図を識別する。異なる図面における同じ参照番号の使用は、類似または同一のコンポーネントまたは特徴を示す。
【0004】
【発明を実施するための形態】
【0005】
本開示は、とりわけ、第１の部分の出力が第２の部分の入力として使用されるように調整されるように、知覚システムの第２の部分（例えば、第２の機械学習モデル、第２のコンポーネントなど）の出力を少なくとも部分的に用いて知覚システムの第１の部分（例えば、第１の機械学習モデル、第１のコンポーネントなど）をトレーニングすることによって車両の知覚システムを改善するための技術を対象とする。換言すれば、知覚システムの各部分を個別にトレーニングするのではなく、本開示は、知覚システムの異なる部分が一緒にトレーニングされる技術を説明する。知覚システムをエンドツーエンドでトレーニングし（例えば、第２の部分の出力に基づいて第１の部分をトレーニングする、またはそうでなければ別個の部分を一緒にトレーニングする）、入力に時間的情報を含むことによって、第１の部分の出力は、第２の部分への入力として使用されるように調整されることができ、その結果、知覚システム全体の出力に対する精度及び信頼性が向上する。
【0006】
さらに、この出願は、車両の環境内のオブジェクトを追跡し、追跡データを環境内の特定のオブジェクトに関連付けるために時間データを利用する車両知覚システムの改善されたアーキテクチャを対象とする。すなわち、知覚システムの第１の機械学習モデルをトレーニングしてオブジェクトを検出して、別個に、知覚システムの第２の機械学習モデルをトレーニングしてオブジェクトを追跡するのではなく、知覚システムのアーキテクチャは、入力センサデータに基づいて追跡されたオブジェクトデータを出力するように構成される。すなわち、知覚システムは、入力センサデータに基づいて追跡されたオブジェクトデータを一緒に出力する第１の部分及び第２の部分を含み得る。
【0007】
例えば、知覚システム（例えば、機械学習モデル）は、第１の動作において、オブジェクトデータが環境内で検出されたオブジェクトについて決定されるように構成されることができ、ここで、オブジェクトデータは、オブジェクトの現在の位置を示す。第２の動作では、知覚システムは、オブジェクトに関連付けられた記憶された追跡データに基づいて、オブジェクトの推定された現在の位置を決定し得る。第３の動作では、知覚システムは、追跡されたオブジェクトデータとして、現在の位置が推定された現在の位置の閾値距離内にあることに少なくとも部分的に基づいて、オブジェクトデータを記憶された追跡データと関連付け得る。知覚システムは、追跡されたオブジェクトデータを出力することができ、追跡されたオブジェクトデータは、とりわけ、検出されたオブジェクトについて予測を行い、車両が環境を横断するための軌道を決定するなどするために、車両の他のコンポーネント及び／またはシステムによって使用され得る。
【0008】
限定ではなく例として、本開示に記載される様々な技術による方法は、車両が動作している環境を表すセンサデータを受信する技術を含み得る。いくつかの例では、車両は、画像センサ（例えば、カメラ）、ライダーセンサ、レーダーセンサ、飛行時間センサ、環境センサなどの１つまたは複数のセンサを含み得る。したがって、環境を表すセンサデータは、画像データ、ライダーデータ、レーダーデータ、飛行時間データなどを含み得る。さらに、いくつかの例では、センサデータは、本明細書で「ｔ０」と称され得る現在時刻などの時間の第１のインスタンスに関連付けられ得る。
【0009】
いくつかの例では、センサデータは、車両で使用するように構成された機械学習モデルに入力され得る。いくつかの例では、機械学習モデルは、オブジェクトを検出し、検出されたオブジェクトを追跡し、並びに／または検出された及び／または追跡されたオブジェクトについて特定の予測を行うように構成された車両の知覚システムの一部であり得る。いくつかの例では、知覚システムは、１つまたは複数の機械学習モデルを含み得る。追加的または代替的に、知覚システムは、複数のステージ、サブプロセス、またはコンポーネントを含む単一の機械学習モデルを含み得る。すなわち、単一の機械学習モデルは、機械学習モデルの異なるステージが中間出力を決定し得るにもかかわらず、単一の入力に対する単一の出力を決定するように構成され得る。
【0010】
様々な例では、機械学習モデルは、環境内で検出された１つまたは複数のオブジェクトに関連付けられたオブジェクトデータを生成またはそうでなければ決定するようにトレーニングされたオブジェクト検出部分（例えば、第１のステージ、サブプロセス、コンポーネントなど）を含み得る。すなわち、機械学習モデルのオブジェクト検出部分は、環境内のオブジェクトの存在を検出し、及び／またはオブジェクトに関連付けられたオブジェクトデータを判定するために、１つまたは複数のアルゴリズムを使用してセンサデータを分析または処理し得る。いくつかの例では、オブジェクトデータは、環境内のそれぞれのオブジェクトに関連付けられた１つまたは複数のバウンディングボックスを含み得る。それぞれのバウンディングボックスは、センサデータが生成／キャプチャされた第１の時間インスタンス（ｔ０）における特定のオブジェクトに関連付けられた情報を示し得る。例えば、バウンディングボックスは、とりわけ、ｔ０における環境内のオブジェクトの位置、ｔ０におけるオブジェクトの向き、オブジェクトのサイズなどを示し得る。追加的または代替的に、オブジェクトデータは、オブジェクトが移動可能な動的オブジェクト（例えば、車両、オートバイ、自転車、歩行者、動物など）及び／または静的オブジェクト（例えば、建物、路面、木、標識、障壁、縁石、駐車車両など）であるかどうかなど、オブジェクトの分類及び／またはタイプを示し得る。追加的または代替的に、オブジェクトデータは、ｔ０におけるオブジェクトの速度、オブジェクトに関連付けられた信頼度など、オブジェクトに関連付けられた他の情報を示し得る。
【0011】
いくつかの例では、機械学習モデルは、オブジェクト追跡部分を含み得る。いくつかの例では、オブジェクト追跡部分は、ｔ０－Ｎ－ｔ０の期間中に検出されたオブジェクトによって横断される軌道を判定するために複数のサブプロセスを実行するように構成されることが可能であり、ここで、「Ｎ」は、１以上の任意の整数を表す。例えば、オブジェクト追跡部分は、とりわけ、位置推定サブプロセス、トラック位置関連付けサブプロセス、軌道推定サブプロセス、及び／またはトラック記憶サブプロセスを含み得る。例では、オブジェクト追跡部分は、入力として、オブジェクト検出部分によって判定されたオブジェクトデータ、並びにｔ０－Ｎ－ｔ０－１の期間中にオブジェクトによって横断された軌道を示す格納された軌道データを受信し、本明細書で説明されるように追跡されたオブジェクトデータを出力し得る。
【0012】
いくつかの例では、機械学習モデルは、位置推定サブプロセス中に、時間ｔ０における環境内のオブジェクトの推定位置を判定し得る。追加的または代替的に、機械学習モデルは、オブジェクトの推定される向き、オブジェクトの推定されるサイズ、オブジェクトの推定される分類など、並びにオブジェクトデータ内で示され得る任意の他の特徴を決定し得る。例では、機械学習モデルは、オブジェクトに関連付けられた記憶された追跡データに少なくとも部分的に基づいて、ｔ０でのオブジェクトの推定される位置を決定する。記憶された追跡データは、ｔ０－Ｎ－ｔ０－１の過去の期間（例えば、ｔ０における現在の時間のインスタンスの前の瞬間に終了する期間）の間にオブジェクトによって横断された軌道を示し得る。例えば、記憶された追跡データは、センサデータ、追跡データ、追跡されたオブジェクトデータなどの複数のフレームを含むことができ、個々のフレームは、異なる時間のインスタンス（例えば、ｔ０－１、ｔ０－２、ｔ０－３、ｔ０－４、ｔ０－５など）に関連付けられる。いくつかの例では、時間の期間（例えば、１００ミリ秒、２００ミリ秒、５００ミリ秒など）は、時間の各インスタンスを分離し得る。記憶された追跡データのフレームを使用して、機械学習モデルは、時間ｔ０の現在のインスタンスにおけるオブジェクトの推定される位置を判定し得る。いくつかの例では、機械学習モデルは、環境内の異なるオブジェクトの複数の推定される位置を判定する。
【0013】
いくつかの例では、機械学習モデルは、追跡ー位置関連付けサブプロセス中に、オブジェクトの推定される位置に対応するオブジェクトの位置に少なくとも部分的に基づいて、特定のオブジェクトデータを特定の追跡データに関連付けることができる。言い換えれば、機械学習モデルは、オブジェクトデータに示されるように、オブジェクトの位置が推定される位置に対応すると判定することができる。例えば、機械学習モデルは、位置と推定される位置との間の距離、オブジェクトの向き及びオブジェクトの推定される向き、オブジェクトのサイズ及びオブジェクトの推定されるサイズ、オブジェクトの分類及びオブジェクトの予測される分類などのうちの１つ以上に少なくとも部分的に基づいて、位置が推定される位置に対応すると判定するようにトレーニングされ得る。いくつかの例では、トラックと関連付けられたオブジェクトとの間の関連付けは、一度に複数のオブジェクト及び軌道に対して作成され得る。
【0014】
いくつかの例では、機械学習モデルは、軌道推定サブプロセス中に、特定のオブジェクトに関連付けられた追跡されたオブジェクトデータを判定することができ、追跡されたオブジェクトデータは、オブジェクトデータ及び現在の時間のインスタンスを含む期間中（例えば、ｔ０－Ｎ－ｔ０）にオブジェクトによって横断された軌道を含む。例では、機械学習モデルは、特定のオブジェクトデータと特定の追跡データとの関連付けに基づいて、追跡されたオブジェクトデータを判定する。例えば、機械学習モデルは、ｔ０におけるオブジェクトの位置及びｔ０－１におけるオブジェクトの事前の位置に少なくとも部分的に基づいて、ｔ０－１－ｔ０のオブジェクトの軌道を判定することができる。いくつかの例では、機械学習モデルは、軌道推定サブプロセス中に、複数のオブジェクトについて追跡されたオブジェクトデータを判定することができる。
【0015】
いくつかの例では、機械学習モデルは、トラックストレージサブプロセス中に、機械学習モデルにアクセス可能なメモリにオブジェクトの軌道を格納することができる。いくつかの例では、これは、機械学習モデルの長い短期記憶であり得る。いくつかの例では、機械学習モデルは、車両が環境を横断するにつれて連続的に実行され得るため、機械学習モデルは、そのオブジェクトの軌道が進行するにつれて、オブジェクトの格納されたそれぞれの軌道を更新し続けることができる。
【0016】
いくつかの例では、技術はまた、機械学習モデルから、少なくとも追跡されたオブジェクトデータを含む出力を受信することを含み得る。すなわち、機械学習モデルからの出力として受信された追跡されたオブジェクトデータは、環境内の各オブジェクトについて、そのオブジェクトに関連付けられたオブジェクトデータ（例えば、バウンディングボックス、分類、速度、信頼性など）、及び環境を通ってそのオブジェクトによって横断された軌道を示し得る。
【0017】
いくつかの例では、車両は、追跡されたオブジェクトデータに少なくとも部分的に基づいて制御されてよい。例えば、追跡されたオブジェクトデータの少なくとも一部は、予測システム、プランニングシステムなどの車両に関連付けられた別のシステムへの入力として使用され得る。
【0018】
上述のように、本開示はまた、複数の部分（例えば、ステージ、サブプロセス、コンポーネントなど）を含む機械学習モデルのエンドツーエンドトレーニングのための技術も対象とする。機械学習モデルがエンドツーエンドでトレーニングされるとき、機械学習モデルの出力は、機械学習モデルの個々の部分をトレーニングするために使用され、それ以外の場合、独立した機械学習モデルとして存在し得る。このようにして、機械学習モデルの一部の中間出力は、機械学習モデルの他の部分による入力として使用するために特別に調整され得る。
【0019】
限定ではなく例として、機械学習モデルのエンドツーエンドトレーニングに関連付けられた方法は、環境を横断する車両を表すセンサデータを受信する技術を含み得る。いくつかの例では、センサデータは、車両に関連付けられた格納されたログデータを含み得る。センサデータ／ログデータは、画像データ、ライダーデータ、レーダーデータ、飛行時間データなどであり得る。いくつかの例では、センサデータは、第１のフレームが第１の時間で環境を表し、第２のフレームが第２の時間で環境を表すように、環境に関連付けられたセンサデータを表す時間順序付けられた画像フレームの集合であってもよい。
【0020】
いくつかの例では、技術はまた、センサデータに表される環境内のオブジェクトに関連付けられたグラウンドトゥルースデータを受信することを含み得る。いくつかの例では、グラウンドトゥルースデータは、オブジェクトに関連付けられた追跡されたオブジェクトデータを含み得る。したがって、グラウンドトゥルースデータは、オブジェクトに関連付けられたバウンディングボックス、オブジェクトによって横断される軌道、オブジェクトの分類などを含み得る。いくつかの例では、グラウンドトゥルースデータは、人間のラベラー、トレーニングされた機械学習モデルなどによって決定され得る。いくつかの例では、グラウンドトゥルースデータは、環境に関連付けられたセンサデータを表す画像フレームの時間順序付けられた集合を含むことができ、各フレームは、それぞれの時間における環境内のオブジェクトに関する情報を示すために注釈が付けられており、情報は、バウンディングボックス、軌道、分類などを含む。
【0021】
いくつかの例では、センサデータは、機械学習モデルに入力され得る。様々な例では、機械学習モデルは、センサデータに少なくとも部分的に基づいて、オブジェクトに関連付けられたオブジェクトデータを判定するように構成された第１の部分（例えば、オブジェクト検出部分）を含むことができる。したがって、オブジェクトデータは、オブジェクトに関連付けられた少なくとも予測されたバウンディングボックスを含み得る。さらに、いくつかの例では、機械学習モデルは、第１の部分によって判定されたオブジェクトデータに少なくとも部分的に基づいて、環境を通るオブジェクトの移動に関連付けられた追跡データを判定するように構成された第２の部分（例えば、オブジェクト追跡部分）を含むことができる。いくつかの例では、追跡データは、環境を通ってオブジェクトによって横断される予測された軌道を含み得る。
【0022】
いくつかの例では、技術は、機械学習モデルから出力を受信することを含み得る。出力は、とりわけ、予測されたバウンディングボックス及び予測された軌道を含む予測された追跡されたオブジェクトデータを含み得る。出力に基づいて、グラウンドトゥルースデータ及び予測された追跡されたオブジェクトデータを比較して、グラウンドトゥルースデータと予測された追跡されたオブジェクトデータとの間に差異が存在するかどうかを判定することができる。いくつかの例では、差が閾値差を満たすか、または超えると判定された場合、機械学習モデルのパラメータは、差を最小限に抑えるように変更され得る。いくつかの例では、機械学習モデルの１つまたは複数の部分のパラメータが変更され得る。例えば、機械学習モデルの第１の部分のパラメータは、グラウンドトゥルースデータと予測された追跡されたオブジェクトデータとの間の差が最小化されるように、機械学習モデルの第２の部分によって使用されるようにオブジェクトデータを調整するように変更され得る。追加的または代替的に、機械学習モデルの第２の部分のパラメータは、差を最小限に抑えるのに役立つように変更され得る。いくつかの例では、機械学習モデルのパラメータを変更することは、差に基づいて第１の部分または第２の部分を再トレーニングすること、第１の部分または第２の部分のソフトウェアを更新することなどを含み得る。
【0023】
本明細書に記載の技術によれば、車両知覚システム及び／または機械学習モデルの性能を改善することができる。検出されたオブジェクトと格納された追跡データとの間の関連付けを行うときにオブジェクト軌道の時間的履歴を利用することによって、機械学習モデル／知覚システムは、オブジェクトの閉塞（occlusion）及びデータの切り替え（例えば、間違ったトラックを間違ったオブジェクトに関連付ける）に対してより脆弱ではない。さらに、本開示の技術に従って知覚システムモデルをエンドツーエンドでトレーニングすることによって、モデルの一部からの中間出力をモデルの他の部分に合わせることができ、最終的にはより良い全体的な出力につながる。自律車両のコンテキストでは、本明細書に記載の技術は、より正確な機械学習モデルを提供するが、これは、安全な意思決定を改善し、有害事象のリスクを最小限に抑えるなど、より正確な予測を行うことによって自律車両の安全性を高めることができる。これら及び他の改善は、当業者には容易に明らかであろう。
【0024】
本明細書で説明される技法は、いくつかのやり方で実施することができる。以下、図を参照しながら実施例を提示する。例示的な実装は、自律車両のコンテキストで説明されるが、本明細書で説明される方法、装置、及びコンポーネントは、様々なコンポーネント（例えば、センサコンポーネントまたはロボットプラットフォーム）に適用することができ、自律車両に限定されない。例えば、技術は、航空または船舶のコンテキストで、または他の機械学習及びトレーニングのコンテキストで利用することができる。さらに、本明細書で説明される技術は、実データ（例えば、センサを用いてキャプチャされた）、模擬データ（例えば、シミュレータによって生成された）、またはその２つの任意の組合せで用いることができる。
【0025】
図１は、機械学習モデルを使用して追跡されたオブジェクトデータを判定するための、本明細書に記載の技術による例示的なプロセス１００を示す絵入りのフロー図である。例では、車両１０２は、１つまたは複数のセンサコンポーネントに関連付けられてよい。少なくとも１つの例では、センサコンポーネントは、車両１０２を取り囲む環境１０４に関連付けられたセンサデータ１０６をキャプチャすることができる。環境１０４は、車両であるオブジェクト１０８（１）、及び歩行者であるオブジェクト１０８（２）などの１つまたは複数のオブジェクトを含み得る。オブジェクト１０８（１）及び１０８（２）は、本明細書では「オブジェクト１０８」と総称され得る。少なくとも１つの例において、センサコンポーネントは、ライダーセンサ、レーダーセンサ、超音波トランスデューサ、ソナーセンサ、位置センサ（例えば、ＧＰＳ、コンパスなど）、慣性センサ（例えば、慣性測定ユニット、加速度計、磁力計、ジャイロスコープなど）、カメラ（例えば、ＲＧＢ、ＩＲ、強度、深度など）、ホイールエンコーダ、マイク、環境センサ（例えば、温度センサ、湿度センサ、光センサ、圧力センサなど）、飛行時間（ＴｏＦ）センサなどを含むことが可能である。センサコンポーネントは、環境１０４に関連付けられたセンサデータ１０６を生成することができ、これは、限定されないが、ライダーデータ、レーダーデータ、超音波トランスデューサデータ、ソナーデータ、位置データ（例えば、ＧＰＳ、コンパスなど）、ポーズデータ、慣性データ（例えば、慣性測定ユニットデータ、加速度計データ、磁力計データ、ジャイロスコープデータなど）、画像データ（例えば、ＲＧＢデータ、ＩＲデータ、強度データ、深度データなど）、ホイールエンコーダデータ、マイクロホンデータ、環境センサデータ（例えば、温度センサデータ、湿度センサデータ、光センサデータ、圧力センサデータなど）、ＴｏＦセンサデータなどを含み得る。いくつかの例では、センサデータ１０６は、オブジェクトの動きを経時的に追跡できるように、コレクションとして機械学習モデル１１２に入力できる複数のスナップショット（例えば、フレーム）の形態であり得る。いくつかの例では、センサデータ１０６は、一定期間にわたって環境１０４を表すフレームの時間順序付きの集合であってもよい。例えば、センサデータ１０６は、ローリング方式で更新され得る（例えば、新しいフレームがコレクションに追加され、古いフレームが削除される）よりも、時間順にフレームを表す５つのフレームの集合であり得る。
【0026】
少なくとも１つの例示において、センサデータ１０６は、車両１０２に関連付けられた１つまたは複数のコンピューティングデバイス１１０に送信されてよい。１つまたは複数のコンピューティングデバイス１１０は、車両１０２に搭載されてもよく、またはネットワーク接続を介して車両１０２にリモートでアクセス可能であってもよい。１つまたは複数のコンピューティングデバイス１１０は、コンピューティングデバイス１１０のリソース（例えば、計算、メモリ、プロセシングコアなど）を使用して機械学習モデル１１２を実行し得る。一例では、機械学習モデル１１２は、車両１０２の知覚システムに関連付けられる。機械学習モデルは、検出コンポーネント１１４及び追跡コンポーネント１２２を含み得る。
【0027】
図１に示されるように、センサデータ１０６は、機械学習モデル１１２への入力として転送される。センサデータ１０６に少なくとも部分的に基づいて、機械学習モデル１１２の検出コンポーネント１１４は、オブジェクトデータ１１６を出力することができる。図示の例では、オブジェクトデータ１１６は、トップダウン（例えば、鳥瞰）の観点からの環境１０４のビューを表すトップダウンデータ１１８を含む。しかしながら、これはそのように限定することを意図するものではなく、オブジェクトデータ１１６は、データの他の表現を含み得る。いくつかの例では、オブジェクトデータ１１６は、オブジェクト１０８（１）に関連付けられたバウンディングボックス１２０（１）及びオブジェクト１０８（２）に関連付けられたバウンディングボックス１２０（２）など、検出コンポーネント１１４によって環境１０４内で検出されたオブジェクト１０８に関連付けられたバウンディングボックスを含み得る。
【0028】
オブジェクトデータ１１６は、いくつかの例では、機械学習モデル１１２の追跡コンポーネント１２２への入力として全体的または部分的に使用され得る。図１には示されていないが、いくつかの例では、追跡コンポーネント１２２はまた、入力として、オブジェクト１０８（１）及び１０８（２）に関連付けられた記憶された追跡データを受信することができ、これは以下でさらに詳細に説明される。オブジェクトデータ１１６及び／または格納された追跡データに少なくとも部分的に基づいて、追跡コンポーネント１２２は、追跡されたオブジェクトデータ１２４を決定し、機械学習モデル１１２は、追跡されたオブジェクトデータ１２４を出力することができる。いくつかの例では、追跡されたオブジェクトデータ１２４は、トップダウンの視点からの環境１０４のビューを表すトップダウンデータ１１８を含むことができ、移動データは、オブジェクトの移動を示す。いくつかの例では、オブジェクトデータ１１６（例えば、バウンディングボックス１２０（１）及び１２０（２））を含むことに加えて、追跡されたオブジェクトデータ１２４はまた、オブジェクト１０８（１）によって横断される軌道１２６（１）及びオブジェクト１０８（２）によって横断される軌道１２６（２）など、環境１０４内のオブジェクトによって横断される軌道を含み得る。
【0029】
いくつかの例では、追跡コンポーネント１２２は、現在時間の前の期間中に検出されたオブジェクト１０８によって横断される軌道１２６を判定するために複数のサブプロセスを実行するように構成され得る。例えば、追跡コンポーネント１２２は、上記及び本明細書に記載されるように、位置推定サブプロセス、トラック位置関連付けサブプロセス、軌道推定サブプロセス、及び／またはトラック記憶サブプロセスを実行し得る。いくつかの例では、これらのサブプロセスは、互いに独立して実行する追跡コンポーネント１２２の別個のコンポーネントとして格納されてもよく、または機械学習モデル１１２の追跡コンポーネント１２２が追跡されたオブジェクトデータ１２４を判定する方法に関連付けられた論理演算と見なされてもよい。
【0030】
いくつかの例では、追跡コンポーネント１２２は、位置推定サブプロセス中に、現在時間ｔ０における環境１０４内のオブジェクト１０８（１）及び１０８（２）の推定される位置を判定することができる。追加的または代替的に、追跡コンポーネント１２２は、オブジェクト１０８（１）及び１０８（２）の推定される向き、オブジェクト１０８（１）及び１０８（２）の推定されるサイズ、オブジェクト１０８（１）及び１０８（２）の推定される分類など、並びに上記及び本明細書に記載されるようにオブジェクトデータ１１６内に示され得る任意の他の特徴を決定することができる。例では、追跡コンポーネント１２２は、オブジェクト１０８（１）及び１０８（２）に関連付けられた記憶された追跡データに少なくとも部分的に基づいて、ｔ０におけるオブジェクト１０８（１）及び１０８（２）の推定される位置を決定する。記憶された追跡データは、ｔ０－Ｎ－ｔ０－１の過去の期間（例えば、ｔ０における現在時間のインスタンスの前の瞬間に終了する期間）の間にオブジェクト１０８（１）及び１０８（２）によって横断された軌道を示し得る。例えば、記憶された追跡データは、センサデータ１０６、追跡データ、追跡されたオブジェクトデータ１２４などの複数の以前のフレームを含むことができ、個々のフレームは、異なる時間のインスタンス（例えば、ｔ０－１、ｔ０－２、ｔ０－３、ｔ０－４、ｔ０－５など）に関連付けられる。記憶された追跡データのフレームを使用して、追跡コンポーネント１２２は、時間ｔ０の現在のインスタンスにおけるオブジェクト１０８（１）及び１０８（２）の推定される位置を判定することができる。
【0031】
いくつかの例では、追跡コンポーネント１２２は、トラック位置関連付けサブプロセス中に、オブジェクト１０８（１）及び１０８（２）の推定される位置に対応するオブジェクト１０８（１）及び１０８（２）の位置に少なくとも部分的に基づいて、特定のオブジェクトデータ１１６（例えば、バウンディングボックス１２０（１）及び１２０（２））を特定の追跡データ（例えば、それぞれ軌道１２６（１）及び１２６（２））に関連付けることができる。言い換えれば、追跡コンポーネント１２２は、オブジェクトデータ１１６に示されるように、オブジェクト１０８（１）及び１０８（２）の位置が推定される位置に対応すると決定することができる。
【0032】
いくつかの例では、追跡コンポーネント１２２は、軌道推定サブプロセス中に、特定のオブジェクト１０８（１）または１０８（２）に関連付けられた追跡されたオブジェクトデータ１２４を決定することができ、追跡されたオブジェクトデータ１２４は、オブジェクトデータ１１６と、現在の時間のインスタンス（例えば、ｔ０－Ｎ－ｔ０から）を含む期間中にオブジェクト１０８（１）及び１０８（２）によって横断された軌道１２６（１）及び１２６（２）を含む。
【0033】
いくつかの例では、追跡コンポーネント１２２または機械学習モデル１１２は、トラックストレージサブプロセス中に、オブジェクト１０８（１）及び１０８（２）の軌道１２６（１）及び１２６（２）を、機械学習モデル１１２及び／または追跡コンポーネント１２２にアクセス可能なメモリに格納することができる。いくつかの例では、メモリは、機械学習モデル１１２及び／または追跡コンポーネント１２２の長い短期記憶を含み得る。いくつかの例では、機械学習モデル１１２は、車両１０２が環境１０４を横断するにつれて連続的に実行され得るため、追跡コンポーネント１２２は、オブジェクト１０８（１）及び１０８（２）が環境１０４を通って進行するにつれて、オブジェクト１０８（１）及び１０８（２）の格納されたそれぞれの軌道を更新し続けることができる。
【0034】
追跡されたオブジェクトデータ１２４は、いくつかの例では、コンピューティングデバイス１１０上で実行される予測コンポーネント１２８に転送され得る。一例では、予測コンポーネント１２８は、環境１０４内のオブジェクトについて予測を行うようにトレーニングされた１つまたは複数の機械学習モデルを含む。したがって、予測コンポーネント１２８は、追跡されたオブジェクトデータ１２４の一部または全てに少なくとも部分的に基づいて、オブジェクトに関連付けられた予測データ１３０を判定することができる。いくつかの例では、予測データ１３０は、トップダウンの視点からの環境１０４のビューを表すトップダウンデータ１１８を含み得る。追加的または代替的に、予測データ１３０は、オブジェクトに関連付けられた１つまたは複数の予測を示し得る。例えば、オブジェクト１０８（１）及び１０８（２）にそれぞれ関連付けられた予測１３２（１）及び１３２（２）は、オブジェクト１０８（１）及び１０８（２）が将来の期間中に環境１０４内を横断すると予測される軌道を含む。
【0035】
いくつかの例では、予測データ１３０は、コンピューティングデバイス１１０上で実行されている車両１０２のプランナコンポーネント１３４への入力として転送され得る。一例では、プランナコンポーネント１３４は、車両１０２が環境１０４を通過するために計画された軌道を判定するように構成された１つまたは複数の機械学習モデル及び／または他のアルゴリズムを含む。したがって、プランナコンポーネント１３４は、追跡されたオブジェクトデータ１２４及び／または予測データ１３０に少なくとも部分的に基づいて、車両１０２の計画された軌道を判定することができる。
【0036】
様々な例では、センサデータ１０６、オブジェクトデータ１１６、追跡されたオブジェクトデータ１２４、または予測データ１３０のうちのいずれか１つは、マルチチャネル画像としてフォーマットされてよく、マルチチャネル画像の個々のチャネルは、情報の選択を表し得る。例えば、マルチチャネル画像の第１のチャネルは、オブジェクト（複数可）に関連付けられたバウンディングボックス（複数可）を含むことができ、マルチチャネル画像の第２のチャネルは、オブジェクト（複数可）に関連付けられた速度情報を含むことができ、マルチチャネル画像の第３のチャネルは、環境データ（例えば、サーフェスまたは車線マーキング、信号情報など）を含むことができる。さらに、いくつかの例では、マルチチャネル画像の複数の異なるチャネルは、同じ情報の一部を含むことができる。例えば、マルチチャネル画像の第１のチャネル及び第２のチャネルは、それぞれ、環境内の同じオブジェクトに関連付けられたバウンディングボックスを含むことができる。チャネルは、例えば、３次元画像スタック内の色及び／またはレイヤとして表すことができる。
【0037】
図２は、入力センサデータ１０６に基づいて追跡されたオブジェクトデータ１２４を判定するための機械学習モデル１１２の例示的な詳細２００を示す。センサデータ１０６は、車両が動作している環境に関連付けられた画像データ、ライダーデータ、レーダーデータ、及び／または飛行時間データであってよい。「１」において、機械学習モデル１１２の検出コンポーネント１１４は、センサデータ１０６を受信し、現在時間ｔ０におけるオブジェクトに関連付けられたオブジェクトデータ１１６を判定する。オブジェクトデータ１１６は、機械学習モデル１１２のトラック位置関連付け及び軌道推定コンポーネント２１２に転送され得る。いくつかの例では、トラック位置関連付け及び軌道推定コンポーネント２１２は、本明細書で説明される追跡コンポーネント１２２の一部であり得る。
【0038】
「２」において、位置推定コンポーネント２０２は、環境内のオブジェクトに関連付けられた追跡データ２０６を受信し、追跡データ２０６に基づいて、現在時間ｔ０におけるオブジェクトに関連付けられた推定されたオブジェクトデータ２１０を判定することができる。位置推定コンポーネント２０２は、長い短期記憶を含み得る機械学習モデル１１２のメモリ２０４から追跡データ２０６を受信することができる。追跡データ２０６は、センサデータ、追跡データなどの１つまたは複数のフレーム２０８（１）～２０８（Ｎ）（Ｎは、２以上の任意の整数を表し得る）を含むことができる。いくつかの例では、第１のフレーム２０８（１）は、ｔ０－１における環境内のオブジェクトの軌道及び／または位置を示し、第２のフレームは、ｔ０－２における環境内のオブジェクトの軌道及び／または位置を示し得、第Ｎのフレーム２０８（Ｎ）は、ｔ０－Ｎにおける環境内のオブジェクトの軌道及び／または位置を示し得る。位置推定コンポーネント２０２は、現在時間ｔ０における推定されるオブジェクトデータ２１０を判定するために、複数のフレーム２０８を利用することができる。推定されるオブジェクトデータ２１０は、トラック位置関連付け及び軌道推定コンポーネント２１２に転送され得る。
【0039】
「３」において、トラック位置関連付け及び軌道推定コンポーネント２１２は、オブジェクトデータ１１６及び推定されるオブジェクトデータ２１０に少なくとも部分的に基づいて、現在時間ｔ０における追跡されるオブジェクトデータを判定することができる。例えば、トラック位置関連付け及び軌道推定コンポーネント２１２は、オブジェクトデータ１１６に示されるオブジェクトの位置が、推定されるオブジェクトデータ２１０に示されるオブジェクトの推定される位置に対応することを判定することができる。対応する位置に基づいて、トラック位置関連付け及び軌道推定コンポーネント２１２は、どのトラックがどのオブジェクトに対応するかを決定した後、格納された追跡データをオブジェクトに関連付けることができる。さらに、トラック位置関連付け及び軌道推定コンポーネント２１２は、ｔ０－１におけるオブジェクトの位置及びｔ０におけるオブジェクトの現在位置に基づいて、オブジェクトによって横断される軌道を推定することができる。この推定される軌道は、追跡されたオブジェクトデータ１２４に含まれ得る。したがって、追跡されたオブジェクトデータ１２４に示されるオブジェクト１０８のそれぞれについて、オブジェクト１０８に関連付けられたバウンディングボックス１２０、並びにオブジェクト１０８によって横断される軌道１２６が示され得る。
【0040】
「４」において、ｔ０における追跡されたオブジェクトデータ１２４は、メモリ２０４に記憶される。このようにして、ｔ０における追跡されたオブジェクトデータ１２４は、将来の時間ｔ０＋１のオブジェクトデータを推定するために、位置推定コンポーネント２０２によって利用され得る。さらに、「５」において、追跡されたオブジェクトデータ１２４は、オブジェクト１０８（１）及び１０８（２）の将来の軌道及び他の挙動を予測するために予測コンポーネント１２８に転送される。
【0041】
図３は、本明細書に開示される技術のいくつかによる、機械学習モデルの検出コンポーネント１１４及び追跡コンポーネント１２２の例示的な詳細３００を示す。示されるように、検出コンポーネント１１４は、トップダウンデータ１１８を決定することができる２次元畳み込みニューラルネットワーク（２Ｄ ＣＮＮ）バックボーン３０２と、オブジェクトデータ１１６を決定することができる検出ヘッド３０６とを含むことができる。追跡コンポーネント１２２は、バイリニア線形補間コンポーネント３０８、有限差分コンポーネント３１０、マルチレイヤ知覚（ＭＬＰ）コンポーネント３１２、長時間短期記憶（ＬＳＴＭ）コンポーネント３１６、ＭＬＰリファインメントコンポーネント３２０、バイパータイトマッチング及び単一オブジェクトトラッキング（ＳＯＴ）コンポーネント３２２、及び非最大抑制（ＮＭＳ）コンポーネント３２６を含むことができる。
【0042】
バイリニア線形補間コンポーネント３０８は、トップダウンデータ１１８及び追跡データ２０６を受信し、新しい観測である環境内のオブジェクト（例えば、追跡データ２０６が存在しないオブジェクト）を決定することができ、逆もまた同様である。例えば、追跡データが環境内に３つのオブジェクトがあることを示すが、トップダウンデータ１１８が２つのオブジェクトのみを示す場合、バイリニア線形補間コンポーネント３０８は、なぜ一致する追跡データ（例えば、環境内の新しいオブジェクト、環境から離れるオブジェクトなど）が存在しないのかを判定するために活用され得る。
【0043】
ＬＳＴＭコンポーネント３１６は、特徴テンソル、有限差分、及びＭＬＰコンポーネント３１２からの出力などのオブジェクト／特徴に関連付けられたデータ及び他の情報を受信し、１つ以上の軌道レベル表現３１８を判定することができる。ＭＬＰリファインメントコンポーネント３２０は、軌道レベル表現３１８を利用して、スコア、位置オフセット、及び他のデータ３２８を決定することができる。
【0044】
バイパータイトマッチング及びＳＯＴコンポーネント３２２は、追跡データ２０６に示されるような追跡されたオブジェクトと、オブジェクトデータ１１６に含まれるオブジェクトの新しい観測との間で１対１マッチングを実行することができる。すなわち、バイパータイトマッチング及びＳＯＴコンポーネント３２２は、環境内のオブジェクト（例えば、追跡されたオブジェクトデータ１２４）に関連付けられた１つまたは複数の現在トラック３２４を判定することができる。
【0045】
ＮＭＳコンポーネント３２６は、現在トラック３２４と、スコア、位置オフセット、及び他のデータ３２８とを利用して、リファインされた現在トラック３３０を判定することができる。リファインされた現在トラック（複数可）は、転送され、他の追跡データ２０６と共に格納され得る。このようにして、リファインされた現在トラック３３０を使用して、将来時間における軌道レベル表現３１８及び／または追加の現在トラック３２４を判定することができる。
【0046】
図４及び図５は、車両の監視に関連付けられたディスプレイ上に様々なユーザインターフェースを提示する例示的な方法を示すフローチャートである。図４及び図５に示される方法は、利便性及び理解の容易さのために図１～図３に記載される車両、システム、及び／またはユーザインタフェースのうちの１つ以上を参照して説明される。しかしながら、図４及び図５に示される方法は、図１～図３に記載される車両、システム、及び／またはユーザインタフェースを用いて実行されることに限定されず、本出願に記載されている他の車両、システム、及びユーザインターフェースのいずれか、並びに本明細書に記載されているもの以外の車両、システム、及びユーザインターフェースを使用して実装され得る。さらに、本明細書で説明される車両、システム、及びユーザインターフェースは、図４及び図５に例示される方法を実行することに限定されない。
【0047】
方法４００及び５００は、論理フローグラフにおけるブロックの集合として図示されており、これらは、ハードウェア、ソフトウェア、またはそれらの組み合わせで実施され得る一連の操作を表現する。ソフトウェアのコンテキストでは、ブロックは、１つまたは複数のコンピュータ可読記憶媒体に格納されたコンピュータ実行可能命令を表し、１つまたは複数のプロセッサによって実行されると、記載された動作を実行する。一般に、コンピュータ実行可能命令は、特定の機能を実行するか、または特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。操作が記載される順序は限定して解釈されることを意図するものではなく、任意の数の記載されるブロックを任意の順序で及び／又は並行し結合して、プロセスを実装することができる。いくつかの実施形態では、プロセスの１つまたは複数のブロックを完全に省略できる。さらに、方法４００及び５００は、全体的もしくは部分的に、互いにまたは他の方法で組み合わされてよい。
【0048】
図４は、機械学習モデルの第１の部分の出力が機械学習モデルの第２の部分への入力として使用されるように調整されるように、機械学習モデルをエンドツーエンドでトレーニングすることに関連付けられた例示的な方法４００を示すフローチャートである。方法４００は、動作４０２で開始し、ここでは、環境を横断する車両に関連付けられたセンサデータを受信することを含む。例えば、コンピューティングデバイス１１０は、車両１０２を取り囲む環境１０４に関連付けられたセンサデータ１０６を受信することができる。いくつかの例では、環境は、オブジェクト１０８（１）及び１０８（２）などの１つまたは複数のオブジェクトを含み得る。いくつかの例では、限定されるわけではないが、センサーデータには、ライダーデータ、レーダーデータ、超音波トランスデューサデータ、ソナーデータ、位置データ（例えば、ＧＰＳ、コンパスなど）、ポーズデータ、慣性データ（例えば、慣性測定ユニットデータ、加速度計データ、磁力計データ、ジャイロスコープデータなど）、画像データ（例えば、ＲＧＢデータ、ＩＲデータ、強度データ、深度データなど）、ホイールエンコーダデータ、マイクロホンデータ、環境センサデータ（例えば、温度センサデータ、湿度センサデータ、光センサデータ、圧力センサデータなど）、飛行時間（ＴｏＦ）センサデータなどが含まれる。いくつかの例では、センサデータは、実際のセンサデータ（例えば、車両のセンサによって生成される）またはシミュレートされたセンサデータであり得る。
【0049】
動作４０４において、方法４００は、環境内のオブジェクトに関連付けられたグラウンドトゥルースデータを受信することを含む。例えば、コンピューティングデバイス１１０は、グラウンドトゥルースデータを受信することができる。いくつかの例では、グラウンドトゥルースデータは、オブジェクトに関連付けられた追跡されたオブジェクトデータを含み得る。したがって、グラウンドトゥルースデータは、オブジェクトに関連付けられたバウンディングボックス、オブジェクトによって横断される軌道、オブジェクトの分類などを含み得る。いくつかの例では、グラウンドトゥルースデータは、人間のラベラー、トレーニングされた機械学習モデルなどによって決定され得る。
【0050】
動作４０６において、方法４００は、センサデータを機械学習モデルに入力することを含む。例えば、コンピューティングデバイス１１０は、センサデータ１０６を機械学習モデル１１２に入力することができる。動作４０８において、方法４００は、機械学習モデルから、機械学習モデルの第１の部分によって決定された第１のデータ及び機械学習モデルの第２の部分によって決定された第２のデータを含む出力を受信することを含む。例えば、出力は、第１のデータ（例えば、検出コンポーネント１１４によって判定されたオブジェクトデータ）及び第２のデータ（例えば、追跡コンポーネント１２２によって判定された軌道データ）を含む追跡されたオブジェクトデータ１２４を含み得る。すなわち、出力は、オブジェクトに関連付けられた予測されたバウンディングボックスと、オブジェクトによって横断される予測された軌道とを少なくとも含み得る。本明細書に記載されるように、ある例では、機械学習モデルの第２の部分は、機械学習モデルの第１の部分によって決定された第１のデータに少なくとも部分的に基づいて第２のデータを決定し得る。
【0051】
動作４１０において、方法４００は、出力とグラウンドトゥルースデータとの間の差を決定することを含む。いくつかの例では、出力とグラウンドトゥルースデータとの間の差は、軌道と予測軌道との間の差、バウンディングボックスと予測バウンディングボックスとの間の差などであり得る。動作４１２において、方法４００は、差が閾値差を超えるかどうかを判定することを含む。差が閾値差を超えない（例えば、閾値差よりも小さい）場合、方法４００は、動作４１４に進む。しかしながら、差が閾値差を満たすか、または超える場合、方法４００は、動作４１６に進む。
【0052】
動作４１４において、方法４００は、第１のアクションを実行することを含む。いくつかの例では、第１のアクションは、機械学習モデルが訓練された機械学習モデルであると判定することを含むことができる。追加的または代替的に、第１のアクションは、環境を横断するために車両によって使用されるための機械学習モデルを車両に送信することを含むことができる。いくつかの例では、第１のアクションは、シミュレーション内または追加のセンサデータを用いて機械学習モデルのパフォーマンスを検証することを含むことができる。
【0053】
動作４１６において、方法４００は、機械学習モデルの第１の部分のパラメータを変更することを含む。例えば、検出コンポーネント１１４または追跡コンポーネント１２２のパラメータは、それらのコンポーネントによって実行されるサブプロセスと同様に、または代替的に、変更され得る。いくつかの例では、パラメータを変更することは、モデルの第１の部分のソフトウェアコンポーネントを変更すること、または差に少なくとも部分的に基づいてモデルの第１の部分を再トレーニングすることを含み得る。このようにして、モデルの第１の部分によって決定された第１のデータは、将来の予測において、機械学習モデルの第２の部分の入力として使用するために第１のデータが調整されるように調整され得る。
【0054】
図５は、車両によって使用されるための追跡されたオブジェクトデータを判定する機械学習モデルに関連付けられた例示的な方法５００を示すフローチャートである。方法５００は、動作５０２で開始し、ここでは、車両が動作している環境を表すセンサデータを機械学習モデルに入力することを含み、センサデータは現在時刻に関連付けられる。例えば、コンピューティングデバイス１１０は、車両１０２を取り巻く環境１０４に関連付けられたセンサデータ１０６を機械学習モデル１１２に入力し得る。いくつかの例では、センサデータ１０６に表された環境は、オブジェクト１０８（１）及び１０８（２）などの１つまたは複数のオブジェクトを含み得る。いくつかの例では、限定されるわけではないが、センサデータには、ライダーデータ、レーダーデータ、超音波トランスデューサデータ、ソナーデータ、位置データ（例えば、ＧＰＳ、コンパスなど）、ポーズデータ、慣性データ（例えば、慣性測定ユニットデータ、加速度計データ、磁力計データ、ジャイロスコープデータなど）、画像データ（例えば、ＲＧＢデータ、ＩＲデータ、強度データ、深度データなど）、ホイールエンコーダデータ、マイクロホンデータ、環境センサデータ（例えば、温度センサデータ、湿度センサデータ、光センサデータ、圧力センサデータなど）、飛行時間（ＴｏＦ）センサデータなどが含まれる。いくつかの例では、センサデータは、実際のセンサデータ（例えば、車両のセンサによって生成される）またはシミュレートされたセンサデータであり得る。
【0055】
方法５００の動作５０４において、機械学習モデル１１２は、環境内のオブジェクトに関連付けられたオブジェクトデータを判定することができ、オブジェクトデータは、環境内のオブジェクトの位置を示す。例えば、機械学習モデル１１２の検出コンポーネント１１４は、環境１０４内のオブジェクト１０８に関連付けられたオブジェクトデータ１１６を判定することができる。いくつかの例では、オブジェクトデータは、トップダウン（例えば、鳥瞰）の観点からの環境のビューを表すトップダウンデータ１１８を含み得る。いくつかの例では、オブジェクトデータ１１６は、図１に示されるような、オブジェクト１０８（１）に関連付けられたバウンディングボックス１２０（１）及びオブジェクト１０８（２）に関連付けられたバウンディングボックス１２０（２）など、検出コンポーネント１１４によって環境１０４内で検出されたオブジェクトに関連付けられたバウンディングボックスを含み得る。
【0056】
方法５００の動作５０６において、機械学習モデル１１２は、オブジェクトに関連付けられた記憶された追跡データ２０６に少なくとも部分的に基づいて、環境内のオブジェクトの推定される位置を判定することができる。例えば、追跡コンポーネント１２２は、記憶された追跡データ２０６に少なくとも部分的に基づいて、環境内のオブジェクトの推定される位置を判定することができる。いくつかの例では、追跡コンポーネント１２２のコンポーネントまたはサブプロセスであり得る位置推定コンポーネント２０２は、オブジェクトの推定される位置を判定することができる。いくつかの例では、推定される位置を決定することは、オブジェクトに関連付けられたバウンディングボックスの推定される位置を決定することを含み得る。
【0057】
方法５００の動作５０８において、機械学習モデル１１２は、追跡されたオブジェクトデータとして、位置及び推定された位置に少なくとも部分的に基づいて、オブジェクトデータを追跡データと関連付けることができる。例えば、追跡コンポーネント１２２は、追跡されたオブジェクトデータ１２４として、オブジェクトデータ１１６を追跡データ２０６に関連付けることができる。いくつかの例では、追跡コンポーネント１２２のコンポーネントまたはサブプロセスであり得るトラック位置関連付けコンポーネント及び／または軌道推定コンポーネントは、追跡されたオブジェクトデータを関連付けることができる。いくつかの例では、オブジェクトデータと記憶された追跡データとの関連付けは、位置と推定された位置との間の近接性に少なくとも部分的に基づいてもよい。
【0058】
方法５００の動作５１０において、機械学習モデル１１２は、追跡されたオブジェクトデータに少なくとも部分的に基づいて、記憶された追跡データを更新することができる。例えば、機械学習モデル１１２の追跡コンポーネント１２２は、記憶された追跡データを更新することができる。いくつかの例では、更新された記憶された追跡データ２０６は、機械学習モデル１１２及び／または追跡コンポーネント１２２にアクセス可能なメモリ、例えば長い短期記憶に記憶され得る。
【0059】
方法５００の動作５１２において、機械学習モデル１１２は、追跡されたオブジェクトデータを出力することができる。動作５１４において、方法５００は、車両の動作を制御することを含む。例えば、車両の動作は、機械学習モデル１１２から受信された追跡されたオブジェクトデータ１２４に少なくとも部分的に基づいて制御され得る。いくつかの例では、車両１０２の予測コンポーネント１２８は、追跡されたオブジェクトデータ１２４を利用して、予測された将来の軌道などの環境内のオブジェクトに関する１つまたは複数の予測を行うことができ、車両は、予測に少なくとも部分的に基づいて制御され得る。追加的または代替的に、車両１０２のプランナコンポーネント１３４は、追跡されたオブジェクトデータ１２４及び／または追跡されたオブジェクトデータに基づいた予測を利用して、車両の動作を制御することができる。例えば、プランナコンポーネント１３４は、追跡されたオブジェクトデータまたは予測に少なくとも部分的に基づいて、車両１０２が環境を横断するための軌道を判定することができる。
【0060】
図６は、本明細書で説明される技術を実行するために使用され得る例示的なシステムを示すブロック図である。少なくとも１つの例において、車両６０２は、図１～図５を参照して上述した車両１０２に対応することができ、１つまたは複数の車両コンピューティングデバイス６０４（コンピューティングデバイス１１０に対応し得る）、１つまたは複数のセンサシステム６０６、１つまたは複数のエミッタ６０８、１つまたは複数の通信接続６１０、少なくとも１つの直接接続６１２、及び１つまたは複数の駆動システム６１４を含むことができる。
【0061】
少なくとも１つの例では、車両６０２は、米国運輸省道路交通安全局によって発行されたレベル６分類に従って動作するよう構成される自律車両であり、運転者（または乗員）の常時車両制御を期待することなく全行程に対する全てのセーフティクリティカルな機能を実行可能な車両を表すことができる。このような例では、車両６０２は全ての駐車機能を含む発進から停止までの全ての機能を制御するように構成されることが可能であるため、無人化することが可能である。これは単なる例であり、ここで説明するコンポーネントと方法は、ドライバーが常に手動で制御する必要がある車両から、部分的または完全に自律的に制御されているものまで、を含んでいる任意の地上、空中または水上車両に組み込むことができる。つまり、説明された例において、車両６０２は、自律走行車であるが、車両６０２は、任意の他のタイプの車両であってよい。単一の車両６０２のみが図６に示されているが、実用的なアプリケーションでは、例示的なシステム６００は、複数の車両を含むことができ、いくつかの例では、車両のフリートを含むことができる。
【0062】
車両コンピューティングデバイス６０４は、プロセッサ６１６と、プロセッサ６１６と通信可能に結合されたメモリ６１８とを含むことが可能である。図示の例では、車両コンピューティングデバイス６０４のメモリ６１８は、ローカリゼーションコンポーネント６２０、知覚コンポーネント６２２、予測コンポーネント１３０、プランナコンポーネント１３４、及び１つまたは複数のシステムコントローラ６２４を格納する。
【0063】
少なくとも１つの例において、及び上述したように、ローカリゼーションコンポーネント６２０は、センサコンポーネント６０６から受信したセンサデータ及び／または車両６０２が動作している環境のマップに関連付けられたマップデータに少なくとも部分的に基づいて、ローカル及び／またはグローバルマップに関連して車両６０２のポーズ（位置及び向き）を判定することができる。少なくとも１つの例において、ローカリゼーションコンポーネント６２０は、較正する動作（１つまたは複数のセンサコンポーネント６０６のうちのいずれかに関連付けられる様々な内因性及び外因性パラメータを決定すること）、位置決めする動作、及びマッピングする動作を実質的に同時に実行することが可能な較正コンポーネントを含むか、または関連付けられてよい。
【0064】
少なくとも１つの例において、知覚コンポーネント６２２は、センサコンポーネント６０６から受信されるセンサデータに少なくとも部分的に基づいて、オブジェクトの検出、セグメンテーション、及び／または分類を実行することができる。少なくとも１つの例において、知覚コンポーネント６２２は、生のセンサデータを（例えば、センサコンポーネント６０６から）受信することができる。少なくとも１つの例において、知覚コンポーネント６２２は、センサデータを受信することができ、１つまたは複数の処理アルゴリズム及び／または機械学習モデルを利用して、センサデータで識別されたオブジェクト（複数可）に関してオブジェクト検出、セグメンテーション、及び／または分類を実行することができる。いくつかの例では、知覚コンポーネント６２２は、境界領域（例えば、バウンディングボックスまたはそうでなければインスタンスセグメンテーション）を識別されたオブジェクトに関連付けることができ、識別されたオブジェクトの分類に関連付けられた信頼度スコアを識別されたオブジェクトに関連付けることができる。
【0065】
例では、知覚コンポーネント６２２は、追跡データ２０６と同様に、機械学習モデル１１２を含むことができる。機械学習モデル１１２、または機械学習モデル１１２の少なくとも追跡コンポーネントは、本明細書で説明されるように、追跡データ２０６を利用して、環境内のオブジェクトの位置を推定することができる。いくつかの例では、追跡データ２０６は、長い短期記憶などのメモリに格納される。
【0066】
予測コンポーネント１３０は、センサコンポーネント６０６からセンサデータ、マップデータ、及び／または知覚コンポーネント６２２から出力された知覚データ（例えば、処理されたセンサデータ）を受信することができ、車両６０２の環境内の１つまたは複数のオブジェクトに関連付けられた予測を出力することができる。予測は、車両６０２が動作している環境内のオブジェクトに関連付けられた予測軌道を含むことができる。本明細書に記載されるように、予測コンポーネントはまた、機械学習モデル１１２によって出力された追跡されたオブジェクトデータ１２４を受信することができる。
【0067】
プランナコンポーネント１３４は、ローカリゼーションコンポーネント６２０、知覚コンポーネント６２２、予測コンポーネント１３０からのデータ、情報、及び／または出力、並びにマップデータを受信することができ、１つまたは複数の提案された車両動作（例えば、提案された軌道）を生成することができる。使用可能なローカリゼーションコンポーネント、知覚コンポーネント、予測コンポーネント、及び／またはプランナコンポーネントの追加の詳細は、２０１７年４月４日に発行された米国特許第９，６１２，１２３号、及び２０１９年７月１６日に発行された米国特許第１０，３６３，３９０号に見出すことができ、これらの両方の内容全体は、参照により、その全体が本明細書に組み込まれ、全ての目的のために本明細書に組み込まれる。いくつかの例において（例えば、車両６０２が自律車両ではない場合）、前述のコンポーネントの１つまたは複数を車両６０２から除いてよい。少なくとも１つの例において、プランナコンポーネント１３４は、知覚コンポーネント６２２の機械学習モデル１１２から追跡されたオブジェクトデータ１２４を受信する。
【0068】
少なくとも１つの例において、車両コンピューティングデバイス６０４は、１つまたは複数のシステムコントローラ６２４を含むことができ、これは、車両６０２のステアリング、推進、ブレーキ、安全装置、エミッタ、通信、及び他のシステムを制御するように構成され得る。これらのシステムコントローラ６２４は、駆動システム６１４に対応するシステム及び／または車両６０２の他のシステムと通信し、及び／またはこれらを制御することができる。
【0069】
上記のコンポーネントは、車両６０２に「搭載」されるように示されているが、他の実施態様では、コンポーネントは、車両６０２に遠隔に配置され、及び／またはアクセス可能であり得る。例えば、コンポーネントは、コンピューティングデバイス６２８上にリモートに配置され、１つまたは複数のネットワーク６２６を介して車両６０２にアクセス可能であり得る。さらに、コンポーネントは「コンポーネント」として上述されているが、そのようなコンポーネントは、各コンポーネントに起因する動作を実行するために、システムの一部であり得る１つまたは複数のコンポーネント及び／またはモジュールを含むことができる。
【0070】
少なくとも１つの例において、ローカリゼーションコンポーネント６２０、知覚コンポーネント６２２、予測コンポーネント１３０、及びプランナコンポーネント１３４は、上述したように、データを処理することができ、それらのそれぞれの出力をネットワーク６２６を介してコンピューティングデバイス６２８に送信することができる。少なくとも１つの例では、ローカリゼーションコンポーネント６２０、知覚コンポーネント６２２、予測コンポーネント１３０、及びプランナコンポーネント１３４は、所定の期間の経過後、ほぼリアルタイムなどで、それぞれの出力を特定の周波数でコンピューティングデバイス６２８に送信できる。
【0071】
少なくとも１つの例において、センサコンポーネント６０６は、ライダーセンサ、レーダーセンサ、超音波トランスデューサ、ソナーセンサ、位置センサ（例えば、ＧＰＳ、コンパスなど）、慣性センサ（例えば、慣性測定ユニット、加速度計、磁力計、ジャイロスコープなど）、カメラ（例えば、ＲＧＢ、ＩＲ、強度、深度など）、ホイールエンコーダ、オーディオセンサ、環境センサ（例えば、温度センサ、湿度センサ、光センサ、圧力センサなど）、ＴｏＦセンサなどを含むことが可能である。センサコンポーネント６０６は、車両コンピューティングデバイス６０４に入力を提供することができる。ある例において、センサコンポーネント６０６は、センサデータを車両コンピューティングデバイス６０４に送信する前に、センサデータの少なくとも一部を前処理することができる。少なくとも１つの例において、センサコンポーネント６０６は、ネットワーク６２６を介して、所定の期間が経過した後で、ほぼリアルタイムに特定の周波数でセンサデータをコンピューティングデバイス６２８に送信することができる。
【0072】
また、車両６０２は、上記のように、光及び／または音を発する１つまたは複数のエミッタ６０８を含むことができる。この例におけるエミッタ６０８は、内部オーディオ及び視覚エミッタを含み、車両６０２の乗員と通信する。例示の目的で、限定ではなく、内部エミッタは、スピーカ、光、サイン、ディスプレイ画面、タッチ画面、触覚エミッタ（例えば、振動及び／またはフォースフィードバック）、機械的アクチュエータ（例えば、シートベルトテンショナ、シートポジショナ、ヘッドレストポジショナなど）などを含むことができる。この例におけるエミッタ６０８はまた、外部エミッタを含み得る。限定ではなく例として、この例の外部エミッタは、歩行者、他のドライバー、他の近くの車両などと視覚的に通信するためのライトエミッタ（例えば、インジケータライト、標識、ライトアレイなど）、歩行者、他のドライバー、他の近くの車両などと音声で通信するための1つまたは複数のオーディオエミッタ（例えば、スピーカ、スピーカアレイ、ホーンなど）などを含む。少なくとも１つの例において、エミッタ６０８は、車両６０２の外部及び／または内部についての様々な位置に配置されることが可能である。
【0073】
車両６０２はまた、車両６０２と、コンピューティングデバイス６２８並びに他のリモートまたはローカルコンピューティングデバイスなどの他のローカルまたはリモートコンピューティングデバイスとの間の通信を可能にする通信接続６１０を含むことができる。例えば、通信接続６１０は、車両６０２及び／または駆動システム６１４上の他のローカルコンピューティングデバイスとの通信を容易にできる。また、通信接続６１０は、車両が他の近くのコンピューティングデバイス（例えば、他の近くの車両、交通信号など）と通信することを可能にする。また、通信接続６１０は、車両６０２が、リモートテレオペレーションコンピューティングデバイスまたは他のリモートサービスと通信することも可能にする。
【0074】
通信接続６１０は、車両コンピューティングデバイス６０４を別のコンピューティングデバイス、またはネットワーク６２６などのネットワークに接続するための物理的及び／または論理的なインターフェースを含むことができる。例えば、通信接続６１０は、ＩＥＥＥ８０２．１１規格によって定義される周波数、ブルートゥース（登録商標）などの短距離無線周波数、またはそれぞれのコンピューティングデバイスが他のコンピューティングデバイスとインターフェースで接続することを可能とする任意の適切な有線または無線通信プロトコルを介するＷｉ－Ｆｉベースの通信を可能とする。
【0075】
直接接続６１２は、駆動システム６１４と車両６０２の他のシステムとを直接接続することができる。少なくとも１つの例では、車両６０２は、駆動システム６１４を含むことができる。いくつかの例では、車両６０２は、単一の駆動システム６１４を有することができる。少なくとも１つの例では、車両６０２が複数の駆動システム６１４を有する場合、個々の駆動システム６１４は車両６０２の両端（例えば、前部及び後部など）に配置できる。少なくとも１つの例では、駆動システム６１４は、駆動システム６１４及び／または車両６０２の周囲の状態を検出するためのセンサコンポーネントを含むことができる。限定ではなく例として、センサコンポーネントは、駆動システムのホイールの回転を感知するホイールエンコーダ（例えば、ロータリーエンコーダ）、駆動システムの位置及び加速度を測定する慣性センサ（例えば、慣性測定ユニット、加速度計、ジャイロスコープ、磁力計など）、カメラまたはその他の画像センサ、駆動システムの周囲におけるオブジェクトを音声的に検出する超音波センサ、ライダーセンサ、レーダーセンサなどを含むことが可能である。ホイールエンコーダのようなあるセンサは、駆動システム６１４に固有であってよい。場合によっては、駆動システム６１４上のセンサコンポーネントは、車両６０２の対応するシステム（例えば、センサコンポーネント６０６）と重複または補完することができる。
【0076】
駆動システム６１４は、高電圧バッテリ、車両６０２を推進するモータ、バッテリからの直流を他の車両システムで使用する交流に変換するインバータ、ステアリングモータ及びステアリングラックを含むステアリングシステム（電動とすることができる）、油圧又は電気アクチュエータを含むブレーキシステム、油圧及び／又は空気圧コンポーネントを含むサスペンションシステム、トラクションの損失を軽減し制御を維持するブレーキ力分散用の安定性制御システム、ＨＶＡＣシステム、照明（例えば車両の外部環境を照らすヘッド／テールライトなどの照明）、及び１つ以上の他のシステム（例えば冷却システム、安全システム、車載充電システム、ＤＣ／ＤＣコンバータ、高電圧ジャンクション、高電圧ケーブル、充電システム、充電ポートなどのその他の電装コンポーネント）を含む多くの車両システムを含むことができる。さらに、駆動システム６１４は、センサコンポーネントからデータを受信して事前処理し、様々な車両システムの操作を制御できる駆動システムコントローラを含むことができる。いくつかの例では、駆動システムコントローラは、プロセッサ及びプロセッサと通信可能に結合されたメモリを含むことができる。メモリは、駆動システム６１４の様々な機能を実行するための１つまたは複数のコンポーネントを格納することができる。さらに、駆動システム６１４はまた、それぞれの駆動システムによる他のローカル又はリモートコンピューティングデバイスとの通信を可能にする通信接続部を含む。
【0077】
図６では、車両コンピューティングデバイス６０４、センサコンポーネント６０６、エミッタ６０８、及び通信接続６１０が車両６０２に搭載されているように示されている。しかしながら、いくつかの例では、車両コンピューティングデバイス６０４、センサコンポーネント６０６、エミッタ６０８、及び通信接続６１０は、実際の車両の外側に実装され得る（すなわち、車両６０２に搭載されない）。
【0078】
上記のように、車両６０２は、ネットワーク６２６を介して、コンピューティングデバイス６２８にデータを送信することができる。いくつかの例では、車両６０２は、生のセンサデータをコンピューティングデバイス６２８に送信することができる。他の例において、車両６０２は、処理されたセンサデータ及び／またはセンサデータの表現をコンピューティングデバイス６２８（例えば、ローカリゼーションコンポーネント６２０、知覚コンポーネント６２２、予測コンポーネント１３０、プランナコンポーネント１３４、機械学習モデルなどから出力されるデータ）に送信することができる。いくつかの例において、車両６０２は、所定の期間が経過した後、ほぼリアルタイムで、センサデータを特定の周波数でコンピューティングデバイス６２８に送信することができる。
【0079】
コンピューティングデバイス６２８は、車両６０２及び／または他のデータ収集デバイスからデータ（生または処理済み）、並びに１つまたは複数のサードパーティのソース及び／またはシステムからデータを受信することができる。少なくとも１つの例において、コンピューティングデバイス６２８は、プロセッサ６３０及びプロセッサ６３０と通信可能に結合されたメモリ６３２を含むことが可能である。図示の例では、コンピューティングデバイス６２８のメモリ６３２は、トレーニングコンポーネント６３４、及び１つまたは複数の機械学習モデル６３６を格納する。
【0080】
トレーニングコンポーネント６３４は、機械学習モデル１１２を含み得る１つまたは複数の機械学習モデル６３６をトレーニングするための機能を含む。トレーニングコンポーネント６３４は、機械学習モデル６３６をトレーニングする際に使用するためのトレーニングデータ６３８を含んでもよく、または格納してもよい。トレーニングデータ６３８は、環境を横断する車両に関連付けられたログデータ６４０を含み得る。いくつかの例では、ログデータ６４０は、車両６０２が動作していた環境を表すセンサデータであってもよい。すなわち、いくつかの例では、ログデータ６４０は、画像データ、ライダーデータ、レーダーデータなどを含み得る。
【0081】
トレーニングデータ６３８はまた、グラウンドトゥルースデータ６４２を含み得る。いくつかの例では、機械学習モデル６３６をトレーニングするために使用されるログデータ６４０の各インスタンスについて、グラウンドトゥルースデータ６４２の対応するインスタンスが格納され得る。いくつかの例では、グラウンドトゥルースデータ６４２は、オブジェクトに関連付けられた追跡されたオブジェクトデータを含み得る。したがって、グラウンドトゥルースデータ６４２は、オブジェクトに関連付けられたバウンディングボックス、オブジェクトによって横断される軌道、オブジェクトの分類などを含み得る。いくつかの例では、グラウンドトゥルースデータ６４２は、人間のラベラー、トレーニングされた機械学習モデルなどによって決定され得る。
【0082】
車両６０２のプロセッサ６１６及びコンピューティングデバイス６２８のプロセッサ６３０は、本明細書で説明されるように、データを処理し操作を実施するための命令を実行可能な任意の適切なプロセッサとすることができる。限定ではなく例として、プロセッサ６１６及び６３０は、１つまたは複数の中央処理装置（ＣＰＵ）、グラフィクスプロセシングユニット（ＧＰＵ）、または電子データを処理して、レジスタ及び／またはメモリに記憶され得る他の電子データにその電子データを変換する他の任意のデバイス、若しくはデバイスの他の任意の部分を備えることが可能である。いくつかの例では、集積回路（例えば、ＡＳＩＣなど）、ゲートアレイ（例えば、ＦＰＧＡなど）、及び他のハードウェアデバイスはまた、それらが符号化された命令を実装するよう構成される限り、プロセッサと見なすことができる。
【0083】
メモリ６１８及び６３２は非一時的コンピュータ可読媒体の例である。メモリ６１８及びメモリ６３２は、オペレーティングシステム及び１つまたは複数のソフトウェアアプリケーション、命令、プログラム、及び／またはデータを格納して、本明細書に記載の方法及び様々なシステムに起因する機能を実装できる。様々な実装では、メモリは、スタティックランダムアクセスメモリ（ＳＲＡＭ）、シンクロナスダイナミックＲＡＭ（ＳＤＲＡＭ）、不揮発性／フラッシュタイプメモリ、または情報を格納可能な他の任意のタイプのメモリなど、適切なメモリ技術を用いて実装できる。本明細書で説明されるアーキテクチャ、システム、及び個々の要素は、多くの他の論理的、プログラム的、及び物理的なコンポーネントを含むことができ、それらの添付図面に図示されるものは、本明細書での説明に関連する単なる例にすぎない。
【0084】
図６は分散システムとして示されているが、いくつかの例では、車両６０２のコンポーネントをコンピューティングデバイス６２８に関連付けることができ、及び／又はコンピューティングデバイス６２８のコンポーネントは車両６０２に関連付けることができる、という事に留意されたい。すなわち、車両６０２は、コンピューティングデバイス６２８に関連付けられた機能のうちの１つまたは複数を実行でき、逆もまた同様である。
【0085】
さらに、車両コンピューティングデバイス６０４及びコンピューティングデバイス６２８は、複数のコンポーネントを含むように示されているが、いくつかの例では、そのようなコンポーネントは、より多くのまたはより少ない個々のコンポーネントに関連付けることができる。例えば、ローカリゼーションコンポーネント６２０、知覚コンポーネント６２２、予測コンポーネント１３０、及び／またはプランナコンポーネント１３４を単一のコンポーネントに組み合わせることができる。すなわち、別個のコンポーネントとして示されているが、コンポーネントのいずれか１つ以上を組み合わせることができる。
【0086】
例示的な条項
Ａ．１つまたは複数のプロセッサと、
前記１つまたは複数のプロセッサによって実行されると、システムに、
車両が動作している環境におけるオブジェクトを表すセンサデータを受信することであって、前記センサデータは、現在時間に関連付けられている、ことと、
前記車両で用いるために構成されている機械学習モデルに前記センサデータを入力することであって、前記機械学習モデルは、
前記センサデータに少なくとも部分的に基づいて、環境内のオブジェクトに関連付けられるバウンディングボックスを少なくとも含むオブジェクトデータを判定することであって、前記バウンディングボックスは前記現在時間における前記環境内のオブジェクトの位置を示す、ことと、
前記センサデータに少なくとも部分的に基づいて、及び前記現在時間よりも前に前記機械学習モデルによって受信された追加のセンサデータから判定された追跡データに少なくとも部分的に基づいて、前記現在時間における前記環境内のオブジェクトの推定位置を判定することと、
追跡されたオブジェクトデータとして、前記推定位置に少なくとも部分的に基づいて、前記オブジェクトデータを追跡データと関連付けることと、
を実行するように構成されている、ことと、
前記機械学習モデルから、前記追跡されたオブジェクトデータを少なくとも含む出力を受信することと、
前記追跡されたオブジェクトデータに少なくとも部分的に基づいて、前記車両を制御することと、
を含む動作を実行させる命令を格納する、１つまたは複数の非一時的コンピュータ可読媒体と、
を備えたシステム。
Ａ．１つまたは複数のプロセッサと、
前記１つまたは複数のプロセッサによって実行されると、システムに、
車両が動作している環境におけるオブジェクトを表すセンサデータを受信することであって、前記センサデータは、現在時間に関連付けられている、ことと、
前記車両で用いるために構成されている機械学習モデルに前記センサデータを入力することであって、前記機械学習モデルは、
前記センサデータに少なくとも部分的に基づいて、環境内のオブジェクトに関連付けられるバウンディングボックスを少なくとも含むオブジェクトデータを判定することであって、前記バウンディングボックスは前記現在時間における前記環境内のオブジェクトの位置を示す、ことと、
前記センサデータに少なくとも部分的に基づいて、及び前記現在時間よりも前に前記機械学習モデルによって受信された追加のセンサデータから判定された追跡データに少なくとも部分的に基づいて、前記現在時間における前記環境内のオブジェクトの推定位置を判定することと、
追跡されたオブジェクトデータとして、前記推定位置に少なくとも部分的に基づいて、前記オブジェクトデータを追跡データと関連付けることと、
を実行するように構成されている、ことと、
前記機械学習モデルから、前記追跡されたオブジェクトデータを少なくとも含む出力を受信することと、
前記追跡されたオブジェクトデータに少なくとも部分的に基づいて、前記車両を制御することと、
を含む動作を実行させる命令を格納する、１つまたは複数の非一時的コンピュータ可読媒体と、
を備えたシステム。
【0087】
Ｂ．前記機械学習モデルは、
前記オブジェクトデータを前記追跡データと関連付けることに少なくとも部分的に基づいて、軌道が前記位置と交差するように前記追跡データを更新することと、
前記機械学習モデルがアクセスできるメモリに前記更新された追跡データを記憶することと、
をさらに実行するように構成される、段落Ａに記載のシステム。
前記オブジェクトデータを前記追跡データと関連付けることに少なくとも部分的に基づいて、軌道が前記位置と交差するように前記追跡データを更新することと、
前記機械学習モデルがアクセスできるメモリに前記更新された追跡データを記憶することと、
をさらに実行するように構成される、段落Ａに記載のシステム。
【0088】
前記オブジェクトデータを前記追跡データと関連付けることは、
前記位置及び前記推定位置の距離が閾値距離未満であること、
前記オブジェクトの検出された分類が前記オブジェクトの追跡された分類に対応していることと、
前記オブジェクトの検出されたサイズと前記オブジェクトの追跡されたサイズとの間の差が閾値差未満であることと、
のうちの少なくとも１つに少なくとも部分的に基づいている、段落Ａまたは段落Ｂに記載のシステム。
前記位置及び前記推定位置の距離が閾値距離未満であること、
前記オブジェクトの検出された分類が前記オブジェクトの追跡された分類に対応していることと、
前記オブジェクトの検出されたサイズと前記オブジェクトの追跡されたサイズとの間の差が閾値差未満であることと、
のうちの少なくとも１つに少なくとも部分的に基づいている、段落Ａまたは段落Ｂに記載のシステム。
【0089】
Ｄ．機械学習モデルから受信した出力は、オブジェクトの将来位置をさらに示す、段落Ａ乃至Ｃのいずれか一項に記載のシステム。
【0090】
Ｅ．前記追加のセンサデータは、前記現在時間より前の一定期間にわたる前記オブジェクトを表すセンサデータのフレームの時間順に収集されたものを含む、段落Ａ乃至Ｄのいずれか一項に記載のシステム。
【0091】
Ｆ．第１の時間において、環境内で動作している車両に関連付けられるセンサデータを受信することと、
前記センサデータを機械学習モデルに入力することであって、前記機械学習モデルは、と、
前記センサデータに少なくとも部分的に基づいて、前記環境内のオブジェクトの位置を判定することと、
前記環境内の追跡されたオブジェクトの推定位置を前記追跡されたオブジェクトによって横断された軌道に少なくとも部分的に基づいて判定することと、
前記位置及び前記推定位置に少なくとも部分的に基づいて前記オブジェクトを前記追跡されたオブジェクトと関連付けることと、
を行うように構成されている、ことと、
前記機械学習モデルからの出力として、前記位置及び前記軌道のインディケーションを受信することと、
前記出力に少なくとも部分的に基づいて前記車両を制御することと、
を含む方法。
前記センサデータを機械学習モデルに入力することであって、前記機械学習モデルは、と、
前記センサデータに少なくとも部分的に基づいて、前記環境内のオブジェクトの位置を判定することと、
前記環境内の追跡されたオブジェクトの推定位置を前記追跡されたオブジェクトによって横断された軌道に少なくとも部分的に基づいて判定することと、
前記位置及び前記推定位置に少なくとも部分的に基づいて前記オブジェクトを前記追跡されたオブジェクトと関連付けることと、
を行うように構成されている、ことと、
前記機械学習モデルからの出力として、前記位置及び前記軌道のインディケーションを受信することと、
前記出力に少なくとも部分的に基づいて前記車両を制御することと、
を含む方法。
【0092】
Ｇ．前記位置及び前記推定位置は、前記第１の時間に関連付けられており、前記追跡されたオブジェクトは、前記第１の時間よりも前に前記軌道を横断している、段落Ｆに記載の方法。
【0093】
Ｈ．追加のセンサデータは、前記第１の時間よりも前の一定期間にわたる前記オブジェクトを表す、段落Ｆまたは段落Ｇに記載の方法。
【0094】
Ｉ．前記機械学習モデルは、オブジェクトを、車両、歩行者またはサイクリストのうちの少なくとも１つとして分類するように構成される、段落Ｆ乃至Ｈのいずれか一項に記載の方法。
【0095】
Ｊ．前記機械学習モデルは、
前記オブジェクトを前記追跡されたオブジェクトと関連付けることに少なくとも部分的に基づいて、前記軌道が前記位置を交差するように前記追跡されたオブジェクトによって横断された前記軌道を更新することと、
前記機械学習モデルがアクセス可能なメモリに更新された前記軌道を格納することと、
をさらに行うように構成されている、段落Ｆ乃至Ｉのいずれか一項に記載の方法。
前記オブジェクトを前記追跡されたオブジェクトと関連付けることに少なくとも部分的に基づいて、前記軌道が前記位置を交差するように前記追跡されたオブジェクトによって横断された前記軌道を更新することと、
前記機械学習モデルがアクセス可能なメモリに更新された前記軌道を格納することと、
をさらに行うように構成されている、段落Ｆ乃至Ｉのいずれか一項に記載の方法。
【0096】
Ｋ．前記オブジェクトを前記追跡されたオブジェクトと関連付けることは、前記オブジェクトに関連付けられる第１の特徴と前記追跡されたオブジェクトに関連付けられる第２の特徴との間の特徴距離にさらに少なくとも部分的に基づく、段落Ｆ乃至Ｊのいずれか一項に記載の方法。
【0097】
Ｌ．前記オブジェクトを前記追跡されたオブジェクトと関連付けることは、前記オブジェクトの検出された分類が前記追跡されたオブジェクトの追跡された分類に相当するという判定にさらに少なくとも部分的に基づく、段落Ｆ乃至Ｋのいずれか一項に記載の方法。
【0098】
Ｍ．前記オブジェクトを前記追跡されたオブジェクトと関連付けることは、前記位置が前記推定位置からの閾値距離に満たないという判定にさらに少なくとも部分的に基づく、段落Ｆ乃至Ｌのいずれか一項に記載の方法。
【0099】
Ｎ．前記機械学習モデルからの出力は、前記オブジェクトに関連付けられるバウンディングボックスをさらに含み、前記バウンディングボックスは、前記車両に対する環境内の前記オブジェクトの位置、前記オブジェクトに関連付けられるサイズ、及び前記オブジェクトに関連付けられる方向のうちの少なくとも１つを示す、段落Ｆ乃至Ｍのいずれか一項に記載の方法。
【0100】
Ｏ．センサデータは、画像データ、ライダーデータ、レーダーデータ、または飛行時間データのうちの少なくとも１つを含む、段落Ｆ乃至Ｎのいずれか一項に記載の方法。
【0101】
Ｐ．機械学習モデルは、オブジェクトについての以前の情報を格納するように構成されるメモリを含む、段落Ｆ乃至Ｏのいずれか一項に記載の方法。
【0102】
Ｑ．命令を格納する１つ以上の非一時的コンピュータ可読媒体であって、前記命令は、１つ以上のプロセッサによって実行されると、前記１つ以上のプロセッサに、
第１の時間において、環境内で動作している車両に関連付けられるセンサデータを受信することと、
前記センサデータを機械学習モデルに入力することであって、前記機械学習モデルは、と、
前記センサデータに少なくとも部分的に基づいて、前記環境内のオブジェクトの位置を判定することと、
前記環境内の追跡されたオブジェクトの推定位置を前記追跡されたオブジェクトによって横断された軌道に少なくとも部分的に基づいて判定することと、
前記位置及び前記推定位置に少なくとも部分的に基づいて前記オブジェクトを前記追跡されたオブジェクトと関連付けることと、
を行うように構成されている、ことと、
前記機械学習モデルからの出力として、前記位置及び前記軌道のインディケーションを受信することと、
前記出力に少なくとも部分的に基づいて前記車両を制御することと、
を含む動作を実行させる、１つ以上の非一時的コンピュータ可読媒体。
第１の時間において、環境内で動作している車両に関連付けられるセンサデータを受信することと、
前記センサデータを機械学習モデルに入力することであって、前記機械学習モデルは、と、
前記センサデータに少なくとも部分的に基づいて、前記環境内のオブジェクトの位置を判定することと、
前記環境内の追跡されたオブジェクトの推定位置を前記追跡されたオブジェクトによって横断された軌道に少なくとも部分的に基づいて判定することと、
前記位置及び前記推定位置に少なくとも部分的に基づいて前記オブジェクトを前記追跡されたオブジェクトと関連付けることと、
を行うように構成されている、ことと、
前記機械学習モデルからの出力として、前記位置及び前記軌道のインディケーションを受信することと、
前記出力に少なくとも部分的に基づいて前記車両を制御することと、
を含む動作を実行させる、１つ以上の非一時的コンピュータ可読媒体。
【0103】
Ｒ．位置及び推定位置は、第１の時間に関連付けられ、追跡されたオブジェクトは、第１の時間より前に軌道を横断した、段落Ｑに記載の１つ以上の非一時的コンピュータ可読媒体。
【0104】
Ｓ．追加のセンサデータは、前記第１の時間よりも前の一定期間にわたる前記オブジェクトを表す、段落Ｑまたは段落Ｒに記載の１つ以上の非一時的コンピュータ可読媒体。
【0105】
Ｔ．前記機械学習モデルは、
前記オブジェクトを前記追跡されたオブジェクトと関連付けることに少なくとも部分的に基づいて、前記軌道が前記位置を交差するように前記追跡されたオブジェクトによって横断された前記軌道を更新することと、
前記機械学習モデルがアクセス可能なメモリに更新された前記軌道を格納することと、
をさらに行うように構成されている、段落Ｑ乃至Ｓのいずれか一項に記載の１つ以上の非一時的コンピュータ可読媒体。
前記オブジェクトを前記追跡されたオブジェクトと関連付けることに少なくとも部分的に基づいて、前記軌道が前記位置を交差するように前記追跡されたオブジェクトによって横断された前記軌道を更新することと、
前記機械学習モデルがアクセス可能なメモリに更新された前記軌道を格納することと、
をさらに行うように構成されている、段落Ｑ乃至Ｓのいずれか一項に記載の１つ以上の非一時的コンピュータ可読媒体。
【0106】
Ｕ．１つ以上のプロセッサと、
命令を格納する１つ以上の非一時的コンピュータ可読媒体と、
を備えたシステムであって、
前記命令は、前記１つ以上のプロセッサによって実行されると、前記システムに、
環境を横断する車両を表す第１の時間順序付けられたフレームの集合を含むセンサデータを受信することと、
前記センサデータに表されている前記環境内のオブジェクトに関連付けられるグラウンドトゥルースデータを受信することであって、前記グラウンドトゥルースデータは、前記オブジェクトに関連付けられるバウンディングボックス、前記オブジェクトによって横断された軌道、及び前記バウンディングボックスを前記軌道に関連付ける識別子を少なくとも示す第２の時間順序付けられたフレームの集合を含む、ことと、
前記車両に関連付けられる機械学習モデルに前記センサデータを入力することと、
前記機械学習モデルから出力を受信することであって、前記出力は、前記オブジェクトに関連付けられる予測されたバウンディングボックスと、前記オブジェクトによって横断される予測軌道とを少なくとも含む、ことと、
前記グラウンドトゥルースデータと前記出力との間の差異を判定することと、
前記差異が閾値差異を満たす、または超えることに少なくとも部分的に基づいて、前記グラウンドトゥルースデータと前記出力との間の差異が最小化されるように、前記機械学習モデルをエンドツーエンドでトレーニングすることと、
を含む動作を実行させるシステム。
命令を格納する１つ以上の非一時的コンピュータ可読媒体と、
を備えたシステムであって、
前記命令は、前記１つ以上のプロセッサによって実行されると、前記システムに、
環境を横断する車両を表す第１の時間順序付けられたフレームの集合を含むセンサデータを受信することと、
前記センサデータに表されている前記環境内のオブジェクトに関連付けられるグラウンドトゥルースデータを受信することであって、前記グラウンドトゥルースデータは、前記オブジェクトに関連付けられるバウンディングボックス、前記オブジェクトによって横断された軌道、及び前記バウンディングボックスを前記軌道に関連付ける識別子を少なくとも示す第２の時間順序付けられたフレームの集合を含む、ことと、
前記車両に関連付けられる機械学習モデルに前記センサデータを入力することと、
前記機械学習モデルから出力を受信することであって、前記出力は、前記オブジェクトに関連付けられる予測されたバウンディングボックスと、前記オブジェクトによって横断される予測軌道とを少なくとも含む、ことと、
前記グラウンドトゥルースデータと前記出力との間の差異を判定することと、
前記差異が閾値差異を満たす、または超えることに少なくとも部分的に基づいて、前記グラウンドトゥルースデータと前記出力との間の差異が最小化されるように、前記機械学習モデルをエンドツーエンドでトレーニングすることと、
を含む動作を実行させるシステム。
【0107】
Ｖ．センサデータは、画像データ、ライダーデータ、レーダーデータ、または飛行時間データのうちの少なくとも１つを含む、段落Ｕに記載のシステム。
【0108】
Ｗ．前記機械学習モデルは、第１の部分及び第２の部分を含み、前記第１の部分は、前記予測されたバウンディングボックスを判定するように構成され、前記第２の部分は、前記予測されたバウンディングボックスに少なくとも部分的に基づいて前記予測軌道を判定するように構成され、前記機械学習モデルをエンドツーエンドでトレーニングすることは、前記機械学習モデルの前記第１の部分の出力が前記機械学習モデルの前記第２の部分への入力として使用できるように調整されるように、前記機械学習モデルの前記第１の部分をトレーニングすることを含み、前記第１の部分の出力は、少なくとも予測されたバウンディングボックスを含む、段落Ｕ乃至Ｖのいずれか一項に記載のシステム。
【0109】
Ｘ．時間順序付けられたフレームの集合のうちの第１のフレームは、現在時間における前記環境内のオブジェクトの第１の位置を示し、前記時間順序付けられたフレームの集合のうちの第２のフレームは、前の時間における軌道に沿ったオブジェクトの第２の位置を示す、段落Ｕ乃至Ｗのいずれか一項に記載のシステム。
【0110】
Ｙ．環境を横断する車両に関連付けられるセンサデータを受信することであって、前記センサデータは、一定期間にわたる前記環境内のオブジェクトを表す、ことと、
前記センサデータに関連付けられるグラウンドトゥルースデータを受信することであって、前記グラウンドトゥルースデータは、前記環境内のオブジェクトの位置を示す少なくともバウンディングボックスを示す、ことと、
前記センサデータを機械学習モデルに入力することと、
前記環境内のオブジェクトの予測位置を示す少なくとも予測されたバウンディングボックスを含む出力を前記機械学習モデルから受信することと、
前記位置と前記予測位置の間の差異を判定することと、
前記差異に少なくとも部分的に基づいて、前記差異を最小化するために前記機械学習モデルのパラメータを変更することと、
を含む方法。
前記センサデータに関連付けられるグラウンドトゥルースデータを受信することであって、前記グラウンドトゥルースデータは、前記環境内のオブジェクトの位置を示す少なくともバウンディングボックスを示す、ことと、
前記センサデータを機械学習モデルに入力することと、
前記環境内のオブジェクトの予測位置を示す少なくとも予測されたバウンディングボックスを含む出力を前記機械学習モデルから受信することと、
前記位置と前記予測位置の間の差異を判定することと、
前記差異に少なくとも部分的に基づいて、前記差異を最小化するために前記機械学習モデルのパラメータを変更することと、
を含む方法。
【0111】
Ｚ．前記機械学習モデルのパラメータを変更することは、機械学習モデルの第１の部分及び機械学習モデルの第２の部分が前記出力に少なくとも部分的に基づいてそれぞれトレーニングされるように、機械学習モデルをエンドツーエンドでトレーニングすることを含む、段落Ｙに記載の方法。
【0112】
ＡＡ．前記機械学習モデルは、第１の部分及び第２の部分を含み、前記第１の部分は、予測されたバウンディングボックスを判定するように構成され、前記第２の部分は、前記予測されたバウンディングボックスに少なくとも部分的に基づいて予測軌道を判定するように構成される、段落Ｙ乃至Ｚのいずれか一項に記載の方法。
【0113】
ＢＢ．前記差異は、第１の差異であり、前記グラウンドトゥルースデータは、前記オブジェクトによって横断された軌道をさらに示し、前記出力は、前記オブジェクトによって横断される予測軌道をさらに含み、前記方法は、前記軌道及び前記予測軌道の間の第２の差異を判定することをさらに含み、前記機械学習モデルのパラメータを変更することは、前記第２の差異に少なくとも部分的にさらに基づく、段落Ｙ乃至ＡＡのいずれか一項に記載の方法。
【0114】
ＣＣ．前記差異は、第１の差異であり、前記バウンディングボックスは、前記オブジェクトの向きをさらに示し、前記予測されたバウンディングボックスは、前記オブジェクトの予測される向きをさらに示し、前記方法は、前記オブジェクトの向きと前記オブジェクトの予測される向きとの間の第２の差異を判定することをさらに含み、前記機械学習モデルのパラメータを変更することは、第２の差異に少なくとも部分的にさらに基づく、段落Ｙ乃至ＢＢのいずれか一項に記載の方法。
【0115】
ＤＤ．前記機械学習モデルのパラメータを変更することは、前記差異に少なくとも部分的に基づいて、前記機械学習モデルのソフトウェアコンポーネントをアップデートすることを含む、段落Ｙ乃至ＣＣのいずれか一項に記載の方法。
【0116】
ＥＥ．センサデータは、画像データ、ライダーデータ、レーダーデータ、または飛行時間データのうちの少なくとも１つを含む、段落Ｙ乃至ＤＤのいずれか一項に記載の方法。
【0117】
ＦＦ．オブジェクトは、別の車両、歩行者またはサイクリストのうちの少なくとも１つである、段落Ｙ乃至ＥＥのいずれか一項に記載の方法。
【0118】
ＧＧ．グラウンドトゥルースデータは、オブジェクトによって横断された軌道をバウンディングボックスと関連付ける識別子をさらに含む、段落Ｙ乃至ＦＦのいずれか一項に記載の方法。
【0119】
ＨＨ．機械学習モデルのパラメータを変更した後、環境を横断する際に使用するために機械学習モデルを車両に送信することをさらに含む、段落Ｙ乃至ＧＧのいずれか一項に記載の方法。
【0120】
ＩＩ．前記機械学習モデルは、前記環境内のオブジェクトの位置を示す予測されたバウンディングボックスを判定するように構成された第１の部分と、前記オブジェクトに関連付けられる追跡データに少なくとも部分的に基づいて前記環境内のオブジェクトの予測位置を判定し、前記位置及び前記予測位置に少なくとも部分的に基づいて前記予測されたバウンディングボックスを前記追跡データと関連付け、前記位置及び前記追跡データに少なくとも部分的に基づいて前記オブジェクトによって横断される予測軌道を判定するように構成された第２の部分とを含む、段落Ｙ乃至ＨＨのいずれか一項に記載の方法。
【0121】
ＪＪ．命令を格納する１つ以上の非一時的コンピュータ可読媒体であって、前記命令は、１つ以上のプロセッサによって実行されると、前記１つ以上のプロセッサに、
環境を横断する車両に関連付けられるセンサデータを受信することであって、前記センサデータは、一定期間にわたる前記環境内のオブジェクトを表す、ことと、
前記センサデータに関連付けられるグラウンドトゥルースデータを受信することであって、前記グラウンドトゥルースデータは、前記環境内のオブジェクトの位置を示す少なくともバウンディングボックスを示す、ことと、
前記センサデータを機械学習モデルに入力することと、
前記環境内のオブジェクトの予測位置を示す少なくとも予測されたバウンディングボックスを含む出力を前記機械学習モデルから受信することと、
前記位置と前記予測位置の間の差異を判定することと、
前記差異に少なくとも部分的に基づいて、前記差異を最小化するために前記機械学習モデルのパラメータを変更することと、
を含む動作を実行させる、１つ以上の非一時的コンピュータ可読媒体。
環境を横断する車両に関連付けられるセンサデータを受信することであって、前記センサデータは、一定期間にわたる前記環境内のオブジェクトを表す、ことと、
前記センサデータに関連付けられるグラウンドトゥルースデータを受信することであって、前記グラウンドトゥルースデータは、前記環境内のオブジェクトの位置を示す少なくともバウンディングボックスを示す、ことと、
前記センサデータを機械学習モデルに入力することと、
前記環境内のオブジェクトの予測位置を示す少なくとも予測されたバウンディングボックスを含む出力を前記機械学習モデルから受信することと、
前記位置と前記予測位置の間の差異を判定することと、
前記差異に少なくとも部分的に基づいて、前記差異を最小化するために前記機械学習モデルのパラメータを変更することと、
を含む動作を実行させる、１つ以上の非一時的コンピュータ可読媒体。
【0122】
ＫＫ．前記機械学習モデルのパラメータを変更することは、機械学習モデルの第１の部分及び機械学習モデルの第２の部分が前記出力に少なくとも部分的に基づいてそれぞれトレーニングされるように、機械学習モデルをエンドツーエンドでトレーニングすることを含む、段落ＪＪに記載の１つ以上の非一時的コンピュータ可読媒体。
【0123】
ＬＬ．前記機械学習モデルは、第１の部分及び第２の部分を含み、前記第１の部分は、予測されたバウンディングボックスを判定するように構成され、前記第２の部分は、前記予測されたバウンディングボックスに少なくとも部分的に基づいて予測軌道を判定するように構成される、段落ＪＪ乃至ＫＫのいずれか一項に記載の１つ以上の非一時的コンピュータ可読媒体。
【0124】
ＭＭ．前記差異は、第１の差異であり、前記グラウンドトゥルースデータは、前記オブジェクトによって横断された軌道をさらに示し、前記出力は、前記オブジェクトによって横断される予測軌道をさらに含み、前記方法は、前記軌道及び前記予測軌道の間の第２の差異を判定することをさらに含み、前記機械学習モデルのパラメータを変更することは、前記第２の差異に少なくとも部分的にさらに基づく、段落ＪＪ乃至ＬＬのいずれか一項に記載の１つ以上の非一時的コンピュータ可読媒体。
【0125】
ＮＮ．前記機械学習モデルのパラメータを変更することは、前記差異に少なくとも部分的に基づいて、前記機械学習モデルのソフトウェアコンポーネントをアップデートすることを含む、段落ＪＪ乃至ＭＭのいずれか一項に記載の１つ以上の非一時的コンピュータ可読媒体。
【0126】
上記で説明した条項の例は、１つの特定の実装に関して説明されているが、この文書のコンテキストでは、条項の例の内容は、方法、デバイス、システム、コンピュータ可読媒体、及び／または他の実装を介して実装されてもよいことを理解されたい。
【0127】
結び
本明細書に記載の技術の１つまたは複数の例を説明したが、それらの様々な変更、追加、置換、及び等価物は、本明細書に記載の技術の範囲内に含まれる。
本明細書に記載の技術の１つまたは複数の例を説明したが、それらの様々な変更、追加、置換、及び等価物は、本明細書に記載の技術の範囲内に含まれる。
【0128】
実施例の説明においては、本明細書の一部を形成する添付図面が参照され、これらの図面は、例示として、特許請求される主題の特定の実施例を示している。他の例を使用することができ、構造的変更などの変更または改変を行うことができることを理解されたい。このような例、変更または改変は、必ずしも意図された特許請求の主題に関する範囲から逸脱するものではない。本明細書のステップは特定の順序で示され得るが、場合によっては、説明されるシステム及び方法の機能を変更することなく、特定の入力が異なる時または異なる順序で提供されるように、順序が変更されてもよい。開示された手順は、異なる順序で実行することもできる。本明細書で説明される様々な計算は、開示された順序で実行される必要はなく、計算の代替順序を使用する他の例も容易に実装することができる。計算を並べ替えるだけでなく、同じ結果が得られるサブ計算に分解することもできる。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【国際調査報告】