特表2024-528425 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

青山学院大学 (神奈川県相模原市中央区淵野辺)

▶ ズークス　インコーポレイテッドの特許一覧

特表2024-528425オブジェクト軌道に基づくアクティブ予測

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4
5A
5B

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-07-30

(54)【発明の名称】オブジェクト軌道に基づくアクティブ予測

(51)【国際特許分類】

G08G 1/16 20060101AFI20240723BHJP

B60W 30/095 20120101ALI20240723BHJP

【ＦＩ】

G08G1/16 A

B60W30/095

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023577921

(86)(22)【出願日】2022-06-08

(85)【翻訳文提出日】2024-02-19

(86)【国際出願番号】 US2022032728

(87)【国際公開番号】W WO2022265901

(87)【国際公開日】2022-12-22

(31)【優先権主張番号】17/351,642

(32)【優先日】2021-06-18

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ブルートゥース

(71)【出願人】

【識別番号】518156417

【氏名又は名称】ズークスインコーポレイテッド

(74)【代理人】

【識別番号】110001243

【氏名又は名称】弁理士法人谷・阿部特許事務所

(72)【発明者】

【氏名】マリンコビラロフ

(72)【発明者】

【氏名】リーチャオマー

(72)【発明者】

【氏名】チョンヒョンパク

(72)【発明者】

【氏名】マシューヴァンフーケロム

【テーマコード（参考）】

3D241

5H181

【Ｆターム（参考）】

3D241BA32

3D241DC18Z

3D241DC20Z

3D241DC25Z

3D241DC33Z

5H181AA01

5H181BB20

5H181CC03

5H181CC04

5H181CC11

5H181CC14

5H181FF04

5H181FF05

5H181FF21

5H181LL01

5H181LL02

5H181LL04

5H181LL09

5H181LL14

(57)【要約】

車両の環境内で検出されたオブジェクトとの衝突を正確に予測し、回避するための技術が本明細書で説明される。車両コンピューティングデバイスは、モデルを実装して、将来的にオブジェクトと車両との間の潜在的な交点のコストを示すデータを出力することができる。モデルは、制御ポリシーおよびタイムステップ積分器を使用して、オブジェクトが車両と交差し得るかどうかを決定し得、その場合、技術は、車両を制御するための車両コンピューティングデバイスによる車両アクションを予測することを含み得る。

【特許請求の範囲】

【請求項1】

車両に関連付けられた軌道の第１のセット及びオブジェクトに関連付けられた予測軌道の第２のセットを受信するステップと、
前記第１のセットの第１の軌道及び前記第２のセットの第２の予測軌道に基づいて、予測された交点を決定するステップと、
前記オブジェクトに関連付けられた前記第２の予測軌道に対して前記車両が実行するアクションをシミュレートするステップと、
前記予測された交点及び制御ポリシーに基づいて、前記オブジェクトに関連付けられた更新された予測軌道を決定するステップと、
前記アクション及び前記更新された予測軌道に少なくとも部分的に基づいて、前記車両の候補軌道を決定するステップと、
を含む方法。

【請求項2】

前記アクションに関連付けられたコストを決定するステップと、
前記コストに少なくとも部分的に基づいて、環境内で前記車両を制御するステップと、をさらに含む、請求項１に記載の方法。

【請求項3】

前記車両に関連付けられた前記第１の軌道に対して前記オブジェクトが実行するためのアクションを決定するステップと、をさらに含む、請求項１又は２に記載の方法。

【請求項4】

環境の離散化された部分を表す複数のグリッドポイントを含む占有グリッドを決定するステップと、
前記占有グリッドのグリッドポイントにおける前記車両の第１の占有及び前記オブジェクトの第２の占有に少なくとも部分的に基づいて、前記第１の軌道と前記第２の予測軌道との間の前記予測された交点を決定するステップと、をさらに含む、請求項１乃至３のいずか１項に記載の方法。

【請求項5】

前記予測された交点を決定するステップは、前記車両または前記オブジェクトのうちの１つまたは複数に関連付けられた状態データに少なくとも部分的に基づいている、請求項４に記載の方法。

【請求項6】

前記車両の環境のマップデータを受信するステップと、
機械学習モデルによって、前記更新された予測軌道をさらに前記マップデータに少なくとも部分的に基づいて決定するステップと、をさらに含む、請求項１乃至５のいずか１項に記載の方法。

【請求項7】

前記制御ポリシーは、道路、交差点、または前記車両によって航行可能な表面のうちの１つまたは複数に関連付けられたルールを示す、請求項１乃至６のいずか１項に記載の方法。

【請求項8】

前記更新された予測軌道を決定するステップは、さらにツリー探索に少なくとも部分的に基づいている、請求項１乃至７のいずか１項に記載の方法。

【請求項9】

前記車両に関連付けられた前記軌道の第１のセットと、前記オブジェクトに関連付けられた前記予測軌道の第２のセットとの間の複数の組み合わせを決定するステップと、
前記複数の組み合わせを処理のために並列処理ユニットに入力するステップと、
前記並列処理ユニットによる出力に少なくとも部分的に基づいて、前記予測された交点を決定するステップと、をさらに含む、請求項１乃至８のいずか１項に記載の方法。

【請求項10】

前記アクションは、第１の時間に関連付けられた第１のアクションであり、
前記第１のアクション及び前記制御ポリシーに少なくとも部分的に基づいて、前記第１の時間の後の第２の時間において前記車両のための第２のアクションをシミュレートするステップと、をさらに含む、請求項１乃至９のいずか１項に記載の方法。

【請求項11】

前記オブジェクトは、第１のオブジェクトであり、
前記第１のオブジェクトが第１の時間に前記予測された交点に関連付けられていると決定するステップと、
前記第１の時間の後の第２の時間において、第２のオブジェクトが前記予測された交点に関連付けられていると決定するステップと、
前記第２の時間において前記予測された交点に関連付けられている前記第２のオブジェクトに少なくとも部分的に基づいて、前記第１のオブジェクトまたは前記第２のオブジェクトに関連付けられた前記更新された予測軌道を決定するステップと、をさらに含む、請求項１乃至１０のいずか１項に記載の方法。

【請求項12】

コンピュータ上で実行されると、請求項１から１１のいずれかに記載の方法を実装するコード化された命令を含むコンピュータプログラム製品。

【請求項13】

１つまたは複数のプロセッサと、
前記１つまたは複数のプロセッサによって実行可能な命令を格納する１つまたは複数の非一時的なコンピュータ可読媒体と、
を備えたシステムであって、前記命令は、実行されると、前記システムに、
車両に関連付けられた軌道の第１のセット及びオブジェクトに関連付けられた予測軌道の第２のセットを受信することと、
前記第１のセットの第１の軌道及び前記第２のセットの第２の予測軌道に基づいて、予測された交点を決定することと、
前記オブジェクトに関連付けられた前記第２の予測軌道に対して前記車両が実行するアクションをシミュレートすることと、
前記予測された交点及び制御ポリシーに基づいて、前記オブジェクトに関連付けられた更新された予測軌道を決定することと、
前記アクション及び前記更新された予測軌道に少なくとも部分的に基づいて、前記車両の候補軌道を決定することと、
を含む動作を実行させる、システム。

【請求項14】

前記車両に関連付けられた前記軌道の第１のセットと、前記オブジェクトに関連付けられた前記予測軌道の第２のセットとの間の複数の組み合わせを決定することと、
前記複数の組み合わせを処理のために並列処理ユニットに入力することと、
をさらに含む、請求項１３に記載のシステム。

【請求項15】

前記制御ポリシーは、物理ポリシー、力学ポリシー、運動学ポリシー、または通行権ポリシーのうちの少なくとも１つを示し、前記通行権ポリシーは、道路、交差点、または前記車両によって航行可能な表面のうちの１つまたは複数に関連付けられた、請求項１３又は１４に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、オブジェクト軌道に基づくアクティブ予測するための技術に関する。

【背景技術】

【0002】

本出願は、２０２１年６月１８日に出願された「オブジェクトトラフェクトリーに基づくアクティブ予測」という名称の米国特許出願第１７／３５１、６４２号に対する優先権を主張し、その全体が参照により本明細書に組み込まれる。

【0003】

自律型および半自律型車両におけるプランニングシステムは、動作環境において車両がとるべきアクションを決定する。車両のアクションは、環境内に存在するオブジェクトを回避することに部分的に基づいて決定され得る。例えば、アクションは、プラニングシステムによって生成され、歩行者に譲歩したり、車線を変更して道路上の別の車両を回避したりすることができる。知覚システムは、センサからのセンサデータを利用して環境を「見る」ことで、プラニングシステムが、検出されたオブジェクトが車両の潜在的なアクション及ぼす影響を決定することを可能にする。しかしながら、そのようなシステムの複雑さは、特にますます複雑なシナリオに適用される場合、そのようなシステムの信頼性の検査を妨げる可能性がある。

【図面の簡単な説明】

【0004】

詳細な説明は添付の図面を参照して説明される。図面において、参照番号の左端の数字は参照番号が最初に現れる図を特定している。異なる図面における同じ参照番号の使用は、類似または同一のコンポーネントまたは特徴を示す。

【図1】例示的な車両がモデルを適用して、１つまたは複数の例示的なオブジェクトとの衝突の可能性を示す交差点値を予測する例示的な環境を示す図である。

【図2】１つまたは複数のモデルが、将来の時間における１つまたは複数のオブジェクトと車両との間の潜在的な相互作用を決定する別の例示的な環境を示す図である。

【図3】１つまたは複数のモデルが、将来の時間における潜在的な車両状態および／またはオブジェクト状態を決定する別の例示的な環境を示す図である。

【図4】本明細書で説明される技術を実装するための例示的なシステムのブロック図である。

【図5A】１つまたは複数の例示的なモデルを使用して潜在的な交点を決定するための例示的なプロセスを示すフローチャートの第１の部分である。

【図5B】１つまたは複数の例示的なモデルを使用して潜在的な交差点を決定するための例示的なプロセスを示すフローチャートの第２の部分である。

【発明を実施するための形態】

【0005】

本明細書では、他のオブジェクトとの潜在的な相互作用に基づいて、オブジェクトおよび／または車両の軌道を予測するための技術について説明する。技術は、モデルを実装する車両コンピューティングデバイスを含み、複数のオブジェクト間の現実的な相互作用を決定し、自律車両のアクションを決定するときの処理を改善することができる。例えば、モデルは、オブジェクトに関連付けられた予測されたオブジェクト軌道のセットを受信し、車両軌道を受信および／または決定し、オブジェクトに関連付けられた予測された軌道に基づいてオブジェクト軌道および／または車両軌道の間の予測された交差点を決定し、自律車両の潜在的なアクションを決定し、制御ポリシーに基づいてオブジェクトを回避し得る。様々な例では、モデルはまた、自律車両を制御するための各車両アクションのコストを決定し得る。本明細書に記載の技術を実装することによって、オブジェクトおよび車両の将来の状態を正確かつ効率的に処理および識別することができ、それによって車両の全体的な安全性を向上させることができる。

【0006】

一般に、車両コンピューティングデバイスによって実装されるモデル（例えば、アクティブ予測コンポーネント）は、将来の環境における車両（またはオブジェクト）と別のオブジェクトとの間の相互作用を決定する機能を提供し得る。例えば、モデルは、オブジェクト軌道と車両軌道との間の交差点を識別することに基づいて、将来的に車両軌道と交差する可能性が最も高いオブジェクトを決定することができる。さらに、モデルは、制御ポリシー（例えば、オブジェクトおよび／または車両間の道路のルールを識別する情報）に少なくとも部分的に基づいて、オブジェクト軌道に対する車両の将来の状態を予測することができる。将来の状態は、将来の異なる時間に車両によって実行されるアクションを表すことができる。いくつかの例では、車両は、モデルによって出力されるデータに少なくとも部分的に基づいて環境内で制御され得る。

【0007】

いくつかの例では、予測コンポーネントは、環境内のオブジェクトに関連付けられた予測された軌道を決定することができる。例えば、車両（自律車両など）、第１のオブジェクト、および第２のオブジェクトを有する環境では、予測コンポーネントは、各オブジェクトに関連付けられた予測された軌道を決定し得る。さらに、プランニングシステムは、車両に関連付けられたいくつかの潜在的なアクションを決定し得る。いくつかの場合では、予測された軌道は、マップデータおよびオブジェクトに関連付けられた可能なアクションに基づいてもよい。しかしながら、オブジェクトが第１の予測された軌道に従う（または車両が第１のアクションを取る）場合、それは、環境内の他のオブジェクトの挙動に影響を与え得る。したがって、技術は、車両／オブジェクトペアまたはオブジェクト／オブジェクトペアの軌道のいくつかまたはすべてのペアごとの組み合わせを決定し、そのようなペア（またはその選択されたサブセット）に関連付けられた潜在的な相互作用（例えば、交差点）を決定することを含む。環境をシミュレートすることができ、オブジェクトおよび／または可能なアクションの予測された軌道を、オブジェクトおよび／または車両の潜在的な相互作用を考慮に入れるために更新または調整することができ、これは、環境内のオブジェクトのより正確な予測およびシミュレーションを提供することができる。

【0008】

いくつかの例では、モデルは、各オブジェクトに関連付けられたオブジェクト状態データおよび車両に関連付けられた車両状態データに基づいて、複数のオブジェクトのうちのどれが最初に車両との交差点に到達するかを決定し得る。例えば、モデルは、１つまたは複数のセンサを使用して車両の環境を取り囲むオブジェクトを検出および予測する車両の知覚コンポーネントから、オブジェクト状態データ（例えば、位置データ、向きデータ、進路データ、速度データ、スピードデータ、加速度データ、ヨーレートデータ、またはオブジェクトに関連付けられた回転レートデータ）および／または車両状態データ（例えば、位置データ、向きデータ、進路データ、速度データ、スピードデータ、加速度データ、ヨーレートデータ、または車両に関連付けられた回転レートデータ）を受信することができる。様々な例では、モデルは、センサデータ、マップデータ、または他の入力データを受信し、２つまたは複数のオブジェクト間の相互作用および／またはオブジェクトと車両との間の相互作用を識別することができる。２つのオブジェクト間で予測される交差点の例では、モデルは、動力学、運動学、および／またはグリッドに基づいて、最初に車両との交差点に到達するオブジェクトを識別し、車両のアクション（例えば、ステアリングアクション、加速アクションなど）を予測し、車両と相互作用する可能性が最も高いオブジェクトを回避することができる。

【0009】

いくつかの例では、本明細書で説明される技術は、モデルを実装することを含み、車両コンピューティングデバイスによって使用可能な交差点情報を決定し、車両を制御（例えば、制御ステアリング、ブレーキ、加速度など）することができる。例えば、車両コンピューティングデバイスは、車両の候補軌道を決定するなどのプランニング動作で使用するために、モデルから交差点情報を受信することができる。様々な例では、車両は、車両によって使用可能なオブジェクトとの潜在的な交点の指示を受信し、オブジェクトを素早くおよび／または先制的に回避する、またはオブジェクトの予測される軌道を更新することができ、それによって車両の安全性を改善する。さらに、処理動作の態様は、効率的な処理のために並列化され、並列プロセッサユニット（ＧＰＵなど）に入力され得る。したがって、本明細書に記載の技術を実装することは、また、予測の精度を改善しながら、利用可能な計算リソース（例えば、メモリおよび／またはプロセッサの割り当てまたは使用）を効率的に利用することができる。

【0010】

様々な例では、モデルは、環境内の離散化された部分（それ以外の場合、本明細書でピクセルと呼ばれ得る）を表す複数のグリッドポイントを含む占有グリッドに少なくとも部分的に基づいて、オブジェクトと車両との間の予測される交差点を決定し得る。様々な例では、モデルは、オブジェクト状態データ、車両状態データ、センサデータ、マップデータ、または他の入力データを処理し、オブジェクトとの交差を回避する車両による潜在的なアクションを決定することができる（例えば、将来のオブジェクト状態および将来の車両状態は、１つまたは複数のＧＰＵによって並列に決定することができる）。潜在的な交差点を決定するための追加の詳細は、図２および３に関連するものも含めて、本明細書に記載されている。

【0011】

いくつかの例において、車両は、車両の１つまたは複数のセンサからセンサデータを受信するように構成される車両コンピューティングデバイスを有する自律または半自律車両を含んでよい。車両は、環境内をナビゲートしながら、１つまたは複数のセンサを使用してオブジェクトを検出し得る。オブジェクトは、静的オブジェクト（例えば、地上レベル、建物、橋、標識など）、および他の車両（例えば、車、トラック、オートバイ、原付など）、歩行者、自転車運転者などの動的オブジェクトを含み得る。いくつかの例において、オブジェクトは、車両のセンサ（例えば、カメラ、モーション検出器、ライダーセンサ、レーダーセンサなど）からのセンサデータに基づいて検出されてよい。さらに別の例として、オブジェクトは、例えば、複数の車両とデータを共有するように構成された環境内に位置する別の車両またはセンサに関連付けられたセンサなどのリモートセンサから受信されたセンサデータに基づいて検出され得る。検出されたオブジェクトを表すセンサデータは、モデルによって使用可能な入力データを決定し、オブジェクトに関連付けられた交差確率を予測するために利用され得る。

【0012】

いくつかの例では、オブジェクト軌道および／またはオブジェクトアクションのペアごとの組み合わせの数が大きくなる可能性がある。例えば、３つのアクションが車両に対して考慮され、３つの軌道がオブジェクトに対して考慮される場合は、９つの可能な組み合わせを含むことができる。いくつかの例では、そのような組み合わせのための潜在的な相互作用は、ＧＰＵなどの並列プロセッサで処理を実装することによって、および／または複数のＧＰＵによって並列して決定され得、それによって、リアルタイムで潜在的な相互作用をより効率的に処理する。

【0013】

いくつかの例では、モデルは、処理リソース（例えば、プロセッサ量、プロセッササイクル、プロセッサコア、プロセッサ位置、プロセッサタイプなど）を定義し、車両との潜在的な交差点に関連付けられた交差確率を予測するために使用し得る。モデルを実装する車両コンピューティングデバイスは、（例えば、中央処理装置（ＣＰＵ）、グラフィックス処理装置（ＧＰＵ）、マルチコアプロセッサなど）異なるプロセッサを有し得る。モデルは、処理リソースを定義し、予測を出力する最も効率的な（例えば、最小量の計算時間を使用する）プロセッサを利用し得る。いくつかの例では、モデルは、ＧＰＵ、ＣＰＵ、またはそれらの組み合わせを使用して、オブジェクトおよび／または車両に関連付けられたデータを処理することによって交差点値を予測し得る。このようにして、モデルは、モデルが最小量の時間で予測を実行することを可能にする処理リソースを利用する（例えば、車両のプランニング考慮事項で交差点値を使用する）ように定義され得る。したがって、モデルは、利用可能な処理リソースを最大限に活用し、オブジェクトに関連して車両がどのように航行するかを改善し得るより多くの予測を可能にし得る。

【0014】

本明細書に記載されるように、モデルは、機械学習モデル、統計モデル、またはそれらの組み合わせを表し得る。すなわち、モデルは、出力（例えば、予測）の精度を改善するために訓練データセットから学習する機械学習モデルを指し得る。追加的または代替的に、モデルは、予測を行うのに使用可能な近似を生成する論理および／または数学的関数を表す統計モデルを指し得る。

【0015】

本明細書で説明する技術は、多くの方法で車両のコンピューティングデバイスの機能を改善することができる。例えば、モデルは、環境内でどのオブジェクトを処理するかを識別し、車両による不要なアクションを防止し、および／または車両の挙動に関連する予測を改善し得る。いくつかの例では、モデルは、車両が車両の周囲の環境の状態に基づいて必要とされない追加のアクションを取ることを防止することによって、車両の機能および安全性を改善する。さらに、本明細書に記載の技術は、例えば、必要とされないときに急ブレーキまたは急ハンドルを回避するなど、乗客の快適性および／または車両の安全性を改善することができる。技術は、（モデルを実装しない場合と比較して）利用可能なリースへの影響を制限する動作を実行することによって利用可能な計算リソースを最適化するモデルを含むことができる。例えば、車両コンピューティングデバイスによるモデルからの出力データを利用することは、車両が環境内の潜在的な衝突に応答するための精度を向上させ、および／または待ち時間を低減することができる。

【0016】

様々な例では、モデルを実装することは、将来的に１つまたは複数のオブジェクトに関連付けられる複数の予測される軌道の表示を出力することによって車両の安全性を改善することができる。例えば、車両について決定された経路または軌道（例えば、候補軌道）は、各オブジェクトの複数の予測された軌道の考慮に少なくとも部分的に基づいてもよい。いくつかの例では、複数のオブジェクトの複数の軌道をモデルによって処理して、どのオブジェクトおよび関連する軌道が車両と相互作用する可能性が最も高いかを識別することができ、それによって、プランニングコンポーネントが、オブジェクトを回避する可能性が最も高い車両の経路または軌道を選択することを可能にする。モデルを実装することによって、複数のオブジェクト軌道への考慮、および各オブジェクトによる潜在的なアクション、および／またはシミュレーションにおける車両による潜在的なアクションを、車両が従うべき最も安全な可能なルートが決定される前に、実質的にリアルタイムで決定され得る。

【0017】

本明細書で説明される技法は、いくつかのやり方で実施することができる。以下、図を参照しながら実施例を提示する。自律車両の文脈で説明されているが、本明細書に記載される方法、装置、およびシステムは、様々なシステムに適用することができ、自律車両に限定されない。別の例において、技術は、航空または航海の文脈で、またはセンサデータを使用する任意のシステムで利用することができる。さらに、本明細書で説明される技術は、実データ（例えば、センサを用いてキャプチャされた）、模擬データ（例えば、シミュレーターによって生成された）、またはその２つの任意の組合せで用いることができる。

【0018】

図１は、例示的な予測モデル（アクティブ予測コンポーネント１０４）が入力データ１０６を受信し、出力データ１０８を決定し得る環境１００における自律車両（車両１０２）を示す図である。車両コンピューティングデバイス（例えば、車両コンピューティングデバイス４０４）および／またはリモートコンピューティングデバイス（例えば、コンピューティングデバイス４３６）は、車両１０２のアクティブ予測コンポーネント１０４を実装し得る。別個のシステムとして説明されているが、いくつかの例では、本明細書で説明される予測技術は、他の車両システム、コンポーネント、および／またはコンピューティングデバイスによって実装され得る。例えば、図４に関してさらに詳細に説明されるように、本明細書で説明される交差予測技術は、位置決めコンポーネント４２０、知覚コンポーネント４２２、予測コンポーネント４２４、および／またはプランニングコンポーネント４２６によって、またはそれらと関連して、少なくとも部分的に実装され得る。

【0019】

いくつかの例では、入力データ１０６は、車両状態データ、オブジェクト状態データ、センサデータ、マップデータ、予測されたオブジェクト軌道、および／または予測された車両軌道のうちの１つまたは複数を含むことができる。例えば、アクティブ予測コンポーネント１０４は、入力データ１０６（例えば、予測されたオブジェクト軌道、予測された車両軌道、オブジェクト位置、車両位置など）を受信し、環境１００内のオブジェクトと車両との間の１つまたは複数の交点のコストを表す出力データ１０８を生成することができる。そのような例では、アクティブ予測コンポーネント１０４は、オブジェクトの状態データ（例えば、位置データ、向きデータ、進路データ、速度データ、スピードデータ、加速度データ、ヨーレートデータ、またはオブジェクトに関連付けられた回転レートデータ）および／または車両の状態データ（例えば、位置データ、向きデータ、進路データ、速度データ、スピードデータ、加速度データ、ヨーレートデータ、または車両に関連付けられた回転レートデータ）を表す入力データを受信し得る。様々な例では、アクティブ予測コンポーネント１０４は、環境１００の静的特徴を表すマップデータを受信することができる（少なくともいくつかの例では、これはまた、車線マーキング、車線速度、道路制御情報（例えば、停止標識、交通信号、横断歩道、学校ゾーン、スピードバンプなど）のための指定を含み得る）。

【0020】

様々な例において、アクティブ予測コンポーネント１０４は、車両１０２が環境１００内を航行している間に出力データ１０８を決定することが可能である。例えば、出力データ１０８は、車両１０２が環境１００内の目的地に航行するときの、将来の異なる時間のための１つまたは複数のオブジェクトまたは車両１０２の将来の状態を表し得る。様々な例において、アクティブ予測コンポーネント１０４は、車両１０２から離れた車両コンピューティングデバイスおよび／またはコンピューティングデバイスの１つまたは複数のコンポーネントから入力データ１０６を受信することが可能であり、入力データ１０６に関連付けられた複数の潜在的な軌道のうちの１つに関連付けられたアクションを決定することができる。

【0021】

様々な例において、アクティブ予測コンポーネント１０４に関連付けられた車両コンピューティングデバイスは、知覚コンポーネント（例えば、知覚コンポーネント４２２）を介してなど、環境１００のオブジェクトを表現するセンサデータを受信するように構成されてよい。いくつかの例において、車両コンピューティングデバイスは、環境１００内のオブジェクトの特性を表すオブジェクト状態データを検出、推測、推定、またはその他の方法で決定し得る。例えば、そのようなオブジェクト状態データは、位置、速度、加速度、サイズ、セマンティックタイプなどを含み得る。いくつかの例では、センサは、車両１０２に取り付けられたセンサを含み得、超音波センサ、レーダーセンサ、光による検知と測距（ＬＩＤＡＲ）センサ、カメラ、マイクロフォン、慣性センサ（例えば、慣性測定ユニット、加速度計、ジャイロなど）、全地球測位衛星（ＧＰＳ）センサなどを含み得るが、これらに限定されない。いくつかの例では、センサは、例えば、別の自律車両に取り付けられたセンサ、および／または環境１００に取り付けられたセンサなどの１つまたは複数のリモートセンサを含み得る。様々な例において、車両１０２は、他の自律車両からデータを伝送および／または受信するように構成されてよい。データは、環境１００に関連付けられたセンサデータなどのセンサデータおよび／または状態データを含み得る。センサデータに基づいてオブジェクト状態データおよび車両状態データを決定する追加の例は、「ＴｒａｊｅｃｔｏｒｙＰｒｅｄｉｃｔｉｏｎｏｎＴｏｐ－ＤｏｗｎＳｃｅｎｅｓ」と題された２０１８年１０月４日に出願された米国特許出願第１６／１５１、６０７号に見出すことができ、これは、参照によりその全体があらゆる目的で本明細書に組み込まれる。追跡オブジェクトの追加の例は、「ＩｍａｇｅＥｍｂｅｄｄｉｎｇｆｏｒＯｂｊｅｃｔＭａｔｃｈｉｎｇ」と題された２０１８年９月２８日に出願された米国特許出願第１６／１４７、３２８号に見出すことができ、これは、参照によりその全体があらゆる目的で本明細書に組み込まれる。境界ボックスを選択する追加の例は、「ＢｏｕｎｄｉｎｇＢｏｘＳｅｌｅｃｔｉｏｎ」と題された２０１８年１１月２７日に出願された米国特許出願第１６／２０１、８４２号に見出すことができ、これは、参照によりその全体があらゆる目的で本明細書に組み込まれる。

【0022】

上述したように、様々な例において、アクティブ予測コンポーネント１０４は、道路、交差点、横断歩道、交通信号、中心線、道路境界、速度バンプ、学校ゾーンなどのうちの１つまたは複数などの環境の固定された特徴を表すマップデータを受信することができる。マップデータは、車両コンピューティングデバイスまたはリモートコンピューティングデバイス（例えば、車両１０２から離れた車両群または他のコンピューティングデバイス内の自律車両に関連付けられたコンピューティングデバイス）の１つまたは複数のコンポーネントから受信することができる。

【0023】

いくつかの例では、車両コンピューティングデバイスは、いくつかの例を挙げると、オブジェクト１１０およびオブジェクト１１２（例えば、車両）、ならびにオブジェクト１１４（例えば、歩行者）などの環境１００内のオブジェクトを検出するように構成され得る。いくつかの例において、車両コンピューティングデバイスは、検出されたオブジェクトごとに、１つまたは複数の軌道（例えば、方向、速度、加速度など）を受信、検出、推論、推定、またはその他の方法で決定するように構成されてよい。図１に示されるように、オブジェクト１１０は、オブジェクト軌道１１６（１）および１１６（２）に関連付けられ、オブジェクト１１２は、オブジェクト軌道１１８（１）および１１８（２）に関連付けられ、オブジェクト１１４は、オブジェクト軌道１２０に関連付けられ、車両１０２は、車両コンピューティングデバイスによって（例えば、知覚コンポーネント４２２、予測コンポーネント４２４、または別のモデルを使用して）決定された車両軌道１２２（１）および１２２（２）に関連付けられる。いくつかの例では、アクティブ予測コンポーネント１０４は、前述のオブジェクト軌道（例えば、１１６（１）、１１６（２）、１１８（１）、１１８（２）、１２０、１２２（１）、および１２２（２））に関連付けられた経路情報を機械学習モデルから受信し得る。図１は、様々なオブジェクトに関連付けられた１つまたは２つの軌道を示しているが、任意の数のオブジェクトが検出され得、任意の数のオブジェクト軌道が各オブジェクトについて予測され得る。トップダウン表現を使用する追加の詳細は、「ＴｒａｊｅｃｔｏｒｙＰｒｅｄｉｃｔｉｏｎｏｎＴｏｐ－ＤｏｗｎＳｃｅｎｅｓ」と題された２０１８年１０月４日に出願された米国特許出願第１６／１５１、６０７号に記載されており、その全体が参照により、あらゆる目的で本明細書に組み込まれる。

【0024】

いくつかの例において、アクティブ予測コンポーネント１０４は、車両１１２に関連付けられた１つまたは複数の経路（例えば、オブジェクト軌道１１８（１）および１１８（２）または他のオブジェクト軌道）に対する潜在的な交点を決定することができる。そのような例では、アクティブ予測コンポーネント１０４によって出力される交差点は、交差点における車両１１２と車両１０２との間の潜在的な交差点を示し得る。潜在的な交差点を決定するさらなる説明は、図２に関連して、および本開示を通して説明される。軌道は、潜在的な交差点に基づいて更新することができ、車両のコストを決定することができる。例えば、車両１０２と相互作用する可能性が最も高いオブジェクト軌道は、シミュレーションを実行するなど、さらなる処理のために選択することができる。軌道を選択するアクティブ予測コンポーネント１０４および／またはコストを決定するアクティブ予測コンポーネント１０４のさらなる説明は、図３および他の箇所で説明される。

【0025】

いくつかの例では、アクティブ予測コンポーネント１０４は、将来の異なる時間における車両状態および／またはオブジェクト状態を決定し得る。アクティブ予測コンポーネント１０４は、シミュレーション中に、車両１１０、車両１１２、歩行者１１４、および／または車両１０２のアクションを決定し得る。例えば、アクション（例えば、ステアリングアクション、ブレーキアクション、加速アクションなど）は、シミュレーション中のある期間（例えば、４秒間のシミュレーション中の毎秒）について決定することができる。様々な例において、アクティブ予測コンポーネント１０４は、車両１０２が環境１００において１つまたは複数の経路（例えば、車両１１２に関連付けられるオブジェクト軌道１１８（１）および１１８（２））に対してナビゲートするために用いることができる車両軌道を選択、決定、またはその他の方法で予測することができる。様々な例において、出力データ１０８は、車両１１２が車両１０２の少なくとも一部と交差する可能性を示すことができる。将来の車両状態および将来のオブジェクト状態に関する追加的な議論は、図３および他の場所に見出すことができる。

【0026】

いくつかの例では、車両コンピューティングデバイスは、出力データ１０８に少なくとも部分的に基づいて、環境における車両１０２を制御し得る（例えば、候補軌道を決定して環境におけるオブジェクトを回避する）。例えば、アクティブ予測コンポーネント１０４は、交差点引き起こす可能性が最も高いオブジェクトを識別し、識別されたオブジェクトに関する交差点情報を車両コンピューティングデバイスの他のコンポーネントに通信する機能を提供し得る。したがって、潜在的な交差点（例えば、オブジェクトと車両との間の交差の確率または可能性）は、動作（例えば、シミュレーション、推定状態、相互作用モデリング、衝突推定など）または他の車両制御計画動作（例えば、プランニングコンポーネントによって決定される）において考慮され、オブジェクトを迅速および／または先制的に回避し、それによって車両の安全性を改善し得る。出力データ１０８を決定し、利用するための追加の詳細は、本開示を通して説明される。シミュレーションを実行するおよび／または軌道を生成する追加の詳細は、「ＴｒａｊｅｃｔｏｒｙＧｅｎｅｒａｔｉｏｎＵｓｉｎｇＴｅｍｐｏｒａｌＬｏｇｉｃａｎｄＴｒｅe Ｓｅａｒｃｈ」と題された２０１７年６月２３日に出願された米国特許出願第１５／６３２１４７号、および「ＴｒａｊｅｃｔｏｒｙＧｅｎｅｒａｔｉｏｎＵｓｉｎｇＣｕｒｖａｔｕｒｅＳｅｇｍｅｎｔｓ」と題された２０１７年１２月１５日に出願された米国特許出願第１５／８４３、５１２号に記載されており、これらは、参照により、それらの全体が、あらゆる目的のために本明細書に組み込まれる。

【0027】

様々な例では、アクティブ予測コンポーネント１０４はまた、またはその代わりに、環境内のピクセル（例えば、離散化された部分）を表す複数のグリッドポイントを含む占有グリッドに少なくとも部分的に基づいて、出力データ１０８を決定し得る。非限定的な例として、アクティブ予測コンポーネント１０４は、将来の１つまたは複数の時間に対応する１つまたは複数の占有グリッドを出力し得る。グリッド部分がその将来の時点で車両の既知または予想される位置と重複する場合、予測される交差点が決定され得る。様々な例では、アクティブ予測コンポーネント１０４は、オブジェクトおよび車両に関連付けられた速度、位置、軌道、または他の情報を処理して、車両コンピューティングデバイス（および／または車両安全システム）によるシミュレーションへの応答を決定することができる。様々な例では、アクティブ予測コンポーネント１０４によって決定された占有グリッドおよび潜在的な交点は、同じニューラルネットワークの異なるヘッドからのものであり得る。

【0028】

アクティブ予測コンポーネント１０４からの出力データ１０８は、様々な方法で車両コンピューティングデバイスによって使用され得る。例えば、アクティブ予測コンポーネント１０４は、車両コンピューティングデバイスのプランニングコンポーネント（例えば、プランニングコンポーネント４２６）と共に、出力データ１０８に関する情報（例えば、潜在的な交差点を示すコスト）を示す信号を生成することを決定し、環境１００内の車両１０２を制御する（例えば、車両軌道を決定する、および／または推進システム、ブレーキシステム、またはステアリングシステムを制御する）ことができる。出力データ１０８をまた、または代わりに使用して、環境内のオブジェクトに関連付けられた動きを予測するために、シミュレーション中に（例えば、車両から離れた車両コンピューティングデバイスまたはコンピューティングデバイスによって）使用するための条件（例えば、交差点、オブジェクトの数、オブジェクトが異常な挙動を示す可能性など）を設定することによってシミュレーションを実行し得る。

【0029】

コンピューティングデバイス４３６の訓練コンポーネント４５０および／または車両コンピューティングデバイス４０４などのリモートコンピューティングデバイスの訓練コンポーネントは、実装され、アクティブ予測コンポーネント１０４を訓練し得る。訓練データは、既知または所望の値（例えば、所望の分類、推論、予測など）に関連付けられた、画像データ、ビデオデータ、ライダーデータ、レーダーデータ、オーディオデータ、他のセンサデータなどの多種多様なデータを含み得る。そのような値は、一般的に「グラウンドトゥルース」と呼ばれることがある。例示すると、訓練データは、画像分類に使用することができ、そのため、自律車両によってキャプチャされ、１つまたは複数の分類に関連付けられた環境の画像を含み得る。いくつかの例では、そのような分類は、ユーザ入力（例えば、画像が特定のタイプのオブジェクトを示すことを示すユーザ入力）に基づいてもよく、または別の機械学習モデルの出力に基づいてもよい。いくつかの例では、そのようなラベル付けされた分類（またはより一般的には、訓練データに関連付けられたラベル付けされた出力）は、グラウンドトゥルースと呼ばれることがある。

【0030】

図２は、１つまたは複数のモデルが、将来の時間における１つまたは複数のオブジェクトと車両との間の潜在的な相互作用を決定する、別の例示的な環境２００の図である。例えば、コンピューティングデバイス２０２は、アクティブ予測コンポーネント１０４を実装して、１つまたは複数のオブジェクト（例えば、オブジェクト１１０、オブジェクト１１２、および／またはオブジェクト１１４）と車両１０２との間の潜在的な相互作用（例えば、交差点または近接交差点（例えば、閾値距離内））を表す出力データ１０８を決定することができる。いくつかの例では、コンピューティングデバイス２０２は、車両コンピューティングデバイス４０４および／またはコンピューティングデバイス４３６に関連付けられてよい。

【0031】

図２に示されるように、アクティブ予測コンポーネント１０４は、メモリ割り当てコンポーネント２０６および相互作用コンポーネント２０８をさらに備える初期化コンポーネント２０４を備える。様々な例では、初期化コンポーネント２０４は、入力データ１０６を受信し、入力データ１０６の「前処理」を実行する機能を実行する。例えば、初期化コンポーネント２０４は、環境、オブジェクト、および車両（例えば、車両１０２）、センサデータなどを示す状態データを受信し、メモリ割り当てコンポーネント２０６を実装して、入力データ１０６をコンピューティングデバイス２０２に関連付けられた１つまたは複数のメモリに割り当てることができる。様々な例では、メモリ内のデータを割り当てることまたは付与することは、メモリ割り当てコンポーネント２０６が、入力データ１０６の効率的な格納および付与のためのメモリの位置または部分を決定することを含む。このようにして、コンピューティングデバイス２０２のプロセッサ（例えば、１つまたは複数のＧＰＵ）は、出力データ１０８の生成中に入力データ１０６を効率的に処理することができる。いくつかの例では、メモリ割り当てコンポーネント２０６は、１つまたは複数のＣＰＵから入力データ１０６を受信し、入力データ１０６を１つまたは複数のＧＰＵに割り当てる。

【0032】

相互作用コンポーネント２０８は、メモリ割り当てコンポーネント２０６によって割り当てられた後、１つまたは複数のメモリから入力データ１０６を受信し、将来の時間に環境内の２つのオブジェクトおよび／または１つのオブジェクトと車両との間の潜在的な相互作用を決定する機能を提供する。例えば、相互作用コンポーネント２０８は、車両１０２に関連付けられた軌道１２２（１）、１２２（２）、および１２２（３）、ならびにオブジェクト１１２に関連付けられた軌道１１８（１）、１１８（２）、および１１８（３）を処理することができる。いくつかの例では、１１８（Ｎ）（Ｎは１より大きい整数である）までの追加のオブジェクト軌道も含めることができる。いくつかの例では、軌道１２２（１）、１２２（２）、および１２２（３）は、それぞれ、車線を変更する、または（車両１０２に対して）左に曲がる、直進する、および車線を変更する、または右に曲がるアクションに関連付けることができる。いくつかの例では、軌道１１８（１）は、第１の速度に関連付けることができ、軌道１１８（２）は、第１の速度未満の第２の速度に関連付けることができ、軌道１１８（３）は、第２の速度未満の第３の速度に関連付けることができる。車両１０２についての３つのアクションが図示され、オブジェクト１１２についての３つの軌道が図示されるが、任意の数のアクションおよび／または軌道のタイプは、アクティブ予測コンポーネント１０４によって決定または受信され得る。さらに、図２は、車両１０２とオブジェクト１１２との間の相互作用を示すが、技術は、２つのオブジェクト間の相互作用を決定することを含むことができる。

【0033】

追加的または代替的に、様々な例では、相互作用コンポーネント２０８は、ほんの数例を挙げると、車両１１０、車両１１２と歩行者１１４の間の相互作用を決定することができる。様々な例では、潜在的な交差点の複数の組み合わせは、第１のセットの軌道と、オブジェクトおよび／または車両に関連付けられる第２のセットの軌道との間で決定されることができる。

【0034】

図２は、交差点２１０で車両軌道１２２（１）と交差する車両１１２に関連付けられた軌道１１８（１）、および交差点２１２および交差点２１４で車両軌道１２２（２）と交差する軌道１１８（１）を示す。また、図２に示されるように、車両１１２に関連付けられた軌道１１８（１）は、交差点２１６、交差点２１８、および交差点２２０で車両軌道１２２（３）と交差する。図２は、軌道１１８（１）が車両軌道１２２（１）、車両軌道１２２（２）、または車両軌道１２２（３）と交差しない環境２００内の領域をさらに示す。いくつかの例では、潜在的な交差点は、オブジェクト軌道１１８（１）について、および／または他のオブジェクトおよびそれに関連付けられた軌道について決定することができる。

【0035】

一般に、様々な例では、アクティブ予測コンポーネント１０４は、相互作用コンポーネント２０８による出力に少なくとも部分的に基づいて、オブジェクト（例えば、オブジェクト１１０、オブジェクト１１２、および／またはオブジェクト１１４）が車両１０２と相互作用し得る交点を決定することができる。そのような例では、アクティブ予測コンポーネント１０４は、図３に関連して説明されるように、潜在的な交点（例えば、交点２１０、２１２、２１４、２１６、２１８、および２２０）に関連付けられたオブジェクト軌道をさらに処理することができる。他の例では、車両１０２と最初に相互作用する可能性が最も高い交点に関連付けられたオブジェクト軌道は、さらなる処理のためにアクティブ予測コンポーネント１０４によって選択され得る。いくつかの例では、アクティブ予測コンポーネント１０４は、相互作用が不可能である可能性が高いという初期決定を行うことができ、それによって、前述の交点に関連付けられた追加の詳細の処理（例えば、シミュレーションの実行、オブジェクトまたは車両の推定状態の決定など）から計算リソースを節約することができる。

【0036】

様々な例では、車両軌道１２２（１）、１２２（２）、１２２（３）および／またはオブジェクト軌道（例えば、軌道１１６（１）、１１６（２）、１１８（１）、１１８（２）…１１８（Ｎ）、および１２０）のうちの１つまたは複数は、図２に示される線とは対照的に「回廊」を表すことができる。例えば、本明細書で説明されるような軌道のいずれかは、車両が環境を横断するときに車両および／またはオブジェクトによって占有され得る環境２００の領域を表し得る。

【0037】

いくつかの例では、アクティブ予測コンポーネント１０４は、交点２１０、２１２、２１４、２１６、２１８、および２２０のうちの１つまたは複数を交点確率と関連付け、図３に説明されるようなシミュレーションコンポーネントなどによって、交点に最初に到達する可能性が最も高いオブジェクトに関連付けられた交点を出力することができる。いくつかの例では、２つのオブジェクト（例えば、車両１１０および車両１１２）は、同じ車両軌道と交差し得、アクティブ予測コンポーネント１０４は、道路のルール、通行権論理、物理学、運動学、動力学などに関連付けられた制御ポリシーに少なくとも部分的に基づいて、シミュレーションコンポーネントで処理する２つのオブジェクト（またはそれに関連付けられたオブジェクト軌道）のうちのどれを識別または決定することができる。このようにして、例えば、オブジェクトが別のオブジェクトの後に車両１０２との交点に到達するシナリオに関連付けられたデータを処理することに関する、計算リソースを省略することができる。すなわち、初期化コンポーネント２０４は、軌道のうちのどれが最初に車両１０２とのそれぞれの交点に到達するかに少なくとも部分的に基づいて、さらなる処理のために、１つまたは複数のオブジェクト軌道（例えば、軌道１１６（１）、１１６（２）、１１８（１）、１１８（２）、および１２０）を選択することができる。様々な例では、初期化コンポーネント２０４は、車両との潜在的な相互作用のためにどのオブジェクトが優先されるかを識別するための論理を含むツリー探索（ｔｒｅｅｓｅａｒｃｈ）に少なくとも部分的に基づいて、複数の軌道の中から軌道を選択することができる。

【0038】

いくつかの例では、ツリー探索は、異なるオブジェクトのオブジェクト軌道および／またはオブジェクト軌道と車両軌道との間の潜在的な相互作用を決定することができ、ツリー探索によって決定された潜在的な相互作用は、図３および他の場所にさらに記載されるように、シミュレーションで使用することができる。様々な例では、ツリー検索は、時間の経過とともに潜在的な相互作用を識別して、後の時間の潜在的な相互作用の量を減少させることができる（例えば、各秒または他の時間間隔で、ツリー検索は、オブジェクトと車両との間の最も可能性の高い相互作用を決定することができる）。いくつかの例では、車両のアクションをツリー検索の様々な分岐として探索することができ、アクションに関連付けられたコストが閾値コストを満たすか、または超える場合、ツリー分岐を剪定、または無視することができる。非限定的な例として、１つまたは複数のアクションは、将来の別個のステップ（例えば、固定時間、距離間隔、またはいくつかの他のイベントベースのステップ）で企図され得る。そのような例では、ツリーは、車両がそれらの点でとることができる異なるアクションに基づいてそのような別個の点で分岐し得、本明細書に記載の方法は、ツリーを拡張するときにそれらの分岐の間で選択する際に使用され得る。例えば、分岐は、最も低いコストを有する、および／または有害事象（例えば、衝突、不快な制御など）がない分岐を探索し得る。

【0039】

図３は、１つまたは複数のモデルが、将来の時点で潜在的な車両状態および／またはオブジェクト状態を決定する、別の例示的な環境３００の図である。例えば、コンピューティングデバイス２０２は、アクティブ予測コンポーネント１０４を実装して、１つまたは複数のオブジェクト（例えば、オブジェクト１１０、オブジェクト１１２、および／またはオブジェクト１１４）および／または車両１０２についての潜在的な将来の状態を表す出力データ１０８を決定することができる。いくつかの例では、コンピューティングデバイス２０２は、車両コンピューティングデバイス４０４および／またはコンピューティングデバイス４３６に関連付けられてよい。

【0040】

図３は、制御ポリシー３０４および統合コンポーネント３０６をさらに含むシミュレーションコンポーネント３０２を備えるアクティブ予測コンポーネント１０４を示す。図３は、コスト決定コンポーネント３０８を含むアクティブ予測コンポーネント１０４をさらに示す。

【0041】

いくつかの例では、シミュレーションコンポーネント３０２は、将来の異なる時間に車両アクション３１０および車両アクション３１２をシミュレートする機能を提供することができる。車両アクション３１０および車両アクション３１２のそれぞれは、第１の時間から第２の時間への車両状態の変化（例えば、速度、加速度、回転レート、ヨーなどの変化）を表すことができる。いくつかの例では、例示的な車両アクションは、車両状態を変更しないこと（例えば、車線内に留まる、同じステアリングアクション、ブレーキアクション、および／または加速アクションを維持することなど、所定の位置に留まること）を含むことができる。いくつかの例では、シミュレーションコンポーネント３０２は、経時的な車両状態の変化を表す例示的なシナリオを開始することができる。そのような例では、シナリオは、交点２１０に関連して車両に近接する環境におけるオブジェクトの将来の位置および／または速度に関する予測を含むことができる。

【0042】

いくつかの例では、シミュレーションコンポーネント３０２は、経時的に車両および／またはオブジェクトに対して可能なアクションをシミュレートすることができる。例えば、車両が、シミュレーションへの１秒などの第１の時間に第１のアクションを取る場合、シミュレーションコンポーネント３０２は、車両によって取られる第１のアクションに基づいて、車両のための第２のアクションを決定することができる。このようにして、シミュレーションコンポーネント３０２は、運転者が車両を操作するときの決定を行う方法と同様に、シミュレーションの各インスタンスで（例えば、４秒にわたって）可能なアクションを「能動的に」考慮する機能を提供することができる。いくつかの例では、シミュレーションコンポーネント３０２は、シミュレーション中に時間が増加するにつれて、以前のアクションに依存する車両１０２およびオブジェクト１１２の両方のアクションを決定することができる。

【0043】

制御ポリシー３０４は、車両およびオブジェクトがどのように潜在的に相互作用することができるかを示す、または道路、交差点、または航行可能な表面に関連付けられた通行権などの道路のルールに関する情報を示す、物理ポリシー、ダイナミクスポリシー、運動学ポリシー、および／またはルールポリシーのうちの１つまたは複数を含むことができる。いくつかの例では、アクティブ予測コンポーネント１０４は、制御ポリシー３０４にアクセスする機械学習モデルを実装して、車両および／またはオブジェクトに関連付けられたアクション、軌道、位置、または他のデータを決定することができる。例えば、制御ポリシー３０４は、シミュレーションコンポーネント３０２によって実行されるシミュレーション中に機械学習モデルによって使用され得る。

【0044】

車両１０２が環境３００内を航行するにつれて、車両１１２は、アクティブ予測コンポーネント１０４が車両１０２との衝突を回避するために車両１０２のための異なる潜在的なアクション（例えば、ブレーキアクション、加速アクションなど）を決定するように、車両１０２に接近する可能性がある。図３は、車両１１２に対する車両アクション３１０および３１２を表すシミュレーションコンポーネント３０２を示しているが、追加のオブジェクト（交点に関連付けられているかどうかにかかわらず）もまた、または代わりにシミュレーションコンポーネント３０２によって処理され得る。

【0045】

図３に示すように、シミュレーションコンポーネント３０２の出力は、環境の将来の状態を示す、時間Ｔ０、Ｔ１、…ＴＮ（Ｎは１より大きい整数）における予測シナリオを含むことができる。例えば、車両１０２に関連付けられたセンサデータを使用して、シナリオを実行し、将来の異なる時間に車両１０２と交差し得る潜在的なオブジェクトを識別することができる。１つの特定の例示において、シナリオは、１秒間隔で将来の４秒間実行され、車両１１２を含む車両１０２の周りの領域内のオブジェクトを識別し得る。図３に示されるように、時間が時間Ｔ０から時間Ｔ１に変化するにつれて、車両１１２および車両１０２は互いに接近している。時間Ｔ１において、シミュレーションコンポーネント３０２は、車両１１２に関連付けられたオブジェクトアクション３１４（例えば、速度、加速度、ブレーキなどの変化）を予測することに少なくとも部分的に基づいて、車両アクション３１０を決定することができる。例えば、車両アクション３１０は、ステアリング、加速、および／またはブレーキを含み、オブジェクトアクション３１４に対して車両１１２を回避することができる。時間Ｔ２において、シミュレーションコンポーネント３０２は、車両１１２に関連付けられたオブジェクトアクション３１６を予測することに少なくとも部分的に基づいて、車両アクション３１２を決定することができる。

【0046】

様々な例では、車両アクション３１０および車両アクション３１２は、１つまたは複数のＧＰＵによる処理のために（例えば、メモリ割り当てコンポーネント２０６によって）メモリにデータにアクセスおよび／またはデータを格納することに少なくとも部分的に基づいて決定することができる。シミュレーションで時間が変化するにつれて、別の時間（例えば、時間Ｔ２）の間に考慮のために第１の時間（例えば、時間Ｔ１）からのオブジェクト状態にアクセスして、メモリに格納されたセンサデータの量を最小限に抑えることができ、これにより、（例えば、メモリ割り当てコンポーネント２０６を実装しないこととは対照的に）効率的な方法での並列実行が可能になる。いくつかの例では、メモリ割り当てコンポーネント２０６は、シナリオ中の時間間隔の間（例えば、４秒のシミュレーションの各秒の間）にストレージメモリのサイズを動的に調整し、スレッドごとのレジスタの数を減らす、および／またはメモリがアクティブ予測コンポーネント１０４のコンポーネントによってアクセスされる回数を減らすことができる。

【0047】

様々な例では、車両アクション３１０、車両アクション３１２、オブジェクトアクション３１４、および／またはオブジェクトアクション３１６は、制御ポリシー３０４および統合コンポーネント３０６に少なくとも部分的に基づいて決定することができる。例えば、統合コンポーネント３０６は、制御ポリシー３０４に関連付けられたデータ（例えば、道路、交差点、または航行可能な表面に関連付けられた通行権などの道路のルールを示す情報）に少なくとも部分的に基づいて、時間Ｔ０でのシナリオ、時間Ｔ１でのシナリオ、および／または時間ＴＮでのシナリオに対する車両１０２による応答を予測することができる。そのような例では、統合コンポーネント３０６は、応答を示す信号を生成し、プランニングコンポーネント４２６による決定（例えば、車両１０２の候補軌道を決定）などのコマンドを検証するために、信号を車両コンピューティングデバイスの別のモデルまたはコンポーネントに送信することができる。

【0048】

いくつかの例では、車両および／またはオブジェクトによるアクションは、シミュレーション中に第１の時間から第２の時間に変化することができる。

【0049】

様々な例示において、コスト決定コンポーネント３０８は、シミュレーションコンポーネント３０２によって決定される車両アクションおよび／またはオブジェクトアクションに関連付けられるコストを決定することができる。例えば、コスト決定コンポーネント３０８は、車両アクション３１０および３１２ならびに／またはオブジェクトアクション３１４および３１６に関連付けられた基準コスト、障害物コスト、ステアリングコスト、および／または加速コストなどを決定することができる。

【0050】

いくつかの例では、コスト決定コンポーネント３０８は、前述のアクションのそれぞれに関連付けられたコスト（参照アクションに関連付けられたものとも呼ばれる）を決定し得る。例えば、コスト決定コンポーネント３０８は、車両１０２に対する距離を表す第１の障害物コストおよび第２の障害物コストを決定し、車両１０２と交差する可能性がより高いことに関連付けられたより高いコストを有するオブジェクトを識別することができる。追加的または代替的に、コスト決定コンポーネント３０８は、使用可能な車道中心線に対する車両１０２の参照コストを決定し、オブジェクトを回避し得る中心線からの偏差の量を識別することができる。様々な例では、コスト決定コンポーネント３０８に関連付けられた、またはそうでなければコスト決定コンポーネント３０８によって決定されたコストを使用して、車両１０２の候補軌道を選択することができる（例えば、プランニングコンポーネントは、最も安全な潜在的なアクションを表す最も低い集約されたコストを示す信号を受信することができる）。コストを決定する車両アーキテクチャの追加の例は、例えば、「ＴｒａｊｅｃｔｏｒｙＧｅｎｅｒａｔｉｏｎａｎｄＯｐｔｉｍｉｚａｔｉｏｎＵｓｉｎｇＣｌｏｓｅｄ－ＦｏｒｍＮｕｍｅｒｉｃａｌＩｎｔｅｇｒａｔｉｏｎｉｎＲｏｕｔｅ－ＲｅｌａｔｉｖｅＣｏｏｒｄｉｎａｔｅｓ」と題された２０１８年９月２８日に出願された米国特許出願第１６／１４７、４９２号に記載されており、これらは、参照により、それらの全体が、あらゆる目的のために本明細書に組み込まれる。環境における経路計画の追加の例は、例えば、「ＡｄａｐｔｉｖｅＳｃａｌｉｎｇｉｎＴｒａｊｅｃｔｏｒｙＧｅｎｅｒａｔｉｏｎ」と題された２０１８年１１月２日に出願された米国特許出願第１６／１７９，６７９号に記載されており、これらは、参照により、それらの全体が、あらゆる目的のために本明細書に組み込まれる。

【0051】

別個のシステムとして説明されているが、いくつかの例では、図１～図３に関連して本明細書に記載されている軌道を評価するための技術は、他の車両システム、コンポーネント、および／またはコンピューティングデバイスによって実装されてもよい。例えば、図４に関してさらに詳細に説明するように、図１～図３に関連して本明細書で説明する予測技術は、図４における知覚コンポーネント、プランニングコンポーネント、および／またはモデルコンポーネントによって、またはそれらと関連して、少なくとも部分的に実装されてもうよい。

【0052】

図４は、本明細書で説明される技術を実装するための例示的なシステム４００のブロック図である。少なくとも１つの例示において、システム４００は、車両４０２などの車両を含んでもよい。

【0053】

車両４０２は、車両コンピューティングデバイス４０４、１つまたは複数のセンサシステム４０６、１つまたは複数のエミッタ４０８、１つまたは複数の通信接続４１０、少なくとも１つの直接接続部４１２、および１つまたは複数の駆動システム４１４を含み得る。

【0054】

車両コンピューティングデバイス４０４は、１つまたは複数のプロセッサ４１６および１つまたは複数のプロセッサ４１６と通信可能に結合されたメモリ４１８を含み得る。図示された例において、車両４０２は、自律車両であるが、車両４０２は、半自律車両のような任意の他のタイプの車両、または少なくとも画像キャプチャデバイス（例えば、カメラ対応スマートフォン）を有する任意の他のシステムであってよい。いくつかの例では、自律車両４０２は、米国道路交通安全局が発行したレベル５の分類に従って動作するように構成された自律車両である場合があり、この分類では、旅行全体ですべての安全上重要な機能を実行することができる車両を記述したものであり、ドライバー（または乗員）はいつでも車両を制御することを期待されていない。しかしながら、他の例では、自律車両４０２は、他のレベルまたは分類を有する完全にまたは部分的な自律車両であってもよい。

【0055】

様々な例において、車両コンピューティングデバイス４０４は、推定される状態のセットの終わり（例えば、期間の終わり）でのオブジェクトの実際の位置に関連付けられるセンサデータを格納し得、このデータを訓練データとして用いて、１つまたは複数のモデルを訓練することができる。いくつかの例では、車両コンピューティングデバイス４０４は、データ分析のために、データをリモートコンピューティングデバイス（すなわち、コンピューティングデバイス４３６などの車両コンピューティングデバイスとは別個のコンピューティングデバイス）に提供し得る。そのような例では、リモートコンピューティングデバイスは、センサデータを分析して、推定状態のセットの終わりにあるオブジェクトの実際の位置、速度、進行方向などを決定し得る。実際の位置と予測された位置および／または予測された軌道との間の差を最小限に抑えることによって格納されたセンサデータに基づいて機械学習モデルを訓練する追加の詳細は、「ＭｏｔｉｏｎＰｒｅｄｉｃｔｉｏｎＢａｓｅｄｏｎＡｐｐｅａｒａｎｃｅ」と題された２０１９年３月１２日に出願された米国特許出願第１６／２８２、２０１号に記載され、それは参照により本明細書に組み込まれる。

【0056】

図示の例では、車両コンピューティングデバイス４０４のメモリ４１８は、ローカリゼーションコンポーネント４２０、知覚コンポーネント４２２、予測コンポーネント４２４、プランニングコンポーネント４２６、１つまたは複数のシステムコントローラ４２８、１つまたは複数のマップ４３０、および第１のモデル４３４Ａ、第２のモデル４３４ＢからＮ番目のモデル４３４Ｎ（集合的に「モデル４３４」）までの１つまたは複数のモデルを含むモデルコンポーネント４３２を格納する、ここで、Ｎは整数である。例示的な目的のためにメモリ４１８に存在するものとして図４に示されているが、ローカリゼーションコンポーネント４２０、知覚コンポーネント４２２、予測コンポーネント４２４、プランニングコンポーネント４２６、１つまたは複数のシステムコントローラ４２８、１つまたは複数のマップ４３０、および／またはモデル４３４を含むモデルコンポーネント４３２は、追加的に、または代替的に、車両４０２にアクセス可能であり得る（例えば、リモートコンピューティングデバイス４３６のメモリ４４０など、車両４０２から離れたメモリに格納されているか、そうでなければアクセス可能であり得る）。

【0057】

少なくとも１つの例において、ローカリゼーションコンポーネント４２０は、センサシステム４０６からのデータを受信する機能を含み、車両４０２の位置および／または方向（例えば、ｘ位置、ｙ位置、ｚ位置、ロール、ピッチ、またはヨーのうちの１つまたは複数）を決定し得る。例えば、ローカリゼーションコンポーネント４２０は、マップ４３０および／またはマップコンポーネント４４６からのような環境のマップを含む、および／または要求／受信することができ、マップ内の自律車両の位置および／または方向を継続的に決定することができる。いくつかの例では、ローカリゼーションコンポーネント４２０は、画像データ、ライダーデータ、レーダーデータ、ＩＭＵデータ、ＧＰＳデータ、ホイールエンコーダデータなどを受信するためにＳＬＡＭ（ｓｉｍｕｌｔａｎｅｏｕｓｌｏｃａｌｉｚａｔｉｏｎａｎｄｍａｐｐｉｎｇ）、ＣＬＡＭＳ（ｃａｌｉｂｒａｔｉｏｎ，ｌｏｃａｌｉｚａｔｉｏｎａｎｄｍａｐｐｉｎｇ，ｓｉｍｕｌｔａｎｅｏｕsly）、相対ＳＬＡＭ、バンドル調整、非線形最小二乗最適化などを利用することができ、自律車両の位置を正確に決定する。いくつかの例では、ローカリゼーションコンポーネント４２０は、車両４０２の様々なコンポーネントにデータを提供し、本明細書で説明されるように、車両４０２に対するオブジェクトの関連性を決定するための自律車両の初期位置を決定し得る。

【0058】

いくつかの例では、知覚コンポーネント４２２は、オブジェクト検出、セグメンテーション、および／または分類を実行する機能を含み得る。いくつかの例では、知覚コンポーネント４２２は、車両４０２に近接したオブジェクト（例えば、エンティティ）の存在、および／またはオブジェクトタイプ（例えば、自動車、歩行者、自転車運転者、動物、建造物、樹木、道路表面、縁石、歩道、未知のものなど）としてのオブジェクトの分類を示す処理されたセンサデータを提供することができる。いくつかの例では、知覚コンポーネント４２２は、車両４０２に近接する静止エンティティの存在および／または静止したエンティティのタイプ（例えば、建物、樹木、路面、縁石、歩道、未知のものなど）としての分類を示す処理されたセンサデータを提供することができる。追加のまたは代替の例示において、知覚コンポーネント４２２は、検出されたオブジェクト（例えば、追跡されるオブジェクト）および／またはオブジェクトが配置される環境に関連付けられる１つまたは複数の特徴を示す処理されたセンサデータを提供し得る。いくつかの例では、オブジェクトに関連付けられる特性は、ｘの位置（グローバルおよび／またはローカルの位置）、ｙの位置（グローバルおよび／またはローカルの位置）、ｚの位置（グローバルおよび／またはローカルの位置）、向き（例えば、ロール、ピッチ、ヨー）、オブジェクトのタイプ（例えば、分類）、オブジェクトの速度、オブジェクトの加速度、オブジェクトの範囲（サイズ）などを含み得るが、これらに限定されない。環境に関連付けられた特性は、環境における別のオブジェクトの存在、環境における別のオブジェクトの状態、時間帯、曜日、季節、気象条件、暗さ／明るさの指標、その他を含み得るが、これらには限定されない。

【0059】

予測コンポーネント４２４は、環境内の１つまたは複数のオブジェクトの可能な位置の予測確率を表す１つまたは複数の確率マップを生成することができる。例えば、予測コンポーネント４２４は、車両４０２からのしきい値距離内の車両、歩行者、動物などに関する１つまたは複数の確率マップを生成することができる。いくつかの例では、予測コンポーネント４２４は、オブジェクトの軌跡を測定し、観測および予測された挙動に基づいて、オブジェクトについての、離散化予測確率マップ、ヒートマップ、確率分布、離散化確率分布、および／または軌道を生成することができる。いくつかの例では、１つまたは複数の確率マップは、環境内の１つまたは複数のオブジェクトの意図を表すことができる。

【0060】

いくつかの例では、予測コンポーネント４２４は、環境内のオブジェクト（例えば、オブジェクト）の予測された軌道を生成し得、および／または車両４０２の予測された候補軌道を生成し得る。例えば、予測コンポーネント４２４は、車両４０２から閾値距離内のオブジェクトの１つまたは複数の予測軌道を生成し得る。いくつかの例では、予測コンポーネント４２４は、オブジェクトのトレースを測定することができ、観察および予測される挙動に基づいてオブジェクトに対する軌道を生成することができる。

【0061】

一般に、プラニングコンポーネント４２６は、環境を横断するために車両４０２が進む経路を決定することができる。例えば、プランニングコンポーネント４２６は、様々なルートおよび軌道、ならびに様々な詳細のレベルを決定し得る。例えば、プランニングコンポーネント４２６は、経路を決定し、第１の位置（例えば、現在位置）から第２の位置（例えば、目標位置）まで移動し得る。この説明の目的のために、経路は、２つの位置の間を移動するための連続するウェイポイントを含み得る。非限定的な例として、ウェイポイントは、道路、交差点、全地球測位システム（ＧＰＳ）座標などを含む。さらに、プラニングコンポーネント４２６は、第１の位置から第２の位置まで経路の少なくとも一部に沿って自律車両を誘導するための命令を生成し得る。少なくとも１つの例において、プラニングコンポーネント４２６は、ウェイポイントのシーケンスにおける第１のウェイポイントからウェイポイントのシーケンスにおける第２のウェイポイントにどのように自律車両を誘導するかを決定し得る。いくつかの例では、命令は、候補軌道、または軌道の一部であってもよい。いくつかの例では、複数の軌道は、後退ホライズン技術に従って（例えば、技術的許容範囲内で）実質的に同時に生成され得る。最も高い信頼水準を有する後退ホライズンデータにおける複数の経路のうちの単一の経路を、車両を操作するために選択し得る。様々な例では、プランニングコンポーネント４２６は、モデルコンポーネント４３２の出力を表すデータの受信に少なくとも部分的に基づいて、車両４０２の軌道を選択することができる。

【0062】

他の例では、プランニングコンポーネント４２６は、代替的または追加的に、ローカリゼーションコンポーネント４２０、知覚コンポーネント４２２、および／または予測コンポーネント４２４からのデータを使用して、車両４０２が環境を横断するためにたどる経路を決定することができる。例えば、プランニングコンポーネント４２６は、環境に関連付けられたオブジェクトに関するローカリゼーションコンポーネント４２０、知覚コンポーネント４２２、および／または予測コンポーネント４２４からデータを受信することができる。このデータを使用して、プランニングコンポーネント４２６は、第１の位置（例えば、現在の位置）から第２の位置（例えば、目標位置）まで移動する経路を決定し、環境内のオブジェクトを回避することができる。少なくともいくつかの例では、そのようなプランニングコンポーネント４２６は、そのような衝突のない経路がないと判定し、次に車両４０２を全ての衝突を回避するおよび／またはそうでなければ損傷を軽減する安全な停止へ導く経路を提供し得る。追加的または代替的に、プランニングコンポーネント４２６は、図３および他の場所で説明されるように、シミュレーションコンポーネント３０２および／またはコスト決定コンポーネント３０８から受信したデータに少なくとも部分的に基づいて、車両４０２がたどるべき経路を決定することができる。

【0063】

少なくとも１つの例では、車両コンピューティングデバイス４０４は、１つまたは複数のシステムコントローラ４２８を含み、これは、車両４０２のステアリング、推進、ブレーキ、安全性、エミッタ、通信、および他のシステムを制御するように構成され得る。システムコントローラ４２８は、ドライブシステム４１４の対応するシステムおよび／または車両４０２の他のコンポーネントと通信および／または制御することができる。

【0064】

メモリ４１８は、環境内を航行するために車両４０２によって使用され得る１つまたは複数のマップ４３０をさらに含むことができる。この説明の目的のために、マップは、これらに限定することなく、（交差点のような）トポロジー、通り、山脈、道路、地形、および一般的な環境などの環境に関する情報を提供することができる２次元、３次元、またはＮ次元でモデル化された任意の数のデータ構造であってよい。いくつかの例では、マップは、限定することなく、テクスチャ情報（例えば、色情報（例えば、ＲＧＢ色情報、ラボ色情報、ＨＳＶ／ＨＳＬ色情報）など）、強度情報（例えば、ＬＩＤＡＲ情報、ＲＡＤＡＲ情報など）、空間情報（例えば、メッシュに投影された画像データ、個々の「サーフェル（ｓｕｒｆｅｌｓ）」（例えば、個々の色および／または強度に関連付けられたポリゴン））、反射率情報（例えば、鏡面反射率情報、再帰反射率情報、ＢＲＤＦ情報、ＢＳＳＲＤＦ情報など）、を含み得る。一例では、マップは環境の３次元メッシュを含み得る。いくつかの例では、車両４０２は、マップ４３０に少なくとも部分的に基づいて制御され得る。すなわち、マップ４３０は、ローカリゼーションコンポーネント４２０、知覚コンポーネント４２２、予測コンポーネント４２４、および／またはプランニングコンポーネント４２６に関連して使用し、車両４０２の位置を決定し、環境内のオブジェクトを検出し、経路を生成し、環境内を航行するアクションおよび／または軌道を決定し得る。

【0065】

いくつかの例では、１つまたは複数のマップ４３０は、ネットワーク４４２を介してアクセス可能なリモートコンピューティングデバイス（コンピューティングデバイス４３６など）に格納され得る。いくつかの例では、複数のマップ４３０は、例えば、特徴（例えば、エンティティのタイプ、時刻、曜日、その年の季節など）に基づいて格納されてよい。複数のマップ４３０を格納すると、同様のメモリ要件を有するが、マップにおけるデータがアクセスされ得る速度を増加させ得る。

【0066】

図４に示されるように、車両コンピューティングデバイス４０４は、モデルコンポーネント４３２を含み得る。モデルコンポーネント４３２は、図１のオブジェクト１１０、１１２、および１１４などのオブジェクト交差の可能性を予測することを含む、アクティブ予測コンポーネント１０４の機能を実行するように構成され得る。様々な例では、モデルコンポーネント４３２は、知覚コンポーネント４２２および／またはセンサシステム４０６から、検出されたオブジェクトに関連付けられた１つまたは複数の特徴を受信し得る。いくつかの例では、モデルコンポーネント４３２は、知覚コンポーネント４２２および／またはセンサシステム４０６から環境特性（例えば、環境要因など）および／または気象特性（例えば、雪、雨、氷などの気象要因）を受信し得る。図４に個別に示されているが、モデルコンポーネント４３２は、予測コンポーネント４２４、プランニングコンポーネント４２６、または車両４０２の他のコンポーネントの一部であり得る。

【0067】

様々な例では、モデルコンポーネント４３２は、予測コンポーネント４２４および／またはプランニングコンポーネント４２６によって使用され得る１つまたは複数のモデル４３４からの予測を送信し、オブジェクトの１つまたは複数の予測された軌道（例えば、進行方向、速度など）および／またはその予測コンポーネントからのような、オブジェクトの１つまたは複数の予測された軌道（例えば、進行方向、速度など）を生成し得る。いくつかの例では、プランニングコンポーネント４２６は、車両候補軌道などの車両４０２のための１つまたは複数のアクション（例えば、基準アクションおよび／またはサブアクション）を決定し得る。いくつかの例では、モデルコンポーネント４３２は、車両４０２の１つまたは複数のアクションに少なくとも部分的に基づいて、オブジェクトが交差点で交差するかどうかを決定するように構成され得る。いくつかの例では、モデルコンポーネント４３２は、環境特性、気象特性などに基づいて、環境に適用可能なアクションを決定するように構成され得る。

【0068】

モデルコンポーネント４３２は、一定期間にわたって環境内で前方に進む車両および１つまたは複数の検出されたオブジェクトの推定される状態のセットを生成し得る。モデルコンポーネント４３２は、環境に適用可能であると決定された各アクション（例えば、基準アクションおよび／またはサブアクション）の推定状態のセットを生成し得る。推定される状態のセットは、１つまたは複数の推定される状態を含み得、各推定される状態は、車両の推定される位置および検出されたオブジェクトの推定される位置を含む。いくつかの例では、推定される状態は、初期時間（Ｔ＝０）（例えば、現在時間）における検出されたオブジェクトの推定される位置を含み得る。

【0069】

推定される位置は、オブジェクトに関連付けられた検出された軌道および／または予測された軌道に基づいて決定され得る。いくつかの例では、推定される位置は、実質的に一定の速度および／または実質的に一定の軌道の仮定（例えば、オブジェクトの横方向の動きがほとんどまたはまったくない）に基づいて、決定され得る。いくつかの例では、推定される位置（および／または潜在的な軌道）は、受動的および／または能動的予測に基づいてもよい。いくつかの例では、モデルコンポーネント４３２は、オブジェクトの予測される軌道および／または推定される位置を決定するために、物理および／または幾何学ベースの技術、機械学習、線形時間論理、ツリー探索方法、ヒートマップ、および／または他の技術を利用し得る。

【0070】

様々な例では、推定される状態は、期間を通して周期的に生成され得る。例えば、モデルコンポーネント４３２は、期間を通して０．１秒間隔で推定される状態を生成し得る。別の例では、モデルコンポーネント４３２は、０．０５秒間隔で推定される状態を生成し得る。推定される状態は、環境内で車両４０２がとるべきアクション（例えば、車両アクション３１０および車両アクション３１４）を決定する際に、プランニングコンポーネント４２６によって使用され得る。

【0071】

様々な例では、モデルコンポーネント４３２は、機械学習技術を利用して、評価された軌道に関連付けられたリスクを予測し得る。そのような例では、機械学習アルゴリズムは、センサデータおよび／またはモデルによる以前の予測に基づいて、オブジェクトが推定される状態（例えば、期間）のセット中の特定の時間に車両４０２に対して特定の方法で挙動する可能性が高いことを決定するように訓練され得る。そのような例では、車両４０２の状態（位置、速度、加速度、軌道など）および／またはオブジェクトの状態、分類などのうちの１つまたは複数は、そのような機械学習モデルに入力され得、次に、挙動予測は、モデルによって出力され得る。

【0072】

様々な例では、それぞれのオブジェクトタイプに関連付けられる特性は、モデルコンポーネント４３２によって用いられ、オブジェクト間および／または車両４０２と１つまたは複数のオブジェクトとの間の潜在的な交差を予測するために用いられることが可能であるオブジェクトの速度または加速度を決定し得る。オブジェクトタイプの特性の例は、最大縦方向加速度、最大横方向加速度、最大垂直方向加速度、最大速度、所与の速度の方向の最大変化などを含み得るが、これらに限定されない。

【0073】

理解され得るように、本明細書で論じられるコンポーネント（例えば、ローカリゼーションコンポーネント４２０、知覚コンポーネント４２２、予測コンポーネント４２４、プランニングコンポーネント４２６、１つまたは複数のシステムコントローラ４２８、１つまたは複数のマップ４３０、モデル４３４を含むモデルコンポーネント４３２）は、例示的な目的のために分割されるように説明される。しかしながら、様々なコンポーネントによって実行される動作は、任意の他のコンポーネントにおいて組み合わされてよく、または実行されてもよい。

【0074】

本明細書で説明される技術が車両のプラニングコンポーネントおよび／またはモデルコンポーネントによって実装される例が示されるが、いくつかの例では、本明細書で説明される技術の一部またはすべては、二次安全システムなどの車両の別のシステムによって実装され得る。一般に、そのようなアーキテクチャは、車両４０２を制御するための第１のコンピューティングデバイスおよび、一次システムの動作を検証し、衝突を回避するために車両４０２を制御するために車両４０２上で動作する二次安全システムを含むことができる。

【0075】

いくつかの例では、本明細書で論じられるコンポーネントのいくつかまたはすべての態様は、任意のモデル、技術、および／または機械学習技術を含み得る。例えば、いくつかの例において、メモリ４１８（および以下で説明されるメモリ４４０）におけるコンポーネントは、ニューラルネットワークとして実装され得る。

【0076】

本明細書で説明されるように、例示的なニューラルネットワークは、連続して接続されたレイヤを通して入力データを通過させ、出力を生じさせる技術である。ニューラルネットワークにおけるそれぞれのレイヤはまた、別のニューラルネットワークを含んでよく、または（畳み込みか否かには関係なく）任意の数のレイヤを含んでもよい。本開示の文脈において理解され得るように、ニューラルネットワークは、機械学習を利用することができ、これは、学習したパラメータに基づいて出力が生成されるような技術の広範なクラスを指し得る。

【0077】

ニューラルネットワークの文脈で説明されているが、任意のタイプの機械学習は、本開示と整合するように用いられてよい。例えば、機械学習技術は、回帰技術（例えば、通常最小二乗回帰（ＯＬＳＲ）、線形回帰、ロジスティック回帰、段階的回帰、ＭＡＲＳ（ｍｕｌｔｉｖａｒｉａｔｅａｄａｐｔｉｖｅｒｅｇｒｅｓｓｉｏｎｓｐｌｉｎｅｓ）、ＬＯＥＳＳ（ｌｏｃａｌｌｙｅｓｔｉｍａｔｅｄｓｃａｔｔｅｒｐｌｏｔｓｍｏｏｔｈｉｎｇ））、インスタンスベースの技術（例えば、リッジ回帰、ＬＡＳＳＯ（ｌｅａｓｔａｂｓｏｌｕｔｅｓｈｒｉｎｋａｇｅａｎｄｓｅｌｅｃｔｉｏｎｏｐｅｒａｔｏｒ）、ＥｌａｓｔｉｃＮｅｔ、ＬＡＲＳ（ｌｅａｓｔ－ａｎｇｌｅｒｅｇｒｅｓｓｉｏｎ））、決定ツリー技術（例えば、ＣＡＲＴ（ｃｌａｓｓｉｆｉｃａｔｉｏｎａｎｄｒｅｇｒｅｓｓｉｏｎｔｒｅｅ）、ＩＤ３（ｉｔｅｒａｔｉｖｅｄｉｃｈｏｔｏｍｉｓｅｒ３）、カイ二乗自動相互作用検出（ＣＨＡＩＤ）、決定株、条件付き決定ツリー）、ベイジアン技術（例えば、ナイーブベイズ、ガウスナイーブベイズ、多項式ナイーブベイズ、ＡＯＤＥ（ａｖｅｒａｇｅｏｎｅ－ｄｅｐｅｎｄｅｎｃｅｅｓｔｉｍａｔｏｒｓ）、ベイジアン信頼度ネットワーク（ＢＮＮ）、ベイジアンネットワーク）、クラスタリング技術（例えば、ｋ平均法、ｋメジアン法、期待値最大化（ＥＭ）、階層的クラスタリング）、関連規則学習技術（例えば、パーセプトロン、誤差逆伝播法、ホップフィールドネットワーク、ＲＢＦＮ（ＲａｄｉａｌＢａｓｉｓＦｕｎｃｔｉｏｎＮｅｔｗｏｒｋ））、深層学習技術（例えば、深層ボルツマンマシン（ＤＢＭ）、深層信頼ネットワーク（ＤＢＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、積層型オートエンコーダ）、次元削減技術（例えば、主成分分析（ＰＣＡ）、主成分回帰（ＰＣＲ）、部分最小二乗回帰（ＰＬＳＲ）、サモンマッピング、多次元スケーリング（ＭＤＳ）、射影追跡法、線形判別分析（ＬＤＡ）、混合判別分析（ＭＤＡ）、二次判別分析（ＱＤＡ）、柔軟判別分析（ＦＤＡ））、アンサンブル技術（例えば、ブースティング、ブートストラップ集約（バギング）、エイダブースト、階層型一般化（ブレンディング）、勾配ブースティングマシン（ＧＢＭ）、勾配ブースト回帰ツリー（ＧＢＲＴ）、ランダムフォレスト）、ＳＶＭ（サポートベクターマシン）、教師あり学習、教師なし学習、半教師あり学習などを含んでよいが、これらに限定されない。アーキテクチャのさらなる例は、ＲｅｓＮｅｔ５０、ＲｅｓＮｅｔ１０１、ＶＧＧ、ＤｅｎｓｅＮｅｔ、ＰｏｉｎｔＮｅｔなどのニューラルネットワークを含む。

【0078】

少なくとも１つの例において、センサシステム４０６は、ライダーセンサ、レーダーセンサ、超音波トランスデューサー、ソナーセンサ、位置センサ（例えば、ＧＰＳ、コンパスなど）、慣性センサ（例えば、慣性測定ユニット（ＩＭＵ）、加速度計、磁力計、ジャイロスコープなど）、カメラ（例えば、ＲＧＢ、ＩＲ、強度、深度、飛行時間など）、マイク、ホイールエンコーダ、環境センサ（例えば、温度センサ、湿度センサ、光センサ、圧力センサなど）、などを含んでよい。センサシステム４０６は、これらまたは他のタイプのセンサのそれぞれの多様なインスタンスを含んでよい。例えば、ライダーセンサは、車両４０２の角部、前部、後部、側部、および／または上部に位置する個々のライダーセンサを含んでよい。別の例として、カメラセンサは、車両４０２の外部および／または内部についての様々な位置に配置される多様なカメラを含んでよい。センサシステム４０６は、入力を車両コンピューティングデバイス４０４に提供し得る。追加的または代替的に、センサシステム４０６は、１つまたは複数のネットワーク４４２を介して、所定の期間の経過後、ほぼリアルタイムなどで、特定の周波数で１つまたは複数のコンピューティングデバイス４３６にセンサデータを送信し得る。

【0079】

車両４０２はまた、光および／または音を放出するための１つまたは複数のエミッタ４０８を含み得る。エミッタ４０８は、内部オーディオおよび視覚エミッタを含み、車両４０２の乗員と通信し得る。限定ではない例として、内部エミッタは、スピーカー、照明、標識、ディスプレイスクリーン、タッチスクリーン、触覚エミッタ（例えば、振動および／または力フィードバック）、機械的アクチュエータ（例えば、シートベルトテンショナー、シートポジショナー、ヘッドレストポジショナーなど）などを含み得る。エミッタ４０８はまた、外部エミッタを含み得る。限定ではない例として、外部エミッタは、進行方向を知らせるライト、または車両のアクションの他のインジケーター（例えば、表示灯、標識、ライトアレイなど）、および歩行者または他の近くの車両と聴覚的に通信するための１つまたは複数のオーディオエミッタ（例えば、スピーカー、スピーカーアレイ、ホーンなど）を含み得、そのうちの１つまたは複数が音響ビームステアリング技術を構成する。

【0080】

車両４０２はまた、車両４０２と１つまたは複数の他のローカルまたはリモートコンピューティングデバイスとの間の通信を可能にする１つまたは複数の通信接続部４１０を含み得る。例えば、通信接続部４１０は、車両４０２上の他のローカルコンピューティングデバイスおよび／またはドライブシステム４１４との通信を容易にすることができる。また、通信接続部４１０は、車両が、センサデータを受信するための他の近くのコンピューティングデバイス（例えば、リモートコンピューティングデバイス４３６、他の近くの車両など）および／または１つまたは複数のリモートセンサシステム４４４と通信することを可能にし得る。また、通信接続部４１０は、車両４０２が、リモートテレオペレーションコンピューティングデバイスまたは他のリモートサービスと通信することも可能にする。

【0081】

通信接続部４１０は、車両コンピューティングデバイス４０４をネットワーク４４２などの別のコンピューティングデバイスまたはネットワークに接続するための物理的および／または論理的インターフェースを含み得る。例えば、通信接続部４１０は、ＩＥＥＥ８０２．１１標準規格によって定義される周波数、ブルートゥースのような短距離無線周波数、セルラー通信（例えば、２Ｇ、３Ｇ、４Ｇ、４ＧＬＴＥ、５Ｇなど）、またはそれぞれのコンピューティングデバイスが他のコンピューティングデバイスとインターフェース接続することを可能にする任意の適切な有線もしくは無線通信プロトコルを介してＷｉ－Ｆｉベースの通信を有効にすることができる。

【0082】

少なくとも１つの例において、車両４０２は、１つまたは複数のドライブシステム４１４を含み得る。いくつかの例において、車両４０２は、単一のドライブシステム４１４を有してよい。少なくとも１つの例では、車両４０２が複数のドライブシステム４１４を有する場合、個々のドライブシステム４１４は、車両４０２の反対側の端部（例えば、前部および後部など）に配置されることができる。少なくとも１つの例において、ドライブシステム４１４は、１つまたは複数のセンサシステムを含み、ドライブシステム４１４および／または車両４０２の周囲の状態を検出し得る。例示の目的であり、限定ではなく、センサシステムは、ドライブモジュールのホイールの回転を感知する１つまたは複数のホイールエンコーダ（例えば、ロータリーエンコーダ）、ドライブモジュールの方向および加速度を測定する慣性センサ（例えば、慣性測定ユニット、加速度計、ジャイロスコープ、磁力計など）、カメラまたは他の画像センサ、ドライブモジュールの周辺におけるオブジェクトを音響的に検出する超音波センサ、ライダーセンサ、レーダーセンサなどを含むことができる。ホイールエンコーダのようなあるセンサは、ドライブシステム４１４に固有のものであってもよい。いくつかの場合において、ドライブシステム４１４上のセンサシステムは、車両４０２の対応するシステム（例えば、センサシステム４０６）と重複してよく、またはそれを補足してもよい。

【0083】

ドライブシステム４１４は、高電圧バッテリー、車両を推進させるためのモーター、他の車両システムによる使用のためにバッテリーからの直流を交流へと変換するためのインバーター、ステアリングモーターおよびステアリングラックを含むステアリングシステム（これは電動式とすることが可能である）、油圧または電子アクチュエータを含むブレーキシステム、油圧および／または空気圧コンポーネントを含むサスペンションシステム、トラクションの損失を緩和し、制御を維持するために制動力を分配するための安定性制御システム、ＨＶＡＣシステム、照明（例えば、車両の外部周囲を照らすためのヘッド／テールライトのような照明）、および１つまたは複数の他のシステム（例えば、冷却システム、安全システム、車載充電システム、ＤＣ／ＤＣコンバーターのような他の電気部品、高電圧ジャンクション、高電圧ケーブル、充電システム、充電ポートなど）を含む車両システムの多くを含んでよい。さらに、ドライブシステム４１４は、ドライブモジュールコントローラーを含み、センサシステムからデータを受信して前処理し、様々な車両システムの動作を制御することができる。いくつかの例では、ドライブモジュールコントローラーは、１つまたは複数のプロセッサ、およびその１つまたは複数のプロセッサと通信可能に連結されたメモリを含み得る。メモリは、１つまたは複数のモジュールを格納し、ドライブシステム４１４の様々な機能を実行し得る。さらに、ドライブシステム４１４はまた、それぞれのドライブモジュールによる１つまたは複数の他のローカルコンピューティングデバイスまたはリモートコンピューティングデバイスとの通信を可能にする１つまたは複数の通信接続を含むことができる。

【0084】

少なくとも１つの例において、直接接続部４１２は、物理的インターフェースを提供し、１つまたは複数のドライブシステム４１４を車両４０２の本体と結合し得る。例えば、直接接続部４１２は、ドライブシステム４１４と車両との間のエネルギー、流体、空気、データなどの転送を可能としてよい。いくつかの例において、直接接続部４１２は、ドライブシステム４１４を車両４０２の本体に取り外し可能にさらに固定することができる。

【0085】

少なくとも１つの例では、ローカリゼーションコンポーネント４２０、知覚コンポーネント４２２、予測コンポーネント４２４、プランニングコンポーネント４２６、１つまたは複数のシステムコントローラ４２８、１つまたは複数のマップ４３０、およびモデルコンポーネント４３２は、上述のようにセンサデータを処理し得、１つまたは複数のネットワーク４４２を介してそれらのそれぞれの出力をコンピューティングデバイス４３６に送信し得る。少なくとも１つの例では、ローカリゼーションコンポーネント４２０、知覚コンポーネント４２２、予測コンポーネント４２４、プランニングコンポーネント４２６、１つまたは複数のシステムコントローラ４２８、１つまたは複数のマップ４３０、およびモデルコンポーネント４３２は、所定の期間の経過後、ほぼリアルタイムなどで、特定の周波数でそれらのそれぞれの出力をリモートコンピューティングデバイス４３６に送信し得る。

【0086】

いくつかの例において、車両４０２は、ネットワーク４４２を介してセンサデータをコンピューティングデバイス４３６に送信することができる。いくつかの例において、車両４０２は、コンピューティングデバイス４３６および／またはリモートセンサシステム４４４からネットワーク４４２を介してセンサデータを受信することができる。センサデータは、生のセンサデータおよび／または処理されたセンサデータ並びに／若しくはセンサデータの表現を含み得る。いくつかの例では、（生または処理した）センサデータは、１つまたは複数のログファイルとして送信および／または受信され得る。

【0087】

コンピューティングデバイス４３６は、プロセッサ４３８と、マップコンポーネント４４６、センサデータ処理コンポーネント４４８、および訓練コンポーネント４５０を格納するメモリ４４０とを含み得る。いくつかの例では、マップコンポーネント４４６は、様々な解像度のマップを生成する機能を含み得る。そのような例では、マップコンポーネント４４６は、ナビゲーション目的で１つまたは複数のマップを車両コンピューティングデバイス４０４に送信し得る。様々な例では、センサデータ処理コンポーネント４４８は、センサシステム４０６および／またはリモートセンサシステム４４４などの１つまたは複数のリモートセンサからデータを受信するように構成され得る。いくつかの例では、センサデータ処理コンポーネント４４８は、モデルコンポーネント４３２（例えば、モデル４３４）による使用のために、データを処理し、処理されたセンサデータを車両コンピューティングデバイス４０４に送信するように構成され得る。いくつかの例では、センサデータ処理コンポーネント４４８は、生のセンサデータを車両コンピューティングデバイス４０４に送信するように構成され得る。

【0088】

いくつかの例では、訓練コンポーネント４５０は、機械学習モデルを訓練する機能を含み、評価軌道を出力することができる。例えば、訓練コンポーネント４５０は、０．１ミリ秒、１秒、３秒、５秒、７秒などの期間、環境を横断するオブジェクトを表すセンサデータを受信することができる。センサデータの少なくとも一部は、機械学習モデルを訓練するための入力として使用することができる。

【0089】

いくつかの例では、訓練コンポーネント４５０は、プロセッサ４３８によって実行され、訓練データに基づいて機械学習モデルを訓練し得る。訓練データは、値（例えば、所望の分類、推論、予測など）に関連付けられた、センサデータ、オーディオデータ、画像データ、マップデータ、慣性データ、車両状態データ、履歴データ（ログデータ）、またはそれらの組み合わせなどの多種多様なデータを含み得る。そのような値は、一般的に「グラウンドトゥルース」と呼ばれることがある。例示するために、訓練データは、評価された軌道に関連付けられたリスクを決定するために使用され得、したがって、自律車両によってキャプチャされ、１つまたは複数の分類または決定に関連付けられた環境を表すデータを含み得る。いくつかの例では、そのような分類は、ユーザ入力（例えば、データが特定のリスクを示すことを示すユーザ入力）に基づいてもよく、または別の機械学習モデルの出力に基づいてもよい。いくつかの例では、そのようなラベル付けされた分類（またはより一般的には、訓練データに関連付けられたラベル付けされた出力）は、グラウンドトゥルースと呼ばれることがある。

【0090】

いくつかの例では、訓練コンポーネント４５０は、機械学習モデルを訓練する機能を含み、分類値を出力することができる。例えば、訓練コンポーネント４５０は、ラベル付けされた衝突データ（例えば、公的に利用可能なデータ、センサデータ、および／またはそれらの組み合わせ）を表すデータを受信することができる。データの少なくとも一部は、機械学習モデルを訓練するための入力として使用することができる。したがって、車両が環境を横断するデータを提供することによって、訓練コンポーネント４５０は訓練され、本明細書で説明されるように、オブジェクトに関連付けられた潜在的な交点を出力することができる。

【0091】

いくつかの例では、訓練コンポーネント４５０は、シミュレーターによって生成された訓練データを含むことができる。例えば、シミュレートされた訓練データは、車両が環境内のオブジェクトと衝突するか、または環境内のオブジェクトとほぼ衝突する例を表し、追加の訓練例を提供することができる。

【0092】

車両４０２のプロセッサ４１６およびコンピューティングデバイス４３６のプロセッサ４３６は、命令を実行することが可能である任意の適切なプロセッサであり、本明細書で説明されるようにデータを処理して動作を実行し得る。限定ではない例として、プロセッサ４１６および４３８は、１つまたは複数の中央処理装置（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、または、電子データを処理して、その電子データをレジスタおよび／またはメモリに格納され得る他の電子データへと変換する任意の他のデバイスまたはデバイスの一部を含み得る。いくつかの例では、集積回路（例えば、ＡＳＩＣなど）、ゲートアレイ（例えば、ＦＰＧＡなど）、および他のハードウェアデバイスはまた、それらが符号化された命令を実装するように構成される限り、プロセッサとみなされてよい。

【0093】

メモリ４１８およびメモリ４４０は、非一時的なコンピュータ可読媒体の例である。メモリ４１８および４４０は、オペレーティングシステムおよび１つまたは複数のソフトウェアアプリケーション、命令、プログラム、および／またはデータを格納し、本明細書で説明される方法および様々なシステムに起因する機能を実装することができる。様々な実装において、メモリは、スタティックランダムアクセスメモリ（ＳＲＡＭ）、シンクロナスダイナミックＲＡＭ（ＳＤＲＡＭ）、不揮発性／フラッシュタイプメモリ、または情報を格納可能な任意の他のタイプのメモリのような任意の適切なメモリ技術を用いて実装され得る。本明細書で説明されるアーキテクチャ、システム、および個々のエレメントは、多くの他の論理的、プログラム的、および物理的なコンポーネントを含み得、それらのうちの添付図面に示されるものは、単に本明細書での説明に関連する例示に過ぎない。

【0094】

図４は、分散されたシステムとして示されているが、代替の例において、車両４０２のコンポーネントはコンピューティングデバイス４３６に関連付けられてもよく、および／またはコンピューティングデバイス４３６のコンポーネントは車両４０２に関連付けられてもよいことに留意されたい。すなわち、車両４０２は、コンピューティングデバイス４３６に関連付けられた１つまたは複数の機能を実行することができ、逆もまた同様である。

【0095】

図５Ａは、１つまたは複数の例示的なモデルを使用して潜在的な交点を決定するための例示的なプロセス５００を示すフローチャートの第１の部分である。例えば、プロセス５００の一部またはすべては、本明細書で説明されるように、図４における１つまたは複数のコンポーネントによって実行されることが可能である。例えば、プロセス５００の一部またはすべては、車両コンピューティングデバイス４０４またはコンピューティングデバイス２０２によって実行することができる。

【0096】

動作５０２において、プロセスは、第１のオブジェクトに関連付けられた予測軌道の第１のセットおよび第２のオブジェクトに関連付けられた軌道の第２のセットを受信することを含み得る。いくつかの例では、動作５０２は、車両４０２のライダーセンサ、レーダーセンサなどからセンサデータをキャプチャする車両コンピューティングデバイスを含み得る。いくつかの例では、センサデータを処理して、環境の２次元表現（例えば、トップダウンマルチチャネルデータ、ベクトルデータ、占有グリッドなど）を決定することができる。センサデータは、車両上の１つまたは複数のセンサから、および／または１つまたは複数のリモートセンサから受信され得る。いくつかの例では、１つまたは複数の軌道は、車両の周囲の環境において検出されたオブジェクトごとに、車両コンピューティングデバイス（例えば、予測コンポーネント４２４）によって予測することができる。予測軌道の第１のセットおよび／または予測軌道の第２のセットは、例えば、予測コンポーネント４２４によって決定され得る。

【0097】

動作５０２は、いくつかの例では、１つまたは複数のオブジェクトに関連付けられた第１の予測軌道および第２の予測軌道がＣＰＵから受信されたことを決定することと、メモリ割り当てコンポーネント２０６によって第１の予測軌道および第２の予測軌道を１つまたは複数のＧＰＵに割り当てることと、を含み得る。

【0098】

動作５０４において、プロセスは、第１のセットの第１の予測軌道および第２のセットの第２の軌道に基づいて、予測された交点を決定することを含み得る。いくつかの例では、動作５０４は、初期化コンポーネント２０４（または異なるモデル）を実装する車両コンピューティングデバイスを含み得、初期化コンポーネント２０４は、オブジェクト軌道が車両の軌道と交差するか、または相互作用するかを予測、推測、推定、またはそうでなければ決定するように構成される。様々な例では、車両１０２のための計画された軌道は、各オブジェクトおよび車両の潜在的な将来の位置を表す様々な交点での各検出されたオブジェクトと車両との間の相互作用を決定するのに使用するために、車両コンピューティングデバイス４０４のプランニングコンポーネント４２６から受信され得る。例えば、相互作用コンポーネント２０８は、交点２１０、２１２、２１４、２１６、２１８、および／または２２０を決定することができる。様々な例では、初期化コンポーネント２０４は、入力データ１０６（例えば、各オブジェクトに関連付けられたオブジェクト状態データ）を使用して、第２のオブジェクト（例えば、オブジェクト１１０）の前に車両１０２との交点に到達する可能性が最も高い第１のオブジェクト（例えば、オブジェクト１１２）を識別することができる。

【0099】

いくつかの例では、予測された交点は、１つまたは複数の占有グリッド（例えば、グリッド２２２）に関連付けられたグリッドポイントに少なくとも部分的に基づいて決定することができる。例えば、入力データ１０６は、アクティブ予測コンポーネント１０４によって処理されて、環境内のオブジェクトが占有グリッドのグリッドポイントのうちの１つに関連付けられているかどうかを決定することができ、将来の潜在的な相互作用は、占有グリッドの同じグリッドポイントを占有するオブジェクトに基づいて決定されることができる。

【0100】

動作５０６において、プロセスは、少なくとも第１のオブジェクトに関連付けられた第１の予測軌道および第２のオブジェクトに関連付けられた第２の軌道に対して車両の第１のアクションおよび第２のアクションを実行するように車両をシミュレートすることを含み得る。いくつかの例では、動作５０６は、第１の予測軌道および第２の予測軌道に対して加速アクション、ブレーキアクション、ステアリングアクションなどを表す車両アクション３１０および車両アクション３１２を決定することを含み得る。第１のアクションおよび／または第２のアクションは、将来の異なる時間における車両の可能な状態を表すことができる。

【0101】

動作５０８において、プロセスは、予測された交点および制御ポリシーに基づいて、第１のオブジェクトまたは第２のオブジェクトのうちの少なくとも１つに関連付けられた更新された予測軌道を決定することを含み得る。いくつかの例では、動作５０８は、オブジェクトに関連付けられた速度または加速度の大きさおよび方向を、車両に関連付けられた速度または加速度の大きさおよび方向と比較することを含み得る。様々な例では、アクティブ予測コンポーネント１０４は、１つまたは複数の機械学習モデルを含むシミュレーションコンポーネント３０２を実装して、１つまたは複数のオブジェクト軌道のうちのどれが車両軌道と交差するかを決定し、環境内のオブジェクトおよび車両の道路のルール（例えば、どのオブジェクトが通行権を有し、どのオブジェクトが交通信号、速度バンプなどに応答するか）を決定するためのロジックを含む制御ポリシーに基づいてオブジェクト軌道を更新することができる。

【0102】

図５Ｂは、１つまたは複数の例示的なモデルを使用して潜在的な交差点を決定するための例示的なプロセスを示すフローチャートの第２の部分である。

【0103】

動作５１０において、プロセスは、第１のアクションに関連付けられた第１のコストおよび第２のアクションに関連付けられた第２のコストを決定することを含み得る。いくつかの例では、動作５１０は、各基準アクションに対する基準コスト、障害物コスト、加速コスト、および／またはステアリングコストを決定するコスト決定コンポーネント３０８を含み得る。いくつかの例では、コスト決定コンポーネント３０８はまた、シミュレーションコンポーネント３０２によって実装されるシナリオ中のオブジェクトアクションに関連付けられたコストを決定することができる。様々な例では、車両および／またはオブジェクトによるアクションは、ほんの数例を挙げると、車両にブレーキをかけるためのブレーキアクション、車両にステアリングをさせるためのステアリングアクション、または車両に加速をさせるための加速アクションを含むことができる。

【0104】

動作５１２において、プロセスは、更新された予測軌道、第１のコスト、および第２のコストに少なくとも部分的に基づいて、車両の候補軌道を決定することを含み得る。いくつかの例では、動作５１２は、車両の潜在的な相互作用および関連するコストを示す信号を生成するアクティブ予測コンポーネント１０４を含み、環境内のオブジェクトとの潜在的な相互作用を回避し得る。様々な例では、アクティブ予測コンポーネント１０４は、プランニングコンポーネント４２６に、環境内で航行する際に車両が考慮すべき候補軌道を生成させるプランニングコンポーネント４２６などの、車両コンピューティングデバイス４０４の他のコンポーネントに信号を送信することができる。いくつかの例では、動作５１２は、第１のコストおよび第２のコストに関連付けられた情報を利用するプランニングコンポーネント４２６を含み、車両の候補軌道または他のアクションを決定し、オブジェクトと車両との間の潜在的な交点を回避し得る。

【0105】

動作５１４において、プロセスは、候補軌道に少なくとも部分的に基づいて環境内の車両を制御することを含み得る。いくつかの例では、動作５１４は、少なくともアクティブ予測コンポーネント１０４からの情報に基づいて、車両コンピューティングデバイス４０４によって、将来の環境における車両を制御することを含み得る。様々な例では、アクティブ予測コンポーネント１０４による潜在的な交点の決定は、オブジェクトおよび環境を表す追加の入力データを経時的に処理することによって検証（例えば、将来の時間に発生するか、発生しないか）することができる。

【0106】

様々な例では、プロセス５００は、動作５１４を実行した後に５０２に戻り得る。そのような例では、車両は、潜在的な衝突を継続的に監視し、安全システムを作動させるか否かに関する決定を更新し修正し得る（これは、少なくともいくつかの例では、衝撃を緩和または最小限に抑えるため１つまたは複数の操作を実行することを含み得る）。本明細書で説明される例のいずれかにおいて、プロセスは、所与の頻度で繰り返され、上記の決定を行うために、将来の１つまたは複数の複数回に関連付けられた１つまたは複数の占有グリッドを生成し得る。

【0107】

図５Ａおよび図５Ｂは、本開示の例による例示的なプロセスを示す。これらのプロセスは論理フローグラフとして示され、このそれぞれの動作は、ハードウェア、ソフトウェア、またはそれらの組み合わせにおいて実装できる一連の操作を表現する。ソフトウェアのコンテキストにおいては、動作は、１つまたは複数のプロセッサで実行したときに、列挙した動作を実行する１つまたは複数のコンピュータ可読記録媒体に格納されたコンピュータ実行可能命令を表す。一般に、コンピュータ実行可能命令は、特定の機能を実行するか、または特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。説明された動作の順序は、限定として解釈されることを意図するものではなく、任意の数の説明された動作は、プロセスを実装するために任意の順序で、および／または並行して省略および／または組み合わせることができる。

【0108】

本明細書に記載の方法は、ハードウェア、ソフトウェア、またはそれらの組み合わせで実装することができる動作のシーケンスを表す。ソフトウェアの文脈では、ブロックは、１つまたは複数のコンピュータ可読記憶媒体に格納されたコンピュータ実行可能命令を表し、１つまたは複数のプロセッサによって実行されると、前述の動作を実行する。一般に、コンピュータ実行可能命令は、特定の機能を実行するか、または特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。動作が記載される順序は限定して解釈されることを意図するものではなく、任意の数の記載される動作を任意の順序でおよび／または並行し結合して、プロセスを実装することができる。いくつかの例では、方法の１つまたは複数の動作は完全に省略され得る。例えば、動作は、車両によるアクションの１つまたは複数のそれぞれのコストを決定することなく、選択された軌道に対する車両による第１のアクションおよび第２のアクションを決定することを含み得る。さらに、本明細書に記載の方法は、全体的にまたは部分的に互いに、または他の方法と組み合わせることができる。

【0109】

本明細書に記載の様々な技術は、コンピュータ可読ストレージに格納され、図に示されているような１つまたは複数のコンピューティングデバイスのプロセッサによって実行される、プログラムモジュールなどのコンピュータ実行可能命令またはソフトウェアのコンテキストで実装され得る。一般に、プログラムモジュールには、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造などが含まれ、特定のタスクを実行するための操作ロジックを定義し、特定の抽象的なデータタイプを実装する。

【0110】

説明された機能を実装するために他のアーキテクチャを使用することもでき、本開示の範囲内にあることが意図されている。さらに、責任の具体的な分配は、議論目的のために上記に定義されているが、様々な機能および責任は、状況に応じて、異なる方法において分配および分割され得る。

【0111】

同様に、ソフトウェアは、様々な方法において、および異なる手段を使用して、格納および分配され得、上記の特定のソフトウェアストレージおよび実行構成は、多くの異なる方法で変更できる。したがって、上記の技術を実装するソフトウェアは、具体的に説明されているメモリの形態に限定されず、様々なタイプのコンピュータ可読媒体上に分配できる。

【0112】

例示的な条項
このセクションの例示的な条項のいずれかは、例示的な条項のいずれか、および／または本明細書に記載される他の例示または実施形態のいずれかと共に使用され得る。
[00117] Ａ：１つまたは複数のプロセッサと、前記１つまたは複数のプロセッサによって実行可能な命令を格納する１つまたは複数の非一時的なコンピュータ可読媒体と、を備えたシステムであって、前記命令は、実行されると、前記システムに、第１のオブジェクトに関連付けられた予測軌道の第１のセット、および第２のオブジェクトに関連付けられた軌道の第２のセットを受信することと、前記第１のセットの第１の予測軌道および前記第２のセットの第２の軌道に基づいて、予測された交点を決定することと、少なくとも前記第１のオブジェクトに関連付けられた前記第１の予測軌道および前記第２のオブジェクトに関連付けられた前記第２の軌道に対して第１のアクションおよび第２のアクションを実行するように車両をシミュレートすることと、前記予測された交点および制御ポリシーに基づいて、前記第１のオブジェクトまたは前記第２のオブジェクトのうちの少なくとも１つに関連付けられた更新された予測軌道を決定することと、前記第１のアクションに関連付けられた第１のコストおよび前記第２のアクションに関連付けられた第２のコストを決定することと、前記更新された予測軌道、前記第１のコスト、および前記第２のコストに少なくとも部分的に基づいて、前記車両の候補軌道を決定することと、前記候補軌道に少なくとも部分的に基づいて、環境内の前記車両を制御することと、を含む動作を実行させる。

【0113】

Ｂ：前記制御ポリシーは、物理ポリシー、力学ポリシー、運動学ポリシー、または通行権ポリシーのうちの少なくとも１つを示し、前記通行権ポリシーは、道路、交差点、または前記車両によって航行可能な表面のうちの１つまたは複数に関連付けられた、段落Ａに記載のシステム。

【0114】

Ｃ：前記動作は、前記環境のマップデータを受信することと、前記マップデータに少なくとも部分的に基づいて、前記更新された予測軌道をさらに決定することと、をさらに含む、段落ＡまたはＢのいずれかに記載のシステム。

【0115】

Ｄ：前記動作は、前記第１の予測軌道及び前記第２の軌道に少なくとも部分的に基づいて、前記環境の離散化された部分を表す複数のグリッドポイントを含む占有グリッドを決定することと、前記占有グリッドのグリッドポイントにおける前記第１のオブジェクトの第１の占有及び前記第２のオブジェクトの第２の占有に少なくとも部分的に基づいて、前記予測された交点を決定することと、をさらに含む、段落Ａ～Ｃのいずれか１つに記載のシステム。

【0116】

Ｅ：前記動作は、前記予測軌道の第１のセット及び前記軌道の第２のセットを並列処理ユニットに入力することと、前記並列処理ユニットによる出力に少なくとも部分的に基づいて、前記予測された交点を決定することと、をさらに含む、段落Ａ～Ｄのいずれか１つに記載のシステム。

【0117】

Ｆ：車両に関連付けられた軌道の第１のセット及びオブジェクトに関連付けられた予測軌道の第２のセットを受信するステップと、前記第１のセットの第１の軌道及び前記第２のセットの第２の予測軌道に基づいて、予測された交点を決定するステップと、前記オブジェクトに関連付けられた前記第２の予測軌道に対して前記車両が実行するアクションをシミュレートするステップと、前記予測された交点及び制御ポリシーに基づいて、前記オブジェクトに関連付けられた更新された予測軌道を決定するステップと、前記アクション及び前記更新された予測軌道に少なくとも部分的に基づいて、前記車両の候補軌道を決定するステップと、を含む方法。

【0118】

Ｇ：前記アクションに関連付けられたコストを決定するステップと、前記コストに少なくとも部分的に基づいて、環境内で前記車両を制御するステップと、をさらに含む、段落Ｆに記載の方法。

【0119】

Ｈ：前記車両に関連付けられた前記第１の軌道に対して前記オブジェクトが実行するためのアクションを決定するステップと、をさらに含む、段落ＦまたはＧのいずれかに記載の方法。

【0120】

Ｉ：環境の離散化された部分を表す複数のグリッドポイントを含む占有グリッドを決定するステップと、前記占有グリッドのグリッドポイントにおける前記車両の第１の占有及び前記オブジェクトの第２の占有に少なくとも部分的に基づいて、前記第１の軌道と前記第２の予測軌道との間の前記予測された交点を決定するステップと、をさらに含む、段落Ｆ～Ｈのいずれか１つに記載の方法。

【0121】

Ｊ：前記予測された交点を決定するステップは、前記車両または前記オブジェクトのうちの１つまたは複数に関連付けられた状態データに少なくとも部分的に基づいている、段落Ｆ～Ｉのいずれか１つに記載の方法。

【0122】

Ｋ：前記車両の環境のマップデータを受信するステップと、機械学習モデルによって、前記更新された予測軌道をさらに前記マップデータに少なくとも部分的に基づいて決定するステップと、をさらに含む、段落Ｆ～Ｊのいずれか１つに記載の方法。

【0123】

Ｌ：前記制御ポリシーは、道路、交差点、または前記車両によって航行可能な表面のうちの１つまたは複数に関連付けられたルールを示す、段落Ｆ～Ｋのいずれか１つに記載の方法。

【0124】

Ｍ：前記更新された予測軌道を決定するステップは、さらにツリー探索に少なくとも部分的に基づいている、段落Ｆ～Ｌのいずれか１つに記載の方法。

【0125】

Ｎ：前記車両に関連付けられた前記軌道の第１のセットと、前記オブジェクトに関連付けられた前記予測軌道の第２のセットとの間の複数の組み合わせを決定するステップと、前記複数の組み合わせを処理のために並列処理ユニットに入力するステップと、をさらに含む、段落Ｆ～Ｍのいずれか１つに記載の方法。

【0126】

Ｏ：前記アクションは、第１の時間に関連付けられた第１のアクションであり、前記第１のアクション及び前記制御ポリシーに少なくとも部分的に基づいて、前記第１の時間の後の第２の時間において前記車両のための第２のアクションをシミュレートするステップと、をさらに含む、段落Ｆ～Ｎのいずれか１つに記載の方法。

【0127】

Ｐ：前記オブジェクトは、第１のオブジェクトであり、前記第１のオブジェクトが第１の時間に前記予測された交点に関連付けられていると決定するステップと、前記第１の時間の後の第２の時間において、第２のオブジェクトが前記予測された交点に関連付けられていると決定するステップと、前記第２の時間において前記予測された交点に関連付けられている前記第２のオブジェクトに少なくとも部分的に基づいて、前記第１のオブジェクトまたは前記第２のオブジェクトに関連付けられた前記更新された予測軌道を決定するステップと、をさらに含む、段落Ｆ～Ｏのいずれか１つに記載の方法。

【0128】

Ｑ：１つまたは複数のプロセッサによって実行可能な命令を格納する１つまたは複数の非一時的なコンピュータ可読媒体であって、前記命令が、実行されると、前記１つまたは複数のプロセッサに、車両に関連付けられた軌道の第１のセット、及びオブジェクトに関連付けられた予測軌道の第２のセットを受信することと、前記第１のセットの第１の軌道及び前記第２のセットの第２の予測軌道に基づいて、予測された交点を決定することと、前記オブジェクトに関連付けられた前記第２の予測軌道に対して前記車両が実行するアクションをシミュレートすることと、前記予測された交点及び制御ポリシーに基づいて、前記オブジェクトに関連付けられた更新された予測軌道を決定することと、前記アクション及び前記更新された予測軌道に少なくとも部分的に基づいて、前記車両の候補軌道を決定することと、を含む動作を実行させる、非一時的なコンピュータ可読媒体。

【0129】

Ｒ：前記アクションに関連付けられたコストを決定することと、前記コストに少なくとも部分的に基づいて、環境内で前記車両を制御することと、をさらに含む、段落Ｑに記載の非一時的なコンピュータ可読媒体。

【0130】

Ｓ：前記動作は、前記車両に関連付けられた前記軌道の第１のセットと、前記オブジェクトに関連付けられた前記予測軌道の第２のセットとの間の複数の組み合わせを決定することと、前記複数の組み合わせを処理のために並列処理ユニットに入力することと、をさらに含む、段落ＱまたはＲのいずれかに記載の非一時的なコンピュータ可読媒体。

【0131】

Ｔ：前記制御ポリシーは、物理ポリシー、力学ポリシー、運動学ポリシー、または通行権ポリシーのうちの少なくとも１つを示し、前記通行権ポリシーは、道路、交差点、または前記車両によって航行可能な表面のうちの１つまたは複数に関連付けられた、段落Ｑ～Ｓのいずれかに記載の非一時的なコンピュータ可読媒体。

【0132】

上記で説明される例示的な条項は、１つの特定の実装形態に関して説明されるが、本明細書の文脈において、例示的な条項の内容は、方法、デバイス、システム、コンピュータ可読媒体、および／または別の実装形態を介して実施されることも可能であることを理解されたい。さらに、例Ａ～Ｔのいずれかは、単独で、若しくは他の１つまたは複数の例Ａ～Ｔと組み合わせて実装され得る。

【0133】

まとめ
本明細書で説明する技術の１つまたは複数の例について説明したが、様々な変更、追加、置換、およびそれらの同等物が、本明細書で説明する技術の範囲内に含まれる。

【0134】

例示の説明においては、本明細書の一部を形成する添付の図面が参照され、これは例示として請求される主題の具体的な例を示す。他の例を使用でき、構造的変更などの変更または代替を行うことができることを理解されたい。そのような例示、変更または代替は、意図して請求される主題に関する範囲から必ずしも逸脱するものではない。本明細書のステップは特定の順序で提示できるが、場合によっては、説明したシステムおよび方法の機能を変更することなく、特定の入力を異なる時間または異なる順序で提供するように、順序を変更できる。開示された手順はまた異なる順序で実行できる。さらに、本明細書における様々な計算は、開示される順序で実行される必要はなく、計算の代替の順序を用いる他の例が容易に実装されることが可能である。

【図1】