特表 2024-545606 ノードエッジ特徴への相対的オブジェクト情報のエンコード

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-12-10

(54)【発明の名称】ノードエッジ特徴への相対的オブジェクト情報のエンコード

(51)【国際特許分類】

   B60W 30/10 20060101AFI20241203BHJP

   B60W 60/00 20200101ALI20241203BHJP

   G08G 1/16 20060101ALI20241203BHJP

   G06T 7/00 20170101ALI20241203BHJP

【ＦＩ】

B60W30/10

B60W60/00

G08G1/16 C

G06T7/00 650A

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024531114

(86)(22)【出願日】2022-10-21

(85)【翻訳文提出日】2024-05-23

(86)【国際出願番号】 US2022047451

(87)【国際公開番号】W WO2023096716

(87)【国際公開日】2023-06-01

(31)【優先権主張番号】17/535,357

(32)【優先日】2021-11-24

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/535,382

(32)【優先日】2021-11-24

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/535,396

(32)【優先日】2021-11-24

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/535,418

(32)【優先日】2021-11-24

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】518156417

【氏名又は名称】ズークス インコーポレイテッド

(74)【代理人】

【識別番号】110001243

【氏名又は名称】弁理士法人谷・阿部特許事務所

(72)【発明者】

【氏名】ゴーサム ガリメラ

(72)【発明者】

【氏名】マリン コビラロフ

(72)【発明者】

【氏名】アンドレス ギレルモ モラレス モラレス

(72)【発明者】

【氏名】イーサン ミラー プロノヴォスト

(72)【発明者】

【氏名】カイ ジェンユー ワン

(72)【発明者】

【氏名】シアオスー ゾン

【テーマコード（参考）】

3D241

5H181

5L096

【Ｆターム（参考）】

3D241CD16

3D241CD17

3D241CE04

3D241CE09

3D241DB01Z

3D241DB02Z

3D241DB05Z

3D241DB10Z

3D241DB12Z

3D241DC33Z

3D241DC39Z

3D241DC50Z

3D241DC59Z

3D241DC60Z

5H181AA01

5H181BB20

5H181CC03

5H181CC04

5H181CC11

5H181CC12

5H181CC14

5H181CC27

5H181LL04

5H181LL09

5H181LL15

5L096AA06

5L096BA04

5L096CA04

5L096DA02

5L096FA69

5L096HA09

5L096HA11

5L096JA11

5L096JA18

5L096KA04

(57)【要約】

環境内のオブジェクトの統一された将来を決定するための手法が本明細書で議論される。手法は、環境内のオブジェクトに関連付けられた第１の特徴及び環境に関連付けられた第２の特徴を決定し、環境内のオブジェクトの位置に基づいて、グラフニューラルネットワーク（ＧＮＮ）を更新して、第１の特徴及び第２の特徴を、オブジェクトを表すグラフノードにエンコードし、環境内の追加のオブジェクトの相対位置をノードに接続された１つ又は複数のエッジにエンコードすることを含み得る。ＧＮＮは、その後のタイムことにおけるオブジェクトの予測位置を決定するためにデコードされ得る。さらに、様々なタイムことにおけるオブジェクトの予測位置を使用して、オブジェクトの予測軌道が決定され得る。

【特許請求の範囲】

【請求項1】

方法であって、
環境内の車両に関連付けられたセンサーからセンサーデータを受信することであって、前記環境はオブジェクトを含むことと、
前記センサーデータに少なくとも部分的に基づいて、第１の時間における前記オブジェクトに関連付けられた第１の特徴を決定することと、
前記環境に関連付けられた前記センサーデータ又はマップデータに少なくとも部分的に基づいて、前記環境に関連付けられた第２の特徴を決定することと、
前記オブジェクトに関連付けられた前記第１の特徴及び前記環境に関連付けられた前記第２の特徴を表すグラフニューラルネットワーク（ＧＮＮ）の第１のノードを決定することと、
前記車両を表す前記ＧＮＮの第２のノードを決定することであって、前記第１のノードと前記第２のノードとを接続するエッジが、前記車両又は前記オブジェクトの少なくとも一方の状態を相対状態として表すことと、
前記ＧＮＮに少なくとも部分的に基づいて、前記第１の時間の後の第２の時間における前記オブジェクトの第１の予測位置を表す第１の出力を決定することと、
前記オブジェクトの前記第１の予測位置に少なくとも部分的に基づいて、前記オブジェクトの第１の予測軌道を決定することと、
を備える方法。

【請求項2】

前記車両は、前記環境を横断する自律車両であり、前記方法は、前記オブジェクトの前記軌道に少なくとも部分的に基づいて、前記自律車両を制御することをさらに備える、請求項１に記載の方法。

【請求項3】

前記ＧＮＮに少なくとも部分的に基づいて、前記第２の時間における前記車両の第２の予測位置を表す第２の出力を決定することと、
前記車両に関連付けられた計画コンポーネントから、前記環境を通る前記車両の基準軌道を受信することと、
前記基準軌道に少なくとも部分的に基づいて、前記ＧＮＮの前記第２のノードを更新することであって、前記第１のノードと前記第２のノードを接続する前記エッジが前記車両の候補位置を表すことと、
前記オブジェクトの前記第１の予測位置と前記車両の前記候補位置に少なくとも部分的に基づいて、前記オブジェクトの前記第１の予測軌道を決定することと、
をさらに備える、請求項１又は２に記載の方法。

【請求項4】

前記第１のノードと前記第２のノードとを接続する前記エッジは、前記第１の時間における前記車両に対する前記オブジェクトの前記状態を表し、前記方法は、
前記マップデータに少なくとも部分的に基づいて、前記環境に関連付けられた特徴マップを決定することと、
前記環境における前記オブジェクトの前記第１の予測位置及び前記特徴マップに少なくとも部分的に基づいて、前記環境に関連付けられた第３の特徴を決定することと、
前記第３の特徴に少なくとも部分的に基づいて、前記ＧＮＮの前記第１のノードを更新することと、
前記ＧＮＮに少なくとも部分的に基づいて、前記第２の時間の後の第３の時間における前記オブジェクトの第２の予測位置を表す第２の出力を決定することと、
をさらに備え、
前記オブジェクトの前記第１の予測軌道を決定することは、前記オブジェクトの前記第１の予測位置と前記オブジェクトの前記第２の予測位置に少なくとも部分的に基づく、
請求項１から３のいずれか一項に記載の方法。

【請求項5】

前記オブジェクトの姿勢、
前記オブジェクトの位置、
前記オブジェクトの加速度、
前記オブジェクトの速度、
前記オブジェクトのサイズ、
前記オブジェクトのタイプ、又は、
前記オブジェクトの照明状態、
の少なくとも１つを表すデータに少なくとも部分的に基づいて、前記オブジェクトに関連付けられた前記第１の特徴を決定することをさらに備える、請求項１から４のいずれか一項に記載の方法。

【請求項6】

前記環境内の静的オブジェクト、
前記環境内の動的オブジェクト、
前記環境内の交通標識、
前記環境内の信号機、
前記環境内の前記静的オブジェクト又は前記動的オブジェクトのタイプ、
前記環境内の前記静的オブジェクト又は前記動的オブジェクトの照明状態、又は、
前記環境内の車線標識、
のうちの少なくともつを表すデータに少なくとも部分的に基づいて、前記環境に関連付けられた前記第２の特徴を決定することをさらに備える、請求項１から５のいずれか一項に記載の方法。

【請求項7】

前記第１の特徴は、前記オブジェクトに関連付けられたデータを第１のニューラルネットワークに入力することに少なくとも部分的に基づいて決定され、前記データは、前記センサーデータに少なくとも部分的に基づいており、
前記第２の特徴は、前記環境の視野を前記第１のニューラルネットワークとは異なる第２のニューラルネットワークに入力することに少なくとも部分的に基づいて決定され、前記環境の前記視野は、前記センサーデータに少なくとも部分的に基づいており、
前記第２の特徴は、前記オブジェクトに対応する前記環境の一部に関連付けられる、
請求項１から６のいずれか一項に記載の方法。

【請求項8】

１つ又は複数のプロセッサによって実行可能な指令を格納する１つ又は複数の非一時的コンピュータ可読媒体であって、前記指令が実行されると、前記１つ又は複数のプロセッサに請求項１から７のいずれか一項に記載の前記方法を実行させる、非一時的コンピュータ可読媒体。

【請求項9】

システムであって、
１つ又は複数のプロセッサと、
１つ又は複数の非一時的コンピュータ可読媒体であって、前記１つ又は複数のプロセッサによって実行されると、前記１つ又は複数のプロセッサに、
環境内の車両に関連付けられたセンサーからセンサーデータを受信することであって、前記環境はオブジェクトを含むことと、
前記センサーデータに少なくとも部分的に基づいて、第１の時間における前記オブジェクトに関連付けられた第１の特徴を決定することと、
前記環境に関連付けられた前記センサーデータ又はマップデータに少なくとも部分的に基づいて、前記環境に関連付けられた第２の特徴を決定することと、
前記オブジェクトに関連付けられた前記第１の特徴及び前記環境に関連付けられた前記第２の特徴を表すグラフニューラルネットワーク（ＧＮＮ）の第１のノードを決定することと、
前記車両を表す前記ＧＮＮの第２のノードを決定することであって、前記第１のノードと前記第２のノードとを接続するエッジが、前記車両又は前記オブジェクトの少なくとも一方の状態を相対状態として表すことと、
前記ＧＮＮに少なくとも部分的に基づいて、前記第１の時間の後の第２の時間における前記オブジェクトの第１の予測位置を表す第１の出力を決定することと、
前記オブジェクトの前記第１の予測位置に少なくとも部分的に基づいて、前記オブジェクトの第１の予測軌道を決定することと、
を備える動作を実行させるコンピュータ実行可能な指令を格納する該１つ又は複数の非一時的コンピュータ可読媒体と、
を備える、システム。

【請求項10】

前記車両は、前記環境を横断する自律車両であり、前記動作は、前記オブジェクトの前記軌道に少なくとも部分的に基づいて、前記自律車両を制御することをさらに備える、請求項９に記載のシステム。

【請求項11】

前記動作は、
前記ＧＮＮに少なくとも部分的に基づいて、前記第２の時間における前記車両の第２の予測位置を表す第２の出力を決定することと、
前記車両に関連付けられた計画コンポーネントから、前記環境を通る前記車両の基準軌道を受信することと、
前記基準軌道に少なくとも部分的に基づいて、前記ＧＮＮの前記第２のノードを更新することであって、前記第１のノードと前記第２のノードを接続する前記エッジが前記車両の候補位置を表すことと、
前記オブジェクトの前記第１の予測位置と前記車両の前記候補位置に少なくとも部分的に基づいて、前記オブジェクトの前記第１の予測軌道を決定することと、
をさらに備える、請求項９又は１０に記載のシステム。

【請求項12】

前記第１のノードと前記第２のノードとを接続する前記エッジは、前記第１の時間における前記車両に対する前記オブジェクトの前記状態を表し、前記動作は、
前記マップデータに少なくとも部分的に基づいて、前記環境に関連付けられた特徴マップを決定することと、
前記環境における前記オブジェクトの前記第１の予測位置及び前記特徴マップに少なくとも部分的に基づいて、前記環境に関連付けられた第３の特徴を決定することと、
前記第３の特徴に少なくとも部分的に基づいて、前記ＧＮＮの前記第１のノードを更新することと、
前記ＧＮＮに少なくとも部分的に基づいて、前記第２の時間の後の第３の時間における前記オブジェクトの第２の予測位置を表す第２の出力を決定することと、
をさらに備え、
前記オブジェクトの前記第１の予測軌道を決定することは、前記オブジェクトの前記第１の予測位置と前記オブジェクトの前記第２の予測位置に少なくとも部分的に基づく、
請求項９から１１のいずれか一項に記載のシステム。

【請求項13】

前記動作は、
前記オブジェクトの姿勢、
前記オブジェクトの位置、
前記オブジェクトの加速度、
前記オブジェクトの速度、
前記オブジェクトのサイズ、
前記オブジェクトのタイプ、又は、
前記オブジェクトの照明状態、
の少なくとも１つを表すデータに少なくとも部分的に基づいて、前記オブジェクトに関連付けられた前記第１の特徴を決定することをさらに備える、請求項９から１２のいずれか一項に記載のシステム。

【請求項14】

前記動作は、
前記環境内の静的オブジェクト、
前記環境内の動的オブジェクト、
前記環境内の交通標識、
前記環境内の信号機、
前記環境内の前記静的オブジェクト又は前記動的オブジェクトのタイプ、
前記環境内の前記静的オブジェクト又は前記動的オブジェクトの照明状態、又は、
前記環境内の車線標識、
のうちの少なくともつを表すデータに少なくとも部分的に基づいて、前記環境に関連付けられた前記第２の特徴を決定することをさらに備える、請求項９から１３のいずれか一項に記載のシステム。

【請求項15】

前記動作は、前記データを畳み込みニューラルネットワーク（ＣＮＮ）又はリカレントニューラルネットワーク（ＲＮＮ）のうちの１つに入力することに少なくとも部分的に基づいて、前記環境に関連付けられた前記第２の特徴を決定することをさらに備える、請求項１４に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、ノードエッジ特徴への相対的オブジェクト情報のエンコードに関する。

【背景技術】

【0002】

本出願は、２０２１年１１月２４日に出願され、「ENCODING RELATIVE OBJECT INFORMATION INTO NODE EDGE FEATURES」と題された米国特許出願第１７／５３５３５７号、２０２１年１１月２４日に出願され、「BOUNDARY AWARE TOP-DOWN PREDICTION」と題された米国特許出願第１７／５３５３８２号、２０２１年１１月２４日に出願され、「PREDICTION SAMPLING TECHNIQUES」と題された米国特許出願第１７／５３５３９６号、及び、２０２１年１１月２４日に出願され、「FOCUSING PREDICTION DISTRIBUTION OUTPUT FOR EFFICIENT SAMPLING」と題された米国特許出願第１７／５３５４１８号の優先権を主張し、これらの全内容は、あらゆる目的のために、参照により、本明細書に組み込まれる。

【0003】

自律車両は、環境を通して車両を誘導するための様々なソフトウェアベースのシステム、ハードウェアベースのシステム、及び／又はコントローラを含み得る。例えば、自律車両のコントローラは、センサーシステム、オブジェクト知覚及び予測システム、ならびに、経路計画及び最適化技術を使用して、経路を計画し、運転経路を決定し、静的及び動的オブジェクトを含む環境を通して、車両を誘導することができる。他の移動車両（自律型又はそれ以外）、移動する人々、静止した建物などがある混雑した領域を横断する間、乗客だけでなく周囲の人や物体の安全を確保するために、自律車両はデータを受信して分析し、決定を下し得る。例えば、ある環境を横断している間、自律車両は、周辺環境にあるオブジェクトに関する様々なセンサーからのセンサーデータと、周辺環境を表すマップデータの組み合わせを使用して、環境を分析し、その環境において車両をどのように制御し、ナビゲートするかを決定し得る。

【図面の簡単な説明】

【0004】

詳細な説明は、添付の図を参照しながら説明される。図において、符号の最も左の桁は、符号が最初に現れる図を特定する。異なる図における同じ符号の使用は、類似又は同一の構成要素又は特徴を示す。

【0005】

【図1】センサーデータを取り込み、特徴をグラフニューラルネットワーク（ＧＮＮ）のノードとエッジにエンコードし、ＧＮＮによって出力された分布データから物体の予測位置をサンプリングするための例示的なプロセスの絵画的フロー図である。

【図2】センサーデータを取り込み、特徴をＧＮＮのノードとエッジにエンコードし、GNNによって出力された分布データからサンプリングされたオブジェクトの第１の予測位置が指定された領域の外側にあると決定し、マップデータに基づいてオブジェクトの第２の予測位置を決定するプロセスの一例を示す絵画的フロー図である。

【図3A】トップダウンビューから見た環境の例と、第１のタイプの予測を使用して決定された環境内の車両の予測軌道を示している。

【図3B】トップダウンビューから見た環境の例と、第２のタイプの予測を使用して決定された環境内の車両の予測された将来を示している。

【図4A】トップダウンビューから見た環境の例と、第１のタイプの予測を使用して決定された予測位置を示している。

【図4B】トップダウンビューから見た環境の例と、第２のタイプの予測を使用して決定された予測位置を第１のタイプの予測を使用して決定された予測位置と比較した図である。

【図5A】第１のタイプの予測と第２のタイプの予測を使用して第１の時間における予測位置を決定するための構造例を示す図である。

【図5B】第１のタイプの予測と第２のタイプの予測を使用して第２の時間における予測位置を決定するための構造例を示す図である。

【図6】特徴をＧＮＮにエンコードし、ＧＮＮが出力する分布データからオブジェクトの予測位置をサンプリングするためのアーキテクチャ例を示すブロック図である。

【図7】ＧＮＮのノードを更新し、ＧＮＮが出力する分布データからオブジェクトの予測位置をサンプリングする例を示すブロック図である。

【図8A】センサーデータを取り込み、特徴をＧＮＮのノードとエッジにエンコードし、サンプリングするためのプロセス例である。

【図8B】センサーデータを取り込み、特徴をＧＮＮのノードとエッジにエンコードし、サンプリングするためのプロセス例である。

【図9】センサーデータを取り込み、特徴をＧＮＮのノードとエッジにエンコードし、ＧＮＮが出力する分布データからサンプリングされたオブジェクトの第１の予測位置が指定された領域の外側にあることを決定し、マップデータに基づいてオブジェクトの第２の予測位置を決定するためのプロセス例である。

【図10】センサーデータを取り込み、特徴をＧＮＮのノードとエッジにエンコードし、ＧＮＮによって出力される分布データをサンプリングするためのサンプリング手法を決定し、サンプリング手法を使用して分布データからサンプリングされたオブジェクトの予測位置に基づいて車両を制御するための例示的なプロセスである。

【図11】センサーデータを取り込み、特徴をＧＮＮのノードとエッジにエンコードし、ＧＮＮによって出力された第１の分布データを評価して、基準を満たす第１の分布データに含まれる予測位置のサブセットを含む第２の分布データを決定し、第２の分布データからサンプリングされたオブジェクトの予測位置に基づいて車両を制御するための例示的なプロセスである。

【図12】本明細書に述べられる手法を実装するための例示的なシステムのブロック図である。

【発明を実施するための形態】

【0006】

本明細書では、環境内のオブジェクトの予測された将来位置を決定する手法が議論される。例えば、本明細書に述べられる手法は、センサーデータ、マップデータ、及び／又は環境内で決定されたオブジェクトの分析に基づく予測及び計画動作を含み得る。いくつかの例では、手法は、環境に関連付けられた特徴マップから環境の要素を決定してベクトル化すること、ならびに環境内で知覚されるオブジェクト（本明細書では、エンティティ、エージェントなどとも呼ばれる）を決定してベクトル化すること、及び、ベクトル化された環境要素及びオブジェクトをグラフ構造内で表すことを含み得る。いくつかの例では、自律車両などの車両のコンピューティングデバイス、及び／又は車両に関連付けられたコンピューティングデバイスは、車両ノード及び／又はオブジェクトノードの組み合わせを含むグラフニューラルネットワーク（ＧＮＮ）を生成し、使用し得る。ＧＮＮはまた、ＧＮＮ内のオブジェクトのペアの間のオフセットデータ（例えば、相対位置、相対姿勢、相対速度、相対加速度、相対サイズなど）を格納するエッジネットワークを含み得る。ＧＮＮは、グラフ構造上で動作し得るニューラルネットワークの一種である。様々な実装において、ＧＮＮは、ＧＮＮ内のノードの別個のペアに関連付けられた別個のエッジ特徴を有する部分連結又は完全連結であり得る。ＧＮＮ自体から決定される内部入力に基づいて、及び／又は、環境において自律車両によって知覚される更新された観測に基づいて、ノード及び／又はエッジ特徴の更新を含むＧＮＮの状態を更新するために、例えば、グラフメッセージパッシングなどの機械学習に基づく推論動作が実行さ得る。ＧＮＮへの更新（ＧＮＮによって出力されたデータとも呼ばれる）は、環境内の個々のオブジェクトの予測された将来の状態の分布を表し得、自律車両は、ＧＮＮの一部をデコードし、及び／又は分布出力からサンプリングされて、環境内のオブジェクトの位置、速度、軌道、及び／又は他の更新された予測状態の予測を決定し得る。

【0007】

本明細書で議論されるように、センサーデータは、環境内の車両に関連付けられたセンサーによって取り込まれ得る。いくつかの例では、環境は、例えば、第１のオブジェクト（例えば、エンティティ）などの１つ又は複数のオブジェクトを含み得る。センサーデータは、車両、第１のオブジェクト、及び／又は環境に関連付けられた特徴を決定するために様々な方法で処理され得る。例えば、第１のオブジェクトの第１の状態を表す第１のデータが決定され得る。いくつかの例では、第１の状態は、オブジェクトの姿勢、オブジェクトの位置、オブジェクトの加速度、オブジェクトの速度、オブジェクトのサイズ、オブジェクトのタイプ、オブジェクトの照明状態などを含み得るが、これらに限定されない。いくつかの例では、第１のオブジェクトの第１の状態を表す第１のデータは、第１の機械学習（ＭＬ）モデルに入力され、例えば、第１のオブジェクトに関連付けられた第１の特徴を含む第２のデータなどの出力データを決定するために処理され得る。第１のＭＬモデルは、リカレントニューラルネットワーク（ＲＮＮ）として構成され得る。いくつかの例では、第２のデータは、多次元データとして構成されてもよく、オブジェクトに関連付けられた特徴の数に対応する任意の数のチャネルを含んでもよい。

【0008】

追加的又は代替的に、車両が横断している環境又はその一部に関連付けられたマップデータが決定され、及び／又は受信され得る。いくつかの例では、センサーデータ及び／又はマップデータは、環境の視野を表す第３のデータを決定するために処理され得る。いくつかの例では、第３のデータは、平面図又はトップダウンビューで表され得る。他の例では、第３のデータは、立面図又は側面図で表され得る。いくつかの例では、環境の視野は、道路、車線、縁石、路肩、横断歩道、建物、樹木、中央分離帯、道路標識、交通信号、速度制限などを含むがこれらに限定されない、車両の環境内の様々な要素を表し得る。いくつかの例では、環境の視野を表す第３のデータは、第２のＭＬモデルに入力され、例えば、環境に関連付けられた第２の特徴を含む第４のデータなどの出力データを決定するために処理され得る。第２のＭＬモデルは、ＲＮＮ又は畳み込みニューラルネットワーク（ＣＮＮ）として構成され得る。いくつかの例では、第４のデータは、多次元データとして構成されてもよく、環境に関連付けられた特徴の数に対応する任意の数のチャネルを含んでもよい。追加的又は代替的に、センサーデータ及び／又はマップデータは、環境に関連付けられた領域を表す特徴マップを決定するように処理されてもよく、第２の特徴は、環境内の第１のオブジェクトの現在位置及び特徴マップ上の対応する位置に基づいて決定されてもよく、第２の特徴は、オブジェクトの現在位置で特徴マップからサンプリングされてもよく、オブジェクトの位置に相対的なシーンコンテキスト特徴を提供する。

【0009】

オブジェクトに関連付けられた第１の特徴及び環境に関連付けられた第２の特徴が決定された状態で、ＧＮＮが生成及び／又は更新される場合がある。いくつかの例では、ＧＮＮは、第１の特徴及び第２の特徴を使用して、第１のオブジェクトを表すグラフノードを決定することによって生成され得る。追加的又は代替的に、ＧＮＮは、第１の特徴及び第２の特徴を第１のオブジェクトを表すグラフノードに関連付けられたことによって更新され得る。追加的又は代替的に、車両を表すＧＮＮの第２のグラフノードが決定及び／又は更新され得る。ＧＮＮの２つ又は複数のグラフノードが決定及び／又は更新されると、第２のノードと第２のノードとを接続するエッジが決定され得る。いくつかの例では、２つのグラフノードを接続するエッジは、互いに対するノードによって表されるオブジェクトに関連付けられた特徴でエンコードされ得る。例えば、第１のオブジェクトに関連付けられた第１のグラフノードと車両に関連付けられた第２のグラフノードとを接続する第１のエッジが決定され得る。第１のエッジは、車両に対する第１のオブジェクト（例えば、第１及び第２の特徴）に関連付けられた特徴、及び／又は第１のオブジェクトに対する車両に関連関連付けられた特徴でエンコードされ得る。

【0010】

前述のように、ＧＮＮのグラフノードに関連付けられた予測位置、及び／又はＧＮＮのグラフノードに関連付けられた分布データは、ＧＮＮの更新及び／又はＧＮＮに対する推論動作の実行に基づいて決定され得る。分布データは、将来における（例えば、可変の時間増分における）オブジェクトの予測位置の分布を含み得る。いくつかの例では、ＧＮＮは、環境内のオブジェクトごとに単一のガウス分布を出力し得る。ＧＮＮは、オブジェクトの分布データに含まれる予測位置が、オブジェクトに関連付けられた特徴（例えば、第１及び第２の特徴）に基づいて決定され、環境内の他のオブジェクトに対して相対的であるように構成されてもよく、すなわち、第１のオブジェクトの第１の予測位置は、同じタイムステップにおける第２のオブジェクトの第２の予測位置と重ならないように、又は他の方法で衝突しないように構成されてもよい。

【0011】

将来（例えば、あるタイムステップから次のタイムステップまで）におけるオブジェクトの予測位置は、様々な方法で決定され得る。いくつかの例では、オブジェクトの予測位置は、例えば、ガウスサンプリング（例えば、ガウス分布に基づくサンプリングパターンに従う）、最尤サンプリング（例えば、分布の最小値、最大値、又は平均値などの平均をとる）、又は上書きサンプリング（例えば、分布に含まれ得る、又は含まれないかもしれないオブジェクトの特定の位置を選択する）などのサンプリング手法に従って分布データからサンプリングすることによって決定され得る。例えば、第１のオブジェクトの第１の予測位置は、ＧＮＮによって出力された第１の分布データからサンプリングすることによって決定され得る。

【0012】

オブジェクトの予測位置（例えば、タイムステップ１における予測位置）が決定されると、将来における追加の予測位置（例えば、タイムステップ２における予測位置）が、予測位置から決定され、及び／又はオブジェクトの軌道が、予測位置に基づいて決定され得る。例えば、第１の予測位置が決定されると、第１のオブジェクトを表す第１のグラフノードは、第１の予測位置におけるオブジェクトに関連付けられた第１の特徴、及び／又は第１の予測位置における環境に関連付けられた第２の特徴を反映するように更新され得る。したがって、（例えば、タイムステップ２における）オブジェクトの第２の予測位置を含む第２の分布データが、グラフノードの更新又は推論動作に続いてＧＮＮによって出力され得る。オブジェクトの第１の予測位置は、更新されたグラフノードによって反映されるため、第２の分布データは、第１の予測位置からの第２の予測位置を含み得る。次いで、オブジェクトの第２の予測位置を決定するために、第２の分布データがサンプリングされ得る。このプロセスは、将来の任意の時間（例えば、１秒、２秒、４秒、８秒など）までの増分タイムステップ（例えば、０．１秒、０．５秒、１秒、２秒など）でオブジェクトの多数の予測位置を決定するために、任意の回数繰り返され得る。

【0013】

オブジェクトの予測位置は、オブジェクトの予測軌道を決定するために利用され得る。例えば、第１のオブジェクトの予測軌道は、第１のオブジェクトの（タイムステップ０における）開始位置（現在位置ともいう）、第１のオブジェクトの（タイムステップ１における）第１の予測位置、及び第１のオブジェクトの（タイムステップ２における）第２の予測位置に基づいて決定され得る。予測軌道は、タイムステップが増加するにつれて、オブジェクトの予測位置に沿って追跡するように構成され得る。

【0014】

さらに、環境内の単一のオブジェクトに関してのみ述べられるが、本明細書で述べられる手法は、分布データが単一のタイムステップで環境内の各オブジェクトについて出力され、環境内の他のオブジェクトの他の予測位置に対する次のタイムステップでのオブジェクトの予測位置を含むように、並列に（例えば、グラフィック処理装置（ＧＰＵ）などの並列処理機器上で）実行され得る。これにより、ある期間にわたって環境についてＮ組の将来を決定することができ、ここでＮは０より大きい任意の整数であってよく、各将来は、環境内の各オブジェクトについて単一の可能な軌道（例えば、他の軌道と重ならない軌道、及び／又はオブジェクト間の衝突を生じない軌道）を含み得る。

【0015】

追加的又は代替的に、分布データを評価して、基準を満たす予測位置のサブセットを含むフォーカスされた分布データを決定し、予測位置のより効率的なサンプリング（例えば、不可能な現実世界のシナリオを除去する、オブジェクトが特定の態様で動作するように影響を与えるなど）を可能にし得る。いくつかの例では、基準は、オブジェクトのタイプ、オブジェクトの特性、マップデータ、入力データなどに基づき得る。いくつかの例では、分布データは、オブジェクトの現実世界の動作を反映していない可能性のあるオブジェクトの１つ又は複数の予測位置を含み得る。例えば、分布データの１つ又は複数の予測位置は、例えば、一時停止標識、信号機、速度制限、工事区域などの道路の規則（マップデータ及び／又は入力データによって反映され得る）に適合しない場合がある。追加的又は代替的に、敵対的な行動をとるオブジェクト（例えば、無謀な運転、不適切な車線からの旋回、急停車など）を評価することが望ましい場合もある。いくつかの例では、分布データは、伝統的なランダムサンプリング手法を使用してもそのような予測位置の選択がほとんど得られないような、敵対的な態様で行動するオブジェクトを反映する限られた数の予測位置を含み得る。分布データを基準（例えば、１つ又は複数の道路の規則の実施、敵対的なマナーでの行動など）に関して評価することにより、基準を満たす予測位置のみを含む分布データのサブセットが決定され得る。

【0016】

追加的又は代替的に、分布データは、様々なサンプリング手法を使用してサンプリングされ得る。いくつかの例では、分布のセットをサンプリングするためのサンプリング手法は、グラフノードの分類タイプ（例えば、グラフノードが車両、オブジェクト、特定のタイプのオブジェクトなどに関連しているか）、分布データの予測位置（例えば、予測位置が予め定義された領域内にあるかどうか）、分布データの分布タイプ、分布データに関連付けられた入力（例えば、オブジェクトに関連付けられた基準軌道）などに基づいて決定され得る。いくつかの例では、異なるサンプリング手法が異なるタイムステップで同じオブジェクトに採用され得る。例えば、オブジェクトの第１の予測位置は、ガウスサンプリング手法を使用して第１の時間に決定され得、オブジェクトの第２の予測位置は、第2の時間にオブジェクトの進行を最大化するように構成されたサンプリング手法を使用して第２の時間に決定され得る。追加的又は代替的に、同じタイムステップにおいて異なるオブジェクトに対して異なるサンプリング手法が採用され得る。例えば、第１のオブジェクトに対する第１の予測位置は、第１の時間における第１のオブジェクトの進捗を最小化するように構成された第１のサンプリング手法を使用して第１の時間に決定され得、第２のオブジェクトに対する第２の予測位置は、第１の時間における第２のオブジェクトの進捗を最大化するように構成された第２のサンプリング手法を使用して第１の時間に決定され得る。追加的又は代替的に、複数のオブジェクトのうち指定されたオブジェクトに対する分布データ出力を上書きするために、異なるサンプリング手法が採用され得る。例えば、オブジェクトに対する分布出力は、オブジェクトの予測位置を含み得、基準軌道に従うオブジェクトの予測位置を決定するためにサンプリング手法を構成するための入力を受信し得る。

【0017】

追加的又は代替的に、分布データが上書きされるべきかどうかを決定するために、分布データがさらに評価され得る。例えば、車両及び第１のオブジェクトを含む環境の領域（例えば、センサーデータを取り込む車両を取り囲む固定領域）を例に挙げる。いくつかの例では、領域は、車両に関連付けられたトップダウンシーンとして構成され、センサーデータに基づいて生成される。追加的又は代替的に、環境の領域は、指定された距離、車両に関連する軌道及び／又は速度、センサーがセンサーデータを取り込んで環境特徴を決定することができる領域などによって制限され得る。いくつかの例では、第１のオブジェクトの分布データは、第１のオブジェクトの予測された位置、又は予測された位置の閾値の数が、領域の外側であるか、又は領域の内側であるかを決定するために評価され得る。

【0018】

第1のオブジェクトが環境の領域から出ると、ヌルシーンコンテキストデータで環境に関連付けられた第２の特徴を表すグラフノードが更新され得る。このように、ＧＮＮは、オブジェクトに関連付けられた特徴及び環境に関連付けられたヌルシーンコンテキスト特徴に基づいて分布データを出力し、その結果、環境の特徴を考慮しない可能性のあるオブジェクトの予測位置が得られる。例えば、オブジェクトが走行する道路に曲がり角やカーブがあるとする。いくつかの例では、領域の外側のオブジェクトの分布データは、道路の曲率に従わない予測位置を含む可能性があり、そのようなシナリオで繰り返し位置を予測すると、道路から外れたオブジェクトの非現実的な予測軌道になり得る。したがって、環境領域外のオブジェクトの予測位置を決定するために、環境に関連付けられた特徴の代わりに、環境に関連するマップデータを利用することが有益な場合がある。

【0019】

例えば、（例えば、シーンコンテキストがヌルである場合に）環境の境界領域の外側の環境に適合するオブジェクトの予測位置を決定することが望ましい場合がある。いくつかの例では、環境に関連付けられたマップデータは、分布データからサンプリングされた第１の予測位置を第２の予測位置、例えば、オブジェクトが走行している車線の中心位置に投影するために利用され得る。いくつかの例では、オブジェクトの現在位置とマップデータに基づいて基準線が決定され得る。例えば、オブジェクトの現在位置から車線内の位置までの基準線は、現在位置から分布データからサンプリングされた予測位置までの距離と実質的に類似する距離に基づいて決定され得る。追加的又は代替的に、基準線は車両力学モデルに基づいて変更され得る。例えば、基準線は、例えば、カーブでの減速、曲がり角からの加速など、オブジェクトの現実世界の動作をモデル化するように構成された車両ダイナミクスモデルに基づいて短縮又は延長され得る。

【0020】

本明細書で論じらる手法は、自律車両のコンピューティングデバイスなどのコンピューティングデバイスの機能を多くの方法で改善し得る。例えば、本明細書で述べられる様々な手法は、自律車両の環境モデリング及び予測能力における技術的改善、ならびに、環境内のオブジェクトを孤立した態様で（例えば、他のエージェントの相互作用を無視して）調べるのではなく、環境内の他のオブジェクトの対応する相互作用を用いて調べることにより、コンピューティングリソースを削減し、自律車両の予測及び意思決定コンポーネントの効率を改善する技術的利点を提供する。例えば、オブジェクトに対してエンコードされた追加オブジェクトの特徴を使用してオブジェクトの予測位置を決定することは、環境内のすべてのオブジェクトの可能な将来のＮ組を決定することを可能にし、互換性がない可能性がある各オブジェクトの予測軌道のＮ組（例えば、衝突をもたらす軌道）を決定することよりも少ない中央処理装置（ＣＰＵ）及び／又はグラフィック処理装置（ＧＰＵ）の電力を必要とする。本明細書で述べられる手法はまた、基準を満たす予測位置のみを含むように分布データに焦点を合わせることによって、分布データのより効率的なサンプリングを可能にし得る。さらに、この手法は、シーンコンテキストデータを使用することなく、境界領域の外側のオブジェクトの現実的な軌道（例えば、車線の曲率に従う）を決定し得る。さらに、環境内のオブジェクトの将来を決定することは、安全な車両動作のためにそのようなデータに依存する後続のサブシステム（例えば、計画システム）の機能を改善し得る。したがって、本明細書に述べられる手法は、コンピューティングデバイスの機能を向上させるだけでなく、安全性の結果を向上させ得る。

【0021】

本明細書に述べられる手法は、多くの方法で実装され得る。以下の図を参照して、例示的な実装が以下に提供される。自律車両の文脈で述べられるが、本明細書で述べられる方法、装置、及びシステムは、様々なシステム（例えば、センサーシステム又はロボットプラットフォーム）に適用されてよく、自律車両に限定されない。一例では、同様の手法は、運転手が制御する車両に利用されてもよく、このようなシステムは、様々な操縦を実行することが安全であるかどうかの指示を提供し得る。別の例では、本手法は、製造組立ラインの状況、航空測量の状況、又は航海の状況において利用され得る。さらに、本明細書に述べられる手法は、実データ（例えば、センサーを用いて取り込まれたもの）、シミュレートデータ（例えば、シミュレータによって生成されたもの）、又はこれらの任意の組み合わせで使用され得る。

【0022】

図１は、センサーデータを取り込み、特徴をグラフニューラルネットワーク（ＧＮＮ）のノード及びエッジにエンコードし、ＧＮＮによって出力された分布データからオブジェクトの予測位置をサンプリングするための例示的なプロセス１００の絵画的フロー図である。

【0023】

動作１０２において、プロセス１００は、物理的な又はシミュレートされた環境のセンサーデータを取り込む、及び／又は、受信することを含み得る。例１０４は、環境のセンサーデータ１０８を取り込む車両１０６を示している。いくつかの例では、センサーデータ１０８は、ライダーデータ、レーダーデータ、ソナーデータ、飛行時間データ、又は他の深度データを含み得る。例えば、動作１０２は、画像データを取り込み、取り込んだ画像データに基づいて深度データを生成することを含み得る。

【0024】

動作１１０において、プロセス１００は、環境内のオブジェクトに関連付けられた第１の特徴を決定することを含み得る。いくつかの例では、動作１１０は、環境内のオブジェクトの状態を表す第１のデータを決定することを含み得る。いくつかの例では、状態は、オブジェクトの姿勢、オブジェクトの位置、オブジェクトの加速度、オブジェクトの速度、オブジェクトのサイズ、オブジェクトのタイプ、オブジェクトの照明状態などを含み得るが、これらに限定されない。

【0025】

いくつかの例では、車両１０６に関連付けられたオブジェクト特徴コンポーネントは、オブジェクトの状態を表す第１のデータを機械学習（ＭＬ）モデルで処理することによって、オブジェクトに関連付けられた第１の特徴を決定し得る。例えば、オブジェクトの状態を表す第１のデータは、第１のＭＬモデルに入力され、例えば、オブジェクトに関連付けられた第１の特徴を含む第２のデータなどの出力データを決定するために処理され得る。いくつかの例では、第１のＭＬモデルは、リカレントニューラルネットワーク（ＲＮＮ）として構成され得る。いくつかの例では、第２のデータは、多次元データとして構成されてもよく、オブジェクトに関連付けられた特徴の数に対応する任意の数のチャネルを含んでもよい。例えば、第１の特徴は、特徴ベクトルとしてエンコードされたベクトル化オブジェクト要素を含む特徴ベクトルとして構成され得る。

【0026】

動作１１２において、プロセス１００は、環境に関連付けられた第２の特徴を決定することを含み得る。いくつかの例では、動作１１２は、環境の視野を表す第３のデータを決定することを含み得る。いくつかの例では、第３のデータは、平面図又はトップダウンビューで表され得る。他の例では、第３のデータは、立面図又は側面図で表され得る。環境の視野を表す第３のデータは、センサーデータ１０８及び／又は環境に関連付けられ、マップデータサーバーから受信されたマップデータを使用して決定され得る。いくつかの例では、環境の視野は、道路、車線、縁石、路肩、横断歩道、建物、樹木、中央分離帯、道路標識、交通信号、速度制限などを含むがこれらに限定されない、車両の環境内の様々な要素を表し得る。

【0027】

いくつかの例では、車両１０６に関連付けられた環境特徴コンポーネントは、環境の視野を表す第３のデータをＭＬモデルで処理することによって、環境に関連付けられた第２の特徴を決定し得る。例えば、環境の視野を表す第３のデータは、第２のＭＬモデルに入力され、例えば、環境に関連付けられた第２の特徴を含む第４のデータなどの出力データを決定するために処理され得る。第２のＭＬモデルは、ＲＮＮ又は畳み込みニューラルネットワーク（ＣＮＮ）として構成され得る。

【0028】

動作１１２で受信されたマップデータは、道路、車線、縁石、路肩、横断歩道、建物、樹木、中央分離帯、道路標識、交通信号、速度制限などを含むがこれらに限定されない、自律車両の環境内の様々なマップ特徴（又はマップ要素）を表すデータを含み得る。場合によっては、マップデータは、これら及び他の種類の恒久的又は半恒久的なマップ要素（例えば、通行止め、道路損傷、工事現場、事故など）を描写し得るが、環境内の他の車両、自転車、歩行者などの一時的なオブジェクト、又は障害車両、道路危険、短期工事プロジェクトなどの一時的な道路特徴は含まない場合がある。いくつかの例では、第４のデータは多次元データとして構成され、環境に関連付けられた特徴の数に対応する任意の数のチャンネルを含み得る。例えば、第２の特徴は、特徴ベクトルとしてエンコードされた１つ又は複数のベクトル化環境及び／又はマップ要素を含む特徴ベクトルとして構成され得る。

【0029】

例１１４は、車両１０６によって取り込まれ、オブジェクト特徴１１６を決定するために使用されるセンサーデータ１０８と、環境特徴１２０を決定するために使用される環境に関連付けられたマップデータ１１８とを示している。いくつかの例では、第１の特徴はオブジェクト特徴１１６に対応し、第２の特徴は環境特徴１２０に対応し得る。いくつかの例では、オブジェクトに対応するセンサーデータ１０８の一部が、オブジェクト特徴１１６を決定するために処理され得る。いくつかの例では、環境特徴１２０は、センサーデータ１０８及びマップデータ１１８を用いて決定され得る。例えば、センサーデータ１０８及び／又はマップデータ１１８は、環境を表す特徴マップを決定するために処理されてもよく、第２の特徴は、環境におけるオブジェクトの現在位置と、特徴マップ上の表す位置とに基づいて決定されてもよく、第２の特徴は、オブジェクトの現在位置において特徴マップからサンプリングされてもよく、オブジェクトの位置に対するシーンコンテキスト特徴を提供する。

【0030】

動作１２２において、プロセス１００は、第１の特徴（例えば、オブジェクト特徴１１６）及び第２の特徴（例えば、環境特徴１２０）を表すグラフニューラルネットワーク（ＧＮＮ）の第１のノードを決定することを含み得る。動作１２２において、車両１０６は、オブジェクトを表す第１ノードに関連付けられたオブジェクト特徴１１６及び／又は環境特徴１２０を含むようにＧＮＮ（又は他のグラフ構造）を生成及び／又は更新し得る。

【0031】

場合によっては、車両１０６に関連付けられたモデリングコンポーネントは、オブジェクト特徴コンポーネント及び／又は環境特徴コンポーネントからオブジェクト（例えば、マップ要素及び／又はオブジェクト）のベクトル化表現を受信し、受信したマップデータ及び／又はエンティティデータに基づいて、ＧＮＮ内に新しいノードを作成し、ＧＮＮからノードを削除し、及び／又はＧＮＮの既存のノードを修正し得る。さらに、モデリングコンポーネントは、ＧＮＮ内のノードペアに関連付けられたエッジ特徴を作成し、維持し得る。上述のように、ＧＮＮのノードはオブジェクトを表す属性のセットを格納し得、エッジ特徴はノードのペアの相対情報（例えば、位置、姿勢など）を示すデータを含み得る。

【0032】

動作１２４において、プロセス１００は、第１のノードと車両１０６を表すＧＮＮの第２のノードとを接続するエッジを決定することを含み得る。いくつかの例では、エッジは相対位置としてオブジェクト又は車両の位置を表し得る。いくつかの例では、エッジはＧＮＮの双方向エッジとして構成され得る。すなわち、第１のノードに関して、エッジは、ソース（例えば、オブジェクト）に対するターゲット（例えば、車両１０６）の相対位置を表し得る。追加的又は代替的に、第２のノードに関して、エッジは、ソース（例えば、車両１０６）に対するターゲット（例えば、オブジェクト）の相対的な位置を表し得る。

【0033】

上述のように、ＧＮＮ内のエッジはノードのペアに関連付けられることがあり、エッジに関連付けられたエッジデータ（又はエッジ特徴）は、ノードのペアのソースノードとターゲットノードとの間の相対データを含み得る。一例として、オブジェクトを表す第１のノードと車両を表す第２のノードとを接続するエッジは、第１のノードと第２のノードとの間の相対距離、相対ヨー、相対速度、相対姿勢、相対サイズ、相対加速度、相対許容度などを含むエッジデータを格納するか、又はエッジデータに関連付けられたものであり得る。いくつかの例では、ＧＮＮは完全に接続され、異なるエッジがノードの各ペアに関連付けられる。他の例では、ＧＮＮは部分的に接続され、すべての異なるノードのペアに関連するエッジがあるわけではない。

【0034】

例１２６は、車両１０６、オブジェクト１３０、オブジェクト１３０に関連付けられた第１のノード１３２、車両１０６に関連付けられた第２のノード１３４、及び第１のノード１３２と第２のノード１３４とを接続するエッジ１３６を含む環境１２８を示している。図示を明確にするために図１には描かれていないが、いくつかの例では、ＧＮＮは、ノードの各特異的なペアが一意のエッジ特徴及び／又はエッジデータと関連付けられる完全連結構造であり得る。追加的又は代替的に、ＧＮＮは、環境内の各オブジェクトのための追加ノード、及び／又は追加ノードを接続する追加エッジを含み得る。タイムステップ間のＧＮＮノード及び／又はエッジの更新プロセスは、図７に関してより詳細に説明される。

【0035】

動作１３８において、プロセス１００は、将来におけるオブジェクト１３０の第１の予測位置を含む分布データを表す出力を決定することを含み得る。いくつかの例では、推論動作が、ＧＮＮのノード状態及び／又はエッジ特徴を更新するために実行され得る。追加的又は代替的に、車両１０６に関連付けられた分布コンポーネントは、更新されたＧＮＮに基づいて、オブジェクト１３０の予測位置を表す分布データを決定し得る。追加的又は代替的に、出力は、将来におけるオブジェクト１３０の予測位置を表し得る。

【0036】

上述のように、ＧＮＮのグラフ構造は、オブジェクト１３０の状態に関連付けられた特徴及び／又はオブジェクト１３０に関連付けられたマップ要素に関連する特徴を表すノードを含み、これらが組み合わさって環境１２８の現在の状態を表す。いくつかの例では、ＧＮＮは、自律車両１０６によって知覚されたデータ及び／又はマップサーバーから自律車両１０６によって受信されたマップデータに基づいて、ＧＮＮ生成プロセスが実行されるたびに新たに生成され得る完全なステートレス構造であり得る。

【0037】

追加的又は代替的に、ＧＮＮは、後続のＧＮＮ生成プロセスの実行中にその状態を完全に又は部分的に保持し得、この場合、特定のオブジェクトノード、属性、及び／又はエッジデータはＧＮＮの以前のバージョンから保持される一方で、他のデータは更新されることがある。例えば、自律車両１０６によって以前に知覚されたが、将来の時間に予測された位置に移動した可能性がある環境内のオブジェクトは、ＧＮＮ内に保持されてもよく、及び／又は以前のＧＮＮから決定された予測データに基づいて更新されてもよい。

【0038】

モデリングコンポーネントは、機械学習手法に基づく推論動作及び機能をサポートし、ノード及び／又はエッジ特徴を更新して、環境１２８の予測される将来の状態を表し得る。例えば、ＧＮＮの状態を更新するためにモデリングコンポーネントによって実行される推論動作は、ＧＮＮの現在の状態に完全に基づき得る。モデリングコンポーネントは、環境内のオブジェクト１３０が、その現在の速度及び軌道に基づいて、マップ要素の制約内で、オブジェクト１３０の近傍にある他のオブジェクトの影響に基づいて、予測された位置に進む可能性があると推論し得る。

【0039】

本明細書で述べられるように、推論動作は、機械学習手法（例えば、運転ログ及び／又は他の訓練データに基づいて訓練された）を使用して、ＧＮＮの現在の状態に基づいてＧＮＮの予測された将来の状態を決定し得る。ＧＮＮの予測された将来の状態は、更新されたオブジェクトの位置、速度、軌道、意図、及び／又は環境内のオブジェクト間で発生する可能性のある相互作用に対応し得る。さらに、ＧＮＮによって表される環境内では、１つのオブジェクトの予測される将来の位置及び／又は状態は、他のオブジェクトの予測される将来の位置及び／又は状態に関連することが多く、したがって、ＧＮＮに対する推論プロセスの単一の実行は、ＧＮＮ内の複数（例えば、すべて）のオブジェクトノードに対して更新されたノード状態（推論された将来の位置、速度、軌道などを表す）を提供し得る。このような推論プロセス、及びノードの状態を変更するＧＮＮに対する他の更新に対して、モデリングコンポーネントは、更新されたエッジ特徴がそれらのエッジ特徴に関連付けられたノードに基づく正確な相対的情報を格納するように、それらのノードに接続されたエッジ特徴に対する対応する更新も実行し得る。

【0040】

以下に説明されるように、ＧＮＮのノード及びエッジに対する更新は、ＧＮＮによって実行される推論動作に基づく、及び／又は自律車両によって知覚される新たな観測に基づき得る。例えば、自律車両が最初に環境内のエンティティを第１の位置、第１の速度、第１の軌道などで知覚した後、自律車両はエンティティを異なる時間、異なる位置、速度、軌道などで知覚し得る。場合によっては、自律車両は、マップサーバーから受信したマップデータとは異なるマップ要素の属性（例えば、位置、サイズなど）を知覚し得る。自律車両によって知覚された更新された観測は、モデリングコンポーネントに提供され、ＧＮＮの対応するノードを更新するために使用され、必要に応じて、ＧＮＮのエッジ特徴及び／又は他のノードを介して更新を伝播するために使用される。

【0041】

将来の時間におけるオブジェクトの予測された状態を決定するために、自律車両に関連付けられた分布コンポーネントは、更新されたＧＮＮからノードデータ及び／又はエッジ特徴データを取得し、将来の時間におけるオブジェクトの予測された位置を表す分布データを決定するためにデータをデコードし得る。オブジェクトの予測された位置及び／又は状態は、予測された位置、速度、加速度、軌道、ヨー、姿勢、又は環境内のオブジェクトの他の属性を含み得るが、これらに限定されない。一部の実装では、コンポーネントはＧＮＮ全体をデコードする必要はないが、特定のエンティティを選択し、対応するノードデータとエッジ特徴をサンプリング／デコードして、選択されたオブジェクトの状態予測を実行し得る。

【0042】

例１４０は、ニューラルネットワーク１４２と、オブジェクト１３０の予測位置分布１４６を含むニューラルネットワーク出力１４４とを示している。いくつかの例では、ニューラルネットワーク１４２はＧＮＮとして構成されてもよく、ニューラルネットワーク出力１４４はＧＮＮからの出力として構成されてもよい。ニューラルネットワーク出力１４４に含まれる予測位置分布１４６は、図７に関してより詳細に説明される。

【0043】

いくつかの例では、分配コンポーネントは、分配データ１４４を評価して、基準を満たす予測位置１４６のサブセットを含むフォーカスされた分配データを決定し、予測位置１４６のより効率的なサンプリング（例えば、不可能な現実世界のシナリオを除去する、オブジェクト１３０が特定の態様で動作するように影響を与えるなど）を可能にし得る。いくつかの例では、基準は、オブジェクト１３０のタイプ、オブジェクト１３０の特性、マップデータ、入力データなどに基づき得る。いくつかの例では、分布データ１４４は、オブジェクト１３０の現実世界の動作を反映していない可能性のある、オブジェクト１３０の１つ又は複数の予測位置１４６を含み得る。例えば、分布データ１４４の１つ又は複数の予測位置１４６は、例えば、一時停止標識、信号機、速度制限、工事区域などのような（マップデータ及び／又は入力データによって反映され得る）道路の規則に適合していない場合がある。追加的又は代替的に、敵対的なマナーの行動（例えば、無謀な運転、不適切な車線からの旋回、急停車など）をするオブジェクト１３０を評価することが望ましい場合もある。いくつかの例では、分布データ１４４は、従来のランダムサンプリング手法を用いてもそのような予測位置１４６を選択することがほとんどないような、敵対的な態様で行動するオブジェクトを反映する限られた数の予測位置１４６を含み得る。分布データ１４４を基準（例えば、１つ又は複数の道路の規則の実施、敵対的なマナーの実行など）に関して評価することにより、基準を満たす予測位置１４６のみを含む分布データ１４４のサブセットが決定され得る。

【0044】

動作１４８において、プロセス１００は、将来におけるオブジェクト１３０の予測位置を決定することを含み得る。いくつかの例では、オブジェクトの予測位置は、分布データ１４６からのサンプリングに基づいて決定され得る。

【0045】

将来（例えば、あるタイムステップから次のタイムステップまで）におけるオブジェクト１３０の予測位置は、様々な方法で決定され得る。いくつかの例では、オブジェクト１３０の予測位置は、推論動作及び／又はＧＮＮへの更新に続いてＧＮＮによって出力され得る。いくつかの例では、オブジェクト１３０の予測位置は、例えば、ランダムサンプリング、ガウスサンプリング（例えば、ガウス分布に基づくサンプリングパターンに従う）、最尤サンプリング（例えば、分布の最小値、最大値、又は平均値などの平均を取る）、又は上書きサンプリング（例えば、分布に含まれても含まなくてもよいオブジェクト１３０の特定の位置を選択する）などのサンプリング手法に従って、ニューラルネットワーク出力１４４に含まれる予測位置分布１４６からサンプリングすることによって決定され得る。例えば、オブジェクト１３０の第１の予測位置は、ＧＮＮによって出力された予測位置分布１４６からサンプリングされることによって決定され得る。

【0046】

オブジェクト１３０の予測位置（例えば、タイムステップ１における予測位置）が決定されると、将来における追加の予測位置（例えば、タイムステップ２における予測位置）が、予測位置から決定され得る。例えば、第１の予測位置が決定されると、オブジェクト１３０を表す第１のグラフノード１３２は、第１の予測位置におけるオブジェクト１３０に関連付けられた第１の特徴及び／又は第１の予測位置における環境１２８に関連付けられた第２の特徴を反映するように更新され得る。したがって、（例えば、タイムステップ２における）オブジェクト１３０の第２の予測位置を含む第２の予測位置分布１４６が、第１のグラフノード１３２の更新及び／又は推論動作に続いてＧＮＮによって出力され得る。オブジェクト１３０の第１の予測位置は、更新されたグラフノードによって反映されるため、第２の予測位置分布１４６は、第１の予測位置からの第２の予測位置を含み得る。次いで、第２の予測位置分布１４６は、オブジェクト１３０の第２の予測位置を決定するためにサンプリングされ得る。 このプロセスは、増分タイムステップでオブジェクト１３０の予測位置の数を決定するために、任意の回数繰り返され得る。

【0047】

追加的又は代替的に、予測位置分布１４６は、様々なサンプリング手法を使用してサンプリングされ得る。いくつかの例では、予測位置分布１４６をサンプリングするためのサンプリング手法は、グラフノードの分類タイプ（例えば、グラフノードが車両１０６、オブジェクト１３０、特定のタイプのオブジェクトなどに関連付けられるか）、予測位置分布１４６の予測位置（例えば、予測位置が予め定義された領域内にあるかどうか）、予測位置分布１４６の分布タイプ、予測位置分布１４６に関連付けられた入力（例えば、オブジェクトに関連付けられた基準軌道）などに基づいて決定され得る。

【0048】

いくつかの例では、異なるタイムステップで同じオブジェクト１３０に対して異なるサンプリング手法が採用され得る。例えば、オブジェクト１３０の第１の予測位置は、ガウスサンプリング手法を使用して第１の時間に決定されてもよく、オブジェクト１３０の第２の予測位置は、第２の時間にオブジェクト１３０の進行を最大化するように構成されたサンプリング手法を使用して第２の時間に決定されてもよい。

【0049】

追加的又は代替的に、同じタイムステップにおいて異なるオブジェクトに対して異なるサンプリング手法が採用され得る。例えば、第１のオブジェクト（例えば、オブジェクト１３０）に対する第１の予測位置は、第１の時間における第１のオブジェクトの進捗を最小化するように構成された第１のサンプリング手法を使用して第１の時間に決定されてもよく、第２のオブジェクト（例えば、車両１０６又は環境１２８内の追加オブジェクト）に対する第２の予測位置は、第１の時間における第２のオブジェクトの進捗を最大化するように構成された第２のサンプリング手法を使用して第１の時間に決定されてもよい。

【0050】

追加的又は代替的に、複数のオブジェクトのうちの指定されたオブジェクトについてＧＮＮによって出力された予測位置分布１４６を上書きするために、異なるサンプリング手法が採用され得る。例えば、オブジェクト１３０に対する予測位置分布１４６は、オブジェクト１３０の予測位置を含み、基準軌道を含む入力を受信して、基準軌道に従うオブジェクト１３０の予測位置を決定するようにサンプリング手法を構成してもよい。追加的又は代替的に、車両１０６についての追加の予測位置分布は、車両１０６についての予測位置を含み、基準軌道を含む入力は、基準軌道に従う車両１０６の予測位置を決定するようにサンプリング手法を構成するために車両１０６の計画コンポーネントから受信されてもよい。

【0051】

動作１５０において、プロセス１００は、オブジェクト１３０の予測軌道を決定することを含み得る。いくつかの例では、オブジェクト１３０の予測軌道は、オブジェクト１３０の予測位置に基づき得る。追加的又は代替的に、動作１５０において、プロセス１００は、オブジェクト１３０の予測軌道に基づいて車両１０６を制御することを含み得る。いくつかの例では、動作１５０は、オブジェクト１３０の予測軌道及び／又は環境内の追加オブジェクトに関連付けられた追加の予測軌道に従って環境内で車両１０６をナビゲートするために、車両１０６の１つ又は複数のシステムのための経路、軌道、及び／又は制御信号を生成することを含み得る。

【0052】

例１５２は、車両１０６、オブジェクト１３０、及び本明細書で述べられる１つ又は複数のサンプリング手法１５４を使用して１つ又は複数の予測位置分布１４６からサンプリングされたオブジェクト１３０の１つ又は複数の予測位置に基づいて決定されたオブジェクト１３０の予測軌道１５６を含む環境１２８を示している。

【0053】

図２は、センサーデータを取り込み、特徴をＧＮＮのノード及びエッジにエンコードし、ＧＮＮによって出力された分布データからサンプリングされたオブジェクトの第１の予測位置が指定された領域の外側にあることを決定し、マップデータに基づいてオブジェクトの第２の予測位置を決定するための例示的なプロセス２００の絵画的フロー図である。

【0054】

動作２０２において、プロセス２００は、環境のセンサーデータを取り込む、及び／又は、受信することを含み得る。例２０４は、環境のセンサーデータ２０８を取り込む車両２０６を示している。いくつかの例では、センサーデータ２０８は、ライダーデータ、レーダーデータ、ソナーデータ、飛行時間データ、又は他の深度データを含み得る。例えば、動作２０２は、画像データを取り込み、取り込んだ画像データに基づいて深度データを生成することを含み得る。

【0055】

動作２１０において、プロセス２００は、環境内のオブジェクトに関連付けられた第１の特徴を決定することを含み得る。いくつかの例では、動作２１０は、環境内のオブジェクトの状態を表す第１のデータを決定することを含み得る。いくつかの例では、状態は、オブジェクトの姿勢、オブジェクトの位置、オブジェクトの加速度、オブジェクトの速度、オブジェクトのサイズ、オブジェクトのタイプ、オブジェクトの照明状態などを含み得るが、これらに限定されない。

【0056】

いくつかの例では、動作２１０において、車両２０６に関連付けられたオブジェクト特徴コンポーネントは、オブジェクトの状態を表す第１のデータを機械学習（ＭＬ）モデルで処理することによって、オブジェクトに関連付けられた第１の特徴を決定し得る。例えば、オブジェクトの状態を表す第１のデータは、第１のＭＬモデルに入力され、例えば、オブジェクトに関連付けられた第１の特徴を含む第２のデータなどの出力データを決定するために処理され得る。いくつかの例では、第１のＭＬモデルは、リカレントニューラルネットワーク（ＲＮＮ）として構成され得る。いくつかの例では、第２のデータは、多次元データとして構成されてもよく、オブジェクトに関連付けられた特徴の数に対応する任意の数のチャネルを含んでもよい。例えば、第１の特徴は、特徴ベクトルとしてエンコードされたベクトル化オブジェクト要素を含む特徴ベクトルとして構成され得る。

【0057】

動作２１２において、プロセス２００は、環境に関連付けられた第２の特徴を決定することを含み得る。いくつかの例では、動作２１２は、環境の視野を表す第３のデータを決定することを含み得る。いくつかの例では、第３のデータは、平面図又はトップダウンビューで表され得る。他の例では、第３のデータは、立面図又は側面図で表され得る。環境の視野を表す第３のデータは、センサーデータ２０８及び／又は環境に関連付けられ、マップデータサーバーから受信されたマップデータを使用して決定され得る。いくつかの例では、環境の視野は、道路、車線、縁石、路肩、横断歩道、建物、樹木、中央分離帯、道路標識、交通信号、速度制限などを含むがこれらに限定されない、車両の環境内の様々な要素を表し得る。

【0058】

いくつかの例では、車両２０６に関連付けられた環境特徴コンポーネントは、環境の視野を表す第３のデータをＭＬモデルで処理することによって、環境に関連付けられた第２の特徴を決定し得る。例えば、環境の視野を表す第３のデータは、第２のＭＬモデルに入力され、例えば、環境に関連付けられた第２の特徴を含む第４のデータなどの出力データを決定するために処理され得る。第２のＭＬモデルは、ＲＮＮ又は畳み込みニューラルネットワーク（ＣＮＮ）として構成され得る。

【0059】

動作２１２で受信されたマップデータは、道路、車線、縁石、路肩、横断歩道、建物、樹木、中央分離帯、道路標識、交通信号、速度制限などを含むがこれらに限定されない、自律車両の環境内の様々なマップ特徴（又はマップ要素）を表すデータを含み得る。場合によっては、マップデータは、これら、及び他の種類の恒久的又は半恒久的なマップ要素（例えば、通行止め、道路損傷、工事現場、事故など）を描写し得るが、環境内の他の車両、自転車、歩行者などの一時的なオブジェクト、又は障害車両、道路危険、短期工事プロジェクトなどの一時的な道路特徴は含まないことがある。いくつかの例では、第４のデータは多次元データとして構成され、環境に関連付けられた特徴の数に対応する任意の数のチャンネルを含み得る。例えば、第２の特徴は、特徴ベクトルとしてエンコードされた１つ又は複数のベクトル化環境及び／又はマップ要素を含む特徴ベクトルとして構成され得る。

【0060】

例２１４は、車両２０６によって取り込まれ、オブジェクト特徴２１６を決定するために使用されるセンサーデータ２０８と、環境特徴２２０を決定するために使用される環境の領域に関連付けられた特徴マップ２１８とを示している。いくつかの例では、第１の特徴はオブジェクト特徴２１６に対応し、第２の特徴は環境特徴２２０に対応する。いくつかの例では、オブジェクトに対応するセンサーデータ２０８の一部が、オブジェクト特徴２１６を決定するために処理され得る。いくつかの例では、環境特徴２２０は、センサーデータ２０８及びマップデータを使用して決定され得る。例えば、センサーデータ２０８及び／又はマップデータは、環境内の領域を表す特徴マップ２１８を決定するために処理されてもよく、第２の特徴は、環境内のオブジェクトの現在位置と、特徴マップ２１８上の対応する位置とに基づいて決定されてもよく、第２の特徴は、オブジェクトの現在位置における特徴マップ２１８からサンプリングされてもよく、オブジェクトの位置に対するシーンコンテキスト特徴を提供する。

【0061】

動作２２２において、プロセス２００は、第１の特徴（例えば、オブジェクト特徴２１６）及び第２の特徴（例えば、環境特徴２２０）をグラフ構造のノードに関連付けることを含み得る。いくつかの例では、グラフ構造は、図１に関して説明されたようなグラフ構造、ＧＮＮ、及び／又はニューラルネットワーク１４２として構成され得る。動作２２２において、車両２０６は、オブジェクトを表す第１のノードに関連付けられたオブジェクト特徴２１６及び／又は環境特徴２２０を含むようにグラフ構造を生成及び／又は更新し得る。

【0062】

場合によっては、車両２０６に関連付けられたモデリングコンポーネントは、オブジェクト特徴コンポーネント及び／又は環境特徴コンポーネントからオブジェクト（例えば、マップ要素及び／又はオブジェクト）のベクトル化表現を受信し得、受信したマップデータ及び／又はオブジェクトデータに基づいて、グラフ構造内に新しいノードを作成し得、グラフ構造からノードを削除し得、及び／又はグラフ構造の既存のノードを修正し得る。さらに、モデリングコンポーネントは、グラフ構造内のノードペアに関連付けられたエッジ特徴を作成し、維持することができる。 上述したように、グラフ構造のノードは、オブジェクトを表す属性のセットを格納してもよく、エッジ特徴は、ノードのペアの相対情報（例えば、位置、姿勢など）を示すデータを含み得る。

【0063】

例２２４は、例えばＧＮＮなどのニューラルネットワークのグラフ構造２２６の例を示している。グラフ構造２２６は、オブジェクトに関連付けられたノード２２８を含む１つ又は複数のノード、及びノードを接続する１つ又は複数のエッジを含み得る。図示を明確にするために図２には描かれていないが、いくつかの例では、グラフ構造は、ノードの各特異的なペアが一意のエッジ特徴及び／又はエッジデータと関連付けられる完全連結構造であってもよい。追加的又は代替的に、グラフ構造は、環境内の各オブジェクトのための追加ノード及び／又は追加ノードを接続する追加エッジを含み得る。タイムステップ間でグラフノード及び／又はエッジを更新するプロセスについては、図７に関してより詳細に説明される。

【0064】

動作２３０において、プロセス２００は、オブジェクトの予測位置を含む分布データを表す出力を決定することを含み得る。いくつかの例では、分布データを表す出力は、グラフ構造に少なくとも部分的に基づき得る。例えば、グラフ構造のノード状態及び／又はエッジ特徴を更新するために推論動作が実行され得る。追加的又は代替的に、車両２０６に関連付けられた分布コンポーネントは、更新されたＧＮＮに基づいて、オブジェクトの予測位置を表す分布データを決定し得る。追加的又は代替的に、出力は将来におけるオブジェクトの予測位置を表し得る。

【0065】

動作２３２において、プロセス２００は、オブジェクトの第１の予測位置が環境の領域の外側にあると決定するために、分布データを評価することを含み得る。追加的又は代替的に、オブジェクトの分布データは、オブジェクトの予測された位置、又は予測された位置の閾値数が、領域の外側であるか、又は領域の内側であるかを決定するために評価され得る。いくつかの例では、環境の領域は、特徴マップ２１８によって表される環境の領域に対応し得る。すなわち、環境内のオブジェクトの位置に対応する特徴マップ２１６上の位置からサンプリングされた環境特徴２２０に基づいて、環境領域内のオブジェクトに関連付けられたノード及び／又はそのようなノードを接続するエッジが更新され得る。いくつかの例では、領域は、車両２０６に関連付けられ、センサーデータ２０８に基づいて生成されたトップダウンシーンとして構成され得る。追加的又は代替的に、環境の領域は、指定された距離、車両２０６に関連付けられた軌道及び／又は速度、センサーがセンサーデータを取り込み、環境特徴を決定することができる領域などによって制限され得る。

【0066】

例２３４は、環境２３８と、環境２４０の領域の一部と、オブジェクト２４２と、オブジェクト２４２の第１の予測位置２４６を含む、オブジェクト２４２の予測位置を示す分布データ２４４（分かりやすくするために環境上にオーバーレイされるように図示されている）と、を含むグラフ構造出力２３６を示している。オブジェクト２４２の予測位置が環境２４０の領域の外側にある場合、特徴マップ２１８に対するオブジェクト２４２の位置に基づいて、オブジェクト２４２に関連付けられたグラフノード２２８が更新され得る。前述のように、特徴マップ２１８は、環境２４０の領域に関連付けられ、環境外の領域に対するヌルシーンコンテキストデータを有し得る。このように、グラフノード２２８は更新され、環境特徴２２０をヌルシーンコンテキストデータに置き換えられ得る。その後のタイムステップにおいて、グラフ構造２２６は、オブジェクト２４２に関連付けられた特徴及び環境２３８に関連付けられたヌルシーンコンテキスト特徴に基づいて分布データを出力し、その結果、環境２３８の特徴を考慮しない可能性のあるオブジェクトの予測位置が得られる。

【0067】

動作２４６において、プロセス２００は、マップデータを使用してオブジェクト２４２の第２の予測位置を決定することを含み得る。いくつかの例では、オブジェクト２４２の第２の予測位置は、グラフ構造２２６によって出力された予測位置分布２４４からサンプリングされた第１の予測位置２４６に部分的に基づき得る。

【0068】

例２４８は、オブジェクト２４２が走行する環境２３８内の道路がターン又はカーブを有することを示している。いくつかの例では、領域の外側のオブジェクト２４２の後続の分布データは、道路の曲率に従わない予測位置（例えば、第1の予測位置２４６）を含むことがあり、そのようなシナリオで位置を反復的に予測すると、道路から外れたオブジェクト２４２の非現実的な予測軌道になり得る。したがって、マップデータを使用して環境２４０の領域の外側のオブジェクト２４２の予測位置を決定することは、環境２３８に関連付けられた環境特徴２２０の代わりに、より正確である可能性がある。

【0069】

例えば、環境２４０の境界領域の外側（例えば、シーンコンテキストがヌルである場合）でマップデータを使用してオブジェクト２４２の予測位置及び／又は軌道を決定することは、より正確な予測をもたらし得る。いくつかの例では、マップデータは、分布データ２４４からサンプリングされた第１の予測位置２４６を第２の予測位置２５０、例えば、オブジェクト２４２が走行している車線の中心位置に投影するために利用され得る。いくつかの例では、オブジェクト２４２の現在位置とマップデータに基づいて基準線が決定され得る。例えば、オブジェクト２４２の現在位置から車線内の位置（例えば、第2の予測位置250）までの基準線は、オブジェクト２４２の現在位置から分布データ２４４からサンプリングされた第１の予測位置２４６までの距離と実質的に類似する距離に基づいて決定され得る。追加的又は代替的に、基準線は、例えば、現在位置から予測位置までの基準線の距離などの車両力学モデルに基づいて変更され得る。例えば、基準線の距離は、例えば、カーブでの減速、ターンからの加速など、オブジェクト２４２の現実世界の動作をモデル化するように構成された車両ダイナミクスモデルに基づいて短縮又は延長され得る。

【0070】

いくつかの例では、動作２４６は、オブジェクト２４２の予測軌道を決定することを含み得る。いくつかの例では、オブジェクト２４２の予測軌道は、オブジェクト２４２の第２の予測位置２５０に基づき得る。追加的又は代替的に、動作２４６において、プロセス２００は、第２の予測位置２５０及び／又はオブジェクト２４２の予測軌道に基づいて車両２０６をコントローラすることを含み得る。いくつかの例では、動作２４６は、オブジェクト２４２の予測軌道及び／又は環境２３８内の追加オブジェクトに関連付けられた追加の予測軌道に従って、環境２３８内で車両２０６をナビゲートするために、車両２０６の１つ又は複数のシステムのための経路、軌道、及び／又は制御信号を生成することを含み得る。

【0071】

図３Ａは、トップダウンビューから見た環境３０２（１）と、第１のタイプの予測を使用して決定した環境３０２（１）内の車両（例えば、車両Ａ ３０４、車両Ｂ ３０６、及び／又は車両Ｃ ３０８）の予測軌道とを含む例３００を示している。車両３０４、３０６、及び３０８の各々についての予測軌道は、キー３１２を使用して識別され得る。

【0072】

例３００に示されるように、各車両３０４、３０６、及び３０８（本明細書では、オブジェクト、エンティティ、エージェントなどとも呼ばれる）は、互いに独立して決定される、１つ又は複数の予測軌道を有し得る。いくつかの例では、例３００における予測軌道は、特定の車両３０４、３０６、及び３０８を表すノードに関連付けられた特徴のみを使用して、環境３０２（１）内の追加の車両の相対情報を表すノード間のエッジ特徴にエンコードされた情報を使用せずに決定され得る。図３Ａから分かるように、車両３０４、３０６、及び３０８の軌道の多くは重複しており、衝突及び／又は環境３０２の非現実的な将来が生じる可能性がある。

【0073】

図３Ｂは、トップダウンビューから見た環境３０２（２）－（Ｎ）と、第２のタイプの予測を使用して決定した環境３０２（２）－（Ｎ）内の車両（例えば、車両Ａ ３０４、車両Ｂ ３０６、及び／又は車両Ｃ ３０８）の予測された将来（例えば、予測された将来１－Ｎ：Ｎは１以上の任意の整数）を含む例３１０を示している。個々の将来における車両３０４、３０６、及び３０８の各々についての予測軌道は、キー３１２を使用して特定され得る。

【0074】

例３１０に示されるように、予測された将来の各々は、互いに相対的に決定された、環境３０２（２）－（Ｎ）内の各車両３０４、３０６、３０８についての単一の予測された軌道を含み得る。いくつかの例では、これらの予測された将来は、特定の車両３０４、３０６、及び３０８を表すノードに関連付けられた特徴と、環境３０２（２）－（Ｎ）内の追加の車両の相対情報を表すノード間のエッジ特徴にエンコードされた情報とを使用して決定され得る。図３Ｂから分かるように、将来の各々は、車両３０４、３０６、３０８の各々について可能な軌道（例えば、衝突の可能性がない軌道）を含む。

【0075】

例えば、例３１０における予測された将来２を含む環境３０２（３）を考える。予測された将来２において、車両Ａ ３０４は、対向車線を横切って左折する予測軌道を有し、例えば、図１に関して説明されたＧＮＮに対応するＧＮＮによって出力された予測位置のような、様々な増分タイムステップ（例えば、８秒にわたって決定された８つの予測位置、１秒につき１つ）における車両Ａ ３０４の予測位置を使用して決定される。車両３０４、３０６、３０８に関連付けられたグラフノードの更新処理中、車両Ｂ ３０６及び／又は車両Ｃ ３０８に対して出力される予測位置分布は、車両Ａ ３０４の予測位置に基づき得る。例えば、車両Ｂ ３０６と車両Ａ ３０４との間のエッジ、及び車両Ｃ ３０８と車両Ａ ３０４との間のエッジは、例えば、車両Ａ ３０４がターンしようとしていることを示す車両Ａ ３０４の方向指示器の状態、及び車両Ａ ３０４が次のタイムステップでターンを開始しようとしていることを示す車両Ａ ３０４の加速度のような、車両Ａ ３０４の状態を表す情報を含み得る。このように、車両Ｂ ３０６及び／又は車両Ｃ ３０８に対して出力される分布は、車両Ａ ３０４のターンを考慮した予測位置を含み、車両Ｂ ３０６及び／又は車両Ｃ ３０８の非現実的な予測位置及び／又は衝突を回避し得る。

【0076】

図３Ｂは、環境３０２（２）－（Ｎ）における４つの予測された将来を図示しているが、任意の数の将来（例えば、数十、数百、数千など）が決定されてもよい。追加的又は代替的に、処理は、例えば、１つ又は複数のグラフィック処理装置（ＧＰＵ）などで並列に実行され、将来を実質的に並列に決定してもよい。

【0077】

図４Ａは、車両４０６が走行している道路４０２（及び道路４０４の中心位置）を含む、トップダウンビューから見た例示的な環境４００を示している。環境４００はまた、境界領域４０８（例えば、図２に関して説明されたような自律車両に対応する領域）と、第１のタイプの予測を使用して決定された予測位置４１０とを含み得る。いくつかの例では、第１の予測位置４１０は、図２に関して説明されたような分布データ２４４からサンプリングされた第１の予測位置２４６に対応し得る。追加的又は代替的に、第１のタイプの予測は、図２に関して説明されたように、グラフ構造によって出力された分布データ２４４からサンプリングされた第１の予測位置２４６を決定することに対応してもよい。いくつかの例では、第１の予測位置４１０は、領域４０８から出る車両４０６の予測位置の結果として決定されてもよく、その結果、車両４０６に関連付けられたグラフ構造のノードがヌルシーンコンテキストデータで更新されてもよい。

【0078】

図４Ｂは、車両４０６が走行している道路４０２（及び道路４０４の中心位置）を含む、トップダウンビューから見た例示的な環境４２０を示している。環境４００はまた、境界領域４０８（例えば、図２に関して説明されたような自律車両に対応する領域）を含み得る。

【0079】

図２に関して説明されたように、車両４０６の予測位置が領域４０８の外側にある場合、領域４０８に関連付けられた特徴マップに対する車両４０６の位置に基づいて、車両４０６に関連付けられたグラフノードが更新され得る。すなわち、特徴マップは、境界領域４０８に関連付けられ、境界領域４０８の外側の環境４２０の領域についてのヌルシーンコンテキストデータを有し得る。このように、グラフノードが更新され、以前のタイムステップからのシーンコンテキストデータがヌルシーンコンテキストデータに置き換えられ得る。後続のタイムステップにおいて、グラフ構造は、車両４０６に関連付けられた特徴及び環境４２０に関連するヌルシーンコンテキスト特徴に基づく分布データを出力し、その結果、例えば道路４０２などの環境４２０の特徴を考慮しない可能性のある車両４０６の予測位置が得られる。

【0080】

図４Ｂによって示されるように、タイムステップ０（例えば、車両４０６の現在位置）からタイムステップ１（例えば、第１の予測位置４１０）までの第１の予測位置４１０は、グラフ構造からの分布出力からサンプリングされることによって決定され得る。分かるように、第１の予測位置４１０は、車両４０６を環境４２０内の道路４０２から外れて横切るように位置付ける可能性があり、その結果、車両４０６の軌道が非現実的になり得る。

【0081】

第１の予測位置４１０が領域４０８の外側にあると決定されると、第１の予測位置４２２が決定される場合がある。いくつかの例では、マップデータを利用して第１の予測位置４２２が決定され得る。例えば、マップデータを利用することにより、第１の予測位置４１０は、第１の予測位置４２２のような道路４０４の中心位置に向かって投影されてもよい。いくつかの例では、車両４０６の現在位置とマップデータに基づいて基準線が決定されてもよい。例えば、車両４０６の現在位置から道路４０４の中心位置までの基準線は、車両４０６の現在位置から分布データからサンプリングされた第１の予測位置４１０までの距離と実質的に類似する距離に基づいて決定されてもよい。

【0082】

このプロセスを継続し、グラフ構造を第１の予測位置４２２で更新して、グラフ構造によって出力された車両４０６の予測位置の分布から第２の予測位置４２４がサンプリングされてもよい。ここでもマップデータを利用して、第２の予測位置４２４は、基準線を用いて第２の予測位置４２６のような道路４０４の中心位置に投影されてもよい。追加的又は代替的に、基準線は車両力学モデルに基づいて変更され得る。例えば、基準線は、例えば、カーブでの減速、ターンからの加速など、車両４０６の現実世界の動作をモデル化するように構成された車両力学モデルに基づいて短くしたり伸ばしたりされ得る。例えば、第２の予測位置４２６を決定するために使用される基準線は短くされてもよく、その結果、第２の予測位置４２６は、第２の予測位置４２４よりも第１の予測位置４２２からの距離が短くなってもよい。追加的又は代替的に、グラフ構造によって出力された予測位置の分布からサンプリングされた第３の予測位置４２８に基づいて、第３の予測位置４３０を決定するために使用される基準線が延長されてもよく、その結果、第３の予測位置４３０は、第３の予測位置４２８よりも第２の予測位置４２６からの距離が大きくなり、これは、車両力学モデルが、道路の曲率に起因してカーブのこの部分で車両４０６が加速する可能性があることを示していることに起因する。

【0083】

図５Ａは、第１のタイプの予測及び第２のタイプの予測を使用して第１の時間に予測位置を決定するための例示的な構造図を示している。選択された姿勢（例えば、予測が実行されているオブジェクト）及び選択された姿勢が依存する情報（例えば、予測を決定するために使用される情報及び／又はオブジェクト）は、キー５０２を使用して決定され得る。いくつかの例では、第１のタイプの予測は、図３Ａに関して説明されたような第１のタイプの予測に対応してもよく、及び／又は第２のタイプの予測は、図３Ｂに関して説明されたような第２のタイプの予測に対応してもよい。

【0084】

図示されているように、第１のタイプの予測を使用して、タイムホライズン１におけるエンティティ１の予測位置を決定することは、任意の与えられたタイムホライズン１における車両及び／又はエンティティ２に関連付けられた情報から独立して決定される。すなわち、第１のタイプの予測を使用して、タイムホライズン１におけるエンティティ１の予測位置は、タイムホライズン１におけるエンティティ１に関連付けられた情報のみに基づき得る。

【0085】

代替的に、第２のタイプの予測を使用してタイムホライズン１におけるエンティティ１の予測位置を決定することは、以前のすべてのタイムホライズンからのすべてのエンティティの情報と相対的に決定される。すなわち、第２のタイプの予測を使用して、タイムホライズン１におけるエンティティ１の予測位置は、タイムホライズン０における車両、エンティティ１、及びエンティティ２に関連付けられた情報に基づき得る。このようにして、エンティティ１に対する予測位置は、タイムホライズン０におけるエンティティ１の以前の位置、及びタイムホライズン０における車両及びエンティティ２のそれぞれの位置に基づいてもよく、車両、エンティティ１、及びエンティティ２を含む環境に対して、例えば図３Ｂに関して説明されたような例３１０の予測された将来１－Ｎのような、１つ又は複数の予測された将来が決定されてもよい。

【0086】

図５Ｂは、第１のタイプの予測及び第２のタイプの予測を使用して第２の時間に予測位置を決定するための例示的な構造図を示している。選択された姿勢（例えば、予測が実行されているオブジェクト）及び選択された姿勢が依存する情報（例えば、予測を決定するために使用される情報及び／又はオブジェクト）は、キー５０２を使用して決定され得る。いくつかの例では、第１のタイプの予測は、図３Ａに関して説明されたような第１のタイプの予測に対応してもよく、及び／又は第２のタイプの予測は、図３Ｂに関して説明されたような第２のタイプの予測に対応してもよい。

【0087】

図５Ａと同様に、タイムホライズン２におけるエンティティ２の予測位置は、第１のタイプの予測及び第２のタイプの予測を使用して決定され得る。例えば、第１のタイプの予測を使用してタイムホライズン２におけるエンティティ２の予測位置を決定することは、任意の与えられたタイムホライズンにおける車両及び／又はエンティティ１に関連付けられた情報から独立して決定され得る。すなわち、第１のタイプの予測を用いて、タイムホライズン２におけるエンティティ２の予測位置は、タイムホライズン２におけるエンティティ２に関連付けられた情報のみに基づき得る。

【0088】

代替的に、第２のタイプの予測を使用して、タイムホライズン２におけるエンティティ２の予測位置を決定することは、すべての以前のタイムホライズンからのすべてのエンティティの情報と相対的に決定され得る。すなわち、第２のタイプの予測を使用して、タイムホライズン２におけるエンティティ２の予測位置は、タイムホライズン０及びタイムホライズン１における車両、エンティティ１、及びエンティティ２に関連付けられた情報に基づき得る。タイムホライズン２がタイムホライズン１に依存し、タイムホライズン１がタイムホライズン０に依存することを考えると、グラフ構造は、以前のタイムホライズンにおける他のエンティティに関連付けられたエッジ特徴を維持し、それに応じて特徴を更新し得る。このようにして、エンティティ２の予測位置は、タイムホライズン１におけるエンティティ２の以前の位置、及びタイムホライズン１における車両及びエンティティ１のそれぞれの位置に基づいてもよく、車両、エンティティ１、及びエンティティ２を含む環境について、例えば図３Ｂに関して説明された例３１０の予測された将来１－Ｎのような、１つ又は複数の予測された将来が決定されてもよい。

【0089】

図６は、特徴をＧＮＮにエンコードし、ＧＮＮによって出力された分布データからオブジェクトの予測位置をサンプリングするための例示的なアーキテクチャ６００のブロック図を示している。いくつかの例では、アーキテクチャ６００は、第１のＭＬモデル６０２、第２のＭＬモデル６０４、及び／又は第３のＭＬモデル６０６を含み得る。いくつかの例では、第１のＭＬモデル６０２は、ＲＮＮとして構成されてもよく、及び／又は図１に関して説明したような第1のMLモデルに対応してもよい。追加的又は代替的に、第２のＭＬモデル６０４は、ＲＮＮ、ＣＮＮとして構成されてもよく、及び／又は図１に関して説明されたような第２のＭＬモデルに対応してもよい。追加的又は代替的に、第３のＭＬモデル６０６は、ＧＮＮとして構成されてもよく、及び／又は図１に関して説明されたニューラルネットワーク１４２及び／又はＧＮＮに対応してもよい。

【0090】

第１のＭＬモデル６０２は、環境に関連付けられた静的シーンデータ６０８を処理するように構成され得る。いくつかの例では、静的シーンデータ６０８は、環境内の車両によって取り込まれたセンサーデータに基づいて決定され得る。追加的又は代替的に、図６には描かれていないが、静的シーンデータ６０８は、平面図、立面図、又は側面図で表されてもよい。第１のＭＬモデル６０２は、静的シーンデータ６０８を処理して、環境に関連付けられたシーンコンテキスト特徴６１０を決定するように構成されてもよい。シーンコンテキスト特徴６１０は、現在のタイムステップにおける環境の特徴に対応する多数のチャンネルを含んでもよく、各チャンネルは、センサーデータによって表される環境の３次元特徴を取り込んで、環境の幅及び／又は高さに対応する環境の位置における特徴（又は特徴ベクトル）を表してもよい。

【0091】

第２のＭＬモデル６０４は、環境に関連付けられたエンティティ履歴６１２を処理するように構成され得る。いくつかの例では、エンティティ履歴６１２は、ＧＮＮの以前の反復に基づいてもよく、以前のタイムステップの各々において環境内の各エンティティに関連付けられた特徴を含んでもよい。第２のＭＬモデル６０４は、現在のタイムステップにおける各エンティティのエンティティ特徴６１４を決定するために、エンティティ履歴６１２を処理するように構成されてもよい。エンティティ特徴６１４は、現在のタイムステップにおける環境内の各エンティティの特徴に対応するチャネルの数を含み得る。

【0092】

シーンコンテキスト特徴６１０及びエンティティ特徴６１４が現在のタイムステップについて決定されると、推論動作６１６が決定され得る。いくつかの例では、推論動作６１６は、所与のタイムステップにおけるエンティティ特徴６１４及びシーンコンテキスト特徴６１０に基づいて、第３のＭＬモデル６０６（例えば、ＧＮＮ）のノードを更新することを含み得る。推論動作６１６の結果として、第３のＭＬモデル６０６は、環境内のエンティティのそれぞれの予測位置の分布を出力し得る。

【0093】

エンティティの予測位置の分布の各々から単一の予測位置をサンプリングするために、サンプリング手法が採用され得る。サンプリング手法６１８は、様々なサンプリング手法を含み得、異なるサンプリング手法６１８が、別々のタイムステップ間のエンティティの予測位置の分布からサンプリングするため、及び／又は同じタイムステップにおけるエンティティの予測位置の異なる分布からサンプリングするために使用され得る。いくつかの例では、サンプリング手法６１８は、ガウスサンプリング手法（例えば、ガウス分布に基づくサンプリングパターンに従う）、最尤サンプリング手法（例えば、分布の最小値、最大値、又は平均値などの平均をとる）、又は上書きサンプリング手法（例えば、分布に含まれる場合も含まれない場合もあるオブジェクトの特定の位置を選択する）として構成され得る。追加的又は代替的に、予測位置分布をサンプリングするためのサンプリング手法６１８は、グラフノードの分類タイプ（例えば、グラフノードが自律車両、オブジェクト、特定のタイプのオブジェクトなどに関連付けられるか）、予測位置分布の予測位置（例えば、予測位置が予め定義された領域内にあるかどうか）、予測位置分布の分布タイプ、予測位置分布に関連付けられた入力（例えば、自律車両基準軌道６２０）などに基づいて決定され得る。

【0094】

多数のタイムステップに対応する各エンティティについて多数の予測位置が決定されると（例えば、８つのタイムステップに対応する各エンティティについて８つの予測位置）、環境の予測された将来６２２が決定され得る。いくつかの例では、予測された将来６２２は、タイムステップの各々にわたる環境内の各エンティティの姿勢を含み得る。いくつかの例では、予測された将来６２２は、例えば、図３Ｂに関して説明されたような予測された将来１－Ｎのような、エンティティの予測された軌道を決定するために利用されてもよい。

【0095】

図７は、ＧＮＮのノードを更新し、単一のタイムホライズンでＧＮＮによって出力された分布データからオブジェクトの予測位置をサンプリングするための例７００のブロック図を示している。いくつかの例では、例７００に図示されたブロック図は、図６に図示されたような例示的アーキテクチャ６００の一部として構成され得る。

【0096】

例えば、第１のオブジェクト７０４、第２のオブジェクト７０６、及び／又は第３のオブジェクト７０８を含む第１のタイムホライズン（図７では、タイムホライズン０としてラベル付けされている）における環境７０２を例に挙げる。グラフニューラルネットワーク（ＧＮＮ）などのグラフ構造、及び本明細書で述べられる手法を使用して、オブジェクトに関連付けられた予測された将来のセットが環境７０２について決定され得る。

【0097】

タイムホライズン０において、ＧＮＮ７１０の第１のノード７１２、第２のノード７１４、及び第３のノード７１６が決定及び／又は更新され得る。いくつかの例では、第１のオブジェクト７０４に関連付けられた第１のノード７１２は、環境７０２における第１のオブジェクト７０４の位置に対応するシーンコンテキスト特徴６１０、及び第１のオブジェクト７０４に関連付けられた１つ又は複数の特徴を使用して決定され得る。追加的又は代替的に、第２のオブジェクト７０６に関連付けられた第２のノード７１４は、環境７０２内の第２のオブジェクト７０６の位置及び第２のオブジェクト７０６に関連付けられた１つ又は複数の特徴に対応するシーンコンテキスト特徴６１０を使用して決定され得る。追加的又は代替的に、第３のオブジェクト７０８に関連付けられた第３のノード７１６は、環境７０２内の第３のオブジェクト７０８の位置に対応するシーンコンテキスト特徴６１０と、第３のオブジェクト７０８に関連付けられた１つ又は複数の特徴とを使用して決定され得る。

【0098】

さらに、タイムホライズン０において、ＧＮＮ７１０は、第１のノード７０４と第２のノード７０６とを接続する第１のエッジ７１８、第１のノード７０４と第３のノード７０８とを接続する第２のエッジ７２０、及び／又は第２のノード７０６と第３のノード７０８とを接続する第３のエッジ７２２を含み得る。いくつかの例では、エッジ７１８、７２０、及び／又は７２２の各々は、エッジに接続されたノードに関連付けられたオブジェクトの、エッジに接続された別のノードに関連付けられた別のオブジェクトの位置に対する相対的な位置を表し得る。いくつかの例では、エッジ７１８、７２０、及び／又は７２２は、本明細書で議論されるようなオブジェクトに関連付けられた様々な特徴でエンコードされ、ＧＮＮ７１０の双方向エッジとして構成されてもよい。すなわち、第１のノード７１２に関して、第１のエッジ７１８は、第１のオブジェクト７０４の位置に対する第２のオブジェクト７０６の位置を表し得る。追加的又は代替的に、第２のノード７１４に関して、第１のエッジ７２０は、第２のオブジェクト７０６の位置に対する第１のオブジェクト７０４の位置を表し得る。

【0099】

タイムホライズン０におけるオブジェクト７０４、７０６、及び／又は７０８と対応するシーンコンテキスト特徴６１０とに関連付けられた特徴でＧＮＮ７１０を更新した後、ＧＮＮ７１０のノード７１２、７１４、及び／又は７１６はデコードされ、タイムホライズン１について、第１のオブジェクトに関連付けられた予測位置７２４の第１の分布、第２のオブジェクトに関連付けられた予測位置７２６の第２の分布、及び／又は第３のオブジェクトに関連付けられた予測位置７２８の第３の分布が決定され得る。いくつかの例では、将来（例えば、タイムホライズン１）におけるオブジェクトの予測位置は、予測位置の分布からサンプリングされてもよい。いくつかの例では、図１及び図１０に関して説明されたように、様々なサンプリング手法が、予測位置の分布をサンプリングするために使用されてもよい。追加的又は代替的に、予測位置の分布は、図１及び図１１に関して説明されたように、サンプリングされる前に、基準を満たす分布内の予測位置のサブセットを決定するために評価されてもよい。追加的又は代替的に、図１、図２、及び図９に関して説明されたように、予測位置の分布からサンプリングされたオブジェクトの予測位置は上書きされてもよい。

【0100】

タイムホライズン１におけるオブジェクト７０４、７０６、及び／又は７０８の予測位置７２４、７２６、及び／又は７２８の分布を決定するためにＧＮＮ７１０のノードをデコードした後、オブジェクト７０４、７０６、及び／又は７０８のそれぞれの位置が分布からサンプリングされ、ノード７１２、７１４、及び／又は７１６が、タイムホライズン１におけるオブジェクト７０４、７０６、及び／又は７０８の特徴及び対応するシーンコンテキスト特徴６１０で更新され得る。このプロセスは、任意の数の将来のタイムホライズンについて繰り返されてよい。追加的又は代替的に、オブジェクト７０４、７０６、及び／又は７０８の各々の予測軌道が、タイムホライズンの各々におけるオブジェクトの予測位置に基づいて決定されてもよい。

【0101】

図１、図２、及び図８－図１１は、本開示の例による例示的なプロセスを示している。プロセスは、論理フローグラフとして図示され、その各動作は、ハードウェア、ソフトウェア、又はそれらの組み合わせで実装され得る動作のシーケンスを表す。ソフトウェアのコンテキストでは、動作は、１つ又は複数のプロセッサによって実行されると、言及された動作を実行する１つ又は複数のコンピュータ可読記憶媒体に格納されたコンピュータ実行可能な指令を表す。一般に、コンピュータ実行可能な指令には、特定の機能を実行したり、特定の抽象データタイプを実装したりするルーチン、プログラム、オブジェクト、コンポーネント、データ構造などが含まれる。動作が記載される順序は、限定として解釈されることを意図するものではなく、記載される動作の任意の数は、プロセスを実装するために、任意の順序で、及び／又は並列に、省略され得るか、又は組み合わされ得る。

【0102】

図８Ａ及び図８Ｂは、センサーデータを取り込み、特徴をＧＮＮのノード及びエッジにエンコードし、ＧＮＮによって出力された分布データからオブジェクトの予測位置をサンプリングするための例示的なプロセス８００を示している。いくつかの例では、センサーデータ、ノード、エッジ、ＧＮＮ、予測位置、オブジェクト、及び／又は分布データは、図１に関して説明されたように、センサーデータ１０８、ノード１３２、１３４、エッジ１３６、ニューラルネットワーク１４２、予測位置、及び／又はオブジェクト１３０に対応し得る。

【0103】

プロセス８００は、動作８０２で開始し、環境内の車両に関連付けられたセンサーからセンサーデータを受信することを含む。いくつかの例では、環境は、第１のオブジェクトを含み得る。

【0104】

動作８０４において、プロセス８００は、第１のオブジェクトの第１の状態を表す第１のデータを決定することを含み得る。いくつかの例では、第１のデータは、センサーデータに少なくとも部分的に基づいて決定され得る。

【0105】

動作８０６において、プロセス８００は、第１のデータを第１の機械学習（ＭＬ）モデルに入力することを含み得る。追加的又は代替的に、プロセス８００は、第１のデータを第１のＭＬモデルに入力することに少なくとも部分的に基づいて、第１のオブジェクトに関連付けられた第１の特徴を含む第２のデータを第１のＭＬモデルから受信することを含み得る。いくつかの例では、第１のＭＬモデルは、リカレントニューラルネットワーク（ＲＮＮ）として構成されてもよい。

【0106】

動作８０８において、プロセス８００は、環境のトップダウンビューを表す第３のデータを決定することを含み得る。いくつかの例では、第３のデータは、環境に関連付けられたマップデータに少なくとも部分的に基づいて決定され得る。いくつかの例では、マップデータは、車両に関連付けられたマップサーバーから受信されてもよい。

【0107】

動作８１０において、プロセス８００は、第３のデータを第２のＭＬモデルに入力することを含み得る。追加的又は代替的に、プロセス８００は、第２のＭＬモデルへの第３のデータの入力に少なくとも部分的に基づいて、環境に関連付けられた第２の特徴を含む第４のデータを受信することを含み得る。いくつかの例では、第２のＭＬモデルは、第１のＭＬモデルとは異なっていてもよい。追加的又は代替的に、第２のＭＬモデルは、ＲＮＮ又は畳み込みニューラルネットワーク（ＣＮＮ）として構成されてもよい。

【0108】

動作８１２において、プロセス８００は、第２のデータ及び第４のデータを、第１のオブジェクトを表すグラフニューラルネットワーク（ＧＮＮ）の第１のノードに関連付けることを含み得る。

【0109】

動作８１４において、プロセス８００は、車両を表すＧＮＮの第２のノードを決定することを含み得る。

【0110】

動作８１６において、プロセス８００は、第１のノードと第２のノードとを接続する第１のエッジを決定することを含み得る。いくつかの例では、第１のオブジェクトの第１の位置は、第１のエッジにおける車両の第２の位置に対して表される。

【0111】

動作８１８において、プロセス８００は、ＧＮＮに対して第１の推論動作を実行することを含み得る。追加的又は代替的に、プロセス８００は、第１の推論動作に少なくとも部分的に基づいて、第１のオブジェクトについての第１の分布データを表す第１の出力を決定することを含み得る。いくつかの例では、第１の分布データは、第１のオブジェクトの第１の予測位置を含み得る。追加的又は代替的に、プロセスは、第１の推論動作に基づいて第１のオブジェクトの第１の予測位置を決定することを含み得る。

【0112】

動作８２０において、プロセス８００は、第１のオブジェクトについての予測位置の閾値量が決定されたか否かを決定することを含み得る。例えば、第１のオブジェクトの予測軌道は、第1のオブジェクトの1つ又は複数の予測位置を使用して決定され得る。一例として、動作８２０は、予測軌道を決定するために、閾値量の予測位置が決定されたことを決定することを含んでもよい。別の例として、動作８２０は、閾値量の予測位置が予測軌道を決定するために決定されていないと決定することを含んでもよい。プロセスは、その後、予測軌道を決定するために閾値量の予測位置が決定されていないと決定することに基づいて、（後続のタイムステップにおいて）プロセス８００の一部を再スタートする動作８１８を含み得る。

【0113】

動作８２２において、プロセス８００は、第１のオブジェクトのための第１の軌道を決定することを含み得る。いくつかの例では、第１のオブジェクトのための第１の軌道を決定することは、第１のオブジェクトの第１の予測位置に少なくとも部分的に基づき得る。

【0114】

いくつかの例では、車両は、環境を横断する自律車両である。追加的又は代替的に、プロセス８００は、第１のオブジェクトのための第１の軌道に少なくとも部分的に基づいて、自律車両を制御することを含み得る。

【0115】

追加的又は代替的に、プロセス８００は、センサーデータに少なくとも部分的に基づいて、環境内の第２のオブジェクトの第２の状態を表す第５のデータを決定することを含み得る。追加的又は代替的に、プロセス８００は、第２のＭＬモデルへの第５のデータの入力に少なくとも部分的に基づいて、第２のオブジェクトに関連付けられた第３の特徴を含む第６のデータを受信することを含み得る。追加的又は代替的に、プロセス８００は、第４のデータ及び第６のデータを、第２のオブジェクトを表すＧＮＮの第３のノードに関連付けることを含み得る。追加的又は代替的に、プロセス８００は、第１のノードと第３のノードとを接続する第２のエッジを決定することを含み得、ここで、第２のオブジェクトの第３の位置は、第１のオブジェクトの第１の位置に対して相対的に表される。追加的又は代替的に、プロセス８００は、第２のノードと第３のノードとを接続する第３のエッジを決定することを含み得、ここで、第２のオブジェクトの第３の位置は、車両の第２の位置に対する相対位置として表される。追加的又は代替的に、プロセス８００は、ＧＮＮに対して第２の推論動作を実行することを含み得る。追加的又は代替的に、プロセス８００は、第２の推論動作に少なくとも部分的に基づいて、第２のオブジェクトについての第２の分布データを表す第２の出力を決定することを含み得、第２の分布データは、第２のオブジェクトについての第２の予測位置を含む。追加的又は代替的に、プロセス８００は、第２の分布データからのサンプリングに少なくとも部分的に基づいて、第２のオブジェクトの第２の予測位置を決定することを含み得る。追加的又は代替的に、プロセス８００は、第１のオブジェクトの第１の予測位置及び第２のオブジェクトの第２の予測位置に少なくとも部分的に基づいて、第１のオブジェクトの第１の軌道及び第２のオブジェクトの第２の軌道を決定することを含み得る。

【0116】

いくつかの例では、第１のオブジェクトの第１の位置は、第１の時間に関連付けられ得る。追加的又は代替的に、第１のオブジェクトの第１の予測位置は、第１の時間に後続する第２の時間に関連付けられ得る。追加的又は代替的に、プロセス８００は、第４のデータ及び第１のオブジェクトの第１の予測位置に少なくとも部分的に基づいて、第１のオブジェクトを表すＧＮＮの第１のノードを更新することを含み得、第１のオブジェクトの第１の予測位置は、車両の第２の位置に対して相対的に表される。追加的又は代替的に、プロセス８００は、ＧＮＮに対して第２の推論動作を実行することを含み得る。追加的又は代替的に、プロセス８００は、第２の推論動作に少なくとも部分的に基づいて、第１のオブジェクトの第２の分布データを表す第２の出力を決定することを含み得、第２の分布データは、第１のオブジェクトの第２の予測位置を含む。追加的又は代替的に、プロセス８００は、第２の分布データからのサンプリングに少なくとも部分的に基づいて、第２の時間に後続する第３の時間における第１のオブジェクトの第２の予測位置を決定することを含み得る。いくつかの例では、第１のオブジェクトの第１の軌道を決定することは、第１のオブジェクトの第１の予測位置及び／又は第１のオブジェクトの第２の予測位置に少なくとも部分的に基づき得る。

【0117】

いくつかの例では、第１のデータは、環境内の第２のオブジェクトの第２の状態を含み得る。

【0118】

追加的又は代替的に、プロセス８００は、第２のオブジェクトについての第２の予測位置を含む第２の分布データからのサンプリングに少なくとも部分的に基づいて、第２のオブジェクトの第２の予測位置を決定することを含み得る。いくつかの例では、第１のオブジェクトの第１の軌道を決定することは、第１のオブジェクトの第１の予測位置及び第２のオブジェクトの第２の予測位置に少なくとも部分的に基づき得る。

【0119】

追加的又は代替的に、プロセス８００は、オブジェクトの姿勢、オブジェクトの位置、オブジェクトの加速度、オブジェクトの速度、オブジェクトのサイズ、オブジェクトのタイプ、及び／又はオブジェクトの照明状態のうちの少なくとも１つを表すデータに少なくとも部分的に基づいて、オブジェクトに関連付けられた第１の特徴を決定することを含み得る。

【0120】

追加的又は代替的に、プロセス８００は、環境内の追加オブジェクト、環境内の追加オブジェクトのタイプ、環境内の追加オブジェクトの照明状態、及び／又は環境内の車線標識のうちの少なくとも１つを表すデータに少なくとも部分的に基づいて、環境に関連付けられた第２の特徴を決定することを含み得る。

【0121】

図９は、センサーデータを取り込み、特徴をＧＮＮのノード及びエッジにエンコードし、ＧＮＮによって出力された分布データからサンプリングされたオブジェクトの第１の予測位置が指定された領域の外側にあることを決定し、マップデータに基づいてオブジェクトの第２の予測位置を決定するための例示的なプロセス９００である。いくつかの例では、センサーデータ、ノード、ＧＮＮ、第１の予測位置、指定された領域、第２の予測位置、マップデータ、オブジェクト、及び／又は分布データは、図２に関して説明されたように、センサーデータ２０８、ノード２２８、グラフ構造２２６、第１の予測位置２４６、領域２４０、第２の予測位置２５０、マップデータ、オブジェクト２４２、及び／又は分布データ２４４に対応し得る。

【0122】

プロセス９００は、動作９０２で開始し、環境内の車両に関連付けられたセンサーからセンサーデータを受信することを含む。いくつかの例では、環境はオブジェクトを含み得る。

【0123】

動作９０４において、プロセス９００は、オブジェクトに関連付けられた第１の特徴を決定することを含み得る。いくつかの例では、第１の特徴は、センサーデータに少なくとも部分的に基づいて決定され得る。追加的又は代替的に、プロセス９００は、オブジェクトの第１の状態を決定すること、オブジェクトの第１の状態を第１の機械学習（ＭＬ）モデルに入力すること、及び／又はオブジェクトの第１の状態を第１のＭＬモデルに入力することに少なくとも部分的に基づいて、オブジェクトに関連付けられた第１の特徴データを受信することを含み得る。いくつかの例では、第１のＭＬモデルは、リカレントニューラルネットワーク（ＲＮＮ）として構成されてもよい。

【0124】

動作９０６において、プロセス９００は、環境に関連付けられた領域を表す特徴マップを決定することを含み得る。いくつかの例では、特徴マップは、環境に関連付けられたマップデータに少なくとも部分的に基づいて、決定され得る。いくつかの例では、特徴マップは、図２に関して説明されたような特徴マップ２１８に対応し得る。

【0125】

動作９０８において、プロセス９００は、環境に関連付けられた第２の特徴を決定することを含み得る。いくつかの例では、第２の特徴は、環境内のオブジェクトの現在の位置及び特徴マップに少なくとも部分的に基づき得る。追加的又は代替的に、プロセス９００は、環境のトップダウンビューを決定すること、トップダウンビューを第２のＭＬモデルに入力すること、及び／又は環境のトップダウンビューを第２のＭＬモデルに入力することに少なくとも部分的に基づいて、第２の特徴データを受信することを含み得る。いくつかの例では、第２のＭＬモデルは、第１のＭＬモデルとは異なっていてもよい。追加的又は代替的に、第２のＭＬモデルは、ＲＮＮ又は畳み込みニューラルネットワーク（ＣＮＮ）として構成されてもよい。

【0126】

動作９１０において、プロセス９００は、第１の特徴及び第２の特徴を表すグラフニューラルネットワーク（ＧＮＮ）のノードを決定することを含み得る。

【0127】

動作９１２において、プロセス９００は、オブジェクトに関連付けられた第１の分布データを表す第１の出力を決定することを含み得る。いくつかの例では、第１の出力はＧＮＮに少なくとも部分的に基づき得る。追加的又は代替的に、第１の分布データは、将来におけるオブジェクトの第１の予測位置を含み得る。追加的又は代替的に、第１の出力は、将来におけるオブジェクトの第１の予測位置を表し得る。

【0128】

動作９１４において、プロセス９００は、第１の予測位置が環境の領域の外側であるか否かを決定することを含み得る。一例として、動作９１４は、第１の予測位置が環境の領域の内側であると決定することを含み得る。プロセス９００は、その後、第１の予測位置が環境の領域の内側であると決定することに基づいて、動作９１６を含み得る。別の例として、動作９１４は、第１の予測位置が環境の領域の外側であると決定することを含み得る。プロセス９００は、その後、第１の予測位置が環境の領域の外側であると決定することに基づいて、動作９１８を含み得る。

【0129】

動作９１６において、プロセス９００は、第１の予測位置に少なくとも部分的に基づいて、車両を制御することを含み得る。

【0130】

動作９１８において、プロセス９００は、オブジェクトの第２の予測位置を決定することを含み得る。いくつかの例では、オブジェクトの第２の予測位置は、第１の予測位置が領域及び／又はマップデータの外側であることに少なくとも部分的に基づき得る。

【0131】

動作９２０において、プロセス９００は、第２の予測位置に少なくとも部分的に基づいて、車両を制御することを含み得る。

【0132】

追加的又は代替的に、プロセス９００は、第１の分布データからのサンプリングに少なくとも部分的に基づいて、第１の予測位置を決定することを含み得る。

【0133】

追加的又は代替的に、プロセス９００は、環境内のオブジェクトの現在位置及びマップデータに少なくとも部分的に基づいて、基準線を決定することを含み得る。いくつかの例では、オブジェクトの第２の予測位置を決定することは、第１の予測位置を基準線に投影することに少なくとも部分的に基づき得る。

【0134】

追加的又は代替的に、プロセス９００は、環境におけるオブジェクトの第２の予測位置が特徴マップに関連付けられた領域の外側にあることを決定することを含み得る。追加的又は代替的に、プロセス９００は、オブジェクトの第２の予測位置が領域の外側であることに少なくとも部分的に基づいて、環境に関連付けられた第３の特徴を決定することを含み得、第３の特徴はヌル特徴である。追加的又は代替的に、プロセス９００は、第３の特徴に少なくとも部分的に基づいて、ＧＮＮのノードを更新することを含み得る。追加的又は代替的に、プロセス９００は、ＧＮＮに少なくとも部分的に基づいて、オブジェクトに関連付けられた第２の分布データを表す第２の出力を決定することを含み得、第２の分布データは、オブジェクトの第２の予測位置を含む。追加的又は代替的に、プロセス９００は、第２の分布のセットに少なくとも部分的に基づいて、オブジェクトの第３の予測位置が環境の領域の外側であることを決定することを含み得る。追加的又は代替的に、プロセス９００は、マップデータに少なくとも部分的に基づいて、オブジェクトの第４の予測位置を決定することを含み得る。追加的又は代替的に、プロセス９００は、オブジェクトの第２の予測位置及びオブジェクトの第４の予測位置に少なくとも部分的に基づいて、車両を制御することを含み得る。

【0135】

いくつかの例では、環境におけるオブジェクトの現在位置とオブジェクトの第１の予測位置との間の第１の距離は、環境におけるオブジェクトの現在位置とオブジェクトの第２の予測位置との間の第２の距離と同じであってもよい。

【0136】

いくつかの例では、オブジェクトの第２の予測位置を決定することは、車両ダイナミクスモデルに少なくとも部分的に基づき得る。

【0137】

いくつかの例では、領域は境界のある領域であってもよく、境界のある領域に対応する特徴マップの一部は、環境を通る車両の軌道を計画するために使用されてもよい。

【0138】

図１０は、センサーデータを取り込み、特徴をＧＮＮのノード及びエッジにエンコードし、ＧＮＮによって出力された分布データをサンプリングするためのサンプリング手法を決定し、サンプリング手法を使用して分布データからサンプリングされたオブジェクトの予測位置に基づいて車両を制御するための例示的なプロセス１０００である。いくつかの例では、センサーデータ、ノード、エッジ、ＧＮＮ、予測位置、オブジェクト、及び／又は分布データは、図１に関して説明されたように、センサーデータ１０８、ノード１３２、１３４、エッジ１３６、ニューラルネットワーク１４２、予測位置、オブジェクト１３０、及び／又は予測位置分布１４６に対応し得る。

【0139】

プロセス１０００は、動作１００２で開始し、環境内の車両に関連付けられたセンサーからセンサーデータを受信することを含む。いくつかの例では、環境はオブジェクトを含み得る。

【0140】

動作１００４において、プロセス１０００は、オブジェクト又は車両の一方に関連付けられた第１の特徴を決定することを含み得る。いくつかの例では、第１の特徴は、センサーデータに少なくとも部分的に基づき得る。追加的又は代替的に、プロセス１０００は、オブジェクト又は車両の第１の状態を決定すること、オブジェクト又は車両の第１の状態を第１の機械学習（ＭＬ）モデルに入力すること、及び／又はオブジェクト又は車両の第１の状態を第１のＭＬモデルに入力することに少なくとも部分的に基づいて、オブジェクト又は車両に関連付けられた第１の特徴を受信することを含み得る。いくつかの例では、第１のＭＬモデルは、リカレントニューラルネットワーク（ＲＮＮ）として構成されてもよい。

【0141】

動作１００６において、プロセス１０００は、環境に関連付けられた第２の特徴を決定することを含み得る。いくつかの例では、環境に関連付けられた第２の特徴は、環境に関連付けられたマップデータに少なくとも部分的に基づき得る。追加的又は代替的に、プロセス１０００は、環境のトップダウンビューを決定すること、トップダウンビューを第２のＭＬモデルに入力すること、及び／又は環境のトップダウンビューを第２のＭＬモデルに入力することに少なくとも部分的に基づいて、第２の特徴データを受信することを含み得る。いくつかの例では、第２のＭＬモデルは、第１のＭＬモデルとは異なっていてもよい。追加的又は代替的に、第２のＭＬモデルは、ＲＮＮ又は畳み込みニューラルネットワーク（ＣＮＮ）として構成されてもよい。

【0142】

動作１００８において、プロセス１０００は、グラフニューラルネットワーク（ＧＮＮ）のグラフノードを決定することを含み得る。いくつかの例では、グラフノードは、第１の特徴及び第２の特徴に基づき得る。

【0143】

動作１０１０において、プロセス１０００は、ノードに関連付けられた分布データを表す第１の出力を決定することを含み得る。いくつかの例では、第１の出力は、ＧＮＮの推論に少なくとも部分的に基づき得る。追加的又は代替的に、分布データは、環境におけるオブジェクト又は車両の予測位置を含む。

【0144】

動作１０１２において、プロセス１０００は、分布データをサンプリングするためのサンプリング手法を決定することを含み得る。いくつかの例では、サンプリング手法は、グラフノードの分類タイプ、分布データの予測位置、分布データの分布タイプ、及び／又は分布データに関連付けられた入力に少なくとも部分的に基づき得る。

【0145】

動作１０１４において、プロセス１０００は、サンプリング手法に少なくとも部分的に基づいて、オブジェクト又は車両の第１の予測位置を決定することを含み得る。

【0146】

動作１０１６において、プロセス１０００は、閾値量の予測位置が分布データからサンプリングされたかどうかを決定することを含み得る。例えば、オブジェクトの予測軌道は、オブジェクトの１つ又は複数の予測位置を使用して決定され得る。一例として、動作１０１６は、予測軌道を決定するために、閾値量の予測位置が分布データからサンプリングされたことを決定することを含んでもよい。別の例として、動作１０１６は、予測軌道を決定するために、閾値量の予測位置が分布データからサンプリングされていないと決定することを含んでもよい。プロセスは、その後、予測軌道を決定するために分布データから閾値量の予測位置がサンプリングされていないと決定することに基づいて、プロセス１０００の一部を（後続のタイムステップで）再スタートする動作１０１２を含んでもよい。

【0147】

動作１０１８において、プロセス１０００は、オブジェクトの第１の予測位置に少なくとも部分的に基づいて、車両を制御することを含み得る。

【0148】

追加的又は代替的に、プロセス１０００は、グラフノードの分類タイプが、グラフノードがオブジェクトに関連付けられたことを示すと決定することを含み得、ここで、サンプリング手法は、第１のサンプリング手法を含む。追加的又は代替的に、プロセス１０００は、グラフノードの分類タイプが、グラフノードが車両に関連付けられたことを示すと決定することを含み得る、ここで、サンプリング手法は、第１のサンプリング手法とは異なる第２のサンプリング手法を含み得る。

【0149】

追加的又は代替的に、プロセス１０００は、車両の軌道を計画するために使用される環境の境界領域を決定することを含み得る。追加的又は代替的に、プロセス１０００は、分布データに少なくとも部分的に基づいて、分布データの予測位置が境界領域の外側にあることを決定することを含み得る。追加的又は代替的に、プロセス１０００は、分布データの予測位置が境界領域の外側にあることに少なくとも部分的に基づいて、サンプリング手法を決定することを含み得る。追加的又は代替的に、プロセス１０００は、サンプリング手法及び環境に関連付けられたマップデータに少なくとも部分的に基づいて、オブジェクトの第１の予測位置を決定することを含み得る。

【0150】

追加的又は代替的に、プロセス１０００は、分布データの分布タイプが第１の分布タイプであることを決定することを含み得る。追加的又は代替的に、プロセス１０００は、サンプリング手法を使用して分布データをサンプリングすることに少なくとも部分的に基づいて、オブジェクト又は車両の第１の予測位置を決定することを含み得、ここで、サンプリング手法は、ガウスサンプリング手法を含む。追加的又は代替的に、プロセス１０００は、分布データの分布タイプが第２の分布タイプであることを決定することを含み得る。追加的又は代替的に、プロセス１０００は、サンプリング手法を用いた分布データのサンプリングに少なくとも部分的に基づいて、オブジェクト又は車両の第１の予測位置を決定することを含み得る。いくつかの例では、第１の予測位置は、分布データの予測位置の平均であり得る。

【0151】

いくつかの例では、車両は自律車両であり得る。追加的又は代替的に、プロセス１０００は、自律車両の計画コンポーネントから、入力データを受信することを含み得、ここで、オブジェクト又は車両の第１の予測位置は、入力データに少なくとも部分的に基づき得る。いくつかの例では、入力データは、環境を通る自律車両の基準軌道を含み得る。

【0152】

追加的又は代替的に、プロセス１０００は、入力データを受信することを含み得、入力データは、予測位置とは異なる環境におけるオブジェクト又は車両の選択された位置を示し得る。追加的又は代替的に、プロセス１０００は、選択された位置に基づいてオブジェクト又は車両の予測軌道を決定することを含み得る。

【0153】

いくつかの例では、サンプリング手法は第１のサンプリング手法であり得、及び／又は第１の予測位置は第１の時間に関連付けられ得る。追加的又は代替的に、プロセス１０００は、オブジェクト又は車両の第１の予測位置に少なくとも部分的に基づいて、環境に関連付けられた第３の特徴を有するグラフノードを更新することを含み得る。追加的又は代替的に、プロセス１０００は、グラフ構造に少なくとも部分的に基づいて、ノードに関連付けられた分布データを表す第２の出力を決定することを含み、分布データは、第１の時間の後の第２の時間における環境内のオブジェクト又は車両の予測位置を含む。追加的又は代替的に、プロセス１０００は、分布データをサンプリングするための第２のサンプリング手法を決定することを含み得、第２のサンプリング手法は、第１のサンプリング手法とは異なり得る。追加的又は代替的に、プロセス１０００は、第２のサンプリング手法に少なくとも部分的に基づいて、第２の時間における環境内のオブジェクト又は車両の第２の予測位置を決定することを含み得る。追加的又は代替的に、プロセス１０００は、第１の予測位置及び第２の予測位置に少なくとも部分的に基づいて、予測軌道を決定することを含み得る。

【0154】

いくつかの例では、ノードはオブジェクトに関連付けられた第１のノードであってもよく、分布データは第１の時間に第１のノードに関連付けられた第１の分布データであってもよく、サンプリング手法は第１のサンプリング手法であってもよい。追加的又は代替的に、プロセス１０００は、車両に関連付けられた第３の特徴及び環境に関連付けられた第２の特徴をグラフ構造の第２のノードに関連付けることを含み得る。追加的又は代替的に、プロセス１０００は、グラフ構造に少なくとも部分的に基づいて、第２のノードに関連付けられた第２の分布データを表す第２の出力を決定することを含み、第２の分布データは、第１の時間における環境内の車両の第２の予測位置を含む。追加的又は代替的に、プロセス１０００は、第１の分布データをサンプリングされるための第１のサンプリング手法を、第１のノードの分類タイプに少なくとも部分的に基づいて決定することを含み得る。追加的又は代替的に、プロセス１０００は、第２のノードの第１の分類タイプに少なくとも部分的に基づいて、第２の分布データをサンプリングするための第２のサンプリング手法を決定することを含み得、ここで、第２のサンプリング手法は、第１のサンプリング手法とは異なり得る。追加的又は代替的に、プロセス１０００は、第２のサンプリング手法に少なくとも部分的に基づいて、第１の時間における車両の第２の予測位置を決定することを含み得る。追加的又は代替的に、プロセス１０００は、第１の予測位置又は第２の予測位置に少なくとも部分的に基づいて、オブジェクト又は車両の予測軌道を決定することを含み得る。

【0155】

図１１は、センサーデータを取り込み、特徴をＧＮＮのノード及びエッジにエンコードし、ＧＮＮによって出力された第１の分布データを評価して、基準を満たす第１の分布データに含まれる予測位置のサブセットを含む第２の分布データを決定し、第２の分布データからサンプリングされたオブジェクトの予測位置に基づいて車両を制御するための例示的なプロセス１１００である。いくつかの例では、センサーデータ、ノード、エッジ、ＧＮＮ、予測位置、オブジェクト、基準、第１の分布データ及び／又は第２の分布データは、図１に関して説明されたように、センサーデータ１０８、ノード１３２、１３４、エッジ１３６、ニューラルネットワーク１４２、予測位置、オブジェクト１３０、基準、分布データ、及び／又は分布データのサブセットに対応し得る。

【0156】

プロセス１１００は、動作１１０２で開始し、第１の時間において、環境内の車両に関連付けられたセンサーからセンサーデータを受信することを含む。いくつかの例では、環境はオブジェクトを含み得る。

【0157】

動作１１０４において、プロセス１１００は、オブジェクトに関連付けられた第１の特徴を決定することを含み得る。いくつかの例では、第１の特徴は、センサーデータに少なくとも部分的に基づき得る。追加的又は代替的に、プロセス１１００は、オブジェクトの第１の状態を決定すること、オブジェクトの第１の状態を第１の機械学習（ＭＬ）モデルに入力すること、及び／又はオブジェクトの第１の状態を第１のＭＬモデルに入力することに少なくとも部分的に基づいて、オブジェクトに関連付けられた第１の特徴データを受信することを含み得る。いくつかの例では、第１のＭＬモデルは、リカレントニューラルネットワーク（ＲＮＮ）として構成されてもよい。

【0158】

動作１１０６において、プロセス１１００は、環境に関連付けられた第２の特徴を決定することを含み得る。いくつかの例では、第２の特徴は、センサーデータに少なくとも部分的に基づき得る。追加的又は代替的に、プロセス１１００は、環境のトップダウンビューを決定すること、トップダウンビューを第２のＭＬモデルに入力すること、及び／又は環境のトップダウンビューを第２のＭＬモデルに入力することに少なくとも部分的に基づいて、第２の特徴データを受信することを含み得る。いくつかの例では、第２のＭＬモデルは、第１のＭＬモデルとは異なっていてもよい。追加的又は代替的に、第２のＭＬモデルは、ＲＮＮ又は畳み込みニューラルネットワーク（ＣＮＮ）として構成されてもよい。

【0159】

動作１１０８において、プロセス１１００は、グラフニューラルネットワーク（ＧＮＮ）のノードに、オブジェクトに関連付けられた第１の特徴及び環境に関連付けられた第２の特徴を関連付けることを含み得る。

【0160】

動作１１１０において、プロセス１１００は、第１の時間の後の第２の時間にオブジェクトが環境において存在する予測位置を含む第１の分布データを表す第１の出力を決定することを含み得る。いくつかの例では、第１の出力は、ＧＮＮ及び／又は基準に少なくとも部分的に基づいて、決定され得る。いくつかの例では、第１の分布データは、基準を満たす予測位置のみを含んでもよい。

【0161】

動作１１１２において、プロセス１１００は、オブジェクトの第１の予測位置を決定することを含み得る。いくつかの例では、オブジェクトの第１の予測位置は、第２の分布データからのサンプリングに少なくとも部分的に基づき得る。

【0162】

動作１１１４において、プロセス１１００は、閾値量の予測位置が決定されたかどうかを決定することを含み得る。例えば、第１のオブジェクトの予測位置は、分布データからサンプリングされたことに基づいて決定されてもよく、１つ又は複数の予測位置は、第１のオブジェクトの軌道を決定するために使用されてもよい。一例として、動作１１１４は、閾値量の予測位置が決定されたことを決定することを含み得る。別の例として、動作１１１４は、閾値量の予測位置が決定されていないと決定することを含み得る。プロセス１１００は、その後、閾値量の予測位置が第２の分布データに含まれていないと決定することに基づいて、プロセス１１００の一部を（後続のタイムステップで）再スタートする動作１１１０を含み得る。

【0163】

動作１１１６において、プロセス１１００は、オブジェクトの第１の予測位置に基づいて車両を制御することを含み得る。

【0164】

いくつかの例では、センサーは、環境を横断する自律車両に関連付けられる。追加的又は代替的に、プロセス１１００は、自律車両に関連付けられた計画コンポーネントから、環境を通る車両の軌道を受信することを含み得る。追加的又は代替的に、プロセス１１００は、自律車両の軌道に少なくとも部分的に基づいて、基準を決定することを含み得る。

【0165】

追加的又は代替的に、プロセス１１００は、オブジェクトに関連付けられた第１の特徴及び環境に関連付けられた第２の特徴に少なくとも部分的に基づいて、オブジェクトに関連付けられた意図を決定することを含み得る。追加的又は代替的に、プロセス１１００は、オブジェクトに関連付けられた意図に少なくとも部分的に基づいて、基準を決定することを含み得る。

【0166】

追加的又は代替的に、プロセス１１００は、環境に関連付けられたマップデータを受信することを含み得る。追加的又は代替的に、プロセス１１００は、マップデータ及びセンサーデータに少なくとも部分的に基づいて、環境に関連付けられた規則を決定することを含み得る。いくつかの例では、規則は、一時停止標識、街灯、環境内のゾーン、及び／又は制限速度のうちの少なくとも１つを含み得る。いくつかの例では、環境内のゾーンは、定義されたゾーン（例えば、１日の特定の時間帯のスクールゾーン、長期的な高速道路の建設ゾーンなど）、及び／又は未定義のゾーン（例えば、標識、交通誘導作業員の存在などによって示すことができる不特定の時間に設定又は解除される建設ゾーン）であり得る。追加的又は代替的に、プロセス１１００は、環境に関連付けられた規則に少なくとも部分的に基づいて、基準を決定することを含み得る。

【0167】

いくつかの例では、基準は、オブジェクトに関連付けられたオブジェクト特性に少なくとも部分的に基づき得る。いくつかの例では、オブジェクト特性は、オブジェクトに関連付けられた最大旋回半径、オブジェクトに関連付けられた最大速度、オブジェクトに関連付けられた最大加速度、オブジェクトに関連付けられた車線変更操作、オブジェクトに関連付けられた旋回操作、及び／又はオブジェクトに関連付けられた敵対的な挙動操作のうちの少なくとも1つを含む。

【0168】

追加的又は代替的に、プロセス１１００は、オブジェクトの第１の特徴に少なくとも部分的に基づいて、基準を決定することを含み得る。いくつかの例では、第１の特徴は、オブジェクトの現在の姿勢、オブジェクトの現在の位置、オブジェクトの現在の加速度、オブジェクトの現在の速度、オブジェクトのサイズ、オブジェクトのタイプ、及び／又はオブジェクトの照明状態のうちの少なくとも１つを含む。

【0169】

いくつかの例では、オブジェクトは第１のオブジェクトであってよく、予測位置は第１の予測位置であってもよく、基準は第１の基準であってもよい。追加的又は代替的に、プロセス１１００は、センサーデータに少なくとも部分的に基づいて、環境内の第２のオブジェクトに関連付けられた第３の特徴を決定することを含み得る。追加的又は代替的に、プロセス１１００は、第２のオブジェクトに関連付けられた第３の特徴及び環境に関連付けられた第２の特徴をグラフ構造の第２のノードに関連付けることを含み得る。追加的又は代替的に、プロセス１１００は、グラフ構造に少なくとも部分的に基づいて、第２のオブジェクトの第３の分布データを表す第２の出力を決定することを含み得、第３の分布データは、将来における第２のオブジェクトの第２の予測位置を含む。追加的又は代替的に、プロセス１１００は、第１のオブジェクトの第１の予測位置に少なくとも部分的に基づいて、第２の基準を決定することを含み得る。追加的又は代替的に、プロセス１１００は、第３の分布データを評価して、第３の分布データ中の第２の予測位置のどれが第２の基準を満たすかを決定することを含み得る。追加的又は代替的に、プロセス１１００は、第２のオブジェクトについての第３の分布データを評価することに少なくとも部分的に基づいて、第２のオブジェクトについての第４の分布データを決定することを含み得、第４の分布データは、第２のオブジェクトについての第２の予測位置の第２のサブセットを含み得る。追加的又は代替的に、プロセス１１００は、第４の分布のセットからのサンプリングに少なくとも部分的に基づいて、第２のオブジェクトの第２の予測位置を決定することを含み得る。追加的又は代替的に、プロセス１１００は、第２のオブジェクトの第２の予測位置及び第１のオブジェクトの第１の予測軌道に少なくとも部分的に基づいて、第２のオブジェクトの第２の予測軌道を決定することを含み得る。

【0170】

いくつかの例では、車両は、環境を横断する自律車両である。追加的又は代替的に、プロセス１１００は、第１のオブジェクトの第１の予測軌道及び第２のオブジェクトの第２の予測軌道に少なくとも部分的に基づいて、自律車両の第３の予測軌道を決定することを含み得る。追加的又は代替的に、プロセス１１００は、第３の予測軌道に少なくとも部分的に基づいて、自律車両を制御することを含み得る。

【0171】

図１２は、本明細書で述べられる手法を実装するための例示的なシステム１２００のブロック図である。少なくとも１つの例では、システム１２００は、車両１０６などの車両１２０２を含み得る。

【0172】

車両１２０２は、車両コンピューティングデバイス１２０４、１つ又は複数のセンサーシステム１２０６、１つ又は複数のエミッタ１２０８、１つ又は複数の通信接続部１２１０、少なくとも１つの直接接続部１２１２、及び１つ又は複数の駆動システム１２１４を含み得る。

【0173】

車両コンピューティング機器１２０４は、１つ又は複数のプロセッサ１２１６と、１つ又は複数のプロセッサ１２１６と通信可能に結合されたメモリ１２１８とを含み得る。図示された例では、車両１２０２は自律車両であるが、車両１２０２は半自律車両などの任意の他のタイプの車両、又は少なくとも画像取り込み機器（例えば、カメラ対応スマートフォン）を有する任意の他のシステムであり得る。図示された例では、車両コンピューティングデバイス１２０４のメモリ１２１８は、定位コンポーネント１２２０、知覚コンポーネント１２２２、計画コンポーネント１２２４、１つ又は複数のシステムコントローラ１２２６、１つ又は複数のマップ１２２８、ログデータ１２３０、及び予測コンポーネント１２５２などを格納する。図１２では、例示の目的でメモリ１２１８に常駐するように描かれているが、定位コンポーネント１２２０、知覚コンポーネント１２２２、計画コンポーネント１２２４、システムコントローラ１２２６、マップ１２２８、及び予測コンポーネント１２５２は、追加的又は代替的に、車両１２０２にアクセス可能であってもよい（例えば、コンピューティングデバイス１２３４のメモリ１２３２など、車両１２０２から遠隔のメモリ上に格納されるか、又は他の方法でアクセス可能であることが企図される）。本明細書で述べられるように、定位コンポーネント１２２０、知覚コンポーネント１２２２、計画コンポーネント１２２４、システムコントローラ１２２６、及び予測コンポーネント１２５２は、集合的に車両コントローラを構成してもよい。ｘ

【0174】

少なくとも１つの例では、定位コンポーネント１２２０は、車両１２０２の位置及び／又は向き（例えば、ｘ位置、ｙ位置、ｚ位置、ロール、ピッチ、又はヨーのうちの１つ又は複数）を決定するために、センサーシステム１２０６からデータを受信する機能を含み得る。例えば、定位コンポーネント１２２０は、環境のマップを含み、及び／又は要求／受信し、マップ内の自律車両の位置及び／又は向きを継続的に決定し得る。いくつかの実施態様において、定位コンポーネント１２２０は、画像データ、ＬＩＤＡＲデータ、ＲＡＤＡＲデータ、ＩＭＵデータ、ＧＰＳデータ、ホイールエンコーダーデータなどを受信するために、ＳＬＡＭ（自己定位とマッピングの同時実行）、ＣＬＡＭＳ（較正、定位及びマッピングの同時実行）、相対ＳＬＡＭ、バンドル調整、非線形最小二乗最適化などを利用して、自律車両の位置を正確に決定し得る。いくつかの実施態様では、定位コンポーネント１２２０は、本明細書で議論されるように、車両経路に関連付けられた経路ポリゴンを決定するための自律車両の初期位置を決定するために、車両１２０２の様々なコンポーネントにデータを提供し得る。

【0175】

いくつかの例では、知覚コンポーネント１２２２は、オブジェクト検出、セグメント化、及び／又は分類を実行する機能を含み得る。いくつかの例では、知覚コンポーネント１２２２は、車両１２０２に近接するオブジェクト（例えば、エンティティ）の存在を示す、及び／又はオブジェクトのタイプ（例えば、車、歩行者、自転車、動物、建物、木、路面、縁石、歩道、不明等）としてのオブジェクトの分類を示す、処理されたセンサーデータを提供し得る。いくつかの例では、知覚コンポーネント１２２２は、車両１２０２に近接する静止したエンティティの存在、及び／又は、静止したエンティティのタイプ（例えば、建物、木、路面、縁石、歩道、不明など）としての分類を示す、処理されたセンサーデータを提供し得る。

【0176】

追加的又は代替的な例では、知覚コンポーネント１２２２は、検出されたオブジェクト（例えば、追跡オブジェクト）及び／又はオブジェクトが配置されている環境に関連付けられた１つ又は複数の特性を示す処理されたセンサーデータを提供し得る。いくつかの例では、オブジェクトに関連付けられた特性は、ｘ位置（グローバル及び／又はローカル位置）、ｙ位置（グローバル及び／又はローカル位置）、ｚ位置（グローバル及び／又はローカル位置）、向き（例えば、ロール、ピッチ、ヨー）、オブジェクトのタイプ（例えば、分類）、オブジェクトの速度、オブジェクトの加速度、オブジェクトの範囲（サイズ）などを含み得るが、これらに限定されない。環境に関連付けられた特性には、環境内の別のオブジェクトの存在、環境内の別のオブジェクトの状態、時間、曜日、季節、天候、暗さ／明るさの表示などが含まれるが、これらに限定されない。

【0177】

予測コンポーネント１２５２は、環境内の１つ又は複数のオブジェクトの可能な位置の予測確率を表す１つ又は複数の確率マップを生成し得る。例えば、予測コンポーネント１２５２は、車両１２０２から閾値距離内にある車両、歩行者、動物などに対する１つ又は複数の確率マップを生成し得る。いくつかの例では、予測コンポーネント１２５２は、オブジェクトの追跡を測定し、観察及び予測された挙動に基づいて、離散化予測確率マップ、ヒートマップ、確率分布、離散化確率分布、及び／又はオブジェクトの軌道を生成してもよい。いくつかの例では、１つ又は複数の確率マップは、環境内の1つ又は複数のオブジェクトの意図を表し得る。

【0178】

一般に、計画コンポーネント１２２４は、環境を横断するために車両１２０２が従うべき経路を決定し得る。例えば、計画コンポーネント１２２４は、様々な経路及び軌道、並びに様々な詳細のレベルを決定し得る。例えば、計画コンポーネント１２２４は、第１の場所（例えば、現在の場所）から第２の場所（例えば、目標となる場所）まで移動する経路を決定し得る。この議論の目的のために、経路は、２つの場所間を移動するためのウェイポイントのシーケンスを含み得る。非限定的な例として、ウェイポイントは、通り、交差点、全地球測位システム（ＧＰＳ）座標などを含む。さらに、計画コンポーネント１２２４は、第１の場所から第２の場所までの経路の少なくとも一部に沿って車両１２０２を誘導するための指令を生成してもよい。少なくとも一例では、計画コンポーネント１２２４は、ウェイポイントのシーケンスにおける第１のウェイポイントからウェイポイントのシーケンスにおける第２のウェイポイントへ車両１２０２を誘導する方法を決定してもよい。いくつかの例では、指令は軌道、又は軌道の一部であってもよい。いくつかの例では、複数の軌道が、Ｒｅｃｅｄｉｎｇ Ｈｏｒｉｚｏｎ手法に従って実質的に同時に（例えば、技術的許容範囲内で）生成されてもよく、複数の軌道のうちの１つが、車両１２０２がナビゲートするために選択され得る。

【0179】

いくつかの例では、計画コンポーネント１２２４は、環境内のオブジェクトの予測軌道を生成するために予測コンポーネント１２５２と通信可能に結合され得る。例えば、予測コンポーネント１２５２は、車両１２０２から閾値距離内にあるオブジェクトの１つ又は複数の予測軌道を生成してもよい。いくつかの例では、予測コンポーネント１２５２は、オブジェクトの追跡を測定し、観察及び予測された挙動に基づいてオブジェクトの軌道を生成してもよい。

【0180】

少なくとも１つの例では、車両コンピューティングデバイス１２０４は、１つ又は複数のシステムコントローラ１２２６を含み得、これらは、車両１２０２のステアリング、推進、ブレーキ、安全、エミッタ、通信、及び他のシステムを制御するように構成され得る。システムコントローラ１２２６は、駆動システム１２１４及び／又は車両１２０２の他のコンポーネントの対応するシステムと通信及び／又は制御し得る。

【0181】

メモリ１２１８は、環境内をナビゲートするために車両１２０２によって使用され得る１つ又は複数のマップ１２２８をさらに含み得る。この議論の目的のために、マップは、トポロジー（交差点など）、道路、山脈、道路、地形、及び環境全般などの環境に関する情報を提供することが可能な、２次元、３次元、又はＮ次元でモデル化された任意の数のデータ構造であり得る。いくつかの例では、マップは、テクスチャ情報（例えば、色情報（例えば、ＲＧＢ色情報、Ｌａｂ色情報、ＨＳＶ／ＨＳＬ色情報）など）、強度情報（例えば、ＬＩＤＲＡ情報、ＲＡＤＡＲ情報など）、空間情報（例えば、メッシュに投影された画像データ、個々の「サーフェル」（例えば、個々の色及び／又は強度に関連付けられたポリゴン））、反射率情報（例えば、鏡面反射率情報、再帰反射率情報、ＢＲＤＦ情報、ＢＳＳＲＤＦ情報など）を含み得るが、これらに限定されない。一例では、マップは、環境の３次元メッシュを含み得る。いくつかの例では、車両１２０２は、マップ１２２８に少なくとも部分的に基づいて制御され得る。すなわち、マップ１２２８は、定位コンポーネント１２２０、知覚コンポーネント１２２２、及び／又は計画コンポーネント１２２４と関連し、車両１２０２の位置を決定し、環境内のオブジェクトを検出し、及び／又は環境内を移動する経路及び／又は軌道を生成するために使用され得る。さらに、いくつかの例では、マップ１２２８は、ステアリング角、速度、加速度、駆動方向、駆動ギア、及び／又は重力加速度に基づくなど、計画された軌道に対する車両の位置及び／又は向きを決定するために、追跡コンポーネントと関連して使用されてもよい。

【0182】

いくつかの例では、１つ又は複数のマップ１２２８は、ネットワーク１２３６を介してアクセス可能なコンピューティングデバイス（コンピューティングデバイス１２３４など）に格納され得る。いくつかの例では、複数のマップ１２２８は、例えば、特性（例えば、エンティティのタイプ、時間、曜日、季節など）に基づいて格納されてもよい。複数のマップ１２２８を格納することは、同様のメモリ要件を有し得、マップ内のデータがアクセスされ得る速度を増加させ得る。

【0183】

図７に示されるように、メモリ１２１８は、ログデータ１２３０を格納し得る。ログデータ１２３０は、定位コンポーネント１２２０、知覚コンポーネント１２２２、計画コンポーネント１２２４、コントローラ１２２６、及び／又はそれらの様々なサブコンポーネントの出力の各々によって入力及び／又は出力されたデータを表し得る。少なくとも１つの例において、ログデータ１２３０は、センサーシステム１２０６によって取り込まれ、車両コンピューティングデバイス１２０４のコンポーネントの１つ又は複数に提供されるセンサーデータを含み得る。

【0184】

理解できるように、本明細書で述べられるコンポーネント（例えば、定位コンポーネント１２２０、知覚コンポーネント１２２２、計画コンポーネント１２２４、１つ又は複数のシステムコントローラ１２２６、及び１つ又は複数のマップ１２２８は、例示の目的で分割されたものとして説明される。しかしながら、様々なコンポーネントによって実行される動作は、組み合わされてもよく、他の任意のコンポーネントにおいて実行されてもよい。例えば、例示的な例では、上述のような追跡コンポーネントの機能は、計画コンポーネント１２２４によって実行されてもよい。しかしながら、他の例では、追跡器コンポーネントは、計画コンポーネント１２２４から独立した別個のコンポーネントを含んでもよい。

【0185】

いくつかの例において、本明細書で議論されるコンポーネントのいくつか又はすべての態様は、任意のモデル、手法、及び／又は機械学習手法を含み得る。例えば、いくつかの例において、メモリ１２１８（及び後述するメモリ１２３２）内のコンポーネントは、ニューラルネットワークとして実装されてもよい。

【0186】

少なくとも１つの例では、センサーシステム１２０６は、ＬＩＤＡＲセンサー、ＲＡＤＡＲセンサー、超音波トランスデューサ、ソナーセンサ、位置センサー（例えば、ＧＰＳ、コンパスなど）、慣性センサー（例えば、慣性測定ユニット（ＩＭＵ）、加速度計、磁力計、ジャイロスコープなど）、カメラ（ＲＧＢ、ＩＲ、強度、深度、飛行時間など）、マイク、ホイールエンコーダ、環境センサー（温度センサー、湿度センサー、光センサー、圧力センサーなど）などを含み得る。センサーシステム１２０６は、これら又は他のタイプのセンサーのそれぞれの多様なインスタンスを含み得る。例えば、ＬＩＤＡＲセンサーは、車両１２０２の角部、前面、背面、側面、及び／又は上面に配置された個々のＬＩＤＡＲセンサーを含み得る。別の例として、カメラセンサーは、車両１２０２の外部及び／又は内部に関する様々な位置に配置された多様なカメラを含み得る。センサーシステム１２０６は、車両コンピューティングデバイス１２０４に入力を提供し得る。追加的又は代替的に、センサーシステム１２０６は、１つ又は複数のネットワーク１２３６を介して、センサーデータを、特定の頻度で、所定の期間の経過後に、ほぼリアルタイムで、１つ又は複数のコンピューティングデバイス１２３４に送信し得る。

【0187】

車両１２０２はまた、上述したように、光及び／又は音を放出するための１つ又は複数のエミッタ１２０８を含み得る。本例におけるエミッタ１２０８は、車両１２０２の乗客と通信するための内部音声及び映像エミッタを含む。限定ではなく例として、内部エミッタは、スピーカ、ライト、標識、ディスプレイスクリーン、タッチスクリーン、触覚エミッタ（例えば、振動及び／又はフォースフィードバック）、機械的アクチュエータ（例えば、シートベルトテンショナ、シートポジショナ、ヘッドレストポジショナなど）などを含み得る。本例におけるエミッタ１２０８は、外部エミッタも含む。限定ではなく例として、本例における外部エミッタは、進行方向を知らせるためのライト、又は車両の動作の他のインジケータ（例えば、インジケータライト、標識、ライトアレイなど）、及び歩行者又は他の近くの車両と聴覚的に通信するための１つ又は複数の音声エミッタ（例えば、スピーカ、スピーカアレイ、ホーンなど）を含み、そのうちの１つ又は複数のエミッタは音響ビームステアリング技術を含む。

【0188】

車両１２０２はまた、車両１２０２と１つ又は複数の他のローカル又はリモートのコンピューティングデバイスとの間の通信を可能にする１つ又は複数の通信接続部１２１０を含むことができる。例えば、通信接続部１２１０は、車両１２０２及び／又は駆動システム１２１４上の他のローカルコンピューティングデバイスとの通信を容易にし得る。また、通信接続部１２１０は、車両が、センサーデータを受信するために、他の近くのコンピューティングデバイス（例えば、コンピューティングデバイス１２３４、他の近くの車両など）及び／又は１つ又は複数の遠隔センサーシステムと通信することを可能にし得る。

【0189】

通信接続部１２１０は、車両コンピューティングデバイス１２０４を別のコンピューティングデバイス又はネットワーク１２３６などのネットワークに接続するための物理的及び／又は論理的インターフェースを含み得る。例えば、通信接続部１２１０は、ＩＥＥＥ ８０２．１１規格によって定義される周波数を介するようなＷｉ－Ｆｉベースの通信、Ｂｌｕｅｔｏｏｔｈのような近距離無線周波数、セルラー通信（例えば、２Ｇ、３Ｇ、４Ｇ、４Ｇ ＬＴＥ、５Ｇなど）、又はそれぞれのコンピューティングデバイスが他のコンピューティングデバイスとインターフェースすることを可能にする任意の適切な有線又は無線通信プロトコルを可能にし得る。

【0190】

少なくとも１つの例では、車両１２０２は１つ又は複数の駆動システム１２１４を含み得る。いくつかの例では、車両１２０２は単一の駆動システム１２１４を有し得る。少なくとも１つの例では、車両１２０２が複数の駆動システム１２１４を有する場合、個々の駆動システム１２１４は、車両１２０２の対向する端部（例えば、前部と後部など）に配置されてもよい。少なくとも１つの例では、駆動システム１２１４は、駆動システム１２１４及び／又は車両１２０２の周囲の状態を検出するための１つ又は複数のセンサーシステムを含み得る。限定ではなく例として、センサーシステムは、駆動システムの車輪の回転を感知するための１つ又は複数のホイールエンコーダ（例えば、ロータリーエンコーダ）、駆動システムに関連付けられた方位及び加速度を測定するための慣性センサー（例えば、慣性測定ユニット、加速度計、ジャイロスコープ、磁力計など）、カメラ又は他の画像センサー、駆動システムの周囲の対象物を音響的にイメージングするための超音波センサー、ＬＩＤＡＲセンサー、ＲＡＤＡＲセンサーなどを含み得る。ホイールエンコーダのようないくつかのセンサーは、駆動システム１２１４に固有であってもよい。場合によっては、駆動システム１２１４上のセンサーシステムは、車両１２０２の対応するシステム（例えば、センサーシステム１２０６）と重複したり、補足したりしてもよい。

【0191】

駆動システム１２１４は、高電圧バッテリ、車両を推進するモータ、バッテリからの直流電流を他の車両システムで使用するための交流電流に変換するインバータ、ステアリングモータ及びステアリングラック（電気式であり得る）を含むステアリングシステム、油圧又は電気アクチュエータを含むブレーキシステム、油圧及び／又は空気圧コンポーネントを含むサスペンションシステム、トラクションの損失を緩和し、制御を維持するためにブレーキ力を分配するための安定性制御システム、ＨＶＡＣシステム、照明（例えば、車両の外部周囲を照らすヘッド／テールライトなどの照明）、及び１つ又は複数のその他のシステム（例えば、冷却システム、安全システム、車載充電システム、ＤＣ／ＤＣコンバータ、高電圧ジャンクション、高電圧ケーブル、充電システム、充電ポートなどのその他の電気コンポーネント）を含み得る。さらに、駆動システム１２１４は、センサーシステムからデータを受信して前処理し、様々な車両システムの動作を制御する駆動システムコントローラを含み得る。いくつかの例では、駆動システムコントローラは、１つ又は複数のプロセッサと、１つ又は複数のプロセッサと通信可能に結合されたメモリとを含み得る。メモリは、駆動システム１２１４の様々な機能を実行するための１つ又は複数のモジュールを格納し得る。さらに、駆動システム１２１４は、それぞれの駆動システムによる１つ又は複数の他のローカル又は遠隔のコンピューティングデバイスとの通信を可能にする１つ又は複数の通信接続部を含み得る。

【0192】

少なくとも１つの例では、直接接続部１２１２は、１つ又は複数の駆動システム１２１４を車両１２０２のボディと結合するための物理的インターフェースを提供し得る。例えば、直接接続部１２１２は、駆動システム１２１４と車両１２０２との間のエネルギー、流体、空気、データなどの伝達を可能にし得る。いくつかの例では、直接接続部１２１２は、駆動システム１２１４を車両１２０２の車体に解放可能にさらに固定され得る。

【0193】

少なくとも１つの例では、定位コンポーネント１２２０、知覚コンポーネント１２２２、計画コンポーネント１２２４、及び／又は１つ又は複数のシステムコントローラ１２２６、及び／又はそれらの様々なコンポーネントは、上述したように、センサーデータを処理し、それぞれの出力をログデータ１２３０として、１つ又は複数のネットワーク１２３６を介して、コンピューティングデバイス１２３４に送信し得る。少なくとも１つの例では、車両コンピューティングデバイス１２０４は、特定の頻度で、所定の期間の経過後に、ほぼリアルタイムでなど、ログデータ１２３０をコンピューティングデバイス１２３４に送信し得る。

【0194】

いくつかの例では、車両１２０２は、センサーデータを、ネットワーク１２３６を介してコンピューティングデバイス１２３４に送信し得る。いくつかの例では、車両１２０２は、ネットワーク１２３６を介してコンピューティングデバイス１２３４からセンサーデータを受信し得る。センサーデータは、生のセンサーデータ及び／又は処理されたセンサーデータ及び／又はセンサーデータの表現を含み得る。いくつかの例において、センサーデータ（生又は処理された）は、１つ又は複数のログファイルとして送信及び／又は受信され得る。

【0195】

コンピューティングデバイス１２３４は、プロセッサ１２３８と、オブジェクト特徴コンポーネント１２４０、環境特徴コンポーネント１２４２、分布コンポーネント１２４４、サンプリングコンポーネント１２４６、及び／又はモデリングコンポーネント１２４８を格納するメモリ１２３２とを含み得る。

【0196】

オブジェクト特徴コンポーネント１２４０は、環境を表すセンサーデータに基づいて、環境内のオブジェクトに関連付けられた特徴を決定するように構成され得る。いくつかの例では、オブジェクト特徴コンポーネント１２４０は、環境内のオブジェクトの状態を表すデータを決定するように構成され得る。いくつかの例では、状態は、オブジェクトの姿勢、オブジェクトの位置、オブジェクトの加速度、オブジェクトの速度、オブジェクトのサイズ、オブジェクトのタイプ、オブジェクトの照明状態などを含み得るが、これらに限定されない。追加的又は代替的に、オブジェクト特徴コンポーネント１２４０は、オブジェクトの状態を表すデータを機械学習（ＭＬ）モデルで処理することによって、オブジェクトに関連付けられた特徴を決定するように構成され得る。例えば、オブジェクトの状態を表すデータは、ＭＬモデルに入力され、オブジェクトに関連付けられた特徴を含む出力データを決定するように処理され得る。いくつかの例では、ＭＬモデルは、リカレントニューラルネットワーク（ＲＮＮ）として構成されてもよい。いくつかの例では、出力データは、多次元データとして構成されてもよく、オブジェクトに関連付けられた特徴の数に対応する任意の数のチャネルを含んでもよい。例えば、特徴は、特徴ベクトルとしてエンコードされたベクトル化オブジェクト要素を含む特徴ベクトルとして構成されてもよい。

【0197】

環境特徴コンポーネント１２４２は、環境内のオブジェクトの位置に対応する環境に関連付けられた特徴を決定するように構成され得る。いくつかの例では、環境特徴コンポーネント１２４２は、環境の視野を表すデータを決定するように構成されてもよい。いくつかの例では、データは、平面図又はトップダウンビューで表されてもよい。他の例では、データは立面図又は側面図で表されてもよい。環境の視野を表すデータは、環境を表すセンサーデータ及び／又は環境に関連付けられ、マップデータサーバーから受信されたマップデータを使用して決定され得る。いくつかの例では、環境の視野は、道路、車線、縁石、路肩、横断歩道、建物、樹木、中央分離帯、道路標識、交通信号、速度制限などを含むがこれらに限定されない、環境内の様々な要素を表し得る。追加的又は代替的に、環境特徴コンポーネント１２４２は、環境の視野を表すデータをＭＬモデルで処理することによって、環境に関連付けられた特徴を決定し得る。例えば、環境の視野を表すデータは、ＭＬモデルに入力され、環境に関連付けられた特徴を含む出力データを決定するために処理され得る。ＭＬモデルは、ＲＮＮ又は畳み込みニューラルネットワーク（ＣＮＮ）として構成されてもよい。いくつかの例では、出力データは、多次元データとして構成されてもよく、環境内のオブジェクトの位置における環境に関連付けられた特徴の数に対応する任意の数のチャネルを含んでもよい。例えば、特徴は、特徴ベクトルとしてエンコードされたベクトル化環境要素を含む特徴ベクトルとして構成されてもよい。

【0198】

分布コンポーネント１２４４は、ＧＮＮのノードを接続するノード及び／又はエッジ特徴をデコードして、環境における将来のタイムホライズンでのオブジェクトの予測位置の分布を決定するように構成され得る。追加的又は代替的に、分布コンポーネント１２４４は、予測された位置の分布を評価して、基準を満たす予測された位置のサブセットを決定し、予測された位置のより効率的なサンプリング（例えば、不可能な現実世界のシナリオを除去する、オブジェクトが特定の態様で動作するように影響を与えるなど）を可能にするように構成され得る。いくつかの例では、基準は、オブジェクトのタイプ、オブジェクトの特性、マップデータ、入力データなどに基づき得る。

【0199】

サンプリングコンポーネント１２４６は、様々なサンプリング手法を使用して、予測位置の分布をサンプリングし、将来のタイムホライズンにおける環境内のオブジェクトの予測位置を決定するように構成され得る。様々なサンプリング手法には、ガウスサンプリング（例えば、ガウス分布に基づくサンプリングパターンに従う）、最尤サンプリング（例えば、分布の最小値、最大値、又は平均値などの平均をとる）、又は上書きサンプリング（例えば、分布に含まれても含まなくてもよいオブジェクトの特定の位置を選択する）が含まれるが、これらに限定されない。サンプリングコンポーネント１２４６は、グラフノードの分類タイプ（例えば、グラフノードが自律車両、オブジェクト、特定のタイプのオブジェクトなどに関連付けられるか）、予測位置分布の予測位置（例えば、予測位置が予め定義された領域内にあるかどうか）、予測位置分布の分布タイプ、予測位置分布に関連付けられる入力（例えば、オブジェクトに関連付けられる基準軌道）などに基づいて、サンプリング手法を決定するように構成され得る。サンプリングコンポーネント１２４６は、同じタイムホライズンで２つの異なるオブジェクトの分布をサンプリングするため、及び／又は異なるタイムホライズンで１つのオブジェクトの分布をサンプリングするために、異なるサンプリング手法を採用するように構成されてもよい。

【0200】

モデリングコンポーネント１２４８は、環境内のオブジェクトを表すノード及びノードを接続するエッジを含むグラフ構造及び／又はグラフニューラルネットワーク（ＧＮＮ）を決定するように構成され得る。いくつかの例では、モデリングコンポーネントは、ＧＮＮを更新及び／又はインスタンス動作を実行するように構成され得る。追加的又は代替的に、モデリングコンポーネント１２４８は、オブジェクトに関連付けられた特徴及び／又は環境内のオブジェクトの位置における環境に関連付けられた特徴をＧＮＮのノードにエンコードするように構成され得る。追加的又は代替的に、モデリングコンポーネント１２４８は、オブジェクトの相対的特徴をＧＮＮのエッジにエンコードするように構成されてもよい。

【0201】

様々な例において、コンピューティングデバイス１２３４は、１つ又は複数のインターフェース１２５０を介するなどして、１つ又は複数の入出力（Ｉ／Ｏ）機器を含み得る。インターフェース１２５０は、Ｉ／Ｏインターフェース及び／又はネットワークインターフェースを含み得る。Ｉ／Ｏインターフェースは、スピーカ、マイク、カメラ、及び様々なユーザーコントローラ（例えば、ボタン、ジョイスティック、キーボード、キーパッドなど）、触覚出力デバイスなどを含み得る。ネットワークインターフェースは、ネットワークを介して又は直接、他の様々な機器との通信を可能にするための１つ又は複数のインターフェース及びハードウェアコンポーネントを含み得る。例えば、ネットワークインターフェースは、インターネット、ケーブルネットワーク、セルラーネットワーク、ワイヤレスネットワーク（例えば、Ｗｉ－Ｆｉ）、及び有線ネットワークの１つ又は複数を介した通信、ならびに本明細書の他の箇所で追加的に列挙するように、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標） ｌｏｗ ｅｎｅｒｇｙなどの近距離通信を可能にし得る。

【0202】

いくつかの例では、ユーザーは、１つ又は複数のインターフェース１２５０を介してデータを入力し、及び／又は結果を見るなど、サンプリングコンポーネント１２４６に関連付けられたユーザーインターフェースを見得る。そのような例では、インターフェース１２５０は、１つ又は複数のディスプレイを含み得る。ユーザーコンピューティングデバイス、サーバーコンピューティングデバイスなどのコンピューティングデバイスのタイプに応じて、ディスプレイは、任意の適切なディスプレイ技術を採用してよい。例えば、ディスプレイは、液晶ディスプレイ、プラズマディスプレイ、発光ダイオードディスプレイ、ＯＬＥＤ（有機ＥＬダイオード）ディスプレイ、電子ペーパーディスプレイ、又はその上にデジタルコンテンツを提示することができる任意の他の適切なタイプのディスプレイであり得る。いくつかの例では、ディスプレイは、ディスプレイ上に提示されたグラフィカルユーザインタフェースとの対話を可能にするためのタッチ入力を受信するように構成されたタッチスクリーンディスプレイを提供するために、ディスプレイに関連付けられたタッチセンサを有してもよい。したがって、本明細書の例は、特定のディスプレイ技術に限定されるものではない。

【0203】

車両１２０２のプロセッサ１２１６及びコンピューティングデバイス１２３４のプロセッサ１２３８は、本明細書で述べられるように、データを処理し動作を実行するための指令を実行することができる任意の適切なプロセッサであり得る。限定ではなく例として、プロセッサ１２１６及び１２３８は、１つ又は複数の中央処理装置（ＣＰＵ）、グラフィック処理装置（ＧＰＵ）、又は電子データを処理して、その電子データをレジスタ及び／又はメモリに格納され得る他の電子データに変換する任意の他の装置又は装置の一部を含み得る。いくつかの例では、集積回路（例えば、ＡＳＩＣなど）、ゲートアレイ（例えば、ＦＰＧＡなど）、及び他のハードウェアデバイスも、それらがエンコードされた指令を実装するように構成される限り、プロセッサと見なされ得る。

【0204】

メモリ１２１８及び１２３２は、非一時的コンピュータ可読媒体の例である。メモリ１２１８及び１２３２は、本明細書で述べられる方法及び様々なシステムに帰属する機能を実装するために、動作システム及び１つ又は複数のソフトウェアアプリケーション、指令、プログラム、及び／又はデータを格納し得る。様々な実装において、メモリは、静的ランダムアクセスメモリ（ＳＲＡＭ）、シンクロナスダイナミックＲＡＭ（ＳＤＲＡＭ）、不揮発性／フラッシュ型メモリ、又は情報を格納できる任意の他のタイプのメモリのような、任意の適切なメモリ技術を使用して実装されてもよい。本明細書で述べられるアーキテクチャ、システム、及び個々の要素は、他の多くの論理的、プログラム的、及び物理的コンポーネントを含み得るが、添付の図に示されるものは、本明細書の議論に関連する単なる例である。

【0205】

いくつかの例において、本明細書で議論されるコンポーネントのいくつか又はすべての態様は、任意のモデル、アルゴリズム、及び／又は機械学習アルゴリズムを含み得る。例えば、いくつかの例において、メモリ１２１８及び１２３２内のコンポーネントは、ニューラルネットワークとして実装され得る。

【0206】

本明細書に述べられるように、例示的なニューラルネットワークは、入力データを一連の接続された層に通して出力を生成するアルゴリズムである。ニューラルネットワークの各層は、別のニューラルネットワークを構成してもよく、又は任意の数の層（畳み込み型であるかどうかにかかわらず）を構成してもよい。本開示のコンテキストで理解され得るように、ニューラルネットワークは、機械学習を利用してよく、これは、学習されたパラメータに基づいて出力が生成される、このようなアルゴリズムの広範なクラスを指し得る。

【0207】

ニューラルネットワークのコンテキストで議論されたが、任意のタイプの機械学習が、本開示と一致して使用され得る。例えば、機械学習又は機械学習アルゴリズムは、回帰アルゴリズム（例えば、通常の最小二乗回帰（ＯＬＳＲ）、線形回帰、ロジスティック回帰、ステップワイズ回帰、多変量適応回帰スプライン（ＭＡＲＳ）、局所推定散布図平滑化（ＬＯＥＳＳ））、インスタンスベースアルゴリズム（例えば、リッジ回帰、最小絶対収縮選択演算子(ＬＡＳＳＯ)、弾性ネット、最小角度回帰(ＬＡＲＳ))、決定木アルゴリズム(例えば、分類木(ＣＡＲＴ)，反復２分法３(ＩＤ３)，カイ２乗自動交互作用検出(ＣＨＡＩＤ)、決定スタンプ、条件付き決定木）、ベイズアルゴリズム（例えば、ナイーブベイズ、ガウスナイーブベイズ、多項式ナイーブベイズ、平均１依存推定量（ＡＯＤＥ）、ベイズ信念ネットワーク（ＢＮＮ）、ベイズネットワーク）、クラスタリングアルゴリズム（例えば、ｋ－ｍｅａｎｓ、ｋ－ｍｅｄｉａｎｓ、期待値最大化（ＥＭ）、階層的クラスタリング）、アソシエーションルール学習アルゴリズム（例えば、パーセプトロン、バックプロパゲーション、ホップフィールドネットワーク、放射基底関数ネットワーク（ＲＢＦＮ））、深層学習アルゴリズム（例えば、ディープボルツマン機械（ＤＢＭ）、ディープビリーフネットワーク（ＤＢＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、スタックドオートエンコーダ）、次元削減アルゴリズム（例えば、主成分分析（ＰＣＡ）、主成分回帰（ＰＣＲ）、部分最小二乗回帰（ＰＬＳＲ）、サモンマッピング、多次元尺度構成法（ＭＤＳ）、プロジェクションパシュート、線形判別分析（ＬＤＡ）、混合判別分析（ＭＤＡ）、２次判別分析（ＱＤＡ）、柔軟判別分析（ＦＤＡ）、アンサンブルアルゴリズム（例えば、ブースティング、ブートストラップ集約（バギング）、ＡｄａＢｏｏｓｔ、スタックド汎化（ブレンド）、勾配ブースティング機械（ＧＢＭ）、勾配ブースティング回帰木（ＧＢＲＴ）、ランダムフォレスト）、ＳＶＭ（サポートベクター機械）、教師あり学習、教師なし学習、半教師あり学習などを含み得るが、これらに限定はされない。

【0208】

アーキテクチャの追加例には、ＲｅｓＮｅｔ５０、ＲｅｓＮｅｔ５２、ＲｅｓＮｅｔ１０１、ＶＧＧ、ＤｅｎｓｅＮｅｔ、ＰｏｉｎｔＮｅｔなどのニューラルネットワークが含まれる。

【0209】

（例示項）
Ａ.システムであって、１つ又は複数のプロセッサと、１つ又は複数のプロセッサによって実行されると、１つ又は複数のプロセッサに、環境内の車両に関連するセンサーからセンサーデータを受信することであって、環境は第１のオブジェクトを含むことと、センサーデータに少なくとも部分的に基づいて、第１の時間における第１のオブジェクトの第１の状態を表す第１のデータを決定することと、第１のデータを第１の機械学習（ＭＬ）モデルに入力することに少なくとも部分的に基づいて、第１のＭＬモデルから第２のデータを受信することであって、第２のデータは第１のオブジェクトに関連付けられた第１の特徴を含むことと、環境に関連付けられたマップデータに少なくとも部分的に基づいて、環境のトップダウンビューを表す第３のデータを決定することと、第３のデータを第２のＭＬモデルに入力することに少なくとも部分的に基づいて、第２のＭＬモデルから第４のデータを受信することと、第４のデータは環境に関連付けられた第２の特徴を含み、第２のデータと第４のデータとを、第１のオブジェクトを表すグラフニューラルネットワーク（ＧＮＮ）の第１のノードに関連付け、車両を表すＧＮＮの第２のノードを決定し、第１のノードと第２のノードとを接続する第１のエッジを決定することであって、第１のオブジェクトの第１の状態は、車両の第２の状態に対して表されることと、ＧＮＮに対して第１の推論動作を実行することと、第１の推論動作に少なくとも部分的に基づいて、第１の時間の後の第２の時間における第１のオブジェクトの第１の予測位置を表す第１の出力を決定することと、第１のオブジェクトの第１の予測位置に少なくとも部分的に基づいて、第１のオブジェクトの第１の軌道を決定することと、を含む動作を実行させるコンピュータ実行可能な指令を格納する１つ又は複数の非一時的コンピュータ可読媒体と、を含むシステム。

【0210】

Ｂ．車両は、環境を横断する自律車両であり、動作は、第１のオブジェクトのための第１の軌道に少なくとも部分的に基づいて自律車両を制御することをさらに含む、Ａ項に記載のシステム。

【0211】

Ｃ．動作は、センサーデータに少なくとも部分的に基づいて、環境中の第２のオブジェクトの第３の状態を表す第５のデータを決定することと、第２のＭＬモデルへの第５のデータの入力に少なくとも部分的に基づいて、第２のオブジェクトに関連付けられた第３の特徴を含む第６のデータを受信することと、第４のデータ及び第６のデータを、第２のオブジェクトを表すＧＮＮの第３のノードに関連付けることと、第１のノードと第３のノードとを接続する第２のエッジを決定することであって、第２のオブジェクトの第３の状態は、第１のオブジェクトの第１の状態に対して表されることと、第２のノードと第３のノードとを接続する第３のエッジを決定することであって、第２のオブジェクトの第３の状態は、車両の第２の状態に対して相対的に表されることと、ＧＮＮに対して第２の推論動作を実行することと、第２の推論動作に少なくとも部分的に基づいて、第２の時間における第２のオブジェクトの第２の予測位置を表す第２の出力を決定することと、第１のオブジェクトの第１の予測位置及び第２のオブジェクトの第２の予測位置に少なくとも部分的に基づいて、第１のオブジェクトの第１の軌道及び第２のオブジェクトの第２の軌道を決定することと、さらに含む、Ａ項又はＢ項に記載のシステム。

【0212】

Ｄ．動作は、第４のデータ及び第１のオブジェクトの第１の予測位置に少なくとも部分的に基づいて、第１のオブジェクトを表すＧＮＮの第１のノードを更新することであって、第１のオブジェクトの第１の予測位置は、車両の第２の状態に対して相対的に表されることと、ＧＮＮに対して第２の推論動作を実行することと、第２の推論動作に少なくとも部分的に基づいて、第２の時間に続く第３の時間における第１のオブジェクトの第２の予測位置を表す第２の出力を決定することと、第１のオブジェクトの第１の軌道を決定することが、第１のオブジェクトの第１の予測位置と第１のオブジェクトの第２の予測位置とに少なくとも部分的に基づくことと、をさらに含む、Ａ項からＣ項のいずれか一項に記載のシステム。

【0213】

Ｅ．第１のデータは、環境内の第２のオブジェクトの第３の状態を含み、動作は、ＧＮＮに少なくとも部分的に基づいて、第２のオブジェクトの第２の予測位置を決定することをさらに含み、第１のオブジェクトの第１の軌道を決定することは、第１のオブジェクトの第１の予測位置及び第２のオブジェクトの第２の予測位置に少なくとも部分的に基づく、Ａ項からＤ項のいずれか一項に記載のシステム。

【0214】

Ｆ．方法であって、環境内の車両に関連付けられたセンサーからセンサーデータを受信することであって、環境はオブジェクトを含むことと、センサーデータに少なくとも部分的に基づいて、第１の時間におけるオブジェクトに関連付けられた第１の特徴を決定することと、環境に関連付けられたセンサーデータ又はマップデータに少なくとも部分的に基づいて、環境に関連付けられた第２の特徴を決定すること、オブジェクトに関連付けられた第１の特徴及び環境に関連付けられた第２の特徴を表すグラフニューラルネットワーク（ＧＮＮ）の第１のノードを決定することと、車両を表すＧＮＮの第２のノードを決定することであって、第１のノードと第２のノードとを接続するエッジが、車両又はオブジェクトの少なくとも一方の状態を相対状態として表すことと、ＧＮＮに少なくとも部分的に基づいて、第１の時間の後の第２の時間におけるオブジェクトの第１の予測位置を表す第１の出力を決定することと、オブジェクトの第１の予測位置に少なくとも部分的に基づいて、オブジェクトの第１の予測軌道を決定することと、を含む方法。

【0215】

Ｇ．車両は環境を横断する自律車両であり、方法はオブジェクトの軌道に少なくとも部分的に基づいて自律車両を制御することをさらに含む、Ｆ項に記載の方法。

【0216】

Ｈ．ＧＮＮに少なくとも部分的に基づいて、第２の時間における車両の第２の予測位置を表す第２の出力を決定することと、車両に関連付けられた計画コンポーネントから、環境を通る車両の基準軌道を受信することと、基準軌道に少なくとも部分的に基づいてＧＮＮの第２のノードを更新することであって、第１のノードと第２のノードを接続するエッジが車両の候補位置を表すことと、オブジェクトの第１の予測位置と車両の候補位置に少なくとも部分的に基づいて、オブジェクトの第１の予測軌道を決定することと、をさらに含む、Ｆ項又はＧ項に記載の方法。

【0217】

Ｉ．第１のノードと第２のノードとを接続するエッジが、第１の時間における車両に対するオブジェクトの状態を表し、本方法は、マップデータに少なくとも部分的に基づいて、環境に関連付けられた特徴マップを決定することと、環境におけるオブジェクトの第１の予測位置及び特徴マップに少なくとも部分的に基づいて、環境に関連付けられた第３の特徴を決定することと、第３の特徴に少なくとも部分的に基づいて、ＧＮＮの第１のノードを更新することと、ＧＮＮに少なくとも部分的に基づいて、第２の時間の後の第３の時間におけるオブジェクトの第２の予測位置を表す第２の出力を決定することと、をさらに含み、オブジェクトの第１の予測軌道を決定することは、オブジェクトの第１の予測位置とオブジェクトの第2の予測位置に少なくとも部分的に基づく、Ｆ項からＨ項のいずれか一項に記載の方法。

【0218】

Ｊ．オブジェクトの姿勢、オブジェクトの位置、オブジェクトの加速度、オブジェクトの速度、オブジェクトのサイズ、オブジェクトのタイプ、又はオブジェクトの照明状態のうちの少なくとも１つを表すデータに少なくとも部分的に基づいて、オブジェクトに関連付けられた第１の特徴を決定することをさらに含む、Ｆ項からＩ項のいずれか一項に記載の方法。

【0219】

Ｋ．データをリカレントニューラルネットワーク（ＲＮＮ）に入力することに少なくとも部分的に基づいて、オブジェクトに関連付けられた第１の特徴を決定することをさらに含む、Ｊ項に記載の方法。

【0220】

Ｌ．環境内の静的オブジェクト、環境内の動的オブジェクト、環境内の交通標識、環境内の交通信号、環境内の静的オブジェクト又は動的オブジェクトのタイプ、環境内の静的オブジェクト又は動的オブジェクトの照明状態、又は環境内の車線表示のうちの少なくとも１つを表すデータに少なくとも部分的に基づいて、環境に関連付けられた第２の特徴を決定することをさらに含む、Ｆ項からＫ項のいずれか一項に記載の方法。

【0221】

Ｍ．第１の特徴は、オブジェクトに関連付けられたデータを第１のニューラルネットワークに入力することに少なくとも部分的に基づいて決定され、データは、センサーデータに少なくとも部分的に基づき、第２の特徴は、環境の視野を第１のニューラルネットワークとは異なる第２のニューラルネットワークに入力することに少なくとも部分的に基づいて決定され、環境の視野は、センサーデータに少なくとも部分的に基づいており、第２の特徴は、オブジェクトに対応する環境の一部に関連付けられる、Ｆ項からＬ項のいずれか一項に記載の方法。

【0222】

Ｎ．１つ又は複数のプロセッサによって実行可能な指令を格納する１つ又は複数の非一時的コンピュータ可読媒体であって、指令が実行されると、１つ又は複数のプロセッサに、環境内の車両に関連付けられたセンサーからセンサーデータを受信することであって、環境はオブジェクトを含むことと、センサーデータに少なくとも部分的に基づいて、第１の時間におけるオブジェクトに関連付けられた第１の特徴を決定することと、環境に関連付けられたセンサーデータ又はマップデータに少なくとも部分的に基づいて、環境に関連付けられた第２の特徴を決定することと、オブジェクトに関連付けられた第１の特徴及び環境に関連付けられた第２の特徴を表すグラフニューラルネットワーク（ＧＮＮ）の第１のノードを決定することと、車両を表すＧＮＮの第２のノードを決定することであって、第１のノードと第２のノードを接続するエッジが、車両又はオブジェクトの少なくとも一方の状態を相対状態として表すことと、ＧＮＮに少なくとも部分的に基づいて、第１の時間の後の第２の時間におけるオブジェクトの第１の予測位置を表す第１の出力を決定することと、オブジェクトの第１の予測位置に少なくとも部分的に基づいて、オブジェクトの第１の予測軌道を決定することと、を含む動作を実行させる、１つ又は複数の非一時的コンピュータ可読媒体。

【0223】

Ｏ．車両が環境を横断する自律車両であり、動作が、オブジェクトの軌道に少なくとも部分的に基づいて自律車両を制御することをさらに含む、Ｎ項に記載の１つ又は複数の非一時的コンピュータ可読媒体。

【0224】

Ｐ．動作は、ＧＮＮに少なくとも部分的に基づいて、第２の時間における車両の第２の予測位置を表す第２の出力を決定することと、車両に関連付けられた計画コンポーネントから、環境を通る車両の基準軌道を受信することと、基準軌道に少なくとも部分的に基づいてＧＮＮの第２のノードを更新することであって、第１のノードと第２のノードとを接続するエッジが車両の候補位置を表すことと、オブジェクトの第１の予測位置と車両の候補位置に少なくとも部分的に基づいて、オブジェクトの第１の予測軌道を決定することと、をさらに含む、Ｎ項又はＯ項に記載の１つ又は複数の非一過性のコンピュータ可読媒体。

【0225】

Ｑ．第１のノードと第２のノードとを接続するエッジが、第１の時間における車両に対するオブジェクトの状態を表し、動作は、マップデータに少なくとも部分的に基づいて、環境に関連付けられた特徴マップを決定することと、環境におけるオブジェクトの第１の予測位置及び特徴マップに少なくとも部分的に基づいて、環境に関連付けられた第３の特徴を決定することと、第３の特徴に少なくとも部分的に基づいて、ＧＮＮの第１のノードを更新することと、ＧＮＮに少なくとも部分的に基づいて、第２の時間の後の第３の時間におけるオブジェクトの第２の予測位置を表す第２の出力を決定することと、をさらにを含み、オブジェクトの第１の予測軌道を決定することは、オブジェクトの第１の予測位置とオブジェクトの第２の予測位置に少なくとも部分的に基づく、Ｎ項からＰ項のいずれか一項に記載の１つ又は複数の非一過性のコンピュータ可読媒体。

【0226】

Ｒ．動作は、オブジェクトの姿勢、オブジェクトの位置、オブジェクトの加速度、オブジェクトの速度、オブジェクトのサイズ、オブジェクトの種類、オブジェクトの照明状態、のうちの少なくとも１つを表すデータに少なくとも部分的に基づいて、オブジェクトに関連付けられた第１の特徴を決定することをさらに含む、Ｎ項からＱ項の１つ又は複数の非一時的コンピュータ可読媒体。

【0227】

Ｓ．動作は、環境内の静的オブジェクト、環境内の動的オブジェクト、環境内の交通標識、環境内の信号機、環境内の静的オブジェクト又は動的オブジェクトの種類、環境中の静的オブジェクト又は動的オブジェクトの照明状態、環境内の車線標識、のうちの少なくとも１つを表すデータに少なくとも部分的に基づいて、環境に関連付けられた第２の特徴を決定することをさらに含む、Ｎ項からＲ項のいずれか一項に記載の１つ又は複数の非一時的コンピュータ可読媒体。

【0228】

Ｔ．動作は、データを畳み込みニューラルネットワーク（ＣＮＮ）に入力することに少なくとも部分的に基づいて、環境に関連付けられた第２の特徴を決定することをさらに含む、Ｓ項に記載の１つ又は複数の非一時的コンピュータ可読媒体。

【0229】

Ｕ．システムであって、１つ又は複数のプロセッサと、１つ又は複数のプロセッサによって実行されると、1つ又は複数のプロセッサに、 環境内の車両に関連付けられたセンサーからセンサーデータを受信することであって、環境はオブジェクトを含むことと、センサーデータに少なくとも部分的に基づいて、第１の時間におけるオブジェクトに関連付けられた第１の特徴を決定することと、環境に関連付けられたマップデータに少なくとも部分的に基づいて、環境に関連付けられた領域を表す特徴マップを決定することと、環境におけるオブジェクトの現在位置及び特徴マップに少なくとも部分的に基づいて、第１の時間における環境に関連付けられた第２の特徴を決定することと、第１の特徴及び第２の特徴を表すグラフニューラルネットワーク（ＧＮＮ）のノードを決定することと、ＧＮＮに少なくとも部分的に基づいて、環境の領域外にあるオブジェクトの第１の予測位置を表す第１の出力を決定することと、領域外である第１の予測位置及びマップデータに少なくとも部分的に基づいて、オブジェクトの第２の予測位置を決定することと、第２の予測位置に少なくとも部分的に基づいて車両を制御することと、を含む動作を実行させるコンピュータ実行可能な指令を格納する１つ又は複数の非一時的コンピュータ可読媒体と、を含むシステム。

【0230】

Ｖ．第１の出力は、オブジェクトの第１の分布データをさらに含み、第１の分布データは、オブジェクトの第１の予測位置を含み、動作は、第１の分布データからのサンプリングに少なくとも部分的に基づいて、第１の予測位置を決定することをさらに含む、Ｕ項に記載のシステム。

【0231】

Ｗ．動作は、環境におけるオブジェクトの現在位置とマップデータとに少なくとも部分的に基づいて、基準線を決定することをさらに含み、オブジェクトの第２の予測位置を決定することは、第１の予測位置を基準線に投影することに少なくとも部分的に基づく、Ｕ又はＶのシステム。

【0232】

Ｘ．動作は、環境におけるオブジェクトの第２の予測位置が、特徴マップに関連付けられた領域の外側にあることを決定することと、オブジェクトの第２の予測位置が領域の外側であることに少なくとも部分的に基づいて、環境に関連付けられた第３の特徴を決定することであって、第３の特徴はヌル特徴であることと、第３の特徴に少なくとも部分的に基づいて、ＧＮＮのノードを更新することと、ＧＮＮに少なくとも部分的に基づいて、環境の領域外にあるオブジェクトの第３の予測位置を表す第２の出力を決定することと、第３の予測位置及びマップデータに少なくとも部分的に基づいて、オブジェクトの第４の予測位置を決定し、オブジェクトの第２の予測位置及びオブジェクトの第４の予測位置に少なくとも部分的に基づいて車両を制御することと、さらに含む、Ｕ項からＷ項のいずれか一項に記載のシステム。

【0233】

Ｙ．環境におけるオブジェクトの現在位置とオブジェクトの第１の予測位置との間の第１の距離は、環境におけるオブジェクトの現在位置とオブジェクトの第２の予測位置との間の第２の距離と同じである、Ｕ項からＸ項のいずれか一項に記載のシステム。

【0234】

Ｚ．方法であって、環境内の車両に関連付けられたセンサーからセンサーデータを受信することであって、環境はオブジェクトを含むことと、センサーデータに少なくとも部分的に基づいて、オブジェクトに関連付けられた第１の特徴を決定することと、環境に関連付けられたマップデータに少なくとも部分的に基づいて、環境の領域を表す特徴マップを決定することと、オブジェクトの現在位置と特徴マップに少なくとも部分的に基づいて、環境に関連付けられた第２の特徴を決定することと、第１の特徴と第２の特徴とをグラフ構造のノードに関連付けたことと、グラフ構造に少なくとも部分的に基づいて、環境の領域外にあるオブジェクトの第１の予測位置を表す第１の出力を決定することと、オブジェクトの第１の予測位置とマップデータに少なくとも部分的に基づいて、オブジェクトの第２の予測位置を決定すること、を含む方法。

【0235】

ＡＡ．第１の出力は、オブジェクトの第１の分布データをさらに含み、第１の分布データは、オブジェクトの第１の予測位置を含み、本方法は、第１の分布データからのサンプリングに少なくとも部分的に基づいて、オブジェクトの第１の予測位置を決定することをさらに含む、Ｚ項に記載の方法。

【0236】

ＡＢ．環境内のオブジェクトの現在位置及びマップデータに少なくとも部分的に基づいて、基準線を決定することをさらに含み、オブジェクトの第２の予測位置を決定することは、第１の予測位置を基準線に投影することに少なくとも部分的に基づく、Ｚ項又はＡＡ項に記載の方法。

【0237】

ＡＣ．環境におけるオブジェクトの第２の予測位置が、特徴マップに関連付けられた領域の外側にあることを決定することと、オブジェクトの第２の予測位置が領域の外側であることに少なくとも部分的に基づいて、環境に関連付けられた第３の特徴を決定することであって、第３の特徴はヌル特徴であることと、第３の特徴に少なくとも部分的に基づいて、グラフ構造のノードを更新することと、グラフ構造に少なくとも部分的に基づいて、環境の領域外にあるオブジェクトの第３の予測位置を表す第２の出力を決定することと、第３の予測位置及びマップデータに少なくとも部分的に基づいて、オブジェクトの第４の予測位置を決定することと、オブジェクトの第２の予測位置とオブジェクトの第４の予測位置に少なくとも部分的に基づいて車両をコントローラすることと、をさらに含む、Ｚ項からＡＢ項のいずれか一項に記載の方法。

【0238】

ＡＤ．環境内のオブジェクトの現在位置とオブジェクトの第１の予測位置との間の第１の距離が、環境内のオブジェクトの現在位置とオブジェクトの第２の予測位置との間の第２の距離と同じである、Ｚ項からＡＣ項のいずれか一項に記載の方法。

【0239】

ＡＥ．オブジェクトの第２の予測位置を決定することが、少なくとも部分的に車両ダイナミクスモデルに基づく、Ｚ項からＡＤ項のいずれか一項に記載の方法。

【0240】

ＡＦ．領域は境界のある領域であり、境界のある領域に対応する特徴マップの一部は、環境を通る車両の軌道を計画するために使用される、Ｚ項からＡＥ項のいずれか一項に記載の方法。

【0241】

ＡＧ．第１の特徴は、オブジェクトに関連付けられたセンサーデータの一部を第１のニューラルネットワークに入力することに少なくとも部分的に基づいて決定され、特徴マップは、環境の視野を第１のニューラルネットワークとは異なる第２のニューラルネットワークに入力することに少なくとも部分的に基づいて決定され、環境の視野は、センサーデータに少なくとも部分的に基づき、第２の特徴は、オブジェクトに対応する環境の領域の一部に関連付けられる、Ｚ項からＡＦ項のいずれか一項に記載の方法。

【0242】

ＡＨ．１つ又は複数のプロセッサによって実行可能な指令を格納する１つ又は複数の非一時的コンピュータ可読媒体であって、指令が実行されると、１つ又は複数のプロセッサに、環境内の車両に関連付けられたセンサーからセンサーデータを受信することであって、該環境はオブジェクトを含むことと、センサーデータに少なくとも部分的に基づいて、オブジェクトに関連付けられた第１の特徴を決定することと、環境に関連付けられたマップデータに少なくとも部分的に基づいて、環境の領域を表す特徴マップを決定することと、オブジェクトの現在位置と特徴マップに少なくとも部分的に基づいて、環境に関連付けられた第２の特徴を決定することと、第１の特徴と第２の特徴とをグラフ構造のノードに関連付けたことと、グラフ構造に少なくとも部分的に基づいて、環境の領域の外側にあるオブジェクトの第１の予測位置を表す第１の出力を決定することと、オブジェクトの第１の予測位置とマップデータに少なくとも部分的に基づいて、オブジェクトの第２の予測位置を決定することと、を含む動作を実行させる、非一時的コンピュータ可読媒体。

【0243】

ＡＩ．第１の出力は、オブジェクトの第１の分布データをさらに含み、第１の分布データは、オブジェクトの第１の予測位置を含み、動作は、第１の分布データからのサンプリングに少なくとも部分的に基づいて、オブジェクトの第１の予測位置を決定することをさらに含む、ＡＨ項に記載の１つ又は複数の非一時的コンピュータ可読媒体。

【0244】

ＡＪ．動作は、環境内のオブジェクトの現在位置及びマップデータに少なくとも部分的に基づいて、基準線を決定することをさらに含み、オブジェクトの第２の予測位置を決定することは、第１の予測位置を基準線に投影することに少なくとも部分的に基づく、ＡＨ項又はＡＩ項に記載の１つ又は複数の非一時的コンピュータ可読媒体。

【0245】

ＡＫ．動作は、環境におけるオブジェクトの第２の予測位置が、特徴マップに関連付けられた領域の外側にあることを決定することと、 オブジェクトの第２の予測位置が領域の外側にあることに少なくとも部分的に基づいて、環境に関連付けられた第３の特徴を決定することであって、第３の特徴はヌル特徴であることと、第３の特徴に少なくとも部分的に基づいて、グラフ構造のノードを更新することと、グラフ構造に少なくとも部分的に基づいて、環境の領域の外側にあるオブジェクトの第３の予測位置を表す第２の出力を決定することと、第３の予測位置及びマップデータに少なくとも部分的に基づいて、オブジェクトの第４の予測位置を決定することと、オブジェクトの第２の予測位置とオブジェクトの第４の予測位置に少なくとも部分的に基づいて車両を制御することすることと、を含む、ＡＨ項からＡＪ項のいずれか一項に記載の１つ又は複数の非一時的コンピュータ可読媒体。

【0246】

ＡＬ．環境内のオブジェクトの現在位置とオブジェクトの第１の予測位置との間の第１の距離は、環境内のオブジェクトの現在位置とオブジェクトの第２の予測位置との間の第２の距離と同じである、ＡＨ項からＡＫ項のいずれか一項に記載の１つ又は複数の非一時的コンピュータ可読媒体。

【0247】

ＡＭ．オブジェクトの第２の予測位置を決定することが、少なくとも部分的に車両ダイナミクスモデルに基づく、ＡＨ項からＡＬ項のいずれか一項に記載の１つ又は複数の非一時的コンピュータ可読媒体。

【0248】

ＡＮ．領域は境界のある領域であり、境界のある領域に対応する特徴マップの一部は、環境を通る車両の軌道を計画するために使用される、ＡＨ項からＡＭ項のいずれか一項に記載の１つ又は複数の非一時的コンピュータ可読媒体。

【0249】

ＡＯ．システムであって、１つ又は複数のプロセッサと、１つ又は複数のプロセッサによって実行されると、1つ又は複数のプロセッサに、環境内の車両に関連付けられたセンサーからセンサーデータを受信することであって、環境はオブジェクトを含むことと、センサーデータに少なくとも部分的に基づいて、オブジェクト又は車両の一方に関連する第１の特徴を決定することと、環境に関連付けられたマップデータに少なくとも部分的に基づいて、環境に関連付けられた第２の特徴を決定することと、第１の特徴及び第２の特徴に基づいて、グラフニューラルネットワーク（ＧＮＮ）のグラフノードを決定することと、ＧＮＮの推論に少なくとも部分的に基づいて、ノードに関連付けられた分布データを表す第１の出力を決定することであって、分布データは、環境におけるオブジェクト又は車両の予測位置を含むことと、グラフノードの分類タイプ、分布データの予測位置、分布データの分布タイプ、又は分布データに関連付けられた入力のうちの少なくとも１つに少なくとも部分的に基づいて、分布データをサンプリングためのサンプリング手法を決定することと、サンプリング手法に少なくとも部分的に基づいてオブジェクト又は車両の第１の予測位置を決定することと、第１の予測位置に少なくとも部分的に基づいて車両を制御することと、を含む動作を実行させる、コンピュータ実行可能な指令を格納する１つ又は複数の非一時的コンピュータ可読媒体とを含むシステム。

【0250】

ＡＰ．動作は、グラフノードの分類タイプが、グラフノードがオブジェクトに関連付けられたことを示すと決定することであって、サンプリング手法が第１のサンプリング手法を含むこと、又は、グラフノードの分類タイプが、グラフノードが車両に関連付けられたことを示すと決定することであって、サンプリング手法が第１のサンプリング手法とは異なる第２のサンプリング手法を含むこと、のうちの１つをさらに含む、ＡＯ項に記載のシステム。

【0251】

ＡＱ．動作は、車両の軌道を計画するために使用される環境の境界領域を決定することと、分布データに少なくとも部分的に基づいて、分布データの予測位置が境界領域の外側にあることを決定することと、分布データの予測位置が境界領域の外側にあることに少なくとも部分的に基づいて、サンプリング手法を決定することと、サンプリング手法及び環境に関連付けられたマップデータに少なくとも部分的に基づいて、オブジェクトの第１の予測位置を決定すること、をさらに含む、ＡＯ項又はＡＰ項に記載のシステム。

【0252】

ＡＲ．動作は、第１の動作であって、分布データの分布タイプが第１の分布タイプであることを決定することと、サンプリング手法を使用して分布データをサンプリングしたことに少なくとも部分的に基づいて、オブジェクト又は車両の第１の予測位置を決定することであって、サンプリング手法がガウスサンプリング手法を含むことを含む該第１の動作、又は、第２の動作であって、分布データの分布タイプが第２の分布タイプであることを決定することと、サンプリング手法を用いた分布データのサンプリングに少なくとも部分的に基づいて、オブジェクト又は車両の第１の予測位置を決定することであって、第１の予測位置は、分布データの予測位置の平均であることを含む該第２の動作、のうちの１つをさらに含む、ＡＯ項からＡＱ項のいずれか一項に記載のシステム。

【0253】

ＡＳ．車両が自律車両であり、動作が、自律車両の計画コンポーネントから、入力を受信することをさらに含み、オブジェクト又は車両の第１の予測位置が、入力データに少なくとも部分的に基づいている、ＡＯ項からＡＲ項のいずれか一項に記載のシステム。

【0254】

ＡＴ．方法であって、環境内の車両に関連付けられたセンサーからセンサーデータを受信することであって、環境はオブジェクトを含むことと、オブジェクト又は車両の一方に関連付けられた第１の特徴と、環境に関連付けられた第２の特徴とを、グラフ構造のノードに関連付けることと、グラフ構造に少なくとも部分的に基づいて、ノードに関連付けられた分布データを表す第１の出力を決定することであって、分布データは、環境におけるオブジェクト又は車両の予測位置を含むことと、ノードの分類タイプ、分布データの予測位置、分布データの分布タイプ、又は分布データに関連付けられた入力のうちの少なくとも１つに少なくとも部分的に基づいて、分布データをサンプリングするためのサンプリング手法を決定することと、サンプリング手法に少なくとも部分的に基づいて、オブジェクト又は車両の第１の予測位置を決定することと、第１の予測位置に少なくとも部分的に基づいて、オブジェクト又は車両の予測軌道を決定することと、を含む方法。

【0255】

ＡＵ．ノードの分類タイプが、ノードがオブジェクトに関連付けられたことを示すと決定することであって、サンプリング手法が第１のサンプリング手法を含むこと、又は、ノードの分類タイプが、ノードが車両に関連付けられたことを示すと決定することであって、サンプリング手法が、第１のサンプリング手法とは異なる第２のサンプリング手法を含むこと、のうちの１つをさらに含む、ＡＴ項に記載の方法。

【0256】

ＡＶ．車両の軌道を計画するために使用される環境の境界領域を決定することと、分布データに少なくとも部分的に基づいて、分布データの予測位置が境界領域の外側にあることを決定することと、分布データの予測位置が境界領域の外側にあることに少なくとも部分的に基づいて、サンプリング手法を決定することと、サンプリング手法及び環境に関連付けられたマップデータに少なくとも部分的に基づいて、オブジェクトの第１の予測位置を決定すること、をさらに含む、ＡＴ項又はＡＵ項に記載の方法。

【0257】

ＡＷ．第１の動作であって、分布データの分布タイプが第１の分布タイプであることを決定することと、サンプリング手法を使用して分布データをサンプリングしたことに少なくとも部分的に基づいて、オブジェクト又は車両の第１の予測位置を決定することであって、サンプリング手法はガウスサンプリング手法を含むことを含む該第１の動作、又は、第２の動作であって、分布データの分布タイプが第２の分布タイプであることを決定することと、サンプリング手法を用いた分布データのサンプリングに少なくとも部分的に基づいて、オブジェクト又は車両の第１の予測位置を決定することであって、第１の予測位置は、分布データの予測位置の平均であること、のうちの１つをさらに含む、ＡＴ項からＡＶ項のいずれか一項に記載の方法。

【0258】

ＡＸ．車両が自律車両であり、方法は、自律車両の計画コンポーネントから、入力を受信することをさらに含み、オブジェクト又は車両の第１の予測位置が、入力データに少なくとも部分的に基づく、ＡＴ項からＡＷ項のいずれか一項に記載の方法。

【0259】

ＡＹ．入力を受信することであって、入力データが、予測位置とは異なる、環境におけるオブジェクト又は車両の候補位置を示すことと、選択された位置に基づいて、オブジェクト又は車両の予測軌道を決定することと、をさらに含む、ＡＴ項からＡＸ項のいずれか一項に記載の方法。

【0260】

ＡＺ．サンプリング手法は第１のサンプリング手法であり、第１の予測位置が第１の時間に関連付けられ、本方法は、オブジェクト又は車両の第１の予測位置に少なくとも部分的に基づいて、環境に関連付けられた第３の特徴を有するノードを更新することと、グラフ構造に少なくとも部分的に基づいて、ノードに関連付けられた分布データを表す第２の出力を決定することであって、分布データは、第１の時間の後の第２の時間における環境内のオブジェクト又は車両の予測位置を含むことと、分布データをサンプリングするための第２のサンプリング手法を決定することであって、第２のサンプリング手法は、第１のサンプリング手法とは異なることと、第２のサンプリング手法に少なくとも部分的に基づいて、第２の時間におけるオブジェクト又は車両の環境における第２の予測位置を決定することと、第１の予測位置及び第２の予測位置に少なくとも部分的に基づいて、予測軌道を決定することと、をさらに含む、ＡＴ項からＡＹ項のいずれか一項に記載の方法。

【0261】

ＢＡ．オブジェクトが第１のオブジェクトであり、ノードが第１のオブジェクトに関連付けられた第１のノードであり、分布データが第１の時間に第１のノードに関連付けられた第１の分布データであり、サンプリング手法が第１のサンプリング手法であり、本方法は、車両又は環境内の第２のオブジェクトに関連付けられた第３の特徴、及び環境に関連付けられた第２の特徴を、グラフ構造の第２のノードに関連付けることと、グラフ構造に少なくとも部分的に基づいて、第２のノードに関連付けられた第２の分布データを表す第２の出力を決定することであって、第２の分布データは、第１の時間における環境内の車両又は第２のオブジェクトの第２の予測位置を含むことと、第１のノードの分類タイプに少なくとも部分的に基づいて、第１の分布データのサンプリングに対する第１のサンプリング手法を決定することと、第２のノードの第１の分類タイプに少なくとも部分的に基づいて第２の分布データをサンプリングするための第２のサンプリング手法を決定することであって、第２のサンプリング手法は第１のサンプリング手法とは異なることと、第２のサンプリング手法に少なくとも部分的に基づいて、第１の時間における車両又は第２のオブジェクトの第２の予測位置を決定することと、第１の予測位置又は第２の予測位置に少なくとも部分的に基づいて、第１のオブジェクト又は車両の予測軌道を決定することと、をさらに含む、ＡＴ項からＡＺ項のいずれか一項に記載の方法。

【0262】

ＢＢ．１つ又は複数のプロセッサによって実行可能な指令を格納する１つ又は複数の非一時的コンピュータ可読媒体であって、指令が実行されると、１つ又は複数のプロセッサに、環境内の車両に関連付けられたセンサーからセンサーデータを受信することであって、環境はオブジェクトを含むことと、オブジェクト又は車両の一方に関連付けられた第１の特徴及び環境に関連付けられた第２の特徴をグラフ構造のノードに関連付けることと、グラフ構造に少なくとも部分的に基づいて、ノードに関連付けられた分布データを表す第１の出力を決定することであって、分布データは、環境におけるオブジェクト又は車両の予測位置を含むことと、ノードの分類タイプ、分布データの予測位置、分布データの分布タイプ、又は分布データに関連付けられた入力のうちの少なくとも１つに少なくとも部分的に基づいて、分布データをサンプリングされるためのサンプリング手法を決定することと、サンプリング手法に少なくとも部分的に基づいて、オブジェクト又は車両の第１の予測位置を決定することと、第１の予測位置に少なくとも部分的に基づいて、オブジェクト又は車両の予測軌道を決定することと、を含む動作を実行させる、非一時的コンピュータ可読媒体。

【0263】

ＢＣ．動作は、ノードの分類タイプが、ノードがオブジェクトに関連付けられたことを示すと決定することであって、サンプリング手法が第１のサンプリング手法を含むこと、又は、ノードの分類タイプが、ノードが車両に関連付けられたことを示すと決定することであって、サンプリング手法が、第１のサンプリング手法とは異なる第２のサンプリング手法を含むこと、のうちの１つをさらに含む、ＢＢ項に記載の１つ又は複数の非一時的コンピュータ可読媒体。

【0264】

ＢＤ．動作は、車両の軌道を計画するために使用される環境の境界領域を決定することと、分布データに少なくとも部分的に基づいて、分布データの予測位置が境界領域の外側にあることを決定することと、分布データの予測位置が境界領域の外側にあることに少なくとも部分的に基づいて、サンプリング手法を決定することと、サンプリング手法及び環境に関連付けられたマップデータに少なくとも部分的に基づいて、オブジェクトの第１の予測位置を決定することと、をさらに含む、ＢＢ項又はＢＣ項に記載の１つ又は複数の非一時的コンピュータ可読媒体。

【0265】

ＢＥ．動作は、第１の動作であって、分配データの分配タイプが第１の分配タイプであることを決定することと、サンプリング手法を使用して分布データをサンプリングしたことに少なくとも部分的に基づいて、オブジェクト又は車両の第１の予測位置を決定することであって、サンプリング手法がガウスサンプリング手法を含むこと、を含む該第１の動作、又は、第２の動作であって、分布データの分布タイプが第２の分布タイプであることを決定することと、サンプリング手法を用いた分布データのサンプリングに少なくとも部分的に基づいて、オブジェクト又は車両の第１の予測位置を決定することであって、第１の予測位置は、分布データの予測位置の平均であることを含む該第２の動作、のうちの１つをさらに含む、ＢＢ項からＢＤ項のいずれか一項に記載の１つ又は複数の非一時的コンピュータ可読媒体。

【0266】

ＢＦ．車両が自律車両であり、動作は、自律車両の計画コンポーネントから、入力を受信することをさらに含み、オブジェクト又は車両の第１の予測位置が、入力データに少なくとも部分的に基づく、ＢＢ項からＢＥ項のいずれか一項に記載の１つ又は複数の非一時的コンピュータ可読媒体。

【0267】

ＢＧ．動作は、入力を受信することであって、入力データは、予測位置とは異なる、環境におけるオブジェクト又は車両の候補位置を示すことと、選択された位置に基づいて、オブジェクト又は車両の予測軌道を決定することと、をさらに含む、ＢＢ項からＢＦ項のいずれか一項に記載の１つ又は複数の非一時的コンピュータ可読媒体。

【0268】

ＢＨ．サンプリング手法は第１のサンプリング手法であり、第１の予測位置は第１の時間に関連付けられ、動作は、オブジェクト又は車両の第１の予測位置に少なくとも部分的に基づいて、環境に関連付けられた第３の特徴を有するノードを更新することと、グラフ構造に少なくとも部分的に基づいて、ノードに関連付けられた分布データを表す第２の出力を決定することであって、分布データは、第１の時間の後の第２の時間における環境内のオブジェクト又は車両の予測位置を含むことと、分布データをサンプリングするための第２のサンプリング手法を決定することであって、第２のサンプリング手法は、第１のサンプリング手法とは異なることと、第２のサンプリング手法に少なくとも部分的に基づいて、第２の時間におけるオブジェクト又は車両の環境における第２の予測位置を決定することと、第１の予測位置及び第２の予測位置に少なくとも部分的に基づいて、予測軌道を決定すことと、をさらに含む、ＢＢ項からＢＧ項のいずれか一項に記載の１つ又は複数の非一時的コンピュータ可読媒体。

【0269】

ＢＩ．システムであって、１つ又は複数のプロセッサと、１つ又は複数のプロセッサによって実行されると、１つ又は複数のプロセッサに、第１の時間に、環境内の車両に関連づけられたセンサーからセンサーデータを受信することであって、環境はオブジェクトを含むことと、センサーデータに少なくとも部分的に基づいて、オブジェクトに関連付けられた第１の特徴を決定することと、環境に関連付けられたマップデータに少なくとも部分的に基づいて、環境に関連付けられた第２の特徴を決定することと、グラフニューラルネットワーク（ＧＮＮ）のノードに、オブジェクトに関連付けられた第１の特徴及び環境に関連付けられた第２の特徴を関連付けることと、ＧＮＮ及び基準に少なくとも部分的に基づいて、基準を満たすオブジェクトの測位置を含む第１の分布データを表す第１の出力を決定することと、第１の分布データからのサンプリングに少なくとも部分的に基づいて、第１の時間の後の第２の時間におけるオブジェクトの第１の予測位置を決定することと、オブジェクトの第１の予測位置に基づいて、車両を制御することと、を含む動作を実行させるコンピュータ実行可能な指令を格納する１つ又は複数の非一時的コンピュータ可読媒体と、を含むシステム。

【0270】

ＢＪ．センサーは、環境を横断する自律車両に関連付けられ、動作は、自律車両に関連付けられた計画コンポーネントから、環境を通る車両の軌道を受信することと、自律車両の軌道に少なくとも部分的に基づいて基準を決定することと、をさらに含む、ＢＩ項に記載のシステム。

【0271】

ＢＫ．動作は、オブジェクトに関連付けられた第１の特徴及び環境に関連付けられた第２の特徴に少なくとも部分的に基づいて、オブジェクトに関連付けられた意図を決定することと、オブジェクトに関連付けられた意図に少なくとも部分的に基づいて、基準を決定することと、をさらに含む、ＢＩ項又はＢＪ項に記載のシステム。

【0272】

ＢＬ．動作は、環境に関連付けられたマップデータを受信することと、マップデータ及びセンサーデータに少なくとも部分的に基づいて、環境に関連付けられた規則を決定することであって、規則は、交通標識、信号機、環境内のゾーン、又は制限速度のうちの少なくとも１つを含むことと、環境に関連付けられた規則に少なくとも部分的に基づいて、基準を決定することと、をさらに含む、ＢＩ項からＢＫ項のいずれか一項に記載のシステム。

【0273】

ＢＭ．基準は、オブジェクトに関連付けられたオブジェクト特性に少なくとも部分的に基づいており、オブジェクト特性は、オブジェクトに関連付けられた回転半径、オブジェクトに関連付けられた最高速度、オブジェクトに関連付けられた加速限界、オブジェクトに関連付けられた車線変更操作、オブジェクトに関連付けられた旋回操作、又は、オブジェクトに関連付けられた不利な挙動操作、のうちの少なくとも１つを含む、ＢＩ項からＢＬ項のいずれか一項に記載のシステム。

【0274】

ＢＮ．方法であって、環境内の車両に関連付けられたセンサーからセンサーデータを受信することであって、環境は第１の時間におけるオブジェクトを含むことと、オブジェクトに関連付けられた第１の特徴及び環境に関連付けられた第２の特徴をグラフ構造のノードに関連付けることと、グラフ構造と基準に少なくとも部分的に基づいて、基準を満たすオブジェクトの予測位置を含む第１の分布データを表す第１の出力を決定することと、第１の分布データからのサンプリングに少なくとも部分的に基づいて、第１の時間の後の第２の時間におけるオブジェクトの第１の予測位置を決定することと、オブジェクトの第１の予測位置に少なくとも部分的に基づいて、オブジェクトの第１の予測軌道を決定することと、を含む方法。

【0275】

ＢＯ．車両は環境を横断する自律車両であり、本方法は、自律車両に関連付けられた計画コンポーネントから、環境を通る車両の軌道を受信することと、自律車両の軌道に少なくとも部分的に基づいて基準を決定することと、をさら含む、ＢＮ項に記載の方法。

【0276】

ＢＰ．オブジェクトに関連付けられた第１の特徴及び環境に関連付けられた第２の特徴に少なくとも部分的に基づいて、オブジェクトに関連付けられた意図を決定することと、オブジェクトに関連付けられた意図に少なくとも部分的に基づいて、基準を決定することと、をさらに含む、ＢＮ項又はＢＯ項に記載の方法。

【0277】

ＢＱ．環境に関連付けられたマップデータを受信することと、マップデータ及びセンサーデータに少なくとも部分的に基づいて、環境に関連付けられた規則を決定することであって、規則は、一時停止標識、信号機、環境内のゾーン、又は速度制限のうちの少なくとも1つを含むことと、環境に関連付けられた規則に少なくとも部分的に基づいて基準を決定することと、をさらに含むＢＮ項からＢＰ項のいずれか一項に記載の方法。

【0278】

ＢＲ．オブジェクトに関連するオブジェクト特性に少なくとも部分的に基づいて基準を決定することであって、オブジェクト特性は、オブジェクトに関連付けられた回転半径、オブジェクトに関連付けられた最高速度、オブジェクトに関連付けられた加速限界、オブジェクトに関連付けられた車線変更操作、オブジェクトに関連付けられた旋回操作、又は、オブジェクトに関連付けられた不利な挙動操作、のうちの少なくとも１つを含むことをさらに含む、ＢＮ項からＢＱ項のいずれか一項に記載の方法。

【0279】

ＢＳ．オブジェクトの第１の特徴に少なくとも部分的に基づいて基準を決定することをさらに含み、第１の特徴は、オブジェクトの現在の姿勢、オブジェクトの現在の位置、オブジェクトの現在の加速度、オブジェクトの現在の速度、オブジェクトのサイズ、オブジェクトのタイプ、又は、オブジェクトの照明状態、のうちの少なくとも１つを含む、ＢＮ項からＢＲ項のいずれか一項に記載の方法。

【0280】

ＢＴ．オブジェクトが第１のオブジェクトであり、基準が第１の基準であり、本方法は、センサーデータに少なくとも部分的に基づいて、環境内の第２のオブジェクトに関連付けられた第３の特徴を決定することと、第２のオブジェクトに関連付けられた第３の特徴及び環境に関連付けられた第２の特徴を、グラフ構造の第２のノードに関連付けることと、第１のオブジェクトの第１の予測位置に少なくとも部分的に基づいて第２の基準を決定することと、グラフ構造及び第２の基準に少なくとも部分的に基づいて、第２のオブジェクトの第２の分布データを表す第２の出力を決定することであって、第２の分布データは、第２の基準を満たす第２のオブジェクトの第2の予測位置を含むことと、第２の分布データからのサンプリングに少なくとも部分的に基づいて、第２の時間における第２のオブジェクトの第２の予測位置を決定することと、第２のオブジェクトの第２の予測位置及び第１のオブジェクトの第１の予測軌道に少なくとも部分的に基づいて、第２のオブジェクトの第２の予測軌道を決定することと、をさらに含む、ＢＮ項からＢＳ項のいずれか一項に記載の方法。

【0281】

ＢＵ．車両は環境を横断する自律車両であり、本方法は、第１のオブジェクトの第１の予測軌道及び第２のオブジェクトの第２の予測軌道に少なくとも部分的に基づいて、自律車両の第３の予測軌道を決定することと、第３の予測軌道に少なくとも部分的に基づいて、自律車両を制御することと、をさらに含む、ＢＴ項に記載の方法。

【0282】

ＢＶ．１つ又は複数のプロセッサによって実行可能な指令を格納する１つ又は複数の非一時的コンピュータ可読媒体であって、指令が実行されると、１つ又は複数のプロセッサに、環境内の車両に関連付けられたセンサーからセンサーデータを受信することであって、環境は、第１の時間にオブジェクトを含むことと、オブジェクトに関連付けられた第１の特徴及び環境に関連付けられた第２の特徴をグラフ構造のノードに関連付けることと、グラフ構造と基準に少なくとも部分的に基づいて、基準を満たすオブジェクトの予測位置を含む第１の分布データを表す第1の出力を決定することと、第１の分布データからのサンプリングに少なくとも部分的に基づいて、第１の時間の後の第２の時間におけるオブジェクトの第１の予測位置を決定することと、オブジェクトの第１の予測位置に少なくとも部分的に基づいて、オブジェクトの第１の予測軌道を決定することと、を含む動作を実行させる、非一時的コンピュータ可読媒体。

【0283】

ＢＷ．車両は環境を横断する自律車両であり、動作は、自律車両に関連付けられた計画コンポーネントから、環境を通る車両の軌道を受信することと、自律車両の軌道に少なくとも部分的に基づいて基準を決定することと、をさらに含む、ＢＶ項に記載の１つ又は複数の非一時的コンピュータ可読媒体。

【0284】

ＢＸ．動作は、オブジェクトに関連付けられた第１の特徴及び環境に関連付けられた第２の特徴に少なくとも部分的に基づいて、オブジェクトに関連付けられた意図を決定することと、オブジェクトに関連付けられた意図に少なくとも部分的に基づいて基準を決定することと、をさらに含む、ＢＶ項又はＢＷ項に記載の１つ又は複数の非一時的コンピュータ可読媒体。

【0285】

ＢＹ．動作は、環境に関連付けられたマップデータを受信することと、マップデータ及びセンサーデータに少なくとも部分的に基づいて、環境に関連付けられた規則を決定することであって、規則は、一時停止標識、信号機、環境内のゾーン、又は速度制限のうちの少なくとも1つを含むことと、環境に関連付けられた規則に少なくとも部分的に基づいて基準を決定することと、をさらに含む、ＢＶ項からＢＸ項のいずれか一項に記載の１つ又は複数の非一時的コンピュータ可読媒体。

【0286】

ＢＺ．動作は、オブジェクトに関連付けられたオブジェクト特性に少なくとも部分的に基づいて基準を決定することをさらに含み、オブジェクト特性は、オブジェクトに関連付けられた回転半径、オブジェクトに関連付けられた最高速度、オブジェクトに関連付けられた加速限界、オブジェクトに関連付けられた車線変更操作、オブジェクトに関連付けられた旋回操作、又は、オブジェクトに関連する不利な挙動操作、のうちの少なくとも１つを含む、ＢＶ項からＢＹ項のいずれか一項に記載の１つ又は複数の非一時的コンピュータ可読媒体。

【0287】

ＣＡ．動作は、オブジェクトの第１の特徴に少なくとも部分的に基づいて基準を決定することをさらに含み、第１の特徴は、オブジェクトの現在の姿勢、オブジェクトの現在の位置、オブジェクトの現在の加速度、オブジェクトの現在の速度、オブジェクトのサイズ、オブジェクトのタイプ、又は、オブジェクトの照明状態、のうちの少なくとも１つを含む、ＢＶ項からＢＺ項のいずれか一項に記載の１つ又は複数の非一時的コンピュータ可読媒体。

【0288】

ＣＢ．オブジェクトが第１のオブジェクトであり、基準が第１の基準であり、動作は、センサーデータに少なくとも部分的に基づいて、環境内の第２のオブジェクトに関連付けられた第３の特徴を決定することと、第２のオブジェクトに関連付けられた第３の特徴及び環境に関連付けられた第２の特徴をグラフ構造の第２のノードに関連付けた後、第１のオブジェクトの第１の予測位置に少なくとも部分的に基づいて第２の基準を決定することと、グラフ構造及び第２の基準に少なくとも部分的に基づいて、第２のオブジェクトの第２の分布データを表す第２の出力を決定することであって、第２の分布データは、第2の基準を満たす第２のオブジェクトの第２の予測位置を含むことと、第２の分布データからのサンプリングに少なくとも部分的に基づいて、第２の時間における第２のオブジェクトの第２の予測位置を決定することと、第２のオブジェクトの第２の予測位置及び第１のオブジェクトの第１の予測軌道に少なくとも部分的に基づいて、第２のオブジェクトの第２の予測軌道を決定することと、をさらに含む、ＢＶ項からＣＡ項のいずれか１つに記載の１つ又は複数の非一時的コンピュータ可読媒体。

【0289】

上述した例示項は、１つの特定の実装に関して述べられているが、本明細書の文脈において、例示項の内容は、方法、機器、システム、コンピュータ可読媒体、及び／又は別の実装を介して実装されてよいことを理解されたい。さらに、例Ａ項からＣＢ項のいずれかを単独で、又は他の例Ａ項からＣＢ項のいずれか１つ又は複数のものと組み合わせて実施されてもよい。

【0290】

（結論）
本明細書で述べられる手法の１つ又は複数の例が説明されたが、その様々な変更、追加、並べ替え、及び、等価物は、本明細書に述べられる手法の範囲内に含まれる。

【0291】

例の説明において、本明細書の一部を構成する添付図面が参照されるが、このような図面は、請求される主題の具体的な例を例示的に示すものである。他の例を使用してもよく、構造的変更などの変更又は改変を行ってもよいことを理解されたい。そのような例、変更又は改変は、意図された請求される主題に関する範囲から必ずしも逸脱するものではない。本明細書で述べられる手順は、ある順序で示され得るが、場合によっては、順序を変更して、記載されるシステム及び方法の機能を変更することなく、特定の入力が異なる時間又は異なる順序で提供されるようにしてもよい。また、開示された手順は、異なる順序で実行されてもよい。さらに、本明細書に記載される様々な計算は、開示された順序で実行される必要はなく、計算の代替順序を使用する他の例が容易に実施され得る。順序を変更することに加えて、計算を、同じ結果を有するサブ計算に分解することも可能である。

【図1】

【図2】

【図3A】

【図3B】

【図4A】

【図4B】

【図5A】

【図5B】

【図6】

【図7】

【図8A】

【図8B】

【図9】

【図10】

【図11】

【図12】

【国際調査報告】