(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-02-22
(54)【発明の名称】オブジェクトの動きに基づくトップダウンシーンの予測
(51)【国際特許分類】
B60W 30/095 20120101AFI20230215BHJP
B60W 40/04 20060101ALI20230215BHJP
B60W 60/00 20200101ALI20230215BHJP
G08G 1/16 20060101ALI20230215BHJP
G06T 7/246 20170101ALI20230215BHJP
G06T 7/00 20170101ALI20230215BHJP
G06V 10/82 20220101ALI20230215BHJP
G06V 20/56 20220101ALI20230215BHJP
【ＦＩ】
B60W30/095
B60W40/04
B60W60/00
G08G1/16 C
G06T7/246
G06T7/00 650A
G06T7/00 350B
G06V10/82
G06V20/56
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022537280
(86)(22)【出願日】2020-12-10
(85)【翻訳文提出日】2022-08-17
(86)【国際出願番号】 US2020064184
(87)【国際公開番号】W WO2021126651
(87)【国際公開日】2021-06-24
(31)【優先権主張番号】16/719,780
(32)【優先日】2019-12-18
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ブルートゥース
(71)【出願人】
【識別番号】518156417
【氏名又は名称】ズークス インコーポレイテッド
(74)【代理人】
【識別番号】110001243
【氏名又は名称】弁理士法人谷・阿部特許事務所
(72)【発明者】
【氏名】アンドレス ギレルモ モラレス モラレス
(72)【発明者】
【氏名】マリン コビラロフ
(72)【発明者】
【氏名】ゴーサム ガリメラ
(72)【発明者】
【氏名】カイ ジェンユー ワン
【テーマコード（参考）】
3D241
5H181
5L096
【Ｆターム（参考）】
3D241BA32
3D241BB31
3D241CE01
3D241CE02
3D241CE04
3D241CE05
3D241DC25Z
5H181AA01
5H181AA21
5H181BB04
5H181BB15
5H181BB20
5H181CC03
5H181CC04
5H181CC14
5H181FF04
5H181FF05
5H181LL01
5H181LL02
5H181LL09
5L096BA04
5L096CA04
5L096DA02
5L096EA35
5L096HA11
5L096KA04
(57)【要約】
オブジェクトの動きに基づいて環境のトップダウン表現の予測を決定するための技術が本明細書で説明される。第１の車両（自律走行車など）のセンサは、第１の車両（例えば、車両、歩行者、自転車）とは別個のオブジェクトを含み得る環境のセンサデータを取り込み得る。オブジェクト及び環境のトップダウンビューを表すマルチチャネル画像は、センサデータに部分的に基づいて生成され得る。環境データ（オブジェクトの範囲、速度、車線の位置、横断歩道など）も画像に符号化され得る。経時的に環境を表す複数の画像が生成され得、各オブジェクトに関連付けられた軌道テンプレート（例えば、将来の動きのための一般的なインテント）及び予測軌道（例えば、より正確な予測された動き）を出力するように構成された予測システムに入力され得る。予測システムは、軌道テンプレート及び予測軌道を出力するように構成された機械学習モデルを含み得る。
【特許請求の範囲】
【請求項1】
自律走行車のセンサによって捕捉された環境のセンサデータを受信するステップと、前記センサデータに少なくとも部分的に基づいて、前記環境のトップダウンビューを表すマルチチャネル画像を生成するステップであって、前記マルチチャネル画像は、前記環境内のオブジェクトに関連付けられたバウンディングボックスを表す、ステップと、
前記マルチチャネル画像を機械学習モデルに入力するステップと、
前記機械学習モデルから、前記オブジェクトに関連付けられた動きのクラスを示す軌道テンプレート及び前記オブジェクトに関連付けられた予測軌道を受信するステップと、
前記軌道テンプレートまたは前記予測軌道のうちの少なくとも１つに少なくとも部分的に基づいて前記自律走行車を制御するステップと
を含む、コンピュータ実装方法。
【請求項2】
前記オブジェクトは第１のオブジェクトであり、前記マルチチャネル画像は、第２のオブジェクトに関連付けられたデータを含み、
前記軌道テンプレートは第１の軌道テンプレートであり、
前記第１の軌道テンプレート及び第２の軌道テンプレートは、前記第１のオブジェクトと前記第２のオブジェクトとの間の相互作用に少なくとも部分的に基づいている、請求項１に記載のコンピュータ実装方法。
【請求項3】
前記機械学習モデルは、前記環境内の前記オブジェクトの履歴に少なくとも部分的に基づいて決定された特徴マップを出力する第１のニューラルネットワークと、
前記特徴マップと関連付けられた特徴ベクトルに少なくとも部分的に基づいて前記軌道テンプレートを出力する第２のニューラルネットワークと、
前記軌道テンプレート及び前記特徴ベクトルに少なくとも部分的に基づいて前記予測軌道を出力する第３のニューラルネットワークと、を備える、請求項１または請求項２のいずれかに記載のコンピュータ実装方法。
【請求項4】
前記第２のニューラルネットワークは、前記オブジェクトに関連付けられたヒートマップを出力するようにさらに構成され、前記自律走行車は、前記ヒートマップに少なくとも部分的に基づいてさらに制御される、請求項３に記載のコンピュータ実装方法。
【請求項5】
前記第３のニューラルネットワークは、軌道テンプレートの第１の分類に少なくとも部分的に基づいて前記予測軌道を出力し、前記機械学習モデルは、前記軌道テンプレート及び前記特徴ベクトルの第２の分類に少なくとも部分的に基づいて前記予測軌道を出力する第４のニューラルネットワークをさらに含み、
前記方法は、前記軌道テンプレートと関連付けられた分類に少なくとも部分的に基づいて、前記軌道テンプレートを前記第３のニューラルネットワークまたは前記第４のニューラルネットワークの１つまたは複数に入力するステップをさらに含む、請求項３に記載のコンピュータ実装方法。
【請求項6】
実行されると、１つまたは複数のプロセッサに請求項１から５のいずれか一項に記載のコンピュータ実装方法を行わせる命令を記憶する１つまたは複数の非一時的なコンピュータ可読媒体。
【請求項7】
１つまたは複数のプロセッサと、前記１つまたは複数のプロセッサによって実行可能な命令を記憶する１つまたは複数の非一時的なコンピュータ可読媒体と
を備えるシステムであって、前記命令は、実行されると前記システムに、
環境内のオブジェクトを表すデータを受信するステップと、
前記データに少なくとも部分的に基づいて、前記環境のトップダウンビューを表す画像を生成するステップであって、前記画像は、前記オブジェクト及び前記オブジェクトに関連付けられた動き情報を表す、ステップと、
前記画像を機械学習モデルに入力するステップと、
前記機械学習モデルから、前記オブジェクトに関連付けられた軌道テンプレート及び予測軌道を受信するステップであって、前記軌道テンプレートは、前記オブジェクトに関連付けられた動きのクラスを示す、ステップと
を含む動作を実行させる、システム。
【請求項8】
前記予測軌道は、前記オブジェクトに関連付けられた、可能性のある位置の予測確率を含むヒートマップとして表される、請求項７に記載のシステム。
【請求項9】
前記機械学習モデルは、特徴マップを出力する第１のニューラルネットワークと、
前記オブジェクトに関連付けられた前記特徴マップの一部に少なくとも部分的に基づいて前記軌道テンプレートを出力する第２のニューラルネットワークと、
前記軌道テンプレートに少なくとも部分的に基づいて前記予測軌道を出力する第３のニューラルネットワークと、を備える、請求項７または請求項８に記載の前記システム。
【請求項10】
前記オブジェクトのデータは、前記環境内の２つ以上のオブジェクトに関連付けられたデータを含み、前記特徴マップは、前記環境内で決定された前記２つ以上のオブジェクトの共同履歴データを含む、請求項９に記載のシステム。
【請求項11】
前記画像は、前記環境内の追加オブジェクトの追加オブジェクト情報を含む１つまたは複数のチャネルをさらに備え、前記画像は、現在の時間の前の１つまたは複数の以前の時間に関連付けられた複数の画像のうちの１つである、請求項７から１０のいずれか一項に記載のシステム。
【請求項12】
前記画像は、前記オブジェクトと前記追加オブジェクトとの間の相互作用を表し、前記予測軌道及び追加オブジェクトに関連付けられた少なくとも１つの他の予測軌道は、前記相互作用に少なくとも部分的に基づいている、請求項１１に記載のシステム。
【請求項13】
前記動作は、前記オブジェクトに関連付けられた前記軌道テンプレートまたは前記予測軌道のうちの少なくとも１つに少なくとも部分的に基づいて前記システムに車両を制御させることをさらに含む、請求項７から１２のいずれか一項に記載のシステム。
【請求項14】
前記画像は、オブジェクトに関連付けられた意味データと、
前記オブジェクトに関連付けられた速度データと、
前記オブジェクトに関連付けられた加速度データと、
前記環境に関連付けられたシナリオデータと、
前記環境に関連付けられた道路ネットワークと、
前記環境内の車両に関連付けられた車両データと、のうちの少なくとも１つを含むマルチチャネル画像である、請求項７から１３のいずれか一項に記載のシステム。
【請求項15】
前記機械学習モデルは、クラスタリングアルゴリズムに少なくとも部分的に基づいて前記軌道テンプレートを決定することと、
回帰アルゴリズムに少なくとも部分的に基づいて、前記予測軌道を決定することと
によって訓練される、請求項７から１４のいずれか一項に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、オブジェクトの動きに基づいて環境のトップダウン表現の予測を決定するための技術に関する。
【背景技術】
【0002】
関連出願に対する相互参照
本ＰＣＴ国際特許出願は、２０１９年１２月１８日に出願された米国特許出願第１６／７１９，７８０号「オブジェクトの動きに基づくトップダウンシーンの予測」の継続出願であり、かつ優先権の利益を主張し、その内容全体が参照により本明細書に組み込まれる。
本ＰＣＴ国際特許出願は、２０１９年１２月１８日に出願された米国特許出願第１６／７１９，７８０号「オブジェクトの動きに基づくトップダウンシーンの予測」の継続出願であり、かつ優先権の利益を主張し、その内容全体が参照により本明細書に組み込まれる。
【0003】
予測技術を使用して、環境内のエンティティの将来の状態を判断することができる。すなわち、予測技術を使用して、特定のエンティティが将来どのように振る舞う可能性が高いかを判断することができる。現在の予測技術は、多くの場合、環境内のエンティティの将来の状態を予測するための物理ベースのモデリングまたは道路交通法のシミュレーションを含む。
【図面の簡単な説明】
【0004】
詳細な説明は、添付の図面を参照して説明される。図面において、参照番号の左端の数字は、その参照番号が最初に出現する図面を識別する。異なる図面における同一の参照番号の使用は、類似または同一のコンポーネントまたは特徴を示す。
【図1】本開示の例による、センサデータを受信し、環境を表すマルチチャネル画像を機械学習モデルに入力し、環境内のオブジェクトに関連付けられた軌道テンプレート及び予測軌道を受信するための例示的なプロセスの図解フローチャートである。
【図2A】本明細書において説明される技術を実装するための例示的なシステムのブロック図である。
【図2B】本明細書で説明される技術を実装するために機械学習モデルを訓練するための例示的な訓練コンポーネントのブロック図である。
【図3】本開示の例による、オブジェクトに関連付けられた決定された軌道テンプレートに関連付けられた予測軌道を決定するように構成されたネットワークを含む例示的な予測システムのブロック図である。
【図4】本開示の例による、軌道テンプレートに基づいて予測軌道を決定するように構成されたネットワークを含む例示的な予測システムのブロック図である。
【図5】本開示の例による、オブジェクトが車両の環境に存在することを決定し、オブジェクトに関連付けられた軌道テンプレート及び予測軌道を決定し、予測軌道に部分的に基づいて車両を制御するための例示的なプロセスを示す図である。
【図6】本開示の例による、オブジェクトに関連付けられた共同履歴に基づいて、環境内の検出されたオブジェクトに関連付けられた予測軌道を決定するための例示的なプロセスを示す図である。
【発明を実施するための形態】
【0005】
環境のトップダウン表現に基づいて環境内のオブジェクトの予測軌道を決定するための技術が本明細書で説明される。例えば、自律走行車のセンサは、他の車両、自転車運転者、歩行者などの自律走行車とは別個のオブジェクトを含んでもよい環境のセンサデータを取り込んでもよい。トップダウンの視点から環境を表す画像は、センサデータに少なくとも部分的に基づいて生成され得る。いくつかの例では、画像は、環境及び／またはオブジェクトに関連付けられた意味情報を含み得る。オブジェクトに関して、そのような意味情報は、範囲（例えば、バウンディングボックスを車両に関連付けられていると識別する）、バウンディングボックスに関連付けられた動き情報（例えば、速度、加速度など）、分類情報（ボックスが車両、自転車運転者、歩行者などを表すかどうか）を有するバウンディングボックスを含み得る。環境に関して、画像は、道路ネットワークデータを示す意味情報（例えば、道路ネットワークに関連付けられた識別子、（例えば、速度制限、道路データ（例えば、車線幅、車線端、停止線、交通信号等）、交通信号状態等）を含んでよい。いくつかの例では、そのような画像は、上記の情報のうちの任意の１つまたは複数が画像の別個のチャネルに記憶されるマルチチャネル画像を含み得る。
【0006】
時間の経過とともに環境を表す複数の画像が生成され得、将来のオブジェクトの動き（例えば、オブジェクトが移動する一般的な方向、オブジェクトインテントの分類）及び各オブジェクトに関連付けられた予測軌道を表す軌道テンプレートを出力するように構成された予測システム（例えば、機械学習モデル）に入力され得る。いくつかの例では、予測システムは、将来のオブジェクトの可能性のある位置に関連付けられた予測確率を含むヒートマップを出力するように構成され得る。予測軌道及び／または予測確率は、自律走行車の動作を制御するために計画システムに出力され得る。
【0007】
自律走行車によって捕捉されるセンサデータは、ライダーデータ、レーダーデータ、画像データ、飛行時間データなどを含み得る。いくつかの例では、センサデータは、オブジェクトに関連付けられた分類（例えば、車両、歩行者、自転車など）を決定するように構成された知覚システムに提供され得る。知覚システムは、センサデータに基づいてオブジェクトに関連付けられた動き情報を決定するように構成され得る。センサデータ及びセンサデータに基づくデータは、環境のトップダウン表現で表現され得る。例えば、トップダウン表現は、オブジェクトの範囲（例えば、長さ、幅など）及びオブジェクトの分類（例えば、車両、自転車運転者、歩行者など）だけでなく、環境内のオブジェクトの位置を表す２次元のバウンディングボックスとしてオブジェクトを表し得る。速度情報（例えば、運動学的情報）などの動き情報は、他の表現が企図されるが、バウンディングボックスに関連付けられた速度ベクトルとして表現されてよい。
【0008】
いくつかの例では、予測システムに入力される画像は、マルチチャネル画像の個々のチャネルによって表され得、各チャネルは、オブジェクト及びオブジェクトが位置する環境に関する異なる情報を表し得る。例えば、チャネルは、道路ネットワーク情報（例えば、車線、横断歩道、停止線、レーンディバイダ、停止標識、交差点、交通信号などを示す意味ラベル）、交通信号状態（例えば、赤色光、黄色光、緑色光など）、各オブジェクトに関連付けられたバウンディングボックス、ｘ方向及びｙ方向における各オブジェクトに関連付けられた速度、各オブジェクトに関連付けられた加速度、オブジェクトのライト状態（例えば、左折、右折、ブレーキ、後進、ハザード、ライトなしなど）などのうちの１つまたは複数を表し得るが、これらに限定されない。
【0009】
様々な例において、予測システムは、環境内のオブジェクトの過去の動きを表す複数の画像（マルチチャネル画像）を受信し得る。いくつかの例では、予測システムは、環境内のオブジェクトの共同履歴を表す特徴マップを決定し得る。いくつかの例では、予測システムは、共有の履歴及び／または各オブジェクトに関連付けられた位置に部分的に基づいて、各オブジェクトに関連付けられた特徴ベクトルを決定し得る。
【0010】
いくつかの例では、予測システムは、特徴マップ及び／または特徴ベクトルを利用して、各オブジェクトに関連付けられた少なくとも１つの軌道テンプレート及び少なくとも１つの予測軌道を生成し得る。軌道テンプレート（またはモード）は、オブジェクトのインテントの分類（車線に留まる、車線を変更するなど）を表し得る。インテントの分類は、オブジェクトが前方に進み続けるか、停止するか、左右に曲がるか、車線に留まるかなど、オブジェクトの将来の動き（例えば、将来の移動の予測される方向）の大まかな推定を含み得る。様々な例において、２つ以上のオブジェクトに関連付けられたインテントの分類は、共同インテントを含み得る。そのような例では、第１のオブジェクトに関連付けられた軌道テンプレートは、第２のオブジェクトに関連付けられた軌道テンプレートに依存し得る。例えば、車両及び歩行者は、横断歩道のある交差点に近づく場合がある。歩行者に道を譲る車両軌道テンプレートは、横断歩道を渡る歩行者軌道テンプレートに依存し得る。
【0011】
予測軌道は、オブジェクトの将来の動きのより正確な軌道（またはより正確な推定）を表し得る。いくつかの例では、将来の動きは、将来の１つまたは複数の時点でのオブジェクトの１つまたは複数の将来の位置として表され得る。いくつかの例では、予測軌道は、軌道テンプレートに基づいてもよい。いくつかの例では、予測軌道は、以前に捕捉されたセンサデータによって決定されるように、環境を通るオブジェクトの過去の動きに基づいてもよい。
【0012】
いくつかの例では、予測システムは、１つまたは複数の軌道テンプレート及び／または１つまたは複数の予測軌道を出力するように訓練された機械学習モデルを含み得る。いくつかの例では、出力は、環境内で検出された各オブジェクトの軌道テンプレート及び予測軌道を含み得る。いくつかの例では、検出されたオブジェクトに関連付けられた軌道テンプレート及び予測軌道は、それらが環境内で互いに（及び自律走行車と）相互作用するときに、オブジェクトの予測された将来の動きを表し得る。例えば、機械学習モデルは、将来の１つまたは複数の時間（例えば、１秒、２秒、８秒など）において、各オブジェクト（例えば、他の車両、自転車運転者、歩行者など）に関連付けられた座標（例えば、ｘ座標及びｙ座標）を出力し得る。
【0013】
いくつかの例では、機械学習モデルは、オブジェクトに関連付けられた座標ならびに各座標に関連付けられた確率情報を出力し得る。いくつかの例では、確率情報は、閾値確率レベルに関連付けられた楕円または他の多角形として表され得る（例えば、特定の時間におけるオブジェクトの位置が楕円によって表される領域内にある７５％の確率）。いくつかの例では、確率情報は、環境内のオブジェクトの位置に関連付けられた確率分布を含み得る。いくつかの例では、予測軌道は、機械学習モデルによって出力される座標の間を補間することによって生成され得る。
【0014】
いくつかの例では、機械学習モデルは、例えば、２０１８年１０月４日に出願され、「トップダウンシーン上の軌跡予測」と題された米国特許出願第１６／１５１，６０７号、２０１９年７月５日に出願され、「アクションデータに基づくトップダウンシーン上の予測」と題された米国特許出願第１６／５０４，１４７号、及び２０１７年１１月８日に出願され、「行動予測のための確率的ヒートマップ」と題された米国特許出願第１５／８０７，５２１号に記載されたような、予測確率に関連付けられたヒートマップを出力してもよく、各出願の内容全体が参照により本明細書に組み込まれる。ヒートマップは、自律走行車に近接する環境の離散化領域を表し得る。例えば、ヒートマップは、自律走行車の周りの１００メートル×１００メートルの領域を表す６４×６４グリッド（またはＪ×Ｋサイズのグリッド）を表し得る。もちろん、ヒートマップは、領域の任意のサイズを表し得、上記で参照により組み込まれる米国特許出願に記載されるように、領域の任意の数の別個の部分を表し得る。
【0015】
様々な例において、予測システムは、機械学習モデルによって出力されるヒートマップに基づいて予測軌道を決定するように構成され得る。そのような例では、予測システムは、ヒートマップを分析して、ヒートマップのセルに関連付けられた最高確率（または閾値を上回る確率）を決定して、予測軌道を決定し得る。様々な例において、予測システムは、上記で参照により組み込まれる米国特許出願に記載される技術を利用するなど、コスト及び／または制約に基づいて予測軌道を決定し得る。
【0016】
いくつかの例では、機械学習モデルは、畳み込みニューラルネットワーク（ＣＮＮ）を含み得、これは、限定されないが、長・短期記憶（ＬＳＴＭ）層などの１つまたは複数の再帰型ニューラルネットワーク（ＲＮＮ）層を含み得る。予測システムに関連付けられた機械学習モデルは、教師なし及び／または教師あり学習アルゴリズムを利用して訓練され得る。いくつかの例では、機械学習モデルは、教師なし学習アルゴリズムを利用して軌道テンプレートを決定するように訓練され得る。いくつかの例では、機械学習モデルは、１つまたは複数のクラスタリングアルゴリズム（例えば、ｋ平均法、階層的等）を利用して軌道テンプレートを決定し得る。少なくともいくつかの例では、テンプレートを有する軌道の数は、進行方向の周りの軌道を反映すること、及び／または軌道から方向偏差を除去することのうちの１つまたは複数によって増強され得る。いくつかの例では、機械学習モデルは、１つまたは複数のオブジェクト位置に基づいて軌道テンプレートを決定し得る。そのような例では、機械学習モデルは、将来の時点でオブジェクトの位置に関連付けられた確率分布を決定し得る。機械学習モデルは、確率分布を表すグリッドにクラスタリングアルゴリズムを適用して、オブジェクトに関連付けられた軌道テンプレートを決定し得る。
【0017】
いくつかの例では、機械学習モデルは、１つまたは複数の回帰アルゴリズムなどの教師あり学習アルゴリズムを利用して、予測軌道を決定するように訓練され得る。様々な例において、オブジェクトの予測軌道は、オブジェクトに関連付けられた軌道テンプレートに基づいてもよい。いくつかの例では、機械学習モデルは、軌道テンプレート及び／または予測軌道を決定するように構成された１つまたは複数のネットワークを含み得る。いくつかの例では、ネットワークは、オブジェクトに関連付けられた分類に基づいて決定され得る。例えば、第１のネットワークは、歩行者の第１の軌道テンプレート及び／または第１の予測軌道を決定するために利用されてよく、第２のネットワークは、車両の第２の軌道テンプレート及び／または第２の予測軌道を決定するために利用されてよい。
【0018】
いくつかの例では、機械学習モデルは、異なるインテントについての予測軌道を決定するように構成された単一のネットワークを含み得る。いくつかの例では、機械学習モデルは、異なるインテントに関連付けられた予測軌道を決定するように構成された異なるネットワークを含み得る。例えば、機械学習モデルは、第１の軌道テンプレートを用いてオブジェクトの軌道を決定するように構成された第１のネットワーク、第２の軌道テンプレートを用いてオブジェクトの軌道を決定するように構成された第２のネットワークなどを含み得る。
【0019】
本明細書で説明される技術は、いくつかの追加の手段でコンピューティングデバイスの機能を改善することができる。いくつかの例では、環境及び環境内のオブジェクトをトップダウンビューとして表すことは、予測軌道を生成する目的のための環境の簡略化された表現を表すことができる。いくつかの例では、画像は、環境の特定の特徴を抽出することなく環境を表すことができ、これは、予測システムの生成及び少なくとも１つの予測軌道の後続の生成を簡略化し得る。
【0020】
加えて、画像は、オブジェクト間の相互作用を含む共同履歴などのように、環境内のオブジェクト間の相互作用を表すことができる。共同履歴で捕捉されたオブジェクト間の相互作用は、オブジェクトに関連付けられた予測軌道の精度を改善し得る。そのような相互作用は、明示的に決定されてもよく、または複数のオブジェクトに関連付けられたオブジェクトデータをマルチチャネル画像に一緒に含めることによって暗黙的に決定されてもよい。いくつかの例では、共同履歴に基づいて決定された軌道テンプレート及び／または予測軌道を評価することは、自律走行車が環境を横断するために、より正確かつ／またはより安全な軌道を生成することを可能にし得る。少なくともいくつかの例では、環境のトップダウン符号化に基づく条件付け予測は、オブジェクトに関連付けられた確率分布関数の拡散を最小化（改善）し、システムのより安全な意思決定をもたらし得る。コンピュータの機能に対するこれら及び他の改善について、本明細書で説明される。
【0021】
本明細書で説明される本技術は、多くの手法で実装されることが可能である。例示的な実装例は、添付の図を参照して、下記に提供される。自律走行車のコンテキストにおいて説明されているが、本明細書において説明される方法、装置、及びシステムは、様々なシステム（例えば、センサシステムまたはロボティックプラットホーム）に対して適用されることが可能であり、自律走行車に限定されない。一例では、そのようなシステムが様々な動作を実行することが安全であるかどうかの表示を提供し得るドライバ制御車両で、同様の技術が利用され得る。別の例において、技術は、航空もしくは航海のコンテキストにおいて、またはシステムに対して知られていない挙動に関連付けられ得るオブジェクトもしくはエンティティに関与する任意のシステムにおいて、利用されることが可能である。さらに、センサデータは、画像データ（例えば、ステレオカメラ、飛行時間データなど）、ライダーデータ、レーダーデータ、ソナーデータなどの任意の２次元、３次元、または多次元データを含むことができる。また、本明細書において説明される技術は、（例えば、センサを使用して捕捉された）実データ、（例えば、シミュレータによって生成された）シミュレートされたデータ、または、この２つの任意の組み合わせと共に使用されることが可能である。
【0022】
図１は、本開示の例による、センサデータを受信し、環境を表すマルチチャネル画像を機械学習モデルに入力し、環境内のオブジェクトに関連付けられた軌道テンプレート及び予測軌道を受信するための例示的なプロセス１００の図解フロー図である。
【0023】
動作１０２において、プロセスは、環境内のオブジェクトを表すセンサデータを受信することを含み得る。いくつかの例では、センサデータは、自律走行車の知覚システムから受信され得る。例えば、センサデータは、オブジェクトに関連付けられたバウンディングボックス、オブジェクトに関連付けられた速度及び／または加速度情報、オブジェクトに関連付けられた分類情報などのうちの１つまたは複数を含み得るが、これらに限定されない。いくつかの例では、センサデータは、自律走行車上の１つまたは複数のセンサによって捕捉され得る。いくつかの例では、センサデータは、別の車両に関連付けられたセンサ、環境に搭載されたセンサなどの１つまたは複数のリモートセンサによって捕捉され得る。例えば、センサデータは、ライダーセンサ、レーダーセンサ、画像センサ、飛行時間センサ、ソナーセンサ、及び／または自律走行車、別の車両、及び／または環境に関連付けられた任意の他のセンサのうちの１つまたは複数によって捕捉されるデータを含んでよい。少なくともいくつかの例では、追加の環境データ（例えば、車線、基準線、横断歩道、交通装置及び／または標識等の部分を符号化する環境のマップデータ）を受信してもよい。
【0024】
例１０４は、自律走行車１０６（例えば、車両１０６）が環境を横断している環境を示す。いくつかの例では、車両１０６は、環境のセンサデータを取り込むことを含むことができるプロセス１００の動作を実行してもよい。議論の目的のために、センサデータを取り込む（または利用する）車両は、ドライバー（または乗員）がいかなる時も車両を制御することを期待されない状態で、旅程全体のためのあらゆる安全上重要な機能を実行することが可能な車両を説明している、米国運輸省道路交通安全局によって発行されたレベル５分類に従って演算するように構成される自律走行車とすることができる。このような例では、車両は全ての駐車機能を含む開始から停止までの全ての機能を制御するように構成されることが可能であるため、無人化することが可能である。これは例にすぎず、本明細書において説明されるシステム及び方法は、ドライバーによって常時、手動で制御される必要がある車両から、部分的にまたは完全に自律的に制御される車両までに及ぶ車両を含む、任意の地上車両、空路車両、または水路車両に組み込まれることが可能である。車両に関連付けられた追加の詳細は、本開示を通して説明される。
【0025】
また、オブジェクト１０８は環境内に位置する。いくつかの例では、オブジェクト１０８は、車両、歩行者、自転車などを表し得る。例１０４に例示される環境は、ドライブ可能領域及びドライブ不可能領域を含み得る。いくつかの例では、動作１０２は、車両１０６を環境内に位置決めし、環境に関連付けられたマップデータにアクセスすることを含み得る。例えば、マップデータは、車線マーキング、車線境界、１つまたは複数の車線基準（例えば、車線に関連付けられた中心線及び／または利用可能な（例えば、法的な）車線間の経路）などのマップ要素を含んでよい。マップ要素の付加的な例は、車線要素、バイク車線要素、交差点要素、レーンディバイダ要素、信号要素、一時停止標識要素、一時停止線要素、先方優先標識要素、先方優先車線要素、駐車車線要素、私道要素、減速バンプ要素、信号を無視して横断する領域（例えば、仮想横断歩道）、軌道通過点（例えば、既知の軌道）、搭乗者ピックアップポイント、標識位置要素、ジオフェンス要素などうちの１つまたは複数を含むことができるが、これらに限定されない。
【0026】
様々な例において、動作１０２は、車両１０６及び／またはマップデータに関連付けられた位置に基づいて、自律走行車１０６に関連付けられた計画された経路１１０を決定することを含み得る。例示的な例では、計画された経路１１０は、現在の車線１１２からマップデータに関連付けられたターゲット車線１１４まで交差点を横断することを含み得る。
【0027】
いくつかの例では、動作１０２で捕捉されたセンサデータは、オブジェクトのタイプ（例えば、車両、歩行者、自転車などのオブジェクトの分類を示す意味情報）を含むが、これらに限定されない、オブジェクト１０８に関する情報を決定するために使用されてもよい。いくつかの例では、動作１０２は、本明細書で説明するように、オブジェクト１０８のタイプ、オブジェクト１０８に関連付けられたバウンディングボックス、及び／またはオブジェクト１０８に関連付けられた動き情報を決定することを含み得る。
【0028】
動作１１６において、プロセスは、環境のトップダウンビューを表すマルチチャネル画像を機械学習モデルに入力することを含み得、マルチチャネル画像は、センサデータに少なくとも部分的に基づいている。そのようなマルチチャネル画像の例は、画像１１８、１２０、及び１２２に示される。いくつかの例では、画像１１８、１２０、及び１２２は、経時的に例１０４に描写される環境を表し得る。例えば、画像１１８は過去の環境を時間Ｔ-Nで表し得、画像１２０は過去の環境を時間Ｔ-N+1で表し得、画像１２２は時間Ｔ0で環境を表し得る。例えば、画像１１８は過去の環境を２秒で表し得、画像１２０は過去の環境を１秒で表し得、画像１２２は現在の時間（例えば、時間＝０）で環境を表し得る。もちろん、画像１１８、１２０、及び１２２は、任意の期間の環境を表し得、上記の例で使用される例示的な時間に限定されない。
【0029】
例示的な例では、画像１１８は、時間Ｔ-Nにおける環境を表してよく、第１のチャネル１２４、第２のチャネル１２６、及び第３のチャネル１２８を含んでよい。いくつかの例では、第１のチャネル１２４は、環境内のオブジェクト１０８（１）及び１０８（２）などの自律走行車１０６及び／またはオブジェクト１０８のバウンディングボックス、位置、範囲（例えば、長さ及び幅）などを表し得る。理解できるように、画像１１８は、環境内の任意の数の静的オブジェクト（例えば、建物、木、縁石、歩道、マップ要素など）または動的オブジェクト（例えば、移動可能なオブジェクト）をいつでも含んでもよく、例の２つのオブジェクト１０８（１）及び１０８（２）（バウンディングボックスとして表される）に限定されない。
【0030】
画像１１８は、それぞれオブジェクト１０８（１）及び１０８（２）に関連付けられた速度情報１３０（１）及び１３０（２）（例えば、運動学的情報、動き情報）をさらに含んでもよい。図示の例では、速度情報１３０（１）及び１３０（２）は、それぞれのオブジェクトに関連付けられた速度ベクトルとして表される。速度のコンテキストで説明されるが、速度情報１３０（１）及び１３０（２）は、加速度（例えば、経時的な平均、時間内で観測される最大加速度など）、ステアリング角、基準線または障害物からの距離などに関連付けられた情報を表し得る。
【0031】
理解できるように、オブジェクト１０８（１）及び／または１０８（２）は、異なる位置及び／または経時的な動きに関連付けられ得る。したがって、画像１２０は、速度情報１３０（１）と同一または異なる速度情報１３２（１）を含み得、画像１２２は、速度情報１３０（１）及び／または１３２（１）と同一または異なる速度情報１３４（１）を含み得る。同様に、速度情報１３０（２）などのオブジェクト１０８（２）に関連付けられた速度情報は、画像１２０及び１２２に表されるように、経時的に同じであっても異なっていてもよい。
【0032】
いくつかの例では、第２のチャネル１２６は、車両１０６と関連付けられた計画された経路１１０を表し得る。例えば、第２のチャネル１２６は、計画された経路１１０と関連付けられた現在のレーン１１２及び／またはターゲット車線１１４を示し得る。いくつかの例では、第３のチャネル１２８は、車両１０６に近接する環境に関連付けられたマップデータを表し得る。様々な例において、第３のチャネル１２８は、マッピングされた領域に関連付けられたデータ及びマッピングされていない領域（例えば、車道、駐車場など）に関連付けられたデータを含んでよい。マッピングされていない領域に関連付けられたデータは、領域に関連付けられた情報の欠如、領域の一般的なサイズなどの指示を含み得る。例えば、第３のチャネルは、道路及び道路につながる専用車道を含むマッピングされていない領域に関連付けられたデータを含み得る。
【0033】
上述のように、画像１２０及び１２２は、異なる時間（例えば、時間Ｔ-N+1、及び時間Ｔ0）で環境を表し得る。いくつかの例では、画像１２０及び１２２の態様は、画像１１８の態様に類似し得る。例えば、画像１２０及び１２２は、単なる例であるが、第１のチャネル１２４、第２のチャネル１２６、及び第３のチャネル１２８を含んでもよく、各チャネルに関連付けられた追加のチャネル及び／または追加の情報が本明細書で企図される。
【0034】
理解できるように、動作１１６は、本明細書で説明されるように、マルチチャネル画像を生成または決定することを含み得る。マルチチャネル画像の生成または決定の例は、上記の参照により本明細書に組み込まれる米国特許出願第１６／１５１，６０７号に関連して議論される。
【0035】
動作１３６において、プロセスは、機械学習モデルから、マルチチャネル画像に基づいて、オブジェクト（例えば、オブジェクト１０８（１）及び１０８（２））に関連付けられた軌道テンプレート及び予測軌道を受信することを含み得る。実施例１３８は、それぞれオブジェクト１０８（１）及び１０８（２）に関連付けられた軌道テンプレート１４０及び１４２を示す。実施例１４４は、それぞれオブジェクト１０８（１）及び１０８（２）に関連付けられた予測軌道１４６及び１４８を示す。
【0036】
軌道テンプレート１４０または１４２は、関連付けられたオブジェクト１０８（１）または１０８（２）の将来の動き（例えば、将来の移動の予測される方向、動きのクラスなど）のインテントの分類を表し得る。インテントの分類は、オブジェクト１０８（１）または１０８（２）が前進、停止、左折または右折などを継続するかどうかなど、オブジェクト１０８（１）または１０８（２）の将来の動きの大まかな推定を含み得る。様々な例において、２つ以上のオブジェクト１０８（１）及び１０８（２）に関連付けられたインテントの分類は、共同インテントを含み得る。そのような例では、第１のオブジェクト１０８（１）に関連付けられた軌道テンプレート１４０は、第２のオブジェクト１０８（２）に関連付けられた軌道テンプレート１４２（２）に依存し得、またはその逆の場合もある。例えば、第１のオブジェクト１０８（１）は、歩行者である第２のオブジェクト１０８（２）も接近している交差点に接近する車両を含み得る。軌道テンプレート１４０（１）及び１４２（２）は、オブジェクト１０８（１）及び１０８（２）の一方または両方が他方に道を譲ることを表し得る。
【0037】
様々な例において、機械学習モデルは、オブジェクト１０８（１）及び１０８（２）に関連付けられた１つまたは複数の可能な将来の動き（例えば、可能な軌道テンプレート１４０及び１４２）に基づいて、オブジェクト１０８（１）及び１０８（２）に関連付けられた軌道テンプレート１４０（１）及び１４２（２）を決定するように構成され得る。実施例１３８は、オブジェクト１０８（１）に関連付けられた２つの可能な軌道テンプレート１４０（１）及び１４０（２）、ならびにオブジェクト１０８（２）に関連付けられた３つの可能な軌道テンプレート１４２（１）、１４２（２）、及び１４２（３）を示す。様々な例において、可能な軌道テンプレート１４０及び１４２は、オブジェクト１０８（１）及び１０８（２）の様々な可能な将来の動きを表し得る。いくつかの例では、可能な軌道テンプレート１４０及び１４２は、上記のように、マルチチャネル画像に含まれるものなど、マップデータ及び／またはそれに関連付けられたマップ要素に基づいてもよい。例えば、オブジェクト１０８（１）に関連付けられた可能な軌道テンプレート１４０は、横断歩道要素に関連付けられ得る。いくつかの例では、可能な軌道テンプレート１４０及び１４２は、マップデータ及び／またはマップ要素とは無関係であってもよい。
【0038】
実施例１３８は、機械学習モデルによって考慮される様々な可能な軌道テンプレート１４０及び１４２を示すが、機械学習モデルは、それぞれオブジェクト１０８（１）及び１０８（２）に関連付けられた決定された軌道テンプレート１４０（１）及び１４２（２）を出力し得ることが理解される。したがって、動作１３６において、プロセスは、オブジェクト１０８（１）に関連付けられた軌道テンプレート１４０（１）及びオブジェクト１０８（２）に関連付けられた軌道テンプレート１４２（２）を受信することを含み得る。
【0039】
様々な例において、機械学習モデルは、環境に関連付けられたオブジェクトのタイプ（例えば、歩行者、車両、自転車運転者など）及び／または１つまたは複数のシナリオ（例えば、高速道路、ジャンクション（例えば、道路分割、４方向交差点など））に基づいて、軌道テンプレート１４０（１）及び１４２（２）を決定するように訓練され得る。そのような例では、機械学習モデルは、異なるタイプのオブジェクト（例えば、オブジェクトデータ）及び／または異なるシナリオ（例えば、シナリオデータ、環境データ、（例えば、車線、基準線、横断歩道、交通装置及び／または標識などの部分を符号化する環境のマップデータなど）など）に関連付けられた訓練データを利用して訓練され得る。オブジェクト及び／またはシナリオのタイプは、画像１１８、１２０、及び１２２などのマルチチャネル画像内の機械学習モデルに提供されてよい。例えば、画像１１８、１２０、及び１２２は、オブジェクト１０８（１）を車両として、オブジェクト１０８（２）を歩行者として表し得、シナリオは４方向の交差点として表し得る。車両及び歩行者が４方向の交差点に近づいているという決定に基づいて、機械学習モデルは、それに関連付けられた軌道テンプレート１４０（１）及び１４２（２）を決定し得る。
【0040】
様々な例において、機械学習モデルは、教師なし学習アルゴリズムを利用して軌道テンプレート１４０（１）及び１４２（２）を決定するように訓練され得る。いくつかの例では、機械学習モデルは、軌道テンプレート１４０（１）及び１４２（２）を決定するためにクラスタリングアルゴリズムを利用し得る。少なくとも１つの例では、機械学習モデルは、ｋ平均クラスタリングアルゴリズムを利用し得る。
【0041】
様々な例において、機械学習モデルは、それぞれのオブジェクト１０８（１）及び１０８（２）に関連付けられた決定された軌道に基づいて、軌道テンプレート１４０（１）及び１４２（２）を決定し得る。いくつかの例では、決定された軌道は、それぞれのオブジェクト１０８（１）または１０８（２）の経時的な平均軌道を含み得る。いくつかの例では、決定された軌道は、クラスタ軌道を含み得、クラスタ中心は、それぞれのオブジェクト１０８（１）または１０８（２）の経時的な平均的な動きに基づいている。様々な例において、軌道は、それに関連付けられたマップデータ及び／またはマップ要素とは無関係であってもよい。そのような例では、軌道は、マップデータに関係なく、移動空間内の観測に基づいて決定され得る。例えば、オブジェクト１０８（１）に関連付けられた第１の軌道は、オブジェクトが走行している車線に関連付けられたデータ、道路ネットワークデータなどに関係なく、オブジェクト１０８（１）の観測された動きに基づいてもよい。別の例では、車両は、マッピングされていないゾーン（例えば、車道、駐車場など）から環境に入ることができる。機械学習モデルは、車両に関連付けられたセンサデータを処理して、経時的な車両の観測された動きに基づいて、それに関連付けられた軌道を決定し得る。様々な例において、マップデータ及び／またはマップ要素とは独立して、オブジェクト１０８に関連付けられた軌道を決定することは、信号無視歩行者、直角駐車スペースに入れられる、及び出される車などの場合のように、車線マーキングが制限されている（または存在しない）車両の安全な動作を改善し得る。そのような例では、本明細書に記載の技術は、環境１００内で動作する車両及びオブジェクト１０８の安全性を高める。
【0042】
いくつかの例では、機械学習モデルは、オブジェクト１０８（１）に関連付けられた第１のオブジェクト軌道及びオブジェクト１０８（２）に関連付けられた第２のオブジェクト軌道を、時間の経過（例えば、時間Ｔ-NからＴ0）に伴うオブジェクト１０８（１）及び１０８（２）の観察された動きに基づいて決定し得る。様々な例において、オブジェクト軌道は、オブジェクト１０８（１）及び１０８（２）のそれぞれの本体フレームに変換され得る。そのような例では、オブジェクトの軌道の分散は減少し得る。いくつかの例では、オブジェクト軌道は、オブジェクト１０８（１）及び１０８（２）に関連付けられたそれぞれの本体ｙ軸の周りに示され得る。そのような例では、オブジェクトの軌道の分散はさらに減少し得る。様々な例において、軌道テンプレート１４０（１）及び１４２（２）は、クラスタ割り当て（例えば、データポイントのクラスタへの割り当て）に基づいて導出され得る。いくつかの例では、軌道テンプレート１４０（１）及び１４２（２）は、クラスタリングアルゴリズムを適用する反復間のデータ点の重心に対する閾値未満の変化に基づいて決定され得る。
【0043】
様々な例において、機械学習モデルは、予測範囲（例えば、将来の２秒、８秒など）の終わりにそれぞれのオブジェクト１０８（１）及び１０８（２）に関連付けられた予測位置に基づいて、軌道テンプレート１４０（１）及び１４２（２）を決定し得る。いくつかの例では、機械学習モデルは、それに関連付けられた予測された位置及び／または確率を表すヒートマップを生成するように構成され得る。少なくともいくつかの例では、そのような予測された位置は、期間の終わり及び／または指定された／提供された任意の他の期間に関連付けられたそれらの位置を含み得る。そのような例では、粗いテンプレート軌道に関連付けられた広範なヒートマップ（または出力確率）は、それにもかかわらず、環境を通る車両の軌道を計画するためのプランナシステムによって消費者であり得る。様々な例において、機械学習モデルは、時間Ｔ＝０でオブジェクト１０８（１）及び１０８（２）に関連付けられた決定された軌道に基づいて、予測位置を決定するように構成され得る。様々な例において、予測位置は、グリッドに基づいてビンに関連付けられ得る。いくつかの例では、機械学習モデルは、分類問題を実行して、異なる軌道テンプレート１４０及び１４２の確率分布を決定し得る。本明細書に記載される任意の例では、そのようなテンプレート軌道モデルの出力は、全ての可能なテンプレートにわたる分布を含み得る。非限定的な例として、テンプレートを出力するネットワークの最終層は、各テンプレートの確率が指定されるソフトマックス関数を含み得る。したがって、様々なオブジェクトは、１つまたは複数のテンプレートの比較的高い確率を有し得る（例えば、左車線内で交差点に近づく車両は、進行して曲がる等しいテンプレート化された軌道を有し得る）。
【0044】
いくつかの例では、異なる軌道テンプレート１４０及び１４２は、グリッドの別々のビンに関連付けられ得る。そのような例では、グリッドは、異なる軌道テンプレート１４０及び１４２がそれぞれ異なるビンに関連付けられるように、十分な解像度を含み得る。様々な例において、１つまたは複数の教師なし学習アルゴリズム（例えば、クラスタリングアルゴリズム）をビンに適用して、軌道テンプレート１４０（１）及び１４２（２）を決定し得る。
【0045】
様々な例において、機械学習モデルは、オブジェクト１０８（１）に関連付けられた予測軌道１４６及びオブジェクト１０８（２）に関連付けられた予測軌道１４８を決定するように訓練され得る。予測軌道１４６及び１４８は、それぞれのオブジェクト１０８（１）及び１０８（２）の将来の動きの正確な軌道を表し得る。いくつかの例では、将来の動きは、将来の１つまたは複数の時点でのオブジェクトの１つまたは複数の将来の位置として表され得る。いくつかの例では、予測軌道１４６及び１４８は、それぞれ軌道テンプレート１４０（１）及び１４２（２）に基づいてもよい。
【0046】
様々な例において、予測軌道１４６及び１４８は、上記で参照により組み込まれる米国特許出願に記載される技術を利用するなど、機械学習モデルによって出力されるヒートマップに基づいて決定され得る。そのような例では、ヒートマップは、予測軌道１４６または１４８を決定するために、ヒートマップのセルに関連付けられた最高の確率を決定するために分析されてよい。例えば、予測軌道１４６及び１４８は、予測範囲の終わりにオブジェクト１０８の予測位置及び／またはそれに関連付けられた確率を表すヒートマップを利用して決定されてよい。
【0047】
様々な例において、機械学習モデルは、履歴データ（例えば、時間Ｔ＝０の前の時点でのオブジェクト１０８（１）及び１０８（２）に関連付けられた位置）に基づいて回帰アルゴリズムを利用して、予測軌道１４６及び１４８を決定し得る。いくつかの例では、機械学習モデルは、オブジェクト１０８（１）及び１０８（２）のそれぞれに関連付けられた個々のオブジェクト回帰を実行し得る。そのような例では、予測軌道１４６及び１４８は、別個の回帰分析に基づいて決定され得る。
【0048】
様々な例において、機械学習モデルは、各オブジェクト１０８（１）及び１０８（２）に関連付けられた特徴ベクトルを、それに関連付けられた共同履歴に基づいて（例えば、マルチチャネル画像に基づいて）決定するように構成され得る。いくつかの例では、個々のオブジェクト回帰は、それぞれの特徴ベクトル及び軌道テンプレート１４０（１）及び１４２（２）を連結することなどによって、特徴ベクトル上で実行されてもよい。そのような例では、予測軌道１４６及び１４８は、特徴ベクトルと、オブジェクト１０８（１）または１０８（２）に関連付けられた軌道テンプレート１４０（１）または１４２（２）との連結に基づいてもよい。
【0049】
図２Ａは、本明細書において説明される技術を実装するための例示的なシステムのブロック図である。少なくとも１つの例では、システム２００は、車両１０６などの車両２０２を含み得る。
【0050】
車両２０２は、１つまたは複数の車両コンピューティングデバイス２０４（車両コンピューティングデバイス２０４または車両コンピューティングデバイス２０４とも称される）、１つまたは複数のセンサシステム２０６、１つまたは複数のエミッタ２０８、１つまたは複数の通信接続２１０、少なくとも１つの直接接続２１２、及び１つまたは複数のドライブシステム２１４を含み得る。
【0051】
車両コンピューティングデバイス２０４は、１つまたは複数のプロセッサ２１６及び１つまたは複数のプロセッサ２１６と通信可能に結合されたメモリ２１８を含み得る。図示された例において、車両２０２は、自律走行車であるが、車両２０２は、任意の他のタイプの車両とすることができる。図示の例では、車両コンピューティングデバイス２０４のメモリ２１８は、位置決めコンポーネント２２０、知覚コンポーネント２２２、１つまたは複数のマップ２２４、１つまたは複数のシステムコントローラ２２６、画像生成コンポーネント２３０を含む予測コンポーネント２２８、機械学習コンポーネント２３２、及び訓練コンポーネント２３４、ならびに計画コンポーネント２３６を記憶する。例示的な目的のためにメモリ２１８に存在するものとして図２Ａに示されるが、位置決めコンポーネント２２０、知覚コンポーネント２２２、１つまたは複数のマップ２２４、１つまたは複数のシステムコントローラ２２６、予測コンポーネント２２８、画像生成コンポーネント２３０、機械学習コンポーネント２３２、訓練コンポーネント２３４、及び計画コンポーネント２３６は、追加的に、または代替的に、車両２０２にアクセス可能であってもよい（例えば、コンピューティングデバイス２３８上などにリモートに記憶されてもよい）ことが企図される。
【0052】
少なくとも１つの例において、位置決めコンポーネント２２０は、車両２０２の位置及び／または方向（例えば、ｘ位置、ｙ位置、ｚ位置、ロール、ピッチ、またはヨーのうちの１つまたは複数）を決定するためにセンサシステム２０６からのデータを受信する機能を含んでよい。例えば、位置決めコンポーネント２２０は、環境のマップを含むこと、及び／または要求すること／受信することができ、マップ内で自律走行車の位置及び／または向きを継続的に決定することができる。いくつかの例において、位置決めコンポーネント２２０は、自律走行車の位置を正確に決定すべく画像データ、ＬＩＤＡＲデータ、レーダーデータ、ＩＭＵデータ、ＧＰＳデータ、ホイールエンコーダデータ等を受信するように、ＳＬＡＭ（同時の位置決め及びマッピング）、ＣＬＡＭＳ（同時の較正、位置決め及びマッピング）、相対ＳＬＡＭ、バンドル調整、非線形最小二乗最適化等を利用することができる。いくつかの例では、本明細書で論じるように、位置決めコンポーネント２２０は、車両２０２の様々なコンポーネントにデータを提供して、軌道を生成するための、及び／またはマップデータを生成または受信するための自律走行車の初期位置を決定し得る。
【0053】
いくつかの例において、知覚コンポーネント２２２は、オブジェクト検出、セグメンテーション、及び／または分類を実行する機能を含み得る。いくつかの例では、知覚コンポーネント２２２は、車両２０２に近接するエンティティの存在及び／またはエンティティタイプ（例えば、自動車、歩行者、自転車運転者、建物、樹木、路面、縁石、歩道、未知のものなど）としてのエンティティの分類を示す処理されたセンサデータを提供し得る。付加的または代替的な例において、知覚コンポーネント２２２は、検出されたエンティティ（例えば、追跡されるオブジェクト）に関連付けられる１つまたは複数の特性及び／またはエンティティが配置される環境を示す、処理済みのセンサデータを提供し得る。いくつかの例において、エンティティに関連付けられる特性は、ｘ位置（グローバル位置及び／またはローカル位置）、ｙ位置（グローバル位置及び／またはローカル位置）、ｚ位置（グローバル位置及び／またはローカル位置）、向き（例えば、ロール、ピッチ、ヨー）、エンティティタイプ（例えば、分類）、エンティティの速度、エンティティの加速度、エンティティの範囲（サイズ）などを含むことができるが、これらに限定されない。環境に関連付けられる特性は、環境内の別のエンティティの存在、環境内の別のエンティティの状態、時刻、曜日、季節、気象条件、暗闇／光の表示などを含むことができるが、これらに限定されない。
【0054】
メモリ２１８は、環境内をナビゲートするために車両２０２によって使用され得る１つまたは複数のマップ２２４をさらに含んでもよい。この説明のために、マップは、これらには限定されないが、（交差点などの）トポロジー、通り、山脈、道路、地形、及び一般的な環境などの環境に関する情報を提供することができる２次元、３次元、またはＮ次元でモデル化された任意の数のデータ構造とすることができる。いくつかの例では、マップは、限定されるわけではないが、テクスチャ情報（例えば、色情報（例えば、ＲＧＢ色情報、Ｌａｂ色情報、ＨＳＶ／ＨＳＬ色情報）など）、明暗度情報（例えば、ＬＩＤＡＲ情報、ＲＡＤＡＲ情報など）、空間情報（例えば、メッシュ上に投影された画像データ、個々の「サーフェル」（例えば、個々の色及び／または明暗度に関連付けられるポリゴン））、反射性情報（例えば、鏡面性情報、再帰反射性情報、ＢＲＤＦ情報、ＢＳＳＲＤＦ情報など）を含むことができる。１つの例では、マップは、環境の３次元メッシュを含むことができる。いくつかの例において、マップの個々のタイルが環境の個別の部分を表すように、マップをタイル形式で記憶でき、本明細書にて説明するように、必要に応じて作業メモリにロードできる。少なくとも１つの例では、１つまたは複数のマップ２２４は、少なくとも１つのマップ（例えば、画像および／またはメッシュ）を含むことができる。いくつかの例において、車両２０２は、マップ２２４に少なくとも部分的に基づいて制御されてよい。すなわち、マップ２２４は、位置決めコンポーネント２２０、知覚コンポーネント２２２、予測コンポーネント２２８、及び／または計画コンポーネント２３６と関連して使用されて、車両２０２の位置を決定し、環境内のオブジェクトを識別し、オブジェクト及び／または車両２０２に関連付けられた予測確率変数を生成し、及び／または環境内をナビゲートするための経路及び／または軌道を生成し得る。
【0055】
いくつかの例において、１つまたは複数のマップ２２４は、ネットワーク２４０を介してアクセス可能な（コンピューティングデバイス２３８などの）遠隔コンピューティングデバイス上に記憶され得る。いくつかの例において、複数のマップ２２４は、例えば、特徴（例えば、エンティティのタイプ、時刻、曜日、その年の季節など）に基づいて記憶されてよい。複数のマップ２２４を記憶することは、同様のメモリ要件を有してよいが、マップにおけるデータがアクセスされ得る速度を増加させ得る。
【0056】
少なくとも１つの例では、車両コンピューティングデバイス２０４は、１つまたは複数のシステムコントローラ２２６を含んでよく、これは、車両２０２のステアリング、推進、ブレーキ、安全性、エミッタ、通信、及び他のシステムを制御するように構成されてよい。これらのシステムコントローラ２２６は、ドライブシステム２１４及び／または車両２０２の他のコンポーネントの対応するシステムと通信し、及び／または制御し得る。
【0057】
概して、予測コンポーネント２２８は、環境内のオブジェクトの予測軌道を生成し得る。例えば、予測コンポーネント２２８は、車両２０２から閾値距離内にある車両、歩行者、自転車運転者などの１つまたは複数の予測軌道を生成することができる。いくつかの例では、予測コンポーネント２２８は、本明細書で説明されるように、観察された及び予測された挙動に基づいて、オブジェクトのための軌道テンプレート及び予測軌道を生成するように構成され得る。
【0058】
いくつかの例では、画像生成コンポーネント２３０は、シーンのトップダウンビューを表す画像を生成する機能を含み得る。画像生成コンポーネント２３０によって生成されるこのような画像の例を、画像１１８、１２０、及び１２２として図１に示す。
【0059】
いくつかの例では、画像生成コンポーネント２３０は、車両２０２の周りの領域を表す画像を生成し得る。いくつかの例では、領域は、センサに見える領域（例えば、センサ範囲）、後退する地平線、アクション（例えば、交差点を横断する）に関連付けられた領域などに少なくとも部分的に基づくことができる。少なくとも１つの例では、画像は、任意の領域が企図されるが、車両２０２の周りの１００メートル×１００メートルの領域を表し得る。画像生成コンポーネント２３０は、知覚コンポーネント２２２から環境内のオブジェクトに関するデータを受信してよく、位置決めコンポーネント２２０、知覚コンポーネント２２２、及び１つまたは複数のマップ２２４から環境自体に関するデータを受信してよい。画像生成コンポーネント２３０は、（例えば、本明細書で説明されるように、バウンディングボックスによって表される）環境内のオブジェクト、オブジェクトに関する意味情報（例えば、分類タイプ）、動き情報（例えば、速度情報、加速度情報など）などを含む環境のトップダウンビューを生成し得る。画像生成コンポーネント２３０は、１つまたは複数の速度ベクトル、１つまたは複数の加速度ベクトル、照明インジケータ（例えば、それぞれのインジケータの状態として表される、オブジェクトのブレーキライト、オブジェクトのターンシグナルライトなど）、交通信号情報（例えば、交通信号の状態）、車線情報（例えば、車線が左折のみの車線であるか、右折のみの車線であるかなど）などを含むが、これらに限定されない、オブジェクト及び環境の様々な属性を表す画像内の画像要素（例えば、記号または他の表現）をさらに生成し得る。
【0060】
いくつかの例では、画像生成コンポーネント２３０は、本明細書で詳細に説明されるように、環境の意味情報を含む１つまたは複数の画像を生成し得る。画像生成コンポーネント２３０によって生成された画像は、本明細書で説明されるように、軌道テンプレート及び／または予測軌道を生成するために使用され得る環境内の環境及びオブジェクトの状態に関する先行情報を表し得る。
本明細書で説明される例のいずれにおいても、画像生成コンポーネント２３０は、複数のチャネルを有する画像を生成することができ、各チャネルは、いくつかの情報（意味的またはその他）を表す。
本明細書で説明される例のいずれにおいても、画像生成コンポーネント２３０は、複数のチャネルを有する画像を生成することができ、各チャネルは、いくつかの情報（意味的またはその他）を表す。
【0061】
いくつかの例では、機械学習コンポーネント２３２（機械学習モデルコンポーネント２３２とも称される）は、本明細書で説明されるように、画像生成コンポーネント２３０によって生成された画像を受信し、１つまたは複数の軌道テンプレート及び／または予測軌道を生成する機能を含んでもよい。
【0062】
いくつかの例では、機械学習コンポーネント２３２は、モデルに入力されるトップダウン画像に基づいて、１つまたは複数の軌道テンプレート及び／または予測軌道を出力するように訓練された１つまたは複数の機械学習モデルを含んでもよい。いくつかの例では、機械学習コンポーネント２３２の軌道テンプレート及び／または予測軌道は、ＣＮＮを含み、ＣＮＮは、１つまたは複数のＲＮＮ層、例えば、ＬＳＴＭ層を含んでもよく、含まなくてもよい。
【0063】
いくつかの例では、機械学習コンポーネント２３２によって出力される軌道テンプレートは、オブジェクトの将来の動き（例えば、将来の動きの予測される方向、動きのクラスなど）の意図の分類を表し得る。インテントの分類は、オブジェクトが前進、停止、左折または右折などを継続するかどうかなど、オブジェクトの将来の動きの大まかな推定値を含み得る。いくつかの例では、軌道テンプレートは、１つまたは複数のマップ２２４によって提供されるマップデータとは無関係に決定されてもよい。様々な例において、機械学習コンポーネント２３２によって出力される予測軌道は、オブジェクトの１つまたは複数の将来の位置によって表される軌道など、オブジェクトの将来の動きの軌道を表し得る。
【0064】
いくつかの例では、予測軌道は、機械学習コンポーネント２３２によって生成されたヒートマップに基づいて決定され得る。そのような例では、予測コンポーネント２２８は、機械学習コンポーネント２３２によって出力されるヒートマップに基づいて予測軌道を決定するように構成され得る。いくつかの例では、ヒートマップは、自律走行車に近接する環境の離散化された領域を表し得る。いくつかの例では、ヒートマップによって表される領域は、機械学習コンポーネント２３２に入力される画像によって表される領域に対応し得る。もちろん、ヒートマップは、領域の任意のサイズを表すことができ、領域の任意の数の離散部分を表すことができる。場合によっては、ヒートマップの一部は、ヒートマップのセルと呼ぶことができる。各セルは、ヒートマップに対応する時間に、オブジェクトが環境内の対応する位置にある確率を表す予測確率を含んでよい。いくつかの例では、機械学習モデルは、複数のヒートマップを出力してもよく、複数のヒートマップのうちのヒートマップは、将来の特定の時間（例えば、０．５秒、１秒、３秒、５秒、１０秒など）においてオブジェクトに関連付けられた確率予測を表してもよい。
【0065】
様々な例において、訓練コンポーネント２３４は、車両２０２の動作中（例えば、車両がオンラインであるとき）に機械学習コンポーネント２３２を訓練するように構成され得る。いくつかの例では、訓練コンポーネント２３４は、オブジェクトによって実際に実行されるアクションに基づいて、訓練のためのグラウンドトゥルースを決定し得る。グラウンドトゥルースは、オブジェクトが環境を通過した実際の軌道を含み得る。いくつかの例では、訓練コンポーネント２３４は、軌道テンプレート及び／または予測軌道に対してグラウンドトゥルース（例えば、実行されるアクション）を比較し得る。比較に基づいて、訓練コンポーネント２３４は、機械学習コンポーネント２３２を訓練して、車両２０２を制御するために計画コンポーネント２３６に提供され得る正確な軌道テンプレート及び／または予測軌道を出力するように構成され得る。
【0066】
一般に、計画コンポーネント２３６は、環境を通過するために車両２０２が進む経路を決定し得る。経路は、第１の位置（例えば、現在の位置）から第２の位置（例えば、ターゲット位置）まで移動する経路を含み得る。この説明の目的のために、ルートは、２つの位置間で移動するためのウェイポイントのシーケンスであることが可能である。非限定的な例として、ウェイポイントは、道路、交差点、全地球測位システム（ＧＰＳ）座標などを含む。いくつかの例において、計画コンポーネント２３６は、第１の位置から第２の位置までのルートの少なくとも一部に沿って自律走行車２０２を誘導するための命令を生成するように構成され得る。
【0067】
少なくとも１つの例において、計画コンポーネント２３６は、ウェイポイントのシーケンスにおける第１のウェイポイントからウェイポイントのシーケンスにおける第２のウェイポイントにどのように自律走行車を誘導するかを決定し得る。いくつかの例において、命令は、軌道であってよく、または軌道の一部であってもよい。いくつかの例において、多数の軌道は、後退ホライズン技法に従って（例えば、技術的な許容範囲内で）実質的に同時に生成されてよく、ここで、多様な軌道のうちの１つが、ナビゲートすべき車両２０２のために選択される。様々な例において、車両が環境を通過するための軌道は、予測コンポーネント２２８によって決定される軌道テンプレート及び／または予測軌道に基づいて決定され得る。
【0068】
いくつかの例では、機械学習コンポーネント２３２は、軌道テンプレート及び／または予測軌道を計画コンポーネント２３６に直接提供してもよく、計画コンポーネント２３６は、次に、車両２０２が実行するためのアクションを選択または決定することができ、及び／または車両２０２がたどる軌道を生成することができる。
【0069】
いくつかの例では、本明細書で説明されるコンポーネントのいくつかまたは全ての態様は、任意のモデル、アルゴリズム、及び／または機械学習アルゴリズムを含むことができる。例えば、場合によっては、メモリ２１８（および以下で説明されるメモリ２４２）におけるコンポーネントは、ニューラルネットワークとして実装することができる。
【0070】
本明細書で説明されるように、例示的なニューラルネットワークは、入力データが連続して接続された層を通して出力を生じさせる生物学に着想を得たアルゴリズムである。ニューラルネットワークの各層が、別のニューラルネットワークを備えることも可能であり、または任意の数の層（畳み込み層であるか否かにかかわらず）を備えることが可能である。本開示のコンテキストで理解することができるように、ニューラルネットワークは、機械学習を利用することができ、機械学習は、出力が学習されたパラメータに基づいて生成されるそのような幅広いクラスのアルゴリズムを指すことが可能である。
【0071】
ニューラルネットワークのコンテキストで論じられているが、任意のタイプの機械学習が本開示と調和して使用され得る。例えば、機械学習アルゴリズムは、回帰アルゴリズム（例えば、通常の最小二乗回帰（ＯＬＳＲ）、線形回帰、ロジスティック回帰、段階的回帰、多変量適応回帰スプライン（ＭＡＲＳ）、局所的に推定される散布図の平滑化（ＬＯＥＳＳ）、インスタンスベースのアルゴリズム（例えば、リッジ回帰、最小絶対値縮小選択演算子（ＬＡＳＳＯ）、弾性ネット、最小角回帰（ＬＡＲＳ）、決定木アルゴリズム（例えば、分類回帰木（ＣＡＲＴ）、反復二分法３（ＩＤ３）、カイ二乗自動相互作用検出（ＣＨＡＩＤ）、決定株、条件付き決定木）、ベイジアンアルゴリズム（例えば、ナイーブベイズ、ガウスナイーブベイズ、多項式ナイーブベイズ、平均１依存性推定器（ＡＯＤＥ）、ベイジアン信頼度ネットワーク（ＢＮＮ）、ベイジアンネットワーク）、クラスタリングアルゴリズム（例えば、ｋ平均法、ｋメジアン法、期待値最大化（ＥＭ）、階層的クラスタリング）、関連規則学習アルゴリズム（例えば、パーセプトロン、誤差逆伝播法、ホップフィールドネットワーク、動径基底関数ネットワーク（ＲＢＦＮ））、深層学習アルゴリズム（例えば、深層ボルツマンマシン（ＤＢＭ）、深層信頼ネットワーク（ＤＢＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、積層型オートエンコーダ）、次元削減アルゴリズム（例えば、主成分分析（ＰＣＡ）、主成分回帰（ＰＣＲ）、部分最小二乗回帰（ＰＬＳＲ）、サモンマッピング、多次元スケーリング（ＭＤＳ）、射影追跡法、線形判別分析（ＬＤＡ）、混合判別分析（ＭＤＡ）、二次判別分析（ＱＤＡ）、柔軟な判別分析（ＦＤＡ））、アンサンブルアルゴリズム（例えば、ブースティング、ブートストラップ集約（バギング）、エイダブースト、階層型一般化（ブレンディング）、勾配ブースティングマシン（ＧＢＭ）、勾配ブースト回帰木（ＧＢＲＴ）、ランダムフォレスト）、ＳＶＭ（サポートベクトルマシン）、教師あり学習、教師なし学習、半教師あり学習などを含むことができるが、これらに限定されない。
【0072】
アーキテクチャのさらなる例は、ＲｅｓＮｅｔ５０、ＲｅｓＮｅｔ１０１、ＶＧＧ、ＤｅｎｓｅＮｅｔ、ＰｏｉｎｔＮｅｔなどのニューラルネットワークを含む。
【0073】
少なくとも１つの例において、センサシステム２０６は、ライダーセンサ、レーダーセンサ、超音波トランスデューサ、ソナーセンサ、位置センサ（例えば、ＧＰＳ、コンパスなど）、慣性センサ（例えば、慣性測定ユニット（ＩＭＵ）、加速度計、磁力計、ジャイロスコープなど）、カメラ（例えば、ＲＧＢ、ＩＲ、強度、深度）、飛行時間センサ、マイク、ホイールエンコーダ、環境センサ（例えば、温度センサ、湿度センサ、光センサ、圧力センサなど）、などを含んでよい。センサシステム２０６は、これらのまたは他のタイプのセンサのそれぞれの複数のインスタンスを含み得る。例えば、ライダーセンサは、車両２０２の角部、前部、後部、側部、及び／または上部に位置する個々のライダーセンサを含んでよい。別の例として、カメラセンサは、車両２０２の外部及び／または内部についての様々な位置に配置される多数のカメラを含んでよい。センサシステム２０６は、車両コンピューティングデバイス２０４に入力を提供し得る。追加的または代替的に、センサシステム２０６は、１つまたは複数のネットワーク２４０を介して、所定の期間の経過後、ほぼリアルタイムなどで、特定の周波数で１つまたは複数のコンピューティングデバイス２３８にセンサデータを送信し得る。
【0074】
車両２０２はまた、上述したように、光及び／または音を発するための１つまたは複数のエミッタ２０８を含んでもよい。この例示のエミッタ２０８は、車両２０２の乗客と通信するための内部オーディオ及びビジュアルエミッタを含む。例示の目的で、限定ではなく、内部エミッタは、スピーカー、ライト、サイン、ディスプレイスクリーン、タッチスクリーン、触覚エミッタ（例えば、振動及び／またはフォースフィードバック）、機械式アクチュエータ（例えば、シートベルトテンショナー、シートポジショナー、ヘッドレストポジショナーなど）などを含むことができる。この例におけるエミッタ２０８は、また、外部エミッタを含む。例示の目的で、限定ではなく、この例における外部エミッタは、移動の方向の信号を送る照明、または車両の行動の他のインジケータ（例えば、インジケータ照明、標識、照明アレイなど）、ならびに歩行者、または音響ビームステアリング技術を含む１つまたは複数の近隣の他の車両と音響で通信する１つまたは複数のオーディオエミッタ（例えば、スピーカー、スピーカーアレイ、ホーンなど）を含む。
【0075】
車両２０２は、また、車両２０２と１つまたは複数の他のローカルまたは遠隔コンピューティングデバイスと間の通信を可能とする１つまたは複数の通信接続２１０も含んでよい。例えば、通信接続２１０は、車両２０２上の他のローカルコンピューティングデバイス及び／またはドライブシステム２１４との通信を容易にし得る。また、通信接続２１０は、車両２０２が他の近くのコンピューティングデバイス（例えば、他の近くの車両、交通信号など）と通信することを可能にし得る。また、通信接続２１０は、車両２０２が遠隔操作のコンピューティングデバイスまたは他の遠隔サービスと通信することを可能とする。
【0076】
通信接続２１０は、車両コンピューティングデバイス２０４を別のコンピューティングデバイスまたはネットワーク２４０などのネットワークに接続するための物理及び／または論理インターフェースを含んでよい。例えば、通信接続２１０は、ＩＥＥＥ８０２．１１規格によって定義される周波数、ブルートゥースのような短距離無線周波数、セルラー通信（例えば、２Ｇ、３Ｇ、４Ｇ、４Ｇ ＬＴＥ、５Ｇなど）、またはそれぞれのコンピューティングデバイスが他のコンピューティングデバイスとインターフェース接続することを可能にする任意の適切な有線もしくは無線通信プロトコルを介するなどして、Ｗｉ－Ｆｉベースの通信を有効にし得る。
【0077】
少なくとも１つの例では、車両２０２は、１つまたは複数のドライブシステム２１４を含み得る。いくつかの例では、車両２０２は、単一のドライブシステム２１４を含み得る。少なくとも１つの例では、車両２０２が複数のドライブシステム２１４を含む場合、個々のドライブシステム２１４は、車両２０２の反対側の端部（例えば、前部及び後部など）に配置されてもよい。少なくとも１つの例では、ドライブシステム２１４は、ドライブシステム２１４及び／または車両２０２の周囲の状態を検出するための１つまたは複数のセンサシステムを含み得る。例示の目的で、限定ではなく、センサシステムは、ドライブシステムのホイールの回転を感知するための１つまたは複数のホイールエンコーダ（例えば、ロータリーエンコーダ）、ドライブシステムの方向及び加速度を測定するための慣性センサ（例えば、慣性測定ユニット、加速度計、ジャイロスコープ、磁力計など）、カメラまたは他の画像センサ、ドライブシステムの周囲の状態におけるオブジェクトを音響的に検出するための超音波センサ、ライダーセンサ、レーダーセンサなどを含んでよい。ホイールエンコーダなどのいくつかのセンサは、ドライブシステム２１４に固有とすることができる。場合によっては、ドライブシステム２１４上のセンサシステムは、車両２０２の対応するシステム（例えば、センサシステム２０６）と重複してよく、またはそれを補足してもよい。
【0078】
ドライブシステム２１４は、高電圧バッテリー、車両を推進させるためのモーター、他の車両システムによる使用のためにバッテリーからの直流を交流へと変換するためのインバーター、ステアリングモーター及びステアリングラックを含むステアリングシステム（これは電動式とすることが可能である）、油圧または電動アクチュエータを含むブレーキシステム、油圧及び／または空気圧コンポーネントを含むサスペンションシステム、トラクションの損失を緩和し、制御を維持するために制動力を分配するための安定性制御システム、ＨＶＡＣシステム、照明（例えば、車両の外部周囲を照らすためのヘッド／テールライトのような照明）、及び１つまたは複数の他のシステム（例えば、冷却システム、安全システム、車載充電システム、ＤＣ／ＤＣコンバーターのような他の電気部品、高電圧ジャンクション、高電圧ケーブル、充電システム、充電ポートなど）を含む車両システムの多くを含んでよい。さらに、ドライブシステム２１４は、センサシステムからデータを受信して前処理をすることができる、様々な車両システムの動作を制御するためのドライブシステムコントローラを含んでよい。いくつかの例において、ドライブシステムコントローラは、１つまたは複数のプロセッサと、１つまたは複数のプロセッサと通信可能に結合されたメモリとを含むことができる。メモリは、ドライブシステム２１４の様々な機能を実行するための１つまたは複数のコンポーネントを記憶することができる。さらに、ドライブシステム２１４はまた、それぞれのドライブシステムによる、１つまたは複数の他のローカルまたはリモートコンピューティングデバイスとの通信を可能にする１つまたは複数の通信接続を含む。
【0079】
少なくとも１つの例において、直接接続２１２は、１つまたは複数のドライブシステム２１４を車両２０２の本体と結合するための物理的インターフェースを提供してよい。例えば、直接接続２１２は、ドライブシステム２１４と車両との間のエネルギー、流体、空気、データなどの転送を可能とすることができる。いくつかの例において、直接接続２１２は、ドライブシステム２１４を車両２０２の本体にさらに解放可能に固定し得る。
【0080】
いくつかの例では、車両２０２は、ネットワーク２４０を介してセンサデータを１つまたは複数のコンピューティングデバイス２３８に送信し得る。いくつかの例では、車両２０２は、生のセンサデータをコンピューティングデバイス２３８に送信し得る。他の例では、車両２０２は処理されたセンサデータ及び／またはセンサデータの表現をコンピューティングデバイス２３８に送信し得る。いくつかの例において、車両２０２は、所定の期間が経過した後で、ほぼリアルタイムで、などにおいて、センサデータを特定の周波数でコンピューティングデバイス２３８に送信し得る。場合によっては、車両２０２は、センサデータ（生または処理済み）を１つまたは複数のログファイルとしてコンピューティングデバイス２３８に送信し得る。
【0081】
コンピューティングデバイス２３８は、プロセッサ２４４及び訓練コンポーネント２４６を記憶するメモリ２４２を含み得る。いくつかの例では、訓練コンポーネント２４６は、１つまたは複数の軌道テンプレート及び／または予測軌道を出力するように機械学習モデルを訓練する機能を含んでもよい。機械学習モデルは、将来のある時（例えば、予測範囲の終わり）に予測されたオブジェクト位置を表す軌道テンプレート及び／またはヒートマップを出力するように構成された第１のネットワークまたはネットワークの第１のセット、予測軌道を出力するように構成された第２のネットワークまたはネットワークの第２のセットを含んでよい。いくつかの例では、ネットワークの第２のセットは、軌道テンプレートに関連付けられた分類に基づいて予測軌道を決定するように構成されたネットワークを含み得る。いくつかの例では、第１のネットワークまたはネットワークの第１のセットは、１つまたは複数のクラスタリングアルゴリズムを利用して訓練され得、第２のネットワークまたはネットワークの第２のセットは、１つまたは複数の回帰アルゴリズムを利用して訓練され得る。
【0082】
いくつかの例では、訓練コンポーネント２４６は、予測確率を含む１つまたは複数のヒートマップを出力するように機械学習モデルを訓練する機能を含み得る。例えば、訓練コンポーネント２４６は、環境のトップダウンビューを表す画像のセットを受信し得る。場合によっては、画像のセットは、５秒、７秒、１０秒、２０秒などの一定期間環境を通過する１つまたは複数のオブジェクトを表し得る。画像のセットの少なくとも一部は、機械学習モデルを訓練するための入力として使用され得、画像のセットの少なくとも一部は、機械学習モデルを訓練するためのグラウンドトゥルース情報として使用され得る。非限定的な例として、画像のシーケンスの第１のセット（例えば、３、４、５、またはそれ以上）は、機械学習モデルに入力され得る。場合によっては、車両２０２の経路及び／またはルート（例えば、軌道）は、同様に訓練のために入力されてもよい（例えば、マルチチャネル画像のチャネルとして符号化されてもよい）。次いで、第１のセットの直前の画像のシーケンス内の第２のセットの画像（または、例えば、画像から位置及び／または速度を抽出することによって、そこから関連付けられた軌道情報）は、モデルを訓練するためのグラウンドトゥルースとして使用され得る。したがって、オブジェクトが環境を横断する記録された軌道の画像を提供することによって、予測コンポーネント２２８は、本明細書で説明されるように、予測確率を含む軌道テンプレート、予測軌道、及び／またはヒートマップを出力するように訓練され得る。
【0083】
いくつかの例では、訓練コンポーネント２４６は、シミュレータによって生成された訓練データを含み得る。例えば、シミュレートされた訓練データは、追加の訓練例を提供するために、車両が環境内のオブジェクトに衝突するか、または環境内のオブジェクトにもう少しで衝突する例を表すことができる。
【0084】
訓練コンポーネント２４６の追加の詳細は、図２Ｂに関連して、ならびに本開示を通して以下で説明される。
【0085】
車両２０２のプロセッサ２１６及びサービスコンピューティングデバイス２３８のプロセッサ２４４は、本明細書で説明されるように、データを処理して動作を実行するための命令を実行することが可能である任意の適切なプロセッサであってよい。限定ではない例として、プロセッサ２１６及び２４４は、１つまたは複数の中央処理装置（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、または、電子データを処理してその電子データをレジスタ及び／またはメモリに記憶することができる他の電子データへと変換する任意の他のデバイスまたはデバイスの一部を含んでよい。いくつかの例では、集積回路（例えば、ＡＳＩＣなど）、ゲートアレイ（例えば、ＦＰＧＡなど）、及び他のハードウェアデバイスはまた、それらがエンコードされた命令を実装するよう構成される限り、プロセッサとみなすことができる。
【0086】
メモリ２１８及び２４２は、非一時的なコンピュータ可読媒体の例示である。メモリ２１８及び２４２は、オペレーティングシステム及び１つまたは複数のソフトウェアアプリケーション、命令、プログラム、ならびに／または本明細書で説明される方法及び様々なシステムに起因する機能を実行するデータを記憶し得る。様々な実装において、メモリは、任意の適切なメモリ技術、例えば、スタティックランダムアクセスメモリ（ＳＲＡＭ）、シンクロナスダイナミックＲＡＭ（ＳＤＲＡＭ）、不揮発性／フラッシュタイプメモリ、または、情報を記憶することが可能な任意の他のタイプのメモリなどを使用して、実装されることが可能である。本明細書で説明されるアーキテクチャ、システム、及び個々の要素は、多くの他の論理的、プログラム的、及び物理的なコンポーネントを含むことができ、添付図面に示されるそれらは本明細書での説明に関連する単なる例にすぎない。
【0087】
いくつかの例では、メモリ２１８及び２４２は、少なくともワーキングメモリ及びストレージメモリを含み得る。例えば、ワーキングメモリは、プロセッサ２１６及び２４４によって操作されるデータを記憶するために用いられる制限された容量の高速メモリ（例えば、キャッシュメモリ）であってよい。場合によっては、メモリ２１８及び２４２は、データの長期記憶に使用される比較的大きな容量の低速メモリであり得る記憶メモリを含み得る。場合によっては、プロセッサ２１６及び２４４は、本明細書で説明されるように、記憶メモリに記憶されているデータを直接操作しない場合があり、データは、データに基づく動作を実行させるためにワーキングメモリへとロードされる必要がある場合がある。
【0088】
図２は分散システムとして示されているが、代替の例では、車両２０２の構成要素は、コンピューティングデバイス２３８に関連付けられ得、及び／またはコンピューティングデバイス２３８の構成要素は、車両２０２に関連付けられ得ることに留意されたい。すなわち、車両２０２は、コンピューティングデバイス２３８に関連する１つまたは複数の機能を実行し得、逆もまた同様である。
【0089】
【0090】
いくつかの例では、訓練データ２５０は、車両が環境を通過するときに捕捉されるデータを含んでもよい。様々な例において、訓練データ２５０は、訓練データ内の各オブジェクトに関連付けられたオブジェクトのタイプ（例えば、歩行者、車両、自転車運転者など）を含み得る。いくつかの例では、訓練データ２５０は、環境に関連付けられた１つまたは複数のシナリオ（例えば、高速道路、ジャンクション（例えば、道路分割、４方向交差点など））に対応する情報を含み得る。そのような例では、機械学習コンポーネント２３２は、異なるタイプのオブジェクト及び／または異なるシナリオに関連付けられたデータに基づいて、軌道テンプレート及び予測軌道を決定するように訓練され得る。いくつかの例では、入力２５２は、訓練データ２５０に少なくとも部分的に基づいてもよい。
【0091】
１つまたは複数のマルチチャネル画像を含む入力２５２は、機械学習コンポーネント２３２に入力されてもよい。上述したように、機械学習コンポーネント２３２は、クラスタリングアルゴリズムなどの１つまたは複数の教師なし学習アルゴリズムを利用して、オブジェクトに関連付けられた軌道テンプレートを決定し得る。
【0092】
いくつかの例では、機械学習コンポーネント２３２は、ＲｅｓＮｅｔアーキテクチャを含んでもよい。いくつかの例では、機械学習コンポーネント２３２は、ベースバックボーンとしてＲｅｓＮｅｔアーキテクチャを含み得る。
【0093】
いくつかの例では、出力特徴マップは、１×１の畳み込みを通過して最終チャネル寸法を取得してもよく、最終チャネル寸法は、出力２５６（例えば、軌道テンプレート及び予測軌道）として表される入力分解能に一致するように（例えば、アップサンプリングコンポーネント２５４を介して）双線形（または他の方法で）アップサンプリングされ得る。
【0094】
いくつかの例では、機械学習コンポーネント２３２からの出力ロジットは、シグモイド交差エントロピー損失を使用して、訓練データ２５０（例えば、占有マップを表すグラウンドトゥルース）と比較され得る。
【0095】
クロスエントロピー損失及び／または確率質量コンポーネント２５８は、出力ロジットを訓練データ２５０と比較する機能を含んでよい。次いで、結果として生じる損失行列は、以下の関数に従って、訓練データ２５０内の占有された画素と占有されていない画素とにわたってバランスがとられ得る。
【0096】
【数1】
【0097】
ここで、Ｌiは、将来の第ｉステップでのシグモイド交差エントロピー損失から得られる損失行列であり、Ｎは、予測される将来のステップの数である。1occupied及び1unoccupiedという用語は、将来のオブジェクトの占有及び非占有マップを表すインジケータ行列であり、占有及び非占有という用語は、将来の占有及び非占有セルの数を表す。占有にわたってバランスを取ることは、占有されている勾配と占有されていない勾配の等しい数（またはほぼ等しい数）が逆伝播を通過し、予測コンポーネント２２８が全てのセルを占有されていると、または全てのセルを占有されていないと予測するように偏らないことを確実にする。
【0098】
上記の式（１）で指定された密なセグメンテーションコストは、シーン内のエンティティの総数を保存しない場合がある。いくつかの例では、クロスエントロピー損失及び／または確率質量コンポーネント２５８は、シーン内の予測コンポーネント２２８によって予測される全確率質量（例えば、ヒートマップに関連付けられた確率の合計、予測される将来の位置に関連付けられた全確率分布）と、占有セルの実際の数との間の差を最小化するための追加のコストを含み得る。
【0099】
【数2】
【0100】
ここで、φiは、将来のステップｉにおける占有マップを表す。確率質量コンポーネントを追加することによって、予測コンポーネント２２８は、追加の確率質量を生成することなく、利用可能なセル間に総確率質量を分配し得る。例えば、自律走行車が２つの可能なモードを有する場合、ネットワークは、２つのモード間で占有の確率を分配し得、任意の追加の占有確率を追加しない場合がある。
【0101】
さらに、シーンの質量を制約または他の方法で管理することは、追加のオブジェクトを環境に追加するネットワークの可用性を制限し、処理を簡素化し得る。
【0102】
図３は、本開示の例に従って、オブジェクトに関連付けられた決定された軌道テンプレート３０６に関連付けられた予測軌道３０４を決定するように構成された軌道ネットワーク３０２を含む予測システム３００を図示する。
【0103】
図示されるように、予測システム３００の第１のネットワーク３０８（図示されるネットワークＡ）は、車両の環境を表す１つまたは複数の画像３１０を受信し得る。画像３１０は、本明細書に記載されるように、マルチチャネル画像を含み得る。画像は、オブジェクトデータ（例えば、環境内で検出されたオブジェクトを表すバウンディングボックス、オブジェクトに関連付けられた速度情報（ｘ方向及びｙ方向）、オブジェクトに関連付けられた加速度情報（ｘ方向及びｙ方向）、オブジェクトのタイプ（例えば、車両、歩行者、自転車運転者、スクーター、スケートボードなど）、バウンディングボックスに関連付けられたブリンカー状態（例えば、左折、右折、ブレーキ、リバース、ハザード、ライトなしなど）など）、道路ネットワーク情報（例えば、車線、横断歩道、停止標識、交差点、交通信号などを示す意味ラベル）、環境内の１つまたは複数のシナリオ（例えば、高速道路、ジャンクション（例えば、道路分割、４車線交差点など）、信号状態（例えば、赤色、黄色、緑色など）、車両データ（例えば、ルート、軌道など）などを含んでよいが、これらに限定されない。そのような画像では、オブジェクト及び環境に関する意味情報は、本明細書で詳細に説明されるように、１つまたは複数のチャネルで符号化され得る。
【0104】
第１のネットワーク３０８は、画像３１０を受信し、環境を表すグローバル特徴マップ３１２を生成するように構成され得る。様々な例において、第１のネットワーク３０８は、ニューラルネットワークを含み得る。少なくとも１つの例では、第１のネットワーク３０８は、ＣＮＮを含んでもよいが、他のタイプのネットワークが本明細書で企図される。様々な例において、特徴マップ３１２は、環境内の検出されたオブジェクトの共同履歴を表し得る。共同履歴は、オブジェクト間の依存関係（例えば、あるオブジェクトの別のオブジェクトへの反応）を含み得る。共同履歴は、独立したオブジェクト（例えば、他のオブジェクトに関係なく動作するオブジェクト）を含み得る。
【0105】
様々な例において、予測システム３００は、特徴マップ３１２に基づいて１つまたは複数のオブジェクトごとの特徴３１４を決定するように構成され得る。いくつかの例では、オブジェクトごとの特徴３１４は、各検出されたオブジェクトに関連付けられた特徴ベクトルを表し得る。様々な例において、オブジェクトごとの特徴３１４は、特徴マップ３１２に表される各オブジェクトに関連付けられた空間位置に基づいてもよい。
【0106】
様々な例において、オブジェクトごとの特徴３１４は、テンプレートネットワーク３１６に入力され得る。そのような例では、テンプレートネットワーク３１６は、入力されたオブジェクトごとの特徴３１４に部分的に基づいて、検出された各オブジェクト（例えば、１つまたは複数の軌道テンプレート３０６）に関連付けられた軌道テンプレート３０６を出力するように構成され得る。様々な例において、テンプレートネットワーク３１６は、ニューラルネットワークを含み得る。いくつかの例では、テンプレートネットワーク３１６は、高密度ニューラルネットワークを含み得る。少なくとも１つの例では、テンプレートネットワーク３１６は、教師なし学習アルゴリズムを利用して訓練され得るが、任意のタイプの機械学習は、本開示と一致して使用され得る。
【0107】
様々な例において、軌道テンプレート３０６及びオブジェクトごとの特徴３１４は、組み合わされ（例えば、連結され）、軌道ネットワーク３０２に入力され得る。軌道ネットワーク３０２は、各検出されたオブジェクトに関連付けられた予測軌道３０４を出力するように構成され得る。様々な例において、軌道ネットワーク３０２は、ニューラルネットワークを含み得る。いくつかの例では、軌道ネットワーク３０２は、密なニューラルネットワークを含み得る。軌道ネットワーク３０２は、教師なし及び／または教師あり学習アルゴリズムを利用して訓練されてもよいが、任意のタイプの機械学習が本開示と一致して使用されてもよい。例示的な例では、単一の軌道ネットワーク３０２は、出力軌道テンプレート３０６のそれぞれについて予測軌道３０４を決定するように構成され得る。他の例では、図４に示されるように、予測システム３００は、それぞれが特定の軌道テンプレート３０６の予測軌道３０４を決定するように構成される、２つ以上の軌道ネットワーク３０２を含み得る。
【0108】
様々な例において、予測システムは、観測データ（例えば、グラウンドトゥルースオブジェクト軌道３２２）に基づいて予測システムの少なくとも１つのネットワークを訓練するように構成された訓練コンポーネント２３４などの訓練コンポーネント３２０を含み得る。様々な例において、訓練コンポーネント３２０は、３２４でグラウンドトゥルースオブジェクト軌道３２２から軌道テンプレートを抽出し得る。いくつかの例では、グラウンドトゥルースオブジェクト軌道３２２は、車両動作（例えば、環境内で動作する車両）中に知覚システムによって観測される軌道（例えば、実際のオブジェクト軌道）を含んでもよい。そのような軌道テンプレートは、例えば、動きをいくつかのタイプの動き（動かないまま、車線を変える、車線に留まる、左に曲がる、右に曲がるなど）に広く分類することに基づいて決定されてよい。
【0109】
いくつかの例では、グラウンドトゥルースオブジェクト軌道３２２から（３２４で）抽出された軌道テンプレートは、３２６で連結されてもよく、連結されたデータは、軌道ネットワーク３０２及び／またはテンプレートネットワーク３１６を訓練するために使用されてもよい。
【0110】
様々な例において、テンプレートネットワーク３１６及び軌道ネットワーク３０２は、共同で訓練され得る。そのような例では、軌道テンプレート３０６は、訓練において予測軌道３０４を補強し得、逆もまた同様である。
【0111】
図４は、本開示の例による、軌道テンプレート４０６の第１の軌道テンプレートに基づいて第１の予測軌道４０４を決定するように構成された第１の軌道ネットワーク４０２と、軌道テンプレート４０６の第２の軌道テンプレートに基づいて第２の予測軌道４１０を決定するように構成された第２の軌道ネットワーク４０８とを含む、例示的な予測システム４００を示す。
【0112】
図示されるように、予測システム４００の第１のネットワーク４１２（図示されるネットワークＡ）は、車両の環境を表す１つまたは複数の画像４１４を受信し得る。画像４１４は、本明細書に記載されるように、マルチチャネル画像を含み得る。画像は、オブジェクトデータ（例えば、環境内で検出されたオブジェクトを表すバウンディングボックス、オブジェクトに関連付けられた速度情報（ｘ方向及びｙ方向）、オブジェクトに関連付けられた加速度情報（ｘ方向及びｙ方向）、オブジェクトのタイプ（例えば、車両、歩行者、自転車運転者、スクーター、スケートボードなど）、バウンディングボックスに関連付けられたブリンカー状態（例えば、左折、右折、ブレーキ、リバース、ハザード、ライトなしなど）など）、道路ネットワーク情報（例えば、車線、横断歩道、停止標識、交差点、交通信号などを示す意味ラベル）、環境内の１つまたは複数のシナリオ（例えば、高速道路、ジャンクション（例えば、道路分割、４車線交差点など）、信号状態（例えば、赤色、黄色、緑色など）、車両データ（例えば、ルート、軌道など）などを含んでよいが、これらに限定されない。そのような画像では、オブジェクト及び環境に関する意味情報は、本明細書で詳細に説明されるように、１つまたは複数のチャネルで符号化され得る。
【0113】
第１のネットワーク４１２は、画像４１４を受信し、環境を表すグローバル特徴マップ４１６を生成するように構成され得る。様々な例において、第１のネットワーク４１２は、ニューラルネットワークを含み得る。少なくとも１つの例では、第１のネットワーク４１２は、ＣＮＮを含んでもよいが、他のタイプのネットワークが本明細書で企図される。様々な例において、特徴マップ４１６は、環境内の検出されたオブジェクトの共同履歴を表し得る。共同履歴は、オブジェクト間の依存関係（例えば、あるオブジェクトの別のオブジェクトへの反応）を含み得る。いくつかの例では、共同履歴は、環境内のオブジェクトの物理的な近接性（例えば、第１のオブジェクトと第２のオブジェクトとの間の閾値未満の距離）、閾値未満の瞬間の軌道間の角度（例えば、オブジェクトが互いに近づいているかもしれないことを示す）などによって決定され得る。共同履歴は、独立したオブジェクト（例えば、他のオブジェクトに関係なく動作するオブジェクト）を含み得る。
【0114】
様々な例において、予測システム４００は、特徴マップ４１６に基づいて１つまたは複数のオブジェクトごとの特徴４１８を決定するように構成され得る。いくつかの例では、オブジェクトごとの特徴４１８は、各検出されたオブジェクトに関連付けられた特徴ベクトルを表し得る。様々な例において、オブジェクトごとの特徴４１８は、特徴マップ４１６に表される各オブジェクトに関連付けられた空間位置に基づいてもよい。
【0115】
様々な例において、オブジェクトごとの特徴４１８は、テンプレートネットワーク４２０に入力され得る。テンプレートネットワーク４２０は、各検出オブジェクトに関連付けられた軌道テンプレート４０６（例えば、１つまたは複数の軌道テンプレート４０６）を出力するように構成され得る。様々な例において、テンプレートネットワーク４２０は、ニューラルネットワークを含み得る。いくつかの例では、テンプレートネットワーク４２０は、密なニューラルネットワークを含み得る。少なくとも１つの例では、テンプレートネットワーク４２０は、教師なし学習アルゴリズムを利用して訓練され得るが、任意のタイプの機械学習は、本開示と一致して使用され得る。
【0116】
様々な例において、軌道テンプレート４０６の第１の軌道テンプレート及び第１の軌道テンプレートに対応する第１のオブジェクトに関連付けられたオブジェクトごとの特徴４１８は、第１のオブジェクトに関連付けられた第１の予測軌道４０４を決定するために、第１の軌道ネットワーク４０２に入力され得る。いくつかの例では、軌道テンプレート４０６の第２の軌道テンプレート及び第２の軌道テンプレートに対応する第２のオブジェクトに関連付けられたオブジェクトごとの特徴４１８は、第２のオブジェクトに関連付けられた第２の予測軌道４１０を決定するために、第２の軌道ネットワーク４０８に入力されてもよい。
【0117】
軌道ネットワーク４０２及び４０８は、第１のオブジェクト及び第２のオブジェクトに関連付けられた予測軌道４０４及び４１０を出力するように構成され得る。いくつかの例では、予測軌道４０４及び４１０は、それぞれ第１のオブジェクト及び第２のオブジェクトに関連付けられ得る。そのような例では、第１の軌道ネットワーク４０２は、第１のオブジェクトに関連付けられた第１の予測軌道４０４を、それに関連付けられた軌道テンプレートに基づいて出力し得、第２の軌道ネットワーク４０８は、第２のオブジェクトに関連付けられた第２の予測軌道４１０を、それに関連付けられた軌道テンプレート４０６に基づいて出力し得る。いくつかの例では、第１の予測軌道４０４及び第２の予測軌道４１０は、例えばそれに関連付けられた異なる軌道テンプレート４０６に基づいて、第１のオブジェクトまたは第２のオブジェクトのうちの１つに関連付けられ得る。そのような例では、本明細書に記載の技術は、オブジェクトに関連付けられた予測をさらに改善し得る。例えば、第１のオブジェクトは、それに第１の軌道テンプレート（右折）及び第２の軌道テンプレート（左折）と関連付けられ得る。第１の予測軌道４０４は、第１のオブジェクトに関連付けられた第１の軌道テンプレートに基づいてもよく、第２の予測軌道４１０は、第１のオブジェクトに関連付けられた第２の軌道テンプレートに基づいてもよい。様々な例において、軌道ネットワーク４０２及び４０８は、ニューラルネットワークを含み得る。いくつかの例では、軌道ネットワーク４０２及び４０８は、密なニューラルネットワークを含み得る。軌道ネットワーク４０２及び４０８は、教師なし及び／または教師あり学習アルゴリズムを利用して訓練されてもよい。
【0118】
様々な例において、第１の軌道ネットワーク４０２は、第１の軌道テンプレートに関連付けられ得、第２の軌道ネットワーク４０８は、第２の（異なる）軌道テンプレートに関連付けられ得る。そのような例では、第１の軌道ネットワークは、第１の軌道テンプレートと関連付けられた訓練データを利用して訓練され得、第２の軌道ネットワークは、第２の軌道テンプレートと関連付けられた訓練データを利用して訓練され得る。いくつかの例では、第１の軌道ネットワーク４０２は、第１の軌道テンプレートと関連付けられた第１の分類（例えば、動きの分類、動きのクラス、右折、直進、左折など）と関連付けられ得、第２の軌道ネットワーク４０８は、第２の軌道テンプレートと関連付けられた第２の分類と関連付けられ得る。例えば、第１の軌道ネットワークは、右への予測された一般的な（例えば、粗い）移動に関連付けられた軌道テンプレートに関連付けられた予測軌道を決定するように訓練されてもよく、第２の軌道ネットワークは、左への予測された一般的な移動に関連付けられた軌道テンプレートに関連付けられた予測軌道を決定するように訓練されてもよいが、これは例示的な目的のための例にすぎず、そのように限定することを意図するものではない。図３に例示されるようないくつかの例では、単一のネットワークは、１つまたは複数の軌道テンプレート４０６の予測軌道を決定するように構成され得る。いくつかの例では、単一のネットワークは、テンプレートネットワーク４２０によって出力される全ての軌道テンプレートの予測軌道を決定するように構成され得る。
【0119】
図１、２Ｂ、５、及び６は、本開示の実施形態による例示的なプロセスを示す。これらのプロセスは、論理フローグラフとして示され、それぞれの動作は、ハードウェア、ソフトウェア、またはそれらの組み合わせにおいて実装されることが可能である一連の動作を表す。ソフトウェアのコンテキストにおいて、動作は、１つまたは複数のプロセッサによって実行された場合に、列挙した動作を実行する１つまたは複数のコンピュータ可読記憶媒体に記憶されたコンピュータ実行可能命令を表す。一般に、コンピュータ実行可能命令は、具体的な機能を実行するか、または具体的な抽象データ型を実装するルーティン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。動作が説明される順序は、限定として解釈されることが意図されるわけではなく、任意の数の説明される動作が、プロセスを実装するために任意の順序で、及び／または並行して組み合わされることが可能である。
【0120】
図５は、本開示の例による、オブジェクトが車両の環境に存在することを決定し、オブジェクトに関連付けられた軌道テンプレート及び予測軌道を決定し、予測軌道に部分的に基づいて車両を制御するための例示的なプロセス５００を示す図である。例えば、本明細書で説明されるように、プロセス５００のうちの一部または全ては、図２Ａにおける１つまたは複数のコンポーネントによって実行され得る。例えば、プロセス５００の一部または全ては、車両コンピューティングデバイス２０４及び／またはコンピューティングデバイス２３８によって実行されてもよい。
【0121】
動作５０２において、プロセスは、環境に関連付けられたセンサデータを受信することを含み得る。センサデータは、車両の１つまたは複数のセンサ及び／または１つまたは複数のリモートセンサによって捕捉され得る。例えば、センサデータは、ライダーセンサ、レーダーセンサ、画像センサ、飛行時間センサ、ソナーセンサなどのうちの１つまたは複数によって捕捉されるデータを含み得る。いくつかの例では、動作５０２は、複数のセンサを使用してセンサデータを取り込むことと、センサデータを環境の詳細かつ有益な表現に融合しまたは組み合わせることとを含み得る。例えば、センサデータは、バウンディングボックス情報、速度／加速度情報、分類等を含んでよいが、これらに限定されない。いくつかの例では、環境に関する追加データ（横断歩道の位置、車線境界など）を符号化し得る追加データ（マップデータなど）を受信し得る。
【0122】
動作５０４において、プロセスは、オブジェクトがセンサデータに表されるかどうかを決定することを含み得る。例えば、動作５０４は、センサデータの少なくとも一部を検出器に入力すること、または検出または知覚アルゴリズム（例えば、知覚コンポーネント２２２）にデータを提供して、環境内の１つまたは複数のオブジェクトを識別することを含み得る。オブジェクトの例は、車両、歩行者、自転車、スケートボード、スクーターなどを含むが、これらに限定されない。オブジェクトが検出されない場合（例えば、動作５０４において「いいえ」）、プロセスは、捕捉された追加のセンサデータに対する動作５０２に戻り得る。
【0123】
オブジェクトが検出されるという決定（例えば、動作５０４における「はい」）に基づいて、動作５０６でのプロセスは、センサデータに少なくとも部分的に基づいて、環境のトップダウンビューを表す画像を生成することを含み得、画像は、オブジェクトに関連付けられたバウンディングボックスと、オブジェクトに関連付けられた速度情報とを含む。いくつかの例では、画像は（速度情報の代わりにまたはそれに加えて）加速度情報を含み得る。
【0124】
画像に含めることができる追加情報には、限定されないが、バウンディングボックスに関連付けられたオブジェクトの分類を表すバウンディングボックスの色、ｘ方向及びｙ方向におけるバウンディングボックスの速度（速度は、１つのチャネルまたは複数のチャネル内のベクトルとして、ｘ速度及びｙ速度を異なるチャネルで表すことができる）、ｘ方向及びｙ方向におけるオブジェクトの加速度（加速度は、１つのチャネルまたは複数のチャネル内のベクトルとして、ｘ加速度及びｙ加速度を異なるチャネルで表すことができる）、バウンディングボックスに関連付けられたブリンカー状態（例えば、左折、右折、ブレーキ、後進、ハザード、ライトなしなど）、道路ネットワーク情報（例えば、車線、横断歩道、停止標識、交差点、交通信号などを示す意味ラベル）、交通信号状態（例えば、赤色光、黄色光、緑色光など）などが含まれ得る。そのような画像では、オブジェクト及び環境に関する意味情報は、本明細書で詳細に説明されるように、１つまたは複数のチャネルで符号化され得る。
【0125】
本明細書で説明されるように、動作５０６は、経時的な環境内のオブジェクトの挙動を表す複数の画像を生成することを含むことができる。
【0126】
動作５０８において、プロセスは、画像を機械学習モデルに入力することを含み得る。そのような機械学習モデルは、オブジェクトに関連付けられた軌道テンプレート及び予測軌道を生成するように訓練され得る。いくつかの例では、機械学習モデルは、（例えば、ヒートマップとして）複数の予測確率を生成するように訓練され得る。機械学習モデル、軌道テンプレート、予測軌道、ヒートマップ、及び予測確率の追加の詳細は、本開示を通して議論される。
【0127】
動作５１０において、プロセスは、軌道テンプレートまたは予測軌道のうちの少なくとも１つに少なくとも部分的に基づいて車両を制御することを含み得る。いくつかの例では、車両を制御することは、環境を通過するために自律走行車のステアリング、ブレーキ、及び／または加速度のうちの１つまたは複数を制御することを含み得る。様々な例において、動作５１０は、計画コンポーネント２３６などの計画コンポーネントに軌道テンプレート及び／または予測軌道を送信することを含み得る。そのような例では、計画コンポーネントは、オブジェクトに関連付けられた軌道テンプレートまたは予測軌道のうちの少なくとも１つに少なくとも部分的に基づいて、車両制御に関連付けられた１つまたは複数の車両軌道を決定し得る。いくつかの例では、軌道テンプレートまたは予測軌道のうちの少なくとも１つに基づく車両軌道は、軌道を生成する計画コンポーネント２３６が車両に近接するエンティティのアクションをより密接に予測し得るため、軌道テンプレートまたは予測軌道のうちの少なくとも１つなしで生成された車両軌道と比較して、より安全かつ／またはより滑らかな車両軌道を表し得る。
【0128】
図６は、本開示の例による、オブジェクトに関連付けられた共同履歴に基づいて、環境内の検出されたオブジェクトに関連付けられた予測軌道を決定するための例示的なプロセス６００を示す図である。例えば、本明細書で説明されるように、プロセス６００のうちの一部または全ては、図２における１つまたは複数のコンポーネントによって実行され得る。例えば、プロセス６００の一部または全ては、車両コンピューティングデバイス２０４及び／またはコンピューティングデバイス２３８によって実行されてもよい。
【0129】
動作６０２において、プロセスは、環境に関連付けられたセンサデータを受信することを含み得る。センサデータは、車両の１つまたは複数のセンサ及び／または１つまたは複数のリモートセンサによって捕捉され得る。例えば、センサデータは、ライダーセンサ、レーダーセンサ、画像センサ、飛行時間センサ、ソナーセンサなどのうちの１つまたは複数によって捕捉されるデータを含み得る。いくつかの例では、動作６０２は、複数のセンサを使用してセンサデータを捕捉することと、センサデータを環境の詳細かつ有益な表現に融合うぃまたは組み合わせることとを含み得る。例えば、センサデータは、バウンディングボックス情報、速度／加速度情報、分類等を含んでよいが、これらに限定されない。いくつかの例では、環境に関する追加データ（横断歩道の位置、車線境界など）を符号化し得る追加データ（マップデータなど）を受信し得る。
【0130】
動作６０４において、プロセスは、１つまたは複数のオブジェクトがセンサデータ内に表されるかどうかを決定することを含み得る。例えば、動作６０４は、センサデータの少なくとも一部を検出器に入力すること、または検出もしくは知覚アルゴリズム（例えば、知覚コンポーネント２２２）にデータを提供して、環境内の１つまたは複数のオブジェクトを識別することを含み得る。オブジェクトの例は、車両、歩行者、自転車、スケートボード、スクーターなどを含むが、これらに限定されない。オブジェクトが検出されない場合（例えば、動作６０４において「いいえ」）、プロセスは、追加のセンサデータを取り込むために動作６０２に戻り得る。
【0131】
オブジェクトが検出されるという決定（例えば、動作６０４における「はい」）に基づいて、動作６０６でプロセスは、センサデータに少なくとも部分的に基づいて、環境内のオブジェクトの共同履歴（例えば、個々の動き及び／またはオブジェクト間の相互作用の組み合わされた履歴）を表す特徴マップを生成することを含み得る。様々な例において、特徴マップは、本明細書に記載されるように、複数のマルチチャネル画像の組み合わせを含み得る。オブジェクトの共同履歴は、第１のオブジェクトが第２のオブジェクトに道を譲ることの表示などの、環境内のオブジェクト間の相互作用を含み得る。
【0132】
動作６０８において、プロセスは、特徴マップに少なくとも部分的に基づいて、オブジェクトの第１のオブジェクトに関連付けられた第１の特徴ベクトル及びオブジェクトの第２のオブジェクトに関連付けられた第２の特徴ベクトルを決定することを含み得る。第１の特徴ベクトル及び第２の特徴ベクトルは、それぞれ、第１のオブジェクト及び第２のオブジェクトと関連付けられた運動を表し得る。様々な例において、第１の特徴ベクトルは、第１のオブジェクトに関連付けられた第１の空間位置に基づいてもよく、第２の特徴ベクトルは、第２のオブジェクトに関連付けられた第２の空間位置に基づいてもよい。
【0133】
動作６１０において、プロセスは、第１の特徴ベクトル及び第２の特徴ベクトルに少なくとも部分的に基づいて、第１のオブジェクトに関連付けられた第１の軌道テンプレート及び第２のオブジェクトに関連付けられた第２の軌道テンプレートを決定することを含み得る。第１の軌道テンプレート及び第２の軌道テンプレートは、それぞれ、第１のオブジェクト及び第２のオブジェクトに関連付けられた動きのインテントの分類を表し得る。例えば、第１の軌道テンプレートは、（時間Ｔ＝０からの）将来の第１のオブジェクトの一般的な（または粗い）意図された動きを表し得、第２の軌道テンプレートは、将来の第２のオブジェクトの一般的な意図された動きを表し得る。いくつかの例では、軌道テンプレートは、グリッド内の１つまたは複数の将来の位置によって表されてもよく、将来のオブジェクトの潜在的な位置をビニングすること、Ｔ＝０の前の時間、時間Ｔ＝０において、等で速度分析を実行すること、及び／またはオブジェクトの過去の位置及び／または潜在的な位置（例えば、ビニングされた、またはそうでない）上のクラスタリングアルゴリズムを利用することによって決定されてもよい。
【0134】
様々な例において、第１の軌道テンプレート及び第２の軌道テンプレートは、図３のテンプレートネットワーク３１６及び／または図４のテンプレートネットワーク４２０などのテンプレートネットワークを利用して決定され得る。テンプレートネットワークは、１つまたは複数の軌道テンプレートを出力するように構成されたニューラルネットワーク（例えば、ＣＮＮ）を表し得る。テンプレートネットワークは、入力特徴ベクトルに基づいて軌道テンプレートを出力し得る。いくつかの例では、テンプレートネットワークは、センサデータ、マルチチャネル画像、及び／またはそこから決定された特徴マップに基づいて、軌道テンプレートを出力するように構成され得る。
【0135】
動作６１２において、プロセスは、第１の特徴ベクトル及び第１の軌道テンプレートに少なくとも部分的に基づいて、第１のオブジェクトに関連付けられた第１の予測軌道を、及び第２の特徴ベクトル及び第２の軌道テンプレートに少なくとも部分的に基づいて、第２のオブジェクトに関連付けられた第２の予測軌道を決定することを含み得る。様々な例において、第１の予測軌道及び第２の予測軌道は、１つまたは複数のニューラルネットワークを利用して決定され得る。いくつかの例では、ネットワークは、密なニューラルネットワークを含み得る。
【0136】
いくつかの例では、単一のニューラルネットワークを利用して、第１の予測軌道及び第２の予測軌道を決定し得る。そのような例では、ニューラルネットワークは、意図に関係なく軌道を決定するように構成され得る（例えば、１つのニューラルネットワークは、全ての軌道テンプレートに関連付けられた軌道を決定する）。様々な例において、第１の予測軌道を決定するために第１のニューラルネットワークを利用し得、第２の予測軌道を決定するために第２のニューラルネットワークを利用し得る。そのような例では、第１の予測軌道及び第２の予測軌道が基になり得る第１の軌道テンプレート及び第２の軌道テンプレートは、第１のオブジェクト及び第２のオブジェクトのインテントの異なる分類を表し得る。例えば、第１のオブジェクトは、左への移動を含む第１の軌道テンプレートとそれに関連付けられ得、第２のオブジェクトは、右への移動を含む第２の軌道テンプレートとそれに関連付けられ得る。任意の他の動き（例えば、直進、わずかな右、わずかな左、鋭い右、鋭い左など）が企図されるが。
[例示的な項］
Ａ：自律走行車のセンサによって捕捉された環境のセンサデータを受信することと、センサデータに少なくとも部分的に基づいて、環境のトップダウンビューを表すマルチチャネル画像を生成することであって、前記マルチチャネル画像は、前記環境内のオブジェクトに関連付けられたバウンディングボックスを表すことと、前記マルチチャネル画像を機械学習モデルに入力することと、前記機械学習モデルから、前記オブジェクトに関連付けられた動きのクラスを示す軌道テンプレート及び前記オブジェクトに関連付けられた予測軌道を受信することと、前記軌道テンプレートまたは前記予測軌道のうちの少なくとも１つに少なくとも部分的に基づいて前記自律走行車を制御することと、を含む、コンピュータ実装方法。
[例示的な項］
Ａ：自律走行車のセンサによって捕捉された環境のセンサデータを受信することと、センサデータに少なくとも部分的に基づいて、環境のトップダウンビューを表すマルチチャネル画像を生成することであって、前記マルチチャネル画像は、前記環境内のオブジェクトに関連付けられたバウンディングボックスを表すことと、前記マルチチャネル画像を機械学習モデルに入力することと、前記機械学習モデルから、前記オブジェクトに関連付けられた動きのクラスを示す軌道テンプレート及び前記オブジェクトに関連付けられた予測軌道を受信することと、前記軌道テンプレートまたは前記予測軌道のうちの少なくとも１つに少なくとも部分的に基づいて前記自律走行車を制御することと、を含む、コンピュータ実装方法。
【0137】
Ｂ：前記オブジェクトが第１のオブジェクトであり、前記マルチチャネル画像が第２のオブジェクトに関連付けられたデータを含み、前記軌道テンプレートが第１の軌道テンプレートであり、前記第１の軌道テンプレート及び第２の軌道テンプレートが、前記第１のオブジェクトと前記第２のオブジェクトとの間の相互作用に少なくとも部分的に基づいている、段落Ａに記載のコンピュータ実装方法。
【0138】
Ｃ：前記機械学習モデルが、前記環境内の前記オブジェクトの履歴に少なくとも部分的に基づいて決定された特徴マップを出力する第１のニューラルネットワークと、前記特徴マップに関連付けられた特徴ベクトルに少なくとも部分的に基づいて前記軌道テンプレートを出力する第２のニューラルネットワークと、前記軌道テンプレート及び前記特徴ベクトルに少なくとも部分的に基づいて前記予測軌道を出力する第３のニューラルネットワークと、を含む、段落Ａまたは段落Ｂのいずれかに記載のコンピュータ実装方法。
【0139】
Ｄ：前記第２のニューラルネットワークは、前記オブジェクトに関連付けられたヒートマップを出力するようにさらに構成され、前記自律走行車は、前記ヒートマップに少なくとも部分的に基づいてさらに制御される、段落Ｃに記載のコンピュータ実装方法。
【0140】
Ｅ：前記第３のニューラルネットワークが、軌道テンプレートの第１の分類に少なくとも部分的に基づいて前記予測軌道を出力し、前記機械学習モデルが、前記軌道テンプレート及び前記特徴ベクトルの第２の分類に少なくとも部分的に基づいて前記予測軌道を出力する第４のニューラルネットワークをさらに含み、前記方法が、前記軌道テンプレートに関連付けられた分類に少なくとも部分的に基づいて、前記軌道テンプレートを前記第３のニューラルネットワークまたは前記第４のニューラルネットワークの１つまたは複数に入力することをさらに含む、段落Ｃに記載のコンピュータ実装方法。
【0141】
Ｆ：プロセッサと、実行されると、プロセッサに、段落ＡからＥのいずれか１つに記載のコンピュータ実装方法を実行させる命令を記憶する非一時的なコンピュータ可読媒体とを備えるシステムまたはデバイス。
【0142】
Ｇ：処理のための手段と、前記処理のための手段に結合された記憶のための手段とを備え、前記記憶のための手段は、段落ＡからＥのいずれか１つに記載のコンピュータ実装方法を実行するように１つまたは複数のデバイスを構成する命令を含む、システムまたはデバイス。
【0143】
Ｈ：１つまたは複数のプロセッサと、前記１つまたは複数のプロセッサによって実行可能な命令を記憶する１つまたは複数のコンピュータ可読媒体と、を備え、前記命令は、実行されると前記システムに、環境内のオブジェクトを表すデータを受信することと、前記データに少なくとも部分的に基づいて、前記環境のトップダウンビューを表す画像を生成することであって、前記画像が前記オブジェクト及び前記オブジェクトに関連付けられた動き情報を表す、前記生成することと、前記画像を機械学習モデルに入力することと、前記機械学習モデルから、前記オブジェクトに関連付けられた軌道テンプレート及び予測軌道を受信することであって、前記軌道テンプレートが前記オブジェクトに関連付けられた動きのクラスを示す、前記受信することと、を含む動作を実行させる、前記コンピュータ可読媒体。
【0144】
Ｉ：前記予測軌道が、前記オブジェクトに関連付けられた可能性のある位置の予測確率を含むヒートマップとして表される、段落Ｈに記載のシステム。
【0145】
Ｊ：前記機械学習モデルが、特徴マップを出力する第１のニューラルネットワークと、前記オブジェクトに関連付けられた前記特徴マップの一部に少なくとも部分的に基づいて前記軌道テンプレートを出力する第２のニューラルネットワークと、前記軌道テンプレートに少なくとも部分的に基づいて前記予測軌道を出力する第３のニューラルネットワークと、を含む、段落Ｈまたは段落Ｉのいずれかに記載のシステム。
【0146】
Ｋ：前記第３のニューラルネットワークは、複数の軌道テンプレートに少なくとも部分的に基づいて前記予測軌道を出力する、段落Ｊに記載のシステム。
【0147】
Ｌ：前記第３のニューラルネットワークは、前記軌道テンプレートの第１の分類に少なくとも部分的に基づいて前記予測軌道を出力し、前記機械学習モデルは、前記軌道テンプレートの第２の分類に少なくとも部分的に基づいて前記予測軌道を出力する第４のニューラルネットワークをさらに含む、段落Ｊに記載のシステム。
【0148】
Ｍ：前記オブジェクトデータは、前記環境内の２つ以上のオブジェクトに関連付けられたデータを含み、前記特徴マップは、前記環境内で決定された前記２つ以上のオブジェクトの共同履歴データを含む、段落Ｊに記載のシステム。
【0149】
Ｎ：前記画像は、前記環境内の追加のオブジェクトの追加のオブジェクト情報を含む１つまたは複数のチャネルをさらに備え、前記画像は、現在の時間の前の１つまたは複数の以前の時間に関連付けられた複数の画像のうちの１つである、段落ＨからＭのいずれか１つに記載のシステム。
【0150】
Ｏ：前記画像は、前記オブジェクトと前記追加オブジェクトとの間の相互作用を表し、前記予測軌道及び追加オブジェクトに関連付けられた少なくとも１つの他の予測軌道は、前記相互作用に少なくとも部分的に基づく、段落Ｎに記載のシステム。
【0151】
Ｐ：前記動作が、前記オブジェクトに関連付けられた前記軌道テンプレートまたは前記予測軌道のうちの少なくとも１つに少なくとも部分的に基づいて前記システムに車両を制御させることをさらに含む、段落ＨからＯのいずれか１つに記載のシステム。
【0152】
Ｑ：前記画像が、オブジェクトに関連付けられた意味データ、前記オブジェクトに関連付けられた速度データ、前記オブジェクトに関連付けられた加速度データ、前記環境に関連付けられたシナリオデータ、前記環境に関連付けられた道路ネットワーク、または前記環境内の車両に関連付けられた車両データのうちの少なくとも１つを含むマルチチャネル画像である、段落ＨからＰのいずれか１つに記載のシステム。
【0153】
Ｒ：前記機械学習モデルが、クラスタリングアルゴリズムに少なくとも部分的に基づいて前記軌道テンプレートを決定し、回帰アルゴリズムに少なくとも部分的に基づいて前記予測軌道を決定するように訓練される、段落ＨからＱのいずれか１つに記載のシステム。
【0154】
Ｓ：実行されると、１つまたは複数のプロセッサに、環境内のオブジェクトを表すデータを受信することと、前記データに少なくとも部分的に基づいて、前記環境の少なくともトップダウンビューを表す画像を生成することと、前記画像を機械学習モデルに入力することと、前記機械学習モデルから、前記オブジェクトに関連付けられた軌道テンプレート及び予測軌道を受信することであって、前記軌道テンプレートが前記オブジェクトに関連付けられた動きのクラスを示す、前記受信することと、を含む動作を実行させる命令を記憶する、１つまたは複数の非一時的コンピュータ可読媒体。
【0155】
Ｔ：前記画像は、オブジェクトに関連付けられた意味データ、前記オブジェクトに関連付けられた速度データ、前記オブジェクトに関連付けられた加速度データ、前記環境に関連付けられたシナリオデータ、前記環境に関連付けられた道路ネットワーク、または前記環境内の車両に関連付けられた車両データのうちの少なくとも１つを含むマルチチャネル画像である、段落Ｓに記載の１つまたは複数の非一時的コンピュータ可読媒体。
【0156】
Ｕ：前記機械学習モデルが、前記軌道テンプレートを出力する第１のニューラルネットワークと、前記出力軌道テンプレートに少なくとも部分的に基づいて前記予測軌道を出力する少なくとも１つの第２のニューラルネットワークとを含む、段落Ｓまたは段落Ｔのいずれかに記載の１つまたは複数の非一時的コンピュータ可読媒体。
【0157】
Ｖ：前記動作が、前記オブジェクトに関連付けられた前記軌道テンプレートまたは前記予測軌道のうちの少なくとも１つに少なくとも部分的に基づいて車両を制御することをさらに含む、段落ＳからＵのいずれか１つに記載の１つまたは複数の非一時的なコンピュータ可読媒体。
【0158】
上記で説明される例示的な項は、１つの特定の実装形態に関して説明される一方で、本明細書のコンテキストにおいて、例示的な項の内容は、方法、デバイス、システム、コンピュータ可読媒体、及び／または別の実装形態を介して実装されることも可能であることを理解されたい。さらに、例ＡからＶのいずれかは、単独で、または例ＡからＶの他の１つもしくは複数の例と組み合わせて実装され得る。
（結論）
本明細書で説明される技術の１つまたは複数の例が説明された一方で、それらの様々な変形、追加、置換、及び等価物が、本明細書で説明される技術の範囲内に含まれる。
（結論）
本明細書で説明される技術の１つまたは複数の例が説明された一方で、それらの様々な変形、追加、置換、及び等価物が、本明細書で説明される技術の範囲内に含まれる。
【0159】
例の説明では、請求項に記載される主題の特定の例を示す、それらの一部を形成する添付図面に対する参照が行われている。他の例を使用することができ、構造的変更などの変更または代替を行うことできることを理解されたい。このような例、変更、または変形は、必ずしも、意図された請求項に記載の主題に関する範囲からの逸脱ではない。本明細書で説明されるステップは、特定の順序で提示されることが可能である一方で、場合によっては、順序付けは、変更されることが可能であり、その結果、説明されるシステム及び方法の機能を変更することなく、特定の入力が異なる時間で、または異なる順序で提供されることが可能である。開示された手順はまた異なる順序で実行できる。さらに、本明細書における様々な計算は、開示される順序で実行される必要はなく、計算の代替の順序を用いる他の例が容易に実装されることが可能である。順序変更されることに加えて、計算は、同一の結果を有する部分的計算に分解されることも可能である。
【図1】
【図2A】
【図2B】
【図3】
【図4】
【図5】
【図6】
【手続補正書】
【提出日】2022-09-20
【手続補正1】
【補正対象書類名】図面
【補正対象項目名】図４
【補正方法】変更
【補正の内容】
【図4】
【国際調査報告】