(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-06-14
(54)【発明の名称】軌道分類
(51)【国際特許分類】
G08G 1/16 20060101AFI20230607BHJP
【ＦＩ】
G08G1/16 C
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022567547
(86)(22)【出願日】2021-04-26
(85)【翻訳文提出日】2022-11-07
(86)【国際出願番号】 US2021029232
(87)【国際公開番号】W WO2021225822
(87)【国際公開日】2021-11-11
(31)【優先権主張番号】16/870,083
(32)【優先日】2020-05-08
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】16/870,355
(32)【優先日】2020-05-08
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ブルートゥース
(71)【出願人】
【識別番号】518156417
【氏名又は名称】ズークス インコーポレイテッド
(74)【代理人】
【識別番号】110001243
【氏名又は名称】弁理士法人谷・阿部特許事務所
(72)【発明者】
【氏名】ケネス マイケル シーバート
(72)【発明者】
【氏名】ゴーサム ガリメラ
(72)【発明者】
【氏名】サミール パリーク
【テーマコード（参考）】
5H181
【Ｆターム（参考）】
5H181AA01
5H181BB05
5H181BB20
5H181CC03
5H181CC04
5H181CC14
5H181FF04
5H181FF10
5H181FF25
5H181FF27
5H181FF33
5H181LL01
5H181LL04
5H181LL07
5H181LL08
5H181LL09
5H181LL15
(57)【要約】
環境内のオブジェクト挙動を予測するための技法が、本明細書において論じられる。例えば、そのような技法は、モデルにデータを入力することと、モデルから、離散化された表現を表す出力を受け取ることとを含み得る。離散化された表現は、オブジェクトが将来の時刻において環境内のロケーションに到達する確率に関連付けられ得る。車両コンピューティングシステムは、離散化された表現および確率を使用して、軌道と軌道に関連付けられた重みとを決定し得る。自律車両などの車両は、車両コンピューティングシステムによって出力される軌道および重みに基づいて、環境を横断するように制御されることが可能である。
【特許請求の範囲】
【請求項1】
システムであって、１つまたは複数のプロセッサと、
前記１つまたは複数のプロセッサによって実行可能な命令を記憶する１つまたは複数の非一時的なコンピュータ可読記憶媒体であって、前記命令は、実行された場合、前記システムに、
環境内の自律車両に関連付けられたセンサデータを受け取ることと、
前記センサデータに少なくとも部分的に基づいて、データを決定することであって、前記データは、前記環境の上から見た表現、および前記環境内のオブジェクトを含む、決定することと、
機械学習されたモデルに前記データを入力することと、
前記機械学習されたモデルから、前記環境の一部の離散化された表現を含む出力を受け取ることであって、前記離散化された表現のセルは、将来の時刻における前記オブジェクトのロケーションの分類確率に関連付けられる、受け取ることと、
前記離散化された表現および前記分類確率に少なくとも部分的に基づいて、前記オブジェクトに関連付けられた予測される軌道、および前記予測される軌道に関連付けられた重みを決定することと、
前記オブジェクトに関連付けられた前記予測される軌道、および前記予測される軌道に関連付けられた前記重みに少なくとも部分的に基づいて、前記自律車両の動作が制御されるようにすることと
を含む動作を行わせる、１つまたは複数の非一時的なコンピュータ可読記憶媒体と
を備えるシステム。
【請求項2】
前記セルに関連付けられた前記分類確率は、前記オブジェクトが前記将来の時刻において前記ロケーションに存在する確率を示す請求項１に記載のシステム。
【請求項3】
前記ロケーションは、第１のロケーションであり、前記セルは、第１のセルであり、
前記分類確率は、第１の分類確率であり、
前記予測される軌道は、第１の予測される軌道であり、
前記重みは、第１の重みであり、
前記離散化された表現は、前記将来の時刻における前記オブジェクトの第２のロケーションの第２の分類確率に関連付けられた第２のセルを含み、
前記動作は、
地図データに少なくとも部分的に基づいて、前記第１のロケーションは第１の目的地に関連付けられると決定することと、
前記地図データに少なくとも部分的に基づいて、前記第２のロケーションは第２の目的地に関連付けられると決定することと、
前記第２の分類確率および前記第２のロケーションに少なくとも部分的に基づいて、前記将来の時刻における前記オブジェクトに関連付けられた第２の予測される軌道を決定することと、
前記自律車両の前記動作が制御されるようにすることは、前記第２の予測される軌道、および前記第２の予測される軌道に関連付けられた第２の重みに少なくとも部分的にさらに基づくことと
をさらに含む請求項１または２に記載のシステム。
【請求項4】
前記動作は、前記分類確率および別の分類確率に少なくとも部分的に基づいて、前記重みを決定すること
をさらに含む請求項１乃至３のいずれか一項に記載のシステム。
【請求項5】
前記ロケーションは、前記将来の時刻の前の先行する時刻における前記オブジェクトのオブジェクトロケーションに少なくとも部分的に基づいたオフセットを表す請求項１乃至４のいずれか一項に記載のシステム。
【請求項6】
モデルにデータを入力するステップであって、前記データは、第１の時刻における環境の上から見た表現を含む、ステップと、前記モデルから、前記環境の一部の離散化された表現を含む出力を受け取るステップであって、前記離散化された表現のセルは、前記第１の時刻の後の第２の時刻におけるオブジェクトに関連付けられた確率に関連付けられる、ステップと、
前記離散化された表現および前記確率に少なくとも部分的に基づいて、前記オブジェクトに関連付けられた軌道、および前記軌道に関連付けられた重みを決定するステップと、
前記軌道および前記重みに少なくとも部分的に基づいて、車両の動作が制御されるようにするステップと
を含む方法。
【請求項7】
前記データは、センサデータ、地図データ、または、前記上から見た表現を形成するための１つまたは複数のチャネル画像を表す前記センサデータに基づいたデータのうちの少なくとも１つを含み、前記セルに関連付けられた前記確率は、前記オブジェクトが前記第２の時刻においてロケーションに存在する確率を示す
請求項６に記載の方法。
【請求項8】
前記ロケーションは、第１のロケーションであり、前記セルは、第１のセルであり、
前記確率は、第１の確率であり、
前記軌道は、第１の軌道であり、
前記重みは、第１の重みであり、
前記離散化された表現は、前記第２の時刻における前記オブジェクトの第２のロケーションの第２の確率に関連付けられた第２のセルを含み、
前記動作は、
地図データに少なくとも部分的に基づいて、前記第１のロケーションは第１の目的地に関連付けられると決定するステップと、
前記地図データに少なくとも部分的に基づいて、前記第２のロケーションは第２の目的地に関連付けられると決定するステップと、
前記第２の確率および前記第２のロケーションに少なくとも部分的に基づいて、前記第２の時刻における前記オブジェクトに関連付けられた第２の軌道を決定するステップと、
前記車両の前記動作が制御されるようにするステップは、前記第２の軌道および前記第２の軌道に関連付けられた第２の重みに少なくとも部分的にさらに基づくことと
をさらに含む請求項７に記載の方法。
【請求項9】
前記動作は、前記軌道および前記重みを含むデータを、前記車両のプランニング構成要素に送るステップと、
前記プランニング構成要素に、前記データに少なくとも部分的に基づいて、前記車両が前記環境内で従うべき候補軌道を決定させるステップと
をさらに含む請求項６乃至８のいずれか一項に記載の方法。
【請求項10】
前記動作は、前記環境に関連付けられた地図データを受け取るステップと、
前記地図データ、および前記セルに関連付けられたロケーションに少なくとも部分的に基づいて、前記ロケーションは意味論的な目的地に関連付けられると決定するステップと、
前記確率と、前記ロケーションが前記第２の時刻において前記意味論的な目的地に関連付けられることとに少なくとも部分的に基づいて、前記重みを決定するステップと
をさらに含む請求項６乃至９のいずれか一項に記載の方法。
【請求項11】
前記動作は、前記確率および別の確率に少なくとも部分的に基づいて、前記重みを決定するステップ
をさらに含む請求項６乃至１０のいずれか一項に記載の方法。
【請求項12】
前記モデルは、前記モデルの先行する出力に関連付けられたデータとグラウンドトゥルースデータとの間の比較に少なくとも部分的に基づいて訓練された機械学習されたモデルである請求項６乃至１１のいずれか一項に記載の方法。
【請求項13】
前記動作は、前記第１の時刻における前記オブジェクトの位置と、前記第２の時刻における前記確率に関連付けられたロケーションとを補間するステップ
をさらに含み、
前記軌道は、前記補間するステップに少なくとも部分的に基づく請求項６乃至１２のいずれか一項に記載の方法。
【請求項14】
前記動作は、前記環境に関連付けられた地図データを受け取るステップと、
前記地図データ、および前記セルに関連付けられたロケーションに少なくとも部分的に基づいて、前記ロケーションは意味論的な目的地に関連付けられると決定するステップと、
前記意味論的な目的地および前記確率に少なくとも部分的に基づいて、前記オブジェクトに関連付けられた意図を決定するステップと
をさらに含み、
前記車両の前記動作が制御されるようにすることは、前記意図に少なくとも部分的にさらに基づく請求項６乃至１３のいずれか一項に記載の方法。
【請求項15】
符号化された命令を備えるコンピュータプログラム製品であって、前記符号化された命令は、コンピュータ上で実行された場合、請求項６乃至１４のいずれか一項に記載の方法を実装する、コンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、軌道分類に関する。
【背景技術】
【0002】
関連出願
本出願は、２０２０年５月０８日に出願され、「ＴＲＡＪＥＣＴＯＲＹ ＣＬＡＳＳＩＦＩＣＡＴＩＯＮ」と題された米国特許出願第１６／８７０，０８３号、および２０２０年５月０８日に出願され、「ＴＲＡＪＥＣＴＯＲＹＳ ＷＩＴＨ ＩＮＴＥＮＴ」と題された米国特許出願第１６／８７０，３５５号の優先権を主張し、これらの米国特許出願の全体が、参照により本明細書に組み込まれる。
本出願は、２０２０年５月０８日に出願され、「ＴＲＡＪＥＣＴＯＲＹ ＣＬＡＳＳＩＦＩＣＡＴＩＯＮ」と題された米国特許出願第１６／８７０，０８３号、および２０２０年５月０８日に出願され、「ＴＲＡＪＥＣＴＯＲＹＳ ＷＩＴＨ ＩＮＴＥＮＴ」と題された米国特許出願第１６／８７０，３５５号の優先権を主張し、これらの米国特許出願の全体が、参照により本明細書に組み込まれる。
【0003】
自律車両および半自律車両におけるプランニングシステムは、車両が動作環境内で取るべきアクションを決定する。車両のアクションは、環境内に存在するオブジェクトを回避することに部分的に基づいて決定され得る。例えば、アクションは、歩行者に譲るため、道路内の別の車両を回避するべく車線を変更するため等に生成され得る。将来の挙動（例えば、意図）を正確に予測することは、オブジェクトの近くにおいて安全に動作するために、特に、車両の選択されたアクションに基づいて挙動が変化し得る場合に、必要となり得る。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】米国特許出願第１５／６３２，６０８号明細書
【特許文献2】米国特許出願第１６／６０６，８７７号明細書
【特許文献3】米国特許出願第１６／２８２，２０１号明細書
【特許文献4】米国特許出願第１６／１５１，６０７号明細書
【特許文献5】米国特許出願第１６／３６３，５４１号明細書
【図面の簡単な説明】
【0005】
詳細な説明は、添付の図を参照しつつ説明される。図において、参照番号の左端の数字は、その参照番号が最初に現われる図を識別する。異なる図における同じ参照番号の使用は、類似または同一の構成要素または特徴を示す。
【0006】
【図1】例示的な機械学習されたモデルが、環境の上から見た表現を処理して、環境の離散化された表現を決定し得る、環境内の自律車両の図である。
【図2】本明細書において説明される技法を実装するために、機械学習されたモデルによって使用可能な環境の上から見た例示的な表現の図である。
【図3】例示的な機械学習されたモデルが、環境の離散化された表現を決定し得る、環境内の自律車両の図である。
【図4】例示的な機械学習されたモデルによって出力される環境の例示的な離散化された表現の図である。
【図5】例示的な機械学習されたモデルが、データを処理して、軌道についての意図またはオブジェクトを決定し得る、環境内の自律車両の図である。
【図6】本明細書において説明される技法を実装するための例示的なシステムのブロック図である。
【図7】異なるモデルを使用して、予測される軌道および重みを決定するための例示的な処理を描くフローチャートである。
【図8】異なるモデルを使用して、軌道または軌道タイプに関連付けるべき意図を決定するための例示的な処理を描くフローチャートである。
【発明を実施するための形態】
【0007】
環境内のオブジェクトの挙動または意図を予測することは、自律車両の潜在的なアクションに影響を与え得る。少なくともいくつかの例において、いくつかのそのような意図は、車両によって行われるアクションに応答して変化し得る。環境内のオブジェクトの動きは、迅速に変化し得る。
【0008】
本出願は、環境内のオブジェクトの挙動を予測するためにモデルを適用するおよび／または訓練するための技法を説明する。幾つかの例において、そのような挙動は、オブジェクトが近い将来の何らかの時点で取り得る運動を示し得る意図を含み得る。例えば、１つまたは複数の機械学習されたモデルは、画像フォーマットにおいて表されるオブジェクトに関連付けられたデータを処理し、オブジェクトが将来の時刻において取り得る潜在的なアクションを決定し得る。いくつかの例において、オブジェクトは、歩行者であってもよく、モデルは、歩行者についての軌道と、予測される軌道に関連付けられた重みとを予測し得る。重みは、歩行者が目的地（例えば、横断歩道）に到達するかどうかを示し得る。少なくともいくつかの例において、そのような意図は、車両によって行われるべきアクションに少なくとも部分的に基づき得る。モデルによって決定された歩行者軌道または重みは、車両プランニング期間中に考慮され得、それによって、車両は、歩行者が異なる軌道を使用して、いくつかの可能な目的地に到達し得る可能性についてプランニングすることによって、環境内をナビゲートするので、車両安全性を改善する。
【0009】
いくつかの例において、コンピューティングデバイスは、機械学習されたモデルを実装して、自律車両の動作に対する影響をもたらし得る、オブジェクト（例えば、自転車、歩行者、別の車両、動物等）についての挙動を予測し得る。例えば、機械学習されたモデルは、将来の時刻において環境内でオブジェクトが従うべき軌道（例えば、方向、速度、および／または加速度）と、将来の時刻においてオブジェクトが目的地（例えば、横断歩道、道路セグメント内部、道路セグメント外部など）に存在する予測される確率に基づく重みとを決定し得る。そのような例において、自律車両の車両コンピュータシステムは、機械学習されたモデルからの出力（例えば、軌道および重み）を考慮して、（同じまたは異なるモデルを使用して）車両のための候補軌道を予測し得、それによって、車両の動作に影響を与え得るオブジェクトによる潜在的な挙動（例えば、自律車両の軌道と交差する、自律車両に急ハンドルを切らせるまたは急ブレーキをかけさせる等）を安全に回避することが可能な候補軌道を自律車両に提供することによって、車両安全性を改善する。
【0010】
いくつかの例において、機械学習されたモデルは、異なる可能な目的地に関連付けられたオブジェクトについてのいくつかの異なる軌道を予測し得る。限定ではなく、例として、歩行者がいくつかの横断歩道との交差点に接近している場合、自律車両は、機械学習されたモデルを実装して、歩行者のための第１の軌道と、歩行者が第１の横断歩道に到達することになる第１の予測確率とを出力するとともに、歩行者のための第２の軌道と、歩行者が第２の横断歩道に到達することになる第２の予測確率とを出力し得る。そのような例において、機械学習されたモデルは、第１の予測確率に少なくとも部分的に基づいて、第１の重みを決定し、第２の予測確率に少なくとも部分的に基づいて、第２の重みを決定し得る。例えば、モデルは、将来の時刻において、歩行者が第１の横断歩道に入る８０％の確率を有することを示すための第１の重みと、歩行者が第２の横断歩道に入ることになる２０％の確率を示すための第２の重みとを決定し得る。様々な例において、機械学習されたモデルは、目的地に関連付けられた重み、軌道、および／または予測確率を含む情報を、考慮事項（例えば、軌道決定、計算等）をプランニングする際にその情報を使用し得る自律車両のプランニング構成要素へ送り得る。
【0011】
いくつかの例において、環境の上から見た図を表す画像フォーマットへとコンパイルされたデータは、機械学習されたモデルへ入力され得る。データは、環境および／または地図データ内の車両のセンサからキャプチャされたまたは車両のセンサに関連付けられセンサデータ、ならびに、上から見た表現へと符号化され得る任意の他のデータソースを含み得る。機械学習されたモデルは、オブジェクトの属性（例えば、位置、速度、加速度、ヨー等）、オブジェクトの履歴（例えば、ロケーション履歴、速度履歴等）、車両の属性（例えば、速度、位置等）、横断歩道許可、信号機許可等のうちの１つまたは複数を表すためのデータを使用し得る。データは、車両のコンテキストをキャプチャする（例えば、車両に対する他の車両および歩行者のアクションを識別する）ために、環境の上から見た図おいて表されることが可能である。データによって表される環境の上から見た図は、歩行者の経路を別の歩行者が妨げているかどうかなど、歩行者の周囲に関してより多くの情報を提供することによって、歩行者または他のオブジェクトが関連付けられ（例えば、面し、および／または向かって移動し）得る方向および／または目的地に関する予測も改善し得る。
【0012】
いくつかの例において、オブジェクトに関連付けられた予測される軌道（または複数の軌道）、および予測される軌道に関連付けられた重み（または複数の重み）を含む機械学習されたモデル（例えば、第１のモデル）からの出力は、オブジェクトに関連付けられた軌道の意図を決定するように構成された別の機械学習されたモデル（例えば、第２のモデル）へ送られ得る。例えば、付加的なモデルは、軌道および重みを入力として受け取り、オブジェクトの意図（例えば、見込みのある目的地）および軌道を決定してもよく、いくつかの場合においては、意図をオブジェクトの軌道に関連付けてもよい。様々な例において、そのような意図は、直進を継続する、右折する、左折する、横断歩道を渡る等などの、ただし、これらに限定されない、オブジェクトの将来の（または意図される）挙動のクラスを表し得る。
【0013】
いくつかの例において、機械学習されたモデルは、データを入力として受け取り、環境の一部の離散化された表現を含む出力を提供し得る。いくつかの場合において、離散化された表現（例えば、グリッド）の一部は、離散化された表現のセルと称されることが可能である。各セルは、離散化された表現に対応する時に環境内の対応するロケーションにオブジェクトが存在することになる確率を表す予測確率を含むことができる。いくつかの例において、セルのロケーションは、環境内の目的地に関連付けられることが可能である。いくつかの例において、機械学習モデルは、将来の特定の時（例えば、０．５秒、１秒、３秒、５秒、１０秒後等）にオブジェクトおよび１つまたは複数の目的地に関連付けられた確率予測を表すことができる複数の予測確率を出力することができる。いくつかの例において、機械学習されたモデルによって出力される離散化された表現は、別のモデルまたはコンピューティングデバイスによって、オブジェクトについての重みおよび／または軌道を決定するために使用され得る。
【0014】
様々な例において、離散化された表現のセルは、将来の時刻におけるオブジェクトのロケーションの分類確率に関連付けられてもよい。例えば、セルは、将来の時刻における離散化された表現においてオブジェクトがロケーションに存在する（例えば、はい／いいえ）の確率を示し得る。いくつかの例において、ロケーションは、将来の時刻の前の先行する時刻におけるオブジェクトの先行するロケーションに少なくとも部分的に基づいたオフセットを表し得る。すなわち、オフセットは、いくつかの例において、離散化された表現の開始セルから終了セルへ、オブジェクトが将来進行し得る方向および距離を示し得る。離散的表現に関する付加的な詳細は、図３および４、ならびに他の箇所に含まれている。
【0015】
いくつかの例において、機械学習されたモデルは、離散化された表現および分類確率に少なくとも部分的に基づいて、オブジェクトに関連付けられた予測される軌道と、予測される軌道に関連付けられた重みとを決定し得る。例えば、予測される軌道は、ある時間期間にわたる１つまたは複数のセルを通る経路に基づいてもよい。予測される軌道は、例えば、オブジェクトが将来に最も取りそうな距離、方向、速度、および／または加速度を示してもよい。いくつかの例において、予測される軌道は、第１の時刻におけるオブジェクトの位置と、第２の時刻における分類確率に関連付けられたロケーションとを補間することに少なくとも部分的に基づいてもよい。モデルによって決定される重みは、目的地（例えば、道路、横断歩道、歩道等）に到達するためにオブジェクトによって使用されるべき予測される軌道の可能性を示し得る。例えば、重みは、分類確率（例えば、歩行者が横断歩道または道路に入るか）に少なくとも部分的に基づいて、モデルによって決定され得る。少なくともいくつかのそのような例において、多数の軌道は、最も高い可能性を有するグリッドセルを通る経路を表し得る。
【0016】
いくつかの例において、機械学習されたモデルは、地図データを受け取り、地図データに基づいて、離散的表現におけるセルのロケーションが、環境内の意味論的な目的地（例えば、横断歩道、歩道、道路セグメント等などの分類可能な領域または目的地）に関連付けられると決定し得る。例えば、第１のセルのロケーションは、横断歩道（例えば、第１の意味論的な目的地）に関連付けられてもよく、第２のセルのロケーションは、道路（例えば、第２の意味論的な目的地）に関連付けられてもよい。いくつかの例において、機械学習されたモデルは、オブジェクトがロケーションに存在する予測確率と、ロケーションが、意味論的な目的地に関連付けられることに少なくとも部分的に基づいて、予測される軌道についての重みを決定し得る。したがって、予測される軌道の重みは、オブジェクトを特定の目的地に到達させるために、予測される軌道が使用される可能性がどのくらいあるかを表し得る。
【0017】
いくつかの例において、モデルは、離散化された表現におけるオブジェクトの将来のロケーションと、将来のロケーションに関連付けられた１つまたは複数のセルとの間の交点に基づいて、オブジェクトの予測される軌道を決定し得る。いくつかの例において、オブジェクトのロケーションは、ある時間期間にわたる多数のセルと交差および／または重複し、将来の時刻（例えば、２～４秒後）を表すセルにおいて終了し得る。いくつかの例において、機械学習されたモデルは、将来の時刻におけるセルのロケーションが、目的地（例えば、横断歩道、道路等）に関連付けられると決定し得る。例えば、離散化された表現におけるロケーションは、対応するセルの少なくとも一部と重複する地図データ内の目的地を識別することによって、環境内の目的地に関連付けられ得る。
【0018】
いくつかの例において、セルの領域が、１つを超える目的地を含む場合、機械学習されたモデルは、第１の目的地についてのスコアおよび第２の目的地についてのスコアを決定し、スコア（例えば、最も高いスコア）を比較して、第１の目的地または第２の目的地のうちの１つを、セルに関連付けるべき目的地に割り当てる。他の例において、機械学習されたモデルは、第１の目的地および第２の目的地の各々についての重みを決定し、セルに関連付けられた重み付けされた目的地情報を、プランナー考慮のために自律車両へ送り得る。これは、自律車両がオブジェクトに対して安全にナビゲートするために候補軌道を決定する場合、オブジェクトの多数の可能な目的地の改善された詳細（および関連付けられた可能性）を自律車両に提供する。
【0019】
様々な例において、車両コンピューティングシステムは、１つまたは複数のモデルからの出力を表す、１つまたは複数の命令を受け取ってもよい。車両コンピューティングシステムは、例えば、１つまたは複数の命令からの１つの命令を、車両のための軌道を計画する車両のプランニング構成要素へ、および／またはセンサデータを処理する車両の知覚構成要素へ送り得る。付加的にまたは代替的に、１つまたは複数のモデルからの出力は、機械学習されたモデルを訓練するために、車両コンピューティングシステムから遠隔の１つまたは複数のコンピューティングデバイスによって使用されてもよい。
【0020】
車両コンピューティングシステムは、各検出されたオブジェクトの初期位置を決定するように構成され得る。様々な例において、車両コンピューティングシステムの予測構成要素（例えば、オブジェクトの挙動を予測するモデル）は、各検出されたオブジェクトに関連付けられた１つまたは複数の予測される軌道、例えば、各検出されたオブジェクトに関連付けられた初期位置などを決定し得る。いくつかの例において、１つまたは複数の予測される軌道は、センサデータおよび／またはモデルからの出力に基づいて決定されてもよい。各予測される軌道は、検出されたオブジェクトが環境を通じて進行し得る潜在的な経路を表し得る。１つまたは複数の予測される軌道は、（例えば、車両および／もしくは別のオブジェクトが環境内で取るアクションから独立した、車両および／もしくは他のオブジェクトのアクションに対して実質的に反応しない等）受動的予測、（例えば、環境内の車両および／もしくは別のオブジェクトのアクションに対するリアクションに基づく）能動的予測、または、これらの組み合わせに基づき得る。そのような例において、１つまたは複数の予測される軌道は、センサデータに基づいて決定される初速および／または進行方向に基づき得る。いくつかの例において、１つまたは複数の予測される軌道は、機械学習技法を利用して決定されてもよい。車両を制御するために軌道を生成する付加的な詳細は、２０１７年６月２３日に出願され、「Ｔｒａｊｅｃｔｏｒｙ Ｇｅｎｅｒａｔｉｏｎ ａｎｄ Ｅｘｅｃｕｔｉｏｎ Ａｒｃｈｉｔｅｃｔｕｒｅ」と題された特許文献１において説明されており、特許文献１は、参照によって本明細書に組み込まれている。様々な軌道に関連付けられたリスクを評価する付加的な詳細は、２０１８年１１月３０日に出願され、「Ｐｒｏｂａｂｉｌｉｓｔｉｃ Ｒｉｓｋ ｆｏｒ Ｔｒａｊｅｃｔｏｒｙ Ｅｖａｌｕａｔｉｏｎ」と題された特許文献２において説明されており、特許文献２は、参照によって本明細書に組み込まれている。実際の位置と予測される位置との間および／または予測される軌道間の差を最小限にすることによって、記憶されたセンサデータに基づいて機械学習されたモデルを訓練する付加的な詳細は、２０１９年３月１２日に出願され、「Ｍｏｔｉｏｎ Ｐｒｅｄｉｃｔｉｏｎ Ｂａｓｅｄ ｏｎ Ａｐｐｅａｒａｎｃｅ」と題された特許文献３において説明されており、特許文献３は、参照によって本明細書に組み込まれている。
【0021】
様々な例において、車両コンピューティングシステムは、１つまたは複数のモデルによって決定された予測される軌道、意図、軌道タイプ、および／または重みに基づいて動作する間に取るべきアクション（例えば、車両を制御するために使用するべき軌道）を決定するように構成され得る。アクションは、基準アクション（例えば、動的な動作環境に反応して車両が行うように構成される操作のグループのうちの１つ）、例えば、右側車線への変更、左側車線への変更、車線内にとどまること、障害物（例えば、二重駐車した車両、歩行者のグループ等）を迂回すること等、などを含んでもよい。アクションは、サブアクション、例えば、速度変化（例えば、速度を維持する、加速する、減速する等）、位置的なバリエーション（例えば、車線内の位置を変更すること）などを付加的に含んでもよい。例えば、アクションは、車線内にとどまること（アクション）と、その車線内の車両の位置を中心位置から車線の左側で動作するように調整すること（サブアクション）とを含んでもよい。
【0022】
様々な例において、車両コンピューティングシステムは、環境内の車両に適用可能な基準アクションおよび／またはサブアクションを決定するように構成され得る。例えば、横断歩道の方へ進行する歩行者は、道路から遠ざかる歩行者とは異なる形で、または横断歩道の外部の道路を渡る歩行者とは異なる形で挙動すると予測されることになる。別の例として、道路内の歩行者は、道路の外部の歩行者、または横断歩道の外部の道路を渡る歩行者とは異なる形で挙動し得る。別の非限定的な例において、道路に沿って進行する自転車乗用者は、横断歩道の方へまたは横断歩道の内部を進行する自転車乗用者とは異なる形で予測されることになる。
【0023】
適用可能なアクションおよびサブアクションごとに、車両コンピューティングシステムは、ある時間期間（例えば、５秒、８秒、１２秒等）について環境内で車両および関連するオブジェクトを前方へ投影することによって、将来の状態（例えば、推定される状態）をシミュレーションするために、異なるモデルおよび／または構成要素を実装し得る。モデルは、オブジェクトに関連付けられた予測される軌道に基づいて、オブジェクトを前方へ投影し（例えば、オブジェクトの将来の位置を推定し）得る。例えば、モデルは、歩行者の軌道を予測し、目的地に到達するためにその軌道がオブジェクトによって使用されるかどうかを示す重みを予測し得る。車両コンピューティングシステムは、アクションに関連付けられた車両軌道に基づいて、車両を前方へ投影し（例えば、車両の将来の位置を推定し）得る。推定される状態は、将来のある時刻における車両の推定位置（例えば、推定ロケーション）と、関連するオブジェクトの推定位置とを表し得る。いくつかの例において、車両コンピューティングシステムは、推定される状態における車両とオブジェクトとの間の相対的なデータを決定し得る。そのような例において、相対的なデータは、距離、ロケーション、速度、進行方向、および／または、車両とオブジェクトとの間の他の要素を含んでもよい。様々な例において、車両コンピューティングシステムは、所定のレート（例えば、１０ヘルツ、２０ヘルツ、５０ヘルツ等）で、推定される状態を決定してもよい。少なくとも１つの例において、推定される状態は、１０ヘルツのレート（例えば、８秒の時間期間にわたって８０回の推定される意図）で行われ得る。
【0024】
様々な例において、車両コンピューティングシステムは、推定される状態のセットの終わり（例えば、時間期間の終わり）にオブジェクトの実際のロケーションに関連付けられたセンサデータを記憶し、このデータを訓練データとして使用して、１つまたは複数のモデルを訓練し得る。例えば、記憶されたセンサデータは、モデルによって取り出され、オブジェクトのキューを識別する（例えば、オブジェクトの特徴、属性、または体勢（ｐｏｓｅ）を識別する）ために入力データとして使用され得る。そのような訓練データは、手動注釈に基づいて、および／またはオブジェクトの位置の意味論的な情報に関連付けられた変化を決定することによって、決定され得る。非限定的な例として、１つの時点におけるオブジェクトが、歩道としてラベル付けされた地図の一部上にあり、いくらか後の時点において、運転可能な表面の一部上にある場合、それらの時間期間の間に関連付けられ、かつ、オブジェクトに関連付けられたデータは、手動注釈の必要なしに、違法な道路横断の例とラベル付けされ得る。さらに、オブジェクトに関連付けられた、そのような時間期間にわたる検出された位置は、オブジェクトに関連付けるべきグラウンドトゥルース軌道を決定するために使用され得る。いくつかの例において、車両コンピューティングシステムは、データ分析のために遠隔コンピューティングデバイス（すなわち、車両コンピューティングシステムとは別個のコンピューティングデバイス）へデータを提供し得る。そのような例において、遠隔コンピューティングシステムは、センサデータを分析して、推定される状態のセットの終わりにおける、オブジェクトの画像についての１つまたは複数のラベル、実際のロケーション、速度、進行方向などを決定し得る。いくつかのそのような例（例えば、歩行者の意図が決定される例）において、ログの期間にわたる向きのグラウンドトゥルース位置が決定され（手動でラベル付けされ、または別の機械学習されたモデルによって決定され）てもよく、そのようなグラウンドトゥルース位置は、歩行者の実際の意図（例えば、歩行者は立ったままであるか、道路を渡ったか、走り始めた／走り続けたか、歩き始めた／歩き続けたか等）を決定するために使用され得る。いくつかの例において、対応するデータは、出力（例えば、意図、軌道、重み等）を決定するためにモデルに入力され、オブジェクトによる決定された出力と実際のアクションとの間の差は、モデルを訓練するために使用され得る。
【0025】
本明細書において論じられる技法は、車両コンピューティングシステムの機能性を複数の手法において改善し得る。車両コンピューティングシステムは、データによって表されるオブジェクトの決定された意図、軌道、および／または軌道タイプに基づいて、自律車両が取るべきアクションを決定し得る。いくつかの例において、本明細書において説明される挙動予測技法を使用して、モデルは、以前のモデルと比較して、より高い粒度および詳細と共にオブジェクトの運動を正確に特徴づけることによって、車両の安全な動作を改善するオブジェクト軌道および関連付けられた重みを出力し得る。
【0026】
本明細書において論じられる技法は、コンピューティングデバイスの機能性も複数の付加的な手法において改善することができる。いくつかの場合において、環境と環境内のオブジェクトとを上から見た図として表すことは、予測確率を生成するおよび／または候補アクション間で選択する目的のために、環境の簡略化された表現を表すことができる。いくつかの場合において、上から見た図の表現は、環境の特定の特徴を抽出せずに、環境を表すことができ、これは、予測システムの生成、および少なくとも１つの予測される軌道、意図、または重みの後続の生成を単純化し得る。いくつかの場合において、モデルによって出力を評価することは、自律車両が環境を横断するためのより正確なおよび／またはより安全な軌道を自律車両が生成することを可能にし得る。例えば、第１の候補アクションに関連付けられた予測確率は、衝突または衝突寸前の可能性を決定するために評価されることが可能であり、環境を安全に横断するために、自律車両が別の候補アクション（例えば、車線変更、停止等）を選択または決定することを可能にし得る。本明細書において説明される少なくともいくつかの例において、意図されるアクションに加えて、環境のトップダウン型符号化に基づいた予測は、オブジェクトに関連付けられた確率分布関数の拡散を最小限にし（改善し）、システムのより安全な意思決定をもたらし得る。コンピュータの機能性に対する、これらの改善および他の改善が、本明細書において論じられる。
【0027】
本明細書において説明される技法は、複数の手法において実装され得る。例示的な実装は、以下の図を参照して、以下に提供される。自律車両のコンテキストにおいて論じられているが、本明細書において説明される方法、装置、およびシステムは、多種多様なシステム（例えば、手動で駆動される車両、センサシステム、またはロボティックプラットフォーム）に適用されてもよく、自律車両に限定されない。別の例において、技法は、航空もしくは航海のコンテキストにおいて、またはマシンビジョンを使用する任意のシステムにおいて（例えば、画像フォーマットにおいて表されるデータを使用するシステムにおいて）利用されてもよい。歩行者および自転車の意図を決定するコンテキストにおいて例が与えられているが、本明細書において説明される技法は、環境内の他のオブジェクト（例えば、車両、スケートボーダ、動物等）の属性を決定することにも適用可能である。
【0028】
図１は、例示的な機械学習されたモデルが、環境の上から見た表現を処理して、環境の離散化された表現を決定し得る、環境１００内の自律車両（車両１０２）の図である。図１は、自律車両を説明するものであり、いくつかの例において、本明細書において説明される挙動予測技法は、他の車両システム、構成要素、および／または遠隔コンピューティングデバイスによって実装され得る。例えば、図６に関してさらに詳細に説明されることになるように、本明細書において説明される挙動予測技法は、少なくとも部分的に、モデル構成要素６３０および／もしくはプランニング構成要素６２４によって、またはモデル構成要素６３０および／もしくはプランニング構成要素６２４に関連して、実装され得る。
【0029】
様々な例において、車両１０２の車両コンピューティングシステムは、知覚構成要素（例えば、知覚構成要素６２２）などを介して、環境１００内のオブジェクト１０４を検出するように構成され得る。いくつかの例において、車両コンピューティングシステムは、１つまたは複数のセンサから受け取られるセンサデータに基づいて、オブジェクト１０４を検出し得る。いくつかの例において、センサは、車両１０２に搭載されたセンサを含み、限定なしに、超音波センサ、レーダセンサ、光検出および測距（ＬＩＤＡＲ）センサ、カメラ、マイクロフォン、慣性センサ（例えば、慣性測定ユニット、加速度計、ジャイロ等）、全地球測位衛星（ＧＰＳ）センサなどを含み得る。いくつかの例において、センサは、１つまたは複数のリモートセンサ、例えば、別の自律車両に搭載されるセンサ、および／または環境１００内に搭載されるセンサなどを含んでもよい。
【0030】
様々な例において、車両１０２は、他の自律車両および／またはリモートセンサからデータを送信および／または受信するように構成され得る。データは、環境１００内で検出されたオブジェクト１０４に関するデータなどの、センサデータを含み得る。様々な例において、環境１００は、交通監視、衡突防止などのためのリモートセンサを含んでもよい。いくつかの例において、リモートセンサは、視認性が低い領域内、例えば、見通しのきかないまたは見通しがあまりきかない交差点内などに、付加的な視認性を提供するために環境内に搭載され得る。例えば、環境１００内の交差点は、接近する車両が、オブジェクト１０４および／または交差する道路上で左側もしくは右側から接近する他の車両を知覚することができないかもしれない、見通しのきかない交差点を有すると決定し得る。したがって、環境内の交差点は、ジャンクションに接近する歩行者などのオブジェクト１０４に関する接近する車両１０２にセンサデータを提供するためのセンサを含み得る。
【0031】
様々な例において、車両コンピューティングシステムは、センサデータを受信し、オブジェクト１０４のタイプ、例えば、オブジェクト１０４が自動車、トラック、オートバイ、モペット、自転車乗用者、オブジェクト１０４のような歩行者であるかどうかなどを決定し（例えば、オブジェクトのタイプを分類し）得る。いくつかの例において、オブジェクトタイプは、オブジェクト挙動予測を提供するためにモデルに入力され得る。
【0032】
図１は、横断歩道１０６Ａおよび１０６Ｂも含むものとして環境１００を描いている。いくつかの例において、機械学習されたモデル１０８（例えば、モデル１０８）は、歩行者１０４が将来の時刻において横断歩道１０６Ａもしくは横断歩道１０６Ｂの方へおよび／または横断歩道１０６Ａもしくは横断歩道１０６Ｂ内を移動することになるかどうかを予測するために適用され得る。いくつかの例において、機械学習されたモデル１０８は、歩行者についての異なる挙動予測、例えば、予測される軌道１１０Ａおよび予測される軌道１１０Ｂを決定することなどを決定し得る。モデル１０８は、例えば、上から見た表現１１２を表す入力データを受け取り、環境１００の離散化された表現１１４を出力することに少なくとも部分的に基づいて、予測される軌道１１０Ａおよび１１０Ｂを決定してもよい。車両１０２の車両コンピューティングシステムは、歩行者の意図（例えば、歩行者が環境１００内の目的地に接近し得るかどうか）を推測するために、予測される軌道１１０Ａおよび１１０Ｂを使用し得る。車両１０２によって決定される歩行者軌道および／または意図は、車両プランニング（例えば、プランニング構成要素６２４）期間中に考慮され得、それによって、車両が環境内をナビゲートする際の車両安全性を改善する。
【0033】
一般に、上から見た表現１１２は、車両１０２の周囲の領域を表すことができる。いくつかの例において、領域は、センサに見える領域（例えば、センサ範囲）、後退地平線、アクション（例えば、交差点を通って横断する）に関連付けられた領域などに少なくとも部分的に基づくことができる。いくつかの例において、任意の領域が想定されるが、上から見た表現１１２は、車両１０２の周囲の１００メートル×１００メートルの領域を表してもよい。機械学習されたモデル１０８は、知覚構成要素６２２から、環境内のオブジェクトに関するデータを受け取ることができ、位置特定構成要素６２０、知覚構成要素６２２、および１つまたは複数の地図６２８から、環境自体に関するデータを受け取ることができる。モデル１０８は、（例えば、本明細書において論じられるような、境界ボックスによって表される）環境内のオブジェクト、オブジェクトに関する意味論的な情報（例えば、分類タイプ）、移動情報等（例えば、速度情報、加速度情報等）などを含む、環境の上から見た図を生成することができる。
【0034】
様々な例において、環境１００の上から見た表現１１２は、環境の上から見た視点を表してもよく、１つまたは複数のマルチチャネル画像、例えば、第１のチャネル１１６、第２のチャネル１１８、および第３のチャネル１２０などを含んでもよい。車両コンピューティングシステムは、異なるチャネル画像を用いて、環境の異なる属性を表すために、マルチチャネル画像を生成または決定することができる。例えば、画像は、多数のチャネルを有し、各チャネルは、何らかの情報（意味論的なまたはその他の）を表す。一般に、チャネル画像１１６、１１８、および１２０のうちの１つは、例を挙げると、オブジェクト位置、オブジェクト速度、オブジェクト加速度、オブジェクトヨー、オブジェクトの属性、横断歩道許可（例えば、横断歩道ライトまたはオーディオ状態）、および信号機許容性（例えば、信号機状態）を表すことができる。マルチチャネル画像を生成または決定する例は、２０１８年１０月４日に出願され、「Ｔｒａｊｅｃｔｏｒｙ Ｐｒｅｄｉｃｔｉｏｎ ｏｎ Ｔｏｐ－Ｄｏｗｎ Ｓｃｅｎｅｓ」と題された特許文献４に関連して論じられている。特許文献４は、その全体が、参照によって本明細書に組み込まれている。上から見た表現１１２の詳細は、図２および他の箇所に関して論じられる。
【0035】
いくつかの例において、第１のチャネル１１６は、環境内の自律車両１０２および／またはオブジェクト１０４の境界ボックス、ロケーション、大きさ（例えば、長さおよび幅）等を表すことができる。いくつかの例において、第２のチャネル１１８は、横断歩道許可情報（例えば、利用可能な空間および／または信号に基づいた、横断歩道を占有するための許可）を表すことができる。例えば、第２のチャネル１１８は、歩行者が横断歩道内で進行することができる領域、および歩行者が横断歩道に入る許可を示す現在の横断歩道信号に領域が関連付けられているかどうかを示すことができる。いくつかの例において、第３のチャネル１２０は、付加的なオブジェクトデータまたは車両データを表すことができ、これは、この場合において、オブジェクト１０４に関連付けられた速度情報１２２（例えば、Ｖ1）および方向情報１２４（例えば、Ｄ1）に対応する。いくつかの例において、速度情報１２２は、瞬間速度、平均速度などを含むことができる。いくつかの例において、方向情報１２４は、瞬間的な方向、平均的な方向などを含むことができる。速度のコンテキストにおいて論じられているが、速度情報１２２は、加速度（例えば、アクションにわたる平均、アクションに関連付けられた最大加速度など）、別のオブジェクトまたは車両からの距離などに関連付けられた情報を表すことができる。
【0036】
いくつかの例において、環境１００の離散化された表現１１４は、時間に関連付けられたグリッドを表し得る。例えば、離散化された表現１１４は、歩行者１０４の周囲の２５メートル×２５メートルの領域（または他のサイズの領域）を表す、２１×２１グリッド（またはＪ×Ｋサイズのグリッド）を表すことができる。いくつかの例において、離散化された表現１１４は、第１の時刻において歩行者１０４を含む中心を有してもよく、歩行者１０４が初期位置から移動するにつれて、時間的に進行し得る。離散化された表現１１４の詳細は、図３および図４、ならびにおよび他の箇所に関して論じられる。
【0037】
いくつかの例において、離散化された表現１１４は、多数のセル、例えば、セル１２６およびセル１２８などを含む。各セルは、歩行者１０４が将来（例えば、第１の時刻の後の第２の時刻）にセルのロケーションに存在することになる確率を含むことができる。例えば、より詳細に以下に解説されるように、モデル１０８は、セル１２６が横断歩道１０６Ａに関連付けられ、セル１２８が横断歩道１０６Ｂに関連付けられると決定し、それぞれのセルロケーションに関連付けられた確率に少なくとも部分的に基づいて、予測される軌道１１０Ａおよび１１０Ｂを出力し得る。いくつかの例において、セル１２６およびセル１２８は、（例えば、図１において陰影を付けられたセルとして示される）将来の時刻の前の先行する時刻におけるオブジェクトのロケーションに基づいて、第１の時刻におけるオブジェクト１０４の第１の位置からのオフセットを表すそれぞれのロケーションに関連付けられる。例えば、図１において、セルの陰影は、離散化された表現１１４において、現在の位置からセル１２６などのロケーションへの歩行者の可能な経路を示してもよく、これは、目的地、すなわち、横断歩道１０６Ａに関連付けられる。
【0038】
いくつかの例において、予測される軌道１１０Ａおよび１１０Ｂは、第１の時間におけるオブジェクト１０４の位置と、第２の時刻における確率に関連付けられたロケーションとを補間することに少なくとも部分的に基づいて、モデル１０８によって決定され得る。例えば、モデル１０８は、離散化された表現１１４の異なる領域にわたる異なる時刻におけるオブジェクト１０４の位置を補間してもよい。
【0039】
いくつかの例において、機械学習モデル１０８は、複数の離散化された表現を出力することができ、複数の離散化された表現の離散的表現は、将来の特定の時刻（例えば、０．５秒、１秒、３秒、５秒、１０秒後等）におけるオブジェクトに関連付けられた確率予測を表すことができる。
【0040】
いくつかの例において、モデル１０８は、歩行者１０４が予測される軌道１１０Ａを使用するか、または予測される軌道１１０Ｂを使用するかを示すための重み（例えば、確率）を決定し得る。重みを決定する詳細は、図３および他の箇所において論じられる。モデル１０８は、予測される軌道および関連付けられた重みを、歩行者１０４の意図を決定することになる付加的なモデルに送り得る。しかしながら、いくつかの例において、付加的なモデルによって提供される機能性は、モデル１０８によって行われてもよい。歩行者１０４の意図を決定するために使用されるモデルの詳細は、図５および他の箇所に関して論じられる。
【0041】
様々な例において、車両コンピューティングシステムのプランニング構成要素および／または知覚構成要素は、モデル１０８および／または付加的なモデルのうちの１つまたは複数からの出力（例えば、意図、予測される軌道、重み等）に基づいて、自律車両についての１つまたは複数の候補軌道を決定し得る。いくつかの例において、候補軌道は、車両１０２が（例えば、知覚時における）現在位置からおよび／または進行方向に基づいて進行し得る、任意の数の潜在的な経路を含んでもよい。いくつかの例において、歩行者１０４のうちの１人についての潜在的な経路は、静止したままであることを含んでもよい。そのような例において、対応する軌道は、運動がほとんどないことまたは全くないことを表し得る。いくつかの例において、軌道の数は、多種多様な要素、例えば、オブジェクトの分類（例えば、オブジェクトのタイプ）、他の静的なオブジェクトおよび／または動的なオブジェクト、運転可能な平面等などに依存して変わり得る。いくつかの例において、１つまたは複数の候補軌道は、機械学習技法を利用して決定されてもよい。
【0042】
図２は、本明細書において説明される技法を実装するために、機械学習されたモデルによって使用可能な環境の例示的な上から見た表現である。少なくとも１つの例において、車両１０２の車両コンピューティングシステムは、機械学習されたモデル１０８を実装して、環境の上から見た表現１１２を表すデータを処理し得る。このようにして、モデル１０８は、データを使用して、上から見た図を使用しないアプローチと対比して、車両１０２のコンテキストをより良好にキャプチャし得る。
【0043】
上述したように、上から見た表現１１２は、第１のチャネル１１６、第２のチャネル１１８、および第３のチャネル１２０を含むマルチチャネル画像を含む。図２に示されるように、上から見た表現１１２は、第４のチャネル２０４、第５のチャネル２０６、および第６のチャネル２０８をさらに含む。
【0044】
いくつかの例において、第４のチャネル２０４は、交通情報２１０（例えば、Ｔ1）に対応する信号機許容性情報（例えば、他の車両および歩行者と共に交差点に入る許可を示す信号機状態）を表すことができる。いくつかの例において、多数の交通信号機または交通信号は、第４のチャネルに関連付けられてもよく、それにより、第４のチャネル２０４は、環境内の各交通信号機または信号についての付加的な交通情報を含み得る。いくつかの例において、交通情報２１０は、モデル１０８によって、第２のチャネル１１８の横断歩道許可と組み合わせて使用されて、（例えば、自動車が横断歩道に関して優先権を有するかを知るために）横断歩道信号または信号機だけでなく、交通信号機も与えられると、いつ横断歩道を渡ることが可能かを決定することができる。
【0045】
いくつかの例において、第５のチャネル２０６は、向き情報２１２（例えば、Ｏ1）に対応する、オブジェクト１０４の向き（例えば、ロール、ピッチ、ヨー）を表すことができる。いくつかの例において、第６のチャネル２０８は、属性情報２１４（例えば、Ａ1）に対応する、オブジェクトの属性（例えば、走ること、歩くこと、うずくまることのようなオブジェクトアクション、オブジェクトロケーション履歴、オブジェクト速度履歴、オブジェクト方向履歴など）を表すことができる。いくつかの例において、オブジェクトの属性は、環境の特定の領域に関する履歴的挙動を含んでもよい。オブジェクト属性は、１つまたは複数のモデルを実装する車両コンピューティングシステムによって決定されてもよく、オブジェクトのアクション、位置、またはサブ分類のうちの１つまたは複数を含んでもよい。例えば、オブジェクト１０４の属性は、デバイスを見ている、車両１０２を見ている、座っている、歩いている、走っている、車両に入る、車両から出る歩行者などを含んでもよい。いくつかの例において、属性情報２１４は、オブジェクトタイプ、例えば、歩行者、車両、モペット、自転車等などを含んでもよい。
【0046】
いくつかの例において、上から見た表現１１２の付加的なチャネルは、車両１０２にとっての運転可能な平面、気象特性、および／または環境的特性を表し得る。
【0047】
データによって表される環境の上から見た表現１１２は、歩行者の周囲に関するより多くの情報、例えば、歩行者の経路を別の歩行者が妨げているかどうかなどを提供することによって、歩行者または他のオブジェクトが関連付けられ（例えば、面し、および／または向かって移動し）得る方向および／または目的地に関する予測も改善し得る。例えば、第３のチャネル１２０を含めることによって、速度情報１２２および方向情報１２４が、モデル１０８によって処理されることが可能である。
【0048】
いくつかの例において、モデル１０８への入力は、車両のセンサデータにおいて表されるオブジェクトの個々の画像またはトリミングされた画像フレームに関連付けられたデータを含むことができる。車両が環境をナビゲートするにつれて、付加的な画像が、異なる時刻についてキャプチャされ、機械学習されたモデル１０８への入力として提供される。いくつかの例において、画像フレームは、同じ縮尺にトリミングされ、それにより、各画像は、モデル１０８の入力に含まれる場合、同じサイズ（同じアスペクト比等）を含む。
【0049】
図３は、例示的な機械学習されたモデルが、環境の離散化された表現を決定し得る、環境３００内の例示的な自律車両（車両１０２）の図である。少なくとも１つの例において、車両１０２の車両コンピューティングシステムは、機械学習されたモデル１０８を実装して、環境３００の離散化された表現１１４を出力し得る。
【0050】
上述したように、いくつかの例では、離散化された表現１１４は、歩行者１０４が将来にセルのそれぞれのロケーションに存在することになるそれぞれの確率を含む、セル１２６および１２８などの多数のセルを含む。図３に示されるように、モデル１０８は、予測される軌道１１０Ａと、歩行者１０４がセル１２８に対応するロケーションへ進行することになるかどうかを示すための重み３０２Ａ（例えば、第１の重み）とを決定し、予測される軌道１１０Ｂと、歩行者１０４がセル１２６に対応するロケーションへ進行することになるかどうかを示すための重み３０２Ｂ（例えば、第２の重み）とを決定し得る。いくつかの例において、車両１０２の車両コンピューティングシステムは、モデル１０８から離散化された表現１１４を受け取ることに基づいて、歩行者１０４についての軌道および／または重みを決定し得る。
【0051】
いくつかの例において、離散化された表現１１４内のセルのロケーションは、オフセット（例えば、オブジェクトが将来の時刻にどこに存在することになるかの予測）を表し得る。例えば、離散化された表現１１４は、オフセット技法が、例えば４秒後の歩行者１０４のロケーションを決定し、現在の時刻における現在の位置から将来の時刻においてセルに関連付けられたロケーションへのオフセットを決定することを可能にし得る。そのような例において、モデル１０８（または車両コンピューティングシステムの他の構成要素）は、オフセットに少なくとも部分的に基づいて、内部点、または通過点を決定し得る。オフセット技法を使用してオブジェクトの目的地を知ることによって、モデル１０８は、車両プランニングにおいて使用するための予測される軌道を提供し得る。いくつかの例において、予測される軌道（例えば、１１０Ａまたは１１０Ｂ）は、セルのロケーションへの方向を識別するだけでなく、離散化された表現１１４に基づいてセルへの距離も識別し得る。
【0052】
いくつかの例において、予測される軌道１１０Ａおよび１１０Ｂは、モデル１０８によって、第１の時刻における歩行者１０４の位置と、第２の時刻における確率に関連付けられたロケーション（例えば、セル１２６またはセル１２８のロケーション）とを補間することに少なくとも部分的に基づいて、決定され得る。例えば、モデル１０８は、離散化された表現１１４の異なる領域にわたる異なる時刻における歩行者１０４の位置を補間し、補間に基づいて、１つまたは複数の予測される軌道を決定してもよい。そのような例において、補間することは、ある時間期間にわたる歩行者１０４の位置における変化から、データ点のセットを推定することを含み得る。いくつかの例において、モデル１０８は、線形補間アルゴリズムを実装して、予測される軌道を決定してもよい。
【0053】
いくつかの例において、第１の重みまたは第２の重みは、１つまたは複数のセルに関連付けられた確率の集約に少なくとも部分的に基づいて決定され得る。例えば、予測される軌道１１０Ａと重複または交差する各セルについての確率（例えば、分類確率）は、重み３０２Ａを決定するために組み合わされてもよい。いくつかの例において、モデル１０８は、オブジェクトの予測される軌道によって重複または交差される各セルについての確率の平均値に少なくとも部分的に基づいて、第１の重みまたは第２の重みを決定し得る。様々な例において、オブジェクトに関連付けられた画素が、セルの側面の境界の閾値範囲にあることに基づいて、セルは、それぞれの軌道と重複または交差しているものと考慮され得る。
【0054】
限定ではなく、例として、重み３０２Ａは、６０％の値を含んでもよく、一方で、重み３０２Ｂは、４０％の値を含んでもよい。したがって、歩行者１０４は、セル１２６に到達するために、予測される軌道１１０Ａを使用する可能性が６０％あり、セル１２８に到達するために、予測される軌道１１０Ｂを使用する可能性が４０％ある。モデル１０８によって出力される軌道および重みは、プランナー考慮（例えば、車両１０２によってアクションを決定すること）において使用するために、車両１０２のプランニング構成要素へ送られ得る。
【0055】
いくつかの例において、モデル１０８は、セル１２８のロケーションが横断歩道１０６Ｂに関連付けられ、およびセル１２６が横断歩道１０６Ａに関連付けられると決定し得る。例えば、モデル１０８は、地図データおよび／またはセンサデータを受け取り、セル１２８およびセル１２６のロケーションに関連付けられる意味論的な目的地を決定してもよい。
【0056】
様々な例において、車両コンピューティングシステムは、オブジェクトの実際のロケーションに関連付けられたセンサデータを記憶し、このデータを訓練データとして使用して、モデル１０８を訓練し得る。例えば、記憶されたセンサデータは、モデル１０８によって取り出され、オブジェクトのキューを識別する（例えば、オブジェクトの特徴、属性、または体勢を識別する）ために入力データとして使用されてもよい。いくつかの例において、車両コンピューティングシステムは、データ分析のために、遠隔コンピューティングデバイス（例えば、車両コンピューティングシステムとは別個のコンピューティングデバイス）にデータを提供し得る。そのような例において、遠隔コンピューティングシステムは、センサデータを分析して、オブジェクトの画像についての１つまたは複数のラベル、実際のロケーション、速度、進行方向等を決定し得る。いくつかのそのような例（例えば、歩行者の意図が決定される例）において、ログの期間にわたる向きのグラウンドトゥルース位置が決定され（手動でラベル付けされ、または別の機械学習されたモデルによって決定され）てもよく、そのようなグラウンドトゥルース位置は、歩行者の実際の意図（例えば、歩行者は立ったままであるか、道路を渡ったか、走り始めた／走り続けたか、歩き始めた／歩き続けたか等）を決定するために使用され得る。いくつかの例において、対応するデータは、出力（例えば、意図、軌道、重み等）を決定するためにモデルに入力され、オブジェクトによる決定された出力と実際のアクションとの間の差は、モデルを訓練するために使用され得る。
【0057】
図４は、例示的な機械学習されたモデルによって出力される環境の例示的な離散化された表現を描く。少なくとも１つの例において、車両１０２の車両コンピューティングシステムは、機械学習されたモデル１０８を実装して、第１の時刻、すなわちＴ１における環境３００の離散化された表現４１２と、第１の時間Ｔ１の後の第２の時刻、すなわちＴ２における環境３００の離散化された表現４１４とを出力し得る。
【0058】
図４の例において、離散化された表現４１２は、時刻Ｔ１における、車両１０２のロケーション、歩行者１０４のロケーション、歩行者が横断歩道１０６Ａおよび１０６Ｂに到達するためのそれぞれの重み付けされた軌道４１６Ａおよび４１６Ｂを含む。重み付けされた軌道４１６Ａは、予測される軌道１１０Ａおよび重み３０２Ａを表す。したがって、重み付けされた軌道４１６Ａは、歩行者１０４の方向、歩行者１０４の加速度、歩行者１０４が第２の時刻に第１の目的地（例えば、横断歩道１０６Ａ）に到達する第１の可能性、および歩行者１０４が第２の時刻に第２の目的地（例えば、横断歩道１０６Ｂ）に到達する第２の可能性を示す。例として、重み付けされた軌道４１６Ａおよび重み付けされた軌道４１６Ｂは、歩行者が、重み付けされた軌道４１６Ａまたは重み付けされた軌道４１６Ｂのいずれかを使用する等しい確率を有することを示すために、値０．５に関連付けられる（数値的な値以外に、確率を表すための他の値、シンボル、および表現も想定される）。例えば、重み付けされた軌道４１６Ａおよび重み付けされた軌道４１６Ｂは、相対的な優先度（例えば、低い、中間、高い）および／または他の優先度（例えば、第１、第２、第３等）に関連付けられてもよい。重み付けされた軌道４１６Ａおよび４１６Ｂに関する情報は、モデル１０８によって、プランナー考慮のために、車両１０２の車両コンピューティングシステムへ送られ得る。
【0059】
図４に示されるように、離散化された表現４１４は、車両がロケーションを変更したことを示すために、時刻Ｔ１と異なる時刻Ｔ２における車両１０２のロケーションを含む。例えば、車両コンピューティングシステムは、時刻Ｔ２に対応する付加的な入力データを受け取り、環境内の歩行者１０４および他のオブジェクトのロケーションにおける変化を表すための離散化された表現４１４を決定し得る。いくつかの例において、モデル１０８は、歩行者が時刻Ｔ２において横断歩道１０６Ａおよび１０６Ｂに到達するための重み付けされた軌道４１８Ａおよび４１８Ｂをそれぞれ決定する。重み付けされた軌道４１８Ａおよび４１８Ｂは、時刻Ｔ２における歩行者１０４についての新しい予測される軌道および関連付けられた重みを表し得る。例として、重み付けされた軌道４１８Ａは、歩行者１０４が横断歩道１０６Ａに到達する０．７の重みを有することを示しており、これは、車両が歩行者１０４のより近くに移動しており（歩行者１０４は必ずしも移動したとは限らない）、（先行する時刻と比較した）より正確な軌道予測のために新しい入力データを処理したと考慮すれば、驚くことではない。図４に示されるように、重み付けされた軌道４１８Ｂは、歩行者が横断歩道１０６Ａよりも横断歩道１０６Ｂに到達する確率がより低いことを示すために、値０．３に関連付けられる。
【0060】
いくつかの例において、機械学習モデル１０８は、将来の特定の時刻（例えば、０．５秒、１秒、３秒、５秒、１０秒後等）におけるオブジェクトおよび１つまたは複数の目的地に関連付けられた確率予測を表することができる、複数の重み付けされた軌道を出力することができる。この場合において、離散化された表現４１４は、将来の時刻、例えば２秒後についての、重み付けされた軌道４１８Ａおよび４１８Ｂを決定してもよい。
【0061】
いくつかの例において、時刻Ｔ１と時刻Ｔ２との間の時間期間は、変えることができ、５Ｈｚで１秒間隔（５フレーム分の入力）を表してもよい。
【0062】
図５は、例示的な機械学習されたモデルが、データを処理して、軌道についての意図、軌道タイプ、またはオブジェクトを決定し得る、環境５００内の自律車両の図である。車両１０２は、環境５００内のオブジェクトの意図を決定するように構成された、機械学習されたモデル５０２を含み得る。別個の機械学習されたモデルとして説明されているが、いくつかの例において、本明細書において説明される挙動予測技法は、他の車両システム、構成要素、および／またはコンピューティングデバイスによって実装されてもよい。例えば、本明細書において説明される挙動予測技法は、少なくとも部分的に、車両コンピューティングシステム６０４のモデル構成要素６３０および／もしくはプランニング構成要素６２４によって、または車両コンピューティングシステム６０４のモデル構成要素６３０および／もしくはプランニング構成要素６２４に関連して、実装され得る。
【0063】
いくつかの例において、機械学習されたモデル５０２（例えばモデル５０２）は、例えばモデル１０８から、軌道および重みを入力として受け取り、環境５００の１つまたは複数の特徴（例えば、目的地、道路、オブジェクト等）を表す地図データを含む入力データをさらに受け取り得る。いくつかの例において、第１のモデルからの多数の軌道および重みは、処理のためにモデル５０２によって受信され得る。
【0064】
いくつかの例において、モデル５０２は、車両コンピューティングシステムのプランニング構成要素から、軌道および重みを受け取り得る。例えば、プランニング構成要素は、候補軌道と、候補軌道が車両１０２によって使用される可能性を示す重みとを送ってもよい。いくつかの例において、プランニング構成要素からの軌道は、回帰技法（例えば、２つ以上の変数間の関係を推定または測定する技法）に少なくとも部分的に基づき得る。いくつかの例において、モデル５０２は、重みに少なくとも部分的に基づいた候補軌道についての意図を出力し、出力の表示を車両１０２へ送り得る。回帰技法を使用して軌道を生成する付加的な詳細は、２０１９年３月２５日に出願され、「Ｐｅｄｅｓｔｒｉａｎ Ｐｒｅｄｉｃｔｉｏｎ Ｂａｓｅｄ Ｏｎ Ａｔｔｒｉｂｕｔｅｓ」と題された特許文献５において説明されており、特許文献５は、参照によって本明細書に組み込まれている。
【0065】
いくつの例において、モデル５０２は、プランニング構成要素から軌道および重みを受け取り、モデル１０８からも軌道および重みを受け取り、プランニング構成要素および／またはモデル１０８から受け取られた１つまたは複数の軌道に関連付けるべき、１つまたは複数の意図を決定し得る。様々な例において、プランニング構成要素からの軌道（例えば、第１の軌道）は、第２の軌道に関連付けられた意味論的な目的地とは異なる意味論的な目的地に関連付けられ得る。いくつかの例において、第１の意味論的な目的地は、車両１０２の環境内の第１の領域を含んでもよく、第２の意味論的な目的地は、車両１０２の環境内の第２の領域を含んでもよい。いくつかの例において、モデル１０８からの軌道は、分類技法（例えば、入力をクラスまたはカテゴリにマッピングする技法）に少なくとも部分的に基づいて決定され得る。モデル１０８によって分類技法に基づいて軌道を決定することによって、いくつかの非分類アプローチと対比して、不正確な軌道（例えば、共通の軌道への崩壊）を低減する決定が行われることが可能である。いくつかの例において、モデルは、ＵＮｅｔバックボーンとソフトマックスアクティベーション出力とをさらに備える機械学習されたモデルを含む。ＵＮｅｔバックボーンは、特に、２つ以上の源からの２つ以上の入力（例えば、第１のモデルからの予測される軌道、および第２のモデルからの候補軌道）を受け取り、同様の解像度を有する出力が望まれる場合に、例えば、モデル５０２による出力の解像度を改善し得る。
【0066】
いくつかの例において、モデル５０２は、車両コンピューティングシステムによって検出されたオブジェクトおよび／またはオブジェクトタイプの表示を受け取り得る。例えば、車両コンピューティングシステムは、オブジェクトが歩行者（例えば、歩行者５１０、５２０、５２４、５２６、および５２８など）、自転車（例えば、自転車乗用者５０８および５１２など）、車両、動物等であることを示すデータをモデル５０２に提供し、いくつかの場合においては、重み付けされたオブジェクトタイプ（例えば、オブジェクトは、歩行者である確率が８０％であり、自転車である確率が２０％である）をさらにまたは代わりに示し得る。
【0067】
モデル５０２は、いくつかの例において、地図データを処理して、受け取られた軌道に関連付けられた環境５００内の１つまたは複数の目的地、例えば、横断歩道５０４および５１４などを決定し得る。いくつかの例において、目的地は、道路、歩道、自転車車線、道路セグメント、横断歩道、建物、バスレーン等のうちのいずれか１つを含んでもよい。例えば、モデルは、道路に沿って進行するバスなどのオブジェクトが、将来の時刻においてバス車線内で停止することになるか、道路内にとどまってバス車線（例えば、搭乗者に到達するための、道路に隣接する車線）には入らないことになるかを決定するために使用されてもよい。
【0068】
いくつかの例において、モデル５０２は、軌道に関連付けられた目的地に少なくとも部分的に基づいて、軌道に関連付けるべき意図を決定し得る。例えば、決定された目的地に基づいて、モデル５０２は、軌道についての意図を示すデータを出力してもよい。例えば、モデル５０２によって決定された１つまたは複数の意図は、モデル５０２によって出力される軌道および／または軌道タイプに関連付けられ得る。例えば、モデルは、道路セグメントを示す地図データに基づいて、道路に対するオブジェクトのロケーションを決定し、ロケーションを使用して、道路軌道タイプまたは自由な軌道タイプのうちの少なくとも１つとして、軌道タイプを決定し得る。例えば、道路軌道タイプは、オブジェクトのロケーションが（地図データによって決定されるような）道路セグメント内に存在すること、道路の閾値距離（例えば、車線の境界）に基づいて、オブジェクトに関連付けられてもよい。いくつかの例において、自由な軌道タイプは、道路ジオメトリ（例えば、道路セグメント内部、道路セグメント外部または道路セグメントからの閾値距離）と独立して移動し得るオブジェクトに関連付けられ得る。オブジェクト意図は、道路境界に対するオブジェクトのロケーションに応じて変わり得る。いくつかの例において、歩行者は、道路上に存在する場合、歩行者による道路から離れる動きを予測するためのより高い柔軟性をモデル５０２に与えるために、（例えば、速度閾値が満たされないことに起因して）道路軌道ではなく、自由な軌道を有し得る（例えば、歩行者が道路から離れる方向に向かうことになるという予測を限定し得る道路軌道に対して、歩行者が移動し得るより可能性が高い方向を予測する）。
【0069】
いくつかの例において、モデル５０２は、環境内の領域に対するオブジェクトの近接性に少なくとも部分的に基づいて、環境内のオブジェクトの意図を決定し得る。例えば、違法な道路横断意図は、オブジェクトが車両以外のものであり、道路などの領域内に存在することに基づいて決定されてもよい。別の例証的な例において、領域は、横断歩道、歩道、自転車車線等に対応し得る。いくつかの例において、環境内の領域は、環境を表す地図データに関連付けられた道路セグメントを含んでもよい。
【0070】
一般に、モデル５０２は、オブジェクトが横断歩道に入ろうと意図しているかどうか（例えば、横断歩道意図）、横断歩道の外部であって道路内を進行しようと意図しているかどうか（例えば、違法な道路横断意図）、および／または横断歩道の外部であって道路の外部を進行しようと意図しているかどうか（例えば、オフロード意図）を決定し得る。例えば、モデルは、意図が、自律車両の環境内のオブジェクトが道路セグメントに沿って進行しようとする意図、オブジェクトが道路セグメントの近くの外部を進行しようとする意図、オブジェクトが横断歩道内を進行しようとする意図、またはオブジェクトが横断歩道の境界の外部を進行しようとする意図のうちの少なくとも１つを含むと決定してもよい。
【0071】
様々な例において、機械学習されたモデル５０２は、オブジェクトの意図を軌道タイプに関連付け得る。限定ではなく、例として、自転車乗用者５０８は、道路軌道５１６に関連付けられてもよく、自転車乗用者５１２は、横断歩道意図５１８を有する道路軌道に関連付けられてもよい。図５は、機械学習されたモデル５０２が、歩行者５１０（または歩行者のための軌道）を横断歩道意図５０６を有する自由な軌道に関連付け、歩行者５２０をオフロード意図を有する自由な軌道に関連付け、歩行者５２４、５２６、および５２８を違法な道路横断意図５３０を有する自由な軌道に関連付けることも描く。
【0072】
いくつかの例において、モデル５０２は、オブジェクト（またはオブジェクトの軌道）を多数の意図に関連付け、オブジェクトまたは軌道についての各意図に関連付けられた重みを出力し得る。例えば、歩行者５２０は、オフロード意図５２２を有する自由な軌道と、例示の目的のために、歩行者がオフロード意図を有する９０％の確率を示すために０．９の重みとを有してもよい。ここで、モデル５０２は、歩行者５２０が違法な道路横断意図（例えば、歩行者５２０は方向を変更し、道路に入る）を有する１０％の確率を示すために、歩行者５２０の自由な軌道が０．１の重みを有するという表示も出力し得る。したがって、モデル５０２によって出力される重み付けされた意図は、オブジェクトまたは軌道に関連付けられ得る。
【0073】
モデル５０２は、出口ジャンクション５３２についての軌道（例えば、道路と、横断歩道などの別のロケーションとの間の変化）を決定するようにさらにまたは代わりに構成され得る。例えば、モデル５０２（または別のモデル）は、軌道を入力として受け取り、出口ジャンクション５３２に固有の軌道（例えば、意図に関連付けられた目的地の終了）を出力するように構成される。図５に示されるように、モデル５０２（または別のモデル）は、軌道を入力として受け取り、自転車乗用者５１２が横断歩道５１４を出た後の将来の時刻において道路へ戻る場合のために、出口ジャンクション５３２に固有の自転車乗用者５１２についての軌道を出力するように構成され得る。
【0074】
いくつかの例において、車両コンピューティングシステムは、第１の軌道に関連付けられた第１の重みまたは第２の軌道に関連付けられた第２の重みのうちの一方が、第１の重みおよび第２の重みのうちの他方よりも大きいと決定し得る。例えば、第１の軌道は、プランニング構成要素からの候補軌道に関連付けられてもよく、第２の軌道は、モデル１０８からの予測される軌道に関連付けられてもよい。いくつかの例において、車両コンピューティングシステムは、第１の重みが第２の重みよりも大きいと決定することに応答して、第１の軌道に少なくとも部分的に基づいて環境内の自律車両を制御すること、または、第２の重みが第１の重みよりも大きいと決定することに応答して、第２の軌道に少なくとも部分的に基づいて環境内の自律車両を制御することのうちの少なくとも１つを行い得る。
【0075】
一般に、モデル５０２および／またはモデル１０８による出力（例えば、重み、軌道、軌道タイプ、および／または意図）は、車両のプランニング構成要素に通信されてよく、車両のプランニング構成要素は、次いで、出力に少なくとも部分的に基づいて、車両のため候補軌道を決定し得る。プランニング構成要素は、例えば、オブジェクトが自由な軌道タイプとは対照的に道路軌道タイプに関連付けられているかどうか、候補軌道を異なる形で決定してもよい（各タイプは、車両１０２についてのアクションを生成するために、車両コンピューティングシステムによって使用可能な異なるアルゴリズム、パラメータ、および／または設定に関連付けられ得る）。軌道タイプを識別することによって、プランニング構成要素は、候補軌道を決定する場合に、例えば、アルゴリズムまたはパラメータの異なるセットを実装し得る。これは、プランナーが軌道タイプを処理しない場合よりも、プランナーがより多くの詳細を有する軌道をより迅速に生成することをもたらすことができる。
【0076】
図６は、本明細書において説明される技法を実装するための例示的なシステム６００のブロック図である。車両６０２は、車両コンピューティングシステム６０４、１つまたは複数のセンサシステム６０６、１つまたは複数のエミッタ６０８、１つまたは複数の通信接続部６１０、少なくとも１直接接続部６１２、および１つまたは複数の駆動システム６１４を含み得る。
【0077】
車両コンピューティングシステム６０４は、１つまたは複数のプロセッサ６１６と、１つまたは複数のプロセッサ６１６に通信可能に結合されたメモリ６１８とを含み得る。例証される例において、車両６０２は自律車両である。ただし、車両６０２は、半自律車両などの任意の他のタイプの車両、または少なくとも画像キャプチャデバイス（例えば、カメラ付きスマートフォン）を有する任意の他のシステムであってもよい。例証される例において、車両コンピューティングシステム６０４のメモリ６１８は、位置特定構成要素６２０、知覚構成要素６２２、プランニング構成要素６２４、１つまたは複数のシステムコントローラ６２６、１つまたは複数の地図６２８、および、１つまたは複数のモデル、例えば第１のモデル６３２Ａ、第２のモデル６３２ＢからＮ番目のモデル６３２Ｎまで（まとめて「モデル６３２」）などを含むモデル構成要素６３０を記憶し、ただし、Ｎは、１よりも大きい任意の整数とすることができる。例証の目的のために、メモリ６１８内に存在するものとして図６に描かれているが、位置特定構成要素６２０、知覚構成要素６２２、プランニング構成要素６２４、１つもしくは複数のシステムコントローラ６２６、１つもしくは複数の地図６２８、および／または、モデル６３２を含むモデル構成要素６３０は、付加的に、または代替として、車両６０２に対してアクセス可能である（例えば、車両６０２から遠隔のメモリ、例えば、遠隔コンピューティングデバイス６３６のメモリ６３４などに記憶され、または他の方法で、車両６０２から遠隔のメモリによってアクセス可能である）ことが想定される。
【0078】
少なくとも１つの例において、位置特定構成要素６２０は、センサシステム６０６からデータを受け取って、車両６０２の位置および／または向き（例えば、ｘ位置、ｙ位置、ｚ位置、ロール、ピッチ、またはヨーのうちの１つまたは複数）を決定するための機能性を含み得る。例えば、位置特定構成要素６２０は、地図６２８および／または地図構成要素６３８からなどの環境の地図を含みおよび／または要求し／受け取り得、地図内の自律車両のロケーションおよび／または向きを連続的に決定し得る。いくつかの例において、位置特定構成要素６２０は、ＳＬＡＭ（同時の位置特定およびマッピング）、ＣＬＡＭＳ（同時の較正、位置特定およびマッピング）、相対的ＳＬＡＭ、バンドル調整、非線形最小二乗最適化等を利用して、画像データ、ライダーデータ、レーダデータ、ＩＭＵデータ、ＧＰＳデータ、ホイールエンコーダデータ等を受け取って、自律車両のロケーションを正確に決定し得る。いくつかの例において、位置特定構成要素６２０は、車両６０２の様々な構成要素にデータを提供して、本明細書において論じられるように、車両６０２に対するオブジェクトの関連性を決定するために自律車両の初期位置を決定し得る。
【0079】
いくつかの例において、知覚構成要素６２２は、オブジェクト検出、セグメント化、および／または分類を行うための機能性を含み得る。いくつかの例において、知覚構成要素６２２は、車両６０２に近接したオブジェクト（例えば、エンティティ）の存在、および／またはオブジェクトタイプ（例えば、自動車、歩行者、サイクリスト、動物、建物、樹木、道路表面、縁石、歩道、未知等）としてのオブジェクトの分類を示す、処理されたセンサデータを提供し得る。いくつかの例において、知覚構成要素６２２は、車両６０２に近接した静止エンティティの存在、および／またはタイプ（例えば、建物、樹木、道路表面、縁石、歩道、未知等）としての静止エンティティの分類を示す、処理されたセンサデータを提供し得る。付加的な例または代替的な例において、知覚構成要素６２２は、検出されたオブジェクト（例えば、追跡されるオブジェクト）および／またはオブジェクトが位置する環境に関連付けられた１つまたは複数の特徴を示す、処理されたセンサデータを提供してもよい。いくつかの例において、オブジェクトに関連付けられた特徴は、ｘ位置（グローバル位置および／またはローカル位置）、ｙ位置（グローバル位置および／またはローカル位置）、ｚ位置（グローバル位置および／またはローカル位置）、向き（例えば、ロール、ピッチ、ヨー）、オブジェクトタイプ（例えば、分類）、オブジェクトの速度、オブジェクトの加速度、オブジェクトの大きさ（サイズ）等を含んでもよいが、これらに限定されない。環境に関連付けられた特徴は、環境内の別のオブジェクトの存在、環境内の別のオブジェクトの状態、時刻、曜日、季節、気象条件、暗さ／光の表示等を含んでもよいが、これらに限定されない。
【0080】
一般に、プランニング構成要素６２４は、車両６０２が環境を横断するために従うべき経路を決定し得る。例えば、プランニング構成要素６２４は、様々なルートおよび軌道、ならびに様々なレベルの詳細を決定してもよい。例えば、プランニング構成要素６２４は、第１のロケーション（例えば、現在のロケーション）から第２のロケーション（例えば、ターゲットロケーション）へ進行するためのルートを決定してもよい。この論考の目的のために、ルートは、２つのロケーション間を進行するための通過点のシーケンスを含み得る。非限定的な例として、通過点は、街路、交差点、全地球測位システム（ＧＰＳ）座標等を含む。さらに、プランニング構成要素６２４は、自律車両を第１のロケーションから第２のロケーションへのルートの少なくとも一部に沿って案内するための命令を生成し得る。少なくとも１つの例において、プランニング構成要素６２４は、通過点のシーケンス内の第１の通過点から通過点のシーケンス内の第２の通過点へ自律車両をどのように案内するかを決定し得る。いくつかの例において、命令は、軌道、または軌道の一部であり得る。いくつかの例において、多数の軌道は、後退地平線技法に従って実質的に同時に（例えば、技術的な許容範囲内で）生成されてもよく、多数の軌道のうちの１つが、車両６０２をナビゲートするために選択される。
【0081】
いくつかの例において、プランニング構成要素６２４は、環境内のオブジェクト（例えば、オブジェクト）の予測される軌道を生成するために予測構成要素を含み得る。例えば、予測構成要素は、車両６０２から閾値距離内のオブジェクトのための１つまたは複数の予測される軌道を生成してもよい。いくつかの例において、予測構成要素は、オブジェクトの軌跡を測定し、観察および予測された挙動に基づいて、オブジェクトについての軌道を生成し得る。
【0082】
少なくとも１つの例において、車両コンピューティングシステム６０４は、１つまたは複数のシステムコントローラ６２６を含んでもよく、１つまたは複数のシステムコントローラ６２６は、車両６０２のステアリング、推進力、制動、安全性、エミッタ、通信、および他のシステムを制御するように構成され得る。システムコントローラ６２６は、車両６０２の駆動システム６１４の対応するシステムおよび／もしくは他の構成要素と通信し、ならびに／またはこれらを制御し得る。
【0083】
メモリ６１８は、環境内でナビゲートするために車両６０２によって使用され得る、１つまたは複数の地図６２８をさらに含み得る。この論考の目的のために、地図は、例えば、トポロジー（交差点など）、街路、山脈、道路、地形、および環境一般などの、ただし、これらに限定されない、環境に関する情報を提供することが可能な二次元、三次元、またはＮ次元においてモデル化された任意の数のデータ構造とし得る。いくつかの例において、地図は、テクスチャ情報（例えば、色情報（例えば、ＲＧＢ色情報、Ｌａｂ色情報、ＨＳＶ／ＨＳＬ色情報）等）、強度情報（例えば、ライダー情報、レーダ情報等）、空間情報（例えば、メッシュ上に投影された画像データ、個々の「サーフェル（ｓｕｒｆｅｌｓ）」（例えば、個々の色および／または強度に関連付けられた多角形））、反射率情報（例えば、鏡面反射率情報、再帰反射率情報、ＢＲＤＦ情報、ＢＳＳＲＤＦ情報等）を含み得るが、これらに限定されない。一例において、地図は、環境の三次元メッシュを含んでもよい。いくつかの例において、車両６０２は、地図６２８に少なくとも部分的に基づいて制御され得る。すなわち、地図６２８は、位置特定構成要素６２０、知覚構成要素６２２、および／またはプランニング構成要素６２４と関連して使用されて、車両６０２のロケーションを決定し、環境内のオブジェクトを検出し、ルートを生成し、環境内でナビゲートするためのアクションおよび／または軌道を決定し得る。
【0084】
いくつかの例において、１つまたは複数の地図６２８は、ネットワーク６４０を介してアクセス可能な遠隔コンピューティングデバイス（コンピューティングデバイス６３６など）に記憶され得る。いくつかの例において、多数の地図６２８は、例えば、特性（例えば、エンティティのタイプ、時刻、曜日、その年の季節等）に基づいて、記憶され得る。多数の地図６２８を記憶することは、同様のメモリ要件を有し得るが、地図内のデータがアクセスされ得る速度を増加させ得る。
【0085】
図６に示されるように、車両コンピューティングシステム６０４は、モデル構成要素６３０を含み得る。モデル構成要素６３０は、オブジェクトの予測される軌道、予測される軌道に関連付けられた重み、オブジェクトの意図、軌道の意図、および／または軌道タイプの意図、例えば、図１のモデル１０８および図５のモデル５０２などを決定するように構成され得る。様々な例において、モデル構成要素６３０は、環境の上から見た図を表すデータを受け取り得る。いくつかの例において、モデル構成要素６３０は、知覚構成要素６２２および／またはセンサシステム６０６から、環境特性（例えば、環境要素等）および／または気象特性（例えば、雪、雨、氷等などの気象要素）を受け取ってもよい。図６においては別々に示されているが、モデル構成要素６３０は、車両６０２の知覚構成要素６２２、プランニング構成要素６２４、または他の構成要素の一部であってもよい。
【0086】
様々な例において、モデル構成要素６３０は、車両６０２のための１つまたは複数の候補軌道（例えば、進行方向、速度等）を生成するために、プランニング構成要素６２４によって使用される第１のモデル６３２Ａ、第２のモデル６３２Ｂ、および／またはＮ番目のモデル６３２Ｎからの出力を送り得る。いくつかの例において、プランニング構成要素６２４は、車両６０２についての１つまたは複数のアクション（例えば、基準アクションおよび／またはサブアクション）を決定し得る。いくつかの例において、モデル構成要素６３０は、将来の時刻におけるオブジェクトのための軌道および重みを決定するために車両コンピューティングシステム６０４によって使用可能な離散化された表現を出力するように構成され得る。いくつかの例において、軌道は、離散化された表現のセルに少なくとも部分的に基づき得る。いくつかの例において、プランニング構成要素６２４は、環境特性、気象特性等などに基づいて、環境に適用可能なアクションを決定するように構成され得る。
【0087】
いくつかの例において、第１のモデル６３２Ａ、第２のモデル６３２Ｂ、および／またはＮ番目のモデル６３２Ｎは、異なるオブジェクトのために構成され得る。例えば、第１のモデル６３２Ａは、歩行者についての意図を決定するために車両コンピューティングシステム６０４によって実装されてもよく、第２のモデル６３２Ｂは、自転車乗用者についての意図を決定するために実装されてもよい。
【0088】
様々な例において、モデル構成要素６３０は、機械学習技法を利用して、図１～図５および他の箇所に関して説明されるように、車両の周囲の環境を描く画像内のオブジェクトの挙動予測を決定し、および／または環境内のオブジェクトの挙動予測を決定し得る。そのような例において、機械学習アルゴリズムは、環境内の車両に関するオブジェクトの１つまたは複数の軌道、重み、および／または意図を決定するように訓練され得る。
【0089】
いくつかの例において、モデル構成要素６３０は、環境の離散化された表現に基づいて、オブジェクトの予測される軌道または意図を決定し（例えば、オブジェクトの意図を推測し）得る。いくつかの例において、モデル構成要素６３０は、オブジェクトの体勢または先行する挙動、および、いくつかの場合においては、経時的な体勢または挙動変化に少なくとも部分的に基づいて、オブジェクト挙動を学習するように訓練され得る。したがって、一旦訓練されると、モデル構成要素６３０は、運転者が、オブジェクトのわずかな特徴に基づいて、オブジェクトが方向または速度を変化させることになるかどうかを知ることができるように、より少ない画像、または単一の画像から、オブジェクトの意図を決定し得る。
【0090】
様々な例において、モデル構成要素６３０は、離散化された表現における１つまたは複数のセルに関連付けられた確率に少なくとも部分的に基づいて、重みを決定し得る。例えば、モデル構成要素６３０は、各セルについて、例えば４００個の可能な分類のうちのいずれかを識別し、オブジェクトの予測される軌道に関連付けられた各セルにわたって確率を集約し、加算し、またはその他の方法で組み合わせ得る。そのような例において、モデル１０８は、離散化された表現のセルを意図クラスにマッピングし得る。
【0091】
理解され得るように、本明細書において論じられる構成要素（例えば、位置特定構成要素６２０、知覚構成要素６２２、プランニング構成要素６２４、１つまたは複数のシステムコントローラ６２６、１つまたは複数の地図６２８、１つまたは複数のモデル、例えば、第１のモデル６３２Ａ、第２のモデル６３２Ｂから、Ｎ番目のモデル６３２までなどを含むモデル構成要素６３０）は、例証の目的のために分割されたものとして説明されている。しかしながら、様々な構成要素によって行われる動作は、組み合わされてもよく、または任意の他の構成要素において行われてもよい。
【0092】
いくつかの例において、本明細書において論じられる構成要素の一部または全部の態様は、任意のモデル、技法、および／または機械学習された技法を含んでもよい。例えば、いくつかの場合において、メモリ６１８（および、以下に論じられるメモリ６３４）内の構成要素は、ニューラルネットワークとして実装されてもよい。
【0093】
本明細書において説明されるように、例示的なニューラルネットワークは、出力を生成するために入力データを一連の接続された層を通じて通過させる、生物学的に着想を得た技法である。ニューラルネットワーク内の各層は、別のニューラルネットワークも含んでもよく、または（畳み込みかそうでないかに関わらず）任意の数の層を含んでもよい。本開示のコンテキストにおいて理解され得るように、ニューラルネットワークは、機械学習を利用し、機械学習は、学習されたパラメータに基づいて出力が生成される、幅広いそのような技法を指し得る。
【0094】
ニューラルネットワークのコンテキストにおいて論じられているが、任意のタイプの機械学習が、本開示と矛盾せずに使用され得る。例えば、機械学習技法は、回帰技法（例えば、通常の最小二乗回帰（ＯＬＳＲ）、線形回帰、ロジスティック回帰、段階的回帰、多変量適応回帰スプライン（ＭＡＲＳ）、局所推定散布図平滑化（ＬＯＥＳＳ））、インスタンスベースの技法（例えば、リッジ回帰、最小絶対収縮および選択演算子（ＬＡＳＳＯ）、弾性ネット、最小角回帰（ＬＡＲＳ））、決定木技法（例えば、分類回帰木（ＣＡＲＴ）、反復二分法３（ＩＤ３）、カイ二乗自動相互作用検出（ＣＨＡＩＤ）、決定切り株、条件付き決定木）、ベイズ技法（例えば、ナイーブベイズ、ガウスナイーブベイズ、多項式ナイーブベイズ、平均１依存性推定器（ＡＯＤＥ）、ベイジアン信念ネットワーク（ＢＮＮ）、ベイズジアンネットワーク）、クラスタリング技法（例えば、ｋ平均法、ｋメジアン、期待値最大化（ＥＭ）、階層的クラスタリング）、アソシエーションルール学習技法（例えばパーセプトロン、誤差逆伝播法、ホップフィールドネットワーク、放射基底関数ネットワーク（ＲＢＦＮ））、深層学習技法（例えば、深層ボルツマンマシン（ＤＢＭ）、深層信念ネットワーク（ＤＢＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、積層オートエンコーダ）、次元削減技法（例えば、主成分分析（ＰＣＡ）、主成分回帰（ＰＣＲ）、部分最小二乗回帰（ＰＬＳＲ）、サモンマッピング、多次元スケーリング（ＭＤＳ）、射影追跡法、線形判別分析（ＬＤＡ）、混合判別分析（ＭＤＡ）、二次判別分析（ＱＤＡ）、柔軟判別分析（ＦＤＡ））、アンサンブル技法（例えば、ブースティング、ブートストラップアグリゲーション（バギング）、アダブースト、積層一般化（ブレンディング）、勾配ブースティングマシン（ＧＢＭ）、勾配ブースト回帰木（ＧＢＲＴ）、ランダムフォレスト）、ＳＶＭ（サポートベクターマシン）、教師付き学習、教師なし学習、半教師付き学習等を含んでもよいが、これらに限定されない。アーキテクチャの付加的な例は、ＲｅｓＮｅｔ５０、ＲｅｓＮｅｔ１０１、ＶＧＧ、ＤｅｎｓｅＮｅｔ、ＰｏｉｎｔＮｅｔ等などのニューラルネットワークを含む。
【0095】
少なくとも１つの例において、センサシステム６０６は、ライダーセンサ、レーダセンサ、超音波振動子、ソナーセンサ、ロケーションセンサ（例えば、ＧＰＳ、コンパス等）、慣性のセンサ（例えば、慣性測定ユニット（ＩＭＵ）、加速度計、磁力計、ジャイロスコープ等）、カメラ（例えば、ＲＧＢ、ＩＲ、強度、奥行き、飛行時間等）、マイクロフォン、ホイールエンコーダ、環境センサ（例えば、温度センサ、湿度センサ、光センサ、圧力センサ等）等を含んでもよい。センサシステム６０６は、これらのタイプまたは他のタイプのセンサの各々の多数のインスタンスを含み得る。例えば、ライダーセンサは、車両６０２の角部、前部、後部、側面、および／または上部に位置する個々のライダーセンサを含んでもよい。別の例として、カメラセンサは、車両６０２の外部および／または内部に関する様々なロケーションに配設された多数のカメラを含んでもよい。センサシステム６０６は、車両コンピューティングシステム６０４に入力を提供し得る。付加的に、または代替案において、センサシステム６０６は、特定の周波数で、所定の時間期間の経過後、ほぼリアルタイム等で、１つまたは複数のネットワーク６４０を介して、１つまたは複数のコンピューティングデバイス６３６へセンサデータを送り得る。いくつかの例において、モデル構成要素６３０は、センサシステム６０６のうちの１つまたは複数からセンサデータを受け取り得る。
【0096】
車両６０２は、光および／または音声を放出するために１つまたは複数のエミッタ６０８も含み得る。エミッタ６０８は、車両６０２の搭乗者と通信するために内部オーディオエミッタおよび内部視覚エミッタを含み得る。限定ではなく、例として、内部エミッタは、スピーカ、ライト、サイン、ディスプレイ画面、タッチ画面、触覚エミッタ（例えば、振動および／または力フィードバック）、機械的アクチュエータ等（例えば、シートベルトテンショナー、座席ポジショナー、ヘッドレストポジショナー等）を含んでもよい。エミッタ６０８は、外部エミッタも含んでもよい。限定ではなく、例として、外部エミッタは、進行方向を知らせるためのライト、または車両アクションの他のインジケータ（例えば、インジケータライト、サイン、ライトアレイ等）、および１つまたは複数のオーディオエミッタ（例えば、スピーカ、スピーカアレイ、ホーン等）を含んで、歩行者または他の近くの車両と聞こえるように通信してもよく、他の近くの車両のうちの１つまたは複数は、音響ビームステアリング技術を含む。
【0097】
車両６０２は、車両６０２と、１つまたは複数の他のローカルコンピューティングデバイスまたは遠隔コンピューティングデバイスとの間の通信を可能にする、１つまたは複数の通信接続部６１０も含み得る。例えば、通信接続部６１０は、車両６０２および／または駆動システム６１４上の他のローカルコンピューティングデバイスとの通信を容易にし得る。また、通信接続部６１０は、車両が、他の近くのコンピューティングデバイス（例えば、遠隔コンピューティングデバイス６３６、他の近くの車両等）、および／または、センサデータを受け取るために１つもしくは複数のリモートセンサシステム６４２と通信することを可能にし得る。通信接続部６１０は、車両６０２が、遠隔テレオペレーションコンピューティングデバイスまたは他の遠隔サービスと通信することも可能にする。
【0098】
通信接続部６１０は、車両コンピューティングシステム６０４を別のコンピューティングデバイス、またはネットワーク６４０などのネットワークに接続するための物理的なインターフェースおよび／または論理的なインターフェースを含み得る。例えば、通信接続部６１０は、ＩＥＥＥ ８０２．１１標準によって定義されている周波数などを介したＷｉ－Ｆｉベースの通信、ブルートゥースなどの短距離無線周波数、セルラー通信（例えば、２Ｇ、３Ｇ、４Ｇ、４Ｇ ＬＴＥ、５Ｇ等）、または、それぞれのコンピューティングデバイスが他のコンピューティングデバイスとインターフェースすることを可能にする任意の適切な有線もしくは無線通信プロトコルを可能にすることができる。
【0099】
少なくとも１つの例において、車両６０２は、１つまたは複数の駆動システム６１４を含み得る。いくつかの例において、車両６０２は、単一の駆動システム６１４を有してもよい。少なくとも１つの例において、車両６０２が多数の駆動システム６１４を有する場合、個々の駆動システム６１４は、車両６０２の対向する端部（例えば、前部および後部等）に位置付けられ得る。少なくとも１つの例において、駆動システム６１４は、駆動システム６１４および／または車両６０２の周囲の条件を検出するために１つまたは複数のセンサシステムを含み得る。限定ではなく、例として、センサシステムは、駆動システムのホイールの回転を感知するための１つまたは複数のホイールエンコーダ（例えば、ロータリエンコーダ）、駆動システムの向きおよび加速度を測定するための慣性センサ（例えば、慣性測定ユニット、加速度計、ジャイロスコープ、磁力計等）、カメラまたは他の画像センサ、駆動システムの周囲のオブジェクトを音響的に検出するための超音波センサ、ライダーセンサ、レーダセンサ等を含んでもよい。ホイールエンコーダなどのいくつかのセンサは、駆動システム６１４に固有であってもよい。いくつかの場合において、駆動システム６１４上のセンサシステムは、車両６０２の対応するシステム（例えば、センサシステム６０６）と重複してもよく、または対応するシステムを補完してもよい。
【0100】
駆動システム６１４は、高圧バッテリ、車両を推進させるためのモータ、バッテリからの直流を他の車両システムによる使用のために交流に変換するためのインバータ、ステアリングモータおよびステアリングラック（これらは電動とすることができる）を含むステアリングシステム、油圧アクチュエータまたは電動アクチュエータを含むブレーキングシステム、油圧構成要素および／または空圧構成要素を含むサスペンションシステム、トラクションの損失を軽減し、制御を維持するためにブレーキ力を分配するための安定制御システム、ＨＶＡＣシステム、照明（例えば、車両の外周囲を照らすためのヘッド／テールライトなどの照明）、ならびに、１つまたは複数の他のシステム（例えば、冷却システム、安全システム、車載充電システム、他の電気構成要素、例えば、ＤＣ／ＤＣコンバータ、高電圧接点、高圧ケーブル、充電システム、チャージポート等）を含む、車両システムの多くを含み得る。付加的に、駆動システム６１４は、センサシステムからのデータを受け取って前処理し、様々な車両システムの動作を制御し得る駆動システムコントローラを含み得る。いくつかの例において、駆動システムコントローラは、１つまたは複数のプロセッサと、１つまたは複数のプロセッサに通信可能に結合されたメモリとを含み得る。メモリは、駆動システム６１４の様々な機能性を行うための１つまたは複数のモジュールを記憶し得る。さらに、駆動システム６１４は、それぞれの駆動システムによる、１つまたは複数の他のローカルコンピューティングデバイスまたは遠隔コンピューティングデバイスとの通信を可能にする、１つまたは複数の通信接続部も含み得る。
【0101】
少なくとも１つの例において、直接接続部６１２は、１つまたは複数の駆動システム６１４を車両６０２の本体に結合するための物理的なインターフェースを提供し得る。例えば、直接接続部６１２は、エネルギー、流体、空気、データ等を駆動システム６１４と車両との間で伝達することを可能にし得る。いくつかの例において、直接接続部６１２は、駆動システム６１４を車両６０２の本体にさらに解放可能に固定し得る。
【0102】
少なくとも１つの例において、位置特定構成要素６２０、知覚構成要素６２２、プランニング構成要素６２４、１つまたは複数のシステムコントローラ６２６、１つまたは複数の地図６２８、およびモデル構成要素６３０は、上述したようにセンサデータを処理し得、それぞれの出力を１つまたは複数のネットワーク６４０上でコンピューティングデバイス６３６へ送り得る。少なくとも１つの例において、位置特定構成要素６２０、知覚構成要素６２２、プランニング構成要素６２４、１つまたは複数のシステムコントローラ６２６、１つまたは複数の地図６２８、およびモデル構成要素６３０は、特定の周波数で、所定の時間期間の経過後、ほぼリアルタイム等で、遠隔コンピューティングデバイス６３６にそれぞれの出力を送り得る。
【0103】
いくつかの例において、車両６０２は、ネットワーク６４０を介してコンピューティングデバイス６３６にセンサデータを送り得る。いくつかの例において、車両６０２は、コンピューティングデバイス６３６および／またはリモートセンサシステム６４２から、ネットワーク６４０を介してセンサデータを受け取り得る。センサデータは、生のセンサデータおよび／または処理されたセンサデータおよび／またはセンサデータの表現を含んでもよい。いくつかの例において、（生のまたは処理された）センサデータは、１つまたは複数のログファイルとして送られおよび／または受け取られ得る。
【0104】
コンピューティングデバイス６３６は、プロセッサ６４４、地図構成要素６３８を記憶するメモリ６３４、モデル構成要素６４６、および訓練構成要素６４８を含み得る。いくつかの例において、地図構成要素６３８は、様々な解像度の地図を生成するための機能性を含み得る。そのような例において、地図構成要素６３８は、ナビゲーション目的のために、１つまたは複数の地図を車両コンピューティングシステム６０４に送り得る。いくつかの例において、モデル構成要素６４６は、モデル構成要素６３０と同様の機能性を行うように構成され得る。様々な例において、モデル構成要素６４６は、１つまたは複数のリモートセンサ、例えば、センサシステム６０６および／またはリモートセンサシステム６４２などから、データを受け取るように構成され得る。いくつかの例において、モデル構成要素６４６は、データを処理し、処理されたセンサデータを、モデル構成要素６３０（例えば、第１のモデル６３２Ａ、第２のモデル６３２Ｂ、および／またはＮ番目のモデル６３２Ｎ）などによる使用のために、車両コンピューティングシステム６０４に送るように構成されてもよい。いくつかの例において、モデル構成要素６４６は、生のセンサデータを車両コンピューティングシステム６０４に送るように構成され得る。
【0105】
いくつかの例において、訓練構成要素６４８は、機械学習モデルを訓練して、オブジェクトの特徴および／またはオブジェクトの属性を出力するための機能性を含むことができる。例えば、訓練構成要素６４８は、ある時間期間、例えば、０．１ミリ秒、１秒、３秒、５秒、７秒等などの間に環境を横断するオブジェクトを表す画像のセット（例えば、１つまたは複数の画像）を受け取ることができる。画像のセットの少なくとも一部は、機械学習モデルを訓練するための入力として使用されることが可能である。非限定的な例として、画像のシーケンスの第１のセット（例えば、３つ、４つ、５つ、またはそれ以上）が、機械学習されたモデルへ入力されてもよい。第１のセットの直前の画像のシーケンス内の第２のセットの画像（または、例えば、画像から属性を抽出することによって、画像に関連付けられた属性情報）は、次いで、モデルを訓練するためのグラウンドトゥルースとして使用され得る。したがって、オブジェクトが環境を横断する画像を提供することによって、訓練構成要素６４８は、本明細書において論じられるように、オブジェクトの特徴および／またはオブジェクトの属性を出力するように訓練されることが可能である。
【0106】
いくつかの例において、訓練構成要素６４８は、シミュレータによって生成された訓練データを含むことができる。例えば、シミュレーションされた訓練データは、付加的な訓練例を提供するために、車両が環境内のオブジェクトと衝突する、または環境内のオブジェクトと衝突しそうになる例を表すことができる。
【0107】
訓練構成要素６４８の付加的な詳細、および訓練のためのデータの例は、図３に関連して、および本開示の全体を通じて、以下に論じられる。
【0108】
車両６０２のプロセッサ６１６およびコンピューティングデバイス６３６のプロセッサ６４４は、命令を実行して、データを処理し、本明細書において説明されるような動作を行うことが可能な任意の適切なプロセッサであってよい。限定ではなく、例として、プロセッサ６１６および６４４は、１つまたは複数の中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、または、電子データを処理して、その電子データをレジスタおよび／もしくはメモリに記憶され得る他の電子データに変換する、任意の他のデバイスまたはデバイスの一部を含んでもよい。いくつかの例において、集積回路（例えば、ＡＳＩＣ等）、ゲートアレイ（例えば、ＦＰＧＡ等）、および他のハードウェアデバイスも、符号化された命令を実装するようにそれらが構成される限り、プロセッサとして考慮され得る。
【0109】
メモリ６１８およびメモリ６３４は、非一時的なコンピュータ可読媒体の例である。メモリ６１８およびメモリ６３４は、オペレーティングシステム、ならびに、１つまたは複数のソフトウェアアプリケーション、命令、プログラム、および／またはデータを記憶して、本明細書において説明される方法、および様々なシステムに帰属する機能を実装し得る。様々な実装において、メモリは、任意の適切なメモリ技術、例えば、スタティックランダムアクセスメモリ（ＳＲＡＭ）、シンクロナスダイナミックＲＡＭ（ＳＤＲＡＭ）、不揮発性／フラッシュ型メモリ、または、情報を記憶することが可能な任意の他のタイプのメモリなどを使用して実装され得る。本明細書において説明されるアーキテクチャ、システム、および個々の要素は、多くの他の論理的構成要素、プログラム構成要素、および物理的構成要素を含んでもよく、これらのうちで、添付の図に示されるものは、本明細書における論考に関連する例にすぎない。
【0110】
いくつかの例において、メモリ６１８およびメモリ６３４は、少なくとも作業メモリと記憶メモリとを含み得る。例えば、作業メモリは、プロセッサ６１６および６４４によって操作されるべきデータを記憶するために使用される、容量制限のある高速メモリ（例えば、キャッシュメモリ）であってもよい。いくつかの例において、メモリ６１８およびメモリ６３４は、データの長期記憶のために使用される、比較的大容量のより低速なメモリであり得る、記憶メモリを含んでもよい。いくつかの場合において、プロセッサ６１６および６４４は、記憶メモリに記憶されたデータを直接操作することができず、データは、本明細書において論じられるように、データに基づいた動作を行うために作業メモリにロードされる必要があり得る。
【0111】
図６は、分散型システムとして示されているが、代替的な例において、車両６０２の構成要素は、コンピューティングデバイス６３６に関連付けられてもよく、および／または、コンピューティングデバイス６３６の構成要素は、車両６０２に関連付けられてもよいことが、留意されるべきである。すなわち、車両６０２は、コンピューティングデバイス６３６に関連付けられた機能のうちの１つまたは複数を行ってもよく、その逆であってもよい。例えば、車両６０２およびコンピューティングデバイス６３６のいずれかが、本明細書において説明されるモデルのうちの１つまたは複数に関連する訓練動作を行ってもよい。
【0112】
図７および図８は、本開示の実施形態による例示的な処理を示す。処理７００および処理８００のうちの一部または全部は、本明細書において説明されるように、図６内の１つまたは複数の構成要素によって行われ得る。例えば、処理７００および処理８００のうちの一部または全部は、車両コンピューティングシステム６０４および／またはコンピューティングデバイス６３６によって行われ得る。これらの処理は、論理的なフローグラフとして示され、その各動作は、ハードウェア、ソフトウェア、または、これらの組み合わせにおいて実装され得る動作のシーケンスを表す。ソフトウェアのコンテキストにおいて、動作は、１つまたは複数のコンピュータ可読記憶媒体に記憶されたコンピュータ実行可能な命令を表し、コンピュータ実行可能な命令は、１つまたは複数のプロセッサによって実行された場合、記載された動作を行う。一般に、コンピュータ実行可能な命令は、特定の機能を実行し、または特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、構成要素、データ構造等を含む。動作が説明される順序は、限定として解釈されるように意図されておらず、説明される動作のうちの任意の数のものが、任意の順序で、および／または並行して、省略されまたは組み合わされて、処理を実装し得る。
【0113】
図７は、異なるモデルを使用して、予測される軌道および重みを決定するための例示的な処理７００を描くフローチャートである。
【0114】
動作７０２において、処理は、車両コンピューティングシステムによってセンサデータを受け取ることを含み得る。例えば、車両コンピューティングシステム６０４は、知覚構成要素６２２からセンサデータを受け取り得る。センサデータは、車両１０２などの車両の周囲の環境内で検出されたオブジェクト（例えば、図１のオブジェクト１０４）を表し得る。いくつかの例において、センサデータは、車両上の１つまたは複数のセンサから、および／または１つまたは複数のリモートセンサから、受け取られ得る。いくつかの例において、動作７０２は、複数のセンサを使用してセンサデータをキャプチャし、センサデータを環境の詳細かつ有益な表現へと融合させ、組み合わせることを含むことができる。
【0115】
動作７０４において、処理は、車両コンピューティングシステムによってデータを決定することを含み得る。例えば、車両コンピューティングシステム６０４は、環境の上から見た図（例えば、上から見た表現１１２）および環境内のオブジェクト（例えば、オブジェクト１０４）を表すデータを決定し得る。データは、環境内の車両のセンサに関連付けられたセンサデータ、地図データ、および／または、上から見た表現に符号化され得る、別のデータソースからのデータを含んでもよい。そのようなデータの例は、本開示の全体にわたって論じられている。
【0116】
動作７０６において、処理は、車両コンピューティングシステムのモデルにデータを入力することを含み得る。例えば、車両コンピューティングシステム６０４は、モデル１０８にデータを入力し得る。モデルは、いくつかの例において、本開示の全体にわたって論じられているような機械学習されたモデルであり得る。
【0117】
動作７０８において、処理は、モデルから、環境の離散化された表現を表す出力を受け取ることを含み得る。例えば、車両コンピューティングシステムは、モデル１０８から、離散化された表現１１４を受け取り得る。離散化された表現１１４の付加的な詳細は、本開示の全体にわたって論じられている。
【0118】
動作７１０において、処理は、離散化された表現に少なくとも部分的に基づいて、オブジェクトに関連付けられた予測される軌道と、予測される軌道に関連付けられた重みとを決定することを含み得る。例えば、車両コンピューティングシステムは、離散化された表現のセルに関連付けられた分類確率に基づいて、予測される軌道１１０Ａおよび１１０Ｂと、重み３０２Ａおよび３０２Ｂとを決定するための、１つまたは複数の構成要素を実装する。いくつかの例において、分類確率は、オブジェクトが将来の時刻において目的地に到達するかどうかを示し得る。予測される軌道および／または関連付けられた重みを決定する付加的な詳細は、本開示の全体にわたって論じられている。
【0119】
動作７１２において、処理は、モデルが現在訓練されているか、またはモデルが以前に訓練されたことがあるかどうかを決定することを含み得る。いくつかの例において、車両コンピューティングシステムは、データ（センサデータ、地図データ、画像データ等）を、訓練動作、推論動作、または並行する訓練動作および推論動作の一部として処理し得る。モデルが訓練されていない場合（例えば、動作７１２において「いいえ」）、処理は、動作７１４へと続いて、モデルによる出力に少なくとも部分的に基づいて、車両の動作が制御されるようにすることができる。モデルが訓練されている場合（例えば、動作７１２において「はい」）、処理は、動作７１６へと続いて、モデルによる出力に少なくとも部分的に基づいて、モデルのパラメータを更新する。当然ながら、いくつかの例において、動作は、実装に応じて、並行して行われることが可能である。
【0120】
動作７１４において、車両は、モデル１０８からの出力に少なくとも部分的に基づいて制御され得る。例えば、モデル１０８からの出力は、車両のプランニング構成要素６２４によって処理されて、車両がオブジェクトとの衝撃を回避するために取ることができるアクションが決定されることが可能である。１つまたは複数のモードからの１つまたは複数の出力を使用して車両を制御する付加的な詳細は、本開示の全体にわたって論じられている。
【0121】
動作７１６において、モデルの１つまたは複数のパラメータは、モデルを訓練するために更新され、変更され、および／または拡張され得る。いくつかの例において、モデル１０８からの出力は、訓練において使用するために、訓練データ（例えば、ラベル付けされたデータを表すグラウンドトゥルース）と比較されることが可能である。比較に少なくとも部分的に基づいて、モデル１０８に関連付けられたパラメータは、更新されることが可能である。
【0122】
図８は、異なるモデルを使用して、軌道または軌道タイプに関連付けるべき意図を決定するための例示的な処理を描くフローチャートである。
【0123】
動作８０２において、処理は、車両コンピューティングシステムによって車両軌道（例えば、第１の軌道）を決定することを含み得る。例えば、車両コンピューティングシステム６０４は、プランニング構成要素６２４によって候補軌道を決定し得る。いくつかの例において、候補軌道は、環境内で車両をナビゲートするために使用可能な軌道である。いくつかの例において、動作８０２は、複数のセンサを使用してセンサデータをキャプチャし、センサデータを環境の詳細かつ有益な表現へと融合させ、組み合わせることを含むことができる。
【0124】
動作８０４において、処理は、モデルによってオブジェクト軌道（例えば、第２の軌道）を決定することを含み得る。例えば、車両コンピューティングシステム６０４は、予測される軌道を決定するためにモデル１０８を実装し得る。いくつかの例において、車両コンピューティングシステム６０４は、予測される軌道に関連付けられた重みからも決定し得る。そのような予測される軌道および重みの例は、本開示の全体にわたって論じられている。
【0125】
動作８０６において、処理は、車両コンピューティングシステムによって地図データを受け取ることを含み得る。例えば、車両コンピューティングシステム６０４は、地図６２８から地図データを受け取り得る。地図データは、横断歩道、道路、歩道等を含む環境の特徴を示し得る。
【0126】
動作８０８において、処理は、同じモデルまたは異なるモデルによって、第１の軌道についての第１の意図と、第２の軌道についての第２の意図とを含む出力を決定することを含み得る。例えば、車両コンピューティングシステム６０４は、モデル５０２を使用して意図を決定してもよく、モデル５０２からの離散化された表現１１４のロケーションを地図データ内の目的地にマッピングしてもよい。いくつかの例において、モデル５０２は、付加的にまたは代わりに、軌道タイプについての１つまたは複数の意図（例えば、道路軌道または自由な軌道）を出力し得る。意図の付加的な詳細は、本開示の全体にわたって論じられている。
【0127】
いくつかの例において、動作８０８において、処理は、モデルによる出力を表すデータを、車両コンピューティングシステムのプランニング構成要素に送って、モデルによる出力に少なくとも部分的に基づく、車両のための軌道を、車両に計画させることを含むことができる。モデルからの出力を使用して車両を制御する付加的な詳細は、本開示の全体にわたって論じられている。
【0128】
動作８１０において、処理は、モデルが現在訓練されているか、またはモデルが以前に訓練されたことがあるかどうかを決定することを含み得る。いくつかの例において、車両コンピューティングシステムは、データを、訓練動作、推論動作、または並行する訓練動作および推論動作の一部として処理し得る。モデルが訓練されていない場合（例えば、動作８１０において「いいえ」）、処理は、動作８１２へと続いて、モデルによる出力に少なくとも部分的に基づいて、車両の動作が制御されるようにすることができる。モデルが訓練されている場合（例えば、動作８１０において「はい」）、処理は、動作８１４へと続いて、モデルによる出力に少なくとも部分的に基づいて、モデルのパラメータを更新する。当然ながら、いくつかの例において、動作は、実装に応じて、並行して行われることが可能である。
【0129】
動作８１２において、車両は、モデル５０２からの出力に少なくとも部分的に基づいて制御され得る。例えば、モデル５０２からの出力は、車両のプランニング構成要素６２４によって処理されて、車両がオブジェクトとの衝撃を回避するために取ることができるアクションを決定されることが可能である。１つまたは複数のモードからの１つまたは複数の出力を使用して車両を制御する付加的な詳細は、本開示の全体にわたって論じられている。いくつかの例において、プランニング構成要素６２４は、モデル１０８からの出力とモデル５０２からの出力とに少なくとも部分的に基づいて、車両を制御し得る。
【0130】
動作８１４において、モデルの１つまたは複数のパラメータは、モデルを訓練するために更新され、変更され、および／または拡張され得る。いくつかの例において、モデル５０２からの出力は、訓練において使用するために、訓練データ（例えば、ラベル付けされたデータを表すグラウンドトゥルース）と比較されることが可能である。比較に少なくとも部分的に基づいて、モデル５０２および／またはモデル１０８に関連付けられたパラメータは、更新されることが可能である。
【0131】
本明細書において説明される本方法は、ハードウェア、ソフトウェア、または、これらの組み合わせにおいて実装されることが可能な動作のシーケンスを表す。ソフトウェアのコンテキストにおいて、ブロックは、１つまたは複数のコンピュータ可読記憶媒体に記憶されたコンピュータ実行可能な命令を表し、コンピュータ実行可能な命令は、１つまたは複数のプロセッサによって実行された場合、記載された動作を行う。一般に、コンピュータ実行可能な命令は、特定の機能を実行し、または特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、構成要素、データ構造等を含む。動作が説明される順序は、限定として解釈されるように意図されておらず、説明される動作のうちの任意の数のものが、任意の順序で、および／または並行して組み合わされて、処理を実装し得る。いくつかの実施形態において、方法の１つまたは複数の動作は、完全に省略されてもよい。
【0132】
本明細書において説明される様々な技法は、コンピュータ可読ストレージに記憶され、図に示されるプロセッサなどの１つまたは複数のコンピューティングデバイスのプロセッサによって実行される、コンピュータ実行可能な命令またはソフトウェア、例えばプログラムモジュールなどのコンテキストにおいて実装され得る。一般に、プログラムモジュールは、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造等を含み、特定のタスクを行うための動作ロジックを定義し、または特定の抽象データ型を実装する。
【0133】
他のアーキテクチャが、説明されている機能性を実装するために使用されてもよく、本開示の範囲内であることが意図されている。さらに、責任の特定の分散が、論考の目的のために上記に定義されているが、様々な機能および責任は、状況に応じて、異なる手法で分散および分割されてもよい。
【0134】
同様に、ソフトウェアは、様々な手法で、異なる手段を使用して、記憶および分散されてもよく、上記に説明された特定のソフトウェアストレージおよび実行構成は、多くの異なる手法で変えられてもよい。したがって、上記に説明された技法を実装するソフトウェアは、具体的に説明されているメモリの形態に限定されず、様々なタイプのコンピュータ可読媒体上に分散されてもよい。
【0135】
例示的な条項
Ａ：１つまたは複数のプロセッサと、１つまたは複数のプロセッサによって実行可能な命令を記憶する１つまたは複数の非一時的なコンピュータ可読記憶媒体であって、命令は、実行された場合、システムに、環境内の自律車両に関連付けられたセンサデータを受け取ることと、センサデータに少なくとも部分的に基づいて、データを決定することであって、データは、環境の上から見た表現、および環境内のオブジェクトを含む、決定することと、機械学習されたモデルにデータを入力することと、機械学習されたモデルから、環境の一部の離散化された表現を含む出力を受け取ることであって、離散化された表現のセルは、将来の時刻におけるオブジェクトのロケーションの分類確率に関連付けられる、受け取ることと、離散化された表現および分類確率に少なくとも部分的に基づいて、オブジェクトに関連付けられた予測される軌道、および予測される軌道に関連付けられた重みを決定することと、オブジェクトに関連付けられた予測される軌道、および予測される軌道に関連付けられた重みに少なくとも部分的に基づいて、自律車両の動作が制御されるようにすることとを含む動作を行わせる、１つまたは複数の非一時的なコンピュータ可読記憶媒体とを備える、システム。
Ａ：１つまたは複数のプロセッサと、１つまたは複数のプロセッサによって実行可能な命令を記憶する１つまたは複数の非一時的なコンピュータ可読記憶媒体であって、命令は、実行された場合、システムに、環境内の自律車両に関連付けられたセンサデータを受け取ることと、センサデータに少なくとも部分的に基づいて、データを決定することであって、データは、環境の上から見た表現、および環境内のオブジェクトを含む、決定することと、機械学習されたモデルにデータを入力することと、機械学習されたモデルから、環境の一部の離散化された表現を含む出力を受け取ることであって、離散化された表現のセルは、将来の時刻におけるオブジェクトのロケーションの分類確率に関連付けられる、受け取ることと、離散化された表現および分類確率に少なくとも部分的に基づいて、オブジェクトに関連付けられた予測される軌道、および予測される軌道に関連付けられた重みを決定することと、オブジェクトに関連付けられた予測される軌道、および予測される軌道に関連付けられた重みに少なくとも部分的に基づいて、自律車両の動作が制御されるようにすることとを含む動作を行わせる、１つまたは複数の非一時的なコンピュータ可読記憶媒体とを備える、システム。
【0136】
Ｂ：セルに関連付けられた分類確率は、オブジェクトが将来の時刻においてロケーションに存在する確率を示す、段落Ａのシステム。
【0137】
Ｃ：ロケーションは、第１のロケーションであり、セルは、第１のセルであり、分類確率は、第１の分類確率であり、予測される軌道は、第１の予測される軌道であり、重みは、第１の重みであり、離散化された表現は、将来の時刻におけるオブジェクトの第２のロケーションの第２の分類確率に関連付けられた第２のセルを含み、動作は、地図データに少なくとも部分的に基づいて、第１のロケーションは第１の目的地に関連付けられると決定することと、地図データに少なくとも部分的に基づいて、第２のロケーションは第２の目的地に関連付けられると決定することと、第２の分類確率および第２のロケーションに少なくとも部分的に基づいて、将来の時刻におけるオブジェクトに関連付けられた第２の予測される軌道を決定することと、自律車両の動作が制御されるようにすることは、第２の予測される軌道、および第２の予測される軌道に関連付けられた第２の重みに少なくとも部分的にさらに基づくことと、をさらに含む段落ＡまたはＢに記載のシステム。
【0138】
Ｄ：動作は、分類確率および別の分類確率に少なくとも部分的に基づいて、重みを決定することをさらに含む段落Ａ乃至Ｃのいずれか一つに記載のシステム。
【0139】
Ｅ：ロケーションは、将来の時刻の前の先行する時刻におけるオブジェクトのオブジェクトロケーションに少なくとも部分的に基づいたオフセットを表す、段落Ａ乃至Ｄのいずれか一つに記載のシステム。
【0140】
Ｆ：命令を記憶する１つまたは複数の非一時的なコンピュータ可読記憶媒体であって、命令は、実行された場合、１つまたは複数のプロセッサに、モデルにデータを入力することであって、データは、第１の時刻における環境の上から見た表現を含む、入力することと、モデルから、環境の一部の離散化された表現を含む出力を受け取ることであって、離散化された表現のセルは、第１の時刻の後の第２の時刻におけるオブジェクトに関連付けられた確率に関連付けられる、受け取ることと、離散化された表現および確率に少なくとも部分的に基づいて、オブジェクトに関連付けられた軌道、および軌道に関連付けられた重みを決定することと、軌道および重みに少なくとも部分的に基づいて、車両の動作が制御されるようにすることとを含む動作を行わせる、１つまたは複数の非一時的なコンピュータ可読記憶媒体。
【0141】
Ｇ：データは、センサデータ、地図データ、または、上から見た表現を形成するための１つまたは複数のチャネル画像を表すセンサデータに基づいたデータのうちの少なくとも１つを含み、セルに関連付けられた確率は、オブジェクトが第２の時刻においてロケーションに存在する確率を示す段落Ｆに記載の１つまたは複数の非一時的なコンピュータ可読記憶媒体。
【0142】
Ｈ：ロケーションは、第１のロケーションであり、セルは、第１のセルであり、確率は、第１の確率であり、軌道は、第１の軌道であり、重みは、第１の重みであり、離散化された表現は、第２の時刻におけるオブジェクトの第２のロケーションの第２の確率に関連付けられた第２のセルを含み、動作は、地図データに少なくとも部分的に基づいて、第１のロケーションは第１の目的地に関連付けられると決定することと、地図データに少なくとも部分的に基づいて、第２のロケーションは第２の目的地に関連付けられると決定することと、第２の確率および第２のロケーションに少なくとも部分的に基づいて、第２の時刻におけるオブジェクトに関連付けられた第２の軌道を決定することと、車両の動作が制御されるようにすることは、第２の軌道および第２の軌道に関連付けられた第２の重みに少なくとも部分的にさらに基づくことと、をさらに含む段落ＦまたはＧに記載の１つまたは複数の非一時的なコンピュータ可読記憶媒体。
【0143】
Ｉ：動作は、軌道および重みを含むデータを車両のプランニング構成要素に送ることと、プランニング構成要素に、データに少なくとも部分的に基づいて、車両が環境内で従うべき候補軌道を決定させることとをさらに含む段落Ｆ乃至Ｈのいずれか一つに記載の１つまたは複数の非一時的なコンピュータ可読記憶媒体。
【0144】
Ｊ：動作は、環境に関連付けられた地図データを受け取ることと、地図データ、およびセルに関連付けられたロケーションに少なくとも部分的に基づいて、ロケーションは意味論的な目的地に関連付けられると決定することと、確率と、ロケーションが第２の時刻において意味論的な目的地に関連付けられることとに少なくとも部分的に基づいて、重みを決定することとをさらに含む段落Ｆ乃至Ｉの１つまたは複数の非一時的なコンピュータ可読記憶媒体。
【0145】
Ｋ：動作は、確率および別の確率に少なくとも部分的に基づいて、重みを決定することをさらに含む段落Ｆ乃至Ｊの１つまたは複数の非一時的なコンピュータ可読記憶媒体。
【0146】
Ｌ：モデルは、モデルの先行する出力に関連付けられたデータとグラウンドトゥルースデータとの間の比較に少なくとも部分的に基づいて訓練された機械学習されたモデルである段落Ｆ乃至Ｋのいずれか一つに記載の１つまたは複数の非一時的なコンピュータ可読記憶媒体。
【0147】
Ｍ：
動作は、第１の時刻におけるオブジェクトの位置と、第２の時刻における確率に関連付けられたロケーションとを補間することをさらに含み、軌道は、補間することに少なくとも部分的に基づく段落Ｆ乃至Ｌのいずれか一つに記載の１つまたは複数の非一時的なコンピュータ可読記憶媒体。
動作は、第１の時刻におけるオブジェクトの位置と、第２の時刻における確率に関連付けられたロケーションとを補間することをさらに含み、軌道は、補間することに少なくとも部分的に基づく段落Ｆ乃至Ｌのいずれか一つに記載の１つまたは複数の非一時的なコンピュータ可読記憶媒体。
【0148】
Ｎ：動作は、環境に関連付けられた地図データを受け取ることと、地図データ、およびセルに関連付けられたロケーションに少なくとも部分的に基づいて、ロケーションは意味論的な目的地に関連付けられると決定することと、意味論的な目的地および確率に少なくとも部分的に基づいて、オブジェクトに関連付けられた意図を決定することとをさらに含み、車両の動作が制御されるようにすることは、意図に少なくとも部分的にさらに基づく段落Ｆ乃至Ｍのいずれか一つに記載の１つまたは複数の非一時的なコンピュータ可読記憶媒体。
【0149】
Ｏ：モデルに画像データを入力するステップであって、画像データは、第１の時刻における環境の上から見た表現を含む、ステップと、モデルから、環境の一部の離散化された表現を含む出力を受け取るステップであって、離散化された表現のセルは、第１の時刻の後の第２の時刻におけるオブジェクトに関連付けられた確率に関連付けられる、ステップと、離散化された表現および確率に少なくとも部分的に基づいて、オブジェクトに関連付けられた軌道、および軌道に関連付けられた重みを決定するステップと、軌道および重みに少なくとも部分的に基づいて、車両の動作が制御されるようにするステップとを含む、方法。
【0150】
Ｐ：セルに関連付けられた確率は、オブジェクトが第２の時刻においてロケーションに存在する確率を示す段落Ｏに記載の方法。
【0151】
Ｑ：ロケーションは、第２の時刻の前の先行する時刻におけるオブジェクトのオブジェクトロケーションに少なくとも部分的に基づいたオフセットを表す段落ＯまたはＰに記載の方法。
【0152】
Ｒ：環境の上から見た表現は、オブジェクト位置、オブジェクト速度、オブジェクト加速度、オブジェクトヨー、オブジェクトの属性、横断歩道許可、または信号機許容性のうちの１つまたは複数を表す段落Ｏ乃至Ｑに記載の方法。
【0153】
Ｓ：車両のセンサに関連付けられた、環境のセンサデータを受け取るステップと、センサデータに少なくとも部分的に基づいて、環境内のオブジェクトに関連付けられた第１のオブジェクトタイプおよび第２のオブジェクトタイプを決定するステップであって、第２のオブジェクトタイプは、第１のオブジェクトタイプと異なる、ステップと、オブジェクトが第１のオブジェクトタイプである第１の確率を決定するステップと、オブジェクトが第２のオブジェクトタイプである第２の確率を決定するステップとをさらに含み、モデルに画像データを入力するステップは、第１のオブジェクトタイプに関連付けられた第１の確率、および第２のオブジェクトタイプに関連付けられた第２の確率の表示を入力するステップを含む段落Ｏ乃至Ｒに記載の方法。
【0154】
Ｔ：車両は、自律車両であり、軌道および重みを含むデータを、自律車両のプランニング構成要素に送るステップと、プランニング構成要素に、データに少なくとも部分的に基づいて、自律車両が環境内で従うべき候補軌道を決定させるステップとをさらに含む段落Ｏ乃至Ｓに記載の方法。
【0155】
Ｕ：１つまたは複数のプロセッサと、１つまたは複数のプロセッサによって実行可能な命令を記憶する１つまたは複数の非一時的なコンピュータ可読記憶媒体であって、命令は、実行された場合、システムに、センサデータを受け取ることと、センサデータにおいて表されるオブジェクトを決定することと、オブジェクトの第１の予測される軌道を決定することであって、第１の予測される軌道は、第１の重みに関連付けられる、決定することと、オブジェクトの第２の予測される軌道を決定することであって、第２の予測される軌道は、第２の重みに関連付けられる、決定することと、地図データを受け取ることと、地図データに少なくとも部分的に基づいて、第１の意味論的な目的地に基づいた第１の軌道の第１の意図を決定することと、地図データに少なくとも部分的に基づいて、第２の軌道の第２の意味論的な目的地に基づいた第２の軌道の第２の意図を決定することと、第１の軌道、第１の重み、第１の意図、第２の軌道、第２の重み、および第２の意図に少なくとも部分的に基づいて、自律車両を制御することとを含む動作を行わせる、１つまたは複数の非一時的なコンピュータ可読記憶媒体とを備える、システム。
【0156】
Ｖ：第１の予測される軌道を決定することは、回帰を行うことを含む段落Ｕに記載のシステム。
【0157】
Ｗ：第２の軌道は、分類に少なくとも部分的に基づく段落ＵまたはＶに記載のシステム。
【0158】
Ｘ：第１の軌道は、第１の目的地に関連付けられ、第２の軌道は、第１の目的地と異なる第２の目的地に関連付けられる段落Ｕ乃至Ｗのいずれか一つに記載のシステム。
【0159】
Ｙ：動作は、第１の重みまたは第２の重みのうちの一方が、第１の重みおよび第２の重みのうちの他方よりも大きいと決定することと、第１の重みが第２の重みよりも大きいと決定することに応答して、第１の軌道に少なくとも部分的に基づいて、環境内の自律車両を制御すること、または、第２の重みが第１の重みよりも大きいと決定することに応答して、第２の軌道に少なくとも部分的に基づいて、環境内の自律車両を制御することのうちの少なくとも１つとをさらに含む段落Ｕ乃至Ｘのいずれか一つに記載のシステム。
【0160】
Ｚ：センサデータを受け取るステップと、センサデータにおいて表されるオブジェクトを決定するステップと、オブジェクトに関連付けられた第１の軌道を決定するステップと、オブジェクトに関連付けられた第２の軌道を決定するステップと、第１の意味論的な目的地に基づいて、第１の軌道の第１の意図を決定するステップと、第２の軌道の第２の意味論的な目的地に基づいて、第２の軌道の第２の意図を決定するステップと、第１の軌道、第１の意図、第２の軌道、および第２の意図をプランニング構成要素に送って、車両を制御するステップとを含む方法。
【0161】
ＡＡ：第１の軌道は、第１の軌道タイプに関連付けられ、第２の軌道は、第１の軌道タイプと異なる第２の軌道タイプに関連付けられる段落Ｚに記載の方法。
【0162】
ＡＢ：第１の軌道タイプまたは第２の軌道タイプは、車両の環境内の道路セグメントに関連付けられた軌道タイプを含む段落ＺまたはＡＡに記載の方法。
【0163】
ＡＣ：第１の機械学習されたモデルによって、第１の軌道に関連付けられた第１の重みを決定するステップと、第２の機械学習されたモデルによって、第２の軌道に関連付けられた第２の重みを決定するステップと、第１の軌道、第１の重み、第１の意図、第２の軌道、第２の重み、および第２の意図に少なくとも部分的に基づいて、車両を制御するステップとをさらに含む段落Ｚ乃至ＡＢのいずれか一つに記載の方法。
【0164】
ＡＤ：車両を制御するステップは、車両が環境内で従うべき候補軌道を決定するステップを含む段落Ｚ乃至ＡＣのいずれか一つに記載の方法。
【0165】
ＡＥ：車両の周囲の環境内の領域に対するオブジェクトの近接性に少なくとも部分的に基づいて、第１の意図または第２の意図のうちの少なくとも１つを決定するステップをさらに含む段落Ｚ乃至ＡＤのいずれか一つに記載の方法。
【0166】
ＡＦ：環境内の領域は、環境を表す地図データに関連付けられた道路セグメントを含み、オブジェクトは、歩行者または自転車を含み、第１の意味論的な目的地は、車両の環境内の第１の領域を含み、第２の意味論的な目的地は、第１の意味論的な目的地と異なる、車両の環境内の第２の領域を含む段落Ｚ乃至ＡＥのいずれか一つに記載の方法。
【0167】
ＡＧ：第１の軌道は、回帰に少なくとも部分的に基づき、第２の軌道は、分類に少なくとも部分的に基づく段落Ｚ乃至ＡＦのいずれか一つに記載の方法。
【0168】
ＡＨ：第１の軌道は、第１の目的地に関連付けられ、第２の軌道は、第１の目的地と異なる第２の目的地に関連付けられる段落Ｚ乃至ＡＧのいずれか一つに記載の方法。
【0169】
ＡＩ：第１の意図または第２の意図は、車両の環境内のオブジェクトが道路セグメントに沿って進行しようとする意図、オブジェクトが道路セグメントの近くの外部を進行しようとする意図、オブジェクトが横断歩道内を進行しようとする意図、または、オブジェクトが横断歩道の境界の外部を進行しようとする意図のうちの少なくとも１つを含む段落Ｚ乃至ＡＨのいずれか一つに記載の方法。
【0170】
ＡＪ：命令を記憶する１つまたは複数の非一時的なコンピュータ可読記憶媒体であって、命令は、実行された場合、１つまたは複数のプロセッサに、センサデータを受け取ることと、センサデータ内に表されるオブジェクトを決定することと、オブジェクトに関連付けられた第１の軌道を決定することと、オブジェクトに関連付けられた第２の軌道を決定することと、第１の意味論的な目的地に基づいて、第１の軌道の第１の意図を決定することと、第２の軌道の第２の意味論的な目的地に基づいて、第２の軌道の第２の意図を決定することと、第１の軌道、第１の意図、第２の軌道、および第２の意図をプランニング構成要素に送って、車両を制御することとを含む動作を行わせる、１つまたは複数の非一時的なコンピュータ可読記憶媒体。
【0171】
ＡＫ：第１の軌道は、第１の軌道タイプに関連付けられ、第２の軌道は、第１の軌道タイプと異なる第２の軌道タイプに関連付けられる段落ＡＪに記載の１つまたは複数の非一時的なコンピュータ可読媒体。
【0172】
ＡＬ：第１の軌道は、第１の目的地に関連付けられ、第２の軌道は、第１の目的地と異なる第２の目的地に関連付けられる段落ＡＪまたはＡＫに記載の１つまたは複数の非一時的なコンピュータ可読媒体。
【0173】
ＡＭ：動作は、機械学習されたモデルから、第１の軌道に関連付けられた重みを受け取ることをさらに含み、送ることは、重みをプランニング構成要素に送って、車両を制御することをさらに含む段落ＡＪ乃至ＡＬに記載の１つまたは複数の非一時的なコンピュータ可読媒体。
【0174】
ＡＮ：動作は、環境内の領域に対するオブジェクトの近接性に少なくとも部分的に基づいて、第１の意図または第２の意図のうちの少なくとも１つを決定することをさらに含む段落ＡＪ乃至ＡＭに記載の１つまたは複数の非一時的なコンピュータ可読媒体。
【0175】
上述した例示的な条項は、１つの特定の実装に関して説明されているが、本文書のコンテキストにおいて、例示的な条項の内容は、方法、デバイス、システム、コンピュータ可読媒体、および／または別の実装を介しても実装されることが可能であることが、理解されるべきである。付加的に、例Ａ乃至ＡＮのいずれも、単独で、または例Ａ乃至ＡＮのうちの任意の他の１つもしくは複数と組み合わせて、実装されてもよい。
【0176】
結論
本明細書において説明される技法の１つまたは複数の例が説明されてきたが、その様々な変更、追加、置換および均等物が、本明細書において説明される技法の範囲内に含まれる。
本明細書において説明される技法の１つまたは複数の例が説明されてきたが、その様々な変更、追加、置換および均等物が、本明細書において説明される技法の範囲内に含まれる。
【0177】
例の説明において、本明細書の一部を形成する添付の図面への参照が行われ、それは、特許請求される主題の特定の例を例証として示す。他の例が使用されることが可能であること、および、構造変更などの、変形または変更を行うことが可能であることが理解されるべきである。そのような例、変形または変更は、意図した特許請求される主題に関する範囲から必ずしも逸脱するものとは限らない。本明細書におけるステップは、一定の順序で提示され得るが、いくつかの場合において、順序付けは、説明されているシステムおよび方法の機能を変更せずに、一定の入力が、異なる時刻にまたは異なる順序で提供されるように、変更されてもよい。開示されている手続きは、異なる順序でも実行され得る。付加的に、本明細書における様々な計算は、開示された順序で実行される必要はなく、計算の代替的な順序付けを使用する他の例が、容易に実装され得る。再順序付けされることに加えて、計算は、同じ結果を有するサブ計算へと分解されてもよい。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【国際調査報告】