知財求人 - 知財ポータルサイト「IP Force」
特表2024-544502効率的なオブジェクト属性および／または意図分類のための機械学習アーキテクチャ
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-12-03
(54)【発明の名称】効率的なオブジェクト属性および／または意図分類のための機械学習アーキテクチャ
(51)【国際特許分類】
B60W 30/08 20120101AFI20241126BHJP
B60W 40/02 20060101ALI20241126BHJP
G08G 1/16 20060101ALI20241126BHJP
G06T 7/00 20170101ALI20241126BHJP
G06N 3/04 20230101ALI20241126BHJP
【ＦＩ】
B60W30/08
B60W40/02
G08G1/16 C
G06T7/00 650B
G06N3/04
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024527058
(86)(22)【出願日】2022-11-09
(85)【翻訳文提出日】2024-07-02
(86)【国際出願番号】 US2022049434
(87)【国際公開番号】W WO2023086405
(87)【国際公開日】2023-05-19
(31)【優先権主張番号】17/522,832
(32)【優先日】2021-11-09
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】518156417
【氏名又は名称】ズークス インコーポレイテッド
(74)【代理人】
【識別番号】110001243
【氏名又は名称】弁理士法人谷・阿部特許事務所
(72)【発明者】
【氏名】スブハシス ダス
(72)【発明者】
【氏名】イー－ティン リン
(72)【発明者】
【氏名】デレク シアン マー
(72)【発明者】
【氏名】オイタン ウルタン
【テーマコード（参考）】
3D241
5H181
5L096
【Ｆターム（参考）】
3D241BA31
3D241DC01Z
3D241DC31Z
3D241DC34Z
3D241DC39Z
5H181AA01
5H181AA25
5H181AA26
5H181BB04
5H181BB05
5H181BB20
5H181CC02
5H181CC03
5H181CC04
5H181CC11
5H181CC14
5H181CC17
5H181CC22
5H181FF04
5H181FF05
5H181FF07
5H181LL01
5H181LL04
5H181LL09
5L096AA06
5L096BA04
5L096CA04
5L096DA02
5L096HA09
5L096HA11
5L096KA04
(57)【要約】
より高速なオブジェクト属性および／または意図分類のためのシステムは、時間的センサデータ（例えば、異なる時刻に受信されたセンサデータの複数のインスタンス）を処理する機械学習（ＭＬ）アーキテクチャを含み得、かつ、ＭＬアーキテクチャの中間レイヤ内のキャッシュを含む。ＭＬアーキテクチャは、道路に進入するオブジェクトの意図、道路の近くをアイドリングしているオブジェクト、または、道路をアクティブに横断しているオブジェクトを分類することが可能であり得る。ＭＬアーキテクチャは、追加的または代替的に、ターン、停止などのインジケータ状態を分類し得る。他の属性および／または意図がここにおいて論じられる。
【特許請求の範囲】
【請求項1】
システムであって、１つまたは複数のプロセッサと、
前記１つまたは複数のプロセッサによって実行されると、前記システムに動作を実施させるプロセッサ実行可能な命令を記憶するメモリと、を備え、前記動作は、
第１の時刻に関連付けられた第１の画像を受信することと、
前記第１の時刻よりも前の第２の時刻に関連付けられた第２の画像を受信することと、
機械学習レイヤの第１のセットによって、かつ、前記第１の画像に少なくとも部分的に基づいて、第１の出力を決定することと、
前記第１の出力をメモリに記憶することと、
前記メモリから第２の出力を取得することであって、前記第２の出力は、前記第２の画像に関連付けられている、ことと、
１つまたは複数の機械学習レイヤによって、かつ、前記第１の出力および前記第２の出力に少なくとも部分的に基づいて、環境内のオブジェクトに関連付けられた属性を決定することと、
前記属性に少なくとも部分的に基づいて、車両を制御することと、を含む、システム。
【請求項2】
前記オブジェクトに関連付けられた前記属性は、車両運動状態の表示、
オブジェクトのインジケータ状態の表示、
前記オブジェクトがアイドリングしていることの表示、
前記オブジェクトが道路への進入を意図していることの表示、または、
前記オブジェクトが前記道路を横断していることの表示を含む、請求項１に記載のシステム。
【請求項3】
前記メモリは、キャッシュであり、かつ、前記キャッシュは、機械学習レイヤの前記第１のセットのｎ個の出力を記憶し、ｎは、ｎ個の過去の時間ステップに関連付けられた正の整数である、請求項１または２の何れかに記載のシステム。
【請求項4】
前記第１の出力及び前記第２の出力は、それぞれ、機械学習レイヤの前記第１のセットによって１回処理される、請求項１～３の何れか１項に記載のシステム。
【請求項5】
前記属性は、歩行者が道路の近くでアイドリングしていること、前記歩行者が前記道路への進入を意図していること、前記歩行者が前記道路を横断していること、前記歩行者が前記道路に進入する準備ができていること、または、前記歩行者が前記道路に関連していないことを示す、請求項１～４の何れか１項に記載のシステム。
【請求項6】
前記１つまたは複数の機械学習レイヤは、第２の機械学習レイヤ、第３の機械学習レイヤ、および、第４の機械学習レイヤを含み、前記属性を決定することは、前記第２の機械学習レイヤによって、かつ、前記第１の出力に少なくとも部分的に基づいて、第３の出力を決定することと、
前記第２の機械学習レイヤによって、かつ、前記第２の出力に少なくとも部分的に基づいて、第４の出力を決定することと、
連結された出力として、前記第３の出力および前記第４の出力を連結することと、
前記連結された出力を前記第３の機械学習レイヤへの入力として提供することと、
前記第３の機械学習レイヤから第５の出力を受信することと、
前記第４の機械学習レイヤに入力として前記第５の出力を提供することと、
前記第４の機械学習レイヤから前記属性に関連付けられた信頼スコアを受信することと、を含む、請求項１～５の何れか１項に記載のシステム。
【請求項7】
機械学習レイヤの前記第１のセットは、ニューラルネットワークの複数のレイヤを含み、かつ、前記第２の機械学習レイヤ、前記第３の機械学習レイヤ、および、前記第４の機械学習レイヤは、異なる完全に接続されたレイヤを含む、請求項６に記載のシステム。
【請求項8】
前記第１の画像は、第１のより大きな画像の第１の部分であり、前記第２の画像は、第２のより大きな画像の第２の部分であり、かつ、
前記第１の部分および前記第２の部分は、前記第１のより大きな画像および前記第２のより大きな画像に少なくとも部分的に基づいて、第１の機械学習コンポーネントによって生成される、請求項１～７の何れか１項に記載のシステム。
【請求項9】
プロセッサ実行可能な命令を記憶する１つまたは複数の非一時的なコンピュータ可読媒体であって、前記命令は、１つまたは複数のプロセッサによって実行されると、前記１つまたは複数のプロセッサに動作を実施させ、前記動作は、第１の時刻に関連付けられた第１の画像を受信することと、
前記第１の時刻よりも前の第２の時刻に関連付けられた第２の画像を受信することと、
機械学習レイヤの第１のセットによって、かつ、前記第１の画像に少なくとも部分的に基づいて、第１の出力を決定することと、
前記第１の出力をメモリに記憶することと、
前記メモリから第２の出力を取得することであって、前記第２の出力は前記第２の画像に関連付けられていることと、
１つまたは複数の機械学習レイヤによって、かつ、前記第１の出力および前記第２の出力に少なくとも部分的に基づいて、環境内のオブジェクトに関連付けられた属性を決定することと、
前記属性に少なくとも部分的に基づいて、車両を制御することと、を含む、１つまたは複数の非一時的なコンピュータ可読媒体。
【請求項10】
前記オブジェクトに関連付けられた前記属性は、車両運動状態の表示、
オブジェクトのインジケータ状態の表示、
前記オブジェクトがアイドリングしていることの表示、
前記オブジェクトが道路への進入を意図していることの表示、または、
前記オブジェクトが道路を横断していることの表示を含む、請求項９に記載の１つまたは複数の非一時的なコンピュータ可読媒体。
【請求項11】
前記メモリは、キャッシュであり、かつ、前記キャッシュは、機械学習レイヤの前記第１のセットのｎ個の出力を記憶し、ｎは、ｎ個の過去の時間ステップに関連付けられた正の整数である、請求項９または１０の何れかに記載の１つまたは複数の非一時的なコンピュータ可読媒体。
【請求項12】
前記第１の出力および前記第２の出力は、それぞれ、機械学習レイヤの前記第１のセットによって１回処理される、請求項９～１１の何れか１項に記載の１つまたは複数の非一時的なコンピュータ可読媒体。
【請求項13】
前記属性は、歩行者が道路の近くでアイドリングしていること、前記歩行者が前記道路への進入を意図していること、前記歩行者が前記道路を横断していること、前記歩行者が前記道路に進入する準備ができていること、または、前記歩行者が前記道路に関連していないことを示す、請求項９～１２の何れか１項に記載の１つまたは複数の非一時的なコンピュータ可読媒体。
【請求項14】
前記１つまたは複数の機械学習レイヤは、第２の機械学習レイヤ、第３の機械学習レイヤ、および、第４の機械学習レイヤを含み、前記属性を決定することは、前記第２の機械学習レイヤによって、かつ、前記第１の出力に少なくとも部分的に基づいて、第３の出力を決定することと、
前記第２の機械学習レイヤによって、かつ、前記第２の出力に少なくとも部分的に基づいて、第４の出力を決定することと、
連結された出力として、前記第３の出力および前記第４の出力を連結することと、
前記連結された出力を前記第３の機械学習レイヤに入力として提供することと、
前記第３の機械学習レイヤから第５の出力を受信することと、
前記第５の出力を前記第４の機械学習レイヤに入力として提供することと、
前記第４の機械学習レイヤから前記属性に関連付けられた信頼スコアを受信することと、を含む、請求項９～１３の何れか１項に記載の１つまたは複数の非一時的なコンピュータ可読媒体。
【請求項15】
機械学習レイヤの前記第１のセットは、ニューラルネットワークの複数のレイヤを含み、前記第２の機械学習レイヤ、前記第３の機械学習レイヤ、および、前記第４の機械学習レイヤは、異なる完全に接続されたレイヤを含む、請求項１４に記載の１つまたは複数の非一時的なコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、効率的なオブジェクト属性および／または意図分類のための機械学習アーキテクチャに関する。
【背景技術】
【0002】
関連出願
［0001］このＰＣＴ国際出願は、２０２１年１１月９日に出願された米国特許出願第１７／５２２，８３２号の優先権の利益を主張し、その出願は参照により本明細書に組み込まれる。
［0001］このＰＣＴ国際出願は、２０２１年１１月９日に出願された米国特許出願第１７／５２２，８３２号の優先権の利益を主張し、その出願は参照により本明細書に組み込まれる。
【0003】
［0002］コンピュータビジョンは、自律車両の操作、セキュリティ目的での個人の識別といった数多くのアプリケーションにおいて使用される。コンピュータビジョン技術は、画像から顕著な部分を識別するソフトウェアコンポーネントを構築することと、コンピュータが、オブジェクトの検出、分類および／または追跡といった、さらなる操作を実行するために使用できる形式で画像の顕著な部分をコンピュータに表すことと、を含み得る。しかしながら、従来のコンピュータビジョン技術は、それ自体では、自律車両のような複雑なシステムを首尾よく動作させるために必要な、人間に近いレベルの知覚はできない。
【図面の簡単な説明】
【0004】
［0003］詳細な説明は、添付の図面を参照して説明される。図面において、参照番号の左端の数字は、その参照番号が最初に現れる図を識別する。異なる図面における同一の参照番号は、類似するまたは同一のアイテムを示す。
【発明を実施するための形態】
【0005】
［0009］上述したように、従来のコンピュータビジョンシステムは、自律車両を運転するような複雑なシステムを動作させるのに十分な情報をそれ自体で検出することができない。本明細書において論じられる技術は、コンピュータビジョンシステムの検出有効性および能力を増加させ得る。本技術は、追加的または代替的に、コンピュータビジョンシステムを動作させるための計算負荷を低減することによって、コンピュータビジョンシステムの効率を高め得る。本明細書において論じられる技術は、複数の画像を受信する機械学習（ＭＬ）アーキテクチャを含み得るが、追加または代替の例において、他の形態のセンサデータ（例えば、飛行時間、レーダ、ライダ）が企図される。複数の画像（または、他のセンサデータ）は、複数回にわたって同じオブジェクトに関連付けられ得る。第１のＭＬコンポーネントは、画像においてオブジェクトを検出し得、かつ、その検出を前の時間ステップにおいてキャプチャされた画像に関連付け得る。これらの異なる画像の部分は、インスタントＭＬアーキテクチャへの入力として提供され得る。
【0006】
［0010］本明細書において論じられるＭＬアーキテクチャは、時間レンジの入力を使用して出力を生成し得る。換言すれば、ＭＬアーキテクチャは、時間レンジまたは個別のセンサ出力の数にわたって受信されたセンサデータを使用して出力を決定し得る。例えば、ＭＬアーキテクチャは、画像（または、オブジェクトに関連付けられたその一部）を受信し得、かつ、ＭＬ層の第１のセットを使用して画像を処理することによって、特徴のセットを決定し得る。ＭＬ層の第１のセットは、メモリ（例えば、キャッシュ）に格納され得る第１の出力を生成し得る。ＭＬアーキテクチャの次の段階において、ＭＬアーキテクチャは、メモリから第２の画像に関連付けられた第２の出力を取得し得、第１の画像および第２の画像は、同じオブジェクトに関連付けられ得るが、第２の画像は、第１の画像がキャプチャされた時間よりも前の時間においてキャプチャされ得る。第１の出力および第２の出力は、第２のＭＬ層によって別々に処理され得、第３および第４の出力をそれぞれ作成する。第３および第４の出力は、連結され得、かつ、第３のＭＬ層への入力として提供され、低減された特徴のセットを作成する。低減された特徴のセットは、分類タスクに関連付けられた信頼スコアを決定するために使用され得るロジットを出力し得る第３のＭＬ層への入力として提供され得る。例えば、値が無限大になり得るロジットは、シグモイド層によって信頼スコアに変換され得、信頼スコアは、０と１との間に境界があり得る。走行、歩行、立ち上がり、しゃがむといったオブジェクト状態、または、アイドリング、道路に進入する意図、道路を横断するといったオブジェクト属性のような、相互に排他的な出力の場合、シグモイド層に追加して、または、代替して、ソフトマックスが使用され得る。シグモイド層は、追加的または代替的に、双曲線正接層（hyperbolic tangent layer）、整流線形ユニット（rectified linear unit，ＲｅＬＵ）層、ガウス誤差線形ユニット（Gaussian error linear unit，ＧＥＬＵ）層などであり得る。
【0007】
［0011］幾つかの例において、本明細書において論じられるＭＬアーキテクチャは、オブジェクトに関連付けられた属性および／またはジェスチャを分類するために使用され得る。例えば、本明細書において論じられる信頼スコアは、歩行者のようなオブジェクトが道路脇でアイドリングしている（例えば、積極的には道路を横断しようとせずに立っている、またはそうでなければ気を取られている）、立っている、またはそうでなければ移動するように位置している（例えば、車椅子の車輪の上に手を置いている、自転車のペダルの上に足を載せている）、座っている、またはそうでなければ所定の位置に留まるように位置している、自律車両を見ている、道路に進入することを意図している、積極的に道路を横断している、道路に関連せず、自律車両が進むべきであることを示している（例えば、車両に手を振っている、うなずく）などを示し得る。ＭＬアーキテクチャは、追加的または代替的に、交通信号状態、車両インジケータ状態などのようなライト状態を分類するために使用され得る。例えば、ＭＬアーキテクチャは、車両が停止していること、駐車していること、後退していること、左折を試みていること、右折を試みていることなどを示すように車両インジケータライトを分類し得、および／または、ＭＬアーキテクチャは、進行する許可、慎重に進行する許可、保護されていないターン、停止する指示などを示すように交通信号を分類し得る。本明細書において論じられるＭＬアーキテクチャからの出力は、幾つかの例において、これらの属性のうちの１つまたは複数に関連付けられた信頼スコアを出力し得、個々の属性に関連付けられた信頼スコアを出力し得る。
【0008】
［0012］本明細書において論じられるＭＬアーキテクチャは、時間期間にわたって受信されたセンサデータの複数のインスタンスから様々なオブジェクト属性を検出するための計算負荷を低減し得る。ＭＬアーキテクチャはまた、ビジョンシステムの検出能力を増加させ得、それによって、自律車両がその周囲をより高い精度で解釈することを可能にし得、車両によって生成される遅延および／または支援要求を低減し、自律車両が安全かつ効率的にナビゲートすることが可能なシナリオを増加させ得る。
【0009】
例示的なシナリオ
［0013］図１は、車両１０２を含む例示的なシナリオ１００を示す。幾つかの例において、例示的なシナリオ１００は、現実世界のシナリオであり得、および／または、例示的なシナリオ１００は、シミュレートされたシナリオとしてモデル化された現実世界のシナリオの表現であり得る。例示的なシナリオ１００がシミュレートされたシナリオである例において、例示的なシナリオ１００は、コンピューティングデバイスのユーザインタフェースにおいて受信された入力（例えば、コンピューティングデバイスのユーザは、環境、その中のオブジェクト、および／または、その特性を定義し得る）に少なくとも部分的に基づいて決定され得、および／または、例示的なシナリオ１００は、１つまたは複数の自律車両から受信されたログデータ（すなわち、検出、予測、制御信号などを含む未加工のセンサデータおよびそれから導出されるデータを含む、物理環境において実際の運転中にキャプチャおよび記憶されたデータ）に少なくとも部分的に基づき得る。ログデータは、自律車両において受信されたセンサデータ、知覚コンポーネントによって生成された知覚データ、および／または、計画コンポーネントによって生成された指示に少なくとも部分的に基づき得る。幾つかの例において、自律車両は、ログデータを記憶し得、および／または、ログデータをリモートコンピューティングデバイスに周期的に送信し得る。
［0013］図１は、車両１０２を含む例示的なシナリオ１００を示す。幾つかの例において、例示的なシナリオ１００は、現実世界のシナリオであり得、および／または、例示的なシナリオ１００は、シミュレートされたシナリオとしてモデル化された現実世界のシナリオの表現であり得る。例示的なシナリオ１００がシミュレートされたシナリオである例において、例示的なシナリオ１００は、コンピューティングデバイスのユーザインタフェースにおいて受信された入力（例えば、コンピューティングデバイスのユーザは、環境、その中のオブジェクト、および／または、その特性を定義し得る）に少なくとも部分的に基づいて決定され得、および／または、例示的なシナリオ１００は、１つまたは複数の自律車両から受信されたログデータ（すなわち、検出、予測、制御信号などを含む未加工のセンサデータおよびそれから導出されるデータを含む、物理環境において実際の運転中にキャプチャおよび記憶されたデータ）に少なくとも部分的に基づき得る。ログデータは、自律車両において受信されたセンサデータ、知覚コンポーネントによって生成された知覚データ、および／または、計画コンポーネントによって生成された指示に少なくとも部分的に基づき得る。幾つかの例において、自律車両は、ログデータを記憶し得、および／または、ログデータをリモートコンピューティングデバイスに周期的に送信し得る。
【0010】
［0014］幾つかの例において、車両１０２は、米国運輸省道路交通安全局によって発行されたレベル５分類に従って動作するように構成された自律車両であり得、この分類は、ドライバ（または乗員）が常に車両を制御することを期待することなく全行程に対する全てのセーフティクリティカルな機能を実施することが可能な車両を記述する。しかしながら、他の例において、車両１０２は、あらゆる他のレベルまたは分類を有する完全なまたは部分的な自律車両であってもよい。本明細書において論じられる技術は、自律車両のようなロボット制御以外にも適用され得ることが企図される。例えば、本明細書において論じられる技術は、採鉱、製造、拡張現実などに適用され得る。さらに、車両１０２は、陸上車両として表現されているが、宇宙船、水上機、および／または、同様のものであってもよい。幾つかの例において、車両１０２は、シミュレーションされた車両としてシミュレーションにおいて表現されてもよい。簡潔にするために、本明細書における説明は、シミュレーションされた車両と現実世界の車両とを区別しない。したがって、「車両」への言及は、シミュレーションされた車両、および／または、現実世界の車両を指し得る。
【0011】
［0015］本明細書に記載される技術およびシナリオ１００が現実世界である例によれば、車両１０２は、車両１０２のセンサ１０４からセンサデータを受信し得る。例えば、センサ１０４は、位置センサ（例えば、全地球測位システム（ＧＰＳ）センサ）、慣性センサ（例えば、加速度センサ、ジャイロスコープセンサなど）、磁気センサ（例えば、コンパス）、位置／速度／加速度センサ（例えば、速度計、駆動システムセンサ）、深度位置センサ（例えば、ライダーセンサ、レーダーセンサ、ソナーセンサ、飛行時間（ＴｏＦ）カメラ、深度カメラ、および／または、他の深度感知センサ）、イメージセンサ（例えば、カメラ）、オーディオセンサ（例えば、マイク）、および／または、環境センサ（例えば、気圧計、湿度計など）を含み得る。幾つかの例において、シミュレートされたセンサは、車両１０２上のセンサ１０４のうちの少なくとも１つに対応し得、シミュレーションにおいて、センサ１０４のうちの１つまたは複数がシミュレートされ得る。幾つかの例において、シミュレートされたセンサの位置は、センサ１０４のうちの１つの車両１０２に対する相対位置に対応し得る。
【0012】
［0016］センサ１０４は、センサデータを生成し得、センサデータは、車両１０２に関連付けられたコンピューティングデバイス１０６によって受信され得る。しかしながら、他の例において、センサ１０４および／またはコンピューティングデバイス１０６のうちの幾つかまたは全ては、車両１０２から離れて別個に、および／または、車両１０２から遠隔に配置され、かつ、データキャプチャ、処理、コマンド、および／または、制御は、有線および／または無線ネットワークを介して１つまたは複数のリモートコンピューティングデバイスによって車両１０２との間で通信され得る。
【0013】
［0017］コンピューティングデバイス１０６は、位置特定コンポーネント１１０、知覚コンポーネント１１２、計画コンポーネント１１４、および／または、機械学習（ＭＬ）コンポーネント１１６を記憶するメモリ１０８を含み得る。幾つかの例において、ＭＬコンポーネント１１６は、知覚コンポーネント１１２の一部であり得、ＭＬコンポーネント１１６は、本明細書において論じられるＭＬアーキテクチャを含み得る。一般に、位置特定コンポーネント１１０は、１つまたは複数の座標フレームに対する（例えば、環境に対する、道路に対する、自律車両に関連付けられた動きの慣性方向に対する）車両１０２の姿勢（例えば、位置および／または向き）を決定するためのソフトウェアおよび／またはハードウェアシステムを含み得る。位置特定コンポーネント１１０は、このデータの少なくとも一部を知覚コンポーネント１１２に出力し得、知覚コンポーネント１１２は、位置特定データの少なくとも一部を出力し得、および／または、知覚データの少なくとも幾つかを決定するための基準として位置特定データを使用し得る。
【0014】
［0018］知覚コンポーネント１１２は、車両１０２の周囲の環境内に何が存在するかを決定し得、検出されたオブジェクトおよび／または環境の状態を予測する予測コンポーネントを含み得る。ＭＬコンポーネント１１６は、特に、経時的に決定されたセンサデータからオブジェクトの属性を検出するために、知覚コンポーネント１１２が環境内に何が存在するかをどのようにして決定するかの少なくとも一部であり得る。計画コンポーネント１１４は、位置特定コンポーネント１１０および／または知覚コンポーネント１１２から受信した情報に従って、車両１０２をどのように操作するかを決定し得る。位置特定コンポーネント１１０、知覚コンポーネント１１２、計画コンポーネント１１４、および／または、ＭＬコンポーネント１１６は、１つまたは複数の機械学習（ＭＬ）モデル、および／または、他のコンピュータ実行可能な命令を含み得る。
【0015】
［0019］幾つかの例において、位置特定コンポーネント１１０、知覚コンポーネント１１２、および／または、ＭＬコンポーネント１１６は、センサ１０４からセンサデータを受信し得る。幾つかの例において、知覚コンポーネント１１２は、車両１０２の近傍のオブジェクトに関連するデータ（例えば、検出されたオブジェクトに関連付けられた分類、インスタンスセグメンテーション、軌跡）、車両の目的地を特定する経路データ、道路の特徴を特定するグローバルマップデータ（例えば、自律車両の位置特定に有用な異なるセンサ手段において検出可能な特徴）、車両に近接して検出された特徴（例えば、建物、樹木、フェンス、消火栓、停止標識の位置および／または寸法、並びに、様々なセンサ手段において検出可能なあらゆる他の特徴）を識別するローカルマップデータなどを決定し得る。幾つかの例において、車両１０２の周囲のオブジェクトは、シミュレートされた環境のシミュレートされたオブジェクトであり得る。知覚コンポーネント１１２によって生成されたデータは、知覚データと総称され得る。知覚コンポーネント１１２が知覚データを生成すると、知覚コンポーネント１１２は、知覚データを計画コンポーネント１１４に提供し得る。
【0016】
［0020］幾つかの例において、知覚コンポーネント１１２によって決定された予測データは、追加的または代替的に、地図データまたは他のデータに少なくとも部分的に基づき得る。幾つかの例において、予測データは、全ての目的のためにその全体が参照により本明細書に組み込まれる米国特許出願第１５／９６３，８３３号において、より詳細に記載されているように、環境のトップダウンセグメンテーション、および／または、全ての目的のためにその全体が参照により本明細書に組み込まれる米国特許出願第１６／７７９，５７６号において、より詳細に記載されているように、環境に関連付けられたトップダウン予測を含み得る。マップデータマップは、メモリ１０８によって記憶される。幾つかの例において、予測データ、および／または、他の知覚データは、ログデータの一部として記憶され得る。
【0017】
［0021］例えば、知覚コンポーネント１１２および／またはＭＬコンポーネント１１６は、車両１２０、複数のサイクリスト、複数の歩行者、複数の標識オブジェクト、および、様々な異なる環境オブジェクト（例えば、道路、歩道、木、建物）の表現を含む画像１１８（および／または、他のセンサデータ）を受信し得る。知覚コンポーネント１１２は、画像１１８に表されているように、車両１２０を検出することに少なくとも部分的に基づいて、関心領域（region of interest, ＲＯＩ）１２２を決定し得る。図示の例において、ＲＯＩ１２２は、境界ボックスであるが、インスタンスセグメンテーション、セマンティックセグメンテーション、マスク、および／または、矩形以外の境界形状のような、ＲＯＩを識別するための他の技術が企図される。図１は追加的に、知覚コンポーネント１１２によって検出され得る異なるオブジェクトに対して知覚コンポーネント１１２によって生成され得る他の複数のＲＯＩを示すが、単純化および明確化のために、それらは全てラベル付けされていない。例えば、他のＲＯＩは、サイクリスト、別の車両、および、交通標識を識別するが、画像（および／または、他のセンサデータ）の追加または代替の部分が、知覚コンポーネント１１２によって検出され得ることが理解される。
【0018】
［0022］幾つかの例において、知覚コンポーネント１１２は、追加的または代替的に、第１のＭＬモデルによって、オブジェクトの分類を決定し得る。例えば、第１のＭＬモデルは、ＭＬモデルによって決定される最も高い確率に対応する、複数の分類の中から、１つの分類の表示を出力するように訓練され得る。一般的な分類は、例えば、「サイクリスト」、「車両」、「歩行者」、「動物」、「環境オブジェクト」といった分類を含み得る。例示において、これらの分類は、分類１２４「サイクリスト」、分類１２６「車両」、分類１２８「歩行者」、および、分類１３０「標識」を含む。明確化のために、一般的な分類のサンプリングのみが図１に示されているが、知覚コンポーネント１１２の第１のＭＬモデルは、センサデータから検出された１つまたは複数のＲＯＩおよび／またはオブジェクトについての分類を決定し得ることが理解される。
【0019】
［0023］追加的または代替的に、知覚コンポーネント１１２は、オブジェクトに関連付けられた履歴、現在、および／または、予測された位置、向き、速度、加速度、状態などを示し得るトラックを決定し得る。知覚コンポーネント１１２は、追加的または代替的に、軌跡に関連付けられたセンサデータの部分を決定し得る。例えば、軌跡は、同じオブジェクトに関連付けられたセンサデータの異なるインスタンスの部分を識別し得る。さらに例示すると、軌跡は、全て同じオブジェクトに関連付けられている異なる時間に関連付けられた異なる画像からのＲＯＩを識別し得る。換言すれば、軌跡は、同じオブジェクトに関連付けられているとして、時間において異なるオブジェクト検出を識別する。
【0020】
［0024］幾つかの例において、知覚コンポーネント１１２は、軌跡に関連付けられているセンサデータをＭＬコンポーネント１１６に提供し得る。例えば、知覚コンポーネント１１２は、（軌跡によって識別されるように）オブジェクトに関連付けられた最後のｎ個の画像をＭＬコンポーネント１１６に提供し得、ｎは正の整数である。幾つかの例において、ＭＬコンポーネント１１６に提供される画像は、ＲＯＩによって識別される画像の部分であり得る。例えば、ＲＯＩ１２２によって識別される画像１１８の部分は、ＭＬコンポーネント１１６に入力として提供され得る。幾つかの例において、知覚コンポーネント１１２は、知覚コンポーネント１１２のそれぞれのＭＬモデルによって決定されるように、および／または、ｎ個の画像のバッチにおいて、そのような画像部分をＭＬコンポーネント１１６に入力として提供し得る。オブジェクト軌跡を決定し、検出されたオブジェクトに関連付けられたＲＯＩ、インスタンスセグメンテーション、および／または、セマンティックセグメンテーションを決定するためのＭＬモデルに関する更なる詳細については、２０１８年１２月２８日に出願された米国特許出願第１６／２３５，８６２号、および、２０１９年３月２日に出願された米国特許出願第１６／２９７，３８１号を参照されたい。
【0021】
［0025］本明細書において更に論じられるように、ＭＬコンポーネント１１６は、ＭＬコンポーネント１１６の処理内に存在するＭＬコンポーネント１１６のサブ出力の部分を記憶するためのキャッシュを含み得る。キャッシュは、メモリ１０８の一部であってもよいし、または、キャッシュは、集積回路、ゲートアレイ、または、グラフィックス処理装置の一部といった、ＭＬコンポーネント１１６に関連付けられた別個のハードウェアの一部であってもよい。ＭＬコンポーネント１１６は、知覚コンポーネント１１２の他の部分によって出力される分類と比較して、追加の粒度を有する属性を出力し得る。例えば、これらの属性は、歩行者またはドライバが車両１０２に注意を払っているか、または車両１０２を見ているかどうか、オブジェクト（例えば、歩行者１３２、動物）が道路を横断しようとしているかどうか、オブジェクトが道路脇でアイドリングしているかどうか（例えば、道路に進入する現在の意図を示していないが、道路に進入するか、または、その他の方法で交通に影響を与える可能性のある道路への何らかの関係を示しているかどうか）、オブジェクトが道路に進入中であるか、または、道路をアクティブに横断しているかどうか、オブジェクトが道路に関連していないかどうか（例えば、歩道に沿って歩くこと、道路からの反対側のフィールドで遊ぶことなどによって、道路とインタラクションする意図を示していないかどうか）、オブジェクトが、車両１０２が進行すべきことを示しているかどうかなどを含み得る。
【0022】
［0026］計画コンポーネント１１４は、知覚データ、および／または、例えば、ＭＬコンポーネント１１６によって決定された属性のような他の情報に少なくとも部分的に基づいて軌道１３４を決定し得る。例えば、計画コンポーネント１１４は、第１の場所から第２の場所への車両１０２の経路を決定し、実質的に同時に、知覚データおよび／またはシミュレートされた知覚データに少なくとも部分的に基づいて、車両１０２の動き制御するための複数の潜在的な軌道を、後退地平線の技法に従って（例えば、１マイクロ秒、半秒）、経路を走行するように車両を制御するために（例えば、検出されたあらゆるオブジェクトを回避するために）、潜在的な軌道のうちの１つを、車両１０２の駆動コンポーネントに送信され得る駆動制御信号を生成するために車両１０２が使用し得る軌道１３４として選択する。
【0023】
［0027］図１は、方向、速度、および／または、加速度を示す矢印として表されるそのような軌道１３４の例を示すが、軌道自体は、車両１０２のコマンド、および／または、目標（未来の）状態を含み得、それは、次いで、車両１０２の駆動システムを作動させ得る。例えば、軌道１３４は、自律車両１０２のコントローラが車両１０２の駆動コンポーネントを作動させてステアリング角度および／またはステアリングレートをもたらすための指示を含み得、これは、コマンドおよび／または目標状態を追跡するための車両位置、車両速度、および／または、車両加速度（または、自律車両がシミュレートされている場合には、そのシミュレートされたバージョン）をもたらし得る。軌道１３４は、コントローラが追跡する目標方向、目標ステアリング角度、目標ステアリングレート、目標位置、目標速度、および／または、目標加速度を含み得る。
【0024】
例示的なシステム
［0028］図２は、本明細書において論じられる技術を実装する例示的なシステム２００のブロック図を示す。幾つかの例において、例示的なシステム２００は、図１の車両１０２を表し得る車両２０２を含み得る。幾つかの例において、車両２０２は、米国運輸省道路交通安全局によって発行されたレベル５分類に従って動作するように構成された自律車両であり得、この分類は、ドライバ（または乗員）が常に車両を制御することを期待することなく全行程に対する全てのセーフティクリティカルな機能を実施することが可能な車両を記述する。しかしながら、他の例において、車両２０２は、あらゆる他のレベルまたは分類を有する完全なまたは部分的な自律車両であってもよい。さらに、幾つかの例において、本明細書に記載の技術は、非自律車両によっても使用可能であり得る。
［0028］図２は、本明細書において論じられる技術を実装する例示的なシステム２００のブロック図を示す。幾つかの例において、例示的なシステム２００は、図１の車両１０２を表し得る車両２０２を含み得る。幾つかの例において、車両２０２は、米国運輸省道路交通安全局によって発行されたレベル５分類に従って動作するように構成された自律車両であり得、この分類は、ドライバ（または乗員）が常に車両を制御することを期待することなく全行程に対する全てのセーフティクリティカルな機能を実施することが可能な車両を記述する。しかしながら、他の例において、車両２０２は、あらゆる他のレベルまたは分類を有する完全なまたは部分的な自律車両であってもよい。さらに、幾つかの例において、本明細書に記載の技術は、非自律車両によっても使用可能であり得る。
【0025】
［0029］車両２０２は、車両コンピューティングデバイス２０４、センサ２０６、エミッタ２０８、ネットワークインタフェース２１０、および／または、駆動コンポーネント２１２を含み得る。限定ではなく例として、車両コンピューティングデバイス２０４は、コンピューティングデバイス１０６と同じでもよいし同じタイプを表してもよく、かつ、センサ２０６は、センサ１０４と同じでもよいし同じタイプを表してもよい。システム２００は、追加的または代替的に、コンピューティングデバイス２１４を含み得る。
【0026】
［0030］幾つかの例において、センサ２０６は、センサ１０４を表し得、ライダーセンサ、レーダーセンサ、超音波トランスデューサ、ソナーセンサ、位置センサ（例えば、全地球測位システム（ＧＰＳ）、コンパスなど）、慣性センサ（例えば、慣性測定ユニット（ＩＭＵｓ）、加速度計、磁気計、ジャイロスコープなど）、画像センサ（例えば、赤－緑－青（ＲＧＢ）、赤外線（ＩＲ）、強度、深度、飛行時間カメラなど）、マイクロフォン、ホイールエンコーダ、環境センサ（例えば、温度計、湿度計、光センサ、圧力センサなど）などを含み得る。センサ２０６は、これらまたは他のタイプのセンサそれぞれの複数のインスタンスを含み得る。例えば、レーダーセンサは、車両２０２のコーナー、フロント、バック、サイド、および／または、トップに位置する個々のレーダーセンサを含み得る。別の例として、カメラは、車両２０２の外部および／または内部について様々な場所に配置された複数のカメラを含み得る。センサ２０６は、車両コンピューティングデバイス２０４および／またはコンピューティングデバイス２１４に入力を提供し得る。幾つかの例において、本明細書において論じられるシミュレートされたセンサは、特定のタイプのセンサ、および／または、あらゆるセンサに対応し得る。本明細書において論じられるように、シミュレートされたセンサに関連付けられた位置は、車両２０２に対するセンサの視野の位置および／または起点（例えば、焦点）、および／または、車両２０２の動きの方向に対応し得る。
【0027】
［0031］車両２０２はまた、上述したように、光および／または音を放射するエミッタ２０８を含み得る。この例におけるエミッタ２０８は、車両２０２の乗員とコミュニケーションするための内部オーディオおよびビジュアルエミッタを含み得る。限定でなく例として、内部エミッタは、スピーカ、ライト、サイン、ディスプレイスクリーン、タッチスクリーン、触覚エミッタ（例えば、振動および／または力フィードバック）、機械式アクチュエータ（例えば、シートベルトテンショナ、シートポジショナ、ヘッドレストポジショナなど）などを含み得る。この例におけるエミッタ２０８はまた、外部エミッタを含み得る。限定ではなく例として、本例における車外エミッタは、進行方向を知らせるためのライト、または、車両の動作を示す他のインジケータ（例えば、インジケータライト、サイン、ライトアレイなど）、および、歩行者または他の近くの車両と聴覚的にコミュニケーションするための１つまたは複数のオーディオエミッタ（例えば、スピーカ、スピーカアレイ、ホーンなど）を含み、そのうちの１つまたは複数は、音響ビームステアリング技術を含む。
【0028】
［0032］車両２０２はまた、車両２０２と１つまたは複数の他のローカルまたはリモートのコンピューティングデバイスとの間の通信を可能にするネットワークインタフェース２１０を含み得る。例えば、ネットワークインタフェース２１０は、車両２０２および／または駆動コンポーネント２１２上の他のローカルコンピューティングデバイスとの通信を促進し得る。また、ネットワークインタフェース２１０は、追加的または代替的に、車両が他の近くのコンピューティングデバイス（例えば、他の近くの車両、交通信号機など）と通信することを可能にし得る。ネットワークインタフェース２１０は、追加的または代替的に、車両２０２がコンピューティングデバイス２１４と通信することを可能にし得る。幾つかの例において、コンピューティングデバイス２１４は、分散コンピューティングシステム（例えば、クラウドコンピューティングアーキテクチャ）の１つまたは複数のノードを含み得る。
【0029】
［0033］ネットワークインタフェース２１０は、車両コンピューティングデバイス２０４を、ネットワーク２１６のような、別のコンピューティングデバイスまたはネットワークに接続するための物理的および／または論理的なインタフェースを含み得る。例えば、ネットワークインタフェース２１０は、ＩＥＥＥ８０２．１１規格によって定義された周波数を介するようなＷｉ－Ｆｉベースの通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）のような近距離無線周波数、セルラー通信（例えば、２Ｇ、３Ｇ、４Ｇ、４Ｇ ＬＴＥ、５Ｇなど）、または、各コンピューティングデバイスが他のコンピューティングデバイスとインタフェースすることを可能にするあらゆる適切な有線または無線の通信プロトコルを可能にし得る。幾つかの例において、車両コンピューティングデバイス２０４および／またはセンサ２０６は、ネットワーク２１６を介して、特定の頻度で、所定期間の経過後に、準リアルタイムなどで、センサデータをコンピューティングデバイス２１４に送信し得る。
【0030】
［0034］幾つかの例において、車両２０２は、１つまたは複数の駆動コンポーネント２１２を含み得る。幾つかの例において、車両２０２は、単一の駆動コンポーネント２１２を有し得る。幾つかの例において、駆動コンポーネント２１２は、駆動コンポーネント２１２および／または車両２０２の周囲の状態を検出するための１つまたは複数のセンサを含み得る。限定ではなく例として、駆動コンポーネント２１２のセンサは、駆動コンポーネントの車輪の回転を感知するための１つまたは複数のホイールエンコーダ（例えば、ロータリエンコーダ）、駆動コンポーネント、カメラ、または、その他の画像センサの方向および加速度を測定する慣性センサ（例えば、慣性測定ユニット、加速度計、ジャイロスコープ、磁気計など）、駆動コンポーネントの周囲のオブジェクトを音響的に検出する超音波センサ、ライダーセンサ、レーダーセンサなどを含み得る。ホイールエンコーダのような幾つかのセンサは、駆動コンポーネント２１２に固有であり得る。幾つかのケースにおいて、駆動コンポーネント２１２上のセンサは、車両２０２の対応するシステム（例えば、センサ２０６）と重複してもよいし、または補足してもよい。
【0031】
［0035］駆動コンポーネント２１２は、数多くの車両システムを含み得、そのシステムは、高電圧バッテリ、車両を推進するモータ、バッテリからの直流電流を他の車両システムで使用するための交流電流に変換するインバータ、ステアリングモータおよびステアリングラック（電気式であってもよい）を含むステアリングシステム、油圧式または電気式のアクチュエータを含むブレーキシステム、油圧および／または空気圧コンポーネントを含むサスペンションシステム、トラクションの損失を緩和し、制御を維持するためにブレーキ力を分配するための安定性制御システム、ＨＶＡＣシステム、照明（例えば、車両の外部周囲を照らすヘッド／テールライトなどの照明）、および、１つまたは複数のその他のシステム（冷却システム、安全システム、車載充電システム、ＤＣ／ＤＣコンバータのようなその他の電気コンポーネント、高電圧ジャンクション、高電圧ケーブル、充電システム、充電ポートなど）を含む。追加的に、駆動コンポーネント２１２は、センサからデータを受信して前処理し得る駆動コンポーネントコントローラを含み得、様々な車両システムの動作を制御し得る。幾つかの例において、駆動コンポーネントコントローラは、１つまたは複数のプロセッサと、１つまたは複数のプロセッサと通信可能に結合されたメモリとを含み得る。メモリは、駆動コンポーネント２１２の様々な機能を実施する１つまたは複数のコンポーネントを記憶し得る。さらに、駆動コンポーネント２１２はまた、各駆動コンポーネントによる、１つまたは複数の他のローカルまたはリモートのコンピューティングデバイスとの通信を可能にする１つまたは複数の通信接続を含み得る。
【0032】
［0036］車両コンピューティングデバイス２０４は、プロセッサ２１８と、１つまたは複数のプロセッサ２１８と通信可能に結合されたメモリ２２０とを含み得る。メモリ２２０は、メモリ１０８を表し得る。コンピューティングデバイス２１４はまた、プロセッサ２２２、および／または、メモリ２２４を含んでもよい。プロセッサ２１８および／または２２２は、命令を実行して、本明細書に記載されるようなデータの処理および動作を実施することが可能なあらゆる適切なプロセッサであり得る。限定ではなく例として、プロセッサ２１８および／または２２２は、１つまたは複数の中央処理装置（ＣＰＵ）、グラフィックス処理装置（ＧＰＵ）、集積回路（例えば、特定用途向け集積回路（ＡＳＩＣ））、ゲートアレイ（例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ））、および／または、電子データを処理してその電子データを、レジスタおよび／またはメモリに記憶され得る他の電子データに変換するあらゆる他のデバイスまたはデバイスの部分を含み得る。
【0033】
［0037］メモリ２２０および／または２２４は、非一時的なコンピュータ可読媒体の例であり得る。メモリ２２０および／または２２４は、オペレーティングシステム、および本明細書において説明される方法および様々なシステムに起因する機能を実装するための１つまたは複数のソフトウェアアプリケーション、命令、プログラム、および／またはデータを格納し得る。様々な実装において、メモリは、静的ランダムアクセスメモリ（ＳＲＡＭ）、同期型ダイナミックＲＡＭ（ＳＤＲＡＭ）、不揮発性／フラッシュタイプメモリ、または、情報を記憶可能なあらゆる他のタイプのメモリのような適切なメモリ技術を用いて実装され得る。本明細書において記載されるアーキテクチャ、システム、および、個々のエレメントは、多くの他の論理的、プログラム的、および、物理的なコンポーネントを含んでよく、それらのうちの添付図面に示されるものは、本明細書における議論に関連した単なる例示に過ぎない。
【0034】
［0038］幾つかの例において、メモリ２２０および／またはメモリ２２４は、位置特定コンポーネント２２６、知覚コンポーネント２２８、計画コンポーネント２３０、および／または、ＭＬアーキテクチャ２３２を格納し得、これらの何れかのゼロ以上の部分は、ＧＰＵ、ＣＰＵ、および／または、他の処理ユニットといったハードウェアであり得る。限定ではなく例として、位置特定コンポーネント２２６は、位置特定コンポーネント１１０と同じでもよいし同じタイプを表してもよく、知覚コンポーネント２２８は、知覚コンポーネント１１２と同じでもよいし同じタイプを表してもよく、計画コンポーネント２３０は、計画コンポーネント１１４と同じでもよいし同じタイプを表してもよく、ＭＬアーキテクチャ２３２は、ＭＬコンポーネント１１６と同じでもよいし同じタイプを表してもよい。
【0035】
［0039］少なくとも一例において、位置特定コンポーネント２２６は、車両２０２の位置、速度および／または方向（例えば、ｘ位置、ｙ位置、ｚ位置、ロール、ピッチ、または、ヨーのうちの１つまたは複数）を決定するために、センサ２０６からのデータを受信するハードウェアおよび／またはソフトウェアを含み得る。例えば、位置特定コンポーネント２２６は、環境のマップ２３８を含み、および／または、要求／受信し得、マップ２３８内の自律車両の位置、速度、および／または、向きを継続的に決定することが可能である。幾つかの例において、位置特定コンポーネント２２６は、ＳＬＡＭ（simultaneous localization and mapping）、ＣＬＡＭＳ（calibration, localization and mapping, simultaneously）、相対ＳＬＡＭ、バンドル調整、非線形最小二乗最適化などを利用して、画像データ、ライダーデータ、レーダーデータ、ＩＭＵデータ、ＧＰＳデータ、ホイールエンコーダデータなどを受信し、自律車両の位置、姿勢、および／または、速度を正確に決定し得る。幾つかの例において、位置特定コンポーネント２２６は、本明細書において論じられるように、車両２０２の様々なコンポーネントにデータを提供して、軌道を生成するための、および／または、地図データを生成するための自律車両の初期位置を決定し得る。幾つかの例において、位置特定コンポーネント２２６は、知覚コンポーネント２２８に、環境および／または環境に関連付けられたセンサデータに対する車両２０２の位置および／または向きを提供し得る。
【0036】
［0040］幾つかの例において、知覚コンポーネント２２８は、ハードウェアおよび／またはソフトウェアにおいて実装されたプライマリ知覚システムおよび／または予測システムを含み得る。知覚コンポーネント２２８は、車両２０２の周囲環境内のオブジェクトを検出（例えば、オブジェクトが存在することを識別）し、オブジェクトを分類（例えば、検出されたオブジェクトに関連付けられたオブジェクトタイプを決定）し、センサデータおよび／または環境の他の表現をセグメント化（例えば、センサデータおよび／または環境の表現の一部を、検出されたオブジェクトおよび／またはオブジェクトタイプに関連付けられているものとして識別）し、オブジェクトに関連付けられた特性（例えば、オブジェクトに関連付けられた、現在、予測および／または以前の位置、方位、速度および／または加速度を識別する軌跡）を決定し得る。知覚コンポーネント２２８は、移動しているオブジェクトのような、環境における動的コンポーネントのアクション／状態を予測する予測コンポーネントを含み得る。知覚コンポーネント２２８によって決定されるデータは、知覚データと称される。
【0037】
［0041］幾つかの例において、知覚コンポーネント２２８は、ＭＬアーキテクチャ２３２を含み得る。例えば、ＭＬアーキテクチャ２３２は、知覚コンポーネント２２８のパイプラインの一部であり得る。換言すると、ＭＬアーキテクチャ２３２は、センサデータ前処理コンポーネント、ＭＬモデルといった、知覚コンポーネント２２８の１つまたは複数の他の部分からの出力を入力として受信し得る。例えば、ＭＬアーキテクチャ２３２への入力は、知覚コンポーネント２２８の他の部分によってオブジェクトに関連付けられていると識別されるセンサデータの一部を含み得る。一部は、インスタンスセグメンテーション、セマンティックセグメンテーション、ＲＯＩなどによって識別され得る。幾つかの例において、ＭＬアーキテクチャ２３２は、複数の時点にわたってセンサデータを受信するように構成され得る。
【0038】
［0042］計画コンポーネント２３０は、位置特定コンポーネント２２６から車両２０２の位置および／または向き、および／または、知覚コンポーネント２２８から知覚データを受信し得、このデータの何れかに少なくとも部分的に基づいて車両２０２の動作を制御する命令を決定し得る。幾つかの例において、命令を決定することは、命令が関連付けられたシステムに関連付けられたフォーマットに少なくとも部分的に基づいて、命令を決定することを含み得る（例えば、自律車両の動きを制御するための第１の命令は、システムコントローラ２３６および／または駆動コンポーネント２１２が解析する／実行させ得るメッセージおよび／または信号（例えば、アナログ、デジタル、空気力学、運動学）の第１のフォーマットにおいてフォーマットされ得、エミッタ２０８のための第２の命令は、それに関連付けられた第２のフォーマットに従ってフォーマットされ得る）。幾つかの例において、計画コンポーネント２３０が（例えば、計画コンポーネント２３０をテストおよび／または訓練するために）シミュレーション内のハードウェア／ソフトウェアインザループを含み得る場合、計画コンポーネント２３０は、シミュレートされた車両を制御するために使用され得る命令を生成し得る。
【0039】
［0043］メモリ２２０および／またはメモリ２２４は、追加的または代替的に、マッピングシステム、計画システム、ライドマネジメントシステムなどを記憶し得る。知覚コンポーネント２２８、計画コンポーネント２３０、および／または、パフォーマンスコンポーネント２３４は、メモリ２２０および／または２２４に記憶されるように示されているが、知覚コンポーネント２２８、計画コンポーネント２３０、および／または、パフォーマンスコンポーネント２３４は、プロセッサ実行可能命令、機械学習モデル（例えば、ニューラルネットワーク）、および／または、ハードウェアを含み得る。
【0040】
［0044］本明細書に記載されるように、位置特定コンポーネント２２６、知覚コンポーネント２２８、計画コンポーネント２３０、および／または、ＭＬアーキテクチャ２３２は、１つまたは複数のＭＬモデルを含み得る。例えば、位置特定コンポーネント２２６、知覚コンポーネント２２８、計画コンポーネント２３０、および／または、ＭＬアーキテクチャ２３２は、それぞれ異なるＭＬモデルパイプラインを含み得る。幾つかの例において、ＭＬモデルは、ニューラルネットワークを含み得る。例示的なニューラルネットワークは、一連の接続レイヤを通して入力データを渡して出力を生じさせる生物学的アルゴリズムである。ニューラルネットワークにおける個々のレイヤが別のニューラルネットワークを含むことも可能であり、または、あらゆる数のレイヤ（畳み込み層であるか否か）を含み得る。本開示の文脈において理解されることが可能であるように、ニューラルネットワークは、機械学習を利用することが可能であり、これは、学習されたパラメータに基づいて出力が生成される幅広いクラスのそのようなアルゴリズムを指すことが可能である。
【0041】
［0045］ニューラルネットワークの文脈において議論されるものの、あらゆるタイプの機械学習が本開示と整合するように用いられることが可能である。例えば、機械学習アルゴリズムは、回帰アルゴリズム（例えば、通常の最小二乗回帰（OLSR）、線形回帰、ロジスティック回帰、ステップワイズ回帰、多変量適応回帰スプライン（MARS）、局所推定散布図平滑化（LOESS））、インスタンスベースアルゴリズム（例えば、リッジ回帰、最小絶対収縮選択演算子（LASSO）、エラスティックネット、最小角回帰（LARS））、決定木アルゴリズム（例えば、分類および回帰木(CART)、反復２分法３(ID3)，カイ２乗自動交互作用検出(CHAID)、決定スタンプ、条件付き決定木）、ベイズアルゴリズム（例えば、ナイーブベイズ、ガウスナイーブベイズ、多項式ナイーブベイズ、平均１依存推定量（AODE）、ベイズ信念ネットワーク（BNN）、ベイズネットワーク）、クラスタリングアルゴリズム（例えば、ｋ-means、k-medians、期待値最大化（EM）、階層的クラスタリング）、アソシエーションルール学習アルゴリズム（例えば、パーセプトロン、バックプロパゲーション、ホップフィールドネットワーク、放射基底関数ネットワーク（RBFN））、深層学習アルゴリズム（深層ボルツマンマシン（DBM）、深層ビリーフネットワーク（DBN）、畳み込みニューラルネットワーク（CNN）、スタックドオートエンコーダ）、次元削減アルゴリズム（例えば、主成分分析(PCA)、主成分回帰(PCR)、部分最小二乗回帰(PLSR)、サモンマッピング、多次元尺度構成法(MDS)、プロジェクションパシュート、線形判別分析(LDA)、混合判別分析(MDA)、二次判別分析(QDA)、柔軟判別分析(FDA)）、アンサンブルアルゴリズム（例えば、ブースティング、ブートストラップ集約（バギング）、アダブースト、スタックドジェネレーション（ブレンディング）、勾配ブースティングマシン（GBM）、勾配ブースティング回帰木（GBRT）、ランダムフォレスト）、SVM（サポートベクターマシン）、教師あり学習、教師なし学習、半教師あり学習などを含むことが可能であるが、これらに限定されない。アーキテクチャの追加の例は、ResNet‐50、ResNet-101、ＶＧＧ、DenseNet、PointNetといったニューラルネットワークを含む。幾つかの例において、本明細書で議論されるＭＬモデルは、PointPillars、SECOND、トップダウン特徴レイヤ（例えば、参照によりその全体が本明細書に組み込まれる米国特許出願第１５／９６３，８３３号を参照）、および／または、VoxelNetを含み得る。アーキテクチャレイテンシ最適化は、MobilenetV 2、Shufflenet、Channelnet、Peleenetなどを含み得る。ＭＬモデルは、幾つかの例において、Pixorのような残余（residual）ブロックを含み得る。
【0042】
［0046］メモリ２２０は、追加的または代替的に、１つまたは複数のシステムコントローラ２４０（駆動コンポーネントの一部であり得る）を記憶し得、これは、車両２０２のステアリング、推進、ブレーキ、安全、エミッタ、通信、および他のシステムを制御するように構成され得る。これらのシステムコントローラ２４０は、駆動コンポーネント２１２および／または車両２０２の他のコンポーネントの対応するシステムと通信し、および／または、制御し得る。例えば、計画コンポーネント２３０は、知覚コンポーネント２２８によって生成された知覚データおよび／またはシミュレートされた知覚データに少なくとも部分的に基づいて命令を生成し得、命令に少なくとも部分的に基づいて車両２０２の動作を制御し得るシステムコントローラに命令を送信し得る。
【0043】
［0047］図２は分散システムとして示されているが、代替例において、車両２０２のコンポーネントは、コンピューティングデバイス２１４に関連付けられ得、および／または、コンピューティングデバイス２１４のコンポーネントは、車両２０２に関連付けられ得ることに留意すべきである。すなわち、車両２０２は、コンピューティングデバイス２１４に関連付けられた１つまたは複数の機能を実施行し得、逆もまた同様である。
【0044】
例示的なＭＬコンポーネントアーキテクチャ
［0048］図３は、ＭＬコンポーネント１１６／ＭＬアーキテクチャ２３２の例示的なアーキテクチャ３００を示す。このＭＬレイヤおよびキャッシュの配置は、本明細書において強調された効率をもたらし得、自律車両の知覚コンポーネントによって検出可能な属性を増加させ得る。本明細書において論じられる例示的なアーキテクチャは、理解の容易性のために画像として論じられるが、画像を超える追加のまたは代替のセンサデータタイプに適合され得る。幾つかの例において、本明細書において論じられる画像は、単一のカメラまたは複数のカメラから受信され得る。幾つかの例において、受信されるセンサデータ、例えば、画像データまたは点群データは、知覚コンポーネント２２８内の上流コンポーネントから受信され得る。例えば、例示的なアーキテクチャ３００は、第１の画像３０２、第２の画像３０４、および、第ｎの画像３０６を受信し得、上流コンポーネントによって（例えば、上流コンポーネントによって出力されたＲＯＩ、インスタンスセグメンテーション、および／または、セマンティックセグメンテーションを介して）識別されたそれぞれの画像の一部を含み得、別の上流コンポーネントによって出力された軌跡を介して関連付けられ得る。軌跡は、第１の画像３０２、第２の画像３０４、および、第ｎの画像３０６を、同じオブジェクトに関連付けられているものとして識別し得る。換言すれば、本明細書において論じられる技術は、ｎ個の画像のバッチを使用して、本明細書において論じられるように、分類であり得る最終出力を決定し得る。ｎ個の画像は、カメラから受信された直近のｎ個の画像のスライディングタイムウィンドウに対応し得る。
［0048］図３は、ＭＬコンポーネント１１６／ＭＬアーキテクチャ２３２の例示的なアーキテクチャ３００を示す。このＭＬレイヤおよびキャッシュの配置は、本明細書において強調された効率をもたらし得、自律車両の知覚コンポーネントによって検出可能な属性を増加させ得る。本明細書において論じられる例示的なアーキテクチャは、理解の容易性のために画像として論じられるが、画像を超える追加のまたは代替のセンサデータタイプに適合され得る。幾つかの例において、本明細書において論じられる画像は、単一のカメラまたは複数のカメラから受信され得る。幾つかの例において、受信されるセンサデータ、例えば、画像データまたは点群データは、知覚コンポーネント２２８内の上流コンポーネントから受信され得る。例えば、例示的なアーキテクチャ３００は、第１の画像３０２、第２の画像３０４、および、第ｎの画像３０６を受信し得、上流コンポーネントによって（例えば、上流コンポーネントによって出力されたＲＯＩ、インスタンスセグメンテーション、および／または、セマンティックセグメンテーションを介して）識別されたそれぞれの画像の一部を含み得、別の上流コンポーネントによって出力された軌跡を介して関連付けられ得る。軌跡は、第１の画像３０２、第２の画像３０４、および、第ｎの画像３０６を、同じオブジェクトに関連付けられているものとして識別し得る。換言すれば、本明細書において論じられる技術は、ｎ個の画像のバッチを使用して、本明細書において論じられるように、分類であり得る最終出力を決定し得る。ｎ個の画像は、カメラから受信された直近のｎ個の画像のスライディングタイムウィンドウに対応し得る。
【0045】
［0049］幾つかの例において、例示的なアーキテクチャ３００は、センサデータのｎ個の時間ステップを処理するように構成され得、ｎは正の整数である。換言すれば、第１の画像３０２から第ｎの画像は、過去のｎ個の時間ステップに戻る異なる時点に関連付けられ得る。個々の画像間の時間間隔は、センサ出力および上流知覚コンポーネント出力周波数に依存し得る。例えば、間隔が５００ミリ秒であり、ｎが９である場合、第１の画像３０２は、過去４秒の時刻に関連付けられ得、第２の画像３０４は、過去３．５秒の時刻に関連付けられ得、第ｎの画像は、現在時刻に関連付けられ得る。例えば、１０ミリ秒、２０ミリ秒、１００ミリ秒、２５０ミリ秒、１秒、２秒といった、ｎの他の間隔および選択肢が企図され、ｎは、２、３、４、５、１０、２０、または、あらゆる他の数であり得る。幾つかの例において、受信されたセンサデータ間の時間間隔は一定でなくてもよく、許容範囲内において変化してもよい。例えば、システムは、センサデータが受信される場合に、数フレームの間のオブジェクト追跡の喪失（例えば、オクルージョンに起因）、数フレームの間の損失または破損、センサデータ間の歪み（例えば、雨、グレアに起因）などのばらつきを許容し得る。なお、ｎは、アーキテクチャ３００の出力が最新であるように、時間ステップ間の時間間隔に比例して変化し得る。例えば、ｎは、間隔が長くなるほど減少し得る。
【0046】
［0050］幾つかの例において、ＭＬアーキテクチャ３００は、画像の処理前に、第ｎの画像３０６を標準サイズにリサイズし得る。追加的または代替的に、ＭＬアーキテクチャ３００は、第ｎの画像３０６として使用するためにＲＯＩによって示されるよりも画像のより大きな部分を取得し得る。例えば、上流コンポーネントは、歩行者を検出し、かつ、歩行者によって占有される画像の一部を示し得るが、歩行者はサインを保持していてもよく、これは、上流コンポーネントによって歩行者として正しく検出されないことがある。このため、ＭＬアーキテクチャ３００は、ＭＬアーキテクチャ３００による使用のために、ＲＯＩの外側の画像の追加の部分を取得し得る。
【0047】
［0051］それにも関わらず、最近に受信した画像である第ｎの画像３０６は、１つまたは複数のＭＬレイヤを含み得るＭＬバックボーン３０８への入力として提供され得る。例えば、ＭＬバックボーン３０８は、ResNetまたは他の適切なニューラルネットワーク、例えば、ResNeXt、DenseNet、視覚変換器（ＶｉＴ）であり得る。例えば、ＭＬバックボーン３０８がResNetの場合、ＭＬバックボーンは、畳み込み前処理レイヤ３１０（例えば、フィードフォワードニューラルネットワークレイヤ）および残余レイヤ３１２（１）～（ｍ）を含み得、ｍは正の整数である。ＭＬバックボーン３０８は、画像が受信されると、画像に対して順次に使用され得る。換言すれば、同じＭＬバックボーン３０８が受信されるあらゆる新しい画像に対して使用され、その出力は、本明細書において論じられるように記憶され得る。この同じＭＬバックボーンを使用することは、訓練時間を節約し得、システムの複雑さを低減し得る一方、パイプラインの中間に記憶された出力（すなわち、キャッシュ３２４）を使用することは、アーキテクチャ３００の計算負荷および処理時間を低減し得る。
【0048】
［0052］残余レイヤ３１２（１）は、ResNetブロックを含み得、これは、畳み込みレイヤ３１４（１）～（４）、スキップ接続３１６（１）および（２）、並びに、スキップ接続の一部であり得るプロジェクションショートカット３１８を含む様々なコンポーネントを含み得る。これらの様々な部分は、前のレイヤから受信された入力３２０を処理し得、次のレイヤに提供される出力３２２を生成し得る。なお、プロジェクションショートカットは、アイデンティティショートカットに置換され得る。プロジェクションショートカットは、加算演算（スキップ接続の終了および加算前の最後の畳み込みレイヤの出力）における量が対応することを確実にするように畳み込みを実施し得る。アイデンティティショートカットは、単に入力を通過させ、これは標準的なスキップ接続である。畳み込みレイヤ３１４は、訓練されたカーネル（例えば、カーネルは、ＭＬ訓練を介してチューニングされ得る部分である）、バッチ正規化（例えば、２０１９年５月３日に出願された米国特許出願第１６／４０３，４７６号を参照）、および、中間レイヤについては、整流線形単位（ＲｅＬＵ）レイヤ、ガウス誤差線形単位（ＧＥＬＵ）、ヘヴィサイド（Heviside）活性化、シグモイド関数または双曲線関数といった活性化レイヤ（ただし、シグモイド関数および双曲線関数は、入力によって飽和されることによって勾配の減少に寄与し得る（すなわち、ある量を超える値を表現することができない）を用いた、畳み込みコンポーネントへの入力の畳み込みを含み得る。本質的に、この活性化レイヤは、特徴データ内の特定点における出力を「オン」すなわち１．０または「オフ」すなわち０．０／アクティブまたは非アクティブに特徴付ける。なお、最後の畳み込みコンポーネント３１４（４）は、畳み込みおよびバッチ正規化を行ってもよいが、ReLU活性を行わなくてもよい。
【0049】
［0053］換言すれば、残余コンポーネント３１２のうちの１つへの入力は、第１の畳み込みレイヤにて畳み込まれ、バッチ正規化され、第２の畳み込みレイヤにてプロセスを２回繰り返す前に、ReLU活性を通過し得る。第２のレイヤの出力は、残余コンポーネントへの入力（または、スキップ接続にプロジェクションレイヤが存在する場合のプロジェクションバージョンの入力）と合計されることが可能である。このプロセスは、その特定の残余コンポーネントによって出力される前に、第３および第４の畳み込みレイヤにて２回繰り返されることが可能である。
【0050】
［0054］この表現されたＭＬバックボーンは、約１１００万の訓練可能なパラメータを含むが、より深いＭＬバックボーン、すなわち、より多くのレイヤ数を有するＭＬバックボーンが使用され得ることが理解され、その場合、ＭＬバックボーンは、訓練可能である２１２０万のパラメータ（３４レイヤ）、２３５０万のパラメータ（５０レイヤ）、４２５０万のパラメータ（１０１レイヤ）、５８２０万のパラメータ（１５２レイヤ）などを有し得る。レイヤは、ＭＬアーキテクチャによって出力されるロジットまたは信頼スコアと、オブジェクトの属性を識別するグラウンドトゥルース属性との間で計算される損失を低減するために変更され得る（例えば、畳み込みレイヤおよび／またはプロジェクションレイヤ、または、ＭＬバックボーンから下流の他のＭＬレイヤのカーネルの値）。そのようなグラウンドトゥルース属性は、人間によってラベル付けされてもよく、または、車両に含めるには計算上の負担が大きすぎることのある複雑なＭＬシステムによってラベル付けされてもよい。そのようなＭＬシステムは、クラウドコンピューティングシステムのような分散コンピューティングシステム上で実行され得る。
【0051】
［0055］究極的に、ＭＬバックボーン３０８は、ｐ次元である第ｎの画像３０６、第ｎの特徴データ３２２に関連付けられた特徴データを決定し得、ｐは正の整数である（例えば、ＣＮＮ内のレイヤ数およびレイヤ内のパディング量に依存して、３２、６４）。第ｎの特徴データ３２２は、キャッシュ３２４に記憶されてもよい。過去に受信された画像（第１の画像３０２および第２の画像３０４）に関連付けられた特徴データは、過去にキャッシュ３２４に格納されていてもよい。換言すれば、ＭＬバックボーン３０８は、ＭＬバックボーン３０８を通じて第１の画像３０２を処理することによって第１の特徴データ３２６を過去に決定していてもよく、かつ、ＭＬバックボーン３０８を通じて第２の画像３０４を処理することによって第２の特徴データ３２８を過去に決定していてもよい。第１の画像３０２および第２の画像３０４（並びに、あらゆる他の中間画像）は、第ｎの画像３０６の受信に応じて再処理されず、計算負荷を節約する。キャッシュ３２４は、ＭＬアーキテクチャ３００を含む集積回路の一部であり得るが、追加のまたは代替の例において、キャッシュ３２４は、グラフィックス処理装置、中央処理装置、ゲートアレイなどのキャッシュであってもよい。
【0052】
［0056］幾つかの例において、特徴データは、アクティベーションマップとも称される特徴マップを含み得、これは、レイヤそれぞれへの各入力を有するモデルバックボーン内のカーネルの畳み込み結果である。特徴データは、典型的には、テンソルのような、人間には理解し難い高次元データフィールド（例えば、５６×６４次元、２８×１２８次元など）である。換言すれば、特徴データは、コンピュータおよび／またはニューラルネットワーク変換である。
【0053】
［0057］第ｎの特徴データ３２２を受信することに少なくとも部分的に基づいて、ＭＬアーキテクチャ３００は、ＭＬレイヤ３３０への入力として、第１の特徴データ３２６、第２の特徴データ３２８、第ｎの特徴データ３２２、および、第１の画像と第ｎの画像との間のあらゆる他の画像に関連付けられたあらゆる介在する特徴データを提供し得る。幾つかの例において、単一のＭＬレイヤ３３０がこの段階において個々の特徴データに対して使用されるが、より多くのＭＬレイヤ３３０が使用され得ることが企図される。換言すれば、ＭＬレイヤ３３０は、第１の特徴データ３２６を第ｎの特徴データ３２２を通じて別々に処理して、第１の特徴データ３３２、第２の特徴データ３３４を、第ｎの特徴データ３３６を通じて生成し得、これらのすべてはｑ次元であり得、ｑはｐよりも大きい正の整数である。例えば、ｐが３２である場合、ｑは１２８であり得る。
【0054】
［0058］なお、交通信号状態または車両ライト状態といったライト状態を分類するための例示的なアーキテクチャ３００において、ＭＬレイヤ３３０は、入力をそこに渡すだけのアイデンティティレイヤであってもよいし、存在しなくてもよい。
【0055】
［0059］ＭＬレイヤ３３０によって出力される特徴データ（すなわち、第１の特徴データ３３２から第ｎの特徴データ３３６）は、一緒に連結され、ＭＬレイヤ３３８への入力として提供され得、ＭＬレイヤ３３８は、サイズｎ～ｑであり得る連結された特徴データの次元を低減するように設計され得る。ＭＬレイヤ３３８は、連結された特徴データをｎ～ｑ次元からｑ次元空間に投影して、削減された特徴３４０を達成し得る。例えば、ｑが１２８であり、ｎが５である場合、連結された特徴データは、６４０の次元を有し得、削減された特徴３４０は、１２８の次元を有し得る。
【0056】
［0060］削減された特徴３４０は、ＭＬアーキテクチャによって最終ＭＬレイヤ３４２への入力として提供され得、最終ＭＬレイヤ３４２は、予測される属性の数に等しい出力ヘッドを含み得る。例えば、ＭＬアーキテクチャ３００が１０個の属性を予測するように構成される場合、ＭＬレイヤ３４２は、１０個の出力ヘッドを有し得るが、あらゆる他の数の属性、例えば、２、３、４、５、１０、１５、２０などが企図される。幾つかの例において、ＭＬレイヤ３４２の出力ヘッドは、予測されている特定の属性に関連付けられ得、検出されたオブジェクトがヘッドに関連付けられた属性を有する確率を示すロジットを出力し得る。ＭＬレイヤ３４２は、異なる属性に関連してこれらのロジット３４４を出力し得、および／または、ＭＬレイヤ３４２は、出力ヘッドまたは幾つかの他のレイヤの後に、シグモイド、ｔａｎｈ、ＲｅＬＵ、ＧＥＬＵなどのレイヤを含み得、ロジット３４４を０と１との間の信頼スコアに変換し、１は、オブジェクトがそれぞれの属性を有するという完全な信頼度を示し、０は、オブジェクトがそれぞれの属性を有するという信頼度がないことを示す。例示的なアーキテクチャ３００によって出力される信頼スコアは、最近の時間に関連付けられ得るが、ｎ個の時間ステップを過去に遡る時間ウィンドウに基づいてもよい（例えば、ロジット３４４は、ｎ個目の時間ステップに関連付けられ得るが、画像３０２～３０６に基づいて生成されてもよい）。
【0057】
［0061］ＭＬレイヤ３３０、３３８、および、３４２は、それぞれ、異なる入力／出力形状を有する完全に接続されたレイヤであり得る。集合的にＭＬレイヤ３３０、３３８、および、３４２は、モデル時間ヘッド３４６を作り上げ得る。
【0058】
例示的な属性
［0062］図４は、３つの例示的なフレーム（時間内のセンサデータの離散部分）４００～４０４、および、フレームのそれぞれについてＭＬアーキテクチャ３００によって予測される属性を示す。図示されるフレームは画像であるが、フレームは、点群データまたはあらゆる他のセンサデータの一部であり得ることが理解される。図４はまた、タイムライン４０６、および、ＭＬアーキテクチャ３００によって受信かつ処理された、フレーム４０８のような他のフレームを示し、それは矩形として示されるが、図４に関して論じられた分類のうちの１つに関連付けられていない。図４は、それぞれが同じ属性を有すると分類され得るフレームを示す。例えば、４１０によって示される括弧の下のフレームそれぞれは、属性「アイドリング」を有するオブジェクトを示すものとして分類され得、第１のフレーム４００は、そのように分類され得るフレームの例である。括弧４１２の下のフレームは、属性「道路に進入する意図」を有するオブジェクトを示すものとして分類され得、第２のフレーム４０２は、そのように分類され得るフレームの例である。括弧１４４の下のフレームは、属性「道路を横断している」を有するオブジェクトを示すものとして分類され得、第３のフレーム４０４は、そのように分類され得るフレームの例である。
［0062］図４は、３つの例示的なフレーム（時間内のセンサデータの離散部分）４００～４０４、および、フレームのそれぞれについてＭＬアーキテクチャ３００によって予測される属性を示す。図示されるフレームは画像であるが、フレームは、点群データまたはあらゆる他のセンサデータの一部であり得ることが理解される。図４はまた、タイムライン４０６、および、ＭＬアーキテクチャ３００によって受信かつ処理された、フレーム４０８のような他のフレームを示し、それは矩形として示されるが、図４に関して論じられた分類のうちの１つに関連付けられていない。図４は、それぞれが同じ属性を有すると分類され得るフレームを示す。例えば、４１０によって示される括弧の下のフレームそれぞれは、属性「アイドリング」を有するオブジェクトを示すものとして分類され得、第１のフレーム４００は、そのように分類され得るフレームの例である。括弧４１２の下のフレームは、属性「道路に進入する意図」を有するオブジェクトを示すものとして分類され得、第２のフレーム４０２は、そのように分類され得るフレームの例である。括弧１４４の下のフレームは、属性「道路を横断している」を有するオブジェクトを示すものとして分類され得、第３のフレーム４０４は、そのように分類され得るフレームの例である。
【0059】
［0063］第１のフレーム４００について、ＭＬアーキテクチャ３００によって出力される最高の信頼スコアは、オブジェクトが道路に関連しているが道路に進入する意図を表出していないことを示すアイドリング属性に関連付けられ得る。第１のフレーム４００をそのように分類するために、ＭＬアーキテクチャ３００は、対角線ハッチングを使用して示されるフレーム４１６を入力として受信および処理し得る。換言すれば、第１のフレーム４００に関連してＭＬアーキテクチャ３００によって出力される属性は、ｎが４である例において、第１のフレーム４００と時間的に第１のフレーム４００に先行する３つのフレームとを処理するＭＬアーキテクチャ３００に依存する。Ｎは、より大きくてもより小さくてもよいことが企図される。上記および以下において説明されるように、フレーム４１６を処理することは、各フレームが受信されると、フレーム毎にＭＬバックボーンを使用してフレーム４１６のそれぞれを処理し、かつ、出力を記憶することを含み得る。したがって、第１のフレーム４００について、フレーム４１６を処理することは、ＭＬバックボーンを使用して第１のフレーム４００を処理し、かつ、ＭＬアーキテクチャの残りの部分のために他のフレーム４１６についての過去の出力を呼び出すことを含み得る。
【0060】
［0064］追加または代替の例において、ＭＬアーキテクチャ３００は、信頼度閾値を満たすか、または超える場合、および／または、信頼度スコアが異なる属性に関連付けられた他の信頼度スコアよりも大きい場合、出力する属性を決定し得る。幾つかの例において、属性は異なるグループにグループ化され得、かつ、ＭＬアーキテクチャ３００は、信頼度閾値を満たすか、または超える信頼度スコアであって、同じグループ内の他の全ての信頼度閾値よりも大きいあらゆる信頼度スコアを出力することを決定し得る。第１のフレーム４００について、これは、アイドリング属性、オブジェクトが立っている、または道路に進入する準備ができている／進入可能である（例えば、歩行者が立っている、歩行者が車椅子に乗っていて、いつでも移動可能である）、および／または、オブジェクトが車両を見ているということを識別する準備完了属性の両方を出力することをもたらし得る。幾つかの例において、後者の例の３つ全ては、出力ヘッドが少なくとも３つのグループを含む例において出力され得、１つのグループは、道路に進入する意図について、別のグループは、道路および／またはオブジェクト状態（例えば、立っている、座っている、歩いている、走っている、他の（ダンスのためのキャッチオール、異常行動など））に入る準備ができていることについて、および／または、オブジェクトが車両を眺めている、見ている、または注意を払っているかどうかについての第３のグループである。追加のグループは、別のオブジェクトが車両の進行を予想するか、または、車両に手を振る、車両を見て動かない、車両が停止または移動すべきであるというサインを示す等のような、車両が進行すべきことを示しているかどうかに向けられ得る。実際には、より多いまたは少ないグループが使用され得る。
【0061】
［0065］第２のフレーム４０２について、ＭＬアーキテクチャ３００によって出力される最高の信頼スコアは、オブジェクトが道路に進入する意図を表出していることを示す進入意図属性に関連付けられ得る。第２のフレーム４０２をそのように分類するために、ＭＬアーキテクチャ３００は、上述したように、対角線ハッチングを使用して示されるフレーム４１８を入力として受信および処理し得る。
【0062】
［0066］第３のフレーム４０４について、ＭＬアーキテクチャ３００によって出力される最高の信頼度スコアは、オブジェクトが道路に進入中である／道路に既に進入していることを示す、アクティブに道路に進入している／道路を横断していることに関連付けられ得る。ＭＬアーキテクチャ３００によって出力され得る追加の属性は、オブジェクトが車両を見ていない、歩いていることなどを示し得る。第２のフレーム４０２をそのように分類するために、ＭＬアーキテクチャ３００は、上述したように、対角線ハッチングを使用して示されるフレーム４２０を入力として受信および処理し得る。
【0063】
例示的なプロセス
［0067］図５は、オブジェクトの属性および／または意図を検出し、そうするための計算帯域幅を削減するための例示的なプロセス５００のフロー図を示す。幾つかの例において、例示的なプロセス５００は、車両機械学習アーキテクチャ３００によって遂行され得る。本明細書において論じられる技術は、画像を論じるが、他のタイプのセンサデータに適合され得ることが理解される。
［0067］図５は、オブジェクトの属性および／または意図を検出し、そうするための計算帯域幅を削減するための例示的なプロセス５００のフロー図を示す。幾つかの例において、例示的なプロセス５００は、車両機械学習アーキテクチャ３００によって遂行され得る。本明細書において論じられる技術は、画像を論じるが、他のタイプのセンサデータに適合され得ることが理解される。
【0064】
［0068］動作５０２において、例示的なプロセス５００は、第１の時刻に関連付けられた第１の画像を受信することを含み得る。第１の画像は、追跡によって識別されたオブジェクトに関連付けられた最近に受信された画像であり得る。第１の画像は、図３の第ｎの画像３０６であり得る。オブジェクトが最近に検出された場合、ＭＬコンポーネント３００は、動作を開始する前に待機してｎ個の画像を蓄積し得る。追加または代替の例において、ＭＬコンポーネント３００は、画像が入ってくると画像を処理し得るが、ｎ個の画像が処理されるまで出力を決定しなくてもよい。
【0065】
［0069］動作５０４において、例示的なプロセス５００は、第１の時刻よりも前の第２の時刻に関連付けられた第２の画像を受信することを含み得る。第２の画像および第１の画像の両方は、同じオブジェクトに関連付けられ得、かつ、より大きな画像の一部であり得る。例えば、第１の画像は、上流ＭＬモデルによって出力される第１のＲＯＩによって識別される第１の画像の第１の部分であり得、第２の画像は、上流ＭＬモデルによって出力される第２のＲＯＩによって識別される第２の画像の第２の部分であり得る。２つの画像は、さらに別のＭＬモデルによって出力される追跡によって関連付けられてもよく、２０１８年１２月２８日に出願された米国特許出願第１６／２３５，８６２号を参照されたい。
【0066】
［0070］動作５０６において、例示的なプロセス５００は、ＭＬレイヤの第１のセットによって、かつ、第１の画像に少なくとも部分的に基づいて、第１の出力を決定することを含み得る。ＭＬレイヤの第１のセットは、ＭＬバックボーン３０８のレイヤを含み得る。ＭＬバックボーン３０８は、画像毎に１回実行され得る。換言すれば、ＭＬバックボーン３０８は、最近に受信した画像を処理するが、過去に受信した画像について再実行しない一方で、ＭＬアーキテクチャ３００の他のＭＬレイヤは、以下に論じるように、ＭＬバックボーン３０８の出力を処理し得る。
【0067】
［0071］動作５０８において、例示的なプロセス５００は、第１の出力をメモリ（例えば、キャッシュ）に記憶することを含み得る。第２の画像に少なくとも部分的に基づいて、ＭＬレイヤの第１のセットによって決定された第２の出力は、例えば、第２の画像が受信され、かつ、最新の画像であった場合に、メモリに前もって記憶されていてもよい。
【0068】
［0072］動作５１０において、例示的なプロセス５００は、メモリから第２の出力を取得することを含み得、第２の出力は、第２の画像に関連付けられ、かつ、過去にＭＬレイヤの第１のセットによって処理されてメモリに格納されている。
【0069】
［0073］動作５１２において、例示的なプロセス５００は、１つまたは複数のＭＬレイヤによって、かつ、第１の出力および第２の出力に少なくとも部分的に基づいて、第１のオブジェクト属性（例えば、歩行者、動物、サイクリスト、機械オペレータ）に関連付けられた第１の信頼スコアと、歩行者属性に関連付けられた第２の信頼スコアとを決定することを含み得る。例えば、第１のオブジェクト属性は、オブジェクトが道路に進入する準備ができていることの表示、または、オブジェクトの一般的な状態（例えば、立っている、座っている、道路に進入する準備ができている、道路に進入する準備ができていない、歩いている、走っている、その他）、オブジェクトインジケータ状態（例えば、存在しないことのインジケータ、歩行者保留サイン、歩行者保留サインアップ、進むことを示す歩行者、進まないことを示す歩行者、左折を示すサイクリスト、右折を示すサイクリスト、ブレーキを示すサイクリスト、ターンを示す車両ライト、ブレーキを示す車両ライト、進めを示す信号機、停止を示す信号機、注意を示す信号機）、オブジェクトが道路に進入する意図を示している、オブジェクトが道路に進入中である／進入済みであることを表出している、オブジェクトの注意力（例えば、車両を見る／見ない、車両に注意している／していない）を含み得、かつ、第２のオブジェクト属性は、異なる属性を示し得る。信頼スコアは、オブジェクト属性がオブジェクトを正確に説明する尤度（例えば、事後確率）を示し得る。
【0070】
［0074］動作５１４において、例示的なプロセス５００は、第１の信頼スコアまたは第２の信頼スコアのうちの少なくとも１つに少なくとも部分的に基づいて、車両を制御することを含み得る。動作５１４は、何れの信頼スコアがより大きいかを決定し、かつ、その信頼スコアを使用する、および／または、信頼スコアが信頼スコア閾値を満たすか、または超えるかを決定することを含み得る。信頼スコア閾値は、属性をまったく出力しないかを決定するために使用され得る。例えば、信頼スコアが信頼スコア閾値を満たしていない場合、属性は出力されなくてよいが、追加または代替の例において、最大の信頼スコアに関連付けられた属性は、何れにしても出力されてもよい。何れのケースにおいても、信頼スコアは、属性に関連して出力され得る。車両の計画コンポーネントは、属性（および信頼スコアも出力される例では信頼スコア）を使用して、車両を制御するための軌道を決定し得る。
【0071】
例示条項
［0075］Ａ：第１の時刻に関連付けられた第１の画像を受信することと、前記第１の時刻よりも前の第２の時間に関連付けられた第２の画像を受信することであって、前記第１の画像および前記第２の画像は同じオブジェクトに関連付けられていることと、機械学習レイヤの第１のセットによって、かつ、前記第１の画像に少なくとも部分的に基づいて、第１の出力を決定することと、前記第１の出力をメモリに記憶することと、前記メモリから第２の出力を取得することであって、前記第２の出力は、前記第２の画像に関連付けられ、機械学習レイヤの前記第１のセットによって過去に処理され、かつ、前記メモリに記憶されていることと、１つまたは複数の機械学習レイヤによって、かつ、前記第１の出力および前記第２の出力に少なくとも部分的に基づいて、第１の歩行者属性に関連付けられた第１の信頼スコアおよび第２の歩行者属性に関連付けられた第２の信頼スコアを決定することと、前記第１の信頼スコアまたは前記第２の信頼スコアの少なくとも１つに少なくとも部分的に基づいて、車両を制御することと、を含む方法。
［0075］Ａ：第１の時刻に関連付けられた第１の画像を受信することと、前記第１の時刻よりも前の第２の時間に関連付けられた第２の画像を受信することであって、前記第１の画像および前記第２の画像は同じオブジェクトに関連付けられていることと、機械学習レイヤの第１のセットによって、かつ、前記第１の画像に少なくとも部分的に基づいて、第１の出力を決定することと、前記第１の出力をメモリに記憶することと、前記メモリから第２の出力を取得することであって、前記第２の出力は、前記第２の画像に関連付けられ、機械学習レイヤの前記第１のセットによって過去に処理され、かつ、前記メモリに記憶されていることと、１つまたは複数の機械学習レイヤによって、かつ、前記第１の出力および前記第２の出力に少なくとも部分的に基づいて、第１の歩行者属性に関連付けられた第１の信頼スコアおよび第２の歩行者属性に関連付けられた第２の信頼スコアを決定することと、前記第１の信頼スコアまたは前記第２の信頼スコアの少なくとも１つに少なくとも部分的に基づいて、車両を制御することと、を含む方法。
【0072】
［0076］Ｂ：前記第１の歩行者属性は、歩行者がアイドリングしていること、前記歩行者が道路への進入を意図していること、または、前記歩行者が道路を横断していることのうちの１つを示し、かつ、前記第２の歩行者属性は、前記歩行者がアイドリングしていること、前記歩行者が道路への進入を意図していること、または、前記歩行者が道路を横断していることのうちの異なる１つを示す、パラグラフＡに記載の方法。
【0073】
［0077］Ｃ：前記１つまたは複数の機械学習レイヤは、第２の機械学習レイヤ、第３の機械学習レイヤ、および、第４の機械学習レイヤを含み、前記第１の歩行者属性に関連付けられた前記第１の信頼スコアおよび前記第２の歩行者属性に関連付けられた前記第２の信頼スコアを決定することは、前記第２の機械学習レイヤによって、かつ、前記第１の出力に少なくとも部分的に基づいて、第３の出力を決定することと、前記第２の機械学習レイヤによって、かつ、前記第２の出力に少なくとも部分的に基づいて、第４の出力を決定することと、連結された出力として、前記第３の出力および前記第４の出力を連結することと、前記第３の機械学習レイヤへの入力として、前記連結された出力を提供することと、前記第３の機械学習レイヤから第５の出力を受信することと、前記第５の出力を入力として前記第４の機械学習レイヤに提供することと、前記第４の機械学習レイヤから前記第３の信頼スコアおよび前記第４の信頼スコアを受信することとを含む、パラグラフＡまたはＢの何れかに記載の方法。
【0074】
［0078］Ｄ：機械学習レイヤの前記第１のセットは、ニューラルネットワークの複数のレイヤを含み、かつ、前記第２の機械学習レイヤ、前記第３の機械学習レイヤ、および、前記第４の機械学習レイヤは、異なる完全に接続されたレイヤを含む、パラグラフＣに記載の方法。
【0075】
［0079］Ｅ：前記第１の画像は、第１のより大きな画像の第１の部分であり、前記第２の画像は、第２のより大きな画像の第２の部分であり、前記第１の部分および前記第２の部分は、前記第１のより大きな画像および前記第２のより大きな画像に少なくとも部分的に基づいて、第１の機械学習コンポーネントによって生成される、パラグラフＡ～Ｄの何れか１つに記載の方法。
【0076】
［0080］Ｆ：システムであって、１つまたは複数のプロセッサと、前記１つまたは複数のプロセッサによって実行されると、前記システムに動作を実施させるプロセッサ実行可能な命令を記憶するメモリと、を備え、前記動作は、第１の時刻に関連付けられた第１の画像を受信することと、前記第１の時刻よりも前の第２の時刻に関連付けられた第２の画像を受信することと、第１の機械学習レイヤのセットによって、かつ、前記第１の画像に少なくとも部分的に基づいて、第１の出力を決定することと、前記第１の出力をメモリに記憶することと、前記メモリから第２の出力を取得することであって、前記第２の出力は、前記第２の画像に関連付けられていることと、１つまたは複数の機械学習レイヤによって、かつ、前記第１の出力および前記第２の出力に少なくとも部分的に基づいて、環境内のオブジェクトに関連付けられた属性を決定することと、前記属性に少なくとも部分的に基づいて、車両を制御することと、を含む、システム。
【0077】
［0081］Ｇ：前記オブジェクトに関連付けられた前記属性は、車両運動状態の表示、オブジェクトのインジケータ状態の表示、前記オブジェクトがアイドリングしていることの表示、前記オブジェクトが道路への進入を意図していることの表示、または、前記オブジェクトが前記道路を横断していることの表示を含む、パラグラフＦに記載のシステム。
【0078】
［0082］Ｈ：前記メモリは、キャッシュであり、かつ、前記キャッシュは、機械学習レイヤの前記第１のセットのｎ個の出力を記憶し、ｎは、ｎ個の過去の時間ステップに関連付けられた正の整数である、パラグラフＦまたはＧの何れかに記載のシステム。
【0079】
［0083］Ｉ：前記第１の出力及び前記第２の出力は、それぞれ、機械学習レイヤの前記第１のセットによって１回処理される、パラグラフＦ～Ｈの何れか１つに記載のシステム。
【0080】
［0084］Ｊ：前記属性は、歩行者が道路の近くでアイドリングしていること、前記歩行者が前記道路への進入を意図していること、前記歩行者が前記道路を横断していること、前記歩行者が前記道路に進入する準備ができていること、または、前記歩行者が前記道路に関連していないことを示す、パラグラフＦ～Ｉの何れか１つに記載のシステム。
【0081】
［0085］Ｋ：前記１つまたは複数の機械学習レイヤは、第２の機械学習レイヤ、第３の機械学習レイヤ、および、第４の機械学習レイヤを含み、前記属性を決定することは、前記第２の機械学習レイヤによって、かつ、前記第１の出力に少なくとも部分的に基づいて、第３の出力を決定することと、前記第２の機械学習レイヤによって、かつ、前記第２の出力に少なくとも部分的に基づいて、第４の出力を決定することと、連結された出力として、前記第３の出力および前記第４の出力を連結することと、前記連結された出力を前記第３の機械学習レイヤへの入力として提供することと、前記第３の機械学習レイヤから第５の出力を受信することと、前記第４の機械学習レイヤに入力として前記第５の出力を提供することと、前記第４の機械学習レイヤから前記属性に関連付けられた信頼スコアを受信することと、を含む、パラグラフＦ～Ｊの何れか１つに記載のシステム。
【0082】
［0086］Ｌ：機械学習レイヤの前記第１のセットは、ニューラルネットワークの複数のレイヤを含み、かつ、前記第２の機械学習レイヤ、前記第３の機械学習レイヤ、および、前記第４の機械学習レイヤは、異なる完全に接続されたレイヤを含む、パラグラフＫに記載のシステム。
【0083】
［0087］Ｍ：前記第１の画像は、第１のより大きな画像の第１の部分であり、前記第２の画像は、第２のより大きな画像の第２の部分であり、かつ、前記第１の部分および前記第２の部分は、前記第１のより大きな画像および前記第２のより大きな画像に少なくとも部分的に基づいて、第１の機械学習コンポーネントによって生成される、パラグラフＦ～Ｌの何れか１つに記載のシステム。
【0084】
［0088］Ｎ：プロセッサ実行可能な命令を記憶する１つまたは複数の非一時的なコンピュータ可読媒体であって、前記命令は、１つまたは複数のプロセッサによって実行されると、前記１つまたは複数のプロセッサに動作を実施させ、前記動作は、第１の時刻に関連付けられた第１の画像を受信することと、前記第１の時刻よりも前の第２の時刻に関連付けられた第２の画像を受信することと、機械学習レイヤの第１のセットによって、かつ、前記第１の画像に少なくとも部分的に基づいて、第１の出力を決定することと、前記第１の出力をメモリに記憶することと、前記メモリから第２の出力を取得することであって、前記第２の出力は前記第２の画像に関連付けられていることと、１つまたは複数の機械学習レイヤによって、かつ、前記第１の出力および前記第２の出力に少なくとも部分的に基づいて、環境内のオブジェクトに関連付けられた属性を決定することと、前記属性に少なくとも部分的に基づいて、車両を制御することと、を含む、１つまたは複数の非一時的なコンピュータ可読媒体。
【0085】
［0089］Ｏ：前記オブジェクトに関連付けられた前記属性は、車両運動状態の表示、オブジェクトのインジケータ状態の表示、前記オブジェクトがアイドリングしていることの表示、前記オブジェクトが道路への進入を意図していることの表示、または、前記オブジェクトが道路を横断していることの表示を含む、パラグラフＮに記載の１つまたは複数の非一時的なコンピュータ可読媒体。
【0086】
［0090］Ｐ：前記メモリは、キャッシュであり、かつ、前記キャッシュは、機械学習レイヤの前記第１のセットのｎ個の出力を記憶し、ｎは、ｎ個の過去の時間ステップに関連付けられた正の整数である、パラグラフＮまたはＯの何れかに記載の１つまたは複数の非一時的なコンピュータ可読媒体。
【0087】
［0091］Ｑ：前記第１の出力および前記第２の出力は、それぞれ、機械学習レイヤの前記第１のセットによって１回処理される、パラグラフＮ～Ｐの何れか１つに記載の１つまたは複数の非一時的なコンピュータ可読媒体。
【0088】
［0092］Ｒ：前記属性は、歩行者が道路の近くでアイドリングしていること、前記歩行者が前記道路への進入を意図していること、前記歩行者が前記道路を横断していること、前記歩行者が前記道路に進入する準備ができていること、または、前記歩行者が前記道路に関連していないことを示す、パラグラフＮ～Ｑの何れか１つに記載の１つまたは複数の非一時的なコンピュータ可読媒体。
【0089】
［0093］Ｓ：前記１つまたは複数の機械学習レイヤは、第２の機械学習レイヤ、第３の機械学習レイヤ、および、第４の機械学習レイヤを含み、前記属性を決定することは、前記第２の機械学習レイヤによって、かつ、前記第１の出力に少なくとも部分的に基づいて、第３の出力を決定することと、前記第２の機械学習レイヤによって、かつ、前記第２の出力に少なくとも部分的に基づいて、第４の出力を決定することと、連結された出力として、前記第３の出力および前記第４の出力を連結することと、前記連結された出力を前記第３の機械学習レイヤに入力として提供することと、前記第３の機械学習レイヤから第５の出力を受信することと、前記第５の出力を入力として前記第４の機械学習レイヤに提供することと、前記第４の機械学習レイヤから前記属性に関連付けられた信頼スコアを受信することと、を含む、パラグラフＮ～Ｒの何れか１つに記載の１つまたは複数の非一時的なコンピュータ可読媒体。
【0090】
［0094］Ｔ：機械学習レイヤの前記第１のセットは、ニューラルネットワークの複数のレイヤを含み、前記第２の機械学習レイヤ、前記第３の機械学習レイヤ、および、前記第４の機械学習レイヤは、異なる完全に接続されたレイヤを含む、パラグラフＮ～Ｓの何れか１つに記載の１つまたは複数の非一時的なコンピュータ可読媒体。
【0091】
［0095］上記で説明される例示的な条項は、１つの特定の実装形態に関して説明される一方で、本明細書の文脈において、例示的な条項の内容は、方法、デバイス、システム、コンピュータ可読媒体、および／または、別の実装形態を介して実施されることも可能であることを理解すべきである。追加的に、例Ａ～Ｔの何れかは、単独で、または例Ａ～Ｔのうちのあらゆる他の１つもしくは複数と組み合わせて実装され得る。
【0092】
まとめ
［0096］主題が構造的な特徴および／または方法的な動作に特有の言語で説明されているが、添付の特許請求の範囲において定義される主題は、必ずしも説明される特定の特徴、または動作に限定されるものではないことを理解すべきである。むしろ、特定の特徴および動作は、特許請求の範囲を実施する例示的な形態として開示される。
［0096］主題が構造的な特徴および／または方法的な動作に特有の言語で説明されているが、添付の特許請求の範囲において定義される主題は、必ずしも説明される特定の特徴、または動作に限定されるものではないことを理解すべきである。むしろ、特定の特徴および動作は、特許請求の範囲を実施する例示的な形態として開示される。
【0093】
［0097］本明細書において説明されるコンポーネントは、あらゆるタイプのコンピュータ可読媒体に記憶され得、かつ、ソフトウェアおよび／またはハードウェアにおいて実装され得る命令を表す。上述の方法およびプロセスの全ては、１つもしくは複数のコンピュータまたはプロセッサ、ハードウェア、またはそれらの幾つかの組み合わせによって実行されるソフトウェアコードコンポーネントおよび／またはコンピュータ実行可能命令を介して具現化され、かつ、完全に自動化され得る。方法の幾つかまたは全ては、代替的に、専用のコンピュータハードウェアにおいて具現化され得る。
【0094】
［0098］本明細書に記載されるプロセスのうちの少なくとも幾つかは、論理フローグラフとして図示され、それぞれの動作は、ハードウェア、ソフトウェア、またはそれらの組み合わせにおいて実装されることが可能である動作のシーケンスを表す。ソフトウェアの文脈において、動作は、１つまたは複数のプロセッサによって実行されるとき、記載される動作をコンピュータまたは自律車両に実行させる、１つまたは複数の非一時的なコンピュータ可読記憶媒体上に記憶されたコンピュータ実行可能命令を表す。一般に、コンピュータ実行可能命令は、具体的な機能を実行するか、または具体的な抽象データ型を実装するルーティン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。動作が説明される順序は、限定として解釈されることが意図されるわけではなく、任意の数の説明される動作が、プロセスを実装するために任意の順序で、および／または、並行して組み合わされることが可能である。
【0095】
［0099］特に断りのない限り、「may」、「could」、「may」、または「might」といった条件付きの用語は、とりわけ、他の例示が含まない或る特徴、要素および／またはステップを或る例示が含むことを提示するための文脈内で理解される。したがって、そのような条件付きの用語は、ある特徴、要素および／またはステップが、１つまたは複数の例示に任意の方法で要求されるか、または、その１つまたは複数の例示が、ユーザのインプットまたはプロンプトを用いて、または用いずに、ある特徴、要素および／またはステップが任意の具体的な例示に含まれるか、または実行されるべきであるかを決定するための論理を必ずしも含むことを暗示することは一般に意図されていない。
【0096】
［00100］「Ｘ、Ｙ、Ｚのうち少なくとも１つ」のような表現は、特に断りのない限り、項目、用語などが、Ｘ、Ｙ、Ｚの何れか、または、個々の要素の倍数を含むそれらのあらゆる組み合わせを示すものと理解すべきである。単数として明示的に記載されていない限り、「ａ」は、単数および複数を意味する。
【0097】
［0100］本明細書において記載され、および／または、添付の図面に示したフロー図に示される、あらゆるルーティンの説明、要素、またはブロックは、ルーティンにおける特定の論理機能、または要素を実装するための１つまたは複数のコンピュータ実行可能命令を含むモジュール、セグメント、またはコードの部分を潜在的に表すものとして理解されるべきである。代替的な実装は、本明細書において説明する例の範囲内において、当業者であれば理解できるように、関係する機能に応じて、要素または機能を削除したり、実質的に同期、逆順、追加操作、または操作の省略など、図示または記載した順序とは異なる順序で実行したりする代替例も含まれる。なお、実質的にという用語は、範囲を示す場合がある。例えば、実質的に同時にという用語は、２つの動作が互いにある時間範囲内において発生することを示し得、実質的に同じ寸法という用語は、２つの要素が互いに或る範囲内の寸法を有することを示し得る。
【0098】
［0101］上述した例には多くの変形例や修正例を加えることができ、その要素は他の許容可能な例の中に含まれるものとして理解されるべきである。すべてのそのような修正および変形は、本開示の範囲内において本明細書に含まれ、以下の特許請求の範囲によって保護されることが意図される。
【図1】
【図2】
【図3】
【図4】
【図5】
【手続補正書】
【提出日】2024-07-09
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
第１の時刻に関連付けられた第１の画像を受信することと、
前記第１の時刻よりも前の第２の時間に関連付けられた第２の画像を受信することであって、前記第１の画像および前記第２の画像は同じオブジェクトに関連付けられていることと、
機械学習レイヤの第１のセットによって、かつ、前記第１の画像に少なくとも部分的に基づいて、第１の出力を決定することと、
前記第１の出力をメモリに記憶することと、
前記メモリから第２の出力を取得することであって、前記第２の出力は、前記第２の画像に関連付けられ、機械学習レイヤの前記第１のセットによって過去に処理され、かつ、前記メモリに記憶されていることと、
１つまたは複数の機械学習レイヤによって、かつ、前記第１の出力および前記第２の出力に少なくとも部分的に基づいて、第１の歩行者属性に関連付けられた第１の信頼スコアおよび第２の歩行者属性に関連付けられた第２の信頼スコアを決定することと、
前記第１の信頼スコアまたは前記第２の信頼スコアの少なくとも１つに少なくとも部分的に基づいて、車両を制御することと、を含む方法。
【請求項2】
前記第１の歩行者属性は、歩行者がアイドリングしていること、前記歩行者が道路への進入を意図していること、または、前記歩行者が道路を横断していることのうちの１つを示し、かつ、
前記第２の歩行者属性は、前記歩行者がアイドリングしていること、前記歩行者が道路への進入を意図していること、または、前記歩行者が道路を横断していることのうちの異なる１つを示す、請求項１に記載の方法。
【請求項3】
前記１つまたは複数の機械学習レイヤは、第２の機械学習レイヤ、第３の機械学習レイヤ、および、第４の機械学習レイヤを含み、前記第１の歩行者属性に関連付けられた前記第１の信頼スコアおよび前記第２の歩行者属性に関連付けられた前記第２の信頼スコアを決定することは、
前記第２の機械学習レイヤによって、かつ、前記第１の出力に少なくとも部分的に基づいて、第３の出力を決定することと、
前記第２の機械学習レイヤによって、かつ、前記第２の出力に少なくとも部分的に基づいて、第４の出力を決定することと、
連結された出力として、前記第３の出力および前記第４の出力を連結することと、
前記第３の機械学習レイヤへの入力として、前記連結された出力を提供することと、
前記第３の機械学習レイヤから第５の出力を受信することと、
前記第５の出力を前記第４の機械学習レイヤに入力として提供することと、
前記第４の機械学習レイヤから前記第１の信頼スコアおよび前記第２の信頼スコアを受信することと、を含む、請求項１に記載の方法。
【請求項4】
機械学習レイヤの前記第１のセットは、ニューラルネットワークの複数のレイヤを含み、かつ、前記第２の機械学習レイヤ、前記第３の機械学習レイヤ、および、前記第４の機械学習レイヤは、異なる完全に接続されたレイヤを含む、請求項３に記載の方法。
【請求項5】
前記第１の画像は、第１のより大きな画像の第１の部分であり、
前記第２の画像は、第２のより大きな画像の第２の部分であり、かつ、
前記第１の部分および前記第２の部分は、前記第１のより大きな画像および前記第２のより大きな画像に少なくとも部分的に基づいて、第１の機械学習コンポーネントによって生成される、請求項１に記載の方法。
【請求項6】
システムであって、１つまたは複数のプロセッサと、
前記１つまたは複数のプロセッサによって実行されると、前記システムに動作を実施させるプロセッサ実行可能な命令を記憶するメモリと、を備え、前記動作は、
第１の時刻に関連付けられた第１の画像を受信することと、
前記第１の時刻よりも前の第２の時刻に関連付けられた第２の画像を受信することと、
機械学習レイヤの第１のセットによって、かつ、前記第１の画像に少なくとも部分的に基づいて、第１の出力を決定することと、
前記第１の出力をメモリに記憶することと、
前記メモリから第２の出力を取得することであって、前記第２の出力は、前記第２の画像に関連付けられている、ことと、
１つまたは複数の機械学習レイヤによって、かつ、前記第１の出力および前記第２の出力に少なくとも部分的に基づいて、環境内のオブジェクトに関連付けられた属性を決定することと、
前記属性に少なくとも部分的に基づいて、車両を制御することと、を含む、システム。
【請求項7】
前記オブジェクトに関連付けられた前記属性は、車両運動状態の表示、
オブジェクトのインジケータ状態の表示、
前記オブジェクトがアイドリングしていることの表示、
前記オブジェクトが道路への進入を意図していることの表示、または、
前記オブジェクトが前記道路を横断していることの表示を含む、請求項６に記載のシステム。
【請求項8】
前記メモリは、キャッシュであり、かつ、前記キャッシュは、機械学習レイヤの前記第１のセットのｎ個の出力を記憶し、ｎは、ｎ個の過去の時間ステップに関連付けられた正の整数である、請求項６に記載のシステム。
【請求項9】
前記第１の出力及び前記第２の出力は、それぞれ、機械学習レイヤの前記第１のセットによって１回処理される、請求項６に記載のシステム。
【請求項10】
前記属性は、歩行者が道路の近くでアイドリングしていること、前記歩行者が前記道路への進入を意図していること、前記歩行者が前記道路を横断していること、前記歩行者が前記道路に進入する準備ができていること、または、前記歩行者が前記道路に関連していないことを示す、請求項６に記載のシステム。
【請求項11】
前記１つまたは複数の機械学習レイヤは、第２の機械学習レイヤ、第３の機械学習レイヤ、および、第４の機械学習レイヤを含み、前記属性を決定することは、前記第２の機械学習レイヤによって、かつ、前記第１の出力に少なくとも部分的に基づいて、第３の出力を決定することと、
前記第２の機械学習レイヤによって、かつ、前記第２の出力に少なくとも部分的に基づいて、第４の出力を決定することと、
連結された出力として、前記第３の出力および前記第４の出力を連結することと、
前記連結された出力を前記第３の機械学習レイヤへの入力として提供することと、
前記第３の機械学習レイヤから第５の出力を受信することと、
前記第４の機械学習レイヤに入力として前記第５の出力を提供することと、
前記第４の機械学習レイヤから前記属性に関連付けられた信頼スコアを受信することと、を含む、請求項６に記載のシステム。
【請求項12】
機械学習レイヤの前記第１のセットは、ニューラルネットワークの複数のレイヤを含み、かつ、前記第２の機械学習レイヤ、前記第３の機械学習レイヤ、および、前記第４の機械学習レイヤは、異なる完全に接続されたレイヤを含む、請求項１１に記載のシステム。
【請求項13】
前記第１の画像は、第１のより大きな画像の第１の部分であり、前記第２の画像は、第２のより大きな画像の第２の部分であり、かつ、
前記第１の部分および前記第２の部分は、前記第１のより大きな画像および前記第２のより大きな画像に少なくとも部分的に基づいて、第１の機械学習コンポーネントによって生成される、請求項６に記載のシステム。
【請求項14】
プロセッサ実行可能な命令を記憶する１つまたは複数の非一時的なコンピュータ可読媒体であって、前記命令は、１つまたは複数のプロセッサによって実行されると、前記１つまたは複数のプロセッサに動作を実施させ、前記動作は、第１の時刻に関連付けられた第１の画像を受信することと、
前記第１の時刻よりも前の第２の時刻に関連付けられた第２の画像を受信することと、
機械学習レイヤの第１のセットによって、かつ、前記第１の画像に少なくとも部分的に基づいて、第１の出力を決定することと、
前記第１の出力をメモリに記憶することと、
前記メモリから第２の出力を取得することであって、前記第２の出力は前記第２の画像に関連付けられていることと、
１つまたは複数の機械学習レイヤによって、かつ、前記第１の出力および前記第２の出力に少なくとも部分的に基づいて、環境内のオブジェクトに関連付けられた属性を決定することと、
前記属性に少なくとも部分的に基づいて、車両を制御することと、を含む、１つまたは複数の非一時的なコンピュータ可読媒体。
【請求項15】
前記オブジェクトに関連付けられた前記属性は、車両運動状態の表示、
オブジェクトのインジケータ状態の表示、
前記オブジェクトがアイドリングしていることの表示、
前記オブジェクトが道路への進入を意図していることの表示、または、
前記オブジェクトが道路を横断していることの表示を含む、請求項１４に記載の１つまたは複数の非一時的なコンピュータ可読媒体。
【請求項16】
前記メモリは、キャッシュであり、かつ、前記キャッシュは、機械学習レイヤの前記第１のセットのｎ個の出力を記憶し、ｎは、ｎ個の過去の時間ステップに関連付けられた正の整数である、請求項１４に記載の１つまたは複数の非一時的なコンピュータ可読媒体。
【請求項17】
前記第１の出力および前記第２の出力は、それぞれ、機械学習レイヤの前記第１のセットによって１回処理される、請求項１４に記載の１つまたは複数の非一時的なコンピュータ可読媒体。
【請求項18】
前記属性は、歩行者が道路の近くでアイドリングしていること、前記歩行者が前記道路への進入を意図していること、前記歩行者が前記道路を横断していること、前記歩行者が前記道路に進入する準備ができていること、または、前記歩行者が前記道路に関連していないことを示す、請求項１４に記載の１つまたは複数の非一時的なコンピュータ可読媒体。
【請求項19】
前記１つまたは複数の機械学習レイヤは、第２の機械学習レイヤ、第３の機械学習レイヤ、および、第４の機械学習レイヤを含み、前記属性を決定することは、前記第２の機械学習レイヤによって、かつ、前記第１の出力に少なくとも部分的に基づいて、第３の出力を決定することと、
前記第２の機械学習レイヤによって、かつ、前記第２の出力に少なくとも部分的に基づいて、第４の出力を決定することと、
連結された出力として、前記第３の出力および前記第４の出力を連結することと、
前記連結された出力を前記第３の機械学習レイヤに入力として提供することと、
前記第３の機械学習レイヤから第５の出力を受信することと、
前記第５の出力を前記第４の機械学習レイヤに入力として提供することと、
前記第４の機械学習レイヤから前記属性に関連付けられた信頼スコアを受信することと、を含む、請求項１４に記載の１つまたは複数の非一時的なコンピュータ可読媒体。
【請求項20】
機械学習レイヤの前記第１のセットは、ニューラルネットワークの複数のレイヤを含み、前記第２の機械学習レイヤ、前記第３の機械学習レイヤ、および、前記第４の機械学習レイヤは、異なる完全に接続されたレイヤを含む、請求項１９に記載の１つまたは複数の非一時的なコンピュータ可読媒体。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】００３９
【補正方法】変更
【補正の内容】
【0039】
［0043］メモリ２２０および／またはメモリ２２４は、追加的または代替的に、マッピングシステム、計画システム、ライドマネジメントシステムなどを記憶し得る。知覚コンポーネント２２８、計画コンポーネント２３０、および／または、パフォーマンスコンポーネントは、メモリ２２０および／または２２４に記憶されるように示されているが、知覚コンポーネント２２８、計画コンポーネント２３０、および／または、パフォーマンスコンポーネントは、プロセッサ実行可能命令、機械学習モデル（例えば、ニューラルネットワーク）、および／または、ハードウェアを含み得る。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】００５８
【補正方法】変更
【補正の内容】
【0058】
例示的な属性
［0062］図４は、３つの例示的なフレーム（時間内のセンサデータの離散部分）４００～４０４、および、フレームのそれぞれについてＭＬアーキテクチャ３００によって予測される属性を示す。図示されるフレームは画像であるが、フレームは、点群データまたはあらゆる他のセンサデータの一部であり得ることが理解される。図４はまた、タイムライン４０６、および、ＭＬアーキテクチャ３００によって受信かつ処理された、フレーム４０８のような他のフレームを示し、それは矩形として示されるが、図４に関して論じられた分類のうちの１つに関連付けられていない。図４は、それぞれが同じ属性を有すると分類され得るフレームを示す。例えば、４１０によって示される括弧の下のフレームそれぞれは、属性「アイドリング」を有するオブジェクトを示すものとして分類され得、第１のフレーム４００は、そのように分類され得るフレームの例である。括弧４１２の下のフレームは、属性「道路に進入する意図」を有するオブジェクトを示すものとして分類され得、第２のフレーム４０２は、そのように分類され得るフレームの例である。括弧４１４の下のフレームは、属性「道路を横断している」を有するオブジェクトを示すものとして分類され得、第３のフレーム４０４は、そのように分類され得るフレームの例である。
［0062］図４は、３つの例示的なフレーム（時間内のセンサデータの離散部分）４００～４０４、および、フレームのそれぞれについてＭＬアーキテクチャ３００によって予測される属性を示す。図示されるフレームは画像であるが、フレームは、点群データまたはあらゆる他のセンサデータの一部であり得ることが理解される。図４はまた、タイムライン４０６、および、ＭＬアーキテクチャ３００によって受信かつ処理された、フレーム４０８のような他のフレームを示し、それは矩形として示されるが、図４に関して論じられた分類のうちの１つに関連付けられていない。図４は、それぞれが同じ属性を有すると分類され得るフレームを示す。例えば、４１０によって示される括弧の下のフレームそれぞれは、属性「アイドリング」を有するオブジェクトを示すものとして分類され得、第１のフレーム４００は、そのように分類され得るフレームの例である。括弧４１２の下のフレームは、属性「道路に進入する意図」を有するオブジェクトを示すものとして分類され得、第２のフレーム４０２は、そのように分類され得るフレームの例である。括弧４１４の下のフレームは、属性「道路を横断している」を有するオブジェクトを示すものとして分類され得、第３のフレーム４０４は、そのように分類され得るフレームの例である。
【国際調査報告】