(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-12-15
(54)【発明の名称】衝突回避知覚システム
(51)【国際特許分類】
G06T 7/00 20170101AFI20221208BHJP
G06T 7/70 20170101ALI20221208BHJP
G08G 1/16 20060101ALI20221208BHJP
【ＦＩ】
G06T7/00 650B
G06T7/00 350B
G06T7/70 Z
G08G1/16 C
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022520288
(86)(22)【出願日】2020-09-30
(85)【翻訳文提出日】2022-03-31
(86)【国際出願番号】 US2020053558
(87)【国際公開番号】W WO2021067445
(87)【国際公開日】2021-04-08
(31)【優先権主張番号】16/848,834
(32)【優先日】2020-04-14
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】16/591,518
(32)【優先日】2019-10-02
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】518156417
【氏名又は名称】ズークス インコーポレイテッド
(74)【代理人】
【識別番号】110001243
【氏名又は名称】弁理士法人谷・阿部特許事務所
(72)【発明者】
【氏名】ジェームズ ウィリアム ベイジー フィルビン
(72)【発明者】
【氏名】クーパー ストークス スローン
(72)【発明者】
【氏名】ヌーレルディン エハブ ヘンディー
(72)【発明者】
【氏名】ニコラス ジョージ シャーシュット
(72)【発明者】
【氏名】チャン ワン
【テーマコード（参考）】
5H181
5L096
【Ｆターム（参考）】
5H181AA01
5H181BB04
5H181BB05
5H181BB20
5H181CC02
5H181CC03
5H181CC04
5H181CC11
5H181CC12
5H181CC14
5H181CC17
5H181CC27
5H181EE02
5H181FF04
5H181FF22
5H181FF32
5H181LL01
5H181LL02
5H181LL04
5H181LL09
5L096AA06
5L096BA04
5L096CA04
5L096EA39
5L096FA32
5L096FA64
5L096FA66
5L096FA67
5L096FA69
5L096GA30
5L096GA51
5L096GA55
5L096HA11
5L096KA04
(57)【要約】
衝突回避システムは、車両を制御するために生成された軌道を検証、拒否、または置き換え得る。衝突回避システムは、１つまたは複数の機械学習モデルを含む二次知覚コンポーネントを含んでよく、その各々は、異なるタイプのセンサーデータに少なくとも部分的に基づいて１つまたは複数の占有マップを出力するように訓練され得る。占有マップは、環境の少なくとも一部が多様な物体のタイプのいずれか１つによって将来の時間に占有されているかどうかの予測を含み得る。同じ時間に関連付けられた占有マップは、軌道を検証、拒否、または置き換えるために使用され得るデータ構造に集約されてもよい。
【特許請求の範囲】
【請求項1】
システムであって、２つ以上のセンサーと、
１つまたは複数のプロセッサと、
前記１つまたは複数のプロセッサによって実行された場合、前記システムに対して
前記２つ以上のセンサーの少なくとも１つに関連する第１のセンサータイプに関連付けられた第１のセンサーデータを受信することと、
前記２つ以上のセンサーの少なくとも１つに関連する第２のセンサータイプに関連付けられた第２のセンサーデータを受信することと、
前記第１のセンサーデータに少なくとも部分的に基づいて、第１の現在の占有マップおよび第１の予測された占有マップを決定することであって、前記第１の予測された占有マップは、そのそれぞれの部分が占有される可能性を示す離散化グリッドを含むことと、
前記第２のセンサーデータに少なくとも部分的に基づいて、第２の現在の占有マップおよび第２の予測された占有マップを決定することであって、
前記第１の現在の占有マップおよび前記第２の現在の占有マップは、環境の部分が現在の時間において占有されている第１の可能性および第２の可能性を示し、
前記第１の予測された占有マップおよび前記第２の予測された占有マップは、前記環境の前記部分が将来の時間において占有されている第３の可能性および第４の可能性を示す、ことと、
前記第１の現在の占有マップと前記第２の現在の占有マップを、前記環境の前記部分が前記現在の時間において占有されているか占有されていないかどうかを示すデータ構造に結合することと、
前記第１の予測された占有マップと前記第２の予測された占有マップを、前記環境の前記部分が前記将来の時間において占有されているか占有されていないかどうかを示す前記データ構造に結合することと、
前記データ構造に少なくとも部分的に基づいて、自律車両を制御することと、
を含む動作を実行させるプロセッサ実行可能な命令を格納したメモリと、
を備える、システム。
【請求項2】
前記動作が、前記データ構造に少なくとも部分的に基づいて、少なくとも最も近接した物体に関連付けられた第１の位置または第１の速度の少なくとも１つを決定することと、
軌道を受信することと、
をさらに備え、
前記自律車両を制御することが、前記第１の位置または前記第１の速度の少なくとも１つ、および前記自律車両に関連付けられた第２の位置または第２の速度の少なくとも１つに少なくとも部分的に基づいて、
前記軌道を実行させるように前記自律車両を制御、または、
臨時の軌道を実行させるように前記自律車両を制御する、
ように決定することをさらに備える、請求項１に記載のシステム。
【請求項3】
臨時の軌道を実行するように前記自律車両を制御することが、前記軌道が占有されているとして示される前記データ構造の少なくとも一部の閾値距離以内であるということを決定すること、または、前記軌道に少なくとも部分的に基づいた前記データ構造の部分の確率の合計を決定することの少なくとも１つに少なくとも部分的に基づく、請求項２に記載のシステム。
【請求項4】
前記第１の占有マップを決定することが、入力として第１の機械学習（ＭＬ）モデルへ前記第１のセンサーデータを提供すること、および、出力として前記第１の占有マップを前記第１のＭＬモデルから受信することを備え、前記第２の占有マップを決定することが、入力として第２の機械学習（ＭＬ）モデルへ前記第２のセンサーデータを提供すること、および、出力として前記第２の占有マップを前記第２のＭＬモデルから受信することを備える、請求項１から３のいずれか一項に記載のシステム。
【請求項5】
前記第１の現在の占有マップが、前記環境の前記部分に関連付けられた第１の信頼度スコアを備え、前記第１の信頼度スコアが、前記部分が占有されている第１の可能性を示し、前記第２の現在の占有マップが、前記環境の前記部分に関連付けられた第２の信頼度スコアを備え、前記第２の信頼度スコアが、前記部分が占有されている第２の可能性を示し
、
前記第１の現在の占有マップおよび前記第２の現在の占有マップを前記データ構造に結合することが、前記第１の信頼度スコア、前記第２の信頼度スコア、前記第１のセンサータイプ、前記第２のセンサータイプの少なくとも１つに少なくとも部分的に基づく、請求項１から４のいずれか一項に記載のシステム。
【請求項6】
前記動作が、前記第１の現在の占有マップの第１の部分を、前記第１の信頼度スコアが閾値信頼度を満たすかまたは超えるという決定に少なくとも部分的に基づいて、前記部分が占有されていることを示すものとして、関連付けることをさらに備え、前記第１の現在の占有マップおよび前記第２の現在の占有マップを前記データ構造に結像することが、前記第１の部分および前記部分が占有されているまたは占有されていないことを示す前記第２の現在の占有マップに関連付けられた第２の部分の少なくとも１つに基づいた投票をさらに備える、請求項５に記載のシステム。
【請求項7】
方法であって、第１のセンサータイプに関連付けられた第１のセンサーデータを受信することと、
第２のセンサータイプに関連付けられた第２のセンサーデータを受信することと、
前記第１のセンサーデータに少なくとも部分的に基づいて第１の占有マップを決定することであって、前記第１の占有マップは、自律車両を取り巻く環境の部分が将来の時間において占有されているか占有されていなかどうかを示すことと、
前記第２のセンサーデータに少なくとも部分的に基づいて第２の占有マップを決定することであって、前記第２の占有マップは、前記部分が将来の時間において占有されているか占有されていなかどうかを示すことと、
前記第１の占有マップおよび前記第２の占有マップに少なくとも部分的に基づいて前記第１の占有マップおよび前記第２の占有マップをデータ構造に結合することであって、前記データ構造は、前記環境の前記部分が前記将来の時間において占有されているか占有されていないかどうかを示すことと、
前記データ構造に少なくとも部分的に基づいて自律車両を制御することと、
を備える方法。
【請求項8】
前記データ構造に少なくとも部分的に基づいて、少なくとも最も近接した物体に関連付けられた第１の位置または第１の速度を決定することと、軌道を受信することと、
をさらに備え、
前記自律車両を制御することが、前記第１の位置または前記第１の速度の少なくとも１つ、および前記自律車両に関連付けられた第２の位置または第２の速度の少なくとも１つに少なくとも部分的に基づいて、
前記軌道を実行させるように前記自律車両を制御、または、
臨時の軌道を実行させるように前記自律車両を制御する、
ように決定することをさらに備える、請求項７に記載の方法。
【請求項9】
前記臨時の軌道を実行するように前記自律車両を制御することが、前記軌道が占有されているとして示される前記データ構造の少なくとも一部の閾値距離以内であるということを決定すること、または、前記軌道に少なくとも部分的に基づいた前記データ構造に関連付けられた確率の合計を決定することの１つまたは複数に少なくとも部分的に基づく、請求項８に記載の方法。
【請求項10】
前記第１の占有マップを決定することが、入力として第１の機械学習（ＭＬ）モデルへ前記第１のセンサーデータを提供すること、および、出力として前記第１の占有マップを前記第１のＭＬモデルから受信することを備え、前記第２の占有マップを決定することが、入力として第２の機械学習（ＭＬ）モデルへ前記第２のセンサーデータを提供すること、および、出力として前記第２の占有マップを前記第２のＭＬモデルから受信することを備える、請求項７から９のいずれか一項に記載の方法。
【請求項11】
前記第１の現在の占有マップは、前記環境の前記部分に関連付けられた第１の信頼度スコアを備え、前記第１の信頼度スコアは、前記部分が占有されている第１の可能性を示し、前記第２の現在の占有マップは、前記環境の前記部分に関連付けられた第２の信頼度スコアを備え、前記第２の信頼度スコアは、前記部分が占有されている第２の可能性を示し、
前記第１の現在の占有マップおよび前記第２の現在の占有マップを前記データ構造に集約することは、前記信頼度スコアが閾値信頼度を満足するか超えることを決定することに少なくとも部分的に基づいて、前記第１の現在の占有マップの第１の部分を、前記部分が占有されていることを示すものとして関連付けることを備える、請求項７から１０のいずれか一項に記載の方法。
【請求項12】
前記第１の現在の占有マップおよび前記第２の現在の占有マップを前記データ構造に集約することは、前記第１の部分、および、前記部分が占有されたか占有されていないかを示す前記第２の現在の占有マップ関連付けられた前記第２の部分、前記第１のセンサータイプ、前記第２のセンサータイプ、前記第１の信頼度スコア、または前記第２の信頼度スコアの少なくとも１つ、に少なくとも部分的に基づいて前記部分が占有されていることを示すものとして前記データ構造の第２の部分を関連付けるための投票をさらに備える、請求項１１に記載の方法。
【請求項13】
前記第１のセンサーデータおよび前記第２のセンサーデータが、現在のセンサーデータおよび以前のセンサーデータを備え、前記第１の占有マップが、少なくとも現在の時間に関連付けられた現在の占有マップおよび将来の時間に関連付けられた予測された占有マップを備える、請求項７から１２のいずれか一項に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、衝突回避知覚システムに関する。
【背景技術】
【0002】
本出願は、２０１９年１０月２日に出願された米国特許出願第１６／５９１５１８号の一部継続出願である、２０２０年４月１４日出願の米国特許出願第１６／８４８８３４号に対する優先権を主張する。優先権は、すべての先行の出願に主張される。
【0003】
車両の乗客および車両に近接している他の人々や物体の安全は、最も重要なことである。このような安全性は、多くの場合、潜在的な衝突の正確な検出と安全対策のタイムリーな展開が前提となっている。安全に動作するために、自律車両は、自律車両を取り巻く事象を検出および追跡するための多様なセンサーおよび様々なシステムを含んでもよく、自律車両を制御する際にこれらの事象を考慮し得る。例えば、自律車両は、自律車両を安全に制御するために、一組のカメラ、ライダーセンサー、レーダー、および／または同様のものの３６０度視野内の全ての物体を検出および追跡し得る。
【図面の簡単な説明】
【0004】
詳細な説明は、添付の図面を参照して述べられる。図中で、符号の左端の数字は、その符号が最初に現れる図面を示している。異なる図で同じ符号を使用することは、類似または同一の項目を示す。
【0005】
【図1】衝突回避コンポーネントを有するように構成された自律車両が、自律車両を制御するための軌道を生成し、衝突回避コンポーネントによって、軌道を実装するか、安全停止、ブレーキ、またはハードブレーキなどの臨時の軌道を自律車両に実行させるかを決定する例示的シナリオを示す図である。
【図2】衝突回避コンポーネントを含む例示的なシステムのブロック図である。
【図3】例示的な衝突回避コンポーネントの少なくとも一部のブロック図である。
【図4】軌道を検証しおよび／または臨時の軌道を実行するために衝突回避コンポーネントを用いて実行される例示的なプロセスの絵入りフロー図である。
【図5A】異なるセンサータイプから受信されたセンサーデータに対して決定された例示的な占有マップを示す図である。
【図6A】本明細書で論じられるＭＬモデルの異なる例示的なアーキテクチャを示す図である。
【図6B】本明細書で論じられるＭＬモデルの異なる例示的なアーキテクチャを示す図である。
【発明を実施するための形態】
【0006】
衝突回避のための技術は、車両を制御するために生成された軌道を検証、拒否、または置き換える衝突回避システムを含み得る。例えば、本明細書で議論される技術に従って軌道を検証すると、衝突回避システムは、通過させるか、またはその軌道が車両によって実装されることを与え得る。しかしながら、本明細書で議論される技術に従って、軌道が無効であると決定すると、衝突回避システムは、車両に代替の操舵（例えば、安全停止操舵、臨時軌道）を開始、および／または新しい軌道を再決定させ得る。いくつかの例では、車両の計画コンポーネントは、一次知覚コンポーネントから受信したセンサーデータ、マップデータ、定位データ（例えば、自律車両がどこにあるか／自律車両が環境内の物体、マッピングされた位置などに対してどのように方向付けられているか）、および／または知覚データ（例えば、環境に何があるか、環境内の物体の特性）に少なくとも部分的に基づいて軌道を決定し得る。
【0007】
衝突回避システムは、二次知覚コンポーネントおよび／または検証コンポーネントを含み得る。例えば、衝突回避システムは、軌道を受信し、１つまたは複数のセンサーから、自律車両の周囲の環境に関連付けられたセンサーデータを受信し得る。いくつかの例では、一次知覚コンポーネントは、センサーデータのすべて、またはほぼすべてに少なくとも部分的に基づいて知覚データを決定してもよいが、衝突回避システムの二次知覚コンポーネントは、一次知覚コンポーネントによって使用されるセンサーデータのサブセットに少なくとも部分的に基づいて軌道を拒否するか否かを決定し得る。少なくともいくつかの例では、そのような二次知覚システムは、一次システムに関して、類似および／または類似でないハードウェアおよび／またはソフトウェアをさらに使用し得る。いくつかの例では、二次知覚システムは、センサーデータを静的な物体または動的な物体として単純に分類してもよく、どのタイプの物体であるかを曖昧にすることはない。追加または代替の例では、二次知覚システムは、物体の分類を曖昧にするように構成された、任意のタイプのＭＬモデルを含んでもよい。例えば、二次知覚システムは、物体（例えば、歩行者、車両、標識、自転車の乗用者、自動車の運転者、背景／地面）に関連付けられた物体分類を決定してもよい。
【0008】
いくつかの例では、二次知覚システムは、異なるセンサータイプに関連付けられた多様な機械学習（ＭＬ）モデルを含み得る。二次知覚システムは、第１のセンサータイプに関連付けられた第１のセンサーデータと、第２のセンサータイプに関連付けられた第２のセンサーデータとを受信し得る。第１のＭＬモデルは、（第１のセンサータイプの）第１のセンサーデータに少なくとも部分的に基づいて、第１の占有マップを決定するように訓練されてもよく、第２のＭＬモデルは、第２のセンサーデータに少なくとも部分的に基づいて、第２の占有マップを決定するように訓練されてもよい。追加または代替の例では、ＭＬモデルは、物体分類に関連付けられた占有マップを出力するように訓練されてもよい。例えば、第１のＭＬモデルは、物体分類「歩行者」に関連付けられた第１の占有マップを出力し、物体分類「車両」に関連付けられた第２の占有マップは、歩行者に分類された物体によって占有される環境の部分を示す等であってもよい。追加的または代替的に、ＭＬモデルは、占有表示（例えば、環境の一部が歩行者、自転車の乗用者、自動車の運転者、または車両によって占有され、残りがラベル「地面」に関連付けられるとして示される表示）に関連付けられたラベルを出力するように訓練されてもよい。占有マップは、環境の部分に関連付けられた信頼度スコアを含んでよく、信頼度スコアは、環境の部分が物体によって占有されている、又は占有されていると予測される可能性（例えば、事後確率）を示している。いくつかの例では、環境の一部に関連付けられた占有マップの部分（例えば、ピクセル、いくつかの他の離散部分）は、追加的または代替的に、物体が静的または動的であることを示し得る。
【0009】
いくつかの例では、本技術は、それによって出力される占有マップが同じ参照フレームおよび／または範囲に関連付けられるように、本明細書で論じられるＭＬモデルを訓練することを含み得る。例えば、ＭＬモデルの各々によって出力された占有マップは、自律車両を中心とし、自律車両を取り巻く環境および／または物体のトップダウンビューとして配向された、３０メートル×３０メートルの正方形と関連付けられ得る。
【0010】
本明細書で論じられるＭＬモデルは、追加的または代替的に、現在の時間および／または将来の時間に関連付けられた１つまたは複数の占有マップを出力するように訓練され得る。例えば、ＭＬモデルは、現在の時間に関連付けられた現在の占有マップと、将来の時間に関連付けられた予測された占有マップを出力するように訓練され得る。本明細書で使用される場合、「現在」の時間は、センサーデータが受信された時間に関連付けられ、これは実際には、それに関連付けられた現在の占有マップがＭＬモデルによって生成されるまでには過去の時間であろうことに留意されたい。したがって、「現在」の時間は、センサーデータが受信された時間に関連付けられ、または「現在」の時間は、それ以降の時間（すなわち、将来の時間）に関連付けられ得る。後者の場合、現在の占有マップは、それ自体が予測された占有マップであり得る。いくつかの例では、ＭＬモデルは、現在の（直近の）センサーデータに加えて、以前のセンサーデータを受信してもよい。
【0011】
要約例を挙げると、ＭＬモデルのグループは、異なるセンサデータタイプを受信し、同じ数の占有マップを生成するように訓練されてよく、それらの各々は、同じそれぞれの時間、例えば、現在の時間から将来の時間までと関連付けられ得る。例えば、ＭＬモデルは、現在の時間から将来の時間までの間隔で占有マップを決定し得る（例えば、直近のセンサーデータが受信された時間から、参照される５００ミリ秒の間隔で、０から２秒までの５つの占有マップを決定する）。
【0012】
本技術は、追加的又は代替的に、異なるＭＬモデルによって生成された占有マップをデータ構造に集約することを含み得る。集約は、同じ時間に関連付けられた占有マップを単一の占有マップに集約することを含み得る。例えば、異なるＭＬモデルは、すべてが第１の将来の時間に関連付けられた異なる占有マップの第１のセットと、すべてが第２の将来の時間に関連付けられた異なる占有マップの第２のセットとを生成し得る。集約は、第１のセットを第１の将来の時間に関連付けられた第１の占有マップに集約すること、および第２のセットを第２の将来の時間に関連付けられた第２の占有マップに集約することを含み得る。いくつかの例では、第１の時間に関連付けられた占有マップを集約することは、最大で全ての物体分類に関連付けられた占有が１つの占有マップに表示されるように、異なる物体分類に関連付けられた占有マップを集約することを含み得る。
【0013】
追加的または代替的な技術では、占有マップが集約される前に、または占有マップが集約された後に、データ構造に閾値が適用され得る。閾値は、閾値信頼度スコア（例えば、閾値事後確率）であってもよく、閾値を適用することは、占有マップの部分に関連付けられた閾値スコアが閾値信頼度スコアを満たすまたは超える場合、占有マップの部分を環境の一部が占有されているという表示と関連付けること、或いは信頼度スコアが閾値信頼度レベルを満たさない場合（すなわち、占有マップの部分は環境の一部が占有されていないという表示と関連付けられる場合）その反対となることを含み得る。
【0014】
いくつかの例では、集約はアンサンブル学習技術を含んでもよく、占有マップのセットをデータ構造に集約することは、同じ時間に関連付けられた１つまたは複数の占有マップの対応する部分間の多数決、ベイズ平均または他の形式の平均化（および平均に閾値を適用する）、最大事後確率（例えば、最も高い事後確率を示す占有マップと同じ表示のデータ構造の部分を移入すること）、および／またはそれらと同様のものを含み得る。
【0015】
本技術は、追加的または代替的に、軌道に関連付けられた速度に少なくとも部分的に基づいて閾値距離を決定することを含み得る。例えば、閾値距離は、環境条件（例えば、勾配、道路に関連する静的係数および／または道路状態）が与えられた、車両の現在のスピードおよび／または軌道によって指定された速度での車両に関連付けられた停止距離推定値であり得る。衝突回避システムの検証コンポーネントは、物体として分類された任意のセンサーデータが、車両から閾値距離未満の距離にあるか、または予測されるか、または地面として分類された最も遠い点が閾値距離未満であるかどうかを判断し得る。いずれの場合も、検証コンポーネントは、物体または最も遠くに検出された地面が車両の閾値距離内にあるとの判断に少なくとも部分的に基づいて、車両に臨時軌道を実行、および／または軌道を再決定させ得る。検証コンポーネントが、最も近い物体が閾値距離を超えた距離にあり、地面として分類された最も遠いセンサーデータが閾値距離を超えた距離にあると決定した場合、検証コンポーネントは、軌道を検証してもよく、これは、軌道を追跡するために車両の駆動コンポーネントを作動させるための信号を生成し得るシステムコントローラに軌道を送信することを含み得る。
【0016】
追加的または代替的に、検証コンポーネントは、車両の現在の速度、軌道に関連付けられた速度、物体に関連付けられた速度、車両の現在のポーズ、および／または物体および／または地面の分類に関連付けられたセンサーデータが有効であるかどうかの判断に少なくとも部分的に基づいて、軌道を検証するか代替操舵を開始するかを決定し得る。例えば、本技術は、車両の現在の速度、ステアリング角、ステアリングレート、および／または方位が、軌道によって示される速度、ステアリング角、ステアリングレート、および／または方位に適合しているか（それぞれの閾値内にあるか）どうかを決定することを含み得る。
【0017】
本明細書で論じられる技術は、無効または危険な軌道が車両によって実行されることを防止することにより、車両の安全性を向上させ得る。少なくともいくつかの例では、そのような技術は、軌道生成コンポーネント（知覚、予測、計画など）に関連付けられた任意のシステムまたはサブシステムにおけるエラーを緩和するような方法で冗長性を提供することにより、衝突をさらに防止し得る。さらに、本技術は、従来の技術と比較して、衝突回避のために消費される計算帯域幅、メモリ、および／または電力の量を減少させ得る。また、衝突回避システムの精度は、一次知覚システムの精度よりも高くてもよく、それによって無効な軌道をフィルタリングすることにより、自律車両によって実装される軌道の全体的なエラー率を減少させ得る。
【0018】
（例示的なシナリオ）
図１は、車両１０２を含む例示的なシナリオ１００を示している。いくつかの例では、米国道路交通安全局によって発行されたレベル５の分類に従って動作するように構成された自律車両であってよく、米国道路交通安全局によって発行されたレベル５の分類は、運転者（または乗員）がいつでも車両を制御することが期待されない状態で、あらゆる進行についてすべての安全上重要な機能を実行できる車両を記述している。しかしながら、他の例では、車両１０２は、任意の他のレベル又は分類を有する完全又は部分的な自律車両であってもよい。本明細書論じられる技術は、自律車両向けのような、ロボット制御以上のものに適用され得ることが企図される。例えば、本明細書で論じられる技術は、マイニング、製造、オーグメンテッドリアリティなどに適用されてもよい。さらに、車両１０２が陸上車両として描かれているにかかわらず、車両１０２は、宇宙船、水上船、および／またはそのようなものであってもよい。いくつかの例では、車両１０２は、シミュレート車両としてシミュレーションで表現されてもよい。簡略化のため、本明細書における議論は、シミュレート車両と実世界の車両とを区別しない。したがって、「車両」への言及は、シミュレート車両および／または実世界の車両を参照し得る。
図１は、車両１０２を含む例示的なシナリオ１００を示している。いくつかの例では、米国道路交通安全局によって発行されたレベル５の分類に従って動作するように構成された自律車両であってよく、米国道路交通安全局によって発行されたレベル５の分類は、運転者（または乗員）がいつでも車両を制御することが期待されない状態で、あらゆる進行についてすべての安全上重要な機能を実行できる車両を記述している。しかしながら、他の例では、車両１０２は、任意の他のレベル又は分類を有する完全又は部分的な自律車両であってもよい。本明細書論じられる技術は、自律車両向けのような、ロボット制御以上のものに適用され得ることが企図される。例えば、本明細書で論じられる技術は、マイニング、製造、オーグメンテッドリアリティなどに適用されてもよい。さらに、車両１０２が陸上車両として描かれているにかかわらず、車両１０２は、宇宙船、水上船、および／またはそのようなものであってもよい。いくつかの例では、車両１０２は、シミュレート車両としてシミュレーションで表現されてもよい。簡略化のため、本明細書における議論は、シミュレート車両と実世界の車両とを区別しない。したがって、「車両」への言及は、シミュレート車両および／または実世界の車両を参照し得る。
【0019】
本明細書で論じられる技術によれば、車両１０２は、車両１０２のセンサー１０４からセンサーデータを受信し得る。例えば、センサー１０４は、位置センサー（例えば、全地球測位システム（ＧＰＳ）センサー）、慣性センサー（例えば、加速度センサー、ジャイロセンサー等）、磁気センサー（例えば、コンパス）、位置／速度／加速度センサー（例えば、速度計、駆動系センサー）、深度位置センサー（例えば、ライダーセンサー、レーダーセンサー、ソナーセンサー、ｔｉｍｅ ｏｆ ｆｌｉｇｈｔ（ＴｏＦ）カメラ、深度カメラ、超音波および／またはソナーセンサー、および／または他の深度感知センサー）、画像センサー（例えば、カメラ）、音声センサー（例えば、マイクロフォン）、および／または環境センサー（例えば、気圧計、湿度計等）を含み得る。
【0020】
センサー１０４は、センサーデータを生成してもよく、センサーデータは、車両１０２に関連付けられたコンピューティングデバイス１０６によって受信され得る。しかしながら、他の例では、センサー１０４および／またはコンピューティングデバイス１０６の一部または全部は、車両１０２とは別であってよく、および／または車両１０２から遠隔地に配置されてもよく、データの取り込み、処理、命令、および／または制御は、有線および／または無線ネットワークを介して、１つまたは複数の遠隔コンピューティングデバイスにより車両１０２と、或いは１つまたは複数の遠隔コンピューティングデバイスにより車両１０２から、伝達されてもよい。
【0021】
コンピューティングデバイス１０６は、知覚コンポーネント１１０、計画コンポーネント１１２、衝突回避コンポーネント１１４、および／またはシステムコントローラ１１６を格納するメモリ１０８を含み得る。例示の目的で図１に描かれているが、衝突回避コンポーネント１１４は、他のコンポーネントのいずれか１つまたは複数とは別のコンピューティングデバイス（またはその他）内／上に存在してもよいことが理解されるべきである。いくつかの例では、知覚コンポーネント１１０は、衝突回避コンポーネント１１４の一部であり得る二次知覚コンポーネントなど、他の知覚コンポーネントのうちの一次知覚コンポーネントであり得る。一般に、知覚コンポーネント１１０は、車両１０２を取り巻く環境に何があるかを決定してよく、計画コンポーネント１１２は、知覚コンポーネント１１０から受信した情報に従って、車両１０２をどのように動作させるかを決定し得る。例えば、計画コンポーネント１１２は、知覚データおよび／または、例えば１つまたは複数のマップ、位置特定情報（例えば、知覚コンポーネント１１０によって検出されたマップおよび／または特徴に対する車両１０２の環境内の位置）等の他の情報に少なくとも部分的に基づいて軌道１１８を決定し得る。軌道１１８は、コントローラ１１６が、車両１０２の駆動コンポーネントを作動させてステアリング角および／またはステアリング速度を実現するための命令を含んでよく、これにより、車両位置、車両速度、および／または車両加速度がもたらされ得る。例えば、軌道１１８は、コントローラ１１６が追跡するための目標方位、目標ステアリング角、目標ステアリングレート、目標位置、目標速度、および／または目標加速度を含み得る。知覚コンポーネント１１０、計画コンポーネント１１２、および／または衝突回避コンポーネント１１４は、１つまたは複数の機械学習（ＭＬ）モデルおよび／または他のコンピュータ実行可能な命令を含んでもよい。
【0022】
いくつかの例では、知覚コンポーネント１１０は、センサー１０４からセンサーデータを受信し、車両１０２の近傍の物体に関連付けられたデータ（例えば、検出された物体に関連付けられた分類、インスタンス分割、セマンティック分割、２次元および／または３次元境界ボックス、追跡）、車両の目的地を指定するルートデータ、道路の特性を特定するグローバルマップデータ（例えば、自律車両の定位に有用な、異なるセンサー様式で検出可能な特徴）、車両に近接して検出された特徴（例えば、建物、木、柵、消火栓、停止標識、および様々なセンサー様式で検出可能な他の任意の特徴の位置および／または範囲）等を識別するローカルマップデータなどを決定し得る。知覚コンポーネント１１０によって決定された物体分類は、例えば、乗用車、歩行者、自転車、自動車、配送トラック、セミトラック、交通標識、および／または同様のものなどの異なる物体のタイプを区別し得る。追跡は、過去、現在、および／または予測される物体の位置、速度、加速度、および／または方位を含み得る。知覚コンポーネント１１０によって生成されたデータは、知覚データと総称され得る。知覚コンポーネント１１０が知覚データを生成すると、知覚コンポーネント１１０は、知覚データを計画コンポーネント１１２に提供し得る。
【0023】
計画コンポーネント１１２は、知覚コンポーネント１１０から受信した知覚データを使用して、１つまたは複数の軌道を決定し、経路またはルートを横断するために車両１０２の動きを制御、および／またはその他の方法で車両１０２の動作を制御し得るが、任意のそのような動作は、他の種々のコンポーネントにおいて実行されてもよい（例えば、定位は、知覚データに少なくとも一部基づいてもよい定位コンポーネントによって行われてもよい）。例えば、計画コンポーネント１１２は、第１の場所から第２の場所への車両１０２の経路を決定し、実質的に同時に、かつ知覚データおよび／またはシミュレート知覚データ（そのようなデータにおいて検出された物体に関する予測をさらに含んでもよい）に少なくとも部分的に基づいて、で経路を横断するように（例えば、検出された物体のいずれかを回避するために）車両を制御するために、Ｒｅｃｅｄｉｎｇ Ｈｏｒｉｚｏｎ技術に従って車両１０２の動きを制御するための複数の潜在的な軌道を生成（例えば、１マイクロ秒、半秒）し、車両１０２の駆動コンポーネントに送信され得る駆動制御信号を生成するために使用され得る車両１０２の軌道１１８として、潜在的な軌道のうちの１つを選択し得る。図１は、方位、速度、および／または加速度を示す矢印として表される、このような軌道１１８の一例を示しているが、軌道自体は、コントローラ１１６に対する命令を含んでもよく、このコントローラは、順に、車両１０２の駆動システムを作動させ得る。
【0024】
いくつかの例では、知覚コンポーネント１１０は、１つまたは複数のＧＰＵ、ＭＬモデル、カルマンフィルタ、および／または同様のものを含み得るハードウェアおよび／またはソフトウェアのパイプラインを含み得る。いくつかの例では、知覚コンポーネント１１０は、センサーの能力、物体および／または環境のオクルージョン（例えば、建物、高低差、他の物体の前にある物体）、および／または霧、雪などの環境効果によって制限され得る、自律車両の周囲の環境のできるだけ多くを監視し得る。例えば、センサーデータは、知覚コンポーネント１１０が入力として受信し得るライダーおよび／またはレーダーデータを含み得る。知覚コンポーネント１１０は、軌道１１８を決定する際に計画コンポーネント１１２によって考慮されるべき事象または物体の挙動を考慮しないことを避けるために、できるだけ多くの物体および環境に関する情報を検出するように構成され得る。
【0025】
対照的に、衝突回避コンポーネント１１４は、センサー１０４の有効範囲内の全領域よりも小さくなり得る領域１２０を監視し得る。衝突回避コンポーネント１１４は、領域１２０に関連付けられたセンサーデータのサブセットを決定し、サブセットに少なくとも部分的に基づいて、本明細書で論じられる動作を実施し得る。例えば、例示的なシナリオでは、衝突回避コンポーネント１１４は、表現１２２の一部を含み得る領域１２０によって示される環境の部分を含むセンサーデータからなるサブセットを決定し得る。しかし、追加的または代替的な例では、衝突回避コンポーネント１１４は、知覚コンポーネント１１０と同じ領域を監視し得る。
【0026】
衝突回避コンポーネント１１４は、領域１２０に関連付けられたセンサーデータを監視し、軌道１１８が衝突しない、または衝突する可能性がないことを保証してもよい。いくつかの例では、これは、画像１２４などのセンサーデータを受信することと、本明細書でより詳細に論じるように、環境およびその中の物体のトップダウン表現を生成することとを含み得る。衝突回避コンポーネント１１４は、環境のトップダウン表現を生成し、その部分を占有または非占有であると分類する二次知覚コンポーネントを含んでもよい。いくつかの例では、衝突回避コンポーネント１１４は、占有部分が動的であるか静的であるかを追加的または代替的に決定し得る。
【0027】
衝突回避コンポーネント１１４は、追加的または代替的に、本明細書で論じられる閾値距離を決定、および／または軌道１１８を検証するか拒否するかを決定し得る検証コンポーネントを含み得る。軌道１１８を検証することは、軌道１１８をコントローラ１１６に送信することを含み得る（例えば、検証コンポーネントは、合波器、検証コンポーネントからの信号を受信すると軌道１１８を渡すスイッチとして構成された１つまたは複数のトランジスタ、および／または軌道１１８の信号をコントローラ１１６に渡すことを与える信号を提供し得る同種のものを含んでもよい）。軌道１１８を拒否することは、軌道の再決定を開始するために、および／または軌道１１８に加えて計画コンポーネント１１２から受信され、および／またはメモリ１０８に記憶され得る安全停止操舵（例えば、緊急ブレーキ、停車および駐車）などの代替操舵を開始するために計画コンポーネント１１２にメッセージを送信することを含み得る。いくつかの例では、衝突回避１１４は、本明細書においてより詳細に議論されるように、センサーの方向、および／または環境のトポロジー、および／またはセンサーデータの有効部分の下限と上限とに少なくとも部分的に基づいて、センサーデータのサブセットの少なくとも一部が有効または無効であると決定し得る。
【0028】
いくつかの例では、コントローラ１１６は、軌道１１８を追跡するのに十分な車両１０２の駆動コンポーネントを作動させるためのソフトウェアおよび／またはハードウェアを含み得る。例えば、コントローラ１１６は、１つまたは複数のＰｒｏｐｏｒｔｉｏｎａｌ－Ｉｎｔｅｇｒａｌ－Ｄｅｒｉｖａｔｉｖｅ（ＰＩＤ）コントローラを含み得る。
【0029】
（例示的なシステム）
図２は、本明細書で論じる技術を実装する例示的なシステム２００のブロック図を示している。いくつかの例では、例示的なシステム２００は、車両２０２を含んでよく、車両２０２は、図１における車両１０２を表し得る。いくつかの例では、車両２０２は、米国道路交通安全局が発行したレベル５の分類に従って動作するように構成された自律車両であってよく、米国道路交通安全局が発行したレベル５の分類は、運転者（または乗員）がいつでも車両を制御することが期待されない状態で、全進行についてすべての安全上重要な機能を実行することができる車両について述べている。しかしながら、他の例では、車両２０２は、任意の他のレベルまたは分類を有する完全または部分的に自律的な車両であり得る。さらに、いくつかの例において、本明細書で述べられる技術は、非自律型車両によっても使用可能であり得る。
図２は、本明細書で論じる技術を実装する例示的なシステム２００のブロック図を示している。いくつかの例では、例示的なシステム２００は、車両２０２を含んでよく、車両２０２は、図１における車両１０２を表し得る。いくつかの例では、車両２０２は、米国道路交通安全局が発行したレベル５の分類に従って動作するように構成された自律車両であってよく、米国道路交通安全局が発行したレベル５の分類は、運転者（または乗員）がいつでも車両を制御することが期待されない状態で、全進行についてすべての安全上重要な機能を実行することができる車両について述べている。しかしながら、他の例では、車両２０２は、任意の他のレベルまたは分類を有する完全または部分的に自律的な車両であり得る。さらに、いくつかの例において、本明細書で述べられる技術は、非自律型車両によっても使用可能であり得る。
【0030】
車両２０２は、車両コンピューティングデバイス２０４、センサー２０６、エミッタ２０８、ネットワークインターフェース２１０、および／または駆動コンポーネント２１２を含み得る。車両コンピューティングデバイス２０４は、コンピューティングデバイス１０６を表してもよく、センサー２０６は、センサー１０４を表してもよい。システム２００は、追加的または代替的に、コンピューティングデバイス２１４を含んでもよい。
【0031】
いくつかの例では、センサー２０６は、センサー１０４を表してよく、ライダーセンサー、レーダーセンサー、超音波トランスデューサ、ソナーセンサー、位置センサー（例えば、グローバルポジショニングシステム（ＧＰＳ）、コンパスなど）、慣性センサー（例えば、慣性測定ユニット（ＩＭＵ）、加速度計、磁気計、ジャイロスコープなど）、画像センサー（例えば、Ｒｅｄ－Ｇｒｅｅｎ－Ｂｌｕｅ（ＲＧＢ）、赤外線（ＩＲ）、強度、深度、ｔｉｍｅ ｏｆ ｆｌｉｇｈｔカメラなど）、マイクロフォン、ホイールエンコーダ、環境センサー（例えば、温度計、湿度計、光センサー、圧力センサーなど）等を含み得る。センサー２０６は、これらのセンサーまたは他のタイプのセンサーのそれぞれの多様なインスタンスを含み得る。例えば、レーダーセンサーは、車両２０２の角、前部、後部、側面、および／または上部に配置された個々のレーダーセンサーを含み得る。別の例として、カメラは、車両２０２の外部および／または内部に関する様々な場所に配置された多様なカメラを含み得る。センサー２０６は、車両コンピューティングデバイス２０４および／またはコンピューティングデバイス２１４に入力を提供し得る。
【0032】
車両２０２はまた、上述したように、光および／または音を発するためのエミッタ２０８を含み得る。本例におけるエミッタ２０８は、車両２０２の乗客と通信するための内部音声および内部映像のエミッタを含み得る。例示であって限定ではないが、内部エミッタは、スピーカー、ライト、サイン、ディスプレイスクリーン、タッチスクリーン、ハプティックエミッタ（例えば、振動および／またはフォースフィードバック）、機械的アクチュエータ（例えば、シートベルトテンショナ、シートポジショナ、ヘッドレストポジショナ等）等を含み得る。本例におけるエミッタ２０８は、外部エミッタも含み得る。例示であって限定ではないが、本例における外部エミッタは、進行方向または車両の動作の他の指示を知らせるためのライト（例えば、指示器、サイン、ライトアレイなど）、および歩行者または他の近くの車両と聴覚的に通信するための１つまたは複数の音声エミッタ（例えば、スピーカー、スピーカーアレイ、ホーンなど）、そのうちの１または複数のアコースティックビームステアリング技術を含むものを含む。
【0033】
車両２０２は、車両２０２と１つまたは複数の他のローカルまたはリモートコンピューティングデバイスとの間の通信を可能にするネットワークインターフェース２１０も含み得る。例えば、ネットワークインターフェース２１０は、車両２０２および／または駆動コンポーネント２１２上の他のローカルコンピューティングデバイスとの通信を円滑にし得る。また、ネットワークインターフェース２１０は、追加的または代替的に、車両が他の近くのコンピューティングデバイス（例えば、他の近くの車両、交通信号など）と通信することを与えてもよい。ネットワークインターフェース２１０は、追加的にまたは代替的に、車両２０２がコンピューティングデバイス２１４と通信することを可能にしてもよい。いくつかの例では、コンピューティングデバイス２１４は、分散コンピューティングシステム（例えば、クラウドコンピューティングアーキテクチャ）の１つまたは複数のノード含み得る。
【0034】
ネットワークインターフェース２１０は、車両コンピューティングデバイス２０４を別のコンピューティングデバイスまたはネットワーク２１６などのネットワークに接続するための物理的および／または論理的インターフェースを含み得る。例えば、ネットワークインターフェース２１０は、ＩＥＥＥ２００．１１規格によって定義された周波数を介したようなＷｉ－Ｆｉベースの通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの短距離無線周波数、セルラー通信（例えば、２Ｇ、３Ｇ、４Ｇ、４Ｇ ＬＴＥ、５Ｇなど）或いはそれぞれの演算装置が他の演算装置とインターフェースすることを可能にする任意の適切な有線または無線通信プロトコルを可能にし得る。いくつかの例では、車両コンピューティングデバイス２０４および／またはセンサー２０６は、ネットワーク２１６を介して、特定の周波数で、所定の期間の経過後に、ほぼリアルタイムで、コンピューティングデバイス２１４にセンサーデータを送信する等し得る。
【0035】
いくつかの例において、車両２０２は、１つまたは複数の駆動コンポーネント２１２を含み得る。いくつかの例では、車両２０２は、単一の駆動コンポーネント２１２を有していてもよい。いくつかの例では、駆動コンポーネント２１２は、駆動コンポーネント２１２および／または車両２０２の周囲の状態を検出するための１つまたは複数のセンサーを含んでもよい。限定ではなく例として、駆動コンポーネント２１２のセンサーは、駆動構成要素のホイールの回転を感知する１つまたは複数のホイールエンコーダ（例えば、ロータリーエンコーダ）、駆動コンポーネントの方向および加速度を測定する慣性センサー（例えば、慣性測定ユニット、加速度計、ジャイロスコープ、磁気計など）、カメラまたは他の画像センサー、駆動コンポーネントの周囲にある物を音響的に検出する超音波センサー、ライダーセンサー、レーダーセンサー等を含み得る。ホイールエンコーダなどのいくつかのセンサーは、駆動コンポーネント２１２に固有のものであり得る。場合によっては、駆動コンポーネント２１２上のセンサーは、車両２０２の対応するシステム（例えば、センサー２０６）と重畳、または補足してよい。
【0036】
駆動コンポーネント２１２は、高電圧バッテリー、車両を推進するモーター、バッテリーからの直流を他の車両システムで使用するための交流に変換するインバータ、ステアリングモーターおよびステアリングラック（電気であり得る）を含むステアリングシステム、油圧または電気アクチュエータを含むブレーキシステム、油圧および／または空気圧コンポーネントを含むサスペンションシステム、牽引力の損失を緩和し制御を維持するためのブレーキ力を分配する安定制御システム、ＨＶＡＣシステム、照明（例えば、車両の外部周辺を照らすヘッド／テールライトなどの照明）、および１つまたは複数の他のシステム（例えば、冷却システム、安全システム、車載充電システム、ＤＣ/ＤＣコンバータ、高電圧ジャンクション、高電圧ケーブル、充電システム、充電ポートなど）を含む、多数の車両システムを含み得る。さらに、駆動コンポーネント２１２は、センサーからデータを受信して前処理し、様々な車両システムの動作を制御するための駆動コンポーネントコントローラを含んでもよい。いくつかの例では、駆動コンポーネントコントローラは、１つまたは複数のプロセッサと、１つまたは複数のプロセッサと通信可能に接続されたメモリとを含み得る。メモリは、駆動コンポーネント２１２の様々な機能を実行するための１つまたは複数のコンポーネントを格納し得る。さらに、駆動コンポーネント２１２は、それぞれの駆動コンポーネントによる１つまたは複数の他のローカルまたはリモートコンピューティングデバイスとの通信を可能にする、１つまたは複数の通信接続を含んでもよい。
【0037】
車両コンピューティングデバイス２０４は、プロセッサ２１８と、１つまたは複数のプロセッサ２１８と通信可能に接続されたメモリ２２０と、を含み得る。メモリ２２０は、メモリ１０８を代表してもよい。コンピューティングデバイス２１４は、プロセッサ２２２、および／またはメモリ２２４も含み得る。プロセッサ２１８および／または２２２は、データを処理し、本明細書で述べられる動作を実施するための命令を実行することができる任意の適切なプロセッサであり得る。限定ではなく例として、プロセッサ２１８および／または２２２は、１つまたは複数の中央処理装置（ＣＰＵ）、グラフィック処理装置（ＧＰＵ）、集積回路（例えば、Ａｐｐｌｉｃａｔｉｏｎ－Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ（ＡＳＩＣ））、ゲートアレイ（例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ））、および／または電子データを処理して、電子データをレジストリおよび／またはメモリに格納することができる他の電子データへ変形する任意の他のデバイスまたはデバイスの部分を含み得る。
【0038】
メモリ２２０および／または２２４は、非一時的コンピュータ可読媒体の例であり得る。メモリ２２０および／または２２４は、本明細書で述べられる方法および様々なシステムに帰属する機能を実装するためのオペレーティングシステムおよび１つまたは複数のソフトウェアアプリケーション、命令、プログラム、および／またはデータを格納し得る。様々な実装において、メモリは、Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＳＲＡＭ）、Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｍ（ＳＤＲＡＭ）、不揮発性／フラッシュ型メモリ、または情報を格納できる他の任意のタイプのメモリなど、任意の適切なメモリ技術を用いて実装され得る。本明細書で述べられるアーキテクチャ、システム、および個々の要素は、他の多くの論理的、プログラム的、および物理的なコンポーネントを含んでよく、そのうちの添付の図に示されるものは、本明細書の議論に関連する単なる例である。
【0039】
いくつかの例では、メモリ２２０および／またはメモリ２２４は、定位コンポーネント２２６、知覚コンポーネント２２８、計画コンポーネント２３０、衝突回避コンポーネント３３２、マップ２３４、および／またはシステムコントローラ２３６を格納し得る。知覚コンポーネント２２８は、知覚コンポーネント１１０を代表してもよく、計画コンポーネント２３０は計画コンポーネント１１２を代表してもよく、および／または衝突回避コンポーネント３３２は衝突回避コンポーネント１１４を代表してもよい。
【0040】
少なくとも１つの例では、定位コンポーネント２２６は、センサー２０６からデータを受信し、車両２０２の位置、速度、および／または方向（例えば、ｘ、ｙ、ｚ位置、ロール、ピッチ、またはヨーのうちの１つまたは複数）を決定するハードウェアおよび／またはソフトウェアを含み得る。例えば、定位コンポーネント２２６は、環境のマップ２３４を含む、および／または要求／受信してよく、マップ２３４内の自律車両の位置、速度、および／または方位を継続的に決定することができる。いくつかの例では、定位コンポーネント２２６は、ＳＬＡＭ（同時の定位およびマッピング）、ＣＬＡＭＳ（同時のキャリブレーション、定位およびマッピング）、相対的なＳＬＡＭ、バンドル調整、非線形最小二乗最適化などを利用して、画像データ、ライダーデータ、レーダーデータ、ＩＭＵデータ、ＧＰＳデータ、ホイールエンコーダデータなどを受信し、自律車両の位置、ポーズ、および／または速度を正確に決定し得る。いくつかの例では、定位コンポーネント２２６は、本明細書で論じられるように、軌道を生成するため、および／またはマップデータを生成するための自律車両の初期位置を決定するために、車両２０２の様々なコンポーネントにデータを提供し得る。いくつかの例では、定位コンポーネント２２６は、衝突回避コンポーネント３３２に、環境に対する車両２０２の位置および／または方向、および／またはそれに関連付けられたセンサーデータを提供し得る。
【0041】
いくつかの例では、知覚コンポーネント２２８は、ハードウェアおよび／またはソフトウェアで実装された一次知覚システムおよび／または予測システムを含み得る。知覚コンポーネント２２８は、車両２０２を取り巻く環境における物体を検出（例えば、物体が存在することを識別）し、物体を分類（例えば、検出された物体に関連付けられた物体のタイプを決定）し、センサーデータおよび／または環境の他の表現をセグメント化（例えば、検出された物体および／または物体のタイプに関連するものとしてセンサーデータおよび／または環境の表現の一部を識別）し、物体に関連付けられた特性（例えば、物体に関連付けられた現在、予測、および／または以前の位置、方位、速度、および／または加速度を識別する追跡）、および／または同様のものを判断し得る。知覚コンポーネント２２８によって決定されたデータは、知覚データと呼ばれる。
【0042】
計画コンポーネント２３０は、定位コンポーネント２２６から車両２０２の位置および／または方向、および／または知覚コンポーネント２２８から知覚データを受信してもよく、このデータのいずれかに少なくとも部分的に基づいて、車両２０２の動作を制御するための命令を決定してもよい。いくつかの例では、命令を決定することは、命令が関連付けられるシステムに関連付けられるフォーマットに少なくとも部分的に基づいて命令を決定することを含んでよい（例えば、自律車両の動作を制御するための第１の命令は、システムコントローラ２３６および／または駆動コンポーネント２１２が解析／実行させ得るメッセージ及び／又は信号（例えば、アナログ、デジタル、空気圧、運動）の第１の方式でフォーマットされて得る、エミッタ２０８の第２の命令はそれに関連付けられる第２の方式に従ってフォーマットされてよい）。
【0043】
衝突回避コンポーネント２３２は、車両２０２上および／またはコンピューティングデバイス２１４上で動作し得る。いくつかの例では、衝突回避コンポーネント２３２は、パイプラインで計画コンポーネント２３０から下流（出力を受信する）であり得る。衝突回避コンポーネント３３２は、本明細書で論じられる決定に応じて、計画コンポーネント２３０の出力の全て、一部、または全てを、実装のためにシステムコントローラ２３６に渡すように構成され得る。いくつかの例では、衝突回避コンポーネント２３２は、軌道の再決定をトリガーするフラグまたはメッセージなど、計画コンポーネント２３０に入力を提供するためのフィードバックループを含み得る。
【0044】
メモリ２２０および／または２２４は、追加的または代替的に、マッピングシステム（例えば、少なくとも部分的にセンサーデータに基づいてマップを生成すること）、計画システム、乗車管理システム等を格納し得る。定位コンポーネント２２６、知覚コンポーネント２２８、計画コンポーネント２３０、衝突回避コンポーネント２３２、マップ２３４、および／またはシステムコントローラ２３６は、メモリ２２０に格納されるものとして図示されているが、これらのコンポーネントのいずれかが、プロセッサ実行可能命令、機械学習モデル（例えば、ニューラルネットワーク）、および／またはハードウェアを含んでもよく、これらのコンポーネントのいずれかの全てまたは一部がメモリ２２４上に格納されても、コンピューティングデバイス２１４の一部としても構成されてもよい。
【0045】
本明細書で述べられるように、システム２００の定位コンポーネント２２６、知覚コンポーネント２２８、計画コンポーネント２３０、および／または他のコンポーネントは、１つまたは複数のＭＬモデルを含み得る。例えば、定位コンポーネント２２６、知覚コンポーネント２２８、および／または計画コンポーネント２３０は、それぞれ、異なるＭＬモデルパイプラインを含んでよい。いくつかの例では、ＭＬモデルはニューラルネットワークを含み得る。例示的なニューラルネットワークは、出力を生成するために一連の接続された層を、入力データを通過させる生物学的にインスパイアされたアルゴリズムである。ニューラルネットワークの各層は、別のニューラルネットワークを含むこともでき、或いは任意の数の層（畳み込みであるか否かにかかわらず）を含むこともできる。本開示のコンテキストで理解されることができるように、ニューラルネットワークは、機械学習を利用することができ、これは、学習されたパラメータに基づいて出力が生成される、そのようなアルゴリズムの広範なクラスを指すことができる。
【0046】
ニューラルネットワークのコンテキストで論じられているが、本開示と一致する任意のタイプの機械学習が使用されることができる。例えば、機械学習アルゴリズムは、回帰アルゴリズム（例えば、通常の最小二乗回帰（ＯＬＳＲ）、線形回帰、ロジスティック回帰、ステップワイズ回帰、多変量適応回帰スプライン（ＭＡＲＳ）、局所的に重み付けされた散布図平滑化（ＬＯＥＳＳ））、インスタンスベースのアルゴリズム（例えば、リッジ回帰、最小絶対縮退選択演算子(ＬＡＳＳＯ)、弾性ネット、最小角回帰(ＬＡＲＳ))、決定木アルゴリズム(例えば、分類回帰木（ＣＡＲＴ）、反復二分木３（ＩＤ３）、カイ二乗自動相互作用検出（ＣＨＡＩＤ）、決定スタンプ、条件付き決定木）、ベイジアンアルゴリズム（例えば、ナイーブベイズ、ガウスナイーブベイズ、多項ナイーブベイズ、平均一従属性分類器（ＡＯＤＥ）、ベイジアンビリーフネットワーク（ＢＮＮ）、ベイジアンネットワーク）、クラスタリングアルゴリズム（例えば、ｋ－ｍｅａｎｓ、ｋ－ｍｅｄｉａｎｓ、期待値最大化（ＥＭ）、階層型クラスタリング）、相関ルール学習アルゴリズム（例えば、パーセプトロン、バックプロパゲーション、ホップフィールドネットワーク、Ｒａｄｉａｌ Ｂａｓｉｓ Ｆｕｎｃｔｉｏｎ Ｎｅｔｗｏｒｋ（ＲＢＦＮ））、深層学習アルゴリズム（Ｄｅｅｐ Ｂｏｌｔｚｍａｎｎ Ｍａｃｈｉｎｅ（ＤＢＭ）、Ｄｅｅｐ Ｂｅｌｉｅｆ Ｎｅｔｗｏｒｋｓ（ＤＢＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、Ｓｔａｃｋｅｄ Ａｕｔｏ－Ｅｎｃｏｄｅｒｓ）、次元削減アルゴリズム（例えば、主成分分析（ＰＣＡ）、主成分回帰（ＰＣＲ）、部分最小二乗回帰（ＰＬＳＲ）、サモンマッピング、多次元尺度法（ＭＤＳ）、Ｐｒｏｊｅｃｔｉｏｎ Ｐｕｒｓｕｉｔ、線形判別分析（ＬＤＡ）、混合判別分析（ＭＤＡ）、二次判別分析（ＱＤＡ）、フレキシブル判別分析（ＦＤＡ））、アンサンブルアルゴリズム（例えば、Ｂｏｏｓｔｉｎｇ、Ｂｏｏｔｓｔｒａｐｐｅｄ Ａｇｇｒｅｇａｔｉｏｎ(Ｂａｇｇｉｎｇ)、ＡｄａＢｏｏｓｔ、Ｓｔａｃｋｅｄ Ｇｅｎｅｒａｌｉｚａｔｉｏｎ(Ｂｌｅｎｄｉｎｇ)、Ｇｒａｄｉｅｎｔ Ｂｏｏｓｔｉｎｇ Ｍａｃｈｉｎｅｓ(ＧＢＭ)、Ｇｒａｄｉｅｎｔ Ｂｏｏｓｔｅｄ Ｒｅｇｒｅｓｓｉｏｎ Ｔｒｅｅｓ(ＧＢＲＴ)、Ｒａｎｄｏｍ Ｆｏｒｅｓｔ)、ＳＶＭ(Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ)、教師あり学習、教師なし学習、半教師あり学習、などを含むことができるが、これらに限定はされない。アーキテクチャの追加例は、ＲｅｓＮｅｔ５０、ＲｅｓＮｅｔ１０１、ＶＧＧ、ＤｅｎｓｅＮｅｔ、ＰｏｉｎｔＮｅｔなどのニューラルネットワークを含む。
【0047】
メモリ２２０は、追加的または代替的に、１つまたは複数のシステムコントローラ２３６を格納してよく、これらは車両２０２のステアリング、推進、ブレーキ、安全、エミッタ、通信、および他のシステムを制御するように構成され得る。これらのシステムコントローラ２３６は、駆動コンポーネント２１２および／または車両２０２の他のコンポーネントの対応するシステムと通信し、および／または制御し得る。例えば、計画コンポーネント２３０は、知覚コンポーネント２２８によって生成された知覚データに少なくとも部分的に基づいて命令を生成してもよく、この命令は、衝突回避コンポーネント３３２が検証、および／またはシステムコントローラ２３６に送信し得る。システムコントローラ２３６は、計画コンポーネント２３０および／または衝突回避コンポーネント３３２から受信した命令に少なくとも部分的に基づいて、車両２０２の動作を制御し得る。いくつかの例では、衝突回避コンポーネント３３２は、計画コンポーネント２３０によって生成された命令を、例えば、安全停止操舵、緊急ブレーキ、車両の減速などの代替操舵に関連付けられた臨時の軌道と置き換え得る。
【0048】
図２は分散システムとして図示されているが、代替例では、車両２０２のコンポーネントがコンピューティングデバイス２１４と関連付けられてもよく、および／またはコンピューティングデバイス２１４のコンポーネントが車両２０２と関連付けられてもよいことが留意されるべきである。すなわち、車両２０２は、コンピューティングデバイス２１４に関連付けられた機能のうちの１つまたは複数を実行してもよく、その逆もまた然りである。
【0049】
（例示的なアーキテクチャ）
図３は、衝突回避コンポーネントの少なくとも一部の例示的なアーキテクチャ３００を示す図である。いくつかの例では、例示的なアーキテクチャ３００は、ＭＬモデル３１４（１）～（ｎ）（ｎは正の整数）を含み得る。いくつかの例では、数のＭＬモデル３０２（１）～（ｎ）は、受信したセンサーデータに関連付けられたセンサータイプの数に対応してもよく、ＭＬモデル３０２（１）～（ｎ）は、異なるタイプのセンサーデータを入力として受信するように訓練され得る。例えば、第１のＭＬモデル３１４（１）は、可視光画像データ３０４に基づく出力を生成するように訓練されてもよく、一方、ｎ番目のＭＬモデル３０２（ｎ）は、ライダーデータ３０６に基づく出力を生成するように訓練されてもよい。例えば、画像データ３０４は、１つまたは複数のカメラから受信された画像を含んでもよい。いくつかの例では、画像データ３０４は、追加または代替の視野が企図されるが、少なくとも一例では、互いに３６０°の視野を差し引くことができる、異なる視野を有する多様なカメラから受信した画像を含んでよい（例えば、より少ない視野、非連続である全視野、連続である全視野など）。画像データ３０４は、単一のセンサーによって生成された画像を描いているが、画像データ３０４は、追加的または代替的に、時間ｔ＝０からｔ＝－ｍまで、多様なセンサーによって生成された画像データを含み得ることに留意されたい。
図３は、衝突回避コンポーネントの少なくとも一部の例示的なアーキテクチャ３００を示す図である。いくつかの例では、例示的なアーキテクチャ３００は、ＭＬモデル３１４（１）～（ｎ）（ｎは正の整数）を含み得る。いくつかの例では、数のＭＬモデル３０２（１）～（ｎ）は、受信したセンサーデータに関連付けられたセンサータイプの数に対応してもよく、ＭＬモデル３０２（１）～（ｎ）は、異なるタイプのセンサーデータを入力として受信するように訓練され得る。例えば、第１のＭＬモデル３１４（１）は、可視光画像データ３０４に基づく出力を生成するように訓練されてもよく、一方、ｎ番目のＭＬモデル３０２（ｎ）は、ライダーデータ３０６に基づく出力を生成するように訓練されてもよい。例えば、画像データ３０４は、１つまたは複数のカメラから受信された画像を含んでもよい。いくつかの例では、画像データ３０４は、追加または代替の視野が企図されるが、少なくとも一例では、互いに３６０°の視野を差し引くことができる、異なる視野を有する多様なカメラから受信した画像を含んでよい（例えば、より少ない視野、非連続である全視野、連続である全視野など）。画像データ３０４は、単一のセンサーによって生成された画像を描いているが、画像データ３０４は、追加的または代替的に、時間ｔ＝０からｔ＝－ｍまで、多様なセンサーによって生成された画像データを含み得ることに留意されたい。
【0050】
追加または代替のＭＬモデルは、レーダーリターン（例えば、点群内で識別され得る）、熱画像（例えば、赤外線画像）、ソナーデータ、および／または同様な、追加または代替のセンサータイプに関連するセンサーデータに少なくとも部分的に基づいて出力を生成するように訓練され得る。当然、いくつかの例では、１つまたは複数の様式が単一のＭＬモデルに入力されてもよい（例えば、ライダー、レーダー、またはカメラデータのうちの任意の１つまたは複数の方式（生、トップダウン等）で単一のモデルに入力されてもよい）。いくつかの例では、ＭＬモデル３０２（１）～（ｎ）の入力として提供されるセンサーデータは、直近の時間（すなわち、ｔ＝０）および／または１つまたは複数の以前の時間と関連付けられ得る。例えば、センサーデータは、図３において３０８で描かれているように、直近の時間から過去の時間、－ｍまでの範囲であり得る。上記の例のいずれかにおいて、そのようなシステムで使用されるセンサーデータは、知覚および予測動作（本明細書で述べられるような）に関して使用されるセンサーデータと同じ、そのサブセットである、または異なるものであってよい。追加または代替の例では、ＭＬモデルが図３に描かれ、本明細書で論じられているが、追加のまたは代替のアルゴリズムが使用されてもよいことが理解される。
【0051】
少なくとも一例では、画像データは第１のＭＬモデルへの入力として提供されてもよく、ライダーデータおよび／またはレーダーデータは第２のＭＬモデルへの入力として提供されてもよいが、追加または代替の例では、ライダーデータは第２のＭＬモデルへ提供されてもよく、レーダーデータは第３のＭＬモデルへの入力として提供されてもよい。いくつかの例では、ライダーデータは、占有度の二値表示（例えば、環境の一部に関連付けられ得たライダー空間の離散的な部分にライダー点が存在するという表示）、ライダー点の密度（例えば、ライダー空間に関連付けられたグリッドセル内のすべてのライダー点の対数正規化密度）、最大ｚ値（例えば、所定のグリッドセル内のライダー点の最大の高さの値）、および／またはスライスされた最大ｚ値（例えば、ｎ個の線形スライスにわたる各グリッドセルの最大の高さの値、例えば、０～０．５メートル、・・・、２～２．５メートル（ここでｎは、３、５、６、７などの正の整数））である。いくつかの例では、ライダーデータは、車両を中心とするトップダウン参照フレームに投影され得る。上述の特徴は、訓練の目的のために、チャネル次元に沿って積み重ねられてもよい。例えば、チャネル次元は、幅ｗ、および高さ、ｈを有してもよく、入力フレームに含まれるライダー特徴の数はｐであってもよく、入力フレームの数はｉであってもよい（ここで、ｗ、ｈ、ｐ、及びｉは正の整数であり得る）。例えば、上述したように、現在の時刻から以前の時刻（－ｍ）までの多様なフレームが存在してもよい。
【0052】
いくつかの例では、レーダーデータは、本明細書で論じられるＭＬモデルへの入力として提供され得る。レーダーデータは、二値レーダー占有率（例えば、環境の一部と関連付けられ得るレーダー空間の離散的な部分にレーダー点が存在することの表示）、車両の動きに対して補償され得るレーダーリターンのドップラー速度に対するｘ値および／またはｙ値、レーダー断面積（ＲＣＳ）、信号ノイズ比（ＳＮＲ）、および／または曖昧なドップラー間隔を含み得るが、追加または代替のレーダーのメトリックが使用されてもよい。いくつかの例では、多様なレーダーリターンがレーダー空間内の同じグリッドセル内に入る場合、多様なリターンの中から最大ＲＣＳおよび／またはＳＮＲが選択されてもよく、および／または速度および速度間隔のペアのうちの１つが選択されてもよい。いくつかの例では、レーダー点は、車両を中心とするトップダウン基準フレームに投影されてもよい。本明細書で論じられるようなレーダー特徴は、上記で論じられるようなライダーデータと同様に、チャネル次元に沿って積層されてもよい。
【0053】
いくつかの例では、ＭＬモデル３０２（１）～（ｎ）はそれぞれ、占有マップ３１０（１）～（ｎ）のセットを出力するように訓練され得る。占有マップ３１０(ｎ)のセットは、１つまたは複数の占有マップを含み得る。いくつかの例では、占有マップ３１０（ｎ）のセットは、少なくとも、センサーデータが受信された直近の時間または直近の時間の後の将来の時間に関連付けられた占有マップを含んでよく、これらのいずれかは、現在の占有マップと呼ばれ得る。追加または代替の例では、占有マップ３１０（ｎ）のセットは、将来の時間ｑ（正の数）に関連付けられた占有マップ、および／または直近の時間から将来の時間までの１つまたは複数の占有マップを含み得る。例えば、ＭＬモデルによって生成された占有マップは、間隔－例えば５００ミリ秒の間隔で、t＝０秒からt＝２秒までの５つの占有マップでｑ番目の時間までの現在の（直近または直近の後の）時間に関連付けられた占有マップを含み得る。いくつかの例では、ＭＬモデル３０２（１）～（ｎ）は、それぞれ、同じ時間に関連付けられた同じ数の占有マップを出力するように訓練されてもよい。
【0054】
占有マップは、環境の一部が占有されているか占有されていないか、占有されている部分が静的か動的か、および／または信頼度スコア（例えば、部分が占有されているか占有されていないかの可能性／事後確率）を示すデータ構造で在り得る。少なくとも１つの例において、占有マップは、信頼度スコアのフィールドを含み得るが、図３は、占有マップを環境の占有部分を黒で、環境の非占有部分を白で二値的に示すものとして描いている。例えば、占有マップの異なるピクセルは、環境の異なる部分に関連付けられてよく、各ピクセルは、環境のそれぞれの部分が占有／非占有される可能性を示す信頼度スコアを示し得る。
【0055】
いくつかの例では、データ構造の離散的な部分は、環境の一部と関連付けられ得る。離散的な部分は、例えば、ピクセル、メモリ内の位置、および／またはそのようなものであり得る。ＭＬモデルによって生成された占有マップおよび／または異なるモデルによって生成された占有マップは、２つの異なる占有マップの同じ離散的な部分（例えば、同じピクセル位置、同じメモリ位置のそれぞれ）が環境の同じ部分に対応し得るように、同じ参照フレームを含み得る。いくつかの例では、この占有マップの位置合わせは訓練され得る－センサーデータは事前に位置合わせされる必要はないが、いくつかの例では、位置合わせされてもよい。一例を挙げると、占有マップはすべて、自律車両を中心とした環境の同じ３０メートル×３０メートルの領域に関連付けられてもよい。追加または代替の例では、占有マップは、ＭＬモデル３０２（１）～（ｎ）によって生成された後に、後処理ステップとして位置合わせされてもよい。
【0056】
いくつかの例では、異なるＭＬモデルによって生成された占有マップ３１０のセットは、集約コンポーネント３１２によって、単一のデータ構造へと集約されてもよく、これは占有マップ３１４のセットを含み得る。集約コンポーネント３１２は、異なる占有マップ３１４のセットの中から、その同じ時間に関連付けられた占有マップに少なくとも部分的に基づいて、（特定の時間に）環境の一部が占有されているか占有されていないか、および／または動的か静的かについての最終推定を決定し得る。例えば、ｔ＝０に関連付けられた占有マップは、単一の占有マップに集約されてもよく、ｔ＝０．５に関連付けられた占有マップは、単一の占有マップに集約されてもよく、ｔ＝ｑまで継続してもよい。
【0057】
いくつかの例では、占有マップのセット３１４は、環境の一部が占有されているか、または占有されていないかの二値表示を含み得る。別の例では、占有マップ３１４のセットは、追加的または代替的に、信頼度スコア（例えば、確率または可能性）を含み得る。集約コンポーネント３１２は、本明細書で論じられる技術のいずれかに従って、同じ時間に関連付けられた占有マップ間の投票および／または平均化技術に少なくとも部分的に基づいて、占有マップ３１０（１）～（ｎ）のセットを集約し得る。
【0058】
少なくとも１つの例では、同じ時間ステップに関連付けられた占有マップを集約することは、様式の次元にわたって（例えば、異なるＭＬモデル（１）～（ｎ）の出力にわたって）ソフトマックス値に集約関数を適用することを含み得る。集約関数は、平均、優先順位プーリング、および／または同様のものを含み得る。優先順位プーリングは、異なる物体のタイプの占有に関連付けられた優先順位を設定することを含んでもよい。例えば、歩行者物体分類に関連付けられた占有部は、最も高い優先度を有してよく、自転車および／または自動車は、次に高い優先度を有してよく、次に低い優先度を有し得る車両が続き、背景／地面は、最も低い優先度を有してよい。２つの異なるＭＬモデルの出力がピクセル分類について同意しない場合（例えば、１つのＭＬモデルがピクセルを歩行者によって占有されていると分類するのに対し、別のＭＬモデルはピクセルを地面として分類する）、技術は、より高い優先度に関連付けられた出力を選ぶことを含んでよく、所定の例では、歩行者物体分類が地面よりも高い優先度を有するので、ピクセルを歩行者に関連付けることになり得る。同点は、その物体分類のソフトマックス値のより大きな大きさに関連付けられたピクセルを決定することによって解決され得る。
【0059】
いくつかの例では、閾値は、占有マップ３１４のセット（例えば、集約後）または占有マップ３１０（１）～（ｎ）のセット（例えば、集約前）に適用され得る。例えば、占有マップに閾値を適用することは、占有マップの部分に関連付けられた信頼度スコアが信頼度閾値を満たすかまたは超えるという判断に少なくとも部分的に基づいて、占有マップの部分をそれに関連付けられた環境の部分が占有されているという表示と関連付けることを決定することを含み得る。反対に、占有マップの部分は、信頼度スコアが信頼度閾値未満であると決定することに少なくとも部分的に基づいて、環境の部分が占有されていないことを示す表示に関連付けられ得る。
【0060】
集約前に占有マップ３１０（１）～（ｎ）のセットに閾値が適用される例では、集計から生じる占有マップ３１４のセットは、環境のそれぞれの部分が占有または非占有であるという二値表示を含んでいてもよい。いくつかの例では、集約された信頼度スコアは、追加的にバイナリ表示に関連付けられ得る。いくつかの例では、ＭＬモデル３０２（１）～（ｎ）の異なるものは、それに関連付けられた異なるセンサータイプに少なくとも部分的に基づいて、異なる信頼度閾値と関連付けられ得る。
【0061】
集約前に閾値が適用されない別の例では、集計から生じる占有マップ３１４のセットは、信頼度スコアのフィールドを含んでよく、信頼度スコアに閾値を適用すると、環境の占有部分および非占有部分の二値表示をもたらし得る。いくつかの例では、閾値を適用することは、集約の一部であってもよい（例えば、投票および／または平均化技術の一部であってもよい）。
【0062】
いくつかの例では、信頼度スコア閾値の値は、少なくとも部分的に、ターゲット偽陽性および／またはターゲット偽陰性率に基づいて設定され得る。信頼度スコア閾値は、テストセンサデータ上でＭＬモデル３０２（１）～（ｎ）を実行することに少なくとも部分的に基づいて設定され得る。
【0063】
（例示的なプロセス）
図４は、自律車両の計画コンポーネントによって出力された軌道を検証するための例示的なプロセス４００の絵画的フロー図である。いくつかの例では、例示的なプロセス４００は、自律車両の動作中に少なくとも衝突回避コンポーネントによって実行され得る。
図４は、自律車両の計画コンポーネントによって出力された軌道を検証するための例示的なプロセス４００の絵画的フロー図である。いくつかの例では、例示的なプロセス４００は、自律車両の動作中に少なくとも衝突回避コンポーネントによって実行され得る。
【0064】
動作４０２～４０６は、異なる処理パイプラインによって実行され得る。例えば、ｎ個の処理パイプラインが存在してもよく、ここでｎは、衝突回避システムによって使用されるセンサデータタイプの数に対応し得る正の整数である。個々の処理パイプラインは、本明細書で論じられるように、一組の占有マップを決定するためのＭＬモデルおよび／または他のアルゴリズムを含んでもよい。ＭＬモデルは、他のパイプラインのＭＬモデルとは独立して訓練されてもよい。明確性のために、動作４０２～４０６の参照番号は、動作４０２～４０６が少なくとも単一のパイプラインによって実行されてもよいので、図中に現れる親文字の数字を省いている。
【0065】
動作４０２において、例示的なプロセス４００は、本明細書で論じられる技術のいずれかに従って、センサータイプに関連付けられたセンサーデータを受信することを含み得る。例えば、センサーデータは、ライダーデータ、レーダーデータ、赤外線画像データ、ビジュアル画像データ、ソナーデータ、および／または同様のものを含み得る。いくつかの例では、異なるパイプラインが異なるタイプのセンサーデータを受信してもよい。第１のパイプラインはライダーデータを受信してもよく、ｎ番目のパイプラインはレーダーデータを受信してもよく、等々である。ＭＬモデルは、追加または代替の例において、単一のデータタイプまたは多様なデータタイプを受信するように訓練されてもよいことが理解される。
【0066】
動作４０４において、例示的なプロセス４００は、本明細書で論じられる技術のいずれかに従って、センサーデータをＭＬモデルに入力することを含み得る。いくつかの例では、動作４０４は、追加的または代替的に、衝突回避システムが監視する領域外のセンサーデータを除去するために、センサーデータを前処理すること、異なるタイプのセンサーデータと共通する参照フレームにセンサーデータを投影すること、センサーデータの密度を正規化すること、閾値高さ以上のセンサーデータを除去することなどを含み得る。
【0067】
動作４０６において、例示的なプロセス４００は、本明細書で論じられる技術のいずれかに従って、ＭＬモデルからの出力として、少なくとも予測された占有マップを受信することを含み得る。予測された占有マップは、環境の部分が将来の時間に占有されている／されていない可能性を示す部分を含み得る。いくつかの例では、動作４０６は、追加的または代替的に、１つまたは複数の追加の占有マップを受信することを含み得る。例えば、追加の占有マップは、将来の時間から、センサーデータが受信された直近の時間までの間隔の時間（例えば、２秒から０秒までの間隔）に関連付けられ得る。追加の占有マップは、センサーデータが受信された直近の時間、またはそれに続く時間（例えば、２５０ミリ秒後、５００ミリ秒後）に関連付けられた現在のマップを含み得る。
【0068】
図５Ａは、それぞれが同じ未来の時間ｑに関連付けられ、異なるパイプラインから受信されてよい例示的な占有マップ５００～５０４を描いている。例えば、占有マップ５００は第１のパイプラインから受信されてよく、占有マップ５０２は第２のパイプラインから受信されてよく、占有マップ５０４は第ｎのパイプラインから受信されてよい。占有マップ５０６～５１０は、異なる集約技術および／または閾値に従って集約された占有マップの例である。占有マップ５００～５１０はそれぞれ、正方形として描かれた多様な部分を含み、各部分は、車両を取り巻く環境のそれぞれの部分と関連付けられる。例えば、占有マップ５００～５１０の各々は、部分５１２および部分５１４を含む。なお、簡単のために、実際には部分は異なるメモリ位置またはピクセルであり得るが、占有マップ内の同じ相対位置に位置すること、または環境の同じ部分に対応することによって、同じ部分であると言うこととする。
【0069】
図５Ａは、信頼度スコアを異なる色合いのグレーで描いており、ここで、白は０．３９未満の信頼度スコア、明るいグレーは０．４と０．５９の間の信頼度スコア、中間のグレーは０．６と０．７９の間の信頼度スコア、暗いグレーは０．８と１．０との間の信頼度スコアを示す。これらのスコアは例示のためだけに与えられ、信頼度スコアの範囲も専ら例示のためであることが理解される－追加または代替の例は、異なるタイプのスコア（例えば、パーセント、比）および／または異なる範囲を含み得る。換言すれば、白は、それに関連付けられた環境の部分が占有されていない高い可能性を示し、濃い灰色は、それに関連付けられた環境の部分が占有されている高い可能性を示す。
【0070】
動作４０８において、例示的なプロセス４００は、本明細書で論じられる技術のいずれかに従って、占有マップをデータ構造に集約することを含み得る。いくつかの例では、集約は、異なるパイプラインによって生成され、同じ時間に関連付けられた占有マップを１つの占有マップに集約することを含み得る。これは、異なる占有マップが関連付けられている時間ごとに繰り返されてもよい。例えば、動作４０８は、第１のＭＬモデルによって出力され、第１の時間に関連付けられた第１の占有マップと、第２のＭＬモデルによって出力され、第１の時間に関連付けられた第２の占有マップとを第１の集約された占有マップに集約すること、および異なるパイプラインによって占有マップが決定される後続の時間ステップに対して集約することを含んでもよい。最終的に、集約は、異なるパイプラインからの占有マップを結合し、同じ時間に関連付けられた１つの占有マップにする。データ構造は、異なる時間ステップにおけるこれらの集約された占有マップを含んでもよい。
【0071】
いくつかの例では、動作４０８は、例えば、多数決、複数投票、加重投票（例えば、特定のパイプラインが機能的に、より多くの投票を帰属させる）および／または単純平均、加重平均なｄの平均化技術等のアンサンブル投票技術を含み得る。換言すれば、第１の占有マップは、環境の一部が占有されている可能性が０．９であることを示し、第２の占有マップは、その部分が占有されている可能性が０．８であることを示し得る。この技術は、部分が占有されているか占有されていないかを示すかどうかを決定するために投票技術で可能性を使用すること、および／または平均化された可能性をそれに関連付けるために可能性を平均化することを含み得る。
【0072】
動作４１０において、例示的なプロセス４００は、本明細書で論じられる技術のいずれかに従って、一部が占有されているか否かの二値表示を決定するために、データ構造に閾値を適用することを含み得る。閾値は、閾値信頼度スコアであってもよい。閾値は、集計前に占有マップに適用される例では、パイプラインごとに異なってもよい。いくつかの例では、閾値を適用することは、閾値未満の信頼度スコアを示す占有マップの任意の部分が占有されておらず、閾値信頼度スコアを満たすまたは超える任意の部分が占有されていること、或いはスコアの意味（例えば、０は環境部分が占有されていることを示す）に応じてその逆を示すことを含み得る。追加または代替の例では、異なる閾値が異なるパイプラインに関連付けられてよく、０．８を満たすまたは超えるスコアは、第１のパイプラインの占有を示し、０．７を満たすまたは超えるスコアは、第２のパイプラインの占有を示す、等としてよい。
【0073】
いくつかの例では、動作４１０は、動作４０８の一部であってもよい。例えば、動作４０８が全会一致投票技術を含み、閾値が０．７５である例において、動作４１０は、第１の占有マップおよび第２の占有マップが共に０．７５を満たすまたは超える可能性を示すことに基づいて、上述した例における部分が占有されることを示すことを含んでよい。
【0074】
閾値は、ターゲット偽陰性率および／またはターゲット偽陽性率に少なくとも部分的に基づいて設定され、および／または投票技術が選択され得る。例えば、全会一致投票技術は、より低い偽陰性率およびより高い偽陽性率をもたらし得、一方、複数の投票技術は、より高い偽陰性率およびより低い偽陽性率をもたらし得る。同様に、より高い閾値は、より低い偽陰性率とより高い偽陽性率をもたらし、より低い閾値はその逆をもたらし得る。いくつかの例では、閾値を設定することは、車両のライブ動作から記録されたセンサーデータおよび／またはシミュレートされたセンサーデータ、以前に訓練されたＭＬモデルによって生成されたトップダウン表現、空撮映像、並びに人間および／または別のＭＬモデルによって生成されたラベルを含み得る訓練データセットに少なくとも部分的に基づいてＭＬモデルを訓練し、および、異なる閾値における追加のセンサーデータからなり得るテストデータを用いてＭＬモデルを動作することを含み得る。偽陽性および／または偽陰性率は、例えば、異なる閾値に関連して、人間のラベル付けおよび／または別の検証プロセス（例えば、グランドトゥルースデータとの差）により、テストに対して決定され得る。閾値は、ターゲット偽陽性率および／またはターゲット偽陰性率に関連するものが選択され得る。
【0075】
図５Ｂは、保守的な（低い）偽陰性率を達成するように閾値を設定、および／または投票技術を選択することから生じ得る例示的な占有マップ５０６を示しており、これは、高い偽陽性率をもたらし得る。その結果、部分５１２および部分５１４は両方とも、環境のそれぞれの部分が占有されていることを示し得る。部分５１２は、占有マップ５０２の部分５１２のみが、部分５１２に関連付けられた環境の部分に位置する物体が存在し得るという任意の表示を行い、その場合でさえ、薄いグレーによって示されるように、信頼度が低いので、この表示がいかに保守的であるかを示している。いくつかの例では、衝突回避システムは、安全性を最大化するように設計されてもよく、偽陰性保守的占有マップを達成するために、占有マップを集約するように閾値および／または投票技術を使用してもよい。
【0076】
図５Ｃは、偽陰性率と偽陽性率との間のバランスを達成するために、閾値の設定および／または投票技術の選択から生じ得る例示的な占有マップ５０８を示している。これは、閾値を減少させること、より厳しくない投票技術を選択すること、および／またはより正確なＭＬモデルによって出力された占有マップのいくつかをより重く重み付けすることによって達成され得る。部分５１２は現在、それに関連付けられた環境のそれぞれの部分が占有されていないことを示す一方、部分５１４は環境のそれぞれの部分が占有されていることを示すことに注目されたい（例えば、占有マップ５０２および占有マップ５０４は、両方とも部分５１４が占有されていることを示すため）。バランスの取れた占有マップを達成するために閾値を設定、および／または偽陰性率を選択することは、安全上の利点と、偽陽性のために車両がハードブレーキすることを防止することとのバランスをとり得る。
【0077】
図５Ｄは、保守的な（低い）偽陽性率を達成するために、閾値の設定および／または投票技術の選択から生じ得る例示的な占有マップ５１０を示している。これは、閾値をさらに減少させること、より厳しくない投票技術を選択すること、および／またはより正確なＭＬモデルによって出力された占有マップのいくつかをより重く重み付けすることによって達成され得る。増加した閾値信頼度は、占有マップ５０２および／または占有マップ５０４の部分５１４を、占有を示すことから除外し得ることに留意されたい。占有マップ５１０の部分５１４は、それに応じて、それに関連付けられた環境の部分が占有されていないことを示し得る。
【0078】
動作４１２において、例示的なプロセス４００は、本明細書で論じられる技術のいずれかに従って、データ構造に少なくとも部分的に基づいて自律車両を制御することを含み得る。データ構造は、本明細書で論じられる集約された占有マップ（それぞれの時間ステップにおける）を含み得る。動作４１２は、動作４１４、４１６、４１８、および／または４２０を含み得る。
【0079】
動作４１４において、例示的なプロセス４００は、本明細書で論じられる技術のいずれかに従って、軌道を受信することを含み得る。例えば、軌道は、自律車両の計画コンポーネントから受信され得る。軌道は、現在および／または目標位置、速度、加速度、方位、ステアリング角、および／またはステアリングレートを示し得る。
【0080】
動作４１６において、例示的なプロセス４００は、本明細書で論じられる技術のいずれかに従って、軌道がデータ構造の占有部分の閾値距離内にあるかどうかを決定することを含み得る。閾値距離は、現在および／または目標速度に少なくとも部分的に基づく、安全のための緩衝距離であってもよい。動作４１６は、軌道が、データ構造を構成する集約された占有マップのいずれかによって示される占有部分の閾値距離よりも小さい位置に関連付けられるかどうかを決定することを含んでもよい。換言すれば、動作４１６は、軌道が、それに関連付けられたそれぞれの占有マップによって、それぞれの時間のいずれかで占有されていると予測される環境の部分の閾値距離内に自律車両を置くことになるかどうかを決定することを含んでもよい。動作４１６において、衝突回避システムが、軌道が占有部分から閾値距離未満である位置に関連付けられない（すなわち、位置が閾値距離を満たすか或いは超える任意の占有部分からの距離にある）と決定した場合、例示的なプロセス４００は動作４１８を継続してもよく、そうでなければ例示的プロセス４００は動作４２０を継続してよい。
【0081】
追加または代替の例では、動作４１６は、軌道に関連するデータ構造のそれぞれの部分に関連する確率を合計すること、および／または合計された確率が閾値スコアを満たすか或いは超えるかを決定することを含み得る。閾値スコアは、軌道に関連付けられた速度および／または長さに少なくとも部分的に基づいてもよい（例えば、軌道の速度および／または長さが増加すると、閾値が増加してよい）。動作４１６は、軌道が交差、および／または軌道の閾値距離であるデータ構造の部分のサブセットを決定することを含み得る。閾値距離は、車両の現在の速度および／または軌道に関連付けられた速度に少なくとも部分的に基づき得る。確率を合計することは、データ構造の部分のサブセットに関連付けられた確率を合計することを含み得る。
【0082】
動作４１８において、例示的なプロセス４００は、本明細書で論じられる技術のいずれかに従って、軌道を検証することおよび／または送信することを含み得る。例えば、軌道を検証することおよび／または送信することは、自律車両に軌道を実行させること（例えば、軌道をシステムコントローラに送信することによって）を含み得る。
【0083】
動作４２０において、例示的なプロセス４００は、本明細書で論じられる技術のいずれかに従って、臨時の軌道を開始すること、および／または軌道を再決定することを含み得る。例えば、動作４２０は、車両に臨時の軌道を実行させることを含んでよく、これは、車両に減速、安全停止操舵、ハードブレーキなどを実行させるためにシステムコントローラに命令を送信することを含み得る。いくつかの例では、計画コンポーネントは、臨時の軌道を決定し、臨時の軌道を軌道とともに、および／または衝突回避コンポーネントによる要求に応じて、衝突回避コンポーネントに送信し得る。追加的または代替的な例では、動作４２０は、新しい軌道を決定するための要求を計画コンポーネントに送信することを含んでもよい。
【0084】
（例示的なアーキテクチャおよび／または訓練）
いくつかの例では、ＭＬモデル３０２（１）～（ｎ）は、他のアーキテクチャが企図されるが、エンコーダ－デコーダネットワークを含み得る。畳み込み層を有するエンコーダ－デコーダネットワークを使用する例では、エンコーダ層は、（２，２）のプーリングサイズで平均プーリングを使用してもよく、デコーダはバイリニアアップサンプリングを含んでもよい。デコーダに続いて、アーキテクチャは、ロジットを生成する単一の線形畳み込み層を含んでもよく、最終層は、異なる物体分類（例えば、歩行者、自転車の乗用者、オートバイ、車両、その他は地面をラベル付けし得る）に関連付けられた最終出力確率を生成するためにソフトマックスを適用してよい。いくつかの例では、ＭＬモデル３０１（１）～（ｎ）のうちのいくつかのアーキテクチャは、ＭＬモデルによって取得されるセンサーデータに基づいて変化し得る。例えば、図６Ａは、入力としてライダーデータおよび／またはレーダーデータに少なくとも部分的に基づいて占有マップを決定するように訓練されたＭＬアーキテクチャの一例を示し、図６Ｂは、画像データに少なくとも部分的に基づいて占有マップを決定するように訓練されたＭＬアーキテクチャの一例を示している。
いくつかの例では、ＭＬモデル３０２（１）～（ｎ）は、他のアーキテクチャが企図されるが、エンコーダ－デコーダネットワークを含み得る。畳み込み層を有するエンコーダ－デコーダネットワークを使用する例では、エンコーダ層は、（２，２）のプーリングサイズで平均プーリングを使用してもよく、デコーダはバイリニアアップサンプリングを含んでもよい。デコーダに続いて、アーキテクチャは、ロジットを生成する単一の線形畳み込み層を含んでもよく、最終層は、異なる物体分類（例えば、歩行者、自転車の乗用者、オートバイ、車両、その他は地面をラベル付けし得る）に関連付けられた最終出力確率を生成するためにソフトマックスを適用してよい。いくつかの例では、ＭＬモデル３０１（１）～（ｎ）のうちのいくつかのアーキテクチャは、ＭＬモデルによって取得されるセンサーデータに基づいて変化し得る。例えば、図６Ａは、入力としてライダーデータおよび／またはレーダーデータに少なくとも部分的に基づいて占有マップを決定するように訓練されたＭＬアーキテクチャの一例を示し、図６Ｂは、画像データに少なくとも部分的に基づいて占有マップを決定するように訓練されたＭＬアーキテクチャの一例を示している。
【0085】
例えば、図６Ａは、ライダーデータおよび／またはレーダーデータに少なくとも部分的に基づいて占有マップを決定するために訓練されるＭＬモデル６００を示し、バッチ正規化に続いて平均プーリング層を有する一対の畳み込み層からなる５ブロックのセットを含むエンコーダを含み得る。いくつかの例では、畳み込み層は、他の活性化が企図されるが、ＲｅＬＵ活性化を含んでよい（例えば、シグモイド、双曲線正接、リーキーＲｅＬＵ、パラメトリックＲｅＬＵ、ソフトマックス、スウィッシュ）。デコーダは、バッチ正規化を有する３つの畳み込み層を有する５つのブロックを含んでよい。ネットワークは、追加的または代替的に、エンコーダの第４のブロックからデコーダの第２のブロックへのスキップ接続６０２を含んでもよい。
【0086】
ＭＬモデル３０２（１）～（ｎ）のアーキテクチャのバリエーションの追加または代替の例を継続すると、図６Ｂは、画像データに少なくとも部分的に基づいて占有マップを決定するように訓練されたＭＬモデル６０４が、ＲｅｓＮｅｔ（または他の視覚）バックボーン上に構築されたエンコーダ-デコーダネットワークを含み得ることを描写している。例えば、ＲｅｓＮｅｔブロックは、３つの層を含み得るが、追加または代替のＲｅｓＮｅｔまたは他のビジョン基幹コンポーネントが使用されてもよい。いくつかの例では、エンコーダおよびデコーダは、ＲｅｓＮｅｔブロック上に４つのブロックを有してよく、少なくともいくつかの例では、アーキテクチャ６０４は、エンコーダとデコーダの間に正射影特徴変換層を含んでもよい。出力はトップダウンビューであるが、画像は透視ビューである。正射影特徴変換層は、ピクセル空間からトップダウン空間へ変換してもよい。いくつかの例では、正射影特徴変換層は、他の活性化が企図されるが（例えば、シグモイド、双曲線正接、リーキーＲｅＬＵ、パラメトリックＲｅＬＵ、ソフトマックス、スウィッシュ）、ＲｅＬＵ活性化を有する一連の不偏完全連結層を含んでよい。画像データ３０４が異なるカメラからの画像を含む例では、アーキテクチャ６０４は、共有エンコーダを介して各カメラビューからの画像を受信するように構成されてもよく、アーキテクチャは、各ビューについて個別の正射投影変換を訓練し、投影特徴を一緒に加算し、結果を単一のデコーダに通過させるように訓練されてもよい。
【0087】
ＭＬモデルの学習は、異なるセンサー様式に関連する各ＭＬモデルを独立して訓練することを含み得る。これは、アダムオプティマイザーを使用することを含んでもよい。いくつかの例では、ＭＬモデルを訓練するために使用される損失関数は、各フレームに対して等しい重みで、すべての出力フレームに対するクロスエントロピーの合計を含んでもよい。追加的または代替的に、センサーデータにおけるこれらの分類の出現の低頻度（例えば、地面および車両と比較して）を考慮するために、歩行者および／または自転車物体分類に関連付けられた損失についてブーストされてもよい。これは、これらの物体分類に関連付けられた損失係数（例えば、１０、分類がバランスされているかどうかに応じて他の任意の数）を乗算することを含み得る。少なくとも１つの例において、損失εは、以下の（式１）に従って計算されてもよい。
【0088】
【数1】
【0089】
ここで、Ｆは将来のフレーム数、Ｇは環境のそれぞれの部分を占める物体分類を示す最終的な占有マップのセルのセット（例えば、地面、歩行者、車両、自転車など）、ｋcは分類の不均衡を考慮する係数（係数が使用されている場合）、ｐf
g（ｃ）とｑf
g（ｃ）は与えられたフレームｆ、物体分類ｃ、グリッドセルｇのグランドトゥルースと予測された値である。
【0090】
いくつかの例では、最終的な占有マップは、占有マップのそれぞれのグリッドセルを占有する物体分類の表示を含み得る。追加または代替の例では、ＭＬモデルは、グリッドセル表示に加え、またはその代わりに、検出された物体に関連付けられたインスタンスセグメンテーションおよび／または関心領域（ＲＯＩ）を出力するように訓練されてもよい。例えば、ＲＯＩは、物体によって占有される環境の一部を画定するための外接矩形または任意の他の形状含んでよい。
【0091】
追加または代替の例では、異なるセンサータイプのセンサーデータは、単一の入力に融合され、１つまたは複数のＭＬモデルへの入力として提供され得る。そのような例では、１つまたは複数のＭＬモデルは、一緒に訓練されてもよい。
【0092】
これらのアーキテクチャおよび／または訓練および／または集約方法は、少なくとも部分的にセンサーデータ（例えば、一例では画像データ、ライダーデータ、および／またはレーダーデータ）に基づいてセマンティックセグメンテーションを決定できるＭＬモデルパイプラインをもたらし得る。ＭＬモデルパイプラインは、最終的に、すべてのセンサータイプにわたる環境の共通の表現を生成してもよく、自律車両の知覚コンポーネントの複雑さを簡略化してもよい。これは、異なる性能要件に基づく融合手順の選択における柔軟性を提供する。さらに、セマンティックセグメンテーションタスクは、同じフレームワークを使用して、現在のフレームから将来のフレームにさらに拡張されることが可能であり、環境における物体の動きの短期的な予測を与える。このフレームワークのマルチモーダル、マルチフレームの性質は、下流の意思決定（例えば、コンポーネントの計画）に対して柔軟性とロバスト性を提供する。
【0093】
（例示項）
Ａ．システムであって、２つ以上のセンサーと、１つまたは複数のプロセッサと、１つまたは複数のプロセッサによって実行された場合、システムに対して２つ以上のセンサーの少なくとも１つに関連する第１のセンサータイプに関連付けられた第１のセンサーデータを受信することと、２つ以上のセンサーの少なくとも１つに関連する第２のセンサータイプに関連付けられた第２のセンサーデータを受信することと、第１のセンサーデータに少なくとも部分的に基づいて、第１の現在の占有マップおよび第１の予測された占有マップを決定することであって、第１の予測された占有マップは、そのそれぞれの部分が占有される可能性を示す離散化グリッドを含むことと、第２のセンサーデータに少なくとも部分的に基づいて、第２の現在の占有マップおよび第２の予測された占有マップを決定することであって、第１の現在の占有マップおよび第２の現在の占有マップは、環境の部分が現在の時間において占有されている第１の可能性および第２の可能性を示し、第１の予測された占有マップおよび第２の予測された占有マップは、環境の部分が将来の時間において占有されている第３の可能性および第４の可能性を示す、ことと、第１の現在の占有マップと第２の現在の占有マップを、環境の部分が現在の時間において占有されているか占有されていないかどうかを示すデータ構造に結合することと、第１の予測された占有マップと第２の予測された占有マップを、環境の部分が将来の時間において占有されているか占有されていないかどうかを示すデータ構造に結合することと、データ構造に少なくとも部分的に基づいて、自律車両を制御することと、を含む動作を実行させるプロセッサ実行可能な命令を格納したメモリと、を含む。
Ａ．システムであって、２つ以上のセンサーと、１つまたは複数のプロセッサと、１つまたは複数のプロセッサによって実行された場合、システムに対して２つ以上のセンサーの少なくとも１つに関連する第１のセンサータイプに関連付けられた第１のセンサーデータを受信することと、２つ以上のセンサーの少なくとも１つに関連する第２のセンサータイプに関連付けられた第２のセンサーデータを受信することと、第１のセンサーデータに少なくとも部分的に基づいて、第１の現在の占有マップおよび第１の予測された占有マップを決定することであって、第１の予測された占有マップは、そのそれぞれの部分が占有される可能性を示す離散化グリッドを含むことと、第２のセンサーデータに少なくとも部分的に基づいて、第２の現在の占有マップおよび第２の予測された占有マップを決定することであって、第１の現在の占有マップおよび第２の現在の占有マップは、環境の部分が現在の時間において占有されている第１の可能性および第２の可能性を示し、第１の予測された占有マップおよび第２の予測された占有マップは、環境の部分が将来の時間において占有されている第３の可能性および第４の可能性を示す、ことと、第１の現在の占有マップと第２の現在の占有マップを、環境の部分が現在の時間において占有されているか占有されていないかどうかを示すデータ構造に結合することと、第１の予測された占有マップと第２の予測された占有マップを、環境の部分が将来の時間において占有されているか占有されていないかどうかを示すデータ構造に結合することと、データ構造に少なくとも部分的に基づいて、自律車両を制御することと、を含む動作を実行させるプロセッサ実行可能な命令を格納したメモリと、を含む。
【0094】
Ｂ．段落Ａのシステムであって、動作が、データ構造に少なくとも部分的に基づいて、少なくとも最も近接した物体に関連付けられる第１の位置または第１の速度の少なくとも１つを決定することと、軌道を受信することと、をさらに含み、自律車両を制御することが、第１の位置または第１の速度の少なくとも１つ、および自律車両に関連付けられた第２の位置または第２の速度の少なくとも１つに少なくとも部分的に基づいて、軌道を実行させるように自律車両を制御、または、臨時の軌道を実行させるように自律車両を制御する、ように決定することをさらに含む。
【0095】
Ｃ．段落Ｂのシステムであって、臨時の軌道を実行するように自律車両を制御することが、軌道が占有されているとして示されるデータ構造の少なくとも一部の閾値距離以内であるということを決定すること、または、軌道に少なくとも部分的に基づいたデータ構造の部分の確率の合計を決定することの少なくとも１つに少なくとも部分的に基づく。
【0096】
Ｄ．段落ＡからＣのいずれかのシステムであって、第１の占有マップを決定することが、入力として第１の機械学習（ＭＬ）モデルへ第１のセンサーデータを提供すること、および、出力として第１の占有マップを第１のＭＬモデルから受信することを含み、第２の占有マップを決定することが、入力として第２の機械学習（ＭＬ）モデルへ第２のセンサーデータを提供すること、および、出力として第２の占有マップを第２のＭＬモデルから受信することを含む。
【0097】
Ｅ．段落ＡからＤのいずれかのシステムであって、第１の現在の占有マップが、環境の部分に関連付けられた第１の信頼度スコアを含み、第１の信頼度スコアが、部分が占有されている第１の可能性を示し、第２の現在の占有マップが、環境の部分に関連付けられた第２の信頼度スコアを含み、第２の信頼度スコアが、部分が占有されている第２の可能性を示し、第１の現在の占有マップおよび第２の現在の占有マップをデータ構造に結合することが、第１の信頼度スコア、第２の信頼度スコア、第１のセンサータイプ、第２のセンサータイプの少なくとも１つに少なくとも部分的に基づく。
【0098】
Ｆ．段落ＡからＥのいずれかのシステムであって、動作が、第１の現在の占有マップの第１の部分を、第１の信頼度スコアが閾値信頼度を満たすかまたは超えるという決定に少なくとも部分的に基づいて、部分が占有されていることを示すものとして、関連付けることをさらに含み、第１の現在の占有マップおよび第２の現在の占有マップをデータ構造に結像することが、第１の部分および部分が占有されているまたは占有されていないことを示す第２の現在の占有マップに関連付けられた第２の部分の少なくとも１つに基づいた投票をさらに含む。
【0099】
Ｇ．方法であって、第１のセンサータイプに関連付けられた第１のセンサーデータを受信することと、第２のセンサータイプに関連付けられた第２のセンサーデータを受信することと、第１のセンサーデータに少なくとも部分的に基づいて第１の占有マップを決定することであって、第１の占有マップは、自律車両を取り巻く環境の部分が将来の時間において占有されているか占有されていなかどうかを示すことと、第２のセンサーデータに少なくとも部分的に基づいて第２の占有マップを決定することであって、第２の占有マップは、部分が将来の時間において占有されているか占有されていなかどうかを示すことと、第１の占有マップおよび第２の占有マップに少なくとも部分的に基づいて第１の占有マップおよび第２の占有マップをデータ構造に結合することであって、データ構造は、環境の部分が将来の時間において占有されているか占有されていないかどうかを示すことと、データ構造に少なくとも部分的に基づいて自律車両を制御することと、を含む。
【0100】
Ｈ．段落Ｇの方法であって、データ構造に少なくとも部分的に基づいて、少なくとも最も近接した物体に関連付けられる第１の位置または第１の速度を決定することと、軌道を受信することと、をさらに含み、自律車両を制御することが、第１の位置または第１の速度の少なくとも１つ、および自律車両に関連付けられた第２の位置または第２の速度の少なくとも１つに少なくとも部分的に基づいて、軌道を実行させるように自律車両を制御、または、臨時の軌道を実行させるように自律車両を制御する、ように決定することをさらに含む。
【0101】
Ｉ．段落Ｈの方法であって、臨時の軌道を実行するように自律車両を制御することが、軌道が占有されているとして示されるデータ構造の少なくとも一部の閾値距離以内であるということを決定すること、または、軌道に少なくとも部分的に基づいたデータ構造に関連付けられた確率の合計を決定することの１つまたは複数に少なくとも部分的に基づく。
【0102】
Ｊ．段落ＧからＩのいずれかの方法であって、第１の占有マップを決定することが、入力として第１の機械学習（ＭＬ）モデルへ第１のセンサーデータを提供すること、および、出力として第１の占有マップを第１のＭＬモデルから受信することを含み、第２の占有マップを決定することが、入力として第２の機械学習（ＭＬ）モデルへ第２のセンサーデータを提供すること、および、出力として第２の占有マップを第２のＭＬモデルから受信することを含む。
【0103】
Ｋ．段落ＧからＪのいずれかの方法であって、第１の現在の占有マップは、環境の部分に関連付けられた第１の信頼度スコアを含み、第１の信頼度スコアは、部分が占有されている第１の可能性を示し、第２の現在の占有マップは、環境の部分に関連付けられた第２の信頼度スコアを含み、第２の信頼度スコアは、部分が占有されている第２の可能性を示し、第１の現在の占有マップおよび第２の現在の占有マップをデータ構造に集約することは、信頼度スコアが閾値信頼度を満足するか超えることを決定することに少なくとも部分的に基づいて、第１の現在の占有マップの第１の部分を、部分が占有されていることを示すものとして関連付けることを含む。
【0104】
Ｌ．段落ＧからＫのいずれかの方法であって、第１の現在の占有マップおよび第２の現在の占有マップをデータ構造に集約することは、第１の部分、および、部分が占有されたか占有されていないかを示す第２の現在の占有マップ関連付けられた第２の部分、第１のセンサータイプ、第２のセンサータイプ、第１の信頼度スコア、または第２の信頼度スコアの少なくとも１つ、に少なくとも部分的に基づいて部分が占有されていることを示すものとしてデータ構造の第２の部分を関連付けるための投票をさらに含む。
【0105】
Ｍ．段落ＧからＬのいずれかの方法であって、第１のセンサーデータおよび第２のセンサーデータが、現在のセンサーデータおよび以前のセンサーデータを含み、第１の占有マップが、少なくとも現在の時間に関連付けられた現在の占有マップおよび将来の時間に関連付けられた予測された占有マップを含む。
【0106】
Ｎ．プロセッサ実行可能な命令を格納する非一時的コンピュータ可読媒体であって、１つまたは複数のプロセッサによって実行された場合、１つまたは複数のプロセッサに、車両に関連付けられた１つまたは複数の第１のセンサーから第１のセンサーデータを受信することであって、１つまたは複数の第１のセンサーは第１のセンサータイプであることと、車両に関連付けられた１つまたは複数の第２のセンサーから第２のセンサーデータを受信することであって、１つまたは複数の第２のセンサーは第２のセンサータイプであることと、第１のセンサーデータに少なくとも部分的に基づいて、車両を取り巻く環境の部分が、将来の時間において占有されているか占有されていなかどうかを示す第１の占有マップを決定することと第２のセンサーデータに少なくとも部分的に基づいて、車両を取り巻く環境の部分が、将来の時間において占有されているか占有されていなかどうかを示す第２の占有マップを決定することと第１の占有マップおよび第２の占有マップを、第１の占有マップおよび第２の占有マップに少なくとも部分的に基づいたデータ構造に集約することであって、データ構造は、環境の部分が将来の時間において占有されているか占有されていなかどうかを指示することと、データ構造に少なくとも部分的に基づいて、自律車両を制御することと、を含む動作を実行させる。
【0107】
Ｏ．段落Ｎの非一時的コンピュータ可読媒体であって、動作が、データ構造に少なくとも部分的に基づいて、少なくとも最も近接した物体に関連付けられた第１の位置または第１の速度の少なくとも１つを決定することと、軌道を受信することと、をさらに含み、自律車両を制御することが、第１の位置または第１の速度の少なくとも１つ、および自律車両に関連付けられた第２の位置または第２の速度の少なくとも１つに少なくとも部分的に基づいて、軌道を実行するように自律車両を制御する、または、臨時の軌道を実行するように自律車両を制御する、ように決定することをさらに含む。
【0108】
Ｐ．段落Ｏの非一時的コンピュータ可読媒体であって、臨時の軌道を実行するように自律車両を制御することが、軌道が占有されているとして示されるデータ構造の少なくとも一部の閾値距離以内であるということを決定すること、または、軌道に少なくとも部分的に基づいたデータ構造の部分の確率の合計を決定することの少なくとも１つに少なくとも部分的に基づく。
【0109】
Ｑ．段落Ｐの非一時的コンピュータ可読媒体であって、第１の占有マップを決定することが、入力として第１の機械学習（ＭＬ）モデルへ第１のセンサーデータを提供すること、および、出力として第１の占有マップを第１のＭＬモデルから受信することを含み、第２の占有マップを決定することが、入力として第２の機械学習（ＭＬ）モデルへ第２のセンサーデータを提供すること、および、出力として第２の占有マップを第２のＭＬモデルから受信することを含む。
【0110】
Ｒ．段落Ｎ－Ｐのいずれかの非一時的コンピュータ可読媒体であって、第１の現在の占有マップは、環境の部分に関連付けられた第１の信頼度スコアを含み、第１の信頼度スコアは、部分が占有されている第１の可能性を示し、第２の現在の占有マップは、環境の部分に関連付けられた第２の信頼度スコアを含み、第２の信頼度スコアは、部分が占有されている第２の可能性を示し、第１の現在の占有マップおよび第２の現在の占有マップをデータ構造に集約することは、信頼度スコアが閾値信頼度を満足するか超えることを決定することに少なくとも部分的に基づいて、第１の現在の占有マップの第１の部分を、部分が占有されていることを示すものとして関連付けることを含む。
【0111】
Ｓ．段落Ｎ－Ｒのいずれかの非一時的コンピュータ可読媒体であって、第１の現在の占有マップおよび第２の現在の占有マップをデータ構造に集約することは、第１の部分、および、部分が占有されたか占有されていないかを示す第２の現在の占有マップ関連付けられた第２の部分、第１のセンサータイプ、第２のセンサータイプ、第１の信頼度スコア、または第２の信頼度スコアの少なくとも１つ、に少なくとも部分的に基づいて部分が占有されていることを示すものとしてデータ構造の第２の部分を関連付けるための投票をさらに含む。
【0112】
Ｔ．段落ＮからＳのいずれかの非一時的コンピュータ可読媒体であって、第１のセンサーデータおよび第２のセンサーデータが、現在のセンサーデータおよび以前のセンサーデータを含み、第１の占有マップが、少なくとも現在の時間に関連付けられた現在の占有マップおよび将来の時間に関連付けられた予測された占有マップを含む。
【0113】
上述した例示項は、１つの特定の実装に関して説明されているが、本明細書のコンテキストにおいて、例示項の内容は、方法、装置、システム、コンピュータ可読媒体、および／または別の実装を介して実装されることも可能であることが理解されるべきである。さらに、例ＡからＴのいずれかを単独で、または他の１つまたは複数の例ＡからＴと組み合わせて実装され得る。
【0114】
（結論）
構造的な特徴および／または方法論的行為に特有の言語で主題を説明してきたが、添付の特許請求の範囲に定義される主題は、必ずしも説明された特定の特徴または行為に限定されないことが理解されるべきである。むしろ、特定の特徴および行為は、特許請求の範囲を実施する例示的な形態として開示されている。
構造的な特徴および／または方法論的行為に特有の言語で主題を説明してきたが、添付の特許請求の範囲に定義される主題は、必ずしも説明された特定の特徴または行為に限定されないことが理解されるべきである。むしろ、特定の特徴および行為は、特許請求の範囲を実施する例示的な形態として開示されている。
【0115】
本明細書で述べられる構成要素は、任意のタイプのコンピュータ可読媒体に格納され得、ソフトウェアおよび／またはハードウェアで実装され得る命令を表している。上述した方法およびプロセスの全ては、１つまたは複数のコンピュータ若しくはプロセッサ、ハードウェア、またはそれらのいくつかの組み合わせによって実装されるソフトウェアコードの構成要素および／またはコンピュータ実行可能命令において具現化され、それらを介して完全に自動化されてもよい。方法の一部または全ては、代替的に、特殊なコンピュータハードウェアで具現化されてもよい。
【0116】
本明細書で論じられるプロセスの少なくともいくつかは、論理フロー図として図示され、その各動作は、ハードウェア、ソフトウェア、またはそれらの組み合わせで実装されることができる動作のシーケンスを表す。ソフトウェアのコンテキストでは、動作は、１つまたは複数のプロセッサによって実行されると、コンピュータまたは自律車両に対して言及された動作を実行させる、１つまたは複数の非一時的コンピュータ可読記憶媒体に格納されたコンピュータ実行可能命令を表す。一般に、コンピュータ実行可能命令は、特定の機能を実行する、または特定の抽象的なデータタイプを実装するルーチン、プログラム、物体、コンポーネント、データ構造などを含む。動作が記載される順序は、限定として解釈されることを意図しておらず、記載された動作の任意の数は、処理を実行するために任意の順序でおよび／または並行して組み合わされることができる。
【0117】
特に、「し得る」、「であろう」、「してよい」、または「だろう」などの条件付き言語は、特に別段の記載がない限り、コンテキストの中で、特定の例が特定の特徴、要素、および／またはステップを含む一方で、他の例が含まないことを提示するものと理解される。したがって、このような条件付き言語は、一般的に、特定の特徴、要素、および／またはステップが１つまたは複数の例に何らかの形で必要であること、または１つまたは複数の例が、特定の特徴、要素、および／またはステップが含まれるかどうか、または特定の例で実行されるかどうかを、ユーザー入力またはプロンプトの有無にかかわらず決定するための論理を必ず含むことを意味するように意図されていない。
【0118】
「Ｘ、Ｙ、またはＺのうち少なくとも１つ」というフレーズのような接続詞的な言葉は、特に別段の記載がない限り、項目、用語などがＸ、Ｙ、またはＺのいずれか、または各要素の倍数を含むそれらの任意の組み合わせであり得ることを提示するように理解されるべきである。明確に単数形と記載されていない限り、「a」は単数形および複数形を意味する。
【0119】
本明細書に記載されたおよび／または添付の図に描かれたフロー図における任意のルーチンの記述、要素又はブロックは、ルーチンにおける特定の論理的な機能又は要素を実施するための１つ以上のコンピュータ実行可能な命令を含むコードのモジュール、セグメントまたは部分を表す可能性があると理解すべきである。当業者であれば理解できるように、関係する機能に応じて、要素または機能は削除したり、実質的に同期させたり、逆の順序で実行したり、追加の操作を行ったり、または操作を省略するなど、図示または議論されたものとは異なる順序で実行され得る代替の実装が、本明細書に記載された例の範囲内に含まれる。
【0120】
上述した例には、多くの変更および修正を加えてもよく、その要素は、他の許容可能な例の１つであると理解されるべきである。そのようなすべての修正および変更は、本開示の範囲内で本明細書に含まれることを意図しており、以下の請求項によって保護される。
【図1】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図5C】
【図5D】
【図6A】
【図6B】
【国際調査報告】