IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ズークス インコーポレイテッドの特許一覧

<>
  • 特表-衝突回避計画システム 図1
  • 特表-衝突回避計画システム 図2
  • 特表-衝突回避計画システム 図3
  • 特表-衝突回避計画システム 図4A
  • 特表-衝突回避計画システム 図4B
  • 特表-衝突回避計画システム 図5
  • 特表-衝突回避計画システム 図6
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-11-15
(54)【発明の名称】衝突回避計画システム
(51)【国際特許分類】
   B60W 30/08 20120101AFI20231108BHJP
   B60W 50/00 20060101ALI20231108BHJP
   B60W 60/00 20200101ALI20231108BHJP
【FI】
B60W30/08
B60W50/00
B60W60/00
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023517679
(86)(22)【出願日】2021-10-27
(85)【翻訳文提出日】2023-03-16
(86)【国際出願番号】 US2021056748
(87)【国際公開番号】W WO2022093891
(87)【国際公開日】2022-05-05
(31)【優先権主張番号】17/086,047
(32)【優先日】2020-10-30
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】518156417
【氏名又は名称】ズークス インコーポレイテッド
(74)【代理人】
【識別番号】110001243
【氏名又は名称】弁理士法人谷・阿部特許事務所
(72)【発明者】
【氏名】ピーター スコット シュレード
(72)【発明者】
【氏名】プラティーク チャンドレシュ シャー
【テーマコード(参考)】
3D241
【Fターム(参考)】
3D241BA31
3D241CD10
3D241CE02
(57)【要約】
衝突回避アルゴリズムに基づいて車両を制御するための技術が本明細書で説明される。車両はセンサデータを受信し、車両が移動している環境内のオブジェクトをセンサデータが表すことを決定できる。車両に関連付けられたコンピューティングデバイスは、車両およびオブジェクトの予測される位置における車両とオブジェクトとの間の衝突確率を第1の時点で決定する。車両およびオブジェクトの更新された位置を決定でき、第2の衝突確率を決定できる。車両は衝突確率に少なくとも部分的に基づいて制御される。
【特許請求の範囲】
【請求項1】
環境内の車両に関連付けられたセンサによってキャプチャされたセンサデータを受信することと、
前記センサデータが前記環境内のオブジェクトを表すことを決定することと、
前記車両の第1の予測される位置および第1の時間における前記オブジェクトの第2の予測される位置に関連付けられた第1の衝突確率を決定することと、
前記車両の第3の予測される位置を決定することであって、前記第2の予測される位置は前記第1の予測される位置の前である、ことと、
第2の時間で前記オブジェクトの第4の予測される位置を決定することであって、前記第2の時間は前記第1の時間の後である、ことと、
前記第3の予測される位置および前記第4の予測される位置に少なくとも部分的に基づいて、前記車両および前記オブジェクトに関連付けられた第2の衝突確率を決定することと、
前記第2の衝突確率に少なくとも部分的に基づいて前記車両を制御することと、
を含む方法。
【請求項2】
前記オブジェクトに関連付けられた予測されたオブジェクト軌道を受信することと、
前記予測されたオブジェクト軌道に少なくとも部分的に基づいて、前記第2の予測される位置および前記第4の予測される位置を決定することと、
をさらに含む、請求項1に記載の方法。
【請求項3】
前記車両に関連付けられた予測される車両軌道を受信することと、
前記予測される車両軌道に少なくとも部分的に基づいて、前記第1の予測される位置および前記第3の予測される位置を決定することと、
をさらに含む、請求項1または2に記載の方法。
【請求項4】
前記オブジェクトに関連付けられた位置確率分布を含む第1の幾何モデルを用いて、前記オブジェクトを表すことであって、前記第1の衝突確率は前記位置確率分布に基づいて決定されている、ことと、
前記車両を第2の幾何モデルとして表すことであって、前記第1の衝突確率は、前記第1の幾何モデルおよび前記第2の幾何モデルに少なくとも部分的に基づいている、ことと、
をさらに含む、請求項1乃至3のいずれか一項に記載の方法。
【請求項5】
第1の確率を決定することに関連付けられた前記車両の第1の幾何モデルと、
第2の確率を決定することに関連付けられた前記車両の第2の幾何モデルと、
に少なくとも部分的に基づいて、前記第1の衝突確率を決定することをさらに含み、
前記第1の衝突確率は、前記第1の幾何モデルおよび前記第2の幾何モデルに少なくとも部分的に基づく集約された衝突確率を表す、請求項1乃至4のいずれか一項に記載の方法。
【請求項6】
補正係数に少なくとも部分的に基づいて、前記第1の衝突確率を決定することと、
をさらに含む、請求項1乃至5のいずれか一項に記載の方法。
【請求項7】
前記車両が自律車両であり、前記第1の衝突確率を決定する前に、
前記オブジェクトに関連付けられた予測されるオブジェクト軌道を決定することと、
前記自律車両に関連付けられた車両軌道を決定することと、
前記予測されたオブジェクト軌道および前記車両軌道に少なくとも部分的に基づいて、第1の位置での前記自律車両および第3の時間での前記オブジェクトに関連付けられた第3の衝突確率を決定することと、をさらに含み、
前記車両軌道に沿った第2の位置において、前記自律車両の第1の予測される位置が決定されており、前記第2の位置は前記第1の位置の前であり、
前記オブジェクトの前記第2の予測される位置は、前記予測されるオブジェクト軌道に沿って前記第1の時間に決定されており、前記第1の時間は前記第3の時間の後である、
請求項1乃至6のいずれか一項に記載の方法。
【請求項8】
車両軌道に沿った第3の位置における自律車両の第5の予測される位置を決定することであって、前記第3の位置は第1の位置と第2の位置の間である、ことと、
前記予測されたオブジェクト軌道に沿って第4の時間に前記オブジェクトの第6の予測される位置を決定することであって、前記第4の時間は前記第1の時間と第3の時間との間である、ことと、
前記第5の予測される位置および前記第6の予測される位置に少なくとも部分的に基づいて、前記自律車両および前記オブジェクトに関連付けられた第3の衝突確率を決定することと、
前記第3の衝突確率に関連付けられた加速度を決定することと、
前記第3の衝突確率が閾値を満たす、または超えることを決定することと、
をさらに含む、請求項1乃至7のいずれか一項に記載の方法。
【請求項9】
1つまたは複数のプロセッサによって実行されると、1つまたは複数のコンピューティングデバイスに、請求項1乃至8のいずれか一項に記載の方法を実行させる命令を格納する、1つまたは複数の非一時的コンピュータ可読媒体。
【請求項10】
1つまたは複数のプロセッサと、
前記1つまたは複数のプロセッサによって実行可能な命令を格納する1つまたは複数のコンピュータ可読媒体と、
を含むシステムであって、前記命令は、実行されると、
環境内の車両に関連付けられたセンサによってキャプチャされたセンサデータを受信することと、
前記センサデータが前記環境内のオブジェクトを表すことを決定することと、
前記車両の第1の予測される位置および第1の時間における前記オブジェクトの第2の予測される位置に関連付けられた第1の衝突確率を決定することと、
前記車両の第3の予測される位置を決定することであって、前記第3の予測される位置は前記第1の予測される位置の前である、ことと、
第2の時間で前記オブジェクトの第4の予測される位置を決定することであって、前記第2の時間は前記第1の時間の後である、ことと、
前記第3の予測される位置および前記第4の予測される位置に少なくとも部分的に基づいて、前記車両および前記オブジェクトに関連付けられた第2の衝突確率を決定することと、
前記第2の衝突確率に少なくとも部分的に基づいて前記車両を制御することと、
を含む動作を実行させる、システム。
【請求項11】
前記動作は、
前記車両に関連付けられた予測される車両軌道を受信することと、
前記予測される車両軌道に少なくとも部分的に基づいて、前記第1の予測される位置および前記第3の予測される位置を決定することと、
前記オブジェクトに関連付けられた予測されたオブジェクト軌道を受信することと、
前記予測されたオブジェクト軌道に少なくとも部分的に基づいて、前記第2の予測される位置および前記第4の予測される位置を決定することと、
をさらに含む、請求項10に記載のシステム。
【請求項12】
前記動作は
前記オブジェクトに関連付けられた位置確率分布を含む第1の幾何モデルを用いて、前記オブジェクトを表すことと、
前記車両を第2の幾何モデルとして表すことであって、前記第1の衝突確率は、前記第1の幾何モデルおよび前記第2の幾何モデルに少なくとも部分的に基づいている、ことと、
をさらに含む、請求項10または11に記載のシステム。
【請求項13】
前記動作は、
第1の確率を決定することに関連付けられた前記車両の第1の幾何モデルと、
第2の確率を決定することに関連付けられた前記車両の第2の幾何モデルと、
に少なくとも部分的に基づいて、前記第1の衝突確率を決定すること、
をさらに含み、
前記第1の衝突確率は、前記第1の幾何モデルおよび前記第2の幾何モデルに少なくとも部分的に基づく集約された衝突確率を表す、
請求項10乃至12のいずれか一項に記載のシステム。
【請求項14】
前記動作は、
補正係数に少なくとも部分的に基づいて、前記第1の衝突確率を決定すること、をさらに含む、請求項10乃至13のいずれか一項に記載のシステム。
【請求項15】
前記車両を制御することは、
前記第2の衝突確率に少なくとも部分的に基づいて、前記車両を減速または停止するように制御すること、をさらに含む、請求項10乃至14のいずれか一項に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、衝突回避計画システムに関する。
[関連出願の相互参照]
本特許出願は、2020年10月30日に出願された米国実用特許出願第17/086,047号の優先権を主張する。出願番号第17/086,047号は、参照により本明細書に完全に組み込まれる。
【背景技術】
【0002】
様々な方法、装置、およびシステムが、自律車両によって利用されて、他の車両を含む他のオブジェクトを有し得る環境を通してそのような自律車両をガイドする。いくつかの例では、予測技術を使用して、環境内の2つのエンティティ間の衝突の可能性を決定できる。現在の予測技術は、環境に関連付けられたスペースの狭窄(constrictions)に適応する機能の欠如を含む制限を有し得る。現在の予測技術における制限は、自律車両と別の車両が衝突を回避しながら互いに通過することが不可能であるという結果をもたらす可能性がある。
【図面の簡単な説明】
【0003】
詳細な説明は、添付の図面を参照して説明される。図面において、参照番号の左端の数字は、その参照番号が最初に現れる図面を識別する。異なる図面における同じ参照番号の使用は、類似または同一のコンポーネントまたは特徴を示す。
【0004】
図1図1は、衝突確率を決定し、衝突確率に少なくとも部分的に基づいて車両を制御する例示的なプロセスの画像フロー図である。
図2図2は、車両およびオブジェクトに関連付けられた衝突確率を決定するための車両およびオブジェクトの例示的なモデルの図である。
図3図3は、加速度を決定し、加速度に少なくとも部分的に基づいて車両を制御する例示的なプロセスのフロー図である。
図4A図4Aは、車両に関連付けられた衝突確率に基づいて選択できる例示的な車両軌道および動作の説明図である。
図4B図4Bは、車両に関連付けられた衝突確率に基づいて選択できる例示的な車両軌道および動作の説明図である。
図5図5は、本明細書に記載される技術を実装するための例示的なシステムのブロック図である。
図6図6は、衝突確率を決定し、衝突確率に少なくとも部分的に基づいて車両を制御するための例示的なプロセスである。
【発明を実施するための形態】
【0005】
[詳細な説明]
衝突を回避するために車両およびオブジェクトの軌道を評価するための技術が、本明細書で論じられる。いくつかの例では、自律車両などの車両は、環境を進むために車両軌道を決定できる。また、車両は、環境内のオブジェクト(例えば、別の車両)のオブジェクト軌道も決定できる。車両は、車両軌道およびオブジェクト軌道に基づいて、車両およびオブジェクトの位置を予測できる。予測される交点(例えば、車両軌道と予測されたオブジェクト軌道との交点、閾値未満の車両とオブジェクトとの間の距離、閾値を超える車両とオブジェクトとの間の重複など)に関連付けられた衝突確率を決定する際に、車両の計画システムは、衝突を回避するために車両軌道に沿って車両の位置を決定し、オブジェクト軌道に沿ってオブジェクトの進行を促進できる。例えば、計画システムが衝突の確率が閾値未満であると決定するまで、計画システムは、車両の軌道に沿って車両を「後退」させることができ、オブジェクト軌道に沿ってオブジェクトを「前進」させることができる。計画システムは、車両軌道を変更して、衝突を回避するために車両を減速させること、または環境内の位置で車両を停止させることができる。
【0006】
いくつかの例では、車両の計画システムは、衝突回避アルゴリズムを利用して、環境内のオブジェクトとの衝突のリスクを低減できる。車両は、衝突回避アルゴリズムに基づいて衝突の確率を決定できる。衝突の確率は、衝突回避アルゴリズムによって出力され、車両を制御できる。衝突回避アルゴリズムは、少なくとも1つのモデル(例えば、幾何モデル、機械学習モードなど)を利用して、車両に関連付けられたタスクおよび動作計画に必要な計算量を最小化できる。
【0007】
場合によっては、衝突の確率を、車両およびオブジェクトが環境の狭窄したエリアに配置されることに基づいて決定できる。車両を、部分的または完全に道路の車線内に配置できる。車両が配置される車線は、オブジェクトが部分的または完全に配置される車線に隣接できる。車両が配置される車線を利用して、オブジェクトが配置される車線内の交通の移動とは反対の方向の交通の移動(例えば、対向車)を可能にできる。車両が配置される車線およびオブジェクトが配置される車線を含む道路は、少なくとも部分的に狭窄されることができる。
【0008】
衝突回避アルゴリズムは、車両のセンサによって受信されるセンサデータに基づいて衝突のリスクを決定できる。センサデータは、環境内の車両およびオブジェクト(例えば、車両、歩行者、自転車、動物、駐車している車、樹木、建物など)のそれぞれに関連付けられたデータを含むことができる。センサデータは、車両およびオブジェクトのそれぞれに関連付けられた物理的特性、位置、および/または移動に関連付けられた情報を含むことができる。オブジェクトに関連付けられた追加情報を、例えば、車両およびオブジェクトのそれぞれの位置、速度、加速度、方向などのセンサデータに基づいて決定できる。センサデータを利用して、衝突回避アルゴリズムのための入力を生成できる。例として、入力は、衝突を探索するための期間、時間ステップサイズ、距離ステップサイズ、確率閾値などと同様に、車両およびオブジェクトの軌道を含むことができる。
【0009】
いくつかのケースにおいて、衝突回避アルゴリズムは様々な幾何モデルを利用でき、これは、処理能力、精度、衝突確率を過小に推定/過大に推定する傾向などのうちの少なくとも1つに基づいて変化できる。いくつかの例において、幾何モデルを、車両およびオブジェクトに関連付けられた交点および/または衝突確率を決定するために利用できる。交点および/または衝突確率を、車両およびオブジェクトのそれぞれの予測される位置に基づいて決定できる。交点における車両およびオブジェクトの予測される位置を、車両およびオブジェクトの軌道に基づいて決定できる。計画システムは、車両およびオブジェクトのそれぞれの幾何表現(geometric representation)に基づいて交点における予測される位置を決定できる。計画システムは、車両の幾何表現とオブジェクトの幾何表現との間の重複、ならびにオブジェクトに関連付けられた確率分布を決定できる。交点に関連付けられた車両およびオブジェクトの予測される位置、ならびに車両の「後退」およびオブジェクトの「前進」後に決定された車両およびオブジェクトの後続の予測される位置に対して、重複を決定できる。
【0010】
初期状態(例えば、閾値を超える車両とオブジェクトとの間の衝突または衝突確率に関連付けられた)から開始して、衝突回避アルゴリズムを利用して、交点における車両に関連付けられた軌道の「後退」をシミュレートできる(例えば、車両の減速(例えば、減速度)をシミュレートする)。これらの例では、車両に関連付けられた軌道の「後退」は、初期状態における位置の前の新しい位置に関連付けられた車両特性を決定することを含むことができる。次に、衝突回避アルゴリズムは、オブジェクトの軌道を「前進」させるようにシミュレートできる(例えば、オブジェクトの位置が変化するようにシミュレートする)。これらの例では、オブジェクトの軌道を「前進」させることは、初期状態の時間に続く新しい時間でオブジェクトに関連付けられたオブジェクト特性を決定することを含むことができる。次に、衝突回避アルゴリズムは、新しい時間における車両の幾何表現が、新しい位置におけるオブジェクトの幾何表現と重複するかどうかを決定できる。次に、重複がないと決定されるまで、または衝突確率が閾値を下回るまで、「後退」および「前進」を繰り返すことができる。車両を制御して、衝突がないことを確実にすること、オブジェクトが進行できることを確実にすることができる。
【0011】
いくつかの例では、衝突の確率を、車両の幾何表現とオブジェクトの幾何表現との間の空間的な関係に基づいて決定できる。衝突の確率を、オブジェクトに関連付けられた位置確率分布に基づいて決定できる。位置確率分布を、第1の方向(例えば、x軸にわたって)の確率分布および第2の方向(例えば、y軸にわたって)の確率分布を含む2つの相関のない確率分布などの、相関のない確率分布として、オブジェクトに関連付けられることができる。位置確率分布を、両方向(例えば、x軸およびy軸の両方にわたって)の単一の相関のある確率分布としてオブジェクトに関連付けることができる。例えば、別の車両などのオブジェクトを、センサデータから決定されるオブジェクトの範囲に基づいて矩形(rectangle)として表現できる。衝突確率を、各確率分布に関連付けられた積分と、車両に関連付けられた幾何モデルとに基づいて決定できる。位置確率分布は、上記の幾何モデルに限定されず、1つまたは複数の他のモデルを含むことができる。他のモデルは、例えば、オブジェクトに関連付けられた速度に基づくモデル、オブジェクトに関連付けられた速度に関する確率、オブジェクトに関連付けられた加速度に関する不確実性、オブジェクトに関連付けられたステアリングに関する不確実性、オブジェクト自体の範囲に関する不確実性、オブジェクトに関連付けられたヒートマップ、オブジェクトの位置に関連付けられたチューブなどを含むことができる。ヒートマップに基づく確率分布の例は、例えば、「Trajectory Prediction on Top-Down Scenes」と題され、2018年10月4日に出願された米国特許出願第16/151,607号において説明されており、その全体が参照により本明細書に組み込まれる。
【0012】
いくつかの例では、衝突回避アルゴリズムは、機械学習モデルを利用して、車両およびオブジェクトの位置に関連付けられた衝突の確率を決定できる。いくつかの例では、機械学習モデルは、畳み込みニューラルネットワーク(CNN)を含むことができ、これは、限定されないが、長短期記憶(LSTM)層などの、1つまたは複数のリカレントニューラルネットワーク(RNN)層を含み得る。交点における車両およびオブジェクトの位置のそれぞれに基づいて、車両に関連付けられた衝突の確率を決定できる。車両の「後退」およびオブジェクトの「前進」後の車両およびオブジェクトのそれぞれの位置に基づいて、車両に関連付けられた衝突の確率を決定できる。交点における車両およびオブジェクトの位置に基づいて、車両に関連付けられた予測速度を決定できる。車両に関連する予測加速度を、車両の「後退」およびオブジェクトの「前進」後の車両およびオブジェクトの速度および位置に基づいて決定できる。
【0013】
いくつかの例では、衝突回避アルゴリズムを利用して、車両に関連付けられた予測速度および/または予測される位置に基づいて、車両を制御するための加速度を決定できる。車両を制御する加速度は、i)車両を停止する、またはii)車両の軌道に沿った位置における基準速度になるように車両の速度を修正する、オプションに基づいて決定できる。車両を制御する加速度は、最も保守的なオプションに基づくことができる。
【0014】
衝突回避アルゴリズムを利用することにより、ステアリング入力を更新することなく(例えば、車両による車線変更を要求することなく)、衝突を回避するように車両を制御できる。車両を停止または減速するように制御することにより、反対方向へ移動するオブジェクトが、オブジェクト軌道に沿って安全に継続し、および/または車両のそばを通過することを可能にできる。車両に関連付けられた環境が狭窄されていても、オブジェクトは、軌道を継続し、および/または車両のそばを通過できる。車両の動作に対するこれらおよび他の改善について、本明細書で説明する。
【0015】
本明細書で説明する技術は、いくつかの追加の手段でコンピューティングデバイスの機能を改善できる。いくつかの場合において、衝突回避アルゴリズムは、軌道に沿った衝突確率を決定するために、軌道の迅速な評価を可能にできる。単純な幾何モデルおよび確率分布を使用することは、そのような軌道に関連付けられたリスクを正確に表す単純な計算を可能にする。したがって、そのような衝突回避アルゴリズムは、車両を安全にガイドするための複数の軌道および/またはアクションを評価するために並行して実行され、それによって、一般的な安全結果および交通の流れを改善できる。このようなストラテジーの使用は、より少ないメモリを必要とするコンピュータパフォーマンスを改善するとともに、処理要件を減少させ、したがって、限られた量の処理能力およびメモリで短時間に重要な安全決定を行わなければならない現実世界の車両安全システムにおいて、そのようなシステムを採用することを可能にできる。
【0016】
本明細書に記載される技術を、多くの手段で実施できる。例示的な実施形態は、以下の図を参照して以下に提供される。自律車両のコンテキストにおいて説明されるが、本明細書に記載される方法、装置、およびシステムは、様々なシステムに適用でき、自律車両に限定されない。別の例では、技術を、航空または航海のコンテキストにおいて、または環境内のオブジェクトに関連する移動を決定するためにデータを入力するように構成される任意のシステムにおいて、利用できる。さらに、狭窄したエリアを有する道路のコンテキストにおいて説明したが、技術は、任意のタイプまたは道路に適用可能とすることができ、本明細書で説明する特定の例に限定されない。さらに、本明細書で説明する技術は、実際のデータ(例えば、センサを使用してキャプチャされた)、シミュレートされたデータ(例えば、シミュレータによって生成された)、またはこれら2つのうちの任意の3分の1と共に使用できる。
【0017】
図1は、衝突確率を決定し、衝突確率に少なくとも部分的に基づいて車両を制御する例示的なプロセスの画像フロー図である。
【0018】
動作102は、車両軌道およびオブジェクト軌道を決定することを含むことができる。車両軌道およびオブジェクト軌道を、車両上の1つまたは複数のセンサによって受信されたセンサデータに基づいて決定できる。車両軌道およびオブジェクト軌道の例は、例えば、その全体が参照により本明細書に組み込まれている、「Trajectory Prediction On Top-Down Scenes」と題され、2018年10月4日に出願された米国特許出願第16/151,607号、および、例えば、その全体が参照により本明細書に組み込まれている、「Trajectory Generation Using Curvature Segments」と題され、2017年12月15日に出願された米国特許出願第15/843,512号において説明されている。いくつかの例では、車両およびオブジェクトは、環境の狭窄したエリアに配置され得る。車両は道路を走行でき、道路を走行するオブジェクトの移動と反対(例えば、対向)の方向に移動し得る。車両とオブジェクトが配置されている道路の少なくとも一部は、少なくとも部分的に狭窄されることができる(例えば、二重駐車している車両、交通に向かって開くドアなどによって)。
【0019】
実施例104は、車両106とオブジェクト108が環境を進んでいる環境を示す。車両106とオブジェクト108は、それぞれ開始位置とすることができる。車両106は車両軌道110を有することができ、オブジェクト108をオブジェクト軌道112に関連付けることができる。
【0020】
動作114は、車両106およびオブジェクト108に関連付けられた衝突確率を決定することを含むことができる。例えば、動作114は、予測された軌道110および112にそれぞれ沿って、車両106およびオブジェクト108の移動を進める(例えば、シミュレートする)ことを含むことができる。例116に示されるように、衝突確率は、位置118で決定できる。いくつかの例において、衝突確率は、衝突確率閾値を超えていると決定される可能性がある。いくつかの例において、この衝突確率閾値は、「バックトラッキング」アルゴリズムの開始をトリガする第1の閾値とすることができる。
【0021】
いくつかの例において、衝突確率は、車両106およびオブジェクト108に関連付けられる予測される交点(例えば、時刻TNにおける予測される交点)に関連付けることができる。予測される交点は、道路の狭窄した部分におけるオブジェクト108の位置に関連付けることができる。
【0022】
例116は、車両106およびオブジェクト108が、予測される交点に関連付けられた予測される位置において環境を進んでいる環境を示す。車両106を、予測される交点における予測される位置(例えば、位置S)118に関連付けることができる。オブジェクト108を、予測される交点における予測される時間(例えば、時間TN)120に関連付けることができる。
【0023】
動作122は、車両およびオブジェクトに関連付けられる更新された予測される位置を決定することを含むことができる。車両106に関連付けられる更新された予測される位置は、車両軌道110の「後退」をシミュレートすること(例えば、車両の減速(例えば、減速度)をシミュレートすること)によって決定できる。これらの例では、車両軌道110の「後退」は、予測される位置118より前の新しい予測される位置に関連付けられる車両特性を決定することを含むことができる。
【0024】
オブジェクト108に関連付けられる更新された予測される位置は、オブジェクト軌道112の「前進」をシミュレートする(例えば、オブジェクトがその位置を変更することをシミュレートする)ことによって決定されることができる。これらの例において、オブジェクト軌道112を「前進させること」は、予測される時間120の後の新しい時間におけるオブジェクトに関連付けられるオブジェクト特性を決定することを含むことができる。
【0025】
例124は、車両106およびオブジェクト108が更新された予測される位置で表されるシミュレートされたインスタンスを示す。車両106を、更新された予測される位置(例えば、位置S-D(例えば、位置Sからいくらかの距離Dを引いた))126に関連付けることができる。車両106に関連付けられた更新された予測される位置126を、車両軌道110の「後退」をシミュレートすることによって決定できる。オブジェクト108の更新された予測される位置は、更新された予測される時間128(例えば、時間TN+M(例えば、時間Mに追加の時間Nを足した))に関連付けられることができる。更新された予測される時間128におけるオブジェクト108に関連付けられた更新された予測される位置は、オブジェクト軌道112の「前進」をシミュレートすることによって決定できる。
【0026】
動作130は、衝突確率が衝突確率閾値を超えるか否かを決定することを含むことができる。いくつかの例において、この衝突確率閾値は、動作114に関して上述された閾値(例えば、第1の閾値)とは異なる第2の閾値とすることができる。いくつかの例において、この閾値は、「バックトラッキング」アルゴリズムを終了させるための「終了」閾値であると考えられることができる。第2の閾値は、第1の閾値以下とすることができる。衝突回避アルゴリズムによって決定される衝突確率の数は2つに限定されず、車両に関連付けられたそれぞれの予測される位置およびオブジェクトに関連付けられたそれぞれの予測される時間に関連付けられた任意の数の衝突確率を含むことができる。衝突確率の数が増加する(または衝突確率を決定するための位置間の距離が閾値未満に減少する)につれて、衝突回避アルゴリズムによって利用される決定された衝突確率に関連付けられた確率アプローチは、連続確率アプローチに近づく。連続確率アプローチは、車両の第1の予測される位置から車両の車両開始位置まで「バックトラッキング」することによって、連続経路上の各点に関連付けられる衝突の連続確率を含む。動作130は、第2の閾値以下である衝突確率が決定されるまで、連続経路に関連付けられた各衝突確率について、衝突確率が衝突確率閾値を上回るかどうかを決定できる。
【0027】
動作132は、更新された車両軌道を決定することを含むことができる。更新された車両軌道を、新しい加速度プロファイルに基づいて決定できる。新しい加速度プロファイルを、衝突確率(例えば、動作114で決定された衝突確率)に基づいて決定できる。新しい加速度プロファイルは、車両の加速(例えば、減速)を含むことができる。いくつかの例では、加速度は、ある位置に、またはその前に到達するために、車両を減速または停止させることを含むことができる(例えば、停止する、または最低速を有する車両に関連付けられた第1の位置、または、減速する車両に関連付けられた第2の位置)。
【0028】
したがって、本明細書に記載されるように、道路上のオブジェクトにアプローチする車両は、オブジェクトとの衝突のリスクを低減するように制御できる。衝突のリスクを、車両とオブジェクトとの間の衝突をもたらす可能性のあるオブジェクトの予測される位置に基づいて低減できる。オブジェクトの予測される位置は、オブジェクトが走行している道路の一部における狭窄したエリアに起因して変化するオブジェクトの軌道に基づくことができる。衝突確率を、車両とオブジェクトとの間の予測される交点に基づいて決定できる。予測される交点は、車両の予測される位置およびオブジェクトの予測される位置に関連付けられることができる。予測される交点を、時間における車両の「後退」および位置におけるオブジェクトの「前進」をシミュレートするために利用できる。第2の閾値を下回る衝突確率に基づいて、車両およびオブジェクトのシミュレーションが繰り返して、車両およびオブジェクトの更新された予測される位置を決定できる。更新された予測される位置を、車両とオブジェクトとの間の衝突の低減されたリスクに関連付けることができる。更新された予測される位置に基づいて、車両を制御できる。車両が関連付けられた更新された予測される位置に到達するために、またはその前に、車両を減速または停止するように制御できる。車両を減速または停止することによって、オブジェクトが車両のそばを通過することを可能にできる。
【0029】
図2は、車両およびオブジェクトに関連付けられた衝突確率を決定するための、車両およびオブジェクトのモデルの例を示す図である。
【0030】
図2に示すように、例示的な表現202は、車両軌道を有する車両と、オブジェクト軌道を有するオブジェクトとを含むことができる。いくつかの例では、例示的な表現202は、図1に関連して上述したように、車両106、オブジェクト108、車両軌道110、およびオブジェクト軌道112を含むことができる。
【0031】
例示的な表現204は、車両106に関連付けられた衝突確率を決定するために利用される幾何モデルを示す。幾何モデルは、車両106に関連付けられた幾何表現206と、オブジェクト108に関連付けられた幾何表現208とを含むことができる。いくつかの例では、衝突確率を、幾何表現206と幾何表現208との間の距離に基づいて決定できる。これらの例では、衝突確率を、幾何表現206と幾何表現208との間の重複に基づいて決定できる。重複を、車両106とオブジェクト108との間の交点に関連付けることができる。重複を、x方向およびy方向における相関のない確率に関連して決定できる。重複を、x方向に関連付けられたx方向の衝突確率およびy方向に関連付けられたy方向の衝突確率を決定するために利用できる。x方向の衝突確率にy方向の衝突確率を乗算して、車両106およびオブジェクト108に関連付けられた衝突確率を決定できる。以下でさらに詳細に説明するように、車両106の異なるモデルを利用して、計算を容易にできる。次に、機械学習モデルを利用して、モンテカルロシミュレーションに基づいて補正係数を決定できる。
【0032】
いくつかの例では、車両106を、円として示される幾何表現206によって表すことができる。円の半径は、車両106の幅に基づくことができる。いくつかの例では、円の中心は、車両106のフロントバンパーの中心に基づく、または関連付けられることができる。
【0033】
いくつかの例では、幾何表現206の中心を、車両106のその部分に関してより保守的な衝突の確率を提供するために、車両106の別の部分により近くなるように(例えば、車両の中心により近くなる、またはより遠くなるように)決定できる。
【0034】
いくつかの例では、オブジェクト108は、矩形などの幾何表現208によって表されることができる。矩形はオブジェクトの範囲(例えば、オブジェクトの幅および長さ)に基づくことができる。
【0035】
例204において、表現208の中心から表現206の中心までのオフセットを、第1の次元における変数「k」および第2の次元における変数「h」として表すことができる。
【0036】
また、表現208を、オブジェクト108が特定の時間に特定の位置にある確率を表す累積分布関数(例えば、正規分布関数)に関連付けることができる。車両106がオブジェクト108に衝突する衝突確率を、x方向に関連付けられたx方向衝突確率およびy方向に関連付けられたy方向衝突確率に基づいて決定できる。車両106がオブジェクト108に衝突するx方向の衝突確率を、水平オフセットに基づいて決定できる。x方向の衝突確率を、平均、標準偏差、および正規分布関数に関連付けられた曲線下面積に基づいて決定できる。垂直オフセットに基づいて、車両106がオブジェクト108に衝突するy方向の衝突確率を決定できる。y方向の衝突確率を、平均、標準偏差、および正規分布関数に関連付けられた曲線下面積に基づいて決定できる。x方向の衝突確率にy方向の衝突確率を乗算して、車両106およびオブジェクト108に関連付けられた衝突確率を決定できる。
【0037】
いくつかの例では、車両106とオブジェクト108との間の衝突確率を、上述した垂直オフセットおよび水平オフセットならびに位置確率に基づいて決定できる。衝突確率の初期値を、車両106とオブジェクト108との間の予測される交点に関連付けられるように決定できる。衝突確率の初期値を、幾何表現206と幾何表現208との重複に関連付けられるように決定できる。垂直オフセットおよび水平オフセットのそれぞれのサイズが、幾何表現206の半径のサイズ以下であることに基づいて、重複を決定できる。いくつかの例では、衝突確率の値を、重複の最大サイズ(例えば、幾何表現208の中心と同じ予測される位置を有する幾何表現206の中心)に基づいた最大値であると決定できる。これらの例では、重複のサイズが小さくなる(例えば、垂直オフセットまたは水平オフセットのうちの1つまたは複数のサイズが大きくなる)ことに基づいて、衝突確率の値が小さくなるように決定できる。
【0038】
いくつかの例では、車両106およびオブジェクト108のそれぞれの位置に関連付けられた衝突確率は、例示的な表現210-216に示されるように、幾何表現206に基づいて、および幾何表現208に基づいて決定できる。衝突確率は、例示的な表現210-216に示されるように、幾何表現206と幾何表現208との間の重複に基づいて決定できる。車両106およびオブジェクト108のそれぞれの位置に関連付けられた重複は、幾何表現206のエリアおよびグラフィカル表現208に関連付けられた確率分布に基づくサイズを有することができる。
【0039】
グラフィカル表現206は円のコンテキストで説明されるが、車両106は、計算の複雑さを低減するために、他の形状(正方形および/または長方形など)によって表されることができる。車両106の追加モデルは、例212、214、および216として示される。
【0040】
モデル212は、円の幅に基づいた寸法を有する正方形として表される。図2は、モデルの相対的なサイズを示すために、円を囲む正方形としてモデル212を示す。モデル212のエリアは、円210のエリアより大きいので、このモデルは、衝突確率を過大に推定する。
【0041】
モデル214は、円の幅に基づく寸法を有する正方形として表される。図2は、円によって囲まれた正方形としてモデル214を示す。モデル214のエリアは、円210のエリアより小さいので、このモデルは衝突確率を過小に推定する。
【0042】
モデル216は、正方形の各辺に長方形を伴う正方形として表され、正方形は円の幅に基づく寸法を有する。図2は、モデル216を正方形および円によって囲まれた長方形として示す。モデル216のエリアは、円210のエリアより小さいので、このモデルは、衝突確率を過小に推定する。モデル216のエリアは、モデル214のエリアより大きいので、このモデルが衝突確率を過小に推定する量は、モデル214が衝突確率を過小に推定する量より小さい。このモデルは、モデル214よりも正確に衝突確率を推定する。
【0043】
幾何表現206の4つの例を説明したが、幾何表現206はそれに限定されず、例216における正方形の各辺の長方形に加えて、任意の追加数のポリゴン(例えば、長方形)を含むことができる。いくつかの例では、例216による幾何表現206は、正方形、円、および正方形の各辺の長方形のそれぞれによって囲まれたそれぞれの空白(gap)に長方形を含むことができる。
【0044】
いくつかの例では、車両106およびオブジェクト108のそれぞれの位置に関連付けられた衝突確率は、2つ以上の幾何表現206に関連付けられた衝突確率に基づいて、組み合わされた衝突確率として決定できる。例えば、モデル212を使用して衝突確率を決定することは、衝突確率の過大に推定をもたらす。モデル214または216を使用して衝突確率を決定することは、衝突確率の過小に推定をもたらす。いくつかの例では、これらの過大に推定および過小に推定を組み合わせて、集約または結合された衝突確率を決定できる。
【0045】
いくつかの例では、過大に推定および過小に推定を、より正確な衝突確率を生成するために補正係数によって調整できる。いくつかの例では、補正係数は、車両106、オブジェクト208の範囲、および車両106とオブジェクト108との間のオフセットを表すために使用されるモデルに基づく補正係数を出力するように訓練された機械学習モデルによって生成される、または少なくとも部分的に基づくことができる。例えば、機械学習モデルを訓練するためのグランドトゥルースは、シミュレーション(例えば、モンテカルロシミュレーション)によって生成され、シミュレーションを評価して、衝突が存在したか否かを決定できる。多数のサンプル(例えば、数万)に基づいて、グランドトゥルース衝突確率を特定のモデルパラメータについて決定できる。上述したように、補正係数を、実際のグランドトゥルース衝突確率と過大に推定または過小に推定との間の差に基づいて学習できる。衝突確率を上述したようにシミュレーションに基づいて決定できるが、これに限定されず、任意の他のタイプのモデルに基づいて決定できる。例えば、衝突確率を、ヒューリスティックモデルを利用して決定される補正係数に基づいて決定できる。ヒューリスティックモデルは、補正および集約の任意の組合せを利用できる。例として、任意のタイプの幾何表現(例えば、幾何表現206のいずれか)に関連付けられた初期衝突確率を決定して、次いで、初期衝突確率に基づいて決定される補正係数で補正して、次いで、他の衝突確率(例えば、他の幾何表現(例えば、幾何表現206のいずれか)に関連付けられた任意の衝突確率)で集約できる。別の例として、任意のタイプの幾何表現に関連付けられた初期衝突確率を決定し、次いで、他の衝突確率で集約して、次いで、集約された衝突確率に基づいて決定される補正係数で補正できる。別の例として、任意のタイプの幾何表現に関連付けられた初期衝突確率を決定して、次いで、初期衝突確率に基づいて決定される補正係数で補正して、次いで、他の衝突確率で集約して、次いで、集約された衝突確率に基づいて決定される補正された係数で補正でき、以下同様である。
【0046】
補正係数を決定するために機械学習モデルが使用されると、補正係数を、機械学習モデルによって決定する、またはルックアップテーブルなどの静的な手段で表すことができる。補正係数を、過大推定衝突確率および過小推定衝突確率のそれぞれに関連付けられた正規分布関数に基づく二次曲線を誤差に適合させることによって、誤差に基づいて予測できる。補正係数を、更新された過大推定衝突確率および更新された過小推定衝突確率を決定するために利用できる。更新された過大推定衝突確率および更新された過小推定衝突確率を、共に平均化して、車両106およびオブジェクト108の位置に関連付けられた平均衝突確率を決定できる。平均衝突確率は、過大推定衝突確率または過小推定衝突確率のいずれよりも正確な衝突確率を提供できる。
【0047】
したがって、本明細書に記載されるように、車両およびオブジェクトはそれぞれ、幾何表現としてモデル化できる。車両を、円、円を囲む正方形、円によって囲まれる正方形、または正方形と円によって囲まれる長方形との組合せとして、モデル化できる。オブジェクトを長方形としてモデル化できる。幾何表現を、車両とオブジェクトとの間の予測される衝突に関連付けられた交点を予測するために利用できる。重複における幾何表現間の重複を、衝突確率に関連付けることができる。重複を、円を囲む正方形としてモデル化される車両に基づいて、衝突確率を過大に推定するために利用できる。重複を、円によって囲まれた正方形としてモデル化される車両に基づいて、衝突確率を過小に推定するために利用されることができる。衝突確率の過大に推定と過小に推定を組み合わせて、平均衝突確率を決定できる。平均衝突確率は、衝突確率の過大に推定と過小に推定よりも高い精度で、衝突確率を推定できる。車両を平均衝突確率に基づいて制御して、オブジェクトとの衝突のリスクを低減できる。
【0048】
図3は、加速度を決定し、加速度に少なくとも部分的に基づいて車両を制御する例示的なプロセスの画像フロー図である。
【0049】
動作302は、車両およびオブジェクトのそれぞれに関連付けられた位置(例えば、予測される位置)の衝突確率を決定することを含むことができる。衝突確率が第1の閾値(例えば、開始閾値)を超える場合、動作302は、車両の「後退」およびオブジェクトの「前進」を含む衝突回避アルゴリズムを実行することを含むことができる。衝突確率が第2の閾値(例えば、終了閾値)を下回る場合、衝突回避アルゴリズムを終了できる。
【0050】
上述したように、衝突回避アルゴリズムを、車両軌道の「後退」およびオブジェクト軌道の「前進」をシミュレートすることに基づいて衝突確率を決定するために利用できる。「後退」および「前進」に基づく衝突確率を、車両に関連付けられた早期の予測される位置(earlier predicted location)およびオブジェクトに関連付けられた後続の予測される時間(subsequent predicted time)に基づいて決定できる。衝突回避アルゴリズムを、衝突確率が第2の閾値(例えば、10%)以下であると決定されるまで、「後退」および「前進」をシミュレートし続けるために利用できる。
【0051】
実施例304は、衝突回避アルゴリズムに従って衝突確率を決定することを示す。2つのシナリオが示されているが、衝突確率が第2の閾値を超えることに基づいて、任意の数のシナリオをシミュレートできる。
【0052】
例304は、衝突確率が、予測される交点に関連付けられた時間に決定されることができる環境を含むシナリオ306を含むことができる。衝突確率を、衝突回避アルゴリズムを利用することによって決定できる。衝突確率を、予測される交点におけるオブジェクト108に関連付けられた初期の時間(例えば、TN)308、および予測される交点における車両106に関連付けられた初期の予測される位置(例えば、S1)310に基づいて決定できる。いくつかの例では、衝突確率を、「バックトラッキング」アルゴリズムの開始をトリガする第1の閾値を超えると決定できる。
【0053】
例304は、衝突確率が、予測される交点に関連付けられた時間の後の時間に決定されることができる環境を含むシナリオ312を含むことができる。衝突回避アルゴリズムを、車両軌道の「後退」およびオブジェクト軌道の「前進」をシミュレートすることに基づいて衝突確率を決定するために利用できる。「後退」および「前進」に基づく衝突確率を、車両106に関連付けられた早期の予測される位置(例えば、S2)314およびオブジェクト108に関連付けられた後続の予測される時間(TN+M)316に基づいて決定できる。衝突回避アルゴリズムは、衝突確率が「バックトラッキング」アルゴリズムを終了させるための第2の閾値より小さいか等しいかを決定できる。
【0054】
動作318は、初期の予測される位置および早期の予測される位置のそれぞれにおける車両に関連付けられた速度を決定することを含むことができる。いくつかの例では、初期の予測される位置に関連付けられた速度および衝突確率を、第1の閾値を上回ると決定される衝突確率に基づいて決定できる。早期の予測される位置に関連付けられた速度および衝突確率を、第1の閾値(例えば、速度0)における車両に関連付けられた速度と、第2の閾値(例えば、元の車両軌道の速度)における車両に関連付けられた速度との間の内挿(interpolation)に基づいて決定できる。上述したように、第1の閾値を、停止中の車両に関連付けることができる。第2の閾値を、速度(例えば、元の車両軌道の速度から変更されていない速度)を維持している車両に関連付けることができる。いくつかの例では、「バックトラッキング」アルゴリズムは、それ以下では車両が移動しない最小速度を含むことができる。衝突回避アルゴリズムを最小速度に関連付けることができる。これらの例では、第1の閾値を、速度0の代わりに最小速度での車両の移動に関連付けることができる。
【0055】
例320は、衝突確率に関して車両の速度を描く(plotting)グラフを示す。初期の予測される位置(例えば、S1)310における車両106に関連付けられた速度322が決定されることができる。早期の予測される位置(例えば、S2)314における車両106に関連付けられた速度324を、決定できる。衝突回避アルゴリズムを、初期の予測される位置310における車両106に関連付けられた速度322に関連付けられた衝突確率326を決定するために利用できる。衝突回避アルゴリズムを、早期の予測される位置314における車両106に関連付けられた速度324に関連付けられた衝突確率328を決定するために利用できる。早期の予測される位置310に関連付けられた速度324および衝突確率328は、第1の閾値での車両106に関連付けられた速度322と第2の閾値での車両に関連付けられた速度(例えば、元の車両軌道の速度)との間の内挿に基づいて決定できる。内挿は、線形内挿、二次内挿などの任意のタイプの内挿を含むことができる。上述したように、第1の閾値は、停止中の車両または最低速での車両の移動に関連付けられることができる。第2の閾値は、速度を維持する(例えば、速度を変更しない)車両に関連付けられることができる。
【0056】
動作332は、車両に関連付けられた速度および現在位置(例えば、開始位置)に基づいて加速度を決定することを含むことができる。車両を制御するための加速度は、車両が第1の位置に到達したときに第1の速度を有するように車両を制御するために利用される第1の加速度を含むことができる。いくつかの例では、第1の加速度を、車両を停止させるため、または第1の位置において第1の速度(例えば、最小速度(例えば、0m/s、1m/s、2m/sなど))を有するように車両を制御するために利用できる。あるいは、加速度は、第2の位置で第2の速度を有するように減速するように車両を制御するために利用される第2の加速度を含むことができる。車両を制御するための加速度は、衝突回避アルゴリズムによって現在の位置に最も近いと決定された位置に関連する最も保守的な加速度を含むことができる。最も保守的な加速度は、第2の位置よりも現在の位置に近い第1の位置、またはその逆に基づいて、第1の位置に関連付けられた第1の加速度を含むことができる。
【0057】
動作334は、加速度(例えば、最も保守的な加速度)に基づいて車両を制御することを含むことができる。いくつかの例では、最も保守的な加速度を、車両が同じ時間内に最低限の距離を移動することに関連付けられた加速度として決定できる。最も保守的な加速度は、車両が停止し、減速または停止後の車両の位置と車両の現在の位置との間の最短の距離をもたらす位置を超えて移動しないことに関連付けられた加速度として決定できる。いくつかの例では、最も保守的な加速は、第1の位置が第2の位置よりも現在の位置に近いことに基づく第1の位置に関連付けられた第1の加速度を含むことができる。いくつかの例では、最も保守的な加速度は、第1の位置よりも現在の位置に近い第2の位置に基づく第2の位置に関連付けられた第2の加速度を含むことができる。第1の加速度は、第1の位置で停止すること、または第1の速度(例えば、最小速度)を有するように制御される車両に関連付けることができる。あるいは、第2の加速度を、第2の位置で第2の速度を有するように減速するように制御される車両に関連付けることができる。
【0058】
したがって、本明細書で説明するように、衝突回避アルゴリズムを利用して、衝突確率、ならびに車両に関連付けられた速度および/または加速度を決定できる。車両を制御するために利用される加速度は、最も保守的な加速度であり、i)車両を停止させる、または車両を最低速まで減速させる、ii)内挿によって決定される速度まで車両を減速させる、またはiii)車両が元の車両軌道の速度を継続させることを可能にする、ことを含むことができる。車線から外れたオブジェクト(例えば、車両が位置する車線に隣接する車線に戻ってくるオブジェクト)による衝突のリスクが高くないと決定しつつ、車両の進行方向の移動を最適化する。
【0059】
図4Aおよび図4Bは、車両に関連付けられた衝突確率に基づいて選択できる車両軌道およびアクションの例を示す図である。図1に関連して上述したように、車両軌道を車両106に関連付けることができ、オブジェクト軌道をオブジェクト108に関連付けることができる。
【0060】
図4Aに示すように、車両の計画システムは、車両が単一の車線を進むための複数の軌道を決定できる。すなわち、計画システムは、環境内の車両の位置に基づいて複数の軌道を考慮できる。各軌道は、衝突回避アルゴリズムによって評価され、環境全体にわたる車両の安全な動作を決定できる。いくつかの例では、本明細書で説明した技術によって決定された加速は、軌道に関連するコストを評価するときに使用されることができ、したがって、軌道を、最低コストに基づいて選択または決定できる。例えば、オブジェクト108に近い方に偏った軌道は、衝突確率が増加するので、減少された速度を有することができる。したがって、他の考慮事項がなければ、オブジェクト108から離れた方に偏った軌道を、より高速になる(例えば、移動時間が短縮される)ので、選択できる。
【0061】
図4Bは、本明細書で説明するように、衝突回避アルゴリズムに基づいて、異なるアクション(例えば、車線を左に変更する、車線に留まる、車線を右に変更する)を評価できる同様の動作を示す。
【0062】
したがって、本明細書で説明するように、衝突回避アルゴリズムを、車両を制御するために利用されるより複雑な決定を行うために利用できる。車線を有する道路に、同じ方向に交通移動がある他の車線が含まれていない場合、車両が位置している車線内の位置を変更するように、車両を制御できる。または、車線変更のコストが車線にとどまるコストよりも低い場合に、減速または停止する代わりに車線を変更するように、車両を制御できる。車線変更のコストは、車線を変更することによって、同じ車線にとどまることによってよりも高い速度を有するように、車両を制御できる場合に、より低くすることができる。
【0063】
図5は、本明細書に記載される技術を実装するための例示的なシステムのブロック図である。少なくとも1つの例において、システム500は、車両502を含むことができる。図示される例示的なシステム500において、車両502は自律車両であるが、車両502を任意の他のタイプの車両とすることができる。
【0064】
車両502は、米国運輸省道路交通安全局によって発行されたレベル5の分類に従って動作するように構成された自律車両などの無人車両とすることができ、これは、全走行にわたってすべての安全上重要な機能を実行することが可能であり、運転者(または乗員)がいつでも車両を制御することを期待していない車両を記述する。このような例では、車両502は、全駐車機能を含む、走行の開始から完了までのすべての機能を制御するように構成できるため、運転者、および/またはステアリングホイール、加速ペダル、および/またはブレーキペダルなどの車両502を駆動するための制御装置を含まない可能性がある。これは単なる例であり、本明細書に記載されたシステムおよび方法は、運転者によって常に手動で制御される必要がある車両から、部分的または完全に自律して制御される車両までの範囲を含む、あらゆる陸上、空中、または水上の車両に組み込むことができる。
【0065】
車両502は、1つまたは複数のコンピューティングデバイス504、1つまたは複数のセンサシステム506、1つまたは複数のエミッタ508、1つまたは複数の通信接続部510(通信デバイスおよび/またはモデムとも呼ばれる)、少なくとも1つの直接接続部512(例えば、車両502と物理的に結合してデータを交換し、および/または電力を供給するための)、および1つまたは複数の駆動システム514を含むことができる。1つまたは複数のセンサシステム506は、環境に関連付けられたセンサデータをキャプチャするように構成されることができる。
【0066】
1つまたは複数のセンサシステム506は、飛行時間センサ、位置センサ(例えば、GPS、コン経路など)、慣性センサ(例えば、慣性測定ユニット(IMU)、加速度計、磁力計、ジャイロスコープなど)、lidarセンサ、radarセンサ、sonarセンサ、赤外線センサ、カメラ(例えば、RGB、IR、強度、深度など)、マイクロホンセンサ、環境センサ(例えば、温度センサ、湿度センサ、光センサ、圧力センサなど)、超音波トランスデューサー、ホイールエンコーダ、などを含むことができる。1つまたは複数のセンサシステム506は、これらのまたは他のタイプのセンサのそれぞれの複数のインスタンスを含むことができる。例えば、飛行時間センサは、車両502のコーナー、前部、後部、側部、および/または上部に配置された個々の飛行時間センサを含むことができる。別の例として、カメラセンサは、車両502の外部および/または内部の周りの様々な位置に配置された複数のカメラを含むことができる。1つまたは複数のセンサシステム506は、コンピューティングデバイス504に入力を提供できる。
【0067】
車両502はまた、光および/または音を放射するための1つまたは複数のエミッタ508を含むことができる。この例における1つまたは複数のエミッタ508は、車両502の乗員と通信するための内部オーディオおよびビジュアルエミッタを含む。限定ではなく例として、内部エミッタは、スピーカ、ライト、サイン、ディスプレイスクリーン、タッチスクリーン、ハプティックエミッタ(例えば、振動および/またはフォースフィードバック)、機械的アクチュエータ(例えば、シートベルトテンショナ、シートポジショナ、ヘッドレストポジショナなど)などを含むことができる。この例における1つまたは複数のエミッタ508は、外部エミッタも含む。限定ではなく例として、この例における外部エミッタは、進行方向または車両の動作の他のインジケータに信号を送るライト(例えば、インジケータライト、標識、ライトアレイなど)と、歩行者または他の近くの車両と可聴的に通信するための1つまたは複数のオーディオエミッタ(例えば、スピーカ、スピーカアレイ、ホーンなど)とを含み、そのうちの1つまたは複数が音響ビームステアリング技術を含むことができる。
【0068】
車両502はまた、車両502と、1つまたは複数の他のローカルまたはリモートコンピューティングデバイス(例えば、リモート遠隔操作コンピューティングデバイス)またはリモートサービスとの間の通信を可能にする1つまたは複数の通信接続部510を含むことができる。例えば、1つまたは複数の通信接続部510は、車両502および/または1つまたは複数の駆動システム514上の他のローカルコンピューティングデバイスとの通信を容易にできる。また、1つまたは複数の通信接続部510は、車両502が他の近くのコンピューティングデバイス(例えば、他の近くの車両、交通信号など)と通信することを可能にできる。
【0069】
1つまたは複数の通信接続部510は、コンピューティングデバイス504を別のコンピューティングデバイスまたは1つまたは複数の外部ネットワーク542(例えば、インターネット)に接続するための物理的および/または論理的インターフェースを含むことができる。例えば、1つまたは複数の通信接続部510は、IEEE802.11標準によって定義される周波数を介するなどのWi-Fi(登録商標)ベースの通信、Bluetooth(登録商標)などの短距離無線周波数、セルラー通信(例えば、2G、3G、4G、4G LTE、5Gなど)、衛星通信、専用短距離通信(DSRC)、またはそれぞれのコンピューティングデバイスが他のコンピューティングデバイスとインターフェースすることを可能にする任意の適切な有線または無線通信プロトコル、を可能にできる。
【0070】
少なくとも1つの例において、車両502は、1つまたは複数の駆動システム514を含むことができる。いくつかの例において、車両502は、単一の駆動システム514を有することができる。少なくとも1つの例において、車両502が複数の駆動システム514を有する場合、個々の駆動システム514を、車両502の両端(例えば、前方および後方など)に配置できる。少なくとも1つの例において、駆動システム514は、駆動システム514および/または車両502の周囲のコンディションを検出するための1つまたは複数のセンサシステム506を含むことができる。限定ではなく例として、センサシステム506は、駆動システムの車輪の回転を感知するための1つまたは複数の車輪エンコーダ(例えば、回転エンコーダ)、駆動システムの方向および加速度を測定するための慣性センサ(例えば、慣性測定ユニット、加速度計、ジャイロスコープ、磁力計など)、カメラまたはその他の画像センサ、駆動システムの周囲のオブジェクトを音響的に検出するための超音波センサ、lidarセンサ、radarセンサなどを含むことができる。車輪エンコーダなどのいくつかのセンサは、駆動システム514に固有とすることができる。場合によっては、駆動システム514上のセンサシステム506は、車両502の対応するシステム(例えば、センサシステム506)とで重複する、または補足することができる。
【0071】
駆動システム514は、高電圧バッテリ、車両を推進するためのモータ、バッテリからの直流を他の車両システムによって使用される交流に変換するためのインバータ、ステアリングモータおよびステアリングラックを含むステアリングシステム(電気式とすることができる)、油圧または電気アクチュエータを含むブレーキシステム、油圧および/または空気圧コンポーネントを含むサスペンションシステム、ブレーキ力を分配してトラクションの損失を軽減し、制御を維持するためのスタビリティコントロールシステム、HVACシステム、照明(例えば、車両の外部周囲を照明するためのヘッド/テールライトなどの照明)、および1つまたは複数の他のシステム(例えば、冷却システム、安全システム、車載充電システム、DC/DCコンバータなどの他の電気コンポーネント、高電圧接合部、高電圧ケーブル、充電システム、充電ポートなど)を含む多くの車両システムを含むことができる。さらに、駆動システム514は、センサシステム506からデータを受信して前処理し、様々な車両システムの動作を制御できる駆動システムコントローラを含むことができる。いくつかの例では、駆動システムコントローラは、1つまたは複数のプロセッサと、1つまたは複数のプロセッサに通信可能に結合されたメモリとを含むことができる。メモリは、駆動システム514の様々な機能を実行するための1つまたは複数のコンポーネントを格納できる。さらに、駆動システム514はまた、それぞれの駆動システムによる1つまたは複数の他のローカルまたはリモートコンピューティングデバイスとの通信を可能にする1つまたは複数の通信接続部を含む。
【0072】
コンピューティングデバイス504は、1つまたは複数のプロセッサ516と、1つまたは複数のプロセッサ516と通信可能に結合されたメモリ518とを含むことができる。図示の例では、コンピューティングデバイス504のメモリ518は、位置推定コンポーネント520、知覚コンポーネント522、予測コンポーネント534、衝突回避コンポーネント524を含む計画コンポーネント536、マップコンポーネント538、および1つまたは複数のシステムコントローラ540を格納する。例示の目的のためにメモリ518内に存在するように示されているが、位置推定コンポーネント520、知覚コンポーネント522、衝突回避コンポーネント524、予測コンポーネント534、計画コンポーネント536、マップコンポーネント538、および1つまたは複数のシステムコントローラ540は、追加的に、または代替的に、コンピューティングデバイス504にアクセス可能(例えば、車両502の異なるコンポーネントに格納される)および/または車両502にアクセス可能(例えば、リモートに格納される)とすることができることが企図される。
【0073】
コンピューティングデバイス504のメモリ518において、位置推定コンポーネント520は、センサシステム506からデータを受信して車両502の位置を決定する機能を含むことができる。例えば、位置推定コンポーネント520は、環境の3次元マップを含むこと、および/または要求/受信することができ、マップ内の自律車両の位置を連続的に決定できる。いくつかの例において、位置推定コンポーネント520は、SLAM(同時位置推定およびマッピング)またはCLAMS(同時較正、位置推定およびマッピング)を使用して、飛行時間データ、画像データ、lidarデータ、radarデータ、sonarデータ、IMUデータ、GPSデータ、ホイールエンコーダデータ、またはそれらの任意の組合せなどを受信して、自律車両の位置を正確に決定できる。いくつかの例では、位置推定コンポーネント520は、本明細書で説明するように、軌道を生成するための自律車両の初期位置を決定するために、車両502の様々なコンポーネントにデータを提供できる。
【0074】
知覚コンポーネント522は、オブジェクト検出、セグメント化、および/または分類を実行する機能を含むことができる。いくつかの例では、知覚コンポーネント522は、車両502に近接するエンティティの存在、および/またはエンティティタイプ(例えば、乗用車、歩行者、自転車、建物、樹木、路面、縁石、歩道上路、未知など)としてのエンティティの分類を示す処理済みセンサデータを提供できる。追加および/または代替の例では、知覚コンポーネント522は、検出されたエンティティおよび/またはエンティティが位置する環境に関連付けられた1つまたは複数の特性を示す処理済みセンサデータを提供できる。いくつかの例では、エンティティに関連付けられた特徴は、x位置(グローバル位置)、y位置(グローバル位置)、z位置(グローバル位置)、向き、エンティティタイプ(例えば、分類)、エンティティの速度、エンティティの範囲(サイズ)などを含むことができるが、これらに限定されない。環境に関連する特徴は、環境内の別のエンティティの存在、環境内の別のエンティティの状態、時刻、曜日、季節、気象条件、暗さ/光の表示などを含むことができるが、これらに限定されない。
【0075】
上述したように、知覚コンポーネント522は、知覚アルゴリズムを使用して、センサデータに基づいて環境内のオブジェクトに関連付けられた知覚ベースの境界ボックスを決定できる。例えば、知覚コンポーネント522は、画像データを受信し、画像データを分類して、オブジェクトが画像データ内に表されていることを決定できる。次いで、検出アルゴリズムを使用して、知覚コンポーネント522は、オブジェクトに関連付けられた2次元境界ボックスおよび/または知覚ベースの3次元境界ボックスを生成できる。知覚コンポーネント522はさらに、オブジェクトに関連付けられた3次元境界ボックスを生成できる。上述のように、3次元境界ボックスは、オブジェクトに関連付けられた位置、向き、姿勢、および/またはサイズ(例えば、サイズ、幅、高さなど)などの追加情報を提供できる。
【0076】
知覚コンポーネント522は、知覚コンポーネント522によって生成された知覚データを格納する機能を含むことができる。いくつかの例において、知覚コンポーネント522は、オブジェクトタイプとして分類されたオブジェクトに対応している軌道を決定できる。例示のみを目的として、知覚コンポーネント522は、センサシステム506を使用して、環境の1つまたは複数の画像をキャプチャできる。センサシステム506は、歩行者などのオブジェクトを含む環境の画像をキャプチャできる。歩行者は、時間Tで第1の位置にあり、時間T+tで第2の位置にあることができる(例えば、時間Tの後の時間期間tの間の移動)。換言すれば、歩行者は、このタイムスパンの間に、第1の位置から第2の位置に移動できる。このような移動は、例えば、オブジェクトに関連する格納された知覚データとして記録できる。
【0077】
格納された知覚データは、いくつかの例では、車両によってキャプチャされた融合された知覚データを含むことができる。融合された知覚データは、画像センサ、lidarセンサ、radarセンサ、飛行時間センサ、sonarセンサ、全地球測位システムセンサ、内部センサ、および/またはこれらの任意の組合せなど、センサシステム506からのセンサデータの融合または他の組合せを含むことができる。格納された知覚データは、追加的または代替的に、センサデータ内で表されるオブジェクト(例えば、歩行者、車両、建物、路面など)の意味的分類を含む分類データを含むことができる。格納された知覚データは、追加的または代替的に、環境を通る動的オブジェクトとして分類されるオブジェクトの動きに対応する軌道データ(位置、方向、センサ特徴など)を含むことができる。軌道データは、経時的な複数の異なるオブジェクトの複数の軌道を含むことができる。この軌道データを、オブジェクトが静止している(例えば、静止している)、または移動している(例えば、歩いている、走っているなど)場合に、特定の種類のオブジェクト(例えば、歩行者、動物など)の画像を識別するためにマイニングできる。この例では、コンピューティングデバイスは、歩行者に対応する軌道を決定する。
【0078】
衝突回避コンポーネント524は、衝突回避アルゴリズムを利用して、車両を制御するための加速度を計算またはそうでなければ決定する機能を含むことができる。衝突回避コンポーネント524は、車両およびオブジェクトに関連付けられた衝突確率を決定できる。衝突回避コンポーネント524は、車両およびオブジェクトに関連付けられた予測される交点に基づいて衝突確率を決定できる。衝突回避コンポーネント524は、衝突確率が第1の閾値に等しい、またはそれより大きいことを決定できる。衝突回避コンポーネント524は、車両軌道の「後退」およびオブジェクト軌道の「前進」をシミュレートできる。衝突回避コンポーネント524は「後退」および「前進」をシミュレートして、車両に関連付けられた更新された予測される位置およびオブジェクトに関連付けられた更新された予測される時間、に関連付けられた衝突確率を決定できる。衝突回避コンポーネント524は「後退」および「前進」のシミュレーションを反復的に繰り返して、第2の閾値に満たない衝突確率に基づいて、車両およびオブジェクトの更新された予測される位置を決定できる。
【0079】
衝突回避コンポーネント524は、衝突確率に関して車両の速度を決定できる。初期の予測される位置における車両に関連付けられた速度を決定できる。初期の予測される位置における車両に関連付けられた速度と、現在位置(例えば、開始位置)における車両に関連付けられた元の速度との間の内挿に基づいて、早期の予測される位置の車両に関連付けられた速度を決定できる。
【0080】
衝突回避コンポーネント524は、車両に関連付けられた速度および現在位置に基づいて、車両を制御するための加速度を決定できる。車両を制御するための加速度は、車両が第1の位置に到達したときに第1の速度を有するように車両を制御するために利用される第1の加速度を含むことができる。いくつかの例では、第1の加速度を、車両を停止するために利用する、または第1の位置において第1の速度(例えば、最小速度(例えば、0m/s、1m/s、2m/sなど))を有するように車両を制御するために利用できる。あるいは、加速度は、第2の位置で第2の速度を有するように減速するように車両を制御するために利用される第2の加速度を含むことができる。車両を制御するための加速度は、衝突回避アルゴリズムによって現在の位置に最も近いと決定された位置に関連付けられた最も保守的な加速度を含むことができる。最も保守的な加速度は、第2の位置よりも現在の位置に近い第1の位置、またはその逆に基づいて、第1の位置に関連する第1の加速度を含むことができる。
【0081】
予測コンポーネント534は、環境内の1つまたは複数のオブジェクトの可能な位置の予測確率を表す1つまたは複数の確率マップを生成できる。例えば、予測コンポーネント534は、車両502からの閾値距離内の車両、歩行者、動物などの1つまたは複数の確率マップを生成できる。いくつかの例では、予測コンポーネント534は、オブジェクトの軌道を測定し、観測および予測された挙動に基づいて、離散化された予測確率マップ、ヒートマップ、確率分布、離散化された確率分布、および/またはオブジェクトについての軌道を生成できる。いくつかの例では、1つまたは複数の確率マップは、環境内の1つまたは複数のオブジェクトの意図を表すことができる。
【0082】
計画コンポーネント536は、車両502が環境を進むために辿る経路を決定できる。例えば、計画コンポーネント536は、様々なルートおよび経路、ならびに様々な詳細レベルを決定できる。いくつかの例では、計画コンポーネント536は、第1の位置(例えば、現在の位置)から第2の位置(例えば、目標位置)まで移動するルートを決定できる。この説明の目的のために、ルートは、2つの位置間を移動するための一連の経由地点とすることができる。非限定的な例として、経由地点は、通り、交差点、全地球測位システム(GPS)座標などを含む。さらに、計画コンポーネント536は、第1の位置から第2の位置までのルートの少なくとも一部に沿って自律車両をガイドするための命令を生成できる。少なくとも1つの例において、計画コンポーネント536は、一連の経由地点における第1の経由地点から一連の経由地点における第2の経由地点までどのように自律車両をガイドするかを決定できる。いくつかの例において、命令は、経路、または経路の一部とすることができる。いくつかの例において、複数の経路を、a receding horizon技術に従って(すなわち、技術的許容範囲内で)実質的に同時に生成できる。最も高い信頼レベルを有するa receding data horizon内の複数の経路のうちの1つの経路を、車両を運転するために選択できる。
【0083】
他の実施形態では、計画コンポーネント536は、代替的に、または追加的に、知覚コンポーネント522および/または予測コンポーネント534からのデータを使用して、車両502が環境を進むために従うべき経路を決定できる。例えば、計画コンポーネント536は、環境に関連付けられたオブジェクトに関するデータを知覚コンポーネント522および/または予測コンポーネント534から受信できる。このデータを使用して、計画コンポーネント536は、環境内のオブジェクトを回避するために、第1の位置(例えば、現在の位置)から第2の位置(例えば、目標位置)まで移動するルートを決定できる。少なくともいくつかの例において、そのような計画コンポーネント536は、そのような衝突のない経路が存在しないことを決定し、次に、すべての衝突を回避し、および/またはそうでなければ損傷を軽減する安全な停止に車両502を導く経路を提供できる。
【0084】
メモリ518は、環境内をナビゲートするために車両502によって使用できる1つまたは複数のマップ538をさらに含むことができる。この説明の目的のために、マップは、2次元、3次元、またはN次元でモデル化された任意の数のデータ構造とすることができ、これらに限定されないが、トポロジ(交差点など)、通り、山脈、道路、地形、および一般的な環境など、環境に関する情報を提供することが可能である。いくつかの例では、マップは、限定されないが、共分散データ(例えば、多重解像度ボクセル空間で表される)、テクスチャ情報(例えば、色情報(例えば、RGB色情報、Lab色情報、HSV/HSL色情報)など)、強度情報(例えば、LIDAR情報、RADAR情報など)、空間情報(例えば、メッシュ上に投影される画像データ、個々の「サーフェル」(例えば、個々の色および/または強度に関連付けられたポリゴン))、反射率情報(例えば、鏡面反射性情報、再帰反射性情報、BRDF情報、BSSRDF情報など)を含むことができる。一例では、マップは、環境の3次元メッシュを含むことができる。いくつかの例では、本明細書で説明するように、マップの個々のタイルが環境の個別の部分を表すように、マップをタイルフォーマットで格納でき、必要に応じて作業メモリにロードできる。少なくとも1つの例では、1つまたは複数のマップ538は、少なくとも1つのマップ(例えば、画像および/またはメッシュ)を含むことができる。いくつかの例では、車両502をマップ538に少なくとも部分的に基づいて制御できる。すなわち、マップ538は、位置推定コンポーネント520、知覚コンポーネント522(およびサブコンポーネント)、予測コンポーネント534、および/または計画コンポーネント536と関連して使用されて、車両502の位置を決定し、環境内のオブジェクトを識別し、オブジェクトおよび/または車両502に関連付けられた予測を生成し、および/または環境内をナビゲートするためのルートおよび/または軌道を生成できる。
【0085】
少なくとも1つの例において、コンピューティングデバイス504は、1つまたは複数のシステムコントローラ540を含むことができ、これは、車両502のステアリング、推進、制動、安全、エミッタ、通信、および他のシステムを制御するように構成できる。これらのシステムコントローラ540は、駆動システム514および/または車両502の他のコンポーネントの対応するシステムと通信および/または制御でき、これは、計画コンポーネント536から提供される経路に従って動作するように構成できる。
【0086】
車両502は、ネットワーク542を介してコンピューティングデバイス544に接続できる、1つまたは複数のプロセッサ546と、1つまたは複数のプロセッサ546と通信可能に結合されたメモリ548とを含むことができる少なくとも1つの例では、1つまたは複数のプロセッサ546は、プロセッサ516と同様とすることができ、メモリ548はメモリ518と同様とすることができる。図示の例では、コンピューティングデバイス544のメモリ548は、遠隔操作コンポーネント550および/またはモデルコンポーネント552を格納する。少なくとも1つの例では、モデルコンポーネント552は、経験的試験および/またはシミュレーションの後、本明細書で説明するように、知覚コンポーネント522によって使用されるMLモデルを生成できる。説明のためにメモリ548内に存在するように示されているが、遠隔操作コンポーネント550およびモデルコンポーネント552は、追加的に、または代替的に、コンピューティングデバイス544にアクセス可能であること(例えば、コンピューティングデバイス544の異なるコンポーネントに格納される、)および/またはコンピューティングデバイス544にアクセス可能である(例えば、リモートに格納される)ことができる企図される。
【0087】
モデルコンポーネント552は、本明細書で説明するように、マルチチャネル画像データの高さ/分類を決定するためのモデルを生成する機能を含むことができる。
【0088】
コンピューティングデバイス504のプロセッサ516およびコンピューティングデバイス544のプロセッサ546は、本明細書で説明するように、データを処理し、動作を実行するための命令を実行することが可能な任意の適切なプロセッサとすることができる。限定ではなく例として、プロセッサ516および546は、1つまたは複数の中央処理装置(CPU)、グラフィックス処理装置(GPU)、または電子データを処理して、その電子データを、レジスタおよび/またはメモリに格納できる他の電子データに変換する任意の他の装置または装置の一部を含むことができる。いくつかの例では、集積回路(例えば、ASICなど)、ゲートアレイ(例えば、FPGAなど)、および他のハードウェアデバイスも、それらが符号化された命令を実装するように構成されている限り、プロセッサとみなすことができる。
【0089】
コンピューティングデバイス504のメモリ518およびコンピューティングデバイス544のメモリ548は、非一時的コンピュータ可読媒体の実施例である。メモリ518および548は、本明細書に記載される方法および様々なシステムに起因する機能を実装するための、オペレーティングシステムおよび1つまたは複数のソフトウェアアプリケーション、命令、プログラム、および/またはデータを格納できる。様々な実施形態において、メモリ518および548は、静的ランダムアクセスメモリ(SRAM)、同期式ダイナミックRAM(SDRAM)、不揮発性/フラッシュ型メモリ、または情報を格納することが可能な他の任意のタイプのメモリなど、任意の適切なメモリ技術を使用して実装できる。本明細書に記載されるアーキテクチャ、システム、および個々の要素は、多くの他の論理的、プログラム的、および物理的コンポーネントを含み、添付の図面に示されるものは、本明細書の説明に関連する単なる例であることができる。
【0090】
いくつかの例において、本明細書で議論されるコンポーネントのいくつかまたは全ての態様は、任意のモデル、アルゴリズム、および/または機械学習アルゴリズムを含むことができる。例えば、いくつかの例において、メモリ518および548内のコンポーネントを、ニューラルネットワークとして実装できる。
【0091】
本明細書に記載されるように、例示的なニューラルネットワークは、入力データを一連の接続された層を通過させて出力を生成する、生物学的に着想されたアルゴリズムである。ニューラルネットワーク内の各層は、別のニューラルネットワークも含むことができ、また任意の数の層(畳み込みであるか否かにかかわらず)を含むことができる。本開示のコンテキストにおいて理解できるように、ニューラルネットワークは、機械学習を利用でき、学習されたパラメータに基づいて出力が生成されるようなアルゴリズムの広範なクラスを指すことができる。
【0092】
ニューラルネットワークのコンテキストにおいて議論されるが、任意のタイプの機械学習を、本開示と一致して使用できる。例えば、機械学習または機械学習アルゴリズムは、限定されないが、回帰アルゴリズム(例えば、通常の最小二乗回帰(OLSR)、線形回帰、ロジスティック回帰、ステップワイズ回帰、多変数適応回帰スプライン(MARS)、局所推定散乱プロット平滑化(LOESS))、インスタンスベースのアルゴリズム(例えば、リッジ回帰、最小絶対収縮および選択演算子(LASSO)、弾性ネット、最小角度回帰(LARS))、決定木アルゴリズム(例えば、分類および回帰木(CART)、ID3(Iterative Dichotomiser 3)、カイ二乗自動相互関係検出(CHAID)、決定スタンプ、条件付き決定木)、ベイズアルゴリズム(例えば、ナイーブベイズ、ガウスナイーブベイズ、多項ナイーブベイズ、平均1依存推定量(AODE)、ベイズ信念ネットワーク(BNN)、ベイズネットワーク)、クラスタリングアルゴリズム(例えば、k平均、k中央値、期待値最大化(EM)、階層的クラスタリング)、相関ルール学習アルゴリズム(例えば、パーセプトロン、逆伝搬、ホップフィールドネットワーク、動径基底関数ネットワーク(RBFN))、深層学習アルゴリズム(例えば、ディープボルツマンマシン(DBM)、ディープ信念ネットワーク(DBN)、畳み込みニューラルネットワーク(CNN)、スタック型自動エンコーダ)、次元削減アルゴリズム(例えば、主成分分析(PCA)、主成分回帰(PCR)、部分最小二乗回帰(PLSR)、サモンマッピング、多次元スケーリング(MDS)、射影追跡、線形判別分析(LDA)、混合判別分析(MDA)、二次判別分析(QDA)、柔軟判別分析(FDA))、アンサンブルアルゴリズム(例えば、ブースティング、ブートストラップ集約(バギング)、アダブースト、スタック型汎化(ブレンディング)、勾配ブースティングマシン(GBM)、勾配ブースティング回帰ツリー(GBRT)、ランダムフォレスト)、SVM(サポートベクトルマシン)、教師付き学習、教師なし学習、半教師付き学習などを含むことができる。
【0093】
図6は、衝突予測を決定し、衝突予測に少なくとも部分的に基づいて自律車両を制御するための例示的なプロセスである。
【0094】
動作602において、プロセスは、環境内の自律車両上のセンサによってキャプチャされたセンサデータを受信することを含むことができる。センサデータは、自律車両が車両開始位置に位置していることに基づいて、自律車両が走行している環境に関連付けられたデータを含むことができる。
【0095】
動作604において、プロセスは、センサデータが環境内のオブジェクトを表すことを決定することを含むことができる。センサデータは、オブジェクト開始位置に位置しているオブジェクトに関連付けられたデータを含むことができる。
【0096】
動作606において、プロセスは、オブジェクトに関連付けられた予測オブジェクト軌道を決定することを含むことができる。予測オブジェクト軌道は、オブジェクトの移動を含むことができる。
【0097】
動作608において、プロセスは、自律車両に関連付けられた車両軌道を決定することを含むことができる。車両軌道は自律車両の動きを含むことができる。
【0098】
動作610において、プロセスは、車両軌道およびオブジェクト軌道に関連付けられた第1の衝突確率が閾値を超えるか否かを決定することを含むことができる。この閾値は、「バックトラッキング」アルゴリズムの開始をトリガする第1の閾値とすることができる。
【0099】
動作612において、プロセスは、自律車両の第1の予測される位置を決定することを含むことができる。第1の予測される位置を、道路の狭窄した部分での車両の予測される交点に関連付けることができる。
【0100】
動作614において、プロセスは、第1の時間の後の第3の時間の、オブジェクトの第2の予測される位置を決定することを含むことができる。オブジェクトの第2の予測される位置を、予測される時間での車両の予測される交点に関連付けることができる。
【0101】
動作616において、プロセスは、自律車両の第1の予測される位置に関連付けられた第2の衝突確率を決定することを含むことができる。第2の衝突確率を、衝突回避アルゴリズムを利用して、車両軌道の「後退」およびオブジェクト軌道の「前進」をシミュレートすることによって決定できる。第2の衝突確率を、車両に関連付けられた更新された予測される位置(例えば、第1の予測される位置からある距離を引いた)、およびオブジェクトに関連付けられた更新された予測される時間(例えば、予測される時間に追加の時間を加えた)に基づいて決定できる。
【0102】
動作618において、プロセスは、新しい加速度プロファイルに基づいて自律車両を制御することを含むことができる。新しい加速度プロファイルは、衝突確率(例えば、第1の衝突確率または第2の衝突確率)に基づいて決定されることができる。新しい加速度プロファイルは、車両の加速度(例えば、減速度)を含むことができる。いくつかの例では、加速度は、更新された予測される位置に、またはその前に到達するために車両を減速または停止することを含むことができる。
【0103】
[例示的な発明内容]
A.1つまたは複数のプロセッサと、1つまたは複数のプロセッサによって実行可能な命令を格納する1つまたは複数のコンピュータ可読媒体と、を含む、システムであって、前記命令は、実行されると、前記システムに、環境内の自律車両のセンサによってキャプチャされたセンサデータを受信することと、前記センサデータが前記環境内のオブジェクトを表すことを決定することと、前記オブジェクトに関連付けられた予測されるオブジェクト軌道を決定することと、前記自律車両に関連付けられた車両軌道を決定することと、前記予測されたオブジェクト軌道および前記車両軌道に少なくとも部分的に基づいて、第1の位置での前記自律車両および第1の時間での前記オブジェクトに関連付けられた第1の衝突確率を決定することと、前記第1の衝突確率が閾値を満たす、または超えることを決定することと、前記車両軌道に沿った第2の位置における前記自律車両の第1の予測される位置を決定することであって、前記第2の位置は前記第1の位置の前である、ことと、前記予測されたオブジェクト軌道に沿った第2の時間に前記オブジェクトの第2の予測される位置を決定することであって、前記第2の時間は前記第1の時間の後である、ことと、前記第1の予測される位置および前記第2の予測される位置に少なくとも部分的に基づいて、前記自律車両および前記オブジェクトに関連付けられた第2の衝突確率を決定することであって、前記第2の衝突確率は前記第1の衝突確率以下である、ことと、前記第2の衝突確率に少なくとも部分的に基づいて前記自律車両を制御することと、を含む動作を実行させる、システム。
【0104】
B.前記動作は、前記第1の位置を第1の速度と関連付けることと、前記第1の速度に基づく内挿に少なくとも部分的に基づいて、前記第2の位置で前記自律車両に関連付けられた第2の速度を決定することと、前記第1の速度に少なくとも部分的に基づいて、自律車両に関連付けられた加速度を決定することと、をさらに含み、前記自律車両を制御することは、前記加速度に少なくとも部分的に基づいて前記自律車両を制御することを含む、段落Aに記載のシステム。
【0105】
C.前記動作は、前記オブジェクトに関連付けられた位置確率分布に少なくとも部分的に基づいて、前記第1の衝突確率を決定することをさらに含む、段落AまたはBに記載のシステム。
【0106】
D.前記動作は、実際の衝突確率を過大に推定することに関連付けられた前記自律車両の第1の幾何モデルと、前記実際の衝突確率を過小に推定することに関連付けられた前記自律車両の第2の幾何モデルと、に少なくとも部分的に基づいて、第1の衝突確率を決定することをさらに含み、前記第1の衝突確率は、前記第1の幾何モデルおよび前記第2の幾何モデルに少なくとも部分的に基づいて集約された衝突確率を表す、段落A乃至Cのいずれかに記載のシステム。
【0107】
E.前記動作は、前記車両軌道に沿った第3の位置における前記自律車両の第3の予測される位置を決定することであって、前記第3の位置は前記第1の位置と前記第2の位置との間である、ことと、前記予測されたオブジェクト軌道に沿って第3の時間に前記オブジェクトの第4の予測される位置を決定することであって、前記第3の時間は前記第1の時間と前記第2の時間との間である、ことと、前記第3の予測される位置および前記第4の予測される位置に少なくとも部分的に基づいて、前記自律車両および前記オブジェクトに関連付けられた第3の衝突確率を決定することと、前記第3の衝突確率に関連付けられた加速度を決定することと、前記第3の衝突確率が第2の閾値を満たす、または超えることを決定することと、をさらに含む、段落A乃至Dのいずれかに記載のシステム。
【0108】
F:環境内の車両上のセンサによってキャプチャされたセンサデータを受信することと、前記センサデータが前記環境内のオブジェクトを表すことを決定することと、前記車両の第1の予測される位置および第1の時間における前記オブジェクトの第2の予測される位置に関連付けられた第1の衝突確率を決定することと、前記車両の第3の予測される位置を決定することであって、前記第2の予測される位置は前記第1の予測される位置の前である、ことと、第2の時間で前記オブジェクトの第4の予測される位置を決定することであって、前記第2の時間は前記第1の時間の後である、ことと、前記第3の予測される位置および前記第4の予測される位置に少なくとも部分的に基づいて、前記車両および前記オブジェクトに関連付けられた第2の衝突確率を決定することと、前記第2の衝突確率に少なくとも部分的に基づいて前記車両を制御することと、を含む方法。
【0109】
G:前記オブジェクトに関連付けられた予測されるオブジェクト軌道を受信することと、前記予測されたオブジェクト軌道に少なくとも部分的に基づいて、前記第2の予測される位置および前記第4の予測される位置を決定することと、をさらに含む、段落Fに記載の方法。
【0110】
H:前記車両に関連付けられた予測される車両軌道を受信することと、前記予測される車両軌道に少なくとも部分的に基づいて、前記第1の予測される位置および前記第3の予測される位置を決定することと、をさらに含む、段落FまたはGに記載の方法。
【0111】
I:前記オブジェクトに関連付けられた位置確率分布を含む幾何モデルを用いて、前記オブジェクトを表現すること、をさらに含む、段落F乃至Hのいずれかに記載の方法。
【0112】
J:前記幾何モデルが第1の幾何モデルであり、方法は、第2の幾何モデルとして前記車両を表すことをさらに含み、前記第1の衝突確率は、前記第1の幾何モデルおよび前記第2の幾何モデルに少なくとも部分的に基づいている、段落Iに記載の方法。
【0113】
K:第1の確率を決定することに関連付けられた前記車両の第1の幾何モデルと、第2の確率を決定することに関連付けられた前記車両の第2の幾何モデルと、に少なくとも部分的に基づいて、前記第1の衝突確率を決定することをさらに含み、前記第1の衝突確率は、前記第1の幾何モデルおよび前記第2の幾何モデルに少なくとも部分的に基づいて集約された衝突確率を表す、段落F乃至Jのいずれかに記載の方法。
【0114】
L:補正係数に少なくとも部分的に基づいて、前記第1の衝突確率を決定することをさらに含む、段落F乃至Kのいずれかに記載の方法。
【0115】
M:プロセッサによって実行可能な命令を格納する1つまたは複数の非一時的コンピュータ可読媒体であって、前記命令が実行されると、前記プロセッサに、環境内の車両上のセンサによってキャプチャされたセンサデータを受信することと、前記センサデータが前記環境内のオブジェクトを表すことを決定することと、前記車両の第1の予測される位置および第1の時間における前記オブジェクトの第2の予測される位置に関連付けられた第1の衝突確率を決定することと、前記車両の第3の予測される位置を決定することであって、前記第2の予測される位置は前記第1の予測される位置の前である、ことと、第2の時間で前記オブジェクトの第4の予測される位置を決定することであって、前記第2の時間は前記第1の時間の後である、ことと、前記第3の予測される位置および前記第4の予測される位置に少なくとも部分的に基づいて、前記車両および前記オブジェクトに関連付けられた第2の衝突確率を決定することと、前記第2の衝突確率に少なくとも部分的に基づいて前記車両を制御することと、を含む動作を実行させる、1つまたは複数の非一時的コンピュータ可読媒体。
【0116】
N.前記動作は、前記オブジェクトに関連付けられた予測されるオブジェクト軌道を受信することと、前記予測されたオブジェクト軌道に少なくとも部分的に基づいて、前記第2の予測される位置および前記第4の予測される位置を決定することと、をさらに含む、段落Mに記載の1つまたは複数の非一時的コンピュータ可読媒体。
【0117】
O.前記動作は、前記車両に関連付けられた予測される車両軌道を受信することと、前記予測される車両軌道に少なくとも部分的に基づいて、前記第1の予測される位置および前記第3の予測される位置を決定することと、をさらに含む、段落MまたはNに記載の1つまたは複数の非一時的コンピュータ可読媒体。
【0118】
P:前記動作、前記オブジェクトに関連付けられた位置確率分布を含む幾何モデルを用いて、前記オブジェクトを表現することをさらに含む、段落M乃至Oのいずれかに記載の1つまたは複数の非一時的コンピュータ可読媒体。
【0119】
Q:前記幾何モデルが第1の幾何モデルであり、前記動作は、第2の幾何モデルとして前記車両を表すことをさらに含み、第1の衝突確率は、第1の幾何モデルおよび第2の幾何モデルに少なくとも部分的に基づいている、段落Pに記載の1つまたは複数の非一時的コンピュータ可読媒体。
【0120】
R:前記動作は、第1の確率を決定することに関連付けられた前記車両の第1の幾何モデルと、第2の確率を決定することに関連付けられた前記車両の第2の幾何モデルと、に少なくとも部分的に基づいて、前記第1の衝突確率を決定することをさらに含み、前記第1の衝突確率は、前記第1の幾何モデルおよび前記第2の幾何モデルに少なくとも部分的に基づいて集約された衝突確率を表す、段落M乃至Qのいずれかに記載の1つまたは複数の非一時的コンピュータ可読媒体。
【0121】
S.前記動作は、補正係数に少なくとも部分的に基づいて、前記第1の衝突確率を決定することをさらに含む、段落M乃至Rのいずれかに記載の1つまたは複数の非一時的コンピュータ可読媒体。
【0122】
T.前記車両を制御することは、第2の衝突確率に少なくとも部分的に基づいて、前記車両を減速または停止するように制御することをさらに含む、段落M乃至Sのいずれかに記載の1つまたは複数の非一時的コンピュータ可読媒体。
【0123】
上記で説明される例示的な発明内容は、1つの特定の実施形態に関して説明されるが、本明細書のコンテキストにおいて、例示的な発明内容は、方法、デバイス、システム、コンピュータ可読媒体、および/または別の実施形態を介して実施できることも可能であることを理解されたい。さらに、例A乃至Tのいずれかを、単独で、または任意の他の1つもしくは複数の例A乃至Tと組み合わせて、実施できる。
【0124】
[結論]
本明細書で説明する技術の1つまたは複数の例について説明したが、様々な変更、追加、置換、およびそれらの同等物が、本明細書で説明する技術の範囲内に含まれる。
【0125】
例示の説明では、本明細書の一部を形成する添付の図面を参照するが、これは例示として請求される主題の具体的な例を示す。他の例を使用でき、構造的変更などの変更または代替を行うことができることを理解されたい。そのような例示、変更または代替は、意図して請求される主題に関する範囲から必ずしも逸脱するものではない。本明細書のステップは特定の順序で提示できるが、場合によっては、説明したシステムおよび方法の機能を変更することなく、特定の入力を異なる時間または異なる順序で提供するように、順序を変更できる。開示された手順はまた異なる順序で実行できる。さらに、本明細書にある様々な計算は開示された順序で実行される必要はなく、計算の代替順序を使用する他の例を容易に実装できる。並べ替えに加えて、計算はまた同じ結果となるサブ計算に分解できる。
図1
図2
図3
図4A
図4B
図5
図6
【国際調査報告】