特表 2023-522844 協調的車両ガイダンスのための遠隔操作

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-06-01

(54)【発明の名称】協調的車両ガイダンスのための遠隔操作

(51)【国際特許分類】

   G08G 1/09 20060101AFI20230525BHJP

【ＦＩ】

G08G1/09 V

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2022560215

(86)(22)【出願日】2021-04-05

(85)【翻訳文提出日】2022-10-03

(86)【国際出願番号】 US2021025826

(87)【国際公開番号】W WO2021211322

(87)【国際公開日】2021-10-21

(31)【優先権主張番号】16/852,116

(32)【優先日】2020-04-17

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】16/852,057

(32)【優先日】2020-04-17

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】518156417

【氏名又は名称】ズークス インコーポレイテッド

(74)【代理人】

【識別番号】110001243

【氏名又は名称】弁理士法人谷・阿部特許事務所

(72)【発明者】

【氏名】ラヴィ ゴーニャ

【テーマコード（参考）】

5H181

【Ｆターム（参考）】

5H181AA01

5H181BB04

5H181BB20

5H181CC03

5H181CC04

5H181CC11

5H181CC12

5H181CC14

5H181EE13

5H181FF04

5H181FF13

5H181FF25

5H181FF27

5H181FF33

5H181LL09

5H181MB06

(57)【要約】

環境内で動作する車両にガイダンスを提供するための技術が、本明細書で説明される。例えば、そのような技術は、支援の要求を送信することと、基準軌道を受信することと、車両に基準軌道に基づいて軌道を決定させることとを含み得る。センサデータおよび車両状態データなどのデータは、車両から遠隔コンピューティングデバイスに送信され得る。コンピューティングデバイスは、データを使用してユーザインターフェースを出力し、ユーザインターフェース内の入力を受信することに基づいて基準軌道を決定する。本技術は、車両の軌道を計画する際に使用するために、基準軌道の指示を車両に送信できる。自律車両などの車両は、軌道に基づいて環境を横断するように制御できる。

【特許請求の範囲】

【請求項1】

１つまたは複数のプロセッサと、
前記１つまたは複数のプロセッサによって実行可能な命令を記憶した１つまたは複数の非一時的コンピュータ可読媒体と、を含むシステムであって、前記命令は実行されると、前記システムに、
環境内をナビゲートする自律車両から支援の要求を受信することであって、前記支援の要求は、前記自律車両に関連付けられた車両状態データおよび前記自律車両に関連付けられたセンサデータを含む、ことと、
レート制御を示す入力を受信することと、
前記レート制御に少なくとも部分的に基づいて、前記環境内で前記自律車両が辿るための基準軌道を決定することであって、前記基準軌道は、将来の時間において前記環境内をナビゲートするための前記自律車両の速度および方向を示す、ことと
前記基準軌道を前記自律車両に送信することと、
を含む動作を実行させ、
前記基準軌道は、前記自律車両の計画コンポーネントに、前記環境内で前記自律車両をナビゲートするための軌道を決定させるように構成されている、システム。

【請求項2】

前記レート制御が、前記車両状態データに少なくとも部分的に基づいて前記入力の加速度レートまたはステアリングレートを調整するように構成されており、前記動作が
ディスプレイに、前記車両状態データに少なくとも部分的に基づいて、第１の位置においてユーザインターフェース内に前記自律車両の表現を提示させることであって、前記第１の位置は第１の時間に関連付けられた前記環境内の前記自律車両の現在の位置に関連付けられている、ことと
前記加速度レートまたは前記ステアリングレートに従って前記自律車両の前記表現を制御するための前記入力を受信することに少なくとも部分的に基づいて、前記基準軌道を決定することであって、前記入力は、前記第１の時間の後の第２の時間において前記自律車両が前記環境内でナビゲートするための速度および方向を示している、ことと、
前記自律車両に、前記基準軌道に関連付けられた前記加速度レートまたは前記ステアリングレートの指示を送信することと、
をさらに含む、請求項１に記載のシステム。

【請求項3】

前記動作は、
前記センサデータに少なくとも部分的に基づいて、前記自律車両に近接する前記環境内のオブジェクトまたはイベントの１つまたは複数を決定することと、
前記自律車両の表現が、前記オブジェクトまたは前記イベントに少なくとも部分的に基づいて、ディスプレイデバイス上のユーザインターフェース内でナビゲートするための加速度閾値、速度閾値、またはタイミング閾値の少なくとも１つを決定することと、
をさらに含み、
前記基準軌道は、前記加速度閾値、前記速度閾値、または前記タイミング閾値の前記少なくとも１つに少なくとも部分的に基づいている、請求項１または２に記載のシステム。

【請求項4】

前記動作が
ディスプレイデバイス上のユーザインターフェースを介して、前記環境内をナビゲートしている前記自律車両の表現を提示することと
前記ユーザインターフェースを介して前記レート制御を含む前記入力を受信し、前記自律車両の前記表現をナビゲートすることと、
前記入力に少なくとも部分的に基づいて前記基準軌道を決定することと、
をさらに含む、請求項１乃至３のいずれか１項に記載のシステム。

【請求項5】

前記自律車両の前記表現をナビゲートするための前記入力は、前記自律車両の運動学的または動的制約の少なくとも１つに少なくとも部分的に基づいている、請求項４に記載のシステム。

【請求項6】

環境内の車両から支援の要求を受信することと、
レート制御を示す入力を受信することと、
前記レート制御に少なくとも部分的に基づいて、前記車両が前記環境内で辿るための基準軌道を決定することであって、前記基準軌道は、前記車両の速度と、将来の時間に前記車両が前記環境内でナビゲートするための方向とを示す、ことと
前記基準軌道を前記車両に送信することと
を含み、
前記基準軌道は、前記車両の計画コンポーネントに、前記車両を前記環境内でナビゲートするための軌道を決定させるように構成されている、方法。

【請求項7】

ディスプレイデバイスに、前記車両の現在の位置および前記車両の表現をユーザインターフェース内に提示させることと
前記車両の前記表現のための提案された軌道を表す第１の入力を受信することと
前記ディスプレイデバイスに、前記車両の前記現在の位置に対する前記車両の前記提案された軌道を前記ユーザインターフェース内に提示させることと、
をさらに含み、
前記基準軌道または前記車両を決定することはさらに、前記提案された軌道に少なくとも部分的に基づいている、請求項６に記載の方法。

【請求項8】

前記基準軌道を追加の車両によってアクセス可能なデータストアに関連付けることをさらに含む、請求項６または７に記載の方法。

【請求項9】

前記レート制御が、前記車両から受信された車両状態データに少なくとも部分的に基づいて、前記入力の加速度レートまたはステアリングレートを調整するように構成されており、
前記加速度レートまたは前記ステアリングレートに少なくとも部分的に基づいて、前記基準軌道を決定し、ディスプレイデバイス上のユーザインターフェースにおける前記車両の表現を制御することと、
前記基準軌道に関連付けられた前記加速度レートまたは前記ステアリングレートの指示を前記車両に送信することと
をさらに含み、
前記加速度レートまたは前記ステアリングレートを示す前記基準軌道は、前記車両の計画コンポーネントに、前記環境内で前記車両をナビゲートするための軌道を決定させるように構成されている、請求項６乃至８のいずれか１項に記載の方法。

【請求項10】

ディスプレイデバイス上のユーザインターフェースを介して、遠隔デバイスからの入力によって制御可能な前記車両の第１の表現と、前記環境内の前記車両の動作または方向を示す前記車両の第２の表現と、を提示することをさらに含む、請求項６乃至９のいずれか１項に記載の方法。

【請求項11】

ディスプレイデバイス上のユーザインターフェースを介して、前記環境内をナビゲートする前記車両の表現を提示することと
前記ユーザインターフェースを介して、前記車両の前記表現をナビゲートするための入力を受信することと
前記入力に少なくとも部分的に基づいて、前記基準軌道を決定することと、
をさらに含む、請求項６乃至１０のいずれか１項に記載の方法。

【請求項12】

前記車両の前記表現をナビゲートするための前記入力が、前記環境内でナビゲートする前記車両の能力に少なくとも部分的に基づいている、請求項１１に記載の方法。

【請求項13】

前記車両の前記表現をナビゲートするための前記入力が、前記ユーザインターフェースにおける前記車両の前記表現のシミュレーションをもたらし、前記シミュレーションが、前記環境を横断する前記車両に関連付けられた１つまたは複数の移動制限に少なくとも部分的に基づいている、請求項１１に記載の方法。

【請求項14】

前記車両から受信したセンサデータに少なくとも部分的に基づいて、前記車両に近接する前記環境内のオブジェクトまたはイベントの１つまたは複数を決定することと
前記オブジェクトまたは前記イベントに少なくとも部分的に基づいて、前記車両の前記表現が前記ユーザインターフェース内でナビゲートするための加速度閾値、速度閾値、またはタイミング閾値の少なくとも１つを決定することと、をさらに含み、
前記基準軌道は、前記加速度閾値、速度閾値、またはタイミング閾値の前記少なくとも１つに少なくとも部分的に基づいている、請求項１１に記載の方法。

【請求項15】

コンピュータ上で実行されると、請求項６乃至１４のいずれかに記載の方法を実施するコード化された命令を含むコンピュータプログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、協調的車両ガイダンスのための遠隔操作に関する。

【背景技術】

【0002】

自律および半自律車両における計画システムは、動作環境において車両が取るべきアクションを決定する。車両のアクションは、環境内に存在するオブジェクトを回避することに部分的に基づいて決定され得る。例えば、二重駐車された車両を迂回したり、道路内の別の車両を回避するために車線を変更したりするなどのアクションが生成され得る。計画システムは、任意の数の動作（例えば、シミュレーションなど）を実行して、車両の潜在的なアクションに対する各検出されたオブジェクトの影響を決定し得る。しかし、特定の状況において、車両は、車両の進行を妨げる環境の一部を通過してナビゲートすることが不可能な場合がある。

【0003】

［関連出願］
本出願は、「TELEOPERATIONS FOR COLLABORATIVE VEHICLE GUIDANCE」と題して、２０２０年４月１７日に出願された米国特許出願第１６／８５２，１１６号、および「COLLABORATIVE VEHICLE GUIDANCE」と題して、２０２０年４月１７日に出願された米国特許出願第１６／８５２，０５７号の優先権を主張し、その両方の全体が参照により本明細書に組み込まれる。

【図面の簡単な説明】

【0004】

詳細な説明は添付の図面を参照して説明される。図面において、参照番号の最も左の桁は参照番号が最初に現れる図面を識別する。異なる図における同じ参照番号の使用は、類似または同一のコンポーネントまたは特徴を示す。

【0005】

【図1】図１は、本明細書で説明される車両ガイダンス技術を実装するための例示的なプロセスのフロー図である。

【図2】図２は、例示的な環境を横断する例示的な自律車両に関してガイダンスを提供するためのガイダンスコンポーネントの例示的なユーザインターフェースを示す。

【図3】図３は、例示的な環境を横断する例示的な自律車両に関してガイダンスを提供するためのガイダンスコンポーネントの別の例示的なユーザインターフェースを示す。

【図4】図４は、例示的な環境を横断する例示的な自律車両に関してガイダンスを提供するためのガイダンスコンポーネントのさらに別の例示的なユーザインターフェースを示す。

【図5】図５は、本明細書で説明される技術を実装するための例示的なシステムのブロック図を示す。

【図6】図６は、車両に基準軌道を送信して車両をガイドするための例示的なプロセスを示すフローチャートである。

【図7】図７は、基準軌道に基づいて車両の候補軌道を決定するための例示的なプロセスを示すフローチャートである。

【0006】

［詳細な説明］
車両は遠隔のエンティティからの支援を要求して、車両の進行を妨げる環境内の障害物を通過してナビゲートし得る。車両支援を提供するための遠隔のエンティティによる遅延は、車両を支援が提供されるまでその場に留まらせる可能性があり、これは、車両の進行を遅延させ得る、車両の乗員の体験を損なう、および乗員の安全性に潜在的に影響を与え得る。

【0007】

本開示は、車両から遠隔にあるコンピューティングデバイスによって車両にガイダンスを提供するための技術を対象とする。いくつかの例では、遠隔操作センタのコンピューティングデバイスは、環境を横断する車両から支援の要求を受信し、環境内で車両をガイドする命令を決定し得る。様々な例では、コンピューティングデバイスは、命令の表示を車両に送信し得る。車両の車両コンピューティングデバイスは、コンピューティングデバイスから命令を受信することに少なくとも部分的に基づいて、車両のための新しい軌道を計画し得る。本明細書で説明されるようなガイダンスを提供するための技術を使用して、車両は、車両によって使用可能なコンピューティングデバイスからガイダンス命令を受信して、スタックされることを迅速におよび／または先制的に回避し、それによって車両の安全性を改善し得る。

【0008】

いくつかの例では、車両は、ナビゲートすることが困難なシナリオ（例えば、プランナが運転ポリシーのセットに従ってルートを計画することが不可能であるなど）に遭遇したことに基づいてコンピューティングデバイスからの支援を要求するように構成された車両コンピューティングデバイスを有する自律または半自律車両を含み得る。限定ではなく例として、自律車両は、道路の車線を遮っている車両に接近することがある。状況によっては、車両が故障しているのか、縦列駐車しているのか、または乗客を降ろしているかが状況から明らかでない場合がある。そのようなケースでは、自律車両は、遮っている車両を通り過ぎて移動するための支援を要求し得、その要求に基づいて、将来の時間に環境をナビゲートする（例えば、目的地まで横断する）ために車両が使用するための命令の表示（例えば、速度および方向を示す基準軌道）を受信し得る。

【0009】

上述したように、コンピューティングデバイスは、環境内で車両をガイドする命令を決定し得る。様々な例において、命令は、非限定的な例として、ステアリング、ブレーキ、および／または加速度情報を表し得るが、車両の他の制御（内部および／または外部コンポーネントの）が企図される。いくつかの例において、命令は、環境を横断するために車両によって使用可能な基準軌道（例えば、方向、速度、加速度など）を表し得る。例えば、車両の計画コンポーネントは、基準軌道に少なくとも部分的に基づいて車両をナビゲートするための軌道を決定し得る。

【0010】

いくつかの例では、コンピューティングデバイスは、ディスプレイデバイス上に出力されたユーザインターフェースによって受信された入力に少なくとも部分的に基づいて車両をガイドするための命令を決定し得る。例えば、コンピューティングデバイスのユーザインターフェースは、環境内の車両の表現（モデル、シミュレーション、推定された状態など）を出力し得る。いくつかの例では、支援の要求は、車両から送信されたデータ（例えば、車両のセンサに関連付けられたセンサデータおよび／またはそれからの派生物（例えば、境界ボックス、分類情報など）、車両コンピューティングデバイスに関連付けられた車両状態データなど）を含み得る。支援の要求に関連付けられたデータは、環境の特性（例えば、建物、車道、オブジェクト、走行可能エリア、気象条件など）を表し得る。加えて、または代替として、コンピューティングデバイスに送信されるデータは、環境に対する車両能力（例えば、加速度、速度、ステアリング、ブレーキなど）を示し得る。このデータは、環境をナビゲートする車両の能力に基づいて、ユーザインターフェース内で車両の表現を操作することが可能な制御を提供するようにユーザインターフェースを構成するために、コンピューティングデバイスによって使用され得る。

【0011】

遠隔オペレータ（例えば、ロボットを遠隔でガイドするように訓練された専門家（tactician）または機械学習されたコンピューティングデバイス）は、ユーザインターフェースの制御と相互作用して、ユーザインターフェース内の車両の表現を操作する入力を生成し得る。様々な例において、制御の１つまたは複数（例えば、ステアリング制御、ブレーキ制御、および／または加速度制御）は、車両から受信されたデータに少なくとも部分的に基づいて、環境内の車両のステアリング、ブレーキ、および／または加速度の能力に関連付けられ得る。環境内の車両の能力と同様に挙動する制御を出力することによって、ユーザインターフェースは、現実世界の環境では不可能な（したがって、車両をガイドするのに役立たない）やり方で車両の表現を操作する制御を用いて車両をガイドする典型的な技術に対して、より正確に入力（例えば、位置、方向、および／または加速度の変化）をキャプチャし得る。

【0012】

いくつかの例では、ユーザインターフェース内の車両の表現をナビゲートするための制御は、環境内でナビゲートする車両の能力（例えば、ステアリング能力、加速能力、乗員快適性能力、運動学的制約および／または動的制約など）に少なくとも部分的に基づいている。いくつかの例では、コンピューティングデバイスは、環境内でナビゲートする車両の能力に少なくとも部分的に基づいて、車両の表現の移動を制限することに関連付けられた移動閾値を決定し得る。例えば、コンピューティングデバイスは、環境内の車両のステアリングレートおよび／または加速度レートを示すデータ（例えば、車両に関連付けられたセンサデータおよび／または車両制御データ）を受信し、車両をガイドするために使用可能な入力を受信するために使用可能な１つまたは複数の制御にレートを適用し得る。このようにして、入力は、レート制御（例えば、加速度レート、ステアリングレート、ブレーキレートなどを有する制御）に関連付けられていると考え得る。いくつかの例では、コンピューティングデバイスは、レート制御および／または移動閾値に少なくとも部分的に基づくコマンドを車両に送信し、それによって、環境に対する車両の実際の能力（ステアリング能力、加速度能力、乗員快適性能力など）を考慮した車両のための提案されたガイダンスを提供し得る。

【0013】

いくつかの例では、コンピューティングデバイスは、車両（および／またはその表現）のセンサによってキャプチャされた環境のセンサデータを受信し、センサデータに少なくとも部分的に基づいて、ユーザインターフェースにおいてナビゲートする車両の表現のための加速度閾値、速度閾値、またはタイミング閾値の少なくとも１つを決定し得る。例えば、コンピューティングデバイスは、オブジェクト、走行可能エリア、および車両から受信されたセンサデータに関連付けられた他の情報に基づいて、車両の最大および最小加速度、最大および最小速度、および／または最大および最小ブレーキを決定し得る。いくつかの例では、タイミング閾値は、入力を受信することと、車両の表現をユーザインターフェース内の第１の位置からユーザインターフェース内の第２の位置に視覚的に変化させることとの間の時間期間を表し得る。本明細書で説明されるように、閾値を車両の表現に関連付けることによって、制御は、経由地点または他の方向入力を単に提供し得るアプローチよりも高度および高感度で車両表現をナビゲートできる。いくつかの例では、命令は、１つまたは複数の閾値（例えば、移動閾値、加速度閾値、速度閾値、ブレーキ閾値、タイミング閾値など）に基づいてコンピューティングデバイスによって生成され、車両の計画コンポーネントに通信され得る、それによって、計画コンポーネントが１つまたは複数の閾値に少なくとも部分的に基づく車両の軌道を決定することを可能にすることによって車両の安全性を向上させる。

【0014】

いくつかの例では、命令を確認するユーザ入力を受信することは、コンピューティングデバイスのオペレータによって必要とされるアクションなしに、命令の表示（例えば、軌道、ステアリング、ブレーキ、および／または加速度情報）を車両に送信させ得る。このようにして、コンピューティングデバイスは、さらなるユーザ入力なしに、命令の表示を車両に送信し得る。様々な例では、命令の選択を確認するユーザ入力を受信することは、命令の表示を自律車両の車群（fleet）の別の車両に送信させ得る。命令は、いくつかの例では、自律車両の車群に利用可能にされるマップに記憶され得る。そのような例では、車両の車群内の追加の車両は以前に提供されたガイダンスを活用し得、その結果、同じ（または類似の）シナリオに遭遇したときに遠隔オペレータに要求を送信する必要がない。

【0015】

いくつかの例では、コンピューティングデバイスは、車両から支援の要求を受信し、車両からの支援の要求に少なくとも部分的に基づいて車両をガイドする命令を決定し得る。しかし、他の例では、命令は車両からの支援の要求を受信することとは無関係に決定され得る。例えば、コンピューティングデバイスは、命令に関連付けられた環境の一部の近傍で動作している１つまたは複数の車両の安全性を改善するために、命令を決定し、および／または命令の表示を１つまたは複数の車両に積極的に送信し得る。いくつかの例では、命令の表示は、車両コンピューティングデバイスの計画コンポーネントによって使用されて、車両が環境内でどのようにナビゲートする（オブジェクトを回避するおよび／または相互作用する）か、を改善し得る。いくつかの例では、コンピューティングデバイスは、基準軌道（および例えば、基準軌道に関連付けられたレート制御、閾値など）を車両に送信し得る。そのような例では、車両コンピューティングデバイスは、基準軌道の少なくとも一部に基づいて車両の候補軌道を決定し得る。一般に、基準軌道は、車両コンピューティングデバイスの計画コンポーネントに、環境内で車両をナビゲートするための軌道（例えば、候補軌道）を決定させるように構成される。

【0016】

いくつかの例では、車両コンピューティングデバイスは、車両軌道に関連付けられたコスト（例えば、速度コスト、方向コストなど）に少なくとも部分的に基づいて、支援の要求を送るべきかどうかを決定し得る。例えば、車両コンピューティングデバイスの計画コンポーネントは、車両軌道に関連付けられたコストを決定し、コストが閾値コストを満たすまたは超えると決定し、コストが閾値コストを満たすまたは超えることに少なくとも部分的に基づいて、ガイダンスの要求を送信し得る。支援の要求を決定および／または送信するための追加の詳細は、本開示全体にわたって説明される。

【0017】

いくつかの例では、車両コンピューティングデバイスは、車両が環境内の目的地にナビゲートする能力に関連付けられた信頼レベルに少なくとも部分的に基づいて、支援の要求を送信するかどうかを決定し得る。信頼レベルは、例えば、車両の動作に影響を与え得る検出されたオブジェクトを車両が回避する能力に関連付けられ得る。現在の車両軌道の信頼レベルの指示は、ガイダンス命令を決定する際に使用するために、車両によってコンピューティングデバイスに送信され得る。このようにして、ガイダンス命令は、車両が環境内の目的地までナビゲートする能力に関連付けられた信頼レベルに、少なくとも部分的に基づいている。車両のガイダンスにおいて信頼レベルを使用することのさらなる詳細は、「Interactions Between Vehicle and Teleoperations System」と題して、２０１７年７月７日に出願された米国特許出願第１５／６４４，２６７号に記載されており、その全体が参照により本明細書に組み込まれる。

【0018】

様々な例では、コンピューティングデバイスのユーザインターフェースは、ユーザインターフェース内に表示されるシミュレートされた環境内の車両の表現を操縦するための制御を提供する。いくつかの例では、制御は、ステアリング制御、ブレーキ制御、および／または加速度制御を含んでもよく、これらの制御の１つまたは複数は、車両の環境のリアルタイムの変化に応答するように構成され得る。例えば、遠隔オペレータは、１つまたは複数の制御（例えば、ステアリングホイール、ブレーキペダル、アクセルペダル、ハンドヘルドコントローラなど）を介して、ユーザインターフェースに入力を提供し得る。より現実的な制御を提供することによって、ユーザインターフェースは、ユーザインターフェースと相互作用する人間の意図をより良好にキャプチャする入力を受信し、車両に送信される命令においてその意図を表し得る。車両の車両コンピューティングデバイスは、いくつかの例では、前述の制御を使用してキャプチャされた入力に基づいて計画検討を実行し得る。

【0019】

いくつかの例では、ユーザインターフェースによって提供される制御の１つまたは複数は、車両が環境内で行うことが可能なステアリングのレート、加速度のレート、および／または減速のレートで応答するように構成され得る。このようにして、コンピューティングデバイスのユーザインターフェースは、リアルな運転経験を遠隔オペレータに提供するためにリアルタイムで調整する制御のためのレートを提供するものと考えられ得る。実際の運転条件を模倣する制御を提供するユーザインターフェースを出力することによって、従来のガイダンス技術を使用して可能であったよりも、車両をガイドするためのより詳細な指示が生成され、その後、車両と共有され得る。加えて、本明細書で説明される技術は、任意選択的に、車両計画動作中に（例えば、環境を横断する軌道を決定するために）車両によって使用され得る。これは、車両が支援（例えば、遮られた領域を迂回するために、またはそうでなければ環境の人間による解釈を受けるために）を待機し得る時間量を低減することによって、車両の安全性を改善する。

【0020】

本明細書で説明される技術は、１つまたは複数の命令の表示を出力することによって、車両コンピューティングデバイスの機能を改善し得る。いくつかの例では、コンピューティングデバイスは、車両が環境内で依然として移動している間に、レート制御された提案された軌道を車両と共有することによって、安全性を改善し得る。結果として、車両に関連付けられた車両コンピューティングデバイスは、提案された軌道を識別する計画考慮事項を利用することによって、車両の動作を制御できる。車両による支援の要求の送信と、車両による命令の受信および／または実施との間の遅延を軽減するために、いくつかの例では、本技術は、遠隔コンピューティングデバイスがガイダンス命令を生成している間に、車両が環境内のその経路を調整することを可能にする。本明細書で説明されるガイダンス技術を実装することによって、車両は、典型的なアプローチよりも短い時間でより高度な支援を受けることができ、それによって、車両に障害物または遮られた領域の周囲をナビゲートさせる。

【0021】

本明細書で説明される技術は、いくつかのやり方で実装され得る。例示的な実施形態が、以下の図を参照しながら以下で提供される。自律車両のコンテキストで説明されているが、本明細書で説明される方法、装置、およびシステムを、様々なシステム（例えば、手動運転車両、センサシステム、またはロボットプラットフォーム）に適用し得、自律車両に限定されない。別の例では、本技術は、航空もしくは航海のコンテキストにおいて、またはマシンビジョンを使用する任意のシステムにおいて（例えば、画像データを使用するシステムにおいて）利用され得る。一例では、同様の技術はドライバ制御の車両において利用され得、そのようなシステムは様々な操縦を実行するのに安全であるかどうかの指示を提供し得る。別の例では、この技術を、製造組立ラインのコンテキストで、または航空測量のコンテキストで利用できる。加えて、本明細書で説明される技術を、実データ（例えば、センサを使用してキャプチャされる）、シミュレートされたデータ（例えば、シミュレータによって生成される）、またはこれら２つの任意の組み合わせとともに使用できる。コンピューティングデバイスは、１つまたは複数の入力が、車両が環境内で辿るためのガイダンス命令を決定させるユーザインターフェースを含み得る。

【0022】

図１は、車両から支援の要求を受信し、車両に対する命令を決定し、車両に命令を送信し、命令に基づいて車両を制御するための例示的なプロセス１００のフロー図である。

【0023】

動作１０２において、プロセスは、車両の動作に影響を与えるイベントを決定することを含むことができる。例１０４は、環境内の車両１０６、イベント１０８、およびオブジェクト１１０（例えば、別の車両）を示す。様々な例において、車両１０６の車両コンピューティングデバイスは、環境のセンサデータをキャプチャすることによって、イベント１０８（例えば、潜在的な衝突、障害物、遮られた領域、道路閉鎖、交通信号または人間の交通調整者からの信号など）を検出し得る。いくつかの例において、センサデータを、車両（自律またはその他）上の１つまたは複数のセンサによってキャプチャできる。例えば、センサデータは、ｌｉｄａｒセンサ、画像センサ、ｒａｄａｒセンサ、飛行時間センサ（a time of flight sensor）、ｓｏｎａｒセンサなどによってキャプチャされたデータを含むことができる。

【0024】

いくつかの例では、動作１０２は、オブジェクトの分類を決定する（例えば、オブジェクトが環境内の歩行者であると決定するために）ことを含むことができる。動作１０２は、オブジェクト１１０の位置、速度、進行方向などを決定するためにオブジェクト１１０の属性を決定することを含むことができる。

【0025】

動作１１２において、プロセスは、コンピューティングデバイス１１４に支援の要求を送信することを含むことができる。例えば、車両１０６は、イベント１０８を通過してナビゲートする支援の要求をコンピューティングデバイス１１４に送信し得る。コンピューティングデバイス１１４は、自律車両の車群をサポートするテレオペレーションズセンタなど、車両１０６から遠隔に配置され得る。しかし、いくつかの例では、車両１０６は、プロセス１００において説明された動作を実行できる。いくつかの例では、車両１０６は、イベント１０８を検出したことに基づいて、および／またはオブジェクト分類に基づいて支援の要求を送信する（例えば、分類を検証するために）ことを決定し得る。支援の要求を遠隔オペレータに送信することのさらなる詳細は、「Predictive Teleoperator Situational Awareness」と題して、２０１７年７月７日に出願された米国特許出願第１５／６４４，３４９号に記載されており、その全体が参照により本明細書に組み込まれる。

【0026】

動作１１６において、プロセスは、車両１０６が将来の時間に辿るための命令を決定することを含むことができる。例１１８に示すように、車両表現１２０は、支援の要求を受信することに少なくとも部分的に基づいてユーザインターフェースに出力され、任意選択で命令１２２を生成するように制御され得る。命令１２２は、ユーザインターフェースへの１つまたは複数の入力に基づいて生成された軌道を表し得る。ガイダンスを決定することのさらなる詳細は、図２乃至４に関連して、ならびに本開示全体を通して説明される。

【0027】

動作１２４において、プロセスは、コンピューティングデバイス１１４が車両１０６に命令を送信することを含むことができる。命令１２２は、加速度データ、速度データ、位置データなどを含み得る。ネットワークを介して通信を送信することのさらなる詳細は、図５に関連して、ならびに本開示全体を通して説明される。

【0028】

動作１２６において、プロセスは、命令に少なくとも部分的に基づいて車両を制御することを含むことができる。例１２８に示されるように、動作１２６は、車両１０６が辿る軌道１３０を生成する（例えば、イベント１０８および／またはオブジェクト１１０を回避するために）ことを含むことができる。車両のステアリング、加速度、ブレーキ、および他のシステムを制御することのさらなる詳細は、「Vehicle Control」と題して、２０１９年１月１８日に出願された米国特許出願第１６／２５１，７８８号に記載されており、その全体が参照により本明細書に組み込まれる。

【0029】

図２は、例示的な環境を横断する例示的な自律車両２０２に関するガイダンスを提供するためのガイダンスコンポーネントの例示的なユーザインターフェース２００を示す。一般に、ユーザインターフェース２００は、環境のナビゲーション中に車両を支援するためにコンピューティングデバイスによってガイドされ（例えば、基準軌道を送信され）得る車両を取り囲む環境の概観を提供する。

【0030】

図２に示されているように、１つまたは複数のコンピューティングデバイス２０４は、ユーザインターフェース２０６およびガイダンスコンポーネント２０８を含む。図２の例に示すように、ユーザインターフェース２０６は、ユーザ入力を受信することに基づいて異なる機能を起動する（invoke）ための制御２１０（１）、２１０（２）、２１０（３）など（まとめて「制御２１０」と呼ぶ）を含む。いくつかの例では、自律車両２０２は、ネットワーク２１２を介してコンピューティングデバイス２０４に支援の要求を送信し得、ユーザインターフェース２００は支援の要求の指示を提供する（例えば、注釈またはインジケータの外観を変更することによって）ことになる。このようにして、遠隔オペレータは、いくつかの例では、制御２１０の１つを選択することによって車両にガイダンスを提供し、コンピューティングデバイス２０４に支援を開始させ得る（例えば、車両の詳細を出力する、車両からセンサデータを受信するなど）。

【0031】

コンピューティングデバイス２０４は、車群内の１つまたは複数の自律車両に遠隔支援を提供し得る遠隔操作センタに含まれ得る。いくつかの例では、遠隔操作センタは、車両からの支援の要求に応答して車両にガイダンスを提供し得る。遠隔オペレータにいつ連絡するかを決定する追加の詳細、および遠隔オペレータから受信される命令を使用して自律車両をナビゲートするための技術と同様は、「Techniques for Contacting a Teleoperator」と題して、２０１９年６月２８日に出願された米国特許出願第１６／４５７，２８９号に説明されており、その全体が参照により本明細書に組み込まれる。遠隔オペレータから受信される命令を使用して自律車両をナビゲートする追加の詳細は、「Techniques for Navigating Vehicles using Teleoperations Instructions」と題して、２０１９年６月２８日に出願された米国特許出願第１６／４５７，３４１号にさらに説明されており、その全体が参照により本明細書に組み込まれる。

【0032】

様々な例では、ガイダンスコンポーネント２０８は、環境内の車両の１つまたは複数に関連付けられたセンサデータおよび／または車両状態データを受信し得る。一般に、ガイダンスコンポーネント２０８は、ユーザインターフェース内の車両の表現をすることによって、自律車両２０２が将来の時間に辿るための命令（例えば、基準軌道、加速度範囲、速度範囲、位置範囲など）を決定するように構成され得る。いくつかの例では、ユーザインターフェース２０６は、支援の要求に関するガイダンスを提供するために、ガイダンスコンポーネント２０８の一部として含まれ得る。

【0033】

上述したように、ユーザインターフェース２０６は、ユーザ入力に基づいて異なる機能を起動するための制御２１０の１つを含み得る。いくつかの例では、制御２１０の１つは、環境内の自律車両２０２の能力に関連付けられ（および／または制限され）得る。いくつかの例では、制御２１０は、１つまたは複数のレート制御された入力（例えば、車両が環境内で行うことが可能なステアリングのレート、加速度のレート、および／または減速のレートで応答するように構成された入力）をユーザインターフェース２０６に提供するように構成され得る。いくつかの例では、レート制御入力は、自律車両２０２の運動学的制約および／または動的制約に少なくとも部分的に基づいて、ユーザインターフェース２０６によって受信される入力のレートを制限する制御を含み得る。例えば、ユーザインターフェース２０６の加速度制御は、自律車両２０２に関する情報および／または環境に関する情報を識別する車両状態データに基づいて、利用可能な加速度の量内で制限され得る。ユーザインターフェース２０６の制御２１０の構成についてのさらなる詳細は、以下の図３を含む他の場所で説明される。

【0034】

様々な例において、車両コンピューティングデバイス２１４は、知覚コンポーネント２２０などを介して、環境内の１つまたは複数のオブジェクト２１６（例えば、オブジェクト２１６（１）、２１６（２）、２１６（３））および／またはイベント２１８を検出するように構成され得る。いくつかの例において、車両コンピューティングデバイス２１４は、１つまたは複数のセンサ２２２から受信されたセンサデータに基づいて、１つまたは複数のオブジェクト２１６を検出し得る。いくつかの例では、センサ２２２は、自律車両２０２上に搭載されたセンサを含み得、限定はしないが、超音波センサ、ｒａｄａｒセンサ、光検出および測距（ｌｉｄａｒ）センサ、カメラ、マイクロフォン、慣性センサ（例えば、慣性測定ユニット、加速度計、ジャイロなど）、全地球測位衛星（ＧＰＳ）センサなどを含む。いくつかの例では、センサ２２２は、例えば、別の自律車両上に搭載されたセンサ、および／または環境内に搭載されたセンサなど、１つまたは複数のリモートセンサを含み得る。

【0035】

様々な例では、自律車両２０２は、他の自律車両および／またはセンサ２２２からデータを送信および／または受信するように構成され得る。データは、環境内で検出された１つまたは複数のオブジェクト２１６に関するデータなどのセンサデータを含み得る。様々な例では、環境は、交通監視、衝突回避などのためのセンサ２２２を含み得る。いくつかの例では、センサ２２２は、例えば、見通しの悪いまたはやや見通しの悪い交差点などの視界が低下したエリアにおいて追加の視界を提供するために、環境内に搭載され得る。

【0036】

様々な例では、車両コンピューティングデバイス２１４は、センサデータを受信し得、例えば、オブジェクト２１６が、オブジェクト２１６（１）および２１６（２）などの車両、車両、トラック、オートバイ、モペット、オブジェクト２１６（３）などの歩行者などであるかどうかなど、オブジェクト２１６のタイプを決定（例えば、オブジェクトのタイプを分類）し得る。

【0037】

様々な例では、車両コンピューティングデバイス２１４は計画コンポーネント２２４を含み得る。一般に、計画コンポーネント２２４は、自律車両２０２が環境を横断するために辿る軌道２２６を決定し得る。例えば、計画コンポーネント２２４は、様々なルートおよび軌道ならびに様々な詳細レベルを決定し得る。いくつかの例では、計画コンポーネント２２４は、第１の位置（例えば、現在の位置）から第２の位置（例えば、目標位置）まで移動するルートを決定し得る。計画コンポーネント２２４は、車両２１６（１）が将来取り得る最も可能性の高い軌道である車両２１６（１）の軌道２２８（１）を決定し得る（例えば、機械学習モデルを介して）。また、図２に示すように、計画コンポーネント２２４は、歩行者２１６（３）の軌道２２８（２）を決定し得る。

【0038】

図２はまた、遮られた領域２３０に関連付けられた車両２１６（２）を示す。遮られた領域２３０は、遮られた車線または、環境内の自律車両２０２および／または別の車両（例えば、車両２１６（１））にとって通行不可能な他の領域を表し得る。図２の図示された例では、車両２１６（２）は移動しておらず、それによって遮られた領域２３０を形成している。この例では、別の車両２１６（１）が、自律車両２０２によって占有された道路セグメント２３２に進入することによって遮られた領域２３０を迂回する軌道２２８（１）に関連付けられている。自律車両２０２は、イベント２１８（例えば、車両２１６（１）との潜在的な衝突）を検出し、検出に応答して、ネットワーク２１２を介してコンピューティングデバイス２０４に支援の要求を送信する。

【0039】

いくつかの例では、支援の要求は、周囲環境に対する自律車両の位置、速度、加速度、および他の態様を記述するセンサデータおよび／または車両状態データを含み得る。例えば、自律車両２０２の車両状態データは、現在の軌道（例えば、軌道２２６）、加速度、速度、および／またはブレーキ能力のレートまたは範囲を示し得る。いくつかの例では、コンピューティングデバイス２０４は、支援の要求を受信し、ガイダンスコンポーネント２０８を使用してガイダンス（例えば、自律車両２０２に対する命令）を生成する。遠隔オペレータからの命令は、ユーザインターフェース２０６を介して受信され、コンピューティングデバイス２０４のディスプレイデバイス上に出力される。ユーザインターフェース２０６は、いくつかの例では、制御２１０からの入力を受信するように構成され得る。いくつかの様々な例では、制御２１０（１）、２１０（２）、および２１０（３）の１つまたは複数（例えば、ステアリング制御、ブレーキ制御、および／または加速度制御）は、自律車両２０２から受信された車両状態データに少なくとも部分的に基づいて、環境内の車両のステアリング、ブレーキ、および／または加速能力に関連付けられ得る。

【0040】

いくつかの例では、道路セグメント２３２は、道路セグメントの属性（例えば、開始点、終了点、道路状態、道路セグメント識別、車線数など）を記述するマップ特徴データに関連付けられ得る。道路セグメント２３２の属性の一部または全部は、コンピューティングデバイス２０４から自律車両２０２に送信される命令の一部として自律車両２０２に送信され得る。

【0041】

図３は、例示的な環境を横断する例示的な自律車両２０２に関するガイダンスを提供するためのガイダンスコンポーネントの別の例示的なユーザインターフェース３００を示す。一般に、ユーザインターフェース３００は、図２および他の場所に関連して説明されたように、１つまたは複数の制御を介して自律車両を操縦するための入力を受信したことに応答して、コンピューティングデバイス２０４のディスプレイデバイス上に提示され得る。

【0042】

図３に示されているように、ユーザインターフェース２０６は、例示的なユーザインターフェース３００および／または３０２を含み得る。いくつかの例では、ユーザインターフェース３０２は、自律車両２０２のセンサに関連付けられたセンサデータに少なくとも部分的に基づいて、１つまたは複数の画像または表現を含み得る。加えて、または代替的に、ユーザインターフェース３０２は、自律車両２０２のセンサに関連付けられたセンサデータに少なくとも部分的に基づく環境のモデルを含み得る。いくつかの例では、ユーザインターフェース３０２はまた、自律車両２０２に関する情報（例えば、速度、進行方向、ステアリング角、照明、オーディオなど）を提供し得る。ユーザインターフェース３０２はさらに、自律車両２０２が目的地まで走行し得る環境の一部を表す道路セグメント２３２を含むものとして示されている。

【0043】

図３に示されているように、複数の画像は、いくつか例を挙げると、車両、歩行者、自転車通行者、および建物などの検出されたオブジェクトを含む、自律車両２０２の周りの異なるシーン（前方、後方、右側、および左側）を伝達し得る。

【0044】

いくつかの例では、コンピューティングデバイス２０４に関連付けられた遠隔オペレータ（例えば、遠隔の人間のオペレータおよび／またはロボットを遠隔でガイドするように訓練された専門家）は、環境のモデル（表現、シミュレーションなど）の１つまたは複数を使用して、自律車両２０２のための基準軌道３０６を決定し得る。限定ではなく例として、遠隔オペレータは、車両表現３０４Ａおよび３０４Ｂ（集合的に「車両表現３０４」）をユーザインターフェース３００内で操縦するために、制御２１０に入力を提供し得る。例えば、ユーザインターフェース３００を使用して、経路、ルート、軌道（例えば、基準軌道３０６）などを提供して、自律車両２０２をガイドし得る。いくつかの例では、遠隔オペレータは制御２１０を使用して、車両表現３０４を車両２１６（１）が遮られた領域２３０を迂回することを可能にする環境のエリアにさせ得る。

【0045】

上述したように、いくつかの例では、コンピューティングデバイス２０４は、自律車両２０２の能力を示すデータを受信し、ユーザインターフェース内で車両の表現をナビゲートするように１つまたは複数の制御（例えば、制御２１０）を構成し得る。いくつかの例では、１つまたは複数の制御は、自律車両２０２の運動学的制約および／または動的制約に少なくとも部分的に基づいて、１つまたは複数の制御に関連付けられた入力のレートを制限するレート制御を表し得る。

【0046】

いくつかの例では、運動学的制約は、動きまたは潜在的動きを引き起こす要因とは無関係に、自律車両２０２による動きまたは潜在的動きを示す運動学的データに関連付けられ得る。いくつかの例では、運動学的データは、バッテリレベル、最大ステアリング角、最大加速度などの自律車両２０２の１つまたは複数の運動学的制約を示し得る。一般的に、運動学的制約は、自律車両２０２に関連付けられた様々なシステムのステータス（例えば、レベル、能力、および／または制限）を示す車両状態データに基づき得る。

【0047】

いくつかの例では、動的制約は、動きまたは潜在的動きを引き起こす要因を考慮して、自律車両２０２による動きまたは潜在的動きを示す動的データに関連付けられ得る。一般に、動的制約は、環境に対する自律車両２０２に関連付けられた様々なシステムのステータス（例えば、レベル、能力、および／または制限）を示す車両状態データ、センサデータ、および／または知覚データに基づき得る。いくつかの例では、動的データは、走行可能エリア、検出されたオブジェクト、環境内の力に対する最大ステアリング角、環境内の力に対する最大加速度など、自律車両２０２の１つまたは複数の動的制約を示し得る。

【0048】

いくつかの例では、制御は、自律車両２０２に関連付けられた車両状態データ、運動学的データ、または動的データに少なくとも部分的に基づいて、入力の加速度レート、ステアリングレート、またはブレーキレートを調整するように構成され得る。様々な例では、入力に関連付けられた加速度レートまたはステアリングレートは、ガイダンス（例えば、基準軌道）を決定するためにコンピューティングデバイス２０４によって使用、および／または基準軌道の一部として自律車両２０２に送信され得る。

【0049】

様々な例では、入力を受信したことに応答して、車両表現３０４Ａをディスプレイデバイス上に出力して、入力に従って提案された軌道を反映し得る。いくつかの例では、コンピューティングデバイス２０４は、提案された軌道に少なくとも部分的に基づいて基準軌道を決定し得る。例えば、遠隔オペレータは、提案された軌道を基準軌道として選択するための入力を提供し得る、提案された軌道を修正し得る、または提案された軌道に追加の部分を追加する。

【0050】

いくつかの例では、コンピューティングデバイス２０４は、基準軌道に関連付けられた速度コストおよび／または基準軌道に関連付けられた方向コストを受信および／または決定し、動作を計画する際に関連コストを使用し得る自律車両２０２と関連コストの指示を通信し得る（例えば、車両の軌道を決定するために）。例えば、自律車両２０２は、速度コストが速度閾値コストを満たすまたは超えるかどうかを決定し、方向コストが方向閾値コストを満たすまたは超えるかどうかを決定し、速度コストが速度閾値コストを満たすまたは超えること、および方向コストが方向閾値コストを満たすまたは超えることに少なくとも部分的に基づいて軌道を決定し得る。

【0051】

いくつかの例では、コンピューティングデバイス２０４は、基準軌道３０６および／または道路セグメント２３２のための安全マージンを決定し、基準軌道３０６の一部として自律車両２０２に安全マージンを通信し得る。

【0052】

いくつかの例では、車両の表現をナビゲートするための入力は、ユーザインターフェースにおける車両の表現のシミュレーションを引き起こし、シミュレーションは、環境を横断する車両に関連付けられた１つまたは複数の移動制限に少なくとも部分的に基づいている。例えば、基準軌道は、環境における車両の移動を制限し得る制限に従って車両表現の移動を制限するシミュレーションにおいて実装され得る。

【0053】

いくつかの例では、ガイダンス技術がコンピューティングデバイス２０４によって実行されている間、車両は完全な自律を維持する（例えば、計画動作を実行し続ける）。いくつかの例では、ユーザインターフェース３００は、現在の時間における自律車両２０２の位置および／または方向を示し（例えば、黒色で示される）、車両表現３０４は図３に示される（例えば、車両の実際の位置と区別するために灰色で示される）。したがって、自律車両２０２は、自律車両２０２に環境をナビゲートさせる計画動作に基づいて（第１の目的地から第２の目的地へ移動すること、および／または静止したままであることを含む）、ユーザインターフェース３００内の位置を変更し得る。

【0054】

車両表現３０４Ａは現在の時間Ｔの後の将来の時間（例えば、時間Ｔ１）に関連付けられ、車両表現３０４Ｂは時間Ｔ２に関連付けられる。いくつかの例では、基準軌道３０６は、車両が将来の時間（例えば、時間Ｔ１、Ｔ２、Ｔ３、・・・ＴＮ、ここでＮは１以上の任意の整数とすることができる）において環境をナビゲートするために使用する加速度レート、ステアリングレート、速度および方向の１つまたは複数を示す。時間Ｔ１、Ｔ２、Ｔ３、・・・ＴＮは、ミリ秒ごと、５ミリ秒ごと、１００ミリ秒ごと、２００ミリ秒ごと、１秒ごとなど、様々な長さの時間期間を表し得る。いくつかの例では、時間は、任意の規則的または不規則な間隔であり得る。いくつかの例では、車両表現３０４Ａおよび車両表現３０４Ｂは単一の車両表現として図３に示され得る。

【0055】

いくつかの例では、コンピューティングデバイス２０４によって生成された基準軌道３０６は、自律車両２０２が将来の時間に環境内でナビゲートするための速度および方向を示す。すなわち、車両が辿るための経由地点に入るなど、従来の手法において一般的な進行方向が提供されるだけではなく、基準軌道３０６は、自律車両２０２の能力を示すセンサデータおよび／または車両状態データに少なくとも部分的に基づいて辿るための速度および方向を表す。様々な例において、コンピューティングデバイス２０４は、環境内で移動する車両の能力に少なくとも部分的に基づいて、車両の表現（例えば、車両表現３０４）の移動を制限することに関連付けられた移動閾値を決定し得る。例えば、車両表現３０４をナビゲートするための入力は、環境内でナビゲートするための自律車両２０２のステアリング能力、速度能力、ブレーキ能力、タイミング能力、または加速能力の少なくとも１つに少なくとも部分的に基づき得る。このようにして、車両表現３０４は、自律車両２０２のセンサデータおよび／または車両状態データから決定される、自律車両２０２のステアリング、速度、ブレーキ、タイミング、および／または加速能力を用いて、遠隔オペレータによる入力に応答し得る。

【0056】

いくつかの例では、コンピューティングデバイス２０４は、車両状態データを受信し、車両状態データに少なくとも部分的に基づいてユーザインターフェース内の車両の表現の位置を更新し得る。例えば、ユーザインターフェース２０６は、２つまたは複数の車両表現を提示および更新し得、車両表現の少なくとも１つは、環境内の車両の方向または位置の変化に関連づけられて更新される。いくつかの例では、ユーザユーザインターフェースは、ユーザインターフェースに関連付けられた入力によって制御可能な第１の車両の表現と、動作（例えば、環境内の車両の移動または方向）を示す第２の車両の表現とを提示し得る。

【0057】

図４は、例示的な環境を横断する例示的な自律車両２０２に関するガイダンスを提供するためのガイダンスコンポーネントの別の例示的なユーザインターフェース４００を示す。一般に、ユーザインターフェース４００は、図２および図３などに関連して説明したように、１つまたは複数の制御を介して自律車両を操縦するための入力を受信したことに応答して、コンピューティングデバイス２０４のディスプレイデバイス上に提示され得る。

【0058】

図４に示すように、自律車両２０２は現在の時間において道路セグメント４０２内に位置している。図３から例を続けると、自律車両２０２は、基準軌道３０６を受信することに少なくとも部分的に基づいて、現在の位置に到着し得る。すなわち、自律車両２０２の計画コンポーネントは、コンピューティングデバイス２０４によって決定された基準軌道を使用して、自律車両２０２のための軌道を決定し得る。

【0059】

いくつかの例では、遠隔オペレータは制御２１０に入力を提供し、コンピューティングデバイス２０４に基準軌道４０６を生成させ得る。図４に示されるように、基準軌道４０６は、自律車両２０２を道路セグメント２３２にガイドして、目的地まで継続できる。例えば、車両表現４０４Ａは、現在の時間Ｔの後の将来の時間（例えば、時間Ｔ１）に関連付けられ、車両表現４０４Ｂは、時間Ｔ２に関連付けられる。いくつかの例において、基準軌道４０６は、将来の時間（例えば、時間Ｔ１、Ｔ２、Ｔ３、・・・ＴＮ、ここでＮは１以上の任意の整数とすることができる）において環境をナビゲートするために車両が使用する速度および方向を示す。いくつかの例では、車両表現４０４Ａおよび車両表現４０４Ｂは単一の車両表現として図４に示され得る。

【0060】

図５は、本明細書で説明する技術を実装するための例示的なシステム５００のブロック図を示す。少なくとも１つの例において、システム５００は、図２の自律車両２０２に対応できる車両５０２を含むことができる。

【0061】

例示の車両５０２は、米国国道交通安全局（National Highway Traffic Safety Administration）によって発行されたレベル５分類に従って動作するように構成された自律車両などの無人車両とすることができ、このレベル５分類は、運転者（または乗員）がいつでも車両を制御することを期待されていない状態で、走行全体にわたってすべての安全上重要な機能を実行可能な車両を記載している。そのような例において、車両５０２は、すべての駐車機能を含む、移動の開始から完了までのすべての機能を制御するように構成されることができるので、ステアリングホイール、アクセルペダル、および／またはブレーキペダルなど、車両５０２を駆動するための運転者および／または制御装置を含まなくてもよい。これは単なる例であり、本明細書に記載されるシステムおよび方法は、運転者によって常に手動で制御される必要がある車両から、部分的にまたは完全に自律的に制御される車両までの範囲を含む、任意の地上、空中、または水上の車両に組み込まれ得る。

【0062】

車両５０２は、車両コンピューティングデバイス５０４、１つまたは複数のセンサシステム５０６、１つまたは複数のエミッタ５０８、１つまたは複数の通信接続部５１０、少なくとも１つの直接接続部５１２、および１つまたは複数のドライブシステム５１４を含むことができる。

【0063】

車両コンピューティングデバイス５０４は、１つまたは複数のプロセッサ５１６と、１つまたは複数のプロセッサ５１６に通信可能に結合されたメモリ５１８とを含むことができる。図示された例では、車両５０２は自律車両であるが、車両５０２は、任意の他のタイプの車両またはロボットプラットフォームとすることができる。図示された例では、車両コンピューティングデバイス５０４のメモリ５１８は、位置推定コンポーネント５２０、知覚コンポーネント５２２、１つまたは複数のマップ５２４、１つまたは複数のシステムコントローラ５２６、予測コンポーネント５２８、データ処理コンポーネント５３０、および計画コンポーネント５３２を記憶する。例示のためにメモリ５１８に存在するように図５に示されているが、位置推定コンポーネント５２０、知覚コンポーネント５２２、１つまたは複数のマップ５２４、１つまたは複数のシステムコントローラ５２６、予測コンポーネント５２８、データ処理コンポーネント５３０、および計画コンポーネント５３２は、追加的にまたは代替的に、車両５０２にアクセス可能とすることができる（例えば、車両５０２から離れたメモリに記憶されている、または他の方法でアクセス可能である）ことが企図される。

【0064】

少なくとも１つの例では、位置推定コンポーネント５２０はセンサシステム５０６からデータを受信して、車両５０２の位置および／または方向（例えば、ｘ、ｙ、ｚ位置、ロール、ピッチ、またはヨーの１つまたは複数）を決定する機能を含むことができる。例えば、位置推定コンポーネント５２０は、環境のマップを含むことが、および／または要求／受信でき、マップ内の自律車両の位置および／または方向を継続的に決定できる。いくつかの例では、位置推定コンポーネント５２０は、ＳＬＡＭ（同時位置推定およびマッピング）、ＣＬＡＭＳ（較正、位置推定およびマッピングを同時に）、相対ＳＬＡＭ、バンドル調整、非線形最小二乗最適化などを利用して、画像データ、ｌｉｄａｒデータ、ｒａｄａｒデータ、飛行時間データ、ＩＭＵデータ、ＧＰＳデータ、ホイールエンコーダデータなどを受信して、自律車両の位置を正確に決定できる。いくつかの例では、位置推定コンポーネント５２０は、本明細書で説明するように、車両５０２の様々なコンポーネントにデータを提供して、軌道を生成するために、および／またはオブジェクトが１つもしくは複数の横断歩道の領域に近接していることを決定するために、および／または候補基準線を識別するために、自律車両の初期位置を決定できる。

【0065】

いくつかの例では、および一般に、知覚コンポーネント５２２は、オブジェクトの検出、セグメンテーション、および／または分類を実行する機能を含むことができる。いくつかの例では、知覚コンポーネント５２２は、車両５０２に近接するエンティティの存在および／またはエンティティタイプ（例えば、車、歩行者、自転車、動物、建物、木、路面、縁石、歩道、停止信号、停止標識、不明など）としてのエンティティの分類を示す処理済みのセンサデータを提供できる。追加または代替の例では、知覚コンポーネント５２２は、検出されたエンティティ（例えば、追跡されたオブジェクト）に、および／またはエンティティが位置する環境に関連付けられた１つまたは複数の特性を示す処理済みのセンサデータを提供できる。いくつかの例では、エンティティに関連付けられた特性は、限定はしないが、ｘ位置（グローバルおよび／またはローカル位置）、ｙ位置（グローバルおよび／またはローカル位置）、ｚ位置（グローバルおよび／またはローカル位置）、方向（例えば、ロール、ピッチ、ヨー）、エンティティタイプ（例えば、分類）、エンティティの速度、エンティティの加速度、エンティティの範囲（サイズ）などを含むことができる。環境に関連付けられた特性は、環境内の別のエンティティの存在、環境内の別のエンティティの状態、時刻、曜日、季節、気象条件、暗闇／光の表示などを含むことができるが、これらに限定されない。

【0066】

メモリ５１８は、環境内でナビゲートするために車両５０２によって使用できる１つまたは複数のマップ５２４をさらに含むことができる。この説明を目的として、マップは、限定はしないが、トポロジー（交差点など）、車道、山脈、道路、地形、および一般的な環境など、環境に関する情報を提供することが可能である、２次元、３次元、またはＮ次元でモデル化された任意の数のデータ構造とできる。いくつかの例では、マップは、テクスチャ情報（例えば、色情報（例えば、ＲＧＢ色情報、Ｌａｂ色情報、ＨＳＶ／ＨＳＬ色情報）など）、強度情報（例えば、ｌｉｄａｒ情報、ｒａｄａｒ情報など）、空間情報（例えば、メッシュ上に投影された画像データ、個々の「サーフェル」（例えば、個々の色および／または強度に関連付けられたポリゴン））、反射率情報（例えば、鏡面反射率情報、再帰反射率情報、ＢＲＤＦ情報、ＢＳＳＲＤＦ情報など）を含むことができるが、それらに限定されない。一例では、マップは環境の３次元メッシュを含むことができる。いくつかの例では、マップの個々のタイルが環境の別個の部分を表すように、マップをタイルフォーマットで記憶でき、必要に応じて作業メモリにロードできる。少なくとも１つの例では、１つまたは複数のマップ５２４は、少なくとも１つのマップ（例えば、画像および／またはメッシュ）を含むことができる。

【0067】

いくつかの例では、マップ５２４に少なくとも部分的に基づいて車両５０２を制御できる。すなわち、マップ５２４を、位置推定コンポーネント５２０、知覚コンポーネント５２２、予測コンポーネント５２８、および／または計画コンポーネント５３２に関連して使用して、車両５０２の位置を決定し、環境内のオブジェクトを識別し、および／または環境内をナビゲートするためのルートおよび／または軌道を生成できる。

【0068】

いくつかの例では、１つまたは複数のマップ５２４を、ネットワーク５３４を介してアクセス可能なリモートコンピューティングデバイス（コンピューティングデバイス５３６など）上に記憶できる。いくつかの例では、複数のマップ５２４を、例えば、特性（例えば、エンティティタイプ、時刻、曜日、季節など）に基づいて記憶できる。複数のマップ５２４を記憶することは、同様のメモリ要件を有することができるが、マップ内のデータにアクセスできる速度を増加させることができる。

【0069】

少なくとも１つの例において、車両コンピューティングデバイス５０４は、車両５０２のステアリング、推進、ブレーキ、安全、エミッタ、通信、および他のシステムを制御するように構成できる１つまたは複数のシステムコントローラ５２６を含むことができる。これらのシステムコントローラ５２６は、ドライブシステム５１４および／または車両５０２の他のコンポーネントの対応するシステムと通信および／または制御できる。

【0070】

一般に、予測コンポーネント５２８は、環境内のオブジェクトに関連付けられた予測された情報を生成する機能を含むことができる。いくつかの例では、予測コンポーネント５２８を実装して、歩行者が横断歩道の領域を横断するまたは横断する準備をするときに、環境内の横断歩道の領域（または道路を渡る歩行者に関連付けられた領域もしくは位置）に近接する歩行者の位置を予測できる。いくつかの例では、本明細書で説明される技術を実装して、車両が環境を横断するときに、オブジェクト（例えば、車両、歩行者など）の位置を予測できる。いくつかの例では、予測コンポーネント５２８は、目標オブジェクトおよび／または目標オブジェクトに近接する他のオブジェクトの属性に基づいて、そのような目標オブジェクトの１つまたは複数の予測軌道を生成できる。

【0071】

データ処理コンポーネント５３０は、計画コンポーネント５３２からの軌道に関連付けられたコストを決定し、コストが閾値コストを満たすまたは超えるかどうかを決定し、環境内のオブジェクトに関連付けられた閾値コストを満たすまたは超えるコストに少なくとも部分的に基づいて、支援の要求を送信するかどうかを決定する機能を含むことができる。くつかの例では、データ処理コンポーネント５３０は、位置推定コンポーネント５２０、知覚コンポーネント５２２、および／または計画コンポーネント５３２からデータを受信して、車両５０２に関連付けられた閾値（例えば、加速度閾値、速度閾値、および／またはタイミング閾値）および／または能力を決定できる。データ処理コンポーネント５３０は、コンピューティングデバイス５３６からコスト、閾値、または他のデータを示す情報を受信し、計画動作中にその情報を使用する機能を含むことができる。

【0072】

一般に、計画コンポーネント５３２は、車両５０２が環境を横断するために辿る経路を決定できる。例えば、計画コンポーネント５３２は、様々なルートおよび軌道および様々な詳細レベルを決定できる。例えば、計画コンポーネント５３２は、第１の位置（例えば、現在の位置）から第２の位置（例えば、目標位置）まで移動するルートを決定できる。この説明を目的として、ルートは、２つの位置の間を移動するための一連の経由地点とすることができる。非限定的な例として、経由地点は、通り、交差点、全地球測位システム（ＧＰＳ）座標などを含む。さらに、計画コンポーネント５３２は、第１の位置から第２の位置までの経路の少なくとも一部に沿って自律車両をガイドするための命令を生成できる。少なくとも１つの例では、計画コンポーネント５３２は、一連の経由地点の第１の経由地点から一連の経由地点の第２の経由地点まで、どのように自律車両をガイドするかを決定できる。いくつかの例において、命令は、軌道または軌道の一部とすることができる。いくつかの例において、複数の軌道を、receding horizon技術に従って実質的に同時に生成でき（例えば、技術的許容範囲内で）、複数の軌道の１つは車両５０２をナビゲートするために選択される。

【0073】

いくつかの例において、計画コンポーネント５３２は、環境内のオブジェクトに関連付けられた予測位置に少なくとも部分的に基づいて、車両５０２の１つまたは複数の軌道を生成できる。いくつかの例において、計画コンポーネント５３２は、線形時相論理および／または信号時相論理などの時相論理を使用して、車両５０２の１つまたは複数の軌道を評価できる。

【0074】

理解できるように、本明細書で説明されるコンポーネント（例えば、位置推定コンポーネント５２０、知覚コンポーネント５２２、１つまたは複数のマップ５２４、１つまたは複数のシステムコントローラ５２６、予測コンポーネント５２８、データ処理コンポーネント５３０、および計画コンポーネント５３２）は、例示目的のために分割されて説明される。しかし、様々なコンポーネントによって実行される動作を、任意の他のコンポーネント内で、組み合わすまたは実行することができる。さらに、ソフトウェアで実装されるように説明したコンポーネントのいずれもハードウェアで実装でき、逆もまた同様である。さらに、車両５０２に実装される任意の機能は、コンピューティングデバイス５３６または別のコンポーネントに実装できる（逆もまた同様である）。

【0075】

少なくとも１つの例では、センサシステム５０６は、飛行時間センサ、ｌｉｄａｒセンサ、ｒａｄａｒセンサ、超音波トランスデューサ、ｓｏｎａｒセンサ、位置センサ（例えば、ＧＰＳ、コンパスなど）、慣性センサ（例えば、慣性測定ユニット（ＩＭＵ）、加速度計、磁力計、ジャイロスコープなど）、カメラ（例えば、ＲＧＢ、ＩＲ、強度、深度など）、マイクロフォン、ホイールエンコーダ、環境センサ（例えば、温度センサ、湿度センサ、光センサ、圧力センサなど）などを含むことができる。センサシステム５０６は、これらまたは他のタイプのセンサの各々の複数のインスタンスを含むことができる。例えば、飛行時間センサは、車両５０２の角部、前部、後部、側部、および／または上部に位置する個々の飛行時間センサを含むことができる。別の例として、カメラセンサは、車両５０２の外部および／または内部の周りの様々な位置に配置された複数のカメラを含むことができる。センサシステム５０６は、車両コンピューティングデバイス５０４に入力を提供できる。追加的または代替的に、センサシステム５０６は、１つまたは複数のネットワーク５３４を介して、特定の頻度で、所定の期間の経過後に、ほぼリアルタイムなどで、センサデータを１つまたは複数のコンピューティングデバイス５３６に送信できる。

【0076】

車両５０２はまた、上記のように、光および／または音を放出するための１つまたは複数のエミッタ５０８を含むことができる。この例示のエミッタ５０８は車両５０２の乗客と通信する内部オーディオおよびビジュアルエミッタを含む。限定ではなく例として、内部エミッタは、スピーカー、光、記号、ディスプレイ画面、タッチ画面、触覚エミッタ（例えば、振動および／またはフォースフィードバック）、機械的アクチュエータ（例えば、シートベルトテンショナ、シートポジショナ、ヘッドレストポジショナなど）などを含むことができる。この例示のエミッタ５０８はまた外部エミッタを含む。限定ではなく例として、この例示の外部エミッタは、走行の方向または車両のアクションの他のインジケータ（例えば、インジケータライト、標識、ライトアレイなど）を信号で送るためのライト、および音響ビームステアリング技術を備える、１つまたは複数の歩行者または他の近くの車両と音声で通信するための１つまたは複数のオーディオエミッタ（例えば、スピーカー、スピーカーアレイ、ホーンなど）を含む。

【0077】

車両５０２はまた、車両５０２と１つまたは複数の他のローカルもしくはリモートコンピューティングデバイスとの間の通信を可能にする１つまたは複数の通信接続部５１０を含むことができる。例えば、通信接続部５１０は車両５０２および／またはドライブシステム５１４上の他のローカルコンピューティングデバイスとの通信を容易にできる。また、通信接続部５１０は、車両が他の近くのコンピューティングデバイス（例えば、他の近くの車両、交通信号など）と通信することを可能にできる。通信接続部５１０はまた、車両５０２が遠隔操作コンピューティングデバイスまたは他の遠隔サービスと通信することを可能にする。

【0078】

通信接続部５１０は、車両コンピューティングデバイス５０４を別のコンピューティングデバイスまたはネットワーク５３４などのネットワークに接続するための物理的および／または論理的インターフェースを含むことができる。例えば、通信接続部５１０は、ＩＥＥＥ８０２．１１規格によって定義された周波数を介するようなＷｉ－Ｆｉベースの通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの短距離無線周波数、セルラー通信（例えば、２Ｇ、３Ｇ、４Ｇ、４Ｇ ＬＴＥ、５Ｇなど）、またはそれぞれのコンピューティングデバイスが他のコンピューティングデバイスとインターフェースで接続することを可能にする任意の適切な有線または無線通信プロトコルを可能にできる。

【0079】

少なくとも１つの例では、車両５０２は、１つまたは複数のドライブシステム５１４を含むことができる。いくつかの例では、車両５０２は単一のドライブシステム５１４を有することができる。少なくとも１つの例では、車両５０２が複数のドライブシステム５１４を有する場合、個々のドライブシステム５１４は車両５０２の両端部（例えば、前部および後部など）に配置できる。少なくとも１つの例では、ドライブシステム５１４は、ドライブシステム５１４および／または車両５０２の周囲の状態を検出するための１つまたは複数のセンサシステムを含むことができる。限定ではなく例として、センサシステムは、ドライブモジュールのホイールの回転を感知するための１つまたは複数のホイールエンコーダ（例えば、ロータリーエンコーダ）、ドライブモジュールの方向および加速度を測定するための慣性センサ（例えば、慣性測定ユニット、加速度計、ジャイロスコープ、磁力計など）、カメラまたは他の画像センサ、ドライブシステムの周囲のオブジェクトを音響的に検出するための超音波センサ、ｌｉｄａｒセンサ、ｒａｄａｒセンサなどを含むことができる。ホイールエンコーダなどのいくつかのセンサは、ドライブシステム５１４に固有とすることができる。いくつかのケースでは、ドライブシステム５１４上のセンサシステムは、車両５０２の対応するシステム（例えば、センサシステム５０６）と重複または補完できる。

【0080】

ドライブシステム５１４は、高電圧バッテリ、車両を推進するモータ、バッテリからの直流を他の車両システムで使用する交流に変換するインバータ、ステアリングモータおよびステアリングラック（電動とすることができる）を含むステアリングシステム、油圧または電気アクチュエータを含むブレーキシステム、油圧および／または空気圧コンポーネントを含むサスペンションシステム、トラクションの損失を軽減し制御を維持するブレーキ力分散用の安定性制御システム、ＨＶＡＣシステム、照明（例えば、車両の外部周囲を照らすヘッド／テールライトなどの照明）、および１つまたは複数の他のシステム（例えば、冷却システム、安全システム、車載充電システム、ＤＣ／ＤＣコンバータ、高電圧ジャンクション、高電圧ケーブル、充電システム、充電ポートなどの他の電装コンポーネント）を含む多くの車両システムを含むことができる。加えて、ドライブシステム５１４は、センサシステムからデータを受信して前処理し、様々な車両システムの動作を制御できるドライブシステムコントローラを含むことができる。いくつかの例では、ドライブシステムコントローラは、１つまたは複数のプロセッサと、１つまたは複数のプロセッサと通信可能に結合されたメモリとを含むことができる。メモリは、ドライブシステム５１４の様々な機能を実行する１つまたは複数のコンポーネントを記憶できる。さらに、ドライブシステム５１４はまた、それぞれのドライブシステムによる１つまたは複数の他のローカルまたはリモートコンピューティングデバイスとの通信を可能にする１つまたは複数の通信接続部を含む。

【0081】

少なくとも１つの例では、直接接続部５１２は１つまたは複数のドライブシステム５１４を車両５０２の本体と結合するための物理的インターフェースを提供できる。例えば、直接接続部５１２は、ドライブシステム５１４と車両との間のエネルギー、流体、空気、データなどの転送を可能にできる。いくつかの例では、直接接続部５１２は、さらに、ドライブシステム５１４を車両５０２の本体に着脱可能に固定できる。

【0082】

少なくとも１つの例では、位置推定コンポーネント５２０、知覚コンポーネント５２２、１つまたは複数のマップ５２４、１つまたは複数のシステムコントローラ５２６、予測コンポーネント５２８、データ処理コンポーネント５３０、および計画コンポーネント５３２は、上述したようにセンサデータを処理でき、それぞれの出力を、１つまたは複数のネットワーク５３４を介して１つまたは複数のコンピューティングデバイス５３６に送信できる。少なくとも１つの例では、位置推定コンポーネント５２０、１つまたは複数のマップ５２４、１つまたは複数のシステムコントローラ５２６、予測コンポーネント５２８、データ処理コンポーネント５３０、および計画コンポーネント５３２は、特定の頻度で、所定の期間が経過した後、ほぼリアルタイムなどで、それぞれの出力を１つまたは複数のコンピューティングデバイス５３６に送信できる。

【0083】

いくつかの例では、車両５０２は、ネットワーク５３４を介して１つまたは複数のコンピューティングデバイス５３６にセンサデータを送信できる。いくつかの例では、車両５０２は、未処理のセンサデータをコンピューティングデバイス５３６に送信できる。他の例では、車両５０２は、処理済みのセンサデータおよび／またはセンサデータの表現をコンピューティングデバイス５３６に送信できる。いくつかの例では、車両５０２は、特定の頻度で、所定の期間が経過した後に、ほぼリアルタイムなどで、センサデータをコンピューティングデバイス５３６に送信できる。いくつかのケースでは、車両５０２は、センサデータ（未処理または処理済み）を１つまたは複数のログファイルとしてコンピューティングデバイス５３６に送信できる。

【0084】

コンピューティングデバイス５３６は、プロセッサ５３８と、ユーザインターフェース５４０と、ガイダンスコンポーネント５４４および通信接続部５１０を記憶するメモリ５４２とを含むことができる。いくつかの例では、ユーザインターフェース５４０は、様々な解像度のマップを生成し、および／または環境内をナビゲートしている車両の表現を出力する機能を含むことができる。ユーザインターフェース５４０は、車両５０２をガイドする（例えば、基準軌道を決定することによって）ための入力を受信する１つまたは複数の制御を提供する機能をさらに含むことができる。いくつかの例では、ユーザインターフェース５４０への入力は、車両５０２が将来の時間に辿るための速度および方向を示すことができる。

【0085】

いくつかの例では、ユーザインターフェース５４０への入力は、ユーザインターフェース５４０と通信しているステアリングコントローラまたは加速度コントローラを介して受信できる。例えば、ステアリングコントローラは、入力の一部としてステアリングを制御するように構成されたステアリングホイールまたは他のインターフェースを含み得る。いくつかの例では、加速度コントローラは、入力の一部として加速度を制御するように構成されたアクセルペダル、ブレーキペダルまたは他のインターフェースを含み得る。いくつかの例では、単一のコントローラが、ステアリング、加速度、およびブレーキ制御入力をユーザインターフェースに提供できる。

【0086】

ガイダンスコンポーネント５４４は、命令を決定し、ネットワーク５３４を介して車両５０２に命令を送信する機能を含むことができる。例えば、ガイダンスコンポーネント５４４は、ユーザインターフェース５４０から受信した１つまたは複数の入力に少なくとも部分的に基づいて、車両５０２の潜在的な軌道（例えば、図３の基準軌道３０６）を生成および／または決定するように構成できる。様々な例において、命令は、車両５０２の１つまたは複数の予測軌道（例えば、進行方向、速度など）を生成するために計画コンポーネント５３２によって使用可能な速度および方向の指示を含み得る。いくつかの例では、ガイダンスコンポーネント５４４は、自律車両２０２が環境内の目的地にナビゲートすることを妨げ得るイベントを回避する、車両５０２が辿るための１つまたは複数の利用可能な軌道を決定するように構成され得る。追加的または代替的に、ガイダンスコンポーネント５４４は、車両が計画検討において検討するために、１つまたは複数の利用可能な軌道を車両５０２に送信するように構成され得る。いくつかの例では、ガイダンスコンポーネント５４４は、車両特性、環境特性、気象特性などに基づいて、環境に適用可能な軌道を決定するように構成され得る。

【0087】

ガイダンスコンポーネント５４４はまた、車両５０２が環境内で移動する能力に少なくとも部分的に基づいて、ユーザインターフェース５４０内の車両の表現の移動を制限することに関連付けられた移動閾値を決定する機能を含むことができる。例えば、本明細書で説明するように、車両の表現（例えば、図３の車両表現３０４Ａ）をナビゲートするための入力は、環境内でナビゲートするための車両のレート制御、ステアリング能力、または加速能力の少なくとも１つに少なくとも部分的に基づき得る。

【0088】

いくつかの例では、ガイダンスコンポーネント５４４は、知覚コンポーネント５２２からセンサデータを受信し、センサデータに少なくとも部分的に基づいて、ディスプレイデバイス上のユーザインターフェースにおいてナビゲートするための車両の表現のための加速度閾値、速度閾値、またはタイミング閾値の少なくとも１つを決定するための機能を含むことができる。そのような例では、ガイダンスコンポーネント５４４によって決定される１つまたは複数の基準軌道は、加速度閾値、速度閾値、またはタイミング閾値に少なくとも部分的に基づき得る。

【0089】

いくつかの例では、本明細書で説明するコンポーネントの一部または全部の態様は、任意のモデル、技術、および／または機械学習技術を含み得る。例えば、いくつかの事例では、メモリ５１８（およびメモリ５４２）内のコンポーネントは、ニューラルネットワークとして実装され得る。

【0090】

本明細書で説明されるように、例示的なニューラルネットワークは、入力データを一連の接続された層に通して出力を生成する、生物学的に着想されたアルゴリズムである。ニューラルネットワーク内の各層はまた、別のニューラルネットワークを備えることができ、または任意の数の層（畳み込みであるか否かにかかわらず）を備えることができる。本開示のコンテキストにおいて理解できるように、ニューラルネットワークは機械学習を利用でき、機械学習は、学習されたパラメータに基づいて出力が生成される、そのようなアルゴリズムの広範なクラスを指すことができる。

【0091】

ニューラルネットワークのコンテキストで説明したが、任意のタイプの機械学習をこの開示と一致させて使用できる。機械学習アルゴリズムは、例えば限定しないが、回帰アルゴリズム（例えば、通常の最小二乗回帰（ＯＬＳＲ）、線形回帰、ロジスティック回帰、ステップワイズ回帰、多変量適応回帰スプライン（ＭＡＲＳ）、局所的に推定されたスカープロット平滑化（ＬＯＥＳＳ））、インスタンスベースのアルゴリズム（例えば、リッジ回帰、最小絶対収縮および選択演算子（ＬＡＳＳＯ）、弾性ネット、最小角度回帰（ＬＡＲＳ））、決定木アルゴリズム（例えば、分類および回帰木（ＣＡＲＴ）、反復二分法３（ＩＤ３）、カイ二乗自動相互作用検出（ＣＨＡＩＤ）、決定切り株、条件付き決定木））、ベイジアンアルゴリズム（例えば、単純ベイズ、ガウス単純ベイズ、多項単純ベイズ、平均１依存推定量（ＡＯＤＥ）、ベイジアン信念ネットワーク（ＢＮＮ）、ベイジアンネットワーク）、クラスタリングアルゴリズム（例えば、ｋ平均、ｋ中央値、期待値最大化（ＥＭ）、階層的クラスタリング）、相関ルール学習アルゴリズム（例えば、パーセプトロン、バックプロパゲーション、ホップフィールドネットワーク、動径基底関数ネットワーク（ＲＢＦＮ））、ディープラーニングアルゴリズム（例えばディープボルツマンマシーン（ＤＢＭ）、ディープブリーフネットワーク（ＤＢＮ）、重畳型ニューラルネットワーク（ＣＮＮ）、スタック・オートエンコーダ）、次元数削減アルゴリズム（例えば主成分分析（ＰＣＡ）、主成分回帰（ＰＣＲ）、部分最小二乗回帰（ＰＬＳＲ）、サモンマッピング、多次元スケーリング（ＭＤＳ）、射影追跡、線形判別分析（ＬＤＡ）、混合判別分析（ＭＤＡ）、二次判別分析（ＱＤＡ）、柔軟判別分析（ＦＤＡ））、アンサンブルアルゴリズム（例えば、ブースティング、ブートストラップ集計（バギング）、アダブースト、スタック一般化（ブレンディング）、勾配ブースティングマシン（ＧＢＭ）、勾配ブースティング回帰ツリー（ＧＢＲＴ）、ランダムフォレスト）、ＳＶＭ（サポートベクターマシン）、教師あり学習、教師なし学習、半教師あり学習などを含むことができる。

【0092】

アーキテクチャの追加の例は、ＲｅｓＮｅｔ５０、ＲｅｓＮｅｔ１０１、ＶＧＧ、ＤｅｎｓｅＮｅｔ、ＰｏｉｎｔＮｅｔなどのニューラルネットワークを含む。

【0093】

車両５０２のプロセッサ５１６およびコンピューティングデバイス５３６のプロセッサ５３８は、本明細書で説明されるように、データを処理し動作を実施するための命令を実行可能な任意の適切なプロセッサとすることができる。限定ではなく例として、プロセッサ５１６および５３８は、１つまたは複数の中央処理装置（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、または電子データを処理してその電子データをレジスタおよび／またはメモリに記憶できる他の電子データに変換する任意の他のデバイスまたはデバイスの一部を備えることができる。いくつかの例では、集積回路（例えば、ＡＳＩＣなど）、ゲートアレイ（例えば、ＦＰＧＡなど）、および他のハードウェアデバイスはまた、それらがエンコードされた命令を実装するように構成されている限り、プロセッサとみなすことができる。

【0094】

メモリ５１８および５４２は、非一時的コンピュータ可読媒体の例である。メモリ５１８および５４２は、本明細書で説明される方法および様々なシステムに属する機能を実装する、オペレーティングシステムおよび１つまたは複数のソフトウェアアプリケーション、命令、プログラム、および／またはデータを記憶できる。様々な実施形態において、メモリを、スタティックランダムアクセスメモリ（ＳＲＡＭ）、シンクロナスダイナミックＲＡＭ（ＳＤＲＡＭ）、不揮発性／フラッシュタイプメモリ、または情報を記憶することが可能な任意の他のタイプのメモリなど、任意の適切なメモリ技術を使用して実装できる。本明細書で説明されるアーキテクチャ、システム、および個々の要素は、多くの他の論理的、プログラム的、および物理的なコンポーネントを含むことができ、添付の図面に示さているそれらは本明細書の説明に関連する単なる例にすぎない。

【0095】

図５は分散システムとして示されているが、代替例では、車両５０２のコンポーネントをコンピューティングデバイス５３６に関連付けることができ、および／またはコンピューティングデバイス５３６のコンポーネントを車両５０２に関連付けることができることに留意されたい。すなわち、車両５０２は、コンピューティングデバイス５３６に関連付けられた機能の１つまたは複数を実行でき、逆もまた同様である。さらに、予測コンポーネント５２８（およびサブコンポーネント）の態様を本明細書で説明するデバイスのいずれかで実行できる。

【0096】

図６は、車両に基準軌道を送信して、車両をガイドするための例示的なプロセス６００を示すフローチャートである。プロセス６００の一部または全部は、本明細書で説明されるように、図５の１つまたは複数のコンポーネントによって実行され得る。例えば、プロセス６００の一部または全部は、コンピューティングデバイス５３６によって実行され得る。さらに、例示的なプロセス６００に記載された動作のいずれかを、プロセス６００に示されたものとは異なる順序で並行して実行、示されたプロセス６００の動作のいずれかを省略、および／または本明細書で説明される動作のいずれかと組み合わせ得る。

【0097】

動作６０２において、プロセスは、環境内の車両から支援の要求を受信することを含むことができる。いくつかの例において、動作６０２は、車両状態データおよび／またはセンサデータ（例えば、環境の飛行時間データ、ｌｉｄａｒデータ、画像データ、ｒａｄａｒデータなど）などのデータを受信することを含むことができる。いくつかの例において、動作６０２を、車両（例えば、自律車両）が環境を横断するときに車両によって実行できる。

【0098】

動作６０４において、プロセスは、支援の要求に少なくとも部分的に基づいて、車両が環境内で辿るための基準軌道を受信することを含むことができる。例えば、動作６０４は、ディスプレイデバイス上のユーザインターフェースにおいて、環境内でナビゲートしている車両の表現を提示すること（動作６０６）と、ユーザインターフェースを介してレート制御を示す入力を受信して車両の表現をナビゲートすること（動作６０８）とを含むことができる。いくつかの例では、入力に関連付けられたレート制御は、加速度制御に関連付けられた加速度のレート、およびステアリング制御に関連付けられたステアリングのレートを制御する。そのような例では、加速度制御および／またはステアリング制御は、遠隔オペレータによる加速および／またはステアリング入力をユーザインターフェースに提供するように構成された制御を表し得る。いくつかの例では、車両の表現をナビゲートするための入力は、環境内でナビゲートするための車両のステアリング能力または加速能力の少なくとも１つに少なくとも部分的に基づき得る。

【0099】

追加の入力が受信された場合（例えば、動作６１０において「はい」）、プロセスは動作６０８に戻ることができる。しかし、いくつかの例では、プロセスは動作６１２に継続でき、ユーザインターフェースへの１つまたは複数の入力に少なくとも部分的に基づいて基準軌道を決定できる。

【0100】

追加の入力が受信されない場合（例えば、動作６１０において「いいえ」）、プロセスは動作６１２に継続する。動作６１２において、車両の表現をナビゲートしたレート制御を含む入力に基づいて基準軌道を生成できる。いくつかの例では、基準軌道は、位置、方向、加速度、速度、および／またはブレーキ情報を示し得る。いくつかの例では、情報は基準軌道によって示された。様々な例では、基準軌道は、環境内の車両の移動および／または能力に基づき得る。いくつかの例では、動作６１２は、基準軌道に関連付けられた基準コスト、ステアリングコスト、加速コスト、および／または障害物コスト（例えば、オブジェクトと衝突する可能性）を決定することを含むことができる。

【0101】

動作６１４において、プロセスは、基準軌道を車両に送信することを含むことができる。様々な例において、動作６１４は、基準軌道に関連付けられた基準コスト、ステアリングコスト、加速コスト、または障害物コストを送信することを含むことができる。様々な例において、レート制御に関連付けられた情報（例えば、基準軌道を生成するために使用される加速度、ステアリング、ブレーキレート）は、車両に送信される基準軌道の一部として含まれ得る。いくつかの例において、基準軌道は、自律車両の車群内の異なる自律車両などの追加の車両に送信され得る。いくつかの例において、基準軌道は、車両および／または追加の車両によってアクセス可能なデータストア内に記憶され、および／または関連付けられ得る。そのような例において、データストアは、１つまたは複数の車両に影響を与えるイベントを識別するためにアクセス可能および更新可能なマップを含み得る。様々な例において、コンピューティングデバイス（例えば、コンピューティングデバイス２０４）は、マップに対する追加の車両の位置に少なくとも部分的に基づいて、基準軌道を追加の車両に送信し得る。

【0102】

動作６１６において、プロセスは、基準軌道に少なくとも部分的に基づいて、車両の計画コンポーネントに環境内で車両をナビゲートするための軌道を決定させることを含むことができる。例えば、車両の計画コンポーネントは、基準軌道に関連付けられた基準コスト、ステアリングコスト、加速コスト、または障害物コストに少なくとも部分的に基づいて、候補軌道を決定し得る。いくつかの例では、候補軌道は、基準軌道を決定するために使用されるレート制御を考慮して計画コンポーネントによって決定され得る。様々な例では、計画コンポーネントは、加速度および／またはステアリング情報（例えば、加速度レート、加速度制御、ステアリングレート、ステアリング制御など）に少なくとも部分的に基づいて候補軌道を決定し得る。

【0103】

動作６１８において、プロセスは、軌道に少なくとも部分的に基づいて環境を横断するように車両を制御することを含むことができる。いくつかの例において、第２の基準軌道を生成するために追加の入力が提供されている間、軌道は車両をガイドし得る。そのような例において、第２の基準軌道は車両に送信され、第１の基準軌道および第２の基準軌道の両方に基づく追加の軌道を生成するために車両によって使用可能であり得る。いくつかの例では、第１の基準軌道および第２の基準軌道は、環境内の同じイベントに関連付けられ得る、一方、他の例では、第１の基準軌道および第２の基準軌道は、環境内の異なるイベントに関連付けられ得る。いくつかの例では、第１のイベントは第１の車両に関連付けられ得、第２のイベントは第１の車両および／または第１の車両とは異なる第２の車両に関連付けられ得る。この連続動作は、動作６１８から動作６０４に続く動作によって示される。

【0104】

図７は、車両に基準軌道を送信して車両をガイドするための例示的なプロセス７００を示すフローチャートである。プロセス７００の一部または全部は、本明細書で説明するように、図５の１つまたは複数のコンポーネントによって実行され得る。例えば、プロセス７００の一部または全部は、車両コンピューティングデバイス５０４によって実行され得る。さらに、例示的なプロセス７００に記載された動作のいずれかは、プロセス７００に示されたものとは異なる順序で並行して実行、示されたプロセス７００の動作のいずれかを省略、および／または本明細書で説明される動作のいずれかと組み合わされ得る。

【0105】

動作７０２において、プロセスは、環境内でナビゲートしている車両に関連付けられたイベントを決定することを含むことができる。いくつかの例において、動作７０２は、自律車両の計画コンポーネントおよび／または知覚コンポーネントによって、イベント（例えば、遮られた領域など）がナビゲーション中の車両の動作に影響を与えることを決定することを含むことができる。

【0106】

動作７０４において、プロセスは、支援の要求を送るべきかどうかを決定することを含むことができる。いくつかの例において、動作７０４は、自律車両の計画コンポーネントによって、車両が辿るための基準軌道を決定することを含むことができる。ここで、車両によって決定された基準軌道は、車両によって自律的に決定されたガイダンスを表す。いくつかの例において、動作７０４は、基準軌道に関連付けられたコストを決定することと、コストが閾値コストを満たすまたは超えると決定することとを含むことができる。いくつかの例において、動作７０４は、車両が車両の計画コンポーネントによって決定された基準軌道に従って環境を横断するときに、車両（例えば、自律車両）によって実行できる。

【0107】

いくつかの例において、動作７０４は、環境内のオブジェクトを検出することと、オブジェクトが目的地までナビゲートする車両の能力に影響を与えることを決定することとを含むことができる。動作は、さらにまたは代わりに、目的地までナビゲートする車両の能力に関連付けられた信頼レベルを決定することを含み得る。例えば、車両は、イベント（障害物、交通を指示する人物など）を検出し、イベントを考慮して車両をナビゲートするための基準軌道に関連付けられた信頼レベルを決定し得る。いくつかの例では、信頼レベルは、支援の要求を送るべきかどうかを決定するために使用され得る。

【0108】

動作７０６において、プロセスは、決定に少なくとも部分的に基づいて、ガイダンスの要求を送信することを含むことができる。例えば、動作７０６は、車両に関連付けられたデータ、閾値、能力、および／または信頼レベルをリモートコンピューティングデバイスに送信することを含むことができる。

【0109】

動作７０８において、プロセスは、要求に少なくとも部分的に基づいて、基準軌道を受信することを含むことができる。例えば、リモートコンピューティングデバイスは、基準軌道を決定し、車両に送信し得る。いくつかの例において、基準軌道は、車両から送信されたデータ、閾値、能力、および／または信頼レベルに少なくとも部分的に基づいて決定される。様々な例において、基準軌道は、レート制御された加速度入力またはレート制御されたステアリング入力の少なくとも１つに少なくとも部分的に基づき得る。リモートコンピューティングデバイスによって決定された基準軌道（動作７０８）は、環境内でナビゲートするために車両によって現在使用されている車両コンピューティングデバイスによって決定された基準軌道（動作７０４）とは異なることに留意されたい。

【0110】

動作７１０において、プロセスは、リモートコンピューティングデバイスによって決定された基準軌道に少なくとも部分的に基づいて、候補軌道を決定することを含むことができる。例えば、車両コンピューティングデバイスは、イベントを考慮して車両がナビゲートするための候補軌道を決定し得る。例えば、車両の計画コンポーネントは、基準軌道に関連付けられた１つまたは複数のコストに少なくとも部分的に基づいて候補軌道を決定し得る。いくつかの例では、候補軌道は、基準軌道を決定するために使用されるレート制御を考慮して計画コンポーネントによって決定され得る。様々な例では、計画コンポーネントは、基準軌道に関連付けられた加速度および／またはステアリング情報に少なくとも部分的に基づいて候補軌道を決定し得る。

【0111】

動作７１２において、プロセスは、候補軌道に少なくとも部分的に基づいて自律車両を制御することを含むことができる。例えば、車両コンピューティングデバイスは、イベントを通過して車両をナビゲートするために、現在の基準軌道の代わりに候補軌道を実施し得る。この連続動作は、動作７１２から動作７０８に続く動作によって示される。

【0112】

［例示的な発明内容］
Ａ：１つまたは複数のプロセッサと、前記１つまたは複数のプロセッサによって実行可能な命令を記憶した１つまたは複数の非一時的コンピュータ可読媒体と、を含むシステムであって、前記命令は実行されると、前記システムに、環境内をナビゲートする自律車両から支援の要求を受信することであって、前記支援の要求は、前記自律車両に関連付けられた車両状態データおよび前記自律車両に関連付けられたセンサデータを含む、ことと、レート制御を示す入力を受信することと、前記レート制御に少なくとも部分的に基づいて、前記環境内で前記自律車両が辿るための基準軌道を決定することであって、前記基準軌道は、将来の時間において前記環境内をナビゲートするための前記自律車両の速度および方向を示す、ことと前記基準軌道を前記自律車両に送信することと、を含む動作を実行させ、前記基準軌道は、前記自律車両の計画コンポーネントに、前記環境内で前記自律車両をナビゲートするための軌道を決定させるように構成されている、システム。

【0113】

Ｂ：前記動作がディスプレイデバイス上のユーザインターフェースを介して、前記環境内をナビゲートしている前記自律車両の表現を提示することと前記ユーザインターフェースを介して前記レート制御を含む前記入力を受信し、前記自律車両の前記表現をナビゲートすることと、前記入力に少なくとも部分的に基づいて前記基準軌道を決定することと、をさらに含む、段落Ａに記載のシステム。

【0114】

Ｃ：前記自律車両の前記表現をナビゲートするための前記入力は、前記自律車両の運動学的または動的制約の少なくとも１つに少なくとも部分的に基づいている、段落ＡまたはＢに記載のシステム。

【0115】

Ｄ：前記レート制御が、前記車両状態データに少なくとも部分的に基づいて前記入力の加速度レートまたはステアリングレートを調整するように構成されており、前記動作がディスプレイに、前記車両状態データに少なくとも部分的に基づいて、第１の位置においてユーザインターフェース内に前記自律車両の表現を提示させることであって、前記第１の位置は第１の時間に関連付けられた前記環境内の前記自律車両の現在の位置に関連付けられている、ことと前記加速度レートまたは前記ステアリングレートに従って前記自律車両の前記表現を制御するための前記入力を受信することに少なくとも部分的に基づいて、前記基準軌道を決定することであって、前記入力は、前記第１の時間の後の第２の時間において前記自律車両が前記環境内でナビゲートするための速度および方向を示している、ことと、前記自律車両に、前記基準軌道に関連付けられた前記加速度レートまたは前記ステアリングレートの指示を送信することと、をさらに含む、段落Ａ乃至Ｃのいずれかに記載のシステム。

【0116】

Ｅ：前記動作は、前記センサデータに少なくとも部分的に基づいて、前記自律車両に近接する前記環境内のオブジェクトまたはイベントの１つまたは複数を決定することと、前記自律車両の表現が、前記オブジェクトまたは前記イベントに少なくとも部分的に基づいて、ディスプレイデバイス上のユーザインターフェース内でナビゲートするための加速度閾値、速度閾値、またはタイミング閾値の少なくとも１つを決定することと、をさらに含み、前記基準軌道は、前記加速度閾値、前記速度閾値、または前記タイミング閾値の前記少なくとも１つに少なくとも部分的に基づいている、段落Ａ乃至Ｄのいずれかに記載のシステム。

【0117】

Ｆ：環境内の車両から支援の要求を受信することと、レート制御を示す入力を受信することと、前記レート制御に少なくとも部分的に基づいて、前記車両が前記環境内で辿るための基準軌道を決定することであって、前記基準軌道は、前記車両の速度と、将来の時間に前記車両が前記環境内でナビゲートするための方向とを示す、ことと前記基準軌道を前記車両に送信することとを含み、前記基準軌道は、前記車両の計画コンポーネントに、前記車両を前記環境内でナビゲートするための軌道を決定させるように構成されている、方法。

【0118】

Ｇ：ディスプレイデバイス上のユーザインターフェースを介して、前記環境内をナビゲートする前記車両の表現を提示することと前記車両の前記表現をナビゲートするために、前記ユーザインターフェースを介して入力を受信することと前記入力に少なくとも部分的に基づいて、前記基準軌道を決定することと、をさらに含む、段落Ｆに記載の方法。

【0119】

Ｈ：前記車両の前記表現をナビゲートするための前記入力が、前記環境内でナビゲートする前記車両の能力に少なくとも部分的に基づいている、段落ＦまたはＧに記載の方法。

【0120】

Ｉ：前記車両の前記表現をナビゲートするための前記入力が、前記ユーザインターフェースにおける前記車両の前記表現のシミュレーションをもたらし、前記シミュレーションが、前記環境を横断する前記車両に関連付けられた１つまたは複数の移動制限に少なくとも部分的に基づいている、段落Ｆ乃至Ｈのいずれかに記載の方法。

【0121】

Ｊ：ディスプレイデバイスに、前記車両の現在の位置および前記車両の表現をユーザインターフェース内に提示させることと前記車両の前記表現のための提案された軌道を表す第１の入力を受信することと前記ディスプレイデバイスに、前記車両の前記現在の位置に対する前記車両の前記提案された軌道を前記ユーザインターフェース内に提示させることと、をさらに含み、前記基準軌道または前記車両を決定することはさらに前記提案された軌道に少なくとも部分的に基づいている、段落Ｆ乃至Ｉに記載の方法。

【0122】

Ｋ：前記車両から受信したセンサデータに少なくとも部分的に基づいて、前記車両に近接する前記環境内のオブジェクトまたはイベントの１つまたは複数を決定することと前記オブジェクトまたは前記イベントに少なくとも部分的に基づいて、前記車両の前記表現が前記ユーザインターフェース内でナビゲートするための加速度閾値、速度閾値、またはタイミング閾値の少なくとも１つを決定することと、をさらに含み、前記基準軌道は、前記加速度閾値、速度閾値、またはタイミング閾値の前記少なくとも１つに少なくとも部分的に基づいている、段落Ｆ乃至Ｊに記載の方法。

【0123】

Ｌ：前記基準軌道を追加の車両によってアクセス可能なデータストアに関連付けることをさらに含む、段落Ｆ乃至Ｋのいずれかに記載の方法。

【0124】

Ｍ：データストアがマップを含み、前記方法は、マップに対する前記追加の車両の位置に少なくとも部分的に基づいて、前記基準軌道を前記追加の車両に送信することをさらに備える、段落Ｆ乃至Ｌのいずれかに記載の方法。

【0125】

Ｎ：前記レート制御が、前記車両から受信された車両状態データに少なくとも部分的に基づいて、前記入力の加速度レートまたはステアリングレートを調整するように構成されており、前記加速度レートまたは前記ステアリングレートに少なくとも部分的に基づいて、前記基準軌道を決定し、ディスプレイデバイス上のユーザインターフェースにおける前記車両の表現を制御することと、前記基準軌道に関連付けられた前記加速度レートまたは前記ステアリングレートの指示を前記車両に送信することとをさらに含み、前記加速度レートまたは前記ステアリングレートを示す前記基準軌道は、前記車両の計画コンポーネントに、前記環境内で前記車両をナビゲートするための軌道を決定させるように構成されている、段落Ｆ乃至Ｍのいずれかに記載の方法。

【0126】

Ｏ：ディスプレイデバイス上のユーザインターフェースを介して、遠隔デバイスからの入力によって制御可能な前記車両の第１の表現と、前記環境内の前記車両の動作または方向を示す前記車両の第２の表現とを提示すること、をさらに含む、段落Ｆ乃至Ｎのいずれかに記載の方法。

【0127】

Ｐ：前記車両に関連付けられた車両状態データを受信することと、前記車両状態データに少なくとも部分的に基づいて、前記ユーザインターフェース内の前記車両の前記第１の表現の位置を更新することと、をさらに含む、段落Ｆ乃至Ｏのいずれかに記載の方法。

【0128】

Ｑ：命令を記憶する１つまたは複数の非一時的コンピュータ可読媒体であって、前記命令は実行されると、１つまたは複数のプロセッサに環境内の車両から支援の要求を受信することと、レート制御を示す入力を受信することと、前記レート制御に少なくとも部分的に基づいて、前記車両が前記環境内で辿るための基準軌道を決定することであって、前記基準軌道は、前記車両の速度及び前記車両が将来の時間に前記環境内でナビゲートする方向を示す、ことと、前記基準軌道を前記車両に送信することと、前記基準軌道に少なくとも部分的に基づいて、前記車両の計画コンポーネントに、前記環境内で前記車両をナビゲートする軌道を決定させることと、を含む動作を実行させる、１つまたは複数の非一時的コンピュータ可読媒体。

【0129】

Ｒ：前記動作が、ディスプレイデバイス上のユーザインターフェースを介して、前記環境内をナビゲートする前記車両の表現を提示することと、前記車両の前記表現をナビゲートするために、前記ユーザインターフェースを介して前記レート制御を含む前記入力を受信することと、前記入力に少なくとも部分的に基づいて前記基準軌道を決定することと、をさらに含む、段落Ｑに記載の１つまたは複数の非一時的コンピュータ可読媒体。

【0130】

Ｓ：前記車両の前記表現をナビゲートするための前記入力が、前記環境内をナビゲートするための前記車両のステアリング能力または加速能力に少なくとも部分的に基づいている、段落ＱまたはＲに記載の１つまたは複数の非一時的コンピュータ可読媒体。

【0131】

Ｔ：前記動作が、センサデータに少なくとも部分的に基づいて、前記車両に近接する前記環境内のオブジェクトまたはイベントの１つまたは複数を決定することと、前記オブジェクトまたは前記イベントに少なくとも部分的に基づいて、ディスプレイデバイス上のユーザインターフェースでナビゲートする前記車両の表現のための加速閾値、速度閾値、またはタイミング閾値の少なくとも１つを決定することと、前記基準軌道は、前記加速度閾値、前記速度閾値、または前記タイミング閾値の少なくとも１つに少なくとも部分的に基づいている、をさらに含む、段落Ｑ乃至Ｓのいずれかに記載の１つまたは複数の非一時的コンピュータ可読媒体。

【0132】

Ｕ：１つまたは複数のプロセッサと、前記１つまたは複数のプロセッサによって実行可能な命令を記憶する１つまたは複数の非一時的コンピュータ可読媒体と、を含むシステムであって、前記命令は実行されると、前記システムに自律車両の計画コンポーネントによって、第１の基準軌道を決定することと、前記第１の基準軌道に関連付けられたイベントを決定することと、前記イベントに少なくとも部分的に基づいて、ガイダンスの要求をリモートコンピューティングデバイスに送信することと、前記要求に少なくとも部分的に基づいて、および前記リモートコンピューティングデバイスから第２の基準軌道を受信することであって、前記第２の基準軌道は、ステアリングデータまたは加速度データの少なくとも１つを含む、ことと、前記第２の基準軌道に少なくとも部分的に基づいて、候補軌道を決定することと、前記候補軌道に少なくとも部分的に基づいて前記自律車両を制御することと、を含む動作を実行させる、システム。

【0133】

Ｖ：前記動作が、前記自律車両のセンサによってキャプチャされた環境のセンサデータを受信することであって、前記センサデータは第１の時間に関連付けられている、ことと、前記センサデータを前記リモートコンピューティングデバイスに送信することと、をさらに含み、前記第２の基準軌道は、前記センサデータに少なくとも部分的に基づいており、前記自律車両に対する加速度と、前記自律車両が前記第１の時間の後の第２の時間に前記環境内をナビゲートするためのステアリングとを示している、段落Ｕに記載のシステム。

【0134】

Ｗ：前記第２の基準軌道が、環境内をナビゲートする前記自律車両の能力に少なくとも部分的に基づいており、前記自律車両の前記能力が、前記自律車両に関連付けられた運動学的情報または動的情報に少なくとも部分的に基づいている、段落ＵまたはＶに記載のシステム。

【0135】

Ｘ：前記第２の基準軌道が、レート制御された加速度入力またはレート制御されたステアリング入力の少なくとも１つに少なくとも部分的に基づいている、段落Ｕ乃至Ｗのいずれかに記載のシステム。

【0136】

Ｙ：前記動作が、前記自律車両から、前記自律車両の環境内のオブジェクトを示すセンサデータを受信することと、前記センサデータおよび前記オブジェクトに少なくとも部分的に基づいて、前記自律車両に関連付けられた加速度閾値、速度閾値、またはタイミング閾値の少なくとも１つを決定して、ユーザインターフェース内をナビゲートすることと、をさらに含み、前記ガイダンスの要求は、前記加速閾値、前記速度閾値、および前記タイミング閾値を含んでおり、前記第２の基準軌道は、前記加速度閾値、前記速度閾値、または前記タイミング閾値の少なくとも１つに少なくとも部分的に基づいて、決定されている、段落Ｕ乃至Ｘのいずれかに記載のシステム。

【0137】

Ｚ：環境内をナビゲートする車両からガイダンスの要求を送信することと、リモートコンピューティングデバイスから、および前記ガイダンスの要求に少なくとも部分的に基づいて、前記車両が前記環境内で辿るための基準軌道を受信することであって、前記基準軌道は、前記車両の加速度と、前記車両が将来の時間に前記環境内でナビゲートするためのステアリングとを示している、ことと、前記車両の計画コンポーネントによって、前記基準軌道に少なくとも部分的に基づいて、前記環境内で前記車両をナビゲートするための軌道を決定することと、を含む方法。

【0138】

ＡＡ：前記基準軌道が、レート制御された加速度入力またはレート制御されたステアリング入力の少なくとも１つに少なくとも部分的に基づいている、段落Ｚに記載の方法。

【0139】

ＡＢ：前記レート制御された加速度入力は、前記環境内で前記車両をナビゲートすることに関連付けられた加速能力に少なくとも部分的に基づいており、前記レート制御されたステアリング入力は、前記環境内で前記車両をナビゲートすることに関連付けられたステアリング能力に少なくとも部分的に基づいている、段落ＺまたはＡＡに記載の方法。

【0140】

ＡＣ：前記基準軌道が第２の基準軌道であり、前記方法は、前記車両の前記計画コンポーネントによって、前記要求を送信する前に、第１の基準軌道を決定することと、前記第１の基準軌道に関連付けられたコストを決定することと、前記コストが閾値コストを満たすまたは超えると決定することと、をさらに含み前記ガイダンスの要求を送信することは、前記コスト閾値を満たすまたは超えている前記コストに少なくとも部分的に基づいている、段落Ｚ乃至ＡＢのいずれかに記載の方法。

【0141】

ＡＤ：前記軌道を決定することはさらに、基準軌道に関連付けられた基準コスト、ステアリングコスト、加速コスト、または前記障害物コストの少なくとも１つに少なくとも部分的に基づいている、段落Ｚ乃至ＡＣのいずれかに記載の方法。

【0142】

ＡＥ：前記車両に関連付けられたセンサデータに少なくとも部分的に基づいて、前記リモートコンピューティングデバイスによって使用されるレート制御閾値を決定することと、前記リモートコンピューティングデバイスに、前記レート制御閾値を送信して、前記レート制御閾値に少なくとも部分的に基づいて前記基準軌道を決定させることと、をさらに含む、段落Ｚ乃至ＡＤのいずれかに記載の方法。

【0143】

ＡＦ：前記基準軌道が加速度レート及びステアリングレートを含み、前記方法が、前記基準軌道に関連付けられた前記加速度レートに少なくとも部分的に基づいて、前記車両をナビゲートする前記軌道の加速度コストを決定することと、前記基準軌道に関連付けられた前記ステアリングレートに少なくとも部分的に基づいて、前記車両をナビゲートする前記軌道のためのステアリングコストを決定することと、前記加速コストおよび前記ステアリングコストに少なくとも部分的に基づいて、前記環境内で前記車両をナビゲートすることと、をさらに含む、段落Ｚ乃至ＡＥのいずれかに記載の方法。

【0144】

ＡＧ：前記イベントが、潜在的な衝突、障害物、または道路閉鎖の少なくとも１つを含む、段落Ｚ乃至ＡＦのいずれかに記載の方法。

【0145】

ＡＨ：前記車両のセンサによってキャプチャされた前記環境のセンサデータを受信することと、前記センサデータを前記リモートコンピューティングデバイスに送信することであって、前記基準軌道が前記センサデータに少なくとも部分的に基づいている、ことと、をさらに含む、段落Ｚ乃至ＡＧのいずれかに記載の方法。

【0146】

ＡＩ：前記車両のセンサからキャプチャされたセンサデータに少なくとも部分的に基づいて、前記環境内のイベントを検出することと、前記イベントが前記車両の目的地までナビゲートする能力に影響を与えると決定することと、をさらに含み、前記ガイダンスの前記要求を送信することは、前記車両が前記目的地までナビゲートする前記能力に関連付けられた信頼レベルを送信することを含み、前記基準軌道は前記信頼レベルに少なくとも部分的に基づいている、段落Ｚ乃至ＡＨのいずれかに記載の方法。

【0147】

ＡＪ：前記基準軌道が、前記環境内をナビゲートする前記車両の運動学的または動的制約の１つまたは複数に少なくとも部分的に基づいている、段落Ｚ乃至ＡＩのいずれかに記載の方法。

【0148】

ＡＫ：命令を記憶する１つまたは複数の非一時的コンピュータ可読媒体であって、前記命令は実行されると、１つまたは複数のプロセッサに環境内をナビゲートする車両からガイダンスの要求を送信することと、リモートコンピューティングデバイスから、および前記ガイダンスの要求に少なくとも部分的に基づいて、前記車両が前記環境内で辿るための基準軌道を受信することであって、前記基準軌道は、前記車両の加速度と、前記車両が将来の時間に前記環境内でナビゲートするためのステアリングとを示している、ことと、前記車両の計画コンポーネントによって、前記基準軌道に少なくとも部分的に基づいて、前記環境内で前記車両をナビゲートするための軌道を決定することと、を含む動作を実行させる、１つまたは複数の非一時的コンピュータ可読媒体。

【0149】

ＡＬ：前記基準軌道が、レート制御された加速度入力またはレート制御されたステアリング入力の少なくとも１つに少なくとも部分的に基づいている、段落ＡＫに記載の１つまたは複数の非一時的コンピュータ可読媒体。

【0150】

ＡＭ：前記基準軌道が、前記環境内をナビゲートする前記車両の運動学的または動的制約に少なくとも部分的に基づいている、段落ＡＫまたはＡＬに記載の１つまたは複数の非一時的コンピュータ可読媒体。

【0151】

ＡＮ：前記軌道を決定することはさらに、前記基準軌道に関連付けられた基準コスト、ステアリングコスト、加速コスト、または前記障害物コストの少なくとも１つに少なくとも部分的に基づいている、段落ＡＫ乃至ＡＭに記載の１つまたは複数の非一時的コンピュータ可読媒体。

【0152】

上述の例示の発明内容は１つの特定の実装形態に関して説明しているが、この文書のコンテキストでは、例示の発明内容はまた、方法、デバイス、システム、コンピュータ可読媒体、および／またはその他の実装形態を介して実装できることを理解されたい。さらに、例示Ａ乃至ＡＮのいずれかは、単独でまたは他の１つまたは複数の例示Ａ乃至ＡＮと組み合わせて実装され得る。

【0153】

［結論］
本明細書で説明する技術の１つまたは複数の例について説明したが、様々な変更、追加、置換、およびそれらの同等物が、本明細書で説明する技術の範囲内に含まれる。

【0154】

例示の説明では、本明細書の一部を形成する添付の図面を参照するが、これは例示として請求される主題の具体的な例を示す。他の例を使用でき、構造的変更などの変更または代替を行うことできることを理解されたい。そのような例示、変更または代替は、意図して請求される主題に関する範囲から必ずしも逸脱するものではない。本明細書のステップは特定の順序で提示できるが、いくつかのケースでは、説明したシステムおよび方法の機能を変更することなく、特定の入力を異なる時間または異なる順序で提供するように、順序を変更できる。開示された手順をまた異なる順序で実行できる。さらに、本明細書にある様々な計算は開示された順序で実行される必要はなく、計算の代替順序を使用する他の例を容易に実装できる。並べ替えに加えて、計算はまた、同じ結果となるサブ計算に分解できる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【国際調査報告】