IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ズークス インコーポレイテッドの特許一覧

<>
  • 特許-リモート車両誘導 図1
  • 特許-リモート車両誘導 図2
  • 特許-リモート車両誘導 図3
  • 特許-リモート車両誘導 図4
  • 特許-リモート車両誘導 図5
  • 特許-リモート車両誘導 図6
  • 特許-リモート車両誘導 図7
  • 特許-リモート車両誘導 図8
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-07
(45)【発行日】2024-11-15
(54)【発明の名称】リモート車両誘導
(51)【国際特許分類】
   G08G 1/09 20060101AFI20241108BHJP
   B60W 30/10 20060101ALI20241108BHJP
   G05D 1/43 20240101ALI20241108BHJP
【FI】
G08G1/09 V
B60W30/10
G05D1/43
【請求項の数】 15
(21)【出願番号】P 2021577395
(86)(22)【出願日】2020-06-25
(65)【公表番号】
(43)【公表日】2022-09-07
(86)【国際出願番号】 US2020039594
(87)【国際公開番号】W WO2020264144
(87)【国際公開日】2020-12-30
【審査請求日】2023-06-15
(31)【優先権主張番号】16/457,646
(32)【優先日】2019-06-28
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】518156417
【氏名又は名称】ズークス インコーポレイテッド
(74)【代理人】
【識別番号】110001243
【氏名又は名称】弁理士法人谷・阿部特許事務所
(72)【発明者】
【氏名】ティモシー カルドウェル
(72)【発明者】
【氏名】ラヴィ ゴーニャ
(72)【発明者】
【氏名】メレディス ジェームズ ゴールドマン
(72)【発明者】
【氏名】フランク レイナルド ラミレス
(72)【発明者】
【氏名】マシュー ミラー ヤング
(72)【発明者】
【氏名】リック ジャン
【審査官】増子 真
(56)【参考文献】
【文献】特開平11-149315(JP,A)
【文献】特開2010-152833(JP,A)
【文献】特開2016-095851(JP,A)
【文献】特表2018-538647(JP,A)
【文献】特開2007-310698(JP,A)
【文献】米国特許第10268191(US,B1)
(58)【調査した分野】(Int.Cl.,DB名)
G08G 1/00 - 99/00
B60W 10/00 - 10/30
B60W 30/00 - 60/00
G05D 1/00 - 1/87
(57)【特許請求の範囲】
【請求項1】
システムであって、
1つまたは複数のプロセッサと、
プロセッサ実行可能命令を格納するメモリであって、前記プロセッサ実行可能命令は、前記1つまたは複数のプロセッサによって実行された場合に、前記システムに、
車両に関連付けられる車両コンピューティングシステムから障害物の周りをナビゲートすることに対して誘導の入力のための要求を受信することと、
受信データとして、前記車両コンピューティングシステムからセンサーデータまたは前記センサーデータに少なくとも部分的に基づいたデータを受信することと、
誘導システムに関連付けられるユーザーインターフェースを介して、前記受信されたデータに少なくとも部分的に基づいて、第1の方向および第1の位置を含む第1のウェイポイントを受信することと
前記第1のウェイポイントに関連付けられる第1のデータを前記車両コンピューティングシステムに送信することと、
前記車両に少なくとも部分的に前記第1のウェイポイントに基づいて制御させることとを構成するメモリとを
備えるシステム。
【請求項2】
前記プロセッサ実行可能命令は、前記システムに、リモート誘導を提供するための条件が満たされているという決定をすることをさらに構成し、前記条件は、
前記車両コンピューティングシステムとの接続に対応する待ち時間が閾値待ち時間を下回っていること、
前記車両コンピューティングシステムとの前記接続に対応するバンド幅が閾値バンド幅を下回っていること、
前記車両の速度が閾値値速度を下回っていること、
前記センサーデータを提供するための利用可能なセンサーの数が閾値の数を超えていること、または前記車両が故障に関連する調子を含まないという決定のうちの少なくとも1つを含む、請求項1に記載のシステム。
【請求項3】
前記プロセッサ実行可能命令は、前記システムにさらに、
前記第1の位置および前記第1の方向が前記車両の動作に関連付けられる安全プロトコルまたはリモート誘導プロトコルのうちの少なくとも1つを満たすという決定をすることであって、前記リモート誘導プロトコルは、リモート誘導モードで動作している車両の動きに関連付けられる1つまたは複数の制限を含むことと、
前記安全プロトコルまたは前記リモート誘導プロトコルのうちの少なくとも1つを少なくとも部分的に満たすことに基づいて、前記第1の位置および前記第1の方向を検証することとを構成する、請求項1または2のいずれかに記載のシステム。
【請求項4】
前記プロセッサ実行可能命令は、前記システムにさらに、
前記ユーザーインターフェースを介して、第2の位置および第2の方向に関連付けられる第2のウェイポイントを含む第2の入力を受信することと、
前記第2のウェイポイントが前記車両のルートの閾値距離内にあるという決定をすることと、
少なくとも部分的に前記閾値距離に基づいて、前記障害物が前記車両の後ろにあるという決定をすることと、
前記車両の後ろにある前記障害物に少なくとも部分的に基づいて、誘導を提供するための終了条件が満たされているという決定をすることと、
前記車両を自律的に制御するために命令を前記車両コンピューティングシステムに伝送することとを構成する、請求項1ないし3のいずれか一項に記載のシステム。
【請求項5】
前記プロセッサ実行可能命令は、前記システムにさらに、
前記車両が目的地までのルートに沿って進行することができないという決定をすることと、
目的地への車両誘導のための更新されたルートを生成することと、
前記更新されたルートを前記車両コンピューティングシステムに送信することと、
前記更新されたルートに少なくとも部分的に基づいて、前記車両を自律的に制御するために命令を前記車両コンピューティングシステムに伝送することとを構成する、請求項1ないし4のいずれか一項に記載のシステム。
【請求項6】
車両に関連付けられる車両コンピューティングデバイスから障害物の周りをナビゲートすることに対して誘導の入力のための要求を受信するステップと、
受信データとして、前記車両コンピューティングデバイスからセンサーデータまたは前記センサーデータに少なくとも部分的に基づいたデータを受信するステップと、
誘導システムに関連付けられるユーザーインターフェースを介して、第1のウェイポイントに対応する第1の入力を受信するステップであって、前記第1の入力は、前記受信されたデータに少なくとも部分的に基づいているステップと、
前記第1のウェイポイントに関連付けられる第1のデータを前記車両コンピューティングデバイスに送信するステップと、
前記車両の動作に対応する安全プロトコルまたはリモート誘導プロトコルのうちの少なくとも1つの少なくとも部分的に基づいて、前記車両コンピューティングデバイスから前記第1のウェイポイントの除外を示す除外メッセージを受信するステップと、
を備える方法。
【請求項7】
リモート誘導を提供するための条件が満たされていると第1の時間で決定するステップと、
少なくとも部分的に満たされている前記条件に基づいて、前記ユーザーインターフェースへと入力を有効にするステップと、
リモート誘導を提供するための前記条件が満たされていないと第2の時間で決定するステップと、
少なくとも部分的に満たされていない前記条件に基づいて、ユーザーインターフェースへと前記入力を無効にするステップとをさらに備える、請求項6に記載の方法。
【請求項8】
前記第1のウェイポイントが前記車両の動作に関連付けられる安全プロトコルまたはリモート誘導プロトコルのうちの少なくとも1つを満たすという決定をするステップであって、前記リモート誘導プロトコルは、リモート誘導モードで動作している車両の動きに関連付けられる1つまたは複数の制限を含むステップと、
前記安全プロトコルまたは前記リモート誘導プロトコルのうちの前記少なくとも1つを満たすステップに少なくとも部分的に基づいて、前記第1のウェイポイントを検証するステップとをさらに備え、
前記第1のデータを送信するステップは、少なくとも部分的に前記第1のウェイポイントを検証するステップに基づいている、請求項6または7のいずれか一項に記載の方法。
【請求項9】
ホールド信号を前記車両に送信するステップであって、前記ホールド信号は、前記車両コンピューティングデバイスにある位置でホールドさせるステップと、
リリース信号を前記車両に送信するステップとをさらに備え、前記リリース信号は、前記車両を前記第1のウェイポイントに制御するために前記車両コンピューティングデバイスへの命令を含む、請求項6ないし8のいずれか一項に記載の方法。
【請求項10】
前記第1の入力は、
前記第1のウェイポイントに関連付けられる第1の位置であって、前記第1の位置は、前記ユーザーインターフェースの選択可能な領域に対応する位置と、
記第1のウェイポイントでの前記車両の第1のヨーを示す第1の方向とを含む、請求項6ないし9のいずれか一項に記載の方法。
【請求項11】
第2のウェイポイントに対応する第2の入力を受信するステップと、
前記第2のウェイポイントに関連付けられる第2のデータを前記車両コンピューティングデバイスに送信するステップと、
前記車両の動作に対応する安全プロトコルまたはリモート誘導プロトコルのうちの少なくとも1つの少なくとも部分的に基づいて、前記車両コンピューティングデバイスから前記第2のウェイポイントの除外を示す除外メッセージを受信するステップとをさらに備える、請求項6ないし10のいずれか一項に記載の方法。
【請求項12】
前記車両がある位置から進行することができないことの表示を受信するステップと、
前記ユーザーインターフェースを介して、前記車両が前記位置から進行することができないことの表示を提示するステップと、
前記ユーザーインターフェースを介して、第2のウェイポイントに対応する第2の入力を受信するステップと、
前記第2のウェイポイントを前記車両コンピューティングデバイスに伝送するステップとをさらに備える、請求項6ないし11のいずれか一項に記載の方法。
【請求項13】
第2のウェイポイントに対応する第2の入力を受信するステップと、
前記第2のウェイポイントに関連付けられる第2のデータを前記車両コンピューティングデバイスに送信するステップと、
前記第2のウェイポイントが前記障害物に関連付けられる終了条件に対応するという決定をするステップと、
前記第2のウェイポイントに関連付けられる動作を完了した後で、前記車両を自律的に制御するために命令を前記車両コンピューティングデバイスに送信するステップとを備える、請求項6ないし12のいずれか一項に記載の方法。
【請求項14】
第2のウェイポイントに対応する第2の入力を受信するステップと、
前記第2のウェイポイントに関連付けられる第2のデータを前記車両コンピューティングデバイスに送信するステップと、
前記ユーザーインターフェースを介して、前記第1のウェイポイントまたは前記第2のウェイポイントのうちの少なくとも1つを編集するためにオペレーターの意図を示す第3の入力を受信するステップと、
前記車両が前記第1のウェイポイントに移行しているという決定をするステップと、
前記第1のウェイポイントへの第1の編集を無効にするステップと、
前記第2のウェイポイントの少なくとも1つが前記車両コンピューティングデバイスによって受け入れられていないか、または前記車両が前記第1のウェイポイントを越えて前進させていないという決定をするステップと、
前記第2のウェイポイントへの第2の編集を有効にするステップと、
前記第2のウェイポイントを削除または変更のうちの少なくとも1つをするために命令を前記車両コンピューティングデバイスに送信するステップとをさらに備える、請求項6ないし13のいずれか一項に記載の方法。
【請求項15】
実行された場合に、1つまたは複数のプロセッサに、請求項6ないし14のいずれか一項記載の方法を実行させる命令を格納する非一時的なコンピューター可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、リモート車両誘導に関する。
【背景技術】
【0002】
本PCT国際特許出願は、2019年6月28日に出願された「REMOTE VEHICLE GUIDANCE」と題する米国特許出願第16/457,646号の継続であり、優先権の利益を主張し、そのすべての内容は、参照により本明細書に組み込まれる。
【0003】
車両は、条件が頻繁に変化する動的な環境において動作する。変化する条件の中で、工事、および事故などによる道路の遮断がある。自律車両は、指定された運用プロトコル内で車両を維持する一方で、変化する条件に反応するためにプログラミングされることができる。運用プロトコルは、車両を反対方向の交通のために指定された車線へと動作しないように規定された動作の規則を含んでよい。しかしながら、事故または工事区域などを迂回することで、運用プロトコルのパラメーター外のルートを示すことがよくある。運用プロトコルの境界外で動作することを許可されていないと、自律車両は、障害物の周りを進行することができないことがあり、このように、所定の位置に留まることがある。
【図面の簡単な説明】
【0004】
詳細な説明は、添付の図面を参照して説明される。図面において、参照番号の左端の数字は、その参照番号が最初に出現する図面を特定する。異なる図面における同一の参照番号の使用は、類似、または同一の構成要素、または特徴を示す。
【0005】
図1】環境における自律車両の図面であり、ここで、リモート車両誘導システムは、環境を通して車両を誘導することを助力することに用いられることができる。
図2】オペレーターがリモート誘導モードで動作する車両に対して、ウェイポイントおよび/または方向誘導を入力することができるグラフィカルユーザーインターフェースを有する例示的なサービスコンピューティングデバイスの図面である。
図3】車両にインクリメント誘導を提供するための例示的なプロセスを図示している。
図4】グラフィカルユーザーインターフェースを介して車両にリモート誘導を提供するためのオペレーターワークフローを図示する例示的なフロー図の図面である。
図5】リモート誘導の入力に応答する車両のアクションを図示する例示的なフロー図の図面である。
図6】リモート誘導を車両コンピューティングデバイスに提供するための例示的なプロセスを図示している。
図7】サービスコンピューティングデバイスから受信した誘導の入力に基づいて、車両を制御するための例示的なプロセスを図示している。
図8】本明細書で説明される技術を実装するための例示的なシステムのブロック図である。
【発明を実施するための形態】
【0006】
本開示は、ナビゲートすることが困難である(例えば、プランナーが一組の運転方針、または他の方法に従ってルートを計画することができない)状況に直面した環境において、動作する車両にインクリメント誘導をリモートで提供するための技術に向けられている。車両は、動作環境において直面した障害物に基づいて、リモート車両誘導システムからの誘導を要求するように構成される車両コンピューティングシステムを有する自律型または半自律型走行車を含んでよい。リモート車両誘導システムは、オペレーターが状況(例えば、1つまたは複数の障害の周辺)を通して車両をナビゲートするために提案されるウェイポイントおよび/または方向(例えば、対応するウェイポイントでの車両のヨー)を入力することができるグラフィカルユーザーインターフェース(GUI)を含んでよい。車両は、提案されるウェイポイントおよび/または方向を受信することができ、提案されるウェイポイントおよび/または方向によって画定された経路に沿ってナビゲートすることが車両の安全プロトコルを満たすことを検証することができる。したがって、本明細書で説明される技術は、環境において動作する車両の安全性を改善する。
【0007】
車両コンピューティングシステムは、車両の1つまたは複数のセンサー(例えば、カメラ、モーションディテクター、ライダー、レーダー、飛行時間など)からセンサーデータを受信することができる。車両コンピューティングシステムは、センサーデータに基づいて、車両が実行可能な経路(例えば、道路の遮断、道路の工事区域、車両の視線の先のドライブライン、(例えば、道路の標高および/または道路の曲がり角のためにセンサーの視覚が損なわれる)、障害物の周辺の軌道が制御ポリシーに違反することとなるなど)を決定するように構成されていない場合のルートの周辺の障害物に車両が接近しているという決定をすることができ、本明細書ではリモート誘導シナリオと称される。リモート誘導状況は、車両コンピューティングシステムが実行するようにプログラムされていない状況(例えば、未知の状況)および/または運用プロトコルに違反しているように見える状況(例えば、運用プロトコル(例えば、制御ポリシー)を違反することとなる状況をナビゲートするために要求される軌道)を含んでよい。運用プロトコルは、二重黄色線を越えない、対向車線へと向かって行かない、道路の運転可能な平面の境界を越えないなど、車両がとることができる、またはとることができないアクションを管理する1つまたは複数の規則を含んでよい。例えば、車両コンピューティングシステムは、車両が走行している道路が遮断されていること、およびその遮断を回避する方法が運用プロトコルに違反して反対方向に走行する交通のために指定された車線へと向かって行くことを検出することができる。
【0008】
ある例示において、リモート誘導状況の検出に応答して、車両コンピューティングシステムは、GUIで構成されるサービスコンピューティングデバイスに自動的に接続することができる。さまざまな例示において、車両のオペレーターおよび/または安全オブザーバーは、リモート誘導状況を検出することができ、サービスコンピューティングデバイスに接続することができる。ある例示において、車両コンピューティングシステムは、誘導のための要求をサービスコンピューティングデバイスに送信することができる。さまざま例示において、サービスコンピューティングデバイスから応答(例えば、誘導の入力)を受信する前に、車両コンピューティングシステムは、リモート誘導状況をナビゲートするための解決策を決定することができる。このような例示において、車両コンピューティングシステムは、解決策に従って車両を制御することができる。ある例示において、車両コンピューティングシステムは、誘導の入力がもはや必要ないことを示す第2のメッセージをサービスコンピューティングデバイスに送信することができる(例えば、車両がリモート誘導なしで進行していることを示す)。ある例示において、車両コンピューティングシステムは、サービスコンピューティングデバイスに第2のメッセージを送信することなく、車両の制御に進むことができる。このような例示において、車両コンピューティングシステムまたはサービスコンピューティングデバイスのうちの少なくとも1つは、誘導の入力が必要ではないという決定をすることができ、他のコンピューティングデバイスから切断することができる。
【0009】
ある例示において、誘導のための要求を受信することに応答して、サービスコンピューティングデバイスは、誘導を提供するための1つまたは複数の条件が満たされているという決定をすることができる。条件は、接続閾値(例えば、閾値待ち時間、閾値バンド幅など)、閾値速度より遅い車両速度(例えば、毎時15マイル、毎時20キロメートルなど)、動作可能なセンサーの閾値の数/タイプ(例えば、4つの動作可能なカメラの閾値、すべての車両の動作可能なライダーセンサーなど)、故障に関連する車両の調子の欠如(例えば、一貫性のないセンサー読み取りに関連する故障、1つまたは複数の動作していないセンサー、衝突回避システム、プランナーシステム、および/または他の車両システムに関連付けられる故障など)、および/またはリモート誘導システムの有効性に影響を与え得る他の条件を含んでよい。ある例示において、条件が満たされていないという決定に応答して、サービスコンピューティングデバイスは、車両コンピューティングシステムに接続しないことがある。ある例示において、条件が満たされていないという決定に応答して、サービスコンピューティングデバイスは、オペレーターがGUIへのアクセスを拒否し、および/またはGUIへの入力を拒否する。このような例示において、アクセスを拒否することは、例えば、車両コンピューティングシステムが安全でない結果を回避するために十分な時間枠で応答可能であることを確実にする十分な待ち時間の無いリモート誘導を許可しないなど、車両動作の安全性を向上させることができる。ある例示において、条件が満たされているという決定に応答して、サービスコンピューティングデバイスは、GUIを起動することができる。
【0010】
ある例示において、GUIは、車両上の1つまたは複数のセンサーからセンサーデータを示す1つまたは複数のウィンドウを含んでよい。少なくとも1つの例示において、GUIは、車両上のカメラによってキャプチャされたストリーミング画像を示すウィンドウを含んでよい。ウィンドウは、データを示すことができ、車両がとる経路を決定することでオペレーターを助力する。例えば、GUIは、車両に関連付けられる左正面図、正面図、右正面図、および背面図を示す4つのウィンドウを含んでよい。オペレーターは、それぞれの表示を評価することができ、車両がリモート誘導状況を通して移行するための安全な経路を決定する。
【0011】
さまざまな例示において、GUIは、車両の上面図および環境におけるリモート誘導状況の表示を含んでよい。このような例示において、上面図は、センサーデータに基づいて環境のコンピューター生成表示を含んでよい。ある例示において、上面図は、リモート誘導状況の1つまたは複数の障害物に対する車両の位置を含んでよい。例えば、上面図は、車両の所定の(例えば、計画された)経路を遮断する多様なオレンジ色のコーンに接近する車両を示すことができる。上面図は、車両、およびコーンを含んでよい。
【0012】
さまざまな例示において、GUIは、上面図を介してオペレーターからの入力を受信するように構成されてよい。このような例示において、オペレーターは、誘導を車両に提供することが可能であり、共に関連付けられる障害物の周りなどのリモート誘導状況をナビゲートする。入力は、1つまたは複数のウェイポイントを含んでよい。ウェイポイントは、車両が移動することとなる位置を含んでよい。さまざまな例示において、ウェイポイントは、それぞれ停止点を含んでよい。このような例示において、車両は、後続のウェイポイントの受信または検証の欠如などのそれぞれのウェイポイントで停止するように構成されてよい。少なくともある例示において、ここで後続のウェイポイントが提供され、車両は、停止することなく、ウェイポイントとの間でプラニングおよび移動を継続することができる。
【0013】
さまざまな例示において、入力は、関連するウェイポイントでの車両の方向(例えば、ヨー)を含んでよい。このような例示において、オペレーターは、関連するウェイポイントで車両を具体的な方向に向けさせることができる。ある例示において、方向は、先行および/または後続のウェイポイントに基づいて決定されてよい。このような例示において、具体的なウェイポイントでの方向は、車両を誘導ルート上のウェイポイントとの間をスムーズに移行することを有効にすることができる。さまざま例示において、ウェイポイントに関連付けられる方向は、車両がウェイポイントで停止されるべき優先された方向に基づいてよい。例えば、反対方向の交通に関連付けられる車線において、少なくとも部分的に配置される車両に関連付けられる優先された方向は、車線に平行であってよいことによって、車線において位置される車両の量が最小化されてよい。
【0014】
ある例示において、オペレーターは、サービスコンピューティングデバイスにウェイポイントおよび/または方向を車両コンピューティングシステムに送信させることができる。ある例示において、サービスコンピューティングデバイスは、オペレーターによる入力に応答するウェイポイントおよび/または関連する方向を自動的に送信することができる。このような例示において、ウェイポイントが具体的な位置にあると確認され、および/または方向が確認されるという決定に基づいて、サービスコンピューティングデバイスは、ウェイポイントおよび/または方向を自動的に送信することができる。ある例示において、ウェイポイントおよび/または関連する方向は、オペレーターからの送信コマンド(例えば、送信オプションの選択)の受信に応答して送信されてよい。このような例示において、オペレーターは、ウェイポイントを個々におよび/またはグループで送信することが可能である。
【0015】
ある例示において、サービスコンピューティングデバイスは、誘導データを車両コンピューティングシステムに送信する前に、ウェイポイントおよび/または方向を検証するように構成されてよい。ある例示において、検証は、ウェイポイントおよび/または方向が車両に関連付けられる安全プロトコルを満たす最初の検証を含んでよい。安全プロトコルは、車両の安全性を確実にするために事前に決定された条件のセットを含んでよい。安全プロトコルは、動的および/または静的オブジェクトから離れて維持する車両に対する1つまたは複数の閾値距離、最大ヨーレート、および/またはリモート誘導状況を通して車両の安全ナビゲーションに関連付けられる他の基準を含んでよい。さまざまな例示において、車両コンピューティングシステムは、サービスコンピューティングデバイスからウェイポイントおよび/または方向を受信してよく、ウェイポイントおよび/または方向を検証してよい。このような例示において、車両コンピューティングシステムは、ウェイポイントおよび/または方向が安全プロトコルを満たして、車両によって安全性が実行されてよいことを検証してよい。
【0016】
ある例示において、車両コンピューティングシステムは、少なくとも部分的にリモート誘導プロトコルに基づいて、ウェイポイントおよび/または方向を検証するように構成されてよい。このような例示において、車両コンピューティングシステムは、ウェイポイントおよび/または方向がリモート誘導プロトコルを満たす決定に部分的に基づいて、ウェイポイントおよび/または方向を検証してよい。リモート誘導プロトコルは、リモート誘導モードで動作している間に車両の動きに対する1つまたは複数の限定を含んでよい。リモート誘導プロトコルは、経路の逸脱(例えば、車両の1/2幅、1つの車両の幅などのような障害物を回避するために車両が逸脱し得る2つのウェイポイントとの間の経路からの距離)、静的オブジェクトの検出への応答(例えば、静的オブジェクトを回避して後続のウェイポイントに到着しようとする試み)、動的オブジェクトの検出への応答(例えば、ウェイポイントに対応する経路に入ると予測されるエージェントへの譲歩)、車両として同一の方向に移動する動的オブジェクトの追跡(例えば、ウェイポイントに対応する経路において)、交差点での優先権に対する適切な譲歩(例えば、4方向の停止、信号機、回り道など)、さらなる誘導が受信されない場合、前進の動きを停止するなど(例えば、別のウェイポイント、ナビゲーション再開の指示など)を含んでよい。
【0017】
さらにまたは代替的に、車両コンピューティングシステムは、運動学検証(例えば、動力学検証、運動学/動力学チェック)に少なくとも部分的に基づいて、ウェイポイントおよび/または方向を検証するように構成されてよい。運動学の検証は、車両が第1の位置(例えば、初期位置、ウェイポイントに関連付けられる位置など)から第2の位置(例えば、第1のウェイポイント、後続のウェイポイントなど)への移行を実行することが可能であるという決定をすることを含んでよい。ある例示において、移行を実行する能力は、車両コンピューティングシステムが物理的制約に基づいて、方向におけるウェイポイントに到着するために実行する車両に対する1つまたは複数の軌道を生成することが可能であるかを決定することを含んでよい。物理的制約は、最大ヨーレート、最大横方向距離、最大回転角、および/または車両操縦に関連付けられる他の制約を含んでよい。
【0018】
ウェイポイントおよび/または関連する方向が安全プロトコルおよび/またはリモート誘導プロトコルに違反しているという決定に応答して、車両コンピューティングシステムは、ウェイポイントを除外することができる。ある例示において、車両コンピューティングシステムは、停止点(例えば、一時停止線、一時停止標識、信号機など)から進行しない、または除外されたウェイポイントの前のウェイポイントで停止することなどによって、除外されたウェイポイントに進行しないことがある。ある例示において、車両コンピューティングシステムは、メッセージをウェイポイントの除外を示しているサービスコンピューティングデバイスに送信することができる。ある例示において、メッセージは、除外の理由を含んでよい。例えば、車両コンピューティングシステムは、ウェイポイントがセメント障壁からの閾値距離より短いという決定をしてよい。決定に基づいて、車両コンピューティングシステムは、ウェイポイントを除外することができ、メッセージを距離が閾値距離よりも短いことを示しているサービスコンピューティングデバイスに送信することができる。
【0019】
ウェイポイントおよび/または関連する方向が安全プロトコルおよび/またはリモート誘導プロトコルを満たすという決定に応答して、車両コンピューティングシステムは、ウェイポイントおよび/または方向を受け入れてよい。車両コンピューティングシステムは、ウェイポイントおよび/または方向を処理することができ、車両がウェイポイントとの間を移行するための1つまたは複数の軌道を生成することができる。例えば、車両コンピューティングシステムは、第1のウェイポイントおよび第1のウェイポイントに関連付けられる第1の方向を受信することができる。車両コンピューティングシステムは、初期位置から第1の方向での第1のウェイポイントに移動するための第1の軌道(または軌道のセット)を決定することができる。
【0020】
生成される軌道に基づいて、車両コンピューティングシステムは、1つまたは複数の駆動システムなどを介して、関連する方向でウェイポイントまで車両を制御することができる。さまざまな例示において、車両コンピューティングシステムは、所定の速度(例えば、毎時20キロメートル、毎時15マイル、毎時10マイルなど)で車両を制御することができる。ある例示において、所定の速度は、リモート誘導に関連付けられる最高速度を含んでよい。さまざまな例示において、車両コンピューティングシステムは、環境および/または状況に関連付けられる速度で車両を制御することができる。少なくとも1つの例示において、車両コンピューティングシステムは、所定の速度または環境および/もしくは状況に関連付けられる速度のうちの遅い方で車両を制御することができる。例えば、車両コンピューティングシステムは、リモート誘導モードで動作している場合に、毎時15マイルの所定の最高速度で動作してよい。車両コンピューティングシステムは、リモート誘導状況を検出することができ、サービスコンピューティングデバイスからの誘導の入力を要求することができる。車両コンピューティングシステム、および/またはオペレーターは、センサーデータに基づいて、リモート誘導状況が毎時5マイルの制限速度と共に関連付けたという決定をすることができる。毎時5マイルの制限速度が毎時15マイルの所定の最高速度よりも遅いことに基づいて、車両コンピューティングシステムは、リモート誘導状況を通してナビゲートしている間に、毎時5マイルに車両の速度を制限することができる。
【0021】
さまざまな例示において、車両コンピューティングシステムは、リモート誘導状況(例えば、ウェイポイントからウェイポイントへの移動)を通してナビゲートしている間に、車両が安全プロトコルおよび/またはリモート誘導プロトコルに違反することのないことを継続的および/または定期的に検証するように構成されてよい。例えば、車両コンピューティングシステムは、第1のウェイポイントから第2のウェイポイントまで車両を制御することができる。車両コンピューティングシステムは、車両に関連付けられる軌道と交差するように見える軌道を有する歩行者を検出することができる。車両コンピューティングシステムは、歩行者に譲歩するような歩行者に基づいてとるアクションを決定することができる。
【0022】
さまざまな例示において、サービスコンピューティングデバイスは、状況が完了した(例えば、車両が障害物を通過し、通常の動作を再開することが可能である)という決定をすることができ、車両をリモート誘導からリリースすることができる。ある例示において、状況の完了は、車両に関連付けられる元のルートの閾値距離内(例えば、0.5メートル、0.5フィート、10インチなど)にある生成されるウェイポイントに部分的に基づいてよい。ある例示において、状況の完了は、センサーデータ入力に基づいてよい。このような例示において、オペレーターは、GUIを介してセンサーデータを表示することができ、状況が完了したという決定をする。例えば、障害物は、工事区域を含んでよい。車両からのカメラフィードは、航空機の後ろの工事区域の終わりを示してよい。工事区域が車両の後ろにあるという決定に基づいて、オペレーターは、状況が完了したという決定をしてよい。ある例示において、決定は、許容可能である(例えば、制御ポリシーに違反しない)および/または決定された経路に沿って継続することが可能である軌道を決定するプランナーシステムに基づいてよい。
【0023】
さまざまな例示において、状況が完了したという決定に応答して、サービスコンピューティングデバイスは、リリース信号を車両に送信してよい。このような例示において、リリース信号に応答して、車両コンピューティングシステムは、車両(例えば、自律車両)のナビゲーションを再開するように構成されてよい。さまざまな例示において、サービスコンピューティングデバイスは、状況が車両の最初のルートを遮断したという決定をすることができる。このような例示において、サービスコンピューティングデバイスは、車両が所定の目的地に到着するための更新されたルートを生成するように構成されてよい。ある例示において、サービスコンピューティングデバイスは、リリース信号を送信する前に、更新されたルートを車両コンピューティングシステムに送信してよい。ある例示において、サービスコンピューティングデバイスは、更新されたルートをリリース信号と実質的に同時に(例えば、1秒以内、2秒以内など)送信してよい。更新されたルートの受信に応答して、車両コンピューティングシステムは、所定の目的地への更新されたルートに沿って車両を制御することができる。ある例示において、車両コンピューティングシステムは、状況が最初のルートを遮断したという決定をしてよい。このような例示において、車両コンピューティングシステムは、目的地にナビゲートするための更新されたルートを生成するように構成されてよい。
【0024】
本明細書で説明される技術は、車両コンピューティングシステムの機能を改善することができる。従来、自律車両に対する制御プラニングにおいて、車両コンピューティングシステムは、センサーデータを継続的に処理することができ、解決策を決定するまで車両に対する実行可能なルートを決定する。車両がリモート誘導状況に直面する例示において、運用プロトコルなどの車両コンピューティングシステムに課せられた制約に基づいて、解決策は、達成不可能であることがある。このような例示において、車両コンピューティングシステムは、解決策に到達することなく、とてつもなく多くの量のコンピューティングリソースを利用することがある。それ故に、車両コンピューティングシステムが処理能力および/またはメモリを継続して使用するリモート誘導状況を通る経路を識別している間に、車両は、計画されたルート上の具体的な位置に留まることがある。
【0025】
本明細書で説明される技術は、リモートコンピューティングリソースを利用してリモート誘導状況をナビゲートするためのほぼリアルタイムの解決法を規定することにより、制約のために車両コンピューティングシステムによって直面する技術的問題に対する技術的な解決法を提供する。本明細書で説明されるように、サービスコンピューティングデバイス上のグラフィカルユーザーインターフェースは、車両コンピューティングシステムからのセンサーデータを処理することができ、且つ誘導を車両コンピューティングシステムに提供することができることによって、車両コンピューティングシステムによって用いられる処理能力および/またはメモリの量を低減し、これは、ある例示において、そうでなければ解決策を識別することなく処理の無限ループにおいて留まり得る。
【0026】
さらに、本明細書で説明される技術は、環境を通して自律車両の動作の安全性を高めることができる。例えば、車両コンピューティングシステムは、さらなる動きが運用プロトコルに違反する場合があるという決定に基づいて、誘導の入力に対してサービスコンピューティングデバイスに接続することができる。最大限の安全性を確実にするために、車両コンピューティングシステムは、状況を評価して、安全なルート進行を決定するように構成され得るリモートオペレーターからの誘導を要求することができる。さらに、車両コンピューティングシステムは、入力を受信することができ、入力に従って、誘導の入力が車両を制御する前に、車両の安全な動作をもたらすことを検証することができる。
【0027】
本明細書で説明される技術は、複数の方法で実装されることができる。例示的な実装が添付の図面を参照して下記で提供される。自律車両のコンテキストにおいて説明されているが、本明細書で説明される方法、装置、およびシステムは、多様なシステム(例えば、センサーシステム、またはロボティックプラットホーム)に適用されてよく、自律車両に限定されない。別の例示において、技術は、航空または船舶のコンテキストにおいて、またはマシンビジョンを用いる任意のシステムにおいて(例えば、画像データを用いるシステムにおいて)利用されてよい。
【0028】
図1は、環境100における自律車両102(車両102)の図であり、これは、リモート誘導システムがリモート誘導状況106(例えば、実行可能な経路を決定するように車両が構成されていない場合がある計画されたルート104上の障害物)の検出に基づいて、計画されたルート104(例えば、最初のルート、計画された経路など)からの逸脱を決定してよい。リモート誘導状況106は、車両コンピューティングシステムが実行するようにプログラムされていない状況、および/または運用プロトコルに違反しているように見える状況(例えば、運用プロトコル(例えば、制御ポリシー)を違反することとなる状況をナビゲートするために要求される軌道)を含んでよい。運用プロトコルは、二重黄色線を越えない、対向車線へと向かって行かない、道路の運転可能な平面の境界を越えないなどのような車両がとることができる、またはとることができないアクションを管理する1つまたは複数の規則を含んでよい。ある例示において、リモート誘導状況106は、障害物が車両102に関連付けられる知覚距離を超えて延びる状況を含んでよい。例えば、図1に図示されるように、車両102は、初期位置108(例えば、初期位置および/または方向)からリモート誘導状況106の全体を知覚することができないことがある。さらに、図1に図示されているように、リモート誘導状況106は、車両102の計画されたルート104を遮断する1つまたは複数の障害物を含んでよいことによって、リモート誘導状況106の周りをナビゲートすることで、車両102は、反対方向の交通のために指定された車線における動作をもたらすこととなる。非限定的な例示として、リモート誘導状況106は、変更された車線の境界、車両102に対して進行する方向の信号を送る作業員、またはそうでなければ、1組の公称運転状況とは異なる状況を定めるコーン、バリケードなどを含んでよい。
【0029】
さまざまな例示において、車両コンピューティングシステムは、1つまたは複数のセンサーからのセンサーデータに基づいて、リモート誘導状況106を検出することができる。センサーは、カメラ、モーションディテクター、ライダー、レーダー、飛行時間、および/または車両102に取り付けられた他のセンサーを含んでよい。図8に関して以下でより詳細に説明されるように、車両コンピューティングシステムのプランナーコンポーネントは、計画されたルート104に沿って車両102をナビゲートするように構成されてよい。プランナーコンポーネントは、車両コンピューティングシステムの知覚コンポーネントから処理されたセンサーデータを受信することができ、センサーデータに基づいて、車両が計画されたルート104に沿って移動するための1つまたは複数の軌道を決定することができる。軌道は、車両が環境を通って移動することがある方角、方向、および/または速度を含んでよい。
【0030】
車両動作に関連付けられる軌道は、車両コンピューティングシステムに配置される運用プロトコル(例えば、1つまたは複数の操作制約)に部分的に基づいて決定されてよい。運用プロトコルは、二重黄色線を越えない、対向車線へと向かって行かない、道路の運転可能な平面の境界を越えないなどのような車両がとることができる、またはとることができないアクションを管理する1つまたは複数の規則を含んでよい。例えば、運用プロトコルは、車両が道路の舗装された表面上に留まるための制限を含んでよい。それ故に、車両コンピューティングシステムは、道路の舗装された表面上に車両102を維持する1つまたは複数の軌道を生成するように構成されてよい。
【0031】
さまざまな例示において、車両コンピューティングシステムは、センサーデータを受信することができ、計画されたルート104が障害物によるなどで遮断されているか、またはそうでなければ、進行の不確実性が高いか、制御ポリシーなどに違反することなく進行することが可能ではないという決定をすることができる。ある例示において、車両コンピューティングシステムは、センサーデータを処理することができ、車両に対して障害物の周りをナビゲートするための(運用プロトコルを満たす)1つまたは複数の軌道を生成しようと試みることができる。しかしながら、ある例示において、図1に図示されるリモート誘導状況106などに直面する状況は、運用プロトコルを満たす可能性がある軌道(または経路)を含まないことがある。このような例示において、車両コンピューティングシステムは、状況をリモート誘導状況106として識別することができ、車両を初期位置108で停止させることができる。さまざまな例示において、リモート誘導状況106の検出(例えば、識別)に基づいて、車両コンピューティングシステムは、1つまたは複数のハザード信号(例えば、ハザードライト、オーディオ信号など)を車両から放出させることができる。
【0032】
リモート誘導状況106の検出に基づいて、車両コンピューティングシステムは、1つまたは複数のネットワークを介するなどで、サービスコンピューティングデバイスに自動的に接続することができる。ネットワークは、インターネットのような公共ネットワーク、機関および/または個人ネットワークのような私的ネットワーク、または公共ネットワークと私的ネットワークとのある組み合わせを含んでよい。ネットワークは、また、衛星ネットワーク、ケーブルネットワーク、Wi-Fiネットワーク、WiMaxネットワーク、モバイル通信ネットワーク(3G、4G、5Gなど)、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、またはそれらの任意の組み合わせを含むがこれらに限定されない、任意のタイプの有線および/または無線ネットワークを含んでよい。ある例示において、車両コンピューティングシステムは、ボタンの押下によるなどで、入力/出力デバイスから受信した入力に基づいてサービスコンピューティングデバイスに接続することができる。例えば、安全オブザーバー、車両オペレーター、または車両における乗員は、ボタンを押下することができ、リモート誘導のためなどのサービスコンピューティングデバイスに接続する。
【0033】
さまざまな例示において、車両コンピューティングシステムは、リモート誘導状況106を示す信号を送信することができる。ある例示において、信号は、サービスコンピューティングデバイスからの誘導データ(例えば、誘導の入力)に対する要求を含んでよい。ある例示において、車両コンピューティングデバイスからの誘導データに対する要求との接続および/または受信することに応答して、サービスコンピューティングデバイスは、誘導に対する条件が満たされていることを検証することができる。誘導に対する条件は、サービスコンピューティングデバイスが車両102に効果的に誘導を提供することが可能であることを確実にするためのシステムチェックを含んでよい。条件は、閾値を下回る車両速度(例えば、時速15マイルより遅い、時速20キロメートルより遅いなど)、利用可能な閾値の数および/またはセンサーのタイプ(例えば、前方、後方、左方、および右方の視界を提供する少なくとも4つの動作しているカメラ、空中視界に関連付けられる動作しているセンサーなど)、閾値バンド幅(例えば、毎秒10メガバイトと等しいかそれより速く、毎秒15メガバイトなど)、閾値待ち時間(例えば、300ミリ秒と等しいかそれより遅く、250ミリ秒など)、車両の調子に関連する故障(例えば、ステアリングコラムの故障など)がないなどを含んでよい。
【0034】
ある例示において、1つまたは複数の条件が満たされていないという決定に応答して、サービスコンピューティングデバイスは、車両コンピューティングシステムとの接続を拒否する(例えば、接続しない)ことがある。さまざま例示において、1つまたは複数の条件が満たされないという決定に応答して、サービスコンピューティングデバイスは、サービスコンピューティングデバイスのグラフィカルユーザーインターフェース(GUI)へのオペレーターアクセスおよび/または入力を拒否する(例えば、入力機能を無効にする)ことができる。ある例示において、サービスコンピューティングデバイスは、条件が満たされていないこと、および/またはリモート誘導システムが利用不可能であることの表示を車両コンピューティングデバイスに送信することができる。
【0035】
さまざまな例示において、条件が満たされているという決定に応答して、サービスコンピューティングデバイスは、GUIをディスプレイ上に起動することができる。さまざまな例示において、GUIは、車両102のセンサーからのセンサーデータを示す1つまたは複数のウィンドウを含んでよい。例えば、ウィンドウは、それぞれが、車両102に取り付けられたカメラによってキャプチャされたリアルタイムまたはほぼリアルタイム(例えば、待ち時間に基づくような)のカメラ画像を示すことができる。さまざま例示において、ウィンドウにおいて示されるデータは、リモート誘導状況106の周りの経路を決定することを助力するための情報をオペレーターに提供することができる。
【0036】
さまざま例示において、GUIは、車両102のトップダウン図の描写(またはそうでなければ、リモートオペレーターによって構成可能)および環境100におけるリモート誘導状況106を含んでよい。このような例示において、上面図は、センサーデータに基づいて環境のコンピューター生成表示を含んでよい。ある例示において、上面図は、リモート誘導状況106のうちの1つまたは複数の障害物に関して初期位置108などの車両102の位置を含んでよい。図2に関してさらに詳細に説明されることとなるように、GUIは、上面図を介してオペレーターからの入力を受信するように構成されてよい。このような例示において、オペレーターは、ドライブコリドー110を通してなど、リモート誘導状況106をナビゲートするために車両に誘導をもたらすことが可能であってよい。ドライブコリドー110は、オペレーターが1つまたは複数のウェイポイント112を入力し得るリモート誘導状況106の周りの運転可能な平面を表現してよい。ウェイポイント112は、車両が移動することとなる位置(例えば、X、Y、Z座標など)を含んでよい。さまざまな例示において、ウェイポイント112(1)からウェイポイント112(n)を通してなどのウェイポイント112は、それぞれ停止点を含んでよい。このような例示において、車両は、後続のウェイポイント112の受信または検証の欠如などのそれぞれのウェイポイント112で停止するように構成されてよい。例えば、オペレーターは、ウェイポイント112(1)を入力することができ、ウェイポイント112(2)の受信を欠如している場合、車両コンピューティングデバイスは、さらなる誘導が受信されるまで、車両102をウェイポイント112(1)で停止させることができる。
【0037】
さまざまな例示において、入力は、関連するウェイポイント112での車両102の方向114(例えば、ヨー)を含んでよい。このような例示において、オペレーターは、関連するウェイポイント112で車両を具体的な方向に向けさせることが可能である。さまざま例示において、ウェイポイント112に関連付けられる方向は、車両がウェイポイントで停止されるべき優先された方向に基づいてよい。例えば、リモート誘導状況106の周りをナビゲートする場合に対向する交通への曝露を最小限にするために、反対方向の交通に関連付けられる車線において少なくとも部分的に位置する車両102に関連付けられる優先された方向は、その車線に位置する車両102の量が最小限となり得るような車線に実質的に平行(例えば、5度以内など)であってよい。したがって、少なくとも反対方向の交通への露出を最小限にするために、ウェイポイント112(2)に関連付けられる方向114(2)は、車線に実質的に平行であってよい。少なくともある例示において、このような方向は、車両が後続のウェイポイントを接続する軌道を見つけることを有効にするために提供されてよい。
【0038】
ある例示において、方向114は、先行および/または後続のウェイポイント114に基づいて決定されてよい。このような例示において、具体的なウェイポイント112での方向114は、車両を誘導ルート上のウェイポイントとの間をスムーズに移行することを有効にすることができる。例えば、第1のウェイポイント112(1)に関連付けられる第1の方向114(1)は、第2のウェイポイント112(2)の方向における直線またはスプラインを表現することができる。第2のウェイポイント112(2)に関連付けられる第2の方向114(2)は、第3のウェイポイント112(3)の方向におけるスプラインなどを表現することができる。以下でより詳細に説明されることとなるように、車両コンピューティングデバイスは、ウェイポイント112および/または方向114を受信することができ、ウェイポイントおよび/または方向との間で車両102をスムーズに制御するために1つまたは複数の軌道を生成することができる。
【0039】
さまざまな例示において、オペレーターは、ウェイポイント112(1)のようなウェイポイント112をドライブコリドー110における位置に配置することができる。ドライブコリドー110は、リモート誘導状況106をナビゲートするために車両102が移行することができる道路の決定された部分を含んでよい。さまざまな例示において、サービスコンピューティングデバイスは、車両上のセンサーから受信したセンサーデータに基づいてドライブコリドー110を生成することができる。ある例示において、サービスコンピューティングデバイスは、環境100において検出された1つまたは複数の障害物に基づいて、ドライブコリドー110を生成することができる。例えば、リモート誘導状況106は、車両102の右側および左側にある障害物を含んでよい。ドライブコリドー110および/またはその幅は、障害物との間の距離および/または安全バッファー(例えば、車両102を障害物から遠ざけるための所定の距離)によって画定されることができる。さまざまな例示において、ドライブコリドー110の幅は、車両の幅に基づいて決定されてよい。ある例示において、ドライブコリドー110の幅は、車両102のいずれかの側に安全バッファーをさらに含んでよい。さまざまな例示において、ドライブコリドー110は、オペレーターがウェイポイント112を入力し得る領域を表現することができる。このような例示において、GUIは、ウェイポイント112がドライブコリドー110の外側に入力されることを許可しないことがある。
【0040】
さまざまな例示において、GUIは、ウェイポイント112との間および/または初期位置108と第1のウェイポイント112(1)との間の距離D(例えば、10フィート、15フィート、7メートルなど)を制限することができる。ある例示において、GUIは、ウェイポイント112が互いに距離Dよりも長く離れて入力されることを許可しないことがある。ある例示において、GUIは、オペレーターがウェイポイント112を入力し得る車両102の周りの半径Dの領域をアクティブにすることができる。ある例示において、GUIは、ポップアップ通知のように入力が距離Dの外側にあり、且つ受け入れられることのない通知をオペレーターに提供することができる。さまざまな例示において、ウェイポイントとの間の距離を制限することは、環境100を通して車両102のインクリメント誘導を有効にすることができ、車両102がリモート誘導状況106を安全に操縦し得ることを確実にすることができる。
【0041】
さまざまな例示において、オペレーターは、ウェイポイント112および/またはウェイポイント112(1)および方向114(1)のような関連する方向114をGUIへと入力することができる。図2に関して以下でより詳細に説明されることとなるように、オペレーターは、ウェイポイント112(1)に対する環境100における位置を選択して、その位置を確認することによって、ウェイポイント112(1)を入力することができる。ある例示において、位置の確認は、その位置でのマウスのクリックおよび/またはGUI上の確認オプションの選択を含んでよい。さまざまな例示において、ウェイポイント112および/または方向114の確認を受信することに応答して、サービスコンピューティングデバイスは、ウェイポイント112および/または方向114を検証することができる。ウェイポイント112および/または方向114の検証は、ウェイポイント112および/または方向114が車両の安全プロトコルを満たしているという検証を含んでよい。安全プロトコルは、道路上のウェイポイント112の位置(例えば、道路の端または運転可能な平面から車両102の幅の1/2よりも短くない)、初期位置108の閾値距離内または互いの閾値距離内のウェイポイント112、動的および/または静的オブジェクトから離れて維持するための車両102に対する1つまたは複数の閾値距離、最大ヨーレート、および/または環境100を通して車両102の安全なナビゲーションに関連付けられる他の基準などの車両102の安全な動作に関連付けられる1つまたは複数の規則を含んでよい。
【0042】
ある例示において、オペレーターは、サービスコンピューティングデバイスにウェイポイント112および/または方向114を車両コンピューティングデバイスに送信させることができる。ある例示において、サービスコンピューティングデバイスは、オペレーターによる入力に応答するウェイポイント112および/または関連する方向114を自動的に送信することができる。このような例示において、ウェイポイント112が具体的な位置にあると確認され、および/または方向114が確認されるという決定に基づいて、サービスコンピューティングデバイスは、ウェイポイント112および/または方向114を自動的に送信することができる。さまざまな例示において、1つまたは複数のウェイポイント112および/または関連する方向114は、ポイントが検証された(例えば、安全プロトコル、リモート誘導プロトコル、および/または運動学の検証を通過する)という決定に基づいて送信されてよい。ある例示において、ウェイポイント112および/または関連する方向114は、オペレーターによる入力などの送信コマンド(例えば、送信オプションの選択)の受信に応答して送信されてよい。ある例示において、GUIは、ウェイポイント112および/または関連する方向114を個別におよび/またはグループで送信するように構成されてよい。
【0043】
さまざまな例示において、車両コンピューティングシステムは、サービスコンピューティングデバイスからウェイポイント112および/または方向114を受信することができ、ウェイポイント112および/または方向114を検証することができる。このような例示において、車両コンピューティングシステムは、ウェイポイント112および/または方向114が安全プロトコルを満たして、車両102および/または運動学検証によって安全に実行され得るという検証をすることができる(例えば、車両102が物理的制約に基づいて所望のウェイポイントを達成することが可能である)。ウェイポイントおよび/または関連する方向が安全プロトコルに違反しているという決定に応答して、車両コンピューティングシステムは、ウェイポイントを除外することができる。ある例示において、車両コンピューティングシステムは、停止点(例えば、初期位置108)から進行しない、または除外されたウェイポイントの前のウェイポイントで停止するなどによって、除外されたウェイポイントに進行しないことがある。例えば、車両コンピューティングデバイスは、第1のウェイポイント112(1)および第1の方向114(1)を受信することができ、第1のウェイポイント112(1)および第1の方向114(1)が有効であるという決定をすることができる(例えば、安全プロトコルを満たす)。車両コンピューティングデバイスは、車両を初期位置108から第1のウェイポイント112(1)までナビゲートすることができる。車両コンピューティングデバイスは、また、第2のウェイポイント112(2)および第2の方向114(2)を受信することができ、第2のウェイポイント112(2)または第2の方向114(2)のうちの少なくとも1つが安全プロトコルを満たしていないという決定をすることができる。車両コンピューティングデバイスは、第2のウェイポイント112(2)および/または第2の方向114(2)を除外することができ、車両に第1のウェイポイント112(1)で停止させることができ、更新された誘導を待つ。
【0044】
いくつかの例示において、車両コンピューティングシステムは、ウェイポイント112および/または関連する方向114の除外を示すメッセージをサービスコンピューティングデバイスに送信することができる。ある例示において、メッセージは、除外の理由を含んでよい。例えば、車両コンピューティングシステムは、ウェイポイントが環境100における静的オブジェクトからの閾値距離よりも短いという決定をすることができる。決定に基づいて、車両コンピューティングシステムは、ウェイポイントを除外することができ、メッセージを距離が閾値距離よりも短いことを示しているサービスコンピューティングデバイスに送信することができる。
【0045】
ウェイポイント112および/または関連する方向114が安全プロトコルを満たすという決定に応答して、車両コンピューティングシステムは、ウェイポイント112および/または方向114を受け入れることができる。車両コンピューティングシステムは、ウェイポイント112および/または方向114を処理することができ、車両102がウェイポイント112の間を移行する1つまたは複数の軌道116を生成することができる。例えば、車両コンピューティングシステムは、第1のウェイポイント112(1)および第1の方向114(1)を受信することができる。第1のウェイポイント112(1)および第1の方向114(1)が有効であるという決定に基づいて、車両コンピューティングシステムは、軌道116の第1のセット(1つまたは複数の軌道)を決定することができ、初期位置から第1の方向114(1)での第1のウェイポイント112(1)に移行する。少なくともある例示において、1つまたは複数のウェイポイント112は、このような軌道を決定することにおける制約として用いられることができる(例えば、車両102は、具体的に指定されたヨー角でウェイポイントを通過しなければならない)。さらなるまたは代替的な例示において、ウェイポイントは、車両102がウェイポイントからどれだけ離れているかに関連付けられるコスト、および/または車両102のヨーと対応するウェイポイント112との差に対して少なくとも部分的に基づいて軌道が決定されるコストを含んでよい。決定された軌道のうちのいずれか1つまたは複数において、速度は、閾値速度を満たさないまたは超えないように制約されてよく、これは、固定速度(例えば、5mph、10mphなど)および/または通過した運転可能な平面上についての関連する制限速度のパーセンテージであってよい。
【0046】
生成される軌道116に基づいて、車両コンピューティングシステムは、1つまたは複数の駆動システムを介するなどで、車両102を関連する方向114でウェイポイント112まで制御することができる。さまざまな例示において、車両コンピューティングシステムは、ウェイポイント112および/または関連する方向114を追加して受信することができる。このような例示において、車両コンピューティングシステムは、車両を初期位置108から第1のウェイポイント112(1)まで制御することができる。ある例示において、車両コンピューティングシステムは、第2のウェイポイント112(2)などの後続の誘導を受信および/または検証する前に、第1のウェイポイント112(1)に到着してよい。このような例示において、車両コンピューティングシステムは、第2のウェイポイント112(2)が受信され、且つ検証されるまで、車両を第1のウェイポイント112(1)で停止させることができる。ある例示において、車両コンピューティングシステムは、第1のウェイポイント112(1)に到着する前に、第2のウェイポイント112(2)を受信および/または検証してよい。このような例示において、車両コンピューティングデバイスは、停止することなく、第1のウェイポイント112(1)を過ぎて第2のウェイポイント112(2)に向かって操縦するように車両を制御してよい。ある例示において、後続の誘導は、第1のウェイポイント112(1)などの具体的なウェイポイントで停止するまで減速している間に提供されてよい。このような例示において、車両コンピューティングデバイスは、車両を適切な速度に戻すことができ、車両を第2のウェイポイント112(2)に向かってナビゲートすることができる。
【0047】
さまざまな例示において、車両コンピューティングデバイスは、リモート誘導プロトコルに従って車両を制御することができる。リモート誘導プロトコルは、リモート誘導モードで動作している間に車両102の動きに対する1つまたは複数の限定を含んでよい。リモート誘導プロトコルは、経路の逸脱(例えば、車両の1/2幅、1つの車両の幅などの障害物を回避するために車両102が逸脱し得る2つのウェイポイントとの間の経路からの距離)、静的オブジェクトの検出への応答(例えば、静的オブジェクトを回避して後続のウェイポイント112に到着しようとする試み)、動的オブジェクトの検出への応答(例えば、ウェイポイント112に対応する経路に入ると予測されるエージェントへの譲歩)、車両として同一の方向に移動する動的オブジェクトの追跡(例えば、ウェイポイント112に対応する経路において)、交差点での優先権に対する適切な譲歩(例えば、4方向の停止、信号機、回り道など)、さらなる誘導が受信されない場合、前進の動きを停止するなど(例えば、別のウェイポイント、ナビゲーション再開の指示など)を含んでよい。
【0048】
さまざまな例示において、車両コンピューティングシステムは、環境における条件に対して適切な速度で車両102を制御することができる。条件は、環境において検出された動的オブジェクトの数および/またはタイプ(例えば、道路上の他の車両の数、歩行者の数、近所で遊んでいる子供など)、環境に関連付けられる区域(例えば、スクールゾーン、遊び場など)などを含んでよい。ある例示において、車両コンピューティングシステムは、前進を可能としている間に安全性を最大化するために車両の最大速度を動的に決定するように構成されてよい。例えば、車両コンピューティングデバイスは、誘導モードで動作している間にそれがスクールゾーンにあるという決定をしてよい。車両コンピューティングは、車両102に関連付けられる経路に接近する学生を検出すると、車両102の即時停止を可能とするように、車両102に関連付けられる最大速度が時速7マイルであるという決定をすることができる。別の例示では、車両102は、交通における別の車両を追跡していることがある。車両コンピューティングデバイスは、先行する車両の後ろで安全な距離を維持する速度で車両102を制御することができる。
【0049】
さまざまな例示において、車両コンピューティングシステムは、所定の最高速度(例えば、毎時20キロメートル、毎時15マイル、毎時10マイルなど)よりも遅く車両102を制御することができる。ある例示において、所定の最高速度は、リモート誘導に関連付けられる最高速度を含んでよい。さまざまな例示において、車両コンピューティングシステムは、環境および/または状況に関連付けられる速度でまたはそれよりも遅く車両102を制御することができる。少なくとも1つの例示において、車両コンピューティングシステムは、所定の最高速度または環境および/もしくは状況に関連付けられる最高速度のうちの遅い方で車両102を制御することができる。例えば、車両コンピューティングシステムは、リモート誘導モードで動作している場合に、時速15マイルの所定の最高速度(例えば、時速0マイルと15マイルとの間の速度)で車両を動作させることができる。車両コンピューティングシステムは、リモート誘導状況106を検出することができ、サービスコンピューティングデバイスからの誘導の入力を要求することができる。車両コンピューティングシステム、および/またはオペレーターは、センサーデータに基づいて、リモート誘導状況106が毎時10マイルの制限速度と共に関連付けたという決定をすることができる。毎時10マイルの制限速度が毎時15マイルの所定の最高速度よりも遅いことに基づいて、車両コンピューティングシステムは、リモート誘導状況106を通してナビゲートしている間に、わずか毎時10マイルに車両の速度を制限することができる。
【0050】
さまざまな例示において、車両コンピューティングシステムは、リモート誘導状況106(例えば、ウェイポイントからウェイポイントへの移動)を通してナビゲートしている間に、車両102が安全プロトコルに違反することとはならないことを検証するように構成されてよい。車両コンピューティングデバイスは、継続的に、定期的に(例えば、0.1秒、0.5秒、1秒ごとなど)、および/またはランダムな間隔(例えば、3秒、5秒など)で、周囲を監視し、安全プロトコルが車両によって満たされること(例えば、車両は、環境におけるオブジェクト118に影響を与えることとはならない)を確実にする。例えば、車両コンピューティングデバイスは、車両102を制御することができ、車両102が環境におけるにオブジェクト118からの最短距離を維持することを確実にする。
【0051】
さまざまな例示において、車両コンピューティングデバイスは、センサーデータに基づくなどで環境100における1つまたは複数のオブジェクト118を検出することができる。オブジェクト118は、静的および/または動的オブジェクトであってよい。さまざまな例示において、車両コンピューティングシステムは、検出されたオブジェクト118のそれぞれに関連付けられる分類(例えば、自動車、セミトレーラートラック、歩行者、サイクリストなどのオブジェクトのタイプ)を決定するように構成されてよい。さまざまな例示において、車両コンピューティングシステムは、センサーデータに基づいて1つまたは複数の予測されるオブジェクト軌道120を決定することができる。オブジェクト軌道120は、オブジェクト118が知覚の時間に関連付けられる位置から環境100を通って移動し得る潜在的な経路の任意の数を表現してよい。オブジェクト軌道120は、オブジェクト118の分類、交通法規または規則(例えば、道路の規則)、運転のエチケット、曲がる/曲がらない車線における位置、交差点の近接、他の静止および/または動的オブジェクト、運転可能な平面などのようなさまざまな要因に基づいて決定されてよい。
【0052】
さまざまな例示において、オブジェクト軌道120は、1つまたは複数の機械学習アルゴリズムを利用して決定されてよい。このような例示において、車両コンピューティングシステムは、予測システムを介するなどで、オブジェクト118に関連付けられるセンサーデータを受信することができ、センサーデータに基づいてオブジェクト118の行動を予測することができる。例えば、車両コンピューティングシステムは、経時的に、オブジェクトの動きのキャプチャされた画像データに対する訓練されることができることによって、車両コンピューティングシステムは、オブジェクト118がとり得る将来のアクション(例えば、オブジェクト軌道)を提案し得る行動を認識することができる。ある例示において、車両コンピューティングシステムは、例えば、2018年10月4日に出願され、「Trajectory Prediction on Top-Down Scenes」と題され、その内容全体が参照により本明細書に組み込まれる米国特許出願番号第16/151,607号で説明される技術を利用することによって環境のトップダウン表現に基づいて、予測されたオブジェクト軌道120を決定することができる。さらに、または代替において、車両コンピューティングシステムは、例えば、2017年11月8日に出願され、「Probabilistic Heat Maps for Behavior Prediction」と題された(その内容全体が参照により本明細書に組み込まれる)米国特許出願番号第15/807,521号で説明されるヒートマップ、木探索法、および/または時相論理式を利用して、検出されたオブジェクト118に関連付けられる1つまたは複数のオブジェクト軌道120を決定することができる。
【0053】
さまざまな例示において、車両コンピューティングシステムは、環境100において検出されたオブジェクト118に関連付けられるオブジェクト軌道120を処理することができ、車両102およびオブジェクト118が相互作用(例えば、衝突、ニアミスなど)をし得るかを決定することができる。例えば、車両コンピューティングシステムは、ウェイポイント112(8)から後続のウェイポイント112(n)まで車両102を制御することができる。車両コンピューティングシステムは、車両102に関連付けられる軌道と交差するように見えるオブジェクト軌道120を有するオブジェクト118(例えば、歩行者)を検出することができる。車両コンピューティングデバイスは、オブジェクト118が車両102に安全プロトコル(例えば、移動中の車両102の閾値距離内の歩行者など)および/またはリモート誘導プロトコル(例えば、リモート誘導モードでの車両の経路を横断するオブジェクト)を違反させ得るという決定をすることができる。車両コンピューティングシステムは、歩行者に譲ることのような歩行者に基づいてとるべきアクションを決定することができ、車両102が安全プロトコルおよび/またはリモート誘導プロトコルを維持することを確実にする。
【0054】
さまざまな例示において、サービスコンピューティングデバイスは、状況が完了した(例えば、車両がリモート誘導状況106を通過し、通常の動作を再開することが可能である)という決定をすることができ、車両102をリモート誘導からリリースすることができる。ある例示において、状況の完了は、車両がリモート誘導状況106の残余を安全にナビゲートすることができるという決定に部分的に基づいてよい。例えば、初期位置108で車両コンピューティングシステムに見えなかった閉塞オブジェクトは、知覚システムによって検出されて、車両コンピューティングシステムは、閉塞オブジェクトを迂回するように構成されてよい。別の例示では、リモート誘導状況106の第1のセクションは、反対方向の交通のために指定された車線を走行するような運用プロトコルの違反を含んでよい。リモート誘導状況106の第2のセクションは、運用プロトコルの境界内を移動することを含んでよい。それ故に、オペレーターは、第1のセクションの完了に基づいて(例えば、進行方向に対する適切な車線に移行する車両に基づいて)状況が完了し得るという決定をしてよい。
【0055】
ある例示において、状況の完了は、車両102に関連付けられる元のルートの閾値距離内(例えば、0.5メートル、0.5フィート、10インチなど)にある112(n)のような生成されるウェイポイントに部分的に基づいてよい。ある例示において、状況の完了は、センサーデータ入力に基づいてよい。このような例示において、オペレーターは、GUIを介してセンサーデータを表示することができ、状況が完了したという決定をする。例えば、リモート誘導状況106は、工事区域を含んでよい。車両からのカメラフィードは、車両102の後ろの工事区域の終わりを示してよい。工事区域が車両102の後ろにあるという決定に基づいて、オペレーターは、状況が完了したという決定をしてよい。
【0056】
さまざまな例示において、状況が完了したという決定に応答して、サービスコンピューティングデバイスは、リリース信号を車両102に送信してよい。このような例示において、リリース信号に応答して、車両コンピューティングデバイスは、車両102のナビゲーションを再開するように構成されてよい。さまざまな例示において、サービスコンピューティングデバイスは、状況が車両102の計画されたルート104(例えば、最初のルート)を遮断したという決定をすることができる。このような例示において、サービスコンピューティングデバイスは、車両が所定の目的地に到着するための更新されたルートを生成するように構成されてよい。ある例示において、サービスコンピューティングデバイスは、リリース信号を送信する前に、更新されたルートを車両コンピューティングデバイスに送信してよい。ある例示において、サービスコンピューティングデバイスは、更新されたルートをリリース信号と実質的に同時に(例えば、1秒以内、2秒以内など)送信してよい。更新されたルートの受信に応答して、車両コンピューティングシステムは、所定の目的地への更新されたルートに沿って車両102を制御することができる。ある例示において、車両コンピューティングデバイスは、状況が最初のルートを遮断したという決定をしてよい。このような例示において、車両コンピューティングデバイスは、目的地にナビゲートするための更新されたルートを生成するように構成されてよい。さまざまな例示において、サービスコンピューティングデバイスも車両コンピューティングデバイスも更新されたルートを決定することができなかったという決定に基づいて、車両コンピューティングデバイスは、車両を停止させる(例えば、交通の流れから離れて車両を制御する)ことができ、停止して更新されたルートを決定し、および/またはサービスコンピューティングデバイスから更新されたルート誘導を受信する。
【0057】
さまざまな例示において、サービスコンピューティングデバイスに接続した後であるが、誘導データ(例えば、ウェイポイント112および/または方向114)を受信する前に、車両コンピューティングシステムは、リモート誘導状況106を安全にナビゲートするための解決策を決定してよい。このような例示において、車両コンピューティングシステムは、リモート誘導のための要求を取り消すメッセージをサービスコンピューティングデバイスに送信することができる。ある例示において、サービスコンピューティングデバイスは、GUIを起動することができ、安全モニターとして機能するようなリモート誘導状況106を通して自律的にナビゲートする車両102をオペレーターが観察できるようにする。ある例示において、サービスコンピューティングデバイスは、状況を完了することができ、GUIに関連付けられる入力制御を無効にすることができ、オペレーターがウェイポイント112および/または方向114の入力を提供することを拒否する。
【0058】
図2は、オペレーター204(オペレーターによって制御される入力カーソルとして図示される)がリモート誘導モードで動作している車両102のような車両210に対して、ウェイポイント112および/または方向114のようなウェイポイント206および/または方向208の誘導を入力することができ、グラフィカルユーザーインターフェース202(GUI202)を有する例示的なサービスコンピューティングデバイス200を図示する。上記のように、車両210に関連付けられる車両コンピューティングデバイスは、リモート誘導状況106のようなリモート誘導状況214を含む1つまたは複数の障害物212を検出することができる。リモート誘導状況214を検出することに応答して、車両コンピューティングシステムは、サービスコンピューティングデバイス200との接続を確立することができる。さまざまな例示において、車両コンピューティングシステムは、サービスコンピューティングデバイス200からの誘導データ(例えば、誘導の入力)のための要求を送信することができる。少なくともある例示において、車両コンピューティングシステムは、完全且つ完璧な停止をさせる前に(例えば、本明細書で説明される技術が車両を停止させることなく目的地まで継続して移動させ得るシナリオを十分前に認識することが可能である)、このようなリモート誘導状況214を認識することができる。
【0059】
さまざまな例示において、車両コンピューティングデバイスとの接続および/または誘導データのための要求の受信に応答して、サービスコンピューティングデバイス200は、誘導のための1つまたは複数の条件が満たされているかを決定することができる。誘導のための条件は、サービスコンピューティングデバイス200が誘導を車両210に効果的に提供することが可能であることを確実にするためのシステムチェックを含んでよい。条件は、閾値を下回る車両速度(例えば、時速15マイルより遅い、時速20キロメートルより遅いなど)、利用可能な閾値の数および/またはセンサーのタイプ(例えば、前方、後方、左方、および右方の視界を提供する少なくとも4つの動作しているカメラ、空中視界に関連付けられる動作しているセンサーなど)、閾値バンド幅(例えば、毎秒10メガバイトと等しいかそれより速く、毎秒15メガバイトなど)、閾値待ち時間(例えば、300ミリ秒と等しいかそれより遅く、250ミリ秒など)、車両の調子に関連する故障(例えば、ステアリングコラムの故障など)がないなどを含んでよい。
【0060】
ある例示において、条件が満たされないという決定に基づいて、サービスコンピューティングデバイス200は、条件の欠如を車両コンピューティングデバイスに通信することができる。このような例示において、サービスコンピューティングデバイス200は、条件が満たされるまで(例えば、バンド幅が増加する、待ち時間が減少する、車両の調子に関連する故障がない、車両の速度が閾値よりも遅い、センサーデータの可用性が増加するなど)誘導データを提供することができないことがある。ある例示において、条件が満たされていないという決定に基づいて、サービスコンピューティングデバイス200は、GUI202を起動しないことがある。ある例示において、条件が満たされていないという決定に基づいて、サービスコンピューティングデバイス200は、GUI202を起動することができるが、入力制御を有効にしなくてよい。このような例示において、オペレーター204は、ウェイポイント206および/または方向208の誘導を提供することができないことがある。このような任意の例示において、車両は、フォールバック操縦(例えば、現在位置を維持すること、および/または安全な停止領域に停止させること)を実行することができる。
【0061】
さまざまな例示において、条件が満たされているという決定に基づいて、サービスコンピューティングデバイス200は、GUI202を起動することができ、入力制御を有効にしなくてよい。このような例示において、オペレーター204は、ウェイポイント206および/または方向208の誘導を提供することが可能である。GUI202は、車両210上の1つまたは複数のセンサーからのセンサーデータを示す1つまたは複数のウィンドウ216を含んでよい。少なくとも1つの例示において、ウィンドウ216は、車両210上のカメラによってキャプチャされたストリーミング画像を示すことができる。ウィンドウ216は、データを示すことができ、車両がとる経路を決定することでオペレーターを助力する。経路は、ウェイポイントとの間の直線を含んでよく、これは、車両が環境を通過し得る実際の経路230を示してよく、示さなくてもよい。ある例示において、経路218と実際の経路230との間の差は、少なくとも部分的に、第1のウェイポイント206(1)に関連付けられる第1の方向208(1)のような方向208または車両がウェイポイント206で向くこととなる方向に基づいてよい。このような例示において、車両コンピューティングシステムは、第1の方向208(1)における第1のウェイポイント206(1)に到着するために車両の1つまたは複数の軌道を示す実際の経路230を生成することができる。このような例示において、軌道は、有限の計画対象期間および/または後続のウェイポイントとの間にわたって取得する1つまたは複数の状態(位置、方向、速度、加速度など)を含んでよい。上記のように、このようなウェイポイントは、コストおよび/または制約としてこのような軌道を決定するために用いられてよい。
【0062】
図示される例示において、GUI202は、左正面図を示す第1のウィンドウ216(1)、正面図を示す第2のウィンドウ216(2)、右正面図を示す第3のウィンドウ216(3)、および車両210に関連付けられる背面図を示す第4のウィンドウ216(4)を含む。オペレーターは、それぞれの表示を評価することができ、車両がリモート誘導状況214を通して移行するための経路を決定する。経路218は、車両210の初期位置222と第1のウェイポイント206(1)との間の直線距離、および/または第1のウェイポイント206(1)と第2のウェイポイント206(2)との間などのウェイポイント206との間の直線距離を表現することができる。
【0063】
さまざまな例示において、GUI202は、車両210の上面図220(例えば、鳥瞰図)の描写、および少なくともある例示において、異なる視点を提供するためにオペレーター204に従って調整され得るリモート誘導状況214を含んでよい。このような例示において、上面図220は、センサーデータに基づいて環境のコンピューター生成表示を含んでよい。ある例示において、上面図220は、最初に、リモート誘導状況214の障害物212に対する車両210の位置222を含んでよい。図示される例示において、上面図220は、計画されたルート(例えば、計画された経路)104のような車両210の計画された経路224(例えば、最初の経路、計画されたルートなど)を遮断する多様なオレンジ色のコーンに接近する車両210を示す。
【0064】
さまざまな例示において、上面図220は、オペレーター204からの誘導の入力を受信するように構成されてよい。このような例示において、オペレーター204は、誘導を車両に提供することが可能であり、共に関連付けられる障害物212の周りなどのリモート誘導状況をナビゲートする。入力は、1つまたは複数のウェイポイント206を含んでよい。ウェイポイント206は、車両が移動することとなる位置の上を含んでよい。さまざまな例示において、ウェイポイント206は、それぞれ、さらなる誘導の欠如などの停止点を含んでよい。このような例示において、車両210は、後続のウェイポイント206の受信または検証を欠如するそれぞれのウェイポイントで停止するように構成されてよい。
【0065】
さまざまな例示において、オペレーター204は、ウェイポイント入力オプション226を選択することができる。ある例示において、ウェイポイント入力オプション226は、ウェイポイント206の上面図220へと入力を有効にすることができる。さまざまな例示において、オペレーター204は、サービスコンピューティングデバイス200に関連付けられる入力デバイスを用いてウェイポイントを入力することができる。マウスに関連付けられるようなカーソルとして示されているが、タッチスクリーン、キーボードなどの他の入力デバイスが企図される。オペレーター204は、カーソルを上面図220上で、ウェイポイント206に対して異なる潜在的な位置に移動させることができる。ある例示において、第2のウェイポイント206(2)のようなウェイポイント206に関連付けられる記号がカーソルに付随してよい。図示される例示において、第2のウェイポイント206(2)は、明色を有するものとして示されている。このような例示において、明色は、オペレーター204によってまだ入力されていないウェイポイント206を表現することができる。具体的な位置の上でマウスのクリックによるなどの入力に応答して、ウェイポイント206は、入力されることができ、206(1)のようなウェイポイント206は、異なる色で表現されることができる。少なくともある例示において、GUI202は、オペレーター204が前に入力されたウェイポイントおよび/または車両の最後の周知の位置からの特定の距離よりも遠いウェイポイントを入力することを不可能にすることができる。
【0066】
さまざまな例示において、オペレーター204は、方向の入力オプション228を選択することができる。方向の入力オプションは、オペレーター204がウェイポイント206に関連付けられる方向208(例えば、ヨー)を入力することを有効にしてよい。上記で説明されるように、方向208は、車両が具体的なウェイポイント206で向くべき方向を表現することができる。ある例示において、方向208は、先行および/または後続のウェイポイント206に基づいて決定されてよい。このような例示において、具体的なウェイポイント206での方向は、車両を誘導ルート上のウェイポイントとの間をスムーズに移行することを有効にすることができる。さまざま例示において、ウェイポイント206に関連付けられる方向208は、車両がウェイポイント206で停止されるべき優先された方向208に基づいてよい。
【0067】
ある例示において、GUI202は、入力された(例えば、配置が確認された)ウェイポイント206上で方向の入力を受信するように構成されてよい。例えば、オペレーター204が第2のウェイポイント206(2)をクリック(例えば、選択)することに応答して、それによって入力されたウェイポイント206(1)にマッチングするために色を変更し、オペレーター204は、方向208(2)のような共に関連付けられる方向208を入力することが可能である。図示される例示において、オペレーター204は、第2のウェイポイント206(2)の周りでカーソルまたは他の入力デバイスを動かす(例えば、カーソルをスクラッチする)ことができ、車両210が第2のウェイポイント206(2)で向くこととなる方向を選択することができる。方向は、第2のウェイポイント206(2)での車両210の方向208(2)またはヨーを表現することができる。上記のように、さまざまな例示において、方向は、GUI202によって生成される経路218と一致してよい。さまざまな例示において、カーソルの動きは、方向制限242によって制限されてよい。方向制限242は、方向208が設定され得る方向の範囲を含んでよい。さまざまな例示において、GUI202は、方向制限242の外側の方向の入力を遮断することができる。方向制限242は、車両210に対する物理的制約(例えば、最大ヨーレート、最大ヨー角、最長横方向距離、最大回転角など)に基づいてよい。例えば、上面図220は、車両に90度または180度のようなウェイポイント206で大きな回転を実行させることとなる方向の入力を受け入れなくてよい。
【0068】
さまざまな例示において、サービスコンピューティングデバイス200は、GUIを介して入力されたウェイポイント206および/または方向208を検証するように構成されてよい。上記のように、ウェイポイント206および/または方向208の検証は、車両210がウェイポイント206および/または方向208に従って、車両210に関連付けられる安全プロトコルおよび/またはリモート誘導プロトコルに違反することとはならない(例えば、満たす)ことを含んでよい。ある例示において、このような検証は、車両がこのようなウェイポイントの移行を実行することが可能であることを確実にする運動学/動力学チェック(検証)を含んでよい。
【0069】
さまざまな例示において、誘導の入力(例えば、ウェイポイント206および/または方向208)の受信に応答して、サービスコンピューティングデバイス200は、ウェイポイント206および/または方向208(例えば、ウェイポイントデータ)を車両コンピューティングシステムに送信することができる。ある例示において、サービスコンピューティングデバイス200は、第2のウェイポイント206(2)および/または第2の方向208(2)に関連付けられる入力を受信する前に、第1のウェイポイント206(1)および/または第1の方向208(1)を送信することができる。このような例示において、車両コンピューティングシステムは、第1のウェイポイント206(1)および/または第1の方向208(1)を受信して、車両に初期位置222から移動を始めるように構成されてよい。第2のウェイポイント206(2)に関連付けられるデータの受信が欠如している場合、車両コンピューティングシステムは、車両210に第1のウェイポイント206(1)で停止させることができる。さまざまな例示において、第2のウェイポイント206(2)および/または第2の方向208(2)の受信(および検証)に応答して、車両コンピューティングシステムは、車両に第2のウェイポイント206(2)に向かって進行させることができる。このような例示において、サービスコンピューティングデバイス200は、車両コンピューティングシステムへのインクリメントリモート誘導を有効にすることができる。ある例示において、サービスコンピューティングデバイス200は、2つまたはそれより多くのウェイポイント206および/または方向208に関連付けられるデータを送信することができる。このような例示において、2つまたはそれより多くのウェイポイントの検証に基づいて、車両コンピューティングシステムは、2つまたはそれより多くのウェイポイント206との間をナビゲートするように構成されてよい。本明細書で説明される例示のいずれにおいても、第2のウェイポイント206(2)は、車両が第1のウェイポイント206(1)に通過するときに受信することができることによって、車両は、停止することなくすべてのウェイポイントを継続して通過することができる。
【0070】
上記で説明されるように、第1のウェイポイント206(1)および/または第1の方向208(1)のようなウェイポイント206および/または方向208を受信することに応答して、車両コンピューティングシステムは、車両210に対する1つまたは複数の軌道を生成することができる。軌道は、誘導モードで動作している間の位置を移動する車両210の実際の経路230を表現することができる。さまざまな例示において、実際の経路230に関連付けられる軌道は、車両が第1の方向208(1)で第1のウェイポイント206(1)に到着することをもたらすこととなる軌道を含んでよい。
【0071】
さまざまな例示において、車両コンピューティングシステムは、現在の位置を越えて進行することができないという指示をサービスコンピューティングデバイスに送信することができる。現在の位置は、ウェイポイント206(1)のようなウェイポイント206、または環境における別の位置を含んでよい。ある例示において、車両は、車両コンピューティングデバイスが車両210に対する1つまたは複数の軌道を生成することが可能ではない、第2のウェイポイント206(2)のような後続のウェイポイント206がまだ受信されていない、第2のウェイポイント206(2)への経路が遮断されている、ウェイポイント206が除外されているなどという決定に基づいて、現在の位置で停止することができる。ある例示において、指示を受信することに応答して、サービスコンピューティングデバイスは、車両が進行することができないことを示す通知をGUI202上に提示することができる。通知に基づいて、オペレーターは、第2のウェイポイント206(2)が除外された場合のような第2の(後続の)ウェイポイント206(2)および/または代替ウェイポイント206を入力することができる。
【0072】
さまざまな例示において、GUI202は、オペレーター204が車両に具体的な位置で停止させることを有効にすることができる。ある例示において、車両は、後続の誘導が受信されていない(例えば、第2のウェイポイント206(2)に関連付けられるデータが受信および/または検証されていない)という決定に基づいて、ウェイポイント206(1)のようなウェイポイントで停止することができる。ある例示において、オペレーター204は、ホールドオプション232を選択することによって、車両210を停止させることができる。ホールドオプション232の選択は、サービスコンピューティングデバイス200にホールド信号を車両210に送信させることができる。ある例示において、ホールド信号を受信することに応答して、車両コンピューティングシステムは、車両を停止させるために制御することができる。ある例示において、ホールド信号を受信することに応答して、車両コンピューティングシステムは、車両を停止位置で維持することができる。
【0073】
さまざまな例示において、車両コンピューティングシステムは、完了信号(例えば、リリース信号)が受信されるまで、(ホールド信号に応答するような)停止位置を維持することができる。完了信号は、オペレーター204によるリリースオプション234の入力に応答して、サービスコンピューティングデバイスによって送信されてよい。さまざまな例示において、完了信号は、受信した誘導の入力に基づいて車両コンピューティングデバイスに車両を制御させることができる。ある例示において、ホールドおよびリリースは、オペレーターが一度に多様なウェイポイント206および/または方向208を送信することを有効にすることができる。ある例示において、車両ホールドの間に入力されたウェイポイント206および/または方向208は、完了信号と実質的に同時に送信されることができる。
【0074】
さまざまな例示において、GUI202は、完了オプション236を含んでよい。完了オプション236は、車両がリモート誘導状況214をナビゲートしているという決定に応答して、オペレーターによって選択されることができ、自律的に進行することができる。ある例示において、終了条件が発生したという決定に応答して、完了オプション236は、選択されてよい。終了条件は、リモート誘導状況214が車両の後ろにある、車両210が計画された経路224の閾値距離内にある、車両210が自律的に進行すること(例えば、運用プロトコル、安全プロトコルなどに従って、車両を制御すること)が可能であるなどという決定を含んでよい。さまざまな例示において、完了オプション236の選択に応答して、サービスコンピューティングデバイス200は、完了信号を車両コンピューティングデバイスに送信することができる。完了信号は、自律的に進行するための命令を含んでよい。さまざまな例示において、サービスコンピューティングデバイス200は、リモート誘導状況214が車両210の計画された経路224を遮断して、車両210が別のルート(例えば、更新されたルート)に沿って進行することとなるという決定をしてよい。ある例示において、サービスコンピューティングデバイス200は、車両が目的地にナビゲートするための更新されたルートを自律的に生成することができる。ある例示において、サービスコンピューティングデバイスは、更新ルートオプション238のオペレーターによる入力に基づいて、更新されたルートを生成することができる。
【0075】
さまざまな例示において、GUI202は、GUI202の編集ウェイポイントオプション240に応答するようなウェイポイントの編集(例えば、削除または変更)を受信するように構成されてよい。編集ウェイポイントオプション240は、オペレーターが共に関連付けられるウェイポイント206(例えば、位置を変更する)および/または方向208(例えば、ヨーを変更する)を削除および/または修正することを有効にすることができる。ウェイポイント206および/または方向208は、ウェイポイント206が確認されていない(例えば、車両コンピューティングシステムによって受け入れられた)という決定、またはウェイポイントが確認されたが、車両によって完了されていない(例えば、車両210は、ウェイポイント206に到着しておらず、車両は、ウェイポイント206への実際の経路230に沿って出発していない)という決定に基づいて編集されてよい。さまざまな例示において、ウェイポイントが確認されたが、完了していないという決定に応答して、GUI202は、ウェイポイント206の編集を有効にする前に、車両210が停止していることを検証することができる。ウェイポイントが車両を制御するために車両コンピューティングシステムによって現在用いられているこれらの例示において、ウェイポイントは、編集のためにロックされてよい。このような例示において、これは、プラニングに用いられた後に、オペレーター204がウェイポイントを調整することを不可能にする(それによって、より安全なプラニングプロセスを作成する)。
【0076】
図3は、車両102にインクリメント誘導を提供するための例示的なプロセス300を図示している。プロセス300のいくつかまたはすべては、図8に関して以下で説明される1つまたは複数のコンポーネントによって実行されてよい。
【0077】
動作302で、サービスコンピューティングデバイスは、車両コンピューティングシステムから誘導のための要求を受信することができる。車両コンピューティングシステムは、動作環境におけるリモート誘導状況106の検出に基づいて誘導のための要求を送信することができる。リモート誘導状況106は、障害物、道路の遮断、道路における工事区域などを含んでよい。リモート誘導状況106は、車両コンピューティングシステムが実行するためにプログラムされていない状況、および/または車両102に関連付けられる運用プロトコルおよび/または安全プロトコルに違反しているように見える状況を含んでよい。上記のように、このような状況は、車両がこの状況に接近することを予測して検出されることができることによって、停止する前に状況が中継されることが可能であることによって、車両が停止する必要は、全くない。
【0078】
状況のための要求を受信することに応答して、サービスコンピューティングデバイスは、要求を処理することができ、グラフィカルユーザーインターフェース(GUI)を起動することができる。GUIは、オペレーターが誘導の入力を車両に提供し得るインターフェースを含んでよい。GUIは、車両がリモート誘導状況106(例えば、障害物の周り)をナビゲートするための第1のウェイポイント112(1)(例えば、第1の位置)に対応する入力を受信するように構成されてよい。ある例示において、GUIは、第1のウェイポイント112(1)に関連付けられる第1の方向に対応する入力を受信するように構成されてよい。第1の方向は、車両102が第1のウェイポイント112(1)で向き得る方向を表現することができる。
【0079】
動作304で、サービスコンピューティングデバイスは、第1のウェイポイント112(1)(例えば、第1の位置に関連付けられるデータおよび/または第1のウェイポイント112(1)に関連付けられる第1の方向)を車両コンピューティングシステムに送信することができる。車両コンピューティングシステムは、第1のウェイポイント112(1)に関連付けられるデータを受信することができ、第1のウェイポイント112(1)まで車両を制御することができる。ある例示において、車両コンピューティングシステムは、車両102に第1の方向で(および/またはそのある閾値内で)第1のウェイポイント112(1)に到着させるような第1の方向に基づいて、車両102をさらに制御することができる。さまざまな例示において、後続の誘導を受信しないことに応答して、車両は、ストップバー306によって表現される第1のウェイポイント112(1)で停止することができる。ある例示において、車両102は、図2に関して上記で説明されるようなホールド信号を受信することに応答して、ストップバー306で停止することができる。このような例示において、サービスコンピューティングデバイスは、オペレーターからの入力を受信することに応答して、ホールド信号を送信することができ、車両102をホールドする。
【0080】
動作308で、サービスコンピューティングデバイスは、第2のウェイポイント112(2)および第3のウェイポイント112(3)を車両コンピューティングシステムに送信することができる。さまざまな例示において、第2のウェイポイント112(2)および第3のウェイポイント112(3)は、第1のウェイポイント112(1)で最初に検出された閉塞オブジェクト310に少なくとも部分的に基づいて決定されてよい。閉塞オブジェクト310は、リモート誘導状況106の検出をすると、車両コンピューティングシステムには最初は見えなかった(例えば、センサーシステムによって検出された)オブジェクトを含んでよい。ある例示において、サービスコンピューティングデバイスは、環境における障害物、オブジェクトなどのリアルタイムまたはほぼリアルタイムの検出に基づいて、インクリメント誘導を提供するように構成されてよい。
【0081】
さまざまな例示において、車両コンピューティングデバイスは、車両を第2のウェイポイント112(2)に制御することができ、次に、いかなるウェイポイント112でも停止することなく、第3のウェイポイント112(3)に制御することができる。このような例示において、車両は、安全プロトコルが満たされている(例えば、検出されたオブジェクトは、移動に影響を与えることとはならないなど)という決定に基づいて停止することなく進行することができる。
【0082】
動作312で、サービスコンピューティングデバイスは、状況(例えば、リモート誘導状況106)が完了した(例えば、終了条件が発生した)という決定をすることができる。ある例示において、サービスコンピューティングデバイスは、リモート誘導状況106および/または閉塞オブジェクト310に関連付けられる1つまたは複数の障害物が車両の後ろにあるというセンサーデータを用いるような決定に基づいて、状況が完了したという決定をすることができる。ある例示において、サービスコンピューティングデバイスは、第3のウェイポイント112(3)(例えば、最後のウェイポイント)が車両の計画ルート104の閾値距離内(例えば、4インチ、0.5フィート、2フィート、1メートルなど)にあるという決定に基づいて、状況が完了したという決定をすることができる。さまざまな例示において、車両制御システムは、いかなる制御ポリシーにも違反しない(且つ安全に環境を通過する)車両102に対する軌道を計画することが可能であり、このことを示す信号をサービスコンピューティングデバイスに送信することが可能であるという決定をすることができる。このような例示において、サービスコンピューティングデバイスは、車両コンピューティングシステムからの信号に基づいて状況が完了したという決定をすることができる。
【0083】
動作314で、サービスコンピューティングデバイスは、車両をリモート誘導からリリースすることができる。ある例示において、サービスコンピューティングデバイスは、完了信号を車両コンピューティングシステムに送信することができる。ある例示において、完了信号を受信することに応答して、車両コンピューティングシステムは、車両を自律的に制御することができる。ある例示において、完了信号は、自律的に進行するための命令を含んでよい。このような例示において、命令を受信することに応答して、車両コンピューティングシステムは、車両を自律的に制御することができる。
【0084】
図4は、グラフィカルユーザーインターフェース402を介して車両にリモート誘導を提供するためのオペレーターワークフロー400を図示している。動作404で、車両コンピューティングシステムは、サービスコンピューティングデバイスに接続することができる。サービスコンピューティングデバイスは、リモート誘導を提供するための1つまたは複数の条件が満たされていないという決定をすることができる。ある例示において、サービスコンピューティングデバイスは、車両コンピューティングシステムから受信したデータおよび/またはネットワーク接続に関連付けられるデータに基づいて、条件が満たされていないという決定をすることができる。誘導のための条件は、サービスコンピューティングデバイスが誘導を車両に効果的に提供することが可能であることを確実にするためにシステムチェックを含んでよい。条件は、閾値を下回る車両速度(例えば、時速15マイルより遅い、時速20キロメートルより遅いなど)、利用可能な閾値の数および/またはセンサーのタイプ(例えば、前方、後方、左方、および右方の視界を提供する少なくとも4つの動作しているカメラ、空中視界に関連付けられる動作しているセンサーなど)、閾値バンド幅(例えば、毎秒10メガバイトと等しいかそれより速く、毎秒15メガバイトなど)、閾値待ち時間(例えば、300ミリ秒と等しいかそれより遅く、250ミリ秒など)、車両の調子に関連する故障(例えば、ステアリングコラムの故障など)がないなどを含んでよい。
【0085】
1つまたは複数の条件のうちの少なくとも1つの条件が満たされないという決定に基づいて、サービスコンピューティングデバイスは、動作406で、誘導ができないという決定をすることができる。さまざまな例示において、条件のうちの少なくとも1つの条件が満たされないという決定に基づいて、サービスコンピューティングデバイスは、動作408で、誘導がグラフィカルユーザーインターフェース402へと入力されることを遮断することができる。このような例示において、オペレーターは、ウェイポイントおよび/または方向データをグラフィカルユーザーインターフェース402へと入力することができないことがある。
【0086】
動作410で、車両コンピューティングシステムは、サービスコンピューティングデバイスに接続することができ、リモート誘導を提供するための条件が満たされているという決定をすることができる。条件が満たされているという決定に基づいて、サービスコンピューティングデバイスは、動作412で、誘導が可能であるという決定をすることができる。誘導を提供している間に条件を満たさないという決定に応答して、サービスコンピューティングデバイスは、動作406で示されているような誘導ができないという決定をすることができる。ある例示において、誘導ができないという決定に基づいて、車両は、初期位置を越えて進行しないことがある(例えば、停止したままでいることがある)。ある例示において、誘導ができないという決定に基づいて、サービスコンピューティングデバイスは、リモート誘導ができないことを示すメッセージを車両コンピューティングシステムに送信することができる。このような例示において、メッセージは、リモート誘導を提供しないための理由(例えば、誘導ができない理由)を含んでよい。反対に、動作404で決定されるように、前に条件を満たさなかった少なくとも1つの条件が現在満たされているという決定に応答して、サービスコンピューティングデバイスは、誘導が可能であるという決定をすることができる(動作412)。
【0087】
誘導が可能であるという決定に基づいて、ワークフローは、動作414で、グラフィカルユーザーインターフェース上で誘導をアクティブにすることを含んでよい。さまざまな例示において、誘導をアクティブにすることは、オペレーターが車両が障害物の周りをナビゲートすることを助力するウェイポイントおよび/または方向に対応するデータを入力することを有効にすることができる。それ故に、オペレーターは、障害物の周りに車両に対する経路を構築することができる。
【0088】
オペレーターが経路を構築している間に、条件のうちの少なくとも1つの条件が満たされない(上記のように、条件を満たさないと説明される条件と同一または異なる条件)という決定に基づいて、さらなる誘導は、動作408で遮断されてよい。ある例示において、少なくとも1つの条件を満たさないという決定に基づいて、車両は、初期位置(例えば、停止したままでいることがある)および/または直近で受信および/または検証されたウェイポイントを越えて進行しないことがある。このような例示において、車両コンピューティングシステムは、さらなる誘導(例えば、後続のウェイポイント、完了信号など)を受信しないことに応答して車両を停止させるように構成されてよい。さらに、動作408で、少なくとも1つの条件が満たされているという決定に応答して、誘導は、グラフィカルユーザーインターフェース402上で再アクティブされてよく、さらなるウェイポイントおよび/または方向データ入力を有効にしてよい。
【0089】
図5は、リモート誘導の入力に応答して車両のアクションを図示するフロー図500である。動作502で、サービスコンピューティングデバイスのグラフィカルユーザーインターフェースに関連付けられるオペレーターは、車両コンピューティングシステムに接続することができる。さまざまな例示において、オペレーターは、リモート誘導のための要求を受信することに応答して、車両コンピューティングシステムに接続することができる。ある例示において、接続は、1つまたは複数の条件の満足に基づいてよい。
【0090】
動作504で、車両は、ホールドで停止されてよい。さまざまな例示において、車両は、リモート誘導状況の検出に基づいて、車両コンピューティングデバイスによるなど停止されてよい。ある例示において、車両は、グラフィカルユーザーインターフェースを介してサービスコンピューティングデバイスから受信したものなどのホールドするための命令に基づいて停止されてよい。車両は、ゴー(例えば、移動が許可されている)モード、またはノーゴー(例えば、移動が許可されていない)モードで停止されてよい。ゴーモードは、前進する前に一時的な遅延が必要となるモードを表現してよい。ある例示において、一時的な遅延は、ウェイポイントを入力および/または検証するために必要となる時間に基づいてよい。ある例示において、一時的な遅延は、安全プロトコルおよび/またはリモート誘導プロトコルの満足に基づいてよい。例えば、車両コンピューティングデバイスは、車両の前で別の車両が停止していることを検出することができる。他の車両の後ろで安全な距離を維持するために、車両コンピューティングデバイスは、ゴーモードで車両を停止させることができる。ノーゴーモードは、条件が満たされていない(例えば、車両の故障が検出されたなど)、またはそうでなければ、車両がフェイルセーフ操作を実行して、予定の運転動作から逸脱したことに基づくようなリモート誘導が利用不可能である場合のモードを表現することができる。
【0091】
動作506で、車両は、リリースで動いていることがある。ある例示において、車両は、グラフィカルユーザーインターフェースに関連付けられるサービスコンピューティングデバイスからのリリース信号の受信に基づいて、リリースで移動してよい。さまざまな例示において、車両は、移動している間にリモート誘導を要求してよい。動作504または動作506からオペレーターは、サービスコンピューティングデバイスのグラフィカルユーザーインターフェース上で誘導モード508を開始することができる。
【0092】
動作510で、車両は、ホールドで停止されてよい。ある例示において、誘導モード508は、車両がホールドしている間にアクティブであってよい。このような例示において、オペレーターは、障害物の周りを誘導するためのウェイポイントおよび/または方向を入力すること(例えば、リモート誘導状況をナビゲートすること)ができるが、ホールドによって、車両がウェイポイントに従って環境を通過するために車両を制御することができない。
【0093】
動作512で、車両は、ウェイポイントに関連付けられるデータがサービスコンピューティングデバイスから受信されるまで、動作している通常のプランナー誘導(例えば、車両コンピューティングシステムによって提供される自律制御)を継続して動かすことができる。ウェイポイントを加えるオペレーターに応答して、車両は、動作514で、受信した1つまたは複数のウェイポイント(例えば、それぞれのウェイポイントへの運転)を満たすことができる。ある例示において、ウェイポイントの受信に応答して、車両コンピューティングシステムは、ウェイポイントを検証することができ、ウェイポイントが車両の安全プロトコルおよび/またはリモート誘導プロトコルを満たしていることを確実にする。
【0094】
さまざまな例示において、ウェイポイントの受信に応答して、車両は、1つまたは複数の軌道を生成することができ、車両をウェイポイントに制御する。動作514で、車両コンピューティングデバイスは、サービスコンピューティングデバイスから1つまたは複数のさらなるウェイポイントに対応するデータを受信すること(例えば、オペレーターがグラフィカルユーザーインターフェースにおけるさらなるウェイポイントを加えること)ができる。車両コンピューティングシステムは、継続的に軌道を生成することができ、軌道に基づいて後続のウェイポイントとの間で車両を制御することができる。
【0095】
さまざまな例示において、動作510で、ホールドで停止した車両は、オペレーターがグラフィカルユーザーインターフェースなどの上でリリースオプションを選択することによるなどリリースされてよい。このような例示において、車両は、動作514で、移動を開始することができ、経路において残っているウェイポイントを満たすことができる。
【0096】
動作516で、車両は、停止することができ、さらなる誘導を待つことができる。ある例示において、車両は、後続の誘導(後続のウェイポイント)をまだ受信していないという決定に基づいて、動作516で停止することができる。このような例示において、ウェイポイントの受信に応答して、車両は、再び動き始めることができる(動作514)。ある例示において、車両は、最終ウェイポイントが満たされている(例えば、車両が最終ウェイポイントに到着した)という決定に基づいて停止してよい。ある例示において、誘導の完了に応答して、オペレーターは、動作520などで、誘導を完了することができ、車両コンピューティングシステムから切断することができる。ある例示において、オペレーターは、サービスコンピューティングデバイスに、誘導経路が完了したことを示す完了メッセージ(例えば、完了信号)を車両コンピューティングシステムに送信させることができる。誘導経路の完了に応答して、車両コンピューティングシステムは、車両を自律的に制御することを再開してよい。
【0097】
さまざまな例示において、車両は、動作514などまで、継続して動いてよく、動作518で、車両が経路における最終ウェイポイントを満たす。ある例示において、オペレーターは、ウェイポイントを最終ウェイポイントとして指定することによるなどして、最終ウェイポイントの前に誘導の完了を示してよい。ある例示において、誘導の完了に応答して、オペレーターは、動作520などで、誘導を完了することができ、車両コンピューティングシステムから切断することができる。誘導経路の完了に応答して、車両コンピューティングシステムは、車両を自律的に制御することを再開してよい。さまざまな例示において、サービスコンピューティングデバイスは、リモート誘導のための第2の要求を受信することができる。このような例示において、オペレーターは、動作502で車両コンピューティングシステムに再接続することができる。
【0098】
図6図7は、本開示の実施形態に従って例示的なプロセスを図示する。これらのプロセスは、論理フローグラフとして図示され、それぞれの動作は、ハードウェア、ソフトウェア、またはそれらの組み合わせにおいて実装され得る動作のシーケンスを表現する。ソフトウェアのコンテキストにおいて、動作は、1つまたは複数のプロセッサによって実行された場合に、列挙した動作を実行する1つまたは複数のコンピューター可読媒体に格納されたコンピューター実行可能命令を表現する。一般に、コンピューター実行可能命令は、具体的な機能を実行するか、または具体的な抽象データ型を実装するルーティン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。動作が説明される順序は、限定として解釈されることを意図されるものではなく、任意の数の説明される動作は、任意の順序で、および/または並行して、組み合わされてよく、プロセスを実装する。
【0099】
図6は、リモート誘導を車両コンピューティングデバイスに提供するための例示的なプロセス600を図示している。プロセス600のうちのいくつかまたはすべては、本明細書で説明されるように、図8における1つまたは複数のコンポーネントによって実行されてよい。例えば、プロセス600のうちのいくつかまたはすべては、サービスコンピューティングデバイス832によって実行されてよい。
【0100】
動作602で、プロセスは、車両に関連付けられる車両コンピューティングシステムから状況をナビゲートすることに対して誘導の入力のための要求を受信することを含むことができる。誘導の入力のための要求は、車両コンピューティングシステムとサービスコンピューティングデバイスとの間のネットワーク接続を介して受信されてよい。誘導の入力のための要求は、1つまたは複数のウェイポイントおよび/または関連する方向を介するなどで、状況を通してインクリメント誘導のための要求を含んでよい。
【0101】
動作604で、プロセスは、1つまたは複数の条件が満たされているかを決定することを含んでよい。条件は、閾値を下回る車両速度、利用可能なセンサーの閾値の数および/またはセンサーのタイプ、ネットワーク接続に関連付けられる閾値のバンド幅、ネットワーク接続に関連付けられる閾値待ち時間、車両の調子に関連する故障がないなどを含んでよい。
【0102】
少なくとも1つの条件が満たされない(動作604で「No」)という決定に応答して、プロセスは、動作606で、サービスコンピューティングデバイスのグラフィカルユーザーインターフェース(GUI)の入力機能を無効にすることを含んでよい。ある例示において、少なくとも1つの条件が満たされないという決定に応答して、サービスコンピューティングデバイスは、GUIを起動しないことがある。
【0103】
条件が満たされているという決定に応答して(動作604で「Yes」)、プロセスは、動作608で、ウェイポイントに対応する入力を受信することを含んでよい。入力は、サービスコンピューティングデバイスに関連付けられる入出力デバイスを介するなどで、GUIに関連付けられるオペレーターから受信されてよい。さまざまな例示において、入力は、ウェイポイントの位置および/または方向(例えば、ヨー)を含んでよい。このような例示において、ウェイポイントの位置および/または方向は、誘導モードで動作している間に、車両が通過することとなる位置、およびその位置で車両が向くこととなる方向を表現することができる。
【0104】
さまざまな例示において、サービスコンピューティングデバイスは、共に関連付けられるウェイポイントおよび/または方向を検証することができる。ウェイポイントの検証は、共に関連付けられるウェイポイントおよび/または方向が、車両動作に関連付けられる安全プロトコルおよび/またはリモート誘導プロトコルを満たしているという検証を含んでよい。安全プロトコルは、道路上のウェイポイントの位置(例えば、道路の端または運転可能な平面から車両の幅の1/2よりも短くない)、初期位置の閾値距離内または別のウェイポイントの閾値距離内、動的および/または静的オブジェクトから離れて維持するための車両に対する1つまたは複数の閾値距離、最大ヨーレート、および/または環境を通して車両の安全なナビゲーションに関連付けられる他の基準などの車両の安全な動作に関連付けられる1つまたは複数の規則を含んでよい。さらなる、または代替の例示において、このような検証は、車両が1つのウェイポイントから別のウェイポイントへの移行を実行することが可能であることを確実にするための運動学および/または動力学チェックを含んでよい。
【0105】
動作610で、プロセスは、ウェイポイントに関連付けられるデータを車両コンピューティングシステムに送信することを含んでよい。ある例示において、データは、関連するウェイポイントおよび/または方向の検証に基づいて、車両コンピューティングシステムに送信されてよい。ある例示において、データは、1つまたは複数のウェイポイントに関連付けられる位置および/または方向を含んでよい。さまざまな例示において、車両コンピューティングシステムは、ウェイポイントに部分的に基づいてウェイポイントを検証することができ、車両を制御することができる。
【0106】
動作612で、プロセスは、状況ナビゲーションが完了したかを決定することを含んでよい。さまざまな例示において、サービスコンピューティングデバイスは、状況に関連付けられる最終ウェイポイントの伝送に基づいて、状況が完了したという決定をしてよい。ある例示において、サービスコンピューティングデバイスは、状況に関連付けられる障害物を少なくとも閾値距離(例えば、5フィート、10フィート、3メートルなど)を通過したウェイポイントに基づいて、最終ウェイポイントを識別してよい。
【0107】
状況ナビゲーションが完了していない(動作612で「No」)という決定に応答して、サービスコンピューティングデバイスは、動作608に戻ることができ、ウェイポイントに対応する入力を受信することができる。さまざまな例示において、サービスコンピューティングデバイスは、ウェイポイントに対応する入力を継続して受信することができ、状況ナビゲーションが完了するまで、ウェイポイントに関連付けられるデータを車両コンピューティングシステムに送信することができる。
【0108】
状況ナビゲーションが完了したという決定に応答して(動作612で「Yes」)、プロセスは、動作614で、完了信号を車両コンピューティングシステムに送信することを含むことができる。ある例示において、完了信号は、自律的に進行するための命令を含んでよい。完了信号を受信することに応答して、車両コンピューティングシステムは、車両を自律的に制御するために通常のプランナーコンポーネントの機能を再開してよい。
【0109】
さまざまな例示において、サービスコンピューティングデバイスは、状況のため、車両に関連付けられる最初のルートが遮断されたという決定をしてよい。このような例示において、サービスコンピューティングデバイスは、車両が目的地への最初のルートをたどることがない場合があるという決定をしてよい。ある例示において、サービスコンピューティングデバイスは、更新されたルートを生成してよい。このような例示において、サービスコンピューティングデバイスは、完了信号を送信することの閾値時間(例えば、0.5秒、2秒など)と同時に、またはその範囲内で、更新されたルートを車両コンピューティングデバイスに送信してよい。
【0110】
図7は、サービスコンピューティングデバイスから受信した誘導の入力に基づいて、車両を制御するための例示的なプロセス700を図示している。プロセス700のうちのいくつかまたはすべては、本明細書で説明されるように、図8における1つまたは複数のコンポーネントによって実行されてよい。例えば、プロセス700のうちの一部またはすべては、車両コンピューティングデバイス804(例えば、車両コンピューティングシステム)によって実行されてよい。
【0111】
動作702で、プロセスは、車両のセンサーからセンサーデータを受信することを含んでよい。センサーは、カメラ、モーションディテクター、ライダー、レーダー、飛行時間などを含んでよい。車両コンピューティングデバイスは、知覚コンポーネントを用いることなどによって、車両が動作する環境における1つまたは複数の動的および/または静的オブジェクトを検出および/または分類するように構成されてよい。
【0112】
さまざまな例示において、車両コンピューティングシステムは、センサーデータを処理することができ、環境において動作している間に、とるべき車両の1つまたは複数のアクションを決定することができる。アクションは、環境において検出された動的および/または静的オブジェクトに基づいて決定されてよい。アクションは、車両に関連付けられる運用プロトコルおよび/または安全プロトコルに基づいてよい。運用プロトコルは、二重黄色線を越えない、対向車線へと向かって行かない、道路の運転可能な平面の境界を越えないなどのような、車両がとることができる、またはとることができないアクションを管理する1つまたは複数の規則を含んでよい。安全プロトコルは、車両の安全な動作に関連付けられる1つまたは複数の規則、検出された動的および/または静的オブジェクトから離れて維持するための車両に対する1つまたは複数の閾値距離、最大ヨーレート、および/または環境を通して車両の安全なナビゲーションに関連付けられる他の基準などの車両の安全な動作に関連付けられる1つまたは複数の規則を含んでよい。ある例示において、車両コンピューティングデバイスは、センサーデータを処理することができ、とるべきアクションを決定することができないことがある。
【0113】
動作704で、プロセスは、センサーデータに基づいて、車両がリモート誘導状況に直面したかを決定することを含んでよい。リモート誘導状況は、障害物、道路の遮断、道路の工事区域、車両の視線を越えたドライブライン(例えば、道路の標高および/または道路の曲がり角のためにセンサーの視覚が損なわれる)などを含んでよい。リモート誘導状況は、車両コンピューティングシステムが実行するためにプログラムされていない状況、および/または運用プロトコルに違反しているように見える状況を含んでよい。
【0114】
車両がリモート誘導状況(動作704で「No」)に直面していないという決定に応答して、プロセスは、動作706で、通常のプランナーモードなどで車両を自律的に制御する車両コンピューティングシステムを含むことができる。
【0115】
車両がリモート誘導状況(動作704で「Yes」)に直面したという決定に応答して、プロセスは、動作708で、誘導のための要求をサービスコンピューティングデバイスに送信することを含むことができる。さまざまな例示において、車両コンピューティングシステムは、サービスコンピューティングデバイスとのネットワーク接続を確立することができる。このような例示において、車両コンピューティングシステムは、ネットワーク接続を介して要求を送信することができる。ある例示において、車両におけるオブザーバーは、車両コンピューティングシステムとサービスコンピューティングデバイスとの間のネットワーク接続を手動で確立してよい。ある例示において、車両コンピューティングシステムは、車両がリモート誘導状況に直面したという決定に応答して、ネットワーク接続を自動的に確立することができ、および/または誘導のための要求を送信することができる。
【0116】
動作710で、プロセスは、ウェイポイントに関連付けられるデータを受信することを含むことができる。データは、ウェイポイントに関連付けられる位置および/または方向を含んでよい。
【0117】
動作712で、プロセスは、ウェイポイントが有効であるかを決定することを含むことができる。ウェイポイントの検証は、共に関連付けられるウェイポイントおよび/または方向が、車両動作に関連付けられる安全プロトコル、リモート誘導プロトコル、および/または動力学検証を満たしているという検証を含んでよい。安全プロトコルは、道路上のウェイポイントの位置(例えば、道路の端または運転可能な平面から車両の幅の1/2よりも短くない)、初期位置の閾値距離内または別のウェイポイントの閾値距離内、動的および/または静的オブジェクトから離れて維持するための車両に対する1つまたは複数の閾値距離、最大ヨーレート、および/または環境を通して車両の安全なナビゲーションに関連付けられる他の基準などの車両の安全な動作に関連付けられる1つまたは複数の規則を含んでよい。リモート誘導プロトコルは、リモート誘導モードで動作している間に車両の動きに対する1つまたは複数の限定を含んでよい。リモート誘導プロトコルは、経路の逸脱(例えば、車両の1/2幅、1つの車両の幅などのような障害物を回避するために車両が逸脱し得る2つのウェイポイントとの間の経路からの距離)、静的オブジェクトの検出への応答(例えば、静的オブジェクトを回避して後続のウェイポイントに到着しようとする試み)、動的オブジェクトの検出への応答(例えば、ウェイポイントに対応する経路に入ると予測されるエージェントへの譲歩)、車両として同一の方向に移動する動的オブジェクトの追跡(例えば、ウェイポイントに対応する経路において)、交差点での優先権に対する適切な譲歩(例えば、4方向の停止、信号機、回り道など)、さらなる誘導が受信されない場合など(例えば、別のウェイポイント、ナビゲーション再開の指示など)を含んでよい。動力学検証は、車両コンピューティングシステムが関連する方向で、車両をウェイポイントにナビゲートするために1つまたは複数の軌道を生成し得るという検証を含んでよい。
【0118】
ウェイポイントおよび/または方向が無効である(動作712で「No」)と判断することに応答して、プロセスは、動作714で、ウェイポイントを除外することを含むことができる。ある例示において、車両コンピューティングシステムは、メッセージをウェイポイントの除外を示しているサービスコンピューティングデバイスに送信することができる。さまざまな例示において、メッセージは、ウェイポイントが無効であるという決定をするための1つまたは複数の理由(例えば、除外の説明)を含んでよい。
【0119】
車両がリモート誘導状況(動作712で「Yes」)に直面したという決定に応答して、プロセスは、動作716で、ウェイポイントに関連付けられるデータに少なくとも部分的に基づいて車両を制御(例えば、ウェイポイントの包含での車両の制御)することを含むことができる。非限定的な例示として、このようなウェイポイント(および/または関連する方向)は、あるウェイポイントから次のウェイポイントへの軌道を計画するための1つまたは複数のコストまたは制御として用いられてよい。車両の制御は、1つまたは複数の信号を車両に関連付けられる1つまたは複数の駆動システムに送信すること、および車両に、ウェイポイントに関連付けられるような位置にホールドさせるか、または異なる位置に移動させることを含んでよく、ウェイポイントに対応する決定された方向に関連付けられるような具体的な方向を向く。
【0120】
少なくともある例示において、状況を超えない場合、このようなプロセスは、710を継続することができ、それによってさらなるウェイポイントが受信され、且つ考慮される。そうでなければ、プロセス700は、車両を自律的に制御し続けるために706を継続することができる。
【0121】
図8は、本明細書で説明される技術を実装するための例示的なシステムのブロック図である。少なくとも1つの例示において、システム800は、車両102のような車両802を含んでよい。
【0122】
車両802は、1つまたは複数の車両コンピューティングデバイス804、1つまたは複数のセンサーシステム806、1つまたは複数のエミッター808、1つまたは複数の通信接続810、少なくとも1つの直接接続812、および1つまたは複数の駆動システム814を含んでよい。
【0123】
車両コンピューティングデバイス804は、1つまたは複数のプロセッサ816、および1つまたは複数のプロセッサ816と通信可能に結合されたメモリ818を含んでよい。図示される例示において、車両802は、自律車両であるが、車両802は、半自律車両のような任意の他のタイプの車両、または少なくとも画像キャプチャデバイス(例えば、カメラ対応スマートフォン)を有する任意の他のシステムであってよい。図示される例示において、車両コンピューティングデバイス804のメモリ818は、ローカリゼーションコンポーネント820、知覚コンポーネント822、プラニングコンポーネント824、1つまたは複数のシステムコントローラー826、および1つまたは複数のマップ828を格納する。説明の目的のためにメモリ318に内在するものとして、図8に図示されるが、ローカリゼーションコンポーネント820、知覚コンポーネント822、プラニングコンポーネント824、1つまたは複数のシステムコントローラー826、および1つまたは複数のマップ828は、さらに、または代替的に、車両802にアクセス可能(例えば、車両802から離れて、例えば、サービスコンピューティングデバイス832のメモリ834に格納されるか、またはそうでなければ、それによってアクセス可能)であってよいと企図される。
【0124】
少なくとも1つの例示において、ローカリゼーションコンポーネント820は、車両802の位置および/または方向(例えば、x位置、y位置、z位置、ロール、ピッチ、またはヨーのうちの1つまたは複数)を決定するためにセンサーシステム806からのデータを受信する機能を含んでよい。例えば、ローカリゼーションコンポーネント820は、マップ828からのような環境のマップを含む、および/または要求/受信することができ、マップ内の自律車両の位置および/または方向を継続的に決定することができる。さまざまな例示において、マップ828は、マップ上の道路のさまざまな部分に関連付けられる道路セグメント識別(例えば、番号など)を含んでよい。ある例示において、道路セグメント識別は、サービスコンピューティングデバイス832によって少なくとも部分的に管理される道路ネットワークに関連付けられてよい。ある例示において、ローカリゼーションコンポーネント820は、画像データ、ライダーデータ、レーダーデータ、IMUデータ、GPSデータ、ホイールエンコーダーデータなどを受信するためにSLAM(同時の位置特定とマッピング)、CLAMS(同時の較正と位置特定とマッピング)、相対SLAM、バンドル調整、非線形最小二乗最適化などを利用することができ、自律車両の位置を正確に決定する。ある例示において、ローカリゼーションコンポーネント820は、本明細書で説明されるように、車両802のさまざまなコンポーネントにデータを提供することができ、オブジェクトが車両802に関連するかを決定するための自律車両の初期位置を決定する。
【0125】
ある例示において、知覚コンポーネント822は、オブジェクト検出、セグメンテーション、および/または分類を実行する機能を含んでよい。ある例示において、知覚コンポーネント822は、車両802に近接したオブジェクト(エンティティ)の存在、および/またはオブジェクトタイプ(例えば、自動車、歩行者、サイクリスト、動物、建造物、樹木、道路表面、縁石、歩道、未知のものなど)としてのオブジェクトの分類を示す処理されたセンサーデータを提供することができる。ある例示において、知覚コンポーネント822は、車両802に近接する静止エンティティの存在および/またはタイプとしての静止エンティティの分類(例えば、建物、樹木、路面、縁石、歩道、未知のものなど)を提供することができる。さらなる例示または代替の例示において、知覚コンポーネント822は、検出されたオブジェクト(例えば、追跡されるオブジェクト)および/またはオブジェクトが配置される環境に関連付けられる1つまたは複数の特徴を示す処理されたセンサーデータを提供することができる。ある例示において、オブジェクトに関連付けられる特徴は、x位置(グローバルおよび/またはローカルの位置)、y位置(グローバルおよび/またはローカルの位置)、z位置(グローバルおよび/またはローカルの位置)、方向(例えば、ロール、ピッチ、ヨー)、オブジェクトのタイプ(例えば、分類)、オブジェクトの速度、オブジェクトの加速度、オブジェクトの範囲(サイズ)などを含んでよいが、これらに限定されない。環境に関連付けられる特徴は、環境における別のオブジェクトの存在、環境における別のオブジェクトの状態、環境に関連付けられる区域(例えば、スクールゾーン、ビジネス地区など)、時刻、曜日、季節、気象条件、明暗の表示などを含んでよいが、これらに限定されない。
【0126】
一般に、プラニングコンポーネント824は、車両802に対して環境を通して通過するためにたどる計画されたルート(例えば、初期経路、計画された経路など)のような経路を決定することができる。例えば、プランニングコンポーネント624は、さまざまなルートおよび軌道、ならびにさまざまな詳細のレベルを決定することができる。例えば、プランニングコンポーネント824は、第1の位置(例えば、現在位置)から第2の位置(例えば、目標位置)まで移動するルートを決定することができる。ある例示において、プランニングコンポーネント824は、第1の位置から第2の位置までのルートの少なくとも一部に沿って自律車両を誘導するための命令を生成することができる。
【0127】
さまざまな例示において、プランニングコンポーネント824は、1つまたは複数のサービスコンピューティングデバイス832のリモート誘導プラットフォーム830からリモート誘導モードで動作する車両802に対するウェイポイントおよび/または方向に関連付けられるデータを受信するように構成されてよい。ある例示において、プラニングコンポーネント824は、ウェイポイントおよび/または方向を検証するように構成されてよい。少なくとも1つの例示において、プラニングコンポーネント824は、自律車両802を、サービスコンピューティングデバイス832から受信した第1のウェイポイントからサービスコンピューティングデバイス832から受信した第2のウェイポイントにどのように誘導するかを決定することができる。ある例示において、命令は、軌道であってよく、または軌道の一部であってもよい。ある例示において、多様な軌道は、後退水平技法に従って(例えば、技術的な許容範囲内で)実質的に同時に生成されてよく、ここで、多様な軌道のうちの1つが、車両802に対してナビゲートするために選択される。
【0128】
ある例示において、プラニングコンポーネント824は、予測コンポーネントを含んでよく、環境におけるオブジェクト(例えば、オブジェクト)の予測される軌道を生成する。例えば、予測コンポーネントは、環境における検出された動的オブジェクトに対して1つまたは複数の予測軌道を生成してよい。ある例示において、予測される軌道は、検出されたオブジェクトが現在の位置から(例えば、知覚の時間で)および/または進行方向に基づいて移動し得る任意の数の潜在的な経路を含んでよい。ある例示において、予測される軌道は、オブジェクトがある時間期間にわたって移動することとなる距離および方向を表現してよい。ある例示において、予測コンポーネントは、オブジェクトのトレースを測定することができ、観察および予測される動作に基づいてオブジェクトに対する軌道を生成することができる。さまざまな例示において、予測コンポーネントは、1つまたは複数の機械学習技術、ヒートマップ、時相論理、および/または木探索法に基づいて予測される軌道を決定することができる。
【0129】
少なくとも1つの例示において、車両コンピューティングデバイス804は、1つまたは複数のシステムコントローラー826を含んでよく、これは、ステアリング、推進、制動、安全性、エミッター、通信、および車両802の他のシステムを制御するように構成されてよい。システムコントローラー826は、駆動システム814および/または車両802の他のコンポーネントの対応するシステムと通信することができ、および/または制御することができる。
【0130】
メモリ818は、環境内をナビゲートするために車両802によって用いられ得る1つまたは複数のマップ828をさらに含んでよい。この説明の目的のために、マップは、(交差点のような)トポロジー、通り、山脈、道路、地形、および一般的な環境のような環境などだが、これらに限定されない環境についての情報を提供することが可能である2次元、3次元、またはN次元でモデル化された任意の数のデータ構造であってよい。ある例示において、マップは、テクスチャー情報(例えば、色情報(例えば、RGB色情報、Lab色情報、HSV/HSL色情報)など)、強度情報(例えば、ライダー情報、レーダー情報など)、空間情報(例えば、メッシュ上に投影された画像データ、個々の「サーフェル」(例えば、個々の色および/または強度に関連付けられるポリゴン))、反射性情報(例えば、鏡面性情報、再帰反射性情報、BRDF情報、BSSRDF情報など)を含んでよいが、これらには限定されない。ある例示において、マップは、環境の3次元メッシュを含んでよい。ある例示において、車両802は、マップ828に少なくとも部分的に基づいて制御されてよい。つまり、マップ828は、ローカリゼーションコンポーネント820、知覚コンポーネント822、および/またはプラニングコンポーネント824に関連して用いられることができ、車両802の位置を決定して、環境におけるオブジェクトを検出して、ルートを生成して、アクションおよび/または軌道を決定して、環境内をナビゲートする。さまざまな例示において、マップ828は、道路網を含んでよい。道路網は、1つまたは複数の明確な道路セグメントを含んでよい。
【0131】
ある例示において、1つまたは複数のマップ828は、1つまたは複数のサービスコンピューティングデバイス832に格納されてよい。ある例示において、多様なマップ328は、例えば、特徴(例えば、エンティティのタイプ、時刻、曜日、その年の季節など)に基づいて格納されてよい。多様なマップ828を格納することは、同様のメモリ要件を有してよいが、マップにおけるデータがアクセスされ得る速度を増加してよい。
【0132】
理解されることが可能であるように、本明細書で説明されるコンポーネント(例えば、ローカリゼーションコンポーネント820、知覚コンポーネント822、プラニングコンポーネント824、1つまたは複数のシステムコントローラー826、および1つまたは複数のマップ828は、説明の目的のために分割されるように説明される。しかしながら、さまざまなコンポーネントによって実行される動作は、任意の他のコンポーネントにおいて組み合わされてよく、または実行されてもよい。
【0133】
ある例示において、本明細書で説明されるコンポーネントのいくつかまたはすべての態様は、任意のモデル、技術、および/または機械学習技術を含んでよい。例えば、ある例示において、メモリ818(および以下で説明されるメモリ834)におけるコンポーネントは、ニューラルネットワークとして実装されてよい。
【0134】
本明細書で説明されるように、例示的なニューラルネットワークは、入力データが連続して接続されたレイヤーを通して通過し、出力を生じさせるための生物学に着想を得た技術である。ニューラルネットワークにおけるそれぞれのレイヤーは、また、別のニューラルネットワークを含んでよく、または(畳み込みか否かには関係なく)任意の数のレイヤーを含んでもよい。本開示の文脈において理解されることが可能であるように、ニューラルネットワークは、機械学習を利用してよく、これは、学習したパラメーターに基づいて出力が生成される技術のような広範囲のクラスを参照してよい。
【0135】
ニューラルネットワークのコンテキストにおいて説明されるが、任意のタイプの機械学習が本開示と整合するように用いられてよい。例えば、機械学習技術は、回帰技術(例えば、通常最小二乗回帰(OLSR)、線形回帰、ロジスティック回帰、段階的回帰、多変量適応回帰スプライン(MARS)、局所的に推定される散布図の平滑化(LOESS)、インスタンスベースの技術(例えば、リッジ回帰、最小絶対値縮小および選択演算子(LASSO)、弾性ネット、最小角回帰(LARS)、決定木技術(例えば、分類および回帰木(CART)、反復二分法3(ID3)、カイ二乗自動相互作用検出(CHAID)、決定切り株、条件付き決定木)、ベイジアン技術(例えば、ナイーブベイズ、ガウスナイーブベイズ、多項式ナイーブベイズ、平均1依存性推定器(AODE)、ベイジアン信頼度ネットワーク(BNN)、ベイジアンネットワーク)、クラスタリング技術(例えば、k平均法、kメジアン法、期待値最大化(EM)、階層的クラスタリング)、関連規則学習技術(例えば、パーセプトロン、誤差逆伝播法、ホップフィールドネットワーク、動径基底関数ネットワーク(RBFN))、深層学習技術(例えば、深層ボルツマンマシン(DBM)、深層信頼ネットワーク(DBN)、畳み込みニューラルネットワーク(CNN)、積層型オートエンコーダー)、次元削減技術(例えば、主成分分析(PCA)、主成分回帰(PCR)、部分最小二乗回帰(PLSR)、サモンマッピング、多次元スケーリング(MDS)、射影追跡法、線形判別分析(LDA)、混合判別分析(MDA)、二次判別分析(QDA)、柔軟判別分析(FDA))、アンサンブル技術(例えば、ブースティング、ブートストラップ集約(バギング)、エイダブースト、階層型一般化(ブレンディング)、勾配ブースティングマシン(GBM)、勾配ブースト回帰木(GBRT)、ランダムフォレスト)、SVM(サポートベクターマシン)、教師付き学習、教師なし学習、半教師付き学習などを含んでよいが、これらに限定されない。アーキテクチャのさらなる例示は、ResNet50、ResNet101、VGG、DenseNet、PointNetなどのようなニューラルネットワークを含む。
【0136】
少なくとも1つの例示において、センサーシステム806は、ライダーセンサー、レーダーセンサー、超音波トランスデューサー、ソナーセンサー、位置センサー(例えば、GPS、コンパスなど)、慣性センサー(例えば、慣性測定ユニット(IMU)、加速度計、磁力計、ジャイロスコープなど)、カメラ(例えば、RGB、IR、強度、深度、飛行時間など)、マイク、ホイールエンコーダー、環境センサー(例えば、温度センサー、湿度センサー、光センサー、圧力センサーなど)、などを含んでよい。センサー806は、これらまたは他のタイプのセンサーのそれぞれの多様な例示を含んでよい。例えば、ライダーセンサーは、車両802の角部、前部、後部、側部、および/または上部に位置する個々のライダーセンサーを含んでよい。別の例示として、カメラセンサーは、車両802の外部および/または内部についてのさまざまな位置に配置される多様なカメラを含んでよい。センサー806は、入力を車両コンピューティングデバイス804に提供してよい。
【0137】
車両802は、また、光および/または音を放出するための1つまたは複数のエミッター808を含んでよい。エミッター808は、内部オーディオおよび視覚エミッターを含んでよく、車両802の乗員と通信する。例示のためであり、限定することなく、内部エミッターは、スピーカー、照明、標識、ディスプレイスクリーン、タッチスクリーン、触覚エミッター(例えば、振動および/または力フィードバック)、機械的アクチュエータ(例えば、シートベルトテンショナー、座席ポジショナー、ヘッドレストポジショナーなど)などを含んでよい。エミッター808は、また、外部エミッターを含んでよい。例示のためであり、限定することなく、外部エミッターは、移動の方向の合図を送るための照明、もしくは車両のアクションの他のインジケーター(例えば、インジケーター照明、標識、照明アレイなど)、ならびに歩行者または音響ビームステアリング技術を含む1つまたは複数の近隣の他の車両と音響で通信するための1つまたは複数のオーディオエミッター(例えば、スピーカー、スピーカーアレイ、ホーンなど)を含んでよい。
【0138】
車両802および/またはサービスコンピューティングデバイス832は、また、車両802とサービスコンピューティングデバイス832ならびに/または車両802および/もしくは駆動システム814上の他のローカルコンピューティングデバイスとの間の通信を有効にする1つまたは複数の通信接続810を含んでよい。また、通信接続810は、車両802が他の近隣のコンピューティングデバイス(例えば、他の近隣の車両など)と通信することを可能とすることができる。
【0139】
ネットワークインターフェース810は、車両コンピューティングデバイス804をネットワーク836のような別のコンピューティングデバイスまたはネットワークに接続するための物理的および/または論理的インターフェースを含んでよい。例えば、通信接続810は、IEEE802.11規格によって定義される周波数であり、ブルートゥースのような短距離無線周波数、セルラー通信(例えば、2G、3G、4G、4GLTE、5Gなど)などを介するWi-Fiベースの通信、またはそれぞれのコンピューティングデバイスが他のコンピューティングデバイスとインターフェースで接続することを有効にする任意の適切な有線もしくは無線通信プロトコルを有効にすることが可能である。
【0140】
少なくとも1つの例示において、車両802は、1つまたは複数の駆動システム814を含んでよい。ある例示において、車両802は、1つの駆動システム814を有してよい。少なくとも1つの例示において、車両802が多様な駆動システム814を有する場合、個々の駆動システム814は、車両802の両端(例えば、前部および後部など)に配置されてよい。少なくとも1つの例示において、駆動システム814は、1つまたは複数のセンサーシステムを含んでよく、駆動システム814および/または車両802の周囲の状態を検出する。例示の目的であり、限定ではなく、センサーシステムは、駆動システムのホイールの回転を感知するための1つまたは複数のホイールエンコーダー(例えば、ロータリーエンコーダー)、駆動システムの方向および加速度を測定するための慣性センサー(例えば、慣性測定ユニット、加速度計、ジャイロスコープ、磁力計など)、カメラまたは他の画像センサー、駆動システムの周囲の状態におけるオブジェクトを音響的に検出するための超音波センサー、ライダーセンサー、レーダーセンサーなどを含んでよい。ホイールエンコーダーのようなあるセンサーは、駆動システム814に一意であってよい。ある場合において、駆動システム814上のセンサーシステムは、車両802の対応するシステム(例えば、センサーシステム806)と重複してよく、またはそれを補足してもよい。
【0141】
駆動システム814は、高電圧バッテリー、車両を推進させるためのモーター、他の車両システムによる使用のためにバッテリーからの直流を交流へと変換するためのインバーター、ステアリングモーターおよびステアリングラックを含むステアリングシステム(これは電動式とすることが可能である)、油圧または電動アクチュエータを含むブレーキシステム、油圧および/または空気圧コンポーネントを含むサスペンションシステム、トラクションの損失を緩和し、制御を維持するために制動力を分配するための安定性制御システム、HVACシステム、照明(例えば、車両の外部周囲を照らすためのヘッド/テールライトのような照明)、および1つまたは複数の他のシステム(例えば、冷却システム、安全システム、車載充電システム、DC/DCコンバーターのような他の電気コンポーネント、高電圧ジャンクション、高電圧ケーブル、充電システム、充電ポートなど)を含む車両システムの多くを含んでよい。さらに、駆動システム814は、センサーシステムからデータを受信することができ、前処理をすることができるさまざまな車両システムの動作を制御するために駆動システムコントローラーを含んでよい。ある例示において、駆動システムコントローラーは、1つまたは複数のプロセッサ、および1つまたは複数のプロセッサと通信可能に結合されたメモリを含んでよい。メモリは、1つまたは複数のシステムを格納することができ、駆動システム814のさまざまな機能を実行する。さらに、駆動システム814は、また、それぞれの駆動システムによって、1つまたは複数の他のローカルコンピューティングデバイスまたはリモートコンピューティングデバイスとの通信を有効にする1つまたは複数の通信接続部含んでよい。
【0142】
少なくとも1つの例示において、直接接続812は、1つまたは複数の駆動システム814を車両802の本体と結合するための物理的インターフェースを提供してよい。例えば、直接接続812は、駆動システム814と車両との間のエネルギー、流体、空気、データなどの転送を可能としてよい。ある例示において、直接接続812は、駆動システム814を車両802の本体にさらにリリース可能に固定することができる。
【0143】
少なくとも1つの例示において、ローカリゼーションコンポーネント820、知覚コンポーネント822、プラニングコンポーネント824、1つまたは複数のシステムコントローラー826、および1つまたは複数のマップ828は、上記のように、センサーデータを処理することができ、1つまたは複数のネットワーク836にわたって、それらのそれぞれ出力をサービスコンピューティングデバイス832に送信することができる。少なくとも1つの例示において、ローカリゼーションコンポーネント820、知覚コンポーネント822、プラニングコンポーネント824、1つまたは複数のシステムコントローラー826、および1つまたは複数のマップ828は、所定の時間期間が経過した後で、ほぼリアルタイムなどで、特定の頻度で、それぞれの出力をサービスコンピューティングデバイス832に送信することができる。
【0144】
ある例示において、車両802は、ネットワーク836を介してセンサーデータをサービスコンピューティングデバイス832に送信することができる。ある例示において、車両802は、ネットワーク636を介してサービスコンピューティングデバイス832からセンサーデータを受信することができる。センサーデータは、生のセンサーデータおよび/または処理されたセンサーデータおよび/またはセンサーデータの表現を含んでよい。ある例示において、(生または処理された)センサーデータは、1つまたは複数のログファイルとして送信および/または受信されてよい。
【0145】
サービスコンピューティングデバイス832は、1つまたは複数のプロセッサ842、およびグラフィカルユーザーインターフェース838を有するリモート誘導コンポーネント830を格納するメモリ834を含んでよい。グラフィカルユーザーインターフェース838は、上記のような車両802にリモート誘導を提供するための1つまたは複数のウェイポイントおよび/または方向を表現するオペレーターからの入力を受信するように構成されてよい。入力は、1つまたは複数の入出力デバイス840を介して受信してよい。入出力デバイス840は、キーボード、マウス、タッチスクリーンディスプレイ、触覚デバイス、マイク、カメラ、および/またはデータをサービスコンピューティングデバイス832に/から入力および/または出力するように構成される任意の他のデバイスのうちの1つまたは複数を含んでよい。
【0146】
車両802のプロセッサ816およびサービスコンピューティングデバイス832のプロセッサ842は、本明細書で説明されるように、データを処理して、動作を実行するための命令を実行することが可能である任意の適切なプロセッサであってよい。例示のためであり、限定することなく、プロセッサ816および842は、1つまたは複数の中央処理装置(CPU)、グラフィックス処理ユニット(GPU)、または、電子データを処理して、その電子データをレジスタおよび/またはメモリに格納され得る他の電子データへと変換する任意の他のデバイスまたはデバイスの一部を含んでよい。ある例示において、集積回路(例えば、ASICなど)ゲートアレイ(例えば、FPGAなど)、および他のハードウェアデバイスは、また、それらが符号化された命令を実装するように構成される限り、プロセッサとみなされてよい。
【0147】
メモリ818および834は、非一時的なコンピューター可読媒体の例示である。メモリ818および834は、オペレーティングシステムおよび1つまたは複数のソフトウェアアプリケーション、命令、プログラム、および/またはデータを格納してよく、本明細書で説明される方法およびさまざまなシステムに起因する機能を実装する。さまざまな実装において、メモリは、スタティックランダムアクセスメモリ(SRAM)、シンクロナスダイナミックRAM(SDRAM)、不揮発性/フラッシュタイプメモリ、または情報を格納することが可能である任意の他のタイプのメモリのような適切なメモリ技術を用いて実装されてよい。本明細書で説明される、アーキテクチャ、システム、および個々のエレメントは、多くの他の論理的、プログラム的、および物理的なコンポーネントを含んでよく、それらのうちの添付図面に示されるものは、単に本明細書での説明に関連する例示に過ぎない。
【0148】
ある例示において、メモリ818および834は、少なくとも作業メモリおよび記憶メモリを含んでよい。例えば、作業メモリは、プロセッサ816および842によって動作されるデータを格納するために用いられる制限された容量の高速メモリ(例えば、キャッシュメモリ)であってよい。ある例示において、メモリ818および834は、データの長期記憶に使用される比較的大容量の低速メモリであり得る記憶メモリを含んでよい。ある例示において、プロセッサ816および842は、本明細書で説明されるように、記憶メモリに格納されているデータを直接動作させることが可能ではなく、データは、データに基づいて動作を実行させるために作業メモリへとロードされる必要がある場合がある。
【0149】
(例示的な条項)
A:システムは、1つまたは複数のプロセッサ、および1つまたは複数のプロセッサによって実行された場合に、プロセッサ実行可能命令を格納するメモリを備え、システムに、車両に関連付けられる車両コンピューティングシステムから環境における障害物の周りをナビゲートすることに対して誘導のための要求を受信すること、車両の1つまたは複数のセンサーに関連付けられるセンサーデータを受信すること、リモート誘導を提供するための条件が満たされているという決定をすること、ディスプレイに誘導システムに関連付けられるユーザーインターフェース上に車両および障害物の表現を出力させるように構成される信号を生成して、表現は、少なくとも部分的にセンサーデータに基づいており、ユーザーインターフェースを介して、第1の位置および第1の方向に関連付けられる第1のウェイポイントを含む第1の入力を受信すること、ここで、第1の方向は、車両が第1のウェイポイントで向いている第1の方向を含み、第1のウェイポイントを車両コンピューティングシステムに伝送すること、ユーザーインターフェースを介して、第2の位置および第2の方向に関連付けられる第2のウェイポイントを含む第2の入力を受信すること、ここで、第2の方向は、車両が第2のウェイポイントを向く第2の方向を含み、第2のウェイポイントを車両コンピューティングシステムに伝送すること、誘導を提供するための終了条件が満たされているという決定をすること、および車両を自律的に制御するために命令を車両コンピューティングシステムに伝送することを構成させる。
【0150】
B:段落Aで説明されるようなシステムであって、ここで、条件は、車両コンピューティングシステムとの接続に対応する待ち時間が閾値待ち時間を下回っていること、車両コンピューティングシステムとの接続に対応するバンド幅が閾値バンド幅を下回っていること、車両の速度が閾値値速度を下回っていること、センサーデータを提供するための利用可能なセンサーの数が閾値の数を超えていること、または車両が故障に関連する調子を含まないという決定のうちの少なくとも1つを含む。
【0151】
C:段落AまたはBのいずれか1つで説明されるシステムであって、ここで、命令は、システムにさらに、第1の位置、第1の方向、第2の位置、および第2の方向が車両の動作に関連付けられる安全プロトコルまたはリモート誘導プロトコルのうちの少なくとも1つを満たすという決定をすることであって、リモート誘導プロトコルは、リモート誘導モードで動作している車両の動きに関連付けられる1つまたは複数の制限を含むこと、および安全プロトコルまたはリモート誘導プロトコルのうちの少なくとも1つを少なくとも部分的に満たすことに基づいて、第1の位置および第1の方向を検証することを構成する。
【0152】
D:段落AないしCのいずれか1つで説明されるシステムであって、誘導を提供するための終了条件が満たされているという決定をすることは、第2のウェイポイントがルートの閾値距離内にあるという決定をすること、および少なくとも部分的に閾値距離に基づいて、障害物が車両の後ろにあるという決定をすることを含む。
【0153】
E:段落AないしDのいずれか1つで説明されるシステムであって、命令は、システムに、車両が目的地までのルートに沿って進行することができないという決定をすること、目的地への車両誘導のための更新されたルートを生成すること、および更新されたルートを車両コンピューティングシステムに送信することを構成させ、ここで、命令は、自律的に進行させるために更新されたルートを含む。
【0154】
F:方法は、車両に関連付けられる車両コンピューティングデバイスから障害物の周りをナビゲートすることに対して誘導の入力のための要求を受信するステップ、受信データとして、および車両コンピューティングデバイスからセンサーデータまたはセンサーデータに少なくとも部分的に基づいて受信するステップ、誘導システムに関連付けられるユーザーインターフェースを介して、第1のウェイポイントに対応する第1の入力を受信するステップであって、第1の入力は、受信されたデータに少なくとも部分的に基づいているステップ、第1のウェイポイントに関連付けられる第1のデータを車両コンピューティングデバイスに送信するステップ、および車両に少なくとも部分的に第1のウェイポイントに基づいて制御させるステップを備える。
【0155】
G:段落Fで説明される方法であって、リモート誘導を提供するための条件が満たされているという決定をするステップをさらに備え、条件は、車両コンピューティングデバイスとの接続に対応する待ち時間が閾値待ち時間を下回っていること、車両コンピューティングデバイスとの接続に対応するバンド幅が閾値バンド幅を下回っていること、車両の速度が閾値値速度を下回っていること、センサーデータを提供するための利用可能なセンサーの数が閾値の数を超えていること、または車両が故障に関連する調子を含まないという決定のうちの少なくとも1つを含む。
【0156】
H:段落FまたはGのいずれかで説明される方法であって、リモート誘導を提供するための条件が満たされていると第1の時間で決定するステップ、少なくとも部分的に満たされている条件に基づいて、ユーザーインターフェースへと入力を有効にするステップ、リモート誘導を提供するための条件が満たされていないと第2の時間で決定するステップ、および少なくとも部分的に満たされていない条件に基づいて、ユーザーインターフェースへと入力を無効にするステップをさらに備える。
【0157】
I:段落FないしHのいずれか1つで説明される方法であって、第1のウェイポイントが車両の動作に関連付けられる安全プロトコルまたはリモート誘導プロトコルのうちの少なくとも1つを満たすという決定をするステップであって、リモート誘導プロトコルは、リモート誘導モードで動作している車両の動きに関連付けられる1つまたは複数の制限を含むステップ、および安全プロトコルまたはリモート誘導プロトコルのうちの少なくとも1つを満たすステップに少なくとも部分的に基づいて、第1のウェイポイントを検証するステップをさらに備え、ここで、第1のデータを送信するステップは、少なくとも部分的に第1のウェイポイントを検証するステップに基づいている。
【0158】
J:段落FないしIのいずれか1つで説明される方法であって、第2のウェイポイントに対応する第2の入力を受信するステップ、第2のウェイポイントに関連付けられる第2のデータを車両コンピューティングデバイスに送信するステップ、および車両の動作に対応する安全プロトコルまたはリモート誘導プロトコルのうちの少なくとも1つの少なくとも部分的に基づいて、車両から第2のウェイポイントの除外を示す除外メッセージを受信するステップをさらに備える。
【0159】
K:段落FないしJのいずれか1つで説明される方法であって、ここで、第1の入力は、第1のウェイポイントに関連付けられる第1の位置であって、第1の位置は、ユーザーインターフェースの選択可能な領域に対応する位置、および車両が第1のウェイポイントで向くこととなる第1の方向に対応する第1の方向を含む。
【0160】
L:段落FないしKのいずれか1つで説明される方法であって、ホールド信号を車両に送信するステップであって、ホールド信号は、車両コンピューティングデバイスにある位置でホールドさせるステップ、およびリリース信号を車両に送信するステップをさらに備え、リリース信号は、車両を第1のウェイポイントに制御するために車両コンピューティングデバイスへの命令を含む。
【0161】
M:段落FないしLのいずれか1つで説明される方法であって、第2のウェイポイントに対応する第2の入力を受信するステップ、第2のウェイポイントに関連付けられる第2のデータを車両コンピューティングデバイスに送信するステップ、第2のウェイポイントが障害物に関連付けられる終了条件に対応するという決定をするステップ、および第2のウェイポイントに関連付けられる動作を完了した後で、車両を自律的に制御するために命令を車両コンピューティングデバイスに送信するステップを備える。
【0162】
N:段落FないしMのいずれか1つで説明される方法であって、第2のウェイポイントに対応する第2の入力を受信するステップ、第2のウェイポイントに関連付けられる第2のデータを車両コンピューティングデバイスに送信するステップ、ユーザーインターフェースを介して、第1のウェイポイントまたは第2のウェイポイントのうちの少なくとも1つを編集するためにオペレーターの意図を示す第3の入力を受信するステップ、車両が第1のウェイポイントに移行しているという決定をするステップ、第1のウェイポイントへの第1の編集を無効にするステップ、第2のウェイポイントの少なくとも1つが車両コンピューティングデバイスによって受け入れられていないか、または車両が第1のウェイポイントを越えて前進させていないという決定をするステップ、第2のウェイポイントへの第2の編集を有効にするステップ、および第2のウェイポイントを削除または変更のうちの少なくとも1つをするために命令を車両コンピューティングデバイスに送信するステップをさらに備える。
【0163】
O:システムまたはデバイスは、プロセッサ、および実行された場合に、プロセッサに、段落FないしNのいずれか1つで説明される方法を実行させる命令を格納する非一時的なコンピューター可読媒体を備える。
【0164】
P:システムまたはデバイスは、処理のための手段、および処理のための手段に結合された格納のための手段を備え、格納のための手段は、段落FないしNのいずれか1つで説明される方法を実行するために1つまたは複数のデバイスを構成する命令を含む。
【0165】
Q:非一時的なコンピューター可読媒体は、実行された場合に、1つまたは複数のプロセッサに、車両に関連付けられる車両コンピューティングデバイスから障害物の周りをナビゲートすることに対して誘導の入力のための要求を受信すること、受信データとして、および車両コンピューティングデバイスからセンサーデータまたはセンサーデータに少なくとも部分的に基づいて受信すること、誘導システムに関連付けられるユーザーインターフェースを介して、第1のウェイポイントに対応する第1の入力を受信することであって、第1の入力は、受信されたデータに少なくとも部分的に基づいていること、第1のウェイポイントに関連付けられる第1のデータを車両コンピューティングデバイスに送信すること、および車両に少なくとも部分的に第1のウェイポイントに基づいて制御させることを含む動作を実行させる命令を格納する。
【0166】
R:段落Qで説明される非一時的なコンピューター可読媒体であって、動作は、ユーザーインターフェースを介して、車両が停止するためのコマンドを示す第2の入力を受信すること、および現在の位置に関連付けられる位置で停止するために命令を車両コンピューティングデバイスに送信することをさらに含む。
【0167】
S:段落QまたはRのいずれかで説明される非一時的なコンピューター可読媒体であって、動作は、車両がある位置で停止されることを決定すること、および停止位置から車両をリリースするために命令を送信することをさらに含み、ここで、車両は、命令に少なくとも部分的に基づいて前進することができる。
【0168】
T:段落QないしSのいずれか1つで説明される非一時的なコンピューター可読媒体であって、動作は、第2のウェイポイントに対応する第2の入力を受信すること、第2のウェイポイントに関連付けられる第2のデータを車両コンピューティングデバイスに送信すること、ユーザーインターフェースを介して、第1のウェイポイントまたは第2のウェイポイントのうちの少なくとも1つを編集するためにオペレーターの意図を示す第3の入力を受信すること、車両が第1のウェイポイントに移行しているという決定をすること、第1のウェイポイントへの第1の編集を無効にすること、第2のウェイポイントの少なくとも1つが車両コンピューティングデバイスによって受け入れられていないか、または車両が第1のウェイポイントを越えて前進させていないという決定をすること、第2のウェイポイントへの第2の編集を有効にすること、および第2のウェイポイントを削除または変更のうちの少なくとも1つをするために命令を車両コンピューティングデバイスに送信することをさらに含む。
【0169】
U:段落QないしTのいずれか1つで説明される非一時的なコンピューター可読媒体であって、動作は、車両がある位置から進行することができないことの表示を受信すること、ユーザーインターフェースを介して、車両が位置から進行することができないことの表示を提示すること、ユーザーインターフェースを介して、第2のウェイポイントに対応する第2の入力を受信すること、および第2のウェイポイントを車両コンピューティングシステムに伝送することをさらに含む。
【0170】
V:段落QないしUのいずれか1つで説明される非一時的なコンピューター可読媒体であって、動作は、第1のウェイポイントが車両制御に関連付けられる運動学チェックを満たすことを決定すること、および運動学チェックを満たすことに少なくとも部分的に基づいて第1のウェイポイントを検証することをさらに含み、ここで、車両が制御されるためにさせることは、第1のウェイポイントを検証することに少なくとも部分的に基づいている。
【0171】
W:車両は、センサー、1つまたは複数のプロセッサ、および1つまたは複数のプロセッサによって実行された場合に、車両に、車両が環境を通過して目的地に到達するための経路を決定すること、センサーからセンサーデータを受信すること、少なくとも部分的にセンサーデータに基づいて、車両が経路に沿って通過するための第1の軌道を生成すること、少なくとも部分的に第1の軌道に基づいて、車両が少なくとも部分的に1つまたは複数の障害物または制御ポリシーに基づいて経路に沿って継続することができないという決定をすること、誘導データのための要求をサービスコンピューティングデバイスに伝送すること、サービスコンピューティングデバイスから、位置および方向に関連付けられるウェイポイントを含むウェイポイントデータを受信すること、安全プロトコルに少なくとも部分的に基づいてウェイポイントを検証すること、少なくとも部分的にウェイポイントの検証に基づいて、ウェイポイントに関連付けられる初期位置および初期車両の方向から車両をナビゲートするための車両に対する第2の軌道を決定すること、および少なくとも部分的に第2の軌道に基づいて車両を制御することをするように構成するプロセッサ実行可能命令を格納するメモリを備える。
【0172】
X:段落Wで説明される車両であって、ここで、命令は、さらに、1つまたは複数のプロセッサに、リモート誘導プラットフォームとしてのサービスコンピューティングデバイスのリリースを示すメッセージを受信すること、経路に沿ってウェイポイントから車両を制御するための第3の軌道を決定すること、および少なくとも部分的に第3の軌道に基づいて車両を制御することをプログラムする。
【0173】
Y:段落WまたはXのいずれか1つで説明される車両であって、ここで、ウェイポイントデータは、第1の位置および第1の方向に関連付けられる第1のウェイポイントを含む第1のウェイポイントデータを含み、ここで、命令は、車両に、サービスコンピューティングデバイスから第2の位置および第2の方向に関連付けられる第2のウェイポイントを含む第2のウェイポイントデータを受信すること、安全プロトコルに少なくとも部分的に基づいて第2のウェイポイントを検証すること、少なくとも部分的に第2のウェイポイントの検証に基づいて、第1のウェイポイントから第2のウェイポイントに車両をナビゲートするための車両に対する第3の軌道を決定すること、および少なくとも部分的に第3の軌道に基づいて、第1のウェイポイントから第2のウェイポイントまで車両を制御することをさらに構成させ、ここで、車両は、前進の動きを停止することなく、第1のウェイポイントから第2のウェイポイントまで制御される。
【0174】
Z:段落WないしZのいずれか1つで説明される車両であって、ここで、命令は、車両に、少なくとも部分的にセンサーデータに基づいて環境における動的オブジェクトを検出すること、オブジェクトに関連付けられるオブジェクトの軌道を決定すること、オブジェクトの軌道が車両に対する軌道上を移動する車両の閾値距離内を通過することとなるオブジェクトを決定すること、および少なくとも部分的にオブジェクトに基づいて車両を制御することをさらに構成させる。
【0175】
AA:段落AないしDのいずれか1つで説明される車両であって、命令は、車両に、第2の位置および第2の車両の方向に関連付けられる第2のウェイポイントデータを受信すること、第2のウェイポイントまたは第2の車両の方向のうちの少なくとも1つが安全プロトコルに違反しているという決定をすること、および車両に第1のウェイポイントで停止させることをさらに構成させる。
【0176】
AB:方法は、環境における経路に沿って動作する車両のセンサーからセンサーデータを受信するステップ、少なくとも部分的に制御ポリシーに基づいて車両が経路に沿って継続することができないという決定をするステップ、誘導データのための要求をサービスコンピューティングデバイスに送信するステップであって、誘導データは、状況を通して車両の制御を容易にするためにウェイポイントを含むステップ、サービスコンピューティングデバイスからウェイポイントに関連付けられるウェイポイントデータを受信するステップ、ウェイポイントが有効なウェイポイントであるという決定をするステップ、および少なくとも部分的にウェイポイントに基づいて車両を制御するステップを備える。
【0177】
AC:段落ABで説明される方法であって、ウェイポイントに関連付けられる車両の方向を受信するステップ、車両の方向が有効な車両の方向であるという決定をするステップ、および少なくとも部分的に車両の方向に基づいて車両を制御するステップさらに備える。
【0178】
AD:段落ABまたはACのいずれか1つで説明される方法であって、ここで、ウェイポイントが有効なウェイポイントであるという決定をするステップは、ウェイポイントが運転可能な平面に配置されているという決定をするステップ、ウェイポイントをナビゲートする車両の動作がリモート誘導プロトコルに違反していないという決定をするステップであって、リモート誘導プロトコルは、リモート誘導モードで動作している車両の動きに関連付けられる制限を含むステップ、またはウェイポイントをナビゲートする車両の動作が安全プロトコルに違反していないという決定をするステップのうちの少なくとも1つを決定するステップを含み、ここで、安全プロトコルは、車両の安全を確実にするための条件を含む。
【0179】
AE:段落ABないしADのいずれか1つで説明される方法であって、ここで、状況は、車両に関連付けられる環境において識別され、方法は、サービスコンピューティングデバイスから、状況に少なくとも部分的に基づいて環境を通してナビゲートするために更新されたルートを受信するステップ、リモート誘導プラットフォームとしてのサービスコンピューティングデバイスのリリースを示すメッセージを受信するステップ、および更新されたルートに少なくとも部分的に基づいて車両を制御するステップをさらに備える。
【0180】
AF:段落ABないしAEのいずれか1つで説明される方法であって、ここで、状況は、車両に関連付けられるルートで識別され、方法は、サービスコンピューティングデバイスから、リモート誘導プラットフォームとしてのサービスコンピューティングデバイスのリリースを示すメッセージを受信するステップ、ルートに少なくとも部分的に基づいて車両を制御するステップ、操作制約に違反するルート上の第2の状況を識別するステップ、誘導データのための第2の要求をサービスコンピューティングデバイスに送信するステップ、サービスコンピューティングデバイスから入力とは無関係の第2の状況の解決策を決定するステップ、および少なくとも部分的に解決策に基づいて車両を制御するステップをさらに備える。
【0181】
AG:段落ABないしAFのいずれか1つで説明される方法であって、ここで、ウェイポイントに関連付けられるウェイポイントデータは、第1のウェイポイントに関連付けられる第1のデータを含み、方法は、第2の位置および第2の車両の方向に関連付けられる第2のウェイポイントデータを受信するステップ、第2のウェイポイントまたは対応する車両の方向のうちの少なくとも1つが安全プロトコルに違反しているという決定をするステップ、および第2のウェイポイントが安全プロトコルに違反しているという決定をするステップに少なくとも部分的に基づいて、車両を第1のウェイポイントで停止させるステップをさらに備える。
【0182】
AH:段落ABないしAGのいずれか1つで説明される方法であって、ここで、車両が経路に沿って継続することができないという決定をするステップは、少なくとも部分的にセンサーデータに基づいて、経路に沿って通過する車両に対する軌道を生成するステップ、および軌道が制御ポリシーに違反しているという決定をするステップを含む。
【0183】
AI:段落ABないしAHのいずれか1つで説明される方法であって、第2のウェイポイントおよび対応する車両の方向に関連付けられる第2のウェイポイントデータを受信するステップ、第2のウェイポイントおよび対応する車両の方向を検証するステップ、および前進の動きを停止することなく、第1のウェイポイントから第2のウェイポイントまで車両を制御するステップをさらに備える。
【0184】
AJ:段落ABないしAIのいずれか1つで説明される方法であって、制御ポリシーは、交通法規もしくは規則、良い運転の規則、または車両の経路における障害物のうちの少なくとも1つを含む。
【0185】
AK:システムまたはデバイスは、プロセッサ、および実行された場合に、プロセッサに、段落ABないしAJのいずれか1つで説明される方法を実行させる命令を格納する非一時的なコンピューター可読媒体を備える。
【0186】
AL:システムまたはデバイスは、処理のための手段、および処理のための手段に結合された格納のための手段を備え、格納のための手段は、段落ABないしAJのいずれか1つで説明される方法を実行するために1つまたは複数のデバイスを構成する命令を含む。
【0187】
AM:実行された場合に、1つまたは複数のプロセッサに、センサーからセンサーデータを受信すること、少なくとも部分的に制御ポリシーに基づいて車両が経路に沿って継続することができないという決定をすること、誘導データのための要求をサービスコンピューティングデバイスに送信することであって、誘導データは、状況を通して車両の制御を容易にするためにウェイポイントを含むこと、サービスコンピューティングデバイスからウェイポイントに関連付けられるウェイポイントデータを受信すること、ウェイポイントが有効なウェイポイントであるという決定をすること、および少なくとも部分的にウェイポイントに基づいて車両を制御することを含む動作を実行させる命令を格納する非一時的なコンピューター可読媒体。
【0188】
AN:段落AMで説明される非一時的なコンピューター可読媒体であって、動作は、ウェイポイントに関連付けられる方向に対応する方向データを受信すること、方向が有効な方向であるという決定をすること、および少なくとも部分的に車両の方向に基づいて車両を制御することをさらに含む。
【0189】
AO:段落AMまたはANのいずれか1つで説明される非一時的なコンピューター可読媒体であって、ここで、ウェイポイントに少なくとも部分的に基づいて車両を制御することは、ウェイポイントへの状況を識別することに関連付けられる初期位置から車両軌道を決定すること、および駆動システムに、車両の軌道に少なくとも部分的に基づいて車両を動作させることを含む。
【0190】
AP:段落AMないしAOのいずれか1つで説明される非一時的なコンピューター可読媒体であって、ウェイポイントに関連付けられるウェイポイントデータは、第1の時間で受信した第1のウェイポイントに関連付けられる第1のウェイポイントデータを含み、動作は、第2の時間で第2のウェイポイントに関連付けられる第2のウェイポイントデータをサービスコンピューティングデバイスから受信すること、第2のウェイポイントが有効であるという決定をすること、および第2のウェイポイントに少なくとも部分的に基づいて車両を制御することをさらに含み、ここで、車両は、停止することなく、第1のウェイポイントから第2のウェイポイントに移行するように構成される。
【0191】
AQ:段落AMないしAPのいずれか1つで説明される非一時的なコンピューター可読媒体であって、ここで、ウェイポイントに関連付けられるウェイポイントデータは、第1の時間で受信した第1のウェイポイントに関連付けられる第1のウェイポイントデータを含み、動作は、車両が第1のウェイポイントの閾値距離内にあるという決定をすること、第2のウェイポイントに関連付けられる第2のウェイポイントデータが受信されていないという決定をすること、および車両を第1のウェイポイントで停止させることをさらに含む。
【0192】
AR:段落AMないしAQのいずれか1つで説明される非一時的なコンピューター可読媒体であって、ここで、状況は、車両に関連付けられる環境において識別され、動作は、サービスコンピューティングデバイスから、リモート誘導プラットフォームとしてのサービスコンピューティングデバイスのリリースを示すメッセージを受信すること、ルートに少なくとも部分的に基づいて車両を制御すること、操作制約に違反するルート上の第2の状況を識別すること、誘導データのための第2の要求をサービスコンピューティングデバイスに送信すること、サービスコンピューティングデバイスから入力とは無関係の第2の状況の解決策を決定すること、および少なくとも部分的に解決策に基づいて車両を制御することをさらに含む。
【0193】
上記のような例示的な条項が1つの具体的な実装に対して説明される一方で、本書類の文脈において、本例示的な条項の内容は、また、方法、デバイス、システム、コンピューター可読媒体、および/または別の実装を介して実装されることが可能であることを理解されたい。さらに、例示AないしARのいずれかは、単独で、または他の1つもしくは複数の例示AないしARと組み合わせて実装されることができる。
【0194】
(結論)
本明細書で説明される技術の1つまたは複数の例示が説明されてきた一方で、それらの例示のさまざまな変更形態、追加形態、置換形態、および均等形態が、本明細書で説明される技術の範囲内に含まれる。
【0195】
例示の説明において、例示として、主張される主題の特定の例示を示す、説明の一部を形成する添付の図面に対する参照が行われる。他の例示が用いられることが可能であること、および構造上の変更などの変更または変形が行われることが可能であることを理解されたい。このような例示、変更または変形は、意図された発明の請求される主題に対する範囲から必ずしも逸脱するものではない。本明細書におけるステップは、特定の順序で提供されることができる一方で、ある場合において、順序が変更され得ることによって、説明されるシステムおよび方法の機能を変更することなく、特定の入力が異なる時間または異なる順序で提供される。開示された手順は、また、異なる順序で実行されることが可能である。さらに、本明細書におけるさまざまな算定は、開示される順序で実行される必要はなく、算定の代替の順序を用いる他の例示が容易に実装されることが可能である。順序変更されることに加えて、算定は、また、同一の結果を伴って部分的計算に分解されることが可能である。
図1
図2
図3
図4
図5
図6
図7
図8