特表 2024-545628 リモートオペレータによって自律エージェントを動作させるための方法およびシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-12-10

(54)【発明の名称】リモートオペレータによって自律エージェントを動作させるための方法およびシステム

(51)【国際特許分類】

   G08G 1/09 20060101AFI20241203BHJP

   G05D 1/222 20240101ALI20241203BHJP

   G05D 1/225 20240101ALI20241203BHJP

   G05D 1/617 20240101ALI20241203BHJP

   G05D 1/43 20240101ALI20241203BHJP

   B60W 60/00 20200101ALI20241203BHJP

   B60W 50/04 20060101ALI20241203BHJP

【ＦＩ】

G08G1/09 V

G05D1/222

G05D1/225

G05D1/617

G05D1/43

B60W60/00

B60W50/04

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024533017

(86)(22)【出願日】2022-12-06

(85)【翻訳文提出日】2024-07-29

(86)【国際出願番号】 US2022051947

(87)【国際公開番号】W WO2023107441

(87)【国際公開日】2023-06-15

(31)【優先権主張番号】63/286,448

(32)【優先日】2021-12-06

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】522470965

【氏名又は名称】ガティック エーアイ インコーポレイテッド

【氏名又は名称原語表記】ＧＡＴＩＫ ＡＩ ＩＮＣ．

(74)【代理人】

【識別番号】110001302

【氏名又は名称】弁理士法人北青山インターナショナル

(72)【発明者】

【氏名】クマヴァット，アペクシャ

(72)【発明者】

【氏名】ナラン，アルジュン

(72)【発明者】

【氏名】ナラン，ゴータム

(72)【発明者】

【氏名】カデム，ダルマテジャ

(72)【発明者】

【氏名】ニューキスト，グンナー

【テーマコード（参考）】

3D241

5H181

5H301

【Ｆターム（参考）】

3D241CE02

5H181AA07

5H181BB13

5H181CC03

5H181CC04

5H181CC14

5H181FF13

5H181FF25

5H181LL01

5H181LL04

5H301AA01

5H301BB05

5H301CC03

5H301CC06

5H301CC10

5H301DD06

5H301DD07

5H301DD17

5H301GG09

5H301KK02

5H301KK07

5H301KK08

5H301KK18

5H301LL02

5H301LL07

5H301LL08

5H301MM04

5H301MM10

(57)【要約】

リモートオペレータによって自律エージェントを動作させるためのシステムは、リモートサブシステム、ローカルサブシステム、および通信サブシステムを含む。リモートオペレータによって自律エージェントを動作させるための方法は、入力のセットを受信および処理するステップ、出力のセットをリモートサブシステムに提示するステップ、リモートオペレータから入力を受信するステップ、および自律エージェントを動作させるステップを含む。追加的または代替的に、方法は、故障を検出するステップおよび／もしくは故障応答をトリガするステップ、自律エージェントに関連する特定のシナリオを検出するステップ、リモートオペレータ要求をトリガするステップ、リモートオペレータ入力を処理するステップ、ならびに／または任意の他のプロセスのうちのいずれかまたはすべてを含むことができる。
【選択図】図４

【特許請求の範囲】

【請求項1】

自律車両の動作においてリモートオペレータ入力を利用するための方法であって、
・前記自律車両のセンササブシステムにおいてセンサ入力のセットを受信するステップと、
・前記センサ入力のセットを、
・前記自律車両のコンピューティングサブシステムにおいて前記自律車両に関連するシナリオを特徴付けるための訓練済みモデルのセット、および
・前記自律車両の集約済み予測故障スコアを決定するための前記自律車両の診断アグリゲータ、を用いて処理するステップと、
・前記集約済み予測故障スコアを複数の所定の閾値のセットと比較するステップであって、
・前記集約済み予測故障スコアが前記複数の所定の閾値のセットの第１の閾値を超える場合、第１の故障応答が開始され、
・前記集約済み予測故障スコアが前記複数の所定の閾値のセットの第２の閾値を超える場合、第２の故障応答が開始される、ステップと、
・リモートオペレータに情報を提示するステップであって、前記情報が前記センサ入力のセットを含み、
・前記情報がさらに、リモートオペレータ入力オプションのセットを含み、前記リモートオペレータ入力オプションが、
・特徴付けられた前記シナリオが所定のシナリオの第１のサブセット内にあり、前記入力オプションのセットが前記車両の挙動オプションのセットを含むこと、
・特徴付けられた前記シナリオが所定のシナリオの第２のサブセット内にあり、前記入力オプションのセットにより、前記リモートオペレータが、前記自律車両のアクチュエータに対する制御コマンドのセットまたは前記自律車両が通過するべき場所のセットのうちの少なくとも一方を提供できること、および
・前記第１の故障応答および前記第２の故障応答のうちの少なくとも一方が開始されること
のうちのいずれかまたはすべてが満たされた場合、特徴付けられた前記シナリオおよび前記集約済み予測故障スコアのうちの少なくとも一方に基づいて決定される、ステップと、
・前記リモートオペレータからの入力を監視するステップと、
・前記リモートオペレータから前記入力が受信された場合、前記入力を制約のセットと比較するステップと、
・前記入力を前記制約のセットと比較することに基づいて前記入力を検証するステップと、
・検証された前記入力に基づいて前記自律車両を操作するステップと
を含む、方法。

【請求項2】

前記自律車両が通過するべき前記場所のセットを提供することが、前記自律車両のウェイポイントのセットおよび前記自律車両の経路のうちの少なくとも一方を提供することを含む、請求項１に記載の方法。

【請求項3】

前記場所のセットが前記ウェイポイントのセットを含み、前記自律車両が、従来のモーションプランナを用いて前記ウェイポイントのセットに基づいて軌道を決定する、請求項２に記載の方法。

【請求項4】

所定のシナリオの前記第２のサブセットが、前記自律車両の荷積みドック現場への到着を含む、請求項１に記載の方法。

【請求項5】

前記自律車両の前記荷積みドック現場への到着が、所定のマップと前記荷積みドック現場に関連するジオフェンスとに基づいて検出される、請求項４に記載の方法。

【請求項6】

前記リモートオペレータに提示される前記情報が、フリートコマンドセンタ、前記荷積みドック現場に配置された第２の自律車両、および前記荷積みドック現場に位置する現場作業員に関連付けられたユーザーインターフェースのうちの少なくとも１つからの通知をさらに含み、前記通知が、前記荷積みドック現場にある特定の荷積みドックの識別子を含む、請求項４に記載の方法。

【請求項7】

前記第２の所定の閾値が、前記第１の所定の閾値よりも高い値を有する、請求項１に記載の方法。

【請求項8】

前記第１の故障応答が、前記リモートオペレータに警報を送信することを含み、前記情報が前記警報を含む、請求項１に記載の方法。

【請求項9】

前記第１の故障応答において、前記自律車両に対して最小リスク操作が開始されない、請求項８に記載の方法。

【請求項10】

前記第２の故障応答が、前記自律車両に対して最小リスク操作を自律的に実施することを含み、前記最小リスク操作が、前記リモートオペレータからの前記入力がない状態で実施される、請求項１に記載の方法。

【請求項11】

前記最小リスク操作が、最小リスク操作の順序付きリスト内の最初の最小リスク操作であり、最小リスク操作の前記順序付きリストが、強度が増大する順に順序付けられ、前記最初の最小リスク操作が最も低い強度を有する、請求項１０に記載の方法。

【請求項12】

前記強度の増大が、前記自律車両のブレーキのセットによって適用されるブレーキングにおける値の増大を含む、請求項１１に記載の方法。

【請求項13】

検証された前記入力に基づいて前記自律車両を操作することが、
・第１の故障応答が第２の故障応答にエスカレートすること、および
・最小リスク操作の前記順序付きリスト内の第２の最小リスク操作が実行されること
のうちの少なくとも一方を防止する、請求項１１に記載の方法。

【請求項14】

前記リモートオペレータに提供される前記入力オプションのセットの少なくとも一部がそれぞれ、前記リモートオペレータからの入力を監視するための時間制限に関連付けられる、請求項１に記載の方法。

【請求項15】

前記第１の故障応答の開始に応答して提供される入力オプションに第１の時間制限が関連付けられ、前記第２の故障応答の開始に応じて提供される入力オプションに第２の時間制限が関連付けられ、前記第１の時間制限が前記第２の時間制限よりも大きい、請求項１４に記載の方法。

【請求項16】

前記第１の時間制限および前記第２の時間制限のうちの少なくとも一方を超えた場合、前記方法がさらに、前記自律車両に対して最小リスク操作を実施することを含む、請求項１５に記載の方法。

【請求項17】

前記リモートオペレータからの前記入力が、前記自律車両によって通行されている現在の固定ルートに対する前記自律車両の代替固定ルートの選択を含む、請求項１に記載の方法。

【請求項18】

自律車両の動作においてリモートオペレータ入力を利用するためのシステムであって、
・センサデータを収集するように構成されたセンササブシステムと、
・リモートオペレータに関連付けられたリモートオペレータインターフェースであって、前記リモートオペレータに前記センサデータを提供するように構成される、リモートオペレータインターフェースと、
・プロセッサのセットを含む診断集約サブシステムであって、
・前記センササブシステムから前記センサデータを受信し、
・前記センサデータを分析して前記自律車両の集約済み予測故障スコアを決定し、
・前記集約済み予測故障スコアを大きさ閾値のセットと比較し、
・前記集約済み予測故障スコアおよび以前に決定された集約済み予測故障スコアのセットを時間閾値のセットと比較するように構成される、診断集約サブシステムと、
・前記自律車両に搭載されたコンピューティングサブシステムと、を備え、前記コンピューティングサブシステムが、
・前記センサデータを処理して前記自律車両の環境に関連するシナリオを特徴付け、
・前記リモートオペレータインターフェースにおいて前記リモートオペレータに伝えられる警報を、
・前記大きさ閾値のセットを超えたこと、
・前記時間閾値のセットを超えたこと、および
・特徴付けられた前記シナリオがシナリオの所定のサブセット内にあること
のうちの少なくとも１つに応答してトリガし、
・警報のトリガに応答して、前記集約済み予測故障スコアおよび特徴付けられた前記シナリオのうちの少なくとも一方に基づいて、前記リモートオペレータに対する応答オプションのセットを決定するように構成され、前記応答オプションのセットが、
・前記自律車両の挙動オプションのセット、
・前記自律車両が通過するべき場所のセット、および
・前記自律車両のアクチュエータに対する直接制御コマンドのセット
のうちの少なくとも１つを含み、前記コンピューティングサブシステムが、
・前記リモートオペレータインターフェースにおいて前記応答オプションのセットを提供し、
・前記リモートオペレータからの入力を監視し、
・前記リモートオペレータから前記入力が受信された場合、前記入力を制約のセットと比較し、
・前記入力を前記制約のセットと比較することに基づいて前記入力を検証し、
・検証された前記入力に基づいて前記自律車両を操作する
ように構成される、システム。

【請求項19】

前記コンピューティングサブシステムがさらに、前記自律車両によって最小リスク操作が実施されていることに応答して、前記リモートオペレータインターフェースへの警報をトリガする、請求項１８に記載のシステム。

【請求項20】

前記大きさ閾値のセットまたは前記時間閾値のセットのうちの少なくとも一方を超えたことに応答して、前記最小リスク操作がトリガされる、請求項１９に記載のシステム。

【請求項21】

前記診断サブシステムが、前記コンピューティングサブシステムによって実行可能な訓練済みモデルのセットと通信し、前記訓練済みモデルのセットと通信する分布外検出器によって決定された不確実性尺度が所定の閾値を超えたことに応答して、前記最小リスク操作がトリガされる、請求項１９に記載のシステム。

【請求項22】

前記集約済み予測故障スコアを前記時間閾値のセットと比較することが、
・所定の以前の時間内に以前の集約済み予測故障スコアが前記大きさ閾値のセットのうちの１つまたは複数を超えた回数を決定すること、および
・前記回数を所定の閾値と比較すること
を含む、請求項１８に記載のシステム。

【請求項23】

前記コンピューティングサブシステムがさらに、前記コンピューティングサブシステムの知覚サブシステムを用いて決定された物体検出情報のセットを前記リモートオペレータインターフェースに提供し、前記リモートオペレータからの前記入力を監視することが、前記物体検出情報の調整を監視することを含む、請求項１８に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、この参照により全体が組み込まれる２０２１年１２月６日出願の米国仮特許出願第６３／２８６，４４８号の利益を主張する。

【0002】

本発明は、一般に、自律車両の分野に関し、より詳細には、自律車両の分野におけるリモートオペレータによって自律エージェントを動作させるための新規かつ有用なシステムおよび方法に関する。

【背景技術】

【0003】

現在の自律車両プラットフォームにおいて、人間による入力を受信することは、緊急または未知の事象が発生した場合などに自律エージェントが人間の運転をより適切に再現するのを支援するための方法、車両に関連する全体的な安全性を高めるための方法、または他の多くのユースケースなどの様々な方法において有益であり得る。

【0004】

従来の自律車両は通常、セーフティドライバが車両に乗車する形式で人間による入力を利用する。遠隔動作は、このセーフティドライバを排除するための可能な選択肢であるが、車両の自律能力を活用しながらも自律運転能力をリモートオペレータからの入力と統合することは、実装が容易ではない。

【発明の概要】

【発明が解決しようとする課題】

【0005】

したがって、自律車両の分野では、リモートオペレータによって自律エージェントを動作させるための改善された有用なシステムおよび方法を作成する必要がある。

【図面の簡単な説明】

【0006】

【図1】図１は、リモートオペレータによって自律エージェントを動作させるためのシステムの概略図である。

【図2】図２は、リモートオペレータによって自律エージェントを動作させるための方法の概略図である。

【図3】図３は、リモートオペレータによって自律エージェントを動作させるためのシステムの変形例を示す概略図である。

【図4】図４は、リモートオペレータによって自律エージェントを動作させるためのシステムおよび関連する使用方法の変形例を示す概略図である。

【図5】図５は、リモートオペレータによって自律エージェントを動作させるためのシステムおよび関連する使用方法の変形例を示す概略図である。

【図6】図６は、配送において実装されるシステムおよび／または方法のユースケースと、関連するフリートの概略とを示す図である。

【図7】図７は、固定ルート網を通行している車両のフリートを示す図である。

【図8】図８は、故障を検出して応答するシステムおよび方法の実装の変形例を示す図である。

【図9】図９は、システムの変形例を示す概略図である。

【発明を実施するための形態】

【0007】

本発明の好ましい実施形態についての以下の説明は、本発明をこれらの好ましい実施形態に限定することを意図するものではなく、むしろ、当業者が本発明を製造および使用することを可能にすることを意図するものである。

【0008】

１．概要
図１に示すように、リモートオペレータによって自律エージェントを動作させるためのシステム１００は、リモートサブシステム１２０、ローカルサブシステム１１０、および通信サブシステム１３０を含む。追加的または代替的に、システムは、任意の他の構成要素を含むことができる。さらに追加的または代替的に、システムは、この参照により全体が組み込まれる２０２０年１２月９日出願の米国特許出願第１７／１１６，８１０号、２０２０年１２月１７日出願の米国特許出願第１７／１２５，６６８号、２０２０年１２月１８日出願の米国特許出願第１７／１２７，５９９号、および２０２２年１０月７日出願の米国特許出願第１７／９６２，４５９号に記載された構成要素のうちのいずれかまたはすべてを含み、かつ／またはそれと連携することができる。

【0009】

図２に示すように、リモートオペレータによって自律エージェントを動作させるための方法２００は、入力のセットを受信および処理するステップＳ２１０、出力のセットをリモートサブシステムに提示するステップＳ２３０、リモートオペレータからの入力を受信するステップＳ２４０、ならびに自律エージェントを動作させるステップＳ２６０を含む。追加的または代替的に、方法２００は、故障を検出するステップおよび／もしくは故障応答をトリガするステップＳ２１２、自律エージェントに関連する特定のシナリオを検出するステップＳ２１４、リモートオペレータ要求をトリガするステップＳ２２０、入力を処理するステップＳ２５０、ならびに／または任意の他のプロセスのうちのいずれかまたはすべてを含むことができる。さらに追加的または代替的に、方法２００は、この参照により全体が組み込まれる２０２０年１２月９日出願の米国特許出願第１７／１１６，８１０号、２０２０年１２月１７日出願の米国特許出願第１７／１２５，６６８号、２０２０年１２月１８日出願の米国特許出願第１７／１２７，５９９号、および２０２２年１０月７日出願の米国特許出願第１７／９６２，４５９号に記載された方法、プロセス、実施形態、ならびに／もしくは例のうちのいずれかまたはすべて、もしくは任意の好適な順序で実行される任意の他の好適なプロセスを含み、かつ／またはそれと連携することができる。方法２００は、以下で説明するシステムおよび／または任意の他の好適なシステムによって実行され得る。

【0010】

２．利点
リモートオペレータによって自律エージェントを動作させるためのシステムおよび方法は、現在のシステムおよび方法と比較していくつかの利点をもたらすことができる。

【0011】

第１の変形例では、本技術は、人間参加型の意思決定を自律エージェントの意思決定と戦略的かつ確実に統合するという利点をもたらし、これにより、自律エージェントが動作している間に人間のオペレータが自律エージェントに乗車する必要がなくなる。システムおよび／または方法はさらに、好ましくは、特定のサブセットのシナリオにおいてのみリモートオペレータを利用するという利点をもたらし、自律エージェントは、大多数のシナリオにおいて単独で信頼性をもって動作する際に、固定ルート、限定された運用設計領域、冗長かつ堅牢なハードウェアおよびソフトウェア、ならびに／または任意の他の特性のうちのいずれかまたはすべてを活用する。これにより、１人のリモートオペレータが複数の自律エージェントを同時に監視できるような、高度にスケーラブルなリモートオペレータプラットフォームを可能にすることができる。

【0012】

第１の一連の具体例では、自律車両を動作させるために人間による入力が有益かつ／または最適かつ／または必要であると判明した特定のコンテキストにおいて、リモートオペレータ（本明細書では同等に、人間のオペレータおよび／またはテレオペレータおよび／またはリモートスーパーバイザとも呼ばれる）が呼び出される（例えば、通知、警報、連絡、など）。

【0013】

第１の一連の具体例に対する追加的または代替的な第２の一連の具体例では、システム故障が発生したこと、および／またはシステム故障につながる可能性のある警告が発生したことを検出したことに応答して、リモートオペレータが呼び出される。

【0014】

第１の変形例に対する追加的または代替的な第２の変形例では、本技術は、実施前にリモートオペレータからの入力を検証するという利点をもたらし、これは、安全基準を維持し、多数の情報源に基づいて満足のいくアクションを実施するように機能する。

【0015】

第１の例では、本技術はさらに、リモートオペレータによってエントリされた一連のウェイポイントのうちの初期ウェイポイントなど、リモートオペレータ入力の一部を（例えば、バッチ方式で）検証するという利点をもたらし、これにより、初期ウェイポイントが一連の安全制約および／または他の達成基準を満たさない場合、リモートオペレータは通知を受けることが可能であり、かつ／または（例えば、ＡＶの計算リソースを保護するために、価値の低いタスクを実行する際にリモートオペレータの時間および／または注意を無駄にすることを防ぐために、など）追加のウェイポイントが自律車両（ＡＶ）ロジックによって受信および／もしくは処理されないようにすることができる。

【0016】

追加的または代替的に、本技術は、（例えば、車両の現在の環境認識に基づいて）すでに検証および／または事前検証されているオプションのセットのみを遠隔オペレータに提供し、それによってリモートオペレータがＡＶでは実行不可能な（かつ／または実行するには安全ではない）フィードバックを提供することを防ぐように構成され得る。

【0017】

例では、例えば、リモートオペレータに提供される経路オプションまたは任意の他の入力オプション（例えば、高レベルの挙動オプション、ウェイポイントオプションのセットなど）は、安全性の検証をチェックするために処理され、その後、レビューおよび／または選択のためにリモートオペレータに送信される。

【0018】

上記で説明した変形例に対する追加的または代替的な第３の変形例では、システムおよび／または方法は、リモートオペレータからの入力を複数のカテゴリのユースケースにおいて活用するという利点をもたらす。具体例では、例えば、車両に対して最小リスク条件がトリガされたことおよび／もしくは最小リスク条件がトリガされると予想されることを検出するというユースケース、車両に関連する特定のコンテキストを検出するというユースケース、（例えば、遠隔オペレータがＭＲＣをトリガする必要を防ぐ入力を提供できるように）車両が将来的に高い不確実性に関連するシナリオに近づく可能性があることを検出するというユースケース、ならびに／または任意の他のユースケースにおいて、リモートオペレータに通知し、リモートオペレータの入力を要求することができる。

【0019】

上記で説明した変形例に対する追加的または代替的な第４の変形例では、本技術は、必要でない場合（例えば、すぐに必要ではない場合）、過度に保守的な故障応答および／または過度に重度な故障応答（例えば、すぐに停止する、寄せる、など）が車両によって実施されるのを防ぐという利点をもたらす。

【0020】

第１の一連の例では、例えば、本技術は、潜在的な故障を階層化された様式で（例えば、重大度のスペクトルに沿って）検出する能力によって、誤検知もしくは過度に保守的な最小リスク操作（本明細書では同等に、最小リスク条件とも呼ばれる）または他の故障応答が実施されるのを回避するという利点をもたらし、これにより、故障の可能性および／または重大度が高くなる場合に、保守的な最小リスク操作を高めながら実施することができる。

【0021】

追加的または代替的に、最小リスク操作がトリガされる前かつ／または最小リスク操作がエスカレートされる前に、リモートオペレータ入力要求を要求することができ、これにより、リモートオペレータは、特定の状況および／または潜在的な故障の評価された重大度（例えば、警告対エラー）に合わせて調整されたフィードバックを提供する機会を有し、リモートオペレータが指定された意思決定ウィンドウ内でフィードバックを提供しないまたは提供できない場合に、車両は、より劇的な故障応答を自律的に選択して続行することができる。

【0022】

上記で説明した変形例に対する追加的または代替的な第５の変形例では、本技術は、固定ルートのユースケースを活用するという利点をもたらし、これは、ＡＶシステム（例えば、診断サブシステム）によって行われる故障予測（例えば、環境／物体の不確実性）に高い正確度（例えば、高い予測正確度など）を関連付けることを可能にすることができ、ひいては、車両の環境理解に関連する特定の不確実性レベルおよび／または不確実性タイプに応じて最も適切な最小リスク操作を選択することを可能にすることができる。

【0023】

追加的または代替的に、システムおよび方法は、任意の他の利点をもたらすことができる。

【0024】

３．システム
図１に示すように、リモートオペレータによって自律エージェントを動作させるためのシステム１００は、リモートサブシステム１２０、ローカルサブシステム１１０、および通信サブシステム１３０を含む。追加的または代替的に、システムは、任意の他の構成要素を含むことができる。さらに追加的または代替的に、システムは、この参照により全体が組み込まれる２０２０年１２月９日出願の米国特許出願第１７／１１６，８１０号、２０２０年１２月１７日出願の米国特許出願第１７／１２５，６６８号、２０２０年１２月１８日出願の米国特許出願第１７／１２７，５９９号、および２０２２年１０月７日出願の米国特許出願第１７／９６２，４５９号に記載された構成要素のうちのいずれかまたはすべてを含み、かつ／またはそれと連携することができる。

【0025】

システム１００は、好ましくは、１台または複数台の自律車両（本明細書では同等に、自律エージェントおよび／または自律車両とも呼ばれる）のセットとインターフェースし、自律車両は、商品の輸送（例えば、配送のため）、乗客の輸送、および／または任意の他の機能のうちのいずれかまたはすべてに使用され得る。追加的または代替的に、システム１００は、任意の他の車両、ロボットデバイス、または任意の他のデバイスとインターフェースすることができる。車両は、好ましくは、（例えば、完全自律使用のために構成された、レベル４自律用に構成された、レベル５自律用に構成された）自律車両であるが、追加的または代替的に、（例えば、レベル３自律、レベル２自律、レベル１自律などの）半自律車両、手動運転車両および／もしくは手動運転可能車両、ならびに／または車両の任意の組合せを含むことができる。車両は、好ましくは、商品の配送用に構成された配送車両（例えば、トラック）を含むが、追加的または代替的に、乗用車、公共交通機関の車両、および／または任意の他の車両を含むことができる。

【0026】

好ましい一連の変形例（例えば、図６に示すような変形例、図７に示すような変形例など）では、自律車両のセットは、自律車両を使用して目的地間で商品を配送するなどの短距離物流用途に関連して使用されるように構成される。自律車両は、好ましくは、固定ルートのセットに従ってこれらの配送を実行するが、追加的または代替的に、動的なルートをたどること、および／または他の方法で動作することができる。

【0027】

３．１ システム － ローカルサブシステム１１０
システム１００は、好ましくは、自律エージェントを動作させる（例えば、意思決定、制御、操作、駆動などを実行する）ように機能するローカルサブシステム１１０を含み、かつ／またはローカルサブシステム１１０とインターフェースする。追加的または代替的に、ローカルサブシステム１１０は、自律エージェントおよび／もしくは自律エージェントに関連するソフトウェアのいずれかに関連する１つまたは複数の故障を検出し、最小リスク条件の動作モードをトリガし、最小リスク操作を実行し、リモートオペレータに警報し、リモートオペレータに入力を提供するためのオプションのセットを決定し、リモートオペレータからの入力を受信、検証、および／もしくは実装するように機能することができ、かつ／または任意の他の機能を実行することができる。

【0028】

ローカルサブシステムは、好ましくは、自律エージェントに完全に搭載して配置される。追加的または代替的に、ローカルサブシステムは、自律エージェントに部分的に非搭載で配置され、自律エージェントに完全に非搭載で配置され、自律エージェントに非搭載で配置されたコンピューティングサブシステムおよび／もしくは他の構成要素と通信し、他の自律エージェント（例えば、ＡＶのフリート内の他の車両）と通信し、かつ／または任意の他の場所および／もしくは任意の場所の組合せに配置され得る。

【0029】

ローカルサブシステム１１０は、好ましくは、ローカルコンピューティングサブシステム（本明細書では同等に、自律コンピューティングサブシステム、自律コンピュータ、自律車両［ＡＶ］コンピューティングサブシステム、自律車両［ＡＶ］コンピュータなどとも呼ばれる）を含み、ローカルコンピューティングサブシステムは、自律エージェント（本明細書では同等に、自律車両および／または自律エージェントとも呼ばれる）を動作させるために用いる情報を受信および処理するように機能する。

【0030】

好ましい変形例では、例えば、ローカルコンピューティングサブシステムは、自律エージェントを動作させるように機能するＡＶロジックを実装する。追加的または代替的に、ローカルコンピューティングサブシステムは、任意の他のロジックを実行することができる。

【0031】

一連の例では、ＡＶロジックは、この参照により全体が本明細書に組み込まれる２０２０年１２月９日出願の米国特許出願第１７／１１６，８１０号、２０２０年１２月１７日出願の米国特許出願第１７／１２５，６６８号、２０２０年１２月１８日出願の米国特許出願第１７／１２７，５９９号のうちのいずれかまたはすべてに記載された学習済みマイクロモデルなどであるがこれらに限定されない、学習モデルのセットを実装する。

【0032】

ローカルコンピューティングサブシステムは、好ましくは、診断サブシステム（本明細書では同等に、図９などに示すように故障検出サブシステムおよび／または正常性評価サブシステムとも呼ばれる）を含み、かつ／またはそれと連携（例えば、通信）し、診断サブシステムは、自律車両の全体的な正常性を監視するように構成された１つまたは複数のプロセッサのセットを含み、かつ／またはそれと連携する。診断サブシステムは、さらに好ましくは、ローカルコンピューティングサブシステムの異なるモジュール／レイヤ間の通信、例えば、知覚レイヤと予測レイヤとの間、予測レイヤと計画レイヤとの間、および／または任意の他のレイヤ間の通信（例えば、情報交換）を監視するように機能する。追加的または代替的に、診断サブシステムは、ローカルサブシステムとリモートサブシステムとの間の接続を監視するように機能することができる。例えば、リモートサブシステムとの通信が失われた場合、診断サブシステムを使用してそのような検出を行うことができる（例えば、故障応答［例えば、最小リスク操作］が選択および／または実装され得る）。

【0033】

診断サブシステムは、さらに、１つまたは複数のハードウェア構成要素（例えば、作動サブシステム、センササブシステムなど）および／または自律エージェントの任意の他の態様の正常性を監視するように機能することができる。問題（本明細書では同等に、故障とも呼ばれる）が発生したこと（例えば、通信が失われたこと、レイヤの出力が検証／信頼できないこと、ハードウェア構成要素が故障したこと、など）を診断サブシステムが検出した場合、（例えば、図４に示すように）自律エージェントに対して最小リスク条件（ＭＲＣ：ｍｉｎｉｍａｌ ｒｉｓｋ ｃｏｎｄｉｔｉｏｎ）動作モードがトリガおよび／または考慮される。

【0034】

いくつかの変形例（例えば、以下で説明する変形例、図８に示す変形例など）では、検出された故障もしくは潜在的な故障のタイプ、リモートオペレータが（例えば、所定の時間閾値内に）初期警報に応答するか否か、潜在的な故障がどのように進行するかもしくは進行しないか、検出された故障のレベル、および／または任意の他の情報に応じて、（例えば、階層構造に編成された、重大度が増大する優先順位リストにおいて順序付けられた）一連の異なる重大度の最小リスク操作が個別に選択および／または実装され得る。

【0035】

追加的または代替的な変形例では、１つまたは複数の最小リスク操作（例えば、初期最小リスク操作、優先順位リスト内のあまり保守的ではない最小リスク操作など）をトリガする前に、リモートオペレータに警報することができる。追加的または代替的に、車両が最小リスク操作を開始および／または完了した後に、リモートオペレータに警報することができる。

【0036】

特定の具体例では、ＭＲＣ動作モードは、好ましくは、エージェントを停止させるアクションを実行することを含むが、追加的または代替的に、ハザードランプを点滅させる、寄せる（例えば、道路から離れて寄せる、路肩に寄せる、など）、および／または任意の他の挙動などであるがこれらに限定されない、任意の他の挙動および／または挙動の組合せを含むことができる。

【0037】

故障が検出され、故障応答（例えば、ＭＲＣ）がトリガされたことに応答して、ローカルサブシステムは、好ましくは、リモートオペレータによる検討のためにリモートサブシステム１２０に送信される決定要求（本明細書では同等に、人間参加型決定要求とも呼ばれる）を生成する。ローカルコンピューティングサブシステムは、さらに好ましくは、故障モードがトリガされたことに応答して、自律エージェントが当初の計画どおりに進まないように（検出された問題により、当初の計画はもはや安全および／または最適ではない可能性があるため）、ローカルサブシステムが自律エージェントに対して実施する計画であった任意のアクション、挙動、および／または軌道をオーバーライドする。追加的または代替的に、任意の他のアクションをトリガすることができ、かつ／またはプロセスを他の方法で実施することができる。

【0038】

追加的または代替的に、人間参加型決定要求は、（例えば、所定のシナリオのセットからの）人間による入力を活用することが有益であると判明した特定のシナリオなど、自律エージェントに関連する特定のシナリオ（例えば、コンテキスト）を検出したことに応答してトリガされ得る。これらのシナリオは、自律コンピュータが単独では許可できない挙動をエージェントが実行する必要があるまたは実行したいシナリオ（例えば、対向車線への進入）、人間の方がより適切に動作すると判断されたシナリオ（例えば、動的に変化する荷積み区域および／または荷降ろし区域への移動）、および／または任意の他のシナリオを含むことができる。

【0039】

ローカルサブシステムは、任意選択で、自律エージェントを駆動するように機能する作動サブシステムを含み、かつ／またはそれと連携することができる。作動サブシステムは、好ましくは、自律エージェントのドライブバイワイヤシステムの一部であり、ブレーキバイワイヤサブシステム、ステアバイワイヤサブシステム、およびスロットルバイワイヤサブシステムなどのドライブバイワイヤアクチュエータのセット（図３に示すようなシャシアクチュエータなど）を含むが、追加的または代替的に、これらのサブセット、非ドライブバイワイヤ形式のこれらの構成要素のいずれかまたはすべて、および／または任意の他の作動構成要素を含むことができる。

【0040】

ローカルサブシステムは、任意選択で、自律エージェントを動作させるために用いるエージェントの環境に関連する情報を受信するように機能するセンササブシステムを含み、かつ／またはそれと連携することができる。追加的または代替的に、センササブシステムは、リモートオペレータに提供するための情報（例えば、ビデオストリーム）を受信し、自律エージェントに関連する故障（例えば、ハードウェア故障）を検出するように機能することができ、かつ／または任意の他の機能を実行することができる。センササブシステムは、好ましくは、カメラのセット、ならびに任意選択でＬｉＤＡＲセンサおよびＲＡＤＡＲセンサのうちの一方または両方を含むが、追加的または代替的に、エージェントのいずれかまたはすべての構成要素（例えば、作動構成要素、上記のセンサなど）の正常性を監視するように構成されたセンサのセット、および／または任意の他のセンサを含むことができる。

【0041】

追加的または代替的に、ローカルサブシステムは、自律エージェントの動作のための制御コマンドを実装するように構成された制御サブシステム、ストレージ／メモリ、および／または任意の他の構成要素などであるがこれらに限定されない、任意の他の構成要素を含み、かつ／またはそれと連携することができる。

【0042】

３．２ システム － リモートサブシステム１２０
システム１００は、リモートオペレータとのインターフェースを提供するように機能するリモートサブシステム１２０を含み、それによって、リモートオペレータに出力が提供されるとともにリモートオペレータから入力が受信され得る。追加的または代替的に、リモートサブシステムは任意の他の機能を実行することができる。

【0043】

リモートサブシステムは、好ましくは、リモートオペレータ（本明細書では同等に、遠隔オペレータ、オペレータ、および／またはスーパーバイザとも呼ばれる）が配置される場所であるリモート監視ステーション（ＲＭＳ：ｒｅｍｏｔｅ ｍｏｎｉｔｏｒｉｎｇ ｓｔａｔｉｏｎ）のセット内に、好ましくはリモートインターフェースのセット、リモートコンピューティングサブシステム、および任意選択で任意の他の構成要素とともに配置される。追加的または代替的に、リモートサブシステムのうちのいずれかまたはすべてが、複数の場所に配置され、自律エージェントに部分的に搭載して配置され、かつ／または他の方法で配置され得る。

【0044】

リモートサブシステムは、好ましくは、通信サブシステム１３０を介してローカルサブシステム１１０と通信するが、追加的または代替的に、任意の他の構成要素と通信することもできる。

【0045】

リモートサブシステムは、好ましくは、リモートオペレータに出力を提供するとともにリモートオペレータから入力を受信するように機能するリモートインターフェースのセット（本明細書では同等に、リモートオペレータインターフェースとも呼ばれる）を含む。リモートインターフェースは、出力デバイス（例えば、ディスプレイ、スピーカーなど）、入力デバイス（例えば、タッチスクリーンディスプレイ、ジョイスティック、シミュレータシステム、関連するセンサを有する作動構成要素など）、および／または任意の他のデバイスのうちのいずれかまたはすべてを含むことができる。リモートオペレータに提供される出力は、好ましくは、自律エージェント上で収集されたセンサ情報（例えば、カメラストリーム）を含み、これは、自律エージェントの周囲に関する認識および理解をリモートオペレータに提供するように機能する。オペレータから受信される入力は、（例えば、以下に説明するように）決定選択、制御コマンド（例えば、ジョイスティック経由、ブレーキングシミュレータ経由など）、および／または任意の他の入力を含むことができる。

【0046】

リモートサブシステムは、好ましくは、リモートコンピューティングサブシステムをさらに含み、リモートコンピューティングサブシステムは、リモートサブシステムロジックを実装し、リモートオペレータから受信した入力のうちのいずれかまたはすべてを処理するように機能する。追加的または代替的に、リモートコンピューティングサブシステムは任意の他の機能を実行することができ、リモートサブシステムロジックのうちのいずれかまたはすべては、ローカルコンピューティングサブシステムにおいて実装されることが可能であり、かつ／またはコンピューティングは他の方法で構成され得る。

【0047】

追加的または代替的に、リモートサブシステム１２０は任意の他の構成要素を含むことができる。

【0048】

３．３ システム － 通信サブシステム１３０
システム１００は、ローカルサブシステム１１０とリモートサブシステム１２０との間の通信および情報交換を確立するように機能する通信サブシステム１３０を含む。好ましい変形例では、通信サブシステム１３０は、（例えば、マルチチャネルボンディングを用いた）中継サーバを含むが、追加的または代替的に、任意の他のサーバ、通信構成要素および／もしくは通信プロトコル（例えば、無線通信、有線通信、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ、ラジオなど）、ならびに／または構成要素を含むことができる。

【0049】

４．方法
図２に示すように、方法２００は、入力のセットを受信および処理するステップＳ２１０、出力のセットをリモートサブシステムに提示するステップＳ２３０、リモートオペレータからの入力を受信するステップＳ２４０、ならびに自律エージェントを動作させるステップＳ２６０を含む。追加的または代替的に、方法２００は、故障応答モードおよび／もしくは故障応答をトリガするステップＳ２１２、自律エージェントに関連する特定のシナリオを検出するステップＳ２１４、リモートオペレータ要求をトリガするステップＳ２２０、入力を処理するステップＳ２５０、ならびに／または任意の他のプロセスのうちのいずれかまたはすべてを含むことができる。さらに追加的または代替的に、方法２００は、この参照により全体が組み込まれる２０２０年１２月９日出願の米国特許出願第１７／１１６，８１０号、２０２０年１２月１７日出願の米国特許出願第１７／１２５，６６８号、２０２０年１２月１８日出願の米国特許出願第１７／１２７，５９９号、および２０２２年１０月７日出願の米国特許出願第１７／９６２，４５９号に記載された方法、プロセス、実施形態、ならびに／もしくは例のうちのいずれかまたはすべてを含み、かつ／またはそれと連携することができる。

【0050】

４．１ 方法 － 入力のセットを受信および処理するステップＳ２１０
方法２００は、好ましくは、入力のセットを受信および処理するステップＳ２１０を含み、これは、自律エージェントを動作させるために用いる情報を受信するように機能し、自律エージェントの動作は、自律的に、人間（例えば、リモートオペレータ、乗車した人間のオペレータなど）の入力により、半自律的に、任意の他の動作モードで、かつ／または動作モードの任意の組合せで行われ得る。Ｓ２１０は、追加的または代替的に、これらのモードのうちのどのモードで動作するかを決定し、（例えば、故障の検出に基づいて）トリガおよび／もしくはこれらのモード間の移行を検出するように機能することができ、かつ／または任意の他の好適な機能を実行することができる。

【0051】

追加的または代替的に、方法２００は、Ｓ２１０がない状態で、かつ／またはＳ２１０の修正されたバージョンで実行され得る（例えば、入力のうちのいずれかまたはすべてが記憶される、入力のうちのいずれかまたはすべてが前処理される、など）。

【0052】

Ｓ２１０は、好ましくは、方法２００中に最初に実行され、さらに好ましくは、（例えば、ＡＶのルート通行の間中）ＡＶに搭載された１つまたは複数のセンサでデータが収集されるときに、（例えば、所定の頻度で）継続的かつ／またはほぼ継続的になど、自律エージェントの動作中に複数回（例えば、継続的に、所定の頻度で、など）実行される。いくつかの変形例では、例えば、Ｓ２１０は、車両の（例えば、コンピューティングサブシステムにおいて実装される）知覚サブシステムに関連付けられた所定の頻度に従って実行および／またはトリガされる。追加的または代替的に、Ｓ２１０は、任意の他の時点で実行され、任意の好適な入力に基づいてトリガされ、かつ／または他の方法で好適に実行され得る。

【0053】

入力は、好ましくは、（例えば、ＡＶロジックを用いて）ローカルコンピューティングサブシステムにおいて処理されるが、追加的または代替的に任意の他のコンピューティングサブシステムにおいても処理され得る。

【0054】

Ｓ２１０で受信される入力のセットは、好ましくは、少なくとも部分的に車両および／またはその環境周囲（例えば、ＡＶのセンサによって認識可能な環境）に関連しているが、追加的または代替的に、他の車両（例えば、フリート内の他のＡＶ、ＡＶの環境内の他の車両など）、車両に適用され得る一般的な環境条件（例えば、気象条件、交通条件など）、リモートオペレータ入力および／もしくは情報（例えば、ステータス、可用性など）から受信され、かつ／もしくはそれらに関連しており、かつ／またはＳ２１０において任意の他の入力が受信、決定、および／もしくは取得され得る。

【0055】

Ｓ２１０で受信される入力は、好ましくは、自律エージェントに搭載されたセンサのセット（例えば、カメラ、ＬｉＤＡＲ、ＲＡＤＡＲなど）から受信されるセンサデータ（センサストリームなど）を含み、センサデータは、自律エージェントによって（例えば、コンピューティングサブシステムの知覚および／または予測および／または計画のモジュール／プロトコル／プロセスによる処理を通じて）ＡＶをどのように運転するかを決定する（例えば、どのアクションを実行するかを決定する、どの軌道を取るかを決定する、など）ために使用される。センサデータはさらに、好ましくは、リモートオペレータおよび／または乗車したオペレータの意思決定（例えば、オプションの選択、入力の決定など）に使用するための情報を提供するように機能し、これにより、オペレータは、（例えば、センサデータによって表される）車両の環境周囲、ならびに／または（例えば、カメラの視界が遮られていることに基づく、センサの故障によるセンサのシャットダウン、電源喪失によるセンサデータの欠落に基づく、など）車両に関連する潜在的な故障および／もしくはその環境理解について認識する。いくつかの変形例では、例えば、センサストリームの少なくとも一部が（例えば、通信サブシステム１３０を介して）リモートサブシステム１２０（例えば、ディスプレイなどのユーザーインターフェース）に送信され、これにより、リモートオペレータは、エージェントを監視するために、かつ／または（例えば、以下に説明するように）リモートオペレータによって実行される意思決定に使用するために、自律エージェントの周囲について認識することができる。追加的または代替的に、処理および／もしくは変更されたセンサデータ（例えば、注釈付きセンサストリーム、集約されたセンサストリーム［例えば、Ｌｉｄａｒおよび／もしくはＲａｄａｒデータからのオーバーレイを伴うカメラデータ］、優先順位が付けられたセンサストリームおよび／もしくはセンサストリームサブセット［例えば、カメラデータのみ］など）をオペレータに提供することができ、警報（例えば、リモート監視ステーションでの音声警報、視覚警報（例えば、注釈）、触覚警報など）をオペレータに提供することができ、かつ／または任意の他の情報をオペレータに提供することができる。さらに追加的または代替的に、センサデータは、別の車両（例えば、フリート車両、非フリート車両など）に搭載されたセンサ、車両の環境内に配置されたセンサ（例えば、環境インフラストラクチャに固定されたセンサ、車両の環境内の静止物体に固定されたセンサ、車両の環境内の移動物体に固定されたセンサなど）、および／または任意の他のセンサなどであるがこれらに限定されない、ＡＶから離れた（例えば、非車載）センサから受信され得る。

【0056】

入力は、追加的または代替的に、マップのセット（例えば、ＡＶおよび／もしくはオペレータによって意思決定のために利用されるマップ）、環境情報（例えば、気象情報、交通情報）、ＡＶ現場情報［例えば、荷積みドック情報、ＡＶベースステーション情報など］、フリート管理情報、［例えば、車両間通信を介して有効化された］他のフリート車両からの情報、データベース情報および／もしくはメモリに記憶された情報、ならびに／または任意の他の情報などであるがこれらに限定されない、任意の他の情報を含むことができる。

【0057】

いくつかの変形例では、例えば、入力のセットは、この参照により全体が本明細書に組み込まれる２０２２年１０月７日出願の米国特許出願第１７／９６２，４５９号に記載されたフリートの管理に利用される情報のうちのいずれかまたはすべてなど、ＡＶのフリート（例えば、特定のユースケースおよび／または特定の固定ルート網内で集合的に使用される複数の車両のセット）に関連するフリート情報を含むことができる。フリート情報は、（例えば、車両間通信を介した）フリート内の他の車両、フリート管理サブシステム（例えば、フリート管理ソフトウェア、フリート管理オペレータなど）、ＡＶに関連付けられた現場に配置された顧客（例えば、顧客インターフェースで現場の作業員から受信された入力、荷積みドックに関連する入力など）、および／または任意の他の情報源のうちのいずれかまたはすべてから受信され得る。

【0058】

追加的または代替的に、入力のセットは、任意の他の情報を含むことができる。

【0059】

入力のセットを処理することは、好ましくは、Ｓ２２０において（例えば、ＡＶに関連する故障の検出に応答して、検出された故障の特徴に応答して、ＡＶに関連する特定の環境および／もしくはシナリオの検出ならびに／または分類に応答して）リモートオペレータへの要求がトリガされるべきかどうかを判定するように機能する。追加的または代替的に、入力のセットを処理することは、どのタイプの要求をトリガするかを決定し、要求をいつトリガするかを決定し、リモートオペレータにどのオプションおよび／もしくはどのタイプのオプション（例えば、高レベルの挙動対経路対ウェイポイントなど）を提供するかを決定するように機能することができ、かつ／または入力を処理することは他の方法で好適に使用され得る。

【0060】

追加的または代替的に、入力は、ＡＶの自律的な意思決定および動作において（例えば、通常の自律動作下での自律エージェントの挙動および／もしくはアクションおよび／もしくは軌道および／もしくは制御コマンドを自律的に決定するために）、ならびに／または任意の他の機能を実行するために、処理されて使用され得る。

【0061】

Ｓ２１０は、好ましくは、故障を検出（例えば、チェック）するステップおよび／または故障応答をトリガするステップＳ２１２を含み、これは、車両および／もしくは関連する任意の構成要素（例えば、センサ、アクチュエータなど）またはプロセス（例えば、コンピューティングサブシステムの動作）の性能が損なわれているかどうか、および／または損なわれると予測されるかどうか（または損なわれることになるかどうか）を判定し、その結果、応答として最適で安全なアクションがトリガされ得るように機能することができる。追加的または代替的に、Ｓ２１２は、故障のタイプ（例えば、どの構成要素が影響を受けるか）、故障の発生源／原因、故障に関連する重大度および／もしくは緊急度、ならびに／または故障の任意の他の特性など、故障を評価および／または特徴付けるように機能することができる。さらに追加的または代替的に、Ｓ２１２は、潜在的な故障の検出に応答して、（例えば、誤検知による故障検出に応答して）不必要な応答および／または過度に保守的な応答がトリガされるのを防ぐように機能することができる。

【0062】

Ｓ２１２はさらに、任意選択で、方法２００のいずれかまたはすべての他のプロセスの実行をトリガおよび／または通知するように機能することができる。

【0063】

Ｓ２１２は、好ましくは、上記のような診断サブシステムなどであるがこれに限定されない診断サブシステム（例えば、処理および／またはコンピューティングサブシステムの診断サブシステムモジュール、プロセッサのセットなど）によって実行される。追加的または代替的に、任意の他の診断サブシステムおよび／または処理サブシステムが使用され得る。

【0064】

診断サブシステムは、好ましくは、車両全体（例えば、構成要素の集合的な組合せ、故障しやすい構成要素の集合的な組合せなど）の状態（例えば、正常性）を判定（例えば、チェック）するように機能するが、追加的または代替的に、車両の１つまたは複数の構成要素、複数の車両、ならびに／または任意の他のシステム、サブシステム、および／もしくは構成要素の状態を判定するように機能することができる。

【0065】

好ましい一連の変形例では、診断サブシステムは、車両の複数の（例えば、すべて、分析されているすべて、など）構成要素（例えば、センサ、プロセッサ、コンピュータ、電源、通信サブシステムなど）または車両に関連付けられた構成要素（例えば、車両と通信する構成要素、リモートオペレータステーションのコントロールなど）からステータス情報および／または正常性情報および／または性能情報を集約するように機能し、本明細書では同等に、診断アグリゲータおよび／または診断アグリゲータサブシステム（例えば、診断評価用および集約用に構成されたプロセッサを含む）とも呼ばれる。

【0066】

診断サブシステムは、好ましくは、車両に関連付けられたセンサ（例えば、車載センサ、車両と通信する非車載センサなど）から少なくともデータを受信するように構成されるが、追加的または代替的に、車両に提供されかつ／もしくは車両によって（例えば、車両のアクチュエータによって）実行される制御コマンド、車両の処理および／もしくはコンピューティングサブシステムの出力および／もしくは中間出力（例えば、知覚および／もしくは予測および／もしくは計画モジュール／サブシステムの出力、ＡＶロジックの出力、車両のアクション選択および／もしくは軌道生成に使用される訓練済み機械学習モデルのセットの出力など）、（例えば、この参照により全体が本明細書に組み込まれる２０２０年１２月１８日出願の米国特許出願第１７／１２７，５９９号に記載された）車両のコンピューティングおよび／もしくは処理サブシステムの出力および／もしくは中間出力に関連する不確実事項、ならびに／または任意の他の情報のうちのいずれかまたはすべてを受信するように構成され得る。

【0067】

いくつかの変形例では、例えば、診断サブシステムは、センサからのデータならびに／または車両で決定および／もしくは通信される他の情報（例えば、アクチュエータに通信される制御コマンド）が、所定の時間パラメータ（例えば、所定の速度または速度範囲、所定の周波数または周波数範囲、所定の時間または時間のセット、別の構成要素でのデータ生成および／もしくはデータ受信に対する所定の遅延または遅延範囲内など）に従って送信されることを期待し、データの送信および／または受信が、期待される時間パラメータの範囲外になった場合、（例えば、以下に説明するように）潜在的な故障に関する警報がトリガされ得る。

【0068】

追加的または代替的に、診断サブシステムは、この参照により全体が本明細書に組み込まれる２０２０年１２月１８日出願の米国特許出願第１７／１２７，５９９号に記載されたもののうちのいずれかまたはすべてなどであるがこれに限定されない、ＡＶソフトウェアスタックの入力および／または出力に関連する（例えば、異常検出および／または分布外プロセスを用いて決定される）不確実性尺度など、ＡＶのソフトウェアスタック（例えば、ＡＶのコンピューティングおよび／もしくは処理サブシステムで実行されるＡＶロジック、モデル、ならびに／またはアルゴリズムなど）に関連するいずれかまたはすべての情報（例えば、入力、出力、中間出力など）を考慮（例えば、処理、分析など）することができる。

【0069】

一連の例では、診断サブシステムは、少なくとも部分的には車両のセットの固定ルートユースケースにより、高い正確度および信頼度で故障を検出し、特徴付けることが可能である。これにより、例えば、分布外検出器および／または異常検出器は、検出された物体および／または車両の環境が以前に見られたかどうか（例えば、車両が同じルートを何度も走行している場合）を高い正確度および信頼度で判断することが可能になる。

【0070】

追加的または代替的に、診断サブシステムは、任意の他の情報を処理することができ、かつ／または任意の好適なユースケースにおいて使用され得る。

【0071】

診断サブシステムは、このデータのうちのいずれかまたはすべてを、個別に、集約的に、かつ／または任意の組合せで処理することができる。

【0072】

診断サブシステムは、好ましくは、車両に関連する１つまたは複数のスコアのセット（例えば、正常性スコア、故障スコア、性能スコア、ステータススコア［例えば、オン、オフ、通信中、非通信中など］など）を出力として作成し、スコアは、モデルならびに／もしくはアルゴリズムのセット（例えば、規則ベースのモデルならびに／もしくはアルゴリズム、学習および／もしくは訓練されたモデルならびに／もしくはアルゴリズム［例えば、機械学習モデル、深層学習モデル、ニューラルネットワークなど］、方程式など）を用いて算出されたスコア、システムの構成要素から直接受信されたスコアならびに／もしくはシステムの構成要素から受信された入力（例えば、センサデータ、情報受信時間、信号強度など）に基づいて（例えば、合計され、平均化され、中央値を見出すために使用される所定の方程式に従って）集約されたスコア、ルックアップテーブルならびに／もしくは決定木を用いて決定されたスコア、任意の方法の組合せで決定されたスコア、ならびに／もしくは他の方法で好適に決定されたスコアのうちのいずれかまたはすべてとすることができる。

【0073】

診断サブシステムの出力（例えば、車両の集約済み正常性スコア）および／または中間出力（例えば、個々の構成要素の正常性スコア）は、好ましくは、（例えば、診断サブシステム、診断サブシステムと通信する処理および／またはコンピューティングサブシステムなどにおいて）閾値および／または達成基準のセットと比較され、これは、故障が検出されたかどうか、および／もしくは故障が存在すると疑われるかどうかを判定し、故障に関連する故障のタイプおよび／もしくは特性（例えば、重大度、信頼度など）を特徴付け、車両に対する故障応答をトリガし、リモートオペレータ要求をトリガし、故障応答および／もしくはリモートオペレータ要求をトリガすることに関連する条件（例えば、タイミング）を決定し、リモートオペレータに提供する入力オプションの決定を（例えば、リモートオペレータ要求とともに）通知するように機能することができ、かつ／または任意の他の機能を実行することができる。

【0074】

好ましい変形例では、例えば、診断サブシステムによって作成された１つまたは複数の正常性スコアが所定の閾値のセットと比較され、これにより、（例えば、発生の可能性／信頼度［例えば、潜在的な故障が誤検知である可能性］、予想される重大度などに基づいて）潜在的な故障を検出および／または特徴付けることができる。いくつかの例では、例えば、診断サブシステムによって作成された集約済み正常性スコアが１つまたは複数の閾値のセットと比較され、閾値との比較に基づいて潜在的な故障を互いに区別（例えば、より細かく評価）することができる。具体例では、例えば、潜在的な故障は、少なくとも２つのカテゴリのうちの１つにカテゴリ化され、第１のカテゴリは、潜在的な故障を警告（例えば、潜在的なエラー／故障）として扱うべきであることを示し、第２のカテゴリは、潜在的な故障をエラー／故障として扱うべきであることを示す。特定の実装では、エラーカテゴリでは、システムの集約済み正常性スコアが、警告カテゴリのスコアよりも低い閾値を下回る必要がある。追加的または代替的に、個々の正常性スコアを閾値と比較することができ、（例えば、所定の時間枠内の）潜在的な故障の数を使用して故障をカテゴリ化することができ、かつ／または故障を他の方法で好適に検出および／もしくはカテゴリ化することができる。逆に、予測故障スコアは、スコアが第１の所定の閾値を超える場合に警告を示し、予測故障スコアは、スコアが（例えば、第１の所定の閾値よりも高い）第２の所定の閾値を超える場合にエラー／故障を示すことができる。

【0075】

追加的または代替的に、任意の他の潜在的なカテゴリを実装することができる。別の一連の具体例では、例えば、車両が正常に動作していること、車両が故障するリスクがあること（例えば、故障の警告）、車両が故障に遭遇していること、および／または任意の他の兆候を示す、例えば、複数のカテゴリから、複数のカテゴリのセットを選択することができる。カテゴリはさらに、任意選択で、車両が（例えば、故障に自律的に応答して）故障を処理する程度と、リモートオペレータが故障に対応する機会を有する程度とを指示および／または提案することができる。特定の具体例では、例えば、第１のカテゴリは、故障が検出されないことを示し、第２のカテゴリは、警告閾値を超えたこと、ならびに（例えば、警告がエラーに進む前にリモートオペレータが介入する機会をもてるように、故障が存在することをリモートオペレータが確認できるように、警告が誤検知であり故障の兆候が存在しないことをリモートオペレータが確認できるように、など）リモートオペレータに警報するべきであることを示し、第３のカテゴリは、（例えば、所定の閾値を超える信頼度で）故障が発生したと判定されたこと、（例えば、リモートオペレータの入力なしで）車両によって最小リスク操作が実行されるべきである／実行される予定であることを示す。

【0076】

追加的または代替的に、カテゴリのうちのいずれかまたはすべては、どの構成要素が故障したかの指示、故障した（例えば、同時に故障した）構成要素の数の指示、故障した構成要素に関連する重要度および／もしくは優先度の指示（例えば、コンピューティングシステム全体の故障対冗長センサの故障）などであるがこれらに限定されない、故障のタイプおよび／もしくは故障の重大度を示すことができ、かつ／または故障に関連する任意の他の特性が決定され得る。

【0077】

追加的または代替的に、故障の特徴付け／分類／カテゴリ化のうちのいずれかまたはすべては、故障検出に関連する時間パラメータ、検出の回数、および／または他のパラメータに基づいて実行され得る。

【0078】

例えば、診断サブシステム（例えば、診断アグリゲータ）の出力の作成および分析は、任意選択で、移動ウィンドウ（例えば、スライディングウィンドウ）分析に従って実行され得、これは、診断サブシステム（例えば、診断アグリゲータ）で受信された入力を処理し、かつ／または診断アグリゲータによって移動時間ウィンドウプロセスなどを用いて頻度（例えば、所定の頻度）に従って出力を作成し、第１の時間ウィンドウからのデータは、正常性スコアの第１のセットを作成するように処理され、第２の時間ウィンドウからのデータは、正常性スコアの第２のセットを作成するように処理され、以下同様に行われる。これは、時間の経過に伴う正常性スコアの進化を判定および利用できるので、誤検知反応をトリガすることなく、診断サブシステムで受信されたデータに関する必然的に生じる不確実性および／またはセンサもしくは他の情報源におけるノイズに対処するように機能することができる。例えば、正常性スコアの値に突然の急上昇（または急降下）が存在する場合、（例えば、上記のような）警告を発することができるが、劇的な最小リスク操作を必ずしも直ちにトリガする必要はなく、むしろ、さらなる意思決定のためにスコアの進化および／またはスコアの数もしくは発生のパターンが監視され得る。例えば、故障または潜在的な故障が所定の時間閾値内に所定の回数よりも少なく検出される場合、潜在的な故障に警告としてフラグを付けることができ、一方、潜在的な故障が所定の時間閾値内に（例えば、ｎ個の連続する時間ウィンドウのセットのそれぞれ、ｎ個のウィンドウのセット内のｍ個を超えるウィンドウなどにおいて）継続的にかつ／または所定の回数を超えて検出される場合、（例えば、警告からエスカレートして）車両にエラーがあると判定することができる。

【0079】

移動時間ウィンドウを実装する変形例では、ウィンドウは、互いに独立している（例えば、前のウィンドウが終了すると次のウィンドウが開始する）、重複している（例えば、部分的に重複している、完全に重複している、など）、または任意の組合せとすることができる。ウィンドウは、同じ時間期間、異なる時間期間、または任意の組合せのウィンドウとすることができる。

【0080】

一連の例では、検出された潜在的な故障の複数の特性は、まとめて集約され、（例えば、以下に説明するように）故障応答および／またはリモートオペレータ要求をトリガする際に次のステップを評価するために使用され得る。具体例では、例えば、警告が発生した回数を使用して第１の応答をトリガすることができ、エラーが発生した回数を使用して（例えば、第１の応答とは異なる）第２の応答をトリガすることができる。

【0081】

故障応答をトリガすることは、リモートオペレータ要求をトリガするステップＳ２２０、最小リスク条件（ＭＲＣ）に従って、かつ／もしくは最小リスク操作（例えば、停止する、寄せる、ブレーキをかける、など）の性能に従って車両を動作させること（例えば、自律的に動作させること）、複数の故障応答のセット（例えば、階層化された連続的な故障応答など）の最初の応答を実施すること、および／または任意の組合せのうちのいずれかまたはすべてを含むことができる。

【0082】

トリガされる故障応答のタイプ（例えば、最小リスク操作対リモートオペレータ要求）は、好ましくは、診断サブシステムによって作成される正常性スコアまたは他の出力に基づいて決定されるが、追加的または代替的に、正常性スコアの特徴（例えば、警告対エラー）、正常性スコアに関連する時間パラメータ、正常性スコアの他の特性、および／または任意の他の情報に基づいて実行され得る。

【0083】

一連の変形例では、例えば、診断アグリゲータが車両に関連する不確実性および／または警告および／またはエラーのレベルを決定すると、車両が正常性スコアおよび／またはその特性に応じて実行できる最小リスク操作の階層が複数存在し、さらに、操作のうちのいずれかまたはすべてが、リモートオペレータフィードバックと連携することができる。例えば、いくつかの例では、操作は、強度の増大の階層化された方式で編成され得る（例えば、図８に示すように、後で車両の通常動作を再開するためにより多くの労力を必要とする、車両に必要なブレーキングの強さが増大する順序で、車両に関連する減速率が増大する順序で、車両によって実行される速度低下が増大する順序で、「減速」挙動から「即時停止」挙動への順序で、など）。この場合、最小リスク操作のうちのいずれかまたはすべてを開始する前（例えば、１回目の操作と２回目の操作との間）にリモートオペレータフィードバックを要求および／または受信することができ、これは、例えば、車両が故障に安全に対応するためのリモートオペレータ入力の受信に依存しないように機能することができると同時に、必要のないときに重度な最小リスク操作が実行されないようにもする。

【0084】

最小リスク操作の例は、車両の速度を落とす（例えば、ブレーキをかける）、車両を停止させる、車両を路肩もしくは遠方の車線（例えば、縁石）もしくは指定された停止エリアに寄せる、および／または任意の他の操作を含むことができるが、これらに限定されない。

【0085】

階層化された最小リスク操作を伴う具体例では、例えば、警告または故障を検出したことに応答して、車両は、最初の最小リスク操作（例えば、減速）を開始（例えば、自律的に開始）するとともに、車両が後で通常の動作を再開するのがより困難となる（例えば、車両に乗車した人間またはリモートオペレータからの直接制御を必要とする、動作を再開するために人間が車両まで移動する必要がある、メンテナンスを必要とするなど）さらに強度の高い最小リスク操作（例えば、停止すること）を開始する前に、（例えば、所定の時間枠内の）入力を求めるリモートオペレータ要求を提供することができる。

【0086】

Ｓ２１０は、任意選択で、エージェントに関連付けられたシナリオを判定（例えば、検出、特徴付け、識別など）するステップＳ２１４を含むことができ、これは、リモートオペレータ（または最小リスク操作）によって最適にナビゲートされることが判明した特定のシナリオが、Ｓ２２０でのリモートオペレータ要求および／または任意のタイプの操作をトリガすることを可能にするように機能する。シナリオは、好ましくは、静的な特性（例えば、静的なインフラストラクチャ、道路の形状など）、動的な特性（例えば、他の車両の挙動、既知もしくは未知の物体の存在など）、または特性の任意の組合せのうちのいずれかまたはすべてによって特徴付けられ得る、車両を取り巻く環境のタイプを指す。

【0087】

追加的または代替的に、Ｓ２１４は、（例えば、遮られているセンサに基づいて、異常検出サブシステムおよび／または分布外検出サブシステムの出力に基づいて、など）車両が特定のシナリオを識別できないことを包含することができる。

【0088】

Ｓ２１４は、Ｓ２１２と並行して、Ｓ２１２の前に、Ｓ２１２の後に、かつ／または任意の他の時点で実行され得る。

【0089】

シナリオは、（例えば、シナリオのマップ割り当てに基づいて）事前に決定されたシナリオ、（例えば、物体検出に基づいて、ジオフェンストリガを通過したことに基づいて、など）動的に決定されたシナリオ、または事前に決定されたシナリオと動的に決定されたシナリオとの任意の組合せのうちのいずれかまたはすべてとすることができる。

【0090】

シナリオの例には、車線および／もしくは道路の形状（例えば、一方通行道路、双方向道路、２車線道路、４車線道路、路肩のある道路、縁石のある道路、駐車場、私道など）に関連する（例えば、それによって定義される）シナリオ、道路および／もしくは区域のタイプ（例えば、住宅街の道路、高速道路、学校区域、商業区域、工事区域など）に関連するシナリオ、車両のユースケース（例えば、荷積み区域、顧客の現場、荷物の集荷場所、荷物の降ろし場所など）に関連するシナリオ、特定の条件（例えば、動的条件、所定の傾向など）によって定義されるシナリオ（例えば、交通量の多いシナリオ、悪天候のシナリオなど）、特定の物体の存在および／もしくは挙動に基づいて定義されるシナリオ（例えば、子供の存在を伴うシナリオ、未知の物体および／もしくは物体の不自然なもしくは予期しない状態での挙動を伴うシナリオなど）、シナリオの任意の組合せ、ならびに／または任意の他の好適なシナリオが含まれるが、これらに限定されない。

【0091】

特定の一連の具体例では、シナリオは、（例えば、この参照により全体が本明細書に組み込まれる２０２０年１２月９日出願の米国特許出願第１７／１１６，８１０号に記載のように）車両の位置に関連するコンテキストに基づいて（例えば、部分的に、全体的に、など）決定される。

【0092】

シナリオを検出することは、任意選択で、（例えば、この参照により全体が本明細書に組み込まれる２０２０年１２月９日出願の米国特許出願第１７／１１６，８１０号に記載のように）エージェントの自律動作の一部、（例えば、以下に説明するように）リモートオペレータに送信する決定オプションのセットの選択および／もしくは絞り込み（例えば、フィルタリング）の一部であり、かつ／または任意の他のプロセスにおいて使用され得る。好ましい変形例では、Ｓ２１４は、この参照により全体が本明細書に組み込まれる２０２０年１２月９日出願の米国特許出願第１７／１１６，８１０号に記載のように、自律エージェントの位置およびマップに基づいてコンテキストを検出することを含む。追加的または代替的に、自律エージェントに関連するコンテキストは、他の方法で好適に決定され得る。

【0093】

ＡＶの配送ユースケース（例えば、商品の固定ルート配送、倉庫現場から配達現場への商品の配送など）において実施される変形例などのいくつかの変形例では、車両の荷積み現場および／または荷降ろし現場に対応するシナリオが検出され、そのシナリオを使用して、その現場への到着に応答して（例えば、車両の位置に基づいて、車両の位置に基づいてマップを参照することに基づいて、現場に関連付けられたジオフェンストリガの侵害を検出したことに基づいて、など）リモートオペレータ要求をトリガすることができる。具体例では、例えば、リモートオペレータ要求を使用して（例えば、以下に説明するように）、指定された荷積みドックを車両に割り当てるようにリモートオペレータに警報すること、車両を利用可能な荷積みドックにナビゲートするためのウェイポイントを提供するようにリモートオペレータに警報すること、現場への到着時に、ＡＶの高レベルの挙動（例えば、すべての荷積みドックが使用中であるので特定の待機エリアで待機する、特定の荷積みドックにおいて荷降ろしするために車両のロックを解除するなど）を選択するようにリモートオペレータに警報すること、車両の直接制御を引き継ぐ（例えば、車両を荷積みドック内にバックさせる）ようにリモートオペレータに警報することが可能であり、かつ／またはリモートオペレータからの任意の他の入力が要求され得る。

【0094】

追加的または代替的に、任意の他のシナリオが、特定のリモートオペレータ要求をトリガすることができる。

【0095】

追加的または代替的に、Ｓ２１０は、任意の他のプロセスを含むことができる。

【0096】

４．２ 方法 － リモートオペレータ要求をトリガするステップＳ２２０
方法２００は、リモートオペレータ要求をトリガするステップＳ２２０を含むことができ、これは、リモートオペレータの入力が必要とされるかつ／または望まれる事象についてリモートオペレータに警報するように機能する。追加的または代替的に、Ｓ２２０は、どのタイプのリモートオペレータ要求をトリガするか、リモートオペレータ要求をいつトリガするか、要求にどの条件（例えば、時間制限）を帰属させるかを決定するように、かつ／または任意の他の情報を決定するように機能することができる。追加的または代替的に、Ｓ２２０は、任意の他の好適な機能を実行することができる。

【0097】

Ｓ２２０は、好ましくは、Ｓ２１０（例えば、Ｓ２１２、Ｓ２１４など）に応答して、またそれに基づいて実行されるが、追加的または代替的に、任意の他のプロセスに応答して実行され得る。Ｓ２２０は、追加的または代替的に、最小リスク操作（例えば、階層化されたセット内の最初の最小リスク操作）が開始されたことに応答してかつ／もしくは開始された後、（この場合、例えば、（例えばリモートオペレータが利用できない場合に）リモートオペレータに依存せずに初期最小リスク操作を実施するように機能することができる）、最小リスク操作（例えば、任意の最小リスク操作、より強度の高い最小リスク操作など）が開始される前、最小リスク操作がトリガされていない場合、および／もしくは任意の他の時点のうちのいずれかまたはすべてにおいて、実行され得る。

【0098】

第１の一連の変形例では、Ｓ２１２に応答してリモートオペレータ要求がトリガされ、リモートオペレータ要求は、故障の検出および／または故障応答の実行（例えば、最小リスク条件および／または最小リスク操作の実行、リモートオペレータへの連絡など）に応答してリモートオペレータに送信される（例えば、Ｓ２３０で説明される）決定オプションのセットをトリガするように機能し、これにより、リモートオペレータは、ＭＲＣから動作を再開するためにエージェントが実行する挙動を選択することができる。具体例では、例えば、決定オプションは、ＭＲＣの一部として停止した後に運転を再開するために自律エージェントが実行できる挙動を含む。

【0099】

第１の一連の変形例に対する追加的または代替的な第２の一連の変形例では、Ｓ２１４に応答してリモートオペレータ要求がトリガされ、リモートオペレータ要求は、リモートオペレータに提供される決定オプションのセットをトリガするように機能する。追加的または代替的に、リモートオペレータ要求は、リモートオペレータへの自律エージェントの直接制御のオプションをトリガすることができる。

【0100】

第２の一連の変形例では、リモートオペレータ要求は、任意選択で、自律エージェントに関連する特定のシナリオ（例えば、コンテキストの所定のセットからのコンテキスト）を検出したことに応答してトリガされ得る。これには、例えば、エージェントが自律的にナビゲートすることが困難であると判明したコンテキストおよび／またはリモートオペレータ要求の所定のトリガに関連するコンテキストを検出することが含まれる。追加的または代替的に、リモートオペレータ要求は、エージェントが閾値期間を超えて停止していることの検出、障害物がエージェントの進行を妨げていることの検出および／もしくは障害物が静止していることの検出、自律エージェントが自己選択できる他の利用可能なルートがないことの検出、別のフリート車両および／もしくはフリートコマンドセンタから新しい情報が受信されたことの検出のうちのいずれかまたはすべてなどの任意の他の情報に基づいてトリガされ得るか、かつ／または要求は任意の他の情報および／もしくはシナリオに基づいてトリガされ得る。

【0101】

自律エージェントが配送車両として使用され、貨物の荷積みおよび荷降ろしを行う必要がある第１の一連の具体例では、荷積み区域および荷降ろし区域は、集荷現場および配送現場内で動的に変化する位置にある可能性があり、自律エージェントが自律的に適応して対処することが困難になる可能性がある。自律エージェントが荷積み現場および／または荷降ろし現場に到着したことを示すコンテキストが特定された場合、入力（例えば、現場の所在の指示、車両に対する直接制御コマンド、現場内の特定の位置まで車両をナビゲートするためのウェイポイントのセットの提供、現場内で車両をナビゲートするための経路のセットの選択など）を求める要求がリモートオペレータに送信され得る。

【0102】

第２の一連の具体例では、ローカルコンピューティングサブシステムは、障害物が自律エージェントの移動を妨げていること、および自律エージェントが少なくとも所定の閾値時間（例えば、少なくとも１０秒、少なくとも１０秒から２分の間など）静止していることを検出する。これに応答して、挙動決定オプションのセット、ルート変更オプションのセット（例えば、エージェントを代替および／またはバックアップ固定ルートにルート変更する、エージェントを異なる現場にルート変更するなど）、直接制御のオプション、および／または任意の他のオプションを含み得る要求がリモートオペレータに送信される。追加的または代替的に、エージェントのシナリオ（例えば、コンテキスト）を任意選択で決定および／または考慮することができ、これは、リモートオペレータに提示される決定オプションを絞り込み、エージェントのルート変更をリモートオペレータに提案するか否かを判定し、方向制御のオプションを提案するか否かを判定するように機能することができ、かつ／または任意の他の機能を実行することができる。

【0103】

リモートオペレータ要求は、好ましくは、（例えば、リモートオペレータステーションにいる）リモートオペレータに関連付けられたインターフェースおよび／または出力デバイスのセット（例えば、視覚ディスプレイ、音声出力デバイス、触覚出力デバイスなど）において提供される警報を含む。例では、例えば、警報には、視覚警報（例えば、リモートオペレータワークステーションのディスプレイにおいて提供されるメッセージ、通知、および／もしくは注釈）、音声警報（例えば、リモートオペレータワークステーションの音声出力デバイスにおいて提供される警報、リモートオペレータのモバイルデバイスにおいて提供される警報など）、触覚警報（例えば、リモートオペレータのハンドヘルドデバイス［例えば、ジョイスティック、ギアシフトなど］において提供される振動）、ならびに／または任意の他の警報もしくは警報の組合せのうちのいずれかまたはすべてが含まれ得る。

【0104】

Ｓ２２０は、追加的または代替的に、Ｓ２３０でリモートオペレータに提供される出力のタイプ（本明細書では同等に、オプションとも呼ばれる）を決定し、かつ／またはＳ２３０での出力提供のうちのいずれかまたはすべてをトリガするように機能することができる。

【0105】

追加的または代替的に、Ｓ２２０は、任意の他の好適なプロセスを含むことができる。

【0106】

４．３ 方法 － 出力のセットをリモートサブシステムに提示するステップＳ２３０
方法２００は、出力のセットをリモートサブシステムに提示するステップＳ２３０を含むことができ、これは、リモートオペレータからの入力を促し、車両に関連する特定のシナリオ（例えば、コンテキスト）および／もしくは状況（例えば、ＭＲＣのトリガ）についてリモートオペレータに警報し、かつ／またはリモートオペレータに意思決定のための情報を提供するように機能する。追加的または代替的に、Ｓ２３０は、任意の他の機能を実行することができる。

【0107】

Ｓ２３０は、好ましくは、Ｓ２２０に応答して（例えば、Ｓ２２０が実行された場合に）実行される。追加的または代替的に、Ｓ２３０は、方法２００の別のプロセスに応答して（例えば、Ｓ２１０に応答して）、方法２００中に複数回（例えば、継続的に）、Ｓ２２０がない場合に、かつ／または任意の他の時点で実行され得る。

【0108】

出力のセットは、好ましくは、（例えば、上記で説明した）リモートオペレータに関連付けられた（例えば、上記で説明した）１つまたは複数のインターフェースのセットの出力デバイス（例えば、ディスプレイ、タッチスクリーンインターフェースなど）のセットにおいて提供されるが、追加的または代替的に、任意の他のデバイスにおいて、かつ／または任意の他の方法で提供され得る。リモートオペレータは、好ましくは、自律エージェントから離れて、例えば、リモートインターフェースのセットをホストするリモートセンタ（例えば、複数のリモートモニタワークステーションのセット）などに配置される。代替的に、リモートオペレータは、（例えば、乗車した人間のオペレータ、セーフティドライバなどとして）自律車両に乗車して配置され、かつ／または他の方法で配置され得る。

【0109】

好ましい一連の変形例では、リモートオペレータは、複数の自律車両を監視する。代替の変形例では、リモートオペレータが単一の自律車両を１：１方式で監視することができ、複数のリモートオペレータが単一の車両を監視することができ、かつ／または監視構成の任意の組合せが実装され得る。

【0110】

Ｓ２３０においてリモートサブシステムに提供される出力は、好ましくは、センササブシステムのうちのいずれかまたはすべてにおいて収集されたセンサ情報（例えば、センサストリーム、センサデータなど）を含み、これにより、リモートオペレータは、リモートインターフェースにおいてセンサ情報を見ることができる。センサ情報は、好ましくは、センサストリーム（例えば、１つまたは複数のカメラからのビデオストリーム、融合センサデータからのセンサストリームなど）として継続的に提供されるが、追加的または代替的に、トリガ（例えば、Ｓ２２０）に応答して、かつ／または任意の他の時点で断続的に提供され得る。

【0111】

好ましい一連の変形例では、車両に搭載された１つまたは複数の光学センサ（例えば、カメラ）からのデータストリームがリモートオペレータに提供され、これは、車両がその環境内で認識しているものをリモートオペレータが見ることを可能にするように機能する。このデータストリームは、個々のカメラストリーム（例えば、ビデオストリーム）、（例えば、複数のカメラからの）集約されたカメラストリーム、処理された（例えば、編集、トリミング、変更などされた）カメラストリーム、および／または任意の他の光学センサデータのうちのいずれかまたはすべてを含むことができる。

【0112】

追加的または代替的に、車両に搭載されたまたは車両に関連付けられた任意の他のセンサ（例えば、Ｌｉｄａｒ、Ｒａｄａｒなど）からのデータ（例えば、未加工データ、処理済みデータなど）がリモートオペレータに提供され得る。この追加のセンサデータは、光センサデータと組み合わせられ（例えば、重ね合わせられる、融合されるなど）、光センサデータに対して追加の方法で提供され、要求に応じて提供され、かつ／または他の方法で好適に提供され得る。

【0113】

一連の例では、例えば、車両がその環境に関して行った決定（例えば、知覚決定、物体の検出、物体の特徴付けなど）が、（例えば、注釈付き画像データを通じて、画像データ内の輪郭付きの物体を通じて、など）リモートオペレータに示される。

【0114】

特定の具体例では、車両の知覚サブシステムによって識別された物体がリモートオペレータに示され（例えば、強調表示、注釈付けなどされ）、リモートオペレータは、任意選択で、車両の知覚および／または環境理解における何らかの不正確さに関連する（例えば、以下に説明するような）フィードバックを提供することができる（例えば、フィードバックは、車両の知覚および／または下流の意思決定の訂正のために車両［例えば、車両の処理および／またはコンピューティングサブシステム］へのフィードバックとして提供され得る）。

【0115】

Ｓ２３０はさらに、好ましくは、任意選択で、リモートオペレータに決定オプションのセットを（例えば、Ｓ２２０の決定要求に応答して／その一部として）提供することを含む。Ｓ２３０は、追加的または代替的に、リモートサブシステムにおいてどの出力および／または出力のどのタイプ（例えば、カテゴリ）がリモートオペレータに提示されるかを決定（例えば、選択）することを含むことができる。

【0116】

決定出力のセットは、好ましくは、（例えば、Ｓ２１２で決定された）検出および／もしくは特徴付けられた故障、（例えば、Ｓ２１４で決定された）検出および／もしくは特徴付けられたシナリオ、車両の故障応答に関連する最小リスク操作のタイプ（例えば、すでに実施されているもの、最小リスク操作オプションの順序付きリストの一部であるものなど）、ならびに／または任意の他の情報のうちのいずれかまたはすべてに基づいて少なくとも部分的に決定される。追加的または代替的に、決定オプションのセットは、（例えば、Ｓ２５０で説明された）安全性分析のセット、Ｓ２４０の以前のインスタンス（例えば、以前のリモートオペレータ入力）、方法の任意の他のプロセスのインスタンスおよび／もしくは以前のインスタンス、ならびに／または任意の他の情報のうちのいずれかまたはすべてに基づいて、決定され、かつ／または絞り込まれ得る。

【0117】

決定オプションを決定することは、任意選択で、リモートオペレータの入力を考慮するためにリモートオペレータが応答する必要がある時間制限（例えば、車両によって次の最小リスク操作がトリガされるまでの時間）、リモートオペレータが選択できる決定オプションの数、および／または任意の他の条件などであるがこれらに限定されない、リモートオペレータに提示される決定オプションに関連する条件（例えば、パラメータ）のセットを決定すること（例えば、規定すること）をさらに含むことができる。

【0118】

好ましい一連の変形例では、リモートオペレータからの入力は、常にかつ／または少なくとも時々は任意であり、これにより、ＡＶはリモートオペレータからの入力の有無にかかわらず動作する（例えば、最小リスク操作に入る）ようになる。このような場合、リモートオペレータに時間制限が提供され、この時間制限は、車両によってオプションの入力が考慮されるために（かつ／または故障レベルが進行しない場合に考慮される可能性が高くなるように）オプションの入力をどの程度の時間で提供する必要があるかを示すことができる。

【0119】

決定オプションに関連付けられた条件は、決定オプションを決定するための上記で説明された特性（例えば、故障の検出および／もしくは特徴付け、シナリオの特徴付けなど）のうちのいずれかまたはすべてに基づいて、かつ／または任意の他の情報に基づいて決定され得る。

【0120】

いくつかの変形例では、例えば、検出された故障の重大度および／または頻度を使用して、車両が次のアクション（例えば、次の最小リスク操作、より重度な最小リスク操作など）を自律的に選択する前にリモートオペレータが決定を下すために与えられる時間量を決定することができる。

【0121】

決定オプションおよび／または関連条件は、ルックアップテーブルのセット、データベースのセット、モデルおよび／もしくはアルゴリズムのセット（例えば、学習および／もしくは訓練されたモデルならびに／またはアルゴリズム、規則ベースのモデルおよび／またはアルゴリズムなど）、決定木のセット、履歴情報（例えば、以前の車両アクションに関連する過去の成功率、過去の車両データの集約されたコーパスなど）のうちのいずれかまたはすべてに基づいて、かつ／またはツールの任意の組合せを用いて決定され得る。

【0122】

決定オプションのセットは、任意選択で、自律エージェントの一連の挙動および／またはアクションを含む。リモートオペレータに提示される挙動および／またはアクションのオプションは、任意選択で、（例えば、マップに対するエージェントの位置に基づく）エージェントのシナリオおよび／もしくはコンテキスト、車両のユースケース（例えば、配送ユースケース）および／もしくは運用設計領域（例えば、固定ルート）、天候、交通および／もしくは任意の他の条件、車両の検出された故障および／もしくは故障の特徴、ならびに／または任意の他の情報のうちのいずれかまたはすべてに基づいて、絞り込み（例えば、フィルタリング、優先順位付けなど）され得る。代替的に、リモートオペレータに提供されるオプションタイプは、事前に決定され、かつ／または静的（例えば、すべてのシナリオで同じ）にすることができる。

【0123】

決定オプションのセット内の挙動／アクション（本明細書では同等に、介入とも呼ばれる）は、任意選択で、エージェントがそれ自体で選択できない挙動（例えば、高レベルの挙動および／もしくは目標）ならびに／もしくはアクション、ならびに／または現在のコンテキストでエージェントがそれ自体で選択できない挙動／アクション（例えば、双方向道路において対向車用に指定された車線内で運転することをエージェント自体で選択できないが、駐車場において対向車用に指定された車線内で運転することをエージェント自体で選択できる）を含むことができる。追加的または代替的に、挙動／アクションは、エージェントがそれ自体で選択できるもの、任意の他の挙動／アクション、および／または挙動／アクションの任意の組合せを含むことができる。

【0124】

（例えば、図４に示す）一連の例では、一連の挙動および／またはアクションのオプションは、近傍の車線を借りる、現在の移動を終了するおよび／もしくは新しい移動を開始する、車両をベース位置に戻すことを開始する、車両を安全な停止地点（例えば、マップ上にラベル付けされた検証済みの専用の場所［例えば、駐車場、ガソリンスタンドなど］の所定のセットから最も近い安全な停止地点、雹嵐の事前警告もしくは他の気象条件［例えば、雪、雨、雷など］に応じてマップ上に示される屋根付きの場所など）にルート変更する、車両を（例えば、元のルートと同じ目的地を有する）代替ルートにルート変更する、車両を（例えば、縁石および／もしくは路肩に）寄せる、車両を（例えば、その現在の位置で）車線内で停止させる、車両を緩やかに（例えば、徐々に、最短距離で、最大減速で、など）停止させる、単一のウェイポイントで停止させる（例えば、ウェイポイントはリモートオペレータによって提供される）、荷積みドックでドッキングする、（例えば、まだ視界に入っていない工事区域の速度制限の変更に応じて、道路の近くで子供の存在が検出されたことに応じて、など）設定速度もしくは一連の速度で走行する、ならびに／または任意の他の挙動／アクションのうちのいずれかまたはすべてを含む。

【0125】

追加的または代替的に、一連の介入は、この参照により全体が本明細書に組み込まれる２０２０年１２月９日出願の米国特許出願第１７／１１６，８１０号、２０２０年１２月１７日出願の米国特許出願第１７／１２５，６６８号、２０２０年１２月１８日出願の米国特許出願第１７／１２７，５９９号のうちのいずれかまたはすべてに記載されたアクションのうちのいずれかまたはすべてを含むことができる。

【0126】

一連の特定の具体例では、挙動および／またはアクションのオプションのセット（例えば、基地に戻る、安全な停止地点へのルート変更、代替固定ルートへのルート変更、荷積みドックへの接近など）は、車両の固定ルート、配送ユースケースに基づいて少なくとも部分的に決定される。

【0127】

別の特定の例では、物体に関連する不確実性レベルによって示されるような予期しない状態で挙動している物体（例えば、方向転換している自転車、車線を繰り返し横断している物体など）が検出された場合、車両がそれに応じて行うべきことについての挙動オプションのセットがリモートオペレータに提供され、挙動は、物体の後ろに留まる、物体の周りを回る、速度を落とす、車両の前方の所定のスペースが空くまで待機する、計画どおりに進む、道路の脇に寄せる、停止する、および／または任意の他の挙動などであるが、これらに限定されない。

【0128】

追加的または代替的に、決定オプションのセットは、（例えば、図４に示すように）リモートオペレータが車両を直接制御するオプションを含むことができ、この場合、リモートオペレータは、車両に対する制御コマンドをリモートインターフェースから直接提供する。したがって、リモートインターフェースは、好ましくは、ジョイスティック、ブレーキペダル、アクセルペダル、ステアリングホイール、および／またはリモートオペレータが操作／制御できる任意の他の入力デバイスなどの１つまたは複数の入力デバイスを含む。

【0129】

直接制御のオプションは、好ましくは、特定のサブセットのシナリオの検出に応じて（例えば、荷積み／荷降ろし区域のコンテキストなどの特定のコンテキストに応じて）選択的に提供されるが、追加的または代替的に、特定の最小リスク操作が選択および／もしくは実装されたことに応じて提供され、すべてのシナリオおよび／もしくは状況で一貫して提供され、特定の故障の重大度に応じて提供され、かつ／または他の方法で好適に提供され得る。

【0130】

一連の例では、例えば、（例えば、車両が荷積み／荷降ろし現場に到着したことが検出された時点で）車両を荷積みドック内に後退させるための直接制御コマンドを提供するオプションがリモートオペレータに提供され得る。特定の具体例では、リモートオペレータは、（例えば、現場作業員、現場の別のフリート車両、現場管理サブシステム、フリートコマンドセンタなどから）現場が（例えば、特定の荷積みドックで）車両をドッキングする準備ができており利用可能であるという現場に関連する入力または警報（例えば、通知）を受信したことに応答して、直接制御コマンドを提供することができる。さらに追加的または代替的に、リモートオペレータは、高レベルのドッキング指示（例えば、どこでドッキングするか、いつドッキングするか、どこで待機するかなど）を提供することができる。

【0131】

追加的または代替的に、決定オプションのセットは、車両が、現在計画されている固定ルートおよび／もしくは車両が移動している固定ルートに対する代替固定ルート（および／もしくは最後の場所および／もしくは目的地の順序）を取るためかつ／またはそのルートに迂回するためのオプションを含むことができる。一連の変形例では、例えば、車両は、固定ルート網に沿って動作し、これにより車両は、様々な顧客の現場（例えば、荷積み／荷降ろし現場、荷積みドック、倉庫、流通センタなど）、ベースステーション（例えば、本拠地の現場）、メンテナンス現場、および／または任意の他の場所の間を移動することが可能になる。代替ルートを取るための決定オプションは、リモートオペレータに継続的に提供される、センサデータおよび／もしくはその分析に基づいてトリガされる、車両の静止待機時間が所定の閾値を超えたことに基づいてトリガされる、車両に関連付けられたフリートコマンドセンタからの入力に基づいてトリガされる、交通状況に基づいてトリガされる、フリートの別の車両（例えば、目的地が混雑していることを示す、車両の現在の計画された目的地に配置されたフリート車両）からの情報に基づいてトリガされる、検出された故障および／もしくはシナリオに基づいてトリガされる、のうちのいずれかまたはすべてとすることができ、かつ／または他の方法で好適にリモートオペレータに提供され得る。

【0132】

一連の変形例では、例えば、車両が代替ルートを取るオプションは、現在のルートが渋滞している、混雑している、かつ／またはそれ以外で車両にとって最適ではないと判定された時点で（例えば、センサデータに基づいて自動的に、サードパーティの交通情報に基づいて自動的に、リモートオペレータによって手動で、など）提供され得る。一連の例では、リモートオペレータは、車両からのカメラデータを見ることに基づいて、車両の前方に障害物があり（かつ／または車両の前方に障害物がある可能性が高く）これにより交通が大幅に渋滞していると判定した時点で、車両の代替ルートを選択することを選ぶ。

【0133】

追加的または代替的に、決定オプションのセットは、照明指示器（例えば、ウィンカー）、暖房および／もしくは冷房ユニット（例えば、Ａ／Ｃユニット）、フロントガラスワイパー、ガソリンタンクカバー、ならびに／または任意の他のサブシステムなどであるがこれらに限定されない、車両の指示器および／または補助サブシステムに対するコマンドを含むことができる。

【0134】

追加的または代替的に、決定オプションのセットは、車両の知覚サブシステムを用いて決定された物体情報などの車両の環境に関する車両の現在の理解を通知および／または変更する能力をリモートオペレータに提供することができる。例えば、車両は、物体（例えば、物体のタイプ、物体の意図など）を、誤ってかつ／または（例えば、警告もしくはエラーをトリガする可能性がある）高い不確実性レベルを伴って認識する可能性があり、この場合、リモートオペレータは物体が誤って識別されたことを知らせることができる。このような場合、リモートオペレータは、この知覚情報を修正する（例えば、オプションのセットから物体がどの物体タイプであるかを識別する）情報を提供することができ、この追加情報は、車両によって考慮され、任意選択で（例えば、その知覚理解を調整するために）使用される。

【0135】

いくつかの例では、例えば、車両の知覚システムが高い不確実性レベル（例えば、所定の閾値を超える不確実性）を伴う物体を検出したことに応答して、明確化（例えば、複数の物体のセットからの物体タイプの選択）を求めるリモートオペレータ要求がトリガされ得る。追加的または代替的に、リモートオペレータは、特に要求されることなくフィードバックを提供することができる。具体例では、リモートオペレータは、知覚システムによって検出された潜在的な子供が実際には静止物体（例えば、郵便ポスト）であることを示すことができる。

【0136】

追加的または代替的に、リモートオペレータは、車両（例えば、車両プランナ）にウェイポイントのセットを提供することができ、ウェイポイントのセットは、車両が（例えば、従来のモーションプランナを用いて）たどるべき経路（例えば、軌道）を決定するために使用され得る。ウェイポイントは、例えば、車両が足止めされた（例えば、少なくとも所定の時間位置を変えていない）ことの検出、車両のプランナが故障していることの検出、特定のタイプのシナリオ（例えば、建設区域、荷積みドック現場など）の検出、および／または任意の他の時点もしくは任意の他の状況のうちのいずれかまたはすべてに応答して提供され得る。

【0137】

追加的または代替的に、リモートオペレータは、車両の経路（例えば、ウェイポイントのセット、連続した経路、車両の経路オプションのセットから選択された経路など）を提供することができる。

【0138】

追加的または代替的に、リモートサブシステムにおいて任意の他のオプションがリモートオペレータに提供され得る。

【0139】

４．４ 方法 － リモートオペレータから入力を受信するステップＳ２４０
方法２００は、リモートオペレータから入力を受信するステップＳ２４０を含むことができ、これは、車両の動作（例えば、ＭＲＣ以外でのナビゲーション、困難なコンテキスト内でのナビゲーション、人間のドライバにとって最適なコンテキスト内でのナビゲーションなど）、意思決定、および／または任意の他のユースケースにおいて車両が任意選択で使用できる情報を受信するように機能する。

【0140】

Ｓ２４０は、好ましくは、Ｓ２３０に応答して、またＳ２３０に基づいて実行されるが、追加的または代替的に、任意の他のプロセスに応答して実行され得る。

【0141】

追加的または代替的に、Ｓ２４０は、車両がまだ故障を検出していない場合および／または車両がリモートオペレータからの支援の必要性／要望を検出していない場合などに、リモートオペレータに出力および／またはオプションのセットを提供せずに実行され得る。

【0142】

上記で説明したように、入力は、挙動および／もしくはアクションの選択、制御コマンド（例えば、直接制御動作モードでのスロットルおよび／もしくはステアリングおよび／もしくはブレーキング制御コマンド）、ウェイポイント、経路、知覚調整、任意の他の情報、または情報の任意の組合せのうちのいずれかまたはすべてを含むことができる。

【0143】

追加的または代替的に、Ｓ２４０は、任意の他のプロセスを含むことができる。

【0144】

４．５ 方法 － リモートオペレータ入力を処理するステップＳ２５０
方法２００は、任意選択で、入力を処理するステップＳ２５０を含むことができ、これは、好ましくは、自律エージェントを実行するのに入力が十分であること（例えば、安全性に関して、自律エージェントの目標に関して、作動サブシステムに関連する閾値に関してなど）を検証するように機能する。追加的または代替的に、Ｓ２５０は、入力を変更／調整する（例えば、エージェントを実行するのに十分になるようにする）、入力を拒否する（例えば、代わりに最小リスク条件をトリガする）ように機能することができ、かつ／または任意の他の機能を実行することができる。

【0145】

Ｓ２５０は、好ましくは、Ｓ２４０に応答して、またＳ２４０に基づいて実行されるが、追加的または代替的に、方法２００の任意の他のプロセスに応答して、方法の任意の他のプロセスの前および／もしくは最中に、任意の他の情報（例えば、Ｓ２１０で受信された入力）に基づいて実行され得、かつ／またはＳ２５０は他の方法で好適に実行され得る。

【0146】

いくつかの変形例では、Ｓ２５０は、Ｓ２４０の前および／または最中に実行され、検証されたオプションのみがリモートオペレータに提供される。

【0147】

追加的または代替的な変形例では、Ｓ２５０は、リモートオペレータの入力が検証されない場合にリモートオペレータに警報することができるように（例えば、リモートオペレータが、実装されない追加情報の提供に時間を費やし続けることがないように）、リモートオペレータがフィードバック（例えば、ウェイポイントの初期サブセット）を提供している間に実行される。

【0148】

リモートオペレータからの入力は、好ましくは、ローカルサブシステム１２０において処理され、さらに好ましくは、自律エージェントに搭載して配置されたローカルコンピューティングサブシステム（例えば、ＡＶコンピュータ）において処理され、これは、ローカルコンピューティングサブシステムのＡＶロジックに入力を渡すように機能し、それによって、入力を検証および実装する権限を自律エージェントに与えるとともに、任意選択で、人間による入力を実施するための追加の安全性レイヤを提供する。追加的または代替的に、入力は、リモートサブシステム１１０、別のコンピューティング／処理サブシステム、および／または任意の場所の組合せにおいて処理され得る。

【0149】

代替的に、入力は、ローカルコンピューティングサブシステムでの検証、処理、および／または受信がない場合でも実施され得る。

【0150】

入力を処理することは、好ましくは、入力（または入力に基づいて決定された軌道などの入力の派生）を安全制約および／または他の達成基準のセットと突き合わせて評価することを含む。これは、好ましくは、少なくともリモートオペレータの直接制御動作モード中に受信された制御コマンド入力に適用されるが、追加的または代替的に、選択された挙動／アクション、ＡＶロジックで生成された制御コマンド、および／または任意の他の入力に適用され得る。

【0151】

安全制約は、エージェントに関連付けられたＡＶ知覚モジュールからの情報（例えば、車両が想定している状況にあるか、制御コマンドを実行するのに十分なスペースがあるか、など）、健全性チェック（例えば、規則ベースの制約）および／もしくは速度上限ロジック（例えば、制御コマンドによって車両が速度制限もしくは他の速度閾値を超えるかどうか、制御コマンドによって車両が最小速度閾値を下回るかどうか、など）、車両の作動サブシステムからのフィードバック（例えば、制御コマンドを車両の現在の状態に基づいて実装できるかどうか）、および／または任意の他の情報のうちのいずれかまたはすべてを含み、かつ／または（例えば、図５に示すように）それに基づいて決定され得る。

【0152】

具体例では、例えば、リモートオペレータが基地に戻る決定選択を行い、その決定選択が、エージェントに搭載されたローカルコンピューティングサブシステムのＡＶロジックに伝達される。しかしながら、センササブシステムによって悪天候が検出されると、ＡＶロジックはこの決定を拒否し、次いで、方法の以前のプロセス（例えば、Ｓ２１０、Ｓ２２０など）のうちのいずれかまたはすべての繰り返しをトリガすることができる。これにより、任意選択で、この決定オプションがＳ２３０の次の反復でリモートオペレータに提示されないようにすることができる。追加的または代替的に、決定オプションを再度含めることができ、決定オプションを天候条件によって自動的にフィルタリングすることができ、かつ／または方法を他の方法で好適に実行することができる。

【0153】

追加的または代替的な一連の変形例では、リモートオペレータによって提供された入力の先制的な警告および／または拒否をリモートオペレータに提供することができる。一例では、例えば、リモートオペレータがウェイポイントをエントリしており、そのうち１つまたは複数がマップ内の所定の／静止している物体を通過する必要がある場合、提供しているウェイポイントをその車両で実装することは不可能であるとリモートオペレータに警報することができる。これは、リモートオペレータによるミスおよび／もしくは危険（例えば、衝突）の発生を防止し、かつ／または（例えば、複数の車両が１人のリモートオペレータによって監視されている場合）リモートオペレータが実行不可能なタスクに費やす時間を制限するように機能することができる。

【0154】

追加的または代替的な一連の変形例では、リモートオペレータは、車両が縁石に寄ることを伴う車両の挙動を選択する。例では、Ｓ２５０は、縁石が存在し、車両が衝突のリスクなしに縁石に到達できることを（例えば、時間、速度、車両の近くの物体などに基づいて）確認すること、（例えば、学習／訓練済みモデルではなく従来の計画手法を用いて）車両の軌道を決定すること、および（例えば、Ｓ２６０において）軌道に従って車両を動作させることを含む。車両が縁石に到達できない場合、追加的または代替的に、最小リスク操作（例えば、減速、停止など）が実行され得る。

【0155】

４．６ 方法－自律エージェントを動作させるステップＳ２６０
方法２００は、自律エージェントを動作させるステップＳ２６０を含むことができ、これは、自律エージェントを制御するように機能する。

【0156】

Ｓ２６０は、好ましくは、Ｓ２５０および／またはＳ２４０に応答して実行されるが、追加的または代替的に、任意の他のプロセスに応答して、任意の他のプロセスがない状態で（例えば、リモートオペレータがトリガされない場合）、複数回（例えば、継続的に）、かつ／または任意の他の時点で実行され得る。

【0157】

自律エージェントは、リモートオペレータから受信した入力、リモートオペレータからの（例えば、Ｓ２５０で検証された）処理済みの入力、自律エージェントによって生成された制御コマンド（例えば、リモートオペレータがトリガされない場合、リモートオペレータからの入力が安全制約を満たさない場合、など）、および／または任意の他の情報のうちのいずれかまたはすべてに基づいて動作することができる。追加的または代替的に、リモートオペレータがトリガされ、（例えば、検証に失敗したために）リモートオペレータからの入力が実施されない場合、方法のいずれかまたはすべてのプロセスが繰り返されるまで、かつ／または自律エージェントがその環境を自律的にナビゲートできるようになるまで、自律エージェントはＭＲＣ（例えば、停止状態）で留まることができる。

【0158】

追加的または代替的に、Ｓ２６０は任意の他のプロセスを含むことができる。

【0159】

簡潔にするために省略されているが、好ましい実施形態は、様々なシステム構成要素および様々な方法プロセスのあらゆる組合せならびに順列を含み、方法プロセスは、任意の好適な順序で、順次に、または同時に実行され得る。

【0160】

システムおよび／または方法の実施形態は、様々なシステム構成要素および様々な方法プロセスのあらゆる組合せならびに順列を含むことができ、本明細書に記載された方法および／またはプロセスの１つまたは複数のインスタンスは、本明細書に記載されたシステム、要素、および／もしくはエンティティの１つまたは複数のインスタンスによって、ならびに／またはそれらを使用して、非同期的に（例えば、順次に）、同時期に（例えば、同時に、並行してなど）、または任意の他の好適な順序で実行され得る。以下のシステムならびに／または方法の構成要素および／もしくはプロセスは、この参照により全体が組み込まれる上述の出願で開示されているシステムおよび／または方法のすべてまたは一部とともに、それに加えて、その代わりに、または他の方法でそれと統合して使用され得る。

【0161】

追加的または代替的な実施形態は、上記の方法および／または処理モジュールを、コンピュータ可読命令を記憶する非一時的なコンピュータ可読媒体に実装する。命令は、コンピュータ可読媒体および／または処理システムに統合されたコンピュータ実行可能構成要素によって実行され得る。コンピュータ可読媒体には、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ＥＥＰＲＯＭ、光学デバイス（ＣＤもしくはＤＶＤ）、ハードドライブ、フロッピードライブ、非一時的なコンピュータ可読媒体、または任意の好適なデバイスなどの任意の好適なコンピュータ可読媒体が含まれ得る。コンピュータ実行可能構成要素には、ＣＰＵ、ＧＰＵ、ＴＰＵＳ、マイクロプロセッサ、またはＡＳＩＣなどの非一時的なコンピュータ可読媒体に接続された（例えば、１つまたは複数の共存型もしくは分散型のリモートもしくはローカルプロセッサを含む）コンピューティングシステムおよび／または処理システムが含まれ得るが、命令は、代替的または追加的に、任意の好適な専用ハードウェアデバイスによって実行され得る。

【0162】

当業者であれば前述の詳細な説明、図面、および特許請求の範囲から分かるように、以下の特許請求の範囲に定義される本発明の範囲から逸脱することなく、本発明の好ましい実施形態に修正および変更を加えることができる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【国際調査報告】