(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022009142
(43)【公開日】2022-01-14
(54)【発明の名称】自律車両の軌道修正のための遠隔操作システムおよび方法
(51)【国際特許分類】
G08G 1/123 20060101AFI20220106BHJP
G08G 1/00 20060101ALI20220106BHJP
G08G 1/16 20060101ALI20220106BHJP
G08G 1/09 20060101ALI20220106BHJP
【ＦＩ】
G08G1/123 A
G08G1/00 X
G08G1/16 C
G08G1/09 V
【審査請求】有
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2021168747
(22)【出願日】2021-10-14
(62)【分割の表示】P 2018544028の分割
【原出願日】2016-11-02
(31)【優先権主張番号】14/932,966
(32)【優先日】2015-11-04
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】518156417
【氏名又は名称】ズークス インコーポレイテッド
(74)【代理人】
【識別番号】110001243
【氏名又は名称】特許業務法人 谷・阿部特許事務所
(72)【発明者】
【氏名】ジェシー ソル レヴィンソン
(72)【発明者】
【氏名】ティモシー デイビッド ケントリー－クレイ
(72)【発明者】
【氏名】ガブリエル サーストン シブリー
(72)【発明者】
【氏名】ラシャド ユーセフ ガマラ
(72)【発明者】
【氏名】アシュトシュ ガジャーネン レゲ
(72)【発明者】
【氏名】ギャリー リンスコット
【テーマコード（参考）】
5H181
【Ｆターム（参考）】
5H181AA01
5H181AA27
5H181BB04
5H181CC01
5H181CC04
5H181CC11
5H181CC12
5H181CC14
5H181FF04
5H181FF07
5H181FF13
5H181FF22
5H181FF27
5H181FF33
5H181JJ28
5H181LL01
5H181LL02
5H181LL04
5H181LL09
5H181MB02
5H181MB06
(57)【要約】
【課題】自律車両の実施のための解決策を提供する。
【解決手段】自律無人運転車両から通信リンクを介して遠隔操作メッセージを受信することと、センサの劣化のような自律車両に関連付けられたイベントを特定するデータを検出することと、イベントに応答して実行する１つまたは複数の行動方針を識別することと、シミュレートされた値を計算するために行動方針をシミュレートすることと、所望の方策を選択することを可能にするために、イベントに関連付けられた情報を遠隔操作コンピューティングデバイスのディスプレイに提示するために、視覚化データを生成することを含む方法。
【選択図】図３７
【解決手段】自律無人運転車両から通信リンクを介して遠隔操作メッセージを受信することと、センサの劣化のような自律車両に関連付けられたイベントを特定するデータを検出することと、イベントに応答して実行する１つまたは複数の行動方針を識別することと、シミュレートされた値を計算するために行動方針をシミュレートすることと、所望の方策を選択することを可能にするために、イベントに関連付けられた情報を遠隔操作コンピューティングデバイスのディスプレイに提示するために、視覚化データを生成することを含む方法。
【選択図】図３７
【特許請求の範囲】
【請求項1】
自律車両に配置されているセンサからセンサデータを取得することと、
少なくとも前記センサデータに基づいてイベントが生じていると判定することと、
前記イベントに少なくとも部分的に基づいて、前記自律車両がナビゲーションを継続できる確率を判定することと、
前記確率が閾値の確率以下であることに少なくとも部分的に応じて、イベントタイプを判定することと、
通信インターフェースを介して、前記イベントタイプを示す情報を送信することと、
遠隔操作コマンドを受信することであって、前記遠隔操作コマンドは、シミュレータの提案に少なくとも部分的に基づいており、前記シミュレータの提案は、シミュレータで実行された対応する遠隔操作の提案が前記イベントを軽減することを示し、前記シミュレータは、合成環境で前記イベントの実質的に同様の表現に遭遇するシミュレートされた自律車両を含む、ことと、
前記遠隔操作コマンドに少なくとも部分的に基づいて、前記自律車両を制御することと
を備える方法。
少なくとも前記センサデータに基づいてイベントが生じていると判定することと、
前記イベントに少なくとも部分的に基づいて、前記自律車両がナビゲーションを継続できる確率を判定することと、
前記確率が閾値の確率以下であることに少なくとも部分的に応じて、イベントタイプを判定することと、
通信インターフェースを介して、前記イベントタイプを示す情報を送信することと、
遠隔操作コマンドを受信することであって、前記遠隔操作コマンドは、シミュレータの提案に少なくとも部分的に基づいており、前記シミュレータの提案は、シミュレータで実行された対応する遠隔操作の提案が前記イベントを軽減することを示し、前記シミュレータは、合成環境で前記イベントの実質的に同様の表現に遭遇するシミュレートされた自律車両を含む、ことと、
前記遠隔操作コマンドに少なくとも部分的に基づいて、前記自律車両を制御することと
を備える方法。
【請求項2】
前記通信インターフェースは、前記自律車両と１つまたは複数の他のデバイスや自律車両との間の通信リンクを確立するように構成されており、前記通信リンクは、利用可能な帯域幅を有し、
前記方法は、前記通信インターフェースを介して前記センサデータの少なくとも一部を送信するように前記自律車両に指示することをさらに備える、請求項１の方法。
前記方法は、前記通信インターフェースを介して前記センサデータの少なくとも一部を送信するように前記自律車両に指示することをさらに備える、請求項１の方法。
【請求項3】
前記イベント、前記イベントタイプ、またはイベント信頼水準のうちの１つまたは複数に少なくとも部分的に基づいて、前記利用可能な帯域幅を調整するように前記自律車両に指示することをさらに備える、請求項２の方法。
【請求項4】
前記調整された利用可能な帯域幅、前記イベントタイプ、または前記イベント信頼水準うちの１つまたは複数に少なくとも部分的に基づいて、前記通信インターフェースを介して送信する前記センサデータの量を調整するように前記自律車両に指示することをさらに備える、請求項３の方法。
【請求項5】
前記通信インターフェースを介して送信する前記センサデータの量を調整するように前記自律車両に指示することは、
前記センサデータを低解像度で送信することを決定すること、
全ての前記センサデータの代わりに前記センサデータの少なくとも一部の表現を送信することを決定すること、または
前記センサデータの代わりに心拍信号を送信することを決定すること
のうちの１つまたは複数を含む、請求項４の方法。
前記センサデータを低解像度で送信することを決定すること、
全ての前記センサデータの代わりに前記センサデータの少なくとも一部の表現を送信することを決定すること、または
前記センサデータの代わりに心拍信号を送信することを決定すること
のうちの１つまたは複数を含む、請求項４の方法。
【請求項6】
前記センサデータの少なくとも一部は、前記通信リンクが失われた期間中に取得される、請求項２の方法。
【請求項7】
通信リンクの利用可能な帯域幅を決定することをさらに備え、
前記イベントタイプを示す情報を送信することは、前記通信リンクの利用可能な帯域幅に少なくも部分的にさらに基づく、請求項１の方法。
前記イベントタイプを示す情報を送信することは、前記通信リンクの利用可能な帯域幅に少なくも部分的にさらに基づく、請求項１の方法。
【請求項8】
前記利用可能な帯域幅に少なくも部分的に基づいて、送信される前記センサデータの調整された量を判定することと、
前記センサデータの調整された量の表現を判定することと、
をさらに備え、
前記イベントタイプを示す情報を送信することは、前記表現を送信することを備える、請求項７の方法。
前記センサデータの調整された量の表現を判定することと、
をさらに備え、
前記イベントタイプを示す情報を送信することは、前記表現を送信することを備える、請求項７の方法。
【請求項9】
前記表現は、前記センサデータにおいて識別されたオブジェクトに関連付けられる境界ボックスまたはメタデータのうちの１つまたは複数を含む、請求項８の方法。
【請求項10】
前記自律車両を制御することは、１つまたは複数のセンサの較正、自己診断、または修正のうちの１つまたは複数を実行するように前記自律車両を制御することを備える、請求項１の方法。
【発明の詳細な説明】
【技術分野】
【0001】
様々な実施形態は、一般に、自律車両、並びに関連付けられた機械的、電気的、および電子的ハードウェアと、コンピュータソフトウェアおよびシステムと、サービスとして自律車両群を提供する有線およびワイヤレスのネットワーク通信とに関する。より具体的には、システム、デバイス、および方法は、自律車両のナビゲーションに影響を及ぼすために（例えば、遠隔的に）軌道の修正を開始するように構成される。
【背景技術】
【0002】
関連出願の相互参照
本ＰＣＴ国際出願は、2015年11月4日に出願された「TELEOPERATION SYSTEM AND METHOD FOR TRAJECTORY MODIFICATION OF AUTONOMOUS VEHICLES」と題する米国特許出願第14/932,966号の継続出願であり、本出願は、2015年11月4日に出願された「AUTONOMOUS VEHICLE FLEET SERVICE AND SYSTEM」と題する米国特許出願第14/932,959号、2015年11月4日に出願された「ADAPTIVE MAPPING TO NAVIGATE AUTONOMOUS VEHICLES RESPONSIVE TO PHYSICAL ENVIRONMENT CHANGES」と題する米国特許出願第14/932,963号、2015年11月4日に出願された「AUTOMATED EXTRACTION OF SEMANTIC INFORMATION TO ENHANCE INCREMENTAL MAPPING MODIFICATIONS FOR ROBOTIC VEHICLES」と題する米国特許出願第14/932,940号、2015年11月4日に出願された「COORDINATION OF DISPATCHING AND MAINTAINING FLEET OF AUTONOMOUS VEHICLES」と題する米国特許出願第14/756,995号、2015年11月4日に出願された「ADAPTIVE AUTONOMOUS VEHICLE PLANNER LOGIC」と題する米国特許出願第14/756,992号、2015年11月4日に出願された「SENSOR-BASED OBJECT DETECTION OPTIMIZATION FOR AUTONOMOUS VEHICLES」と題する米国特許出願第14/756,991号、および2015年11月4日に出願された「CALIBRATION FOR AUTONOMOUS VEHICLE OPERATION」と題する米国特許出願第14/756,996号、に関係付けられ、これらはすべて本明細書において、参照によりそれらの全体が本明細書に組み込まれる。
本ＰＣＴ国際出願は、2015年11月4日に出願された「TELEOPERATION SYSTEM AND METHOD FOR TRAJECTORY MODIFICATION OF AUTONOMOUS VEHICLES」と題する米国特許出願第14/932,966号の継続出願であり、本出願は、2015年11月4日に出願された「AUTONOMOUS VEHICLE FLEET SERVICE AND SYSTEM」と題する米国特許出願第14/932,959号、2015年11月4日に出願された「ADAPTIVE MAPPING TO NAVIGATE AUTONOMOUS VEHICLES RESPONSIVE TO PHYSICAL ENVIRONMENT CHANGES」と題する米国特許出願第14/932,963号、2015年11月4日に出願された「AUTOMATED EXTRACTION OF SEMANTIC INFORMATION TO ENHANCE INCREMENTAL MAPPING MODIFICATIONS FOR ROBOTIC VEHICLES」と題する米国特許出願第14/932,940号、2015年11月4日に出願された「COORDINATION OF DISPATCHING AND MAINTAINING FLEET OF AUTONOMOUS VEHICLES」と題する米国特許出願第14/756,995号、2015年11月4日に出願された「ADAPTIVE AUTONOMOUS VEHICLE PLANNER LOGIC」と題する米国特許出願第14/756,992号、2015年11月4日に出願された「SENSOR-BASED OBJECT DETECTION OPTIMIZATION FOR AUTONOMOUS VEHICLES」と題する米国特許出願第14/756,991号、および2015年11月4日に出願された「CALIBRATION FOR AUTONOMOUS VEHICLE OPERATION」と題する米国特許出願第14/756,996号、に関係付けられ、これらはすべて本明細書において、参照によりそれらの全体が本明細書に組み込まれる。
【0003】
無人運転車両を開発するための様々な手法は、主に、消費者が購入するための無人運転車両を製造するという目的をもって従来の車両（例えば、手動運転される自動車両）を自動化することに焦点を当てている。例えば、いくつかの自動車会社および関連会社は、消費者に、運転者なしで動作することができる車両を所有する能力を提供するために、従来の自動車、および、ステアリングのような制御メカニズムを修正している。いくつかの手法において、従来の無人運転車両は、いくつかの条件において安全を重要視すべき運転機能を実施するが、運転者が、乗員の安全を危険にさらすおそれがある特定の課題を車両コントローラが解決することができない場合に、運転者が制御（例えば、ステアリングなど）を担うことを必要とする。
【0004】
機能的ではあるが、従来の無人運転車両は、一般的に、いくつかの欠点を有する。例えば、開発中の多数の無人運転車は、手動（すなわち、人間によって制御される）ステアリングおよび他の同様の自動車機能を必要とする車両から発展している。それゆえ、多数の無人運転車は、特定の座席またはロケーションが車両内で確保されている免許を受けた運転者に対応するように設計されるべきであるというパラダイムに基づく。そのため、無人運転車両は、準最適に設計されており、一般的に、車両設計を単純化し、資源を節約する（例えば、無人運転車両を製造する費用を低減する）機会を逸している。従来の無人運転車両には、他の欠点も存在する。
【0005】
他の欠点は従来の輸送サービスにも存在し、これらは、例えば、実効的に、従来の輸送および相乗りサービスを提供する一般的な手法に起因して車両の在庫を管理するのにあまり適合されていない。１つの従来の手法において、搭乗者は、人間の運転者および車両（例えば、個人が所有している）を搭乗者に割り当てる集中型サービスを介して輸送サービスを要求するために、モバイルアプリケーションにアクセスすることを要求される。異なる所有者によって所有されている車両を使用することによって、自家用車および安全システムの保守管理は検査されないままになる。別の従来の手法において、会員として登録している運転者が、会員の間で共有されている車両にアクセスすることを可能にすることによって、何らかのエンティティが、車両のグループの相乗りを可能にする。運転者は特定のロケーションにある、共有されている車両に乗車し、下車する必要があり、これは都市環境においては希少で少なく、相乗りされる車両を駐車するための相対的に高価な不動産（すなわち、駐車場）にアクセスすることを必要とするため、この手法は、従来の輸送サービスを提供するにはあまり適合されていない。上述されている従来の手法において、輸送サービスを提供するために使用される従来の車両は、運転者が離れると車両が動けなくされるため、一般的に在庫の観点から十分に利用されていない。さらに、相乗り手法（および個人によって所有されている車両の輸送サービス）は一般的に、使用状況および一般的な走行パターンに適合させるために輸送サービスの需要に合わせるために在庫のバランスを取り戻すのにはあまり適合されていない。また、自動運転自動化機能が制限されている、いくつかの従来記述されている車両もまた、人間の運転者が一般的に必要とされ得るため、在庫のバランスを取り戻すのにはあまり適合されていない。自動運転自動化機能が制限されている車両の例は、米国運輸省道路交通安全局（「ＮＨＴＳＡ」）による、レベル３（「Ｌ３」）車両として指定されている車両である。
【0006】
別の欠点として、無人運転車両に対する一般的な手法は、一般的に、走行中の車両と、車両の他の運転者または個人との間の相互作用（例えば、社会的相互作用）に関して車両を検出およびナビゲートするのにはあまり適合されていない。例えば、いくつかの従来の手法は、無人運転車両の乗員および他の車両の運転者、歩行者などに対する安全性のリスクに対処する目的のために、歩行者、自転車利用者など、および、アイコンタクト、ジェスチャなどのような関連付けられる相互作用を識別することが十分に可能ではない。
【0007】
従って、必要とされているものは、従来の技法の制限なしに、自律車両の実施のための解決策である。
【図面の簡単な説明】
【0008】
本発明の様々な実施形態または例（「例」）が、以下の詳細な説明および添付の図面において開示される。
【図1】いくつかの実施形態による、自律車両サービスプラットフォームに通信可能にネットワーク接続されている自律車両の群の実施を示す図である。
【図2】いくつかの実施形態による、自律車両の群を監視するためのフロー図の例である。
【図3A】いくつかの例による、センサおよび他の自律車両構成要素の例を示す図である。
【図3B】いくつかの例による、センサフィールド冗長性およびセンサフィールドの喪失に対する自律車両の適合の例を示す図である。
【図3C】いくつかの例による、センサフィールド冗長性およびセンサフィールドの喪失に対する自律車両の適合の例を示す図である。
【図3D】いくつかの例による、センサフィールド冗長性およびセンサフィールドの喪失に対する自律車両の適合の例を示す図である。
【図3E】いくつかの例による、センサフィールド冗長性およびセンサフィールドの喪失に対する自律車両の適合の例を示す図である。
【図4】いくつかの例による、通信レイヤを介して自律車両コントローラに通信可能に結合されている自律車両サービスプラットフォームを含むシステムを示す基本ブロック図である。
【図5】いくつかの実施形態による、自律車両を制御するためのフロー図の例である。
【図6】いくつかの実施形態による、自律車両コントローラのアーキテクチャの例を示す図である。
【図7】いくつかの実施形態による、自律車両の群との信頼可能な通信を維持するために冗長な通信チャネルを実施する自律車両サービスプラットフォームの例を示す図である。
【図8】いくつかの実施形態による、様々なアプリケーションの間でデータを交換するように構成されているメッセージングアプリケーションの例を示す図である。
【図10】いくつかの実施形態による、遠隔操作者が経路プランニングに影響を与えることができる遠隔操作者インターフェースの例を示す図である。
【図11】いくつかの例による、遠隔操作を呼び出すように構成されているプランナ（planner）の例を示す図である。
【図12】いくつかの実施形態による、自律車両を制御するように構成されているフロー図の例である。
【図13】いくつかの例による、プランナが軌道を生成することができる例を示す図である。
【図14】いくつかの実施形態による、自律車両サービスプラットフォームの別の例を示す図である。
【図15】いくつかの実施形態による、自律車両を制御するためのフロー図の例である。
【図16】いくつかの例による、群最適化マネージャ（fleet optimization manager）を実施する自律車両群マネージャ（autonomous vehicle fleet manager）の例の図である。
【図17】いくつかの実施形態による、自律車両の群を管理するためのフロー図の例である。
【図18】いくつかの実施形態による、自律車両通信リンクマネージャを実施する自律車両群マネージャを示す図である。
【図19】いくつかの実施形態による、イベント中の自律車両に対するアクションを決定するためのフロー図の例である。
【図20】いくつかの実施形態による、ローカライザの例を示す図である。
【図21】いくつかの実施形態による、集積センサデータに基づいて局所的位置（local pose）データ２５を生成するためのフロー図の例である。
【図22】いくつかの実施形態による、ローカライザの別の例を示す図である。
【図23】いくつかの実施形態による、知覚エンジンの例を示す図である。
【図24】いくつかの実施形態による、知覚エンジンデータを生成するためのフロー図の例である。
【図25】いくつかの実施形態による、セグメンテーションプロセッサ（segmentation processor）の例を示す図である。
【図26A】様々な実施形態による、オブジェクトトラッカ（object tracker）およびクラシファイヤ（classifier）の例を示す図である。
【図26B】少なくともいくつかの例による、オブジェクトトラッカの別の例を示す図である。
【図27】いくつかの例による、知覚エンジンのフロントエンドプロセッサの例の図である。
【図28】いくつかの実施形態による、合成環境において自律車両をシミュレートするように構成されているシミュレータを示す図である。
【図29】いくつかの実施形態による、自律車両の様々な態様をシミュレートするためのフロー図の例である。
【図30】いくつかの実施形態による、マップデータを生成するためのフロー図の例である。
【図31】いくつかの実施形態による、マッピングエンジンのアーキテクチャを示す図である。
【図32】いくつかの実施形態による、自律車両アプリケーションを示す図である。
【図33】様々な実施形態による、自律車両サービスの構成要素に様々な機能を提供するように構成された様々なコンピューティングプラットフォームの例を示す図である。
【図34】様々な実施形態による、自律車両サービスの構成要素に様々な機能を提供するように構成された様々なコンピューティングプラットフォームの例を示す図である。
【図35】様々な実施形態による、自律車両サービスの構成要素に様々な機能を提供するように構成された様々なコンピューティングプラットフォームの例を示す図である。
【図36】いくつかの例による、自律車両のためのナビゲーション制御に少なくとも影響を及ぼすように構成された遠隔操作者マネージャの例を示す図である。
【図37】いくつかの例による、遠隔操作サービスコマンドを促進するようにユーザインターフェースを実装するように構成された遠隔操作者マネージャの例を示す図である。
【図38】いくつかの例による、遠隔操作サービスコマンドを促進するようにユーザインターフェースを実装するように構成された遠隔操作者マネージャの別の例を示す図である。
【図39】いくつかの例による、遠隔操作サービスコマンドを促進するようにユーザインターフェースを実装するように構成された遠隔操作者マネージャのさらに別の例を示す図である。
【図40】いくつかの例による、遠隔操作サービスを実行することの例を示すフロー図である。
【図41】様々な実施形態による、自律車両サービスの構成要素に様々な遠隔操作関連の機能および／または構造を提供するように構成された様々なコンピューティングプラットフォームの例を示す図である。
【発明を実施するための形態】
【0009】
様々な実施形態または例は、システム、プロセス、装置、ユーザインターフェース、コンピュータ可読記憶媒体または光、電子、もしくはワイヤレス通信リンクを介してプログラム命令が送信されるコンピュータネットワークのようなコンピュータ可読媒体上の一連のプログラム命令としてを含む、いくつかの方法で実施されてもよい。一般に、開示されているプロセスの動作は、特許請求の範囲において別途提供されない限り、任意の順序で実施されてもよい。
【0010】
１つまたは複数の例の詳細な説明が、添付の図面とともに下記に提供される。詳細な説明は、そのような例と関連して提供されるが、いかなる特定の例にも限定されない。その範囲は、特許請求の範囲、並びにいくつかのその代替形態、修正形態、および均等物によってのみ限定される。完全な理解を提供するために、以下の説明において、いくつかの特定の詳細が記載されている。これらの詳細は、例の目的のために提供されており、記述されている技法は、これらの特定の詳細のいくつかまたはすべてなしに、特許請求の範囲に従って実践されることができる。明瞭化のために、例に関係付けられる技術分野において知られている技術的資料は、説明を不必要に曖昧にすることを回避するために、詳細には記述されていない。
【0011】
図１は、いくつかの実施形態による、自律車両サービスプラットフォームに通信可能にネットワーク接続されている自律車両の群の実施を示す図である。図１００は、サービスとして動作している自律車両の群１０９（例えば、自律車両１０９ａ～１０９ｅのうちの１つまたは複数）を示し、各自律車両１０９は、道路網１１０を自動運転し、自律車両サービスプラットフォーム１０１との通信リンク１９２を確立するように構成されている。自律車両の群１０９がサービスを構成する例において、ユーザ１０２は、自律輸送手段を求める要求１０３を、１つまたは複数のネットワーク１０６を介して自律車両サービスプラットフォーム１０１に送信することができる。応答して、自律車両サービスプラットフォーム１０１は、ユーザ１０２を地理的ロケーション１１９から地理的ロケーション１１１へと自律的に輸送するために、自律車両１０９の１つを派遣することができる。自律車両サービスプラットフォーム１０１は、ステーション１９０から地理的ロケーション１１９へと自律車両を派遣してもよく、または、ユーザ１０２の輸送要求にサービスするために、すでに移動中の（例えば、乗員なしで）自律車両１０９ｃを転用してもよい。自律車両サービスプラットフォーム１０１は、ユーザ１０２（例えば、搭乗者としての）からの要求に応答して、搭乗者を乗せて移動中の自律車両１０９ｃを転用するようにさらに構成されてもよい。加えて、自律車両サービスプラットフォーム１０１は、既存の搭乗者が下車した後にユーザ１０２の要求にサービスするために転用するために、搭乗者を乗せて移動中の自律車両１０９ｃを確保するように構成されてもよい。複数の自律車両サービスプラットフォーム１０１（図示せず）および１つまたは複数のステーション１９０が、道路網１１０に関連して１つまたは複数の自律車両１０９をサービスするために実施されてもよい。１つまたは複数のステーション１９０は、自律車両１０９の在庫を格納、サービス、管理、および／または維持するように構成されてもよい（例えばステーション１９０は、自律車両サービスプラットフォーム１０１を実施する１つまたは複数のコンピューティングデバイスを含んでもよい）。
【0012】
いくつかの例によれば、自律車両１０９ａ～１０９ｅのうちの少なくともいくつかは、双方向性自律車両（「ＡＶ」）１３０のような双方向性自律車両として構成される。双方向性自律車両１３０は、限定ではないが、主に長手方向軸１３１に沿っていずれかの方向に走行するように構成されてもよい。従って、双方向性自律車両１３０は、隣接した周辺の他者（例えば、他の運転者、歩行者、自転車利用者など）、および、双方向性自律車両１３０が走行している方向を警告するために、車両の外部のアクティブな照明を実施するように構成されてもよい。例えば、アクティブ光源１３６が、第１の方向に走行しているときはアクティブライト（active light）１３８ａとして実施されてもよく、または、第２の方向に走行しているときはアクティブライト１３８ｂとして実施されてもよい。アクティブライト１３８ａは、任意選択のアニメーション（例えば、可変強度の光の光パターンまたは経時的に変化し得る色）を伴う、１つまたは複数の色からなる第１のサブセットを使用して実施されてもよい。同様に、アクティブライト１３８ｂは、１つまたは複数の色からなる第２のサブセット、および、アクティブライト１３８ａのものとは異なってもよい光パターンを使用して実施されてもよい。例えば、アクティブライト１３８ａは、「ヘッドライト」としての白色光を使用して実施されてもよく、一方、アクティブライト１３８ｂは、「テールライト」としての赤色光を使用して実施されてもよい。アクティブライト１３８ａおよび１３８ｂ、またはその部分は、（例えば、黄色光を使用して）「ターンシグナル指示」機能を提供することのような、他の色に光関連機能を提供するように構成されてもよい。様々な例によれば、自律車両１３０内の論理は、任意の数の管轄に関する様々な安全性要件および交通規制または法律に準拠するように、アクティブライト１３８ａおよび１３８ｂを適応させるように構成されてもよい。
【0013】
いくつかの実施形態において、双方向性自律車両１３０は、四半部（quad portion）１９４のような各四半部内に、同様の構造的要素および構成要素を有するように構成されてもよい。四半部は、少なくともこの例においては、両方とも、平面１３２および１３４の各側に２つの同様の半部を形成するのに車両を通過する平面１３２および１３４の交差によって規定される双方向性自律車両１３０の部分として示されている。さらに、双方向性自律車両１３０は、他の機能の中でも運転制御（例えば、推進、ステアリングなど）およびアクティブ光源１３６を含む主要ないくつかの車両機能を制御するように構成されている論理（例えば、ハードウェアもしくはソフトウェア、またはそれらの組み合わせ）を含む自律車両コントローラ１４７を含むことができる。双方向性自律車両１３０はまた、車両上の様々なロケーションに配置されているいくつかのセンサ１３９をも含む（他のセンサは図示されていない）。
【0014】
自律車両コントローラ１４７は、自律車両１０９の局所的位置（例えば、局所的場所）を決定し、車両に対する外部オブジェクトを検出するようにさらに構成されてもよい。例えば、双方向性自律車両１３０が、道路網１１０内で方向１９９に走行していると考える。自律車両コントローラ１４７のローカライザ（図示せず）が、地理的ロケーション１１１における局所的位置を決定することができる。そのため、ローカライザは、建造物１１５および１１７の表面と関連付けられるセンサデータのような、取得されるセンサデータを使用することができ、これは、局所的位置を決定するために、マップデータ（例えば、反射データを含む３Ｄマップデータ）のような基準データに対して比較されることができる。さらに、自律車両コントローラ１４７の知覚エンジン（図示せず）が、外部オブジェクト１１２（「樹木」）および外部オブジェクト１１４（「歩行者」）のような外部オブジェクトの挙動を検出、分類、および予測するように構成されてもよい。そのような外部オブジェクトの分類は、外部オブジェクト１１２のような静的オブジェクト、および、外部オブジェクト１１４のような動的オブジェクトとして、オブジェクトを広範に分類することができる。ローカライザおよび知覚エンジン、並びにＡＶコントローラ１４７の他の構成要素は、協働して、自律車両１０９に自律的に運転させる。
【0015】
いくつかの例によれば、自律車両サービスプラットフォーム１０１は、自律車両１０９が遠隔操作を要求する場合に、遠隔操作者サービスを提供するように構成されている。例えば、自律車両１０９ｄ内の自律車両コントローラ１４７が、挿入図１２０に示されているように、ポイント１９１において道路１２２上の経路１２４を閉塞しているオブジェクト１２６を検出すると考える。自律車両コントローラ１４７が、車両１０９ｄが相対的に高い確実度で安全に移動することができる経路または軌道を確定することができない場合、自律車両コントローラ１４７は、遠隔操作サービスを求める要求メッセージ１０５を送信することができる。応答して、遠隔操作者コンピューティングデバイス１０４が、障害物１２６を首尾よく（かつ安全に）切り抜けるための方策を実施するための命令を、遠隔操作者１０８から受信することができる。その後、車両に、例えば、代替の経路１２１に沿って移動するときに二重線のセットを安全にまたがせるために、自律車両１０９ｄに応答データ１０７が返信され得る。いくつかの例において、遠隔操作者コンピューティングデバイス１０４は、経路のプランニングから除外するために、地理的領域を識別する応答を生成することができる。特に、追従するための経路を提供するのではなく、遠隔操作者１０８は、自律車両が回避すべき領域またはロケーションを規定することができる。
【0016】
上記を考慮して、自律車両１３０および／または自律車両コントローラ１４７、並びにそれらの構成要素の構造および／または機能は、自律車両１０９が自動運転することを可能にするために、位置特定および知覚のような自律関連動作を通じてリアルタイム（またはほぼリアルタイム）の軌道計算を実施することができる。
【0017】
いくつかの事例において、双方向性自律車両１３０の双方向性は、互いに同様または実質的に同様である四半部１９４（または任意の他の数の対称な部分）を有する車両を提供する。そのような対称性は、設計の複雑度を低減し、相対的に、固有の構成要素または構造の数を低減し、それによって、在庫および製造の複雑度を低減する。例えば、駆動系およびホイールシステムは、それら四半部１９４のいずれに配置されてもよい。さらに、自律車両コントローラ１４７は、そうでなければ乗員の安全性に影響を与える可能性があるイベントまたは課題を解決しながら、自律車両１０９が移動中に遅延される可能性を低減するために、遠隔操作サービスを呼び出すように構成されている。いくつかの事例において、道路網１１０の可視部分は、自律車両１０９の図１に示す道路網に対する動きを限定または他の様態で制御することができる地理上のフェンス領域を示す。様々な例によれば、自律車両１０９、およびその群は、共有されている車両の効率を提供しながら、ポイント間の人の移動の簡便性およびプライバシーを伴って需要に応じた輸送手段を提供することができるレベル４（「完全自動運転」またはＬ４）車両として動作するように構成可能であり得る。いくつかの例において、自律車両１０９、または、本明細書において記述されている任意の自律車両は、ステアリングホイール、または、自律車両１０９の手動（すなわち、人間によって制御される）ステアリングを提供する任意の他の機械的手段を省略するように構成されてもよい。さらに、自律車両１０９、または本明細書に記載された任意の自律車両は、乗員がステアリングホイール、またはステアリングシステムのための任意の機械的インターフェースと係合するために車両内に確保されたシートまたは場所を省略するように構成され得る。
【0018】
図２は、いくつかの実施形態による、自律車両の群を監視するためのフロー図の例である。２０２において、フロー２００は、自律車両の群が監視されるときに開始する。少なくとも１つの自律車両が、車両に、第１の地理的領域から第２の地理的領域へと自律的に移動させるように構成されている自律車両コントローラを含む。２０４において、車両の計算されている信頼水準と関連付けられるイベントを表すデータが検出される。イベントは、自律車両の動作に影響を与えるか、または、動作に影響を与える可能性がある条件または状況であり得る。イベントは、自律車両の内部または外部であってもよい。例えば、道路を閉塞している障害物、および、通信の低減または喪失が、イベントとして見られ得る。イベントは、交通条件または渋滞、および、知覚エンジンによって知覚される、予想外のまたは異常な数またはタイプの外部オブジェクト（またはトラック）を含み得る。イベントは、天候関連条件（例えば、氷または雨に起因する摩擦の喪失）、または、他の車両の人間の運転者の目に明るく陽が差すようにする水平線に対する低い角度のような、陽が差している角度（例えば、日没時）を含み得る。これらのおよび他の条件は、遠隔操作者サービスの呼び出しを引き起こすか、または、車両に安全停止軌道を実行させるイベントとして見られ得る。
【0019】
２０６において、候補軌道のサブセットを表すデータが、イベントの検出に応答して自律車両から受信され得る。例えば、自律車両コントローラのプランナが、１秒のような単位時間あたりに多数の軌道（例えば、数千以上）を計算および評価することができる。いくつかの実施形態において、候補軌道は、自律車両がイベントを考慮して（例えば、遠隔操作者によって提供される代替の経路を使用して）安全に前進することができる相対的により高い信頼水準を提供する軌道のサブセットである。いくつかの候補軌道は、他の候補軌道よりも高くランク付けされ、または、他の候補軌道よりも高い信頼度と関連付けられ得ることに留意されたい。いくつかの例によれば、候補軌道のサブセットは、プランナ、遠隔操作者コンピューティングデバイス（例えば、遠隔操作者が、近似の経路を決定および提供することができる）などのような任意の数のソースに由来することができ、または、候補軌道のサブセットとして組み合わされることができる。２０８において、経路案内データが、１つまたは複数のプロセッサにおいて識別され得る。経路案内データは、遠隔操作者が、候補軌道のうちの１つまたは複数から案内される軌道を選択するのを補助するように構成されてもよい。いくつかの事例において、経路案内データは、特定の候補軌道が、イベントが自律車両の動作に影響を与え得る可能性を低減または無視することができる確実度を指示する信頼水準または確率を指示する値を指定する。選択される候補軌道としての案内される軌道は、２１０において、遠隔操作者からの入力（例えば、遠隔操作者は、別様にランク付けされている候補軌道のグループから少なくとも１つの候補軌道を、案内される軌道として選択することができる）に応答して受信され得る。選択は、いくつかの候補軌道を、例えば、最も高い信頼水準から最も低い信頼水準への順序においてリストしている操作者インターフェースを介して行われてもよい。２１２において、案内される軌道としての候補軌道の選択が、車両に送信され得、これは、車両に、遠隔操作者によって指定される操作を実施させることによって、条件を解決するための案内される軌道を実施する。そのため、自律車両は、非規範的動作状態から移行することができる。
【0020】
図３Ａは、いくつかの例による、センサおよび他の自律車両構成要素の例を示す図である。図３００は、センサ、信号ルータ３４５、駆動系３４９、取り外し可能電池３４３、オーディオ生成器３４４（例えば、スピーカまたはトランスデューサ）、および自律車両（「ＡＶ」）制御論理３４７を含む双方向性自律車両３３０の内部図を示す。図３００に示されているセンサは、他のセンサタイプおよびモダリティの中でも、画像キャプチャセンサ３４０（例えば、任意のタイプの光キャプチャデバイスまたはカメラ）、オーディオキャプチャセンサ３４２（例えば、任意のタイプのマイクロフォン）、レーダ（RADAR）デバイス３４８、ソナーデバイス３４１（または、超音波センサまたは音響関連センサを含む、他の同様のセンサ）、およびライダ（LIDAR）デバイス３４６を含む（慣性計測装置すなわち「ＩＭＵ」、全地球測位システム（「ＧＰＳ」）センサ、ソナーセンサなどのような、それらのいくつかは図示されていない）。四半部３５０は、双方向性自律車両３３０の４つの「四半部」の各々の対称性を表していることに留意されたい（例えば各四半部３５０は、図示されているものの他に、ホイール、駆動系３４９、同様のステアリングメカニズム、同様の構造的支持および部材などを含んでもよい）。図３Ａに示されているように、同様のセンサが、各四半部３５０内の同様のロケーションに配置されてもよいが、任意の他の構成が実施されてもよい。各ホイールは、個々に、かつ互いに独立してステアリング可能であり得る。また、取り外し可能電池３４３は、その場で充電するのではなく、スワップインおよびスワップアウトされることを促進するように構成され得、それによって、電池３４３を充電する必要性に起因する休止時間が低減される、または、無視できることを保証する。自律車両コントローラ３４７ａは、双方向性自律車両３３０内で使用されるものとして示されているが、自律車両コントローラ３４７ａは、そのように限定されず、地上、空中、または海上を問わず、一方向性自律車両または任意の他のタイプの車両内で実施されてもよい。図３Ａに示されているセンサの示されている、および、記述されている位置、ロケーション、向き、量、およびタイプは、限定であるようには意図されておらず、そのため、任意の数およびタイプのセンサがあってもよく、任意のセンサが自律車両３３０上のいずれの場所に配置および配向されてもよいことに留意されたい。
【0021】
いくつかの実施形態によれば、自律車両（「ＡＶ」）制御論理３４７の部分は、グラフィックスプロセッシングユニット（「ＧＰＵ」）のクラスタをプログラミングするのに適したフレームワークおよびプログラミングモデルを実施するＧＰＵのクラスタを使用して実施されてもよい。例えば、ｃｏｍｐｕｔｅ ｕｎｉｆｉｅｄ ｄｅｖｉｃｅ ａｒｃｈｉｔｅｃｔｕｒｅ（「ＣＵＤＡ」）に準拠したプログラミング言語およびアプリケーションプログラミングインターフェース（「ＡＰＩ」）モデルが、ＧＰＵをプログラミングするために使用されてもよい。ＣＵＤＡ（登録商標）は、カリフォルニア州サンタクララ所在のＮＶＩＤＩＡによって製造および維持されている。ＯｐｅｎＣＬ、または任意の他の並列プログラミング言語のような他のプログラミング言語が実施されてもよいことに留意されたい。
【0022】
いくつかの実施形態によれば、自律車両制御論理３４７は、モーションコントローラ３６２、プランナ３６４、知覚エンジン３６６、およびローカライザ３６８を含むように示されている自律車両コントローラ３４７ａとして、ハードウェアおよび／またはソフトウェアにおいて実施されてもよい。示されているように、自律車両コントローラ３４７ａは、カメラデータ３４０ａ、ライダデータ３４６ａ、およびレーダデータ３４８ａ、または、ソナーデータ３４１ａ等を含む任意の他の範囲検知または位置特定データを受信するように構成されている。自律車両コントローラ３４７ａはまた、ＧＰＳデータ３５２、ＩＭＵデータ３５４、および他の位置検知データ（例えば、ステアリング角度、角速度などのようなホイール関連データ）のような測位データを受信するようにも構成されている。さらに、自律車両コントローラ３４７ａは、任意の他のセンサデータ３５６および基準データ３３９を受信してもよい。いくつかの事例において、基準データ３３９は、マップデータ（例えば、３Ｄマップデータ、２Ｄマップデータ、４Ｄマップデータ（例えば、エポック決定（Epoch Determination））を含む）およびルートデータ（例えば、限定ではないが、ＲＮＤＦデータ（または同様のデータ）、ＭＤＦデータ（または同様のデータ）を含む道路網データ）などを含む。
【0023】
ローカライザ３６８は、ＧＰＳデータ３５２、ホイールデータ、ＩＭＵデータ３５４、ライダデータ３４６ａ、カメラデータ３４０ａ、レーダデータ３４８ａなどのような１つまたは複数のソースからのセンサデータ、および基準データ３３９（例えば、３Ｄマップデータおよびルートデータ）を受信するように構成されている。ローカライザ３６８は、双方向性自律車両３３０の局所的位置（または場所）を決定するために、センサデータをマップデータと比較することによって、データを統合（例えば、センサデータを融合）および分析する。いくつかの実施形態によれば、ローカライザ３６８は、任意の自律車両の位置または場所をリアルタイムまたはほぼリアルタイムに生成または更新することができる。ローカライザ３６８およびその機能は、「双方向性」車両に限定される必要はなく、任意のタイプの任意の車両において実施され得ることに留意されたい。それゆえ、ローカライザ３６８（およびＡＶコントローラ３４７ａの他の構成要素）は、「一方向性」車両または任意の非自律車両において実施されてもよい。いくつかの実施形態によれば、局所的位置を記述するデータは、ｘ座標、ｙ座標、ｚ座標（または、極座標系または円筒座標系などを含む任意の座標系の任意の座標）、ヨー値、ロール値、ピッチ値（例えば、角度値）、レート（例えば、速度）、高度などのうちの１つまたは複数を含んでもよい。
【0024】
知覚エンジン３６６は、ライダデータ３４６ａ、カメラデータ３４０ａ、レーダデータ３４８ａなどのような１つまたは複数のソースからのセンサデータ、および局所的位置データを受信するように構成されている。知覚エンジン３６６は、センサデータおよび他のデータに基づいて外部オブジェクトのロケーションを決定するように構成され得る。例えば、外部オブジェクトは、運転可能な表面の部分でないオブジェクトであり得る。例えば、知覚エンジン３６６は、外部オブジェクトを、歩行者、自転車利用者、犬、他の車両などとして検出および分類することが可能であり得る（例えば、知覚エンジン３６６は、ラベルを含む意味情報と関連付けられ得る分類のタイプに従ってオブジェクトを分類するように構成される）。これらの外部オブジェクトの分類に基づいて、外部オブジェクトは、動的オブジェクトまたは静的オブジェクトとしてラベル付けされ得る。例えば、樹木として分類されている外部オブジェクトは静的オブジェクトとしてラベル付けされ得、一方、歩行者として分類されている外部オブジェクトは、動的オブジェクトとしてラベル付けされ得る。静的としてラベル付けされている外部オブジェクトは、マップデータ内に記述されてもよく、または、記述されなくてもよい。静的としてラベル付けされる可能性がある外部オブジェクトの例は、道路を横切って配置されているセメント壁、車線閉鎖標識、新たに配置された郵便ポスト、または、道路に隣接するごみ箱などを含む。動的としてラベル付けされる可能性がある外部オブジェクトの例は、自転車利用者、歩行者、動物、他の車両などを含む。外部オブジェクトが動的としてラベル付けされ、外部オブジェクトに関するさらなるデータが、分類タイプと関連付けられる一般的なレベルの活動および速度、並びに、挙動パターンを指示し得る場合。外部オブジェクトに関するさらなるデータは、外部オブジェクトを追跡することによって生成され得る。そのため、分類タイプは、外部オブジェクトが、例えば、プランニングされている経路に沿って走行している自律車両と干渉し得る可能性を予測または他の様態で決定するために使用され得る。例えば、歩行者として分類される外部オブジェクトは、（例えば、追跡データに基づいて）何らかの最大速度、および、平均速度と関連付けられ得る。自律車両の速度に対する歩行者の速度は、衝突の可能性があるか否かを決定するために使用されることができる。さらに、知覚エンジン３６４は、オブジェクトの現在および未来の状態と関連付けられる不確定度を決定することができる。いくつかの例において、不確定度は、推定値（または確率）として表現されてもよい。
【0025】
プランナ３６４は、知覚エンジン３６６から知覚データを受信するように構成されており、また、ローカライザ３６８からのローカライザデータをも含むことができる。いくつかの例によれば、知覚データは、自律車両の近傍に配置されている静的オブジェクトおよび動的オブジェクトを指定する障害物マップを含むことができ、一方で、ローカライザデータは、局所的位置または場所を含むことができる。動作時、プランナ３６４は、多数の軌道を生成し、少なくとも、外部の動的オブジェクトおよび静的オブジェクトの相対ロケーションに対する自律車両のロケーションに基づいて、軌道を評価する。プランナ３６４は、衝突のない走行を提供するように自律車両を誘導する最適な軌道を、様々な基準に基づいて選択する。いくつかの例において、プランナ３６４は、確率的に決定される軌道として軌道を計算するように構成されてもよい。さらに、プランナ３６４は、ステアリングおよび推進コマンド（並びに減速またはブレーキコマンド）をモーションコントローラ３６２に送信することができる。モーションコントローラ３６２はその後、ステアリングコマンド、スロットルまたは推進コマンド、およびブレーキコマンドのようなコマンドのいずれかを、ステアリングまたはホイール角度および／または速度３５３の変更を実施するための制御信号（例えば、アクチュエータまたは他の機械的インターフェースに対する適用のための）に変換することができる。
【0026】
図３Ｂ～図３Ｅは、いくつかの例による、センサフィールド冗長性およびセンサフィールドの喪失に対する自律車両の適合の例を示す図である。図３Ｂの図３９１は、センサ３１０ａがオブジェクトを（例えば、範囲もしくは距離または他の情報を決定するために）検出するセンサフィールド３０１ａを示す。センサ３１０ａは、任意のタイプのセンサまたはセンサモダリティを実施することができるが、センサ３１０ａ、並びに、センサ３１０ｂ、３１０ｃ、および３１０ｄのような同様に記述されているセンサは、ライダデバイスを含んでもよい。それゆえ、センサフィールド３０１ａ、３０１ｂ、３０１ｃ、および３０１ｄは各々、レーザが延伸するフィールドを含む。図３Ｃの図３９２は、各々が対応するライダセンサ３１０（図示せず）によって生成される４つの重なり合うセンサフィールドを示す。示されているように、センサフィールドの部分３０１は、重なり合うセンサフィールドを含まず（例えば、単一のライダフィールド）、センサフィールドの部分３０２は、２つの重なり合うセンサフィールドを含み、部分３０３は３つの重なり合うセンサフィールドを含み、それによって、そのようなセンサは、ライダセンサが機能不全になった場合に複数レベルの冗長性を提供する。
【0027】
図３Ｄは、いくつかの例による、ライダ３０９の動作が機能不全にされることに起因するセンサフィールドの喪失を示す。図３Ｃのセンサフィールド３０２は、単一のセンサフィールド３０５に変換されており、図３Ｃのセンサフィールド３０１のうちの１つは失われて間隙（gap）３０４になっており、図３Ｃのセンサフィールド３０３のうちの３つは、センサフィールド３０６に変換されている（すなわち、２つの重なり合うフィールドに限定される）。自律車両３３０ｃが進行方向３９６に走行している場合、動いている自律車両の正面のセンサフィールドは、後端位置にあるものよりもロバストでない場合がある。いくつかの例によれば、自律車両コントローラ（図示せず）は、車両の正面の前方領域におけるセンサフィールドの喪失に対処するために、自律車両３３０ｃの双方向性を活用するように構成されている。図３Ｅは、自律車両３３０ｄの正面のセンサフィールドの一定のロバスト性を回復するための双方向性操作を示す。示されているように、テールライト３４８と同延のよりロバストなセンサフィールド３０２が、車両３３０ｄの後部に配置されている。好都合な場合、自律車両３３０ｄは、私道３９７に寄ることによって双方向性操作を実施し、テールライト３４８が自律車両３３０ｄの他の側（例えば、後縁）にアクティブに切り替わるように、その双方向性を切り替える。示されているように、自律車両３３０ｄは、進行方向３９８に沿って走行しているときに、車両の正面のロバストなセンサフィールド３０２を回復する。さらに、上述した双方向性操作は、交通量の多い車道に戻ることを必要とするより複雑化された操作の必要性を取り除く。
【0028】
図４は、いくつかの例による、通信レイヤを介して自律車両コントローラに通信可能に結合されている自律車両サービスプラットフォームを含むシステムを示す機能ブロック図である。図４００は、自律車両４３０内に配置されている自律車両コントローラ（「ＡＶ」）４４７を示し、自律車両４３０は、自律車両コントローラ４４７に結合されているいくつかのセンサ４７０を含む。センサ４７０は、１つまたは複数のライダデバイス４７２、１つまたは複数のカメラ４７４、１つまたは複数のレーダ４７６、１つまたは複数の全地球測位システム（「ＧＰＳ」）データ受信機－センサ、１つまたは複数の慣性計測装置（「ＩＭＵ」）４７５、１つまたは複数のオドメトリセンサ４７７（例えば、ホイールエンコーダセンサ、ホイール速度センサなど）、および、赤外線カメラまたはセンサ、ハイパースペクトル対応センサ（hyperspectral-capable sensor）、超音波センサ（または任意の他の音響エネルギーに基づくセンサ）、無線周波数に基づくセンサなどのような、任意の他の適切なセンサ４７８を含む。いくつかの事例において、ホイールのステアリング角度を検知するように構成されているホイール角度センサが、オドメトリセンサ４７７または適切なセンサ４７８として含まれてもよい。非限定例において、自律車両コントローラ４４７は、４つ以上のライダ４７２、１６個以上のカメラ４７４および４つ以上のレーダユニット４７６を含んでもよい。さらに、センサ４７０は、自律車両コントローラ４４７の構成要素、および、自律車両サービスプラットフォーム４０１の要素にセンサデータを提供するように構成されてもよい。図４００に示されているように、自律車両コントローラ４４７は、プランナ４６４と、モーションコントローラ４６２と、ローカライザ４６８と、知覚エンジン４６６と、ローカルマップジェネレータ４４０とを含む。図４の図４００に示されている要素は、１つまたは複数の他の図面に関連して記述されている、同様に名付けられている要素としての構造および／または機能を含むことができることに留意されたい。
【0029】
ローカライザ４６８は、マップデータ、ルートデータ（例えば、ＲＮＤＦのようなデータのような、道路網データ）などを含んでもよい基準データに対して自律車両を位置特定する（すなわち、局所的位置を決定する）ように構成されている。いくつかの事例において、ローカライザ４６８は、例えば、環境の表現の特徴に対する自律車両４３０のロケーションを表現することができる、空間内のポイントを識別するように構成されている。ローカライザ４６８は、各個々のタイプのセンサに関係付けられる不確実性を低減するために（例えば、異なるセンサモダリティの）センサデータの複数のサブセットを統合するように構成され得るセンサデータインテグレータ（sensor data integrator）４６９を含むように示されている。いくつかの例によれば、センサデータインテグレータ４６９は、局所的位置を決定するための統合されたセンサデータ値を形成するために、センサデータ（例えば、ライダデータ、カメラデータ、レーダデータなど）を融合するように構成されている。いくつかの例によれば、ローカライザ４６８は、２Ｄマップデータ、３Ｄマップデータ、４Ｄマップデータなどを格納するためのマップデータリポジトリ（map data repository）４０５ａを含む、基準データリポジトリ（reference data repository）４０５に由来する基準データを取り出す。ローカライザ４６８は、自律車両４３０の位置を識別、または、他の様態で確認するためにマップデータと照合するために、環境内の特徴の少なくともサブセットを識別するように構成され得る。いくつかの例によれば、ローカライザ４６８は、特徴のセットが１つまたは複数の特徴、またはすべての特徴を含むことができるように、環境内の任意の量の特徴を識別するように構成されてもよい。特定の例において、任意の量のライダデータ（例えば、ほとんどのまたは実質的にすべてのライダデータ）が、位置特定の目的のためにマップを表現するデータと比較され得る。一般的に、環境特徴とマップデータとの比較からもたらされる一致しないオブジェクトは、車両、自転車利用者、歩行者などのような動的オブジェクトであり得る。障害物を含む動的オブジェクトの検出は、マップデータを用いてまたは用いずに実施され得ることに留意されたい。特に、動的オブジェクトは、マップデータから独立して（すなわち、マップデータがない状態で）検出および追跡されてもよい。いくつかの事例において、２Ｄマップデータおよび３Ｄマップデータは、「グローバルマップデータ」、または、自律車両サービスプラットフォーム４０１によってある時点において認証されているマップデータとして見られ得る。マップデータリポジトリ４０５ａ内のマップデータは定期的に更新および／または認証され得るため、マップデータと、自律車両が位置決めされる実際の環境との間には逸脱が存在する場合がある。それゆえ、ローカライザ４６８は、位置特定を強化するために、ローカルマップジェネレータ４４０によって生成される、ローカルに導出されたマップデータを取り出すことができる。ローカルマップジェネレータ４４０は、ローカルマップデータをリアルタイムまたはほぼリアルタイムに生成するように構成されている。任意選択的に、ローカルマップジェネレータ４４０は、例えば、位置特定において動的オブジェクトを無視することによって、ローカルに生成されるマップの精度を強化するために、静的および動的オブジェクトマップデータを受信してもよい。少なくともいくつかの実施形態によれば、ローカルマップジェネレータ４４０は、ローカライザ４６８と統合されてもよく、または、その部分として形成されてもよい。少なくとも１つの事例において、ローカルマップジェネレータ４４０は、独立してまたはローカライザ４６８と協働してのいずれかで、ｓｉｍｕｌｔａｎｅｏｕｓ ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ ｍａｐｐｉｎｇ（「ＳＬＡＭ」）などに基づいてマップおよび／または基準データを生成するように構成され得る。ローカライザ４６８は、マップデータの使用に対する「混合」手法を実施することができ、それによって、ローカライザ４６８内の論理は、マップデータの各ソースの信頼度に応じて、マップデータリポジトリ４０５ａからのマップデータまたはローカルマップジェネレータ４４０からのローカルマップデータのいずれかから様々な量のマップデータを選択するように構成されることができることに留意されたい。それゆえ、ローカライザ４６８は依然として、ローカルに生成されるマップデータを考慮して古いマップデータを使用することができる。
【0030】
知覚エンジン４６６は、例えば、プランナ４６４が、自律車両４３０が移動している周囲環境内の対象のオブジェクトを識別することによってルートをプランニングし、軌道を生成するのを補助するように構成されている。さらに、対象のオブジェクトの各々と確率が関連付けられ得、それにより、確率は、対象のオブジェクトが安全な走行に対する脅威となり得る可能性を表現することができる（例えば、高速で動くオートバイは、新聞を読みながらバス停のベンチに座っている人よりも強化された追跡を必要とし得る）。示されているように、知覚エンジン４６６は、オブジェクトディテクタ４４２およびオブジェクトクラシファイヤ４４４を含む。オブジェクトディテクタ４４２は、環境内の他の特徴に対してオブジェクトを区別するように構成されており、オブジェクトクラシファイヤ４４４は、オブジェクトを動的オブジェクトまたは静的オブジェクトのいずれかとして分類し、プランニングの目的のために、自律車両４３０に対する動的オブジェクトまたは静的オブジェクトのロケーションを追跡するように構成されることができる。さらに、知覚エンジン４６６は、静的または動的オブジェクトに、オブジェクトがプランナ４６４における経路プランニングに影響を与える可能性がある障害物である（またはそうなる可能性を有する）か否かを指定する識別子を割り当てるように構成されることができる。図４には示されていないが、知覚エンジン４６６はまた、セグメンテーションおよび追跡のような、他の知覚関連機能を実施することもできることに留意されたい。それらの例は後述する。
【0031】
プランナ４６４は、利用可能であるいくつかの経路またはルートを介して目的地に達するという目標を達成するためのいくつかの候補軌道を生成するように構成されている。軌道エバリュエータ（trajectory evaluator）４６５が、候補軌道を評価し、候補軌道のいずれのサブセットが目的地までの衝突のない経路を提供する最も高い程度の信頼水準と関連付けられるかを識別するように構成されている。そのため、軌道エバリュエータ４６５は、コマンドに、車両構成要素４５０（例えば、アクチュエータまたは他のメカニズム）に対する制御信号を生成させるための関連する基準に基づいて最適な軌道を選択することができる。関連する基準は、最適な軌道を規定する任意の数のファクタを含んでもよく、その選択は、衝突を低減することに限定される必要はないことに留意されたい。例えば、軌道の選択は、ユーザ経験（例えば、ユーザ快適性）、および、交通規制および法律に準拠する衝突のない軌道を最適化するように行われてもよい。ユーザ経験は、（例えば、けいれんのような走行または他の不快な動きを低減するために）様々な直線方向および角度方向における加速を加減することによって最適化され得る。いくつかの事例において、関連する基準の少なくとも部分は、最適化された衝突のない走行を維持しながら、他の基準のいずれに優越または優先すべきかを指定することができる。例えば、限定された状況において軌道を生成するときに（例えば、自転車利用者と併走するために二重黄色線をまたぐとき、または、交通流量に合わせるために提示されている速度制限よりも高速で走行しているとき）、法的な制約は一時的に撤廃または緩和され得る。そのため、制御信号は、駆動系および／またはホイールにおける推進および方向の変化を引き起こすように構成される。この例において、モーションコントローラ４６２は、コマンドを、自律車両４３０の移動を制御するための制御信号（例えば、速度、ホイール角度など）に変換するように構成されている。軌道エバリュエータ４６５が、衝突のない最適化された走行を提供するために十分に高い信頼水準を保証するためには不十分な情報を有する場合、プランナ４６４は、遠隔操作者４０４に対する、遠隔操作者の支持を求める要求を生成することができる。
【0032】
自律車両サービスプラットフォーム４０１は、遠隔操作者４０４（例えば、遠隔操作者コンピューティングデバイス）と、基準データリポジトリ４０５と、マップアップデータ（map updater）４０６と、車両データコントローラ４０８と、キャリブレータ（calibrator）４０９と、オフラインオブジェクトクラシファイヤ４１０とを含む。自律車両サービスプラットフォーム４０１の各要素は、独立して配置または分散され得、自律車両サービスプラットフォーム４０１内の他の要素と通信することができることに留意されたい。さらに、自律車両サービスプラットフォーム４０１の要素は、独立して、通信レイヤ４０２を介して自律車両４３０と通信することができる。マップアップデータ４０６は、マップデータ（例えば、ローカルマップジェネレータ４４０、センサ４６０、または、自律車両コントローラ４４７の任意の他の構成要素からの）を受信するように構成されており、例えば、マップデータリポジトリ４０５ａ内のマップデータの、ローカルに生成されるマップからの逸脱を検出するようにさらに構成されている。車両データコントローラ４０８は、マップアップデータ４０６に、リポジトリ４０５内の基準データを更新させ、２Ｄ、３Ｄ、および／または４Ｄマップデータに対する更新を促進することができる。いくつかの事例において、車両データコントローラ４０８は、ローカルマップデータが自律車両サービスプラットフォーム４０８へと受信されるレート、および、マップアップデータ４０６がマップデータの更新を実施する頻度を制御することができる。
【0033】
キャリブレータ４０９は、同じまたは異なるタイプの様々なセンサの較正を実施するように構成されている。キャリブレータ４０９は、センサの相対的な位置（例えば、デカルト空間（ｘ、ｙ、ｚ）における）およびセンサの向き（例えば、ロール、ピッチおよびヨー）を決定するように構成され得る。カメラ、ライダセンサ、レーダセンサなどのようなセンサの位置および向きは、他のセンサに対して、および、グローバルに車両の基準フレームに対して較正され得る。オフライン自己較正はまた、車両慣性テンソル、軸距、ホイール半径または路面摩擦のような他のパラメータを較正または推定することもできる。較正はまた、いくつかの例によれば、パラメータ変化を検出するためにオンラインで行われることもできる。また、キャリブレータ４０９による較正は、センサの内因性パラメータ（例えば、光学的歪み、ビーム角度など）および外因性パラメータを含み得ることに留意されたい。いくつかの事例において、キャリブレータ４０９は、例として、３Ｄレーザデータにおける深さの断絶と、画像データのエッジとの間の相関を最大化することによって実施され得る。オフラインオブジェクト分類４１０は、センサデータのようなデータを、センサ４７０または自律車両コントローラ４４７の任意の他の構成要素から受信するように構成されている。いくつかの実施形態によれば、オフラインオブジェクトクラシファイヤ４１０のオフライン分類パイプラインは、オブジェクトを事前にまとめ、（例えば、人間によって手動でおよび／またはオフラインラベル付けアルゴリズムを使用して自動的に）注釈を付けるように構成され得、オンライン自律動作中にオブジェクトタイプのリアルタイムの分類を提供することができるオンラインクラシファイヤ（例えば、オブジェクトクラシファイヤ４４４）を訓練するようにさらに構成され得る。
【0034】
図５は、いくつかの実施形態による、自律車両を制御するためのフロー図の例である。５０２において、フロー５００は、自律車両にある複数のモダリティのセンサに由来するセンサデータが、例えば、自律車両コントローラによって受信されるときに開始する。センサデータの１つまたは複数のサブセットは、例えば、推定値を改善するために融合されたデータを生成するために統合され得る。いくつかの例において、５０４において、（例えば、同じまたは異なるモダリティの）１つまたは複数のセンサのセンサストリームが、融合されたセンサデータを形成するために融合され得る。いくつかの例において、ライダセンサデータおよびカメラセンサデータのサブセットが、位置特定を促進するために、５０４において融合され得る。５０６において、センサデータの少なくとも２つのサブセットに基づいてオブジェクトを表現するデータが、プロセッサにおいて導出され得る。例えば、静的オブジェクトまたは動的オブジェクトを識別するデータが、少なくともライダおよびカメラデータから（例えば、知覚エンジンにおいて）導出され得る。５０８において、プランニングされている経路に影響を与える、検出されたオブジェクトが決定され、５１０において、検出されたオブジェクトに応答して、軌道のサブセットが（例えば、プランナにおいて）評価される。５１２において、自律車両の規範的動作と関連付けられる許容可能な信頼水準の範囲を超える信頼水準が決定される。それゆえ、この事例において、信頼水準は、最適化された経路を選択する確実性がより可能性が低く、それによって、最適化された経路が、衝突のない走行を促進し、交通法規に準拠し、快適なユーザ経験（例えば、快適な搭乗）を提供し、および／または、任意の他のファクタに基づいて候補軌道を生成する確率に応じて決定され得るようなものであり得る。そのため、５１４において、代替の経路を求める要求が、遠隔操作者コンピューティングデバイスに送信され得る。その後、遠隔操作者コンピューティングデバイスは、プランナに、自律車両が走行するようにされる最適な軌道を提供することができる。状況によっては、車両はまた、安全停止操作（例えば、自律車両を、危険の確率が相対的に低いロケーションに安全かつ自動的に停止させること）が最善の方策であると決定することもできる。フロー図の各部分はこのフロー図および本明細書における他のフロー図に示されている順序は、順次実施されてもよく、またはフロー図の任意の１つまたは複数の他の部分と並列に実施されてもよく、また、独立して実施されてもよく、または、フロー図の他の部分に依存して実施されてもよいため、様々な機能を直線的に実施するための要件を暗示するようには意図されていないことに留意されたい。
【0035】
図６は、いくつかの実施形態による、自律車両コントローラのアーキテクチャの例を示す図である。図６００は、モーションコントローラプロセス６６２、プランナプロセス６６４、知覚プロセス６６６、マッピングプロセス６４０、および位置特定プロセス６６８を含むいくつかのプロセスを示し、それらのうちのいくつかは、他のプロセスに関するデータを生成または受信し得る。プロセス６７０および６５０のような他のプロセスは、自律車両の１つまたは複数の機械的構成要素との相互作用を促進することができる。例えば、知覚プロセス６６６、マッピングプロセス６４０、および位置特定プロセス６６８は、センサ６７０からセンサデータを受信するように構成されており、一方で、プランナプロセス６６４および知覚プロセス６６６は、道路網データのようなルートデータを含み得る案内データ６０６を受信するように構成されている。さらに図６００について、位置特定プロセス６６８は、他のタイプのマップデータの中でも、マップデータ６０５ａ（すなわち、２Ｄマップデータ）、マップデータ６０５ｂ（すなわち、３Ｄマップデータ）、およびローカルマップデータ６４２を受信するように構成されている。例えば、位置特定プロセス６６８はまた、例えば、エポック決定を含み得る、４Ｄマップデータのような他の形態のマップデータを受信することもできる。位置特定プロセス６６８は、局所的位置を表現する局所的場所データ６４１を生成するように構成されている。局所的場所データ６４１は、モーションコントローラプロセス６６２、プランナプロセス６６４、および知覚プロセス６６６に提供される。知覚プロセス６６６は、静的および動的オブジェクトマップデータ６６７を生成するように構成されており、このマップデータは、プランナプロセス６６４に送信され得る。いくつかの例において、静的および動的オブジェクトマップデータ６６７は、意味論的分類情報および予測される物体挙動のような他のデータとともに送信されてもよい。プランナプロセス６６４は、プランナ６６４によって生成されるいくつかの軌道を記述する軌道データ６６５を生成するように構成されている。モーションコントローラプロセスは、ステアリング角度および／または速度の変化を引き起こすためにアクチュエータ６５０に適用するための低レベルコマンドまたは制御信号を生成するために、軌道データ６６５を使用する。
【0036】
図７は、いくつかの実施形態による、自律車両の群との信頼可能な通信を維持するために冗長な通信チャネルを実施する自律車両サービスプラットフォームの例を示す図である。図７００は、基準データジェネレータ７０５、車両データコントローラ７０２、自律車両群マネージャ７０３、遠隔操作者マネージャ７０７、シミュレータ７４０、およびポリシマネージャ７４２を含む自律車両サービスプラットフォーム７０１を示す。基準データジェネレータ７０５は、マップデータおよびルートデータ（例えば、ＲＮＤＦデータ）を生成および修正するように構成されている。さらに、基準データジェネレータ７０５は、２Ｄマップデータリポジトリ７２０内の２Ｄマップにアクセスし、３Ｄマップデータリポジトリ７２２内の３Ｄマップにアクセスし、ルートデータリポジトリ７２４内のルートデータにアクセスするように構成され得る。エポック決定を含む４Ｄマップデータのような、他のマップ表現データおよびリポジトリが、いくつかの例において実施されてもよい。車両データコントローラ７０２は、様々な動作を実施するように構成されることができる。例えば、車両データコントローラ７０２は、チャネル７７０を介した通信の品質レベルに基づいて、自律車両の群とプラットフォーム７０１との間でデータが交換されるレートを変更するように構成されてもよい。帯域幅が制約されている期間中、例えば、データ通信は、自律車両７３０からの遠隔操作要求が、送達を保証するために高く優先順位付けされるように、優先順位付けされ得る。さらに、特定のチャネルにとって利用可能な帯域幅に依存して、可変レベルのデータ抽象化が、チャネル７７０を介して車両ごとに送信され得る。例えば、ロバストなネットワーク接続の存在下では、全ライダデータ（例えば、実質的にすべてのライダデータであるが、またより少なくてもよい）が送信されてもよく、一方で、劣化されたまたは低速の接続の存在下では、データのより単純なまたはより抽象的な描写（例えば、関連付けられているメタデータを有する境界ボックスなど）が送信されてもよい。自律車両群マネージャ７０３は、電池電力の効率的な使用、走行時間、電池の低充電状態の間に自律車両７３０内の空調装置が使用され得るか否かなどを含む、複数の変数を最適化するように、自律車両７３０の派遣を調整するように構成されており、それらの変数のいずれかまたはすべては、自律車両サービスの動作と関連付けられる費用関数を最適化することを考慮して監視され得る。自律車両の群の走行の費用または時間を最小化する様々な変数を分析するためのアルゴリズムが実施され得る。さらに、自律車両群マネージャ７０３は、群のアップタイムを最大化することを考慮してサービススケジュールを適合させるために、自律車両および部品の在庫を維持する。
【0037】
遠隔操作者マネージャ７０７は、遠隔操作者７０８がそれを用いて入力を提供するいくつかの遠隔操作者コンピューティングデバイス７０４を管理するように構成されている。シミュレータ７４０は、１つまたは複数の自律車両７３０の動作、および、遠隔操作者マネージャ７０７と自律車両７３０との間の相互作用をシミュレートするように構成されている。シミュレータ７４０はまた、自律車両７３０内に配置されているいくつかのセンサの動作（シミュレートされるノイズの導入を含む）をシミュレートすることもできる。さらに、シミュレートされた自律車両が合成環境に導入されることができ、それによって、シミュレートされたセンサが、シミュレートされたレーザ戻りのようなシミュレートされたセンサデータを受信することができるように、都市のような環境がシミュレートされることができる。シミュレータ７４０は、ソフトウェア更新および／またはマップデータの検証を含む、他の機能をも提供することができる。ポリシマネージャ７４２は、道路網を走行している間に自律車両が遭遇する様々な条件またはイベントを考慮して自律車両がそれによって挙動すべきであるデータ表現ポリシまたは規則を維持するように構成されている。いくつかの事例において、更新されたポリシおよび／または規則が、ポリシに対する変更を考慮して自律車両の群の安全な動作を確認するために、シミュレータ７４０においてシミュレートされてもよい。自律車両サービスプラットフォーム７０１の上述されている要素のいくつかが、以下においてさらに記述される。
【0038】
通信チャネル７７０は、自律車両の群７３０および自律車両サービスプラットフォーム７０１の間にネットワーク接続されている通信リンクを提供するように構成されている。例えば、通信チャネル７７０は、自律車両サービスを確実に動作させるために一定レベルの冗長性を保証するために、対応するサブネットワーク（例えば、７７１ａ～７７１ｎ）を有する、いくつかの異なるタイプのネットワーク７７１、７７２、７７３、および７７４を含む。例えば、通信チャネル７７０内の異なるタイプのネットワークは、１つまたは複数のネットワーク７７１、７７２、７７３、および７７４の機能停止に起因する低減されたまたは喪失された通信の場合に、十分な帯域幅を保証するために、異なるセルラネットワークプロバイダ、異なるタイプのデータネットワークなどを含むことができる。
【0039】
図８は、いくつかの実施形態による、様々なアプリケーションの間でデータを交換するように構成されているメッセージングアプリケーションの例を示す図である。図８００は、遠隔操作者マネージャ内に配置されている遠隔操作者アプリケーション８０１、および、自律車両内に配置されている自律車両アプリケーション８３０を示し、それによって、遠隔操作者アプリケーション８０１および自律車両アプリケーション８３０は、ネットワーク８７１、８７２、および他のネットワーク８７３のような様々なネットワークを介した通信を促進するプロトコルを介してメッセージデータを交換する。いくつかの例によれば、通信プロトコルは、Ｏｂｊｅｃｔ Ｍａｎａｇｅｍｅｎｔ Ｇｒｏｕｐ ｃｏｎｓｏｒｔｉｕｍによって維持される仕様を有するＤａｔａ Ｄｉｓｔｒｉｂｕｔｉｏｎ Ｓｅｒｖｉｃｅ（商標）として実施されるミドルウェアプロトコルである。この通信プロトコルによれば、遠隔操作者アプリケーション８０１および自律車両アプリケーション８３０は、メッセージドメイン内に配置されているメッセージルータ８５４を含むことができ、メッセージルータは、遠隔操作者ＡＰＩ ８５２とインターフェースするように構成されている。いくつかの例において、メッセージルータ８５４は、ルーティングサービスである。いくつかの例において、遠隔操作者アプリケーション８０１内のメッセージドメイン８５０ａが、遠隔操作者識別子によって識別され得、一方で、メッセージドメイン８５０ｂは、車両識別子と関連付けられるドメインとして識別され得る。遠隔操作者アプリケーション８０１内の遠隔操作者ＡＰＩ ８５２は、遠隔操作者プロセス８０３ａ～８０３ｃとインターフェースするように構成されており、それによって、遠隔操作者プロセス８０３ｂは、自律車両識別子８０４と関連付けられ、遠隔操作者プロセス８０３ｃは、イベント識別子８０６（例えば、衝突のない経路のプランニングにとって問題になり得る交差点を指定する識別子）と関連付けられる。自律車両アプリケーション８３０内の遠隔操作者ＡＰＩ ８５２は、検知アプリケーション８４２、知覚アプリケーション８４４、位置特定アプリケーション８４６、および制御アプリケーション８４８を含む自律車両オペレーティングシステム８４０とインターフェースするように構成されている。上記を考慮して、上述されている通信プロトコルは、本明細書において記述されているような遠隔操作を促進するために、データ交換を促進することができる。さらに、上述されている通信プロトコルは、１つまたは複数の自律車両および１つまたは複数の自律車両サービスプラットフォームの間のセキュアなデータ交換を提供するように適合されることができる。例えば、メッセージルータ８５４は、例えば、遠隔操作者プロセス８０３と自律車両オペレーティングシステム８４０との間の安全確保された相互作用を提供するためのメッセージを暗号化および解読するように構成されることができる。
【0040】
図９は、いくつかの例による、図８に記述されている通信プロトコルを使用した遠隔操作を促進するためのデータのタイプを示す図である。図９００は、１つまたは複数のネットワーク９７１内に実施される、データ処理を中心とするメッセージングバス９７２を介してデータを交換するように構成されている、遠隔操作者アプリケーション９０１に結合されている遠隔操作者コンピューティングデバイス９０４とインターフェースする遠隔操作者９０８を示す。データ処理を中心とするメッセージングバス９７２は、遠隔操作者アプリケーション９０１と自律車両アプリケーション９３０との間の通信リンクを提供する。遠隔操作者アプリケーション９０１の遠隔操作者ＡＰＩ ９６２は、メッセージサービス構成データ９６４、および、道路網データ（例えば、ＲＮＤＦのようなデータ）、ミッションデータ（例えば、ＭＤＦデータ）などのようなルートデータ９６０を受信するように構成されている。同様に、メッセージングサービスブリッジ９３２も、メッセージングサービス構成データ９３４を受信するように構成されている。メッセージングサービス構成データ９３４および９６４は、遠隔操作者アプリケーション９０１と自律車両アプリケーション９３０との間のメッセージングサービスを構成するための構成データを提供する。メッセージングサービス構成データ９３４および９６４の例は、Ｄａｔａ Ｄｉｓｔｒｉｂｕｔｉｏｎ Ｓｅｒｖｉｃｅ（商標）アプリケーションを構成するために実施されるサービス品質（「ＱｏＳ」）構成データを含む。
【0041】
通信プロトコルを介した遠隔操作を促進するためのデータ交換の例が以下のように記述される。自律車両コントローラの知覚システムによって、障害物データ９２０が生成されると考える。さらに、候補軌道のサブセットを遠隔操作者に通知するためのプランナ選択肢データ９２４がプランナによって生成され、位置データ９２６がローカライザによって生成される。障害物データ９２０、プランナ選択肢データ９２４、および位置データ９２６は、メッセージングサービスブリッジ９３２に送信され、メッセージングサービスブリッジ９３２は、メッセージサービス構成データ９３４に従って、テレメトリデータ９４０およびクエリデータ９４２を生成し、これらは両方とも、テレメトリデータ９５０およびクエリデータ９５２として、データ処理を中心とするメッセージングバス９７２を介して遠隔操作者アプリケーション９０１へと送信される。遠隔操作者ＡＰＩ ９６２は、テレメトリデータ９５０および問い合わせデータ９５２を受信し、これらのデータは、ルートデータ９６０およびメッセージサービス構成データ９６４を考慮して処理される。結果もたらされるデータは、その後、遠隔操作者コンピューティングデバイス９０４および／または協働ディスプレイ（collaborative display）（例えば、協働する遠隔操作者９０８のグループに見えるダッシュボードディスプレイ）を介して遠隔操作者９０８に提示される。遠隔操作者９０８は、遠隔操作者コンピューティングデバイス９０４のディスプレイ上に提示される候補軌道選択肢を検討し、案内される軌道を選択し、これは、コマンドデータ９８２およびクエリ応答データ９８０を生成し、これらは両方とも、クエリ応答データ９５４およびコマンドデータ９５６として、遠隔操作者ＡＰＩ ９６２を通過される。その後、クエリ応答データ９５４およびコマンドデータ９５６は、クエリ応答データ９４４およびコマンドデータ９４６として、データ処理を中心とするメッセージングバス９７２を介して自律車両アプリケーション９３０へと送信される。メッセージングサービスブリッジ９３２は、クエリ応答データ９４４およびコマンドデータ９４６を受信し、遠隔操作者コマンドデータ９２８を生成し、これは、遠隔操作者によって選択された軌道を、プランナによる実施のために生成するように構成されている。上述されているメッセージングプロセスは、限定であるようには意図されておらず、他のメッセージングプロトコルも実施されてもよいことに留意されたい。
【0042】
図１０は、いくつかの実施形態による、遠隔操作者が経路プランニングに影響を与えることができる遠隔操作者インターフェースの例を示す図である。図１０００は、遠隔操作を促進するように構成されている遠隔操作者マネージャ１００７を含む、自律車両サービスプラットフォーム１００１と通信する自律車両１０３０の例を示す。第１の例において、遠隔操作者マネージャ１００７は、遠隔操作者１００８が前もって課題に対処することが可能であり得るように、遠隔操作者１００８に、可能性のある障害物に接近している自律車両の経路、または、プランナ信頼水準の低い領域を前もって見るように要求するデータを受信する。例示のために、自律車両が接近している交差点が、問題があるものとしてタグ付けされ得ると考える。そのため、ユーザインターフェース１０１０は、プランナによって生成されるいくつかの軌道によって予測されている、経路１０１２に沿って移動している対応する自律車両１０３０の表現１０１４を表示する。また、プランナにおいて十分な混乱を引き起こす可能性があり、それによって遠隔操作者の支持を必要とする、他の車両１０１１、および、歩行者のような動的オブジェクト１０１３も表示される。ユーザインターフェース１０１０はまた、遠隔操作者１００８に、現在の速度１０２２、速度制限１０２４、および現在の電池内の充電量１０２６も提示する。いくつかの例によれば、ユーザインターフェース１０１０は、自律車両１０３０から取得されるものとしてのセンサデータのような他のデータを表示してもよい。第２の例において、プランナ１０６４が、検出されている未確認オブジェクト１０４６にもかかわらず、プランナによって生成された経路１０４４と同延であるいくつかの軌道が生成されていると考える。プランナ１０６４はまた、候補軌道１０４０のサブセットをも生成し得るが、この例では、プランナは、現在の信頼水準を所与として進行することは不可能である。プランナ１０６４が代替の経路を決定することができない場合、遠隔操作者要求が送信され得る。この事例において、遠隔操作者は、遠隔操作者に基づく経路１０４２と一致する自律車両１０３０による走行を促進するために、候補軌道１０４０のうちの１つを選択することができる。
【0043】
図１１は、いくつかの例による、遠隔操作を呼び出すように構成されているプランナの例を示す図である。図１１００は、地形マネージャ（topography manager）１１１０、ルートマネージャ１１１２、経路ジェネレータ（path generator）１１１４、軌道エバリュエータ１１２０、および軌道トラッカ１１２８を含むプランナ１１６４を示す。地形マネージャ１１１０は、地形学的特徴を指定する３Ｄマップデータまたは他の同様のマップデータのようなマップデータを受信するように構成されている。地形マネージャ１１１０は、目的地までの経路上の地形学関連特徴に基づいて候補経路を識別するようにさらに構成されている。様々な例によれば、地形マネージャ１１１０は、群内の１つまたは複数の自律車両と関連付けられるセンサによって生成される３Ｄマップを受信する。ルートマネージャ１１１２は、目的地までの経路として選択され得る１つまたは複数のルートと関連付けられる交通関連情報を含むことができる、環境データ１１０３を受信するように構成されている。経路ジェネレータ１１１４は、地形マネージャ１１１０およびルートマネージャ１１１２からデータを受信し、自律車両を目的地に向けて誘導するのに適した１つまたは複数の経路または経路セグメントを生成する。１つまたは複数の経路または経路セグメントを表現するデータは、軌道エバリュエータ１１２０へと送信される。
【0044】
軌道エバリュエータ１１２０は、状態・イベントマネージャ（state and event manager）１１２２を含み、状態・イベントマネージャ１１２２は、信頼水準ジェネレータ１１２３を含むことができる。軌道エバリュエータ１１２０は、案内される軌道のジェネレータ（guided trajectory generator）１１２６および軌道ジェネレータ（trajectory generator）１１２４をさらに含む。さらに、プランナ１１６４は、ポリシデータ１１３０、知覚エンジンデータ１１３２、およびローカライザデータ１１３４を受信するように構成されている。
【0045】
ポリシデータ１１３０は、いくつかの例によれば、それをもって軌道を生成すべき十分な信頼水準を有する経路を決定するためにプランナ１１６４が使用する基準を含むことができる。ポリシデータ１１３０の例は、軌道生成が外部オブジェクトまでの離れた距離によって抑制されることを指定するポリシ（例えば、可能な限り、自転車利用者から３フィートの安全緩衝を維持すること）、または、軌道が中央の二重黄色線をまたいではならないことを要求するポリシ、または、（例えば、一般的にバス停に最も近い車線に集中することのような、過去のイベントに基づいて）４車線道路においては軌道が単一車線に限定されることを必要とするポリシ、および、ポリシによって指定される任意の他の同様の基準を含む。知覚エンジンデータ１１３２は、対象の静的オブジェクトおよび動的オブジェクトのロケーションのマップを含み、ローカライザデータ１１３４は、少なくとも局所的位置または場所を含む。
【0046】
状態・イベントマネージャ１１２２は、自律車両の動作状態を確率論的に決定するように構成されることができる。例えば、第１の動作状態（すなわち、「規範的動作」）は、軌道が衝突のないものである状況を記述することができ、一方で、第２の動作状態（すなわち、「非規範的動作」）は、可能性のある軌道と関連付けられる信頼水準が、衝突のない走行を保証するには不十分である別の状況を記述することができる。いくつかの例によれば、状態・イベントマネージャ１１２２は、規範的または非規範的である自律車両の状態を決定するために、知覚データ１１３２を使用するように構成されている。信頼水準ジェネレータ１１２３は、自律車両の状態を決定するために、知覚データ１１３２を分析するように構成されることができる。例えば、信頼水準ジェネレータ１１２３は、プランナ１１６４が安全な方策を決定しているという確実度を強化するために、静的オブジェクトおよび動的オブジェクトと関連付けられる意味情報、および、関連付けられる確率推定を使用することができる。例えば、プランナ１１６４は、プランナ１１６４が安全に動作しているか否かを決定するために、オブジェクトが人間である、または、人間でない確率を指定する知覚エンジンデータ１１３２を使用することができる（例えば、プランナ１１６４は、オブジェクトが、９８％の人間である確率、および、オブジェクトが人間でないという２％の確率を有する確実度を受信することができる）。
【0047】
信頼水準（例えば、統計および確率論的決定に基づく）が、予測される安全動作に必要とされる閾値を下回るという決定を受けて、相対的に低い信頼水準（例えば、単一の確率スコア）が、自律車両サービスプラットフォーム１１０１に遠隔操作者の支持を求める要求１１３５を送信するようにプランナ１１６４をトリガすることができる。いくつかの事例において、テレメトリデータおよび候補軌道のセットが、この要求に付随してもよい。テレメトリデータの例は、センサデータ、位置特定データ、知覚データなどを含む。遠隔操作者１１０８は、選択された軌道１１３７を、遠隔操作者コンピューティングデバイス１１０４を介して、案内される軌道のジェネレータ１１２６に送信することができる。そのため、選択された軌道１１３７は、遠隔操作者からの案内によって形成される軌道である。状態に変化がないという確認を受けて（例えば、非規範的状態が未決）、案内される軌道のジェネレータ１１２６は、軌道ジェネレータ１１２４にデータを渡し、軌道ジェネレータ１１２４は、軌道トラッカ１１２８に、軌道追跡コントローラとして、制御信号１１７０（例えば、ステアリング角度、速度など）を生成するために、遠隔操作者によって指定される軌道を使用させる。プランナ１１６４は、状態が非規範的状態に移行する前に、遠隔操作者の支持を求める要求１１３５の送信をトリガすることができることに留意されたい。特に、自律車両コントローラおよび／またはその構成要素は、離れた障害物に問題があり得ることを予測し、前もって、プランナ１１６４に、自律車両が障害物に達する前に遠隔操作を呼び出させることができる。そうでない場合、自律車両は、障害物またはシナリオへの遭遇を受けて安全状態に移行すること（例えば、路肩に寄り、停車すること）によって、遅延を引き起こすことができる。別の例において、遠隔操作は、ナビゲートすることが困難であることが分かっている特定のロケーションに自律車両が接近する前に、自動的に呼び出されてもよい。そのような状況が、センサ読み値、および様々なソースから導出される交通または事故データの信頼性に対する外乱を引き起こす可能性がある場合、この決定は、任意選択的に、時刻、太陽の位置を含む他のファクタを考慮に入れてもよい。
【0048】
図１２は、いくつかの実施形態による、自律車両を制御するように構成されているフロー図の例である。１２０２において、フロー１２００が開始する。オブジェクトのサブセットを表現するデータは、自律車両内のプランナにおいて受信され、オブジェクトのサブセットは、分類タイプの確実度を表現するデータと関連付けられる少なくとも１つのオブジェクトを含む。例えば、知覚エンジンデータは、オブジェクトと関連付けられるメタデータを含むことができ、それによって、メタデータは、特定の分類タイプと関連付けられる確実度を指定する。例えば、動的オブジェクトは、正確であるという８５％の信頼水準をもって「若い歩行者」として分類され得る。１２０４において、ローカライザデータが（例えば、プランナにおいて）受信され得る。ローカライザデータは、自律車両内でローカルに生成されるマップデータを含むことができる。ローカルマップデータは、一定の地理的領域においてイベントが発生し得る確実度（不確実度を含む）を指定することができる。イベントは、自律車両の動作に影響を与えるか、または、動作に影響を与える可能性がある条件または状況であり得る。イベントは、自律車両の内部（例えば、機能不全にされたまたは機能が損なわれたセンサ）または外部（例えば、道路の閉塞）であってもよい。イベントの例は、図２並びに他の図面および節など、本明細書において記述されている。対象の地理的領域と同延の経路が、１２０６において決定され得る。例えば、イベントが、ラッシュアワーの交通状態の間に太陽光が運転者の視覚の機能を損なう時刻における、空における太陽の位置付けであると考える。そのため、交通は、明るい太陽光に応答して減速し得ると予想または予測される。従って、プランナは、イベントを回避するための代替の経路の可能性が低い場合、前もって遠隔操作を呼び出すことができる。１２０８において、プランナにおいて、局所的位置データに基づいて局所的場所が決定される。１２１０において、例えば、分類タイプの確実度、および、速度、位置、および他の状態情報のような任意の数のファクタに基づき得るイベントの確実度に基づいて、自律車両の動作状態が（例えば、確率論的に）決定され得る。例示のために、他の運転者の視覚が太陽によって機能を損なわれる可能性があり、それによって、若い歩行者にとって安全でない状況が引き起こされるイベントの間に、自律車両によって若い歩行者が検出される例を考える。それゆえ、相対的に安全でない状況が、発生する可能性があり得る確率論的なイベント（すなわち、遠隔操作者が呼び出される可能性がある安全でない状況）として検出され得る。１２１２において、動作状態が規範的状態である可能性が決定され、この決定に基づいて、次の動作状態への移行に前もって備える（例えば、規範的動作状態から、安全でない動作状態のような非規範的動作状態への移行に前もって備える）ように、遠隔操作者に要求するメッセージが、遠隔操作者コンピューティングデバイスに送信される。
【0049】
図１３は、いくつかの例による、プランナが軌道を生成することができる例を示す図である。図１３００は、軌道エバリュエータ１３２０および軌道ジェネレータ１３２４を含む。軌道エバリュエータ１３２０は、信頼水準ジェネレータ１３２２および遠隔操作者クエリマネージャ１３２９を含む。示されているように、軌道エバリュエータ１３２０は、静的マップデータ１３０１、並びに現在のおよび予測されるオブジェクト状態のデータ１３０３を受信するために、知覚エンジン１３６６に結合されている。軌道エバリュエータ１３２０はまた、ローカライザ１３６８からの局所的位置データ１３０５およびグローバルプランナ（global planner）１３６９からのプランデータ１３０７をも受信する。１つの動作状態（例えば、非規範的）において、信頼水準ジェネレータ１３２２は、静的マップデータ１３０１、並びに現在のおよび予測されるオブジェクト状態のデータ１３０３を受信する。このデータに基づいて、信頼水準ジェネレータ１３２２は、検出された軌道が、許容不可能な信頼水準値と関連付けられることを決定することができる。そのため、信頼水準ジェネレータ１３２２は、遠隔操作者クエリマネージャ１３２９を介して遠隔操作者に通知するために、検出された軌道データ１３０９（例えば、候補軌道を含むデータ）を送信し、遠隔操作者クエリマネージャ１３２９は、遠隔操作者の支援を求める要求１３７０を送信する。
【0050】
別の動作状態（例えば、規範的状態）において、静的マップデータ１３０１、現在のおよび予測されるオブジェクト状態のデータ１３０３、局所的位置データ１３０５、およびプランデータ１３０７（例えば、グローバルプランデータ）が軌道カリキュレータ１３２５へと受信され、軌道カリキュレータ１３２５は、最適な１つまたは複数の経路を決定するために、軌道を（例えば、反復的に）計算するように構成されている。次に、少なくとも１つの経路が選択され、選択された経路のデータ１３１１として送信される。いくつかの実施形態によれば、軌道カリキュレータ１３２５は、例として軌道の再プランニングを実施するように構成されている。公称運転軌道ジェネレータ（nominal driving trajectory generator）１３２７が、ｒｅｃｅｄｉｎｇ ｈｏｒｉｚｏｎ制御技法に基づいて軌道を生成することによってのような、洗練された手法において軌道を生成するように構成されている。公称運転軌道ジェネレータ１３２７はその後、公称運転軌道経路データ１３７２を、例えば、ステアリング、加速の物理的変更を実施するための軌道トラッカまたは車両コントローラ、および他の構成要素に送信することができる。
【0051】
図１４は、いくつかの実施形態による、自律車両サービスプラットフォームの別の例を示す図である。図１４００は、遠隔操作者１４０８の間の相互作用および／または通信を管理するように構成されている遠隔操作者マネージャ１４０７、遠隔操作者コンピューティングデバイス１４０４、並びに自律車両サービスプラットフォーム１４０１の他の構成要素を含む自律車両サービスプラットフォーム１４０１を示す。さらに図１４００について、自律車両サービスプラットフォーム１４０１は、シミュレータ１４４０、リポジトリ１４４１、ポリシマネージャ１４４２、基準データアップデータ（reference data updater）１４３８、２Ｄマップデータリポジトリ１４２０、３Ｄマップデータリポジトリ１４２２、およびルートデータリポジトリ１４２４を含む。４Ｄマップデータ（例えば、エポック決定を使用する）のような他のマップデータが実施され、リポジトリ（図示せず）に格納されてもよい。
【0052】
遠隔操作者アクション推奨コントローラ（teleoperator action recommendation controller）１４１２は、遠隔操作者の支援を求める要求並びにテレメトリデータおよび他のデータを含むことができる自律車両（「ＡＶ」）プランナデータ１４７２を介して遠隔操作サービス要求を受信および／または制御するように構成されている論理を含む。そのため、プランナデータ１４７２は、遠隔操作者１４０８が遠隔操作者コンピューティングデバイス１４０４を介してそこから選択することができる、推奨される候補軌道または経路を含むことができる。いくつかの例によれば、遠隔操作者アクション推奨コントローラ１４１２は、そこから最適な軌道を選択すべきである、推奨される候補軌道の他のソースにアクセスするように構成されることができる。例えば、自律車両プランナデータ１４７２内に含まれる候補軌道は、並列に、シミュレータ１４４０へと導入されてもよく、シミュレータ１４４０は、遠隔操作者の支援を要求している自律車両によって経験されているイベントまたは条件をシミュレートするように構成されている。シミュレータ１４４０は、マップデータ、および、候補軌道のセットに関するシミュレーションを実施するために必要な他のデータにアクセスすることができ、それによって、シミュレータ１４４０は、十分性を確認するためにシミュレーションを徹底的に繰り返す必要がない。むしろ、シミュレータ１４４０は、候補軌道の妥当性を確認し得、または、そうでなければ遠隔操作者に、それらの選択に注意するよう警告することができる。
【0053】
遠隔操作者相互作用キャプチャアナライザ（teleoperator interaction capture analyzer）１４１６は、大量の遠隔操作者トランザクションまたは相互作用を、リポジトリ１４４１内に格納するためにキャプチャするように構成されることができ、リポジトリ１４４１は、例えば、少なくともいくつかの事例において、いくつかの遠隔操作者トランザクションに関係するデータを、ポリシの分析および生成のために累積することができる。いくつかの実施形態によれば、リポジトリ１４４１はまた、ポリシマネージャ１４４２によるアクセスのためにポリシデータを格納するように構成されることもできる。さらに、遠隔操作者相互作用キャプチャアナライザ１４１６は、遠隔操作者の支援を求める要求を引き起こすイベントまたは条件にいかに最良に応答すべきかを経験的に決定するために、機械学習技法を適用することができる。いくつかの事例において、ポリシマネージャ１４４２は、（例えば、機械学習技法の適用後に）遠隔操作者相互作用の大きなセットの分析に応答して、特定のポリシを更新し、または、新たなポリシを生成するように構成されることができる。ポリシマネージャ１４４２は、自律車両コントローラおよびその構成要素が、車両の自律動作に準拠するためにそれに基づいて動作する規則またはガイドラインとして見られ得るポリシを管理する。いくつかの事例において、修正または更新されたポリシが、そのようなポリシ変更を永続的にリリースまたは実施することの有効性を確認するために、シミュレータ１４４０に適用されてもよい。
【0054】
シミュレータインターフェースコントローラ１４１４は、シミュレータ１４４０と遠隔操作者コンピューティングデバイス１４０４との間のインターフェースを提供するように構成されている。例えば、自律車両の群からのセンサデータが、自律（「ＡＶ」）群データ１４７０を介して基準データアップデータ１４３８に適用され、それによって、基準データアップデータ１４３８が更新されたマップおよびルートデータ１４３９を生成するように構成されると考える。いくつかの実施態様において、更新されたマップおよびルートデータ１４３９は、事前に、マップデータリポジトリ１４２０および１４２２内のデータに対する更新として、または、ルートデータリポジトリ１４２４内のデータに対する更新としてリリースされることができる。この事例において、そのようなデータは、例えば、事前に更新されている情報を含むマップタイルが自律車両によって使用されるときに、遠隔操作者サービスを要求するためのより低い閾値が実施され得る「ベータバージョン」であるものとしてタグ付けされ得る。さらに、更新されたマップおよびルートデータ１４３９は、更新されたマップデータを検証するためにシミュレータ１４４０に導入され得る。（例えば、ベータ試験の終了時の）全リリースを受けて、遠隔操作者サービスを要求するための以前に下げられていた閾値はキャンセルされる。ユーザインターフェースグラフィックスコントローラ１４１０は、豊富なグラフィックスを遠隔操作者１４０８に提供し、それによって、自律車両の群が、シミュレータ１４４０内でシミュレートされることができ、シミュレートされている自律車両の群があたかも現実であるかのように、遠隔操作者コンピューティングデバイス１４０４を介してアクセスされることができる。
【0055】
図１５は、いくつかの実施形態による、自律車両を制御するためのフロー図の例である。１５０２において、フロー１５００が開始する。自律車両の群を管理するためのメッセージデータが、遠隔操作者コンピューティングデバイスにおいて受信され得る。メッセージデータは、自律車両のプランニングされている経路の文脈において非規範的動作状態と関連付けられるイベント属性を指示することができる。例えば、イベントは、例えば信号機に違反して急いで通りを渡っている多数の歩行者に起因して問題になる特定の交差点として特性化され得る。イベント属性は、例えば、通りを渡っている人間の数、増大した数の歩行者からもたらされる交通遅延などのようなイベントの特性を記述する。１５０４において、遠隔操作リポジトリは、自律車両のグループと関連付けられる、集約されているデータのシミュレートされている動作に基づいて、推奨の第１のサブセットを取り出すためにアクセスされることができる。この事例において、シミュレータは、それをもって遠隔操作者が実施することができる推奨のソースであり得る。さらに、遠隔操作リポジトリはまた、同様のイベント属性に応答した遠隔操作者相互作用の集約に基づいて、推奨の第２のサブセットを取り出すためにアクセスされることもできる。特に、遠隔操作者相互作用キャプチャアナライザは、遠隔操作者の支援を求める以前の要求に基づいて同様の属性を有するイベントにいかに最良に応答すべきかを経験的に決定するために、機械学習技法を適用することができる。１５０６において、推奨の第１のサブセットおよび第２のサブセットが、自律車両に対する推奨される方策のセットを形成するために、組み合わされる。１５０８において、推奨される方策のセットの表現が、遠隔操作者コンピューティングデバイスのディスプレイ上に、視覚的に提示されることができる。１５１０において、推奨される方策の選択（例えば、遠隔操作者による）を表現するデータ信号が検出されることができる。
【0056】
図１６は、いくつかの例による、群最適化マネージャを実施する自律車両群マネージャの例の図である。図１６００は、道路網１６５０内を移動する自律車両の群１６３０を管理するように構成されている自律車両群マネージャを示す。自律車両群マネージャ１６０３は、遠隔操作者コンピューティングデバイス１６０４を介して遠隔操作者１６０８に結合されており、また、群管理データリポジトリ１６４６にも結合されている。自律車両群マネージャ１６０３は、ポリシデータ１６０２および環境データ１６０６、並びに他のデータを受信するように構成されている。さらに図１６００について、群最適化マネージャ１６２０は、移動要求プロセッサ１６３１を含むように示されており、移動要求プロセッサ１６３１は、群データエクストラクタ（fleet data extractor）１６３２および自律車両派遣最適化カリキュレータ１６３４を含む。移動要求プロセッサ１６３１は、自律車両サービスを要求しているユーザ１６８８からのもののような、移動要求を処理するように構成されている。群データエクストラクタ１６３２は、群内の自律車両に関係するデータを抽出するように構成されている。各自律車両と関連付けられるデータはリポジトリ１６４６内に格納されている。例えば、各車両に関するデータは、保守管理課題、スケジュールされているサービス依頼、日常の使用状況、電池充電および放電率、および任意の他のデータを記述することができ、これらは、リアルタイムに更新されることができ、休止時間を最小化するために自律車両の群を最適化する目的のために使用されることができる。自律車両派遣最適化カリキュレータ１６３４は、抽出されたデータを分析し、ステーション１６５２などからの派遣される次の車両が、自律車両サービスについて、集合の中で最小の走行時間および／または費用を提供することを保証するように、群の最適化された使用状況を計算するように構成されている。
【0057】
群最適化マネージャ１６２０は、混合自律車両／非自律車両プロセッサ１６４０を含むように示されており、混合自律車両／非自律車両プロセッサ１６４０は、ＡＶ／非ＡＶ最適化カリキュレータ１６４２および非ＡＶセレクタ１６４４を含む。いくつかの例によれば、混合自律車両／非自律車両プロセッサ１６４０は、自律車両および人間によって運転される車両（例えば、独立請負人としての）からなる混合群を管理するように構成されている。そのため、自律車両サービスは、過剰な需要を満たすために、または、地理上のフェンスを越える場合がある非ＡＶサービス領域１６９０のような領域、または、不満足な通信カバレージの領域において非自律車両を利用することができる。ＡＶ／非ＡＶ最適化カリキュレータ１６４２は、自律車両群の使用状況を最適化し、非ＡＶ運転者を輸送サービスに（例えば、自律車両サービスに対する損害を最小限にして、または、損害がまったくないように）招聘するように構成されている。非ＡＶセレクタ１６４４は、ＡＶ／非ＡＶ最適化カリキュレータ１６４２によって導出される計算に基づいて、支援するための非ＡＶ運転者の数を選択するための論理を含む。
【0058】
図１７は、いくつかの実施形態による、自律車両の群を管理するためのフロー図の例である。１７０２において、フロー１７００が開始する。１７０２において、ポリシデータが受信される。ポリシデータは、移動要求にサービスするために自律車両を選択するためにいかに最良に適用するかを規定するパラメータを含むことができる。１７０４において、リポジトリからの群管理データが抽出され得る。群管理データは、自律車両のプールに関するデータのサブセットを含む（例えば、データは、輸送要求にサービスするために車両の準備ができているかを記述する）。１７０６において、移動要求を表現するデータが受信される。例示的な目的のために、移動要求は、第１の地理的ロケーションから第２の地理的ロケーションへの輸送手段に対するものであり得る。１７０８において、ポリシデータに基づく属性が、要求にサービスするために利用可能である自律車両のサブセットを決定するために計算される。例えば、属性は、電池充電レベル、および、次にスケジュールされている保守管理までの時間を含んでもよい。１７１０において、自律車両が、第１の地理的ロケーションから第２の地理的ロケーションへの輸送手段として選択され、自律車両を、移動要求の起点と関連付けられる第３の地理的ロケーションに派遣するためのデータが生成される。
【0059】
図１８は、いくつかの実施形態による、自律車両通信リンクマネージャを実施する自律車両群マネージャを示す図である。図１８００は、「低減された通信の領域」１８８０として識別される通信機能停止と一致する道路網１８５０内を移動する自律車両の群１８３０を管理するように構成されている自律車両群マネージャを示す。自律車両群マネージャ１８０３は、遠隔操作者コンピューティングデバイス１８０４を介して遠隔操作者１８０８に結合されている。自律車両群マネージャ１８０３は、ポリシデータ１８０２および環境データ１８０６、並びに他のデータを受信するように構成されている。さらに図１８００について、自律車両通信リンクマネージャ１８２０が、環境イベントディテクタ（environment event detector）１８３１、ポリシ適合デタミネータ１８３２、および移動要求プロセッサ１８３４を含むように示されている。環境イベントディテクタ１８３１は、自律車両サービスが実施されている環境内の変化を指定する環境データ１８０６を受信するように構成されている。例えば、環境データ１８０６は、領域１８８０が劣化した通信サービスを有し、これによって自律車両サービスに影響を与える可能性があることを指定することができる。ポリシ適合デタミネータ（policy adaption determinator）１８３２は、そのようなイベントの間に（例えば、通信の喪失の間に）移動要求を受信するときに適用すべきパラメータを指定することができる。移動要求プロセッサ１８３４は、劣化した通信を考慮して移動要求を処理するように構成されている。この例において、ユーザ１８８８が、自律車両サービスを要求している。さらに、移動要求プロセッサ１８３４は、不満足な通信に起因する複雑化を回避するように自律車両が派遣される方法を修正するための、適合されたポリシを適用するための論理を含む。
【0060】
通信イベントディテクタ１８４０が、ポリシダウンロードマネージャ１８４２と、通信設定された（「ＣＯＭＭ設定された」）ＡＶディスパッチャ１８４４とを含む。ポリシダウンロードマネージャ１８４２は、低減された通信の領域１８８０を考慮して自律車両１８３０に更新されたポリシを提供するように構成されており、それによって、更新されたポリシは、自律車両が領域１８８０に入る場合に、その領域を迅速に出るためのルートを指定することができる。例えば、自律車両１８６４は、領域１８８０に入る前の時点で、更新されたポリシを受信することができる。通信の喪失を受けて、自律車両１８６４は、更新されたポリシを実施し、領域１８８０から迅速に出るためのルート１８６６を選択する。ＣＯＭＭ設定されたＡＶディスパッチャ１８４４は、領域１８８０にわたるピアツーピアネットワークの確立に対する中継装置として構成される、自律車両を駐めるためのポイント１８６５を識別するように構成されることができる。そのため、ＣＯＭＭ設定されたＡＶディスパッチャ１８４４は、ピアツーピアアドホックネットワークにおける電波塔として動作する目的のために、ロケーション１８６５に駐めるために自律車両１８６２（搭乗者なし）を派遣するように構成されている。
【0061】
図１９は、いくつかの実施形態による、劣化または喪失した通信のようなイベント中の自律車両に対するアクションを決定するためのフロー図の例である。１９０１において、フロー１９００が開始する。ポリシデータが受信され、それによって、ポリシデータは、イベント中に地理的領域における移動要求に適用するためのパラメータを規定する。１９０２において、以下のアクションのうちの１つまたは複数が実施され得る。（１）その地理的ロケーションの部分内の地理的ロケーションに自律車両のサブセットを派遣する。自律車両のサブセットは、特定の地理的ロケーションに駐まり、各々が静的通信中継装置としての役割を果たすか、または、各々が移動通信中継装置としての役割を果たすために、地理的領域内で移動する。（２）その地理的領域の部分と関連付けられる自律車両のプールの部分の間でピアツーピア通信を実施する。（３）イベント中のその地理的領域の部分を脱出するためのルートを記述するイベントポリシを、自律車両に提供する。（４）遠隔操作を呼び出す。および（５）その地理的領域を回避するように、経路を再計算する。アクションの実施後、１９１４において、その自律車両の群が監視される。
【0062】
図２０は、いくつかの実施形態による、ローカライザの例を示す図である。図２０００は、ライダデータ２０７２、カメラデータ２０７４、レーダデータ２０７６、および他のデータ２０７８のような、センサ２０７０からのセンサデータを受信するように構成されているローカライザ２０６８を含む。さらに、ローカライザ２０６８は、２Ｄマップデータ２０２２、３Ｄマップデータ２０２４、および３Ｄローカルマップデータのような基準データ２０２０を受信するように構成されている。いくつかの例によれば、対応するデータ構造およびリポジトリを含む、４Ｄマップデータ２０２５および意味論的マップデータ（図示せず）のような他のマップデータも、実施されてもよい。さらに図２０００について、ローカライザ２０６８は、位置決めシステム２０１０および位置特定システム２０１２を含み、これらは両方とも、センサ２０７０からのセンサデータおよび基準データ２０２０を受信するように構成されている。位置特定データインテグレータ２０１４は、位置決めシステム２０１０からのデータおよび位置特定システム２０１２からのデータを受信するように構成されており、それによって、位置特定データインテグレータ２０１４は、局所的位置データ２０５２を形成するために複数のセンサからのセンサデータを統合または融合するように構成されている。
【0063】
図２１は、いくつかの実施形態による、集積センサデータに基づいて局所的位置データを生成するためのフロー図の例である。２１０１において、フロー２１００が開始する。２１０２において、基準データが受信され、基準データは、三次元マップデータを含む。いくつかの例において、３Ｄまたは４Ｄマップデータのような基準データが、１つまたは複数のネットワークから受信されてもよい。２１０４において、１つまたは複数の位置特定センサからの位置特定データが受信され、位置特定システム内に配置される。２１０６において、１つまたは複数の位置決めセンサからの位置決めデータが受信され、位置決めシステム内に配置される。２１０８において、位置特定データおよび位置決めデータが統合される。２１１０において、自律車両の地理的位置を指定する局所的場所データを形成するために、位置特定データおよび位置決めデータが統合される。
【0064】
図２２は、いくつかの実施形態による、ローカライザの別の例を示す図である。図２２００はローカライザ２２６８を含み、ローカライザ２２６８は、それぞれ位置決めに基づくデータ２２５０およびローカルなロケーションに基づくデータ２２５１を生成するための位置特定システム２２１０および相対位置特定システム２２１２を含む。位置特定システム２２１０は、他の任意選択のデータ（例えば、４Ｄマップデータ）の中でも、ＧＰＳデータ２２７３、ＧＰＳデータム２２１１、および３Ｄマップデータ２２２２を処理するための投影プロセッサ２２５４ａを含む。位置特定システム２２１０はまた、他の任意選択のデータの中でも、ホイールデータ２２７５（例えば、ホイール速度）、車両モデルデータ２２１３および３Ｄマップデータ２２２２を処理するためのオドメトリプロセッサ２２５４ｂをも含む。さらにまた、位置特定システム２２１０は、他の任意選択のデータの中でも、ＩＭＵデータ２２５７、車両モデルデータ２２１５および３Ｄマップデータ２２２２を処理するためのインテグレータプロセッサ２２５４ｃを含む。同様に、相対位置特定システム２２１２は、他の任意選択のデータの中でも、ライダデータ２２７２、２Ｄタイルマップデータ２２２０、３Ｄマップデータ２２２２、および３Ｄローカルマップデータ２２２３を処理するためのライダ位置特定プロセッサ２２５４ｄを含む。相対位置特定システム２２１２はまた、他の任意選択のデータの中でも、カメラデータ２２７４、３Ｄマップデータ２２２２、および３Ｄローカルマップデータ２２２３を処理するための視覚見当合わせプロセッサ２２５４ｅをも含む。さらにまた、相対位置特定システム２２１２は、他の任意選択のデータの中でも、レーダデータ２２７６、３Ｄマップデータ２２２２、および３Ｄローカルマップデータ２２２３を処理するためのレーダ戻りプロセッサ２２５４ｆを含む。様々な例において、ソナーデータなどのような、他のタイプのセンサデータおよびセンサまたはプロセッサが実施されてもよいことに留意されたい。
【0065】
さらに図２２００について、位置特定に基づくデータ２２５０および相対位置特定に基づくデータ２２５１は、それぞれデータインテグレータ２２６６ａおよび位置特定データインテグレータ２２６６に供給され得る。データインテグレータ２２６６ａおよび位置特定データインテグレータ２２６６は、対応するデータを融合するように構成されることができ、それによって、位置特定に基づくデータ２２５０は、位置特定データインテグレータ２２６６において相対位置特定に基づくデータ２２５１と融合される前に、データインテグレータ２２６６ａにおいて融合されることができる。いくつかの実施形態によれば、データインテグレータ２２６６ａは、位置特定データインテグレータ２２６６の部分として形成されるか、または、不在である。それに関係なく、位置特定に基づくデータ２２５０および相対位置特定に基づくデータ２２５１は両方とも、局所的場所データ２２５２を生成するためにデータを融合する目的のために、位置特定データインテグレータ２２６６に供給されることができる。位置特定に基づくデータ２２５０は、投影プロセッサ２２５４ａからの単項制約データ（および不確定値）、並びに、オドメトリプロセッサ２２５４ｂおよびインテグレータプロセッサ２２５４ｃからの二項制約データ（および不確定値）を含むことができる。相対位置特定に基づくデータ２２５１は、位置特定プロセッサ２２５４ｄおよび視覚見当合わせプロセッサ２２５４ｅ、並びに、任意選択的にレーダ戻りプロセッサ２２５４ｆからの単項制約データ（および不確定値）を含むことができる。いくつかの実施形態によれば、位置特定データインテグレータ２２６６は、カルマンフィルタ（例えば、ゲートカルマンフィルタ（gated Kalman filter））、相対バンドルアジャスタ（relative bundle adjuster）、ポーズグラフ緩和、粒子フィルタ、ヒストグラムフィルタなどのような非線形平滑化機能を実施することができる。
【0066】
図２３は、いくつかの実施形態による、知覚エンジンの例を示す図である。図２３００は、知覚エンジン２３６６を含み、知覚エンジン２３６６は、セグメンテーションプロセッサ２３１０、オブジェクトトラッカ２３３０、およびクラシファイヤ２３６０を含む。さらに、知覚エンジン２３６６は、例えば、局所的場所データ２３５２、ライダデータ２３７２、カメラデータ２３７４、およびレーダデータ２３７６を受信するように構成されている。ソナーデータのような他のセンサデータが、知覚エンジン２３６６の機能を提供するためにアクセスされてもよいことに留意されたい。セグメンテーションプロセッサ２３１０は、グランドプレーンデータを抽出し、および／または、画像の部分をセグメント化して、オブジェクトを互いから、および静的画像（例えば、背景）から区別するように構成されている。いくつかの事例において、３Ｄブロブが、互いを区別するためにセグメント化されることができる。いくつかの例において、ブロブは、空間的に再生された環境内でオブジェクトを識別する特徴のセットを参照することができ、強度および色のような、同様の特性を有する要素（例えば、カメラデータのピクセル、レーザ戻りデータのポイントなど）から構成されることができる。いくつかの例において、ブロブはまた、ポイントクラウド（例えば、色付けされたレーザ戻りデータから構成される）またはオブジェクトを構成する他の要素を参照することもできる。オブジェクトトラッカ２３３０は、ブロブ、または他のセグメント化された画像部分の動きのフレームごとの推定を実施するように構成されている。さらに、時刻ｔ１における第１のフレーム内の１つのロケーションにあるブロブを、時刻ｔ２における第２のフレーム内の異なるロケーションにあるブロブと関連付けるために、データ関連付けが使用される。いくつかの例において、オブジェクトトラッカ２３３０は、ブロブのような３Ｄオブジェクトのリアルタイムの確率的追跡を実施するように構成されている。クラシファイヤ２３６０は、オブジェクトを識別し、そのオブジェクトを分類タイプ（例えば、歩行者、自転車利用者などとして）によっておよびエネルギー／活動（例えば、オブジェクトが動的であるかまたは静的であるか）によって分類するように構成されており、それによって、分類を表現するデータは、意味ラベルによって記述される。いくつかの実施形態によれば、オブジェクトクラスごとに異なる信頼性で、オブジェクトを車両、自転車利用者、歩行者などとして分類することのような、オブジェクトカテゴリの確率的推定が実施されることができる。知覚エンジン２３６６は、知覚エンジンデータ２３５４を決定するように構成されており、知覚エンジンデータ２３５４は、静的オブジェクトマップおよび／または動的オブジェクトマップを含むことができ、それによって、例えば、プランナは、この情報を使用して、経路プランニングを強化することができる。様々な例によれば、セグメンテーションプロセッサ２３１０、オブジェクトトラッカ２３３０、およびクラシファイヤ２３６０のうちの１つまたは複数は、知覚エンジンデータ２３５４を生成するために機械学習技法を適用することができる。
【0067】
図２４は、いくつかの実施形態による、知覚エンジンデータを生成するためのフロー図の例である。フロー図２４００は２４０２において開始し、自律車両の局所的場所を表現するデータが取り出される。２４０４において、１つまたは複数の位置特定センサからの位置特定データが受信され、２４０６において、セグメント化されたオブジェクトを形成するために、自律車両が配置されている環境の特徴がセグメント化される。２４０８において、動き（例えば、推定される動き）を有する少なくとも１つの追跡されているオブジェクトを形成するために、セグメント化されたオブジェクトの１つまたは複数の部分が空間的に追跡される。２４１０において、追跡されているオブジェクトが、少なくとも静的オブジェクトまたは動的オブジェクトのいずれかであるものとして分類される。いくつかの事例において、静的オブジェクトまたは動的オブジェクトは、分類タイプと関連付けられることができる。２４１２において、分類されたオブジェクトを識別するデータが生成される。例えば、分類されたオブジェクトを識別するデータは、意味情報を含むことができる。
【0068】
図２５は、いくつかの実施形態による、セグメンテーションプロセッサの例である。図２５００は、１つまたは複数のライダ２５７２からのライダデータおよび１つまたは複数のカメラ２５７４からのカメラ画像データを受信するセグメンテーションプロセッサ２５１０を示す。局所的位置データ２５５２、ライダデータ、およびカメラ画像データが、メタスピンジェネレータ（meta spin generator）２５２１へと受信される。いくつかの例において、メタスピンジェネレータは、様々な属性（例えば、色、強度など）に基づいて、画像を区別可能な領域（例えば、ポイントクラウドのクラスタまたはグループ）へと分割するように構成されており、そのうちの少なくとも２つ以上は、同時にまたはほぼ同時に更新されることができる。メタスピンデータ２５２２が、セグメンテーションプロセッサ２５２３においてオブジェクトセグメンテーションおよびグランドセグメンテーション（ground segmentation）を実施するために使用され、それによって、メタスピンデータ２５２２とセグメンテーションプロセッサ２５２３からのセグメンテーション関連データの両方が、走査されている差分のプロセッサ（scanned differencing processor）２５１３に適用される。走査されている差分のプロセッサ２５１３は、セグメント化された画像部分の動きおよび／または相対速度を予測するように構成されており、これは、２５１７において動的オブジェクトを識別するために使用されることができる。２５１７において検出された速度を有するオブジェクトを指示するデータが、任意選択的に、経路プランニング決定を強化するためにプランナに送信される。加えて、走査されている差分のプロセッサ２５１３からのデータは、そのようなオブジェクトのマッピングを形成する（また、任意選択的に、動きのレベルを識別する）ためにオブジェクトのロケーションを近似するために使用することができる。いくつかの例において、占有格子マップ２５１５が生成されることができる。占有格子マップ２５１５を表現するデータは、（例えば、不確定性を低減することによって）経路プランニング決定をさらに強化するために、プランナに送信されることができる。さらに図２５００について、１つまたは複数のカメラ２５７４からの画像カメラデータが、ブロブクラシファイヤ２５２０においてブロブを分類するために使用され、ブロブクラシファイヤ２５２０はまた、セグメンテーションプロセッサ２５２３からブロブデータ２５２４も受信する。セグメンテーションプロセッサ２５１０はまた、レーダ関連ブロブデータ２５１６を生成するレーダセグメンテーションプロセッサ２５１４においてセグメンテーションを実施するために、１つまたは複数のレーダ２５７６から未処理レーダ戻りデータ２５１２を受信することもできる。さらに図２５について、セグメンテーションプロセッサ２５１０はまた、レーダデータに関係付けられる、追跡されているブロブのデータ２５１８を受信および／または生成することもできる。ブロブデータ２５１６、追跡されているブロブのデータ２５１８、ブロブクラシファイヤ２５２０からのデータ、および、ブロブデータ２５２４はオブジェクトまたはその部分を追跡するために使用されることができる。いくつかの例によれば、以下、すなわち、走査されている差分のプロセッサ２５１３、ブロブ分類２５２０、およびレーダ２５７６からのデータのうちの１つまたは複数は、任意選択であってもよい。
【0069】
図２６Ａは、様々な実施形態による、オブジェクトトラッカおよびクラシファイヤの例を示す図である。図２６００のオブジェクトトラッカ２６３０は、ブロブデータ２５１６、追跡されているブロブのデータ２５１８、ブロブクラシファイヤ２５２０からのデータ、ブロブデータ２５２４、および１つまたは複数のカメラ２６７６からのカメラ画像データを受信するように構成されている。画像トラッカ２６３３は、追跡されている画像のデータを生成するために、１つまたは複数のカメラ２６７６からのカメラ画像データを受信するように構成されており、追跡されている画像のデータは、データ関連付けプロセッサ２６３２に提供されることができる。示されているようにデータ関連付けプロセッサ２６３２は、ブロブデータ２５１６、追跡されているブロブのデータ２５１８、ブロブクラシファイヤ２５２０からのデータ、ブロブデータ２５２４、および画像トラッカ２６３３からの追跡画像データを受信するように構成されており、上述されているタイプのデータの間の１つまたは複数の関連付けを識別するようにさらに構成されている。データ関連付けプロセッサ２６３２は、とりわけ例えば、動きを推定するために、フレームごとに、例えば、様々なブロブデータを追跡するように構成されている。さらに、データ関連付けプロセッサ２６３２によって生成されるデータは、トラックアップデータ（track updater）２６３４によって、１つまたは複数のトラック、または追跡されているオブジェクトを更新するために使用されることができる。いくつかの例において、トラックアップデータ２６３４は、オンラインでトラックデータベース（「ＤＢ」）２６３６に格納することができる、追跡されているオブジェクトの更新されたデータを形成するために、カルマンフィルタなどを実施することができる。フィードバックデータが、データ関連付けプロセッサ２６３２とトラックデータベース２６３６との間で経路２６９９を介して交換されることができる。いくつかの例において、画像トラッカ２６３３は、任意選択であってもよく、除外されてもよい。オブジェクトトラッカ２６３０はまた、例えば、レーダまたはソナー、および、任意の他のタイプのセンサデータのような他のセンサデータを使用してもよい。
【0070】
図２６Ｂは、少なくともいくつかの例による、オブジェクトトラッカの別の例を示す図である。図２６０１は、１つまたは複数の他の図面（例えば図２６Ａ）に関連して記述されている、同様に名付けられている要素としての構造および／または機能を含むことができるオブジェクトトラッカ２６３１を含む。示されているように、オブジェクトトラッカ２６３１は、オブジェクト走査見当合わせ（registration）およびデータ融合を実施するように構成されているプロセッサ２６９６を含む任意選択の見当合わせ部分２６９９を含む。プロセッサ２６９６は、結果もたらされるデータを３Ｄオブジェクトデータベース２６９８に格納するようにさらに構成されている。
【0071】
図２６Ａに戻って参照すると、図２６００はまた、クラシファイヤ２６６０をも含み、クラシファイヤ２６６０は、静的障害物データ２６７２および動的障害物データ２６７４を生成するためのトラック分類エンジン２６６２を含むことができ、これらのデータは両方とも、経路プランニング目的のためにプランナに送信されることができる。少なくとも１つの例において、トラック分類エンジン２６６２は、障害物が静的であるかまたは動的であるか、および、オブジェクトの別の分類タイプ（例えば、オブジェクトが車両、歩行者、樹木、自転車利用者、犬、猫、紙袋などであるか）を決定するように構成されている。静的障害物データ２６７２は、障害物マップ（例えば、２Ｄ占有マップ）の部分として形成されることができ、動的障害物データ２６７４は、速度および分類タイプを指示するデータを有する境界ボックスを含むように形成されることができる。動的障害物データ２６７４は、少なくともいくつかの事例において、２Ｄ動的障害物マップデータを含む。
【0072】
図２７は、いくつかの例による、知覚エンジンのフロントエンドプロセッサの例である。図２７００は、様々な例によれば、グランドセグメンテーションを実施するためのグランドセグメンテーションプロセッサ２７２３ａおよび「オーバーセグメンテーション」を実施するためのオーバーセグメンテーションプロセッサ２７２３ｂを含む。プロセッサ２７２３ａおよび２７２３ｂは、任意選択的に色付けされたライダデータ２７７５を受信するように構成されている。オーバーセグメンテーションプロセッサ２７２３ｂは、第１のブロブタイプ（例えば、相対的に小さいブロブ）のデータ２７１０を生成し、このデータは、第２のブロブタイプのデータ２７１４を生成する集約分類・セグメンテーションエンジン（aggregation classification and segmentation engine）２７１２に提供される。データ２７１４は、データ関連付けプロセッサ２７３２に提供され、データ関連付けプロセッサ２７３２は、データ２７１４がトラックデータベース２７３６内に存在するか否かを検出するように構成されている。２７４０において、第２のブロブタイプ（例えば、１つまたは複数のより小さいブロブを含み得る相対的に大きいブロブ）のデータ２７１４が新たなトラックであるか否かの決定が行われる。そうである場合、２７４２においてトラックが初期化され、そうでない場合、トラックデータベース２７３６に格納されている、追跡されているオブジェクトデータおよびそのトラックが、トラックアップデータ２７４２によって拡張または更新されることができる。トラック分類エンジン２７６２は、トラックを識別し、例えば、トラック関連データを追加、除去または修正することによって、トラックを更新／修正するために、トラックデータベース２７３６に結合されている。
【0073】
図２８は、様々な実施形態による、合成環境において自律車両をシミュレートするように構成されているシミュレータを示す図である。図２８００は、シミュレートされた環境２８０３を生成するように構成されているシミュレータ２８４０を含む。示されているように、シミュレータ２８４０は、シミュレートされた環境２８０３内に、シミュレートされた表面２８９２ａおよび２８９２ｂのようなシミュレートされた幾何学的形状を生成するために、基準データ２８２２（例えば、３Ｄマップデータおよび／もしくは他のマップ、または、ＲＮＤＦデータもしくは同様の道路網データを含むルートデータ）を使用するように構成されている。シミュレートされた表面２８９２ａおよび２８９２ｂは、道路に隣接する建造物の壁または側面をシミュレートすることができる。シミュレータ２８４０はまた、合成環境において動的な作用因子をシミュレートするために、動的オブジェクトデータを事前に生成または手続き的に生成することもできる。動的な作用因子の例は、シミュレートされた動的オブジェクト２８０１であり、これは、一定の速度を有するシミュレートされた自転車利用者を表す。シミュレートされた動的な作用因子は、任意選択的に、シミュレートされた自律車両を含む、シミュレートされた環境内の他の静的な作用因子および動的な作用因子に応答することができる。例えば、シミュレートされたオブジェクト２８０１は、予め設定された起動に従うのではなく、シミュレートされた環境２８０３内の他の障害物のために減速することができ、それによって、現実世界に存在する実際の動的な環境のより現実的なシミュレーションを生成する。
【0074】
シミュレータ２８４０は、シミュレートされた自律車両コントローラ２８４７を生成するように構成されることができ、シミュレートされた自律車両コントローラ２８４７は、知覚エンジン２８６６、ローカライザ２８６８、モーションコントローラ２８６２、およびプランナ２８６４の合成適合を含み、これらの各々は、シミュレートされた環境２８０３内で本明細書において記述されている機能を有することができる。シミュレータ２８４０はまた、異なるセンサモダリティおよび異なるセンサデータフォーマットとのデータ交換をシミュレートするためのシミュレートされたインターフェース（「Ｉ／Ｆ」）２８４９を生成することもできる。そのため、シミュレートされたインターフェース２８４９は、例えば、シミュレートされたライダセンサ２８７２から、パケット化されたデータのためのソフトウェアインターフェースをシミュレートすることができる。さらに、シミュレータ２８４０はまた、シミュレートされたＡＶコントローラ２８４７を実施するシミュレートされた自律車両２８３０を生成するように構成されることもできる。シミュレートされた自律車両２８３０は、シミュレートされたライダセンサ２８７２、シミュレートされたカメラまたは画像センサ２８７４、およびシミュレートされたレーダセンサ２８７６を含む。示されている例において、シミュレートされたライダセンサ２８７２は、光線追跡２８９２と一致するシミュレートされたレーザを生成するように構成されることができ、これによって、シミュレートされたセンサ戻り２８９１が生成される。シミュレータ２８４０は、ノイズの追加またはセンサデータに対する他の環境効果（例えば、シミュレートされたセンサ戻り２８９１に影響を与える追加された拡散または反射）をシミュレートすることができることに留意されたい。さらにまた、シミュレータ２８４０は、センサ機能不全、センサ誤較正、断続的なデータの機能停止などを含む、様々なセンサ欠陥をシミュレートするように構成されることができる。
【0075】
シミュレータ２８４０は、シミュレートされた自律車両２８３０の挙動のシミュレーションに使用するための、自律車両の機械的、静的、動的、および運動学的態様をシミュレートするための物理プロセッサ２８５０を含む。例えば、物理プロセッサ２８５０は、接触力学をシミュレートするための接触力学モジュール２８５１、シミュレートされているボディ間の相互作用をシミュレートするための衝突検出モジュール２８５２、および、シミュレートされている機械的相互作用間の相互作用をシミュレートするためのマルチボディ動態モジュール２８５４を含む。
【0076】
シミュレータ２８４０はまた、とりわけ、因果関係を決定するためにシミュレートされた環境２８０３の任意の合成的に生成された要素の機能を適合させるようにシミュレーションを制御するように構成されているシミュレータコントローラ２８５６をも含む。シミュレータ２８４０は、シミュレートされた環境２８０３の合成的に生成された要素の性能を評価するためのシミュレータエバリュエータ（simulator evaluator）２８５８を含む。例えば、シミュレータエバリュエータ２８５８は、シミュレートされた車両コマンド２８８０（例えば、シミュレートされたステアリング角度およびシミュレートされた速度）を分析して、そのようなコマンドが、シミュレートされた環境２８０３内のシミュレートされた活動に対する適切な応答であるか否かを判定することができる。さらに、シミュレータエバリュエータ２８５８は、遠隔操作者コンピューティングデバイス２８０４を介した遠隔操作者２８０８の、シミュレートされた自律車両２８３０との相互作用を評価することができる。シミュレータエバリュエータ２８５８は、シミュレートされた自律車両２８３０の応答を案内するために追加されることができる、更新されたマップタイルおよびルートデータを含む、更新された基準データ２８２７の効果を評価することができる。シミュレータエバリュエータ２８５８はまた、ポリシデータ２８２９が更新、削除、または追加されるときに、シミュレータＡＶコントローラ２８４７の応答を評価することもできる。シミュレータ２８４０の上記の記述は、限定であるようには意図されていない。そのため、シミュレータ２８４０は、静的特徴と動的特徴の両方を含む、シミュレートされた環境に対する自律車両の様々な異なるシミュレーションを実施するように構成されている。例えば、シミュレータ２８４０は、信頼性を保証するためにソフトウェアバージョンの変更を検証するために使用されることができる。シミュレータ２８４０はまた、車両動態特性を決定するために、および、較正目的のために使用されることもできる。さらに、シミュレータ２８４０は、自己シミュレーションによる学習を行うように、適用可能な制御および結果もたらされる軌道の空間を探索するために使用されることができる。
【0077】
図２９は、いくつかの実施形態による、自律車両の様々な態様をシミュレートするためのフロー図の例である。フロー図２９００は２９０２において開始し、三次元マップデータを含む基準データがシミュレータへと受信される。２９０４において、分類されているオブジェクトの運動パターンを規定する動的オブジェクトデータが取り出されることができる。２９０６において、シミュレートされた環境が、少なくとも三次元（「３Ｄ」）マップデータおよび動的オブジェクトデータに基づいて形成される。シミュレートされた環境は、１つまたは複数のシミュレートされた表面を含むことができる。２９０８において、シミュレートされた環境の部分を形成するシミュレートされた自律車両コントローラを含む自律車両がシミュレートされる。自律車両コントローラは、センサデータを受信するように構成されているシミュレートされた知覚エンジンおよびシミュレートされたローカライザを含むことができる。２９１０において、少なくとも１つのシミュレートされたセンサ戻りに関するデータに基づいて、シミュレートされたセンサデータが生成され、２９１２において、合成環境内のシミュレートされた自律車両によって動き（例えば、ベクトル化された推進）を引き起こすためのシミュレートされた車両コマンドが生成される。２９１４において、シミュレートされた自律車両が、予想される挙動と一致して（例えば、ポリシと一致して）挙動したか否かを決定するために、シミュレートされた車両コマンドが評価される。
【0078】
図３０は、いくつかの実施形態による、マップデータを生成するためのフロー図の例である。フロー図３０００は３００２において開始し、軌道データが取り出される。軌道データは、一定の時間期間にわたって（例えば、ログ記録された軌道として）キャプチャされた軌道を含むことができる。３００４において、少なくとも位置特定データが取り出されることができる。位置特定データは、一定の時間期間にわたって（例えば、ログ記録された位置特定データとして）キャプチャされることができる。３００６において、位置特定データのサブセットを生成するために、カメラまたは他の画像センサが実施されることができる。そのため、取り出された位置特定データは、画像データを含むことができる。３００８において、位置特定データのサブセットが、グローバル位置（例えば、全体的な位置）を識別するために整列される。３０１０において、三次元（「３Ｄ」）マップデータが、グローバル位置に基づいて生成され、３０１２において、３次元マップデータが、例えば、手動ルートデータエディタ（例えば、ＲＮＤＦエディタのような手動道路網データエディタを含む）、自動ルートデータジェネレータ（例えば、自動ＲＮＤＦジェネレータを含む、自動道路網ジェネレータを含む）、自律車両の群、シミュレータ、遠隔操作者コンピューティングデバイス、および、自律車両サービスの任意の他の構成要素による実施のために利用可能である。
【0079】
図３１は、いくつかの実施形態による、マッピングエンジンのアーキテクチャを示す図である。図３１００は、軌道ログデータ３１４０、ライダログデータ３１７２、カメラログデータ３１７４、レーダログデータ３１７６、および他の任意選択のログ記録されたセンサデータ（図示せず）を受信するように構成されている３Ｄマッピングエンジンを含む。論理３１４１は、とりわけ、空間内の近傍のポイントが以前に訪れられていることをセンサデータが指示するか否かを検出するように構成されている環閉合ディテクタ（loop-closure detector）３１５０を含む。論理３１４１はまた、１つまたは複数の見当合わせポイントに対して、いくつかの事例においては３Ｄマップデータを含むマップデータを整列させるための見当合わせコントローラ３１５２をも含む。さらに、論理３１４１は、ポーズグラフデータ３１４５を生成するように構成されているグローバルポーズグラフジェネレータ（global pose graph generator）３１４３によって使用するための環閉合の状態を表現するデータ３１４２を提供する。いくつかの例において、ポーズグラフデータ３１４５はまた、見当合わせ改良モジュール３１４６からのデータに基づいて生成されることもできる。論理３１４４は、３Ｄマッパ３１５４およびライダ自己較正ユニット３１５６を含む。さらに、論理３１４４は、３Ｄマップデータ３１２０（または、４Ｄマップデータのような他のマップデータ）を生成するために、センサデータおよびポーズグラフデータ３１４５を受信する。いくつかの例において、論理３１４４は、最適な三次元マップを形成するためにセンサデータおよび／またはマップデータを融合するために切断符号付き距離関数（「ＴＳＤＦ」）を実施することができる。さらに、論理３１４４は、テクスチャおよび反射特性を含むように構成されている。３Ｄマップデータ３１２０は、手動ルートデータエディタ３１６０（例えば、ルートデータまたは他のタイプのルートもしくは基準データを操作するためのエディタ）、自動ルートデータジェネレータ３１６２（例えば、ルートデータまたは他のタイプの道路網もしくは基準データを生成するように構成されている論理）、自律車両の群３１６４、シミュレータ３１６６、遠隔操作者コンピューティングデバイス３１６８、および、自律車両サービスの任意の他の構成要素による使用のためにリリースされることができる。マッピングエンジン３１１０は、手動注釈または自動的に生成される注釈、および、ソナーまたは機器を備え付けられた環境（例えば、スマートストップランプ）から意味情報をキャプチャすることができる。
【0080】
図３２は、いくつかの実施形態による、自律車両アプリケーションを示す図である。図３２００は、自律車両３２３０を介したユーザ３２０２の輸送手段を構成するために自律車両サービスプラットフォーム３２０１に接触するように構成されている自律サービスアプリケーション３２４０を含むモバイルコンピューティングデバイス３２０３を示す。示されているように、自律サービスアプリケーション３２４０は、コンピューティングデバイス（例えば、携帯電話３２０３など）上に存在するソフトウェアアプリケーションであってもよい輸送コントローラ３２４２を含むことができる。輸送コントローラ３２４２は、ユーザ３２０２がユーザのロケーションから目的地までの輸送手段を構成することができる自律車両および／または自律車両群に関係付けられる動作を受信、スケジュール、選択、または実施するように構成されている。例えば、ユーザ３２０２は、車両３２３０を要求するためにアプリケーションを開くことができる。アプリケーションは、マップを表示することができ、ユーザ３２０２は、例えば、地理上のフェンス領域内で自身の目的地を指示するためにピンをドロップすることができる。代替的に、アプリケーションは、近傍の予め指定された乗車ロケーションのリストを表示してもよく、または、ユーザに、住所もしくは名前のいずれかによって目的地をタイプするためのテキスト入力フィールドを提供してもよい。
【0081】
さらに、示されている例について、自律車両アプリケーション３２４０はまた、自律車両３２３０が接近しているときに、ユーザ３２０２が車両の近くの地理的領域、または、近傍にいることを検出するように構成されることができるユーザ識別コントローラ３２４６を含むこともできる。いくつかの状況において、ユーザ３２０２は、（例えば、トラック、自動車、タクシーを含む様々な他の車両、および都市環境において一般的である他の障害物に起因して）ユーザ３２０３による使用のための自律車両３２３０が接近しているときに、これを容易に知覚または識別しない場合がある。例において、自律車両３２３０は、（例えば、無線周波数（「ＲＦ」）信号の相対方向および信号強度を使用して）自律車両３２３０に対するユーザ３２０２の空間ロケーションを通信および／または決定するために、ワイヤレス通信リンク３２６２（例えば、ＷｉＦｉまたはＢＬＥを含むＢｌｕｅｔｏｏｔｈ（登録商標）のようなＲＦ信号を介して）を確立することができる。いくつかの事例において、自律車両３２３０は、例えば、ＧＰＳデータなどを使用して、ユーザ３２０２の近似の地理的ロケーションを検出することができる。モバイルコンピューティングデバイス３２０３のＧＰＳ受信機（図示せず）は、自律車両サービスアプリケーション３２４０にＧＰＳデータを提供するように構成されることができる。従って、ユーザ識別コントローラ３２４６は、リンク３２６０を介して自律車両サービスプラットフォーム３２０１にＧＰＳデータを提供することができ、自律車両サービスプラットフォーム３２０１は、リンク３２６１を介して自律車両３２３０にそのロケーションを提供することができる。その後、自律車両３２３０は、ユーザのＧＰＳデータを、車両のＧＰＳによって導出されるロケーションと比較することによって、ユーザ３２０２の相対距離および／または方向を決定することができる。
【0082】
自律車両３２３０はまた、ユーザの固有の顔特性に基づいて一般的にユーザ３２０２を検出するか、または、ユーザ３２０２の識別情報（例えば、名前、電話番号など）を識別するための顔検出アルゴリズムを実施するように構成されている論理のような、ユーザ３２０２の存在を識別するための追加の論理をも含むことができる。さらに、自律車両３２３０は、ユーザ３２０２を識別するためのコードを検出するための論理を含むことができる。そのようなコードの例は、ＱＲコード（登録商標）、カラーコードなどのような特殊化された視覚コード、声によって起動または認識されるコードなどのような特殊化されたオーディオコードなどを含む。いくつかの事例において、コードは、セキュアな進入および／または脱出を保証するためにリンク３２６２を介して自律車両３２３０にデジタルに送信されることができる、符号化されたセキュリティキーであってもよい。さらに、ユーザ３２０２を識別するための、上記で識別された技法のうちの１つまたは複数は、他者が自律車両３２３０に入るのを防止するように（例えば、ユーザ３２０２に到達する前に第三者が占有されていない自律車両に入らないことを保証するために）、ユーザ３２０２に進入および脱出の特権を与えるための安全確保された手段として使用されることができる。様々な例によれば、ユーザ３２０２を識別し、安全確保された進入および脱出を提供するための任意の他の手段がまた、自律車両サービスアプリケーション３２４０、自律車両サービスプラットフォーム３２０１、および自律車両３２３０のうちの１つまたは複数において実施されてもよい。
【0083】
ユーザ３３０２がその要求されている輸送手段に到達するのを支援するために、自律車両３２３０は、自律車両３２３０がユーザ３２０２に接近するときにその存在をユーザ３２０２に通知または他の様態で警告するように構成されることができる。例えば、自律車両３２３０は、特定の光パターンに従って、１つまたは複数の発光デバイス３２８０（例えば、ＬＥＤ）を起動することができる。特に、ユーザ３２０２の輸送手段要求にサービスするために自律車両３２３０が確保されていることを、ユーザ３２０２が容易に知覚することができるように、特定の光パターンが生成される。例として、自律車両３２３０は、ユーザ３２０２によって、そのような視覚的および時間的方法でその外部および内部ライトの「まばたき（wink）」または他のアニメーションとして知覚され得る光パターン３２９０を生成することができる。光のパターン３２９０は、ユーザ３２０２に対して、この車両がユーザが予約したものであることを識別するために、音声のパターンを伴ってまたは伴わずに生成されてもよい。
【0084】
いくつかの実施形態によれば、自律車両ユーザコントローラ３２４４は、自律車両の様々な機能を制御するように構成されているソフトウェアアプリケーションを実施することができる。さらに、アプリケーションは、自律車両を、その最初の目的地への移動中に方向転換またはルート変更するように構成されることができる。さらに、自律車両ユーザコントローラ３２４４は、内蔵論理に、例えばムード照明を行うために自律車両３２３０の内部照明を修正させるように構成されることができる。コントローラ３２４４はまた、オーディオのソース（例えば、Ｓｐｏｔｉｆｙのような外部ソース、または、モバイルコンピューティングデバイス３２０３にローカルに格納されているオーディオ）を制御すること、搭乗のタイプを選択すること（例えば、所望される加速およびブレーキの積極性を修正すること、アクティブサスペンションパラメータを修正して「路面対処（road-handling）」特性のセットを選択して、振動を含む積極的な運転特性を実施すること、または、快適性のために振動が減衰されている「穏やかな搭乗（ｓｏｆｔ－ｒｉｄｅ）」を選択すること）などもできる。例えば、モバイルコンピューティングデバイス３２０３は、換気および温度のような、ＨＶＡＣ機能をも制御するように構成されることができる。
【0085】
図３３～図３５は、様々な実施形態による、自律車両サービスの構成要素に様々な機能を提供するように構成されている様々なコンピューティングプラットフォームの例を示す。いくつかの例において、コンピューティングプラットフォーム３３００は、コンピュータプログラム、アプリケーション、方法、プロセス、アルゴリズム、または上述されている技法を実施するための他のソフトウェアを実施するために使用されることができる。
【0086】
【0087】
いくつかの場合において、コンピューティングプラットフォーム３３００は、自律車両サービスプラットフォーム内の１つまたは複数のコンピューティングデバイス内に配置され得るコンピューティングデバイス３３９０ａ、自律車両３３９１、および／またはモバイルコンピューティングデバイス３３９０ｂなどの、任意のデバイス内に配置され得る。
【0088】
コンピューティングプラットフォーム３３００は、情報を通信するためのバス３３０２または他の通信メカニズムを含み、これは、例えば、プロセッサを有するモバイルコンピューティングデバイスおよび／または通信デバイスを含むコンピューティングデバイスと通信するための通信リンク３３２１上でのポートを介した通信を促進するために、プロセッサ３３０４、システムメモリ３３０６（例えば、ＲＡＭなど）、記憶装置３３０８（例えば、ＲＯＭなど）、メモリ内キャッシュ（ＲＡＭ ３３０６またはコンピューティングプラットフォーム３３００の他の部分内で実施されることができる）、通信インターフェース３３１３（例えば、Ｅｔｈｅｒｎｅｔまたはワイヤレスコントローラ、Ｂｌｕｅｔｏｏｔｈコントローラ、ＮＦＣ論理など）のようなサブシステムおよびデバイスを相互接続する。プロセッサ３３０４は、１つまたは複数のグラフィックスプロセッシングユニット（「ＧＰＵ」）、Ｉｎｔｅｌ（登録商標） Ｃｏｒｐｏｒａｔｉｏｎによって製造されるもののような１つまたは複数の中央処理装置（「ＣＰＵ」）、または１つまたは複数の仮想プロセッサ、およびＣＰＵと仮想プロセッサとの任意の組み合わせによって実施されることができる。コンピューティングプラットフォーム３３００は、限定ではないが、キーボード、マウス、オーディオ入力（例えば、発話－テキストデバイス）、ユーザインターフェース、ディスプレイ、モニタ、カーソル、タッチセンサ式ディスプレイ、ＬＣＤまたはＬＥＤディスプレイ、および他のＩ／Ｏ関連デバイスを含む入出力デバイス３３０１を介して入力および出力を表現するデータを交換する。
【0089】
いくつかの例によれば、コンピューティングプラットフォーム３３００は、システムメモリ３３０６に格納されている１つまたは複数の命令の１つまたは複数のシーケンスを実行するプロセッサ３３０４によって特定の動作を実施し、コンピューティングプラットフォーム３３００は、クライアント－サーバ構成、ピアツーピア構成において、または、スマートフォンなどを含む任意のモバイルコンピューティングデバイスとして実施されることができる。そのような命令またはデータは、記憶装置３３０８のような別のコンピュータ可読媒体からシステムメモリ３３０６へと読み出されることができる。いくつかの例において、ソフトウェア命令の代わりにまたはソフトウェアと組み合わせて、配線回路が実施のために使用されてもよい。命令は、ソフトウェアまたはファームウェアにおいて具現化されることができる。「コンピュータ可読媒体」という用語は、実行のためにプロセッサ３３０４に命令を提供することに関与する任意の有形媒体を参照する。そのような媒体は、限定ではないが、不揮発性媒体および揮発性媒体を含む多くの形態をとることができる。不揮発性媒体は、例えば、光または磁気ディスクなどを含む。揮発性媒体は、システムメモリ３３０６のようなダイナミックメモリを含む。
【0090】
一般的な形態のコンピュータ可読媒体は、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、もしくは任意の他の磁気媒体、ＣＤＲＯＭ、任意の他の光学媒体、パンチカード、紙テープ、穴のパターンを有する任意の他の物理媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ‐ＥＰＲＯＭ、任意の他のメモリチップもしくはカートリッジ、または、コンピュータがそこから読み出すことができる任意の他の媒体を含む。命令は、さらに、伝送媒体を使用して送信または受信されることができる。「伝送媒体」という用語は、機械によって実行するための命令を格納、符号化または搬送することが可能である任意の有形または無形媒体を含むことができ、デジタルもしくはアナログ通信信号、または、そのような命令の通信を促進するための他の無形媒体を含む。伝送媒体は、コンピュータデータ信号を伝送するためのバス３３０２を含むワイヤを含む、同軸ケーブル、銅線、および光ファイバを含む。
【0091】
いくつかの例において、命令のシーケンスの実行は、コンピューティングプラットフォーム３３００によって実施されることができる。いくつかの例によれば、コンピューティングプラットフォーム３３００は、互いに協働して（または互いに対して非同期的に）命令のシーケンスを実施するために、通信リンク３３２１（例えば、ＬＡＮ、ＰＳＴＮのような有線ネットワーク、または、様々な規格およびプロトコルのＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ、Ｚｉｇ－Ｂｅｅ等を含む任意のワイヤレスネットワーク）によって任意の他のプロセッサに結合されることができる。コンピューティングプラットフォーム３３００は、通信リンク３３２１および通信インターフェース３３１３を通じて、プログラムコード（例えば、アプリケーションコード）を含むメッセージ、データ、および命令を送信および受信することができる。受信されるプログラムコードは、受信されるときにプロセッサ３３０４によって実行されてもよく、および／または、後の実行のためにメモリ３３０６または他の不揮発性記憶装置に格納されてもよい。
【0092】
示されている例において、システムメモリ３３０６は、本明細書において記述されている機能を実施するための実行可能命令を含む様々なモジュールを含むことができる。システムメモリ３３０６は、オペレーティングシステム（「Ｏ／Ｓ」）３３３２、並びに、アプリケーション３３３６および／または論理モジュール３３５９を含むことができる。図３３に示されている例において、システムメモリ３３０６は、自律車両（「ＡＶ」）コントローラモジュール３３５０および／またはその構成要素（例えば、知覚エンジンモジュール、位置特定モジュール、プランナモジュール、および／またはモーションコントローラモジュール）を含み、それらのうちのいずれか、または、それらの１つもしくは複数の部分は、本明細書において記述されている１つまたは複数の機能を実施することによって、自律車両サービスを促進するように構成されることができる。
【0093】
図３４に示されている例を参照すると、システムメモリ３３０６は、自律車両サービスプラットフォームモジュール３４５０および／またはその構成要素（例えば、遠隔操作者マネージャ、シミュレータなど）を含み、それらのうちのいずれか、または、それらの１つもしくは複数の部分は、本明細書において記述されている１つまたは複数の機能を実施することによって、自律車両サービスの管理を促進するように構成されることができる。
【0094】
図３５に示されている例を参照すると、システムメモリ３３０６は、例えば、モバイルコンピューティングデバイスにおける使用のために、自律車両（「ＡＶ」）モジュールおよび／またはその構成要素を含む。モジュール３５５０の１つまたは複数の部分は、本明細書において記述されている１つまたは複数の機能を実施することによって、自律車両サービスの送達を促進するように構成されることができる。
【0095】
図３３に戻って参照すると、上述されている特徴のうちのいずれかの構造および／または機能は、ソフトウェア、ハードウェア、ファームウェア、回路またはそれらの組み合わせにおいて実施されることができる。上記の構造および構成要素並びにそれらの機能は、１つまたは複数の他の構造または要素とともに集約されてもよいことに留意されたい。代替的に、要素およびそれらの機能は、もしあれば、構成部分要素に分割されることができる。ソフトウェアとして、上述されている技法は、様々なタイプのプログラミングまたはフォーマット言語、フレームワーク、構文、アプリケーション、プロトコル、オブジェクト、または技法を使用して実施されてもよい。ハードウェアおよび／またはファームウェアとして、上述されている技法は、フィールドプログラマブルゲートアレイ（「ＦＰＧＡ」）、特定用途向け集積回路（「ＡＳＩＣ」）、または任意の他のタイプの集積回路を設計するように構成されている任意のレジスタ転送言語（「ＲＴＬ」）のようなハードウェア記述言語を含む、様々なタイプのプログラミングまたは集積回路設計言語を使用して実施されてもよい。いくつかの実施形態によれば、「モジュール」という用語は、例えば、ハードウェア回路もしくはソフトウェアのいずれか、または、それらの組み合わせにおいて実施されるアルゴリズムもしくはその部分、および／または論理を参照することができる。これらは、変更されることができ、提供されている例または記述に限定されない。
【0096】
いくつかの実施形態において、図３３のモジュール３３５０、図３４のモジュール３４５０、および図３５のモジュール３５５０、またはそれらの構成要素のうちの１つもしくは複数、または本明細書において記述されている任意のプロセスもしくはデバイスは、携帯電話またはモバイルコンピューティングデバイスのようなモバイルデバイスと（例えば、有線またはワイヤレスで）通信することができ、または、その中に配置されることができる。
【0097】
いくつかの事例において、モバイルデバイス、または、１つもしくは複数のモジュール３３５９（図３３のモジュール３３５０、図３４のモジュール３４５０、および図３５のモジュール３５５０）もしくはその構成要素のうちの１つもしくは複数と通信する任意のネットワーク接続されているコンピューティングデバイス（図示せず）（または本明細書において記述されている任意のプロセスまたはデバイス）は、本明細書において記述されている特徴のうちのいずれかの構造および／または機能のうちの少なくともいくつかを提供することができる。上述されている図面に示されているように、上述されている特徴のうちのいずれかの構造および／または機能は、ソフトウェア、ハードウェア、ファームウェア、回路、またはそれらの任意の組み合わせにおいて実施されることができる。上記の構造および構成要素並びにそれらの機能は、１つまたは複数の他の構造または要素とともに集約され、または、組み合わされてもよいことに留意されたい。代替的に、要素およびそれらの機能は、もしあれば、構成部分要素に分割されることができる。ソフトウェアとして、上述されている技法のうちの少なくともいくつかは、様々なタイプのプログラミングまたはフォーマット言語、フレームワーク、構文、アプリケーション、プロトコル、オブジェクト、または技法を使用して実施されてもよい。例えば、図面のうちのいずれかに示されている要素のうちの少なくとも１つは、１つまたは複数のアルゴリズムを表現することができる。または、それらの要素のうちの少なくとも１つは、構成構造および／または機能を提供するように構成されているハードウェアの部分を含む、論理の部分を表現することができる。
【0098】
例えば、図３３のモジュール３３５０、図３４のモジュール３４５０、および図３５のモジュール３５５０、またはその構成要素のうちの１つもしくは複数、または本明細書において記述されている任意のプロセスもしくはデバイスは、メモリ内の１つまたは複数のアルゴリズムを実行するように構成されている１つまたは複数のプロセッサを含む１つまたは複数のコンピューティングデバイス（すなわち、装着されるかまたは搬送されるかを問わず、ウェアラブルデバイス、オーディオデバイス（ヘッドフォンまたはヘッドセットなど）または携帯電話のような任意のモバイルコンピューティングデバイス）において実施されることができる。従って、上述されている図面内の要素のうちの少なくともいくつかは、１つまたは複数のアルゴリズムを表現することができる。または、それらの要素のうちの少なくとも１つは、構成構造および／または機能を提供するように構成されているハードウェアの部分を含む、論理の部分を表現することができる。これらは、変更されることができ、提供されている例または記述に限定されない。
【0099】
ハードウェアおよび／またはファームウェアとして、上述されている構造技法は、フィールドプログラマブルゲートアレイ（「ＦＰＧＡ」）、特定用途向け集積回路（「ＡＳＩＣ」）、マルチチップモジュール、または任意の他のタイプの集積回路を設計するように構成されている任意のレジスタ転送言語（「ＲＴＬ」）のようなハードウェア記述言語を含む、様々なタイプのプログラミング言語または集積回路設計言語を使用して実施されることができる。
【0100】
例えば、図３３のモジュール３３５０、図３４のモジュール３４５０、および図３５のモジュール３５５０、またはその構成要素のうちの１つもしくは複数、または本明細書において記述されている任意のプロセスもしくはデバイスは、１つまたは複数の回路を含む１つまたは複数のコンピューティングデバイスにおいて実施されることができる。従って、上述されている図面内の要素のうちの少なくとも１つは、ハードウェアの１つまたは複数の構成要素を表現することができる。または、それらの要素のうちの少なくとも１つは、構成構造および／または機能を提供するように構成されている回路の部分を含む、論理の部分を表現することができる。
【0101】
いくつかの実施形態によれば、「回路」という用語は、例えば、１つまたは複数の機能を実行するためにそれを通じて電流が流れるいくつかの構成要素を含む任意のシステムを参照することができ、構成要素は、個別のおよび複雑な構成要素を含む。個別の構成要素の例は、トランジスタ、抵抗器、キャパシタ、インダクタ、ダイオードなどを含み、複雑な構成要素の例は、フィールドプログラマブルゲートアレイ（「ＦＰＧＡ」）、特定用途向け集積回路（「ＡＳＩＣ」）を含む、メモリ、プロセッサ、アナログ回路、デジタル回路などを含む。それゆえ、回路は、電子構成要素および論理構成要素（例えば、例えばアルゴリズムの実行可能命令のグループのような命令を実行するように構成されており、従って、回路の構成要素である論理）のシステムを含むことができる。いくつかの実施形態によれば、「モジュール」という用語は、例えば、ハードウェア回路もしくはソフトウェアのいずれか、または、それらの組み合わせにおいて実施されるアルゴリズムもしくはその部分、および／または論理を参照することができる（すなわち、モジュールは回路として実施することができる）。いくつかの実施形態において、アルゴリズムおよび／またはアルゴリズムが格納されているメモリは、回路の「構成要素」である。従って、「回路」という用語は、例えば、アルゴリズムを含む構成要素のシステムをも参照することができる。これらは、変更されることができ、提供されている例または記述に限定されない。
【0102】
図３６は、いくつかの例による、自律車両のためのナビゲーション制御に少なくとも影響を及ぼすように構成された遠隔操作者マネージャの例を示す図である。図３６００は、自律車両３６３０において軌道の生成を案内するように構成されたデータを生成する遠隔操作者マネージャ３６０７を示し、遠隔操作者マネージャ３６０７によって提供される案内は、自律車両３６３０のナビゲーションを促進するのを支援する。遠隔操作者マネージャ３６０７は、ハードウェア、またはソフトウェア、またはそれらの組み合わせなどのロジックを含んでもよく、遠隔操作者３６０８が対話することができる遠隔操作者コンピューティングデバイス３６０４内に配置され得る。従って、遠隔操作者３６０８は、遠隔操作者コンピューティングデバイス３６０４のユーザインターフェースまたはディスプレイを介するなどして、自律車両３６３０のいくつかの機能を遠隔的に監視することができる。さらに、遠隔操作者は、自律車両３６３０が走行する物理的環境（例えば、道路、都市景観など）の乗員に類似した自律車両３６３０によるビュー（例えば、水平と垂直の両方における、高精細度の３６０度以下の３Ｄビュー）に基づいてイベントを視覚的に識別してもよい。特に、ビューは、例えば、走行の方向における自律車両３６３０の先端面に対する環境の視覚化であってもよい。遠隔操作者３６０８は、自律車両３６３０の外部または内部で発生したかどうかにかかわらず、ナビゲーションにおいて支援するため、または任意の他のイベントもしくは状態を解決することを支援するために、自律車両３６３０、および自律車両３６３０ａに案内または支援を提供することができる。
【0103】
遠隔操作者マネージャ３６０７は、自律車両３６３０から、遠隔操作者マネージャ３６０７が配置された自律車両サービスプラットフォーム（図示せず）内から、または遠隔操作者コンピューティングデバイス３６０４から受信された遠隔操作を発動するための信号を受信することに応答して、遠隔操作者３６０８のうちの１つと自律車両３６３０との間のネットワーク３６０６上の通信チャネルを介して、通信またはセッションを促進するように構成される。そのような信号の例は、メッセージデータを含み、遠隔操作者３６０８によって自律車両３６３０を監視する目的のための情報を提供する（すなわち、能動的な遠隔操作者の介入を必要としない）ように構成される。または、そのような信号は、タスクを実行する（例えば、案内を提供する）ための遠隔操作者３６０８に対する要求を含むことができる。ナビゲーション関連の遠隔操作サービスが自律車両３６３０によって要求されるいくつかの例において、遠隔操作者マネージャ３６０７は、暗示的な案内または明示的な案内を表すデータを提供することができる。後者に関して、明示的な案内の例は、命令データ３６１７としてネットワーク３６０６を介して遠隔操作者マネージャ３６０７から送信され得る、特定のルーティング経路（すなわち、特定の道路またはセグメント）に関するアクションを含む。前者に関して、暗示的な案内の例は、特定の地理的領域（例えば、自律車両３６３０をこれらの領域から遠ざけて案内するように、非強調化するまたは軌道計算から除外するように示唆された道路のサブセット）を回避またはバイパスするための命令、並びに、走行が好ましい領域（例えば、自律車両３６３０をこれらの領域に向けて案内するように、（例えば、好ましいとして）強調化するまたは軌道計算に含めるように示唆された道路またはセグメントのサブセット）を指定する命令を含む。少なくとも１つの例によれば、任意の遠隔操作者３６０８は、遠隔操作者コンピューティングデバイス３６０４と自律車両３６３０との間の通信を開始することができ、または他の方法で通信を引き起こすことができる。
【0104】
いくつかの例によれば、遠隔操作者マネージャ３６０７は、１つのタイプの多くの遠隔操作サービスに対する要求を含むことができるメッセージデータ３６１９に応答して呼び出され得る。例えば、遠隔操作サービスに対する要求は、困難なまたは安全でない道路状況、および自律車両３６３０の外部の障害物を通り抜ける要求を含むことができる。自律車両３６３０による走行を妨げている可能性がある駐車された自動車の開いたドアは、そのような障害物としてのビューであり得る。メッセージデータ３６１９はまた、例えば、観察された道路区画線が物理的環境内の予測される位置に位置していないという指示を表すデータを含むことができる。メッセージデータ３６１９はまた、例えば、自律車両コントローラ３６４７が、計画および／または軌道生成に影響を及ぼす可能性がある１つまたは複数のオブジェクトまたは障害物を識別または分類する困難を経験する場合、遠隔操作者サービスに対する要求を含むことができる。メッセージデータ３６１９はまた、自律車両３６３０またはその中の任意の構成要素の動作（例えば、センサ性能、ドライブトレイン特性、バッテリ充電レベルなど）を監視する要求を含むことができる。いくつかの例において、メッセージデータ３６１９は、劣化されたまたは故障されたライダセンサ、レーダセンサ、またはソナーセンサなどの、センサに関連するイベントに対処する情報または要求を含むことができる。他の例は、不完全な温度測定値、ドライブトレインにおける劣化されたタコメータ検知などを含む。劣化されたライダセンサの例は、距離測定値に影響を及ぼす強い太陽光または他の光のためであり得る。メッセージデータ３６１９はまた、キネティックに関連するデータなどの、複数のセンサから得られた測定値に対処する情報または要求を含むことができる。そのような測定値の例は、摩擦の予測される値、異常な加速度測定値などに対して変化する検出された摩擦またはホイール変位を含むことができる。また、自律車両の群３６３０ａ内の任意の自律車両が、遠隔操作者マネージャ３６０７による遠隔操作サービスを確立するために、または、自律車両３６３０に遠隔操作サービスを提供するために、メッセージデータ３６１９ａを生成することができることにも留意されたい。上記で説明された例は、限定であるように意図されず、それとして、遠隔操作を促進するのに適している可能性がある、テレメトリデータまたはプランナデータなどの、任意のタイプのデータを含むことができる。
【0105】
いくつかの場合において、遠隔操作者マネージャ３６０７は、自律車両３６３０が、遠隔操作者コンピューティングデバイス３６０４と自律車両３６３０との間のセッションを確立するためにメッセージデータを生成する必要がないように、遠隔操作サービスを呼び出すように構成され得る。図示されているように、遠隔操作者マネージャ３６０７は、遠隔操作者コンピューティングデバイス３６０４と自律車両３６３０との間の通信を確立するために遠隔操作サービスメッセージを自己生成するように構成されたメッセージデータジェネレータ（message data generator）３６９０を含むことができる。図３６００は、リポジトリ３６４１と、マップデータリポジトリ３６０５ａを含むように示された基準データリポジトリ３６０５とに通信可能に結合されている遠隔操作者マネージャ３６０７をさらに示す。リポジトリ３６４１は、少なくともいくつかの例において、自律車両コントローラ３６４７による軌道生成に影響を及ぼす可能性があるいくつかの要因に基づいて、遠隔操作サービスを呼び出すときを決定するポリシまたはルールを表すデータを記憶するように構成されたポリシリポジトリとして構成され得る。例えば、リポジトリ３６４１に記憶されたデータは、車両が、停止標識を通る走行を禁止している可能性があるどのような他の検出された障害物または障害なしに、（例えば、時間に関連する閾値を超えて）停止標識において停止されたままである場合、遠隔操作者コンピューティングデバイス３６０４を自律車両３６３０に接続するルールを含むことができる。別の例として、ネットワーク３６０６を介する通信が存在することを確認する周期的な信号（例えば、心拍信号）を受信することに失敗している間に閾値量の時間が超えられた後に、遠隔操作サービスを呼び出すように構成され得るルールを考える。さらに別の例において、自律車両３６３０が走行すると予測される地理的領域に関連付けられたマップデータが、遠隔操作者マネージャ３６０７によってアクセスされることを考える。いくつかの場合において、そのようなマップデータは、特定のレベルの不確実性またはナビゲーションの複雑度に関連付けられ得る（例えば、マップタイル内の）１つまたは複数の経路を示す警告データ（「ＡＤ」）にリンクされ得る。または、いくつかの場合において、警告データは、例えば、マップデータが（例えば、シミュレーションなどを介して）検証され得るまで、ローカライズのために一時的に使用される一時的なマップデータにリンクされ得る。従って、警告データ３６０５ｂは、遠隔操作者が自律車両３６３０によるそのようなマップデータの使用を監視することを可能にするために、遠隔操作セッションのインスタンス化を引き起こす。自律車両３６３０が警告データ３６０５ｂにリンクされたマップタイルに関連する場所に到達したとき、遠隔操作者マネージャ３６０７は、遠隔操作者コンピューティングデバイス３６０４と車両との間の通信リンクを確立することができる。上記で説明された例は、限定であるように意図されず、それとして、メッセージデータジェネレータ３６９０は、遠隔操作を促進するのに適した任意のタイプのデータを生成することができる。
【0106】
図３６００は、遠隔操作者マネージャ３６０７が、遠隔操作者３６０８と自律車両３６３０内の自律車両コントローラ３６４７との間の対話を促進するように構成され得る遠隔操作者アクションコントローラ３６１２を含むことをさらに示す。遠隔操作者アクションコントローラ３６１２は、例えば、遠隔操作者３６０８からの入力に応答して、自律車両３６３０の１つまたは複数の態様を観察、支援、監視などするための１つまたは複数のアクションを開始するために、データを生成するように構成され得る。アクションジェネレータ（action generator）３６１３は、自律車両３６３０をナビゲートするか、または他の方法で支援するために、（１つまたは複数の遠隔操作サービスとして）アクションの１つまたは複数のコースを決定するように構成され得る。例えば、アクションジェネレータ３６１３は、安全でない状況または危険な障害物の周囲で自律車両３６３０をナビゲートする（または、ナビゲートする際に支援する）ために遠隔操作者３６０８によって引き受けられ得るアクションのサブセットを生成することができる。この場合、遠隔操作者３６０８によって選択されたアクションは、自律車両３６３０に、例えば、イベント位置（例えば、地理的位置またはイベントが発生する可能性がある領域）の周囲をナビゲートする範囲の１つまたは複数の道路セグメントを含む特定のルートを走行させることができる。
【0107】
さらに、アクションジェネレータ３６１３は、自律車両３６３０を案内するためにナビゲーションデータを（例えば、命令データ３６１７として）生成するように構成され得る。従って、アクションジェネレータ３６１３は、例えば、自律車両コントローラ３６４７のプランナ（図示せず）によって（命令データ３６１７として）使用するように構成されたデータを定義することができる選好または回避のいずれかのルートまたは領域を識別することができる。アクションジェネレータ３６１３は、遠隔操作者３６０８が自律車両３６３０の意図された動作性を保証するために使用することができる追加の情報を請求するために、センサ、通信デバイス、電気構成要素、電気機械構成要素などのサブセットの（例えば、遠隔操作者３６０８による選択に応答して）自己診断テストまたは較正を開始するようにさらに構成され得る。従って、遠隔操作者３６０８は、故障したセンサの動作性を評価するために、遠隔操作者マネージャ３６０７を介して自律車両３６３０と通信することができ、自律車両コントローラ３６４７に、対象のセンサの動作を診断（例えば、診断などを実行する）、変更、または修正させるために、命令データ３６１７をさらに送ることができる。アクションはまた、センサ性能の問題を監視または診断する際に遠隔操作者３６０８を支援するために、センサの各ビュー（例えば、各ライダセンサに対するレーザ戻りの各個々のセット）の提示を引き起こすように構成されたデータによって表され得る。アクションジェネレータ３６１３によって生成される別のアクションは、例えば、遠隔操作者３６０８が、通信の消失中（例えば、自律車両３６３０が、プランナの動作が劣化また失敗した場合など、主要な軌道が利用可能でないときに、安全停止動作を実行するために臨時の軌道を使用して自己ナビゲートする間）、自律車両３６３０のアクションを視覚的に検討することができ得るように、過去の時間間隔に関連付けられた自律車両３６３０からのセンサデータをフェッチする命令を表すデータを含むことができる。
【0108】
様々な例によれば、遠隔操作サービスに関連する「イベント」は、自律車両の動作に影響を及ぼす、または自律車両の動作に潜在的に影響を及ぼす状態または状況であり得る（例えば、イベントは、計算された信頼レベルに関連付けられ得、または計算された信頼レベルによって特性化され得る）。イベントは、自律車両３６３０の内部または外部にあり得る。例えば、道路を不明瞭にする障害物は、通信の縮小または消失と同様に、イベントとして見なされ得る。イベントは、予測エンジンによって知覚される予期されないまたは異常な数またはタイプの外部オブジェクト（またはトラック）と同様に、交通状況または渋滞を含むことができる。イベントは、天気に関連する状況（例えば、氷もしくは雨による摩擦の消失）、または、太陽に、他の車両の人間の運転者の目に対して明るく輝かせる水平線に対して低い角度などの、太陽が輝いている（例えば、日没における）角度を含むことができる。明るい太陽光はまた、レーザまたはカメラベースのセンサなどのセンサの動作性を損なう可能性がある。従って、イベントは、１つもしくは複数のセンサの劣化された性能、またはその故障に関連付けられた状況であり得る。イベントは、（例えば、リポジトリ３６４１内に記憶されたルールに対する）ルール違反、または、ローカライズのために使用されるマップデータにリンクされた警告データ３６０５ｂの検出によって発生する可能性がある。上記で説明された例は、限定であるように意図されず、それとして、これらおよび他の状況は、遠隔操作者サービスの呼び出しを引き起こす可能性があるイベントとして見なされ得る。
【0109】
図３６００は、遠隔操作者アクションコントローラ３６１２が、ネットワーク３６０６を介して通信リンクの属性（例えば、様々なセルラーネットワークおよび／またはワイヤレスネットワークなどのような代替の通信ネットワークに関する帯域幅、識別子）を監視し、特性化するように構成され得る通信リンクマネージャ３６１５も含むことを示す。例えば、通信リンクマネージャ３６１５は、帯域幅の減少のような、帯域幅の変化を検出することができ、遠隔操作サービスを促進するために遠隔操作者マネージャ３６０７の機能性を調整することができる。例示するために、ネットワーク３６０６を介する通信リンクの帯域幅の量が減少される状況を考える。遠隔操作者通信デバイス３６０４の表示を生成するとき、視覚化データの量は、自律車両３６３０が走行する物理的環境を遠隔操作者３６０８が視覚的に監視することを可能にするために変更され得る。例えば、通信リンクマネージャ３６１５は、境界ボックスよりも大きいデータ量を有するセンサデータを使用するのではなく、視覚化データに、物理的環境内の動的オブジェクトおよび静的オブジェクトの境界ボックスを示させることができる。加えて、通信リンクマネージャ３６１５は、遠隔操作サービスが支援することができるイベントの重要度に従って帯域幅を調整することができる。低い重要度（例えば、動作不能を引き起こす可能性が低い）イベントの例は、他の冗長センサが存在するセンサの性能における軽微な偏差を含むが、高い重要度（例えば、動作不能を引き起こす可能性が高い）イベントの例は、道路における障害物を含む。さらに、通信リンクマネージャ３６１５は、１つまたは複数の自律車両３６３０と遠隔操作者マネージャ３６０７との間の通信リンクの存在または不在を識別するように構成され得、それに応じて遠隔操作サービスを適応させるように構成され得る。例えば、周期的な確認信号の消失を検出すると、遠隔操作者マネージャ３６０７は、遠隔操作者が代替の通信モードを探す（例えば、他のセルラーネットワーク、ピアツーピア（例えば、自律車両間）ネットワークなどを実装するためにアクションジェネレータ３６１３によってアクションを生成する）ことができるように、遠隔操作者３６０８にイベントを警告することができる。
【0110】
図３６００の遠隔操作者マネージャ３６０７はまた、視覚化とユーザインターフェース機能性とを促進するように構成され得るユーザインターフェースコントローラ３６１０を含む。ユーザインターフェースコントローラ３６１０の視覚化コントローラ３６１１は、遠隔操作者コンピューティングデバイス３６０４のディスプレイ上の提示のための高精細視覚化データを生成するために、センサ生成データ（例えば、ライダセンサ、カメラ、レーダ、ソナーなどのうちの１つまたは複数の融合されたセンサデータ）を処理するように構成される。いくつかの例において、視覚化コントローラ３６１１は、遠隔操作者３６０８が自律車両３６３０を支援するために使用することができる高忠実度の映像の生成を促進するために、ＧＰＵのクラスタを含む１つまたは複数のグラフィックス処理ユニット（「ＧＰＵ」）を実装することができる。いくつかの例によれば、視覚化コントローラ３６１１は、通信リンクマネージャ３６１５からのデータに応答して視覚化データを生成することができる。具体的には、視覚化コントローラ３６１１は、通信リンクマネージャ３６１５が帯域幅の低下された利用可能性のイベントの発生を示す場合、境界ボックスに関連付けられたオブジェクトの画像ではなく、ディスプレイ上の提示のための境界ボックスの使用を促進することができる。
【0111】
ユーザインターフェースコントローラ３６１０の入出力コントローラ３６１４は、ユーザ入力とユーザ出力とを表すデータを生成するように構成され、その両方は、遠隔操作者コンピューティングデバイス３６０４のユーザインターフェースまたはディスプレイに提示され得る。ユーザ入力およびユーザ出力に関連付けられたデータ信号は、遠隔操作者コンピューティングデバイス３６０４のユーザインターフェースと遠隔操作者マネージャ３６０７との間で交換され得る。そのようなデータ信号は、遠隔操作サービスを実施するために、遠隔操作者マネージャ３６０７の構成要素のいずれか、または自律車両サービスプラットフォームの任意の他の構成要素の動作を促進することができる。図３６の図３６００において示されている要素は、本明細書において記載された１つまたは複数の他の図面に関連して記述されている、同様に名付けられている要素としての構造および／または機能を含むことができることに留意されたい。
【0112】
図３７は、いくつかの例による、遠隔操作サービスコマンドを促進するために、ユーザインターフェースを実装するように構成された遠隔操作者マネージャの例を示す図である。図３７００は、ネットワーク３７０６を介して自律車両３７３０に通信可能に結合され、遠隔操作者との対話を促進するためにユーザインターフェース３７０１を実装するように構成された遠隔操作者マネージャ３７０７を示す。示された例において、イベント位置３７０３が、１つまたは複数の自律車両が軌道を決定する際にあるレベルの複雑さを経験する可能性がある地理的位置またはその領域を示すことを考える。複雑さのレベルは、軌道を決定する際の正確さが遠隔操作者サービスによって支援され得るかどうかを指定することができる値（例えば、数値、確率的値、または任意の他の適切な値）または値の範囲として表現され得る。示された例において、イベント位置３７０３は、ユーザインターフェース３７０１において（例えば、基準またはマップデータ、地形データ、交通データなどに基づいて）道路ネットワーク３７１０に関連付けられているものとして示されている。この例において、イベント位置３７０３は、比較的多数のルートまたは軌道がイベント位置３７０３によって影響を及ぼされ得る道路セグメントのサブセットの交差点において、または道路セグメントのサブセットの近傍において配置されるように示されている。この例にさらに付け加えると、イベント位置３７０３は、交通事故、または、自律車両３７３０における軌道生成もしくはルート計画が特定のレベルの複雑さもしくは困難性を有する（例えば、１日の特定の時刻において、明るい太陽光が適切なセンサ動作を妨げる可能性がある）ことの（例えば、警告データに基づく）指示のような、イベントが発生する、または発生している確率が存在する場所であり得る。従って、遠隔操作者マネージャ３７０７は、イベント位置３７０３をナビゲートする際に自律車両を支援するために遠隔操作サービスを提供することができる。
【0113】
図３７００は、自律車両３７３０のナビゲーションを案内するために、任意の数のアクションを促進するために、ユーザインターフェース３７０１を介してユーザ入力を受け入れることの様々な例をさらに示す。次に続く例において、自律車両３７３０は、自律車両表現３７３０ａまたは自律車両表現３７３０ｂのいずれかとして表示または視覚的に表現され得る。示された例によれば、遠隔操作者は、ユーザ入力をユーザインターフェース３７０１に適用することによって自律車両３７３０のナビゲーションに影響を及ぼすことができ、それによって、入力および出力を表すデータ信号は、限定はされないが、キーボード、マウス、オーディオ入力（発話－テキストデバイス）、グラフィカルユーザインターフェース、ディスプレイ、モニタ、カーソル、タッチセンサ式ディスプレイ、ＬＣＤまたはＬＥＤディスプレイ、および他のＩ／Ｏ関連デバイスを含む、１つまたは複数の入力および出力デバイスのいずれかを介して交換され得る。差し迫ったイベント位置３７０３の表現がユーザインターフェース３７０１上に表示されたとき、遠隔操作者は、自律車両３７３０の軌道を変更するために、暗示的な案内または明示的な案内を提供するために、ユーザインターフェース３７０１と対話することができる。
【0114】
遠隔操作者によって実施されるコマンドを例示するために、ユーザインターフェース３７０１が自律車両表現３７３０ａを表示し、遠隔操作者が、その位置３７０３に関連付けられたイベントのビューにおいて自律車両３７３０をナビゲートする際に支援するために、ユーザインターフェース３７０１と対話する例を考える。（例えば、カーソルまたはタッチスクリーン入力を介する）ユーザ入力３７２９ａのようなユーザ入力は、暗示的な案内を提供するために使用され得るナビゲーションポイント「Ｄ」を設定することができる。この例において、ナビゲーションポイントＤは、自律車両３７３０における計画および軌道生成に影響を及ぼす可能性がある道路ネットワーク３７１０内の地理的領域に関連付けられたポイントを表すことができる。ナビゲーションポイントＤは、ナビゲーションポイントＤに向かって（すなわち、誘引点として）またはナビゲーションポイントＤから離れて（すなわち、反発点として）軌道を生成するように構成され得る。いくつかの例によれば、誘引または反発の程度は、車両３７３０ａとナビゲーションポイントＤとの間の距離ｒから直線的または非直線的に変化する値を有することができる。例えば、ナビゲーションポイントＤが反発点として構成された場合、自律車両３７３０におけるプランナは、道路セグメント３７２５が、道路セグメント３７２５よりもナビゲーションポイントＤからさらに遠い道路セグメント３７２７よりも、生成された軌道内に含まれる可能性が低いことを（例えば、確率的に）決定するように軌道を生成することができる。
【0115】
示された例にさらに付け加えると、遠隔操作者は、自律車両３７３０のための軌道生成を境界に向けて誘引するか、または境界から反発させるように境界を確立することができる。示されているように、ユーザインターフェース３７０１へのユーザ入力は、反発境界（repel boundary）３７９４を回避するために自律車両３７３０の軌道生成処理において使用される命令データ３７１７を形成するために遠隔操作者マネージャ３７０７が処理する入力信号データを生成する、ナビゲーションポイントＡとナビゲーションポイントＢとの間の反発境界３７９４を確立することができる。また、ナビゲーションポイントＣの追加は、その両方がイベント位置３７０３をバイパスするように軌道生成において非強調化され得るか、または軌道生成から除外され得る道路セグメント３７２１および３７２３をカプセル化する反発領域（repel region）３７９２を確立することができることに留意されたい。いくつかの場合において、反発領域３７９２は、走行が禁止される「無走行ゾーン」として構成され得る。他の例において、遠隔操作者が、自律車両３７３０が（例えば、道路セグメント３７２１または道路セグメント３７２３を介して）イベント位置３７０３にナビゲートすることを望む場合、反発境界３７９４および反発領域３７９２は、それぞれ、誘引境界および誘引領域として形成され得る。いくつかの例によれば、ユーザ入力３７２９ｂは、例えば、遠隔操作者がユーザインターフェース３７０１の表面を横切って指をスワイプするときに形成されるナビゲーションポイントのセットとしての連続入力（または半連続入力）を含むことができる。示されているように、ユーザ入力３７２９ｂは、誘引領域３７９１の近傍に関連付けられるか、または誘引領域３７９１の近傍内の道路セグメントに向かう軌道生成に影響を及ぼすように構成された誘引領域３７９１を形成する。様々な例において、上記で説明されたナビゲーションポイント、境界、および領域は、特定の自律車両または複数の自律車両（例えば、自律車両表現３７３０ｂに関連付けられた自律車両を含む自律車両の群）に適用され得る。
【0116】
図３７００は、ユーザインターフェース３７０１を介して遠隔操作者に自律車両表現３７３０ｂとして提示され得る自律車両３７３０にナビゲーション案内を提供するために、ユーザインターフェース３７０１を介してユーザ入力を受け取ることの例をさらに示す。遠隔操作者マネージャ３７０７は、自律車両３７３０に送信され得る命令データ３７１７を生成することによって、ユーザインターフェース３７０１を介して１つまたは複数のアクションを読み出すためのユーザ入力を受け入れるように構成され得る。自律車両３７３０が自律車両表現３７３０ｂとして表示される事例において、遠隔操作者マネージャ３７０７はまた、ユーザインターフェース３７０１上の提示のための、それぞれ、第１のアクション（「１」）３７３１、第２のアクション（「２」）３７３２、および第３のアクション（「３」）に対応するユーザ入力３７３１ａ、３７３２ａ、および３７３３ａの提示を引き起こすように構成され得る。アクション３７３１は、自律車両表現３７３０ｂと、従って、自律車両３７３０とを、第１の車道において左折させる命令の第１のサブセットを含むことができる。アクション３７３２は、自律車両表現３７３０ｂ（および自律車両３７３０）を第２の車道において左折させる命令のサブセットを含むことができる。アクション３７３３は、自律車両表現３７３０ｂ（および自律車両３７３０）を第２の車道において右折させる命令のサブセットを含むことができる。アクション３７３１～３７３３は、自律車両３７３０ｂにイベント位置３７０３をバイパスさせるために、遠隔操作者によって案内されるルートを提供するように構成されることに留意されたい。いくつかの例によれば、ユーザ入力３７３１ａ、３７３２ａ、および３７３３ａは、少なくとも１つのプランナによって生成される軌道を無効にするために、命令データ３７１７として構成され得る。
【0117】
示されているように、ユーザインターフェース３７０１またはその一部は、遠隔操作者が自律車両３７３０のナビゲーションを支援するために実施することができるアクション３７４１の１つまたは複数の選択可能なコースを提示することができる。この例において、アクション３７３２を実施するための第１のユーザ入力（「アクション２」）３７３２ａ、アクション３７３１を実施するための第２のユーザ入力（「アクション１」）３７３１ａ、およびアクション３７３３を実施するための第３のユーザ入力（「アクション３」）３７３３ａ。ユーザ入力３７３１ａ、３７３２ａ、および３７３３ａは、例えば、ユーザインターフェース３７０１の特定の部分に触れる指であり得るユーザ入力３７２９ｃに応答して、入力信号として個々のデータ信号を活性化するユーザインターフェース３７０１の対話部分を表すことができる。いくつかの例によれば、自律車両３７３０のプランナは、プランナがイベントのビューにおける遠隔操作者への提示および遠隔操作者による選択のための最適なアクションおよび／または軌道を識別することができるので、遠隔操作者マネージャ３７０７にメッセージデータ３７１９としてこれらの選択を表すデータを送信することができる。さらに、ユーザ入力３７３２ａ、３７３１ａ、および３７３３ａは、各々、それぞれ、適切なユーザ入力を選択するための相対的嗜好または推奨を指定する、０．９８、０．９６、および０．８９の対応するランキング３７４２と共に表示される。しかしながら、ランキング以外の任意の指標が使用され得ることに留意されたい。いくつかの例によれば、ユーザ入力３７３１ａ、３７３２ａ、および３７３３ａは、（例えば、確率論的に重み付けされた）アクションとして潜在的解の重み付けされたセットとして提示され得る。いくつかの例において、自律車両３７３０のプランナは、メッセージデータ３７１９としてランキング３７４２を提供することができ、それによって、ランキング３７４３は、プランナによって計算されるように、提案されたルートまたは軌道の成功したナビゲーションの確率を示すことができる。上記で説明されたランキング３７４２は、示された確率または数に限定されず、他の推奨された選択に対して推奨された選択を区別する任意の形態のものであり得る。０．９８のランキング値３７４２に基づいて、遠隔操作者（すなわち、ユーザ入力３７２９ｃ）は、アクション３７３２を成し遂げるためにユーザ入力３７３２ａを選択することができる。
【0118】
いくつかの例によれば、シミュレータ３７４０は、特定のランキング値３７４２が最適であるかどうかを、自律車両３７３０（または、イベント位置３７０３に遭遇するその後の自律車両３７３０）についてリアルタイム（またはほぼリアルタイム）で決定するために、アクション３７３１～３７３３の実施をシミュレートするために、自律車両サービスプラットフォームの任意の構成要素および自律車両の群からの任意の他のデータだけでなく、メッセージデータ３７１９を受信することができる。例えば、シミュレータ３７４０は、シミュレーションデータ３７１８として、対応するユーザ入力と共に表示するためのシミュレーション値３７４４を生成することができる。この例において、「１」のシミュレーション値は、関連付けられたランキングとの一致を示すことができるが、シミュレーション値３７４４のより小さい値は、遠隔操作者がランク３７４２に依存する前に検討したい可能性があるランキング３７４２からのより大きい逸脱を示すことができる。示された例において、ユーザ入力３７３１ａのランク値３７４２は、「１」のシミュレーション値３７４４に関連付けられ、そのようにして、遠隔操作者は、ユーザ入力３７３２ａではなくユーザ入力３７３１ａを選択することができる。いくつかの例によれば、シミュレータ３７４０は、仮想環境内の自律車両３７３０の動作性と、ユーザインターフェース３７０１との遠隔操作者の対話と、遠隔操作者マネージャ３７０７が、数ある中で、遠隔操作者マネージャ３７０７の機能性および構造を検証するために実施され得る自律車両サービスプラットフォームの他の機能とをシミュレートするように構成され得る。
【0119】
様々な例によれば、ランク値３７４２および／またはシミュレータ値３７４４の実装は、上記で説明されたものに限定される必要はなく、遠隔操作者が選択することができるアクションの最適なコースを区別するための任意の他の値または入力タイプを含むことができる。アクション３７４１の選択可能なコースは、暗示的な案内または明示的な案内のいずれかを提供することと共に使用され得、ナビゲーションに関連するアクション以外の他のアクションを含むことができる。他のアクションの例は、センサデータをテストまたは表示するためのアクションと、自律車両３７３０の車上の問題を自己較正または自己診断するためのアクションと、車両３７３０の乗員と通信するためのアクションと、任意の他の関連するアクションとを含む。ナビゲーションポイント、境界、領域、および類似のものを実装するように構成されたユーザ入力と同様に、アクション３７４１の選択可能なコースとして示されたもののようなユーザ入力は、アクションの先制（preemptive）のコースとして実装され得、それによって、自律車両３７３０の動作が、例えば、イベントまたはイベント位置３７０３によって影響を及ぼされる、または劣化される必要がないように、自律車両３７３０は、遠隔操作サービスをタイムリーに受信することができる。例えば、自律車両３７３０は、イベントによって影響を受ける前に、その性能を停止または変更する必要はない。図３７の図３７００において示されている要素は、本明細書において記載された１つまたは複数の他の図面に関連して記述されている、同様に名付けられている要素としての構造および／または機能を含むことができることに留意されたい。
【0120】
図３８は、いくつかの例による、遠隔操作サービスコマンドを促進するためにユーザインターフェースを実装するように構成された遠隔操作者マネージャの別の例を示す図である。図３８００は、ネットワーク３８０６を介して自律車両３８３０に通信可能に結合され、遠隔操作者との対話を促進するためにユーザインターフェース３８０１を実装するように構成された遠隔操作者マネージャ３８０７を示す。示された例において、遠隔操作者マネージャ３８０７は、ユーザインターフェース３８０１を介して、自律車両３６３０が進行する物理的環境（例えば、道路、都市景観など）内の走行の方向における自律車両の少なくとも１つの先端面からのビュー３８１０（例えば、３Ｄビュー）を提示するように構成される。いくつかの例によれば、ビュー３８１０を表すデータは、メッセージデータ３８１９として自律車両３８３０から送信され得、ビュー３８１０を表すデータは、例えば、イベントが示されたビュー３８１０に基づいて遠隔操作者が遠隔操作コマンドを提供することができるように、任意の解像度の視覚化データを生成することができるセンサデータのような最適化された量（または任意のより少ない量）のデータを（例えば、ネットワーク３８０６内の通信チャネルの帯域幅の関数などとして）含むことができる。遠隔操作者マネージャ３８０７は、ユーザインターフェース３８０１を介して、アクション３８４１の選択可能なコースと、メッセージデータ３８１９に基づくメッセージログ３８４１ａと、ユーザインターフェース３８０１に関連付けられた特定の自律車両３８３０を示す自律車両（「ＡＶ」）識別子３８８１とを提示するようにさらに構成され得る。
【0121】
この例において、ユーザインターフェース３８０１に関連付けられた遠隔操作者が、自律車両３８３０が経験している可能性があるイベントに基づいて、イベントに関連する情報を提示されることを考える。遠隔操作者は、自律車両３８３０が、遠隔操作サービスが呼び出され得る１つまたは複数の（例えば、信頼レベルの範囲に関連付けられた）イベントに遭遇していることを示すことができる「不動警告」を表すメッセージ（「ｌａ」）３８４３ａを受信することができる。いくつかの例において、不動警告は、決定可能な理由がない可能性がある時間の閾値を超えて自律車両３８３０が不動であったことを示す（例えば、自律車両の自律車両コントローラは、安全または妨害されない走行を妨げる可能性があるイベントを考慮して、許容可能な軌道を生成することができない可能性がある）。ここで、（駐車された車の）車のドア３８６９が、障害物として、生成された軌道が横断することが予測される空間領域に延在すると共に、１つまたは複数の交通コーン３８６１が障害物として検出される可能性がある。いくつかの場合において、自律車両３８３０の自律車両コントローラは、ビュー３８１０に関連付けられた地理的位置に到達する前に、上記で説明された障害物を検出するように構成され得、それによって、遠隔操作者は、車両を経路３８６６に追従させるために、命令データ３８１７としてナビゲーション案内を提供するために先制して介入することができる。遠隔操作からの先制的な案内により、自律車両３８３０の動作は、障害物によって影響される必要はない（または最小限の影響を受ける）。他の場合において、車のドア３８６９は、自律車両３８３０が車のドアが開いているのを検出し、その閉鎖を待つために停止するように、瞬間的に開く可能性がある。車両が不動である過剰な時間が検出された場合、メッセージデータ３８１９は、メッセージ３８４３ａを含むことができる。
【0122】
別の例において、自律車両３８３０との通信が失われたことを遠隔操作者に示すために、遠隔操作者マネージャ３８０７がメッセージ（「ｌｂ」）３８４３ｂを表示させることを考える。例えば、遠隔操作者マネージャ３８０７は、自律車両サービスプラットフォームが、ネットワーク３８０６を介する通信が存在することを確認する十分なデータまたは周期的信号（例えば、心拍信号）のいずれかを受信し損なうことを決定する。遠隔操作者は、ユーザインターフェース３８０１を介して、通信を再確立するための１つまたは複数のアクションを開始することができる。例えば、遠隔操作者コンピューティングデバイスは、自律車両３８３０との（例えば、ピアツーピアネットワーク、代替のセルラーネットワークなどを介する）代替通信リンクを確立するように構成され得る。上記で説明された例にさらに付け加えると、通信が再確立され、遠隔操作者にそれを示すためにメッセージ（「２ｂ」）３８４３ｃが生成されることを考える。この場合において、ユーザインターフェース３８０１を見ている遠隔操作者は、自律車両３８３０が、通信の消失および／または他の理由のためかどうかにかかわらず、安全領域３８９０において自律車両を停止させるために安全停止軌道３８９２を実施したことに気づくことができる。また、遠隔操作者は、自律車両３８３０が、例えば、自律車両３８３０が走行し続けることが機能的および／または構造的にできることを確立するために、オプションであり得る安全停止復旧モードまたはルーチンを実施している（または実施した）ことを示すメッセージ（「３ｂ」）３８４３ｄを見ることができる。例えば、安全停止復旧ルーチンは、センサのサブセットが規範動作パラメータのそれぞれの範囲内で動作していることを確認するように構成され得る。そのようにして、自律車両３８３０は、成功した安全停止復旧プロセスの完了時に自律車両サービスを再開することができ得る。
【0123】
さらに、遠隔操作者は、そのシステムの適切な動作を検証するために自律車両３８３０によって自己テストルーチンを開始することができるユーザ入力（「アクション１」）３８３１ａを選択または活性化するためにユーザ入力３８２９ａを提供することができる。遠隔操作者はまた、自律車両３８３０に１つまたは複数のセンサまたは他の構成要素に対する自己較正プロセスを実行させるために、ユーザ入力（「アクション２」）３８３２ａを選択することができる。いくつかの場合において、遠隔操作者は、通信の消失に続いてセンサデータの再生を引き起こし、安全発進動作の前に、例えば、車道に跳ねるバスケットボールに衝突するか、または他の方法で遭遇する自律車両３８３０のような他のイベントが存在しなかったことを決定するために、ユーザ入力（「アクション３」）３８３３ａを選択することができる。遠隔操作者は、１つまたは複数の誘導された軌道３８６６を走行するように自律車両３８３０に命令データ３８１７を提供することができる。
【0124】
シミュレータ３８４０は、いくつかの例によれば、仮想環境内の仮想自律車両３８３０ａとして自律車両３８３０の動作性をシミュレートするように構成され得る。そのようにして、仮想自律車両３８３０ａは、シミュレートされたメッセージデータ３８１９ａを生成することができる。シミュレータ３８４０はまた、遠隔操作者マネージャ３８０７の機能性と、ユーザインターフェース３８０１との遠隔操作者の対話と、シミュレータ３８４０が、数ある中で、遠隔操作者マネージャ３８０７の機能性および構造をシミュレートし、検証するように実装され得る自律車両サービスプラットフォームの他の機能性とをシミュレートするように構成され得ることに留意されたい。
【0125】
いくつかの事例において、遠隔操作者マネージャ３８０７は、例えば、境界ボックスよりも大きいデータ量を有するセンサデータを使用するのではなく、物理的環境の描写において境界ボックス３８６３として１つまたは複数の障害物を示すことによって、視覚化データに提示のためのコンテンツを調整させることができる。そのようにして、ビュー３８１０を形成するために、より少ないデータがメッセージデータ３８１９を介して送信され得る。または、いくつかの場合において、マップデータから十分に逸脱した物理的環境内の検出されたオブジェクトまたは特徴は、例えば、静的に関連するオブジェクトまたは以前に検出されたオブジェクトに関連付けられたデータを送信するのではなく、メッセージデータ３８１９として送信され得る。いくつかの例において、ユーザ３８０２（例えば、Ｒ＆Ｄ開発者または乗員）は、メッセージデータ３８１９を生成するため、または自律車両３８３０にそのようなデータを生成させるために、コンピューティングデバイス３８０３（例えば、モバイルコンピューティングデバイス）と対話することができる。図３８の図３８００内において示されている要素は、本明細書において記載された１つまたは複数の他の図面に関連して記述されている、同様に名付けられている要素としての構造および／または機能を含むことができることに留意されたい。
【0126】
図３９は、いくつかの例による、遠隔操作サービスコマンドを促進するためにユーザインターフェースを実装するように構成された遠隔操作者マネージャのさらに別の例を示す図である。図３９００は、ネットワーク３９０６を介して自律車両３９３０に通信可能に結合され、遠隔操作者との対話を促進するためにユーザインターフェース３９０１を実装するように構成された遠隔操作者マネージャ３９０７を示す。示された例において、遠隔操作者マネージャ３９０７は、ユーザインターフェース３９０１を介して、物理的環境の一部の特定のビューとしてビュー３９１０（例えば、３Ｄビュー）を提示するように構成され、それによって、ビュー３９１０の各々は、対応するセンサによって発生されるように環境の感知された部分に関連することができる。いくつかの例によれば、遠隔操作者が、例えば、ビュー３９１０に関して示されたイベントに基づいて遠隔操作コマンドを提供することができるように、自律車両から送信され得るビュー３９１０を表すデータは、遠隔操作者にセンサ動作を通知するために使用され得る。遠隔操作者マネージャ３９０７は、ユーザインターフェース３９０１を介して、アクション３９４０の選択可能なコースと、メッセージデータ３８１９に基づくメッセージログ３９４１と、ユーザインターフェース３９０１に関連付けられた特定の自律車両３９３０を示す自律車両（「ＡＶ」）識別子３９８１とを提示するようにさらに構成され得る。
【0127】
示された例において、遠隔操作者が、少なくとも１つのパラメータが限界パラメータ値の範囲内で動作しているようにセンサが動作していることを示すメッセージ（「１」）３９４３ａを受信することを考える。いくつかの状況において、遠隔操作者が、センサデータをユーザインターフェース３９３１上に表示させるためにユーザ入力（「アクション１」）３９４３ａを選択するためにユーザ入力３９２９ａを提供するまで、ビュー３９１０は、ユーザインターフェース３９０１上に提示される必要はない。さらに、遠隔操作者は、ユーザインターフェース３９０１を介して、センサ警告を指定するメッセージ（「２」）３９４３ｂを受信することができ、それによって、少なくとも１つのセンサパラメータ値は、規範動作パラメータ値の少なくとも１つの範囲から逸脱していることができる。そのようにして、イベントは、センサ機能性の劣化として検出され得る。ユーザ入力３９３１ａの実施時に、命令データ３９１７は、自律車両３９３０に送信され、自律車両３９３０は、それに応答して、センサデータビュー３９７０、３９７２、３９７４、および３９７６の提示を引き起こす遠隔操作者マネージャ３９０７に、メッセージデータ３９１９として、例えば、センサ１～４から感知されたデータを送信するように構成される。示されているように、センサ１のようなセンサの劣化は、異常３９７７（例えば、センサにおける物理的欠陥、センサ上の障害物、過度の強い光など）として視覚的に示され得る。従って、遠隔操作者は、センサ動作における異常の存在を視覚的に確認することができる。遠隔操作者は、そのような命令を命令データ３９１７として自律車両３９３０に送信することによって、センサ較正とセンサ再配向とをそれぞれ実行するためにユーザ入力（「２」）３９３２ａとユーザ入力（「３」）３９３３ａとを選択することができる。ユーザ入力に応答する命令は、自律車両３９３０に、センサ劣化を低減または無効にするためにその動作を変更させることができる。対象のセンサ（例えば、センサ１）の再配向の例は、本明細書に記載された数ある例の中で図３Ｅ、２５に示されている。
【0128】
様々な例によれば、示されているものよりも多いまたは少ないセンサに関するビューがユーザインターフェース３９０１上に提示され得る。さらに、ライダ、カメラ、レーダ、ソナーなどのような任意のタイプのセンサが、ビュー３９１０としての提示のための任意のタイプのデータを提供することができる。また、ビュー３９７０、３９７２、３９７４、および３９７６は、上記で説明されたセンサに限定されず、遠隔操作者マネージャ３９０７は、温度、バッテリ充電、ホイール角度、速度などのような、感知されたパラメータの任意の視覚的表現を生成するように構成され得ることに留意されたい。
【0129】
シミュレータ３９４０は、いくつかの例によれば、自律車両３９３０の仮想または合成バージョンと共に、仮想環境内で使用される仮想センサとして自律車両３９３０内のセンサの動作性をシミュレートするように構成され得る。シミュレータ３９４０は、遠隔操作者マネージャ３９０７の機能性と、ユーザインターフェース３９０１との遠隔操作者の対話と、シミュレータ３９４０が、数ある中で、遠隔操作者マネージャ３９０７を使用して自律車両３９３０内のセンサの機能性および構造をシミュレートし、検証するために実装され得る自律車両サービスプラットフォームの他の機能とをシミュレートするようにも構成され得るデータの少なくとも一部を生成することに留意されたい。図３９の図３９００において示されている要素は、本明細書において記載された１つまたは複数の他の図面に関連して記述されている、同様に名付けられている要素としての構造および／または機能を含むことができることに留意されたい。
【0130】
図４０は、いくつかの例による、遠隔操作サービスを実行することの例を示すフロー図である。フロー４０００は、遠隔操作メッセージが、例えば、自律車両と自律車両サービスプラットフォームとの間の通信リンクを介して受信され得る４００２で開始する。いくつかの例において、遠隔操作メッセージは、自律車両が走行している物理的環境の描写を提供するように構成されたセンサデータ（または他のデータ）を含むことができる。例えば、描写は、ユーザインターフェースに提示され得、融合されたセンサデータで形成され得る。４００４において、自律車両に関連付けられたイベントを指定するデータが、メッセージデータに基づいて検出される。４００６において、アクションの１つまたは複数のコースが識別され得る。少なくとも１つのアクションが、イベントを検出することに応答して、実行するために選択され得る。４００８において、イベントに関連付けられた情報を、ユーザインターフェースを介して、遠隔操作者コンピューティングデバイスと対話する遠隔操作者に提示するために、視覚化データが生成される。視覚化データは、遠隔操作者が、自律車両のプランナの動作（例えば、軌道生成）に介入するかどうかを決定するために、視覚化データを提示されるように、ディスプレイまたはユーザインターフェースに提示され得る。フロー図の各部分は、フロー図の他の部分に依存せずにまたは依存して実行され得ると同時に、フロー図の任意の１つまたは複数の他の部分と連続的にまたは同時に実行され得るので、このフロー図または本明細書における他のフロー図に示された順番は、様々な機能を線形的に実行する必要性を暗示することを意図されないことに留意されたい。
【0131】
図４１は、様々な実施形態による、自律車両サービスの構成要素に、様々な遠隔操作に関連する機能性および／または構造を提供するように構成された様々なコンピューティングプラットフォームの例を示す。いくつかの例において、コンピューティングプラットフォーム３３００は、上記で説明された技法を実行するために、コンピュータプログラム、アプリケーション、方法、プロセス、アルゴリズム、または他のソフトウェアを実施するために使用され得る。図３３の１つまたは複数の構造および／または機能性は、図４１に適用可能であり得、そのようにして、これらの図中のいくつかの要素は、図３３において議論され得ることに留意されたい。図４１の図４１００において示されている要素は、本明細書において記載された１つまたは複数の他の図面に関連して記述されている、同様に名付けられている要素としての構造および／または機能を含むことができることに留意されたい。
【0132】
図４１において示された例を参照すると、システムメモリ３３０６は、自律車両サービスプラットフォームモジュール４１５０および／またはその構成要素（例えば、遠隔操作者サービスモジュール４１５２など）を含み、そのいずれか、またはその１つもしくは複数の部分は、本明細書で説明された１つまたは複数の機能を実装することによって自律車両サービスのためのナビゲーションを促進するように構成され得る。
【0133】
上記の例は、理解の明瞭性の目的のためにいくらか詳細に記述されているが、上述の本発明の技法は、提供されている詳細には限定されない。上述の本発明の技法を実施する多くの代替的な方法がある。開示されている例は、例示であり、限定ではない。
【図1】
【図2】
【図3A】
【図3B】
【図3C】
【図3D】
【図3E】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26A】
【図26B】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【図38】
【図39】
【図40】
【図41】