特開2024-105474物理的環境の変化に応答して自律車両をナビゲートするための適応マッピング
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024105474
(43)【公開日】2024-08-06
(54)【発明の名称】物理的環境の変化に応答して自律車両をナビゲートするための適応マッピング
(51)【国際特許分類】
G01C 21/28 20060101AFI20240730BHJP
G08G 1/0968 20060101ALI20240730BHJP
B60W 30/10 20060101ALI20240730BHJP
B60W 40/02 20060101ALI20240730BHJP
B60W 60/00 20200101ALI20240730BHJP
【ＦＩ】
G01C21/28
G08G1/0968
B60W30/10
B60W40/02
B60W60/00
【審査請求】有
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2024076594
(22)【出願日】2024-05-09
(62)【分割の表示】P 2022020682の分割
【原出願日】2016-11-03
(31)【優先権主張番号】14/932,963
(32)【優先日】2015-11-04
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】14/932,959
(32)【優先日】2015-11-04
(33)【優先権主張国・地域又は機関】US
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＱＲコード
(71)【出願人】
【識別番号】518156417
【氏名又は名称】ズークス インコーポレイテッド
(74)【代理人】
【識別番号】110001243
【氏名又は名称】弁理士法人谷・阿部特許事務所
(72)【発明者】
【氏名】ジェシー ソル レヴィンソン
(72)【発明者】
【氏名】ガブリエル サーストン シブリー
(57)【要約】 （修正有）
【課題】自律車両、ならびに、自律車両のためのマップデータを提供するための関連付けられる機械的、電気的および電子的ハードウェア、コンピュータソフトウェアおよびシステム、ならびに、有線およびワイヤレスネットワーク通信に関係する。
【解決手段】方法は、複数のタイプのセンサデータのサブセットにアクセスするステップと、整列されたセンサデータを形成するために、複数のタイプのセンサデータに基づいて、グローバル座標系に対してセンサデータのサブセットを整列させるステップと、三次元マップデータのデータセットを生成するステップとを含むことができる。方法は、三次元マップデータの少なくとも２つのデータセットに関するデータにおける変化を検出するステップと、更新された三次元マップデータを形成するためにデータにおける変化を適用するステップとをさらに含む。
【選択図】図１
【解決手段】方法は、複数のタイプのセンサデータのサブセットにアクセスするステップと、整列されたセンサデータを形成するために、複数のタイプのセンサデータに基づいて、グローバル座標系に対してセンサデータのサブセットを整列させるステップと、三次元マップデータのデータセットを生成するステップとを含むことができる。方法は、三次元マップデータの少なくとも２つのデータセットに関するデータにおける変化を検出するステップと、更新された三次元マップデータを形成するためにデータにおける変化を適用するステップとをさらに含む。
【選択図】図１
【特許請求の範囲】
【請求項1】
道路網を走行する自律車両に関連付けられたセンサを介して、前記自律車両が走行する環境に関連する、第１のタイプのセンサによって生成された第１のタイプのセンサデータ、および第２のタイプのセンサによって生成された第２のタイプのセンサデータを含むセンサデータを生成するステップと、
前記自律車両で、前記センサデータに少なくとも部分的に基づいてローカルマップデータを生成するステップと、
前記自律車両に関連付けられた軌道データに少なくとも部分的に基づいて、前記第１のタイプのセンサデータの複数の部分を位置合わせするステップと、
前記軌道データに少なくとも部分的に基づいて、前記第２のタイプのセンサデータの複数の部分を位置合わせするステップと、
前記位置合わせされた第１のタイプのセンサデータおよび前記位置合わせされた第２のタイプのセンサデータを精密化して、アーティファクトを低減するステップと、
前記位置合わせされた第１のタイプのセンサデータおよび前記位置合わせされた第２のタイプのセンサデータに少なくとも部分的に基づいて、３次元マップに関連付けられたグローバル座標系の座標に関連する前記自律車両を位置特定するステップと、
位置グラフデータを生成して、閉ループを識別するために１つまたは複数のループ閉鎖プロセスを実行して、前記自律車両が以前に走行した前記位置グラフデータの１つまたは複数の部分を検出することによって、前記自律車両の位置を指定するステップと、
前記自律車両の前記位置に少なくとも部分的に基づいて、前記自律車両を制御するステップと
を含む方法。
前記自律車両で、前記センサデータに少なくとも部分的に基づいてローカルマップデータを生成するステップと、
前記自律車両に関連付けられた軌道データに少なくとも部分的に基づいて、前記第１のタイプのセンサデータの複数の部分を位置合わせするステップと、
前記軌道データに少なくとも部分的に基づいて、前記第２のタイプのセンサデータの複数の部分を位置合わせするステップと、
前記位置合わせされた第１のタイプのセンサデータおよび前記位置合わせされた第２のタイプのセンサデータを精密化して、アーティファクトを低減するステップと、
前記位置合わせされた第１のタイプのセンサデータおよび前記位置合わせされた第２のタイプのセンサデータに少なくとも部分的に基づいて、３次元マップに関連付けられたグローバル座標系の座標に関連する前記自律車両を位置特定するステップと、
位置グラフデータを生成して、閉ループを識別するために１つまたは複数のループ閉鎖プロセスを実行して、前記自律車両が以前に走行した前記位置グラフデータの１つまたは複数の部分を検出することによって、前記自律車両の位置を指定するステップと、
前記自律車両の前記位置に少なくとも部分的に基づいて、前記自律車両を制御するステップと
を含む方法。
【請求項2】
グローバルマップデータを受信するステップと、前記ローカルマップデータを前記グローバルマップデータと比較して、前記ローカルマップデータの部分が前記グローバルマップデータに関連して変化するかどうかを決定するステップとをさらに含む請求項１に記載の方法。
【請求項3】
前記グローバルマップデータに関連する前記ローカルマップデータ内の変化を検出するステップをさらに含み、前記変化を検出するステップは、統計的変更検出戦略を使用して、前記グローバルマップデータに関連して変化した前記ローカルマップデータの部分を検出するステップを含む請求項２に記載の方法。
【請求項4】
前記統計的変更検出戦略を使用するステップは、深層学習計算の１つまたは複数の反復にわたって境界を識別することによって、変化する前記グローバルマップデータに関連する前記ローカルマップデータの部分を検出するステップを含む請求項３に記載の方法。
【請求項5】
前記変化に関連するマップタイルをシミュレータコンピューティングデバイスに送信して、前記変化に少なくとも部分的に基づいてシミュレーションを実施することを介して、前記グローバルマップデータに関連する前記ローカルマップデータ内の前記変化を検証するステップをさらに含む請求項３に記載の方法。
【請求項6】
検証後、前記自律車両で、前記変化を組み込んだ更新されたグローバルマップデータを受信するステップをさらに含む請求項５に記載の方法。
【請求項7】
グローバルマップデータを受信するステップと、
前記ローカルマップデータを前記グローバルマップデータと比較することに基づいて、前記ローカルマップデータの部分が前記グローバルマップデータに関連して変化するかどうかを決定するステップと、
変化を決定することに基づいて、比較的少ない量のデータを送信して、遠隔操作者に警告を提供し、前記ローカルマップデータと前記グローバルマップデータとの間の軽微な変更を含む環境を通って走行する前記自律車両を少なくとも監視するステップと
をさらに含む請求項１に記載の方法。
前記ローカルマップデータを前記グローバルマップデータと比較することに基づいて、前記ローカルマップデータの部分が前記グローバルマップデータに関連して変化するかどうかを決定するステップと、
変化を決定することに基づいて、比較的少ない量のデータを送信して、遠隔操作者に警告を提供し、前記ローカルマップデータと前記グローバルマップデータとの間の軽微な変更を含む環境を通って走行する前記自律車両を少なくとも監視するステップと
をさらに含む請求項１に記載の方法。
【請求項8】
自律車両と、
前記自律車両に関連付けられた１つまたは複数のセンサと、
１つまたは複数のプロセッサと、
コンピュータ実行可能命令を記憶する１つまたは複数のコンピュータ可読媒体と
を備え、前記コンピュータ実行可能命令は、実行されると、前記１つまたは複数のプロセッサに、
前記１つまたは複数のプロセッサから、第１のタイプのセンサによって生成された第１のタイプのセンサデータおよび第２のタイプのセンサによって生成された第２のタイプのセンサデータを受信することと、
前記自律車両で、前記センサデータに少なくとも部分的に基づいて、ローカルマップデータを生成することと、
前記自律車両に関連付けられた軌道データに少なくとも部分的に基づいて、前記第１のタイプのセンサデータの複数の部分を位置合わせすることと、
前記軌道データに少なくとも部分的に基づいて、前記第２のタイプのセンサデータの複数の部分を位置合わせすることと、
前記位置合わせされた第１のタイプのセンサデータおよび前記位置合わせされた第２のタイプのセンサデータを精密化して、アーティファクトを低減することと、
前記位置合わせされた第１のタイプのセンサデータおよび前記位置合わせされた第２のタイプのセンサデータに少なくとも部分的に基づいて、３次元マップに関連付けられたグローバル座標系の座標に関連する前記自律車両を位置特定することと、
位置グラフデータを生成して、閉ループを識別するために１つまたは複数のループ閉鎖プロセスを実行して、前記自律車両が以前に走行した前記位置グラフデータの１つまたは複数の部分を検出することによって、前記自律車両の位置を指定することと、
前記自律車両の前記位置に少なくとも部分的に基づいて、前記自律車両を制御することと
を含む動作を実施させるシステム。
前記自律車両に関連付けられた１つまたは複数のセンサと、
１つまたは複数のプロセッサと、
コンピュータ実行可能命令を記憶する１つまたは複数のコンピュータ可読媒体と
を備え、前記コンピュータ実行可能命令は、実行されると、前記１つまたは複数のプロセッサに、
前記１つまたは複数のプロセッサから、第１のタイプのセンサによって生成された第１のタイプのセンサデータおよび第２のタイプのセンサによって生成された第２のタイプのセンサデータを受信することと、
前記自律車両で、前記センサデータに少なくとも部分的に基づいて、ローカルマップデータを生成することと、
前記自律車両に関連付けられた軌道データに少なくとも部分的に基づいて、前記第１のタイプのセンサデータの複数の部分を位置合わせすることと、
前記軌道データに少なくとも部分的に基づいて、前記第２のタイプのセンサデータの複数の部分を位置合わせすることと、
前記位置合わせされた第１のタイプのセンサデータおよび前記位置合わせされた第２のタイプのセンサデータを精密化して、アーティファクトを低減することと、
前記位置合わせされた第１のタイプのセンサデータおよび前記位置合わせされた第２のタイプのセンサデータに少なくとも部分的に基づいて、３次元マップに関連付けられたグローバル座標系の座標に関連する前記自律車両を位置特定することと、
位置グラフデータを生成して、閉ループを識別するために１つまたは複数のループ閉鎖プロセスを実行して、前記自律車両が以前に走行した前記位置グラフデータの１つまたは複数の部分を検出することによって、前記自律車両の位置を指定することと、
前記自律車両の前記位置に少なくとも部分的に基づいて、前記自律車両を制御することと
を含む動作を実施させるシステム。
【請求項9】
前記動作は、
グローバルマップデータを受信することと、前記ローカルマップデータを前記グローバルマップデータと比較して、前記ローカルマップデータの部分が前記グローバルマップデータに関連して変化するかどうかを決定することと、
変化を決定することに基づいて、比較的少ない量のデータを送信して、遠隔操作者に警告を提供し、前記ローカルマップデータと前記グローバルマップデータとの間の軽微な変更を含む環境を通って走行する前記自律車両を少なくとも監視することと
をさらに含む請求項８に記載のシステム。
グローバルマップデータを受信することと、前記ローカルマップデータを前記グローバルマップデータと比較して、前記ローカルマップデータの部分が前記グローバルマップデータに関連して変化するかどうかを決定することと、
変化を決定することに基づいて、比較的少ない量のデータを送信して、遠隔操作者に警告を提供し、前記ローカルマップデータと前記グローバルマップデータとの間の軽微な変更を含む環境を通って走行する前記自律車両を少なくとも監視することと
をさらに含む請求項８に記載のシステム。
【請求項10】
前記動作は、
グローバルマップデータを受信することと、
前記ローカルマップデータを前記グローバルマップデータと比較することに基づいて、前記ローカルマップデータの部分が前記グローバルマップデータに関連して変化するかどうかを決定することと、
変化を決定することに基づいて、前記変化に関連するマップタイルをシミュレータコンピューティングデバイスに送信して、前記変化に少なくとも部分的に基づいてシミュレーションを実施することを介して、前記グローバルマップデータに関連する前記ローカルマップデータ内の前記変化を検証することと
をさらに含む請求項８に記載のシステム。
グローバルマップデータを受信することと、
前記ローカルマップデータを前記グローバルマップデータと比較することに基づいて、前記ローカルマップデータの部分が前記グローバルマップデータに関連して変化するかどうかを決定することと、
変化を決定することに基づいて、前記変化に関連するマップタイルをシミュレータコンピューティングデバイスに送信して、前記変化に少なくとも部分的に基づいてシミュレーションを実施することを介して、前記グローバルマップデータに関連する前記ローカルマップデータ内の前記変化を検証することと
をさらに含む請求項８に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
様々な実施形態は、一般に、自律車両、ならびに関連付けられた機械的、電気的、および電子的ハードウェアと、コンピュータソフトウェアおよびシステムと、サービスとして自律車両群を提供する有線およびワイヤレスのネットワーク通信とに関する。より具体的には、システム、デバイス、および方法は、車両が通過する環境における変化に適合されたこの車両の１つまたは複数をナビゲートするための、三次元（「３Ｄ」）マップのようなマップに、局所的（例えば、自律車両の原位置において）または遠隔的に、またはその両方で更新を提供するように構成される。
【背景技術】
【0002】
関連出願の相互参照
本ＰＣＴ国際出願は、２０１５年１１月４日に出願された「ＡＵＴＯＮＯＭＯＵＳ ＶＥＨＩＣＬＥ ＦＬＥＥＴ ＳＥＲＶＩＣＥ ＡＮＤ ＳＹＳＴＥＭ」と題する米国出願第１４／９３２，９６３号および２０１６年１１月４日に出願された「ＡＵＴＯＮＯＭＯＵＳ ＶＥＨＩＣＬＥ ＦＬＥＥＴ ＳＥＲＶＩＣＥ ＡＮＤ ＳＹＳＴＥＭ」と題する米国特許出願第１４／９３２，９５９号の継続出願であり、本出願は、２０１５年１１月４日に出願された「ＴＥＬＥＯＰＥＲＡＴＩＯＮ ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＴＲＡＪＥＣＴＯＲＹ ＭＯＤＩＦＩＣＡＴＩＯＮ ＯＦ ＡＵＴＯＮＯＭＯＵＳ ＶＥＨＩＣＬＥＳ」と題する米国特許出願第１４／９３２，９６６号、２０１５年１１月４日に出願された「ＡＵＴＯＭＡＴＥＤ ＥＸＴＲＡＣＴＩＯＮ ＯＦ ＳＥＭＡＮＴＩＣ ＩＮＦＯＲＭＡＴＩＯＮ ＴＯ ＥＮＨＡＮＣＥ ＩＮＣＲＥＭＥＮＴＡＬ ＭＡＰＰＩＮＧ ＭＯＤＩＦＩＣＡＴＩＯＮＳ ＦＯＲ ＲＯＢＯＴＩＣ ＶＥＨＩＣＬＥＳ」と題する米国特許出願第１４／９３２，９４０号、２０１５年１１月４日に出願された「ＣＯＯＲＤＩＮＡＴＩＯＮ ＯＦ ＤＩＳＰＡＴＣＨＩＮＧ ＡＮＤ ＭＡＩＮＴＡＩＮＩＮＧ ＦＬＥＥＴ ＯＦ ＡＵＴＯＮＯＭＯＵＳ ＶＥＨＩＣＬＥＳ」と題する米国特許出願第１４／７５６，９９５号、２０１５年１１月４日に出願された「ＡＤＡＰＴＩＶＥ ＡＵＴＯＮＯＭＯＵＳ ＶＥＨＩＣＬＥ ＰＬＡＮＮＥＲ ＬＯＧＩＣ」と題する米国特許出願第１４／７５６，９９２号、２０１５年１１月４日に出願された「ＳＥＮＳＯＲ－ＢＡＳＥＤ ＯＢＪＥＣＴ－ＤＥＴＥＣＴＩＯＮ ＯＰＴＩＭＩＺＡＴＩＯＮ ＦＯＲ ＡＵＴＯＮＯＭＯＵＳ ＶＥＨＩＣＬＥＳ」と題する米国特許出願第１４／７５６，９９１号、および２０１５年１１月４日に出願された「ＣＡＬＩＢＲＡＴＩＯＮ ＦＯＲ ＡＵＴＯＮＯＭＯＵＳ ＶＥＨＩＣＬＥ ＯＰＥＲＡＴＩＯＮ」と題する米国特許出願第１４／７５６，９９６号に関係付けられ、これらはすべて本明細書において、参照によりそれらの全体が本明細書に組み込まれる。
本ＰＣＴ国際出願は、２０１５年１１月４日に出願された「ＡＵＴＯＮＯＭＯＵＳ ＶＥＨＩＣＬＥ ＦＬＥＥＴ ＳＥＲＶＩＣＥ ＡＮＤ ＳＹＳＴＥＭ」と題する米国出願第１４／９３２，９６３号および２０１６年１１月４日に出願された「ＡＵＴＯＮＯＭＯＵＳ ＶＥＨＩＣＬＥ ＦＬＥＥＴ ＳＥＲＶＩＣＥ ＡＮＤ ＳＹＳＴＥＭ」と題する米国特許出願第１４／９３２，９５９号の継続出願であり、本出願は、２０１５年１１月４日に出願された「ＴＥＬＥＯＰＥＲＡＴＩＯＮ ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＴＲＡＪＥＣＴＯＲＹ ＭＯＤＩＦＩＣＡＴＩＯＮ ＯＦ ＡＵＴＯＮＯＭＯＵＳ ＶＥＨＩＣＬＥＳ」と題する米国特許出願第１４／９３２，９６６号、２０１５年１１月４日に出願された「ＡＵＴＯＭＡＴＥＤ ＥＸＴＲＡＣＴＩＯＮ ＯＦ ＳＥＭＡＮＴＩＣ ＩＮＦＯＲＭＡＴＩＯＮ ＴＯ ＥＮＨＡＮＣＥ ＩＮＣＲＥＭＥＮＴＡＬ ＭＡＰＰＩＮＧ ＭＯＤＩＦＩＣＡＴＩＯＮＳ ＦＯＲ ＲＯＢＯＴＩＣ ＶＥＨＩＣＬＥＳ」と題する米国特許出願第１４／９３２，９４０号、２０１５年１１月４日に出願された「ＣＯＯＲＤＩＮＡＴＩＯＮ ＯＦ ＤＩＳＰＡＴＣＨＩＮＧ ＡＮＤ ＭＡＩＮＴＡＩＮＩＮＧ ＦＬＥＥＴ ＯＦ ＡＵＴＯＮＯＭＯＵＳ ＶＥＨＩＣＬＥＳ」と題する米国特許出願第１４／７５６，９９５号、２０１５年１１月４日に出願された「ＡＤＡＰＴＩＶＥ ＡＵＴＯＮＯＭＯＵＳ ＶＥＨＩＣＬＥ ＰＬＡＮＮＥＲ ＬＯＧＩＣ」と題する米国特許出願第１４／７５６，９９２号、２０１５年１１月４日に出願された「ＳＥＮＳＯＲ－ＢＡＳＥＤ ＯＢＪＥＣＴ－ＤＥＴＥＣＴＩＯＮ ＯＰＴＩＭＩＺＡＴＩＯＮ ＦＯＲ ＡＵＴＯＮＯＭＯＵＳ ＶＥＨＩＣＬＥＳ」と題する米国特許出願第１４／７５６，９９１号、および２０１５年１１月４日に出願された「ＣＡＬＩＢＲＡＴＩＯＮ ＦＯＲ ＡＵＴＯＮＯＭＯＵＳ ＶＥＨＩＣＬＥ ＯＰＥＲＡＴＩＯＮ」と題する米国特許出願第１４／７５６，９９６号に関係付けられ、これらはすべて本明細書において、参照によりそれらの全体が本明細書に組み込まれる。
【0003】
無人運転車両を開発するための様々な手法は、主に、消費者が購入するための無人運転車両を製造するという目的をもって従来の車両（例えば、手動運転される自動車両）を自動化することに焦点を当てている。例えば、いくつかの自動車会社および関連会社は、消費者に、運転者なしで動作することができる車両を所有する能力を提供するために、従来の自動車、および、ステアリングのような制御メカニズムを修正している。いくつかの手法において、従来の無人運転車両は、いくつかの条件において安全を重要視すべき運転機能を実施するが、運転者が、乗員の安全を危険にさらすおそれがある特定の課題を車両コントローラが解決することができない場合に、運転者が制御（例えば、ステアリングなど）を担うことを必要とする。
【0004】
機能的ではあるが、従来の無人運転車両は、一般的に、いくつかの欠点を有する。例えば、開発中の多数の無人運転車は、手動（すなわち、人間によって制御される）ステアリングおよび他の同様の自動車機能を必要とする車両から発展している。それゆえ、多数の無人運転車は、特定の座席またはロケーションが車両内で確保されている免許を受けた運転者に対応するように設計されるべきであるというパラダイムに基づく。そのため、無人運転車両は、準最適に設計されており、一般的に、車両設計を単純化し、資源を節約する（例えば、無人運転車両を製造する費用を低減する）機会を逸している。従来の無人運転車両には、他の欠点も存在する。
【0005】
他の欠点は従来の輸送サービスにも存在し、これらは、例えば、実効的に、従来の輸送および相乗りサービスを提供する一般的な手法に起因して車両の在庫を管理するのにあまり適合されていない。１つの従来の手法において、搭乗者は、人間の運転者および車両（例えば、個人が所有している）を搭乗者に割り当てる集中型サービスを介して輸送サービスを要求するために、モバイルアプリケーションにアクセスすることを要求される。異なる所有者によって所有されている車両を使用することによって、自家用車および安全システムの保守管理は検査されないままになる。別の従来の手法において、会員として登録している運転者が、会員の間で共有されている車両にアクセスすることを可能にすることによって、何らかのエンティティが、車両のグループの相乗りを可能にする。運転者は特定のロケーションにある、共有されている車両に乗車し、下車する必要があり、これは都市環境においては希少で少なく、相乗りされる車両を駐車するための相対的に高価な不動産（すなわち、駐車場）にアクセスすることを必要とするため、この手法は、従来の輸送サービスを提供するにはあまり適合されていない。上述されている従来の手法において、輸送サービスを提供するために使用される従来の車両は、運転者が離れると車両が動けなくされるため、一般的に在庫の観点から十分に利用されていない。さらに、相乗り手法（および個人によって所有されている車両の輸送サービス）は一般的に、使用状況および一般的な走行パターンに適合させるために輸送サービスの需要に合わせるために在庫のバランスを取り戻すのにはあまり適合されていない。また、自動運転自動化機能が制限されている、いくつかの従来記述されている車両もまた、人間の運転者が一般的に必要とされ得るため、在庫のバランスを取り戻すのにはあまり適合されていない。自動運転自動化機能が制限されている車両の例は、米国運輸省道路交通安全局（「ＮＨＴＳＡ」）による、レベル３（「Ｌ３」）車両として指定されている車両である。
【0006】
別の欠点として、無人運転車両に対する一般的な手法は、一般的に、走行中の車両と、車両の他の運転者または個人との間の相互作用（例えば、社会的相互作用）に関して車両を検出およびナビゲートするのにはあまり適合されていない。例えば、いくつかの従来の手法は、無人運転車両の乗員および他の車両の運転者、歩行者などに対する安全性のリスクに対処する目的のために、歩行者、自転車利用者など、および、アイコンタクト、ジェスチャなどのような関連付けられる相互作用を識別することが十分に可能ではない。
【0007】
したがって、必要とされているものは、従来の技法の制限なしに、自律車両の実施を促進するための解決策である。
【図面の簡単な説明】
【0008】
本発明の様々な実施形態または例（「例」）が、以下の詳細な説明および添付の図面において開示される。
【0009】
【図1】いくつかの実施形態による、自律車両サービスプラットフォームに通信可能にネットワーク接続されている自律車両の群の実施を示す図である。
【図2】いくつかの実施形態による、自律車両の群を監視するためのフロー図の例である。
【図3A】いくつかの例による、センサおよび他の自律車両構成要素の例を示す図である。
【図3B】いくつかの例による、センサフィールド冗長性およびセンサフィールドの喪失に対する自律車両の適合の例を示す図である。
【図3C】いくつかの例による、センサフィールド冗長性およびセンサフィールドの喪失に対する自律車両の適合の例を示す図である。
【図3D】いくつかの例による、センサフィールド冗長性およびセンサフィールドの喪失に対する自律車両の適合の例を示す図である。
【図3E】いくつかの例による、センサフィールド冗長性およびセンサフィールドの喪失に対する自律車両の適合の例を示す図である。
【図4】いくつかの例による、通信レイヤを介して自律車両コントローラに通信可能に結合されている自律車両サービスプラットフォームを含むシステムを示す基本ブロック図である。
【図5】いくつかの実施形態による、自律車両を制御するためのフロー図の例である。
【図6】いくつかの実施形態による、自律車両コントローラのアーキテクチャの例を示す図である。
【図7】いくつかの実施形態による、自律車両の群との信頼可能な通信を維持するために冗長な通信チャネルを実施する自律車両サービスプラットフォームの例を示す図である。
【図8】いくつかの実施形態による、様々なアプリケーションの間でデータを交換するように構成されているメッセージングアプリケーションの例を示す図である。
【図10】いくつかの実施形態による、遠隔操作者が経路プランニングに影響を与えることができる遠隔操作者インターフェースの例を示す図である。
【図11】いくつかの例による、遠隔操作を呼び出すように構成されているプランナ（ｐｌａｎｎｅｒ）の例を示す図である。
【図12】いくつかの実施形態による、自律車両を制御するように構成されているフロー図の例である。
【図13】いくつかの例による、プランナが軌道を生成することができる例を示す図である。
【図14】いくつかの実施形態による、自律車両サービスプラットフォームの別の例を示す図である。
【図15】いくつかの実施形態による、自律車両を制御するためのフロー図の例である。
【図16】いくつかの例による、群最適化マネージャ（ｆｌｅｅｔ ｏｐｔｉｍｉｚａｔｉｏｎ ｍａｎａｇｅｒ）を実施する自律車両群マネージャ（ａｕｔｏｎｏｍｏｕｓ ｖｅｈｉｃｌｅ ｆｌｅｅｔ ｍａｎａｇｅｒ）の例の図である。
【図17】いくつかの実施形態による、自律車両の群を管理するためのフロー図の例である。
【図18】いくつかの実施形態による、自律車両通信リンクマネージャを実施する自律車両群マネージャを示す図である。
【図19】いくつかの実施形態による、イベント中の自律車両に対するアクションを決定するためのフロー図の例である。
【図20】いくつかの実施形態による、ローカライザの例を示す図である。
【図21】いくつかの実施形態による、集積センサデータに基づいて局所的位置（ｌｏｃａｌ ｐｏｓｅ）データを生成するためのフロー図の例である。
【図22】いくつかの実施形態による、ローカライザの別の例を示す図である。
【図23】いくつかの実施形態による、知覚エンジンの例を示す図である。
【図24】いくつかの実施形態による、知覚エンジンデータを生成するためのフロー図の例である。
【図25】いくつかの実施形態による、セグメンテーションプロセッサ（ｓｅｇｍｅｎｔａｔｉｏｎ ｐｒｏｃｅｓｓｏｒ）の例を示す図である。
【図26A】様々な実施形態による、オブジェクトトラッカ（ｏｂｊｅｃｔ ｔｒａｃｋｅｒ）およびクラシファイヤ（ｃｌａｓｓｉｆｉｅｒ）の例を示す図である。
【図26B】少なくともいくつかの例による、オブジェクトトラッカの別の例を示す図である。
【図27】いくつかの例による、知覚エンジンのフロントエンドプロセッサの例の図である。
【図28】いくつかの実施形態による、合成環境において自律車両をシミュレートするように構成されているシミュレータを示す図である。
【図29】いくつかの実施形態による、自律車両の様々な態様をシミュレートするためのフロー図の例である。
【図30】いくつかの実施形態による、マップデータを生成するためのフロー図の例である。
【図31】いくつかの実施形態による、マッピングエンジンのアーキテクチャを示す図である。
【図32】いくつかの実施形態による、自律車両アプリケーションを示す図である。
【図33】様々な実施形態による、自律車両サービスの構成要素に様々な機能を提供するように構成されている様々なコンピューティングプラットフォームの例を示す図である。
【図34】様々な実施形態による、自律車両サービスの構成要素に様々な機能を提供するように構成されている様々なコンピューティングプラットフォームの例を示す図である。
【図35】様々な実施形態による、自律車両サービスの構成要素に様々な機能を提供するように構成されている様々なコンピューティングプラットフォームの例を示す図である。
【図36】いくつかの例による、物理的環境における変化に応答する自律車両のためのマッピングデータを適応的に生成するように構成されたマッピングエンジンを示す図である。
【図37】いくつかの例による、更新されたマップデータを実装する自律車両コントローラの例を示す図である。
【図38】いくつかの例による、マップデータを生成することの例を示すフロー図である。
【図39】いくつかの例による、マップデータと局所的に生成されたマップデータとを実装するように構成されたローカライザの例を示す図である。
【図40】いくつかの例による、局所的に生成されたセンサおよび／またはマップデータの送信レートまたは量を変更するように構成されたローカライザの例を示す図である。
【図41】いくつかの例による、自律車両を位置特定するために局所的に生成された様々な量のマップデータを使用する例を示すフロー図である。
【図42】様々な実施形態による、自律車両サービスの構成要素に様々なマッピングに関連する機能性を提供するように構成された様々なコンピューティングプラットフォームの例を示す図である。
【図43】様々な実施形態による、自律車両サービスの構成要素に様々なマッピングに関連する機能性を提供するように構成された様々なコンピューティングプラットフォームの例を示す図である。
【発明を実施するための形態】
【0010】
様々な実施形態または例は、システム、プロセス、装置、ユーザインターフェース、コンピュータ可読記憶媒体または光、電子、もしくはワイヤレス通信リンクを介してプログラム命令が送信されるコンピュータネットワークのようなコンピュータ可読媒体上の一連のプログラム命令としてを含む、いくつかの方法で実施されてもよい。一般に、開示されているプロセスの動作は、特許請求の範囲において別途提供されない限り、任意の順序で実施されてもよい。
【0011】
１つまたは複数の例の詳細な説明が、添付の図面とともに下記に提供される。詳細な説明は、そのような例と関連して提供されるが、いかなる特定の例にも限定されない。その範囲は、特許請求の範囲、ならびにいくつかのその代替形態、修正形態、および均等物によってのみ限定される。完全な理解を提供するために、以下の説明において、いくつかの特定の詳細が記載されている。これらの詳細は、例の目的のために提供されており、記述されている技法は、これらの特定の詳細のいくつかまたはすべてなしに、特許請求の範囲に従って実践されることができる。明瞭化のために、例に関係付けられる技術分野において知られている技術的資料は、説明を不必要に曖昧にすることを回避するために、詳細には記述されていない。
【0012】
図１は、いくつかの実施形態による、自律車両サービスプラットフォームに通信可能にネットワーク接続されている自律車両の群の実施を示す図である。図１００は、サービスとして動作している自律車両の群１０９（例えば、自律車両１０９ａ～１０９ｅのうちの１つまたは複数）を示し、各自律車両１０９は、道路網１１０を自動運転し、自律車両サービスプラットフォーム１０１との通信リンク１９２を確立するように構成されている。自律車両の群１０９がサービスを構成する例において、ユーザ１０２は、自律輸送手段を求める要求１０３を、１つまたは複数のネットワーク１０６を介して自律車両サービスプラットフォーム１０１に送信することができる。応答して、自律車両サービスプラットフォーム１０１は、ユーザ１０２を地理的ロケーション１１９から地理的ロケーション１１１へと自律的に輸送するために、自律車両１０９の１つを派遣することができる。自律車両サービスプラットフォーム１０１は、ステーション１９０から地理的ロケーション１１９へと自律車両を派遣してもよく、または、ユーザ１０２の輸送要求にサービスするために、すでに移動中の（例えば、乗員なしで）自律車両１０９ｃを転用してもよい。自律車両サービスプラットフォーム１０１は、ユーザ１０２（例えば、搭乗者としての）からの要求に応答して、搭乗者を乗せて移動中の自律車両１０９ｃを転用するようにさらに構成されてもよい。加えて、自律車両サービスプラットフォーム１０１は、既存の搭乗者が下車した後にユーザ１０２の要求にサービスするために転用するために、搭乗者を乗せて移動中の自律車両１０９ｃを確保するように構成されてもよい。複数の自律車両サービスプラットフォーム１０１（図示せず）および１つまたは複数のステーション１９０が、道路網１１０に関連して１つまたは複数の自律車両１０９をサービスするために実施されてもよい。１つまたは複数のステーション１９０は、自律車両１０９の在庫を格納、サービス、管理、および／または維持するように構成されてもよい（例えばステーション１９０は、自律車両サービスプラットフォーム１０１を実施する１つまたは複数のコンピューティングデバイスを含んでもよい）。
【0013】
いくつかの例によれば、自律車両１０９ａ～１０９ｅのうちの少なくともいくつかは、双方向性自律車両（「ＡＶ」）１３０のような双方向性自律車両として構成される。双方向性自律車両１３０は、限定ではないが、主に長手方向軸１３１に沿っていずれかの方向に走行するように構成されてもよい。したがって、双方向性自律車両１３０は、隣接した周辺の他者（例えば、他の運転者、歩行者、自転車利用者など）、および、双方向性自律車両１３０が走行している方向を警告するために、車両の外部のアクティブな照明を実施するように構成されてもよい。例えば、アクティブ光源１３６が、第１の方向に走行しているときはアクティブライト（ａｃｔｉｖｅ ｌｉｇｈｔ）１３８ａとして実施されてもよく、または、第２の方向に走行しているときはアクティブライト１３８ｂとして実施されてもよい。アクティブライト１３８ａは、任意選択のアニメーション（例えば、可変強度の光の光パターンまたは経時的に変化し得る色）を伴う、１つまたは複数の色からなる第１のサブセットを使用して実施されてもよい。同様に、アクティブライト１３８ｂは、１つまたは複数の色からなる第２のサブセット、および、アクティブライト１３８ａのものとは異なってもよい光パターンを使用して実施されてもよい。例えば、アクティブライト１３８ａは、「ヘッドライト」としての白色光を使用して実施されてもよく、一方、アクティブライト１３８ｂは、「テールライト」としての赤色光を使用して実施されてもよい。アクティブライト１３８ａおよび１３８ｂ、またはその部分は、（例えば、黄色光を使用して）「ターンシグナル指示」機能を提供することのような、他の色に光関連機能を提供するように構成されてもよい。様々な例によれば、自律車両１３０内の論理は、任意の数の管轄に関する様々な安全性要件および交通規制または法律に準拠するように、アクティブライト１３８ａおよび１３８ｂを適応させるように構成されてもよい。
【0014】
いくつかの実施形態において、双方向性自律車両１３０は、四半部１９４のような各四半部内に、同様の構造的要素および構成要素を有するように構成されてもよい。四半部は、少なくともこの例においては、両方とも、平面１３２および１３４の各側に２つの同様の半部を形成するのに車両を通過する平面１３２および１３４の交差によって規定される双方向性自律車両１３０の部分として示されている。さらに、双方向性自律車両１３０は、他の機能の中でも運転制御（例えば、推進、ステアリングなど）およびアクティブ光源１３６を含む主要ないくつかの車両機能を制御するように構成されている論理（例えば、ハードウェアもしくはソフトウェア、またはそれらの組み合わせ）を含む自律車両コントローラ１４７を含むことができる。双方向性自律車両１３０はまた、車両上の様々なロケーションに配置されているいくつかのセンサ１３９をも含む（他のセンサは図示されていない）。
【0015】
自律車両コントローラ１４７は、自律車両１０９のローカル体勢（例えば、ローカル位置）を決定し、車両に対する外部オブジェクトを検出するようにさらに構成されてもよい。例えば、双方向性自律車両１３０が、道路網１１０内で方向１９９に走行していると考える。自律車両コントローラ１４７のローカライザ（図示せず）が、地理的ロケーション１１１における局所的位置を決定することができる。そのため、ローカライザは、建造物１１５および１１７の表面と関連付けられるセンサデータのような、取得されるセンサデータを使用することができ、これは、局所的位置を決定するために、マップデータ（例えば、反射データを含む３Ｄマップデータ）のような基準データに対して比較されることができる。さらに、自律車両コントローラ１４７の知覚エンジン（図示せず）が、外部オブジェクト１１２（「樹木」）および外部オブジェクト１１４（「歩行者」）のような外部オブジェクトの挙動を検出、分類、および予測するように構成されてもよい。そのような外部オブジェクトの分類は、外部オブジェクト１１２のような静的オブジェクト、および、外部オブジェクト１１４のような動的オブジェクトとして、オブジェクトを広範に分類することができる。ローカライザおよび知覚エンジン、ならびにＡＶコントローラ１４７の他の構成要素は、協働して、自律車両１０９に自律的に運転させる。
【0016】
いくつかの例によれば、自律車両サービスプラットフォーム１０１は、自律車両１０９が遠隔操作を要求する場合に、遠隔操作者サービスを提供するように構成されている。例えば、自律車両１０９ｄ内の自律車両コントローラ１４７が、挿入図１２０に示されているように、ポイント１９１において道路１２２上の経路１２４を閉塞しているオブジェクト１２６を検出すると考える。自律車両コントローラ１４７が、車両１０９ｄが相対的に高い確実度で安全に移動することができる経路または軌道を確定することができない場合、自律車両コントローラ１４７は、遠隔操作サービスを求める要求メッセージ１０５を送信することができる。応答して、遠隔操作者コンピューティングデバイス１０４が、障害物１２６を首尾よく（かつ安全に）切り抜けるための方策を実施するための命令を、遠隔操作者１０８から受信することができる。その後、車両に、例えば、代替の経路１２１に沿って移動するときに二重線のセットを安全にまたがせるために、自律車両１０９ｄに応答データ１０７が返信され得る。いくつかの例において、遠隔操作者コンピューティングデバイス１０４は、経路のプランニングから除外するために、地理的領域を識別する応答を生成することができる。特に、追従するための経路を提供するのではなく、遠隔操作者１０８は、自律車両が回避すべき領域またはロケーションを規定することができる。
【0017】
上記を考慮して、自律車両１３０および／または自律車両コントローラ１４７、ならびにそれらの構成要素の構造および／または機能は、自律車両１０９が自動運転することを可能にするために、位置特定および知覚のような自律関連動作を通じてリアルタイム（またはほぼリアルタイム）の軌道計算を実施することができる。
【0018】
いくつかの事例において、双方向性自律車両１３０の双方向性は、互いに同様または実質的に同様である四半部１９４（または任意の他の数の対称な部分）を有する車両を提供する。そのような対称性は、設計の複雑度を低減し、相対的に、固有の構成要素または構造の数を低減し、それによって、在庫および製造の複雑度を低減する。例えば、駆動系およびホイールシステムは、それら四半部のいずれに配置されてもよい。さらに、自律車両コントローラ１４７は、そうでなければ乗員の安全性に影響を与える可能性があるイベントまたは課題を解決しながら、自律車両１０９が移動中に遅延される可能性を低減するために、遠隔操作サービスを呼び出すように構成されている。いくつかの事例において、道路網１１０の可視部分は、自律車両１０９の図１に示す道路網に対する動きを限定または他の様態で制御することができる地理上のフェンス領域を示す。様々な例によれば、自律車両１０９、およびその群は、共有されている車両の効率を提供しながら、ポイント間の人の移動の簡便性およびプライバシーを伴って需要に応じた輸送手段を提供することができるレベル４（「完全自動運転」またはＬ４）車両として動作するように構成可能であり得る。いくつかの例において、自律車両１０９、または、本明細書において記述されている任意の自律車両は、ステアリングホイール、または、自律車両１０９の手動（すなわち、人間によって制御される）ステアリングを提供する任意の他の機械的手段を省略するように構成されてもよい。さらに、自律車両１０９、または本明細書に記載された任意の自律車両は、乗員がステアリングホイール、または任意の機械的ステアリングシステムと係合するために車両内に確保されたシートまたは場所を省略するように構成され得る。
【0019】
図２は、いくつかの実施形態による、自律車両の群を監視するためのフロー図の例である。２０２において、フロー２００は、自律車両の群が監視されるときに開始する。少なくとも１つの自律車両が、車両に、第１の地理的領域から第２の地理的領域へと自律的に移動させるように構成されている自律車両コントローラを含む。２０４において、車両の計算されている信頼水準と関連付けられるイベントを表すデータが検出される。イベントは、自律車両の動作に影響を与えるか、または、動作に影響を与える可能性がある条件または状況であり得る。イベントは、自律車両の内部または外部であってもよい。例えば、道路を閉塞している障害物、および、通信の低減または喪失が、イベントとして見られ得る。イベントは、交通条件または渋滞、および、知覚エンジンによって知覚される、予想外のまたは異常な数またはタイプの外部オブジェクト（またはトラック）を含み得る。イベントは、天候関連条件（例えば、氷または雨に起因する摩擦の喪失）、または、他の車両の人間の運転者の目に明るく陽が差すようにする水平線に対する低い角度のような、陽が差している角度（例えば、日没時）を含み得る。これらのおよび他の条件は、遠隔操作者サービスの呼び出しを引き起こすか、または、車両に安全停止軌道を実行させるイベントとして見られ得る。
【0020】
２０６において、候補軌道のサブセットを表すデータが、イベントの検出に応答して自律車両から受信され得る。例えば、自律車両コントローラのプランナが、１秒のような単位時間あたりに多数の軌道（例えば、数千以上）を計算および評価することができる。いくつかの実施形態において、候補軌道は、自律車両がイベントを考慮して（例えば、遠隔操作者によって提供される代替の経路を使用して）安全に前進することができる相対的により高い信頼水準を提供する軌道のサブセットである。いくつかの候補軌道は、他の候補軌道よりも高くランク付けされ、または、他の候補軌道よりも高い信頼度と関連付けられ得ることに留意されたい。いくつかの例によれば、候補軌道のサブセットは、プランナ、遠隔操作者コンピューティングデバイス（例えば、遠隔操作者が、近似の経路を決定および提供することができる）などのような任意の数のソースに由来することができ、または、候補軌道のサブセットとして組み合わされることができる。２０８において、経路案内データが、１つまたは複数のプロセッサにおいて識別され得る。経路案内データは、遠隔操作者が、候補軌道のうちの１つまたは複数から案内される軌道を選択するのを補助するように構成されてもよい。いくつかの事例において、経路案内データは、特定の候補軌道が、イベントが自律車両の動作に影響を与え得る可能性を低減または無視することができる確実度を指示する信頼水準または確率を指示する値を指定する。選択される候補軌道としての案内される軌道は、２１０において、遠隔操作者からの入力（例えば、遠隔操作者は、別様にランク付けされている候補軌道のグループから少なくとも１つの候補軌道を、案内される軌道として選択することができる）に応答して受信され得る。選択は、いくつかの候補軌道を、例えば、最も高い信頼水準から最も低い信頼水準への順序においてリストしている操作者インターフェースを介して行われてもよい。２１２において、案内される軌道としての候補軌道の選択が、車両に送信され得、これは、車両に、遠隔操作者によって指定される操作を実施させることによって、条件を解決するための案内される軌道を実施する。そのため、自律車両は、非規範的動作状態から移行することができる。
【0021】
図３Ａは、いくつかの例による、センサおよび他の自律車両構成要素の例を示す図である。図３００は、センサ、信号ルータ３４５、駆動系３４９、取り外し可能電池３４３、オーディオ生成器３４４（例えば、スピーカまたはトランスデューサ）、および自律車両（「ＡＶ」）制御論理３４７を含む双方向性自律車両３３０の内部図を示す。図３００に示されているセンサは、他のセンサタイプおよびモダリティの中でも、画像キャプチャセンサ３４０（例えば、任意のタイプの光キャプチャデバイスまたはカメラ）、オーディオキャプチャセンサ３４２（例えば、任意のタイプのマイクロフォン）、レーダ（ＲＡＤＡＲ）デバイス３４８、ソナーデバイス３４１（または、超音波センサまたは音響関連センサを含む、他の同様のセンサ）、およびライダ（ＬＩＤＡＲ）デバイス３４６を含む（慣性計測装置すなわち「ＩＭＵ」、全地球測位システム（「ＧＰＳ」）センサ、ソナーセンサなどのような、それらのいくつかは図示されていない）。四半部３５０は、双方向性自律車両３３０の４つの「四半部」の各々の対称性を表していることに留意されたい（例えば各四半部３５０は、図示されているものの他に、ホイール、駆動系３４９、同様のステアリングメカニズム、同様の構造的支持および部材などを含んでもよい）。図３Ａに示されているように、同様のセンサが、各四半部３５０内の同様のロケーションに配置されてもよいが、任意の他の構成が実施されてもよい。各ホイールは、個々に、かつ互いに独立してステアリング可能であり得る。また、取り外し可能電池３４３は、その場で充電するのではなく、スワップインおよびスワップアウトされることを促進するように構成され得、それによって、電池３４３を充電する必要性に起因する休止時間が低減される、または、無視できることを保証する。自律車両コントローラ３４７ａは、双方向性自律車両３３０内で使用されるものとして示されているが、自律車両コントローラ３４７ａは、そのように限定されず、地上、空中、または海上を問わず、一方向性自律車両または任意の他のタイプの車両内で実施されてもよい。図３Ａに示されているセンサの示されている、および、記述されている位置、ロケーション、向き、量、およびタイプは、限定であるようには意図されておらず、そのため、任意の数およびタイプのセンサがあってもよく、任意のセンサが自律車両３３０上のいずれの場所に配置および配向されてもよいことに留意されたい。
【0022】
いくつかの実施形態によれば、自律車両（「ＡＶ」）制御論理３４７の部分は、グラフィックスプロセッシングユニット（「ＧＰＵ」）のクラスタをプログラミングするのに適したフレームワークおよびプログラミングモデルを実施するＧＰＵのクラスタを使用して実施されてもよい。例えば、ｃｏｍｐｕｔｅ ｕｎｉｆｉｅｄ ｄｅｖｉｃｅ ａｒｃｈｉｔｅｃｔｕｒｅ（「ＣＵＤＡ（商標）」）に準拠したプログラミング言語およびアプリケーションプログラミングインターフェース（「ＡＰＩ」）モデルが、ＧＰＵをプログラミングするために使用されてもよい。ＣＵＤＡ（商標）は、カリフォルニア州サンタクララ所在のＮＶＩＤＩＡによって製造および維持されている。ＯｐｅｎＣＬ、または任意の他の並列プログラミング言語のような他のプログラミング言語が実施されてもよいことに留意されたい。
【0023】
いくつかの実施形態によれば、自律車両制御論理３４７は、モーションコントローラ３６２、プランナ３６４、知覚エンジン３６６、およびローカライザ３６８を含むように示されている自律車両コントローラ３４７ａとして、ハードウェアおよび／またはソフトウェアにおいて実施されてもよい。示されているように、自律車両コントローラ３４７ａは、カメラデータ３４０ａ、ライダデータ３４６ａ、およびレーダデータ３４８ａ、または、ソナーデータ３４１ａ等を含む任意の他の範囲検知または位置特定データを受信するように構成されている。自律車両コントローラ３４７ａはまた、ＧＰＳデータ３５２、ＩＭＵデータ３５４、および他の位置検知データ（例えば、ステアリング角度、角速度などのようなホイール関連データ）のような測位データを受信するようにも構成されている。さらに、自律車両コントローラ３４７ａは、任意の他のセンサデータ３５６および基準データ３３９を受信してもよい。いくつかの事例において、基準データ３３９は、マップデータ（例えば、３Ｄマップデータ、２Ｄマップデータ、４Ｄマップデータ（例えば、エポック決定（Ｅｐｏｃｈ Ｄｅｔｅｒｍｉｎａｔｉｏｎ））を含む）およびルートデータ（例えば、限定ではないが、ＲＮＤＦデータ（または同様のデータ）、ＭＤＦデータ（または同様のデータ））を含む道路網データなどを含む。
【0024】
ローカライザ３６８は、ＧＰＳデータ３５２、ホイールデータ、ＩＭＵデータ３５４、ライダデータ３４６ａ、カメラデータ３４０ａ、レーダデータ３４８ａなどのような１つまたは複数のソースからのセンサデータ、および基準データ３３９（例えば、３Ｄマップデータおよびルートデータ）を受信するように構成されている。ローカライザ３６８は、双方向性自律車両３３０の局所的位置（または位置）を決定するために、センサデータをマップデータと比較することによって、データを統合（例えば、センサデータを融合）および分析する。いくつかの実施形態によれば、ローカライザ３６８は、任意の自律車両の場所または位置をリアルタイムまたはほぼリアルタイムに生成または更新することができる。ローカライザ３６８およびその機能は、「双方向性」車両に限定される必要はなく、任意のタイプの任意の車両において実施され得ることに留意されたい。それゆえ、ローカライザ３６８（およびＡＶコントローラ３４７ａの他の構成要素）は、「一方向性」車両または任意の非自律車両において実施されてもよい。いくつかの実施形態によれば、局所的位置を記述するデータは、ｘ座標、ｙ座標、ｚ座標（または、極座標系または円筒座標系などを含む任意の座標系の任意の座標）、ヨー値、ロール値、ピッチ値（例えば、角度値）、レート（例えば、速度）、高度などのうちの１つまたは複数を含んでもよい。
【0025】
知覚エンジン３６６は、ライダデータ３４６ａ、カメラデータ３４０ａ、レーダデータ３４８ａなどのような１つまたは複数のソースからのセンサデータ、および局所的位置データを受信するように構成されている。知覚エンジン３６６は、センサデータおよび他のデータに基づいて外部オブジェクトのロケーションを決定するように構成され得る。例えば、外部オブジェクトは、運転可能な表面の部分でないオブジェクトであり得る。例えば、知覚エンジン３６６は、外部オブジェクトを、歩行者、自転車利用者、犬、他の車両などとして検出および分類することが可能であり得る（例えば、知覚エンジン３６６は、ラベルを含む意味情報と関連付けられ得る分類のタイプに従ってオブジェクトを分類するように構成される）。これらの外部オブジェクトの分類に基づいて、外部オブジェクトは、動的オブジェクトまたは静的オブジェクトとしてラベル付けされ得る。例えば、樹木として分類されている外部オブジェクトは静的オブジェクトとしてラベル付けされ得、一方、歩行者として分類されている外部オブジェクトは、動的オブジェクトとしてラベル付けされ得る。静的としてラベル付けされている外部オブジェクトは、マップデータ内に記述されてもよく、または、記述されなくてもよい。静的としてラベル付けされる可能性がある外部オブジェクトの例は、道路を横切って配置されているセメント壁、車線閉鎖標識、新たに配置された郵便ポスト、または、道路に隣接するごみ箱などを含む。動的としてラベル付けされる可能性がある外部オブジェクトの例は、自転車利用者、歩行者、動物、他の車両などを含む。外部オブジェクトが動的としてラベル付けされる場合、外部オブジェクトに関するさらなるデータが、分類タイプと関連付けられる一般的なレベルの活動および速度、ならびに、挙動パターンを指示し得る。外部オブジェクトに関するさらなるデータは、外部オブジェクトを追跡することによって生成され得る。そのため、分類タイプは、外部オブジェクトが、例えば、プランニングされている経路に沿って走行している自律車両と干渉し得る可能性を予測または他の様態で決定するために使用され得る。例えば、歩行者として分類される外部オブジェクトは、（例えば、追跡データに基づいて）何らかの最大速度、および、平均速度と関連付けられ得る。自律車両の速度に対する歩行者の速度は、衝突の可能性があるか否かを決定するために使用されることができる。さらに、知覚エンジン３６４は、オブジェクトの現在および未来の状態と関連付けられる不確定度を決定することができる。いくつかの例において、不確定度は、推定値（または確率）として表現されてもよい。
【0026】
プランナ３６４は、知覚エンジン３６６から知覚データを受信するように構成されており、また、ローカライザ３６８からのローカライザデータをも含むことができる。いくつかの例によれば、知覚データは、自律車両の近傍に配置されている静的オブジェクトおよび動的オブジェクトを指定する障害物マップを含むことができ、一方で、ローカライザデータは、局所的位置または位置を含むことができる。動作時、プランナ３６４は、多数の軌道を生成し、少なくとも、外部の動的オブジェクトおよび静的オブジェクトの相対ロケーションに対する自律車両のロケーションに基づいて、軌道を評価する。プランナ３６４は、衝突のない走行を提供するように自律車両を誘導する最適な軌道を、様々な基準に基づいて選択する。いくつかの例において、プランナ３６４は、確率的に決定される軌道として軌道を計算するように構成されてもよい。さらに、プランナ３６４は、ステアリングおよび推進コマンド（ならびに減速またはブレーキコマンド）をモーションコントローラ３６２に送信することができる。モーションコントローラ３６２はその後、ステアリングコマンド、スロットルまたは推進コマンド、およびブレーキコマンドのようなコマンドのいずれかを、ステアリングまたはホイール角度および／または速度３５３の変更を実施するための制御信号（例えば、アクチュエータまたは他の機械的インターフェースに対する適用のための）に変換することができる。
【0027】
図３Ｂ～図３Ｅは、いくつかの例による、センサフィールド冗長性およびセンサフィールドの喪失に対する自律車両の適合の例を示す図である。図３Ｂの図３９１は、センサ３１０ａがオブジェクトを（例えば、範囲もしくは距離または他の情報を決定するために）検出するセンサフィールド３０１ａを示す。センサ３１０ａは、任意のタイプのセンサまたはセンサモダリティを実施することができるが、センサ３１０ａ、ならびに、センサ３１０ｂ、３１０ｃ、および３１０ｄのような同様に記述されているセンサは、ライダデバイスを含んでもよい。それゆえ、センサフィールド３０１ａ、３０１ｂ、３０１ｃ、および３０１ｄは各々、レーザが延伸するフィールドを含む。図３Ｃの図３９２は、各々が対応するライダセンサ３１０（図示せず）によって生成される４つの重なり合うセンサフィールドを示す。示されているように、センサフィールドの部分３０１は、重なり合うセンサフィールドを含まず（例えば、単一のライダフィールド）、センサフィールドの部分３０２は、２つの重なり合うセンサフィールドを含み、部分３０３は３つの重なり合うセンサフィールドを含み、それによって、そのようなセンサは、ライダセンサが機能不全になった場合に複数レベルの冗長性を提供する。
【0028】
図３Ｄは、いくつかの例による、ライダ３０９の動作が機能不全にされることに起因するセンサフィールドの喪失を示す。図３Ｃのセンサフィールド３０２は、単一のセンサフィールド３０５に変換されており、図３Ｃのセンサフィールド３０１のうちの１つは失われて間隙３０４になっており、図３Ｃのセンサフィールド３０３のうちの３つは、センサフィールド３０６に変換されている（すなわち、２つの重なり合うフィールドに限定される）。自律車両３３０ｃが進行方向３９６に走行している場合、動いている自律車両の正面のセンサフィールドは、後端位置にあるものよりもロバストでない場合がある。いくつかの例によれば、自律車両コントローラ（図示せず）は、車両の正面の前方領域におけるセンサフィールドの喪失に対処するために、自律車両３３０ｃの双方向性を活用するように構成されている。図３Ｅは、自律車両３３０ｄの正面のセンサフィールドの一定のロバスト性を回復するための双方向性操作を示す。示されているように、テールライト３４８と同延のよりロバストなセンサフィールド３０２が、車両３３０ｄの後部に配置されている。好都合な場合、自律車両３３０ｄは、私道３９７に寄ることによって双方向性操作を実施し、テールライト３４８が自律車両３３０ｄの他の側（例えば、後縁）にアクティブに切り替わるように、その双方向性を切り替える。示されているように、自律車両３３０ｄは、進行方向３９８に沿って走行しているときに、車両の正面のロバストなセンサフィールド３０２を回復する。さらに、上述した双方向性操作は、交通量の多い車道に戻ることを必要とするより複雑化された操作の必要性を取り除く。
【0029】
図４は、いくつかの例による、通信レイヤを介して自律車両コントローラに通信可能に結合されている自律車両サービスプラットフォームを含むシステムを示す機能ブロック図である。図４００は、自律車両４３０内に配置されている自律車両コントローラ（「ＡＶ」）４４７を示し、自律車両４３０は、自律車両コントローラ４４７に結合されているいくつかのセンサ４７０を含む。センサ４７０は、１つまたは複数のライダデバイス４７２、１つまたは複数のカメラ４７４、１つまたは複数のレーダ４７６、１つまたは複数の全地球測位システム（「ＧＰＳ」）データ受信機－センサ、１つまたは複数の慣性計測装置（「ＩＭＵ」）４７５、１つまたは複数のオドメトリセンサ４７７（例えば、ホイールエンコーダセンサ、ホイール速度センサなど）、および、赤外線カメラまたはセンサ、ハイパースペクトル対応センサ（ｈｙｐｅｒｓｐｅｃｔｒａｌ－ｃａｐａｂｌｅ ｓｅｎｓｏｒ）、超音波センサ（または任意の他の音響エネルギーに基づくセンサ）、無線周波数に基づくセンサなどのような、任意の他の適切なセンサ４７８を含む。いくつかの事例において、ホイールのステアリング角度を検知するように構成されているホイール角度センサが、オドメトリセンサ４７７または適切なセンサ４７８として含まれてもよい。非限定例において、自律車両コントローラ４４７は、４つ以上のライダ ４７２、１６個以上のカメラ４７４および４つ以上のレーダユニット４７６を含んでもよい。さらに、センサ４７０は、自律車両コントローラ４４７の構成要素、および、自律車両サービスプラットフォーム４０１の要素にセンサデータを提供するように構成されてもよい。図４００に示されているように、自律車両コントローラ４４７は、プランナ４６４と、モーションコントローラ４６２と、ローカライザ４６８と、知覚エンジン４６６と、局所的マップジェネレータ４４０とを含む。図４の図４００に示されている要素は、１つまたは複数の他の図面に関連して記述されている、同様に名付けられている要素としての構造および／または機能を含むことができることに留意されたい。
【0030】
ローカライザ４６８は、マップデータ、ルートデータ（例えば、ＲＮＤＦのようなデータのような、道路網データ）などを含んでもよい基準データに対して自律車両を位置特定する（すなわち、局所的位置を決定する）ように構成されている。いくつかの事例において、ローカライザ４６８は、例えば、環境の表現の特徴に対する自律車両４３０のロケーションを表現することができる、空間内のポイントを識別するように構成されている。ローカライザ４６８は、各個々のタイプのセンサに関係付けられる不確実性を低減するために（例えば、異なるセンサモダリティの）センサデータの複数のサブセットを統合するように構成され得るセンサデータインテグレータ（ｓｅｎｓｏｒ ｄａｔａ ｉｎｔｅｇｒａｔｏｒ）４６９を含むように示されている。いくつかの例によれば、センサデータインテグレータ４６９は、局所的位置を決定するための統合されたセンサデータ値を形成するために、センサデータ（例えば、ライダデータ、カメラデータ、レーダデータなど）を融合するように構成されている。いくつかの例によれば、ローカライザ４６８は、２Ｄマップデータ、３Ｄマップデータ、４Ｄマップデータなどを格納するためのマップデータリポジトリ（ｍａｐ ｄａｔａ ｒｅｐｏｓｉｔｏｒｙ）４０５ａを含む、基準データリポジトリ（ｒｅｆｅｒｅｎｃｅ ｄａｔａ ｒｅｐｏｓｉｔｏｒｙ）４０５に由来する基準データを取り出す。ローカライザ４６８は、自律車両４３０の位置を識別、または、他の様態で確認するためにマップデータと照合するために、環境内の特徴の少なくともサブセットを識別するように構成され得る。いくつかの例によれば、ローカライザ４６８は、特徴のセットが１つまたは複数の特徴、またはすべての特徴を含むことができるように、環境内の任意の量の特徴を識別するように構成されてもよい。特定の例において、任意の量のライダデータ（例えば、ほとんどのまたは実質的にすべてのライダデータ）が、位置特定の目的のためにマップを表現するデータと比較され得る。一般的に、環境特徴とマップデータとの比較からもたらされる一致しないオブジェクトは、車両、自転車利用者、歩行者などのような動的オブジェクトであり得る。障害物を含む動的オブジェクトの検出は、マップデータを用いてまたは用いずに実施され得ることに留意されたい。特に、動的オブジェクトは、マップデータから独立して（すなわち、マップデータがない状態で）検出および追跡されてもよい。いくつかの事例において、２Ｄマップデータおよび３Ｄマップデータは、「グローバルマップデータ」、または、自律車両サービスプラットフォーム４０１によってある時点において認証されているマップデータとして見られ得る。マップデータリポジトリ４０５ａ内のマップデータは定期的に更新および／または認証され得るため、マップデータと、自律車両が位置決めされる実際の環境との間には逸脱が存在する場合がある。それゆえ、ローカライザ４６８は、位置特定を強化するために、局所的マップジェネレータ４４０によって生成される、ローカルに導出されたマップデータを取り出すことができる。局所的マップジェネレータ４４０は、局所的マップデータをリアルタイムまたはほぼリアルタイムに生成するように構成されている。任意選択的に、局所的マップジェネレータ４４０は、例えば、位置特定において動的オブジェクトを無視することによって、ローカルに生成されるマップの精度を強化するために、静的および動的オブジェクトマップデータを受信してもよい。少なくともいくつかの実施形態によれば、局所的マップジェネレータ４４０は、ローカライザ４６８と統合されてもよく、または、その部分として形成されてもよい。少なくとも１つの事例において、局所的マップジェネレータ４４０は、独立してまたはローカライザ４６８と協働してのいずれかで、ｓｉｍｕｌｔａｎｅｏｕｓ ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ ｍａｐｐｉｎｇ（「ＳＬＡＭ」）などに基づいてマップおよび／または基準データを生成するように構成され得る。ローカライザ４６８は、マップデータの使用に対する「混合」手法を実施することができ、それによって、ローカライザ４６８内の論理は、マップデータの各ソースの信頼度に応じて、マップデータリポジトリ４０５ａからのマップデータまたは局所的マップジェネレータ４４０からの局所的マップデータのいずれかから様々な量のマップデータを選択するように構成されることができることに留意されたい。それゆえ、ローカライザ４６８は依然として、ローカルに生成されるマップデータを考慮して古いマップデータを使用することができる。
【0031】
知覚エンジン４６６は、例えば、プランナ４６４が、自律車両４３０が移動している周囲環境内の対象のオブジェクトを識別することによってルートをプランニングし、軌道を生成するのを補助するように構成されている。さらに、対象のオブジェクトの各々と確率が関連付けられ得、それによって、確率は、対象のオブジェクトが安全な走行に対する脅威となり得る可能性を表現することができる（例えば、高速で動くオートバイは、新聞を読みながらバス停のベンチに座っている人よりも強化された追跡を必要とし得る）。示されているように、知覚エンジン４６６は、オブジェクトディテクタ４４２およびオブジェクトクラシファイヤ４４４を含む。オブジェクトディテクタ４４２は、環境内の他の特徴に対してオブジェクトを区別するように構成されており、オブジェクトクラシファイヤ４４４は、オブジェクトを動的オブジェクトまたは静的オブジェクトのいずれかとして分類し、プランニングの目的のために、自律車両４３０に対する動的オブジェクトまたは静的オブジェクトのロケーションを追跡するように構成されることができる。さらに、知覚エンジン４６６は、静的または動的オブジェクトに、オブジェクトがプランナ４６４における経路プランニングに影響を与える可能性がある障害物である（またはそうなる可能性を有する）か否かを指定する識別子を割り当てるように構成されることができる。図４には示されていないが、知覚エンジン４６６はまた、セグメンテーションおよび追跡のような、他の知覚関連機能を実施することもできることに留意されたい。それらの例は後述する。
【0032】
プランナ４６４は、利用可能であるいくつかの経路またはルートを介して目的地に達するという目標を達成するためのいくつかの候補軌道を生成するように構成されている。軌道エバリュエータ（ｔｒａｊｅｃｔｏｒｙ ｅｖａｌｕａｔｏｒ）４６５が、候補軌道を評価し、候補軌道のいずれのサブセットが目的地までの衝突のない経路を提供する最も高い程度の信頼水準と関連付けられるかを識別するように構成されている。そのため、軌道エバリュエータ４６５は、コマンドに、車両構成要素４５０（例えば、アクチュエータまたは他のメカニズム）に対する制御信号を生成させるための関連する基準に基づいて最適な軌道を選択することができる。関連する基準は、最適な軌道を規定する任意の数のファクタを含んでもよく、その選択は、衝突を低減することに限定される必要はないことに留意されたい。例えば、軌道の選択は、ユーザ経験（例えば、ユーザ快適性）、および、交通規制および法律に準拠する衝突のない軌道を最適化するように行われてもよい。ユーザ経験は、（例えば、けいれんのような走行または他の不快な動きを低減するために）様々な直線方向および角度方向における加速を加減することによって最適化され得る。いくつかの事例において、関連する基準の少なくとも部分は、最適化された衝突のない走行を維持しながら、他の基準のいずれに優越または優先すべきかを指定することができる。例えば、限定された状況において軌道を生成するときに（例えば、自転車利用者と併走するために二重黄色線をまたぐとき、または、交通流量に合わせるために提示されている速度制限よりも高速で走行しているとき）、法的な制約は一時的に撤廃または緩和され得る。そのため、制御信号は、駆動系および／またはホイールにおける推進および方向の変化を引き起こすように構成される。この例において、モーションコントローラ４６２は、コマンドを、自律車両４３０の移動を制御するための制御信号（例えば、速度、ホイール角度など）に変換するように構成されている。軌道エバリュエータ４６５が、衝突のない最適化された走行を提供するために十分に高い信頼水準を保証するためには不十分な情報を有する場合、プランナ４６４は、遠隔操作者４０４に対する、遠隔操作者の支持を求める要求を生成することができる。
【0033】
自律車両サービスプラットフォーム４０１は、遠隔操作者４０４（例えば、遠隔操作者コンピューティングデバイス）と、基準データリポジトリ４０５と、マップアップデータ（ｍａｐ ｕｐｄａｔｅｒ）４０６と、車両データコントローラ４０８と、キャリブレータ（ｃａｌｉｂｒａｔｏｒ）４０９と、オフラインオブジェクトクラシファイヤ４１０とを含む。自律車両サービスプラットフォーム４０１の各要素は、独立して配置または分散され得、自律車両サービスプラットフォーム４０１内の他の要素と通信することができることに留意されたい。さらに、自律車両サービスプラットフォーム４０１の要素は、独立して、通信レイヤ４０２を介して自律車両４３０と通信することができる。マップアップデータ４０６は、マップデータ（例えば、局所的マップジェネレータ４４０、センサ４６０、または、自律車両コントローラ４４７の任意の他の構成要素からの）を受信するように構成されており、例えば、マップデータリポジトリ４０５ａ内のマップデータの、ローカルに生成されるマップからの逸脱を検出するようにさらに構成されている。車両データコントローラ４０８は、マップアップデータ４０６に、リポジトリ４０５内の基準データを更新させ、２Ｄ、３Ｄ、および／または４Ｄマップデータに対する更新を促進することができる。いくつかの事例において、車両データコントローラ４０８は、局所的マップデータが自律車両サービスプラットフォーム４０８へと受信されるレート、および、マップアップデータ４０６がマップデータの更新を実施する頻度を制御することができる。
【0034】
キャリブレータ４０９は、同じまたは異なるタイプの様々なセンサの較正を実施するように構成されている。キャリブレータ４０９は、センサの相対的な位置（例えば、デカルト空間（ｘ、ｙ、ｚ）における）およびセンサの向き（例えば、ロール、ピッチおよびヨー）を決定するように構成され得る。カメラ、ライダセンサ、レーダセンサなどのようなセンサの位置および向きは、他のセンサに対して、および、グローバルに車両の基準フレームに対して較正され得る。オフライン自己較正はまた、車両慣性テンソル、軸距、ホイール半径または路面摩擦のような他のパラメータを較正または推定することもできる。較正はまた、いくつかの例によれば、パラメータ変化を検出するためにオンラインで行われることもできる。また、キャリブレータ４０９による較正は、センサの内因性パラメータ（例えば、光学的歪み、ビーム角度など）および外因性パラメータを含み得ることに留意されたい。いくつかの事例において、キャリブレータ４０９は、例として、３Ｄレーザデータにおける深さの断絶と、画像データのエッジとの間の相関を最大化することによって実施され得る。オフラインオブジェクト分類４１０は、センサデータのようなデータを、センサ４７０または自律車両コントローラ４４７の任意の他の構成要素から受信するように構成されている。いくつかの実施形態によれば、オフラインオブジェクトクラシファイヤ４１０のオフライン分類パイプラインは、オブジェクトを事前にまとめ、（例えば、人間によって手動でおよび／またはオフラインラベル付けアルゴリズムを使用して自動的に）注釈を付けるように構成され得、オンライン自律動作中にオブジェクトタイプのリアルタイムの分類を提供することができるオンラインクラシファイヤ（例えば、オブジェクトクラシファイヤ４４４）を訓練するようにさらに構成され得る。
【0035】
図５は、いくつかの実施形態による、自律車両を制御するためのフロー図の例である。５０２において、フロー５００は、自律車両にある複数のモダリティのセンサに由来するセンサデータが、例えば、自律車両コントローラによって受信されるときに開始する。センサデータの１つまたは複数のサブセットは、例えば、推定値を改善するために融合されたデータを生成するために統合され得る。いくつかの例において、５０４において、（例えば、同じまたは異なるモダリティの）１つまたは複数のセンサのセンサストリームが、融合されたセンサデータを形成するために融合され得る。いくつかの例において、ライダセンサデータおよびカメラセンサデータのサブセットが、位置特定を促進するために、５０４において融合され得る。５０６において、センサデータの少なくとも２つのサブセットに基づいてオブジェクトを表現するデータが、プロセッサにおいて導出され得る。例えば、静的オブジェクトまたは動的オブジェクトを識別するデータが、少なくともライダおよびカメラデータから（例えば、知覚エンジンにおいて）導出され得る。５０８において、プランニングされている経路に影響を与える、検出されたオブジェクトが決定され、５１０において、検出されたオブジェクトに応答して、軌道のサブセットが（例えば、プランナにおいて）評価される。５１２において、自律車両の規範的動作と関連付けられる許容可能な信頼水準の範囲を超える信頼水準が決定される。それゆえ、この事例において、信頼水準は、最適化された経路を選択する確実性がより可能性が低く、それによって、最適化された経路が、衝突のない走行を促進し、交通法規に準拠し、快適なユーザ経験（例えば、快適な搭乗）を提供し、および／または、任意の他のファクタに基づいて候補軌道を生成する確率に応じて決定され得るようなものであり得る。そのため、５１４において、代替の経路を求める要求が、遠隔操作者コンピューティングデバイスに送信され得る。その後、遠隔操作者コンピューティングデバイスは、プランナに、自律車両が走行するようにされる最適な軌道を提供することができる。状況によっては、車両はまた、安全停止操作（例えば、自律車両を、危険の確率が相対的に低いロケーションに安全かつ自動的に停止させること）が最善の方策であると決定することもできる。フロー図の各部分はこのフロー図および本明細書における他のフロー図に示されている順序は、順次実施されてもよく、またはフロー図の任意の１つまたは複数の他の部分と並列に実施されてもよく、また、独立して実施されてもよく、または、フロー図の他の部分に依存して実施されてもよいため、様々な機能を直線的に実施するための要件を暗示するようには意図されていないことに留意されたい。
【0036】
図６は、いくつかの実施形態による、自律車両コントローラのアーキテクチャの例を示す図である。図６００は、モーションコントローラプロセス６６２、プランナプロセス６６４、知覚プロセス６６６、マッピングプロセス６４０、および位置特定プロセス６６８を含むいくつかのプロセスを示し、それらのうちのいくつかは、他のプロセスに関するデータを生成または受信し得る。プロセス６７０および６５０のような他のプロセスは、自律車両の１つまたは複数の機械的構成要素との相互作用を促進することができる。例えば、知覚プロセス６６６、マッピングプロセス６４０、および位置特定プロセス６６８は、センサ６７０からセンサデータを受信するように構成されており、一方で、プランナプロセス６６４および知覚プロセス６６６は、道路網データのようなルートデータを含み得る案内データ６０６を受信するように構成されている。さらに図６００について、位置特定プロセス６６８は、他のタイプのマップデータの中でも、マップデータ６０５ａ（すなわち、２Ｄマップデータ）、マップデータ６０５ｂ（すなわち、３Ｄマップデータ）、および局所的マップデータ６４２を受信するように構成されている。例えば、位置特定プロセス６６８はまた、例えば、エポック決定を含み得る、４Ｄマップデータのような他の形態のマップデータを受信することもできる。位置特定プロセス６６８は、局所的位置を表現するローカル位置データ６４１を生成するように構成されている。ローカル位置データ６４１は、モーションコントローラプロセス６６２、プランナプロセス６６４、および知覚プロセス６６６に提供される。知覚プロセス６６６は、静的および動的オブジェクトマップデータ６６７を生成するように構成されており、このマップデータは、プランナプロセス６６４に送信され得る。いくつかの例において、静的および動的オブジェクトマップデータ６６７は、意味論的分類情報および予測される物体挙動のような他のデータとともに送信されてもよい。プランナプロセス６６４は、プランナ６６４によって生成されるいくつかの軌道を記述する軌道データ６６５を生成するように構成されている。モーションコントローラプロセスは、ステアリング角度および／または速度の変化を引き起こすためにアクチュエータ６５０に適用するための低レベルコマンドまたは制御信号を生成するために、軌道データ６６５を使用する。
【0037】
図７は、いくつかの実施形態による、自律車両の群との信頼可能な通信を維持するために冗長な通信チャネルを実施する自律車両サービスプラットフォームの例を示す図である。図７００は、基準データジェネレータ７０５、車両データコントローラ７０２、自律車両群マネージャ７０３、遠隔操作者マネージャ７０７、シミュレータ７４０、およびポリシマネージャ７４２を含む自律車両サービスプラットフォーム７０１を示す。基準データジェネレータ７０５は、マップデータおよびルートデータ（例えば、ＲＮＤＦデータ）を生成および修正するように構成されている。さらに、基準データジェネレータ７０５は、２Ｄマップデータリポジトリ７２０内の２Ｄマップにアクセスし、３Ｄマップデータリポジトリ７２２内の３Ｄマップにアクセスし、ルートデータリポジトリ７２４内のルートデータにアクセスするように構成され得る。エポック決定を含む４Ｄマップデータのような、他のマップ表現データおよびリポジトリが、いくつかの例において実施されてもよい。車両データコントローラ７０２は、様々な動作を実施するように構成されることができる。例えば、車両データコントローラ７０２は、チャネル７７０を介した通信の品質レベルに基づいて、自律車両の群とプラットフォーム７０１との間でデータが交換されるレートを変更するように構成されてもよい。帯域幅が制約されている期間中、例えば、データ通信は、自律車両７３０からの遠隔操作要求が、送達を保証するために高く優先順位付けされるように、優先順位付けされ得る。さらに、特定のチャネルにとって利用可能な帯域幅に依存して、可変レベルのデータ抽象化が、チャネル７７０を介して車両ごとに送信され得る。例えば、ロバストなネットワーク接続の存在下では、全ライダデータ（例えば、実質的にすべてのライダデータであるが、またより少なくてもよい）が送信されてもよく、一方で、劣化されたまたは低速の接続の存在下では、データのより単純なまたはより抽象的な描写（例えば、関連付けられているメタデータを有する境界ボックスなど）が送信されてもよい。自律車両群マネージャ７０３は、電池電力の効率的な使用、走行時間、電池の低充電状態の間に自律車両７３０内の空調装置が使用され得るか否かなどを含む、複数の変数を最適化するように、自律車両７３０の派遣を調整するように構成されており、それらの変数のいずれかまたはすべては、自律車両サービスの動作と関連付けられる費用関数を最適化することを考慮して監視され得る。自律車両の群の走行の費用または時間を最小化する様々な変数を分析するためのアルゴリズムが実施され得る。さらに、自律車両群マネージャ７０３は、群のアップタイムを最大化することを考慮してサービススケジュールを適合させるために、自律車両および部品の在庫を維持する。
【0038】
遠隔操作者マネージャ７０７は、遠隔操作者７０８がそれを用いて入力を提供するいくつかの遠隔操作者コンピューティングデバイス７０４を管理するように構成されている。シミュレータ７４０は、１つまたは複数の自律車両７３０の動作、および、遠隔操作者マネージャ７０７と自律車両７３０との間の相互作用をシミュレートするように構成されている。シミュレータ７４０はまた、自律車両７３０内に配置されているいくつかのセンサの動作（シミュレートされるノイズの導入を含む）をシミュレートすることもできる。さらに、シミュレートされた自律車両が合成環境に導入されることができ、それによって、シミュレートされたセンサが、シミュレートされたレーザ戻りのようなシミュレートされたセンサデータを受信することができるように、都市のような環境がシミュレートされることができる。シミュレータ７４０は、ソフトウェア更新および／またはマップデータの検証を含む、他の機能をも提供することができる。ポリシマネージャ７４２は、道路網を走行している間に自律車両が遭遇する様々な条件またはイベントを考慮して自律車両がそれによって挙動すべきであるデータ表現ポリシまたは規則を維持するように構成されている。いくつかの事例において、更新されたポリシおよび／または規則が、ポリシに対する変更を考慮して自律車両の群の安全な動作を確認するために、シミュレータ７４０においてシミュレートされてもよい。自律車両サービスプラットフォーム７０１の上述されている要素のいくつかが、以下においてさらに記述される。
【0039】
通信チャネル７７０は、自律車両の群７３０および自律車両サービスプラットフォーム７０１の間にネットワーク接続されている通信リンクを提供するように構成されている。例えば、通信チャネル７７０は、自律車両サービスを確実に動作させるために一定レベルの冗長性を保証するために、対応するサブネットワーク（例えば、７７１ａ～７７１ｎ）を有する、いくつかの異なるタイプのネットワーク７７１、７７２、７７３、および７７４を含む。例えば、通信チャネル７７０内の異なるタイプのネットワークは、１つまたは複数のネットワーク７７１、７７２、７７３、および７７４の機能停止に起因する低減されたまたは喪失された通信の場合に、十分な帯域幅を保証するために、異なるセルラネットワークプロバイダ、異なるタイプのデータネットワークなどを含むことができる。
【0040】
図８は、いくつかの実施形態による、様々なアプリケーションの間でデータを交換するように構成されているメッセージングアプリケーションの例を示す図である。図８００は、遠隔操作者マネージャ内に配置されている遠隔操作者アプリケーション８０１、および、自律車両内に配置されている自律車両アプリケーション８３０を示し、それによって、遠隔操作者アプリケーション８０１および自律車両アプリケーション８３０は、ネットワーク８７１、８７２、および他のネットワーク８７３のような様々なネットワークを介した通信を促進するプロトコルを介してメッセージデータを交換する。いくつかの例によれば、通信プロトコルは、Ｏｂｊｅｃｔ Ｍａｎａｇｅｍｅｎｔ Ｇｒｏｕｐ ｃｏｎｓｏｒｔｉｕｍによって維持される仕様を有するＤａｔａ Ｄｉｓｔｒｉｂｕｔｉｏｎ Ｓｅｒｖｉｃｅ（商標）として実施されるミドルウェアプロトコルである。この通信プロトコルによれば、遠隔操作者アプリケーション８０１および自律車両アプリケーション８３０は、メッセージドメイン内に配置されているメッセージルータ８５４を含むことができ、メッセージルータは、遠隔操作者ＡＰＩ ８５２とインターフェースするように構成されている。いくつかの例において、メッセージルータ８５４は、ルーティングサービスである。いくつかの例において、遠隔操作者アプリケーション８０１内のメッセージドメイン８５０ａが、遠隔操作者識別子によって識別され得、一方で、メッセージドメイン８５０ｂは、車両識別子と関連付けられるドメインとして識別され得る。遠隔操作者アプリケーション８０１内の遠隔操作者ＡＰＩ ８５２は、遠隔操作者プロセス８０３ａ～８０３ｃとインターフェースするように構成されており、それによって、遠隔操作者プロセス８０３ｂは、自律車両識別子８０４と関連付けられ、遠隔操作者プロセス８０３ｃは、イベント識別子８０６（例えば、衝突のない経路のプランニングにとって問題になり得る交差点を指定する識別子）と関連付けられる。自律車両アプリケーション８３０内の遠隔操作者ＡＰＩ ８５２は、検知アプリケーション８４２、知覚アプリケーション８４４、位置特定アプリケーション８４６、および制御アプリケーション８４８を含む自律車両オペレーティングシステム８４０とインターフェースするように構成されている。上記を考慮して、上述されている通信プロトコルは、本明細書において記述されているような遠隔操作を促進するために、データ交換を促進することができる。さらに、上述されている通信プロトコルは、１つまたは複数の自律車両および１つまたは複数の自律車両サービスプラットフォームの間のセキュアなデータ交換を提供するように適合されることができる。例えば、メッセージルータ８５４は、例えば、遠隔操作者プロセス８０３と自律車両オペレーティングシステム８４０との間の安全確保された相互作用を提供するためのメッセージを暗号化および解読するように構成されることができる。
【0041】
図９は、いくつかの例による、図８に記述されている通信プロトコルを使用した遠隔操作を促進するためのデータのタイプを示す図である。図９００は、１つまたは複数のネットワーク９７１内に実施される、データ処理を中心とするメッセージングバス９７２を介してデータを交換するように構成されている、遠隔操作者アプリケーション９０１に結合されている遠隔操作者コンピューティングデバイス９０４とインターフェースする遠隔操作者９０８を示す。データ処理を中心とするメッセージングバス９７２は、遠隔操作者アプリケーション９０１と自律車両アプリケーション９３０との間の通信リンクを提供する。遠隔操作者アプリケーション９０１の遠隔操作者ＡＰＩ ９６２は、メッセージサービス構成データ９６４、および、道路網データ（例えば、ＲＮＤＦのようなデータ）、ミッションデータ（例えば、ＭＤＦデータ）などのようなルートデータ９６０を受信するように構成されている。同様に、メッセージングサービスブリッジ９３２も、メッセージングサービス構成データ９３４を受信するように構成されている。メッセージングサービス構成データ９３４および９６４は、遠隔操作者アプリケーション９０１と自律車両アプリケーション９３０との間のメッセージングサービスを構成するための構成データを提供する。メッセージングサービス構成データ９３４および９６４の例は、Ｄａｔａ Ｄｉｓｔｒｉｂｕｔｉｏｎ Ｓｅｒｖｉｃｅ（商標）アプリケーションを構成するために実施されるサービス品質（「ＱｏＳ」）構成データを含む。
【0042】
通信プロトコルを介した遠隔操作を促進するためのデータ交換の例が以下のように記述される。自律車両コントローラの知覚システムによって、障害物データ９２０が生成されると考える。さらに、候補軌道のサブセットを遠隔操作者に通知するためのプランナ選択肢データ９２４がプランナによって生成され、位置データ９２６がローカライザによって生成される。障害物データ９２０、プランナ選択肢データ９２４、および位置データ９２６は、メッセージングサービスブリッジ９３２に送信され、メッセージングサービスブリッジ９３２は、メッセージサービス構成データ９３４に従って、テレメトリデータ９４０およびクエリデータ９４２を生成し、これらは両方とも、テレメトリデータ９５０およびクエリデータ９５２として、データ処理を中心とするメッセージングバス９７２を介して遠隔操作者アプリケーション９０１へと送信される。遠隔操作者ＡＰＩ ９６２は、テレメトリデータ９５０および問い合わせデータ９５２を受信し、これらのデータは、ルートデータ９６０およびメッセージサービス構成データ９６４を考慮して処理される。結果もたらされるデータは、その後、遠隔操作者コンピューティングデバイス９０４および／または協働ディスプレイ（ｃｏｌｌａｂｏｒａｔｉｖｅ ｄｉｓｐｌａｙ）（例えば、協働する遠隔操作者９０８のグループに見えるダッシュボードディスプレイ）を介して遠隔操作者９０８に提示される。遠隔操作者９０８は、遠隔操作者コンピューティングデバイス９０４のディスプレイ上に提示される候補軌道選択肢を検討し、案内される軌道を選択し、これは、コマンドデータ９８２およびクエリ応答データ９８０を生成し、これらは両方とも、クエリ応答データ９５４およびコマンドデータ９５６として、遠隔操作者ＡＰＩ ９６２を通過される。その後、クエリ応答データ９５４およびコマンドデータ９５６は、クエリ応答データ９４４およびコマンドデータ９４６として、データ処理を中心とするメッセージングバス９７２を介して自律車両アプリケーション９３０へと送信される。メッセージングサービスブリッジ９３２は、クエリ応答データ９４４およびコマンドデータ９４６を受信し、遠隔操作者コマンドデータ９２８を生成し、これは、遠隔操作者によって選択された軌道を、プランナによる実施のために生成するように構成されている。上述されているメッセージングプロセスは、限定であるようには意図されておらず、他のメッセージングプロトコルも実施されてもよいことに留意されたい。
【0043】
図１０は、いくつかの実施形態による、遠隔操作者が経路プランニングに影響を与えることができる遠隔操作者インターフェースの例を示す図である。図１０００は、遠隔操作を促進するように構成されている遠隔操作者マネージャ１００７を含む、自律車両サービスプラットフォーム１００１と通信する自律車両１０３０の例を示す。第１の例において、遠隔操作者マネージャ１００７は、遠隔操作者１００８が前もって課題に対処することが可能であり得るように、遠隔操作者１００８に、可能性のある障害物に接近している自律車両の経路、または、プランナ信頼水準の低い領域を前もって見るように要求するデータを受信する。例示のために、自律車両が接近している交差点が、問題があるものとしてタグ付けされ得ると考える。そのため、ユーザインターフェース１０１０は、プランナによって生成されるいくつかの軌道によって予測されている、経路１０１２に沿って移動している対応する自律車両１０３０の表現１０１４を表示する。また、プランナにおいて十分な混乱を引き起こす可能性があり、それによって遠隔操作者の支持を必要とする、他の車両１０１１、および、歩行者のような動的オブジェクト１０１３も表示される。ユーザインターフェース１０１０はまた、遠隔操作者１００８に、現在の速度１０２２、速度制限１０２４、および現在の電池内の充電量１０２６も提示する。いくつかの例によれば、ユーザインターフェース１０１０は、自律車両１０３０から取得されるものとしてのセンサデータのような他のデータを表示してもよい。第２の例において、プランナ１０６４が、検出されている未確認オブジェクト１０４６にもかかわらず、プランナによって生成された経路１０４４と同延であるいくつかの軌道が生成されていると考える。プランナ１０６４はまた、候補軌道１０４０のサブセットをも生成し得るが、この例では、プランナは、現在の信頼水準を所与として進行することは不可能である。プランナ１０６４が代替の経路を決定することができない場合、遠隔操作者要求が送信され得る。この事例において、遠隔操作者は、遠隔操作者に基づく経路１０４２と一致する自律車両１０３０による走行を促進するために、候補軌道１０４０のうちの１つを選択することができる。
【0044】
図１１は、いくつかの例による、遠隔操作を呼び出すように構成されているプランナの例を示す図である。図１１００は、地形マネージャ（ｔｏｐｏｇｒａｐｈｙ ｍａｎａｇｅｒ）１１１０、ルートマネージャ１１１２、経路ジェネレータ（ｐａｔｈ ｇｅｎｅｒａｔｏｒ）１１１４、軌道エバリュエータ１１２０、および軌道トラッカ１１２８を含むプランナ１１６４を示す。地形マネージャ１１１０は、地形学的特徴を指定する３Ｄマップデータまたは他の同様のマップデータのようなマップデータを受信するように構成されている。地形マネージャ１１１０は、目的地までの経路上の地形学関連特徴に基づいて候補経路を識別するようにさらに構成されている。様々な例によれば、地形マネージャ１１１０は、群内の１つまたは複数の自律車両と関連付けられるセンサによって生成される３Ｄマップを受信する。ルートマネージャ１１１２は、目的地までの経路として選択され得る１つまたは複数のルートと関連付けられる交通関連情報を含むことができる、環境データ１１０３を受信するように構成されている。経路ジェネレータ１１１４は、地形マネージャ１１１０およびルートマネージャ１１１２からデータを受信し、自律車両を目的地に向けて誘導するのに適した１つまたは複数の経路または経路セグメントを生成する。１つまたは複数の経路または経路セグメントを表現するデータは、軌道エバリュエータ１１２０へと送信される。
【0045】
軌道エバリュエータ１１２０は、状態・イベントマネージャ（ｓｔａｔｅ ａｎｄ ｅｖｅｎｔ ｍａｎａｇｅｒ）１１２２を含み、状態・イベントマネージャ１１２２は、信頼水準ジェネレータ１１２３を含むことができる。軌道エバリュエータ１１２０は、案内される軌道のジェネレータ（ｇｕｉｄｅｄ ｔｒａｊｅｃｔｏｒｙ ｇｅｎｅｒａｔｏｒ）１１２６および軌道ジェネレータ（ｔｒａｊｅｃｔｏｒｙ ｇｅｎｅｒａｔｏｒ）１１２４をさらに含む。さらに、プランナ１１６４は、ポリシデータ１１３０、知覚エンジンデータ１１３２、およびローカライザデータ１１３４を受信するように構成されている。
【0046】
ポリシデータ１１３０は、いくつかの例によれば、それをもって軌道を生成すべき十分な信頼水準を有する経路を決定するためにプランナ１１６４が使用する基準を含むことができる。ポリシデータ１１３０の例は、軌道生成が外部オブジェクトまでの離れた距離によって抑制されることを指定するポリシ（例えば、可能な限り、自転車利用者から３フィートの安全緩衝を維持すること）、または、軌道が中央の二重黄色線をまたいではならないことを要求するポリシ、または、（例えば、一般的にバス停に最も近い車線に集中することのような、過去のイベントに基づいて）４車線道路においては軌道が単一車線に限定されることを必要とするポリシ、および、ポリシによって指定される任意の他の同様の基準を含む。知覚エンジンデータ１１３２は、対象の静的オブジェクトおよび動的オブジェクトのロケーションのマップを含み、ローカライザデータ１１３４は、少なくとも局所的位置または位置を含む。
【0047】
状態・イベントマネージャ１１２２は、自律車両の動作状態を確率論的に決定するように構成されることができる。例えば、第１の動作状態（すなわち、「規範的動作」）は、軌道が衝突のないものである状況を記述することができ、一方で、第２の動作状態（すなわち、「非規範的動作」）は、可能性のある軌道と関連付けられる信頼水準が、衝突のない走行を保証するには不十分である別の状況を記述することができる。いくつかの例によれば、状態・イベントマネージャ１１２２は、規範的または非規範的である自律車両の状態を決定するために、知覚データ１１３２を使用するように構成されている。信頼水準ジェネレータ１１２３は、自律車両の状態を決定するために、知覚データ１１３２を分析するように構成されることができる。例えば、信頼水準ジェネレータ１１２３は、プランナ１１６４が安全な方策を決定しているという確実度を強化するために、静的オブジェクトおよび動的オブジェクトと関連付けられる意味情報、および、関連付けられる確率推定を使用することができる。例えば、プランナ１１６４は、プランナ１１６４が安全に動作しているか否かを決定するために、オブジェクトが人間である、または、人間でない確率を指定する知覚エンジンデータ１１３２を使用することができる（例えば、プランナ１１６４は、オブジェクトが、９８％の人間である確率、および、オブジェクトが人間でないという２％の確率を有する確実度を受信することができる）。
【0048】
信頼水準（例えば、統計および確率論的決定に基づく）が、予測される安全動作に必要とされる閾値を下回るという決定を受けて、相対的に低い信頼水準（例えば、単一の確率スコア）が、自律車両サービスプラットフォーム１１０１に遠隔操作者の支持を求める要求１１３５を送信するようにプランナ１１６４をトリガすることができる。いくつかの事例において、テレメトリデータおよび候補軌道のセットが、この要求に付随してもよい。テレメトリデータの例は、センサデータ、位置特定データ、知覚データなどを含む。遠隔操作者１１０８は、選択された軌道１１３７を、遠隔操作者コンピューティングデバイス１１０４を介して、案内される軌道のジェネレータ１１２６に送信することができる。そのため、選択された軌道１１３７は、遠隔操作者からの案内によって形成される軌道である。状態に変化がないという確認を受けて（例えば、非規範的状態が未決）、案内される軌道のジェネレータ１１２６は、軌道ジェネレータ１１２４にデータを渡し、軌道ジェネレータ１１２４は、軌道トラッカ１１２８に、軌道追跡コントローラとして、制御信号１１７０（例えば、ステアリング角度、速度など）を生成するために、遠隔操作者によって指定される軌道を使用させる。プランナ１１６４は、状態が非規範的状態に移行する前に、遠隔操作者の支持を求める要求１１３５の送信をトリガすることができることに留意されたい。特に、自律車両コントローラおよび／またはその構成要素は、離れた障害物に問題があり得ることを予測し、前もって、プランナ１１６４に、自律車両が障害物に達する前に遠隔操作を呼び出させることができる。そうでない場合、自律車両は、障害物またはシナリオへの遭遇を受けて安全状態に移行すること（例えば、路肩に寄り、停車すること）によって、遅延を引き起こすことができる。別の例において、遠隔操作は、ナビゲートすることが困難であることが分かっている特定のロケーションに自律車両が接近する前に、自動的に呼び出されてもよい。そのような状況が、センサ読み値、および様々なソースから導出される交通または事故データの信頼性に対する外乱を引き起こす可能性がある場合、この決定は、任意選択的に、時刻、太陽の位置を含む他のファクタを考慮に入れてもよい。
【0049】
図１２は、いくつかの実施形態による、自律車両を制御するように構成されているフロー図の例である。１２０２において、フロー１２００が開始する。オブジェクトのサブセットを表現するデータは自律車両内のプランナにおいて受信され、オブジェクトのサブセットは、分類タイプの確実度を表現するデータと関連付けられる少なくとも１つのオブジェクトを含む。例えば、知覚エンジンデータは、オブジェクトと関連付けられるメタデータを含むことができ、それによって、メタデータは、特定の分類タイプと関連付けられる確実度を指定する。例えば、動的オブジェクトは、正確であるという８５％の信頼水準をもって「若い歩行者」として分類され得る。１２０４において、ローカライザデータが（例えば、プランナにおいて）受信され得る。ローカライザデータは、自律車両内でローカルに生成されるマップデータを含むことができる。局所的マップデータは、一定の地理的領域においてイベントが発生し得る確実度（不確実度を含む）を指定することができる。イベントは、自律車両の動作に影響を与えるか、または、動作に影響を与える可能性がある条件または状況であり得る。イベントは、自律車両の内部（例えば、機能不全にされたまたは機能が損なわれたセンサ）または外部（例えば、道路の閉塞）であってもよい。イベントの例は、図２ならびに他の図面および節など、本明細書において記述されている。対象の地理的領域と同延の経路が、１２０６において決定され得る。例えば、イベントが、ラッシュアワーの交通状態の間に太陽光が運転者の視覚の機能を損なう時刻における、空における太陽の位置付けであると考える。そのため、交通は、明るい太陽光に応答して減速し得ると予想または予測される。したがって、プランナは、イベントを回避するための代替の経路の可能性が低い場合、前もって遠隔操作を呼び出すことができる。１２０８において、プランナにおいて、局所的位置データに基づいてローカル位置が決定される。１２１０において、例えば、分類タイプの確実度、および、速度、位置、および他の状態情報のような任意の数のファクタに基づき得るイベントの確実度に基づいて、自律車両の動作状態が（例えば、確率論的に）決定され得る。例示のために、他の運転者の視覚が太陽によって機能を損なわれる可能性があり、それによって、若い歩行者にとって安全でない状況が引き起こされるイベントの間に、自律車両によって若い歩行者が検出される例を考える。それゆえ、相対的に安全でない状況が、発生する可能性があり得る確率論的なイベント（すなわち、遠隔操作者が呼び出される可能性がある安全でない状況）として検出され得る。１２１２において、動作状態が規範的状態である可能性が決定され、この決定に基づいて、次の動作状態への移行に前もって備える（例えば、規範的動作状態から、安全でない動作状態のような非規範的動作状態への移行に前もって備える）ように、遠隔操作者に要求するメッセージが、遠隔操作者コンピューティングデバイスに送信される。
【0050】
図１３は、いくつかの例による、プランナが軌道を生成することができる例を示す図である。図１３００は、軌道エバリュエータ１３２０および軌道ジェネレータ１３２４を含む。軌道エバリュエータ１３２０は、信頼水準ジェネレータ１３２２および遠隔操作者クエリマネージャ１３２９を含む。示されているように、軌道エバリュエータ１３２０は、静的マップデータ１３０１、ならびに現在のおよび予測されるオブジェクト状態のデータ１３０３を受信するために、知覚エンジン１３６６に結合されている。軌道エバリュエータ１３２０はまた、ローカライザ１３６８からの局所的位置データ１３０５およびグローバルプランナ（ｇｌｏｂａｌ ｐｌａｎｎｅｒ）１３６９からのプランデータ１３０７をも受信する。１つの動作状態（例えば、非規範的）において、信頼水準ジェネレータ１３２２は、静的マップデータ１３０１、ならびに現在のおよび予測されるオブジェクト状態のデータ１３０３を受信する。このデータに基づいて、信頼水準ジェネレータ１３２２は、検出された軌道が、許容不可能な信頼水準値と関連付けられることを決定することができる。そのため、信頼水準ジェネレータ１３２２は、遠隔操作者クエリマネージャ１３２９を介して遠隔操作者に通知するために、検出された軌道データ１３０９（例えば、候補軌道を含むデータ）を送信し、遠隔操作者クエリマネージャ１３２９は、遠隔操作者の支援を求める要求１３７０を送信する。
【0051】
別の動作状態（例えば、規範的状態）において、静的マップデータ１３０１、現在のおよび予測されるオブジェクト状態のデータ１３０３、局所的位置データ１３０５、およびプランデータ１３０７（例えば、グローバルプランデータ）が軌道カリキュレータ１３２５へと受信され、軌道カリキュレータ１３２５は、最適な１つまたは複数の経路を決定するために、軌道を（例えば、反復的に）計算するように構成されている。次に、少なくとも１つの経路が選択され、選択された経路のデータ１３１１として送信される。いくつかの実施形態によれば、軌道カリキュレータ１３２５は、例として軌道の再プランニングを実施するように構成されている。公称運転軌道ジェネレータ（ｎｏｍｉｎａｌ ｄｒｉｖｉｎｇ ｔｒａｊｅｃｔｏｒｙ ｇｅｎｅｒａｔｏｒ）１３２７が、ｒｅｃｅｄｉｎｇ ｈｏｒｉｚｏｎ制御技法に基づいて軌道を生成することによってのような、洗練された手法において軌道を生成するように構成されている。公称運転軌道ジェネレータ１３２７はその後、公称運転軌道経路データ１３７２を、例えば、ステアリング、加速の物理的変更を実施するための軌道トラッカまたは車両コントローラ、および他の構成要素に送信することができる。
【0052】
図１４は、いくつかの実施形態による、自律車両サービスプラットフォームの別の例を示す図である。図１４００は、遠隔操作者１４０８の間の相互作用および／または通信を管理するように構成されている遠隔操作者マネージャ１４０７、遠隔操作者コンピューティングデバイス１４０４、ならびに自律車両サービスプラットフォーム１４０１の他の構成要素を含む自律車両サービスプラットフォーム１４０１を示す。さらに図１４００について、自律車両サービスプラットフォーム１４０１は、シミュレータ１４４０、リポジトリ１４４１、ポリシマネージャ１４４２、基準データアップデータ（ｒｅｆｅｒｅｎｃｅ ｄａｔａ ｕｐｄａｔｅｒ）１４３８、２Ｄマップデータリポジトリ１４２０、３Ｄマップデータリポジトリ１４２２、およびルートデータリポジトリ１４２４を含む。４Ｄマップデータ（例えば、エポック決定を使用する）のような他のマップデータが実施され、リポジトリ（図示せず）に格納されてもよい。
【0053】
遠隔操作者アクション推奨コントローラ（ｔｅｌｅｏｐｅｒａｔｏｒ ａｃｔｉｏｎ ｒｅｃｏｍｍｅｎｄａｔｉｏｎ ｃｏｎｔｒｏｌｌｅｒ）１４１２は、遠隔操作者の支援を求める要求ならびにテレメトリデータおよび他のデータを含むことができる自律車両（「ＡＶ」）プランナデータ１４７２を介して遠隔操作サービス要求を受信および／または制御するように構成されている論理を含む。そのため、プランナデータ１４７２は、遠隔操作者１４０８が遠隔操作者コンピューティングデバイス１４０４を介してそこから選択することができる、推奨される候補軌道または経路を含むことができる。いくつかの例によれば、遠隔操作者アクション推奨コントローラ１４１２は、そこから最適な軌道を選択すべきである、推奨される候補軌道の他のソースにアクセスするように構成されることができる。例えば、自律車両プランナデータ１４７２内に含まれる候補軌道は、並列に、シミュレータ１４４０へと導入されてもよく、シミュレータ１４４０は、遠隔操作者の支援を要求している自律車両によって経験されているイベントまたは条件をシミュレートするように構成されている。シミュレータ１４４０は、マップデータ、および、候補軌道のセットに関するシミュレーションを実施するために必要な他のデータにアクセスすることができ、それによって、シミュレータ１４４０は、十分性を確認するためにシミュレーションを徹底的に繰り返す必要がない。むしろ、シミュレータ１４４０は、候補軌道の妥当性を確認し得、または、そうでなければ遠隔操作者に、それらの選択に注意するよう警告することができる。
【0054】
遠隔操作者相互作用キャプチャアナライザ（ｔｅｌｅｏｐｅｒａｔｏｒ ｉｎｔｅｒａｃｔｉｏｎ ｃａｐｔｕｒｅ ａｎａｌｙｚｅｒ）１４１６は、大量の遠隔操作者トランザクションまたは相互作用を、リポジトリ１４４１内に格納するためにキャプチャするように構成されることができ、リポジトリ１４４１は、例えば、少なくともいくつかの事例において、いくつかの遠隔操作者トランザクションに関係するデータを、ポリシの分析および生成のために累積することができる。いくつかの実施形態によれば、リポジトリ１４４１はまた、ポリシマネージャ１４４２によるアクセスのためにポリシデータを格納するように構成されることもできる。さらに、遠隔操作者相互作用キャプチャアナライザ１４１６は、遠隔操作者の支援を求める要求を引き起こすイベントまたは条件にいかに最良に応答すべきかを経験的に決定するために、機械学習技法を適用することができる。いくつかの事例において、ポリシマネージャ１４４２は、（例えば、機械学習技法の適用後に）遠隔操作者相互作用の大きなセットの分析に応答して、特定のポリシを更新し、または、新たなポリシを生成するように構成されることができる。ポリシマネージャ１４４２は、自律車両コントローラおよびその構成要素が、車両の自律動作に準拠するためにそれに基づいて動作する規則またはガイドラインとして見られ得るポリシを管理する。いくつかの事例において、修正または更新されたポリシが、そのようなポリシ変更を永続的にリリースまたは実施することの有効性を確認するために、シミュレータ１４４０に適用されてもよい。
【0055】
シミュレータインターフェースコントローラ１４１４は、シミュレータ１４４０と遠隔操作者コンピューティングデバイス１４０４との間のインターフェースを提供するように構成されている。例えば、自律車両の群からのセンサデータが、自律（「ＡＶ」）群データ１４７０を介して基準データアップデータ１４３８に適用され、それによって、基準データアップデータ１４３８が更新されたマップおよびルートデータ１４３９を生成するように構成されると考える。いくつかの実施態様において、更新されたマップおよびルートデータ１４３９は、事前に、マップデータリポジトリ１４２０および１４２２内のデータに対する更新として、または、ルートデータリポジトリ１４２４内のデータに対する更新としてリリースされることができる。この事例において、そのようなデータは、例えば、事前に更新されている情報を含むマップタイルが自律車両によって使用されるときに、遠隔操作者サービスを要求するためのより低い閾値が実施され得る「ベータバージョン」であるものとしてタグ付けされ得る。さらに、更新されたマップおよびルートデータ１４３９は、更新されたマップデータを検証するためにシミュレータ１４４０に導入され得る。（例えば、ベータ試験の終了時の）全リリースを受けて、遠隔操作者サービスを要求するための以前に下げられていた閾値はキャンセルされる。ユーザインターフェースグラフィックスコントローラ１４１０は、豊富なグラフィックスを遠隔操作者１４０８に提供し、それによって、自律車両の群が、シミュレータ１４４０内でシミュレートされることができ、シミュレートされている自律車両の群があたかも現実であるかのように、遠隔操作者コンピューティングデバイス１４０４を介してアクセスされることができる。
【0056】
図１５は、いくつかの実施形態による、自律車両を制御するためのフロー図の例である。１５０２において、フロー１５００が開始する。自律車両の群を管理するためのメッセージデータが、遠隔操作者コンピューティングデバイスにおいて受信され得る。メッセージデータは、自律車両のプランニングされている経路の文脈において非規範的動作状態と関連付けられるイベント属性を指示することができる。例えば、イベントは、例えば信号機に違反して急いで通りを渡っている多数の歩行者に起因して問題になる特定の交差点として特性化され得る。イベント属性は、例えば、通りを渡っている人間の数、増大した数の歩行者からもたらされる交通遅延などのようなイベントの特性を記述する。１５０４において、遠隔操作リポジトリは、自律車両のグループと関連付けられる、集約されているデータのシミュレートされている動作に基づいて、推奨の第１のサブセットを取り出すためにアクセスされることができる。この事例において、シミュレータは、それをもって遠隔操作者が実施することができる推奨のソースであり得る。さらに、遠隔操作リポジトリはまた、同様のイベント属性に応答した遠隔操作者相互作用の集約に基づいて、推奨の第２のサブセットを取り出すためにアクセスされることもできる。特に、遠隔操作者相互作用キャプチャアナライザは、遠隔操作者の支援を求める以前の要求に基づいて同様の属性を有するイベントにいかに最良に応答すべきかを経験的に決定するために、機械学習技法を適用することができる。１５０６において、推奨の第１のサブセットおよび第２のサブセットが、自律車両に対する推奨される方策のセットを形成するために、組み合わされる。１５０８において、推奨される方策のセットの表現が、遠隔操作者コンピューティングデバイスのディスプレイ上に、視覚的に提示されることができる。１５１０において、推奨される方策の選択（例えば、遠隔操作者による）を表現するデータ信号が検出されることができる。
【0057】
図１６は、いくつかの例による、群最適化マネージャを実施する自律車両群マネージャの例の図である。図１６００は、道路網１６５０内を移動する自律車両の群１６３０を管理するように構成されている自律車両群マネージャを示す。自律車両群マネージャ１６０３は、遠隔操作者コンピューティングデバイス１６０４を介して遠隔操作者１６０８に結合されており、また、群管理データリポジトリ１６４６にも結合されている。自律車両群マネージャ１６０３は、ポリシデータ１６０２および環境データ１６０６、ならびに他のデータを受信するように構成されている。さらに図１６００について、群最適化マネージャ１６２０は、移動要求プロセッサ１６３１を含むように示されており、移動要求プロセッサ１６３１は、群データエクストラクタ（ｆｌｅｅｔ ｄａｔａ ｅｘｔｒａｃｔｏｒ）１６３２および自律車両派遣最適化カリキュレータ１６３４を含む。移動要求プロセッサ１６３１は、自律車両サービスを要求しているユーザ１６８８からのもののような、移動要求を処理するように構成されている。群データエクストラクタ１６３２は、群内の自律車両に関係するデータを抽出するように構成されている。各自律車両と関連付けられるデータはリポジトリ１６４６内に格納されている。例えば、各車両に関するデータは、保守管理課題、スケジュールされているサービス依頼、日常の使用状況、電池充電および放電率、および任意の他のデータを記述することができ、これらは、リアルタイムに更新されることができ、休止時間を最小化するために自律車両の群を最適化する目的のために使用されることができる。自律車両派遣最適化カリキュレータ１６３４は、抽出されたデータを分析し、ステーション１６５２などからの派遣される次の車両が、自律車両サービスについて、集合の中で最小の走行時間および／または費用を提供することを保証するように、群の最適化された使用状況を計算するように構成されている。
【0058】
群最適化マネージャ１６２０は、混合自律車両／非自律車両プロセッサ１６４０を含むように示されており、混合自律車両／非自律車両プロセッサ１６４０は、ＡＶ／非ＡＶ最適化カリキュレータ１６４２および非ＡＶセレクタ１６４４を含む。いくつかの例によれば、混合自律車両／非自律車両プロセッサ１６４０は、自律車両および人間によって運転される車両（例えば、独立請負人としての）からなる混合群を管理するように構成されている。そのため、自律車両サービスは、過剰な需要を満たすために、または、地理上のフェンスを越える場合がある非ＡＶサービス領域１６９０のような領域、または、不満足な通信カバレージの領域において非自律車両を利用することができる。ＡＶ／非ＡＶ最適化カリキュレータ１６４２は、自律車両群の使用状況を最適化し、非ＡＶ運転者を輸送サービスに（例えば、自律車両サービスに対する損害を最小限にして、または、損害がまったくないように）招聘するように構成されている。非ＡＶセレクタ１６４４は、ＡＶ／非ＡＶ最適化カリキュレータ１６４２によって導出される計算に基づいて、支援するための非ＡＶ運転者の数を選択するための論理を含む。
【0059】
図１７は、いくつかの実施形態による、自律車両の群を管理するためのフロー図の例である。１７０２において、フロー１７００が開始する。１７０２において、ポリシデータが受信される。ポリシデータは、移動要求にサービスするために自律車両を選択するためにいかに最良に適用するかを規定するパラメータを含むことができる。１７０４において、リポジトリからの群管理データが抽出され得る。群管理データは、自律車両のプールに関するデータのサブセットを含む（例えば、データは、輸送要求にサービスするために車両の準備ができているかを記述する）。１７０６において、移動要求を表現するデータが受信される。例示的な目的のために、移動要求は、第１の地理的ロケーションから第２の地理的ロケーションへの輸送手段に対するものであり得る。１７０８において、ポリシデータに基づく属性が、要求にサービスするために利用可能である自律車両のサブセットを決定するために計算される。例えば、属性は、電池充電レベル、および、次にスケジュールされている保守管理までの時間を含んでもよい。１７１０において、自律車両が、第１の地理的ロケーションから第２の地理的ロケーションへの輸送手段として選択され、自律車両を、移動要求の起点と関連付けられる第３の地理的ロケーションに派遣するためのデータが生成される。
【0060】
図１８は、いくつかの実施形態による、自律車両通信リンクマネージャを実施する自律車両群マネージャを示す図である。図１８００は、「低減された通信の領域」１８８０として識別される通信機能停止と一致する道路網１８５０内を移動する自律車両の群１８３０を管理するように構成されている自律車両群マネージャを示す。自律車両群マネージャ１８０３は、遠隔操作者コンピューティングデバイス１８０４を介して遠隔操作者１８０８に結合されている。自律車両群マネージャ１８０３は、ポリシデータ１８０２および環境データ１８０６、ならびに他のデータを受信するように構成されている。さらに図１８００について、自律車両通信リンクマネージャ１８２０が、環境イベントディテクタ（ｅｎｖｉｒｏｎｍｅｎｔ ｅｖｅｎｔ ｄｅｔｅｃｔｏｒ）１８３１、ポリシ適合デタミネータ１８３２、および移動要求プロセッサ１８３４を含むように示されている。環境イベントディテクタ１８３１は、自律車両サービスが実施されている環境内の変化を指定する環境データ１８０６を受信するように構成されている。例えば、環境データ１８０６は、領域１８８０が劣化した通信サービスを有し、これによって自律車両サービスに影響を与える可能性があることを指定することができる。ポリシ適合デタミネータ（ｐｏｌｉｃｙ ａｄａｐｔｉｏｎ ｄｅｔｅｒｍｉｎａｔｏｒ）１８３２は、そのようなイベントの間に（例えば、通信の喪失の間に）移動要求を受信するときに適用すべきパラメータを指定することができる。移動要求プロセッサ１８３４は、劣化した通信を考慮して移動要求を処理するように構成されている。この例において、ユーザ１８８８が、自律車両サービスを要求している。さらに、移動要求プロセッサ１８３４は、不満足な通信に起因する複雑化を回避するように自律車両が派遣される方法を修正するための、適合されたポリシを適用するための論理を含む。
【0061】
通信イベントディテクタ１８４０が、ポリシダウンロードマネージャ１８４２と、通信設定された（「ＣＯＭＭ設定された」）ＡＶディスパッチャ１８４４とを含む。ポリシダウンロードマネージャ１８４２は、低減された通信の領域１８８０を考慮して自律車両１８３０に更新されたポリシを提供するように構成されており、それによって、更新されたポリシは、自律車両が領域１８８０に入る場合に、その領域を迅速に出るためのルートを指定することができる。例えば、自律車両１８６４は、領域１８８０に入る前の時点で、更新されたポリシを受信することができる。通信の喪失を受けて、自律車両１８６４は、更新されたポリシを実施し、領域１８８０から迅速に出るためのルート１８６６を選択する。ＣＯＭＭ設定されたＡＶディスパッチャ１８４４は、領域１８８０にわたるピアツーピアネットワークの確立に対する中継装置として構成される、自律車両を駐めるためのポイント１８６５を識別するように構成されることができる。そのため、ＣＯＭＭ設定されたＡＶディスパッチャ１８４４は、ピアツーピアアドホックネットワークにおける電波塔として動作する目的のために、ロケーション１８６５に駐めるために自律車両１８６２（搭乗者なし）を派遣するように構成されている。
【0062】
図１９は、いくつかの実施形態による、劣化または喪失した通信のようなイベント中の自律車両に対するアクションを決定するためのフロー図の例である。１９０１において、フロー１９００が開始する。ポリシデータが受信され、それによって、ポリシデータは、イベント中に地理的領域における移動要求に適用するためのパラメータを規定する。１９０２において、以下のアクションのうちの１つまたは複数が実施され得る。（１）その地理的ロケーションの部分内の地理的ロケーションに自律車両のサブセットを派遣する。自律車両のサブセットは、特定の地理的ロケーションに駐まり、各々が静的通信中継装置としての役割を果たすか、または、各々が移動通信中継装置としての役割を果たすために、地理的領域内で移動する。（２）その地理的領域の部分と関連付けられる自律車両のプールの部分の間でピアツーピア通信を実施する。（３）イベント中のその地理的領域の部分を脱出するためのルートを記述するイベントポリシを、自律車両に提供する。（４）遠隔操作を呼び出す。および（５）その地理的領域を回避するように、経路を再計算する。アクションの実施後、１９１４において、その自律車両の群が監視される。
【0063】
図２０は、いくつかの実施形態による、ローカライザの例を示す図である。図２０００は、ライダデータ２０７２、カメラデータ２０７４、レーダデータ２０７６、および他のデータ２０７８のような、センサ２０７０からのセンサデータを受信するように構成されているローカライザ２０６８を含む。さらに、ローカライザ２０６８は、２Ｄマップデータ２０２２、３Ｄマップデータ２０２４、および３Ｄ局所的マップデータのような基準データ２０２０を受信するように構成されている。いくつかの例によれば、対応するデータ構造およびリポジトリを含む、４Ｄマップデータ２０２５および意味論的マップデータ（図示せず）のような他のマップデータも、実施されてもよい。さらに図２０００について、ローカライザ２０６８は、位置決めシステム２０１０および位置特定システム２０１２を含み、これらは両方とも、センサ２０７０からのセンサデータおよび基準データ２０２０を受信するように構成されている。位置特定データインテグレータ２０１４は、位置決めシステム２０１０からのデータおよび位置特定システム２０１２からのデータを受信するように構成されており、それによって、位置特定データインテグレータ２０１４は、局所的位置データ２０５２を形成するために複数のセンサからのセンサデータを統合または融合するように構成されている。
【0064】
図２１は、いくつかの実施形態による、集積センサデータに基づいて局所的位置データを生成するためのフロー図の例である。２１０１において、フロー２１００が開始する。２１０２において、基準データが受信され、基準データは、三次元マップデータを含む。いくつかの例において、３Ｄまたは４Ｄマップデータのような基準データが、１つまたは複数のネットワークから受信されてもよい。２１０４において、１つまたは複数の位置特定センサからの位置特定データが受信され、位置特定システム内に配置される。２１０６において、１つまたは複数の位置決めセンサからの位置決めデータが受信され、位置決めシステム内に配置される。２１０８において、位置特定データおよび位置決めデータが統合される。２１１０において、自律車両の地理的位置を指定するローカル位置データを形成するために、位置特定データおよび位置決めデータが統合される。
【0065】
図２２は、いくつかの実施形態による、ローカライザの別の例を示す図である。図２２００はローカライザ２２６８を含み、ローカライザ２２６８は、それぞれ位置決めに基づくデータ２２５０およびローカルなロケーションに基づくデータ２２５１を生成するための位置特定システム２２１０および相対位置特定システム２２１２を含む。位置特定システム２２１０は、他の任意選択のデータ（例えば、４Ｄマップデータ）の中でも、ＧＰＳデータ２２７３、ＧＰＳデータム２２１１、および３Ｄマップデータ２２２２を処理するための投影プロセッサ２２５４ａを含む。位置特定システム２２１０はまた、他の任意選択のデータの中でも、ホイールデータ２２７５（例えば、ホイール速度）、車両モデルデータ２２１３および３Ｄマップデータ２２２２を処理するためのオドメトリプロセッサ２２５４ｂをも含む。さらにまた、位置特定システム２２１０は、他の任意選択のデータの中でも、ＩＭＵデータ２２５７、車両モデルデータ２２１５および３Ｄマップデータ２２２２を処理するためのインテグレータプロセッサ２２５４ｃを含む。同様に、相対位置特定システム２２１２は、他の任意選択のデータの中でも、ライダデータ２２７２、２Ｄタイルマップデータ２２２０、３Ｄマップデータ２２２２、および３Ｄ局所的マップデータ２２２３を処理するためのライダ位置特定プロセッサ２２５４ｄを含む。相対位置特定システム２２１２はまた、他の任意選択のデータの中でも、カメラデータ２２７４、３Ｄマップデータ２２２２、および３Ｄ局所的マップデータ２２２３を処理するための視覚見当合わせプロセッサ２２５４ｅをも含む。さらにまた、相対位置特定システム２２１２は、他の任意選択のデータの中でも、レーダデータ２２７６、３Ｄマップデータ２２２２、および３Ｄ局所的マップデータ２２２３を処理するためのレーダ戻りプロセッサ２２５４ｆを含む。様々な例において、ソナーデータなどのような、他のタイプのセンサデータおよびセンサまたはプロセッサが実施されてもよいことに留意されたい。
【0066】
さらに図２２００について、位置特定に基づくデータ２２５０および相対位置特定に基づくデータ２２５１は、それぞれデータインテグレータ２２６６ａおよび位置特定データインテグレータ２２６６に供給され得る。データインテグレータ２２６６ａおよび位置特定データインテグレータ２２６６は、対応するデータを融合するように構成されることができ、それによって、位置特定に基づくデータ２２５０は、位置特定データインテグレータ２２６６において相対位置特定に基づくデータ２２５１と融合される前に、データインテグレータ２２６６ａにおいて融合されることができる。いくつかの実施形態によれば、データインテグレータ２２６６ａは、位置特定データインテグレータ２２６６の部分として形成されるか、または、不在である。それに関係なく、位置特定に基づくデータ２２５０および相対位置特定に基づくデータ２２５１は両方とも、ローカル位置データ２２５２を生成するためにデータを融合する目的のために、位置特定データインテグレータ２２６６に供給されることができる。位置特定に基づくデータ２２５０は、投影プロセッサ２２５４ａからの単項制約データ（および不確定値）、ならびに、オドメトリプロセッサ２２５４ｂおよびインテグレータプロセッサ２２５４ｃからの二項制約データ（および不確定値）を含むことができる。相対位置特定に基づくデータ２２５１は、位置特定プロセッサ２２５４ｄおよび視覚見当合わせプロセッサ２２５４ｅ、ならびに、任意選択的にレーダ戻りプロセッサ２２５４ｆからの単項制約データ（および不確定値）を含むことができる。いくつかの実施形態によれば、位置特定データインテグレータ２２６６は、カルマンフィルタ（例えば、ゲートカルマンフィルタ（ｇａｔｅｄ Ｋａｌｍａｎ ｆｉｌｔｅｒ））、相対バンドルアジャスタ（ｒｅｌａｔｉｖｅ ｂｕｎｄｌｅ ａｄｊｕｓｔｅｒ）、ポーズグラフ緩和、粒子フィルタ、ヒストグラムフィルタなどのような非線形平滑化機能を実施することができる。
【0067】
図２３は、いくつかの実施形態による、知覚エンジンの例を示す図である。図２３００は、知覚エンジン２３６６を含み、知覚エンジン２３６６は、セグメンテーションプロセッサ２３１０、オブジェクトトラッカ２３３０、およびクラシファイヤ２３６０を含む。さらに、知覚エンジン２３６６は、例えば、ローカル位置データ２３５２、ライダデータ２３７２、カメラデータ２３７４、およびレーダデータ２３７６を受信するように構成されている。ソナーデータのような他のセンサデータが、知覚エンジン２３６６の機能を提供するためにアクセスされてもよいことに留意されたい。セグメンテーションプロセッサ２３１０は、グランドプレーンデータを抽出し、および／または、画像の部分をセグメント化して、オブジェクトを互いから、および静的画像（例えば、背景）から区別するように構成されている。いくつかの事例において、３Ｄブロブが、互いを区別するためにセグメント化されることができる。いくつかの例において、ブロブは、空間的に再生された環境内でオブジェクトを識別する特徴のセットを参照することができ、強度および色のような、同様の特性を有する要素（例えば、カメラデータのピクセル、レーザ戻りデータのポイントなど）から構成されることができる。いくつかの例において、ブロブはまた、ポイントクラウド（例えば、色付けされたレーザ戻りデータから構成される）またはオブジェクトを構成する他の要素を参照することもできる。オブジェクトトラッカ２３３０は、ブロブ、または他のセグメント化された画像部分の動きのフレームごとの推定を実施するように構成されている。さらに、時刻ｔ１における第１のフレーム内の１つのロケーションにあるブロブを、時刻ｔ２における第２のフレーム内の異なるロケーションにあるブロブと関連付けるために、データ関連付けが使用される。いくつかの例において、オブジェクトトラッカ２３３０は、ブロブのような３Ｄオブジェクトのリアルタイムの確率的追跡を実施するように構成されている。クラシファイヤ２３６０は、オブジェクトを識別し、そのオブジェクトを分類タイプ（例えば、歩行者、自転車利用者などとして）によっておよびエネルギー／活動（例えば、オブジェクトが動的であるかまたは静的であるか）によって分類するように構成されており、それによって、分類を表現するデータは、意味ラベルによって記述される。いくつかの実施形態によれば、オブジェクトクラスごとに異なる信頼性で、オブジェクトを車両、自転車利用者、歩行者などとして分類することのような、オブジェクトカテゴリの確率的推定が実施されることができる。知覚エンジン２３６６は、知覚エンジンデータ２３５４を決定するように構成されており、知覚エンジンデータ２３５４は、静的オブジェクトマップおよび／または動的オブジェクトマップを含むことができ、それによって、例えば、プランナは、この情報を使用して、経路プランニングを強化することができる。様々な例によれば、セグメンテーションプロセッサ２３１０、オブジェクトトラッカ２３３０、およびクラシファイヤ２３６０のうちの１つまたは複数は、知覚エンジンデータ２３５４を生成するために機械学習技法を適用することができる。
【0068】
図２４は、いくつかの実施形態による、知覚エンジンデータを生成するためのフロー図の例である。フロー図２４００は２４０２において開始し、自律車両のローカル位置を表現するデータが取り出される。２４０４において、１つまたは複数の位置特定センサからの位置特定データが受信され、２４０６において、セグメント化されたオブジェクトを形成するために、自律車両が配置されている環境の特徴がセグメント化される。２４０８において、動き（例えば、推定される動き）を有する少なくとも１つの追跡されているオブジェクトを形成するために、セグメント化されたオブジェクトの１つまたは複数の部分が空間的に追跡される。２４１０において、追跡されているオブジェクトが、少なくとも静的オブジェクトまたは動的オブジェクトのいずれかであるものとして分類される。いくつかの事例において、静的オブジェクトまたは動的オブジェクトは、分類タイプと関連付けられることができる。２４１２において、分類されたオブジェクトを識別するデータが生成される。例えば、分類されたオブジェクトを識別するデータは、意味情報を含むことができる。
【0069】
図２５は、いくつかの実施形態による、セグメンテーションプロセッサの例である。図２５００は、１つまたは複数のライダ ２５７２からのライダデータおよび１つまたは複数のカメラ２５７４からのカメラ画像データを受信するセグメンテーションプロセッサ２５１０を示す。局所的位置データ２５５２、ライダデータ、およびカメラ画像データが、メタスピンジェネレータ（ｍｅｔａ ｓｐｉｎ ｇｅｎｅｒａｔｏｒ）２５２１へと受信される。いくつかの例において、メタスピンジェネレータは、様々な属性（例えば、色、強度など）に基づいて、画像を区別可能な領域（例えば、ポイントクラウドのクラスタまたはグループ）へと分割するように構成されており、そのうちの少なくとも２つ以上は、同時にまたはほぼ同時に更新されることができる。メタスピンデータ２５２２が、セグメンテーションプロセッサ２５２３においてオブジェクトセグメンテーションおよびグランドセグメンテーション（ｇｒｏｕｎｄ ｓｅｇｍｅｎｔａｔｉｏｎ）を実施するために使用され、それによって、メタスピンデータ２５２２とセグメンテーションプロセッサ２５２３からのセグメンテーション関連データの両方が、走査されている差分のプロセッサ（ｓｃａｎｎｅｄ ｄｉｆｆｅｒｅｎｃｉｎｇ ｐｒｏｃｅｓｓｏｒ）２５１３に適用される。走査されている差分のプロセッサ２５１３は、セグメント化された画像部分の動きおよび／または相対速度を予測するように構成されており、これは、２５１７において動的オブジェクトを識別するために使用されることができる。２５１７において検出された速度を有するオブジェクトを指示するデータが、任意選択的に、経路プランニング決定を強化するためにプランナに送信される。加えて、走査されている差分のプロセッサ２５１３からのデータは、そのようなオブジェクトのマッピングを形成する（また、任意選択的に、動きのレベルを識別する）ためにオブジェクトのロケーションを近似するために使用することができる。いくつかの例において、占有格子マップ２５１５が生成されることができる。占有格子マップ２５１５を表現するデータは、（例えば、不確定性を低減することによって）経路プランニング決定をさらに強化するために、プランナに送信されることができる。さらに図２５００について、１つまたは複数のカメラ２５７４からの画像カメラデータが、ブロブクラシファイヤ２５２０においてブロブを分類するために使用され、ブロブクラシファイヤ２５２０はまた、セグメンテーションプロセッサ２５２３からブロブデータ２５２４も受信する。セグメンテーションプロセッサ２５１０はまた、レーダ関連ブロブデータ２５１６を生成するレーダセグメンテーションプロセッサ２５１４においてセグメンテーションを実施するために、１つまたは複数のレーダ２５７６から未処理レーダ戻りデータ２５１２を受信することもできる。さらに図２５について、セグメンテーションプロセッサ２５１０はまた、レーダデータに関係付けられる、追跡されているブロブのデータ２５１８を受信および／または生成することもできる。ブロブデータ２５１６、追跡されているブロブのデータ２５１８、ブロブクラシファイヤ２５２０からのデータ、および、ブロブデータ２５２４はオブジェクトまたはその部分を追跡するために使用されることができる。いくつかの例によれば、以下、すなわち、走査されている差分のプロセッサ２５１３、ブロブ分類２５２０、およびレーダ２５７６からのデータのうちの１つまたは複数は、任意選択であってもよい。
【0070】
図２６Ａは、様々な実施形態による、オブジェクトトラッカおよびクラシファイヤの例を示す図である。図２６００のオブジェクトトラッカ２６３０は、ブロブデータ２５１６、追跡されているブロブのデータ２５１８、ブロブクラシファイヤ２５２０からのデータ、ブロブデータ２５２４、および１つまたは複数のカメラ２６７６からのカメラ画像データを受信するように構成されている。画像トラッカ２６３３は、追跡されている画像のデータを生成するために、１つまたは複数のカメラ２６７６からのカメラ画像データを受信するように構成されており、追跡されている画像のデータは、データ関連付けプロセッサ２６３２に提供されることができる。示されているようにデータ関連付けプロセッサ２６３２は、ブロブデータ２５１６、追跡されているブロブのデータ２５１８、ブロブクラシファイヤ２５２０からのデータ、ブロブデータ２５２４、および画像トラッカ２６３３からの追跡画像データを受信するように構成されており、上述されているタイプのデータの間の１つまたは複数の関連付けを識別するようにさらに構成されている。データ関連付けプロセッサ２６３２は、とりわけ例えば、動きを推定するために、フレームごとに、例えば、様々なブロブデータを追跡するように構成されている。さらに、データ関連付けプロセッサ２６３２によって生成されるデータは、トラックアップデータ（ｔｒａｃｋ ｕｐｄａｔｅｒ）２６３４によって、１つまたは複数のトラック、または追跡されているオブジェクトを更新するために使用されることができる。いくつかの例において、トラックアップデータ２６３４は、オンラインでトラックデータベース（「ＤＢ」）２６３６に格納することができる、追跡されているオブジェクトの更新されたデータを形成するために、カルマンフィルタなどを実施することができる。フィードバックデータが、データ関連付けプロセッサ２６３２とトラックデータベース２６３６との間で経路２６９９を介して交換されることができる。いくつかの例において、画像トラッカ２６３３は、任意選択であってもよく、除外されてもよい。オブジェクトトラッカ２６３０はまた、例えば、レーダまたはソナー、および、任意の他のタイプのセンサデータのような他のセンサデータを使用してもよい。
【0071】
図２６Ｂは、少なくともいくつかの例による、オブジェクトトラッカの別の例を示す図である。図２６０１は、１つまたは複数の他の図面（例えば図２６Ａ）に関連して記述されている、同様に名付けられている要素としての構造および／または機能を含むことができるオブジェクトトラッカ２６３１を含む。示されているように、オブジェクトトラッカ２６３１は、オブジェクト走査見当合わせおよびデータ融合を実施するように構成されているプロセッサ２６９６を含む任意選択の見当合わせ部分２６９９を含む。プロセッサ２６９６は、結果もたらされるデータを３Ｄオブジェクトデータベース２６９８に格納するようにさらに構成されている。
【0072】
図２６Ａに戻って参照すると、図２６００はまた、クラシファイヤ２６６０をも含み、クラシファイヤ２６６０は、静的障害物データ２６７２および動的障害物データ２６７４を生成するためのトラック分類エンジン２６６２を含むことができ、これらのデータは両方とも、経路プランニング目的のためにプランナに送信されることができる。少なくとも１つの例において、トラック分類エンジン２６６２は、障害物が静的であるかまたは動的であるか、および、オブジェクトの別の分類タイプ（例えば、オブジェクトが車両、歩行者、樹木、自転車利用者、犬、猫、紙袋などであるか）を決定するように構成されている。静的障害物データ２６７２は、障害物マップ（例えば、２Ｄ占有マップ）の部分として形成されることができ、動的障害物データ２６７４は、速度および分類タイプを指示するデータを有する境界ボックスを含むように形成されることができる。動的障害物データ２６７４は、少なくともいくつかの事例において、２Ｄ動的障害物マップデータを含む。
【0073】
図２７は、いくつかの例による、知覚エンジンのフロントエンドプロセッサの例である。図２７００は、様々な例によれば、グランドセグメンテーションを実施するためのグランドセグメンテーションプロセッサ２７２３ａおよび「オーバーセグメンテーション」を実施するためのオーバーセグメンテーションプロセッサ２７２３ｂを含む。プロセッサ２７２３ａおよび２７２３ｂは、任意選択的に色付けされたライダデータ２７７５を受信するように構成されている。オーバーセグメンテーションプロセッサ２７２３ｂは、第１のブロブタイプ（例えば、相対的に小さいブロブ）のデータ２７１０を生成し、このデータは、第２のブロブタイプのデータ２７１４を生成する集約分類・セグメンテーションエンジン（ａｇｇｒｅｇａｔｉｏｎ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｎｄ ｓｅｇｍｅｎｔａｔｉｏｎ ｅｎｇｉｎｅ）２７１２に提供される。データ２７１４は、データ関連付けプロセッサ２７３２に提供され、データ関連付けプロセッサ２７３２は、データ２７１４がトラックデータベース２７３６内に存在するか否かを検出するように構成されている。２７４０において、第２のブロブタイプ（例えば、１つまたは複数のより小さいブロブを含み得る相対的に大きいブロブ）のデータ２７１４が新たなトラックであるか否かの決定が行われる。そうである場合、２７４２においてトラックが初期化され、そうでない場合、トラックデータベース２７３６に格納されている、追跡されているオブジェクトデータおよびそのトラックが、トラックアップデータ２７４２によって拡張または更新されることができる。トラック分類エンジン２７６２は、トラックを識別し、例えば、トラック関連データを追加、除去または修正することによって、トラックを更新／修正するために、トラックデータベース２７３６に結合されている。
【0074】
図２８は、様々な実施形態による、合成環境において自律車両をシミュレートするように構成されているシミュレータを示す図である。図２８００は、シミュレートされた環境２８０３を生成するように構成されているシミュレータ２８４０を含む。示されているように、シミュレータ２８４０は、シミュレートされた環境２８０３内に、シミュレートされた表面２８９２ａおよび２８９２ｂのようなシミュレートされた幾何学的形状を生成するために、基準データ２８２２（例えば、３Ｄマップデータおよび／もしくは他のマップ、または、ＲＮＤＦデータもしくは同様の道路網データを含むルートデータ）を使用するように構成されている。シミュレートされた表面２８９２ａおよび２８９２ｂは、道路に隣接する建造物の壁または側面をシミュレートすることができる。シミュレータ２８４０はまた、合成環境において動的な作用因子をシミュレートするために、動的オブジェクトデータを事前に生成または手続き的に生成することもできる。動的な作用因子の例は、シミュレートされた動的オブジェクト２８０１であり、これは、一定の速度を有するシミュレートされた自転車利用者を表す。シミュレートされた動的な作用因子は、任意選択的に、シミュレートされた自律車両を含む、シミュレートされた環境内の他の静的な作用因子および動的な作用因子に応答することができる。例えば、シミュレートされたオブジェクト２８０１は、予め設定された起動に従うのではなく、シミュレートされた環境２８０３内の他の障害物のために減速することができ、それによって、現実世界に存在する実際の動的な環境のより現実的なシミュレーションを生成する。
【0075】
シミュレータ２８４０は、シミュレートされた自律車両コントローラ２８４７を生成するように構成されることができ、シミュレートされた自律車両コントローラ２８４７は、知覚エンジン２８６６、ローカライザ２８６８、モーションコントローラ２８６２、およびプランナ２８６４の合成適合を含み、これらの各々は、シミュレートされた環境２８０３内で本明細書において記述されている機能を有することができる。シミュレータ２８４０はまた、異なるセンサモダリティおよび異なるセンサデータフォーマットとのデータ交換をシミュレートするためのシミュレートされたインターフェース（「Ｉ／Ｆ」）２８４９を生成することもできる。そのため、シミュレートされたインターフェース２８４９は、例えば、シミュレートされたライダセンサ２８７２から、パケット化されたデータのためのソフトウェアインターフェースをシミュレートすることができる。さらに、シミュレータ２８４０はまた、シミュレートされたＡＶコントローラ２８４７を実施するシミュレートされた自律車両２８３０を生成するように構成されることもできる。シミュレートされた自律車両２８３０は、シミュレートされたライダセンサ２８７２、シミュレートされたカメラまたは画像センサ２８７４、およびシミュレートされたレーダセンサ２８７６を含む。示されている例において、シミュレートされたライダセンサ２８７２は、光線追跡２８９２と一致するシミュレートされたレーザを生成するように構成されることができ、これによって、シミュレートされたセンサ戻り２８９１が生成される。シミュレータ２８４０は、ノイズの追加またはセンサデータに対する他の環境効果（例えば、シミュレートされたセンサ戻り２８９１に影響を与える追加された拡散または反射）をシミュレートすることができることに留意されたい。さらにまた、シミュレータ２８４０は、センサ機能不全、センサ誤較正、断続的なデータの機能停止などを含む、様々なセンサ欠陥をシミュレートするように構成されることができる。
【0076】
シミュレータ２８４０は、シミュレートされた自律車両２８３０の挙動のシミュレーションに使用するための、自律車両の機械的、静的、動的、および運動学的態様をシミュレートするための物理プロセッサ２８５０を含む。例えば、物理プロセッサ２８５０は、接触力学をシミュレートするための接触力学モジュール２８５１、シミュレートされているボディ間の相互作用をシミュレートするための衝突検出モジュール２８５２、および、シミュレートされている機械的相互作用間の相互作用をシミュレートするためのマルチボディ動態モジュール２８５４を含む。
【0077】
シミュレータ２８４０はまた、とりわけ、因果関係を決定するためにシミュレートされた環境２８０３の任意の合成的に生成された要素の機能を適合させるようにシミュレーションを制御するように構成されているシミュレータコントローラ２８５６をも含む。シミュレータ２８４０は、シミュレートされた環境２８０３の合成的に生成された要素の性能を評価するためのシミュレータエバリュエータ（ｓｉｍｕｌａｔｏｒ ｅｖａｌｕａｔｏｒ）２８５８を含む。例えば、シミュレータエバリュエータ２８５８は、シミュレートされた車両コマンド２８８０（例えば、シミュレートされたステアリング角度およびシミュレートされた速度）を分析して、そのようなコマンドが、シミュレートされた環境２８０３内のシミュレートされた活動に対する適切な応答であるか否かを判定することができる。さらに、シミュレータエバリュエータ２８５８は、遠隔操作者コンピューティングデバイス２８０４を介した遠隔操作者２８０８の、シミュレートされた自律車両２８３０との相互作用を評価することができる。シミュレータエバリュエータ２８５８は、シミュレートされた自律車両２８３０の応答を案内するために追加されることができる、更新されたマップタイルおよびルートデータを含む、更新された基準データ２８２７の効果を評価することができる。シミュレータエバリュエータ２８５８はまた、ポリシデータ２８２９が更新、削除、または追加されるときに、シミュレータＡＶコントローラ２８４７の応答を評価することもできる。シミュレータ２８４０の上記の記述は、限定であるようには意図されていない。そのため、シミュレータ２８４０は、静的特徴と動的特徴の両方を含む、シミュレートされた環境に対する自律車両の様々な異なるシミュレーションを実施するように構成されている。例えば、シミュレータ２８４０は、信頼性を保証するためにソフトウェアバージョンの変更を検証するために使用されることができる。シミュレータ２８４０はまた、車両動態特性を決定するために、および、較正目的のために使用されることもできる。さらに、シミュレータ２８４０は、自己シミュレーションによる学習を行うように、適用可能な制御および結果もたらされる軌道の空間を探索するために使用されることができる。
【0078】
図２９は、いくつかの実施形態による、自律車両の様々な態様をシミュレートするためのフロー図の例である。フロー図２９００は２９０２において開始し、三次元マップデータを含む基準データがシミュレータへと受信される。２９０４において、分類されているオブジェクトの運動パターンを規定する動的オブジェクトデータが取り出されることができる。２９０６において、シミュレートされた環境が、少なくとも三次元（「３Ｄ」）マップデータおよび動的オブジェクトデータに基づいて形成される。シミュレートされた環境は、１つまたは複数のシミュレートされた表面を含むことができる。２９０８において、シミュレートされた環境の部分を形成するシミュレートされた自律車両コントローラを含む自律車両がシミュレートされる。自律車両コントローラは、センサデータを受信するように構成されているシミュレートされた知覚エンジンおよびシミュレートされたローカライザを含むことができる。２９１０において、少なくとも１つのシミュレートされたセンサ戻りに関するデータに基づいて、シミュレートされたセンサデータが生成され、２９１２において、合成環境内のシミュレートされた自律車両によって動き（例えば、ベクトル化された推進）を引き起こすためのシミュレートされた車両コマンドが生成される。２９１４において、シミュレートされた自律車両が、予想される挙動と一致して（例えば、ポリシと一致して）挙動したか否かを決定するために、シミュレートされた車両コマンドが評価される。
【0079】
図３０は、いくつかの実施形態による、マップデータを生成するためのフロー図の例である。フロー図３０００は３００２において開始し、軌道データが取り出される。軌道データは、一定の時間期間にわたって（例えば、ログ記録された軌道として）キャプチャされた軌道を含むことができる。３００４において、少なくとも位置特定データが取り出されることができる。位置特定データは、一定の時間期間にわたって（例えば、ログ記録された位置特定データとして）キャプチャされることができる。３００６において、位置特定データのサブセットを生成するために、カメラまたは他の画像センサが実施されることができる。そのため、取り出された位置特定データは、画像データを含むことができる。３００８において、位置特定データのサブセットが、グローバル場所（例えば、グローバル位置）を識別するために整列される。３０１０において、三次元（「３Ｄ」）マップデータが、グローバル位置に基づいて生成され、３０１２において、三次元マップデータが、例えば、手動ルートデータエディタ（例えば、ＲＮＤＦエディタのような手動道路網データエディタを含む）、自動ルートデータジェネレータ（例えば、自動ＲＮＤＦジェネレータを含む、自動道路網ジェネレータを含む）、自律車両の群、シミュレータ、遠隔操作者コンピューティングデバイス、および、自律車両サービスの任意の他の構成要素による実施のために利用可能である。
【0080】
図３１は、いくつかの実施形態による、マッピングエンジンのアーキテクチャを示す図である。図３１００は、軌道ログデータ３１４０、ライダログデータ３１７２、カメラログデータ３１７４、レーダログデータ３１７６、および他の任意選択のログ記録されたセンサデータ（図示せず）を受信するように構成されている３Ｄマッピングエンジンを含む。論理３１４１は、とりわけ、空間内の近傍のポイントが以前に訪れられていることをセンサデータが指示するか否かを検出するように構成されている環閉合ディテクタ（ｌｏｏｐ－ｃｌｏｓｕｒｅ ｄｅｔｅｃｔｏｒ）３１５０を含む。論理３１４１はまた、１つまたは複数の見当合わせポイントに対して、いくつかの事例においては３Ｄマップデータを含むマップデータを整列させるための見当合わせコントローラ３１５２をも含む。さらに、論理３１４１は、ポーズグラフデータ３１４５を生成するように構成されている全体的位置グラフジェネレータ（ｇｌｏｂａｌ ｐｏｓｅ ｇｒａｐｈ ｇｅｎｅｒａｔｏｒ）３１４３によって使用するための環閉合の状態を表現するデータ３１４２を提供する。いくつかの例において、ポーズグラフデータ３１４５はまた、見当合わせ改良モジュール３１４６からのデータに基づいて生成されることもできる。論理３１４４は、３Ｄマッパ３１５４およびライダ自己較正ユニット３１５６を含む。さらに、論理３１４４は、３Ｄマップデータ３１２０（または、４Ｄマップデータのような他のマップデータ）を生成するために、センサデータおよびポーズグラフデータ３１４５を受信する。いくつかの例において、論理３１４４は、最適な三次元マップを形成するためにセンサデータおよび／またはマップデータを融合するために切断符号付き距離関数（「ＴＳＤＦ」）を実施することができる。さらに、論理３１４４は、テクスチャおよび反射特性を含むように構成されている。３Ｄマップデータ３１２０は、手動ルートデータエディタ３１６０（例えば、ルートデータまたは他のタイプのルートもしくは基準データを操作するためのエディタ）、自動ルートデータジェネレータ３１６２（例えば、ルートデータまたは他のタイプの道路網もしくは基準データを生成するように構成されている論理）、自律車両の群３１６４、シミュレータ３１６６、遠隔操作者コンピューティングデバイス３１６８、および、自律車両サービスの任意の他の構成要素による使用のためにリリースされることができる。マッピングエンジン３１１０は、手動注釈または自動的に生成される注釈、および、ソナーまたは機器を備え付けられた環境（例えば、スマートストップランプ）から意味情報をキャプチャすることができる。
【0081】
図３２は、いくつかの実施形態による、自律車両アプリケーションを示す図である。図３２００は、自律車両３２３０を介したユーザ３２０２の輸送手段を構成するために自律車両サービスプラットフォーム３２０１に接触するように構成されている自律サービスアプリケーション３２４０を含むモバイルコンピューティングデバイス３２０３を示す。示されているように、自律サービスアプリケーション３２４０は、コンピューティングデバイス（例えば、携帯電話３２０３など）上に存在するソフトウェアアプリケーションであってもよい輸送コントローラ３２４２を含むことができる。輸送コントローラ３２４２は、ユーザ３２０２がユーザのロケーションから目的地までの輸送手段を構成することができる自律車両および／または自律車両群に関係付けられる動作を受信、スケジュール、選択、または実施するように構成されている。例えば、ユーザ３２０２は、車両３２３０を要求するためにアプリケーションを開くことができる。アプリケーションは、マップを表示することができ、ユーザ３２０２は、例えば、地理上のフェンス領域内で自身の目的地を指示するためにピンをドロップすることができる。代替的に、アプリケーションは、近傍の予め指定された乗車ロケーションのリストを表示してもよく、または、ユーザに、住所もしくは名前のいずれかによって目的地をタイプするためのテキスト入力フィールドを提供してもよい。
【0082】
さらに、示されている例について、自律車両アプリケーション３２４０はまた、自律車両３２３０が接近しているときに、ユーザ３２０２が車両の近くの地理的領域、または、近傍にいることを検出するように構成されることができるユーザ識別コントローラ３２４６を含むこともできる。いくつかの状況において、ユーザ３２０２は、（例えば、トラック、自動車、タクシーを含む様々な他の車両、および都市環境において一般的である他の障害物に起因して）ユーザ３２０３による使用のための自律車両３２３０が接近しているときに、これを容易に知覚または識別しない場合がある。例において、自律車両３２３０は、（例えば、無線周波数（「ＲＦ」）信号の相対方向および信号強度を使用して）自律車両３２３０に対するユーザ３２０２の空間ロケーションを通信および／または決定するために、ワイヤレス通信リンク３２６２（例えば、ＷｉＦｉまたはＢＬＥを含むＢｌｕｅｔｏｏｔｈ（登録商標）のようなＲＦ信号を介して）を確立することができる。いくつかの事例において、自律車両３２３０は、例えば、ＧＰＳデータなどを使用して、ユーザ３２０２の近似の地理的ロケーションを検出することができる。モバイルコンピューティングデバイス３２０３のＧＰＳ受信機（図示せず）は、自律車両サービスアプリケーション３２４０にＧＰＳデータを提供するように構成されることができる。したがって、ユーザ識別コントローラ３２４６は、リンク３２６０を介して自律車両サービスプラットフォーム３２０１にＧＰＳデータを提供することができ、自律車両サービスプラットフォーム３２０１は、リンク３２６１を介して自律車両３２３０にそのロケーションを提供することができる。その後、自律車両３２３０は、ユーザのＧＰＳデータを、車両のＧＰＳによって導出されるロケーションと比較することによって、ユーザ３２０２の相対距離および／または方向を決定することができる。
【0083】
自律車両３２３０はまた、ユーザの固有の顔特性に基づいて一般的にユーザ３２０２を検出するか、または、ユーザ３２０２の識別情報（例えば、名前、電話番号など）を識別するための顔検出アルゴリズムを実施するように構成されている論理のような、ユーザ３２０２の存在を識別するための追加の論理をも含むことができる。さらに、自律車両３２３０は、ユーザ３２０２を識別するためのコードを検出するための論理を含むことができる。そのようなコードの例は、ＱＲコード、カラーコードなどのような特殊化された視覚コード、声によって起動または認識されるコードなどのような特殊化されたオーディオコードなどを含む。いくつかの事例において、コードは、セキュアな進入および／または脱出を保証するためにリンク３２６２を介して自律車両３２３０にデジタルに送信されることができる、符号化されたセキュリティキーであってもよい。さらに、ユーザ３２０２を識別するための、上記で識別された技法のうちの１つまたは複数は、他者が自律車両３２３０に入るのを防止するように（例えば、ユーザ３２０２に到達する前に第三者が占有されていない自律車両に入らないことを保証するために）、ユーザ３２０２に進入および脱出の特権を与えるための安全確保された手段として使用されることができる。様々な例によれば、ユーザ３２０２を識別し、安全確保された進入および脱出を提供するための任意の他の手段がまた、自律車両サービスアプリケーション３２４０、自律車両サービスプラットフォーム３２０１、および自律車両３２３０のうちの１つまたは複数において実施されてもよい。
【0084】
ユーザ３３０２がその要求されている輸送手段に到達するのを支援するために、自律車両３２３０は、自律車両３２３０がユーザ３２０２に接近するときにその存在をユーザ３２０２に通知または他の様態で警告するように構成されることができる。例えば、自律車両３２３０は、特定の光パターンに従って、１つまたは複数の発光デバイス３２８０（例えば、ＬＥＤ）を起動することができる。特に、ユーザ３２０２の輸送手段要求にサービスするために自律車両３２３０が確保されていることを、ユーザ３２０２が容易に知覚することができるように、特定の光パターンが生成される。例として、自律車両３２３０は、ユーザ３２０２によって、そのような視覚的および時間的方法でその外部および内部ライトの「まばたき」または他のアニメーションとして知覚され得る光パターン３２９０を生成することができる。光のパターン３２９０は、ユーザ３２０２に対して、この車両がユーザが予約したものであることを識別するために、音声のパターンを伴ってまたは伴わずに生成されてもよい。
【0085】
いくつかの実施形態によれば、自律車両ユーザコントローラ３２４４は、自律車両の様々な機能を制御するように構成されているソフトウェアアプリケーションを実施することができる。さらに、アプリケーションは、自律車両を、その最初の目的地への移動中に方向転換またはルート変更するように構成されることができる。さらに、自律車両ユーザコントローラ３２４４は、内蔵論理に、例えばムード照明を行うために自律車両３２３０の内部照明を修正させるように構成されることができる。コントローラ３２４４はまた、オーディオのソース（例えば、Ｓｐｏｔｉｆｙのような外部ソース、または、モバイルコンピューティングデバイス３２０３にローカルに格納されているオーディオ）を制御すること、搭乗のタイプを選択すること（例えば、所望される加速およびブレーキの積極性を修正すること、アクティブサスペンションパラメータを修正して「路面対処（ｒｏａｄ－ｈａｎｄｌｉｎｇ）」特性のセットを選択して、振動を含む積極的な運転特性を実施すること、または、快適性のために振動が減衰されている「穏やかな搭乗（ｓｏｆｔ－ｒｉｄｅ）」を選択すること）などもできる。例えば、モバイルコンピューティングデバイス３２０３は、換気および温度のような、ＨＶＡＣ機能をも制御するように構成されることができる。
【0086】
図３３～図３５は、様々な実施形態による、自律車両サービスの構成要素に様々な機能を提供するように構成されている様々なコンピューティングプラットフォームの例を示す。いくつかの例において、コンピューティングプラットフォーム３３００は、コンピュータプログラム、アプリケーション、方法、プロセス、アルゴリズム、または上述されている技法を実施するための他のソフトウェアを実施するために使用されることができる。
【0087】
【0088】
いくつかの場合において、コンピューティングプラットフォーム３３００は、自律車両サービスプラットフォーム内の１つまたは複数のコンピューティングデバイス内に配置され得るコンピューティングデバイス３３９０ａ、自律車両３３９１、および／またはモバイルコンピューティングデバイス３３９０ｂなどの、任意のデバイス内に配置され得る。
【0089】
コンピューティングプラットフォーム３３００は、情報を通信するためのバス３３０２または他の通信メカニズムを含み、これは、例えば、プロセッサを有するモバイルコンピューティングデバイスおよび／または通信デバイスを含むコンピューティングデバイスと通信するための通信リンク３３２１上でのポートを介した通信を促進するために、プロセッサ３３０４、システムメモリ３３０６（例えば、ＲＡＭなど）、記憶装置３３０８（例えば、ＲＯＭなど）、メモリ内キャッシュ（ＲＡＭ ３３０６またはコンピューティングプラットフォーム３３００の他の部分内で実施されることができる）、通信インターフェース３３１３（例えば、Ｅｔｈｅｒｎｅｔまたはワイヤレスコントローラ、Ｂｌｕｅｔｏｏｔｈコントローラ、ＮＦＣ論理など）のようなサブシステムおよびデバイスを相互接続する。プロセッサ３３０４は、１つまたは複数のグラフィックスプロセッシングユニット（「ＧＰＵ」）、Ｉｎｔｅｌ（登録商標） Ｃｏｒｐｏｒａｔｉｏｎによって製造されるもののような１つまたは複数の中央処理装置（「ＣＰＵ」）、または１つまたは複数の仮想プロセッサ、およびＣＰＵと仮想プロセッサとの任意の組み合わせによって実施されることができる。コンピューティングプラットフォーム３３００は、限定ではないが、キーボード、マウス、オーディオ入力（例えば、発話－テキストデバイス）、ユーザインターフェース、ディスプレイ、モニタ、カーソル、タッチセンサ式ディスプレイ、ＬＣＤまたはＬＥＤディスプレイ、および他のＩ／Ｏ関連デバイスを含む入出力デバイス３３０１を介して入力および出力を表現するデータを交換する。
【0090】
いくつかの例によれば、コンピューティングプラットフォーム３３００は、システムメモリ３３０６に格納されている１つまたは複数の命令の１つまたは複数のシーケンスを実行するプロセッサ３３０４によって特定の動作を実施し、コンピューティングプラットフォーム３３００は、クライアント－サーバ構成、ピアツーピア構成において、または、スマートフォンなどを含む任意のモバイルコンピューティングデバイスとして実施されることができる。そのような命令またはデータは、記憶装置３３０８のような別のコンピュータ可読媒体からシステムメモリ３３０６へと読み出されることができる。いくつかの例において、ソフトウェア命令の代わりにまたはソフトウェアと組み合わせて、配線回路が実施のために使用されてもよい。命令は、ソフトウェアまたはファームウェアにおいて具現化されることができる。「コンピュータ可読媒体」という用語は、実行のためにプロセッサ３３０４に命令を提供することに関与する任意の有形媒体を参照する。そのような媒体は、限定ではないが、不揮発性媒体および揮発性媒体を含む多くの形態をとることができる。不揮発性媒体は、例えば、光または磁気ディスクなどを含む。揮発性媒体は、システムメモリ３３０６のようなダイナミックメモリを含む。
【0091】
一般的な形態のコンピュータ可読媒体は、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、もしくは任意の他の磁気媒体、ＣＤ－ＲＯＭ、任意の他の光学媒体、パンチカード、紙テープ、穴のパターンを有する任意の他の物理媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ‐ＥＰＲＯＭ、任意の他のメモリチップもしくはカートリッジ、または、コンピュータがそこから読み出すことができる任意の他の媒体を含む。命令は、さらに、伝送媒体を使用して送信または受信されることができる。「伝送媒体」という用語は、機械によって実行するための命令を格納、符号化または搬送することが可能である任意の有形または無形媒体を含むことができ、デジタルもしくはアナログ通信信号、または、そのような命令の通信を促進するための他の無形媒体を含む。伝送媒体は、コンピュータデータ信号を伝送するためのバス３３０２を含むワイヤを含む、同軸ケーブル、銅線、および光ファイバを含む。
【0092】
いくつかの例において、命令のシーケンスの実行は、コンピューティングプラットフォーム３３００によって実施されることができる。いくつかの例によれば、コンピューティングプラットフォーム３３００は、互いに協働して（または互いに対して非同期的に）命令のシーケンスを実施するために、通信リンク３３２１（例えば、ＬＡＮ、ＰＳＴＮのような有線ネットワーク、または、様々な規格およびプロトコルのＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ、Ｚｉｇ－Ｂｅｅ等を含む任意のワイヤレスネットワーク）によって任意の他のプロセッサに結合されることができる。コンピューティングプラットフォーム３３００は、通信リンク３３２１および通信インターフェース３３１３を通じて、プログラムコード（例えば、アプリケーションコード）を含むメッセージ、データ、および命令を送信および受信することができる。受信されるプログラムコードは、受信されるときにプロセッサ３３０４によって実行されてもよく、および／または、後の実行のためにメモリ３３０６または他の不揮発性記憶装置に格納されてもよい。
【0093】
示されている例において、システムメモリ３３０６は、本明細書において記述されている機能を実施するための実行可能命令を含む様々なモジュールを含むことができる。システムメモリ３３０６は、オペレーティングシステム（「Ｏ／Ｓ」）３３３２、ならびに、アプリケーション３３３６および／または論理モジュール３３５９を含むことができる。図３３に示されている例において、システムメモリ３３０６は、自律車両（「ＡＶ」）コントローラモジュール３３５０および／またはその構成要素（例えば、知覚エンジンモジュール、位置特定モジュール、プランナモジュール、および／またはモーションコントローラモジュール）を含み、それらのうちのいずれか、または、それらの１つもしくは複数の部分は、本明細書において記述されている１つまたは複数の機能を実施することによって、自律車両サービスを促進するように構成されることができる。
【0094】
図３４に示されている例を参照すると、システムメモリ３３０６は、自律車両サービスプラットフォームモジュール３４５０および／またはその構成要素（例えば、遠隔操作者マネージャ、シミュレータなど）を含み、それらのうちのいずれか、または、それらの１つもしくは複数の部分は、本明細書において記述されている１つまたは複数の機能を実施することによって、自律車両サービスの管理を促進するように構成されることができる。
【0095】
図３５に示されている例を参照すると、システムメモリ３３０６は、例えば、モバイルコンピューティングデバイスにおける使用のために、自律車両（「ＡＶ」）モジュールおよび／またはその構成要素を含む。モジュール３５５０の１つまたは複数の部分は、本明細書において記述されている１つまたは複数の機能を実施することによって、自律車両サービスの送達を促進するように構成されることができる。
【0096】
図３３に戻って参照すると、上述されている特徴のうちのいずれかの構造および／または機能は、ソフトウェア、ハードウェア、ファームウェア、回路、またはそれらの組み合わせにおいて実施されることができる。上記の構造および構成要素ならびにそれらの機能は、１つまたは複数の他の構造または要素とともに集約されてもよいことに留意されたい。代替的に、要素およびそれらの機能は、もしあれば、構成部分要素に分割されることができる。ソフトウェアとして、上述されている技法は、様々なタイプのプログラミングまたはフォーマット言語、フレームワーク、構文、アプリケーション、プロトコル、オブジェクト、または技法を使用して実施されてもよい。ハードウェアおよび／またはファームウェアとして、上述されている技法は、フィールドプログラマブルゲートアレイ（「ＦＰＧＡ」）、特定用途向け集積回路（「ＡＳＩＣ」）、または任意の他のタイプの集積回路を設計するように構成されている任意のレジスタ転送言語（「ＲＴＬ」）のようなハードウェア記述言語を含む、様々なタイプのプログラミングまたは集積回路設計言語を使用して実施されてもよい。いくつかの実施形態によれば、「モジュール」という用語は、例えば、ハードウェア回路もしくはソフトウェアのいずれか、または、それらの組み合わせにおいて実施されるアルゴリズムもしくはその部分、および／または論理を参照することができる。これらは、変更されることができ、提供されている例または記述に限定されない。
【0097】
いくつかの実施形態において、図３３のモジュール３３５０、図３４のモジュール３４５０、および図３５のモジュール３５５０、またはそれらの構成要素のうちの１つもしくは複数、または本明細書において記述されている任意のプロセスもしくはデバイスは、携帯電話またはモバイルコンピューティングデバイスのようなモバイルデバイスと（例えば、有線またはワイヤレスで）通信することができ、または、その中に配置されることができる。
【0098】
いくつかの事例において、モバイルデバイス、または、１つもしくは複数のモジュール３３５９（図３３のモジュール３３５０、図３４のモジュール３４５０、および図３５のモジュール３５５０）もしくはその構成要素のうちの１つもしくは複数と通信する任意のネットワーク接続されているコンピューティングデバイス（図示せず）（または本明細書において記述されている任意のプロセスまたはデバイス）は、本明細書において記述されている特徴のうちのいずれかの構造および／または機能のうちの少なくともいくつかを提供することができる。上述されている図面に示されているように、上述されている特徴のうちのいずれかの構造および／または機能は、ソフトウェア、ハードウェア、ファームウェア、回路、またはそれらの任意の組み合わせにおいて実施されることができる。上記の構造および構成要素ならびにそれらの機能は、１つまたは複数の他の構造または要素とともに集約され、または、組み合わされてもよいことに留意されたい。代替的に、要素およびそれらの機能は、もしあれば、構成部分要素に分割されることができる。ソフトウェアとして、上述されている技法のうちの少なくともいくつかは、様々なタイプのプログラミングまたはフォーマット言語、フレームワーク、構文、アプリケーション、プロトコル、オブジェクト、または技法を使用して実施されてもよい。例えば、図面のうちのいずれかに示されている要素のうちの少なくとも１つは、１つまたは複数のアルゴリズムを表現することができる。または、それらの要素のうちの少なくとも１つは、構成構造および／または機能を提供するように構成されているハードウェアの部分を含む、論理の部分を表現することができる。
【0099】
例えば、図３３のモジュール３３５０、図３４のモジュール３４５０、および図３５のモジュール３５５０、またはその構成要素のうちの１つもしくは複数、または本明細書において記述されている任意のプロセスもしくはデバイスは、メモリ内の１つまたは複数のアルゴリズムを実行するように構成されている１つまたは複数のプロセッサを含む１つまたは複数のコンピューティングデバイス（すなわち、装着されるかまたは搬送されるかを問わず、ウェアラブルデバイス、オーディオデバイス（ヘッドフォンまたはヘッドセットなど）または携帯電話のような任意のモバイルコンピューティングデバイス）において実施されることができる。したがって、上述されている図面内の要素のうちの少なくともいくつかは、１つまたは複数のアルゴリズムを表現することができる。または、それらの要素のうちの少なくとも１つは、構成構造および／または機能を提供するように構成されているハードウェアの部分を含む、論理の部分を表現することができる。これらは、変更されることができ、提供されている例または記述に限定されない。
【0100】
ハードウェアおよび／またはファームウェアとして、上述されている構造技法は、フィールドプログラマブルゲートアレイ（「ＦＰＧＡ」）、特定用途向け集積回路（「ＡＳＩＣ」）、マルチチップモジュール、または任意の他のタイプの集積回路を設計するように構成されている任意のレジスタ転送言語（「ＲＴＬ」）のようなハードウェア記述言語を含む、様々なタイプのプログラミング言語または集積回路設計言語を使用して実施されることができる。
【0101】
例えば、図３３のモジュール３３５０、図３４のモジュール３４５０、および図３５のモジュール３５５０、またはその構成要素のうちの１つもしくは複数、または本明細書において記述されている任意のプロセスもしくはデバイスは、１つまたは複数の回路を含む１つまたは複数のコンピューティングデバイスにおいて実施されることができる。したがって、上述されている図面内の要素のうちの少なくとも１つは、ハードウェアの１つまたは複数の構成要素を表現することができる。または、それらの要素のうちの少なくとも１つは、構成構造および／または機能を提供するように構成されている回路の部分を含む、論理の部分を表現することができる。
【0102】
いくつかの実施形態によれば、「回路」という用語は、例えば、１つまたは複数の機能を実行するためにそれを通じて電流が流れるいくつかの構成要素を含む任意のシステムを参照することができ、構成要素は、個別のおよび複雑な構成要素を含む。個別の構成要素の例は、トランジスタ、抵抗器、キャパシタ、インダクタ、ダイオードなどを含み、複雑な構成要素の例は、フィールドプログラマブルゲートアレイ（「ＦＰＧＡ」）、特定用途向け集積回路（「ＡＳＩＣ」）を含む、メモリ、プロセッサ、アナログ回路、デジタル回路などを含む。それゆえ、回路は、電子構成要素および論理構成要素（例えば、例えばアルゴリズムの実行可能命令のグループのような命令を実行するように構成されており、したがって、回路の構成要素である論理）のシステムを含むことができる。いくつかの実施形態によれば、「モジュール」という用語は、例えば、ハードウェア回路もしくはソフトウェアのいずれか、または、それらの組み合わせにおいて実施されるアルゴリズムもしくはその部分、および／または論理を参照することができる（すなわち、モジュールは回路として実施することができる）。いくつかの実施形態において、アルゴリズムおよび／またはアルゴリズムが格納されているメモリは、回路の「構成要素」である。したがって、「回路」という用語は、例えば、アルゴリズムを含む構成要素のシステムをも参照することができる。これらは、変更されることができ、提供されている例または記述に限定されない。
【0103】
図３６は、いくつかの例による、物理的環境における変化に応答する自律車両のためのマッピングデータを適応的に生成するように構成されたマッピングエンジンを示す図である。図３６００は、通信レイヤ（図示せず）を介して１つまたは複数の自律車両３６３０に通信可能に結合された自律車両サービスプラットフォーム３６０１内に配置されたマッピングエンジン３６５４を示す。マッピングエンジン３６５４は、マップデータを生成し、自律車両３６３０が通行する物理的環境における変化に応答してマップデータを適応的に修正するように構成される。示された例において、マッピングエンジン３６５４は、それぞれ、センサタイプ３６０２ａ、センサタイプ３６０２ｂ、およびセンサタイプ３６０２ｃの任意の数のセンサまたはセンサデバイス３６０４ａ、３６０４ｂ、および３６０４ｃを有するものとして示された自律車両３６３０から受信されたセンサデータに基づいてマッピングデータを生成することができる。自律車両３６３０は、任意の他のセンサタイプ３６０２ｎを有する任意の数の他のセンサまたはセンサデバイス３６０４ｎを含むことができる。センサ３６０４ａ、３６０４ｂ、３６０４ｃ、および３６０４ｎは、それぞれ、センサデータ３６０７ａ、３６０７ｂ、３６０７ｃ、および３６０７ｎを生成し、その１つまたは複数は、マップデータ３６５９（例えば、２Ｄ、３Ｄ、および／または４Ｄマップデータ）を生成するためのマッピングエンジン３６５４に受信され得る。マップデータ３６５９は、マップリポジトリ３６０５ａに記憶するため、および、位置特定ならびに他の機能性を促進するために使用するために、自律車両３６３０に送信され得る。具体的には、自律車両３６３０は、通行中を含む任意の時点での自律車両の位置および／または局所的位置を決定するためにマップリポジトリ３６０５ａ内のマップデータを使用するローカライザ（図示せず）を含むことができる。
【0104】
前述のことを考慮して、マッピングエンジン３６５４の構造および／または機能性、ならびにその構成要素は、例えば、経時的なマップデータの一部における変化を検出し、自律車両３６３０が通行する物理的環境に対する変動または変化を含む更新されたマップ（すなわち、更新されたマップデータ）を生成することによって、「自己修復」マップおよびマップデータの生成を促進することができる。いくつかの実装形態において、マッピングエンジン３６５４は、自律車両の群が走行する経路および道路のネットワークに隣接する都市景観の適応三次元モデルを生成することができる。都市景観の一部の３Ｄモデルは、建物（商業用看板を含む）、樹木、ガードレール、障壁、街灯、交通標識および信号、ならびに、センサ３６０４ａ、３６０４ｂ、３６０５ｃ、および３６０４ｎによって検出され得る任意の他の物理的特徴のような、オブジェクトのファサードまたは外面を構成する表面（および、表面の形状、サイズ、テクスチャ、色などのような他の表面属性）を表すデータを識別することによって導出され得る。したがって、マッピングエンジン３６５４は、マップデータの一部に関連付けられたオブジェクト（またはオブジェクトが存在しないこと）、ならびに、オブジェクトにおける変化（例えば、色、サイズなどにおける変化）を検出するように構成され得、マップデータの更新された部分を（例えば、自動的に）適応的に形成するために、オブジェクトへの変化をマップデータに組み込むようにさらに構成され得る。したがって、マップデータの更新された部分は、数ある中で、自律車両３６３０に関する位置特定機能（ならびに、計画することなどを含む他の自律車両コントローラ機能）の精度を高めるために、マップリポジトリ３６０５ａ内に記憶され得る。
【0105】
いくつかの場合において、マッピングエンジン３６５４によって生成されたマップデータ３６５９は、自律車両３６３０内の局所的マップジェネレータ（ｌｏｃａｌ ｍａｐ ｇｅｎｅｒａｔｏｒ）（図示せず）によって生成されるような局所的に生成されたマップデータ（図示せず）と組み合わせて使用され得る。例えば、自律車両コントローラ（図示せず）は、マップリポジトリ３６０５ａ内のマップデータの１つまたは複数の部分が局所的に生成されたマップデータの１つまたは複数の部分から変化することを検出することができる。自律車両コントローラ内の論理は、物理的環境における変化（例えば、静的オブジェクトにおける追加、除去、または変化）を識別するために、マップデータ内の差異（例えば、変動データ）を分析することができる。いくつかの例において、「変動データ」という用語は、遠隔的に生成されたマップデータと局所的に生成されたマップデータとの間の差異を指す場合がある。環境の変更された部分に基づいて、自律車両コントローラは、局所化を最適化するために、マップリポジトリ３６０５ａ内のマップデータおよび局所的に生成されたマップデータの様々な比例量を実装することができる。例えば、自律車両コントローラは、自律車両３６３０の位置または局所的位置の決定を最適化するために、遠隔的に生成されたマップデータと局所的に生成されたマップデータの両方から構成される混合マップデータを生成することができる。さらに、自律車両コントローラは、変動データを検出すると、様々な量のセンサに基づくデータまたは他のデータの自律車両サービスプラットフォーム３６０１への（様々な帯域幅またはデータレートにおける）送信を引き起こすことができる。例えば、自律車両サービスプラットフォーム３６０１は、例えば、遠隔操作者からの案内を受信する重要度に基づいて、異なるデータレートにおいて異なるタイプのデータを受信することができる。別の例として、センサデータ３６０７ａ、３６０７ｂ、３６０７ｃ、および３６０７ｎのサブセットは、例えば、リアルタイムにおいて（またはほぼリアルタイムにおいて）様々な程度の更新されたマップデータを形成するためにマップデータを修正するため、ならびに、以下の（１）マップデータにおける差異を評価し特性化すること、（２）群内の他の自律車両にマップデータの更新された部分を伝播させること、（３）マップデータの差異を検出することに応答して、遠隔操作者コンピューティングデバイスへの通知を生成すること、（４）遠隔操作者コンピューティングデバイスのユーザインターフェースにおいて任意の十分な解像度で表示するために、様々なセンサデバイス３６０４ａ、３６０４ｂ、３６０４ｃ、および３６０４ｎによって感知されるような環境（およびその変化された部分）の描写を生成することのうちの１つまたは複数をさらに実行するために（例えば、適切なデータレートにおいて）送信され得る。上記で説明された例は、限定ではなく、自律車両の群を管理するための任意の他のマップに関連する機能性が、マップデータと比較して物理的環境において検出された変化を考慮してマッピングエンジン３６５４を使用して実装され得ることに留意されたい。
【0106】
いくつかの例によれば、センサタイプ３６０２ａ、センサタイプ３６０２ｂ、およびセンサタイプ３６０２ｃは、それぞれ、レーザに基づくセンサと、画像に基づくセンサと、レーダに基づくセンサとを含むことができる。そのようにして、センサ３６０４ａ、３６０４ｂ、および３６０４ｃは、それぞれ、ライダと、カメラと、レーダデバイスとを含むことができる。図３６００内に示されているように、複数のセンサデバイス（例えば、ライダ）３６０４ａは、各々、地理的位置において異なるレーザに基づいて感知されたデータ３６０７ａを生成する。例えば、各ライダ３６０４ａは、自律車両３６３０上の異なる位置において配置され得、各々は、異なって方向付けされ得る（図３Ａおよび図３Ｃ参照、その両方は、異なるビューとセンサ視野とを有する異なるライダを示す）。投射するレーザビームの指向性の性質を仮定すれば、異なるライダ３６０４ａの異なるレーザ戻りは、異なる時間において共通点（または、例えば、交通標識に関連付けられた点の共通セット）から戻る場合がある。マッピングエンジン３６５４および／または自律車両サービスプラットフォーム３６０１の構成要素は、環境内の表面からのレーザ戻りの共通点に対して、異なるライダ３６０４ａのレーザ戻りを整列させ、マッピングし、変換し、または相関させるように構成され得る。マッピングエンジン３６５４および／または自律車両サービスプラットフォーム３６０１の構成要素はまた、センサデータ３６０７ｂとセンサデータ３６０７ｃとを同様に処理することができる。
【0107】
いくつかの例において、１つまたは複数のセンサ３６０４ｎは、センサデータ３６０７ｎの様々な異なるサブセットを生成するために、様々な異なるセンサタイプ（「ｎ」）３６０２ｎを含むことができる。センサ３６０４ｎの例は、１つまたは複数の全地球測位システム（「ＧＰＳ」）データ受信機－センサ、１つまたは複数の慣性測定ユニット（「ＩＭＵ」）、１つまたは複数のオドメトリセンサ（例えば、ホイールエンコーダセンサ、ホイール速度センサ、および類似のもの）、１つまたは複数のホイール角度センサ、ならびに、自律車両の位置および姿勢データを提供する類似のもののような、測位センサを含む。そのような姿勢データは、１つまたは複数の座標（例えば、ｘ座標、ｙ座標、および／もしくはｚ座標）、ヨー値、ロール値、ピッチ値（例えば、角度値）、レート（例えば、速度）、高度、ならびに類似のものを含むことができる。
【0108】
自律車両サービスプラットフォーム３６０１内のログデータリポジトリ３６０９は、少なくとも１つの例において、それぞれ、生のライダデータと、生のカメラデータと、生のレーダデータと、他の生のセンサデータとを有する、センサデータ３６０７ａ、３６０７ｂ、３６０７ｃ、および３６０７ｎのサブセットを受信し記憶するように構成される。図３６００において示されているように、共通の時点において、または共通の時間期間中に、センサデータ３６０７ａ、３６０７ｂ、および３６０７ｃのサブセットは、データセット（「１」）３６１０ａ、データセット（「２」）３６１０ｂ、およびデータセット（「ｎ」）３６１０ｎとして、または任意の数のデータセットとして記憶または記録され得る。データセット３６１０ａ、３６１０ｂ、および３６１０ｎは、いくつかの例によれば、ログファイルのデータ構造内に記憶され得る。さらに、センサデータ３６０７ａ、３６０７ｂ、および３６０７ｃのサブセットと同時に感知され得るセンサデータ３６０７ｎも、データセット３６１０ａ、３６１０ｂ、および３６１０ｎのためのログファイルの一部として記憶され得る。
【0109】
整列コントローラ３６４０は、センサデータ３６０７ａ、３６０７ｂ、３６０７ｃ、および３６０７ｎ、ならびに他のデータ３６０３ｍのうちの１つまたは複数を受信するように構成され得る。整列コントローラ３６４０はまた、センサデータ３６０７ａ、３６０７ｂ、３６０７ｃ、および３６０７ｎの整列されたサブセットを表すデータを生成するように構成され得る。いくつかの場合において、センサデータ３６０７は、測位データを含むセンサデータ３６０７ｎのサブセットを含むことができる（例えば、センサデータ３６０７ｍは、ＧＰＳ、ＩＭＵ、およびオドメトリデータを含むことができる）。センサデータ整列に関して、センサデータの整列されたサブセットを表すデータの例は、少なくとも整列されたライダデータと整列されたカメラデータとを表すデータを含む。いくつかの例によれば、整列コントローラ３６４０は、ライダセンサデータの部分またはフレームを位置合わせし、カメラデータの部分またはフレームを位置合わせする「位置合わせ」ポイントを識別することによってセンサデータを整列させるために、位置合わせアルゴリズムを実施するように構成され得る。例えば、整列コントローラ３６４０は、１つのライダからのレーザ戻りを他のライダにマッピングまたは関連付けることができ、１つのカメラからのピクセルデータを他のカメラにマッピングまたは関連付けることができる。さらに、整列コントローラ３６４０は、測位マップデータを生成することができ、そのようなデータは、個々の姿勢（例えば、局所的位置）を指定するデータがセンサ３６０７ｎから収集された測位センサデータ（例えば、ＧＰＳデータ、ＩＭＵデータ、オドメトリデータなど）に基づいて空間的に相互に関係付けられ得る姿勢グラフモデルに基づいてデータ構造内に記憶され得る。
【0110】
マッピングエンジン３６５４は、センサデータ３６０７ａ、３６０７ｂ、３６０７ｃ、および３６０７ｎのサブセットの統合に基づいて道路のネットワークに隣接する都市景観の高精細（「ＨＤ」）三次元モデルを生成するために、上記で説明された整列されたセンサデータ（例えば、位置合わせされたセンサデータ）と測位マップデータ（例えば、姿勢グラフに関連するデータ）とを受信するように構成され得る。図３６００に示されているように、マッピングエンジン３６５４は、以下の、様々な例による、センサデータを統合するためのインテグレータ３６５１、センサデータを較正するためのキャリブレータ３６５２、マップデータの部分における変化を検出するためのデータ変化ディテクタ（ｄａｔａ ｃｈａｎｇｅ ｄｅｔｅｃｔｏｒ）３６５３、フォーマットされたマップデータを生成するためのタイルジェネレータ（ｔｉｌｅ ｇｅｎｅｒａｔｏｒ）３６５６、および、変更されたマップデータの実施態様を管理するためのデータ変更マネージャ３６５７のうちの１つまたは複数を含むことができる。
【0111】
インテグレータ３６５１は、自律車両が走行する環境の３Ｄモデルとして高解像度（例えば、比較的高い解像度）の画像データを生成するために、（例えば、同じまたは異なるセンサモダリティ）のセンサデータの複数のサブセットを統合するように構成され得、センサの個々のタイプに関連付けられた誤差を低減するようにさらに構成され得る。いくつかの例によれば、インテグレータ３６５１は、統合されたセンサデータを形成するためにセンサデータ（例えば、ライダデータ、カメラデータ、レーダデータなど）を融合するように構成される。さらに、生のセンサデータセット３６１０ａ、３６１０ｂ、および３６１０ｎは、自律車両３６３０の群からの１つまたは複数のセンサモダリティのセンサデータの１つまたは複数のサブセットの集合を融合するように、１つまたは複数の自律車両３６３０から受信され得る。生のセンサデータセット３６１０ａ、３６１０ｂ、および３６１０ｎからのデータを融合することによって、インテグレータ３６５１は、データセット（「１」）３６５５ａおよびデータセット（「２」）３６５５ｂのような融合されたセンサデータを含む３Ｄデータセットを生成することができる。インテグレータ３６５１は、レーザ戻りデータのサブセットと画像データのサブセットとを含む、少なくとも２つのタイプのセンサデータを統合するか、または他の方法で融合することができる。いくつかの例において、レーザおよび画像データの融合は、画像データのサブセットのピクセルデータをレーザ戻りデータのサブセットに相関させることを含むことができる。オプションとして、インテグレータ３６５１は、１つまたは複数のピクセルのピクセルデータを１つまたは複数のレーザ戻りに関連付けることができ、それによって、レーザデータは、三次元タイルデータ内の表面の一部に関連付けられ得る。ピクセルデータは、テクスチャ、色、反射率、透明度などを含む１つまたは複数の表面特性を指定することができる。いくつかの例によれば、インテグレータ３６５１は、カルマンフィルタリングプロセスもしくはその変形（例えば、拡張されたカルマンフィルタリングプロセス）、または、センサデータを融合する任意の他のプロセスを実施することができる。インテグレータ３６５１はまた、オブジェクト（例えば、建物、樹木、駐車された自動車など）の表面、または特徴、ならびに、センサデータが獲得され得る自律車両の姿勢に関係する表面特性を抽出または他の方法で決定するための論理を含むことができる。
【0112】
インテグレータ３６５１は、自律車両の環境内の物理的オブジェクトの表面に関連するデータを抽出するために、センサデータセット３６５５ａおよび３６５５ｂを使用するように構成され得る。データセット３６５５ａおよびデータセット３６５５ｂ、ならびに図示されていない他のものは、異なる時点または異なる時間間隔に関係する三次元モデルを表す融合されたセンサデータを含むことができる。したがって、データセット３６５５は、物理的環境またはその部分に経時的な変化があるかどうかを検出するために使用され得る。少なくともいくつかの実装形態において、インテグレータ３６５１は、自律車両の外部の１つまたは複数の表面を決定するために、符号付き距離関数（「ＳＤＦ」）のような距離変換を実施することもできることに留意されたい。一例において、丸め（truncated）符号付き距離関数（「ＴＳＤＦ」）または同等物が、基準点に関係する表面上の１つまたは複数の点（例えば、局所的位置に関係する外部オブジェクトの表面上の点までの１つまたは複数の距離）を識別するために実施され得る。
【0113】
インテグレータ３６５１は、確率マップとして都市景観（または任意の外部のオブジェクトの特徴）の３Ｄモデルを生成するように構成され得、それによって、マップデータは、１つまたは複数の環境特性にわたる確率分布を表すことができる。例えば、確率マップは、自律車両の姿勢に関係する距離または空間内の点におけるレーザ強度（例えば、平均レーザ強度または反射率）と赤外線送信（remittance）値の変動とを使用して形成され得る。マップデータを記憶するためのデータ構造は、例えば、強度平均値および分散値を含む、いくつかのセルを含むことができる。いくつかの例において、このデータ構造または任意の他のデータ構造はまた、色データ（例えば、ＲＧＢ値もしくは他の色空間値）、テクスチャデータ、反射率データ、または任意の他の表面特性もしくは属性データ（例えば、鏡面データ）のような３Ｄマップデータを記憶するためのいくつかのセルを含むことができる。マップに関係するデータを記憶するように構成されたセルは、いくつかの例によれば、ボクセルとしてまたは３Ｄタイルとして実装され得る。
【0114】
マッピングエンジン３６５４および／またはインテグレータ３６５１、ならびにマッピングエンジン３６５４の他の構成要素は、動作の「オフライン」モードにおいて３Ｄマップを生成するように構成され得る。例えば、マッピングエンジン３６５４は、マップデータを生成するために記録されたデータセット（例えば、静的データ）に基づいてデータセット３６５５を分析するアルゴリズム（例えば、深層学習アルゴリズムを含む機械学習）を実装することができる。しかしながら、マッピングエンジン３６５４は、オフラインマップ生成に限定されなくてもよく、マップデータを生成するか、またはそれに対する変更を識別するために、生のセンサデータの１つまたは複数の部分がリアルタイム（またはほぼリアルタイム）において受信され得る、「オンライン」マップ生成技法を実施することもできる。マッピングエンジン３６５４は、同時位置特定およびマッピング（「ＳＬＡＭ」）または任意の適切なマッピング技法を実行するように構成された論理を実装することができる。
【0115】
データ変更ディテクタ３６５３は、３Ｄマップデータの任意の数のデータセットの例であるデータセット３６５５ａおよび３６５５ｂにおける変化を検出するように構成される。データ変更ディテクタ３６５３はまた、変更されたマップデータの部分を識別すると共に、オプションで、マップデータの変更された部分に関連付けられたオブジェクトを識別または分類するデータを生成するように構成される。示されている例において、データセット３６５５ａを含むいくつかのデータセットは、３Ｄモデルデータ３６６０（例えば、マップデータ３６６４の部分を含む時間Ｔ１における道路）として概念的に示されたマップデータを生成するように構成されたマップデータを含む。しかしながら、時間Ｔ２において、データ変更ディテクタ３６５３は、データセット３６５５ｂを含む別の数のデータセットが３Ｄモデルデータ３６６１のマップデータ３６６５の部分内の外部オブジェクトの存在を表すデータを含むことを検出することができ、それによって、マップデータ３６６５の部分は、異なる時間におけるマップデータ３６６４の部分と一致する。したがって、データ変更ディテクタ３６５３は、マップデータにおける変更を検出することができ、変更されたマップデータを（例えば、更新されたマップデータとして）含むようにマップデータをさらに適応的に変更することができる。
【0116】
いくつかの例によれば、データ変更ディテクタ３６５３は、物理的環境における変化を検出するために１つまたは複数の統計的変更検出アルゴリズムを実行するように構成される。多重時間分析技法または他の適切なアルゴリズムも使用され得る。データセット３６５５ａおよび３６５５ｂの構造は、３Ｄマップデータ構造内に記憶されたセンサデータ（例えば、その測定値）をインデックスするための累積データ構造として実装され得る。例として、統計的変更検出アルゴリズムは、深層学習計算の１つまたは複数の反復にわたって境界を識別することによって、変更されたマップデータの部分を検出するように構成され得る。具体的には、データ変更ディテクタ３６５３は、２つ以上のデータセットにわたる（例えば、統計的変更検出アルゴリズムまたは深層学習アルゴリズムへのデータセットの適用の１つまたは複数のパスまたはエポックにわたる）ような、時間にわたってマップデータ部分３６６４および３６６５の境界を検出するように構成され得る。エポック決定はまた、例えば、４Ｄマップおよび関連する４Ｄマップデータを構築するために適用され得る。いくつかの例において、データ変更ディテクタ３６５３は、オブジェクトが静的であるか動的であるかを識別するために、マップデータの部分ならびにその中のオブジェクトを分類することができる。いくつかの場合において、動的オブジェクトがマップデータ生成から除外され得る。
【0117】
マッピングエンジン３６５４は、マップデータ３６５９を基準データリポジトリ３６０５内のマップデータリポジトリ３６０５ａに提供するように構成される。マッピングエンジン３６５４は、自律車両の群内の基準データストア（すなわち、リポジトリ）に送信するための基準データとして更新された三次元（「３Ｄ」）マップデータを形成するために、マップデータにおける変更を適用するように構成され得る。データにおける変化は、様々なタイプのセンサデータが感知される環境の状態変化を表すことができる。したがって、環境の状態変化は、その中に位置するオブジェクトの状態における変化（例えば、１つまたは複数のオブジェクトの存在または不在を表すデータの包含）を示すことができる。いくつかの例において、データ変更マネージャ３６５７は、マップデータの一部が変更されたマップデータ３６５８（またはその表示）を含むことを（例えば、識別子またはインジケータデータ３６５８を介して）識別または他の方法で指定するように構成され得る。示されているように、マップリポジトリ３６０５ａに記憶されたマップデータ３６９２は、マップデータの関連する部分が変更されたことを示す表示データ（「デルタデータ」）３６９４に関連付けられるか、またはリンクされる。示された例にさらに付け加えると、表示データ３６９４は、自律車両が走行する３Ｄモデル３６６１に関連付けられた物理的環境内に配置された交通コーンのセットを、マップデータ３６６５の変更された部分として識別することができる。
【0118】
タイルジェネレータ３６５６は、データセット３６５５ａおよび３６５５ｂからのマップデータに基づいて、二次元または三次元マップタイルを生成するように構成され得る。マップタイルは、マップリポジトリ３６０５ａ内に記憶するために送信され得る。タイルジェネレータ３６５６は、マップの一部がマップデータの更新された部分であることを示すためのインジケータデータを含むマップタイルを生成することができる。さらに、更新されたマップ部分は、自律車両内の基準データリポジトリ３６０５に組み込まれ得る。したがって、自律車両３６３０が物理的環境を通って走行し、環境内の最近追加されたオブジェクト（例えば、交通コーン）の近くを走行することを計画する例を考える。ローカライザ（図示せず）は、自律車両を位置特定するために、マップデータの変更された部分（例えば、マップデータの更新された部分）に関連付けられたマップデータにアクセスすることができる。更新されたマップバージョンによる位置特定の実行を検出すると、論理は、更新されたマップデータの使用が、自律車両３６３０を効率的かつ安全にナビゲートするために使用され得ることを確実にするために、追加の処理を実施することができる。例えば、変更されたマップデータを含むマップタイルが、位置特定中にアクセスまたは実施されるとき、遠隔操作者に対する監視または支援の要求が生成され得る。いくつかの例において、マップデータの変更された部分はまた、そのようなデータが、例えば、検証されたマップデータよりも少ない状況において使用され得るので、一時的なマップデータを指す場合もあることに留意されたい。
【0119】
しかしながら、マップデータの変更された部分はまた、マップデータへの統合のために検証され得、それによって、変更されたマップデータの状態は、「一時的」から「検証された」に移行されることに留意されたい。そのようなデータを検証することの例を例示するために、マップデータにおける変更が、更新された三次元マップデータとしてシミュレータコンピューティングデバイスにエクスポートされ得ることを考える。シミュレータコンピューティングデバイスは、次いで、更新された三次元マップデータに基づいて、シミュレートされた環境内の自律車両の群の一部の性能をシミュレートすることができる。更新された三次元マップデータを検証するとすぐに、変更されたマップ部分は、新しい三次元マップデータを形成するために組み込まれ得る。「新しい」三次元マップデータは、変更されたマップデータの表示（すなわち、変更されたマップデータ３６９４の表示）が、遠隔操作者の支援に対する要求（例えば、自動要求）の呼び出しと共に除去され得るように、信頼され得る三次元マップデータとして見られ得る。
【0120】
いくつかの例によれば、マッピングエンジン３６５４は、図３１において示されているような３Ｄマッピングエンジンおよび／もしくはマッパを含むことができ、または図３１において示されているような３Ｄマッピングエンジンおよび／もしくはマッパとして実装され得る。さらに、マッピングエンジン３６５４の構成要素は、マッピングエンジン３６５４内にまたはマッピングエンジン３６５４なしで組み合わされ得、さもなければ分散され得る。マッピングエンジン３６５４およびその構成要素のいずれかは、ハードウェアもしくはソフトウェア、またはそれらの任意の組み合わせにおいて実装され得る。さらに、マッピングエンジン３６５４は、オブジェクトの検出、セグメント化、および／または分類を実行するための知覚エンジンの１つまたは複数の構成要素を含む、本明細書において説明される任意の機能性および／または構造を含むことができる。
【0121】
さらなる例として、整列コントローラ３６４０が、図３１のマッピングエンジン３１１０の１つまたは複数の構成要素を含むことができることを考える。例えば、整列コントローラ３６４０は、ループ閉鎖ディテクタ（ｌｏｏｐ－ｃｌｏｓｕｒｅ ｄｅｔｅｃｔｏｒ）３１５０と、位置合わせコントローラ３１５２と、グローバル位置ジェネレータ（ｇｌｏｂａｌ ｐｏｓｅ ｇｅｎｅｒａｔｏｒ）３１４３と、位置合わせ精密化モジュール３１４６とを含むことができる。図３６において示された例において、自律車両サービスプラットフォーム３６０１は、図３６の自律車両３６３０が以前に走行した位置グラフの１つまたは複数の部分を検出するように構成され得る図３１のループ閉鎖ディテクタ３１５０を、整列コントローラ３６４０の一部として実装することができる（例えば、図３１のループ閉鎖ディテクタ３１５０は、閉ループを識別するための１つまたは複数のループ閉鎖プロセスを実行することができる）。位置合わせコントローラ３１５２は、同じまたは異なるセンサデータの複数の部分またはフレームを整列または位置合わせするように構成され得る。例えば、画像データの１つまたは複数のデータセットは、互いに、ならびに、レーザ戻りデータおよび／またはレーダ戻りデータの１つまたは複数のデータセットに変換または他の方法でマッピングされ得る。位置合わせコントローラ３１５２は、グローバル座標系の相対座標を識別するために、位置データを表す軌道データに基づいて、レーザ戻りデータのサブセット、画像データのサブセット、および類似のものを整列させるように構成され得る。軌道データの例は、ＧＰＳデータ、ＩＭＵデータ、オドメトリデータなどを含む。グローバル位置グラフジェネレータ（ｇｌｏｂａｌ ｐｏｓｅ ｇｒａｐｈ ｇｅｎｅｒａｔｏｒ）３１４３は、グローバル座標系に対して図３６の自律車両３６３０の位置を指定するように位置グラフデータ３１４５を生成するように構成され得る。したがって、位置グラフの局所的に検出された位置は、グローバル座標系に参照付けられ得る。例えば、図３１のグローバル位置グラフジェネレータ３１４３は、グローバル座標系に参照付けられたグローバル位置グラフを形成するように構成され得る。グローバル位置グラフは、第１のタイプのセンサデータ（例えば、レーザ戻りデータのサブセット）および第２のタイプのセンサデータ（例えば、画像データのサブセット）ならびに他のオプションのセンサデータ（例えば、レーダデータのサブセット）に基づいて形成され得る。さらに、グローバル位置グラフジェネレータ３１４３はまた、レーザ戻りデータのサブセットと画像データのサブセットとを、グローバル座標系の座標に関連する位置に整列させるように構成され得る。位置合わせ精密化モジュール３１４６は、キャプチャされた画像データ、キャプチャされたレーザ戻りデータ、または、レーダデータおよび類似のもののような他のキャプチャされたセンサデータのうちの１つまたは複数の位置合わせを精密化するように構成される。いくつかの例において、位置合わせ精密化モジュール３１４６は、例えば、３Ｄマップ化表面上への色データの投影に続いて、マップデータのアーティファクト（例えば、ぼかしアーティファクトまたは類似のもの）を低減または除去するように構成される。
【0122】
図３７は、いくつかの例による、更新されたマップデータを実装する自律車両コントローラの例を示す図である。図３７００は、三次元マップタイルとして実装され得るマップデータ３７５９を生成するように構成されたマッピングエンジン３７５４を示す。示されている例において、マップデータ３７５９はまた、変更されたマップデータの部分（例えば、マップデータの変更されていない部分と共に使用するためのマップデータの更新された部分）、もしくは変更されたマップデータの更新された部分を識別する表示（例えば、インジケータデータもしくはポインタ）のいずれか、またはその両方を含む変更されたマップデータ３７５８を含むことができる。図３７００にさらに付け加えると、自律車両サービスプラットフォーム３７０１は、ネットワーク３７０２を介して、マップデータ３７８６と変更されたマップデータ３７８８とを送信するように構成され得る。自律車両コントローラ３７４７は、自律車両３７３０を位置特定するために、マップデータ３７８６および／または変更されたマップデータ３７８８を使用する。いくつかの例において、自律車両コントローラ３７４７は、変更されたマップデータ３７８８が位置特定中にアクセスされていることを検出することができる。次に、自律車両コントローラ３７４７は、遠隔操作者に支援を要求するために、遠隔操作者要求データ３７７０を生成することができる。遠隔操作者要求データ３７７０はまた、マップデータの更新された部分がアクセスまたは実装される位置特定中に（または、自律車両３７３０がマップデータの更新された部分に関連付けられた物理的位置に近づくか、またはその近くを走行するとき）、遠隔操作者が、少なくとも自律車両３７３０の性能を監視することを要求するように構成され得る。
【0123】
いくつかの例において、マッピングエンジン３７５４によって生成されたマッピングデータは、ＲＮＤＦのようなデータのような、ルートデータ（例えば、道路ネットワークデータ）のような他の基準データと、ＭＤＦのようなデータのようなミッションデータと、自律車両の群をナビゲートするために使用され得る他の基準データとを生成するために使用され得る。示されているように、ルートデータジェネレータ（ｒｏｕｔｅ ｄａｔａ ｇｅｎｅｒａｔｏｒ）３７８０は、変更されていないマップデータおよび／または検証されたマップデータに基づいてルートデータ３７８２を生成するように構成され得る。さらに、ルートデータジェネレータ３７８０は、変更されたおよび／または検証されていないマップデータを使用して生成され得る変更されたルートデータ３７８４を生成するように構成され得る。いくつかの場合において、自律車両コントローラ３７４７は、変更されたルートデータ３７８４の使用を検出することに応答して、遠隔操作者要求データ３７７０を生成することができる。したがって、変更されたルートデータ３７８４（例えば、検証されていない、または一時的なマップデータ）は、遠隔操作者によって生成された案内データの支援を用いて、またはなしで、自律車両をナビゲートするために使用され得る。
【0124】
図３８は、いくつかの実施形態による、マップデータを生成することの例を示すフロー図である。フロー３８００は、３８０２において開始する。複数のタイプのセンサデータのサブセットが、３８０２において（例えば、ログファイルを含むことができるデータストアまたはリポジトリ内で）アクセスされる。複数のタイプのセンサデータのサブセットは、複数のセンサまたはセンサデバイスのグループに対応することができる。例えば、ライダセンサデータのサブセットは、レーザ戻りデータが受信される異なるライダセンサのグループに対応することができる。３８０４において、センサデータは、整列されたセンサデータを形成するために、グローバル座標系に対して整列され得る。例えば、位置決めプロセスまたはアルゴリズムは、センサデータを整列または位置決めするように構成され得る。３８０６において、三次元マップデータのデータセットは、整列されたセンサデータに基づいて生成され得る。３８０８において、マップデータにおける変更は、三次元マップデータの少なくとも２つのデータセットに対して検出され得る。マップデータにおける変更は、更新された三次元マップデータを形成するために、３８１０において適用され得る。３Ｄマップデータの１つまたは複数の更新された部分は、自律車両の群内の１つまたは複数の車両への送信のために、基準データとしてフォーマットされ得る。３８１２において、更新された（例えば、変更された）三次元マップデータは、少なくとも１つの自律車両に送信され得る。フロー図の各部分は、フロー図の他の部分に依存せずにまたは依存して実行され得ると同時に、フロー図の任意の１つまたは複数の他の部分と連続的にまたは同時に実行され得るので、このフロー図または本明細書における他のフロー図に示された順番は、様々な機能を線形的に実行する必要性を暗示することを意図されないことに留意されたい。
【0125】
図３９は、いくつかの例による、マップデータと局所的に生成されたマップデータとを実装するように構成されたローカライザの例を示す図である。様々な例によれば、自律車両（「ＡＶ」）コントローラ３９４７のローカライザ３９６８は、局所的に生成されたマップデータ３９４１またはマップデータ３９４３のいずれか、またはそれらの組み合わせに基づいて、局所的位置データ３９２０を生成するように構成され得る。局所的位置データ３９２０は、自律車両３９３０のローカル位置を記述するデータを含むことができ、マップデータ３９４３は、自律車両サービスプラットフォーム３９０１のマッピングエンジン３９５４において生成され得る。したがって、ローカライザ３９６８は、局所的に生成されたマップデータ３９４１とマップデータ３９４３との間の変更、偏差、または変動を考慮して位置特定を実行するためにマップデータ３９４３を使用することができる。
【0126】
図３９００は、自律車両コントローラ３９４７と、局所的マップジェネレータ３９４０と、基準データリポジトリ３９０５とを含む自律車両３９３０を示す。図３９００はまた、マッピングエンジン３９５４と、遠隔操作者コンピューティングデバイス３９０４とを含む自律車両サービスプラットフォーム３９０１を示す。基準データリポジトリ３９０５は、三次元マップデータ３９４３を記憶するように構成されたマップストア３９０５ａと、ルートデータを（例えば、ルートデータまたは道路ネットワークデータの一部が変更された道路ネットワークデータまたは更新された道路ネットワークデータに関連付けられることの表示と共に、またはなしで）記憶するためのデータリポジトリであり得るルートデータストア３９０５ｂとを含む。
【0127】
局所的マップジェネレータ３９４０は、センサタイプ３９０２ａ、３９０２ｂ、および３９０２ｃからのセンサデータのような、複数の量およびタイプのセンサデータを受信するように構成され得る。様々な例によれば、局所的マップジェネレータ３９４０は、（例えば、ライダセンサのグループ、カメラのグループ、レーダのグループなどからの）センサタイプ３９０２ａ、３９０２ｂ、および３９０２ｃからのセンサデータに基づいて、マップデータ（例えば、三次元マップデータ）をリアルタイムで（またはほぼリアルタイムで）局所的に生成するように構成され得る。局所的マップジェネレータ３９４０は、同時位置特定およびマッピング（「ＳＬＡＭ」）または任意の適切なマッピング技法を実行するように構成された論理を実装することができる。少なくともいくつかの例において、局所的マップジェネレータ３９４０は、センサタイプ３９０２ａ～３９０２ｃからの生のセンサデータの１つまたは複数の部分が、自律車両３９３０をナビゲートするためのマップデータ（またはそれに対するアイデンティティの変更）を生成するためにリアルタイム（またはほぼリアルタイム）で受信され得る、「オンライン」マップ生成技法を実施することができる。局所的マップジェネレータ３９４０はまた、自律車両の外部の表面を決定するために、符号付き距離関数（「ＳＤＦ」）のような距離変換を実施することもできる。一例において、丸め符号付き距離関数（「ＴＳＤＦ」）または同等物が、基準点に関係する表面上の１つまたは複数の点（例えば、外部オブジェクトの表面上の点までの１つまたは複数の距離）を識別するために実施され得、それによって、ＴＳＤＦ関数は、三次元局所的マップデータ３９４１を形成するために、センサデータと表面データとを融合するために使用され得る。
【0128】
ローカライザ３９６８は、三次元マップデータ３９４３（または任意の他の基準データ）に関連付けられたグローバル座標系の座標に対して自律車両３９３０を位置特定するために、センサデータ、ならびに局所的に生成されたマップデータ３９４１およびマップデータ３９４３を受信するように構成され得る。また、ローカライザ３９６８は、変動ディテクタ３９６９ａと、混合マップ選択コントローラ３９６９ｂとを含むように示されている。変動ディテクタ（ｖａｒｉａｎｔ ｄｅｔｅｃｔｏｒ）３９６９ａは、空間内の特定の表面または点に関連付けられたマップデータの部分が変化するかどうかを決定するために、局所的に生成されたマップデータ３９４１をマップデータ３９４３と比較するように構成される。具体的には、変動ディテクタ３９６９ａは、局所的マップデータ３９４１の２つまたは複数のマップ部分を表すデータ（例えば、変動データ）が三次元マップデータ３９４３から変動することを検出することができる。
【0129】
ローカライザ３９６８は、変動するマップデータ部分または変動データを検出すると、局所的に生成されたマップデータ３９４１およびマップデータ３９４３からの混合マップデータを使用して自律車両３９３０を位置特定するように構成され得る。示されている例において、混合マップ選択コントローラ３９６９ｂは、局所的に生成されたマップデータ３９４１もしくはマップデータ３９４３、またはそれらの組み合わせが位置特定のために使用され得るかどうかを制御するように構成される。いくつかの例によれば、例えば、各々の信頼性または精度を示すことができる対応する確率分布に基づいて、異なる量の局所的に生成されたマップデータ３９４１およびマップデータ３９４３が使用され得る。いくつかの例において、混合マップ選択コントローラ３９６９ｂは、変動データを形成するために、マップデータ３９４３の１つまたは複数のマップ部分と、局所的マップデータ３９４１の１つまたは複数の部分との間の差を特性化するように構成され得る。変動データに基づいて、混合マップ選択コントローラ３９６９ｂは、局所的マップデータ３９４１を使用する優先度と、マップデータ３９４３を使用する優先度とを決定するように構成され得、変動データに基づいて、ローカライザ３９６８に、第１の優先度付けされた量の局所的マップデータ３９４１と、第２の優先度付けされた量の三次元マップデータ３９４３とを使用させるようにさらに構成され得る。例として、変動ディテクタ３９６９ａが、局所的マップデータ３９４１の対応する部分から変動するマップデータ３９４３のいくつかの部分に関する変動データを検出する例を考える。局所的マップデータ３９４１が変動データのほとんどの部分についてより正確であると決定されることをさらに考える。しかしながら局所的マップデータ３９４１の少なくとも１つの部分は、マップデータ３９４３の対応する部分よりも比較的低い、正確である可能性を有する。この場合において、混合マップ選択コントローラ３９６９ｂは、（マップデータ３９４３にある程度依存して）位置特定に関して局所的マップデータ３９４１により依存することができるが、（例えば、より低い優先度を有する）局所的マップデータ３９４１の対応する部分よりも位置特定について（例えば、より高い優先度を有する）マップデータ３９４３の特定の部分により依存することもできる。
【0130】
図４０は、いくつかの例による、局所的に生成されたセンサデータおよび／またはマップデータの送信レートまたは量を変化させるように構成されたローカライザの例を示す図である。図４０００は、自律車両４０３０ａ、４０３０ｂ、４０３０ｃ、および４０３０ｎを含むいくつかの自律車両を示し、図４０００はまた、遠隔操作者４００８からのデータ信号（例えば、ユーザ入力）を受け入れる遠隔操作者コンピューティングデバイス４００６に関連して実装される、マッピングエンジン４０５４と遠隔操作者論理４００４とを含む自律車両サービスプラットフォーム４００１を示す。遠隔操作者論理４００４は、サーバコンピューティングデバイス（図示せず）または遠隔操作者コンピューティングデバイス４００６内に配置され得る。示されているように、自律車両４０３０ａは、自律車両コントローラ４０４７と、基準データリポジトリ４００５（例えば、マップデータ４０４６を記憶するためのマップストアまたはリポジトリ４００５ａと、ルートデータストアまたはリポジトリ４００５ｂとを含む）と、自律車両４０３０ａと自律車両サービスプラットフォーム４００１との間でデータを交換するように構成されたトランシーバ４０４４とを含むことができる。図４０００にさらに付け加えると、自律車両コントローラ４０７０は、異なるタイプのセンサ４００２ａ～４００２ｃからのセンサデータに基づいて局所的マップデータ４０４１を生成するように構成され得る局所的マップジェネレータ４０４０を含むことができる。自律車両コントローラ４０７０は、局所的位置データ４０２０を生成するための、変動ディテクタ４０６９ａと通信コントローラ４０６９ｂとを含むように示されているローカライザ４０６８も含むように示されている。図４０の図４０００において示されている要素は、数ある中で図３９のような１つまたは複数の他の図面に関連して記述されている、同様に名付けられている要素としての構造および／または機能を含むことができることに留意されたい。
【0131】
局所的マップデータ４０４１と（マッピングエンジン４０５４によって生成された）マップデータ４０４３との間の変動を検出することに続いて、通信コントローラ４０６９ｂは、トランシーバ４０４４、ならびに、自律車両サービスプラットフォーム４００１に送信されるデータのタイプまたは量を制御するように構成され得る。したがって、通信コントローラ４０６９ｂは、様々な例によれば、検出されたマップデータ変動を解決するために、遠隔操作論理４００４および／または遠隔操作者４００８が案内データの最適セットを選択するのに十分なデータを提供するように構成される。通信コントローラ４０６９ｂは、帯域幅を節約するために、最適なデータの量またはデータレートを提供するように構成される。通信コントローラ４０６９ｂの動作を例示するために、変動ディテクタ４０６９ａが、マップデータ４０４３と局所的マップデータ４０４１との間の比較的軽微なまたは少量の差を検出することを考える。この場合において、通信コントローラ４０６９ｂは、軽微な変更を含む環境を通って走行する際に、自律車両４０３０ａを少なくとも監視するように遠隔操作者に促すために遠隔操作者４００８に警告を提供するために、比較的少ない量のデータを送信することができる。さらに、劣化されたまたは低速度のデータ通信接続の間、より大量のデータではなく、より単純なまたはより抽象的なデータの描写が送信され得る（例えば、関連付けられたメタデータを有する境界ボックスなど）。
【0132】
別の例として、変動ディテクタ４０６９ａが、マップデータ４０４３と局所的マップデータ４０４１との間の比較的穏やかな量の差を検出することを考える。この場合において、通信コントローラ４０６９ｂは、遠隔操作者論理４００４による評価のために自律車両サービスプラットフォーム４００１に局所的マップデータ４０４１の１つまたは複数の部分を送信するために、トランシーバ４０４４の送信帯域幅を増加するように構成され得る。さらに別の例において、変動ディテクタ４０６９ａが、マップデータ４０４３と局所的マップデータ４０４１との間の比較的大きい量の差を検出することを考える。この場合において、通信コントローラ４０６９ｂは、ディスプレイ４００９上の物理的環境の視覚的提示のために、自律車両サービスプラットフォーム４００１に高解像度センサデータ４０４７の１つまたは複数の部分を送信するために、トランシーバ４０４４による送信帯域幅をさらに増加するように構成され得る。例えば、すべてのまたは実質的にすべてのライダデータは、送信され得るが、すべてのライダデータよりも少ない任意の量が送信され得る。センサに基づくデータ４００２は、遠隔操作者４００８がマップデータにおける変更を視覚的に識別することができるように、リアルタイムで（またはほぼリアルタイムで）三次元ビューを生成するために使用され得る。示されているように、最近配置された交通コーン４０１１は、変動データの原因であるとして、または、マップデータ４０４３の部分と局所的マップデータ４０４１との間の差であるとして識別される。上記で説明された実装形態は、図４０００内に示された要素の任意の数の実装形態のうちのほんの少数の例であり、そのようにして、図４０００の上記の説明は、限定であることを意図されないことに留意されたい。
【0133】
図４１は、いくつかの例による、自律車両を位置特定するために様々な量の局所的に生成されたマップデータを使用する例示的なプロセスを示すフロー図である。フロー４１００は、三次元マップデータに関連してグローバル座標系の座標に対して自律車両を位置特定することを含む４１０２において開始する。４１０４において、変動データが検出され得る。すなわち、複数のセンサタイプによって生成されたセンサデータ（例えば、ライダデータ、カメラデータなど）から変動した三次元マップデータの１つまたは複数のマップ部分を表すデータが検出され得る。一例において、混合マップデータが、局所的マップおよび三次元マップからのマップデータを使用して実装され得る。局所的マップの異なる量および三次元マップからの異なる量が、例えば、マップデータの部分の予測される精度に基づいて使用され得ることに留意されたい。別の例において、４１０６において、フロー４１００は、局所的マップおよび三次元マップから混合マップデータを実装することができ、遠隔操作者要求が４１０８において生成され得る。４１１０において、三次元マップデータと感知されたデータ（例えば、局所的マップデータを生成するために使用されるデータ）との間の差が特性化され得、特性に基づいて、センサに関連するデータ（例えば、生のセンサデータ、局所的マップデータなど）を自律車両サービスプラットフォームに送信するレートは、４１１２において調整され得る。４１１４において、自律車両が遠隔操作者コンピューティングデバイスのディスプレイ上にイベントを描画するためにデータを取得する環境の三次元表現が生成される。したがって、マップデータと局所的に生成されたマップデータとの間の差を引き起こすオブジェクトの追加または不在は、遠隔操作者に視覚的に提示され得る。
【0134】
図４２～図４３は、様々な実施形態による、自律車両サービスの構成要素に、様々なマッピングに関連する機能性を提供するように構成された様々なコンピューティングプラットフォームの例を示す。いくつかの例において、コンピューティングプラットフォーム３３００は、上記で説明された技法を実行するために、コンピュータプログラム、アプリケーション、方法、プロセス、アルゴリズム、または他のソフトウェアを実施するために使用され得る。図３３の様々な構造および／または機能性は、図４２および図４３に適用可能であり、そのため、それらの図面におけるいくつかの要素は、図３３の文脈において論じられ得ることに留意されたい。図４２の図４２００および図４３の図４３００において示された要素は、数ある中で図３３～図３５のような１つまたは複数の他の図面に関連して記述されている、同様に名付けられている要素としての構造および／または機能を含むことができることにさらに留意されたい。
【0135】
図４２において示された例を参照すると、システムメモリ３３０６は、自律車両サービスプラットフォームモジュール４２５０および／またはその構成要素（例えば、マッピングエンジンモジュール４２５２など）を含み、そのいずれか、またはその１つもしくは複数の部分は、本明細書で説明された１つまたは複数の機能を実装することによって自律車両サービスのためのナビゲーションを促進するように構成され得る。
【0136】
図４３において示された例を参照すると、システムメモリ３３０６は、自律車両（「ＡＶ」）モジュール４３５０および／またはその構成要素（例えば、局所的マップジェネレータモジュール４３５２、混合マップ選択制御モジュール４３５４、通信制御モジュール４３５６など）を含み、例えば、自律車両４３９１内に実装され得る。いくつかの場合において、システムメモリ３３０６またはその一部は、モバイルコンピューティングデバイス４３９０ａ内に配置され得る。モジュール４３５０の１つまたは複数の部分は、本明細書に記載された１つまたは複数の機能を実装することによって、自律車両サービスのナビゲーションを促進するように構成され得る。
【0137】
上記の例は、理解の明瞭性の目的のためにいくらか詳細に記述されているが、上述されている本発明の技法は、提供されている詳細には限定されない。上述されている本発明の技法を実施する多くの代替的な方法がある。開示されている例は、例示であり、限定ではない。
【図1】
【図2】
【図3A】
【図3B】
【図3C】
【図3D】
【図3E】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26A】
【図26B】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【図38】
【図39】
【図40】
【図41】
【図42】
【図43】