IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ズークス インコーポレイテッドの特許一覧

特開2022-137160遠隔操作および/またはプランナ決定を最適化するための機械学習システムおよび技法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022137160
(43)【公開日】2022-09-21
(54)【発明の名称】遠隔操作および/またはプランナ決定を最適化するための機械学習システムおよび技法
(51)【国際特許分類】
   G08G 1/16 20060101AFI20220913BHJP
   G08G 1/00 20060101ALI20220913BHJP
   G08G 1/01 20060101ALI20220913BHJP
   G08G 1/09 20060101ALI20220913BHJP
   G08G 1/13 20060101ALI20220913BHJP
   B60W 30/08 20120101ALI20220913BHJP
【FI】
G08G1/16 A
G08G1/00 D
G08G1/00 X
G08G1/01 A
G08G1/09 F
G08G1/09 V
G08G1/13
B60W30/08
【審査請求】有
【請求項の数】20
【出願形態】OL
(21)【出願番号】P 2022109841
(22)【出願日】2022-07-07
(62)【分割の表示】P 2018543271の分割
【原出願日】2016-11-03
(31)【優先権主張番号】14/932,963
(32)【優先日】2015-11-04
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】14/933,602
(32)【優先日】2015-11-05
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】14/932,959
(32)【優先日】2015-11-04
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】14/932,966
(32)【優先日】2015-11-04
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】14/932,940
(32)【優先日】2015-11-04
(33)【優先権主張国・地域又は機関】US
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.QRコード
2.ZIGBEE
(71)【出願人】
【識別番号】518156417
【氏名又は名称】ズークス インコーポレイテッド
(74)【代理人】
【識別番号】110001243
【氏名又は名称】弁理士法人谷・阿部特許事務所
(72)【発明者】
【氏名】ジェシー ソル レヴィンソン
(72)【発明者】
【氏名】ガブリエル サーストン シブリー
(72)【発明者】
【氏名】アシュトシュ ガジャーネン レゲ
(57)【要約】
【課題】イベントに応答した最適な方策を予測するイベント検出を実施するための解決策を提供する。
【解決手段】システム、装置またはプロセスは、準最適な自律車両の性能および/または検出されるセンサデータの変化に基づいて着手するための、自律車両システムの最適な方策を予測するために、人工知能および/または機械学習技法を適用するアプリケーションを実施するように構成されることができる。アプリケーションは、イベントまたは条件に起因する異常を解決するときに、いくつかの決定および相互作用に基づいて軌道のサブセットを判定することができる。アプリケーションは、複数の自律車両からの集計されたセンサデータを使用して、走行に影響を与える可能性があるイベントまたは条件を識別するのを支援することができる。意味変化に応答した推奨に基づいて、軌道の最適なサブセットが形成されることができる。
【選択図】図36
【特許請求の範囲】
【請求項1】
自律車両からセンサデータを受信することと、
前記センサデータの少なくとも1つに少なくとも部分的に基づいて、前記自律車両が通り抜けた環境の領域におけるイベントを決定することであって、前記イベントはイベントデータに関連付けられる、ことと、
前記イベントに関連付けられたテレオペレータ相互作用を受信することであって、前記テレオペレータ相互作用は、前記自律車両に送信される通信に関連付けられ、前記自律車両にアクションを実施させるように構成される、ことと、
前記テレオペレータ相互作用および前記イベントに少なくとも部分的に基づいて、機械学習(ML)モデルを訓練して、前記センサデータまたは前記イベントデータの少なくとも1つに少なくとも部分的に基づいて推奨のアクションを出力することと
を備えることを特徴とする方法。
【請求項2】
前記自律車両または追加車両の少なくとも1つから、追加のセンサデータを受信することと、
前記追加のセンサデータに少なくとも部分的に基づいて、追加イベントを決定することであって、前記追加イベントは、追加イベントのデータを含む、ことと、
前記MLモデルによって、および、前記追加のセンサデータまたは前記追加イベントのデータの少なくとも1つに少なくとも部分的に基づいて、第1の推奨のアクションを決定することと、
前記第1の推奨のアクションに、ディスプレイを介して表示されることをもたらすことと
をさらに備えることを特徴とする請求項1に記載の方法。
【請求項3】
マップデータ、前記追加のセンサデータ、または前記追加イベントのうちの少なくとも1つに少なくとも部分的に基づいて、車両において前記第1の推奨のアクションを実施することの結果をシミュレートすることと、
前記結果に少なくとも部分的に基づいて、警告または確認に、前記ディスプレイを介して表示されることをもたらすことと
をさらに備えることを特徴とする請求項2に記載の方法。
【請求項4】
シミュレーションに少なくとも部分的に基づいて第2の推奨のアクションを決定することをさらに備えることを特徴とする請求項2に記載の方法。
【請求項5】
前記第1の推奨のアクションまたは前記第2の推奨のアクションの少なくとも1つに、前記ディスプレイを介して表示されることをもたらすことをさらに備えることを特徴とする請求項4に記載の方法。
【請求項6】
前記推奨のアクションは、候補軌道、候補経路、経路もしくは軌道の決定から含むもしくは除外する領域、規則に対する修正、または、追加もしくは代替のイベントの識別を含むことを特徴とする請求項1に記載の方法。
【請求項7】
システムであって、
1つまたは複数のプロセッサと、
前記1つまたは複数のプロセッサによって実行されると、前記システムに、
自律車両からセンサデータを受信することと、
前記センサデータの少なくとも1つに少なくとも部分的に基づいて、環境の領域におけるイベントを決定することと、
前記イベントに関連付けられたテレオペレータ相互作用を受信することであって、前記テレオペレータ相互作用は、前記自律車両に送信される通信に関連付けられる、ことと、
前記テレオペレータ相互作用および前記イベントに少なくとも部分的に基づいて、機械学習(ML)モデルを訓練して、推奨のアクションを出力することと
を含む動作を実施させるプロセッサ実行可能な命令を格納しているメモリと
を備えたことを特徴とするシステム。
【請求項8】
前記動作は、
前記自律車両または追加車両の少なくとも1つから、追加のセンサデータを受信することと、
前記追加のセンサデータに少なくとも部分的に基づいて、追加イベントを決定することと、
前記MLモデルによって、および、前記追加のセンサデータまたは追加イベントに関連付けられた前記追加イベントのデータの少なくとも1つに少なくとも部分的に基づいて、第1の推奨のアクションを決定することと、
前記第1の推奨のアクションに、ディスプレイを介して表示されることをもたらすことと
をさらに含むことを特徴とする請求項7に記載のシステム。
【請求項9】
前記動作は、前記推奨のアクションに関連付けられた信頼水準を決定することをさらに含むことを特徴とする請求項8に記載のシステム。
【請求項10】
前記動作は、
マップデータ、前記追加のセンサデータ、または前記追加イベントのデータの少なくとも1つに少なくとも部分的に基づいて、前記推奨のアクションに従って前記自律車両または追加自律車両を制御することの結果をシミュレートすることと、
前記結果に少なくとも部分的に基づいて、警告または確認に、ディスプレイを介して表示されることをもたらすことと
をさらに含むことを特徴とする請求項8に記載のシステム。
【請求項11】
前記イベントデータ、および前記追加イベントのデータは、少なくとも1つの一致する属性を含むことを特徴とする請求項8に記載のシステム。
【請求項12】
前記動作は、
シミュレーションに少なくとも部分的に基づいて追加の推奨のアクションを決定することと、
前記第1の推奨のアクションまたは前記追加の推奨のアクションの少なくとも1つに、前記ディスプレイを介して表示されることをもたらすことと
をさらに含むことを特徴とする請求項8に記載のシステム。
【請求項13】
前記推奨のアクションは、候補軌道、候補経路、経路もしくは軌道の決定から含むもしくは除外する領域、規則に対する修正、または、追加もしくは代替のイベントの識別のうちの少なくとも1つを含むことを特徴とする請求項7に記載のシステム。
【請求項14】
1つまたは複数のプロセッサによって実行されると、前記1つまたは複数のプロセッサに、
自律車両に関連付けられたセンサデータを受信することと、
前記センサデータの少なくとも1つに少なくとも部分的に基づいて、環境の領域におけるイベントを決定することであって、前記イベントはイベントデータに関連付けられる、ことと、
前記イベントに関連付けられたテレオペレータ相互作用を受信することと、
前記テレオペレータ相互作用および前記イベントに少なくとも部分的に基づいて、機械学習(ML)モデルを訓練して、前記センサデータまたは前記イベントデータの少なくとも1つに少なくとも部分的に基づいて推奨のアクションを出力することと
を含む動作を実施させるプロセッサ実行可能な命令を含むことを特徴とする非一時的なコンピュータ可読媒体。
【請求項15】
前記動作は、
前記自律車両または追加車両の少なくとも1つから、追加のセンサデータを受信することと、
前記追加のセンサデータに少なくとも部分的に基づいて、追加イベントのデータに関連付けられた追加イベントを決定することと、
前記MLモデルによって、および、前記追加のセンサデータまたは前記追加イベントのデータの少なくとも1つに少なくとも部分的に基づいて、第1の推奨のアクションを決定することと、
前記第1の推奨のアクションに、ディスプレイを介して表示されることをもたらすことと
をさらに含むことを特徴とする請求項14に記載の非一時的なコンピュータ可読媒体。
【請求項16】
前記動作は、前記第1の推奨のアクションに関連付けられた信頼水準を決定し、前記信頼水準に、前記ディスプレイを介して表示されることをもたらすことをさらに含むことを特徴とする請求項15に記載の非一時的なコンピュータ可読媒体。
【請求項17】
前記動作は、
マップデータ、前記追加のセンサデータ、または前記追加イベントのデータの少なくとも1つに少なくとも部分的に基づいて、前記第1の推奨のアクションに従って前記自律車両または前記追加車両の少なくとも1つを制御することの結果をシミュレートすることと、
前記結果に少なくとも部分的に基づいて、警告または確認に、前記ディスプレイを介して表示されることをもたらすことと
をさらに含むことを特徴とする請求項15に記載の非一時的なコンピュータ可読媒体。
【請求項18】
前記イベントデータ、および前記追加イベントのデータは、少なくとも1つの一致する属性を含むことを特徴とする請求項15に記載の非一時的なコンピュータ可読媒体。
【請求項19】
前記動作は、
シミュレーションに少なくとも部分的に基づいて第2の推奨のアクションを決定することと、
前記第1の推奨のアクションまたは前記第2の推奨のアクションの少なくとも1つに、前記ディスプレイを介して表示されることをもたらすことと
をさらに含むことを特徴とする請求項15に記載の非一時的なコンピュータ可読媒体。
【請求項20】
前記推奨のアクションは、従う前記自律車両に対する候補軌道もしくは候補経路、経路もしくは軌道の決定から含むもしくは除外する領域、規則に対する修正、または、追加もしくは代替のイベントの識別を含むことを特徴とする請求項14に記載の非一時的なコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
(関連出願の相互参照)
本PCT国際出願は、2015年11月5日に出願された「Machine-Learning Systems and Techniques to Optimize Teleoperation and/or Planner Decisions」と題する米国出願第14/933,602号、2015年11月4日に出願された「Autonomous Vehicle Fleet Service And System」と題する米国特許出願第14/932,959号、2015年11月4日に出願された「Adaptive Mapping To Navigate Autonomous Vehicles Responsive To Physical Environment Changes」と題する米国特許出願第14/932,963号、2015年11月4日に出願された「Teleoperation System And Method For Trajectory Modification Of Autonomous Vehicles」と題する米国特許出願第14/932,966号、および2015年11月4日に出願された「Automated Extraction of Semantic Information to Enhance Incremental Mapping Modifications for Robotic Vehicles」と題する米国特許出願第14/932,940号の継続出願であり、これらのすべては、あらゆる目的のためにそれらの全体が参照により本明細書に組み込まれる。
【0002】
様々な実施形態は、一般的に、自律車両、および、自律車両における自動化された決定選択および実行を提供するための関連付けられる機械的、電気的および電子的ハードウェア、コンピュータソフトウェアおよびシステム、ならびに、有線およびワイヤレスネットワーク通信に関係する。
【背景技術】
【0003】
自律車両がナビゲートする任務を課され得る環境は、(例えば、歩行者による)使用のパターン、道路インフラストラクチャ(例えば、交通標識、交通信号灯、路面標識など)、道路条件(例えば、道路工事、車線封鎖、穴、路面上の障害物など)の変化に起因して経時的に変化する可能性がある。車線封鎖、穴などのような道路条件の変化は、自律車両が、初期の案内される経路を修正された案内される経路へと変更するために適切な措置をとることを必要とし得る。しかしながら、変更を実施する必要を生じさせ得るイベントの検出は、自律車両が、新たに検出されるイベントに基づいてとるべき方策を予測するように構成されていない場合には、有効でない場合がある。そのうえ、イベントと関連付けられる情報およびイベントに応答して自律車両によってとられる応答は、情報および/または応答が他の自律車両に広められない限り、同じく同様のイベントに遭遇し得る他の車両に利さない場合がある。
【0004】
したがって、必要とされているものは、従来の技法の制限なしに、イベントに応答した最適な方策を予測するイベント検出を実施するための解決策である。
【図面の簡単な説明】
【0005】
本発明の様々な実施形態または例(「例」)が、以下の詳細な説明および添付の図面において開示される。
【0006】
図1】いくつかの実施形態による、自律車両サービスプラットフォームに通信可能にネットワーク接続されている自律車両の群の実施を示す図である。
図2】いくつかの実施形態による、自律車両の群を監視するためのフロー図の例である。
図3A】いくつかの例による、センサおよび他の自律車両構成要素の例を示す図である。
図3B】いくつかの例による、センサフィールド冗長性およびセンサフィールドの喪失に対する自律車両の適合の例を示す図である。
図3C】いくつかの例による、センサフィールド冗長性およびセンサフィールドの喪失に対する自律車両の適合の例を示す図である。
図3D】いくつかの例による、センサフィールド冗長性およびセンサフィールドの喪失に対する自律車両の適合の例を示す図である。
図3E】いくつかの例による、センサフィールド冗長性およびセンサフィールドの喪失に対する自律車両の適合の例を示す図である。
図4】いくつかの例による、通信レイヤを介して自律車両コントローラに通信可能に結合されている自律車両サービスプラットフォームを含むシステムを示す機能ブロック図である。
図5】いくつかの実施形態による、自律車両を制御するためのフロー図の例である。
図6】いくつかの実施形態による、自律車両コントローラのアーキテクチャの例を示す図である。
図7】いくつかの実施形態による、自律車両の群との信頼可能な通信を維持するために冗長な通信チャネルを実施する自律車両サービスプラットフォームの例を示す図である。
図8】いくつかの実施形態による、様々なアプリケーションの間でデータを交換するように構成されているメッセージングアプリケーションの例を示す図である。
図9】いくつかの例による、図8に記述されている通信プロトコルを使用した遠隔操作を促進するためのデータのタイプを示す図である。
図10】いくつかの実施形態による、テレオペレータが経路プランニングに影響を与えることができるテレオペレータインターフェースの例を示す図である。
図11】いくつかの例による、遠隔操作を呼び出すように構成されているプランナ(planner)の例を示す図である。
図12】いくつかの実施形態による、自律車両を制御するように構成されているフロー図の例である。
図13】いくつかの例による、プランナが軌道を生成することができる例を示す図である。
図14】いくつかの実施形態による、自律車両サービスプラットフォームの別の例を示す図である。
図15】いくつかの実施形態による、自律車両を制御するためのフロー図の例である。
図16】いくつかの例による、群最適化マネージャ(fleet optimization manager)を実施する自律車両群マネージャ(autonomous vehicle fleet manager)の例の図である。
図17】いくつかの実施形態による、自律車両の群を管理するためのフロー図の例である。
図18】いくつかの実施形態による、自律車両通信リンクマネージャを実施する自律車両群マネージャを示す図である。
図19】いくつかの実施形態による、イベント中の自律車両に対するアクションを決定するためのフロー図の例である。
図20】いくつかの実施形態による、ローカライザの例を示す図である。
図21】いくつかの実施形態による、集積センサデータに基づいて局所的位置(local pose)データを生成するためのフロー図の例である。
図22】いくつかの実施形態による、ローカライザの別の例を示す図である。
図23】いくつかの実施形態による、知覚エンジンの例を示す図である。
図24】いくつかの実施形態による、知覚エンジンデータを生成するためのフロー図の例である。
図25】いくつかの実施形態による、セグメンテーションプロセッサ(segmentation processor)の例を示す図である。
図26A】様々な実施形態による、オブジェクトトラッカ(object tracker)およびクラシファイヤ(classifier)の例を示す図である。
図26B】少なくともいくつかの例による、オブジェクトトラッカの別の例を示す図である。
図27】いくつかの例による、知覚エンジンのフロントエンドプロセッサの例の図である。
図28】様々な実施形態による、合成環境において自律車両をシミュレートするように構成されているシミュレータを示す図である。
図29】いくつかの実施形態による、自律車両の様々な態様をシミュレートするためのフロー図の例である。
図30】いくつかの実施形態による、マップデータを生成するためのフロー図の例である。
図31】いくつかの実施形態による、マッピングエンジンのアーキテクチャを示す図である。
図32】いくつかの実施形態による、自律車両アプリケーションを示す図である。
図33】様々な実施形態による、自律車両サービスの構成要素に様々な機能を提供するように構成されている様々なコンピューティングプラットフォームの例を示す図である。
図34】様々な実施形態による、自律車両サービスの構成要素に様々な機能を提供するように構成されている様々なコンピューティングプラットフォームの例を示す図である。
図35】様々な実施形態による、自律車両サービスの構成要素に様々な機能を提供するように構成されている様々なコンピューティングプラットフォームの例を示す図である。
図36】様々な例による、自律車両の群内の1つまたは複数の自律車両に、更新されたポリシデータを提供するように構成されているポリシエクスプローラ(policy explorer)の実施態様を示す図である。
図37】様々な例による、更新されたポリシデータを生成するためのフロー図の例である。
図38】様々な例による、シミュレータ内のポリシエクスプローラの実施態様を示す図である。
図39】様々な例による、テレオペレータ内のポリシエクスプローラの実施態様を示す図である。
【0007】
上述されている図面は、本発明の様々な例を示しているが、本発明は、示されている例によって限定されない。図面において、同様の参照符号は同様の構造要素を指定することは理解されたい。また、図面は必ずしも原寸比例とは限らないことも理解されたい。
【発明を実施するための形態】
【0008】
様々な実施形態または例は、システム、プロセス、装置、ユーザインターフェース、コンピュータ可読記憶媒体または光、電子、もしくはワイヤレス通信リンクを介してプログラム命令が送信されるコンピュータネットワークのようなコンピュータ可読媒体上の一連のプログラム命令としてを含む、いくつかの方法で実施されてもよい。一般に、開示されているプロセスの動作は、特許請求の範囲において別途提供されない限り、任意の順序で実施されてもよい。
【0009】
1つまたは複数の例の詳細な説明が、添付の図面とともに下記に提供される。詳細な説明は、そのような例と関連して提供されるが、いかなる特定の例にも限定されない。その範囲は、特許請求の範囲、ならびにいくつかのその代替形態、修正形態、および均等物によってのみ限定される。完全な理解を提供するために、以下の説明において、いくつかの特定の詳細が記載されている。これらの詳細は、例の目的のために提供されており、記述されている技法は、これらの特定の詳細のいくつかまたはすべてなしに、特許請求の範囲に従って実践されることができる。明瞭化のために、例に関係付けられる技術分野において知られている技術的資料は、説明を不必要に曖昧にすることを回避するために、詳細には記述されていない。
【0010】
図1は、いくつかの実施形態による、自律車両サービスプラットフォームに通信可能にネットワーク接続されている自律車両の群の実施を示す図である。図の100は、サービスとして動作している自律車両の群109(例えば、自律車両109a~109eのうちの1つまたは複数)を示し、各自律車両109は、道路網110を自動運転し、自律車両サービスプラットフォーム101との通信リンク192を確立するように構成されている。自律車両の群109がサービスを構成する例において、ユーザ102は、自律輸送手段を求める要求103を、1つまたは複数のネットワーク106を介して自律車両サービスプラットフォーム101に送信することができる。応答して、自律車両サービスプラットフォーム101は、ユーザ102を地理的ロケーション119から地理的ロケーション111へと自律的に輸送するために、自律車両109の1つを派遣することができる。自律車両サービスプラットフォーム101は、ステーション190から地理的ロケーション119へと自律車両を派遣してもよく、または、ユーザ102の輸送要求にサービスするために、すでに移動中の(例えば、乗員なしで)自律車両109cを転用してもよい。自律車両サービスプラットフォーム101は、(例えば、搭乗者としての)ユーザ102からの要求に応答して、搭乗者を乗せて移動中の自律車両109cを転用するようにさらに構成されてもよい。加えて、自律車両サービスプラットフォーム101は、既存の搭乗者が下車した後にユーザ102の要求にサービスするために転用するために、搭乗者を乗せて移動中の自律車両109cを確保するように構成されてもよい。複数の自律車両サービスプラットフォーム101(図示せず)および1つまたは複数のステーション190が、道路網110に関連して1つまたは複数の自律車両109をサービスするために実施されてもよい。1つまたは複数のステーション190は、自律車両109の在庫を格納、サービス、管理、および/または維持するように構成されてもよい(例えばステーション190は、自律車両サービスプラットフォーム101を実施する1つまたは複数のコンピューティングデバイスを含んでもよい)。
【0011】
いくつかの例によれば、自律車両109a~109eのうちの少なくともいくつかは、双方向性自律車両(「AV」)130のような双方向性自律車両として構成される。双方向性自律車両130は、限定ではないが、主に長手方向軸131に沿っていずれかの方向に走行するように構成されてもよい。したがって、双方向性自律車両130は、隣接した周辺の他者(例えば、他の運転者、歩行者、自転車利用者など)、および、双方向性自律車両130が走行している方向を警告するために、車両の外部のアクティブな照明を実施するように構成されてもよい。例えば、アクティブ光源136が、第1の方向に走行しているときはアクティブライト(active light)138aとして実施されてもよく、または、第2の方向に走行しているときはアクティブライト138bとして実施されてもよい。アクティブライト138aは、任意選択のアニメーション(例えば、可変強度の光の光パターンまたは経時的に変化し得る色)を伴う、1つまたは複数の色からなる第1のサブセットを使用して実施されてもよい。同様に、アクティブライト138bは、1つまたは複数の色からなる第2のサブセット、および、アクティブライト138aのものとは異なってもよい光パターンを使用して実施されてもよい。例えば、アクティブライト138aは、「ヘッドライト」としての白色光を使用して実施されてもよく、一方、アクティブライト138bは、「テールライト」としての赤色光を使用して実施されてもよい。アクティブライト138aおよび138b、またはその部分は、(例えば、黄色光を使用して)「ターンシグナル表示」機能を提供することのような、他の光関連機能を提供するように構成されてもよい。様々な例によれば、自律車両130内の論理は、任意の数の管轄に関する様々な安全性要件および交通規制または法律に準拠するように、アクティブライト138aおよび138bを適応させるように構成されてもよい。
【0012】
いくつかの実施形態において、双方向性自律車両130は、四半部194のような各四半部内に、同様の構造的要素および構成要素を有するように構成されてもよい。四半部は、少なくともこの例においては、両方とも、平面132および134の各側に2つの同様の半部を形成するのに車両を通過する平面132および134の交差によって規定される双方向性自律車両130の部分として示されている。さらに、双方向性自律車両130は、他の機能の中でも運転制御(例えば、推進、ステアリングなど)およびアクティブ光源136を含む主要ないくつかの車両機能を制御するように構成されている論理(例えば、ハードウェアもしくはソフトウェア、またはそれらの組み合わせ)を含む自律車両コントローラ147を含むことができる。双方向性自律車両130はまた、車両上の様々なロケーションに配置されているいくつかのセンサ139をも含む(他のセンサは図示されていない)。
【0013】
自律車両コントローラ147は、自律車両109の局所店位置(例えば、ローカル場所)を決定し、車両に対する外部オブジェクトを検出するようにさらに構成されてもよい。例えば、双方向性自律車両130が、道路網110内で方向199に走行していると考える。自律車両コントローラ147のローカライザ(図示せず)が、地理的ロケーション111における局所的位置を決定することができる。そのため、ローカライザは、建造物115および117の表面と関連付けられるセンサデータのような、取得されるセンサデータを使用することができ、これは、局所的位置を決定するために、マップデータ(例えば、反射データを含む3Dマップデータ)のような基準データに対して比較されることができる。さらに、自律車両コントローラ147の知覚エンジン(図示せず)が、外部オブジェクト112(「樹木」)および外部オブジェクト114(「歩行者」)のような外部オブジェクトの挙動を検出、分類、および予測するように構成されてもよい。そのような外部オブジェクトの分類は、外部オブジェクト112のような静的オブジェクト、および、外部オブジェクト114のような動的オブジェクトとして、オブジェクトを広範に分類することができる。ローカライザおよび知覚エンジン、ならびにAVコントローラ147の他の構成要素は、協働して、自律車両109に自律的に運転させる。
【0014】
いくつかの例によれば、自律車両サービスプラットフォーム101は、自律車両109が遠隔操作を要求する場合に、テレオペレータサービスを提供するように構成されている。例えば、自律車両109d内の自律車両コントローラ147が、挿入図120に示されているように、ポイント191において道路122上の経路124を閉塞しているオブジェクト126を検出すると考える。自律車両コントローラ147が、車両109dが相対的に高い確実度で安全に移動することができる経路または軌道を確定することができない場合、自律車両コントローラ147は、遠隔操作サービスを求める要求メッセージ105を送信することができる。応答して、テレオペレータコンピューティングデバイス104が、障害物126を首尾よく(かつ安全に)切り抜けるための方策を実施するための命令を、テレオペレータ108から受信することができる。その後、車両に、例えば、代替の経路121に沿って移動するときに二重線のセットを安全にまたがせるために、自律車両109dに応答データ107が返信され得る。いくつかの例において、テレオペレータコンピューティングデバイス104は、経路のプランニングから除外するために、地理的領域を識別する応答を生成することができる。特に、追従するための経路を提供するのではなく、テレオペレータ108は、自律車両が回避すべき領域またはロケーションを規定することができる。
【0015】
上記を考慮して、自律車両130および/または自律車両コントローラ147、ならびにそれらの構成要素の構造および/または機能は、自律車両109が自動運転することを可能にするために、位置特定および知覚のような自律関連動作を通じてリアルタイム(またはほぼリアルタイム)の軌道計算を実施することができる。
【0016】
いくつかの事例において、双方向性自律車両130の双方向性は、互いに同様または実質的に同様である四半部194(または任意の他の数の対称な部分)を有する車両を提供する。そのような対称性は、設計の複雑度を低減し、相対的に、固有の構成要素または構造の数を低減し、それによって、在庫および製造の複雑度を低減する。例えば、駆動系およびホイールシステムは、四半部194のいずれに配置されてもよい。さらに、自律車両コントローラ147は、そうでなければ乗員の安全性に影響を与える可能性があるイベントまたは課題を解決しながら、自律車両109が移動中に遅延される可能性を低減するために、遠隔操作サービスを呼び出すように構成されている。いくつかの事例において、道路網110の可視部分は、自律車両109の図1に示す道路網に対する動きを限定または他の様態で制御することができる地理上のフェンス領域(geo-fenced region)を示す。様々な例によれば、自律車両109、およびその群は、共有されている車両の効率を提供しながら、ポイント間の人の移動の簡便性およびプライバシーを伴って需要に応じた輸送手段を提供することができるレベル4(「完全自動運転」またはL4)車両として動作するように構成可能であり得る。いくつかの例において、自律車両109、または、本明細書において記述されている任意の自律車両は、ステアリングホイール、または、自律車両109の手動(すなわち、人間によって制御される)ステアリングを提供する任意の他の機械的手段を省略するように構成されてもよい。さらに、自律車両109、または、本明細書において記述されている任意の自律車両は、座席、または、車両内で乗員がステアリングホイールに携わるために確保されているロケーションを省略するように構成されてもよい。
【0017】
図2は、いくつかの実施形態による、自律車両の群を監視するためのフロー図の例である。202において、フロー200は、自律車両の群が監視されるときに開始する。少なくとも1つの自律車両が、車両に、第1の地理的領域から第2の地理的領域へと自律的に移動させるように構成されている自律車両コントローラを含む。204において、車両の計算されている信頼水準と関連付けられるイベントを表すデータが検出される。イベントは、自律車両の動作に影響を与えるか、または、動作に影響を与える可能性がある条件または状況であり得る。イベントは、自律車両の内部または外部であってもよい。例えば、道路を閉塞している障害物、および、通信の低減または喪失が、イベントとして見られ得る。イベントは、交通条件または渋滞、および、知覚エンジンによって知覚される、予想外のまたは異常な数またはタイプの外部オブジェクト(またはトラック(track))を含み得る。イベントは、天候関連条件(例えば、氷または雨に起因する摩擦の喪失)、または、他の車両の人間の運転者の目に明るく陽が差すようにする水平線に対する低い角度のような、陽が差している角度(例えば、日没時)を含み得る。これらのおよび他の条件は、テレオペレータサービスの呼び出しを引き起こすか、または、車両に安全停止軌道を実行させるイベントとして見られ得る。
【0018】
206において、候補軌道のサブセットを表すデータが、イベントの検出に応答して自律車両から受信され得る。例えば、自律車両コントローラのプランナが、1秒のような単位時間あたりに多数の軌道(例えば、数千以上)を計算および評価することができる。いくつかの実施形態において、候補軌道は、自律車両がイベントを考慮して(例えば、テレオペレータによって提供される代替の経路を使用して)安全に前進することができる相対的により高い信頼水準を提供する軌道のサブセットである。いくつかの候補軌道は、他の候補軌道よりも高くランク付けされ、または、他の候補軌道よりも高い信頼度と関連付けられ得ることに留意されたい。いくつかの例によれば、候補軌道のサブセットは、プランナ、テレオペレータコンピューティングデバイス(例えば、テレオペレータが、おおよその経路(approximate path)を決定および提供することができる)などのような任意の数のソースに由来することができ、または、候補軌道のサブセットとして組み合わされることができる。208において、経路案内データが、1つまたは複数のプロセッサにおいて識別され得る。経路案内データは、テレオペレータが、候補軌道のうちの1つまたは複数から案内される軌道を選択するのを補助するように構成されてもよい。いくつかの事例において、経路案内データは、特定の候補軌道が、イベントが自律車両の動作に影響を与え得る可能性を低減または無視することができる確実度を示す信頼水準または確率を示す値を指定する。選択される候補軌道としての案内される軌道は、210において、テレオペレータからの入力(例えば、テレオペレータは、別様にランク付けされている候補軌道のグループから少なくとも1つの候補軌道を、案内される軌道として選択することができる)に応答して受信され得る。選択は、いくつかの候補軌道を、例えば、最も高い信頼水準から最も低い信頼水準への順序においてリスト化している操作者インターフェースを介して行われてもよい。212において、案内される軌道としての候補軌道の選択が、車両に送信され得、これは、車両に、テレオペレータによって指定される操作を実施させることによって、条件を解決するための案内される軌道を実施する。そのため、自律車両は、非規範的動作状態から移行することができる。
【0019】
図3Aは、いくつかの例による、センサおよび他の自律車両構成要素の例を示す図である。図の300は、センサ、信号ルータ345、駆動系349、取り外し可能電池343、オーディオ生成器344(例えば、スピーカまたはトランスデューサ)、および自律車両(「AV」)制御論理347を含む双方向性自律車両330の内部図を示す。図の300に示されているセンサは、他のセンサタイプおよびモダリティの中でも、画像キャプチャセンサ340(例えば、任意のタイプの光キャプチャデバイスまたはカメラ)、オーディオキャプチャセンサ342(例えば、任意のタイプのマイクロフォン)、レーダデバイス348、ソナーデバイス341(または、超音波センサまたは音響関連センサを含む、他の同様のセンサ)、およびライダ(LIDAR)デバイス346を含む(慣性計測装置すなわち「IMU」、全地球測位システム(「GPS」)センサ、ソナーセンサなどのような、それらのいくつかは図示されていない)。四半部350は、双方向性自律車両330の4つの「四半部」の各々の対称性を表していることに留意されたい(例えば各四半部350は、図示されているものの他に、ホイール、駆動系349、同様のステアリングメカニズム、同様の構造的支持および部材などを含んでもよい)。図3Aに示されているように、同様のセンサが、各四半部350内の同様のロケーションに配置されてもよいが、任意の他の構成が実施されてもよい。各ホイールは、個々に、かつ互いに独立してステアリング可能であり得る。また、取り外し可能電池343は、その場で充電するのではなく、スワップインおよびスワップアウトされることを促進するように構成され得、それによって、電池343を充電する必要性に起因する休止時間が低減される、または、無視できることを保証する。自律車両コントローラ347aは、双方向性自律車両330内で使用されるものとして示されているが、自律車両コントローラ347aは、そのように限定されず、地上、空中、または海上を問わず、一方向性自律車両または任意の他のタイプの車両内で実施されてもよい。図3Aに示されているセンサの示されている、および、記述されている位置、ロケーション、向き、量、およびタイプは、限定であるようには意図されておらず、そのため、任意の数およびタイプのセンサがあってもよく、任意のセンサが自律車両330上のいずれの場所に配置されおよび方向付けられてもよいことに留意されたい。
【0020】
いくつかの実施形態によれば、自律車両(「AV」)制御論理347の部分は、グラフィックスプロセッシングユニット(「GPU」)のクラスタをプログラミングするのに適したフレームワークおよびプログラミングモデルを実施するGPUのクラスタを使用して実施されてもよい。例えば、compute unified device architecture(「CUDA」)に準拠したプログラミング言語およびアプリケーションプログラミングインターフェース(「API」)モデルが、GPUをプログラミングするために使用されてもよい。CUDA(商標)は、カリフォルニア州サンタクララ所在のNVIDIAによって製造および維持されている。OpenCL、または任意の他の並列プログラミング言語のような他のプログラミング言語が実施されてもよいことに留意されたい。
【0021】
いくつかの実施形態によれば、自律車両制御論理347は、モーションコントローラ362、プランナ364、知覚エンジン366、およびローカライザ368を含むように示されている自律車両コントローラ347aとして、ハードウェアおよび/またはソフトウェアにおいて実施されてもよい。示されているように、自律車両コントローラ347aは、カメラデータ340a、ライダデータ346a、およびレーダデータ348a、または、ソナーデータ341a等を含む任意の他の範囲検知または位置特定データを受信するように構成されている。自律車両コントローラ347aはまた、GPSデータ352、IMUデータ354、および他の位置検知データ(例えば、ステアリング角度、角速度などのようなホイール関連データ)のような測位データを受信するようにも構成されている。さらに、自律車両コントローラ347aは、任意の他のセンサデータ356および基準データ339を受信してもよい。いくつかの事例において、基準データ339は、マップデータ(例えば、3Dマップデータ、20マップデータ、40マップデータ(例えば、エポック決定(Epoch Determination))を含む)およびルートデータ(例えば、限定ではないが、RNDFデータ(または同様のデータ)、MDFデータ(または同様のデータ)を含む道路網データ)などを含む。
【0022】
ローカライザ368は、GPSデータ352、ホイールデータ、IMUデータ354、ライダデータ346a、カメラデータ340a、レーダデータ348aなどのような1つまたは複数のソースからのセンサデータ、および基準データ339(例えば、3Dマップデータおよびルートデータ)を受信するように構成されている。ローカライザ368は、双方向性自律車両330の局所的位置(または場所)を決定するために、センサデータをマップデータと比較することによって、データを統合(例えば、センサデータを融合)および分析する。いくつかの実施形態によれば、ローカライザ368は、任意の自律車両の位置または場所をリアルタイムまたはほぼリアルタイムに生成または更新することができる。ローカライザ368およびその機能は、「双方向性」車両に限定される必要はなく、任意のタイプの任意の車両において実施され得ることに留意されたい。それゆえ、ローカライザ368(およびAVコントローラ347aの他の構成要素)は、「一方向性」車両または任意の非自律車両において実施されてもよい。いくつかの実施形態によれば、局所的位置を記述するデータは、x座標、y座標、z座標(または、極座標系または円筒座標系などを含む任意の座標系の任意の座標)、ヨー値、ロール値、ピッチ値(例えば、角度値)、レート(例えば、速度)、高度などのうちの1つまたは複数を含んでもよい。
【0023】
知覚エンジン366は、ライダデータ346a、カメラデータ340a、レーダデータ348aなどのような1つまたは複数のソースからのセンサデータ、および局所的位置データを受信するように構成されている。知覚エンジン366は、センサデータおよび他のデータに基づいて外部オブジェクトのロケーションを決定するように構成され得る。例えば、外部オブジェクトは、運転可能な表面の部分でないオブジェクトであり得る。例えば、知覚エンジン366は、外部オブジェクトを、歩行者、自転車利用者、犬、他の車両などとして検出および分類することが可能であり得る(例えば、知覚エンジン366は、ラベルを含む意味情報と関連付けられ得る分類のタイプに従ってオブジェクトを分類するように構成される)。これらの外部オブジェクトの分類に基づいて、外部オブジェクトは、動的オブジェクトまたは静的オブジェクトとしてラベル付けされ得る。例えば、樹木として分類されている外部オブジェクトは静的オブジェクトとしてラベル付けされ得、一方、歩行者として分類されている外部オブジェクトは、静的オブジェクトとしてラベル付けされ得る。静的としてラベル付けされている外部オブジェクトは、マップデータ内に記述されてもよく、または、記述されなくてもよい。静的としてラベル付けされる可能性がある外部オブジェクトの例は、トラフィックコーン、道路を横切って配置されているセメント壁、車線閉鎖標識、新たに配置された郵便ポスト、または、道路に隣接するごみ箱などを含む。動的としてラベル付けされる可能性がある外部オブジェクトの例は、自転車利用者、歩行者、動物、他の車両などを含む。外部オブジェクトが動的としてラベル付けされる場合、外部オブジェクトに関するさらなるデータが、分類タイプと関連付けられる一般的なレベルの活動および速度、ならびに、挙動パターンを示し得る。外部オブジェクトに関するさらなるデータは、外部オブジェクトを追跡することによって生成され得る。そのため、分類タイプは、外部オブジェクトが、例えば、プランニングされている経路に沿って走行している自律車両と干渉し得る可能性を予測または他の様態で決定するために使用され得る。例えば、歩行者として分類される外部オブジェクトは、(例えば、追跡データに基づいて)何らかの最大速度、および、平均速度と関連付けられ得る。自律車両の速度に対する歩行者の速度は、衝突の可能性があるか否かを決定するために使用されることができる。さらに、知覚エンジン364は、オブジェクトの現在および未来の状態と関連付けられる不確定度を決定することができる。いくつかの例において、不確定度は、推定値(または確率)として表現されてもよい。
【0024】
プランナ364は、知覚エンジン366から知覚データを受信するように構成されており、また、ローカライザ368からのローカライザデータをも含むことができる。いくつかの例によれば、知覚データは、自律車両の近傍に配置されている静的オブジェクトおよび動的オブジェクトを指定する障害物マップを含むことができ、一方で、ローカライザデータは、局所的位置または場所を含むことができる。動作時、プランナ364は、多数の軌道を生成し、少なくとも、外部の動的オブジェクトおよび静的オブジェクトの相対ロケーションに対する自律車両のロケーションに基づいて、軌道を評価する。プランナ364は、衝突のない走行を提供するように自律車両を誘導する最適な軌道を、様々な基準に基づいて選択する。いくつかの例において、プランナ364は、確率的に決定される軌道として軌道を計算するように構成されてもよい。さらに、プランナ364は、ステアリングおよび推進コマンド(ならびに減速またはブレーキコマンド)をモーションコントローラ362に送信することができる。モーションコントローラ362はその後、ステアリングコマンド、スロットルまたは推進コマンド、およびブレーキコマンドのようなコマンドのいずれかを、ステアリングまたはホイール角度および/または速度353の変更を実施するための(例えば、アクチュエータまたは他の機械的インターフェースに対する適用のための)制御信号に変換することができる。
【0025】
図3B図3Eは、いくつかの例による、センサフィールド冗長性およびセンサフィールドの喪失に対する自律車両の適合の例を示す図である。図3Bの図の391は、センサ310aがオブジェクトを(例えば、範囲もしくは距離または他の情報を決定するために)検出するセンサフィールド301aを示す。センサ310aは、任意のタイプのセンサまたはセンサモダリティを実施することができるが、センサ310a、ならびに、センサ310b、310c、および310dのような同様に記述されているセンサは、ライダデバイスを含んでもよい。それゆえ、センサフィールド301a、301b、301c、および301dは各々、レーザが延伸するフィールドを含む。図3Cの図の392は、各々が対応するライダセンサ310(図示せず)によって生成される4つの重なり合うセンサフィールドを示す。示されているように、センサフィールドの部分301は、重なり合うセンサフィールドを含まず(例えば、単一のライダフィールド)、センサフィールドの部分302は、2つの重なり合うセンサフィールドを含み、部分303は3つの重なり合うセンサフィールドを含み、それによって、そのようなセンサは、ライダセンサが機能不全になった場合に複数レベルの冗長性を提供する。
【0026】
図3Dは、いくつかの例による、ライダ 309の動作が機能不全にされることに起因するセンサフィールドの喪失を示す。図3Cのセンサフィールド302は、単一のセンサフィールド305に変換されており、図3Cのセンサフィールド301のうちの1つは失われて間隙304になっており、図3Cのセンサフィールド303のうちの3つは、センサフィールド306に変換されている(すなわち、2つの重なり合うフィールドに限定される)。自律車両330cが進行方向396に走行している場合、動いている自律車両の正面のセンサフィールドは、後端位置にあるものよりもロバストでない場合がある。いくつかの例によれば、自律車両コントローラ(図示せず)は、車両の正面の前方領域におけるセンサフィールドの喪失に対処するために、自律車両330cの双方向性を活用するように構成されている。図3Eは、自律車両330dの正面のセンサフィールドの一定のロバスト性を回復するための双方向性操作を示す。示されているように、テールライト348と同延のよりロバストなセンサフィールド302が、車両330dの後部に配置されている。好都合な場合、自律車両330dは、私道397に寄ることによって双方向性操作を実施し、テールライト348が自律車両330dの他の側(例えば、後縁)にアクティブに切り替わるように、その双方向性を切り替える。示されているように、自律車両330dは、進行方向398に沿って走行しているときに、車両の正面のロバストなセンサフィールド302を回復する。さらに、上述した双方向性操作は、交通量の多い車道に戻ることを必要とするより複雑化された操作の必要性を取り除く。
【0027】
図4は、いくつかの例による、通信レイヤを介して自律車両コントローラに通信可能に結合されている自律車両サービスプラットフォームを含むシステムを示す機能ブロック図である。図の400は、自律車両430内に配置されている自律車両コントローラ(「AV」)447を示し、自律車両430は、自律車両コントローラ447に結合されているいくつかのセンサ470を含む。センサ470は、1つまたは複数のライダデバイス472、1つまたは複数のカメラ474、1つまたは複数のレーダ476、1つまたは複数の全地球測位システム(「GPS」)データ受信機-センサ、1つまたは複数の慣性計測装置(「IMU」)475、1つまたは複数のオドメトリセンサ477(例えば、ホイールエンコーダセンサ、ホイール速度センサなど)、および、赤外線カメラまたはセンサ、ハイパースペクトル対応センサ(hyperspectral-capable sensor)、超音波センサ(または任意の他の音響エネルギーに基づくセンサ)、無線周波数に基づくセンサなどのような、任意の他の適切なセンサ478を含む。いくつかの事例において、ホイールのステアリング角度を検知するように構成されているホイール角度センサが、オドメトリセンサ477または適切なセンサ478として含まれてもよい。非限定例において、自律車両コントローラ447は、4つ以上のライダ 472、16個以上のカメラ474および4つ以上のレーダユニット476を含んでもよい。さらに、センサ470は、自律車両コントローラ447の構成要素、および、自律車両サービスプラットフォーム401の要素にセンサデータを提供するように構成されてもよい。図の400に示されているように、自律車両コントローラ447は、プランナ464と、モーションコントローラ462と、ローカライザ468と、知覚エンジン466と、局所的マップジェネレータ440とを含む。図4の図の400に示されている要素は、1つまたは複数の他の図面に関連して記述されている、同様に名付けられている要素としての構造および/または機能を含むことができることに留意されたい。
【0028】
ローカライザ468は、マップデータ、ルートデータ(例えば、RNOFのようなデータのような、道路網データ)などを含んでもよい基準データに対して自律車両を位置特定する(すなわち、局所的位置を決定する)ように構成されている。いくつかの事例において、ローカライザ468は、例えば、環境の表現の特徴に対する自律車両430のロケーションを表現することができる、空間内のポイントを識別するように構成されている。ローカライザ468は、各個々のタイプのセンサに関係付けられる不確実性を低減するために(例えば、異なるセンサモダリティの)センサデータの複数のサブセットを統合するように構成され得るセンサデータインテグレータ(sensor data integrator)469を含むように示されている。いくつかの例によれば、センサデータインテグレータ469は、局所的位置を決定するための統合されたセンサデータ値を形成するために、センサデータ(例えば、ライダデータ、カメラデータ、レーダデータなど)を融合するように構成されている。いくつかの例によれば、ローカライザ468は、マップデータ、3Dマップデータ、4Dマップデータなどを格納するためのマップデータリポジトリ(map data repository)405aを含む、基準データリポジトリ(reference data repository)405に由来する基準データを取り出す。ローカライザ468は、自律車両430の位置を識別、または、他の様態で確認するためにマップデータと照合するために、環境内の特徴の少なくともサブセットを識別するように構成され得る。いくつかの例によれば、ローカライザ468は、特徴のセットが1つまたは複数の特徴、またはすべての特徴を含むことができるように、環境内の任意の量の特徴を識別するように構成されてもよい。特定の例において、任意の量のライダデータ(例えば、ほとんどのまたは実質的にすべてのライダデータ)が、位置特定の目的のためにマップを表現するデータと比較され得る。一般的に、環境特徴とマップデータとの比較からもたらされる一致しないオブジェクトは、車両、自転車利用者、歩行者などのような動的オブジェクトであり得る。障害物を含む動的オブジェクトの検出は、マップデータを用いてまたは用いずに実施され得ることに留意されたい。特に、動的オブジェクトは、マップデータから独立して(すなわち、マップデータがない状態で)検出および追跡されてもよい。いくつかの事例において、マップデータおよび3Dマップデータは、「グローバルマップデータ」、または、自律車両サービスプラットフォーム401によってある時点において認証されているマップデータとして見られ得る。マップデータリポジトリ405a内のマップデータは定期的に更新および/または認証され得るため、マップデータと、自律車両が位置決めされる実際の環境との間には逸脱が存在する場合がある。それゆえ、ローカライザ468は、位置特定を強化するために、局所的マップジェネレータ440によって生成される、ローカルに導出されたマップデータを取り出すことができる。局所的マップジェネレータ440は、局所的マップデータをリアルタイムまたはほぼリアルタイムに生成するように構成されている。任意選択的に、局所的マップジェネレータ440は、例えば、位置特定において動的オブジェクトを無視することによって、ローカルに生成されるマップの精度を強化するために、静的および動的オブジェクトマップデータを受信してもよい。少なくともいくつかの実施形態によれば、局所的マップジェネレータ440は、ローカライザ468と統合されてもよく、または、その部分として形成されてもよい。少なくとも1つの事例において、局所的マップジェネレータ440は、独立してまたはローカライザ468と協働してのいずれかで、simultaneous localization and mapping(「SLAM」)などに基づいてマップおよび/または基準データを生成するように構成され得る。ローカライザ468は、マップデータの使用に対する「混合」手法を実施することができ、それによって、ローカライザ468内の論理は、マップデータの各ソースの信頼度に応じて、マップデータリポジトリ405aからのマップデータまたは局所的マップジェネレータ440からの局所的マップデータのいずれかから様々な量のマップデータを選択するように構成されることができることに留意されたい。それゆえ、ローカライザ468は依然として、ローカルに生成されるマップデータを考慮して古いマップデータを使用することができる。
【0029】
知覚エンジン466は、例えば、プランナ464が、自律車両430が移動している周囲環境内の対象のオブジェクトを識別することによってルートをプランニングし、軌道を生成するのを補助するように構成されている。さらに、対象のオブジェクトの各々と確率が関連付けられ得、それによって、確率は、対象のオブジェクトが安全な走行に対する脅威となり得る可能性を表現することができる(例えば、高速で動くオートバイは、新聞を読みながらバス停のベンチに座っている人よりも強化された追跡を必要とし得る)。示されているように、知覚エンジン466は、オブジェクトディテクタ442およびオブジェクトクラシファイヤ444を含む。オブジェクトディテクタ442は、環境内の他の特徴に対してオブジェクトを区別するように構成されており、オブジェクトクラシファイヤ444は、オブジェクトを動的オブジェクトまたは静的オブジェクトのいずれかとして分類し、プランニングの目的のために、自律車両430に対する動的オブジェクトまたは静的オブジェクトのロケーションを追跡するように構成されることができる。さらに、知覚エンジン466は、静的または動的オブジェクトに、オブジェクトがプランナ464における経路プランニングに影響を与える可能性がある障害物である(またはそうなる可能性を有する)か否かを指定する識別子を割り当てるように構成されることができる。図4には示されていないが、知覚エンジン466はまた、セグメンテーションおよび追跡のような、他の知覚関連機能を実施することもできることに留意されたい。それらの例は後述する。
【0030】
プランナ464は、利用可能であるいくつかの経路またはルートを介して目的地に達するという目標を達成するためのいくつかの候補軌道を生成するように構成されている。軌道エバリュエータ(trajectory evaluator)465が、候補軌道を評価し、候補軌道のいずれのサブセットが目的地までの衝突のない経路を提供する高い程度の信頼水準と関連付けられるかを識別するように構成されている。そのため、軌道エバリュエータ465は、コマンドに、車両構成要素450(例えば、アクチュエータまたは他のメカニズム)に対する制御信号を生成させるための関連する基準に基づいて最適な軌道を選択することができる。関連する基準は、最適な軌道を規定する任意の数のファクタを含んでもよく、その選択は、衝突を低減することに限定される必要はないことに留意されたい。例えば、軌道の選択は、ユーザ経験(例えば、ユーザ快適性)、および、交通規制および法律に準拠する衝突のない軌道を最適化するように行われてもよい。ユーザ経験は、(例えば、ガタガタと進むような走行または他の不快な動きを低減するために)様々な直線方向および角度方向における加速を加減することによって最適化され得る。いくつかの事例において、関連する基準の少なくとも部分は、最適化された衝突のない走行を維持しながら、他の基準のいずれに優越または優先すべきかを指定することができる。例えば、限定された状況において軌道を生成するときに(例えば、自転車利用者と併走するために二重黄色線をまたぐとき、または、交通流量に合わせるために提示されている速度制限よりも高速で走行しているとき)、法的な制約は一時的に撤廃または緩和され得る。そのため、制御信号は、駆動系および/またはホイールにおける推進および方向の変化を引き起こすように構成される。この例において、モーションコントローラ462は、コマンドを、自律車両430の移動を制御するための制御信号(例えば、速度、ホイール角度など)に変換するように構成されている。軌道エバリュエータ465が、衝突のない最適化された走行を提供するために十分に高い信頼水準を保証するためには不十分な情報を有する場合、プランナ464は、テレオペレータ404に対する、テレオペレータの支持を求める要求を生成することができる。
【0031】
自律車両サービスプラットフォーム401は、テレオペレータ404(例えば、テレオペレータコンピューティングデバイス)と、基準データリポジトリ405と、マップアップデータ(map updater)406と、車両データコントローラ408と、キャリブレータ(calibrator)409と、オフラインオブジェクトクラシファイヤ410とを含む。自律車両サービスプラットフォーム401の各要素は、独立して配置または分散され得、自律車両サービスプラットフォーム401内の他の要素と通信することができることに留意されたい。さらに、自律車両サービスプラットフォーム401の要素は、独立して、通信レイヤ402を介して自律車両430と通信することができる。マップアップデータ406は、(例えば、局所的マップジェネレータ440、センサ460、または、自律車両コントローラ447の任意の他の構成要素からの)マップデータを受信するように構成されており、例えば、マップデータリポジトリ405a内のマップデータの、ローカルに生成されるマップからの逸脱を検出するようにさらに構成されている。車両データコントローラ408は、マップアップデータ406に、リポジトリ405内の基準データを更新させ、2D、3D、および/または4Dマップデータに対する更新を促進することができる。いくつかの事例において、車両データコントローラ408は、局所的マップデータが自律車両サービスプラットフォーム408へと受信されるレート、および、マップアップデータ406がマップデータの更新を実施する頻度を制御することができる。
【0032】
キャリブレータ409は、同じまたは異なるタイプの様々なセンサの較正を実施するように構成されている。キャリブレータ409は、センサの相対的な位置(例えば、デカルト空間(x、y、z)における)およびセンサの向き(例えば、ロール、ピッチおよびヨー)を決定するように構成され得る。カメラ、ライダセンサ、レーダセンサなどのようなセンサの位置および向きは、他のセンサに対して、および、グローバルに車両の基準フレームに対して較正され得る。オフライン自己較正はまた、車両慣性テンソル、軸距、ホイール半径または路面摩擦のような他のパラメータを較正または推定することもできる。較正はまた、いくつかの例によれば、パラメータ変化を検出するためにオンラインで行われることもできる。また、キャリブレータ409による較正は、センサの内因性パラメータ(例えば、光学的歪み、ビーム角度など)および外因性パラメータを含み得ることに留意されたい。いくつかの事例において、キャリブレータ409は、例として、3Dレーザデータにおける深さの断絶と、画像データのエッジとの間の相関を最大化することによって実施され得る。オフラインオブジェクト分類410は、センサデータのようなデータを、センサ470または自律車両コントローラ447の任意の他の構成要素から受信するように構成されている。いくつかの実施形態によれば、オフラインオブジェクトクラシファイヤ410のオフライン分類パイプラインは、オブジェクトを事前にまとめて注釈を付ける(例えば、人間によって手動でおよび/またはオフラインラベル付けアルゴリズムを使用して自動的に)ように構成され得、オンライン自律動作中にオブジェクトタイプのリアルタイムの分類を提供することができるオンラインクラシファイヤ(例えば、オブジェクトクラシファイヤ444)を訓練するようにさらに構成され得る。
【0033】
図5は、いくつかの実施形態による、自律車両を制御するためのフロー図の例である。502において、フロー500は、自律車両にある複数のモダリティのセンサに由来するセンサデータが、例えば、自律車両コントローラによって受信されるときに開始する。センサデータの1つまたは複数のサブセットは、例えば、推定値を改善するために融合されたデータを生成するために統合され得る。いくつかの例において、504において、(例えば、同じまたは異なるモダリティの)1つまたは複数のセンサのセンサストリームが、融合されたセンサデータを形成するために融合され得る。いくつかの例において、ライダセンサデータおよびカメラセンサデータのサブセットが、位置特定を促進するために、504において融合され得る。506において、センサデータの少なくとも2つのサブセットに基づいてオブジェクトを表現するデータが、プロセッサにおいて導出され得る。例えば、静的オブジェクトまたは動的オブジェクトを識別するデータが、少なくともライダおよびカメラデータから(例えば、知覚エンジンにおいて)導出され得る。508において、プランニングされている経路に影響を与える、検出されたオブジェクトが決定され、510において、検出されたオブジェクトに応答して、軌道のサブセットが(例えば、プランナにおいて)評価される。512において、自律車両の規範的動作と関連付けられる許容可能な信頼水準の範囲を超える信頼水準が決定される。それゆえ、この事例において、信頼水準は、最適化された経路を選択する確実性がより可能性が低く、それによって、最適化された経路が、衝突のない走行を促進し、交通法規に準拠し、快適なユーザ経験(例えば、快適な搭乗)を提供し、および/または、任意の他のファクタに基づいて候補軌道を生成する確率に応じて決定され得るようなものであり得る。そのため、514において、代替の経路を求める要求が、テレオペレータコンピューティングデバイスに送信され得る。その後、テレオペレータコンピューティングデバイスは、プランナに、自律車両が走行するようにされる最適な軌道を提供することができる。状況によっては、車両はまた、安全停止操作(例えば、自律車両を、危険の確率が相対的に低いロケーションに安全かつ自動的に停止させること)が最善の方策であると決定することもできる。このフロー図および本明細書における他のフロー図に示されている順序は、フロー図の各部分が、順次実施されてもよく、またはフロー図の任意の1つまたは複数の他の部分と並列に実施されてもよく、また、独立して実施されてもよく、または、フロー図の他の部分に依存して実施されてもよいため、様々な機能を直線的に実施するための要件を暗示するようには意図されていないことに留意されたい。
【0034】
図6は、いくつかの実施形態による、自律車両コントローラのアーキテクチャの例を示す図である。図の600は、モーションコントローラプロセス662、プランナプロセス664、知覚プロセス666、マッピングプロセス640、および位置特定プロセス668を含むいくつかのプロセスを示し、それらのうちのいくつかは、他のプロセスに関するデータを生成または受信し得る。プロセス670および650のような他のプロセスは、自律車両の1つまたは複数の機械的構成要素との相互作用を促進することができる。例えば、知覚プロセス666、マッピングプロセス640、および位置特定プロセス668は、センサ670からセンサデータを受信するように構成されており、一方で、プランナプロセス664および知覚プロセス666は、道路網データのようなルートデータを含み得る案内データ606を受信するように構成されている。さらに図の600について、位置特定プロセス668は、他のタイプのマップデータの中でも、マップデータ605a(すなわち、2Dマップデータ)、マップデータ605b(すなわち、3Dマップデータ)、および局所的マップデータ642を受信するように構成されている。例えば、位置特定プロセス668はまた、例えば、エポック決定を含み得る、4Dマップデータのような他の形態のマップデータを受信することもできる。位置特定プロセス668は、局所的位置を表現するローカル位置データ641を生成するように構成されている。ローカル位置データ641は、モーションコントローラプロセス662、プランナプロセス664、および知覚プロセス666に提供される。知覚プロセス666は、静的および動的オブジェクトマップデータ667を生成するように構成されており、このマップデータは、プランナプロセス664に送信され得る。いくつかの例において、静的および動的オブジェクトマップデータ667は、意味論的分類情報および予測される物体挙動のような他のデータとともに送信されてもよい。プランナプロセス664は、プランナ664によって生成されるいくつかの軌道を記述する軌道データ665を生成するように構成されている。モーションコントローラプロセスは、ステアリング角度および/または速度の変化を引き起こすためにアクチュエータ650に適用するための低レベルコマンドまたは制御信号を生成するために、軌道データ665を使用する。
【0035】
図7は、いくつかの実施形態による、自律車両の群との信頼可能な通信を維持するために冗長な通信チャネルを実施する自律車両サービスプラットフォームの例を示す図である。図の700は、基準データジェネレータ705、車両データコントローラ702、自律車両群マネージャ703、テレオペレータマネージャ707、シミュレータ740、およびポリシマネージャ742を含む自律車両サービスプラットフォーム701を示す。基準データジェネレータ705は、マップデータおよびルートデータ(例えば、RNDFデータ)を生成および修正するように構成されている。さらに、基準データジェネレータ705は、2Dマップデータリポジトリ720内の2Dマップにアクセスし、3Dマップデータリポジトリ722内の3Dマップにアクセスし、ルートデータリポジトリ724内のルートデータにアクセスするように構成され得る。エポック決定を含む4Dマップデータのような、他のマップ表現データおよびリポジトリが、いくつかの例において実施されてもよい。車両データコントローラ702は、様々な動作を実施するように構成されることができる。例えば、車両データコントローラ702は、チャネル770を介した通信の品質レベルに基づいて、自律車両の群とプラットフォーム701との間でデータが交換されるレートを変更するように構成されてもよい。帯域幅が制約されている期間中、例えば、データ通信は、自律車両730からの遠隔操作要求が、送達を保証するために高く優先順位付けされるように、優先順位付けされ得る。さらに、特定のチャネルにとって利用可能な帯域幅に依存して、可変レベルのデータ抽象化が、チャネル770を介して車両ごとに送信され得る。例えば、ロバストなネットワーク接続の存在下では、全ライダデータ(例えば、実質的にすべてのライダデータであるが、またより少なくてもよい)が送信されてもよく、一方で、劣化されたまたは低速の接続の存在下では、データのより単純なまたはより抽象的な描写(例えば、関連付けられているメタデータを有する境界ボックスなど)が送信されてもよい。自律車両群マネージャ703は、電池電力の効率的な使用、走行時間、電池の低充電状態の間に自律車両730内の空調装置が使用され得るか否かなどを含む、複数の変数を最適化するように、自律車両730の派遣を調整するように構成されており、それらの変数のいずれかまたはすべては、自律車両サービスの動作と関連付けられる費用関数を最適化することを考慮して監視され得る。自律車両の群の走行の費用または時間を最小化する様々な変数を分析するためのアルゴリズムが実施され得る。さらに、自律車両群マネージャ703は、群のアップタイムを最大化することを考慮してサービススケジュールを適合させるために、自律車両および部品の在庫を維持する。
【0036】
テレオペレータマネージャ707は、テレオペレータ708がそれを用いて入力を提供するいくつかのテレオペレータコンピューティングデバイス704を管理するように構成されている。シミュレータ740は、1つまたは複数の自律車両730の動作、および、テレオペレータマネージャ707と自律車両730との間の相互作用をシミュレートするように構成されている。シミュレータ740はまた、自律車両730内に配置されているいくつかのセンサの動作(シミュレートされるノイズの導入を含む)をシミュレートすることもできる。さらに、シミュレートされた自律車両が合成環境に導入されることができ、それによって、シミュレートされたセンサが、シミュレートされたレーザ戻りのようなシミュレートされたセンサデータを受信することができるように、都市のような環境がシミュレートされることができる。シミュレータ740は、ソフトウェア更新および/またはマップデータの検証を含む、他の機能をも提供することができる。ポリシマネージャ742は、道路網を走行している間に自律車両が遭遇する様々な条件またはイベントを考慮して自律車両がそれによって挙動すべきであるデータ表現ポリシまたは規則を維持するように構成されている。いくつかの事例において、更新されたポリシおよび/または規則が、ポリシに対する変更を考慮して自律車両の群の安全な動作を確認するために、シミュレータ740においてシミュレートされてもよい。自律車両サービスプラットフォーム701の上述されている要素のいくつかが、以下においてさらに記述される。
【0037】
通信チャネル770は、自律車両の群730および自律車両サービスプラットフォーム701の間にネットワーク接続されている通信リンクを提供するように構成されている。例えば、通信チャネル770は、自律車両サービスを確実に動作させるために一定レベルの冗長性を保証するために、対応するサブネットワーク(例えば、771a~771n)を有する、いくつかの異なるタイプのネットワーク771、772、773、および774を含む。例えば、通信チャネル770内の異なるタイプのネットワークは、1つまたは複数のネットワーク771、772、773、および774の機能停止に起因する低減されたまたは喪失された通信の場合に、十分な帯域幅を保証するために、異なるセルラネットワークプロバイダ、異なるタイプのデータネットワークなどを含むことができる。
【0038】
図8は、いくつかの実施形態による、様々なアプリケーションの間でデータを交換するように構成されているメッセージングアプリケーションの例を示す図である。図の800は、テレオペレータマネージャ内に配置されているテレオペレータアプリケーション801、および、自律車両内に配置されている自律車両アプリケーション830を示し、それによって、テレオペレータアプリケーション801および自律車両アプリケーション830は、ネットワーク871、872、および他のネットワーク873のような様々なネットワークを介した通信を促進するプロトコルを介してメッセージデータを交換する。いくつかの例によれば、通信プロトコルは、Object Management Group consortiumによって維持される仕様を有するData Distribution Service(商標)として実施されるミドルウェアプロトコルである。この通信プロトコルによれば、テレオペレータアプリケーション801および自律車両アプリケーション830は、メッセージドメイン内に配置されているメッセージルータ854を含むことができ、メッセージルータは、テレオペレータAPI 852とインターフェースするように構成されている。いくつかの例において、メッセージルータ854は、ルーティングサービスである。いくつかの例において、テレオペレータアプリケーション801内のメッセージドメイン850aが、テレオペレータ識別子によって識別され得、一方で、メッセージドメイン850bは、車両識別子と関連付けられるドメインとして識別され得る。テレオペレータアプリケーション801内のテレオペレータAPI 852は、テレオペレータプロセス803a~803cとインターフェースするように構成されており、それによって、テレオペレータプロセス803bは、自律車両識別子804と関連付けられ、テレオペレータプロセス803cは、イベント識別子806(例えば、衝突のない経路のプランニングにとって問題になり得る交差点を指定する識別子)と関連付けられる。自律車両アプリケーション830内のテレオペレータAPI 852は、検知アプリケーション842、知覚アプリケーション844、位置特定アプリケーション846、および制御アプリケーション848を含む自律車両オペレーティングシステム840とインターフェースするように構成されている。上記を考慮して、上述されている通信プロトコルは、本明細書において記述されているような遠隔操作を促進するために、データ交換を促進することができる。さらに、上述されている通信プロトコルは、1つまたは複数の自律車両および1つまたは複数の自律車両サービスプラットフォームの間のセキュアなデータ交換を提供するように適合されることができる。例えば、メッセージルータ854は、例えば、テレオペレータプロセス803と自律車両オペレーティングシステム840との間の安全確保された相互作用を提供するためのメッセージを暗号化および解読するように構成されることができる。
【0039】
図9は、いくつかの例による、図8に記述されている通信プロトコルを使用した遠隔操作を促進するためのデータのタイプを示す図である。図の900は、1つまたは複数のネットワーク971内に実施される、データ処理を中心とするメッセージングバス972を介してデータを交換するように構成されている、テレオペレータアプリケーション901に結合されているテレオペレータコンピューティングデバイス904とインターフェースするテレオペレータ908を示す。データ処理を中心とするメッセージングバス972は、テレオペレータアプリケーション901と自律車両アプリケーション930との間の通信リンクを提供する。テレオペレータアプリケーション901のテレオペレータAPI 962は、メッセージサービス構成データ964、および、道路網データ(例えば、RNDFのようなデータ)、ミッションデータ(例えば、MDFデータ)などのようなルートデータ960を受信するように構成されている。同様に、メッセージングサービスブリッジ932も、メッセージングサービス構成データ934を受信するように構成されている。メッセージングサービス構成データ934および964は、テレオペレータアプリケーション901と自律車両アプリケーション930との間のメッセージングサービスを構成するための構成データを提供する。メッセージングサービス構成データ934および964の例は、Data Distribution Service(商標)アプリケーションを構成するために実施されるサービス品質(「QoS」)構成データを含む。
【0040】
通信プロトコルを介した遠隔操作を促進するためのデータ交換の例が以下のように記述される。自律車両コントローラの知覚システムによって、障害物データ920が生成されると考える。さらに、候補軌道のサブセットをテレオペレータに通知するためのプランナ選択肢データ924がプランナによって生成され、位置データ926がローカライザによって生成される。障害物データ920、プランナ選択肢データ924、および位置データ926は、メッセージングサービスブリッジ932に送信され、メッセージングサービスブリッジ932は、メッセージサービス構成データ934に従って、テレメトリデータ940およびクエリデータ942を生成し、これらは両方とも、テレメトリデータ950およびクエリデータ952として、データ処理を中心とするメッセージングバス972を介してテレオペレータアプリケーション901へと送信される。テレオペレータAPI 962は、テレメトリデータ950および問い合わせデータ952を受信し、これらのデータは、ルートデータ960およびメッセージサービス構成データ964を考慮して処理される。結果もたらされるデータは、その後、テレオペレータコンピューティングデバイス904および/または協働ディスプレイ(collaborative display)(例えば、協働するテレオペレータ908のグループに見えるダッシュボードディスプレイ)を介してテレオペレータ908に提示される。テレオペレータ908は、テレオペレータコンピューティングデバイス904のディスプレイ上に提示される候補軌道選択肢を検討し、案内される軌道を選択し、これは、コマンドデータ982およびクエリ応答データ980を生成し、これらは両方とも、クエリ応答データ954およびコマンドデータ956として、テレオペレータAPI 962を通過される。その後、クエリ応答データ954およびコマンドデータ956は、クエリ応答データ944およびコマンドデータ946として、データ処理を中心とするメッセージングバス972を介して自律車両アプリケーション930へと送信される。メッセージングサービスブリッジ932は、クエリ応答データ944およびコマンドデータ946を受信し、テレオペレータコマンドデータ928を生成し、これは、テレオペレータによって選択された軌道を、プランナによる実施のために生成するように構成されている。上述されているメッセージングプロセスは、限定であるようには意図されておらず、他のメッセージングプロトコルも実施されてもよいことに留意されたい。
【0041】
図10は、いくつかの実施形態による、テレオペレータが経路プランニングに影響を与えることができるテレオペレータインターフェースの例を示す図である。図の1000は、遠隔操作を促進するように構成されているテレオペレータマネージャ1007を含む、自律車両サービスプラットフォーム1001と通信する自律車両1030の例を示す。第1の例において、テレオペレータマネージャ1007は、テレオペレータ1008が前もって課題に対処することが可能であり得るように、テレオペレータ1008に、可能性のある障害物に接近している自律車両の経路、または、プランナ信頼水準の低い領域を前もって見るように要求するデータを受信する。例示のために、自律車両が接近している交差点が、問題があるものとしてタグ付けされ得ると考える。そのため、ユーザインターフェース1010は、プランナによって生成されるいくつかの軌道によって予測されている、経路1012に沿って移動している対応する自律車両1030の表現1014を表示する。また、プランナにおいて十分な混乱を引き起こす可能性があり、それによってテレオペレータの支持を必要とする、他の車両1011、および、歩行者のような動的オブジェクト1013も表示される。ユーザインターフェース1010はまた、テレオペレータ1008に、現在の速度1022、速度制限1024、および現在の電池内の充電量1026も提示する。いくつかの例によれば、ユーザインターフェース1010は、自律車両1030から取得されるものとしてのセンサデータのような他のデータを表示してもよい。第2の例において、プランナ1064が、検出されている未確認オブジェクト1046にもかかわらず、プランナによって生成された経路1044と同延であるいくつかの軌道を生成していると考える。プランナ1064はまた、候補軌道1040のサブセットをも生成し得るが、この例では、プランナは、現在の信頼水準を所与として進行することは不可能である。プランナ1064が代替の経路を決定することができない場合、テレオペレータ要求が送信され得る。この事例において、テレオペレータは、テレオペレータに基づく経路1042と一致する自律車両1030による走行を促進するために、候補軌道1040のうちの1つを選択することができる。
【0042】
図11は、いくつかの例による、遠隔操作を呼び出すように構成されているプランナの例を示す図である。図の1100は、地形マネージャ(topography manager)1110、ルートマネージャ1112、経路ジェネレータ(path generator)1114、軌道エバリュエータ1120、および軌道トラッカ1128を含むプランナ1164を示す。地形マネージャ1110は、地形学的特徴を指定する3Dマップデータまたは他の同様のマップデータのようなマップデータを受信するように構成されている。地形マネージャ1110は、目的地までの経路上の地形学関連特徴に基づいて候補経路を識別するようにさらに構成されている。様々な例によれば、地形マネージャ1110は、群内の1つまたは複数の自律車両と関連付けられるセンサによって生成される3Dマップを受信する。ルートマネージャ1112は、目的地までの経路として選択され得る1つまたは複数のルートと関連付けられる交通関連情報を含むことができる、環境データ1103を受信するように構成されている。経路ジェネレータ1114は、地形マネージャ1110およびルートマネージャ1112からデータを受信し、自律車両を目的地に向けて誘導するのに適した1つまたは複数の経路または経路セグメントを生成する。1つまたは複数の経路または経路セグメントを表現するデータは、軌道エバリュエータ1120へと送信される。
【0043】
軌道エバリュエータ1120は、状態・イベントマネージャ(state and event manager)1122を含み、状態・イベントマネージャ1122は、信頼水準ジェネレータ1123を含むことができる。軌道エバリュエータ1120は、案内される軌道のジェネレータ(guided trajectory generator)1126および軌道ジェネレータ(trajectory generator)1124をさらに含む。さらに、プランナ1164は、ポリシデータ1130、知覚エンジンデータ1132、およびローカライザデータ1134を受信するように構成されている。
【0044】
ポリシデータ1130は、いくつかの例によれば、それをもって軌道を生成すべき十分な信頼水準を有する経路を決定するためにプランナ1164が使用する基準を含むことができる。ポリシデータ1130の例は、軌道生成が外部オブジェクトまでの離れた距離によって抑制されることを指定するポリシ(例えば、可能な限り、自転車利用者から3フィートの安全緩衝を維持すること)、または、軌道が中央の二重黄色線をまたいではならないことを要求するポリシ、または、(例えば、一般的にバス停に最も近い車線に集中することのような、過去のイベントに基づいて)4車線道路においては軌道が単一車線に限定されることを必要とするポリシ、および、ポリシによって指定される任意の他の同様の基準を含む。知覚エンジンデータ1132は、対象の静的オブジェクトおよび動的オブジェクトのロケーションのマップを含み、ローカライザデータ1134は、少なくとも局所的位置または場所を含む。
【0045】
状態・イベントマネージャ1122は、自律車両の動作状態を確率論的に決定するように構成されることができる。例えば、第1の動作状態(すなわち、「規範的動作」)は、軌道が衝突のないものである状況を記述することができ、一方で、第2の動作状態(すなわち、「非規範的動作」)は、可能性のある軌道と関連付けられる信頼水準が、衝突のない走行を保証するには不十分である別の状況を記述することができる。いくつかの例によれば、状態・イベントマネージャ1122は、規範的または非規範的である自律車両の状態を決定するために、知覚データ1132を使用するように構成されている。信頼水準ジェネレータ1123は、自律車両の状態を決定するために、知覚データ1132を分析するように構成されることができる。例えば、信頼水準ジェネレータ1123は、プランナ1164が安全な方策を決定しているという確実度を強化するために、静的オブジェクトおよび動的オブジェクトと関連付けられる意味情報、および、関連付けられる確率推定を使用することができる。例えば、プランナ1164は、プランナ1164が安全に動作しているか否かを決定するために、オブジェクトが人間である、または、人間でない確率を指定する知覚エンジンデータ1132を使用することができる(例えば、プランナ1164は、オブジェクトが、98%の人間である確率、および、オブジェクトが人間でないという2%の確率を有する確実度を受信することができる)。
【0046】
信頼水準(例えば、統計および確率論的決定に基づく)が、予測される安全動作に必要とされる閾値を下回るという決定を受けて、相対的に低い信頼水準(例えば、単一の確率スコア)が、自律車両サービスプラットフォーム1101にテレオペレータの支持を求める要求1135を送信するようにプランナ1164をトリガすることができる。いくつかの事例において、テレメトリデータおよび候補軌道のセットが、この要求に付随してもよい。テレメトリデータの例は、センサデータ、位置特定データ、知覚データなどを含む。テレオペレータ1108は、選択された軌道1137を、テレオペレータコンピューティングデバイス1104を介して、案内される軌道のジェネレータ1126に送信することができる。そのため、選択された軌道1137は、テレオペレータからの案内によって形成される軌道である。状態に変化がないという確認を受けて(例えば、非規範的状態が未決)、案内される軌道のジェネレータ1126は、軌道ジェネレータ1124にデータを渡し、軌道ジェネレータ1124は、軌道トラッカ1128に、軌道追跡コントローラとして、制御信号1170(例えば、ステアリング角度、速度など)を生成するために、テレオペレータによって指定される軌道を使用させる。プランナ1164は、状態が非規範的状態に移行する前に、テレオペレータの支持を求める要求1135の送信をトリガすることができることに留意されたい。特に、自律車両コントローラおよび/またはその構成要素は、離れた障害物に問題があり得ることを予測し、前もって、プランナ1164に、自律車両が障害物に達する前に遠隔操作を呼び出させることができる。そうでない場合、自律車両は、障害物またはシナリオへの遭遇を受けて安全状態に移行すること(例えば、路肩に寄り、停車すること)によって、遅延を引き起こすことができる。別の例において、遠隔操作は、ナビゲートすることが困難であることが分かっている特定のロケーションに自律車両が接近する前に、自動的に呼び出されてもよい。そのような状況が、センサ読み値、および様々なソースから導出される交通または事故データの信頼性に対する外乱を引き起こす可能性がある場合、この決定は、任意選択的に、時刻、太陽の位置を含む他のファクタを考慮に入れてもよい。
【0047】
図12は、いくつかの実施形態による、自律車両を制御するように構成されているフロー図の例である。1202において、フロー1200が開始する。自律車両内のプランナにおいてオブジェクトのサブセットを表現するデータが受信され、オブジェクトのサブセットは、分類タイプの確実度を表現するデータと関連付けられる少なくとも1つのオブジェクトを含む。例えば、知覚エンジンデータは、オブジェクトと関連付けられるメタデータを含むことができ、それによって、メタデータは、特定の分類タイプと関連付けられる確実度を指定する。例えば、動的オブジェクトは、正確であるという85%の信頼水準をもって「若い歩行者」として分類され得る。1204において、ローカライザデータが(例えば、プランナにおいて)受信され得る。ローカライザデータは、自律車両内でローカルに生成されるマップデータを含むことができる。局所的マップデータは、一定の地理的領域においてイベントが発生し得る確実度(不確実度を含む)を指定することができる。イベントは、自律車両の動作に影響を与えるか、または、動作に影響を与える可能性がある条件または状況であり得る。イベントは、自律車両の内部(例えば、機能不全にされたまたは機能が損なわれたセンサ)または外部(例えば、道路の閉塞)であってもよい。イベントの例は、図2ならびに他の図面および節など、本明細書において記述されている。対象の地理的領域と同延の経路が、1206において決定され得る。例えば、イベントが、ラッシュアワーの交通状態の間に太陽光が運転者の視覚の機能を損なう時刻における、空における太陽の位置付けであると考える。そのため、交通は、明るい太陽光に応答して減速し得ると予想または予測される。したがって、プランナは、イベントを回避するための代替の経路の可能性が低い場合、前もって遠隔操作を呼び出すことができる。1208において、プランナにおいて、局所的位置データに基づいてローカル位置が決定される。1210において、例えば、分類タイプの確実度、および、速度、位置、および他の状態情報のような任意の数のファクタに基づき得るイベントの確実度に基づいて、自律車両の動作状態が(例えば、確率論的に)決定され得る。例示のために、他の運転者の視覚が太陽によって機能を損なわれる可能性があり、それによって、若い歩行者にとって安全でない状況が引き起こされるイベントの間に、自律車両によって若い歩行者が検出される例を考える。それゆえ、相対的に安全でない状況が、発生する可能性があり得る確率論的なイベント(すなわち、テレオペレータが呼び出される可能性がある安全でない状況)として検出され得る。1212において、動作状態が規範的状態である可能性が決定され、この決定に基づいて、次の動作状態への移行に前もって備える(例えば、規範的動作状態から、安全でない動作状態のような非規範的動作状態への移行に前もって備える)ように、テレオペレータに要求するメッセージが、テレオペレータコンピューティングデバイスに送信される。
【0048】
図13は、いくつかの例による、プランナが軌道を生成することができる例を示す図である。図の1300は、軌道エバリュエータ1320および軌道ジェネレータ1324を含む。軌道エバリュエータ1320は、信頼水準ジェネレータ1322およびテレオペレータクエリメッセンジャ1329を含む。示されているように、軌道エバリュエータ1320は、静的マップデータ1301、ならびに現在のおよび予測されるオブジェクト状態のデータ1303を受信するために、知覚エンジン1366に結合されている。軌道エバリュエータ1320はまた、ローカライザ1368からの局所的位置データ1305およびグローバルプランナ(global planner)1369からのプランデータ1307をも受信する。1つの動作状態(例えば、非規範的)において、信頼水準ジェネレータ1322は、静的マップデータ1301、ならびに現在のおよび予測されるオブジェクト状態のデータ1303を受信する。このデータに基づいて、信頼水準ジェネレータ1322は、検出された軌道が、許容不可能な信頼水準値と関連付けられることを決定することができる。そのため、信頼水準ジェネレータ1322は、テレオペレータクエリメッセンジャ1329を介してテレオペレータに通知するために、検出された軌道データ1309(例えば、候補軌道を含むデータ)を送信し、テレオペレータクエリメッセンジャ1329は、テレオペレータの支援を求める要求1370を送信する。
【0049】
別の動作状態(例えば、規範的状態)において、静的マップデータ1301、現在のおよび予測されるオブジェクト状態のデータ1303、局所的位置データ1305、およびプランデータ1307(例えば、グローバルプランデータ)が軌道カリキュレータ1325へと受信され、軌道カリキュレータ1325は、最適な1つまたは複数の経路を決定するために、軌道を(例えば、反復的に)計算するように構成されている。次に、少なくとも1つの経路が選択され、選択された経路のデータ1311として送信される。いくつかの実施形態によれば、軌道カリキュレータ1325は、例として軌道の再プランニングを実施するように構成されている。公称運転軌道ジェネレータ(nominal driving trajectory generator)1327が、receding horizon制御技法に基づいて軌道を生成することによってのような、洗練された手法において軌道を生成するように構成されている。公称運転軌道ジェネレータ1327はその後、公称運転軌道経路データ1372を、例えば、ステアリング、加速の物理的変更を実施するための軌道トラッカまたは車両コントローラ、および他の構成要素に送信することができる。
【0050】
図14は、いくつかの実施形態による、自律車両サービスプラットフォームの別の例を示す図である。図の1400は、テレオペレータ1408の間の相互作用および/または通信を管理するように構成されているテレオペレータマネージャ1407、テレオペレータコンピューティングデバイス1404、ならびに自律車両サービスプラットフォーム1401の他の構成要素を含む自律車両サービスプラットフォーム1401を示す。さらに図の1400について、自律車両サービスプラットフォーム1401は、シミュレータ1440、リポジトリ1441、ポリシマネージャ1442、基準データアップデータ(reference data updater)1438、2Dマップデータリポジトリ1420、3Dマップデータリポジトリ1422、およびルートデータリポジトリ1424を含む。4Dマップデータ(例えば、エポック決定を使用する)のような他のマップデータが実施され、リポジトリ(図示せず)に格納されてもよい。
【0051】
テレオペレータアクション推奨コントローラ(teleoperator action recommendation controller)1412は、テレオペレータの支援を求める要求ならびにテレメトリデータおよび他のデータを含むことができる自律車両(「AV」)プランナデータ1472を介して遠隔操作サービス要求を受信および/または制御するように構成されている論理を含む。そのため、プランナデータ1472は、テレオペレータ1408がテレオペレータコンピューティングデバイス1404を介してそこから選択することができる、推奨される候補軌道または経路を含むことができる。いくつかの例によれば、テレオペレータアクション推奨コントローラ1412は、そこから最適な軌道を選択すべきである、推奨される候補軌道の他のソースにアクセスするように構成されることができる。例えば、自律車両プランナデータ1472内に含まれる候補軌道は、並列に、シミュレータ1440へと導入されてもよく、シミュレータ1440は、テレオペレータの支援を要求している自律車両によって経験されているイベントまたは条件をシミュレートするように構成されている。シミュレータ1440は、マップデータ、および、候補軌道のセットに関するシミュレーションを実施するために必要な他のデータにアクセスすることができ、それによって、シミュレータ1440は、十分性を確認するためにシミュレーションを徹底的に繰り返す必要がない。むしろ、シミュレータ1440は、候補軌道の妥当性を確認し得、または、そうでなければテレオペレータに、それらの選択に注意するよう警告することができる。
【0052】
テレオペレータ相互作用キャプチャアナライザ(teleoperator interaction capture analyzer)1416は、大量のテレオペレータトランザクションまたは相互作用を、リポジトリ1441内に格納するためにキャプチャするように構成されることができ、リポジトリ1441は、例えば、少なくともいくつかの事例において、いくつかのテレオペレータトランザクションに関係するデータを、ポリシの分析および生成のために累積することができる。いくつかの実施形態によれば、リポジトリ1441はまた、ポリシマネージャ1442によるアクセスのためにポリシデータを格納するように構成されることもできる。さらに、テレオペレータ相互作用キャプチャアナライザ1416は、テレオペレータの支援を求める要求を引き起こすイベントまたは条件にいかに最良に応答すべきかを経験的に決定するために、機械学習技法を適用することができる。いくつかの事例において、ポリシマネージャ1442は、(例えば、機械学習技法の適用後に)テレオペレータ相互作用の大きなセットの分析に応答して、特定のポリシを更新し、または、新たなポリシを生成するように構成されることができる。ポリシマネージャ1442は、自律車両コントローラおよびその構成要素が、車両の自律動作に準拠するためにそれに基づいて動作する規則またはガイドラインとして見られ得るポリシを管理する。いくつかの事例において、修正または更新されたポリシが、そのようなポリシ変更を永続的にリリースまたは実施することの有効性を確認するために、シミュレータ1440に適用されてもよい。
【0053】
シミュレータインターフェースコントローラ1414は、シミュレータ1440とテレオペレータコンピューティングデバイス1404との間のインターフェースを提供するように構成されている。例えば、自律車両の群からのセンサデータが、自律(「AV」)群データ1470を介して基準データアップデータ1438に適用され、それによって、基準データアップデータ1438が更新されたマップおよびルートデータ1439を生成するように構成されると考える。いくつかの実施態様において、更新されたマップおよびルートデータ1439は、事前に、マップデータリポジトリ1420および1422内のデータに対する更新として、または、ルートデータリポジトリ1424内のデータに対する更新としてリリースされることができる。この事例において、そのようなデータは、例えば、事前に更新されている情報を含むマップタイルが自律車両によって使用されるときに、テレオペレータサービスを要求するためのより低い閾値が実施され得る「ベータバージョン」であるものとしてタグ付けされ得る。さらに、更新されたマップおよびルートデータ1439は、更新されたマップデータを検証するためにシミュレータ1440に導入され得る。(例えば、ベータ試験の終了時の)全リリースを受けて、マップタイルに関するテレオペレータサービスを要求するための以前に下げられていた閾値はキャンセルされる。ユーザインターフェースグラフィックスコントローラ1410は、豊富なグラフィックスをテレオペレータ1408に提供し、それによって、自律車両の群が、シミュレータ1440内でシミュレートされることができ、シミュレートされている自律車両の群があたかも現実であるかのように、テレオペレータコンピューティングデバイス1404を介してアクセスされることができる。
【0054】
図15は、いくつかの実施形態による、自律車両を制御するためのフロー図の例である。1502において、フロー1500が開始する。自律車両の群を管理するためのメッセージデータが、テレオペレータコンピューティングデバイスにおいて受信され得る。メッセージデータは、自律車両のプランニングされている経路の文脈において非規範的動作状態と関連付けられるイベント属性を示すことができる。例えば、イベントは、例えば信号機に違反して急いで通りを渡っている多数の歩行者に起因して問題になる特定の交差点として特性化され得る。イベント属性は、例えば、通りを渡っている人間の数、増大した数の歩行者からもたらされる交通遅延などのようなイベントの特性を記述する。1504において、遠隔操作リポジトリは、自律車両のグループと関連付けられる、集約されているデータのシミュレートされている動作に基づいて、推奨の第1のサブセットを取り出すためにアクセスされることができる。この事例において、シミュレータは、それをもってテレオペレータが実施することができる推奨のソースであり得る。さらに、遠隔操作リポジトリはまた、同様のイベント属性に応答したテレオペレータ相互作用の集約に基づいて、推奨の第2のサブセットを取り出すためにアクセスされることもできる。特に、テレオペレータ相互作用キャプチャアナライザは、テレオペレータの支援を求める以前の要求に基づいて同様の属性を有するイベントにいかに最良に応答すべきかを経験的に決定するために、機械学習技法を適用することができる。1506において、推奨の第1のサブセットおよび第2のサブセットが、自律車両に対する推奨される方策のセットを形成するために、組み合わされる。1508において、推奨される方策のセットの表現が、テレオペレータコンピューティングデバイスのディスプレイ上に、視覚的に提示されることができる。1510において、推奨される方策の(例えば、テレオペレータによる)選択を表現するデータ信号が検出されることができる。
【0055】
図16は、いくつかの例による、群最適化マネージャを実施する自律車両群マネージャの例の図である。図の1600は、道路網1650内を移動する自律車両の群1630を管理するように構成されている自律車両群マネージャを示す。自律車両群マネージャ1603は、テレオペレータコンピューティングデバイス1604を介してテレオペレータ1608に結合されており、また、群管理データリポジトリ1646にも結合されている。自律車両群マネージャ1603は、ポリシデータ1602および環境データ1606、ならびに他のデータを受信するように構成されている。さらに図の1600について、群最適化マネージャ1620は、移動要求プロセッサ1631を含むように示されており、移動要求プロセッサ1631は、群データエクストラクタ(fleet data extractor)1632および自律車両派遣最適化カリキュレータ1634を含む。移動要求プロセッサ1631は、自律車両サービスを要求しているユーザ1688からのもののような、移動要求を処理するように構成されている。群データエクストラクタ1632は、群内の自律車両に関係するデータを抽出するように構成されている。各自律車両と関連付けられるデータはリポジトリ1646内に格納されている。例えば、各車両に関するデータは、保守管理課題、スケジューリングされているサービス依頼、日常の使用状況、電池充電および放電率、および任意の他のデータを記述することができ、これらは、リアルタイムに更新されることができ、休止時間を最小化するために自律車両の群を最適化する目的のために使用されることができる。自律車両派遣最適化カリキュレータ1634は、抽出されたデータを分析し、ステーション1652などからの派遣される次の車両が、自律車両サービスについて、集合の中で最小の走行時間および/または費用を提供することを保証するように、群の最適化された使用状況を計算するように構成されている。
【0056】
群最適化マネージャ1620は、混合自律車両/非自律車両プロセッサ1640を含むように示されており、混合自律車両/非自律車両プロセッサ1640は、AV/非AV最適化カリキュレータ1642および非AVセレクタ1644を含む。いくつかの例によれば、混合自律車両/非自律車両プロセッサ1640は、自律車両および人間によって運転される車両(例えば、独立請負人としての)からなる混合群を管理するように構成されている。そのため、自律車両サービスは、過剰な需要を満たすために、または、地理上のフェンスを越える場合がある非AVサービス領域1690のような領域、または、不満足な通信カバレージの領域において非自律車両を利用することができる。AV/非AV最適化カリキュレータ1642は、自律車両群の使用状況を最適化し、非AV運転者を輸送サービスに(例えば、自律車両サービスに対する損害を最小限にして、または、損害がまったくないように)招聘するように構成されている。非AVセレクタ1644は、AV/非AV最適化カリキュレータ1642によって導出される計算に基づいて、支援するための非AV運転者の数を選択するための論理を含む。
【0057】
図17は、いくつかの実施形態による、自律車両の群を管理するためのフロー図の例である。1702において、フロー1700が開始する。1702において、ポリシデータが受信される。ポリシデータは、移動要求にサービスするために自律車両を選択するためにいかに最良に適用するかを規定するパラメータを含むことができる。1704において、リポジトリからの群管理データが抽出され得る。群管理データは、自律車両のプールに関するデータのサブセットを含む(例えば、データは、輸送要求にサービスするために車両の準備ができているかを記述する)。1706において、移動要求を表現するデータが受信される。例示的な目的のために、移動要求は、第1の地理的ロケーションから第2の地理的ロケーションへの輸送手段に対するものであり得る。1708において、ポリシデータに基づく属性が、要求にサービスするために利用可能である自律車両のサブセットを決定するために計算される。例えば、属性は、電池充電レベル、および、次にスケジューリングされている保守管理までの時間を含んでもよい。1710において、自律車両が、第1の地理的ロケーションから第2の地理的ロケーションへの輸送手段として選択され、自律車両を、移動要求の起点と関連付けられる第3の地理的ロケーションに派遣するためのデータが生成される。
【0058】
図18は、いくつかの実施形態による、自律車両通信リンクマネージャを実施する自律車両群マネージャを示す図である。図の1800は、「低減された通信の領域」1880として識別される領域における通信機能停止と一致する道路網1850内を移動する自律車両の群1830を管理するように構成されている自律車両群マネージャを示す。自律車両群マネージャ1803は、テレオペレータコンピューティングデバイス1804を介してテレオペレータ1808に結合されている。自律車両群マネージャ1803は、ポリシデータ1802および環境データ1806、ならびに他のデータを受信するように構成されている。さらに図の1800について、自律車両通信リンクマネージャ1820が、環境イベントディテクタ(environment event detector)1831、ポリシ適合デタミネータ1832、および移動要求プロセッサ1834を含むように示されている。環境イベントディテクタ1831は、自律車両サービスが実施されている環境内の変化を指定する環境データ1806を受信するように構成されている。例えば、環境データ1806は、領域1880が劣化した通信サービスを有し、これによって自律車両サービスに影響を与える可能性があることを指定することができる。ポリシ適合デタミネータ(policy adaption determinator)1832は、そのようなイベントの間に(例えば、通信の喪失の間に)移動要求を受信するときに適用すべきパラメータを指定することができる。移動要求プロセッサ1834は、劣化した通信を考慮して移動要求を処理するように構成されている。この例において、ユーザ1888が、自律車両サービスを要求している。さらに、移動要求プロセッサ1834は、不満足な通信に起因する複雑化を回避するように自律車両が派遣される方法を修正するための、適合されたポリシを適用するための論理を含む。
【0059】
通信イベントディテクタ1840が、ポリシダウンロードマネージャ1842と、通信設定された(「COMM設定された」)AVディスパッチャ1844とを含む。ポリシダウンロードマネージャ1842は、低減された通信の領域1880を考慮して自律車両1830に更新されたポリシを提供するように構成されており、それによって、更新されたポリシは、自律車両が領域1880に入る場合に、その領域を迅速に出るためのルートを指定することができる。例えば、自律車両1864は、領域1880に入る前の時点で、更新されたポリシを受信することができる。通信の喪失を受けて、自律車両1864は、更新されたポリシを実施し、領域1880から迅速に出るためのルート1866を選択する。COMM設定されたAVディスパッチャ1844は、領域1880にわたるピアツーピアネットワークの確立に対する中継装置として構成される、自律車両を駐めるためのポイント1865を識別するように構成されることができる。そのため、COMM設定されたAVディスパッチャ1844は、ピアツーピアアドホックネットワークにおける電波塔として動作する目的のために、ロケーション1865に駐めるために自律車両1862(搭乗者なし)を派遣するように構成されている。
【0060】
図19は、いくつかの実施形態による、劣化または喪失した通信のようなイベント中の自律車両に対するアクションを決定するためのフロー図の例である。1901において、フロー1900が開始する。ポリシデータが受信され、それによって、ポリシデータは、イベント中に地理的領域における移動要求に適用するためのパラメータを規定する。1902において、以下のアクションのうちの1つまたは複数が実施され得る。(1)その地理的ロケーションの部分内の地理的ロケーションに自律車両のサブセットを派遣する。自律車両のサブセットは、特定の地理的ロケーションに駐まり、各々が静的通信中継装置としての役割を果たすか、または、各々が移動通信中継装置としての役割を果たすために、地理的領域内で移動するように構成されている。(2)その地理的領域の部分と関連付けられる自律車両のプールの部分の間でピアツーピア通信を実施する。(3)イベント中のその地理的領域の部分を脱出するためのルートを記述するイベントポリシを、自律車両に提供する。(4)遠隔操作を呼び出す。および(5)その地理的領域を回避するように、経路を再計算する。アクションの実施後、1914において、その自律車両の群が監視される。
【0061】
図20は、いくつかの実施形態による、ローカライザの例を示す図である。図の2000は、ライダデータ2072、カメラデータ2074、レーダデータ2076、および他のデータ2078のような、センサ2070からのセンサデータを受信するように構成されているローカライザ2068を含む。さらに、ローカライザ2068は、2Dマップデータ2022、3Dマップデータ2024、および3D局所的マップデータのような基準データ2020を受信するように構成されている。いくつかの例によれば、対応するデータ構造およびリポジトリを含む、4Dマップデータ2025および意味論的マップデータ(図示せず)のような他のマップデータも、実施されてもよい。さらに図の2000について、ローカライザ2068は、位置決めシステム2010および位置特定システム2012を含み、これらは両方とも、センサ2070からのセンサデータおよび基準データ2020を受信するように構成されている。位置特定データインテグレータ2014は、位置決めシステム2010からのデータおよび位置特定システム2012からのデータを受信するように構成されており、それによって、位置特定データインテグレータ2014は、局所的位置データ2052を形成するために複数のセンサからのセンサデータを統合または融合するように構成されている。
【0062】
図21は、いくつかの実施形態による、集積センサデータに基づいて局所的位置データを生成するためのフロー図の例である。2101において、フロー2100が開始する。2102において、基準データが受信され、基準データは、三次元マップデータを含む。いくつかの例において、3Dまたは4Dマップデータのような基準データが、1つまたは複数のネットワークを介して受信されてもよい。2104において、1つまたは複数の位置特定センサからの位置特定データが受信され、位置特定システム内に配置される。2106において、1つまたは複数の位置決めセンサからの位置決めデータが、位置決めシステム内に受信される。2108において、位置特定データおよび位置決めデータが統合される。2110において、自律車両の地理的位置を指定するローカル位置データを形成するために、位置特定データおよび位置決めデータが統合される。
【0063】
図22は、いくつかの実施形態による、ローカライザの別の例を示す図である。図の2200はローカライザ2268を含み、ローカライザ2268は、それぞれ位置決めに基づくデータ2250およびローカルなロケーションに基づくデータ2251を生成するための位置特定システム2210および相対位置特定システム2212を含む。位置特定システム2210は、他の任意選択のデータ(例えば、4Dマップデータ)の中でも、GPSデータ2273、GPSデータム2211、および3Dマップデータ2222を処理するための投影プロセッサ2254aを含む。位置特定システム2210はまた、他の任意選択のデータの中でも、ホイールデータ2275(例えば、ホイール速度)、車両モデルデータ2213および3Dマップデータ2222を処理するためのオドメトリプロセッサ2254bをも含む。さらにまた、位置特定システム2210は、他の任意選択のデータの中でも、IMUデータ2257、車両モデルデータ2215および3Dマップデータ2222を処理するためのインテグレータプロセッサ2254cを含む。同様に、相対位置特定システム2212は、他の任意選択のデータの中でも、ライダデータ2272、タイルマップデータ2220、3Dマップデータ2222、および3D局所的マップデータ2223を処理するためのライダ位置特定プロセッサ2254dを含む。相対位置特定システム2212はまた、他の任意選択のデータの中でも、カメラデータ2274、3Dマップデータ2222、および3D局所的マップデータ2223を処理するための視覚見当合わせプロセッサ2254eをも含む。さらにまた、相対位置特定システム2212は、他の任意選択のデータの中でも、レーダデータ2276、3Dマップデータ2222、および3D局所的マップデータ2223を処理するためのレーダ戻りプロセッサ2254fを含む。様々な例において、ソナーデータなどのような、他のタイプのセンサデータおよびセンサまたはプロセッサが実施されてもよいことに留意されたい。
【0064】
さらに図の2200について、位置特定に基づくデータ2250および相対位置特定に基づくデータ2251は、それぞれデータインテグレータ2266aおよび位置特定データインテグレータ2266に供給され得る。データインテグレータ2266aおよび位置特定データインテグレータ2266は、対応するデータを融合するように構成されることができ、それによって、位置特定に基づくデータ2250は、位置特定データインテグレータ2266において相対位置特定に基づくデータ2251と融合される前に、データインテグレータ2266aにおいて融合されることができる。いくつかの実施形態によれば、データインテグレータ2266aは、位置特定データインテグレータ2266の部分として形成されるか、または、不在である。それに関係なく、位置特定に基づくデータ2250および相対位置特定に基づくデータ2251は両方とも、ローカル位置データ2252を生成するためにデータを融合する目的のために、位置特定データインテグレータ2266に供給されることができる。位置特定に基づくデータ2250は、投影プロセッサ2254aからの単項制約データ(および不確定値)、ならびに、オドメトリプロセッサ2254bおよびインテグレータプロセッサ2254cからの二項制約データ(および不確定値)を含むことができる。相対位置特定に基づくデータ2251は、位置特定プロセッサ2254dおよび視覚見当合わせプロセッサ2254e、ならびに、任意選択的にレーダ戻りプロセッサ2254fからの単項制約データ(および不確定値)を含むことができる。いくつかの実施形態によれば、位置特定データインテグレータ2266は、カルマンフィルタ(例えば、ゲートカルマンフィルタ(gated Kalman filter))、相対バンドルアジャスタ(relative bundle adjuster)、ポーズグラフ緩和、粒子フィルタ、ヒストグラムフィルタなどのような非線形平滑化機能を実施することができる。
【0065】
図23は、いくつかの実施形態による、知覚エンジンの例を示す図である。図2300は、知覚エンジン2366を含み、知覚エンジン2366は、セグメンテーションプロセッサ2310、オブジェクトトラッカ2330、およびクラシファイヤ2360を含む。さらに、知覚エンジン2366は、例えば、ローカル位置データ2352、ライダデータ2372、カメラデータ2374、およびレーダデータ2376を受信するように構成されている。ソナーデータのような他のセンサデータが、知覚エンジン2366の機能を提供するためにアクセスされてもよいことに留意されたい。セグメンテーションプロセッサ2310は、グランドプレーンデータを抽出し、および/または、画像の部分をセグメント化して、オブジェクトを互いから、および静的画像(例えば、背景)から区別するように構成されている。いくつかの事例において、3Dブロブが、互いを区別するためにセグメント化されることができる。いくつかの例において、ブロブは、空間的に再生された環境内でオブジェクトを識別する特徴のセットを参照することができ、強度および色のような、同様の特性を有する要素(例えば、カメラデータのピクセル、レーザ戻りデータのポイントなど)から構成されることができる。いくつかの例において、ブロブはまた、(例えば、色付けされたレーザ戻りデータから構成される)ポイントクラウドまたはオブジェクトを構成する他の要素を参照することもできる。オブジェクトトラッカ2330は、ブロブ、または他のセグメント化された画像部分の動きのフレームごとの推定を実施するように構成されている。さらに、時刻t1における第1のフレーム内の1つのロケーションにあるブロブを、時刻t2における第2のフレーム内の異なるロケーションにあるブロブと関連付けるために、データ関連付けが使用される。いくつかの例において、オブジェクトトラッカ2330は、ブロブのような3Dオブジェクトのリアルタイムの確率的追跡を実施するように構成されている。クラシファイヤ2360は、オブジェクトを識別し、そのオブジェクトを分類タイプ(例えば、歩行者、自転車利用者などとして)によっておよびエネルギー/活動(例えば、オブジェクトが動的であるかまたは静的であるか)によって分類するように構成されており、それによって、分類を表現するデータは、意味ラベルによって記述される。いくつかの実施形態によれば、オブジェクトクラスごとに異なる信頼性で、オブジェクトを車両、自転車利用者、歩行者などとして分類することのような、オブジェクトカテゴリの確率的推定が実施されることができる。知覚エンジン2366は、知覚エンジンデータ2354を決定するように構成されており、知覚エンジンデータ2354は、静的オブジェクトマップおよび/または動的オブジェクトマップならびに意味情報を含むことができ、それによって、例えば、プランナは、この情報を使用して、経路プランニングを強化することができる。様々な例によれば、セグメンテーションプロセッサ2310、オブジェクトトラッカ2330、およびクラシファイヤ2360のうちの1つまたは複数は、知覚エンジンデータ2354を生成するために機械学習技法を適用することができる。
【0066】
図24は、いくつかの実施形態による、知覚エンジンデータを生成するためのフロー図の例である。フロー図の2400は2402において開始し、自律車両のローカル位置を表現するデータが取り出される。2404において、1つまたは複数の位置特定センサからの位置特定データが受信され、2406において、セグメント化されたオブジェクトを形成するために、自律車両が配置されている環境の特徴がセグメント化される。2408において、動き(例えば、推定される動き)を有する少なくとも1つの追跡されているオブジェクトを形成するために、セグメント化されたオブジェクトの1つまたは複数の部分が空間的に追跡される。2410において、追跡されているオブジェクトが、少なくとも静的オブジェクトまたは動的オブジェクトのいずれかであるものとして分類される。いくつかの事例において、静的オブジェクトまたは動的オブジェクトは、分類タイプと関連付けられることができる。2412において、分類されたオブジェクトを識別するデータが生成される。例えば、分類されたオブジェクトを識別するデータは、意味情報を含むことができる。
【0067】
図25は、いくつかの実施形態による、セグメンテーションプロセッサの例である。図の2500は、1つまたは複数のライダ 2572からのライダデータおよび1つまたは複数のカメラ2574からのカメラ画像データを受信するセグメンテーションプロセッサ2510を示す。局所的位置データ2552、ライダデータ、およびカメラ画像データが、メタスピンジェネレータ(meta spin generator)2521へと受信される。いくつかの例において、メタスピンジェネレータは、様々な属性(例えば、色、強度など)に基づいて、画像を区別可能な領域(例えば、ポイントクラウドのクラスタまたはグループ)へと分割するように構成されており、そのうちの少なくとも2つ以上は、同時にまたはほぼ同時に更新されることができる。メタスピンデータ2522が、セグメンテーションプロセッサ2523においてオブジェクトセグメンテーションおよびグランドセグメンテーション(ground segmentation)を実施するために使用され、それによって、メタスピンデータ2522とセグメンテーションプロセッサ2523からのセグメンテーション関連データの両方が、走査されている差分のプロセッサ(scanned differencing processor)2513に適用される。走査されている差分のプロセッサ2513は、セグメント化された画像部分の動きおよび/または相対速度を予測するように構成されており、これは、2517において動的オブジェクトを識別するために使用されることができる。2517において検出された速度を有するオブジェクトを示すデータが、任意選択的に、経路プランニング決定を強化するためにプランナに送信される。加えて、走査されている差分のプロセッサ2513からのデータは、そのようなオブジェクトのマッピングを形成する(また、任意選択的に、動きのレベルを識別する)ためにオブジェクトのロケーションを近似するために使用することができる。いくつかの例において、占有格子マップ2515が生成されることができる。占有格子マップ2515を表現するデータは、(例えば、不確定性を低減することによって)経路プランニング決定をさらに強化するために、プランナに送信されることができる。さらに図の2500について、1つまたは複数のカメラ2574からの画像カメラデータが、ブロブクラシファイヤ2520においてブロブを分類するために使用され、ブロブクラシファイヤ2520はまた、セグメンテーションプロセッサ2523からブロブデータ2524も受信する。セグメンテーションプロセッサ2510はまた、レーダ関連ブロブデータ2516を生成するレーダセグメンテーションプロセッサ2514においてセグメンテーションを実施するために、1つまたは複数のレーダ2576から未処理レーダ戻りデータ2512を受信することもできる。さらに図25について、セグメンテーションプロセッサ2510はまた、レーダデータに関係付けられる、追跡されているブロブのデータ2518を受信および/または生成することもできる。ブロブデータ2516、追跡されているブロブのデータ2518、ブロブクラシファイヤ2520からのデータ、および、ブロブデータ2524はオブジェクトまたはその部分を追跡するために使用されることができる。いくつかの例によれば、以下、すなわち、走査されている差分のプロセッサ2513、ブロブ分類2520、およびレーダ2576からのデータのうちの1つまたは複数は、任意選択であってもよい。
【0068】
図26Aは、様々な実施形態による、オブジェクトトラッカおよびクラシファイヤの例を示す図である。図の2600のオブジェクトトラッカ2630は、ブロブデータ2516、追跡されているブロブのデータ2518、ブロブクラシファイヤ2520からのデータ、ブロブデータ2524、および1つまたは複数のカメラ2676からのカメラ画像データを受信するように構成されている。画像トラッカ2633は、追跡されている画像のデータを生成するために、1つまたは複数のカメラ2676からのカメラ画像データを受信するように構成されており、追跡されている画像のデータは、データ関連付けプロセッサ2632に提供されることができる。示されているようにデータ関連付けプロセッサ2632は、ブロブデータ2516、追跡されているブロブのデータ2518、ブロブクラシファイヤ2520からのデータ、ブロブデータ2524、および画像トラッカ2633からの追跡画像データを受信するように構成されており、上述されているタイプのデータの間の1つまたは複数の関連付けを識別するようにさらに構成されている。データ関連付けプロセッサ2632は、とりわけ例えば、動きを推定するために、フレームごとに、例えば、様々なブロブデータを追跡するように構成されている。さらに、データ関連付けプロセッサ2632によって生成されるデータは、トラックアップデータ(track updater)2634によって、1つまたは複数のトラック、または追跡されているオブジェクトを更新するために使用されることができる。いくつかの例において、トラックアップデータ2634は、オンラインでトラックデータベース(「DB」)2636に格納することができる、追跡されているオブジェクトの更新されたデータを形成するために、カルマンフィルタなどを実施することができる。フィードバックデータが、データ関連付けプロセッサ2632とトラックデータベース2636との間で経路2699を介して交換されることができる。いくつかの例において、画像トラッカ2633は、任意選択であってもよく、除外されてもよい。オブジェクトトラッカ2630はまた、例えば、レーダまたはソナー、および、任意の他のタイプのセンサデータのような他のセンサデータを使用してもよい。
【0069】
図26Bは、少なくともいくつかの例による、オブジェクトトラッカの別の例を示す図である。図の2601は、1つまたは複数の他の図面(例えば図26A)に関連して記述されている、同様に名付けられている要素としての構造および/または機能を含むことができるオブジェクトトラッカ2631を含む。示されているように、オブジェクトトラッカ2631は、オブジェクト走査見当合わせおよびデータ融合を実施するように構成されているプロセッサ2696を含む任意選択の見当合わせ部分2699を含む。プロセッサ2696は、結果もたらされるデータを3Dオブジェクトデータベース2698に格納するようにさらに構成されている。
【0070】
図26Aに戻って参照すると、図の2600はまた、クラシファイヤ2660をも含み、クラシファイヤ2660は、静的障害物データ2672および動的障害物データ2674を生成するためのトラック分類エンジン2662を含むことができ、これらのデータは両方とも、経路プランニング目的のためにプランナに送信されることができる。少なくとも1つの例において、トラック分類エンジン2662は、障害物が静的であるかまたは動的であるか、および、オブジェクトの別の分類タイプ(例えば、オブジェクトが車両、歩行者、樹木、自転車利用者、犬、猫、紙袋などであるか)を決定するように構成されている。静的障害物データ2672は、障害物マップ(例えば、2D占有マップ)の部分として形成されることができ、動的障害物データ2674は、速度および分類タイプを示すデータを有する境界ボックスを含むように形成されることができる。動的障害物データ2674は、少なくともいくつかの事例において、2D動的障害物マップデータを含む。
【0071】
図27は、いくつかの例による、知覚エンジンのフロントエンドプロセッサの例である。図の2700は、様々な例によれば、グランドセグメンテーションを実施するためのグランドセグメンテーションプロセッサ2723aおよび「オーバーセグメンテーション」を実施するためのオーバーセグメンテーションプロセッサ2723bを含む。プロセッサ2723aおよび2723bは、任意選択的に色付けされたライダデータ2775を受信するように構成されている。オーバーセグメンテーションプロセッサ2723bは、第1のブロブタイプ(例えば、相対的に小さいブロブ)のデータ2710を生成し、このデータは、第2のブロブタイプのデータ2714を生成する集約分類・セグメンテーションエンジン(aggregation classification and segmentation engine)2712に提供される。データ2714は、データ関連付けプロセッサ2732に提供され、データ関連付けプロセッサ2732は、データ2714がトラックデータベース2736内に存在するか否かを検出するように構成されている。2740において、第2のブロブタイプ(例えば、1つまたは複数のより小さいブロブを含み得る相対的に大きいブロブ)のデータ2714が新たなトラックであるか否かの決定が行われる。そうである場合、2742においてトラックが初期化され、そうでない場合、トラックデータベース2736に格納されている、追跡されているオブジェクトデータおよびそのトラックが、トラックアップデータ2742によって拡張または更新されることができる。トラック分類エンジン2762は、トラックを識別し、例えば、トラック関連データを追加、除去または修正することによって、トラックを更新/修正するために、トラックデータベース2736に結合されている。
【0072】
図28は、様々な実施形態による、合成環境において自律車両をシミュレートするように構成されているシミュレータを示す図である。図の2800は、シミュレートされた環境2803を生成するように構成されているシミュレータ2840を含む。示されているように、シミュレータ2840は、シミュレートされた環境2803内に、シミュレートされた表面2892aおよび2892bのようなシミュレートされた幾何学的形状を生成するために、基準データ2822(例えば、3Dマップデータおよび/もしくは他のマップ、または、RNDFデータもしくは同様の道路網データを含むルートデータ)を使用するように構成されている。シミュレートされた表面2892aおよび2892bは、道路に隣接する建造物の壁または側面をシミュレートすることができる。シミュレータ2840はまた、合成環境において動的な作用因子をシミュレートするために、動的オブジェクトデータを事前に生成または手続き的に生成することもできる。動的な作用因子の例は、シミュレートされた動的オブジェクト2801であり、これは、一定の速度を有するシミュレートされた自転車利用者を表す。シミュレートされた動的な作用因子は、任意選択的に、シミュレートされた自律車両を含む、シミュレートされた環境内の他の静的な作用因子および動的な作用因子に応答することができる。例えば、シミュレートされたオブジェクト2801は、予め設定された軌道に従うのではなく、シミュレートされた環境2803内の他の障害物のために減速することができ、それによって、現実世界に存在する実際の動的な環境のより現実的なシミュレーションを生成する。
【0073】
シミュレータ2840は、シミュレートされた自律車両コントローラ2847を生成するように構成されることができ、シミュレートされた自律車両コントローラ2847は、知覚エンジン2866、ローカライザ2868、モーションコントローラ2862、およびプランナ2864の合成適合を含み、これらの各々は、シミュレートされた環境2803内で本明細書において記述されている機能を有することができる。シミュレータ2840はまた、異なるセンサモダリティおよび異なるセンサデータフォーマットとのデータ交換をシミュレートするためのシミュレートされたインターフェース(「I/F」)2849を生成することもできる。そのため、シミュレートされたインターフェース2849は、例えば、シミュレートされたライダセンサ2872から、パケット化されたデータのためのソフトウェアインターフェースをシミュレートすることができる。さらに、シミュレータ2840はまた、シミュレートされたAVコントローラ2847を実施するシミュレートされた自律車両2830を生成するように構成されることもできる。シミュレートされた自律車両2830は、シミュレートされたライダセンサ2872、シミュレートされたカメラまたは画像センサ2874、およびシミュレートされたレーダセンサ2876を含む。示されている例において、シミュレートされたライダセンサ2872は、光線追跡2892と一致するシミュレートされたレーザを生成するように構成されることができ、これによって、シミュレートされたセンサ戻り2891が生成される。シミュレータ2840は、ノイズの追加またはセンサデータに対する他の環境効果(例えば、シミュレートされたセンサ戻り2891に影響を与える追加された拡散または反射)をシミュレートすることができることに留意されたい。さらにまた、シミュレータ2840は、センサ機能不全、センサ誤較正、断続的なデータの機能停止などを含む、様々なセンサ欠陥をシミュレートするように構成されることができる。
【0074】
シミュレータ2840は、シミュレートされた自律車両2830の挙動のシミュレーションに使用するための、自律車両の機械的、静的、動的、および運動学的態様をシミュレートするための物理プロセッサ2850を含む。例えば、物理プロセッサ2850は、接触力学をシミュレートするための接触力学モジュール2851、シミュレートされているボディ間の相互作用をシミュレートするための衝突検出モジュール2852、および、シミュレートされている機械的相互作用間の相互作用をシミュレートするためのマルチボディ動態モジュール2854を含む。
【0075】
シミュレータ2840はまた、とりわけ、因果関係を決定するためにシミュレートされた環境2803の任意の合成的に生成された要素の機能を適合させるようにシミュレーションを制御するように構成されているシミュレータコントローラ2856をも含む。シミュレータ2840は、シミュレートされた環境2803の性能合成的に生成された要素を評価するためのシミュレータエバリュエータ(simulator evaluator)2858を含む。例えば、シミュレータエバリュエータ2858は、シミュレートされた車両コマンド2880(例えば、シミュレートされたステアリング角度およびシミュレートされた速度)を分析して、そのようなコマンドが、シミュレートされた環境2803内のシミュレートされた活動に対する適切な応答であるか否かを判定することができる。さらに、シミュレータエバリュエータ2858は、テレオペレータコンピューティングデバイス2804を介したテレオペレータ2808の、シミュレートされた自律車両2830との相互作用を評価することができる。シミュレータエバリュエータ2858は、シミュレートされた自律車両2830の応答を案内するために追加されることができる、更新されたマップタイルおよびルートデータを含む、更新された基準データ2827の効果を評価することができる。シミュレータエバリュエータ2858はまた、ポリシデータ2829が更新、削除、または追加されるときに、シミュレータAVコントローラ2847の応答を評価することもできる。シミュレータ2840の上記の記述は、限定であるようには意図されていない。そのため、シミュレータ2840は、静的特徴と動的特徴の両方を含む、シミュレートされた環境に対する自律車両の様々な異なるシミュレーションを実施するように構成されている。例えば、シミュレータ2840は、信頼性を保証するためにソフトウェアバージョンの変更を検証するために使用されることができる。シミュレータ2840はまた、車両動態特性を決定するために、および、較正目的のために使用されることもできる。さらに、シミュレータ2840は、自己シミュレーションによる学習を行うように、適用可能な制御および結果もたらされる軌道の空間を探索するために使用されることができる。
【0076】
図29は、いくつかの実施形態による、自律車両の様々な態様をシミュレートするためのフロー図の例である。フロー図の2900は2902において開始し、三次元マップデータを含む基準データがシミュレータへと受信される。2904において、分類されているオブジェクトの運動パターンを規定する動的オブジェクトデータが取り出されることができる。2906において、シミュレートされた環境が、少なくとも三次元(「3D」)マップデータおよび動的オブジェクトデータに基づいて形成される。シミュレートされた環境は、1つまたは複数のシミュレートされた表面を含むことができる。2908において、シミュレートされた環境の部分を形成するシミュレートされた自律車両コントローラを含む自律車両がシミュレートされる。自律車両コントローラは、センサデータを受信するように構成されているシミュレートされた知覚エンジンおよびシミュレートされたローカライザを含むことができる。2910において、少なくとも1つのシミュレートされたセンサ戻りに関するデータに基づいて、シミュレートされたセンサデータが生成され、2912において、合成環境内のシミュレートされた自律車両によって動き(例えば、ベクトル化された推進)を引き起こすためのシミュレートされた車両コマンドが生成される。2914において、シミュレートされた自律車両が、予想される挙動と一致して(例えば、ポリシと一致して)挙動したか否かを決定するために、シミュレートされた車両コマンドが評価される。
【0077】
図30は、いくつかの実施形態による、マップデータを生成するためのフロー図の例である。フロー図の3000は3002において開始し、軌道データが取り出される。軌道データは、一定の時間期間にわたって(例えば、ログ記録された軌道として)キャプチャされた軌道を含むことができる。3004において、少なくとも位置特定データが取り出されることができる。位置特定データは、一定の時間期間にわたって(例えば、ログ記録された位置特定データとして)キャプチャされることができる。3006において、位置特定データのサブセットを生成するために、カメラまたは他の画像センサが実施されることができる。そのため、取り出された位置特定データは、画像データを含むことができる。3008において、位置特定データのサブセットが、グローバル位置(例えば、全体的位置)を識別するために整列される。3010において、三次元(「3D」)マップデータが、グローバル位置に基づいて生成され、3012において、三次元マップデータが、例えば、手動ルートデータエディタ(例えば、RNDFエディタのような手動道路網データエディタを含む)、自動ルートデータジェネレータ(例えば、自動RNDFジェネレータを含む、自動道路網ジェネレータを含む)、自律車両の群、シミュレータ、テレオペレータコンピューティングデバイス、および、自律車両サービスの任意の他の構成要素による実施のために利用可能である。
【0078】
図31は、いくつかの実施形態による、マッピングエンジンのアーキテクチャを示す図である。図の3100は、軌道ログデータ3140、ライダログデータ3172、カメラログデータ3174、レーダログデータ3176、および他の任意選択のログ記録されたセンサデータ(図示せず)を受信するように構成されている3Dマッピングエンジンを含む。論理3141は、とりわけ、空間内の近傍のポイントが以前に訪れられていることをセンサデータが示すか否かを検出するように構成されている環閉合ディテクタ(loop-closure detector)3150を含む。論理3141はまた、1つまたは複数の見当合わせポイントに対して、いくつかの事例においては3Dマップデータを含むマップデータを整列させるための見当合わせコントローラ3152をも含む。さらに、論理3141は、ポーズグラフデータ3145を生成するように構成されているグローバルポーズグラフジェネレータ(global pose graph generator)3143によって使用するための環閉合の状態を表現するデータ3142を提供する。いくつかの例において、ポーズグラフデータ3145はまた、見当合わせ改良モジュール3146からのデータに基づいて生成されることもできる。論理3144は、3Dマッパ3154およびライダ自己較正ユニット3156を含む。さらに、論理3144は、3Dマップデータ3120(または、4Dマップデータのような他のマップデータ)を生成するために、センサデータおよびポーズグラフデータ3145を受信する。いくつかの例において、論理3144は、最適な三次元マップを形成するためにセンサデータおよび/またはマップデータを融合するために切断符号付き距離関数(「TSDF」)を実施することができる。さらに、論理3144は、テクスチャおよび反射特性を含むように構成されている。3Dマップデータ3120は、手動ルートデータエディタ3160(例えば、ルートデータまたは他のタイプのルートもしくは基準データを操作するためのエディタ)、自動ルートデータジェネレータ3162(例えば、ルートデータまたは他のタイプの道路網もしくは基準データを生成するように構成されている論理)、自律車両の群3164、シミュレータ3166、テレオペレータコンピューティングデバイス3168、および、自律車両サービスの任意の他の構成要素による使用のためにリリースされることができる。マッピングエンジン3110は、手動注釈または自動的に生成される注釈、および、ソナーまたは機器を備え付けられた環境(例えば、スマートストップランプ)のような他のセンサから意味情報をキャプチャすることができる。
【0079】
図32は、いくつかの実施形態による、自律車両アプリケーションを示す図である。図3200は、自律車両3230を介したユーザ3202の輸送手段を構成するために自律車両サービスプラットフォーム3201に接触するように構成されている自律サービスアプリケーション3240を含むモバイルコンピューティングデバイス3203を示す。示されているように、自律サービスアプリケーション3240は、コンピューティングデバイス(例えば、携帯電話3203など)上に存在するソフトウェアアプリケーションであってもよい輸送コントローラ3242を含むことができる。輸送コントローラ3242は、ユーザ3202がユーザのロケーションから目的地までの輸送手段を構成することができる自律車両および/または自律車両群に関係付けられる動作を受信、スケジューリング、選択、または実施するように構成されている。例えば、ユーザ3202は、車両3230を要求するためにアプリケーションを開くことができる。アプリケーションは、マップを表示することができ、ユーザ3202は、例えば、地理上のフェンス領域内で自身の目的地を示すためにピンをドロップすることができる。代替的に、アプリケーションは、近傍の予め指定された乗車ロケーションのリストを表示してもよく、または、ユーザに、住所もしくは名前のいずれかによって目的地をタイプするためのテキスト入力フィールドを提供してもよい。
【0080】
さらに、示されている例について、自律車両アプリケーション3240はまた、車両が接近しているときに、ユーザ3202が自律車両3230の近くの地理的領域、または、近傍にいることを検出するように構成されることができるユーザ識別コントローラ3246を含むこともできる。いくつかの状況において、ユーザ3202は、(例えば、トラック、自動車、タクシーを含む様々な他の車両、および都市環境において一般的である他の障害物に起因して)ユーザ3203による使用のための自律車両3230が接近しているときに、これを容易に知覚または識別しない場合がある。例において、自律車両3230は、(例えば、無線周波数(「RF」)信号の相対方向および信号強度を使用して)自律車両3230に対するユーザ3202の空間ロケーションを通信および/または決定するために、ワイヤレス通信リンク3262(例えば、WiFiまたはBLEを含むBluetooth(登録商標)のようなRF信号を介して)を確立することができる。いくつかの事例において、自律車両3230は、例えば、GPSデータなどを使用して、ユーザ3202の近似の地理的ロケーションを検出することができる。モバイルコンピューティングデバイス3203のGPS受信機(図示せず)は、自律車両サービスアプリケーション3240にGPSデータを提供するように構成されることができる。したがって、ユーザ識別コントローラ3246は、リンク3260を介して自律車両サービスプラットフォーム3201にGPSデータを提供することができ、自律車両サービスプラットフォーム3201は、リンク3261を介して自律車両3230にそのロケーションを提供することができる。その後、自律車両3230は、ユーザのGPSデータを、車両のGPSによって導出されるロケーションと比較することによって、ユーザ3202の相対距離および/または方向を決定することができる。
【0081】
自律車両3230はまた、ユーザの固有の顔特性に基づいて一般的にユーザ3202を検出するか、または、特にユーザ3202の識別情報(例えば、名前、電話番号など)を識別するための顔検出アルゴリズムを実施するように構成されている論理のような、ユーザ3202の存在を識別するための追加の論理をも含むことができる。さらに、自律車両3230は、ユーザ3202を識別するためのコードを検出するための論理を含むことができる。そのようなコードの例は、QRコード、カラーコードなどのような特殊化された視覚コード、声によって起動または認識されるコードなどのような特殊化されたオーディオコードなどを含む。いくつかの事例において、コードは、セキュアな進入および/または脱出を保証するためにリンク3262を介して自律車両3230にデジタルに送信されることができる、符号化されたセキュリティキーであってもよい。さらに、ユーザ3202を識別するための、上記で識別された技法のうちの1つまたは複数は、他者が自律車両3230に入るのを防止するように(例えば、ユーザ3202に到達する前に第三者が占有されていない自律車両に入らないことを保証するために)、ユーザ3202に進入および脱出の特権を与えるための安全確保された手段として使用されることができる。様々な例によれば、ユーザ3202を識別し、安全確保された進入および脱出を提供するための任意の他の手段がまた、自律車両サービスアプリケーション3240、自律車両サービスプラットフォーム3201、および自律車両3230のうちの1つまたは複数において実施されてもよい。
【0082】
ユーザ3302がその要求されている輸送手段の到達を識別するのを支援するために、自律車両3230は、自律車両3230がユーザ3202に接近するときにその存在をユーザ3202に通知または他の様態で警告するように構成されることができる。例えば、自律車両3230は、特定の光パターンに従って、1つまたは複数の発光デバイス3280(例えば、LEO)を起動することができる。特に、ユーザ3202の輸送手段要求にサービスするために自律車両3230が確保されていることを、ユーザ3202が容易に知覚することができるように、特定の光パターンが生成される。例として、自律車両3230は、ユーザ3202によって、そのような視覚的および時間的方法でその外部および内部ライトの「まばたき」または他のアニメーションとして知覚され得る光パターン3290を生成することができる。光のパターン3290は、ユーザ3202に対して、この車両がユーザが予約したものであることを識別するために、音声のパターンを伴ってまたは伴わずに生成されてもよい。
【0083】
いくつかの実施形態によれば、自律車両ユーザコントローラ3244は、自律車両の様々な機能を制御するように構成されているソフトウェアアプリケーションを実施することができる。さらに、アプリケーションは、自律車両を、その最初の目的地への移動中に方向転換またはルート変更するように構成されることができる。さらに、自律車両ユーザコントローラ3244は、内蔵論理に、例えばムード照明を行うために自律車両3230の内部照明を修正させるように構成されることができる。コントローラ3244はまた、オーディオのソース(例えば、Spotifyのような外部ソース、または、モバイルコンピューティングデバイス3203にローカルに格納されているオーディオ)を制御すること、搭乗のタイプを選択すること(例えば、所望される加速およびブレーキの積極性を修正すること、アクティブサスペンションパラメータを修正して「路面対処(road-handling)」特性のセットを選択して、振動を含む積極的な運転特性を実施すること、または、快適性のために振動が減衰されている「穏やかな搭乗(soft-ride)」品質を選択すること)などもできる。例えば、モバイルコンピューティングデバイス3203は、換気および温度のような、HVAC機能をも制御するように構成されることができる。
【0084】
図33図35は、様々な実施形態による、自律車両サービスの構成要素に様々な機能を提供するように構成されている様々なコンピューティングプラットフォームの例を示す。いくつかの例において、コンピューティングプラットフォーム3300は、コンピュータプログラム、アプリケーション、方法、プロセス、アルゴリズム、または上述されている技法を実施するための他のソフトウェアを実施するために使用されることができる。
【0085】
図33の様々な構造および/または機能は、図34および図35に適用可能であり、そのため、それらの図面のいくつかの要素は、図33の文脈において論じられ得ることに留意されたい。
【0086】
いくつかの事例において、コンピューティングプラットフォーム3300は、自律車両3391内に配置されることができるコンピューティングデバイス3390a、および/またはモバイルコンピューティングデバイス3390bのような任意のデバイス内に配置されることができる。
【0087】
コンピューティングプラットフォーム3300は、情報を通信するためのバス3302または他の通信メカニズムを含み、これは、例えば、プロセッサを有するモバイルコンピューティングおよび/または通信デバイスを含むコンピューティングデバイスと通信するための通信リンク3321上でのポートを介した通信を促進するために、プロセッサ3304、システムメモリ3306(例えば、RAMなど)、記憶装置3308(例えば、ROMなど)、メモリ内キャッシュ(RAM 3306またはコンピューティングプラットフォーム3300の他の部分内で実施されることができる)、通信インターフェース3313(例えば、Ethernetまたはワイヤレスコントローラ、Bluetoothコントローラ、NFC論理など)のようなサブシステムおよびデバイスを相互接続する。プロセッサ3304は、1つまたは複数のグラフィックスプロセッシングユニット(「GPU」)、Intel(登録商標) Corporationによって製造されるもののような1つまたは複数の中央処理装置(「CPU」)、または1つまたは複数の仮想プロセッサ、およびCPUと仮想プロセッサとの任意の組み合わせによって実施されることができる。コンピューティングプラットフォーム3300は、限定ではないが、キーボード、マウス、オーディオ入力(例えば、発話-テキストデバイス)、ユーザインターフェース、ディスプレイ、モニタ、カーソル、タッチセンサ式ディスプレイ、LCDまたはLEDディスプレイ、および他のI/O関連デバイスを含む入出力デバイス3301を介して入力および出力を表現するデータを交換する。
【0088】
いくつかの例によれば、コンピューティングプラットフォーム3300は、システムメモリ3306に格納されている1つまたは複数の命令の1つまたは複数のシーケンスを実行するプロセッサ3304によって特定の動作を実施し、コンピューティングプラットフォーム3300は、クライアント-サーバ構成、ピアツーピア構成において、または、スマートフォンなどを含む任意のモバイルコンピューティングデバイスとして実施されることができる。そのような命令またはデータは、記憶装置3308のような別のコンピュータ可読媒体からシステムメモリ3306へと読み出されることができる。いくつかの例において、ソフトウェア命令の代わりにまたはソフトウェアと組み合わせて、配線回路が実施のために使用されてもよい。命令は、ソフトウェアまたはファームウェアにおいて具現化されることができる。「コンピュータ可読媒体」という用語は、実行のためにプロセッサ3304に命令を提供することに関与する任意の有形媒体を参照する。そのような媒体は、限定ではないが、不揮発性媒体および揮発性媒体を含む多くの形態をとることができる。不揮発性媒体は、例えば、光または磁気ディスクなどを含む。揮発性媒体は、システムメモリ3306のようなダイナミックメモリを含む。
【0089】
一般的な形態のコンピュータ可読媒体は、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、もしくは任意の他の磁気媒体、CD-ROM、任意の他の光学媒体、パンチカード、紙テープ、穴のパターンを有する任意の他の物理媒体、RAM、PROM、EPROM、FLASHEPROM、任意の他のメモリチップもしくはカートリッジ、または、コンピュータがそこから読み出すことができる任意の他の媒体を含む。命令は、さらに、伝送媒体を使用して送信または受信されることができる。「伝送媒体」という用語は、機械によって実行するための命令を格納、符号化または搬送することが可能である任意の有形または無形媒体を含むことができ、デジタルもしくはアナログ通信信号、または、そのような命令の通信を促進するための他の無形媒体を含む。伝送媒体は、コンピュータデータ信号を伝送するためのバス3302を含むワイヤを含む、同軸ケーブル、銅線、および光ファイバを含む。
【0090】
いくつかの例において、命令のシーケンスの実行は、コンピューティングプラットフォーム3300によって実施されることができる。いくつかの例によれば、コンピューティングプラットフォーム3300は、互いに協働して(または互いに対して非同期的に)命令のシーケンスを実施するために、通信リンク3321(例えば、LAN、PSTNのような有線ネットワーク、または、様々な規格およびプロトコルのWiFi、Bluetooth(登録商標)、NFC、Zig-Bee等を含む任意のワイヤレスネットワーク)によって任意の他のプロセッサに結合されることができる。コンピューティングプラットフォーム3300は、通信リンク3321および通信インターフェース3313を通じて、プログラムコード(例えば、アプリケーションコード)を含むメッセージ、データ、および命令を送信および受信することができる。受信されるプログラムコードは、受信されるときにプロセッサ3304によって実行されてもよく、および/または、後の実行のためにメモリ3306または他の不揮発性記憶装置に格納されてもよい。
【0091】
示されている例において、システムメモリ3306は、本明細書において記述されている機能を実施するための実行可能命令を含む様々なモジュールを含むことができる。システムメモリ3306は、オペレーティングシステム(「O/S」)3332、ならびに、アプリケーション3336および/または論理モジュール3359を含むことができる。図33に示されている例において、システムメモリ3306は、自律車両(「AV」)コントローラモジュール3350および/またはその構成要素(例えば、知覚エンジンモジュール、位置特定モジュール、プランナモジュール、および/またはモーションコントローラモジュール)を含み、それらのうちのいずれか、または、それらの1つもしくは複数の部分は、本明細書において記述されている1つまたは複数の機能を実施することによって、自律車両サービスを促進するように構成されることができる。
【0092】
図34に示されている例を参照すると、システムメモリ3306は、自律車両サービスプラットフォームモジュール3450および/またはその構成要素(例えば、テレオペレータマネージャ、シミュレータなど)を含み、それらのうちのいずれか、または、それらの1つもしくは複数の部分は、本明細書において記述されている1つまたは複数の機能を実施することによって、自律車両サービスの管理を促進するように構成されることができる。
【0093】
図35に示されている例を参照すると、システムメモリ3306は、例えば、モバイルコンピューティングデバイスにおける使用のために、自律車両(「AV」)モジュールおよび/またはその構成要素を含む。モジュール3550の1つまたは複数の部分は、本明細書において記述されている1つまたは複数の機能を実施することによって、自律車両サービスの送達を促進するように構成されることができる。
【0094】
図33に戻って参照すると、上述されている特徴のうちのいずれかの構造および/または機能は、ソフトウェア、ハードウェア、ファームウェア、回路、またはそれらの組み合わせにおいて実施されることができる。上記の構造および構成要素ならびにそれらの機能は、1つまたは複数の他の構造または要素とともに集約されてもよいことに留意されたい。代替的に、要素およびそれらの機能は、もしあれば、構成部分要素に分割されることができる。ソフトウェアとして、上述されている技法は、様々なタイプのプログラミングまたはフォーマット言語、フレームワーク、構文、アプリケーション、プロトコル、オブジェクト、または技法を使用して実施されてもよい。ハードウェアおよび/またはファームウェアとして、上述されている技法は、フィールドプログラマブルゲートアレイ(「FPGA」)、特定用途向け集積回路(「ASIC」)、または任意の他のタイプの集積回路を設計するように構成されている任意のレジスタ転送言語(「RTL」)のようなハードウェア記述言語を含む、様々なタイプのプログラミングまたは集積回路設計言語を使用して実施されてもよい。いくつかの実施形態によれば、「モジュール」という用語は、例えば、ハードウェア回路もしくはソフトウェアのいずれか、または、それらの組み合わせにおいて実施されるアルゴリズムもしくはその部分、および/または論理を参照することができる。これらは、変更されることができ、提供されている例または記述に限定されない。
【0095】
いくつかの実施形態において、図33のモジュール3350、図34のモジュール3450、および図35のモジュール3550、またはそれらの構成要素のうちの1つもしくは複数、または本明細書において記述されている任意のプロセスもしくはデバイスは、携帯電話またはコンピューティングデバイスのようなモバイルデバイスと(例えば、有線またはワイヤレスで)通信することができ、または、その中に配置されることができる。
【0096】
いくつかの事例において、モバイルデバイス、または、1つもしくは複数のモジュール3359(図33のモジュール3350、図34のモジュール3450、および図35のモジュール3550)もしくはその構成要素のうちの1つもしくは複数と通信する任意のネットワーク接続されているコンピューティングデバイス(図示せず)(または本明細書において記述されている任意のプロセスまたはデバイス)は、本明細書において記述されている特徴のうちのいずれかの構造および/または機能のうちの少なくともいくつかを提供することができる。上述されている図面に示されているように、上述されている特徴のうちのいずれかの構造および/または機能は、ソフトウェア、ハードウェア、ファームウェア、回路、またはそれらの任意の組み合わせにおいて実施されることができる。上記の構造および構成要素ならびにそれらの機能は、1つまたは複数の他の構造または要素とともに集約され、または、組み合わされてもよいことに留意されたい。代替的に、要素およびそれらの機能は、もしあれば、構成部分要素に分割されることができる。ソフトウェアとして、上述されている技法のうちの少なくともいくつかは、様々なタイプのプログラミングまたはフォーマット言語、フレームワーク、構文、アプリケーション、プロトコル、オブジェクト、または技法を使用して実施されてもよい。例えば、図面のうちのいずれかに示されている要素のうちの少なくとも1つは、1つまたは複数のアルゴリズムを表現することができる。または、それらの要素のうちの少なくとも1つは、構成構造および/または機能を提供するように構成されているハードウェアの部分を含む、論理の部分を表現することができる。
【0097】
例えば、図33のモジュール3350、図34のモジュール3450、および図35のモジュール3550、またはその構成要素のうちの1つもしくは複数、または本明細書において記述されている任意のプロセスもしくはデバイスは、メモリ内の1つまたは複数のアルゴリズムを実行するように構成されている1つまたは複数のプロセッサを含む1つまたは複数のコンピューティングデバイス(すなわち、装着されるかまたは搬送されるかを問わず、ウェアラブルデバイス、オーディオデバイス(ヘッドフォンまたはヘッドセットなど)または携帯電話のような任意のモバイルコンピューティングデバイス)において実施されることができる。したがって、上述されている図面内の要素のうちの少なくともいくつかは、1つまたは複数のアルゴリズムを表現することができる。または、それらの要素のうちの少なくとも1つは、構成構造および/または機能を提供するように構成されているハードウェアの部分を含む、論理の部分を表現することができる。これらは、変更されることができ、提供されている例または記述に限定されない。
【0098】
ハードウェアおよび/またはファームウェアとして、上述されている構造技法は、フィールドプログラマブルゲートアレイ(「FPGA」)、特定用途向け集積回路(「ASIC」)、マルチチップモジュール、または任意の他のタイプの集積回路を設計するように構成されている任意のレジスタ転送言語(「RTL」)のようなハードウェア記述言語を含む、様々なタイプのプログラミング言語または集積回路設計言語を使用して実施されることができる。
【0099】
例えば、図33のモジュール3350、図34のモジュール3450、および図35のモジュール3550、またはその構成要素のうちの1つもしくは複数、または本明細書において記述されている任意のプロセスもしくはデバイスは、1つまたは複数の回路を含む1つまたは複数のコンピューティングデバイスにおいて実施されることができる。したがって、上述されている図面内の要素のうちの少なくとも1つは、ハードウェアの1つまたは複数の構成要素を表現することができる。または、それらの要素のうちの少なくとも1つは、構成構造および/または機能を提供するように構成されている回路の部分を含む、論理の部分を表現することができる。
【0100】
図36は、様々な例による、自律車両の群内の1つまたは複数の自律車両に更新されたポリシデータを提供するように構成されているポリシエクスプローラの実施態様を示す図の3600である。図の3600は、道路網3650の道路を自律的にナビゲートしている自律車両3630および3630a、ならびに、道路網3650の道路上で運転されている、運転者によって運転される車両3640を有する道路網3650を示す。道路網3650は、自律車両(例えば、3630、3630a)によって移動される領域(例えば、領域3624)を含むことができ、自律車両は、様々なシステム(例えば、プランナ、知覚、ローカライザおよびセンサシステム)を利用して、道路網3650の道路を自律的にナビゲートすることができる。自律車両(例えば、3630、3630a)によってそれらの移動中に検出されるオブジェクトは、知られている意味論的な分類を有するオブジェクト(例えば、以前に分類されているオブジェクト)、および、知られている意味論的な分類を有しない場合があるオブジェクトを含むことができる。同様に、自律車両(例えば、3630、3630a)によってそれらの移動中に遭遇されるイベントまたは条件は、以前の遭遇および/または分析(例えば、シミュレーションデータまたはテレオペレータデータを介した)に基づいて認識されるイベントまたは条件である場合があり、または、過去の遭遇および/または分析に基づいて認識されないイベントまたは条件である場合がある。道路網3650および/または他の道路網(3698によって示される)内の自律車両(例えば、車両3630および/または3630aのセンサシステム)によって取り込まれるデータは、自律車両の1つまたは複数のシステムによってその場で分析されることができ、かつ/または、以前は知られていなかったオブジェクトの新しい意味論的な分類を学習および指定し、かつ/もしくは、オブジェクト、条件もしくはイベントに基づいて代替的な候補軌道および/もしくは車両制御パラメータ(例えば、速度、電力消費など)を提供するために、分析のための外部リソースに通信されることができる。
【0101】
道路網3650は、例えば、自律車両3630および3630aの移動を制限または他の様態で制御することができる地理上のフェンス領域または地理上のフェンス領域の部分を表現することができる。自律車両3630および3630aは、例えば、自律車両の群のうちの自律車両のサブセットであってもよい。自律車両の群内の他の自律車両は、3698によって示されているような1つまたは複数の他の地理上のフェンス領域内で他の道路網を能動的にナビゲートされることができる。各自律車両3630および3630aは、各自律車両内に含まれるセンサシステムを使用して自律車両の外部の環境の検知を実施することができる。例えば、3630aとして示されている自律車両は、車両が道路網3650内の路面を自律的にナビゲートするときに、自律車両3630aの外部の環境を検知するためのセンサスイート3610a~3610dを含むことができる。センサスイート3610a~3610dは、例えば、自律車両3630aの周囲の360度の重なり合うセンサ範囲領域(破線の円3601aとして示されている)を提供するように構成されることができる。他の自律車両3630もまた、例えば、自律車両3630の周囲の360度の重なり合うセンサ範囲領域(破線の円3601として示されている)を提供するセンサスイートを含むことができる。
【0102】
さらに図の3600を参照すると、自律車両3630aは、例えば、概して矢印3632によって示されている路面3623の車線3622に沿った走行方向において、道路網3650の領域3624内で路面3623を自律的にナビゲートしている場合がある。車両3630aのセンサシステム(図示せず)は、路面3623上のまたは路面3623に近接するオブジェクトを検出することができ、それらのオブジェクトを示すセンサデータは、例えば、自律車両3630aの1つまたは複数のシステム(例えば、知覚システムおよび/またはプランナシステム)によって処理および分類されることができる。領域3624において、自律車両3630aの外部の環境は、以下の検出されるオブジェクト(例えば、処理されているセンサに基づいて、知覚システムによって分類されるオブジェクト)、すなわち、建造物3602、路面3623、車線マーカ3625、車線3622および3628、カーブ3626および3627、歩行者3620、消火栓3631、ならびに穴3634を含むことができるが、これらに限定されない。
【0103】
自律車両3630aのプランナ3670は、テレメトリデータ3671およびポリシデータ3672を含むがこれらに限定されないデータに基づいて、道路網3650内で自律車両3630aの自律制御を実施するように構成されることができる。テレメトリデータ3671は、例えば、自律車両3630aのセンサシステム内のセンサのセンサタイプおよびモダリティ(例えば、図3A内に示されている1つまたは複数のセンサ)によって生成されるセンサデータ3673、知覚エンジンによって生成されるデータ3675、ローカライザによって生成されるデータ3677、ならびに、モーションコントローラデータ3679を含むことができるが、これらに限定されない。テレメトリデータ3671は、3676によって示されているように、示されているよりも多くのデータまたはより少ないデータを含んでもよい。知覚エンジンデータ3675は、例えば、センサデータ3673から生成されるオブジェクトデータ、ならびに、領域3624内で検出される対象の静的オブジェクトおよび動的オブジェクトのロケーションのマップを含むことができる。ローカライザデータ3677は、例えば、自律車両3630aのロケーション、マップデータ、およびマップタイルデータと関連付けられる、少なくとも局所的位置データおよび/または位置データを含むことができる。モーションコントローラデータ3679は、例えば、自律車両3630aおよび3630のステアリング(例えば、ホイール角度)、速度または制動の変更を実施するために、自律車両のステアリング、スロットルまたは推進および制動機能と関連付けられるコマンドおよび/または信号を表すデータ(例えば、アクチュエータまたは自律車両の他の機械的インターフェースに適用される信号またはデータ)を含むことができる。
【0104】
ポリシデータ3672は、いくつかの例によれば、それをもって軌道を生成すべき十分な信頼水準を有する経路(例えば、選択される候補軌道)を決定するためにプランナ3670が使用する基準を実施するように構成されているデータ3674を含むことができる。データ3674の例は、軌道生成が外部オブジェクトまでの離れた距離によって抑制されることを指定するポリシ(例えば、可能な限り、自転車利用者から3フィートの安全緩衝を維持すること)、または、軌道が中央の二重黄色線をまたいではならないことを要求するポリシを含む。データ3674は、イベント(例えば、穴3634)および自律車両の動作状態(例えば、規範的または非規範的)などに応答してプランナ3670によって生成される候補軌道と関連付けられる信頼水準を表現するデータを含むことができるが、これに限定されない。いくつかの例において、データ3674は、テレオペレータによって生成されることができる。他の例において、データ3674は、シミュレータによって生成されることができる。また他の例において、データ3674は、自律車両3630aのプランナによって、または、別の自律車両(例えば、車両3630のうちの1つ内のプランナによって)生成されることができる。
【0105】
プランナ3670は、テレメトリデータ3671および/またはポリシデータ3672と関連付けられるデータの一部または全部を、データ3696として通信することができる。データ3696は、データ3696を受信し、1つまたは複数のコンピュータリソース3692を使用してデータ3696を処理するように構成されているポリシエクスプローラ3699に通信されることができる。1つまたは複数のコンピュータリソース3692は、回路、論理、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)、プログラム可能論理、デジタル信号プロセッサ(DSP)、グラフィックスプロセッシングユニット(GPU)、マイクロプロセッサ、マイクロコントローラ、ビッグファットコンピュータ(big fat computer)など、またはそれらのクラスタを含んでもよいが、これらに限定されない。いくつかの例において、ポリシエクスプローラ(例えば、3699)は、自律車両のプランナ内で実施することができる。
【0106】
さらに図の3600を参照すると、自律車両3630aのプランナ3670が、路面3623内の穴3634の周りで自律車両3630aを安全にナビゲートすることと関連付けられる高い信頼水準を各々が有する、候補軌道3651を計算している場合がある。プランナ3670は、自律車両3630aによって実行するための候補軌道3651のうちの1つを選択することができ、選択された軌道は、3652として示されている(太線で示されている)。
【0107】
路面3623上の穴3634の位置に起因して、自律車両3630aは、それらの穴の一方または両方に衝突することを回避することが可能でない場合があり、それゆえ、穴3634の一方または両方との衝突が、自律車両3630aに損傷を引き起こし、かつ/または、自律車両3630aによって輸送されている搭乗者の搭乗快適性に影響を与える場合がある。いくつかの例において、選択される軌道3652は、自律車両3630aが、穴3634を過ぎて走行することによって領域3624を通じたその移動を継続することを可能にするように計算されることができる。他の例において、選択される軌道3652は、自律車両3630aが、可能性として穴3634の一方または両方の上を走行し、搭乗者が損傷されることおよび/または動揺することを防止するための、安全停止軌道を実行することを可能にするように計算されることができる。また他の例において、プランナ3670は、自律車両3630aに、(例えば、車線3266から車線3624へと車線を変更することによって)穴3634を回避させるように構成されている候補軌道の代替的なセット3653の1つを実施することができる。例えば、プランナ3670は、(例えば、各代替的な候補軌道3653と関連付けられる信頼水準に基づいて)代替的な候補軌道のセット3653から代替的な候補軌道3654(太線で示されている)を選択することができる。他の例において、自律車両3630aと通信している外部システム(例えば、シミュレータまたはテレオペレータ)が、代替的な候補軌道3653を計算し、代替的な候補軌道3653をランク付けし(例えば、信頼水準の順序で、最も高い信頼水準から最も低い信頼水準へとランク付けされる)、プランナ3670の制御下で自律車両3630aによって実行されるべき代替的な候補軌道3653のうちの1つ(例えば、代替的な候補軌道3654)を選択することができる。
【0108】
テレメトリデータ3671および/またはポリシデータ3672を表現するデータ3696は、ポリシエクスプローラ3699によって受信されることができる。ポリシエクスプローラ3699は、データ3696(例えば、テレメトリデータ3671、ポリシデータ3672またはその両方)に基づいて、更新されたポリシデータ3694(例えば、新たなポリシデータ、改訂されたポリシデータ)の生成を実施するように構成されることができる。1つまたは複数のコンピュータリソース3692は、1つまたは複数のデータリポジトリ3693、3695、3697、3691にアクセスして、データ3696およびデータリポジトリのうちの1つまたは複数と関連付けられるデータを比較、計算、相関、または他の様態で処理して、更新されたポリシデータ3694を生成することができる。
【0109】
データリポジトリ3693、3695、3697、3691は、ポリシエクスプローラ3699の内部にある必要はなく、データリポジトリの一部または全部は、ポリシエクスプローラ3699の外部のリソースからアクセスされてもよい。データリポジトリ3693は、センサデータ、マップデータ、局所的位置データ、テレメトリデータ、ポリシデータ、および、自律群内の自律車両と関連付けられる他のデータを表すデータを含むことができる。データリポジトリ3693は、処理されているデータおよび/または生データ(例えば、処理されていないデータ)を含むことができる。データリポジトリ3695は、自律車両の群内の1つまたは複数の車両と関連付けられるシミュレーションデータを表すデータを含むことができる。データリポジトリ3697は、自律車両の群内の1つまたは複数の車両と関連付けられる遠隔操作を表すデータを含むことができる。データリポジトリ3691は、自律車両の群の動作と関連付けられる他のデータを含むことができる。ポリシエクスプローラ3699は、例えば、図の3600内に示されているよりも多いまたは少ないデータリポジトリに対するアクセスを含み、かつ/または、有することができる。ポリシエクスプローラ3699は、例えば、図の3600内を参照して上述されているものとは他のタイプのデータを有するデータリポジトリに対するアクセスを含み、かつ/または、有することができる。
【0110】
ポリシエクスプローラ3699は、例えば、1つまたは複数の自律車両(例えば、3630または群内の他の車両)および/または自律車両3630aに、更新されたポリシデータ3694を通信することができる。他の例において、更新されたポリシデータ3694は、テレオペレータ、シミュレータまたはその両方に通信されることができる。
【0111】
更新されたポリシデータ3694は、1つまたは複数の候補軌道を含むことができ、1つまたは複数の候補軌道は、各候補軌道と関連付けられる同じまたは異なる信頼水準を有することができる。候補軌道は、信頼水準に基づくランク付け順序(例えば、最も高い信頼水準から最も低い信頼水準へ、またはその逆にランク付けされる)のような、所定の順序またはランクで構成されることができる。
【0112】
更新されたポリシデータ3694は、データを受信するシステム(例えば、自律車両、シミュレータ、テレオペレータ)に、例えば、1つまたは複数の候補軌道のうちの選択された候補軌道を実施することのようなアクションをとらせるように構成されている他のデータを含むことができる。他の例において、他のデータは、データを受信するシステムが、基準(例えば、最も高い信頼水準に基づくランク付け)に基づいて、(例えば、1つまたは複数の候補軌道のうちのいずれが選択された候補軌道として選択されるかを判定するために)実施のための1つまたは複数の候補軌道のうちの1つを選択することを可能にするように構成されることができる。一例として、更新されたポリシデータ3694は、候補軌道3654が、更新されたポリシデータ3694を受信するシステムによって選択されるようにするように構成されているデータを含むことができる。別の例として、更新されたポリシデータ3694は、自律車両3630aに、各候補軌道と関連付けられる上記で言及されている信頼水準のような、更新されたポリシデータ3694内に含まれるデータに適用され得る基準(例えば、プランナ3670によって適用される)に基づいて、候補軌道のいずれが選択されるかを決定させるように構成されているデータを含むことができる。
【0113】
いくつかの例において、選択される候補軌道(例えば、候補軌道3654)は、更新されたポリシデータが生成されるように促したイベントまたは条件に基づいて自律車両がナビゲートするのに安全な軌道を提供すると予測される信頼水準を有する、選択される候補軌道を必要とするポリシに基づいて選択されることができる。他の例において、選択される候補軌道(例えば、候補軌道3654)は、選好される消費者経験(例えば、穴の揺れの効果がない円滑な搭乗)、または、自律車両の動作と関連付けられる他のメトリック(例えば、穴、道路のごみなどのようなイベントに起因する可能性のある損傷を避けること)を明確に示すポリシに基づいて選択されることができる。
【0114】
他の例において、イベントがすでに発生し、イベントの時点における適所のポリシデータ(例えば、ポリシデータ3672)が使用されて、1つまたは複数の(例えば、プランナ367によって)計算された候補軌道(3653)から選択される候補軌道(例えば、3652)を判定することができた後に、更新されたポリシデータ3694が、システム(例えば、自律車両3630a)によって受信され得る。後に受信される、更新されたポリシデータ3694は、将来の時点において、別のイベント(例えば、穴3634の、センサシステムによる検出、および、知覚および/またはプランナによる意味論的な分類)が、自律車両の動作に対するイベントの効果を回避または他の様態で緩和するための代替的なポリシデータを考慮するために機械学習を引き起こすときに、候補軌道判定を実施するためにアクセスされることができる。例えば、更新されたポリシデータ3694は、プランナによって、候補軌道3653を計算し、候補軌道3653を候補軌道3651と比較し、自律車両の経路を案内するために選択するためのいずれかの候補軌道を(例えば、信頼水準に基づいて)選択するためにアクセスされることができる。更新されたポリシデータ3694は、自律車両の計算された経路に沿って検出される穴オブジェクトのイベントまたは意味論的な分類と関連付けられる規則を表現するデータを含むことができ、規則は、候補軌道3653が、例えば、穴3634との接触の可能性を回避するために、候補軌道3653を選好して候補軌道3651が拒絶されることを判定することができる。
【0115】
図37は、様々な例による、更新されたポリシデータを生成するためのフロー図の例を示す。フロー図の3700内で、段階3702において、テレメトリデータ(例えば、テレメトリデータ3671)およびポリシデータ(例えば、ポリシデータ3672)を表現するデータが(例えば、ポリシエクスプローラ3699)において受信されることができる。テレメトリデータおよびポリシデータは、自律車両が自律的にナビゲートした環境の領域内のイベントと関連付けられることができる。いくつかの例において、テレメトリデータおよびポリシデータは、自律車両が現在、自律的にナビゲートしている環境の領域内のイベントと関連付けられることができる(例えば、テレメトリデータおよびポリシデータはリアルタイムまたはほぼリアルタイムで受信する)。
【0116】
段階3704において、イベントと関連付けられる信頼水準を表現するデータが、ポリシデータから抽出されることができる。例えば、信頼水準は、自律車両のプランナによって計算される候補軌道と関連付けられる信頼水準値をランク付けされることができる。
【0117】
段階3706において、自律車両の動作の状態が、信頼水準に基づいて判定されることができる。例えば、段階3704において抽出される信頼水準は、自律車両の規範的な動作と関連付けられる許容可能な信頼水準の範囲を超える場合がある(例えば、自律車両の衝突のない走行を促進し、交通法規に準拠し、快適なユーザ経験または快適なユーザの搭乗を提供する計算された確率を有する最適化された経路)。別の例として、段階3704において抽出される信頼水準は、自律車両の衝突のない走行を保証するには不十分である可能性のある軌道に起因して、自律車両の非規範的な動作と関連付けられる信頼水準を示す場合がある。
【0118】
段階3708において、イベントに応答した候補軌道(例えば、穴3634との接触を回避する軌道)を表現するデータが、テレメトリデータおよび自律車両の動作の状態(例えば、規範的または非規範的な動作)に基づいて計算されることができる。段階3708において計算される各候補軌道は、関連付けられる信頼水準を有することができる。
【0119】
段階3710において、イベントと関連付けられる更新されたポリシデータが生成されることができる。更新されたポリシデータは、候補軌道を含むことができる。
【0120】
段階3712において、更新されたポリシデータが通信(例えば、送信)されることができる。一例として、更新されたポリシデータは、少なくとも1つの自律車両のプランナに(例えば、自律車両の群内の1つまたは複数の自律車両に)通信されることができる。他の例において、更新されたポリシデータは、テレオペレータ(例えば、1つまたは複数の自律車両における経路計画および/またはナビゲーション制御に影響を与えるように構成されている)に通信されることができる。また他の例において、更新されたポリシデータは、シミュレータ(例えば、合成環境内で自律車両をシミュレートするように構成されている)に通信されることができる。いくつかの例において、更新されたポリシデータは、データストア、メモリ(例えば、不揮発性メモリ)、データリポジトリまたは他のデータ記憶システムに通信されることができる。
【0121】
フロー図の3700の段階のうちの1つまたは複数は、ポリシエクスプローラ(例えば、図36のポリシエクスプローラ3699)または他のシステム(例えば、プランナ、テレオペレータ、シミュレータ)によって実施されることができる。更新されたポリシデータは、例えば、1つまたは複数のデータ通信ネットワークを介して、有線(例えば、図36内の3642)および/または無線(例えば、図36内の3641)通信を使用して通信されることができる。
【0122】
図38は、様々な例による、シミュレータ内のポリシエクスプローラの実施態様を示す図の3800である。図の3800において、シミュレータ3840は、図28を参照して上述されたように、合成環境内で1つまたは複数の自律車両をシミュレートするように構成されることができる。シミュレータ3840に対するデータ入力3896は、センサ3870からのデータおよびデータ3820を含むことができるが、これらに限定されない。センサデータ3870は、ライダデータ3872、カメラデータ3874、レーダデータ3876、ソナーデータ3878、および他のセンサデータ3880(例えば、GPS、IMU、環境センサ、マイクロフォン、モーションセンサ、ホイールエンコーダ、加速度計など)を含むことができるが、これらに限定されない。データ3820は、マップデータ3822、3824、3825、3826、局所的位置データ3828、およびポリシデータ3874を含むことができるが、これらに限定されない。データ3820および/もしくはセンサデータ3870は、リアルタイムもしくはほぼリアルタイムで(例えば、1つまたは複数の自律車両によって)生成されることができ、または、例えば、データストアもしくはデータリポジトリからアクセスされることができる。データ3820および/またはセンサデータ3870は、複数の自律車両からの集計されたデータを構成することができる。いくつかの例において、データ3820および/またはセンサデータ3870の少なくとも一部分は、1つまたは複数の自律車両(例えば、3830または図36内の3630a)から受信される。シミュレータ3840によって受信されるデータは、概して3896と示され得、データ3820、センサデータ3870またはその両方を含むことができる。
【0123】
ポリシエクスプローラ3899は、例えば、物理プロセッサ3850およびその関連付けられるサブブロック3851、3852および3854、コントローラ3856ならびにエバリュエータ3858の機能性にアクセスすることができる。ポリシエクスプローラ3899は、データの項目の間の相関を判定するためにコリレータ3861の機能性にアクセスし、データを他のデータと比較するためにコンパレータ3862にアクセスし、信頼区間を判定するために統計的変化点ディテクタ(statistical change point detector)3864および/または確率的推論カリキュレータ(probabilistic inference calculator)3863にアクセスすることができる。ポリシエクスプローラ3899は、シミュレータ3840内でシミュレートされることになる、シミュレートされたポリシデータを生成し、シミュレートされた候補軌道と関連付けられる信頼水準のような、シミュレーション結果の分析に基づいて、更新されたポリシデータ3894を生成することができる。例えば、更新されたポリシデータ3894は、少なくとも部分的に、所定の値を満たす、かつ/または、超える高い信頼水準(例えば、95%またはより高い信頼水準)を有する、シミュレートされた候補軌道によって判定されることができる。
【0124】
更新されたポリシデータ3894は、例えば、テレオペレータ3894、1つまたは複数の自律車両3830、およびデータリポジトリ3890を含むが、これらに限定されない1つまたは複数の宛先に(例えば、通信ネットワークを介して)通信されることができる。テレオペレータ3891は、更新されたポリシデータ3894に基づいてポリシデータ3897を生成することができる。テレオペレータ3891は、例えば、データ3896、更新されたポリシデータ3894またはその両方のような他のデータに基づいてポリシデータ3897を生成してもよい。
【0125】
図39は、様々な例による、テレオペレータ内のポリシエクスプローラの実施態様を示す図の3900である。図の3900において、テレオペレータ3940は、センサ3970からのデータ、データ3920またはその両方を含むデータ3996を受信することができる。センサ3970およびデータ3920は、例えば、図38を参照して上述されているデータと同様のデータを含んでもよい。テレオペレータ3940内で実施されるポリシエクスプローラ3999は、例えば、テレオペレータ3940の機能性、および/または、コリレータ3961、コンパレータ3962、変化点ディテクタ3964もしくは確率的推論カリキュレータ3963のうちの1つもしくは複数の機能性にアクセスすることができる。ポリシエクスプローラ3999は、更新されたポリシデータ3994を生成することができる。更新されたポリシデータ3994は、例えば、シミュレータ3990(例えば、図38内のシミュレータ3840参照)、1つまたは複数の自律車両3930、およびデータリポジトリ3991を含むが、これらに限定されない1つまたは複数の宛先に(例えば、通信ネットワークを介して)通信されることができる。シミュレータ3990は、更新されたポリシデータ3994に基づいてポリシデータ3997を生成することができる。シミュレータ3990は、例えば、データ3996、更新されたポリシデータ3994またはその両方のような他のデータに基づいてポリシデータ3997を生成してもよい。
【0126】
図38のポリシエクスプローラ3899および/または図39のポリシエクスプローラ3999は、例えば、図37のフロー図の3700を参照して上述されている段階のうちの1つまたは複数に基づいて、更新されたポリシデータを生成することができる。
【0127】
いくつかの実施形態によれば、「回路」という用語は、例えば、1つまたは複数の機能を実行するためにそれを通じて電流が流れるいくつかの構成要素を含む任意のシステムを参照することができ、構成要素は、個別のおよび複雑な構成要素を含む。個別の構成要素の例は、トランジスタ、抵抗器、キャパシタ、インダクタ、ダイオードなどを含み、複雑な構成要素の例は、フィールドプログラマブルゲートアレイ(「FPGA」)、特定用途向け集積回路(「ASIC」)を含む、メモリ、プロセッサ、アナログ回路、デジタル回路などを含む。それゆえ、回路は、電子構成要素および論理構成要素(例えば、例えばアルゴリズムの実行可能命令のグループのような命令を実行するように構成されており、したがって、回路の構成要素である論理)のシステムを含むことができる。いくつかの実施形態によれば、「モジュール」という用語は、例えば、ハードウェア回路もしくはソフトウェアのいずれか、または、それらの組み合わせにおいて実施されるアルゴリズムもしくはその部分、および/または論理を参照することができる(すなわち、モジュールは回路として実施することができる)。いくつかの実施形態において、アルゴリズムおよび/またはアルゴリズムが格納されているメモリは、回路の「構成要素」である。したがって、「回路」という用語は、例えば、アルゴリズムを含む構成要素のシステムをも参照することができる。これらは、変更されることができ、提供されている例または記述に限定されない。
【0128】
上記の例は、理解の明瞭性の目的のためにいくらか詳細に記述されているが、上述されている本発明の技法は、提供されている詳細には限定されない。上述されている本発明の技法を実施する多くの代替的な方法がある。開示されている例は、例示であり、限定ではない。
【符号の説明】
【0129】
3601 円
3601a 円
3602 建造物
3610a センサスイート
3610b センサスイート
3610c センサスイート
3610d センサスイート
3620 歩行者
3622 車線
3623 路面
3624 領域
3625 車線マーカ
3626 カーブ
3627 カーブ
3628 車線
3630 自律車両
3630a 自律車両
3631 消火栓
3632 矢印
3634 穴
3640 車両
3650 道路網
3651 候補軌道
3652 軌道
3653 候補軌道
3654 候補軌道
3670 プランナ
3671 テレメトリデータ
3672 ポリシデータ
3673 センサデータ
3674 データ
3675 知覚エンジンデータ
3677 ローカライザデータ
3679 モーションコントローラデータ
3691 データリポジトリ
3692 コンピュータリソース
3693 データリポジトリ
3694 ポリシデータ
3695 データリポジトリ
3696 データ
3697 データリポジトリ
3699 ポリシエクスプローラ
図1
図2
図3A
図3B
図3C
図3D
図3E
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26A
図26B
図27
図28
図29
図30
図31
図32
図33
図34
図35
図36
図37
図38
図39