特表 2022-539557 テレオペレータに連絡するための技法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-09-12

(54)【発明の名称】テレオペレータに連絡するための技法

(51)【国際特許分類】

   G08G 1/09 20060101AFI20220905BHJP

   G08G 1/16 20060101ALI20220905BHJP

   B60W 30/095 20120101ALI20220905BHJP

   B60W 40/04 20060101ALI20220905BHJP

   B60W 60/00 20200101ALI20220905BHJP

   G05D 1/02 20200101ALI20220905BHJP

   G05D 1/00 20060101ALI20220905BHJP

【ＦＩ】

G08G1/09 D

G08G1/16 A

B60W30/095

B60W40/04

B60W60/00

G05D1/02 H

G05D1/00 B

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2021577394

(86)(22)【出願日】2020-06-24

(85)【翻訳文提出日】2022-02-22

(86)【国際出願番号】 US2020039397

(87)【国際公開番号】W WO2020264007

(87)【国際公開日】2020-12-30

(31)【優先権主張番号】16/457,341

(32)【優先日】2019-06-28

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】16/457,289

(32)【優先日】2019-06-28

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】518156417

【氏名又は名称】ズークス インコーポレイテッド

(74)【代理人】

【識別番号】110001243

【氏名又は名称】弁理士法人谷・阿部特許事務所

(72)【発明者】

【氏名】ラヴィ ゴーニャ

(72)【発明者】

【氏名】メレディス ジェームズ ゴールドマン

(72)【発明者】

【氏名】ポール オレッキオ

【テーマコード（参考）】

3D241

5H181

5H301

【Ｆターム（参考）】

3D241BA32

3D241BB31

3D241BB37

3D241BB41

3D241CE01

3D241CE02

3D241CE04

3D241CE05

3D241DC01Z

3D241DC25Z

3D241DC57Z

5H181AA01

5H181BB04

5H181CC03

5H181CC04

5H181CC14

5H181FF05

5H181LL01

5H181LL02

5H181LL04

5H181LL06

5H181LL09

5H301DD05

5H301GG08

5H301GG09

5H301GG16

5H301LL01

5H301LL02

5H301LL03

(57)【要約】

本発明は、自律車両およびその動作方法に関する。自律車両をルートに沿ってナビゲートさせるステップと、１つまたは複数のセンサによって生成されたセンサデータを受信するステップと、センサデータに少なくとも部分的に基づいて、自律車両の進行がオブジェトによって妨げられていることを決定するステップと、進行がオブジェクトによって妨げられていることに少なくとも部分的に基づいて、リモートオペレータに連絡するか決定するステップと、リモートオペレータに関連付けられた１つまたは複数のコンピューティングデバイスから、オブジェクトに関連付けられたポリシーを変更するように構成された情報を含む、オブジェクトによってナビゲートすることに関連付けられた命令を受信するステップと、命令に少なくとも部分的に基づいて、自律車両をオブジェクトによってナビゲートさせるステップと、を想定している。これにより、車両は、リモートの人間のオペレータからの遠隔支援によって困難な交通状況を克服することが可能となる。

【特許請求の範囲】

【請求項1】

１つまたは複数のネットワークコンポーネントと、
１つまたは複数のセンサと、
１つまたは複数のプロセッサと、
前記１つまたは複数のプロセッサによって実行される場合に、
自律車両をルートに沿ってナビゲートさせるステップと、
前記１つまたは複数のセンサによって生成されたセンサデータを受信するステップと、
前記センサデータに少なくとも部分的に基づいて、前記自律車両の進行がオブジェクトによって妨げられていることを決定するステップと、
進行が前記物体によって妨げられていることに少なくとも部分的に基づいて、リモートオペレータに連絡するかを決定するステップと、
前記リモートオペレータに関連付けられた１つまたは複数のコンピューティングデバイスから、前記オブジェクトによってナビゲートすることに関連付けられた命令であって、前記オブジェクトに関連付けられたポリシーを変更するように構成された情報を含む命令を受信するステップと、
前記命令に少なくとも部分的に基づいて、前記自律車両を前記オブジェクトによってナビゲートさせるステップと、
を含む動作を前記自律車両が実行するように構成する命令を記憶するメモリと、
を備える自律車両。

【請求項2】

前記動作は、前記１つまたは複数のネットワークコンポーネントを用いて、
前記センサデータの少なくとも一部を前記１つまたは複数のコンピューティングデバイスに送信するステップと、
前記オブジェクトが前記自律車両の進行を妨げている指示を送信するステップと、
をさらに含む、請求項１に記載の自律車両。

【請求項3】

前記自律車両の進行が前記オブジェクトによって妨げられていることを決定するステップは、前記センサデータに少なくとも部分的に基づいて、前記自律車両が閾値時間期間の間前記オブジェクトに道を譲ることを決定するステップを含む、
請求項１または請求項２のいずれかに記載の自律車両。

【請求項4】

前記自律車両の進行が前記オブジェクトによって妨げられていることを決定するステップは、
前記センサデータに少なくとも部分的に基づいて、前記オブジェクトがオブジェクトのタイプを含むことを決定するステップと、
前記オブジェクトが前記ルートに沿って位置していることを決定するステップと、
を含む、請求項１乃至請求項３のいずれか１項に記載の自律車両。

【請求項5】

前記自律車両の進行が妨げられていることを決定するステップは、センサデータに少なくとも部分的に基づいて、前記オブジェクトの速度が閾値速度未満であること、または前記オブジェクトが第１の走行車線から第２の走行車線に切り替わり、且つ前記自律車両が前記第２の走行車線内をナビゲートしていること、のうちの少なくとも１つを含むシナリオが発生していることを決定するステップを含む、請求項１乃至請求項４のいずれか１項に記載の自律車両。

【請求項6】

前記動作は、前記自律車両が渋滞中であること、または前記自律車両が交通信号機で停止していることのうちの少なくとも１つを含む介在条件が発生しているかを決定するステップをさらに含み、
リモートオペレータに連絡するかを決定するステップは、前記介在条件が発生しているかを決定するステップに少なくとも部分的にさらに基づく、請求項１乃至請求項５のいずれか１項に記載の自律車両。

【請求項7】

自律車両の１つまたは複数のセンサによって生成されたセンサデータを受信するステップと、
前記センサデータに少なくとも部分的に基づいて、前記自律車両の進行がオブジェクトによって妨げられていることを決定するステップと、
前記オブジェクトによって妨げられている前記自律車両の進行に少なくとも部分的に基づいて、リモートオペレータに連絡するかを決定するステップと、
前記リモートオペレータから、前記自律車両に前記オブジェクトに関するポリシーを変更させるように構成された１つまたは複数の命令を受信するステップと、
を備える方法。

【請求項8】

前記リモートオペレータに関連付けられた１つまたは複数のコンピューティングデバイスにセンサデータの少なくとも一部、または１つまたは複数のコンピューティングデバイスにオブジェクトの指示を送信することをさらに備える、請求項７に記載の方法。

【請求項9】

前記自律車両の進行が前記オブジェクトによって妨げられていることを決定するステップは、前記センサデータに少なくとも部分的に基づいて、前記自律車両が閾値時間期間の間前記オブジェクトに道を譲ることを決定するステップを含む、請求項７または請求項８のいずれかに記載の方法。

【請求項10】

前記自律車両の進行が前記オブジェクトによって妨げられていることを決定するステップは、
前記センサデータに少なくとも部分的に基づいて、前記オブジェクトがオブジェクトのタイプを含むことを決定するステップと、
前記オブジェクトが前記ルートに沿って位置していることを決定するステップと、
を含む、請求項７乃至請求項９のいずれか１項に記載の方法。

【請求項11】

前記自律車両の進行が妨げられていることを決定するステップは、前記センサデータに少なくとも部分的に基づいて、前記オブジェクトの速度が閾値速度未満であること、または前記オブジェクトが第１の走行車線から第２の走行車線に切り替わり、且つ前記自律車両が前記第２の走行車線内をナビゲートしていることのうちの少なくとも１つを含むシナリオが発生していることを決定するステップを含む、請求項７乃至請求項１０のいずれか１項に記載の方法。

【請求項12】

前記自律車両が渋滞中であること、または前記自律車両が交通信号機で停止していることのうちの少なくとも１つを含む介在条件が発生しているかを決定するステップをさらに含み、前記リモートオペレータに連絡するかを決定するステップは、前記介在条件が発生しているかを決定するステップに少なくとも部分的にさらに基づく、請求項７乃至請求項１１のいずれか１項に記載の方法。

【請求項13】

前記リモートオペレータに関連付けられた１つまたは複数のコンピューティングデバイスに、前記自律車両の進行が前記オブジェクトによって妨げられているポリシーを示すポリシーデータを送信するステップをさらに備える、請求項７乃至請求項１２のいずれか１項に記載の方法。

【請求項14】

前記リモートオペレータに関連付けられた１つまたは複数のコンピューティングデバイスから、前記オブジェクトに関するポリシーに従うことを一時的に停止する命令を受信するステップと、
前記オブジェクトに関するポリシーに従うことを一時的に停止することを決定するステップと、
をさらに備える、請求項１３に記載の方法。

【請求項15】

１つまたは複数のプロセッサによって実行される場合に、
請求項７乃至請求項１４のいずれか１項に記載の方法を前記１つまたは複数のプロセッサに実行させる命令を記憶する非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、テレオペレータに連絡するための技法に関する。

【背景技術】

【0002】

本ＰＣＴ国際出願は、「テレオペレータに連絡するための技法」と題され、２０１９年６月２８日に提出の米国特許出願第１６／４５７，２８９号および「テレオペレータの命令を用いて車両をナビゲートするための技法」と題され、２０１９年６月２８日に提出の米国特許出願第１６／４５７，３４１号の優先権を主張し、全体が参照により本明細書に組み込まれる。

【0003】

自律車両は、指定されたルートに沿って、またはウェイポイント間でナビゲートすることがある。例えば、制御システムが、ある位置でユーザをピックアップして目的地への輸送を提供する要求をユーザデバイスから受信すると、自律車両は、制御システムから、ピックアップ位置から目的地へナビゲートする命令を受信することがある。しかしながら、いくつかの状況では、ピックアップ位置または目的地への自律車両のナビゲートの進行が他の車両などによって停止される場合がある。これにより、自律車両が遅延する、または自律車両が交通の流れを妨げるなどの問題が生じる場合がある。

【図面の簡単な説明】

【0004】

詳細な説明は、添付の図面を参照して説明される。図において、参照符号の最も左の桁は、参照符号が最初に現れる図を特定する。異なる図における同じ参照符号の使用は、類似または同一の構成要素または特徴を示す。

【図1A】本開示の実施形態による、テレオペレータにいつ連絡するかを決定する自律車両を含む例示的な環境を示す図である。

【図1B】本開示の実施形態による、テレオペレータからの命令を現在受信する自律車両を含む例示的な環境を示す図である。

【図2】本開示の実施形態による、自律車両が渋滞中であることに少なくとも部分的に基づいて、テレオペレータに連絡しないと決定する自律車両を含む例示的な環境を示す図である。

【図3】本開示の実施形態による、交通信号機によって自律車両の進行が妨げられることに少なくとも部分的に基づいて、テレオペレータに連絡しないと決定する自律車両を含む例示的な環境を示す図である。

【図4】本開示の実施形態による、本明細書で説明される技法を実装するための例示的なシステムを示すブロック図である。

【図5】本開示の実施形態による、例示的なテレオペレーションシステムアーキテクチャを示すブロック図である。

【図6】本開示の実施形態による、オブジェクトに対して道を譲る自律車両を示す第１の例示的なユーザインターフェースを示す図である。

【図7】本開示の実施形態による、オブジェクトに対して道を譲る自律車両を示す第２の例示的なユーザインターフェースを示す図である。

【図8】本開示の実施形態による、テレオペレータに連絡するかを決定するための例示的な処理を示す図である。

【図9】本開示の実施形態による、テレオペレータからの命令を用いて自律車両をナビゲートするための例示的な処理を示す図である。

【発明を実施するための形態】

【0005】

上述したように、自律車両は、指定ルートに沿ってまたはウェイポイント間を、ピックアップ位置から目的地位置までナビゲートすることなどによってナビゲートしてもよい。しかしながら、いくつかの例では、自律車両の進行が妨げられる場合がある。第１の例では、自律車両は、自律車両より前に交差点に到着する他の車両に道を譲るように自律車両に命令するポリシーを表すデータを記憶してもよい。他の車両が１つまたは複数の理由で移動していない（例えば、障害物または狭い道路のために自律車両が移動するまで他の車両がルートに沿ってナビゲートすることができない）交差点において、自律車両が別の車両に道を譲っている場合、自律車両の進行が妨げられ得る。第２の例では、自律車両は、別の車両に関連付けられた相互関係であって、自律車両に他の車両を追従させる相互関係を設定し得る。駐車または故障などによって他の車両が停止すると、自律車両の進行が妨げられることがある。

【0006】

したがって、本出願は、テレオペレータから受信された命令を用いて自律車両をナビゲートするための技法だけでなく、テレオペレータにいつ連絡するかを決定するための技法について説明する。例えば、自律車両の進行が妨げられる場合、自律車両は、進行が妨げられた時間量を決定してもよい。次いで、自律車両は、時間量が閾値時間量を満たすか（例えば、それ以上である）を決定してもよい。閾値時間量には、限定はしないが、３秒、３０秒、１分、３分、および／または任意の他の時間期間を含み得る。自律車両が、時間量が閾値時間量を満たさない（例えば、それを下回る）と決定した場合、自律車両は、テレオペレータに連絡しないと決定し得る。しかしながら、自律車両が、時間量が閾値時間量を満たすと決定した場合、自律車両は、自律車両の進行が妨げられているか、および／またはオブジェクトの進行が、介在条件によって妨げられているかを決定してもよい。

【0007】

第１の例では、自律車両は、交通量のために自律車両の進行が妨げられているかを決定してもよい。いくつかの例では、自律車両は、自律車両が道を譲っている車両に加えて、別の車両の進行も妨げられるかを決定することに少なくとも部分的に基づいて決定を行ってもよい。例えば、自律車両が多車線道路に沿ってナビゲートしているとき、自律車両は、別のレーンにおける別の車両の進行も妨げられたかを決定し得る。自律車両が、別の車両の進行も妨げていると決定した場合、自律車両は、交通量が自律車両の進行を妨げていると決定し得る。したがって、自律車両は、テレオペレータに連絡しないと決定してもよい。しかしながら、自律車両が、別の車両の進行が妨げられていない、および／または自律車両の隣に別の車両がないと決定した場合、自律車両は、交通量が自律車両の進行を妨げていないと決定し得る。したがって、自律車両は、テレオペレータに連絡すると決定してもよい。

【0008】

第２の例では、自律車両は、交通信号機のために自律車両の進行が妨げられているかを決定してもよい。いくつかの例では、自律車両は、交通信号機が自律車両の進行を妨げているかを決定するためにセンサデータを用いてもよい。加えて、または代替として、いくつかの例では、自律車両は、交通信号機が自律車両の進行を妨げているかを決定するためにマップデータを用いてもよい。いずれの場合も、交通信号機が自律車両の進行を妨げていると自律車両が決定した場合、自律車両はテレオペレータに連絡しないと決定してもよい。しかしながら、交通信号機が自律車両の進行を妨げていないと自律車両が決定した場合、自律車両は、テレオペレータに連絡すると決定してもよい。

【0009】

テレオペレータに連絡すると決定したとき、自律車両は、テレオペレータに関連付けられた１つまたは複数のコンピューティングデバイスにセンサデータを送信してもよい。センサデータは、画像データ、ＬＩＤＡＲ（ｌｉｇｈｔ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｒａｎｇｉｎｇ）データ、ＲＡＤＡＲデータ、および／または自律車両の周囲の環境を表す他のタイプのセンサデータを含んでもよいが、これらに限定されない。いくつかの例では、自律車両は、１つまたは複数のコンピューティングデバイスに、どのオブジェクト（例えば、車両、歩行者、標識、建設機械など）が自律車両の進行を妨げているのかを示すデータをさらに送信してもよい。例えば、自律車両が別の車両に道を譲っている場合、データは、自律車両が他の車両に現在道を譲っていることを示してもよい。いくつかの例では、自律車両は、１つまたは複数のコンピューティングデバイスに、自律車両の進行が妨げられた時間量、および／または自律車両がオブジェクトに道を譲った時間量を示すデータを送信してもよい。

【0010】

１つまたは複数のコンピューティングデバイスは、自律車両からセンサデータを受信し、それに応答して、センサデータによって表されるコンテンツ（例えば、画像、ビデオなど）を含むユーザインターフェースを表示してもよい。加えて、１つまたは複数のコンピューティングデバイスは、どのオブジェクトが自律車両の進行を妨げているのかを示すグラフィカル要素を表示してもよい。例えば、ユーザインターフェースは、自律車両がオブジェクトに道を譲っていることを示すグラフィカル要素を表示してもよい。次いで、テレオペレータは、自律車両がどのように進むべきかを示す命令を自律車両に送信するために１つまたは複数のコンピューティングデバイスを使用してもよい。少なくともいくつかの例では、そのような命令は、ポリシーを破棄および／または変更する（例えば、環境内の選択されたオブジェクトに対して道を譲る命令を破棄する）ための命令を含んでいてもよい。

【0011】

第１の例では、自律車両が、交差点におけるオブジェクトであって、１つまたは複数の理由で移動していなオブジェクトに道を譲っている場合、命令は、自律車両をもはやオブジェクトに道を譲らないようにし、および／または１つまたは複数のポリシーを一時的に停止する（および／または変更する）ようにしてもよい。１つまたは複数のポリシーは、自律車両より前に交差点に到着する車両に道を譲る第１のポリシー、車線内を走行する第２のポリシー、および／または１つまたは複数の追加のポリシーを含んでもよいが、これらに限定されない。いくつかの例では、１つまたは複数のポリシーに従うのを一時的に停止することには、一定期間、１つまたは複数のポリシーに従うのを停止することを含んでもよい。一定期間には、５秒、１０秒、３０秒、１分、および／または別の期間を含んでもよいが、これらに限定されない。加えて、または代替として、いくつかの例では、１つまたは複数のポリシーに従うのを一時的に停止することには、自律車両を所与の位置にナビゲートし、所与の距離をナビゲートし、もはやオブジェクトに道を譲らなくてもよい位置にナビゲートするまで、および／または同様のことが行われるまで、１つまたは複数のポリシーに従うのを停止することを含めてもよい。いずれにしても、命令を用いて、自律車両は、もはやオブジェクトに道を譲らないと決定し、および／または１つまたは複数のポリシーに従うことを一時的に停止するように決定してもよい。したがって、自律車両は再び位置へのナビゲートを開始し得る。

【0012】

第２の例では、自律車両が、自律車両が「追従する」などの現在の相互関係を有する別の車両に道を譲っている場合、命令は、自律車両に他の車両との相互関係を変更させてもよい。例えば、命令は、相互関係を「追従する」から「追従しない」に変更させてもよい。加えて、いくつかの例では、命令は、自律車両が１つまたは複数のポリシーに従うのを一時的に停止してもよい。例えば、命令は、自律車両が車線内を走行することを含む第２のポリシーに従うのを一時的に停止させることができ、その結果、自律車両が他の車両の周囲をナビゲートすることを可能にする。命令を用いることにより、自律車両が、相互関係を変更し、および／または１つまたは複数のポリシーに従うのを一時的に停止すると決定してもよい。したがって、自律車両は、再び位置へのナビゲートを開始し得る。

【0013】

いくつかの例では、自律車両が命令を受信した後にナビゲートを開始すると、自律車両は再びオブジェクトに道を譲ると決定することがある。例えば、自律車両は、１つまたは複数のポリシーに再び従うと決定するか、またはオブジェクトとの相互関係を元の相互関係設定に戻すように変更してもよい。自律車両は、オブジェクトの移動に少なくとも部分的に基づいて決定を行い得る。

【0014】

第１の例では、自律車両は、オブジェクトに関連付けられた速度が変化したと決定してもよい。例えば、速度は、時速ゼロマイルから時速ゼロマイルを超える速度に変化してもよい。速度の変化に少なくとも部分的に基づいて、自律車両は、オブジェクトが移動を開始していると決定し得る。したがって、自律車両は、再びオブジェクトに道を譲ると決定し、および／またはオブジェクトとの相互関係を「追従する」に戻すように変更してもよい。加えて、いくつかの例では、自律車両は再びテレオペレータと連絡することがある。

【0015】

第２の例では、自律車両が最初にオブジェクトに道を譲ったときに、オブジェクトの方が最初に移動していてもよいが、オブジェクトは所与の領域内に残っていてもよい。例えば、オブジェクトには、所与の領域内で前後に移動する建設車両（例えば、バックホー、舗装機など）を含み得る。このような例では、テレオペレータによって送信される命令には、オブジェクトが残ると予想されるオブジェクトの周囲の指定された領域を含んでもよい。オブジェクトが指定された領域の外側に移動する場合、自律車両は再びオブジェクトに道を譲ると決定することがある。加えて、自律車両は再びテレオペレータと連絡することがある。

【0016】

上記の例は、ポリシーおよび／または相互関係を用いて、自律車両の進行が妨げられていると決定することを含むが、他の例では、自律車両の進行は、１つまたは複数の他の要因に基づいて妨げられることがある。第１の例では、自律車両は、特定のタイプのオブジェクトを識別することに基づいて、進行が妨げられていると決定してもよい。例えば、特定のタイプのオブジェクトは、低速でナビゲートするトラクターおよび／または道路清掃人を含んでもよい。したがって、特定のタイプのオブジェクトが自律車両のルートに沿って配置されている場合、自律車両の進行が妨げられることがある。第２の例では、自律車両は、特定のタイプのシナリオを識別することに基づいて、進行が妨げられていると決定してもよい。シナリオは、自律車両の走行車線に合流する別の車両、閾値速度(後述する)を下回る速度でナビゲートする別の車両、自律車両のルートに沿って発生する事故などを含み得るが、これらに限定されない。

【0017】

上記の例は、自律車両の「進行」が妨げられたかを決定するものとして自律車両を説明している。いくつかの例では、自律車両は、自律車両がある位置で停止したこと（例えば、自律車両の速度が毎時０マイルである）を決定することに少なくとも部分的に基づいて、進行が妨げられたと決定し得る。加えて、または代替として、いくつかの例では、自律車両は、自律車両が所与の時間内に所与の距離をナビゲートするのみであると決定することに少なくとも部分的に基づいて、進行が妨げられたと決定し得る。例えば、自律車両は、自律車両が毎秒１フィート、５秒当たり１フィート、毎分１フィートなどでナビゲートしていると決定することに少なくとも部分的に基づいて、進行が妨げられたと決定することがある。加えて、または代替として、いくつかの例では、自律車両は、自律車両の現在の速度が閾値速度を下回ると決定することに少なくとも部分的に基づいて、進行が妨げられたと決定することがある。閾値速度は、時速半マイル、時速１マイル、および／または任意の他の速度を含んでもよいが、これらに限定されない。

【0018】

加えて、本技法は、テレオペレータが自律車両に案内を提供し得るように、自律車両における状況のコンテキスト情報をテレオペレータに提供してもよい。テレオペレーションシステムは、テレオペレーションセンターに配置された人間のテレオペレータであり得る１人または複数のテレオペレータを含むことがある。いくつかの例では、１つまたは複数のテレオペレータは、人間でなくてもよく、例えば、それらは、人工知能、機械学習、および／または他の意思決定戦略を活用するコンピュータシステムであってもよい。いくつかの例では、テレオペレータは、テレオペレータインターフェースを含むことが可能であるユーザインターフェースを介して、自律車両の車両群内の１つまたは複数の自律車両と相互関係することがある。テレオペレータインターフェースは、自律車両の操作に関連するデータをテレオペレータに提供するように構成された１つまたは複数のディスプレイを含んでもよい。例えば、ディスプレイは、自律車両から受信されたセンサデータに関連するコンテンツ、道路網に関連するコンテンツ、および／または自律車両への支援を容易に提供するための追加のコンテンツまたは情報を示すように構成されていてもよい。

【0019】

加えて、または代替的に、テレオペレータインターフェースはまた、テレオペレータが、例えば、自律車両に案内を提供するテレオペレーション命令の形態で、１つまたは複数の自律車両に情報を提供することを許可するように構成されたテレオペレータ入力デバイスを含んでもよい。テレオペレータ入力デバイスは、タッチ式スクリーン、スタイラス、マウス、ダイヤル、キーパッド、マイクロフォン、タッチスクリーン、および／またはテレオペレータによって実行されるジェスチャをテレオペレータインターフェース用入力コマンドに変換するように構成された１つまたは複数のジェスチャ入力システムを含んでいてもよい。本明細書でより詳細に説明されるように、テレオペレーションシステムは、自律車両の進行が妨げられた場合などで、イベントを回避し、イベントの周囲に回避し、またはイベントを通り抜けるための案内を１つまたは複数の自律車両に提供することがある。

【0020】

本明細書で説明される技法は、いくつかの方法で実装することが可能である。例示的な実装形態は、下記の図を参照して以下で提供される。車両の文脈で説明したが、本明細書で説明される方法、装置、およびシステムは、様々なシステムに適用することが可能である。

【0021】

図１Ａは、本開示の実施形態による、テレオペレータにいつ連絡するかを決定する自律車両１０２（１）－（２）を含む例示的な環境１００を示す図である。例えば、第１の自律車両１０２（１）は、ルート１０４に沿ってナビゲートすることがある。ナビゲートしている間、第１の自律車両１０２（１）は、同様にルート１０４に沿ってナビゲートしている車両１０６に遭遇することがあり得る。そのため、第１の自律車両１０２（１）は、車両１０６を識別するために第１の自律車両１０２（１）の１つまたは複数のセンサによって生成されたセンサデータ１０８を用いることがある。加えて、車両１０６は、第１の自律車両１０２（１）の前方に位置し、第１の自律車両１０２（１）と同じ走行車線内にあるので、第１の自律車両１０２（１）は、車両１０６との相互関係を、相互関係データ１１０によって表される「追従する」と設定してもよい。

【0022】

しかしながら、第１の自律車両１０２（１）がルート１０４に沿ってナビゲートし、車両１０６に追従するとき、車両１０６は１つまたは複数の理由で停止することがある。例えば、図１Ａの例に示すように、車両１０６が故障して、車両１０６が少なくとも部分的に道路を遮る場合がある。したがって、第１の自律車両１０２（１）は車両１０６に追従しているので、第１の自律車両１０２（１）も、ルート１０４に沿った位置１１２で停止し得る。これにより、第１の自律車両１０２（１）は、第１の自律車両１０２（１）の進行が妨げられたと決定し得る。

【0023】

進行が妨げられている間、第１の自律車両１０２（１）は、進行が妨げられた時間量が閾値時間量を満たすと決定することがある。第１の自律車両１０２（１）はさらに、進行が介在条件（例えば、交通量、信号機など）により妨げられたかを決定することもあり得る。時間量が閾値時間量を満たし、且つ進行が介在条件により妨げられていないので、第１の自律車両１０２（１）は、オペレータに連絡することを決定してもよい。

【0024】

テレオペレータに連絡するために、第１の自律車両１０２（１）は、テレオペレータに関連付けられたテレオペレータシステム１１４に、センサデータ１０８の少なくとも一部を送信してもよい。例えば、第１の自律車両１０２（１）は、車両１０６を表す少なくともセンサデータ１０８（例えば、画像データ）および／またはそこから導出された任意のデータ（例えば、検出、分類、制御データなど）を遠隔操作者システム１１４に送信してもよい。いくつかの例では、第１の自律車両１０２（１）は、車両１０６により進行が妨げられたこと、及び／又は車両１０６との現在の相互関係が「従う」を含むことを示すインジケータデータ１１６をテレオペレータシステム１１４にさらに送信してもよい。テレオペレータは、図１Ｂの例において説明される第１の自律車両１０２（１）への案内を提供するために、第１の自律車両１０２（１）から受信されたデータを用いてもよい。

【0025】

加えて、図１Ａの例では、第２の自律車両１０２（２）は、ルート１１８に沿ってナビゲートすることがある。ナビゲートしている間、第２の自律車両１０２（２）)は交差点に到着することがあり、そのため、第２の自律車両１０２（２）は位置１２０で停止する。加えて、第２の自律車両１０２（２）は、車両１２４が第２の自律車両１０２（２）より前に交差点に到着したことを識別するために、第２の自律車両１０２（２）の１つまたは複数のセンサによって生成されたセンサデータ１２２を用いることがある。したがって、ポリシーデータ１２６によって表されるポリシーに少なくとも部分的に基づいて、第２の自律車両１０２（２）は、交差点で車両１２４に道を譲ることを決定することがある。

【0026】

しかしながら、ルート１２８に沿ってナビゲートする車両１２４は、第２の自律車両１０２（２）がルート１１８に沿ってナビゲートする後までルート１２８に沿って前進することが可能でないことがある。これは、第２の自律車両１０２（２）の幅１３０およびルート１２８に沿った走行エンベロープの幅１３２に少なくとも部分的に基づいて、第２の自律車両１０２（２）が車両１２４のルート１２８を少なくとも部分的に塞いでいるからである。したがって、車両１２４は、第２の自律車両１０２（２）を待ち続けることがあり、その結果、車両１２４がルート１２８に沿ってナビゲートする前に、ルート１１８に沿ってナビゲートする。第２の自律車両１０２（２）は車両１２４に道を譲っているので、位置１２０で第２の自律車両１０２（２）の進行が妨げられることがある。

【0027】

進行が妨げられている間、第２の自律車両１０２（２）は、進行が妨げられた時間量が閾値時間量を満たすと決定あることがある。第２の自律車両１０２（２）はさらに、進行が介在条件（例えば、交通量、信号機など）により妨げられているかを決定することがある。時間量が閾値時間量を満たし、且つ進行が介在条件に起因して妨げられていないので、第２の自律車両１０２（２）は、テレオペレータに連絡することを決定してもよい。

【0028】

テレオペレータに連絡するために、第２の自律車両１０２（２）は、テレオペレータに関連付けられたテレオペレータシステム１１４に、センサデータ１２２（及び／又はそこから導出された任意のデータ）の少なくとも一部を送信することがある。例えば、第２の自律車両１０２（２）は、車両１２４を表す少なくともセンサデータ１２２（例えば、画像データ）をテレオペレータシステム１１４に送信することがある。いくつかの例では、第２の自律車両１０２（２）は、車両１２４により進行が妨げられたこと、および／または第２の自律車両１０２（２）が現在車両１２４に道を譲っていることを示すインジケータデータ１３４をテレオペレータシステム１１４にさらに送信することがある。さらに、いくつかの例では、第２の自律車両１０２（２）は、第２の自律車両１０２（２）が車両１２４に道を譲っているポリシーを示すポリシーデータ１２６をテレオペレータシステム１１４に送信することがある。次いで、テレオペレータは、図１Ｂの例において説明される第２の自律車両１０２（２）への案内を提供するために、第２の自律車両１０２（２）から受信されたデータを用いてもよい。

【0029】

図１Ｂは、本開示の実施形態による、テレオペレータから命令を受信する自律車両１０２（１）－（２）を含む例示的な環境１００を示す図である。例えば、テレオペレータは、テレオペレータインターフェースを含むことが可能であるユーザインターフェースを介して自律車両１０２（１）－（２）と交信してもよい。テレオペレータインターフェースは、自律車両１０２（１）－（２）の操作に関連するデータをテレオペレータに提供するように構成された１つまたは複数のディスプレイを含んでもよい。例えば、ディスプレイは、第１の自律車両１０２（１）から受信したセンサデータ１０８に関連するコンテンツ（例えば、画像）を表示するように構成されてもよい。加えて、ディスプレイは、第２の自律車両１０２（２）から受信したセンサデータ１２２に関連するコンテンツ（例えば、画像）を表示するように構成されてもよい。

【0030】

いくつかの例では、ディスプレイはさらに、自律車両１０２（１）－（２）の進行を妨げているオブジェクトに関連するコンテンツを表示するように構成されてもよい。例えば、ディスプレイは、第１の自律車両１０２（１）の進行を妨げているのは車両１０６であることを示すグラフィカル要素を表示するために、インジケータデータ１１６を用いてもよい。加えて、ディスプレイは、第２の自律車両１０２（２）の進行を妨げているのは車両１２４であることを示すグラフィカル要素を表示するために、インジケータデータ１３４を用いてもよい。本明細書で説明されるように、グラフィカル要素は、オブジェクトの周囲の境界ボックス、オブジェクトをシェーディングすること、オブジェクトを記述するテキスト、および／またはオブジェクトについての情報を示し得る任意の他のグラフィカル要素を含んでもよいが、これらに限定されない。

【0031】

テレオペレータインターフェースはまた、例えば、自律車両１０２（１）－（２）に案内を提供するテレオペレーション命令の形態で、テレオペレータが自律車両１０２（１）－（２）に情報を提供することを可能にするように構成されたテレオペレータ入力デバイスを含んでもよい。例えば、テレオペレータは、命令データ１３６によって表される命令を第１の自律車両１０２（１）に提供してもよい。命令は、第１の自律車両１０２（１）が車両１０６との相互作用を「追従する」から「追従しない」に変更することを示してもよい。いくつかの例では、命令はさらに、第１の自律車両１０２（１）が車両１０６の周囲をナビゲートするために、第１の自律車両１０２（１）が車線を維持することを指定するポリシーなどの１つまたは複数のポリシーに従うこと（および／またはそのようなポリシーを一時的に変更すること）を、第１の自律車両１０２（１）が一時的に停止してもよいことがある。

【0032】

第１の自律車両１０２（１）は、テレオペレータシステム１１４から命令データ１３６を受信することがある。命令データ１３６を使用して、第１の自律車両１０２（１）は、「追従しない」を示すように車両１０６との相互作用を更新することがある。加えて、いくつかの例では、第１の自律車両１０２（１）は、１つまたは複数のポリシーに従うことを一時的に停止してもよい（または変更してもよい）。したがって、命令に少なくとも部分的に基づいて、第１の自律車両１０２（１）は、車両１０６を迂回するためのルート１３８を決定することがある。車両１０６を迂回した後、第１の自律車両１０２（１）は、第１の自律車両１０２（１）のルート１０４に沿って再びナビゲートし得る。

【0033】

いくつかの例では、車両１０６を迂回するためにルート１３８に沿ってナビゲートしている間に、第１の自律車両１０２（１）は、車両１０６が移動し始めるかを決定し得る。例えば、第１の自律車両１０２（１）は、車両１０６の速度が時速ゼロマイルから時速ゼロマイルを超える速度に変化したかを決定するために、センサデータ１０８を用いてもよい。いくつかの例では、第１の自律車両１０２（１）が、車両１０６が移動し始めると決定する場合、第１の自律車両１０２（１）は、ルート１３８に沿ってナビゲートすることを停止し得る。加えて、第１の自律車両１０２（１）は、「追従する」ことを含むように車両１０６との相互作用を再び更新し、それにより車両のノミナルな動作挙動に戻し得る。

【0034】

加えて、または代替として、いくつかの例では、テレオペレータシステム１１４からの命令は、車両１０６の周囲の領域１４０を示すことがある。そのような例では、車両１０６を迂回するためにルート１３８に沿ってナビゲートしている間に、第１の自律車両１０２（１）は、車両１０６がエリア１４０の外に移動するかを決定し得る。例えば、第１の自律車両１０２（１）は、車両１０６の少なくとも一部分がエリア１４０の外側に移動するかを決定するために、センサデータ１０８を用いることがある。第１の自律車両１０２（１）が、車両１０６がエリア１４０の外に移動すると決定する場合、第１の自律車両１０２（１）は、ルート１３８に沿ってナビゲートすることを停止し得る。加えて、第１の自律車両１０２（１）は、「追従する」ことを含むように車両１０６との相互作用を再び更新することができる。

【0035】

加えて、テレオペレータは、命令データ１４２によって表される命令を第２の自律車両１０２（２）に提供してもよい。命令は、第２の自律車両１０２（２）が車両１２４に道を譲ることを停止することを示すことがある。いくつかの例では、命令はさらに、第２の自律車両１０２（２）が第２の自律車両１０２（２）より前に交差点に到着する車両に道を譲ることを指定するポリシーなどの１つまたは複数のポリシーに従うことを、第２の自律車両１０２（２）が一時的に停止してもよい（または場合によっては変更してもよい）ことを示すことがある。

【0036】

第２の自律車両１０２（２）は、テレオペレータシステム１１４から命令データ１４２を受信することがある。命令データ１４２を用いて、第２の自律車両１０２（２）は、交差点で車両１２４をもはや道を譲らないことを決定してもよい。加えて、いくつかの例では、第２の自律車両１０２（２）は、１つまたは複数のポリシーに従うのを一時的に停止してもよい。したがって、命令に少なくとも部分的に基づいて、ルート１２８に沿ってナビゲートする余地を車両１２４に提供するために、車両１２４がルート１２８に沿ってナビゲートし始める前に、第２の自律車両１０２（２）はルート１１８に沿ってナビゲートし始めてもよい。図１Ｂの例に示されるように、第２の自律車両１０２（２）がルート１１８に沿ってナビゲートし始めた後、車両１２４はルート１２８に沿ってナビゲートし得る。

【0037】

図１Ａの例は、第１の自律車両１０２（１）が追従を停止した車両１０６に基づいて、第１の自律車両１０２（１）の進行が妨げられるものとして説明するが、他の例では、第１の自律車両１０２（１）の進行は他の理由で停止してもよい。例えば、第１の自律車両１０２（１）は、センサデータ１０８を分析することがあり、その分析に基づいて、第１の自律車両１０２（１）は、車両１０６が特定のタイプのオブジェクトを含むことを決定することがある。その決定に基づいて、第１の自律車両１０２（１）は、進行が妨げられていると決定してもよい。第２の例では、第１の自律車両１０２（１）は、センサデータ１０８を分析することがあり、その分析に基づいて、第１の自律車両１０２（１）は、車両１０６の速度が閾値速度未満であると決定することがある。その決定に基づいて、第１の自律車両１０２（１）は、進行が妨げられていると決定してもよい。

【0038】

図２は、本開示の実施形態による、自律車両２０２が渋滞中であることに少なくとも部分的に基づいて、テレオペレータに連絡しないことを決定する自律車両２０２を含む例示的な環境２００を示す図である。例えば、自律車両２０２は、１車線より多い走行車線を含む道路上のルート２０４に沿ってナビゲートすることがある。いくつかの例では、自律車両２０２は、道路が２車線より多い走行車線を含むと決定するために、センサデータおよび／またはマップデータを用いてもよい。第１の例では、自律車両２０２は、同じ方向にある複数の走行車線を示す道路上のマーキングを識別するために、センサデータを分析することがある。第２の例では、自律車両２０２は、自律車両２０２の隣を自律車両２０２と同じ方向にナビゲートする別の車両を識別するために、センサデータを分析することがある。第３の例では、マップデータは、道路が複数の走行車線を含むことを示すことがある。

【0039】

加えて、他の車両２０６（１）－（１１）はそれぞれ、ルート２０８（１）－（１１）に沿ってナビゲートしていることがある。ナビゲートしている間、自律車両２０２および車両２０６（１）－（１１）は、交通渋滞に陥ることがある。例えば、自律車両２０２の進行は、ルート２０４に沿った位置で妨げられ得る。進行が妨げられていることに少なくとも部分的に基づいて、自律車両２０２は、テレオペレータに連絡するかを決定してもよい。

【0040】

例えば、自律車両２０２は、閾値時間量の間進行が妨げられたと決定することがある。次いで、自律車両２０２は、交通量によって進行が妨げられているかを決定することがある。いくつかの例では、交通によって進行が妨げられたかを決定するために、自律車両２０２は、自律車両２０２の近くに位置するおよび／または自律車両２０２が追従している車両２０６（１０）の近くに位置する少なくとも１つの他の車両についての進行も妨げられたと決定してもよい。

【0041】

例えば、自律車両２０２は、第１の車線２１０（１）内をナビゲートしていることがある。自律車両２０２は、第２の車線２１０（２）に位置する車両２０６（２）の進行、第２の車線２１０（２）に位置する車両２０６（６）の進行、第２の道路車線２１０（２）に位置する車両２０６（９）の進行、第３の道路車線２１０（３）に位置する車両２０６（４）の進行、第３の道路車線２１０（３）に位置する車両２０６（７）の進行、および／または第３の道路車線２１０（３）に位置する車両２０６（１１）の進行も妨げられていると決定することがある。決定に少なくとも部分的に基づいて、自律車両２０２は、交通量によって進行が妨げられていると決定してもよい。したがって、自律車両２０２は、たとえ自律車両２０２の進行が閾値時間量の間妨げられたとしても、テレオペレータに連絡しないと決定してもよい。

【0042】

図３は、本開示の実施形態による、交通信号機３０４によって妨げられる自律車両３０２の進行に少なくとも部分的に基づいて、テレオペレータに連絡しないことを決定する自律車両３０２を含む例示的な環境３００を示す図である。例えば、自律車両３０２は、ルート３０６に沿ってナビゲートすることがある。加えて、他の車両３０８（１）－（４）はそれぞれ、ルート３１０（１）－（４）に沿ってナビゲートすることがある。ナビゲートしている間、自律車両３０２がやはり停止した車両３０８（１）に道を譲ることに少なくとも部分的に基づいて、自律車両３０２の進行が妨げられることがある。例えば、交通信号機３０４が赤色であるため、車両３０８（１）は停止していることがある。進行が妨げられていることに少なくとも部分的に基づいて、自律車両３０２は、テレオペレータに連絡するかを決定してもよい。

【0043】

例えば、自律車両３０２は、進行が閾値時間量の間妨げられたと決定することがある。次いで、自律車両３０２は、進行が交通信号機３０４によって妨げられているかを決定することがある。いくつかの例では、進行が交通信号機３０４によって停止しているかを決定するために、自律車両３０２は、自律車両３０２によって生成されたセンサデータを分析してもよい。分析に少なくとも部分的に基づいて、自律車両３０２は、交通信号機３０４を識別し、交通信号機３０４が現在赤色であると決定することがある。したがって、自律車両３０２は、進行が信号機３０４によって妨げられていると決定することがある。いくつかの例では、信号機３０４によって進行が妨げられるので、自律車両３０２は、たとえ進行が閾値時間の間妨げられたとしても、テレオペレータに連絡しないことを決定してもよい。

【0044】

しかしながら、同様の例では、そのような環境３００が交通信号機を欠いている場合、自律車両３０２は、４方向一時停止の十字路を通って進む方法を指示する一般的な慣行または法律に基づいて、進む方法について推論してもよい（例えば、接近の順序に基づいて、および／または右側への車両に道を譲るようにしてもよい）。そのような例では、自律車両３０２が、閾値時間量以上の時間期間にわたって別の車両（例えば、車両３０８（４））に（ポリシーに従って）道を譲っている場合、自律車両３０２は、案内のためにテレオペレータに信号を送信してもよい。

【0045】

図４は、本開示の実施形態による、本明細書で説明される技法を実装するための例示的なシステム４００を示すブロック図である。少なくとも１つの例では、システム４００は、車両４０２（第１の自律車両１０２（１）、第２の自律車両１０２（２）、自律車両２０２、および／または自律車両３０２を表し得る、および／またはそれらと同様であり得る）を含むことが可能である。車両４０２は、車両コンピューティングデバイス４０４、１つまたは複数のセンサシステム４０６、１つまたは複数のエミッタ４０８、１つまたは複数の通信接続４１０、少なくとも１つの直接接続４１２、および１つまたは複数の駆動モジュール４１４を含むことが可能である。

【0046】

車両コンピューティングデバイス４０４は、１つまたは複数のプロセッサ４１６と、１つまたは複数のプロセッサ４１６に通信可能に結合されたメモリ４１８とを含むことが可能である。図示した例では、車両４０２は自律車両である。しかしながら、車両４０２は、任意の他のタイプの車両（例えば、手動運転車両、半自律車両など）、または少なくとも画像キャプチャデバイスを有する任意の他のシステムであってもよい。図示した例では、車両コンピューティングデバイス４０４のメモリ４１８は、位置特定コンポーネント４２０、知覚コンポーネント４２２、プランニングコンポーネント４２４、進行コンポーネント４２６、条件コンポーネント４２８、テレオペレータコンポーネント４３０、１つまたは複数のシステムコントローラ４３２、および１つまたは複数のマップ４３４を記憶する。説明のためにメモリ４１８内に常駐するものとして図４に示されているが、位置特定コンポーネント４２０、知覚コンポーネント４２２、プランニングコンポーネント４２４、進行コンポーネント４２６、条件コンポーネント４２８、テレオペレータコンポーネント４３０、１つまたは複数のシステムコントローラ４３２、および／または１つまたは複数のマップ４３４は、さらに、または代替として、車両４０２にアクセス可能である（例えば、車両４０２からリモートにあるメモリに記憶されるか、またはさもなければそれにアクセス可能である）ことが企図される。

【0047】

少なくとも１つの例では、位置特定コンポーネント４２０は、センサシステム４０６からセンサデータ４３６（センサデータ１０８および／またはセンサデータ１２２を表し得る、および／またはそれらに同様であり得る）を受信し、車両４０２の位置および／または向き（例えば、ｘ位置、ｙ位置、ｚ位置、ロール、ピッチ、またはヨーのうちの１つまたは複数）を決定する機能を含み得る。例えば、位置特定コンポーネント４２０は、環境のマップを含みおよび／または要求／受信し得るし、マップ内の車両４０２の位置および／または向きを連続的に決定し得る。いくつかの例では、車両４０２の位置を正確に決定するに、位置特定コンポーネント４２０は、ＳＬＡＭ（ｓｉｍｕｌｔａｎｅｏｕｓ ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ ｍａｐｐｉｎｇ）、ＣＬＡＭＳ（ｃａｌｉｂｒａｔｉｏｎ，ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ ｍａｐｐｉｎｇ， ｓｉｍｕｌｔａｎｅｏｕｓｌｙ）、相対的ＳＬＡＭ、バンドル調整、非線形最小２乗最適化などを利用して、画像データ、ＬＩＤＡＲデータ、ＲＡＤＡＲデータ、ＩＭＵデータ、ＧＰＳデータ、ホイールエンコーダデータなどを受信することが可能である。いくつかの例では、位置特定コンポーネント４２０は、本明細書で説明されるように、候補軌道を生成するための車両４０２の初期位置を決定するために、車両４０２の様々なコンポーネントにデータを提供することが可能である。

【0048】

いくつかの例では、知覚コンポーネント４２２は、オブジェクト検出、セグメンテーション、および／または分類を実行する機能を含むことが可能である。いくつかの例では、知覚コンポーネント４２２は、車両５０２に近接するオブジェクトの存在、および／またはオブジェクトタイプ（例えば、車、歩行者、サイクリスト、動物、建築物、木、路面、縁石、歩道、不明など）としてのオブジェクトの分類を示す処理されたセンサデータ４３６を提供することが可能である。追加および／または代替の例では、知覚コンポーネント４２２は、検出されたオブジェクトおよび／またはオブジェクトが位置する環境に関連する１つまたは複数の特性を示す処理されたセンサデータ４３６を提供することが可能であるいくつかの例では、オブジェクトに関連付けられた特性は、ｘ位置（グローバル位置）、ｙ位置（グローバル位置）、ｚ位置（グローバル位置）、向き（例えば、ロール、ピッチ、ヨー）、オブジェクトタイプ（例えば、分類）、オブジェクトの速度、オブジェクトの加速度、オブジェクトの範囲（サイズ）などを含むことが可能であるが、これらに限定されない。環境に関連する特性は、環境内の別のオブジェクトの存在、環境内の別のオブジェクトの状態、時刻、曜日、季節、気象条件、暗さ／明るさの表示などを含むことが可能であるが、これらに限定されない。

【0049】

一般に、プランニングコンポーネント４２４は、環境を横断するために車両４０２が追従するルートを決定することが可能である。例えば、プランニングコンポーネント４２４は、様々なルートおよび軌道ならびに様々な詳細レベルを決定することが可能である。例えば、プランニングコンポーネント４２４は、第１の位置（例えば、現在位置）から第２の位置（例えば、ターゲット位置）まで移動するルートを決定することが可能である。この説明の目的のために、ルートは、２つの位置間を移動するための一連のウェイポイントとすることが可能である。非限定的な例として、ウェイポイントは、通り、交差点、ＧＰＳ（ｇｌｏｂａｌ ｐｏｓｉｔｉｏｎｉｎｇ ｓｙｓｔｅｍ）座標などを含む。さらに、プランニングコンポーネント４２４は、第１の位置から第２の位置までのルートの少なくとも一部に沿って車両４０２を案内するための命令を生成することが可能である。少なくとも１つの例では、プランニングコンポーネント４２４は、一連のウェイポイント内の第１のウェイポイントから一連のウェイポイント内の第２のウェイポイントに車両４０２を案内する仕方を決定することが可能である。いくつかの例では、後退ホライズン技法に従って、複数の軌道を実質的に同時に（例えば、技術的許容範囲内で）生成することを可能にし、車両４０２がナビゲートするために複数の軌道のうちの１つが選択される。

【0050】

少なくとも１つの例において、プランニングコンポーネント４２４は、位置に関連付けられたピックアップ位置を決定することが可能である。本明細書で用いられているように、ピックアップ位置は、車両４０２が停止して乗客をピックアップすることが可能である位置（例えば、住所、または配車要求に関連付けられた位置）の閾値距離内の特定の位置（例えば、駐車スペース、乗車区域、地面の一部など）とすることが可能である。少なくとも１つの例では、プランニングコンポーネント４２４は、（例えば、本明細書で説明されるように、画像認識を介して決定される、またはユーザデバイスからの指示として受信される）ユーザＩＤを決定することに少なくとも部分的に基づいて、ピックアップ位置を決定することが可能である。ピックアップ位置への到着、目的地への到着、乗客による車両への乗り込み、および「乗車開始」コマンドの受信は、イベントベースのデータロギングのために使用され得るイベントの追加例である。

【0051】

いくつかの例では、プランニングコンポーネント４２４は、車両４０２が他の車両などのオブジェクトにいつ道を譲るべきかを決定するための機能をさらに含むことが可能である。例えば、プランニングコンポーネント４２４は、車両４０２がオブジェクトにいつ道を譲るべきかを決定するためにポリシーデータ４３８を用いてもよい。ポリシーデータ４３８は、車両４０２がナビゲートするときに従うべき１つまたは複数のポリシーを表し得る。１つまたは複数のポリシーは、車両４０２の前に交差点に到着する他の車両に道を譲るポリシー、道路車線内を走行するポリシー、車線を変更する方法に関するポリシー、停止方法に関するポリシー、車両４０２が他車の直後を走行すべきでないポリシーなどを含み得るが、これらに限定されない。したがって、プランニングコンポーネント４２４は、他の車両が車両４０２の前に交差点に到着したとき、車両４０２が別の車両に道を譲るべきであると決定し得る。加えて、プランニングコンポーネント４２４は、２台の他の車両が車両４０２の前に交差点に到着するとき、車両が２台の他の車両に道を譲るべきであると決定し得る。

【0052】

いくつかの例では、プランニングコンポーネント４２４は、車両４０２と車両などのオブジェクトとの間の相互作用を決定する機能をさらに含むことが可能である。例えば、プランニングコンポーネント４２４は、車両４０２とオブジェクトとの間の相互作用を決定するために相互作用データ４４０を用いてもよい。相互作用データ４４０は、車両４０２の軌道に沿って位置するオブジェクトに追従する相互作用、車両４０２の軌道に沿って位置しないオブジェクトに追従しない相互作用、車両４０２が追従するオブジェクトに道を譲る相互作用などの１つまたは複数の相互作用を表し得るが、これらに限定されない。いくつかの例では、追従することは、車両４０２とオブジェクトとの間の最小距離を維持するために車両４０２の縦方向制御（例えば、速度および／または加速度）を変化させることを伴うことがあり、最小距離は、車両４０２とオブジェクトとの間の相対距離および／または速度に少なくとも部分的に基づき得る。したがって、プランニングコンポーネント４２４は、他の車両が車両４０２の軌道内に位置するとき、車両４０２が別の車両に追従すべきであると決定し得る。

【0053】

いくつかの例では、プランニングコンポーネント４２４は、インジケータデータ４４２を生成する機能をさらに含むことが可能であり、インジケータデータ４４２は、車両４０２が現在道を譲っているオブジェクトおよび／または車両４０２が追従しているオブジェクトを表す。いくつかの例では、プランニングコンポーネント４２４は、車両４０２がオブジェクトに道を譲っていると知覚コンポーネントが決定するたびに、および／または車両４０２がオブジェクトを追従しているとプランニングコンポーネント４２４が決定するたびに、インジケータデータ４４２を生成し得る。他の例では、車両４０２がテレオペレータに連絡することを決定したとき、プランニングコンポーネント４２４はインジケータデータ４４２を生成し得る。

【0054】

いくつかの例では、プランニングコンポーネント４２４は、車両４０２をナビゲートする方法を決定するために、テレオペレータシステム１１４によって送信された命令データ４４６を用いる機能を含む。第１の例では、命令データ４４６は、オブジェクトに道を譲ることを停止する命令を表すことがある。命令データ４４６に少なくとも部分的に基づいて、プランニングコンポーネント４２４は、車両４０２にオブジェクトに道を譲ることを停止させ、および／または車両４０２をナビゲートするためのルートを決定し得る。第２の例では、命令データ４４６は、１つまたは複数のポリシーに従うことを一時的に停止する命令を表すことがある。命令データ４４６に少なくとも部分的に基づいて、プランニングコンポーネント４２４は、車両４０２に、１つまたは複数のポリシーに従うことを一時的に停止させ、および／または車両４０２をナビゲートするためのルートを決定し得る。第３の例では、命令データ４４６は、オブジェクトとの相互作用を「追従する」から「もはや追従しない」に変更する命令を表すことがある。命令データ４４６に少なくとも部分的に基づいて、プランニングコンポーネント４２４は、車両４０２に、オブジェクトとの相互作用を変更させ、および／またはオブジェクトの周囲をナビゲートするためのルートを決定し得る。

【0055】

進行コンポーネント４２６は、車両４０２の進行がいつ妨げられたかを決定する機能を含むことが可能である。いくつかの例では、進行コンポーネント４２６は、車両４０２が移動していない（例えば、車両４０２の速度が時速ゼロマイルである）ときに車両４０２の進行が妨げられたと決定してもよい。加えて、または代替として、いくつかの例では、進行コンポーネント４２６は、車両４０２が所与の時間内に所与の距離だけしかナビゲートしていないときに車両４０２の進行が妨げられたと決定してもよい。加えて、または代替として、いくつかの例では、進行コンポーネント４２６は、車両４０２の現在の速度が閾値速度を下回るときに車両４０２の進行が妨げられたと決定してもよい。

【0056】

進行コンポーネント４２６は、車両４０２の進行がオブジェクトによっていつ妨げられるかを決定する機能を含むことが可能である。いくつかの例では、進行コンポーネント４２６は、車両４０２が環境内に位置する特定のタイプのオブジェクトを識別するとき、車両４０２の進行が妨げられ得ると決定してもよい。いくつかの例では、進行コンポーネント４２６は、車両４０２が環境内で発生する特定のシナリオを識別するとき、車両４０２の進行が妨げられ得ると決定してもよい。シナリオは、車両４０２の走行車線に合流する別の車両、（以下で説明する）閾値速度を下回る速度でナビゲートする別の車両、車両４０２のルートに沿って発生する事故などを含み得るが、これらに限定されない。

【0057】

いくつかの例では、進行コンポーネント４２６は、閾値データ４４４によって表され得る閾値時間量にわたって車両４０２の進行がいつ妨げられたかを決定する機能をさらに含むことが可能である。加えて、または代替として、いくつかの例では、進行コンポーネント４２６は、車両４０２が閾値時間量の間にいつオブジェクトに道を譲るかを決定する機能を含むことが可能である。本明細書で説明されるように、閾値時間量は、３秒、３０秒、１分、３分、および／または任意の他の時間期間を含み得るが、これらに限定されない。

【0058】

条件コンポーネント４２８は、１つまたは複数の介在条件がいつ車両４０２の進行を妨げているかを決定する機能を含むことが可能である。本明細書で説明されるように、介在条件は、車両４０２が交通渋滞に陥っていること、車両４０２が交通信号機のために妨げられていることなどを含み得るが、これらに限定されない。

【0059】

テレオペレータコンポーネント４３０は、いつテレオペレータに連絡するかを決定する機能を含むことが可能である。いくつかの例では、テレオペレータコンポーネント４３０は、車両４０２の進行が閾値時間量にわたって妨げられた場合に、テレオペレータに連絡することを決定する。いくつかの例では、テレオペレータコンポーネント４３０は、車両４０２の進行が閾値時間量にわたって妨げられており、且つ車両４０２の進行を妨げる介在条件が発生していない場合に、テレオペレータに連絡することを決定する。さらに、いくつかの例では、テレオペレータコンポーネント４３０は、車両の進行が特定のタイプのオブジェクトまたは特定のシナリオによって妨げられた場合に、テレオペレータに連絡することを決定する。いずれの例においても、テレオペレータに連絡することを決定した後、テレオペレータコンポーネント４３０は、車両４０２にセンサデータ４３６の少なくとも一部をテレオペレータシステム１１４に送信させる機能を含むことが可能である。加えて、いくつかの例では、テレオペレータコンポーネント４３０は、車両４０２にインジケータデータ４４２をテレオペレータシステム１１４に送信させる機能を含むことが可能である。

【0060】

少なくとも１つの例において、車両コンピューティングデバイス４０４は、車両４０２の操舵、推進、制動、安全、エミッタ、通信、および他のシステムを制御するように構成されることが可能である１つまたは複数のシステムコントローラ４３２を含むことが可能である。これらのシステムコントローラ４３２は、駆動モジュール２１２の対応するシステムおよび／または車両４０２の他のコンポーネントと通信し、および／またはそれらを制御することが可能である。

【0061】

メモリ４１８は、環境内でナビゲートするために車両４０２によって用いられることが可能である１つまたは複数のマップ４３４をさらに含むことが可能である。この説明のために、マップは、（交差点などの）トポロジー、街路、山脈、道路、地形、および一般的な環境などの環境についての情報を提供することが可能な、２次元、３次元、またはＮ次元でモデル化された任意の数のデータ構造であることが可能であるが、これらに限定されない。いくつかの事例では、マップは、テクスチャ情報（例えば、色情報（例えば、ＲＧＢ色情報、Ｌａｂ色情報、ＨＳＶ／ＨＳＬ色情報）など）、強度情報（例えば、ＬＩＤＡＲ情報、ＲＡＤＡＲ情報など）、空間情報（例えば、メッシュ上に投影された画像データ、個々の「表面要素」（例えば、個々の色および／または強度に関連するポリゴン））、反射率情報（例えば、鏡面度情報、再帰反射性情報、ＢＲＤＦ情報、ＢＳＳＲＤＦ情報など）を含むことが可能であるが、これらに限定されない。一例では、マップは、環境の３次元メッシュを含むことが可能である。いくつかの例では、マップの個々のタイルが環境の別個の部分を表し、必要に応じて作業メモリにロードされることが可能であるように、マップはタイル形式で記憶されることが可能である。少なくとも１つの例では、１つまたは複数のマップ４３４は、少なくとも１つのマップ（例えば、画像および/またはメッシュ)を含むことが可能である。いくつかの例では、車両４０２は、マップ４３４に少なくとも部分的に基づいて制御されることが可能である。すなわち、マップ４３４は、車両４０２の位置を決定し、環境内のエンティティを識別し、および／または環境内でナビゲートするためのルートおよび／または軌道を生成するために、位置特定コンポーネント４２０、知覚コンポーネント４２２、および/またはプランニングコンポーネント４２４と関連して用いられることが可能である。

【0062】

いくつかの例では、本明細書で説明されるコンポーネントの一部または全ての態様は、任意のモデル、アルゴリズム、および／または機械学習アルゴリズムを含むことが可能である。例えば、いくつかの例では、メモリ４１８内のコンポーネントは、ニューラルネットワークとして実装されることが可能である。本明細書に説明されるように、例示的なニューラルネットワークは、入力データを一連の接続されたレイヤー中を通過させて出力を生成する生物学的に着想されたアルゴリズムである。ニューラルネットワーク内の各レイヤーは、（畳み込みであるか否かにかかわらず）別のニューラルネットワークを含むことも可能であり、または任意の数のレイヤーを含むことも可能である。本開示の文脈において理解されることが可能であるように、ニューラルネットワークは、学習されたパラメータに少なくとも部分的に基づいて出力が生成される、そのようなアルゴリズムの広範なクラスを指し得る機械学習を利用することが可能である。

【0063】

ニューラルネットワークの文脈で説明したが、本開示に合致する任意のタイプの機械学習を使用することが可能である。例えば、機械学習アルゴリズムは、回帰アルゴリズム（例えば、ＯＬＳＲ（ｏｒｄｎｉｎａｒｙ ｌｅａｓｔ ｓｑｕａｒｅｓ ｒｅｇｒｅｓｓｉｏｎ）、線形回帰、ロジスティック回帰、段階的回帰、ＭＡＲＳ（ｍｕｌｔｉｖａｒｉａｔｅ ａｄａｐｔｉｖｅ ｒｅｇｒｅｓｓｉｏｎ ｓｐｌｉｎｅｓ）、ＬＯＥＳＳ（ｌｏｃａｌｌｙ ｅｓｔｉｍａｔｅｄ ｓｃａｔｔｅｒｐｌｏｔ ｓｍｏｏｔｈｉｎｇ）、インスタンスベースのアルゴリズム（例えば、リッジ回帰、ＬＡＳＳＯ（ｌｅａｓｔ ａｂｓｏｌｕｔｅ ｓｈｒｉｎｋａｇｅ ａｎｄ ｓｅｌｅｃｔｉｏｎ ｏｐｅｒａｔｏｒ）、弾性ネット、ＬＡＲＳ（ｌｅａｓｔ－ａｎｇｌｅ ｒｅｇｒｅｓｓｉｏｎ）、決定ツリーアルゴリズム（例えば、ＣＡＲＴ（ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｎｄ ｒｅｇｒｅｓｓｉｏｎ ｔｒｅｅ）、ＩＤ２（ｉｔｅｒａｔｉｖｅ ｄｉｃｈｏｔｏｍｉｓｅｒ ２）、ＣＨＡＩＤ（Ｃｈｉ－ｓｑｕａｒｅｄ ａｕｔｏｍａｔｉｃ ｉｔｅｒａｔｉｏｎ ｄｅｔｅｃｔｉｏｎ）、決定スタンプ、条件付き決定ツリー）、ベイジアンアルゴリズム（例えば、単純ベイズ、ガウシアン単純ベイズ、多項単純ベイズ、ＡＯＤＥ（ａｖｅｒａｇｅ ｏｎｅ－ｄｅｐｅｎｄｅｎｃｅ ｅｓｔｉｍａｔｏｒｓ）、ＢＮＮ（Ｂａｙｅｓｉａｎ ｂｅｌｉｅｆ ｎｅｔｗｏｒｋ）、ベイジアンネットワーク）、クラスタリングアルゴリズム（例えば、ｋ平均、ｋ中央値、ＥＭ（ｅｘｐｅｃｔａｔｉｏｎ ｍａｘｉｍｉｚａｔｉｏｎ）、階層クラスタリング）、関連付けルール学習アルゴリズム（例えば、パーセプトロン、バックプロパゲーション、ホップフィールドネットワーク、ＲＢＦＮ（Ｒａｄｉａｌ Ｂａｓｉｓ Ｆｕｎｃｔｉｏｎ Ｎｅｔｗｏｒｋ）、深層学習アルゴリズム（例えば、ＤＢＭ（Ｄｅｅｐ Ｂｏｌｔｚｍａｎｎ Ｍａｃｈｉｎｅ）、ＤＢＮ（Ｄｅｅｐ Ｂｅｌｉｅｆ Ｎｅｔｗｏｒｋｓ）、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、積層自動エンコーダ）、次元削減アルゴリズム（例えば、ＰＣＡ（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）、ＰＣＲ（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ｒｅｇｒｅｓｓｉｏｎ）、ＰＬＳＲ（Ｐａｒｔｉａｌ Ｌｅａｓｔ Ｓｑｕａｒｅｓ Ｒｅｇｒｅｓｓｉｏｎ）、サモンマッピング、ＭＤＳ（Ｍｕｌｔｉｄｉｍｅｎｓｉｏｎａｌ Ｓｃａｌｉｎｇ）、射影追跡、ＬＤＡ（Ｌｉｎｅａｒ Ｄｉｓｃｒｉｍｉｎａｎｔ Ａｎａｌｙｓｉｓ）、ＭＤＡ（Ｍｉｘｔｕｒｅ Ｄｉｓｃｒｉｍｉｎａｎｔ Ａｎａｌｙｓｉｓ）、ＱＤＡ（Ｑｕａｄｒａｔｉｃ Ｄｉｓｃｒｉｍｉｎａｎｔ Ａｎａｌｙｓｉｓ）、ＦＤＡ（Ｆｌｅｘｉｂｌｅ Ｄｉｓｃｒｉｍｉｎａｎｔ Ａｎａｌｙｓｉｓ））、アンサンブルアルゴリズム（例えば、ブースティング、ブートストラップアグリゲーション（バギング）、アダブースト、積層一般化（ブレンディング）、ＧＢＭ（Ｇｒａｄｉｅｎｔ Ｂｏｏｓｔｉｎｇ Ｍａｃｈｉｎｅｓ）、ＧＢＲＴ（Ｇｒａｄｉｅｎｔ Ｂｏｏｓｔｅｄ Ｒｅｇｒｅｓｓｉｏｎ Ｔｒｅｅｓ）、ランダムフォレスト）、ＳＶＭ（ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ）、教師あり学習、教師なし学習、半教師あり学習などを含むことが可能であるが、これらに限定されない。

【0064】

アーキテクチャの追加の例は、ＲｅｓＮｅｔ７０、ＲｅｓＮｅｔ１０１、ＶＧＧ、ＤｅｎｓｅＮｅｔ、ＰｏｉｎｔＮｅｔなどのニューラルネットワークを含む。

【0065】

上述したように、少なくとも１つの例では、センサシステム４０６は、ＬＩＤＡＲセンサ、ＲＡＤＡＲセンサ、超音波トランスデューサ、ソナーセンサ、位置センサ（例えば、ＧＰＳ、コンパスなど）、慣性センサ（例えば、慣性計測ユニット（ＩＭＵ）、加速度計、磁力計、ジャイロスコープなど）、カメラ（例えば、ＲＧＢ、ＩＲ、強度、深度、飛行時間など）、マイクロフォン、ホイールエンコーダ、環境センサ（例えば、温度センサ、湿度センサ、光センサ、圧力センサなど）等を含むことが可能である。センサシステム４０６は、これらまたは他のタイプのセンサのそれぞれの複数のインスタンスを含むことが可能である。例えば、ＬＩＤＡＲセンサは、車両４０２のコーナー、前部、後部、側面、および／または上部に配置された個々のＬＩＤＡＲセンサを含むことが可能である。別の例として、カメラセンサは、車両４０２の外部および／または内部の周囲の様々な位置に配置された複数のカメラを含むことが可能である。センサシステム４０６は、入力を車両コンピューティングデバイス４０４に提供することが可能である。加えて、または代替として、センサシステム４０６は、所定時間の経過後、１つまたは複数の条件の発生に応じて、ほぼリアルタイムで、特定の周波数で、１つまたは複数のネットワーク４５０を介して、センサデータ４３６を制御システム４４８に送信することが可能である。

【0066】

上述したように、車両４０２はまた、光および／または音を放射するための１つまたは複数のエミッタ４０８を含むことが可能である。この例におけるエミッタ４０８は、車両４０２の乗客と通信するための内部オーディオおよびビジュアルエミッタを含む。非限定的な例として、内部エミッタは、スピーカー、ライト、サイン、ディスプレイスクリーン、タッチスクリーン、触覚エミッタ（例えば、振動および／または力のフィードバック）、機械的アクチュエータ（例えば、シートベルトテンショナー、シートポジショナー、ヘッドレストポジショナーなど）等を含むことが可能である。この例におけるエミッタ４０８はまた、外部エミッタを含む。非限定的な例として、この例における外部エミッタは、進行方向または車両動作の他のインジケータ（例えば、インジケータライト、サイン、ライトアレイなど）を信号で伝えるライト、および歩行者または他の近くの車両と可聴的に通信する１つまたは複数のオーディオエミッタ（例えば、スピーカー、スピーカーアレイ、ホーンなど）を含み、それらのうちの１つまたは複数は、音響ビームステアリング技術を含む。

【0067】

車両４０２はまた、車両４０２と１つまたは複数の他のローカルまたはリモートコンピューティングデバイスとの間の通信を可能にする１つまたは複数の通信接続４１０を含むことが可能である。例えば、通信接続４１０は、車両４０２および／または駆動モジュール４１４上の他のローカルコンピューティングデバイスとの通信を容易にすることを可能にする。また、通信接続４１０は、車両４０２が他の近くのコンピューティングデバイス（例えば、他の近くの車両、交通信号機など）と通信することを可能にする。通信接続４１０はまた、車両４０２がテレオペレータコンピューティングデバイス（例えば、テレオペレータシステム１１４）または他のリモートサービスと通信することを可能にする。

【0068】

通信接続４１０は、車両コンピューティングデバイス４０４を別のコンピューティングデバイスまたはネットワーク４５０などのネットワークに接続するための物理的および／または論理的インターフェースを含むことが可能である。例えば、通信接続４１０は、ＩＥＥＥ８０２．１１規格によって定義された周波数、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの短距離無線周波数、セルラー通信（例えば、２Ｇ、２Ｇ，４Ｇ、４ＧＬＴＥ、５Ｇなど）、またはそれぞれのコンピュータデバイスが他のコンピューティングデバイスとインターフェースをとることを可能にする任意の適切な有線通信プロトコルまたは無線通信プロトコルなどを介したＷｉ－Ｆｉ（登録商標）ベースの通信を可能にする。

【0069】

少なくとも１つの例では、車両４０２は、１つまたは複数の駆動モジュール４１４を含むことが可能である。いくつかの例では、車両４０２は、単一の駆動モジュール４１４を有することが可能である。少なくとも１つの例では、車両４０２が複数の駆動モジュール４１４を有する場合、個々の駆動モジュール４１４を車両４０２の対向する端部（例えば、前部および後部など）に配置することが可能である。少なくとも１つの例では、駆動モジュール４１４は、駆動モジュール４１４および／または車両４０２の周囲の条件を検出するために、１つまたは複数のセンサシステムを含むことが可能である。非限定的な例として、センサシステム４０６は、駆動モジュールの車輪の回転を感知するための１つまたは複数のホイールエンコーダ（例えば、ロータリーエンコーダ）と、駆動モジュールの向きおよび加速度を測定するための慣性センサ（例えば、慣性計測ユニット、加速度計、ジャイロスコープ、磁力計など）、カメラまたは他の画像センサ、駆動モジュールの周囲のエンティティを音響的に検出するための超音波センサ、ＬＩＤＡＲセンサ、ＲＡＤＡＲセンサなどを含むことが可能である。ホイールエンコーダのようないくつかのセンサは、駆動モジュール４１４に対して固有であってもよい。場合によっては、駆動モジュール４１４上のセンサシステム４０６は、車両４０２の対応するシステム（例えば、センサシステム４０６）と重複するか、または補足することが可能である。

【0070】

駆動モジュール４１４は、高電圧バッテリ、車両４０２を推進するためのモータ、他の車両システムが使用するためにバッテリからの直流電流を交流電流に変換するためのインバータ、（電気式とすることが可能である）ステアリングモータおよびステアリングラックを含むステアリングシステム、油圧または電気アクチュエータを含むブレーキシステム、油圧コンポーネントおよび／または空気圧コンポーネントを含むサスペンションシステム、トラクションの損失を緩和し、制御を維持するためにブレーキ力を分散させるための安定性制御システム、ＨＶＡＣシステム、照明（例えば、車両の外部周辺を照明するためのヘッド／テールライトなどの照明）、および１つまたは複数の他のシステム（例えば、冷却システム、安全システム、車載充電システム、ＤＣ／ＤＣコンバータ、高電圧ジャンクション、高電圧ケーブル、充電システム、充電ポートなどの他の電気構成要素）を含む多くの車両システムを含むことが可能である。加えて、駆動モジュール４１４は、センサシステム４０６からセンサデータ４３６を受信して前処理し、様々な車両システムの動作を制御することが可能である駆動モジュールコントローラを含むことが可能である。いくつかの例では、駆動モジュールコントローラは、１つまたは複数のプロセッサと、１つまたは複数のプロセッサと通信可能に結合されたメモリとを含むことが可能である。メモリは、駆動モジュール４１４の様々な機能を実行するために１つまたは複数のモジュールを格納することが可能である。さらに、駆動モジュール４１４はまた、１つまたは複数の他のローカルまたはリモートコンピューティングデバイスとのそれぞれの駆動モジュールによる通信を可能にする１つまたは複数の通信接続を含む。

【0071】

少なくとも１つの例では、直接接続４１２は、１つまたは複数の駆動モジュール４１４を車両４０２の本体と結合するための物理的インターフェースを提供することが可能である。例えば、直接接続４１２は、駆動システム４１４と車両４０２との間のエネルギー、流体、空気、データなどの伝達を可能にすることができる。いくつかの例では、直接接続４１２はさらに、車両４０２の本体に駆動システム４１４を取り外し可能に固定することが可能である。

【0072】

図４にさらに示されるように、制御システム４４８は、プロセッサ４５２、通信接続４５４、およびメモリ４５６を含むことが可能である。車両４０２のプロセッサ４１６および／または制御システム４４８のプロセッサ４５２（および／または本明細書に記載される他のプロセッサ）は、データを処理し、本明細書に記載される動作を行う命令を実行することができる任意の好適なプロセッサとすることが可能である。非限定的な例として、プロセッサ４１６および４５２は、１つまたは複数の中央処理装置（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、または電子データを処理してその電子データをレジスタおよび／またはメモリに記憶されることが可能な他の電子データに変換する任意の他のデバイスまたはデバイスの一部を含むことが可能である。いくつかの例では、集積回路（例えば、ＡＳＩＣなど）、ゲートアレイ（例えば、ＦＰＧＡなど）、および他のハードウェアデバイスもまた、それらが符号化された命令を実装するように構成される限り、プロセッサと考慮されることが可能である。

【0073】

メモリ４１８およびメモリ４５６（および／または本明細書で説明される他のメモリ)は、非一時的コンピュータ可読媒体の例である。メモリ４１８およびメモリ４５６は、本明細書で説明される方法および様々なシステムに起因する機能を実装するためのオペレーティングシステムおよび１つまたは複数のソフトウェアアプリケーション、命令、プログラム、および／またはデータを記憶することが可能である。様々な実装形態では、メモリは、ＳＲＡＭ（ｓｔａｔｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＳＤＲＡＭ（ｓｙｎｃｈｒｏｎｏｕｓ ｄｙｎａｍｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、不揮発性メモリ／フラッシュタイプメモリ、または情報を記憶することが可能な任意の他のタイプのメモリなどであり、任意の適切なメモリ技術を使用して実装されることが可能である。本明細書で説明されるアーキテクチャ、システム、および個々の要素は、多くの他の論理的、プログラム的、および物理的コンポーネントを含むことが可能であり、添付の図面に示されたものは、本明細書での説明に関連する例にすぎない。

【0074】

図４は分散システムとして示されているが、代替例では、車両４０２のコンポーネントを制御システム４４８に関連付けることが可能であり、および／または制御システム４４８のコンポーネントを車両４０２に関連付けることが可能であることに留意されたい。すなわち、車両４０２は、制御システム４４８に関連付けられた機能のうちの１つまたは複数を実行することが可能であり、その逆も同様である。

【0075】

図５は、車両５０２の車両群およびテレオペレータシステム１１４を含む例示的なアーキテクチャ５００を示す。例示的な車両群５０２は、１台または複数の車両（例えば、車両４０２）を含み、その少なくとも一部は、車両の通信接続を介してテレオペレータシステム１１４に通信可能に結合される。テレオペレータシステム１１４に関連付けられたテレオペーション受信機５０４およびテレオペレーション送信機５０６は、車両のそれぞれの通信接続に通信可能に結合されてもよい。例えば、車両４０２は、通信接続４１０を介して通信信号を送信することができ、通信信号は、テレオペレーション受信機５０４によって受信される。いくつかの例では、通信信号は、例えば、センサデータ４３６、インジケータデータ４４２、動作状態データ、および／または任意のデータを含んでいてもよく、および／または車両４０２ｍの１つまたは複数のコンポーネントから出力され得る。いくつかの例では、センサデータ４３６は、生のセンサデータおよび／またはセンサデータの表現（例えば、境界ボックス）などの動作状態データのサブセットなどの処理されたセンサデータを含み得る。いくつかの例では、通信信号は、上記で説明された動作状態データおよび／または任意の他の導出されたデータ（プラニング制御など）のサブセットを含み得る。いくつかの例では、車両４０２からの通信信号は、テレオペレータシステム１１４への支援の要求を含み得る。

【0076】

図５に示すように、“ＳＡＥ”（ｓｉｔｕａｔｉｏｎａｌ ａｗａｒｅｎｅｓｓ ｅｎｇｉｎｅ）５０８は、車両４０２から通信信号を取得し、それらの少なくともサブセットをテレオペレーションインターフェース５１０に中継し得る。加えて、または代替として、ＳＡＥ５０８は、テレオペレーションインターフェース５１０を介して生成された信号を取得し、それらをテレオペレーションネットワーク５１２に中継し、および／またはそれらの少なくともサブセットを、遠隔操作送信機５０６を介して車両群５０２の１台または複数の車両に送信し得る。加えて、または代替として、ＳＡＥ５０８は、テレオペレーションネットワーク５１２から信号を取得し、それらの少なくともサブセットを、テレオペレーションインターフェース５１０および／またはテレオペレーション送信機５０６に中継し得る。いくつかの例では、テレオペレーションインターフェース５１０は、車両群５０２と直接通信し得る。

【0077】

いくつかの例では、ＳＡＥ５０８は、テレオペレーションインターフェース５１０を含むデバイスとは分離されたデバイス上に実装することが可能である。例えば、ＳＡＥ５０８は、ゲートウェイデバイスおよび“ＡＰＩ”（ａｐｐｌｉｃａｔｉｏｎ ｐｒｏｇｒａｍｉｎｇ ｉｎｔｅｒｆａｃｅ）または同様のインターフェースを含むことが可能である。いくつかの例では、ＳＡＥ５０８は、例えば、ＦＳＭ、ＡＮＮ、および／またはＤＡＧなどのアプリケーションインターフェースおよび／またはモデルを含む。いくつかの例では、ＳＡＥ５０８は、本明細書で説明される１つまたは複数の要素（例えば、車両４０２、車両群５０２、および／または他のテレオペレーションインターフェース）から受信したデータの提示構成、および／または１台または複数の車両に案内を提供するためにテレオペレータに提示する入力オプション（例えば、車両によって決定された軌道を確認する表示されたボタンを選択するオプション）を決定するように構成される。

【0078】

いくつかの例では、テレオペレーション受信機５０４は、ＳＡＥ５０８を介してテレオペレーションインターフェース５１０に通信可能に結合してもよく、またいくつかの例では、テレオペレータ５１４は、テレオペレーションインターフェース５１０を介して車両４０２から受信した通信信号内のセンサデータ４３６、インジケータデータ４４２、動作状態データ、および／または任意の他のデータにアクセスすることが可能である。いくつかの例では、テレオペレータ５１４は、入力デバイスを介してセンサデータ４３６、インジケータデータ４４２、動作状態データ、および／または他のデータに選択的にアクセスし、１つまたは複数のディスプレイを介して選択されたデータを見ることが可能である。いくつかの例では、そのような選択的アクセスは、テレオペレーション送信機５０６を介して車両４０２からデータの要求を送信することを含むことが可能である。いくつかの例では、ＳＡＥ５０８は、テレオペレーションインターフェース５１０を介してテレオペレータ５１４にデータのサブセットまたは表現を提示し得る。非限定的な例として、ＳＡＥ５０８は、単純化した画像表現、境界ボックス、オブジェクトの方角および速度を示す矢印、オブジェクトを表すアイコン、センサデータのカラー化、またはテレオペレータ５１４による解釈を簡略化し得るデータの他の表現を作成し得る。

【0079】

示される例では、テレオペレータシステム１１４はまた、２つ以上のテレオペレーションインターフェース５１０とそれぞれのテレオペレータ５１４との間の通信、および／またはテレオペレーションデータ５１６との通信を提供するように構成されたテレオペレーションネットワーク５１２を含む。例えば、テレオペレータシステム１１４は、複数のテレオペレーションインターフェース５１０およびそれぞれのテレオペレータ５１４を含んでもよく、テレオペレータ５１４は、車両群５０２に提供される案内を促進および／または調整するために、テレオペレーションネットワーク５１２を介して互いに通信してもよい。いくつかの例では、車両群５０２からの各車両に割り当てられたテレオペレータ５１４が存在してもよく、いくつかの例では、テレオペレータ５１４は、車両群５０２の１台より多い車両に割り当てられてもよい。いくつかの例では、複数のテレオペレータ５１４が単一の車両に割り当てられてもよい。いくつかの例では、テレオペレータ５１４は、車両群５０２の特定の車両に割り当てられなくてもよいが、代わりに、例えば、特定のタイプのイベントに遭遇した車両および／または車両のイベントへの遭遇に関連付けられた緊急度のレベルに少なくとも部分的に基づく車両に案内を提供してもよい。いくつかの例では、イベントに関連付けられたデータおよび／またはテレオペレータ５１４によって提供される案内は、テレオペレータシステム１１４、例えば、テレオペレーションデータ５１６のための記憶装置内に記憶されてもよく、および／または他のテレオペレータ５１４にアクセスされてもよい。

【0080】

いくつかの例では、テレオペレーションデータ５１６は、車両４０２に案内を提供する際に用いるために、例えば、テレオペレーションインターフェース５１０を介して、テレオペレータ５１４によってアクセス可能であってもよい。例えば、テレオペレーションデータ５１６は、道路網に関連するグローバルおよび／またはローカルマップデータ、道路網に関連するイベント、および／または、例えば交通量、気象条件、建設区域、および／または特別なイベントによる道路網に関連する移動条件を含み得る。いくつかの例では、テレオペレーションデータ５１６は、例えば、保守およびサービス情報、および／または例えば、車両４０２に関連付けられたイベント履歴、ルート履歴、占有履歴、および車両４０２に関連付けられた他のタイプのデータを含む操作履歴など、車両群５０２の１台または複数の車両に関連付けられたデータを含み得る。

【0081】

いくつかの例では、テレオペレータ５１４および／またはテレオペレーションインターフェース５１０は、クレデンシャル５１８と関連付けられ得る。例えば、テレオペレーションインターフェース５１０でセッションをアクティブ化するために、テレオペレータシステム１１４は、テレオペレータ５１４に、クレデンシャル５１８を用いて認証することを要求し得る。いくつかの例では、クレデンシャル５１８は、特定のテレオペレーションインターフェース５１０に固有であってもよい。いくつかの例では、動作状態データの特定の並べ替え（例えば、いくつかのイベント）および／または特定のテレオペレーションオプションによる支援を求める要求は、高められたクレデンシャル５１８（例えば、より大きい許可を有するクレデンシャル）を有するテレオペレーションインターフェース５１０による解決を必要とし得る。例えば、テレオペレータ５１４が、テレオペレーションインターフェース５１０で、１台の車両だけではなく車両群５０２全体に影響を及ぼすアクションを選択する場合、そのアクションは、確認、修正、および／または拒否のために関連付けられる高められたクレデンシャルを有する第２のテレオペレーションインターフェース５１０に送信することが可能である。高められたレベルのクレデンシャルに関連付けられた要求および／または動作状態データは、要求を中継すべきテレオペレーションインターフェース５１０を決定するのに用いることが可能である。いくつかの例では、ＳＡＥ５０８は、１つのテレオペレーションインターフェース５１０ではなく、複数のテレオペレーションインターフェース５１０に、高められたレベルのクレデンシャルに関連付けられた要求および／または動作状態データを中継することが可能である。

【0082】

図６は、本開示の実施形態による、オブジェクトに道を譲る車両４０２を示す第１の例示的なユーザインターフェース６０２を示す図である。図示されるように、ユーザインターフェース６０２は、車両４０２が位置する環境に関する情報を示す４つの部分６０４（１）－（４）を含む。例えば、ユーザインターフェース６０４の第１の部分６０２（１）は、車両４０２の上方から撮られたかのようにレンダリングされた第１のビデオを含み、ユーザインターフェース６０４の第２の部分６０２（２）は、車両４０２の側方から撮られたかのようにレンダリングされた第２のビデオを含み、ユーザインターフェース６０４の第３の部分６０２（３）は、車両４０２の第１のカメラによってキャプチャされた第３のビデオを含み、ユーザインターフェース６０４の第４の部分６０２（４）は、車両４０２の第２のカメラによってキャプチャされた第４のビデオを含む。図６の例は、４つの部分６０２（１）－（４）を含むものとしてユーザインターフェース６０２を示すが、他の例では、ユーザインターフェース６０４は、任意の数の部分を含んでもよい。

【0083】

図示されるように、ユーザインターフェース６０２の部分６０４（１）－（２）は、車両４０２の描写を含む。いくつかの例では、ユーザインターフェース６０２の部分６０４（１）－（２）のうちの１つまたは複数は、車両４０２を示すグラフィカル要素を含み得る。グラフィカル要素は、車両４０２の周囲の境界ボックス、車両４０２の陰影、車両４０２を説明するテキスト、および／または車両４０２を示し得る任意の他のタイプのグラフィカル要素を含み得るが、これらに限定されない。このようにして、テレオペレータ５１４は、車両４０２が環境内のどこに位置するかを容易に識別することが可能である。

【0084】

加えて、ユーザインターフェース６０２の部分６０４（１）－（４）は、図６の例では交差点内に少なくとも部分的に駐車されたクレーンを含む、車両４０２が道を譲っているオブジェクト６０６の描写を含む。いくつかの例では、ユーザインターフェース６０２の部分６０４（１）－（４）のうちの１つまたは複数は、オブジェクト６０６を示すグラフィカル要素を含み得る。グラフィカル要素は、オブジェクト６０６の周囲の境界ボックス、オブジェクト６０６の陰影、オブジェクト６０６を説明するテキスト、および／またはオブジェクト６０６を示し得る任意の他のタイプのグラフィカル要素を含み得るが、これらに限定されない。このようにして、テレオペレータ５１４は、車両４０２が道を譲っているオブジェクト６０６を容易に識別することが可能である。

【0085】

いくつかの例では、テレオペレータ５１４は、ユーザインターフェース６０２を用いてオブジェクト６０６を選択することが可能である。次いで、テレオペレータ５１４は、車両４０２がどのように進行すべきかについての命令を提供するために、ユーザインターフェース６０２を用いることが可能である。例えば、遠隔操作者５１４は、車両４０２に、もはやオブジェクト６０６に道を譲らないように命令するために、ユーザインターフェース６０２を用いることが可能である。これは、図６の例では、交差点内に少なくとも部分的に駐車されたオブジェクト６０６が車両４０２のルートを妨げているからである。したがって、車両４０２は、オブジェクト６０６の周囲をナビゲートするために、オブジェクト６０６に道を譲るのを停止しなければならないことがある。

【0086】

車両４０２は、テレオペレータシステム１１４から命令を受信し、命令に従って進行し得る。例えば、車両４０２は、オブジェクト６０６に道を譲ることを停止することを決定し、および／またはオブジェクト６０６に関する１つまたは複数のポリシーに従うことを一時的に停止することを決定し得る。次いで、車両４０２は、環境内に位置する他のオブジェクトに関する１つまたは複数のポリシーに基づいてナビゲートを進める方法を決定し得る。例えば、車両４０２が別のオブジェクトに道を譲らない場合、車両４０２は、次いで車両４０２がオブジェクト６０６の周囲をナビゲートするようにルートを選択し得る。次いで、車両４０２は、選択されたルートに沿ってナビゲートを開始し得る。しかしながら、車両４０２が依然として別のオブジェクトに道を譲っている場合、車両４０２は、進行する前に他のオブジェクトに道を譲り続けてもよい。

【0087】

例えば、いくつかの例では、車両４０２は、１つより多いオブジェクトに道を譲り得る。例えば、車両４０２は、交差点内に位置する第２のオブジェクト６０８にさらに道を譲り得る。このような例において、ユーザインターフェース６０２は、第２のオブジェクト６０８を示すグラフィカル要素を含み得る。いくつかの例では、オブジェクト６０６を示すグラフィカル要素は、第２のオブジェクト６０８を示すグラフィカル要素と異なっていてもよい。例えば、オブジェクト６０６を示すグラフィカル要素は、テレオペレータ５１４に対して、車両４０２が現在オブジェクト６０６に道を譲っていることを伝えてもよく、第２のオブジェクト６０８を示すグラフィカル要素は、テレオペレータ５１４に対して、車両４０２がのちに第２のオブジェクト６０８に道を譲ることを伝えてもよい（例えば、第２のオブジェクト６０８が依然として交差点内に位置している場合）。

【0088】

図７は、本開示の実施形態による、オブジェクトに道を譲る車両４０２を示す第１の例示的なユーザインターフェース７０２を示す図である。図示されるように、ユーザインターフェース７０２は、車両４０２が位置する環境についての情報を示す４つの部分７０４（１）－（４）を含む。例えば、ユーザインターフェース７０２の第１の部分７０４（１）は、車両４０２の上方からの第１のビデオを含み、ユーザインターフェース７０２の第２の部分７０４（２）は、車両４０２の側方からの第２のビデオを含み、ユーザインターフェース７０２の第３の部分７０４（３）は、車両４０２の第１のカメラによってキャプチャされた第３のビデオを含み、ユーザインターフェース７０２の第４の部分７０４（４）は、車両４０２の第２のカメラによってキャプチャされた第４のビデオを含む。図７の例は、４つの部分７０４（１）－（４）を含むようにユーザインターフェース７０２を示すが、他の例では、ユーザインターフェース７０２は任意の数の部分を含んでもよい。

【0089】

図示されるように、ユーザインターフェース７０２の部分７０４（１）－（２）は、車両４０２の描写を含む。いくつかの例では、ユーザインターフェース７０２の部分７０４（１）－（２）のうちの１つまたは複数は、車両４０２を示すグラフィカル要素を含み得る。グラフィカル要素は、車両４０２の周囲の境界ボックス、車両４０２の陰影、車両４０２を説明するテキスト、および／または車両４０２を示し得る任意の他のタイプのグラフィカル要素を含み得るが、これらに限定されない。このようにして、テレオペレータ５１４は、車両４０２が環境内のどこに位置するかを容易に識別することが可能である。

【0090】

加えて、ユーザインターフェース７０２の部分７０４（１）－（３）は、車両４０２が道を譲っているオブジェクト７０６の描写を含み、これは、図７の例では車両４０２を通過しようとする移動するトラックを含む。いくつかの例では、ユーザインターフェース７０２の部分７０４（１）－（３）のうちの１つまたは複数は、オブジェクト７０６を示すグラフィカル要素を含み得る。グラフィカル要素は、オブジェクト７０６の周囲の境界ボックス、オブジェクト７０６の陰影、オブジェクト７０６を説明するテキスト、および／またはオブジェクト７０６を示し得る任意の他のタイプのグラフィカル要素を含み得るが、これらに限定されない。このようにして、テレオペレータ５１４は、車両４０２が道を譲っているオブジェクト７０６を容易に識別することが可能である。

【0091】

図７の例では、車両４０２は、オブジェクト７０６に道を譲り得る。しかしながら、オブジェクト７０８が、オブジェクト７０６が用いている車線の少なくとも一部分を遮断しているので、車両４０２の隣の車線内をナビゲートしようとしているオブジェクト７０６は、ナビゲートすることができないことがある。したがって、オブジェクト７０６は、交差点内で停止し、オブジェクト７０６がオブジェクト７０８の周囲をナビゲートするために、車両４０２が移動するのを待つことがある。加えて、オブジェクト７０６が交差点をナビゲートするまで車両４０２が進行しないようにするため、車両４０２は、停止し、オブジェクト７０６に道を譲ってもよい。

【0092】

したがって、いくつかの例では、テレオペレータ５１４は、ユーザインターフェース７０２を用いてオブジェクト７０６を選択することが可能である。次いで、テレオペレータ５１４は、車両４０２がどのように進行すべきかについての命令を提供するために、ユーザインターフェース７０２を用いることが可能である。例えば、テレオペレータ５１４は、車両４０２に、もはやオブジェクト７０６に道を譲らないように命令するために、ユーザインターフェース７０２を用いることが可能である。このようにして、オブジェクト７０６が依然として交差点内に位置している場合であっても、車両４０２は、ナビゲートを開始することが可能である。車両４０２がナビゲートし始めると、次いでオブジェクト７０６もオブジェクト７０８の周囲をナビゲートし始める。

【0093】

図８－図９は、本開示の実施形態による例示的な処理を示す図である。これらの処理は、論理フローグラフとして示され、その各動作は、ハードウェア、ソフトウェア、またはそれらの組合せで実装されることが可能である動作のシーケンスを表す。ソフトウェアのコンテキストでは、動作は、１つまたは複数のプロセッサによって実行されると、列挙された動作を実行する、１つまたは複数のコンピュータ可読記憶媒体上に記憶されたコンピュータ実行可能命令を表す。一般的に、コンピュータ実行可能命令は、特定の機能を実行するか、または特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。動作が説明される順序は、限定として解釈されることを意図されず、任意の数の説明される動作が、処理を実装するために任意の順序でおよび／または並列に組み合わせられることが可能である。

【0094】

図８は、本開示の実施形態による、テレオペレータに連絡するかを決定するための例示的な処理８００を示す図である。動作８０２において、処理８００は、自律車両にルートに沿ってナビゲートさせることを含み得る。例えば、車両４０２は、制御システム４４８から、車両４０２にルートに沿って第１の位置から第２の位置までナビゲートさせる命令を受信し得る。命令に少なくとも部分的に基づいて、車両４０２は、第１の位置から第２の位置までルートに沿ってナビゲートし始めてもよい。

【0095】

動作８０４で、処理８００は、ルートに沿った位置で自律車両の進行が妨げられていると決定することを含み得る。例えば、車両４０２は、ルートに沿った位置で車両４０２の進行が妨げられていると決定することを含み得る。いくつかの例では、車両４０２は、車両が閾値時間期間の間オブジェクトに道を譲ることを決定することに基づいて決定を行い得る。いくつかの例では、車両４０２は、特定のシナリオが車両４０２の周囲で発生していると決定することに基づいて決定を行い得る。さらに、いくつかの例では、車両４０２は、特定のタイプのオブジェクトが車両４０２の近くに位置すると決定することに基づいて決定を行い得る。

【0096】

動作８０６で、処理８００は、自律車両の進行が妨げられた時間量を決定することを含み得る。例えば、車両４０２は、車両４０２の進行が妨げられた時間量を決定し得る。

【0097】

動作８０８で、処理８００は、時間量が閾値を満たすかを決定することを含み得る。例えば、車両４０２は、時間量が閾値を満たすか（例えば、閾値以上である）を決定し得る。動作８０８で、時間量が閾値を満たさない場合、動作８１０で、処理８００は、リモートオペレータに連絡しないと決定することを含み得る。例えば、車両４０２が、時間量が閾値を満たさない（例えば、下回る）と決定する場合、車両４０２は、テレオペレータ５１４に連絡しないと決定し得る。加えて、車両４０２は、動作８０２－動作８０８を繰り返し得る。

【0098】

しかしながら、動作８０８で、時間量が閾値を満たす場合、動作８１２で、処理８００は、介在条件が発生したかを決定することを含み得る。例えば、車両４０２は、介在条件によって進行が妨げられているかを決定し得る。いくつかの例では、車両４０２は、車両４０２が渋滞中であるときに介在条件が発生したと決定し得る。いくつかの例では、車両４０２は、車両４０２が交通信号機で停止しているときに介在条件が発生したと決定し得る。

【0099】

動作８１２で、介在条件が発生した場合、処理８００は、リモートオペレータに連絡しないことを決定し得る。例えば、車両４０２が、介在条件が発生したと決定する場合、車両４０２は、テレオペレータ５１４に連絡しないと決定することができる。

【0100】

しかしながら、動作８１２で、介在条件が発生していない場合、動作８１４で、処理８００は、リモートオペレータに連絡することを決定することを含み得る。例えば、車両４０２が、介在条件が発生していないと決定する場合、車両４０２は、テレオペレータ５１４に連絡すると決定し得る。加えて、車両４０２は、センサデータ４３６および／またはインジケータデータ４４２をテレオペレータシステム１１４に送信し得る。次いで、テレオペレータ５１４は、車両４０２がどのように進行すべきかを決定するために、センサデータ４３６および／またはインジケータデータ４４２を用い得る。

【0101】

動作８１８で、処理８００は、システムから、ナビゲートすることに関連付けられた命令を受信することを含み得る。例えば、車両４０２は、テレオペレータシステム１１４から、車両４０２をナビゲートすることに関連する命令を表す命令データ４４６を受信し得る。第１の例において、命令データ４４６は、車両４０２の前に交差点に到着するオブジェクトに道を譲ることに関連付けられたポリシーに従うことを一時的に停止する命令を含み得る。第２の例において、命令データ４４６は、オブジェクトとの相互作用を「追従する」から「追従しない」へ変更する命令を含み得る。いずれの例においても、車両４０２はオブジェクトに道を譲ることを停止し得る。

【0102】

動作８２０で、処理８００は、自律車両をナビゲートさせることを含み得る。例えば、命令データ４４６に少なくとも部分的に基づいて、車両４０２はナビゲートを開始し得る。いくつかの例では、車両４０２は、もはやオブジェクトに道を譲らないので、車両４０２はナビゲートを開始する。いくつかの例では、車両は、もはやオブジェクトに追従していないので、車両４０２は、ナビゲートを開始する。さらに、いくつかの例では、車両４０２は、車両の元のルートに沿ってナビゲートし始める。

【0103】

図９は、本開示の実施形態による、テレオペレータからの命令を用いて自律車両をナビゲートするための例示的な処理９００を示す図である。動作９０２で、処理９００は、１つまたは複数のセンサを用いてセンサデータを生成することを含み得る。例えば、車両４０２は、センサデータ４３６を生成するためにセンサシステム４０６用い得る。車両４０２は、環境の周囲をナビゲートしている間に、センサデータ４３６を生成し得る。

【0104】

動作９０４で、処理９００は、自律車両の進行が妨げられていると決定することを含み得る。例えば、車両４０２は、車両４０２の進行が妨げられていると決定し得る。いくつかの例では、車両４０２は、車両が閾値時間期間の間オブジェクトに道を譲ると決定することに基づいて、決定を行い得る。いくつかの例では、車両４０２は、特定のシナリオが車両４０２の周囲で発生していると決定することに基づいて、決定を行い得る。さらに、いくつかの例では、車両４０２は、特定のタイプのオブジェクトが車両４０２の近くに位置すると決定することに基づいて、決定を行い得る。

【0105】

動作９０６において、処理９００は、センサデータの少なくとも一部（および／またはそこから導出されたデータ）をテレオペレータシステムに送信することを含み得る。例えば、車両４０２は、センサデータ４３６の少なくとも一部をテレオペレータシステム１１４に送信し得る。センサデータ４３６の少なくとも一部は、進行を妨げる原因となる少なくともオブジェクトを表し得る。いくつかの例では、車両４０２は、車両４０２の進行が閾値時間量の間妨げられたと決定することに少なくとも部分的に基づいて、センサデータ４３６の少なくとも一部を送信する。

【0106】

動作９０８で、処理９００は、テレオペレータシステムに、自律車両の進行がオブジェクトによって妨げられているという指示を送信することを含み得る。例えば、車両４０２は、車両４０２がオブジェクトにより妨げられていることを示すインジケータデータ４４２を、テレオペレータシステム１１４に送信し得る。いくつかの例では、インジケータデータ４４２はさらに、車両４０２がオブジェクトにより妨げられた時間量を示し得る。

【0107】

動作９１０で、処理８００は、テレオペレータシステムから、ナビゲートすることに関連付けられた命令を受信することを含み得る。例えば、車両４０２は、テレオペレータシステム１１４から、車両４０２をナビゲートすることに関連する命令を表す命令データ４４６を受信し得る。第１の例においては、命令データ４４６は、車両４０２の前に交差点に到着するオブジェクトに道を譲ることに関連付けられたポリシーに従うことを一時的に停止する命令を含み得る。第２の例では、命令データ４４６は、オブジェクトとの相互作用を「追従する」から「追従しない」へ変更する命令を含み得る。いずれの例においても、車両４０２はオブジェクトに道を譲ることを停止し得る。

【0108】

動作９１２で、処理９００は、自律車両を第２の位置にナビゲートさせることを含み得る。例えば、命令データ４４６に少なくとも部分的に基づいて、車両４０２は、第２の位置へのナビゲートを開始し得る。いくつかの例では、車両４０２は、もはやオブジェクトに道を譲らないので、車両４０２はナビゲートを開始する。いくつかの例では、車両４０２は、もはやオブジェクトに追従していないので、ナビゲートを開始する。さらに、いくつかの例では、車両４０２は、車両の元のルートに沿ってナビゲートし始める。

【0109】

動作９１４で、処理９００は、第２のロケーションへのナビゲートをしている間に介在条件が発生するかを決定することを含み得る。例えば、車両４０２は、第２の位置へのナビゲートを開始した後に介在条件が発生するかを決定するために、センサデータ４３６を用い得る。いくつかの例では、介在条件は、オブジェクトが移動し始めることを含み得る。いくつかの例では、介在条件は、オブジェクトがオブジェクトに関連付けられた指定領域の外側に移動することを含み得る。

【0110】

動作９１４で、介在条件が発生した場合、動作９１６で、処理９００は、自律車両に第２の場所へのナビゲートを停止させることを含み得る。例えば、車両４０２が、介在条件が発生したと決定する場合、車両４０２は、第２の位置へのナビゲートを停止し得る。いくつかの例では、車両４０２は停止してもよい。いくつかの例では、車両４０２は、オブジェクトとの相互作用を「追従しない」から「追従する」へ変更してもよい。

【0111】

しかしながら、動作９１４で、介在条件が発生しない場合、動作９１８で、処理９００は、自律車両に第２の場所へのナビゲートを継続させることを含み得る。例えば、車両４０２が、介入条件が発生しなかったと決定する場合、車両４０２は、第２の場所へのナビゲートを継続する。
例示的な条項：
Ａ：１つまたは複数のネットワークコンポーネントと、１つまたは複数のセンサと、１つまたは複数のプロセッサと、１つまたは複数のプロセッサによって実行される場合に、自律車両をルートに沿ってナビゲートさせるステップと、１つまたは複数のセンサによって生成されたセンサデータを受信するステップと、センサデータに少なくとも部分的に基づいて、自律車両の進行がオブジェクトによって妨げられていることを決定するステップと、進行が物体によって妨げられていることに少なくとも部分的に基づいて、リモートオペレータに連絡するかを決定するステップと、リモートオペレータに関連付けられた１つまたは複数のコンピューティングデバイスから、オブジェクトによってナビゲートすることに関連付けられた命令であって、オブジェクトに関連付けられたポリシーを変更するように構成された情報を含む命令を受信するステップと、命令に少なくとも部分的に基づいて、自律車両をオブジェクトによってナビゲートさせるステップと、を含む動作を自律車両が実行するように構成する命令を記憶するメモリと、を備える自律車両。

【0112】

Ｂ：動作は、１つまたは複数のネットワークコンポーネントを用いて、センサデータの少なくとも一部を１つまたは複数のコンピューティングデバイスに送信するステップと、オブジェクトが自律車両の進行を妨げている指示を送信するステップと、をさらに含む、項Ａに記載の自律車両。

【0113】

Ｃ：自律車両の進行がオブジェクトによって妨げられていることを決定するステップは、センサデータに少なくとも部分的に基づいて、自律車両が閾値時間期間の間オブジェクトに道を譲ることを決定するステップを含む、項ＡまたはＢのいずれかに記載の自律車両。

【0114】

Ｄ：自律車両の進行がオブジェクトによって妨げられていることを決定するステップは、センサデータに少なくとも部分的に基づいて、オブジェクトがオブジェクトのタイプを含むことを決定するステップと、オブジェクトがルートに沿って位置していることを決定するステップと、を含む、項Ａ－項Ｃのいずれかに記載の自律車両。

【0115】

Ｅ：自律車両の進行が妨げられていることを決定するステップは、センサデータに少なくとも部分的に基づいて、オブジェクトの速度が閾値速度未満であること、またはオブジェクトが第１の走行車線から第２の走行車線に切り替わり、且つ自律車両が第２の走行車線内をナビゲートしていることのうちの少なくとも１つを含むシナリオが発生していることを決定するステップを含む、項Ａ－項Ｄのいずれかに記載の自律車両。

【0116】

Ｆ：動作は、自律車両が渋滞中であること、または自律車両が交通信号機で停止していることのうちの少なくとも１つを含む介在条件が発生しているかを決定するステップをさらに含み、リモートオペレータに連絡するかを決定するステップは、介在条件が発生しているかを決定するステップに少なくとも部分的にさらに基づく、項Ａ－項Ｅのいずれかに記載の自律車両。

【0117】

Ｇ：自律車両の１つまたは複数のセンサによって生成されたセンサデータを受信するステップと、センサデータに少なくとも部分的に基づいて、自律車両の進行がオブジェクトによって妨げられていることを決定するステップと、オブジェクトによって妨げられている自律車両の進行に少なくとも部分的に基づいて、リモートオペレータに連絡するかを決定するステップと、リモートオペレータから、自律車両にオブジェクトに関するポリシーを変更させるように構成された１つまたは複数の命令を受信するステップと、を備える方法。

【0118】

Ｈ：リモートオペレータに関連付けられた１つまたは複数のコンピューティングデバイスにセンサデータの少なくとも一部、または１つまたは複数のコンピューティングデバイスにオブジェクトの指示を送信することをさらに備える、項Ｇに記載の方法。

【0119】

Ｉ：自律車両の進行がオブジェクトによって妨げられていることを決定するステップは、センサデータに少なくとも部分的に基づいて、自律車両が閾値時間期間の間オブジェクトに道を譲ることを決定するステップを含む、項Ｇまたは項Ｈのいずれかに記載の方法。

【0120】

Ｊ：自律車両の進行がオブジェクトによって妨げられていることを決定するステップはは、センサデータに少なくとも部分的に基づいて、オブジェクトがオブジェクトのタイプを含むことを決定するステップと、オブジェクトがルートに沿って位置していることを決定するステップと、を含む、項Ｇ－項Ｉのいずれかに記載の方法。

【0121】

Ｋ：自律車両の進行が妨げられていることを決定するステップは、センサデータに少なくとも部分的に基づいて、オブジェクトの速度が閾値速度未満であること、またはオブジェクトが第１の走行車線から第２の走行車線に切り替わり、且つ自律車両が第２の走行車線内をナビゲートしていることのうちの少なくとも１つを含むシナリオが発生していることを決定するステップを含む、項Ｇ－項Ｊのいずれかに記載の方法。

【0122】

Ｌ：自律車両が渋滞中であること、または自律車両が交通信号機で停止していることのうちの少なくとも１つを含む介在条件が発生しているかを決定するステップをさらに含み、リモートオペレータに連絡するかを決定するステップは、介在条件が発生しているかを決定するステップに少なくとも部分的にさらに基づく、項Ｇ－項Ｋのいずれかに記載の方法。

【0123】

Ｍ：リモートオペレータに関連付けられた１つまたは複数のコンピューティングデバイスに、自律車両の進行がオブジェクトによって妨げられているポリシーを示すポリシーデータを送信するステップをさらに備える、項Ｇ－項Ｌのいずれかに記載の方法。

【0124】

Ｎ：リモートオペレータに関連付けられた１つまたは複数のコンピューティングデバイスから、オブジェクトに関するポリシーに従うことを一時的に停止する命令を受信するステップと、オブジェクトに関するポリシーに従うことを一時的に停止することを決定するステップと、をさらに備える、項Ｇ－項Ｍのいずれかに記載の方法。

【0125】

Ｏ：１つまたは複数のプロセッサによって実行される場合に、自律車両の１つまたは複数のセンサによって生成されたセンサデータを受信するステップと、センサデータに少なくとも部分的に基づいて、オブジェクトが自律車両の進行を妨げていたことを決定するステップと、オブジェクトが自律車両の進行を妨げていたことに少なくとも部分的に基づいて、リモートオペレータに連絡するかを決定するステップと、リモートオペレータから、オブジェクトに関連付けられた１つまたは複数のポリシーを自律車両に変更させるように構成された命令を受信するステップと、を含む動作を１つまたは複数のコンピューティングデバイスに実行させる命令を記憶する非一時的コンピュータ可読媒体。

【0126】

Ｐ：動作は、リモートオペレータに関連付けられた１つまたは複数のコンピューティングデバイスに少なくともセンサデータの一部、または１つまたは複数のコンピューティングデバイスにオブジェクトの兆候のうちの少なくとも１つを送信するステップをさらに含む、項Ｏに記載の非一時的コンピュータ可読媒体。

【0127】

Ｑ：オブジェクトが、自律車両の進行を妨げたことを決定するステップは、センサデータに少なくとも部分的に基づいて、自律車両が閾値時間期間の間オブジェクトに道を譲ることを決定するステップを含む、項Ｏまたは項Ｐのいずれかに記載の非一時的コンピュータ可読媒体。

【0128】

Ｒ：オブジェクトが自律車両の進行を妨げたことを決定するステップは、センサデータに少なくとも部分的に基づいて、オブジェクトがオブジェクトのタイプを含むことを決定するステップと、オブジェクトがルートに沿って位置していることを決定するステップと、を含む、項Ｏ－項Ｑのいずれかに記載の非一時的コンピュータ可読媒体。

【0129】

Ｓ：オブジェクトが自律車両の進行を妨げたことを決定するステップは、センサデータに少なくとも部分的に基づいて、オブジェクトの速度が閾値速度未満であること、またはオブジェクトが第１の走行車線から第２の走行車線に切り替わり、且つ自律車両が第２の走行車線内をナビゲートしていることのうちの少なくとも１つを含むシナリオが発生していることを決定するステップを含む、項Ｏ－項Ｒのいずれかに記載の非一時的コンピュータ可読媒体。

【0130】

Ｔ：動作は、自律車両が渋滞中であること、または自律車両が交通信号機で停止していることのうちの少なくとも１つを含む介在条件が発生しているかを決定するステップをさらに含み、リモートオペレータに連絡するかを決定するステップは、介在条件が発生しているかを決定するステップに少なくとも部分的にさらに基づく、項Ｏ－項Ｓのいずれかに記載の非一時的コンピュータ可読媒体。

【0131】

Ｕ：センサと、１つまたは複数のプロセッサと、１つまたは複数のプロセッサによって実行される場合に、第１の場所でセンサからセンサデータを受信するステップと、センサデータに少なくとも部分的に基づいて、自律車両の進行がオブジェクトによって妨げられていることを決定するステップと、センサデータの少なくとも一部分を、リモートオペレータに関連付けられた１つまたは複数のコンピューティングデバイスに送信するステップと、自律車両の進行がオブジェクトによって妨げられるという兆候を送信するステップと、自律車両をナビゲートすることに関連付けられた命令を受信するステップと、命令に少なくとも部分的に基づいて、前記自律車両に、ルートに沿って第１の場所から第２の場所へのナビゲートを開始させるステップと、を含む動作を自律車両が実行するように構成する命令を記憶するメモリと、を備える自律車両。

【0132】

Ｖ：動作は、第２の位置へのナビゲートをしている間に、オブジェクトが移動し始めることを決定するステップと、オブジェクトが移動し始めることを決定するステップに少なくとも部分的に基づいて、自律車両にオブジェクトに道を譲らせるステップと、をさらに含む、項Ｕに記載の自律車両。

【0133】

Ｗ：動作は、１つまたは複数のコンピューティングデバイスから、オブジェクトを囲むエリアの付加的な兆候を受信するステップと、第２の場所へのナビゲートをしている間に、オブジェクトがエリアの外側に位置していると決定するステップと、エリアの外側に位置しているオブジェクトに少なくとも部分的に基づいて、自律車両にオブジェクトを譲らせるステップと、をさらに含む、項Ｕまたは項Ｖのいずれかに記載の自律車両。

【0134】

Ｘ：動作は、自律車両の前に交差点に到着するオブジェクトに道を譲る第１のポリシー、またはナビゲートするときに走行車線に留まる第２のポリシーのうちの少なくとも１つを含む、自律車両をナビゲートすることに関連付けられた１つまたは複数のポリシーを表すデータを記憶するステップと、命令に少なくとも部分的に基づいて、１つまたは複数のポリシーのうちの少なくとも１つに従うことを一時的に停止することを決定するステップと、をさらに含む、項Ｕ－項Ｗのいずれかに記載の自律車両。

【0135】

Ｙ：動作は、オブジェクトを追従することを、オブジェクトに関連付けられた第１のアクションに設定するステップと、命令に少なくとも部分的に基づいて、オブジェクトへの追従を停止することを、オブジェクトに関連付けられた第２のアクションに設定するステップと、をさらに含む、項Ｕ－項Ｘのいずれかに記載の自律車両。

【0136】

Ｚ：動作は、命令に少なくとも部分的に基づいて、オブジェクトに道を譲ることを一時的に停止することを決定するステップと、１つまたは複数のポリシーに少なくとも部分的に基づいて、１つまたは複数の他のオブジェクトに道を譲るかを決定するステップと、をさらに含み、自律車両に、ルートに沿って第１の位置から第２の位置へのナビゲートを開始させるステップは、１つまたは複数の他の物体に道を譲らないことを決定するステップに少なくとも部分的に基づく、項Ｕ－項Ｙのいずれかに記載の自律車両。

【0137】

ＡＡ：車両上のセンサからセンサデータを受信するステップと、センサデータに少なくとも部分的に基づいて、ルートに沿って車両の進行が環境内のオブジェクトによって妨げられていると決定するステップと、リモートオペレータに連絡するかを決定するステップと、リモートオペレータに連絡するかの決定に少なくとも部分的に基づいて、センサデータの少なくとも一部、オブジェクトに関連付けられた前記センサデータの表現、またはオブジェクトが進行を妨げている兆候のうちの１つまたは複数を、リモートオペレータに関連付けられた１つまたは複数のコンピューティングデバイスに送信するステップと、１つまたは複数のコンピューティングデバイスから、オブジェクトに関連付けられたポリシーを変更する命令を受信するステップと、命令に少なくとも部分的に基づいて、自律車両をある場所へナビゲートさせるステップと、を含む方法。

【0138】

ＡＢ：兆候は、車両がオブジェクトに道を譲ることを識別するデータを含み、ポリシーを変更するステップは、車両にオブジェクトに道を譲るのを停止することを命令するステップを含む、項ＡＡに記載の方法。

【0139】

ＡＣ：場所へのナビゲートをしている間に、オブジェクトが移動し始めることを決定するステップと、オブジェクトが移動し始めることを決定するステップに少なくとも部分的に基づいて、車両にオブジェクトに道を譲らせるステップと、をさらに含む、項ＡＡまたは項ＡＢのいずれかに記載の方法。

【0140】

ＡＤ：１つまたは複数のコンピューティングデバイスから、オブジェクトを囲むエリアを受信するステップと、場所へのナビゲートをしている間に、オブジェクトがエリアの外側に位置していることを決定するステップと、オブジェクトがエリアの外側に位置していることに少なくとも部分的に基づいて、車両にオブジェクトに道を譲らせるステップと、をさらに含む、項ＡＡ－項ＡＣのいずれかに記載の方法。

【0141】

ＡＥ：ポリシーは、車両の前に交差点に到着するオブジェクトに道を譲る第１のポリシー、またはナビゲートするときに走行車線内に留まる第２のポリシーのうちの少なくとも１つを含み、ポリシーを変更するステップは、第１のポリシーまたは前記第２のポリシーのうちの少なくとも１つに従うことを一時的に停止することを決定するステップを含む、項ＡＡ－項ＡＤのいずれかに記載の方法。

【0142】

ＡＦ：場所へのナビゲートをした後、第１または第２のポリシーに再び従うことを決定するステップをさらに含む、項ＡＡ－項ＡＥのいずれかに記載の方法。

【0143】

ＡＧ：オブジェクトを追従することを、オブジェクトに関連付けられた第１のアクションに設定するステップをさらに含み、ポリシーを変更するステップは、オブジェクトへの追従を停止することを、オブジェクトに関連付けられた第２のアクションに設定するステップを含む、項ＡＡ－項ＡＦのいずれかに記載の方法。

【0144】

ＡＨ：自律車両の進行が、その進行に少なくとも部分的に基づいて、別のオブジェクト物体によって妨げられるかを決定するステップをさらに含む、項ＡＡ－項ＡＧのいずれかに記載の方法。

【0145】

ＡＩ：１つまたは複数のプロセッサによって実行される場合に、車両上のセンサからセンサデータを受信するステップと、センサデータに少なくとも部分的に基づいて、オブジェクトが、車両が場所へのナビゲートを妨げたことを決定するステップと、センサデータの少なくとも一部をリモートオペレータに関連付けられた１つまたは複数のコンピューティングデバイスに送信するステップと、１つまたは複数のコンピューティングデバイスから、オブジェクトに関するポリシーを変更する命令を受信するステップと、命令に少なくとも部分的に基づいて、車両へのナビゲートをさせるステップと、を含む動作を１つまたは複数のコンピューティングデバイスに実行させる命令を記憶する１つまたは複数の非一時的コンピュータ可読媒体。

【0146】

ＡＪ：動作は、オブジェクトが、自律車両が位置へのナビゲートをするのを妨げさせた兆候を１つまたは複数のコンピューティングデバイスに送信するステップをさらに含む、項ＡＩに記載の１つまたは複数の非一時的コンピュータ可読媒体。

【0147】

ＡＫ：動作は、位置へのナビゲートをしている間に、オブジェクトが動き始めると決定するステップと、物体が動き始めると決定するステップに少なくとも部分的に基づいて、車両に命令を無視させるステップと、をさらに含む、項ＡＩまたは項ＡＪのいずれかに記載の１つまたは複数の非一時的コンピュータ可読媒体。

【0148】

ＡＬ：動作は、１つまたは複数のコンピューティングデバイスから、オブジェクトに関連付けられたエリアを受信するステップと、場所へのナビゲートをしている間に、オブジェクトがエリアの外側に位置すると決定するステップと、オブジェクトがエリアの外側に位置することに少なくとも部分的に基づいて、自律車両に命令を無視させるステップと、をさらに含む、項ＡＩ－項ＡＫのいずれかに記載の１つまたは複数の非一時的コンピュータ可読媒体。

【0149】

ＡＭ：ポリシーは、自律車両の前に交差点に到着するオブジェクトに道を譲る第１のポリシー、またはナビゲートするときに走行車線内に留まる第２のポリシーのうちの１つまたは複数を含み、動作は、命令に少なくとも部分的に基づいて、１つまたは複数のポリシーのうちの少なくとも１つに従うことを一時的に停止することを決定するステップをさらに含む、項ＡＩ－項ＡＬのいずれかに記載の１つまたは複数の非一時的コンピュータ可読媒体。

【0150】

ＡＮ：動作は、オブジェクトを追従することを、オブジェクトに関連付けられた第１のアクションに設定するステップと、命令に少なくとも部分的に基づいて、オブジェクトへの追従を停止することを、オブジェクトに関連付けられた第２のアクションに設定するステップと、をさらに含む、項ＡＩ－項ＡＭのいずれかに記載の１つまたは複数の非一時的コンピュータ可読媒体。

【0151】

結論：
本明細書で説明される技法の１つまたは複数の例について説明されたが、それらの様々な改変、追加、置換、および均等物は、本明細書で説明される技法の範囲内に含まれる。

【0152】

例の説明では、本出願の一部を形成する添付の図面への参照が行われ、これは、例として、請求される主題の特定の例を示す。他の例が使用されることが可能であること、および構造的変更などの変更または改変を行われることが可能であることを理解されたい。そのような例、変更または改変は、意図された請求される主題に関する範囲からの逸脱では必ずしもない。本明細書におけるステップはある順序で提示されることがあるが、いくつかの場合には、順序付けは、説明されるシステム及び方法の機能を変更することなしに、いくつかの入力が、異なる時間においてまたは異なる順序で提供されるように変更されてよい。開示される手順も、異なる順序で実行され得る。さらに、開示された順序で実施されることが本明細書において不要である様々な計算、および計算の代替的な順序付けを使用する他の例は、容易に実装され得る。並べ替えられることに加えて、計算はまた、同じ結果を伴うサブ計算に分解され得る。

【図1A】

【図1B】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【国際調査報告】