(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-12-15
(54)【発明の名称】遠隔車両監視のためのユーザーインターフェース
(51)【国際特許分類】
G08G 1/09 20060101AFI20231208BHJP
G06F 3/048 20130101ALI20231208BHJP
【ＦＩ】
G08G1/09 V
G06F3/048
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023532572
(86)(22)【出願日】2021-11-09
(85)【翻訳文提出日】2023-05-29
(86)【国際出願番号】 US2021058648
(87)【国際公開番号】W WO2022115234
(87)【国際公開日】2022-06-02
(31)【優先権主張番号】17/107,570
(32)【優先日】2020-11-30
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】518156417
【氏名又は名称】ズークス インコーポレイテッド
(74)【代理人】
【識別番号】110001243
【氏名又は名称】弁理士法人谷・阿部特許事務所
(72)【発明者】
【氏名】オーヴァー セドリック オーストリア
(72)【発明者】
【氏名】ティモシー デイビッド ケントリー－クレイ
(72)【発明者】
【氏名】ジャニー ウィング ジィー ライ
(72)【発明者】
【氏名】フランク レイナルド ラミレス
(72)【発明者】
【氏名】デニス シェーファー
【テーマコード（参考）】
5E555
5H181
【Ｆターム（参考）】
5E555AA16
5E555BA02
5E555BB02
5E555BC01
5E555BC09
5E555BC14
5E555CB44
5E555CB74
5E555DB41
5E555FA00
5H181AA01
5H181BB04
5H181CC03
5H181CC04
5H181CC12
5H181CC14
5H181FF04
5H181FF13
5H181FF14
5H181FF22
5H181FF27
5H181FF32
5H181LL07
5H181LL08
5H181LL09
(57)【要約】
遠隔車両監視および／または制御のためのユーザーインターフェースを提供する技法は、ディスプレイの第１の部分に環境および環境を横切って進んでいる車両のデジタル表現を提示することと、ディスプレイの第２の部分に複数人との通信を提供するように構成される通信インターフェースを提示することとを含む。通信インターフェースは、リモートオペレーターと、車両のあらゆる数の乗員、他のオペレーター（例えば、他のリモートオペレーターまたは車内のオペレーター）、および／または車両の周りの環境における人との間の通信を可能にすることがある。さらに加えて、ユーザーインターフェースは、車両の構成要素を調節する制御を含むことがあり、制御は、ディスプレイの第３部分に提示されることがある。その上さらに、ユーザーインターフェースは、車両の現在の状態に関連付けられた情報を提供する車両状態インターフェースを含むことがある。
【特許請求の範囲】
【請求項1】
システムであって１つまたは複数のプロセッサーと、
前記１つまたは複数のプロセッサーによって実行されると、前記システムに、
車両のフリートに関連付けられた情報をリモートオペレーターに提供するように構成されているユーザーインターフェースを、ディスプレイに提示することであって、前記ユーザーインターフェースは、
環境と前記環境を横切って進んでいる車両の前記フリートのうちの車両との表現、および
前記車両の乗員および別のリモートオペレーターとの通信を前記リモートオペレーターに提供するように構成された通信インターフェース
を含む、ことと、
前記通信インターフェースの第１の入力要素を介して、前記通信インターフェースの第１のチャットインターフェースが開かれることになることを示す第１のデータを受信することであって、前記第１のチャットインターフェースは、前記乗員と関連付けられる、ことと、
前記第１のデータを受信することに少なくとも部分的に基づいて、前記ディスプレイに前記第１のチャットインターフェースの提示を生じさせることと、
前記通信インターフェースの第２の入力要素を介して、前記乗員に送られることになる第１のメッセージを表す第２のデータを受信することと、
前記第１のメッセージが送られることになるというインディケーションを受信することに少なくとも部分的に基づいて、前記第１のメッセージに送られることを生じさせ、前記第１のチャットインターフェース内の前記ディスプレイに前記第１のメッセージを提示することと
を含む動作を行わせる命令を格納する１つまたは複数のコンピューター読取り可能媒体と
を備えたことを特徴とするシステム。
【請求項2】
前記動作は、前記通信インターフェースの第３の入力要素を介して、第２のチャットインターフェースが開かれることになることを示す第３のデータを受信することであって、前記第２のチャットインターフェースは、他のリモートオペレーターと関連付けられる、ことと、
前記第３のデータを受信することに少なくとも部分的に基づいて、前記第１のチャットインターフェースの提示を抑制する間、前記ディスプレイに前記第２のチャットインターフェースの提示を生じさせることと、
前記通信インターフェースの前記第２の入力要素を介して、他のリモートオペレーターに送られることになる第２のメッセージを表す第４のデータを受信することと、
前記第２のメッセージが送られることになるというインディケーションを受信することに少なくとも部分的に基づいて、前記第２のチャットインターフェース内の前記ディスプレイに前記第２のメッセージを提示することと
をさらに含むことを特徴とする請求項１に記載のシステム。
【請求項3】
前記ユーザーインターフェースは、前記車両の構成要素またはシステムの制御を提供する車両制御インターフェースをさらに含み、前記動作は、前記車両制御インターフェースの第１の入力要素を介して、前記車両の前記構成要素またはシステムが制御されることになることを示す第３のデータを受信することと、
前記車両に信号を送信することであって、前記信号は、前記車両に、前記車両制御インターフェースの前記第１の入力要素に従って前記構成要素を制御させるように構成される、ことと
をさらに含むことを特徴とする請求項１に記載のシステム。
【請求項4】
前記動作は、ネットワークを介して、前記車両または前記車両の構成要素のうちの少なくとも１つに作動を行わせる要求を受信することと、
前記ユーザーインターフェースの入力要素を介して、前記車両または前記構成要素に前記作動を行わせる第３のデータを受信することと
をさらに含むことを特徴とする請求項１に記載のシステム。
【請求項5】
ディスプレイの第１の部分に、環境と前記環境を横切って進んでいる車両とのデジタル表現を提示することと、前記ディスプレイの第２の部分に、第１の人との通信を提供するように構成されている通信インターフェースを提示することと、
前記通信インターフェースの第１の入力要素を介して、第１のチャットインターフェースが開かれることになることを示す第１のデータを受信することであって、前記第１のチャットインターフェースは、前記第１の人と関連付けられる、ことと、
前記第１のデータを受信することに少なくとも部分的に基づいて、前記ディスプレイに前記第１のチャットインターフェースを提示することと、
前記通信インターフェースの第２の入力要素を介して、送られることになる第１のメッセージを表す第２のデータを受信することと、
前記第１のメッセージが送られることになるというインディケーションを受信することに少なくとも部分的に基づいて、前記第１のメッセージに送られることを生じさせ、前記第１のチャットインターフェース内の前記ディスプレイに前記第１のメッセージを提示することと
を備えることを特徴とする方法。
【請求項6】
前記第１の人は、前記車両の乗員を含み、前記方法は、前記通信インターフェース内に、前記第１のメッセージが聞こえるように通信されることになるかどうかを示すユーザー入力を受信するように構成された第３の入力要素を提示することと、
前記第３の入力要素を介して、前記第１のメッセージが聞こえるように通信されることになることを示す第３のデータを受信することと
をさらに備え、前記第１のメッセージに送られることを生じさせることは、前記第１のメッセージに、前記車両の内部において聞こえるように通信されることを生じさせることを含むことを特徴とする請求項５に記載の方法。
【請求項7】
前記第１の人は、前記車両の外部に最も近い歩行者を含み、前記方法は、前記通信インターフェース内に、前記第１のメッセージが聞こえるように通信されることになるかどうかを示すユーザー入力を受信するように構成された第３の入力要素を提示することと、
前記第３の入力要素を介して、前記第１のメッセージが聞こえるように通信されることになることを示す第３のデータを受信することと
をさらに備え、前記第１のメッセージに送られることを生じさせることは、前記第１のメッセージに、前記車両の内部において聞こえるように通信されることを生じさせることを含むことを特徴とする請求項５に記載の方法。
【請求項8】
前記第２のデータは、前記第１のメッセージを表すテキストのストリングを含み、前記方法は、第３の入力要素を介して、前記第１のメッセージが聞こえるように通信されることになることを示す第３のデータを受信することをさらに備えることを特徴とする請求項５に記載の方法。
【請求項9】
前記第２のデータは、前記第１のメッセージを表すオーディオデータを含み、前記方法は、第３の入力要素を介して、前記第１のメッセージが聞こえるように通信されることになることを示す第３のデータを受信することをさらに備えることを特徴とする請求項５に記載の方法。
【請求項10】
前記第１の人は、前記車両の第１の乗員を含み、前記方法は、前記通信インターフェースの第３の入力要素を介して、第３のデータを受信することと、
第２のチャットインターフェースが開かれることになることを示すことであって、前記第２のチャットインターフェースは、第２の乗員と関連付けられる、ことと、
前記第３のデータを受信することに少なくとも部分的に基づいて、前記ディスプレイに前記第２のチャットインターフェースを提示することと、
前記通信インターフェースの前記第２の入力要素を介して、送られることになる第２のメッセージを表す第４のデータを受信することと、
前記第２のメッセージが送られることになるというインディケーションを受信することに少なくとも部分的に基づいて、前記第２のチャットインターフェース内の前記ディスプレイに前記第２のメッセージを提示することと
をさらに備えることを特徴とする請求項５に記載の方法。
【請求項11】
前記人は、前記車両のリモートオペレーターを含み、前記チャットインターフェースは、前記車両の前記リモートオペレーターとの通信を提供するように構成されることを特徴とする請求項５に記載の方法。
【請求項12】
前記第１のチャットインターフェースは、第２の人にさらに関連付けられ、前記方法は、ネットワークを介して、および、前記第１の人に関連付けられた第１のデバイスから、前記第１のメッセージに対する第１の応答を表す第３のデータを受信することと、
前記ディスプレイにおいて、および、前記第１のチャットインターフェース内に、前記第１の人に関連付けられている第１の識別子を含む前記第１の応答を提示することと、
前記ネットワークを介して、および、前記第２の人に関連付けられた第２のデバイスから、前記第１のメッセージまたは前記第１の応答のうちの少なくとも１つに対する第２の応答を表す第４のデータを受信することと、
前記ディスプレイにおいて、および、前記第１のチャットインターフェース内に、前記第２の人に関連付けられている第２の識別子を含む前記第２の応答を提示することと
をさらに備えることを特徴とする請求項５に記載の方法。
【請求項13】
前記第１の人は、前記車両の乗員を含み、前記方法は、前記乗員に関連付けられたデバイスから、前記車両または前記車両の構成要素のうちの少なくとも１つに作動を行わせる要求を受信することと、
前記車両または前記構成要素に前記作動を行わせる入力を受信することと
をさらに備えることを特徴とする請求項５に記載の方法。
【請求項14】
前記ディスプレイの第３の部分に、前記車両の現在の状態に関連付けられた情報を提供する車両状態インターフェースを提示することであって、前記情報は、前記車両の速さ、前記車両の進行方向、または前記車両の現在のロケーションに関連付けられた交通規則のうちの１つまたは複数を含む、ことをさらに備えることを特徴とする請求項５に記載の方法。
【請求項15】
前記ディスプレイの第３の部分に、前記車両の構成要素の制御を提供する車両制御インターフェースを提示することであって、前記車両制御インターフェースは、前記車両の第１の構成要素に関連付けられている第１の入力要素を少なくとも含む、ことをさらに備えることを特徴とする請求項５に記載の方法。
【発明の詳細な説明】
【背景技術】
【0001】
本特許出願は、２０２０年１１月３０日に出願された米国特許出願第１７／１０７，５７０号の優先権を主張し、参照により本明細書に完全に組み込まれる。
【0002】
車両のフリートは、人または貨物をあるロケーションから別のロケーションに輸送するために使用される。車両のフリートにおける個々の車両は、車両の周囲に関連付けられたデータを生成するための様々なセンサーを装備されることがある。センサーデータは、車両のフリートの遠隔監視にも使用されることがある。場合によっては、遠隔操作者（remote operator）は、車両のフリートにおける個々の車両と通信し、車両に指示または情報を提供することがある。しかしながら、複数の異なる車両および／または個々の車両間の通信を調整することは困難でありうる。
【図面の簡単な説明】
【0003】
詳細な説明は、添付の図面を参照して説明される。図面において、参照番号の左端のアラビア数字（複数可）は、参照番号が最初に現れる図を特定している。異なる図面における同じ参照番号の使用は、類似または同一のコンポーネントまたは特徴を示す。
【図1】例示的な車両が遠隔操作オペレーターと通信している間に移動する例示的な環境の概略図を示す図である。
【図2】車両のフリートを遠隔監視するための遠隔操作システムの例示的な詳細を示す概略図およびブロック図である。
【図3】本明細書で説明される様々な技術のいくつかを実装するための例示的なシステムを示すブロック図である。
【図4】車両が環境を横断するときに車両を遠隔監視するための例示的なユーザーインターフェースを示す図である。
【図5A】車両の乗員に関連付けられた情報の例示的な詳細を含む、車両を遠隔監視するための例示的なユーザーインターフェースを示す図である。
【図5B】車両の乗員に関連付けられた情報の例示的な詳細を含む、車両を遠隔監視するための例示的なユーザーインターフェースを示す図である。
【図6A】ユーザーインターフェースの例示的な通信インターフェースチャットインターフェースを示す図である。
【図6B】ユーザーインターフェースの例示的な通信インターフェースチャットインターフェースを示す図である。
【図6C】ユーザーインターフェースの例示的な通信インターフェースチャットインターフェースを示す図である。
【図6D】ユーザーインターフェースの例示的な通信インターフェースチャットインターフェースを示す図である。
【図6E】ユーザーインターフェースの例示的な通信インターフェースチャットインターフェースを示す図である。
【図6F】ユーザーインターフェースの例示的な通信インターフェースチャットインターフェースを示す図である。
【図6G】ユーザーインターフェースの例示的な通信インターフェースチャットインターフェースを示す図である。
【図6H】ユーザーインターフェースの例示的な通信インターフェースチャットインターフェースを示す図である。
【図6I】ユーザーインターフェースの例示的な通信インターフェースチャットインターフェースを示す図である。
【図6J】ユーザーインターフェースの例示的な通信インターフェースチャットインターフェースを示す図である。
【図7】タッチキーボードインターフェースを含むさらに別のユーザーインターフェースを示す図である。
【図8A】車両の１つまたは複数のコンポーネントを制御することがある例示的な車両および例示的な車両制御インターフェースを含む例示的なユーザーインターフェースを示す図である。
【図8B】車両の１つまたは複数のコンポーネントを制御することがある例示的な車両および例示的な車両制御インターフェースを含む例示的なユーザーインターフェースを示す図である。
【図9A】例示的なユーザーインターフェースに示されていない車両が例示的な車両に接近していることを示す例示的なオフスクリーンインジケータを含む別の例示的なユーザーインターフェースをまとめて示す図である。
【図9B】例示的なユーザーインターフェースに示されていない車両が例示的な車両に接近していることを示す例示的なオフスクリーンインジケータを含む別の例示的なユーザーインターフェースをまとめて示す図である。
【図10A】遠隔監視されている車両の状態を表示するために、本開示に記載される例示的なユーザーインターフェースと使用可能な例示的な車両状態インターフェースを示す図である。
【図10B】遠隔監視されている車両の状態を表示するために、本開示に記載される例示的なユーザーインターフェースと使用可能な例示的な車両状態インターフェースを示す図である。
【図11】車両の遠隔監視および／または制御のためにディスプレイ上にユーザーインターフェースを提示する例示的な方法を示すフローチャートである。
【図12】車両の遠隔監視および／または制御のためにディスプレイ上にユーザーインターフェースを提示する別の例示的な方法を示すフローチャートである。
【図13】車両の遠隔監視および/または制御のためにディスプレイ上にユーザーインターフェースを提示する方法、ならびに車両が応答していることがある物体の存在を示すためにユーザーインターフェース上にオフスクリーン通知を提示する方法のさらに別の例を示すフローチャートである。
【発明を実施するための形態】
【0004】
上述したように、車両のフリートは、あるロケーションから別のロケーションへ人または貨物を輸送するために使用されることがある。車両のフリートにおける個々の車両は、車両の周囲に関連付けられたデータを生成するための様々なセンサーを装備されることがある。センサーデータは、車両のフリートの遠隔監視にも使用されることがある。場合によっては、遠隔操作者は、車両のフリートにおける個々の車両と通信し、車両に指示または情報を提供することがある。しかしながら、複数の異なる車両および／または個々の車両間の通信を調整することは困難でありうる。例えば、遠隔操作者は、異なるモダリティ（例えば、アプリケーションまたはデバイス）を使用し、異なる人々と通信する必要があり得る、および／または異なる人々（例えば、乗り手、オペレーター、緊急サービスなど）との個別の通信セッションを開始する必要があり得るが、これは面倒で非効率的である。
【0005】
本出願は、車両のフリートに関連付けられた車両および個人との遠隔監視、制御、および／または通信のための改善されたユーザーインターフェースに関する。いくつかの例では、ユーザーインターフェースは、車両の現在の状態、車両の現在の地理的ロケーション、車両が動作している現在の環境など、車両に関連付けられた情報を遠隔ユーザー（例えば、遠隔操作者または「テレオペレーター（teleoperator）」）に提供することがある。例えば、車両の１つまたは複数のセンサー（例えば、ＬＩＤＡＲセンサー、ＲＡＤＡＲセンサー、カメラなど）から受信したデータに少なくとも部分的に基づいて、ユーザーインターフェースは、車両が動作している環境のデジタル表現の提示を引き起こすことがある。環境のデジタル表現は、例えば、環境内の車両、環境内にある他の車両、環境内の歩行者、車両が進行している道路ネットワーク、信号機および／または交通標識などのデジタル表現を含むことがある。さらに、いくつかの例では、環境のデジタル表現は、ユーザーインターフェースの視野の外側に配置されるが、最終的には視野に入るだろう物体の通知を含むことがある。これらの技術によれば、ユーザーインターフェースは、車両の状態、車両の地理的ロケーション、および／または車両が動作している環境の正確でリアルタイムまたはほぼリアルタイムの表現をリモートユーザーに提供することがある。
【0006】
いくつかの例では、ユーザーインターフェースは、リモートユーザーが車両の１つまたは複数の乗員と通信することを可能にする通信インターフェースを含むことがある。例えば、通信インターフェースは、リモートユーザーが車両の乗員にメッセージを送信することを可能にすることがある。メッセージは、乗員に関連付けられたデバイス（例えば、ユーザーのモバイルデバイス、車両において乗員が座っているロケーションに関連付けられた車両内のディスプレイ画面など）に送信されるテキストメッセージを含むことがある。追加的または代替的に、メッセージは、車両の１つまたは複数の音声出力デバイス（例えば、スピーカー）を使用して可聴的に通信される音声メッセージ（例えば、音声メッセージ、事前に記録された音声メッセージ、双方向音声通信など）を含むことがある。
【0007】
いくつかの例では、通信インターフェースは、リモートユーザーが、車両に近接する歩行者、緊急サービス（例えば、９１１オペレーター）、他のリモートユーザー、車両のオペレーターなど、車両の乗員以外の人と通信することを可能にすることがある。例えば、リモートユーザーは、テキストメッセージング、双方向音声通信、音声および／または視覚通信を介して（例えば、車両のホーンを鳴らす、またはビープ音を鳴らす、車両のライトをオンまたはオフにするなどによって）これらの人々および他の人々と直接通信することがある。このように、ユーザーインターフェースは、リモートユーザーに別個のアプリケーション、インスタンス、またはデバイス（例えば、携帯電話、追加のディスプレイ画面など）を維持することを要求することなく、複数の異なる個人およびエンティティとのリモートユーザー通信を提供することがある。
【0008】
いくつかの例では、ユーザーインターフェースは、リモートユーザーに車両の１つまたは複数のコンポーネントの制御を提供するように構成された車両制御インターフェースを含むことがある。例えば、リモートユーザーによって遠隔から制御可能であり得る１つまたは複数のコンポーネントは、ドアの開閉、窓の開閉、車両気候制御システムの温度設定の調整、車両のステレオシステムの調整（例えば、音量の調整、音声コンテンツのソース、歌の選択など）、窓の色合いの制御、照明の制御、車両の乗車設定の調整（例えば、スポーツモード、快適モードなど）などを含むことがある。
【0009】
限定ではなく一例として、本開示に記載の様々な技術による方法は、ディスプレイ上に、ユーザーに車両に関連付けられた情報を提供するように構成されたユーザーインターフェースを提示することを含むことがある。いくつかの例では、ユーザーは、リモートユーザー（例えば、遠隔操作者）を含むことがあり、車両は、車両のフリート（例えば、複数の車両）のうちの第１の車両を含むことがある。
【0010】
いくつかの例では、ユーザーインターフェースは、ディスプレイの第１の部分上に提示される第１のインターフェース領域を含むことがある。第１のインターフェース領域は、車両が動作している環境のデジタル表現を含むことがある。例えば、センサーデータは、車両の１つまたは複数のセンサーシステム（例えば、ＬＩＤＡＲ、ＲＡＤＡＲ、カメラなど）によってキャプチャされることがあり、センサーデータに少なくとも部分的に基づいて、ユーザーインターフェースは、センサーデータを処理することによって（例えば、センサーデータに１つまたは複数のルールおよび／またはヒューリスティックを適用することによって）環境の提示を引き起こすことがある。様々な例では、環境のデジタル表現は、他の車両、歩行者、サイクリスト、建造物（例えば、建物）、信号機および／または交通標識など、環境内に配置される物体の１つまたは複数のデジタル表現を含むことがある。１つまたは複数の物体は、環境内のそれぞれのロケーションに対応するロケーションにおける環境のデジタル表現内に置かれることがある。いくつかの例では、第１のインターフェース領域は、レーンマーキング、ジャンクション、道路セグメントなど、車両が進行している道路ネットワークのデジタル表現をさらに含むことがある。例えば、１つまたは複数の物体、道路ネットワークなどに関連付けられたセンサーデータは、車両の１つまたは複数のセンサーシステムによってキャプチャされることがあり、センサーデータは、環境のデジタル表現を生成するために処理されることがある。もちろん、少なくともいくつかの例では、センサーデータ自体は、その表現として送信されることがある。非限定的な例として、そのような表現は、境界ボックス、輪郭、統計分布など、ならびにそれらに関連付けられた任意のメトリック（例えば、確実性、範囲など）を含むことがある。
【0011】
さらに、いくつかの例では、第１のインターフェース領域は、１つまたは複数の視点から見た環境のデジタル表現を含むことがある。例えば、第１の透視視点は、空中または第三者の視点から見たように環境を横断するときの環境のデジタル表現だけでなく、車両のデジタル表現を含む鳥瞰視点であり得る。第１の透視視点は、環境内の車両のロケーションを示すことがある。追加的または代替的に、第２の透視視点は、車両自体の透視視点（例えば、車両の上部中心または前部）または車両の乗員から見た環境のデジタル表現を含む視点を含むことがある。視点は、前方に（例えば、車両の進行方向に）、後方に（例えば、車両の進行方向の反対側に）、または車両のいずれかの側面に向けられることがある。いくつかの例では、インターフェースは、リモートユーザーが異なる視点を切り替えること、および／または本明細書に記載されるものを含むがこれらに限定されない複数の利用可能な視点の中から選択することを可能にする制御を含むことがある。
【0012】
いくつかの例では、ユーザーインターフェースは、ディスプレイの第２の部分上に提示される第２のインターフェース領域を含むことがある。第２のインターフェース領域は、少なくとも第１の人とのユーザー通信を提供するように構成された通信インターフェースを含むことがある。第１の人は、いくつかの例では、車両の第１の乗員、車両の第１のオペレーター、車両に近接する第１の歩行者、または別のユーザー（例えば、別のテレオペレーター）を含むことがある。さらに、通信インターフェースは、第２の人、第３の人などの１つまたは複数の追加の人との通信を提供するようにさらに構成されることがある。例えば、第１の人が車両の第１の乗員を含む場合、１人または複数の追加の人は、車両の他の乗員（複数可）、車両のオペレーター（複数可）、車両に近接する歩行者（複数可）、別のユーザー（複数可）などを含むことがある。同様に、第１の人が車両に近接する第１の歩行者を含む場合、１人または複数の追加の人は、車両の乗員（複数可）、車両のオペレーター（複数可）、車両に近接する他の歩行者（複数可）、別のユーザー（複数可）などを含むことがある。
【0013】
いくつかの例では、通信されている人または物体が、車両が動作している環境に配置された歩行者または物体を含む場合、スピーカーの配列を使用して、特定の歩行者または物体に指向性音を発することがある。例えば、参照により本明細書に組み込まれる米国出願第１５／９８６，７３９号は、自律車両の環境において、歩行者を含む物体に情報を伝達することを記載しており、自律車両は、音響エネルギーのビーム（すなわち、音響ビームステアリング）を舵取りするために、自律車両の外面上に音響アレイを含むことが可能である。
【0014】
いくつかの例では、１つまたは複数のチャットインターフェースがユーザーインターフェース上に提示されることがある。１つまたは複数のチャットインターフェースのチャットインターフェースは、車両の第１の乗員または車両のオペレーターなどの特定の人に関連付けられることがある。追加的または代替的に、チャットインターフェースは、遠隔のテレオペレーターのグループ、車両の乗員のグループなどの人のグループに関連付けられることがある。したがって、方法は、第２のインターフェース領域（例えば、通信インターフェース）の第１の入力要素を介して、第１のチャットインターフェースが開かれることを示す第１のデータを受信することを含むことがある。例えば、第１の入力要素は、第２のインターフェース領域内のディスプレイの第２の部分に提示されることがあり、第１のデータは、第１の入力要素がユーザーによって選択された（例えば、タッチスクリーンタイプディスプレイ上でユーザーによって押された）ことを示すことがある。第１の入力要素は、第１のチャットインターフェースを開くことに関連付けられることがある。第１のデータを受信することに少なくとも部分的に基づいて、第１のチャットインターフェースがディスプレイ上に提示されることがある。いくつかの例では、第１のチャットインターフェースは、第２のインターフェース領域内のディスプレイの第２の部分に提示されてもよく、または第１のチャットインターフェースは、ディスプレイの別の部分に提示されてもよい。
【0015】
様々な例では、通信されるメッセージは、ユーザーによって入力および／または選択されることがある。通信されることがあるメッセージのタイプは、テキストメッセージ、録音された音声メッセージ、事前に録音された音声メッセージ、および／またはテキストから音声へのメッセージを含むことがある。したがって、方法は、第２のインターフェース領域（例えば、通信インターフェース）の第２の入力要素を介して、送信される第１のメッセージを表す第２のデータを受信することを含むことがある。例えば、第２の入力要素は、第２のインターフェース領域または第１のチャットインターフェースのうちの少なくとも１つ内に提示されるテキストフィールド入力を含むことがある。さらに、第２のデータは、テキストフィールド入力を使用してユーザーによって入力されるテキストの文字列を含むことがある。第１のメッセージを表すテキストの文字列は、ＳＭＳテキストメッセージとして送信されてもよく、または音声で伝達されることが可能な可聴メッセージに変換されてもよい。追加的または代替的に、第２のデータは、記録された音声メッセージまたは事前に録音された音声メッセージを含むことがある。
【0016】
いくつかの例では、第１のメッセージは、第１のメッセージが送信されるべきであるという指示を受信することに少なくとも部分的に基づいて、第１のチャットインターフェース内のディスプレイ上に提示されることがある。例えば、第１のメッセージが送信されるという指示は、メッセージの送信に関連付けられた入力要素（例えば、「送信」入力要素）を介して受信されることがある。メッセージの送信に関連付けられた入力要素は、いくつかの例では、第２のインターフェース領域または第１のチャットインターフェースのうちの少なくとも１つ内に提示されることがある。さらに、第１のチャットインターフェース内に第１のメッセージを提示することは、第１のメッセージが第１の人に送信されたことを示すことがある。
【0017】
いくつかの例では、第１の人からユーザーに送信されるメッセージは、第１のチャットインターフェース内のディスプレイ上に提示されることがある。例えば、第１のチャットインターフェースは、第１の人に関連付けられることがあり、第１のチャットインターフェースは、ユーザーと第１の人との間で送信されたメッセージの履歴を提示することがある。したがって、方法は、ネットワークを介して、および第１の人に関連付けられた第１のデバイスから、第１のメッセージに対する第１の応答を表すデータを受信し、ディスプレイ上および第１のチャットインターフェース内で、第１のメッセージに対する第１の応答を提示することを含むことがある。
【0018】
追加的または代替的に、上述のように、チャットインターフェースは、遠隔のテレオペレーターのグループ、車両の乗員のグループなどの人のグループに関連付けられることがある。グループチャットインターフェースでは、第１の人または第２の人によってユーザーに送信されたメッセージを提示することは、メッセージおよびメッセージを送信した人を示す識別子を提示することを含むことがある。識別子は、例えば、人の写真、人の名前、人のイニシャルなどを含むことがある。したがって、方法は、第１の人から第１の応答メッセージを受信することと、ディスプレイ上およびグループチャットインターフェース内で、第１の人に関連付けられた第１の識別子を含む第１の応答メッセージを提示することとをさらに含むことがある。さらに、方法は、第２の人から第２の応答メッセージを受信することと、ディスプレイ上およびグループチャットインターフェース内で、第２の人に関連付けられた第２の識別子を含む第２の応答メッセージを提示することとを含むことがある。
【0019】
いくつかの例では、提案されたメッセージは、ユーザーによって入力されているメッセージの一部（例えば、予測されたテキスト）に少なくとも部分的に基づいてユーザーに提示されることがある。例えば、ユーザーが「please」という単語で始まるメッセージを入力している場合、「please buckle your seatbelt」、「please allow the doors to close」、「please wear a face covering if you feel sick」などの１つまたは複数の推奨メッセージがユーザーに提示されることがある。いくつかの例では、提案されたメッセージは、追加的または代替的に、入力されたメッセージの一部（複数可）の意味、車両の過去、現在または計画された状態（例えば、移動、静止、乗客を拾う、乗客を降ろすなど）、メッセージの意図された受信者との通信の履歴などに基づいてもよい。このようにして、メッセージを入力するユーザーは、推奨されるメッセージのうちの１つを選択することがあり、それによって、メッセージを作成するプロセスを簡素化および高速化する。したがって、方法は、第２のインターフェース領域（例えば、通信インターフェース）の第２の入力要素を介して、通信されるメッセージの第１の部分を表すデータを受信することと、少なくとも部分的にデータに基づいて、メッセージの第１の部分に関連付けられた１つまたは複数の推奨されるメッセージを決定することとをさらに含むことがある。さらに、方法は、ディスプレイ上の１つ以上の提案されたメッセージの少なくとも第１の提案されたメッセージを提示することと、第１の提案されたメッセージが送信されるべきであるという指示を受信することに少なくとも部分的に基づいて、第１のチャットインターフェース内のディスプレイ上の第１の提案されたメッセージを提示することとを含むことがある。
【0020】
さらに、いくつかの例では、コンテキスト手がかりがユーザーインターフェース上に提示されることがあり、提案されるメッセージが、コンテキスト手がかりに関連付けられたリモートユーザーに提示されることがある。例えば、車両の乗員がシートベルトを着用していない場合、インジケータがユーザーインターフェース上に提示し、乗員がシートベルトを着用していないことをリモートユーザーに通知することがある。さらに、リモートユーザーが要求を乗員に通信することができるように、乗員に送信する（例えば、乗員にシートベルトを締めるように指示する）提案メッセージがユーザーインターフェース上に提示されることがある。
【0021】
いくつかの例では、ユーザーインターフェースは、ディスプレイの第３の部分上に提示される第３のインターフェース領域を含むことがある。第３のインターフェース領域は、車両の状態に関連付けられた情報をユーザーに提供するように構成された車両状態インターフェースを含むことがある。いくつかの例では、情報は、車両の現在の速度、車両の走行方向（例えば、車両の軌道）、車両の現在のルートに関連付けられた交通ルール（例えば、車両が停止標識にあるかどうか、現在のロケーションまたはルートに関連付けられた制限速度標識など）、車両の１つまたは複数のコンポーネントの状態メッセージ（例えば、コンポーネントが故障状態にあるかどうか、整備が必要か、エラーメッセージ、電圧、電流、温度など）などのうちの１つまたは複数を含むことがある。車両状態インターフェースおよび／または第３のインターフェース領域は、車両のデジタル表現に近接する第１のインターフェース領域上またはその中に（例えば、車両の上部、下部、側面などに）配置されることがある。さらに、車両状態インターフェースは、車両の現在のルートにいくつの交通ルールが存在するかなど、車両の現在の状態に少なくとも部分的に基づいて、サイズが増加し、サイズが縮小することがある（例えば、拡大および縮小）。車両ステータスインターフェースのサイズの変更については、以下の図１０Ａおよび図１０Ｂでさらに詳細に説明される。
【0022】
様々な例では、ユーザーインターフェースは、ユーザーが車両の１つまたは複数のコンポーネントを制御することを可能にすることがある。例えば、ユーザーインターフェースは、ディスプレイの第４の部分に提示される第４のインターフェース領域を含むことがある。第４のインターフェース領域は、ユーザーに車両の１つまたは複数のコンポーネントの制御を提供するように構成された車両制御インターフェースを含むことがある。車両制御インターフェースは、車両の１つまたは複数のコンポーネントを制御することに関連付けられた１つまたは複数の入力要素を含むことがある。車両の１つまたは複数のコンポーネントは、車両のドア、車両の窓、車両の気候制御システム、車両のステレオシステム、車両の照明、車両窓の日よけ、車両の乗車設定などを含むことがある。
【0023】
いくつかの例では、車両の第１のコンポーネントが制御されることを示すデータは、車両制御インターフェースの第１の入力要素を介して受信されることがある。データに少なくとも部分的に基づいて、１つまたは複数の追加の入力要素がディスプレイ上に提示されることがある。１つまたは複数の追加の入力要素は、車両の第１のコンポーネントを制御することに関連付けられることがある。例えば、制御されるコンポーネントが車両のドアを含む場合、１つまたは複数の追加の入力要素は、第１のドアを閉じるための第１の追加の入力要素、第１のドアを開くための第２の追加の入力要素、第２のドアを閉じるための第３の追加の入力要素、第２のドアを開くための第４の追加の入力要素などを含むことがある。
【0024】
いくつかの例では、方法は、第１の追加の入力要素を介して、第１のコンポーネントの状態が第１の状態から第２の状態に変更されることを示すデータを受信することを含むことがある。例えば、第１のコンポーネントが車両のドアを含む場合、第１の状態は、ドアが開かれていることに対応することがあり、第２の状態は、ドアが閉じられていることに対応することがある。いくつかの例では、コンポーネントの状態が変更されることを示すデータを受信することに少なくとも部分的に基づいて、方法は、コンポーネントの状態を第１の状態から第２の状態に変更させること（例えば、ドアを開位置から閉位置に遷移させること）を含むことがある。
【0025】
さらに、第２の状態に対応する車両の第１のコンポーネントの状態に少なくとも部分的に基づいて、車両のデジタル表現は、第１のコンポーネントが第２の状態にあることを示すように更新されることがある。例えば、第１のコンポーネントが車両のドアを含み、第１の状態が開かれている車両のドアに対応する場合、車両のデジタル表現は、最初にドアが開かれている車両を図示することがある。しかしながら、車両のドアが閉じられた後（第２の状態）、車両のデジタル表現は、更新され、車両のドアが閉じられたことを図示することがある。
【0026】
いくつかの例では、ユーザーインターフェースが、環境内に位置されるがディスプレイ上に提示される視野の外側にある物体、および／または環境内に位置されるが環境内の他の物体によって閉塞される物体の表示を提示することがある。例えば、物体（例えば、歩行者、サイクリスト、他の車両など）が車両に近づいているが、その物体が視野の外側にあるためにディスプレイ上に提示されない場合、ユーザーインターフェースは、物体が近づいている方向を示す指示をディスプレイ上に提示することがある。したがって、方法は、第１の視野の外側にある、および／または第１の視野から見たときに環境内の物体によって閉塞される環境の別の視野内に配置された１つまたは複数の物体を表すセンサーデータを受信することを含むことがある。いくつかの例では、センサーデータを処理することに少なくとも部分的に基づいて、１つまたは複数の物体の物体に関連付けられた進行方向（例えば、軌道）が決定されることがある。追加的または代替的に、視野へ移動する物体に関連付けられた期間が決定されることがある。期間は、いくつかの例では、センサーデータに少なくとも部分的に基づいて、および／または進行方向に少なくとも部分的に基づいて決定されることがある。いくつかの例では、第１の物体が第１の視野に入ろうとしているという表示がディスプレイ上に提示されることがある。表示を提示することは、センサーデータ、物体に関連付けられた進行方向、および／または閾値期間未満の期間に少なくとも部分的に基づいてもよい。
【0027】
これらおよび他の態様は、添付の図面を参照して以下でさらに説明される。図面は、単なる例示的な実施形態であり、特許請求の範囲を限定するように解釈されるべきではない。例えば、例示的な車両は、人間の制御または介入なしにロケーションの間において進行する性能がある自律車両として示され、説明されるが、本明細書で説明される技術は、非自律車両および／または半自律車両にも適用可能である。また、車両は、座席が車両の中心に向かって互いに向かい合っているコーチスタイルの車体モジュールを有するものとして示されているが、他の車体モジュールも企図される。任意の数の１つまたは複数の乗員（例えば、１、２、３、４、５、６、７、８など）を収容するように構成された車体モジュールが企図される。さらに、示される例示的な車体モジュールは、乗客区画を含むが、他の例では、車体モジュールは、乗客区画（例えば、貨物車両、配送車両、建設車両などの場合）を有しない場合がある。
【0028】
車両監視アーキテクチャの例
図１は、例示的な車両１０２が通過する例示的な環境１００の概略図を示す。例示的な環境１００は、中間線または二重黄線１１２によって分離されたレーン１１０の２つのペア１０８を有する複数の例示的な道路１０６を含む道路ネットワーク１０４を含み、レーン区分線１１４およびレーン境界線１１６によって定義されたレーン１１０のペア１０８のレーン１１０の各々を有する。例示的な道路１０６はまた、道路１０６の反対側に位置する路肩１１８を含む。図１はまた、家または建物などの建造物１２２を含む出発ロケーションに関連付けられた例示的な地理的ロケーション１２０、および家または建物などの建造物１２６も含む例示的な目的地１２４を示す。道路ネットワーク１０４は、地理的ロケーション１２０と目的地１２４との間の経路を定義するいくつかの道路１０６を提供し、図１は、例示的な道路１０６の一部の拡大図を示す。道路ネットワーク１０４は、カーブ、十字路との交差点、横断歩道、交通標識、信号機、鉄道交差点、交通サークル、方向矢印などのいくつかの特徴を含むことがある。
図１は、例示的な車両１０２が通過する例示的な環境１００の概略図を示す。例示的な環境１００は、中間線または二重黄線１１２によって分離されたレーン１１０の２つのペア１０８を有する複数の例示的な道路１０６を含む道路ネットワーク１０４を含み、レーン区分線１１４およびレーン境界線１１６によって定義されたレーン１１０のペア１０８のレーン１１０の各々を有する。例示的な道路１０６はまた、道路１０６の反対側に位置する路肩１１８を含む。図１はまた、家または建物などの建造物１２２を含む出発ロケーションに関連付けられた例示的な地理的ロケーション１２０、および家または建物などの建造物１２６も含む例示的な目的地１２４を示す。道路ネットワーク１０４は、地理的ロケーション１２０と目的地１２４との間の経路を定義するいくつかの道路１０６を提供し、図１は、例示的な道路１０６の一部の拡大図を示す。道路ネットワーク１０４は、カーブ、十字路との交差点、横断歩道、交通標識、信号機、鉄道交差点、交通サークル、方向矢印などのいくつかの特徴を含むことがある。
【0029】
図１に示されるように、例示的な車両１０２は、地理的ロケーション１２０から目的地１２４までの経路に従って、道路ネットワーク１０４を介して例示的な環境１００を通って走行することがある。例示の目的で、車両１０２は、米国国家高速道路交通安全局によって発行されたレベル５分類に従って動作するように構成される自律走行車のような無人車両であってよく、これは、運転者（または乗員）が車両を常時制御することを予期することなく、全行程に対するすべての安全上重要な機能を実行することを可能とする車両を説明している。その場合、車両１０２は、すべての駐車機能を含む、旅行の開始から完了までのすべての機能を制御するように構成されることがあるため、ドライバを含まなくてもよい。これは単なる例であり、本明細書で説明されるシステムおよび方法は、運転者によって常に手動で制御される必要がある車両から部分的または完全に自律的に制御される車両までの範囲を含む、任意の地面、空中、または水上車両へ組み込まれてもよい。
【0030】
図１に示される例示的な車両１０２は、４つの車輪１２８と、車輪１２８のそれぞれについてのそれぞれのタイヤとを有する自動車である。例えば、バン、スポーツユーティリティ車両、クロスオーバー車両、トラック、バス、農業用車両、および建設用車両などの他のタイプおよび構成の車両が企図される。車両１０２は、１つまたは複数の内燃エンジン、１つまたは複数の電気モーター、水素燃料、それらの任意の組み合わせ、および／または任意の他の適切な動力源によって動力を供給されてよい。さらに、例示的な車両１０２は、４つの車輪を有することがあるが、本明細書に記載されるシステムおよび方法は、より少ないまたはより多い数の車輪、タイヤ、および／または軌道を有する車両に組み込むことがある。例示的な車両１０２は、四輪ステアリングを有し、例えば、車両１０２の第１の端部１３０が、第１の方向１３２に移動するときに車両１０２の前端になるように、ほぼすべての方向に等しい性能特性で動作することができ、そして、図１に示すように、第１の端部１３０は、反対の第２の方向１３４に移動するときに車両１０２の後端になる。同様に、車両１０２の第２の端部１３６は、第２の方向１３４に移動するときの車両１０２の前端であり、第２の端部１３６は、反対の第１の方向１３２に移動するときに車両１０２の後端になる。そのような構成は、本明細書では「双方向性」と称されることがある。これらの例示的な双方向特性は、例えば、駐車場や都市部などの狭いスペースまたは混雑した環境で、より優れた操縦性を促進する可能性があり得る。
【0031】
図１に示される例では、車両１０２は、様々なセンサーおよび車両コントローラを使用して、道路ネットワーク１０４を介して経路に沿って環境１００を通して自律的に動作することがある。例えば、車両コントローラは、車両１０２が走行することがある仮想境界１４０によって定義されたドライビングコリドー（driving corridor）１３８を決定するように構成されることがある。例えば、ドライビングコリドー１３８は、車両１０２の幅方向に可変コリドー幅１４２、および車両１０２の進行方向に延びる可変コリドー長１４４を有することがある。いくつかの例では、本明細書でより詳細に説明されるように、ドライビングコリドー１３８の仮想境界１４０は、車両１０２に関連付けられるセンサーから受信されるセンサーデータおよび／または道路ネットワークデータストアを介して車両１０２によって受信される道路ネットワークデータに少なくとも部分的に基づいて決定されることがある。図１には図示されていないが、物体を示すそのようなセンサーデータは、くぼみ部分または取り外し部分としてそのような通廊に表されることがある。いくつかの例では、車両１０２は、ドライビングコリドー１３８内のドライブライン（drive line）１４６に沿って走行することがある。
【0032】
いくつかの例では、車両１０２は、車両１０２が道路１０６に沿って、例えば、車両１０２から離れて配置された遠隔操作システム１４８からの支援を要求することがあるイベントに遭遇するまで、自律的に動作することがある。例えば、車両１０２は、経路の一部に関連付けられた工事ゾーンに遭遇することがあり、工事ゾーンの近くの交通は、工事ゾーンの周りを操縦する交通のための指示を提供する工事作業員の指示の下にあり得る。このタイプのイベントの予測不可能な性質に部分的に起因して、車両１０２は、遠隔操作システム１４８から遠隔支援を要求することがある。しかしながら、車両１０２と遠隔操作システム１４８との間の相互作用は、イベントに限定されず、車両１０２および遠隔操作システム１４８は、車両１０２の乗員と直接通信するため、車両１０２に近接する歩行者と通信するため、車両１０２のコンポーネントを制御するためなど、いくつかの理由で相互作用することがある。いくつかの例では、車両１０２は、本明細書でより詳細に説明されるように、１つまたは複数の通信ネットワーク１５８を介して遠隔操作システム１４８と通信する車両のフリートの一部であり得る。
【0033】
いくつかの例では、例えば、図１に示されるように、遠隔操作システム１４８は、遠隔操作センター１５２または他の遠く離れたロケーション（複数可）に配置された人間のテレオペレーターであり得る１つまたは複数のテレオペレーター１５０を含むことがある。いくつかの例では、テレオペレーター１５０のうちの１つまたは複数は、人間ではない場合がある。例えば、それらは、人工知能、機械学習、および／または他の意思決定戦略を活用するコンピュータシステムであり得る。示される例では、テレオペレーター１５０は、テレオペレーターインターフェース１５４を介して車両のフリートにおける１つまたは複数の車両１０２と相互作用することがある。テレオペレーターインターフェース１５４は、テレオペレーター１５０に、車両１０２、車両のフリートのサブセット、および／または車両のフリートの動作に関連するデータを提供するように構成された１つまたは複数のディスプレイ１５６を含むことがある。例えば、ディスプレイ１５６（複数可）は、車両１０２から受信したセンサー信号に関連するデータ、道路ネットワーク１０４に関連するデータ、および／または車両１０２への支援の提供を容易にするための追加のデータまたは情報を示すように構成されることがある。さらに、テレオペレーターインターフェース１５４および／または１つまたは複数のディスプレイ１５６はまた、テレオペレーター１５０が例えば、車両１０２に案内を提供する遠隔操作信号の形態で、車両１０２のうちの１つまたは複数に情報を提供することを可能にするように構成されたテレオペレーター入力デバイスを含むことがある。テレオペレーター入力デバイスは、タッチ感知スクリーン、スタイラス、マウス、ダイヤル、キーパッド、および／またはテレオペレーター１５０によって実行されるジェスチャをテレオペレーターインターフェース１５４の入力コマンドに変換するように構成されたジェスチャ入力システムのうちの１つまたは複数を含むことがある。本明細書でより詳細に説明されるように、遠隔操作システム１４８は、１つまたは複数の車両１０２に、イベントを回避するまたは通過するための案内を提供することがある。
【0034】
いくつかの例では、テレオペレーター１５０に１つまたは複数の車両に関連付けられた情報および／またはデータを提供するために、テレオペレーターインターフェース１５４は、１つまたは複数のディスプレイ１５６上にユーザーインターフェースを提示することがある。ユーザーインターフェースは、環境１００などの車両が動作している環境のデジタル表現を含むことがある。例えば、環境１００のデジタル表現は、いくつかの例では、車両１０２、道路１０６を含む道路ネットワーク１０４、レーン１１０、中間線または二重黄線１１２、区分線１１４、およびレーン境界線１１６のデジタル表現を含むことがある。さらに、環境１００のデジタル表現はまた、建造物１２２および１２６、他の車両、歩行者、運転者、信号機および／または交通標識などの建造物のデジタル表現を含むことがある。さらに、いくつかの例では、ユーザーインターフェースは、ディスプレイ１５６上に示される視野の外側に配置されるが、最終的には視野に入るだろう物体（例えば、他の車両、歩行者など）の通知を提示することがある。
【0035】
いくつかの例では、ユーザーインターフェースは、１つまたは複数のディスプレイ１５６に提示される通信インターフェースを含み、テレオペレーター１５０が車両１０２の１名または複数名の乗員１６０と通信することを可能にすることがある。たとえば、通信インターフェースは、テレオペレーター１５０がメッセージを車両１０２の乗員１６０に送ることを可能にすることがある。メッセージは、たとえば、乗員１６０のモバイルデバイス、乗員１６０により占められている座席に関連付けられる車両１０２のディスプレイ画面等、乗員１６０に関連付けられたデバイスに送られるＳＭＳテキストメッセージを含むことがある。さらに加えて、または代わりに、メッセージは、オーディオ出力の性能がある車両１０２の１つまたは複数のデバイス（例えば、車両のスピーカー、車両のディスプレイ画面等）、乗員１６０に関連付けられたデバイス、および同類のものを用いて、聞こえるように通信されるオーディオメッセージ（例えば、音声メッセージ、予め記録された音声メッセージ、双方向音声通信等）を含むことがある。さらに加えて、または代わりに、いくつかの例では、通信インターフェースは、リモートユーザーが、車両に最も近い歩行者、第三者（例えば、９１１オペレーター、第１応答者等）、他のリモートユーザー、車両のオペレーター、および同類のもののうちのいずれか１名と直接的または間接的に通信することを可能にすることがある。さらに付け加えられた例では、通信インターフェースは、テレオペレーター１５０が、乗員１６０へのファイル、たとえば、画像、ビデオ、文書、および同類のものなどを送ることを可能にすることがある。
【0036】
いくつかの例では、通信インターフェースは、テレオペレーター１５０が、複数の言語を用いて、車両１０２の乗員１６０と通信することを可能にすることがある。たとえば、通信インターフェースは、乗員１６０から受信されるテキストメッセージおよび／またはオーディオメッセージを、第１の話し言葉から第２の話し言葉に翻訳するための言語翻訳機能を含むことがある。さらに加えて、言語翻訳機能は、テレオペレーター１５０が乗員１６０に送ることを試みているテキストメッセージおよび／またはオーディオメッセージを、第１の話し言葉から第２の話し言葉に翻訳することがある。言語翻訳機能は、どの言語が２者のいずれか一方により話されるかまたは理解されるかにもかかわらず、テレオペレーター１５０に乗員１６０と通信できるようにするあらゆる数の話し言葉（例えば、英語、スペイン語、北京語、アラビア語、ヒンディー語、ドイツ語、フランス語、イタリア語、ロシア語等）を翻訳する性能を有することがある。さらに加えて、通信インターフェースは、音声からテキストへの変換のために自然言語処理を利用することがある。このようにして、話されている音声メッセージは、テキストメッセージに変換され、逆の場合も同じであり、テレオペレーター１５０および乗員１６０がハンズフリーで通信することを可能にすることがある。さらに、テキストメッセージは、聞こえるようにユーザーが書かれているテキストメッセージを聞いてもよいように、コンピューター化された話し言葉に変換されることがある。
【0037】
いくつかの例では、ユーザーインターフェースは、たとえばドア１６２など、車両１０２の１つまたは複数の構成要素の制御をテレオペレーター１５０に提供するように構成される車両制御インターフェースを含むことがある。たとえば、ユーザーインターフェースの車両制御インターフェースは、テレオペレーター１５０に、車両１０２のドア１０２を開け閉めできる、ドア１０２を施錠できる、および同類のものをできるようにすることがある。さらに加えて、いくつかの例では、車両制御インターフェースは、テレオペレーター１５０に、窓を開け閉める、周囲の温度の設定を調節する（例えば、ヒーターまたはエアコンを作動させる）、ステレオシステムを調節する（例えば、音量を調節すること、歌曲の選択等）、ブラインドを調節する、フロントガラスのワイパーを制御する、ヘッドライトを制御する、および同類のものをする能力を含む、車両１０２のいろいろの構成要素を調節できるおよび／または制御できるようにすることがある。
【0038】
図２は、車両のフリート２０２を遠くから監視するための例示的な遠隔操作システム１４８を含む例示的なアーキテクチャ２００を例示する。例示的な車両のフリート２０２は、少なくともいくつかが、例えば、ネットワーク（複数可）１５８と、遠隔操作システム１４８に関連付けられた遠隔操作レシーバー２０４および遠隔操作トランスミッター２０６とを介して、遠隔操作システム１４８に通信接続されている複数の車両１０２を含む。例えば、車両１０２は、遠隔操作レシーバー２０４によって受信される、車両１０２のネットワークインターフェースを介して通信信号を送ることがある。いくつかの例では、通信信号は、例えば、車両１０２（および／またはその表現）に関連付けられた１つまたは複数のセンサーによって生成されたセンサー信号からのセンサーデータ、および／または道路ネットワークデータストアからの道路ネットワークデータを含むことがある。いくつかの例では、センサーデータは、生のセンサーデータまたは処理されたセンサーデータを含むことがあり、道路ネットワークデータは、車両１０２の動作に関連付けられた領域のグローバルマップまたはローカルマップに関係したデータを含むことがある。いくつかの例では、通信信号は、例えば、現在の位置、現在の速さ、現在のパスおよび／または軌道、現在の占用、１つまたは複数のコンポーネントおよび／またはサブコンポーネントの状態、メッセージ（例えば、あらゆるコンポーネントおよび／またはサブコンポーネント間で送信されるメッセージ）、電池のうちの１つまたは複数の充電レベル、および／またはセンサーおよびドライブシステムの動作状態など、車両１０２およびシステムの現在の状態に関連付けられたデータを含むことがある。いくつかの例では、車両１０２からの通信信号は、遠隔操作システム１４８からの情報に対するリクエストを含むことがある。上記の情報は、例えば、物体、道路ネットワーク１０４、道路１０６、グローバルマップ、ローカルマップ、車両の操作および操縦に関する連携、および／または、車両１０２によって提案された情報および／または作動の確認についての情報のかたちにおいて車両１４８の操作に関する支援を含むことがある。
【0039】
図３に示されている、遠隔操作レシーバー２０４は、遠隔操作インターフェース１５４に通信接続されることがあり、いくつかの例では、テレオペレーター１５０は、遠隔操作インターフェース１５４を介して、車両１０２から受信した通信信号におけるセンサーデータ、道路ネットワークデータ、および／またはあらゆる他のデータにアクセスできることがある。いくつかの例では、テレオペレーター１５０は、遠隔操作インターフェース１５４を用いて、センサーデータ、道路ネットワークデータ、および／または他のデータに選択的にアクセスでき、ディスプレイ１５６のうちの１つまたは複数を介して選択されたデータを見ることがある。いくつかの例では、ディスプレイ１５６は、デジタル表現、過度に単純化した絵の表現、アニメーション、バウンディングボックス、物体の挙動および／または速度を示す矢印、物体を表すアイコン、センサーデータに関する色付け、および／または、データの他の表現を表示し、テレオペレーター１５０による解釈を平易にすることがある。いくつかの例では、さらに加えてまたは代わりに、ディスプレイ１５６は、生のセンサーデータ（例えば、カメラ画像、ライダー点群等）を表示することがある。
【0040】
示されている例では、さらに、遠隔操作システム１４８は、遠隔操作インターフェース１５４のうちの２つ以上とそれぞれのテレオペレーター１５０との間の通信、および／または遠隔操作データ２１０との通信を提供するように構成される遠隔操作ネットワーク２０８も含む。例えば、遠隔操作システム１４８は、複数の遠隔操作インターフェース１５４とそれぞれのテレオペレーター１５０とを含むことがあり、テレオペレーター１５０は、遠隔操作ネットワーク２０８を介して互いに通信して、フリート３０２の車両１０２に提供される案内を容易にするおよび／または整理することがある。たとえば、遠隔操作インターフェース１５４は、テレオペレーター１５０が、他のテレオペレーター１５０、車両１０２の乗員１６０、車両フリート２０２の車両１０２に最も近い歩行者、および同類のものと通信する通信インターフェースを含むディスプレイ１５６にユーザーインターフェースを提示することがある。いくつかの例では、車両１０２の各々に割り当てられたテレオペレーター１５０がいることがあり、いくつかの例では、テレオペレーター１５０は、車両２０２のフリートの単一の車両１０２よりも多い２台以上に割り当てられることがある。いくつかの例では、２名以上のテレオペレーター１５０が、単一の車両１０２に割り当てられることがある。いくつかの例では、テレオペレーター１５０は、車両フリート２０２の特定の車両１０２に割り当てられないことがあり、代わりに、特定の種類のイベントに遭遇した車両１０２に、および／または、例えば、車両のイベントとの遭遇に関連付けられた緊急のレベルに基づいて、車両１０２に案内を提供することがある。いくつかの例では、イベントに関連付けられたデータ、および／またはテレオペレーター１５０により提供される案内に関連付けられたデータは、遠隔操作システム１４８によって、例えば、遠隔操作データ２１０のためのストレージに格納される、および／または他のテレオペレーター１５０によりアクセスされることがある。
【0041】
いくつかの例では、遠隔操作データ２１０は、車両１０２に案内を提供するときの使用のために、例えば、遠隔操作インターフェース１５４を介して、テレオペレーター１５０によりアクセス可能であり得る。例えば、遠隔操作データ２１０は、道路ネットワーク１０４に関係した、道路ネットワーク１０４に関連付けられたイベントに関係した、および／または、例えば、交通量、気象条件、工事地帯および／または特別なイベントによる道路ネットワーク１０４に関連付けられた進行条件に関係した、グローバルおよび／またはローカルのマップデータを含むことがある。いくつかの例では、遠隔操作データ２１０は、例えば、メンテナンスおよびサービスの情報、および／または、例えば、車両１０２に関連付けられたイベント履歴、パス履歴、占有履歴、および車両１０２に関連付けられた他の種類のデータを含む操作履歴など、車両フリート２０２の車両１０２のうちの１台または複数台に関連付けられたデータを含むことがある。
【0042】
図３は、本明細書に説明される種々の技術のいくつかを実装するための例示的なシステム３００を例示するブロック図である。いくつかの例では、システム３００は、たとえば、図１、２、４等の他の図面を参照して、本明細書に説明される例の１つまたは複数の特徴、構成要素、および／または機能性を含むことがある。
【0043】
システム３００は、車両１０２を含むことがある。いくつかの例では、車両３０２は、車両１０２に関して上に説明された特徴、構成要素、および／または機能性のいくつかまたはすべてを含むことがある。たとえば、車両３０２は、二方向性の車両を含むことがある。図３に示されている、さらに、車両３０２は、車両コンピューティングデバイス３０４、１つまたは複数のセンサーシステム３０６、１つまたは複数のエミッター３０８、１つまたは複数の通信接続３１０、１つまたは複数の直接接続３１２、および／または１つまたは複数のドライブアセンブリ３１４を含むこともある。
【0044】
いくつかの例では、車両コンピューティングデバイス３０４は、１つまたは複数のプロセッサー３１６と、１つまたは複数のプロセッサー３１６に通信接続されたメモリー３１８とを含むことが可能である。例示されている例では、車両３０２は自律車両であるが、しかしながら、車両３０２は、あらゆる他の種類の車両（例えば、自動車、トラック、バス、航空機、船、列車等）、またはたとえば図３に例示されているなどの構成要素を有するあらゆる他のシステム（例えば、ロボットシステム、自動組立／製造システム等）であることが可能だろう。例では、１つまたは複数のプロセッサー３１６は、メモリー３１８に格納された命令を実行して、１つまたは複数の車両コンピューティングデバイス３０４を代表して１つまたは複数の動作を行うことがある。
【0045】
１つまたは複数の車両コンピューティングデバイス３０４のメモリー３１８は、ローカライゼーションコンポーネント３２０、パーセプションシステム３２２、プランニングコンポーネント３２４、１つまたは複数のシステムコントローラー３２６、マップ（複数）コンポーネント３２８、監視コンポーネント３３０、フィルタリングコンポーネント３３２、およびユーザーインターフェースコンポーネント３３４を格納する。例示的な目的のためにメモリー３１８に常駐しているとして図３に描かれているにもかかわらず、さらに加えて、または代わりに、ローカライゼーションコンポーネント３２０、パーセプションシステム３２２、プランニングコンポーネント３２４、１つまたは複数のシステムコントローラー３２６、マップ（複数可）３２８、監視コンポーネント３３０、フィルタリングコンポーネント３３２、および／またはユーザーインターフェースコンポーネント３３４は、車両３０２にアクセス可能であることが可能である（例えば、車両３０２から離れたメモリー、たとえば１つまたは複数のコンピューティングデバイス３４０のメモリー３４４などに格納される、または別のやり方により車両３０２から離れたメモリーからアクセス可能である）ことが想定される。
【0046】
少なくとも一例にて、ローカライゼーションコンポーネント３２０は、データをセンサーシステム（複数可）３０６から受信して、車両３０２の位置および／または向き（例えば、ｘ位置、ｙ位置、ｚ位置、ロール、ピッチ、またはヨーのうちの１つまたは複数）を決定する機能性を含むことが可能である。例えば、ローカライゼーションコンポーネント３２０は、環境のマップを含むおよび／または要求する／受信することが可能であり、マップ内の自律車両のロケーションおよび／または向きを連続的に決定することが可能である。場合によっては、ローカライゼーションコンポーネント３２０は、画像データ、ライダーデータ、レーダーデータ、ＩＭＵデータ、ＧＰＳデータ、ホイールエンコーダーデータ、および、１つまたは複数のセンサーシステム３０６によってキャプチャされる同類のもの、または自律車両のロケーションを正確に決定する１つまたは複数の他のデバイス（例えば、コンピューティングデバイス３４０）から受信される同類のものに基づいて、ＳＬＡＭ（simultaneous localization and mapping）、ＣＬＡＭＳ（calibration, localization and mapping, simultaneously）、相対ＳＬＡＭ（relative SLAM）、バンドル調整、非線形最小二乗法最適化（non-linear least squares optimization）、または同類のものを利用することが可能である。場合によっては、ローカライゼーションコンポーネント３２０は、データを、車両３０２の種々の構成要素に提供して、軌道を生成するためにおよび／またはマップデータを検索すると決定するために、自律車両の初期位置を決定することが可能である。種々の例では、ローカライゼーションコンポーネント３２０は、データを遠隔操作システム１４８に提供することが可能であり、遠隔操作システム１４８は、ディスプレイ１５６に、車両３０２が横切って進んでいる環境に関する車両３０２の位置を提示することがある。
【0047】
場合によっては、パーセプションシステム３２２は、物体のトラッキング、検出、セグメンテーション、および／または分類を行う機能性を含むことが可能である。いくつかの例では、パーセプションシステム３２２は、車両３０２に最も近い実体の存在（presence）、および／または実体の種類（例えば、車、歩行者、サイクリスト、動物、建物、木、路面、縁石、歩道、不明等）として実体の分類を示す処理されたセンサーデータを提供することが可能である。追加および／または代替の例において、パーセプションシステム３２２は、検出される実体（例えば、トラッキングされる物体）および／または実体が置かれる環境に関連付けられた１つまたは複数の特性を示す処理されたセンサーデータを提供することが可能である。いくつかの例では、実体に関連付けられた特性は、限定されないが、ｘ位置（グローバルおよび／またはローカルポジション）、ｙ位置（グローバルおよび／またはローカルポジション）、ｚ位置（グローバルおよび／またはローカルポジション）、向き（例えば、ロール、ピッチ、ヨー）、実体の種類（例えば、分類）、実体の速度、実体の加速度、実体の範囲（大きさ）等を含むことが可能である。限定されないが、環境に関連付けられた特性は、環境における別のエンティティの存在、環境における別のエンティティの状態、時刻、曜日、季節、気象条件、闇／光のインディケーション等を含むことが可能である。場合によっては、パーセプションシステム３２２は、遠隔操作システム１４８にデータを提供し、遠隔操作システム１４８は、ディスプレイ１５６に、車両が横切って進んでいる環境に配置されている１つまたは複数の物体のデジタル表現を提示することがある。
【0048】
一般に、プランニングコンポーネント３２４は、車両３０２が、環境を通って横切って進むために従うパスを決定することが可能である。例えば、プランニングコンポーネント３２４は、種々のルートおよび軌道および種々の詳細のレベルを決定することが可能である。例えば、プランニングコンポーネント３２４は、第１のロケーション（例えば、現在のロケーション）から第２のロケーション（例えば、目標のロケーション）まで進むルートを決定することが可能である。本議論の目的のために、ルートは、２つのロケーション間を進むためのウェイポイントのシーケンスであることが可能である。例として、ウェイポイントは、街路、交差点、ＧＰＳ（全地球測位システム）座標等を含むことがある。さらに、プランニングコンポーネント３２４は、自律車両を、第１のロケーションから第２のロケーションまでの少なくとも一部分のルートに沿って、導くためのインストラクションを生成することができる。少なくとも一例では、プランニングシステム３２４は、自律車両を、ウェイポイントのシーケンスにおける第１のウェイポイントから、ウェイポイントのシーケンスにおける第２のウェイポイントまで、どのように導くかを決定することができる。いくつかの例にて、インストラクションは、軌道、または軌道の一部分であることが可能である。いくつかの例では、複数の軌道は、レシーディングホライズン（receding horizon）の技法に従って、実質的に同時に（例えば、技術的な許容範囲内に）生成されることが可能であり、複数の軌道のうちの１つが、ナビゲートする車両３０２に対して選択される。
【0049】
少なくとも１つの例では、車両コンピューティングデバイス３０４は、車両３０２の操舵、推進、制動、安全、エミッター、通信、構成要素、および他のシステムを制御するように構成されることが可能である１つまたは複数のシステムコントローラー３２６を含むことが可能である。今述べたシステムコントローラー（複数可）３２６は、車両３０２のドライブアセンブリ（複数可）３１４および／または他の構成要素の対応するシステムに対して通信するおよび／または制御することが可能である。
【0050】
さらに、メモリー３１８は、環境内をナビゲートするために車両３０２によって用いられることが可能である１つまたは複数のマップ（図示せず）を維持する、および／または更新するマップ（複数可）コンポーネント３２８を含むことが可能である。議論の目的のために、マップは、たとえば、限定されないが、トポロジー（たとえば、交差点など）、街路、山脈、道路、地形、および一般に環境など、環境について情報を提供する能力がある２次元、３次元、またはＮ次元のモデル化されたいくつものデータ構造であることが可能である。限定されないが、場合によっては、マップは、テクスチャ情報（例えば、色情報（例えば、ＲＧＢ色情報、Ｌａｂ色情報、ＨＳＶ／ＨＳＬ色情報）、および同類のもの）、強度情報（例えば、ライダー情報、レーダー情報、および同類のもの）、空間情報（例えば、メッシュの上に投影された画像データ、個々の「サーフェル」（例えば、個々の色および／または強度に関連付けられたポリゴン））、反射率情報（例えば、鏡面反射情報、再帰反射率（retroreflectivity）情報、ＢＲＤＦ情報、ＢＳＳＲＤＦ情報、および同類のもの）を含むことが可能である。１つの例では、マップは、環境の３次元メッシュを含むことが可能である。場合によっては、マップは、マップの個々のタイルが環境の離散的な部分を表すような、タイルフォーマットに格納されることが可能であり、必要に応じてワーキングメモリーにロードされることが可能である。少なくとも１つの例では、１つまたは複数のマップは、少なくとも１つのマップ（例えば、画像および／またはメッシュ）を含むことが可能である。いくつかの例では、車両３０２は、マップに少なくとも部分的に基づいて制御されることが可能である。すなわち、マップは、車両３０２のロケーションを決定し、環境における物体を識別し、および／または環境内をナビゲートするルートおよび／または軌道を生成するために、ローカライゼーションコンポーネント３２０、パーセプションコンポーネント３２２、および／またはプランニングコンポーネント３２４に関連して用いられることが可能である。
【0051】
いくつかの例では、１つまたは複数のマップは、ネットワーク（複数可）１５８を介してアクセス可能なリモートコンピューティングデバイス（複数可）（たとえばコンピューティングデバイス（複数可）３４０など）に格納されることが可能である。いくつかの例では、複数のマップは、例えば、特性（例えば、実体の種類、時刻、曜日、１年の季節等）に基づいて格納されることが可能である。複数のマップを格納することは、同様のメモリー要件を有するが、マップにおけるデータがアクセスされることが可能である速さを上げることが可能である。
【0052】
さらに、メモリー３１８は、ユーザーインターフェースコンポーネント３３０を格納することもある。ユーザーインターフェースコンポーネント３３０は、車両３０２に関連付けられたユーザーインターフェースを生成することがある。場合によっては、ユーザーインターフェースは、車両の乗員がユーザーインターフェースを見ることがあるように、車両に関連付けられた（例えば、車両の内部に貼り付けられ、たとえば、Ｂｌｕｅｔｏｏｔｈまたは他のショートレンジの通信ネットワークを介して車両と通信している等）ディスプレイに提示されることがある。さらに加えて、または代わりに、ユーザーインターフェースは、ユーザーおよび／または乗員のスマートフォン、タブレット、またはパーソナルコンピューターのディスプレイに提示されることがある。ユーザーインターフェースコンポーネント３３０は、車両３０２の種々の構成要素および／またはセンサーからデータを受信し、データを用いて、環境を横切って進んでいる車両３０２のデジタル表現を生成することがある。たとえば、ユーザーインターフェースコンポーネント３３３０は、パーセプションシステム３２２からのデータおよび／または種々のセンサーシステム３０６からの生データを受信し、データを用いて、環境に配置されている他の車両、歩行者、自転車、構造物、および同類のもののデジタル表現を生成することがある。
【0053】
場合によっては、本明細書に述べられメモリーに格納されるコンポーネントのいくつかまたはすべての様相は、どんなモデル、アルゴリズム、および／または機械学習アルゴリズムでも含むことが可能である。例えば、場合によっては、たとえば、パーセプションシステム３２２、プランニングコンポーネント３２４、監視コンポーネント３３０、およびフィルタリングコンポーネント３３６などのメモリー３１８（および以下にさらに詳細に述べられるメモリー３４４）におけるコンポーネントは、ニューラルネットワークとして実装されることが可能である。
【0054】
本明細書に説明されるように、典型的なニューラルネットワークは、一連の連結された層を通じて入力データを通して出力を生成する生物学的にインスパイアされたアルゴリズムである。さらに、ニューラルネットワークにおける各層は、別のニューラルネットワークを含むことも可能である、またはあらゆる数の層を（畳み込みかどうかにかかわらず）含むことも可能である。本開示という状況において理解されることが可能であるように、ニューラルネットワークは、出力が学習パラメーターに基づいて生成される上記のアルゴリズムの幅広いクラスを参照することが可能である機械学習を利用することが可能である。
ニューラルネットワークという状況にて述べられるが、どんな種類の機械学習でも、本開示と矛盾することなく用いられることが可能である。例えば、限定されないが、機械学習アルゴリズムは、回帰アルゴリズム（例えば、通常の最小二乗回帰（ＯＬＳＲ）、線形回帰、ロジスティック回帰、ステップワイズ回帰、多変量適応型回帰スプライン（ＭＡＲＳ）、局所推定スキャッタープロット平滑化法（ＬＯＥＳＳ））、インスタンスベースのアルゴリズム（例えば、リッジ回帰、最小絶対収縮および選択演算子（ＬＡＳＳＯ）、弾性ネット、最小角度回帰（ＬＡＲＳ））、ディシジョンツリーアルゴリズム（例えば、分類および回帰ツリー（ＣＡＲＴ）、反復二分法３（ＩＤ３）、カイ二乗自動相互作用検出（ＣＨＡＩＤ）、決定断端、条件付きディシジョンツリー）、ベイジアンアルゴリズム（例えば、ナイーブベイズ、ガウスナイーブベイズ、多項式ナイーブベイズ、アベレージワンディペンデンスエスティメータズ（ＡＯＤＥ）、ベイジアンビリーフネットワーク（ＢＮＮ）、ベイジアンネットワーク）、クラスタリングアルゴリズム（例えば、ｋ平均法、ｋメジアン、期待値最大化（ＥＭ）、階層クラスタリング）、相関ルール学習アルゴリズム（例えば、パーセプトロン、逆伝搬、ホップフィールドネットワーク、動径基底関数ネットワーク（ＲＢＦＮ））、深層学習アルゴリズム（例えば、ディープボルツマンマシン（ＤＢＭ）、ディープビリーフネットワーク（ＤＢＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、スタックドオートエンコーダ）、次元縮退アルゴリズム（例えば、主成分分析（ＰＣＡ）、主成分回帰（ＰＣＲ）、部分的最小二乗回帰（ＰＬＳＲ）、サモンマッピング、多次元尺度構成法（ＭＤＳ）、プロジェクション追跡、線形判別分析（ＬＤＡ）、混合判別分析（ＭＤＡ）、二次判別分析（ＱＤＡ）、柔軟判別分析（ＦＤＡ））、アンサンブルアルゴリズム（例えば、ブースティング、ブートストラップアグリゲーション（バギング）、アダブースト、スタックドジェネラリゼーション（ブレンディング）、勾配ブースティングマシン（ＧＢＭ）、勾配ブースト回帰ツリー（ＧＢＲＴ）、ランダムフォレスト）、ＳＶＭ（サポートベクターマシン）、教師あり学習、教師なし学習、準教師あり学習等を含むことがある。アーキテクチャの追加の例は、たとえば、ＲｅｓＮｅｔ５０、ＲｅｓＮｅｔ１０１、ＶＧＧ、ＤｅｎｓｅＮｅｔ、ＰｏｉｎｔＮｅｔ、および同類のものなどのニューラルネットワークを含む。
ニューラルネットワークという状況にて述べられるが、どんな種類の機械学習でも、本開示と矛盾することなく用いられることが可能である。例えば、限定されないが、機械学習アルゴリズムは、回帰アルゴリズム（例えば、通常の最小二乗回帰（ＯＬＳＲ）、線形回帰、ロジスティック回帰、ステップワイズ回帰、多変量適応型回帰スプライン（ＭＡＲＳ）、局所推定スキャッタープロット平滑化法（ＬＯＥＳＳ））、インスタンスベースのアルゴリズム（例えば、リッジ回帰、最小絶対収縮および選択演算子（ＬＡＳＳＯ）、弾性ネット、最小角度回帰（ＬＡＲＳ））、ディシジョンツリーアルゴリズム（例えば、分類および回帰ツリー（ＣＡＲＴ）、反復二分法３（ＩＤ３）、カイ二乗自動相互作用検出（ＣＨＡＩＤ）、決定断端、条件付きディシジョンツリー）、ベイジアンアルゴリズム（例えば、ナイーブベイズ、ガウスナイーブベイズ、多項式ナイーブベイズ、アベレージワンディペンデンスエスティメータズ（ＡＯＤＥ）、ベイジアンビリーフネットワーク（ＢＮＮ）、ベイジアンネットワーク）、クラスタリングアルゴリズム（例えば、ｋ平均法、ｋメジアン、期待値最大化（ＥＭ）、階層クラスタリング）、相関ルール学習アルゴリズム（例えば、パーセプトロン、逆伝搬、ホップフィールドネットワーク、動径基底関数ネットワーク（ＲＢＦＮ））、深層学習アルゴリズム（例えば、ディープボルツマンマシン（ＤＢＭ）、ディープビリーフネットワーク（ＤＢＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、スタックドオートエンコーダ）、次元縮退アルゴリズム（例えば、主成分分析（ＰＣＡ）、主成分回帰（ＰＣＲ）、部分的最小二乗回帰（ＰＬＳＲ）、サモンマッピング、多次元尺度構成法（ＭＤＳ）、プロジェクション追跡、線形判別分析（ＬＤＡ）、混合判別分析（ＭＤＡ）、二次判別分析（ＱＤＡ）、柔軟判別分析（ＦＤＡ））、アンサンブルアルゴリズム（例えば、ブースティング、ブートストラップアグリゲーション（バギング）、アダブースト、スタックドジェネラリゼーション（ブレンディング）、勾配ブースティングマシン（ＧＢＭ）、勾配ブースト回帰ツリー（ＧＢＲＴ）、ランダムフォレスト）、ＳＶＭ（サポートベクターマシン）、教師あり学習、教師なし学習、準教師あり学習等を含むことがある。アーキテクチャの追加の例は、たとえば、ＲｅｓＮｅｔ５０、ＲｅｓＮｅｔ１０１、ＶＧＧ、ＤｅｎｓｅＮｅｔ、ＰｏｉｎｔＮｅｔ、および同類のものなどのニューラルネットワークを含む。
【0055】
少なくとも１つの例では、センサーシステム（複数可）３０６は、ライダーセンサー、レーダーセンサー、超音波トランスデューサー、ソナーセンサー、ロケーションセンサー（例えば、ＧＰＳ、方位磁針等）、慣性センサー（例えば、慣性測定ユニット（ＩＭＵ）、加速度計、磁力計、ジャイロスコープ等）、画像センサー（例えば、カメラ、ＲＧＢ、ＩＲ、強度、深度等）、オーディオセンサー（例えばマイク）、ホイールエンコーダー、環境センサー（例えば、温度センサー、湿度センサー、光センサー、圧力センサー等）、温度センサー（例えば車両コンポーネントの温度を測定するための）等を含むことが可能である。センサーシステム（複数可）３０６は、今述べたまたは他の種類のセンサーの各々に関する複数のインスタンスを含むことが可能である。たとえば、ライダーセンサーは、車両３０２の角、前面、後面、側面、および／または上面に位置される個々のライダーセンサーを含むことが可能である。別の例として、画像センサーは、車両３０２の外部および／または内部のあちこちに、種々のロケーションに配置された複数の画像センサーを含むことが可能である。さらに付け加えられた例として、オーディオセンサーは、車両３０２の外部および／または内部のあちこちに、種々のロケーションに配置された複数のオーディオセンサーを含むことが可能である。さらに加えて、オーディオセンサーは、オーディオデータの指向性を決定するための複数のオーディオセンサーのアレイを含むことが可能である。センサーシステム（複数可）３０６は、入力を、車両コンピューティングデバイス３０４に提供することが可能である。さらに加えて、または代わりに、センサーシステム（複数可）３０６は、１つまたは複数のネットワーク１５８を介して、センサーデータを、特有の周波数において、予め決められた一定の時間が経つと、ほぼリアルタイムにおいて等、１つまたは複数のコンピューティングデバイス（複数可）３４０に送ることが可能である。
【0056】
さらに、車両３０２は、光および／または音を発するための１つまたは複数のエミッター３０８を含むことも可能である。今述べた例におけるエミッター３０８は、車両３０２の乗客と通信する内部のオーディオおよびビジュアルのエミッターを含む。一例として、内部のエミッターは、スピーカー、ライト、サイン、ディスプレイ画面、タッチ画面、触覚に関するエミッター（例えば、振動および／またはフォースフィードバック）、メカニカルアクチュエーター（例えば、シートベルトテンショナー、シートポジショナー、ヘッドレストポジショナー等）、および同類のものを含むことが可能である。さらに、今述べた例におけるエミッター３０８は、外部のエミッターも含む。一例として、今述べた例における外部のエミッターは、進む方向、または車両の作動に関する他のインディケーション（例えば、インジケーターライト、サイン、ライトアレイ等）を合図するライト、および歩行者または他の近くの車と聞こえるように通信する１つまたは複数のオーディオエミッター（例えば、スピーカー、スピーカーアレイ、ホーン等）、アコースティックビームステアリング技術を含んでいる１つまたは複数を含む。
【0057】
さらに、車両３０２は、車両３０２と、１つまたは複数の他のローカルまたはリモートのコンピューティングデバイス（複数可）との間の通信を可能にする１つまたは複数の通信接続（複数可）３１０を含むこともある。たとえば、通信接続（複数可）３１０は、車両３０２上の他のローカルコンピューティングデバイス（複数可）との、および／またはドライブアセンブリ（複数可）３１４との通信を容易にすることがある。さらに、通信接続（複数可）３１０は、車両３０２に、他の近くのコンピュータデバイス（複数可）（例えば、他の近くの車両、交通信号機等）と通信できるようにすることも可能である。さらに、通信接続（複数可）３１０は、車両３０２がリモート遠隔操作システム１４８または他のリモートサービスと通信することを可能にする。
【0058】
通信接続（複数可）３１０は、車両コンピューティングデバイス（複数可）３０４を、別のコンピューティングデバイス（例えばコンピューティングデバイス（複数可）３４０）に、および／またはネットワークたとえばネットワーク（複数可）１５８などに接続するための物理および／または論理インターフェースを含むことが可能である。例えば、通信接続（複数可）３１０は、たとえば、ＩＥＥＥ７０２．１１規格によって定義された周波数、たとえばＢｌｕｅｔｏｏｔｈ（登録商標）などのショートレンジのワイヤレス周波数、セルラー通信（例えば、２Ｇ、３Ｇ、４Ｇ、４Ｇ ＬＴＥ、５Ｇ等）、またはそれぞれのコンピューティングデバイスが他のコンピューティングデバイス（複数可）とインターフェースをとることを可能にするどんな適切なワイヤードもしくはワイヤレスの通信プロトコルでも介してなど、Ｗｉ－Ｆｉベースの通信を可能にすることが可能である。
【0059】
少なくとも１つの例では、車両３０２の直接接続３１２は、１つまたは複数のドライブアセンブリ（複数可）３１４を車両３０２の車体と結合させる物理的なインターフェースを提供することが可能である。例えば、直接接続３１２は、ドライブアセンブリ（複数可）３１４と車両３０２との間のエネルギー、流体、空気、データ等の伝達ができるようにすることが可能である。場合によっては、さらに、直接接続３１２は、車両３０２の車体にドライブアセンブリ（複数可）３１４を解放可能にしっかり固定することが可能である。
【0060】
少なくとも１つの例では、車両３０２は、１つまたは複数のドライブアセンブリ３１４を含むことが可能である。いくつかの例では、車両３０２は、単一のドライブアセンブリ３１４を有することが可能である。少なくとも１つの例では、車両３０２が複数のドライブアセンブリ３１４を有するならば、個々のドライブアセンブリ３１４は、車両３０２の向き合う端部（例えば、先頭の端部および後尾の端部、前方および後方等）に置かれることが可能である。
【0061】
ドライブアセンブリ（複数可）３１４は、高電圧バッテリー、車両を推進するモーター、他の車両システムによる使用のためにバッテリーからの直流を交流に変換するインバーター、（電気で動くことが可能である）ステアリングモーターおよびステアリングラックを含むステアリングシステム、油圧または電気アクチュエーターを含むブレーキングシステム、油圧および／または空気圧コンポーネントを含むサスペンションシステム、けん引のロスを軽減し制御を維持するブレーキ力を分配するための安定性制御システム、ＨＶＡＣシステム、ライティング（例えば、車両の外部の周囲を照らすヘッド／テールライトなどのライティング）、および１つまたは複数の他のシステム（例えば、冷却システム、安全性システム、オンボード充電システム、たとえば、ＤＣ／ＤＣコンバーター、高電圧ジャンクション、高電圧ケーブル、充電システム、充電ポート等の他の電気コンポーネント）を含む、多くの車両システムおよび／またはコンポーネントを含むことが可能である。さらに加えて、ドライブアセンブリ（複数可）３１４は、センサーシステム（複数可）からのデータを受信し前処理することが可能であり、種々の車両システムの動作を制御するためのドライブアセンブリコントローラーを含むことが可能である。いくつかの例では、ドライブアセンブリコントローラーは、１つまたは複数のプロセッサーと、１つまたは複数のプロセッサーに通信接続されたメモリーとを含むことが可能である。メモリーは、ドライブアセンブリ（複数可）３１４の種々の機能性を行う１つまたは複数のシステムを格納することが可能である。その上さらに、ドライブアセンブリ（複数可）３１４は、それぞれのドライブアセンブリによって、１つまたは複数の他のローカルまたはリモートのコンピューティングデバイス（複数可）との通信を可能にする１つまたは複数の通信接続（複数可）を含むこともある。
【0062】
コンピューティングデバイス（複数可）３４０は、１つまたは複数のプロセッサー３４２と、１つまたは複数のプロセッサー３４２に通信接続されたメモリー３４４とを含むことが可能である。メモリー３４４は、ユーザーインターフェースコンポーネント３４６、乗り手履歴コンポーネント３４８、およびログデータ３５０を格納することがある。いくつかの例では、コンピューティングデバイス（複数可）３４０は、図１および図２に説明される遠隔操作システム１４８と関連付けられることがある。たとえば、コンピューティングデバイス（複数可）３４０は、遠隔操作システム１４８の遠隔操作インターフェース１５４のディスプレイ１５６を表すことがある。さらに加えて、または代わりに、コンピューティングデバイス（複数可）３４０は、遠隔操作システム１４８によってレバレッジされて、遠隔操作システム１４８に代わってデータを受信するおよび／または処理することがある。
【0063】
ユーザーインターフェースコンポーネント３４６は、車両３０２に関連付けられたユーザーインターフェースを生成することがある。ユーザーインターフェースは、テレオペレーターが車両３０２を遠くから監視することがあるように、テレオペレーターに関連付けられたデバイスに提示されることがある。たとえば、車両３０２が、第１の地理的なロケーション（例えば、サンノゼ）にて動作していることがある一方、リモートテレオペレーター（remote teleoperator）は、第２の地理的なロケーション（例えば、ロサンゼルス）から車両３０２を監視していることがある。ユーザーインターフェースコンポーネント３４６は、ネットワーク１５８を介して、車両３０２の種々の構成要素および／またはセンサーからデータを受信し、データを用いて、環境を横切って進んでいる車両３０２のデジタル表現を生成することがある。たとえば、ユーザーインターフェースコンポーネント３４６は、パーセプションシステム３２２からのデータおよび／または種々のセンサーシステム３０６からの生データを受信し、データを用いて、環境に配置されている他の車両、歩行者、自転車、構造物、および同類のもののデジタル表現を生成することがある。
【0064】
乗り手履歴コンポーネント３４８は、たとえば乗員１６０などの車両３０２の乗り手（例えば、現在およびまたは以前の車両の乗員）に関連付けられた種々のデータを格納することがある。いくつかの例では、乗り手履歴コンポーネント３４８は、各乗り手に関連付けられた統計３５２、各乗り手に関連付けられたチャット履歴３５４、および／または各乗り手に関連付けられた連絡情報３５６を格納する。乗り手統計３５２は、たとえば、乗り手に関連付けられた評価（rating）、乗り手に関連付けられたトリップ（trip）頻度、乗り手が進んだマイルの総数、乗り手が費やしたドル額、および同類のものを含むことがある。いくつかの例では、チャット履歴コンポーネント３５４は、乗り手とテレオペレーターとの間のすべての通信の履歴を格納することがある。たとえば、ユーザーインターフェースを用いて、テレオペレーターは、以下にさらに詳細に述べられるように、乗り手と通信することがある。今述べた通信の内容は、チャット履歴コンポーネント３５４によってロギングされることがある。さらに加えて、各乗り手に対する連絡情報３５６は、将来の使用のために格納されることがある。乗り手の連絡情報３５６は、いくつかの例では、乗り手のデバイス（例えば、携帯電話）に関連付けられた電話番号、乗り手に関連付けられた電子メールアドレス、乗り手に関連付けられたアカウント、および同類のものを含むことがある。
【0065】
いくつかの例では、メモリー３４４は、ログデータ３５０を含むことがある。ログデータ３５０は、ユーザーインターフェースを用いてテレオペレーターにより作成された１つまたは複数のノートを格納することがある。たとえば、異常が車両３０２に生じるならば、テレオペレーターは、将来の参照および／または診断のために、異常についてのノートをとることを望むことがある。したがって、ログデータ３５０には、テレオペレーターにより作成される上記ノートを格納することがある。
【0066】
車両３０２のプロセッサー（複数可）３１６およびコンピューティングデバイス（複数可）３４０のプロセッサー（複数可）３４２は、本明細書に説明されるように、データを処理し、動作を行う命令を実行する性能があるどんな適切なプロセッサーでもあることが可能である。一例としておよび限定ではない、プロセッサー（複数可）３１６および３４２は、１つまたは複数のＣＰＵ（中央処理装置）、ＧＰＵ（Graphics Processing Unit）、または電子データを処理して、その電子データを、レジスターおよび／もしくはメモリーに格納されることが可能である他の電子データに変換するどんな他のデバイスもしくはデバイスの部分でも含むことが可能である。いくつかの例では、さらに、集積回路（例えば、ＡＳＩＣ等）、ゲートアレイ（例えば、ＦＰＧＡ等）、および他のハードウェアデバイスは、エンコードされた命令を実装するように構成される限り、考慮されるプロセッサーであることもできる。
【0067】
メモリー３１８、３４４は、非一時的なコンピューター読取り可能媒体の例である。メモリー３１８、３４４は、本明細書に説明される方法と、種々のシステムに帰する機能とを実装するためのオペレーティングシステムおよび１つまたは複数のソフトウェアアプリケーション、命令、プログラム、および／またはデータを格納することが可能である。種々の実装において、メモリーは、どんな適切なメモリー技術でも、たとえば、ＳＲＡＭ（スタティックＲＡＭ）、ＳＤＲＡＭ（シンクロナスＤＲＡＭ）、不揮発性／フラッシュ型メモリー、または情報を格納する性能があるどんな他の種類のメモリーでも用いて、実装されることが可能である。本明細書に説明されるアーキテクチャ、システム、および個々の要素は、多くの他の論理的な、プログラム的な、および物理的なコンポーネントを含むことが可能であり、添付の図面に示されるそれらは、本明細書の説明に関係する単なる例である。
【0068】
理解されることが可能であるように、本明細書に述べられる構成要素は、例示の目的のために区分されているとして説明される。しかしながら、種々の構成要素によって行われる動作は、どんな他の構成要素にでも組み合わされるまたは行われることが可能である。図３が分散システムとして例示される一方、代替の例において、車両３０２の構成要素は、コンピューティングデバイス（複数可）３４０と関連付けられることが可能であり、および／またはコンピューティングデバイス（複数可）３４０の構成要素は、車両３０２と関連付けられることが可能であることは、特筆されるべきである。すなわち、車両３０２は、コンピューティングデバイス（複数可）３４０に関連付けられた機能のうちの１つまたは複数を行い、逆もまた同様であることが可能である。
【0069】
例示的なユーザーインターフェース技術
図４は、環境を横切って進んでいる車両１０２を遠くから監視するための例示的なユーザーインターフェース（ＵＩ）４００を例示する。いくつかの例では、ユーザーインターフェース４００は、たとえば遠隔操作システム１４８の１つまたは複数のディスプレイ１５６などのディスプレイに提示されることがある。示されている、ユーザーインターフェース４００は、環境を横切って進んでいる車両１０２のデジタル表現を、場合によっては車両１０２の軌道に関連付けられるドライビングコリドー１３８も同様に、含むことがある。
図４は、環境を横切って進んでいる車両１０２を遠くから監視するための例示的なユーザーインターフェース（ＵＩ）４００を例示する。いくつかの例では、ユーザーインターフェース４００は、たとえば遠隔操作システム１４８の１つまたは複数のディスプレイ１５６などのディスプレイに提示されることがある。示されている、ユーザーインターフェース４００は、環境を横切って進んでいる車両１０２のデジタル表現を、場合によっては車両１０２の軌道に関連付けられるドライビングコリドー１３８も同様に、含むことがある。
【0070】
いくつかの例では、ユーザーインターフェース４００は、環境内に配置されている物体のデジタル表現を含むことがある。物体の各々は、たとえば、車両エージェント４０２、自転車に乗る人のエージェント４０４、および歩行者エージェント４０６など、異なる種類のエージェントを表すことがある。たとえば、検出された物体の種類が環境内にある別の車両であるならば、ユーザーインターフェース４００は、物体を車両エージェント４０２として表すことがある。同様に、検出された物体の種類が自転車に乗る人または歩行者であるならば、ユーザーインターフェース４００は、それぞれ、物体を自転車に乗る人のエージェント４０４または歩行者エージェント４０６として表すことがある。いくつかの例では、異なる物体は、エージェントの種類によって決まる、異なる形状、サイズ、色等を含むことがある。たとえば、車両エージェント４０２は、第１の色（例えば、青色）により表されることがあり、自転車に乗る人のエージェント４０４は、第２の色（例えば、紫色）により表されることがあり、歩行者エージェントは、第３の色（例えば、桃色）により表されることがある。別の例として、セダンは、セダンのボディスタイルに関連付けられた握りこぶしサイズおよび／または形状である第１の車両エージェント４０２によって表されることがあり、ＳＵＶ（sport utility vehicle）は、ＳＵＶのボディスタイルに関連付けられた第２のサイズおよび／または形状である第２の車両エージェント４０２によって表されることがあり、ピックアップトラックは、ピックアップタックのボディスタイルに関連付けられた第３のサイズおよび／または形状である第３の車両エージェント４０２によって表されることがあり、セミトレーラトラックは、セミトレーラトラックのボディスタイルに関連付けられた第４のサイズおよび／または形状である第４の車両エージェント４０２によって表されることがある。さらに、簡単のため３次元（３Ｄ）の長方形ブロック、３Ｄの台形ブロック、および３Ｄの円柱として図４に例示されるが、他の形状および／またはデザインが、車両エージェント４０２、自転車に乗る人のエージェント４０４、および歩行者エージェント４０６を表すために想定されることは理解されることになる。たとえば、検出された物体がセダン型の車両からなるならば、物体を表す車両エージェント４０２は、セダン型の車両のかたちであり得る。
【0071】
いくつかの例では、ユーザーインターフェース４００は、ディスプレイの異なる部分に提示される複数のインターフェースリージョン（interface region）を含むことがある。たとえば、インターフェースリージョンは、通信インターフェース４０８、車両制御インターフェース４１２、車両状態インターフェース４１４、および３６０度インターフェース４１６のうちの１つまたは複数を含むことがある。場合によっては、ユーザーインターフェース４００は、図４に示されるよりも多くのインターフェースリージョンを含むことがあり、他の例では、ユーザーインターフェース４００は、示されるよりも少ないインターフェースリージョンを含むことがある。
【0072】
ユーザーインターフェース４００の通信インターフェース４０８は、１名または複数名の人とのリモートテレオペレーター通信を提供するように構成されることがある。たとえば、通信インターフェース４０８は、テレオペレーターが、車両１０２の１名または複数名の乗員（例えば、車両１０２の乗客および／またはオペレーター）、車両１０２に最も近い歩行者（例えば、歩行者エージェント４０６および／または自転車に乗る人のエージェント４０４）、他の車両（例えば、車両エージェント４０２）、他のテレオペレーター、第三者（例えば、第一応答者）、および同類のものと通信するのに用いることがある１または複数のチャットインターフェース４１０を含むことがある。さらに加えて、いくつかの例では、通信インターフェース４０８は、たとえば、「interior（内部）」、「exterior（外部）」、「listen（聞く）」、「speak（話す）」、「voice（音声）」、「rider（乗り手）」、「ops（オプス）」、および「note（ノート）」入力要素など、１つまたは複数の入力要素を含むことがある。さらに付け加えて、通信インターフェース４０８は、テレオペレーターが、テキストメッセージを入力することを可能にする、および／または音声メッセージを記録することを可能にするテキストフィールドおよび／または音声メッセージフィールドを含むことがある。
【0073】
いくつかの例では、音声、乗り手、オプス（ops）、およびノートの入力要素の各々は、異なる機能性に、および／または異なるチャットインターフェース４１０を開くことに関連付けられることがある。たとえば、音声入力要素は、音声および／またはオーディオメッセージを送ることと関連付けられることがある。図４に関して、音声入力素子が選択されているとして示される。いくつかの例では、音声入力要素が選択されると、チャットインターフェース４１０は、図４に示されるのと同様の外観を含むことがある。言い換えると、外部、音声入力要素が選択されるならば、内部、外部、聞く、および話す入力要素が、通信インターフェース４０８のチャットインターフェース４１０内に表示されることがある。いくつかの例では、内部入力要素は、車両１０２の内部の乗員が、音声および／またはオーディオメッセージが聞こえることがあるように、音声および／または音声メッセージに、車両１０２の内部に出力させることにならせることがある。対照的に、外部入力要素は、車両に最も近い歩行者が、音声および／またはオーディオメッセージが聞こえることがあるように、音声および／またはオーディオメッセージに、車両１０２の外部に出力させることにならせることがある。いくつかの例では、聞く入力要素は、テレオペレーターに、車両の、内部、我々の外側、外部を立ち聞きできるようにする。たとえば、聞く入力要素は、車両１０２の１つまたは複数のマイクが、テレオペレーターにより用いられることになることを可能にすることがある。いくつかの例では、話す入力要素は、テレオペレーターに、音声メッセージを記録する必要がなく、車両の乗員または車両に最も近い歩行者と話すこと（例えば、双方向通信）ができるようにする。
【0074】
いくつかの例では、乗り手入力要素は、車両の乗員へのテキストメッセージの送ることと関連付けられることがある。音声入力要素と同様に、乗り手入力要素は、図４に示されていない１つまたは複数の追加の入力要素を含むそれぞれのチャットインターフェース４１０の外観と関連付けられることがある。いくつかの例では、オプス入力要素（ops input element）は、車両１０２の他のテレオペレーターおよび／またはオペレーターと通信することと関連付けられることがある一方、ノート入力要素は、ノートをとることと関連付けられることがある。今述べた入力要素の各々は、例では、図４に示されていない追加の入力要素を含むそれぞれのチャットインターフェース４１０の外観と関連付けられることがある。種々のチャットインターフェース４１０および入力要素を含む通信インターフェース４０８に関するさらなる詳細を、以下にさらに詳細に述べる。いくつかの例では、通信インターフェース４０８は、新しいメッセージインジケータ４１８を提示することがある。新しいメッセージインジケータ４１８は、現在開かれていないチャットインターフェース内に、新しいメッセージが受信されたことをテレオペレーターに通知するために用いられることがある。たとえば、図４における新しいメッセージインジケータ４１８において、４つの新しい未読メッセージがオプスチャネルチャットインターフェース（ops channel chat interface）内に受信されたことを示すことがある。
【0075】
上述のように、さらに加えて、ユーザーインターフェース４００は、車両制御インターフェース４１２を含むことがある。車両制御インターフェース４１２は、テレオペレーターが、車両１０２の１つまたは複数の構成要素および／または機能（例えば、ドア、窓、ライト、シェード、シート、ステレオ（例えば、音楽）、ディスプレイ画面（例えば、映画および／またはビデオを再生する、ユーザーインターフェースを表示する等）、クライメイトコントロール（climate control）等）を制御することを可能にするように構成されることがある。示されている、いくつかの例では、車両制御インターフェース４１２は、車両１０２の１つまたは複数の構成要素を制御または調整するための１つまたは複数の入力要素を含むことがある。たとえば、「door（ドア）」入力要素は、テレオペレーターに、車両１０２のドアを開けるおよび／または閉めることができるようにすることがある。「temp（温度）」入力要素は、テレオペレーターに、車両１０２の温度を調節する（例えば、エアコンまたはヒーターをオンにする）ことができるようにすることがある。いくつかの例では、「shade（シェード）」入力要素は、テレオペレーターに、車両のサンシェードを下げるおよび／または上げることができるようにすることがあり、「music（音楽）」入力要素は、テレオペレーターに、車両１０２によって出力される音楽を遠くから制御できるようにすることがある。さらに加えて、「light（ライト）」入力要素は、テレオペレーターに、たとえば内部および／または外部のライトなど、車両１０２のライトを制御できるようにすることがある。車両制御インターフェース４１２は、図４に示されているよりも多くの入力要素、または示されているよりも少ない入力要素を含む、あらゆる数の入力要素を含むことがある。
【0076】
場合によっては、車両制御インターフェース４１２の各々それぞれの入力要素は、車両の構成要素を制御するために、１つまたは複数の追加の入力要素と関連付けられることがある。たとえば、車両制御インターフェース４１２の特定の入力要素が選択されると、構成要素を制御するために追加の入力要素が表示されることがある。一例として、テレオペレーターがドア入力要素を選択するならば、たとえば、ドアを閉める入力要素、ドアを開ける入力要素も同様に、など、追加の入力要素が表示されることがある。車両制御インターフェース４１２の今述べた機能性および追加の機能性を、以下にさらに詳細に述べる。
【0077】
さらに加えて、ユーザーインターフェース４００は、種々の例において、車両状態インターフェース４１４を含むことがある。車両状態インターフェース４１４は、車両１０２に関連付けられた情報をユーザーに提供するように構成されることがある。いくつかの例では、情報は、車両１０２の現在の速さ、車両１０２の進行方向（例えば、軌道）、車両１０２の現在のルートに関連付けられた交通記号（例えば、車両が停止標識にあるかどうか、現在のルートに関連付けられた制限速度標識等）、および同類のもののうちの１つまたは複数を含むことがある。車両状態インターフェース４１４に関連付けられた追加の詳細を、本開示において後に述べる。
【0078】
いくつかの例では、ユーザーインターフェース４００は、３６０度インターフェース４１６を含むことがある。少なくとも１つの例では、３６０度インターフェース４１６は、車両１０２の１つまたは複数のカメラの３６０度カメラフィードを含むことがある。さらに加えて、または代わりに、３６０度インターフェース４１６は、車両１０２の外部の視点からの、環境内の１つまたは複数の物体を含む環境のデジタル表現を含むことがある。たとえば、車両１０２は、車両１０２の種々のロケーション（例えば、車両１０２の第１の側面、第２の側面、第３の側面、および第４の側面）に位置される１つまたは複数のセンサーを含み、３６０度インターフェース４１６のビューのパースペクティブは、１つまたは複数のセンサーのロケーションに対応することがある。
【0079】
図５Ａおよび図５Ｂは、ひとまとめにして、車両１０２を遠くから監視するための例示的なユーザーインターフェース５００を示す図である。例示的なユーザーインターフェース５００は、第１のインターフェースリージョン５０２および第２のインターフェースリージョン５０４を含む、１つまたは複数の例示的なインターフェースリージョンを含む。例示的な第１のインターフェースリージョン５０２および第２のインターフェースリージョン５０４は、１名または複数名の人に関連付けられた情報を含むことがある。１名または複数名の人は、いくつかの例では、車両１０２の乗員１６０、車両１０２に最も近い歩行者等を含むことがある。
【0080】
示されている、例示的なユーザーインターフェース５００の通信インターフェース４０８は、選択されている乗り手入力要素に関連付けられた例示的なチャットインターフェース４１０を含む。いくつかの例では、乗り手入力要素が選択されると、チャットインターフェース４１０は、たとえば、メッセージを入力するためのテキストフィールド５０８、および乗り手選択入力５１０など、図５Ａおよび図５Ｂに示される１つまたは複数の入力要素を含むことがある。種々の例では、各々それぞれの乗り手選択入力５１０は、それぞれの人（例えば、車両の乗員、歩行者等）と関連付けられることがある。たとえば、示されている「rider 1（乗り手１）」入力要素を選択することにより、テレオペレーターは、車両に関連付けられた第１の人と（例えば、第１の人に関連付けられたモバイルデバイスを介して）通信することができることがある。さらに加えて、いくつかの例では、チャットインターフェース４１０は、テレオペレーターと本人との間の対話５１２を含むように拡張されることがある。たとえば、メッセージが人に送られる、および／または人から受信されると、対話５１２は、メッセージを含むように更新されることがある。いくつかの例では、それぞれの乗り手選択入力５１０は、車両の現在の乗員１６０と関連付けられることがある、または、代わりに、車両１０２の以前の乗員（例えば、ドロップオフされた人）および／または車両１０２の将来の乗員（例えば、ほぼピックアップされることになる人）と関連付けられることがある。
【0081】
いくつかの例では、第１のインターフェース５０２は、１名または複数名の人に関連付けられた第１の情報を表示することがある。場合によっては、第１のインターフェース５０２は、第１のプロファイル５０６Ａ、第２のプロファイル５０６Ｂ、第３のプロファイル５０６Ｃ、および／または第４のプロファイル５０６Ｎ（本明細書において以後、ひとまとめにして「プロファイル５０６」と呼び、ただし、Ｎは１よりも大きいいずれかの数を表す）を含むことがある。プロファイル５０６の各々それぞれのプロファイルは、人に関連付けられた第１の情報を含むことがある。いくつかの例では、第１の情報は、人の写真、人の身元、人の評価（rating）、人に関連付けられたソーシャルメディア情報、人に関連付けられたピックアップロケーション、人に関連付けられたドロップオフロケーション、人をピックアップすることまたは人をドロップオフすることのうちの少なくとも１つに関連付けられたＥＴＡ（estimated time of arrival）、および同類のものを含むことがある。
【0082】
場合によっては、プロファイル５０６は、テレオペレーターによって個々に選択可能であり得る。選択されると、プロファイルに対応する人に関連付けられている追加の情報が、第２のインターフェースリージョン５０４内に表示されることがある。たとえば、図５Ａおよび図５Ｂにおいて、「rider 1（乗り手１）」に関連付けられているプロファイル５０６Ａが選択され、乗り手１に関連付けられた追加の情報が第２インターフェースリージョン５０４内に表示される。
【0083】
例示的なユーザーインターフェース５００の例示的な第２のインターフェース５０４は、たとえば、人との音声通話を促進にする「call（通話）」入力、人に関連付けられた統計を表示する「statistics（統計）」入力、人との通信履歴を表示する「message log（メッセージログ）」入力などの追加の入力要素を含むことがある。図５Ａに示されている、例示的な第２のインターフェース５０４の統計入力が選択され、乗り手１に関連付けられた例示的な統計が示される。例示的な統計のうちのいくつかは、満足度の百分率、トリップ（trip）の総数、個人のトリップの百分率、共同利用（例えば、公共）のトリップの百分率、キャンセルの数、および以前の問題の数を含む。示される追加の例示的な統計は、お気に入りの音楽の局および／またはジャンル、お気に入りのムードの設定、温度の好み、確保平均チャート、および以前のピックアップおよびドロップオフのロケーションを含む乗車履歴を含むことがある。今述べた例示的な統計が図５Ａに示されるが、他の統計が表示されることがあることは想定される。
【0084】
図５Ｂでは、ユーザーインターフェース５００の例示的な第２インターフェース５０４のメッセージログ入力が選択される。いくつかの例では、メッセージログ入力が選択されると、例示的な第２のインターフェース５０４は、その人に関連付けられた対話履歴を表示することがある。図５Ｂでは、乗り手１に関連付けられているプロファイル５０６Ａが選択されているので、テレオペレーターと乗り手１との対話履歴が示されている。
【0085】
図６Ａ～６Ｊは、ユーザーインターフェースの例示的な通信インターフェース４０８の種々の例示的なレイアウトを示す図である。図６Ａを参照して、例示的な通信インターフェース４０８は、チャットインターフェース４１０を含む。いくつかの例では、チャットインターフェース４１０は、たとえば、テキスト入力フィールド５０８、新規メッセージインジケータ４１８、および１つまたは複数のチャットインターフェース選択入力６０２など、１つまたは複数の入力および／または出力要素を含むことがある。新規メッセージインジケータ４１８は、１つまたは複数の新しいメッセージが、異なったチャットインターフェースにおいて、受信されたことを示すことがある。たとえば、図６Ａでは、新規メッセージインジケータ４１８は、「ＲＩＤＥＲ」チャットインターフェースにおいて２つの新しいメッセージが受信されたことを示している。
【0086】
図６Ａに示されている、「ＯＰＥＲＡＴＯＲ」チャットインターフェース選択入力６０２が選択される。いくつかの例では、ＯＰＥＲＡＴＯＲチャットインターフェース選択入力６０２が選択されたことに少なくとも部分的に基づいて、チャットインターフェース４１０は、たとえば、チャネル選択６０４、チャネルメンバー識別子６０６、メンバー追加入力６０８など、１つまたは複数の追加の入力および／または出力要素を提示することがある。チャネル選択６０４は、たとえば複数のテレオペレーター間のグループチャットなど、テレオペレーターが通信しているチャネルを示すことがあり、チャネルメンバー識別子６０６は、そのチャネルを用いてさらに通信しているそれぞれの人を示すことがある。さらに加えて、メンバー追加入力６０８は、たとえば別のテレオペレーターなど、別の人にチャネルに加わるよう要求するテレオペレーターにより用いられることがある。いくつかの例では、ＯＰＥＲＡＴＯＲチャットインターフェース選択入力６０２が選択されたことに少なくとも部分的に基づいて、および「ＣＨＡＮＮＥＬ １」が選択されたことに少なくとも部分的に基づいて、テレオペレーターと種々のチャネルメンバーとの間に送られたメッセージの対話５１２が提示されることがある。さらに加えて、対話５１２の個々のメッセージは、チャネルのどのメンバーがメッセージを送ったかを示す識別子６１０を含むことがある。
【0087】
図６Ｂを参照して、例示的な通信インターフェース４０８は、チャットインターフェース４１０を含む。いくつかの例では、チャットインターフェース４１０は、たとえば、テキスト入力フィールド５０８、新規メッセージインジケータ４１８、および１つまたは複数のチャットインターフェース選択入力６０２など、１つまたは複数の入力および／または出力要素を含むことがある。新規メッセージインジケータ４１８は、１つまたは複数の新しいメッセージが、異なったチャットインターフェースにおいて、受信されたことを示すことがある。たとえば、図６Ｂでは、新規メッセージインジケータ４１８は、「ＯＰＥＲＡＴＯＲ」チャットインターフェースにおいて６つの新しいメッセージが受信されたことを示している。
【0088】
図６Ｂに示されている、「ＲＩＤＥＲ」チャットインターフェース選択入力６０２が選択される。いくつかの例では、ＲＩＤＥＲチャットインターフェース選択入力６０２が選択されたことに少なくとも部分的に基づいて、チャットインターフェース４１０は、たとえば１つまたは複数の乗り手選択入力５１０および乗り手選択インジケータ６１０など、１つまたは複数の追加の入力および／または出力要素を提示することがある。乗り手選択インジケータ６１０は、たとえば、絵、記号、および同類のものなど、選択された乗り手に関連付けられた識別子を含むことがある。さらに加えて、いくつかの例では、選択された乗り手選択入力５１０は、示されている、他の、選択されていない、乗り手選択入力５１０とは異なった色からなることがある。いくつかの例では、ＲＩＤＥＲチャットインターフェース選択入力６０２が選択されたことに少なくとも部分的に基づいて、および「ＲＩＤＥＲ １」が選択されたことに少なくとも部分的に基づいて、ＲＩＤＥＲ １とテレオペレーターの間に送られたメッセージの対話５１２が提示されることがある。
【0089】
図６Ｃに移ると、ＲＩＤＥＲチャットインターフェース選択入力６０２は依然として選択されているが、しかしながら、「ＲＩＤＥＲ ２」が乗り手選択入力５１０から選択され、乗り手選択インジケータ６１０はＲＩＤＥＲ ２が選択されていることを示すように更新された。いくつかの例では、ＲＩＤＥＲチャットインターフェース選択入力６０２が選択されたことに少なくとも部分的に基づいて、およびＲＩＤＥＲ ２が選択されたことに少なくとも部分的に基づいて、ＲＩＤＥＲ ２とテレオペレーターの間に送られたメッセージの対話５１２が提示されることがある。図６Ｃに示されている、メッセージがテレオペレーターによりテキストフィールド５０８に入力され、送信メッセージ入力６１２が選択された。したがって、図６Ｄでは、対話５１２は、テレオペレーターにより送られたメッセージを含むように、メッセージがテレオペレーターにより送られる前に乗り手２から受信された追加のメッセージも同様に含むように、更新される。
【0090】
図６Ｅは、ユーザーインターフェースの通信インターフェース４０８のさらに別の例示的なレイアウトを示す図である。通信インターフェース４０８の例示的なレイアウトは、チャットインターフェース４１０、および１つまたは複数のチャットインターフェース選択入力６０２を含む。図６Ｅに示されている例では、「９１１」チャットインターフェース選択入力６０２が選択され、チャットインターフェース４１０は、通話入力６１４を含むように変えられる。いくつかの例では、通話入力６１４は、選択されると、テレオペレーターと９１１オペレーターとの間の９１１緊急通話を促進するように構成される。図６Ｅにおいて、通話入力６１４が選択された後、チャットインターフェース４１０は、図６Ｆに示されている、たとえば、９１１通話を終了する「ＨＡＮＧ ＵＰ」入力６１６、「ＰＡＴＣＨ」入力６１８、および／または９１１通話の継続時間など、追加の要素を示すように更新されることがある。
【0091】
図６Ｇは、ユーザーインターフェースの通信インターフェース４０８の別の例示的なレイアウトを示す図である。通信インターフェース４０８の例示的なレイアウトは、チャットインターフェース４１０を含む。図６Ｇに示されている例では、「ＶＯＩＣＥ」チャットインターフェース選択入力６０２が選択され、チャットインターフェース４１０は、ＶＯＩＣＥチャットインターフェースに関連付けられた１つまたは複数の追加の入力および／または出力要素を含むように変えられる。たとえば、１つまたは複数の追加の要素は、内部および外部選択（internal and external selection）６２０、リッスン入力（listen input）６２２、放送入力（broadcast input）６２４、およびメッセージ入力フィールド６２６を含むことがある。
【0092】
いくつかの例では、内部および外部選択６２０は、テレオペレーターに、車両内の内部にまたは車両の外部にオーディオメッセージを出力できるようにするよう構成されることがある。図６Ｇでは、内部および外部選択６２０は、車両の外部にオーディオメッセージを出力するよう選択されているが、図６Ｈでは、内部および外部選択６２０は、車両内の内部にオーディオメッセージを出力するよう選択されている。いくつかの例では、リッスン入力６２２は、テレオペレーターにオーディオメッセージを聞くことができるようにするよう構成されることがある。たとえば、車両に関連付けられた人（例えば、乗員、歩行者等）は、テレオペレーターに音声メッセージを送ることがあり、テレオペレーターは、リッスン入力６２２を用いて音声メッセージを聞くことがある。いくつかの例では、放送入力６２４は、テレオペレーターにより用いられて、たとえば、音声メッセージをあらかじめ記録することなく、または聞こえるように出力される性能があるコンピューター化された話し言葉に変換されることになるメッセージをタイプすることなく、車両に関連付けられた人との二方向通信を可能にすることがある。
【0093】
上述したように、さらに、１つまたは複数の追加の要素は、メッセージ入力フィールド６２６を含むこともある。少なくとも１つの例では、メッセージ入力フィールド６２６は、テレオペレーターにより用いられて、送られることになる音声メッセージを記録することがある。さらに加えて、または代わりに、メッセージ入力フィールド６２６は、テレオペレーターにより用いられて、車両によって聞こえるように出力される性能があるコンピューター化された話し言葉に変換されることになるプレーンテキストメッセージをタイプする、または別のやり方により入力することがある。いくつかの例では、音声メッセージがテレオペレーターにより送られると、音声メッセージを表すオーディオ署名６２８が通信インターフェースによって表示されることがある。このようにして、オーディオ署名６２８は、テレオペレーターに、望まれるならば後に音声メッセージを再生できるようにする。
【0094】
図６Ｉは、ユーザーインターフェースの通信インターフェース４０８の別の例示的なレイアウトを示す図である。通信インターフェース４０８の例示的なレイアウトは、チャットインターフェース４１０を含む。図６Ｉに示されている例では、「ＮＯＴＥ」チャットインターフェース選択入力６０２が選択され、チャットインターフェース４１０は、たとえばクイックノート入力６３０など、ＮＯＴＥチャットインターフェースに関連付けられた１つまたは複数の追加の入力および／または出力要素を含むように変えられる。いくつかの例では、クイックノート入力６３０のうちの１つが選択されて、クイックノート入力に関連付けられた１つまたは複数のメッセージ提案を生成することがある。たとえば、図６Ｉでは、「♯ＥＭＥＲＧＥＮＣＹ」クイックノート入力６３０が選択され、図６Ｊでは、♯ＥＭＥＲＧＥＮＣＹクイックノート入力に関連付けられた１つまたは複数の提案メッセージを含むメッセージ提案ウィンドウ６３０が提示される。ＮＯＴＥチャットインターフェースを用いるとき、ノートは、将来の参照のためにロギングされることがある。たとえば、車両が故障状態を経験するならば、故障状態に関連付けられた故障コードは、ＮＯＴＥチャットインターフェースを用いて保存されることがある。
【0095】
図７は、タッチキーボードインターフェース７０２を含む、さらに別の例示的なユーザーインターフェース７００を示す。タッチキーボードインターフェース７０２は、とりわけ、テレオペレーターにより用いられて、通信インターフェース４０８を用いてメッセージを生成することがある１つまたは複数のキー入力７０４を含むことがある。いくつかの例では、タッチキーボードインターフェース７０２は、ユーザーインターフェース７００と同じディスプレイに提示されることがある、または異なったディスプレイに提示されることがある。
【0096】
いくつかの例では、テレオペレーターがメッセージ、ノート等をタイプしているとき、１つまたは複数の提案メッセージ７０６は、テレオペレーターによりタイプされている何かに少なくとも部分的に基づいてディスプレイに提示されることがある（例えば、予言的なテキスト）。たとえば、テレオペレーターによってタイプされる単語および／または語句は、提案メッセージを識別するために、単語または語句に関連付けられた文脈を決定するのに分析されることがある。一例として、テレオペレーターが通信インターフェース４０８のテキストフィールド５０８に単語「please」をタイプしたならば、１つまたは複数の提案メッセージ７０６は、「please buckle your seatbelt」と書いてある少なくとも第１の提案メッセージを含むことがある。さらに加えて、または代わりに、１つまたは複数の提案メッセージ７０６は、単語pleaseを含まないが、それにもかかわらず、単語「please」を含んで一般的に用いられる文脈に少なくとも部分的に基づいて、人から何かを要求することと関連付けられるとみなされる少なくとも第１の提案メッセージを含むことがある。一例として、単語pleaseと関連付けられるとみなされることがある提案メッセージは、「can you repeat that?」 と書いてあることがある。
【0097】
図８Ａおよび図８Ｂは、例示的な車両１０２および例示的な車両制御インターフェース４１２を含む例示的なユーザーインターフェース８００Ａおよび８００Ｂを示す図である。車両制御インターフェース４１２は、たとえば、ドア１６２、車両１０２の温度、ライト、音楽など、車両１０２の１つまたは複数の構成要素および／または機能を制御するための１つまたは複数の入力を含むことがある。
【0098】
いくつかの例では、車両制御インターフェース４１２の入力が選択されると、入力に関連付けられた構成要素および／または機能を制御するための１つまたは複数の追加の入力が表示されることがある。たとえば、図８Ａを参照して、ドア制御入力８０２が選択され、追加のドア制御入力８０４が表示された。追加のドア制御入力８０４は、いくつかの例では、車両の第１のドアを開けることおよび閉めることための第１の入力と、車両の第２のドアを開けることおよび閉めることための第２の入力とを含むことがある。図８Ａでは、車両１０２のドア２を閉める入力が選択され、ドア２（ドア１６２）が矢印により示されるように閉じていく。いくつかの例では、車両１０２のドア１６２が閉められると、車両１０２のデジタル表現は、図８Ｂに示されるように、ドアが閉められたことを示すように更新されることがある。
【0099】
図８Ｂでは、車両制御インターフェース４１２の温度制御入力８０６が選択され、追加の温度制御入力８０８が表示された。追加の温度制御入力８０８は、テレオペレーターに、追加の温度制御入力とインタラクションをすることによって、車両の温度を遠くから変えることができるようにすることがある。
【0100】
図９Ａおよび図９Ｂは、ひとまとめにして、ディスプレイに示されていない車両が例示的な車両１０２に接近していることを示す例示的なオフスクリーンインジケータ９０８を含む別の例示的なユーザーインターフェース９００を示す図である。いくつかの例では、ユーザーインターフェース９００は、ディスプレイに提示される性能がある第１の視野９０２を含むことがある。しかしながら、車両１０２は、第２の視野９０４において、第１の視野の外側に位置される物体の存在を検出することができることがある。しかしながら、いくつかの例では、本明細書に説明されるたとえば１つまたは複数のディスプレイ１５６など、ユーザーインターフェース９００を提示しているディスプレイは、第２の視野９０４全体の完全なグラフィック表現を含むには十分に大きくないことがある。上記のように、車両１０２は、たとえば検出された車両９０６など、テレオペレーターインターフェースを介してリモートテレオペレーターに対して見られない物体に応答すること（例えば、止まること、曲がること、または別のやり方により対応すること）がある。
【0101】
さらに加えて、または代わりに、検出された物体９１４は、別の状況では第１の視野９０２内に位置されることがあるが、検出された物体９１４は、ユーザーインターフェース９００に提示されるインターフェースリージョン９１２によってテレオペレーターの視界からさえぎられることがある。したがって、オフスクリーンインジケータ９０８は、キャンバス９１６の外側に位置されるが、それにもかかわらず依然として第１の視野９０２内に位置される、車両１０２が応答することがある検出された物体９１４のインディケーションを提示するために用いられることがある。
【0102】
このようにして、オフスクリーンの物体に関連付けられた通知を提示することにより、さらに、ユーザーインターフェースに表示されないことがある外部の情報をユーザーに気付かせる一方、ユーザーインターフェースに表示される情報量は、ユーザーに情報を持たせすぎないように制限されることが可能である。今述べたことは、リモートユーザーが車両に物理的に存在しないとき、リモートユーザーが、セーフティクリティカルな環境において、より安全な決定をするのに役立つ。
【0103】
いくつかの例では、車両が能動的に応答すること（例えば、曲がること、止まること、減速すること、加速すること等）があり得る検出可能な物体を、オフスクリーン通知９０８により表す。たとえば、車両１０２は、別の車両９１０が第２の視野９０４内に位置されることを検出することがある。しかしながら、他の車両９１０の進行方向（例えば、軌道）が車両１０２から離れて行っているので、オフスクリーン通知９０８は、他の車両９１０の存在を示すユーザーインターフェース９００に提示されないことがある。いくつかの例では、オフスクリーン通知９０８は、検出された物体９０６および／または９１４が車両１０２に接近している方向、検出された物体９０６および／または９１４に関連付けられた物体の種類（例えば、検出された物体が車両、歩行者、自転車に乗る人等であるかどうか）、検出された物体９０６および／または９１４が第１の視野９０２および／またはキャンバス９１６の範囲内になるまでの時間の推定量、および同類のものを示すことがある。いくつかの例では、オフスクリーン通知９０８がユーザーインターフェース９００に提示されるかどうかは、検出された物体９０６および／または９１４に対して決定された速さ、検出された物体９０６および／または９１４が第１の視野９０２に入るまでの時間量、および／または検出された物体９０６および／または９１４の大きさに少なくとも部分的に基づくことがある。
【0104】
図１０Ａおよび図１０Ｂは、本開示にて説明される例示的なユーザーインターフェースのうちの１つまたは複数に含まれることがある例示的な車両状態インターフェース４１４を示す図である。例示的な車両状態インターフェース４１４は、車両に関連付けられた情報を提供するように構成された１つまたは複数の出力要素１００２～１００８を含むことがある。たとえば、車両状態インターフェース４１４は、たとえば、交通信号、注意信号、制限速度標識、出口標識、停止標識、降車標識、進入禁止標識、踏切標識、および同類のものなど、車両が反応している交通信号および／または交通記号を示す１つまたは複数の交通記号要素１００２Ａおよび１００２Ｂを含むことがある。
【0105】
いくつかの例では、車両状態インターフェース４１４は、車両の現在の速さを示すカレントスピードインジケータ（current speed indicator）１００４を含むことがある。図１０Ａおよび図１０Ｂでは、カレントスピードインジケータ１００４は、車両が停止されていることを示している。いくつかの例では、車両状態インターフェース４１４は、車両の現在および／またはプランニングされた軌道を示す軌道要素１００６を含むことがある。種々の例において、車両状態インターフェース４１４は、必要に応じて追加の出力要素を含むために、図１０Ｂに示されている水平方向に拡張することがある。同様に、車両状態インターフェース４１４は、表示されている出力要素の量に少なくとも部分的に基づいて、図１０Ａに示されている水平方向に収縮することがある。
【0106】
例示的な方法
図１１～１３は、車両を遠くから監視することに関連付けられた種々のユーザーインターフェースをディスプレイに提示する例示的な方法を示すフローチャートである。図１１～１３に例示される方法は、便利なように、および理解を容易にするために、図１～１０において説明された車両、遠隔操作システム、およびユーザーインターフェースのうちの１つまたは複数を参照して、説明される。しかしながら、図１１～１３に例示される方法は、図１～１０において説明された車両、遠隔操作システム、およびユーザーインターフェースを用いて行われることに限定されず、本出願において説明されるその他の車両、遠隔操作システム、およびユーザーインターフェースのうちのいずれかを、本明細書に説明されるのとは別の車両、遠隔操作システム、およびユーザーインターフェースも同様に、用いて実装されることがある。さらにその上、本明細書に説明される車両、遠隔操作システム、およびユーザーインターフェースは、図１１～１３に例示される方法を行うことに限定されない。
図１１～１３は、車両を遠くから監視することに関連付けられた種々のユーザーインターフェースをディスプレイに提示する例示的な方法を示すフローチャートである。図１１～１３に例示される方法は、便利なように、および理解を容易にするために、図１～１０において説明された車両、遠隔操作システム、およびユーザーインターフェースのうちの１つまたは複数を参照して、説明される。しかしながら、図１１～１３に例示される方法は、図１～１０において説明された車両、遠隔操作システム、およびユーザーインターフェースを用いて行われることに限定されず、本出願において説明されるその他の車両、遠隔操作システム、およびユーザーインターフェースのうちのいずれかを、本明細書に説明されるのとは別の車両、遠隔操作システム、およびユーザーインターフェースも同様に、用いて実装されることがある。さらにその上、本明細書に説明される車両、遠隔操作システム、およびユーザーインターフェースは、図１１～１３に例示される方法を行うことに限定されない。
【0107】
方法１１００、１２００、１３００は、ハードウェア、ソフトウェア、またはそれらの組み合わせにおいて実装されることが可能である動作のシーケンスを表す、ロジカルフローグラフにおけるブロックの集まりとして例示される。ソフトウェアのコンテキストという状況では、ブロックは、１つまたは複数のコンピューター読取り可能記録媒体に格納されたコンピューター実行可能な命令を表し、１つまたは複数のプロセッサーによって実行されると、引用される動作を実行する。一般に、コンピューター実行可能命令は、特定の機能を行うまたは特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造、および同類のものを含む。動作が記述されている順序は、限定として解釈されることを意図せず、プロセスを実装するために、記述されているブロックをいくつでも、どんな順序でもおよび／または並列に組み合わされることが可能である。いくつかの態様では、処理の１つまたは複数のブロックは、完全に省略されることがある。さらにその上、方法１１００、１２００、１３００は、全体的にまたは部分的に、互いとまたは他の方法と組み合わされることが可能である。
【0108】
図１１は、車両の遠隔監視および／または制御のためにディスプレイにユーザーインターフェースを提示する例示的な方法１１００を例示するフローチャートである。方法１１００は、動作１１０２において始まり、環境および環境を横切って進んでいる車両の表現をディスプレイの第１の部分に提示することを含む。たとえば、遠隔操作システム１４８の遠隔操作インターフェース１５４は、１つまたは複数のディスプレイ１５６の第１の部分に、環境および環境を横切って進んでいる車両のデジタル表現を提示することがある。
【0109】
動作１１０４において、方法１１００は、ディスプレイの第２の部分に、少なくとも第１の人とのユーザー通信を提供するように構成された通信インターフェースを提示することを含む。たとえば、遠隔操作システム１４８の遠隔操作インターフェース１５４は、１つまたは複数のディスプレイ１５６の第２の部分に通信インターフェースを提示することがある。さらに加えて、いくつかの例では、第１の人は、車両の乗員、車両のリモートオペレーター（remote operator）、車両に最も近い歩行者、またはあらゆる組み合わせを含むことがある。
【0110】
動作１１０６において、方法１１００は、通信インターフェースの第１の入力要素を介して、第１のチャットインターフェースが開かれることになることを示す第１のデータを受信することを含む。例えば、テレオペレーター１５０は、１つまたは複数のディスプレイ１５６を用いて、通信インターフェースの第１の入力要素を選択することがある。たとえば、１つまたは複数のディスプレイ１５６は、タッチ画面ディスプレイを含むことがある、または、たとえば、マウス、キーボード、および同類のものなど、入力デバイスに通信接続されることがある。いくつかの例では、第１のチャットインターフェースは、第１の人または複数の人と関連付けられることがある。たとえば、第１のチャットインターフェースは、車両の第１の乗員、または車両の複数の乗員（例えば、グループチャット）と関連付けられることがある。
【0111】
動作１１０８において、方法１１００は、第１のデータを受信することに少なくとも部分的に基づいて、第１のチャットインターフェースをディスプレイに提示することを含む。たとえば、第１のチャットインターフェースは、遠隔操作システム１４８の１つまたは複数のディスプレイ１５６に提示されることがある。動作１１１０において、方法１１００は、通信インターフェースの第２の入力要素を介して、送られることになる第１のメッセージの少なくとも一部を表す第２のデータを受信することを含む。例えば、第２のデータは、通信インターフェース４０８のテキストフィールド５０８を用いて受信されるテキストデータであり得る。さらに加えて、第１のメッセージの一部は、たとえば単語「please」など、単一の単語またはメッセージのうちの単語の組み合わせを含むことがある。
【0112】
動作１１１２において、方法１１００は、第２のデータに少なくとも部分的に基づいて、提案メッセージが生成されることになるかどうかを決定することを含む。たとえば、第１のメッセージの一部が、一般的に用いられる単一の単語または単語の組み合わせからなるならば、遠隔操作システム１４８は、単語または単語の組み合わせに関連付けられた１つまたは複数の提案メッセージを決定することがある。
【0113】
動作１１１４において、提案メッセージが生成されることにならないならば、方法１１００は、第１のチャットインターフェース内のディスプレイに第１のメッセージを提示することを含む。たとえば、提案メッセージがなく、テレオペレーター１５０が第１のメッセージを送ることを決定するならば、第１のメッセージは、第１のチャットインターフェース内で提示されることがある。いくつかの例では、第１のメッセージは、第１のチャットインターフェース内の１つまたは複数のディスプレイ１５６に提示されることがある。
【0114】
動作１１１６において、提案メッセージが生成されることになるならば、方法１１００は、提案メッセージをディスプレイに提示することを含む。例えば、第１のメッセージの一部が単語「please」を含み、遠隔操作システム１４８が単語「please」に関連付けられた１つまたは複数の提案メッセージを決定するならば、１つまたは複数の提案メッセージは、１つまたは複数のディスプレイ１５６に提示されることがある。一例として、および限定ではない、今述べた例における提案メッセージは、「please allow the doors to shut」または「please exit the vehicle carefully」と書いてあるメッセージを含むことがある。
【0115】
動作１１１８において、方法１１００は、メッセージに、送られることを生じさせることを含む。たとえば、メッセージは、車両の乗員、車両に最も近い歩行者、車両のオペレーター（例えば、車内のオペレーターまたは別のリモートテレオペレーター）、および同類のものに関連付けられたデバイスに送られることがある。さらに加えて、メッセージに送られることを生じさせることは、メッセージが送られることになるというインディケーションを受信することに少なくとも部分的に基づくことがある。例えば、通信インターフェースは、選択されると、メッセージに送られることを生じさせる入力要素を含むことがある。
【0116】
図１２は、車両の遠隔監視および／または制御のためにディスプレイにユーザーインターフェースを提示する別の例示的な方法１２００を例示するフローチャートである。方法１２００は、動作１２０２において始まり、（ｉ）環境を横切って進んでいる車両のデジタル表現と、（ｉｉ）車両制御インターフェースとを含むユーザーインターフェースをディスプレイに提示することを含む。たとえば、ディスプレイは、１つまたは複数のディスプレイ１５６を含み、ユーザーインターフェースは、遠隔操作システム１４８によってディスプレイに提示されることがある。
【0117】
動作１２０４において、方法１２００は、車両制御インターフェース内に、車両の複数の構成要素を制御することに関連付けられた複数の入力要素を提示することを含む。たとえば、複数の入力要素は、ドア制御入力８０２および／または温度制御入力８０６を含むことがある。動作１２０６において、方法１２００は、複数の入力要素のうちの入力要素を介して、複数の構成要素またはシステムのうちの構成要素またはシステムが制御されることになることを示す第１のデータを受信することを含む。たとえば、第１のデータは、テレオペレーター１５０によって制御されることになる構成要素またはシステムの選択を示すことがある。
【0118】
動作１２０８において、方法１２００は、ディスプレイに、第１のデータに少なくとも部分的に基づいて、構成要素またはシステムを制御することに関連付けられた追加の入力要素を提示することを含む。たとえば、構成要素またはシステムがドアを含むならば、追加の入力要素は、車両の種々のドアを開けることおよび閉じることのための要素を含むことがある。さらに加えて、または代わりに、構成要素またはシステムがＨＶＡＣ（heating ventilation and air conditioning）システムを含むならば、追加の入力要素は、車両の温度を調節するための要素を含むことがある。
【0119】
動作１２１０において、方法１２００は、追加の入力要素を介して、構成要素またはシステムの状態が第１の状態から第２の状態に変わることになることを示す第２のデータを受信することを含む。たとえば、追加の入力要素が車両のドアを開けることおよび閉じることに関連付けられるならば、車両ドアの状態を第１の状態から第２の状態に変えることは、ドアに、開けられた位置から閉められた位置に変えさせることを含むことがある。
【0120】
動作１２１２において、方法１２００は、構成要素またはシステムの状態を第２の状態に変えることを含む。たとえば、データは、車両の構成要素またはシステムに状態を変えさせる車両に送られることがある。一例として、構成要素またはシステムが車両のドアを含むならば、データは、ドアに開けさせるまたは閉じさせる車両へ送られることがある。
【0121】
動作１２１４において、方法１２００は、車両の構成要素またはシステムの状態が第１の状態から第２の状態に変わったかどうかを決定することを含む。たとえば、車両の構成要素またはシステムに関連付けられたデータ、たとえばセンサーデータなどが受信されて、車両の構成要素またはシステムが状態を変えたかどうかを示すことがある。一例として、および限定ではない、車両の構成要素またはシステムが車両のドアであるならば、センサーデータは、ドアが開いているか閉じているかどうかを示して受信されることがある。今述べたセンサーデータに少なくとも部分的に基づいて、車両の構成要素またはシステムの現在の状態が決定されることがある。
【0122】
動作１２１６において、方法１２００は、構成要素またはシステムが第２の状態にあることを示すために、車両のデジタル表現を更新することを含む。たとえば、構成要素またはシステムが車両のドアからなり、ドアが閉められていることを示すセンサーデータが受信されるならば、車両のデジタル表現は、車両のドアが閉められた位置にあることを示すように更新されることがある。
【0123】
図１３は、車両の遠隔監視および／または制御のために、車両が反応することがある物体の存在を示すユーザーインターフェースにオフスクリーン通知を提示するためにも同様に、ディスプレイにユーザーインターフェースを提示するさらに別の例示的な方法１３００を例示するフローチャートである。方法１３００は、動作１３０２において始まり、（ｉ）環境の第１の視野、および（ｉｉ）環境を横切って進んでいる車両についてのデジタル表現を少なくとも含むユーザーインターフェースを、ディスプレイに提示することを含む。いくつかの例では、ユーザーインターフェースは、遠隔操作システム１４８の１つまたは複数のディスプレイ１５６に提示されることがある。
【0124】
動作１３０４において、方法１３００は、第１の視野の外側にある環境の第２の視野内に配置された１つまたは複数の物体を表すデータを受信することを含む。さらに加えて、または代わりに、第１の視野内に配置されているが、別の状況では、ディスプレイ１５６を用いてテレオペレーター１５０により見られることからさえぎられている１つまたは複数の物体を表すデータが受信されることがある。たとえば、１つまたは複数の物体は、ユーザーインターフェースのインターフェースリージョンによって視界からさえぎられることがある。
【0125】
動作１３０６において、方法１３００は、データに少なくとも部分的に基づいて、１つまたは複数の物体のうちの第１の物体に関連付けられた進行方向を決定することを含む。たとえば、軌道は、第１の物体に対して決定されることがある。動作１３０８において、方法１３００は、データに少なくとも部分的に基づいて、および進行方向に少なくとも部分的に基づいて、第１の物体が第２の視野から第１の視野へ移動することに関連付けられた時間期間を決定することを含む。
【0126】
動作１３１０において、方法１３００は、時間期間がしきい値時間期間未満であるかどうかを決定することを含む。いくつかの例では、しきい値時間期間は、たとえば、１秒、２秒、５秒、１０秒など、予め定義された時間量を含むことがある。動作１３１２において、方法１３００は、第１の物体が第１の視野にほぼ入ることになるというインディケーションをディスプレイに提示することを含む。いくつかの例では、インディケーションを提示することは、時間期間がしきい値時間期間未満であることに少なくとも部分的に基づくことがある。
【0127】
代わりに、動作１３１４において、方法１３００は、第１の物体が第１の視野にほぼ入ることになるというインディケーションをディスプレイに提示することを控えることを含む。たとえば、時間期間がしきい値時間期間よりも大きいならば、方法は、インディケーションを提示することを控えることがある。
【0128】
本明細書に説明される種々の技法は、コンピューター読取り可能ストレージに格納され、たとえば、図に例示されるような１つまたは複数のコンピューターまたは他のデバイスのプロセッサー（複数可）によって実行されるコンピューター実行可能な命令またはソフトウェア、たとえば、プログラムモジュールなどの文脈において実装されることがある。一般に、プログラムモジュールは、ルーチン、プログラム、オブジェクト、構成要素、データ構造等を含み、および特定のタスクを行うための動作ロジックを定義するまたは特定の抽象データ型を実装する。
【0129】
他のアーキテクチャは、説明される機能性を実装するのに用いられることがあり、本開示の範囲内にあることが意図される。さらにその上、責任の特定の配分が、議論の目的のために上に定義されるが、種々の機能および責任は、状況に従って、異なるやり方において配分され分割されることがあるだろう。
【0130】
同様に、ソフトウェアは、種々のやり方においておよび異なる手段を用いて、格納され配分されることがあり、上に説明された特定のソフトウェアの格納および実行の構成は、多くの異なるやり方において様々であることがある。ゆえに、上に説明された技法を実装するソフトウェアは、具体的に説明されるメモリーのかたちに限定されず、種々の種類のコンピューター読取り可能媒体に配分されることがある。
【0131】
例示的な箇条
本節の例示的な箇条のいずれかは、例示的な箇条の他のいずれか、および／または、本明細書に説明された他の例または態様のいずれかと共に用いられることがある。
本節の例示的な箇条のいずれかは、例示的な箇条の他のいずれか、および／または、本明細書に説明された他の例または態様のいずれかと共に用いられることがある。
【0132】
Ａ．システムは、１つまたは複数のプロセッサーと、１つまたは複数のプロセッサーによって実行されると、システムに、車両のフリートに関連付けられた情報をリモートオペレーターに提供するように構成されたユーザーインターフェースをディスプレイに提示し、ユーザーインターフェースは、環境および環境を横切って進んでいる車両のフリートの車両の表現と、車両の乗員および別のリモートオペレーターとの通信をリモートオペレーターに提供するように構成された通信インターフェースを含むこと、通信インターフェースの第１の入力要素を介して、通信インターフェースの第１のチャットインターフェースが開かれることになることを示す第１のデータを受信し、第１のチャットインターフェースは、乗員と関連付けられること、第１のデータを受信することに少なくとも部分的に基づいて、ディスプレイに第１のチャットインターフェースの提示を生じさせること、通信インターフェースの第２の入力要素を介して、第１の乗員に送られることになる第１のメッセージを表す第２のデータを受信すること、および、第１のメッセージが送られることになるというインディケーションを受信することに少なくとも部分的に基づいて、第１のメッセージに送られることを生じさせ、第１のチャットインターフェース内のディスプレイに第１のメッセージを提示することを含む動作を行わせる命令を格納する１つまたは複数のコンピューター読取り可能媒体とを含む。
【0133】
Ｂ．動作は、通信インターフェースの第３の入力要素を介して、第２のチャットインターフェースが開かれることになることを示す第３のデータを受信し、第２のチャットインターフェースが他のリモートオペレーターと関連付けられること、第３のデータを受信することに少なくとも部分的に基づいて、第１のチャットインターフェースの提示を抑制している間、ディスプレイに第２のチャットインターフェースの提示を生じさせること、通信インターフェースの第２の入力要素を介して、他のリモートオペレーターに送られることになる第２のメッセージを表す第４のデータを受信すること、および、第２のメッセージが送られることになるというインディケーションを受信することに少なくとも部分的に基づいて第２のチャットインターフェース内のディスプレイに第２のメッセージを提示することをさらに含むことを記載する項Ａのシステム。
【0134】
Ｃ．ユーザーインターフェースは、車両の構成要素またはシステムの制御を提供する車両制御インターフェースをさらに含み、動作は、車両制御インターフェースの第１の入力要素を介して、車両の構成要素またはシステムが制御されることになることを示す第３のデータを受信すること、および、車両に信号を送信し、信号が車両制御インターフェースの第１の入力要素に従って車両に構成要素を制御させるよう構成されることを記載する項ＡまたはＢのいずれか１つのシステム。
【0135】
Ｄ．動作は、ネットワークを介して、車両または車両の構成要素のうちの少なくとも１つに作動を行わせる要求を受信すること、および、ユーザーインターフェースの入力要素を介して、車両または構成要素に作動を行わせる第３データを受信することをさらに含むことを記載する項Ａ～Ｃのいずれか１つのシステム。
【0136】
Ｅ．方法は、ディスプレイの第１の部分に、環境および環境を横切って進んでいる車両のデジタル表現を提示すること、ディスプレイの第２の部分に、第１の人との通信を提供するように構成されている通信インターフェースを提示すること、通信インターフェースの第１の入力要素を介して、第１のチャットインターフェースが開かれることになることを示す第１のデータを受信し、第１のチャットインターフェースが第１の人と関連付けられること、第１のデータを受信することに少なくとも部分的に基づいて、ディスプレイに第１のチャットインターフェースを提示すること、通信インターフェースの第２の入力要素を介して、送られることになる第１のメッセージを表す第２のデータを受信すること、および、第１のメッセージが送られることになるというインディケーションを受信することに少なくとも部分的に基づいて、第１のメッセージに送られることを生じさせ、第１のチャットインターフェース内のディスプレイに第１のメッセージを提示することを含む。
【0137】
Ｆ．第１の人は車両の乗員を含み、方法は、通信インターフェース内に、第１のメッセージが聞こえるように通信されることになるかどうかを示すユーザー入力を受信するように構成されている第３の入力要素を提示すること、第３の入力要素を介して、第１のメッセージが聞こえるように通信されることになることを示す第３のデータを受信することをさらに含み、および、第１のメッセージに送られることを生じさせることは、第１のメッセージに車両の内部において聞こえるように通信させることを含むことを記載する項Ｅの方法。
【0138】
Ｇ．第１の人は車両の外部に最も近い歩行者を含み、方法は、通信インターフェース内に、第１のメッセージが聞こえるように通信されることになるかどうかを示すユーザー入力を受信するように構成されている第３の入力要素を提示すること、第３の入力要素を介して、第１のメッセージが聞こえるように通信されることになることを示す第３のデータを受信することをさらに含み、および、第１のメッセージに送られることを生じさせることは、第１のメッセージに車両の内部において聞こえるように通信させることを含むことを記載する項ＥまたはＦの方法。
【0139】
Ｈ．第２のデータは、第１のメッセージを表すテキストのストリングを含み、方法は、第３の入力要素を介して、第１のメッセージが聞こえるように通信されることになることを示す第３のデータを受信することをさらに含むことを記載する項Ｅ～Ｇのいずれか１つの方法。
【0140】
Ｉ．第２のデータは、第１のメッセージを表すオーディオデータを含み、方法は、第３の入力要素を介して、第１のメッセージが聞こえるように通信されることになることを示す第３のデータを受信することをさらに含むことを記載する項Ｅ～Ｈのいずれか１つの方法。
【0141】
Ｊ．第１の人は車両の第１の乗員を含み、方法は、通信インターフェースの第３の入力要素を介して、第２のチャットインターフェースが開かれることになることを示す第３のデータを受信し、第２のチャットインターフェースが第２の乗員に関連付けられること、第３のデータを受信することに少なくとも部分的に基づいて、ディスプレイに第２のチャットインターフェースを提示することと、通信インターフェースの第２の入力要素を介して、送られることになる第２のメッセージを表す第４のデータを受信すること、および、第２のメッセージが送られることになるというインディケーションを受信することに少なくとも部分的に基づいて、第２のチャットインターフェース内のディスプレイに第２のメッセージを提示することをさらに含むことを記載する項Ｅ～Ｉのいずれか１つの方法。
【0142】
Ｋ．人は車両のリモートオペレーターを含み、チャットインターフェースは車両のリモートオペレーターとの通信を提供するように構成されることを記載する項Ｅ～Ｊのいずれか１つの方法。
【0143】
Ｌ．第１のチャットインターフェースは第２の人にさらに関連付けられ、方法は、ネットワークを介しておよび第１の人に関連付けられた第１のデバイスから、第１のメッセージに対する第１の応答を表す第３のデータを受信すること、ディスプレイにおよび第１のチャットインターフェース内に、第１の人に関連付けられている第１の識別子を含む第１の応答を提示すること、ネットワークを介しておよび第２の人に関連付けられた第２のデバイスから、第１のメッセージまたは第１の応答のうちの少なくとも１つに対する第２の応答を表す第４のデータを受信すること、および、ディスプレイにおよび第１のチャットインターフェース内に、第２の人に関連付けられている第２の識別子を含む第２の応答を提示することをさらに含むことを記載する項Ｅ～Ｋのいずれか１つの方法。
【0144】
Ｍ．第１の人は車両の乗員を含み、方法は、乗員に関連付けられたデバイスから、車両または車両の構成要素のうちの少なくとも１つに作動を行わせる要求を受信すること、および、車両または構成要素に作動を行わせる入力を受信することをさらに含むことを記載する項Ｅ～Ｌのいずれか１つの方法。
【0145】
Ｎ．ディスプレイの第３の部分に、車両の現在の状態に関連付けられた情報を提供する車両状態インターフェースを提示し、情報が、車両の速さ、車両の進行方向、または車両の現在のロケーションに関連付けられた交通規則のうちの１つまたは複数を含むことをさらに含むことを記載する項Ｅ～Mのいずれか１つの方法。
【0146】
Ｏ．ディスプレイの第３の部分に、車両の構成要素の制御を提供する車両制御インターフェースを提示し、車両制御インターフェースが、車両の第１の構成要素に関連付けられている第１の入力要素を少なくとも含むことをさらに含むことを記載する項Ｅ～Ｎのいずれか１つの方法。
【0147】
Ｐ．車両の第１の構成要素は、車両のドア、車両のクライメイトコントロールシステム（climate control system）、または車両のステレオシステムのうちの少なくとも１つを含み、方法は、車両制御インターフェースの第１の入力要素を介して、第１の構成要素が制御されることになることを示す第３のデータを受信すること、および、車両に信号を送信し、信号が、車両制御インターフェースの第１の入力要素に従って、車両に構成要素を制御させるよう構成されることをさらに含むことを記載する項Ｅ～Ｏのいずれか１つの方法。
【0148】
Ｑ．非一時的なコンピューター読取り可能記録媒体は、１つまたは複数のコンピューティングデバイスによって実行されると、１つまたは複数のコンピューティングデバイスに、ディスプレイの第１の部分に、環境を横切って進んでいる車両の表現を提示すること、ディスプレイの第２の部分に、第１の人とのユーザー通信を提供するように構成されている通信インターフェースを提示すること、通信インターフェースの第１の入力要素を介して、チャットインターフェースが開かれることになることを示す第１のデータを受信すること、第１のデータを受信することに少なくとも部分的に基づいて、ディスプレイにチャットインターフェースを提示すること、通信インターフェースの第２の入力要素を介して、送られることになるメッセージを表す第２のデータを受信すること、および、メッセージが送られることになるというインディケーションを受信することに少なくとも部分的に基づいて、メッセージに送られることを生じさせ、チャットインターフェース内のディスプレイにメッセージを提示することを含む動作を行わせる命令を格納する。
【0149】
Ｒ．第１の人は車両の外部に最も近い歩行者を含み、動作は、通信インターフェース内に、メッセージが聞こえるように通信されることになるかどうかを示すユーザー入力を受信するように構成されている第３の入力要素を提示すること、および、第３の入力要素を介して、メッセージが歩行者に聞こえるように通信されることになることを示す第３のデータを受信することをさらに含むことを記載する項Ｑの非一時的なコンピューター読取り可能記録媒体。
【0150】
Ｓ．チャットインターフェースは、第１の人と関連付けられる第１のチャットインターフェースを含み、動作は、通信インターフェースの第３の入力要素を介して、第２のチャットインターフェースが開かれることになることを示す第３のデータを受信し、第２のチャットインターフェースが第２の人に関連付けられ、第２の人が車両に関連付けられたリモートオペレーターを含むこと、第３のデータを受信することに少なくとも部分的に基づいて第１のチャットインターフェースを抑制する間、ディスプレイに第２のチャットインターフェースを提示すること、通信インターフェースの第２の入力要素を介して、送られることになる第２のメッセージを表す第４のデータを受信すること、および、第２のメッセージが送られることになるというインディケーションを受信することに少なくとも部分的に基づいて、第２のチャットインターフェース内のディスプレイに第２のメッセージを提示することをさらに含むことを記載する段落ＱまたはＲのいずれか１つの非一時的なコンピューター読取り可能記録媒体。
【0151】
Ｔ．動作は、第１の人に関連付けられた第１のデバイスから、メッセージに対する第１の応答を表す第３のデータを受信すること、ディスプレイにおよびチャットインターフェース内に、第１の人に関連付けられている第１の識別子を含む第１の応答を提示すること、第２の人に関連付けられた第２のデバイスから、メッセージまたは第１の応答のうちの少なくとも１つに対する第２の応答を表す第４のデータを受信すること、および、ディスプレイにおよびチャットインターフェース内に、第２の人に関連付けられている第２の識別子を含む第２の応答を提示することをさらに含むことを記載する項Ｑ～Ｓのいずれか１つの非一時的なコンピューター読取り可能記録媒体。
【0152】
Ｕ．動作は、通信インターフェースの第３の入力要素を介して、第１のメッセージが第１の乗員に聞こえるように通信されることになること、または第１のメッセージが第１の乗員に関連付けられたモバイルデバイスに送られることになることのうちの少なくとも１つを示す第３のデータを受信することをさらに含むことを記載する項Ａ～Ｄのいずれか１つのシステム。
【0153】
Ｖ．車両のオペレーターは、リモートオペレーター、または車両の中のオペレーターのうちの少なくとも１名を含むことを記載する項Ｅ～Ｐのいずれか１つの方法。
【0154】
Ｗ．車両状態インターフェースは、車両のデジタル表現に最も近いディスプレイの第１の部分に配置され、車両状態インターフェースは、車両の現在の状態または環境のうちの少なくとも１つに少なくとも部分的に基づいて依存してサイズにおいて増加しサイズにおいて減少するように構成されることを記載する項Ｅ～ＰまたはＶのいずれか１つの方法。
【0155】
Ｘ．システムは、１つまたは複数のプロセッサーと、１つまたは複数のプロセッサーによって実行されると、１つまたは複数のプロセッサーに、車両のフリートに関連付けられた情報をリモートオペレーターに提供するように構成されたユーザーインターフェースをディスプレイに提示し、ユーザーインターフェースは、環境および環境を横切って進んでいる車両のフリートの車両の表現と、車両の構成要素の制御をリモートオペレーターに提供するように構成された車両制御インターフェースとを含むこと、車両制御インターフェース内に、車両の構成要素を制御することに関連付けられた入力要素を提示すること、入力要素のうちの入力要素を介して、構成要素が制御されることになることを示す第１のデータを受信すること、ディスプレイにおいて、および第１のデータに少なくとも部分的に基づいて、構成要素を制御することに関連付けられた追加の入力要素の提示を生じさせること、追加の入力要素を介して、構成要素またはシステムの状態が変えられることになることを示す第２のデータを受信すること、第２のデータに少なくとも部分的に基づいて構成要素の状態に変わることを生じさせること、および、構成要素の状態の変化に少なくとも部分的に基づいて、車両のデジタル表現を更新して構成要素の現在の状態を示すことを含む動作を行わせる命令を格納する１つまたは複数のコンピューター読取り可能媒体を含む。
【0156】
Ｙ．構成要素は車両のドアを含み、第１の状態は、ドアが閉められた位置にあることに関連付けられ、第２の状態は、ドアが開けられた位置にあることに関連付けられることを記載する項Ｘのシステム。
【0157】
Ｚ．構成要素またはシステムは、車両のクライメイトコントロールシステムを含み、第１の状態は、第１の温度値と関連付けられ、第２の状態は、第２の温度値と関連付けられることを記載する項ＸまたはＹのいずれか１つのシステム。
【0158】
ＡＡ．構成要素またはシステムは、車両のドア、車両の窓、車両のクライメイトコントロールシステム、車両のステレオシステム、車両の照明システム、車両のブラインド、または車両の乗車設定のうちの少なくとも１つを含むことを記載する項Ｘ～ＡＡのいずれか１つのシステム。
【0159】
ＢＢ．システムは、１つまたは複数のプロセッサーと、１つまたは複数のプロセッサーによって実行されると、１つまたは複数のプロセッサーに、車両のフリートに関連付けられた情報をリモートオペレーターに提供するように構成されたユーザーインターフェースをディスプレイに提示し、ユーザーインターフェースは、（ｉ）環境の第１の視野と（ｉｉ）環境を横切って進んでいる車両のフリートの車両とのデジタル表現を少なくとも含み、第１の視野の外にある環境の第２の視野内に配置される物体を表すデータを受信すること、データに少なくとも部分的に基づいて、物体に関連付けられた進行方向を決定すること、データに少なくとも部分的に基づいて、物体が第２の視野からそして第１の視野に移動することに関連付けられた時間期間を決定すること、時間期間がしきい値時間期間未満であることに少なくとも部分的に基づいて、物体がほぼ第１の視野に入ることになるというインディケーションの提示をディスプレイに生じさせることを含む動作を行わせる命令を格納する１つまたは複数のコンピューター読取り可能媒体とを含む。
【0160】
終結
上の議論が、説明される技法の例示的な実装を述べるが、他のアーキテクチャは、説明される機能性を実装するのに用いられ、本開示の範囲内にあることが意図される。さらにその上、主題が、構造的な特徴および／または方法論的な作動に特有の言葉において説明されたが、添付の特許請求の範囲において定義される主題が、説明される特定の特徴または作動に必ずしも制限されないということは、理解されることである。むしろ、特定の特徴および作動は、特許請求の範囲を実装する例示的なかたちとして開示される。
上の議論が、説明される技法の例示的な実装を述べるが、他のアーキテクチャは、説明される機能性を実装するのに用いられ、本開示の範囲内にあることが意図される。さらにその上、主題が、構造的な特徴および／または方法論的な作動に特有の言葉において説明されたが、添付の特許請求の範囲において定義される主題が、説明される特定の特徴または作動に必ずしも制限されないということは、理解されることである。むしろ、特定の特徴および作動は、特許請求の範囲を実装する例示的なかたちとして開示される。
【図1】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図6A】
【図6B】
【図6C】
【図6D】
【図6E】
【図6F】
【図6G】
【図6H】
【図6I】
【図6J】
【図7】
【図8A】
【図8B】
【図9A】
【図9B】
【図10A】
【図10B】
【図11】
【図12】
【図13】
【国際調査報告】