IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ トゥーシンプル, インコーポレイテッドの特許一覧

<>
  • 特開-自律車両用応答者監督システム 図1A
  • 特開-自律車両用応答者監督システム 図1B
  • 特開-自律車両用応答者監督システム 図1C
  • 特開-自律車両用応答者監督システム 図2
  • 特開-自律車両用応答者監督システム 図3
  • 特開-自律車両用応答者監督システム 図4
  • 特開-自律車両用応答者監督システム 図5
  • 特開-自律車両用応答者監督システム 図6
  • 特開-自律車両用応答者監督システム 図7
  • 特開-自律車両用応答者監督システム 図8
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022109895
(43)【公開日】2022-07-28
(54)【発明の名称】自律車両用応答者監督システム
(51)【国際特許分類】
   G08G 1/00 20060101AFI20220721BHJP
   G08G 1/09 20060101ALI20220721BHJP
   G05D 1/02 20200101ALI20220721BHJP
   B60W 50/00 20060101ALI20220721BHJP
   B60W 60/00 20200101ALI20220721BHJP
   G07C 5/00 20060101ALI20220721BHJP
【FI】
G08G1/00 X
G08G1/09 F
G05D1/02 R
G05D1/02 P
B60W50/00
B60W60/00
G07C5/00 Z
【審査請求】未請求
【請求項の数】20
【出願形態】OL
(21)【出願番号】P 2022004162
(22)【出願日】2022-01-14
(31)【優先権主張番号】17/150,581
(32)【優先日】2021-01-15
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】521265955
【氏名又は名称】トゥーシンプル, インコーポレイテッド
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】ジョイス タム
【テーマコード(参考)】
3D241
3E138
5H181
5H301
【Fターム(参考)】
3D241BA35
3D241BA60
3D241CA15
3D241CE02
3D241CE04
3D241CE05
3D241DB01Z
3D241DB20Z
3D241DC25Z
3D241DC31Z
3D241DC35Z
3D241DC39Z
3E138AA07
3E138MA02
3E138MB10
3E138MD05
3E138MF06
3E138MF07
3E138MF08
5H181AA01
5H181AA07
5H181BB04
5H181BB05
5H181CC02
5H181CC03
5H181CC04
5H181CC12
5H181LL01
5H181LL02
5H301KK08
5H301KK18
5H301MM04
(57)【要約】
【課題】センサと、制御サブシステムと、オペレーションサーバとを含む自律車両(AV)を含むシステムを提供すること。
【解決手段】システムであって、該システムは、自律車両上にある少なくとも1つの車両センサを含む自律車両(AV)であって、該自律車両は、道路上にある、自律車両(AV)と、該自律車両と関連付けられかつ第1のプロセッサを含む制御サブシステムであって、該第1のプロセッサは、該自律車両の該少なくとも1つの車両センサからセンサデータを受信することであって、該センサデータは、該自律車両の場所座標を含む、ことと、オペレーションサーバに該センサデータを通信することとを行うように構成される、制御サブシステムとを含む、システム。
【特許請求の範囲】
【請求項1】
システムであって、該システムは、
自律車両上にある少なくとも1つの車両センサを含む自律車両(AV)であって、該自律車両は、道路上にある、自律車両(AV)と、
該自律車両と関連付けられかつ第1のプロセッサを含む制御サブシステムであって、該第1のプロセッサは、
該自律車両の該少なくとも1つの車両センサからセンサデータを受信することであって、該センサデータは、該自律車両の場所座標を含む、ことと、
オペレーションサーバに該センサデータを通信することと
を行うように構成される、制御サブシステムと
を含み、
該制御サブシステムと通信可能に連結される該オペレーションサーバは、
アプリケーションにユーザのログイン資格証明を記憶するために動作可能であるメモリであって、それによって該ユーザは、該自律車両に関する情報にアクセスする権限が与えられる、メモリと、
該メモリと動作可能に連結される第2のプロセッサであって、該第2のプロセッサは、
該センサデータから該自律車両に関する予期せぬ出来事を検出することであって、該予期せぬ出来事は、該自律車両に関する事故、検問および報告要求のうちの少なくとも1つを含む、ことと、
該ユーザと関連付けられる電子デバイスからメッセージを受信することであって、
該メッセージは、該自律車両に関する特定の情報にアクセスするための要求を含み、
該メッセージは、該ユーザの場所データを更に含む、
ことと、
該ユーザの該場所データが該自律車両の該場所座標と合致するかどうかを決定することと、
該ユーザの該場所データが該自律車両の該場所座標と合致すると決定することに応答して、該自律車両を該ユーザと関連付けることと、
該予期せぬ出来事に対処するために行われる出来事を記録するための該予期せぬ出来事についてのチケットを生成することと、
該電子デバイスを使用して該ユーザと遠隔操作者との間に通信経路を確立することと、
該通信経路を介して該電子デバイスに該自律車両に関する該特定の情報を通信することと、
該予期せぬ出来事に対処するための補助を提供するための要求を該ユーザから受信することと、
該予期せぬ出来事に対処するための該ユーザに転送する指示を該遠隔操作者に提供することと、
該予期せぬ出来事が対処されているかどうかを決定することと、
該予期せぬ出来事が対処されていると決定することに応答して、該チケットを閉めることと
を行うように構成される、第2のプロセッサと
を含む、システム。
【請求項2】
前記予期せぬ出来事が前記自律車両が関与する前記事故を含むとき、該予期せぬ出来事に対処するための前記ユーザに転送する指示を前記遠隔操作者に提供することは、
該ユーザが該自律車両のキャブに入ることを遠隔で許可することと、
該自律車両の自律動作を解除することと、
イグニッションキーなしで該自律車両を手動で操作するための該ユーザに転送する指示を該遠隔操作者に提供することと
を含む、請求項1に記載のシステム。
【請求項3】
前記自律車両の前記自律動作を解除することは、
前記第2のプロセッサによって該自律車両の該自律動作を遠隔で解除することと、
緊急停止ボタンによって該自律車両の該自律動作を局所的に解除するための前記ユーザに転送される指示を前記遠隔操作者に提供することと
のうちの少なくとも1つを含む、請求項2に記載のシステム。
【請求項4】
前記第2のプロセッサは、
前記自律車両の健康診断に少なくとも部分的に基づいて該自律車両を手動で操作することが安全であるかどうかを決定することと、
該自律車両を手動で操作することが安全であると決定することに応答して、該自律車両を操作することが安全であることを前記ユーザに知らせるための指示を前記遠隔操作者に提供することと、
該自律車両を手動で操作することが安全でないと決定することに応答して、該自律車両を動かすためのけん引トラックを派遣することと
を行うように更に構成される、請求項1に記載のシステム。
【請求項5】
前記自律車両は、スピーカーと、マイクと、ディスプレイスクリーンとを含む該自律車両のキャブ内に1つ以上のユーザインタフェースを更に含み、
前記第2のプロセッサは、
該1つ以上のユーザインタフェースを使用して前記ユーザと前記遠隔操作者との間に第2の通信経路を確立することと、
該第2の通信経路を介して該ユーザに該自律車両に関する前記特定の情報を通信することと
を行うように更に構成される、請求項1に記載のシステム。
【請求項6】
前記補助は、
前記予期せぬ出来事が前記自律車両が関与する前記事故を含むときの緊急補助と、
該予期せぬ出来事が該自律車両の検問を含むときの検問補助と、
該予期せぬ出来事が前記報告要求を含むときの報告補助と
のうちの少なくとも1つを含む、請求項1に記載のシステム。
【請求項7】
前記予期せぬ出来事が前記自律車両の前記検問を含むとき、該予期せぬ出来事に対処するための前記ユーザに転送する指示を前記遠隔操作者に提供することは、
該ユーザによって要求される自律車両に関する情報を電子デバイスに通信することであって、該情報は、
自律機能と、地図データと、ルーティング計画と、センサ機能とのうちの1つ以上を含む該自律車両の自律能力の第1の状態報告と、
該自律車両のデジタル重みと、該自律車両の荷物と、該自律車両のエンジンのデジタル温度とのうちの1つ以上を含む該自律車両の物理的特徴の第2の状態報告と
のうちの少なくとも1つを含む、こと
を含む、請求項1に記載のシステム。
【請求項8】
前記予期せぬ出来事が前記報告要求を含むとき、該予期せぬ出来事に対処するための前記ユーザに転送する指示を前記遠隔操作者に提供することは、該ユーザによって要求された特定の時間範囲における前記自律車両の運転履歴を前記電子デバイスに通信することを含み、該運転履歴は、該自律車両のスピードを含む、請求項1に記載のシステム。
【請求項9】
方法であって、該方法は、
自律車両(AV)の少なくとも1つの車両センサから受信したセンサデータから該自律車両に関する予期せぬ出来事を検出することであって、該予期せぬ出来事は、該自律車両に関する事故、検問および報告要求のうちの少なくとも1つを含む、ことと、
ユーザと関連付けられる電子デバイスからメッセージを受信することであって、
該ユーザは、該電子デバイス上のアプリケーション上で該ユーザに関連付けられるログイン資格証明を確認することによって、認証され、
該メッセージは、該自律車両についての特定の情報にアクセスするための要求を含み、
該メッセージは、該ユーザの場所データを更に含む、
ことと、
該ユーザの該場所データが該自律車両の該場所座標と合致するかどうかを決定することと、
該ユーザの該場所データが該自律車両の該場所座標と合致すると決定することに応答して、該自律車両を該ユーザと関連付けることと、
該予期せぬ出来事に対処するために行われる出来事を記録するための該予期せぬ出来事についてのチケットを生成することと、
該電子デバイスを使用して該ユーザと遠隔操作者との間に通信経路を確立することと、
該通信経路を介して該電子デバイスに該自律車両に関する該特定の情報を通信することと、
該予期せぬ出来事に対処するための補助を提供するための要求を該ユーザから受信することと、
該予期せぬ出来事に対処するための該ユーザに転送する指示を該遠隔操作者に提供することと、
該予期せぬ出来事が対処されているかどうかを決定することと、
該予期せぬ出来事が対処されていると決定することに応答して、該チケットを閉めることと
を含む、方法。
【請求項10】
前記自律車両の健康診断に少なくとも部分的に基づいて該自律車両を手動で操作することが安全であるかどうかを決定することと、
該自律車両を手動で操作することが安全であると決定することに応答して、該自律車両を操作することが安全であることを前記ユーザに知らせるための指示を前記遠隔操作者に提供することと、
該自律車両を手動で操作することが安全でないと決定することに応答して、該自律車両を動かすためのけん引トラックを派遣することと
を更に含む、請求項9に記載の方法。
【請求項11】
スピーカーと、マイクと、ディスプレイスクリーンとを含む前記自律車両のキャブ内の1つ以上のユーザインタフェースを使用して前記ユーザと前記遠隔操作者との間に第2の通信経路を確立することと、
該第2の通信経路を介して該ユーザに該自律車両に関する前記特定の情報を通信することと
を更に含む、請求項9に記載の方法。
【請求項12】
前記予期せぬ出来事に関与する前記自律車両を囲む環境からの1つ以上の画像を前記ユーザから前記通信経路を介して受信することと、
少なくとも該ユーザからの前記データに基づいて、
該予期せぬ出来事に関連付けられるセンサデータを更新することと、
該予期せぬ出来事に対処するための該ユーザに転送する指示を更新することと
を更に含む、請求項9に記載の方法。
【請求項13】
前記予期せぬ出来事が前記自律車両の前記検問を含むとき、該予期せぬ出来事に対処するための前記ユーザに転送する指示を前記遠隔操作者に提供することは、
該ユーザによって要求される自律車両に関する情報を電子デバイスに通信することであって、該情報は、
自律機能と、地図データと、ルーティング計画と、センサ機能とのうちの1つ以上を含む該自律車両の自律能力の第1の状態報告と、
該自律車両のデジタル重みと、該自律車両の荷物と、該自律車両のエンジンのデジタル温度とのうちの1つ以上を含む該自律車両の物理的特徴の第2の状態報告と
のうちの少なくとも1つを含む、こと
を含む、請求項9に記載の方法。
【請求項14】
前記予期せぬ出来事が対処されていることを示す確認信号を前記ユーザから受信することと、
該確認信号を受信することに応答して、該予期せぬ出来事が対処されていることを決定することと
を更に含む、請求項9に記載の方法。
【請求項15】
非一時的コンピュータ読み取り可能媒体において記憶されている実行可能な指示を含むコンピュータプログラムであって、該コンピュータプログラムは、1つ以上のプロセッサによって実行されるとき、該1つ以上のプロセッサに、
自律車両(AV)の少なくとも1つの車両センサから受信したセンサデータから該自律車両に関する予期せぬ出来事を検出することであって、該予期せぬ出来事は、該自律車両に関する事故、検問および報告要求のうちの少なくとも1つを含む、ことと、
ユーザと関連付けられる電子デバイスからメッセージを受信することであって、
該ユーザは、該電子デバイス上のアプリケーション上で該ユーザに関連付けられるログイン資格証明を確認することによって、認証され、
該メッセージは、該自律車両についての特定の情報にアクセスするための要求を含み、
該メッセージは、該ユーザの場所データを更に含む、
ことと、
該ユーザの該場所データが該自律車両の該場所座標と合致するかどうかを決定することと、
該ユーザの該場所データが該自律車両の該場所座標と合致すると決定することに応答して、該自律車両を該ユーザと関連付けることと、
該予期せぬ出来事に対処するために行われる出来事を記録するための該予期せぬ出来事についてのチケットを生成することと、
該電子デバイスを使用して該ユーザと遠隔操作者との間に通信経路を確立することと、
該通信経路を介して該電子デバイスに該自律車両に関する該特定の情報を通信することと、
該予期せぬ出来事に対処するための補助を提供するための要求を該ユーザから受信することと、
該予期せぬ出来事に対処するための該ユーザに転送する指示を該遠隔操作者に提供することと、
該予期せぬ出来事が対処されているかどうかを決定することと、
該予期せぬ出来事が対処されていると決定することに応答して、該チケットを閉めることと
を行わせる、コンピュータプログラム。
【請求項16】
前記ユーザに関連付けられる前記電子デバイスから前記メッセージを受信することは、
該電子デバイス上にインストールされたアプリケーションから該メッセージを受信することであって、該アプリケーションは、前記自律車両と信号通信するオペレーションサーバと関連付けられる、ことと、
該電子デバイス上にインストールされた第三者アプリケーションからメッセージを受信することと
のうちの少なくとも1つを含む、請求項15に記載のコンピュータプログラム。
【請求項17】
前記予期せぬ出来事が前記自律車両が関与する前記事故を含むとき、該予期せぬ出来事に対処するための前記ユーザに転送する指示を前記遠隔操作者に提供することは、
該ユーザが該自律車両のキャブに入ることを遠隔で許可することと、
該自律車両の自律動作を解除することと、
イグニッションキーなしで該自律車両を手動で操作するための該ユーザに転送する指示を該遠隔操作者に提供することと
を含む、請求項15に記載のコンピュータプログラム。
【請求項18】
前記1つ以上のプロセッサは、
前記自律車両の健康診断に少なくとも部分的に基づいて該自律車両を手動で操作することが安全であるかどうかを決定することと、
該自律車両を手動で操作することが安全であると決定することに応答して、該自律車両を操作することが安全であることを前記ユーザに知らせるための指示を前記遠隔操作者に提供することと、
該自律車両を手動で操作することが安全でないと決定することに応答して、該自律車両を動かすためのけん引トラックを派遣することと
を行うように更に構成される、請求項15に記載のコンピュータプログラム。
【請求項19】
前記1つ以上のプロセッサは、
スピーカーと、マイクと、ディスプレイスクリーンとを含む前記自律車両のキャブ内の1つ以上のユーザインタフェースを使用して前記ユーザと前記遠隔操作者との間に第2の通信経路を確立することと、
該第2の通信経路を介して該ユーザに該自律車両に関する前記特定の情報を通信することと
を行うように更に構成される、請求項16に記載のコンピュータプログラム。
【請求項20】
前記予期せぬ出来事が前記自律車両の前記検問を含むとき、該予期せぬ出来事に対処するための前記ユーザに転送する指示を前記遠隔操作者に提供することは、
該ユーザによって要求される自律車両に関する情報を電子デバイスに通信することであって、該情報は、
自律機能と、地図データと、ルーティング計画と、センサ機能とのうちの1つ以上を含む該自律車両の自律能力の第1の状態報告と、
該自律車両のデジタル重みと、該自律車両の荷物と、該自律車両のエンジンのデジタル温度とのうちの1つ以上を含む該自律車両の物理的特徴の第2の状態報告と
のうちの少なくとも1つを含む、こと
を含む、請求項16に記載のコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、概して自律車両に関する。より具体的には、本開示は、自律車両用応答者監督システムに関する。
【背景技術】
【0002】
自律車両技術における1つの目的は、目的地に向けて安全にナビゲートすることができる車両を提供することである。いくつかの場合において、自律車両は、目的地に向かう途中で予期せぬ状況に遭遇し得る。例えば、自律車両は、事故または検問に関与し得るか、もしくは警官に呼び止められ得る。今日の自律車両技術は、特定の予期せぬ状況への遭遇を計算に入れるように構成されていない場合がある。
【発明の概要】
【課題を解決するための手段】
【0003】
本開示は、予期せぬ出来事への自律車両(AV)の関与に関する様々な問題およびこれまで満たされてこなかった要求を認識する。例えば、今日の自律車両技術は、自律車両が予期せぬ出来事に遭遇する状況を計算に入れるように構成されていない場合がある。本開示の特定の実施形態は、自律車両が関与する予期せぬ出来事を解消するために自律車両にいるユーザ(例えば、第1応答者、警官、緊急隊員等)との連携を容易にすることによって、上記の問題を含む自律車両技術の技術的問題に対して独自の技術的解決策を提供する。予期せぬ出来事のいくつかの例として、自律車両が、事故または検問に関与する場合、警官等のユーザに報告を提供するために停車させられる場合(即ち、予期せぬ停車に遭遇する場合)、および、計画外のリルート状態に遭遇する場合(例えば、道路閉鎖、道路リルート標識等に遭遇する場合)が含まれるが、限定されない。
【0004】
1つの実施形態において、システムは、自律車両(AV)と、制御サブシステムと、オペレーションサーバとを含む。自律車両は、自律車両にある少なくとも1つの車両センサを含む。制御サブシステムは、自律車両と関連付けられかつ第1のプロセッサを含む。第1のプロセッサは、自律車両の少なくとも1つの車両センサからセンサデータを受信するように構成され、センサデータは、自律車両の場所座標を含む。第1のプロセッサは、オペレーションサーバにセンサデータを通信する。
【0005】
オペレーションサーバは、制御サブシステムと通信可能に連結される。オペレーションサーバは、メモリと動作可能に連結された第2のプロセッサを含む。オペレーションサーバのメモリは、ユーザのログイン資格証明をアプリケーションに記憶するように動作可能であり、それによってユーザは、自律車両に関する情報にアクセスする権限を与えられる。
【0006】
第2のプロセッサは、センサデータから自律車両に関する予期せぬ出来事を検出するように構成される。予期せぬ出来事は、自律車両に関する事故、検問および報告要求のうちの少なくとも1つを含む。第2のプロセッサは、ユーザに関連付けられる電子デバイスからメッセージを受信し、メッセージは、自律車両についての特定の情報にアクセスするための要求とユーザの場所データとを含む。第2のプロセッサは、ユーザの場所データが自律車両の場所座標と合致するかどうかを決定する。第2のプロセッサは、ユーザの場所データが自律車両の場所座標と合致すると決定することに応答して、自律車両をユーザと関連付ける。第2のプロセッサは、予期せぬ出来事についてのチケットを生成し、予期せぬ出来事に対処するために行われる出来事を記録する。第2のプロセッサは、電子デバイスを使用してユーザと遠隔操作者との間に通信経路を確立する。第2のプロセッサは、通信経路を介して電子デバイスに自律車両に関する特定の情報を通信する。第2のプロセッサは、予期せぬ出来事に対処するための補助を提供するための要求をユーザから受信する。第2のプロセッサは、予期せぬ出来事に対処するためにユーザに転送する指示を遠隔操作者に提供する。第2のプロセッサは、予期せぬ出来事が対処されているかどうかを決定する。第2のプロセッサは、予期せぬ出来事が対処されていると決定することに応答して、チケットを閉じる。
【0007】
開示されたシステムは、以下を含むいくつかの実用的な適用および技術的利点を提供する:1)ユーザの場所データが自律車両の場所座標と合致または対応すると決定することに基づいて自律車両にいるユーザを自律車両と自動的に関連付ける技術;2)ユーザの電子デバイスを使用して自律車両にいるユーザとの通信経路を確立する技術であって、それによってユーザは、予期せぬ出来事を解消するために自律車両についての特定の情報を要求することが可能となる、技術;3)予期せぬ出来事を解消するために特定の持続時間におけるセンサデータ等の自律車両に関する特定の情報を決定しかつユーザに通信する技術;4)ユーザが自律車両のキャブに入ることを遠隔で許可する技術;5)ユーザに特定の情報を通信するためのキャブ内通信モジュールからのユーザとの第2の通信経路を確立する技術;6)自律車両の自律機能を遠隔で解除する技術;および7)自律車両の自律機能の局所解除のための緊急停止ボタンを利用する技術。
【0008】
このように、本開示において説明されるシステムは、自律車両が関与する予期せぬ出来事の対処および解消のためのより効率的で安全かつ信頼できる解決策を決定する特定のアプリケーションに統合され得る。例えば、自律車両が事故に関与する場合、開示されたシステムは、事故を解消するための緊急補助を提供するためにユーザに転送される特定の情報および指示を提供する。特定の情報は、事故が発生した特定の持続時間のセンサデータを含み得る。特定の指示は、自律車両のキャブに入るための指示(遠隔でキャブの入口ドアの鍵を開けるとき)、自律車両の自律機能を局所的に解除するための指示、道路の脇に自律車両を停車させるために自律車両を手動で操作するための指示を含み得る。自律車両が車両との事故に関与するという特定の例において、特定の情報は、事故の最中に記録されたセンサデータからの画像/映像フィードを含み得る。このように、画像/映像フィードにアクセスすることおよび画像/映像フィードを調べることによって、ユーザは、自らの車両内で動けなくなった他の車両の搭乗者を補助するためのより安全な方法を決定することが可能となり得る。このように、開示されたシステムは、自律車両との事故に関与する他の車両の搭乗者の安全性を改善する追加の特定のアプリケーションを提供し得る。
【0009】
別の例において、自律車両が検問されることを要求される場合、開示されたシステムは、検問を実施および完了するための検問補助を提供するためにユーザに転送される特定の情報を提供する。特定の情報は、健康状態報告、物理的特徴状態報告(例えば、重さ、荷物、タイヤ膨張、システムの温度等)および自律能力状態報告(例えば、自律アルゴリズム/機能、センサ機能、地図データ、ルート計画等)等の自律車両と関連付けられる1つ以上の項目を検問チェックリストに含み得る。
【0010】
別の例において、自律車両がユーザに報告を提供するように要求された場合、開示されたシステムは、ユーザの要求を満たすためにユーザに転送される特定の情報を提供する。特定の情報は、操舵情報、スピード情報(即ち、加速度計測値)、ブレーキ情報および健康状態報告等の自律車両と関連付けられる特定の持続時間の自律車両の運転履歴のうちの1つ以上を含み得る。このように、開示されたシステムは、予期せぬ状況/出来事を計算に入れることおよび自律車両が関与する予期せぬ状況を解消するために自律車両にいるユーザと連携することによって、自律車両技術を改善し得る。
【0011】
本開示の特定の実施形態は、これらの利点をいくつかまたは全て含み得るか、または1つも含まなくてもよい。これらの利点および他の特徴は、添付の図面および特許請求の範囲と併せて参照される以下の詳細な説明によってより明確に理解される。
本発明は、例えば、以下の項目を提供する。
(項目1)
システムであって、該システムは、
自律車両上にある少なくとも1つの車両センサを含む自律車両(AV)であって、該自律車両は、道路上にある、自律車両(AV)と、
該自律車両と関連付けられかつ第1のプロセッサを含む制御サブシステムであって、該第1のプロセッサは、
該自律車両の該少なくとも1つの車両センサからセンサデータを受信することであって、該センサデータは、該自律車両の場所座標を含む、ことと、
オペレーションサーバに該センサデータを通信することと
を行うように構成される、制御サブシステムと
を含み、
該制御サブシステムと通信可能に連結される該オペレーションサーバは、
アプリケーションにユーザのログイン資格証明を記憶するために動作可能であるメモリであって、それによって該ユーザは、該自律車両に関する情報にアクセスする権限が与えられる、メモリと、
該メモリと動作可能に連結される第2のプロセッサであって、該第2のプロセッサは、
該センサデータから該自律車両に関する予期せぬ出来事を検出することであって、該予期せぬ出来事は、該自律車両に関する事故、検問および報告要求のうちの少なくとも1つを含む、ことと、
該ユーザと関連付けられる電子デバイスからメッセージを受信することであって、
該メッセージは、該自律車両に関する特定の情報にアクセスするための要求を含み、
該メッセージは、該ユーザの場所データを更に含む、
ことと、
該ユーザの該場所データが該自律車両の該場所座標と合致するかどうかを決定することと、
該ユーザの該場所データが該自律車両の該場所座標と合致すると決定することに応答して、該自律車両を該ユーザと関連付けることと、
該予期せぬ出来事に対処するために行われる出来事を記録するための該予期せぬ出来事についてのチケットを生成することと、
該電子デバイスを使用して該ユーザと遠隔操作者との間に通信経路を確立することと、
該通信経路を介して該電子デバイスに該自律車両に関する該特定の情報を通信することと、
該予期せぬ出来事に対処するための補助を提供するための要求を該ユーザから受信することと、
該予期せぬ出来事に対処するための該ユーザに転送する指示を該遠隔操作者に提供することと、
該予期せぬ出来事が対処されているかどうかを決定することと、
該予期せぬ出来事が対処されていると決定することに応答して、該チケットを閉めることと
を行うように構成される、第2のプロセッサと
を含む、システム。
(項目2)
上記予期せぬ出来事が上記自律車両が関与する上記事故を含むとき、該予期せぬ出来事に対処するための上記ユーザに転送する指示を上記遠隔操作者に提供することは、
該ユーザが該自律車両のキャブに入ることを遠隔で許可することと、
該自律車両の自律動作を解除することと、
イグニッションキーなしで該自律車両を手動で操作するための該ユーザに転送する指示を該遠隔操作者に提供することと
を含む、上記項目に記載のシステム。
(項目3)
上記自律車両の上記自律動作を解除することは、
上記第2のプロセッサによって該自律車両の該自律動作を遠隔で解除することと、
緊急停止ボタンによって該自律車両の該自律動作を局所的に解除するための上記ユーザに転送される指示を上記遠隔操作者に提供することと
のうちの少なくとも1つを含む、上記項目のいずれかに記載のシステム。
(項目4)
上記第2のプロセッサは、
上記自律車両の健康診断に少なくとも部分的に基づいて該自律車両を手動で操作することが安全であるかどうかを決定することと、
該自律車両を手動で操作することが安全であると決定することに応答して、該自律車両を操作することが安全であることを上記ユーザに知らせるための指示を上記遠隔操作者に提供することと、
該自律車両を手動で操作することが安全でないと決定することに応答して、該自律車両を動かすためのけん引トラックを派遣することと
を行うように更に構成される、上記項目のいずれかに記載のシステム。
(項目5)
上記自律車両は、スピーカーと、マイクと、ディスプレイスクリーンとを含む該自律車両のキャブ内に1つ以上のユーザインタフェースを更に含み、
上記第2のプロセッサは、
該1つ以上のユーザインタフェースを使用して上記ユーザと上記遠隔操作者との間に第2の通信経路を確立することと、
該第2の通信経路を介して該ユーザに該自律車両に関する上記特定の情報を通信することと
を行うように更に構成される、上記項目のいずれかに記載のシステム。
(項目6)
上記補助は、
上記予期せぬ出来事が上記自律車両が関与する上記事故を含むときの緊急補助と、
該予期せぬ出来事が該自律車両の検問を含むときの検問補助と、
該予期せぬ出来事が上記報告要求を含むときの報告補助と
のうちの少なくとも1つを含む、上記項目のいずれかに記載のシステム。
(項目7)
上記予期せぬ出来事が上記自律車両の上記検問を含むとき、該予期せぬ出来事に対処するための上記ユーザに転送する指示を上記遠隔操作者に提供することは、
該ユーザによって要求される自律車両に関する情報を電子デバイスに通信することであって、該情報は、
自律機能と、地図データと、ルーティング計画と、センサ機能とのうちの1つ以上を含む該自律車両の自律能力の第1の状態報告と、
該自律車両のデジタル重みと、該自律車両の荷物と、該自律車両のエンジンのデジタル温度とのうちの1つ以上を含む該自律車両の物理的特徴の第2の状態報告と
のうちの少なくとも1つを含む、こと
を含む、上記項目のいずれかに記載のシステム。
(項目8)
上記予期せぬ出来事が上記報告要求を含むとき、該予期せぬ出来事に対処するための上記ユーザに転送する指示を上記遠隔操作者に提供することは、該ユーザによって要求された特定の時間範囲における上記自律車両の運転履歴を上記電子デバイスに通信することを含み、該運転履歴は、該自律車両のスピードを含む、上記項目のいずれかに記載のシステム。
(項目9)
方法であって、該方法は、
自律車両(AV)の少なくとも1つの車両センサから受信したセンサデータから該自律車両に関する予期せぬ出来事を検出することであって、該予期せぬ出来事は、該自律車両に関する事故、検問および報告要求のうちの少なくとも1つを含む、ことと、
ユーザと関連付けられる電子デバイスからメッセージを受信することであって、
該ユーザは、該電子デバイス上のアプリケーション上で該ユーザに関連付けられるログイン資格証明を確認することによって、認証され、
該メッセージは、該自律車両についての特定の情報にアクセスするための要求を含み、
該メッセージは、該ユーザの場所データを更に含む、
ことと、
該ユーザの該場所データが該自律車両の該場所座標と合致するかどうかを決定することと、
該ユーザの該場所データが該自律車両の該場所座標と合致すると決定することに応答して、該自律車両を該ユーザと関連付けることと、
該予期せぬ出来事に対処するために行われる出来事を記録するための該予期せぬ出来事についてのチケットを生成することと、
該電子デバイスを使用して該ユーザと遠隔操作者との間に通信経路を確立することと、
該通信経路を介して該電子デバイスに該自律車両に関する該特定の情報を通信することと、
該予期せぬ出来事に対処するための補助を提供するための要求を該ユーザから受信することと、
該予期せぬ出来事に対処するための該ユーザに転送する指示を該遠隔操作者に提供することと、
該予期せぬ出来事が対処されているかどうかを決定することと、
該予期せぬ出来事が対処されていると決定することに応答して、該チケットを閉めることと
を含む、方法。
(項目10)
上記自律車両の健康診断に少なくとも部分的に基づいて該自律車両を手動で操作することが安全であるかどうかを決定することと、
該自律車両を手動で操作することが安全であると決定することに応答して、該自律車両を操作することが安全であることを上記ユーザに知らせるための指示を上記遠隔操作者に提供することと、
該自律車両を手動で操作することが安全でないと決定することに応答して、該自律車両を動かすためのけん引トラックを派遣することと
を更に含む、上記項目のいずれかに記載の方法。
(項目11)
スピーカーと、マイクと、ディスプレイスクリーンとを含む上記自律車両のキャブ内の1つ以上のユーザインタフェースを使用して上記ユーザと上記遠隔操作者との間に第2の通信経路を確立することと、
該第2の通信経路を介して該ユーザに該自律車両に関する上記特定の情報を通信することと
を更に含む、上記項目のいずれかに記載の方法。
(項目12)
上記予期せぬ出来事に関与する上記自律車両を囲む環境からの1つ以上の画像を上記ユーザから上記通信経路を介して受信することと、
少なくとも該ユーザからの上記データに基づいて、
該予期せぬ出来事に関連付けられるセンサデータを更新することと、
該予期せぬ出来事に対処するための該ユーザに転送する指示を更新することと
を更に含む、上記項目のいずれかに記載の方法。
(項目13)
上記予期せぬ出来事が上記自律車両の上記検問を含むとき、該予期せぬ出来事に対処するための上記ユーザに転送する指示を上記遠隔操作者に提供することは、
該ユーザによって要求される自律車両に関する情報を電子デバイスに通信することであって、該情報は、
自律機能と、地図データと、ルーティング計画と、センサ機能とのうちの1つ以上を含む該自律車両の自律能力の第1の状態報告と、
該自律車両のデジタル重みと、該自律車両の荷物と、該自律車両のエンジンのデジタル温度とのうちの1つ以上を含む該自律車両の物理的特徴の第2の状態報告と
のうちの少なくとも1つを含む、こと
を含む、上記項目のいずれかに記載の方法。
(項目14)
上記予期せぬ出来事が対処されていることを示す確認信号を上記ユーザから受信することと、
該確認信号を受信することに応答して、該予期せぬ出来事が対処されていることを決定することと
を更に含む、上記項目のいずれかに記載の方法。
(項目15)
非一時的コンピュータ読み取り可能媒体において記憶されている実行可能な指示を含むコンピュータプログラムであって、該コンピュータプログラムは、1つ以上のプロセッサによって実行されるとき、該1つ以上のプロセッサに、
自律車両(AV)の少なくとも1つの車両センサから受信したセンサデータから該自律車両に関する予期せぬ出来事を検出することであって、該予期せぬ出来事は、該自律車両に関する事故、検問および報告要求のうちの少なくとも1つを含む、ことと、
ユーザと関連付けられる電子デバイスからメッセージを受信することであって、
該ユーザは、該電子デバイス上のアプリケーション上で該ユーザに関連付けられるログイン資格証明を確認することによって、認証され、
該メッセージは、該自律車両についての特定の情報にアクセスするための要求を含み、
該メッセージは、該ユーザの場所データを更に含む、
ことと、
該ユーザの該場所データが該自律車両の該場所座標と合致するかどうかを決定することと、
該ユーザの該場所データが該自律車両の該場所座標と合致すると決定することに応答して、該自律車両を該ユーザと関連付けることと、
該予期せぬ出来事に対処するために行われる出来事を記録するための該予期せぬ出来事についてのチケットを生成することと、
該電子デバイスを使用して該ユーザと遠隔操作者との間に通信経路を確立することと、
該通信経路を介して該電子デバイスに該自律車両に関する該特定の情報を通信することと、
該予期せぬ出来事に対処するための補助を提供するための要求を該ユーザから受信することと、
該予期せぬ出来事に対処するための該ユーザに転送する指示を該遠隔操作者に提供することと、
該予期せぬ出来事が対処されているかどうかを決定することと、
該予期せぬ出来事が対処されていると決定することに応答して、該チケットを閉めることと
を行わせる、コンピュータプログラム。
(項目16)
上記ユーザに関連付けられる上記電子デバイスから上記メッセージを受信することは、
該電子デバイス上にインストールされたアプリケーションから該メッセージを受信することであって、該アプリケーションは、上記自律車両と信号通信するオペレーションサーバと関連付けられる、ことと、
該電子デバイス上にインストールされた第三者アプリケーションからメッセージを受信することと
のうちの少なくとも1つを含む、上記項目のいずれかに記載のコンピュータプログラム。
(項目17)
上記予期せぬ出来事が上記自律車両が関与する上記事故を含むとき、該予期せぬ出来事に対処するための上記ユーザに転送する指示を上記遠隔操作者に提供することは、
該ユーザが該自律車両のキャブに入ることを遠隔で許可することと、
該自律車両の自律動作を解除することと、
イグニッションキーなしで該自律車両を手動で操作するための該ユーザに転送する指示を該遠隔操作者に提供することと
を含む、上記項目のいずれかに記載のコンピュータプログラム。
(項目18)
上記1つ以上のプロセッサは、
上記自律車両の健康診断に少なくとも部分的に基づいて該自律車両を手動で操作することが安全であるかどうかを決定することと、
該自律車両を手動で操作することが安全であると決定することに応答して、該自律車両を操作することが安全であることを上記ユーザに知らせるための指示を上記遠隔操作者に提供することと、
該自律車両を手動で操作することが安全でないと決定することに応答して、該自律車両を動かすためのけん引トラックを派遣することと
を行うように更に構成される、上記項目のいずれかに記載のコンピュータプログラム。
(項目19)
上記1つ以上のプロセッサは、
スピーカーと、マイクと、ディスプレイスクリーンとを含む上記自律車両のキャブ内の1つ以上のユーザインタフェースを使用して上記ユーザと上記遠隔操作者との間に第2の通信経路を確立することと、
該第2の通信経路を介して該ユーザに該自律車両に関する上記特定の情報を通信することと
を行うように更に構成される、上記項目のいずれかに記載のコンピュータプログラム。
(項目20)
上記予期せぬ出来事が上記自律車両の上記検問を含むとき、該予期せぬ出来事に対処するための上記ユーザに転送する指示を上記遠隔操作者に提供することは、
該ユーザによって要求される自律車両に関する情報を電子デバイスに通信することであって、該情報は、
自律機能と、地図データと、ルーティング計画と、センサ機能とのうちの1つ以上を含む該自律車両の自律能力の第1の状態報告と、
該自律車両のデジタル重みと、該自律車両の荷物と、該自律車両のエンジンのデジタル温度とのうちの1つ以上を含む該自律車両の物理的特徴の第2の状態報告と
のうちの少なくとも1つを含む、こと
を含む、上記項目のいずれかに記載のコンピュータプログラム。
(摘要)
システムは、センサと、制御サブシステムと、オペレーションサーバとを含む自律車両(AV)を含む。制御サブシステムは、センサから自律車両の場所座標を含むセンサデータを受信する。オペレーションサーバは、センサデータから事故、検問および報告要求のうちの少なくとも1つを含む予期せぬ出来事を検出する。オペレーションサーバは、自律車両についての特定の情報にアクセスするための要求と場所データとを含むメッセージをユーザから受信する。オペレーションサーバは、自律車両の場所座標がユーザの場所データと合致するとき、自律車両をユーザと関連付ける。オペレーションサーバは、予期せぬチケットについてのチケットを生成する。オペレーションサーバは、ユーザに特定の情報を通信する。オペレーションサーバは、ユーザからの要求に基づいてユーザに転送される指示を提供する。オペレーションサーバは、予期せぬ出来事が対処されている場合、チケットを閉める。
【図面の簡単な説明】
【0012】
本開示のより完全な理解のために、同じ参照数字は同じ部分を表している添付の図面および詳細な説明と併せて、以下の簡単な説明が参照される。
【0013】
図1A図1A~1Cは、本開示の特定の実施形態に従った自律車両が関与する予期せぬ出来事の例の簡略化された概略図を示す。
図1B図1A~1Cは、本開示の特定の実施形態に従った自律車両が関与する予期せぬ出来事の例の簡略化された概略図を示す。
図1C図1A~1Cは、本開示の特定の実施形態に従った自律車両が関与する予期せぬ出来事の例の簡略化された概略図を示す。
【0014】
図2図2は、自律車両が関与する予期せぬ出来事を解消するために自律車両にいるユーザと連携するための例示的システムを示す。
【0015】
図3図3は、図2に示される自律車両の制御サブシステムのブロック図を示す。
【0016】
図4図4は、図2に示されるオペレーションサーバのブロック図を示す。
【0017】
図5図5は、自律車両が関与する予期せぬ出来事を解消するために自律車両にいるユーザと連携するための方法の例示的フローチャートを示す。
【0018】
図6図6は、自律運転操作を実装するように構成された例示的自律車両のブロック図を示す。
【0019】
図7図7は、図6の自律車両によって使用される自律運転操作を提供するための例示的システムを示す。
【0020】
図8図8は、図6の自律車両に含まれる車両内制御コンピュータのブロック図を示す。
【発明を実施するための形態】
【0021】
上述のように、従来の技術は、自律車両が関与する予期せぬ出来事の対処および解消のための効率的な信頼できかつ安全な解決策を提供することに失敗し得る。本開示は、自律車両が関与する様々な予期せぬ出来事の対処および解消のための準備を提供することによって自律車両技術を改善するための様々なシステムおよび方法を提供する。
(予期せぬ出来事の例)
【0022】
図1A~1Cは、自律車両602が関与する例示的な予期せぬ出来事100の簡略化された概略図を示す。1つの実施形態において、自律車両602は、ある場所から別の場所へ荷物または貨物を輸送するためにトレーラーに取り付けられたセミトラックトラクタユニットを含み得る(図6参照)。本開示において、セミトラックトラクタは、自律車両602のキャブとして参照され得る。自律車両602は、図6~8において詳細に説明される複数の構成要素によってナビゲートされる。自律車両602の操作は、以下で図6においてより詳細に説明される。以下の対応する説明は、自律車両602の特定の構成要素についての簡単な説明を含む。
【0023】
要するに、自律車両602は、自律車両602の自律運転を容易にするように操作される制御サブシステム300を含む。自律車両602の制御サブシステム300は、概して自律車両602の他の構成要素と信号通信する1つ以上のコンピューティングデバイスを含む(図6参照)。制御サブシステム300は、概して自律車両602およびその構成要素の操作を制御するように構成される。制御サブシステム300は、自律車両602の前にある走行するのに安全でありかつ物体/妨害物のない進路を決定することと、その進路を走行するように自律車両602をナビゲートすることとを行うように更に構成される。この過程は、図3、4および6~8においてより詳細に説明される。
【0024】
要するに、制御サブシステム300は、走行するのに安全な進路を決定するために自律車両602上に位置付けられた1つ以上のセンサ646からセンサデータ310を受信する。センサデータ310は、センサ646によって捕捉されたデータを含む。センサ646は、物体の中でも、目印、車線区分線、車線境界線、道路境界線、車両、歩行者、道路/交通標識等の、それらの検出区域または視野の中の一切の物体を捕捉するように構成される。センサ646は、カメラ、LiDARセンサ、動きセンサ、赤外線センサ等を含み得る。1つの実施形態において、センサ646は、自律車両602を囲む環境を捕捉するために自律車両602の周りに位置付けられ得る。いくつかの場合において、センサデータ310は、予期せぬ出来事100を示す1つ以上の表示を含み得る。いくつかの例において、自律車両602が関与する予期せぬ出来事100は、概して、事故110(図1Aにおいて説明される)、検問120(図1Bにおいて説明される)および報告要求130(図1Cにおいて説明される)のうちの少なくとも1つを含む。
(事故例)
【0025】
図1Aは、予期せぬ出来事100の簡略化された概略図を示し、予期せぬ出来事100は、事故110を含む。図1Aにおいて示されるように、自律車両602は、道路112上での事故が原因で立ち往生している。例えば、自律車両602が道路112上を走っていたとき、自律車両602のセンサ646が、自律車両602の経路上で自律車両602までの距離が短くなっていっていた物体116の存在を捕捉すると想定されたい。このように、センサ646によって捕捉されるセンサデータ310は、物体116から自律車両602への短くなっていっている距離を示し得る。加えて、自律車両602が物体116を避けるための操縦を試みることに関わらず、物体116との衝撃があると想定されたい。このように、センサデータ310は、物体116との衝撃または衝突を更に示し得る。一旦センサ646が衝撃を検出すると、自律車両602は、その場で停止し得る、即ち、ブレーキ648bが適用される(図6参照)。このように、事故110に関するセンサデータ310は、自律車両602の予期せぬ停止も示し得る。自律車両602が事故110に関与したことを示す1つ以上の表示を検出することに応答して、自律車両602の自律能力は、停止させられ得、自律車両602は、立ち往生させられ得る。
【0026】
このような場合、第1のユーザ140aは、事故110に対処(および可能であれば解消)するために緊急補助114を提供するために事故110の現場に到着し得る。第1のユーザ140aは、警官、緊急隊員等の事故110の現場での第1の応答者であり得る。第1のユーザ140aは、認証されるときに緊急補助114を提供することができるように、自律車両602についての特定の情報を要求するために自身の電子デバイス150を使用してオペレーションサーバ400(図2参照)との通信を開始し得る。このシナリオは、図2と併せてより詳細に説明される。
(検問例)
【0027】
図1Bは、予期せぬ出来事100の簡略化された概略図を示し、予期せぬ出来事100は、検問120を含む。1つの実施形態において、検問120は、スポット検問または道路脇検問を含み得る。このシナリオは、以下で図1Bにおいて更に説明される。1つの実施形態において、検問120は、検問ステーション122で行われ得る。1つの実施形態において、検問ステーション122は、秤量所である。図1Bに示されるように、自律車両602は、検問されるために検問ステーション122に駐車させられる。
【0028】
一般的に、検問ステーション122は、自律車両602を含む車両が第2のユーザ140bによって検問されるために駐車することを求められ得る場所である。例えば、自律車両602が道路上を走っている最中、自律車両602が検問ステーション122に駐車することを求められることを示す1つ以上の表示をセンサ646が検出すると想定されたい。例えば、センサ646は、自律車両602の前方にある検問道路標識の存在を捕捉し得る。このように、センサデータ310は、検問道路標識を示す、画像フィード、映像フィード、LiDARフィード等のうちの1つ以上を含み得る。
【0029】
別の例において、検問120に関するセンサデータ310は、検問ステーション122に駐車することを示す自律車両602においてインストールされるアプリケーション(および/またはトランスポンダ)によって受信される信号を含み得る。アプリケーション(および/またはトランスポンダ)は、自律車両602のシステムおよび検問ステーション122と信号通信し、自律車両602が検問ステーション122に駐車することを要求されていることか、または自律車両602の検問が要求されておらず自律車両602は検問ステーション122での検問120を回避し得ることを示す信号を受信することができる。センサ646が検問ステーション122に駐車するための1つ以上の表示を受信するとき、自律車両602は、それらの表示に従って検問ステーション122に駐車し得る。そのような場合、第2のユーザ140bは、検問120に対処(および解消)するための検問補助124を提供し得る。
【0030】
検問120を開始するために、第2のユーザ140bは、自身の電子デバイス150からオペレーションサーバ400(図2参照)との通信を開始して、認証されるときに検問補助124を提供し得る。検問120の最中、第2のユーザ140bは、自律車両602についての特定の情報を要求し得る。特定の例において、特定の情報は、道路安全法令規則に従い得る。このシナリオは、図2と併せて詳細に説明される。
【0031】
1つの実施形態において、検問120は、スポット検問または道路脇検問を含み得る。例えば、自律車両602が道路上を走っている最中、自律車両602がスポット/道路脇検問地点に到着すると想定されたい。このように、センサ646は、例えば、検問道路標識、(自律車両602の前方で)検問停止標識を持っているユーザ140b等の存在を検出することによって、自律車両602がスポット検問地点に到着することを示す1つ以上の表示を検出する。このように、制御サブシステム300は、自律車両602を検問停止地点で停車させる。自律車両602が検問ステーション122に駐車することを要求されているという表示は、固定された道路標識、点灯されたマーキー、変更可能な標識、ラジオ信号およびオーディオ信号等を含み得る。
(報告要求例)
【0032】
図1Cは、予期せぬ出来事100の簡略化された概略図を示し、予期せぬ出来事100は、第3のユーザ140c(例えば、警官)からの報告要求130を含む。例えば、自律車両602が道路132上を走っており、自律車両602の1つ以上の局面の状態報告134を提供するように第3のユーザ140cが自律車両602に合図したと想定されたい。いくつかの例において、状態報告134は、中でも、自律車両602の運転履歴、自律車両602の健康診断に関し得る。
【0033】
第1の例において、状態報告134が自律車両602の運転履歴に関すると想定されたい。この特定の例において、自律車両602が道路132上を走っている最中、第3のユーザ140cが自律車両602が道路132のスピード制限を超えてスピードを出していていると想定して自律車両602に停車するように合図したと想定されたい。第3のユーザ140cは、自身の車両のサイレンを鳴らすこと、スピーカーから停車するように指示すること、自身の車両のビーコンおよびフラッシュライトを点灯すること等を含む1つ以上の方法によって、停車するように自律車両602に合図し得る。センサ646は、これらの表示を検出してそれらの表示に対応するセンサデータ310を生成することができる。
【0034】
例えば、そのような場合において、センサデータ310は、サイレンのオーディオフィード、スピーカーからの停車をするための指示のオーディオフィード、ビーコンおよび/またはフラッシュライトの画像フィード等の第3のユーザ140cによって自律車両602が合図されていることを示す1つ以上の表示を含み得る。これらの表示のうちの1つ以上を検出することに応答して、自律車両602は、制御サブシステム300によって停車させられる。一旦自律車両602が停車させられると、第3のユーザ140cは、自身の電子デバイス150からオペレーションサーバ400との通信を開始して自律車両602の運転履歴を要求し得る。
【0035】
第2の例において、報告要求130が自律車両602の健康診断に関すると想定されたい。この特定の例において、自律車両602が道路132上を走っている最中、第3のユーザ140cは、自律車両602のブレーキから煙が出ている等、自律車両602の構成要素の故障を観察し得たと想定されたい。第3のユーザ140cは、自身の電子デバイス150からオペレーションサーバ400との通信を開始して自律車両602の健康診断報告を受信することを要求し得る。このシナリオは、以下で更に図2と併せて詳細に説明される。
【0036】
概して、ユーザ140a~cの各々は、自律車両602についての特定の情報にアクセスするための資格証明を取得するためにオペレーションサーバ400(図4参照)に事前登録されている任意の人物であり得る。例えば、ユーザ140a~cは、オペレーションサーバ400に事前登録されている、警官、緊急隊員、整備士、技術者、道路脇補助員、けん引トラック操作者、または他の適切な個人を含み得る。
【0037】
電子デバイス150は、オペレーションサーバ400、制御サブシステム300等の他のコンピューティングデバイスからデータを受信し、他のコンピューティングデバイスへデータを伝送するように構成される任意のコンピューティングデバイスであり得る(図2参照)。電子デバイス150は、例えば、ユーザインタフェースを介して、ユーザ140と通信することができる。電子デバイス150の例として、携帯電話、ノートパソコン、タブレット等が含まれるが、限定されない。電子デバイス150は、ユーザ140と関連付けられ、これは、ユーザ140が上記のようにオペレーションサーバ400等の他のデバイスと通信するために電子デバイス150を使用することを意味する。
(自律車両が関与する予期せぬ出来事を解消するために自律車両にいるユーザと連携するためのシステムの例)
【0038】
図2は、自律車両602が関与する予期せぬ出来事100を解消するために自律車両602にいるユーザ140と連携するためのシステム200の例示的実施形態を示す。システム200は、自律車両602と、その構成要素(制御サブシステム300等)と、オペレーションサーバ400とを含む。システム200は、電子デバイス150と、遠隔操作者216と、互いと通信するためのシステム200の示されたすべての構成要素のための通信経路を提供するネットワーク232とを更に含む。システム200は、示されるように構成されるか、または他の好適な構成であり得る。
【0039】
概して、システム200は、オペレーションサーバ400において自律車両602が関与する予期せぬ出来事100を検出して、自律車両602にいるユーザ140から予期せぬ出来事100に対処するための要求を受信して、予期せぬ出来事100に対処(および可能であれば解消)するためにユーザ140に転送される特定の情報および/または指示を提供する。
【0040】
図1A~1Cについて上述されるように、制御サブシステム300は、物体/妨害物のない安全な進路を走行するように自律車両602をナビゲートするように構成される。そのために、制御サブシステム300は、自律車両602のセンサ646によって捕捉されたセンサデータ310を受信する。制御サブシステム300は、オペレーションサーバ400と信号通信する。制御サブシステム300は、例えば、ネットワーク232を介して、オペレーションサーバ400にセンサデータ310を通信するように構成される。制御サブシステム300は、定期的に(例えば、毎分、数分毎、または任意の他の好適な間隔)、継続的に、かつ/またはオペレーションサーバ400からセンサデータ310を送信するための要求を受信したときに、オペレーションサーバ400にセンサデータ310を通信し得る。制御サブシステム300の更なる説明のために図3の対応する説明を参照されたい。
【0041】
センサデータ310は、自律車両602の場所座標202を含み得る。センサデータ310は、センサ646の視野から捕捉された、画像フィード、映像フィード、LiDARデータフィード、および他のデータ等の自律車両602を囲む環境を説明するデータを更に含み得る。
【0042】
概して、オペレーションサーバ400は、自律車両602の操作を監督するように構成される。オペレーションサーバ400は、自律車両602およびその構成要素と信号通信する。オペレーションサーバ400の更なる説明のために図4の対応する説明を参照されたい。要するに、オペレーションサーバ400は、メモリ404と動作可能に連結されるプロセッサ402を含む。プロセッサ402は、本明細書において説明されるように様々な機能を実施する1つ以上の処理ユニットを含み得る。メモリ404は、その機能を実施するためにプロセッサ402によって使用される一切のデータおよび/または指示を記憶する。例えば、メモリ404は、プロセッサ402によって実行されたときにオペレーションサーバ400に本明細書において説明される1つ以上の機能を実施させるソフトウェア指示410を記憶する。オペレーションサーバ400は、オペレーションサーバ400の機能を実施することに貢献するサーバ等の1つ以上のコンピューティングデバイスを含み得る。1つの実施形態において、オペレーションサーバ400は、分散コンピューティングまたはクラウドコンピューティングが適用されるサーバのクラスタにおいて実装され得る。メモリ404は、局所データベース、クラウドデータベース、ネットワーク接続ストレージ(NAS)等のうちの1つ以上を含み得る。
【0043】
オペレーションサーバ400は、制御サブシステム300からセンサデータ310を受信して、センサデータ310を分析して、それに応答して、図1A~1Cにおいて説明される、事故110、検問120、および報告要求130等の一切の予期せぬ出来事100を検出するように構成される。
【0044】
1つの実施形態において、オペレーションサーバ400は、物体検出機械学習モジュール420を実装することによってセンサデータ310を分析し得る。物体検出機械学習モジュール420の更なる説明のために図4を参照されたい。要するに、物体検出機械学習モジュール420は、画像、映像、赤外線画像、ポイントクラウド、レーダデータ等から物体を検出するためのニューラルネットワークおよび/または機械学習アルゴリズムを使用して実装され得る。
(オペレーションサーバとの通信を開始する)
【0045】
1つの実施形態において、自律車両602が予期せぬ出来事100に関与してユーザ140が現場に到着したと想定されたい。更に、ユーザ140が予期せぬ出来事100に対処するために自律車両602を補助することを望むと想定されたい。ユーザ140が予期せぬ出来事100に対処するために、ユーザ140は、自律車両602についての特定の情報を必要とし得る。特定の情報を取得するために、ユーザ140は、自身の電子デバイス150からオペレーションサーバ400との通信を開始し得る。1つの実施形態において、ユーザ140は、オペレーションサーバ400との通信を開始するためにユーザ140に事前に提供された電話番号に発信し得る。特定の実施形態において、ユーザ140は、オペレーションサーバ400との通信を開始するために電子デバイス150にインストールされるアプリケーション204を使用し得る。
【0046】
アプリケーション204は、概してオペレーションサーバ400との通信を確立して、オペレーションサーバ400からデータを受信し、オペレーションサーバ400へデータを移動させるように構成されるソフトウェア/携帯/ウェブアプリケーションである。アプリケーション204は、ユーザ140とやり取りをするためのユーザインタフェースを含み得る。ユーザ140は、自身のログイン資格証明206を使用してアプリケーション204上の自身のアカウントにログインし得る。
【0047】
図1A~1Cに記載されるように、ユーザ140は、自律車両602についての特定の情報にアクセスする権限を与えるためにオペレーションサーバ400に事前登録された個人である。例えば、ユーザ140は、オペレーションサーバ400で過去に登録過程を経験して、ログイン資格証明206を受信して、アプリケーション204から自律車両602についての特定の情報にアクセスし得る。このように、オペレーションサーバ400は、ユーザ140をアプリケーション204への自身のログインにおいて認証するために、ユーザ140に関連付けられるログイン資格証明206の記録を(メモリ404に)残し得る。
【0048】
1つの実施形態において、アプリケーション204は、オペレーションサーバ400と関連付けられ得る。別の実施形態において、アプリケーション204は、第三者組織と関連付けられる第三者アプリケーション204であり得る。特定の例において、第三者アプリケーション204は、検問ステーション122(図1参照)およびオペレーションサーバ400と関連付けられかつ信号通信し得る。
【0049】
ユーザ140が(自身のログイン資格証明206を使用して)アプリケーション204にログインしてオペレーションサーバ400との通信を開始するとき、オペレーションサーバ400は、例えば、ユーザ140と関連付けられるログイン資格証明206をメモリ404に記憶されている(複数のユーザ140の)ログイン資格証明と比較することによって、ユーザ140を認証する。合致が発見された場合、ユーザ140が認証され、かつ、オペレーションサーバ400との通信が確立される。
【0050】
オペレーションサーバ400との通信が確立されたとき、ユーザ140は、アプリケーション204からオペレーションサーバ400へメッセージ208を送信し得る。例えば、メッセージ208は、自律車両602についての特定の情報220にアクセスするための要求210とユーザ140の場所データ212とを含み得る。ユーザ140の場所データ212は、電子デバイス150のグローバルポジショニングシステム(GPS)座標に対応し得る。
【0051】
メッセージ208を受信するとき、オペレーションサーバ400は、自律車両602の場所座標202がユーザ140の場所データ212と合致するかどうかを決定し得る。自律車両602の場所座標202がユーザ140の場所データ212と合致すると決定することに応答して、オペレーションサーバ400は、自律車両602をユーザ140と関連付ける。このように、オペレーションサーバ400は、場所座標202が場所データ212に対応するかまたは合致すると決定することによって、自律車両602が関与する予期せぬ出来事100の現場にユーザ140がいると決定する。
【0052】
オペレーションサーバ400は、予期せぬ出来事100のためのチケット214を生成して、予期せぬ出来事100に対処(および可能であれば解消)するために行われる出来事を記録する。
【0053】
オペレーションサーバ400は、ユーザ140と遠隔操作者216との間に通信経路218を確立する。遠隔操作者216は、オペレーションサーバ400と関連付けられかつオペレーションサーバ400へのアクセス権を有する個人であり得る。例えば、遠隔操作者216は、センサデータ310およびメモリ404において利用可能である他の情報等の自律車両602についての情報に対してアクセスおよび閲覧を行うことができる管理者であり得る。1つの例において、遠隔操作者216は、ネットワーク232を介してプレゼンテーション層の役割を果たすアプリケーションサーバ430からオペレーションサーバ400にアクセスし得る。アプリケーションサーバ430の更なる説明のために図4を参照されたい。別の例において、遠隔操作者216は、オペレーションサーバ400と関連付けられるユーザインタフェースを介してオペレーションサーバ400に直接アクセスし得る。
【0054】
1つの実施形態において、通信経路218は、2方向通信プロトコルに従い得、データは、両側から伝送および受信されることができる。通信経路218は、音声ベースの通信、メッセージベースの通信、および/または任意の他の適切な通信をサポートするように構成される。音声ベース通信を使用して、ユーザ140および遠隔操作者216は、互いに会話することができる。メッセージベースの通信を使用して、ユーザ140および遠隔操作者216の各々は、テキスト、画像、映像または任意の他の種類のデータを送信および受信できる。
【0055】
上述したように、特定の情報220は、ユーザ140が自律車両602を補助しかつ予期せぬ出来事100に対処することができるように、オペレーションサーバ400がユーザ140と通信するという情報を含む。対応する以下の説明は、各予期せぬ出来事100についての様々な特定の情報220を説明する。1つの実施形態において、オペレーションサーバ400は、特定の情報220をユーザ140に通信し得る。1つの実施形態において、オペレーションサーバ400は、電子デバイス150に(ユーザ140に)転送する特定の情報220を遠隔操作者216に提供し得る。遠隔操作者216は、特定の情報220を電子デバイス150に通信する前に特定の情報220を確認(または更新)し得る。ユーザ140は、特定の情報220を(例えば、アプリケーション204上で)閲覧し、かつ、予期せぬ出来事100に対処(および可能であれば解消)するための補助222を提供するための要求を送信することができる。特定の情報220に類似して、補助222はまた、予期せぬ出来事100の場合毎に異なり得る。例えば、補助222は、(図1Aにおいて説明される事故110の場合のための)緊急補助114と、(図1Bにおいて説明される検問120の場合のための)検問補助124と、(図1Cにおいて説明される報告要求130の場合のための)報告補助/報告134とを含み得る。これらのシナリオは、以下において説明される。
(事故に対処するための特定の情報の例)
【0056】
再度図1Aを参照すると、予期せぬ出来事100が事故110を含む場合において、特定の情報220は、事故110が発生した特定の時間範囲においてセンサ646によって捕捉されたセンサデータ310等の事故110に関するデータを含み得る。特定の情報220(図2参照)は、中でも、画像フィード、映像フィード、LiDARフィード等の特定の範囲におけるセンサデータ310の1つ以上の特定のデータフォーマットを含み得る。
【0057】
ユーザ140は、特定の情報220に含まれるセンサデータ310の1つ以上の特定のデータフォーマットを特定し得る。例えば、ユーザ140は、事故110の発生の2分前から事故110の発生の3分後までセンサ646によって捕捉された画像フィードおよび/または映像フィードを特定し得る。このように、オペレーションサーバ400は、センサデータ310から事故110の発生のタイムスタンプを決定して、特定の時間範囲におけるセンサデータ310をメモリ404から引き抜いて、電子デバイス150に、例えば、アプリケーション204において、転送するためにそれを遠隔操作者216に提供する(図2参照)。
【0058】
別の例において、自律車両602が事故110に関与する場合において、特定の情報220は、事故110が発生した特定の範囲における自律車両602と関連付けられる、スピード情報(例えば、加速度計測値)、操舵情報、ブレーキ情報、エンジンスピード(毎分回転数(RPM))のうちの1つ以上を含み得る。
【0059】
別の例において、自律車両602が事故110に関与する場合において、特定の情報220は、例えば、事故110が発生した特定の範囲において、自律車両602の健康診断報告を含み得る。代替としてか、または、加えて、ユーザ140は、特定の情報220に含められる自律車両602と関連付けられる任意の他の情報を特定し得る。
(事故に対処するための補助および指示の例)
【0060】
図2を参照すると、自律車両602が図1Aにおいて説明される事故110に関与する場合において、事故110に対処(および可能であれば解消)するための補助222は、緊急補助114を含む。このように、オペレーションサーバ400は、ユーザ140に転送する事故224についての指示を遠隔操作者216に提供して、それらを緊急補助114に提供することを可能にし得る。
【0061】
1つの実施形態において、事故224についての指示は、遠隔で、(遠隔でキャブの入口ドアの鍵を開けるときに)自律車両602のキャブにユーザ140が入ることを許可し、かつ自律車両602の自律動作を解除するための指示を含み得る。1つの実施形態において、自律車両602の自律動作を解除することは、オペレーションサーバ400から遠隔で実施され得る。1つの実施形態において、自律車両602の自律動作を解除することは、事故224についての指示に従うユーザ140によって局所的に実施され得る。
【0062】
特定の例において、ユーザ140は、緊急停止ボタン604を使用して自律車両602の自律動作を解除できる。緊急停止ボタン604の更なる説明のために図6を参照されたい。要するに、緊急停止ボタン604は、自律車両602の構成要素と信号通信する物理的なボタンを含み得、かつ、作動させられるときに自律車両602の自律機能を断ち切るかまたは解除するように構成される。一旦緊急停止ボタン604が作動させられると、自律車両602は、非自律車両と同様に手動で操作されることができる。1つの実施形態において、自律車両602の自律機能の局所解除は、自律車両602の自律機能の遠隔解除に加えて、追加確認のために行われ得る。
【0063】
特定の例において、ユーザ140は、自律車両602のキャブに入ることおよび自律車両602の自律機能を局所的に解除することを要求し得る。このように、緊急補助114は、自律車両602の自律機能の局所解除を含み得る。
【0064】
1つの実施形態において、事故224についての指示は、イグニッションキーなしで自律車両602を手動で操作するための指示を含み得る。例えば、ユーザ140が自律車両602のキャブに入って自律車両602の自律機能を解除したとき、ユーザ140は、イグニッションキーなしで自律車両602を手動で操作するための指示を受信し得る。このように、ユーザ140は、自律車両602を道路112の脇に運転および停車することができる。
【0065】
いくつかの場合において、例えば、事故110からの損害が原因で、自律車両602を手動で操作することが安全でない場合がある。このように、オペレーションサーバ400は、自律車両602の健康診断報告に基づいて、自律車両602を手動で操作することが安全であるかどうかを決定し得る。例えば、事故110を検出するとき、オペレーションサーバ400は、自律車両602の健康診断を分析して、自律車両602を手動で操作することが安全でるかどうかを決定し得る。例えば、オペレーションサーバ400は、自律車両602の構成要素の全体的な健康状態が閾値パーセンテージを超えている(例えば、60%を超えている、70%を超えている、80%を超えている、または、任意の他のパーセンテージ範囲を超えている)ことを自律車両602の健康診断報告が示す場合、自律車両602を手動で操作することが安全であると決定し得る。自律車両602を手動で操作することが安全であると決定することに応答して、オペレーションサーバ400は、自律車両602を手動で操作することが安全であることをユーザ140に知らせるために遠隔操作者216に指示を提供し得る。
【0066】
自律車両602を手動で操作することが安全でないと決定することに応答して、オペレーションサーバ400は、自律車両602を移動させるためにけん引トラックを派遣し得る。特定の例において、オペレーションサーバ400はまた、ユーザ140に転送するけん引トラックの推定到着時間を遠隔操作者216に提供し得る。
【0067】
1つの実施形態において、オペレーションサーバ400は、ユーザ140と遠隔操作者216との間に第2の通信経路230を確立し得、第2の通信経路230は、自律車両602と関連付けられる通信モジュールによって確立される。通信モジュールは、自律車両602のキャブ内に設置され得る。このように、通信モジュールは、キャブ内通信モジュールとして言及され得る。他の例において、通信モジュールは、自律車両602の外側ボディ上等の自律車両602上の任意の場所に設置され得る。通信モジュールは、1つ以上のユーザインタフェースを含み得る。例えば、ユーザインタフェースは、スピーカーと、マイクと、ディスプレイスクリーンとを含み得る。
【0068】
例えば、上記のように遠隔で自律車両602のキャブに入ることを許可されたとき、ユーザ140が自律車両602のキャブに入ったと想定されたい。ユーザ140が自律車両602のキャブに入ったことを検出するとき、オペレーションサーバ400は、キャブ内通信モジュールを起動し、始動し、かつ、第2の通信経路230を確立し得る。第2の通信経路230は、通信経路218に類似し得る。例えば、通信経路218と類似して、第2の通信経路230は、2方向通信プロトコルに従い得る。ユーザ140および遠隔操作者216は、キャブ内通信モジュールのユーザインタフェースを使用して互いと通信し得る。例えば、ユーザ140は、ディスプレイスクリーン上の特定の情報220に対してアクセスおよび閲覧を行い得る。
【0069】
1つの実施形態において、事故110に関与する自律車両602の場合(図1A参照)について、緊急補助114と、事故224についての指示と、ユーザ140に送信された特定の情報220と、それらの対応する通信のタイムスタンプと、事故110の結果とは、チケット214に記憶され得る。
(検問に対処するための特定の情報の例)
【0070】
図1Bを再度参照すると、予期せぬ出来事100が検問120を含む場合において、特定の情報220は、道路安全法令規則に基づき得る検問チェックリストを含み得る。例えば、特定の情報220は、自律車両602の自律能力の状態報告および自律車両602の物理的特徴の状態報告のうちの1つ以上を含み得る。
【0071】
自律車両602の自律能力の状態報告は、ソフトウェア指示308、センサデータ310、物体検出指示312、地図データ412、ルーティング計画416、およびセンサ機能等の、制御サブシステム300に記憶される自律機能/アルゴリズムを含む、自律車両602の構成要素に記憶されている自律機能/アルゴリズムを含み得る(図3参照)。
【0072】
自律車両602の物理的特徴の状態報告は、自律車両602と関連付けられる情報の中でも、重さ、荷物、内部構成要素の温度、キャブの温度、タイヤ膨張のうちの1つ以上を含み得る。
【0073】
ユーザ140bは、上に挙げられる1つ以上の項目を特定の情報220に含められるように特定し得る(図2参照)。代替としてか、または、加えて、ユーザ140bは、特定の情報220に含められる自律車両602と関連付けられる任意の他の適切な情報を特定し得る(図2参照)。
【0074】
ユーザ140bが自律車両602を検問することを望む(即ち、自律車両602が検問120に関与する)場合において、検問120に対処(および可能であれば解消)するための補助222(図2参照)は、検問補助124を含む。図2を参照すると、このように、1つの実施形態において、オペレーションサーバ400は、ユーザ140b(図2のユーザ140の事例である図1B参照)に転送する検問226についての指示を遠隔操作者216に提供して、それらが検問補助124を提供することを可能にし得る。1つの実施形態において、検問226についての指示は、上述のように、検問チェックリストまたは特定の情報220をユーザ140bに提供することを含み得る(図1B参照)。
【0075】
1つの実施形態において、検問120に関与する自律車両602の場合(図1B参照)について、検問補助124と、検問226についての指示と、ユーザ140に送信された特定の情報220と、それらの対応するタイムスタンプと、検問120の結果とは、チケット214に記憶され得る。
(報告要件に対処するための特定の情報の例)
【0076】
図1Cを再度参照すると、予期せぬ出来事100が報告要求130を含む場合において、特定の情報220は、ユーザ140cによって要求される報告134を含み得る。例えば、報告134は、自律車両602の運転履歴および自律車両602の健康診断のうちの1つ以上を含み得る。例えば、ユーザ140cは、報告134において特定の時間範囲における自律車両602の運転履歴を含むことを要求し得る。自律車両602の運転履歴は、例えば、タイムスタンプを伴う表形式または任意の他の適切なデータ形式において、加速度計測記録、操舵記録、ブレーキ記録等のうちの1つ以上を含み得る。
【0077】
ユーザ140cが自律車両602がスピード違反をしていると想定したため自律車両602に停車するように合図した上記の図1Cにおいて説明される第1の例の場合において、ユーザ140cは、例えば、自律車両602が停車させられた2分前から自律車両602が停車させられたときまでの、自律車両602の運転履歴を受信することを要求し得る。このように、報告134は、要求された時間範囲における自律車両602の運転履歴を含み得る。
【0078】
ユーザ140cが自律車両602の構成要素の故障(例えば、自律車両602のブレーキから煙が出てくる)を観察した図1Cにおいて説明される第2の例の場合において、ユーザ140cは、自律車両602のその構成要素についての健康診断または自律車両602の全体的な健康診断を受信することを要求し得る。このように、報告134は、自律車両602の健康診断を含み得る。
【0079】
図2を参照すると、代替としてか、または、加えて、ユーザ140は、報告134に含められる自律車両602と関連付けられる任意の他の適切な情報を特定し得る。
【0080】
ユーザ140が自律車両602から報告134を受信することを望む(即ち、自律車両602が報告要求130に関与する)場合において、報告要求130に対処(および可能であれば解消)するための補助222は、ユーザ140に対する報告補助または報告134を含む。1つの実施形態において、オペレーションサーバ400は、報告134を受信するためのユーザ140の要求を満たすためにユーザ140に転送する遠隔操作者216に対する報告要求228についての指示を提供し得る。
【0081】
1つの実施形態において、報告要求130が関与する自律車両602の場合(図1参照)について、報告要求228についての指示と、ユーザ140に送信された特定の情報220と、報告134と、それらの対応する通信のタイムスタンプと、報告要求130の結果とは、チケット214に記憶され得る。
【0082】
オペレーションサーバ400は、予期せぬ出来事100に対処(および可能であれば解消)するためのユーザ140の補助222が達成され、成功したかどうかを決定することによって、予期せぬ出来事100が対処(および可能であれば解消)されているかを決定する。予期せぬ出来事100が対処(および可能であれば解消)されていると決定することに応答して、オペレーションサーバ400は、チケット214を閉じる。
【0083】
いくつかの実施形態において、ユーザ140はまた、予期せぬ出来事100に対処(および可能であれば解消)するための補助222を提供することにおいて、遠隔操作者216および/またはオペレーションサーバ400にデータを移動させ得る。例えば、事故110が関与する自律車両602の場合において、ユーザ140は、事故110の現場から1つ以上の画像および/または映像を捕捉して、それらを遠隔操作者216および/またはオペレーションサーバ400に送信し得る。遠隔操作者216は、受信した画像および/または映像を調べて、自律車両602に対する損害の程度を決定して、自律車両602の健康診断を確認(または更新)し得る。遠隔操作者216はまた、ユーザ140のための事故224についての指示を確認(更新)するために受信した画像および/または映像を使用し得る。
【0084】
いくつかの実施形態において、オペレーションサーバ400は、自律車両602が走っている最中においてでも、特定の情報220を電子デバイス150に通信し得る。例えば、自律車両602が道路上を走っている最中、自律車両602は、計画外の停車または計画外のリルートを計算に入れることが必要となり得る状況に遭遇し得る。これらのシナリオは、以下において説明される。
【0085】
図1Cにおいて説明される第2の例の場合において、ユーザが自律車両602の構成要素の故障を観察するとき、自律車両602が走っている最中、ユーザ140は、オペレーションサーバ400との通信を開始し得る。図2を参照すると、上記に類似して、一旦ユーザ140と遠隔操作者216との間に通信経路218が確立されると、ユーザ140は、故障について遠隔操作者216および/またはオペレーションサーバ400に知らせ得る。遠隔操作者216および/またはオペレーションサーバ400は、(オペレーションサーバ400にアクセスすることによって)自律車両602の構成要素の状態を調べ得る。1つの例において、遠隔操作者216および/またはオペレーションサーバ400は、構成要素の状態が警告を示すが十分に操作可能であるとユーザ140に返信して、(報告134における)その構成要素の状態報告をユーザ140に転送し得る。別の例において、遠隔操作者216および/またはオペレーションサーバ400は、その構成要素の状態が損害を示すことと制御サブシステム300が自律車両602を停車させる安全な領域を既に探していたこととをユーザ140に返信し得る。この例において、ユーザ140は、自律車両602を停車させるために安全な領域の特定の場所座標を遠隔操作者216および/またはオペレーションサーバ400に提案することによって、補助222を提供し得る。遠隔操作者216および/またはオペレーションサーバ400は、ユーザ140の提案を査定して自律車両602を停車させるために制御サブシステム300のための領域を設定(または更新)し得る。このように、ユーザ140によって提供された補助222は、自律車両602を停車させるために安全な領域を提案することを含み得る。
【0086】
いくつかの場合において、自律車両602が道路上を走っている最中、自律車両602は、計画外のリルートを計算に入れる必要があり得る状況に遭遇し得る。例えば、自律車両602は、リルート道路標識、道路閉鎖、または自律車両602がその経路に従い続けることを防ぐ任意の他の状況に遭遇し得る。そのような状況において、センサ646は、リルート道路標識、道路閉鎖等のうちの1つ以上の存在を検出する。このように、制御サブシステム300は、制御サブシステム300および/またはオペレーションサーバ400が自律車両602を自律的にリルートすることが安全でないと決定する場合、自律車両602を停車させ得る。例えば、制御サブシステム300および/またはオペレーションサーバ400は、道路上の交通が混雑している場合、自律車両602を自律的にリルートすることが安全でないと決定し得る。
【0087】
そのような状況において、ユーザ140は、自律車両602に道路脇補助222を提供するために、自律車両602に接近してオペレーションサーバ400との通信を開始し得る。道路脇補助222は、自律車両602の目的地に到着するために適切な道路に自律車両602をリルートすることを含み得る。例えば、自律車両602が十分に操作可能であることの確認を(例えば、遠隔操作者216および/またはオペレーションサーバ400から)受信した後、ユーザ140は、自律車両602のキャブに入ることと、自律車両602の自律機能を解除することと、自律車両602の目的地に到着するために適切な道路に自律車両602を手動で運転することとを許可され得る。
【0088】
いくつかの場合において、自律車両602が道路上を走っている最中、自律車両602上のセンサ646は、パンクしたタイヤを検出し得る。このように、制御サブシステム300は、道路脇に自律車両602を停車させ得る。ユーザ140は、自律車両602に到着して自律車両602に道路脇補助222を提供するためにオペレーションサーバ400との通信を開始し得る。この場合、道路脇補助222は、自律車両602のパンクしたタイヤを交換することを含み得る。
【0089】
ネットワーク232は、インターネットの全部または一部、インターネット、プライベートネットワーク、公衆ネットワーク、ピアツーピアネットワーク、公衆交換電話ネットワーク、セルラーネットワーク、ローカルエリアネットワーク(LAN)、メトロポリタンエリアネットワーク(MAN)、ワイドエリアネットワーク(WAN)、および衛星ネットワークを含むが、限定されない、任意の好適な種類の無線および/または有線ネットワークであり得る。ネットワーク232は、当業者によって理解される任意の好適な種類の通信プロトコルをサポートするように構成され得る。
(制御サブシステムの例)
【0090】
図3は、制御サブシステム300の実施形態を示す。制御サブシステム300の1つの実施形態の局面は、図1A~1Cおよび2の説明において包含されており、追加の局面は、以下において提供される。制御サブシステム300は、少なくとも1つのプロセッサ302と、少なくとも1つのメモリ304と、少なくとも1つのネットワークインタフェース306とを含む。制御サブシステム300は、示されるように構成されるか、または任意の他の好適な構成であり得る。
【0091】
プロセッサ302は、メモリ304に動作可能に連結される1つ以上のプロセッサを含む。プロセッサ302は、ステートマシン、1つ以上の中央処理ユニット(CPU)チップ、論理ユニット、コア(例えば、マルチコアプロセッサ)、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)、またはデジタル信号プロセッサ(DSP)を含むが、限定されない、任意の電子回路である。プロセッサ302は、プログラマブル論理デバイス、マイクロコントローラ、マイクロプロセッサ、または上記の任意の好適な組み合わせであり得る。プロセッサ302は、メモリ304およびネットワークインタフェース306と通信可能に連結されかつ信号通信する。1つ以上のプロセッサは、データを処理するように構成され、かつ、ハードウェアまたはソフトウェアにおいて実装され得る。例えば、プロセッサ302は、8ビット、16ビット、32ビット、64ビット、または任意の他の好適な構造であり得る。プロセッサ302は、算術的および論理的な操作を実施するための算術的論理ユニット(ALU)と、ALUにオペランドを供給しかつALU操作の結果を記憶するプロセッサレジスタと、メモリから指示を取ってきてそれらをALUの連携操作を指図することによって実行する制御ユニットと、レジスタと、他の構成要素とを含み得る。1つ以上のプロセッサは、様々な指示を実装するように構成される。例えば、1つ以上のプロセッサは、図1、2および5について説明されるもののいくつかまたは全て等の本明細書において開示される機能を実装するためのソフトウェア指示308を実行するように構成される。いくつかの実施形態において、本明細書において説明される機能は、論理ユニット、FPGA、ASIC、DSP、または任意の他の好適なハードウェアまたは電子回路を使用して実装される。
【0092】
メモリ304は、プロセッサ302によって実行されるときに本明細書において説明される機能を実装するために動作可能である任意の他のデータ、指示、論理、規則、またはコードとともに、図1および2について上述され、図5について以下で述べられる情報のうちの任意のものを記憶する。例えば、メモリ304は、ソフトウェア指示308、自律車両602のセンサ646から受信したセンサデータ310、障害物検出指示312、地図データ412、ルーティング計画416、運転指示418、および/または本明細書において説明される任意の他のデータ/指示を記憶し得る。メモリ304は、1つ以上のディスク、テープドライブ、またはソリッドステートドライブを含みかつ超過データ記憶デバイスとして使用されて、実行のためにプログラムが選択されたときにそのプログラムを記憶し、プログラム実行の最中に読み取られる指示およびデータを記憶し得る。メモリ304は、揮発性または不揮発性であり得、かつ、読み取り専用メモリ(ROM)と、ランダムアクセスメモリ(RAM)と、三値連想メモリ(TCAM)と、ダイナミックランダムアクセスメモリ(DRAM)と、スタティックランダムアクセスメモリ(SRAM)とを含み得る。
【0093】
ネットワークインタフェース306は、有線および/または無線通信を可能にするように構成される。ネットワークインタフェース306は、制御サブシステム300と他のネットワークデバイス、システムまたはドメインとの間でデータを通信するように構成される。例えば、ネットワークインタフェース306は、WIFIインタフェース、ローカルエリアネットワーク(LAN)インタフェース、ワイドエリアネットワーク(WAN)インタフェース、モデム、スイッチ、またはルーターを含み得る。プロセッサ302は、ネットワークインタフェース306を使用してデータを送信および受信するように構成される。ネットワークインタフェース306は、任意の好適な種類の通信プロトコルを使用するように構成される。
【0094】
1つの実施形態において、制御サブシステム300は、車両内制御コンピュータシステム650のサブシステムであり得る(図6参照)。制御サブシステム300は、自律車両602のための物体/妨害物のない走行進路を決定することに貢献し得る1つ以上のコンピューティングデバイスによって実装され得る。例えば、1つ以上のコンピューティングデバイスは、自律車両602を囲む物体を決定することを容易にするためのコンピューティングシステムを実装し得る。制御サブシステム300は、車両内制御コンピュータシステム650(およびその構成要素)およびオペレーションサーバ400と信号通信する。
【0095】
自律車両602のための走行進路を決定するために、制御サブシステム300は、自律車両602のセンサ646からセンサデータ310を受信する。次に、制御サブシステム300は、受信したセンサデータ310をセンサ646の検出区域を覆う地図データ412の部分と比較する。センサ646のいくつかの例は、図6において説明される。制御サブシステム300は、障害物検出指示312を使用してそれら物体およびその特徴を検出し得る。
【0096】
障害物検出指示312は、ソフトウェア指示308を実行するプロセッサ302によって実装され得、かつ、概して、物体およびその特徴を検出するように構成されており、例えば、特徴の中でも、それらの正体(例えば、車両、動物、人、木、信号機等)およびスピード等である特徴を検出するように構成される。障害物検出指示312は、画像、映像、赤外線画像、ポイントクラウド、レーダデータ等から物体を検出するためのニューラルネットワークおよび/または機械学習アルゴリズムを使用して実装され得る。例えば、センサ646がカメラを含む場合、センサデータ310は、自律車両602を囲む環境の画像および/または映像(即ち、センサ646の検出区域)を含み得る。そのような場合において、制御サブシステム300は、画像および/または映像において物体を検出してセンサ646の検出区域内の任意の物体があるかどうかを決定するための機能を含む障害物検出指示312を採用し得る。
【0097】
障害物検出指示312は、車両、道路標識、車線区分線、歩行者、建設車両、視線誘導標等である物体等の画像および/または映像から物体を特定するための物体検出技術を採用するためのコードを含み得る。制御サブシステム300がカメラの検出区域内の物体を検出する場合、(車両内制御コンピュータシステム650と信号通信する)制御サブシステム300は、特徴の中でも、物体の場所座標、スピード、軌道等のその物体の特徴を決定するために、画像ベースの物体検出モジュール718を採用し得る(図7における画像ベースの物体検出モジュール718の説明を参照されたい)。例えば、センサ646がLiDARセンサを含む場合、センサデータ310は、距離測定値を含み得る。例えば、距離測定値は、物体が移動する距離(即ち、物体の変位)、異なる時間(t)におけるLiDARセンサから物体への距離等を含み得る。
【0098】
別の例において、LiDARセンサからのセンサデータ310は、自律車両602を囲む環境(即ち、センサ646の検出区域)内におけるレーザー(例えば、電波)によって当てられた妨害物または物体を示すポイントデータのクラウドを含み得る。ポイントデータのクラウドは、LiDARセンサから放射されて自律車両602を囲む環境内の物体から反射する光に対応するポイントを含み得る。伝送された光と物体をはね返った反射された光との間の時間遅延は、LiDARセンサとその物体との間の距離に対応する。物体からはね返った反射された光の強度は、金属、皮、プラスチック、繊維、コンクリート等のその物体の表面種類を示し得る。このように、制御サブシステム300は、(障害物検出指示312を介して)その物体を特定し得る。
【0099】
1つの実施形態において、制御サブシステム300は、センサ646の検出区域内における物体を検出するために障害物検出指示312を使用し得る。制御サブシステム300は、センサ646から受信した(例えば、画像/映像フィード、LiDARデータフィード、動きセンサデータ、赤外線データフィード等における)センサデータ310において物体が検出されたかどうかを決定するために障害物検出指示312を使用し得る。例えば、障害物検出指示312は、映像のフレームに対応する画像のフィードから物体検出方法を実装する(例えば、映像からセンサ646の検出区域内の物体を検出する)ためのコードを含み得る。同様に、障害物検出指示312は、LiDARデータと、動きセンサデータ(例えば、センサ646の検出区域内の物体の動きを検出する)と、音(例えば、自律車両602付近の音を検出する)と、赤外線データ(例えば、赤外線画像におけるセンサ646の検出区域内の物体を検出する)とから物体を検出するためのコードを含み得る。障害物検出指示312は、他のデータ種類も使用して物体を検出するためのコードを含み得る。
【0100】
1つの実施形態において、障害物検出指示312は、各検出された物体がどの類に属するかを決定するための物体分類技術を含み得る。例えば、物体分類技術は、特性の中でも物体の形状、大きさ、スピード等の物体の特性に基づいて物体を分類するように訓練され得る。このように、物体分類技術は、1つの類において共通する特性を有する物体を分類し得る。1つの実施形態において、物体分類技術は、画像、映像、LiDARデータ、レーダ、動きデータ等の物体を示す訓練データセット種類によって訓練され得る。
【0101】
例えば、物体分類技術312は、距離測定値および/またはポイントデータのクラウドから物体を特定するための物体検出技術を採用するコードを含み得る。制御サブシステム300は、距離測定値および/またはポイントデータのクラウドにおける特徴および/または変化に基づいて物体を検出しかつセンサ646の検出区域内に物体があるかどうかを決定するための機能を含む障害物検出指示312を採用し得る。制御サブシステム300がLiDARセンサの検出区域内の物体を検出する場合、制御サブシステム300(車両内制御コンピュータシステム650と信号通信する)は、その物体の特徴の中でも、場所座標、スピード、軌道を決定するために、LiDARベースの物体検出モジュール712を採用し得る(図7におけるLiDARベースの物体検出モジュール712の説明を参照されたい)。
【0102】
別の例において、センサ646が動きセンサを含む場合、センサデータ310は、動き測定値を含み得る。例えば、動き測定値は、第1の場所から第2の場所への物体の動きを含み得る。そのような場合において、制御サブシステム300は、動き測定値における特徴および/または変化に基づいて物体を検出しかつセンサ646の検出区域内に物体があるかどうかを決定するための機能を含む障害物検出指示312を採用し得る。例えば、動きセンサによって測定された動きにおける変化は、センサ646の検出区域内の物体の存在と、その物体の動きの方向とを示し得る。このように、制御サブシステム300は、物体が、例えば、自律車両602に向かって(例えば、道路の反対側にある車両)、自律車両602から離れて(例えば、自律車両602の前方でスピード違反している車両)、自律車両602にわたって(例えば、道路を渡っている歩行者)、動いているかどうかを決定し得る。
【0103】
物体の検出の特定の例は上記のようであるが、物体検出の任意の他の適切な方法が制御サブシステム300によって使用され得ることを理解されたい。いくつかの実施形態において、制御サブシステム300は、(例えば、図7のセンサ融合モジュール702について説明されるようにカメラ画像と、LiDARデータと、レーダデータとを組み合わせることによって)物体が検出されているかどうかを決定するために、2つ以上の種類のセンサデータを使用し得る。即ち、障害物検出指示312は、図7について説明されるモジュールのうち任意のものを実装するための指示、規則および/またはコードを含み得る。
【0104】
制御サブシステム300が自律車両602から物体への距離が構成可能閾値距離(例えば、200フィート、250フィート、または任意の他の適切な距離)に近づいていることを検出する場合、制御サブシステム300は、各場合に従って自律車両602をナビゲートしかつその物体から安全な距離を保つために、車両内制御コンピュータシステム650(図6を参照)に信号を送信する。
【0105】
1つの場合において、制御サブシステム300は、物体の中でも、建物、停止している車両、歩行者等の静止している物体への自律車両602からの距離が構成可能閾値距離に近づいていることを検出し得る。別の場合において、制御サブシステム300は、物体の中でも、動いている車両、図1Aにおいて説明される物体116等の動いている物体への自律車両602からの距離が構成可能閾値距離に近づいていることを検出し得る。
【0106】
制御サブシステム300は、少なくとも部分的に自律車両602が走行する道路の許容スピード範囲と、自律車両602のスピードと、周囲の車両のスピードとに基づいて、構成可能閾値距離を決定し得る。例えば、許容スピード範囲が65~75mphである高速道路において、自律車両602が65mphのスピードで動いておりかつ周囲の車両の平均スピードが70mphであるとき、構成可能閾値距離は、300フィートであり得る。
(オペレーションサーバの例)
【0107】
図4は、オペレーションサーバ400の実施形態を示す。オペレーションサーバ400の1つの実施形態の局面は、図1A~1Cおよび2の説明において取り上げられており、追加の局面は、以下において提供される。オペレーションサーバ400は、少なくとも1つのプロセッサ402と、少なくとも1つのメモリ404と、少なくとも1つのネットワークインタフェース406とを含む。オペレーションサーバ400は、示されるように構成されるか、または任意の他の好適な構成であり得る。
【0108】
プロセッサ402は、メモリ404に動作可能に連結された1つ以上のプロセッサを含む。プロセッサ402は、ステートマシン、1つ以上の中央処理ユニット(CPU)チップ、論理ユニット、コア(例えば、マルチコアプロセッサ)、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)、またはデジタル信号プロセッサ(DSP)を含むが、限定されない、任意の電子回路である。プロセッサ402は、プログラマブル論理デバイス、マイクロコントローラ、マイクロプロセッサ、または上記の任意の好適な組み合わせであり得る。プロセッサ402は、メモリ404、ネットワークインタフェース406およびユーザインタフェース408と通信可能に連結されかつ信号通信する。1つ以上のプロセッサは、データを処理するように構成され、かつ、ハードウェアまたはソフトウェアにおいて実装され得る。例えば、プロセッサ402は、8ビット、16ビット、32ビット、64ビット、または任意の他の好適な構造であり得る。プロセッサ402は、算術的かつ論理的な操作を実施するための算術的論理ユニット(ALU)と、ALUにオペランドを供給しかつALU操作の結果を記憶するプロセッサレジスタと、メモリから指示を取ってきてそれらをALUの連携操作を指図することによって実行する制御ユニットと、レジスタと、他の構成要素とを含み得る。1つ以上のプロセッサは、様々な指示を実装するように構成される。例えば、1つ以上のプロセッサは、図1A~1C、2および5について説明されるもののいくつかまたは全て等の本明細書において開示される機能を実装するためのソフトウェア指示410を実行するように構成される。いくつかの実施形態において、本明細書において説明される機能は、論理ユニット、FPGA、ASIC、DSP、または任意の他の好適なハードウェアまたは電子回路を使用して実装される。
【0109】
メモリ404は、プロセッサ402によって実行されるときに本明細書において説明される機能を実装するために動作可能である任意の他のデータ、指示、論理、規則、またはコードとともに、図1A~1Cおよび2について上述され、図5について以下で述べられる情報のうちの任意のものを記憶する。例えば、メモリ404は、ソフトウェア指示410、地図データ412、地図構築モジュール414、ルーティング計画416、運転指示418、物体検出機械学習モジュール420、訓練データセット422、交通データ424、緊急補助114、検問補助124、報告134、チケット214、特定の情報220、自律車両602から受信したセンサデータ310、および/または任意の他のデータ/指示を記憶し得る。ソフトウェア指示410は、コードを含み、コードは、プロセッサ402によって実行されるとき、図1、2および5において説明されるもののいくつかまたは全て等の本明細書において説明される機能をオペレーションサーバ400に実施させる。メモリ404は、図1A~1C、2および5において説明されるように異なる場合の予期せぬ出来事110に対処するためにユーザ140に転送される指示426を更に記憶する。指示426は、事故224についての指示、検問226についての指示、報告要求228についての指示および/または任意の他のデータ/指示を含み得る。指示426は、各予期せぬ出来事100に対処するためにユーザ140と連携するために遠隔操作者216によってレイアウトされる。メモリ404は、1つ以上のディスク、テープドライブ、またはソリッドステートドライブを含み、超過データ記憶デバイスとして使用され得、実行のためにプログラムが選択されたときにそのプログラムを記憶し、プログラム実行の最中に読み取られる指示およびデータを記憶する。メモリ404は、揮発性または不揮発性であり得、かつ、読み取り専用メモリ(ROM)と、ランダムアクセスメモリ(RAM)と、三値連想メモリ(TCAM)と、ダイナミックランダムアクセスメモリ(DRAM)と、スタティックランダムアクセスメモリ(SRAM)とを含み得る。
【0110】
ネットワークインタフェース406は、有線および/または無線通信を可能にするように構成される。ネットワークインタフェース406は、制御サブシステム300と他のネットワークデバイス、システムまたはドメインとの間でデータを通信するように構成される。例えば、ネットワークインタフェース406は、WIFIインタフェース、ローカルエリアネットワーク(LAN)インタフェース、ワイドエリアネットワーク(WAN)インタフェース、モデム、スイッチ、またはルーターを含み得る。プロセッサ402は、ネットワークインタフェース406を使用してデータを送信および受信するように構成される。ネットワークインタフェース406は、任意の好適な種類の通信プロトコルを使用するように構成される。
【0111】
ユーザインタフェース408は、遠隔操作者216等のユーザとやり取りをするように構成されている1つ以上のユーザインタフェースを含み得る。例えば、ユーザインタフェース408は、モニタ、キーボード、1つ以上のコンピュータマウス、トラックパッド、タッチパッド等のオペレーションサーバ400の周辺機器を含み得る。図2において説明されるものと同様に、遠隔操作者216は、予期せぬ出来事100に対処するために、ユーザインタフェース408を使用して、メモリ404にアクセスして、中でも、指示426、特定の情報220、(例えば、特定の時間範囲における)センサデータ310のうちの任意のもの等のデータ/指示をユーザ140に転送し得る。1つの実施形態において、図2において説明されるものと同様に、遠隔操作者216は、指示426および特定の情報220のうちの任意のものを、ユーザ140に通信する前に、確認(または更新)し得る。1つの実施形態において、ユーザ140に指示426を通信する過程は、オペレーションサーバ400によってコンピュータ化および実施され得る。
【0112】
1つの実施形態において、オペレーションサーバ400は、自律車両602の操作を監督することに貢献し得るコンピューティングデバイスのクラスタによって実装され得る。例えば、オペレーションサーバ400は、分散コンピューティングおよび/またはクラウドコンピューティングシステムを使用して複数のコンピューティングデバイスによって実装され得る。別の例において、オペレーションサーバ400は、1つ以上のデータセンターにおける複数のコンピューティングデバイスによって実装され得る。このように、1つの実施形態において、オペレーションサーバ400は、制御サブシステム300よりも大きい処理力を含み得る。オペレーションサーバ400は、1つ以上の自律車両602およびその構成要素(例えば、車両内制御コンピュータ650)と信号通信する。1つの実施形態において、オペレーションサーバ400は、自律車両602のための特定のルーティング計画416を決定するように構成される。例えば、オペレーションサーバ400は、自律車両602の目的地に到着するための低減された運転時間およびより安全な運転経験につながる自律車両602のための特定のルーティング計画416を決定し得る。
【0113】
1つの実施形態において、自律車両602がリルート道路標識または道路閉鎖に遭遇する場合において、オペレーションサーバ400は、センサデータ310および地図データ412を査定して自律車両602のリルーティングを自律的に行うことが安全でないと決定し得る。1つの例において、オペレーションサーバ400は、センサデータが混雑した交通を示すとき、自律車両602のリルーティングを自律的に行うことが安全でないと決定し得る。このように、オペレーションサーバ400は、道路の脇に自律車両602を停車させるための指示を送信し得る。1つの実施形態において、遠隔操作者216は、以下において説明されるオペレーションサーバ400の提案されたナビゲーション計画を確認、修正および/またはオーバーライドし得る。
【0114】
1つの実施形態において、自律車両602のためのナビゲーティング解決策またはルーティング計画416は、1つの自律車両602と別の自律車両等の車両対車両(V2V)通信から決定され得る。1つの実施形態において、自律車両602のためのナビゲーティング解決策またはルーティング計画416は、自律車両602とオペレーションサーバ400等の車両対クラウド(V2C)通信から決定され得る。
【0115】
1つの実施形態において、自律車両602のためのナビゲーティング解決策またはルーティング計画416は、車両対クラウド対人(V2C2H)および/または車両対人(V2H)通信によって決定され得、人の介入は、自律車両602のためのナビゲーティング解決策を決定することに組み込まれる。例えば、遠隔操作者216は、ユーザインタフェース408からのセンサデータ310を調べて、制御サブシステム300および/またはオペレーションサーバ400によって決定された自律車両602のためのナビゲーティング解決策を確認、修正および/またはオーバーライドし得る。遠隔操作者216は、自律車両602のナビゲーション計画を決定することにおいて人の視点を追加し得、そうしなければ、制御サブシステム300および/またはオペレーションサーバ400は、安全、燃料節約の点で機械の視点と比べてより好ましい人の視点を有しない。
【0116】
1つの実施形態において、自律車両602のためのナビゲーティング解決策は、様々な種類の通信の中でも、V2V、V2C、V2C2H、V2H通信のうちの任意の組み合わせによって決定され得る。
【0117】
図3において説明されるように、遠隔操作者216は、通信経路434を介してアプリケーションサーバ430にアクセスでき、そして、同様に、通信経路436を介してオペレーションサーバ400にアクセスできる。1つの実施形態において、オペレーションサーバ400は、遠隔操作者216によって調べられるセンサデータ310、指示426、特定の情報220および/または任意の他のデータ/指示をアプリケーションサーバ430に送信し得る。このように、1つの実施形態において、遠隔操作者216は、アプリケーションサーバ430を介してオペレーションサーバ400に遠隔でアクセスできる。概して、アプリケーションサーバ430は、ネットワークインタフェースを介して、他のサーバ(例えば、オペレーションサーバ400)、自律車両602、データベース等の他のデバイスと通信するように構成された任意のコンピューティングデバイスである。アプリケーションサーバ430は、本明細書において説明される特定の機能を実施し、例えば、そのユーザインタフェース432および通信経路434を介して、遠隔操作者216とやり取りをするように構成される。アプリケーションサーバ430の例は、デスクトップコンピュータ、ラップトップコンピュータ等を含むが、限定されない。1つの例において、アプリケーションサーバ430は、遠隔操作者216がオペレーションサーバ400にアクセスするプレゼンテーション層の役割を果たし得る。このように、オペレーションサーバ400は、センサデータ310、指示426、特定の情報220および/または任意の他のデータ/指示をアプリケーションサーバ430に送信し得る。遠隔操作者216は、図2において説明されるものと同様に、アプリケーションサーバ430と通信経路434を確立した後、ユーザインタフェース432から受信したデータを調べて、ユーザ140に通信する前に指示426および特定の情報220のうちの任意のものを確認、修正および/またはオーバーライドし得る。別の実施形態において、遠隔操作者216は、オペレーションサーバ400に直接アクセスでき、オペレーションサーバ400と通信経路436を確立した後、ユーザ140に通信する前に、指示426および特定の情報220のうちの任意のものを確認、修正および/またはオーバーライドし得る。遠隔操作者216はまた、上述したように、制御サブシステム300および/またはオペレーションサーバ400によって決定された自律車両602のためのナビゲーティング解決策を確認、修正および/またはオーバーライドし得る。
【0118】
地図データ412は、道路112、132および検問ステーション122を含む街の仮想地図を含み得る(図1参照)。いくつかの例において、地図データ412は、地図データベース758および地図データベース736を含み得る(地図データベース758および地図データベース736の説明について図7を参照されたい)。地図データ412は、道、経路、高速道路等の運転可能なエリアと、テレイン等の運転不可能なエリアとを含み得る(占有格子モジュール760によって決定される;占有格子モジュール760の説明のために図7を参照されたい)。地図データベース412は、道路標識、車線、車線区分線、車線境界線、道路境界線、信号機等の場所座標を特定し得る。
【0119】
地図データ412はまた、車線間の接続を特定し得る(例えば、車線は、他の近接する車線と合流することができる)。地図データ412は、道路の車線の種類(例えば、交通車線、追い越し車線、緊急車線、方向転換車線、バス車線等)、車線境界線の種類(例えば、白色車線、黄色車線、他の路面標示および/または機械標示等)、道路境界線の種類(例えば、通常の縁石、赤色縁石、歩道、ガードレール、他の障壁等)、道路交差点、自律車両の前方にある1つ以上の妨害物、および道路または道路に近接するエリアについての他の情報を示す情報を特定し得る。
【0120】
地図データ412は、道路の高度および道路の勾配(即ち、その上り傾斜、下り傾斜、スロープ)についての情報を含み得る。例えば、地図データ412は、カーブ、丘、谷等の道路の高度;減速バンプ、窪み等の道路ハザード;スクールゾーン、鉄道交差点等の道路区間等を特定し得る。例えば、道路のある区間が完全に平坦かつ水平であり、地図データ412がその区間に沿う勾配がゼロであることを特定する場合、地図データ412は、情報の中でも、丘、谷、カーブ等の道路の異なる区分の高度を含み得る。この情報は、上り道路においてハイギアにシフトすることおよび下り道路においてローギアにシフトすること等の正しいギアにシフトすることを決定するために使用され得る。このように、道路における高度変化を検出することによって、正しいギアシフトが適用され得、それにより、自律車両602の燃料を節約し、自律車両602の車両運転サブシステム642(即ち、エンジン642a、タイヤ642b、トランスミッション構成要素642c、電気構成要素642dおよび電力源642e)の寿命を延長させる。1つの実施形態において、道路の勾配が閾値高度変化(例えば、7%)より大きいと自律車両602の制御サブシステム300が決定する場合、自律車両602がその道路を走行することが安全でないと決定され得る。
【0121】
地図構築モジュール414は、ソフトウェア指示410を実行するプロセッサ402によって実装され得、地図データ412を構築するように構成される。1つの実施形態において、地図構築モジュール414は、1つ以上の地図作成車両から受信したセンサデータから地図データ412を構築し得る。1つの例において、地図作成車両は、自律車両602であり得る。別の例において、地図作成車両は、運転手によって操作されるセンサ646と接続または統合される自律車両602または非自律車両であり得る。
【0122】
地図構築モジュール414は、センサデータを使用してそれらが地図データ412のどの部分と関連付けられるかを決定するように構成される。地図構築モジュール414は、地図データ412の各区間と関連付けられる異なるセンサデータを合体させることによって、地図データ412の各区間を動的に構築し得る。地図建築モジュール414はまた、センサデータを使用して地図データ412の重複する部分を発見する(例えば、地図データ412の同じ部分を観察する対応する画像、映像、LiDARデータ、レーダデータ等を合致させることによって)。次に、地図構築モジュール414は、地図データ412の部分をその対応する近接部分と接続する。即ち、地図構築モジュール414は、地図データ412の近接部分を発見して、それらを縫い合わせて、地図データ412を構築する。地図構築モジュール414はまた、更新の必要がある受信したセンサデータに基づいて地図データ412の一部分を更新するように構成される。
【0123】
ルーティング計画416は、スタート場所(例えば、第1の自律車両出発地点/到着地点)から目的地(例えば、第2の自律車両出発地点/到着地点)まで走行するための計画である。例えば、自律車両602のルーティング計画416は、スタート場所から目的地までの特定の順序の1つ以上の通り/道路/高速道路の組み合わせを特定し得る。自律車両602のルーティング計画416は、第1段階(例えば、スタート場所から動くこと)と、複数の中間段階(例えば、1つ以上の特定の通り/道路/高速道路の特定の車両に沿って走行すること)と、最終段階(例えば、目的地に入ること)とを含む段階を特定し得る。ルーティング計画416は、そのルーティング計画416における道路/交通標識等のスタート場所から目的地までのルートについての他の情報を含み得る。
【0124】
運転指示418は、計画モジュール762によって実装され得る(図7における計画モジュール762の説明を参照されたい)。運転指示418は、ルーティング計画416の各段階の運転規則に従って自律車両602の自律運転を適合させるための指示および規則を含み得る。例えば、運転指示418は、自律車両602が走行する道路のスピード範囲に留まること、自律車両602のスピードをセンサ646によって観察された変化(周囲の車両のスピード、センサの検出区域内の物体等)に適合させること等のための指示を含み得る。
【0125】
物体検出機械学習モジュール420は、ソフトウェア指示410を実行するプロセッサ402によって実装され得、概して、センサデータ310から物体を検出するように構成される。物体検出機械学習モジュール420は、画像、映像、赤外線画像、ポイントクラウド、レーダデータ等の任意のデータ種類から物体を検出するためのニューラルネットワークおよび/または機械学習アルゴリズムを使用して実装され得る。
【0126】
1つの実施形態において、物体検出機械学習モジュール420は、サポートベクターマシン(SVM)、ナイーブベイズ、ロジスティクス回帰、k近傍法、決定木等の機械学習アルゴリズムを使用して実装され得る。1つの実施形態において、物体検出機械学習モジュール420は、複数のニューラルネットワーク層、畳み込みニューラルネットワーク層、および/または同様のものを利用し得、これらの層のパーセプトロンの重みおよびバイアスは、物体検出機械学習モジュール420の訓練過程において最適化される。物体検出機械学習モジュール420は、各サンプルにおける1つ以上の物体でラベル付けされたデータ種類のサンプルを含む訓練データセット422によって訓練され得る。例えば、訓練データセット422は、各サンプル画像における物体でラベル付けされる物体(例えば、車両、車線区分線、歩行者、道路標識等)のサンプル画像を含み得る。同様に、訓練データセット422は、各サンプルデータにおける物体でラベル付けされた映像、赤外線画像、ポイントクラウド、レーダデータ等の他のデータ種類のサンプルを含み得る。物体検出機械学習モジュール420は、訓練データセット422およびセンサデータ310によって訓練、検査および改良され得る。物体検出機械学習モジュール420は、(物体でラベル付けされていない)センサデータ310を使用して物体の検出においてそれらの予測の正確性を向上させる。例えば、監督されたかつ/または監督されていない機械学習アルゴリズムは、センサデータ310における物体の検出における物体検出機械学習モジュール420の予測を有効にするために使用され得る。
【0127】
交通データ424は、地図データ412における道路/通り/高速道路の交通データを含み得る。オペレーションサーバ400は、1つ以上の地図作成車両によって集められた交通データ424を使用し得る。オペレーションサーバ400は、Waze(登録商標)、グーグルマップ(登録商標)、交通生中継等の外部源から捕捉されたクラウドソースの交通データ424等の任意の源から捕捉される交通データ424を使用し得る。
(自律車両が関与する予期せぬ出来事を解消するために自律車両にいるユーザと連携するための方法の例)
【0128】
図5は、自律車両602が関与する予期せぬ出来事100を解消するために自律車両602にいるユーザ140と連携するための方法500の例示的フローチャートを示す。修正、追加、または省略は、方法500に対して行われ得る。方法500は、より多くの、より少ない、または他の工程を含み得る。例えば、工程は、並列または任意の順序で実施され得る。時に自律車両602、オペレーションサーバ400、制御サブシステム300、またはそれらの任意の実施工程の構成要素として述べられる一方、任意の好適なシステムまたはシステムの構成要素が、方法500の1つ以上の工程を実施し得る。例えば、方法500の1つ以上の工程は、少なくとも部分的に、非一時的有形機械読み取り可能媒体(例えば、図3、4、6および8それぞれからのメモリ304、404、690および802)上に記憶される図3、4、6のそれぞれからのソフトウェア指示308、410および680の形で、実装され得、1つ以上のプロセッサ(例えば、図3、4、6および8それぞれからのプロセッサ302、402、670および804)によって運用されるとき、1つ以上のプロセッサに工程502~522を実施させ得る。
【0129】
方法500は、工程502から始まり、オペレーションサーバ400は、センサデータ310から自律車両602に関する予期せぬ出来事100を検出する。いくつかの例において、自律車両602に関する予期せぬ出来事100は、図1A~1Cにおいて説明される事故110、検問120、または報告要求130を含み得る。
【0130】
この過程において、図1A~3において上述されるものと同様に、オペレーションサーバ400は、まず、制御サブシステム300からセンサデータ310を受信し、センサデータ310は、自律車両602と関連付けられる1つ以上のセンサ646によって捕捉されかつ制御サブシステム300によって処理される。1つの例において、センサデータ310は、自律車両602の場所座標202を含み得る。別の例において、センサデータ310は、中でも、検出された物体等の自律車両602の前方の領域を覆うセンサ646の検出区域内の環境についての情報を含み得る。別の例において、センサデータ310は、自律車両602の構成要素の中でも、センサ646、制御サブシステム300、自律構成要素の健康状態等の自律車両602およびその構成要素の操作の健康状態についての情報を含み得る。
【0131】
センサデータ310を処理することによって、オペレーションサーバ400は、予期せぬ出来事100を示す1つ以上の表示を決定し得る。いくつかの場合において、センサデータ310の通信の欠如は、自律車両602が予期せぬ出来事100に関与したことを示す表示であり得る。例えば、事故110が原因で、自律車両602の構成要素の通信は、損害を受け得、そのため、センサデータ310の通信の予期せぬ欠如は、自律車両602が事故110に関与したことを示す表示であり得る。
【0132】
予期せぬ出来事100が事故110を含む場合、図1Aに記載されているものと同様に、センサデータ310は、物体116との衝突につながる自律車両602の経路における物体116からの短くなっていく距離を示し得る。
【0133】
予期せぬ出来事100が検問120を含む場合において、センサデータ310は、自律車両602の前方にある検問道路標識の存在を示し得る。別の例において、図1Bにおいて説明されるものと同様に、予期せぬ出来事100が検問120を含む場合において、センサデータ310は、検問ステーション122に駐車することを示す自律車両602にインストールまたは統合されたアプリケーション(および/またはトランスポンダ)によって受信した信号を示し得る。
【0134】
図1Cにおいて説明されるものと同様に、予期せぬ出来事100がユーザ140からの報告要求130を含む場合において、センサデータ310は、例えば、方法の中でも、サイレンを使用して自律車両602に信号伝達するユーザ140によって、自律車両602がユーザ140によって合図されることを示し得る。
【0135】
ステップ504において、オペレーションサーバ400は、自律車両602およびユーザ140の場所データ212についての特定の情報220にアクセスするための要求210を含むユーザ140と関連付けられる電子デバイス150からのメッセージ208を受信する。いくつかの実施形態において、オペレーションサーバ400は、メッセージ208を受信する前にユーザ140を認証し得る。例えば、オペレーションサーバ400は、図2において説明されるものと同様に、ユーザ140がアプリケーション204において自身のアカウントにログインするとき、ユーザ140のログイン資格証明206を確認することによって、ユーザ140を認証し得る。
【0136】
自律車両602についての特定の情報220は、予期せぬ出来事100の各場合について、異なり得る。予期せぬ出来事100の各場合について、特定の情報220は、図1A~1Cおよび2において詳細に説明される。自律車両602が事故110に関与する場合において、特定の情報220は、事故110が発生した特定の時間範囲におけるセンサデータ310を含み得る。自律車両602が検問されることを要求される場合(即ち、検問120の場合)において、特定の情報220は、自律車両602の物理的特徴の状態報告および自律車両602の自律能力の状態報告のうちの1つ以上を含む検問チェックリストを含み得る。自律車両602が報告134を提供することを要求される場合(即ち、報告要求130の場合)において、特定の情報220は、特定の時間範囲における自律車両602の運転履歴および自律車両602の健康診断情報のうちの1つ以上を含み得る。
【0137】
ステップ506において、オペレーションサーバ400は、ユーザ140の場所データ212が自律車両602の場所座標202と合致するかどうかを決定する。場所データ212が場所座標202と合致しないと決定される場合、オペレーションサーバ400は、ユーザ140が自律車両602の視界に入っていない、例えば、自律車両602の閾値付近(例えば、自律車両602から10フィート)内にないと決定し、方法500は、終了させられる。場所データ212が場所座標202と合致すると決定される場合、方法500は、ステップ508に進む。
【0138】
ステップ508において、オペレーションサーバ400は、自律車両602をユーザ140と関連付ける。これは、ユーザ140が自律車両602の視界に入っていること、即ち、自律車両602からの閾値付近内にあることを示す表示であり得る。
【0139】
ステップ510において、オペレーションサーバ400は、予期せぬ出来事100に対処(および可能であれば解消)するために行われる出来事を記録するためのチケット214を生成する。
【0140】
ステップ512において、オペレーションサーバは、電子デバイス150を使用してユーザ140と遠隔操作者216との間に通信経路218を確立する。通信経路218を使用して、ユーザ140および遠隔操作者216は、互いに任意の適切なデータを移動させ得る。例えば、遠隔操作者216は、ユーザ140によって要求された特定のセンサデータ310をユーザ140(電子デバイス150において)に移動させ得;ユーザ140は、例えば自律車両602の1つ以上の画像および/または映像を遠隔操作者216(オペレーションサーバ400において)に移動させ得る。
【0141】
ステップ514において、オペレーションサーバ400は、自律車両602についての特定の情報220を電子デバイス150に通信する。いくつかの実施形態において、遠隔操作者216は、特定の情報220を電子デバイス150に通信する前に特定の情報220を確認(または更新)し得る。
【0142】
ステップ516において、オペレーションサーバ400は、予期せぬ出来事100に対処するために補助222を提供するための要求をユーザ140から受信する。予期せぬ出来事100の各場合についての補助222を提供するためのユーザ140の要求は、異なり得る。予期せぬ出来事100の各場合のための補助222の異なる例は、図2において詳細に説明される。
【0143】
自律車両602が事故110に関与する場合において、ユーザ140によって提供される補助222(即ち、緊急補助114)は、事故110に対処(場合によっては解消)することにつながる適切な任意の補助の中でも、自律車両602を道路の脇へ手動で操作する自律車両602の自律能力の局所解除を含み得る。
【0144】
自律車両602が検問されることを要求される場合(即ち、検問120の場合)において、ユーザ140によって提供される補助222(即ち、検問補助124)は、検問120に対処(および解消)することにつながる任意の適切な補助の中でも、自律車両602を検問し自律車両602の健康診断および物理的特徴の状態報告を確認(または更新)することを含み得る。
【0145】
自律車両602が報告134を提供することを要求される場合(即ち、報告要求130の場合)において、ユーザ140によって提供される補助222は、自律車両602が自律運転を再開する資格があることを確認することを含み得る。ユーザ140が自律車両602の構成要素の故障を確認したこの場合についての別の例において、補助222は、自律車両602を停車させるのに安全な領域を提案することを含み得る。別の例において、補助222は、報告要求130に対処(および解消)することにつながる任意の他の適切な補助を含み得る。
【0146】
例えば、パンクしたタイヤが原因で、自律車両602が計画外の停車に遭遇した場合において、道路脇補助222は、パンクしたタイヤを交換して自律車両602が自律運転を再開する資格があることを確認することを含み得る。
【0147】
例えば、道路閉鎖が原因で、自律車両602が計画外のリルートに遭遇した場合において、リルート道路標識、道路脇補助222は、自律車両602が自律運転を再開することまたは自律車両602をその目的地まで運転することが可能な道路に自律車両602をリルートするために自律車両602を手動で運転することを含み得る。
【0148】
ステップ518において、オペレーションサーバ400は、予期せぬ出来事100に対処するためにユーザ140に転送する指示426を遠隔操作者216に提供する。いくつかの例において、図2および4において説明されるものと同様に、指示426は、予期せぬ出来事100の異なる場合に依存して、事故224についての指示、検問226のための指示、または報告要求228のための指示を含み得る。
【0149】
ステップ520において、オペレーションサーバ400は、予期せぬ出来事100が対処されるかを決定する。1つの例において、自律車両602が事故110に関与する場合、オペレーションサーバ400は、自律車両602が道路の脇に停車させられたことを示す更新されたセンサデータ310に基づいて事故110が対処されることを決定し得る。
【0150】
別の例において、自律車両602が検問されることを要求される場合において、オペレーションサーバ400は、検問120が完了したという確認信号をユーザ140から受信することによって、検問120が完了したと決定し得る。
【0151】
別の例において、自律車両602が報告134を提供することを要求される場合において、オペレーションサーバ400は、報告134が十分であるという確認信号をユーザ140から受信することによって、報告要求130が完了したことを決定し得る。
【0152】
予期せぬ出来事100が対処されていないと決定される場合、方法500は、ステップ520を繰り返して予期せぬ出来事100が依然として対処されているかどうかを決定する。オペレーションサーバ400は、予期せぬ出来事100が対処されたという確認信号をユーザ140から受信する場合、予期せぬ出来事100が対処されていることを決定する。即ち、ステップ520において、オペレーションサーバ400は、予期せぬ出来事100が対処されていることを示す確認信号をユーザ140から受信するまで待つ。予期せぬ出来事100が対処されていると決定される場合、方法500は、オペレーションサーバ400がチケット214を閉めるステップ522に進む。
(自律車両およびその操作の例)
【0153】
図6は、自律運転操作が決定されることができる例示的車両エコシステム600のブロック図を示す。図6において示されるように、自律車両602は、セミトレーラートラックであり得る。車両エコシステム600は、自律車両602にあり得る車両内制御コンピュータ650に対して情報/データの1つ以上の源および関係するサービスを生成および/または送達できるいくつかのシステムおよび構成要素を含む。車両内制御コンピュータ650は、複数の車両サブシステム640とデータ通信することができ、その全ては、自律車両602に内在することができる。車両システムインタフェース660は、車両内制御コンピュータ650と複数の車両サブシステム640との間のデータ通信を容易にするために提供される。いくつかの実施形態において、車両サブシステムインタフェース660は、車両サブシステム640におけるデバイスと通信するための制御エリアネットワーク(CAN)コントローラを含むことができる。
【0154】
自律車両602は、自律車両602の操作をサポートする様々な車両サブシステムを含み得る。車両サブシステムは、制御サブシステム300、緊急停止ボタン604、車両運転サブシステム642、車両センササブシステム644および/または車両制御サブシステム648を含み得る。図6において示される車両運転サブシステム642の構成要素またはデバイスと、車両センササブシステム644と、車両制御サブシステム648とは、例である。自律車両602は、示されるように構成されるか、または任意の他の好適な構成であり得る。
【0155】
緊急停止ボタン604は、作動させられるときに自律車両602の自律機能を断ち切るかまたは解除するように構成される物理的ボタンを含み得る。緊急停止ボタン604は、複数の車両サブシステム640および車両内制御コンピュータ650と信号通信する。緊急停止ボタン604は、下に押す、外に引く、スライドする、切り替える、鍵を使用する等の任意の適切な方法によって作動させられ得る。作動させられたとき、緊急停止ボタン604は、自律車両602の自律機能を解除するためのフェールセーフシーケンスを開始し得る。この過程において、緊急停止ボタン604が作動させられたとき、それは、制御サブシステム300、車両運転サブシステム642、車両センササブシステム644、および車両制御サブシステム648を車両内制御コンピュータ650から断ち切る。即ち、緊急停止ボタン604が作動させられたとき、それは、自律車両602の自律システムから電力を遮断する。1つの実施形態において、緊急停止ボタン604が作動させられたとき、エンジン642aは、止められ得、ブレーキユニット648bは、適用され得、かつ、ハザードライトは、点灯させられ得る。作動時、緊急停止ボタン604は、自律車両602の全ての関係する開始シーケンス機能をオーバーライドし得る。
【0156】
車両運転サブシステム642は、自律車両602のための動力を提供するために動作可能である構成要素を含み得る。例示的な実施形態において、車両運転サブシステム642は、エンジン/モーター642aと、ホイール/タイヤ642bと、トランスミッション642cと、電気的サブシステム642dと、電力源642eとを含み得る。
【0157】
車両センササブシステム644は、自律車両602の環境または条件についての情報を感知するように構成される多数のセンサ646を含み得る。車両センササブシステム644は、1つ以上のカメラ646aまたは画像捕捉デバイス、レーダユニット646b、1つ以上の温度センサ646c、無線通信ユニット646d(例えば、セルラー通信トランシーバー)、慣性測定ユニット(IMU)646e、レーザー範囲発見器/LiDARユニット646f、グローバルポジショニングシステム(GPS)トランシーバー646g、および/またはワイパー制御システム646hを含み得る。車両センササブシステム644はまた、自律車両602の内部システム(例えば、Oモニタ、燃料計、エンジン油温度等)を監視するように構成されるセンサを含み得る。
【0158】
IMU646eは、慣性加速に基づいて自律車両602の位置および向きの変化を感知するように構成されるセンサ(例えば、加速度計およびジャイロスコープ)の任意の組み合わせを含み得る。GPSトランシーバー646gは、自律車両602の地理的場所を推定するように構成される任意のセンサであり得る。この目的ために、GPSトランシーバー646gは、地球に対する自律車両602の位置についての情報を提供するために動作可能な受信器/送信器を含み得る。レーダユニット646bは、自律車両602の局所環境内における物体を感知するためのラジオ信号を利用するシステムを表し得る。いくつかの実施形態において、物体を感知することに加えて、レーダユニット646bは、自律車両602に近接する物体のスピードおよび進行方向を感知するように更に構成され得る。レーザー範囲発見器またはLiDARユニット646fは、自律車両602がレーザーを使用して場所特定される環境における物体を感知するように構成される任意のセンサであり得る。カメラ646aは、自律車両602の環境の複数の画像を捕捉するように構成される1つ以上のデバイスを含み得る。カメラ646aは、依然として画像カメラまたは動き映像カメラであり得る。
【0159】
車両制御サブシステム648は、自律車両602およびその構成要素の操作を制御するように構成され得る。従って、車両制御サブシステム648は、スロットルおよびギア648a、ブレーキユニット648b、ナビゲーションユニット648c、操舵システム648d、および/または自律制御ユニット648e等の様々な要素を含み得る。スロットル648aは、例えば、エンジンの操作スピードを制御し、そして、自律車両602のスピードを制御するように構成され得る。ギア648aは、トランスミッションのギア選択を制御するように構成され得る。ブレーキユニット648bは、自律車両602を減速させるように構成される機械の任意の組み合わせを含むことができる。ブレーキユニット648bは、標準的な形式でホイールを遅くするために摩擦を使用できる。ブレーキユニット648bは、ブレーキが適用されたときにブレーキがロックされることを防ぐことができるアンチロックブレーキシステム(ABS)を含み得る。ナビゲーションユニット648cは、自律車両602のための運転経路またはルートを決定するように構成される任意のシステムであり得る。ナビゲーション648cユニットは、自律車両602の操作中、運転経路を動的に更新するように更に構成され得る。いくつかの実施形態において、ナビゲーションユニット648cは、自律車両602のための運転経路を(例えば、図1A~1Cの道路112、132に沿って)決定するように、GPSトランシーバー646qおよび1つ以上の所定の地図からのデータを組み込むように構成され得る。操舵システム648dは、自律モードまたは運転制御モードにおいて自律車両602の進行方向を調節するように動作可能であり得る機械の任意の組み合わせを表し得る。
【0160】
自律制御ユニット648eは、自律車両602の環境における潜在的妨害物または障害物を特定、査定および回避または別様に切り抜けるように構成される制御システムを表し得る。一般的に、自律制御ユニット648eは、運転手なしで操作するためか、または、自律車両602を制御することにおいて運転手補助を提供するために、自律車両602を制御するように構成され得る。いくつかの実施形態において、自律制御ユニット648eは、GPSトランシーバー646g、レーダ646b、LiDARユニット646f、カメラ646aおよび/または他の車両サブシステムからのデータを組み込み、自律車両602のための運転経路または軌道を決定するように構成され得る。
【0161】
自律車両602の機能の多くまたは全ては、車両内制御コンピュータ650によって制御されることができる。車両内制御コンピュータ650は、データ記憶デバイス690またはメモリ等の非一時的コンピュータ読み取り可能媒体において記憶される処理指示680を実行する(少なくとも1つのマイクロプロセッサを含むことができる)少なくとも1つのデータプロセッサ670を含み得る。車両内制御コンピュータ650はまた、説明された形態で自律車両602の個別の構成要素またはサブシステムを制御することに貢献し得る複数のコンピューティングデバイスを表し得る。いくつかの実施形態において、データ記憶デバイス690は、自律車両602の様々な方法および/または機能を実施するためのデータプロセッサ670によって実行可能な処理指示680(例えば、プログラム論理)を含み得、図1A~C、2および5について説明されるものが含まれる。
【0162】
データ記憶デバイス690は、車両運転サブシステム642、車両センササブシステム644および車両制御サブシステム648のうちの1つ以上に対してデータを伝送する、それらからデータを受信する、それらとやり取りをする、またはそれらを制御するための指示を含む追加の指示も含み得る。車両内制御コンピュータ650は、データプロセッサ670とデータ記憶デバイス690とを含むように構成されることができる。車両内制御コンピュータ650は、様々な車両サブシステム(例えば、車両運転サブシステム642、車両センササブシステム644および車両制御サブシステム648)から受信した入力に基づいて自律車両602の機能を制御し得る。
【0163】
図7は、正確な自律運転操作を提供するための例示的システム700を示す。システム700は、図6において説明されるように、車両内制御コンピュータ650において動作できるいくつかのモジュールを含む。車両内制御コンピュータ650は、図7の左上端において示されるセンサ融合モジュール702を含み、センサ融合モジュール702は、少なくとも4つの画像または信号処理操作を実施し得る。センサ融合モジュール702は、自律車両上にあるカメラから画像を取得して、画像分割704を実施して、動いている物体(例えば、他の車両、歩行者等)および/または自律車両の周りにある静的妨害物(例えば、停止標識、減速バンプ、テレイン等)の存在を検出できる。センサ融合モジュール702は、自律車両上にあるLiDARセンサからLiDARポイントクラウドデータ項目を取得して、LiDAR分割706を実施して、自律車両の周りにある物体および/または妨害物の存在を検出できる。
【0164】
センサ融合モジュール702は、画像および/またはポイントクラウドデータ項目上の事例分割708を実施して、自律車両の周りにある物体および/または妨害物の周りの輪郭(例えば、箱)を特定できる。センサ融合モジュール702は、時間融合710を実施でき、1つの画像および/またはポイントクラウドデータ項目の1つのフレームからの物体および/妨害物は、時間内に後に続いて受信される1つ以上の画像またはフレームからの物体および/妨害物と相関するかまたは関連付けられる。
【0165】
センサ融合モジュール702は、LiDARセンサから取得されたカメラおよび/またはポイントクラウドデータ項目から取得された画像から物体および/または妨害物を融合できる。例えば、センサ融合モジュール702は、2つのカメラの場所に基づいて、自律車両の前にある車両の2分の1を含むカメラのうちの1つからの画像が別のカメラによって場所特定され捕捉された車両と同じであると決定し得る。センサ融合モジュール702は、融合された物体情報を干渉モジュール746へ送信し、融合された妨害物情報を占有格子モジュール760へ送信する。車両内制御コンピュータは、車両内制御コンピュータにおいて記憶される地図データベース758から目印を検索できる占有格子モジュール760を含む。占有格子モジュール760は、センサ融合モジュール702および地図データ758において記憶される目印から取得される融合された妨害物から運転可能エリアおよび/または妨害物を決定できる。例えば、占有格子モジュール760は、運転可能エリアが減速バンプ妨害物を含み得ると決定できる。
【0166】
センサ融合モジュール702の下において、車両内制御コンピュータ650は、自律車両上にあるLiDARセンサ714から取得されたポイントクラウドデータ項目に基づいて物体検出716を実施できるLiDARベースの物体検出モジュール712を含む。物体検出716技術は、ポイントクラウドデータ項目から物体の(例えば、3D世界座標における)場所を提供できる。LiDARベースの物体検出モジュール712の下において、車両内制御コンピュータは、自律車両にあるカメラ720から取得された画像に基づいて物体検出724を実施できる画像ベースの物体検出モジュール718を含む。物体検出724技術は、深層機械学習技術724を採用して、カメラ720によって提供される画像から物体の(例えば、3D世界座標における)場所を提供できる。
【0167】
自律車両上のレーダ756は、自律車両の前方のエリアまたは自律車両が向かって走っているエリアを走査できる。レーダデータは、レーダデータを使用できるセンサ融合モジュール702に送信されて、レーダ756によって検出された物体および/または妨害物をLiDARポイントクラウドデータ項目およびカメラ画像の両方から検出された物体および/または妨害物と相関させる。レーダデータはまた、以下において更に説明されるように、物体追跡モジュール748によって物体を追跡するために、レーダデータにデータ処理を実施できるインタフェースモジュール746に送信される。
【0168】
車両内制御コンピュータは、ポイントクラウドから物体の場所を受信し、画像から物体を受信し、センサ融合モジュール702から融合された物体を受信する、干渉モジュール746を含む。干渉モジュール746はまた、レーダデータを受信して、それを使用して干渉モジュール746は、物体追跡モジュール748によって、あるタイムインスタンスにおいて取得される1つのポイントクラウドデータ項目および1つの画像から後に続く別のタイムインスタンスにおいて取得される別の(または次の)ポイントクラウドデータ項目および別の画像までの物体を追跡できる。
【0169】
干渉モジュール746は、物体属性推定750を実施して画像またはポイントクラウドデータ項目において検出された物体の1つ以上の属性を推定し得る。物体の1つ以上の属性は、物体の種類(例えば、歩行者、車、またはトラック等)を含み得る。干渉モジュール746は、挙動予測752を実施して画像および/またはポイントクラウドにおいて検出された物体の動きパターンを推定または予測し得る。挙動予測752は、異なる時点で受信した画像(例えば、連続的な画像)の組においてか、または異なる時点で受信したポイントクラウドデータ項目(例えば、連続的なポイントクラウドデータ項目)の組において物体の場所を検出するために実施され得る。いくつかの実施形態において、挙動予測752は、カメラから受信した各画像および/またはLiDARセンサから受信した各ポイントクラウドデータ項目について実施され得る。いくつかの実施形態において、干渉モジュール746は、カメラから受信した1つの画像置きに、または所定の数の画像毎に、または、LiDARセンサから受信した1つのポイントクラウドデータ項目置きに、または所定の数のポイントクラウドデータ項目毎に(例えば、2つの画像毎に、または3つのポイントクラウドデータ項目毎に)挙動予測752を実施することによって、演算負荷を低減させるように、実施され得る(例えば、運用または実行される)。
【0170】
挙動予測752特性は、レーダデータから自律車両を囲む物体のスピードおよび方向を決定し得、スピードおよび方向情報は、物体の動きパターンを予測または決定するために使用されることができる。動きパターンは、カメラから画像が受信された後の将来の所定の長さの時間にわたる物体の予測された軌道情報を含み得る。予測された動きパターンに基づいて、干渉モジュール746は、物体に動きパターン状況タグを割り当て得る(例えば、「座標(x,y)にある」、「停止させられている」、「50mphで走っている」、「加速している」または「減速している」)。状況タグは、物体の動きパターンを説明できる。干渉モジュール746は、1つ以上の物体属性(例えば、物体の種類)および動きパターン状況タグを計画モジュール762に送信する。干渉モジュール746は、システム700とその任意の数の構成要素および構成要素の組み合わせとによって獲得された任意の情報を使用して環境分析754を実施し得る。
【0171】
車両内制御コンピュータは、干渉モジュール746からの物体属性および動きパターン状況タグと、運転可能エリアおよび/または妨害物と、融合された局所化モジュール726(以下で更に説明される)からの車両の場所および体勢情報とを受信する計画モジュール762含む。
【0172】
計画モジュール762は、自律車両が運転されることができる軌道の組を決定するためのナビゲーション計画764を実施できる。軌道の組は、運転可能エリア情報と、物体の1つ以上の物体属性と、物体の動きパターン状況タグと、妨害物の場所と、運転可能エリア情報とに基づいて決定されることができる。いくつかの実施形態において、ナビゲーション計画764は、緊急の場合において自律車両が安全に駐車されることができる道路の隣のエリアを決定することを含み得る。計画モジュール762は、道路上の変化する条件(例えば、黄色に変わる信号機、または、別の車両が自律車両の前方かつ自律車両の場所の所定の安全距離内の領域を走行したために自律車両が安全でない運転条件下にいる)を決定することに応答して運転行動(例えば、操舵、ブレーキ、スロットル)を決定するための挙動決断766を含み得る。計画モジュール762は、軌道生成768を実施してナビゲーション計画操作764によって決定された軌道の組から軌道を選択する。選択された軌道情報は、計画モジュール762によって制御モジュール770へ送信される。
【0173】
車両内制御コンピュータは、計画モジュール762から提案された軌道を受信しかつ融合された局所化モジュール726から自律車両場所および体勢を受信する制御モジュール770を含む。制御モジュール770は、システム識別子772を含む。制御モジュール770は、提案された軌道を精緻化するためにモデルベースの軌道精緻化774を実施できる。例えば、制御モジュール770は、フィルタリング(例えば、カルマンフィルタ)を適用して提案された軌道を滑らかにしかつ/またはノイズを最小限にすることができる。制御モジュール770は、精緻化された提案された軌道情報および自律車両の現在の場所および/または体勢に基づいて、適用されるブレーキ圧力の量、操舵角度、車両のスピードを制御するためのスロットル量、および/またはトランスミッションギアを決定することによって、ロバスト制御776を実施し得る。制御モジュール770は、決定されたブレーキ圧力、操舵角度、スロットル量および/またはトランスミッションギアを自律車両における1つ以上のデバイスに送信して、自律車両の正確な運転操作を制御および容易化できる。
【0174】
画像ベースの物体検出モジュール718によって実施される深層の画像ベースの物体検出724はまた、道路上の目印(例えば、停止標識、減速バンプ等)を検出するために使用されることができる。車両内制御コンピュータは、画像から検出された目印を取得する融合された局所化モジュール726と、車両内制御コンピュータにおいて記憶された地図データベース736から取得された目印と、LiDARベースの物体検出モジュール712によってポイントクラウドデータ項目から検出された目印と、オドメータセンサ744からのスピードおよび変位と、自律車両上または自律車両内にあるGPS/IMUセンサ738(即ち、GPSセンサ740およびIMUセンサ742)からの自律車両の推定された場所とを含む。この情報に基づいて、融合された局所化モジュール726は、局所化操作728を実施して、計画モジュール762および制御モジュール770に送信できる自律車両の場所を決定できる。
【0175】
融合された局所化モジュール726は、GPSおよび/またはIMUセンサ738に基づいて自律車両の体勢730を推定できる。自律車両の体勢は、計画モジュール762および制御モジュール770に送信されることができる。融合された局所化モジュール726はまた、例えば、IMUセンサ742(例えば、角速度および/または線速度)によって提供される情報に基づいて、トレーラーユニットの状態(例えば、場所、考えられる動きの角度)を推定(例えば、トレーラー状態推定734)できる。融合された局所化モジュール726はまた、地図内容732をチェックし得る。
【0176】
図8は、自律車両602に含まれる車両内制御コンピュータ650の例示的ブロック図を示す。車両内制御コンピュータ650は、少なくとも1つのプロセッサ804と、記憶された指示(例えば、図4、5および6それぞれにおけるソフトウェア指示308、410および処理指示680)を有するメモリ802とを含む。指示は、プロセッサ804によって実行されるとき、図1A~7において説明される操作を実施するための車両内制御コンピュータ650および/または車両内制御コンピュータ650の様々なモジュールを構成する。送信器806は、自律車両における1つ以上のデバイスに情報またはデータを伝送または送信する。例えば、送信器806は、操舵ハンドルの1以上のモーターに指示を送信して自律車両を操舵できる。受信器808は、1つ以上のデバイスによって伝送または送信された情報またはデータを受信する。例えば、受信器808は、オドメータセンサからの現在のスピードまたはトランスミッションからの現在のトランスミッションギアの状態を受信する。送信器806および受信器808はまた、図6および7において上述される複数の車両サブシステム640および車両内制御コンピュータ650と通信するように構成される。
【0177】
いくつかの実施形態が本開示において提供されたが、開示されるシステムおよび方法は、本開示の精神または範囲から逸脱することなく、他の多くの具体的な形態で実装され得ると理解されるべきである。本開示における例は、例示的であって制約的ではないと捉えられるものであり、本明細書において述べられる詳細に限定されないことを意図する。例えば、様々な実施形態または構成要素が別のシステムにおいて組み合わされ得るかまたは統合され得たり、特定の特性が省略され得るかまたは実装されなかったりし得る。
【0178】
加えて、様々な実施形態において離散的であるかまたは個別であると説明および例示される技術、システム、サブシステムおよび方法は、本開示の範囲から逸脱することなく、他のシステム、モジュール、技術または方法と組み合わされ得るかまたは統合され得る。連結されるかまたは互いに直接連結または通信すると示されるかまたは述べられる他の項目は、何らかのインタフェース、デバイス、または仲介構成要素を通して、電気的、機械的、または別様に、間接的に連携または通信し得る。他の変更、置き換え、改変の例は、当業者によって確認されることができ、本明細書において開示される精神および範囲から逸脱することなく行われることができる。
【0179】
添付の特許請求の範囲を解釈するに当たり、特許庁及び本願について付与される任意の特許の任意の読者を助けるために、本出願人は、「手段」または「工程」という単語が特定の請求項において明示的に使用されない限り、添付の請求項のいずれかが本出願日に存在する米国特許法第112条(f)を援用することを意図しないものとする。
【0180】
開示の実装は、以下の項目を参照して説明されることができ、その特性は、任意の合理的な形で組み合わされることができる。
【0181】
項目1.システムであって、該システムは、
自律車両上にある少なくとも1つの車両センサを含む自律車両(AV)であって、該自律車両は、道路上にある、自律車両(AV)と、
該自律車両と関連付けられかつ第1のプロセッサを含む制御サブシステムであって、該第1のプロセッサは、
該自律車両の該少なくとも1つの車両センサからセンサデータを受信することであって、該センサデータは、該自律車両の場所座標を含む、ことと、
オペレーションサーバに該センサデータを通信することと
を行うように構成される、制御サブシステムと
を含み、
該制御サブシステムと通信可能に連結される該オペレーションサーバは、
アプリケーションにユーザのログイン資格証明を記憶するために動作可能であるメモリであって、それによって該ユーザは、該自律車両に関する情報にアクセスする権限が与えられる、メモリと、
該メモリと動作可能に連結される第2のプロセッサであって、該第2のプロセッサは、
該センサデータから該自律車両に関する予期せぬ出来事を検出することであって、該予期せぬ出来事は、該自律車両に関する事故、検問および報告要求のうちの少なくとも1つを含む、ことと、
該ユーザと関連付けられる電子デバイスからメッセージを受信することであって、
該メッセージは、該自律車両に関する特定の情報にアクセスするための要求を含み、
該メッセージは、該ユーザの場所データを更に含む、
ことと、
該ユーザの該場所データが該自律車両の該場所座標と合致するかどうかを決定することと、
該ユーザの該場所データが該自律車両の該場所座標と合致すると決定することに応答して、該自律車両を該ユーザと関連付けることと、
該予期せぬ出来事に対処するために行われる出来事を記録するための該予期せぬ出来事についてのチケットを生成することと、
該電子デバイスを使用して該ユーザと遠隔操作者との間に通信経路を確立することと、
該通信経路を介して該電子デバイスに該自律車両に関する該特定の情報を通信することと、
該予期せぬ出来事に対処するための補助を提供するための要求を該ユーザから受信することと、
該予期せぬ出来事に対処するための該ユーザに転送する指示を該遠隔操作者に提供することと、
該予期せぬ出来事が対処されているかどうかを決定することと、
該予期せぬ出来事が対処されていると決定することに応答して、該チケットを閉めることと
を行うように構成される、第2のプロセッサと
を含む、システム。
【0182】
項目2.上記予期せぬ出来事が上記自律車両が関与する上記事故を含むとき、該予期せぬ出来事に対処するための上記ユーザに転送する指示を上記遠隔操作者に提供することは、
該ユーザが該自律車両のキャブに入ることを遠隔で許可することと、
該自律車両の自律動作を解除することと、
イグニッションキーなしで該自律車両を手動で操作するための該ユーザに転送する指示を該遠隔操作者に提供することと
を含む、項目1に記載のシステム。
【0183】
項目3.上記自律車両の上記自律動作を解除することは、
上記第2のプロセッサによって該自律車両の該自律動作を遠隔で解除することと、
緊急停止ボタンによって該自律車両の該自律動作を局所的に解除するための上記ユーザに転送される指示を上記遠隔操作者に提供することと
のうちの少なくとも1つを含む、項目2に記載のシステム。
【0184】
項目4.上記第2のプロセッサは、
上記自律車両の健康診断に少なくとも部分的に基づいて該自律車両を手動で操作することが安全であるかどうかを決定することと、
該自律車両を手動で操作することが安全であると決定することに応答して、該自律車両を操作することが安全であることを上記ユーザに知らせるための指示を上記遠隔操作者に提供することと、
該自律車両を手動で操作することが安全でないと決定することに応答して、該自律車両を動かすためのけん引トラックを派遣することと
を行うように更に構成される、項目1に記載のシステム。
【0185】
項目5.上記自律車両は、スピーカーと、マイクと、ディスプレイスクリーンとを含む該自律車両のキャブ内に1つ以上のユーザインタフェースを更に含み、
上記第2のプロセッサは、
該1つ以上のユーザインタフェースを使用して上記ユーザと上記遠隔操作者との間に第2の通信経路を確立することと、
該第2の通信経路を介して該ユーザに該自律車両に関する上記特定の情報を通信することと
を行うように更に構成される、項目1に記載のシステム。
【0186】
項目6.上記補助は、
上記予期せぬ出来事が上記自律車両が関与する上記事故を含むときの緊急補助と、
該予期せぬ出来事が該自律車両の検問を含むときの検問補助と、
該予期せぬ出来事が上記報告要求を含むときの報告補助と
のうちの少なくとも1つを含む、項目1に記載のシステム。
【0187】
項目7.上記予期せぬ出来事が上記自律車両の上記検問を含むとき、該予期せぬ出来事に対処するための上記ユーザに転送する指示を上記遠隔操作者に提供することは、
該ユーザによって要求される自律車両に関する情報を電子デバイスに通信することであって、該情報は、
自律機能と、地図データと、ルーティング計画と、センサ機能とのうちの1つ以上を含む該自律車両の自律能力の第1の状態報告と、
該自律車両のデジタル重みと、該自律車両の荷物と、該自律車両のエンジンのデジタル温度とのうちの1つ以上を含む該自律車両の物理的特徴の第2の状態報告と
のうちの少なくとも1つを含む、こと
を含む、項目1に記載のシステム。
【0188】
項目8.上記予期せぬ出来事が上記報告要求を含むとき、該予期せぬ出来事に対処するための上記ユーザに転送する指示を上記遠隔操作者に提供することは、該ユーザによって要求された特定の時間範囲における上記自律車両の運転履歴を上記電子デバイスに通信することを含み、該運転履歴は、該自律車両のスピードを含む、項目1に記載のシステム。
【0189】
項目9.方法であって、該方法は、
自律車両(AV)の少なくとも1つの車両センサから受信したセンサデータから該自律車両に関する予期せぬ出来事を検出することであって、該予期せぬ出来事は、該自律車両に関する事故、検問および報告要求のうちの少なくとも1つを含む、ことと、
ユーザと関連付けられる電子デバイスからメッセージを受信することであって、
該ユーザは、該電子デバイス上のアプリケーション上で該ユーザに関連付けられるログイン資格証明を確認することによって、認証され、
該メッセージは、該自律車両についての特定の情報にアクセスするための要求を含み、
該メッセージは、該ユーザの場所データを更に含む、
ことと、
該ユーザの該場所データが該自律車両の該場所座標と合致するかどうかを決定することと、
該ユーザの該場所データが該自律車両の該場所座標と合致すると決定することに応答して、該自律車両を該ユーザと関連付けることと、
該予期せぬ出来事に対処するために行われる出来事を記録するための該予期せぬ出来事についてのチケットを生成することと、
該電子デバイスを使用して該ユーザと遠隔操作者との間に通信経路を確立することと、
該通信経路を介して該電子デバイスに該自律車両に関する該特定の情報を通信することと、
該予期せぬ出来事に対処するための補助を提供するための要求を該ユーザから受信することと、
該予期せぬ出来事に対処するための該ユーザに転送する指示を該遠隔操作者に提供することと、
該予期せぬ出来事が対処されているかどうかを決定することと、
該予期せぬ出来事が対処されていると決定することに応答して、該チケットを閉めることと
を含む、方法。
【0190】
項目10.上記自律車両の健康診断に少なくとも部分的に基づいて該自律車両を手動で操作することが安全であるかどうかを決定し、
該自律車両を手動で操作することが安全であると決定することに応答して、該自律車両を操作することが安全であることを上記ユーザに知らせるための指示を上記遠隔操作者に提供し、
該自律車両を手動で操作することが安全でないと決定することに応答して、該自律車両を動かすためのけん引トラックを派遣する、
項目9に記載の方法。
【0191】
項目11.スピーカーと、マイクと、ディスプレイスクリーンとを含む上記自律車両のキャブ内の1つ以上のユーザインタフェースを使用して上記ユーザと上記遠隔操作者との間に第2の通信経路を確立することと、
該第2の通信経路を介して該ユーザに該自律車両に関する上記特定の情報を通信することと
を更に含む、項目9に記載の方法。
【0192】
項目12.上記予期せぬ出来事に関与する上記自律車両を囲む環境からの1つ以上の画像を上記ユーザから上記通信経路を介して受信することと、
少なくとも該ユーザから受信した上記データに基づいて、
該予期せぬ出来事に関連付けられるセンサデータを更新することと、
該予期せぬ出来事に対処するための該ユーザに転送する指示を更新することと
を更に含む、項目9に記載の方法。
【0193】
項目13.上記予期せぬ出来事が上記自律車両の上記検問を含むとき、該予期せぬ出来事に対処するための上記ユーザに転送する指示を上記遠隔操作者に提供することは、
該ユーザによって要求される自律車両に関する情報を電子デバイスに通信することであって、該情報は、
自律機能と、地図データと、ルーティング計画と、センサ機能とのうちの1つ以上を含む該自律車両の自律能力の第1の状態報告と、
該自律車両のデジタル重みと、該自律車両の荷物と、該自律車両のエンジンのデジタル温度とのうちの1つ以上を含む該自律車両の物理的特徴の第2の状態報告と
のうちの少なくとも1つを含む、こと
を含む、項目9に記載の方法。
【0194】
項目14.上記予期せぬ出来事が対処されていることを示す確認信号を上記ユーザから受信することと、
該確認信号を受信することに応答して、該予期せぬ出来事が対処されていることを決定することと
を更に含む、項目9に記載の方法。
【0195】
項目15.非一時的コンピュータ読み取り可能媒体において記憶されている実行可能な指示を含むコンピュータプログラムであって、該コンピュータプログラムは、1つ以上のプロセッサによって実行されるとき、該1つ以上のプロセッサに、
自律車両(AV)の少なくとも1つの車両センサから受信したセンサデータから該自律車両に関する予期せぬ出来事を検出することであって、該予期せぬ出来事は、該自律車両に関する事故、検問および報告要求のうちの少なくとも1つを含む、ことと、
ユーザと関連付けられる電子デバイスからメッセージを受信することであって、
該ユーザは、該電子デバイス上のアプリケーション上で該ユーザに関連付けられるログイン資格証明を確認することによって、認証され、
該メッセージは、該自律車両についての特定の情報にアクセスするための要求を含み、
該メッセージは、該ユーザの場所データを更に含む、
ことと、
該ユーザの該場所データが該自律車両の該場所座標と合致するかどうかを決定することと、
該ユーザの該場所データが該自律車両の該場所座標と合致すると決定することに応答して、該自律車両を該ユーザと関連付けることと、
該予期せぬ出来事に対処するために行われる出来事を記録するための該予期せぬ出来事についてのチケットを生成することと、
該電子デバイスを使用して該ユーザと遠隔操作者との間に通信経路を確立することと、
該通信経路を介して該電子デバイスに該自律車両に関する該特定の情報を通信することと、
該予期せぬ出来事に対処するための補助を提供するための要求を該ユーザから受信することと、
該予期せぬ出来事に対処するための該ユーザに転送する指示を該遠隔操作者に提供することと、
該予期せぬ出来事が対処されているかどうかを決定することと、
該予期せぬ出来事が対処されていると決定することに応答して、該チケットを閉めることと
を行わせる、コンピュータプログラム。
【0196】
項目16.上記ユーザに関連付けられる上記電子デバイスから上記メッセージを受信することは、
該電子デバイス上にインストールされたアプリケーションから該メッセージを受信することであって、該アプリケーションは、上記自律車両と信号通信するオペレーションサーバと関連付けられる、ことと、
該電子デバイス上にインストールされた第三者アプリケーションからメッセージを受信することと
のうちの少なくとも1つを含む、項目15に記載のコンピュータプログラム。
【0197】
項目17.上記予期せぬ出来事が上記自律車両が関与する上記事故を含むとき、該予期せぬ出来事に対処するための上記ユーザに転送する指示を上記遠隔操作者に提供することは、
該ユーザが該自律車両のキャブに入ることを遠隔で許可することと、
該自律車両の自律動作を解除することと、
イグニッションキーなしで該自律車両を手動で操作するための該ユーザに転送する指示を該遠隔操作者に提供することと
を含む、項目15に記載のコンピュータプログラム。
【0198】
項目18.上記1つ以上のプロセッサは、
上記自律車両の健康診断に少なくとも部分的に基づいて該自律車両を手動で操作することが安全であるかどうかを決定することと、
該自律車両を手動で操作することが安全であると決定することに応答して、該自律車両を操作することが安全であることを上記ユーザに知らせるための指示を上記遠隔操作者に提供することと、
該自律車両を手動で操作することが安全でないと決定することに応答して、該自律車両を動かすためのけん引トラックを派遣することと
を行うように更に構成される、項目15に記載のコンピュータプログラム。
【0199】
項目19.上記1つ以上のプロセッサは、
スピーカーと、マイクと、ディスプレイスクリーンとを含む上記自律車両のキャブ内の1つ以上のユーザインタフェースを使用して上記ユーザと上記遠隔操作者との間に第2の通信経路を確立することと、
該第2の通信経路を介して該ユーザに該自律車両に関する上記特定の情報を通信することと
を行うように更に構成される、項目15に記載のコンピュータプログラム。
【0200】
項目20.上記予期せぬ出来事が上記自律車両の上記検問を含むとき、該予期せぬ出来事に対処するための上記ユーザに転送する指示を上記遠隔操作者に提供することは、
該ユーザによって要求される自律車両に関する情報を電子デバイスに通信することであって、該情報は、
自律機能と、地図データと、ルーティング計画と、センサ機能とのうちの1つ以上を含む該自律車両の自律能力の第1の状態報告と、
該自律車両のデジタル重みと、該自律車両の荷物と、該自律車両のエンジンのデジタル温度とのうちの1つ以上を含む該自律車両の物理的特徴の第2の状態報告と
のうちの少なくとも1つを含む、こと
を含む、項目15に記載のコンピュータプログラム。
図1A
図1B
図1C
図2
図3
図4
図5
図6
図7
図8