特許 7530989 自律車両の遠隔監視および制御のための人工知能方法およびシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-31

(45)【発行日】2024-08-08

(54)【発明の名称】自律車両の遠隔監視および制御のための人工知能方法およびシステム

(51)【国際特許分類】

   G08G 1/00 20060101AFI20240801BHJP

   G08G 1/09 20060101ALI20240801BHJP

   B60W 30/095 20120101ALI20240801BHJP

   B60W 30/09 20120101ALI20240801BHJP

   B60W 40/04 20060101ALI20240801BHJP

   G08B 25/04 20060101ALI20240801BHJP

   G08B 21/00 20060101ALI20240801BHJP

   G08B 21/18 20060101ALI20240801BHJP

【ＦＩ】

G08G1/00 D

G08G1/09 F

B60W30/095

B60W30/09

B60W40/04

G08B25/04 C

G08B21/00 U

G08B21/18

【請求項の数】 18

(21)【出願番号】P 2022553062

(86)(22)【出願日】2020-03-05

(65)【公表番号】

(43)【公表日】2023-06-19

(86)【国際出願番号】 US2020021171

(87)【国際公開番号】W WO2021177964

(87)【国際公開日】2021-09-10

【審査請求日】2023-03-03

(73)【特許権者】

【識別番号】522350184

【氏名又は名称】グイデント リミテッド

(74)【代理人】

【識別番号】100114775

【弁理士】

【氏名又は名称】高岡 亮一

(74)【代理人】

【識別番号】100121511

【弁理士】

【氏名又は名称】小田 直

(74)【代理人】

【識別番号】100202751

【弁理士】

【氏名又は名称】岩堀 明代

(74)【代理人】

【識別番号】100208580

【弁理士】

【氏名又は名称】三好 玲奈

(74)【代理人】

【識別番号】100191086

【弁理士】

【氏名又は名称】高橋 香元

(72)【発明者】

【氏名】グロス，クリフォード

(72)【発明者】

【氏名】ブラウン，ハラルド

【審査官】佐藤 吉信

(56)【参考文献】

【文献】国際公開第２０１９／１８０７００（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１７／０３０８０８２（ＵＳ，Ａ１）

【文献】特開２０１８－０７７８４５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／００－９９／００

Ｂ６０Ｗ １０／００－１０／３０

Ｂ６０Ｗ ３０／００－６０／００

Ｇ０１Ｃ ２１／００－２１／３６

Ｇ０１Ｃ ２３／００－２５／００

(57)【特許請求の範囲】

【請求項1】

自律車両遠隔監視および制御センタ（ＲＭＣＣ）であって、前記ＲＭＣＣは少なくとも１つの処理デバイスを備え、前記ＲＭＣＣは、
前記ＲＭＣＣから遠隔で動作している複数の独立統制型自律車両に分散された複数のセンサによって捕捉されるセンサデータを受信することであって、前記センサデータは、前記ＲＭＣＣの制御下で動作していない車両のデータを含むことと、
前記ＲＭＣＣから遠隔で動作している前記複数の独立統制型自律車両の各々の事故リスクレベルを同時に決定することと、
前記複数の自律車両のうちの１つ以上に関して前記ＲＭＣＣによって安全でないと決定された前記事故リスクレベルに応答して、前記安全ではない事故リスクレベルで動作している前記複数の自律車両のうちの１つ以上の制御を引き受け、前記安全ではない事故リスクレベルで動作している前記車両を安全な事故リスクレベルに戻すことと、
前記事故リスクが前記安全な事故リスクレベルに戻ったという決定に応答して、前記安全ではない事故リスクレベルで動作していた１つ以上の自律車両に制御を返還することと、
前記事故リスクレベルと所定の最小安全リスクレベル閾値との比較の関数として計算された事故リスクマージンを決定することと、
を行うようにプログラムおよび構成される、ＲＭＣＣ。

【請求項2】

前記ＲＭＣＣは、前記複数の自律車両から受信されたセンサデータの関数として構成された人工知能に基づいて前記事故リスクレベルを決定するように更にプログラムおよび構成される、請求項１に記載のＲＭＣＣ。

【請求項3】

前記事故リスクレベルは、少なくとも２つの異なる車両から独立して捕捉されたセンサデータの関数として前記ＲＭＣＣによって決定される、請求項１に記載のＲＭＣＣ。

【請求項4】

前記ＲＭＣＣは、少なくとも２つの異なる車両から独立して捕捉された前記センサデータを融合するように更にプログラムおよび構成される、請求項３に記載のＲＭＣＣ。

【請求項5】

前記ＲＭＣＣは、前記事故リスクマージンが所定の安全最小リスクマージン未満であるという決定に基づいて、前記事故リスクレベルが不安全であると決定するように更にプログラムおよび構成される、請求項１に記載のＲＭＣＣ。

【請求項6】

前記ＲＭＣＣは、所定の期間にわたりサンプリングされた前記事故リスクマージンの傾斜が負であるという決定に基づいて、前記事故リスクレベルが危険であると決定するように更にプログラムおよび構成される、請求項１に記載のＲＭＣＣ。

【請求項7】

前記ＲＭＣＣは、前記事故リスクマージンが所定の安全最小リスクマージン以上であるという決定に基づいて、前記事故リスクレベルが安全であると決定するように更にプログラムおよび構成される、請求項１に記載のＲＭＣＣ。

【請求項8】

自律車両遠隔監視および制御センタ（ＲＭＣＣ）であって、前記ＲＭＣＣは少なくとも１つの処理デバイスを備え、前記ＲＭＣＣは、
前記ＲＭＣＣから遠隔で動作している複数の独立統制型自律車両に分散された複数のセンサによって捕捉されるセンサデータを受信することであって、前記センサデータは、前記ＲＭＣＣの制御下で動作していない車両のデータを含むことと、
前記ＲＭＣＣから遠隔で動作している複数の独立統制型自律車両の各々の事故リスクレベルを決定することであって、前記事故リスクレベルは、前記複数の自律車両に分散された複数のセンサによって捕捉され受信された融合センサデータの関数として訓練された人工知能に基づいて決定されることと、
前記事故リスクレベルと所定の最小安全リスクレベル閾値との比較の関数として計算される事故リスクマージンを決定することと、
前記事故リスクマージンが前記所定の安全最小リスクマージン未満であるという決定に応答して、前記所定の安全最小リスクマージン未満の前記事故リスクマージンで動作している前記複数の自律車両のうちの１つ以上の制御を引き受け、少なくとも１つの車両において１つ以上の安全対策を実施することによって安全事故リスクレベルを取り戻すことと、
前記事故リスクと前記所定の安全最小リスクマージンとの比較に基づいて前記事故リスクが安全な事故リスクレベルに戻ったという決定に応答して、前記所定の安全最小リスクマージン未満の前記事故リスクマージンで動作する１つ以上の自律車両に制御を返還することと、
前記事故リスクマージンが所定の安全最小リスクマージン以上であるという決定に応答して、前記事故リスクレベルが安全であると決定することと、
を行うようにプログラムおよび構成される、ＲＭＣＣ。

【請求項9】

前記融合センサデータは、前記ＲＭＣＣ下で動作していない他の車両から捕捉された視野画像に組み付けられた前記複数の自律車両の少なくとも１つから捕捉された物体画像を符号化するデータを更に備える、請求項８に記載のＲＭＣＣ。

【請求項10】

前記融合センサデータは、データ符号化位置を更に備える、請求項８に記載のＲＭＣＣ。

【請求項11】

前記融合センサデータは、前記複数の車両のうちの１つの車両と、前記複数の車両のうちの少なくとも１つの他の車両との間の車間距離を符号化するデータを更に備える、請求項８に記載のＲＭＣＣ。

【請求項12】

前記融合センサデータは、前記複数の車両のうちの１つの車両と固定物体との間の距離を符号化するデータを更に備える、請求項８に記載のＲＭＣＣ。

【請求項13】

前記安全対策は、前記複数の車両のうちの少なくとも１つの車両の速度の変更に基づいて、少なくとも２つの車両の車間距離を大きくすることを更に備える、請求項８に記載のＲＭＣＣ。

【請求項14】

前記安全対策は、衝突を回避するために少なくとも１つの車両の方向を変えることを更に備える、請求項８に記載のＲＭＣＣ。

【請求項15】

自律車両遠隔監視および制御センタ（ＲＭＣＣ）であって、前記ＲＭＣＣは少なくとも１つの処理デバイスを備え、前記ＲＭＣＣは、
前記ＲＭＣＣから遠隔で動作している複数の独立統制型自律車両に分散された複数のセンサによって捕捉されるセンサデータを受信することであって、前記センサデータは、前記ＲＭＣＣの制御下で動作していない車両のデータを含むことと、
前記ＲＭＣＣから遠隔にある複数の独立統制型自律車両の事故リスクレベルを決定することであって、前記事故リスクレベルは、前記複数の自律車両に分散された複数のセンサによって捕捉され受信された融合画像センサデータの関数として訓練された人工知能に基づいて決定され、前記事故リスクレベルは、１つの車両から捕捉された前記画像センサデータによって視覚的に符号化された物体が少なくとも１つの他の車両の関心対象であるかを決定する基準に基づいて決定されることと、
前記事故リスクレベルを所定の安全リスクレベル閾値と比較することの関数として計算された事故リスクマージンを決定することであって、前記安全リスクレベル閾値は、テスト車両センサによって捕捉された履歴訓練データの関数として構成された人工知能によって事前定義されることと、
前記事故リスクマージンが前記所定の安全最小リスクマージン未満であるという決定に応答して、前記所定の安全最小リスクマージン未満の前記事故リスクマージンで動作している前記複数の自律車両のうちの１つ以上の制御を引き受け、前記複数の自律車両のうちの少なくとも１つの車両の前記速度ベクトルの変更に基づいて少なくとも２つの車両の前記車間距離を大きくするために、前記複数の車両の前記操作の統制に基づいて前記車両に関する前記安全な事故リスクレベルを取り戻すことと、
前記事故リスクと前記所定の安全最小リスクマージンとの比較に基づいて前記事故リスクが安全なレベルに戻ったという決定に応答して、前記複数の自律車両のうちの１つ以上に制御を返還することと、
前記事故リスクマージンが前記所定の安全最小リスクマージン以上であるという決定に応答して、前記事故リスクレベルが安全であると決定することと、
前記複数の分散型センサから受信された情報に基づく前記事故の存在の決定に応答して、前記センサから受信された情報に基づいて、前記事故に巻き込まれた車両、乗客、歩行者、動物、および物体、および前記事故に巻き込まれた前記車両、乗客、歩行者、動物、および物体の損傷および損害の性質を決定することと、
前記事故が発生した位置から第２の位置へ前記自律車両が自律的に安全に移動可能であるかを決定することと、
前記自律車両が前記第２の位置へ自律的に安全に移動可能であるという決定に応答して、前記車両を前記第２の位置へ移動させ、前記車両を駐車させることと、
を行うようにプログラムおよび構成される、ＲＭＣＣ。

【請求項16】

前記ＲＭＣＣは、前記事故リスクレベルが安全であるという決定に応答して、ＲＭＣＣモニタ上に、人間の目に見える緑色インジケーションを表示するように更にプログラムおよび構成される、請求項１５に記載のＲＭＣＣ。

【請求項17】

前記ＲＭＣＣは、前記事故リスクレベルが危険であるという決定に応答して、ＲＭＣＣモニタ上に、人間の目に見える黄色インジケーションを表示するように更にプログラムおよび構成される、請求項１５に記載のＲＭＣＣ。

【請求項18】

前記ＲＭＣＣは、前記事故リスクが不安全であるという決定に応答して、ＲＭＣＣモニタ上に、人間の目に見える赤色インジケーションを表示するように更にプログラムおよび構成される、請求項１５に記載のＲＭＣＣ。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、自律車両のインテリジェントな遠隔監視および制御のための方法およびシステムに向けられる。具体的には、本開示は、分散型センサ融合および人工知能技術を用いて、独立して動作する複数の自律車両を遠隔的に監視し、車両の各々に関する事故リスクレベルを同時に決定し、不安全な事故リスクレベルが決定された場合に安全リスクマージンを取り戻すために自律車両の１または複数の制御を引き受け、事故リスクレベルが安全マージンに戻ると自律車両に制御を返還する方法およびシステムに向けられる。

【背景技術】

【0002】

特に人間の過誤に起因する車両事故関連の死者数は、全世界で毎年１００万人を超える。そのような状況に応じて、様々な安全対策が提案されてきた。特に、米国では、合衆国運輸省（ＵＳＤＯＴ）が州ごとのＤＯＴおよび全国の専門家と協力して専用狭域通信（ＤＳＲＣ）技術および関連規格の開発に従事しており、これは、車両対歩行者（Ｖ２Ｐ）、車両対車両（Ｖ２Ｖ）、および車両対インフラ（Ｖ２Ｉ）通信を介して安全対策を大幅に向上させるために設計される。ＵＳＤＯＴパイロットテストプログラムにより、ＤＳＲＣは車両関連の事故を大幅に低減させ得ることが結論付けられた。またＵＳＤＯＴは、近い将来、全ての新型軽車両にＤＳＲＣ技術を義務付けるべきであることも提言している。

【0003】

車両関連事故の重要カテゴリの１つが歩行者と車両との衝突に関与する。米国では、２０１５年、車両事故に起因する歩行者の死亡数は、２００９年から２３％増加した５，３７６人であった。歩行者の死亡は、ここ数年で増加した数少ないカテゴリの１つである。また、歩行者事故の多くは都市部で起こっている。

【0004】

歩行者を巻き込む多くの事故シナリオの１つは、停車中の車両が、他の車両の視野から歩行者を塞ぐ場合である。図６に示すように、第２の通行車両の運転者は、歩行者が第２の車両に非常に近接してからしか横断する歩行者の存在に気付くことができない。そのようなシナリオにおいて、歩行者がすぐ近くにいることによって通行車両の運転者は車両の停止に間に合わず、歩行者の負傷や、死を招く可能性もある。

【0005】

より広範な事故カテゴリは、歩行者に加えて自転車やオートバイの乗用者を含み、改善された通信技術は、これらの道路使用弱者（ＶＲＵ）に関する事故も低減させ得る。

【0006】

様々な新型車両モデルは一般に、歩行者および他の事故形態の防止に役立つ高度運転者支援システム（ＡＤＡＳ）を含む。そのようなシステムの成功は、通常、移動中の車両と歩行者との間の距離および車両速度に依存する。

【0007】

自律車両（ＡＶ）は、車両の操作を制御するために様々なコンピュータ処理システムを使用する。自律車両は、たとえばパイロット、運転者、または乗客などのオペレータからの初期入力を必要とし、その後、レベル３からレベル４または５の自律モード（車両が主に自分で運転する）から人間のオペレータが自律モードを完全にオーバライドして車両を完全に手動制御することを可能にするまでの範囲内で様々な程度の人間の入力を伴うモード、および断続的な人間の入力および制御の可能性を伴う、両極端間の全モード範囲で動作してよい。自律車両は、自動車、歩行者、およびそれら各々の近接度および特徴を検出するためのセンサ、カメラ、ソナー、およびレーダを含んでよい。これらは、ナビゲーション用のグローバルポジショニングシステム（ＧＰＳ）、および２つのＮＦＣ対応デバイスが最大２０～３０ｃｍの距離までアドホック形式で互いに通信して情報を交換することを可能にするＮＦＣピアツーピアを含むセンサまたは近距離無線通信（ＮＦＣ）に基づく他の通信技術形態に依拠してもよい。物体および物体関連情報を検出および識別しナビゲーションする能力は、自律車両の安全な操作に不可欠である。

【0008】

ＡＩを用いるＡＶの安全に関しては高度の不確実性が存在し、レベル４またはレベル５のＡＶの集団適合を妨げている。管轄区域によっては法的規制があり、事故や災害の際にバックアップ人間オペレータがＡＶの制御を引き受けることが義務付けられている。これらのオペレータは、車両内または遠隔地に存在し得る。

【0009】

自律車両操作に向けられた方法およびシステムが存在している。たとえば、米国特許第９，４７５，４９６号は、特に道路条件、環境条件、車両乗員、および乗員の１人が運転者であるかを監視するように構成され得る自律運転センサを説明する。

【0010】

米国特許出願第９，１２０，４８４号は、視覚または可聴キューを用いて、１または複数のセンサからの有効データを取得しているか、自律車両の方向または速度またはその両方を部分制御しているか完全制御しているか、たとえば何らかの過誤が存在するかなどを示し得る自律運転コンピュータシステムを説明する。加えて、自律運転コンピュータシステムは、車両を人間が制御しているか自動システムが制御しているかを瞬時に示す、人間、他のコンピュータ、またはその両方によって読取り可能な外部指示器も有してよい。

【0011】

自律車両を操作するための方法およびシステム実装の一部は、衝突を回避しようとしながら、運転に伴う瞬間ごとの意思決定から運転者を解放するために適合された衝突回避システムを含む。たとえば、開示全体が参照によって本願に組み込まれる、フロリダＡ＆Ｍ大学が出願した米国特許第９，４２９，９４３号は、認識および制御技術に基づいて車両を制御するように適合された人工知能バレー（ＡＩＶ）システムおよび方法を説明する。人工知能バレー（ＡＩＶ）システムは、車両が車両ユーザをナビゲートすることを可能にする現在のモバイル技術、ファジー論理、およびニューラルネットワークを含んでよい。自律車両がＡＩＶ制御下で動作している時、ＡＩＶシステムは、予想外の状況によって、たとえば人間、動物、他の車両、またはそれらの任意の組み合わせなどの物体との衝突が不可避である場合を認識し得る。そのような決定に応答して、衝突をインテリジェントに回避するため、または最悪の場合、不可避の衝突に直面した場合にどの物体と衝突するかを決定するために、回避行動が開始され得る。衝突後、衝突回避システムは、緊急サービスへの呼出しを開始し、車両を安全に駐車させ得る。いくつかの実装において、損傷が生じていない場合、緊急サービスに連絡を取ることなく車両は駐車され得る。しかし、米国特許第９，４２９，９４３号は、複数の独立した自律車両を監視すること、独立した自律車両の１または複数の制御を引き受けて車両操作を統制すること、および安全な操作が取り戻された時に１または複数の独立した自律車両に制御を返還することを明示していない。

【0012】

自律車両操作の安全性は向上したが、危険な自律車両に関する安全性欠如の可能性が残っている。いくつかの自律車両シナリオにおいて、不安全な状態は、センサの誤動作、またはソフトウェアが予想外の状況（たとえば混在した道路における歩行者を伴う行き詰まりの状況）を解決できないこと、運転者がいないことによる安全性の懸念、および運転者または係員に情報や支援を求める乗客のための紛失オプションの結果、生じ得る。

【0013】

いくつかの自律車両実装は、自律車両に伴う安全性および顧客満足度の向上に貢献し、完全な自律性までの隔たりを埋めるのに役立つ方法およびシステムを含む。たとえば、開示全体が参照によって本願に組み込まれる、フロリダ国際大学評議員会によって出願された米国特許第９，９６４，９４８号は、自律車両を支援するための方法およびシステムを説明する。自律車両を支援するための方法は、センサ入力を有する自律車両を提供することと、自律車両との双方向通信を有する遠隔制御センタを提供することとを含み得る。自律車両は、自身のセンサ入力情報を制御センタへ送信してよく、制御センタは、制御情報を自律車両へ送信してよい。しかし、米国特許第９，９６４，９４８号は、複数の独立した自律車両を監視すること、危険な操作安全性状態が検出された時に車両操作を統制するために独立した自律車両の１または複数の制御を引き受けること、および、安全な操作が取り戻された時に１または複数の独立した自律車両に制御を返還することを明示していない。

【0014】

自律車両が安全に操作され得るように自律車両の設計に向けられる多大な努力にもかかわらず、たとえば衝突、事故、および他の緊急事態などの出来事が発生する場合がある。衝突、事故、および他の緊急事態は、車両が自律的に動作する場合に更なる問題をもたらし得る。

【0015】

また自律車両は、安全シャットダウンおよび緊急応答および事故報告モードも含む。たとえば米国特許第８，８７４，３０１号は、セットアップモード、能動運転モード、安全シャットダウンモード、および緊急応答モードを有する自律運転制御を備えた車両を説明する。

【0016】

そのような衝突回避および事故報告システムは、巻き込まれた車両、乗客、歩行者、動物、および物体の数や、それらの損傷および損害の性質の正確な査定を含む、事故に続いて生じる損傷および損害の性質のより正確な査定によって改善され得る。

【0017】

いくつかの自律車両例は、事故または緊急事態の発生時に自律車両の制御を乗客または緊急応答者に譲渡するための方法およびシステムを含む。たとえば、Ｇｕｉｄｅｎｔ社によって出願された米国特許出願第１６／３８６，５３０号は、事故または緊急事態の発生時に自律車両の制御を乗客または緊急応答者に譲渡するための方法およびシステムを説明する。このシステムは、衝突または事故回避および改善された事故または緊急事態報告で動作する自律車両人工知能システムと組み合わせて用いられ得る。分散型情報システム（ＤＩＳＳ）は、単一の自律車両内の複数の分散型センサからの情報を受信し、複数の分散型センサから受信した情報に基づいて事故の存在を決定し、センサから受信した情報に基づいて、事故に巻き込まれた車両、乗客、および歩行者、動物、ならびに物体、および事故に巻き込まれた車両、乗客、および歩行者、動物、および物体の損傷および損害の性質を決定し、事故が発生した位置から第２の位置へ自律車両が自律的に安全に移動可能であるかを決定し、自律車両が安全に第２の位置へ移動可能である場合、車両を第２の位置へ自律的に移動させ、車両を駐車させる。米国特許出願第１６／３８６，５３０号によって説明される方法およびシステムは、新しいセンサ融合技術を用いて異なるセンサ型から受信した異なる情報型を統合させ、事故の存在を決定し、巻き込まれた車両、人間、動物、または物体を決定し、単一の自律車両が安全に移動可能であるかを決定してよい。しかし、米国特許出願第１６／３８６，５３０号は、複数の独立した自律車両を監視すること、危険な操作安全性状態が検出された時に車両操作を統制するために独立した自律車両の１または複数の制御を引き受けること、および、安全な操作が取り戻された時に１または複数の独立した自律車両に制御を返還することを明示していない。

【0018】

自動化車両が自律的に安全な駐車をすることが不可能であり、緊急応答者への通知が必要になり得る場合が存在し得る。たとえば、他の自動車が走行する混雑した交差点や幹線道路で自律運転車両が事故に遭遇した場合、自律運転車両は、追加の損害や損傷を防ぐためにシャットダウンされる必要があり得る。また自律車両は、交通が続行可能であるように自律的にまたは手動で道を空け、自律車両の乗客、他の運転者、および歩行者の安全を確保する必要もある。

【0019】

米国特許第９，４７５，４９６号は、車両の自律制御をオーバライドする方法およびシステムを説明する。オーバライドは、たとえば乗員の１人が緊急サービスを必要とする場合に自動的に発生し得る。緊急サービスのオーバライド中、車両は、警察署、消防署、病院、給油所などへ自律的または非自律的に移動することが許可され得る。また場合によっては、たとえば９１１オペレータなどの緊急サービスプロバイダが、１または複数の乗員が緊急サービスを求めることを車両が許可するのを妨げる１または複数の運転制限を遠隔でオーバライドし得ることも説明される。オーバライドは、たとえば乗員の１人が緊急サービスを必要とする場合に自動的に発生し得る。緊急サービスのオーバライド中、車両は、警察署、消防署、病院、給油所などへ自律的または非自律的に移動することが許可され得るが、米国特許第９，４７５，４９６号は、オーバライドがどのように実施されるかを明示していない。オーバライドは、たとえば所有者の携帯電話または電子メールアドレスに送信され、オーバライド要求を許可または拒絶する所有者の携帯電話または電子メールアドレスからの応答を受信し得ることが記載される。許可された場合、処理デバイスは、運転制限の１または複数を一時的に無効化してよい。オーバライド要求が拒絶された場合、処理デバイスは、たとえばユーザインタフェースデバイスなどを介して、オーバライド要求が拒絶されたことを示す乗員へのメッセージを出力してよい。処理デバイスは、選択されたプロファイルに関連する運転制限に従って車両の操作を制御してよい。所有者は、乗員への報酬または他のインセンティブとしてケースバイケースでオーバライド要求を認めることを望み得る。

【0020】

米国特許第９，４７５，４９６号は、たとえばオーバライド要求が所有者の携帯電話または電子メールアドレスに送信されること、およびオーバライド要求を許可または拒絶する所有者の携帯電話または電子メールアドレスからの応答を受信することを説明する。しかし、所有者が応対可能ではなく、迅速な応答が可能ではなく、または無能力である場合、所有者の同意を受けずに自動化車両の制御を緊急応答者に譲渡またはハンドオフ可能であることが必要になる。所有者の同意を受けることを待機した結果、負傷した人間が適時に手当や配慮を受けられない場合がある。また、交通を妨げないように車両を即座に移動できない場合、更なる事故および被害の危険性も生じ得る。

【0021】

停車中の車両が、横断する歩行者を他の車両の視野から塞ぐ場合、歩行者を巻き込む事故シナリオが存在し得る。そのようなシナリオにおいて、第２の通行車両の運転者は、歩行者が第２の車両に非常に近接するまで、横断する歩行者の存在に気付かない。

【0022】

いくつかの自律車両実装は、塞がれた物体を自律車両に提示するシナリオでの安全性向上のために車両間でデータを共有する方法およびシステムを含む。たとえば、その開示が参照によって本願に組み込まれる、ミシガン州立大学の評議員会によって出願されたＰＣＴ特許出願ＰＣＴ／ＵＳ１９／１４５４７号は、センサ融合技術を用いて複数の自律車両間で共有されたセンサデータに基づく分散型物体検出を説明する。またＰＣＴ／ＵＳ１９／１４５４７号は、物体検出に基づいて複数の自律車両の１または複数を自動制動するように構成された衝突回避システムも説明する。しかし、ＰＣＴ／ＵＳ１９／１４５４７号は、複数の独立した自律車両を監視すること、危険な操作安全性状態が検出された時に車両操作を統制するために独立した自律車両の１または複数の制御を引き受けること、および、安全な操作が取り戻された時に１または複数の独立した自律車両に制御を返還することを明示していない。

【0023】

危険な操作安全性状態が検出された時に車両操作を統制するために独立した自律車両の１または複数の制御を引き受け、安全な操作が取り戻された時に１または複数の独立した自律車両に制御を返還するための、衝突または事故回避および改善された事故または緊急事態報告で動作する自動化車両人工知能システムと組み合わせて用いられ得る、複数の独立した自律車両を監視するための改善された方法およびシステムが必要とされる。

【0024】

本項は、必ずしも従来技術ではなく、本開示に関連する背景情報を記載している。

【発明の概要】

【0025】

装置および関連方法は、コントローラを、コントローラから遠隔にある複数の独立統制型自律車両の事故リスクレベルを同時に監視し、コントローラによって決定された１または複数の車両に関する不安全な事故リスクレベルに応答して、不安全な事故リスクレベルを有する１または複数の自律車両の制御を引き受けて安全な事故リスクレベルを取り戻し、事故リスクが安全なレベルに戻ったという決定に応答して、自律車両に制御を返還するように構成することに関する。典型的な例において、事故リスクは、複数の車両に分散したセンサからのデータに基づいて、複数の車両の各々に関して個々に、またグループとして決定され得る。複数の車両からのセンサデータが融合され、車両のグループに関する正確な事故リスクの決定を可能にし得る。いくつかの例において、車間距離を大きくすること、または車両速度を低減することに基づいて、人工知能によって個々の車両または車両グループに向けた安全対策が取られ得る。

【0026】

本開示に係る様々な実施形態は、独立して動作する複数の自律車両を遠隔監視するための分散型センサ融合および人工知能技術を用いて、１または複数の車両の事故リスクレベルを同時に決定し、自律車両の少なくとも１つの事故リスクレベルが少なくとも所定の安全リスクマージンによる安全事故リスクレベルを超過することを決定すると、自律車両の１または複数の制御を引き受け、事故リスクレベルが安全マージンに戻ると、自律車両に制御を返還する方法およびシステムを提供する。典型的な例において、いくつかの実施形態の実装は、人工知能、視覚センサ融合、および車両間でのデータ共有に基づく、独立して動作する自律車両の遠隔監視および制御、ならびに、人工知能、低減された事故応答レイテンシ、および増加した応答者認知および可用性に基づく安全性向上のための、車両から遠隔にある監視および制御センタを含む。

【0027】

特に、本開示は、人工知能、視覚センサ融合、および車両間のデータ共有に基づく、独立して動作する自律車両の複数のグループを監視するネットワーク化遠隔監視および制御センタ、および、遠隔監視および制御センタと車両との近接性による低減された監視および制御レイテンシの結果生じる安全性向上のための、車両付近の少なくとも１つのネットワーク化監視および制御センタに向けられる。

【0028】

１つの態様において、少なくとも１つの処理デバイスを備える自律車両遠隔監視および制御センタ（ＲＭＣＣ）装置が提供され、ＲＭＣＣは、ＲＭＣＣから遠隔で動作している複数の独立統制型自律車両に分散された複数のセンサによって捕捉される、ＲＭＣＣの制御下で動作していない車両のデータを含むセンサデータを受信し、ＲＭＣＣから遠隔で動作している複数の独立統制型自律車両の各々の事故リスクレベルを同時に決定し、複数の独立した車両の１または複数に関してＲＭＣＣによって安全でないと決定された事故リスクレベルに応答して、安全ではない事故リスクレベルで動作している複数の自律車両の１または複数の制御を引き受け、安全ではない事故リスクレベルで動作している車両を安全な事故リスクレベルに戻し、事故リスクレベルが安全な事故リスクレベルに戻ったという決定に応答して、安全ではない事故リスクレベルで動作していた１または複数の自律車両に制御を返還するようにプログラムおよび構成される。

【0029】

他の実施形態において、ＲＭＣＣは、複数の自律車両から受信したセンサデータの関数として構成された人工知能に基づいて事故リスクレベルを決定するようにプログラムおよび構成される。

【0030】

他の実施形態において、事故リスクレベルは、少なくとも２つの異なる車両から独立して捕捉されたセンサデータの関数としてＲＭＣＣによって決定される。

【0031】

他の実施形態において、ＲＭＣＣは、少なくとも２つの異なる車両から独立して捕捉されたセンサデータを融合するようにプログラムおよび構成される。

【0032】

他の実施形態において、ＲＭＣＣは、事故リスクレベルと所定の最小安全リスクレベル閾値との比較の関数として計算された事故リスクマージンを決定するようにプログラムおよび構成される。

【0033】

他の実施形態において、ＲＭＣＣは、事故リスクマージンが所定の安全最小リスクマージン未満であるという決定に基づいて、事故リスクレベルが不安全であると決定するようにプログラムおよび構成される。

【0034】

他の実施形態において、ＲＭＣＣは、所定の期間にわたりサンプリングされた事故リスクマージンの傾斜が負であるという決定に基づいて、事故リスクレベルが危険であると決定するようにプログラムおよび構成される。

【0035】

他の実施形態において、ＲＭＣＣは、事故リスクマージンが所定の安全最小リスクマージン以上であるという決定に基づいて、事故リスクレベルが安全であると決定するようにプログラムおよび構成される。

【0036】

他の実施形態において、少なくとも１つの処理デバイスを備える自律車両遠隔監視および制御センタ（ＲＭＣＣ）装置が提供され、ＲＭＣＣは、ＲＭＣＣから遠隔で動作している複数の独立統制型自律車両に分散された複数のセンサによって捕捉される、ＲＭＣＣの制御下で動作していない車両のデータを含むセンサデータを受信し、複数の自律車両に分散された複数のセンサによって捕捉され受信された融合センサデータの関数として訓練された人工知能に基づいて決定される、ＲＭＣＣから遠隔で動作している複数の独立統制型自律車両の各々の事故リスクレベルを決定し、事故リスクレベルと所定の最小安全リスクレベル閾値との比較の関数として計算された事故リスクマージンを決定し、事故リスクマージンが所定の安全最小リスクマージン未満であるという決定に応答して、所定の安全最小リスクマージン未満の事故リスクマージンで動作している複数の自律車両の１または複数の制御を引き受け、少なくとも１つの車両において１または複数の安全対策を実施することによって安全事故リスクレベルを取り戻し、事故リスクと所定の安全最小リスクマージンとの比較に基づいて事故リスクが安全な事故リスクレベルに戻ったという決定に応答して、所定の安全最小リスクマージン未満の事故リスクマージンで動作する１または複数の自律車両に制御を返還し、事故リスクマージンが所定の安全最小リスクマージン以上であるという決定に応答して、事故リスクレベルが安全であると決定するようにプログラムおよび構成される。

【0037】

他の実施形態において、融合センサデータは、ＲＭＣＣ下で動作していない他の車両から捕捉された視野画像に組み付けられた複数の自律車両の少なくとも１つから捕捉された物体画像を符号化するデータを更に備える。

【0038】

他の実施形態において、融合センサデータは、データ符号化位置を更に備える。

【0039】

他の実施形態において、融合センサデータは、複数の車両のうちの１つの車両と、複数の車両のうちの少なくとも１つの他の車両との間の車間距離を符号化するデータを更に備える。

【0040】

他の実施形態において、融合センサデータは、複数の車両のうちの１つの車両と固定物体との間の距離を符号化するデータを更に備える。

【0041】

他の実施形態において、安全対策は、複数の車両のうちの少なくとも１つの車両の速度の変更に基づいて、少なくとも２つの車両の車間距離を大きくすることを更に備える。

【0042】

他の実施形態において、安全対策は、衝突を回避するために少なくとも１つの車両の方向を変えることを更に備える。

【0043】

他の態様において、少なくとも１つの処理デバイスを備える自律車両遠隔監視および制御センタ（ＲＭＣＣ）装置が提供され、ＲＭＣＣは、ＲＭＣＣから遠隔で動作している複数の独立統制型自律車両に分散された複数のセンサによって捕捉される、ＲＭＣＣの制御下で動作していない車両のデータを含むセンサデータを受信し、複数の自律車両に分散された複数のセンサによって捕捉され受信された融合画像センサデータの関数として訓練された人工知能に基づいて決定され、１つの車両から捕捉された画像センサデータによって視覚的に符号化された物体が少なくとも１つの他の車両の関心対象であるかを決定する基準に基づいて決定される、ＲＭＣＣから遠隔にある複数の独立統制型自律車両の事故リスクレベルを決定し、事故リスクレベルと、テスト車両センサによって捕捉された履歴訓練データの関数として構成された人工知能によって事前に定められた所定の安全リスクレベル閾値との比較の関数として計算された事故リスクマージンを決定し、事故リスクマージンが所定の安全最小リスクマージン未満であるという決定に応答して、所定の安全最小リスクマージン未満の事故リスクマージンで動作している複数の自律車両の１または複数の制御を引き受け、複数の自律車両のうちの少なくとも１つの車両の速度ベクトルの変更に基づいて少なくとも２つの車両の車間距離を大きくするために、複数の車両の操作の統制に基づいて車両に関する安全な事故リスクレベルを取り戻し、事故リスクと所定の安全最小リスクマージンとの比較に基づいて事故リスクが安全なレベルに戻ったという決定に応答して、複数の自律車両の１または複数に制御を返還し、事故リスクマージンが所定の安全最小リスクマージン以上であるという決定に応答して、事故リスクレベルが安全であると決定し、複数の分散型センサから受信した情報に基づく事故の存在の決定に応答して、センサから受信した情報に基づいて、事故に巻き込まれた車両、乗客、歩行者、動物、および物体、および事故に巻き込まれた車両、乗客、歩行者、動物、および物体の損傷および損害の性質を決定し、事故が発生した位置から第２の位置へ自律車両が自律的に安全に移動可能であるかを決定し、自律車両が第２の位置へ自律的に安全に移動可能であるという決定に応答して、車両を第２の位置へ移動させ、車両を駐車させるようにプログラムおよび構成される。

【0044】

他の実施形態において、ＲＭＣＣは、事故リスクレベルが安全であるという決定に応答して、ＲＭＣＣモニタ上に、人間の目に見える緑色インジケーションを表示するようにプログラムおよび構成される。

【0045】

他の実施形態において、ＲＭＣＣは、事故リスクレベルが危険であるという決定に応答して、ＲＭＣＣモニタ上に、人間の目に見える黄色インジケーションを表示するようにプログラムおよび構成される。

【0046】

他の実施形態において、ＲＭＣＣは、事故リスクが不安全であるという決定に応答して、ＲＭＣＣモニタ上に、人間の目に見える赤色インジケーションを表示するようにプログラムおよび構成される。

【0047】

以下、本明細書において、衝突回避および改善された事故または緊急事態報告で動作する自動化車両人工知能システムと組み合わせて用いられ得る、事故または緊急事態の発生時に自動化車両の制御を乗客または緊急応答者に譲渡するための改善された新規的な方法およびシステムも詳しく説明される。

【0048】

他の態様において、少なくとも１つの処理デバイスを備える遠隔監視および制御センタ（ＲＭＣＣ）が提供され、ＲＭＣＣは、複数の自律車両における複数の分散型センサからの情報を受信し、複数の分散型センサから受信した情報に基づいて事故の存在を決定し、センサから受信した情報に基づいて、事故に巻き込まれた車両、乗客、歩行者、動物、および物体、および事故に巻き込まれた車両、乗客、歩行者、動物、および物体の損傷および損害の性質を決定し、事故が発生した位置から第２の位置へ自律車両が自律的に安全に移動可能であるかを決定し、自律車両が第２の位置へ安全に移動可能である場合、車両を第２の位置へ自律的に移動させ、車両を駐車させるようにプログラムおよび構成される。

【0049】

本開示に係る様々な実装の実施形態は、参照によって本願に組み込まれる、２０１９年４月１７日にＧｕｉｄｅｎｔ社によって出願された“Ｍｅｔｈｏｄｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｅｍｅｒｇｅｎｃｙ Ｈａｎｄｏｆｆ ｏｆ ａｎ Ａｕｔｏｎｏｍｏｕｓ Ｖｅｈｉｃｌｅ”と題された米国特許出願第１６／３８６，５３０号の図１～５を参照して説明されるような人工知能、センサ、および分散型情報共有技術に基づいて自律車両操作を統制するように構成され得る。

【0050】

本開示に係る様々な実装の実施形態は、参照によって本願に組み込まれる、２０１９年１月２２日にミシガン州立大学の評議員会によって出願されたＰＣＴ特許出願ＰＣＴ／ＵＳ１９／１４５４７号は“Ｖｉｓｕａｌ Ｓｅｎｓｏｒ Ｆｕｓｉｏｎ ａｎｄ Ｄａｔａ Ｓｈａｒｉｎｇ Ａｃｒｏｓｓ Ｃｏｎｎｅｃｔｅｄ Ｖｅｈｉｃｌｅｓ ｆｏｒ Ａｃｔｉｖｅ Ｓａｆｅｔｙ”の図１～１０を参照して説明されるような分散型視覚センサ融合およびデータ共有技術に基づいて自律車両の事故回避を向上させるように構成され得る。

【0051】

いくつかの実施形態において、ＲＭＣＣは、事故が発生した位置から第２の位置へ自律車両が安全に移動可能ではないとＲＭＣＣが決定した場合、複数の自律車両の１または複数をシャットダウンするように更にプログラムおよび構成される。

【0052】

いくつかの実施形態において、ＲＭＣＣは、緊急応答者に連絡を取るように更にプログラムおよび構成される。

【0053】

いくつかの実施形態において、ＲＭＣＣは、事故に巻き込まれた車両、乗客、歩行者、動物、および物体の数、および事故に巻き込まれた車両、乗客、歩行者、動物、および物体の損傷および損害の性質を緊急応答者に提供するように更にプログラムおよび構成される。

【0054】

いくつかの実施形態において、ＲＭＣＣは、複数の分散型センサから受信した情報に基づいて、緊急応答者がいつ自動化車両に到着するかを決定するように更にプログラムおよび構成される。

【0055】

いくつかの実施形態において、ＲＭＣＣは、緊急応答者ユーザデバイスから複数の車両の１または複数の制御の譲渡要求を受信し、緊急応答者ユーザデバイスからの要求に応答して、車両の所有者による同意を必要とせずに自動化車両の制御を緊急応答者に譲渡するように更にプログラムおよび構成される。

【0056】

いくつかの実施形態において、ＲＭＣＣは、固有識別番号を含み、暗号化技術を用いて緊急応答者ユーザデバイスから伝達される緊急応答者からの要求を必要とするようにプログラムおよび構成される。

【0057】

いくつかの実施形態において、緊急応答者の固有識別番号は、信頼できるＲＭＣＣに格納される。

【0058】

いくつかの実施形態において、ＲＭＣＣは、ＲＭＣＣとのハンドシェイクを用いて通信される、または所有者が譲渡を防ぐことを可能にする、緊急プロバイダからの要求を必要とするように更にプログラムおよび構成される。

【0059】

いくつかの実施形態において、ＲＭＣＣは、事故に関連する情報を車両の所有者または他の対象者に伝達するように更にプログラムおよび構成される。

【0060】

他の態様において、１または複数の自律車両を巻き込む事故への応答を決定するための方法が提供され、方法は、複数の自律車両と電子通信状態にある分散型情報システム（ＲＭＣＣ）において複数の自律車両に構成された複数の分散型センサからの情報を受信することと、複数の分散型センサから受信した情報に基づいて、複数の車両のうちの少なくとも１つの車両を巻き込む事故の存在を決定することと、センサから受信した情報に基づいて、事故に巻き込まれた車両、乗客、歩行者、動物、および物体、および事故に巻き込まれた車両、乗客、歩行者、動物、および物体の損傷および損害の性質を決定することと、事故が発生した位置から第２の位置へ少なくとも１つの自律車両が自律的に安全に移動可能であるかを決定することと、少なくとも１つの自律車両が自律的に第２の位置へ安全に移動可能である場合、少なくとも１つの車両を第２の位置へ移動させ、少なくとも１つの車両を停車させることとを備える。

【0061】

いくつかの実施形態において、方法は、事故が発生した位置から第２の位置へ少なくとも１つの自律車両が安全に移動可能ではないとＲＭＣＣが決定した場合、少なくとも１つの自律車両をシャットダウンすることを更に備える。

【0062】

いくつかの実施形態において、方法は、ＲＭＣＣが緊急応答者に連絡を取ることを更に備える。

【0063】

いくつかの実施形態において、方法は、事故に巻き込まれた車両、乗客、歩行者、動物、および物体の数、および事故に巻き込まれた車両、乗客、歩行者、動物、および物体の損傷および損害の性質を緊急応答者に提供することを更に備える。

【0064】

いくつかの実施形態において、方法は、ＲＭＣＣが、複数の分散型センサから受信した情報に基づいて、緊急応答者がいつ自動化車両に到着するかを決定することを更に備える。

【0065】

いくつかの実施形態において、方法は、緊急応答者ユーザデバイスから、車両の制御を緊急応答者ユーザデバイスに譲渡する要求を受信し、緊急応答者ユーザデバイスからの要求に応答して、車両の所有者による同意を必要とせずに自律車両の制御を緊急応答者に譲渡することを更に備える。

【0066】

いくつかの実施形態において、緊急応答者からの要求は、固有識別番号を含み、暗号化技術を用いて緊急応答者ユーザデバイスからＲＭＣＣへ伝達される必要がある。

【0067】

いくつかの実施形態において、緊急応答者の固有識別番号は、信頼できるＲＭＣＣに格納される。

【0068】

いくつかの実施形態において、緊急プロバイダユーザデバイスからの要求は、ＲＭＣＣとのハンドシェイクを用いて通信される。

【0069】

いくつかの実施形態において、ＲＭＣＣは、事故に関連する情報を少なくとも１つの車両の所有者または他の対象者に伝達する。

【0070】

本開示の目的は、人工知能（ＡＩ）、サイバーセキュリティ、およびデータ分析を適用する自律車両および地上配備ドローンのための遠隔テレ監視および制御センタ（ＲＭＣＣ）実施形態を提供することに基づいて、自律車両展開への参入障壁を低くし、ＡＶ技術を用いて信頼性を高めることである。

【0071】

本開示の目的は、改善された人工知能を有するコントローラを、コントローラから遠隔にある複数の独立統制型自律車両の事故リスクレベルを監視し、コントローラによって決定された不安全な事故リスクレベルに応答して、安全な事故リスクレベルを取り戻すために自律車両の制御を引き受け、事故リスクが安全なレベルに戻ったという決定に応答して、自律車両に制御を返還するように構成することに基づいて、事故の可能性が高い状況を識別し、事故の発生を防ぐことである。

【0072】

本開示の目的は、第１の応答者の接触および可能であれば遠隔制御を介した好適な位置への車両の再配置で事故後の車両を支援するＲＭＣＣを提供することである。

【0073】

本開示の目的は、ＲＭＣＣ実施形態によって決定された不安全な状態に応答して安全対策を実施するためにＡＶのグループが必要とする反応時間を低減することである。そのような安全対策を実施するための反応時間の低減は、エリアに近接した複数のＲＭＣＣのネットワークが監視されており、低減された通信レイテンシの結果として反応時間の改善を可能にした結果であってよい。

【0074】

本開示の目的は、緊急応答者およびＲＭＣＣオペレータにかかる作業負荷を最小限にしながら、緊急応答時間を最小限にし、救命し、負傷の重症度を低減することである。これは、監視されている全ての車両にリアルタイムで災害のリスクを割り当てるように構成された、改善された人工知能を提供した結果、促進され得る。

【0075】

本開示の目的は、自律車両事故の頻度および深刻度を低減することである。そのような自律車両事故の頻度および深刻度の低減は、事故発生の可能性を有する車両の制御を引き受け、車両に制御が返還される安全マージンまでリスクレベルが低減されるまで、それらを減速またはルート変更させるように適合された、改善された人工知能モデルの結果であってよい。

【0076】

本開示の目的は、人間のテレオペレータが、事故後および災害後のＡＶ／ＡＤＤ（自律配送ドローン）の制御を引き受ける必要がある場合に、応答時間を低減することである。そのような応答時間の低減は、予防対策を行い、事故が起こる前に事故回避行動を取ることを目的として、自律車両（ＡＶ）および自律配送ドローン（ＡＤＤ）のための高度人工知能（ＡＩ）支援ＲＭＣＣにおいてデータ分析ツールおよびサイバーセキュリティソフトウェアを用いて、新たなＡＩソフトウェアを提供した結果であってよい。

【0077】

本開示の目的は、支援を必要とするＡＶへのテレオペレータの応答時間を低減することである。これは、何十万ものＡＶを遠隔監視するためにスケーリングされ得るＡＶ／ＡＤＤのためのＡＩ対応遠隔テレ監視および制御センタを提供した結果、促進され得る。

【0078】

本開示の目的は、ＡＶのグループを管理するＡＶオペレータの労力を低減することである。そのようなＡＶオペレータの労力の低減は、考慮すべき高リスクの候補を先験的に識別する専用ＡＩソフトウェアアルゴリズムと組み合わせられた、車両監視および制御のための最先端の操作コンソールを提供した結果であってよい。典型的な例において、リスクは、他の様々な入力の中でも特に、車両と他の物体との距離、車両速度、道路条件、交通渋滞、および天候条件の組み合わせから計算され得る。

【0079】

いくつかのＲＭＣＣ実施形態の実装において、データは、クラウドベースのピアツーピアセンサおよび他のモビリティネットワークのリアルタイム情報セットからストリーミングおよび分析され得る。様々な設計において、データは、監視される各車両に割り当てられたリアルタイムのリスク因子を提供するために組み合わせられ、システムが、問題発生の可能性が高いＡＶの優先順位を付けることを可能にし得る。

【0080】

他の実施形態において、いくつかのＡＶ車両実装は、事故を報告し、支援を要求してよい。

【0081】

他の実施形態において、いくつかのＡＶ車両実装は、ＡＶが自身で駐車することを許可するように構成され得る。

【0082】

他の実施形態において、いくつかのＡＶ車両実装は、モバイルデバイスアプリを介してＡＶ乗車／降車を可能にするように構成され得る。

【0083】

他の実施形態において、いくつかのＡＶ車両実装は、ＡＶバッテリを充電するためにＡＶをバッテリ充電施設に導くように構成され得る。

【0084】

本明細書で提供される説明から、更なる適応領域が明らかになる。本概要における説明および具体例は、例示のみを目的とすることが意図されており、本開示の範囲を限定することは意図されていない。

【0085】

本項は、本開示の一般的な概要を提供するものであり、本開示の全範囲または全ての特徴の網羅的な開示ではない。

【0086】

本明細書で説明される図面は、可能な全ての実装ではなく選択された実施形態のみを例示することを目的としており、本開示の範囲を限定することは意図されない。

【図面の簡単な説明】

【0087】

【図1】独立統制型自律車両の操作安全性をＲＭＣＣから遠隔で監督し、ＲＭＣＣによって認識された不安全な操作に応答して安全操作を取り戻すために自律車両の制御を引き受け、安全な車両操作が取り戻されたという決定に応答して、自律車両に制御を返還するように構成された、人工知能（ＡＩ）自律車両（ＡＶ）遠隔監視および制御センタ（ＲＭＣＣ）システムの様々な構成要素のグラフィック表現である。ＲＭＣＣは、たとえばデータ分析ツール、サイバーセキュリティソフトウェア、データ処理能力、およびオンデマンド操作のための高度な人工知能（ＡＩ）ソフトウェア層などの構成要素を含む。

【図2】本開示の様々な実施形態に係る、図１のシステムに実装され得る事故回避システムの例を示すフローチャートである。

【図3】本開示の様々な実施形態に係る、図１のＡＩシステムに実装され得る事故報告システムの例を示すフローチャートである。

【図4】図１のＡＩシステムに実装され得る、事故発生時に自律車両の制御を緊急応答者または人間の運転者にハンドオフするためのシステムおよび方法の例を示すフローチャートである。

【図5】本開示の様々な実施形態に係る、図１のＡＩシステムにおいて用いられる処理デバイスの一例を提供する概略ブロック図である。

【図6】典型的な歩行者衝突シナリオを示す。

【図7】典型的な事故回避システムの図である。

【図8】送信側車両によってデータを共有するためのプロセス例を示すフローチャートである。

【図9】受信側車両によってデータを融合するためのプロセス例を示すフローチャートである。

【図10】衝突シナリオ例の概略図である。

【図11】典型的なピンホールモデルおよび画像転置計算を示す図である。

【図12】２つのＤＳＲＣユニット間の典型的な帯域幅を示すグラフである。

【図13】２つのＤＳＲＣユニット間の典型的なパケット遅延を示すグラフである。

【図14】提案される事故回避システムにおける典型的な遅延を示すグラフである。

【図15A-F】衝突回避システムの運転者に示される融合画像例を示す。

【図16】典型的なＲＭＣＣによって複数の自律車両を監督し事故リスクを監視するためのプロセス例を示すフローチャートである。

【図17】典型的なＲＭＣＣによって複数の自律車両に関する事故リスクを軽減するためのプロセス例を示すフローチャートである。

【発明を実施するための形態】

【0088】

本明細書において、安全性の向上のために、車両と、車両から遠隔の監視および制御センタとの間で、人工知能、視覚センサ融合、およびデータ共有に基づいて、独立して動作する自律車両を遠隔監視および制御することに関する様々な実施形態が開示される。ここでは、図面に示すような実施形態の説明が詳細に参照され、図面において、複数の図を通して類似の参照番号が類似部品を指す。

【0089】

自動認識および制御技術は、運転に伴う日常的な瞬間ごとの意思決定から運転者を解放するために用いられ得る。自律車両の場合、たとえば乗車および降車サービスや歩行者の検出および回避などの特徴により、車両のユーザに利便性および安全性が提供される。自律車両のためのＡＩシステムは、車両がユーザをナビゲートすることを可能にする現在のモバイル技術、ファジー論理、およびニューラルネットワークを含んでよい。自律車両がＡＩ制御下で作動している間、ＡＩシステムは、たとえば人間、動物、他の自動車、物体、またはそれらの任意の組み合わせなどの物体との衝突が不測の事態により不可避である場合を認識し得る。そのような決定に応答して、衝突をインテリジェントに回避するため、または最悪の場合、不可避の衝突に直面した場合にどの物体と衝突するかを決定するために、回避行動が開始され得る。このシステムは、市販の「プラグインおよびプレイ」商品として、または後付け販売プロセスを介して実装することができ、あるいは、新しい車両や既存の車両に組み込むことができる。このシステムは、駐車のために拡大され得るのみならず、ユーザが車両に乗っているか否かにかかわらずユーザによって行先へナビゲートするために用いることもでき、車両は、ユーザによる手助けがなくともそれが可能である。特定の車両に関して、宅配便や他の実用的サービスに限定されるために乗客や運転者が存在しない場合がある。

【0090】

また、自律車両は、ルートの地図を描くためにＧＰＳ技術を用いてよい。ＡＩシステムは、車両がユーザの運転パターンを徐々に学習することを可能にし得る。ＡＩシステムは、人工知能技術を用いてユーザの運転挙動を継続的に学習するので、車両は、自律的に動作する時、たとえば好みの速度、縁石との近接度、中央線との近接度、窪みや他の障害物の回避、および／または通常の走行ルートなどのユーザの運転パターンを模倣することができる。加えて、運転者が車両にコマンドを伝達し、情報を中継して、車両の性能を改善することを可能にするために、コンテキストアウェアウェブサービスが利用され得る。この情報は、他の車両およびＡＩシステムのユーザによって用いられてもよい。ＡＩシステムを用いる任意の車両が、経路計画を支援するために、自身が通行している道路に関する情報を中継し得る。

【0091】

図１を参照すると、ＡＩシステムに含まれる様々な要素のグラフィック表現が示される。たとえば、ＡＩシステム１００は、自律車両１０３ａ、１０３ｂ、および１０３ｃ、ユーザデバイス１０６、緊急応答者ユーザデバイス１０６ａ、およびＡＩシステムの様々な特徴を実装する処理回路およびアプリケーションソフトウェアを含む遠隔監視および制御センタ（ＲＭＣＣ）１０９を含んでよい。示される例において、ＲＭＣＣ１０９は、ＡＩベースのＡＶ遠隔監視および制御サービスのためのオンデマンド操作を提供するサイバーセキュリティおよびデータ処理実装と統合されたデータ分析及びＡＩソフトウェアモジュールを含む。簡潔な説明のために、図１に示す例は３つの自律車両１０３ａ、１０３ｂ、および１０３ｃを示すが、ＡＩシステム１００およびＲＭＣＣ１０９の実施形態は、有利には、より多い数の同様の自律車両を遠隔で監視および制御してよい。様々な実施形態において、処理回路は、マイクロプロセッサの少なくとも一部として実装される。処理回路は、１または複数の回路、１または複数のマイクロプロセッサ、マイクロコントローラ、特定用途向け集積回路、専用ハードウェア、デジタル信号プロセッサ、マイクロコンピュータ、中央処理ユニット、フィールドプログラマブルゲートアレイ、プログラマブル論理デバイス、ステートマシン、スーパーコンピュータ、またはそれらの任意の組み合わせを用いて実装され得る。また他の実施形態において、処理回路は、１または複数の処理回路において実行可能な１または複数のソフトウェアモジュールを含んでよい。処理回路は更に、処理回路にデータ通信機能を実行させる命令および／またはコードを格納するように構成されたメモリを含んでよい。

【0092】

車両１０３ａ、１０３ｂ、および１０３ｃ、およびユーザデバイス１０６および１０６ａは、たとえば無線ローカルエリアネットワーク（ＷＬＡＮ）および／またはセルラネットワークなどの無線ネットワーク１１２を介して通信し得る。車両１０３ａ、１０３ｂ、および１０３ｃは、無線通信をサポートするための処理回路（たとえば送信器、受信器、および／またはトランシーバ）を含んでよい。ユーザデバイス１０６および１０６ａは、たとえば携帯電話、タブレットコンピュータ、電子リーダ、ｍｐ３プレーヤ、およびたとえばｉＰｏｄタッチやｉＰａｄなどのポータブルメディアプレーヤといったモバイル処理システムを含んでよい。たとえば、車両１０３ａ、１０３ｂ、および１０３ｃ、および／またはユーザデバイス１０６および１０６ａは、たとえば第３世代（３Ｇ）、第４世代（４Ｇ）、ロングタームエボリューション（ＬＴＥ）、第５世代（５Ｇ）、または他のデータ通信規格といったセルラデータ接続などのセルラ通信に対応してよい。車両１０３ａ、１０３ｂ、および１０３ｃ、および／またはデバイス１０６および１０６ａは、たとえばＩＥＥＥ８０２．１１ａ／ｂ／ｇ／ｎおよび８０２．１１ａｘとしても知られるＷｉ－Ｆｉ６などの無線通信に対応してよい。車両１０３ａ、１０３ｂ、および１０３ｃ、および／またはユーザデバイス１０６および１０６ａの処理回路は、自身の地理的位置を決定するためのＧＰＳ機能にも対応し得る。ＡＩシステム１００は、ユーザデバイスのプラットフォームまたはオペレーティングシステム（たとえばＡｎｄｒｏｉｄ、ｉＯＳ、ｗｅｂＯＳ、Ｓｙｍｂｉａｎなど）および／または車両の種類、形式、モデル、および製造会社とは無関係のアプリケーションを用いてよい。ＲＭＣＣ１０９との通信は、無線ネットワーク１１２に通信可能に結合されるネットワーク１１５（たとえばインターネット）を介して実行され得る。ＲＭＣＣ１０９は、たとえば１または複数のサーバなどの処理システム上で、たとえばウェブサービスとして実装され得る。そのようなウェブサービスは、非公開または公開データセンタ（ＤＣ１１６）から利用可能である。公開データセンタ１１６は、クラウドホスト型であってよく、ＲＭＣＣ１０９による決定が、ＤＣ１１６からアクセス可能なデータおよび車両１０３ａ、１０３ｂ、および１０３ｃにそれぞれ構成されたセンサ１０５ａ、１０５ｂ、および１０５ｃからアクセス可能なデータからのＡＩベースの学習の関数として決定されることを可能にする。ＲＭＣＣ１０９は、ＤＣ１１６からアクセス可能なデータをセンサ１０５ａ、１０５ｂ、および１０５ｃならびに車両１０３ａ、１０３ｂ、および１０３ｃからのデータと結合して複合データにするためにデータ融合技術を利用してよく、ＲＭＣＣの決定は、そのように形成された複合データからのＡＩベースの学習に基づいてよい。

【0093】

ＲＭＣＣ１０９およびＡＩシステム１００は、たとえば自律的乗客回収、自律的駐車、インテリジェントな事故回避、インテリジェントな事故報告、段階的インテリジェントルート学習、遠隔車室制御、および／または分散型情報共有などの様々な特徴を提供し得る。自律的乗客回収は、車両１０３ａ、１０３ｂ、および１０３ｃのいずれかが独立してユーザを回収することを可能にし得る。ユーザデバイス１０６および１０６ａで作動しているアプリケーションインタフェース（またはアプリ）は、特定の位置でユーザを回収するように車両１０３ａ、１０３ｂ、または１０３ｃに要求するために用いられ得る。車両１０３ａ、１０３ｂ、および１０３ｃは、人間の介入なしで直にルートの地図を描いてナビゲートし、たとえばユーザが過去に記録したルートなどのユーザ指定に従って走行し得る。いくつかの実施形態において、車両１０３ａ、１０３ｂ、および１０３ｃは、アプリケーションインタフェースの作動をサポートし得る処理回路を含んでよい。ＲＭＣＣ１０９は、ルートの記録および格納、ならびにルート指定の評価および推奨をサポートし得る。自律的駐車は、車両１０３ａ、１０３ｂ、および１０３ｃが、ユーザを降車させた後、追加のユーザ入力または制御なしで駐車することを可能にし得る。車両１０３ａ、１０３ｂ、および１０３ｃは、周囲エリアにおける駐車スポットを探索するとともに、過去に記録した駐車エリアまたは位置に駐車し得る。ＲＭＣＣ１０９は、駐車エリアの記録および格納をサポートし得る。共に使用された時、車両１０３ａ、１０３ｂ、または１０３ｃのいずれかは、ユーザデバイス１０６、および緊急時には緊急応答者ユーザデバイス１０６ａを介してユーザによって自律的に駐車および回収され得る。

【0094】

インテリジェントな事故回避は、車両１０３ａ、１０３ｂ、および１０３ｃの各々の経路に存在する可能性のある物体を識別することにより、車両１０３ａ、１０３ｂ、および１０３ｃが損傷および／または損害を受ける可能性を最小限にすることができる。インテリジェントな事故報告は、車両１０３ａ、１０３ｂ、または１０３ｃのいずれかが、たとえば他の車両に接触、侵入、および／または衝突された場合、ユーザデバイス１０６および１０６ａを介してそれをユーザに通知し続けることができる。ユーザは、ユーザが事故に関する通知を望む場合を決定するためにＲＭＣＣ１０９における車両インタラクションのレベルを定義してよい。事故が検出されると、車両カメラは、車両１０３ａ、１０３ｂ、または１０３ｃおよびその周囲の写真を撮影し、および／または検出時前後の音声および／または映像を記録してよい。段階的なインテリジェントなルート学習は、自律運転中、ユーザの運転パターンが車両１０３ａ、１０３ｂ、および１０３ｃによって学習および使用されることを可能にし得る。

【0095】

遠隔車室制御は、ユーザがユーザデバイス１０６および１０６ａから車両１０３ａ、１０３ｂ、および１０３ｃの設定を制御し、および／または状況を決定することを可能にし得る。たとえばユーザは、窓、サン／ムーンルーフ、ドア、トランク、サイドドアミラー、ライト（車室ライト、外部ヘッドライトなど）、シート位置および／または温度、室内気候制御（たとえば空調、暖房、曇り防止、および／またはたとえば湿度などの他のモデル固有設定）、メディアデバイス（たとえば標準および／またはＸＭラジオ、コンパクトディスクプレーヤ、ＤＶＤプレーヤ）を遠隔で操作し、および／または任意の車両１０３ａ、１０３ｂ、または１０３ｃを遠隔で始動させることが可能である。制御および／またはステータス情報は、無線ネットワーク１１５を介して車両１０３ａ、１０３ｂ、または１０３ｃとユーザデバイス１０６および１０６ａとの間で直接、および／または各車両１０３ａ、１０３ｂ、および１０３ｃに関する既定の制御設定を格納し得るＲＭＣＣ１０９を介して通信され得る。またアプリケーションインタフェースは、ユーザデバイス１０６および１０６ａが、ユーザによる使用のために各車両１０３ａ、１０３ｂ、または１０３ｃから診断情報を取得することも可能にし得る。

【0096】

分散型情報共有は、ＡＩシステム１００が、他の車両の駐車またはルート指定に関する推奨、ならびにＡＩシステム１００の他の特徴を改善するために、システムのユーザによって共有される情報を使用することを可能にする。共有情報は、自律車両（ＧＰＳルート補正を含む）によって用いられるルート、駐車エリア位置、エリア駐車パターン、犯罪および／または器物損壊などの報告例などを含み得るが、これに限定されない。ＡＩシステム１００のユーザは、ユーザデバイス１０６を用いて、また緊急時には緊急プロバイダが緊急応答者ユーザデバイス１０６ａを用いてＲＭＣＣ１０９に情報を提出することによってエリア情報を共有してよく、その後ＲＭＣＣ１０９は、ＡＩシステム１００の全てのユーザを支援するために、共有された情報を、標準マップナビゲーションソースおよびインテリジェント搬送システムからの情報と併合させ得る。ＲＭＣＣ１０９は、車両１０３ａ、１０３ｂ、または１０３ｃのいずれかとユーザデバイス１０６および１０６ａとの間の情報の共有、ならびにＡＩシステム１００の他のユーザとの情報の共有を容易にし得る。たとえば、共有情報は、車両１０３ａ、１０３ｂ、または１０３ｃが、より効率的にユーザまたは駐車スポットまで自律的に移動することを可能にし得る。また、共有情報は、車両１０３ａ、１０３ｂ、または１０３ｃが、ユーザが以前訪れたことのないエリア内で効率的に動作することを可能にし得る。また、車両１０３ａ、１０３ｂ、または１０３ｃのいずれかを手動で操作しているユーザを支援するために、ルート指定および／または駐車の提案が提供されてもよい。

【0097】

ユーザは、図１のユーザデバイス１０６、および緊急時には緊急応答者ユーザデバイス１０６ａで実行されるアプリケーションインタフェース（またはアプリ）を介して、ＡＩシステム１００とインタラクトする。ＲＭＣＣ１０９（図１）は、標準マップナビゲーションからの情報を、共有されたユーザ生成情報と併合させる。情報は、ＡＩシステム１００のユーザによって、ユーザデバイス１０６および１０６ａ上のアプリケーションインタフェースを用いてＲＭＣＣ１０９の集中レポジトリに情報を送信することによって共有される。現在のモバイルデバイスのジオロケーションおよびネットワーキング能力は、ＲＭＣＣ１０９にリアルタイム情報を提供するために用いることができる。その後、ＡＩシステム１００は、ユーザ情報を用いて、ＡＩシステム１００のユーザによって共有された成功率データに基づいて特定の時間に利用可能な駐車スペースがある可能性が最も高いと思われる位置を決定し得る。ＡＩシステム１００はコンテキストアウェアであり、これは、ＡＩシステム１００がその操作に関連する様々な要因を認識しており、その認識に従うことが可能であることを意味する。たとえばＡＩシステム１００は、ユーザのＧＰＳ位置、ユーザの行先の位置、および共有された位置が用いられた時間、日付、および曜日を認識していてよい。ユーザまたは自律車両がＲＭＣＣ１０９からの共有情報をナビゲートのために用いると、結果として生じる、その情報に対応する使用データがＲＭＣＣ１０９によって捕捉および保存される。たとえば、捕捉データは、共有位置に開放駐車スペースが発見されたか否か、または特定のルートを走行するためにどの程度の時間を要したか、ならびにそれらの使用例が発生した日付および時間を含んでよい。そのコンテキスト情報の全てが、空いている駐車場を有する可能性が最も高い場所を決定するためにＡＩシステム１００によって用いられ得る。

【0098】

ユーザデバイス１０６および１０６ａによって提出された要求、フィードバック、および情報は、ＲＭＣＣ１０９に中継される。ＲＭＣＣ１０９は、ＡＩシステム１００のユーザによって共有された駐車およびルートデータ、ならびにそのデータの使用状況に関するデータを格納および／または取得するために、データストアを用いてよい。ＡＩシステム１００がユーザ提出情報を既存のナビゲーション情報と併合させるために、ＲＭＣＣ１０９は、データから得た駐車エリアの座標、およびユーザ共有ルートと１または複数のマップナビゲーションソース（複数も可）からのルートとの組み合わせを用いて、ルート指定および／または駐車情報を決定してよい。ユーザがＡＩシステム１００の支援を受けてナビゲートした際に蓄積されたコンテキスト情報は、ユーザが情報要求を行う際にどのデータを提供するかを決定するために用いられ得る。ユーザがユーザデバイス１０６および１０６ａから要求を開始する時、アプリケーションインタフェースは、現在地および行先情報ならびに要求の時間および日付を取得してよい。この情報はＲＭＣＣ１０９へ送信され、ＲＭＣＣ１０９は、要求情報を用いて、要求に対する適当な応答を決定してよい。ＡＩシステム１００の様々な構成要素の動作は、システムによって提供される機能の例によって理解され得る。

【0099】

ＡＩシステム１００の機能は、ＲＭＣＣ１０９がコンテキストアウェアであることにより可能である。コンテキストアウェアとは、ＡＩシステム１００が自身の物理環境または状況を認識し、その認識に基づいて積極的かつインテリジェントに応答するという能力である。ＲＭＣＣ１０９は、車両１０３ａ、１０３ｂ、または１０３ｃのＧＰＳ位置を認識可能であり、たとえば車両１０３ａ、１０３ｂ、または１０３ｃのいずれかが、過去に学習されているエリアに入ると、そのエリアのコンテキスト情報が自律運転中の車両１０３ａ、１０３ｂ、または１０３ｃ内部の処理回路またはコンピュータ、および手動運転中のユーザに中継される。ルートが共有されると、ＲＭＣＣ１０９は、ルートが最初に記録された時だけでなく、カスタムルートを走行する後続の全ての機会において、ルートの走行に要する時間ならびにルートを走行した時刻も記録する。その意味データを用いて、ＡＩシステム１００は、自律運転中に好適なルートを選択し、手動運転中のユーザに示す提案ルートに優先順位を付けることができる。同様に、駐車の時間、値段、および利用状況に関して共有されたデータは、自律運転中に駐車のための好適なエリアを選択し、手動運転中のユーザに教示する提案駐車エリアに優先順位を付けるためにシステムによって用いられる。

【0100】

共有ナビゲーションデータを用いることにより、人間の過失や悪意のあるユーザによって誤ったデータが共有される場合がある。ＲＭＣＣ１０９は、位置を共有するユーザのＩＤを格納することによって、起こり得るこの問題を軽減し得る。ユーザに誤った情報が与えられた場合、ユーザは、ユーザデバイス１０６および緊急時にはデバイス１０６ａのアプリケーションインタフェースを介して、その事実を報告してよい。ユーザが間違ってデータを誤りとしてマークする可能性を考慮して、ＲＭＣＣ１０９は、「３ストライクでアウト」ポリシに従って動作し得る。提出されたナビゲーション情報の１つが誤りとして３度マークされると、そのデータはデータストアから削除される。加えて、誤ったデータをアップロードしたユーザには、第１のストライクが付与され得る。ユーザが誤ったデータの共有に関して既定の回数（たとえば３度）フラグ付けされた場合、そのユーザは、ＲＭＣＣ１０９との情報共有を制限され得る。

【0101】

またＡＩシステム１００は、インテリジェントな事故回避システム（ｉＣＡＳ）もサポートする。事故は、車両１０３ａ、１０３ｂ、または１０３ｃのいずれかの衝突または他の破壊や損害を含み得る。事故回避システムは、車両１０３ａ、１０３ｂ、または１０３ｃの経路に存在または進入し得る人間、動物、および他の物体の相違をインテリジェントに決定するために用いられる車両独立システムである。事故が避けられない場合、システムは、生物の分類の決定後、何と衝突することが「最適」かを決定する。システムは、どの衝突が、優先度の高い順に人間の命の損失、次に動物の命の損失、その次に環境への損害を最小限にするかを解明する。

【0102】

事故回避システムは、車両１０３ａ、１０３ｂ、および１０３ｃにそれぞれ構成されたセンサ１０５ａ、１０５ｂ、および１０５ｃからのセンサデータを利用する。図示した例において、センサ１０５ａ、１０５ｂ、および１０５ｃは、その目標を実現するためのカメラ、超音波センサ、線追跡センサ、および熱センサを含む。用いられ得る他のセンサは、レーザ距離計および他の距離センサ、ライダ、ステレオカメラ、オーディオセンサ、ジャイロメータ、赤外線センサ、感光センサ、ＧＰＳユニットおよび追跡システムなどを含むが、これに限定されない。センサからのデータを収集した後、衝突回避システムは、たとえばファジー論理、ニューラルネットワーク、および／または畳み込みニューラルネットワークなどの人工知能技術を用いて、人間と動物との相違を決定し、その後、どれに衝突し、どれを避けるべきかを決定する。様々な実施形態において、車両１０３ａ、１０３ｂ、および１０３ｃのセンサ１０５ａ、１０５ｂ、および１０５ｃから収集されたデータは、ＲＭＣＣ１０９によって処理されるためにＲＭＣＣ１０９に送信され得る。いくつかのシナリオでは、衝突回避システムは、車両１０３ａ、１０３ｂ、または１０３ｃの処理回路（たとえばコンピュータシステム、スーパーコンピュータ、マイクロコントローラ、および／または外付けメモリ）によって実装され得る。様々な例において、衝突回避システムは、ＲＭＣＣ１０９の処理回路（たとえばコンピュータシステム、スーパーコンピュータ、マイクロコントローラ、および／または外付けメモリ）によっても実装され得る。

【0103】

感光センサは、主に車線検出のために用いられ、熱センサは、たとえば歩行者、動物、氷、および溜水を含む車両経路内の物体に関する熱読取り値を示すために用いられ得る。衝突回避システムは、物体回避のために距離情報を確認する能力の点で超音波センサ、カメラ、およびレーザ距離計も用いてよい。事故回避システムは、物体、道路標識、交通信号、および他の物を正確に検出する車両の能力に依存する。その結果、静止している、または動いている生物または無生物を巻き込む危険および事故を検出し回避するために、車両１０３ａ、１０３ｂ、および１０３ｃによって独立視覚システムが用いられ得る。視覚システムからのデータは、処理のためにたとえばマイクロコントローラなどの処理回路に供給され得る立体視品質の画像データを収集するために用いられ得る。視覚システムは、ステレオカメラ、マイクロコントローラ、および接続部品を含むが、これに限定されない。様々な位置における車両１０３ａ、１０３ｂ、および１０３ｃおよびユーザの追跡を維持するための位置データも集められる。車両１０３ａ、１０３ｂ、および１０３ｃ、ならびにユーザデバイス１０６および緊急時におけるデバイス１０６ａにおけるＧＰＳユニットは、位置データを取得するために用いられ得る。いくつかの実装において、無線周波数識別（ＲＦＩＤ）リーダおよびＲＦＩＤタグが、ＧＰＳユニットから受信される位置データの精度を高めるために用いられ得る。

【0104】

ニューラルネットワークは、自律車両ナビゲーションにおいて順調に利用されてきた。ニューラルネットワークは、それらに学習能力を与え、緻密または複雑なパターンを認識し理解することを可能にする、高度に相互接続された処理要素を用いることにより、脳を模倣するために導出された計算法を用いる。ニューラルネットワークは、構造および機能において生体ネットワークに似た算術モデルである。これは、ネットワークが、その学習フェーズにおいて自身を通って伝送されたデータに基づいて自身の構造を変更することを可能にする適応型システムである。ネットワークは、学習フェーズにおいて学習した後、関連データを供給された時に更なる結果を予測するために用いられ得る。

【0105】

ニューラルネットワークは、たとえば様々な形状、様々な身体構造、様々な姿勢、様々なポーズ、様々な光強度、様々な民族性、様々な活動、車両のエリア内での様々な動きおよび／または速度、および／または路上の様々な位置に基づいて、人間を識別するために事故回避システムによって用いられ得る。たとえば動物などの人間以外の生物は、たとえば様々な形状、様々な身体構造、様々な色、様々な活動、および／または車両のエリア内での様々な動きおよび／または速度に基づいて識別され得る。また人間と動物との組み合わせも、たとえば様々な形状、様々な身体構造、様々な色、様々な活動、および／または車両のエリア内での様々な動きおよび／または速度に基づいて識別され得る。車両の近傍にある生物および無生物の両方の上記特性を学習するニューラルネットワークに基づいて、事故回避システムは、識別に対する応答を適合させ得る。

【0106】

車両制御において、ファジー論理も用いられ得る。ファジー論理は、ステートメントが真偽で評価されるだけでなく、様々な程度の両値であり得ることを認識する人工知能技術である。ファジー論理は、人間の知能の特定の態様を設計に含むことによって、車両の自動化を更に一歩進めることができる。ファジー論理およびファジー理論は、物体がどの生物種別に含まれるかを決定するために用いられ得る規則のセットを提供し得る。物体の分類に加えて、ファジー論理およびファジー理論は、情報が完全なものではない場合、物体があるとすればどの物体と衝突すべきかの決定を下すために用いられ得る。

【0107】

ニューラルネットワークとファジー論理との組み合わせにより、人間の形状や活動にかかわらず、人間と動物などの人間以外の生物とを高い検出精度で識別および／または区別する能力が事故回避システムに提供される。生物種別に基づいて、第１に人間の喪失、第２に動物の命の喪失、および第３に環境への被害の大きさを最小限にするために、どの物体と衝突すべきかに関する決定が下され得る。環境またはセンサの限界によってセンサデータが不完全または部分的である場合、衝突を起こすべきか、およびどの物体と衝突すべきかに関する最終決定を下すために、ファジー論理およびファジー理論技術が用いられ得る。

【0108】

ＡＩシステム１００は、ＡＩシステム１００がユーザの運転パターンおよび／または嗜好を学習することを可能にする段階的インテリジェントルート学習（ＧＩＲＬ）もサポートする。たとえば、段階的インテリジェントルート学習は、停止標識、交通信号灯、または歩行者が少ないルートをユーザが好むことを学習し得る。また段階的インテリジェントルート学習は、ユーザが出勤時に特定のエリアを運転し、退勤時には他のルートを通ることを好むことも認識し得る。頻繁に通行する経路は、システムによって学習される。これにより、車両１０３ａ、１０３ｂ、および１０３ｃは、ユーザを行先までの最短経路または最短時間で至らせるものではなくとも、ユーザが好む道路を知覚することができる。また、たとえばユーザがどのように加速および減速するか、様々なエリアを運転する際に好む道路の側（たとえば複数車線の幹線道路や一車線の幹線道路である場合）、車線の両端からの車両の距離、ユーザが路上の窪みをどのように避けたか、車両と周囲の他車両との間の距離、様々な区分の道路における速度嗜好、およびユーザがどの時間帯に他のルートと比べて特定のルートを運転することを好むかなど、ユーザの他の運転特性も学習され得る。

【0109】

ユーザは、ルートの運転嗜好がＡＩシステム１００によって学習されるためにはどの程度の頻度で経路を通行すべきかを決定するように段階的インテリジェントルート学習を構成してよい。たとえば、そのルートに関する運転嗜好を段階的インテリジェントルート学習に記憶させるデフォルト設定は、週に３回であってよい。車両１０３ａ、１０３ｂ、および１０３ｃ内の処理回路は、移動情報および学習されたユーザ嗜好を格納する。たとえば、車両活動は、所定の期間（たとえば１週間）にわたり、たとえばＧＰＳ追跡、カメラ撮像、レーザ測距、および／またはライダ情報を用いて追跡され得る。活動情報は、処理回路（たとえばコンピュータ）によってメモリに格納され、ルートおよび／または運転嗜好を学習すべきかを決定するために段階的インテリジェントルート学習によって評価され得る。学習されたルートおよび嗜好は、格納するため、およびＲＭＣＣ１０９がユーザへの推奨を決定する時に使用するために、ＲＭＣＣ１０９またはＤＣ１１６へ送信される。これらのルートおよび嗜好もまた、自律運転のために車両１０３ａ、１０３ｂ、および１０３ｃによって用いられ得る。

【0110】

車両１０３ａ、１０３ｂ、および１０３ｃは、たとえば事故などの出来事の後に自律運転が故障し、または安全でなくなった場合に、車両１０３ａ、１０３ｂ、および１０３ｃの手動運転を可能にする手動制御装置も含む。

【0111】

図２を参照すると、ＡＩシステム１００（図1）において、車両１０３ａ、１０３ｂ、または１０３ｃおよびＲＭＣＣ１０９に実装され得る事故回避システムの例を示すフローチャートが示される。２０３における開始時、事故回避システムはアクティブであり、車両は自律運転中である。ＲＭＣＣ１０９ならびに車両１０３ａ、１０３ｂ、および１０３ｃの処理回路は、２０６において物体が検出されるかを決定するために車両１０３ａ、１０３ｂ、および１０３ｃに設置されたセンサを監視する。車両１０３ａ、１０３ｂ、または１０３ｃのいずれかの経路に物体が検出された場合、または車両１０３ａ、１０３ｂ、または１０３ｃのいずれかの経路に物体が進入し得る場合、視覚システムは、それが生物であるかを決定するために、２０９において１または複数の画像を処理する。２１２において検出物体が生物ではない場合、車両１０３ａ、１０３ｂ、または１０３ｃは、２０３において運転を継続する前に、２１５において利用可能な物体回避アルゴリズムを作動させ得る。

【0112】

２１２において、生物が検出されたことが決定されると、２１８において、事故回避システムは、車両１０３ａ、１０３ｂ、または１０３ｃが物体と衝突するかを決定するためにシナリオを処理する。２２１において、衝突が回避可能であることが決定されると、２２４において、衝突を回避し得る車両１０３ａ、１０３ｂ、または１０３ｃは、２０３に戻る前に物体をかわす方向に向けられる。２１２において、衝突が不可避である場合、２２７において、２３０においてどの物体と衝突することが最適であるかが決定される。衝突後、事故回避システムは、２３３において緊急サービスへの呼出しを開始し、物体と衝突した車両１０３ａ、１０３ｂ、または１０３ｃが、事故が発生した位置から第２の位置へ自律的に安全に移動可能であるかを決定し、２３６において、物体と衝突した車両１０３ａ、１０３ｂ、または１０３ｃを安全に駐車させ得る。いくつかの実装において、車両１０３ａ、１０３ｂ、または１０３ｃは、損傷が生じていない場合、２３３において緊急サービスに連絡を取ることなく、２３６において駐車され得る。２３８において車両を安全に駐車することができない場合、車両は、緊急要員が到着するまで停止され、または、運転者や乗客によって手動で、あるいは緊急応答者ユーザデバイス１０６ａおよび図４において説明する車両１０３ａ、１０３ｂ、または１０３ｃの自動制御をハンドオフするための方法およびシステムを用いて緊急応答者によって安全に移動され得る。

【0113】

ＡＩシステム１００は、インテリジェントな事故報告システム（ｉＡＲＳ）もサポートする。事故報告システムは、車両が駐車またはアイドル状態、あるいは移動中である時、外部エンティティが車両１０３ａ、１０３ｂ、または１０３ｃの本体または他の部分に手を出し、車両１０３ａ、１０３ｂ、または１０３ｃ（図１）に損害を与えた場合、これを検出する。オーディオおよび視覚センサを用いて、事故報告システムは、接触に関与する人物を記録することができ、事故報告がユーザまたは所有者に送信され、車両の見込まれる損害をを通知し得る。また事故報告システムは、巻き込まれた車両、乗客、および歩行者、動物および物体の数、およびそれらの損傷および損害の性質の査定も提供し得る。

【0114】

事故報告システムのセンサは、センサが完全にオンになる事故または活動の検出時まで、ハイバネーション状態に留まり得る。事故報告システムを作動させ得る活動は、車両１０３ａ、１０３ｂ、または１０３ｃのいずれかに他の車両が衝突すること、人間および／または動物が車両１０３ａ、１０３ｂ、または１０３ｃに接触および／または損害を与えること、車両１０３ａ、１０３ｂ、または１０３ｃへの破壊行為、車両１０３ａ、１０３ｂ、または１０３ｃのいずれかの盗難、および／または車両１０３ａ、１０３ｂ、または１０３ｃのいずれかに異物が落下することを含むが、これに限定されない。センサは、カメラ（モノおよび／またはステレオ）、レーザ距離計、ライダ、ジャイロメータ、赤外線センサ、熱センサなどを含んでよい。車両１０３ａ、１０３ｂ、および１０３ｃ内の処理回路（たとえばコンピュータまたは他の処理デバイス）は、センサを制御および監視してよい。

【0115】

事故が検出されると、センサからデータが収集され、事故報告システムは、データを査定することによって車の周囲でどの種の活動が起こっているかを決定する。事故報告システムは、ユーザデバイス１０６上のアプリケーションインタフェースを介して活動の種類（たとえば車両が接触を受け、侵入され、および／または他の車に衝突された場合）をユーザに通知する。その後、ユーザは、視覚、音響、および熱センサからのデータを見て、当局に電話するか、車両１０３ａ、１０３ｂ、または１０３ｃの非常ボタンを押すか、または何もしないか、またはそれらの応答の任意の組み合わせを行うかを決定してよい。事故報告システムは、ユーザの同意を得た場合、事故に関して自動的に当局に連絡を取るように構成され得る。ユーザは、どの活動を通知してほしいかを定義し得る。たとえばユーザは、侵入の企み、車両への異物の干渉、他の車が車両に衝突した場合、またはそれらの任意の組み合わせを報告するように事故報告システムを構成することができる。

【0116】

事故が検出されると、ＲＭＣＣ１０９によって、または車両１０３ａ、１０３ｂ、もしくは１０３ｃのいずれかによって、関与する車両１０３ａ、１０３ｂ、または１０３ｃの視覚システムは、周囲の画像および／または映像記録を撮影するために方向付けられ、オーディオシステムは、検出時または干渉時前後の音声を記録する。事故の検出から収集されたデータは、記録され、分析され、事故報告を生成するために用いられ得る。この報告は、ユーザデバイス１０６を介してユーザに送信される。事故報告は、事故中に据付マイクロフォンを用いて記録された任意のオーディオと共に、可能性の高い加害者を伴う事故のスクリーンショットおよび／または映像を含んでよい。事故報告は、緊急応答者ユーザデバイス１０６ａにも送信され得る。

【0117】

図３を参照すると、車両１０３ａ、１０３ｂ、および１０３ｃ、ならびにＡＩシステム１００（図１）のＲＭＣＣ１０９に実装され得る事故報告システムの例を示すフローチャートが示される。３０３における開始時、事故回避システムはアクティブであり、車両は駐車状態、静止中、走行中、またはアイドリング状態である。３０６において、事故報告システムは、センサの電力消費量を低減するためにハイバネーション状態またはモードに入る。３０９において活動または事故が検出されると、３１２において事故報告システムはハイバネーション状態を脱し、センサが完全に電源投入される。たとえば事故回避システムは、車両１０３ａ、１０３ｂ、または１０３ｃのいずれかの動きや、車両１０３ａ、１０３ｂ、または１０３ｃのいずれかへの衝撃によって生じる刺激を検出し得る。その後、３１５において、事故報告システムはセンサデータの記録を開始する。センサデータは、たとえば１分間などの既定の間隔で記録され得る。

【0118】

３１８において、記録されたデータおよび車両システムからの他のインジケーションに基づいて、事故報告システムによって活動の種類が決定される。たとえば、人、動物、他の車両、または他の物体のどれによって事故が生じたかを識別するためにビデオ画像が用いられ得る。また動きおよび／または衝撃の特徴も、事故の種類を決定するために用いられ得る。３２１において活動が継続している場合、３２４において、事故報告システムは、ユーザの事前定義された嗜好を見ることによって、識別された活動の種類に関してユーザが通知を望むかを決定する。そうである場合、報告システムは、ユーザデバイス１０６へ通知を送信することによって活動の種類をユーザに通知する。３１５において、事故報告システムは、センサデータの記録を継続する。３２１において活動が停止した場合、３３０において事故報告が生成され、これは、電子メールや非公開アクセス型ウェブアプリケーションを介して、または３３３においてユーザデバイス１０６を介してユーザへ送信される。事故報告の形式はユーザによって事前定義されてよく、記録されたセンサデータの少なくとも一部を含んでよい。

【0119】

図４を参照すると、図１のＡＩシステムに実装され得る事故または他の緊急事態の発生時に緊急応答者に自律車両の制御をハンドオフするための方法例を示すフローチャートが提供される。この方法はたとえば、ＡＩシステムが、事故または緊急事態の後に事故に遭った自律車両が安全に移動可能ではないと決定すると、適用され得る。

【0120】

ステップ４００において、ＡＩシステム１００は、車両１０３ａ、１０３ｂ、または１０３ｃを作動させる。ステップ４０５において、少なくとも１つの車両１０３ａ、１０３ｂ、または１０３ｃは、報告すべき事故に遭遇する。報告すべき事故は、図２および図３を参照して説明したように報告すべきであると決定された衝突を含む。報告すべき事故は、他の緊急事態を含んでもよい。ステップ４０５において、報告すべき事故が検出されない場合、ステップ４１０において、ＡＩシステム１００は、報告すべき事故に関してセンサの監視を継続する。

【0121】

ステップ４１５において、報告すべき事故が決定されると、報告すべき事故は緊急応答者に報告される。緊急応答者は、警察、消防署、レッカーサービス、または他の信頼できる緊急応答者を含んでよい。ステップ４２０において、緊急応答者は、緊急応答者が所有する、たとえばユーザデバイス１０６ａなどのモバイルユーザデバイスを用いて、事故に巻き込まれた車両１０３ａ、１０３ｂ、または１０３ｃから１０メートルまたは更に近くの見通し距離内に到着する。ステップ４３０において、事故に巻き込まれた車両１０３ａ、１０３ｂ、または１０３ｃにおける緊急応答者のオーバライドがロック解除される。

【0122】

ステップ４４０において、ＡＩシステム１００は、ハンドシェイク技術を含む技術を用いて、緊急応答者ユーザデバイス１０６ａ、自律車両ユーザデバイス１０６、およびＲＭＣＣ１０９の各々に知らされた固有の識別番号を用いて緊急応答者が事故に巻き込まれた車両１０３ａ、１０３ｂ、または１０３ｃの制御にアクセスすることを可能にする。固有の識別番号は、ＲＭＣＣ１０９に格納され得る。事故に巻き込まれた車両１０３ａ、１０３ｂ、または１０３ｃの固有識別番号は、車両１０３ａ、１０３ｂ、または１０３ｃに特有である。固有識別番号は、暗号化され得る。緊急応答者デバイス１０６ａの固有識別番号は、緊急応答者に特有であり、信頼できる識別番号である。ユーザデバイス１０６およびＲＭＣＣ１０９は、ユーザデバイス１０６が、緊急応答者ユーザデバイス１０６ａからの信頼できる固有識別番号を受信し、緊急応答者ユーザデバイス１０６ａを信頼できる緊急応答者に属するものとして識別すると、ユーザデバイス１０６からの応答を必要とせず自動的に、事故に巻き込まれた車両１０３ａ、１０３ｂ、または１０３ｃの制御を引き渡すようにプログラムおよび構成される。

【0123】

偽りの緊急応答者やハッカーによる車両１０３ａ、１０３ｂ、または１０３ｃの制御の不正アクセスから保護するために、ハンドシェイク技術を用いる固有識別番号の伝達は、好適には暗号化技術を用いて行うべきであり、固有緊急応答者識別番号は、ＲＭＣＣ１０９において信頼できる番号として識別および格納されるべきである。

【0124】

ステップ４５０において、緊急応答者は、事故に巻き込まれた車両１０３ａ、１０３ｂ、または１０３ｃを手動で、またはユーザデバイス１０６ａを用いて別の好適な場所へ送り届ける。ステップ４５０において、車両１０３ａ、１０３ｂ、または１０３ｃは、事故が発生した場所から第２の場所または別の好適な場所へ自律的に、または手動で移動される。別の好適な位置は、車両１０３ａ、１０３ｂ、または１０３ｃが安全に対向交通の妨げとならないことが確実であるように選択され得る。

【0125】

ステップ４６０において、事故に巻き込まれた車両１０３ａ、１０３ｂ、または１０３ｃの制御は、ＲＭＣＣ１０９に返還されてよく、ステップ４７０において、事故に巻き込まれた車両１０３ａ、１０３ｂ、または１０３ｃは停止されるが、事故または他の緊急事態の対処後に牽引が必要な場合、再開され得る。

【0126】

従来技術の方法と異なり、事故に巻き込まれた車両１０３ａ、１０３ｂ、または１０３ｃの自律制御を譲渡するこの方法は、緊急応答者に制御を譲渡し、または所有者が制御を拒絶することを可能にするために、車両の所有者からの応答を受信することを必要とせず、またはそれに依拠しない。

【0127】

ここで図５を参照すると、本開示の様々な実施形態に係る、図１のＡＩシステム１００の様々な部分を実装するために用いられ得る処理デバイス５００の概略ブロック図が示される。処理デバイス５００は、たとえば車両１０３ａ、１０３ｂ、および１０３ｃ、ユーザデバイス１０６および１０６ａ、および／またはＲＭＣＣ１０９（図１）をサポートするサーバのいずれかに含まれるコンピュータおよび／またはマイクロプロセッサを含んでよい。処理デバイス５００は、ローカルインタフェース５０９に結合された、たとえばプロセッサ５０３、メモリ５０６、およびデータストア５１２を有する少なくとも１つの処理回路を含む。そのために、処理デバイス５００は、たとえば少なくとも１つのコンピュータ、タブレット、スマートフォン、または同様のデバイスなどの処理回路を備えてよい。ローカルインタフェース５０９は、たとえば付随するアドレス／制御バスを有するデータバスまたは認識され得るような他のバス構造を備えてよい。処理デバイス５００は、たとえばユーザインタフェースなど、生成されたグラフィックをレンダリングするためのディスプレイ、およびユーザ入力を可能にするためのたとえばキーパッドやタッチスクリーンなどの入力インタフェースを含んでよい。加えて、処理デバイス５００は、たとえば車両１０３ａ、１０３ｂ、および１０３ｃ、ユーザデバイス１０６、緊急応答者ユーザデバイス１０６ａ、ならびに／またはＲＭＣＣ１０９をサポートするデバイスのいずれかに含まれる通信インタフェースなど、処理デバイス５００が他のデバイスと通信可能に結合することを可能にする通信インタフェース（不図示）を含んでよい。通信インタフェースは、たとえばＢｌｕｅｔｏｏｔｈまたは他の無線周波数（ＲＦ）接続などの１または複数の無線接続および／または１または複数の有線接続を含んでよい。

【0128】

メモリ５０６には、データと、プロセッサ５０３によって実行可能ないくつかの構成要素との両方が格納される。特に、メモリ５０６に格納されプロセッサ５０３によって実行可能なものは、ＡＩシステムアプリケーション（複数も可）５１５、オペレーティングシステム５１８、および／または他のアプリケーション５２１である。ＡＩシステムアプリケーション５１５は、自律車両の運転、監視、および制御、たとえば自律的な乗客の回収、自律的な駐車、インテリジェントな衝突回避、インテリジェントな事故報告、段階的インテリジェントルート学習、遠隔車室制御、同時複数自律車両視覚センサ融合、同時複数自律車両監視、同時複数自律車両制御、および／または分散型情報共有をサポートする人工知能および機械学習技術に基づくアプリケーションを含んでよい。認識され得るように、メモリ５０６に格納され、プロセッサ５０３によって実行可能な他のアプリケーションが存在し得ることが理解される。本明細書で説明される任意の構成要素がソフトウェア形式で実装される場合、たとえばＣ、Ｃ＋＋、Ｃ＃、オブジェクティブＣ、Ｊａｖａ（登録商標）、ＪａｖａＳｃｒｉｐｔ（登録商標）、Ｐｅｒｌ、ＰＨＰ、Ｖｉｓｕａｌ Ｂａｓｉｃ（登録商標）、Ｐｙｔｈｏｎ（登録商標）、Ｒｕｂｙ、Ｄｅｌｐｈｉ（登録商標）、Ｆｌａｓｈ（登録商標）、Ｍａｔｌａｂ、または他のプログラミング言語およびそれらのライブラリなど、多数のプログラミング言語のいずれか１つが用いられ得る。

【0129】

多数のソフトウェア構成要素がメモリ５０６に格納され、プロセッサ５０３によって実行可能である。この点に関して、「実行可能な」手段という用語は、最終的にプロセッサ５０３によって実行され得る形式であることを意味する。実行可能なプログラムの例は、たとえば、メモリ５０６のランダムアクセス部にロードされプロセッサ５０３によって実行され得るフォーマットで機械コードに変換され得るコンパイル済みプログラム、たとえばメモリ５０６のランダムアクセス部へのロードおよびプロセッサ５０３による実行が可能なオブジェクトコードなどの適切なフォーマットで表現され得るソースコード、または、メモリ５０６のランダムアクセス部においてプロセッサ５０３によって実行される命令を生成するために他の実行可能なプログラムによって解釈され得るソースコードなどであってよい。実行可能なプログラムは、たとえばランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、ハードドライブ、ソリッドステートドライブ、ＵＳＢフラッシュドライブ、メモリカード、たとえばコンパクトディスク（ＣＤ）やデジタルバーサタイルディスク（ＤＶＤ）などの光学ディスク、フロッピーディスク、磁気テープ、または他のメモリ構成要素を含む、メモリ５０６の任意の部分または構成要素に格納され得る。

【0130】

本明細書において、メモリ５０６は、揮発性および不揮発性メモリとデータ記憶部品との両方を含むものとして定義される。揮発性部品は、電源喪失時にデータ値を保持しないものである。不揮発性部品は、電源喪失時にデータを保持するものである。したがって、メモリ５０６は、たとえばランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、ハードディスクドライブ、ソリッドステートドライブ、ＵＳＢフラッシュドライブ、メモリカードリーダを介してアクセスされるメモリカード、関連するフロッピーディスクドライブを介してアクセスされるフロッピーディスク、光学ディスクドライブを介してアクセスされる光学ディスク、適当なテープドライブを介してアクセスされる磁気テープ、および／または他のメモリ構成要素、またはこれらのメモリ構成要素のいずれか２つ以上の組み合わせを備えてよい。加えて、ＲＡＭメモリは、たとえば静的ランダムアクセスメモリ（ＳＲＡＭ）、動的ランダムアクセスメモリ（ＤＲＡＭ）、または磁気ランダムアクセスメモリ（ＭＲＡＭ）、および他のそのようなデバイスを備えてよい。ＲＯＭメモリは、たとえばプログラマブル読取専用メモリ（ＰＲＯＭ）、消去可能プログラマブル読取専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブル読取専用メモリ（ＥＥＰＲＯＭ）、または他の同様のメモリデバイスを備えてよい。

【0131】

また、プロセッサ５０３は並列処理回路で動作する複数のプロセッサ５０３を表してよく、メモリ５０６は、並列処理回路で動作する複数のメモリ５０６を表してよい。そのような場合、ローカルインタフェース５０９は、複数のプロセッサ５０３のいずれか２つの間、任意のプロセッサ５０３とメモリ５０６のいずれかとの間、またはメモリ５０６のいずれか２つの間などの通信を容易にする適当なネットワークであってよい。ローカルインタフェース５０９は、たとえば負荷分散を行うことを含む、この通信を調整するように設計された追加のシステムを備えてよい。プロセッサ５０３は、電気構造または他の何らかの利用可能な構造であってよい。

【0132】

本明細書で説明されるＡＩシステムアプリケーション（複数も可）５１５、オペレーティングシステム５１８、アプリケーション（複数も可）５２１、および他の様々なシステムは、上述したような汎用ハードウェアによって実行されるソフトウェアまたはコードで具体化され得るが、代替として、これらは、専用ハードウェアまたはソフトウェア／汎用ハードウェアと専用ハードウェアとの組み合わせで具体化されてもよい。専用ハードウェアで具体化される場合、各々は、多数の技術のいずれか１つまたは組み合わせを用いる回路またはステートマシンとして実装され得る。これらの技術は、１または複数のデータ信号の適用時に様々な論理関数を実施するための論理ゲートを有するディスクリート論理回路、適当な論理ゲートを有する特定用途向け集積回路、または他の構成要素などを含んでよいが、これに限定されない。そのような技術は一般に当業者に周知であるため、本明細書では詳しく説明されない。

【0133】

図６は、典型的な歩行者衝突シナリオを示す。

【0134】

図７は、典型的な衝突回避システムの図である。いくつかの例において、典型的な衝突回避システム７００は、車両にわたり展開され得る。様々な実施形態において、衝突回避システム７００の一部または全ての要素は、ＲＭＣＣ１０９に実装され、１または複数の自律車両に構成された１または複数の衝突回避システム７００と分散方式で協働してよい。図示した例において、衝突回避システム７００は、送信側車両７０１と受信側車両７０２との間で動作可能である。各車両７０１、７０２には、撮像デバイス７０３、画像プロセッサ７０４、およびトランシーバ７０５が搭載される。また車両には、ディスプレイ７０６を有する車両ナビゲーションシステム、ならびにたとえば歩行者衝突回避システム（ＰＣＡＳ）などの自動緊急制動システム７０７を含むがこれに限定されない、他の従来の車両サブシステムも搭載され得る。より多いまたは少ない数の車両が同様にシステムの一部を搭載し、備えてよい。いくつかの実施形態において、ＲＭＣＣ１０９に加えて、たとえば標識、交通信号、橋などの指定されたインフラ位置も、衝突回避システム７００の一部または全部が搭載され、それらを含んでもよい。

【0135】

実施形態例において、撮像デバイス７０３は、車両に統合されたカメラである。システムは、ライダ、レーダ、超音波センサなどを含む任意のセンサモダリティを利用するために拡張され得る。たとえばカメラ、ライダ、レーダ、および／または超音波センサの任意の組み合わせなど、マルチモーダルセンサシステムの融合によって、より強力なシステムが実現され得る。大量のデータを生成するセンサモダリティの場合、データ圧縮が必要になることがあり得る。よって、視覚センサを用いる場合、車両および／またはインフラ間の効率的な通信を実現するために、ビデオ圧縮／伸長が不可欠である。独立型の、または一般的なカメラに内蔵された、任意の最先端のビデオ符号化規格または技術が用いられ得る。

【0136】

実施形態例において、画像プロセッサ７０４は、Ｎｖｉｄｉａ Ｄｒｉｖｅ ＰＸ２プロセッサである。理解すべき点として、画像プロセッサ７０４を制御するための論理は、ハードウェア論理、ソフトウェア論理、またはハードウェア論理とソフトウェア論理との組み合わせで実装され得る。この点に関して、画像プロセッサ７０４は、デジタル信号プロセッサ（ＤＳＰ）、マイクロプロセッサ、マイクロコントローラ、または、上述した方法を実施するソフトウェアでプログラムされる他のプログラマブルデバイスのいずれかであってよく、またはこれを含んでよい。理解すべき点として、コントローラは代替として、たとえばフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、複合プログラマブル論理デバイス（ＣＰＬＤ）、または特定用途向け集積回路（ＡＳＩＣ）などの他の論理デバイスであり、またはこれを含む。画像プロセッサ７０４が機能を行い、または機能を行うように構成されることが述べられる場合、画像プロセッサ７０４は、（たとえばソフトウェア、論理デバイス、またはそれらの組み合わせにおいて）適当な論理を用いて行うように構成される。

【0137】

実施形態例において、車両間の無線ネットワークは、米国インテリジェント輸送システム（ＩＴＳＡ）および８０２．１１ｐＷＡＶＥ規格に準拠し、ＵＳ ＤＯＴの認定を受けた、基礎的なＤＳＲＣトランシーバ７０５に基づいている。デフォルトとして、ＤＳＲＣ機器は、基本安全メッセージ（ＢＳＭ）を定期的に送信する。このメッセージは、車両状態およびアプリケーション情報を含む。ＤＳＲＣは、車両間で無線データリンクがどのように確立され得るかを示す例にすぎず、他の通信プロトコルも本開示の広範な範囲内に収まる。

【0138】

図８は、送信側車両によってデータを共有するためのプロセス例を示すフローチャートである。８０１において、送信側車両内の撮像デバイスを用いて画像データが捕捉される。画像データは、継続的に、定期的に、またはトリガ信号に応答して捕捉され得る。実施形態例において、撮像デバイスはカメラであるが、他の種類の撮像デバイスも本開示によって意図されている。

【0139】

その後、８０２において、たとえば歩行者、他の車両、または潜在的危険などの関心対象物体を検出および／または識別するために画像データが分析される。実施形態例において、物体は、Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ（ＹＯＬＯ）物体検出アルゴリズムを用いて検出される。ＹＯＬＯ物体検出に関する詳細については、参照によって本明細書に組み込まれる“ＹＯＹＬ０９０００：Ｂｅｔｔｅｒ，Ｆａｓｔｅｒ，Ｓｔｒｏｎｇｅｒ”Ａｒｘｉｖ：１６１２．０８２４２，２０１６年１２月を参照されたい。他の物体検出方法も本開示の範囲内に収まることが容易に理解される。

【0140】

次に、検出された物体に関するデータを他の車両に共有するかに関して決定が下される。この点に関して、８０３において、物体の位置が画像データから決定される。物体の第１の位置は、送信側車両の位置に対して定義される。すなわち、送信側車両は、この第１の位置に関する基準フレームの役割を果たす。撮像データから物体までの距離を決定するための技術は、当技術分野において容易に知られている。たとえば、車両は、歩行者の横断を検出すると、

【数1】

のように歩行者距離を推定し、式中、ｆｃは焦点距離であり、Ｒ_ｈおよびＩ_ｈは、それぞれ実際の歩行者のメートル単位の身長および画像画素単位の身長である。

【0141】

物体の位置を含む物体情報を付近の車両に共有する前に、２つの異なる基準が適用される。第１に、８０４に示すように、付近の車両が対象車両（すなわち、物体情報を送信すべき車両）であるかを決定するための基準が適用され得る。基準例は、送信側車両の隣または後ろに位置する車両のみに物体情報を送信すべきというものである。送信側車両の前の車両は関心対象ではなく、物体情報を送信されない。他の基準例は、対象車両は送信側車両と同じ方向に走行している、および／または送信側車両から２車線以内にあるべきというものである。他の種類の車両基準も本開示によって意図されている。

【0142】

第２に、８０５に示すように、物体が受信側車両の関心対象であるかを決定するための基準が適用される。たとえば、送信側車両から所定の距離（たとえばＩ＜５０メートル）内の物体のみが関心対象物体と見なされる。所定の距離の外にある物体は関心対象ではなく、これらの物体に関する情報は他の車両に共有されない。同様に、他の種類の物体基準も本開示によって意図されている。

【0143】

各対象車両に関して、８０６において、送信側車両から対象車両（すなわち受信側車両）へ無線データリンクを介して物体情報が送信される。実施形態例において、無線ネットワークは、米国インテリジェント輸送システム（ＩＴＳＡ）および８０２．１１ｐＷＡＶＥ規格に準拠する基礎的なＤＳＲＣトランシーバに基づいている。この場合、物体情報は、ＤＳＲＣリンクを介して基本安全メッセージ（ＢＳＭ）を用いて定期的に送信される。重ねて、関心対象物体に関する情報の送信のみが必要である。

【0144】

また、関心対象物体に関する画像データ（たとえばビデオセグメント）が対象車両に送信される。そのために、送信側車両は、送信側車両と受信側車両との間に別の二次データ接続を確立する。一例において、送信側車両は、対象車両とのＴＣＰ接続を確立してよい。捕捉された画像データの全てを送信するのではなく、送信側車両は、関心対象物体に対応するデータのみを送信し得る。たとえば、送信側車両は、物体検出アルゴリズムによって指定された物体を取り囲む境界ボックスに含まれる画像データを送信する。画像データを送信する前に、８０７に示すように、画像データは好適には圧縮される。たとえば画像データは、Ｍｏｔｉｏｎ ＪＰＥＧなどの圧縮アルゴリズムを用いて圧縮され得る。異なる種類の圧縮方法も本開示の広範な態様の範囲内に収まる。いずれの場合も、物体に関する画像データは、８０８において、送信側車両によって受信側車両へ送信される。図８に関して、画像プロセッサ７０４による処理の関連ステップのみが説明されるが、システムの全体動作を制御および管理するために他のソフトウェア実施命令が必要になり得ることが理解される。

【0145】

図９は、受信側車両によってデータを融合するためのプロセス例を示すフローチャートである。表１は、以下に記載するシステムパラメータ計算において用いられる車両を定義する。

【表1】

報告される位置は、任意の距離単位で測定され得る。たとえば、位置は、ユニバーサル横メルカトル（ＵＴＭ）座標フォーマットで用いられるメートル単位であってよい。また、カメラ位置は、車両基準位置と見なされる。複数の歩行者が検出された場合、各歩行者に関して同じ計算が行われ得る。一方、隣接または近接している２人の歩行者を１人の歩行者として結合することも可能である。ここでは、例示目的のみのために、単一の歩行者の横断に焦点を当てる。各車両は、自車両に有用な情報を共有し得る全ての車両を含む対象車両（ＶｏＩ）リストを有する。

【0146】

９０１において、受信側車両によって物体情報が受信される。受信側車両によって受信された物体情報は、２つの車両間の距離を含んでよい。たとえば、交換される情報は、車両間の垂直距離および水平距離を含んでよい。そうすることで、受信側車両は、自身に関する送信側車両の位置を決定することができる。上述したように、この情報は、ＤＳＲＣリンクを介して送信されるメッセージを用いて定期的に交換され得る。他の種類の無線リンクが車両によって用いられてもよい。

【0147】

次に、９０２において、受信側車両によって物体の位置が決定される。この物体位置は、受信側車両の位置に対して定義される。すなわち、受信側車両は、この第２の物体位置に関する基準フレームの役割を果たす。実施形態例において、この第２の位置は、詳しく後述するように送信側車両によって送信された第１の物体位置および２つの車両間の距離を用いて導出される。

【0148】

物体の位置から、９０３において、受信側車両によって安全性への懸念が評価され得る。１つの実施形態において、受信側車両は、図１０に示すように物体と受信側車両との間の予想衝突点Ｄを計算する。また受信側車両は、
ＤＴＣ＝ｌ＋ｄ （２）

【数2】

のように衝突までの距離（ＤＴＣ）および／または衝突までの時間（ＴＴＣ）も計算し、式中、Ｓ_Ａは車両の速度（たとえば毎秒メートル単位）である。これらのメトリックは典型例にすぎない。

【0149】

物体の第２の位置に基づいて、９０４に示すように受信側車両において安全対策が実施され得る。たとえば、予想衝突点が存在することを前提として、安全に対する懸念が高まり得、受信側車両の運転者に警報が発行され得る。警報は、予想される衝突まで一定間隔（たとえば５秒間）で発行され得る。警報は、視覚、聴覚、および／または触覚インジケータであってよい。持ち上がった安全性問題に応答して、受信側車両は、たとえば車両の自動制動などの自動防止策を実施してもよい。

【0150】

加えて、９０５において、検出された物体に関するビデオが受信側車両によって受信される。受信されたビデオは、その後９０６において、受信側車両によって捕捉されたビデオと融合され得る。９０７において、融合されたビデオが表示される。図１０の例に続いて、不明瞭な歩行者が、受信側車両によって捕捉されたビデオに統合され得る。データを融合するための技術の１つが以下に記載される。

【0151】

図１０は、衝突シナリオ例の概略図である。車両Ｂは、ビデオストリーミング要求を受信した後、関心領域（ＲｏＩ）とも呼ばれる、画像の検出された歩行者領域のみを共有する。ＲｏＩを車両Ａに送信する前、ＲｏＩはビデオストリームに圧縮される。車両は、ビデオストリームの第１の画像を受信すると、自身がローカルカメラ水平視野（ＨＦＯＶ）内にあるかを決定する必要がある。よって、図１０に示すように角度∠αが計算される。

【数3】

式中、
ｒ＝ｔａｎ（β）＊ｌ （５）
である。ただし、∠βが負である場合、ｒは負になり得る。∠βは、車両Ｂによって推定される。物体の水平角度を推定する単純な方法は、以下のように、カメラ水平視野（ＨＦＯＶ）に対する平均水平物体画素位置を測定することである。

【数4】

【0152】

∠βが正である場合、物体はカメラの左側にあり、逆も当てはまる。ここで、∠αが車両ＡのＨＦＯＶよりも大きい場合、可聴警報のみが運転者に出される。そうでない場合、ローカルビデオストリーム画像に歩行者画像が転置される。

【0153】

図１１は、典型的なピンホールモデルおよび画像転置計算を示す図である。図１１に示すように、カメラピンホールモデルを用いて、以下のようにカメラＢ画像平面からカメラＡ画像平面に物体が転写される。

【数5】

ΔＸ、ΔＹ、およびΔＺは、図１０～１１に示す変数と同様の２つのカメラ位置の座標の差である。変数ＸおよびＹの両者は、

【数6】

を用いてカメラＢから推定される。検出された物体をカメラＡ画像に転置した後、９０７において、運転者に対しディスプレイ上に融合画像が提示される。このプロセスは、車両Ｂが検出物体情報の共有を中断するまで繰り返される。不必要な情報の共有を防ぐために、車両Ｂは、物体が車両の前方からなくなり、他の車両に可視である場合（すなわち、

【数7】

）、検出物体情報の共有を中断する。重要な点として、共有センサからの情報は様々なレートで更新され得ることに留意する。その結果、車両間での、車両にわたる、および車両とＲＭＣＣ実施形態との間での時間（クロック）同期化が必要である。理解すべき点として、図１０～１１によって示す例の実施に関して、画像プロセッサ７０４による処理の関連ステップのみが説明されており、システムの全体動作を制御および管理するために他のソフトウェア実施命令が必要とされ得る。

【0154】

ここで、衝突回避システム７００の実施形態例に関して実験的なセットアップおよび結果が説明される。典型的なセットアップは、２つの車両（たとえばＳＵＶおよびセダン）で構成される。各車両に、Ｃｏｈｄａ（ＭＫ５ ＤＳＲＣトランシーバ、グローバルナビゲーション衛星システムＧＮＳＳ）およびダッシュボードカメラ（ＤａｓｈＣａｍ）が搭載される。ＤＳＲＣトランシーバはＧＮＳＳを備えるが、ＤＳＲＣトランシーバにおいて用いられるスタンドアロンＧＮＳＳに比べてＲＴＫＧＮＳＳは高精度の位置推定を提供するため、この実施形態は、個別のリアルタイムキネマティック（ＲＴＫ）ＧＮＳＳを用いることを選択した。これらの実験において、低価格の市販デバイスであるＥｍｌｉｄ Ｒｅａｃｈ ＲＴＫ ＧＮＳＳ受信機が用いられる。収集したデータを格納するために、各車両における全てのセンサは、ロボットオペレーションシステム（ＲＯＳ）を搭載したラップトップに接続される。２つの車両のラップトップは、ラップトップクロックを同期するために、データ収集中、ＤＳＲＣトランシーバを介して接続される。加えて、使用可能な帯域幅を検証し、実験室内で実験を行う際のチャネル性能をエミュレートするために、２つの車両間で帯域幅テスト実験が行われた。

【0155】

ＲＴＫ－ＧＮＳＳ出力は、５Ｈｚの上限に設定され、カメラは、毎秒２４フレーム（ＦＰＳ）に設定された。ＤＳＲＣデータレートチャネルは、６Ｍｂｐｓに設定された。実験は、ミシガン州立大学構内および周囲エリアにおいて、最大毎時５５キロメートル（ｋｐｈ）の広範囲にわたる速度制限で行われた。全ての実験は、日中に行われた。第１部において、チャネル帯域幅テストは、０～５５ｋｐｈの範囲にわたる速度での運転中、５～１００メートルの範囲にわたる２つの車両ＤＳＲＣトランシーバ間の距離で行われた。第２部において、歩行者の衝突前シナリオがテストチームによってシミュレートおよびコーディネートされた。

【0156】

実験室セットアップにおいて、２つのＲＯＳ対応デスクトップＰＣが用いられ、固定式ＤＳＲＣトランシーバに接続された。２つのトランシーバ間の距離は５メートルに固定されている。移動中の車両をエミュレートするために、路上テストの所見に基づいて、５～１５ミリ秒のランダムな遅延がチャネルに加えられ、最大チャネル帯域幅は１．８Ｍｂｐｓに設定された。どちらのＰＣもコアとなる１７のプロセッサを有し、一方のＰＣはＮＶＩＤＩＡ ＧＴＸ １０８０ｔｉ ＧＰＵを有する。ＧＰＵ対応ＰＣは車両Ｂを表し、他方のＰＣは車両Ａを表す。提案されたシステム構成要素は、ＲＯＳノードとして実装された。歩行者検出のためのアルゴリズムが視覚物体分類（ＶＯＣ）データセットを用いて訓練されるように、実験室実験において、Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ（ＹＯＬＯ）物体検出アルゴリズムが用いられた。また、ビデオ／画像符号化／復号技術としてモーションＪＰＥＧ（ＭＪＰＥＧ）が用いられた。

【0157】

図１２および図１３は、それぞれＤＳＲＣ帯域幅およびパケット遅延テスト結果の典型的なサンプルを示す。これらのサンプル結果を生成するテスト中、２つの車両間の距離は９０～１２０メートルであり、速度は５５ｋｐｈであった。平均帯域幅および遅延は、それぞれ２．８５Ｍｂｐｓおよび３４．５ｍｓであった。ＤＳＲＣ機器は、最小の遅延で高品質なビデオストリームを搬送し得ることが分かった。Ｐ．Ｇｏｍｅｓ他著、“Ｍａｋｉｎｇ Ｖｅｈｉｃｌｅｓ”Ｔｒａｎｓｐａｒｅｎｔ Ｔｈｒｏｕｇｈ Ｖ２Ｖ Ｖｉｄｅｏ Ｓｔｒｅａｍｉｎｇ“ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｔｒａｎｓｐｏｒｔａｔｉｏｎ Ｓｙｓｔｅｍｓ １３（２０１２）において同様の所見が認められた。

【0158】

物体検出アルゴリズムＹＯＬＯは、許容可能と見なされる８～１０ＦＰＳを処理することができた。ただし、自動車指向性ハードウェアを用いて、より高い処理を実現することが可能である。上述したように、歩行者が検出された後、歩行者距離および角度が推定される。オリジナル画像から関心領域（ＲＯＩ）が抽出され、ビデオ／画像エンコーダに送信される。Ｍ－ＪＰＥＧエンコーダは、各画像を個々にＪＰＥＧ画像として圧縮する。この圧縮方法により、他の高度ビデオ圧縮技術と比べて大幅に時間が節減される。平均圧縮画像サイズは３．５ＫＢであり、これはフル画像を共有するよりも大幅に小さい。たとえば、１０ＦＰＳにおける６４０ｘ４８０の高品質Ｈ．２６４ビデオストリームは１．０２９Ｍｂｐｓを必要とするが、１０ＦＰＳにおける選択的な共有は、２８０Ｋｂｐｓしか必要としない。しかし、いくつかの実施形態は、最適な精度を実現するためにＧＮＳＳ更新レートと同様にビデオストリーミングレートを５Ｈｚに制限してよい。歩行者距離lおよび∠βは、８～１０Ｈｚの検出レートで送信される。

【0159】

図１４は、動作のステップ全てにおける遅延を示し、全体遅延は、最終融合画像の表示を含む２つの連続画像融合の間にある。平均全体遅延は２００ｍｓであり、これは、主にＧＮＳＳ更新が５Ｈｚに制限されるという理由により、５Ｈｚのビデオ共有レートと同様である。融合プロセス遅延平均は３３ｍｓであり、計算、融合、および遠隔データとローカルデータとの同期によって生じる遅延を含む。一方、平均チャネル物体検出遅延は、それぞれ１０ｍsおよび１２２ｍｓである。融合、チャネル、および物体検出の合計は全体遅延未満であることが明らかであり、ａ）検出精度を低下させずに物体検出処理レートを向上させること、ｂ）ＧＮＳＳレートを高めることによって情報共有レートを高めるために２００ｍｓの遅延は不可能であることが提示される。

【表2】

【0160】

表２は、２．４秒間続いた衝突前インタラクション中に行われる計算を示す。このインタラクション中、運転者は、歩行者の横断に関して警告される。融合画像のサンプルは図１５Ａ～１５Ｆに示される。

【0161】

図１６は、典型的なＲＭＣＣによって複数の自律車両を監督し事故リスクを監視するためのプロセス例を示すフローチャートである。様々な例において、図１６によって示すプロセスは、ＡＩシステム１００（図１）における車両１０３ａ、１０３ｂ、または１０３ｃおよびＲＭＣＣ１０９に実装され得る。図１６に示す典型的な遠隔監視および制御（ＲＭＣＣ）プロセスは、プロセッサ５０３（図５）の観点から示される。図示されるプロセスはステップ１６０２において開始し、プロセッサ５０３が、複数の自律車両からのセンサデータを捕捉する。様々な例において、センサは、複数の車両に分散され得る。いくつかの実施形態において、融合センサデータは、車両によってＲＭＣＣへセンサデータが送信される前に圧縮され得る。典型例において、車両およびＲＭＣＣは、車両からＲＭＣＣへ送信されるセンサデータの量を制限するためにデータ通信およびネットワーキング分野からの技術を利用し得る。たとえば、１または複数の車両は、ＲＭＣＣへ送信されるセンサデータストリームから冗長センサデータを削除するために人工知能を用いて構成され得る。そのような例において、車両は、定期間隔で、またはキーセンサが値を変更した時、センサデータの更新を送信してよい。

【0162】

様々な実施形態の実装の設計および使用を示す例において、ＲＭＣＣは、複数の車両からＲＭＣＣによって受信されるセンサデータに基づいて、複数の車両を同時に監視および制御するように構成され得る。いくつかの例において、ＲＭＣＣは、ＲＭＣＣの統制下で動作している複数の車両の各々に関する独立した事故リスクレベルを決定してよい。ＲＭＣＣ実施形態は、安全ではない事故リスクレベルで動作していることがＲＭＣＣによって決定された複数の車両の１または複数の完全または部分的制御を想定し得る。いくつかの実施形態において、ＲＭＣＣは、安全ではない事故リスクレベルを有する車両における１または複数の安全対策または注意勧告の実施に基づいて安全な事故リスクを取り戻すために、ＲＭＣＣが安全ではない事故リスクレベルを決定した１または複数の車両の完全または部分的制御を想定し得る。

【0163】

典型的な例において、ＲＭＣＣは、各車両に関して決定された事故リスクを、安全、危険、および不安全という少なくとも３つの範囲内にあるものとして特徴付けるように構成される。

【0164】

安全な事故リスクレベルで動作している監視中の自律車両の典型的な例において、ＲＭＣＣは、車両の各々に関して個々に事故リスクを決定することに基づいて個々の自律車両の同時監視を継続し、事故リスクが不安全に変化した場合、車両の制御を引き受け、安全な事故リスクが取り戻されると車両に制御を返還する。ＲＭＣＣによって安全であると特徴付けられるシナリオは通常状態と称され、１または複数のユーザに対し「緑色」状態で表示または指示され得る。

【0165】

危険な事故リスクレベルで動作している監視中の自律車両の様々な例において、危険な事故リスクの車両に警告するために、ＲＭＣＣは、事故リスクが危険であるとＲＭＣＣが決定した１または複数の車両に勧告的指令を発行し、または注意勧告を送信してよい。典型的な例において、危険な事故リスクはリスク増加を提示してよく、警告が通知され、または部分的制御が実施され得る。ＲＭＣＣによって危険であると特徴付けられるシナリオは、警告または注意状態と称され、１または複数のユーザに対し「黄色」状態で表示または指示され得る。１または複数の車両に関する危険な事故リスクに応答してＲＭＣＣが行う処置は、１または複数の車両の部分的制御（たとえば速度制限）を同時に引き受けること、制御のレベルを完全制御に上昇させる出来事（たとえば車両が中央線または路肩を跨いでいることなど）への感度を高めること、危険な事故リスクに対応するように車両に警告し、または車両コントローラや乗員に関心対象物体（たとえば車両の経路を横断しようとする歩行者の画像）を提示するために、車両コントローラへメッセージを送信することを含んでよい。

【0166】

不安全な事故リスクレベルで動作している監視中の自律車両のいくつかの例において、ＲＭＣＣは、不安全な事故リスクで動作していた１または複数の車両の事故リスクレベルを低減するために、事故リスクが不安全であるとＲＭＣＣが決定した１または複数の車両に同時に安全対策を実施してよい。不安全な事故リスクは、車両乗員の死亡や怪我を招く重大かつ差し迫った危険を提示する。典型的な例において、ＲＭＣＣによって不安全であると特徴付けられるシナリオは、１または複数のユーザに対し「赤色」状態で表示または指示され得る。１または複数の車両に関する不安全な事故リスクに応答してＲＭＣＣが行う処置は、車両間の距離を広げるために１または複数の車両を減速させること、衝突を回避するために１または複数の車両を操舵すること、または衝突を回避するために１または複数の車両を自動制動することを含んでよい。

【0167】

いくつかの実施形態において、ＲＭＣＣは、ＲＭＣＣの統制下で動作していない１または複数の自律車両からのセンサデータを受信し、処理し、それに従って行動してよい。典型的な例において、ＲＭＣＣの統制下で動作している車両はＲＭＣＣへセンサデータを送信し得るが、ＲＭＣＣの統制下で動作していない車両は、ＲＭＣＣによる制御を受け入れることが不可能な場合がある。たとえば、ＲＭＣＣの統制下にある車両は、ＲＭＣＣの統制下にない他の車両の動作挙動に基づいて事故リスクを低減するために勧告または制御され得る。

【0168】

いくつかの実施形態において、事故リスクマージンは、センサデータ履歴を用いて構成された人工知能によって決定され得る。たとえば、センサを備えるテスト車両は、特定の道路上または特定の条件下で移動する車両を表すセンサデータに基づいてニューラルネットワークまたは決定木が訓練されることを許可し得る。そのようなテストデータは、様々な生の自律車両運転条件に関して、ＲＭＣＣによって決定された事故リスクに対する最小安全リスクマージン閾値差を予測するために用いられ得る。典型的な例において、様々なＲＭＣＣ実施形態は、各車両の事故リスクを、事故リスク、事故リスクマージン、および最小安全リスクマージン閾値の関数として特徴付けられた安全、危険、または不安全として決定してよい。

【0169】

図示される方法は１６０４に続き、ＲＭＣＣは、複数の車両から受信したセンサデータに基づいて複数の自律車両の位置を決定する。１６０６において、ＲＭＣＣは、センサデータに基づいて物体の位置を決定する。このセンサデータを用いて、１６０８において、ＲＭＣＣは、車両速度を決定する。１６１０において、ＲＭＣＣは、車両位置、物体位置、および車両速度に基づいて、複数の車両の各々に関する事故リスクを決定する。いくつかの例において、事故リスクは、物体または車両が複数の車両の１または複数の関心対象であるかの関数として決定され得る。

【0170】

１６１２において、ＲＭＣＣは、センサデータ履歴を用いて構成された人工知能によって決定された事故リスクマージンの関数として各車両について評価された事故リスクに基づいて、複数の自律車両の各々に関して事故リスクレベルが安全であるかを決定する。各車両に関する事故リスクレベルが安全である場合、ステップ１６１４において、ＲＭＣＣは自律車両の制御をせず、プロセスは１６０２に続く。事故リスクレベルが安全であり、ステップ１６１４においてＲＭＣＣが自律車両を制御する場合、１６１６において、ＲＭＣＣは車両に制御を返還し、プロセスは１６０２に続く。

【0171】

１６１２において、事故リスクレベルが安全ではない場合、ステップ１６１８において、ＲＭＣＣは、センサデータ履歴を用いて構成された人工知能によって決定された事故リスクマージンの関数として各車両について評価された事故リスクに基づいて、事故リスクレベルが危険であるかを決定する。ステップ１６１８においてＲＭＣＣが１または複数の車両の事故リスクレベルが危険であると決定した場合、１６２０において、ＲＭＣＣは、１または複数の車両に送信される勧告メッセージを生成するために助言を処理する。様々な例において、注意勧告は、自律車両への減速の提案を含んでよく、または、たとえば車両の視野から塞がれた歩行者などの物体の画像を含んでよい。

【0172】

ステップ１６１８において事故リスクレベルが危険ではないとＲＭＣＣが決定した場合、ステップ１６２２において、ＲＭＣＣは、センサデータ履歴を用いて構成された人工知能によって決定された事故リスクマージンの関数として各車両について評価された事故リスクに基づいて、各車両の事故リスクレベルが不安全であるかを決定する。１６２２において少なくとも１つの車両に関する事故リスクレベルが不安全であるとＲＭＣＣが決定した場合、１６２４において、ＲＭＣＣは、少なくとも１つの車両の制御を引き受け、方法は１６０２に続き、プロセッサ５０３が複数の自律車両からのセンサデータを捕捉する。典型的な例において、ＲＭＣＣ実施形態は、複数の自律車両の各々に関して同時に事故リスクを決定し、リスクレベルが安全ではない複数の車両の１または複数の同時制御を想定してよい。たとえばＲＭＣＣ実施形態は、１００台の車両を監視してよく、所与の時間に、場合によっては１００台の車両のうちの５０台が、５０台の車両の各々に関してＲＭＣＣによって決定された不安全な事故リスクレベルに基づいてＲＭＣＣによる制御の必要があると決定され得る。

【0173】

図１７は、典型的なＲＭＣＣによって複数の自律車両の事故リスクを緩和するためのプロセス例を示すフローチャートである。様々な例において、図１７に示されるプロセスは、ＡＩシステム１００（図１）における車両１０３ａ、１０３ｂ、または１０３ｃおよびＲＭＣＣ１０９において実施され得る。図１７に示される典型的な遠隔監視および制御（ＲＭＣＣ）プロセスは、プロセッサ５０３（図５）の観点から与えられる。図示されるプロセスはステップ１７０２において開始し、プロセッサ５０３は、生センサデータおよびセンサデータ履歴の関数として決定された安全リスクマージンを予測するために埋込型人工知能を構成する。プロセスはステップ１７０４に続き、ＲＭＣＣは、複数の自律車両からの生センサデータを捕捉する。１７０６において、ＲＭＣＣは、人工知能および生センサデータに基づいて安全リスクマージンを決定する。

【0174】

ステップ１７０８において、ＲＭＣＣは、人工知能および生センサデータおよびセンサデータ履歴に基づいて、複数の自律車両の各々に関する事前車両事故リスクを決定する。ステップ１７１０において、全ての車両に関する事故リスクレベルが危険または不安全ではないとＲＭＣＣが決定した場合、プロセスは終了し、そうでない場合、ＲＭＣＣは、１７１２において人工知能によって決定された適切な安全対策を選択することによって、複数の自律車両の少なくとも１つに関する危険または不安全な事故リスクを緩和する。ステップ１７１４において、ＲＭＣＣは、１７１６で選択された安全対策を実施するための車両を選択する。様々な例において、安全対策は、自動車両制動、減速、または起こり得る衝突を回避する操舵を含んでよい。

【0175】

１７１８において、ＲＭＣＣは、事故リスクレベルを安全マージンまで低減するために安全対策を実施する必要がある自律車両が更に存在するかを決定する。安全対策を必要とする車両が更に存在する場合、１７１４において、ＲＭＣＣは、１７１６において安全対策を実施するための車両を選択する。全ての車両が安全対策を実施すると、１７２０において、ＲＭＣＣは、全ての車両の事故リスクレベルが安全マージンまで低減されたかを決定する。１７２０において、全ての車両が安全な事故リスクレベルで動作していないことをＲＭＣＣが決定した場合、プロセスは１７０８に続く。

【0176】

図面を参照して様々な例が説明されたが、他の例も可能である。たとえば、様々なＲＭＣＣ実施形態の実装は、自律車両を監視および制御するための改善された分散型情報共有システムおよび方法を含んでよく、ＲＭＣＣは、複数の分散型センサから情報を受信し、事故の存在、事故に巻き込まれる車両、乗客、歩行者、動物、および物体、事故の性質、および事故による損害を決定し、自律車両が、事故の発生位置から第２の位置へ自律的に安全に移動可能であるかを決定し、車両が自律的に安全に移動可能ではない場合、緊急応答者に連絡を取り、緊急応答者ユーザデバイスからの車両の制御の譲渡要求を受信し、それに応答して、暗号およびハンドシェイク技術を用いて車両の所有者からの同意を必要とせずに信頼できる緊急応答者に自律車両の制御を譲渡し、車両の所有者または関係者に事故を通知するようにプログラムおよび構成される。

【0177】

様々な実施形態の設計および使用を示す典型的な非限定的例において、安全用途のために車両間で基本交通メッセージを交換することにより、車両および指定のインフラ位置がそれらのセンサデータを共有する場合に著しく高いレベルの安全性が実現され得る。１つの車両に搭載されたカメラが、多数の回避可能な事故を緩和するための視覚情報を提供し得る一方で、新たな安全パラダイムが描かれ、大幅に最適化された能動的安全および運転者支援システムのために、複数の車両によって捕捉された視覚データが共有され融合される。視覚データの共有は、１つの車両またはインフラ位置によって捕捉された何らかの重大な視覚的観点が、同じ環境にある他の車両によって可視でなく、または捕捉されないことにも動機付けされる。そのようなデータをリアルタイムで共有することにより、非常に有益な新たなレベルの認識が提供され、運転者支援、接続車両、および／または自律車両の安全システムが著しく向上し得る。

【0178】

少なくともいくつかの態様において、本発明は、自律車両の操作に関する方法およびシステムに向けられる。具体的には、本発明のいくつかの実施形態は、自律車両の制御を、事故または他の緊急事態の発生時に、人間または自律性の、または車両乗員である緊急応答者にハンドオフするための方法およびシステムに向けられる。

【0179】

上記説明の一部は、情報に対する操作のアルゴリズムおよび記号表現に関して本明細書で説明される技術を提示する。これらのアルゴリズム記述および表現は、データ処理技術分野の当業者によって、他の当業者に自身の作業の要旨を最も効果的に伝達するために用いられる手段である。これらの操作は、機能的または論理的に説明されるが、コンピュータプログラムによって実施されることが理解される。また、時には、一般性を欠くことなく、モジュールとして、または機能名によってこれらの操作配置に言及することが好都合であることも証明されている。

【0180】

上記説明から明らかなものとして特に記載されない限り、本説明全体を通して、たとえば「処理する」または「計算する」または「算出する」または「決定する」または「表示する」などの用語を用いる記述は、コンピュータシステムメモリまたはレジスタや他のそのような情報格納、伝送、または表示デバイスにおいて物理（電子）量として表現されるデータを操作および変換する、コンピュータシステムまたは同様の電子計算デバイスの動作およびプロセスを指すことが理解される。

【0181】

説明される技術の特定の態様は、本明細書で説明されるプロセスステップおよび命令をアルゴリズム形式で含む。留意すべき点として、説明されるプロセスステップおよび命令は、ソフトウェア、ファームウェア、またはハードウェアで具体化されてよく、ソフトウェアで具体化される場合、リアルタイムのネットワークオペレーティングシステムによって用いられる様々なプラットフォームに常駐するようにダウンロードされ、そこから操作され得る。

【0182】

本開示は、本明細書における動作を実行するための装置にも関する。この装置は、必要な目的のために特別に構成されてよく、または、コンピュータによってアクセス可能なコンピュータ可読媒体に格納されたコンピュータプログラムによって選択的にアクティブ化または再構成された汎用コンピュータを備えてよい。そのようなコンピュータプログラムは、たとえばフロッピーディスク、光学ディスク、ＣＤ－ＲＯＭ、磁気光学ディスク、読取専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気または光学カード、特定用途向け集積回路（ＡＳＩＣ）、または電子命令の格納に適しており各々がコンピュータシステムバスに結合された任意の種類の媒体を含む任意の種類のディスクなどであるがこれに限定されない有形コンピュータ可読記憶媒体に格納され得る。また、本明細書において言及されるコンピュータは、単一のプロセッサを含んでよく、または計算能力の増加のために複数プロセッサ設計を用いるアーキテクチャであってよい。上述される全ての機能は、非公開または公開クラウドベースデータセンタ（ＤＣ）によって提供されてもよい。

【0183】

本明細書に提示されるアルゴリズムおよび動作は、任意の特定のコンピュータまたは他の装置に固有に関連するものではない。本明細書の教示に係るプログラムと共に様々な汎用システムが用いられてもよく、または、必要な方法ステップを行うためにより専門的な装置を構成することが好都合であることが証明され得る。様々なこれらのシステムのために必要な構造は、同等の変形例と共に当業者には明らかである。加えて、本開示は、任意の特定のプログラミング言語を参照して説明されない。本明細書で説明するような本開示の教示を実施するために様々なプログラミング言語が用いられてよい。

【0184】

上記の実施形態の説明は、例示および説明のために提供されたものである。排他的であること、または本開示を限定することは意図されていない。特定の実施形態の個々の要素または特徴は一般に、その特定の実施形態に限定されないが、妥当な場合、特に示され説明されない場合でも、置き換え可能であり、選択された実施形態において用いられ得る。同じものが多数の方法で変形されてもよい。そのような変形例は、本開示からの逸脱と見なされてはならず、そのような修正は全て、本開示の範囲内に含まれることが意図されている。

【0185】

図２、図３、図４、図８、図９、図１６、および図１７のフローチャートは、自律車両１０３ａ、１０３ｂ、および１０３ｃ、ＲＭＣＣ１０９、ならびにＡＩシステム１００のアプリケーション（複数も可）５１５の一部の実装の機能および動作を示す。ソフトウェアで具体化される場合、各ブロックは、記載された論理機能（複数も可）を実施するためのプログラム命令を備えるモジュール、セグメント、またはコードの一部を表し得る。プログラム命令は、コンピュータシステムまたは他のシステム内のたとえばプロセッサ５０３などの適当な実行システムによって認識可能な数値命令を備えるプログラミング言語または機械コードで書かれた人間が読み取れるステートメントを備えるソースコードの形式で具体化され得る。機械コードは、ソースコードなどから変換され得る。ハードウェアで具体化される場合、各ブロックは、記載された論理機能（複数も可）を実施するための回路または複数の相互接続回路を表し得る。

【0186】

図２、図３、図４、図８、図９、図１６、および図１７のフローチャートは、特定の実行順序を示すが、実行順序は示されたものと異なってもよいことが理解される。たとえば、２つ以上のブロックの実行順序は、示された順序に対して組み換えられてよい。また、図２、図３、図４、図８、図９、図１６、および図１７に連続して示される２つ以上のブロックは、同時に、または部分的に同時に実行されてもよい。また、いくつかの実施形態において、図２、図３、図４、図８、図９、図１６、および図１７に示すブロックの１または複数は、スキップまたは省略され得る。加えて、有用性の向上、経理、性能計測、またはトラブルシューティング補助などのために、本明細書で説明される論理フローに、任意の数のカウンタ、状態変数、警報信号、またはメッセージが追加され得る。そのような変形例は全て、本開示の範囲内であることが理解される。

【0187】

また、ＡＩシステムアプリケーション（複数も可）５１５および／またはアプリケーション（複数も可）５２１を含む、本明細書で説明される、ソフトウェアまたはコードを備える任意の論理またはアプリケーションは、たとえばコンピュータシステムまたは他のシステム内のプロセッサ５０３などの命令実行システムによって、または関連して使用するために任意の非一時的コンピュータ可読媒体において具体化され得る。そういった意味では、論理は、たとえばコンピュータ可読媒体からフェッチされ命令実行システムによって実行され得る命令および宣言を含むステートメントを備えてよい。本開示の文脈において、「コンピュータ可読媒体」とは、命令実行システムによって、または関連して使用するための本明細書で説明される論理またはアプリケーションを包含、格納、または維持し得る任意の媒体であってよい。コンピュータ可読媒体は、たとえば磁気、光学、または半導体媒体などの多くの物理媒体のいずれか１つを備えてよい。適当なコンピュータ可読媒体の具体例は、磁気テープ、磁気フロッピーディスケット、磁気ハードドライブ、メモリカード、ソリッドステートドライブ、ＵＳＢフラッシュドライブ、または光学ディスクを含むが、これに限定されない。また、コンピュータ可読媒体は、たとえば静的ランダムアクセスメモリ（ＳＲＡＭ）および動的ランダムアクセスメモリ（ＤＲＡＭ）、または磁気ランダムアクセスメモリ（ＭＲＡＭ）を含むランダムアクセスメモリ（ＲＡＭ）であってよい。加えて、コンピュータ可読媒体は、読取専用メモリ（ＲＯＭ）、プログラマブル読取専用メモリ（ＰＲＯＭ）、消去可能プログラマブル読取専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブル読取専用メモリ（ＥＥＰＲＯＭ）、または他の種類のメモリデバイスであってよい。

【0188】

本明細書において用いられる言語は主に、読み易さおよび教授目的のために選択されており、本発明の主題事項を線引きまたは制限するために選択されたものではない。したがって、本発明の範囲はこの詳細な説明によって限定されるのではなく、ここに基づく本出願に由来する任意の請求項によって制限されることが意図されている。したがって、本発明の実施形態の開示は、本発明の範囲の例示であって限定ではないことが意図されている。

【0189】

本発明は、特定の実施形態に関して説明された。本明細書で説明される代替例は、例示のための例にすぎず、代替例をどのようにも制限するものではない。本発明のステップは、異なる順序で行うことが可能であり、望ましい結果を実現することができる。当業者は、本明細書で説明される本発明に様々な変更および修正を加えることが明らかである。これらの変形例は、本明細書で説明されるものの範囲および主旨から逸脱しない限り、本明細書に包括されることが意図されている。添付の特許請求の範囲によって包括される本発明の範囲から逸脱することなく、形式および細部における様々な変更がなされ得ることが当業者によって理解される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15A】

【図15B】

【図15C】

【図15D】

【図15E】

【図15F】

【図16】

【図17】