ホーム > 特許ランキング > グイデント リミテッド
知財求人 - 知財ポータルサイト「IP Force」
特開2022-51540車両、ロボットまたはドローンを遠隔監視するシステムおよび方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022051540
(43)【公開日】2022-03-31
(54)【発明の名称】車両、ロボットまたはドローンを遠隔監視するシステムおよび方法
(51)【国際特許分類】
G08G 1/09 20060101AFI20220324BHJP
G05D 1/00 20060101ALI20220324BHJP
G05D 1/02 20200101ALI20220324BHJP
G08G 5/00 20060101ALI20220324BHJP
G16Y 10/40 20200101ALI20220324BHJP
G16Y 20/20 20200101ALI20220324BHJP
G16Y 40/30 20200101ALI20220324BHJP
【ＦＩ】
G08G1/09 V
G05D1/00 B
G05D1/02 P
G05D1/02 H
G08G5/00 A
G16Y10/40
G16Y20/20
G16Y40/30
【審査請求】未請求
【請求項の数】27
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2021149433
(22)【出願日】2021-09-14
(31)【優先権主張番号】17/025,152
(32)【優先日】2020-09-18
(33)【優先権主張国・地域又は機関】US
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＡＮＤＲＯＩＤ
２．Ｌｉｎｕｘ
３．ＷＩＮＤＯＷＳ
４．ＭＡＴＬＡＢ
５．ＱＲコード
(71)【出願人】
【識別番号】521405595
【氏名又は名称】グイデント リミテッド
(74)【代理人】
【識別番号】100114775
【弁理士】
【氏名又は名称】高岡 亮一
(74)【代理人】
【識別番号】100121511
【弁理士】
【氏名又は名称】小田 直
(74)【代理人】
【識別番号】100202751
【弁理士】
【氏名又は名称】岩堀 明代
(74)【代理人】
【識別番号】100191086
【弁理士】
【氏名又は名称】高橋 香元
(72)【発明者】
【氏名】クリフォード エム．グロス
(72)【発明者】
【氏名】ハラルド ブラウン
(72)【発明者】
【氏名】ガブリエル カスタネダ
(72)【発明者】
【氏名】マイケル ジェー．トランク
【テーマコード（参考）】
5H181
5H301
【Ｆターム（参考）】
5H181AA01
5H181AA26
5H181AA27
5H181BB04
5H181BB12
5H181BB13
5H181BB17
5H181BB18
5H181BB20
5H181CC02
5H181CC03
5H181CC04
5H181CC11
5H181CC12
5H181CC14
5H181FF04
5H181FF13
5H181FF27
5H181LL01
5H181LL02
5H181LL04
5H181LL07
5H181LL08
5H181LL09
5H181MB07
5H181MB08
5H181MC17
5H181MC19
5H301AA03
5H301AA06
5H301AA10
5H301CC03
5H301CC04
5H301DD07
5H301DD17
5H301LL02
5H301LL08
(57)【要約】 （修正有）
【課題】自律走行車に関する安全性および消費者の満足度を向上させるのに役立ち、また完全な自律性に向けたギャップを埋めるのに役立つ方法およびシステムを提供する。
【解決手段】複数の自律装置のそれぞれは制御装置を含む。制御モジュール、プロセッサ、制御センター装置、および制御装置は、複数の自律装置のそれぞれに配置された１つまたは複数の収集装置を使用してデータを収集し、複数の自律装置に配置された制御装置を使用して収集済みデータを処理し、複数の自律装置が制御センター装置による制御なしに自律的に動作している場合に、処理済みデータを制御装置から制御センター装置に転送し、制御装置から転送された処理済みデータに応じて人工知能を訓練するように構成される。
【選択図】図１
【解決手段】複数の自律装置のそれぞれは制御装置を含む。制御モジュール、プロセッサ、制御センター装置、および制御装置は、複数の自律装置のそれぞれに配置された１つまたは複数の収集装置を使用してデータを収集し、複数の自律装置に配置された制御装置を使用して収集済みデータを処理し、複数の自律装置が制御センター装置による制御なしに自律的に動作している場合に、処理済みデータを制御装置から制御センター装置に転送し、制御装置から転送された処理済みデータに応じて人工知能を訓練するように構成される。
【選択図】図１
【特許請求の範囲】
【請求項1】
遠隔監視制御装置であって、
マイクロプロセッサベースのコンピュータボードを含むコントローラと、
無線通信装置と、
センサおよびカメラと、
前記遠隔監視制御装置が設置されている自律ユニットおよび遠隔監視制御センターと通信するように構成された遠隔制御モジュールと、を含み、
前記遠隔制御モジュールは、インシデントリスクレベルに基づいて、前記自律ユニットから自律制御を選択的に移すように構成されている、
遠隔監視制御装置。
マイクロプロセッサベースのコンピュータボードを含むコントローラと、
無線通信装置と、
センサおよびカメラと、
前記遠隔監視制御装置が設置されている自律ユニットおよび遠隔監視制御センターと通信するように構成された遠隔制御モジュールと、を含み、
前記遠隔制御モジュールは、インシデントリスクレベルに基づいて、前記自律ユニットから自律制御を選択的に移すように構成されている、
遠隔監視制御装置。
【請求項2】
前記センサおよび前記カメラから受信した入力データを処理するように構成された人工知能アプリケーション層をさらに備え、
前記人工知能アプリケーション層は、前記センサおよび前記カメラから受信した前記入力データに基づいてインシデントリスクレベルを計算および更新し、前記遠隔制御モジュールは、前記インシデントリスクレベルに基づいて前記自律ユニットの自律モードを無効にし、前記自律ユニットを制御するように構成される、請求項１に記載の遠隔監視制御装置。
前記人工知能アプリケーション層は、前記センサおよび前記カメラから受信した前記入力データに基づいてインシデントリスクレベルを計算および更新し、前記遠隔制御モジュールは、前記インシデントリスクレベルに基づいて前記自律ユニットの自律モードを無効にし、前記自律ユニットを制御するように構成される、請求項１に記載の遠隔監視制御装置。
【請求項3】
前記人工知能アプリケーション層が、コンピュータビジョンモデルを実行し、前記コンピュータビジョンモデルを前記入力データと組み合わせて、前記インシデントリスクレベルを計算し、更新する、請求項１に記載の遠隔監視制御装置。
【請求項4】
前記自律ユニットのキャビンの温度および湿度を感知するように構成されたキャビンセンサをさらに備える、請求項１に記載の遠隔監視制御装置。
【請求項5】
ビデオ処理モジュールを用いて自律ユニットのキャビン内に位置する人間のユーザとの双方向のビデオおよび音声通信を提供するように構成されたヒューマンインターフェースをさらに備える、請求項１に記載の遠隔監視制御装置。
【請求項6】
ＧＰＳ回路およびテキストメッセージを送受信するように構成されたＳＭＳブロックのうちの少なくとも１つをさらに備える、請求項１に記載の遠隔監視制御装置。
【請求項7】
前記センサおよび前記カメラが、ライダ、レーダ、および超音波センサからなる群から選択された少なくとも１つを含み、
前記カメラは、ビデオストリームのライブ画像を提供するように構成される、
請求項１に記載の遠隔監視制御装置。
前記カメラは、ビデオストリームのライブ画像を提供するように構成される、
請求項１に記載の遠隔監視制御装置。
【請求項8】
前記遠隔監視制御装置および前記自律ユニットの少なくとも一方の遠隔測定データを収集するように構成されたホスト計算層をさらに備える、請求項１に記載の遠隔監視制御装置。
【請求項9】
プロセッサを含む遠隔監視制御装置を提供すること、
前記遠隔監視制御装置を遠隔監視制御センターと通信するように構成すること、
前記遠隔監視制御装置を、複数の自律装置のそれぞれに配置されたセンサおよびカメラを含む１つまたは複数の収集装置と通信するように構成すること、
前記１つまたは複数の収集装置から収集済みデータを受信すること、
前記収集済みデータを処理すること、
前記複数の自律装置が前記遠隔監視制御センターによる制御なしに自律的に動作している場合に、前記処理済みデータを前記遠隔監視制御センターに転送すること、
前記処理済みデータに応じて人工知能を訓練すること、
前記人工知能に基づいて、前記遠隔監視制御センターによる制御なしに動作する複数の自律装置のインシデントリスクレベルを決定すること、および
前記インシデントリスクレベルに基づいて、前記複数の自律装置のうち少なくとも１つの制御を前記遠隔監視制御センターに移すこと、
を含む方法。
前記遠隔監視制御装置を遠隔監視制御センターと通信するように構成すること、
前記遠隔監視制御装置を、複数の自律装置のそれぞれに配置されたセンサおよびカメラを含む１つまたは複数の収集装置と通信するように構成すること、
前記１つまたは複数の収集装置から収集済みデータを受信すること、
前記収集済みデータを処理すること、
前記複数の自律装置が前記遠隔監視制御センターによる制御なしに自律的に動作している場合に、前記処理済みデータを前記遠隔監視制御センターに転送すること、
前記処理済みデータに応じて人工知能を訓練すること、
前記人工知能に基づいて、前記遠隔監視制御センターによる制御なしに動作する複数の自律装置のインシデントリスクレベルを決定すること、および
前記インシデントリスクレベルに基づいて、前記複数の自律装置のうち少なくとも１つの制御を前記遠隔監視制御センターに移すこと、
を含む方法。
【請求項10】
前記処理済みデータを前記遠隔監視制御装置から前記遠隔監視制御センターに転送することが、商業用のパブリックまたはプライベートのＬＴＥまたは５Ｇネットワークを介して高帯域幅の音声およびビデオストリームを転送することを含む、請求項９に記載の方法。
【請求項11】
前記複数の自律装置が、車両、ロボット、およびドローンからなる群から選択され、
前記複数の自律装置のそれぞれに配置された前記１つまたは複数の収集装置が、センサおよび撮像装置からなる群から選択される、
請求項９に記載の方法。
前記複数の自律装置のそれぞれに配置された前記１つまたは複数の収集装置が、センサおよび撮像装置からなる群から選択される、
請求項９に記載の方法。
【請求項12】
前記処理済みデータを前記遠隔監視制御センターに転送することが、センサデータ、メタデータ、ビデオデータ、および音声データをストリーミングすることを含む、請求項９に記載の方法。
【請求項13】
前記遠隔監視制御装置が、
前記収集済みデータを継続的に収集、処理、分析して、前記処理済みデータを生成し、
前記遠隔監視制御装置モジュールのコンピュータビジョンプログラムを使用することによって物体および環境を認識する、
ように構成された人工知能層を有する遠隔監視制御装置モジュールを含む、請求項９に記載の方法。
前記収集済みデータを継続的に収集、処理、分析して、前記処理済みデータを生成し、
前記遠隔監視制御装置モジュールのコンピュータビジョンプログラムを使用することによって物体および環境を認識する、
ように構成された人工知能層を有する遠隔監視制御装置モジュールを含む、請求項９に記載の方法。
【請求項14】
遠隔監視制御システムであって、
不揮発性メモリに格納されたコンピュータ実行可能なコードを含む、データ分析モジュールおよび人工知能モジュールを含む制御モジュール、および
プロセッサを含むマイクロプロセッサの少なくとも一部を有し、複数の自律装置に配置された遠隔監視制御装置と通信するように構成された遠隔監視制御センターを含み、
前記制御モジュールおよび前記遠隔監視制御センターが、
前記遠隔監視制御装置から処理済みデータを受信し、前記処理済みデータは、前記複数の自律装置が前記遠隔監視制御センターによる制御なしに自律的に動作している場合に、前記複数の自律装置で収集されたデータに基づいて、前記遠隔監視制御装置によって処理されたものであり、
前記遠隔監視制御装置から受信した前記処理済みデータに応じて人工知能を訓練し、
前記人工知能に基づいて、前記遠隔監視制御センターによる制御なしに動作している複数の自律装置のインシデントリスクレベルを決定し、そして
前記インシデントリスクレベルに基づいて、前記複数の自律装置のうちの少なくとも１つの制御を行う、
ように構成される、遠隔監視制御システム。
不揮発性メモリに格納されたコンピュータ実行可能なコードを含む、データ分析モジュールおよび人工知能モジュールを含む制御モジュール、および
プロセッサを含むマイクロプロセッサの少なくとも一部を有し、複数の自律装置に配置された遠隔監視制御装置と通信するように構成された遠隔監視制御センターを含み、
前記制御モジュールおよび前記遠隔監視制御センターが、
前記遠隔監視制御装置から処理済みデータを受信し、前記処理済みデータは、前記複数の自律装置が前記遠隔監視制御センターによる制御なしに自律的に動作している場合に、前記複数の自律装置で収集されたデータに基づいて、前記遠隔監視制御装置によって処理されたものであり、
前記遠隔監視制御装置から受信した前記処理済みデータに応じて人工知能を訓練し、
前記人工知能に基づいて、前記遠隔監視制御センターによる制御なしに動作している複数の自律装置のインシデントリスクレベルを決定し、そして
前記インシデントリスクレベルに基づいて、前記複数の自律装置のうちの少なくとも１つの制御を行う、
ように構成される、遠隔監視制御システム。
【請求項15】
前記インシデントリスクレベルは、前記自律装置の１つに配置された前記遠隔監視制御装置の１つによって転送された前記処理済みデータの画像センサデータによって視覚的に符号化された物体が、前記自律装置の少なくとも別の装置の動作に影響を与えるか否かを判断する基準に基づいて決定される、請求項１４に記載の遠隔監視制御システム。
【請求項16】
前記制御モジュールおよび前記遠隔監視制御センターが、前記インシデントリスクレベルを所定の安全リスクレベル閾値と比較することに基づいて、インシデントリスクマージンを決定するようにさらに構成される、請求項１５に記載の遠隔監視制御システム。
【請求項17】
前記所定の安全リスクレベル閾値は、前記人工知能が、テスト遠隔監視制御装置によってキャプチャされた過去のトレーニングデータに応じて構成されることによって予め決定される、請求項１６に記載の遠隔監視制御システム。
【請求項18】
前記制御モジュールおよび前記遠隔監視制御センターは、前記インシデントリスクマージンが所定の安全最小リスクマージンよりも小さいという判定に応答して、
１つまたは複数の遠隔監視制御装置にデータを転送することによって、前記所定の安全最小リスクマージンよりも小さいインシデントリスクマージンで動作している前記複数の自律装置のうちの少なくとも１つの制御を行い、そして
前記複数の自律装置のうちの前記少なくとも１つの動作を制御することによって、前記複数の自律装置のうちの前記少なくとも１つの速度ベクトルを変化させることにより、前記複数の自律装置のうちの２つ以上の間の分離距離を増加させる、
ようにさらに構成される、請求項１６に記載の遠隔監視制御システム。
１つまたは複数の遠隔監視制御装置にデータを転送することによって、前記所定の安全最小リスクマージンよりも小さいインシデントリスクマージンで動作している前記複数の自律装置のうちの少なくとも１つの制御を行い、そして
前記複数の自律装置のうちの前記少なくとも１つの動作を制御することによって、前記複数の自律装置のうちの前記少なくとも１つの速度ベクトルを変化させることにより、前記複数の自律装置のうちの２つ以上の間の分離距離を増加させる、
ようにさらに構成される、請求項１６に記載の遠隔監視制御システム。
【請求項19】
前記制御モジュールおよび前記遠隔監視制御センターが、
前記複数の自律装置のうちの前記少なくとも１つの動作を制御することに基づいて、前記複数の自律装置の安全インシデントリスクレベルを回復させ、
前記複数の自律装置の安全インシデントリスクレベルが回復した場合に、前記複数の自律装置のうちの前記少なくとも１つに制御を戻す、
ようにさらに構成される、請求項１８に記載の遠隔監視制御システム。
前記複数の自律装置のうちの前記少なくとも１つの動作を制御することに基づいて、前記複数の自律装置の安全インシデントリスクレベルを回復させ、
前記複数の自律装置の安全インシデントリスクレベルが回復した場合に、前記複数の自律装置のうちの前記少なくとも１つに制御を戻す、
ようにさらに構成される、請求項１８に記載の遠隔監視制御システム。
【請求項20】
前記安全インシデントリスクレベルを回復させることは、インシデントリスクを前記所定の安全最小リスクマージンと比較することに基づいて、前記安全インシデントリスクレベルを決定することを含む、請求項１９に記載の遠隔監視制御システム。
【請求項21】
前記制御モジュールおよび前記遠隔監視制御センターは、前記インシデントリスクマージンが所定の安全最小リスクマージンと同等以上であるという判定に応答して、前記インシデントリスクレベルが安全であると判定するようにさらに構成される、請求項１６に記載の遠隔監視制御システム。
【請求項22】
プロセッサを含む遠隔監視制御センターを提供すること、
複数の自律装置に配置された遠隔監視制御装置と通信するように前記遠隔監視制御センターを構成すること、
前記遠隔監視制御装置から処理済みデータを受信することであって、前記処理済みデータは、前記複数の自律装置が前記遠隔監視制御センターによる制御なしに自律的に動作している場合に、前記複数の自律装置で収集されたデータに基づいて、前記遠隔監視制御装置によって処理される、受信すること、
前記遠隔監視制御装置から受信した前記処理済みデータに応じて人工知能を訓練すること、
前記人工知能に基づいて、前記遠隔監視制御センターによる制御なしに動作している前記複数の自律装置のインシデントリスクレベルを決定すること、および
前記インシデントリスクレベルに基づいて、前記複数の自律装置のうち少なくとも１つの制御を行うこと、
を含む方法。
複数の自律装置に配置された遠隔監視制御装置と通信するように前記遠隔監視制御センターを構成すること、
前記遠隔監視制御装置から処理済みデータを受信することであって、前記処理済みデータは、前記複数の自律装置が前記遠隔監視制御センターによる制御なしに自律的に動作している場合に、前記複数の自律装置で収集されたデータに基づいて、前記遠隔監視制御装置によって処理される、受信すること、
前記遠隔監視制御装置から受信した前記処理済みデータに応じて人工知能を訓練すること、
前記人工知能に基づいて、前記遠隔監視制御センターによる制御なしに動作している前記複数の自律装置のインシデントリスクレベルを決定すること、および
前記インシデントリスクレベルに基づいて、前記複数の自律装置のうち少なくとも１つの制御を行うこと、
を含む方法。
【請求項23】
前記処理済みデータに応じて訓練された前記人工知能に基づいてインシデントを特定することに応答して、前記遠隔監視制御装置からの前記処理済みデータに基づいて、前記インシデントに関与する１つまたは複数のアイテムおよび前記１つまたは複数のアイテムへの損傷を決定することをさらに含む、請求項２２に記載の方法。
【請求項24】
前記人工知能に基づいて、前記複数の自律装置のうちの少なくとも１つが、前記インシデントが発生した第１の場所から第２の場所に自律的に安全に移動可能であるかどうかを判断すること、および
前記複数の自律装置のうちの前記少なくとも１つが、前記第１の場所から前記第２の場所に自律的に安全に移動可能であると判断された場合に、前記複数の自律装置のうちの前記少なくとも１つを前記第１の場所から前記第２の場所に自律的に移動させることを開始すること、
をさらに含む、請求項２３に記載の方法。
前記複数の自律装置のうちの前記少なくとも１つが、前記第１の場所から前記第２の場所に自律的に安全に移動可能であると判断された場合に、前記複数の自律装置のうちの前記少なくとも１つを前記第１の場所から前記第２の場所に自律的に移動させることを開始すること、
をさらに含む、請求項２３に記載の方法。
【請求項25】
前記１つまたは複数のアイテムが、自律装置、乗客、歩行者、動物、物理的物体、およびそれらの組み合わせの群から選択された少なくとも１つを含む、請求項２３に記載の方法。
【請求項26】
前記インシデントリスクレベルが安全である場合に、前記遠隔監視制御センターのユーザインターフェース上に第１の指標を表示すること、
前記インシデントリスクレベルが危険である場合に、前記遠隔監視制御センターの前記ユーザインターフェース上に第２の指標を表示すること、および
前記インシデントリスクレベルが安全でない場合に、前記遠隔監視制御センターの前記ユーザインターフェース上に第３の指標を表示すること、
をさらに含む、請求項２２に記載の方法。
前記インシデントリスクレベルが危険である場合に、前記遠隔監視制御センターの前記ユーザインターフェース上に第２の指標を表示すること、および
前記インシデントリスクレベルが安全でない場合に、前記遠隔監視制御センターの前記ユーザインターフェース上に第３の指標を表示すること、
をさらに含む、請求項２２に記載の方法。
【請求項27】
前記第１の指標が、人間が見ることができる緑色の指標であり、
前記第２の指標が、人間が見ることができる黄色の指標であり、
前記第３の指標が、人間が見ることができる赤色の指標である、
請求項２６に記載の方法。
前記第２の指標が、人間が見ることができる黄色の指標であり、
前記第３の指標が、人間が見ることができる赤色の指標である、
請求項２６に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、遠隔監視および制御のためのシステムおよび方法に関し、特に、車両、ロボットまたはドローンの遠隔監視および制御のためのシステムおよび方法に関する。
【背景技術】
【0002】
自律走行車（Ａｕｔｏｎｏｍｏｕｓ ｖｅｈｉｃｌｅ：ＡＶ）、ロボットまたはドローンは、様々なコンピュータ処理システムを使用して、自律ユニットの動作を制御する。自律走行車は、パイロット、ドライバ、または乗客などのオペレータからの初期入力を利用して自律運転システムを機能させ、その後、ＳＡＥ Ｊ３０１６のレベル３からレベル４または５の自律モード（車両は本質的に自力で操縦する）から、人間のオペレータが自律モードを完全に無効にしてユニットを完全に手動で制御することを許容するまでの様々な程度の人間の入力を伴うモードで動作し得、すべてのモードは２つの極端なモード間にあり、断続的な人間の入力および制御の可能性を備えている。自律走行車、ロボット、またはドローンは、車、歩行者、ならびにそれらのそれぞれの近接性および特性を検出するためのセンサ、カメラ、ソナー、およびレーダを含み得る。それらはまた、ナビゲーションに関して全地球測位システム（ＧＰＳ）に依存し得、そして、２つのＮＦＣ対応デバイスが相互に通信することを可能にする、ＮＦＣピアツーピアを含むセンサまたは近距離無線通信（ＮＦＣ）に基づくその他の形式の通信技術に依存して、最大２０～３０ｃｍの距離までその場限りの方法で情報を交換し得る。物体の検出および識別、物体に関連する情報、ならびにナビゲーション能力は、自律ユニットの安全な動作に寄与する。
【0003】
ＡＩを使用する自律ユニットの安全性については不確実性が高く、これはレベル４またはレベル５のＡＶの大規模な適応を妨げる。一部の管轄区域の規制基準では、事故またはトラブルが発生した場合に、バックアップの人間のオペレータがＡＶを制御することが義務付けられている。これらのオペレータは、車内にいる場合もあれば、離れた場所にいる場合もある。
【0004】
自律走行車を動作するためのいくつかの方法およびシステムの実装は、衝突を回避しようとする一方で、操縦に伴う瞬間的な意思決定からドライバを解放するように適合された衝突回避システムを含む。例えば、フロリダＡ＆Ｍ大学によって提出された米国特許第９，４２９，９４３号明細書は、認知および制御技術に基づいて車両を制御するように適合された人工知能バレット（ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ ｖａｌｅｔ：ＡＩＶ）システムおよび方法を記載している。人工知能バレット（ＡＩＶ）システムは、車両が車両のユーザまで航行することを可能にする現在のモバイルテクノロジー、ファジーロジック、およびニューラルネットワークを含むことができる。自律走行車がＡＩＶの制御下で動作している間、ＡＩＶシステムは、例えば、人間、動物、他の車などの物体、またはそれらのいずれかの組み合わせとの衝突が、予期しない状況のために避けられない場合を認識することができる。このような決定に応答して、回避アクションを開始して、衝突をインテリジェントに回避するか、最悪の場合、避けられない衝突に直面した場合に衝突する物体を決定することができる。衝突後、衝突回避システムは緊急サービスへの呼び出しを開始し、自律ユニットを安全に駐車することができる。いくつかの実装では、傷害が発生していない場合、緊急サービスに連絡することなく車両を駐車することができる。しかしながら、米国特許第９，４２９，９４３号明細書は、複数の独立した自律ユニットを監視し、独立した自律ユニットの１つまたは複数を制御してユニットの動作を支配し、安全な動作が回復された場合に１つまたは複数の独立した自律ユニットに制御を戻すことの複雑さに特に対処していない。
【0005】
自律ユニットの動作の安全性は改善されてきたが、危険な自律ユニットの安全性の未達の可能性が依然としてある。いくつかの自律ユニットのシナリオでは、安全でない状態は、センサの誤動作、またはソフトウェアが不測の状況（例えば、共用道路での歩行者を巻き添えにした行き詰まった状況）を解決できないこと、ドライバがいないことに起因する安全上の懸念、および乗客がドライバまたは案内係に情報または支援を求めるための選択肢がないことに起因し得る。
【0006】
いくつかの自律走行車の実施は、自律走行車に関する安全性および消費者の満足度を向上させるのに役立ち、また完全な自律性に向けたギャップを埋めるのに役立つ方法およびシステムを含む。例えば、フロリダ国際大学評議会（Ｔｈｅ Ｆｌｏｒｉｄａ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｕｎｉｖｅｒｓｉｔｙ Ｂｏａｒｄ ｏｆ Ｔｒｕｓｔｅｅｓ）が提出した米国特許第９，９６４，９４８号明細書は、自律走行車を支援するための方法およびシステムを記載している。自律走行車を支援する方法は、感覚入力を有する自律走行車を提供すること、および自律走行車との双方向通信を有する遠隔制御センターを提供することを含むことができる。自律走行車は、その感覚入力情報を制御センターに送信し、制御センターは、制御情報を自律走行車に送信することができる。しかしながら、米国特許第９，９６４，９４８号明細書は、複数の独立した自律ユニットを監視し、危険な動作安全状態が検出されたときに車両の動作を支配するために独立した自律ユニットの１つまたは複数を制御し、安全な動作が回復したときに１つまたは複数の独立した自律ユニットに制御を戻すことの複雑さについて特に対処していない。
【0007】
自律走行車を安全に運転できるように設計するための多大な努力にもかかわらず、衝突、事故、およびその他の緊急事態などのインシデントが発生する場合がある。衝突、事故、およびその他の緊急事態は、車両が自律的に動作している場合、さらなる問題をもたらす可能性がある。
【0008】
自動化された車両システムは、安全シャットダウンおよび緊急応答および事故報告モードも含む。例えば、米国特許第８，８７４，３０１号明細書は、セットアップモード、アクティブドライブモード、安全シャットダウンモード、および緊急応答モードを有する自律操縦制御を備えた車両を記載している。
【0009】
このような衝突回避および事故報告システムは、関与した車両、乗客、歩行者、動物、および物体の数、およびそれらに対する傷害および損傷の性質のより正確な評価を含む、インシデント後に発生した傷害および損傷の性質のより正確な評価を行うことによって改善され得る。
【0010】
いくつかの自動化車両の例には、事故または緊急時に自動化車両の制御を乗客または緊急応答者に移すための方法およびシステムが含まれる。例えば、Ｇｕｉｄｅｎｔ，Ｌｔｄ．が提出した米国特許第１０，６９９，５８０号明細書は、事故または緊急時に自動化車両の制御を乗客または緊急応答者に移すための方法およびシステムを記載している。このシステムは、衝突またはインシデントの回避、および改善された事故または緊急報告を行う自動化車両の人工知能システムと組み合わせて使用することができる。分散型情報システム（ｄｉｓｔｒｉｂｕｔｅｄ ｉｎｆｏｒｍａｔｉｏｎ ｓｙｓｔｅｍ：ＤＩＳＳ）は、単一の自律走行車内の複数の分散されたセンサから情報を受信し、複数の分散されたセンサから受信した情報に基づいて事故の存在を判断し、前記センサから受信した情報に基づいて、インシデントに関与する車両、乗客、歩行者、動物、および物体と、インシデントに関与する車両、乗客、歩行者、動物、および物体の傷害および損傷の特性とを判断し、インシデントが発生した場所から第２の場所に自律走行車を安全に自律的に移動できるかどうかを判断し、第２の場所に自律走行車を安全に移動できる場合、第２の場所に自律走行車を自律的に移動させ、車両を駐車する。米国特許第１０，６９９，５８０号明細書に記載されている方法およびシステムは、新規のセンサフュージョン技術を用いて、異なるセンサタイプから受信した異なる情報タイプを統合して、インシデントの存在を判断し、関与する車両、人物、動物、または物体を判断し、単一の自律走行車を安全に移動できるかどうかを判断し得る。しかしながら、米国特許第１０，６９９，５８０号明細書は、複数の独立した自律ユニットを監視し、危険な動作安全状態が検出されたときに独立した自律ユニットの１つまたは複数を制御してユニットの動作を支配し、安全な動作が回復したときに１つまたは複数の独立した自律ユニットに制御を戻すことの複雑さについては特に対処していない。
【0011】
自動化車両が自律的に安全に駐車できない可能性があり、緊急応答者に通知する必要がある可能性がある場合があるかもしれない。例えば、自律運転車両が、他の車が走行する交通量の多い交差点や高速道路で事故に遭った場合、さらなる損害や負傷を防ぐために、自律運転車両を停止させる必要があるかもしれない。また、自律走行車両を、交通が進行できるように自律的または手動で邪魔にならないように移動させ、自律走行車両の乗客、他のドライバ、および歩行者の安全を確保する必要があるかもしれない。
【0012】
いくつかの自律走行車の実装は、自律走行車に遮蔽された物体を提示するシナリオにおいて、安全性を向上させるために車両間でデータを共有する方法およびシステムを含む。例えば、ミシガン州立大学の評議員会によって提出されたＰＣＴ特許出願ＰＣＴ／ＵＳ１９／１４５４７号は、その開示内容が、センサフュージョン技術を用いて複数の自律走行車間で共有されるセンサデータに基づく分散型物体検出を記載している。また、ＰＣＴ／ＵＳ１９／１４５４７号は、物体検出に基づいて複数の自律走行車の１つまたは複数を自動的に制動するように構成された衝突回避システムを記載している。しかしながら、ＰＣＴ／ＵＳ１９／１４５４７号は、複数の独立した自律ユニットを監視し、危険な動作安全状態が検出されたときに独立した自律ユニットの１つまたは複数を制御してユニットの動作を支配し、安全な動作が回復したときに１つまたは複数の独立した自律ユニットに制御を戻すことの複雑さについては特に対処していない。
【0013】
ＰＣＴ特許出願ＰＣＴ／ＵＳ２０２０／０２１１７１号は、自律走行車の遠隔監視および制御のためのＡＩ方法およびシステムを記載している。しかしながら、ＰＣＴ／ＵＳ２０２０／０２１１７１号は、そのような方法およびシステムを実装する自律走行車、ロボット、またはドローンの装置および処理回路に対する本明細書に記載された改良を記載していない。また、ＰＣＴ／ＵＳ２０２０／０２１１７１号は、１つまたは複数の自律走行車、ロボット、またはドローンが遠隔制御されるべき時を予測して遠隔監視制御センターに通信し、必要に応じて制御を行い、安全な動作が回復した場合に１つまたは複数の独立した自律ユニットに制御を戻すためにそのような装置が実装できる方法に対する本明細書に記載された改良を記載していない。
【0014】
本セクションは、本開示に関連する背景情報を提供するが、出願人は先行技術であることを認めていない。
【0015】
本開示の例示的に開示されたシステムおよび方法は、上述した欠点および／または既存技術の他の欠点の１つまたは複数を克服することに向けられる。
【発明の概要】
【0016】
１つの例示的な態様において、本開示はあるシステムに向けられる。このシステムは、不揮発性メモリに格納されたコンピュータ実行可能コードを含む制御モジュールと、プロセッサと、制御センター装置と、制御センター装置から遠隔的に動作する複数の自律装置とを含み、複数の自律装置のそれぞれは制御装置を含む。制御モジュール、プロセッサ、制御センター装置、および制御装置は、複数の自律装置のそれぞれに配置された１つまたは複数の収集装置を使用してデータを収集し、複数の自律装置に配置された制御装置を使用して収集されたデータを処理し、複数の自律装置が制御センター装置による制御なしに自律的に動作している場合に、制御装置から制御センター装置に処理済みデータを転送し、制御装置から転送された処理済みデータに応じて人工知能を訓練し、人工知能に基づいて、制御センター装置による制御なしで動作する複数の自律装置のインシデントリスクレベルを決定し、インシデントリスクレベルに基づいて、複数の自律装置のうちの少なくとも１つの制御を行うように構成される。
【0017】
別の態様において、本開示はある方法に向けられる。この方法は、制御センター装置を提供することと、制御センター装置から遠隔的に動作する複数の自律装置を提供することであって、複数の自律装置のそれぞれは制御装置を含む、提供することと、複数の自律装置のそれぞれに配置された１つまたは複数の収集装置を用いてデータを収集することと、複数の自律装置に配置された制御装置を用いて収集されたデータを処理することと、複数の自律装置が制御センター装置による制御なしに自律的に動作している場合に、制御装置から制御センター装置に処理済みデータを転送することとを含む。また本方法は、制御装置から転送された処理済みデータに応じて人工知能を訓練することと、人工知能に基づいて、制御センター装置による制御なしで動作する複数の自律装置のインシデントリスクレベルを決定することと、インシデントリスクレベルに基づいて、複数の自律装置のうちの少なくとも１つの制御を行うこととを含む。
【0018】
本明細書で以下に詳細に記載するように、自律ユニット（車両、地上または空中のドローン、またはロボット）の例示的な実施形態は、遠隔制御および監視のための方法システムおよび自律ユニットの組み込まれたシステムである。
【0019】
少なくともいくつかの例示的な実施形態では、少なくとも１つの処理装置を含み、自律ユニットに設置された汎用スマート遠隔監視制御装置（Ｇｅｎｅｒｉｃ Ｓｍａｒｔ Ｒｅｍｏｔｅ Ｍｏｎｉｔｏｒ ａｎｄ Ｃｏｎｔｒｏｌ Ｄｅｖｉｃｅ：Ｇ－ＳＲＭＣＤ）を提供することができ、Ｇ－ＳＲＭＣＤは、自律走行車、ロボット、またはドローンの様々なセンサからデータを受信し；インシデントリスクレベル（ＩＲＬ）を決定し、自律ユニットに支援が提供されるかどうか、電子通信で遠隔監視制御センター（ＲＭＣＣ）に報告するようにプログラムおよび構成される（例えば、ＲＭＣＣのエージェントは、いつでも、自律走行車、ロボット、ドローンの制御を行うことができる）。例えば、Ｇ－ＳＲＭＣＤは、ＲＭＣＣに制御を移し得る。
【0020】
別の実施形態では、Ｇ－ＳＲＭＣＤは、自律走行車、ロボット、またはドローンで事故が発生した場合に、緊急応答者に連絡するようにさらにプログラムおよび構成することができる。
【0021】
別の実施形態では、Ｇ－ＳＲＭＣＤは、自律走行車、ロボット、またはドローンの搭載カメラを人工知能法と組み合わせて使用して、遠隔支援を予測するようにさらにプログラムおよび構成することができる。
【0022】
別の実施形態では、Ｇ－ＳＲＭＣＤは、自律走行車、ロボットまたはドローンが動けない行き詰まった状況を検出し、ＲＭＣＣに支援を要求するようにさらにプログラムおよび構成することができる。
【0023】
別の実施形態では、Ｇ－ＳＲＭＣＤは、自律走行車、ロボット、またはドローンを操縦している間に問題を検出および予測し、自律ユニットを遠隔操作している間に遠隔オペレータにレポートを表示するように、さらにプログラムおよび構成することができる。
【0024】
別の実施形態では、Ｇ－ＳＲＭＣＤは、インシデントを検出してＲＭＣＣに報告するようにさらにプログラムおよび構成することができる。
【0025】
別の実施形態では、Ｇ－ＳＲＭＣＤは、ＲＭＣＣのオペレータから命令された場合に、自律走行車、ロボット、またはドローンに設置された複数のカメラまたは他のセンサからのビデオストリームをＲＭＣＣベースのワークステーションに伝送するように、さらにプログラムおよび構成することができる。
【0026】
別の実施形態では、Ｇ－ＳＲＭＣＤは、自律走行車、ロボット、またはドローンの警報および監視システムを監視するように、さらにプログラムおよび構成することができる。自律走行車では、Ｇ－ＳＲＭＣＤは、電子制御ユニット（ＥＣＵ）または先進運転支援システム（ＡＤＡＳ）などの複数の装置からデータを取得することができる。
【0027】
別の実施形態では、Ｇ－ＳＲＭＣＤは、自律走行車、ロボット、またはドローンの様々なセンサからの受信データに基づいてＲＭＣＣに警報を報告するように、さらにプログラムおよび構成することができる。
【0028】
別の実施形態では、Ｇ－ＳＲＭＣＤは、ＲＭＣＣまたは他の固定された場所に拠点を置くサーバへの永続的な通信チャネルを（安全で暗号化されたＴＣＰベースのネットワークプロトコルであるトランスポート・レイヤー・セキュリティ「ＴＬＳ」または安全なウェブソケット「ＷＳＳ」を使用して、モバイルデータネットワーク仮想回路を介して）確立および維持するように、さらにプログラムおよび構成することができる。
【0029】
別の実施形態では、Ｇ－ＳＲＭＣＤは、記憶された認証情報を提示することによって自身を認証し、その存在、位置、およびステータスをリモートサーバおよびＲＭＣＣに登録するように、さらにプログラムおよび構成することができる。
【0030】
別の実施形態では、Ｇ－ＳＲＭＣＤは、ＲＭＣＣへの冗長な無線データリンク接続を処理するようにさらにプログラムおよび構成することができる。
【0031】
別の実施形態では、Ｇ－ＳＲＭＣＤは、ＧＰＳ自律走行車、ロボット、またはドローンの位置をＲＭＣＣに報告するようにさらにプログラムおよび構成することができる。
【0032】
別の実施形態では、Ｇ－ＳＲＭＣＤは、ＲＭＣＣから自律走行車、ロボット、またはドローンを遠隔的に制御および操縦するようにさらにプログラムおよび構成することができる。
【0033】
別の実施形態では、Ｇ－ＳＲＭＣＤは、ドライブバイワイヤプロトコルなどの複数の車両、ロボット、またはドローンの制御プロトコルをサポートするように、さらにプログラムおよび構成することができる。
【0034】
別の実施形態では、Ｇ－ＳＲＭＣＤは、自律走行車、ロボット、またはドローンのキャビン内の温度および湿度レベルを取得するように、さらにプログラムおよび構成することができる。この情報は、Ｇ－ＳＲＭＣＤが動作条件内にあるかどうか、および乗客（いる場合）が快適な環境にいるかどうかを判断するのに役立ち得る。
【0035】
別の実施形態では、Ｇ－ＳＲＭＣＤは、ＳＭＰＰまたは他のプロトコルを介してＳＭＳを送受信するようにさらにプログラムおよび構成することができる。Ｇ－ＳＲＭＣＤは、Ｇ－ＳＲＭＣＤがＲＭＣＣとの接続を喪失した場合、または他の問題を検出した場合に、構成可能な管理者のリストに通知することができる。ＳＭＳ通信により、管理者は、Ｇ－ＳＲＭＣＤに特定のデータまたはステータスおよび動作レポートを要求することができる。
【0036】
別の実施形態では、Ｇ－ＳＲＭＣＤは、ＲＭＣＣへの無線データ接続のための４Ｇ ＬＴＥ、プライベートワイヤレスまたは５Ｇモデムおよびアンテナをサポートするように、さらにプログラムおよび構成することができる。少なくともいくつかの例示的な実施形態では、制御装置（例えば、Ｇ－ＳＲＭＣＤ）から制御センター装置（例えば、ＲＭＣＣ）への処理済みデータの転送は、ＬＴＥまたは５Ｇセルラーネットワーク規格のいずれかを使用して、商業的なパブリックまたはプライベートのモバイルデータネットワークのいずれかを介して、高帯域幅の音声およびビデオストリームを転送することを含み得る（ＲＭＣＣ監視ワークステーションへのビデオフレームの到着のために可能な限り低い待ち時間を確保することを目的としている）。
【0037】
別の実施形態では、Ｇ－ＳＲＭＣＤは、ＲＭＣＣへの接続が喪失した場合を検出し、インシデントリスクレベルに基づいて、Ｇ－ＳＲＭＣＤは、継続するか、またはＲＭＣＣへの接続が再確立されるまで安全に駐車するように自律ユニットに指示し得るように、さらにプログラムおよび構成することができる。
【0038】
別の実施形態では、Ｇ－ＳＲＭＣＤは、無線ネットワークの弱い信号を検出し、その領域を避けて自律ユニットの経路を再設定するようにＲＭＣＣに提案するように、さらにプログラムおよび構成することができる。
【0039】
別の実施形態では、Ｇ－ＳＲＭＣＤは、任意の自律走行車、ロボット、またはドローンの操縦ユーザの警告メッセージまたはアラートを遠隔オペレータに転送するように、さらにプログラムおよび構成することができる。それらのアラートには、読み取り中の歩行者の検出、自律ユニットが制限速度を超えていること、前方の車両が突然停止したこと、および／または任意の他の適切な状況が含まれ得る。
【0040】
別の実施形態では、Ｇ－ＳＲＭＣＤは、車両、ロボット、またはドローンの自律モードを無効にし、ＲＭＣＣエージェントを自律ユニットの制御に従事させるように、さらにプログラムおよび構成することができる。
【0041】
別の実施形態では、Ｇ－ＳＲＭＣＤは、自律走行車、ロボット、またはドローンにおいてキャプチャされたデータ、およびＲＭＣＣとのいずれかのデータ通信を安全化かつ暗号化するように、さらにプログラムおよび構成することができる。
【0042】
別の実施形態では、Ｇ－ＳＲＭＣＤは、インシデントリスクレベル（ＩＲＬ）を計算して更新するために、自律走行車、ロボット、またはドローン内のＲＭＣＣセンサデータ、および様々なコンピュータビジョンアルゴリズムの結果を送信するように、さらにプログラムおよび構成することができる。
【0043】
別の実施形態では、Ｇ－ＳＲＭＣＤは、ソフトウェア更新が利用可能かどうかを検証し、自律ユニットが動作していないときにそれらをインストールするように、さらにプログラムおよび構成することができる。また、Ｇ－ＳＲＭＣＤは、データおよびソフトウェア更新を送信または受信するために、プッシュ通知を受信することができる。
【0044】
別の実施形態では、Ｇ－ＳＲＭＣＤは、データ分析および人工知能モデルを訓練する目的のために、データ、ビデオおよび音声を収集するように、さらにプログラムおよび構成することができる。
【0045】
別の実施形態では、Ｇ－ＳＲＭＣＤは、道路上の自律走行車、ロボット、またはドローンの動作を監視し、データを収集および分析して、自律ユニットがいつ遠隔支援を提供されるかを予測するように、さらにプログラムおよび構成することができる。自律ユニット製造業者のレビューのために、同じ情報を自律ユニット製造業者と共有してもよい。
【0046】
別の実施形態では、Ｇ－ＳＲＭＣＤは、Ｇ－ＳＲＭＣＤのセンサまたは自律走行車、ロボット、またはドローンのセンサを使用して速度制限標識を読み取り、スクールゾーンの点滅光を検出して自律ユニットの速度を監視し、自律ユニットが速度制限を順守していない場合、ＲＭＣＣに報告し、遠隔制御を要求するように、さらにプログラムおよび構成することができる。
【0047】
別の実施形態では、Ｇ－ＳＲＭＣＤは、車内のドライバが自律走行車の自律モードを越えて制御を行うときの状況を記録するように、さらにプログラムおよび構成することができる。この情報は、自律走行車メーカーが人工知能アルゴリズムを微調整するために貴重な情報となり得る。
【0048】
別の実施形態では、Ｇ－ＳＲＭＣＤは、自律走行車、ロボット、またはドローンの人工知能アルゴリズムデータを統合するように、さらにプログラムおよび構成することができる。データの統合は、Ｇ－ＳＲＭＣＤがインシデントリスクレベルを更新し、自律ユニットが支援を要求しているか、支援を必要とする可能性がある場合にＲＭＣＣに通知することを支援し得る。
【0049】
別の実施形態では、Ｇ－ＳＲＭＣＤは、ＲＭＣＣに音声およびビデオを提供することができる、車両の乗客（いる場合）のためのユーザインターフェースを含むように、さらにプログラムおよび構成することができる。
【0050】
別の実施形態では、Ｇ－ＳＲＭＣＤは、自律走行車の乗客のためのパニックボタンまたは緊急ボタンを提供し、Ｇ－ＳＲＭＣＤをＲＭＣＣ内のエージェントに接続するように、さらにプログラムおよび構成することができる。
【0051】
別の実施形態では、Ｇ－ＳＲＭＣＤは、自律走行車、ロボット、またはドローンがゲート付きコミュニティに到着したときに支援するように、さらにプログラムおよび構成することができる。ＲＭＣＣのエージェントに、守衛係または自動化キオスクと話をさせたり、エントリーコードを表示させたりすることが適切であるかもしれない。
【0052】
別の実施形態では、Ｇ－ＳＲＭＣＤは、自律走行車、ロボット、またはドローンが自律ユニットの動作マップから外れた場合を検出するように、さらにプログラムおよび構成することができる。このシナリオでは、ＲＭＣＣ内の遠隔オペレータは、自律ユニットを制御および操縦することができる。
【0053】
別の実施形態では、Ｇ－ＳＲＭＣＤは、自律ユニットが目的地から１００メートル離れている場合に、ＲＭＣＣに通知するようにさらにプログラムおよび構成することができる。これは、自律ユニットが配達を行う場合に支援を必要とする場合、またはその通りから離れる必要がある場合である。
【0054】
本明細書には、本開示の例示的な実施形態の図面集が添付されている。当業者であれば、これらは単なる例示的な実施形態であり、追加および代替の実施形態が存在し得るが、本明細書に記載された本開示の趣旨の範囲内にあることを理解するであろう。
【図面の簡単な説明】
【0055】
【図1】例示的に開示された遠隔監視制御センター（ＲＭＣＣ）システムおよび例示的に開示された遠隔制御エージェントワークステーションとインターネット接続された、いくつかの例示的に開示された人工知能（ＡＩ）自律ユニットのグラフィカルな表示である。ＲＭＣＣおよびエージェントワークステーションは、独立して支配される自律ユニットの動作の安全性を監督し、ＲＭＣＣによって認識された安全でない動作に応答して、安全な動作を回復するために自律ユニットの制御を行い、安全な自律ユニットの動作が回復したという判断に応答して、自律ユニットに制御を戻すように構成することができる。ＲＭＣＣは、認証／認可／課金（ＡＡＡ）、車両位置およびセッションの相互接続アルゴリズム、データ分析ツール、サイバーセキュリティソフトウェア、データ処理能力、およびオンデマンド操作のための高度な人工知能（ＡＩ）ソフトウェア層などのコンポーネントを含む。
【図6】例示的なＲＭＣＣによって複数の自律ユニットを監督し、インシデントリスクを監視するための例示的なプロセスを示すフローチャートである。
【図7】例示的なＲＭＣＣによって複数の自律ユニットのインシデントリスクを軽減するための例示的なプロセスを示すフローチャートである。
【図8】本開示の少なくともいくつかの例示的な実施形態による、例示的なコンピューティングデバイスの概略図である。
【図9】本開示の少なくともいくつかの例示的な実施形態による、例示的なネットワークの概略図である。
【発明を実施するための形態】
【0056】
少なくともいくつかの例示的な実施形態では、例示的な開示されたシステムは、自律走行車、ロボット、またはドローンのための汎用スマート遠隔監視制御装置（Ｇ－ＳＲＭＣＤ）であり得る。例示的に開示されたシステムおよび方法は、自律走行車、ロボット、またはドローンの遠隔制御を提供し得る。少なくともいくつかの例示的な実施形態では、例示的に開示されたシステムおよび方法は、自律走行車、ロボット、またはドローンに配置されて、ユニットが遠隔支援を受ける場合に、ユニットを遠隔監視および制御することができる装置を提供し得る。
【0057】
本明細書には、安全性を向上させるために、自律ユニットと、自律ユニットから離れた監視制御センターとの間で、人工知能、視覚センサフュージョン、およびデータ共有に基づいて、独立して動作する自律走行車、ドローン、およびロボットを遠隔監視および制御することに関連する様々な実施形態が開示されている。次に、図面に示されているような例示的な実施形態の記載を詳細に参照するが、ここで、同様の参照番号は、複数の図を通して同様の部品を示している。
【0058】
例示的に開示された自律ユニットは、車両のユーザおよび自律ユニットの周囲に位置する人々に利便性および安全性を提供し得る、歩行者検知および回避などの機能を提供し得る。例示的に開示された自律ユニットのためのＡＩシステムは、車両がその目的地まで航行することを可能にし得る、現在のモバイル技術、機械学習、ディープネットワーク、および／またはニューラルネットワークを含み得る。例示的に開示された自律ユニットがＡＩ制御下で動作している間、ＡＩシステムは、例えば、人間、動物、別の車、物体、またはそれらの任意の組み合わせなどの物体との衝突が、不測の事態により起こり得る、または可能性が高い場合を認識することができる。このような判断に応答して、衝突をインテリジェントに回避するための回避行動を開始することができる。このシステムは、「プラグイン＆プレイ」アイテムとして、あるいは後付けで実装することができ、または新しいユニットに組み込むことができる。このシステムは、自律ユニットを駐車するために拡張することができ、また、ユーザが車両に乗っているかどうかに関わらず目的地まで航行するためにユーザによって使用することができ、車両は、ユーザの助けをほとんどまたは実質的に必要とせずにそれを行うことができる。特定の自律ユニットについては、荷物の配送やその他の実用的なサービスに限定され得るとき、乗客もドライバもいない場合がある。
【0059】
図１は、例示的に開示されたＡＩシステムに含まれる様々な要素を図示したものである。例えば、ＡＩシステム１００は、自律走行車、ドローン、およびロボット１０１ａ、１０１ｂ、および１０１ｃと、ＡＩシステムの様々な特徴を実装する処理回路およびアプリケーションソフトウェアを含み得る遠隔監視制御センター（ＲＭＣＣ）１３０などの制御構成要素とを含み得る。図示の例では、ＲＭＣＣ１３０は、ＡＩベースの自律ユニットの遠隔監視および制御サービスのためのオンデマンド操作を提供するサイバーセキュリティおよびデータ処理実装と統合されたデータ分析およびＡＩソフトウェアモジュールを含み得る。図１の例示的な実施形態は、３つの自律ユニット１０１ａ、１０１ｂ、および１０１ｃを示している。また例えば、実施形態のＡＩシステム１００およびＲＭＣＣ１３０は、より多数の同様の自律ユニットを遠隔監視および制御し得る。少なくともいくつかの例示的な実施形態では、処理回路は、マイクロプロセッサの少なくとも一部として実装することができる。処理回路は、１つまたは複数の回路、１つまたは複数のマイクロプロセッサ、マイクロコントローラ、特定用途向け集積回路、専用ハードウェア、デジタルシグナルプロセッサ、マイクロコンピュータ、中央処理装置、フィールドプログラマブルゲートアレイ、プログラマブルロジックデバイス、ステートマシン、スーパーコンピュータ、またはそれらの任意の組み合わせを使用して実装されてもよい。さらに他の実施形態では、処理回路は、１つまたは複数の処理回路内で実行可能な１つまたは複数のソフトウェアモジュールを含み得る。処理回路は、処理回路にデータ通信機能を実行させる命令および／またはコードを格納するように構成されたメモリをさらに含み得る。
【0060】
ユニット１０１ａ、１０１ｂ、および１０１ｃは、例えば、無線ローカルエリアネットワーク（ＷＬＡＮ）、プライベートネットワークおよび／またはセルラーネットワークなどの無線ネットワーク１２０を介して通信するために、自律ユニットにそれぞれ設置された装置１１０ａ、１１０ｂ、および１１０ｃを含み得る。装置１１０ａ、１１０ｂ、および１１０ｃは、無線通信をサポートするための処理回路（例えば、送信機、受信機、および／または送受信機）を含むことができる。例えば、装置１１０ａ、１１０ｂ、および１１０ｃは、例えば、第３世代（３Ｇ）、第４世代（４Ｇ）、ロングタームエボリューション（ＬＴＥ）、第５世代（５Ｇ）、または他のデータ通信規格などのセルラーデータ接続などのセルラー通信をサポートし得る。ユニット１０１ａ、１０１ｂ、および１０１ｃ、および／または装置１１０ａ、１１０ｂ、および１１０ｃは、例えば、ＩＥＥＥ８０２．１１ａ／ｂ／ｇ／ｎや、８０２．１１ａｘとしても知られているＷｉ－Ｆｉ６などの無線通信をサポートし得る。また、ユニット１０１ａ、１０１ｂ、１０１ｃ、および装置１１０ａ、１１０ｂ、１１０ｃの処理回路は、地理的な位置を決定するためのＧＰＳ機能をサポートすることができる。ＡＩシステム１００は、遠隔オペレータデバイスのプラットフォームまたはオペレーティングシステム（例えば、Ａｎｄｒｏｉｄ、ｉＯＳ、Ｌｉｎｕｘ、ｗｅｂＯＳ、Ｗｉｎｄｏｗｓ、その他）、および／または、ユニットのタイプ、メーカー、モデル、および製造業者に依存しないアプリケーションを使用することができる。ＲＭＣＣ１３０との通信は、無線ネットワーク１２０に通信可能に結合されたネットワーク１２０（例えば、インターネット、プライベートネットワーク、ＶＰＮ、その他）を介して実施することができる。ＲＭＣＣ１３０は、例えば、１つまたは複数のサーバなどの処理システム上のウェブサービスとして実装することができる。そのようなウェブサービスは、プライベートデータセンターまたはパブリックデータセンターから使用することができる。ＲＭＣＣ１３０は、データフュージョン技術を採用して、ユニット１０１ａ、１０１ｂ、１０１ｃおよび装置１１０ａ、１１０ｂ、１１０ｃのセンサからアクセス可能なデータを複合データに結合し得、ＲＭＣＣは、このように形成された複合データからＡＩベースの学習に基づいて判断を行い得る。
【0061】
インテリジェントなインシデント回避は、自律ユニット１０１ａ、１０１ｂ、および１０１ｃのそれぞれの経路に潜在的に存在する物体を識別することができ、それによって、ユニット１０１ａ、１０１ｂ、および１０１ｃが潜在的な傷害および／または損害を最小限に抑えることを可能にする。インテリジェントなインシデント報告は、ユニット１０１ａ、１０１ｂ、１０１ｃのいずれかが、例えば、他の車両に触れられたり、侵入されたり、および／または当てられたりした場合に、ＲＭＣＣ１３０を介して遠隔オペレータに通知することができる。インシデントが検出されると、１０１ａ、１０１ｂ、１０１ｃまたは１１０ａ、１１０ｂ、１１０ｃのカメラは、その周囲を撮影し、および／または検出時の周辺の音声および／またはビデオを記録し得る。
【0062】
遠隔キャビンコントロールは、遠隔制御オペレータ１４０が、ユニット１０１ａ、１０１ｂ、および１０１ｃの設定を制御すること、および／または条件を決定することを可能にすることができる。例えば、遠隔制御オペレータは、窓、サン／ムーンルーフ、ドア、トランク、サイドドアミラー、ライト（例えば、キャビンライト、エクステリアヘッドライト、その他）、シートポジションおよび／または温度、室内気候制御（例えば、空調、暖房、デフォッガーおよび／または湿度などの他のモデル固有の設定）、メディアデバイス（例えば、標準および／またはＳｉｒｉｕｓＸＭラジオ、コンパクトディスクプレーヤ、ＤＶＤプレーヤ）を遠隔操作することが可能であり得、および／または任意のユニット１０１ａ、１０１ｂ、１０１ｃを遠隔始動することが可能であり得る。制御および／またはステータス情報は、無線ネットワーク１２０を介して、および／またはＲＭＣＣ１３０を介して、ユニット１０１ａ、１０１ｂ、または１０１ｃと遠隔制御オペレータとの間で直接通信されてもよく、このＲＭＣＣ１３０は、各ユニット１０１ａ、１０１ｂ、および１０１ｃのための予め定められた制御設定を記憶してもよい。
【0063】
また、Ｇ－ＳＲＭＣＤ１１０ａ、１１０ｂ、１１０ｃは、スマートインシデント予測システム（ＳＩＰＳ）をサポートしている。インシデントは、自律ユニット１０１ａ、１０１ｂまたは１０１ｃへの衝突またはその他の破壊または損傷を含むことができる。インシデント予測システムは、自律ユニットがユニット１０１ａ、１０１ｂ、または１０１ｃを損傷する可能性のある人間、動物、または他の物体と衝突しようとしているかどうかを判断するために使用される、人工知能法と組み合わせたコンピュータビジョンモデルであり得る。システムは、自律ユニットが遠隔制御されている場合には、起こりうるインシデントイベントを音響および視覚アラームで遠隔操作コントローラに通知し得、そうでない場合には、直ちに停止するようにユニットに指示し、インシデントをＲＭＣＣに通知し得る。
【0064】
スマートインシデント予測システムはまた、自律ユニットが困難に遭遇することが歴史的に示されている、またはユニットが損傷を受ける可能性がある道路状況または交通状況を検出し得る。それらの道路状況や交通状況は、例えば、持ち運び式のバリア、バリケード、交通誘導する警察官、水浸しの道路、開いたマンホール、くぼみ、雪で覆われた道路、道を塞いでいる救急車またはパトカー、車の事故、道を塞いでいる人々、道に倒れた木または柱、その他を含み得る。少なくともいくつかの例示的な実施形態において、システムは、自律ユニットが遠隔制御されている場合には、起こりうるインシデントイベントを音響および視覚アラームで遠隔操作コントローラに通知し、そうでない場合には、直ちに停止するようにユニットに指示し、インシデントをＲＭＣＣに通知し得る。
【0065】
インシデント予測システムは、Ｇ－ＳＲＭＣＤ１１０ａ、１１０ｂ、および１１０ｃのセンサからのセンサデータを利用し得る。また、目的を達成するために、例えばカメラ、超音波センサ、ラインフォローセンサ、サーマルセンサを含む、自律ユニット１０１ａ、１０１ｂ、１０１ｃ内のセンサデータを利用し得る。使用され得る他のセンサには、例えば、レーザ距離計および他の距離センサ、ライダ、ステレオカメラ、オーディオセンサ、ジャイロメータ、赤外線センサ、感光センサ、ＧＰＳユニット、トラッキングシステム、および／または他の適切なシステムが含まれる。センサからデータを収集した後、インシデント予測システムは、ニューラルネットワーク、および／またはディープ・コンボリューショナル・ニューラルネットワークなどの人工知能技術を採用して物体を認識し、自律ユニットを停止させてＲＭＣＣにイベントを警告するかどうかを判断し得る。少なくともいくつかの例示的な実施形態では、自律ユニット１０１ａ、１０１ｂ、および１０１ｃとセンサ１１０ａ、１１０ｂ、および１１０ｃから収集されたデータは、ＲＭＣＣ１３０に送信されてＲＭＣＣ１３０によって処理され得る。いくつかのシナリオでは、スマートインシデント予測システムは、Ｇ－ＳＲＭＣＤ１１０ａ、１１０ｂ、または１１０ｃの処理回路（例えば、コンピュータシステム、スーパーコンピュータ、マイクロコントローラ、マイクロプロセッサ、グラフィックスプロセッシングユニット（ＧＰＵ）および／または外部メモリ）によって実装することができる。様々な例では、スマートインシデント予測システムは、ＲＭＣＣ１３０の処理回路（例えば、コンピュータシステム、スーパーコンピュータ、マイクロコントローラ、マイクロプロセッサ、ＧＰＵ、および／または外部メモリ）によって実装することもできる。
【0066】
車線検知には感光センサを使用できる一方、例えば、歩行者、動物、氷、およびよどんだ水を含む、ユニットの進路上にある物体の熱測定にはサーマルセンサを使用することができる。また、スマートインシデント予測システムは、物体を回避するために、超音波センサ、カメラ、レーザ距離計を使用し、距離情報を確認するそれらの能力を使用し得る。インシデント回避システムは、物体、道路標識、信号機およびその他のボディを適切に検出する車両の能力に依存する。結果として、独立した視覚システムを、Ｇ－ＳＲＭＣＤ１１０ａ、１１０ｂ、および１１０ｃによって使用して、固定または移動する生物または無生物を含む危険やインシデントを検出して回避することができる。視覚システムからのデータは、処理のために、例えば、マイクロコントローラ、マイクロプロセッサ、またはＧＰＵなどの処理回路に供給することができるステレオビジョン品質の画像データを収集するために使用されてもよい。視覚システムは、例えば、ステレオカメラ、赤外線カメラ、マイクロコントローラ、マイクロプロセッサ、ＧＰＵ、および接続部品を含み得る。また、様々な場所の車両１０１ａ、１０１ｂ、および１０１ｃを記録するための位置データを収集してもよい。車両１０１ａ、１０１ｂ、および１０１ｃに搭載されたＧＰＳユニットは、緊急時には、位置データを取得するために使用されてもよい。
【0067】
物体認識において、ディープニューラルネットワークが採用されてもよい。ディープニューラルネットワークは、高度に相互接続された処理要素を用いて、脳を模倣するように導き出された計算方法を利用し得、これにより、学習能力が与えられ、微妙なまたは複雑なパターンを認識して理解することができる。ニューラルネットワークは、その構造と機能において生物学的ネットワークに類似した数学的モデルを含み得る。ニューラルネットワークは、学習段階の間にネットワークを介して送信されるデータに基づいて、ネットワークの構造を変化させることができる適応システムである。ネットワークは、学習段階の間に学習した後、関連するデータが与えられたときに、将来の結果を予測するために使用することができる。
【0068】
少なくともいくつかの例示的な実施形態において、例示的な開示システムは、洗練された機械学習および／または人工知能技術を利用して、データセットおよび変数を準備し、クラウドコンピューティングクラスタおよび／または人工知能ニューラルネットワークを使用してそのようなデータを分析し得る他の分析ツール（例えば、予測分析ツール）に提出し得る。例示的に開示されたシステムは、例えば、予測分析を実行するクラウドコンピューティングクラスタを含み得る。例えば、例示的なニューラルネットワークは、予測された結果を決定するために、複数の追加および／または他の処理ノードと相互接続および／またはネットワーク接続され得る複数の入力ノードを含み得る。例示的な人工知能プロセスは、データセットのフィルタリングおよび処理、無関係な変数、不変の変数、または余分な変数を統計的に排除することによってデータセットを単純化する処理、または基礎変数のセットの融合である新たな変数の生成、および／または、少なくとも層化されたサンプリング技術を使用してデータセットを訓練データセット、テストデータセット、および検証データセットに分割するための処理を含み得る。例示的な開示システムは、回帰モデル、ツリーベースのアプローチ、ロジスティック回帰、ベイズ法、深層学習、およびニューラルネットワークを含み得る予測アルゴリズムおよびアプローチを、単独およびアンサンブルベースの両方で利用し得、最終的な予測は、テストおよび検証データセットに対する実装によって判断された、最も高い精度と安定性を提供するモデル／構造に基づいて行うことができる。
【0069】
ディープニューラルネットワークは、スマートインシデント予測システムによって採用され、人間の物体を、例えばそれらの異なる形状、異なる身体構造、異なる姿勢、異なるポーズ、異なる光の強さ、異なる民族性、異なる活動、車両の領域における異なる動きおよび／または速度、および／または道路における異なる位置に基づいて識別することができる。動物などの人間以外の生物は、例えば、それらの異なる形状、異なる身体構造、異なる色、異なる活動、および／または車両のエリア内の異なる動きおよび／または速度に基づいて識別することができる。また、人間と動物の組み合わせは、例えば、それらの異なる形状、異なる身体構造、異なる色、異なる活動、および／または車両のエリア内における異なる動きおよび／または速度に基づいて識別することができる。車両の近傍にある生物および無生物の両方の上記特性を学習するディープニューラルネットワークに基づいて、スマートインシデント予測システムは、識別に対する応答を調整することができる。
【0070】
また、ＲＭＣＣ１３０は、インシデント危険レベルを低下させるために、犯罪および／または破壊行為が報告されたエリアを回避するためのルート代替案を提案する。Ｇ－ＳＲＭＣＤ１１０ａ、１１０ｂ、および１１０ｃは、その要求を受信し、計画された目的地に到達するための代替ルートを取るように自律走行車にその要求を押し付けることができる。人工知能の手法に基づくＲＭＣＣは、犯罪や破壊行為が報告されたエリアを回避するように、あるいは、進行中の火災、浸水した道路、警察によってブロックされた道路、進行中の行進または抗議活動、その他など、進行中の問題が報告されたエリアを回避するように学習する。頻繁に安全に移動した経路は、システムによって学習されてよい。
【0071】
遠隔制御オペレータは、例えば、事故などのインシデント後に、自律運転が無効または安全でない場合に、自律ユニット１０１ａ、１０１ｂ、および１０１ｃの手動運転を可能にすることを、Ｇ－ＳＲＭＣＤ１１０ａ、１１０ｂ、および１１０ｃを介して要求することができる。
【0072】
図２は、ＡＩシステム１００（図１）において、Ｇ－ＳＲＭＣＤ１１０ａ、１１０ｂ、１１０ｃに実装され、ＲＭＣＣ１３０に実装され得るスマートインシデント防止システムの一例を示すフローチャートである。２０３で開始し、スマートインシデント防止システムは、自律ユニットが自律的に走行している間アクティブである。ＲＭＣＣ１３０と自律ユニット１０１ａ、１０１ｂ、１０１ｃの処理回路はセンサを監視し、Ｇ－ＳＲＭＣＤ１１０ａ、１１０ｂ、１１０ｃは車両１０１ａ、１０１ｂ、１０１ｃに搭載されたセンサを監視し、２０６で物体が検出されたかどうかを判断する。物体が自律ユニット１０１ａ、１０１ｂ、１０１ｃのいずれかの経路内に検出された場合、またはいずれかの自律ユニット１０１ａ、１０１ｂ、１０１ｃの経路内に入る可能性がある場合、視覚システムが２０９で１つまたは複数の画像を処理して、それが生物であるかどうかを判断する。また、視覚システムは、交通状況または道路状況を認識し、その重大性に応じて、Ｇ－ＳＲＭＣＤ１１０ａ、１１０ｂ、１１０ｃは、２１２において、遠隔支援が適切であるかどうかをＲＭＣＣ１３０に報告する。支援が提供される場合、自律ユニットは２１５で安全に駐車、停止される。その後、Ｇ－ＳＲＭＣＤ１１０ａ、１１０ｂ、１１０ｃは、２３３でＲＭＣＣ１３０にインシデントの報告と遠隔制御の要求を行う。２１８において検出された物体が生物でない場合、車両１０１ａ、１０１ｂ、または１０１ｃは、２０３において動作を継続する前に、２２１において利用可能な物体回避アルゴリズムで動作することができる。
【0073】
２１８において生物が検出されたと判断された場合、スマートインシデント回避システムは、２２４においてシナリオを処理し、車両１０１ａ、１０１ｂ、または１０１ｃが自律ユニットを減速すべきか、または直ちに停止すべきかを判断する。２２４において、減速することで衝突を回避できると判断された場合、２２７において、衝突を回避できるユニット１０１ａ、１０１ｂ、または１０１ｂは、２０３に戻る前に、２３０において減速するか、または物体から離れるように操縦するように指示される。衝突を回避するために即時停止が適切である場合、２３３において、自律ユニットを停止させる。スマートインシデント防止システムは、２３６においてＲＭＣＣ１３０に通知して遠隔制御を要求し、車両１０１ａ、１０１ｂ、または１０１ｃが自律的に安全に継続できるか、または自律ユニットの場所で緊急サービスを提供するかを判断することができる。２３９で事故が検出された場合、２４５で適切な緊急サービスに連絡する。緊急サービスにインシデントを報告した後、２４８で自律ユニット１０１ａ、１０１ｂ、または１０１ｃは安全に駐車され、遠隔制御オペレータによって停止される。事故がない場合、自律モードは２０３に戻るために２４２において自律ユニット１０１ａ、１０１ｂ、または１０１ｃにおいて有効にされる。いくつかの実装では、車両１０１ａ、１０１ｂ、または１０１ｃは、傷害が発生していない場合、２３６でＲＭＣＣに通知することなく２３３で駐車してもよい。車両を２４８で安全に駐車することができない場合、緊急要員が到着するまで車両を停止することができる、または車両１０１ａ、１０１ｂ、または１０１ｃはドライバ、乗客、または緊急応答者によって手動で安全に移動させることができる。
【0074】
ＡＩシステム１００はまた、スマートインシデント報告システム（ＳＩＲＳ）をサポートし得る。スマートインシデント報告システムは、自律ユニットが駐車またはアイドリングしている間、あるいは移動中であっても、外部のエンティティが自律ユニット１０１ａ、１０１ｂ、または１０１ｃ（例えば、図１に示された）のボディまたは他の部分に手を加えたかどうかを検出し得る。音響および視覚センサを使用して、スマートインシデント報告システムは、接触に関与した当事者を記録することができ、自律ユニットに損傷を与える可能性があることをユーザまたは所有者に知らせるインシデントレポートが、ユーザまたは所有者に送信されてもよい。それはまた、関与した車両、乗客、および歩行者、動物、および物体の数と、それらの怪我や損害の特性についての評価を提供することができる。
【0075】
スマートインシデント報告システムを作動させることができる活動には、例えば、他の車両または物体が自律ユニット１０１ａ、１０１ｂ、または１０１ｃのいずれかの部分に当たること、人間および／または動物が自律ユニット１０１ａ、１０１ｂ、または１０１ｃに触れ、および／または損傷すること、自律ユニット１０１ａ、１０１ｂ、または１０１ｃに対する破壊行為、自律ユニット１０１ａ、１０１ｂ、または１０１ｃのいずれかの窃盗、および／または自律ユニット１０１ａ、１０１ｂ、または１０１ｃのいずれかに異物が落下することが含まれる。センサは、カメラ（モノおよび／またはステレオ）、レーザ距離計、ライダ、ジャイロメータ、赤外線センサ、サーマルセンサ、イメージセンサ、その他を含むことができる。Ｇ－ＳＲＭＣＤ１１０ａ、１１０ｂ、１１０ｃ内の処理回路（例えば、コンピュータまたは他の処理装置）は、センサを制御および監視し得る。
【0076】
インシデントが検出されると、データをセンサから収集することができ、スマートインシデント報告システムは、データを評価することによって、ユニットの周囲でどのような種類の活動が起こっているかを判断する。スマートインシデント報告システムは、ＲＭＣＣ１３０を介して、活動の種類（例えば、車両が触られたとき、侵入されたとき、および／または他の車に当てられたとき）を遠隔制御モニタに通知し得る。その後、遠隔制御モニタは、視覚、音響、およびサーマルセンサからのデータを見て、当局に通報するか、自律ユニット１０１ａ、１０１ｂ、または１０１ｃのパニックボタンを押すか、または何もしないか、またはそれらの応答の任意の組み合わせを行うかを決定し得る。スマートインシデント報告システムは、ＲＭＣＣ１３０によって承認された場合、インシデントについて当局に自動的に連絡するように構成されてもよい。ＲＭＣＣ管理者は、どの活動を通知したいか、またはどの活動を、自律ユニットを管理する他の人々に同様に通知したいかを定めることができる。例えば、報告は、強盗の試み、車両への異物の干渉、他の車が車両に衝突する状況、またはそれらの任意の組み合わせの報告を含み得る。
【0077】
ＲＭＣＣ１３０またはＧ－ＳＲＭＣＤ１１０ａ、１１０ｂ、１１０ｃのいずれかによってインシデントが検出されると、関与する自律ユニット１０１ａ、１０１ｂ、または１０１ｃおよびＧ－ＳＲＭＣＤ１１０ａ、１１０ｂ、１１０ｃの視覚システムは、周囲の写真および／またはビデオ記録を撮るように指示されてもよく、音響システムは、検出または干渉の時間前後に生じた音を記録する。インシデントの検出から収集されたデータは、記録され、分析され、インシデントレポートを作成するために使用することができる。このレポートは、遠隔制御オペレータインターフェース１４０に送信することができる。インシデントレポートは、犯人の可能性が高い人物に関するインシデントのスクリーンショットおよび／またはビデオを、インシデント中に設置マイクロフォンを使用して記録された音声とともに含むことができる。インシデントレポートはまた、緊急応答者の電子レポートプラットフォームに送信することができる。
【0078】
図３は、ＡＩシステム１００（図１）の自律ユニット１０１ａ、１０１ｂ、１０１ｃ、およびＧ－ＳＲＭＣＤ１１０ａ、１１０ｂ、１１０ｃ、およびＲＭＣＣ１３０に実装可能なスマートインシデント報告システムの一例を示すフローチャートを示している。３０３で開始して、スマートインシデント報告システムは、ユニットが駐車位置にある間、静止している間、走行している間、またはアイドリングの間アクティブである。Ｇ－ＳＲＭＣＤ１１０ａ、１１０ｂ、１１０ｃは、自律ユニット１０１ａ、１０１ｂ、または１０１ｃのいずれかの動き、または自律ユニット１０１ａ、１０１ｂ、または１０１ｃのいずれかとの衝突に起因する衝撃を検出し得る。３０６で活動またはインシデントが検出された場合、スマートインシデント報告システムは３０９でセンサデータの記録を開始する。センサデータは、例えば、１分などの所定の間隔または他の所望の間隔で記録されてもよい。
【0079】
活動の種類は、記録されたデータおよび自律ユニットシステムからの他の指標に基づいて、３１２で事故報告システムによって決定される。例えば、ビデオ画像は、事故が個人、動物、他の車両、または他の物体によって引き起こされたかどうかを識別するために使用することができる。同じく、動きおよび／または衝撃の特徴を利用して、事故の種類を判断してもよい。３１５において活動が継続する場合、スマートインシデント報告システムは、３１８において、自律ユニットの事前に定義されたプリファレンスを閲覧することにより、識別された活動の種類についてＲＭＣＣに知らせるかどうかを決定する。知らせる場合、スマートインシデント報告システムは、３２１で通知を送信することにより、ＲＭＣＣ１３０に活動の種類を通知する。スマートインシデント報告システムは、３０９でセンサデータの記録を続ける。３１５で活動が停止した場合、３２４でインシデントレポートが作成され、３２７で遠隔制御コントローラのオペレータインターフェース１４０を介して、または電子メール、ＳＭＳ、またはプライベートにアクセスされたウェブアプリケーションを介してＲＭＣＣに送信される。インシデントレポートのフォーマットは、ＲＭＣＣによって予め定めることができ、記録されたセンサデータの少なくとも一部を含み得る。
【0080】
図４は、本開示の様々な実施形態に従って図１のＡＩシステム１００の様々な部分を実装するために使用され得る、例示的な処理装置４００の概略ブロック図を示している。処理装置４００は、例えば、車両１０１ａ、１０１ｂ、および１０１ｃ、Ｇ－ＳＲＭＣＤ１１０ａ、１１０ｂ、および１１０ｃ、遠隔制御オペレータインターフェース１４０、および／またはＲＭＣＣ１３０（図１に図示）をサポートするサーバのいずれかに含まれるコンピュータおよび／またはマイクロプロセッサを含み得る。処理装置４００は、例えば、ローカルインターフェース４０９に結合されたプロセッサ４０３、メモリ４０６、およびデータストア４１２を有する、複数のプロセッサ回路を含み得る。このため、処理装置４００は、例えば、少なくとも１つのコンピュータ、サーバ、クラウドサーバ、ＩｏＴデバイス、組み込みシステム、電子制御ユニット（ＥＣＵ）、スマートフォンまたは同様のデバイスなどの処理回路を含み得る。ローカルインターフェース４０９は、例えば、アドレス／制御バスが付随するデータバス、または他の適切なバス構造を含み得る。処理装置４００は、例えば、ユーザインターフェースなどの生成されたグラフィックスをレンダリングするためのディスプレイと、例えば、ユーザの入力を可能にするためのキーパッドまたはタッチスクリーンなどの入力インターフェースとを含むことができる。さらに、処理装置４００は、例えば、車両１０１ａ、１０１ｂ、および１０１ｃのいずれか、および／またはＲＭＣＣ１３０をサポートする装置に含まれる通信インターフェースなど、他の装置と処理装置４００が通信可能に結合することを可能にする通信インターフェース（図示せず）を含むことができる。通信インターフェースは、例えば、Ｂｌｕｅｔｏｏｔｈまたは他の無線周波数（ＲＦ）接続などの１つまたは複数の無線接続、および／または１つまたは複数の有線接続を含み得る。
【0081】
メモリ４０６に格納されているのは、データと、プロセッサ４０３によって実行可能ないくつかのコンポーネントの両方であり得る。特に、メモリ４０６に格納され、プロセッサ４０３によって実行可能なものは、ＡＩシステムアプリケーション４１５、オペレーティングシステム４１８、および／または他のアプリケーション４２１であり得る。ＡＩシステムアプリケーション４１５は、自律ユニットの操作、監視、および制御、例えば、自律的な乗客の検索、自律的な駐車、インテリジェントな衝突回避、インテリジェントな事故報告、段階的なインテリジェントルート学習、リモートキャビン制御、同時複数の自律走行車の視覚センサフュージョン、同時複数の自律ユニットの監視、同時複数の自律走行車の制御、および／または分散型情報共有をサポートする人工知能および機械学習技術に基づくアプリケーションを含むことができる。また、理解できるように、メモリ４０６に格納され、プロセッサ４０３によって実行可能な他のアプリケーションが存在し得る。本明細書で考察されるいずれかのコンポーネントがソフトウェアの形態で実装される場合、例えば、Ｃ、Ｃ＋＋、Ｃ＃、Ｏｂｊｅｃｔｉｖｅ Ｃ、Ｊａｖａ（登録商標）、ＪａｖａＳｃｒｉｐｔ（登録商標）、Ｐｅｒｌ、ＰＨＰ、Ｖｉｓｕａｌ Ｂａｓｉｃ（登録商標）、Ｐｙｔｈｏｎ（登録商標）、Ｒｕｂｙ、Ｄｅｌｐｈｉ（登録商標）、Ｆｌａｓｈ（登録商標）、Ｍａｔｌａｂ、または他のプログラミング言語およびそのライブラリなど、多数のプログラミング言語のうちのいずれか１つを採用することができる。
【0082】
多数のソフトウェアコンポーネントは、メモリ４０６に格納されることができ、プロセッサ４０３によって実行可能である。「実行可能」であることは、最終的にプロセッサ４０３によって実行可能な形式のプログラムファイルを含み得る。実行可能なプログラムの例は、例えば、メモリ４０６のランダムアクセス部にロードされてプロセッサ４０３によって実行され得る形式のマシンコードに翻訳され得るコンパイルされたプログラム、メモリ４０６のランダムアクセス部にロードされてプロセッサ４０３によって実行され得るオブジェクトコードなどの適切な形式で表現され得るソースコード、または、他の実行可能なプログラムによって解釈されて、プロセッサ４０３によって実行されるメモリ４０６のランダムアクセス部に命令を生成し得るソースコード、または任意の他の適切なプログラムであり得る。実行可能プログラムは、例えば、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、ハードドライブ、ソリッドステートドライブ、ＵＳＢフラッシュドライブ、メモリカード、コンパクトディスク（ＣＤ）またはデジタルバーサタイルディスク（ＤＶＤ）などの光ディスク、フロッピーディスク、磁気テープ、または他のメモリコンポーネントを含む、メモリ４０６の任意の部分またはコンポーネントに格納されてもよい。
【0083】
メモリ４０６は、揮発性および不揮発性のメモリおよびデータストレージコンポーネントの両方を含み得る。揮発性コンポーネントは、電力の損失時にデータ値を保持しないものを含み得る。不揮発性コンポーネントは、電力の損失時にデータを保持するものを含み得る。したがって、メモリ４０６は、例えば、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、ハードディスクドライブ、ソリッドステートドライブ、ＵＳＢフラッシュドライブ、メモリカードリーダーを介してアクセスされるメモリカード、関連するフロッピーディスクドライブを介してアクセスされるフロッピーディスク、光ディスクドライブを介してアクセスされる光ディスク、適切なテープドライブを介してアクセスされる磁気テープ、および／または他のメモリコンポーネント、またはこれらのメモリコンポーネントのうちの任意の２つ以上の組み合わせを含み得る。さらに、ＲＡＭは、例えば、ＳＲＡＭ（ｓｔａｔｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＤＲＡＭ（ｄｙｎａｍｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＭＲＡＭ（ｍａｇｎｅｔｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）および他のそのようなデバイスを含み得る。ＲＯＭは、例えば、ＰＲＯＭ（ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＥＰＲＯＭ（ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）または他の同様のメモリデバイスを含み得る。
【0084】
また、メモリ４０６は、並列処理回路で動作する複数のメモリ４０６を表し得る。そのような場合、ローカルインターフェース４０９は、複数のプロセッサ４０３のうちのいずれか２つの間、いずれかのプロセッサ４０３とメモリ４０６のうちのいずれかのものとの間、メモリ４０６のいずれか２つの間、または他のいずれかの適切な構成の間の通信を容易にする適切なネットワークであり得る。ローカルインターフェース４０９は、例えば、負荷分散を行うことを含めて、この通信を調整するように設計された追加のシステムを含み得る。プロセッサ４０３は、電気的な構造であってもよいし、他の利用可能な構造であり得る。
【0085】
ＡＩシステムアプリケーション４１５、オペレーティングシステム４１８、アプリケーション４２１、および本明細書に記載された他の様々なシステムは、上述のように汎用ハードウェアによって実行されるソフトウェアまたはコードで具現化されてもよいが、代わりに、同じものが専用ハードウェア、またはソフトウェア／汎用ハードウェアと専用ハードウェアの組み合わせで具現化されてもよい。専用ハードウェアで具現化される場合、いくつかの技術のいずれか１つまたは組み合わせを採用した回路またはステートマシンとしてそれぞれ実装することができる。これらの技術には、例えば、１つまたは複数のデータ信号の適用に応じて様々な論理機能を実装するための論理ゲートを有する離散的な論理回路、適切な論理ゲートを有するアプリケーション固有の集積回路、または他の適切なコンポーネントが含まれ得る。
【0086】
図５は、例示的なＧ－ＳＲＭＣＤ１１０ａ、１１０ｂ、および１１０ｃの概略ブロック図を示す。Ｇ－ＳＲＭＣＤ１１０ａ、１１０ｂおよび１１０ｃは、例示的に開示されたＧ－ＳＲＭＣＤ５００に類似し得る。Ｇ－ＳＲＭＣＤ５００は、１つまたは複数の高度なＲＩＳＣマシン（ＡＲＭ）、ＧＰＵまたはＣＰＵプロセッサ回路を含み得、ホスト計算モジュール（ＨＣＭ）５１０上で動作する。ＨＣＭは、自律ユニット１０１ａ、１０１ｂ、１０１ｃおよびＧ－ＳＲＭＣＤ５００のハードウェアコンポーネントに接続するための複数のポートおよびインターフェースを含み得る。ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）バスポートは、Ｇ－ＳＲＭＣＤ５００が他の自律ユニットのＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）と通信することを可能にする。各ＥＣＵは、他のＥＣＵと共有する必要のある情報を持っている可能性があり、ＣＡＮバスへのアクセスにより、Ｇ－ＳＲＭＣＤ５００がセンサデータを取得し、自律ユニット１１０ａ、１１０ｂ、１１０ｃを制御することができる可能性がある。自動車用ＣＡＮバスは、すべての自律走行車で動作するとは限らない。また、Ｇ－ＳＲＭＣＤ５００は、ＭＯＳＴ（Ｍｅｄｉａ Ｏｒｉｅｎｔｅｄ Ｓｙｓｔｅｍｓ Ｔｒａｎｓｐｏｒｔ）、ＬＩＮ（Ｌｏｃａｌ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｎｅｔｗｏｒｋ）、ＣＸＰＩ（Ｃｌｏｃｋ ｅＸｔｅｎｓｉｏｎ Ｐｅｒｉｐｈｅｒａｌ Ｉｎｔｅｒｆａｃｅ）、ＳＡＥ Ｊ２７１６ ＳＥＮＴ（Ｓｉｎｇｌｅ Ｅｄｇｅ Ｎｉｂｂｌｅ Ｔｒａｎｓｍｉｓｓｉｏｎ）、ＦｌｅｘＲａｙまたは他のインターフェースおよびプロトコルをサポートして、自律ユニットの制御および監視を行うことができる。また、ホスト計算モジュール５１０は、カメラ、センサ、および無線モデムなどのＧ－ＳＲＭＣＤ５００のハードウェアコンポーネントを相互に接続するためのイーサネット、ＵＳＢ、ＰＣＩｅ、ＭＩＰＩ、ＧＳＭＬ、ＦＰＤＬｉｎｋ ＩＩＩまたはｅＳＡＴＡインターフェースをホストし得る。Ｗｉ－ＦｉおよびＢｌｕｅｔｏｏｔｈプロトコルも、ハードウェアデバイスをＧ－ＳＲＭＣＤ５００に相互接続するために、ホスト計算モジュール５１０によってサポートされてもよい。
【0087】
ホスト計算モジュール５１０は、ＡＲＭまたはＩｎｔｅｌプロセッサのいずれかを使用するマイクロプロセッサベースのコンピュータボードであり得る。Ｇ－ＳＲＭＣＤ５００は、ハードウェアロジック、ソフトウェアロジック、またはハードウェアロジックとソフトウェアロジックの組み合わせで実装できることを理解すべきである。これに関連して、Ｇ－ＳＲＭＣＤ５００は、上述の方法を実装するソフトウェアでプログラムされたデジタル信号プロセッサ（ＤＳＰ）、マイクロプロセッサ、マイクロコントローラ、ＧＰＵ、または他のプログラマブルデバイスのいずれかであるか、またはそれらを含むことができる。代わりに、Ｇ－ＳＲＭＣＤ５００は、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＣＰＬＤ（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などの他の論理デバイスであるか、またはそれらを含むことが理解されるべきである。Ｇ－ＳＲＭＣＤ５００が機能を実行する、または機能を実行するように構成されていると記載されている場合、Ｇ－ＳＲＭＣＤ５００は、適切なロジック（ソフトウェア、ハードウェア、ロジックデバイス、またはそれらの組み合わせなど）でそうするように構成されていると理解すべきである。
【0088】
セキュリティおよび暗号化層５１５は、Ｇ－ＳＲＭＣＤ５００内の一部または実質的にすべてのモジュールおよびオペレーティングシステムを保護し得る。また、Ｇ－ＳＲＭＣＤ５００とＲＭＣＣ１３０および自律ユニット１０１ａ、１０１ｂ、１０１ｃとの間のデータ通信は、安全化、暗号化、および常時監視することができる。
【0089】
Ｇ－ＳＲＭＣＤ５００のオペレーティングシステム（ＯＳ）５２０は、Ｌｉｎｕｘであり得る。Ｇ－ＳＲＭＣＤ５００を動作させるための適切なパッケージをインストールすることができる。ＯＳは、ビデオ／オーディオストリーミング、Ｇ－ＳＲＭＣＤアプリケーションおよび人工知能処理をサポートするライブラリを含み得る。
【0090】
Ｇ－ＳＲＭＣＤ１１０ａ、１１０ｂおよび１１０ｃは、処理装置４００に表示される回路およびインターフェースに加えて、例えば、無線ローカルエリアネットワーク（ＷＬＡＮ）および／またはセルラーネットワークなどの無線ネットワーク１２０を介して通信するためのハードウェアを含み得る。Ｇ－ＳＲＭＣＤ５００は、無線通信をサポートする処理回路５２５（例えば、送信機、受信機、および／または送受信機）を含むことができる。例えば、Ｇ－ＳＲＭＣＤ１１０ａ、１１０ｂ、１１０ｃは、例えば、第３世代（３Ｇ）、第４世代（４Ｇ）、ロングタームエボリューション（ＬＴＥ）、第５世代（５Ｇ）、または他のデータ通信規格などのセルラーデータ接続などのセルラー通信をサポートし得る。Ｇ－ＳＲＭＣＤ１１０ａ、１１０ｂ、１１０ｃは、例えば、ＩＥＥＥ８０２．１１ａ／ｂ／ｇ／ｎ、および８０２．１１ａｘとしても知られるＷｉ－Ｆｉ６などの無線通信をサポートし得る。無線回路５２５は、ＲＭＣＣへの冗長な無線リンク接続を処理するように構成することができる。異なる無線バンド、プライベートＬＴＥネットワークまたはサービスプロバイダを使用する複数の無線データ接続は、ＲＭＣＣ１３０への実質的に保証された安全な接続を提供することができる。Ｇ－ＳＲＭＣＤ１１０ａ、１１０ｂまたは１１０ｃが、ネットワーク接続がダウンしていることを検出した場合、ローカルインシデントリスクレベルに基づいて、Ｇ－ＳＲＭＣＤ５００は、ＲＭＣＣへの接続が再確立されるまで、自律ユニットに、続行するか、安全に駐車するかのいずれかを指示し得る。Ｇ－ＳＲＭＣＤ５００は、無線信号強度を監視し得、弱い信号が検出された場合、Ｇ－ＳＲＭＣＤ５００は、ＲＭＣＣ１３０にその事象を報告し得る。ＲＭＣＣ１３０は、自律ユニット１０１ａ、１０１ｂ、１０１ｃにそのエリアを回避するように提案し、インシデントリスクレベルを低下させるために自律ユニットを再ルーティングすることができる。いくつかの実装では、無線回路５２５は、自律走行車の乗客にＷｉ－Ｆｉアクセスを提供することができる。Ｗｉ－Ｆｉアクセスは、地元の観光情報、交通情報または気象情報、サービスの更新、およびインターネットへのアクセスなどの複数のサービスを車両の乗客に提供することができる。
【0091】
Ｇ－ＳＲＭＣＤ１１０ａ、１１０ｂおよび１１０ｃは、自律ユニットのキャビン内の温度および湿度レベルを取得する回路を含むことができる。キャビンセンサ５３０は、Ｇ－ＳＲＭＣＤがその動作条件内にあるかどうか、および乗客（いる場合）が快適な環境にいるかどうかを判断するのに役立ち得る。
【0092】
Ｇ－ＳＲＭＣＤ１１０ａ、１１０ｂ、１１０ｃのＧＰＳ回路５３５は、地理的な位置を決定するためのＧＰＳ機能をサポートし得る。Ｇ－ＳＲＭＣＤ１１０ａ、１１０ｂ、１１０ｃが、自律ユニット１０１ａ、１０１ｂ、１０１ｃが取得したＧＰＳ位置にアクセスできない場合、Ｇ－ＳＲＭＣＤ５００は、自身のＧＰＳ回路５３５を用いて、地理的位置をＲＭＣＣ１３０に報告することができる。
【0093】
さらに、Ｇ－ＳＲＭＣＤ５００は、車両に組み込まれ、遠隔制御オペレータ１４０にライブ画像をビデオストリーミングするために使用される複数のカメラおよびセンサ５４０を含み得る。ビデオストリームは、無線パブリックまたはプライベートネットワーク１２０を介してＲＭＣＣ１３０にルーティングすることができ、装置５２５は、Ｇ－ＳＲＭＣＤ５００のデータ受信機および送信機である。複数のセンサ装置を自律ユニットに設置することができ、遠隔制御オペレータは、監視するカメラを選択して、自律ユニットを遠隔的に制御および操縦することができる。Ｇ－ＳＲＭＣＤ５００は、ホスト計算モジュール５１０の処理回路を利用して、ハードウェアエンコーダを利用し、ソフトウェアベースのアルゴリズムを利用するよりも高速に映像を生成することができる。このシステムは、ライダ、レーダ、超音波センサ、その他を含む任意のセンサモダリティを採用するように拡張することができる。また、カメラ、ライダ、レーダ、および／または超音波センサの任意の組み合わせなどのマルチモーダルセンサシステムの融合により、より強力なシステムを実現することができる。大量のデータを生成するセンサモダリティの場合、データ圧縮を利用することができる。したがって、視覚センサを使用する場合、車両および／またはインフラストラクチャ間の効率的な通信を実現するために、ビデオの圧縮／解凍を使用することができる。スタンドアローン型またはカメラ内蔵型の任意の適切なビデオコーディング規格または技術を使用することができる。
【0094】
ＳＭＳブロック５４５は、ＳＭＳサービスプロバイダによってサポートされるショートメッセージサービス（ＳＭＳ）プロトコル、ショートメッセージピアツーピアプロトコル（ＳＭＰＰ）、またはｒｅｓｔｆｕｌ ＡＰＩを介して、Ｇ－ＳＲＭＣＤ５００がテキストメッセージを送受信することを可能にし得る。ＳＭＳブロック５４５は、Ｇ－ＳＲＭＣＤ５００がＲＭＣＣ１３０との接続を失った場合に、構成可能な管理者のリストに通知するように構成することができる。また、複数のイベントおよび／またはアラームを管理者に報告するように構成することができる。ＳＭＳブロック５４５は、Ｇ－ＳＲＭＣＤ５００の代替通信技術として、テキストコマンドを受信することもできる。受信したＧ－ＳＲＭＣＤテキストコマンドは、ＳＭＳブロック５４５によって検証することができ、その真正性が確認されると、コマンドをＧ－ＳＲＭＣＤ５００で実行することができる。Ｇ－ＳＲＭＣＤテキストコマンドは、例えば、トラブルシューティングルーチンの実行、モジュールレポートの準備および送信、機能の有効化または無効化、モジュールのシャットダウンまたは起動の要求、オペレーティングシステムコマンドの実行、および／またはモジュール統計の送信など、Ｇ－ＳＲＭＣＤ５００の各モジュール上のタスクの実行を可能にし得る。
【0095】
いくつかの実装では、Ｇ－ＳＲＭＣＤ５００は、自律走行車のキャビンに設置されたヒューマンインターフェース５５０を含み得る。この乗客インターフェースモジュールは、Ｇ－ＳＲＭＣＤ５００が乗員と対話し、乗客が例えば緊急時にＲＭＣＣ１３０内の遠隔制御オペレータに連絡することや、自律走行車に関連する要求を行うことを可能にし得る。ヒューマンインターフェース５５０は、ビデオ処理モジュール５７０を用いて、ＲＭＣＣ１３０に双方向のビデオおよび音声通信を提供し得る。また、ヒューマンインターフェースは、例えば、遠隔制御オペレータとのビデオ通信、緊急サービスへの連絡、パニックボタン、地図上の現在の自律ユニットの位置の表示、情報提供ビデオの再生、および／または他の適切な機能を要求するための複数のボタンを備えたディスプレイを提供し得る。ヒューマンインターフェースは、自律ロボットまたはドローンに搭載して、自律ユニットが人間と対話する必要がある状況を支援することができる。例えば、自律ユニットがゲート付きコミュニティに到達すると、自律ユニットがそのハウスコミュニティに入ることを許可するために、遠隔制御オペレータに守衛係、自動化キオスクと話をさせたり、エントリーＱＲコードを表示させたりすることが適切であるかもしれない。ヒューマンインタラクションにおいて、ヒューマンインターフェース５５０は、自律ユニットが目的地に到達すること、または乗員、顧客、緊急対応者、および／または他の個人と対話することを支援することができる。
【0096】
Ｇ－ＳＲＭＣＤ５００内のアプリケーションは、ホスト計算モジュール５１０内の利用可能な装置およびハードウェアコンポーネントのうちの１つまたは複数を使用し得る。以下のセクションでは、少なくともいくつかの例示的な実施形態において、各アプリケーション層が使用する装置について記載する。自律ユニット遠隔制御モジュール５５５は、遠隔制御オペレータ１４０が自律ユニットを監視し、遠隔制御することを可能にし得る。このモジュールは、ＲＭＣＣ１３０が、例えば、スロットルの制御、ステアリングの制御、ブレーキの作動、シフト制御（例えば、前進、後退）、フロント／バックカメラの注視、自律ユニットの周囲の状況の聴取、右／左ミラーの注視、右／左方向指示器の作動、ヘッドライトの点灯、ホーンの作動、後退ホーンの作動（例えば、利用可能な場合）、ウィンドシールドワイパーのオン／オフ、自律ユニットのシャットダウン、または自律ユニットの起動を行うことを可能にする自律ユニット制御インターフェースに相互接続し得る。モジュール５５５は、例えば、ロボット・オペレーティング・システム（ＲＯＳ）、ドライブ・バイ・ワイヤ、または他の自律ユニット製造業者のプロトコルおよびＡＰＩなど、自律ユニットを制御するための複数のプロトコルに統合されてもよい。自律ユニット遠隔制御モジュール５５５は、自律ユニット１０１ａ、１０１ｂ、１０１ｃの利用可能なセンサデータやアラームデータを接続して取得するための適切な処理回路およびソフトウェアを含み得る。したがって、自律ユニット制御モジュール５５５は、機械的、ハードウェア的またはソフトウェア的な問題が発生した場合に、Ｇ－ＳＲＭＣＤ１１０ａ、１１０ｂ、１１０ｃが自律ユニットの診断およびトラブルシューティングを行うことを可能にし得る。また、このデータは、自律走行車内の任意の先進運転支援システム（ＡＤＡＳ）によって作成されたメッセージを含み得る。警報または警告メッセージは、自律ユニットを制御する際に、遠隔制御オペレータ１４０に転送されてもよい。ＲＭＣＣ１３０がユニットを制御していない場合、これらのメッセージは、ＲＭＣＣ１３０によって処理されてもよく、インシデントリスクレベルを更新するために、または適切なイベント（例えば、クリティカルイベント）において、ＲＭＣＣ１３０に自律ユニットの即時制御を要求するために使用されてもよい。モジュール５５５は、例えば、ドライバのダッシュボードの警報および警告、タイヤの圧力、バッテリの電力レベル、ドアおよびロックの状態、燃料計、エンジンサービス通知、シートベルトセンサ、乗客検出センサ、メンテナンスサービス通知、全体の範囲、速度計、バッテリの充電状態、性能指標、外部温度、ＧＰＳ位置、ビデオカメラおよびセンサ、および／または他の適切な機能へのアクセスを有し得る。遠隔制御モジュール５５５は、自律ユニットにおける自律モードを無効にして、ユニットの制御を行うことができ、また、緊急時や、ユニットを手動で制御する必要がある場合には、無効にされることができる。
【0097】
ＡＩアプリケーション層５６０は、装置５２５、５３０、５３５、５４０および５４５から受信した入力データを処理して、自律ユニットの問題を予測および防止し得る。ＡＩ層５６０は、様々なコンピュータビジョンモデルを実行し得、それをセンサデータの入力特徴と組み合わせて、ＲＭＣＣ１３０に対するインシデントリスクレベル（ＩＲＬ）を計算し、更新してもよい。ＩＲＬは、自律ユニットに支援を提供すべきかどうかを遠隔制御オペレータ１４０に示し得る。ＳＩＰＳまたはＳＩＲＳモジュールによって報告されたイベントの場合、Ｇ－ＳＲＭＣＤによって直ちに遠隔制御が要求されてもよい。
【0098】
ＡＩ層５６０は、データ分析および人工知能モデルのトレーニングの目的で、データ、ビデオおよび音声を収集し得る。ＡＩ層５６０は、Ｇ－ＳＲＭＣＤ５００がキャプチャして収集したデータを継続的に収集、処理、および／または分析し得、無線データリンク５２５を使用してメタデータをＲＭＣＣ１３０に送信し得る。遠隔制御オペレータ１４０がＳＩＰＳまたはＳＩＲＳの誤った肯定的なイベントまたは誤った否定的なイベントを検出した場合、イベントに関連するデータは、分析のために収集されてもよく、連続的なＡＩトレーニングアルゴリズムのためのフィードバックを提供し得る。また、データ収集は、自律ユニット製造者に提供されてもよい。ＡＩ層５６０が自律ユニットの性能問題を検出した場合、インシデントに関連するデータを収集して製造業者と共有し、自律アルゴリズムを再訓練して改善できるようにしてもよい。自律走行車が人間のドライバによって監督される場合、Ｇ－ＳＲＭＣＤ５００は、ドライバが自律走行車の自律モードを越えて制御するときの条件を記録することができる。この情報は、自律走行車メーカーが人工知能アルゴリズムを微調整するための貴重な情報となり得る。
【0099】
ＡＩ層５６０層は、物体や環境を認識するための一連のコンピュータビジョンプログラムを含み得る。それらのＡＩプログラムの１つは、道路の制限速度標識を読み取り、スクールゾーンの点滅信号を検出するように指定されてもよい。ユニットが制限速度を超えた場合、ＡＩ層５６０は、ＲＭＣＣ１３０にイベントの情報を送信し得る。ＩＲＬを増加することができ、Ｇ－ＳＲＭＣＤ５００はＲＭＣＣ１３０に遠隔制御を要求し得る。同様に、ＡＩ層５６０層は、自律ユニットの人工知能アルゴリズムからのフィードバックまたはデータを統合し、ＩＲＬを更新し、適切であれば、ＲＭＣＣ１３０に遠隔制御を要求することができる。自律ユニットは、離れた物体、車、または歩行者を検出するための複数の検出装置および視覚装置を有することができ、自律ユニットの潜在的な事故を自律制御システムに報告し得る。それらのイベントは、自律制御システムによって、自律ユニット１０１ａ、１０１ｂ、１０１ｃで処理されてもよい。また、ＡＩ層５６０層は、それらのイベントおよび警報を処理してＩＲＬを更新し、遠隔支援が直ちに行われる場合にはＲＭＣＣ１３０に報告することができる。
【0100】
自律ユニットの撮像装置５４０を用いて、画像データをキャプチャすることができる。画像データは、連続的に、定期的に、またはトリガ信号に応答してキャプチャすることができる。撮像装置は、カメラまたは任意の他の適切なタイプの撮像装置であり得る。画像データは、次に、ＡＩ層５６０によって分析されて、歩行者、別の車両、または他の潜在的な危険など、関心のある物体を検出および／または識別し得る。例示的な実施形態では、物体は、ＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）物体検出アルゴリズムを用いて検出することができる。ＹＯＬＯ物体検出に関する詳細については、“ＹＯＹＬ０９０００：Ｂｅｔｔｅｒ，Ｆａｓｔｅｒ，Ｓｔｒｏｎｇｅｒ’ＡｒＸｉｖ：１６１２．０８２４２ ２０１６年１２月を参照されたい。また、任意の他の適切なタイプの物体検出方法を利用することもできる。
【0101】
ＲＭＣＣリンク５６５は、無線回路５２５を介してＲＭＣＣ１３０との持続的な仮想回路ネットワーク接続を確立することによって、ＲＭＣＣ１３０との継続的な通信を維持し得る。ホスト計算モジュール５１０は、Ｇ－ＳＲＭＣＤおよび自律ユニットの遠隔測定データを収集して、ＲＭＣＣリンク５６５を使用してＲＭＣＣ１３０に報告し得る。さらに、ＲＭＣＣリンク５６５は、例えば、自律ユニット１０１ａ、１０１ｂ、または１０１ｃが動作していないときに、利用可能なソフトウェアアップデートがあるかどうかを確認し、それらをインストールし得る。ＲＭＣＣ１３０は、採用する無線ネットワークをＧ－ＳＲＭＣＤ１１０ａ、１１０ｂ、１１０ｃに示す場合があり、Ｇ－ＳＲＭＣＤ５００の完全性を提供する更新パッケージを検証し得る。
【0102】
ビデオ処理モジュール５７０は、Ｇ－ＳＲＭＣＤに設置された、または自律ユニットに配置されたカメラおよび他のセンサから収集された音声およびビデオのビットストリームの圧縮および準備のために、マイクロプロセッサＣＰＵおよび／またはＧＰＵの加速された音声およびビデオ処理能力を使用し得る。ビデオ処理モジュール５７０は、適切に低減された処理および伝送待ち時間で遠隔制御オペレータワークステーション１４０との安全で暗号化されたピアツーピアの音声およびビデオ通信を確立するために、ＲＭＣＣ１３０の車両ロケータおよび相互接続機能からＲＭＣＣリンク５６５を介して到着する遠隔制御オペレータ１４０からの接続要求に応答することによって、ウェブリアルタイム通信（ＷｅｂＲＴＣ）技術を使用し得る。暗号化は、一部または実質的にすべてのＷｅｂＲＴＣコンポーネントに使用されてもよく、したがって、データ通信は、Ｇ－ＳＲＭＣＤ１１０ａ、１１０ｂ、１１０ｃと遠隔コントローラオペレータ１４０との間で安全化することができる。Ｇ－ＳＲＭＣＤモジュール５７０は、ＷｅｂＲＴＣ技術を利用し得、これにより変化するネットワーク条件に対して補償され、調整され得る。ビデオ品質は、帯域幅の利用可能性に応じて調整することができ、ネットワークの輻輳を回避して、適切な音声およびビデオ通信を提供し得る。ＷｅｂＲＴＣはまた、ＩＣＥおよびＳＣＴＰプロトコルを使用して、信頼性の高い冗長なセッション確立を提供し得る。ビデオ処理モジュール５７０は、ＷｅｂＲＴＣデータチャネルを利用して、Ｇ－ＳＲＭＣＤ５００と遠隔制御オペレータ１４０との間で情報を交換し得る。ビデオ処理モジュール５７０は、ヒューマンインターフェース５５０およびカメラアレイ５４０の装置を利用して、遠隔制御オペレータ１４０にビデオ画像を配信し得る。
【0103】
Ｇ－ＳＲＭＣＤ５００は、自律ユニットから比較的低い電力を消費し得、および／または自身のエネルギー源を提供し得る。少なくともいくつかの例示的な実施形態では、Ｇ－ＳＲＭＣＤ５００は、自身のバッテリが電力不足になった場合に、自律ユニットのバッテリをバックアップとして使用することができる。Ｇ－ＳＲＭＣＤ５００のバッテリは、手動で充電することができ、および／または、ソーラーパネルを自律走行車に追加して、Ｇ－ＳＲＭＣＤ５００のバッテリを継続的に充電することができる。Ｇ－ＳＲＭＣＤ５００は、バッテリレベルを監視し、バッテリをすぐに充電する必要がある場合には、ＲＭＣＣ１３０に警告し得る。
【0104】
図６は、（図１に示された）ＡＩシステム１００において、ＲＭＣＣ１３０に実装されたインシデントリスクレベルを監視するための例示的なプロセスを示すフローチャートを示している。図示されたプロセスは、ステップ６０２で、ＲＭＣＣ１３０が複数の自律ユニットからセンサデータをキャプチャすることで始まる。様々な例では、センサは、複数の自律ユニットに分散することができる。いくつかの実施形態では、自律ユニットからＲＭＣＣ１３０にセンサデータが送信される前に、融合されたセンサデータを圧縮することができる。例示的な例では、自律ユニットおよびＲＭＣＣ１３０は、自律ユニットからＲＭＣＣ１３０に伝送されるセンサデータの量を制限するために、データ通信およびネットワーク分野の技術を採用し得る。例えば、１つまたは複数の自律ユニットは、ＲＭＣＣ１３０に送信されるセンサデータストリームから冗長なセンサデータを排除するために、人工知能を用いて構成されてもよい。そのような例では、自律ユニットは、定期的な間隔で、または主要なセンサが値を変更したときに、センサデータの更新を送信し得る。
【0105】
様々な実施形態の実装の設計および使用方法を示す例において、ＲＭＣＣ１３０は、ＲＭＣＣ１３０が複数の自律ユニットから受信したセンサデータに基づいて、複数の自律ユニットを同時に監視および制御するように構成されてもよい。いくつかの例では、ＲＭＣＣ１３０は、ＲＭＣＣ１３０の支配の下で動作する複数の自律ユニットの各自律ユニットについて、独立したインシデントリスクレベルを決定し得る。例示的に開示されたＲＭＣＣは、ＲＭＣＣによって安全ではないインシデントリスクレベルで動作していると判断された複数の自律ユニットのうちの１つまたは複数の完全または部分的な制御を引き受け得る。いくつかの実施形態では、ＲＭＣＣ１３０は、安全ではないインシデントリスクレベルを有する自律ユニットにおいて１つまたは複数の安全対策または勧告助言を実施することに基づいて、安全なインシデントリスクを回復するために、ＲＭＣＣ１３０が安全ではないインシデントリスクを決定した１つまたは複数の自律ユニットの完全または部分的な制御を引き受け得る。
【0106】
例示的な例では、ＲＭＣＣは、各自律ユニットについて決定されたインシデントリスクを、安全、危険、安全でない、という少なくとも３つの範囲にあると特徴付けるように構成されてもよい。
【0107】
監視された自律ユニットが安全なインシデントリスクレベルで動作する例示的な例では、ＲＭＣＣは、自律ユニットのそれぞれについて個別にインシデントリスクを決定することに基づいて、個々の自律ユニットの同時監視を継続し、インシデントリスクが安全でない状態に変化した場合に自律ユニットの制御を行い、安全なインシデントリスクが回復した場合に自律ユニットに制御を戻し得る。ＲＭＣＣによって安全であると特徴付けられたシナリオは、正常な状態と呼ばれてもよく、１人または複数人の遠隔制御オペレータに「緑」の状態として表示または指示されてもよい。
【0108】
監視された自律ユニットが危険なインシデントリスクレベルで動作する様々な例では、ＲＭＣＣは、インシデントリスクが危険であるとＲＭＣＣが判断した１つまたは複数の自律ユニットに対して、危険なインシデントリスクを警告するために、勧告アクションを発行し得るか、または勧告助言を送信し得る。例示的な例では、危険なインシデントリスクは、注意が勧告される増大したリスクを提示し得、または部分的な制御が実施され得る。ＲＭＣＣが危険と特徴付けたシナリオは、注意または勧告状態と呼ぶことができ、１人または複数人のユーザに「黄色」の状態で表示または指示することができる。１つまたは複数の自律ユニットの危険なインシデントリスクに応答してＲＭＣＣが取る行動には、１つまたは複数の自律ユニットを同時に部分的に制御すること（例えば、速度を制限すること）、制御のレベルを完全な制御に昇格させ得るイベントに対する感度を高めること（例えば、自律ユニットがセンターラインまたは路肩を横切るなど）、自律ユニットコントローラにメッセージを送信して、自律ユニットが危険なインシデントリスクに適応するように警告すること、または自律ユニットコントローラまたは乗員に興味深い物体（例えば、自律ユニットの進路上で横断する準備をしている歩行者の画像）を提示することが含まれ得る。
【0109】
監視された自律ユニットが安全でないインシデントリスクレベルで動作するいくつかの例では、ＲＭＣＣは、安全でないインシデントリスクで動作していた１つまたは複数の自律ユニットのインシデントリスクレベルを低減するために、インシデントリスクが安全でないとＲＭＣＣが判断した１つまたは複数の自律ユニットに安全対策を同時に実施し得る。安全でないインシデントリスクは、自律ユニットの乗員の死亡または負傷の重大かつ差し迫った危険を示し得る。例示的な例では、ＲＭＣＣによって安全でないと特徴付けられたシナリオは、１人または複数人のユーザに対して「赤」の状態として表示または示すことができる。１つまたは複数の自律ユニットの安全でないインシデントリスクに応答してＲＭＣＣが取る行動には、１つまたは複数の自律ユニットの速度を低減して自律ユニット間の分離を増加させること、１つまたは複数の自律ユニットを操舵して衝突を回避すること、または１つまたは複数の自律ユニットを自動的に制動して衝突を回避することが含まれ得る。
【0110】
いくつかの例示的な実施形態では、ＲＭＣＣは、ＲＭＣＣの支配の下で動作していない１つまたは複数の自律ユニットからセンサデータを受信し、処理し、それに基づいて行動し得る。例示的な例では、ＲＭＣＣの支配の下で動作する自律ユニットは、ＲＭＣＣにセンサデータを送信し得る。しかしながら、このようなＲＭＣＣの支配下にない自律ユニットは、ＲＭＣＣによる制御を受け入れることができない場合がある。例えば、ＲＭＣＣの支配下にある自律ユニットは、ＲＭＣＣの支配下にない別の車両の動作行動に基づいて、インシデントリスクを低減するように勧告または制御されることができる。
【0111】
いくつかの例示的な実施形態では、インシデントリスクマージンは、過去のセンサデータを用いて構成された人工知能によって決定することができる。例えば、センサを搭載したテスト車両は、特定の道路上、または特定の条件下での自律ユニットの移動を代表するセンサデータに基づいて、ニューラルネットワークまたは決定ツリーを訓練することができるかもしれない。このようなテストデータは、様々なライブ自律ユニット走行条件について、ＲＭＣＣによって決定されたインシデントリスクに関する最小安全リスクマージン閾値の差を予測するために使用することができる。例示的な例では、様々な実施形態のＲＭＣＣは、インシデントリスク、インシデントリスクマージン、および／または最小安全リスクマージン閾値の関数として特徴付けられる、各自律ユニットのインシデントリスクを安全、危険、または安全でないと決定し得る。
【0112】
図示された方法は、６０４において、ＲＭＣＣが、複数の自律ユニットから受信したセンサデータに基づいて、複数の自律ユニットの位置を決定することに続く。６０６において、Ｇ－ＳＲＭＣＤ５００は、センサデータに基づいて、物体の位置を決定する。６０８において、Ｇ－ＳＲＭＣＤ５００は、センサデータを用いて、自律ユニットの速度を決定する。６１０で、Ｇ－ＳＲＭＣＤ５００は、自律ユニットの位置、物体の位置、および自律ユニットの速度に基づいて、ローカルインシデントリスク評価を実行する。Ｇ－ＳＲＭＣＤ５００は、ＲＭＣＣ１３０のインシデントリスクレベルを更新するために、評価結果をＲＭＣＣ１３０に報告する。インシデントの可能性を検出した場合、Ｇ－ＳＲＭＣＤ５００は、自律ユニットに速度を低下させるか、または直ちに停止するように要求することができる。いくつかの例では、インシデントリスクは、物体または自律ユニットが、複数の自律ユニットのうちの１つまたは複数にとって関心事であるかどうか（例えば、自律ユニットの動作に影響を与えるかどうか）に応じて、ＲＭＣＣによって決定することができる。
【0113】
６１２でＲＭＣＣ１３０は、過去のセンサデータを用いて構成された人工知能によって決定されたインシデントリスクマージンに応じて各自律ユニットについて評価されたインシデントリスクに基づいて、複数の自律ユニットの各自律ユニットについてインシデントリスクレベルが安全であるかどうかを判断する。ステップ６１４で、各自律ユニットのインシデントリスクレベルが安全であり、ＲＭＣＣ１３０が自律ユニットを制御していない場合、プロセスは６０２で継続する。ステップ６１４で、インシデントリスクレベルが安全であり、ＲＭＣＣ１３０が自律ユニットを制御している場合、６１６でＲＭＣＣ１３０は自律ユニットに制御を戻し、プロセスは６０２で継続する。
【0114】
ステップ６１２において、インシデントリスクレベルが安全でない場合、ＲＭＣＣ１３０は、ステップ６１８において、過去のセンサデータを用いて構成された人工知能によって決定されたインシデントリスクマージンに応じて各自律ユニットについて評価されたインシデントリスクに基づいて、インシデントリスクレベルが危険であるかどうかを判断する。ＲＭＣＣ１３０が、ステップ６１８において、１つまたは複数の自律ユニットのインシデントリスクレベルが危険ではなく、インシデントリスクレベルを低下させることができると判断した場合、ＲＭＣＣは、６２０において、１つまたは複数の自律ユニットに送信される助言メッセージを生成するために、勧告を処理する。様々な例において、勧告助言は、自律ユニットに対して速度を低減するように提案することを含み得、あるいは、自律ユニットの視野から遮蔽された物体、例えば歩行者の画像を含み得る。
【0115】
６１８でＲＭＣＣ１３０が、少なくとも１つの自律ユニットのインシデントリスクレベルが危険であると判断した場合、６２２でＲＭＣＣ１３０は、少なくとも１つの自律ユニットを制御し、方法は６０２でＲＭＣＣ１３０が複数の自律ユニットからセンサデータをキャプチャすることで継続する。例示的な例では、例示的な開示されたＲＭＣＣは、リスクレベルが危険ではない複数の自律ユニットのうちの１つまたは複数の同時制御を想定して、複数の自律ユニットのそれぞれについてインシデントリスクを同時に決定し得る。例えば、例示的に開示されたＲＭＣＣは、１００台の自律ユニットを監視することができ、所与の時間において、１００台の自律ユニットのうちおそらく５０台の自律ユニットが、５０台の自律ユニットのそれぞれについてＲＭＣＣによって決定された安全でないインシデントリスクレベルに基づいて、ＲＭＣＣによる制御が必要であると判断される可能性がある。
【0116】
図７は、例示的なＲＭＣＣによって複数の自律ユニットのインシデントリスクを軽減するための例示的なプロセスを示すフローチャートを示している。様々な例において、図７に描かれたプロセスは、（図１に示されている）ＡＩシステム１００のＧ－ＳＲＭＣＤ１１０ａ、１１０ｂ、１１０ｃ、およびＲＭＣＣ１３０において実施されてもよい。図示されたプロセスは、ステップ７０２で、ＲＭＣＣ１３０が、ライブセンサデータおよび過去のセンサデータに応じて決定された安全リスクマージンを予測するために、（例えば、本明細書に開示されているような）組み込まれた人工知能を訓練および展開することから始まる。プロセスは、ステップ７０４で、ＲＭＣＣ１３０が、複数の自律ユニットからライブセンサデータをキャプチャすることで継続する。７０６において、ＲＭＣＣ１３０は、人工知能と、Ｇ－ＳＲＭＣＤ１１０ａ、１１０ｂ、１１０ｃから受信したライブセンサデータおよびメタデータとに基づいて、安全リスクマージンを決定する。
【0117】
ステップ７０８で、ＲＭＣＣ１３０は、人工知能と、ライブセンサデータおよび履歴センサデータとに基づいて、複数の自律ユニットのそれぞれについて、自律ユニットごとのインシデントリスクを決定する。ステップ７１０で、ＲＭＣＣ１３０が、すべての自律ユニットのインシデントリスクレベルが危険ではないと判断した場合、プロセスは終了する。そうでなければ、ＲＭＣＣ１３０は、７１２において、（例えば、本明細書に記載されているような）人工知能によって決定された適切な安全対策を選択することによって、複数の自律ユニットのうちの少なくとも１つについての危険なインシデントリスクを軽減する。ステップ７１４において、ＲＭＣＣ１３０は、７１６において選択された安全対策を実施する自律ユニットを選択する。様々な例において、安全対策は、自律ユニットの自動制動、減速、ユニットの駐車、または潜在的な衝突から離れるための操舵を含み得る。
【0118】
７１８において、ＲＭＣＣ１３０は、インシデントリスクレベルを安全マージンまで低減するために、より多くの自律ユニットが安全対策を実施するかどうかを決定する。より多くの自律ユニットが安全対策を実施する場合、ＲＭＣＣ１３０は、７１６で安全対策を実施するために７１４で自律ユニットを選択し続ける。全ての自律ユニットが安全対策を実施する場合、ＲＭＣＣ１３０は、７２０において、全ての自律ユニットのインシデントリスクレベルが安全マージンまで低減されたかどうかを判断する。ＲＭＣＣ１３０が、７２０において、すべての自律ユニットが安全なリスクインシデントレベルで動作していないと判断した場合、プロセスは７０８で継続する。
【0119】
図面を参照して様々な例を記載してきたが、他の例も可能である。例えば、様々な例示的なＲＭＣＣの実施形態は、自律ユニットを監視および制御するための改良された分散型情報共有システムおよび方法を含んでもよく、ここでＲＭＣＣは複数の分散型センサおよびメタデータから情報を受信するようにプログラムおよび構成され；Ｇ－ＳＲＭＣＤは、自律ユニットが遠隔支援を受ける可能性があるときにＲＭＣＣに学習させ、かつ警告し得；インシデントの存在、インシデントに関与する自律ユニット、乗客、歩行者、動物および物体、インシデントによる負傷および損害の性質を判断し得；インシデントが発生した場所から第２の場所に自律ユニットを安全に自律的に移動させることができるかどうかを判断し得；自律ユニットを安全に自律的に移動させることができない場合には、緊急応答者に連絡し得；緊急応答者のユーザ装置から自律ユニットの制御権を移す要求を受信し得；これに応答して、暗号化およびハンドシェイク技術を使用して、自律ユニットの所有者の承認を伴うことなく、信頼された緊急応答者に自動化された自律ユニットの制御権を移し得；自律ユニットの所有者または利害関係者にインシデントを通知し得る。
【0120】
様々な実施形態の設計と使用の例示的な例において、安全アプリケーションのために自律ユニット間で基本的な交通メッセージを交換することによって、自律ユニットと指定されたインフラストラクチャの位置がセンサデータを共有する場合に、著しくより高いレベルの安全性を達成することができる。１つの自律ユニットに設置されたカメラは、多くの回避可能な事故を軽減するための視覚情報を提供できる一方、複数の自律ユニットによってキャプチャされた視覚データが、著しく最適化されたアクティブセーフティおよびドライバ支援システムのために共有および結合（例えば、融合）される新しい安全パラダイムが想定される。視覚データの共有は、１つの自律ユニットによってまたはインフラストラクチャの位置によってキャプチャされたいくつかの重要な視覚的ビューが、同じ環境にいる他の自律ユニットでは見えず、キャプチャされない可能性があるという事実によって動機付けられ得る。そのようなデータをリアルタイムで共有することは、ドライバ支援、接続された自律ユニット、および／または自律ユニットの安全システムを大幅に強化できる、計り知れない新しいレベルの認識を提供する。
【0121】
少なくともいくつかの例示的な実施形態において、本発明は、自律ユニットの動作のための方法およびシステムに向けられる。より具体的には、本発明のいくつかの実施形態は、事故または他の緊急事態が発生した場合に、自律ユニットの制御を、人間または自律的である緊急応答者あるいは人間の自律ユニットの乗員に切り替える方法およびシステムに向けられる。
【0122】
上の記載のいくつかの部分は、本明細書に記載された技術を、情報に対する操作のアルゴリズムおよび記号的表現の観点から提示している。これらのアルゴリズムの記載および表現は、作業の実体を伝えるために使用することができる。これらの操作は、機能的または論理的に記載されているが、コンピュータプログラムによって実装することができる。さらに、一般性を損なうことなく、これらの操作の配置をモジュールとして、または機能名で言及することが便利な場合もある。
【0123】
上記の考察から明らかなように、特に別段に記載されない限り、本記載全体を通して、「処理」または「コンピューティング」または「計算」または「決定」または「表示」またはそれらに類するものなどの用語を利用する考察は、コンピュータシステムのメモリまたはレジスタまたは他のそのような情報記憶、送信または表示デバイス内の物理的（電子）量として表されるデータを操作および変換する、コンピュータシステムまたは同様の電子コンピューティングデバイスの動作およびプロセスを指すことが理解される。
【0124】
記載された技術の特定の態様は、アルゴリズムの形で本明細書に記載されたプロセスステップおよび命令を含む。記載されたプロセスステップおよび命令は、ソフトウェア、ファームウェアまたはハードウェアで具現化され得、ソフトウェアで具現化される場合、リアルタイムネットワークオペレーティングシステムによって使用される異なるプラットフォーム上に存在し、そこから操作されるようにダウンロードされ得ることに留意すべきである。
【0125】
本開示の少なくともいくつかの例示的な実施形態は、本明細書の操作を実行するための装置にも関する。この装置は、所望の目的のために特別に構築することができる、または、コンピュータによってアクセス可能なコンピュータ可読媒体に格納されたコンピュータプログラムによって選択的に起動または再構成される汎用コンピュータを含み得る。このようなコンピュータプログラムは、フロッピーディスク、光ディスク、ＣＤ－ＲＯＭ、光磁気ディスクを含む任意の種類のディスク、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気カードまたは光カード、特定用途向け集積回路（ＡＳＩＣ）、または電子命令を格納するのに適した任意の種類の媒体などであるが、それらに限定されず、それぞれがコンピュータシステムバスに結合される、有形のコンピュータ可読記憶媒体に格納されてもよい。さらに、本明細書で言及されているコンピュータは、単一のプロセッサを含み得る、または計算能力を高めるために複数のプロセッサ設計を採用したアーキテクチャであり得る。上記の一部またはすべての機能は、プライベートまたはパブリッククラウドベースのデータセンター（ＤＣ）によって提供することもできる。
【0126】
本明細書に提示されているアルゴリズムおよび操作は、特定のコンピュータおよび他の装置に本質的に関連しない。様々な汎用システムも、本明細書の教示に従ったプログラムと共に使用することができ、また、所望の方法ステップを実行するために、より特化された装置を構築することが便利であると分かるかもしれない。これらの様々なシステムのための所望の構造は、同等の変形とともに、当業者には明らかであろう。加えて、本開示は、特定のプログラミング言語を参照して記載されていない。本明細書に記載された本開示の教示を実施するために、様々なプログラミング言語を使用できることが理解される。
【0127】
実施形態の上述の記載は、例示および記載の目的で提供されている。網羅的であることも本開示を限定することも意図されていない。特定の実施形態の個々の要素または特徴は、一般に、その特定の実施形態に限定されず、適用可能な場合には、交換可能であり、具体的に示されず記載もされていない場合であっても、選択された実施形態で使用することができる。また、同じものを様々な方法で変化させることもできる。そのような変形は、本開示からの逸脱とみなされず、そのようなすべての変更は、本開示の範囲内に含まれることが意図されている。
【0128】
図２、３、６、および７のフローチャートは、自律ユニット１０１ａ、１０１ｂ、および１０１ｃ、Ｇ－ＳＲＭＣＤ１１０ａ、１１０ｂ、および１１０ｃ、ＲＭＣＣ１０９、およびＡＩシステム１００の一部の実装の機能および動作を示すものである。ソフトウェアで具現化される場合、各ブロックは、指定された論理機能を実装するためのプログラム命令を含むコードのモジュール、セグメント、または部分を表し得る。プログラム命令は、プログラミング言語で書かれた人間が読めるステートメントを含むソースコード、または、コンピュータシステム、組み込まれたシステム、その他のシステムにおけるＧ－ＳＲＭＣＤ１１０ａ、１１０ｂ、１１０ｃ、ＲＭＣＣ１３０などの適切な実行システムによって認識可能な数値命令を含むマシンコードの形で具現化されてもよい。マシンコードは、ソースコード等から変換してもよい。ハードウェアで具現化される場合、各ブロックは、指定された論理機能を実装するための回路または相互接続された多数の回路を表し得る。
【0129】
図２、３、６、および７のフローチャートは、特定の実行順序を示しているが、実行順序は描かれているものとは異なる場合があることを理解されたい。例えば、２つ以上のブロックの実行順序は、示された順序に対してスクランブルされてもよい。また、図２、３、６、および７に連続して示されている２つ以上のブロックは、同時に実行されてもよいし、部分的に一致して実行されてもよい。さらに、いくつかの実施形態では、図２、３、６、および７に示されたブロックの１つまたは複数はスキップまたは省略されてもよい。さらに、実用性の向上、アカウンティング、パフォーマンス測定、またはトラブルシューティング補助の提供等の目的で、任意の数のカウンタ、状態変数、警告セマフォ、またはメッセージが、本明細書に記載された論理フローに追加される可能性がある。このようなすべての変形は、本開示の範囲内であることが理解される。
【0130】
また、ＲＭＣＣ１３０内のＡＩシステムアプリケーションおよび／またはアプリケーション５５０を含む、ソフトウェアまたはコードを含む本明細書に記載された任意の論理またはアプリケーションは、コンピュータシステム、組み込みシステムまたはその他のシステム内の、例えばホスト計算モジュール５１０またはＲＭＣＣ１３０などの命令実行システムによって、または命令実行システムに関連して使用するために、任意の非一時的なコンピュータ可読媒体に具現化することができる。この意味で、論理は、例えば、コンピュータ可読媒体からフェッチされ、命令実行システムによって実行されることができる命令および宣言を含むステートメントを含み得る。本開示の文脈では、「コンピュータ可読媒体」は、命令実行システムによる使用のために、または命令実行システムに関連して、本明細書に記載された論理またはアプリケーションを含み、保存し、または維持することができる任意の媒体であり得る。コンピュータ可読媒体は、例えば、磁気媒体、光学媒体、または半導体媒体などの多くの物理的媒体のいずれか１つを含むことができる。適切なコンピュータ可読媒体のより具体的な例としては、磁気テープ、磁気フロッピーディスク、磁気ハードドライブ、メモリカード、ソリッドステートドライブ、ＵＳＢフラッシュドライブ、または光ディスクが挙げられるが、これらに限定されるものではない。また、コンピュータ可読媒体は、例えば、ＳＲＡＭ（ｓｔａｔｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、およびＤＲＡＭ（ｄｙｎａｍｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、またはＭＲＡＭ（ｍａｇｎｅｔｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）を含むランダムアクセスメモリ（ＲＡＭ）であり得る。さらに、コンピュータ可読媒体は、リードオンリーメモリ（ＲＯＭ）、ＰＲＯＭ（ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＥＰＲＯＭ（ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、セキュアデジタルカード（ＳＤ）、または他のタイプのメモリデバイスであり得る。
【0131】
本明細書で使用されている言語は、主に読みやすさと説明目的のために選択されたものであり、本発明的主題を画定または周到に説明するために選択されたものではないかもしれない。したがって、本発明の範囲は、この発明を実施するための形態によってではなく、むしろ本明細書に基づく本出願において発行される請求項によって限定されることが意図されている。したがって、本発明の実施形態の開示は、本発明の範囲を例示するものであって、限定するものではないことが意図されている。
【0132】
少なくとも来たる例示的な実施形態において、例示的に開示された装置は、少なくとも１つの処理装置を含む自律ユニット遠隔監視制御センター（ＲＭＣＣ）装置であり得、ＲＭＣＣは以下のことを行うようにプログラムされ、構成される：ＲＭＣＣから遠隔操作されている、独立して管理されている複数の自律ユニット（車両、ロボット、またはドローン）に設置された複数のＧ－ＳＲＭＣＤ（Ｇｅｎｅｒｉｃ Ｓｍａｒｔ Ｒｅｍｏｔｅ Ｍｏｎｉｔｏｒ ａｎｄ Ｃｏｎｔｒｏｌ Ｄｅｖｉｃｅ）によって処理されたセンサデータ、メタデータ、ビデオおよびオーディオストリームを受信することであって、センサデータは、ＲＭＣＣの管理下で動作していない自律ユニットのデータを含む、受信すること、ＲＭＣＣから遠隔地にある複数の独立して支配された自律ユニットのインシデントリスクレベルを決定するステップであって、インシデントリスクレベルは、複数の自律ユニットにまたがって設置された複数のＧ－ＳＲＭＣＤによってキャプチャされた受信した融合画像センサデータおよびメタデータに応じて訓練された人工知能に基づいて決定され、およびインシデントリスクレベルは、１つの自律ユニットからキャプチャされた画像センサデータによって視覚的にエンコードされた物体が、少なくとも別の自律ユニットにとって関心事であるかどうかを決定する基準に基づいて決定される、決定するステップ、および、インシデントリスクレベルを所定の安全リスクレベル閾値と比較する関数として計算されたインシデントリスクマージンを決定することであって、安全リスクレベル閾値は、テストＧ－ＳＲＭＣＤによってキャプチャされた過去のトレーニングデータに応じて構成された人工知能によって事前に決定される、決定すること。同様にＲＭＣＣは、以下のことを行うようにプログラムされ、構成され得る：インシデントリスクマージンが所定の安全最小リスクマージンよりも小さいという判定に応答して、所定の安全最小リスクマージンよりも小さいインシデントリスクマージンで動作する複数の自律ユニットのうちの１つまたは複数を制御すること、複数の自律ユニットのうちの少なくとも１つの自律ユニットの速度ベクトルを変更することに基づいて、少なくとも２つの自律ユニット間の分離距離を増加させるように、複数の自律ユニットの動作を制御することに基づいて、自律ユニットの安全なインシデントリスクレベルを回復すること、インシデントリスクを所定の安全最小リスクマージンと比較することに基づいて、インシデントリスクが安全なレベルに回復したという判断に応答して、複数の自律ユニットのうちの１つまたは複数の自律ユニットに制御を戻すこと、インシデントリスクマージンが所定の安全最小リスクマージンと同等以上であるという判断に応答して、インシデントリスクレベルが安全であると判断すること。同様にＲＭＣＣは、以下のことを行うようにプログラムされ、構成され得る：複数の分散型Ｇ－ＳＲＭＣＤから受信した情報に基づいてインシデントの存在を決定することに応答して、インシデントに関与する自律ユニット、乗客、歩行者、動物、および物体、ならびにＧ－ＳＲＭＣＤから受信した情報に基づいてインシデントに関与する自律ユニット、乗客、歩行者、動物、および物体の負傷および損害の性質を判断すること、自律ユニットがインシデントの発生した場所から第２の場所に自律的に安全に移動できるかどうかを判断すること、自律ユニットを第２の場所に自律的に安全に移動できるという判断に応答して、自律ユニットを第２の場所に移動させ、自律ユニットを駐車すること。例示的に開示された装置は、インシデントリスクレベルが安全であるという判断に応答して、ＲＭＣＣモニタに人間が見ることができる緑色の指標を表示するようにプログラムおよび構成されたＲＭＣＣをさらに含み得る。また、例示的に開示された装置は、インシデントリスクレベルが危険であるという判断に応答して、ＲＭＣＣモニタに人間が見ることができる黄色の指標を表示するようにプログラムおよび構成されたＲＭＣＣを含み得る。例示的に開示された装置は、さらに、インシデントリスクレベルが安全でないという判断に応答して、ＲＭＣＣモニタに人間が見ることができる赤色の指標を表示するようにプログラムおよび構成されたＲＭＣＣを含み得る。
【0133】
少なくともいくつかの例示的な開示された実施形態では、例示的な開示された装置および関連する方法は、コントローラから遠隔地にある複数の独立して支配される自律ユニット（例えば、車両、ロボット、およびドローン）のインシデントリスクレベルを同時に監視するようにコントローラを構成すること、１つまたは複数のユニットの安全でないインシデントリスクレベルがコントローラによって決定されたことに応答して、安全なインシデントリスクレベルに回復するために、安全でないインシデントリスクレベルを有する１つまたは複数の自律ユニットを制御すること、および、インシデントリスクが安全なレベルに回復したという判断に応答して、自律ユニットに制御を戻すことに関する。例示的な例では、インシデントリスクは、複数のユニット全体に設置されたＧ－ＳＲＭＣＤ（Ｇｅｎｅｒｉｃ Ｓｍａｒｔ Ｒｅｍｏｔｅ Ｍｏｎｉｔｏｒ ａｎｄ Ｃｏｎｔｒｏｌ Ｄｅｖｉｃｅ）からのデータに基づいて、複数のユニットのそれぞれについて個別に、およびグループとして決定されてもよい。複数のユニットからのセンサデータは、自律ユニットのグループに対する正確なインシデントリスクの決定を可能にするように融合されてもよい。いくつかの例では、安全対策は、人工知能によって個々の自律ユニット、または車両、ロボット、ドローンのグループに的を絞られて、車両、ロボット、ドローン間の離隔を広げること、または車両速度を下げることに基づいて、インシデントリスクを安全なレベルに低減することができる。Ｇ－ＳＲＭＣＤは、自律ユニットからセンサデータを収集し得、人工知能の手法を用いて、自律ユニットが支援を受けるべきか、遠隔操作されるべきかを判断し、インシデントリスクレベルを更新するためのメタデータを遠隔制御オペレータに通知する。Ｇ－ＳＲＭＣＤは、インシデントリスクレベルが低い場合、またはＧ－ＳＲＭＣＤが、自律ユニットが緊急の支援を受けるべきであると検出した場合に、自律ユニットの遠隔制御をコントローラに提供することができる。
【0134】
少なくともいくつかの例示的に開示された実施形態では、例示的に開示されたＧ－ＳＲＭＣＤは、自律ユニットが支援を必要とする可能性があるときに、行き詰まった状況を予測および検出し得る。例示的に開示されたＧ－ＳＲＭＣＤは、インシデントを検出し、遠隔監視制御センター（ＲＭＣＣ）に報告することができる。例示的に開示されているＧ－ＳＲＭＣＤは、ＧＰＳデータを含む独自の遠隔測定を収集し、自律ユニットのあらゆる問題をＲＭＣＣに報告することができる。例示的に開示されたＧ－ＳＲＭＣＤは、自律ユニットが通常支援を必要とするタイミングを学習し、その特定のイベントを検出してＲＭＣＣに報告し得る。例示的に開示されているＧ－ＳＲＭＣＤは、速度制限標識、スクールゾーンを検出し、自律ユニットが交通規則に従っているかどうかを検証し、そうでない場合はＲＭＣＣに通知する。例示的に開示されたＧ－ＳＲＭＣＤは、自律ユニットが支援を受けている状況を記録し、遠隔測定データ、センサデータ、音声およびビデオは収集され、自律ユニットのメーカーと共有される。例示的に開示されたＧ－ＳＲＭＣＤは、タッチスクリーンおよびＲＭＣＣエージェントとビデオ通話できることなど、車両の乗客に複数のサービスを提供することができ、インタラクティブなアプリケーションおよびＷｉ－Ｆｉアクセスを提供することができる。乗員インターフェースには、パニックボタンまたは緊急ボタンを設けることもできる。例示的に開示されたＧ－ＳＲＭＣＤは、特に商品を配送する際に人間の対話が必要な場合に自律ユニットを支援することができる。例えば、自律ユニットは、守衛係、自動化キオスク、および／または別の当事者または装置と話をし得る。例示的に開示されたＧ－ＳＲＭＣＤは、目的地に到達しようとしているときに、遠隔支援を要求することができる（例えば、ユニットが商品を配送するのを支援するため、および車道を降りる必要がある場合）。例示的に開示されたＧ－ＳＲＭＣＤは、主に、ＬＴＥまたは５Ｇセルラーネットワーク規格のいずれかを採用した商業的な公共または民間のモバイルデータネットワークのいずれかを使用して、ＲＭＣＣに高帯域幅のビデオストリームを低遅延で提供（例えば、実質的に保証）することによって、音声およびビデオを配信し得る。例示的に開示されたＧ－ＳＲＭＣＤは、スマートインシデント防止システム（ＳＩＰＳ）、スマートインシデント報告システム（ＳＩＲＳ）、インシデントリスクレベル予測（ＩＲＬＰ）など、イベントを予測してＲＭＣＣに報告することに特化した複数のＡＩアプリケーションを含み得る。例示的なＧ－ＳＲＭＣＤは、機器との代替通信手段として、ＳＭＳモジュールを含み得る。テキストコマンドは、システムが診断し、Ｇ－ＳＲＭＣＤ内の任意のモジュールからレポートを取得することを可能にする。さらに、テキストコマンドは、アクションを要求したり、Ｇ－ＳＲＭＣＤの任意のモジュール内の機能を有効化または無効化したりすることができる。例示的に開示されたＧ－ＳＲＭＣＤは、プライベートＬＴＥネットワークまたは５Ｇネットワークを使用して、ＲＭＣＣへの高帯域ビデオストリームを低遅延で保証するように設計および最適化することができる。
【0135】
少なくともいくつかの例示的な開示された実施形態では、例示的な開示されたＡＩアプリケーションは、道路の制限速度標識を読み取り、スクールゾーンの点滅信号を検出し得る。自律ユニットが制限速度を超えた場合、ＲＭＣＣに直ちに通知することができる。
【0136】
少なくともいくつかの例示的な開示された実施形態では、例示的な開示されたＧ－ＳＲＭＣＤは、利用可能なソフトウェア更新があるかどうかを検証し、自律ユニットが動作していないときにそれらをインストールし得る。例示的に開示されたＧ－ＳＲＭＣＤは、複数のプロトコルを介してＳＭＳを送受信し得る。ＳＭＳモジュールは、テキストコマンドを受信することができる（例えば、これは、Ｇ－ＳＲＭＣＤへの通信の代替手段であり得る）。このモジュールは、Ｇ－ＳＲＭＣＤの各モジュール上でのタスクの実行、例えば、トラブルシューティングルーチンの実行、モジュールレポートの作成および送信、機能の有効化または無効化、モジュールのシャットダウンまたはスタートアップの要求、オペレーティングシステムコマンドの実行、および／またはモジュール統計の送信を可能にし得る。例示的に開示されたＧ－ＳＲＭＣＤは、ビデオ呼び出しを介して離れたエージェントと通信するためのタッチスクリーン、緊急事態の報告、および／またはタッチスクリーンもしくはＷｉ－Ｆｉサービス上での情報の表示などの乗員サービスを提供し得る。Ｗｉ－Ｆｉサービスを介して他のサービスを提供することもできる。例示的に開示されたＧ－ＳＲＭＣＤは、例えば商品を配送する場合など、人間同士の対話が必要な場合に自律ユニットを支援し得る。自律ユニットは、守衛係、自動化キオスク、および／または他のデバイスまたは個人と会話し得る。例示的に開示されたＧ－ＳＲＭＣＤは、自身の電源を提供し得る。例示的に開示されたＧ－ＳＲＭＣＤは、自律ユニット内の温度および湿度レベルをキャプチャし得る（例えば、この情報は、Ｇ－ＳＲＭＣＤがその動作条件内にあるかどうか、および、乗客がいる場合には、その乗客が快適な環境にいるかどうかを判断するのに役立ち得る。例示的に開示されたＧ－ＳＲＭＣＤは、自律ユニットが支援を受けることになる条件、および／または、遠隔測定データ、センサデータ、音声およびビデオが収集され、自律ユニットメーカーと共有されることになる条件を記録し得る。例示的に開示されたＧ－ＳＲＭＣＤは、ＲＭＣＣに転送されるデータを最小限にし得るプライベートＬＴＥネットワークにより、また、Ｇ－ＳＲＭＣＤの処理能力を向上させることにより、音声およびビデオを比較的迅速に（例えば、はるかにより速く）ＲＭＣＣに配信し得る。
【0137】
少なくともいくつかの例示的に開示された実施形態では、例示的に開示されたＧ－ＳＲＭＣＤのＡＩアプリケーションは、事故の報告に加えて、事故を防止するように設計されてもよい。Ｇ－ＳＲＭＣＤは、コンピュータビジョンアルゴリズムを使用して、自律ユニットが事故を防止するために遠隔操作を必要とする場合に、ＲＭＣＣに報告し得る。例示的に開示されたＧ－ＳＲＭＣＤは、事故が起こりそうな場合、または潜在的な事故を回避するために、直ちに行動を起こすように自律ユニットに指示し得る（例えば、少なくともいくつかの例示的な実施形態では、これにより、ＲＭＣＣにセンサデータを送信するよりも迅速な意思決定プロセスが提供され得る）。例示的に開示されたＧ－ＳＲＭＣＤは、ＳＭＳを使用した代替的な通信技術を有し得、これにより、冗長性およびＧ－ＳＲＭＣＤとの容易な通信チャネルが追加され得る。例示的に開示されたＧ－ＳＲＭＣＤは、遠隔制御オペレータと話したり、助けを求めたりする可能性を提供することによって、自律走行車に「人間味」を加え得る。Ｇ－ＳＲＭＣＤのタッチスクリーンを使用することによって、緊急サービスを要請する代替方法を提供することができる。例示的に開示されたＧ－ＳＲＭＣＤは、Ｗｉ－Ｆｉサービスを提供し得、これは、車両の乗客がインターネットに接続できる前に、広告オプションの機会を提供し得る。例示的に開示されたＧ－ＳＲＭＣＤは、守衛係または自動化キオスクと対話する方法を提供するので、自律型配送装置の機能を拡張し得る。例示的に開示されたＧ－ＳＲＭＣＤは、独自のバッテリ電力を提供し得、これにより、自律ユニットのバッテリの消費が回避され得る（例えば、電気自動車の性能が向上され得る）。
【0138】
少なくともいくつかの例示的な開示された実施形態では、例示的な開示されたシステムは、不揮発性メモリに格納されたコンピュータ実行可能コードを含む制御モジュールと、プロセッサと、制御センター装置（例えば、ＲＭＣＣ）と、制御センター装置から遠隔で動作する複数の自律装置とを含み、複数の自律装置のそれぞれは、制御装置（例えば、Ｇ－ＳＲＭＣＤ）を含む。制御モジュール、プロセッサ、制御センター装置、および制御装置は、複数の自律装置のそれぞれに配置された１つまたは複数の収集装置を使用してデータを収集し、複数の自律装置に配置された制御装置を使用して収集されたデータを処理し、複数の自律装置が制御センター装置による制御を受けずに自律的に動作しているときに、制御装置から制御センター装置に処理されたデータを転送し、制御装置から転送された処理済みデータに応じて人工知能を訓練し、人工知能に基づいて、制御センター装置による制御なしに動作する複数の自律装置のインシデントリスクレベルを決定し、インシデントリスクレベルに基づいて、複数の自律装置のうちの少なくとも１つを制御するように構成することができる。複数の自律装置は、車両、ロボット、およびドローンからなる群から選択することができる。複数の自律装置のそれぞれに配置された１つまたは複数の収集装置は、センサおよび撮像装置からなる群から選択することができる。制御装置から制御センター装置への処理済みデータの転送は、センサデータ、メタデータ、ビデオデータ、および音声データのストリーミングを含み得る。インシデントリスクレベルは、自律装置の１つに配置された制御装置の１つによって転送された処理済みデータの画像センサデータによって視覚的に符号化された物体が、自律装置の少なくとも別の装置の動作に影響を与えるかどうかを判断する基準に基づいて決定されてもよい。制御モジュール、プロセッサ、制御センター装置、および制御装置は、インシデントリスクレベルを所定の安全リスクレベル閾値と比較することに基づいて、インシデントリスクマージンを決定するようにさらに構成されてもよい。所定の安全リスクレベル閾値は、人工知能が、テスト制御装置によってキャプチャされた過去のトレーニングデータに応じて構成されることによって、事前に決定されてもよい。制御モジュール、プロセッサ、制御センター装置、および制御装置は、インシデントリスクマージンが所定の安全最小リスクマージンよりも小さいという決定に応答して、制御センター装置から１つまたは複数の制御装置にデータを転送することによって、所定の安全最小リスクマージンよりも小さいインシデントリスクマージンで動作し得る、複数の自律装置のうちの少なくとも１つを制御し、複数の自律装置のうちの少なくとも１つの動作を制御することによって、複数の自律装置のうちの少なくとも１つの速度ベクトルを変化させることにより、複数の自律装置のうちの２つ以上の間の分離距離を増加させるようにさらに構成することができる。制御モジュール、プロセッサ、制御センター装置、および制御装置は、複数の自律装置のうちの少なくとも１つの動作を制御することに基づいて、複数の自律装置の安全インシデントリスクレベルを復元し、複数の自律装置の安全インシデントリスクレベルが復元されたときに、複数の自律装置のうちの少なくとも１つに制御を戻すようにさらに構成することができる。安全インシデントリスクレベルを復元することは、インシデントリスクを所定の安全最小リスクマージンと比較することに基づいて、安全インシデントリスクレベルを決定することを含み得る。制御モジュール、プロセッサ、制御センター装置、および制御装置は、インシデントリスクマージンが所定の安全最小リスクマージンと等しいか、またはそれよりも大きいという判定に応答して、インシデントリスクレベルが安全であると判定するようにさらに構成することができる。
【0139】
少なくともいくつかの例示的な開示された実施形態において、例示的な開示された方法は、制御センター装置（例えば、ＲＭＣＣ）を提供することと、制御センター装置から遠隔で動作する複数の自律装置を提供することであって、複数の自律装置のそれぞれが制御装置（例えば、Ｇ－ＳＲＭＣＤ）を含む、提供することと、複数の自律装置のそれぞれに配置された１つまたは複数の収集装置を使用してデータを収集することと、複数の自律装置に配置された制御装置を使用して収集されたデータを処理することと、複数の自律装置が制御センター装置による制御なしに自律的に動作しているときに、制御装置から制御センター装置に処理済みデータを転送することと、を含み得る。例示的に開示された方法はまた、制御装置から転送された処理済みデータに応じて人工知能を訓練することと、人工知能に基づいて、制御センター装置による制御なしで動作する複数の自律装置のインシデントリスクレベルを決定することと、インシデントリスクレベルに基づいて、複数の自律装置のうちの少なくとも１つを制御することとを含み得る。例示的な開示された方法は、処理済みデータに応じて訓練された人工知能に基づいてインシデントを特定することに応答して、制御装置からの処理済みデータに基づいて、インシデントに関与する１つまたは複数のアイテム、および１つまたは複数のアイテムの損傷の性質を決定することをさらに含み得る。例示的に開示された方法は、人工知能に基づいて、インシデントが発生した第１の場所から第２の場所に自律装置が自律的に安全に移動可能であるかどうかを判断することと、自律装置が自律的に第１の場所から第２の場所に安全に移動可能であると判断された場合に、自律装置を自律的に第１の場所から第２の場所に自律的に移動させることとをさらに含み得る。１つまたは複数のアイテムは、自律装置、乗客、歩行者、動物、物理的物体、およびそれらの組み合わせの群から選択された少なくとも１つを含み得る。例示的に開示された方法はまた、インシデントリスクレベルが安全であるときに制御センター装置のユーザインターフェース上に第１の表示を表示すること、インシデントリスクレベルが危険であるときに制御センター装置のユーザインターフェース上に第２の表示を表示すること、およびインシデントリスクレベルが安全でないときに制御センター装置のユーザインターフェース上に第３の表示を表示することを含み得る。第１の表示は、人間が見ることができる緑色の表示であり得る。第２の表示は、人間が見ることができる黄色の表示であり得る。第３の表示は、人間が見ることができる赤色の表示であり得る。処理済みデータは、ＬＴＥまたは５Ｇ規格のいずれかを利用する商業用のパブリックまたはプライベートのモバイルデータネットワークを介して、制御装置から制御センター装置に転送される。処理済みデータは、高帯域の音声およびビデオストリームを含み得る。
【0140】
少なくともいくつかの例示的な開示された実施形態では、例示的な開示されたシステムは、不揮発性メモリに格納されたコンピュータ実行可能コードを含む制御モジュールと、プロセッサと、制御センター装置（例えば、ＲＭＣＣ）と、制御センター装置から遠隔で動作する複数の自律装置とを含み得、複数の自律装置のそれぞれは、制御装置（例えば、Ｇ－ＳＲＭＣＤ）を含む。制御モジュール、プロセッサ、制御センター装置、および制御装置は、複数の自律装置のそれぞれに配置されたセンサまたは撮像装置を使用してデータを収集し、複数の自律装置に配置された制御装置のそれぞれを使用して収集されたデータを処理し、複数の自律装置が制御センター装置による制御なしに自律的に動作しているときに、制御装置のそれぞれから処理済みデータを制御センター装置に転送し、制御装置のそれぞれから転送された処理済みデータに応じて人工知能を訓練し、人工知能に基づいて、制御センター装置による制御なしで動作している複数の自律装置のインシデントリスクレベルを決定し、インシデントリスクレベルに基づいて複数の自律装置の少なくとも１つを制御し、インシデントリスクレベルと所定の安全リスクレベル閾値との比較に基づいてインシデントリスクマージンを決定し、制御センター装置から１つまたは複数の制御装置にデータを転送することによって、所定の安全最小リスクマージンよりも小さいインシデントリスクマージンで動作している複数の自律装置の少なくとも１つを制御するように構成することができる。制御モジュール、プロセッサ、制御センター装置、および制御装置は、複数の自律装置のうちの少なくとも１つの自律装置の動作を制御することによって、複数の自律装置のうちの少なくとも１つの速度ベクトルを変化させることにより、複数の自律装置のうちの２つ以上の間の分離距離を増加させるようにさらに構成することができる。制御装置のそれぞれは、収集されたデータを継続的に収集、処理、および分析して処理済みデータを生成し、制御装置モジュールのコンピュータビジョンプログラムを使用して自律装置の近くの物体および環境を認識するように構成された人工知能層を有する制御装置モジュール（例えば、ホスト計算モジュール５１０）を含み得る。
【0141】
例示的に開示されたシステムおよび方法は、車両の遠隔監視のための任意の適切なアプリケーションで使用することができる。例えば、例示的に開示されたシステムおよび方法は、自律走行車、ロボット、および／またはドローンの遠隔監視のための任意の適切なアプリケーションで使用することができる。
【0142】
例示的に開示されたシステムおよび方法は、車両の遠隔監視のための効率的かつ効果的な技術を提供し得る。また、例示的に開示されたシステムおよび方法は、潜在的な人工知能の倫理的ジレンマを低減または実質的に排除し得る。例示的に開示されたシステムおよび方法は、複数の独立した自律ユニットを監視し、独立した自律ユニットの１つまたは複数の制御を行なってユニットの動作を支配し、安全な動作が復元されたときに１つまたは複数の独立した自律ユニットに制御を戻すことを提供し得る。
【0143】
本開示のシステムの実施形態で使用するのに適切なコンピューティングデバイスの例示的な表現が、図８に示されている。コンピューティングデバイス１１００は、一般的に、中央処理装置（ＣＰＵ、１１０１）、グラフィックス処理装置（ＧＰＵ）を含む任意選択のさらなる処理装置、ランダムアクセスメモリ（ＲＡＭ、１１０２）、マザーボード１１０３、または代替的／追加的に記憶媒体（例えば、ハードディスクドライブ、ソリッドステートドライブ、フラッシュメモリ、クラウドストレージ）、オペレーティングシステム（ＯＳ、１１０４）、１つまたは複数のアプリケーションソフトウェア１１０５、表示要素１１０６、および１つまたは複数の通信インターフェース（例えば、ＲＳ２３２、イーサネット、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、ＵＳＢ）を含む１つまたは複数の入力／出力デバイス／手段１１０７から構成されることができる。有用な例としては、パーソナルコンピュータ、スマートフォン、ラップトップ、モバイルコンピューティングデバイス、タブレットＰＣ、およびサーバが挙げられるが、これらに限定されない。複数のコンピューティングデバイスは、クラスタ化されたコンピューティングデバイスおよびサーバーバンク／ファームなど、１つまたは複数のリソースを分散して共有するような方法で、コンピュータネットワークを形成するために動作可能にリンクさせることができる。
【0144】
本開示の実施形態に適したそのような汎用マルチユニットコンピュータネットワークの様々な例、それらの典型的な構成、および多くの標準化された通信リンクは、より詳細に説明されるように、および以下で考察される図９によって示されるように、当業者によく知られている。
【0145】
本開示の例示的な実施形態によれば、データは、ローカルエリアネットワーク（ＬＡＮ）（例えば、オフィスネットワーク、ホームネットワーク）またはワイドエリアネットワーク（ＷＡＮ）（例えば、インターネット）を介して、システムに転送され、システムによって記憶され、および／またはシステムによってシステムのユーザに転送されてもよい。先の実施形態によれば、システムは、１つまたは複数のＬＡＮおよび／またはＷＡＮを介して通信可能に接続された多数のサーバから構成されてもよい。当業者であれば、システムが構成され得る多数の方法があり、本開示の実施形態が任意の構成で使用されることが企図されていることを理解するであろう。
【0146】
一般に、本明細書で提供されるシステムおよび方法は、ネットワークに接続されているか否かにかかわらず、コンピューティングデバイスのユーザによって採用されることができる。同様に、本明細書で提供される方法のいくつかのステップは、接続されているかどうかにかかわらず、システムのコンポーネントおよびモジュールによって実行されてもよい。そのようなコンポーネント／モジュールがオフラインである間、それらが生成したデータは、オフラインのコンポーネント／モジュールがネットワークの残りの部分（またはその関連部分）と再びオンライン状態になると、システムの関連する他の部分に転送される。本開示の一実施形態によれば、本開示のアプリケーションの一部は、ネットワークに接続されていないときにはアクセスできないかもしれないが、ユーザまたはシステム自体のモジュール／コンポーネントは、ユーザ／オフラインのシステムコンポーネントまたはモジュールが後でシステムネットワークに接続されたときに、システムまたはその他のコンポーネントによって消費されるデータを、システムの残りの部分からオフラインで構成することができるかもしれない。
【0147】
図９を参照すると、本開示の実施形態によるシステムの概略的な概要が示されている。システムは、システムで使用される情報を電子的に格納するための１つまたは複数のアプリケーションサーバ１２０３から構成される。サーバ１２０３内のアプリケーションは、記憶装置内の情報を取得して操作し、ＷＡＮ１２０１（例えば、インターネット）を介して情報を交換してもよい。また、サーバ１２０３内のアプリケーションは、遠隔地に保存された情報を操作し、ＷＡＮ１２０１（例えば、インターネット）の全域で遠隔地に保存されたデータを処理および分析するために使用されてもよい。
【0148】
例示的な実施形態によれば、図９に示すように、ＷＡＮ１２０１または他のネットワークを介した情報の交換は、１つまたは複数の高速接続を介して行われ得る。場合によっては、高速接続は、ＯＴＡ（Ｏｖｅｒ－ｔｈｅ－Ａｉｒ）であり得るか、ネットワーク化されたシステムを介して送られるか、１つまたは複数のＷＡＮ１２０１に直接接続されるか、または１つまたは複数のルータ１２０２を介して方向付けられてもよい。ルータ１２０２は完全に任意であり、本開示による他の実施形態は、１つまたは複数のルータ１２０２を利用してもしなくてもよい。当業者であれば、サーバ１２０３が情報交換のためにＷＡＮ１２０１に接続し得る多数の方法があり、本開示の実施形態は、情報交換の目的でネットワークに接続するための任意の方法で使用することが企図されていることを理解するであろう。さらに、本出願は高速接続に言及しているが、本開示の実施形態は、任意の速度の接続で利用されてもよい。
【0149】
システムのコンポーネントまたはモジュールは、多数の方法で、ＷＡＮ１２０１または他のネットワークを介してサーバ１２０３に接続してもよい。例えば、コンポーネントまたはモジュールは、ｉ）ＷＡＮ１２０１に直接接続されたコンピューティングデバイス１２１２を介して、ｉｉ）ルーティングデバイス１２０４を介してＷＡＮ１２０１に接続されたコンピューティングデバイス１２０５、１２０６を介して、ｉｉｉ）ワイヤレスアクセスポイント１２０７に接続されたコンピューティングデバイス１２０８、１２０９、１２１０を介して、またはｉｖ）ＷＡＮ１２０１への無線接続（例えば、ＣＤＭＡ、ＧＭＳ、３Ｇ、４Ｇ、５Ｇ）を介してコンピューティングデバイス１２１１を介して、システムに接続し得る。当業者であれば、コンポーネントまたはモジュールがＷＡＮ１２０１または他のネットワークを介してサーバ１２０３に接続し得る数多くの方法があり、本開示の実施形態は、ＷＡＮ１２０１または他のネットワークを介してサーバ１２０３に接続するための任意の方法で使用することが企図されていることを理解するであろう。さらに、サーバ１２０３は、他のコンピューティングデバイスが接続するためのホストとして機能する、スマートフォンなどのパーソナルコンピューティングデバイスから構成され得る。
【0150】
システムの通信手段は、１つまたは複数のネットワークを介して、またはシステムに取り付けられた１つまたは複数の周辺機器に、またはシステムモジュールもしくはコンポーネントに、画像およびビデオを含むデータを通信するための任意の手段であり得る。適切な通信手段には、無線接続、有線接続、セルラー接続、データポート接続、Ｂｌｕｅｔｏｏｔｈ（登録商標）接続、近距離無線通信（ＮＦＣ）接続、またはそれらの任意の組み合わせが含まれるが、これらに限定されない。当業者であれば、本開示の実施形態で利用することができる多数の通信手段があり、本開示の実施形態は、任意の通信手段で使用することが企図されていることを理解するであろう。
【0151】
伝統的に、コンピュータプログラムは、計算命令またはプログラム命令の有限のシーケンスを含む。プログラマブル装置またはコンピューティングデバイスは、そのようなコンピュータプログラムを受け取り、その計算命令を処理することによって、技術的効果を生み出すことができることが理解されるであろう。
【0152】
プログラマブル装置またはコンピューティングデバイスは、１つまたは複数のマイクロプロセッサ、マイクロコントローラ、組み込まれたマイクロコントローラ、プログラマブルデジタルシグナルプロセッサ、プログラマブルデバイス、プログラマブルゲートアレイ、プログラマブルアレイロジック、メモリデバイス、特定用途向け集積回路などを含み、これらは、コンピュータプログラム命令を処理する、コンピュータロジックを実行する、コンピュータデータを格納するなどのために好適に採用または構成することができる。本開示などを通じて、コンピューティングデバイスは、少なくとも１つの汎用コンピュータ、特殊目的コンピュータ、プログラマブルデータ処理装置、プロセッサ、プロセッサアーキテクチャなどのありとあらゆる適切な組み合わせを含むことができる。コンピューティングデバイスは、コンピュータ可読記憶媒体を含むことができ、この媒体は、内部または外部の、取り外し可能で交換可能なもの、または固定されたものである可能性があることが理解されよう。また、コンピューティングデバイスは、基本入出力システム（ＢＩＯＳ）、ファームウェア、オペレーティングシステム、データベースなどを含むことができ、これらは、本明細書に記載されているソフトウェアおよびハードウェアを含み、それらとインターフェースし、またはそれらをサポートすることができることも理解されるであろう。
【0153】
本明細書に記載のシステムの実施形態は、従来のコンピュータプログラムを含むアプリケーションおよびそれを実行するプログラマブル装置に限定されない。例えば、本明細書で特許請求される本開示の実施形態は、光学コンピュータ、量子コンピュータ、アナログコンピュータなどを含み得ることが企図される。
【0154】
関係するコンピュータプログラムまたはコンピューティングデバイスのタイプにかかわらず、コンピュータプログラムをコンピューティングデバイスにロードして、描かれた機能のすべてを実行することができる特定のマシンを作り出すことができる。この特定のマシン（またはそのネットワーク化された構成）は、描かれた機能のすべてを実行するための技術を提供する。
【0155】
１つまたは複数のコンピュータ可読媒体の任意の組み合わせを利用することができる。コンピュータ可読媒体は、コンピュータ可読信号媒体またはコンピュータ可読記憶媒体であり得る。コンピュータ可読記憶媒体は、例えば、電子的、磁気的、光学的、電磁的、赤外線的、または半導体システム、装置、もしくはデバイス、またはこれらの任意の適切な組み合わせであり得るが、これらに限定されない。コンピュータ可読記憶媒体の例としては、１本以上のワイヤを有する電気接続部、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリーメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、光記憶装置、磁気記憶装置、またはこれらの任意の適切な組み合わせが挙げられ得る。本文書の文脈において、コンピュータ可読記憶媒体は、命令実行システム、装置、またはデバイスによる、またはそれらに関連する使用のためのプログラムを含む、または保存することができる任意の有形媒体であり得る。
【0156】
データストアは、データベース、ファイルストレージシステム、リレーショナルデータストレージシステム、またはデータを格納するように構成された任意の他のデータシステムまたは構造のうちの１つまたは複数から構成されてもよい。データストアは、データを受け取り、処理し、格納するためのリレーショナルデータベース管理システム（ＲＤＢＭＳ）と連携して動作するリレーショナルデータベースであり得る。データストアは、移動情報および推定情報の処理に関連する情報を格納するための１つまたは複数のデータベース、ならびに移動情報および推定情報の格納および検索のために構成された１つまたは複数のデータベースを含み得る。
【0157】
コンピュータプログラム命令は、コンピュータまたは他のプログラム可能なデータ処理装置に特定の方法で機能するように指示することができるコンピュータ可読メモリに格納することができる。コンピュータ可読メモリに格納された命令は、描かれた機能のすべてを実施するためのコンピュータ可読命令を含む製造品を構成する。
【0158】
コンピュータ可読信号媒体は、例えば、ベースバンドで、または搬送波の一部として、その中にコンピュータ可読プログラムコードが具現化された伝搬データ信号を含み得る。そのような伝搬信号は、電磁的、光学的、またはそれらの任意の適切な組み合わせを含むがこれらに限定されない、様々な形態のいずれかを取り得る。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体ではなく、命令実行システム、装置、またはデバイスによるまたはそれらに関連した使用のためのプログラムを通信、伝播、またはトランスポートすることができるいずれかのコンピュータ可読媒体であり得る。
【0159】
コンピュータ可読媒体上に具現化されたプログラムコードは、無線、有線、光ファイバケーブル、ＲＦ、その他、または前述のものの任意の適切な組み合わせを含むがこれらに限定されない任意の適切な媒体を使用して伝送することができる。
【0160】
コンピュータプログラム命令は、コンピュータ実行可能コードを含み得ることが理解されるであろう。コンピュータプログラム命令を表現するための様々な言語が可能であり、これには限定されないが、Ｃ、Ｃ＋＋、Ｊａｖａ、ＪａｖａＳｃｒｉｐｔ、アセンブリ言語、Ｌｉｓｐ、ＨＴＭＬ、Ｐｅｒｌなどが含まれる。そのような言語には、アセンブリ言語、ハードウェア記述言語、データベースプログラミング言語、関数型プログラミング言語、命令型プログラミング言語などが含まれ得る。いくつかの実施形態では、コンピュータプログラム命令は、コンピューティングデバイス、プログラマブルデータ処理装置、プロセッサまたはプロセッサアーキテクチャの異種の組み合わせなどで実行するために、格納、コンパイル、または解釈することができる。限定されないが、本明細書に記載のシステムの実施形態は、クライアント／サーバソフトウェア、サービスとしてのソフトウェア、ピアツーピアソフトウェアなどを含む、ウェブベースのコンピュータソフトウェアの形態をとることができる。
【0161】
いくつかの実施形態では、コンピューティングデバイスは、複数のプログラムまたはスレッドを含むコンピュータプログラム命令の実行を可能にする。複数のプログラムまたはスレッドは、プロセッサの利用率を高め、実質的に同時の機能を容易にするために、多かれ少なかれ同時に処理されてもよい。実装の方法として、本明細書に記載されているすべての方法、プログラムコード、プログラム命令などは、１つまたは複数のスレッドに実装することができる。スレッドは、他のスレッドを生成することができ、これらのスレッドは、それ自体、関連する割り当てられた優先順位を持つことができる。いくつかの実施形態では、コンピューティングデバイスは、プログラムコードで提供される命令に基づいて、優先順位または他の任意の順序に基づいて、これらのスレッドを処理することができる。
【0162】
前述の図面および記載は、開示されたシステムの機能的側面を記載しているが、これらの機能的側面を実装するためのソフトウェアの特定の構成は、明示的に述べられていない限り、または文脈から明らかでない限り、これらの記載から推測されるべきではない。
【0163】
複数の実施形態が開示されているが、本開示のさらに他の実施形態は、この詳細な記載から当業者に明らかになるであろう。本明細書に記載されている選択肢は、例示のための例であり、選択肢を如何様にも限定するものではない。本発明のステップは、異なる順序で実行してもなお、望ましい結果を得ることができる。本明細書に記載された本発明に様々な変更および修正を加えることは、当業者にとって明らかであろう。これらの変形は、本明細書に記載されているものの範囲および趣旨から逸脱する範囲において、そこに包含されることが意図されている。当業者であれば、添付の特許請求の範囲によって包含される発明の範囲から逸脱することなく、その中で形態および細部における様々な変更を行うことができることが理解されるであろう。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【外国語明細書】