特表 2023-526447 自動化車両制御分散ネットワークの装置及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-06-21

(54)【発明の名称】自動化車両制御分散ネットワークの装置及び方法

(51)【国際特許分類】

   G08G 1/09 20060101AFI20230614BHJP

   B60W 60/00 20200101ALI20230614BHJP

   B60W 50/08 20200101ALI20230614BHJP

   G08G 1/01 20060101ALI20230614BHJP

【ＦＩ】

G08G1/09 F

B60W60/00

B60W50/08

G08G1/01 C

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2022570563

(86)(22)【出願日】2021-05-21

(85)【翻訳文提出日】2023-01-13

(86)【国際出願番号】 US2021033774

(87)【国際公開番号】W WO2021242646

(87)【国際公開日】2021-12-02

(31)【優先権主張番号】16/987,399

(32)【優先日】2020-08-07

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】63/029,542

(32)【優先日】2020-05-24

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】522450602

【氏名又は名称】レムコ コーポレーション

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(72)【発明者】

【氏名】パン，シャオウェイ

(72)【発明者】

【氏名】ポンテ，ブライアン

【テーマコード（参考）】

3D241

5H181

【Ｆターム（参考）】

3D241BA49

3D241BA63

3D241BA65

3D241CD10

3D241CE02

3D241CE08

3D241CE09

3D241DA52Z

3D241DB01Z

3D241DB05Z

5H181AA01

5H181BB04

5H181BB20

5H181CC04

5H181FF13

5H181FF27

(57)【要約】

自動化車両制御分散ネットワークノードであり、これは、道路の同じ側にある、２つの近隣の沿道ノードと通信する為の少なくとも２つのモデムと、無線接続を介して車両と通信する為の少なくとも１つのアンテナと、暗視機能を含む複数の高速高解像度ビデオカメラからの画像データを使用してパターンを検出するように動作するパターン認識処理と、パターン認識処理と作用的に結合されて、パターン認識処理を使用して車両の位置、速度、及び方向を予測するように動作する車両予測処理と、車両予測データを受け取る為に車両予測処理と作用的に結合され、少なくとも１つのアンテナと作用的に結合されて、車両予測処理から受け取った車両予測データに対する応答として、加速、減速、及び操舵の制御信号を複数の車両に送信するように動作する車両制御装置と、を含む。

【特許請求の範囲】

【請求項1】

自動化車両制御分散ネットワークノードであって、
道路の同じ側にある２つの近隣の沿道ノードと通信する為の少なくとも２つのモデムと、
無線接続を介して車両と通信する為の少なくとも１つのアンテナと、
暗視機能を含む複数の高速高解像度ビデオカメラからの画像データを使用してパターンを検出するように動作するパターン認識処理と、
前記パターン認識処理と作用的に結合されて、前記パターン認識処理を使用して車両の位置、速度、及び方向を予測するように動作する車両予測処理と、
車両予測データを受け取る為に前記車両予測処理と作用的に結合され、前記少なくとも１つのアンテナと作用的に結合されて、前記車両予測処理から受け取った車両予測データに対する応答として、加速、減速、及び操舵の制御信号を複数の車両に送信するように動作する車両制御装置と、
を含む自動化車両制御分散ネットワークノード。

【請求項2】

前記パターン認識処理と作用的に結合された、暗視機能を含む少なくとも１つの高速高解像度ビデオカメラ
を含む、請求項１に記載の自動化車両制御分散ネットワークノード。

【請求項3】

前記道路の向こう側にある第３の近隣ノードと通信する為の少なくとも第３のモデム
を更に含む、請求項１に記載の自動化車両制御分散ネットワークノード。

【請求項4】

前記少なくとも２つのモデム、前記少なくとも１つのアンテナ、及び前記車両制御装置と作用的に結合された無線、分散コアネットワーク並びに車両処理
を更に含む、請求項１に記載の自動化車両制御分散ネットワークノード。

【請求項5】

前記車両予測処理は、機械学習アルゴリズムを使用して実施される、請求項１に記載の自動化車両制御分散ネットワークノード。

【請求項6】

複数の、作用的に結合された、請求項１に記載の自動化車両制御分散ネットワークノードを含む自動化車両制御分散ネットワーク。

【請求項7】

前記パターン認識処理は更に、
近隣ノードのカメラからの画像データを使用して、前記ノード画像から欠落した点を検出する
ように動作する、
請求項１に記載の自動化車両制御分散ネットワークノード。

【請求項8】

前記無線、分散コアネットワーク並びに車両処理は、第４世代（４Ｇ）及び（第５世代）（５Ｇ）の無線アクセス構成要素及び関連する分散コアネットワークを含む、請求項４に記載の自動化車両制御分散ネットワークノード。

【請求項9】

複数の道路カメラから高速高解像度ビデオデータを取得することと、
前記高速高解像度ビデオデータを使用して、少なくとも１つの車両について、車両の位置、方向、及び速度を特定することと、
前記少なくとも１つの車両の位置を予測することと、
前記予測された位置に基づいて、加速、減速、及び操舵のコマンドを前記車両に送信することと、
を含む方法。

【請求項10】

複数の沿道ポールにマウントされた少なくとも１つのカメラから前記高速高解像度ビデオデータを取得して、タイムスタンプ付きの３次元画像を取得すること
を更に含む、請求項９に記載の方法。

【請求項11】

前記３次元画像に対して画像補正を実施して補正済み画像を生成することと、
前記補正済み画像を使用して、少なくとも１つの車両について、車両の位置、方向、及び速度を特定することと、
を更に含む、請求項１０に記載の方法。

【請求項12】

加速、減速、及び操舵のコマンドを複数の車両に、ユニキャストインターネットプロトコル（ＩＰ）パケットとして送信すること
を更に含む、請求項９に記載の方法。

【請求項13】

加速、減速、及び操舵のコマンドを複数の車両に、マルチキャストインターネットプロトコル（ＩＰ）パケットとして送信すること
を更に含む、請求項１２に記載の方法。

【請求項14】

複数の環境センサから環境データを取得すること
を更に含む、請求項９に記載の方法。

【請求項15】

トランスポンダと通信することによって、複数の環境センサと前記トランスポンダとを含む舗装道路マーカを介して、前記複数の環境センサから環境データを取得すること
を更に含む、請求項９に記載の方法。

【請求項16】

トランスポンダと通信することによって、複数のセンサと前記トランスポンダとを含む舗装道路マーカを介して、前記複数のセンサから地理的位置データを取得することと、
前記地理的位置データを使用して、前記３次元画像を較正することと、
を更に含む、請求項１０に記載の方法。

【請求項17】

複数の道路高速高解像度カメラを使用して道路を監視して、車両、動物、歩行者、道路異常、及び障害物を検出することと、
検出された車両、動物、歩行者、道路異常、及び障害物のそれぞれについて予測モデルを作成することと、
少なくとも１つの予測モデルに基づいて、少なくとも１つの車両に対する制御アクションを決定することと、
前記決定された制御アクションに基づいて、前記少なくとも１つの車両に加速、減速、及び操舵のコマンドを送信することと、
を含む方法。

【請求項18】

前記複数の道路高速高解像度カメラを介して、前記少なくとも１つの車両についての制御フィードバックを受け取ることと、
前記制御フィードバックに基づいて調節された加速、減速、及び操舵のコマンドを前記少なくとも１つの車両に送信することと、
を更に含む、請求項１７に記載の方法。

【請求項19】

前記少なくとも１つの車両と自動化車両制御分散ネットワークとの間の、複数の沿道ノードを介しての複数の無線接続を保持することと、
前記少なくとも１つの車両と前記自動化車両制御分散ネットワークとの間に通信遅延がないように、前記少なくとも１つの車両が道路に沿って移動しながら、前記少なくとも１つの車両によって少なくとも１つの更なる沿道ノードにメイクビフォアブレーク無線ハンドオフを連続的に実施することと、
を更に含む、請求項１７に記載の方法。

【請求項20】

前記複数の沿道ノードを使用して、加速、減速、及び操舵のコマンドを、前記少なくとも１つの車両に冗長的に送信すること
を更に含む、請求項１９に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、参照によって完全な形で本明細書に組み込まれていて、本出願と同じ譲受人に譲渡されている、２０２０年５月２４日に出願された米国仮特許出願第６３／０２９，５４２号、件名「自動化車両制御分散ネットワークの装置及び方法（AUTOMATED VEHICLE CONTROL DISTRIBUTED NETWORK APPARATUSES AND METHODS）」の優先権を主張するものである。

【0002】

本開示の分野
本開示は、全般的には、モノのインターネット（ＩｏＴ）に関し、より具体的には、自動化車両制御の方法及び装置に関する。

【背景技術】

【0003】

背景
ソサエティ・オブ・オートモーティブ・エンジニアズ（ＳＡＥ）は、自動化車両システムの自動化レベルを定義しており、これには、操舵の実行、加速及び減速、運転環境の監視、動的運転タスクの縮退運転性能、並びに条件付き自動化、高度自動化、及び完全自動化（ＳＡＥレベル５）等の運転モードで定義されるシステム機能等の機能が含まれる。ＳＡＥレベル５自動化では、自動運転システムは、人間の運転者が対処できるあらゆる道路条件及び環境条件の下で動的運転タスクの全ての態様を実施する。既存の自動運転システムは、車載人工知能（ＡＩ）システムをベースとしている。しかしながら、ＳＡＥレベル５は、既存の車載ＡＩシステムでは達成できない。

【図面の簡単な説明】

【0004】

図面の簡単な説明

【図1】様々な実施形態による、自動化車両制御分散ネットワークを有する道路の図である。

【図2】様々な実施形態による、図１に示した道路の図であり、自動化車両が自動化車両制御分散ネットワークと通信している様子を示している。

【図3】様々な自動化車両が自動化車両制御分散ネットワークと通信している様子を示す図である。

【図4】様々な実施形態によるノードの図である。

【図5】様々な実施形態による舗装道路マーカの図である。

【図6】幾つかの実施形態による、自動化車両が自動化車両制御分散ネットワークと通信していて、自動化車両同士でも通信している様子を示す道路の図である。

【図7】幾つかの実施形態による、自動化車両が自動化車両制御分散ネットワークの様々なノードへのハンドオーバを実施する様子を示す道路の図である。

【図8】一実施形態による、道路上の物体のパターン認識を１００倍強化するように動作するノード処理装置の図である。

【図9】様々な実施形態による、自動化車両制御分散ネットワークの動作方法を示すフローチャートである。

【図10】様々な実施形態による、自動化車両制御分散ネットワークの動作方法を示すフローチャートである。

【図11】様々な実施形態による、自動化車両制御分散ネットワークの動作方法を示すフローチャートである。

【図12】様々な実施形態による、自動化車両が沿道ノード間でハンドオーバする動作方法を示すフローチャートである。

【図13】様々な実施形態による、自動化車両制御分散ネットワークの動作方法を示すフローチャートである。

【発明を実施するための形態】

【0005】

詳細な説明
手短に言えば、本開示は、人間の運転者によるインタラクション又は制御に全くよらずに、あらゆる道路条件及び環境条件の下で動的運転タスクの全ての態様を実施する、完全自動化された自動運転システムを可能にする自動化車両制御分散ネットワークを提供する。本開示の自動化車両制御分散ネットワークは、ＳＡＥレベル２自動化からＳＡＥレベル５自動化への進化を可能にする。

【0006】

本開示の自動化車両制御分散ネットワークは、周囲物体の速度、位置、及び方向を含み、これに限定されない、車両の周囲環境の検出を可能にする。そのような周囲物体として、人間、動物、工事車両、他の車両等が考えられ、これらに限定されない。深い穴、氷、他の物体等を含み、これらに限定されない、あらゆる道路条件が３次元（３Ｄ）で検出される。

【0007】

本開示は、自動化車両制御分散ネットワークノードを提供し、これは、道路の同じ側にある、２つの近隣の沿道ノードと通信する為の少なくとも２つのモデムと、無線接続で車両と通信する為の少なくとも１つのアンテナと、暗視機能を含む複数の高速高解像度ビデオカメラからの画像データを使用してパターンを検出するように動作するパターン認識処理と、パターン認識処理と作用的に結合されて、パターン認識処理を使用して車両の位置、速度、及び方向を予測するように動作する車両予測処理と、車両予測データを受け取る為に車両予測処理と作用的に結合され、少なくとも１つのアンテナと作用的に結合されて、車両予測処理から受け取った車両予測データに対する応答として、加速、減速、及び操舵の制御信号を複数の車両に送信するように動作する車両制御装置と、を含む。本開示の自動化車両制御分散ネットワークは、ＳＡＥレベル２自動化からＳＡＥレベル５自動化への進化を可能にする。

【0008】

幾つかの実施形態では、自動化車両制御分散ネットワークノードは、暗視機能を含み、パターン認識処理と作用的に結合された、少なくとも１つの高速高解像度ビデオカメラを含んでよい。自動化車両制御分散ネットワークノードは更に、道路の向こう側にある第３の近隣ノードと通信する為の少なくとも第３のモデムを含んでよい。自動化車両制御分散ネットワークノードは更に、少なくとも２つのモデム、少なくとも１つのアンテナ、及び車両制御装置と作用的に結合された無線、分散コアネットワーク並びに車両処理を含んでよい。車両予測処理は、機械学習アルゴリズムを使用して実施されてよい。

【0009】

本開示はまた、互いに作用的に結合された複数の自動化車両制御分散ネットワークノードを含む自動化車両制御分散ネットワークを提供する。

【0010】

幾つかの実施形態では、パターン認識処理は更に、近隣ノードのカメラからの画像データを使用して、ノード画像から欠落した点を検出するように動作する。無線、分散コアネットワーク並びに車両処理は、第４世代（４Ｇ）及び（第５世代）（５Ｇ）の無線アクセス構成要素及び関連する分散４Ｇ及び／又は５Ｇコアネットワークを含んでよい。

【0011】

本開示は、複数の道路カメラから高速高解像度ビデオデータを取得することと、その高速高解像度ビデオデータを使用して、少なくとも１つの車両について、車両の位置、方向、及び速度を特定することと、その少なくとも１つの車両の位置を予測することと、その予測された位置に基づいて、加速、減速、及び操舵のコマンドを車両に送信することと、を含む動作方法を提供する。

【0012】

本方法は更に、複数の沿道ポールにマウントされた少なくとも１つのカメラから高速高解像度ビデオデータを取得して、タイムスタンプ付きの３次元画像を取得することを含んでよい。本方法は更に、３次元画像に対して画像補正を実施して補正済み画像を生成することと、その補正済み画像を使用して、少なくとも１つの車両について、車両の位置、方向、及び速度を特定することと、を含んでよい。本方法は更に、加速、減速、及び操舵のコマンドを複数の車両に、ユニキャストインターネットプロトコル（ＩＰ）パケットとして送信することを含んでよい。本方法は更に、加速、減速、及び操舵のコマンドを複数の車両に、マルチキャストインターネットプロトコル（ＩＰ）パケットとして送信することを含んでよい。本方法は更に、複数の環境センサから環境データを取得することを含んでよい。本方法は更に、複数の環境センサから環境データを取得することを含んでよく、この取得は、複数の環境センサと、トランスポンダとを有する舗装道路マーカを介して行われ、そのトランスポンダと通信することによって行われる。

【0013】

本開示は、複数の道路高速高解像度カメラを使用して道路を監視して、車両、動物、歩行者、道路異常、及び障害物を検出することと、検出された車両、動物、歩行者、道路異常、及び障害物のそれぞれについて予測モデルを作成することと、少なくとも１つの予測モデルに基づいて、少なくとも１つの車両に対する制御アクションを決定することと、決定された制御アクションに基づいて、その少なくとも１つの車両に加速、減速、及び操舵のコマンドを送信することと、を含む動作方法を提供する。本方法は更に、少なくとも１つの車両についての制御フィードバックを、複数の道路高速高解像度カメラを介して受け取ることと、その制御フィードバックに基づいて調節された加速、減速、及び操舵のコマンドをその少なくとも１つの車両に送信することと、を含んでよい。

【0014】

本方法は更に、その少なくとも１つの車両と自動化車両制御分散ネットワークとの間の、複数の沿道ノードを介しての複数の無線接続を保持することと、その少なくとも１つの車両と自動化車両制御分散ネットワークとの間に通信遅延がないように、その少なくとも１つの車両が道路に沿って移動しながら、その少なくとも１つの車両が少なくとも１つの更なる沿道ノードとメイクビフォアブレーク無線ハンドオフを連続的に実施することと、を含んでよい。本方法は更に、その複数の沿道ノードを使用して、調節された加速、減速、及び操舵のコマンドを、その少なくとも１つの車両に冗長的に送信することを含んでよい。

【0015】

ここからは図面を参照する。図面間で類似の参照符号は類似の構成要素を表している。図１は、様々な実施形態による自動化車両制御分散ネットワーク１００を示す。自動化車両制御分散ネットワーク１００は、様々な実施形態による開示の装置の一種である。道路１０１は、トランスポンダ構成要素を収容する舗装道路マーカ１０３（又は舗装道路スタッド）を含み、それによって、トランスポンダ構成要素は、自動化車両制御分散ネットワークの他の様々な構成要素に情報を伝達することが可能である。トランスポンダは、例えば、無線周波数識別（ＲＦＩＤ）又は同等のトランスポンダ通信機能であってよい。

【0016】

自動化車両制御分散ネットワークは、道路１０１の両側の沿道の各点に配置された様々なポール１０５又はタワーを含む。各ポール１０５は、暗視機能を含む高速の（即ち、例えば、少なくとも６０ｆｐｓの）高解像度ビデオカメラ１０７のセットがマウントされており、更にノード１１０を含む。各ポールのカメラ１０７は、ノード１１０と作用的に結合されており、ノード１１０と通信する。カメラ１０７の各視野角は、道路に沿う各カメラの視野に関して、互いに部分的に重なり合うように配置されている。例えば、任意のポール１０５上の最も右側のカメラの視野は、そのポール１０５上の最も左側のカメラ等の視野と部分的に重なり合うように配置されている。

【0017】

一実施形態では、ポール１０５上のカメラ１０７の全ての視野が、（例えば、１つの長い、高解像度の長方形又は台形の）１つのフレームにつなげられる。様々なカメラ１０７の視野は、道路１０１の両側をカバーする。一実施形態では、マルチカメラ１０７の画像は、キーストニングを用いて（即ち、キーストン補正アルゴリズムを適用して）補正されてよく、これは、例えば、光学台形補正、デジタル台形補正、又はこれらの組み合わせ等により行われる。利用される画像処理は３Ｄ画像処理であり、フレームタイムスタンプを使用して４Ｄ画像が生成される。カメラ１０７の全視野が道路１０１の向こうまで広がって、車両以外の物体、例えば、動物、歩行者、道路変形（例えば、深い穴／浅い穴、舗装のひび、舗装の座屈）等がキャプチャされる。道路の反対側のポール１０５の位置は、図１に示すように、中間点にオフセットされている。

【0018】

図２は、様々な実施形態による、図１に示した道路のブロック図であり、自動化車両１０９が複数の無線リンク１０８を介して自動化車両制御分散ネットワーク１００と通信している様子を示している。自動化車両制御分散ネットワーク１００は、特定の特異点（１６、３２、４８等）に基づいて各車両１０９を認識するように動作する。幾つかの実施形態では、車両１０９のメーカ、型式、色、及びナンバープレート番号の検出が可能であれば、自動化車両制御分散ネットワーク１００は、データベースで調べて車両のサイズ、年式、又は他の情報等を取得することが可能である。そうでない場合には、自動化車両制御分散ネットワーク１００は、（例えば、ナンバープレート番号を車両のＩＤとして使用して）パターン認識及びデータベースを使用して、車両のメーカ、型式、色、サイズ、及び年式の情報等を取得するように動作する。自動化されていない車両も自動化車両制御分散ネットワーク１００によって検出され、やはり、同じ条件でデータベースから情報が取り出されうる。トランスポンダが使用可能な舗装道路マーカ１０３は、受動又はバッテリ駆動のトランスポンダであってよい。

【0019】

トランスポンダが使用可能な舗装道路マーカ１０３は、ノード１１０と通信するように動作し、ノード１１０によって使用されて、位置を較正し、道路１０１の条件のアップデート（例えば、温度、湿度等）を提供する。従って、各舗装道路マーカ１０３は、様々な環境センサ（例えば、温度センサ、湿度センサ、圧力センサ等であり、これらに限定されない）も含んでよい。道路１０１は温度によって膨張したり収縮したりし、座屈することもあり、或いは、深い穴、ひび、その他の変形が発生することもある為、舗装道路マーカ１０３の厳密な位置は、時間とともに周期的に変化する。様々なノード１１０によって検出される舗装道路マーカ１０３の地理情報に基づいて、自動化車両制御分散ネットワーク１００は、各位置を周期的に再較正することによって正確さを確保するように動作する。

【0020】

車両１０９の方向及び速度は、車両１０９ごとにノード１１０によって計算され、これには、隣接ビデオ画像及び対応するタイムスタンプにおいて検出される、車両１０９のＩＤが使用される。東西方向の道路上での動作の一例では、東に向かって移動する全ての車両ＩＤが、道路１０１に沿って東に向かう方向に、道路の両側にある全ての隣接するノード及び対向するノード１１０を通り過ぎ、それらのノードによって識別される。これと同様のことが、西に向かう全ての車両についても、道路１０１に沿って西に向かう方向にある隣接するノード及び対向するノード１１０に対して行われる。

【0021】

各自動化車両１０９は、少なくとも５つのノード１１０と同時に通信しており、移動しながら、無線リンク１０８のうちの少なくとも１つの無線リンク１０８の、１つのノード１１０から別のノード１１０への無線ハンドオフを実施して、少なくとも５つのノード１１０との通信が常に保持されるようにしている。言い換えると、無線リンク１０８の４＋１冗長性が保持されている。車両制御コマンド（例えば、加速、減速、及び操舵のコマンドであり、これらに限定されない）が、冗長無線リンクのそれぞれを介して車両に冗長的に送信されてよく、これにより、制御コマンドの信頼性が高まる。無線ハンドオフ動作の一例では、車両１０９は、最初に、道路１０１の最も右側にあるノードＡ－２と通信し、図２に示した移動矢印の方向に移動しながらノードＡ＋１との無線ハンドオフを開始してよい。言い換えると、車両１０９は、複数のノードとの複数の無線接続を保持し、道路に沿って移動しながらメイクビフォアブレーク無線ハンドオフを連続的に実施する。各ノード１１０は、車両１０９の位置の独自予測を実施しており、この情報を他の各ノード１１０と共有することが可能である。言い換えると、各ノード１１０は、分散ネットワーク内の他のノード１１０から独立して動作し、パターン認識を実施し、人工知能又は機械学習を応用して、車両の位置、方向、及び速度についての（加えて、非自動化車両、未登録車両、他の物体、歩行者、動物、及び道路変形についての）予測モデルを作成することと、加速、減速、及び操舵を含む制御信号を送信することと、を行うように動作する。ノード１１０同士は、必要に応じて通信し合ってデータ、モデル、及び処理能力を共有し、それによって、全ての自動化車両に対する冗長性を高めている。分散ネットワーク内の各ノード１１０はまた、機械学習／ＡＩアルゴリズム（例えば、パターン認識及び車両予測処理であり、これらに限定されない）をトレーニングすることに使用されるトレーニングデータを集めるように動作し、それによって、これら及び他の機械的／ＡＩアルゴリズムは、最初にトレーニングされ、更に追加で収集されるビッグデータで強化されることが可能である。

【0022】

図３は、道路を示す図であり、様々な実施形態による、様々な自動化車両と自動化車両制御分散ネットワーク１００とのインタラクションを示す図である。自動化車両制御分散ネットワーク１００内の各ノード１１０は、各自のビデオ画像からパターン認識を実施しており、エリア内の動物、エリア内の人間、深い穴や座屈のような道路変化、レーン間のオートバイ、大き過ぎるトラック貨物等を識別するように動作する。検出された物体は、サイズ、重量、最大速度、硬度等を含む少なくとも１６点によって、ノード１１０においてモデル化され、データベースに格納される。モデル化された各物体は、作成元のノード１１０において固有ＩＤが割り当てられ、割り当てられたＩＤは、ノード１１０間の無線又は有線の通信リンク１１２を介して、作成元のノード１１０から隣接するノード１１０に渡される。

【0023】

各ノード１１０は、完全分散ネットワーク機能（ネットワーク機能仮想化（ＮＦＶ））を実現し、４Ｇ／５Ｇ無線及びコアネットワークの機能を１：１の比で収容する。自動化車両制御分散ネットワーク１００内の各ポール１０５は、少なくとも１つのノード１１０を含む。各ノード１１０は、それぞれに固有のハンドオーバ用近隣リストを有するが、その近隣リストには、隣接するノード１１０は含まれない。その代わり、近隣リストには２番目に隣接するノード１１０が含まれる。ノード１１０間のハンドオフグループの一例では、ハンドオフグループ１がノード（２ｎ）（ｎ＝１，２，３，…，Ｍ）であり、ハンドオフグループ２がノード（２ｎ＋１）（ｎ＝１，２，３，…，Ｍ）である。ハンドオフグループ１は第１の無線チャネルの同じ周波数に設定されており、ハンドオフグループ２は第２の無線チャネルの同じ周波数に設定されている。

【0024】

ノードからノードへの通信リンクは、道路の同じ側の通信リンク１１２と、道路を交差する通信リンク１１４とを含み、これによって、グリッド又はメッシュが形成されている。ノード１１０間の通信リンク１１２及び通信リンク１１４は、有線通信リンク、無線通信リンク、又は有線通信リンク及び無線通信リンクの両方の組み合わせであってよい。無線又は有線の通信リンク１１２及び通信リンク１１４は、冗長性を可能にする為に図示のようにメッシュ構成としてセットアップされている。隣接するノード１１０及び対向するノード１１０がリンクされている。各ノード１１０は、それぞれの目視検出エリア内にある車両及び物体の全てのＩＤ、並びに各近隣ノード１１０の車両ＩＤ及び物体ＩＤを収集する。

【0025】

例えば、図３では、ノードＡは、自身が識別した車両及び物体の全てのＩＤ、並びにノードＡ＋１、Ａ－１、Ｂ、及びＢ－１に関する全てのＩＤを有することになる。全てのＩＤ及びそれらに関連付けられた情報が１つのパッケージにまとめられ、これには、物体のサイズ、重量、速度、方向、現在位置、タイプ、タイムスタンプ、スコア等が含まれる。しかるべき物体には危険スコアも割り当てられる。検出された深い穴等の道路変形については、深い穴のサイズ及び深さに関してアセスメントされる。車両の場合、最近の車両運転履歴が評価される。例えば、パターン認識によって検出された飲酒運転又は無謀運転にフラグが立てられる。全ての車両及び物体のＩＤ、並びに車両の運転方向を含む情報が、道路沿いの両側の隣接する各ノードに渡される。制御信号を受けていない車両（即ち、自動化車両制御分散ネットワーク１００に登録されていない車両）、及び自動化車両ではない車両を含む、道路上の全ての車両が追跡される。

【0026】

ノード１１０からノード１１０への通信は、インターネットプロトコル（ＩＰ）パケットを使用して行われ、また、自動化車両制御分散ネットワーク１００に登録されている全ての自動化車両に対して行われる。ＩＰパケットは、状況に応じてブロードキャスト、ユニキャスト、又はマルチキャストで配信されてよい。例えば、車両を直接制御する場合にはユニキャストのインターネットプロトコル（ＩＰ）パケット配信が使用される。運転指示は、識別された危険、道路状況、並びに登録車両の周辺の車両の速度及び位置に基づいて行われる。ブレーキ、加速、及び操舵の制御信号は、この識別された危険情報に基づいてよく、ブロードキャストパケットを使用して複数の車両に送信されてよい。

【0027】

マルチキャストＩＰパケットの機能は、フリート車両制御に使用されてよい。例えば、気象条件は、最高速度を規定するメッセージがトラックフリートに送信される根拠になりうる。マルチキャストユーザは、ブロードキャストパケットも受信する。全ての登録車両に情報を提供する場合にブロードキャストＩＰパケットが使用され、全ての物体（車両、動物、人間）の３Ｄサイズ、移動方向、速度の情報等の支援情報が現在のポールノード１１０及びその近隣ノードに提供される。システム内のデータ更新は、２０ミリ秒もの高速で行われる。

【0028】

一実施形態では、最小二乗法による効率的なパターン認識が行われる。車両を８個のｘｙｚ点でキャプチャし、これを８個のＸＹＺ点のモデルと比較する一例では、スコアはｓｑｒｔ［（ｘ_１－Ｘ_１）^２＋（ｙ_１－Ｙ_１）^２＋（ｚ_１－Ｚ_１）^２］＋ｓｑｒｔ［（ｘ_２－Ｘ_２）^２＋（ｙ_２－Ｙ_２）^２＋（ｚ_１－Ｚ_１）^２］＋．．．＋ｓｑｒｔ［（ｘ_８－Ｘ_８）^２＋（ｙ_８－Ｙ_８）^２＋（ｚ_８－Ｚ_８）^２］であり、最小スコアがモデルになる。ノード１１０のプロセッサは、最大で６４点の最小二乗法の為に特別に設計されており、対数アルゴリズムを使用して、乗算、除算、二乗、平方根の演算を大幅に減らしている。

【0029】

図４は、様々な実施形態によるノード１１０の図である。自動化車両制御分散ネットワークノード１１０は、様々な実施形態による開示の装置の一種である。各ノード１１０はセルラアンテナ１１３を含む。これは、無線リンク１０８を介して車両と通信する為のものであり、且つ車両に制御信号を送信する為のものである。セルラアンテナ１１３はアンテナアレイであってよく、複数入力複数出力（ＭＩＭＯ）アンテナアレイであってよい。少なくとも３つのモデム１１１が、無線通信リンク１１５、又は有線通信リンク、又はこれら両方の組み合わせを介して、近隣の隣接するノードとの通信を実現する。無線リンク１０８と同様に、幾つかの実施形態では、無線通信リンク１１５もＭＩＭＯアンテナアレイを使用して促進されてよい。カメラＣ１～Ｃ４が、ノード１１０、そして３Ｄ画像処理４０７と作用的に結合されている。３Ｄ画像処理４０７は処理結果をパターン認識４０９にフィードし、そのパターン認識４０９はパターン認識データを車両予測処理４０５に提供する。

【0030】

トランスポンダ読み取り器４１１が、無線リンク４１３を介して舗装道路マーカ１０３のトランスポンダと通信して環境センサデータを取得するように動作する。環境センサデータは、作用的な結合を介して車両予測処理４０５に提供される。

【0031】

ノード１１０は任意の数のモデム１１１を含んでよく、図４は、ノード１１０内に３つのモデム１１１が存在する一例である。３つのモデム１１１は、無線（例えば、４Ｇ／５Ｇ）及び４Ｇ／５Ｇ分散コアネットワーク並びに車両処理４０１と作用的に結合されており、これは更に車両制御装置４０３と作用的に結合されている。

【0032】

車両制御装置４０３は、車両予測処理４０５と作用的に結合されている。パターン認識４０９及び車両予測処理４０５で生成される物体識別データ及び予測データは、モデム１１１を使用する無線通信リンク１１５を介して近隣ノードと共有される。車両予測処理４０５は、車両制御装置４０３と作用的に結合されており、道路条件及び物体情報を伝達するように動作する。車両予測処理４０５及び車両制御装置４０３は、車両制御装置４０３から送信される車両制御信号に対する応答として発生する車両位置の変化を車両予測処理４０５が検出するフィードバックシステムとして構成されている。

【0033】

車両制御装置４０３は、４Ｇ／５Ｇ無線及び４Ｇ／５Ｇ分散コアネットワーク並びに車両処理４０１を使用する無線リンク１０８を介して加速、減速、及び操舵の制御信号を送信することによって車両を制御するように動作する。４Ｇ／５Ｇ無線及び４Ｇ／５Ｇ分散コアネットワーク並びに車両処理４０１は、無線リンク１０８を介して車両制御信号を送信する為にセルラアンテナ１１３と作用的に結合されている。４Ｇ／５Ｇ無線及び４Ｇ／５Ｇ分散コアネットワーク並びに車両処理４０１は、４Ｇ／５Ｇ無線及び埋め込み分散コアネットワーク機能を含んでおり、これらは、ノード１１０が分散ネットワーク内で独立したエンティティとして動作することを可能にし、それによって、他のノード１１０がディセーブル又は他の形で利用不能になっても、自動化車両のフル制御が途切れない。

【0034】

ノード１１０内の様々な処理／処理装置は、システムオンチップ（ＳｏＣ）システムとして実装されてよく、ノード１１０の様々な機能を実施する為のハードウェア、ファームウェア、及びソフトウェアを含んでよい。

【0035】

図５は、様々な実施形態による舗装道路マーカの一例１０３の図である。舗装道路マーカ１０３は、様々な実施形態による開示の装置の一種である。舗装道路マーカ１０３は、トランスポンダ（ＲＦＩＤトランスポンダであってよい）と、トランスポンダ５０１と作用的に結合された環境センサとを含む。ノード１１０は、トランスポンダ５０１と通信して環境センサ５０３のデータを抽出することが可能である。環境センサとしては、温度センサ、湿度センサ、圧力センサ、慣性センサ等があってよく、これらに限定されない。

【0036】

図６は、幾つかの実施形態による、道路１０１のブロック図であり、自動化車両が自動化車両制御分散ネットワーク１００と通信していて、自動化車両同士でも通信している様子を示す図である。車両から車両への通信６０１は、同じポール１０５及びノード１１０によって、又は隣接するポール／ノードによって促進されてよい。幾つかの実施形態では、各車両は、信頼性の為に４＋１冗長性のリンクを有する。

【0037】

図７は、幾つかの実施形態による、自動化車両７０１が、道路に沿って自動化車両制御分散ネットワーク１００の様々なノード１１０へのハンドオーバを実施する様子を示す図である。自動化車両７０１は、いつでも少なくとも４つのノード１１０との複数の無線接続７０３を保持し、その移動経路に沿って移動しながら、次に来る新たなノード１１０に対してメイクビフォアブレークハンドオーバ動作を実施する。図７の例では、自動化車両７０１は、最初に５つのノードＡ＋０、Ａ＋１、Ａ＋２、Ｂ＋０、及びＢ－１（図示せず）と通信している。自動化車両７０１は、現在位置では、ノードＢ＋２との新しい接続７０５を確立しており、ノードＢ－１との以前からの接続を削除している。自動化車両７０１が道路に沿って位置７０７まで移動すると、ノードＡ＋３とのメイクビフォアブレーク接続７０５が確立される。ノードＡ＋３との接続が確立された後に、ノードＡ＋０との接続が削除される。位置７０９まで移動すると、自動化車両７０１は、ノードＢ＋３との接続を確立し、ノードＢ＋０との接続を削除する。位置７１１の手前で、自動化車両は、ノードＡ＋４との接続を追加し、ノードＡ＋１との接続を削除する。位置７１３の手前で、自動化車両は、ノードＢ＋４との接続を追加し、ノードＢ＋１との接続を削除する。位置７１５の手前で、自動化車両は、ノードＡ＋５との接続を追加し、ノードＡ＋２との接続を削除する（以降も同様）。

【0038】

図８は、一実施形態によるノードプロセッサ８００の図である。ノード１１０のプロセッサ８００は、３Ｄ画像処理４０７及びパターン認識４０９を実施してよく、最大で６４点の最小二乗法の為に特別に設計されており、対数アルゴリズムを使用して、乗算、除算、二乗、平方根の演算を大幅に減らしている。幾つかの実施形態では、ノードプロセッサ８００は、車両予測処理４０５、車両制御装置４０３、並びに４Ｇ／５Ｇ＋コアネットワーク及び車両処理４０１、又はこれらの何らかの組み合わせを実装する為に使用されてもよい。４Ｇ／５Ｇ＋コアネットワーク並びに車両処理４０１、車両制御装置４０３、車両予測処理４０５、３Ｄ画像処理装置４０７、及び／又はパターン認識４０９は、それぞれが１つ以上のマイクロプロセッサ、ＡＳＩＣ、ＦＰＧＡ、マイクロコンピュータ、マイクロコントローラ、デジタル信号プロセッサ、中央処理ユニット、状態機械、論理回路、及び／又は、演算命令に基づいて信号をマニピュレートするデバイスとして実装されてよい。ノード１１０の実装に使用されるプロセッサのうちの１つ以上は、幾つかある機能の中で特に、メモリ（図示せず）に格納されているコンピュータ可読命令（即ち、実行可能命令）をフェッチして実行するように構成され、そうするように動作し、メモリは、ノード１１０内にある独立した不揮発性非一時的メモリ、及び／又はＳｏＣ構成の一部であるオンボードメモリ、又はこれら両方の組み合わせであってよい。４Ｇ／５Ｇ＋コアネットワーク並びに車両処理４０１、車両制御装置４０３、車両予測処理４０５、３Ｄ画像処理装置４０７、及びパターン認識４０９の具体的な実装にかかわらず、各構成要素は、図４に示された通信入力及び通信出力と作用的に結合されており、そのような構成要素の間で必要とされる全てのＡＰＩ（アプリケーションプログラミングインタフェース）を含む、関連する全てのソフトウェア及び／又はファームウェアを実行するように動作可能である。４Ｇ／５Ｇ＋コアネットワーク並びに車両処理４０１は、必要とされる全ての無線ベースバンドハードウェア及びソフトウェアを含み、情報の共有、制御コマンドの送信、及びフィードバック情報の受信を行う為に、インターネットプロトコル（ＩＰ）スタックを実行し、車両及び他のノードとの複数の無線ＩＰ接続を形成するように動作する。４Ｇ／５Ｇ＋コアネットワーク並びに車両処理４０１は、制御される車両との冗長無線リンクを保持すること、及び複数の車両のメイクビフォアブレーク無線ハンドオフを実施することを含む４Ｇ／５Ｇ動作機能を実装することに必要とされる全ての４Ｇ／５Ｇ無線及びコアネットワーク構成要素／エンティティを含む完全なネットワークインフラストラクチャ／アーキテクチャである。

【0039】

図９は、様々な実施形態による、自動化車両制御分散ネットワーク１００の動作方法を示すフローチャートである。本動作方法はまず、動作ブロック９０１で、自動化車両制御分散ネットワーク１００のノード１１０が、道路の視覚画像データを取得する。視覚画像データは、車両と、幾つかあるものの中で特に歩行者、動物、道路内の物体、及び舗装道路の変形箇所とをキャプチャしたものである。動作ブロック９０３で、ノード１１０は、舗装道路マーカ１０３から環境センサデータを取得する。動作ブロック９０５で、ノード１１０は、道路上の複数の車両について、車両の位置、方向、及び速度を特定する。動作ブロック９０７で、ノード１１０は、自動化車両制御分散ネットワーク１００に登録されている全ての車両について車両位置を予測する。動作ブロック９０９で、ノード１１０は、加速、減速、及び操舵の制御信号を各登録車両に送信する。

【0040】

図１０は、様々な実施形態による、自動化車両制御分散ネットワークの動作方法を示すフローチャートである。本動作方法はまず、動作ブロック１００１で、自動化車両制御分散ネットワーク１１０のノード１１０が、車両の視覚画像データを少なくとも５つのカメラから取得して、フレームごとにタイムスタンプがある３次元画像を取得する。動作ブロック１００３で、ノード１１０は、画像に対してキーストン補正を実施して補正済み画像を生成する。動作ブロック１００５で、ノード１１０は、補正済み画像を使用して、車両の位置、方向、及び速度を特定する。動作ブロック１００７で、ノード１１０は、車両位置を予測する。動作ブロック１００９で、ノード１１０は、加速、減速、及び操舵の制御信号を車両に送信する。

【0041】

図１１は、様々な実施形態による、自動化車両制御分散ネットワークの動作方法を示すフローチャートである。本動作方法はまず、動作ブロック１１０１で、複数の道路ノード１１０から、各ノードにある少なくとも４つのカメラで車両の視覚画像データが取得されて、各フレームにタイムスタンプがある３次元画像データが取得され、動作ブロック１１０３で、各ノード１１０は、それぞれの画像データを各近隣ノードと共有する。動作ブロック１１０５で、各ノード１１０は、それぞれの画像データにある全ての車両及び物体の位置、方向、及び速度を特定する。動作ブロック１１０７で、各ノード１１０は、車両位置を予測し、道路に存在しうる危険を識別する。動作ブロック１１０９で、ノード１１０は、加速、減速、及び操舵の制御信号をノード１１０から車両に送信する。

【0042】

図１２は、様々な実施形態による、図７で示したように自動化車両が沿道ノード間でハンドオーバする動作方法を示すフローチャートである。本プロセスではまず、自動化車両が道路上を移動していて、動作ブロック１２０１のように、少なくとも４つのノードとの無線通信リンクを確立して保持する。自動化車両が移動して新たな沿道ノード１１０の前を通り過ぎると、ＲＳＳＩ（受信信号強度インジケータ）の増加が発生し、これを自動化車両が観察する。また、自動化車両のＲＳＳＩの増加は、自動化車両が近づきつつあるノード１１０の無線送受信器によって感知される。従って、判断ブロック１２０３では、自動化車両が次のノードを検出してよく、これは、例えば、閾値ＲＳＳＩ値又は他の何らかの通信リンクメトリックを使用して行われる。言い換えると、ＲＳＳＩはメトリックの一例に過ぎず、次のノードの検出には他の任意の適切な通信リンクメトリックが使用されてよく、そのようなものとして、ビット誤り率、フレーム誤り率、フレーム消去率、又は他の何らかのメトリック等があり、これらに限定されない。次のノードの候補が閾値メトリック要件を満たすまで、既存の少なくとも４つの無線通信リンクは、動作ブロック１２０１において保持される。次のノードの候補が判断ブロック１２０３に現れたら、自動化車両は、動作ブロック１２０５で、その候補ノードとの新たなメイクビフォアブレーク通信リンクを確立する。その通信リンクが確立されたら、動作ブロック１２０７で、自動化車両は、これまでの少なくとも４つの通信リンクのうちの１つを削除してよい。通常は、メトリックが最も低い通信リンクが削除される。但し、幾つかの実施態様では、車両から最も遠いノードがデフォルトで削除されてよい。判断ブロック１２０９で、（例えば、車両が停止して、又は別の形で車両が目的地に到着して動かなくなって）車両がシャットダウンされた場合には、本プロセスは終了する。車両がシャットダウンされていない場合には、本プロセスは、車両が動きを止めるまで、動作ブロック１２０１からループで続行される。

【0043】

図１３は、様々な実施形態による、自動化車両制御分散ネットワークの動作方法を示すフローチャートである。本動作方法はまず、動作ブロック１３０１で、自動化車両制御分散ネットワークが、道路上の全てのアクティビティを監視する。自動化車両制御分散ネットワークは、動作ブロック１３０３で、無線接続を介して舗装道路センサからセンサデータを取得し、動作ブロック１３０５で、センサデータを使用して舗装道路マーカ位置を較正する。センサデータとしては、温度データ、湿度データ、圧力データ等があってよく、これらに限定されない。

【0044】

次に自動化車両制御分散ネットワークは、全ての道路アクティビティを監視する。これには、判断ブロック１３０７での車両の監視、判断ブロック１３０９での動物の監視、判断ブロック１３１１での歩行者の監視、判断ブロック１３１３での道路異常の監視、及び判断ブロック１３１５での障害物の監視が含まれる。各判断ブロックのプロセスは、無期限に継続され、道路上の全てのアイテムを連続的に追跡する。

【0045】

判断ブロック１３０７で車両が検出されると、自動化車両制御分散ネットワークは、動作ブロック１３１７で車両のナンバープレートを検出し、判断ブロック１３１９で、そのナンバープレート番号をデータベースで確認してよい。動作ブロック１３２１で、データベース内の全ての車両情報が取り出される。一方、車両にナンバープレートがない場合、或いは、判断ブロック１３１９において、利用可能な情報がデータベースにない場合、自動化車両制御分散ネットワークは、動作ブロック１３２３で、視覚検出システムを使用して車両のメーカ、型式、色、及び重量を検出する。動作ブロック１３２５では、自動化車両制御分散ネットワークは、任意のデータベース情報及び視覚検出システムからの情報を使用して予測モデルを作成する。

【0046】

判断ブロック１３０９で動物が検出されると、自動化車両制御分散ネットワークは、動作ブロック１３２７で、動物の動き予測モデルを作成する。同様に、判断ブロック１３１１で歩行者が検出されると、自動化車両制御分散ネットワークは、動作ブロック１３２９で、歩行者の動き予測モデルを作成する。判断ブロック１３１３で何らかの道路異常が検出されると、動作ブロック１３３１で、位置、サイズ、深い穴の深さ等であってこれらに限定されないフィーチャを含む、異常のモデルが作成される。判断ブロック１３１５で障害物が検出されると、動作ブロック１３３３で、例えば、物体のサイズ、材料、重量等であってこれらに限定されないフィーチャを含む、障害物のモデルが、視覚検出システムと舗装道路センサからの情報との組み合わせによって検出可能な程度まで作成される。

【0047】

作成された予測モデルの全てに基づいて、自動化車両制御分散ネットワークは、動作ブロック１３３５で、各自動化車両の適切な回避アクションを決定する。各自動化車両も動作ブロック１３２５でモデル化されている。動作ブロック１３３７で、自動化車両制御分散ネットワークは、全ての衝突が回避されるように、適切な制御コマンドを各自動化車両に協調的に送信する。動作ブロック１３３９で、各自動化車両の更なる軌道修正を行う為のフィードバックが得られる。

【0048】

様々な実施形態を図示及び説明してきたが、当然のことながら、本発明はそのようには限定されない。当業者であれば、添付の特許請求項で定義される、本発明の範囲から逸脱しない、様々な修正、変更、変形、置換、及び等価物を思い浮かべられよう。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13-1】

【図13-2】

【国際調査報告】