特許 6999625 環境情報を提供可能なダイナミックマップ情報を生成するための方法およびシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2021-12-24

(45)【発行日】2022-02-04

(54)【発明の名称】環境情報を提供可能なダイナミックマップ情報を生成するための方法およびシステム

(51)【国際特許分類】

   G08G 1/16 20060101AFI20220128BHJP

   B60W 40/02 20060101ALI20220128BHJP

   B60W 50/14 20200101ALI20220128BHJP

   G01C 21/26 20060101ALN20220128BHJP

【ＦＩ】

G08G1/16 A

B60W40/02

B60W50/14

G01C21/26 A

【請求項の数】 13

(21)【出願番号】P 2019201445

(22)【出願日】2019-11-06

(65)【公開番号】P2021076962

(43)【公開日】2021-05-20

【審査請求日】2019-11-07

(73)【特許権者】

【識別番号】592246761

【氏名又は名称】財団法人車輌研究測試中心

(74)【代理人】

【識別番号】100082418

【弁理士】

【氏名又は名称】山口 朔生

(74)【代理人】

【識別番号】100167601

【弁理士】

【氏名又は名称】大島 信之

(74)【代理人】

【識別番号】100201329

【弁理士】

【氏名又は名称】山口 真二郎

(72)【発明者】

【氏名】林軒達

(72)【発明者】

【氏名】王正楷

(72)【発明者】

【氏名】施淳耀

【審査官】稲葉 大紀

(56)【参考文献】

【文献】特開２０１８－０９２４７２（ＪＰ，Ａ）

【文献】特開２０１９－１８５３６６（ＪＰ，Ａ）

【文献】国際公開第２０１９／０４４４９９（ＷＯ，Ａ１）

【文献】国際公開第２０１９／００８７５５（ＷＯ，Ａ１）

【文献】国際公開第２０１８／１５１２１１（ＷＯ，Ａ１）

【文献】特開２０１７－１６６８４６（ＪＰ，Ａ）

【文献】特開２００４－３５１９７７（ＪＰ，Ａ）

【文献】特開２０１９－０８７８４７（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１３／０２４２２８４（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ６０Ｗ１０／００－１０／３０

３０／００－５０／１６

Ｇ０１Ｃ２１／００－２１／３６

２３／００－２５／００

Ｇ０８Ｇ １／００－９９／００

(57)【特許請求の範囲】

【請求項1】

環境情報を提供可能なダイナミックマップ情報を生成するためのシステムであって、
それぞれ、異なる車両に対応して設置される複数の車両デバイスであって、前記車両デバイスのそれぞれは、点群データを生成するために前記車両周辺の環境を感知する光検出測距（ＬｉＤＡＲ）センサ、画像データを生成するために前記車両周辺の前記環境を捉えるカメラ、前記ＬｉＤＡＲセンサ、前記カメラ、およびデータ送信ユニットに接続されて、前記データ送信ユニットを通して送信される前記点群データおよび前記画像データを制御する車両コントローラ、および、人間－機械インターフェースを備える、複数の車両デバイスと、
周辺環境及び道路の近くに設けられる複数の中継ホストであって、それぞれの中継ホストは、前記中継ホスト自体周辺の前記複数の車両デバイスからそれぞれ送信される前記点群データおよび前記画像データを受信し、かつ複数車両データ統合モードの実行時に、前記複数の車両デバイスからそれぞれ受信した前記点群データをマージして前記環境におけるオブジェクトの３Ｄ座標情報を含有する処理結果を生成する、複数の中継ホストと、
前記複数の中継ホストおよび前記複数の車両デバイスと通信するクラウドサーバであって、前記複数の中継ホストから前記複数車両データ統合モード実行時の前記処理結果を受信し、前記処理結果に含有される前記オブジェクトの３Ｄ座標情報をベースマップと統合してダイナミックマップ情報を生成し、前記ダイナミックマップ情報を前記複数の車両デバイスの前記人間－機械インターフェースに送信する、クラウドサーバと、を備える、
システム。

【請求項2】

前記中継ホストが単一の車両デバイスのみから前記点群データおよび前記画像データを受信する時、前記中継ホストは、単一車両データ処理モードを実行して前記環境における前記オブジェクトの前記３Ｄ座標情報を生成し、かつ前記３Ｄ座標情報を前記クラウドサーバに提供するものであり、
前記中継ホストによって実行される前記単一車両データ処理モードは、
前記画像データにおけるオブジェクトに対する第１の結合ボックスを識別して前記画像データにおける前記オブジェクトの位置を得るステップと、
前記点群データにおけるオブジェクトを識別して前記点群データにおける前記オブジェクトの第２の結合ボックスを得るステップと、
前記点群データにおける前記第２の結合ボックスによって識別される前記オブジェクトが前記画像データに存在するかどうかを判断するステップであって、同じオブジェクトが前記点群データおよび前記画像データに存在する場合、前記同じオブジェクトは明領域オブジェクトに属し、前記点群データに基づいて前記明領域オブジェクトの３Ｄ座標情報を得るステップと、
前記画像データが前記点群データにおいて識別されないオブジェクトを含有するかどうかを判断するステップであって、前記点群データにおいて識別されないが前記画像データに存在するオブジェクトがある場合、前記オブジェクトは暗領域オブジェクトに属する、と判断するステップと、
前記暗領域オブジェクトの前記第１の結合ボックスを前記点群データにマッピングして前記暗領域オブジェクトの３Ｄ座標情報を得るステップと、を含むことを特徴とする、請求項１に記載のシステム。

【請求項3】

前記クラウドサーバによって生成される前記ダイナミックマップ情報は高精細（ＨＤ）マップ情報であることを特徴とする、請求項１または２に記載のシステム。

【請求項4】

前記中継ホストは、前記複数車両データ統合モードにおいてｉｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｔ Ｐｏｉｎｔ（ＩＣＰ）アルゴリズムを使用して、前記点群データをマージすることを特徴とする、請求項１または２に記載のシステム。

【請求項5】

前記中継ホストによって受信される前記点群データは、第１の車両によって感知される複数のデータポイントを含む点群データの第１のグループ、および、第２の車両によって感知される複数のデータポイントを含む点群データの第２のグループを含み、
前記複数車両データ統合モードに対する前記ＩＣＰアルゴリズムは、
（ａ）前記点群データの第１のグループおよび前記点群データの第２のグループを得るステップと、
（ｂ）前記点群データの第１のグループと前記点群データの第２のグループとの間の相関性を得るために前記点群データの第１のグループおよび前記点群データの第２のグループにおいて互いにマッチする前記データポイントを判断するステップと、
（ｃ）前記点群データの第１のグループと前記点群データの第２のグループとの間の前記相関性に従って変換行列を算出するステップと、
（ｄ）前記変換行列によって前記点群データの第１のグループにおけるそれぞれのデータポイントの座標を変換するために変換を実行するステップと、
（ｅ）現在の前記変換における現在の二乗平均平方根値、および以前の前記変換の以前の二乗平均平方根値を算出して前記現在の二乗平均平方根値と前記以前の二乗平均平方根値との間の誤差を得るステップと、
（ｆ）算出した前記誤差がデフォルトの閾値より小さいかどうかを判断して、小さい場合、前記点群データの第１のグループは前記点群データの第２のグループと位置合わせされて前記複数車両データ統合モードを終了し、小さくない場合、前記ステップ（ｂ）を繰り返すステップと、を含むことを特徴とする、請求項４に記載のシステム。

【請求項6】

前記クラウドサーバは、前記ベースマップが記憶されるマップデータベースにアクセスすることを特徴とする、請求項１または２に記載のシステム。

【請求項7】

環境情報を提供できるダイナミックマップ情報を生成するための方法であって、
車両に設置された車両デバイスからクラウドサーバに確認要求を送るステップと、
前記クラウドサーバが、周辺環境及び道路の近くに設けられる複数の中継ホストの中から、前記確認要求を送る前記車両近くの前記中継ホストを指定し、前記確認要求を送る前記車両デバイスに前記指定した前記中継ホストを通知するステップと、
前記車両デバイスから、前記クラウドサーバによって通知された前記指定した前記中継ホストに点群データおよび画像データを送信するステップであって、前記点群データは前記車両周辺の環境を感知するＬｉＤＡＲセンサによって提供され、前記画像データは前記車両周辺の前記環境を捉えるカメラによって提供される、ステップと、
前記中継ホストが複数の車両デバイスから前記点群データおよび前記画像データを受信する時、前記中継ホストが、複数車両データ統合モードを実行することで、前記複数の車両から受信された前記点群データをマージして前記環境におけるオブジェクトの３Ｄ座標情報を含有する処理結果を生成するステップと、
前記クラウドサーバが、複数の前記中継ホストから複数車両データ統合モードの前記処理結果を受信し、かつダイナミックマップ情報を生成するために前記オブジェクトの３Ｄ座標情報をベースマップと統合するステップと、
前記クラウドサーバが、前記ダイナミックマップ情報を前記車両デバイスの人間－機械インターフェースに送信するステップであって、前記ダイナミックマップ情報は前記環境における前記オブジェクトの３Ｄ座標情報を含有する、ステップと、を含む、
方法。

【請求項8】

前記中継ホストが単一の車両デバイスのみから前記点群データおよび前記画像データを受信する時、前記中継ホストは、単一車両データ処理モードを実行して前記環境における前記オブジェクトの前記３Ｄ座標情報を生成し、かつ前記３Ｄ座標情報を前記クラウドサーバに提供するものであり、
前記中継ホストによって実行される前記単一車両データ処理モードは、
前記画像データにおけるオブジェクトに対する第１の結合ボックスを識別して前記画像データにおける前記オブジェクトの位置を得るステップと、
前記点群データにおけるオブジェクトを識別して前記点群データにおける前記オブジェクトの第２の結合ボックスを得るステップと、
前記点群データにおける前記第２の結合ボックスによって識別される前記オブジェクトが前記画像データに存在するかどうかを判断するステップであって、同じオブジェクトが前記点群データおよび前記画像データに存在する場合、前記同じオブジェクトは明領域オブジェクトに属し、前記点群データに基づいて前記明領域オブジェクトの３Ｄ座標情報を得るステップと、
前記画像データが前記点群データにおいて識別されないオブジェクトを含有するかどうかを判断するステップであって、前記点群データにおいて識別されないが前記画像データに存在するオブジェクトがある場合、前記オブジェクトは暗領域オブジェクトに属する、と判断するステップと、
前記暗領域オブジェクトの前記第１の結合ボックスを前記点群データにマッピングして前記暗領域オブジェクトの３Ｄ座標情報を得るステップと、を含むことを特徴とする、請求項７に記載の方法。

【請求項9】

前記クラウドサーバが、前記確認要求を送る前記車両デバイスに前記指定した前記中継ホストを通知する時、前記クラウドサーバは、前記指定した前記中継ホストのホスト識別コードを前記車両デバイスに送信し、前記車両デバイスは、前記ホスト識別コードに従って、その点群データおよび前記画像データを前記指定した前記中継ホストに送信し、前記車両デバイスの車両識別コードを前記指定した前記中継ホストにさらに送信することを特徴とする、請求項７または８に記載の方法。

【請求項10】

前記中継ホストは、前記複数車両データ統合モードにおいてｉｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｔ Ｐｏｉｎｔ（ＩＣＰ）アルゴリズムを使用して、前記点群データをマージすることを特徴とする、請求項７に記載の方法。

【請求項11】

前記中継ホストによって受信される前記点群データは、第１の車両によって感知される複数のデータポイントを含む点群データの第１のグループ、および、第２の車両によって感知される複数のデータポイントを含む点群データの第２のグループを含み、
前記複数車両データ統合モードに対する前記ＩＣＰアルゴリズムは、
（ａ）前記点群データの第１のグループおよび前記点群データの第２のグループを得るステップと、
（ｂ）前記点群データの第１のグループと前記点群データの第２のグループとの間の相関性を得るために前記点群データの第１のグループおよび前記点群データの第２のグループにおいて互いにマッチする前記データポイントを判断するステップと、
（ｃ）前記点群データの第１のグループと前記点群データの第２のグループとの間の前記相関性に従って変換行列を算出するステップと、
（ｄ）前記変換行列によって前記点群データの第１のグループにおけるそれぞれのデータポイントの座標を変換するために変換を実行するステップと、
（ｅ）現在の前記変換における現在の二乗平均平方根値、および以前の前記変換の以前の二乗平均平方根値を算出して前記現在の二乗平均平方根値と前記以前の二乗平均平方根値との間の誤差を得るステップと、
（ｆ）算出した前記誤差がデフォルトの閾値より小さいかどうかを判断して、小さい場合、前記点群データの第１のグループは前記点群データの第２のグループと位置合わせされて前記複数車両データ統合モードを終了し、小さくない場合、前記ステップ（ｂ）を繰り返すステップと、を含むことを特徴とする、請求項１０に記載の方法。

【請求項12】

前記画像データにおいて識別可能である前記オブジェクトは、車両オブジェクト、歩行者オブジェクト、および擬似歩行者オブジェクトを含むことを特徴とする、請求項８に記載の方法。

【請求項13】

前記クラウドサーバによって生成される前記ダイナミックマップ情報は高精細（ＨＤ）マップ情報であることを特徴とする、請求項７または８に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、環境情報を自動的に識別するための方法に関し、より詳細には、ＬｉＤＡＲ情報および画像情報を使用することによって障害物を識別するための方法に関する。

【背景技術】

【0002】

絶え間なく変化し、かつ急速に発展している人工知能（ＡＩ）および機械学習技術によって、多くの国際企業は、自動運転の研究および開発においてこの新規な機械学習に順応している。車載自動運転システムは、センサーフュージョンによって車両周辺の環境の状況を検出可能であり、かつ、感知結果に基づいて、車両を制御するための適正な判断を下す。

【0003】

感知結果が全て、環境を感知するために１つの車両に設けられたセンサによって得られる場合、車両の視野角および移動方向によって、複数の障害物が互いに隣接している時に車両に対して暗帯および不感地帯が生じる。
例えば図１０を参照する。第１の障害物Ｏ１および第２の障害物Ｏ２が車両Ａの正面にある場合、車両Ａは第１の障害物Ｏ１のみを認識可能である。第１の障害物Ｏ１の後の第２の障害物Ｏ２は、車両Ａに対して暗帯Ｚにあり、検出不可能である。

【0004】

光検出測距（ＬｉＤＡＲ）デバイスは自動運転システムにおいて広く使用されている。このデバイスは、周囲環境を迅速に感知し、かつ周囲環境を表す点群データを生成可能である。点群データに従って、周囲環境の３次元（３Ｄ）幾何情報が得られる。

【0005】

しかしながら、ＬｉＤＡＲには依然、上述される問題があり、互いに隣接する複数のオブジェクトがある時、このオブジェクトの幾何情報を完全に得ることは不可能である。このように、オブジェクトが障害物であるかどうかを後に判断することは好ましくない。

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明の目的は、環境情報を提供可能なダイナミックマップ情報を生成するためのシステムを提供することである。システムは、複数の車両デバイス、複数の中継ホスト、およびクラウドサーバを備える。

【課題を解決するための手段】

【0007】

複数の車両デバイスはそれぞれ、異なる車両に対応して設置される。車両デバイスのそれぞれは、点群データを生成するために車両周辺の環境を感知する光検出測距（ＬｉＤＡＲ）センサと、画像データを生成するために車両周辺の環境を捉えるカメラと、ＬｉＤＡＲセンサ、カメラ、およびデータ送信ユニットに接続されて、データ送信ユニットを通して送信される点群データおよび画像データを制御する車両コントローラと、人間－機械インターフェースとを備える。

【0008】

それぞれの中継ホストは、中継ホスト自体周辺の車両からの点群データおよび画像データを受信し、かつ複数車両データ統合モードを実行することで車両から受信された点群データをマージして環境におけるオブジェクトの３Ｄ座標情報を含有する処理結果を生成する。

【0009】

クラウドサーバは、複数の中継ホストおよび複数の車両デバイスと通信し、複数車両データ統合モードの処理結果を受信し、ダイナミックマップ情報を生成するためにオブジェクトの３Ｄ座標情報をベースマップと統合する。クラウドサーバは、ダイナミックマップ情報をそれぞれの車両デバイスの人間－機械インターフェースに送信する。

【0010】

本発明の別の目的は、環境情報を提供可能なダイナミックマップ情報を生成するための方法を提供することである。

【0011】

方法は、（ａ）車両に設置された車両デバイスからクラウドサーバに確認要求を送るステップと、（ｂ）複数の中継ホストの中のある中継ホストを指定し、かつ車両近くの中継ホストを指定するために車両の場所に言及するクラウドサーバによって指定される中継ホストを、車両デバイスに通知するステップと、（ｃ）車両から、車両デバイスによって指定される中継ホストに点群データおよび画像データを送信するステップであって、点群データは車両周辺の環境を感知するＬｉＤＡＲセンサによって提供され、画像データは車両周辺の環境を捉えるカメラによって提供される、送信するステップと、（ｄ）中継ホストが複数の車両から点群データおよび画像データを受信する時、中継ホストは、複数車両データ統合モードを実行することで、複数の車両から受信された点群データをマージして環境におけるオブジェクトの３Ｄ座標情報を含有する処理結果を生成するステップと、（ｅ）クラウドサーバによって、中継ホストから複数車両データ統合モードの処理結果を受信し、かつダイナミックマップ情報を生成するためにオブジェクトの３Ｄ座標情報をベースマップと統合するステップと、（ｆ）クラウドサーバによって、ダイナミックマップ情報をそれぞれの車両デバイスの人間－機械インターフェースに送信するステップであって、ダイナミックマップ情報は環境におけるオブジェクトの３Ｄ座標情報を含有する、送信するステップと、を含む。

【0012】

異なる車両のＬｉＤＡＲセンサによって感知される点群データを統合することによって、それぞれの車両の感知領域は車両周辺のより多くのオブジェクトを識別するために拡張可能である。オブジェクトの３Ｄ座標情報は、ダイナミックマップ情報を作成するためにベースマップと組み合わせ可能である。ダイナミックマップ情報は、環境情報共有の目的を実現するためにそれぞれの車両に送信される。

【0013】

本発明が自動運転車両に適用される時、好ましいダイナミックマップ情報は高精細マップ（ＨＤ ＭＡＰ）である。ＨＤ ＭＡＰは、安全走行経路を自動的にプログラミングし、かつ識別された障害物との衝突を回避するための自動運転車両における制御システムによって使用可能である。

【図面の簡単な説明】

【0014】

【図1】本発明によるシステムの概略図である。

【図2】本発明によるシステムのブロック図である。

【図3】本発明による、車両デバイス、中継ホスト、およびクラウドサーバの間の連係のフローチャートである。

【図4】それぞれ、２つのＬｉＤＡＲによって得られる点群データＰＡ、ＰＢの２つのグループを示す図である。

【図5】本発明において使用されるｉｔｅｒａｔｉｖｅ ｃｌｏｓｅｔ ｐｏｉｎｔ（ＩＣＰ）アルゴリズムのフローチャートである。

【図6】ＩＣＰアルゴリズムの計算によって互いにアラインされる図４における点群データＰＡ、ＰＢの２つのクラスタを示す図である。

【図7A】本発明によるＬｉＤＡＲによって得られる環境の点群データを示す図である。

【図7B】本発明によるカメラによって得られる環境の画像データを示す図である。

【図8】１つの車両によって行われるデータ処理のフローチャートである。

【図9】本発明による、複数の車両によって識別される障害物を示す概略図である。

【図10】車両に対する暗帯または不感地帯を示す概略図である。

【発明を実施するための形態】

【0015】

図１および図２を参照する。本発明のダイナミックマップ情報を生成するためのシステムは、それぞれが車両に対応して設置される車両デバイス１０と、環境に設けられる、好ましくは道路の近くにある複数の中継ホスト２０と、クラウドサーバ３０とを備える。

【0016】

それぞれの車両デバイス１０は、光検出測距（ＬｉＤＡＲ）センサ１１、カメラ１２、車両コントローラ１３、データ送信ユニット１４、および人間－機械インターフェース（ＨＣＩ）１５を備える。
ＬｉＤＡＲセンサ１１は、車両コントローラ１３に接続され、かつ点群データを生成するために車両周辺の環境を感知する。カメラ１２は、車両コントローラ１３に接続され、かつ画像データを生成するために車両周辺の画像を捉える。車両コントローラ１３は、データ送信ユニット１４を通して点群データおよび画像データを送信し、車両に対する固有の車両識別コードは、複数の車両の中で車両を識別するために車両コントローラ１３において事前に記憶される。データ送信ユニット１４は、車両デバイス１０、中継ホスト２０、およびクラウドサーバ３０の間のデータ送信のための無線通信ユニットである。

【0017】

中継ホスト２０は、車両デバイス１０とのｖｅｈｉｃｌｅ－ｔｏ－ｉｎｆｒａｓｔｒｕｃｔｕｒｅ（Ｖ２Ｉ）通信を確立するために周辺環境に構築されかつ分散される。中継ホスト２０のそれぞれは固有のホスト識別コードを有する。中継ホスト２０はまた、クラウドサーバ３０と通信する。

【0018】

クラウドサーバ３０は、ベースマップとして使用される基本環境情報が記憶されるマップデータベース３１にアクセス可能である。クラウドサーバ３０は中継ホスト２０によって処理されるデータをマップデータベース３１におけるベースマップと統合してダイナミックマップ情報を生成し、次いで、ダイナミックマップ情報をそれぞれの車両デバイス１０の人間－機械インターフェース１５に送信する。

【0019】

図３を参照する。車両デバイス１０、中継ホスト２０、およびクラウドサーバ３０の間の連係は以下のようなステップを含む。

【0020】

Ｓ３１：車両の車両デバイス１０は、車両自体周辺に中継ホスト２０があるかどうかを問い合わせるためにクラウドサーバ３０に確認要求を送る。クラウドサーバ３０について、クラウドサーバ３０は異なる車両デバイス１０から複数の確認要求を同時に受信してよい。

【0021】

Ｓ３２：クラウドサーバ３０は、確認要求を送る車両の場所に従って車両に利用可能な中継ホスト２０を指定し、かつ指定された中継ホスト２０のホスト識別コードを、確認要求を送る車両に提供し、クラウドサーバ３０は、そのＧＰＳ情報に従って確認要求を送る車両の場所を得ることが可能である。

【0022】

Ｓ３３：確認要求を送る車両デバイス１０がクラウドサーバ３０から返信情報を受信した後、車両デバイス１０は、点群データおよび画像データを含むその感知データ、および車両の車両識別コードを、クラウドサーバ３０によって指定された中継ホスト２０にアップロードする。中継ホスト２０の近くで確認要求を送っている車両が１つのみである場合、中継ホスト２０はその車両からの感知データのみを受信する。中継ホスト２０の近くでそういった確認要求を送っているのが複数の車両である場合、中継ホスト２０は複数の車両から感知データを受信する。

【0023】

Ｓ３４：車両デバイス１０のそれぞれから受信される感知データに基づいて、指定された中継ホスト２０は、「単一車両データ処理モード」または「複数車両データ統合モード」が実行されかつ処理されるべきであるかどうかを判断し、かつ単一車両データ処理モードまたは複数車両データ統合モードのどちらかの処理結果、およびホスト識別コードをクラウドサーバ３０に送信する。
中継ホスト２０の周りにあるのが１つの車両のみである場合、中継ホスト２０は、単一の車両デバイス１０のみから感知データを受信し、かつ「単一車両データ処理モード」を実行する。一方、中継ホスト２０の周りにあるのが２つ以上の異なる車両である時、中継ホスト２０は異なる車両から複数の感知データを受信し、かつ「複数車両データ統合モード」を実行する。単一車両データ処理モードおよび複数車両データ統合モードについては詳細に後述する。

【0024】

Ｓ３５：クラウドサーバ３０は、中継ホスト２０から処理結果を受信し、かつ処理データをベースマップと組み合わせてダイナミックマップ情報を生成する。処理結果が車両付近の障害物の３次元（３Ｄ）座標情報を含むため、ダイナミックマップ情報はそれに応じて、車両付近のオブジェクトの座標情報を含むことになる。

【0025】

Ｓ３６：クラウドサーバ３０は車両の人間－機械インターフェース１５に再びダイナミックマップ情報を送信する。ダイナミックマップ情報を送信する時、クラウドサーバ３０は車両識別コードに従ってダイナミックマップ情報が送信されるべき受信側車両を判断する。

【0026】

ステップＳ３４における複数車両データ統合モードに関して、中継ホスト２０は２つ以上の異なる車両からデータを受信する時、車両が異なる場所にあるため、車両上のＬｉＤＡＲセンサ１１によって感知される同じオブジェクトに対する点群データは互いに異なっている場合がある。
図４には、同じ対象に対する点群データの第１のグループＰＡおよび点群データの第２のグループＰＢが、概略的に示されている。点群データの第１のグループＰＡおよび点群データの第２のグループＰＢ異なる位置に位置する２つのＬｉＤＡＲセンサ１１よって生成され、点群データのそれぞれのグループＰＡ、ＰＢは複数のデータポイントで構成される。本発明は、ｉｔｅｒａｔｉｖｅ ｎｅａｒｅｓｔ ｐｏｉｎｔ（ＩＣＰ）アルゴリズムを利用して、点群データの２つのグループＰＡ、ＰＢにおける各データポイントの間の距離を低減する。換言すれば、点群データの２つのグループＰＡ、ＰＢにおける各データポイントは、互いにできるだけ近くに位置合わせ可能である。

【0027】

図５を参照する。ｉｔｅｒａｔｉｖｅ ｎｅａｒｅｓｔ ｐｏｉｎｔ（ＩＣＰ）アルゴリズムは本発明の主要な特徴ではない。ＩＣＰアルゴリズムのプロセスは主に、以下を含む。
Ｓ５１：点群データの第１のグループＰＡおよび点群データの第２のグループＰＢを得るステップ
Ｓ５２：点群データの第１のグループＰＡと点群データの第２のグループＰＢとの間の相関性を得るために点群データの２つのグループＰＡ、ＰＢにおいて互いにマッチするデータポイントを判断するステップ
Ｓ５３：点群データの２つのグループＰＡ、ＰＢの間の相関性に従って変換行列を算出するステップ
Ｓ５４：変換行列によって点群データの第１のグループＰＡにおけるそれぞれのデータポイントの座標を変換するために変換を実行するステップ
Ｓ５５：現在の変換における現在の二乗平均平方根値、および以前の変換の以前の二乗平均平方根値を算出して２つの二乗平均平方根値の間の誤差を得るステップ
Ｓ５６：算出した誤差がデフォルトの閾値より小さいかどうかを判断して、小さい場合、点群データの第１のグループＰＡは点群データの第２のグループＰＢと位置合わせされて算出を終了し、小さくない場合、ステップＳ５２を繰り返すステップ

【0028】

図６を参照する。点群データの２つのグループＰＡ、ＰＢは、ＩＣＰ計算を行った後互いに位置合わせされる。換言すれば、２つの車両上のＬｉＤＡＲセンサ１１によって測定される感知データが共通の感知領域を有する場合、感知データは互いにマージ可能であり、感知データの間の座標誤差は低減できる。異なる車両の感知領域は互いに異なっているため、車両の感知領域が組み合わせられる時、より広い感知領域を得ることが可能であり、それぞれの車両に対する不感地帯または暗帯は軽減できる。
中継ホスト２０が複数車両データ統合を終了する時、統合された点群データは、マップ情報の計算のためにクラウドサーバ３０に送信されることになる。点群データにおけるそれぞれのデータポイントが３Ｄ情報を表すため、統合された点群データはオブジェクトの３Ｄ座標情報を表してよい。

【0029】

ステップＳ３４における単一車両データ処理モードに関して、中継ホスト２０が１つの車両から感知データのみを受信する時、中継ホスト２０は車両によって提供される点群データおよび画像データを処理する。
図７Ａおよび図７Ｂに示されるように、ＬｉＤＡＲセンサ１１およびカメラ１２はそれぞれ、同じ環境を検出する時点群データおよび画像データを提供できる。画像データによると、車の後に歩行者がいることが分かる。しかしながら、歩行者は車によって部分的に隠れているため、点群データに従って歩行者が存在するか否かを判断することは困難である。隠れているオブジェクトを正確に認識するために、図８のように、中継ホスト２０は以下のステップを有する単一車両データ処理モードを実行する。

【0030】

Ｓ８１：例えば、画像データにおけるオブジェクトに対する第１の結合ボックスを識別する。オブジェクトは、車両オブジェクト、歩行者オブジェクト、オートバイライダーまたは自転車ライダーなどの擬似歩行者オブジェクトであってよく、結合ボックスは既知の画像認識技術によって認識可能である。

【0031】

Ｓ８２：点群データにおけるオブジェクトを識別してそれらの第２の結合ボックスを得、かつ画像データを点群データと比較するために第２の結合ボックスを画像データにマッピングする。

【0032】

Ｓ８３：点群データにおける第２の結合ボックスによって識別されるオブジェクトが画像データに存在するかどうかを判断し、同じオブジェクトが存在する場合、オブジェクトは明領域オブジェクトに属し、点群データにおけるそれぞれのデータポイントは３Ｄ情報を表すため、明領域オブジェクトの３Ｄ座標情報は点群データに基づいて得られ得る。例えば、車両は画像データおよび点群データにおいて識別可能であるため、車両は１種類の明領域オブジェクトである。画像データにおける識別された車両が点群データにおける同じものである場合、車両の３Ｄ座標情報は点群データに基づいて得られ得る。

【0033】

Ｓ８４：画像データが点群データにおいて識別されないオブジェクトであるかどうかを判断する。点群データにおいて識別されないが画像データに存在するオブジェクトがある場合、そのオブジェクトは暗領域オブジェクトに属する。例えば、点群データにおける車両の後ろの歩行者は、暗領域オブジェクトに属してよい。歩行者が画像データにおいて識別される場合、歩行者は暗領域オブジェクトとして確認される。

【0034】

Ｓ８５：暗領域オブジェクトの第１の結合ボックスを点群データにマッピングして暗領域オブジェクトの３Ｄ座標情報を得る。歩行者およびその第１の結合ボックスは前述のステップＳ８４において確認可能であるため、画像データにおいて識別される第１の結合ボックスの座標は、点群データにおける暗領域オブジェクトの位置に位置するように点群データにおける対応する座標にマッピングされることになる。

【0035】

中継ホスト２０が単一車両データ処理モードを終了した後、明領域オブジェクトおよび暗領域オブジェクトの３Ｄ座標情報を点群データから得ることが可能である。オブジェクトの３Ｄ座標情報はダイナミックマップ情報の計算のためにクラウドサーバ３０に送信されることになる。

【0036】

クラウドサーバ３０が中継ホスト２０によって算出されたオブジェクトの３Ｄ座標情報を受信する時、クラウドサーバ３０は、３Ｄ座標情報をベースマップと組み合わせてダイナミックマップ情報を生成し、次いで、ダイナミックマップ情報をそれぞれの車両の人間－機械インターフェース１５に送信する。
別の実施形態では、ダイナミックマップ情報は自動運転車両の自動制御のための高精細マップ（ＨＤ ＭＡＰ）である。さらに別の実施形態では、ダイナミックマップ情報は車両ドライバーに可視のマップである。

【0037】

要するに、異なる車両または１つの車両から感知データを統合することによって、本発明は以下のような効果を実現可能である。

【0038】

１．暗帯または不感地帯に対する最適化を感知する。
図９Ａを参照する。車両Ａ自体は、第１のオブジェクトＯ１のみを検出できるが、暗帯Ｚにおける第２のオブジェクトＯ２を認識できない。しかしながら、例えば、第２のオブジェクトＯ２を検出できる車両Ｂの感知データを統合するように、本発明に従って異なる車両から点群データを統合することによって、車両Ａに対する感知領域は効果的に拡張できる。統合された点群データを車両のそれぞれに提供後、車両Ａは暗帯における第２のオブジェクトＯ２をうまく認識できる。自動運転車両について、その感知能力は運転経路のプログラミングを高めるように改善できる。

【0039】

２．高精細マップのダイナミック情報を増大させる。
ｖｅｈｉｃｌｅ－ｔｏ－ｉｎｆｒａｓｔｒｕｃｔｕｒｅ（Ｖ２Ｉ）通信を通して、それぞれの中継ホスト２０は、種々の車から、暗帯、障害物の識別、および走行可能間隔などのさまざまな種類のダイナミック情報を受信できる。統合されたダイナミックマップ情報は、好ましい運転経路を判断するために自動運転車両に対する基準としてのリアルタイム情報を含有する。

【0040】

３．分散データ計算アーキテクチャ。
中継ホスト２０のそれぞれは、クラウドサーバ３０の計算負荷を軽減するためにフロントエンドデータ処理を行うことで、それぞれの車両は環境情報をリアルタイムかつ迅速に得ることが可能である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7A】

【図7B】

【図8】

【図9】

【図10】