特開 2023-35687 ３次元マップ生成方法及び３次元マップ生成装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023035687

(43)【公開日】2023-03-13

(54)【発明の名称】３次元マップ生成方法及び３次元マップ生成装置

(51)【国際特許分類】

   G09B 29/00 20060101AFI20230306BHJP

   G01C 21/32 20060101ALI20230306BHJP

   G01C 7/04 20060101ALI20230306BHJP

【ＦＩ】

G09B29/00 Z

G01C21/32

G01C7/04

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2021142719

(22)【出願日】2021-09-01

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り 令和２年９月２０日に、ＩＥＥＥ ＩＴＳＣ ２０２０のウェブサイト（ｈｔｔｐ：／／ｉｔｓ．ｐａｐｅｒｃｅｐｔ．ｎｅｔ／ｃｏｎｆｅｒｅｎｃｅｓ／ｃｏｎｆｅｒｅｎｃｅｓ／ＩＴＳＣ２０／ｐｒｏｃｅｅｄｉｎｇｓ／ＩＴＳＣ２０＿ＣｏｎｔｅｎｔＬｉｓｔＭｅｄｉａ＿２．ｈｔｍｌ）にて会議発表が掲載 令和２年１２月２４日に、ＩＥＥＥ ＩＴＳＣ ２０２０講演要旨集のウェブサイト（ｈｔｔｐｓ：／／ｉｅｅｅｘｐｌｏｒｅ．ｉｅｅｅ．ｏｒｇ／ａｂｓｔｒａｃｔ／ｄｏｃｕｍｅｎｔ／９２９４６３４）にて論文が公開

(71)【出願人】

【識別番号】504160781

【氏名又は名称】国立大学法人金沢大学

(74)【代理人】

【識別番号】100109210

【弁理士】

【氏名又は名称】新居 広守

(72)【発明者】

【氏名】ムハンマド・アムル・アッディバージャ

(72)【発明者】

【氏名】菅沼 直樹

【テーマコード（参考）】

2C032

2F129

【Ｆターム（参考）】

2C032HB22

2C032HC08

2F129AA03

2F129BB03

2F129BB33

2F129BB50

2F129CC15

2F129GG17

2F129GG18

(57)【要約】

【課題】高精度で３次元マップを生成する３次元マップ生成方法等を提供する。
【解決手段】３次元マップ生成方法は、車両２０に搭載されるＬｉＤＡＲ１１で取得したポイントクラウドから、道路を含む矩形の地表面を表すＸＹノード画像及び標高を表すＺノード画像を複数、生成するノード画像生成ステップ（Ｓ１１）と、生成された複数のノード画像における位置誤差を削減することでＸＹ面マップ及びＺ面マップを生成するマップ生成ステップ（Ｓ１３）とを含み、マップ生成ステップ（Ｓ１３）は、累積誤差を削減する再訪問処理の一例であるループ閉鎖を行うことにより、ＸＹ面マップでの位置誤差を削減するループ閉鎖ステップ（Ｓ１３ａ）を含み、ループ閉鎖ステップ（Ｓ１３ａ）では、同じ箇所を含む２つのＸＹノード画像について標高差が第１閾値未満か否かを判断し、標高差が第１閾値未満の場合にループ閉鎖を行う（Ｓ２１）。
【選択図】図２

【特許請求の範囲】

【請求項1】

３次元マップを生成する方法であって、
車両に搭載され、走行経路を含む環境を検出する地図作成用物体検出装置で取得したポイントクラウドから、走行経路を含む矩形の地表面を表すＸＹノード画像及び前記ＸＹノード画像を構成する各画素が示す地点の標高を表すＺノード画像の対であるノード画像を複数、生成するノード画像生成ステップと、
生成された前記複数のノード画像における位置誤差を削減することで、ＸＹ面マップ及びＺ面マップを含む３次元マップを生成するマップ生成ステップとを含み、
前記マップ生成ステップは、前記複数のノード画像の連結を示すグラフにおける同じ箇所を観測することで累積誤差を削減する再訪問処理を行うことにより、前記ＸＹ面マップでの位置誤差を削減する再訪問ステップを含み、
前記再訪問ステップでは、前記同じ箇所を含む２つの前記ＸＹノード画像について、対応する２つの前記Ｚノード画像を参照することで、標高差が第１閾値未満か否かを判断し、判断結果に基づいて、前記再訪問処理を行う、
３次元マップ生成方法。

【請求項2】

前記再訪問ステップは、前記複数のノード画像の連結を示すグラフにおけるループ上の同じ箇所を観測することで累積誤差を削減するループ閉鎖を行うことにより、前記ＸＹ面マップでの位置誤差を削減するループ閉鎖ステップを含み、
前記ループ閉鎖ステップでは、前記同じ箇所を含む２つの前記ＸＹノード画像について、対応する２つの前記Ｚノード画像を参照することで、標高差が第１閾値未満か否かを判断し、前記標高差が前記第１閾値未満の場合に、前記ループ閉鎖を行う、
請求項１記載の３次元マップ生成方法。

【請求項3】

前記ノード画像生成ステップで生成される複数の前記ＸＹノード画像には、異なる地理的大きさの矩形に対応する複数のＸＹノード画像が含まれ、
前記ノード画像生成ステップは、前記複数のＸＹノード画像のそれぞれを、同じ地理的大きさの矩形に対応する複数のサブ画像に分割するサブ画像分割ステップを含み、
前記ループ閉鎖ステップでは、前記同じ箇所を含む２つの前記ＸＹノード画像が第２閾値以上の個数のサブ画像を共有し、かつ、前記標高差が前記第１閾値未満の場合に、前記ループ閉鎖を行う、
請求項２記載の３次元マップ生成方法。

【請求項4】

前記ＸＹノード画像の標高差は、対応する前記Ｚノード画像を構成する各画素が示す標高の平均値である、
請求項３記載の３次元マップ生成方法。

【請求項5】

前記ループ閉鎖ステップでは、共有されている前記第２閾値以上の個数のサブ画像における前記走行経路の表面を示す画素を共有する個数が第３閾値以上である場合に、前記ループ閉鎖を行う、
請求項３又は４記載の３次元マップ生成方法。

【請求項6】

前記ループ閉鎖ステップでは、前記同じ箇所を含む２つの前記ＸＹノード画像が、第４閾値以上ノード数が離れている場合に、前記ループ閉鎖を行う、
請求項３又は４記載の３次元マップ生成方法。

【請求項7】

前記再訪問ステップは、前記複数のノード画像の連結を示すグラフにおける同じ箇所を観測することで累積誤差を削減するマップ結合を行うことにより、前記ＸＹ面マップでの位置誤差を削減するマップ結合ステップを含み、
前記マップ結合ステップでは、前記同じ箇所を含む２つの前記ＸＹノード画像について、対応する２つの前記Ｚノード画像を参照することで、標高差が第１閾値未満か否かを判断し、前記標高差が前記第１閾値未満の場合に、前記マップ結合を行う、
請求項１記載の３次元マップ生成方法。

【請求項8】

前記マップ生成ステップでは、さらに、生成した３次元マップに対してＳＬＡＭ（Simultaneous Localization and Mapping）を適用することで相対位置誤差を削減し、相対位置誤差を削減した３次元マップを出力する、
請求項１～７のいずれか１項に記載の３次元マップ生成方法。

【請求項9】

３次元マップを生成する装置であって、
車両に搭載され、走行経路を含む環境を検出する地図作成用物体検出装置で取得したポイントクラウドから、走行経路を含む矩形の地表面を表すＸＹノード画像及び前記ＸＹノード画像を構成する各画素が示す地点の標高を表すＺノード画像の対であるノード画像を複数、生成するノード画像生成部と、
生成された前記複数のノード画像における位置誤差を削減することで、ＸＹ面マップ及びＺ面マップを含む３次元マップを生成するマップ生成部とを含み、
前記マップ生成部は、前記複数のノード画像の連結を示すグラフにおける同じ箇所を観測することで累積誤差を削減する再訪問処理を行うことにより、前記ＸＹ面マップでの位置誤差を削減する再訪問処理部を含み、
前記再訪問処理部は、前記同じ箇所を含む２つの前記ＸＹノード画像について、対応する２つの前記Ｚノード画像を参照することで、標高差が第１閾値未満か否かを判断し、判断結果に応じて、前記再訪問処理を行う、
３次元マップ生成装置。

【請求項10】

請求項１～８のいずれか１項に記載の３次元マップ生成方法に含まれるステップをコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、３次元マップ生成方法及び３次元マップ生成装置に関し、特に、ポイントクラウドから３次元マップを生成する方法に関する。

【背景技術】

【0002】

近年、車両に搭載したＬｉＤＡＲ（Light Detection and Ranging）から取得した３次元距離画像を示すポイントクラウド（point clouds；点群）に対してＳＬＡＭ（Simultaneous Localization And Mapping；同時位置推定と地図生成）を実行することでマップを生成することが行われている。ＳＬＡＭを用いたマップ生成では、周回経路（ループ）を一周して同じ点を観測し、そのデータを連立方程式に加えることで累積誤差を大幅に削減するループ閉鎖（Loop Closure）が行われる。

【0003】

そこで、従来、様々なループ閉鎖の技術が提案されている（非特許文献１参照）。非特許文献１では、車両の位置に依存してマップデータ内のループ閉鎖イベント（ループ閉鎖のための事象；単に、「ループ閉鎖」ともいう）を検出し、環境シグネチャとして登録されるいくつかの特徴を抽出することに焦点を当てている。

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】M. Vlaminck, H. Luong and W. Philips, “Have I Seen This Place Before? A Fast and Robust Loop Detection and Correction Method for 3D Lidar SLAM” Sensors, vol. 23, no. 19, 2019.

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、非特許文献１の技術では、（１）ポイントクラウドが不足していること、（２）交通の流れがポイント分布に影響を与えること、及び、（３）特に同じ場所に異なる速度で車両が到着した場合に車両位置について真の関係性が誤ったものになってしまうことから、誤検出なしに高精度でマップを生成することは困難である。

【0006】

そこで、本開示は、高精度で３次元マップを生成する方法等を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記目的を達成するために、本開示の一形態に係る３次元マップ生成方法は、車両に搭載され、走行経路を含む環境を検出する地図作成用物体検出装置で取得したポイントクラウドから、走行経路を含む矩形の地表面を表すＸＹノード画像及び前記ＸＹノード画像を構成する各画素が示す地点の標高を表すＺノード画像の対であるノード画像を複数、生成するノード画像生成ステップと、生成された前記複数のノード画像における位置誤差を削減することで、ＸＹ面マップ及びＺ面マップを含む３次元マップを生成するマップ生成ステップとを含み、前記マップ生成ステップは、前記複数のノード画像の連結を示すグラフにおける同じ箇所を観測することで累積誤差を削減する再訪問処理を行うことにより、前記ＸＹ面マップでの位置誤差を削減する再訪問ステップを含み、前記再訪問ステップでは、前記同じ箇所を含む２つの前記ＸＹノード画像について、対応する２つの前記Ｚノード画像を参照することで、標高差が第１閾値未満か否かを判断し、判断結果に基づいて、前記再訪問処理を行う。

【0008】

また、上記目的を達成するために、本開示の一形態に係る３次元マップ生成装置は、車両に搭載され、走行経路を含む環境を検出する地図作成用物体検出装置で取得したポイントクラウドから、走行経路を含む矩形の地表面を表すＸＹノード画像及び前記ＸＹノード画像を構成する各画素が示す地点の標高を表すＺノード画像の対であるノード画像を複数、生成するノード画像生成部と、生成された前記複数のノード画像における位置誤差を削減することで、ＸＹ面マップ及びＺ面マップを含む３次元マップを生成するマップ生成部とを含み、前記マップ生成部は、前記複数のノード画像の連結を示すグラフにおける同じ箇所を観測することで累積誤差を削減する再訪問処理を行うことにより、前記ＸＹ面マップでの位置誤差を削減する再訪問処理部を含み、前記再訪問処理部は、前記同じ箇所を含む２つの前記ＸＹノード画像について、対応する２つの前記Ｚノード画像を参照することで、標高差が第１閾値未満か否かを判断し、判断結果に応じて、前記再訪問処理を行う。

【発明の効果】

【0009】

本開示により、高精度で３次元マップを生成する方法等が提供される。

【図面の簡単な説明】

【0010】

【図1】図１は、実施の形態に係る３次元マップ生成装置の構成を示すブロック図である。

【図2】図２は、実施の形態に係る３次元マップ生成装置の動作手順を示すフローチャートである。

【図3】図３は、図２のフローチャートで示される特徴的な処理の概要を示す模式図である。

【図4】図４は、３次元マップの生成に用いられた車両の外観、及び、車両に搭載されたＬｉＤＡＲから取得されるポイントクラウドの例を示す図である。

【図5】図５は、図２のステップＳ１３ａの詳細を示すフローチャートである。

【図6】図６は、図２のＳ１２の詳細を説明する図である。

【図7】図７は、図２のＳ１３ａの詳細を説明する図である。

【図8】図８は、金沢市における橋－地下道の立体交差道路で構成される交差領域を含む場所で行った本実施の形態に係る３次元マップ生成装置の実験結果を説明する図である。

【図9A】図９Ａは、別の実験として、マルチレイヤーのコースを含む地下トンネルの長い高速道路で行った本実施の形態に係る３次元マップ生成装置の実験の場所を示す図である。

【図9B】図９Ｂは、図９Ａに示された実験結果の一例（２つのマップ間の相関行列の例）を示す図である。

【図9C】図９Ｃは、図９Ａに示される実験結果の別の一例（２つのマップを用いたマップ結合検出の例）を示す図である。

【発明を実施するための形態】

【0011】

以下、本開示の実施の形態について、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示す。以下の実施の形態で示される数値、実験場所、センサ等の構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序等は、一例であり、本開示を限定する主旨ではない。また、各図は、必ずしも厳密に図示したものではない。各図において、実質的に同一の構成については同一の符号を付し、重複する説明は省略又は簡略化する。

【0012】

図１は、実施の形態に係る３次元マップ生成装置１０の構成を示すブロック図である。３次元マップ生成装置１０は、グラフをベースとするＳＬＡＭを用いて３次元マップを生成する装置であり、道路を走行する車両に搭載された地図作成用物体検出装置（ここでは、ＬｉＤＡＲ１１）及びＧＰＳ１２と接続されて用いられるノード画像生成部１３と、マップ生成部１４とを備える。

【0013】

ノード画像生成部１３は、地図作成用物体検出装置の一例であるＬｉＤＡＲ１１及びＧＰＳ１２から、それぞれ、ポイントクラウド及び測位データを取得し、取得したポイントクラウド及び測位データから、道路等の走行経路を含む矩形の地表面を表すＸＹノード画像及びＸＹノード画像を構成する各画素が示す地点の標高を表すＺノード画像の対であるノード画像を、車両の走行経路に沿って、複数、生成する。生成される複数のノード画像は、車両の走行経路に依存して、必ずしも同じ地理的大きさの矩形とは限られない。そのために、ノード画像生成部１３は、複数のＸＹノード画像のそれぞれを、同じ地理的大きさの矩形（固定の幅及び固定の高さからなる矩形領域）に対応する複数のサブ画像に分割するサブ画像分割部１３ａを有している。なお、ノード画像を、単に、ノードともいう。また、走行経路の対象は、道路だけに限られず、工事現場、農地等の車両が走行できる場所が含まれる。

【0014】

マップ生成部１４は、ノード画像生成部１３で生成されたノード画像における位置誤差を削減することで、ＸＹ面マップ及びＺ面マップを含む３次元マップを生成する。そのために、マップ生成部１４は、ノード画像生成部１３で生成された複数のノード画像の連結を示すグラフにおける同じ箇所を観測することで累積誤差を削減する再訪問処理を行うことによりＸＹ面マップでの位置誤差を削減する再訪問処理部１４ａと、再訪問処理が施された３次元マップに対してＳＬＡＭを適用し得られた最終的な３次元マップ１５を出力するＳＬＡＭ部１４ｄとを有する。再訪問処理部１４ａは、同じ箇所を含む２つのＸＹノード画像について、対応する２つのＺノード画像を参照することで、標高差が第１閾値未満か否かを判断し、判断結果に応じて、再訪問処理を行う。そのために、具体的な再訪問処理として、再訪問処理部１４ａは、ノード画像生成部１３で生成された複数のノード画像の連結を示すグラフにおけるループを車両で周回して同じ箇所を観測することで累積誤差を削減するループ閉鎖を行うことによりＸＹ面マップでの位置誤差を削減するループ閉鎖部１４ｂと、ノード画像生成部１３で生成された複数のノード画像の連結を示すグラフにおける同じ箇所を観測することで累積誤差を削減するマップ結合を行うことによりＸＹ面マップでの位置誤差を削減するマップ結合部１４ｃとを有する。

【0015】

ループ閉鎖部１４ｂは、同じ箇所を含む２つのＸＹノード画像について、対応する２つのＺノード画像を参照することで、標高差が第１閾値未満か否かを判断し、標高差が第１閾値未満の場合（つまり、第１条件を満たす場合）に、ループ閉鎖を行う。なお、ＸＹノード画像の標高差は、例えば、対応するＺノード画像を構成する各画素が示す標高の平均値である。また、ループ閉鎖部１４ｂは、事前の設定に応じて、上記第１条件に加えて、同じ箇所を含む２つのＸＹノード画像が第２閾値以上の個数のサブ画像を共有する場合（つまり、第２条件を満たす場合）に、ループ閉鎖を行う。さらに、ループ閉鎖部１４ｂは、事前の設定に応じて、上記第１条件及び第２条件に加えて、共有されている第２閾値以上の個数のサブ画像における道路の表面を示す画素を共有する個数が第３閾値以上である場合（つまり、第３条件を満たす場合）に、ループ閉鎖を行う。さらに、ループ閉鎖部１４ｂは、事前の設定に応じて、上記第１～第３条件に加えて、同じ箇所を含む２つのＸＹノード画像が、第４閾値以上ノード数が離れている（非連続的である；連続でない）場合（つまり、第４条件を満たす場合）に、ループ閉鎖を行う。なお、「事前の設定に応じて」とは、３次元マップ生成装置１０に対するユーザによる設定（フラグ等の情報の記憶）に依存することを意味し、対応する処理を実行する／しないの選択が任意に行われる。

【0016】

ＳＬＡＭ部１４ｄは、再訪問処理部１４ａによって再訪問処理が施された３次元マップに対してＳＬＡＭを実行することで、各レイヤーにおける相対位置誤差、及び、絶対座標系における２つのマップ間の地理的位置の誤差を抑制し、高精度の３次元マップ、又は、結合された高精度の３次元マップを生成する。

【0017】

なお、ノード画像生成部１３及びマップ生成部１４は、データ処理を実行する機能ブロックであり、プログラムを格納する不揮発性メモリ、データを一時的に格納する揮発性メモリ、プログラムを実行するプロセッサ、周辺装置との入出力を行う入出力インタフェース等を備えるコンピュータ装置によって実現され得る。

【0018】

図２は、実施の形態に係る３次元マップ生成装置１０の動作手順（つまり、３次元マップ生成方法）を示すフローチャートである。図３は、図２のフローチャートで示される特徴的な処理の概要を示す模式図である。

【0019】

まず、ノード画像生成部１３は、ＬｉＤＡＲ１１及びＧＰＳ１２から、それぞれ、ポイントクラウド及び測位データを取得する（図２のＳ１０）。図４は、３次元マップの生成に用いられた車両２０の外観（図４の（ａ））、及び、車両２０に搭載されたＬｉＤＡＲ１１から取得されるポイントクラウドの例（図４の（ｂ））を示す図である。

【0020】

次に、ノード画像生成部１３は、ＬｉＤＡＲ１１及びＧＰＳ１２から取得したポイントクラウド及び測位データから、道路等の走行経路を含む矩形の地表面を表すＸＹノード画像及びＸＹノード画像を構成する各画素が示す地点の標高を表すＺノード画像の対であるノード画像を、車両の走行経路に沿って、複数、生成する（図２のＳ１１；図３の（ａ）参照）。生成される複数のノード画像は、車両の走行経路に依存して、必ずしも同じ地理的大きさの矩形とは限られない。

【0021】

より詳しくは、ノード画像生成部１３は、ＬｉＤＡＲ１１から取得したポイントクラウドから、道路等の走行経路を含む地表面を表す（より詳しくは、高さ０．３ｍでカットされた）強度画像（輝度画像）のＬｉＤＡＲフレーム及び強度画像を構成する画素の標高を示す標高画像のＬｉＤＡＲフレームを生成する。そして、ノード画像生成部１３は、所定の矩形領域における強度画像のＬｉＤＡＲフレームを連結したものをＸＹノード画像とし、強度画像に対応する標高画像のＬｉＤＡＲフレームを連結したものをＺノード画像とし、ＸＹノード画像とＺノード画像との組をノード画像として、車両の走行経路に沿って、複数、生成する。このとき、ノード画像生成部１３は、複数のノード画像のそれぞれに対して、ＸＹノード画像については、対応するＸＹノード画像が示す矩形領域の左上隅（最小のＸ座標、最大のＹ座標）の地理的位置に対応する識別子を付与し、Ｚノード画像については、対応するＺノード画像の各画素が示す標高値の平均値を示す識別子を付与する。なお、識別子の付与の方法については、この方法に限られず、例えば、ＸＹノード画像に対して、右下隅（最大のＸ座標、最小のＹ座標）の地理的位置に対応する識別子を付与してもよい。

【0022】

次に、サブ画像分割部１３ａは、ノード画像生成部１３によって生成された複数のＸＹノード画像のそれぞれを、同じ地理的大きさの矩形（固定の幅及び固定の高さからなる矩形領域）に対応する複数のサブ画像に分割する（図２のＳ１２）。より詳しくは、サブ画像分割部１３ａは、図３の（ｂ）～（ｃ）に示されるように、ノード画像生成部１３によって生成された各ＸＹノード画像に対して、まず、サブ画像の整数倍に相当する矩形で囲い込むハウジング（Housing）を行い、次に、ハウジングしている矩形を整数個の固定サイズの矩形のサブ画像（例えば、幅及び高さが５１２画素（地理的長さ６４ｍ相当）の画像）に分割し（Cutting）、さらに、分割された各サブ画像に対して左上隅の地理的位置に対応する識別子を付与（対応するＺ面のサブ画像に対しては非ゼロ画素が示す標高値の平均値に基づく識別子を付与）する。

【0023】

次に、マップ生成部１４は、ノード画像生成部１３で生成されたノード画像における位置誤差を削減しながら、ＸＹノード画像を連結、及び、Ｚノード画像を連結することで、ＸＹ面マップ及びＺ面マップを含む３次元マップを生成する（図２のＳ１３）。

【0024】

このとき、マップ生成部１４の再訪問処理部１４ａは、ループ閉鎖部１４ｂによってループ閉鎖を行うことによってＸＹ面マップでの位置誤差を削減したり、マップ結合部１４ｃによって２以上のマップを結合したりする（図２のＳ１３ａ）。図５は、図２のステップＳ１３ａ（特に、ループ閉鎖）の詳細を示すフローチャートである。図５を参照して、ループ閉鎖部１４ｂは、まず、ループ閉鎖の候補として、同じ個所（車両２０がループを一周して戻ってきた同じ位置）を含む２つのＸＹノード画像を特定する（図５のＳ２０）。そして、ループ閉鎖部１４ｂは、図３の（ｄ）に示されるように、候補の２つのＸＹノード画像について、対応する２つのＺノード画像を参照することで、標高差が第１閾値（例えば、２．５ｍ（Road Structure Threshold；道路構造閾値））未満である（つまり、第１条件を満たす）か否かを判断する（図５のＳ２１）。

【0025】

標高差が第１閾値未満の場合には（図５のＳ２１でＹｅｓ）、ループ閉鎖部１４ｂは、続けて、図３の（ｄ）に示されるように、候補の２つのＸＹノード画像が第２閾値（例えば、４個（道路領域閾値；Road Area Threshold））以上の個数のサブ画像を共有する（つまり、第２条件を満たす）か否かを判断する（図５のＳ２２）。

【0026】

共有するサブ画像が第２閾値以上である場合には（図５のＳ２２でＹｅｓ）、ループ閉鎖部１４ｂは、続けて、図３の（ｄ）に示されるように、候補の２つのＸＹノード画像で共有されている第２閾値以上の個数のサブ画像における道路の表面を示す画素のうち共有されている画素の個数が第３閾値（例えば、１００００個（道路テクスチャ閾値；Road Texture Threshold））以上である（つまり、第３条件を満たす）か否かを判断する（図５のＳ２３）。

【0027】

共有されている画素数が第３閾値以上である場合には（図５のＳ２３でＹｅｓ）、ループ閉鎖部１４ｂは、続けて、候補の２つのＸＹノード画像について、間隔（ノード）が第４閾値（例えば、２）以上である、つまり、候補の２つのＸＹノード画像が、第４閾値（例えば、２）以上ノード数が離れている（つまり、連続でない；non-sequential；第４条件を満たす）か否かを判断する（図５のＳ２４）。

【0028】

２つのＸＹノード画像が連続でない場合には（図５のＳ２４でＹｅｓ）、ループ閉鎖部１４ｂは、候補の２つのＸＹノード画像に対して、ループ閉鎖を実行する（図５のＳ２５）。つまり、同じ個所（車両２０がループを一周して戻ってきた同じ位置）を含む候補の２つのＸＹノード画像に対して、同じ個所が同一の地理的位置となるように、そのデータを連立方程式に加えることで累積誤差を削減する。

【0029】

なお、図５のステップＳ２１～Ｓ２４のいずれかの判断において否定的に判断された場合には（図５のＳ２１～Ｓ２４のいずれかでＮｏ）、ループ閉鎖は実行されない（終了する）。

【0030】

再び、図２を参照して、最後に、マップ生成部１４は、ループ閉鎖部１４ｂによって位置誤差が削減された３次元マップに対して、ＳＬＡＭ部１４ｄよるＳＬＡＭを適用することで、相対位置誤差を補償し、相対位置誤差が補償された３次元マップを、最終的な３次元マップ１５として、外部の記憶装置又はディスプレイ等の出力装置へ出力する（図２のＳ１４）。より詳しくは、マップ生成部１４は、ループ閉鎖部１４ｂによって、図３に示されるように、道路構造を表す行列に基づいて同じＺ位置（標高／レイヤー）での複数のノードにおけるループ閉鎖を検出し、それら複数のノードが、確実に、道路領域を表す行列に基づいて絶対座標系において一つの重要な道路セグメントを共有し、かつ、道路テクスチャを表す行列に基づいて画像領域において一つの道路テクスチャを共有するように、処理を行う。したがって、マップ生成部１４は、ＳＬＡＭ部１４ｄにより、ループ閉鎖部１４ｂによってループ閉鎖が行われたノード間の相対位置誤差を補償し、正確な３次元マップ１５を生成する。

【0031】

なお、図５のフローチャートでは、ステップＳ２１～Ｓ２４の全ての判断が実施されたが、ステップＳ２２～Ｓ２４の判断は、任意であり、事前の設定に応じて、選択的に実行されればよい。また、マップ生成部１４のマップ結合部１４ｃは、ループ閉鎖部１４ｂと同様に、図５のステップＳ２１～Ｓ２４の条件が満たされた２つのマップ（又は、ノード画像）に対して、マップ結合を実行する（図３参照）。

【0032】

図６は、図２のＳ１２（ノード画像のサブ画像への分割）の詳細を説明するためのＸＹノード画像（Node Image）の例を示す図である。図６の（ａ）は、ある長さの道路を表すＸＹノード画像（Node Image）の例を示し、図６の（ｂ）は、そのＸＹノード画像が分割された９個のサブ画像の例を示す。図６の（ｃ）は、図６の（ａ）に対応するＺノード画像の例を示し、図６の（ｄ）は、そのＺノード画像が分割された、図６の（ｂ）に対応する９個のサブ画像の例を示す。

【0033】

図６の（ａ）には、ＸＹノード画像（Node Image）の上に、絶対座標系（ACS；Absolute Coordinate System）のＸ軸及びＹ軸が示され、一つのＬｉＤＡＲフレーム（LiDAR Frame）及び車両２０の位置（Vehicle Position）の例が示され、道路のエッジ（Road Edge）が示され、ＸＹノード画像の識別子としてＸＹノード画像の左上隅の位置Ｃ^ＴＬが示されている。

【0034】

図６の（ｂ）には、ハウジングされたＸＹノード画像の左上隅の位置ＣＨ^ＴＬが示され、分割された各サブ画像の識別子として各サブ画像の左上隅の位置座標が示されている。

【0035】

ハウジングされたＸＹノード画像の左上隅の位置ＣＨ^ＴＬは、ＸＹノード画像の左上隅の位置Ｃ^ＴＬから、以下の式１（具体的な数値例つき）で算出される。

【0036】

CH^TL(x)＝floor(C^TL(x)/(Res*w)) = floor(-5092/(0.125*512))=-80
CH^TL(y)＝ceil(C^TL(y)/(Res*h)) = ceil(-40487/(0.125*512))=-632 ・・ （式１）

【0037】

ここで、Ｒｅｓは、画素の解像度（０．１２５ｍ×０．１２５ｍ）であり、ｗ及びｈは、それぞれ、サブ画像の幅及び高さ（５１２画素；６４ｍ）であり、ｆｌｏｏｒ及びｃｅｉｌは、それぞれ、切り捨ての関数、及び、切り上げの関数である。

【0038】

図６の（ｂ）に示される各サブ画像の識別子（ＸＹ－ＩＤ）は、ハウジングされたＸＹノード画像の左上隅の位置ＣＨ^ＴＬと、ハウジングされたＸＹノード画像における相対位置とに基づいて、決定される。例えば、図６の（ｂ）における最上行における真ん中（１，０）のサブ画像１の識別子（－７９、－６３２）は、以下の式２より、算出される。

【0039】

ID1(x)=CHTL(x)+1=-80+1=-79
ID1(y)=CHTL(y)+0=-632+1=-632 ・・ （式２）

【0040】

このように、全てのＸＹノード画像は、識別子（ＸＹ－ＩＤ）が付与された同一サイズの識別可能なサブ画像に分割される。このことは、全てのＸＹ面での画像が、絶対座標系（ACS）で統一された形式で表現されることを意味する。

【0041】

Ｚノード画像については、図６の（ｃ）及び（ｄ）に示されるように、ＸＹノード画像のサブ画像への分割が終了した後に、同様の手順で、Ｚノード画像のサブ画像への分割が行われ、各サブ画像に対して、以下の式３に示されるように、非ゼロの画素が示す標高値の平均値が識別子（Ｚ－ＩＤ）として付与される。

【0042】

【数1】

【0043】

ここで、ＩＤ（ｚ）はサブ画像の識別子（Ｚ－ＩＤ）を示し、Ｚ_Ｎ（ｕ，ｖ）はサブ画像を構成する座標（ｕ，ｖ）の画素が示す標高値を示し、ｗはサブ画像のｘ軸方向の長さ（幅）を示し、ｈはサブ画像のｙ軸方向の長さ（高さ）を示し、ＵＶは非ゼロ画素の個数を示す。

【0044】

なお、画素がない（つまり、黒色の）サブ画像については、Ｚノード画像についての標高値の平均値が識別子として付与されてもよい。あらゆるケースにおいて、黒色の画像は、強度画像におけるゼロ画素の集まりであることから、道路構造の行列の作成に影響することがないからである。

【0045】

図７は、図２のステップＳ１３ａ（特に、ループ閉鎖）の詳細を説明する図である。ここでは、ノード画像生成部１３で生成された連続するＸＹノード画像（Node1、Node2、Node3、・・・）の中から３つのＸＹノード画像（Node3、Node4、Node7）を抜き出して、ループ閉鎖の詳細が説明されている。つまり、図７の（ａ）～（ｃ）は、それぞれ、第３ＸＹノード画像（Node3）、第４ＸＹノード画像（Node4）、第7ＸＹノード画像（Node7）の例を示し、図７の（ｄ）～（ｆ）は、それぞれ、３つのＸＹノード画像から選択して組み合わされる２つのＸＹノード画像（Ｘ座標及びＹ座標）間において共有されるサブ画像の個数（「道路領域」）、共有される画素の個数（「道路テクスチャ」）、共有されるサブ画像におけるＺ面の標高差（「道路構造」）を、Ｘ座標とＹ座標で特定されるマスに示される数値で、示している。

【0046】

図７の（ａ）～（ｃ）において点線で仕切られているように、第３ＸＹノード画像（Node3）、第４ＸＹノード画像（Node4）、第７ＸＹノード画像（Node7）は、それぞれ、８個、６個、８個のサブ画像で構成される。サブ画像の識別子から分かるように、第３ＸＹノード画像（Node3）と第４ＸＹノード画像（Node4）とは、２個のサブ画像（識別子（-672）（926）、（-672）（925））を共有しており、第３ＸＹノード画像（Node3）と第７ＸＹノード画像（Node7）とは、４個のサブ画像（識別子（-669）（926）、（-670）（926）、（-669）（925）、（-670）（925））を共有している。

【0047】

図７の（ｄ）「道路領域」における２つのマス内の「４」で示されるように、第３ＸＹノード画像（Node3；N3）と第７ＸＹノード画像（Node7；N7）とは、４個のサブ画像（識別子（-669）（926）、（-670）（926）、（-669）（925）、（-670）（925））を共有しており、第２閾値（ここでは、４個（道路領域閾値））以上の個数のサブ画像を共有するという第２条件を満たす。

【0048】

また、図７の（ｅ）「道路テクスチャ」における２つのマス内の「４０＊１０^３」で示されるように、第３ＸＹノード画像（Node3；N3）と第７ＸＹノード画像（Node7；N7）とは、サブ画像における道路の表面を示す画素として、４００００個の画素を共有しており、第３閾値（ここでは、４００００個（道路テクスチャ閾値））以上の個数の画素を共有するという第３条件を満たす。

【0049】

また、図７の（ｆ）「道路構造」では、共有されたサブ画像におけるＺ面の標高差が示されていないことから分かるように、第３ＸＹノード画像（Node3；N3）と第７ＸＹノード画像（Node7；N7）とは、共有されるサブ画像の標高差（Ｚ－ＩＤの差）が第１閾値（ここでは、２．５ｍ（道路構造閾値））未満であるという第１条件を満たす。これら２つのノードが同じＺレベルで同じ道路構造の行列であることが示されている。

【0050】

また、第３ＸＹノード画像（Node3；N3）と第７ＸＹノード画像（Node7；N7）とは、第４閾値（ここでは、２）以上ノード数が離れている（つまり、連続でない；non-sequential）という第４条件を満たす。

【0051】

以上の状況から、ループ閉鎖部１４ｂは、第３ＸＹノード画像（Node3；N3）と第７ＸＹノード画像（Node7；N7）とは、第１条件（標高差が第１閾値未満）、第２条件（共有するサブ画像の個数が第２閾値以上）、第３条件（共有する画素の個数が第３閾値以上）、及び、第４条件（ノード数が第４閾値以上離れている）を満たすと判断し、第３ＸＹノード画像（Node3；N3）と第７ＸＹノード画像（Node7；N7）における同じ個所に対してループ閉鎖による演算を行うことで、ＸＹ面マップでの位置誤差を削減する。これにより、ロバストなループ閉鎖の検出が行われ、高精度なマップ生成が可能になる。

【0052】

図８は、金沢市における橋－地下道の立体交差道路で構成される交差領域を含む場所で行った本実施の形態に係る３次元マップ生成装置１０の実験結果を説明する図である。より詳しくは、図８の（ａ）は、交差領域（Intersection Area）を示すＸＹ平面の相関行列（XY Correlation Matrix）及び非相関行列（XY Decor relation Matrix）と、左上隅（Top-Left Corners）を識別子とするノード列(Node1-Node5)とを示す。図８の（ｂ）は、橋のレイヤー（同一標高のＸＹ面）における往路のノード（Node7）と復路のノード（Node11）におけるループ閉鎖を示す。図８の（ｃ）及び（ｄ）は、地下のレイヤー及び橋のレイヤーにおける交差領域を含む２つのノード（Node2及びNode4）と、仮想交差図（（ｃ）と（ｄ）の間に示される図）とを示す。

【0053】

実験では、車両２０は、地上道を走行した後、橋の道路を双方向に走行した。ノードの識別子は、図８の（ａ）に示されるように、左上隅で表され、実世界の橋の構造を示している。ノード間の関係は、図８の（ａ）の左下に示されるように、ＸＹ相関行列と非相関行列によって表される。ＸＹ相関行列は、対角要素によって、ノード間の連続的な連鎖パターンを示している。ＬｉＤＡＲのレーザービームの分布パターンに起因して、２つの連続するノードは、終了－開始リンク（連結箇所）において、いくつかのピクセルを共有する。ループ閉鎖は、主に橋のレイヤーで発生し、相関行列における非対角要素によって示される。共有される画素の数は、連続して並ぶ画素の数よりもかなり多いことがわかる。図８の（ｂ）は、対応するサブ画像の識別子を持つ２つのノードを示すことにより、橋の領域におけるループ閉鎖を示している。それら２つのノードは、３つのサブ画像を共有し、主に識別子（－６６２、９５７）の画像を共有している。ただし、共有されている画素（shared pixels）の数は、ループ閉鎖の可能性を示すのに十分な個数である。

【0054】

橋のレイヤーは、図８の（ａ）に示されるＸＹ非相関行列によって、明確に区別されている。このＸＹ非相関行列は、対称であり、通常、マップ内にマルチレベル構造が存在することを示す。したがって、橋－地下道のノードは、ＸＹ非相関行列内のゼロ以外のエントリを特定することで、明確に決定される。図８の（ｃ）及び（ｄ）は、２つのレイヤーでの交差領域を含む２つのノードを示している。共有されている画素の数と標高値の違いに基づいて、正確な交差領域を示すサブ画像が効率的に特定される。さらに、ＸＹ非相関行列は、他のピークを示しており、地上道のレイヤーから橋のレイヤーへの上向きノードでのＺ方向の道路コンテキストの劇的な変化を強調している。このことは、マップ内の道路構造を自動的に認識／分析し、多くの詳細情報（特徴的な情報）を抽出するための多くの機能を提供する本実施の形態に係る３次元マップ生成装置１０のロバスト性を示している。

【0055】

図９Ａは、別の実験として、マルチレイヤーのコースを含む地下トンネルの長い高速道路で行った本実施の形態に係る３次元マップ生成装置１０の実験の場所を示す図である。より詳しくは、２回の別個の走行によりスキャンした山手トンネルと大橋ジャンクション内の軌跡（濃い色の点と淡い色の点）と、１２６個のノードが示されている。

【0056】

この実験では、図９Ａに示されるように、マップデータを収集するために世界で２番目に長いトンネル（山手トンネル；１８ｋｍ）を含む場所を用いた。このトンネルは、２つの連結しないトンネルチューブで構成され、各トンネルチューブには１つの走行方向に２つの車線がある。このような環境は、ＧＰＳ用の衛星信号が妨害され、マップ内の相対的及びグローバルな位置誤差を引き起こす可能性が非常に高い。トンネルは、地下３５ｍから地上３５ｍまでの４つの杭打ちループを備えた大橋ジャンクションで終わる。各トンネルチューブは、１つの走行方向を可能にするため、図９Ａに示されるように、大橋ジャンクションの２つの上向きループで終わるトンネルチューブとなっているので、それぞれに対して、２つのフェーズ（時差は約３時間）でマップデータを収集した。収集した２つのフェーズにおけるデータは関連性がないために、２つのマップを個別に生成する必要がある。このことは、マップ結合イベント（マップを結合するための事象）を検出するための、本実施の形態に係る３次元マップ生成装置１０のスケーラビリティのチェックを可能にする。さらに、２つのマップ間のノードの対応を区別するために、開始点として、トンネル入口より手前のオープンスカイ領域を含む場所にし、２番目の開始点として、より入口に近い場所にした。

【0057】

ＸＹ面の識別子を使用して実世界を固定サイズのサブ画像に分割する本開示に係る手法は、路面の幾何学的存在を表し、かつ、車両の位置に依存しないため、３次元マップ生成装置１０による検出がグローバル化される。したがって、３次元マップ生成装置１０はスケーラブルであり、車両の軌道やセンサのキャリブレーションパラメータ、つまり異なる３次元マップ生成装置によって生成されたサブ画像に関係なく、マップ間の結合イベントが直接検出される。つまり、分割されたＸＹ面の各サブ画像は、固定サイズであり、かつ、そのサブ画像が示す所定の地理的位置に対応する識別子（ＸＹ－ＩＤ）が付与され、分割されたＺ面の各サブ画像は、固定サイズであり、かつ、そのサブ画像が示す標高値に対応する識別子（Ｚ－ＩＤ）が付与される。これにより、車両の位置に依存しない３次元マップの生成及びマップ間の結合が可能になる。

【0058】

図９Ｂは、図９Ａに示された実験結果の一例（２つのマップ間の相関行列）を示す図である。より詳しくは、図９Ｂの（ａ）は、共有されたサブ画像のＩＤに基づく２つのマップ（MapA、MapB）内のノード間の相関行列を示している。相関行列は、４つのパーティションに分割され、各マップのローカルループ閉鎖イベントと、２つのマップ間でのマップ結合イベントとを対称的に示している。各パーティションは、山手トンネル（Tunnel）と大橋ジャンクション（Ohashi）の２つのセクションに分解できる。トンネルセクションでは、相関行列は、各マップにおいて、連続するノードにおける連続的なサブ画像のつながりを示している。各ノードは、車両の軌道に従って、前のノードおよび次のノードにおいて、いくつかのサブ画像を共有している。たとえば、図９Ｂの（ｂ）に示されるノードは、最後の２つのサブ画像を次のノードと共有している。一方、「ｍａｐ（ＡＢ）」パーティションの相関行列は、トンネルセクションでの連続関係のパターンも示している。これは、コースを２回スキャン走行したために、マップ結合部１４ｃによって２つのマップ間のマップ結合イベントを検出する本実施の形態に係る３次元マップ生成装置１０のロバスト性を示している。

【0059】

大橋ジャンクションは多層道路構造であり、ｍａｐＡとｍａｐＢのそれぞれには、ローカルで区別する必要がある上向きの２つのループのスキャン走行が含まれている。合計で４つのループを処理するために、マップ結合イベントの検出では、問題がさらに難しくなる。したがって、２つのマップの２つの下部ループは、上部ループと同様に正しく組み合わせる必要がある。大橋セクション（図９Ｂの（ａ））では、ループ閉鎖イベントとマップ結合イベントとが４つのパーティションで示されている。実世界では２つのループのノード間に交差がないため、ｍａｐＡとｍａｐＢのパーティションで示されたループ閉鎖イベントはｆａｌｓｅ（存在しない）となる。したがって、ＸＹ非相関行列は、図９Ｂの（ｂ）に示すように、Ｚ面マップと標高差に関する第１閾値βに基づいて計算される。ＸＹ非相関行列は、標高差がＸＹ非相関行列βを超えるノード間の対応する画像の数を明確に示している。さらに、これらの数値の存在は、各マップのノード間のＸＹ非相関を示している。ｍａｐＡＢのパーティションでは、大橋セクションのマップ間のＸＹ非相関が示され、同じＺレベル（標高）にあるノードを示している。したがって、共有画素数に基づく相関行列は、図９Ｂの（ｃ）に示すように、安全に計算することができる。この相関行列は、各マップのノード間にループ閉鎖イベントがなく、マップ結合イベントが大橋セクションのマップ間で連続的に表されていることを示している。言い換えれば、大橋ジャンクションの２つのスキャン走行は、同じ長さと強度を持つ２つのバネを用いたシミュレーション計算によって得ることができる。つまり、バネは、ＸＹ－ＩＤ相関行列とＸＹ非相関行列によって、線状に引き伸ばされ、２つの線が結合されて（つまり、共有ピクセル相関行列によって）１本の線を形成する。上述のように、２回転の三次元らせん構造の道路から構成される大橋ジャンクションでは、ねじれ位置にある上下のループ間の道路ではループ閉鎖やマップ結合イベントが実行されない。その代わりに、マップ結合部１４ｃにより、ｍａｐＡとｍａｐＢのそれぞれについて、三次元らせん構造の道路の両端を引き延ばして単純な線状の二次元の道路に変形させたと仮定した上で、これらの道路上の各地点でマップ結合イベントが実行される。

【0060】

図９Ｃは、図９Ａに示される実験結果の別の一例（２つのマップを用いたマップ結合部１４ｃによるマップ結合検出の例）を示す図である。より詳しくは、図９Ｃの（ａ）は、２つのマップを使用したトンネルノードのサブ画像を示している。このようなケースでは、ＧＰＳ用の衛星信号が妨害されるため、さまざまなパターンで大きなずれが観察される可能性がある。図９Ｃの（ｂ）は、ＸＹ非相関行列に基づいて分離されたｍａｐＡの大橋ジャンクションの２つの上向きループを示している。図９Ｃの（ｃ）は、図９Ｂに示された行列に基づいて正しく結合された、入口の２つのマップ、つまり、第１レイヤー及び第２レイヤーを示している。このような高速道路環境においてマップデータを結合するために何度も車両２０を運転することは、マップ密度を高め、グローバル座標系における位置精度を改善するために必要となる。本実施の形態に係る３次元マップ生成装置１０は、共有するテクスチャ（画素数）、共有する領域サイズ（サブ画像の数）、及び、多層道路環境（非相関行列）におけるＸＹ平面の真の交差点をチェックすることにより、真のマップ結合イベント／ループ閉鎖イベントを明確に検出することで、高精度な３次元マップの生成が可能になる。

【0061】

このように、本実施の形態に係る３次元マップ生成装置１０は、自動的にマルチレイヤー環境を検出し、検出した各レイヤーにおけるループ閉鎖を検出することもできる。さらに、３次元マップ生成装置１０は、マップ結合部１４ｃによって、道路構造に拘わらずに複数のマップを結合することを技術的に可能にする。

【0062】

以上のように、本実施の形態に係る３次元マップ生成方法は、３次元マップを生成する方法であって、車両２０に搭載され、道路を等の走行経路含む環境を検出する地図作成用物体検出装置（ＬｉＤＡＲ１１）で取得したポイントクラウドから、道路等の走行経路を含む矩形の地表面を表すＸＹノード画像及びＸＹノード画像を構成する各画素が示す地点の標高を表すＺノード画像の対であるノード画像を複数、生成するノード画像生成ステップ（Ｓ１１）と、生成された複数のノード画像における位置誤差を削減することで、ＸＹ面マップ及びＺ面マップを含む３次元マップを生成するマップ生成ステップ（Ｓ１３）とを含み、マップ生成ステップ（Ｓ１３）は、再訪問処理ステップの一例として、複数のノード画像の連結を示すグラフにおけるループを車両２０で周回して同じ箇所を観測することで累積誤差を削減するループ閉鎖を行うことにより、ＸＹ面マップでの位置誤差を削減するループ閉鎖ステップ（Ｓ１３ａ）を含み、ループ閉鎖ステップ（Ｓ１３ａ）では、同じ箇所を含む２つのＸＹノード画像について、対応する２つのＺノード画像を参照することで、標高差が第１閾値未満か否かを判断し、標高差が第１閾値未満の場合に、ループ閉鎖を行う（Ｓ２１）。

【0063】

これにより、標高差を考慮したうえで、再訪問処理の一例として、２つのノード画像に対するループ閉鎖が行われるので、ロバストなループ閉鎖によって、高精度で３次元マップが生成される。つまり、３次元マップ生成装置１０により、ロバストに、マップデータにおけるマルチレベル環境が検出され、各マップデータにおけるレイヤーが分離され、各レイヤーにおいてマップ間のループ閉鎖が行われる。よって、このような正しい関係をＳＬＡＭ部１４ｄに入力することで、ＳＬＡＭ部１４ｄによって、各レイヤーにおける相対位置誤差、及び、絶対座標系における２つのマップ間の地理的位置の誤差が抑制され、高い精度で結合されたマップ生成が可能になる。

【0064】

また、ノード画像生成ステップ（Ｓ１１）で生成される複数のＸＹノード画像には、異なる地理的大きさの矩形に対応する複数のＸＹノード画像が含まれ、ノード画像生成ステップ（Ｓ１１）は、複数のＸＹノード画像のそれぞれを、同じ地理的大きさの矩形に対応する複数のサブ画像に分割するサブ画像分割ステップ（Ｓ１２）を含み、ループ閉鎖ステップ（Ｓ１３ａ）では、同じ箇所を含む２つのＸＹノード画像が第２閾値以上の個数のサブ画像を共有し（Ｓ２２）、かつ、標高差が第１閾値未満の場合に、ループ閉鎖を行う。

【0065】

これにより、実世界が固定サイズのサブ画像に分割されたうえでループ閉鎖が行われるので、様々な大きさをもつノード画像に依存することなく、安定で、かつ、確実に、ループ閉鎖イベントが検出され、ループ閉鎖が実行される。

【0066】

なお、ＸＹノード画像の標高差は、例えば、対応するＺノード画像を構成する各画素が示す標高の平均値である。

【0067】

また、ループ閉鎖ステップ（Ｓ１３ａ）では、共有されている第２閾値以上の個数のサブ画像における道路の表面を示す画素を共有する個数が第３閾値以上である場合に、ループ閉鎖を行う（Ｓ２３）。これにより、２つのＸＹノード画像が一定個数以上の画素を共有する場合にだけループ閉鎖が行われるので、地理的な環境に依存する変動要因が抑制され、ロバストなループ閉鎖が行われる。

【0068】

また、ループ閉鎖ステップ（Ｓ１３ａ）では、同じ箇所を含む２つのＸＹノード画像が、第４閾値以上ノード数が離れている場合に、ループ閉鎖を行う（Ｓ２４）。これにより、連続しない離れた２つのＸＹノード画像に対してループ閉鎖が行われるので、標高差、サブ画像の共通性、画素の共通性によるチェックによる効果が発揮され、ロバストなループ閉鎖が確実に行われる。

【0069】

また、３次元マップ生成装置１０は、再訪問ステップの別の一例として、複数のノード画像の連結を示すグラフにおける同じ箇所を観測することで累積誤差を削減するマップ結合を行うことにより、ＸＹ面マップでの位置誤差を削減するマップ結合ステップを行う（Ｓ１３ａ）。そのマップ結合ステップ（Ｓ１３ａ）では、同じ箇所を含む２つのＸＹノード画像について、対応する２つのＺノード画像を参照することで、標高差が第１閾値未満か否かを判断し、標高差が第１閾値未満の場合に、マップ結合を行う。これにより、標高差を考慮したうえで複数のマップが結合され、高い精度でのマップ結合が実現される。

【0070】

なお、マップ生成ステップでは、さらに、生成した３次元マップに対してＳＬＡＭ（Simultaneous Localization and Mapping）を適用することで相対位置誤差を削減し、相対位置誤差を削減した３次元マップを出力してもよい。これにより、ＳＬＡＭによって、各レイヤーにおける相対位置誤差、及び、絶対座標系における２つのマップ間の地理的位置の誤差が抑制され、高い精度で結合されたマップ生成が可能になる。

【0071】

また、本実施の形態に係る３次元マップ生成装置１０は、３次元マップを生成する装置であって、車両２０に搭載され、道路等の走行経路を含む環境を検出する地図作成用物体検出装置（ＬｉＤＡＲ１１）で取得したポイントクラウドから、道路等の走行経路を含む矩形の地表面を表すＸＹノード画像及びＸＹノード画像を構成する各画素が示す地点の標高を表すＺノード画像の対であるノード画像を複数、生成するノード画像生成部１３と、生成された複数のノード画像における位置誤差を削減することで、ＸＹ面マップ及びＺ面マップを含む３次元マップを生成するマップ生成部１４とを含み、マップ生成部１４は、再訪問処理部１４ａの一例として、複数のノード画像の連結を示すグラフにおけるループを車両２０で周回して同じ箇所を観測することで累積誤差を削減するループ閉鎖を行うことにより、ＸＹ面マップでの位置誤差を削減するループ閉鎖部１４ｂを含み、ループ閉鎖部１４ｂは、同じ箇所を含む２つのＸＹノード画像について、対応する２つのＺノード画像を参照することで、標高差が第１閾値未満か否かを判断し、標高差が第１閾値未満の場合に、ループ閉鎖を行う。

【0072】

これにより、標高差を考慮したうえで２つのノード画像に対するループ閉鎖が行われるので、ロバストなループ閉鎖によって、高精度で３次元マップが生成される。つまり、３次元マップ生成方法により、ロバストに、マップデータにおけるマルチレベル環境が検出され、各マップデータにおけるレイヤーが分離され、各レイヤーにおいてマップ間のループ閉鎖が行われる。よって、このような正しい関係をＳＬＡＭ部１４ｄに入力することで、ＳＬＡＭ部１４ｄによって、各レイヤーにおける相対位置誤差、及び、絶対座標系における２つのマップ間の地理的位置の誤差が抑制され、高い精度で結合されたマップが生成される。

【0073】

なお、本開示は、上記３次元マップ生成方法に含まれるステップをコンピュータに実行させるためのプログラム、及び、そのプログラムが記録されたＣＤ－ＲＯＭ等のコンピュータ読み取り可能な非一時的な記録媒体で実現されてもよい。

【0074】

以上、本開示の３次元マップ生成方法及び３次元マップ生成装置１０について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の主旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、実施の形態における一部の構成要素を組み合わせて構築される別の形態も、本開示の範囲内に含まれる。

【0075】

例えば、実施の形態では、３次元マップ生成装置１０は、地図作成用物体検出装置として、ＬｉＤＡＲ１１を用いたが、これに限られず、可視カメラあるいは赤外線カメラであってもよい。３次元マップ生成装置１０は、車両２０に搭載されたＬｉＤＡＲ１１及びＧＰＳ１２を用いたが、この組み合わせに限られない。車両２０に、さらに、道路等の走行経路を含む環境を撮影するカメラを搭載し、３次元マップ生成装置１０は、ＬｉＤＡＲ１１から取得したポイントクラウドに対して、カメラから取得した画像を補完的に用いることで、強度画像のＬｉＤＡＲフレームを生成してもよい。

【産業上の利用可能性】

【0076】

本開示に係る３次元マップ生成装置は、ＬｉＤＡＲが搭載された車両で得られたデータから位置精度の高い３次元マップを生成する３次元マップ生成装置として、例えば、自律走行車両に用いられる３次元マップを生成する装置として、利用できる。

【符号の説明】

【0077】

１０ ３次元マップ生成装置
１１ ＬｉＤＡＲ
１２ ＧＰＳ
１３ ノード画像生成部
１３ａ サブ画像分割部
１４ マップ生成部
１４ａ 再訪問処理部
１４ｂ ループ閉鎖部
１４ｃ マップ結合部
１４ｄ ＳＬＡＭ部
１５ ３次元マップ
２０ 車両

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9A】

【図9B】

【図9C】