特開 2024-88096 三次元地図作成装置及び三次元地図作成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024088096

(43)【公開日】2024-07-02

(54)【発明の名称】三次元地図作成装置及び三次元地図作成方法

(51)【国際特許分類】

   G09B 29/00 20060101AFI20240625BHJP

   G06T 7/00 20170101ALI20240625BHJP

【ＦＩ】

G09B29/00 Z

G06T7/00 650Z

【審査請求】未請求

【請求項の数】17

【出願形態】ＯＬ

(21)【出願番号】P 2022203083

(22)【出願日】2022-12-20

(71)【出願人】

【識別番号】599002043

【氏名又は名称】学校法人 名城大学

(71)【出願人】

【識別番号】521545400

【氏名又は名称】株式会社マップフォー

(74)【代理人】

【識別番号】100103207

【弁理士】

【氏名又は名称】尾崎 隆弘

(72)【発明者】

【氏名】浦崎圭介

(72)【発明者】

【氏名】田崎豪

(72)【発明者】

【氏名】橘川雄樹

【テーマコード（参考）】

2C032

5L096

【Ｆターム（参考）】

2C032HC08

5L096AA06

5L096AA09

5L096BA04

5L096CA02

5L096CA18

5L096DA01

5L096FA16

5L096FA66

5L096FA69

5L096GA19

5L096HA11

(57)【要約】

【課題】 カメラの画角外であっても、地図に不要な三次元点群を除去する必要がある。
【解決手段】
本発明にかかる三次元地図作成装置１は、三次元点群を取得する距離センサ101と、画像を取得するカメラ102と、三次元地図に不要な不要物を検出し、不要物検出結果303を出力する不要物検出部103と、自己位置を推定する自己位置推定部104と、前記不要物が存在する可能性がある領域を示す不要物領域管理地図を作成する不要物領域管理地図作成部105と、前記不要物検出結果303と不要物領域管理地図を用いて距離センサ101の取得した三次元点群101から点群を除去する除去部106と、前記除去部106で除去されなかった点群を用いて三次元地図を作成する三次元地図作成部107を備えることで、三次元地図に不要な点群を除去しつつ三次元地図を作成できる。
【選択図】図１

【特許請求の範囲】

【請求項1】

移動体に設置される、該移動体の周辺環境を示す三次元点群を取得する距離センサと、前記周辺環境のうち、画角内の環境を示す画像を取得するカメラと、前記距離センサから取得した三次元点群と前記カメラから取得した画像に基づいて三次元地図を作成する演算手段と、を有し、
該演算手段が、
前記画像に基づいて、前記三次元地図に不要な不要物を検出し、不要物検出結果として出力する不要物検出部と、
前記移動体の位置を推定する自己位置推定部と、
時系列で取得した前記三次元点群と前記不要物検出結果に基づいて、前記不要物が存在する可能性がある領域である不要物領域を示す不要物領域管理地図を作成する不要物領域管理地図作成部と、
前記不要物領域管理地図を用いて前記三次元点群から特定の点群を除去する除去部と、
前記除去部で除去されなかった点群を用いて三次元地図を作成する三次元地図作成部と、
を備えることを特徴とする三次元地図作成装置。

【請求項2】

前記不要物領域管理地図は、地図を作成する空間を格子で区切り、前記不要物検出部が、不要物が存在するとした空間にある格子を前記不要物領域として管理することを特徴とする請求項1記載の三次元地図作成装置。

【請求項3】

前記不要物領域管理地図作成部は、前記不要物検出部が検出した不要物の種類に応じて、前記不要物領域として管理する格子の数を変更することを特徴とする請求項2記載の三次元地図作成装置。

【請求項4】

前記除去部は、前記不要物領域管理地図において、前記不要物領域として管理されている格子上に存在する点群を除去することを特徴とする請求項2記載の三次元地図作成装置。

【請求項5】

前記除去部は、前記不要物領域として管理した格子において、管理する点群の高さに対する高さ閾値を設定し、前記高さ閾値で示される範囲に含まれる点群を除去することを特徴とする請求項4記載の三次元地図作成装置。

【請求項6】

前記三次元地図作成装置は、さらに、前記画像または前記三次元点群に基づいて路面を検出し、前記不要物領域管理地図作成部は、路面として検出された領域が存在する格子を路面確定領域として管理することを特徴とする請求項2記載の三次元地図作成装置。

【請求項7】

前記不要物領域管理地図作成部は、さらに、前記自己位置推定部が推定した時系列の自己位置をもとに、前記三次元地図作成装置が通過した空間を決定し、通過した空間が存在する格子を路面確定領域として管理することを特徴とする請求項2に記載の三次元地図作成装置。

【請求項8】

前記不要物領域管理地図作成部が前記距離センサで取得した前記三次元点群から路面と判断する領域を決定することにより、路面を検出することを特徴とする請求項6記載の三次元地図作成装置。

【請求項9】

前記除去部は、前記不要物領域管理地図において、前記路面確定領域として管理されている格子上に存在し、指定された高さにある点群を除去することを特徴とする請求項6記載の三次元地図作成装置。

【請求項10】

前記不要物検出部は、さらに、前記三次元点群から前記不要物を検出し、前記不要物検出結果として出力することを特徴とする請求項1記載の三次元地図作成装置。

【請求項11】

前記不要物検出部は、前記カメラの画角内は前記画像から不要物を検出し、前記カメラの画角外は前記三次元点群から前記不要物を検出することを特徴とする請求項10記載の三次元地図作成装置。

【請求項12】

前記不要物領域管理地図作成部は、格子を用いて前記三次元地図の領域を管理するものであり、前記不要物検出部が検出した不要物の種類に応じて、前記不要物領域として管理する前記格子の大きさを変更することを特徴とする請求項2記載の三次元地図作成装置。

【請求項13】

前記三次元地図作成装置は、格子を用いて前記三次元地図の領域を管理するものであり、さらに、道路地図と表示部を具備し、作成した前記不要物領域管理地図において、前記不要物領域として管理されている前記格子が示す位置を前記道路地図の上に表示することを特徴とする請求項1から12のいずれかに記載の三次元地図作成装置。

【請求項14】

前記表示部は、前記不要物領域とも前記路面確定領域ともされていない領域のうち、前記距離センサで点群が得られなかった領域を未計測領域として、前記道路地図の上に表示することを特徴とする請求項13記載の三次元地図作成装置。

【請求項15】

前記表示部は、前記道路地図の上の道路から閾値と比べて短い距離にある前記未計測領域または前記不要物領域を前記道路地図の上に表示することを特徴とする請求項14記載の三次元地図作成装置。

【請求項16】

前記表示部は、前記不要物領域または前記未計測領域とされた格子の周囲に、前記不要物領域または前記未計測領域とされた格子が、閾値と比べて多く存在する格子を前記道路地図の上に表示することを特徴とする請求項14記載の三次元地図作成装置。

【請求項17】

カメラから取得した画像から不要物を検出し、不要物検出結果を作成する不要物検出ステップと、
不要物領域を示す格子が示される不要物管理地図を作成する不要物管理地図作成ステップと、
前記不要物管理地図を用いて、距離センサから取得した三次元点群から不要物を示す点群を除去する不要物点群除去ステップと、
不要物が除去された点群を用いて三次元地図を作成する三次元地図作成ステップと、
を備えた三次元地図作成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、三次元地図作成装置及び三次元地図作成方法において、三次元地図に不要な不要物を除去する装置及び方法に関する。

【背景技術】

【0002】

非特許文献１のように、自動運転には、高精度地図は不要であるという考え方がある。しかし、一般的に、自動運転車は搭載したカメラやLiDARなどのセンサー類で周囲の状況を認知し、他の車両や歩行者、街路樹、車線などを区別して解析した上でどのように車両を制御するか判断を下す。その際、精密な道路情報や信号・街路樹などの位置情報を備えた高精細地図とセンサーが検知した情報を統合することで、より正確に自車位置を特定することが可能になる。また、悪天候時などセンサー類のパフォーマンスが落ちた際にも効果を発揮する。

【0003】

このような立場から、特許文献１に示す通り、センシング機器を用いて得られた観測データから、より高い精度で周辺の環境を推定し、占有確率を記述する占有格子地図を作成する発明が提案されている。

【0004】

しかしながら、車両や人などが不要物であるか否かの判断がないため、駐車車両等は静止障害物と判断されて地図に登録されてしまうおそれがある。

【0005】

また、連続して取得したカメラ画像を利用して障害物となる移動物体を見つける発明が提案されている（特許文献２）。

【0006】

しかし、画像を使用する手法では、画像内の移動物体しか見つけることができない。一般的な三次元地図作成装置で用いる距離センサはカメラの画角より広範囲を計測して三次元地図を作成しているため、特許文献1では画像の画角外の不要物は除去することができず、三次元地図内に不要物が残ってしまう。また、一時的に停止している駐車車両など、連続した画像中で移動していない物体は除去することができない。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開2017-166966

【特許文献2】特開2000-123183

【非特許文献】

【0008】

【非特許文献1】https://jidounten-lab.com/v_3dmap-autonomous-need3D地図「いる派vsいらない派」 自動運転業界の仁義なき戦い ダイナミックマップは必要？

【発明の概要】

【発明が解決しようとする課題】

【0009】

自動車や移動台車に設置されたセンサを使用して時系列で周囲の物体の三次元点群を取得し、三次元地図を作成する手法が考えられる。三次元点群を地図として利用できるようにするためには、主に固定された物体の点群だけを三次元地図に含める必要がある。センサのデータ取得時には三次元地図に不要な不要物の点群も含まれて計測されてしまうため、地図から人手で点群を除去せざるを得ない。例えば、道路環境であれば駐車車両や人などが不要物となり、工場などの屋内環境であれば一時的に置かれた荷物などが不要物となる。

【0010】

上記に鑑み、本発明の課題は、カメラの画角外の不要物を三次元地図から除去する作業を自動化することである。

【課題を解決するための手段】

【0011】

本発明にかかる三次元地図作成装置は、移動体に設置される、該移動体の周辺環境を示す三次元点群を取得する距離センサと、前記周辺環境のうち、画角内の環境を示す画像を取得するカメラと、前記距離センサから取得した三次元点群と前記カメラから取得した画像に基づいて三次元地図を作成する演算手段と、を有し、該演算手段が、前記画像に基づいて、前記三次元地図に不要な不要物を検出し、不要物検出結果として出力する不要物検出部と、前記演算手段の位置を推定する自己位置推定部と、前記三次元点群と前記不要物検出結果に基づいて、前記不要物が存在する可能性がある領域である不要物領域を示す不要物領域管理地図を作成する不要物領域管理地図作成部と、前記不要物領域管理地図を用いて前記三次元点群から特定の点群を除去する除去部と、前記除去部で除去されなかった点群を用いて三次元地図を作成する三次元地図作成部と、を備えることを特徴とする。これにより、カメラの画角外であっても三次元地図に不要な不要物を取り除けるようにするものである。

【0012】

「三次元点群」とは、距離センサにより計測される周辺環境との間の距離で作成される、物体を点状に生成した三次元の集合体をいう。

【0013】

「カメラ」としては、三次元地図の作成に用いられる一般的なカメラが挙げられる。

【0014】

「カメラの画角内」とは、カメラで周辺環境を撮影した際、実際に写る範囲を角度で表した範囲内の特定の領域である。

【0015】

「距離センサ」は、周辺環境との間の距離を測定するセンサである。

【0016】

「三次元地図に不要な不要物」とは、例えば、周辺環境のうち、人、自動車、自転車等である。

【0017】

「自己位置推定部」は、三次元地図の上で演算手段の自己の位置を推定するものである。

【0018】

「前記不要物が存在する可能性がある領域」とは、不要物の存在可能性のない領域を除く特定の領域である。

【0019】

「不要物領域管理地図」とは、不要物と判断される点群を示す領域を管理するための地図である。

【0020】

「特定の点群」とは、少なくとも、不要物領域に対応する点群である。例えば、路面領域として管理されている点群も除去することがある。

【0021】

本発明により、これまで手作業で行っていた三次元地図からの不要物除去を自動化することができる。カメラより広範囲を計測する距離センサが計測した不要物も除去することができる。

【0022】

不要物領域管理地図の作り方の特定の態様としては、前記不要物領域管理地図は、地図を作成する空間を格子で区切り、前記不要物検出部が、不要物が存在するとした空間にある格子を前記不要物領域として管理することを特徴とする。

【0023】

車両や人などサイズが違うものへの対応を考慮する特定の態様としては、前記不要物領域管理地図作成部は、前記不要物検出部が検出した不要物の種類に応じて、前記不要物領域として管理する格子の数を変更することを特徴とする。

【0024】

不要物領域を使用する除去部の特定の態様としては、前記除去部は、前記不要物領域管理地図において、前記不要物領域として管理されている格子上に存在する点群を除去することを特徴とする。

【0025】

除去する高さの範囲を設定する除去部の特定の態様としては、前記除去部は、前記不要物領域として管理した格子において、管理する点群の高さに対する高さ閾値を設定し、前記高さ閾値で示される範囲に含まれる点群を除去することを特徴とする。

【0026】

路面確定領域の特定の態様としては、前記三次元地図作成装置は、さらに、前記画像または前記三次元点群に基づいて路面を検出し、前記不要物領域管理地図作成部は、路面として検出された領域が存在する格子を路面確定領域として管理することを特徴とする。

【0027】

自己位置情報を用いる特定の態様としては、前記不要物領域管理地図作成は、さらに、前記自己位置推定部が推定した時系列の自己位置をもとに、前記三次元地図作成装置が通過した空間を決定し、通過した空間が存在する格子を路面確定領域として管理することを特徴とする。

【0028】

路面確定領域の特定の態様として、前記不要物領域管理地図作成部が前記距離センサで取得した前記三次元点群から路面と判断する領域を決定することにより、路面を検出することを特徴とする。

【0029】

不要物領域を用いる除去部の特徴として、前記除去部は、前記不要物領域管理地図において、路面確定領域として管理されている格子上に存在し、指定された高さにある点群を除去することを特徴とする。

【0030】

不要物検出部の特定の態様としては、前記不要物検出部は、さらに、前記三次元点群から前記不要物を検出し、前記不要物検出結果として出力することを特徴とする。

【0031】

カメラの方が距離センサより検出性能が高いという特徴を用いる検出部の特定の態様としては、前記不要物検出部は、前記カメラの画角内は前記画像から不要物を検出し、前記カメラの画角外は前記三次元点群から前記不要物を検出することを特徴とする。

【0032】

検出した物体の種類に応じて格子サイズを変更する特定の態様としては、前記不要物領域管理地図作成部は、前記不要物検出部が検出した不要物の種類に応じて、前記不要物領域として管理する格子の大きさを変更することを特徴とする。

【0033】

表示部を持つことで得られる特定の態様としては、前記三次元地図作成装置は、さらに、道路地図と表示部を具備し、作成した前記不要物領域管理地図において、前記不要物領域として管理されている格子が示す位置を道路地図の上に表示することを特徴とする。

【0034】

未計測領域を持つ特定の態様としては、前記表示部は、前記不要物領域とも前記路面確定領域ともされていない領域のうち、前記距離センサで点群が得られなかった領域を未計測領域として、前記道路地図の上に表示することを特徴とする。

【0035】

道路から遠い領域は自動運転には不要という特徴を用いる表示態様としては、前記表示部は、前記道路地図の上の道路から閾値と比べて短い距離にある前記未計測領域または前記不要物領域を前記道路地図の上に表示することを特徴とする。

【0036】

不要物領域または未計測領域が密集していない場合は表示しない特定の態様としては、前記表示部は、前記不要物領域または前記未計測領域とされた格子の周囲に、前記不要物領域または前記未計測領域とされた格子が閾値と比べて多く存在する格子を前記道路地図の上に表示することを特徴とする。

【0037】

本発明の三次元地図作成方法は、カメラから取得した画像から不要物を検出し、不要物検出結果を作成する不要物検出ステップと、不要物領域を示す格子が示される不要物管理地図を作成する不要物管理地図作成ステップと、前記不要物管理地図を用いて、距離センサから取得した三次元点群から不要物を示す点群を除去する不要物点群除去ステップと、不要物が除去された点群を用いて三次元地図を作成する三次元地図作成ステップと、を備える。

【図面の簡単な説明】

【0038】

【図1】本発明の実施形態1に関する構成の一例を示したブロック図である。

【図2】本発明の実施形態1に関する構成の一例を示した説明図である。

【図3】本発明の実施形態1のハードウェアの構成の一例を示したブロック図である。

【図4】本発明の実施形態１のフローチャートである。

【図5】同じく取得した画像と投影された点群の一例を示した説明図である。

【図6】同じく不要物検出結果の一例を示した説明図である。

【図7】同じく不要物管理地図の一例を示した説明図である。

【図8】同じく不要物管理地図の一例を示した説明図である。

【図9】本発明の実施形態2に関する構成の一例を示したブロック図である。

【図10】本発明実施形態２の表示部に表示される表示画像を説明するための説明図である。

【図11】本発明実施形態２の表示部に表示される表示画像を説明するための説明図である。

【発明を実施するための形態】

【0039】

以下、本発明の実施形態１にかかる三次元地図作成装置1及び三次元地図作成方法について図1～図8を参照して説明する。

【0040】

三次元地図作成装置1は、図2に示す通り、人、自動車、又は移動ロボットなどの移動体100に設置して用いられ、三次元点群110を取得する距離センサ101と、図５（A）に示す画像120を取得するカメラ102と、三次元地図に不要な不要物404を検出する不要物検出部103と、装置１の自己位置P（図7，図8参照）を推定する自己位置推定部104と、不要物404（図7参照）が存在する可能性がある領域を示す不要物領域管理地図401を作成する不要物領域管理地図作成部105と、不要物領域管理地図401を用いて距離センサ101で取得した三次元点群110から不要物404を示す点群405、505、515（図7，図8参照）を除去する除去部106と、除去部106で除去されなかった点群を用いて三次元地図を作成する三次元地図作成部107と、を備えている。

【0041】

距離センサ101は、三次元地図作成装置１の周囲の物体までの距離を計測することで周辺環境の物体の形状を示す三次元点群110を取得して、不要物領域管理地図作成部105、除去部106へ情報を出力するものである。距離センサ101として、例えば、レーザー距離計測器がある。例えば、測定物との距離をレーザー光が往復する時間から求めるＬｉＤＡＲ（Light Detection and Ranging)」のように、TOF(TiМe of Flight)方式等の各種の具体例が挙げられる。

【0042】

カメラ102は画像120（図5参照）を取得し、不要物検出部103へ画像120を出力する。距離センサ101が取得した三次元点群110を画像120上に投影できるように、三次元点群110の取得範囲とカメラ102の画角403のうち少なくとも一部が重なるようにカメラ102と、距離センサ101と、を移動体100に設置する。例えば、距離センサ101が三次元地図作成装置１全周囲の三次元点群110を取得し、カメラ102が、移動体100と三次元地図作成装置１を移動させる方向にむけて設置される構成が挙げられる。三次元点群110が示している図２は、距離センサ１０１がある時刻で取得した点群ではなく、すべての時刻の点群をまとめて地図として完成された点群である。以下の説明では、この実施形態でいう三次元点群110は、ある時刻での点群を示し、図２の右下の限定された環境に対応する三次元点群であるので、その意味で説明する。

【0043】

不要物検出部103は、画像120からニューラルネットワーク等の技術を利用して不要物404を検出する。

【0044】

自己位置推定部104は自己位置Pを推定する。例えば、GPSや電波による測定装置（図示略）を用いることができる。また、距離センサ101やカメラ102から時系列でセンサデータを取得し、時系列のデータを比較することで取得することもできる。

【0045】

不要物領域管理地図作成部105では、カメラ102が取得した画像120に三次元点群110を投影した投影点群130を得て、不要物領域管理地図401、501を作成する。

【0046】

ここで、三次元地図作成等を司る演算回路200の一例について図3を参照して説明する。この演算回路200は、ＣＰＵ201、ＲＡＭ202、ＲＯＭ203、カウンタ204、タイマ205、入出力インタフェース209をバス210により相互に接続したものである。入出力インタフェース209には、距離センサ101、カメラ102、入力部211等が接続されている。ＣＰＵ201が初期設定、或いは、入力情報を受けて特定の演算等を行う。

【0047】

ＣＰＵ201は、各部に出力する演算情報を生成し、プログラム制御によって、演算情報を出力することで、三次元地図作成を実行する。ＲＡＭ202は、三次元地図作成などのデータを一時的に読み書きするものである。ＲＯＭ203に三次元地図作成などのプログラムが読み出し専用で格納されている。ＣＰＵ201は、距離センサ101，カメラ102等のデータを用いて、三次元地図作成にかかる演算を実行する。プログラム制御に代えて、ＬＳＩロジック等のハードウェア制御によっても実施が可能である。

【0048】

カウンタ204は、三次元地図作成にかかるカウント値として機能するものであり、電源投入後、カウント値の初期値を「０」とし、各種入力情報を参照して、カウントの演算を行うものである。

【0049】

タイマ205は三次元地図作成等に関する時間演算処理等を行なうものである。

【0050】

入力部211には、マウス、キーボードなどが挙げられる。入力部211はなくてもよい。

【0051】

つぎに、三次元地図作成装置１が行う不要物上の三次元点群を除去し三次元地図を作成するための三次元地図作成の処理手順について、図4のフローチャートを参照して説明する。

【0052】

処理が開始されると、距離センサ101、カメラ102等からの情報を入力する（ステップ601）。

【0053】

ステップ601の処理が終了すると、不要物検出部103が不要物404を検出する（ステップ602）。

【0054】

不要物検出ステップ602では、画像120に基づいて、不要物404を検出する。

【0055】

カメラ102のほうが距離センサ101より検出性能が高いので、不要物検出部103は、本実施形態においては、画像120から不要物404を検出しているが、進行方向に対して前方に固定されたカメラ102からは常に死角（画角403外）となる箇所等に対しては、距離センサ101で取得した三次元点群110からも不要物404を検出する構成とすることもできる。

【0056】

不要物検出部103は入力された画像120に撮像された不要物404を検出し、図６に示す矩形で囲んだ領域を示す不要物検出結果303を不要物領域管理地図作成部105へ出力する。不要物404の検出には、例えば、ニューラルネットワークを用いることができる。ニューラルネットワークに不要物404の対象になる物体を学習させておくことで、不要物404を検出する。不要物検出結果303には画像120を入力して得られた、画像120上の不要物領域が示されている。ここでは、三次元地図に不要な不要物404として、自動車301と人302が検出されている。不要物検出部103は不要物検出結果303として、画像120上の位置だけではなく、検出した不要物404の種類を不要物領域管理地図作成部105に出力する。

【0057】

また、不要物検出部103はニューラルネットワークに路面領域も学習させて、画像120上の路面領域も、不要物領域管理地図作成部105に出力する。

【0058】

ステップ602の処理が終了すると、処理はステップ603に進み、不要物領域管理地図作成部105は、不要物領域管理地図401の作成を行う（ステップ603）。

【0059】

不要物領域管理地図401は、図7に示す通り、三次元地図を作成する空間を格子で区切り、不要物検出部103が、不要物404が存在するとした空間にある格子406を不要物領域Uとして管理する。

【0060】

不要物領域管理地図作成部105は、図7に示す通り、三次元地図を作成する範囲の空間を格子で区切り、ある時刻tにおいて、格子状の空間について不要物404が存在する可能性があるか否かを管理する不要物領域管理地図401を作成する。図8は時刻tよりも後の、ある時刻t+1において、三次元地図作成装置1が管理している不要物領域管理地図501の一例である。

【0061】

図5(A)、図6において、カメラ102の画角403に不要物404として、自動車301や人302が撮像されている。図7に示す通り、不要物領域管理地図作成部105は、まず、三次元点群110から投影点群130を作成し、不要物404に含まれる三次元点群405を抽出する。次に、自己位置推定部104が推定した自己位置Pと三次元点群405の位置から、三次元点群405が存在する格子406の位置を計算する。計算された位置にある格子を、不要物領域管理地図作成部105は不要物404が存在する可能性がある格子406として管理する。

【0062】

不要物領域管理地図作成部105は、同じ不要物404から得られている点群において、点群の中央等から閾値以上に離れている点群については、点群405の代表値に基づいて排除し、不要物404の存在可能性がある格子としないこともできる。代表値の選び方は、各点群405までの距離の中央値や平均値、最短距離を選ぶ。また、不要物検出部103から不要物404の種類が得られている場合、不要物404の種類に応じて代表値を選ぶこともできる。例えば、人302として検出された場合は短く、自動車301として検出された場合は長くする。例えば、図５（Ａ）（Ｂ）の右端の自動車において、矩形の領域に含まれる背景の点群は、自動車301に比べて遠い位置にあるため、この矩形に含まれる点群の距離の平均値などの代表値を出して、代表値より閾値以上に遠い点は除去はしないし、除去しなかった点群を含んでいる格子は不要物領域として管理しない。

【0063】

不要物領域管理地図作成部105は、不要物404として管理した点群405から管理閾値と比べて近い位置にある格子を不要物404の存在可能性がある格子として管理することもできる。不要物検出部103から不要物404の種類が得られている場合、管理閾値は種類に応じて設定することもできる。例えば、人302として検出された場合は短く、自動車301として検出された場合は長くする。投影点群120では自動車301の後ろの点群は得られていないが、「自動車」という種類が分かるため、車らしい大きさの範囲の格子は不要物領域として管理するが、人の場合は短くなる。

【0064】

不要物領域管理地図作成部105は、距離センサ101で計測された三次元点群110からも個々の不要物404を検出し、不要物404の点群を抽出することもできる。ただし、カメラ102で取得できる画像120に投影できる範囲（画角403内）にある点群については不要物検出部103からの不要物検出結果303を優先する。

【0065】

不要物領域管理地図作成部105は、検出された不要物404の種類に応じて格子サイズが異なる複数の不要物領域管理地図401，501を作成することもできる。例えば、不要物404として人302と自動車301を対象とする場合、人用の不要物領域管理地図と自動車用の不要物管理地図を持たせることもでき、人用の不要物領域管理地図の格子サイズは自動車用の格子サイズよりも小さくする。

【0066】

不要物領域管理地図作成部105は、不要物検出部103が検出した不要物404の種類に応じて、不要物領域として管理する格子の数及び／又は大きさを変更することもできる。自動車301や人302などサイズが違うものへの対応を考慮するためである。

【0067】

不要物領域管理地図作成部105は、不要物検出部103から路面領域（図5（A）参照）が得られている場合、路面領域に投影された点群409（図5（B）参照）が存在する格子を路面確定領域Rとして管理する。

【0068】

不要物領域管理地図作成部105は、三次元点群110の中で、高さが設定した閾値より低い点群を路面点群として抽出し、路面点群409（図5（B）参照）が位置する格子を路面確定領域Rとして管理することもできる。

【0069】

また、不要物領域管理地図作成部105は、自己位置Pから三次元地図作成装置1、または、三次元地図作成装置1が搭載された移動体100の大きさの範囲にある格子を路面確定領域Rとして管理することができる。

【0070】

不要物領域管理地図作成部105は、自己位置推定部104が推定した時系列ｔ、ｔ+1の自己位置Pをもとに、三次元地図作成装置1が通過した空間を決定し、通過した空間が存在する格子を路面確定領域Rとして管理することができる。

【0071】

三次元地図作成装置1は、上記のようにして、路面を検出し、不要物領域管理地図作成部105は、路面として検出された領域が存在する格子を路面確定領域Rとして管理する。

【0072】

不要物領域管理地図作成部105は、現在取得した点群で路面確定領域Rとなる格子を計算した際に、過去に不要物404の存在可能性がある格子として管理された格子であれば、路面確定領域Rとして管理するように更新する。

【0073】

ステップ603の処理が終了すると、処理はステップ604に進み、除去部106が不要物404の点群405等の除去の処理を行う（ステップ604）。

【0074】

ステップ604では、不要物領域管理地図401，501と不要物検出結果303を用いて、取得した三次元点群110から、不要物存在領域Uおよび路面確定領域Rとして管理されている格子上に存在する点群405を所定の基準に基づいて除去する。

【0075】

図8は図7の次の時刻t＋1に作成された不要物領域管理地図501と点群の一例を示す。三次元点群505は、図8の不要物管理地図501を作成した時刻ｔ+1において、不要物404として、新たに抽出された点群を示す。時刻t+1の不要物管理地図501は、基本的に時刻tの不要物管理地図401で管理している格子の情報を引き継ぐため、401で不要物領域U、路面領域Rとして管理されている位置にある格子はそのまま不要物領域U、路面領域Rとして管理されていることがわかる。さらに新たに抽出された点群の情報を用いることができるため、不要物領域Uとして管理される格子が増えていることもわかる。三次元点群515は、図8の不要物管理地図を作成した時刻ｔ+1において、時刻tで不要物領域Uとして管理されている格子506、または路面確定領域Rとして管理された格子508上にあるため、除去される点群を示す。不要物管理地図501を使用することでカメラの画角403外の不要物404の点群515も除去することができる。不要物４０４を物体ごとに管理するのではなく、場所で管理することで、不要物の移動予測などは不要で除去できることも一つの利点である。

【0076】

三次元地図作成部107は除去部106で除去されなかった点群を時系列で重ねることで三次元地図を作成する。

【0077】

除去部106は、不要物領域管理地図401，501において、路面確定領域Rとして管理されている格子408, 508上に存在し、指定された高さにある三次元点群を除去する。

【0078】

除去部106は、また、距離センサ101で取得した三次元点群110のうち、不要物検出部103で不要物404として抽出された点群を除去する。さらに、不要物領域管理地図401，501で不要物領域Uとして管理されている格子406または路面確定領域Rとして管理されている格子上にある点群のうち、路面とされる点群の位置より高い位置にある点群を除去する。不要物領域管理地図401、501に基づいて除去する点群は、高さ閾値を設けて、路面とされる点群の位置より高く、高さ閾値と比べて低い位置にある点群を除去することもできる。高さ閾値は、格子ごとに設定することもできる。

【0079】

ステップ604の処理が終了すると、処理はステップ605に進み、三次元地図作成を行う（ステップ605）。

【0080】

三次元地図作成を行うステップ605では、不要物404が除去された点群を用いて三次元地図を作成する。この処理が終了すると三次元地図作成処理は終了する。この処理は特定時間間隔ごとに行う。

【0081】

本実施形態１は一例として道路環境を想定して説明するが、テーマパークや工場など、屋内環境と屋外環境が混在する環境や、小売店などの屋内環境でも同様に、不要物404として検出する対象をあらかじめ定めておくことで、不要物404を除去した三次元地図を作成することができる。

【0082】

以上の通り、本実施形態１によれば、これまで手作業で行っていた三次元地図からの不要物404の除去を自動化することができる。カメラ102より広範囲を計測する距離センサ101が計測した不要物も除去することができる。

【0083】

以下、本発明実施形態2にかかる三次元地図装置7について図9～図10を参照して説明する。実施形態2は、実施形態1の構成に、道路地図708と表示部709が加わる。実施形態1と同様の要素は700番台として記載する。

【0084】

三次元地図作成装置7は、実施形態1の三次元地図作成装置１と、道路地図708と、表示部709を具備し、作成した不要物領域管理地図401，501において、不要物領域Uとして管理されている格子が示す位置を道路地図708の上に表示する。

【0085】

表示部709は、さらに、不要物領域Uとも路面確定領域Rともされていない領域のうち、距離センサ701で点群が得られなかった領域を未計測領域Nとして、道路地図708の上に表示する。

【0086】

表示部709は、三次元地図作成部707が作成した三次元地図に対応する道路地図を道路地図708から取得する。道路地図は例えば道路を上空から観測した二次元の上面図で表現される。三次元地図も同様に上空からの視点で観測すると、二次元の上面図として表現することができ、道路地図と三次元地図との対応をとることができる。また、同様に三次元地図と対応がとれている不要物領域管理地図も対応をとることができる。三次元地図作成部707の座標系が道路地図708の座標系と一致している場合、対応する道路地図708は、座標をもとに取得し、座標系が一致していない場合は、別途指定した座標を用いて道路地図708を取得する。

【0087】

図１０を参照して説明すると、表示部709は、道路地図708上の道路803から閾値と比べて短い距離にある未計測領域Nまたは不要物存在領域を道路地図708上に表示する。道路803から遠い領域は自動運転には不要という特徴を用いている。

【0088】

表示部709は、不要物領域管理地図801と道路地図708の対応をとり、図10に示す通り、不要物領域管理地図801で不要物領域とも路面領域Rとも管理されていない格子のうち、三次元地図の点群が存在しない格子805を未計測領域Nとして管理する。表示部709は、道路地図708において、未計測領域Nとして管理された格子805と不要物領域として管理されている格子806図１１参照の位置をあらかじめ指定した色で指示した画像を作成し、作成した画像を表示画像802として表示する。あらかじめ指定した色は未計測領域Nとして管理されている位置と不要物領域として管理されている位置で変更してもよい。

【0089】

表示画像802は、未計測領域Nとして管理された領域も含む不要物領域管理地図801と道路地図708を用いて作成された画像である。図10の例で示される表示画像802は、道路地図708に含まれている道路803や静止物804とともに、不要物領域管理地図801で不要物領域として管理されている格子の位置と未計測領域Nとして管理されている格子805の位置が異なる色で指示されている。

【0090】

表示部709は、道路から指定された範囲で不要物領域として管理されている格子と未計測領域Nとして管理されている格子805だけを指定した色で指示することもできる。

【0091】

表示部709は、図１１に示す通り、不要物領域Uとして管理されている格子806と未計測領域Nとして管理されている格子805のうち、周囲に不要物領域Uとして管理されている格子と未計測領域Nとして管理されている格子が閾値と比べて多い場合に、指定した色で指示することもできる。つまり、不要物領域として管理されている格子と未計測領域Nとして管理されている格子が密集している場所を指定した色で指示することもできる。これにより、再計測が必要な重点箇所を地図上で可視化することができ、三次元地図の作成をより効率化ができる。

【0092】

表示部709は、図１１に示す通り、不要物領域Uとされた格子806または未計測領域Nとされた格子805の周囲に、不要物領域Uとされた格子806または未計測領域Nとされた格子805が閾値と比べて多く存在する格子901だけを道路地図708上に表示することもできる。逆に閾値と比べて少ない格子902は表示しないことができる。

【0093】

実施形態2により、実施形態１と同様の効果を奏する上、再計測を要する場所を可視化できるので、三次元地図と、道路地図を活用して、三次元地図の作成をより一層効率化し、自動運転を一層、効率化することができる。

【産業上の利用可能性】

【0094】

カメラ102の画角403外の不要物も除去できるので、三次元地図作成の効率向上を図ることにより、自動運転などの発展に貢献し、産業上の利用価値は大である。

【符号の説明】

【0095】

1 三次元地図作成装置
7 三次元地図作成装置
100 移動体
101 距離センサ
102 カメラ
103 不要物検出部
104 自己位置推定部
105 不要物領域管理地図作成部
106 除去部
107 三次元地図作成部
110 三次元点群
120 画像
130 投影点群
200 演算回路
301 自動車
302 人
303 不要物検出結果
401 不要物領域管理地図
403 画角
404 不要物
405 三次元点群
406 格子
407 路面
408 格子
409 点群
505 点群
515 点群
501 不要物領域管理地図
502 点群
506 格子
707 三次元地図作成部
709 表示部
802 表示画像
803 道路
804 静止物
805 格子
P 自己位置
R 路面確定領域
U 不要物領域
ｔ、ｔ＋１ 時刻

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】