特開 2023-105835 環境地図生成装置、環境地図生成方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023105835

(43)【公開日】2023-08-01

(54)【発明の名称】環境地図生成装置、環境地図生成方法およびプログラム

(51)【国際特許分類】

   G06T 7/70 20170101AFI20230725BHJP

   G06T 7/00 20170101ALI20230725BHJP

【ＦＩ】

G06T7/70 Z

G06T7/00 350B

【審査請求】有

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022006804

(22)【出願日】2022-01-20

(11)【特許番号】

(45)【特許公報発行日】2023-04-07

(71)【出願人】

【識別番号】591036457

【氏名又は名称】三菱電機エンジニアリング株式会社

(74)【代理人】

【識別番号】110003166

【氏名又は名称】弁理士法人山王内外特許事務所

(72)【発明者】

【氏名】西田 大輔

(72)【発明者】

【氏名】平 謙二

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA02

5L096AA06

5L096AA09

5L096CA04

5L096CA05

5L096DA02

5L096FA09

5L096FA62

5L096FA66

5L096FA67

5L096FA69

5L096HA11

5L096KA04

(57)【要約】

【課題】 環境地図の生成に用いられる３次元点群データが不要に削減されることを防止できる、環境地図生成装置、環境地図生成方法およびプログラムを提供する。
【解決手段】 環境地図生成装置（１）は、ＬｉＤＡＲ（２）が計測した対象空間の３次元点群データおよびカメラ（３）が撮像した対象空間の映像データを取得するデータ取得部（１１）と、３次元点群データから、対象空間内の物体の特徴点データを抽出する特徴点抽出部（１３）と、ＬｉＤＡＲ（２）の位置および姿勢を推定する位置姿勢推定部（１４）と、３次元点群データと、ＬｉＤＡＲ（２）の位置および姿勢の推定結果に基づいて、対象空間の環境地図を生成する環境地図生成部（１５）と、映像データに映る可動物体が動いているか否かを判定する物体検出部（１６）と、環境地図データの生成に用いられる３次元点群データの中から、動いていないと判定された可動物体の３次元点群データを除去せず、動いていると判定された可動物体の３次元点群データを除去するデータ除去部（１７）と、を備える。
【選択図】 図１

【特許請求の範囲】

【請求項1】

センサが対象領域を計測して得られた３次元点の集合である３次元点群データと、撮像装置が前記対象領域を撮像した映像データとを取得するデータ取得部と、
前記３次元点群データから、前記対象領域内に存在する物体の特徴点データを抽出する特徴点抽出部と、
前記特徴点データを用いて前記センサの位置および姿勢を推定する位置姿勢推定部と、
前記３次元点群データと、前記センサの位置および姿勢の推定結果とに基づいて、前記対象領域の環境地図データを生成する環境地図生成部と、
前記映像データに映る物体の中から、動くことが可能な物体である可動物体を検出し、検出した前記可動物体が動いているか否かを判定する物体検出部と、
前記環境地図データの生成に用いられる前記３次元点群データの中から、動いていないと判定された前記可動物体の前記３次元点群データを除去せず、動いていると判定された前記可動物体の前記３次元点群データを除去するデータ除去部と、を備えた
ことを特徴とする環境地図生成装置。

【請求項2】

前記データ除去部は、動いていないと判定された前記可動物体を、生成された前記環境地図データから除去する
ことを特徴とする請求項１に記載の環境地図生成装置。

【請求項3】

前記３次元点群データを構成する３次元点と前記映像データを構成するフレーム画像における画素との対応関係を特定し、３次元点に色情報を付加した前記３次元点群データを生成する色情報付加部を備えた
ことを特徴とする請求項１または請求項２に記載の環境地図生成装置。

【請求項4】

前記物体検出部は、前記映像データが入力されると、前記映像データを構成するフレーム画像に前記可動物体が映っているか否かを推論する学習済みモデルを用いて、前記可動物体を検出する物体推論部と、前記映像データを構成するフレーム画像に映る前記可動物体の画像領域を特定し、特定した前記可動物体の画像領域に基づいて当該可動物体が動いているか否かを判定する物体領域特定部と、を備えた
ことを特徴とする請求項１から請求項３のいずれか１項に記載の環境地図生成装置。

【請求項5】

前記物体検出部は、前記映像データに映る物体の中から除去対象物体をさらに検出し、
前記データ除去部は、前記環境地図データの生成に用いられる前記３次元点群データの中から、前記除去対象物体の前記３次元点群データを除去する
ことを特徴とする請求項１から請求項４のいずれか１項に記載の環境地図生成装置。

【請求項6】

データ取得部、特徴点抽出部、位置姿勢推定部、物体検出部、環境地図生成部、およびデータ除去部を備えた環境地図生成装置の環境地図生成方法であって、
前記データ取得部が、センサが対象領域を計測した３次元点の集合である３次元点群データと、撮像装置が前記対象領域を撮像した映像データとを取得するステップと、
前記特徴点抽出部が、前記３次元点群データから、前記対象領域内に存在する物体の特徴点データを抽出するステップと、
前記位置姿勢推定部が、前記特徴点データを用いて前記センサの位置および姿勢を推定するステップと、
前記環境地図生成部が、前記３次元点群データと、前記センサの位置および姿勢の推定結果とに基づいて、前記対象領域の環境地図データを生成するステップと、
前記物体検出部が、前記映像データに映る物体の中から、動くことが可能な物体である可動物体を検出し、検出した前記可動物体が動いているか否かを判定するステップと、
前記データ除去部が、前記環境地図データの生成に用いられる前記３次元点群データの中から、動いていないと判定された前記可動物体の前記３次元点群データを除去せず、動いていると判定された前記可動物体の前記３次元点群データを除去するステップと、を備えた
ことを特徴とする環境地図生成方法。

【請求項7】

コンピュータを、請求項１から請求項５のいずれか１項に記載の環境地図生成装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、環境地図生成装置、環境地図生成方法およびプログラムに関する。

【背景技術】

【0002】

現実空間に対応する３次元の環境地図を生成するための従来の技術として、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ Ａｎｄ Ｍａｐｐｉｎｇ）が知られている。ＳＬＡＭは、自己位置の推定と３次元環境地図の生成とを同時に行う技術である。ＳＬＡＭのうち、Ｖｉｓｕａｌ ＳＬＡＭは、映像を用いて、自己位置の推定と３次元環境地図の生成を行うものである。このＶｉｓｕａｌ ＳＬＡＭを、単にＳＬＡＭということもある。

【0003】

Ｖｉｓｕａｌ ＳＬＡＭにおいては、カメラが周辺空間の映像を連続的に撮像し、３次元計測センサが周辺空間を連続的に計測して、周辺空間の映像と、周辺空間の３次元点の座標である３次元点群データが取得される。映像を構成する各フレーム画像における画素とこれに対応する３次元点とが対応付けられ、３次元点に対し、対応する画素の色情報が付加される。そして、色情報が付加された３次元点群データを用いて、自己位置（３次元計測センサ等の位置）の推定と、３次元の環境地図データの生成とが行われる。

【0004】

また、３次元計測センサには、例えば、３次元のＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）が用いられる。３次元のＬｉＤＡＲは、レーザ光を用いて対象点の３次元座標を計測するレーザセンサである。

【0005】

ＳＬＡＭでは、周辺空間にあるランドマーク（陸標）を目印として、自己位置（ＬｉＤＡＲの位置）の推定が行われる。ＬｉＤＡＲによる周辺空間の３次元計測では、周辺空間内を移動している物体がランドマークとして誤認識される場合がある。この場合、ランドマークと誤認識された物体が移動することにより、本来、一定の位置にあるランドマークが移動したように認識され、自己位置を推定できずに喪失する可能性がある。また、自己位置を推定できたとしても、フレーム画像間の画素と３次元点との対応付けに誤差が生じて３次元環境地図の精度が低下する。

【0006】

上記不具合に対し、例えば、特許文献１には、ＬｉＤＡＲが計測した３次元距離画像であるポイントクラウドから、歩行者、車両等の動的な交通参加者の計測データを除去し、残ったポイントクラウドのデータを用いて、ＳＬＡＭを実行する方法が記載されている。動的な交通参加者は、ランドマークと誤って認識される虞があるので、その計測データをポイントクラウドから除去することで、動的な交通参加者に起因した不具合の発生を低減できる。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２０１９－２０７２２０号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

特許文献１に記載される従来の技術は、予め定められた動的な交通参加者の３次元点群データを除去する。このため、動的な交通参加者といった可動物体であるが、計測中に動いておらず、ランドマークとされても環境地図の精度に影響を与えないものであっても、その３次元点群データが除去される。この場合、環境地図データの生成に用いられる３次元点群データが過剰に削減されるので、環境地図の精度が低下するという課題があった。

【0009】

本開示は、上記課題を解決するものであり、環境地図データの生成に用いられる３次元点群データが過剰に削減されることを防止できる、環境地図生成装置、環境地図生成方法およびプログラムを得ることを目的とする。

【課題を解決するための手段】

【0010】

本開示に係る環境地図生成装置は、センサが対象領域を計測した３次元点の集合である３次元点群データおよび撮像装置が対象領域を撮像した映像データを取得するデータ取得部と、３次元点群データから、対象領域内に存在する物体の特徴点データを抽出する特徴点抽出部と、３次元点群データを用いてセンサの位置および姿勢を推定する位置姿勢推定部と、特徴点データとセンサの位置および姿勢の推定結果とに基づいて、対象領域の環境地図データを生成する環境地図生成部と、映像データに映る物体の中から、動くことが可能な物体である可動物体を検出し、検出した可動物体が動いているか否かを判定する物体検出部と、環境地図データの生成に用いられる３次元点群データの中から、動いていないと判定された可動物体の３次元点群データを除去せず、動いていると判定された可動物体の３次元点群データを除去するデータ除去部と、を備える。

【発明の効果】

【0011】

本開示によれば、映像データに映る物体の中から、動くことが可能な物体である可動物体を検出し、検出した可動物体が動いているか否かを判定して、環境地図データの生成に用いられる３次元点群データの中から、動いていないと判定された可動物体の３次元点群データを除去せず、動いていると判定された可動物体の３次元点群データを除去する。
これにより、本開示に係る環境地図生成装置は、環境地図の生成に用いられる３次元点群データが過剰に削減されることを防止できる。

【図面の簡単な説明】

【0012】

【図1】実施の形態１に係る環境地図生成装置の構成を示すブロック図である。

【図2】物体検出部の構成を示すブロック図である。

【図3】フレーム画像から可動物体を検出する処理の概要を示す概要図である。

【図4】可動物体が動いているか否かの判定処理の概要を示す概要図である。

【図5】盛り土の環境地図を示す画面図である。

【図6】一部の土を運び出した盛り土の環境地図を示す画面図である。

【図7】実施の形態１に係る環境地図生成方法を示すフローチャートである。

【図8】図８Ａおよび図８Ｂは実施の形態１に係る環境地図生成装置の機能を実現するハードウェア構成を示すブロック図である。

【発明を実施するための形態】

【0013】

実施の形態１．
図１は、実施の形態１に係る環境地図生成装置１の構成を示すブロック図である。図１において、環境地図生成装置１は、ＬｉＤＡＲ２が対象領域を計測して得られた３次元点群データとカメラ３が対象領域を撮像した映像データを取得し、３次元点群データおよび映像データを用いて、対象領域について３次元の環境地図データを生成する。例えば、環境地図生成装置１は、計測作業者が携帯可能であり、ＬｉＤＡＲ２およびカメラ３を備えた端末に搭載される。また、環境地図生成装置１は、ＬｉＤＡＲ２およびカメラ３とは別に設けられ、ＬｉＤＡＲ２およびカメラ３と有線または無線で通信可能な装置であってもよい。

【0014】

ＬｉＤＡＲ２は、予め定められた計測周期（例えば、１００ミリ秒ごと）で対象領域に照射したレーザパルスの反射光を受光して距離を計測し、計測した距離で特定される３次元点の集合である、３次元点群データを検出するセンサである。ＬｉＤＡＲ２は、移動体に搭載される。移動体は、例えば、対象領域の周辺を移動可能な車両、対象領域の上空を移動可能な飛行物体または作業者が携帯して移動可能な端末が挙げられる。移動体が移動しながら、ＬｉＤＡＲ２が対象領域を計測する。ＬｉＤＡＲ２は、対象領域内に存在する物体までの距離を３次元点の深度として計測し、３次元点の集合である３次元点群データを出力する。

【0015】

カメラ３は、対象領域を撮像して、映像データを得る撮像装置である。カメラ３は、単眼カメラであってもよいが、ステレオカメラであってもよい。対象領域の映像データは、例えば、一定のフレームレート（例えば、２０ｆｐｓ）で撮像された複数のフレーム画像から構成される。フレーム画像はＲＧＢ画像データであり、各画素は色情報を有する。

【0016】

また、カメラ３の撮像視野は、ＬｉＤＡＲ２の計測範囲と同等であることが望ましい。例えば、カメラ３は、上記移動体にＬｉＤＡＲ２とともに搭載され、ＬｉＤＡＲ２が周囲３６０度の計測を行うセンサである場合、カメラ３も周囲３６０度の撮像が行えるものが使用される。また、カメラ３は、一台に限らず、複数のカメラ３を用いてＬｉＤＡＲ２の計測範囲と同等の撮像視野を実現してもよい。

【0017】

また、ＬｉＤＡＲ２とカメラ３の位置関係は、予め実施したキャリブレーションされて相関がとれている。例えば、移動体にＬｉＤＡＲ２およびカメラ３が搭載され、当該移動体が対象領域の周辺を移動しながら、ＬｉＤＡＲ２による計測およびカメラ３による撮像が行われる場合、ＬｉＤＡＲ２が計測する３次元点群データは、カメラ３が撮像する映像のフレームごとに同期がとれている。

【0018】

データ取得部１１は、ＬｉＤＡＲ２が対象領域を計測した３次元点の集合である３次元点群データと、カメラ３が対象領域を撮像した映像データとを取得する。例えば、データ取得部１１は、ＬｉＤＡＲ２およびカメラ３との間で、有線または無線の通信により接続されている。データ取得部１１は、ＬｉＤＡＲ２が予め定められた計測周期で対象領域を計測して得られた３次元点群データと、ＬｉＤＡＲ２の計測に伴いカメラ３によって撮像された対象領域の映像データを取得し、取得したデータを色情報付加部１２に出力する。

【0019】

色情報付加部１２は、３次元点群データを構成する３次元点と、映像データを構成するフレーム画像における画素との対応関係を特定して、３次元点に対応する画素の色情報を付加した３次元点群データを生成する。例えば、ＬｉＤＡＲ２とカメラ３との位置関係はキャリブレーションされているので、３次元点群データは、映像データのフレームごとに同期がとれている。この位置関係に基づいて、色情報付加部１２は、３次元点群データにおける３次元点の位置とこれに対応する画素の位置とを特定し、３次元点に対応する画素の色情報を付加する。

【0020】

なお、３次元点群データにおける３次元点の深度情報のみを用いて、環境地図データを生成する場合、３次元点に色情報を付与する必要はない。この場合、環境地図生成装置１は、色情報付加部１２は備えていなくてもよい。すなわち、データ取得部１１が取得した３次元点群データはそのまま特徴点抽出部１３に出力され、３次元点群データから特徴点の抽出が行われる。

【0021】

特徴点抽出部１３は、対象領域内に存在する物体の特徴点データを、３次元点群データから抽出する。特徴点データは、対象領域内に存在する物体の表面、凹凸またはエッジといった視覚的に他の部分と区別でき、特徴があるとみなせる点（特徴点）に対応する３次元点データである。例えば、特徴点抽出部１３は、映像データを構成するフレーム画像に映る物体の特徴点を抽出し、抽出した特徴点の画素に対応する３次元点データを、３次元点群データに含まれる複数の３次元点データから、特徴点データとして抽出する。

【0022】

位置姿勢推定部１４は、特徴点抽出部１３が抽出した特徴点データを用いて、移動体に搭載または携帯されて移動するＬｉＤＡＲ２の位置および姿勢を推定する。例えば、位置姿勢推定部１４は、特徴点データを用いて、対象領域におけるランドマークを認識する。ランドマークは、対象領域で位置が固定されて、地理上の目印となる地物である。

【0023】

位置姿勢推定部１４は、ランドマークの位置を、例えば、ランドマークの中心座標で表して、特徴点データから複数のランドマークの位置に対応する距離データを特定する。位置姿勢推定部１４は、ＳＬＡＭ技術を用い、時刻ｔ－１に得られたランドマークとの距離データおよび移動体の進行方向に基づいて、時刻ｔにおけるＬｉＤＡＲ２の位置および姿勢を推定する。ＬｉＤＡＲ２の姿勢は、例えば、移動体の進行方向に対する方位角および仰角である。ＬｉＤＡＲ２の位置および姿勢の推定結果を示すオドメトリ情報は、環境地図生成部１５に出力される。

【0024】

環境地図生成部１５は、３次元点群データと、ＬｉＤＡＲ２の位置および姿勢の推定結果を示すオドメトリ情報とに基づいて、対象領域の環境地図データを生成する。環境地図データは、３次元点群データにより構成された３次元地図を示すデータである。環境地図のそれぞれの３次元点には、色情報が付加されている。例えば、環境地図生成部１５は、時刻ｔ－１におけるＬｉＤＡＲ２の位置および姿勢に応じた環境地図データを生成し、時刻ｔにおけるＬｉＤＡＲ２の位置および姿勢に応じた環境地図データを生成する。

【0025】

物体検出部１６が、映像データに映る物体の中から可動物体を検出し、検出した可動物体が動いているか否かを判定する。可動物体は、動くことが可能な物体であり、例えば、対象領域内に存在する、歩行者、車両等である。また、車両には、建設機械も含まれる。例えば、物体検出部１６は、映像データを構成するフレーム画像ごとにパターン認識等の画像解析を行うことにより、フレーム画像から可動物体を検出する。
なお、可動物体は、環境地図の利用分野ごとに決定してもよい。例えば、環境地図を土木作業の管理に利用する場合、可動物体としては、歩行者である作業員、移動可能な作業機械、運搬を行う車両等が挙げられる。

【0026】

物体検出部１６は、フレーム画像に映る可動物体の位置が経時的に変化していた場合、可動物体が動いていると判定する。例えば、物体検出部１６は、予め定められた判定期間に連続した複数のフレーム画像間で継続して可動物体の位置が変化した場合、あるいは、フレーム画像間における可動物体の位置の変化が予め定められた閾値を超える頻度で発生した場合、可動物体が動いていると判定する。また、物体検出部１６は、予め定められた判定期間に連続した複数のフレーム画像間での可動物体の位置の変化が断続して発生した場合、あるいは、フレーム画像間における可動物体の位置の変化が上記閾値以下の頻度で発生した場合に、可動物体が動いていないと判定する。

【0027】

ＬｉＤＡＲ２による対象領域の計測において、ＬｉＤＡＲ２を搭載する移動体は、対象領域の周辺を移動している。可動物体が動いている場合、ＬｉＤＡＲ２の位置および姿勢は時々刻々と変化し、ＬｉＤＡＲ２に対する可動物体の位置も時々刻々と変化している。このため、物体検出部１６は、動いている可動物体のみに対応する３次元点群データを正確に判別するのは困難である。

【0028】

物体検出部１６は、例えば、映像データを構成するフレーム画像から、可動物体を含む画像領域を特定し、特定した画像領域に対応する３次元点群データを、可動物体に対応する３次元点群データとして判別する。すなわち、可動物体が含まれる画像領域に対応する大まかな範囲に含まれる３次元点群データが、動いていると判定された可動物体に対応する３次元点群データであると判別される。物体検出部１６は、判別した３次元点群データと、これに対応する可動物体が動いているか否かを示す判定結果とを、物体検出情報としてデータ除去部１７に出力する。

【0029】

データ除去部１７は、環境地図生成部１５が環境地図データの生成に用いる３次元点群データから、動いていないと判定された可動物体の３次元点群データを除去せず、動いていると判定された可動物体の３次元点群データを除去する。環境地図生成部１５は、物体検出部１６が動いていると判定した可動物体に対応する３次元点群データが除去された、残りの３次元点群データと、ＬｉＤＡＲ２の位置および姿勢の推定結果とを用いて、対象領域の環境地図データを生成する。すなわち、可動物体が検出されても、計測中に動いておらず、可動物体がランドマークとされても環境地図の精度に影響を与えない場合には、可動物体に対応する３次元点群データが、環境地図データの生成に用いられる３次元点群データから除去されない。これにより、環境地図生成装置１は、環境地図データの生成に用いられる３次元点群データが過剰に削減されることを防止できる。

【0030】

また、データ除去部１７は、物体検出部１６により動いていないと判定された可動物体を、生成された環境地図データから除去する。動いていないと判定された可動物体に対応する３次元点群データは、環境地図データの生成に用いられる３次元点群データの中から除去されない。このため、環境地図データには、動いていないと判定された当該可動物体が含まれており、データ除去部１７は、環境地図データを構成する３次元点群データの中から、動いていないと判定された可動物体に対応する３次元点群データを正確に除去することができる。

【0031】

さらに、物体検出部１６は、映像データに映る物体の中から除去対象物体を検出する。除去対象物体とは、対象領域の３次元計測および対象領域の撮像を遮蔽する、対象領域に固定的に存在している障害物である。例えば、盛り土の環境地図データの生成において、盛り土と移動体との間に固定的に存在する樹木（街路樹等）あるいは一時的に設置された標識等は、当該環境地図のノイズである。
なお、除去対象物体は、環境地図の利用分野ごとに決定してもよい。例えば、環境地図を土木作業の管理に利用する場合、除去対象物体としては、管理対象の作業領域を遮蔽する可能性がある樹木等が挙げられる。

【0032】

データ除去部１７は、環境地図生成部１５が環境地図データの生成に用いる３次元点群データの中から、除去対象物体の３次元点群データを除去する。これにより、対象領域の環境地図から樹木等の除去対象物体が除外されるので、環境地図の精度を高めることができる。なお、除去対象物体は対象領域に固定的に存在するので、物体検出部１６は、除去対象物体に正確に対応する３次元点群データを判別することが可能である。

【0033】

図２は、物体検出部１６の構成を示すブロック図である。図２に示すように、物体検出部１６は、例えば、物体推論部１６１および物体領域特定部１６２を備えて構成される。物体推論部１６１は、映像データが入力されると、映像データを構成するフレーム画像に可動物体が映っているか否かを推論する学習済みモデルを用いて、可動物体を検出する。学習済みモデルは、図１および図２に図示していない学習装置が生成し、学習済みモデルを定義するパラメータは、図１および図２に図示していない記憶装置に保存される。

【0034】

例えば、学習装置は、カメラ３が対象領域を撮像した映像データを機械学習用データとして、映像データに可動物体が映っているか否かを推論する学習済みモデルを学習する。学習済みモデルは、ディープラーニングで学習されたニューラルネットワーク（ＮＮ）である。学習装置は、可動物体の検出精度が向上するようにＮＮの重みの更新を繰り返し実行してＮＮの重みが最適化されたＮＮ（学習済みモデル）を生成する。

【0035】

学習装置は、映像データに可動物体が映っているか否かを推論する学習済みモデルを生成すると、当該学習済みモデルを定義する重み等のパラメータを記憶装置に保存する。物体推論部１６１は、記憶装置に保存されたパラメータにより定義される学習済みモデルを用いて可動物体の推論を行う。これにより、環境地図生成装置１は、可動物体の検出精度を向上させることができる。

【0036】

ディープラーニングとしては、例えば、ＹＯＬＯ、ＥｆｆｉｃｉｅｎｔＤｅｔ等が用いられる。また、当該学習済みモデルの学習として、学習装置が、過去に撮像された映像データを教師データとして用いる教師あり学習を実行してもよいし、教師データを用いない教師なし学習を実行してもよい。物体検出部１６が、学習済みモデルを用いて可動物体を検出することにより、環境地図生成装置１は、可動物体の検出精度を向上させることができる。

【0037】

物体領域特定部１６２は、映像データを構成するフレーム画像から可動物体の画像領域を特定し、特定した可動物体の画像領域に基づいて、可動物体が動いているか否かを判定する。例えば、物体領域特定部１６２は、物体推論部１６１が推論した可動物体が映っている画像領域を特定し、フレーム画像間での当該画像領域に含まれる可動物体の位置変化に基づいて、可動物体が動いているか否かを判定する。物体検出部１６は、可動物体が映っている画像領域を示す情報と可動物体が動いているか否かの判定結果とを含む物体検出情報を、データ除去部１７に出力する。

【0038】

また、物体推論部１６１は、映像データが入力されると、映像データを構成するフレーム画像に除去対象物体が映っているか否かを推論する学習済みモデルを用いて、除去対象物体を検出してもよい。例えば、学習装置が、除去対象物体の検出精度が向上するようにＮＮの重みの更新を繰り返し実行してＮＮの重みが最適化されたＮＮ（学習済みモデル）を生成する。

【0039】

なお、環境地図生成装置１とは別に学習装置を設ける場合を示したが、環境地図生成装置１が、当該学習装置を備えてもよい。また、環境地図生成装置１が、学習済みモデルを定義する重み等のパラメータを保存しておく記憶装置を備えてもよい。

【0040】

図３は、物体検出部１６がフレーム画像３Ａから可動物体を検出する処理の概要を示す概要図である。図３において、フレーム画像３Ａは、カメラ３が撮像した対象領域の映像データに含まれるフレーム画像の例である。フレーム画像３Ａには、対象領域に固定的に存在する建物２１が映っており、歩行者２２が映っている。物体検出部１６は、カメラ３が撮像する映像データをフレーム画像ごとに画像解析するか、映像データのフレーム画像を学習済みモデルに入力することにより、対象領域の周辺に存在する可動物体である歩行者２２を検出する。

【0041】

物体検出部１６は、歩行者２２を検出すると、検出した歩行者２２を含む画像領域３１を特定し、特定した画像領域に対応する３次元点群データを、歩行者２２に対応する３次元点群データとして判別する。物体検出部１６は、判別した３次元点群データと、これに対応する歩行者２２が動いているか否かを示す判定結果とを物体検出情報として、データ除去部１７に出力する。

【0042】

図４は、可動物体が動いているか否かの判定処理の概要を示す概要図であり、可動物体として歩行者２２が検出された場合を示している。図４において、フレーム画像３Ａ１は時刻ｔ－１（秒）における画像であり、フレーム画像３Ａ２は、単位時間が「１」進んだ時刻ｔ（秒）における画像である。フレーム画像３Ａ２において、実線で示す歩行者２２は、時刻ｔにおける歩行者２２の位置であり、破線で示す歩行者２２は、フレーム画像３Ａ１における歩行者２２の位置、すなわち時刻ｔ－１における歩行者２２の位置を表している。

【0043】

図４において矢印で示すように、歩行者２２の位置は、フレーム画像３Ａ１とフレーム画像３Ａ２との間で変化している。物体検出部１６は、フレーム画像３Ａ１とフレーム画像３Ａ２との間で歩行者２２の位置の変化を検出すると、歩行者２２が動いていると判定する。また、物体検出部１６は、予め定められた判定期間内にフレーム画像間での歩行者２２の位置変化を連続して検出した場合に、歩行者２２が動いていると判定してもよい。さらに、物体検出部１６は、フレーム画像間での歩行者２２の位置変化が断続して予め定められた閾値を超える頻度で発生した場合に、可動物体が動いていると判定してもよい。

【0044】

物体検出部１６は、環境地図データの生成に用いられる３次元点群データから、動いていると判定した歩行者２２に対応する３次元点群データを判別して、判別した３次元点群データおよび対応する歩行者２２が動いているか否かを示す判定結果を、物体検出情報としてデータ除去部１７に出力する。

【0045】

土木作業現場における盛り土を運搬する作業の管理に用いられる環境地図について説明する。図５は、盛り土４１の環境地図を示す画面図である。図５の左側に示す環境地図１５Ａは、盛り土４１とショベルカー４２とに対応する３次元点群データから構成される３次元地図である。図５の右側に示す環境地図１５Ｂは、環境地図１５Ａからショベルカー４２に対応する３次元点群データを除外した３次元地図である。なお、ショベルカー４２は、盛り土４１の土を運搬機械に積み込む積み込み機械である。

【0046】

環境地図１５Ａにおいて、ショベルカー４２は、盛り土４１に存在して、盛り土４１の状態を遮蔽している。このため、環境地図１５Ａを用いて、盛り土４１の状態を管理するためには、ショベルカー４２を環境地図１５Ａから除外する必要がある。この場合、環境地図生成装置１は、盛り土４１を計測しているときにショベルカー４２を可動物体として検出すると、ショベルカー４２を除外した環境地図１５Ｂを生成する。

【0047】

例えば、環境地図生成装置１は、盛り土４１を計測しているときにショベルカー４２が動いていれば、環境地図１５Ｂの生成に用いる３次元点群データから、ショベルカー４２に対応する３次元点群データを自動的に除外し、残りの３次元点群データを用いて環境地図１５Ｂを生成する。また、ショベルカー４２が動いていなければ、環境地図生成装置１は、生成した環境地図１５Ｂから、ショベルカー４２に対応する３次元点群データを自動的に除外する。これにより、作業者は、環境地図１５Ｂを参照することにより、盛り土４１の状態を正確に認識することが可能である。

【0048】

図６は、一部の土を運び出した盛り土４１の環境地図を示す画面図である。図６の左側に示す環境地図１５Ｃは、盛り土４１とショベルカー４２とに対応する３次元点群データから構成される３次元地図である。ショベルカー４２は、盛り土４１の上部に存在して、盛り土４１から土の運び出しを行っている。このため、作業者は、環境地図１５Ｃを参照しても、ショベルカー４２が遮蔽して盛り土４１からどれくらいの土量４３が運び出されたかを認識できない。この場合、環境地図生成装置１は、ショベルカー４２を可動物体として検出すると、ショベルカー４２を除外した環境地図１５Ｄを生成する。

【0049】

例えば、環境地図生成装置１は、土の運び出し作業のためにショベルカー４２が動いていれば、環境地図１５Ｄの生成に用いる３次元点群データから、ショベルカー４２に対応する３次元点群データを自動的に除外し、残りの３次元点群データを用いて環境地図１５Ｄを生成する。また、ショベルカー４２が停止していても、環境地図生成装置１は、生成した環境地図１５Ｄからショベルカー４２を自動的に除外する。これにより、作業者は、環境地図１５Ｄを参照することで、盛り土４１から運び出された土量４３を正確に認識することができる。

【0050】

次に、実施の形態１に係る環境地図生成方法について説明する。
図７は、実施の形態１に係る環境地図生成方法を示すフローチャートである。
データ取得部１１が、ＬｉＤＡＲ２が対象領域を計測した３次元点群データと、カメラ３が対象領域を撮像した映像データとを取得する（ステップＳＴ１）。例えば、作業者が対象領域の周辺を移動し、このとき、作業者が携帯する端末に搭載されたＬｉＤＡＲ２が予め定められた計測周期で対象領域を計測し、カメラ３が予め定められたフレームレートで対象領域を撮像する。データ取得部１１は、ＬｉＤＡＲ２が計測する３次元点群データとカメラ３が撮像する映像データを順次取得する。

【0051】

色情報付加部１２が、３次元点群データを構成する３次元点と映像データを構成するフレーム画像における画素との対応関係を特定し、３次元点に色情報を付加した３次元点群データを生成する（ステップＳＴ２）。なお、環境地図生成装置１が色情報付加部１２を備えていない場合は、ステップＳＴ２は実施されない。

【0052】

特徴点抽出部１３が、３次元点群データから、対象領域内に存在する物体の特徴点データを抽出する（ステップＳＴ３）。位置姿勢推定部１４が、特徴点抽出部１３が抽出した特徴点データを用いて、ＬｉＤＡＲ２の位置および姿勢を推定する（ステップＳＴ４）。

【0053】

物体検出部１６が、映像データに映る物体の中から可動物体を検出する（ステップＳＴ５）。ここで、可動物体が検出されなければ（ステップＳＴ５；ＮＯ）、環境地図生成部１５は、３次元点群データおよびＬｉＤＡＲ２の位置および姿勢の推定結果に基づいて、対象領域の環境地図データを生成する（ステップＳＴ８）。

【0054】

可動物体を検出した場合（ステップＳＴ５；ＹＥＳ）、物体検出部１６は、当該可動物体が動いているか否かを判定する（ステップＳＴ６）。ここで、物体検出部１６により可動物体が動いていると判定された場合（ステップＳＴ６；ＹＥＳ）、データ除去部１７は、環境地図データの生成に用いられる３次元点群データの中から、動いていると判定された可動物体の３次元点群データを除去する（ステップＳＴ７）。また、物体検出部１６が、映像データから除去対象物体を検出した場合には、データ除去部１７は、環境地図データの生成に用いられる３次元点群データの中から除去対象物体に対応する３次元点群データを除去する。これにより、環境地図生成部１５は、可動物体または除去対象物体に対応する３次元点群データが除去された、残りの３次元点群データを用いて、対象領域の環境地図データを生成する（ステップＳＴ８）。

【0055】

一方、物体検出部１６により可動物体が動いていないと判定された場合（ステップＳＴ６；ＮＯ）、環境地図生成部１５は、可動物体に対応するデータを含む３次元点群データとＬｉＤＡＲ２の位置および姿勢の推定結果とに基づいて、対象領域の環境地図データを生成する（ステップＳＴ９）。データ除去部１７は、環境地図生成部１５が生成した環境地図データから可動物体に対応する３次元点群データを除去する（ステップＳＴ１０）。

【0056】

次に、環境地図生成装置１の機能を実現するハードウェア構成について説明する。
環境地図生成装置１が備える、データ取得部１１、色情報付加部１２、特徴点抽出部１３、位置姿勢推定部１４、環境地図生成部１５、物体検出部１６およびデータ除去部１７の機能は、処理回路により実現される。すなわち、環境地図生成装置１は、図７に示したステップＳＴ１からステップＳＴ１０までの各処理を実行するための処理回路を備える。処理回路は、専用のハードウェアであってもよいが、メモリに記憶されたプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であってもよい。

【0057】

図８Ａは、環境地図生成装置１の機能を実現するハードウェア構成を示すブロック図である。図８Ｂは、環境地図生成装置１の機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。図８Ａおよび図８Ｂにおいて、入力インタフェース１００は、ＬｉＤＡＲ２およびカメラ３から環境地図生成装置１へ出力されるデータを中継するインタフェースである。出力インタフェース１０１は、環境地図生成装置１から後段の装置へ出力される環境地図データを中継するインタフェースである。

【0058】

処理回路が、図８Ａに示す専用のハードウェアの処理回路１０２である場合、処理回路１０２は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）またはこれらを組み合わせたものが該当する。
環境地図生成装置１が備える、データ取得部１１、色情報付加部１２、特徴点抽出部１３、位置姿勢推定部１４、環境地図生成部１５、物体検出部１６およびデータ除去部１７の機能を、別々の処理回路が実現してもよく、これらの機能をまとめて一つの処理回路が実現してもよい。

【0059】

処理回路が図８Ｂに示すプロセッサ１０３である場合、環境地図生成装置１が備える、データ取得部１１、色情報付加部１２、特徴点抽出部１３、位置姿勢推定部１４、環境地図生成部１５、物体検出部１６およびデータ除去部１７の機能は、ソフトウェア、ファームウェアまたはソフトウェアとファームウェアとの組み合わせにより実現される。なお、ソフトウェアまたはファームウェアは、プログラムとして記述されてメモリ１０４に記憶される。

【0060】

プロセッサ１０３は、メモリ１０４に記憶されたプログラムを読み出して実行することにより、環境地図生成装置１が備える、データ取得部１１、色情報付加部１２、特徴点抽出部１３、位置姿勢推定部１４、環境地図生成部１５、物体検出部１６およびデータ除去部１７の機能を実現する。例えば、環境地図生成装置１は、プロセッサ１０３により実行されるときに、図７に示したステップＳＴ１からステップＳＴ１０の処理が結果的に実行されるプログラムを記憶するためのメモリ１０４を備える。これらのプログラムは、データ取得部１１、色情報付加部１２、特徴点抽出部１３、位置姿勢推定部１４、環境地図生成部１５、物体検出部１６およびデータ除去部１７が行う処理の手順または方法を、コンピュータに実行させる。メモリ１０４は、コンピュータを、データ取得部１１、色情報付加部１２、特徴点抽出部１３、位置姿勢推定部１４、環境地図生成部１５、物体検出部１６およびデータ除去部１７として機能させるためのプログラムが記憶されたコンピュータ可読記憶媒体であってもよい。

【0061】

メモリ１０４は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ－ＥＰＲＯＭ）などの不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤなどが該当する。

【0062】

環境地図生成装置１が備える、データ取得部１１、色情報付加部１２、特徴点抽出部１３、位置姿勢推定部１４、環境地図生成部１５、物体検出部１６およびデータ除去部１７の機能の一部が専用のハードウェアで実現され、残りの一部がソフトウェアまたはファームウェアで実現されてもよい。例えば、データ取得部１１は、専用のハードウェアである処理回路１０２によってその機能が実現され、色情報付加部１２、特徴点抽出部１３、位置姿勢推定部１４、環境地図生成部１５、物体検出部１６およびデータ除去部１７は、プロセッサ１０３がメモリ１０４に記憶されたプログラムを読み出して実行することによりその機能が実現される。このように、処理回路はハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせによって上記機能を実現することができる。

【0063】

なお、図２には、可動物体の存在を推論する学習済みモデルを、環境地図生成装置１とは別に設けられた学習装置が学習して得る場合を示したが、環境地図生成装置１は、これに限定されるものではない。例えば、環境地図生成装置１は、可動物体の存在を推論する学習済みモデルを学習する学習装置を備えてもよい。

【0064】

以上のように、実施の形態１に係る環境地図生成装置１は、３次元点群データおよび映像データを取得するデータ取得部１１と、３次元点群データから、対象領域内に存在する物体の特徴点データを抽出する特徴点抽出部１３と、ＬｉＤＡＲ２の位置および姿勢を推定する位置姿勢推定部１４と、３次元点群データと、ＬｉＤＡＲ２の位置および姿勢の推定結果とに基づいて、対象領域の環境地図を生成する環境地図生成部１５と、映像データに映る物体の中から、動くことが可能な可動物体を検出して、検出した可動物体が動いているか否かを判定する物体検出部１６と、環境地図の生成に用いられる３次元点群データから、動いていないと判定された可動物体の３次元点群データを除去せず、動いていると判定された可動物体の３次元点群データを除去するデータ除去部１７を備える。
環境地図生成装置１は、映像データに映る物体の中から、動くことが可能な可動物体を検出し、検出した可動物体が動いているか否かを判定して、環境地図の生成に用いられる３次元点群データから、動いていないと判定された可動物体の３次元点群データを除去せず、動いていると判定された可動物体の３次元点群データを除去する。これにより、環境地図の生成に用いられる３次元点群データが過剰に削減されることを防止できる。

【0065】

実施の形態１に係る環境地図生成装置１において、データ除去部１７は、動いていないと判定された可動物体を、生成された環境地図から除去する。これにより、環境地図生成装置１は、環境地図データを構成する３次元点群データの中から、動いていないと判定された可動物体に対応する３次元点群データを正確に除去することができる。

【0066】

実施の形態１に係る環境地図生成装置１において、３次元点群データを構成する３次元点と映像データを構成するフレーム画像における画素との対応関係を特定し、３次元点に色情報を付加した３次元点群データを生成する色情報付加部１２を備える。これにより、環境地図生成装置１は、３次元点に色情報が付加された環境地図データを生成することができる。

【0067】

実施の形態１に係る環境地図生成装置１において、物体検出部１６は、映像データが入力されると、映像データを構成するフレーム画像に可動物体が映っているか否かを推論する学習済みモデルを用いて可動物体を検出する物体推論部１６１と、映像データを構成するフレーム画像に映る可動物体の画像領域を特定し、特定した可動物体の画像領域に基づいて当該可動物体が動いているか否かを判定する物体領域特定部１６２を備える。これにより、環境地図生成装置１は、可動物体の検出精度を向上させることができる。

【0068】

実施の形態１に係る環境地図生成装置１において、物体検出部１６は、映像データに映る物体の中から、除去対象物体を検出する。データ除去部１７は、環境地図データの生成に用いる３次元点群データから、除去対象物体の３次元点群データを除去する。対象領域の環境地図から除去対象物体が除外されるので、環境地図生成装置１は、環境地図の精度を高めることが可能である。

【0069】

実施の形態１に係る環境地図生成方法は、データ取得部１１が、３次元点群データと映像データとを取得するステップと、特徴点抽出部１３が、３次元点群データから、特徴点データを抽出するステップと、位置姿勢推定部１４が、ＬｉＤＡＲ２の位置および姿勢を推定するステップと、環境地図生成部１５が、３次元点群データとＬｉＤＡＲ２の位置および姿勢の推定結果に基づいて、対象領域の環境地図データを生成するステップと、物体検出部１６が、映像データに映る物体の中から、動くことが可能な可動物体を検出して、検出した可動物体が動いているか否かを判定するステップと、データ除去部１７が、環境地図データの生成に用いられる３次元点群データの中から、動いていないと判定された可動物体の３次元点群データを除去せず、動いていると判定された可動物体の３次元点群データを除去するステップを備える。これにより、環境地図の生成に用いられる３次元点群データが過剰に削減されることを防止できる。

【0070】

実施の形態１に係るプログラムは、コンピュータを環境地図生成装置１として機能させる。これにより、環境地図の生成に用いられる３次元点群データが過剰に削減されることを防止できる環境地図生成装置１を提供することができる。

【0071】

なお、実施の形態の任意の構成要素の変形もしくは実施の形態の任意の構成要素の省略が可能である。

【符号の説明】

【0072】

１ 環境地図生成装置、２ ＬｉＤＡＲ、３ カメラ、３Ａ，３Ａ１，３Ａ２ フレーム画像、１１ データ取得部、１２ 色情報付加部、１３ 特徴点抽出部、１４ 位置姿勢推定部、１５ 環境地図生成部、１５Ａ～１５Ｄ 環境地図、１６ 物体検出部、１７ データ除去部、２１ 建物、２２ 歩行者、３１ 画像領域、４１ 盛り土、４２ ショベルカー、４３ 土量、１００ 入力インタフェース、１０１ 出力インタフェース、１０２ 処理回路、１０３ プロセッサ、１０４ メモリ、１６１ 物体推論部、１６２ 物体領域特定部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【手続補正書】

【提出日】2023-02-13

【手続補正1】

【補正対象書類名】明細書

【補正対象項目名】００１０

【補正方法】変更

【補正の内容】

【0010】

本開示に係る環境地図生成装置は、作業現場の対象領域を示す環境地図データを生成する環境地図生成装置であって、センサが対象領域を計測した３次元点の集合である３次元点群データおよび撮像装置が対象領域を撮像した映像データを取得するデータ取得部と、３次元点群データから、対象領域内に存在する物体の特徴点データを抽出する特徴点抽出部と、３次元点群データを用いてセンサの位置および姿勢を推定する位置姿勢推定部と、特徴点データとセンサの位置および姿勢の推定結果とに基づいて、対象領域の環境地図データを生成する環境地図生成部と、映像データに映る物体の中から、センサによる作業領域の３次元計測および撮像装置による作業領域の撮像を遮蔽する除去対象物体を検出し、映像データに映る作業現場の作業に関わる物体の中から、動くことが可能な物体である可動物体を検出し、検出した可動物体が動いているか否かを判定する物体検出部と、環境地図データの生成に用いられる３次元点群データの中から、動いていないと判定された可動物体の３次元点群データを除去せず、動いていると判定された可動物体の３次元点群データおよび除去対象物体の３次元点群データを除去するデータ除去部と、を備え、環境地図生成部は、除去対象物体を除く、動いていないと判定された可動物体を含む対象領域に存在する物体の３次元点群データを用いて、作業現場の対象領域を示す環境地図データを生成する。

【手続補正2】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

作業現場の対象領域を示す環境地図データを生成する環境地図生成装置であって、
センサが前記対象領域を計測して得られた３次元点の集合である３次元点群データと、撮像装置が前記対象領域を撮像した映像データとを取得するデータ取得部と、
前記３次元点群データから、前記対象領域内に存在する物体の特徴点データを抽出する特徴点抽出部と、
前記特徴点データを用いて前記センサの位置および姿勢を推定する位置姿勢推定部と、
前記３次元点群データと、前記センサの位置および姿勢の推定結果とに基づいて、前記対象領域の前記環境地図データを生成する環境地図生成部と、
前記映像データに映る物体の中から、前記センサによる前記作業領域の３次元計測および前記撮像装置による前記作業領域の撮像を遮蔽する除去対象物体を検出し、前記映像データに映る前記作業現場の作業に関わる物体の中から、動くことが可能な物体である可動物体を検出し、検出した前記可動物体が動いているか否かを判定する物体検出部と、
前記環境地図データの生成に用いられる前記３次元点群データの中から、動いていないと判定された前記可動物体の前記３次元点群データを除去せず、動いていると判定された前記可動物体の前記３次元点群データおよび前記除去対象物体の前記３次元点群データを除去するデータ除去部と、を備え、
前記環境地図生成部は、前記除去対象物体を除く、動いていないと判定された前記可動物体を含む前記対象領域に存在する物体の前記３次元点群データを用いて、前記作業現場の前記対象領域を示す前記環境地図データを生成する
ことを特徴とする環境地図生成装置。

【請求項2】

前記環境地図生成部は、前記可動物体が前記除去対象物体である場合、動いていないと判定されても当該可動物体を前記環境地図データから除去する
ことを特徴とする請求項１に記載の環境地図生成装置。

【請求項3】

前記３次元点群データを構成する３次元点と前記映像データを構成するフレーム画像における画素との対応関係を特定し、３次元点に色情報を付加した前記３次元点群データを生成する色情報付加部を備えた
ことを特徴とする請求項１または請求項２に記載の環境地図生成装置。

【請求項4】

前記物体検出部は、前記映像データが入力されると、前記映像データを構成するフレーム画像に前記可動物体が映っているか否かを推論する学習済みモデルを用いて、前記可動物体を検出する物体推論部と、前記映像データを構成するフレーム画像に映る前記可動物体の画像領域を特定し、特定した前記可動物体の画像領域に基づいて当該可動物体が動いているか否かを判定する物体領域特定部と、を備えた
ことを特徴とする請求項１から請求項３のいずれか１項に記載の環境地図生成装置。

【請求項5】

前記物体検出部は、前記映像データに映る物体の中から除去対象物体をさらに検出し、
前記データ除去部は、前記環境地図データの生成に用いられる前記３次元点群データの中から、前記除去対象物体の前記３次元点群データを除去する
ことを特徴とする請求項１から請求項４のいずれか１項に記載の環境地図生成装置。

【請求項6】

作業現場の対象領域を示す環境地図データを生成し、データ取得部、特徴点抽出部、位置姿勢推定部、物体検出部、環境地図生成部、およびデータ除去部を備えた環境地図生成装置の環境地図生成方法であって、
前記データ取得部が、センサが前記対象領域を計測した３次元点の集合である３次元点群データと、撮像装置が前記対象領域を撮像した映像データとを取得するステップと、
前記特徴点抽出部が、前記３次元点群データから、前記対象領域内に存在する物体の特徴点データを抽出するステップと、
前記位置姿勢推定部が、前記特徴点データを用いて前記センサの位置および姿勢を推定するステップと、
前記環境地図生成部が、前記３次元点群データと、前記センサの位置および姿勢の推定結果とに基づいて、前記対象領域の前記環境地図データを生成するステップと、
前記物体検出部が、前記映像データに映る物体の中から、前記センサによる前記作業領域の３次元計測および前記撮像装置による前記作業領域の撮像を遮蔽する除去対象物体を検出し、前記映像データに映る、前記作業現場の作業に関わる物体の中から、動くことが可能な物体である可動物体を検出し、検出した前記可動物体が動いているか否かを判定するステップと、
前記データ除去部が、前記環境地図データの生成に用いられる前記３次元点群データの中から、動いていないと判定された前記可動物体の前記３次元点群データを除去せず、動いていると判定された前記可動物体の前記３次元点群データおよび前記除去対象物体の前記３次元点群データを除去するステップと、を備え、
前記環境地図生成部は、前記除去対象物体を除く、動いていないと判定された前記可動物体を含む前記対象領域に存在する物体の前記３次元点群データを用いて、前記作業現場の前記対象領域を示す前記環境地図データを生成する
ことを特徴とする環境地図生成方法。

【請求項7】

コンピュータを、請求項１から請求項５のいずれか１項に記載の環境地図生成装置として機能させるためのプログラム。