特開 2023-167539 環境データ生成装置、環境データ生成方法、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023167539

(43)【公開日】2023-11-24

(54)【発明の名称】環境データ生成装置、環境データ生成方法、プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20231116BHJP

   G06V 20/10 20220101ALI20231116BHJP

【ＦＩ】

G06T7/00 C

G06V20/10

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2022078807

(22)【出願日】2022-05-12

(71)【出願人】

【識別番号】000002299

【氏名又は名称】清水建設株式会社

(71)【出願人】

【識別番号】000003333

【氏名又は名称】ボッシュ株式会社

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100161506

【弁理士】

【氏名又は名称】川渕 健一

(74)【代理人】

【識別番号】100161207

【弁理士】

【氏名又は名称】西澤 和純

(72)【発明者】

【氏名】鈴木 正憲

(72)【発明者】

【氏名】宮下 裕貴

(72)【発明者】

【氏名】山本 真哉

(72)【発明者】

【氏名】平田 弘達

(72)【発明者】

【氏名】中居 敬太

(72)【発明者】

【氏名】大貫 奈々美

(72)【発明者】

【氏名】中里 研一

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096CA02

5L096CA18

5L096DA02

5L096FA06

5L096FA66

5L096FA67

5L096FA69

5L096GA34

5L096HA09

5L096KA04

(57)【要約】

【課題】施工現場における物体認識の精度と、認識対象までの距離を把握する精度とを確保しつつ、安定性及びリアルタイム性を確保する。
【解決手段】施工環境の空間内の複数の計測点に対して光が照射され、前記物体から反射された反射光を受光し、前記反射光に基づいて前記複数の計測点における前記物体との間の距離を表す点群データを取得する点群データ取得部と、前記施工環境のうち、距離計測装置が計測を行う領域を含む領域を撮影するカメラから画像データを取得する画像データ取得部と、前記点群データに基づいて物体認識処理を行うことで認識された物体と、前記画像データに基づいて物体認識処理を行うことで認識された物体とが対応関係にある物体である場合に、前記点群データから得られる地形マップに対して、前記対応関係にある物体を表すラベルを付加した環境データを生成する環境データ生成部と、を有する。
【選択図】図１

【特許請求の範囲】

【請求項1】

少なくとも、施工環境の空間内の複数の計測点に対して光を照射し、前記光が前記施工環境に存在する物体から反射された反射光を受光し、前記反射光に基づいて前記複数の計測点における前記物体との間の距離を表す点群データを出力する距離計測装置から出力される前記点群データを取得する点群データ取得部と、
前記施工環境のうち、距離計測装置が計測を行う領域を含む領域を撮影するカメラから画像データを取得する画像データ取得部と、
前記点群データに基づいて物体認識処理を行うことで認識された物体と、前記画像データに基づいて物体認識処理を行うことで認識された物体とが対応関係にある物体である場合に、前記点群データから得られる地形マップに対して、前記対応関係にある物体を表すラベルを付加した環境データを生成する環境データ生成部と、
を有する環境データ生成装置。

【請求項2】

前記環境データ生成部は、
前記点群データに基づいて、物体までの距離及び高さと、当該物体を表すラベルとを対応付けた環境データを生成する
請求項１に記載の環境データ生成装置。

【請求項3】

前記環境データ生成装置は、
前記施工環境において稼働する土木建機に搭載される
請求項１または請求項２に記載の環境データ生成装置。

【請求項4】

コンピュータにより実行される環境データ生成方法であって、
少なくとも、施工環境の空間内の複数の計測点に対して光を照射し、前記光が前記施工環境に存在する物体から反射された反射光を受光し、前記反射光に基づいて前記複数の計測点における前記物体との間の距離を表す点群データを出力する距離計測装置から出力される前記点群データを取得し、
前記施工環境のうち、距離計測装置が計測を行う領域を含む領域を撮影するカメラから画像データを取得し、
前記点群データに基づいて物体認識処理を行うことで認識された物体と、前記画像データに基づいて物体認識処理を行うことで認識された物体とが対応関係にある物体である場合に、前記点群データから得られる地形マップに対して、前記対応関係にある物体を表すラベルを付加した環境データを生成する
ことを含む環境データ生成方法。

【請求項5】

少なくとも、施工環境の空間内の複数の計測点に対して光を照射し、前記光が前記施工環境に存在する物体から反射された反射光を受光し、前記反射光に基づいて前記複数の計測点における前記物体との間の距離を表す点群データを出力する距離計測装置から出力される前記点群データを取得し、
前記施工環境のうち、距離計測装置が計測を行う領域を含む領域を撮影するカメラから画像データを取得し、
前記点群データに基づいて物体認識処理を行うことで認識された物体と、前記画像データに基づいて物体認識処理を行うことで認識された物体とが対応関係にある物体である場合に、前記点群データから得られる地形マップに対して、前記対応関係にある物体を表すラベルを付加した環境データを生成する
ことをコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、環境データ生成装置、環境データ生成方法、プログラムに関する。

【背景技術】

【0002】

ロボット技術を用いた建設機械によって自律的に施工を行わせるためには、その施工現場の環境を正しく認識した上で、建設機械自体が自己の行動や動作を決定する必要がある。しかしながら、例えば、土木施工を行う建設機械で土を盛ったり、盛った土（盛土）を均したりする施工を行う場合のように、建設機械自体の行動や動作が、施工現場の環境の形状を変化させるような施工もある。このため、事前に準備した画像データなどを自律型の建設機械を自律的に動作させるために用いる施工現場の環境データとしても、施工現場における現時点の環境を正しく認識させることができない。例えば、ブルドーザーを自律的に動作させる場合、施工現場に存在する他の建設機械や埋設予定の資材などの物体への接触を避けるために、これらの物体との位置関係（相対的な距離など）を認識する必要がある。さらに、ブルドーザーで自律的に盛土を均す場合には、均す場所のみならず、現時点の盛土の形状や盛土との相対的な距離を認識する必要もある。

【0003】

従来において、地形を把握する技術には、ステレオカメラや無人航空機（例えばドローン）で撮られた画像の特徴点を認識することにより地形を把握する技術がある。これらは、解像度の高い画像と複数のオーバーラップした画像データから特徴点を見出して解析することで３次元的な地形を認識することができる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１９－０４４４８０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、従来の技術のように、建設機械に取り付けたカメラが撮像した画像データを用いた施工現場の環境認識では、他の建設機械などの物体や盛土の形状などを認識することはできるものの、これらの物体との距離や、その大きさを正確に認識することができない。
ステレオカメラを用いた地形認識技術では、認識する対象の物までの距離が遠くなるほど精度が落ちてしまう。ドローンでの地形認識技術では、SfM（Structure from Motion）を使用した写真測量があるが、大量のデータ処理が必要となり、リアルタイム性がなく、自律施工には採用できない。また、撮像対象が平たんな地形である場合、特徴点が少なくなるため、安定性が低く、誤差が大きくなることが想定される。
物体認識技術については、画像による物体認識が進んでおり、物体認識する精度はある程度確保されているものの、相対距離を同時に高精度（数ｃｍ）に認識できる技術はない。
現場での自律施工を行う時には、高精度に地形を把握しつつ物体認識を行うことが必要となるが、従来技術では、精度、安定性、リアルタイム性に課題がある。

【0006】

本発明は、このような事情に鑑みてなされたもので、その目的は、施工現場における物体認識の精度と、認識対象までの距離を把握する精度とを確保しつつ、安定性及びリアルタイム性を確保することができる環境データ生成装置、環境データ生成方法、プログラムを提供することにある。

【課題を解決するための手段】

【0007】

上述した課題を解決するために、本発明の一態様は、少なくとも、施工環境の空間内の複数の計測点に対して光を照射し、前記光が前記施工環境に存在する物体から反射された反射光を受光し、前記反射光に基づいて前記複数の計測点における前記物体との間の距離を表す点群データを出力する距離計測装置から出力される前記点群データを取得する点群データ取得部と、前記施工環境のうち、距離計測装置が計測を行う領域を含む領域を撮影するカメラから画像データを取得する画像データ取得部と、前記点群データに基づいて物体認識処理を行うことで認識された物体と、前記画像データに基づいて物体認識処理を行うことで認識された物体とが対応関係にある物体である場合に、前記点群データから得られる地形マップに対して、前記対応関係にある物体を表すラベルを付加した環境データを生成する環境データ生成部と、を有する環境データ生成装置である。

【0008】

また、本発明の一態様は、コンピュータにより実行される環境データ生成方法であって、少なくとも、施工環境の空間内の複数の計測点に対して光を照射し、前記光が前記施工環境に存在する物体から反射された反射光を受光し、前記反射光に基づいて前記複数の計測点における前記物体との間の距離を表す点群データを出力する距離計測装置から出力される前記点群データを取得し、前記施工環境のうち、距離計測装置が計測を行う領域を含む領域を撮影するカメラから画像データを取得し、前記点群データに基づいて物体認識処理を行うことで認識された物体と、前記画像データに基づいて物体認識処理を行うことで認識された物体とが対応関係にある物体である場合に、前記点群データから得られる地形マップに対して、前記対応関係にある物体を表すラベルを付加した環境データを生成することを含む環境データ生成方法である。

【0009】

また、本発明の一態様は、少なくとも、施工環境の空間内の複数の計測点に対して光を照射し、前記光が前記施工環境に存在する物体から反射された反射光を受光し、前記反射光に基づいて前記複数の計測点における前記物体との間の距離を表す点群データを出力する距離計測装置から出力される前記点群データを取得し、前記施工環境のうち、距離計測装置が計測を行う領域を含む領域を撮影するカメラから画像データを取得し、前記点群データに基づいて物体認識処理を行うことで認識された物体と、前記画像データに基づいて物体認識処理を行うことで認識された物体とが対応関係にある物体である場合に、前記点群データから得られる地形マップに対して、前記対応関係にある物体を表すラベルを付加した環境データを生成することをコンピュータに実行させるプログラムである。

【発明の効果】

【0010】

以上説明したように、この発明によれば、施工現場における物体認識の精度と、認識対象までの距離を把握する精度とを確保しつつ、安定性及びリアルタイム性を確保することができる。

【図面の簡単な説明】

【0011】

【図1】環境データ生成装置を用いた土木建機１の構成を示す概略ブロック図である。

【図2A】施工現場を側方から見た場合の概念図である。

【図2B】環境データ生成装置１５によって生成された環境データＫＤを示す図である。

【図2C】環境データとして用いることが可能なメッシュマップの一例を示す図である。

【図3】環境データ生成装置１５における処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0012】

以下、本発明の一実施形態による環境データ生成装置について図面を参照して説明する。図１は、この発明の一実施形態による環境データ生成装置を用いた土木建機１の構成を示す概略ブロック図である。
土木建機１は、自律型のロボットであって、施工現場において利用される重機であり、例えば、ブルドーザーや、油圧ショベル、振動ローラーなどである。土木建機１は、以下の説明においては、施工現場において、盛った土（盛土）を均すブルドーザーである場合について説明する。
土木建機１は、ＬｉＤＡＲ（Light Detection and Ranging）１１と、カメラ１２と、通信装置１３と、位置測位装置１４と、環境データ生成装置１５、運転制御装置１６と、を備える。図１に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、さらに別の構成要素が追加されてもよい。
例えば、図１に示す土木建機１から位置測位装置１４が省略されてもよい。あるいは、土木建機１の速度を検出する速度センサ、加速度を検出する加速度センサ、鉛直軸回りの角速度を検出するヨーレートセンサ、土木建機１の向きを検出する方位センサなどのセンサが追加されてもよい。

【0013】

ＬｉＤＡＲ１１は、距離計測装置の一例であり、施工環境の状態を計測する。より具体的に、ＬｉＤＡＲ１１は、土木建機１によって施工を行う施工現場において、土木建機１の測定範囲（例えば前方の一定の範囲）である施工環境の空間内に光を照射し、照射した光が物体で反射された反射光（散乱光）を受光する。ＬｉＤＡＲ１１は、光の照射から反射光の受光までの時間に基づいて、施工環境内に存在する物体までの距離を計測する。ＬｉＤＡＲ１１は、施工環境、つまり、物体までの距離を計測する計測範囲内の複数の計測点に対して光を照射し、物体までの距離をそれぞれの計測点ごとに計測する。

【0014】

ＬｉＤＡＲ１１は、それぞれの計測点ごとの物体までの距離を、例えば、周期的に繰り返し計測する。ＬｉＤＡＲ１１が照射する光は、例えば、パルス状のレーザー光である。ＬｉＤＡＲ１１は、それぞれの計測点において計測した物体までの距離を表す施工環境の点群データを、環境データ生成装置１５に出力する。ＬｉＤＡＲ１１は、土木建機１の任意の箇所に取り付けられる。ＬｉＤＡＲ１１は、例えば、土木建機１のある程度の高さがあり、アーム等の可動部位が稼働しても位置が変更されにくい箇所に取り付けられる。

【0015】

カメラ１２は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの固体撮像素子を利用したデジタルカメラである。カメラ１２は、施工環境の範囲（または施工環境よりも広い範囲）を、例えば、周期的に繰り返し撮像する。カメラ１２は、施工環境の範囲を撮像することにより、施工環境の状態を計測する。カメラ１２は、施工環境のうち、ＬｉＤＡＲ１１が計測を行う領域を含む領域を撮影する。

【0016】

カメラ１２は、モノカメラでもよいし、ステレオカメラでもよい。カメラ１２は、撮像した画像データを、環境データ生成装置１５に出力する。カメラ１２は、例えば、ＬｉＤＡＲ１５と同じ箇所や、操縦室内の天井の前部に取り付けられる。土木建機１のその他の任意の箇所に取り付けられてもよい。
ここでは、カメラ１２によって得られるカメラの画像上における位置と、ＬｉＤＡＲ１１によって得られる３次元空間における位置とについて、予め対応づけされる。すなわち、カメラ１２によって得られる位置と、ＬｉＤＡＲ１１によって得られる位置については、予めキャリブレーションが行われている。そのため、同一の物体について、カメラ１２とＬｉＤＡＲ１１によって測定が行われた場合に、カメラ１２から得られる画像データに基づいて特定される物体の方向及び物体までの距離と、ＬｉＤＡＲ１１によって測定された点群データに基づいて特定される物体の方向及び物体までの距離と、が同じ結果を得ることが可能となるように、座標系が対応付けされている。

【0017】

通信装置１３は、例えば、セルラー網や、Ｗｉ－Ｆｉ網などを利用して、管理者が施工計画を決定するために使用する管理装置や、施工計画を管理するサーバ装置などとの間で無線によって通信を行う。通信装置１３は、外部から受信した情報を環境データ生成装置１５に出力し、環境データ生成装置１５から出力される各種情報を外部機器に送信する。通信装置１３は、環境データ生成装置１５内に設けられていてもよい。

【0018】

位置測位装置１４は、例えば、ＧＰＳ（Global Positioning System）衛星から受信した信号に基づいて、土木建機１の位置を測位する。位置測位装置１４は、測位した土木建機１の位置を表す情報を環境データ生成装置１５に出力する。環境データ生成装置１５は、位置測位装置１４により出力された土木建機１の位置の情報を参照して、土木建機１を自律的に動作させるための制御値を生成し、土木建機１に出力する。位置測位装置１４は、環境データ生成装置１５によって生成された制御値が位置を測位する要求である場合に、土木建機１の位置を測位してもよい。また、位置測位装置１４は、ジャイロセンサであってもよい。

【0019】

環境データ生成装置１５は、土木建機１に搭載され、周囲の環境を認識し、認識結果に応じた環境データを生成する。周囲の環境として認識する対象は、例えば、周囲に存在する物体である。物体としては、例えば盛土、他の土木建機、人、資材等である。
図２は、環境データ生成装置１５が周囲の環境を認識する場合の一例を示す図である。
図２Ａは、施工現場を側方から見た場合の概念図、図２Ｂは、環境データ生成装置１５によって生成された環境データＫＤの一例を示す図である。
環境データ生成装置１５は、ＬｉＤＡＲ１１から出力された点群データ及びカメラ１２により出力された画像データを取得する。環境データ生成装置１５は、取得した点群データに基づく３次元の地形マップＭＰに対して、画像データまたは点群データによって得られた属性に基づくラベルＬＢを付与した環境データＫＤを生成する。
図２Ａにおいて、土木建機１の前方には盛り上がった場所ＭＢがあり、その場所ＭＢの上に作業者ＳＧが立っている。ＬｉＤＡＲ１１は、場所ＭＢと作業者ＳＧを含む領域を測定して点群データを生成するとともに、カメラ１２が場所ＭＢと作業者ＳＧを含む領域を撮像して画像データを生成する。
図２Ｂにおける環境データＫＤは、図２Ａに示す施工現場を計測することで得られた環境データであり、地形マップＭＰと、施工現場に存在する物体（ここでは作業者ＬＢ）に対して付与されたラベルＬＢが表された場合の一例を示す図である。この地形マップＭＰは、場所ＭＢの位置と形状とが示されているとともに、作業者ＳＧの位置と形状とが示されている。また、地形マップＭＰは、場所ＭＢや作業者ＳＧの形状や高さに応じたコンター図として表現されている。
また、地形マップは、図２Ｃに示すように、メッシュマップであってもよい。図２Ｃに示すメッシュマップは、施工現場を情報から見た場合であって、所定サイズのメッシュに区切り、メッシュ毎に高さの値が割り当てられたマップである。環境データは、このようなメッシュマップに、物体が測定された位置に応じた地図上の位置にラベルが付与されていてもよい。

【0020】

図１に戻り、環境データ生成装置１５は、取得部１５０と、認識部１５１と、環境データ生成部１５２と、記憶部１５３とを備える。取得部１５０、認識部１５１、環境データ生成部１５２は、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め環境データ生成装置１５のＨＤＤやフラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体に格納されており、記憶媒体（非一過性の記憶媒体）がドライブ装置に装着されることで環境データ生成装置１５のＨＤＤやフラッシュメモリにインストールされてもよいし、記憶部１５３に記憶されてもよい。

【0021】

取得部１５０は、外部から得られる各種情報を取得する。取得部１５０は、ＬｉＤＡＲ１１によって計測された結果と、カメラ１２によって撮像された画像データと、通信装置1３によって受信されたデータと、位置測位装置１４によって測位された結果とを取得することができる。
取得部１５０は、点群データ取得部１５０１と、画像データ取得部１５０２とを有する。
点群データ取得部１５０１は、ＬｉＤＡＲ１１から出力された点群データを取得する。点群データ取得部１５０１は、取得した点群データを認識部１５１に出力する。
画像データ取得部１５０２は、施工環境（施工現場）のうち、距離計測装置が計測を行う領域を含む領域を撮影するカメラ１２から画像データを取得する。画像データ取得部１５０２は、取得した画像データを認識部１５１に出力する。

【0022】

点群データ取得部１５０１および画像データ取得部１５０２は、ＬｉＤＡＲ１１により周期的に出力される点群データと、カメラ１２によりから周期的に出力される画像データとを逐次取得して、認識部１５１に出力する。点群データ取得部１５０１および画像データ取得部１５０２は、取得した点群データや画像データを、メモリ（不図示）に記憶させてもよい。この場合、認識部１５１は、このメモリに記憶された点群データや画像データに基づいて、物体認識に関する処理を実行する。

【0023】

認識部１５１は、取得部１５０が取得したデータに基づいて、物体を認識する。より具体的に、認識部１５１は、点群データ取得部１５０１によって取得された点群データに基づいて物体を認識する第１機能と、画像データ取得部１５０２によって取得された画像データに基づいて物体を認識する第２機能とを有する。

【0024】

認識部１５１は、点群データに基づいて物体認識を実行する場合（第１機能）、物体認識用のモデルを用いて認識するようにしてもよい。物体認識用のモデルは、学習済モデルである。学習済モデルは、例えば、ディープラーニングやパターンマッチングなどの学習により生成されたＡＩ（Artificial Intelligence；人工知能）による物体認識のためのモデルであり、例えば、第１学習済モデルである。
この第１学習済モデルは、アノテーションが付与された点群データを学習データとし、点群データと物体との関係を学習したモデルである。この学習は、コンピュータ等の学習装置によって行われる。学習済モデルは、サポートベクトルマシン（ＳＶＭ：Support Vector Machine）、決定木、ｋ－ｎｎ（k-nearest neighbor）分類器などの学習により生成されてもよい。学習は、ルールベースに基づく学習によって得られる学習済モデルであってもよい。
第１学習済モデルを用いる場合、認識部１５１は、第１学習済モデルに、点群データ取得部１５０１により取得された点群データを入力データとして入力し、第１学習済モデルからの出力結果に基づいて、物体認識を実行する。第１学習済モデルによって得られる認識結果としては、例えば、施工を行う施工対象の対象物、周囲に存在する建設機械、資材、人、その他の施工環境内に存在する各種物体の名称または属性のうち少なくともいずれか一方を含む情報である。これらの認識結果は、例えば物体の属性として得られる。
施工対象の対象物は、例えば、盛土等である。周囲に存在する建設機械としては、例えば、ダンプトラック、バックホー等がある。資材としては、例えば、配管等である。人としては、例えば、作業者等である。その他としては、施工環境において施工されている鋼製の梁、配筋等である。
このようにして認識部１５１は、点群データに基づいて、対象物についての属性を得るとともに、対象物までの距離、高さ、大きさ、形状などの情報を得ることができる。
第１学習済みモデルは、予め学習装置において学習されることで得られた学習済モデルを認識部１５１が利用可能に所定の記憶領域に記憶されていればよい。

【0025】

また、認識部１５１は、画像データ取得部１５０２により取得された画像データに基づいて物体認識を実行する場合（第２機能）、物体認識用のモデルを用いて認識するようにしてもよい。第２機能を実現するために用いられる物体認識用のモデルは、例えば、学習済モデルであるが、第１機能を実現するために用いられる第１学習済モデルとは異なる第２学習済モデルが用いられる。認識部１５１は、テンプレートを用いた画像解析などの他の手段により画像データに基づく物体認識を行ってもよい。第２学習済モデルによって得られる認識結果としては、例えば、施工を行う施工対象の対象物、周囲に存在する建設機械、資材、人、その他の施工環境内に存在する各種物体の名称または属性のうち少なくともいずれか一方を含む情報である。これらの認識結果は、例えば物体の属性として得られる。
このようにして認識部１５１は、画像データに基づいて、対象物についての属性を得るとともに、対象物までの距離、高さ、大きさ、形状などの情報を得ることができる。
第２学習済みモデルは、予め学習装置において学習されることで得られた学習済モデルを認識部１５１が利用可能に所定の記憶領域に記憶されていればよい。

【0026】

環境データ生成部１５２は、点群データに基づいて物体認識処理を行うことで認識された物体と、画像データに基づいて物体認識処理を行うことで認識された物体とが対応関係にある物体である場合に、点群データから得られる地形マップに対して、対応関係にある物体を表すラベルを付加した環境データを生成する。

【0027】

環境データ生成部１５２は、対応関係にあるか否かを判定する場合、第１機能に基づいて認識された物体に対する方向及び距離と、第２機能に基づいて認識された物体に対する方向及び距離とがそれぞれ同じ、あるいは、それぞれ一定範囲にある場合に、点群データに基づく地形マップに対して、画像データに基づく属性をラベルとして付与するようにしてもよい。この場合、ＬｉＤＡＲ１１によって物体までの距離及び形状を把握し、画像データによって物体を認識した認識結果を把握することができるため、高精度で測定された地形マップに対して、高精度で認識された属性をラベルとして統合することができる。

【0028】

また、環境データ生成部１５２は、対応関係にあるか否かを判定する場合、点群データに基づいて物体認識処理を行うことで認識された物体と、画像データに基づいて物体認識処理を行うことで認識された物体とが、土木建機１を基準として同じ方向に存在する場合であって、物体認識処理によって得られた属性が一致する場合に、対応関係にある物体として判定するようにしてもよい。
これにより、画像データに基づいて物体を認識するとともにこの物体までの距離が特定されたとしても、画像データに基づいて特定された距離については、この物体がカメラ１２からある程度離れた位置にある場合には、距離を正確に把握することができなかったとしても、方向については特定することができる。一方、点群データによって物体までの距離を特定し、かつ、物体を認識した場合、物体の認識精度が十分ではなかったとしても、画像データから得られた属性を点群データに基づく地形マップに統合することで、物体までの距離を高精度に測定することができ、物体認識の精度高めることができる。

【0029】

また、環境データ生成部１５２は、点群データに基づいて物体認識処理を行い認識された物体と、画像データに基づいて物体認識処理を行うことで認識された物体とが同じ方向であるかを判定する場合、それぞれの物体が存在する方向が一定範囲内である場合には、同じ方向であると判定するようにしてもよい。

【0030】

また、環境データ生成部１５２は、第１機能に基づいて認識された方向及び形状と、第２機能に基づいて認識された方向及び形状とがそれぞれ同じである場合に、対応関係にあると判定してもよい。環境データ生成部１５２は、形状について同じであるかを判定する場合、点群データに基づいて測定された物体の輪郭と、画像データに基づいて認識された物体の輪郭とが、類似関係にある場合に、対応関係にあると判定し、環境データを生成するようにしてもよい。類似関係にあるか否かについては、類似する度合いを求め、その度合いが予め決められた基準値以上である場合に類似関係にあると判定してもよい。

【0031】

環境データ生成部１５２は、点群データに基づいて生成される地形マップに対し、その地形マップにおいて存在する物体に対する属性と、その物体までの距離及び高さとを対応づけた環境データを生成するようにしてもよい。また、環境データにはさらに、物体の形状を表すデータが含まれていてもよい。物体までの距離及び高さは、点群データのうち、認識された物体に対応する点群データが表す距離及び高さのデータから得ることができる。

【0032】

環境データ生成部１５２は、認識部１５１によって対象物情報が更新されるごとに環境データを逐次生成することができる。
環境データ生成部１５２は、生成した環境データを運転制御装置１６に出力する。

【0033】

運転制御装置１６は、土木建機１の運転を制御する。例えば、運転制御装置１６は、環境データ生成部１５２から出力された環境データに基づいて、土木建機１が自律的に施工の動作を行う場合の土木建機１の運転を制御する制御値を生成し、制御値に基づいて、土木建機１を制御する。制御値は、例えば、施工現場内で土木建機１を走行（移動）させるための指示内容や、対象物の場所で土木建機１に施工作業を行わせるための指示内容を表す制御情報である。

【0034】

環境データ生成装置１５における処理について説明する。図３は、環境データ生成装置１５における処理の一例を示すフローチャートである。本フローチャートの処理は、土木建機１が自律的な動作の開始に応じて開始される。以下の説明においては、土木建機１がすでに施工作業を行う対象物の位置（場所）に到着しているものとする。

【0035】

土木建機１が自律的な動作を開始すると、環境データ生成装置１５は、決定された施工計画を通信装置１３を介して取得する（ステップＳ２０１）。また、土木建機１の動作の開始に伴い、ＬｉＤＡＲ１１が計測を開始し、カメラ１２が撮像を開始する。
次に、環境データ生成装置１５の取得部１５０は、ＬｉＤＡＲ１１から点群データを取得し（ステップＳ１０２）、カメラ１２から画像データを取得する（ステップＳ１０３）。この点群データの取得と画像データの取得は、いずれの取得処理が先に行われてもよい。

【0036】

認識部１５１は、取得部１５０によって得られた点群データを、第１学習済モデルに入力データとして入力し、第１学習済モデルからの出力結果に基づいて、物体認識を実行する（ステップＳ１０３）。また、認識部１５１は、取得部１５０によって得られた画像データを、第２学習済モデルに入力データとして入力し、第２学習済モデルからの出力結果に基づいて、物体認識を実行する（ステップＳ１０４）。

【0037】

認識部１５１によって物体認識の処理が行われると、環境データ生成部１５２は、点群データに基づいて得られた物体の認識結果と、画像データに基づいて得られた物体の認識結果とに基づいて、物体に応じた属性を特定し、特定された属性に応じたラベルを、点群データに基づく地形マップに対応付けて環境データを生成する（ステップＳ１０５）。環境データが生成されると、環境データ生成部１５２は、環境データを運転制御装置１６に出力する。

【0038】

運転制御装置１６は、環境データ生成部１５２から得られる環境データに基づいて、土木建機１の制御を行う（ステップＳ１０６）。例えば、運転制御装置１６は、ステップＳ１０１において得られた施工計画と、ステップＳ１０５において生成された環境データとを照合、つまり、施工計画が表す施工環境の状態と、環境データが表す現時点の施工環境の状態とを照合する。そして、運転制御装置１６は、施工計画と環境データとを照合した結果に基づいて制御値を生成し、生成された制御値に応じて土木建機１を移動（例えば目的の盛土まで移動する）させたり、対象物の場所で土木建機１に施工作業（例えば盛土を均す）を行わせるため制御を行う。これにより土木建機１は、自律的に動作することができる。
また、ここでは、環境データにはラベルが付されているため、地形マップだけではなく、地形のどの位置にどのような物体があるかを把握することができる。このラベルは、点群データに基づく物体認識と画像データに基づく物体認識との結果を統合した結果であるため、物体認識精度を向上させることができる。また、環境データは、点群データに基づく地形マップに対してラベルが付されているため、施工現場の環境について精度のよい地形マップとして取得することができ、物体について精度よく認識した結果を用いることがでる。また、認識された物体が地形マップにおけるどの位置にあるかを把握することができるため、土木建機１は、施工対象（例えば盛土）の位置を正確に把握して施工することができ、他の土木建機や人が検出されている場合には、干渉（衝突）しないような移動経路の算出や、土木建機１の姿勢制御をすることができる。

【0039】

その後、環境データ生成装置１５は、処理を終了するか否かを判定し（ステップＳ１０７）、土木建機１の運転が継続している場合には、処理を終了しないと判定して（ステップＳ１０７－ＮＯ）、ステップＳ１０２に移行し、処理をすると判定した場合には処理を終了する（ステップＳ１０７－ＹＥＳ）。

【0040】

以上説明した実施形態によれば、施工現場における物体認識の精度と、認識対象までの距離を把握する精度とを確保しつつ、安定性及びリアルタイム性を確保することができる。より具体的には、ＬｉＤＡＲ１１によって得られる点群データから地形マップを生成するようにしたので、物体との距離や大きさを正確に把握することができ、少なくとも画像データに基づく物体認識の結果を用いて属性を特定することができるため、物体認識における精度を確保することができる。
また、ＬｉＤＡＲ１１によって得られる点群データから地形マップを生成し、環境データを生成するようにしたので、SfMのように、大量の写真データを用いる必要がなく、リアルタイム性が低減することがない。また、撮像対象が平坦な地形であっても、ＬｉＤＡＲ１１によって地形を把握することができるため、SfMのように写真から特徴点を抽出する必要がないため、特徴点の数に起因する安定性の低減や誤差の増大を抑えることができる。

【0041】

なお、以上説明した実施形態においては、土木建機１が、施工現場において、盛土を均すブルドーザーである場合を想定したが、土木建機１がブルドーザー以外の建設機械であってもよい。例えば、土木建機１が、ローラーによって土砂を押し固める施工作業を自律的行う振動ローラーである場合にも、環境データ生成装置１５は、目的の施工作業に合わせた環境データ（例えば、施工現場のマップ）を生成することができる。

【0042】

また、上述した実施形態では、ブルドーザーなどの土木建機が利用される土木作業の施工環境を対象としているが、土木作業の施工環境は、他の環境でもよい。例えば、土木作業の施工環境は、トンネル内での事故を減らすためのトンネルの施工現場でもよい。

【0043】

また、上述した実施形態において、土木建機１は自律的に稼働する場合について説明したが、自律的に稼働する場合、土木建機１にオペレータが搭乗していてもよいし、搭乗していなくてもよい。オペレータが土木建機１に搭乗する場合、オペレータは、土木建機１に設けられた運転操作子を操作することによって、必要に応じて土木建機１を操作するようにしてもよい。例えば、ブレード、アーム、バゲットなど、操作対象を操作したり、移動、停止、旋回等の操作することができる。この場合、環境データを土木建機１に設けられた表示装置に表示するようにしてもよい。これにより、オペレータは、周囲の視界が良好ではない場合（暗い、天候が悪い等）であっても、環境データを参照することで、周囲の環境を把握することができる。

【0044】

上述した実施形態における環境データ生成装置１５をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

【0045】

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

【符号の説明】

【0046】

１…土木建機、１１…ＬｉＤＡＲ、１２…カメラ、１３…通信装置、１４…位置測位装置、１５…環境データ生成装置、１６…運転制御装置、１５０…取得部、１５１…認識部、１５２…環境データ生成部、１５３…記憶部、１５０１…点群データ取得部、１５０２…画像データ取得部

【図1】

【図2A】

【図2B】

【図2C】

【図3】