特開 2022-186143 環境データ生成装置、建設機械、環境データ生成方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022186143

(43)【公開日】2022-12-15

(54)【発明の名称】環境データ生成装置、建設機械、環境データ生成方法、およびプログラム

(51)【国際特許分類】

   G06Q 50/08 20120101AFI20221208BHJP

【ＦＩ】

G06Q50/08

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2021094221

(22)【出願日】2021-06-04

(71)【出願人】

【識別番号】000002299

【氏名又は名称】清水建設株式会社

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100161506

【弁理士】

【氏名又は名称】川渕 健一

(74)【代理人】

【識別番号】100161207

【弁理士】

【氏名又は名称】西澤 和純

(72)【発明者】

【氏名】中居 敬太

(72)【発明者】

【氏名】鈴木 正憲

(72)【発明者】

【氏名】平田 弘達

(72)【発明者】

【氏名】山本 真哉

(72)【発明者】

【氏名】岩城 英朗

(72)【発明者】

【氏名】横島 喬

(72)【発明者】

【氏名】宮下 裕貴

【テーマコード（参考）】

5L049

【Ｆターム（参考）】

5L049CC07

(57)【要約】

【課題】施工現場の環境をより正しく認識させることができる環境データを生成することができる環境データ生成装置、建設機械、環境データ生成方法、およびプログラムを提供すること。
【解決手段】少なくとも、施工環境の空間内の複数の計測点に対して所定の光を照射し、光が施工環境に存在する物体で反射された反射光を受光し、反射光に基づいて複数の計測点における物体との間の距離を表す点群データを出力する距離計測装置により出力された点群データに基づいて、施工環境に存在する物体を認識する認識部と、認識された物体に基づいて、施工環境の状態を表す環境データを生成する処理部と、を備える環境データ生成装置。
【選択図】図１

【特許請求の範囲】

【請求項1】

少なくとも、施工環境の空間内の複数の計測点に対して所定の光を照射し、前記光が前記施工環境に存在する物体で反射された反射光を受光し、前記反射光に基づいて前記複数の計測点における前記物体との間の距離を表す点群データを出力する距離計測装置により出力された前記点群データに基づいて、前記施工環境に存在する前記物体を認識する認識部と、
前記認識された前記物体に基づいて、前記施工環境の状態を表す環境データを生成する処理部と、
を備える環境データ生成装置。

【請求項2】

前記処理部は、
建設機械が前記物体に対して施工作業を行う前記施工環境を含む施工現場の地図を前記環境データとして生成する環境データ生成部と、
前記環境データに基づいて、前記建設機械の自律的な運転を制御する制御値を生成する制御値生成部と、
を備える請求項１に記載の環境データ生成装置。

【請求項3】

前記認識部は、
前記施工環境を撮像する撮像装置により出力された画像データに基づいて、前記物体の属性をさらに認識し、
前記環境データ生成部は、
認識された前記物体の属性を含む前記環境データを生成し、
前記制御値生成部は、
前記環境データに基づいて、前記建設機械が施工対象の前記物体に対して施工作業を行うための前記制御値を生成する、
請求項２に記載の環境データ生成装置。

【請求項4】

少なくとも、施工環境の空間内の複数の計測点に対して所定の光を照射し、前記光が前記施工環境に存在する物体で反射された反射光を受光し、前記反射光に基づいて前記複数の計測点における前記物体との間の距離を表す点群データを出力する距離計測装置と、
請求項１から請求項３のうちいずれか１項に記載の環境データ生成装置と、
前記環境データ生成装置により生成された前記環境データに基づいて、前記物体に対して自律的に施工作業を行うための運転を制御する運転制御装置と、
を備える建設機械。

【請求項5】

環境データ生成装置のコンピュータが、
少なくとも、施工環境の空間内の複数の計測点に対して所定の光を照射し、前記光が前記施工環境に存在する物体で反射された反射光を受光し、前記反射光に基づいて前記複数の計測点における前記物体との間の距離を表す点群データを出力する距離計測装置により出力された前記点群データに基づいて、前記施工環境に存在する前記物体を認識し、
前記認識した前記物体に基づいて、前記施工環境の状態を表す環境データを生成する、
環境データ生成方法。

【請求項6】

環境データ生成装置のコンピュータに、
少なくとも、施工環境の空間内の複数の計測点に対して所定の光を照射し、前記光が前記施工環境に存在する物体で反射された反射光を受光し、前記反射光に基づいて前記複数の計測点における前記物体との間の距離を表す点群データを出力する距離計測装置により出力された前記点群データに基づいて、前記施工環境に存在する前記物体を認識させ、
前記認識させた前記物体に基づいて、前記施工環境の状態を表す環境データを生成させる、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、環境データ生成装置、建設機械、環境データ生成方法、およびプログラムに関する。

【背景技術】

【0002】

従来から、建設機械に取り付けたカメラが撮像した施工現場の画像データを、現場における施工の進捗管理に利用することに関する技術が開示されている（例えば、特許文献１参照）。さらに、近年では、施工現場の省人化を目指すため、施工現場で撮像した画像データを、ロボット技術を用いて自律的に施工を行う自律型の建設機械に利用することが検討されている。

【0003】

ロボット技術を用いた建設機械によって自律的に施工を行わせるためには、その施工現場の環境を正しく認識した上で、建設機械自体が自己の行動や動作を決定する必要がある。しかしながら、例えば、土木施工を行う建設機械で土を盛ったり、盛った土（盛土）を均したりする施工を行う場合のように、建設機械自体の行動や動作が、施工現場の環境の形状を変化させるような施工もある。このため、事前に準備した画像データなどを自律型の建設機械を自律的に動作させるために用いる施工現場の環境データとしても、施工現場における現時点の環境を正しく認識させることができない。例えば、ブルドーザーを自律的に動作させる場合、施工現場に存在する他の建設機械や埋設予定の資材などの物体への接触を避けるために、これらの物体との位置関係（相対的な距離など）を認識する必要がある。さらに、ブルドーザーで自律的に盛土を均す場合には、均す場所のみならず、現時点の盛土の形状や盛土との相対的な距離を認識する必要もある。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１９－０４４４８０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、従来の技術のように、建設機械に取り付けたカメラが撮像した画像データを用いた施工現場の環境認識では、他の建設機械などの物体や盛土の形状などを認識することはできるものの、これらの物体との距離や、その大きさを正確に認識することができない。さらに、カメラを用いた物体の認識では、天候などの外部要因によって物体の認識精度が影響を受けてしまう。これは、天候などの外部要因によって画像データに写される物体の鮮明度が変化してしまうためである。

【0006】

本発明は、上記の課題認識に基づいてなされたものであり、施工現場の環境をより正しく認識させることができる環境データを生成することができる環境データ生成装置、建設機械、環境データ生成方法、およびプログラムを提供することを目的としている。

【課題を解決するための手段】

【0007】

この発明に係る環境データ生成装置、建設機械、環境データ生成方法、およびプログラムは、以下の構成を採用した。
（１）：この発明の一態様に係る環境データ生成装置は、少なくとも、施工環境の空間内の複数の計測点に対して所定の光を照射し、前記光が前記施工環境に存在する物体で反射された反射光を受光し、前記反射光に基づいて前記複数の計測点における前記物体との間の距離を表す点群データを出力する距離計測装置により出力された前記点群データに基づいて、前記施工環境に存在する前記物体を認識する認識部と、前記認識された前記物体に基づいて、前記施工環境の状態を表す環境データを生成する処理部と、を備える環境データ生成装置である。

【0008】

（２）：上記（１）の態様において、前記処理部は、建設機械が前記物体に対して施工作業を行う前記施工環境を含む施工現場の地図を前記環境データとして生成する環境データ生成部と、前記環境データに基づいて、前記建設機械の自律的な運転を制御する制御値を生成する制御値生成部と、を備えるものである。

【0009】

（３）：上記（２）の態様において、前記認識部は、前記施工環境を撮像する撮像装置により出力された画像データに基づいて、前記物体の属性をさらに認識し、前記環境データ生成部は、認識された前記物体の属性を含む前記環境データを生成し、前記制御値生成部は、前記環境データに基づいて、前記建設機械が施工対象の前記物体に対して施工作業を行うための前記制御値を生成するものである。

【0010】

（４）：また、本発明の一態様に係る建設機械は、少なくとも、施工環境の空間内の複数の計測点に対して所定の光を照射し、前記光が前記施工環境に存在する物体で反射された反射光を受光し、前記反射光に基づいて前記複数の計測点における前記物体との間の距離を表す点群データを出力する距離計測装置と、上記（１）から（３）のうちいずれか一態様の環境データ生成装置と、前記環境データ生成装置により生成された前記環境データに基づいて、前記物体に対して自律的に施工作業を行うための運転を制御する運転制御装置と、を備える建設機械である。

【0011】

（５）：また、本発明の一態様に係る環境データ生成方法は、環境データ生成装置のコンピュータが、少なくとも、施工環境の空間内の複数の計測点に対して所定の光を照射し、前記光が前記施工環境に存在する物体で反射された反射光を受光し、前記反射光に基づいて前記複数の計測点における前記物体との間の距離を表す点群データを出力する距離計測装置により出力された前記点群データに基づいて、前記施工環境に存在する前記物体を認識し、前記認識した前記物体に基づいて、前記施工環境の状態を表す環境データを生成する、環境データ生成方法である。

【0012】

（６）：また、本発明の一態様に係るプログラムは、環境データ生成装置のコンピュータに、少なくとも、施工環境の空間内の複数の計測点に対して所定の光を照射し、前記光が前記施工環境に存在する物体で反射された反射光を受光し、前記反射光に基づいて前記複数の計測点における前記物体との間の距離を表す点群データを出力する距離計測装置により出力された前記点群データに基づいて、前記施工環境に存在する前記物体を認識させ、前記認識させた前記物体に基づいて、前記施工環境の状態を表す環境データを生成させる、プログラムである。

【発明の効果】

【0013】

上述した（１）～（６）の態様によれば、施工現場の環境をより正しく認識させることができる環境データを生成することができる。

【図面の簡単な説明】

【0014】

【図1】実施形態に係る環境データ生成装置が搭載された建設機械の概略構成を示す構成図である。

【図2】実施形態の環境データ生成装置が備える認識部および処理部の機能構成図である。

【図3】実施形態の環境データ生成装置が備える認識部が認識した施工環境の一例を示す図である。

【図4】実施形態の環境データ生成装置により実行される処理の流れの一例を示すフローチャートである。

【図5】実施形態の環境データ生成装置のハードウェア構成の一例を示す図である。

【発明を実施するための形態】

【0015】

以下、図面を参照し、本発明の環境データ生成装置、建設機械、環境データ生成方法、およびプログラムの実施形態について説明する。

【0016】

［全体構成］
図１は、実施形態に係る環境データ生成装置が搭載された建設機械の概略構成を示す構成図である。環境データ生成装置が搭載された建設機械は、例えば、ブルドーザーや、油圧ショベル、ホイールローダーなど、種々の建設機械である。以下の説明においては、施工現場において、盛った土（盛土）を均すブルドーザーを、環境データ生成装置が搭載された建設機械として想定して説明する。

【0017】

建設機械１は、例えば、運転操作子１０と、運転制御装置２０と、走行駆動力出力装置３０と、施工駆動力出力装置３２と、ＬＩＤＡＲ（Light Detection and Ranging）１００と、カメラ２００と、環境データ生成装置３００と、通信装置４００と、位置測位装置５００と、を備える。図１に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、さらに別の構成要素が追加されてもよい。例えば、図１に示す建設機械１から位置測位装置５００が省略されてもよいし、建設機械１の速度を検出する速度センサ、加速度を検出する加速度センサ、鉛直軸回りの角速度を検出するヨーレートセンサ、建設機械１の向きを検出する方位センサなどのセンサが追加されてもよい。

【0018】

運転操作子１０は、施工現場の作業員が手動で建設機械１の動作を制御するための操作子である。運転操作子１０には、建設機械１を走行（移動）させる際に操作される操作子や、建設機械１が備える施工機材で施工を行う際に操作される操作子など、建設機械１を動作させるための複数の操作子が含まれる。操作子は、例えば、操作レバー、ジョイスティック、ハンドグリップ、操作ボタンなどである。運転操作子１０には、操作子の操作量あるいは操作の有無を検出するセンサが取り付けられており、その検出結果は、運転制御装置２０、もしくは、走行駆動力出力装置３０および施工駆動力出力装置３２のうち一部または全部に出力される。

【0019】

運転制御装置２０は、施工現場の作業員によって建設機械１が手動で施工の運転される場合、運転操作子１０に取り付けられているセンサにより出力された検出結果に応じて、走行駆動力出力装置３０や施工駆動力出力装置３２を制御する。一方、運転制御装置２０は、建設機械１が自律型の建設機械であり、建設機械１が自律的に施工の動作を行う場合、環境データ生成装置３００により出力された環境データや制御値に従って、走行駆動力出力装置３０や施工駆動力出力装置３２を制御する。

【0020】

走行駆動力出力装置３０は、建設機械１が施工現場内を走行するための走行駆動力（トルク）を、例えば、クローラやホイールに出力する。走行駆動力出力装置３０は、例えば、内燃機関と、制御装置と、を備える。制御装置は、運転制御装置２０から入力される情報、あるいは運転操作子１０から入力される情報に従って、内燃機関を制御する。

【0021】

施工駆動力出力装置３２は、建設機械１によって施工現場で施工作業を行う際に、内燃機関の駆動力（トルク）を、例えば、ブレードや、アーム、バゲットなどの作業装置に連結された油圧装置のシリンダに油圧を発生させるための駆動力として出力する。施工駆動力出力装置３２は、運転制御装置２０から入力される情報、あるいは運転操作子１０から入力される情報に従って、施工時の駆動力を出力する。

【0022】

ＬＩＤＡＲ１００は、建設機械１によって施工を行う施工現場において、建設機械１の前方の所定の範囲である施工環境の空間内に光を照射し、照射した光が物体で反射された反射光（散乱光）を受光する。ＬＩＤＡＲ１００は、光の照射から反射光の受光までの時間に基づいて、施工環境内に存在する物体までの距離を計測する。ＬＩＤＡＲ１００は、施工環境、つまり、物体までの距離を計測する計測範囲内の複数の計測点に対して光を照射し、物体までの距離をそれぞれの計測点ごとに計測する。ＬＩＤＡＲ１００は、それぞれの計測点ごとの物体までの距離を、例えば、周期的に繰り返し計測する。ＬＩＤＡＲ１００が照射する光は、例えば、パルス状のレーザー光である。ＬＩＤＡＲ１００は、それぞれの計測点において計測した物体までの距離を表す施工環境の点群データを、環境データ生成装置３００に出力する。ＬＩＤＡＲ１００は、建設機械１の任意の箇所に取り付けられる。ＬＩＤＡＲ１００は、例えば、作業員が搭乗する操縦室の屋根部分に取り付けられる。ＬＩＤＡＲ１００は、特許請求の範囲における「距離計測装置」の一例である。

【0023】

カメラ２００は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの固体撮像素子を利用したデジタルカメラである。カメラ２００は、施工環境の範囲（施工環境よりも広い範囲であってもよい）を、例えば、周期的に繰り返し撮像する。カメラ２００は、ステレオカメラであってもよい。カメラ２００は、撮像した画像データを、環境データ生成装置３００に出力する。カメラ２００は、建設機械１の任意の箇所に取り付けられる。カメラ２００は、例えば、ＬＩＤＡＲ１００と同じ箇所や、操縦室内の天井の前部に取り付けられる。カメラ２００は、特許請求の範囲における「撮像装置」の一例である。

【0024】

環境データ生成装置３００は、例えば、認識部３２０と、処理部３６０とを備える。認識部３２０と処理部３６０とのそれぞれは、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め環境データ生成装置３００のＨＤＤやフラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体に格納されており、記憶媒体（非一過性の記憶媒体）がドライブ装置に装着されることで環境データ生成装置３００のＨＤＤやフラッシュメモリにインストールされてもよい。

【0025】

図２は、実施形態の環境データ生成装置３００が備える認識部３２０および処理部３６０の機能構成図である。認識部３２０は、例えば、取得部３３０と、対象物認識部３４０と、を備える。取得部３３０は、例えば、点群データ取得部３３２と、画像データ取得部３３４と、を備える。処理部３６０は、例えば、環境データ生成部３７０と、制御値生成部３８０と、を備える。

【0026】

点群データ取得部３３２は、ＬＩＤＡＲ１００により出力された点群データを取得する。点群データ取得部３３２は、取得した点群データを対象物認識部３４０に出力する。画像データ取得部３３４は、カメラ２００により出力された画像データを取得する。画像データ取得部３３４は、取得した画像データを対象物認識部３４０に出力する。点群データ取得部３３２および画像データ取得部３３４は、ＬＩＤＡＲ１００から周期的に出力される点群データと、カメラ２００から周期的に出力される画像データとを逐次取得して、対象物認識部３４０に出力する。点群データ取得部３３２および画像データ取得部３３４は、取得した点群データや画像データを、メモリ（不図示）に記憶させてもよい。この場合、対象物認識部３４０は、メモリに記憶された点群データや画像データに基づいて、以下の機能を実行する。

【0027】

対象物認識部３４０は、少なくとも、点群データ取得部３３２により出力された点群データに対して物体認識機能を実行することにより、例えば、盛土などの施工を行う施工対象の対象物や、他の建設機械、資材など、施工環境内に存在する物体を認識する。対象物認識部３４０は、画像データ取得部３３４により出力された画像データを含めて物体認識機能を実行することにより、施工環境内の物体を認識してもよい。物体認識機能は、例えば、ディープラーニングやパターンマッチングなど、予め与えられたモデルを利用した物体認識の機能や、ＡＩ（Artificial Intelligence；人工知能）による物体認識の機能などである。物体認識機能を実行する際に用いるモデル（教師データ）は、例えば、過去に施工を行った際に取得した点群データや画像データに基づいて物体（施工を行う対象物、他の建設機械、資材など）の特徴を学習して生成されたものであってもよいし、PointNetなどのような点群認識において用いられるモデルであってもよい。

【0028】

対象物認識部３４０は、認識した物体のうち、少なくとも対象物の情報を点群データに紐付けた対象物情報を、処理部３６０が備える環境データ生成部３７０に出力する。対象物情報には、例えば、ＬＩＤＡＲ１００が計測した対象物のとの相対的な距離の情報に加えて、対象物認識部３４０が認識した対象物の属性や、大きさ、高さ、形状などの情報が含まれる。対象物の属性は、例えば、対象物が盛土であるか、盛土以外の土の変化、つまり、施工現場の地形の変化であるかなどを表す情報である。対象物情報には、対象物認識部３４０が認識した他の建設機械や資材などの物体との相対的な距離に加えて、例えば、ダンプトラックなど、他の建設機械の種類や、例えば、配管など、資材の種類を表す物体の属性を表す情報が含まれてもよい。対象物認識部３４０は、点群データ取得部３３２や画像データ取得部３３４から点群データや画像データが出力されるごとに、上述した物体認識機能を実行し、対象物情報を逐次更新して環境データ生成部３７０に出力する。

【0029】

ここで、対象物認識部３４０が認識した施工環境の一例について説明する。図３は、実施形態の環境データ生成装置３００が備える認識部３２０（より具体的には、対象物認識部３４０）が認識した施工環境の一例を示す図である。図３には、対象物認識部３４０が認識した施工環境に存在する盛土Ｅと、他の建設機械ＣＭとのそれぞれを、点群データＰＤ内に表している。対象物認識部３４０は、点群データに含まれるそれぞれの計測点に含まれる距離の情報に、その計測点が盛土であるか、他の建設機械であるかを表す情報を紐付ける。図３に示した一例において、盛土Ｅや建設機械ＣＭに対応する計測点以外の計測点に含まれる情報には、例えば、対象物認識部３４０が認識した盛土以外の土の変化であることを表す情報が紐付けられてもよいし、対象物認識部３４０が認識した物体や対象物に関する情報が紐付けられていない、つまり、距離の情報のみであってもよい。

【0030】

環境データ生成部３７０は、認識部３２０が備える対象物認識部３４０により出力された対象物情報に基づいて、施工環境の状態を表す環境データを生成する。環境データは、例えば、建設機械１が施工を行う対象の対象物との間の距離、つまり、対象物が存在する施工現場内の位置の情報と、施工現場内に存在する他の建設機械や資材などの施工を行う対象ではない物体の位置の情報とが含まれる、施工現場のマップ（地図）である。環境データは、対象物や物体の位置に加えて、これらの大きさ、高さ、形状などの情報が含まれる、施工現場のマップであってもよい。環境データは、対象物のみの情報が含まれた施工現場のマップであってもよい。環境データは、施工現場のマップに限定されず、建設機械１が自律的に施工の動作を行う場合の処理に利用するデータであれば、環境データに含まれる情報も含めて、いかなる環境データであってもよい。例えば、環境データは、施工現場の地形や、建設機械１による施工作業に伴う地形の変化を表す情報が含まれたものであってもよい。環境データ生成部３７０は、生成した環境データを制御値生成部３８０に出力する。環境データ生成部３７０は、対象物認識部３４０によって対象物情報が更新されるごとに環境データを逐次更新して制御値生成部３８０に出力する。

【0031】

制御値生成部３８０は、環境データ生成部３７０により出力された環境データに基づいて、建設機械１が自律的に施工の動作を行う場合の建設機械１の運転を制御する制御値を生成する。制御値は、例えば、施工現場内で建設機械１を走行（移動）させるための指示内容や、対象物の場所で建設機械１に施工作業を行わせるための指示内容を表す制御情報である。制御値生成部３８０は、生成した制御値を、運転制御装置２０に出力する。これにより、運転制御装置２０は、制御値生成部３８０から入力された制御値に従って、走行駆動力出力装置３０や施工駆動力出力装置３２を制御する。制御値は、走行駆動力出力装置３０や施工駆動力出力装置３２の動作を制御する制御情報であってもよい。制御値生成部３８０は、制御値を生成する際に、例えば、施工現場における施工を管理する管理者や管理装置により決定された施工計画を通信装置４００を介して取得し、取得した施工計画に従って建設機械１を自律的に動作させるための制御値を生成してもよい。施工計画は、施工作業が完了した状態を表す環境データと同様の情報であってもよい。この場合、制御値生成部３８０は、取得した施工計画が表す施工環境の状態と、環境データ生成部３７０により出力された環境データ、つまり、現時点の施工環境の状態とを照合し、施工計画と環境データとで異なる部分を、施工作業を行う施工対象とした制御値を生成してもよい。制御値生成部３８０は、制御値を生成する際に、位置測位装置５００から建設機械１の現在位置の情報を取得し、取得した建設機械１の現在位置を参照して、建設機械１を自律的に動作させるための制御値を生成してもよい。制御値生成部３８０は、環境データ生成部３７０によって環境データが更新されるごとに、例えば、フィードバック制御やフィードフォワード制御を行って、制御値を生成する。つまり、制御値生成部３８０は、ＬＩＤＡＲ１００から周期的に出力される点群データと、カメラ２００から周期的に出力される画像データとに基づいたフィードバック制御やフィードフォワード制御を行うことにより、施工現場での建設機械１による施工の進捗状況に応じた制御値を逐次生成して、運転制御装置２０に出力する。

【0032】

図１に戻り、通信装置４００は、例えば、セルラー網や、Ｗｉ－Ｆｉ網などを利用して、管理者が施工計画を決定するために使用する管理装置や、施工計画を管理するサーバ装置などとの間で通信を行う。通信装置４００は、建設機械１における自律的な動作に必要な施工計画を取得する。通信装置４００は、取得した施工計画の情報を、環境データ生成装置３００に出力する。通信装置４００は、環境データ生成装置３００（より具体的には、制御値生成部３８０）からの要求に応じて、施工計画を取得してもよい。通信装置４００は、例えば、建設機械１が自律的な動作を開始する前に、施工計画が記憶された記憶媒体が作業員などによって環境データ生成装置３００が備えるドライブ装置に装着されるなど、環境データ生成装置３００が通信装置４００を介さずに施工計画を取得することができる場合には、省略されてもよい。

【0033】

位置測位装置５００は、例えば、ＧＰＳ（Global Positioning System）衛星から受信した信号に基づいて、建設機械１の位置を測位する。位置測位装置５００は、測位した建設機械１の位置を表す情報を環境データ生成装置３００に出力する。これにより、環境データ生成装置３００（より具体的には、制御値生成部３８０）は、位置測位装置５００により出力された建設機械１の位置（現在位置）の情報を参照して、建設機械１を自律的に動作させるための制御値を生成することができる。位置測位装置５００は、環境データ生成装置３００（より具体的には、制御値生成部３８０）からの要求に応じて、建設機械１の位置を測位してもよい。位置測位装置５００は、例えば、制御値生成部３８０が制御値を生成する際に、ＬＩＤＡＲ１００により出力された点群データや、カメラ２００により出力された画像データに対してパターンマッチングなどによって建設機械１の現在位置を把握することができる場合には、省略されてもよい。

【0034】

［処理フロー］
図４は、実施形態の環境データ生成装置３００により実行される処理の流れの一例を示すフローチャートである。本フローチャートの処理は、建設機械１が自律的な動作を開始するときに開始される。以下の説明においては、環境データ生成装置３００が、施工作業が完了した状態を表す環境データと同様の情報である施工計画を取得し、取得した施工計画に従って、つまり、取得した施工計画の状態と同様の状態になるように、建設機械１に自律的に施工作業を行わせるものとする。以下の説明においては、建設機械１がすでに施工作業を行う対象物の位置（場所）に到着しているものとする。

【0035】

まず、建設機械１における自律的な動作を開始すると、環境データ生成装置３００は、決定された施工計画を、通信装置４００を介して取得する（ステップＳ１００）。

【0036】

環境データ生成装置３００は、施工環境の状態を計測させる（ステップＳ１０２）。より具体的には、環境データ生成装置３００は、ＬＩＤＡＲ１００に施工環境の計測を開始させ、カメラ２００に、施工環境の撮像を開始させる。これにより、ＬＩＤＡＲ１００は、施工環境内に存在する物体までの距離を計測し、カメラ２００は、施工環境を撮像する。

【0037】

点群データ取得部３３２は、ＬＩＤＡＲ１００により出力された点群データを取得する（ステップＳ１０４）。点群データ取得部３３２は、取得した点群データを対象物認識部３４０に出力する。

【0038】

画像データ取得部３３４は、カメラ２００により出力された画像データを取得する（ステップＳ１０６）。画像データ取得部３３４は、取得した画像データを対象物認識部３４０に出力する。

【0039】

対象物認識部３４０は、点群データ取得部３３２により出力された点群データと、画像データ取得部３３４により出力された画像データとに基づいて、今回施工を行う施工対象の対象物（例えば、盛土など）を認識する（ステップＳ１０８）。対象物認識部３４０は、認識した対象物の情報を点群データに紐付けた対象物情報を、環境データ生成部３７０に出力する。

【0040】

環境データ生成部３７０は、対象物認識部３４０により出力された対象物情報に基づいて、今回施工を行う施工環境の状態を表す環境データを生成する（ステップＳ１１０）。環境データ生成部３７０は、生成した環境データを制御値生成部３８０に出力する。

【0041】

制御値生成部３８０は、施工計画と環境データとを照合、つまり、施工計画が表す施工環境の状態と、環境データが表す現時点の施工環境の状態とを照合する（ステップＳ１１２）。そして、制御値生成部３８０は、施工計画と環境データとを照合した結果に基づいて制御値を生成する（ステップＳ１１４）。つまり、制御値生成部３８０は、施工計画と環境データとで異なる部分が同様の状態となるように施工作業を行うための制御値を生成する。制御値生成部３８０は、生成した制御値を、運転制御装置２０に出力する。これにより、運転制御装置２０は、制御値生成部３８０により出力された制御値に従って、走行駆動力出力装置３０や施工駆動力出力装置３２を制御することにより、建設機械１が自律的に動作する。

【0042】

環境データ生成装置３００は、運転制御装置２０による制御、つまり、建設機械１における今回出力した制御値に従った動作（施工作業）が完了したか否かを確認する（ステップＳ１１６）。ステップＳ１１６において、建設機械１における今回出力した制御値に従った動作が完了していないことが確認された場合、環境データ生成装置３００は、ステップＳ１１６の処理を繰り返す。このとき、環境データ生成装置３００は、ステップＳ１１４において生成した制御値を、運転制御装置２０に再度出力してもよい。

【0043】

一方、ステップＳ１１６において、建設機械１における今回出力した制御値に従った動作が完了したことが確認された場合、環境データ生成装置３００は、取得した施工計画に従った建設機械１の動作（施工作業）が完了したか否かを確認する（ステップＳ１１８）。ステップＳ１１８において、施工計画に従った建設機械１の動作が完了していないことが確認された場合、環境データ生成装置３００は、処理をステップＳ１０２に戻し、ステップＳ１０２～ステップＳ１１８までの処理を繰り返す。

【0044】

一方、ステップＳ１１８において、施工計画に従った建設機械１の動作が完了したことが確認された場合、環境データ生成装置３００は、取得した施工計画に対する今回の処理を終了する。

【0045】

このような構成および処理によって環境データ生成装置３００は、ＬＩＤＡＲ１００が計測した物体までの距離を表す施工環境の点群データと、カメラ２００が撮像した施工環境の画像データとに基づいて、施工環境内に存在する施工対象の対象物や、他の建設機械、資材などの物体を認識し、認識した対象物や物体との間の距離や、対象物や物体の属性、大きさ、高さ、形状などの情報が含まれる環境データを生成する。ここで環境データ生成装置３００が生成する環境データに含まれる対象物や物体の情報は、少なくとも、ＬＩＤＡＲ１００が計測した物体までの距離を表す施工環境の点群データに基づいて認識した対象物であるため、従来のカメラのみによって認識した対象物や物体よりも、より正確に（正しく）認識されている。さらに、環境データ生成装置３００は、生成した環境データに基づいて、環境データ生成装置３００が搭載された建設機械１が自律的に施工作業を行うための制御値を生成して、運転制御装置２０に出力する。これにより、建設機械１は、環境データ生成装置３００により出力された制御値に基づいて自律的に動作して施工作業を行うことができる。しかも、上述したように、環境データ生成装置３００が生成する環境データは、建設機械１が施工作業を行う施工環境がより正確に認識されているため、環境データ生成装置３００が生成して出力する制御値は、建設機械１が施工作業を行う施工対象の対象物のみならず、他の建設機械や資材などの物体との距離をより正確に（正しく）把握した上で生成されている。これにより、建設機械１が配置された施工現場では、より安全に、効率的に、施工を行うことができる。

【0046】

上記に述べたとおり、実施形態の環境データ生成装置３００によれば、少なくとも、ＬＩＤＡＲ１００が計測した物体までの距離を表す施工環境の点群データに基づいて、施工環境内に存在する施工対象の対象物を認識し、認識した対象物との間の距離の情報が含まれる環境データを生成する。つまり、実施形態の環境データ生成装置３００では、施工現場の環境をより正しく認識させることができる環境データを生成することができる。さらに、実施形態の環境データ生成装置３００によれば、生成した環境データに基づいて、環境データ生成装置３００が搭載された建設機械１が自律的に施工作業を行うための制御値を生成して、運転制御装置２０に出力する。これにより、実施形態の環境データ生成装置３００が搭載された実施形態の建設機械１は、環境データ生成装置３００により出力された制御値に基づいて、自律的に動作して行う施工作業をより正しく安全に行うことができる。

【0047】

上述した実施形態では、建設機械１が、施工現場において、盛った土（盛土）を均すブルドーザーである場合を想定したが、建設機械１がブルドーザー以外の建設機械であっても同様である。例えば、建設機械１が、ローラーによって土砂を押し固める施工作業を自律的行うホイールローダーである場合にも、環境データ生成装置３００は、目的の施工作業に合わせた環境データ（例えば、施工現場のマップ）を生成することができる。つまり、環境データ生成装置３００は、押し固める場所（土砂の位置）と、押し固めてはならない場所（施工現場にいる作業員（人）や石などの位置）とをより正確に（正しく）把握することができる環境データを生成することができる。これにより、建設機械１がホイールローダーである場合にも、環境データ生成装置３００は、建設機械１が自律的に動作して行う施工作業をより正しく安全に行うことができる制御値を生成することができる。この場合におけるそれぞれの構成要素の動作や制御方法は、上述した建設機械１がブルドーザーである場合と同様に考えることによって容易に理解することができる。従って、この場合におけるそれぞれの構成要素の動作や制御方法に関する詳細な説明は省略する。

【0048】

［ハードウェア構成］
図５は、実施形態の環境データ生成装置３００のハードウェア構成の一例を示す図である。図示するように、環境データ生成装置３００は、通信コントローラ３００－１、ＣＰＵ３００－２、ワーキングメモリとして使用されるＲＡＭ（Random Access Memory）３００－３、ブートプログラムなどを格納するＲＯＭ（Read Only Memory）３００－４、フラッシュメモリやＨＤＤ（Hard Disk Drive）などの記憶装置３００－５、ドライブ装置３００－６などが、内部バスあるいは専用通信線によって相互に接続された構成となっている。通信コントローラ３００－１は、環境データ生成装置３００以外の構成要素との通信を行う。記憶装置３００－５には、ＣＰＵ３００－２が実行するプログラム３００－５ａが格納されている。このプログラムは、ＤＭＡ（Direct Memory Access）コントローラ（不図示）などによってＲＡＭ３００－３に展開されて、ＣＰＵ３００－２によって実行される。これによって、認識部３２０および処理部３６０、より具体的には、取得部３３０（点群データ取得部３３２や、画像データ取得部３３４）、対象物認識部３４０、環境データ生成部３７０、制御値生成部３８０のうち一部または全部が実現される。

【0049】

上記説明した実施形態は、以下のように表現することができる。
プログラムを記憶した記憶装置と、
ハードウェアプロセッサと、を備え、
前記ハードウェアプロセッサが前記記憶装置に記憶されたプログラムを実行することにより、
少なくとも、施工環境の空間内の複数の計測点に対して所定の光を照射し、前記光が前記施工環境に存在する物体で反射された反射光を受光し、前記反射光に基づいて前記複数の計測点における前記物体との間の距離を表す点群データを出力する距離計測装置により出力された前記点群データに基づいて、前記施工環境に存在する前記物体を認識し、
前記認識した前記物体に基づいて、前記施工環境の状態を表す環境データを生成する、
ように構成されている、環境データ生成装置。

【0050】

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何ら限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形および置換を加えることができる。

【符号の説明】

【0051】

１・・・建設機械、１０・・・運転操作子、２０・・・運転制御装置、３０・・・走行駆動力出力装置、３２・・・施工駆動力出力装置、１００・・・ＬＩＤＡＲ、２００・・・カメラ、３００・・・環境データ生成装置、３２０・・・認識部、３３０・・・取得部、３３２・・・点群データ取得部、３３４・・・画像データ取得部、３４０・・・対象物認識部、３６０・・・処理部、３７０・・・環境データ生成部、３８０・・・制御値生成部、４００・・・通信装置、５００・・・位置測位装置

【図1】

【図2】

【図3】

【図4】

【図5】