特開 2024-89304 作業機械の監視システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024089304

(43)【公開日】2024-07-03

(54)【発明の名称】作業機械の監視システム

(51)【国際特許分類】

   E02F 9/26 20060101AFI20240626BHJP

   H04N 7/18 20060101ALI20240626BHJP

【ＦＩ】

E02F9/26 C

H04N7/18 D

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022204582

(22)【出願日】2022-12-21

(71)【出願人】

【識別番号】000246273

【氏名又は名称】コベルコ建機株式会社

(74)【代理人】

【識別番号】100115381

【弁理士】

【氏名又は名称】小谷 昌崇

(74)【代理人】

【識別番号】100178582

【弁理士】

【氏名又は名称】行武 孝

(72)【発明者】

【氏名】細 幸広

【テーマコード（参考）】

2D015

5C054

【Ｆターム（参考）】

2D015GA03

2D015GB00

2D015HA03

2D015HB00

5C054CA04

5C054CA06

5C054CE00

5C054FE28

5C054FF06

5C054HA18

5C054HA19

5C054HA31

(57)【要約】

【課題】作業現場における作業機械の周辺の画像を精度良く取得することが可能な作業機械の監視システムを提供する。
【解決手段】監視装置１００は、油圧ショベル１に装着されたショベルＬＩＤＡＲ５３と、作業現場Ｗに設置された現場ＬＩＤＡＲ４２と、監視装置制御ユニット６０とを有する。監視装置制御ユニット６０は、ショベルＬＩＤＡＲ５３の第１距離分布から第１点群画像を生成するとともに、現場ＬＩＤＡＲ４２の前記第２距離分布から第２点群画像を生成し、前記第１点群画像及び前記第２点群画像を同じ座標系で合成して３次元の合成画像を生成し、当該合成画像に対応する指令信号を出力する。
【選択図】図２

【特許請求の範囲】

【請求項1】

作業現場において移動可能な作業機械に装着され、前記作業機械の周辺の対象物までの３次元の第１距離分布を取得する第１距離分布取得部と、
前記作業現場に設置され、前記作業現場の対象物までの３次元の第２距離分布を取得する第２距離分布取得部と、
前記第１距離分布から第１点群画像を生成するとともに前記第２距離分布から第２点群画像を生成し、前記第１点群画像及び前記第２点群画像を同じ座標系で合成して３次元の合成画像を生成し、前記合成画像に対応する指令信号を出力する制御部と、
を備える、作業機械の監視システム。

【請求項2】

前記合成画像に対応する指令信号を受け入れ、前記合成画像を表示する画像表示部を更に備える、請求項１に記載の作業機械の監視システム。

【請求項3】

前記制御部は、前記作業機械の人工画像を生成し、前記作業現場における前記作業機械の位置に応じて前記第１点群画像及び前記第２点群画像に前記人工画像を更に重畳して前記合成画像を生成する、請求項２に記載の作業機械の監視システム。

【請求項4】

前記作業機械の姿勢に関する情報である姿勢情報を取得する姿勢情報取得部を更に備え、
前記制御部は、前記姿勢情報取得部によって取得される前記姿勢情報に応じて、前記合成画像上の前記人工画像の姿勢を調整する、請求項３に記載の作業機械の監視システム。

【請求項5】

入力される報知信号に応じて、警告情報を報知する報知部を更に備え、
前記制御部は、前記作業現場における前記作業機械の周辺に監視領域を設定し、前記第１点群画像及び前記第２点群画像のうちの少なくとも一方に基づいて前記監視領域に対する物体の侵入を検知することが可能であり、前記物体の侵入を検知した場合に当該侵入に対応する前記報知信号を前記報知部に入力する、請求項１または２に記載の作業機械の監視システム。

【請求項6】

前記制御部は、前記第１点群画像及び前記第２点群画像のうちの少なくとも一方に対してクラスタリング処理を行うことで前記物体を特定する、請求項５に記載の作業機械の監視システム。

【請求項7】

前記報知部は、前記作業現場に配置され、入力される前記報知信号に応じた報知表示または報知音によって前記警告情報を報知する、請求項５に記載の作業機械の監視システム。

【請求項8】

前記制御部は、前記作業現場における前記作業機械の周辺に監視領域を設定し、前記第１点群画像及び前記第２点群画像のうちの少なくとも一方に基づいて前記監視領域に対する物体の侵入を検知することが可能であり、前記物体の侵入を検知した場合、前記第１点群画像及び前記第２点群画像に前記侵入を報知するための警告情報を更に重畳して前記合成画像を生成する、請求項２に記載の作業機械の監視システム。

【請求項9】

前記作業現場に設置され、前記作業現場の画像を撮影可能な撮像部を更に備え、
前記制御部は、前記撮像部によって撮影された撮影画像に含まれる物体の特性を識別することが可能であり、前記撮影画像に含まれる前記物体に対応する点群画像である物体点群画像を前記第１点群画像及び前記第２点群画像のうちの少なくとも一方の中で特定し、前記特性に関する画像を前記物体点群画像に関連付けるように前記合成画像を生成する、請求項１または２に記載の作業機械の監視システム。

【請求項10】

前記作業機械の動きを遠隔操作又は管理するための遠隔装置に対して、前記合成画像を含む信号を送信する送信部を更に備える、請求項１または２に記載の作業機械の監視システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、作業機械の監視システムに関する。

【背景技術】

【0002】

従来から、作業現場において所定の作業を行う作業機械が知られている。作業機械は、機体と、当該機体に移動可能に支持された作業アタッチメントとを有する。特許文献１には、作業アタッチメントの先端部に取り付けられたライダーと、プロセッサと、ディスプレイとを備える作業機械が開示されている。ライダーは、作業機械の少なくとも一部までの距離と、作業機械の周辺の対象物までの距離とをそれぞれ測定する。また、プロセッサは、ライダーが測定した距離に基づいて、作業機械の位置データを取得する。また、プロセッサは、前記位置データに基づいて、作業機械の少なくとも一部と作業機械の周辺との位置を示す画像を形成する。ディスプレイは、プロセッサから受け取る信号に基づいて、前記画像を表示する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－１１７９１３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載された技術では、作業アタッチメントに装着されたライダーの死角の画像を得ることができないため、作業機械の周囲の充分な画像情報を得ることができないという問題がある。

【課題を解決するための手段】

【0005】

本発明の目的は、作業現場における作業機械の周辺の画像を精度良く取得することが可能な作業機械の監視システムを提供することにある。

【0006】

本発明によって提供されるのは、作業機械の監視システムである。当該監視システムは、第１距離分布取得部と、第２距離分布取得部と、制御部と、を備える。前記第１距離分布取得部は、作業現場において移動可能な作業機械に装着され、前記作業機械の周辺の対象物までの３次元の第１距離分布を取得する。第２距離分布取得部は、前記作業現場に設置され、前記作業現場の対象物までの３次元の第２距離分布を取得する。前記制御部は、前記第１距離分布から第１点群画像を生成するとともに前記第２距離分布から第２点群画像を生成し、前記第１点群画像及び前記第２点群画像を同じ座標系で合成して３次元の合成画像を生成し、前記合成画像に対応する指令信号を出力する。

【0007】

本構成によれば、作業機械に装着された第１距離分布取得部及び作業現場に設置された第２距離分布取得部の各々の距離分布から得られた点群画像を合成することで、各距離分布取得部の検出範囲外の画像を互いに補うことができるため、いずれか一方の距離分布取得部に基づいた画像を取得する場合と比較して、作業現場における作業機械の周辺の情報を精度良く取得することができる。このため、作業機械の作業精度、作業効率及び安全性を高めることが可能になる。

【0008】

上記の構成において、前記合成画像に対応する指令信号を受け入れ、前記合成画像を表示する画像表示部を更に備えるものでもよい。

【0009】

本構成によれば、第１距離分布取得部及び第２距離分布取得部のいずれか一方の距離分布取得部に基づいた画像を画像表示部に表示する場合と比較して、作業現場における作業機械の周辺の画像を精度良く表示することができる。このため、作業機械の作業精度、作業効率及び安全性を高めることが可能になる。

【0010】

例えば、画像表示部が作業機械内のキャブに配置される場合には、作業機械を操作する作業者に対して周辺の画像を精度良く提供することができる。また、画像表示部が作業機械から離れた場所に配置される場合には、作業機械を遠隔操作する作業者又は作業機械の自動運転を見守る管理者に対して、作業機械の周辺の画像を精度良く提供することができる。

【0011】

上記の構成において、前記制御部は、前記作業機械の人工画像を生成し、前記作業現場における前記作業機械の位置に応じて前記第１点群画像及び前記第２点群画像に前記人工画像を更に重畳して前記合成画像を生成するものでもよい。

【0012】

作業者や管理者は、画像表示部に表示される画像を確認するにあたって、作業機械を基準にしてその周辺の状況を確認する。上記の構成によれば、合成画像中に作業機械の人工画像を重畳することで、作業機械の位置を容易に確認することが可能になり、周辺の状況確認を効率的に行うことができる。

【0013】

上記の構成において、前記作業機械の姿勢に関する情報である姿勢情報を取得する姿勢情報取得部を更に備え、前記制御部は、前記姿勢情報取得部によって取得される前記姿勢情報に応じて、前記合成画像上の前記人工画像の姿勢を調整するものでもよい。

【0014】

本構成によれば、実際の作業機械の姿勢に応じて、人工画像の姿勢が変化するため、画面上で作業機械の各部位と周辺の物体との位置関係などを把握しやすく、作業機械の周辺の状況確認を更に効率的に行うことができる。

【0015】

上記の構成において、入力される報知信号に応じて、警告情報を報知する報知部を更に備え、前記制御部は、前記作業現場における前記作業機械の周辺に監視領域を設定し、前記第１点群画像及び前記第２点群画像のうちの少なくとも一方に基づいて前記監視領域に対する物体の侵入を検知することが可能であり、前記物体の侵入を検知した場合に当該侵入に対応する前記報知信号を前記報知部に入力するものでもよい。

【0016】

本構成によれば、第１点群画像及び第２点群画像のうちの少なくとも一方を利用して、物体が作業機械に近づくことを検知し、その危険性を報知することができる。

【0017】

上記の構成において、前記制御部は、前記第１点群画像及び前記第２点群画像のうちの少なくとも一方に対してクラスタリング処理を行うことで前記物体を特定するものでもよい。

【0018】

本構成によれば、点群画像に含まれる点群の一部をクラスタリング処理によって集合体とみなすことで、物体の侵入検知を効率的に行うことができる。

【0019】

上記の構成において、前記報知部は、前記作業現場に配置され、入力される前記報知信号に応じた報知表示または報知音によって前記警告情報を報知するものでもよい。

【0020】

本構成によれば、物体が作業機械に近づく危険性を、報知表示または報知音によって作業現場の作業者に速やかに報知することができる

【0021】

上記の構成において、前記制御部は、前記作業現場における前記作業機械の周辺に監視領域を設定し、前記第１点群画像及び前記第２点群画像のうちの少なくとも一方に基づいて前記監視領域に対する物体の侵入を検知することが可能であり、前記物体の侵入を検知した場合、前記第１点群画像及び前記第２点群画像に前記侵入を報知するための警告情報を更に重畳して前記合成画像を生成するものでもよい。

【0022】

本構成によれば、第１点群画像及び第２点群画像のうちの少なくとも一方を利用して、物体が作業機械に近づくことを検知し、その危険性を画像表示部に表示される画像上で速やかに報知することができる。

【0023】

上記の構成において、前記作業現場に設置され、前記作業現場の画像を撮影可能な撮像部を更に備え、前記制御部は、前記撮像部によって撮影された撮影画像に含まれる物体の特性を識別することが可能であり、前記撮影画像に含まれる前記物体に対応する点群画像である物体点群画像を前記第１点群画像及び前記第２点群画像のうちの少なくとも一方の中で特定し、前記特性に関する画像を前記物体点群画像に関連付けるように前記合成画像を生成するものでもよい。

【0024】

本構成によれば、作業現場に位置する物体の特性を識別するとともに、その特性を合成画像上で物体点群画像に関連付けることで、どのような物体が作業機械の周辺に位置するかを把握することができる。

【0025】

上記の構成において、前記作業機械の動きを遠隔操作又は管理するための遠隔装置に対して、前記合成画像を含む信号を送信する送信部を更に備えるものでもよい。

【0026】

本構成によれば、遠隔装置を操作する者が作業現場の様子を精度良く確認することができるため、作業機械の動きを遠隔操作する作業又は管理する作業を安全に行うことが可能になる。

【発明の効果】

【0027】

本発明によれば、作業現場における作業機械の周辺の画像を精度良く取得することが可能な作業機械の監視システムが提供される。

【図面の簡単な説明】

【0028】

【図1】本発明の一実施形態に係る作業機械の側面図である。

【図2】本発明の一実施形態に係る作業機械の作業現場の斜視図である。

【図3】本発明の一実施形態に係る作業機械のブロック図である。

【図4】本発明の一実施形態に係る作業機械の監視システムのブロック図である。

【図5】本発明の一実施形態に係る監視システムのＬＩＤＡＲの点群画像の一例である。

【図6】本発明の一実施形態に係る監視システムが実行する処理のフローチャートの一部である。

【図7】本発明の一実施形態に係る監視システムが実行する処理のフローチャートの一部である。

【図8】本発明の一実施形態に係る監視システムの合成画像の模式図である。

【図9】本発明の一実施形態に係る監視システムの合成画像の模式図である。

【図10】本発明の一実施形態に係る監視システムの合成画像の模式図である。

【図11】本発明の一実施形態に係る監視システムの合成画像の模式図である。

【発明を実施するための形態】

【0029】

以下、本発明に係る監視装置１００（監視システム）の好ましい実施形態について図面を参照しながら説明する。

【0030】

図１は、本発明の一実施形態に係る油圧ショベル１（作業機械）の側面図である。

【0031】

油圧ショベル１は、下部走行体１０（下部本体）および下部走行体１０に旋回可能に支持される上部旋回体１２（上部本体）と、上部旋回体１２に搭載される作業アタッチメント２０とを備える。下部走行体１０および上部旋回体１２は、油圧ショベル１の機体を構成する。

【0032】

下部走行体１０は、地面Ｇ上を走行可能である。下部走行体１０は、クローラ式の走行部を含む。

【0033】

上部旋回体１２は、前記下部走行体１０に支持される旋回フレーム１２１と、当該旋回フレーム１２１上に搭載されるキャブ１３とを有する。キャブ１３は、作業者が搭乗することを許容する運転室であり、キャブ１３には油圧ショベル１を操作するための各種の装置が配置されている。

【0034】

作業アタッチメント２０は、上部旋回体１２に対して相対移動可能なように上部旋回体１２に装着され、地面Ｇに対する所定の作業を行う。作業アタッチメント２０は、旋回フレーム１２１の前端部に水平な回転中心軸回りに起伏方向に回動可能に連結されるブーム２１と、当該ブーム２１の先端部に水平な回転中心軸回りに回動可能に連結されるアーム２２と、当該アーム２２の先端部に水平な回転中心軸回りに回動可能に連結されるバケット２３とを含む。本実施形態では、ブーム２１、アーム２２およびバケット２３の回転中心軸は互いに平行に設定されている。ブーム２１およびアーム２２は、油圧ショベル１の起伏体を構成し、バケット２３は、油圧ショベル１の作業部材を構成する。また。作業アタッチメント２０は、ブーム２１を起伏させるように伸縮するブームシリンダ２１Ｓと、アーム２２を回動させるように伸縮するアームシリンダ２２Ｓと、バケット２３を回動させるように伸縮するバケットシリンダ２３Ｓとを更に有する。これらのシリンダは油圧シリンダから構成される。

【0035】

キャブ１３は、旋回フレーム１２１の前部であって当該旋回フレーム１２１の幅方向について前記ブーム２１と隣接する部位（図１に示される例ではブーム２１の左側）に搭載され、油圧ショベル１の操縦を行うための運転室を構成する。すなわち、当該キャブ１３内において、作業者は、下部走行体１０の走行、上部旋回体１２の旋回、及び作業アタッチメント２０の作動のための操作を行う。

【0036】

図２は、本発明の一実施形態に係る油圧ショベル１の作業現場Ｗの斜視図である。油圧ショベル１は、図２に例示される作業現場Ｗにおいて移動可能である。なお、図２には現れていないが、作業現場Ｗには複数の油圧ショベル１が配置されてもよい。作業現場Ｗには、管理室Ｘと、現場カメラ４１（撮像部）と、現場ＬＩＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ，Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）４２（第２距離分布取得部）とが配置されている。現場カメラ４１および現場ＬＩＤＡＲ４２は、監視装置１００の一部に相当する。

【0037】

管理室Ｘは、作業現場Ｗに隣接して配置され、内部には油圧ショベル１の作業を管理するための管理装置などが配置されている。本実施形態では、監視装置１００の一部が管理室Ｘに配置されている。

【0038】

現場カメラ４１は、作業現場Ｗの所定の位置に設置され、作業現場Ｗの画像を撮影することができる。現場カメラ４１によって撮影された撮影画像は、監視装置１００に送信される。

【0039】

現場ＬＩＤＡＲ４２は、現場カメラ４１に隣接するように作業現場Ｗに設置され、作業現場Ｗの対象物までの３次元の距離分布（第２距離分布）を取得する。具体的に、現場ＬＩＤＡＲ４２は、パルス状に発光するレーザー照射に対する散乱光を測定し、遠距離にある対象までの距離やその対象の性質を分析する。現場ＬＩＤＡＲ４２について換言すれば、現場ＬＩＤＡＲ４２は、所定の基準点（第２基準点）を有する。本実施形態では、当該基準点は、現場ＬＩＤＡＲ４２内に配置されている。そして、現場ＬＩＤＡＲ４２が測定する距離分布は、現場ＬＩＤＡＲ４２の視野角内に位置する複数の測定点の前記基準点に対する距離の分布に相当する。なお、図２に示すように、一例として、現場カメラ４１および現場ＬＩＤＡＲ４２は、作業現場Ｗに立設された柱にそれぞれ固定されている。現場カメラ４１の基準点と現場ＬＩＤＡＲ４２の基準点との相対的な位置関係は既知である。このため、監視装置１００では、現場カメラ４１の撮影画像中の特定の位置と、現場ＬＩＤＡＲ４２の距離分布における特定の位置との相対的な位置関係を把握することができる。なお、他の実施形態において、現場ＬＩＤＡＲ４２の代わりに、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）センサやステレオカメラなどが用いられても良い。

【0040】

図３は、本実施形態に係る油圧ショベル１のブロック図である。油圧ショベル１は、更に、ショベル制御ユニット５０と、操作部５１と、入力部５２と、ショベルＬＩＤＡＲ５３（第１距離分布取得部）と、角度情報検出部５４（姿勢情報取得部）と、機体位置検出部５５と、駆動部５６と、キャブ表示部５７と、ショベル通信部５８とを備える。

【0041】

操作部５１は、キャブ１３内に配置され、作業者によって操作される。すなわち、操作部５１は、油圧ショベル１を操作するための操作を受け付ける。当該操作には、下部走行体１０の走行、上部旋回体１２の旋回、作業アタッチメント２０（ブーム２１、アーム２２、バケット２３）の駆動などが含まれる。

【0042】

入力部５２は、キャブ１３内に配置され、各種の情報の入力を受け付ける。一例として、入力部５２は、各種の入力ボタン、スイッチやキャブ表示部５７に含まれるタッチパネルなどを有する。

【0043】

ショベルＬＩＤＡＲ５３は、キャブ１３の上面部の前端に配置されている（図１）。一例として、ショベルＬＩＤＡＲ５３は、前述の現場ＬＩＤＡＲ４２と同様の構造及び機能を有する。具体的に、ショベルＬＩＤＡＲ５３は、油圧ショベル１の周辺の対象物までの３次元の距離分布（第１距離分布）を取得する。ショベルＬＩＤＡＲ５３について換言すれば、ショベルＬＩＤＡＲ５３も、所定の基準点（第１基準点）を有する。本実施形態では、当該基準点は、ショベルＬＩＤＡＲ５３内に配置されている。そして、ショベルＬＩＤＡＲ５３が測定する距離分布は、ショベルＬＩＤＡＲ５３の視野角内に位置する複数の測定点の前記基準点に対する距離の分布に相当する。ショベルＬＩＤＡＲ５３の視野角は、前記基準点を頂点として、上部旋回体１２の前方に向かって拡がる円錐状に形成されている。なお、他の実施形態において、ショベルＬＩＤＡＲ５３の代わりに、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）センサやステレオカメラなどが用いられても良い。

【0044】

角度情報検出部５４は、油圧ショベル１の姿勢に関する情報である姿勢情報を取得する。角度情報検出部５４は、機体角度計、旋回角度計、ブーム角度計、アーム角度計及びバケット角度計を含む。前記機体角度計は、水平面に対する下部走行体１０の傾き、姿勢を検出する。前記旋回角度計は、下部走行体１０に対する上部旋回体１２の旋回角度を検出する。前記ブーム角度計は、上部旋回体１２に対するブーム２１の回動角度（起伏角）を検出する。前記アーム角度計は、ブーム２１に対するアーム２２の回動角度を検出する。前記バケット角度計は、アーム２２に対するバケット２３の回動角度を検出する。各角度計の検出結果に基づいて、後記のショベル制御ユニット５０のショベル情報取得部５０２が、作業現場Ｗにおける油圧ショベル１の総合的な姿勢情報を取得する。

【0045】

機体位置検出部５５は、作業現場における油圧ショベル１の位置情報を取得する。一例として、機体位置検出部５５は、予め上部旋回体１２に設けられた本体基準点の作業現場Ｗにおける絶対座標に関する情報である本体座標情報を取得する。本体基準点を構成する機体位置検出部５５は、図１に示すようにキャブ１３の上面部に配置されており、ＧＮＳＳ移動局として機能する。一方、上記の本体座標情報を取得するために、監視装置１００は、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ／全球測位衛星システム）基準局を有する（不図示）。ＧＮＳＳ基準局は、作業現場Ｗに配置された、または、作業現場に最も近い位置に配置された基準局である。なお、ＧＮＳＳとして、公知のＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）に加え、ＧＬＯＮＡＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）、Ｇａｌｉｌｅｏ、準天頂衛星（ＱＺＳＳ：Ｑｕａｓｉ－Ｚｅｎｉｔｈ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）等の衛星測位システムが採用されてもよい。

【0046】

駆動部５６は、油圧ショベル１の各種構造体を駆動するものであり、操作部５１によって操作される下部走行体１０、上部旋回体１２、作業アタッチメント２０などを駆動する。駆動部５６は、油圧ポンプ、油圧モータなどの油圧回路を含む。前記油圧ポンプから吐出された作動油は、不図示のコントロールバルブを介して、前述のブームシリンダ２１Ｓ、アームシリンダ２２Ｓおよびバケットシリンダ２３Ｓに供給される。この結果、ブーム２１、アーム２２及びバケット２３が回動する。また、前記作動油が前記油圧モータに供給されることで、上部旋回体１２が下部走行体１０に対して旋回する。

【0047】

キャブ表示部５７は、キャブ１３内に配置され、各種の情報を表示することで、作業者に当該情報を報知する。当該情報には、監視装置１００によって取得された作業現場Ｗ、油圧ショベル１の画像情報などが含まれる。

【0048】

ショベル通信部５８は、ショベル情報取得部５０２によって取得された油圧ショベル１の姿勢情報や、ティーチング情報受付部５０３によって取得された油圧ショベル１のティーチング情報などを監視装置１００に送信する。また、ショベル通信部５８は、監視装置１００から送られる作業現場Ｗの合成画像などを受信する。

【0049】

ショベル制御ユニット５０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、制御プログラムを記憶するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＣＰＵの作業領域として使用されるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等から構成されている。ショベル制御ユニット５０には、図３に示すように、操作部５１、入力部５２、ショベルＬＩＤＡＲ５３、角度情報検出部５４、機体位置検出部５５、駆動部５６、キャブ表示部５７及びショベル通信部５８が接続されている。これらの接続態様は、無線、有線を問わない。

【0050】

ショベル制御ユニット５０は、前記ＣＰＵがＲＯＭに記憶された制御プログラムを実行することにより、駆動制御部５０１、ショベル情報取得部５０２、ティーチング情報受付部５０３、記憶部５０４の各機能部を備えるように機能する。これらの機能部は、実体を有するものではなく、前記制御プログラムによって実行される機能の単位に相当する。なお、ショベル制御ユニット５０のすべてまたは一部は、油圧ショベル１内に設けられるものに限定されず、油圧ショベル１がリモート制御される場合には、油圧ショベル１とは異なる位置に配置されても良い。また、前記制御プログラムは遠隔地のサーバ（管理装置）やクラウドなどから油圧ショベル１内のショベル制御ユニット５０に送信され実行されるものでもよいし、前記サーバやクラウド上で前記制御プログラムが実行され、生成された各種の指令信号が油圧ショベル１に送信されるものでもよい。

【0051】

駆動制御部５０１は、操作部５１が受ける操作の内容に応じて、駆動部５６に駆動指令信号を入力する。この結果、下部走行体１０、上部旋回体１２および作業アタッチメント２０などの動きが制御される。

【0052】

ショベル情報取得部５０２は、ショベルＬＩＤＡＲ５３から油圧ショベル１の周辺の距離分布の情報を取得する。

【0053】

ティーチング情報受付部５０３は、作業者（オペレータ）が操作部５１を操作することで与えられるティーチング情報を取得する。前記オペレータは、遠隔で動作をティーチングしてもよい。前記ティーチングは、ダイレクトティーチングとも呼ばれ、オペレータが操作部５１などの操作装置を操作することで動作を教え込ませるティーチング方法であり、直接教示法ともいう。ティーチング情報受付部５０３が受け付けたティーチング情報は、記憶部５０４に記憶される。そして、駆動制御部５０１は、記憶部５０４に格納されたティーチング情報に基づいて、駆動部５６に指令信号を入力することで、油圧ショベル１の自動運転を実行することができる。

【0054】

記憶部５０４は、ショベル情報取得部５０２によって取得された油圧ショベル１の姿勢情報やティーチング情報受付部５０３によって取得されたティーチング情報など記憶する。

【0055】

上記の構成のうち、ショベル制御ユニット５０、ショベルＬＩＤＡＲ５３、角度情報検出部５４、キャブ表示部５７、ショベル通信部５８は、監視装置１００の一部を構成することができる。また、ショベル制御ユニット５０は、本発明の制御部の少なくとも一部を構成する。

【0056】

図４は、本実施形態に係る油圧ショベル１の監視装置１００のブロック図である。監視装置１００は、前述の現場カメラ４１及び現場ＬＩＤＡＲ４２に加え、監視装置制御ユニット６０と、報知部６１と、管理用表示部６２（画像表示部）と、タブレット７０（端末装置、携帯端末ともいう）とを有する。

【0057】

監視装置制御ユニット６０は、作業現場Ｗの管理室Ｘや遠隔地の管理センターなどに配置される。監視装置制御ユニット６０は、ショベル制御ユニット５０と同様に、ＣＰＵ、制御プログラムを記憶するＲＯＭ、ＣＰＵの作業領域として使用されるＲＡＭ等から構成されている。監視装置制御ユニット６０には、図４に示すように、現場カメラ４１、現場ＬＩＤＡＲ４２、報知部６１、管理用表示部６２が接続されている。これらの接続態様は、無線、有線を問わない。

【0058】

監視装置制御ユニット６０は、前記ＣＰＵがＲＯＭに記憶された制御プログラムを実行することにより、領域情報生成部６０１、侵入物判定部６０２、画像取得部６０３、物体特定部６０４、点群生成部６０５、クラスタリング処理部６０６、ショベル位置特定部６０７、ＣＧデータ生成部６０８、軌跡生成部６０９、画像処理部６１０、通信部６１１、記憶部６１２の各機能部を備えるように機能する。これらの機能部は、実体を有するものではなく、前記制御プログラムによって実行される機能の単位に相当する。すなわち、各機能部が実行する機能は、実質的に監視装置制御ユニット６０（制御部）が実行するということができる。

【0059】

なお、監視装置制御ユニット６０のすべてまたは一部は、管理室Ｘや管理センター内に設けられるものに限定されず、油圧ショベル１に配置されても良い。また、前記制御プログラムは遠隔地のサーバ（管理装置）やクラウドなどから監視装置制御ユニット６０に送信され実行されるものでもよいし、前記サーバやクラウド上で前記制御プログラムが実行され、生成された各種の指令信号が監視装置制御ユニット６０に送信されるものでもよい。

【0060】

領域情報生成部６０１は、作業現場Ｗにおける油圧ショベル１の周辺に設定エリアＳ（図２）を設定する。設定エリアＳは、作業エリアＳ１および監視エリアＳ２（監視領域）を含む。なお、図２では、作業エリアＳ１および監視エリアＳ２は地面に平面状に図示されているが、各エリアは高さを有する３次元の領域である。前記高さは有限でも良いし、無限でもよい。作業エリアＳ１は、油圧ショベル１の作動に伴って、油圧ショベル１が占有する領域に相当する。例えば、下部走行体１０が地面Ｇを走行すると、これに伴って作業エリアＳ１が変化する。また、作業アタッチメント２０が上部旋回体１２に対して相対移動すると、これに伴って作業エリアＳ１が変化する。監視エリアＳ２は、作業エリアＳ１の周囲に設定される。監視エリアＳ２は、作業エリアＳ１が変化すると、これに伴って変化する。一例として、監視エリアＳ２は、作業エリアＳ１の周囲に２メートルの均等な幅を有するように設定される。

【0061】

侵入物判定部６０２は、作業エリアＳ１および監視エリアＳ２に作業者などの物体が侵入したか否かを判定する。本実施形態では、侵入物判定部６０２は、現場ＬＩＤＡＲ４２及びショベルＬＩＤＡＲ５３の各ＬＩＤＡＲが取得した距離分布から生成された後記の点群画像に基づいて、設定エリアＳに対する物体の侵入を検知する。

【0062】

画像取得部６０３は、現場カメラ４１から撮影画像を取得する。この際、画像取得部６０３が現場カメラ４１の撮影画像にフィルタリング前処理を行うことで、後に実行される物体特定部６０４による人、油圧ショベル１やダンプカーなどの物体検知作業、認識作業を精度良く行うことができる。

【0063】

物体特定部６０４は、画像取得部６０３が取得した撮影画像から所定の物体を特定する。本実施形態では、ディープラーニングなどのＡＩ物体検知技術を用いて、物体が特定される。一例として、作業現場Ｗ内の誘導員、作業者、ダンプカーなどが特定される。

【0064】

点群生成部６０５は、ショベルＬＩＤＡＲ５３が取得する距離分布（第１距離分布）から第１点群画像を生成するとともに、現場ＬＩＤＡＲ４２が取得する距離分布（第２距離分布）から第２点群画像を生成する。各ＬＩＤＡＲが取得する距離分布は、前述のように所定の基準点に対する各測定点までの距離の分布に相当する。このため、点群生成部６０５は、物体と交差した（光が反射した）測定点の分布（集合）から、３次元の点群画像を生成する。この点群画像は、所定の３次元座標上の測定点の集合として生成される。なお、点群生成部６０５は、各ＬＩＤＡＲの距離分布から点群画像を抽出するにあたって、点群ノイズを取り除くフィルタリング処理を行ってもよい。また、点群生成部６０５は、第１点群画像及び第２点群画像を合成する際、後記のショベル位置特定部６０７が特定した油圧ショベル１の位置を基準として、第１点群画像を座標変換して、第２点群画像に合成してもよい。また、点群生成部６０５は、前述の機体位置検出部５５（図３）の検出結果に基づいて油圧ショベル１の基準位置を特定した上で、上記の座標変換を行っても良い。

【0065】

クラスタリング処理部６０６は、点群生成部６０５によって生成された第１点群画像及び第２点群画像の各画像に含まれる点群について、その類似性に基づいてクラスタリング処理を実行する。当該クラスタリング処理を通じて、各点群画像に複数のクラスタリングが生成される。一例として、油圧ショベル１、作業現場Ｗにおける物体、作業者などを表すクラスタリングがそれぞれ生成される。特に、本実施形態では、第１点群画像及び第２点群画像を合成した合成点群データ（合成点群画像）に対してクラスタリング処理を実行する。このため、一方の点群画像ではクラスタリング精度が低下しやすい領域であっても、互いの点群画像を補うことで、精度良くクラスタリング処理を実行することができる。

【0066】

更に、クラスタリング処理部６０６は、物体特定部６０４が現場カメラ４１の撮影画像に基づいて特定、識別した物体と、上記で生成したクラスタリング（点の集合体）とをマッチングさせる。この結果、データ上での各クラスタリングの識別が可能となる。

【0067】

なお、前述の侵入物判定部６０２は、上記で識別が可能となった各クラスタリングのトラッキングを実行する。換言すれば、侵入物判定部６０２は、時間の経過とともに画像データ上で移動するクラスタリングを点群データの差分から特定し、当該移動するクラスタリングの設定エリアＳ（作業エリアＳ１、監視エリアＳ２）への侵入を検知する。

【0068】

ショベル位置特定部６０７は、現場カメラ４１によって撮影され、画像取得部６０３が取得した撮影画像に基づいて、油圧ショベル１の現在位置を特定する。なお、油圧ショベル１に不図示のマーカーが配置され、前記撮影画像中の前記マーカーの位置に基づいて、油圧ショベル１の現在位置が特定されてもよい。

【0069】

ＣＧデータ生成部６０８は、予め記憶部６１２に格納されている画像データに基づいて、油圧ショベル１の人工画像を生成する。当該人工画像は、油圧ショベル１を立体的に表現する画像であり、油圧ショベル１を簡易に表現するものである。なお、この人口画像においても、油圧ショベル１の下部走行体１０、上部旋回体１２、ブーム２１、アーム２２、バケット２３の各部材は独立しており、互いの相対位置を調整して表現することができる。

【0070】

軌跡生成部６０９は、図３のショベル制御ユニット５０のティーチング情報受付部５０３が取得し記憶部５０４に格納されたティーチング情報を、ショベル通信部５８及び通信部６１１を介して受け取る。そして、軌跡生成部６０９は、点群生成部６０５が生成する点群画像上において、前記ティーチング情報に含まれる油圧ショベル１の特定部位の軌跡を表す画像を生成する。一例として、バケット２３の先端部（爪部）が前記ティーチング情報において空間上を移動する軌跡が、前記特定部位の軌跡に相当する（図１１）。

【0071】

画像処理部６１０は、点群生成部６０５、クラスタリング処理部６０６、ショベル位置特定部６０７、ＣＧデータ生成部６０８及び軌跡生成部６０９によって生成された各画像情報を合成して合成画像を生成する。特に、画像処理部６１０は、前記第１点群画像と前記第２点群画像とを同じ座標系で合成して３次元の合成画像を生成する。なお、前述のように作業現場Ｗにおける現場ＬＩＤＡＲ４２の位置は既知であり、その情報は記憶部６１２に格納されている。また、現場カメラ４１の撮影画像又は機体位置検出部５５が取得する情報に基づいて、作業現場Ｗにおける油圧ショベル１の現在位置が既知であるため、第１点群画像及び第２点群画像の互いの位置合わせ（合成）が可能になる。

【0072】

通信部６１１は、図４に示すように、タブレット７０との間で通信を行う。また、通信部６１１は、図３に示すように、油圧ショベル１のショベル通信部５８との間で通信を行うことが可能である。本実施形態では、通信部６１１は、双方向の無線通信を行うためのアンテナを含む。

【0073】

記憶部６１２は、監視装置制御ユニット６０の各機能部が実行する処理において参照される、各種のパラメータ、画像データ、基準データなどを予め記憶する。

【0074】

報知部６１は、入力される報知信号に応じて、警告情報を報知する。本実施形態では、報知部６１は、作業現場Ｗの一角に配置され、入力される前記報知信号に応じた報知表示または報知音によって前記警告情報を報知する。報知表示は、例えば、点灯ランプの点灯表示である。また、報知音は、例えば、ブザーやスピーカから発せられる。

【0075】

管理用表示部６２は、作業現場Ｗの管理室Ｘ内に配置されるディスプレイである。管理用表示部６２は、遠隔地の管理センターなどに配置されてもよい。管理用表示部６２は、画像処理部６１０が生成する合成画像に対応する指令信号を受け入れ、前記合成画像を表示する。

【0076】

タブレット７０は、作業現場Ｗの例えば油圧ショベル１から離れた位置において油圧ショベル１を見守る作業者が手にする入力表示装置である。本実施形態では、タブレット７０は、タッチパネル式のディスプレイを含む。油圧ショベル１が自動運転で作動する場合、前記作業者はタブレット７０を通じて、自動運転の内容、開始及び終了をそれぞれ指示することができる。この際、タブレット７０に合成画像が表示されることで、前記作業者が油圧ショベル１の周囲の状況を精度良く把握することができる。図４に示すように、タブレット７０は、前述の油圧ショベル１のショベル通信部５８とも互いに通信を行うことができる。なお、タブレット７０は監視装置１００に必須の構成ではない。

【0077】

図５は、本実施形態に係る監視装置１００の現場カメラ４１の点群画像ＬＩの一例である。現場カメラ４１が取得した距離分布に基づいて、点群生成部６０５が図５に示すような点群画像ＬＩを生成する。図５では、２つの油圧ショベル１がそれぞれ表示されている。なお、前述のように、点群画像は所定の３次元座標上の測定点の集合として生成されるため、図５に示される点群画像ＬＩを含む合成画像がタブレット７０に表示された状態で、例えばその画面上で作業者が指をスワイプすることで、点群画像ＬＩを含む合成画像を３次元的に回転させることができる（視点を変えることができる：自由視点）。点群画像ＬＩが管理用表示部６２に表示される場合についても、同様である。いずれの場合も、合成された各点群画像は作業現場Ｗの全体を示し、その中で画像認識情報が付与された点群クラスタリングは移動物体や侵入物を示す。また、油圧ショベル１については、３次元の人工画像（グラフィックデータ）を、油圧ショベル１から取得する姿勢情報に基づいてリアルタイムで動かすことができる。

【0078】

図６及び図７は、本実施形態に係る監視装置１００が実行する処理のフローチャートの一部であり、図６及び図７をあわせて一つのフローが説明される。図６および図７は、各図の１～４の番号において互いに接続されている。

【0079】

図６を参照して、作業現場Ｗにおいて、油圧ショベル１及び監視装置１００の動作がそれぞれ開始されると、まず、ショベル制御ユニット５０のショベル情報取得部５０２が、ショベルＬＩＤＡＲ５３の距離分布（点群画像）を取得する（ステップＳ０１）とともに、取得した点群画像からノイズを除去して３次元の点群画像を生成する（ステップＳ０２）。次に、ショベル通信部５８を通じて、監視装置１００に点群データ（点群画像）が送信される（ステップＳ０３）。また、ショベル情報取得部５０２が角度情報検出部５４から取得した油圧ショベル１の機械角度情報と、ティーチング情報受付部５０３が操作部５１に入力される操作に基づいて取得したティーチング情報とが、ショベル通信部５８を通じて監視装置１００に送信される（ステップＳ０４）。なお、ティーチング情報は予め記憶部５０４に記憶されているものでもよい。ステップＳ０３で送信された点群データは、後のステップＳ１３において受信される。また、ステップＳ０４で送信された機械角度情報及びティーチング情報は、後のステップＳ４２において使用される。

【0080】

一方、監視装置１００では、点群生成部６０５が現場ＬＩＤＡＲ４２の距離分布（点群画像）を取得する（ステップＳ１１）とともに、取得した点群画像から３次元の点群画像（第２点群画像）を生成する。更に、生成された点群画像に基づいて、ショベル位置特定部６０７が、油圧ショベル１の現在位置を特定する。この結果、油圧ショベル１の基準位置（ショベル基準位置）が求められる（ステップＳ１２）。次に、監視装置１００は油圧ショベル１からショベルＬＩＤＡＲ５３に基づく点群データを受信する（ステップＳ１３）。更に、点群生成部６０５が、油圧ショベル１から受信した点群データを座標変換する（ステップＳ１４）。座標変換された点群データ及び上記のショベル基準位置に関する情報は、後のステップＳ３２において使用される。

【0081】

図６から図７に移動して、次に、点群生成部６０５は、監視装置１００側の点群データと油圧ショベル１側の点群データとを合成する（ステップＳ１５）。次に、クラスタリング処理部６０６が、合成された点群データに対してクラスタリング処理を実行する（ステップＳ１６）。更に、クラスタリング処理部６０６は、後記で詳述するＡＩ画像認識処理結果（ステップＳ２２）に基づいて、各クラスタリングを識別する（ＩＤを付与する。ステップＳ１７）。その後、クラスタリング処理部６０６は、識別された各クラスタリングの表示画像を生成する（ステップＳ１８）。この結果、各クラスタリングについて点群が一つの塊として扱われる。一方、点群生成部６０５は、ステップＳ１５において合成された点群データの表示画像を生成する（ステップＳ１９）。

【0082】

図６に戻って、ステップＳ１１と並行して、画像取得部６０３が現場カメラ４１のカメラ画像（撮影画像）を取得する（ステップＳ２１）。次に、物体特定部６０４がカメラ画像に対してＡＩ画像認識処理を実行する（ステップＳ２２）。当該画像認識処理は、前述のディープラーニングなどによる処理である。当該処理によって識別、特定された物体の情報は、前述のステップＳ１７において、クラスタリングの識別処理に使用される。

【0083】

更に、ステップＳ１１と並行して、領域情報生成部６０１が設定エリアＳの設定を開始する（ステップＳ３１）。領域情報生成部６０１は、ステップＳ１２において求められた油圧ショベル１の基準位置と、ステップＳ１４において座標変換された点群データとをそれぞれ入手する（ステップＳ３２）。その後、図７に示すように、作業現場Ｗの点群データ上に油圧ショベル１を基準として作業エリアＳ１および監視エリアＳ２をそれぞれ設定する（ステップＳ３３）。なお、記憶部６１２には、油圧ショベル１の位置（基準位置）を基準とする、各エリアの設定情報を予め記憶している。当該設定情報は、各エリアの座標、寸法、形状などの情報を含む。

【0084】

次に、侵入物判定部６０２が、上記で設定された設定エリアＳに対する侵入物の有無を判定する（ステップＳ３４）。この際、ステップＳ１７で識別されたクラスタリング情報が参照される。ここで、侵入物が存在する場合には、警告表示を生成する（ステップＳ３５）。更に、領域情報生成部６０１及び侵入物判定部６０２が、作業エリアＳ１、監視エリアＳ２、警告表示の各表示画像を生成する（ステップＳ３６）。

【0085】

ステップＳ１１と並行して、ＣＧデータ生成部６０８が３次元のＣＧ画像（人工画像）を生成する（ステップＳ４１）。具体的に、ＣＧデータ生成部６０８は、ステップＳ１２で求められた油圧ショベル１の基準位置に関する情報を受け取る一方、ステップＳ０４で送信された油圧ショベル１の機械角度情報、ティーチング情報を受け取るとともに、予め記憶部６１２に記憶されている３ＤＣＧの原画像を入手し、現在の油圧ショベル１の位置、姿勢にあうようにＣＧデータの座標変換を実行する（ステップＳ４２）。この結果、図７に示すように、ＣＧデータ生成部６０８は、座標変換後の３ＤＣＧ画像の表示画像を生成する（ステップＳ４３）。この油圧ショベル１の３ＤＣＧ画像は、リアルタイムの油圧ショベル１の姿勢を再現することができる。なお、ＣＧデータ生成部６０８によるＣＧ画像の生成は、油圧ショベル１に限定されるものではなく、作業現場Ｗに位置するダンプカーなどその他の物体についても生成されてもよい。一方、ティーチングに対応する表示画像は、例えばバケット２３の先端がティーチングに基づいて辿るべき軌跡に関する画像であり、ステップＳ４３において、図４の軌跡生成部６０９によって生成される。

【0086】

次に、画像処理部６１０が、ステップＳ１８、Ｓ１９、Ｓ３６、Ｓ４３において生成された各表示画像を重畳することで、重畳表示画像（合成画像）を生成する（ステップＳ５１）。画像処理部６１０は、当該生成された画像に対応する指令信号を管理用表示部６２に入力する。この結果、管理用表示部６２に上記の合成画像が表示される（ステップＳ５２）。この結果、３次元点群データ画像、クラスタリング画像、監視エリア画像、作業エリア画像、油圧ショベル１や周辺に位置するダンプカーの３ＤＣＧ画像を重畳して表示することができる。また、上記の指令信号がタブレット７０に送信されることで（ステップＳ５３）、タブレット７０上にも上記の合成画像を表示させることができる。なお、前述のように、油圧ショベル１のキャブ１３にオペレータが搭乗している場合には、キャブ表示部５７に上記の合成画像を表示させてもよい。

【0087】

以上のように、本実施形態では、油圧ショベル１に装着されたショベルＬＩＤＡＲ５３及び作業現場Ｗに設置された現場ＬＩＤＡＲ４２の各々の距離分布から得られた点群画像を合成することで、各ＬＩＤＡＲの検出範囲外の画像を互いに補うことができるため、いずれか一方のＬＩＤＡＲに基づいた画像を管理用表示部６２などの画像表示部に表示する場合と比較して、作業現場Ｗにおける油圧ショベル１の周辺の画像を精度良く画像表示部に表示することができる。このため、油圧ショベル１の作業精度、作業効率及び安全性を高めることが可能になる。

【0088】

例えば、画像表示部としてキャブ表示部５７が油圧ショベル１内のキャブ１３に配置される場合には、油圧ショベル１を操作する作業者（オペレータ）に対して周辺の画像を精度良く提供することができる。また、画像表示部として管理用表示部６２やタブレット７０が油圧ショベル１から離れた場所に配置される場合には、油圧ショベル１を遠隔操作する作業者又は油圧ショベル１の自動運転を見守る管理者に対して、油圧ショベル１の周辺の画像を精度良く提供することができる。

【0089】

また、本実施形態では、監視装置制御ユニット６０のＣＧデータ生成部６０８が、油圧ショベル１の３ＤＣＧ画像（人工画像）を生成し、作業現場Ｗにおける油圧ショベル１の位置に応じて、画像処理部６１０が前記第１点群画像及び前記第２点群画像に３ＤＣＧ画像を重畳して前記合成画像を生成する。作業者や管理者は、前記画像表示部に表示される画像を確認するにあたって、油圧ショベル１を基準にしてその周辺の状況を確認する。本実施形態では、合成画像中に油圧ショベル１の３ＤＣＧ画像を重畳することで、点群画像のみを表示させる場合と比較して、画面上で油圧ショベル１の位置を容易に確認することが可能になり、周辺の状況確認を効率的に行うことができる。

【0090】

更に、本実施形態では前記画像表示部に表示される３Ｄ画像の視点を作業者、管理者の意志によって変化させることが可能（自由視点）であるため、詳細に確認したい領域の画像を容易に確認することができる。

【0091】

また、本実施形態では、監視装置制御ユニット６０のＣＧデータ生成部６０８は、ショベル制御ユニット５０の角度情報検出部５４、ショベル情報取得部５０２によって取得される姿勢情報に応じて、前記合成画像上の３ＤＣＧ画像の姿勢を調整する。このため、実際の油圧ショベル１の姿勢に応じて、３ＤＣＧ画像の姿勢が変化するため、画面上で油圧ショベル１の各部位と周辺の物体との位置関係などを把握しやすく、油圧ショベル１の周辺の状況確認を更に効率的に行うことができる。

【0092】

更に、本実施形態では、領域情報生成部６０１が油圧ショベル１の周囲に設定エリアＳを設定する。そして、侵入物判定部６０２が、前記第１点群画像及び前記第２点群画像のうちの少なくとも一方を利用して、物体が油圧ショベル１に近づくことを検知し、その危険性を報知することができる。なお、設定エリアＳへの物体の侵入を前記第１点群画像及び前記第２点群画像の合成画像に基づいて検知すれば、前記第１点群画像及び前記第２点群画像の互いの死角を補いあうことができるため、物体の侵入の検知精度を高めることができる。

【0093】

また、本実施形態では、クラスタリング処理部６０６が点群データに含まれる点群の一部をクラスタリング処理によって集合体とみなすことで、物体の侵入検知を効率的に行うことができる。なお、クラスタリング処理部６０６が実行するクラスタリングは、前記第１点群画像及び前記第２点群画像の少なくとも一方に対して実行してもよいし、前記第１点群画像及び前記第２点群画像の合成画像に対して実行してもよい。後者の場合、両点群画像の死角領域を補うことで、精度良くクラスタリング処理を実行することが可能になる。

【0094】

また、本実施形態では、侵入物判定部６０２が、物体が油圧ショベル１に近づく危険性を検知し、報知部６１による報知表示または報知音によって作業現場Ｗの作業者に前記危険性を速やかに報知することができる。また、物体が油圧ショベル１に近づく危険性を示す警告情報（報知情報）を、合成画像上に重畳して管理用表示部６２などに表示することによって、その危険性を画像上で速やかに報知することができる。この場合も、設定エリアＳへの物体の侵入を前述の合成画像に基づいて検知すれば、前記第１点群画像及び前記第２点群画像の互いの死角を補いあうことができるため、物体の侵入の検知精度を高めることができる。

【0095】

更に、本実施形態では、監視装置制御ユニット６０の物体特定部６０４が、現場カメラ４１によって撮影された撮影画像に含まれる物体の特性を識別することが可能である。そして、物体特定部６０４が、前記撮影画像に含まれる前記物体に対応する点群画像である物体点群画像を前記第１点群画像及び前記第２点群画像のうちの少なくとも一方の中で特定する。更に、画像処理部６１０が、前記特性に関する画像を前記物体点群画像に関連付けるように前記合成画像を生成する。このように、物体特定部６０４が作業現場Ｗに位置する物体の特性を識別するとともに、その特性を合成画像上で物体点群画像（クラスタリング）に関連付けて表示させることで、作業者又は管理者にどのような物体が油圧ショベル１の周辺に位置するかを認知させることができる。

【0096】

また、本実施形態では、通信部６１１（送信部）が、油圧ショベル１の動きを遠隔操作又は管理するための遠隔装置に対して、前記合成画像を含む信号を送信する。したがって、油圧ショベル１から離れた遠隔装置を操作する者が作業現場Ｗの様子を精度良く確認することができるため、油圧ショベル１の動きを遠隔操作する作業又は管理する作業を安全に行うことが可能になる。

【0097】

図８乃至図１０の各々は、本実施形態に係る監視装置１００の合成画像ＣＩの模式図である。なお、各図では、線画像によって各物体を描いているが、実際には前述のように、各物体は点群画像（点の集合体）によって描かれる。後記の図１１についても、同様である。

【0098】

図８を参照して、合成画像ＣＩ上に油圧ショベル１の３ＤＣＧ画像１Ｍが表れている。油圧ショベル１から離れた位置に配置される現場ＬＩＤＡＲ４２（図２）では、油圧ショベル１のバケット２３が掘削した掘削穴Ｈの開口部の点群データを取得することはできるが、その穴内部ＨＡの点群データを取得することは難しい。一方、油圧ショベル１に搭載されたショベルＬＩＤＡＲ５３では、油圧ショベル１の前方に視野角（画角）が設定されているため、穴内部ＨＡの少なくとも一部の点群データを取得することができる。したがって、ショベルＬＩＤＡＲ５３及び現場ＬＩＤＡＲ４２の各点群データを合成することで、油圧ショベル１の周囲の状況に加え、油圧ショベル１が掘削した掘削穴Ｈの穴内部ＨＡの様子を、管理用表示部６２の画面上で確認することができる。

【0099】

また、図８のように、作業現場Ｗの油圧ショベル１の手前に壁８１が配置されている場合、現場ＬＩＤＡＲ４２では、壁８１の裏側の点群データを取得することは難しい。一方、油圧ショベル１に搭載されているショベルＬＩＤＡＲ５３の視野角が油圧ショベル１の左右方向に向かって設定されている場合には、図８の壁８１の裏側に位置する物体８２（図９）を抽出することができる。このため、ショベルＬＩＤＡＲ５３及び現場ＬＩＤＡＲ４２の各点群データを合成することで、管理用表示部６２などにおいて油圧ショベル１の周囲の状況を精度良く確認することができる。なお、管理用表示部６２に表示される合成画像上に図８の壁８１が現れている場合でも、前述のように作業者が管理用表示部６２に表示されている合成画像の視点を変化させることで、壁８１の裏側の物体８２を確認することができる。

【0100】

更に、図９の油圧ショベル１の裏側の様子は、現場ＬＩＤＡＲ４２の点群データでは充分抽出することができない。換言すれば、図２における領域Ｙは、同図の現場ＬＩＤＡＲ４２から見て死角に相当する。この場合も、図２のショベルＬＩＤＡＲ５３の視野角が油圧ショベル１の左右方向に向かって設定されていれば、図１０に示すように、油圧ショベル１の裏側に位置する物体８３の点群データをショベルＬＩＤＡＲ５３が取得し、合成画像として管理用表示部６２に表示させることができる。

【0101】

図１１は、本実施形態に係る監視装置１００の合成画像の模式図である。前述のように、本実施形態では、管理用表示部６２などに表示される画像には、作業者が油圧ショベル１の操作部５１などで入力、設定したティーチング情報に基づく軌跡が含まれる。図１１では、前記ティーチング情報に基づく理想的なバケット２３の先端部の軌跡Ｔが図示されるとともに、実際のバケット２３の先端部が移動した軌跡Ｒが重畳して図示されている。このように、予め設定されたティーチング情報に基づく軌跡Ｔと実際の軌跡Ｒとが同時に表示されることで、例えば作業現場Ｗにおける作業を管理する管理者は、油圧ショベル１の自動運転の正確性を評価することができる。

【0102】

なお、上記のように、現場ＬＩＤＡＲ４２及びショベルＬＩＤＡＲ５３の点群データを合成して管理用表示部６２などの画像表示部に表示させるにあたって、予め設定された条件が満たされた場合に、画像処理部６１０（図４）が点群画像の合成処理を実行しても良い。例えば、油圧ショベル１のキャブ１３内に位置するオペレータが、油圧ショベル１の後方の様子を確認したいと考えた場合に、キャブ１３内の入力部５２を通じて、処理開始指示を入力してもよい。この場合、監視装置１００が現場ＬＩＤＡＲ４２及びショベルＬＩＤＡＲ５３の各点群データを合成して、キャブ表示部５７に表示させればよい。

【0103】

また、管理室Ｘにおいて管理用表示部６２を視認する管理者や、作業現場Ｗの一角でタブレット７０を手にする作業者が、現場ＬＩＤＡＲ４２では抽出できない位置の点群データを確認したいと考えた場合にも、同様に、管理用表示部６２やタブレット７０に含まれる不図示の入力部を通じて、処理開始指示を入力してもよい。この場合も、監視装置１００が現場ＬＩＤＡＲ４２及びショベルＬＩＤＡＲ５３の各点群データを合成して、管理用表示部６２又はタブレット７０に表示させればよい。

【0104】

また、監視装置制御ユニット６０は、作業現場Ｗにおける現在の油圧ショベル１の位置、向きに応じて、上記の画像合成処理の可否を判断してもよい。例えば、ショベルＬＩＤＡＲ５３の視野角がキャブ１３の前方に向かって設定されている場合であって、油圧ショベル１が図２において現場カメラ４１、現場ＬＩＤＡＲ４２の方向を向いた姿勢で作業している場合、現場ＬＩＤＡＲ４２、ショベルＬＩＤＡＲ５３ともに、油圧ショベル１（上部旋回体１２）の後方の点群データを取得することは難しい。したがって、監視装置制御ユニット６０は、油圧ショベル１のショベルＬＩＤＡＲ５３と、現場ＬＩＤＡＲ４２との相対的な位置関係に基づいて、画像合成処理によって有効な点群データを増やすことができるか否かを判定してもよい。この場合、有効な点群データを取得することが可能な場合に、監視装置１００が前記画像合成処理を行うことで、監視装置制御ユニット６０の処理負荷を低減し、効率的に合成画像を得ることができる。なお、合成処理が不可の場合は、その旨を管理用表示部６２などに表示しても良い。

【0105】

なお、油圧ショベル１に複数のショベルＬＩＤＡＲ５３が搭載され、その視野角が上部旋回体１２の前後左右に向かってそれぞれ設定されている場合には、複数のショベルＬＩＤＡＲ５３の視野角の端部が互いに重なるように配置されることで、死角が少なくなるため、オペレータ、作業者、管理者の要請に応じて画像合成処理が適宜実行されればよい。

【0106】

以上、本発明の実施形態に係る油圧ショベル１の監視装置１００について説明した。なお、本発明はこれらの形態に限定されるものではない。本発明は、例えば以下のような変形実施形態を取ることができる。

【0107】

上記の実施形態では、作業機械として油圧ショベル１を用いて説明したが、本発明はこれに限定されるものではない。本発明に係る作業機械は油圧ショベル以外の構造からなるものでもよい。また、作業アタッチメント２０の先端部に配置される作業部材はバケット２３に限定されるものではない。また、本発明に係る上部本体は下部走行体１０に対して旋回しない態様でもよい。この場合、上部本体の前後方向と下部走行体１０の前後方向とは互いに合致する。

【0108】

また、上記の実施形態では、合成された合成画像を管理用表示部６２やタブレット７０に表示する態様にて説明したが、本発明はこれに限定されるものではない。画像処理部６１０は合成した合成画像に対応する指令信号を出力し、侵入物判定部６０２に入力してもよい。この場合、侵入物判定部６０２は、この合成画像に対応する指令信号に基づいて自動で障害物を検知し、安全制御を行っても良い。侵入物判定部６０２は、当該安全制御の一例として、障害物の検知結果に対応する信号をショベル制御ユニット５０に入力し、駆動部５６を制御することで、侵入物との接触を回避するように油圧ショベル１を動かす又は停止させてもよい。また、上記の合成画像に対応する指令信号に基づいて、侵入物判定部６０２または物体特定部６０４が障害物検知、人物検知を行い、その結果から報知部６１においてランプ表示、警告音などで報知を行っても良い。このように、合成された合成画像は、一方のＬＩＤＡＲ（距離分布取得部）の死角を補う情報を含むため、画像表示のみならず、他の制御にも有効に利用することができる。なお、前記で説明した他の制御においても、画像表示を行うことなく、合成画像に対応する指令信号を利用してもよい。

【符号の説明】

【0109】

１ 油圧ショベル（作業装置）
１０ 下部走行体
１００ 監視装置（監視システム）
１２ 上部旋回体
１３ キャブ
２０ 作業アタッチメント
４１ 現場カメラ（撮像部）
４２ 現場ＬＩＤＡＲ（第２距離分布取得部）
５０ ショベル制御ユニット（制御部）
５０１ 駆動制御部
５０２ ショベル情報取得部
５０３ ティーチング情報受付部
５０４ 記憶部
５１ 操作部
５２ 入力部
５３ ショベルＬＩＤＡＲ（第１距離分布取得部）
５４ 角度情報検出部（姿勢情報取得部）
５５ 機体位置検出部
５６ 駆動部
５７ キャブ表示部（画像表示部）
５８ ショベル通信部
６０ 監視装置制御ユニット（制御部）
６０１ 領域情報生成部
６０２ 侵入物判定部
６０３ 画像取得部
６０４ 物体特定部
６０５ 点群生成部
６０６ クラスタリング処理部
６０７ ショベル位置特定部
６０８ ＣＧデータ生成部
６０９ 軌跡生成部
６１ 報知部
６１０ 画像処理部
６１１ 通信部（送信部）
６１２ 記憶部
６２ 管理用表示部（画像表示部）
７０ タブレット（画像表示部）
８１ 壁
８２、８３ 物体
ＬＩ 点群画像
ＣＩ 合成画像
Ｇ 地面
Ｈ 掘削穴
ＨＡ 穴内部
Ｓ 設定エリア（監視領域）
Ｓ１ 作業エリア
Ｓ２ 監視エリア
Ｗ 作業現場
Ｘ 管理室

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】