特開 2023-8015 作業現場監視システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023008015

(43)【公開日】2023-01-19

(54)【発明の名称】作業現場監視システム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230112BHJP

   E02F 9/24 20060101ALI20230112BHJP

   E02F 9/20 20060101ALI20230112BHJP

   G08B 21/02 20060101ALI20230112BHJP

【ＦＩ】

G06T7/00 Z

E02F9/24 B

E02F9/20 C

G08B21/02

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2021111237

(22)【出願日】2021-07-05

(71)【出願人】

【識別番号】000246273

【氏名又は名称】コベルコ建機株式会社

(74)【代理人】

【識別番号】110001841

【氏名又は名称】弁理士法人ＡＴＥＮ

(72)【発明者】

【氏名】細 幸広

(72)【発明者】

【氏名】藤原 翔

(72)【発明者】

【氏名】邱 進軍

(72)【発明者】

【氏名】宗正 佳樹

【テーマコード（参考）】

2D003

2D015

5C086

5L096

【Ｆターム（参考）】

2D003AA01

2D003AB06

2D003BA07

2D003DA04

2D015GA03

2D015GB06

2D015GB07

2D015HA03

5C086AA22

5C086AA52

5C086BA19

5C086CA11

5C086CA21

5C086CA22

5C086CA25

5C086CA28

5C086CB36

5C086DA33

5C086FA06

5C086FA15

5C086FA18

5L096AA06

5L096BA02

5L096CA02

5L096FA69

(57)【要約】

【課題】作業機械の作業効率の低下を抑制することが可能な作業現場監視システムを提供する。
【解決手段】作業現場を撮像するカメラ２と、カメラ２が撮像した画像に基づいて、作業現場内の作業機械２０を検出する物体検出手段と、物体検出手段が検出した作業機械２０の位置を取得する位置取得手段と、物体検出手段が検出した作業機械２０の種類を判別する種類判別手段と、物体検出手段が検出した作業機械２０に対して、種類判別手段が判別した種類に応じた作業エリアを設定する作業エリア設定手段と、位置取得手段が取得した作業機械２０の位置と、作業エリア設定手段が設定した作業エリアとに基づいて、非安全状態を検出する非安全状態検出手段と、を有する。
【選択図】図１

【特許請求の範囲】

【請求項1】

作業現場を撮像する撮像手段と、
前記撮像手段が撮像した画像に基づいて、前記作業現場内の作業機械を検出する物体検出手段と、
前記物体検出手段が検出した前記作業機械の位置を取得する位置取得手段と、
前記物体検出手段が検出した前記作業機械の種類を判別する種類判別手段と、
前記物体検出手段が検出した前記作業機械に対して、前記種類判別手段が判別した前記種類に応じた作業エリアを設定する作業エリア設定手段と、
前記位置取得手段が取得した前記作業機械の位置と、前記作業エリア設定手段が設定した前記作業エリアとに基づいて、非安全状態を検出する非安全状態検出手段と、
を有することを特徴とする作業現場監視システム。

【請求項2】

前記物体検出手段は、前記作業現場内の人を検出し、
前記位置取得手段は、前記物体検出手段が検出した前記人の位置を取得し、
前記非安全状態検出手段は、前記位置取得手段が取得した前記人の位置と、前記作業エリア設定手段が設定した前記作業エリアとに基づいて、前記非安全状態を検出することを特徴とする請求項１に記載の作業現場監視システム。

【請求項3】

前記非安全状態は、前記作業エリア内に前記人が侵入した状態を含むことを特徴とする請求項２に記載の作業現場監視システム。

【請求項4】

前記非安全状態は、前記作業エリア内に前記作業機械が侵入した状態を含むことを特徴とする請求項１～３のいずれか１項に記載の作業現場監視システム。

【請求項5】

前記非安全状態は、前記作業機械の機体が自身の前記作業エリアを逸脱した状態を含むことを特徴とする請求項１～４のいずれか１項に記載の作業現場監視システム。

【請求項6】

前記非安全状態に基づいて、非安全レベルを判定する非安全レベル判定手段と、
前記非安全レベルに応じて、警告および前記作業機械の停止の少なくとも一方を行う制御手段と、
を有することを特徴とする請求項１～５のいずれか１項に記載の作業現場監視システム。

【請求項7】

前記作業機械の種類には、自動運転される前記作業機械が含まれ、
前記作業エリア設定手段は、自動運転される前記作業機械に対して、自動運転の作業計画情報に基づいて前記作業エリアを設定することを特徴とする請求項１～６のいずれか１項に記載の作業現場監視システム。

【請求項8】

自動運転される前記作業機械に前記オペレータが搭乗しているか否かを判定する判定手段を有し、
前記作業エリア設定手段は、自動運転される前記作業機械に対して、前記判定手段による判定結果に基づいて前記作業エリアを設定することを特徴とする請求項７に記載の作業現場監視システム。

【請求項9】

前記作業機械の種類には、オペレータが搭乗した前記作業機械、および、遠隔操作される前記作業機械が含まれ、
前記オペレータが搭乗した前記作業機械、および、遠隔操作される前記作業機械の作業内容を記憶する記憶装置を有し、
前記作業エリア設定手段は、前記オペレータが搭乗した前記作業機械、および、遠隔操作される前記作業機械の各々に対して、前記記憶装置が記憶する前記作業内容に基づいて前記作業エリアを設定することを特徴とする請求項１～８のいずれか１項に記載の作業現場監視システム。

【請求項10】

前記非安全状態に基づいて、非安全レベルを判定する非安全レベル判定手段と、
所定期間毎に、前記非安全レベル判定手段の判定結果を外部に出力する出力手段と、
を有することを特徴とする請求項１～９のいずれか１項に記載の作業現場監視システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、作業現場内の人および作業機械を監視する作業現場監視システムに関する。

【背景技術】

【0002】

特許文献１には、作業現場において、作業機械などのターゲット同士が接触するのを防止する安全管理システムが開示されている。この安全管理システムでは、撮影手段で作業現場全体を撮影し、作業エリア内の作業機械及び作業員の輪郭を捉えてターゲットのエリアを設定し、ターゲットのエリアが互いに接触したとき或は作業エリアから逸脱したときに報知するようにしている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１２－２０３６７７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、作業現場では、オペレータが搭乗した作業機械、遠隔操縦される作業機械、および、自動運転される作業機械が混在して作業を行っている。オペレータが搭乗した作業機械、遠隔操縦される作業機械、および、自動運転される作業機械で、それぞれ作業内容が異なるため、複数種類の作業機械に対して一律に作業エリアを設定した場合、作業エリア同士の接触や作業エリアからの逸脱といった非安全状態が生じやすくなる場合がある。このような場合、非安全状態の発生に対して報知や作業機械の停止などの対策を行うと、作業機械の作業効率が低下する場合がある。

【0005】

本発明の目的は、作業機械の作業効率の低下を抑制することが可能な作業現場監視システムを提供することである。

【課題を解決するための手段】

【0006】

本発明は、作業現場を撮像する撮像手段と、前記撮像手段が撮像した画像に基づいて、前記作業現場内の作業機械を検出する物体検出手段と、前記物体検出手段が検出した前記作業機械の位置を取得する位置取得手段と、前記物体検出手段が検出した前記作業機械の種類を判別する種類判別手段と、前記物体検出手段が検出した前記作業機械に対して、前記種類判別手段が判別した前記種類に応じた作業エリアを設定する作業エリア設定手段と、前記位置取得手段が取得した前記作業機械の位置と、前記作業エリア設定手段が設定した前記作業エリアとに基づいて、非安全状態を検出する非安全状態検出手段と、を有することを特徴とする。

【発明の効果】

【0007】

本発明によると、作業現場内の作業機械に対して、作業機械の種類に応じた作業エリアが設定される。そして、作業現場内の作業機械の位置と、作業エリアとに基づいて、非安全状態が検出される。複数種類の作業機械に対して、作業機械の種類に応じた作業エリアが設定されるので、複数種類の作業機械に対して一律に作業エリアが設定された場合に比べて、非安全状態を正確に検出することができる。これにより、複数種類の作業機械に対して一律に作業エリアが設定された場合に非安全状態として検出されていたような状態が、非安全状態として検出されなくなる場合がある。よって、報知や作業機械の停止などの対策を必要以上に行わなくて済むので、作業機械の作業効率の低下を抑制することができる。

【図面の簡単な説明】

【0008】

【図1】作業現場監視システムの構成図である。

【図2】作業機械の側面図である。

【図3】作業現場監視システムおよび作業機械の回路構成を示す図である。

【図4】作業機械の作業エリア内に人が侵入した状態を示す図である。

【図5】作業機械の作業エリアからバケットが逸脱した状態を示す図である。

【図6】監視制御処理のフローチャートである。

【発明を実施するための形態】

【0009】

以下、本発明の好適な実施の形態について、図面を参照しつつ説明する。

【0010】

（作業現場監視システムの構成）
本発明の実施形態による作業現場監視システムは、作業現場内の人および作業機械を監視するものである。作業現場監視システム１の構成図である図１に示すように、作業現場監視システム１は、カメラ２と、ＬｉＤＡＲ３と、を有している。

【0011】

カメラ（撮像手段）２は、作業現場に複数台設けられており、それぞれが作業現場を撮像する。作業現場では、オペレータが搭乗した作業機械２０Ａ、遠隔操縦される作業機械２０Ｂ、および、自動運転される作業機械２０Ｃが混在して作業を行っている。これら作業機械２０Ａ～２０Ｃをまとめて作業機械２０と称する。

【0012】

遠隔操縦される作業機械２０Ｂは、この作業機械２０Ｂから離れた位置に設置されたコクピット７１から無線で遠隔操縦される。自動運転される作業機械２０Ｃは、自動運転される前に、タブレット７２を操作するオペレータによってティーチングされる。ティーチングされたティーチング情報（自動運転の作業計画情報）により定められる作業内容は、例えば、土砂ピット７３から土砂を掬って、ダンプ７４の荷台に排土するといったものである。なお、ティーチング以外の手段で、自動運転される作業機械２０Ｃのコントローラに自動運転の作業計画情報が入力されてもよい。

【0013】

ＬｉＤＡＲ（Light Detection and RangingまたはLaser Imaging Detection and Ranging）３は、作業現場に複数台設けられている。ＬｉＤＡＲ３は、ＬｉＤＡＲ３が取り付けられている位置から作業現場内の物体（作業機械２０や人）までの距離を示す点群データを取得する。なお、ＬｉＤＡＲ３の代わりに、ステレオカメラやＴＯＦ（Time Of Flight）センサを用いてもよい。

【0014】

（作業機械の構成）
作業機械２０の側面図である図２に示すように、作業機械２０は、アタッチメント３０で作業を行う機械であり、例えば油圧ショベルである。作業機械２０は、下部走行体２１と上部旋回体２２とを備えた機械本体２４と、アタッチメント３０と、シリンダ４０と、を有している。

【0015】

下部走行体２１は、作業機械２０を走行させる部分であり、例えばクローラを備える。上部旋回体２２は、下部走行体２１の上部に旋回装置２５を介して旋回可能に取り付けられる。上部旋回体２２の前部には、キャブ（運転室）２３が設けられている。

【0016】

アタッチメント３０は、上下方向に回動可能に上部旋回体２２に取り付けられる。アタッチメント３０は、ブーム３１と、アーム３２と、バケット３３と、を備える。ブーム３１は、上下方向に回動可能（起伏可能）に上部旋回体２２に取り付けられる。アーム３２は、上下方向に回動可能にブーム３１に取り付けられる。バケット３３は、前後方向に回動可能にアーム３２に取り付けられる。バケット３３は、土砂（運搬物）の、掘削、均し、すくい、などの作業を行う部分である。なお、バケット３３が保持する運搬物は、土砂に限定されず、石でもよく、廃棄物（産業廃棄物など）でもよい。

【0017】

シリンダ４０は、アタッチメント３０を油圧で回動させることが可能である。シリンダ４０は、油圧式の伸縮シリンダである。シリンダ４０は、ブームシリンダ４１と、アームシリンダ４２と、バケットシリンダ４３と、を備える。

【0018】

ブームシリンダ４１は、上部旋回体２２に対してブーム３１を回動させる。ブームシリンダ４１の基端部は、上部旋回体２２に回動可能に取り付けられる。ブームシリンダ４１の先端部は、ブーム３１に回動可能に取り付けられる。

【0019】

アームシリンダ４２は、ブーム３１に対してアーム３２を回動させる。アームシリンダ４２の基端部は、ブーム３１に回動可能に取り付けられる。アームシリンダ４２の先端部は、アーム３２に回動可能に取り付けられる。

【0020】

バケットシリンダ４３は、アーム３２に対してバケット３３を回動させる。バケットシリンダ４３の基端部は、アーム３２に回動可能に取り付けられる。バケットシリンダ４３の先端部は、バケット３３に回動可能に取り付けられたリンク部材３４に、回動可能に取り付けられる。

【0021】

また、作業機械２０は、角度センサ５２と、傾斜角センサ６０と、を有している。

【0022】

角度センサ５２は、下部走行体２１に対する上部旋回体２２の旋回角度を検出する。角度センサ５２は、例えば、エンコーダ、レゾルバ、又は、ジャイロセンサである。本実施形態では、上部旋回体２２の前方が下部走行体２１の前方と一致するときの上部旋回体２２の旋回角度を０°としている。

【0023】

傾斜角センサ６０は、アタッチメント３０の姿勢を検出する。傾斜角センサ６０は、ブーム傾斜角センサ６１と、アーム傾斜角センサ６２と、バケット傾斜角センサ６３と、を備える。

【0024】

ブーム傾斜角センサ６１は、ブーム３１に取り付けられ、ブーム３１の姿勢を検出する。ブーム傾斜角センサ６１は、水平線に対するブーム３１の傾斜角度を取得するセンサであり、例えば傾斜（加速度）センサ等である。なお、ブーム傾斜角センサ６１は、ブームフットピン（ブーム基端）の回転角度を検出する回転角度センサや、ブームシリンダ４１のストローク量を検出するストロークセンサであってもよい。

【0025】

アーム傾斜角センサ６２は、アーム３２に取り付けられ、アーム３２の姿勢を検出する。アーム傾斜角センサ６２は、水平線に対するアーム３２の傾斜角度を取得するセンサであり、例えば傾斜（加速度）センサ等である。なお、アーム傾斜角センサ６２は、アーム連結ピン（アーム基端）の回転角度を検出する回転角度センサや、アームシリンダ４２のストローク量を検出するストロークセンサであってもよい。

【0026】

バケット傾斜角センサ６３は、リンク部材３４に取り付けられ、バケット３３の姿勢を検出する。バケット傾斜角センサ６３は、水平線に対するバケット３３の傾斜角度を取得するセンサであり、例えば傾斜（加速度）センサ等である。なお、バケット傾斜角センサ６３は、バケット連結ピン（バケット基端）の回転角度を検出する回転角度センサや、バケットシリンダ４３のストローク量を検出するストロークセンサであってもよい。

【0027】

（作業現場監視システムおよび作業機械の回路構成）
作業現場監視システム１および作業機械２０の回路構成を示す図である図３に示すように、作業機械２０は、作業機械側コントローラ８１と、作業機械側記憶装置８２と、作業機械側通信装置８３と、を有している。

【0028】

作業機械側コントローラ８１には、角度センサ５２が検出した、下部走行体２１に対する上部旋回体２２の旋回角度（姿勢）に関する情報が入力される。また、作業機械側コントローラ８１には、ブーム傾斜角センサ６１が検出した、ブーム３１の姿勢に関する情報が入力される。また、作業機械側コントローラ８１には、アーム傾斜角センサ６２が検出した、アーム３２の姿勢に関する情報が入力される。また、作業機械側コントローラ８１には、バケット傾斜角センサ６３が検出した、バケット３３の姿勢に関する情報が入力される。

【0029】

自動運転される作業機械２０Ｃの場合、作業機械側記憶装置８２は、ティーチング情報を記憶する。自動運転される作業機械２０Ｃの場合、作業機械側コントローラ８１は、作業機械側記憶装置８２が記憶するティーチング情報に基づいてアタッチメント３０および旋回装置２５を動作させる。

【0030】

作業機械側通信装置８３は、作業現場監視システム１の後述する通信装置８と通信可能である。

【0031】

作業現場監視システム１は、コントローラ５と、記憶装置６と、通信装置８と、を備える。通信装置８は、作業機械２０の作業機械側通信装置８３と通信可能である。

【0032】

コントローラ５は、物体検出部１１と、位置取得部１２と、種類判別部１３と、作業エリア設定部１４と、非安全状態検出部１５と、を有している。

【0033】

物体検出部（物体検出手段）１１は、カメラ２が撮像した画像に基づいて、作業現場内の作業機械２０を検出する。また、物体検出部１１は、カメラ２が撮像した画像に基づいて、作業現場内の人を検出する。作業機械２０および人の検出には、ディープラーニング技術などを用いてよい。

【0034】

位置取得部（位置取得手段）１２は、物体検出部１１が検出した作業機械２０の位置を取得する。また、位置取得部１２は、物体検出部１１が検出した人の位置を取得する。具体的には、位置取得部１２は、ＬｉＤＡＲ３が取り付けられているグローバル座標系の位置（座標）と、ＬｉＤＡＲ３から点群データの各点までの距離とを用いて、グローバル座標系における点群データの各点の位置（三次元座標）を算出する。次に、位置取得部１２は、点群データの各点の三次元座標を透視投影変換して、点群データの各点の二次元座標を取得する。そして、位置取得部１２は、カメラ２が撮像した二次元の画像に、点群データの各点の二次元座標を重畳させる。そして、位置取得部１２は、点群データのうち、物体検出部１１が検出した作業機械２０および人に重なる点の三次元座標から、物体検出部１１が検出した作業機械２０および人の位置を三次元で取得する。

【0035】

ここで、カメラ２やＬｉＤＡＲ３が取り付けられているグローバル座標系の位置は、ＧＮＳＳセンサなどの測位センサや、トータルステーションなどの測距センサにより取得される。

【0036】

種類判別部（種類判別手段）１３は、物体検出部１１が検出した作業機械２０の種類を判別する。図１に示すように、作業機械２０の種類の判別には、作業機械２０が備えるランプの色が用いられる。オペレータが搭乗した作業機械２０Ａには、赤色のランプＲと黄色のランプＹとが取り付けられている。遠隔操縦される作業機械２０Ｂには、赤色のランプＲと黄色のランプＹと緑色のランプＧとが取り付けられている。自動運転される作業機械２０Ｃには、赤色のランプＲと黄色のランプＹと青色のランプＢとが取り付けられている。これらランプの色から、作業機械２０の種類が判別される。

【0037】

図３に戻って、作業エリア設定部（作業エリア設定手段）１４は、物体検出部１１が検出した作業機械２０の各々に対して、作業エリアを設定する。ここで、作業エリア設定部１４は、種類判別部１３が判別した作業機械２０の種類に応じた作業エリアを設定する。

【0038】

例えば、オペレータが搭乗した作業機械２０Ａの作業エリアは、オペレータの操作の自由度を考慮して、遠隔操作される作業機械２０Ｂの作業エリアや、自動運転される作業機械２０Ｃの作業エリアよりも広く設定される。また、自動運転される作業機械２０Ｃの作業エリアは、作業機械２０Ｃの作業内容がティーチングで定められることを考慮して、遠隔操作される作業機械２０Ｂの作業エリアよりも狭く設定される。

【0039】

非安全状態検出部（非安全状態検出手段）１５は、位置取得部１２が取得した作業機械２０の位置と、作業エリア設定部１４が設定した作業エリアとに基づいて、非安全状態を検出する。また、非安全状態検出部１５は、位置取得部１２が取得した人の位置と、作業エリア設定部１４が設定した作業エリアとに基づいて、非安全状態を検出する。

【0040】

ここで、非安全状態は、作業エリア内に作業機械２０が侵入した状態を含む。また、非安全状態は、作業エリア内に人が侵入した状態を含む。作業エリア内に人が侵入した状態を図４に示す。図４では、作業機械２０の作業エリア９０内に人９５が侵入している。

【0041】

また、非安全状態は、作業機械２０の機体が自身の作業エリアを逸脱した状態を含む。作業機械２０の機体が自身の作業エリアを逸脱した状態を図５に示す。図５では、作業機械２０の作業エリア９０からバケット３３が逸脱している。

【0042】

図３に戻って、コントローラ５は、非安全レベル判定部１６と、対策制御部１７と、を有している。非安全レベル判定部（非安全レベル判定手段）１６は、非安全状態検出部１５が検出した非安全状態に基づいて、非安全レベルを判定する。本実施形態では、以下の表１に示すように、非安全レベルは「大」、「中」、「小」の３段階に分類される。非安全レベルが大きいほど、人的被害が大きい。

【0043】

【表1】

【0044】

例えば、遠隔操作される作業機械２０Ｂと、自動運転される作業機械２０Ｃとの衝突のように、人的被害が発生しないような場合には、非安全レベルは「小」と判定される。また、オペレータが搭乗した作業機械２０Ａと人との衝突や、オペレータが搭乗した作業機械２０Ａとティーチング中の作業機械２０Ｃとの衝突のように、オペレータと人、または、オペレータ同士がそれぞれ衝突を回避するような判断を行える場合であって、人的被害が発生するような場合には、非安全レベルは「中」と判定される。また、自動運転される作業機械２０Ｃと人との衝突や、遠隔操作される作業機械２０Ｂとオペレータが搭乗した作業機械２０Ａとの衝突のように、人またはオペレータの判断だけでは衝突を回避できない場合があって、人的被害が発生するような場合には、非安全レベルは「大」と判定される。

【0045】

なお、作業機械２０の作業内容に応じて、非安全レベルを設定してもよい。例えば、作業内容がアタッチメント３０の旋回の場合には、作業領域が広くなるので、非安全レベルを「大」に設定する。また、作業内容が掘削の場合には、作業領域が狭くなるので、非安全レベルを「小」に設定する。

【0046】

対策制御部（制御手段）１７は、非安全レベル判定部１６が判定した非安全レベルに応じて、警告および作業機械２０の停止の少なくとも一方を行う。本実施形態では、非安全レベルが「小」の場合に、外部に警告が行われる。また、非安全レベルが「中」の場合に、外部に警告が行われるとともに、作業機械２０の作業が停止される（エンジンは停止されない）。また、非安全レベルが「大」の場合に、作業機械２０のエンジンが停止される。

【0047】

外部への警告は、警告装置から発生される。警告装置は、コクピット７１や作業機械２０に設けられたディスプレイやスピーカである。コクピット７１を操作するオペレータは、警告に応じて、遠隔操作される作業機械２０Ｂの動作を変更することで、作業機械２０同士の衝突を回避することができる場合がある。また、オペレータが搭乗した作業機械２０Ａのオペレータは、警告に応じて、作業機械２０Ａの動作を変更することで、作業機械２０同士の衝突を回避することができる場合がある。

【0048】

作業機械２０の作業停止は、作業停止の指示が通信装置８から該当する作業機械２０に送信されることで行われる。作業停止の指示を受信した作業機械側コントローラ８１は、アタッチメント３０および旋回装置２５の動作を一時停止させる。これにより、作業機械２０と人との衝突や、作業機械２０同士の衝突が回避される場合がある。

【0049】

作業機械２０のエンジン停止は、エンジン停止の指示が通信装置８から該当する作業機械２０に送信されることで行われる。エンジン停止の指示を受信した作業機械側コントローラ８１は、エンジン（図示せず）を停止させる。これにより、作業機械２０と人との衝突や、作業機械２０同士の衝突が回避される場合がある。

【0050】

ここで、上記したように、複数種類の作業機械２０に対して、作業機械２０の種類に応じた作業エリアが設定される。よって、複数種類の作業機械２０に対して一律に作業エリアが設定された場合に比べて、非安全状態を正確に検出することができる。これにより、複数種類の作業機械２０に対して一律に作業エリアが設定された場合に非安全状態として検出されていたような状態が、非安全状態として検出されなくなる場合がある。よって、報知や作業機械２０の停止などの対策を必要以上に行わなくても済むので、作業機械２０の作業効率の低下を抑制することができる。

【0051】

また、図４に示すように、作業エリア内に人や作業機械２０が侵入した場合に、報知や作業機械２０の停止などの対策を行うことで、人と作業機械２０との衝突や、作業機械２０同士の衝突を未然に回避することができる場合がある。また、図５に示すように、作業機械２０の機体が自身の作業エリアを逸脱した場合に、報知や作業機械２０の停止などの対策を行うことで、人と作業機械２０との衝突や、作業機械２０同士の衝突を未然に回避することができる場合がある。

【0052】

ここで、図３に示す作業エリア設定部１４は、自動運転される作業機械２０Ｃに対して、ティーチング情報に基づいて作業エリアを設定する。自動運転される作業機械２０Ｃの作業内容は、ティーチング情報によって定められる。よって、ティーチング情報に基づいて作業エリアを設定することで、非安全状態をより正確に検出することができる。

【0053】

また、作業エリア設定部１４は、自動運転される作業機械２０Ｃに対して、作業機械２０Ｃにオペレータが搭乗しているか否かに基づいて、作業エリアを設定する。自動運転される作業機械２０Ｃにオペレータが搭乗しているか否かは、カメラ（判定手段）２の撮像した画像から判定する。なお、自動運転される作業機械２０Ｃのキャブ２３内にカメラを設置して、キャブ２３内にオペレータがいるか否かを判定してもよい。また、キャブ２３内にサーモセンサを設けて、キャブ２３内にオペレータがいるか否かを判定してもよい。また、キャブ２３内の操縦席にセンサを設けて、オペレータが操縦席に座っているか否かを判定してもよい。

【0054】

例えば、自動運転される作業機械２０Ｃにオペレータが搭乗してティーチングなどを行っている場合、オペレータの操作の自由度を考慮して、自動運転される作業機械２０Ｃにオペレータが搭乗していない場合よりも、作業エリアを広く設定する。これにより、オペレータが搭乗しているか否かに関わらず一律に作業エリアを設定する場合に比べて、非安全状態をより正確に検出することができる。

【0055】

また、記憶装置６は、オペレータが搭乗した作業機械２０Ａ、および、遠隔操作される作業機械２０Ｂの作業内容を記憶する。作業エリア設定部１４は、オペレータが搭乗した作業機械２０Ａ、および、遠隔操作される作業機械２０Ｂの各々に対して、記憶装置６が記憶する作業内容に基づいて作業エリアを設定する。

【0056】

オペレータが搭乗した作業機械２０Ａ、および、遠隔操作される作業機械２０Ｂが行う作業内容は、繰り返し作業であることが多い。このような作業内容を記憶装置６に記憶させて、これに基づいて作業エリアを設定することで、作業エリアを絞り込むことができる。これにより、作業エリアを絞り込まない場合に比べて、非安全状態をより正確に検出することができる。

【0057】

また、非安全レベル判定部（出力手段）１６は、所定期間毎に、自身の判定結果を通信装置８から外部に出力させる。判定結果の出力先は、コクピット７１やサーバ（図示せず）などである。サーバは、工事現場全体を管理する管理サーバなどである。所定期間は、例えば、１日や１週間である。判定結果には、非安全レベルの発生回数や種類が含まれる。この判定結果を用いることで、作業現場における安全を徹底させるなどの対応を行うことができる。

【0058】

（作業現場監視システムの動作）
次に、監視制御処理のフローチャートである図６を参照して、作業現場監視システム１の動作を説明する。

【0059】

まず、作業現場監視システム１のコントローラ５は、初期設定を行う（ステップＳ１）。具体的には、カメラ２のカメラキャリブレーションを行う。カメラキャリブレーションとは、カメラ２の取付位置、カメラ２の取り付け角度、カメラのレンズの歪み、カメラ２のレンズの焦点距離などを決定・補正することである。また、カメラ２とＬｉＤＡＲ３との間でキャリブレーションを行う。このキャリブレーションは、カメラ２が撮像する画像上の座標と、ＬｉＤＡＲ３が取得する点群データ上の座標とを対応づける処理である。

【0060】

次に、コントローラ５は、相対位置の補正を行う（ステップＳ２）。具体的には、ＬｉＤＡＲ３が取得した点群データをカメラ２が撮像した画像上に投影して相対位置を補正する。

【0061】

次に、コントローラ５は、位置情報を取得する（ステップＳ３）。具体的には、測位センサなどにより、カメラ２およびＬｉＤＡＲ３のグローバル座標系の位置を取得する。

【0062】

次に、コントローラ５は、カメラ２およびＬｉＤＡＲ３の三次元座標をそれぞれ補正する（ステップＳ４）。

【0063】

次に、コントローラ５は、カメラ２が撮像した画像、および、ＬｉＤＡＲ３が取得した点群データを取り込む（ステップＳ５）。コントローラ５の物体検出部１１は、カメラ２が撮像した画像に基づいて、作業現場内の人および作業機械２０を検出する。そして、コントローラ５の位置取得部１２は、物体検出部１１が検出した人および作業機械２０の位置を取得する（ステップＳ６）。

【0064】

次に、コントローラ５の種類判別部１３は、物体検出部１１が検出した作業機械２０の種類を判別する（ステップＳ７）。コントローラ５の作業エリア設定部１４は、物体検出部１１が検出した作業機械２０の各々に対して、作業エリアを設定する（ステップＳ８）。

【0065】

次に、コントローラ５の非安全状態検出部１５は、非安全状態を検出したか否かを判定する（ステップＳ９）。ステップＳ９において、非安全状態を検出していないと判定した場合には（Ｓ９：ＮＯ）、コントローラ５は、ステップＳ１７に進む。一方、ステップＳ９において、非安全状態を検出したと判定した場合には（Ｓ９：ＹＥＳ）、コントローラ５の非安全レベル判定部１６は、非安全レベルを判定する（ステップＳ１０）。

【0066】

次に、コントローラ５の対策制御部１７は、非安全レベルが「大」か否かを判定する（ステップＳ１１）。ステップＳ１１において、非安全レベルが「大」である場合には（Ｓ１１：ＹＥＳ）、対策制御部１７は、該当する作業機械２０にエンジン停止の指示を送信する（ステップＳ１２）。エンジン停止の指示を受信した作業機械２０は、エンジンを停止させることになる。そして、ステップＳ１７に進む。

【0067】

一方、ステップＳ１１において、非安全レベルが「大」でない場合には（Ｓ１１：ＮＯ）、対策制御部１７は、非安全レベルが「中」か否かを判定する（ステップＳ１３）。ステップＳ１３において、非安全レベルが「中」である場合には（Ｓ１３：ＹＥＳ）、対策制御部１７は、警告装置から警告を発生させるとともに、該当する作業機械２０に作業停止の指示を送信する（ステップＳ１４）。作業停止の指示を受信した作業機械２０は、アタッチメント３０および旋回装置２５の動作を一時停止させることになる。そして、ステップＳ１７に進む。

【0068】

一方、ステップＳ１３において、非安全レベルが「中」でない場合には（Ｓ１３：ＮＯ）、対策制御部１７は、非安全レベルが「小」であると判定する（ステップＳ１５）。そして、対策制御部１７は、警告装置から警告を発生させる（ステップＳ１６）。そして、ステップＳ１７に進む。

【0069】

ステップＳ１７では、コントローラ５は、記憶装置６に記憶されている作業内容を更新する（ステップＳ１７）。これにより、ステップＳ８において、作業エリア設定部１４により、オペレータが搭乗した作業機械２０Ａ、および、遠隔操作される作業機械２０Ｂの各々に対して、作業内容が再設定されることになる。そして、ステップＳ８に戻る。

【0070】

（変形例）
なお、本実施形態では、作業現場内の物体（作業機械２０や人）の位置を三次元で取得し、これらと作業エリアとの関係から、非安全状態を検出するようにしている。しかし、作業現場内の物体（作業機械２０や人）の位置を二次元で取得し、これらと作業エリアとの関係から、非安全状態を検出するようにしてもよい。

【0071】

（効果）
以上に述べたように、本実施形態に係る作業現場監視システム１によれば、作業現場内の作業機械２０に対して、作業機械２０の種類に応じた作業エリアが設定される。そして、作業現場内の作業機械２０の位置と、作業エリアとに基づいて、非安全状態が検出される。複数種類の作業機械２０に対して、作業機械２０の種類に応じた作業エリアが設定されるので、複数種類の作業機械２０に対して一律に作業エリアが設定された場合に比べて、非安全状態を正確に検出することができる。これにより、複数種類の作業機械２０に対して一律に作業エリアが設定された場合に非安全状態として検出されていたような状態が、非安全状態として検出されなくなる場合がある。よって、報知や作業機械２０の停止などの対策を必要以上に行わなくて済むので、作業機械２０の作業効率の低下を抑制することができる。

【0072】

また、作業現場内の人の位置と、作業エリアとに基づいて、非安全状態が検出される。このとき、複数種類の作業機械２０に対して、作業機械２０の種類に応じた作業エリアが設定されているので、複数種類の作業機械２０に対して一律に作業エリアが設定された場合に比べて、非安全状態を正確に検出することができる。これにより、複数種類の作業機械２０に対して一律に作業エリアが設定された場合に非安全状態として検出されていたような状態が、非安全状態として検出されなくなる場合がある。よって、報知や作業機械２０の停止などの対策を必要以上に行わなくて済むので、作業機械２０の作業効率の低下を抑制することができる。

【0073】

また、作業エリア内に人が侵入した状態が、非安全状態として検出される。このような場合に、報知や作業機械２０の停止などの対策を行うことで、人と作業機械２０との衝突を未然に回避することができる場合がある。

【0074】

また、作業エリア内に作業機械２０が侵入した状態が、非安全状態として検出される。このような場合に、報知や作業機械２０の停止などの対策を行うことで、作業機械２０同士の衝突を未然に回避することができる場合がある。

【0075】

また、作業機械２０の機体が自身の作業エリアを逸脱した状態が、非安全状態として検出される。このような場合に、報知や作業機械２０の停止などの対策を行うことで、人と作業機械２０との衝突や、作業機械２０同士の衝突を未然に回避することができる場合がある。

【0076】

また、非安全レベルに応じて、警告および作業機械２０の停止の少なくとも一方が行われる。例えば、遠隔操作される作業機械２０Ｂと、自動運転される作業機械２０Ｃとの衝突のように、人的被害が発生しないような非安全レベルの場合に、警告を行うことで、作業機械２０同士の衝突を回避することができる場合がある。また、例えば、作業機械２０と人との衝突のように、人的被害が発生するような非安全レベルの場合に、作業機械２０の停止を行うことで、作業機械２０と人との衝突を回避することができる場合がある。

【0077】

また、自動運転される作業機械２０Ｃに対して、ティーチング情報（自動運転の作業計画情報）に基づいて作業エリアが設定される。自動運転される作業機械２０Ｃの作業内容は、ティーチング情報によって定められる。よって、ティーチング情報に基づいて作業エリアを設定することで、非安全状態をより正確に検出することができる。

【0078】

また、自動運転される作業機械２０Ｃに対して、オペレータが搭乗しているか否かの判定結果に基づいて作業エリアが設定される。例えば、自動運転される作業機械２０Ｃにオペレータが搭乗してティーチングなどを行っている場合、オペレータの操作の自由度を考慮して、自動運転される作業機械２０Ｃにオペレータが搭乗していない場合よりも、作業エリアを広く設定する。これにより、オペレータが搭乗しているか否かに関わらず一律に作業エリアを設定する場合に比べて、非安全状態をより正確に検出することができる。

【0079】

また、オペレータが搭乗した作業機械２０Ａ、および、遠隔操作される作業機械２０Ｂの各々に対して、記憶装置６が記憶する作業内容に基づいて作業エリアが設定される。オペレータが搭乗した作業機械２０Ａ、および、遠隔操作される作業機械２０Ｂが行う作業内容は、繰り返し作業であることが多い。このような作業内容を記憶装置６に記憶させて、これに基づいて作業エリアを設定することで、作業エリアを絞り込むことができる。これにより、作業エリアを絞り込まない場合に比べて、非安全状態をより正確に検出することができる。

【0080】

また、所定期間毎に、非安全レベル判定部１６の判定結果が外部に出力される。この判定結果を用いることで、作業現場における安全を徹底させるなどの対応を行うことができる。

【0081】

以上、本発明の実施形態を説明したが、具体例を例示したに過ぎず、特に本発明を限定するものではなく、具体的構成などは、適宜設計変更可能である。また、発明の実施の形態に記載された、作用及び効果は、本発明から生じる最も好適な作用及び効果を列挙したに過ぎず、本発明による作用及び効果は、本発明の実施の形態に記載されたものに限定されるものではない。

【符号の説明】

【0082】

１ 作業現場監視システム
２ カメラ（撮像手段、判定手段）
３ ＬｉＤＡＲ
５ コントローラ
６ 記憶装置
８ 通信装置
１１ 物体検出部（物体検出手段）
１２ 位置取得部（位置取得手段）
１３ 種類判別部（種類判別手段）
１４ 作業エリア設定部（作業エリア設定手段）
１５ 非安全状態検出部（非安全状態検出手段）
１６ 非安全レベル判定部（非安全レベル判定手段、出力手段）
１７ 対策制御部（制御手段）
２０ 作業機械
２１ 下部走行体
２２ 上部旋回体
２３ キャブ
２４ 機械本体
２５ 旋回装置
３０ アタッチメント
３１ ブーム
３２ アーム
３３ バケット
３４ リンク部材
４０ シリンダ
４１ ブームシリンダ
４２ アームシリンダ
４３ バケットシリンダ
５２ 角度センサ
６０ 傾斜角センサ
６１ ブーム傾斜角センサ
６２ アーム傾斜角センサ
６３ バケット傾斜角センサ
７１ コクピット
７２ タブレット
７３ 土砂ピット
７４ ダンプ
８１ 作業機械側コントローラ
８２ 作業機械側記憶装置
８３ 作業機械側通信装置
９０ 作業エリア
９５ 人

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】