特開 2022-177969 危機検知システム、危機検知方法、および、危機検知プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022177969

(43)【公開日】2022-12-02

(54)【発明の名称】危機検知システム、危機検知方法、および、危機検知プログラム

(51)【国際特許分類】

   G08B 25/04 20060101AFI20221125BHJP

   G06T 7/70 20170101ALI20221125BHJP

   G06Q 50/08 20120101ALI20221125BHJP

   G08B 21/02 20060101ALI20221125BHJP

【ＦＩ】

G08B25/04 K

G06T7/70 A

G06Q50/08

G08B21/02

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2021084418

(22)【出願日】2021-05-19

(71)【出願人】

【識別番号】000000549

【氏名又は名称】株式会社大林組

(74)【代理人】

【識別番号】100105957

【弁理士】

【氏名又は名称】恩田 誠

(74)【代理人】

【識別番号】100068755

【弁理士】

【氏名又は名称】恩田 博宣

(72)【発明者】

【氏名】山田 昇吾

(72)【発明者】

【氏名】山口 純一

【テーマコード（参考）】

5C086

5C087

5L049

5L096

【Ｆターム（参考）】

5C086AA53

5C086BA15

5C086BA17

5C086CA11

5C086DA08

5C086EA40

5C086EA45

5C086FA02

5C087AA32

5C087DD03

5C087DD33

5C087EE08

5C087FF01

5C087FF04

5C087GG08

5C087GG09

5C087GG10

5C087GG66

5C087GG84

5L049CC07

5L096AA09

5L096CA18

5L096DA03

5L096FA06

5L096FA60

5L096FA66

5L096FA69

5L096HA05

5L096MA07

(57)【要約】

【課題】重機と作業員とが接触する危機を高い精度で検知することができる危機検知システム、危機検知方法、および、プログラムを提供する。
【解決手段】危機検知システムは、重機が稼動する作業エリアの点群情報を取得する複数の三次元計測装置２１と、作業エリアで作業する作業員に対して警報を発する警告装置２３と、複数の三次元計測装置２１と警告装置２３とに対して通信可能に構成された管理装置２２と、を備え、管理装置２２は、点群情報に基づいて作業エリア内の移動体を検出する移動体検出部３４と、検出した移動体のなかから重機および作業員を検出する属性検出部３５と、作業員を示す移動体と重機との最小距離を計測する最小距離計測部３７と、最小距離が基準距離以下であることを条件に警告装置２３を駆動する警告部３９と、を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

重機が稼動する作業エリアの点群情報を取得する複数の三次元計測装置と、
前記複数の三次元計測装置に対して通信可能に構成された管理装置と、を備え、
前記管理装置は、
前記複数の三次元計測装置の相対位置を用いて前記点群情報を統合したエリア点群情報に基づいて、前記作業エリアから前記重機と前記重機以外の存在物とを検出する検出部と、
前記存在物と前記重機との最小距離を計測する最小距離計測部と、を有し、
前記最小距離が基準距離以下であることを条件に警告処理を実行する
危機検知システム。

【請求項2】

前記管理装置は、
前記エリア点群情報に基づいて、前記重機に対する前記存在物の基準位置を設定する基準位置設定部と、
前記最小距離が前記基準距離以下となった前記存在物について、前記最小距離と前記基準位置とを記録する記録部と、をさらに有する
請求項１に記載の危機検知システム。

【請求項3】

前記管理装置は、
任意の三次元計測装置を用いて他の三次元計測装置の点群情報を取得し、当該点群情報を用いて前記複数の三次元計測装置の相対位置を特定する
請求項１または２に記載の危機検知システム。

【請求項4】

重機が稼動する作業エリアの点群情報を取得する複数の三次元計測装置と、前記複数の三次元計測装置に対して通信可能に構成された管理装置と、を備えた危機検知システムを用いて、前記重機が接触する危機を検知する危機検知方法であって、
前記管理装置が、
前記複数の三次元計測装置の相対位置を用いて前記点群情報を統合したエリア点群情報に基づいて、前記作業エリアから前記重機と前記重機以外の存在物とを検出し、
前記存在物と前記重機との最小距離を計測し、
前記最小距離が基準距離以下であることを条件に警告処理を実行する
危機検知方法。

【請求項5】

重機が稼動する作業エリアの点群情報を取得する複数の三次元計測装置と、前記複数の三次元計測装置に対して通信可能に構成された管理装置と、を備えた危機検知システムを用いて、前記重機が接触する危機を検知するプログラムであって、
前記管理装置を、
前記複数の三次元計測装置の相対位置を用いて前記点群情報を統合したエリア点群情報に基づいて、前記作業エリアから前記重機と前記重機以外の存在物とを検出し、
前記存在物と前記重機との最小距離を計測し、
前記最小距離が基準距離以下であることを条件に警告処理を実行する手段として機能させる
危機検知プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、重機と作業員とが接触する危機を検知する危機検知システム、危機検知方法、および、危機検知プログラムに関する。

【背景技術】

【0002】

従来から、重機を用いた作業現場においては、重機と作業員とが接触する危機を検知して、その危機について警報を鳴らすことで作業員に通知する危機検知システムが知られている。こうした危機検知システムとして、例えば特許文献１には、作業現場を撮像した画像について画像解析処理を行うことにより、重機と作業員とが接触する危機を検知する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１７－０３３０４７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に記載の技術では、リアルタイムでの危機の検知を具現化するべく画像解析処理の処理速度を高くすると、重機の位置および作業員の位置についての検出精度が低くなるため、誤検知する頻度が高かった。

【課題を解決するための手段】

【0005】

上記課題を解決する危機検知システムは、重機が稼動する作業エリアの点群情報を取得する複数の三次元計測装置と、前記複数の三次元計測装置に対して通信可能に構成された管理装置と、を備え、前記管理装置は、前記複数の三次元計測装置の相対位置を用いて前記点群情報を統合したエリア点群情報に基づいて、前記作業エリアから前記重機と前記重機以外の存在物とを検出する検出部と、前記存在物と前記重機との最小距離を計測する最小距離計測部と、を有し、前記最小距離が基準距離以下であることを条件に警告処理を実行する。

【発明の効果】

【0006】

本発明によれば、重機と作業員とが接触する危機を高い精度で検知することができる。

【図面の簡単な説明】

【0007】

【図1】危機検知システムの一実施形態の概略構成を示す図。

【図2】危機検知システムの概略構成を示す機能ブロック図。

【図3】危機検知処理を示すフローチャート。

【図4】エリア点群情報に基づいて外形形状を決定する過程を示すイメージ図。

【図5】作業員と重機との最小距離を示すイメージ図。

【図6】安全管理情報を示すイメージ図。

【発明を実施するための形態】

【0008】

図１～図６を参照して、危機検知システム、危機検知方法、および、危機検知プログラムの一実施形態について説明する。
図１に示すように、危機検知システム２０は、作業員１１が作業する作業エリア１２において重機１３が稼動する場合に、作業員１１と重機１３とが接触する可能性を検知して作業員１１に警告するシステムである。危機検知システム２０は、複数の三次元計測装置２１、管理装置２２、警告装置２３を備える。複数の三次元計測装置２１および警告装置２３は、管理装置２２と通信可能に構成されている。なお、作業エリア１２においては、複数台の重機１３が稼動していてもよい。

【0009】

複数の三次元計測装置２１は、作業エリア１２を取り囲むように作業エリア１２の外周部に設置されている。各三次元計測装置２１は、例えば、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）である。ＬｉＤＡＲは、例えば、その計測範囲に照射したレーザ光の反射光をセンサで検知することで、照射位置から計測範囲に存在する物体までの距離を計測する。各三次元計測装置２１は、レーザ光の照射方向と各照射方向における物体までの距離とに基づいて、物体表面の座標を示す点群情報を取得する。点群情報を構成する座標は、各三次元計測装置２１の基準点を原点として定められる。複数の三次元計測装置２１は、作業エリア１２に存在する全ての物体が検出されるように、すなわち作業エリア１２に死角が存在しないように設置される。各三次元計測装置２１は、管理装置２２からの計測指示により計測を開始する。各三次元計測装置２１は、計測により取得した点群情報を管理装置２２に出力する。

【0010】

管理装置２２は、各種情報を取得し、その取得した各種の情報、および、メモリーに記憶したプログラムや各種のデータに基づいて各種の処理を実行する。管理装置２２は、ＡＳＩＣ等の１つ以上の専用のハードウェア回路、コンピュータプログラム（ソフトウェア）に従って動作する１つ以上のプロセッサ、或いは、それらの組み合わせ、を含む回路として構成し得る。プロセッサは、ＣＰＵ並びに、ＲＡＭ及びＲＯＭ等のメモリーを含み、メモリーは、処理をＣＰＵに実行させるように構成されたプログラムコードまたは指令を格納している。メモリーすなわちコンピューター可読媒体は、汎用または専用のコンピューターでアクセスできるあらゆる利用可能な媒体を含む。管理装置２２は、各三次元計測装置２１からの点群情報などに基づいて各種処理を実行し、作業員１１と重機１３とが接触する可能性がある場合に警告装置２３に対して警告信号を出力する。

【0011】

警告装置２３は、管理装置２２から警告信号が入力されることにより警報を鳴らす装置である。警告装置２３は、作業エリア１２周辺に設けられている。警告装置２３は、重機１３に搭載されていることが好ましい。また、警告装置２３は、重機１３が旋回可能なアームなどの可動部を有している場合には、その可動部に搭載されていることが好ましい。

【0012】

（管理装置）
図２に示すように、管理装置２２には、三次元計測装置２１および警告装置２３のほか、入力装置２４と表示装置２５とが通信可能に接続されている。

【0013】

入力装置２４は、キーボードやポインティングデバイス等を備える。入力装置２４は、各種情報や各種処理の実行指示等を管理装置２２に入力する。各種情報の一例は、後述する重機１３に対応する基準距離Ｒなどである。表示装置２５は、管理装置２２が実行する処理についての情報などを表示する。

【0014】

管理装置２２は、各種処理を実行する処理部３０を有する。処理部３０は、相対座標取得処理と危機検知処理とを実行する。処理部３０は、危機検知プログラムの実行により機能する機能部として、相対座標取得部３１、変換部３２、分類部３３、移動体検出部３４、属性検出部３５、基準位置設定部３６、最小距離計測部３７、判定部３８、警告部３９、および、記録部４０を備える。

【0015】

（相対座標取得処理）
相対座標取得処理は、複数の三次元計測装置２１の設置後、入力装置２４において相対座標取得操作が行われることにより開始される。相対座標取得処理は、危機検知処理に先立って実行される処理である。相対座標取得処理は、複数の三次元計測装置２１の相対位置を示す相対座標を特定する処理である。

【0016】

この処理において、相対座標取得部３１は、例えば、１つの三次元計測装置２１を用いて作業エリア１２の計測を行い、他の三次元計測装置２１を含む点群情報を取得する。この点群情報は、上記１つの三次元計測装置２１の基準点を原点とした三次元座標系の座標で構成されている。次に、相対座標取得部３１は、取得した点群情報に基づいて、他の三次元計測装置２１の各々について基準点の座標を求める。そして、相対座標取得部３１は、その求めた基準点の座標に基づいて、複数の三次元計測装置２１の基準点についての相対座標を相対座標情報として記憶する。

【0017】

（危機検知処理）
危機検知処理は、入力装置２４において危機検知操作が行われることにより開始される。危機検知処理が開始されると、各三次元計測装置２１は、作業エリア１２の計測を開始する。各三次元計測装置２１は、計測した点群情報を所定の周期で管理装置２２に出力する。

【0018】

図３に示すように、危機検知処理は、変換処理（ステップＳ１０１）、分類処理（ステップＳ１０２）、移動体検出処理（ステップＳ１０３）、属性検出処理（ステップＳ１０４）、基準位置設定処理（ステップＳ１０５）、最小距離計測処理（ステップＳ１０６）、判定処理（ステップＳ１０７）、および、警告処理（ステップＳ１０８）を備える。

【0019】

変換処理（ステップＳ１０１）は、各三次元計測装置２１からの点群情報を統合して、これらの点群情報を構成する座標をエリア座標系の座標に変換する処理である。エリア座標系は、複数ある三次元計測装置２１の基準点のうちの１つを基準とした座標系であり、その基準点を原点として作業エリア１２を表す三次元座標系である。この処理において、変換部３２は、三次元計測装置２１ごとに、点群情報を構成する座標に対して相対座標情報に基づく相対座標を加算することにより、各座標をエリア座標系の座標であるエリア座標に変換する。変換部３２は、エリア座標で構成された点群情報であるエリア点群情報を記憶する。

【0020】

分類処理（ステップＳ１０２）は、エリア点群情報を構成する各エリア座標点について背景を示す背景座標点と背景以外の物体を示す物体座標点とに分類する処理である。この処理において、分類部３３は、例えば、エリア点群情報を構成するエリア座標点の変化に基づいて、各エリア座標点を背景座標点と物体座標点とに分類する。

【0021】

移動体検出処理（ステップＳ１０３）は、作業エリア１２における移動体を検出する処理である。
この処理において、移動体検出部３４は、分類部３３によって分類された物体座標点についてクラスタリングを行うことでクラスタ分けを行う。移動体検出部３４は、例えば、物体座標点同士の距離に基づいてクラスタリングを行う。移動体検出部３４は、クラスタリングによって分けられた各クラスタを移動体として検出するとともに各移動体の外形形状を決定する。移動体検出部３４は、検出した移動体ごとに異なる識別番号（ＩＤ）を付与する。移動体検出部３４は、その検出した移動体にＩＤを関連付けた移動軌跡を記録する。そして、移動体検出部３４は、記録された移動軌跡に基づいて移動体を追尾し、同一の移動体に対しては同一のＩＤを付与する。

【0022】

例えば、図４に示すように、移動体検出部３４は、クラスタリングにより、作業員１１を表す物体座標点５１の集合を移動体の１つとして検出し、輪郭線５３によって表されるように外形形状を決定する。また、移動体検出部３４は、重機１３を表す物体座標点５２の集合を移動体の１つとして検出し、輪郭線５４によって表されるように外形形状を決定する。

【0023】

属性検出処理（ステップＳ１０４）は、移動体検出処理によって検出された移動体の属性を検出する処理である。この処理において、属性検出部３５は、属性ごとに規定された条件に基づいて、各移動体の属性を検出する。

【0024】

図４に示すように、属性検出部３５は、例えば、輪郭線５３で示されるような属性として人の条件を満たす移動体を作業員１１として検出する。属性検出部３５は、輪郭線５４で示されるような属性として重機の条件を満たす移動体を重機１３として検出する。これらの条件は、外形形状や大きさなどについて規定されている。属性検出部３５は、各移動体のＩＤに対して、その属性を示す番号を付与する。すなわち、作業員１１として検出された移動体に対して作業員固有のＩＤ：Ｈｉが付与され、重機１３として検出された移動体に対して重機固有のＩＤ：Ｍｊが付与される。なお、ｉ，ｊは、自然数である。

【0025】

基準位置設定処理（ステップＳ１０５）は、作業員１１として検出されたＩＤ：Ｈｉの移動体ごとに基準位置を設定する処理である。
図５に示すように、この処理において、基準位置設定部３６は、例えば、その移動体の重心座標を基準位置ｋｉｊに設定する。この重心座標は、水平面方向における重心座標であることが好ましい。

【0026】

最小距離計測処理（ステップＳ１０６）は、重機１３と作業員１１との最小距離ｒを計測する処理である。
図５に示すように、この処理において、最小距離計測部３７は、作業員１１を示すＩＤ：Ｈｉの外形形状と重機１３を示すＩＤ：Ｍｊの外形形状とに基づいて、各作業員１１と重機１３との間の最小距離ｒｉｊを計測する。ＩＤ：Ｈｉの作業員１１とＩＤ：Ｍｊの重機１３との最小距離は、最小距離ｒｉｊで示される。最小距離計測部３７は、作業員１１を構成する物体座標点と重機１３を構成する物体座標点とに基づいて最小距離ｒｉｊを計測する。最小距離計測部３７は、立体物を水平面に投影した場合の最小距離ｒｉｊを算出することが好ましい。これにより、例えば、重機１３の可動部が作業員１１の頭上を通過する際などにも警報を発することができる。

【0027】

判定処理（ステップＳ１０７）は、最小距離ｒｉｊが基準距離Ｒ以下であるか否かを判定する処理である。この処理において、判定部３８は、最小距離ｒｉｊ、すなわち、全ての作業員１１についての最小距離ｒが基準距離Ｒ以下であるか否かを判定する。基準距離Ｒは、重機１３の種類ごとに設定されることが好ましい。最小距離ｒｉｊが基準距離Ｒよりも大きい場合（ステップＳ１０７：ＮＯ）、処理部３０は、（ステップＳ１０１）に戻って一連の処理を繰り返し実行する。

【0028】

警告処理（ステップＳ１０８）は、最小距離ｒｉｊが基準距離Ｒ以下である場合（ステップＳ１０７：ＹＥＳ）、すなわち、いずれかの作業員１１についての最小距離ｒが基準距離Ｒ以下である場合に実行される。最小距離ｒｉｊが基準距離Ｒ以下であるという条件が成立することにより、管理装置２２は、重機１３と作業員１１とが接触する危機を検知する。警告処理において、警告部３９は、警告装置２３へ警報信号を入力する。これにより、警告装置２３から警報音が鳴る。このように、警告部３９は、警告装置２３の駆動を通じて、作業員１１に対して重機１３との接触が迫っていることを警告する。

【0029】

また、図６に示すように、警告処理において、記録部４０は、安全管理情報を記録する。安全管理情報は、重機１３ごとに、警告時における重機１３に対する作業員１１の基準位置ｋｎ（ｎは自然数）およびそのときの最小距離ｒｎを関連付けた情報である。すなわち、安全管理情報は、重機１３ごとに、その重機１３に対する危険箇所を示す情報である。基準位置ｋｎは、例えば、水平面方向における重機１３の重心位置を原点とした座標であることが好ましい。

【0030】

本実施形態の効果について説明する。
（１）危機検知システム２０においては、作業エリア１２における移動体の検出に三次元計測装置２１を用いている。これにより、作業エリア１２における移動体を、その外形形状や属性について高い精度のもとで検出することができる。その結果、重機１３と作業員１１とが接触する危機を高い精度のもとで検知することができる。

【0031】

（２）管理装置２２は、警告時における作業員１１の基準位置ｋｎとそのときの最小距離ｒｎとを示す安全管理情報を記録する。これにより、重機１３の種類ごとに、その重機１３に対する危険箇所を把握することができる。その結果、作業の手順や作業道具の置き場等、作業員１１の動線を考慮したうえで作業計画を立てることができる。

【0032】

（３）管理装置２２は、任意の三次元計測装置２１で他の三次元計測装置２１の点群情報を取得し、その点群情報を用いて複数の三次元計測装置２１の相対位置を特定している。これにより、複数の三次元計測装置２１の設置位置についての自由度を向上させることができる。

【0033】

（４）警告装置２３が重機１３に設けられている。これにより、警報音発生時、作業員１１にとっては重機１３の方から警報音が聞こえるため、自分に迫っている危険をより早く察知することができる。

【0034】

（５）検出された移動体の各々には、固有のＩＤが付与される。また、移動体検出部３４は、各ＩＤの移動体について移動軌跡を記録し、その記録した移動軌跡に基づいてＩＤを付与する。これにより、同一の移動体については同一のＩＤを付与することができる。また、重機１３を用いた作業計画を立てる際に、その記録された移動軌跡を考慮することで、さらなる安全性を確保することができる。

【0035】

本実施形態は、以下のように変更して実施することができる。本実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
・警告装置２３は、作業エリア１２の周辺に設けられていればよく、重機１３に設けられていなくともよい。

【0036】

・管理装置２２は、安全管理情報を記録しなくともよい。こうした構成であっても、上記（１）に記載した効果に準ずる効果を得ることができる。
・管理装置２２は、作業員１１と重機１３とが接触する危機を検知した場合に限らず、重機１３が重機１３以外の存在物に接触する危機を検知した場合に警告してもよい。重機１３以外の存在物は、例えば、他の作業ロボットや資材などが挙げられる。

【0037】

・危機検知は、警告処理（ステップＳ１０８）の実行後、再びステップＳ１０１の処理に戻って一連の処理を繰り返し実行してもよい。この場合、再度の警告処理においては、最小距離ｒが小さいほど警報音量が大きくなるように、最小距離ｒに応じて警報音量を調整してもよい。

【符号の説明】

【0038】

１１…作業員、１２…作業エリア、１３…重機、２０…危機検知システム、２１…三次元計測装置、２２…管理装置、２３…警告装置、２４…入力装置、２５…表示装置、３０…処理部、３１…相対座標取得部、３２…変換部、３３…分類部、３４…移動体検出部、３５…属性検出部、３６…基準位置設定部、３７…最小距離計測部、３８…判定部、３９…警告部、４０…記録部、５１，５２…物体座標点、５３，５４…輪郭線。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】