特開 2024-163705 監視装置、プログラムおよび報知方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024163705

(43)【公開日】2024-11-22

(54)【発明の名称】監視装置、プログラムおよび報知方法

(51)【国際特許分類】

   G06T 7/70 20170101AFI20241115BHJP

   E02F 9/24 20060101ALI20241115BHJP

【ＦＩ】

G06T7/70 A

E02F9/24 B

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2023079546

(22)【出願日】2023-05-12

(71)【出願人】

【識別番号】514274487

【氏名又は名称】リコーインダストリアルソリューションズ株式会社

(74)【代理人】

【識別番号】100089118

【弁理士】

【氏名又は名称】酒井 宏明

(72)【発明者】

【氏名】岸和田 潤

(72)【発明者】

【氏名】佃 友介

【テーマコード（参考）】

2D015

5L096

【Ｆターム（参考）】

2D015GA03

2D015GB06

2D015GB07

5L096AA06

5L096AA09

5L096BA02

5L096CA04

5L096DA01

5L096DA02

5L096DA03

5L096FA16

5L096FA32

5L096FA62

5L096FA64

5L096FA66

5L096FA69

5L096GA34

5L096GA51

5L096HA05

5L096JA11

(57)【要約】

【課題】設定している実空間上の閾値（例えば、危険エリア）を撮影画像上に正確表現する。
【解決手段】作業機械の作業状態を監視する監視装置において、撮影画像および距離情報を用いて、監視のターゲットとなる対象物の三次元位置情報を検出する物体検出部と、前記物体検出部で取得した対象物の三次元位置情報に基づき、前記作業機械による作業について安全か否かを判定する作業内容判定部と、前記物体検出部で取得した対象物の三次元位置情報に基づき、設定している実空間上の閾値の前記撮影画像内の二次元座標を算出する二次元変換部と、前記二次元座標に従って前記実空間上の閾値を前記撮影画像に重畳するとともに、前記作業内容判定部で判定した結果を報知する報知部と、を備える。
【選択図】図３

【特許請求の範囲】

【請求項1】

作業機械の作業状態を監視する監視装置において、
撮影画像および距離情報を用いて、監視のターゲットとなる対象物の三次元位置情報を検出する物体検出部と、
前記物体検出部で取得した対象物の三次元位置情報に基づき、前記作業機械による作業について安全か否かを判定する作業内容判定部と、
前記物体検出部で取得した対象物の三次元位置情報に基づき、設定している実空間上の閾値の前記撮影画像内の二次元座標を算出する二次元変換部と、
前記二次元座標に従って前記実空間上の閾値を前記撮影画像に重畳するとともに、前記作業内容判定部で判定した結果を報知する報知部と、
を備えることを特徴とする監視装置。

【請求項2】

前記対象物の三次元位置情報の検出に用いる前記撮影画像および前記距離情報を受信するデータ受信部を備える、
ことを特徴とする請求項１に記載の監視装置。

【請求項3】

前記作業機械は、クレーンであって、
前記対象物は、作業者、前記クレーンのフック、前記クレーンのフックに吊り下げる荷物であり、
前記物体検出部は、前記対象物の三次元位置情報を、前記フックまたは前記荷物の位置（Ｘ，Ｙ）を中心としたとき、ＸＹ平面上の所定範囲に存在する前記作業者の高さから算出し、
前記二次元変換部は、前記作業者または前記フックを中心とした所定範囲内での前記作業者の高さ情報を用いることで、前記作業者の作業位置を基準とした実空間上の閾値の前記撮影画像内の二次元座標を算出する、
ことを特徴とする請求項１に記載の監視装置。

【請求項4】

前記作業機械は、クレーンであって、
前記対象物は、作業者、前記クレーンのフック、前記クレーンのフックに吊り下げる荷物であり、
前記物体検出部は、前記対象物の三次元位置情報を、前記フックまたは前記荷物の位置（Ｘ，Ｙ）を中心としたとき、ＸＹ平面上の所定範囲に存在する前記作業者、前記フック、前記荷物以外の距離情報から算出し、
前記二次元変換部は、前記作業者または前記フックを中心とした所定範囲内での前記作業者、前記フック、前記荷物以外の距離情報を用いることで、実空間上の閾値の前記撮影画像内の二次元座標を算出する、
ことを特徴とする請求項１に記載の監視装置。

【請求項5】

前記二次元変換部は、実空間上のサイズを前記撮影画像上の二次元サイズに下記式で変換する、
Ｉ＝（Ｓ＊ｆ）／（Ｚ＊Ｐ）
Ｉ：対象物のピクセルサイズ［ｐｉｘ］
Ｓ：対象物の実サイズ［ｍｍ］
Ｐ：撮影画像の画素ピッチ［ｍｍ］
Ｚ：撮影画像を撮影する撮影装置と作業位置の距離［ｍｍ］
ｆ：撮影画像を撮影する撮影装置の焦点距離［ｍｍ］
ことを特徴とする請求項１に記載の監視装置。

【請求項6】

作業機械の作業状態を監視する監視装置を制御するコンピュータを、
撮影画像および距離情報を用いて、監視のターゲットとなる対象物の三次元位置情報を検出する物体検出部と、
前記物体検出部で取得した対象物の三次元位置情報に基づき、前記作業機械による作業について安全か否かを判定する作業内容判定部と、
前記物体検出部で取得した対象物の三次元位置情報に基づき、設定している実空間上の閾値の前記撮影画像内の二次元座標を算出する二次元変換部と、
前記二次元座標に従って前記実空間上の閾値を前記撮影画像に重畳するとともに、前記作業内容判定部で判定した結果を報知する報知部と、
として機能させるためのプログラム。

【請求項7】

作業機械の作業状態を監視する監視装置における報知方法であって、
撮影画像および距離情報を用いて、監視のターゲットとなる対象物の三次元位置情報を検出する物体検出工程と、
前記物体検出工程で取得した対象物の三次元位置情報に基づき、前記作業機械による作業について安全か否かを判定する作業内容判定工程と、
前記物体検出工程で取得した対象物の三次元位置情報に基づき、設定している実空間上の閾値の前記撮影画像内の二次元座標を算出する二次元変換工程と、
前記二次元座標に従って前記実空間上の閾値を前記撮影画像に重畳するとともに、前記作業内容判定工程で判定した結果を報知する報知工程と、
を含むことを特徴とする報知方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、監視装置、プログラムおよび報知方法に関する。

【背景技術】

【0002】

特許文献１には、作業機械のブーム先端に下方に向けて設けられた撮像装置が撮影した作業領域の画像データを解析して作業者と吊り荷とを検出し、またアンテナにより取得された位置情報により高さ情報を取得し、三次元空間における位置関係から警報を出力する施工支援システムが開示されている。特許文献１の施工支援システムによれば、作業者および吊り荷の検出結果が、設定している実空間上の閾値（例えば、危険エリア）とともに画像に重畳された形で表示される。

【発明の概要】

【発明が解決しようとする課題】

【0003】

しかしながら、従来技術によれば、作業者および吊り荷の検出結果を、設定している実空間上の閾値（例えば、危険エリア）とともに画像に重畳された形で表示する際において、実空間上の情報を反映していないため、閾値（例えば、危険エリア）の把握が正確にできない問題があった。

【0004】

例えば、作業機械のブーム先端に下方に向けて設けられた撮像装置で撮影した場合、吊り荷や作業者はシーンによって撮像装置までの距離が変わることになる。この場合、画像上ではサイズが変更されるため、実空間上の位置を閾値（例えば、危険エリア）として設けた場合、二次元で表現される画像ではうまく表現できなかった。

【0005】

本発明は、上記に鑑みてなされたものであって、設定している実空間上の閾値（例えば、危険エリア）を撮影画像上に正確表現することを目的とする。

【課題を解決するための手段】

【0006】

上述した課題を解決し、目的を達成するために、本発明は、作業機械の作業状態を監視する監視装置において、撮影画像および距離情報を用いて、監視のターゲットとなる対象物の三次元位置情報を検出する物体検出部と、前記物体検出部で取得した対象物の三次元位置情報に基づき、前記作業機械による作業について安全か否かを判定する作業内容判定部と、前記物体検出部で取得した対象物の三次元位置情報に基づき、設定している実空間上の閾値の前記撮影画像内の二次元座標を算出する二次元変換部と、前記二次元座標に従って前記実空間上の閾値を前記撮影画像に重畳するとともに、前記作業内容判定部で判定した結果を報知する報知部と、を備えることを特徴とする。

【発明の効果】

【0007】

本発明によれば、設定している実空間上の閾値（例えば、危険エリア）を撮影画像上に正確表現することができる、という効果を奏する。

【図面の簡単な説明】

【0008】

【図1】図１は、実施の形態にかかるクレーンシステムの全体構成図である。

【図2】図２は、監視装置のハードウエア構成の一例を示すブロック図である。

【図3】図３は、監視装置が実現する機能を示す機能ブロック図である。

【図4】図４は、撮影画像における荷物と実空間上の閾値である危険エリアとの関係を示す図である。

【図5】図５は、監視装置における処理作業内容の判定処理の流れを概略的に示すフローチャートである。

【図6】図６は、作業内容判定部による作業内容の具体的な判定例を示す、作業を真上から俯瞰して見た図である。

【図7】図７は、図６の判定例の対象箇所を拡大して示す図である。

【発明を実施するための形態】

【0009】

以下に添付図面を参照して、監視装置、プログラムおよび報知方法の実施の形態を詳細に説明する。

【0010】

図１は、実施の形態にかかるクレーンシステム１の全体構成図である。本実施形態のクレーンシステム１は、監視装置９、通信端末１０、クレーン制御装置３０、及び管理サーバ５０によって構築されている。

【0011】

監視装置９、通信端末１０、クレーン制御装置３０、及び管理サーバ５０は、通信ネットワーク１００を介して通信することができる。通信ネットワーク１００は、インターネット、移動体通信網、ＬＡＮ（Local Area Network）等によって構築されている。通信ネットワーク１００には、有線通信だけでなく、３Ｇ（3rd Generation）、ＷｉＭＡＸ（Worldwide Interoperability for Microwave Access）、ＬＴＥ（Long Term Evolution）等の無線通信によるネットワークが含まれてもよい。

【0012】

監視装置９とクレーン制御装置３０は、クレーン２１０の作業現場に設けられている。監視装置９とクレーン制御装置３０は、それぞれクレーン２１０と一体で構成されていてもよい。現場のオペレータは、クレーン制御装置３０により、現場の作業内容を確認することができる。また、遠隔地の管理者は、通信端末１０により、現場の作業内容を確認することができる。

【0013】

監視装置９は、カメラ等の撮影装置７、および距離センサ８を備える。撮影装置７は、クレーン２１０に設けられる。撮影装置７は、クレーン２１０のフック２２１、荷物Ｐ、およびその周辺の物体や作業者Ｗ等の被写体を撮影して、画像データ、色、輝度情報などの撮影画像（二次元データ）を取得する。距離センサ８は、クレーン２１０に設けられる。距離センサ８は、撮影装置７によって撮影された被写体との距離を計測して、点群データなどの距離情報（三次元データ）を取得する。

【0014】

撮影装置７は、タイムラプス画像や動画を取得してもよく、その場合、距離センサ８は、撮影装置７のフレームレートに同期して、距離情報を取得する。

【0015】

距離センサ８は、ＴｏＦセンサ（Time of Flight）である。距離センサ８は、光源から物体にレーザ光を照射し、その散乱や反射光を計測することにより、光源から物体までの距離を測定する。

【0016】

具体的には、距離センサ８は、ＬｉＤＡＲ（Light Detection and Ranging）センサである。ＬｉＤＡＲとは、パルスを用いて光飛行時間を測定する方式であるが、ＴｏＦセンサのその他の方式として、位相差検出方式で距離を計測してもよい。位相差検出方式では、基本周波数で振幅変調したレーザ光を計測範囲に照射した照射光と反射光との位相差を測定することで求めた時間に対し、光速をかけて距離を算出する。

【0017】

なお、本実施形態においては、監視装置９は、撮影装置７と距離センサ８を備えるようにしたが、これに限るものではない。例えば、監視装置９は、撮影装置７と距離センサ８に代えて、２つ以上のカメラを用いて三次元測定可能なステレオカメラを備え、ステレオカメラにより撮影画像および距離情報を取得しても良い。

【0018】

監視装置９は、撮影画像および距離情報に基づいて、対象物（例えば、作業者Ｗ、クレーン２１０のフック２２１、クレーン２１０のフック２２１に吊り下げる荷物（吊り荷）Ｐ）を検出するとともに、対象物の三次元位置情報を取得する。より詳細には、監視装置９は、検出した対象物の三次元位置情報から基準となる位置を設定する。監視装置９は、対象物、および対象物の三次元位置情報に基づき、クレーン２１０の作業状況を判定する。監視装置９は、判定したクレーン２１０の作業状況を、クレーン制御装置３０に伝える。

【0019】

加えて、監視装置９は、作業者Ｗの三次元位置情報から、作業者Ｗに対する環境での危険エリアを決め、撮影画像における座標を逆算し、表示装置９２５（図２参照）に描画することで、表示装置９２５上で設定している実空間上の閾値を画像上に正確に表現する。

【0020】

クレーン制御装置３０は、監視装置９から伝達された作業状況に合わせて、クレーン２１０を制御する装置である。例えば、クレーン制御装置３０は、作業者Ｗが吊り荷に近づき過ぎる危険な状態であれば、クレーン２１０の動作を停止するなどの安全制御を行う。

【0021】

続いて、監視装置９のハードウエア構成について説明する。

【0022】

ここで、図２は監視装置９のハードウエア構成の一例を示すブロック図である。図２に示すように、監視装置９は、図１に示されているような撮影装置７および距離センサ８とともに、監視装置９の処理または動作を制御するコントローラ９００を備える。

【0023】

コントローラ９００は、撮影装置Ｉ／Ｆ（Interface）９０１、センサ装置Ｉ／Ｆ９０２、バスライン９１０、ＣＰＵ（Central Processing Unit）９１１、ＲＯＭ（Read Only Memory）９１２、ＲＡＭ（Random Access Memory）９１３、ＨＤ（Hard Disk）９１５、ＨＤＤ（Hard Disk Drive）コントローラ９１４、ネットワークＩ／Ｆ９１６、ＤＶＤ－ＲＷ（Digital Versatile Disc Rewritable）ドライブ９１８、メディアＩ／Ｆ９２２、外部機器接続Ｉ／Ｆ９２３、タイマ９２４および表示装置９２５を備えている。

【0024】

これらのうち、撮影装置Ｉ／Ｆ９０１は、撮影装置７との間で各種データまたは情報の送受信を行うためのインターフェースである。センサ装置Ｉ／Ｆ９０２は、距離センサ８との間で各種データまたは情報の送受信を行うためのインターフェースである。バスライン９１０は、図２に示されているＣＰＵ９１１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

【0025】

また、ＣＰＵ９１１は、監視装置９全体の動作を制御する。ＲＯＭ９１２は、ＩＰＬ等のＣＰＵ９１１の駆動に用いられるプログラムを記憶する。ＲＡＭ９１３は、ＣＰＵ９１１のワークエリアとして使用される。ＨＤ９１５は、プログラム等の各種データを記憶する。ＨＤＤコントローラ９１４は、ＣＰＵ９１１の制御にしたがってＨＤ９１５に対する各種データの読み出しまたは書き込みを制御する。ネットワークＩ／Ｆ９１６は、通信ネットワーク１００を利用してデータ通信をするためのインターフェースである。

【0026】

ＤＶＤ－ＲＷドライブ９１８は、着脱可能な記録媒体の一例としてのＤＶＤ－ＲＷ９１７に対する各種データの読み出しまたは書き込みを制御する。なお、ＤＶＤ－ＲＷに限らず、ＤＶＤ－ＲやＢｌｕ－ｒａｙ（登録商標） Ｄｉｓｃ（ブルーレイディスク）等であってもよい。メディアＩ／Ｆ９２２は、フラッシュメモリ等の記録メディア９２１に対するデータの読み出しまたは書き込み（記憶）を制御する。外部機器接続Ｉ／Ｆ９２３は、外部ＰＣ９３０等の外部機器を接続するためのインターフェースである。タイマ９２４は、時間計測機能を有する計測装置である。タイマ９２４は、コンピュータによるソフトタイマでもよい。

【0027】

本実施形態の監視装置９で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

【0028】

また、本実施形態の監視装置９で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の監視装置９で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。また、本実施形態の監視装置９で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

【0029】

表示装置９２５は、監視装置９からの描画内容（例えば、後述する図６など参照）を表示するデバイスである。なお、表示装置９２５は、モニタ装置であってもよいし、タブレット端末またはＰＣ（Personal Computer）などの外部ＰＣ９３０であってもよい。

【0030】

続いて、監視装置９が実現する機能について説明する。

【0031】

ここで、図３は監視装置９が実現する機能を示す機能ブロック図である。図３に示すように、監視装置９は、データ受信部９１と、物体検出部９２と、作業内容判定部９３と、二次元変換部９４と、報知部として機能する表示制御部９５と、を有している。これら各部は、図２に示されている各構成要素のいずれかが、ＨＤ９１５からＲＡＭ９１３上に展開されたプログラムに従ったＣＰＵ９１１からの命令によって動作することで実現される機能、又は機能する手段である。監視装置９は、各機能が次のような役割を果たすことで、クレーン制御装置３０への作業状況の通知と表示装置９２５への描画を行う。

【0032】

データ受信部９１は、撮影装置７が撮像した撮影画像を受信し、距離センサ８が計測した距離情報を受信する。

【0033】

物体検出部９２は、データ受信部９１から撮影画像および距離情報を受け取る。物体検出部９２は、撮影画像および距離情報を用いて、監視のターゲットとなる画像上の対象物（例えば、作業者Ｗ、クレーン２１０のフック２２１、クレーン２１０のフック２２１に吊り下げる荷物（吊り荷）Ｐ）を検出する。物体検出部９２は、対象物の検出方法として、対象物の持つ画像上の特徴量を用いて演繹的に設計された検出アルゴリズムを用いてもよいし、あらかじめ作成されたモデルとの類似性に基づき、検出することを特徴とする学習アルゴリズムを用いてもよい。

【0034】

また、物体検出部９２は、検出した範囲内の三次元位置情報の中央値や平均値から、監視のターゲットとなる対象物の三次元位置情報を検出する。対象物の三次元位置情報を検出することで、実空間上で安全監視が可能となる。例えば、吊り荷作業で最も危ないシーンは、クレーン２１０のフック２２１で荷物Ｐを吊っている状況である。クレーン２１０のフック２２１で荷物Ｐを吊っているときに荷物Ｐが動き、最悪の場合に落下する危険性がある。

【0035】

作業内容判定部９３は、物体検出部９２で取得した対象物の三次元位置情報に基づき、今現在、クレーン２１０による作業について、安全か否か（安全な状態か、あるいは危険な状態か）を、判定する。具体的には、作業内容判定部９３は、クレーン２１０のフック２２１と荷物Ｐとの相対的な三次元位置情報（例えば、フック２２１と荷物Ｐとがｘ、ｙ、ｚそれぞれ２ｍ以内にあるとき）を把握することで、荷物Ｐが吊られているかどうかを判定する。作業内容判定部９３は、吊られている荷物（吊り荷）Ｐの所定の範囲（例えば、吊られている荷物Ｐを中心として半径３ｍの範囲）内に作業者Ｗが存在する場合に、危険と判定することで、本当に危険な作業を検出することができる。

【0036】

二次元変換部９４は、物体検出部９２で取得した対象物の中から検出した荷物Ｐの三次元位置情報に基づき、設定している実空間上の閾値である危険エリアの撮影画像内の二次元座標を算出する。

【0037】

二次元変換部９４は、例えば理想的なピンホール画像へ補正がされている撮影装置７の場合、下記式（式１）で実空間上のサイズ［ｍｍ］を撮影画像上の二次元サイズ［ｐｉｘ］に変換する。
Ｉ＝（Ｓ＊ｆ）／（Ｚ＊Ｐ）…（式１）
Ｉ：対象物の撮影画像上の二次元のピクセルサイズ［ｐｉｘ］
Ｓ：対象物の実空間上のサイズ［ｍｍ］
Ｐ：撮影画像の画素ピッチ［ｍｍ］
Ｚ：撮影画像を撮影する撮影装置と作業位置の距離［ｍｍ］
ｆ：撮影画像を撮影する撮影装置の焦点距離［ｍｍ］

【0038】

例えば、下記の条件において、対象物の実空間上のサイズが２，０００ｍｍの場合、対象物の撮影画像上の二次元のピクセルサイズは、以下のようになる。
二次元のピクセルサイズ［ｐｉｘ］＝２，０００／（０．００６＊１０，０００／２）＝約６６．７［ｐｉｘ］
撮影装置７の焦点距離：２ｍｍ
撮影装置７の画素ピッチ：０．００６ｍｍ
撮影装置７と作業位置の距離：１０，０００ｍｍ

【0039】

つまり、上記の条件では、作業位置に実空間上で２，０００ｍｍ（＝２ｍ）の長さの描画をしたければ、６６．７ｐｉｘが、撮影画像上の二次元サイズに該当することを示している。

【0040】

ここで、図４は撮影画像における荷物Ｐと実空間上の閾値である危険エリアとの関係を示す図である。物体検出部９２によって吊られている荷物Ｐの撮影画像内の位置と三次元座標は分かっているので、二次元変換部９４は、三次元上の座標を（ｘ，ｙ，ｚ）＝（real_x，real_y，real_z）とし、撮影画像上の荷物Ｐの横幅をbbox.width［ｐｉｘ］、荷物Ｐの縦幅をbbox.height［ｐｉｘ］とすると、下記の式で荷物Ｐの実サイズを求めることができる。
（荷物の横幅［ｍｍ］）＝bbox.width＊0.006＊real_ｚ/2
（荷物の縦幅［ｍｍ］）＝bbox.height＊0.006＊real_z/2

【0041】

二次元変換部９４は、荷物Ｐの実サイズが分かれば、上述した（式１）から作業位置での荷物Ｐの二次元のピクセルサイズを求めることができる。

【0042】

また、荷物Ｐの中心座標を（ｘ，ｙ）＝（bbox.x，bbox.y）とする。bbox.xとbbox.yは画像中心位置からのズレ量と捉えることができるので、二次元変換部９４は、このズレ量をreal_zから作業位置での二次元のピクセルサイズに変換する必要がある。この時の変換式は下記になる。
（中心からの横ズレ量［ｍｍ］）＝bbox.x＊0.006＊real_z/2
（中心からの縦ズレ量［ｍｍ］）＝bbox.y＊0.006＊real_z/2

【0043】

二次元変換部９４は、上述のズレ量をもとに、作業位置でのｘ，ｙ座標を求める。
（作業位置でのｘ座標）＝（中心からの横ズレ量［ｍｍ］）/（0.006＊10,000/2）
（作業位置でのｙ座標）＝（中心からの縦ズレ量［ｍｍ］）/（0.006＊10,000/2）

【0044】

二次元変換部９４におけるこれらの計算によって、設定している実空間上の閾値（危険エリア）は荷物Ｐの撮影画像上の中心を起点に、下記に示す描画内容（例えば、後述する図６など参照）のように描画できる。この算出を行うことで、設定している実空間上の閾値（危険エリア）を正確に撮影画像上に表現できる。

【0045】

表示制御部９５は、設定している実空間上の閾値（危険エリア）を撮影画像に重畳して表示装置９２５に表示するとともに、作業内容判定部９３で判定した結果を表示装置９２５に表示する。すなわち、表示制御部９５は、設定している実空間上の閾値（危険エリア）を撮影画像に重畳するとともに、作業内容判定部９３で判定した結果を報知する報知部である。

【0046】

続いて、監視装置９における処理作業内容の判定処理について説明する。

【0047】

ここで、図５は監視装置９における処理作業内容の判定処理の流れを概略的に示すフローチャートである。図５に示すように、まず、物体検出部９２は、撮影装置７が撮影した撮影画像（二次元データ）および距離センサ８が取得した距離情報（三次元データ）をデータ受信部９１から受け取り、撮影画像上の対象物（例えば、作業者Ｗ、クレーン２１０のフック２２１、クレーン２１０のフック２２１に吊り下げる荷物（吊り荷）Ｐ）を検出する（ステップＳ１）。より詳細には、物体検出部９２は、撮影装置７で撮影した撮影画像の色、輝度情報をもとにフック２２１、荷物Ｐ、作業者Ｗなどの被写体を検出する。検出方法は、被写体の持つ画像上の特徴量を用いて演繹的に設計された検出アルゴリズムを用いてもよいし、あらかじめ作成されたモデルとの類似性に基づき、検出することを特徴とする学習アルゴリズムを用いてもよい。

【0048】

次に、物体検出部９２は、検出した範囲内の三次元位置情報の中央値や平均値から、対象物の三次元位置情報を検出する（ステップＳ２）。

【0049】

続いて、作業内容判定部９３は、過去に検出した過去の検出オブジェクトＤ３を用いて追跡処理を実行する（ステップＳ３）。より詳細には、作業内容判定部９３は、過去の検出オブジェクトＤ３と、ステップＳ１で検出した画像上の対象物およびステップＳ２で検出した対象物の三次元位置情報と、の対応付けを行う。作業内容判定部９３は、対応付けされた情報に対し、速度や加速度といった時間情報を付与して、追跡処理を実行した結果として検出オブジェクトＤ４を生成する。

【0050】

続いて、作業内容判定部９３は、クレーン２１０による作業について、安全な状態か、あるいは危険な状態かを、判定する（ステップＳ４～Ｓ１１）。

【0051】

より詳細には、作業内容判定部９３は、検出オブジェクトＤ４に基づいて、フック２２１と荷物Ｐとの間の三次元位置情報の距離を算出し、当該距離があらかじめ設定していた閾値範囲内かどうかを判定する（ステップＳ４）。

【0052】

作業内容判定部９３は、閾値範囲内に入っていない場合（ステップＳ４のＮｏ）、作業前と判定する（ステップＳ７）。

【0053】

一方、作業内容判定部９３は、閾値範囲内に入っている場合（ステップＳ４のＹｅｓ）、検出オブジェクトＤ４に基づいて、フレーム間の同一対象物の三次元位置情報の移動量からあらかじめ設定していた閾値範囲内かどうかを判定する（ステップＳ５）。

【0054】

作業内容判定部９３は、閾値範囲内に入っていない場合（ステップＳ５のＮｏ）、荷物Ｐが揺れていると判定する（ステップＳ８）。

【0055】

一方、作業内容判定部９３は、閾値範囲内に入っている場合（ステップＳ５のＹｅｓ）、作業中であるとして、検出オブジェクトＤ４に基づいて、検出した対象物の位置から作業内容を判定する（ステップＳ６）。より詳細には、作業内容判定部９３は、検出した対象物の位置が地面に対して３０ｃｍ以内である場合には、「地切り作業」であるとの作業内容Ｄ５を生成する。また、作業内容判定部９３は、検出した対象物の位置が地面に対して３０ｃｍ以上である場合には、「吊り荷作業」であるとの作業内容Ｄ５を生成する。

【0056】

次いで、作業内容判定部９３は、作業者Ｗと荷物Ｐとの間の三次元位置情報の距離を算出し、当該距離があらかじめ設定していた閾値範囲内かどうかを判定する（ステップＳ９）。

【0057】

作業内容判定部９３は、閾値範囲内に入っていない場合（ステップＳ９のＮｏ）、作業中であって、作業状態として安全と判定する（ステップＳ１１）。

【0058】

一方、作業内容判定部９３は、閾値範囲内に入っている場合（ステップＳ９のＹｅｓ）、作業中であって、作業状態として危険と判定して、表示制御部９５にワーニング表示させる（ステップＳ１０）。

【0059】

ここで、作業内容判定部９３による作業内容の具体的な判定例について説明する。

【0060】

図６は、作業内容判定部９３による作業内容の具体的な判定例を示す、作業を真上から俯瞰して見た図である。図６全体が撮影装置７によって撮像される撮影画像（二次元データ）に対し、設定している実空間上の閾値（危険エリア）を重畳した例である。

【0061】

物体検出部９２では、ステップＳ１で検出した撮影画像上の対象物およびステップＳ２で検出した対象物の三次元位置情報を用いて、撮影画像内の位置と三次元空間上の位置とを求める。画像内の位置は「荷物」や「作業者」、「フック」と言うラベルの付いた枠で囲われた部分を指しており、三次元空間の位置はラベル上部に描かれた“ｘ、ｙ、ｚ”を指している。図６に示す例では、撮影画像の中心がｘ＝０ｍであり、左側がマイナス、右側がプラスで表記している。ｙ座標については、画像の中心がｙ＝０ｍで上側がマイナスで下側がプラスで表記している。ｚ座標については、撮影装置７からの距離に対してすべてプラスで表記している。

【0062】

なお、対象物の検出については対象物の持つ撮影画像上の特徴量を用いて演繹的に設計された検出アルゴリズムやあらかじめ作成されたモデルとの類似性に基づき、検出することを特徴とする学習アルゴリズムだけでは精度が悪い。そのため、作業内容判定部９３は、過去の検出オブジェクトＤ３を用いて、連続的な時間で捉えた検出を行う（図５におけるステップＳ３）。これは、一般的にトラッキングと呼ばれる追跡処理である。

【0063】

作業内容判定部９３は、図５におけるステップＳ３で検出された検出オブジェクトＤ４をもとに、フック２２１と荷物（吊り荷）Ｐの位置が範囲内かを判定する（図５におけるステップＳ４）。図６に示す例では、フック２２１の三次元位置情報は（ｘ，ｙ，ｚ）＝（０．５ｍ，０．７ｍ，１．０ｍ）、荷物Ｐの三次元位置情報は（ｘ，ｙ，ｚ）＝（０．７ｍ，０．８ｍ，７．０ｍ）である。この情報をもとに、２点間の距離を計算すると、
ＳＱＲＴ（（０．５－０．７）^２＋（０．７－０．８）^２＋（１－７．０）^２）＝約６．０ｍ
であることが分かる。例えば、今回のケースであらかじめ設定していた閾値範囲が７ｍとすると、作業内容判定部９３は、「作業中」と判定する。

【0064】

図５におけるステップＳ５は荷揺れを判定するもので、作業内容判定部９３は、例えば、荷物Ｐやフック２２１が異なるフレーム間であらかじめ設定していた閾値範囲以上の移動をしていた場合、荷揺れしていると見なす。なお、図６に示す例では、荷揺れがないものとして説明を続ける。

【0065】

作業内容判定部９３は、検出した対象物の位置から作業内容を判定する（図５におけるステップＳ６）。例えば、図６に示す例では、作業内容判定部９３は、検出した作業者Ｗのｚ座標（９．０ｍ、９．１ｍ）と荷物Ｐのｚ座標（７．０ｍ）の差分から地面に対して３０ｃｍ以上吊り荷が浮いていると判定できるため、“吊り荷作業”中であると作業内容を判定する。

【0066】

次いで、作業内容判定部９３は、作業者Ｗと荷物Ｐの位置が範囲内かどうかの判定を行う（図５におけるステップＳ９）。図６に示す例では、作業内容判定部９３は、荷物Ｐを中心として荷物Ｐの検出範囲からさらに６ｍ外側に囲ったエリアを、設定している実空間上の閾値（危険エリア）としている。危険エリアは、作業者Ｗが侵入すると“危険”と判定されるエリアである。

【0067】

図６に示す危険エリアの枠については、前述の二次元変換部９４の処理に従って描画される。まず、二次元変換部９４は、上述した（式１）に従い、下記条件から対象物の二次元のピクセルサイズを計算する。
撮影装置７の焦点距離：２ｍｍ
撮影装置７の画素ピッチ：０．００６ｍｍ
撮影装置７と作業位置の距離：１０，０００ｍｍ
対象物の実サイズ:６，０００ｍｍ

【0068】

なお、撮影装置７と作業位置の距離は予め設定されたものを使用してもよいし、マーキングなどをしておくことで検出された距離を使用しても、作業中の作業者Ｗや吊り荷Ｐの情報から算出してもよい。上記の式（式１）を計算すると、対象物のピクセルサイズは２００［ｐｉｘ］である。

【0069】

ここで、図７は図６の判定例の対象箇所を拡大して示す図である。図７に示すように、物体検出部９２から検出された撮影画像上の荷物Ｐの中心座標を（ｘ，ｙ）＝（－２６５，１２８）とし、横幅を９６［ｐｉｘ］、縦幅を５５［ｐｉｘ］とする。さらに検出された三次元上のｚ座標は７，０００［ｍｍ］なので、二次元変換部９４は、荷物Ｐの実空間上のサイズを下記式により求める。
対象物の実サイズ［ｍｍ］＝（対象物のピクセルサイズ［ｐｉｘ］）＊（画素ピッチ［ｍｍ］＊（撮影装置７の設置高さ［ｍｍ］／焦点距離［ｍｍ］））
すなわち、
荷物の横幅［ｍｍ］＝96＊0.006＊7,000/2＝2,016［ｍｍ］
荷物の縦幅［ｍｍ］＝55＊0.006＊7,000/2＝1,155［ｍｍ］
となる。また、このサイズは、作業位置では下記のピクセルサイズとなる。
作業位置での荷物Ｐの横幅のピクセルサイズ［ｐｉｘ］＝2,016/（0.006＊10,000/2）＝約67［ｐｉｘ］
作業位置での荷物Ｐの縦幅のピクセルサイズ［ｐｉｘ］＝1,155/（0.006＊10,000/2）＝約39［ｐｉｘ］

【0070】

つまり、図４に示すように、危険エリアの横幅は（危険エリアのピクセルサイズ×２）＋（作業位置での吊り荷Ｐの横幅のピクセルサイズ）＝２００×２＋６７＝４６７［ｐｉｘ］となる。同様にして、図４に示すように、危険エリアの縦幅（危険エリアのピクセルサイズ×２）＋（作業位置での吊り荷Ｐの縦幅のピクセルサイズ）は、４３９［ｐｉｘ］である。

【0071】

また、二次元変換部９４は、荷物Ｐの中心座標の画像中心からのズレ量を、下記式から求める。
中心からの横ズレ量［ｍｍ］＝-265＊0.006＊7,000/2＝-5,565［ｍｍ］
中心からの縦ズレ量［ｍｍ］＝128＊0.006＊7,000/2＝2,688［ｍｍ］

【0072】

二次元変換部９４は、下記のように、このズレ量をもとに作業位置でのｘ，ｙ座標を求める。
（作業位置でのｘ座標）＝-5,565/（0.006＊10,000/2）＝約-186［ｐｉｘ］
（作業位置でのｙ座標）＝2,688/（0.006＊10,000/2）＝約90［ｐｉｘ］

【0073】

これより、図７に示すように、表示制御部９５は、危険エリアの枠を、（ｘ，ｙ）＝（－１８６,９０）を中心とした縦横４３９×４６７［ｐｉｘ］の四角形として描画できる。

【0074】

作業内容判定部９３における作業内容の判定について、図６に示す例では、（ｘ，ｙ，ｚ）＝（１０．３ｍ，５．２ｍ，９．０ｍ）と（ｘ，ｙ，ｚ）＝（－０．６ｍ，４．７ｍ，９．１ｍ）の位置にそれぞれ作業者Ｗ（Ｗ１，Ｗ２）がいる。（ｘ，ｙ，ｚ）＝（１０．３ｍ，５．２ｍ，９．０ｍ）にいる作業者Ｗ（Ｗ２）は危険エリアの外側であるため安全な位置にいるが、（ｘ，ｙ，ｚ）＝（－０．６ｍ，４．７ｍ，９．１ｍ）の作業者Ｗ（Ｗ１）は危険エリアの内側にいるため危険な位置である。作業内容判定部９３は、危険な位置に１人以上の作業者Ｗ（Ｗ１）がいるため、本作業状態は危険と判定する。作業内容判定部９３は、判定した結果を、クレーン制御装置３０に通知する。

【0075】

以上のような処理を実行することで、表示制御部９５は、作業位置基準での危険エリアの描画が可能になるため、クレーン２１０のオペレータに作業者Ｗが危険位置にいるかどうかをモニタなどで正確に把握してもらうことができる。

【0076】

このように本実施形態によれば、対象物の三次元位置情報に基づき、設定している実空間上の閾値（危険エリア）の撮影画像内の二次元座標を算出することで、設定している実空間上の閾値（危険エリア）を撮影画像上に正確表現することができる。例えば、吊り荷を検出した際に、吊り荷を中心とした半径３ｍのエリアを危険と設定した場合、吊り荷の下で作業している作業者環境でどこのエリアが危険領域かを画像上に表現することができる。

【0077】

また、本実施形態によれば、一度危険エリアを撮影画像上に表現することができれば、その後の危険判定については、画像ベース（２次元）で実施することもできる。

【0078】

なお、本実施形態においては、報知部として機能する表示制御部９５は、設定している実空間上の閾値（危険エリア）を撮影画像に重畳して表示装置９２５に表示するとともに、作業内容判定部９３で判定した結果を表示装置９２５に表示するようにしたが、これに限るものではない。例えば、表示制御部９５は、表示装置９２５などのハードウェアに対する表示ではなく、生成した画像をクラウド上に記憶してブラウザ上で確認させて報知する形態としてもよい。

【0079】

なお、本実施形態においては、二次元変換部９４は、作業者Ｗまたはフック２２１を中心とした所定範囲内での作業者Ｗの高さ情報を用いることで、作業者Ｗの作業位置を基準とした実空間上の閾値（危険エリア）の撮影画像内の二次元座標を算出するようにしたが、これに限るものではない。例えば、二次元変換部９４は、作業者Ｗまたはフック２２１を中心とした所定範囲内での作業者Ｗ、フック２２１、荷物Ｐ以外の距離情報（例えば、地面までの距離情報）を用いることで、実空間上の閾値（危険エリア）の撮影画像内の二次元座標を算出するようにしてもよい。

【0080】

上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたＡＳＩＣ（Application Specific Integrated Circuit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）や従来の回路モジュール等のデバイスを含むものとする。

【0081】

以上、本発明の実施の形態を説明したが、実施の形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。実施の形態は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0082】

９ 監視装置
９１ データ受信部
９２ 物体検出部
９３ 作業内容判定部
９４ 二次元変換部
９５ 報知部

【先行技術文献】

【特許文献】

【0083】

【特許文献1】特開２０２２－１７５３６４号公報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】