特許 7440009 クレーン監視装置および該方法ならびに天井クレーン

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-19

(45)【発行日】2024-02-28

(54)【発明の名称】クレーン監視装置および該方法ならびに天井クレーン

(51)【国際特許分類】

   B66C 13/00 20060101AFI20240220BHJP

   B66C 15/06 20060101ALI20240220BHJP

【ＦＩ】

B66C13/00 D

B66C15/06

【請求項の数】 5

(21)【出願番号】P 2020169764

(22)【出願日】2020-10-07

(65)【公開番号】P2022061682

(43)【公開日】2022-04-19

【審査請求日】2022-12-01

(73)【特許権者】

【識別番号】000001199

【氏名又は名称】株式会社神戸製鋼所

(73)【特許権者】

【識別番号】504358148

【氏名又は名称】株式会社コベルコＥ＆Ｍ

(74)【代理人】

【識別番号】100115381

【弁理士】

【氏名又は名称】小谷 昌崇

(74)【代理人】

【識別番号】100111453

【弁理士】

【氏名又は名称】櫻井 智

(72)【発明者】

【氏名】岡本 陽

(72)【発明者】

【氏名】吉本 達也

(72)【発明者】

【氏名】高井 槙子

(72)【発明者】

【氏名】松永 博之

(72)【発明者】

【氏名】切抜 裕太

(72)【発明者】

【氏名】乗松 武

【審査官】太田 義典

(56)【参考文献】

【文献】特開２０２０－０９３８９０（ＪＰ，Ａ）

【文献】特開２０１３－１５９４８０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ６６Ｃ １３／００－１５／０６

(57)【特許請求の範囲】

【請求項1】

フックを昇降自在に懸吊する昇降台車を備える天井クレーンに関わる対象者を監視するクレーン監視装置であって、
前記フック側に撮像方向を向け、前記フックを挟んで前記昇降台車に配設された複数の撮像部と、
前記複数の撮像部で生成された複数の画像に基づいて吊り荷および前記対象者を抽出する抽出部と、
前記抽出部で抽出した前記吊り荷と前記対象者との最小距離を求める距離処理部と、
前記距離処理部で求めた最小距離が所定の閾値以下または未満である場合に、警告を外部に報知する警告処理部とを備え、
前記抽出部は、機械学習後の抽出モデルを用いることによって、前記複数の画像から前記吊り荷および前記対象者を抽出し、
前記抽出モデルは、前記吊り荷、前記対象者およびその他のうちのいずれかを抽出結果として画素に対応付けた抽出結果画像を出力し、
前記抽出部は、前記機械学習後の抽出モデルを用いることによって、前記複数の画像から複数の抽出結果画像を出力し、前記出力した複数の抽出結果画像それぞれの一部分を複数の部分抽出結果画像として取り出し、前記取り出した複数の部分抽出結果画像を合成抽出結果画像として合成し、
前記距離処理部は、前記合成抽出結果画像に基づいて前記吊り荷と前記対象者との最小距離を求め、
前記部分抽出結果画像は、前記抽出結果画像のうち、前記抽出結果画像に対応する画像における前記フックが写り込んだ第１画素に対応する前記抽出結果画像の第２画素の位置より、前記抽出結果画像に対応する前記画像を生成した撮像部側の画像領域である、
クレーン監視装置。

【請求項2】

前記複数の撮像部は、ステレオカメラを含み、
前記抽出モデルは、距離画像を含む教師データを用いて機械学習した機械学習後の抽出モデルである、
請求項１に記載のクレーン監視装置。

【請求項3】

前記距離処理部で求めた最小距離が所定の第２閾値以下または未満である場合に、前記天井クレーンの動作を停止する停止処理部をさらに備える、
請求項１または請求項２に記載のクレーン監視装置。

【請求項4】

フックを昇降自在に懸吊する昇降台車を備える天井クレーンに関わる対象者を監視するクレーン監視方法であって、
前記フック側に撮像方向を向け、前記フックを挟んで前記昇降台車に複数の撮像部を配設する配設工程と、
前記複数の撮像部で生成された複数の画像に基づいて吊り荷および前記対象者を抽出する抽出工程と、
前記抽出工程で抽出した前記吊り荷と前記対象者との最小距離を求める距離処理工程と、
前記距離処理工程で求めた最小距離が所定の閾値以下または未満である場合に、警告を外部に報知する警告処理工程とを備え、
前記抽出工程は、機械学習後の抽出モデルを用いることによって、前記複数の画像から前記吊り荷および前記対象者を抽出し、
前記抽出モデルは、前記吊り荷、前記対象者およびその他のうちのいずれかを抽出結果として画素に対応付けた抽出結果画像を出力し、
前記抽出工程は、前記機械学習後の抽出モデルを用いることによって、前記複数の画像から複数の抽出結果画像を出力し、前記出力した複数の抽出結果画像それぞれの一部分を複数の部分抽出結果画像として取り出し、前記取り出した複数の部分抽出結果画像を合成抽出結果画像として合成し、
前記距離処理工程は、前記合成抽出結果画像に基づいて前記吊り荷と前記対象者との最小距離を求め、
前記部分抽出結果画像は、前記抽出結果画像のうち、前記抽出結果画像に対応する画像における前記フックが写り込んだ第１画素に対応する前記抽出結果画像の第２画素の位置より、前記抽出結果画像に対応する前記画像を生成した撮像部側の画像領域である、
クレーン監視方法。

【請求項5】

請求項１ないし請求項３のいずれか１項に記載のクレーン監視装置を備えた天井クレーン。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、天井クレーンに関わる対象者を監視するクレーン監視装置および該方法ならびに前記クレーン監視装置を備えた天井クレーンに関する。

【背景技術】

【0002】

例えば、工場や倉庫等では、重量物を移動するために、天井クレーンが利用されることが多い。このような天井クレーンでは、吊り荷が上げ下げされる際に、吊り荷が揺れて作業者に危険が及ぶ虞がある。特に、いわゆる地切りの際に吊り荷が大きく揺れて危険が大きい。このため、このような危険を回避するシステムが提案されており、例えば、特許文献１に開示されている。

【0003】

この特許文献１に開示されたクレーンの吊り荷監視システムは、クレーンにおける吊り荷を撮影可能な位置に装備されたカメラと、該カメラの画像データに基づき吊り荷周囲の危険領域に人が存在しているか否かを画像解析により判定する演算装置とを備え、吊り荷周囲の危険領域に人が存在していると判定された場合に警報信号及び非常停止信号の少なくとも何れか一方を出力するように前記演算装置が構成されている。前記カメラは、複数であって、前記複数のカメラは、例えば、ガーダの長手方向に距離を隔てた２カ所に、互いの各撮像方向が交差するように配置されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０２０－７１３４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、前記特許文献１に開示された天井クレーンの吊り荷監視システムでは、前記複数のカメラは、ガーダの長手方向に配置されているので、それぞれ、フックに掛けられた吊り荷を、クレーンの使用ごとに略同じ状態で撮像することができない。例えば、クレーンの使用の際に、フックを昇降自在に懸吊する昇降台車がガーダを長手方向に移動すると、前記複数のカメラは、それぞれ、自機と吊り荷との距離が変化するので、前記吊り荷を、クレーンの使用ごとに略同じ状態で撮像することができない。このため、画像ごとに、吊り荷の写り方が異なったり、フック周りに例えばケーブル等が存在すると、吊り荷に対する前記ケーブルの写り方が異なったり等するため、画像から吊り荷を抽出する場合、吊り荷の抽出が難しくなってしまう。

【0006】

本発明は、上述の事情に鑑みて為された発明であり、その目的は、画像から吊り荷をより容易に抽出できるクレーン監視装置およびクレーン監視方法ならびに前記クレーン監視装置を備えた天井クレーンを提供することである。

【課題を解決するための手段】

【0007】

本発明者は、種々検討した結果、上記目的は、以下の本発明により達成されることを見出した。すなわち、本発明の一態様にかかるクレーン監視装置は、フックを昇降自在に懸吊する昇降台車を備える天井クレーンに関わる対象者を監視する装置であって、前記フック側に撮像方向を向け、前記フックを挟んで前記昇降台車に配設された複数の撮像部と、前記複数の撮像部で生成された複数の画像に基づいて吊り荷および前記対象者を抽出する抽出部と、前記抽出部で抽出した前記吊り荷と前記対象者との最小距離を求める距離処理部と、前記距離処理部で求めた最小距離が所定の閾値以下または未満である場合に、警告を外部に報知する警告処理部とを備える。

【0008】

このようなクレーン監視装置は、複数の撮像部を、フックを昇降自在に懸吊する昇降台車に、前記フック側に撮像方向を向け、前記フックを挟んで配置したので、昇降台車の移動に伴い複数の撮像部も移動するから、前記フックに掛けられた吊り荷を、常時、略同じ状態で撮像することができる。このため、上記クレーン監視装置は、画像から吊り荷および対象者をより容易に抽出できる。

【0009】

そして、上述のクレーン監視装置において、前記抽出部は、機械学習後の抽出モデルを用いることによって、前記複数の画像から前記吊り荷および前記対象者を抽出する。

【0010】

このようなクレーン監視装置は、機械学習後の抽出モデルを用いるので、吊り荷および対象者を精度良く抽出できる。

【0011】

そして、上述のクレーン監視装置において、前記抽出モデルは、前記吊り荷、前記対象者およびその他のうちのいずれかを抽出結果として画素に対応付けた抽出結果画像を出力し、前記抽出部は、前記機械学習後の抽出モデルを用いることによって、前記複数の画像から複数の抽出結果画像を出力し、前記出力した複数の抽出結果画像それぞれの一部分を複数の部分抽出結果画像として取り出し、前記取り出した複数の部分抽出結果画像を合成抽出結果画像として合成し、前記距離処理部は、前記合成抽出結果画像に基づいて前記吊り荷と前記対象者との最小距離を求め、前記部分抽出結果画像は、前記抽出結果画像のうち、前記抽出結果画像に対応する画像における前記フックが写り込んだ第１画素に対応する前記抽出結果画像の第２画素の位置より、前記抽出結果画像に対応する前記画像を生成した撮像部側の画像領域である。好ましくは、上述のクレーン監視装置において、前記部分抽出結果画像は、前記抽出結果画像のうち、前記抽出結果画像に対応する前記画像を生成した撮像部側の所定サイズの画像領域である。好ましくは、前記複数の撮像部は、前記フックから等距離に配設された２個の第１および第２撮像部であり、前記所定サイズは、前記抽出結果画像の半分である。

【0012】

撮像部で画像を生成する場合、撮像部に対しフックより奥側の被写体は、フックや吊り荷等により遮蔽され、画像に写り込み難い。上記クレーン監視装置は、複数の撮像部それぞれで生成された各画像に基づく各抽出結果画像それぞれについて、フックより手前の撮像部側の画像領域を部分抽出結果画像として取り出し、合成抽出結果画像を合成するので、前記合成抽出結果画像は、遮蔽された部分が低減された結果画像となる。このため、上記クレーン監視装置は、合成抽出結果画像から吊り荷および対象者をより精度良く認識でき、吊り荷と対象者との距離をより精度良く求めることができる。

【0013】

他の一態様では、これら上述のクレーン監視装置において、前記複数の撮像部は、ステレオカメラを含み、前記抽出モデルは、距離画像を含む教師データを用いて機械学習した機械学習後の抽出モデルである。

【0014】

このようなクレーン監視装置は、撮像部にステレオカメラを含むので、高さ情報を利用できるから、吊り荷および対象者をより容易に精度良く抽出できる。

【0015】

他の一態様では、これら上述のクレーン監視装置において、前記距離処理部で求めた最小距離が所定の第２閾値以下または未満である場合に、前記天井クレーンの動作を停止する停止処理部をさらに備える。

【0016】

このようなクレーン監視装置は、停止処理部をさらに備えるので、天井クレーンの動作に起因する不具合を回避できる。

【0017】

本発明の他の一態様にかかるクレーン監視方法は、フックを昇降自在に懸吊する昇降台車を備える天井クレーンに関わる対象者を監視する方法であって、前記フック側に撮像方向を向け、前記フックを挟んで前記昇降台車に複数の撮像部を配設する配設工程と、前記複数の撮像部で生成された複数の画像に基づいて吊り荷および前記対象者を抽出する抽出工程と、前記抽出工程で抽出した前記吊り荷と前記対象者との最小距離を求める距離処理工程と、前記距離処理工程で求めた最小距離が所定の閾値以下または未満である場合に、警告を外部に報知する警告処理工程とを備え、前記抽出工程は、機械学習後の抽出モデルを用いることによって、前記複数の画像から前記吊り荷および前記対象者を抽出し、前記抽出モデルは、前記吊り荷、前記対象者およびその他のうちのいずれかを抽出結果として画素に対応付けた抽出結果画像を出力し、前記抽出工程は、前記機械学習後の抽出モデルを用いることによって、前記複数の画像から複数の抽出結果画像を出力し、前記出力した複数の抽出結果画像それぞれの一部分を複数の部分抽出結果画像として取り出し、前記取り出した複数の部分抽出結果画像を合成抽出結果画像として合成し、前記距離処理工程は、前記合成抽出結果画像に基づいて前記吊り荷と前記対象者との最小距離を求め、前記部分抽出結果画像は、前記抽出結果画像のうち、前記抽出結果画像に対応する画像における前記フックが写り込んだ第１画素に対応する前記抽出結果画像の第２画素の位置より、前記抽出結果画像に対応する前記画像を生成した撮像部側の画像領域である。

【0018】

このようなクレーン監視方法は、複数の撮像部を、フックを昇降自在に懸吊する昇降台車に、前記フック側に撮像方向を向け、前記フックを挟んで配置したので、昇降台車の移動に伴い複数の撮像部も移動するから、前記フックに掛けられた吊り荷を、常時、略同じ状態で撮像することができる。このため、上記クレーン監視方法は、画像から吊り荷および対象者をより容易に抽出できる。

【0019】

本発明の他の一態様にかかる天井クレーンは、これら上述のいずれかのクレーン監視装置を備える。

【0020】

これによれば、これら上述のいずれかのクレーン監視装置を備えた天井クレーンが提供できる。このような天井クレーンは、これら上述のいずれかのクレーン監視装置を備えるので、画像から吊り荷および対象者をより容易に抽出できる。

【発明の効果】

【0021】

本発明にかかるクレーン監視装置およびクレーン監視方法は、画像から吊り荷および対象者をより容易に抽出できる。本発明によれば、このようなクレーン監視装置を備えた天井クレーンが提供できる。

【図面の簡単な説明】

【0022】

【図1】実施形態におけるクレーン監視装置の構成を示すブロック図である。

【図2】前記クレーン監視装置によって監視される天井クレーンの構成を示す模式図である。

【図3】前記クレーン監視装置の第１撮像部を説明するための図である。

【図4】前記クレーン監視装置の第２撮像部を説明するための図である。

【図5】前記クレーン監視装置における抽出結果画像、部分抽出結果画像、および、合成抽出結果画像を説明するための図である。

【図6】前記クレーン監視装置における吊り荷と対象者との最小距離の演算を説明するための図である。

【図7】前記クレーン監視装置の動作を示すフローチャートである。

【図8】第１変形態様を説明するための図である。

【図9】第２変形態様を説明するための図である。

【図10】第３変形態様を説明するための図である。

【図11】第４変形態様を説明するための図である。

【発明を実施するための形態】

【0023】

以下、図面を参照して、本発明の１または複数の実施形態が説明される。しかしながら、発明の範囲は、開示された実施形態に限定されない。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、適宜、その説明を省略する。本明細書において、総称する場合には添え字を省略した参照符号で示し、個別の構成を指す場合には添え字を付した参照符号で示す。

【0024】

実施形態におけるクレーン監視装置は、フックを昇降自在に懸吊する昇降台車を備える天井クレーンに関わる対象者を監視する装置である。このクレーン監視装置は、前記フック側に撮像方向を向け、前記フックを挟んで前記昇降台車に配設された複数の撮像部と、前記複数の撮像部で生成された複数の画像に基づいて吊り荷および前記対象者を抽出する抽出部と、前記抽出部で抽出した前記吊り荷と前記対象者との最小距離を求める距離処理部と、前記距離処理部で求めた最小距離が所定の閾値以下または未満である場合に、警告を外部に報知する警告処理部とを備える。以下、このクレーン監視装置を備えた天井クレーンを例に、より具体的に説明する。

【0025】

図１は、実施形態におけるクレーン監視装置の構成を示すブロック図である。図２は、前記クレーン監視装置によって監視される天井クレーンの構成を示す模式図である。図２Ａは、上面図であり、図２Ｂは、側面図である。図３は、前記クレーン監視装置の第１撮像部を説明するための図である。図３Ａは、上面図であり、図３Ｂは、側面図であり、図３Ｃは、第１撮像部で生成された画像の模式図である。説明の都合上、図３Ｂには、第１撮像部１－１のみが図示され、第２撮像部１－２の図示が省略されている。図４は、前記クレーン監視装置の第２撮像部を説明するための図である。図４Ａは、上面図であり、図４Ｂは、側面図であり、図４Ｃは、第２撮像部で生成された画像の模式図である。説明の都合上、図４Ｂには、第２撮像部１－２のみが図示され、第１撮像部１－１の図示が省略されている。図５は、前記クレーン監視装置における抽出結果画像、部分抽出結果画像、および、合成抽出結果画像を説明するための図である。図５Ａは、第１撮像部で生成された画像に基づく抽出結果画像および部分抽出結果画像の各模式図であり、図５Ｂは、第２撮像部で生成された画像に基づく抽出結果画像および部分抽出結果画像の各模式図であり、図５Ｃは、合成抽出結果画像の模式図である。図６は、前記クレーン監視装置における吊り荷と対象者との最小距離の演算を説明するための図である。

【0026】

実施形態におけるクレーン監視装置は、フックを昇降自在に懸吊する昇降台車を備える天井クレーンに関わる対象者を監視する装置である。前記対象者には、例えば、前記天井クレーンに吊られる吊り荷を扱う作業者や、前記天井クレーンを操作する作業者等が含まれる。前記天井クレーンＣＲは、例えば、図２に示すように、１対の第１および第２走行レールＲＬ－１、ＲＬ－２と、ガータＧＴと、昇降台車ＬＴと備える。

【0027】

第１および第２走行レールＲＬ－１、ＲＬ－２は、例えば工場や倉庫等の建屋の両側壁それぞれに一方向（第１方向、Ｙ方向）に延びるように配設され、ガータＧＴにおける後述の第１および第２車輪を案内する棒状の部材である。

【0028】

ガータＧＴは、昇降台車ＬＴを案内し、支持する部材であり、例えば、前記一方向（第１方向）に直交する方向（第２方向、Ｘ方向）に延びるように前記一方向に間隔を開けて配置された棒状の部材である１対の第１および第２主けた、前記第１および第２主けたの各両端それぞれでこれらを連結する第１および第２連結部材、前記第１および第２連結部材それぞれに回転自在に取り付けられ、第１および第２走行レールＲＬ－１、ＲＬ－２に案内される第１および第２車輪、前記第１および第２車輪を同期して駆動する例えばモータ等の第１駆動部、ならびに、前記第１および第２主けた上に前記第２方向に延びるように配設され、昇降台車ＬＴにおける後述の第３および第４車輪を案内する棒状の第３および第４走行レールを備える。

【0029】

昇降台車ＬＴは、フックＨＫを前記一方向（第１方向）および前記第２方向に直交する方向（第３方向、Ｚ方向）に沿って昇降自在に懸吊し、ガータＧＴの前記第３および第４走行レールに案内される装置である。昇降台車ＬＴには、回転自在に取り付けられ、前記第３および第４走行レールに案内される第３および第４車輪、前記第３および第４車輪を同期して駆動する例えばモータ等の第２駆動部、フックＨＫに取り付けられるワイヤロープ、前記ワイヤロープを巻き取るワイヤ巻取機、ならびに、前記ワイヤ巻取機を駆動する例えばモータ等の第３駆動部を備える。

【0030】

天井クレーンＣＲには、天井クレーンＣＲを操作するための操作ペンダントＨＰが、ケーブルＣＶを介して、昇降台車ＬＴに取り付けられている。操作ペンダントＨＰは、ガータＧＴ（フックＨＫ）を前記第１方向の一方（北方向）に移動させる北方ボタン、ガータＧＴ（フックＨＫ）を前記第１方向の他方（南方向）に移動させる南方ボタン、昇降台車ＬＴ（フックＨＫ）を前記第２方向の一方（東方向）に移動させる東方ボタン、昇降台車ＬＴ（フックＨＫ）を前記第２方向の他方（西方向）に移動させる西方ボタン、フックＨＫを前記第３方向の一方（上方向）に移動させる上昇ボタン、および、フックＨＫを前記第３方向の他方（下方向）に移動させる降下ボタンを備える。オペレータ（ユーザ）が北方ボタンを操作することで（例えば押すことで）、前記第１駆動部によって前記第１および第２車輪が正転し、これによってガータＧＴが北方向に移動し、これに伴いフックＨＫが北方向に移動する。オペレータ（ユーザ）が北方ボタンの操作を停止することで（例えば前記押すことを止めることで）、この北方向の移動が停止される。オペレータ（ユーザ）が南方ボタンを操作することで（例えば押すことで）、前記第１駆動部によって前記第１および第２車輪が逆転し、これによってガータＧＴが南方向に移動し、これに伴いフックＨＫが南方向に移動する。オペレータ（ユーザ）が南方ボタンの操作を停止することで（例えば前記押すことを止めることで）、この南方向の移動が停止される。オペレータ（ユーザ）が東方ボタンを操作することで（例えば押すことで）、前記第２駆動部によって前記第３および第４車輪が正転し、これによって昇降台車ＬＴが東方向に移動し、これに伴いフックＨＫが東方向に移動する。オペレータ（ユーザ）が東方ボタンの操作を停止することで（例えば前記押すことを止めることで）、この東方向の移動が停止される。オペレータ（ユーザ）が西方ボタンを操作することで（例えば押すことで）、前記第２駆動部によって前記第３および第４車輪が逆転し、これによって昇降台車ＬＴが西方向に移動し、これに伴いフックＨＫが西方向に移動する。オペレータ（ユーザ）が西方ボタンの操作を停止することで（例えば前記押すことを止めることで）、この西方向の移動が停止される。オペレータ（ユーザ）が上昇ボタンを操作することで（例えば押すことで）、前記第３駆動部によって前記ワイヤ巻取機が正転し、これによってフックＨＫが上昇する。オペレータ（ユーザ）が上昇ボタンの操作を停止することで（例えば前記押すことを止めることで）、この上昇が停止される。オペレータ（ユーザ）が降下ボタンを操作することで（例えば押すことで）、前記第３駆動部によって前記ワイヤ巻取機が逆転し、これによってフックＨＫが降下する。オペレータ（ユーザ）が降下ボタンの操作を停止することで（例えば前記押すことを止めることで）、この降下が停止される。

【0031】

クレーン監視装置Ｄは、例えば、図１に示すように、第１および第２撮像部１－１、１－２と、制御処理部２と、入力部３と、出力部４と、インターフェース部（ＩＦ部）５と、記憶部６とを備える。

【0032】

第１および第２撮像部１－１、１－２は、それぞれ、制御処理部２に無線または有線によって接続され、制御処理部２の制御に従って、被写体を撮像して前記被写体の画像を生成する装置である。第１および第２撮像部１－１、１－２は、それぞれ、例えば、被写体の光学像を所定の結像面上に結像する結像光学系、前記結像面に受光面を一致させて配置され、前記被写体の光学像を電気的な信号に変換するイメージセンサ、および、イメージセンサの出力を画像処理することで前記被写体の画像を表すデータである画像データを生成する画像処理部等を備えるデジタルカメラである。このような第１および第２撮像部１－１、１－２は、フックＨＫに掛けられる吊り荷ＰＫおよびその周囲の対象者Ｏｂを撮像できるように、図２Ｂに示すように、フックＨＫ側に撮像方向を向け、フックＨＫを挟んで前記第２方向に沿って並んで昇降台車ＬＴの下部に配設される。本実施形態では、第１および第２撮像部１－１、１－２は、フックＨＫから等距離となるように、そして、各撮像方向が平行に前記第３方向に沿うように、昇降台車ＬＴの下部に配設される。各撮像範囲は、少なくとも床から所定の高さ（例えば吊り荷の高さ等を考慮した２ｍや３ｍ等）までの範囲で重複している。なお、各撮像方向は、互いに交差してもよい。

【0033】

入力部３は、制御処理部２に接続され、例えば、監視開始を指示するコマンド等の各種コマンド、および、警告の要否を判別する所定の閾値（第１閾値）等のクレーン監視装置Ｄを動作させる上で必要な各種データをクレーン監視装置Ｄに入力する機器であり、例えば、所定の機能を割り付けられた複数の入力スイッチ等である。出力部４は、制御処理部２に接続され、制御処理部２の制御に従って、入力部３から入力されたコマンドやデータおよび警告等を出力する機器であり、例えばＣＲＴディスプレイ、液晶ディスプレイおよび有機ＥＬディスプレイ等の表示を行う表示装置や、例えばスピーカやブザー等の音を出力する音出力装置等である。

【0034】

ＩＦ部５は、制御処理部２に接続され、制御処理部２の制御に従って、外部機器との間でデータの入出力を行う回路であり、例えば、シリアル通信方式であるＲＳ－２３２Ｃのインターフェース回路、および、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）規格を用いたインターフェース回路等である。また、ＩＦ部５は、外部機器との間で通信を行う回路であり、例えば、データ通信カードや、ＩＥＥＥ８０２．１１規格等に従った通信インターフェース回路等であってもよい。

【0035】

記憶部６は、制御処理部２に接続され、制御処理部２の制御に従って、各種の所定のプログラムおよび各種の所定のデータを記憶する回路である。前記各種の所定のプログラムには、例えば、制御処理プログラムが含まれ、前記制御処理プログラムには、クレーン監視装置Ｄの各部１－１、１－２、３～６を当該各部の機能に応じてそれぞれ制御する制御プログラムや、複数の撮像部１、本実施形態では２個の第１および第２撮像部１－１、１－２で生成された複数、本実施形態では２個の第１および第２の画像に基づいて吊り荷および対象者を抽出する抽出プログラムや、前記抽出プログラムで抽出した前記吊り荷と前記対象者との最小距離を求める距離処理プログラムや、前記距離処理プログラムで求めた最小距離が所定の閾値以下または未満である場合に、警告を外部に報知する警告処理プログラム等が含まれる。前記各種の所定のデータには、例えば前記閾値や１画素に写り込む実長等の、これら各プログラムを実行する上で必要なデータが含まれる。このような記憶部６は、例えば不揮発性の記憶素子であるＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）や書き換え可能な不揮発性の記憶素子であるＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を備える。そして、記憶部６は、前記所定のプログラムの実行中に生じるデータ等を記憶するいわゆる制御処理部２のワーキングメモリとなるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を含む。

【0036】

制御処理部２は、クレーン監視装置Ｄの各部１－１、１－２、３～６を当該各部の機能に応じてそれぞれ制御し、天井クレーンＣＲに関わる対象者を監視するための回路である。制御処理部２は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）およびその周辺回路を備えて構成される。制御処理部２には、前記制御処理プログラムが実行されることによって、制御部２１、抽出部２２、距離処理部２３および警告処理部２４が機能的に構成される。

【0037】

制御部２１は、クレーン監視装置Ｄの各部１－１、１－２、３～６を当該各部の機能に応じてそれぞれ制御し、クレーン監視装置Ｄ全体の制御を司るものである。

【0038】

抽出部２２は、複数の撮像部１、本実施形態では２個の第１および第２撮像部１－１、１－２で生成された複数、本実施形態では２個の第１および第２の画像に基づいて吊り荷および対象者を抽出するものである。

【0039】

より具体的には、抽出部２２は、機械学習後の抽出モデルを用いることによって、前記複数の画像から前記吊り荷および前記対象者を抽出する。前記抽出モデルは、前記吊り荷、前記対象者およびその他のうちのいずれかを抽出結果として画素に対応付けた抽出結果画像を出力する。このような抽出モデルには、例えば、Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎと呼ばれる深層学習モデルが用いられる。Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎは、画像内の全画素にラベル（カテゴリ、クラス）を関連付ける深層学習のアルゴリズムであり、例えば、ＳｅｇＮｅｔやＦＣＮやＵ－Ｎｅｔ等の種々の手法がある。本実施形態では、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、畳み込みニューラルネットワーク）を用いたＳｅｇＮｅｔを機械学習することで、前記抽出モデルが生成された。この機械学習では、対象者としての作業者と吊り荷とを含む様々な吊り荷玉掛作業を撮像することによって生成された複数の画像が用意され、これら複数の画像それぞれについて、全画素に、前記吊り荷、前記対象者（作業者）およびその他のうちのいずれかのラベルが付与され、教師データが作成された。教師データの画像は、Ｒ画素（赤画素）から成るＲ画像、Ｇ画素（緑画素）から成るＧ画像およびＢ画素（青画素）から成るＢ画像の３チャンネルの画像で構成される。そして、この教師データを用いてＳｅｇＮｅｔが機械学習された。本実施形態では、床からの高さを推定するために、作業者のラベルは、さらに、頭部、手、足およびその他人体の各ラベルに細分化された。

【0040】

ここで、吊り荷は、フックＨＫに掛けられるので、フックＨＫとの関連で荷物ＰＫが吊り荷か否かの別を機械学習することで、前記機械学習後の抽出モデルは、例えば、図３および図４に示す例において、荷物ＰＫαを吊り荷と判定し、荷物ＰＫβを吊り荷ではないと判定可能となる。なお、前記抽出モデルが、前記荷物、前記対象者、フックおよびその他のうちのいずれかを抽出結果として画素に対応付けた抽出結果画像を出力するように構成され、抽出部２２が、フックＨＫと判定された画素を取り囲むように、また、フックＨＫと判定された画素に隣接するように、荷物と判定された画素から成る領域を吊り荷と判定するように、構成されてもよい。

【0041】

そして、抽出部２２は、前記機械学習後の抽出モデルを用いることによって、前記複数の画像から複数の抽出結果画像を出力し、この出力した複数の抽出結果画像それぞれの一部分を複数の部分抽出結果画像として取り出し、この取り出した複数の部分抽出結果画像を合成抽出結果画像として合成する。前記部分抽出結果画像は、前記抽出結果画像のうち、前記抽出結果画像に対応する画像における前記フックが写り込んだ第１画素に対応する前記抽出結果画像の第２画素の位置より、前記抽出結果画像に対応する前記画像を生成した撮像部側の画像領域である。例えば、図３および図４に示すように、天井クレーンＣＲのフックＨＫに掛けられた荷物（吊り荷）ＰＫα、床に置かれた荷物ＰＫβ、第１作業者Ｏｂａおよび第２作業者Ｏｂｂを含む被写体を、図３Ｂに示すように第１撮像部１－１で撮像すると、図３Ｃに示す第１画像ＰＣ－１が生成され、前記被写体を、図４Ｂに示すように第２撮像部１－２で撮像すると、図４Ｃに示す第２画像ＰＣ－２が生成される。この第１画像ＰＣ－１におけるＲ画像、Ｇ画像およびＢ画像が前記機械学習後の抽出モデルに入力されると、図５Ａに示す第１抽出結果画像ＲＳ－１が出力され、前記第２画像ＰＣ－２におけるＲ画像、Ｇ画像およびＢ画像が前記機械学習後の抽出モデルに入力されると、図５Ｂに示す第２抽出結果画像ＲＳ－２が出力される。第１抽出結果画像ＲＳ－１は、第１作業者Ｏｂａと判定された画素から成る第１作業者判定領域ＲＯａと、吊り荷ＰＫと判定された吊り荷判定領域ＲＰと、その他と判定された第１その他判定領域ＯＴ－１とで構成されている。第２出結果画像ＲＳ－２は、第１作業者Ｏｂａと判定された画素から成る第１作業者判定領域ＲＯａと、第２作業者Ｏｂｂと判定された画素から成る第２作業者判定領域ＲＯｂと、吊り荷ＰＫと判定された吊り荷判定領域ＲＰと、その他と判定された第２その他判定領域ＯＴ－２とで構成されている。前記機械学習後の抽出モデルは、図３Ｃに示すように、第２作業者ＯｂｂがフックＨＫやワイヤロープによって第１撮像部１－１から遮蔽され、第１撮像部１－１で生成された第１画像には第２作業者Ｏｂｂの一部しか写り込んでいないために、第２作業者Ｏｂｂを抽出できず、その結果、第１抽出結果画像ＲＳ－１は、第２作業者Ｏｂｂの判定領域を含んでいない。このため、本実施形態では、第１抽出結果画像ＲＳ－１のうち、前記第１抽出結果画像ＲＳ－１に対応する第１画像ＰＣ－１におけるフックＨＫが写り込んだ第１画素ＰＰＨ－１に対応する前記第１抽出結果画像ＲＳ－１の第２画素ＰＲＨ－１の位置より、前記第１抽出結果画像ＰＲ－１に対応する前記第１画像ＰＣ－１を生成した第１撮像部１－１側の画像領域ＲＡ－１が部分抽出結果画像（第１部分抽出結果画像）として取り出される。第２抽出結果画像ＲＳ－２のうち、前記第２抽出結果画像ＲＳ－２に対応する第２画像ＰＣ－２におけるフックＨＫが写り込んだ第１画素ＰＰＨ－２に対応する前記第２抽出結果画像ＲＳ－２の第２画素ＰＲＨ－２の位置より、前記第２抽出結果画像ＰＲ－２に対応する前記第２画像ＰＣ－２を生成した第２撮像部１－２側の画像領域ＲＡ－２が部分抽出結果画像（第２部分抽出結果画像）として取り出される。そして、図５Ｃに示すように、これら第１部分抽出結果画像ＲＡ－１と第２部分抽出結果画像ＲＡ－２とが、フックＨＫが写り込んだ第１画素ＰＰＨ－１、ＰＰＨ－２に対応する前記第２抽出結果画像ＲＳ－１、ＲＳ－２の第２画素ＰＲＨ－１、ＰＰＨ－２の位置で連結されることで、合成抽出結果画像ＣＲＳとして合成される。これによって、第１および第２撮像部１－１、１－２の死角がカバーされ（互いに補完され）、合成抽出結果画像ＣＲＳは、第１作業者Ｏｂａと判定された画素から成る第１作業者判定領域ＲＯａと、第２作業者Ｏｂｂと判定された画素から成る第２作業者判定領域ＲＯｂと、吊り荷ＰＫと判定された吊り荷判定領域ＲＰと、その他と判定された第３その他判定領域ＯＴ－３とで構成される。

【0042】

ここで、フックＨＫが写り込んだ第１画素に対応する抽出結果画像の第２画素を抽出するために、前記抽出モデルは、前記吊り荷、前記対象者、フックおよびその他のうちのいずれかを抽出結果として画素に対応付けた抽出結果画像を出力するように構成される。

【0043】

なお、前記部分抽出結果画像は、前記抽出結果画像のうち、前記抽出結果画像に対応する前記画像を生成した撮像部側の所定サイズの画像領域であってもよい。前記所定サイズは、２個の第１および第２撮像部１－１、１－２で生成された２個の第１および第２画像に基づいて２個の第１および第２抽出結果画像から、合成抽出結果画像が生成される場合では、前記抽出結果画像の半分である。

【0044】

距離処理部２３は、抽出部２２で抽出した前記吊り荷と前記対象者との最小距離を求めるものである。より具体的には、距離処理部２３は、合成抽出結果画像において、抽出部２２で抽出した対象者に対し、吊り荷との間にある画素を計数し、計数結果に、１画素に写り込む実長を乗算することによって、吊り荷と対象者との間の距離を求め、この求めた距離のうちの最も小さい（短い）距離を最小距離として求める。例えば、図６に示すように、抽出部２２で２人の第１および第２対象者ＲＯａ、ＲＯｂが抽出された場合、距離処理部２３は、合成抽出結果画像ＣＲＳにおいて、抽出部２２で抽出した第１対象者ＲＯａの輪郭に対し、吊り荷ＣＲＰの輪郭との間にある画素を計数し、計数結果に、１画素に写り込む実長を乗算することによって吊り荷ＣＲＰと第１対象者ＲＯａとの間の距離（第１距離）Ｄａを求め、合成抽出結果画像ＣＲＳにおいて、抽出部２２で抽出した第２対象者ＲＯｂの輪郭に対し、吊り荷ＣＲＰの輪郭との間にある画素を計数し、計数結果に、１画素に写り込む実長を乗算することによって吊り荷ＣＲＰと第２対象者ＲＯｂとの間の距離（第２距離）Ｄｂを求め、第１および第２距離Ｄａ、Ｄｂのうちの最も小さい距離、図６に示す例では第１距離Ｄａを、最小距離として求める（Ｄａ＜Ｄｂ）。なお、抽出部２２で１人の対象者ＲＯしか抽出されなかった場合、この１人の対象者ＲＯと吊り荷ＣＲＰとの間の距離が最小距離となる。

【0045】

ここで、本実施形態では、高さによって１画素に写り込む実長が異なるので、複数の高さそれぞれに対応付けられた複数の、１画素に写り込む実長が記憶部６に記憶され、吊り荷ＣＲＰに最近接する対象者ＲＯの部位の高さに応じた、１画素に写り込む実長で吊り荷ＣＲＰと対象者ＲＯとの間の距離が求められる。より具体的には、前記部位は、足、手および頭部であり、足の高さに対応する、１画素に写り込む実長（足用実長）と、手の高さに対応する、１画素に写り込む実長（手用実長）と、頭部の高さに対応する、１画素に写り込む実長（頭部用実長）とが記憶部６に記憶される。距離処理部２３は、合成抽出結果画像ＣＲＳにおいて、抽出部２２で抽出した対象者ＲＯに対し、吊り荷ＣＲＰに最近接する対象者ＲＯの部位（足、手または頭部）と前記吊り荷ＣＲＰとの間にある画素を計数し、計数結果に、前記部位に対応する１画素に写り込む実長を乗算することによって、吊り荷ＣＲＰと対象者ＲＯとの間の距離を求め、この求めた距離のうちの最も小さい（短い）距離を最小距離として求める。なお、各部位の高さは、個々人によって異なるが、例えば、標準身長から前記各部位の高さが決定される。

【0046】

警告処理部２４は、距離処理部２３で求めた最小距離が所定の閾値（第１閾値）以下または未満である場合に、出力部４によって警告を外部に報知するものである。前記閾値は、例えば１ｍや２ｍ等で安全性等を考慮して適宜に設定される。例えば、出力部４は、音出力装置であって、警告処理部２４は、サイレン音やブザー音等の警告音を前記音出力装置から出力することで、警告を外部に報知する。あるいは、例えば、出力部４は、表示装置であって、警告処理部２４は、「危険です。吊り荷から離れて下さい」等の警告する旨の警告メッセージを前記表示装置に表示することで、警告を外部に報知する。なお、出力部４が、例えばパトライト回転灯等の発光装置であって、警告処理部２４は、前記発光装置を発光させることで、警告を外部に報知してもよい。また、これらが組み合わされてもよい。

【0047】

本実施形態では、前記閾値は、オペレータ（ユーザ）によって入力部３から入力可能に構成されるが、設計者によって予め設定され、記憶部６に記憶されてもよい。

【0048】

これら制御処理部２、入力部３、出力部４、ＩＦ部５および記憶部６は、例えば、デスクトップ型やノート型等のコンピュータによって構成可能である。また、制御処理部２、入力部３、出力部４、ＩＦ部５および記憶部６は、例えば、ボード型やワンチップ型等のコンピュータによって構成され、昇降台車ＬＴに搭載されてもよい。

【0049】

なお、第１および第２撮像部１－１、１－２は、前記フック側に撮像方向を向け、前記フックを挟んで前記昇降台車に配設された複数の撮像部の一例に相当する。上述では、複数の撮像部は、２個であるが、複数であれば、任意であってよい。

【0050】

次に、本実施形態の動作について説明する。図７は、前記クレーン監視装置の動作を示すフローチャートである。

【0051】

このような構成のクレーン監視装置Ｄは、その電源が投入されると、必要な各部の初期化を実行し、その稼働を始める。制御処理部２には、その制御処理プログラムの実行によって、制御部２１、抽出部２２、距離処理部２３および警告処理部２４が機能的に構成される。そして、所定のサンプリング間隔で次の各処理が繰り返し実行される。なお、天井クレーンＣＲの稼働中のみ、次の各処理が繰り返し実行されてもよい。ここで、前記閾値は、オペレータ（ユーザ）によって入力部３から入力され、記憶部６に記憶されているものとする。

【0052】

図７において、まず、クレーン監視装置Ｄは、制御処理部２の制御部２１によって、第１および第２撮像部１－１、１－２で第１および第２画像を取得する（Ｓ１）。

【0053】

次に、クレーン監視装置Ｄは、制御処理部２の抽出部２２によって、第１および第２撮像部１－１、１－２で生成された第１および第２画像に基づいて吊り荷ＰＫおよび対象者Ｏｂを抽出する（Ｓ２）。本実施形態では、抽出部２２は、機械学習後の抽出モデルによって第１および第２画像から第１および第２抽出結果画像を生成し、これら第１および第２抽出結果画像から第１および第２部分抽出結果画像を取り出し、これら第１および第２部分抽出結果画像から合成抽出結果画像を合成する。

【0054】

次に、クレーン監視装置Ｄは、制御処理部２の距離処理部２３によって、抽出部２２で抽出した前記吊り荷と前記対象者との最小距離を求める（Ｓ３）。本実施形態では、距離処理部２３は、合成抽出結果画像において、抽出部２２で抽出した対象者に対し、吊り荷との間にある画素を計数し、計数結果に、１画素に写り込む実長を乗算することによって、吊り荷と対象者との間の距離を求め、この求めた距離のうちの最も小さい（短い）距離を最小距離として求める。

【0055】

次に、クレーン監視装置Ｄは、制御処理部２の警告処理部２４によって、警告の要否を判定する（Ｓ４）。本実施形態では、警告処理部２４は、距離処理部２３で求めた最小距離が所定の閾値以下または未満であるか否かを判定することで、警告の要否を判定する。この判定の結果、前期最小距離が所定の閾値以下または未満である場合には、警告処理部２４は、警告必要と判定し（Ｙｅｓ）、出力部４によって警告を外部に報知し（Ｓ５）、今回の処理を終了する。一方、前記判定の結果、前期最小距離が所定の閾値以下または未満ではない場合には、警告処理部２４は、警告不要と判定し（Ｎｏ）、今回の処理を終了する。

【0056】

以上説明したように、実施形態におけるクレーン監視装置Ｄおよびこれに実装されたクレーン監視方法ならびに天井クレーンＣＲは、複数２個の第１および第２撮像部１－１、１－２を、フックＨＫを昇降自在に懸吊する昇降台車ＬＴに、前記フック側に撮像方向を向け、前記フックＨＫを挟んで配置したので、昇降台車ＬＴの移動に伴い複第１および第２撮像部１－１、１－２も移動するから、前記フックＨＫに掛けられた吊り荷を、常時、略同じ状態で撮像することができる。このため、上記クレーン監視装置およびクレーン監視方法ならびに天井クレーンＣＲは、画像から吊り荷および対象者をより容易に抽出できる。

【0057】

上記クレーン監視装置およびクレーン監視方法ならびに天井クレーンＣＲは、機械学習後の抽出モデルを用いるので、吊り荷および対象者を精度良く抽出できる。

【0058】

撮像部１で画像を生成する場合、撮像部１に対しフックＨＫより奥側の被写体は、フックＨＫやワイヤロープや吊り荷等により遮蔽され、画像に写り込み難い。上記クレーン監視装置およびクレーン監視方法ならびに天井クレーンＣＲは、複数２個の第１および第２撮像部１－１、１－２それぞれで生成された各画像に基づく各抽出結果画像それぞれについて、フックＨＫより手前の撮像部１側の画像領域を部分抽出結果画像として取り出し、合成抽出結果画像を合成するので、前記合成抽出結果画像は、遮蔽された部分が低減された結果画像となる。このため、上記クレーン監視装置およびクレーン監視方法ならびに天井クレーンＣＲは、合成抽出結果画像から吊り荷および対象者をより精度良く認識でき、吊り荷と対象者との距離をより精度良く求めることができる。

【0059】

なお、上述の実施形態では、クレーン監視装置Ｄは、前記第２方向（Ｘ方向）に沿って並んで配設された第１および第２撮像部１－１、１－２を備えたが、これに代え、あるいは、これに追加して、フックＨＫ側に撮像方向を向け、フックＨＫを挟んで前記第１方向（Ｙ方向）に沿って並んで昇降台車ＬＴの下部に配設された第３および第４撮像部１－３、１－４（不図示）を備えてもよい。第３および第４撮像部１－３、１－４は、配設方向の点を除き、第１および第２撮像部１－１、１－２と同様に構成されるため、その説明を省略する。

【0060】

図８は、第１変形態様を説明するための図である。図８Ａは、第３撮像部で生成された第３画像の模式図であり、図８Ｂは、第４撮像部で生成された第４画像の模式図である。図９は、第２変形態様を説明するための図である。図１０は、第３変形態様を説明するための図である。図９Ａおよび図１０Ａは、第３撮像部で生成された第３画像の模式図であり、図９Ｂおよび図１０Ｂは、第１撮像部で生成された第１画像の模式図であり、図９Ｃおよび図１０Ｃは、第２撮像部で生成された第２画像の模式図であり、図９Ｄおよび図１０Ｄは、第４撮像部で生成された第４画像の模式図である。

【0061】

クレーン監視装置Ｄが、第１および第２撮像部１－１、１－２に代え、第１方向に沿って並んで配設される第３および第４撮像部１－３、１－４を備える場合では、第３撮像部１－３は、例えば、図３および図４に示す被写体を撮像すると、図８Ａに示すような第３画像ＰＣ－３を生成し、第４撮像部１－４は、例えば、図８Ｂに示すような第４画像ＰＣ－４を生成する。この図８Ａに示す第３画像ＰＣ－３を抽出モデルを入力して出力される第３抽出結果画像のうち、前記第３抽出結果画像に対応する第３画像ＰＣ－３におけるフックＨＫが写り込んだ第１画素に対応する前記第３抽出結果画像の第２画素の位置より、前記第３抽出結果画像に対応する前記第３画像ＰＣ－３を生成した第３撮像部１－３側の画像領域（第３画像ＰＣ－３のうちの図８Ａにおける紙面上側の破線で示す領域ＰＡ－３の画像、に対応する抽出結果画像）が部分抽出結果画像（第３部分抽出結果画像）として取り出され、この図８Ｂに示す第４画像ＰＣ－４を抽出モデルを入力して出力される第４抽出結果画像のうち、前記第４抽出結果画像に対応する第４画像ＰＣ－４におけるフックＨＫが写り込んだ第１画素に対応する前記第４抽出結果画像の第２画素の位置より、前記第４抽出結果画像に対応する前記第４画像ＰＣ－４を生成した第４撮像部１－４側の画像領域（第４画像ＰＣ－４のうちの図８Ｂにおける紙面下側の破線で示す領域ＰＡ－４の画像、に対応する抽出結果画像）が部分抽出結果画像（第４部分抽出結果画像）として取り出され、これらが合成されることで、前記合成抽出結果画像が生成される。

【0062】

一方、クレーン監視装置Ｄが、第１および第２撮像部１－１、１－２に追加して、第１方向に沿って並んで配設される第３および第４撮像部１－３、１－４を備える場合では、例えば、図９に示すように、図５Ａに示す前記第１部分抽出結果画像（第１画像ＰＣ－１のうちの図９Ｂにおける紙面左側の破線で示す領域ＰＡ－１の画像、に対応する抽出結果画像）、図５Ｂに示す前記第２部分抽出結果画像（第２画像ＰＣ－２のうちの図９Ｃにおける紙面右側の破線で示す領域ＰＡ－２の画像、に対応する抽出結果画像）、前記第３部分抽出結果画像（第３画像ＰＣ－３のうちの図８Ａおよび図９Ａにおける紙面上側の破線で示す領域ＰＡ－３の画像、に対応する抽出結果画像）、および、前記第４部分抽出結果画像（第４画像ＰＣ－４のうちの図８Ｂおよび図９Ｄにおける紙面上側の破線で示す領域ＰＡ－４の画像、に対応する抽出結果画像）が合成されることで、前記合成抽出結果画像が生成される。なお、第１ないし第４部分抽出結果画像において、重複する画素では、例えば、各画素の各ラベルがａｎｄ演算されることによって当該画素のラベルが決定される。

【0063】

あるいは、クレーン監視装置Ｄが、第１および第２撮像部１－１、１－２に追加して、第１方向に沿って並んで配設される第３および第４撮像部１－３、１－４を備える場合において、前記重複を低減するために、例えば、第１ないし第４抽出結果画像それぞれについて、当該抽出結果画像のうち、当該抽出結果画像に対応する画像におけるフックＨＫが写り込んだ第１画素に対応する当該抽出結果画像の第２画素を頂点とし、当該抽出結果画像に対応する画像を生成した撮像部側の当該抽出結果画像の辺を底辺とする三角形形状の領域（前記画像のうちの図１０における破線で示す三角形形状の各領域ＰＡａ－１～ＰＡａ－４に対応する抽出結果画像）が合成されることで、前記合成抽出結果画像が生成される。

【0064】

また、上述の実施形態において、前記複数の撮像部１は、ステレオカメラを含み、前記抽出モデルは、距離画像を含む教師データを用いて機械学習した機械学習後の抽出モデルであってもよい。ステレオカメラでは、大略、互いに光軸が平行となるように基線長だけ離間して配置された左右１対の各カメラで撮像した左右１対の各画像に基づいて視差が求められ、この求められた視差に基づいていわゆる三角測量の原理に基づき物体表面までの距離が求められる。そして、距離に応じた画素値（例えば輝度値）を持つ画素で構成された距離画像が生成される。このようなクレーン監視装置Ｄは、撮像部１にステレオカメラを含むので、高さ情報を利用でき、情報量が増えるから、吊り荷ＰＫおよび対象者Ｏｂをより容易に精度良く抽出できる。

【0065】

図１１は、第４変形態様を説明するための図である。図１１Ａは、ステレオカメラとしての第１撮像部で生成された第１画像の模式図であり、図１１Ｂは、ステレオカメラとしての第２撮像部で生成された第２画像の模式図であり、図１１Ｃは、第１および第２画像から生成された距離画像の模式図であり、図１１Ｄは、Ｒ画像、Ｇ画像およびＢ画像の３チャンネルから成る第１画像の模式図であり、図１１Ｅは、ＣＮＮのＳｅｇＮｅｔを模式的に示し、図１１Ｆは、抽出結果画像の模式図である。

【0066】

例えば、第１および第２撮像部１－１、１－２は、ステレオカメラであって、例えば、図１１Ａないし図１１Ｄに示すように、第１および第２撮像部１－１、１－２で生成された第１および第２画像ＰＣ－１、ＰＣ－２に基づいて、距離画像ＤＰが生成され、第１撮像部１－１で生成された第１画像ＰＣ－１に基づいてＲ画像ＰＣ－１Ｒ、Ｇ画像ＰＣ－１ＧおよびＢ画像ＰＣ－１Ｂが生成され、これら４チャンネルの各画像から成る教師データが作成され、ＳｅｇＮｅｔを機械学習することで、図１１Ｅに示すような前記抽出モデルが生成される。そして、抽出部２２は、図１１Ｆに示すように、前記機械学習後の抽出モデルを用いることによって、４チャンネルの画像が入力されることで、抽出結果画像ＲＳ－５を出力する。前記距離画像ＤＰでは、例えば、画素は、撮像部１に近い程、暗い輝度値を持ち、撮像部１から遠い程、明るい輝度値を持つ。

【0067】

また、上述の実施形態において、クレーン監視装置Ｄは、距離処理部２３で求めた最小距離が所定の第２閾値以下または未満である場合に、天井クレーンＣＲの動作を停止する停止処理部をさらに備えてもよい。このような停止処理部２５は、例えば、図１に破線で示すように、制御処理部２に機能的に構成される。前記第２閾値は、例えば１ｍや２ｍ等で安全性等を考慮して適宜に予め設定される。前記第２閾値は、前記閾値と同値であってよく、異値であってよい。このようなクレーン監視装置Ｄは、停止処理部２５をさらに備えるので、天井クレーンの動作に起因する不具合を回避できる。

【0068】

本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および／または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。

【符号の説明】

【0069】

Ｄ クレーン監視装置
ＣＲ 天井クレーン
１－１ 第１撮像部
１－２ 第２撮像部
２ 制御処理部
４ 出力部
６ 記憶部
２１ 制御部
２２ 抽出部
２３ 距離処理部
２４ 警告処理部
２５ 停止処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】