特許 7591226 安全支援システム、および学習済みモデルの作成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-11-20

(45)【発行日】2024-11-28

(54)【発明の名称】安全支援システム、および学習済みモデルの作成方法

(51)【国際特許分類】

   B66C 15/00 20060101AFI20241121BHJP

【ＦＩ】

B66C15/00 E

【請求項の数】 8

(21)【出願番号】P 2024067032

(22)【出願日】2024-04-17

【審査請求日】2024-04-17

【早期審査対象出願】

(73)【特許権者】

【識別番号】595061738

【氏名又は名称】豊鋼材工業株式会社

(73)【特許権者】

【識別番号】508359239

【氏名又は名称】株式会社東研機械製作所

(73)【特許権者】

【識別番号】524150063

【氏名又は名称】株式会社Ｒｅｇｎｉｏ

(74)【代理人】

【識別番号】100165179

【弁理士】

【氏名又は名称】田▲崎▼ 聡

(74)【代理人】

【識別番号】100126664

【弁理士】

【氏名又は名称】鈴木 慎吾

(74)【代理人】

【識別番号】100135301

【弁理士】

【氏名又は名称】梶井 良訓

(72)【発明者】

【氏名】紅林 孝治

(72)【発明者】

【氏名】矢原 肇也

(72)【発明者】

【氏名】中野 雅俊

【審査官】今野 聖一

(56)【参考文献】

【文献】国際公開第２０２２／０７５３４０（ＷＯ，Ａ１）

【文献】特開２０２１－０６０８３７（ＪＰ，Ａ）

【文献】特開２０２０－０９３８９０（ＪＰ，Ａ）

【文献】実開昭５１－１０４５７１（ＪＰ，Ｕ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ６６Ｃ １３／００ － １５／０６

(57)【特許請求の範囲】

【請求項1】

地上作業者と、クレーンが有する吊り具と、前記吊り具によって吊り上げられる吊り荷と、を含む画像を取得する取得部と、
学習済みモデルに、前記画像を入力することで、前記画像に示される状況において警報部による警報が必要であるか否かを判定する判定部と、
前記判定部による判定の結果に基づいて、前記警報部に前記警報を発させる制御部と、を備え、
前記学習済みモデルは、前記画像が入力されたときに、前記警報の要否を判定するように学習されており、
前記学習済みモデルは、第１学習済みモデル、第２学習済みモデル、第３学習済みモデルおよび第４学習済みモデルを含み、
前記第１学習済みモデルは、前記画像が入力されたときに、前記地上作業者の位置および向きと、前記吊り具の位置と、前記吊り荷の位置と、を出力するように学習されており、
前記第２学習済みモデルは、前記地上作業者の位置および状態の少なくとも一方と、前記吊り具の位置と、前記吊り荷の位置と、が入力されたときに、前記クレーンの作業内容を出力するように学習されており、
前記第３学習済みモデルは、前記クレーンの作業内容と、前記画像と、が入力されたときに、前記画像における危険領域を出力するように学習されており、
前記第４学習済みモデルは、前記地上作業者の位置および向きと、前記危険領域と、が入力されたときに、前記警報の要否を判定するように学習されており、
前記判定部は、
前記第１学習済みモデルに、前記画像を入力することで、前記地上作業者の位置および向きと、前記吊り具の位置と、前記吊り荷の位置と、を出力する第１判定部と、
前記第２学習済みモデルに、前記第１判定部による出力を入力することで、前記クレーンの作業内容を出力する第２判定部と、
前記第３学習済みモデルに、前記画像と、前記第２判定部による出力を入力することで、前記危険領域を出力する第３判定部と、
前記第４学習済みモデルに、前記第１判定部による出力と、前記第３判定部による出力と、を入力することで、前記警報の要否を判定する第４判定部と、を含む、
安全支援システム。

【請求項2】

前記学習済みモデルは、第５学習済みモデルおよび第６学習済みモデルを含み、
前記第５学習済みモデルは、前記画像が入力されたときに、前記吊り具の位置を出力するように学習されており、
前記第６学習済みモデルは、前記吊り具の位置と、前記画像と、が入力されたときに、前記警報の要否を判定するように学習されており、
前記判定部は、
前記第５学習済みモデルに、前記画像を入力することで、前記吊り具の位置を出力する第５判定部と、
前記第６学習済みモデルに、前記画像と、前記第５判定部による出力と、を入力することで、前記警報の要否を判定する第６判定部と、を含む、
請求項１に記載の安全支援システム。

【請求項3】

前記取得部は、前記画像の取得を繰り返し、
前記判定部は、前記警報の要否の判定を繰り返し、
前記制御部は、繰り返される前記判定部の判定の結果に基づいて、前記警報部に前記警報を発させる、
請求項１または２に記載の安全支援システム。

【請求項4】

前記制御部は、前記警報部に、前記警報の種類に応じて視覚的に異なる警報を発させる、
請求項１または２に記載の安全支援システム。

【請求項5】

前記取得部は、前記吊り荷の高さ分布を示す高さ分布情報を取得し、
前記学習済みモデルは、前記画像と、前記高さ分布情報に係る情報と、が入力されたときに、前記警報の要否を判定するように学習されている、
請求項１または２に記載の安全支援システム。

【請求項6】

前記高さ分布情報に基づいて、前記吊り荷のたわみを示すたわみ情報を算出する算出部をさらに備え、
前記学習済みモデルは、前記画像と、前記たわみ情報と、が入力されたときに、前記警報の要否を判定するように学習されている、
請求項５に記載の安全支援システム。

【請求項7】

前記画像と、熟練作業者によって修正された前記警報の要否と、の組を教師データとして前記学習済みモデルを再学習する学習処理部をさらに備える、
請求項１または２に記載の安全支援システム。

【請求項8】

地上作業者と、クレーンが有する吊り具と、前記吊り具によって吊り上げられる吊り荷と、を含む画像を複数取得し、
取得された複数の前記画像と一対一に紐づけられ、紐づけられた前記画像に示される状況において警報部による警報が必要であるか否かを示す警報要否情報を取得し、
前記画像と、前記画像に紐づけられた前記警報要否情報と、の組を教師データとして、前記画像の内容と前記警報の要否との関係性を学習させた学習済みモデルを作成し、
前記学習済みモデルを作成することは、
前記画像が入力されたときに、前記地上作業者の位置および向きと、前記吊り具の位置と、前記吊り荷の位置と、を出力するように学習された第１学習済みモデルを作成することと、
前記地上作業者の位置および状態の少なくとも一方と、前記吊り具の位置と、前記吊り荷の位置と、が入力されたときに、前記クレーンの作業内容を出力するように学習された第２学習済みモデルを作成することと、
前記クレーンの作業内容と、前記画像と、が入力されたときに、前記画像における危険領域を出力するように学習された第３学習済みモデルを作成することと、
前記地上作業者の位置および向きと、前記危険領域と、が入力されたときに、前記警報の要否を判定するように学習された第４学習済みモデルを作成することと、を含む、
学習済みモデルの作成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、安全支援システム、および学習済みモデルの作成方法に関する。

【背景技術】

【0002】

中小規模の重量物を扱う作業現場は、全自動化が困難であり、人と機械とが共存する作業が不可欠となる。このような作業現場では、吊り上げ対象物（吊り荷）の荷崩れにより、毎年多くの労働災害事故が発生している。作業現場における作業の安全性を高めるため、安全支援システムが導入されたクレーンが提案されてきている（例えば、特許文献１を参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特表２０１５－５１８８０４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

大多数の現場では、古いクレーン設備が長年使用されていることも珍しくない。しかしながら、従来の安全支援システム（例えば、特許文献１を参照）は、クレーンを設計する段階から、安全支援機能を含む自動化を前提とした大規模なシステムを構築する必要があった。したがって、これらの安全支援システムを既存の古いクレーン設備に適用することができず、既存の設備においてはクレーン作業の安全性の向上を図ることができない場合があった。

【0005】

本発明は、このような事情を考慮してなされ、既存のクレーン設備においてもクレーン作業の安全性の向上を図ることができる安全支援システム、および学習済みモデルの作成方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本発明の態様１に係る安全支援システムは、地上作業者と、クレーンが有する吊り具と、前記吊り具によって吊り上げられる吊り荷と、を含む画像を取得する取得部と、学習済みモデルに、前記画像を入力することで、前記画像に示される状況において警報部による警報が必要であるか否かを判定する判定部と、前記判定部による判定の結果に基づいて、前記警報部に前記警報を発させる制御部と、を備え、前記学習済みモデルは、前記画像が入力されたときに、前記警報の要否を判定するように学習されている。

【0007】

また、本発明の態様２は、態様１の安全支援システムにおいて、前記学習済みモデルは、第１学習済みモデルおよび第２学習済みモデルを含み、前記第１学習済みモデルは、前記画像が入力されたときに、前記地上作業者の位置および状態の少なくとも一方と、前記吊り具の位置と、前記吊り荷の位置と、を出力するように学習されており、前記第２学習済みモデルは、前記地上作業者の位置および状態の少なくとも一方と、前記吊り具の位置と、前記吊り荷の位置と、が入力されたときに、前記クレーンの作業内容を出力するように学習されており、前記判定部は、前記第１学習済みモデルに、前記画像を入力することで、前記地上作業者の位置および状態の少なくとも一方と、前記吊り具の位置と、前記吊り荷の位置と、を出力する第１判定部と、前記第２学習済みモデルに、前記第１判定部による出力を入力することで、前記クレーンの作業内容を出力する第２判定部と、を含む。

【0008】

また、本発明の態様３は、態様２の安全支援システムにおいて、前記学習済みモデルは、第３学習済みモデルおよび第４学習済みモデルを含み、前記第３学習済みモデルは、前記クレーンの作業内容と、前記画像と、が入力されたときに、前記画像における危険領域を出力するように学習されており、前記第４学習済みモデルは、前記地上作業者の位置および状態の少なくとも一方と、前記危険領域と、が入力されたときに、前記警報の要否を判定するように学習されており、前記判定部は、前記第３学習済みモデルに、前記画像と、前記第２判定部による出力を入力することで、前記危険領域を出力する第３判定部と、前記第４学習済みモデルに、前記第１判定部による出力と、前記第３判定部による出力と、を入力することで、前記警報の要否を判定する第４判定部と、を含む。

【0009】

また、本発明の態様４は、態様１から態様３のいずれか一つの安全支援システムにおいて、前記学習済みモデルは、第５学習済みモデルおよび第６学習済みモデルを含み、前記第５学習済みモデルは、前記画像が入力されたときに、前記吊り具の位置を出力するように学習されており、前記第６学習済みモデルは、前記吊り具の位置と、前記画像と、が入力されたときに、前記警報の要否を判定するように学習されており、前記判定部は、前記第５学習済みモデルに、前記画像を入力することで、前記吊り具の位置を出力する第５判定部と、前記第６学習済みモデルに、前記画像と、前記第５判定部による出力と、を入力することで、前記警報の要否を判定する第６判定部と、を含む。

【0010】

また、本発明の態様５は、態様１から態様４のいずれか一つの安全支援システムにおいて、前記取得部は、前記画像の取得を繰り返し、前記判定部は、前記警報の要否の判定を繰り返し、前記制御部は、繰り返される前記判定部の判定の結果に基づいて、前記警報部に前記警報を発させる。

【0011】

また、本発明の態様６は、態様１から態様５のいずれか一つの安全支援システムにおいて、前記制御部は、前記警報部に、前記警報の種類に応じて視覚的に異なる警報を発させる。

【0012】

また、本発明の態様７は、態様１から態様６のいずれか一つの安全支援システムにおいて、前記取得部は、前記吊り荷の高さ分布を示す高さ分布情報を取得し、前記学習済みモデルは、前記画像と、前記高さ分布情報に係る情報と、が入力されたときに、前記警報の要否を判定するように学習されている。

【0013】

また、本発明の態様８は、態様７の安全支援システムにおいて、前記高さ分布情報に基づいて、前記吊り荷のたわみを示すたわみ情報を算出する算出部をさらに備え、前記学習済みモデルは、前記画像と、前記たわみ情報と、が入力されたときに、前記警報の要否を判定するように学習されている。

【0014】

また、本発明の態様９は、態様１から態様８のいずれか一つの安全支援システムにおいて、前記画像と、熟練作業者によって修正された前記警報の要否と、の組を教師データとして前記学習済みモデルを再学習する学習処理部をさらに備える。

【0015】

上記課題を解決するために、本発明の態様１０に係る学習済みモデルの作成方法は、地上作業者と、クレーンが有する吊り具と、前記吊り具によって吊り上げられる吊り荷と、を含む画像を複数取得し、取得された複数の前記画像と一対一に紐づけられ、紐づけられた前記画像に示される状況において警報部による警報が必要であるか否かを示す警報要否情報を取得し、前記画像と、前記画像に紐づけられた前記警報要否情報と、の組を教師データとして、前記画像の内容と前記警報の要否との関係性を学習させた学習済みモデルを作成する。

【発明の効果】

【0016】

本発明の上記態様によれば、既存のクレーン設備においてもクレーン作業の安全性の向上を図ることができる安全支援システム、および学習済みモデルの作成方法を提供できる。

【図面の簡単な説明】

【0017】

【図1】実施形態に係る安全支援システムが適用されるクレーンの一例を示す図である。

【図2】実施形態に係る安全支援システムの構成の一例を示すブロック図である。

【図3】実施形態に係る警報部が行う警報の一例を示す図である。

【図4】図１に示すクレーンに対して実施形態に係る撮像部、距離センサ、および警報部を取り付ける方法の一例を示す図である。

【図5】吊り荷のたわみの形状の例を示す図である。

【図6】吊り荷のたわみの形状の他の例を示す図である。

【図7】実施形態に係る判定部の一例を示すブロック図である。

【図8】実施形態に係る学習済みモデルの一例を示すブロック図である。

【図9】実施形態に係る画像取得部が取得する画像、および判定部による出力の一例を示す図である。

【図10】クレーンの作業状態に応じた危険領域の変化の一例を示す図である。

【図11】吊り具を吊り荷に取り付ける位置の一例を示す図である。

【図12】実施形態に係る安全支援システムが行う処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0018】

以下、本発明の実施形態に係る安全支援システムＳについて、図面に基づいて説明する。

【0019】

＜クレーンの構成、および安全支援システムの概要＞
本実施形態に係る安全支援システムＳは、クレーン（クレーン設備）に適用され、クレーン作業の安全性を図るシステムである。図１に示すクレーン（クレーン設備）１は、安全支援システムＳが適用される対象の一例である。安全支援システムＳの適用対象は図１のクレーン１に限られず、適宜変更可能である。

【0020】

以下、重力に沿う方向（すなわち、鉛直方向）を重力方向Ｚと称する。重力方向Ｚにおける上方を、＋Ｚの向きで表し、単に「上方」と称する。重力方向Ｚにおける下方を、－Ｚの向きで表し、単に「下方」と称する。また、重力方向Ｚに交差する（例えば、直交する）一方向を、第１方向Ｘと称する。第１方向Ｘにおける一方の向きを、＋Ｘの向きで表し、「右方」と称する。＋Ｘの向きとは反対の向きを、－Ｘの向きで表し、「左方」と称する。重力方向Ｚおよび第１方向Ｘの双方に交差する（例えば、直交する）方向を、第２方向Ｙと称する。第２方向Ｙにおける一方の向きを、＋Ｙの向きで表し、「前方」と称する。＋Ｙの向きとは反対の向きを、－Ｙの向きで表し、「後方」と称する。第１方向Ｘおよび第２方向Ｙは、重力方向Ｚに直交する方向（すなわち、水平方向）であってもよい。

【0021】

図１に示すクレーン１は、吊り具２２（後述）によって吊り荷Ｌを吊り上げる装置である。吊り荷Ｌは、クレーン１によって吊り上げられる対象であり、例えば板状の部材であってもよい。以下では、吊り荷Ｌが、平面視において長方形状を有する板状の鋼材である場合を例に挙げて説明を行う。ただし、吊り荷Ｌの種類や形状は適宜変更可能である。

【0022】

クレーン１は、一対のレール２と、一対のガーダー３と、一対の移動部４と、巻き上げ装置５と、ロープ６と、シーブ７と、フック８と、トロリ１０と、掛止機構２０と、を備える。掛止機構２０は、ロープ２１と、一対の吊り具２２（ハッカー）と、を有する。クレーン１は、クレーン操作者Ｕ´が操作部９を操作することによって動作する。

【0023】

一対のレール２の各々は、第２方向Ｙに延びている。一対のレール２は、第１方向Ｘにおいて間隔をあけて配されている。レール２は、移動部４の第２方向Ｙにおける移動（後述）を案内する。

【0024】

一対のガーダー３の各々は、第１方向Ｘに延びている。一対のガーダー３は、第２方向Ｙにおいて間隔をあけて配されている。ガーダー３は、トロリ１０の第１方向Ｘにおける移動（後述）を案内する。

【0025】

一対の移動部４は、一対のガーダー３の、第１方向Ｘにおける両端部に設けられている。より具体的に、一対の移動部４のうち一方は、一対のガーダー３の右側（＋Ｘ側）端部同士を接続するように設けられており、一対の移動部４のうち他方は、一対のガーダー３の左側（－Ｘ側）端部同士を接続するように設けられている。

【0026】

移動部４（およびそれに接続されたガーダー３）は、例えばクレーン操作者Ｕ´が操作部９に対して行った操作に応じて、レール２に沿って第２方向Ｙに移動する。具体的には、移動部４を動かすためのモータ等を有する駆動機構（不図示）がクレーン１に設けられ、クレーン操作者Ｕ´が操作部９に対して行った操作に応じて当該駆動機構が駆動されてもよい。

【0027】

トロリ１０は、一対のガーダー３をまたぐように、一対のガーダー３の上に設けられている。トロリ１０は、クレーン操作者Ｕ´が搭乗する運転室を有していてもよいし、運転室を有していなくてもよい。

【0028】

トロリ１０は、例えばクレーン操作者Ｕ´が操作部９に対して行った操作に応じて、ガーダー３に沿って第１方向Ｘに移動する。具体的には、トロリ１０を動かすためのモータ等を有する駆動機構（不図示）がクレーン１に設けられ、クレーン操作者Ｕ´が操作部９に対して行った操作に応じて当該駆動機構が駆動されてもよい。

【0029】

巻き上げ装置５は、トロリ１０に設けられている。巻き上げ装置５には、先端にシーブ（滑車）７が接続されたロープ６が取り付けられている。巻き上げ装置５は、ロープ６の巻き上げおよび巻き下げを行うためのモータ等（不図示）を有する。なお、「巻き上げ」は、シーブ７が上方に移動するようにモータを駆動させる動作を意味する。「巻き下げ」は、シーブ７が下方に移動するようにモータを駆動させる動作を意味する。

【0030】

巻き上げ装置５は、例えばクレーン操作者Ｕ´が操作部９に対して行った操作に応じて、ロープ６の巻き上げおよび巻き下げを行う。具体的には、クレーン操作者Ｕ´が操作部９に対して行った操作に応じて巻き上げ装置５が備えるモータ等が駆動されてもよい。

【0031】

掛止機構２０は、吊り荷Ｌを掛止する（引っ掛ける）ための機構である。掛止機構２０は、シーブ７に設けられたフック８に吊り下げられている。具体的には、掛止機構２０が有するロープ２１の中央部が、フック８に吊り下げられている。一対の吊り具２２は、ロープ２１の両端に接続されている。

【0032】

各吊り具２２は、基部２２ｂと、一対の爪部２２ａと、を有する。各爪部２２ａは、掛止機構２０に吊り荷Ｌを掛止する際に、吊り荷Ｌの下面と接触して吊り荷Ｌを支持する部位である。

【0033】

本実施形態においては、一対の吊り具２２のうち一方が有する爪部２２ａは、吊り荷Ｌが有する一方の長辺に掛止され、一対の吊り具２２のうち他方が有する爪部２２ａは、吊り荷Ｌが有する他方の長辺に掛止される。すなわち、掛止機構２０に吊り荷Ｌが掛止される状態において、一対の吊り具２２は、吊り荷Ｌの短手方向において互いに対向する。また、各吊り具２２において、一対の爪部２２ａは、水平方向（吊り荷Ｌの長手方向）に間隔をあけて配される。したがって、掛止機構２０に吊り荷Ｌが掛止される際は、一対の吊り具２２が有する４つの爪部２２ａの各々が、吊り荷Ｌの下面に接触して吊り荷Ｌを支持する。ただし、吊り荷Ｌを掛止可能であれば、掛止機構２０（吊り具２２）の構成は適宜変更可能である。

【0034】

本実施形態において、吊り荷Ｌに対する吊り具２２の取り外しは、地上作業者（地上玉掛け作業者）Ｕによって行われる。地上作業者Ｕは、地上で作業を行う作業者である。地上作業者Ｕは、例えば、クレーン操作者Ｕ´とは異なる人員である。

【0035】

操作部９は、クレーン操作者Ｕ´による操作を受け付ける。操作部９は、クレーン１を操作するための物理的機構（レバーやボタン等）であってもよいし、クレーン１を操作するための情報処理端末等であってもよい。

【0036】

地上作業者Ｕが吊り荷Ｌを掛止機構２０（吊り具２２）に掛止させた後、クレーン操作者Ｕ´が操作部９を操作してロープ６の巻き上げを行うことで、吊り荷Ｌは掛止機構２０（吊り具２２）に吊り上げられ、上昇する。この状態において、クレーン操作者Ｕ´は、操作部９を操作することで、トロリ１０および／または移動部４（ガーダー３）を動かす。すると、掛止機構２０に吊り下げられた吊り荷Ｌは、第１方向Ｘおよび／または第２方向Ｙに移動する。つまり、吊り荷Ｌは、トロリ１０が第１方向Ｘに移動することに伴って第１方向Ｘに移動し、移動部４（ガーダー３）が第２方向Ｙに移動することに伴って第２方向Ｙに移動する。

【0037】

以下、トロリ１０の移動に伴う、第１方向Ｘにおける吊り荷Ｌ（クレーン１）の移動を「横行」と称する場合がある。また、移動部４（ガーダー３）の移動に伴う、第２方向Ｙにおける吊り荷Ｌ（クレーン１）の移動を「走行」と称する場合がある。すなわち、本実施形態においては、第１方向Ｘは吊り荷Ｌ（クレーン１）の横行の方向に一致し、第２方向Ｙは吊り荷Ｌ（クレーン１）の走行の方向に一致する。

【0038】

上記のようなクレーン１においては、何らかの要因によって荷崩れが発生する可能性がある。荷崩れとは、掛止機構２０（吊り具２２）から吊り荷Ｌが落下する現象である。荷崩れが発生した場合、落下した吊り荷Ｌが地上作業者Ｕに衝突する等、事故が発生する可能性がある。このような事故は、例えば、地上作業者Ｕが吊り荷Ｌに対して近接している場合等に起こり得る。以下、地上作業者Ｕが吊り荷Ｌに対して近接している等、荷崩れが発生した場合に落下した吊り荷Ｌが地上作業者Ｕに衝突する事故の発生が予測されるようなケースを、「第１の警報ケース」と称する場合がある。安全支援システムＳは、第１の警報ケースを検知し、このような検知が行われた場合に、警報を発するように構成されている。

【0039】

また、荷崩れは、掛止機構２０（吊り具２２）が吊り荷Ｌから外れることによって生じる。以下、掛止機構２０（吊り具２２）が吊り荷Ｌから外れる予兆があるケースを、「第２の警報ケース」と称する場合がある。安全支援システムＳは、第２の警報ケースを検知し、このような検知が行われた場合に、警報を発するように構成されている。

【0040】

以下、これらの警報を発する安全支援システムＳが備える各種の構成や、安全支援システムＳが行う処理について、詳細に説明する。

【0041】

＜安全支援システムの構成＞
図２は、本実施形態に係る安全支援システムＳの構成の一例を示すブロック図である。本実施形態に係る安全支援システムＳは、第１端末装置１００と、第２端末装置２００と、撮像部３０１と、三次元センサ３０２と、警報部３０３と、を備える。なお、後述する変形例においても述べるように、安全支援システムＳは、三次元センサ３０２を備えていなくてもよい。第１端末装置１００と第２端末装置２００とは、ネットワーク４００を介して通信可能に接続される。ネットワーク４００は、無線通信を用いたネットワークであってもよいし、有線通信を用いたネットワークであってもよい。ネットワーク４００は、例えば、Ｗｉ－Ｆｉ（登録商標）等のローカルエリアネットワーク（ＬＡＮ）を用いて構成されてもよい。ネットワーク４００は、複数のネットワークが組み合わされて構成されてもよい。

【0042】

撮像部３０１は、地上作業者Ｕと、吊り具２２と、吊り荷Ｌと、を含む画像ＩＭ（例えば、図９を参照）を撮像する。撮像部３０１は、例えば、画像ＩＭを撮像するためのカメラを少なくとも一つ含んでいてもよい。撮像部３０１は、撮像した画像ＩＭを、第１端末装置１００が有する画像取得部１２１（後述）に出力する。

【0043】

三次元センサ３０２は、吊り荷Ｌの三次元情報を測定する。吊り荷Ｌの三次元情報は、吊り荷Ｌの三次元的な位置の情報や吊り荷Ｌの三次元的な形状の情報を含む。したがって、吊り荷Ｌの三次元情報は、吊り荷Ｌの高さ分布（重力方向Ｚにおける位置の分布）を示す高さ分布情報を含む。三次元センサ３０２は、例えば、対象物に光を照射して得られる反射光を用いて対象物までの距離を測定するＬｉＤＡＲを有していてもよい。三次元センサ３０２は、測定した三次元情報を、第１端末装置１００が有する三次元情報取得部１２２（後述）に出力する。

【0044】

警報部３０３は、第１端末装置１００が有する制御部１４０（後述）による制御に応じて、警報を発する。警報部３０３は、地上作業者Ｕおよび／クレーン操作者Ｕ´が認識可能な形で警報を発する。警報部３０３によって地上作業者Ｕに警報を行うことで、地上作業者Ｕに危険を知らせ、地上作業者Ｕの退避や吊り具２２の取り付け位置の修正等を促すことができる。警報部３０３によってクレーン操作者Ｕ´に警報を行うことで、クレーン操作者Ｕ´に危険を知らせ、クレーン１による作業の中段等を促すことができる。これにより、荷崩れに伴う事故を未然に防止できる。

【0045】

警報部３０３は、光による警報を発するライト（例えば、ＬＥＤライト）や、音による警報を発するスピーカー、地上作業者Ｕやクレーン操作者Ｕ´が装着するウェアラブル端末等を含んでいてもよい。警報部３０３は、これらの警報手段を複数種類組み合わせることで警報を行ってもよい。

【0046】

警報部３０３としてライトを用いる場合、警報部３０３は、所定の箇所（例えば、吊り荷Ｌの周辺）に光を照射することで、警報としての像Ｐを投影してもよい（例えば、図３を参照）。像Ｐが投影される位置は、地上作業者Ｕおよびクレーン操作者Ｕ´（運転室）の双方から見える位置であることが望ましい。

【0047】

図３は、警報部３０３が行う警報の一例を示す図である。図３の例において、警報部３０３は複数のライトであり、円状に配列された複数の円を含む像Ｐを、上方から、警報として吊り荷Ｌの周辺に投影する。像Ｐの一部は、吊り荷Ｌの上面に投影される。吊り具２２は、クレーン１によって吊り上げられた際においても、地上作業者Ｕの目よりも下方に位置するのが一般的である。したがって、このように吊り荷Ｌの周辺（吊り荷Ｌの上面）に警報としての像Ｐを投影することで、警報としての像Ｐを地上作業者Ｕに視認させやすくなる。

【0048】

警報部３０３として、地上作業者Ｕやクレーン操作者Ｕ´が装着するゴーグル型のウェアラブル端末を用いる場合、警報部３０３は、当該ウェアラブル端末上に視覚的な情報（文字や図形等）を表示させることで警報を行ってもよい。

【0049】

撮像部３０１、三次元センサ３０２、および警報部３０３は、クレーン１に設けられる（取り付けられる）。撮像部３０１、三次元センサ３０２、および警報部３０３は、例えばトロリ１０に設けられていてもよい。図１に示すように、地上作業者Ｕ、吊り具２２、および吊り荷Ｌはトロリ１０の直下付近に位置する。このため、撮像部３０１をトロリ１０に設けることで、これらの撮像対象を含む画像ＩＭを容易に撮像することできる。同様に、三次元センサ３０２をトロリ１０に設けることで、吊り荷Ｌの三次元情報の測定を容易に行うことができる。また、警報部３０３がライトである場合、警報部３０３をトロリ１０に設けることで、吊り荷Ｌの周辺（吊り荷Ｌの上面）への像Ｐの投影を容易に行うことができる。

【0050】

図４は、トロリ１０に対して撮像部３０１、三次元センサ３０２、および警報部３０３を取り付ける方法の一例を示す図である。ただし、撮像部３０１、三次元センサ３０２、および警報部３０３をクレーン１（トロリ１０）に取り付ける方法は適宜変更可能である。

【0051】

図４に示すように、本実施形態に係る安全支援システムＳにおいては、トロリ１０に、枠状の取り付け治具Ｊが取り付けられる。取り付け治具Ｊがトロリ１０に取り付けられた状態において、取り付け治具Ｊはトロリ１０から下方に向けて延出し、取り付け治具Ｊの下端はガーダー３の下端よりも下方に位置する。そして、取り付け治具Ｊのうちガーダー３よりも下方に位置する部分に、撮像部３０１、三次元センサ３０２、および警報部３０３が、下方を向くように取り付けられている。なお、図示の例における撮像部３０１は、２つのカメラを含む。

【0052】

撮像部３０１をガーダー３よりも下方に位置させることで、撮像部３０１の撮像範囲にガーダー３が入り込むことを防ぐことができる。同様に、三次元センサ３０２をガーダー３よりも下方に位置させることで、三次元センサ３０２による検出範囲にガーダー３が入り込むことを防ぐことができる。また、像Ｐを投影するための光を下向きに照射するライトを警報部３０３として使用する場合、警報部３０３をガーダー３よりも下方に位置させることで、警報部３０３からの光がガーダー３に遮られて像Ｐが欠けることを防ぐことができる。

【0053】

第１端末装置１００（図２参照）は、例えばパーソナルコンピュータ等の情報処理端末を用いて構成される。第１端末装置１００は、例えば、トロリ１０に設けられる。第１端末装置１００は、エッジＰＣとも称される。図２に示すように、第１端末装置１００は、通信部１１０、取得部１２０、記憶部１３０、および制御部１４０を備える。取得部１２０は、例えば、画像取得部１２１と、三次元情報取得部１２２と、を備える。

【0054】

通信部１１０は、セルラー網やＷｉ－Ｆｉ網等を用いて、ネットワーク４００に接続するためのハードウェアを有する。例えば、通信部１１０は、アンテナおよび送受信装置等を有する。通信部１１０は、ネットワーク４００を介して、第２端末装置２００（通信部２１０）と通信する。ただし、通信部１１０は、有線で第２端末装置２００（通信部２１０）と接続され、通信するものであってもよい。

【0055】

画像取得部１２１は、地上作業者Ｕと、吊り具２２と、吊り荷Ｌと、を含む画像ＩＭを取得する。画像取得部１２１は、例えば、撮像部３０１から出力された画像ＩＭを取得する。また、画像取得部１２１は、取得した画像ＩＭを、通信部１１０およびネットワーク４００を介して第２端末装置２００（通信部２１０）に出力する。

【0056】

三次元情報取得部１２２は、吊り荷Ｌの三次元情報を取得する。三次元情報取得部１２２は、例えば、三次元センサ３０２から出力された吊り荷Ｌの三次元情報を取得する。また、三次元情報取得部１２２は、取得した吊り荷Ｌの三次元情報を、通信部１１０およびネットワーク４００を介して第２端末装置２００（通信部２１０）に出力する。

【0057】

記憶部１３０は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＳＤカード、レジスタ、ハードディスクドライブなどによって実現される。記憶部１３０は、制御部１４０によって使用されるデータを記憶する。記憶部１３０は、制御部１４０が処理を行う際に必要となるデータを記憶する。

【0058】

制御部１４０の機能のうち一部または全部は、例えば、ＣＰＵ（Central Processing Unit）などのプロセッサが、自身の記憶部に記憶されたプログラム（ソフトウェア）を実行することで実現される。また、これらの構成要素の機能のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）等のハードウェア（回路部：circuitryを含む）によって実現されていてもよいし、ソフトウェアとハードウェアの協働によって実現されていてもよい。プログラムは、予めＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの記憶装置に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。

【0059】

制御部１４０は、警報部３０３を制御し、警報部３０３に警報を発させる。制御部１４０は、例えば、通信部１１０およびネットワーク４００を介して送られてくる、第２端末装置２００（生成部２５３）が出力する制御信号に基づき、警報部３０３を制御する。

【0060】

制御部１４０は、警報部３０３に、警報の種類に応じて視覚的に異なる警報を発させてもよい。具体的には、判定部２５２による判定結果に応じて異なる制御信号が生成部２５３から出力され（詳細は後述）、制御部１４０は、この異なる制御信号に応じて、警報部３０３に、視覚的に異なる警報を発させてもよい。例えば、第１の警報ケースが検知された場合と、第２の警報ケースが検知された場合とで、警報部３０３が発する警報は、視覚的に異なってもよい。例えば警報部３０３が像Ｐを投影するライトである場合、第１の警報ケースと第２の警報ケースとで、像Ｐの形状や大きさ、色、点滅速度等を異ならせてもよい。例えば警報部３０３がウェアラブル端末である場合、第１の警報ケースと第２の警報ケースとで、ウェアラブル端末に表示させる情報を異ならせてもよい。これにより、騒音の激しい現場においても、警報対象者（地上作業者Ｕやクレーン操作者Ｕ´）に警報の内容を効果的に伝達することができる。

【0061】

第２端末装置２００は、例えばパーソナルコンピュータ等の情報処理端末を用いて構成される。第２端末装置２００は、例えば、クレーン１の外部に設けられる。第２端末装置２００は、通信部２１０、入力部２２０、出力部２３０、記憶部２４０、および処理部２５０を備える。

【0062】

通信部２１０は、セルラー網やＷｉ－Ｆｉ網等を用いて、ネットワーク４００に接続するためのハードウェアを有する。例えば、通信部２１０は、アンテナおよび送受信装置等を有する。通信部２１０は、ネットワーク４００を介して、第１端末装置１００（通信部１１０）と通信する。ただし、通信部２１０は、有線で第１端末装置１００（通信部１１０）と接続され、通信するものであってもよい。

【0063】

通信部２１０が第１端末装置１００から取得した画像ＩＭは、処理部２５０に出力されるとともに、画像データ２４１の一部として記憶部２４０に格納される。通信部２１０が第１端末装置１００から取得した吊り荷Ｌの三次元情報は、処理部２５０に出力されるとともに、三次元データ２４２の一部として記憶部２４０に格納される。

【0064】

入力部２２０は、キーボード、ポインティングデバイス（マウス、タブレット等）、ボタン、タッチパネル等の既存の入力装置を用いて構成される。入力部２２０は、ユーザの指示を第２端末装置２００に入力する際にユーザによって操作される。入力部２２０は、入力装置を第２端末装置２００に接続するためのインターフェースであっても良い。入力部２２０は、マイク及び音声認識装置を用いて構成されてもよい。入力部２２０は、ユーザの指示を第２端末装置２００に入力可能な構成であればどのように構成されてもよい。

【0065】

出力部２３０は、情報をユーザが認知可能な形で出力する。出力部２３０は、例えば液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等の画像表示装置であってもよい。出力部２３０は、画像表示装置を第２端末装置２００に接続するためのインターフェースであっても良い。出力部２３０は、スピーカー等の音響を出力する装置であってもよい。出力部２３０は、スピーカーやヘッドホン等の音響出力装置を第１端末装置１００に接続するためのインターフェースであってもよい。なお、出力部２３０は、入力部２２０と一体のタッチパネルとして構成されてもよい。

【0066】

記憶部２４０は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＳＤカード、レジスタ、ハードディスクドライブなどによって実現される。記憶部２４０は、処理部２５０によって使用されるデータを記憶する。記憶部２４０は、処理部２５０が処理を行う際に必要となるデータを記憶する。

【0067】

記憶部２４０には、例えば、画像データ２４１と、三次元データ２４２と、処理情報２４３と、学習済みモデル２４４と、が格納されている。画像データ２４１は、画像取得部１２１によって取得された画像ＩＭを含む。三次元データ２４２は、三次元情報取得部１２２によって取得された吊り荷Ｌの三次元情報と、算出部２５１によって算出されたたわみ情報（後述）と、を含む。処理情報２４３は、処理部２５０が行った処理によって出力された情報を含む。

【0068】

学習済みモデル２４４は、処理部２５０（判定部２５２）による処理に用いられる学習済みモデルのパラメータや接続構造、関数特性等を示すデータである。学習済みモデル２４４は、画像ＩＭと、吊り荷Ｌの三次元情報と、が入力されたときに、少なくとも警報部３０３による警報の要否を判定する（出力する）ように学習されている。より具体的に、学習済みモデル２４４は、画像ＩＭと、吊り荷Ｌの三次元情報と、が入力されたときに、画像ＩＭおよび三次元情報に示される状況が、第１の警報ケースに該当するか、第２の警報ケースに該当するか、両方の警報ケースに該当するか、いずれの警報ケースにも該当しないかを判定する（出力する）ように学習されている。学習済みモデル２４４の詳細は後述する。

【0069】

処理部２５０は、例えば、算出部２５１と、判定部２５２と、生成部２５３と、学習処理部２５４と、を備える。処理部２５０の機能のうち一部または全部は、例えば、ＣＰＵ（Central Processing Unit）などのプロセッサが、自身の記憶部に記憶されたプログラム（ソフトウェア）を実行することで実現される。また、これらの構成要素の機能のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）等のハードウェア（回路部：circuitryを含む）によって実現されていてもよいし、ソフトウェアとハードウェアの協働によって実現されていてもよい。プログラムは、予めＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの記憶装置に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。

【0070】

算出部２５１は、通信部２１０を介して第１端末装置１００から取得した吊り荷Ｌの三次元情報（高さ分布情報）に基づき、吊り荷Ｌのたわみ情報を算出する。算出部２５１は、算出した吊り荷Ｌのたわみ情報を、判定部２５２に出力する。算出部２５１は、算出した吊り荷Ｌのたわみ情報を、三次元データ２４２の一部として、吊り荷Ｌの三次元情報（高さ分布情報）と紐づけて記憶部２４０に格納する。ここで、「吊り荷Ｌのたわみ情報」は、吊り荷Ｌのたわみを示す情報である。例えば、吊り荷Ｌのたわみ情報は、吊り荷Ｌのたわみの量や、たわみの形状を示す情報を含んでいてもよい。

【0071】

図５は、吊り荷Ｌのたわみの形状の例を示す図である。図において、吊り荷Ｌの長手方向における両端部が符号Ｌ１、Ｌ２で示されている。図５に示すように、吊り具２２によって吊り上げられた吊り荷Ｌは、自重によってたわむ場合がある。ここで、算出部２５１は、図に示す高さの差Δ１を、たわみの量（たわみ情報）として算出してもよい。ここで、高さの差Δ１は、吊り荷Ｌの表面のうち最も高い位置にある点と、吊り荷Ｌの表面のうち最も低い位置にある点と、の高さの差である。また、算出部２５１は、高さの差Δ２を、たわみに係る情報として算出してもよい。高さの差Δ２は、吊り荷Ｌの第１の端部Ｌ１と、吊り荷Ｌの第２の端部Ｌ２と、の高さの差である。

【0072】

図６は、吊り荷Ｌのたわみの形状の他の例を示す図である。ここまで説明した例において、クレーン１は一対の吊り具２２を有していたが、クレーン１は二対以上の吊り具２２を有していてもよい。図６（ａ）～（ｃ）は、クレーン１が二対の吊り具２２を有する場合に吊り荷Ｌに生じ得るたわみの形状（たわみモード）の例を示している。図６（ｄ）～（ｅ）は、クレーン１が三対の吊り具２２を有する場合に吊り荷Ｌに生じ得るたわみの形状（たわみのモード）の例を示している。算出部２５１は、取得した吊り荷Ｌの三次元情報から吊り荷Ｌのたわみモードを算出し（判別し）、吊り荷Ｌのたわみ情報として出力するように構成されていてもよい。また、たわみモードごとに所定のパラメータ（上述した量Δ１、Δ２に対応するパラメータ。例えば、吊り荷Ｌが有する各凸部の凸量等。）が設定され、算出部２５１は、当該所定のパラメータを算出してたわみ情報として出力するように構成されていてもよい。

【0073】

判定部２５２（図２参照）は、学習済みモデル２４４に、画像ＩＭと、三次元情報と、を入力することで、少なくとも、画像ＩＭおよび三次元情報に示される状況において警報部３０３による警報が必要であるか否かを判定する。すなわち、判定部２５２は、画像ＩＭおよび三次元情報に示される状況が、第１の警報ケースに該当するか、第２の警報ケースに該当するか、両方の警報ケースに該当するか、いずれの警報ケースにも該当しないかを判定する。判定部２５２は、判定結果（すなわち、後述する警報要否情報）を、生成部２５３に出力する。判定部２５２の詳細は後述する。

【0074】

生成部２５３は、判定部２５２による判定結果（すなわち、後述する警報要否情報）に基づき、制御部１４０が警報部３０３を制御するための制御信号を生成する。生成される制御信号の内容は、判定結果（警報要否情報）に応じて異なっていてもよい。生成部２５３は、通信部２１０およびネットワーク４００を介して制御信号を第１端末装置１００に出力する。これにより、制御部１４０は、判定部２５２による判定結果に基づいて、警報部３０３に、判定結果に応じた警報を発させる。

【0075】

学習処理部２５４は、学習済みモデル２４４の再学習を行う。学習処理部２５４による再学習の詳細は後述する。

【0076】

＜判定部および学習済みモデル＞
図７は、本実施形態に係る判定部２５２の一例を示すブロック図である。図８は、本実施形態に係る学習済みモデル２４４の一例を示すブロック図である。図９は、本実施形態に係る画像取得部１２１が取得する画像ＩＭ、およびそれに基づく判定部２５２の出力の一例を示す図である。

【0077】

図７に示すように、本実施形態に係る判定部２５２は、第１判定部２５２ａと、第２判定部２５２ｂと、第３判定部２５２ｃと、第４判定部２５２ｄと、第５判定部２５２ｅと、第６判定部２５２ｆと、を含む。図８に示すように、本実施形態に係る学習済みモデル２４４は、第１学習済みモデル２４４ａと、第２学習済みモデル２４４ｂと、第３学習済みモデル２４４ｃと、第４学習済みモデル２４４ｄと、第５学習済みモデル２４４ｅと、第６学習済みモデル２４４ｆと、を含む。第１判定部２５２ａ～第４判定部２５２ｄおよび第１学習済みモデル２４４ａ～第４学習済みモデル２４４ｄは、第１の警報ケースを検出するための構成に該当する。第５判定部２５２ｅ～第６判定部２５２ｆおよび第５学習済みモデル２４４ｅ～第６学習済みモデル２４４ｆは、第２の警報ケースを検出するための構成に該当する。

【0078】

まず、第１の警報ケースを検出するための構成について説明する。

【0079】

第１学習済みモデル２４４ａ（図８参照）は、画像ＩＭが入力されたときに、地上作業者Ｕの位置および状態の少なくとも一方と、吊り具２２の位置と、吊り荷Ｌの位置と、を出力するように学習されている。すなわち、第１学習済みモデル２４４ａは、地上作業者Ｕの位置および状態の少なくとも一方と、吊り具２２の位置と、吊り荷Ｌの位置と、を画像認識するためのモデルである。なお、「地上作業者Ｕの状態」とは、例えば、地上作業者Ｕの向きや、地上作業者Ｕの作業の状況（例えば、吊り具２２を吊り荷Ｌに取り付ける作業を行っているか否か等）等の情報を含んでいてもよい。以下、「地上作業者Ｕ、吊り具２２、および吊り荷Ｌ」を総称して「認識対象」と称し、「地上作業者Ｕの位置および状態の少なくとも一方、吊り具２２の位置、ならびに吊り荷Ｌの位置」を総称して「認識対象情報」と称する場合がある。

【0080】

第１判定部２５２ａ（図７参照）は、第１学習済みモデル２４４ａに、画像取得部１２１（図２も参照）によって取得された画像ＩＭを入力することで、認識対象情報を出力する。第１判定部２５２ａは、出力した認識対象情報を、第２判定部２５２ｂおよび第４判定部２５２ｄに出力する。第１判定部２５２ａは、出力した認識対象情報を、処理情報２４３の一部として、画像データ２４１（および三次元データ２４２）と紐づけて記憶部２４０に格納する。図９に示す例において、第１判定部２５２ａは、認識対象情報として、地上作業者Ｕの位置Ｂ１、吊り具２２の位置Ｂ２、および吊り荷Ｌの位置Ｂ３を、バウンディングボックスの形式で出力するとともに、地上作業者Ｕの向きＤを出力している。

【0081】

第２学習済みモデル２４４ｂ（図８参照）は、認識対象情報が入力されたときに、クレーン１の作業内容を出力するように学習されている。ここで、クレーン１の作業内容としては、例えば、「巻き上げ」、「巻き下げ」、「横行」、「走行」、ならびに「横行および走行」等が挙げられる。すなわち、第２学習済みモデル２４４ｂは、認識対象情報が入力されたときに、クレーン１の作業内容が、「巻き上げ」、「巻き下げ」、「横行」、「走行」、ならびに「走行および横行」のいずれであるか出力する（判定する）ように学習されている。なお、「走行および横行」は、クレーン１（吊り荷Ｌ）の横行とクレーン１（吊り荷Ｌ）の走行とを同時に行っている結果、クレーン１（吊り荷Ｌ）が第１方向Ｘおよび第２方向Ｙの双方に対して傾いた方向に移動している状態を意味する。

【0082】

第２判定部２５２ｂ（図７参照）は、第２学習済みモデル２４４ｂに、第１判定部２５２ａの出力（すなわち、認識対象情報）を入力することで、クレーン１の作業内容を出力する。第２判定部２５２ｂは、出力した作業内容を、第３判定部２５２ｃに出力する。第２判定部２５２ｂは、出力した作業内容を、処理情報２４３の一部として、画像データ２４１（および三次元データ２４２）と紐づけて記憶部２４０に格納する。

【0083】

第３学習済みモデル２４４ｃ（図８参照）は、クレーン１の作業内容と、画像ＩＭと、が入力されたときに、画像ＩＭにおける危険領域Ａを出力するように学習されている。ここで、危険領域Ａは、地上作業者Ｕが立ち入った場合に、吊り荷Ｌの落下に伴う事故が発生する可能性がある領域である。つまり、危険領域Ａ内に地上作業者Ｕが存在する場合、上述した第１の警報ケースに該当する可能性がある。図９に示す例においては、危険領域Ａが、吊り荷Ｌの領域Ｂ３と、その周囲の領域と、を含む領域として出力されている。

【0084】

本願発明者らが鋭意検討した結果、この危険領域Ａは、クレーン１の作業内容に応じて変化すべきものであると考察された。そのため、本実施形態に係る第３学習済みモデル２４４ｃは、クレーン１の作業内容に応じて異なる危険領域Ａを出力するように学習されている。例えば、クレーン１の作業状態が「巻き上げ」、「巻き下げ」、「横行」、「走行」、ならびに「走行および横行」のいずれに該当するかに応じて、出力される危険領域Ａは異なる。

【0085】

図１０は、クレーン１の作業状態に応じた危険領域Ａの変化の一例を示す図である。図１０（ａ）は、クレーン１の作業状態が「巻き上げ」または「巻き下げ」である場合を示している。図１０（ｂ）、図１０（ｃ）、および図１０（ｄ）は、各々、クレーン１の作業状態が「横行」、「走行」、および「走行および横行」である場合を示している。なお、図１０（ｂ）～図１０（ｄ）に示される白色の矢印は、クレーン１（吊り荷Ｌ）の進行の向きを示している。

【0086】

図１０（ａ）に示すように、クレーン１の作業状態が「巻き上げ」または「巻き下げ」である場合、吊り荷Ｌ（領域Ｂ３）と、その周囲の領域と、を含む領域Ａ０が、危険領域Ａとして出力される。以下、この領域Ａ０を、「基本領域Ａ０」と称する場合がある。

【0087】

一方、本願発明者らが鋭意検討した結果、クレーン１の作業状態が「横行」、「走行」、ならびに「走行および横行」のいずれかである場合、基本領域Ａ０だけではなく、基本領域Ａ０よりもクレーン１（吊り荷Ｌ）の移動方向における前方に位置する領域Ａ１も、危険領域Ａとすべきことが判った（図１０（ｂ）～図１０（ｄ）参照）。すなわち、クレーン１（吊り荷Ｌ）が水平方向に移動している場合、危険領域Ａには、基本領域Ａ０だけでなく、領域Ａ１も含めるべきであることが判った。以下、基本領域Ａ０に付加すべきこの領域Ａ１を、「付加領域Ａ１」と称する場合がある。本実施形態に係る第３学習済みモデル２４４ｃは、クレーン１が「横行」、「走行」、ならびに「走行および横行」のいずれかである場合（すなわち、クレーン１（吊り荷Ｌ）が水平方向に移動している場合）、基本領域Ａ０と付加領域Ａ１とを合わせた危険領域Ａを出力するように学習されている。

【0088】

なお、基本領域Ａ０や付加領域Ａ１の大きさがどの程度であるべきかは、吊り荷Ｌの大きさや形状、材質、重量、吊り荷Ｌの表面の状態（滑りやすさ等）に応じて変化すべきであると考えられる。そのため、本実施形態に係る第３学習済みモデル２４４ｃは、クレーン１の作業状態だけでなく、画像ＩＭにも基づいて、危険領域Ａを出力するように構成されている。これにより、様々な吊り荷Ｌに対して、適切に危険領域Ａを設定することができる。

【0089】

第３判定部２５２ｃ（図７参照）は、第３学習済みモデル２４４ｃに、画像取得部１２１によって取得された画像ＩＭと、第２判定部２５２ｂの出力（すなわち、クレーン１の作業内容）を入力することで、画像ＩＭにおける危険領域Ａを出力する。第３判定部２５２ｃは、出力した危険領域Ａを、第４判定部２５２ｄに出力する。第３判定部２５２ｃは、出力した危険領域Ａを、処理情報２４３の一部として、画像データ２４１（および三次元データ２４２）と紐づけて記憶部２４０に格納する。

【0090】

第４学習済みモデル２４４ｄ（図８参照）は、地上作業者Ｕの位置および状態の少なくとも一方と、危険領域Ａと、が入力されたときに、警報部３０３による警報の要否を判定するように学習されている。言い換えれば、第４学習済みモデル２４４ｄは、地上作業者Ｕの位置および状態の少なくとも一方と、危険領域Ａと、が入力されたときに、第１の警報ケースに該当するか否かを判定するように学習されている。

【0091】

例えば、危険領域Ａ内に地上作業者Ｕ（領域Ｂ１）が存在する場合（例えば、図９を参照）、吊り荷Ｌの落下時に吊り荷Ｌが地上作業者Ｕに接触する事故が発生する可能性が高い。したがって、危険領域Ａ内に地上作業者Ｕ（領域Ｂ１）が存在する場合、警報部３０３による警報が必要である可能性が高い。一方で、危険領域Ａ内に地上作業者Ｕ（領域Ｂ１）が位置していたとしても、地上作業者Ｕの状態によっては、警報部３０３による警報が不要である場合もあると考えられる。地上作業者Ｕが吊り荷Ｌの方向を向いている等、地上作業者Ｕが吊り荷Ｌに注意を向けていると考えられる場合がその一例である。したがって、第４学習済みモデル２４４ｄの入力に地上作業者Ｕの状態（向きＤ等）を含めることで、より高精度に警報の要否を判定することができる。

【0092】

第４判定部２５２ｄは、第４学習済みモデル２４４ｄに、第１判定部２５２ａの出力（すなわち、地上作業者Ｕの位置および状態の少なくとも一方）と、第３判定部２５２ｃの出力（すなわち、危険領域Ａ）と、を入力することで、警報部３０３による警報の要否を判定する。すなわち、第４判定部２５２ｄは、第１の警報ケースに基づく警報の要否を判定する。

【0093】

次に、第２の警報ケースを検出するための構成について説明する。

【0094】

第５学習済みモデル２４４ｅ（図８参照）は、画像ＩＭが入力されたときに、吊り具２２の位置を出力するように学習されている。すなわち、第５学習済みモデル２４４ｅは、吊り具２２の位置を画像認識するためのモデルである。

【0095】

第５判定部２５２ｅ（図７参照）は、第５学習済みモデル２４４ｅに、画像取得部１２１によって取得された画像ＩＭを入力することで、吊り具２２の位置を出力する。第５判定部２５２ｅは、出力した吊り具２２の位置を、第６判定部２５２ｆに出力する。第６判定部２５２ｆは、出力した吊り具２２の位置を、処理情報２４３の一部として、画像データ２４１（および三次元データ２４２）と紐づけて記憶部２４０に記憶してもよい。なお、第５判定部２５２ｅは、上述した第１学習済みモデル２４４ａに画像ＩＭを入力することで、吊り具２２の位置を出力してもよい。この場合、学習済みモデル２４４は、第５学習済みモデル２４４ｅを含んでいなくてもよい。

【0096】

第６学習済みモデル２４４ｆ（図８参照）は、吊り具２２の位置と、画像ＩＭと、吊り荷Ｌの三次元情報に係る情報と、が入力されたときに、警報部３０３による警報の要否を判定するように学習されている。言い換えれば、第６学習済みモデル２４４ｆは、吊り具２２の位置と、画像ＩＭと、吊り荷Ｌの三次元情報に係る情報と、が入力されたときに、第２の警報ケースに該当するか否かを判定するように学習されている。

【0097】

本願発明者らが鋭意検討した結果、吊り荷Ｌから吊り具２２が外れやすい場合（言い換えれば、吊り具２２が吊り荷Ｌから外れる予兆がある場合）として、２つの場合があると考えられた。第１の場合は、吊り荷Ｌに対して吊り具２２を取り付ける位置が不適切な場合である。第２の場合は、吊り荷Ｌのたわみによって吊り具２２が滑る場合である。そして、本実施形態に係る第６学習済みモデル２４４ｆは、この考察に基づき、吊り具２２の位置と、画像ＩＭと、吊り荷Ｌの三次元情報に係る情報と、が入力として採用されている。以下、詳細に説明する。

【0098】

まず、第１の場合について説明する。図１１は、吊り具２２を吊り荷Ｌに取り付ける位置の一例を示す図である。ここで、吊り荷Ｌには、吊り具２２を取り付ける最適な位置（最適位置ＩＤ）が存在する。最適位置ＩＤは、吊り具２２によって吊り荷Ｌを安定的に支持するうえで最適な位置である。最適位置ＩＤは、吊り具２２の重心の位置によって決定されると考えられる。図１１に示すように、吊り具２２を吊り荷Ｌに取り付けた位置（以下、「吊り具２２の取り付け位置」と称する）が最適位置ＩＤからずれている場合、吊り荷Ｌが吊り具２２から落下する（吊り荷Ｌから吊り具２２が外れる）可能性が高い。そのため、本実施形態に係る第６学習済みモデル２４４ｆは、吊り具２２の位置に基づいて、警報の要否（すなわち、上述した第１の場合に該当するか否か）を判定するように構成されている。

【0099】

なお、処理部２５０は、画像ＩＭから吊り荷Ｌの重心を推定する推定部（不図示）を備えていてもよい。推定部は、例えば、吊り荷Ｌを含む画像ＩＭが入力されたときに吊り荷Ｌの重心の位置を出力する（推定する）学習済みモデルに画像ＩＭを入力することで、吊り荷Ｌの重心の位置を推定してもよい。あるいは、推定部は、ルールベースで吊り荷Ｌの重心の位置を推定してもよい。そして、第６学習済みモデル２４４ｆの入力に、推定部によって推定された吊り荷Ｌの重心の位置がさらに含まれていてもよい。すなわち、第６学習済みモデル２４４ｆは、吊り具２２の位置と、画像ＩＭと、吊り荷Ｌの三次元情報に係る情報と、吊り荷Ｌの重心の位置と、が入力されたときに、警報部３０３による警報の要否を判定するように学習されていてもよい。推定部は、推定した吊り荷Ｌの重心を、処理情報２４３の一部として、画像データ２４１（および三次元データ２４２）と紐づけて記憶部２４０に記憶してもよい。

【0100】

次に、第２の場合について説明する。吊り具２２の滑りの生じやすさは、吊り荷Ｌのたわみの大きさやたわみの形状によって変化すると考えられる。ここで、三次元情報取得部１２２によって取得される吊り荷Ｌの三次元情報（高さ分布情報）には、吊り荷Ｌのたわみの大きさやたわみの形状に関する情報が含まれていると考えられる。そのため、本実施形態に係る第６学習済みモデル２４４ｆは、吊り荷Ｌの三次元情報（高さ分布情報）に係る情報に基づいて、警報の要否（すなわち、上述した第２の場合に該当するか否か）を判定するように構成されている。

【0101】

ここで、「吊り荷Ｌの三次元情報（高さ分布情報）に係る情報」は、例えば、吊り荷Ｌの三次元情報（高さ分布情報）それ自体であってもよいし、吊り荷Ｌの三次元情報（高さ分布情報）を基にして算出される情報であってもよい。例えば、「吊り荷Ｌの三次元情報（高さ分布情報）に係る情報」は、算出部２５１によって算出されるたわみ情報であってもよい。第６学習済みモデル２４４ｆの入力として、吊り荷Ｌの三次元情報それ自体ではなく、たわみ情報を用いることで、第６学習済みモデル２４４ｆによる判定精度の向上が期待される。

【0102】

なお、吊り荷Ｌの安定状態を検知する方法として、吊り荷Ｌの傾きを検知する方法が知られている（例えば、特開２０２１－０５４５８４号公報に開示された方法）。しかしながら、鋼材等の吊り荷Ｌはたわむため、傾きだけで吊り荷Ｌの安定状態を判断することは困難であった。本実施形態においては、たわみに係る情報が含まれる吊り荷Ｌの三次元情報（高さ分布情報）や、算出部２５１によって算出されるたわみ情報が学習済みモデルの入力として使用される。このため、傾きだけを用いる従来の方法と比較し、吊り荷Ｌの安定状態の検知精度を高めることができる。

【0103】

また、第１の場合に関し、吊り具２２の取り付け位置が同じであっても、吊り荷Ｌの大きさや形状、材質、重量、吊り荷Ｌの表面の状態（滑りやすさ等）に応じて、吊り荷Ｌが吊り具２２から落下する可能性は変化すると考えられる。同様に、第２の場合に関し、吊り荷Ｌのたわみ方が同じであっても、吊り荷Ｌの大きさや形状、材質、重量、吊り荷Ｌの表面の状態（滑りやすさ等）に応じて、吊り荷Ｌが吊り具２２から落下する可能性は変化すると考えられる。そのため、本実施形態に係る第６学習済みモデル２４４ｆは、吊り具２２の位置や吊り荷Ｌの三次元情報に係る情報だけでなく、画像ＩＭにも基づいて、警報の要否を判定するように構成されている。これにより、様々な吊り荷Ｌに対して、適切に警報の要否を判定することができる。

【0104】

第６判定部２５２ｆ（図７参照）は、第６学習済みモデル２４４ｆに、画像ＩＭと、第５判定部２５２ｅの出力（すなわち、吊り具２２の位置）と、吊り荷Ｌの三次元情報に係る情報と、を入力することで、警報部３０３による警報の要否を判定する。なお、第６学習済みモデル２４４ｆの入力の一つである「吊り荷Ｌの三次元情報に係る情報」が吊り荷Ｌの三次元情報である場合、第６判定部２５２ｆは、三次元情報取得部１２２が取得した吊り荷Ｌの三次元情報を第６学習済みモデル２４４ｆの入力として用いてもよい。また、第６学習済みモデル２４４ｆの入力の一つである「吊り荷Ｌの三次元情報に係る情報」が吊り荷Ｌのたわみ情報である場合、第６判定部２５２ｆは、算出部２５１が算出した吊り荷Ｌのたわみ情報を第６学習済みモデル２４４ｆの入力として用いてもよい。

【0105】

判定部２５２は、第４判定部２５２ｄによる判定結果と、第６判定部２５２ｆによる判定の結果と、を生成部２５３に出力する。具体的に、判定部２５２は、第４判定部２５２ｄ、第６判定部２５２ｆによる判定結果に基づいて、警報要否情報を生成部２５３に出力する。例えば、判定部２５２は、第４判定部２５２ｄ、第６判定部２５２ｆによる判定結果を統合して警報要否情報を生成し、生成部２５３に出力してもよい。判定部２５２は、生成した警報要否情報を、処理情報２４３の一部として、画像データ２４１および三次元データ２４２と紐づけて記憶部２４０に格納する。

【0106】

ここで、「警報要否情報」は、警報部３０３が発すべき警報に係る情報である。具体的に、警報要否情報は、警報部３０３による警報が必要であるか否かを示す情報であってもよい。より詳細に、警報要否情報は、「第１の警報ケースに係る警報が必要」、「第２の警報ケースに係る警報が必要」、「第１の警報ケースおよび第２の警報ケース双方に係る警報が必要」、および「第１の警報ケースおよび第２の警報ケースいずれに係る警報も必要でない」のいずれかを示す情報であってもよい。つまり、警報要否情報には、単に警報の要否を示す情報だけではなく、警報の種類（どのような種類の警報を発するべきであるか）を示す情報が含まれていてもよい。

【0107】

なお、上述したような学習済みモデル２４４（第１学習済みモデル２４４ａ～第６学習済みモデル２４４ｆ）の作成は、複数の入力情報と、入力情報に対して一対一に紐づけられた出力情報と、の組を教師データとして、入力情報と出力情報との関係性を学習する（機械学習）することにより行われてもよい。入力情報には、例えば、認識対象を含む画像ＩＭと、吊り荷Ｌの三次元情報と、が含まれる。出力情報には、認識対象情報と、クレーン１の作業内容と、危険領域Ａと、警報要否情報と、が含まれる。

【0108】

すなわち、学習済みモデル２４４（第１学習済みモデル２４４ａ～第６学習済みモデル２４４ｆ）の作成は、上記のような複数の入力情報を取得するステップと、取得された複数の入力情報と一対一に紐づけられた出力情報とを取得するステップと、取得された入力情報と出力情報との組を教師データとして学習済みモデル２４４（第１学習済みモデル２４４ａ～第６学習済みモデル２４４ｆ）を作成するステップと、を行うことによって行われてもよい。

【0109】

なお、学習に用いられる複数の入力情報には、互いに異なる吊り荷Ｌに対応した入力情報が含まれていることが好ましい。この場合、様々な吊り荷Ｌに対して高精度な出力を与えることができる学習済みモデル２４４（第１学習済みモデル２４４ａ～第６学習済みモデル２４４ｆ）を作成できる。

【0110】

また、学習済みモデル２４４（第１学習済みモデル２４４ａ～第６学習済みモデル２４４ｆ）の作成は、安全支援システムＳ（例えば、学習処理部２５４）によって行われてもよい。この場合、教師データの一部である入力情報は、取得部１２０によって取得されてもよい。取得された取得部１２０は、出力部２３０等によってユーザ（例えば、熟練作業者）に提示されてもよい。そして、ユーザが、取得された入力情報を、出力部２３０等を介して確認し、確認した入力情報に基づいて適切だと考えられる出力情報を判断してもよい。そして、適切だと判断した出力情報を、ユーザが入力部２２０等を操作することで、安全支援システムＳに取得させてもよい。

【0111】

あるいは、安全支援システムＳとは別に設けられた学習装置（以下、「別途の学習装置」と称する）によって学習済みモデル２４４が作成された後、作成された学習済みモデル２４４が記憶部２４０に格納されてもよい。この場合、教師データの一部である入力情報は、別途の学習装置が備える取得手段によって取得されてもよい。また、教師データの一部である出力情報は、上記と同様の手法によってユーザ（例えば、熟練作業者）が別途の学習装置に入力してもよい。

【0112】

また、安全支援システムＳまたは別途の学習装置における学習（機械学習）の具体的な手法については特に限定されないが、例えば、ＣＮＮやＲＮＮ等のニューラルネットワーク（深層学習）等を用いてもよい。また、特開２０２２－１０２９３０号公報に開示された手法を用いて学習（機械学習）を行ってもよい。

【0113】

＜学習処理部による再学習＞
判定部２５２による警報の要否の判定は、完全ではない可能性がある。すなわち、判定部２５２は、本来警報が必要である場面で警報が不要との判断を下したり（不警報）、本来警報の必要がない場面で警報が必要との判断を下したり（過警報）する可能性がある。ここで、上述したように、本実施形態に係る記憶部２４０には、画像データ２４１（画像ＩＭ）と、三次元データ２４２と、判定部２５２の処理によって出力された処理情報２４３と、が格納される（蓄積される）。処理情報２４３には、画像データ２４１および三次元データ２４２と紐づけられた、警報要否情報が含まれている。したがって、熟練作業者は、記憶部２４０に蓄積された、画像データ２４１、三次元データ２４２、および処理情報２４３を確認することで、不警報や過警報を検出することができる。学習処理部２５４は、熟練作業者によって不警報や過警報が確認された場合、熟練作業者にこれを修正させ、修正された情報を教師データとして、学習済みモデル２４４（第１学習済みモデル２４４ａ～第６学習済みモデル２４４ｆ）の再学習を行う。これにより、熟練者の着眼点と暗黙知に基づく、警報の的確性の向上を図ることができる。

【0114】

以下、学習処理部２５４の詳細について説明する。学習処理部２５４の再学習には、再学習に用いられる入力情報と、再学習に用いられる出力情報と、の組が、教師データとして用いられる。以下の説明においては、学習処理部２５４の再学習に用いられる入力情報を「再学習用入力情報」と称し、学習処理部２５４の再学習に用いられる出力情報を「再学習用出力情報」と称する場合がある。

【0115】

再学習用入力情報には、例えば、記憶部２４０に蓄積された画像データ２４１（画像ＩＭ）および三次元データ２４２が含まれる。そして、再学習用入力情報と、再学習用入力情報に紐づけられた処理情報２４３とが、熟練作業者に提示される。例えば、処理部２５０（学習処理部２５４）が出力部２３０を制御することで、処理部２５０に、熟練作業者が認知可能な形で再学習用入力情報および処理情報２４３を出力させてもよい。

【0116】

ここで、処理情報２４３には、判定部２５２が出力した、認識対象情報、クレーン１の作業内容、危険領域Ａ、および警報要否情報が含まれる。すなわち、処理情報２４３には、最終的に生成部２５３による制御信号の生成に用いられる最終情報（警報要否情報）と、それに至るまでの判定部２５２の処理に活用される中間情報（認識対象情報、クレーン１の作業内容、および危険領域Ａ）と、が含まれる。したがって、本実施形態においては、熟練作業者に、再学習用入力情報と、中間情報と、最終情報と、が提示される。中間情報および最終情報の各々は、再学習用入力情報（画像データ２４１および三次元データ２４２）と紐づけられている。

【0117】

熟練作業者は、提示された再学習用入力情報と処理情報２４３とを確認し、処理情報２４３に問題がないか確認する。処理情報２４３に問題があった場合、熟練作業者は、例えば入力部２２０等を操作することで、安全支援システムＳに、修正した処理情報２４３を入力する。例えば、提示された処理情報２４３に不警報または過警報が確認された場合（すなわち、最終情報である警報要否情報に問題が確認された場合）、熟練作業者は、処理情報２４３のうち少なくとも警報要否情報に修正を加える。また、提示された処理情報２４３のうち中間情報（認識対象情報、クレーン１の作業内容、および危険領域Ａ）に問題が確認された場合、熟練作業者は、中間情報のうち問題が確認されたものに修正を加える。このように熟練作業者によって修正された処理情報２４３が、再学習用出力情報として、安全支援システムＳ（判定部２５２）に取得される。

【0118】

学習処理部２５４は、このように取得された再学習用出力情報と、記憶部２４０に蓄積された情報に基づく再学習用入力情報と、の組を教師データとして、学習済みモデル２４４の再学習を行う。学習処理部２５４における再学習の具体的な手法については特に限定されないが、例えば、ＣＮＮやＲＮＮ等のニューラルネットワーク（深層学習）等を用いてもよい。また、特開２０２２－１０２９３０号公報に開示された手法を用いて再学習を行ってもよい。

【0119】

＜安全支援システムが行う処理＞
次に、本実施形態に係る安全支援システムＳにおいて行われる処理の一例について説明する。図１２は、本実施形態に係る安全支援システムＳにおいて行われる処理の一例を示すフローチャートである。なお、図１２に示すフローチャートは、警報部３０３による警報に係るものであり、上述した再学習に係る処理は省略されている。図１２に示す処理は、例えば、ユーザが処理開始の指令を行うこと等によって開始する。例えば、クレーン操作者Ｕ´が操作部９を操作したり、ユーザが入力部２２０を操作したりすることで、処理開始の指令が行われてもよい。

【0120】

（ステップＳ１０１）まず、ステップＳ１０１の処理が行われる。ステップＳ１０１の処理においては、画像取得部１２１が、撮像部３０１によって撮像された画像ＩＭを取得する。画像ＩＭには、地上作業者Ｕと、吊り具２２と、吊り荷Ｌと、が含まれる。画像取得部１２１は、取得した画像ＩＭを、通信部１１０およびネットワーク４００を介して第２端末装置２００（通信部２１０）に出力する。通信部２１０は、画像ＩＭを、処理部２５０に出力する。また、三次元情報取得部１２２は、三次元センサ３０２によって取得された吊り荷Ｌの三次元情報を取得する。三次元情報取得部１２２は、取得した吊り荷Ｌの三次元情報を、通信部１１０およびネットワーク４００を介して第２端末装置２００（通信部２１０）に出力する。通信部２１０は、吊り荷Ｌの三次元情報を、処理部２５０に出力する。ステップＳ１０１の処理が行われた後、ステップＳ１０２の処理（第１の処理）およびステップＳ１０６の処理（第５の処理）が行われる。

【0121】

（ステップＳ１０２）ステップＳ１０２の処理においては、第１判定部２５２ａが、第１学習済みモデル２４４ａに、画像ＩＭを入力することで、認識対象情報を出力する。第１判定部２５２ａは、出力した認識対象情報を、第２判定部２５２ｂおよび第４判定部２５２ｄに出力する。ステップＳ１０２の処理が行われた後、ステップＳ１０３の処理（第２の処理）が行われる。

【0122】

（ステップＳ１０３）ステップＳ１０３の処理においては、第２判定部２５２ｂが、第２学習済みモデル２４４ｂに、ステップＳ１０２の処理の出力（すなわち、認識対象情報）を入力することで、クレーン１の作業内容を出力する。第２判定部２５２ｂは、出力した作業内容を、第３判定部２５２ｃに出力する。ステップＳ１０３の処理が行われた後、ステップＳ１０４の処理（第３の処理）が行われる。

【0123】

（ステップＳ１０４）ステップＳ１０４の処理においては、第３判定部２５２ｃが、第３学習済みモデル２４４ｃに、ステップＳ１０１の処理によって取得された画像ＩＭと、ステップＳ１０３の処理の出力（すなわち、クレーン１の作業内容）を入力することで、画像ＩＭにおける危険領域Ａを出力する。第３判定部２５２ｃは、出力した危険領域Ａを、第４判定部２５２ｄに出力する。ステップＳ１０４の処理が行われた後、ステップＳ１０５の処理（第４の処理）が行われる。

【0124】

（ステップＳ１０５）ステップＳ１０５の処理においては、第４判定部２５２ｄが、第４学習済みモデル２４４ｄに、ステップＳ１０２の処理の出力（すなわち、地上作業者Ｕの位置および状態の少なくとも一方）と、ステップＳ１０４の処理の出力（すなわち、危険領域Ａ）と、を入力することで、警報部３０３による警報の要否を判定する。すなわち、ステップＳ１０５の処理においては、第１の警報ケースに基づく警報の要否が判定される。

【0125】

（ステップＳ１０６）ステップＳ１０６の処理においては、第５判定部２５２ｅが、第５学習済みモデル２４４ｅに、ステップＳ１０１の処理によって取得された画像ＩＭを入力することで、吊り具２２の位置を出力する。第５判定部２５２ｅは、出力した吊り具２２の位置を、第６判定部２５２ｆに出力する。ステップＳ１０６の処理が行われた後、ステップＳ１０７の処理（第６の処理）が行われる。

【0126】

（ステップＳ１０７）ステップＳ１０７の処理においては、第６判定部２５２ｆが、第６学習済みモデル２４４ｆに、ステップＳ１０１の処理によって取得された画像ＩＭと、ステップＳ１０６の処理の出力（すなわち、吊り具２２の位置）と、吊り荷Ｌの三次元情報に係る情報と、を入力することで、警報部３０３による警報の要否を判定する。すなわち、ステップＳ１０７の処理においては、第２の警報ケースに基づく警報の要否が判定される。

【0127】

ここで、「吊り荷Ｌの三次元情報に係る情報」が吊り荷Ｌの三次元情報である場合、第６判定部２５２ｆは、ステップＳ１０１の処理で取得された吊り荷Ｌの三次元情報を第６学習済みモデル２４４ｆの入力として用いてもよい。また、「吊り荷Ｌの三次元情報に係る情報」が吊り荷Ｌのたわみ情報である場合、ステップＳ１０６の処理に先立って、たわみ情報の算出処理が行われてもよい。たわみ情報の算出処理においては、算出部２５１が、吊り荷Ｌの三次元情報（高さ分布情報）に基づき、吊り荷Ｌのたわみ情報を算出し、算出したたわみ情報を、判定部２５２（第６判定部２５２ｆ）に出力する。そして、ステップＳ１０７の処理においては、たわみ情報の算出処理の出力を第６学習済みモデル２４４ｆの入力として用いてもよい。

【0128】

（ステップＳ１０８）ステップＳ１０５の処理およびステップＳ１０７の処理が行われた後、ステップＳ１０８の処理が行われる。ステップＳ１０８の処理においては、判定部２５２が、ステップＳ１０５の処理による判定結果と、ステップＳ１０７の処理による判定の結果と、を統合して警報要否情報を生成する。判定部２５２は、生成した警報要否情報を、生成部２５３に出力する。生成部２５３は、出力された警報要否情報に基づき、制御部１４０が警報部３０３を制御するための制御信号を生成する。ここで、生成される制御信号の内容は、判定結果（警報要否情報）に応じて異なる。生成部２５３は通信部２１０およびネットワーク４００を介して、生成した制御信号を第１端末装置１００に出力する。ステップＳ１０８の処理が行われた後、ステップＳ１０９の処理が行われる。

【0129】

（ステップＳ１０９）ステップＳ１０９の処理においては、制御部１４０が、ステップＳ１０８の処理で出力された制御信号に基づいて警報部３０３を制御し、警報部３０３に警報を発させる。具体的に、制御部１４０は、判定結果（警報要否情報）に応じて異なる制御信号に応じて、警報部３０３に、視覚的に異なる警報を発させる。警報の異ならせ方については、上述した通りである。ステップＳ１０９の処理が行われた後、ステップＳ１１０の処理が行われる。

【0130】

（ステップＳ１１０）ステップＳ１１０の処理においては、ステップＳ１０１～ステップＳ１０９の処理を繰り返すか否かが判断される。この判断は、例えば、第２端末装置２００（判定部２５２）によって行われてもよいし、第１端末装置１００によって行われてもよい。例えば、ユーザからの繰り返し終了の指令があった場合に、繰り返しを終了すると判断し、ユーザからの繰り返し終了の指令がない場合に、繰り返しを終了しないと判断してもよい。クレーン１の作業が終了している場合には繰り返しを終了すると判断し、クレーン１の作業が終了していない場合には繰り返しを終了しないと判断してもよい。例えば、判定部２５２および学習済みモデル２４４を、画像ＩＭや吊り荷Ｌの三次元情報等に基づいてクレーン１の作業終了を検知できるように構成してもよい。そして、画像ＩＭや吊り荷Ｌの三次元情報等に基づいてクレーン１の作業終了が検知された場合に、繰り返しを終了すると判断し、クレーン１の作業終了が検知されない場合に、繰り返しを終了しないと判断してもよい。

【0131】

繰り返しを終了するとの判断がなされた場合（ステップＳ１１０；ＹＥＳ）、フローチャートの処理を終了する。繰り返しを終了しないとの判断がなされた場合（ステップＳ１１０；ＮＯ）、ステップＳ１０１～ステップＳ１０９の処理が繰り返される。このようにステップＳ１０１～ステップＳ１０９の処理を繰り返すことで、例えばクレーン１が行う一連の作業を通じて、警報の要否を判定し続け、必要に応じて警報を発することができる。クレーン１が行う一連の作業とは、例えば、吊り荷Ｌの巻き上げと、吊り荷Ｌの移動（すなわち、横行および／または走行）と、吊り荷Ｌの巻き下げと、を含んでいてもよい。例えば、クレーン１が行う一連の作業の最中に地上作業者Ｕが吊り荷Ｌに近づき、第１の警報ケースに該当するようになった場合に、これを検知し、警報を行うことができる。また、クレーン１が行う一連の作業の最中に吊り具２２がずれて第２の警報ケースに該当するようになった場合に、これを検知し、警報を行うことができる。

【0132】

＜総括＞
以上説明した本実施形態によれば、警報によってクレーン作業の安全性の向上を図ることができる。また、安全支援システムＳが備える構成（撮像部３０１、三次元センサ３０２、警報部３０３、第１端末装置１００、および第２端末装置２００）をクレーン１に適用するうえで、既存のクレーン１の設計に変更を加える必要がない。例えば、撮像部３０１、三次元センサ３０２、警報部３０３および第２端末装置２００は、クレーン１（例えば、トロリ１０）に取り付けるだけでよく、第１端末装置１００はクレーン１の外部に配置することができる。また、クレーン１の作業内容の特定が画像ＩＭからの画像認識によって行われるため、クレーン１の制御システムに対する変更（例えば、クレーン１を制御する制御信号を安全支援システムＳに出力させるようにする変更等）を行う必要がない。したがって、本実施形態に係る安全支援システムＳによれば、既存のクレーン設備においてもクレーン作業の安全性の向上を図ることができる。

【0133】

＜変形例＞
なお、本発明の技術的範囲は前記実施形態に限定されず、本発明の趣旨を逸脱しない範囲において種々の変更を加えることが可能である。

【0134】

例えば、判定部２５２が出力する警報要否情報の内容は適宜変更可能である。例えば、警報要否情報は、警報部３０３による警報の要否のみを示す情報であってもよい。

【0135】

また、学習済みモデル２４４（第６学習済みモデル２４４ｆ）および判定部２５２（第６判定部２５２ｆ）は、吊り荷Ｌの三次元情報（高さ分布情報）を入力としていなくてもよい。すなわち、吊り荷Ｌのたわみに基づいた、荷崩れに係る警報の要否の判断が行われなくてもよい。この場合、安全支援システムＳは、三次元センサ３０２および三次元情報取得部１２２を備えていなくてもよい。この場合においても、画像取得部１２１（および撮像部３０１）によって取得された画像ＩＭに基づき、警報の要否を判断できる。三次元センサ３０２は高価な場合が多いため、例えば吊り荷Ｌのたわみに基づいた荷崩れに係る警報の要否の判断が不要である場合等においては、三次元センサ３０２を省略することでコストの削減を実現することができる。

【0136】

また、上記実施形態においては複数の学習済みモデル（第１学習済みモデル２４４ａ～第４学習済みモデル２４４ｄ）および複数の判定部（第１判定部２５２ａ～第４判定部２５２ｄ）を用いて、認識対象情報と、クレーン１の作業内容と、危険領域Ａと、第１の警報ケースに係る警報の要否と、を出力していたが、これに限られない。単一の学習済みモデルおよび単一の判定部によって、認識対象情報と、クレーン１の作業内容と、危険領域Ａと、第１の警報ケースに係る警報の要否と、を出力してもよい。同様に、上記実施形態においては複数の学習済みモデル（第５学習済みモデル２４４ｅ～第６学習済みモデル２４４ｆ）および複数の判定部（第５判定部２５２ｅ～第６判定部２５２ｆ）を用いて、吊り具２２の位置と、第２の警報ケースに係る警報の要否と、を出力していたが、これに限られない。単一の学習済みモデルおよび単一の判定部によって、吊り具２２の位置と、第２の警報ケースに係る警報の要否と、を出力してもよい。

【0137】

また、上記実施形態においては第１端末装置１００と第２端末装置２００とが異なる装置として構成されているが、一体の装置として構成されてもよい。例えば、第２端末装置２００が備える機能が第１端末装置１００に実装されていてもよい。また、第１端末装置１００および第２端末装置２００が備える機能が、３以上の装置によって実装されていてもよい。

【0138】

その他、本発明の趣旨を逸脱しない範囲で、上記した実施形態における構成要素を周知の構成要素に置き換えることは適宜可能であり、また、上記した実施形態や変形例を適宜組み合わせてもよい。

【符号の説明】

【0139】

Ｓ…安全支援システム １…クレーン ２２…吊り具 １２０…取得部 ２４４…学習済みモデル ２４４ａ…第１学習済みモデル ２４４ｂ…第２学習済みモデル ２４４ｃ…第３学習済みモデル ２４４ｄ…第４学習済みモデル ２４４ｅ…第５学習済みモデル ２４４ｆ…第６学習済みモデル ２５１…算出部 ２５２…判定部 ２５２ａ…第１判定部 ２５２ｂ…第２判定部 ２５２ｃ…第３判定部 ２５２ｄ…第４判定部 ２５２ｅ…第５判定部 ２５２ｆ…第６判定部 ２５４…学習処理部 Ｌ…吊り荷 Ｕ…地上作業者 ＩＭ…画像

【要約】

【課題】既存のクレーン設備においてもクレーン作業の安全性の向上を図ることができる安全支援システム、および学習済みモデルの作成方法を提供する。
【解決手段】安全支援システムは、地上作業者と、クレーンが有する吊り具と、前記吊り具によって吊り上げられる吊り荷と、を含む画像を取得する取得部と、学習済みモデルに、前記画像を入力することで、前記画像に示される状況において警報部による警報が必要であるか否かを判定する判定部と、前記判定部による判定の結果に基づいて、前記警報部に前記警報を発させる制御部と、を備え、前記学習済みモデルは、前記画像が入力されたときに、前記警報の要否を判定するように学習されている。
【選択図】図２

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】