7386682 密閉物検出システム、密閉物検出方法、推定装置、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-11-16

(45)【発行日】2023-11-27

(54)【発明の名称】密閉物検出システム、密閉物検出方法、推定装置、及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20231117BHJP

   G01N 21/88 20060101ALI20231117BHJP

【ＦＩ】

G06T7/00 350B

G06T7/00 610B

G01N21/88 Z

【請求項の数】 12

(21)【出願番号】P 2019213326

(22)【出願日】2019-11-26

(65)【公開番号】P2021086285

(43)【公開日】2021-06-03

【審査請求日】2022-08-02

(73)【特許権者】

【識別番号】504358148

【氏名又は名称】株式会社コベルコＥ＆Ｍ

(74)【代理人】

【識別番号】100125645

【弁理士】

【氏名又は名称】是枝 洋介

(74)【代理人】

【識別番号】100145609

【弁理士】

【氏名又は名称】楠屋 宏行

(74)【代理人】

【識別番号】100149490

【弁理士】

【氏名又は名称】羽柴 拓司

(72)【発明者】

【氏名】清水 邦彦

(72)【発明者】

【氏名】多田 隆良

(72)【発明者】

【氏名】植村 欣司

(72)【発明者】

【氏名】▲高▼次 秀幸

(72)【発明者】

【氏名】山内 太郎

【審査官】佐藤 実

(56)【参考文献】

【文献】特開２０００－０４２４９９（ＪＰ，Ａ）

【文献】特開２０２０－１７６９０９（ＪＰ，Ａ）

【文献】黒崎泰充 他２名，都市ごみ処理プラントにおけるビジョン技術，日本ロボット学会誌 ，社団法人日本ロボット学会，1995年05月15日，第１３巻 第４号

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０１Ｎ ２１／８８

(57)【特許請求の範囲】

【請求項1】

鉄スクラップの集合を撮影するカメラと、
学習用画像中の密閉物の有無を教師データとして機械学習により予め構築された学習済みモデルを用い、前記カメラにより生成されたカメラ画像から前記鉄スクラップの集合に密閉物が含まれるか否か推定する推論部と、
前記鉄スクラップの集合に密閉物が含まれると推定された場合に報知する報知部と、
を備え、
積み重なった鉄スクラップから一部の鉄スクラップを持ち上げるクレーンをさらに備え、
前記推論部は、前記クレーンに持ち上げられた前記鉄スクラップの集合を撮影した前記カメラ画像、前記クレーンに持ち上げられる前の前記鉄スクラップの集合を撮影した前記カメラ画像、及び前記クレーンから降ろされた前記鉄スクラップの集合を撮影した前記カメラ画像のうちの２以上に基づいて、前記鉄スクラップの集合に前記密閉物が含まれるか否か推定する、
密閉物検出システム。

【請求項2】

前記学習済みモデルは、前記学習用画像中の前記密閉物の範囲をさらに教師データとして構築され、
前記推論部は、前記カメラ画像中の前記密閉物の範囲をさらに推定する、
請求項１に記載の密閉物検出システム。

【請求項3】

前記密閉物の範囲をマークした前記カメラ画像を表示する表示部をさらに備える、
請求項２に記載の密閉物検出システム。

【請求項4】

前記鉄スクラップの集合を撮影する、互いに異なる位置に設けられた複数の前記カメラを備え、
前記推論部は、複数の前記カメラによりそれぞれ生成された複数の前記カメラ画像から前記鉄スクラップの集合に前記密閉物が含まれるか否か推定する、
請求項１ないし３の何れかに記載の密閉物検出システム。

【請求項5】

前記推論部は、前記クレーンに持ち上げられた前記鉄スクラップの集合を撮影した前記カメラ画像から、前記クレーンに持ち上げられた前記鉄スクラップの集合に前記密閉物が含まれるか否か推定する、
請求項１ないし４の何れかに記載の密閉物検出システム。

【請求項6】

前記推論部は、前記クレーンに持ち上げられる前の前記鉄スクラップの集合を撮影した前記カメラ画像から、前記クレーンに持ち上げられる前の前記鉄スクラップの集合に前記密閉物が含まれるか否か推定する、
請求項１ないし５の何れかに記載の密閉物検出システム。

【請求項7】

前記推論部は、前記クレーンから降ろされた前記鉄スクラップの集合を撮影した前記カメラ画像から、前記クレーンから降ろされた前記鉄スクラップの集合に前記密閉物が含まれるか否か推定する、
請求項１ないし６の何れかに記載の密閉物検出システム。

【請求項8】

少なくとも一部の前記学習用画像は、鉄スクラップの集合に前記密閉物が含まれた画像である、
請求項１ないし７の何れかに記載の密閉物検出システム。

【請求項9】

少なくとも一部の前記学習用画像は、前記密閉物が単体で含まれた画像である、
請求項１ないし８の何れかに記載の密閉物検出システム。

【請求項10】

鉄スクラップの集合をカメラにより撮影し、
学習用画像中の密閉物の有無を教師データとして機械学習により予め構築された学習済みモデルを用い、前記カメラにより生成されたカメラ画像から前記鉄スクラップの集合に密閉物が含まれるか否か推定し、
前記鉄スクラップの集合に密閉物が含まれると推定された場合に報知する、
密閉物検出方法であって、
前記推定は、積み重なった鉄スクラップから一部の鉄スクラップを持ち上げるクレーンに持ち上げられた前記鉄スクラップの集合を撮影した前記カメラ画像、前記クレーンに持ち上げられる前の前記鉄スクラップの集合を撮影した前記カメラ画像、及び前記クレーンから降ろされた前記鉄スクラップの集合を撮影した前記カメラ画像のうちの２以上に基づいて、前記鉄スクラップの集合に前記密閉物が含まれるか否か推定する、
密閉物検出方法。

【請求項11】

鉄スクラップの集合を撮影するカメラにより生成されたカメラ画像を取得する取得部と、
学習用画像中の密閉物の有無を教師データとして機械学習により予め構築された学習済みモデルを用い、前記カメラ画像から前記鉄スクラップの集合に密閉物が含まれるか否か推定する推論部と、
前記推論部による推定結果を出力する出力部と、
を備え、
前記推論部は、積み重なった鉄スクラップから一部の鉄スクラップを持ち上げるクレーンに持ち上げられた前記鉄スクラップの集合を撮影した前記カメラ画像、前記クレーンに持ち上げられる前の前記鉄スクラップの集合を撮影した前記カメラ画像、及び前記クレーンから降ろされた前記鉄スクラップの集合を撮影した前記カメラ画像のうちの２以上に基づいて、前記鉄スクラップの集合に前記密閉物が含まれるか否か推定する、
推定装置。

【請求項12】

鉄スクラップの集合を撮影するカメラにより生成されたカメラ画像を取得する取得部、
学習用画像中の密閉物の有無を教師データとして機械学習により予め構築された学習済みモデルを用い、前記カメラ画像から前記鉄スクラップの集合に密閉物が含まれるか否か推定する推論部、及び、
前記推論部による推定結果を出力する出力部、
としてコンピュータを機能させ、
前記推論部は、積み重なった鉄スクラップから一部の鉄スクラップを持ち上げるクレーンに持ち上げられた前記鉄スクラップの集合を撮影した前記カメラ画像、前記クレーンに持ち上げられる前の前記鉄スクラップの集合を撮影した前記カメラ画像、及び前記クレーンから降ろされた前記鉄スクラップの集合を撮影した前記カメラ画像のうちの２以上に基づいて、前記鉄スクラップの集合に前記密閉物が含まれるか否か推定する、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、密閉物検出システム、密閉物検出方法、推定装置、及びプログラムに関する。

【背景技術】

【0002】

一般に、スクラップ加工会社では、クレーンにより鉄スクラップをスクラップヤードから吊り上げ、トラック又は船に積込む。また、電炉メーカーでは、クレーンにより鉄スクラップをトラック又は船から吊り上げ、スクラップヤードに荷下ろしする。

【先行技術文献】

【特許文献】

【0003】

【文献】特開平７－２８６９６９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、電炉メーカーで受入れられる鉄スクラップには、ボンベ、消火器、ジャッキ、ロール等の密閉物が混入していないことが求められている。

【0005】

本発明は、上記課題に鑑みてなされたものであり、その主な目的は、鉄スクラップの集合に含まれる密閉物を検出することが容易な密閉物検出システム、密閉物検出方法、推定装置、及びプログラムを提供することにある。

【課題を解決するための手段】

【0006】

上記課題を解決するため、本発明の一の態様の密閉物検出システムは、鉄スクラップの集合を撮影するカメラと、学習用画像中の密閉物の有無を教師データとして機械学習により予め構築された学習済みモデルを用い、前記カメラにより生成されたカメラ画像から前記鉄スクラップの集合に密閉物が含まれるか否か推定する推論部と、前記鉄スクラップの集合に密閉物が含まれると推定された場合に報知する報知部と、を備える。

【0007】

また、本発明の他の態様の密閉物検出方法は、鉄スクラップの集合をカメラにより撮影し、学習用画像中の密閉物の有無を教師データとして機械学習により予め構築された学習済みモデルを用い、前記カメラにより生成されたカメラ画像から前記鉄スクラップの集合に密閉物が含まれるか否か推定し、前記鉄スクラップの集合に密閉物が含まれると推定された場合に報知する。

【0008】

また、本発明の他の態様の推定装置は、鉄スクラップの集合を撮影するカメラにより生成されたカメラ画像を取得する取得部と、学習用画像中の密閉物の有無を教師データとして機械学習により予め構築された学習済みモデルを用い、前記カメラ画像から前記鉄スクラップの集合に密閉物が含まれるか否か推定する推論部と、前記推論部による推定結果を出力する出力部と、を備える。

【0009】

また、本発明の他の態様のプログラムは、鉄スクラップの集合を撮影するカメラにより生成されたカメラ画像を取得する取得部、学習用画像中の密閉物の有無を教師データとして機械学習により予め構築された学習済みモデルを用い、前記カメラ画像から前記鉄スクラップの集合に密閉物が含まれるか否か推定する推論部、及び、前記推論部による推定結果を出力する出力部、としてコンピュータを機能させる。

【発明の効果】

【0010】

本発明によれば、鉄スクラップの集合に含まれる密閉物を検出することが容易となる。

【図面の簡単な説明】

【0011】

【図1】スクラップ出荷／受入現場の例を示す図である。

【図2】実施形態に係る密閉物検出システムの構成例を示す図である。

【図3】データセットの例を示す図である。

【図4】学習用画像の例を示す図である。

【図5】学習フェーズの手順例を示すフロー図である。

【図6】推論フェーズの手順例を示すフロー図である。

【図7】表示部の出力例を示す図である。

【図8】推論フェーズの別の手順例を示すフロー図である。

【発明を実施するための形態】

【0012】

以下、本発明の実施形態について、図面を参照しながら説明する。

【0013】

［システム概要］
図１は、実施形態に係る密閉物検出システム１００が設置されるスクラップ出荷／受入現場の例を示す図である。図２は、密閉物検出システム１００の構成例を示すブロック図である。

【0014】

密閉物検出システム１００は、スクラップ出荷／受入現場において鉄スクラップＳに混入した密閉物Ｅを検出するためのシステムである。密閉物Ｅは、例えばボンベ、消火器、ジャッキ、ロール等である。

【0015】

以下では、密閉物検出システム１００をスクラップ加工会社のスクラップ出荷現場に適用した例について説明する。スクラップ出荷現場では、クレーン９により鉄スクラップＳがスクラップヤードＹから持ち上げられ、トラックＴ又は船Ｂに積込まれる。

【0016】

スクラップヤードＹには、種々の大きさの鉄スクラップＳが混在している。鉄スクラップＳは、例えばヘビー屑である。

【0017】

クレーン９は、リフティングマグネット９１を備えており、クレーン運転室Ｒ内の運転者Ａによって操作される。クレーン９は、リフティングマグネット９１に代えて、グラブバケット等を備えてもよい。なお、クレーン９は、油圧ショベルであってもよい。

【0018】

スクラップ出荷現場には、１又は複数のカメラ２が設置されている。カメラ２は、スクラップヤードＹに積み重なった鉄スクラップＳ、クレーン９により持ち上げられた鉄スクラップＳ、トラックＴ又は船Ｂに積込まれた鉄スクラップＳ等を撮影する。

【0019】

また、スクラップ出荷現場には、密閉物Ｅの検出を報知するための例えば回転灯及びサイレン等を含む報知部３が設置されている。また、クレーン運転室Ｒ内には、カメラ２により撮影された動画像を表示する表示部４が設置されている。

【0020】

スクラップ出荷現場に設置されたカメラ２、報知部３、及び表示部４は、密閉物検出システム１００の一部である。

【0021】

なお、密閉物検出システム１００は、電炉メーカーにおけるスクラップ受入現場に適用されてもよい。スクラップ受入現場では、クレーン９により鉄スクラップＳがトラックＴ又は船Ｂから持ち上げられ、スクラップヤードＹに荷下ろしされる。

【0022】

図２に示すように、密閉物検知システム１００は、推定装置１、カメラ２、報知部３、表示部４、データベース５、及び学習装置６を備えている。これらの機器は、例えばＬＡＮ等の通信ネットワークを介して相互に通信可能である。また、推定装置１、データベース５、及び学習装置６は、クラウド環境内に設置してもよい。

【0023】

推定装置１は、制御部１０を備えている。制御部１０は、ＣＰＵ、ＧＰＵ、ＲＡＭ、ＲＯＭ、不揮発性メモリ、及び入出力インターフェース等を含むコンピュータである。制御部１０のＣＰＵ又はＧＰＵは、ＲＯＭ又は不揮発性メモリからＲＡＭにロードされたプログラムに従って情報処理を実行する。

【0024】

制御部１０は、取得部１１、推論部１２、及び出力部１３を備えている。これらの機能部は、制御部１０のＣＰＵ又はＧＰＵがＲＯＭ又は不揮発性メモリからＲＡＭにロードされたプログラムに従って情報処理を実行することによって実現される。

【0025】

プログラムは、例えば光ディスク又はメモリカード等の情報記憶媒体を介して供給されてもよいし、例えばインターネット又はＬＡＮ等の通信ネットワークを介して供給されてもよい。

【0026】

学習装置６も、推定装置１と同様に制御部６０を備えている。制御部６０は、取得部６１、学習部６２、及び保存部６３を備えている。なお、学習装置６は、１又は複数のサーバコンピュータで構成されてもよいし、クラウド環境内に設置されてもよい。

【0027】

推定装置１及び学習装置６は、データベース５にアクセス可能である。データベース５には、学習装置６により構築された学習済みモデル５１が、推定装置１により読出し可能に保存されている。

【0028】

カメラ２は、鉄スクラップＳの集合を撮影し、生成した画像を推定装置１に出力する。報知部３は、推定装置１からの指令に応じて密閉物Ｅの検出を報知する。表示部４は、推定装置１からの指令に応じて画像を表示する。

【0029】

図１に示すように、カメラ２の１つは、スクラップヤードＹに積み重なった鉄スクラップＳの集合を撮影するカメラ２１（以下、「ヤード撮影カメラ２１」という）である。ヤード撮影カメラ２１は、スクラップヤードＹを上方から下方に向かって撮影する。

【0030】

また、カメラ２の他の１つは、クレーン９により持ち上げられた鉄スクラップＳの集合を撮影するカメラ２２（以下、「クレーン撮影カメラ２２」という）である。クレーン撮影カメラ２２は、クレーン９により持ち上げられた鉄スクラップＳをより多く撮影できるよう、クレーン９により持ち上げられた鉄スクラップＳを側方から水平に又は下方から上方に向かって撮影することが好ましい。

【0031】

また、カメラ２のさらに他の１つは、トラックＴ又は船Ｂに積込まれた鉄スクラップＳの集合を撮影するカメラ２３（以下、「積込み撮影カメラ２３」という）である。積込み撮影カメラ２３は、トラックＴ又は船Ｂの荷台を上方から下方に向かって撮影する。

【0032】

ここで、ヤード撮影カメラ２１により撮影されるクレーン９に持ち上げられる前の鉄スクラップＳの集合と、クレーン撮影カメラ２２により撮影されるクレーン９に持ち上げられた鉄スクラップＳの集合と、積込み撮影カメラ２３により撮影されるクレーン９から降ろされた鉄スクラップＳの集合とは、ほぼ同じものである。すなわち、ヤード撮影カメラ２１、クレーン撮影カメラ２２、及び積込み撮影カメラ２３は、ほぼ同じ鉄スクラップＳの集合を互いに異なる態様で観察している。

【0033】

なお、密閉物検出システム１００の実現には、少なくとも積込み撮影カメラ２３を設けることが好ましい。推定精度の向上のために、ヤード撮影カメラ２１及びクレーン撮影カメラ２２の一方又は両方を組み合わせることが好ましい。

【0034】

［学習フェーズ］
図３は、学習フェーズに用いられるデータセットの例を示す図である。図４は、データセットに含まれる学習用画像の例を示す図である。学習フェーズに用いられるデータセットは、学習用画像、ラベル、及び範囲を含んでいる。

【0035】

「ラベル」は、学習用画像Ｌ中の範囲Ｎに含まれる物体が密閉物Ｅであることを表す。具体的には、「ラベル」には、ボンベ、消火器、ジャッキ、ロール等の密閉物の種類が記載される。「範囲」は、学習用画像Ｌ中の密閉物Ｅを含む範囲Ｎを座標により表す。「ラベル」及び「範囲」は、例えばユーザによって判断され、付与される。

【0036】

図４（ａ）及び図４（ｂ）は、鉄スクラップＳの集合に密閉物Ｅが含まれた学習用画像Ｌの例である。

【0037】

このうち、図４（ａ）は、ヤード撮影カメラ２１により撮影されたスクラップヤードＹに積み重なった鉄スクラップＳの集合、又は、積込み撮影カメラ２３により撮影されたトラックＴ若しくは船Ｂに積込まれた鉄スクラップＳの集合の学習用画像Ｌである。図４（ｂ）は、クレーン撮影カメラ２２により撮影されたクレーン９により持ち上げられた鉄スクラップＳの集合の学習用画像Ｌである。

【0038】

学習用画像Ｌは、スクラップ出荷現場に設置されたカメラ２で撮影された画像に限らず、他の場所において撮影された鉄スクラップＳの集合の画像であってもよい。

【0039】

さらには、図４（ｃ）に示すような、鉄スクラップＳを含まず、密閉物Ｅを単体で含む画像が、学習用画像Ｌとして用いられてもよい。

【0040】

図５は、学習装置６において実現される学習フェーズの手順例を示すフロー図である。学習装置６の制御部６０は、同図に示す処理をプログラムに従って実行することにより、取得部６１、学習部６２、及び保存部６３として機能する。

【0041】

まず、制御部６０は、学習用画像、ラベル、及び範囲を含むデータセットを取得する（Ｓ１１、図３及び図４参照）。データセットは、トレーニングデータ、検証データ、及びテストデータに分けられる（例えば、８：１：１）。

【0042】

次に、制御部６０は、データセットからトレーニングデータを取得する（Ｓ１２；取得部６１としての処理）。

【0043】

次に、制御部６０は、取得したトレーニングデータを用いて機械学習を実行する（Ｓ１３；学習部６２としての処理）。具体的には、制御部６０は、学習用画像を入力データとし、ラベル及び範囲を教師データとして、カメラ画像から密閉物の有無及び範囲を推定するための学習済みモデルを機械学習により構築する。

【0044】

学習済みモデルは、例えばYOLO（You Only Look Once）、SSD（Single Shot MultiBox Detector）又はFaster R-CNN等の物体検出モデルである。

【0045】

次に、制御部６０は、検証データにより学習済みモデルを検証し（Ｓ１４）、正解率が上がるよう学習済みモデルを修正し（Ｓ１５）、再びトレーニングデータにより機械学習を実行することを繰返す。このサイクルは、数百回程度繰り返される。

【0046】

次に、制御部６０は、テストデータを取得し、取得したテストデータを用いて学習済みモデルを評価する（Ｓ１６）。

【0047】

その後、制御部６０は、評価が所定以上であった学習済みモデルをデータベース５に保存し（Ｓ１７）、学習フェーズを終了する。

【0048】

［推論フェーズ］
図６は、推定装置１において実現される、実施形態に係る密閉物検出方法としての推論フェーズの手順例を示すフロー図である。推定装置１の制御部１０は、同図に示す処理をプログラムに従って実行することにより、取得部１１、推論部１２、及び出力部１３として機能する。

【0049】

まず、制御部１０は、カメラ２からカメラ画像を取得する（Ｓ２１；取得部１１としての処理）。カメラ画像は、例えばカメラ２により所定のタイミングで撮影された静止画像である。これに限らず、カメラ画像は、例えばカメラ２により撮影された動画像に含まれる複数の静止画像（フレーム）から抽出される１つの静止画像であってもよい。

【0050】

具体的には、制御部１０は、ヤード撮影カメラ２１、クレーン撮影カメラ２２、及び積込み撮影カメラ２３（図１参照）の１又は複数からカメラ画像を取得する毎に、同図に示す処理を実行する。

【0051】

ヤード撮影カメラ２１、クレーン撮影カメラ２２、及び積込み撮影カメラ２３の１又は複数は、クレーン９により鉄スクラップＳの集合がスクラップヤードＹから持ち上げられ、搬送され、トラックＴ又は船Ｂに積込まれる１行程ごとに、少なくとも１つのカメラ画像を撮影し、制御部１０に出力する。

【0052】

ヤード撮影カメラ２１は、クレーン９によりスクラップヤードＹから鉄スクラップＳの集合が持ち上げられる前のタイミングで、スクラップヤードＹで積み重なった鉄スクラップＳの山の表層部分（すなわち、クレーン９に持ち上げられる前の鉄スクラップＳの集合）を撮影する。

【0053】

クレーン撮影カメラ２２は、鉄スクラップＳの集合を持ち上げるクレーン９が所定の高さに到達したタイミングで、クレーン９に持ち上げられた鉄スクラップＳの集合を撮影する。

【0054】

積込み撮影カメラ２３は、クレーン９により鉄スクラップＳの集合がトラックＴ又は船Ｂに荷下ろしされた後のタイミングで、トラックＴ又は船Ｂに積込まれた鉄スクラップＳの山の表層部分（すなわち、クレーン９から降ろされた後の鉄スクラップＳの集合）を撮影する。

【0055】

次に、制御部１０は、学習フェーズで構築された学習済みモデルを用い、カメラ２から取得されたカメラ画像を入力データとして、カメラ画像に写った鉄スクラップＳの集合における密閉物Ｅの有無及び範囲を推定する（Ｓ２２；推論部１２としての処理）。

【0056】

密閉物Ｅの有無の推定は、密閉物Ｅの確度を表す数値を算出することによって実現される。そして、密閉物Ｅの確度を表す数値が閾値を超えた場合に、密閉物Ｅが含まれると判定される。例えば、学習済みモデルの密閉物Ｅの有無を表す出力層にソフトマックス関数が用いられ、密閉物Ｅの確度が０～１の間の数値として出力される。

【0057】

鉄スクラップＳの集合に密閉物Ｅが含まれると判定された場合（Ｓ２３：ＹＥＳ）、制御部１０は、報知部４（図１及び２参照）を駆動して、密閉物Ｅの検知をアラームで報知する（Ｓ２４；出力部１３としての処理）。

【0058】

さらに、制御部１０は、カメラ画像に推定された密閉物Ｅの範囲をマークし、密閉物Ｅの範囲がマークされたカメラ画像を表示部４（図１及び２参照）に出力する（Ｓ２５及びＳ２６；出力部１３としての処理）。

【0059】

図７は、表示部４の出力例を示す図である。表示部４に出力されるカメラ画像Ｃには、密閉物Ｅを囲む範囲Ｍがマークされている。また、密閉物Ｅを囲む範囲Ｍに隣接して、密閉物Ｅの確度を表す数値も付されている。

【0060】

同図では、クレーン撮影カメラ２２により撮影されたカメラ画像Ｃを例示したが、ヤード撮影カメラ２１及び積込み撮影カメラ２３により撮影されたカメラ画像も同様に、密閉物Ｅを囲む範囲Ｍ及び密閉物Ｅの確度を表す数値が付される。

【0061】

以上に説明した実施形態によれば、学習済みモデルにより密閉物Ｅの有無を推定することで、鉄スクラップＳの集合に含まれる密閉物Ｅを検出することが容易となる。また、密閉物Ｅの範囲を推定することで、鉄スクラップＳの集合内の密閉物Ｅの位置を特定することが容易となる。

【0062】

また、実施形態によれば、クレーン運転室Ｒ内に設置された表示部４（図１参照）に、密閉物Ｅの範囲Ｍがマークされたカメラ画像Ｃ（図７参照）が表示されるので、クレーン９の運転者Ａが密閉物Ｅの位置を特定することが容易となる。

【0063】

また、実施形態によれば、ヤード撮影カメラ２１、クレーン撮影カメラ２２、及び積込み撮影カメラ２３（図１参照）により、ほぼ同じ鉄スクラップＳの集合を互いに異なる態様で撮影した複数のカメラ画像に基づいて密閉物Ｅの有無を推定するので、複数のカメラ２を用いる場合には密閉物Ｅの検出精度の向上を図ることが可能となる。

【0064】

なお、ヤード撮影カメラ２１、クレーン撮影カメラ２２、及び積込み撮影カメラ２３をそれぞれ複数台設けてもよい。特に、クレーン撮影カメラ２２は１台だと片側しか見られないため、複数台にすることが有効である。

【0065】

［変形例］
図８は、推論フェーズの別の手順例を示すフロー図である。同図に示す処理は、クレーン９により鉄スクラップＳの集合がスクラップヤードＹから持ち上げられ、搬送され、トラックＴ又は船Ｂに積込まれる１行程ごとに実行される。

【0066】

まず、制御部１０は、ヤード撮影カメラ２１により撮影されたクレーン９に持ち上げられる前の鉄スクラップＳの集合のカメラ画像を取得し（Ｓ３１；取得部１１としての処理）、カメラ画像に写った鉄スクラップＳの集合における密閉物Ｅの有無及び範囲を推定する（Ｓ３２；推論部１２としての処理）。

【0067】

また、制御部１０は、クレーン撮影カメラ２２により撮影されたクレーン９に持ち上げられた鉄スクラップＳの集合のカメラ画像を取得し（Ｓ３４；取得部１１としての処理）、カメラ画像に写った鉄スクラップＳの集合における密閉物Ｅの有無及び範囲を推定する（Ｓ３５；推論部１２としての処理）。

【0068】

また、制御部１０は、積込み撮影カメラ２３により撮影されたクレーン９から荷下ろしされた後の鉄スクラップＳの集合のカメラ画像を取得し（Ｓ３７；取得部１１としての処理）、カメラ画像に写った鉄スクラップＳの集合における密閉物Ｅの有無及び範囲を推定する（Ｓ３８；推論部１２としての処理）。

【0069】

各推定の結果、密閉物Ｅの確度を表す数値が閾値以上であった場合（Ｓ３３，Ｓ３６，Ｓ３９；ＹＥＳ）、制御部１０は、上記実施形態と同様に、アラームによる報知とともに、密閉物Ｅの範囲をマークしたカメラ画像を出力する（Ｓ２４～Ｓ２６；出力部１３としての処理）。

【0070】

一方、密閉物Ｅの確度を表す数値が閾値未満であった場合（Ｓ３９；ＮＯ）、制御部１０は、ヤード撮影カメラ２１、クレーン撮影カメラ２２、及び積込み撮影カメラ２３により撮影された複数のカメラ画像のそれぞれの密閉物Ｅの確度の合計を算出し、合計が所定以上であるか否かを判定する。なお、ヤード撮影カメラ２１、クレーン撮影カメラ２２、及び積込み撮影カメラ２３を複数台設けた場合には、閾値を適宜調整する。

【0071】

判定の結果、密閉物Ｅの確度の合計が所定以上であった場合（Ｓ４０；ＹＥＳ）、制御部１０は、上記実施形態と同様に、アラームによる報知とともに、密閉物Ｅの範囲をマークしたカメラ画像を出力する（Ｓ２４～Ｓ２６；出力部１３としての処理）。

【0072】

一方、密閉物Ｅの確度の合計が所定未満であった場合（Ｓ４０；ＮＯ）、制御部１０は処理を終了する。

【0073】

これによれば、ヤード撮影カメラ２１、クレーン撮影カメラ２２、及び積込み撮影カメラ２３により撮影された複数のカメラ画像のそれぞれでは密閉物Ｅ有りと推定されない場合であっても、密閉物Ｅの確度の合計に基づく判定を行うことによって、密閉物Ｅの検出漏れを抑制することが可能となる。

【0074】

密閉物Ｅの確度の合計は、密閉物Ｅの確度を単純に合算したものだけでなく、密閉物Ｅの確度に所定の重みを乗算した上で合算したものであってもよい。

【0075】

以上、本発明の実施形態について説明したが、本発明は以上に説明した実施形態に限定されるものではなく、種々の変更が当業者にとって可能であることはもちろんである。

【符号の説明】

【0076】

１ 推定装置、１０ 制御部、１１ 取得部、１２ 推論部、１３ 出力部、２（２１－２３） カメラ、３ 報知部、４ 表示部、５ データベース、５１ 学習済みモデル、６ 学習装置、６０ 制御部、６１ 取得部、６２ 学習部、６３ 保存部、９ クレーン、９１ リフティングマグネット、１００ 密閉物検知システム、Ｙ スクラップヤード、Ｔ トラック、Ｂ 船、Ｒ クレーン運転室、Ａ 運転者、Ｓ 鉄スクラップ、Ｅ 密閉物、Ｌ 学習用画像、Ｎ 範囲、Ｃ カメラ画像、Ｍ 範囲

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】