特許 7311455 スクラップ等級判定システム、スクラップ等級判定方法、推定装置、学習装置、学習済みモデルの生成方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-07-10

(45)【発行日】2023-07-19

(54)【発明の名称】スクラップ等級判定システム、スクラップ等級判定方法、推定装置、学習装置、学習済みモデルの生成方法、及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230711BHJP

   G01N 21/88 20060101ALI20230711BHJP

   G01N 21/89 20060101ALI20230711BHJP

   G01N 21/17 20060101ALI20230711BHJP

【ＦＩ】

G06T7/00 350C

G01N21/88 Z

G01N21/89 T

G01N21/17 A

【請求項の数】 16

(21)【出願番号】P 2020060078

(22)【出願日】2020-03-30

(65)【公開番号】P2021157725

(43)【公開日】2021-10-07

【審査請求日】2022-08-02

(73)【特許権者】

【識別番号】504358148

【氏名又は名称】株式会社コベルコＥ＆Ｍ

(74)【代理人】

【識別番号】100125645

【弁理士】

【氏名又は名称】是枝 洋介

(74)【代理人】

【識別番号】100145609

【弁理士】

【氏名又は名称】楠屋 宏行

(74)【代理人】

【識別番号】100149490

【弁理士】

【氏名又は名称】羽柴 拓司

(72)【発明者】

【氏名】原田 和茂

(72)【発明者】

【氏名】多田 隆良

(72)【発明者】

【氏名】植村 欣司

(72)【発明者】

【氏名】山内 太郎

(72)【発明者】

【氏名】▲高▼次 秀幸

【審査官】佐藤 実

(56)【参考文献】

【文献】特開平１１－２６８８３５（ＪＰ，Ａ）

【文献】特開２０１９－０２７６９６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０１Ｎ ２１／８８

Ｇ０１Ｎ ２１／８９

Ｇ０１Ｎ ２１／１７

(57)【特許請求の範囲】

【請求項1】

大きさに応じた複数の等級の鉄スクラップが混在した鉄スクラップの集合を吊り具により持ち上げるクレーンと、
前記吊り具により持ち上げられた前記鉄スクラップの集合を撮影してカメラ画像を生成するカメラと、
前記カメラ画像を複数の画像片に分割する前処理部と、
鉄スクラップの画像を入力データ、等級を教師データとして機械学習により予め生成された学習済みモデルを用い、前記複数の画像片のそれぞれについて等級を推定する推定部と、
前記複数の画像片のそれぞれについて推定された等級に基づいて、前記吊り具により持ち上げられた前記鉄スクラップの集合に含まれる等級の割合を算出する割合算出部と、
を備える、スクラップ等級判定システム。

【請求項2】

前記カメラ画像中の前記吊り具を検出する検出部をさらに備え、
前記前処理部は、前記吊り具を基準に画定される所定の範囲を前記複数の画像片に分割する、
請求項１に記載のスクラップ等級判定システム。

【請求項3】

前記前処理部は、分割された前記複数の画像片の中から、前記学習済みモデルに入力する画像片を選別する、
請求項２に記載のスクラップ等級判定システム。

【請求項4】

前記前処理部は、分割された前記複数の画像片のうち、前記吊り具に対して所定の位置にある画像片を、前記学習済みモデルに入力する画像片として選別する、
請求項３に記載のスクラップ等級判定システム。

【請求項5】

前記前処理部は、分割された前記複数の画像片のうち、前記吊り具から下方に向かうに従って徐々に狭まる範囲にある画像片を、前記学習済みモデルに入力する画像片として選別する、
請求項３または４に記載のスクラップ等級判定システム。

【請求項6】

前記前処理部は、前記複数の画像片のそれぞれの大きさを、前記学習済みモデルに入力可能な大きさに変更する、
請求項１ないし５の何れかに記載のスクラップ等級判定システム。

【請求項7】

前記割合算出部は、前記複数の画像片のそれぞれについて推定された等級と、等級毎に定められた重量指数とに基づいて、前記吊り具により持ち上げられた前記鉄スクラップの集合に含まれる等級の重量割合を算出する、
請求項１ないし６の何れかに記載のスクラップ等級判定システム。

【請求項8】

前記割合算出部は、前記複数の画像片のそれぞれについて推定された等級と、前記鉄スクラップの品種と、等級及び品種毎に定められた重量指数とに基づいて、前記吊り具により持ち上げられた前記鉄スクラップの集合に含まれる等級の重量割合を算出する、
請求項１ないし７の何れかに記載のスクラップ等級判定システム。

【請求項9】

前記前処理部は、前記カメラ画像と、前記吊り具及び前記鉄スクラップの集合が無いときに撮影した背景画像とを比較して、差が有る画像片を前記学習済みモデルに入力する画像片として選別する、
請求項１ないし８の何れかに記載のスクラップ等級判定システム。

【請求項10】

大きさに応じた複数の等級の鉄スクラップが混在した鉄スクラップの集合を、クレーンの吊り具により持ち上げ、
前記吊り具により持ち上げられた前記鉄スクラップの集合をカメラにより撮影してカメラ画像を生成し、
前記カメラ画像を複数の画像片に分割し、
鉄スクラップの画像を入力データ、等級を教師データとして機械学習により予め生成された学習済みモデルを用い、前記複数の画像片のそれぞれについて等級を推定し、
前記複数の画像片のそれぞれについて推定された等級に基づいて、前記吊り具により持ち上げられた前記鉄スクラップの集合に含まれる等級の割合を算出する、
スクラップ等級判定方法。

【請求項11】

クレーンの吊り具により持ち上げられた、大きさに応じた複数の等級の鉄スクラップが混在した鉄スクラップの集合を撮影するカメラにより生成されたカメラ画像を取得する画像取得部と、
前記カメラ画像を複数の画像片に分割する前処理部と、
鉄スクラップの画像を入力データ、等級を教師データとして機械学習により予め生成された学習済みモデルを用い、前記複数の画像片のそれぞれについて等級を推定する推定部と、
前記複数の画像片のそれぞれについて推定された等級に基づいて、前記吊り具により持ち上げられた前記鉄スクラップの集合に含まれる等級の割合を算出する割合算出部と、
を備える、推定装置。

【請求項12】

クレーンの吊り具により持ち上げられた、大きさに応じた複数の等級の鉄スクラップが混在した鉄スクラップの集合を撮影するカメラにより生成されたカメラ画像を取得すること、
前記カメラ画像を複数の画像片に分割すること、
鉄スクラップの画像を入力データ、等級を教師データとして機械学習により予め生成された学習済みモデルを用い、前記複数の画像片のそれぞれについて等級を推定すること、及び、
前記複数の画像片のそれぞれについて推定された等級に基づいて、前記吊り具により持ち上げられた前記鉄スクラップの集合に含まれる等級の割合を算出すること、
をコンピュータに実行させるプログラム。

【請求項13】

大きさに応じた複数の等級の鉄スクラップが混在した鉄スクラップの集合を撮影するカメラにより生成された学習用画像を取得する画像取得部と、
前記学習用画像を複数の画像片に分割する前処理部と、
前記複数の画像片のそれぞれに現れた鉄スクラップの等級を取得する等級取得部と、
前記画像片を入力データ、前記等級を教師データとして、画像に現れた鉄スクラップの等級を推定するための学習済みモデルを機械学習により生成する学習部と、
を備える、学習装置。

【請求項14】

前記前処理部は、前記複数の画像片のそれぞれにおいて、代表となる鉄スクラップとその他の鉄スクラップとを識別表示する、
請求項１３に記載の学習装置。

【請求項15】

大きさに応じた複数の等級の鉄スクラップが混在した鉄スクラップの集合を撮影するカメラにより生成された学習用画像を取得し、
前記学習用画像を複数の画像片に分割し、
前記複数の画像片のそれぞれに現れた鉄スクラップの等級を取得し、
前記画像片を入力データ、前記等級を教師データとして、画像に現れた鉄スクラップの等級を推定するための学習済みモデルを機械学習により生成する、
学習済みモデルの生成方法。

【請求項16】

大きさに応じた複数の等級の鉄スクラップが混在した鉄スクラップの集合を撮影するカメラにより生成された学習用画像を取得すること、
前記学習用画像を複数の画像片に分割すること、
前記複数の画像片のそれぞれに現れた鉄スクラップの等級を取得すること、及び、
前記画像片を入力データ、前記等級を教師データとして、画像に現れた鉄スクラップの等級を推定するための学習済みモデルを機械学習により生成すること、
をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、スクラップ等級判定システム、スクラップ等級判定方法、推定装置、学習装置、学習済みモデルの生成方法、及びプログラムに関する。

【背景技術】

【0002】

一般に、電炉メーカーのスクラップ受入現場では、リフティングマグネット等の吊り具により鉄スクラップをトラック又は船から持ち上げ、搬送し、スクラップヤードに降ろすところを検収員が観察し、鉄スクラップの等級割合などを判定する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開平７－２８６９６９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、検収員は、安全のために離れた場所から鉄スクラップを目視で確認するため、等級割合の判定精度が十分でない場合がある。また、検収員の経験等に依って判定基準にばらつきが生じることもある。

【0005】

特に、大きさに応じた等級が定められたヘビー屑と呼ばれる鉄スクラップについては、種々の大きさの鉄スクラップが混在しているため、等級割合の判定が困難である。

【0006】

本発明は、上記課題に鑑みてなされたものであり、その主な目的は、鉄スクラップの等級割合の判定精度を向上させることが可能なスクラップ等級判定システム、スクラップ等級判定方法、推定装置、学習装置、学習済みモデルの生成方法、及びプログラムを提供することにある。

【課題を解決するための手段】

【0007】

上記課題を解決するため、本発明の一の態様のスクラップ等級判定システムは、大きさに応じた複数の等級の鉄スクラップが混在した鉄スクラップの集合を吊り具により持ち上げるクレーンと、前記吊り具により持ち上げられた前記鉄スクラップの集合を撮影してカメラ画像を生成するカメラと、前記カメラ画像を複数の画像片に分割する前処理部と、鉄スクラップの画像を入力データ、等級を教師データとして機械学習により予め生成された学習済みモデルを用い、前記複数の画像片のそれぞれについて等級を推定する推定部と、前記複数の画像片のそれぞれについて推定された等級に基づいて、前記吊り具により持ち上げられた前記鉄スクラップの集合に含まれる等級の割合を算出する割合算出部と、を備える。

【0008】

また、本発明の他の態様のスクラップ等級判定方法は、大きさに応じた複数の等級の鉄スクラップが混在した鉄スクラップの集合を、クレーンの吊り具により持ち上げ、前記吊り具により持ち上げられた前記鉄スクラップの集合をカメラにより撮影してカメラ画像を生成し、前記カメラ画像を複数の画像片に分割し、鉄スクラップの画像を入力データ、等級を教師データとして機械学習により予め生成された学習済みモデルを用い、前記複数の画像片のそれぞれについて等級を推定し、前記複数の画像片のそれぞれについて推定された等級に基づいて、前記吊り具により持ち上げられた前記鉄スクラップの集合に含まれる等級の割合を算出する。

【0009】

また、本発明の他の態様の推定装置は、クレーンの吊り具により持ち上げられた、大きさに応じた複数の等級の鉄スクラップが混在した鉄スクラップの集合を撮影するカメラにより生成されたカメラ画像を取得する画像取得部と、前記カメラ画像を複数の画像片に分割する前処理部と、鉄スクラップの画像を入力データ、等級を教師データとして機械学習により予め生成された学習済みモデルを用い、前記複数の画像片のそれぞれについて等級を推定する推定部と、前記複数の画像片のそれぞれについて推定された等級に基づいて、前記吊り具により持ち上げられた前記鉄スクラップの集合に含まれる等級の割合を算出する割合算出部と、を備える。

【0010】

また、本発明の他の態様のプログラムは、クレーンの吊り具により持ち上げられた、大きさに応じた複数の等級の鉄スクラップが混在した鉄スクラップの集合を撮影するカメラにより生成されたカメラ画像を取得すること、前記カメラ画像を複数の画像片に分割すること、鉄スクラップの画像を入力データ、等級を教師データとして機械学習により予め生成された学習済みモデルを用い、前記複数の画像片のそれぞれについて等級を推定すること、及び、前記複数の画像片のそれぞれについて推定された等級に基づいて、前記吊り具により持ち上げられた前記鉄スクラップの集合に含まれる等級の割合を算出すること、をコンピュータに実行させる。

【0011】

また、本発明の他の態様の学習装置は、大きさに応じた複数の等級の鉄スクラップが混在した鉄スクラップの集合を撮影するカメラにより生成された学習用画像を取得する画像取得部と、前記学習用画像を複数の画像片に分割する前処理部と、前記複数の画像片のそれぞれに現れた鉄スクラップの等級を取得する等級取得部と、前記画像片を入力データ、前記等級を教師データとして、画像に現れた鉄スクラップの等級を推定するための学習済みモデルを機械学習により生成する学習部と、を備える。

【0012】

また、本発明の他の態様の学習済みモデルの生成方法は、大きさに応じた複数の等級の鉄スクラップが混在した鉄スクラップの集合を撮影するカメラにより生成された学習用画像を取得し、前記学習用画像を複数の画像片に分割し、前記複数の画像片のそれぞれに現れた鉄スクラップの等級を取得し、前記画像片を入力データ、前記等級を教師データとして、画像に現れた鉄スクラップの等級を推定するための学習済みモデルを機械学習により生成する。

【0013】

また、本発明の他の態様のプログラムは、大きさに応じた複数の等級の鉄スクラップが混在した鉄スクラップの集合を撮影するカメラにより生成された学習用画像を取得すること、前記学習用画像を複数の画像片に分割すること、前記複数の画像片のそれぞれに現れた鉄スクラップの等級を取得すること、及び、前記画像片を入力データ、前記等級を教師データとして、画像に現れた鉄スクラップの等級を推定するための学習済みモデルを機械学習により生成すること、をコンピュータに実行させる。

【発明の効果】

【0014】

本発明によれば、鉄スクラップの等級割合の判定精度を向上させることが可能となる。

【図面の簡単な説明】

【0015】

【図1】スクラップ受入現場の例を示す図である。

【図2】スクラップ等級判定システムの構成例を示す図である。

【図3】ヘビー屑の等級及び要件を示す図である。

【図4】データセットの例を示す図である。

【図5】学習用画像の例を示す図である。

【図6】学習用画像の変形例を示す図である。

【図7】学習用画像の変形例を示す図である。

【図8】学習フェーズを説明する図である。

【図9】学習フェーズの手順例を示す図である。

【図10】機械学習処理の手順例を示す図である。

【図11】推論フェーズを説明する図である。

【図12】推論フェーズの手順例を示す図である。

【図13】カメラ画像の例を示す図である。

【図14】カメラ画像の前処理の例を示す図である。

【図15】重量割合の算出例を示す図である。

【図16】重量指数の変形例を示す図である。

【図17】判定結果の出力例を示す図である。

【発明を実施するための形態】

【0016】

以下、本発明の実施形態について、図面を参照しながら説明する。

【0017】

［システム概要］
図１は、実施形態に係るスクラップ等級判定システム１００が設置されるスクラップ受入現場の例を示す図である。図２は、スクラップ等級判定システム１００の構成例を示す図である。スクラップ等級判定システム１００は、実施形態に係る推定装置１及び学習装置３を備えている。

【0018】

スクラップ等級判定システム１００は、電炉メーカー等のスクラップ受入現場においてクレーン９の吊り具９１により持ち上げられた鉄スクラップＳをカメラ２により撮影し、画像から等級割合を判定し、判定結果を出力部６，７に出力するためのシステムである。

【0019】

スクラップ受入現場では、クレーン９の吊り具９１により鉄スクラップＳがトラックＴから持ち上げられ、搬送され、スクラップヤードＹに降ろされる。吊り具９１は、例えばリフティングマグネットである。これに限らず、吊り具９１は、グラブバケット等であってもよい。

【0020】

鉄スクラップＳには、種々の大きさの鉄スクラップＳが混在している。鉄スクラップＳは、例えばヘビー屑である。図３に示すように、ヘビー屑には、大きさ（具体的には、厚さ、幅又は高さ、長さ）及び重さに応じた等級（例えばＨ１～Ｌ１）が定められている。

【0021】

スプラップ受入現場には、吊り具９１により持ち上げられた鉄スクラップＳを撮影するカメラ２が設置されている。カメラ２は、動画像を生成するビデオカメラであってもよいし、静止画像を生成するスチルカメラであってもよい。

【0022】

カメラ２は、吊り具９１により持ち上げられた鉄スクラップＳを互いに異なる角度から撮影するように複数あってもよい。カメラ２は、吊り具９１により持ち上げられた鉄スクラップＳを側方から水平に又は下方から上方に向かって撮影することが好ましい。

【0023】

なお、スクラップ等級判定システム１００は、スクラップ加工会社におけるスクラップ出荷現場に適用されてもよい。スクラップ出荷現場では、クレーン９の吊り具９１により鉄スクラップＳがスクラップヤードＹから持ち上げられ、搬送され、トラックＴに積込まれる。

【0024】

図２に示すように、スクラップ等級判定システム１００は、推定装置１、カメラ２、学習装置３、記憶装置５、及び出力部６，７を備えている。これらの機器は、例えばＬＡＮ等の通信ネットワークを介して相互にネットワーク通信が可能である。なお、推定装置１と学習装置３は、一体の装置として構成されてもよい。

【0025】

推定装置１は、制御部１０を備えている。制御部１０は、ＣＰＵ、ＲＡＭ、ＲＯＭ、不揮発性メモリ、及び入出力インターフェース等を含むコンピュータである。制御部１０のＣＰＵは、ＲＯＭ又は不揮発性メモリからＲＡＭにロードされたプログラムに従って情報処理を実行する。

【0026】

制御部１０は、取得部１１、検出部１２、前処理部１３、推定部１４、割合算出部１５、及び全体算出部１６を備えている。これらの機能部は、制御部１０のＣＰＵがＲＯＭ又は不揮発性メモリからＲＡＭにロードされたプログラムに従って情報処理を実行することによって実現される。

【0027】

プログラムは、例えば光ディスク又はメモリカード等の情報記憶媒体を介して供給されてもよいし、例えばインターネット又はＬＡＮ等の通信ネットワークを介して供給されてもよい。

【0028】

学習装置３も、推定装置１と同様の制御部３０を備えている。制御部３０は、取得部３１、前処理部３２、及び学習部３３を備えている。取得部３１は、画像取得部及び等級取得部の例である。

【0029】

推定装置１及び学習装置３は、記憶装置５にアクセス可能である。記憶装置５には、学習装置３により生成された学習済みモデルが、推定装置１により読出し可能に保存されている。

【0030】

カメラ２は、吊り具９１に吊り上げられた鉄スクラップＳを撮影し、生成したカメラ画像を推定装置１に入力する。推定装置１は、カメラ２により生成されたカメラ画像から鉄スクラップＳの等級割合を判定し、判定結果を出力部６，７に送信する。

【0031】

出力部６，７は、推定装置１からの判定結果を出力する。出力部６は、例えば検収員Ａが携帯するタブレット型コンピュータ等の端末である。出力部７は、例えば検収書発行用のプリンタである。

【0032】

［学習フェーズ］
図４は、実施形態に係る学習済みモデルの生成方法としての学習フェーズに用いられるデータセットの例を示す図である。学習フェーズに用いられるデータセットは、学習用画像及び等級ラベルを含んでいる。

【0033】

学習用画像及び等級ラベルは、同図に示すようなテーブルにおいて互いに関連付けられて管理されている。学習用画像は、学習モデルへの入力データとして用いられる。等級ラベルは、教師データとして用いられる。

【0034】

等級ラベルは、学習用画像に現れた鉄スクラップの等級を表す。学習用画像に複数の鉄スクラップが現れる場合は、等級ラベルは、それらの中の代表的な鉄スクラップの等級を表す。

【0035】

図示の例では、複数の学習用画像のそれぞれに、Ｈ１、Ｈ２、Ｈ３、又はＬ１の等級が関連付けられている。等級ラベルは、例えば学習用画像を見た検収員等の人によって判断され、入力される。

【0036】

図５は、学習用画像の例を示す図である。本実施形態では、学習用画像は、吊り具９１により持ち上げられた鉄スクラップＳの集合をカメラ２により撮影したカメラ画像を分割した画像片（メッシュ画像）である。画像片には、鉄スクラップＳの一部が現れる。

【0037】

カメラ画像から画像片を得るための前処理は、後述する推論フェーズにおける前処理と同様である。すなわち、学習装置３の前処理部３２の機能は、推定装置１の前処理部１３の機能と同様である。前処理の詳細については後述する。

【0038】

学習用画像としては、上記画像片だけでなく、画像片に分割する前のカメラ画像が用いられてもよいし、他の場所で撮影された１又は複数の鉄スクラップが現れた画像が用いられてもよい。

【0039】

なお、図６及び図７に示すように、前処理においては、代表となる鉄スクラップＭＳとその他の鉄スクラップＮＳとを識別表示してもよい。これにより、着目すべき鉄スクラップが明示されるので、学習の効率化を図ることが可能となる。

【0040】

具体的には、図６に示すように代表となる鉄スクラップＭＳのみが色塗りされてもよいし、図７に示すように代表となる鉄スクラップＭＳ以外をマスク処理によって除外してもよい。

【0041】

図８は、学習装置３において実現される学習フェーズを説明する図である。図９は、学習フェーズの手順例を示す図である。図１０は、機械学習処理Ｓ１２の手順例を示す図である。学習装置３の制御部３０は、図９及び図１０に示す処理をプログラムに従って実行することにより、取得部３１、前処理部３２、及び学習部３３として機能する。

【0042】

学習モデルは、例えば畳込みニューラルネットワークであり、畳込み層、プーリング層、全結合層、及び出力層を含んでいる。特には、ニューロンを多段に組み合わせたディープニューラルネットワークが好適である。

【0043】

出力層には、各等級に対応する要素が設けられる。各等級に対応する要素は、例えばソフトマックス関数で構成され、０～１の間の実数で表される出力値を、等級に該当する確率として扱うことができる。

【0044】

層構造は図示の例に限らず、畳込み層、プーリング層、及び全結合層の層数などが異なっていてもよい。また、サポートベクタマシン、ガウス過程、又は決定木等のニューラルネットワーク以外の機械学習が用いられてもよい。

【0045】

図９に示すように、学習装置３の制御部３０は、まず、多数のデータセットの中から一部のデータセットをトレーニングデータとして抽出し（Ｓ１１）、抽出したトレーニングデータを用いて機械学習処理を行うことにより、学習済みモデルを生成する（Ｓ１２：学習部３３としての処理）。

【0046】

次に、制御部３０は、多数のデータセットの中からトレーニングデータとは別の一部のデータセットをテストデータとして抽出し（Ｓ１３）、抽出したテストデータを用いて学習済みモデルを評価し（Ｓ１４）。所定以上の評価の学習済みモデルを記憶装置５に保存する（Ｓ１５）。

【0047】

図１０に示すように、機械学習処理Ｓ１２では、制御部３０は、データセットに含まれる学習用画像（本実施形態では画像片）を入力データとして学習モデルに入力し（Ｓ２１）、学習モデルよる計算を行い（Ｓ２２）、各等級に該当する確率を出力データとして出力する（Ｓ２３）。

【0048】

次に、制御部３０は、データセットに含まれる教師データとしての各等級ラベルと、出力データとしての各等級に該当する確率との差分を算出し（Ｓ２４）、誤差逆伝播計算を行って学習モデルのパラメータを調整する（Ｓ２５）。等級ラベルは、等級に該当するか否かを０または１の二値で表す。

【0049】

以上により、画像に現れた鉄スクラップの等級を推定するための学習済みモデルが生成される。

【0050】

［推論フェーズ］
図１１は、推定装置１において実現される、実施形態に係るスクラップ等級判定方法としての推論フェーズを説明する図である。図１２は、推論フェーズの手順例を示す図である。推定装置１の制御部１０は、同図に示す処理をプログラムに従って実行することにより、取得部１１、検出部１２、前処理部１３、推定部１４、割合算出部１５、及び全体算出部１６として機能する。

【0051】

まず、制御部１０は、吊り具９１により持ち上げられた鉄スクラップＳの集合を撮影するカメラ２により生成されたカメラ画像を取得する（Ｓ３１：取得部１１としての処理）。図１３は、カメラ画像の例を示す図である。

【0052】

次に、制御部１０は、カメラ画像中の吊り具９１を検出する（Ｓ３２：検出部１２としての機能）。

【0053】

具体的には、制御部１０は、例えばYOLO（You Only Look Once）又はSSD（Single Shot MultiBox Detector）等の物体検出モデルを用いて、カメラ画像中の吊り具９１の範囲Ｍを検出する（図１３参照）。

【0054】

次に、制御部１０は、取得したカメラ画像に対して前処理を行う（Ｓ３３～Ｓ３７：前処理部１３としての処理）。図１４は、カメラ画像に対する前処理の手順例を説明するための図である。

【0055】

Ｓ３３において、制御部１０は、吊り具９１を基準に画定される所定の大きさの矩形領域をカメラ画像から切り出して、切り出し画像ＨＣを得る（図１４（ａ）参照）。切り出す矩形領域の大きさは、吊り具９１により持ち上げられた鉄スクラップＳの集合が全て含まれるように予め定められる。

【0056】

具体的には、切り出し画像ＨＣの左右端は、吊り具９１の左右端よりもやや外側に位置する。切り出し画像ＨＣの横幅は、吊り具９１の横幅よりもやや広い。切り出し画像ＨＣの上端は、吊り具９１の上端に位置する。切り出し画像ＨＣの下端は、吊り具９１の下端から所定の長さだけ下方に位置する。

【0057】

Ｓ３４において、制御部１０は、切り出し画像ＨＣを複数の画像片（メッシュ画像）ＭＧに区切る（図１４（ｂ）参照）。

【0058】

Ｓ３５において、等級推定精度向上のため、制御部１０は、複数の画像片ＭＧを、等級の推定に使用する画像片ＭＧ１と使用しない画像片ＭＧ０とに選別する。

【0059】

本実施形態では、制御部１０は、複数の画像片ＭＧのうち、吊り具９１に対して所定の位置にある画像片９１を、等級の推定に使用する画像片ＭＧ１として選別する。具体的には、吊り具９１により持ち上げられた鉄スクラップＳの集合は、下方に向かうに従って徐々に幅が狭まる略逆円錐形状（側面視において略逆三角形状）になることが多いため、吊り具９１から下方に向かうに従って徐々に狭まる範囲に属する画像片ＭＧが、等級の推定に使用する画像片ＭＧ１として選別される（図１４（ｃ）参照）。

【0060】

そこで、吊り具９１から下方に向かうに従って徐々に狭まる範囲に属する画像片ＭＧ１を等級の推定に使用し、それ以外の範囲に属する画像片ＭＧ０を等級の推定に使用しないことで、鉄スクラップＳが現れていない画像片ＭＧが除外されるので、等級判定の精度向上を図ることが可能となる。

【0061】

これに限らず、制御部１０は、吊り具９１により持ち上げられた鉄スクラップＳの集合を撮影した画像と、吊り具９１及び鉄スクラップＳの集合が無いときに撮影した背景画像とを比較して、差が有る画像片ＭＧを等級推定に使用する画像片ＭＧ１として選別してもよい。

【0062】

Ｓ３６において、制御部１０は、切り出し画像ＨＣを分割して、等級の推定に使用する複数の画像片ＭＧ１を得る。

【0063】

Ｓ３７において、制御部１０は、等級の推定に使用する複数の画像片ＭＧ１のそれぞれの大きさを、学習済みモデルに入力可能な大きさに変更する。具体的には、複数の画像片ＭＧ１のそれぞれの大きさ（例えば４５０×５００画素）が、学習済みモデルに入力可能な大きさ（例えば２２４×２２４画素）に圧縮される。

【0064】

このように、切り出し画像ＨＣを分割した複数の画像片ＭＧ１のそれぞれの大きさを、学習済みモデルに入力可能な大きさに圧縮することで、切り出し画像ＨＣを学習済みモデルに入力可能な大きさに直接圧縮する場合と比べて、画像圧縮率を小さくすることができるので、判定精度の向上を図ることが可能となる。

【0065】

次に、制御部１０は、学習済みモデルを用い、複数の画像片ＭＧ１のそれぞれについて等級を推定する（Ｓ３８～Ｓ４１：推定部１４としての処理）。具体的には、制御部１０は、画像片ＭＧ１を学習済みモデルに入力し（Ｓ３８）、学習済みモデルによる計算を行って（Ｓ３９）、各等級に該当する確率を出力する（Ｓ４０）。

【0066】

次に、制御部１０は、複数の画像片ＭＧ１のそれぞれについて推定された等級に基づいて、吊り具９１により持ち上げられた鉄スクラップＳの集合に含まれる等級の重量割合を算出する（Ｓ４２：割合算出部１５としての処理）。

【0067】

具体的には、図１５に示すように、等級毎に画像片ＭＧ１の数（メッシュ数）を集計し、各等級の画像片ＭＧ１の数と、等級毎に定められた重量指数（ａ～ｄ）とをそれぞれ掛け合わせることで、吊り具９１により持ち上げられた鉄スクラップＳの集合に含まれる等級の重量割合が算出される。

【0068】

これに限らず、図１６に示すように、重量指数は、等級だけでなく、鋼板などの品種に応じて細分化されてもよい。すなわち、各等級の画像片ＭＧ１の数と、鉄スクラップＳの品種と、等級及び品種毎に定められた重量指数（ａ－１～６）とに基づいて、等級の重量割合が算出されてもよい。

【0069】

鉄スクラップＳの品種は、例えばユーザにより入力されてもよいし、畳込みニューラルネットワーク等の学習済みモデルを用いて判定されてもよい。

【0070】

制御部１０は、トラックＴの荷台から全ての鉄スクラップＳを荷下ろしするまで、吊り具９１が鉄スクラップＳの集合を持ち上げる度に、上記Ｓ３１～Ｓ４２の処理を繰り返す（Ｓ４３）。全ての鉄スクラップＳを荷下ろししたか否かは、例えば検収員Ａ等によって判断され、入力される。

【0071】

トラックＴの荷台から全ての鉄スクラップＳが荷下ろしされると（Ｓ４３：ＹＥＳ）、制御部１０は、吊り具９１が鉄スクラップＳの集合を持ち上げる度に算出された等級の重量割合に基づいて、全ての鉄スクラップＳについて等級の重量割合を算出する（Ｓ４４：全体算出部１６としての処理）。

【0072】

具体的には、吊り具９１が鉄スクラップＳの集合を持ち上げる度に算出された等級の重量割合の平均値を算出することにより、全ての鉄スクラップＳについて等級の重量割合が決定される。平均値の算出には、算術平均が用いられてもよいし、重量に応じた加重平均が用いられてもよい。

【0073】

その後、制御部１０は、トラックＴの荷台から荷下ろしされた全ての鉄スクラップＳについて算出された等級の重量割合を、判定結果として出力部６，７に送信する（Ｓ４５）。出力部６，７は、受信した判定結果を表示又は印刷等によって出力する。図１７は、判定結果の出力例を示す図である。

【0074】

以上に説明した実施形態によれば、分割された複数の画像片のそれぞれについて等級を判定することで、それぞれの鉄スクラップがより着目され易くなるので、判定精度の向上を図ることが可能となる。

【0075】

特に、分割された複数の画像片のそれぞれの大きさを学習済みモデルに入力可能な大きさに圧縮して、等級を判定するので、鉄スクラップの特徴を確保したまま判定を行うことが可能である。

【0076】

以上、本発明の実施形態について説明したが、本発明は以上に説明した実施形態に限定されるものではなく、種々の変更が当業者にとって可能であることはもちろんである。

【符号の説明】

【0077】

１ 推定装置、２ カメラ、３ 学習装置、５ 記憶装置、６，７ 出力部、１０ 制御部、１１ 取得部、１２ 検出部、１３ 前処理部、１４ 推定部、１５ 割合算出部、１６ 全体算出部、９ クレーン、９１ 吊り具、１００ スクラップ等級判定システム、Ａ 検収員、Ｙ スクラップヤード、Ｓ 鉄スクラップ、Ｔ スクラップ積載車両、ＨＣ 切り出し画像、ＭＧ 画像片、Ｃ カメラ画像、Ｂ 背景画像、ＣＢ 背景除去画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】