特許 7386681 スクラップ等級判定システム、スクラップ等級判定方法、推定装置、学習装置、学習済みモデルの生成方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-11-16

(45)【発行日】2023-11-27

(54)【発明の名称】スクラップ等級判定システム、スクラップ等級判定方法、推定装置、学習装置、学習済みモデルの生成方法、及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20231117BHJP

   G01N 21/89 20060101ALI20231117BHJP

【ＦＩ】

G06T7/00 350B

G01N21/89 Z

【請求項の数】 20

(21)【出願番号】P 2019213278

(22)【出願日】2019-11-26

(65)【公開番号】P2020095709

(43)【公開日】2020-06-18

【審査請求日】2022-08-02

(31)【優先権主張番号】P 2018223326

(32)【優先日】2018-11-29

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】504358148

【氏名又は名称】株式会社コベルコＥ＆Ｍ

(74)【代理人】

【識別番号】100125645

【弁理士】

【氏名又は名称】是枝 洋介

(74)【代理人】

【識別番号】100145609

【弁理士】

【氏名又は名称】楠屋 宏行

(74)【代理人】

【識別番号】100149490

【弁理士】

【氏名又は名称】羽柴 拓司

(72)【発明者】

【氏名】▲高▼次 秀幸

(72)【発明者】

【氏名】多田 隆良

(72)【発明者】

【氏名】松永 博之

(72)【発明者】

【氏名】青山 雄一郎

(72)【発明者】

【氏名】山内 太郎

【審査官】佐藤 実

(56)【参考文献】

【文献】特開平１１－２６８８３５（ＪＰ，Ａ）

【文献】特開２０１７－１０９１６１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０１Ｎ ２１／８９

(57)【特許請求の範囲】

【請求項1】

大きさに応じた複数の等級の鉄スクラップが混在した、鉄スクラップの集合を撮影するカメラと、
鉄スクラップの集合の画像を入力データとし、各等級の割合を教師データとして機械学習により予め構築された学習済みモデルを用い、前記カメラにより生成された画像から前記鉄スクラップの集合に含まれる各等級の割合を推定する推論部と、
前記推論部による推定結果を出力する出力部と、
を備え、
前記推論部は、鉄スクラップの集合の画像を入力データとし、各等級の割合及び重量を教師データとして機械学習により予め構築された学習済みモデルを用い、前記カメラにより生成された画像から前記鉄スクラップの集合に含まれる各等級の割合及び前記鉄スクラップの集合の重量を推定する、
スクラップ等級判定システム。

【請求項2】

積み重なった鉄スクラップから一部の鉄スクラップを持ち上げるクレーンをさらに備え、
前記推論部は、前記クレーンが一部の鉄スクラップを持ち上げる毎に、前記カメラにより撮影された前記クレーンに持ち上げられた一部の鉄スクラップの画像から、当該一部の鉄スクラップに含まれる各等級の割合を推定する、
請求項１に記載のスクラップ等級判定システム。

【請求項3】

積み重なった鉄スクラップから一部の鉄スクラップを持ち上げるクレーンをさらに備え、
前記推論部は、前記クレーンが一部の鉄スクラップを持ち上げる毎に、前記カメラにより撮影された前記クレーンが一部の鉄スクラップを持ち上げる前の前記積み重なった鉄スクラップの画像から、当該一部の鉄スクラップに含まれる各等級の割合を推定する、
請求項１または２に記載のスクラップ等級判定システム。

【請求項4】

前記クレーンに持ち上げられた一部の鉄スクラップの画像から推定される各等級の割合と、前記クレーンが一部の鉄スクラップを持ち上げる前の前記積み重なった鉄スクラップの画像から推定される各等級の割合とに基づいて、当該一部の鉄スクラップに含まれる各等級の割合を決定する部分割合決定部をさらに備える、
請求項２または３に記載のスクラップ等級判定システム。

【請求項5】

前記クレーンが一部の鉄スクラップを持ち上げる毎に推定される各等級の割合に基づいて、前記積み重なった鉄スクラップ全体に含まれる各等級の割合を決定する全体割合決定部をさらに備える、
請求項２ないし４の何れかに記載のスクラップ等級判定システム。

【請求項6】

前記鉄スクラップの集合に含まれる各等級の割合及び前記鉄スクラップの集合の重量に基づいて、前記鉄スクラップの集合に含まれる各等級の重量を算出する重量算出部をさらに備える、
請求項１ないし５の何れかに記載のスクラップ等級判定システム。

【請求項7】

積み重なった鉄スクラップから一部の鉄スクラップを持ち上げるクレーンをさらに備え、
前記推論部は、前記クレーンが一部の鉄スクラップを持ち上げる毎に、前記カメラにより撮影された画像から、当該一部の鉄スクラップに含まれる各等級の割合及び当該一部の鉄スクラップの重量を推定する、
請求項１ないし６の何れかに記載のスクラップ等級判定システム。

【請求項8】

前記クレーンが一部の鉄スクラップを持ち上げる毎に推定される重量を積算する重量積算部と、
前記積み重なった鉄スクラップ全体の重量を測定する重量測定部と、
前記重量測定部により測定された重量に基づいて、前記重量積算部により積算された重量を補正する重量補正部と、
をさらに備える、
請求項７に記載のスクラップ等級判定システム。

【請求項9】

前記カメラは、前記大きさに応じた複数の等級の鉄スクラップ、及びそれとは異なる品種の鉄スクラップが混在した、鉄スクラップの集合を撮影し、
前記推論部は、鉄スクラップの集合の画像を入力データとし、各等級の割合及び異なる品種の割合を教師データとして機械学習により予め構築された学習済みモデルを用い、前記カメラにより生成された画像から前記鉄スクラップの集合に含まれる各等級の割合及び異なる品種の割合を推定する、
請求項１ないし８の何れかに記載のスクラップ等級判定システム。

【請求項10】

前記カメラは、前記大きさに応じた複数の等級の鉄スクラップ、及び除外品が混在した、鉄スクラップの集合を撮影し、
前記推論部は、鉄スクラップの集合の画像を入力データとし、各等級の割合及び除外品の有無を教師データとして機械学習により予め構築された学習済みモデルを用い、前記カメラにより生成された画像から前記鉄スクラップの集合に含まれる各等級の割合及び除外品の有無を推定し、
除外品が有ると推定された場合に警報を出力する警報出力部をさらに備える、
請求項１ないし９の何れかに記載のスクラップ等級判定システム。

【請求項11】

大きさに応じた複数の等級の鉄スクラップが混在した、鉄スクラップの集合を撮影するカメラと、
鉄スクラップの集合の画像を入力データとし、各等級の割合を教師データとして機械学習により予め構築された学習済みモデルを用い、前記カメラにより生成された画像から前記鉄スクラップの集合に含まれる各等級の割合を推定する推論部と、
前記推論部による推定結果を出力する出力部と、
を備え、
積み重なった鉄スクラップから一部の鉄スクラップを吊り具によって持ち上げるクレーンと、
前記カメラにより生成された画像から、前記吊り具の範囲を基準として画定される、前記吊り具の下方の範囲を少なくとも含む部分画像を抽出する加工手段と、
をさらに備え、
前記推論部は、前記部分画像から前記鉄スクラップの集合に含まれる各等級の割合を推定し、
前記加工手段は、前記部分画像のうち、前記吊り具から下方に向かうに従って徐々に狭まる範囲を表示領域とし、他の範囲を非表示領域とするマスク加工を施す、
スクラップ等級判定システム。

【請求項12】

大きさに応じた複数の等級の鉄スクラップが混在した、鉄スクラップの集合を撮影するカメラと、
鉄スクラップの集合の画像を入力データとし、各等級の割合を教師データとして機械学習により予め構築された学習済みモデルを用い、前記カメラにより生成された画像から前記鉄スクラップの集合に含まれる各等級の割合を推定する推論部と、
前記推論部による推定結果を出力する出力部と、
を備え、
積み重なった鉄スクラップから一部の鉄スクラップを吊り具によって持ち上げるクレーンと、
前記カメラにより生成された画像から、前記吊り具の範囲を基準として画定される、前記吊り具の下方の範囲を少なくとも含む部分画像を抽出する加工手段と、
をさらに備え、
前記推論部は、前記部分画像から前記鉄スクラップの集合に含まれる各等級の割合を推定し、
前記カメラにより生成された画像中の前記吊り具の範囲を推定する範囲推定部をさらに備える、
スクラップ等級判定システム。

【請求項13】

大きさに応じた複数の等級の鉄スクラップが混在した、鉄スクラップの集合を撮影するカメラと、
鉄スクラップの集合の画像を入力データとし、各等級の割合を教師データとして機械学習により予め構築された学習済みモデルを用い、前記カメラにより生成された画像から前記鉄スクラップの集合に含まれる各等級の割合を推定する推論部と、
前記推論部による推定結果を出力する出力部と、
を備え、
積み重なった鉄スクラップから一部の鉄スクラップを吊り具によって持ち上げるクレーンと、
前記カメラにより生成された画像から、前記吊り具の範囲を基準として画定される、前記吊り具の下方の範囲を少なくとも含む部分画像を抽出する加工手段と、
をさらに備え、
前記推論部は、前記部分画像から前記鉄スクラップの集合に含まれる各等級の割合を推定し、
前記学習済みモデルは、クレーンの吊り具に持ち上げられた鉄スクラップの集合の画像から抽出された、前記吊り具の範囲を基準として画定される、前記吊り具の下方の範囲を少なくとも含む部分画像を入力データとして、機械学習により予め構築される、
スクラップ等級判定システム。

【請求項14】

大きさに応じた複数の等級の鉄スクラップが混在した、鉄スクラップの集合をカメラにより撮影し、
鉄スクラップの集合の画像を入力データとし、各等級の割合を教師データとして機械学習により予め構築された学習済みモデルを用い、前記カメラにより生成された画像から前記鉄スクラップの集合に含まれる各等級の割合を推定し、
推定結果を出力する、
スクラップ等級判定方法であって、
前記推定は、鉄スクラップの集合の画像を入力データとし、各等級の割合及び重量を教師データとして機械学習により予め構築された学習済みモデルを用い、前記カメラにより生成された画像から前記鉄スクラップの集合に含まれる各等級の割合及び前記鉄スクラップの集合の重量を推定する、
スクラップ等級判定方法。

【請求項15】

大きさに応じた複数の等級の鉄スクラップが混在した、鉄スクラップの集合をカメラにより撮影して得られる画像を取得する取得部と、
鉄スクラップの集合の画像を入力データとし、各等級の割合を教師データとして機械学習により予め構築された学習済みモデルを用い、前記カメラにより生成された画像から前記鉄スクラップの集合に含まれる各等級の割合を推定する推論部と、
を備え、
前記推論部は、鉄スクラップの集合の画像を入力データとし、各等級の割合及び重量を教師データとして機械学習により予め構築された学習済みモデルを用い、前記カメラにより生成された画像から前記鉄スクラップの集合に含まれる各等級の割合及び前記鉄スクラップの集合の重量を推定する、
推定装置。

【請求項16】

大きさに応じた複数の等級の鉄スクラップが混在した、鉄スクラップの集合をカメラにより撮影して得られる画像を取得する取得部、及び、
鉄スクラップの集合の画像を入力データとし、各等級の割合を教師データとして機械学習により予め構築された学習済みモデルを用い、前記カメラにより生成された画像から前記鉄スクラップの集合に含まれる各等級の割合を推定する推論部、
としてコンピュータを機能させ、
前記推論部は、鉄スクラップの集合の画像を入力データとし、各等級の割合及び重量を教師データとして機械学習により予め構築された学習済みモデルを用い、前記カメラにより生成された画像から前記鉄スクラップの集合に含まれる各等級の割合及び前記鉄スクラップの集合の重量を推定する、
プログラム。

【請求項17】

大きさに応じた複数の等級の鉄スクラップが混在した、鉄スクラップの集合をカメラにより撮影して得られる画像、及び前記鉄スクラップの集合に含まれる各等級の割合を取得する取得部と、
前記画像を入力データとし、前記各等級の割合を教師データとして、画像から鉄スクラップの集合に含まれる各等級の割合を推定するための学習済みモデルを機械学習により構築する学習部と、
を備え、
前記画像は、クレーンの吊り具により持ち上げられた前記鉄スクラップの集合の画像から抽出された、前記吊り具の範囲を基準として画定される、前記吊り具の下方の範囲を少なくとも含む部分画像であり、
前記部分画像は、前記吊り具から下方に向かうに従って徐々に狭まる範囲を表示領域とし、他の範囲を非表示領域とするマスク加工が施された部分画像である、
学習装置。

【請求項18】

前記学習済みモデルを構築するための入力データとして、等級毎の鉄スクラップの集合の画像も使用される、
請求項１７に記載の学習装置。

【請求項19】

大きさに応じた複数の等級の鉄スクラップが混在した、鉄スクラップの集合をカメラにより撮影して得られる画像、及び前記鉄スクラップの集合に含まれる各等級の割合を取得する取得部、及び、
前記画像を入力データとし、前記各等級の割合を教師データとして、画像から鉄スクラップの集合に含まれる各等級の割合を推定するための学習済みモデルを機械学習により構築する学習部、
としてコンピュータを機能させ、
前記画像は、クレーンの吊り具により持ち上げられた前記鉄スクラップの集合の画像から抽出された、前記吊り具の範囲を基準として画定される、前記吊り具の下方の範囲を少なくとも含む部分画像であり、
前記部分画像は、前記吊り具から下方に向かうに従って徐々に狭まる範囲を表示領域とし、他の範囲を非表示領域とするマスク加工が施された部分画像である、
プログラム。

【請求項20】

大きさに応じた複数の等級の鉄スクラップが混在した、鉄スクラップの集合をカメラにより撮影して得られる画像、及び前記鉄スクラップの集合に含まれる各等級の割合を取得し、
前記画像を入力データとし、前記各等級の割合を教師データとして、画像から鉄スクラップの集合に含まれる各等級の割合を推定するための学習済みモデルを機械学習により構築する、
学習済みモデルの生成方法であって、
前記画像は、クレーンの吊り具により持ち上げられた前記鉄スクラップの集合の画像から抽出された、前記吊り具の範囲を基準として画定される、前記吊り具の下方の範囲を少なくとも含む部分画像であり、
前記部分画像は、前記吊り具から下方に向かうに従って徐々に狭まる範囲を表示領域とし、他の範囲を非表示領域とするマスク加工が施された部分画像である、
学習済みモデルの生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、スクラップ等級判定システム、スクラップ等級判定方法、推定装置、学習装置、学習済みモデルの生成方法、及びプログラムに関する。

【背景技術】

【0002】

一般に、電炉メーカーのスクラップ受入現場では、検収員及びクレーン運転者の計２名がスクラップ積載トレーラー及びリフティングマグネットで吊り上げた鉄スクラップを目視で確認し、品種・等級毎に割合を判断している。

【先行技術文献】

【特許文献】

【0003】

【文献】特開平７－２８６９６９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、検収員は、安全のために離れた場所から鉄スクラップを目視で確認するため、等級割合の判定精度が十分でない場合がある。また、検収員の経験等に依って判定基準にばらつきが生じることもある。

【0005】

特に、大きさに応じた等級が定められたヘビー屑と呼ばれる鉄スクラップについては、種々の大きさの鉄スクラップが混在しているため、等級割合の判定が困難である。

【0006】

本発明は、上記課題に鑑みてなされたものであり、その主な目的は、鉄スクラップの等級割合の判定精度を向上させることが可能なスクラップ等級判定システム、スクラップ等級判定方法、推定装置、学習装置、学習済みモデルの生成方法、及びプログラムを提供することにある。

【課題を解決するための手段】

【0007】

上記課題を解決するため、本発明の一の態様のスクラップ等級判定システムは、大きさに応じた複数の等級の鉄スクラップが混在した、鉄スクラップの集合を撮影するカメラと、鉄スクラップの集合の画像を入力データとし、各等級の割合を教師データとして機械学習により予め構築された学習済みモデルを用い、前記カメラにより生成された画像から前記鉄スクラップの集合に含まれる各等級の割合を推定する推論部と、前記推論部による推定結果を出力する出力部と、を備える。

【0008】

また、本発明の他の態様のスクラップ等級判定方法は、大きさに応じた複数の等級の鉄スクラップが混在した、鉄スクラップの集合をカメラにより撮影し、鉄スクラップの集合の画像を入力データとし、各等級の割合を教師データとして機械学習により予め構築された学習済みモデルを用い、前記カメラにより生成された画像から前記鉄スクラップの集合に含まれる各等級の割合を推定し、推定結果を出力する。

【0009】

また、本発明の他の態様の推定装置は、大きさに応じた複数の等級の鉄スクラップが混在した、鉄スクラップの集合をカメラにより撮影して得られる画像を取得する取得部と、鉄スクラップの集合の画像を入力データとし、各等級の割合を教師データとして機械学習により予め構築された学習済みモデルを用い、前記カメラにより生成された画像から前記鉄スクラップの集合に含まれる各等級の割合を推定する推論部と、を備える。

【0010】

また、本発明の他の態様のプログラムは、大きさに応じた複数の等級の鉄スクラップが混在した、鉄スクラップの集合をカメラにより撮影して得られる画像を取得する取得部、及び、鉄スクラップの集合の画像を入力データとし、各等級の割合を教師データとして機械学習により予め構築された学習済みモデルを用い、前記カメラにより生成された画像から前記鉄スクラップの集合に含まれる各等級の割合を推定する推論部、としてコンピュータを機能させる。

【0011】

また、本発明の他の態様の学習装置は、大きさに応じた複数の等級の鉄スクラップが混在した、鉄スクラップの集合をカメラにより撮影して得られる画像、及び前記鉄スクラップの集合に含まれる各等級の割合を取得する取得部と、前記画像を入力データとし、前記各等級の割合を教師データとして、画像から鉄スクラップの集合に含まれる各等級の割合を推定するための学習済みモデルを機械学習により構築する学習部と、を備える。

【0012】

また、本発明の他の態様のプログラムは、大きさに応じた複数の等級の鉄スクラップが混在した、鉄スクラップの集合をカメラにより撮影して得られる画像、及び前記鉄スクラップの集合に含まれる各等級の割合を取得する取得部、及び、前記画像を入力データとし、前記各等級の割合を教師データとして、画像から鉄スクラップの集合に含まれる各等級の割合を推定するための学習済みモデルを機械学習により構築する学習部、としてコンピュータを機能させる。

【0013】

また、本発明の他の態様の学習済みモデルの生成方法は、大きさに応じた複数の等級の鉄スクラップが混在した、鉄スクラップの集合をカメラにより撮影して得られる画像、及び前記鉄スクラップの集合に含まれる各等級の割合を取得し、前記画像を入力データとし、前記各等級の割合を教師データとして、画像から鉄スクラップの集合に含まれる各等級の割合を推定するための学習済みモデルを機械学習により構築する。

【発明の効果】

【0014】

本発明によれば、鉄スクラップの等級割合の判定精度を向上させることが可能となる。

【図面の簡単な説明】

【0015】

【図1】実施形態に係るスクラップ等級判定システムの構成例を示す図である。

【図2】ヘビー屑の等級及び要件を示す図である。

【図3】スクラップ受入現場の平面図である。

【図4】スクラップ受入現場の側面図である。

【図5】第１実施形態に係る判定装置の構成例を示すブロック図である。

【図6】画像とラベルとの関連付け例を示す図である。

【図7】画像の例を示す図である。

【図8】学習フェーズの手順例を示すフロー図である。

【図9】学習済みモデルの構築例を示す図である。

【図10】推論フェーズの手順例を示すフロー図である。

【図11】推論結果の出力例を示す図である。

【図12】第２実施形態に係る判定装置の構成例を示すブロック図である。

【図13】画像とラベルとの関連付け例を示す図である。

【図14】推論フェーズの手順例を示すフロー図である。

【図15】推論結果の出力例を示す図である。

【図16】第３実施形態に係る画像とラベルとの関連付け例を示す図である。

【図17】推論結果の出力例を示す図である。

【図18】第４実施形態に係る判定装置の構成例を示すブロック図である。

【図19】画像とラベルとの関連付け例を示す図である。

【図20】画像の例を示す図である。

【図21】画像加工の例を示す図である。

【図22】第５実施形態に係る判定装置の構成例を示すブロック図である。

【図23】推論フェーズの手順例を示すフロー図である。

【図24】加工処理を説明するための図である。

【図25】加工処理を説明するための図である。

【発明を実施するための形態】

【0016】

以下、本発明の実施形態について、図面を参照しながら説明する。

【0017】

［システム概要］
図１は、実施形態に係るスクラップ等級判定システム１００の構成例を示す図である。スクラップ等級判定システム１００は、判定装置１、カメラ２、重量センサ３、出力部６，７、及びクレーン９を備えている。判定装置１は、例えばインターネット又はＬＡＮ等の通信ネットワークを介してカメラ２及び出力部６，７と通信可能である。

【0018】

スクラップ等級判定システム１００は、スクラップ受入現場においてスクラップ積載車両ＴからスクラップヤードＹへクレーン９により荷下ろしされる鉄スクラップＳの等級割合等を判定する。

【0019】

カメラ２は、スクラップ積載車両Ｔに積載された鉄スクラップＳの集合、及びリフティングマグネット９１に持ち上げられた鉄スクラップＳの集合を撮影し、生成した画像を判定装置１に送信する。カメラ２の配置については、詳細を後述する。

【0020】

判定装置１は、カメラ２により生成された画像から鉄スクラップＳの等級割合等を推定し、推定結果を出力部６，７に送信する。

【0021】

出力部６，７は、判定装置１からの推定結果を出力する。出力部６は、例えば検収員Ａが携帯するタブレット型コンピュータ等の端末である。出力部７は、例えば検収書発行用のプリンタである。

【0022】

重量センサ３は、例えばスクラップ受入現場の出入口に埋設された踏板センサであり、スクラップ積載車両Ｔの車輪から加わる荷重を検知する。

【0023】

スクラップ積載車両Ｔに積載された鉄スクラップＳには、種々の大きさの鉄スクラップＳが混在している。鉄スクラップＳは、例えばヘビー屑である。図２に示すように、ヘビー屑には、大きさ（具体的には、厚さ、幅又は高さ、長さ）及び重さに応じた等級ＨＳ～Ｈ４が定められている。

【0024】

［スクラップ受入現場］
図３及び図４は、スクラップ受入現場を模式的に示す平面図及び側面図である。スクラップ受入現場は、スクラップヤードＹ、及びそれに隣接する車両進入エリアＰを有している。スクラップ受入現場に設置されたクレーン９は、リフティングマグネット９１をスクラップヤードＹ及び車両進入エリアＰの上方で移動させる。

【0025】

クレーン９は、例えばトロリ式天井クレーンであり、一対のランウェイガーダ９２、一対のランウェイガーダ９２に跨って配置された一対のクレーンガーダ９３、及び一対のクレーンガーダ９３に跨って配置されたクラブトロリ９４を備えている。ランウェイガーダ９２は、建屋柱９７によって支持されている。

【0026】

クレーンガーダ９３は、ランウェイガーダ９２の長手方向に沿って移動可能とされ、クラブトロリ９４は、クレーンガーダ９３の長手方向に沿って移動可能とされている。クラブトロリ９４からはフックブロック９８が吊り下げられており、フックブロック９８からはリフティングマグネット９１が吊り下げられている。

【0027】

図３に示すように、一部のカメラ２１は、車両進入エリアＰに停車したスクラップ積載車両Ｔの荷台を撮影するように設置されている（以下、スクラップ積載車両Ｔの荷台を撮影するカメラ２１を「車両撮影カメラ２１」という）。車両撮影カメラ２１は、例えばスクラップ受入現場の歩廊９５及び検収室９６等に複数台設置され、スクラップ積載車両Ｔの荷台全体を上方から撮影する。

【0028】

歩廊９５及び検収室９６は、従来、検収員がスクラップ積載車両Ｔの荷台を観察していた場所であり、こうした場所に車両撮影カメラ２１を設置することで、従来の検収員の視野を再現することができる。

【0029】

車両撮影カメラ２１は、車両進入エリアＰにスクラップ積載車両Ｔが進入すると、スクラップ積載車両Ｔの荷台に満杯に積み重なった鉄スクラップＳを撮影する。続いて、車両撮影カメラ２１は、リフティングマグネット９１がスクラップ積載車両Ｔの荷台に積み重なった鉄スクラップＳから一部の鉄スクラップＳを持ち上げる毎に、荷台に残された鉄スクラップＳを撮影する。車両撮影カメラ２１は、この撮影をスクラップ積載車両Ｔの荷台から鉄スクラップＳが無くなるまで繰り返す。

【0030】

ここで、荷台に残された鉄スクラップＳのうち、車両撮影カメラ２１で撮影される表層部分の鉄スクラップＳは、次にリフティングマグネット９１に持ち上げられる鉄スクラップＳとほぼ同じものである。

【0031】

図４に示すように、他のカメラ２２は、リフティングマグネット９１に持ち上げられた鉄スクラップＳを撮影するように設置されている（以下、リフティングマグネット９１に持ち上げられた鉄スクラップＳを撮影するカメラ２２を「リフマグ撮影カメラ２２」という）。リフマグ撮影カメラ２２は、例えば検収室９６、建屋柱９７及びスクラップヤードＹの地面付近等に複数台設置され、リフティングマグネット９１に持ち上げられた鉄スクラップＳを側方又は下方から撮影する。

【0032】

クレーン９は、リフティングマグネット９１が決まった位置を通過するように、リフティングマグネット９１をスクラップ積載車両ＴからスクラップヤードＹまで移動させる。リフマグ撮影カメラ２２は当該決まった位置に向かって撮影するように設置され、リフティングマグネット９１が当該決まった位置を通過するタイミングに合わせて、リフティングマグネット９１に持ち上げられた鉄スクラップＳを撮影する。

【0033】

検収室９６は、従来、検収員がリフティングマグネット９１に持ち上げられた鉄スクラップＳを観察していた場所でもあり、こうした場所にリフマグ撮影カメラ２２を設置することで、従来の検収員の視野を再現することができる。

【0034】

さらに、リフマグ撮影カメラ２２を検収室９６とは逆側に設置したり、スクラップヤードＹの地面付近に設置して、リフティングマグネット９１に持ち上げられた鉄スクラップＳを様々な角度から全体的に撮影することで、従来の検収員では得られなかった視野の画像を学習・推論に利用することも可能となる。

【0035】

リフマグ撮影カメラ２２は、リフティングマグネット９１がスクラップ積載車両Ｔの荷台に積み重なった鉄スクラップＳから一部の鉄スクラップＳを持ち上げる毎に、リフティングマグネット９１に持ち上げられた鉄スクラップＳを撮影する。リフマグ撮影カメラ２２は、この撮影をスクラップ積載車両Ｔの荷台から鉄スクラップＳが無くなるまで繰り返す。

【0036】

［第１実施形態］
図５は、第１実施形態に係る判定装置１の構成例を示すブロック図である。判定装置１は、学習装置でもあり、推定装置でもある。判定装置１は、ＣＰＵ、ＲＡＭ、ＲＯＭ、不揮発性メモリ及び入出力インターフェース等を含む制御部１０を備えている。判定装置１は、例えば１又は複数のサーバーコンピュータで構成される。

【0037】

制御部１０は、データベース２０にアクセス可能である。データベース２０は、判定装置１の内部に設けられてもよいし、判定装置１の外部に設けられ、例えばインターネット又はＬＡＮ等の通信ネットワークを介してアクセスされてもよい。

【0038】

制御部１０は、画像取得部１１、学習部１３、推論部１４、部分割合決定部１５、及び全体割合決定部１６を含んでいる。これらの機能部は、制御部１０のＣＰＵがＲＯＭ又は不揮発性メモリからＲＡＭにロードされたプログラムに従って情報処理を実行することによって実現される。

【0039】

プログラムは、例えば光ディスク又はメモリカード等の情報記憶媒体を介して供給されてもよいし、例えばインターネット又はＬＡＮ等の通信ネットワークを介して供給されてもよい。

【0040】

［学習フェーズ］
図５に示す制御部１０が実現する機能部のうち、画像取得部１１及び学習部１３は、学習フェーズを実行するための機能部であり、学習装置に相当する。学習フェーズは、学習済みモデルの生成方法に相当する。なお、学習フェーズを実行するための機能部は、判定装置１とは別の装置で実現されてもよい。

【0041】

画像取得部１１は、カメラ２により生成された、鉄スクラップＳの集合の画像を取得する。取得された画像は、等級割合を含むラベルと関連付けられてデータベース２０に格納される。

【0042】

学習部１３は、データベース２０から画像及びそれに関連付けられたラベルを読み出して、画像を入力データとし、ラベルを教師データとして、画像から鉄スクラップＳの集合の等級割合を推定するための学習済みモデルを機械学習により構築する。

【0043】

図６は、画像とラベルとの関連付け例を示す図である。画像とラベルとの関連付けは、同図に示すようなテーブルによって管理されている。「画像ＩＤ」は、画像の識別情報である。

【0044】

「ラベル」は、等級割合として、鉄スクラップＳの集合に含まれるヘビー屑の各等級の割合を含んでいる。図示の例では、ＨＳ、Ｈ１、Ｈ２、Ｈ３、及びＨ４の等級を含んでいる。

【0045】

「ラベル」には、例えば検収員によって判断された値が付与されてもよいし、実際に測定された値が付与されてもよい。

【0046】

割合は、例えば重量割合であるが、これに限らず、面積割合であってもよいし、体積割合であってもよい。鉄スクラップＳに関しては材料が共通するため、面積割合も体積割合も、重量割合とほぼ類似するものとなる。

【0047】

図７（ａ）及び図７（ｂ）は、複数の等級の鉄スクラップＳが混在した鉄スクラップＳの集合の画像の例を示す図である。

【0048】

図７（ａ）は、車両撮影カメラ２１がスクラップ積載車両Ｔの荷台を撮影することにより生成した画像の例である。この画像は、図６に示すテーブルの画像ＩＤが「ａａａａ」のエントリーに対応する。

【0049】

複数の車両撮影カメラ２１で互いに異なる方向から同時にスクラップ積載車両Ｔの荷台を撮影する場合、生成される複数の画像には同一のラベルが付与される。又は、生成される複数の画像の組を１つの入力データとして扱ってもよい。

【0050】

図７（ｂ）は、リフマグ撮影カメラ２２がリフティングマグネット９１に持ち上げられた鉄スクラップＳを撮影することにより生成した画像の例である。この画像は、図６に示すテーブルの画像ＩＤが「ｂｂｂｂ」のエントリーに対応する。

【0051】

複数のリフマグ撮影カメラ２２で互いに異なる方向から同時にリフティングマグネット９１に持ち上げられた鉄スクラップＳを撮影する場合、生成される複数の画像には同一のラベルが付与される。又は、生成される複数の画像の組を１つの入力データとして扱ってもよい。

【0052】

機械学習に利用される画像は、必ずしも車両撮影カメラ２１又はリフマグ撮影カメラ２２で撮影した画像に限られず、例えば他の場所において撮影された鉄スクラップの画像であってもよい。

【0053】

また、図７（ｃ）に示すような、等級毎の鉄スクラップＳの集合の画像（すなわち、同じ等級の鉄スクラップＳのみを含む画像）が機械学習に利用されてもよい。この画像は、図６に示すテーブルの画像ＩＤが「ｃｃｃｃ」のエントリーに対応する。

【0054】

また、鉄スクラップＳの集合の画像からユーザの操作入力に応じて切り出された部分画像を機械学習に利用してもよい。例えば経験のある検収員が着目する部分を画像から切り出して機械学習に利用することで、推定精度の向上を期待できる。

【0055】

図８は、学習済みモデルの生成方法としての学習フェーズの手順例を示すフロー図である。制御部１０は、同図に示す情報処理をプログラムに従って実行することにより、画像取得部１１及び学習部１３として機能する。

【0056】

まず、制御部１０は、画像及びそれに対応付けられたラベルを取得する（Ｓ１１、取得部としての処理）。学習フェーズにおいては、画像及びそれに対応付けられたラベルが予めデータベース２０に格納され、必要に応じてデータベース２０から読み出される。

【0057】

次に、制御部１０は、複数用意された画像及びそれに対応付けられたラベルの組から一部を機械学習用のトレーニングデータとして抽出し（Ｓ１２）、抽出したトレーニングデータを用いて機械学習を実行する（Ｓ１３、学習部としての処理）。機械学習は、画像を入力データとし、ラベルを教師データとして行われる。これにより、画像から鉄スクラップＳの集合の等級割合を推定するための学習済みモデルが構築される。

【0058】

次に、制御部１０は、複数用意された画像及びそれに対応付けられたラベルの組からトレーニングデータとは別の一部をテストデータとして抽出し（Ｓ１４）、抽出したテストデータを用いて学習済みモデルを評価する（Ｓ１５）。その後、制御部１０は、評価が所定以上であった学習済みモデルをデータベース２０に保存し（Ｓ１６）、学習フェーズを終了する。

【0059】

図９は、学習済みモデルの構築例を示す図である。学習済みモデルは、例えば畳込みニューラルネットワークであり、畳込み層、プーリング層、全結合層、及び出力層を含んでいる。特には、ニューロンを多段に組み合わせたディープニューラルネットワークが好適である。

【0060】

出力層には、ラベル（図６参照）に対応する数の要素が設けられる。すなわち、鉄スクラップＳの集合に含まれるヘビー屑の各等級の割合に対応する複数の要素が設けられる。

【0061】

出力層の等級割合に係る要素（ヘビー屑の各等級の割合に係る要素）には、例えばソフトマックス関数が用いられる。この場合、出力値が０～１の間の実数で得られるので、出力値を割合として解釈することができる。

【0062】

なお、図示の畳込みニューラルネットワークはあくまでも一例であり、層構造はこれに限られず、畳込み層、プーリング層、及び全結合層の層数が異なっていてもよい。また、サポートベクタマシン、ガウス過程、決定木などのニューラルネットワーク以外の機械学習が用いられてもよい。

【0063】

［推論フェーズ］
図５に示す制御部１０が実現する機能部のうち、画像取得部１１、推論部１４、部分割合決定部１５、及び全体割合決定部１６は、推論フェーズを実行するための機能部であり、推定装置に相当する。推論フェーズは、スクラップ等級判定方法に相当する。

【0064】

画像取得部１１は、カメラ２により生成された鉄スクラップＳの集合の画像を取得し、推論部１４に出力する。推論フェーズにおいては、画像取得部１１により取得された画像は推論部１４に直接的に入力される。これに限らず、画像はデータベース２０に一旦格納されてから読み出されてもよい。

【0065】

推論部１４は、画像取得部１１により取得された画像を入力データとし、学習フェーズで構築された学習済みモデルを用いて、画像から鉄スクラップＳの集合の等級割合を推定する。推論部１４は、推定結果を部分割合決定部１５に出力する。

【0066】

部分割合決定部１５は、リフティングマグネット９１が鉄スクラップＳを持ち上げる毎に、持ち上げ直前に車両撮影カメラ２１により生成された画像から推定された等級割合と、持ち上げ時にリフマグ撮影カメラ２２により生成された画像から推定された等級割合とに基づいて、持ち上げられた鉄スクラップＳの等級割合を決定する。

【0067】

全体割合決定部１６は、リフティングマグネット９１が鉄スクラップＳを持ち上げる毎に部分割合決定部１５により決定された鉄スクラップＳの等級割合に基づいて、スクラップ積載車両ＴからスクラップヤードＹへ荷下ろしされた鉄スクラップＳ全体の等級割合を決定する。

【0068】

図１０は、スクラップ等級判定方法としての推論フェーズの手順例を示すフロー図である。制御部１０は、同図に示す情報処理をプログラムに従って実行することにより、画像取得部１１、推論部１４、部分割合決定部１５、及び全体割合決定部１６として機能する。

【0069】

まず、制御部１０は、車両撮影カメラ２１（図３参照）により撮影された画像を取得する（Ｓ２１、取得部としての処理）。車両撮影カメラ２１により撮影された画像は、リフティングマグネット９１に持ち上げられる前の、スクラップ積載車両Ｔの荷台に積み重なった鉄スクラップＳの画像である。

【0070】

次に、制御部１０は、取得した画像を入力データとし、学習フェーズで作成された学習済みモデルを用いて、鉄スクラップＳに含まれる等級割合（ヘビー屑の各等級の割合）を推定する（Ｓ２２、推論部としての処理）。また、複数の車両撮影カメラ２１で同時に撮影された複数の画像を取得する場合は、それぞれの画像から推定された等級割合を平均化する。

【0071】

次に、制御部１０は、リフマグ撮影カメラ２２（図４参照）により撮影された画像を取得する（Ｓ２３、取得部としての処理）。リフマグ撮影カメラ２２により撮影された画像は、スクラップ積載車両Ｔの荷台に積み重なった鉄スクラップＳからリフティングマグネット９１により持ち上げられた一部の鉄スクラップＳの画像である。

【0072】

次に、制御部１０は、取得した画像を入力データとし、学習フェーズで作成された学習済みモデルを用いて、鉄スクラップＳに含まれる等級割合（ヘビー屑の各等級の割合）を推定する（Ｓ２４、推論部としての処理）。また、複数のリフマグ撮影カメラ２２で同時に撮影された複数の画像を取得する場合は、それぞれの画像から推定された等級割合を平均化する。

【0073】

次に、制御部１０は、Ｓ２２で推定された等級割合とＳ２４で推定された等級割合とを平均化し、平均化された等級割合をリフティングマグネット９１に持ち上げられた鉄スクラップＳの等級割合として決定する（Ｓ２５、部分割合決定部としての処理）。平均化には、算術平均が用いられてもよいし、例えば一方を主、他方を副とするように重みが定められた加重平均が用いられてもよい。

【0074】

ここで、リフティングマグネット９１に持ち上げられる前の、スクラップ積載車両Ｔの荷台に積み重なった鉄スクラップＳのうちの、車両撮影カメラ２１により撮影される表層部分の鉄スクラップＳは、リフマグ撮影カメラ２２により撮影されるリフティングマグネット９１に持ち上げられた鉄スクラップＳとほぼ同じものである。すなわち、Ｓ２１で取得した画像とＳ２３で取得した画像とは、ほぼ同じ鉄スクラップＳを異なる視点から表したものと言える。

【0075】

そのため、Ｓ２５では、Ｓ２２で推定された等級割合とＳ２４で推定された等級割合とを平均化することで、リフティングマグネット９１に持ち上げられた鉄スクラップＳの等級割合を決定している。

【0076】

制御部１０は、スクラップ積載車両Ｔから全ての鉄スクラップＳが荷下ろしされるまで、リフティングマグネット９１が鉄スクラップＳを持ち上げる毎にＳ２１～Ｓ２５の処理を繰り返す（Ｓ２６）。

【0077】

スクラップ積載車両Ｔから全ての鉄スクラップＳが荷下ろしされると（Ｓ２６：ＹＥＳ）、制御部１０は、リフティングマグネット９１が鉄スクラップＳを持ち上げる毎にＳ２５で決定された等級割合を集計し、平均値を算出することで、スクラップ積載車両ＴからスクラップヤードＹへ荷下ろしされた鉄スクラップＳ全体の等級割合を決定する（Ｓ２７、全体割合決定部としての処理）。平均化には、算術平均が用いられてもよいし、例えば重量に応じた重みを乗じた加重平均が用いられてもよい。

【0078】

その後、制御部１０は、Ｓ２７で決定された、スクラップ積載車両ＴからスクラップヤードＹへ荷下ろしされた鉄スクラップＳ全体の等級割合を、推定結果として出力部６，７に送信する（Ｓ２８）。出力部６，７は、受信した推定結果を例えば表示又は印刷等によって出力する。

【0079】

図１１は、推論結果の出力例を示す図である。推定結果には、スクラップ積載車両ＴからスクラップヤードＹへ荷下ろしされた鉄スクラップＳ全体の等級割合（ヘビー屑の各等級の割合）が含まれている。

【0080】

以上に説明した実施形態によれば、機械学習により予め作成された学習済みモデルを用いて、画像から鉄スクラップＳの集合の等級割合を推定するので、推定精度の向上を図ることが可能となる。

【0081】

また、実施形態によれば、検収員による等級判定レベルのばらつきを無くし、等級判定レベルを平準化することが可能となる。

【0082】

また、実施形態によれば、複数のカメラ２により鉄スクラップＳの集合を様々な角度から撮影した画像を利用することで、推定精度の更なる向上を図ることが可能となる。

【0083】

さらに、例えばリフティングマグネット９１に持ち上げられた鉄スクラップＳを下方から覗き込むようにリフマグ撮影カメラ２２で撮影する等、これまで検収員を配置することができなかった場所にもカメラ２を設置することにより、検収員の安全を確保しつつ鉄スクラップＳの集合を様々な角度から撮影した画像を学習・推論に利用することが可能となる。

【0084】

また、実施形態によれば、等級割合の推定を自動化するので、クレーン９の運転手１人で検収作業を実施でき、検収員の省力化を図ることが可能となる。さらに、クレーン９の運転自動化を組み合わせれば、鉄スクラップの受入、荷下ろし、検収作業の無人化を図ることも可能となる。

【0085】

［第２実施形態］
以下、第２実施形態について説明する。上記実施形態と重複する構成又は手順については、同番号を付すことで詳細な説明を省略する。

【0086】

図１２は、第２実施形態に係る判定装置１の構成例を示すブロック図である。制御部１０は、画像取得部１１、学習部１３、推論部１４、部分割合決定部１５、及び全体割合決定部１６に加えて、重量測定部１２、重量算出部１７、重量積算部１８、及び重量補正部１９を含んでいる。

【0087】

［学習フェーズ］
画像取得部１１により取得された鉄スクラップＳの集合の画像は、等級割合及び重量を含むラベルと関連付けられてデータベース２０に格納される。

【0088】

学習部１３は、データベース２０から画像及びそれに関連付けられたラベルを読み出して、画像を入力データとし、ラベルを教師データとして、画像から鉄スクラップＳの集合の等級割合及び重量を推定するための学習済みモデルを機械学習により構築する。

【0089】

図１３は、画像とラベルとの関連付け例を示す図である。「ラベル」は、等級割合としての、鉄スクラップＳの集合に含まれるヘビー屑の各等級（本例では、ＨＳ、Ｈ１、Ｈ２、Ｈ３、及びＨ４）の割合に加えて、鉄スクラップＳの集合の重量を含んでいる。

【0090】

なお、画像ＩＤが「ａａａａ」のエントリーに対応する、車両撮影カメラ２１がスクラップ積載車両Ｔの荷台を撮影することにより生成した画像（図７（ａ）参照）には、重量のラベルは付与されない。

【0091】

［推論フェーズ］
図１２に示す制御部１０が実現する機能部のうち、画像取得部１１、推論部１４、部分割合決定部１５、全体割合決定部１６、重量算出部１７、重量積算部１８、及び重量補正部１９は、推論フェーズを実行するための機能部であり、推定装置に相当する。

【0092】

推論部１４は、画像取得部１１により取得された画像を入力データとし、学習フェーズで構築された学習済みモデルを用いて、画像から鉄スクラップＳの集合の等級割合及び重量を推定する。推論部１４は、等級割合に係る推定結果を部分割合決定部１５に出力し、重量に係る推定結果を重量算出部１７に出力する。

【0093】

重量測定部１２は、スクラップ受入現場の出入口に設けられた重量センサ３からスクラップ積載車両Ｔの進入時の重量と退出時の重量とを取得し、それらの差分を算出することで、スクラップ積載車両ＴからスクラップヤードＹへ荷下ろしされた鉄スクラップＳ全体の重量（測定重量）を算出する。

【0094】

重量算出部１７は、リフティングマグネット９１が鉄スクラップＳを持ち上げる毎に推論部１４により推定された、持ち上げられた鉄スクラップＳの重量を取得する。

【0095】

また、重量算出部１７は、部分割合決定部１５により決定された持ち上げられた鉄スクラップＳの等級割合と、推論部１４により推定された持ち上げられた鉄スクラップＳの重量とに基づいて、持ち上げられた鉄スクラップＳに含まれる各等級の重量を算出する。

【0096】

重量積算部１８は、リフティングマグネット９１が鉄スクラップＳを持ち上げる毎に推論部１４により推定された鉄スクラップＳの重量を積算することで、スクラップ積載車両ＴからスクラップヤードＹへ荷下ろしされた鉄スクラップＳ全体の重量（推定重量）を算出する。

【0097】

また、重量積算部１８は、リフティングマグネット９１が鉄スクラップＳを持ち上げる毎に重量算出部１７により算出された、持ち上げられた鉄スクラップＳに含まれる各等級の重量を積算することで、スクラップ積載車両ＴからスクラップヤードＹへ荷下ろしされた鉄スクラップＳ全体に含まれる各等級の重量（推定重量）も算出する。

【0098】

重量補正部１９は、重量測定部１２により算出された鉄スクラップＳ全体の測定重量に基づいて、重量積算部１８により算出された鉄スクラップＳ全体の推定重量を補正する。

【0099】

また、重量補正部１９は、重量測定部１２により算出された鉄スクラップＳ全体の測定重量と、重量積算部１８により算出された鉄スクラップＳ全体の推定重量との比に基づいて、重量積算部１８により算出された鉄スクラップＳ全体に含まれる各等級の推定重量も補正する。

【0100】

図１４は、スクラップ等級判定方法としての推論フェーズの手順例を示すフロー図である。制御部１０は、同図に示す情報処理をプログラムに従って実行することにより、画像取得部１１、推論部１４、部分割合決定部１５、全体割合決定部１６、重量算出部１７、重量積算部１８、及び重量補正部１９として機能する。

【0101】

制御部１０は、Ｓ２３で取得されたリフマグ撮影カメラ２２（図４参照）の画像を入力データとし、学習フェーズで作成された学習済みモデルを用いて、リフティングマグネット９１に持ち上げられた鉄スクラップＳに含まれる等級割合とともに、その重量を推定する（Ｓ３１、推論部としての処理）。

【0102】

なお、Ｓ２２において、Ｓ２１で取得された車両撮影カメラ２１（図３参照）の画像を入力データとして学習済みモデルを用いた推定を行うが、ここでは、学習済みモデルにより鉄スクラップＳの重量が推定されても、それを使用しない。

【0103】

次に、制御部１０は、Ｓ２５及びＳ３１で決定又は推定されたリフティングマグネット９１に持ち上げられた鉄スクラップＳの等級割合及びその重量を掛け合わせて、リフティングマグネット９１に持ち上げられた鉄スクラップＳに含まれる各等級の重量を算出する（Ｓ３２、重量算出部としての処理）。

【0104】

次に、制御部１０は、Ｓ３１で推定されたリフティングマグネット９１に持ち上げられた鉄スクラップＳの重量を積算する（Ｓ３３、重量積算部としての処理）。具体的には、制御部１０は、メモリに格納されたそれまでの積算重量にＳ３１で推定された重量を加算して、積算重量を更新する。さらに、制御部１０は、Ｓ３２で算出された各等級の重量も同様に積算する。

【0105】

次に、制御部１０は、リフティングマグネット９１が鉄スクラップＳを持ち上げる毎にＳ３３で積算された重量を、スクラップ積載車両ＴからスクラップヤードＹへ荷下ろしされた鉄スクラップＳ全体の重量として決定する（Ｓ３４）。さらに、制御部１０は、Ｓ３３で積算された各等級の重量も、鉄スクラップＳ全体に含まれる各等級の重量として同様に決定する。

【0106】

次に、制御部１０は、Ｓ３４で決定した鉄スクラップＳ全体の重量（推定重量）が、重量センサ３により測定された鉄スクラップＳ全体の重量（測定重量）と異なる場合に（Ｓ３５：ＹＥＳ）、測定重量に基づいて推定重量を補正する（Ｓ３６）。例えば、測定重量を正しい値として、推定重量を測定重量に置き換える。

【0107】

さらに、制御部１０は、Ｓ３４で決定した鉄スクラップＳ全体に含まれる各等級の重量に、測定重量と推定重量との比（測定重量／推定重量）を掛け合わせることで、鉄スクラップＳ全体に含まれる各等級の重量も補正する。

【0108】

その後、制御部１０は、Ｓ２７及びＳ３４（又はＳ３６）で決定された、スクラップ積載車両ＴからスクラップヤードＹへ荷下ろしされた鉄スクラップＳ全体の等級割合及び重量を、推定結果として出力部６，７に送信する（Ｓ２８）。出力部６，７は、受信した推定結果を例えば表示又は印刷等によって出力する。

【0109】

図１５は、推論結果の出力例を示す図である。推定結果には、スクラップ積載車両ＴからスクラップヤードＹへ荷下ろしされた鉄スクラップＳ全体の等級割合（ヘビー屑の各等級の割合）、鉄スクラップＳ全体の重量、及び鉄スクラップＳ全体に含まれる各等級の重量が含まれている。

【0110】

なお、鉄スクラップＳ全体に含まれる各等級の重量は、次のように算出されてもよい。従来、検収員は、スクラップ受入現場に進入したばかりの鉄スクラップＳ全体が積載されたスクラップ積載車両Ｔの荷台を観察するとともに、スクラップ積載車両Ｔの進入時の重量から車重を引いて得られる鉄スクラップＳ全体の重量を考慮して、鉄スクラップＳ全体に含まれる各等級の重量の概略を判断している。

【0111】

これと同様の概略を得るため、スクラップ受入現場に進入したばかりの鉄スクラップＳ全体が積載されたスクラップ積載車両Ｔの荷台を撮影した車両撮影カメラ２１の画像から鉄スクラップＳに含まれる各等級の割合を推定し、それらに重量センサ３で測定した鉄スクラップＳ全体の重量を掛け合わせることで、鉄スクラップＳ全体に含まれる各等級の重量を算出してもよい。

【0112】

［第３実施形態］
以下、第３実施形態について説明する。上記実施形態と重複する構成又は手順については、同番号を付すことで詳細な説明を省略する。第３実施形態に係る判定装置１の構成例及び手順例は、上記図５、図８及び図１０に示した第１実施形態に係る判定装置と同様である。

【0113】

スクラップ受入現場においてスクラップ積載車両ＴからスクラップヤードＹへクレーン９により荷下ろしされる鉄スクラップＳには、ヘビー屑の他に、シュレッダー屑、新断、又は鋼ダライ粉や水分・ダスト等が混在していることがある。

【0114】

そこで、第３実施形態では、鉄スクラップＳの集合に含まれるヘビー屑の各等級の割合だけでなく、シュレッダー屑、新断、鋼ダライ粉、及び水分・ダストの割合も学習・推定する。

【0115】

すなわち、図１６に示すように、学習フェーズに用いられる「ラベル」は、鉄スクラップＳの集合に含まれるヘビー屑の各等級（ＨＳ、Ｈ１、Ｈ２、Ｈ３、及びＨ４）の割合に加えて、シュレッダー屑、新断、鋼ダライ粉、及び水分・ダストの割合も含んでいる。

【0116】

学習部１３（図５参照）は、このようなラベルを教師データとして、画像から鉄スクラップＳの集合に含まれるヘビー屑の各等級の割合とともにシュレッダー屑、新断、鋼ダライ粉、及び水分・ダストの割合を推定するための学習済みモデルを機械学習により構築する。

【0117】

そして、推論部１４は、学習部１３により構築された学習済みモデルを用いて、画像取得部１１が取得した画像から鉄スクラップＳの集合に含まれるヘビー屑の各等級の割合とともにシュレッダー屑、新断、鋼ダライ粉、及び水分・ダストの割合を推定する。

【0118】

部分割合決定部１５は、リフティングマグネット９１に持ち上げられた鉄スクラップＳの集合に含まれるヘビー屑の各等級の割合とともにシュレッダー屑、新断、鋼ダライ粉、及び水分・ダストの割合を決定する。

【0119】

全体割合決定部１６は、スクラップ積載車両ＴからスクラップヤードＹへ荷下ろしされた鉄スクラップＳ全体に含まれるヘビー屑の各等級の割合とともにシュレッダー屑、新断、鋼ダライ粉、及び水分・ダストの割合を決定する。

【0120】

図１７は、推論結果の出力例を示す図である。推定結果には、スクラップ積載車両ＴからスクラップヤードＹへ荷下ろしされた鉄スクラップＳ全体に含まれるヘビー屑の各等級の割合とともにシュレッダー屑、新断、鋼ダライ粉、及び水分・ダストの割合が含まれている。

【0121】

なお、シュレッダー屑、新断、又は鋼ダライ粉についても、各等級の割合を学習・推定してもよい。

【0122】

以上に説明した第３実施形態には、上記第２実施形態で説明した重量の学習・推定をさらに組み合わせてもよい。すなわち、鉄スクラップＳの集合に含まれるヘビー屑の各等級、シュレッダー屑、新断、鋼ダライ粉、及び水分・ダストの割合及び重量を学習・推定してもよい。

【0123】

［第４実施形態］
以下、第４実施形態について説明する。上記実施形態と重複する構成又は手順については、同番号を付すことで詳細な説明を省略する。

【0124】

スクラップ受入現場においてスクラップ積載車両ＴからスクラップヤードＹへクレーン９により荷下ろしされる鉄スクラップＳには、ヘビー屑の他に、銅若しくは鉛等の非鉄金属、密閉物、規定寸法・重量以上のもの、又はダンゴ状の鉄筋等の受入除外品が混在していることがある。

【0125】

そこで、第４実施形態では、鉄スクラップＳの集合に含まれるヘビー屑の各等級の割合とともに、受入除外品の有無も学習・推定する。

【0126】

図１８は、第４実施形態に係る判定装置１の構成例を示すブロック図である。制御部１０は、画像取得部１１、学習部１３、推論部１４、部分割合決定部１５、全体割合決定部１６に加えて、警報判定部８１を含んでいる。

【0127】

警報出力部８は、例えば回転灯及びサイレン等を含んでおり、判定装置１（警報判定部８１）からの出力指令を受信すると、警報を出力する。

【0128】

図１９に示すように、学習フェーズに用いられる「ラベル」は、鉄スクラップＳの集合に含まれるヘビー屑の各等級（ＨＳ、Ｈ１、Ｈ２、Ｈ３、及びＨ４）の割合に加えて、受入除外品の有無も含んでいる。

【0129】

なお、これに限らず、「ラベル」には、銅若しくは鉛等の非鉄金属、密閉物、規定寸法・重量以上のもの、又はダンゴ状の鉄筋等の受入除外品の種類毎の項目が設けられることが好ましい。

【0130】

学習部１３は、このようなラベルを教師データとして、画像から鉄スクラップＳの集合に含まれるヘビー屑の各等級の割合とともに受入除外品の有無を推定するための学習済みモデルを機械学習により構築する。

【0131】

学習済みモデルに畳込みニューラルネットワーク（図９参照）を用いる場合、出力層の受入除外品の有無に係る要素は、例えば０以上１以下の値を出力するシグモイド関数を用いることが好ましい。

【0132】

そして、推論部１４は、学習部１３により構築された学習済みモデルを用いて、リフティングマグネット９１が鉄スクラップＳを持ち上げる毎に、画像取得部１１が取得した画像から鉄スクラップＳの集合に含まれるヘビー屑の各等級の割合とともに受入除外品の有無を推定する。推論部１４は、受入除外品の有無に係る推定結果を警報判定部８１に出力する。

【0133】

警報判定部８１は、推論部１４からの推定結果に基づいて受入除外品の有無を判定し、受入除外品が有ると判定した場合に、警報出力部８に出力指令を送信して、警報を出力させる。例えば、受入除外品の有無を表す値（例えば０以上１以下の値）が閾値以上である場合に、受入除外品が有ると判定される。

【0134】

なお、銅又は鉛等の非鉄金属については、鉄スクラップＳとの外観上の差が少なく、非鉄金属の識別精度が十分でないおそれがあるため、例えばレーザー、Ｘ線、又はγ線を用いた金属成分分析器等を補助的に使用してもよい。

【0135】

以上に説明した第４実施形態には、上記第２実施形態で説明した重量の学習・推定をさらに組み合わせてもよい。すなわち、鉄スクラップＳの集合に含まれるヘビー屑の各等級の割合及び重量を学習・推定するとともに、受入除外品の有無を学習・推定してもよい。

【0136】

また、第４実施形態には、上記第３実施形態で説明したシュレッダー屑、新断、鋼ダライ粉、及び水分・ダストの割合の学習・推定をさらに組み合わせてもよい。すなわち、鉄スクラップＳの集合に含まれるヘビー屑の各等級、シュレッダー屑、新断、鋼ダライ粉、及び水分・ダストの割合を学習・推定するとともに、受入除外品の有無を学習・推定してもよい。

【0137】

また、第４実施形態には、上記第２実施形態で説明した重量の学習・推定、並びに上記第３実施形態で説明したシュレッダー屑、新断、鋼ダライ粉、及び水分・ダストの割合の学習・推定の両方を組み合わせてもよい。すなわち、鉄スクラップＳの集合に含まれるヘビー屑の各等級、シュレッダー屑、新断、鋼ダライ粉、及び水分・ダストの割合及び重量を学習・推定するとともに、受入除外品の有無を学習・推定してもよい。

【0138】

［第５実施形態］
以下、第５実施形態について説明する。上記実施形態と重複する構成又は手順については、同番号を付すことで詳細な説明を省略する。

【0139】

［学習フェーズ］
図２０は、本実施形態において学習用画像に加工される前の元画像Ｌの例を示す図である。元画像Ｌは、リフティングマグネット９１に持ち上げられた鉄スクラップＳの集合をリフマグ撮影カメラ２２（図４参照）等のカメラにより撮影した画像である。

【0140】

リフティングマグネット９１に持ち上げられた鉄スクラップＳの集合は、通常、リフティングマグネット９１から下方に向かうに従って徐々に狭まる略逆円錐形状（側面視においては略逆三角形状）となる。

【0141】

なお、リフティングマグネット９１は、吊り具の一例である。これに限らず、吊り具としてグラブバケット等が用いられてもよい。

【0142】

図２１は、元画像Ｌに施される画像加工の例を示す図である。まず、図２１（ａ）に示すように、元画像Ｌにおいてリフティングマグネット９１の範囲Ｎが特定される。リフティングマグネット９１の範囲Ｎは、例えばユーザによって判断され、指定される。

【0143】

次に、図２１（ｂ）に示すように、リフティングマグネット９１の範囲Ｎを基準として確定される部分画像ＬＯが元画像Ｌから切り出される。部分画像ＬＯは、リフティングマグネット９１の下方の範囲を少なくとも含むように画定される。

【0144】

具体的には、部分画像ＬＯの左右端は、リフティングマグネット９１の左右端よりもやや外側に位置している。部分画像ＬＯの横幅は、リフティングマグネット９１の横幅よりもやや広い程度（例えば１．１～１．５倍程度）とされる。

【0145】

また、部分画像ＬＯの上端は、リフティングマグネット９１の上端の位置とされる。部分画像ＬＯの下端は、リフティングマグネット９１の下端から所定の高さだけ下方に位置している。

【0146】

具体的には、部分画像ＬＯの下端は、部分画像ＬＯと同じ横幅の、吊り部９１の下端と重なる底辺を持ち、下方に向かうに従って徐々に狭まる逆三角形（例えば、逆直角三角形など）の範囲ＮＮの下端（頂点）の位置とされる。

【0147】

次に、図２１（ｃ）に示すように、部分画像ＬＯのうち、逆三角形の範囲ＮＮを表示領域、他の範囲ＮＦを非表示領域とするマスク処理が施される。例えば、逆三角形の範囲ＮＮの左右に隣接する範囲ＮＦが黒等で塗りつぶされる、又は透過にされる。

【0148】

このように抽出・加工された部分画像ＬＯが、学習フェーズにおける学習用画像として用いられる。これによれば、学習用画像において、着目する必要のない背景部分が除外されるため、学習効果の向上を図ることが可能となる。

【0149】

なお、学習フェーズにおいては、画像から鉄スクラップＳの集合の等級割合を推定するための学習済みモデルの他に、画像中のリフティングマグネット９１の範囲を推定するための学習済みモデル（以下、範囲推定用学習済みモデルという）がさらに構築される。

【0150】

例えば、範囲推定用学習済みモデルは、図２１（ａ）に示した元画像Ｌを入力データとし、元画像Ｌで特定されたリフティングマグネット９１の範囲Ｎを教師データとして、機械学習により構築される。

【0151】

範囲推定用学習済みモデルは、例えばYOLO（You Only Look Once）、SSD（Single Shot MultiBox Detector）又はFaster R-CNN等の物体検出モデルである。

【0152】

［推論フェーズ］
図２２は、第５実施形態に係る判定装置１の構成例を示すブロック図である。制御部１０は、画像取得部１１、学習部１３、推論部１４、部分割合決定部１５、全体割合決定部１６、重量算出部１７、及び重量補正部１９に加えて、範囲推定部４１及び加工部４２を含んでいる。

【0153】

図２３は、判定装置１において実現される、スクラップ等級判定方法としての推論フェーズの手順例を示すフロー図である。判定装置１の制御部１０は、同図に示す情報処理をプログラムに従って実行する。

【0154】

まず、制御部１０は、リフマグ撮影カメラ２２により撮影された画像（以下、カメラ画像という）を取得すると（Ｓ２３）、上述の範囲推定用学習済みモデルを用いて、カメラ画像中のリフティングマグネット９１の範囲を推定する（Ｓ４９、範囲推定部４１としての処理）。

【0155】

次に、制御部１０は、推定されたリフティングマグネット９１の範囲に基づいて、カメラ画像に加工処理を施す（Ｓ５０、加工部４２としての処理）。加工処理は、上述の学習フェーズにおける加工処理と同様である（図２１参照）。

【0156】

具体的には、まず、図２４（ａ）に示すように、リフマグ撮影カメラ２２から取得されたカメラ画像Ｃにおいてリフティングマグネット９１の範囲Ｍが推定される。

【0157】

次に、図２１（ｂ）に示すように、リフティングマグネット９１の範囲Ｍを基準として確定される部分画像ＣＯがカメラ画像Ｃから切り出される。部分画像ＣＯは、リフティングマグネット９１の下方の範囲を少なくとも含むように画定される。

【0158】

具体的には、部分画像ＣＯの左右端は、リフティングマグネット９１の左右端よりもやや外側に位置している。部分画像ＣＯの横幅は、リフティングマグネット９１の横幅よりもやや広い程度（例えば１．１～１．５倍程度）とされる。

【0159】

また、部分画像ＣＯの上端は、リフティングマグネット９１の上端の位置とされる。部分画像ＣＯの下端は、リフティングマグネット９１の下端から所定の高さだけ下方に位置している。

【0160】

具体的には、部分画像ＣＯの下端は、部分画像ＣＯと同じ横幅の、吊り部９１の下端と重なる底辺を持ち、下方に向かうに従って徐々に狭まる逆三角形（例えば、逆直角三角形など）の範囲ＭＮの下端（頂点）の位置とされる。

【0161】

次に、図２４（ｃ）に示すように、部分画像ＣＯのうち、逆三角形の範囲ＭＮを表示領域、他の範囲ＭＦを非表示領域とするマスク処理が施される。例えば、逆三角形の範囲ＭＮの左右に隣接する範囲ＭＦが黒等で塗りつぶされる、又は透過にされる。

【0162】

その後、制御部１０は、このように抽出・加工された部分画像ＣＯを入力データとし、等級割合及び重量を推定するための学習済みモデルを用いて、部分画像ＣＯに写った鉄スクラップＳの集合に含まれる等級割合を推定する（図２３のＳ３１－Ｓ３３）。

【0163】

これによれば、等級割合及び重量を推定する際に入力データとして用いられる画像において、学習用画像と同様に、着目する必要のない背景部分が除外されるため、等級割合の推定精度の向上を図ることが可能となる。

【0164】

なお、マスク処理において表示領域とする範囲ＭＮの形状は、逆三角形に限られない。これは、推論フェーズのマスク処理に限らず、学習フェーズにおけるマスク処理においても同様である。

【0165】

例えば、範囲ＭＮの形状は、図２５（ｃ），（ｄ）に示すように下方に向かうに従って徐々に狭まる逆台形状であってもよいし、図２５（ｅ），（ｆ）に示すように矩形状であってもよい。また、図２５（ｂ），（ｄ），（ｆ）に示すように、範囲ＭＮの上方の吊り具９１及びその両側も、非表示領域として黒等で塗りつぶしてもよい。

【0166】

［その他］
上記実施形態では、学習時の教師データとして使用される「ラベル」に重量が含まれ（図６参照）、推論時に鉄スクラップＳの等級割合とともに重量を推定したが（図１０参照）、それとは逆に、リフティングマグネット９１が持ち上げた鉄スクラップＳの重量を測定する重量測定部を設け、測定される重量を学習・推定の入力データとして用いてもよい。すなわち、学習時の入力データとして画像とともに重量を使用し、推論時に持ち上げられた鉄スクラップＳの画像及び重量から等級割合を推定してもよい。

【0167】

さらに、リフティングマグネット９１が鉄スクラップＳを持ち上げたときの音声を測定する音声測定部を設け、測定される音声を学習・推定の入力データとして用いてもよい。すなわち、学習時の入力データとして画像とともに音声を使用し、推論時に持ち上げられた鉄スクラップＳの画像及び音声から等級割合を推定してもよい。

【0168】

以上、本発明の実施形態について説明したが、本発明は以上に説明した実施形態に限定されるものではなく、種々の変更が当業者にとって可能であることはもちろんである。

【符号の説明】

【0169】

１ 判定装置（学習装置、推定装置）、２，２１，２２ カメラ、３ 重量センサ、６，７ 出力部、１０ 制御部、１１ 画像取得部、１２ 重量測定部、１３ 学習部、１４ 推論部、１５ 部分割合決定部、１６ 全体割合決定部、１７ 重量算出部、１８ 重量積算部、１９ 重量補正部、２０ データベース、８ 警報出力部、９ クレーン、９１ リフティングマグネット、９２ ランウェイガーダ、９３ クレーンガーダ、９４ クラブトロリ、９５ 歩廊、９６ 検収室、９７ 建屋柱、９８ フックブロック、１００ スクラップ等級判定システム、Ａ 検収員、Ｙ スクラップヤード、Ｓ 鉄スクラップ、Ｔ スクラップ積載車両、Ｐ 車両進入エリア

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】