特開 2024-31854 スクラップ材の化学成分を推定するための成分推定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024031854

(43)【公開日】2024-03-07

(54)【発明の名称】スクラップ材の化学成分を推定するための成分推定方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240229BHJP

   G06V 10/70 20220101ALI20240229BHJP

   C22B 7/00 20060101ALI20240229BHJP

   C22B 1/00 20060101ALI20240229BHJP

【ＦＩ】

G06T7/00 610Z

G06T7/00 350B

G06V10/70

C22B7/00 A

C22B7/00 F

C22B1/00 601

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2023128900

(22)【出願日】2023-08-07

(31)【優先権主張番号】P 2022135396

(32)【優先日】2022-08-26

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】000001258

【氏名又は名称】ＪＦＥスチール株式会社

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】100165696

【弁理士】

【氏名又は名称】川原 敬祐

(74)【代理人】

【識別番号】100149249

【弁理士】

【氏名又は名称】田中 達也

(72)【発明者】

【氏名】松永 有仁

【テーマコード（参考）】

4K001

5L096

【Ｆターム（参考）】

4K001AA10

4K001BA22

4K001GA13

5L096AA02

5L096AA06

5L096BA03

5L096CA04

5L096DA02

5L096EA03

5L096EA15

5L096EA16

5L096EA35

5L096EA39

5L096FA32

5L096GA30

5L096GA41

5L096HA11

5L096JA22

5L096KA04

5L096MA07

(57)【要約】

【課題】スクラップ材を原料に用いて所望の化学成分を有する金属製品を効率的に製造することを可能にし得る成分推定方法、スクラップ材管理方法、成分推定プログラム、成分推定装置、溶融炉設備、スクラップ置き場、及び学習済みモデルの生成方法を提供する。
【解決手段】スクラップ材１６の化学成分を推定するための成分推定方法であって、所定のスクラップ材１６の撮影を介して得られる画像１８を所定の画像サイズに分割することで得られる複数の分割画像１８ｂの全部又は一部からなる画像群を作成する前処理ステップＳ２と、前記画像群に含まれる前記分割画像１８ｂ毎に、前記分割画像１８ｂを入力画像とし、学習済みモデル１９を用いて、前記入力画像内の上記所定のスクラップ材１６に対応する化学成分を出力する化学成分出力ステップＳ４と、を有する成分推定方法。
【選択図】図７

【特許請求の範囲】

【請求項1】

スクラップ材の化学成分を推定するための成分推定方法であって、
所定のスクラップ材の画像を所定の画像サイズに分割することで得られる複数の分割画像の全部又は一部からなる画像群を作成する前処理ステップと、
前記画像群に含まれる前記分割画像毎に、前記分割画像を入力画像とし、学習済みモデルを用いて、前記入力画像内の上記所定のスクラップ材に対応する化学成分を出力する化学成分出力ステップと、
を有する成分推定方法。

【請求項2】

上記所定の画像サイズは、全ての辺が実スケールで２０００ｍｍ以下である、請求項１に記載の成分推定方法。

【請求項3】

化学成分出力ステップは、前記画像群に含まれる前記分割画像毎に、前記分割画像を入力画像とし、学習済みモデルにより、前記入力画像内の上記所定のスクラップ材に対応する製品カテゴリ情報を出力する製品カテゴリ情報出力ステップを有し、前記製品カテゴリ情報出力ステップを介して得られる前記製品カテゴリ情報を入力として、データベースにより、当該入力に対応する化学成分を出力する、請求項１に記載の成分推定方法。

【請求項4】

前記製品カテゴリ情報出力ステップで、前記入力画像に対して、前記製品カテゴリ情報として１つの製品カテゴリを出力する、請求項３に記載の成分推定方法。

【請求項5】

前記化学成分出力ステップによって前記入力画像毎に出力された前記化学成分を用いて元の画像の化学成分を推定する後処理ステップを有する、請求項１に記載の成分推定方法。

【請求項6】

管理対象のスクラップ材に対し、請求項１～５の何れか１項に記載の成分推定方法により化学成分を推定し、
前記成分推定方法により推定された化学成分が所定の条件を満たさない場合は、前記推定された化学成分に基づいて、前記管理対象のスクラップ材から一部除去する、又は、前記管理対象のスクラップ材に別のスクラップ材を追加する、スクラップ材管理方法。

【請求項7】

請求項１～５の何れか１項に記載の成分推定方法により化学成分が予め推定されたスクラップ材の一部又は全てを、前記成分推定方法により推定された化学成分に基づいて、溶融炉に供給するスクラップ材供給ステップを有する溶融炉操業方法。

【請求項8】

請求項６に記載のスクラップ材管理方法による管理対象のスクラップ材の一部又は全てを、溶融炉に供給するスクラップ材供給ステップを有する溶融炉操業方法。

【請求項9】

請求項１～５の何れか１項に記載の成分推定方法をコンピュータに実行させる成分推定プログラム。

【請求項10】

スクラップ材の化学成分を推定するための成分推定装置であって、
所定のスクラップ材の画像を所定の画像サイズに分割することで得られる複数の分割画像の全部又は一部からなる画像群を作成する前処理部と、
前記画像群に含まれる前記分割画像を入力画像とし、学習済みモデルを用いて、前記入力画像内の上記所定のスクラップ材に対応する化学成分を出力する化学成分出力部と、
を有する成分推定装置。

【請求項11】

請求項１０に記載の成分推定装置と、溶融炉とを有する溶融炉設備。

【請求項12】

請求項１０に記載の成分推定装置を有するスクラップ置き場。

【請求項13】

スクラップ材の画像を入力とし、当該スクラップ材の製品カテゴリ情報を出力とする学習済みモデルの生成方法であって、
製品カテゴリと前記製品カテゴリに該当するスクラップ材を含む教師画像との組み合わせを含む教師データと、前記教師画像に対して拡大若しくは縮小からなるサイズ変更、移動、回転、一部切り抜き又は反転あるいはこれらの任意の組み合わせを行うことで生成された拡張教師データとを用いた学習によって前記学習済みモデルを生成する、学習済みモデルの生成方法。

【請求項14】

請求項１３に記載の学習済みモデルの生成方法により生成された学習済みモデル。

【発明の詳細な説明】

【技術分野】

【0001】

本発明はスクラップ材の化学成分を推定するための成分推定方法に関する。

【背景技術】

【0002】

スクラップ材を含む種々の原料を溶融炉に供給して溶融させることで所望の金属製品を得る技術が知られている（例えば特許文献１参照）。また、スクラップ材の画像からスクラップ材の等級を推定する技術が知られている（例えば特許文献２参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－１８５５７３号公報

【特許文献2】特許第７０３６２９６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

スクラップ材を溶融炉に供給する前にスクラップ材の化学成分を推定できれば、所望の化学成分を有する金属製品を効率的に製造できる。

【0005】

そこで本発明の目的は、スクラップ材を原料に用いて所望の化学成分を有する金属製品を効率的に製造することを可能にし得る成分推定方法、スクラップ材管理方法、成分推定プログラム、成分推定装置、溶融炉設備、スクラップ置き場、及び学習済みモデルの生成方法、を提供することにある。

【課題を解決するための手段】

【0006】

本発明の一態様は以下のとおりである。

【0007】

［１］
スクラップ材の化学成分を推定するための成分推定方法であって、
所定のスクラップ材の画像を所定の画像サイズに分割することで得られる複数の分割画像の全部又は一部からなる画像群を作成する前処理ステップと、
前記画像群に含まれる前記分割画像毎に、前記分割画像を入力画像とし、学習済みモデルにより、前記入力画像内の上記所定のスクラップ材に対応する化学成分を出力する化学成分出力ステップと、
を有する成分推定方法。

【0008】

［２］
上記所定の画像サイズは、全ての辺が実スケールで２０００ｍｍ以下である、［１］に記載の成分推定方法。

【0009】

［３］
化学成分出力ステップは、前記画像群に含まれる前記分割画像毎に、前記分割画像を入力画像とし、学習済みモデルにより、前記入力画像内の上記所定のスクラップ材に対応する製品カテゴリ情報を出力する製品カテゴリ情報出力ステップを有し、前記製品カテゴリ情報出力ステップを介して得られる前記製品カテゴリ情報を入力として、データベースにより、当該入力に対応する化学成分を出力する、［１］又は［２］に記載の成分推定方法。

【0010】

［４］
前記製品カテゴリ情報出力ステップで、前記入力画像に対して、前記製品カテゴリ情報として１つの製品カテゴリを出力する、［３］に記載の成分推定方法。

【0011】

［５］
前記化学成分出力ステップによって前記入力画像毎に出力された前記化学成分を用いて元の画像の化学成分を推定する後処理ステップを有する、［１］～［４］の何れか１項に記載の成分推定方法。

【0012】

［６］
管理対象のスクラップ材に対し、［１］～［５］の何れか１項に記載の成分推定方法により化学成分を推定し、
前記成分推定方法により推定された化学成分が所定の条件を満たさない場合は、前記推定された化学成分に基づいて、前記管理対象のスクラップ材から一部除去する、又は、前記管理対象のスクラップ材に別のスクラップ材を追加する、スクラップ材管理方法。

【0013】

［７］
［１］～［５］の何れか１項に記載の成分推定方法により化学成分が予め推定されたスクラップ材の一部又は全てを、前記成分推定方法により推定された化学成分に基づいて、溶融炉に供給するスクラップ材供給ステップを有する溶融炉操業方法。

【0014】

［８］
［６］に記載のスクラップ材管理方法による管理対象のスクラップ材の一部又は全てを、溶融炉に供給するスクラップ材供給ステップを有する溶融炉操業方法。

【0015】

［９］
［１］～［５］の何れか１項に記載の成分推定方法をコンピュータに実行させる成分推定プログラム。

【0016】

［１０］
スクラップ材の化学成分を推定するための成分推定装置であって、
所定のスクラップ材の画像を所定の画像サイズに分割することで得られる複数の分割画像の全部又は一部からなる画像群を作成する前処理部と、
前記画像群に含まれる前記分割画像を入力画像とし、学習済みモデルを用いて、前記入力画像内の上記所定のスクラップ材に対応する化学成分を出力する化学成分出力部と、
を有する成分推定装置。

【0017】

［１１］
［１０］に記載の成分推定装置と、溶融炉とを有する溶融炉設備。

【0018】

［１２］
［１０］に記載の成分推定装置を有するスクラップ置き場。

【0019】

［１３］
スクラップ材の画像を入力とし、当該スクラップ材の製品カテゴリ情報を出力とする学習済みモデルの生成方法であって、
製品カテゴリと前記製品カテゴリに該当するスクラップ材を含む教師画像との組み合わせを含む教師データと、前記教師画像に対して拡大若しくは縮小からなるサイズ変更、移動、回転、一部切り抜き又は反転あるいはこれらの任意の組み合わせを行うことで生成された拡張教師データとを用いた学習によって前記学習済みモデルを生成する、学習済みモデルの生成方法。

【0020】

［１４］
［１３］に記載の学習済みモデルの生成方法により生成された学習済みモデル。

【発明の効果】

【0021】

本発明によれば、スクラップ材を原料に用いて所望の化学成分を有する金属製品を効率的に製造することを可能にし得る成分推定方法、スクラップ材管理方法、成分推定プログラム、成分推定装置、溶融炉設備、スクラップ置き場、及び学習済みモデルの生成方法を提供することができる。

【図面の簡単な説明】

【0022】

【図1】本発明の一実施形態の成分推定装置を示すブロック図である。

【図2】図１に示す成分推定装置で用いる学習済みモデルを示す模式図である。

【図3】所定のスクラップ材を撮影して得られる画像の一例を示す模式図である。

【図4】図３に示す画像から前処理部によって形成される背景除去画像の一例を示す模式図である。

【図5】図１に示す成分推定装置を有する溶融炉設備の一例を示す模式図である。

【図6】図５に示す溶融炉設備において移動中のスクラップ材を撮影している様子を示す模式図である。

【図7】図１に示す成分推定装置による溶融炉操業方法の一例を示すフロー図である。

【図8】図１に示す成分推定装置による溶融炉操業方法の第１具体例を示すフロー図である。

【図9】図１に示す成分推定装置による溶融炉操業方法の第２具体例を示すフロー図である。

【図10】図１に示す化学成分出力部におけるデータベースの一例を説明する説明図である。

【図11】図２に示す学習済みモデルを生成するための教師データの一例を説明する説明図である。

【図12】図１１に示す教師データから生成する拡張教師データの一例を説明する説明図である。

【発明を実施するための形態】

【0023】

以下、図面を参照しつつ本発明の実施形態を例示説明する。

【0024】

図１に示すように、本発明の一実施形態において成分推定装置１は、前処理部２、化学成分出力部４（製品カテゴリ情報出力部３を含む）、後処理部５、撮影装置６及び報知部７を有する。前処理部２、化学成分出力部４及び後処理部５はそれぞれ、コンピュータ８の処理部９の一部によって構成される。コンピュータ８は、中央演算装置１０、主記憶装置１１及び補助記憶装置１２によって構成される。コンピュータ８には撮影装置６、入力装置１３及び出力装置１４が通信可能に有線又は無線により接続される。報知部７は出力装置１４によって構成される。

【0025】

中央演算装置１０は例えばＣＰＵ（Central Processing Unit）によって構成される。なお中央演算装置１０は、高速計算のためにＧＰＵ（Graphics Processing Unit）などの多数の計算コアをもつアクセラレータによって構成してもよい。主記憶装置１１は例えばメモリによって構成される。補助記憶装置１２は例えばＳＳＤ（Solid State Drive）又はＨＤＤ（Hard Disk Drive）によって構成される。撮影装置６は例えばカメラなどによって構成される。入力装置１３は例えばキーボード、マウス又はタッチパネルなどによって構成される。出力装置１４は例えばディスプレイ又はスピーカーなどによって構成される。

【0026】

本実施形態の成分推定装置１は、鉄鋼などの鉄系金属製品を製造するための溶融炉１５を効率的に操業するために、スクラップ材１６の化学成分を推定する（図５参照）。なお本実施形態の成分推定装置１は、鉄系以外の金属製品を製造するための溶融炉１５の操業にも適用できる。本実施形態では溶融炉１５として、スクラップ材１６を溶融させる電極１７を有する電気炉を用いるが、電気炉以外の溶融炉１５を用いてもよい。撮影装置６は、所定のスクラップ材１６を撮影し、当該スクラップ材１６の画像１８を生成する（図３参照）。補助記憶装置１２は、撮影装置６によって生成された画像１８と、処理部９による演算処理によって得られたデータなどを記憶する。中央演算装置１０は成分推定プログラムを処理する。

【0027】

電気炉における溶鉄のコストを下げるためには、Ｈ２、Ｈ３と呼ばれるような低品位の鉄系のスクラップ材１６（低品位スクラップ材という）などの様々な鉄系のスクラップ材１６を利用する必要がある。低品位スクラップ材は、自動車、建築廃材、電化製品など市中から集められるものが多く、どのような化学成分をもつ鉄が含まれているかわからず、低品位スクラップ材の化学成分は一定でない。また、低品位スクラップ材には、鉄系のスクラップ材１６以外の、電動モータや電線など主成分が鉄（Ｆｅ）以外となる金属材料が含まれている可能性がある。特に銅（Ｃｕ）は現在の製鋼方法では取り除くことが難しく、溶鉄に含まれた場合は、他のＣｕを含まない鉄系のスクラップ材１６（高品位スクラップ材という）で所定の数値以下に薄める必要がある。

【0028】

鉄系のスクラップ材１６の溶湯の化学成分が実測値のみである場合、目標とする化学成分から大きく外れていた際に追加材料を大量に投入する必要があり、追加材料のコストが増大する。また、Ｃｕなどの好ましくない化学成分が多い場合、高品位スクラップ材で薄める必要があり、大量の高品位スクラップ材を投入することになる。大量の高品位スクラップ材を溶解するには多くの時間がかかるため、所望の化学成分の溶融金属を製造するのに要する時間が多くなり、溶融炉１５の操業効率の大幅な悪化につながる。追加材料のコスト低減や、溶融炉１５の操業効率を向上させるためには、溶融炉１５に供給するスクラップ材１６の化学成分を予め推定し、推定値に基づいて供給材料を事前に調整することが好ましい。

【0029】

このため、本実施形態の成分推定プログラムは、撮影ステップＳ１、前処理ステップＳ２、化学成分出力ステップＳ４（製品カテゴリ情報出力ステップＳ３を含む）、後処理ステップＳ５及び報知ステップＳ６（図７参照）をこの順にコンピュータ８に実行させる。したがって、本実施形態の成分推定方法では、撮影ステップＳ１、前処理ステップＳ２、化学成分出力ステップＳ４（製品カテゴリ情報出力ステップＳ３を含む）、後処理ステップＳ５及び報知ステップＳ６をこの順に実行する。また、本実施形態の溶融炉操業方法では、撮影ステップＳ１、前処理ステップＳ２、化学成分出力ステップＳ４（製品カテゴリ情報出力ステップＳ３を含む）、後処理ステップＳ５、報知ステップＳ６、スクラップ材検査ステップＳ７及びスクラップ材供給ステップＳ８をこの順に実行する（図７参照）。本実施形態の成分推定プログラムは、前処理ステップＳ２と化学成分出力ステップＳ４とをこの順にコンピュータ８に実行させる任意の構成に変更できる。また、それに伴って、成分推定方法及び溶融炉操業方法を変更できる。

【0030】

撮影ステップＳ１では、処理部９が、入力装置１３を介した設定又は指示に基づいて、撮影装置６を用いて所定のスクラップ材１６を撮影し、当該スクラップ材１６の画像１８を生成する（図３参照）。撮影ステップＳ１では、例えば、スクラップ材１６の集合体が映るように、スチールカメラやビデオカメラなどの撮影装置６にて画像１８を撮影する。

【0031】

前処理ステップＳ２は、画像分割ステップを有する。画像分割ステップでは、前処理部２が、前記所定のスクラップ材１６の撮影を介して得られる画像１８（全体画像１８ａという）を所定の画像サイズに分割し、複数の分割された画像１８（分割画像１８ｂという）を生成し、当該複数の分割画像１８ｂの全部又は一部からなる画像群を作成する。その際、例えば、全体画像１８ａを格子状に分割するのが好ましい。例えば、１つの分割画像１８ｂが平行四辺形（長方形、菱形および正方形を含む）となるように、分割するのがより好ましい。この場合、１つの分割画像１８ｂは４つの辺を有する。そして、図３に示すように、１つの分割画像１８ｂが長方形（正方形を含む）となるように分割することが、さらに好ましい。

【0032】

また、分割画像１８ｂは、できるだけ少ない種類のスクラップ材１６を含むことが好ましい。言い換えると、分割画像１８ｂは、１つの分割画像１８ｂがスクラップ材１６の製品カテゴリが判別可能な大きさを含むような所定の画像サイズで、分割することが好ましい。さらに、分割画像１８ｂは、１つの分割画像１８ｂが単一種のスクラップ材１６を含む所定の画像サイズで、分割することがより好ましい。そのため、１つの分割画像１８ｂの画像サイズは、スクラップ材１６が６００ｍｍ以上２０００ｍｍ以下であることが多いことから、当該分割画像１８ｂの全ての辺が実スケールで２０００ｍｍ以下となるように設定することが好ましい。スクラップ材１６の形状は様々であるが、数ｍｍ以上の大きさであることがほとんどであるため、１つの分割画像１８ｂの画像サイズは、当該分割画像１８ｂの全ての辺が１０ｍｍ以上且つ２０００ｍｍ以下となるように設定することがより好ましい。また、カメラの設置距離を考慮すると、１つの分割画像１８ｂの全ての辺が１００ｍｍ以上且つ２０００ｍｍ以下となるように設定することがより好ましい。例えば、全体画像１８ａを１つの分割画像１８ｂが平行四辺形となるように分割した場合は、当該分割画像１８ｂの４つの辺全ての大きさが、上記条件をそれぞれ満たすことを意味する。画像分割ステップは、画像１８にある程度以上（例えばある程度以上の数）のスクラップ材１６が含まれる場合にのみ実行してもよい。

【0033】

前処理ステップＳ２は、背景分離ステップを有してもよい。背景分離ステップでは、前処理部２が、スクラップ材１６以外の部分である背景を画像１８から分離し、背景が少なくとも部分的に除去された画像１８を生成する（図４参照）。背景分離ステップは、画像１８にある程度以上の背景が含まれる場合にのみ実行してもよい。背景の分離には、例えば、スクラップ材１６を含む画像１８を入力とし、当該画像１８において背景を示す画素とスクラップ材１６を示す画素のそれぞれにラベルしたアノテーション画像で事前に学習させた画像セグメンテーションを利用することができる。背景分離ステップは、スクラップ材１６と明らかに色相が異なる場合は、色で判別し、取り除いてもよい。例えば、空が背景として映っている場合は、スクラップ材１６は、灰色、茶色となることが多いため、青色を多く含む分割画像１８ｂを背景として取り除いてもよい。また、スクラップ材１６は画像１８の鉛直下方に存在するため、画像１８の上部にあり且つ色相が画像１８の底部と異なる分割画像１８ｂを背景として取り除いてもよい。スクラップ材１６や背景を教師データとして学習させた機械学習モデルで判別して、スクラップ材１６以外の分割画像１８ｂを背景として取り除いてもよい。取り除く分割画像１８ｂは、今後の処理で判別できるよう除去フラグを付けておくことが好ましい。背景分離ステップは、画像分割ステップよりも後に実行できる。この場合、前処理部２は、画像１８を所定の画像サイズに分割することで得られる複数の分割画像１８ｂの一部、つまり背景部分以外の分割画像１８ｂからなる画像群を作成することになる。背景分離ステップは、画像分割ステップよりも前に実行してもよい。この場合、前処理部２は、背景分離後の画像１８を所定の画像サイズに分割することで得られる複数の分割画像１８ｂの全部又は一部からなる画像群を作成することになる。

【0034】

製品カテゴリ情報出力ステップＳ３では、製品カテゴリ情報出力部３が、所定のスクラップ材１６の撮影を介して得られる画像１８を入力として、学習済みモデル１９（図２参照）により、当該スクラップ材１６の製品カテゴリ情報２０を出力する。本実施形態の製品カテゴリ情報出力ステップＳ３では、製品カテゴリ情報出力部３が、前処理部２によって作成された画像群に含まれる分割画像１８ｂ毎に、当該分割画像１８ｂを入力画像とし、学習済みモデル１９により、入力画像内の上記所定のスクラップ材１６に対応する製品カテゴリ情報２０を出力する。

【0035】

図２に示すように、学習済みモデル１９は、学習済みの機械学習モデルであり、スクラップ材１６の画像１８を入力とし、当該スクラップ材１６の製品カテゴリ情報２０を出力とする。また学習済みモデル１９は、スクラップ材１６の画像１８と当該スクラップ材１６に対応する製品カテゴリ情報２０との組み合わせを教師データとして、機械学習させたものである。例えば学習済みモデル１９は、畳み込みニューラルネットなどで構成され、例えば図１１に示すように製品カテゴリと製品カテゴリに該当するスクラップ材１６を含む教師画像との組み合わせを含む（即ち、特定の製品カテゴリに属するスクラップ材１６を含む画像１８を入力とし、当該製品カテゴリを出力とする）教師データによって予め学習させることで生成することができる。学習済みモデル１９を得るための学習では、例えば図１２に示すように教師画像に対して拡大若しくは縮小からなるサイズ変更、移動、回転、一部切り抜き又は反転あるいはこれらの任意の組み合わせなどのオーグメンテーションを行うことで生成された拡張教師データを用いてもよい。教師データは、利用する機械学習の持つパラメータ数の１０倍以上用意することが好ましいが、一般的に、大量の教師データを用意することは、物理的に困難である場合が多い。そのため、教師データをデータ拡張した拡張教師データも、教師データとして利用することが好ましい。データ拡張では、図１２のように教師画像の拡大、縮小、移動、回転、一部切り抜き、反転をランダムに組み合わせて、拡張教師データを作成する。拡大、縮小、移動、回転、一部切り抜き、反転などのデータ拡張を利用することで、実際のスクラップ材１６の画像に近い教師画像で学習させることが可能になる。拡大、縮小、移動、回転、一部切り抜き、反転は複数選択してもよい。スクラップ材１６は様々な姿勢で撮影されるため、オーグメンテーションを行うことで、推定精度を向上できる。機械学習モデルは、ニューラルネットを複数有するものであるか、あるいは決定木を１つ以上含み、多クラスを分類するものであることが好ましい。教師画像は、製品カテゴリと対応し、当該製品カテゴリに対応するスクラップ材１６が映り、当該教師画像のピクセルのうち、対応する製品カテゴリが示すピクセル数が、他のスクラップ材１６を示すピクセル数より多く映るものであってもよい。機械学習モデルの学習に用いる教師データは、スクラップ材１６以外の画像である背景画像に、スクラップ材以外というカテゴリを対応させた教師データを含んでもよい。

【0036】

スクラップ材１６は、様々な色や形があり、重なり方の組み合わせを考慮すると、必要となる教師データはほぼ無限となり、安定的に動作する機械学習モデルを作成することが一般的に難しい。しかし、本実施形態のように、画像１８を分割し、好ましくは単一種のスクラップ材１６が映るように分割画像１８ｂを生成することによれば、用意する教師データの教師画像は、単一種のスクラップ材１６でよく、必要となる教師データを大幅に削減できる。また、スクラップ材１６は、ランダムに配置され、様々な角度や距離で撮影される可能性がある。データ拡張を適用することで、スクラップ材１６の製品カテゴリ推定において、少ないデータ数で効率よく機械学習モデルを学習させることが可能になる。教師データには、スクラップ材１６だけでなく、背景となるスクラップ材１６以外の画像を混ぜるとより効果的である。前処理ステップＳ２で、明らかにスクラップ材１６を含まない分割画像１８ｂに除去フラグを付けてもよいが、この場合にも、分割画像１８ｂに背景が多い画像が含まれる可能性がある。そこで、背景となる画像を学習させることで、分割画像１８ｂからスクラップ材１６以外の分割画像１８ｂを判別することが可能になり、推定する化学成分の精度を向上できる。

【0037】

製品カテゴリ情報２０は、画像１８に含まれる型鋼、棒状、線状など様々な形状を持つスクラップ材１６の元製品のカテゴリである製品カテゴリを示す情報である。製品カテゴリは、スクラップ材１６になり得る様々な製品を事前に幾つかに分類することで得ることができる。例えば製品カテゴリは、自動車、建材、電化製品などに分類される。製品カテゴリは更に細分化してもよい。例えば、建材の代わりに鉄骨、鉄筋などとし、電化製品の代わりに冷蔵庫、電子レンジなどとすることができる。画像１８に複数のスクラップ材１６が含まれる場合、当該画像１８に対応する製品カテゴリ情報２０は複数の製品カテゴリを示す情報であってもよい。その際、製品カテゴリ情報２０は例えば、図２に示すように自動車６０％、建材２０％、電化製品１０％などとして示す情報であってもよい。その際、製品カテゴリ情報２０に含まれる製品カテゴリ毎の割合を示す数値（自動車の「６０％」などの数値）は、画像１８が当該製品カテゴリに対応する可能性（推定の確かさ）を表す数値であってもよい。この場合、例えば、学習済みモデル１９は、ソフトマックス関数を利用して分割画像１８ｂに対してそれぞれの製品カテゴリの推定確率を出力する。製品カテゴリ情報出力ステップＳ３は、入力画像に対して、製品カテゴリ情報２０として１つの製品カテゴリを出力してもよい。つまり、製品カテゴリ情報２０は、画像１８が最も対応する可能性が高い特定の製品カテゴリのみを示す情報であってもよい。この場合、例えば、製品カテゴリ情報出力ステップＳ３は、分割画像１８ｂに対してそれぞれの製品カテゴリの推定確率で最大の確率を持つものを分割画像１８ｂの製品カテゴリであると推定する。製品カテゴリ情報２０は、製品カテゴリ以外のカテゴリを示してもよい。そのようなカテゴリは、例えば、背景（画像１８中のスクラップ材１６以外の部分）を含んでよい。

【0038】

本実施形態では、化学成分出力ステップＳ４では、化学成分出力部４が、画像群に含まれる分割画像１８ｂ毎に、製品カテゴリ情報出力部３を介して得られる製品カテゴリ情報２０を入力として、当該入力に対応する化学成分を出力する。本実施形態の化学成分出力ステップＳ４では、化学成分出力部４が、製品カテゴリ情報出力ステップＳ３を介して得られる製品カテゴリ情報２０を入力として、例えば図１０に示すようなデータベースにより、当該入力に対応する化学成分を出力する。より具体的には、製品カテゴリ情報出力部３によって出力される製品カテゴリ情報２０毎に、当該製品カテゴリ情報２０を入力として、データベースにより、当該入力に対応する化学成分を出力する。つまり、化学成分出力部４が、分割画像１８ｂに対応する製品カテゴリ情報２０毎に、当該分割画像１８ｂに対応する化学成分を出力する。

【0039】

スクラップ材１６は、同じ製品カテゴリであれば、同じような化学成分の金属材料を含むことが多い。したがって、製品カテゴリ毎に化学成分を特定するテーブル（データベース）を事前に作成する。例えば、自動車は鉄がＡ％、銅がＢ％などとし、建材は鉄がＣ％、銅がＤ％などと特定することができる。当該テーブルに照らし合わせることにより、分割画像１８ｂ毎に対応する化学成分を出力することができる。この場合、例えば、化学成分出力ステップＳ４は、製品カテゴリの推定確率を重みとして、製品カテゴリに紐づく化学成分テーブルの化学成分の重み付き平均をして、画像１８の化学成分を予測してもよい。例えば、化学成分出力部４に入力される画像１８の製品カテゴリ情報２０が自動車５０％、建材５０％の場合、化学成分出力部４が出力する化学成分は鉄が（Ａ＋Ｃ）／２％、銅が（Ｂ＋Ｄ）／２％となる。

【0040】

後処理ステップＳ５では、後処理部５が、化学成分出力部４によって出力される化学成分を平均化処理する。平均化処理は、算術平均又は調和平均によって行ってもよいし、例えば分割画像１８ｂに重み付けをする、重み付け平均によって行ってもよい。後処理部５は、化学成分出力ステップＳ４によって入力画像毎に出力された化学成分を用いて元の画像１８の化学成分を推定する。つまり、後処理部５は、上記平均化処理により、全体画像１８ａに対応する化学成分（つまり全体画像１８ａに含まれるスクラップ材１６の化学成分）を推定値として出力する。化学成分出力ステップＳ４で化学成分出力部４により製品カテゴリが背景であると判断された分割画像１８ｂに化学成分出力部４が除外フラグを付け、後処理ステップＳ５で後処理部５が除外フラグの付いた分割画像１８ｂを平均化処理から除外するようにしてもよい。スクラップ材１６の全体重量が既知の場合は、推定した化学成分に全体重量を掛け合わせ、各々の化学成分の推定重量を出力してもよい。

【0041】

このように、撮影ステップＳ１、前処理ステップＳ２、化学成分出力ステップＳ４（前述したように、本実施形態では製品カテゴリ情報出力ステップＳ３を含む）及び後処理ステップＳ５をこの順に実行することにより、所定のスクラップ材１６の化学成分を推定することができる。したがって、当該推定の結果に基づいて溶融炉１５にスクラップ材１６を供給するスクラップ材供給ステップＳ８（図７参照）を経ることにより、金属製品の効率的な製造を実現できる。なお、スクラップ材供給ステップＳ８の詳細については後述する。

【0042】

製品カテゴリ情報出力ステップＳ３の後に、分割画像１８ｂ毎に出力された製品カテゴリ情報２０を平均化処理することで全体画像１８ａに対応する製品カテゴリ情報２０を得る製品カテゴリ情報平均化処理ステップを実行する製品カテゴリ情報平均化処理部を処理部９に設け、製品カテゴリ情報平均化処理ステップの後に、化学成分出力ステップＳ４において、化学成分出力部４が、全体画像１８ａに対応する製品カテゴリ情報２０を入力として、当該入力に対応する化学成分を出力するようにしてもよい。このような構成及び方法によっても、所定のスクラップ材１６の化学成分を推定することができる。

【0043】

報知ステップＳ６では、報知部７が、所定の製品カテゴリを含む製品カテゴリ情報２０を製品カテゴリ情報出力部３が出力した場合に、撮影された所定のスクラップ材１６の検査を要求する報知を行う。報知は出力装置１４を介して例えば画像又は音などによって行うことができる。報知ステップＳ６によれば、例えば、鉄系の金属製品を製造する際に溶融炉１５に供給することが好ましくない例えば銅などの所定の化学成分を多く含む可能性が高い所定の製品カテゴリ（例えば、銅を多く含む可能性が高い電動モータを含む製品カテゴリなど）を含む製品カテゴリ情報２０を製品カテゴリ情報出力部３が出力した場合に、スクラップ材検査ステップＳ７において、例えば人又は機械などが、報知に基づいて、撮影された所定のスクラップ材１６を溶融炉１５への供給前に検査し、その中から上記所定の製品カテゴリに属するスクラップ材１６を必要に応じて取り除くことができる。したがって、報知ステップＳ６によれば金属製品のより一層効率的な製造を可能にし得る。

【0044】

化学成分出力ステップＳ４で化学成分出力部４により上記のような製品カテゴリ情報２０が出力された分割画像１８ｂに化学成分出力部４が検査フラグを付け、報知ステップＳ６で検査フラグの付いた分割画像１８ｂを示して報知するようにしてもよい。このような報知によれば、検査ステップで検査を容易に行うことができる。

【0045】

報知ステップＳ６とスクラップ材検査ステップＳ７により、好ましくない化学成分が含まれるスクラップ材１６を除去した場合は、追加の高品質のスクラップ材１６で溶融金属を薄める必要性を低減できるため、製造コストを低減できる。また、追加の高品質のスクラップ材１６の溶解時間を低減できるため、操業時間を短縮できる。

【0046】

なお、報知ステップＳ６（報知部７）とスクラップ材検査ステップＳ７を設けないようにしてもよい。前処理ステップＳ２（前処理部２）と後処理ステップＳ５（後処理部５）を設けないようにしてもよい。人が撮影装置６を用いて撮影し、得られた画像１８をコンピュータ８に入力することで、処理を開始するようにしてもよい。

【0047】

後処理ステップＳ５で推定された化学成分は、例えば、人への通知などのために出力装置１４に出力したり、補助記憶装置１２に保存したりすることができる。また、検査フラグが付された場合は、検査の必要があることを出力装置１４の報知部７によって報知することができる。分割画像１８ｂとそれに対応する製品カテゴリ情報２０、検査フラグ、除外フラグを補助記憶装置１２に保存し、必要な時に入力装置１３の指示に従い出力装置１４等に出力するようにしてもよい。

【0048】

スクラップ材供給ステップＳ８では、例えば人又は機械が、本実施形態の成分推定方法によるスクラップ材１６の化学成分の推定結果（つまり、全体画像１８ａに含まれるスクラップ材１６の化学成分の推定値、又は、全体画像１８ａに含まれるスクラップ材１６の推定された化学成分）に基づいて溶融炉１５にスクラップ材１６を供給する。予めおおよその化学成分が分かっているスクラップ材１６を溶融炉１５に供給するようにすることで、金属製品を効率的に製造することができる。言い換えると、本実施形態に係る溶融炉操業方法は、本実施形態の成分推定方法により化学成分が予め推定されたスクラップ材１６の一部又は全てを、成分推定方法により推定された化学成分に基づいて、溶融炉に供給するスクラップ材供給ステップを有する。

【0049】

溶融炉操業方法の別の方法としては、後述するスクラップ材１６の管理方法を用いることも可能である。即ち、別の実施形態に係る溶融炉操業方法は、後述するスクラップ材管理方法による管理対象のスクラップ材１６の一部又は全てを、溶融炉に供給するスクラップ材供給ステップを有する。この場合、予め所定の条件にスクラップ材１６の化学成分が管理されており、改めて化学成分の推定を行わなくてもスクラップ材１６を溶融炉１５に供給できるため、金属製品を効率的に製造することができる。この場合、管理されたスクラップ材１６の一部を複数用意し、さらに混合してから供給することもできる。さらに混合したスクラップ材１６を供給前に改めて、本実施形態の成分推定方法により化学成分を推定してから、溶融炉に供給することもできる。

【0050】

さらに、本実施形態の成分推定方法により予め推定されたスクラップ材１６の化学成分に基づいて、当該スクラップ材１６の化学成分を管理してもよい。この場合、スクラップ材管理方法は、管理対象のスクラップ材１６に対し、本実施形態の成分推定方法により化学成分を推定し、成分推定方法により推定された化学成分が所定の条件を満たさない場合は、推定された化学成分に基づいて、管理対象のスクラップ材１６から一部除去する、又は、管理対象のスクラップ材に別のスクラップ材１６を追加する。所定の条件は、例えば予め設定される。

【0051】

スクラップ材１６が積まれてできたスクラップ山２１（図５参照）の一部を撮影した場合は、取得した画像１８から得られたスクラップ材１６の化学成分の推定値をスクラップ山２１の化学成分の代表値として利用してもよい。その場合は、当該スクラップ山２１から取り出される任意のスクラップ材１６の化学成分の推定値として、上記代表値を利用する。当該スクラップ山２１から取り出されるスクラップ材１６の重量を計量装置で測ったのち、重量に化学成分の代表値を乗算することで、溶融炉１５に供給されるスクラップ材１６の化学成分量を推定することができる。推定した化学成分量に基づいて、目標とする溶融金属の化学成分との差を確認し、次に供給するスクラップ材１６を取り出すスクラップ山２１と取り出すスクラップ材１６の量を決定することで、短時間で目標成分の金属製品を得ることができる。鉱石などの副原料の供給量を調整すれば、さらに目的の化学成分の溶融金属に近づけることができるため、時間短縮とともに金属製品の品質向上を実現できる。短時間に目的の化学成分の溶融金属が製造できれば、溶融炉１５の操業のためのエネルギーコストを低減できるため、金属製品のコストを低減することができる。

【0052】

成分推定装置１を有するスクラップ置き場２４と溶融炉１５とを有する溶融炉設備２５において、図６に示すようにリフティングマグネット２２、台車２３又はホッパなどの搬送装置で搬送中のスクラップ材１６を撮影して画像１８を取得する場合は、当該画像１８から得られた化学成分を当該搬送中のスクラップ材１６の化学成分の代表値として利用してもよい。当該搬送中のスクラップ材１６の重量を計測したのち、重量に化学成分の代表値を乗算することで、溶融炉１５に供給される搬送中のスクラップ材１６の化学成分量を推定することができる。搬送装置毎に計ることで、スクラップ山２１毎より、精度の高い化学成分の推定が可能になる。

【0053】

撮影装置６は、移動中のスクラップ材１６を撮影するように配置するのが好ましい。例えば、撮影装置６は、スクラップ材１６がリフティングマグネット２２で移動している時、搬送装置を傾けて別の搬送装置にスクラップ材１６を移送する時、搬送装置から溶融炉１５に投入され、スクラップ材１６が降下している時など、スクラップ材１６が移動中にスクラップ材１６を撮影して画像１８を生成する。移動中のスクラップ材１６を撮影することで、よりばらけた状態のスクラップ材１６を撮影することができるため、得られる画像１８から推定される製品カテゴリ情報２０の推定精度を向上できる。静止状態ではスクラップ材１６の塊（スクラップ山２１など）の表面しか撮影できないが、移動中のスクラップ材１６を撮影すれば、スクラップ材１６の塊の内部まで撮影し易くできるため、製品カテゴリ情報２０の推定精度を向上できる。

【0054】

本実施形態の溶融炉操業方法は、例えば図８に示す第１具体例のように行ってもよい。第１具体例では、まず、金属製品（溶融金属）の目標化学成分などの条件設定を行い、次に、撮影装置６が、スクラップ材１６を含む画像１８を撮影する（撮影ステップＳ１）。そして、前処理部２が画像１８を分割し、分割画像１８ｂを作成する（前処理ステップＳ２）。そして、化学成分出力部４の製品カテゴリ情報出力部３が、各分割画像１８ｂに対して、製品カテゴリ情報２０を学習済みモデル１９により出力する（製品カテゴリ情報出力ステップＳ３）。そして、化学成分出力部４が、各分割画像１８ｂに対して、製品カテゴリ情報出力部３によって出力された製品カテゴリ情報２０から化学成分をテーブルを利用して出力する（化学成分出力ステップＳ４）。そして、化学成分出力部４が、製品カテゴリ情報出力部３によってスクラップ材１６以外（背景）であると推定された分割画像１８ｂに除外フラグを付ける。そして、後処理部５が、除外フラグを付されていない分割画像１８ｂの化学成分を平均化処理し、全体画像１８ａの化学成分の推定値として出力する（後処理ステップＳ５）。そして、条件設定に従い、必要に応じて化学成分を出力装置１４に出力する。そして、条件設定に従い、必要に応じて処理部９による処理結果を補助記憶装置１２に保存する。そして、処理を終了してよい場合（目標の成分の溶融金属が得られた場合など）は、処理を終了する。

【0055】

また、本実施形態の溶融炉操業方法は、例えば図９に示す第２具体例のように行ってもよい。第２具体例では、まず、金属製品（溶融金属）の目標化学成分などの条件設定を行い、次に、撮影装置６が、スクラップ材１６を含む画像１８を撮影する（撮影ステップＳ１）。そして、前処理部２が画像１８を分割し、分割画像１８ｂを作成する（前処理ステップＳ２）。そして、化学成分出力部４の製品カテゴリ情報出力部３が、各分割画像１８ｂに対して、製品カテゴリ情報２０を学習済みモデル１９により出力する（製品カテゴリ情報出力ステップＳ３）。そして、化学成分出力部４が、各分割画像１８ｂに対して、製品カテゴリ情報出力部３によって出力された製品カテゴリ情報２０から化学成分をテーブルを利用して出力する（化学成分出力ステップＳ４）。そして、化学成分出力部４が、製品カテゴリ情報出力部３によってスクラップ材１６以外（背景）であると推定された分割画像１８ｂに除外フラグを付ける。そして、第２具体例では、化学成分出力部４が、溶融炉１５に供給することが好ましくない化学成分を多く含む可能性のある製品カテゴリを含む製品カテゴリ情報２０を出力された分割画像１８ｂがある場合は、当該分割画像１８ｂに検査フラグを付ける。そして、後処理部５が、除外フラグを付されていない分割画像１８ｂの化学成分を平均化処理し、全体画像１８ａの化学成分の推定値として出力する（後処理ステップＳ５）。そして、検査フラグがある場合は、検査フラグを出力装置１４に出力する。そして、条件設定に従い、必要に応じて化学成分を出力装置１４に出力する。そして、条件設定に従い、必要に応じて処理部９による処理結果を補助記憶装置１２に保存する。そして、処理を終了してよい場合（目標の成分の溶融金属が得られた場合など）は、処理を終了する。

【0056】

なお、これまで説明した実施形態においては、学習済みモデル１９がスクラップ材１６の製品カテゴリ情報２０を出力する例にて説明をしたが、本発明はそれに限定されない。例えば、学習済みモデル１９は、スクラップ材１６の画像１８を入力とし当該スクラップ材１６の製品カテゴリ情報２０に対応する化学成分を出力する、学習済みの機械学習モデルとしてもよい。即ち、上記実施形態において、製品カテゴリ情報２０を出力する学習済みモデル１９と、出力された製品カテゴリ情報２０を入力として当該入力に対応する化学成分を出力するデータベースと、を併せた機能を有する学習済みモデル１９としてもよい。この場合の学習済みモデル１９は、スクラップ材１６の画像１８と当該スクラップ材１６に対応する化学成分との組み合わせを教師データとして、機械学習させたものとなる。

【0057】

そして、この場合の成分推定方法のフローは、図７において、製品カテゴリ情報出力ステップＳ３が無いことになる。つまり、製品カテゴリ情報出力ステップＳ３を含まない化学成分出力ステップＳ４を有することとなる。この場合の化学成分出力ステップＳ４では、化学成分出力部４が、画像群に含まれる分割画像１８ｂ毎に、分割画像１８ｂを入力画像として、学習済みモデル１９を用いて、当該入力画像に対応する化学成分を出力する。

【0058】

また、この場合の本実施形態の成分推定プログラムは、製品カテゴリ情報出力ステップＳ３を含まない化学成分出力ステップＳ４をコンピュータ８に実行させる。

【0059】

ＣＯ_２を削減するため、高炉の１／４程度のＣＯ_２放出量といわれる電気炉の利用の拡大が予想されている。電気炉において主な原料は、製鉄所で生じた廃材や、自動車、建築、電化製品から生じた市中からでる様々な鉄系スクラップである。電気炉において、電気炉から出鋼した溶鋼の成分が最終製品の品質に直結しやすいため、電気炉で製造する溶湯の成分を調整することは電気炉操業において重要である。多くの場合、電気炉操業では、溶湯の化学成分を計測し、必要なコークスなどの添加物を投入することで目標とする溶鉄成分を調整している。目的の成分を得るためには、溶湯の化学成分検出と添加物投入を繰り返す必要があり、作業負担の大きい作業である。前述した本実施形態によれば、電気炉等に投入されるスクラップ材の化学成分を事前に推定することができ、電気炉で製造される溶鉄の成分調整を短時間で行うことができるので、このような電気炉での作業負担を大幅に軽減できる。また、本実施形態によれば、電気炉操業の時間が短縮でき、また電気炉の溶湯の化学成分が安定するため品質が向上でき、また電気炉で製造する溶湯の製造コストを小さくすることができる。

【0060】

本発明は前述した実施形態に限定されず、その要旨を逸脱しない範囲で種々変更可能である。

【符号の説明】

【0061】

１ 成分推定装置
２ 前処理部
３ 製品カテゴリ情報出力部
４ 化学成分出力部
５ 後処理部
６ 撮影装置
７ 報知部
８ コンピュータ
９ 処理部
１０ 中央演算装置
１１ 主記憶装置
１２ 補助記憶装置
１３ 入力装置
１４ 出力装置
１５ 溶融炉
１６ スクラップ材
１７ 電極
１８ 画像
１８ａ 全体画像
１８ｂ 分割画像
１９ 学習済みモデル
２０ 製品カテゴリ情報
２１ スクラップ山
２２ リフティングマグネット
２３ 台車
２４ スクラップ置き場
２５ 溶融炉設備
Ｓ１ 撮影ステップ
Ｓ２ 前処理ステップ
Ｓ３ 製品カテゴリ情報出力ステップ
Ｓ４ 化学成分出力ステップ
Ｓ５ 後処理ステップ
Ｓ６ 報知ステップ
Ｓ７ スクラップ材検査ステップ
Ｓ８ スクラップ材供給ステップ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】