特開 2022-124231 スラグ流出判定方法、転炉操業方法、溶鋼製造方法、スラグ流出判定装置、転炉操業設備、及び溶鋼製造設備

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022124231

(43)【公開日】2022-08-25

(54)【発明の名称】スラグ流出判定方法、転炉操業方法、溶鋼製造方法、スラグ流出判定装置、転炉操業設備、及び溶鋼製造設備

(51)【国際特許分類】

   G01J 5/00 20220101AFI20220818BHJP

   C21C 5/46 20060101ALI20220818BHJP

   G06N 3/08 20060101ALI20220818BHJP

   G06T 7/00 20170101ALI20220818BHJP

   G01N 21/85 20060101ALI20220818BHJP

   G01J 5/48 20220101ALI20220818BHJP

【ＦＩ】

G01J5/00 101D

C21C5/46 103Z

C21C5/46 A

G06N3/08

G06T7/00 610B

G06T7/00 350C

G01N21/85 B

G01J5/48 C

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2021021880

(22)【出願日】2021-02-15

(71)【出願人】

【識別番号】000001258

【氏名又は名称】ＪＦＥスチール株式会社

(74)【代理人】

【識別番号】100103850

【弁理士】

【氏名又は名称】田中 秀▲てつ▼

(74)【代理人】

【識別番号】100105854

【弁理士】

【氏名又は名称】廣瀬 一

(74)【代理人】

【識別番号】100116012

【弁理士】

【氏名又は名称】宮坂 徹

(74)【代理人】

【識別番号】100066980

【弁理士】

【氏名又は名称】森 哲也

(72)【発明者】

【氏名】木村 祐貴

【テーマコード（参考）】

2G051

2G066

4K070

5L096

【Ｆターム（参考）】

2G051AA01

2G051AC04

2G051CA04

2G051EB05

2G066AC01

2G066AC11

2G066BC15

2G066CA02

2G066CA04

4K070AB17

4K070BA20

4K070BC11

4K070BE15

4K070BE16

4K070BE20

5L096BA03

5L096BA18

5L096CA04

5L096CA18

5L096HA11

5L096KA04

5L096KA15

(57)【要約】

【課題】転炉操業において、撮像した赤外線画像を用いて、メンテナンスの負荷を抑えつつ、スラグ混入の判定精度を向上させる。
【解決手段】転炉３の出鋼口３ａから取鍋４に向けて排出される排出流１Ａを赤外線カメラ１５で撮像し、撮像した撮像画像に基づき、上記排出流１Ａへのスラグ混入の有無を判定するスラグ混入判定装置であって、上記赤外線カメラ１５で撮像した上記排出流１Ａの撮像画像を取得する画像取得部２０Ａと、上記排出流の赤外線画像を用いて機械学習されたモデルであって上記スラグ混入の有無を認識する学習済みモデル５０を用いて、上記画像取得部２０Ａで取得される撮像画像からスラグ混入の有無を判定する判定部２０Ｂと、を有する。撮像画像は、上記排出流１Ａにおける上記出鋼口３ａ位置から上記取鍋４の直上位置までの範囲を含む画像であることが好ましい。
【選択図】 図１

【特許請求の範囲】

【請求項1】

転炉の出鋼口から取鍋に向けて排出される排出流を赤外線カメラで撮像し、撮像した撮像画像に基づき、上記排出流へのスラグ混入の有無を判定するスラグ混入判定方法であって、
上記赤外線カメラで撮像した上記排出流の撮像画像を連続的に取得する画像取得ステップと、
上記排出流の赤外線画像を用いて機械学習されたモデルであって上記スラグ混入の有無を認識する学習済みモデルを用いて、上記画像取得ステップで取得した撮像画像からスラグ混入の有無を判定する判定ステップと、
を有することを特徴とするスラグ流出判定方法。

【請求項2】

上記学習に使用された赤外線画像、及びスラグ混入の判定に用いられる撮像画像は、上記排出流における上記出鋼口位置から上記取鍋の直上位置までの範囲を含む画像であることを特徴とする請求項１に記載のスラグ流出判定方法。

【請求項3】

上記赤外線カメラで撮像した赤外線画像に対しスラグ混入有無のラベルを付けた学習データを蓄積部に蓄積し、
上記蓄積部に蓄積された学習データを用いて機械学習を行い、スラグ混入の有無を認識する第１の学習モデルを求め、
評価用に用意した上記赤外線画像であってスラグ混入有無のラベルを付けた赤外線画像に対し、上記求めた第１の学習モデルを用いてスラグ混入の有無を判定して、その判定で誤判定された赤外線画像であってスラグ混入有無のラベルを付けた赤外線画像からなる特異データを取得し、
上記求めた第１の学習モデルに対し、上記取得された特異データを用いて追加学習を行い、追加学習後の学習モデルを上記学習済みモデルとする、
ことを特徴とする請求項１又は請求項２に記載のスラグ流出判定方法。

【請求項4】

上記取得した特異データを予め蓄積部に蓄積しておき、
上記判定ステップでスラグ混入の有無を判定された撮像画像を、学習データとして上記蓄積部２１に格納して、蓄積部に蓄積されている学習データを更新し、
更新された上記蓄積部の学習データと、上記蓄積部に蓄積されている特異データと用いて、スラグ混入の有無を認識する上記学習済みモデルを再学習する、
ことを特徴とする請求項３に記載のスラグ流出判定方法。

【請求項5】

上記学習は、畳み込み型ニューラルネットワーク（ＣＮＮ）を用いて行われることを特徴とする請求項１～請求項４のいずれか１項に記載のスラグ流出判定方法。

【請求項6】

少なくとも上記排出流における上記出鋼口位置から上記取鍋の直上位置までの範囲を含む赤外線画像に対しスラグ混入有無のラベルを付けた学習データを用いて、上記スラグ混入の有無を認識する学習モデルを生成する学習モデル生成ステップと、
上記学習モデル生成ステップで生成された上記学習モデルの、複数の畳み込み層の各画素の変化がスラグ判定出力に与える影響係数を算出する畳み込み層影響評価ステップと、
上記影響係数と上記影響係数の算出に使用した複数の畳み込み層とを利用して、上記赤外線カメラで撮像された赤外線画像を入力画像とし、その入力画像の各画素がスラグ判定出力に与える影響を評価する入力評価画像作成ステップと、
を備え、
上記入力評価画像作成ステップで作成された入力評価画像から、スラグ判定出力に影響度が高い赤外線画像の領域を抽出し、該抽出された領域を含むように、上記画像取得ステップで取得する撮像画像の領域を決定する、
ことを特徴とする請求項５に記載のスラグ流出判定方法。

【請求項7】

請求項１～請求項６のいずれか１項に記載のスラグ流出判定方法を利用して転炉を操業する、転炉操業方法。

【請求項8】

請求項７に記載の転炉操業方法を備える、溶鋼製造方法。

【請求項9】

転炉の出鋼口から取鍋に向けて排出される排出流を赤外線カメラで撮像し、撮像した撮像画像に基づき、上記排出流へのスラグ混入の有無を判定するスラグ混入判定装置であって、
上記赤外線カメラで撮像した上記排出流の撮像画像を取得する画像取得部と、
上記排出流の赤外線画像を用いて機械学習されたモデルであって上記スラグ混入の有無を認識する学習済みモデルを用いて、上記画像取得部で取得される撮像画像からスラグ混入の有無を判定する判定部と、
を有することを特徴とするスラグ流出判定装置。

【請求項10】

上記画像取得部で取得する撮像画像は、上記排出流における上記出鋼口位置から上記取鍋の直上位置までの範囲を含む画像である、ことを特徴とする請求項９に記載のスラグ流出判定装置。

【請求項11】

上記学習済みモデルを生成する学習済みモデル生成部を有し、
上記学習済みモデル生成部は、
上記赤外線カメラで撮像した撮像画像に対しスラグ混入有無のラベルを付けた学習データを蓄積部に蓄積する学習データ蓄積部と、
上記蓄積部に蓄積された学習データを用いて機械学習を行い、スラグ混入の有無を認識する第１の学習モデルを求める第１の学習部と、
評価用に用意した上記赤外線画像であってスラグ混入有無のラベルを付けた赤外線画像について、上記第１の学習部で求めた第１の学習モデルを用いてスラグ混入の有無を判定し、その判定で誤判定された赤外線画像であってスラグ混入有無のラベルを付けた赤外線画像である特異データを選定する特異データ取得部と、
上記第１の学習部で求めた第１の学習モデルに対し、上記特異データ取得部で取得された特異データを用いて追加学習を行い、追加学習後のモデルを上記学習済みモデルとして更新する第２の学習部と、
を備えることを特徴とする請求項９又は請求項１０に記載のスラグ流出判定装置。

【請求項12】

上記特異データ取得部で取得された特異データは予め蓄積部に蓄積されており、
更に、
上記判定部で判定された撮像画像及び判定結果から学習データを生成し、その生成した学習データを上記蓄積部に格納して、当該蓄積部に蓄積されている学習データを更新する学習データ更新部と、
上記学習データ更新部で更新された上記蓄積部の学習データと、上記蓄積部に蓄積されている特異データと用いて、スラグ混入の有無を認識する学習モデルを求め、求めた学習モデルを上記学習済みモデルとして更新する再学習部と、
を備える請求項１１に記載のスラグ流出判定装置。

【請求項13】

上記学習は、畳み込み型ニューラルネットワーク（ＣＮＮ）で行われることを特徴とする請求項９～請求項１２のいずれか１項に記載のスラグ流出判定装置。

【請求項14】

請求項９～請求項１３のいずれか１項に記載のスラグ流出判定装置を備える、転炉操業設備。

【請求項15】

請求項９～請求項１３のいずれか１項に記載のスラグ流出判定装置を備える、溶鋼製造設備。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、転炉から取鍋に溶鋼を排出する際に、転炉から排出される排出流（溶鋼流）へのスラグの混入を検知するためのスラグ流出判定の技術、及びその技術を用いた転炉操業、溶鋼製造に関する技術である。
ここで、本明細書では、機械学習に深層学習が含まれる。

【0002】

転炉で精錬された溶鋼は、転炉を傾けることで、転炉の溶鋼口から取鍋に向けて排出される。この取鍋への出鋼を切り上げる（出鋼を止める）タイミングが遅い場合には、転炉中のスラグが出鋼口から排出されて取鍋に流出する。そして、取鍋に流出したスラグ量が多い場合には、スラグ中のＰなどの不純物が溶鋼中に戻り、次工程の処理時間や使用する副原料に影響をあたえる。また、投入する合金がスラグ中に捕捉されるので、合金歩留まりが低下する原因ともなる。一方、取鍋への出鋼の切り上げが早すぎる場合には、転炉内に残留する鋼が多くなり、やはり歩留まりの低下に繋がる。このため、転炉から排出される排出流にスラグが混入しているか否かの判定が重要となる。

【0003】

従来は、熟練者が、転炉から排出される排出流の色を観察することで、排出流にスラグが混入していると判定したときに、出鋼を切り上げていた。しかし、判定に熟練を有すると共に、排出流が良く見える位置も限られているなどの課題があった。

【0004】

この課題に対する従来技術として、例えば赤外線方式による判定方法がある（特許文献１参照）。

【0005】

赤外線方式は、転炉からの排出される排出流（溶鋼流）を赤外線カメラで撮像し、その撮像画像に基づきスラグ混入の有無を判定する方法である。具体的には、この方法は、転炉からの排出流を赤外線カメラで撮影し、赤外線カメラで測定される排出流中における、溶鋼の放射エネルギーとスラグの放射エネルギーとのエネルギー差に基づき、すなわち、スラグと溶鋼の輝度の差によって排出流へのスラグ混入の有無を判定する方法である。そして、スラグ混入と判定したら、転炉からの溶鋼の排出（出鋼）を停止する。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特許第５４４４６９２号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

赤外線方式によるスラグ流出判定は、主として放射エネルギーの違い（輝度の違いとして現れる）に基づき一定の閾値でスラグと判定する方法か、判定点（閾値）までのエネルギー測定値の平均値の変化に基づき判定する方法が採用される。しかし、どちらの方法を採用する場合も、誤判定を避けるため、または鋼種毎の違いにも対応するために、判定用の閾値をある程度の猶予を持って設定せざるを得ない。このため、その分、判定タイミングに遅れが生じるという課題があった。

【0008】

また、この赤外線方式では、溶鋼の排出に伴う粉塵の影響を抑え且つ安定した判定のために、溶鋼の排出に伴う粉塵の影響を受けにくく、且つ混入したスラグがばらついた状態となる、排出流の下部位置（例えば下から三分の一辺り）を撮像した赤外線画像に基づき判定する必要がある。しかし、排出された出鋼流の下部位置では、排出流の流れが枝分かれしたり細かったりした場合には、赤外線画像に含まれるスラグ画素の割合が減ることによって、スラグ混入を検知しない例があるという課題があることを発明者は突き止めた。また、排出流下部での判定となる分、スラグ混入の検出に遅れがあるという課題もある。

【0009】

更に、赤外線方式では、複数の初期値や閾値などの多くの設定（例えば１４個の設定値の設定）が判定のために必要である。このため、経時的に変化する操業環境（鋼種、炉の状況等）に応じて、上記複数の設定値を調整する必要がある。しかし、この設定値の調整は、計算で求まらない事象なゆえに多大なテスト作業による設定値の調整が必要であった。

【0010】

本発明は、上記のような点に着目してなされたもので、転炉操業において、撮像した赤外線画像を用いて、メンテナンス負荷を抑えつつ、スラグ混入の判定精度を向上させることを目的としている。

【課題を解決するための手段】

【0011】

発明者は、転炉の出鋼口から流出する出鋼流（排出流）を赤外線カメラで撮影し、得られた赤外線画像について、スラグ混入の画像とスラグ未混入の画像に分けてラベル付けを行って学習データ（教師データ）とし、その学習データをＣＮＮ（畳み込みニューラルネットワーク）にて学習させた学習済みモデルを用いることで、精度良くスラグ混入の判定ができるとの知見を得た。

【0012】

更に、発明者は、対象とする赤外線画像を出鋼口から取鍋の湯面までの全排出流を撮像した画像として、ＣＮＮによる画層予測根拠を、Ｇｒａｄ－ＣＡＭ（勾配荷重クラス活性化マッピング）技術にて調査したところ、分類判断根拠が出鋼流上部まで範囲が広がっているとの知見を得た。そして、対象とする画像の領域を、従来の下部領域だけから上部領域も含めることで、更に精度が向上したモデルを生成可能になるとの知見を得た。

【0013】

そして、課題を解決するために、本発明の一態様は、転炉の出鋼口から取鍋に向けて排出される排出流を赤外線カメラで撮像し、撮像した撮像画像に基づき、上記排出流へのスラグ混入の有無を判定するスラグ混入判定方法であって、上記赤外線カメラで撮像した上記排出流の撮像画像を連続的に取得する画像取得ステップと、上記排出流の赤外線画像を用いて機械学習されたモデルであって上記スラグ混入の有無を認識する学習済みモデルを用いて、上記画像取得ステップで取得した撮像画像からスラグ混入の有無を判定する判定ステップと、を有することを要旨とする。

【0014】

また、本発明の一態様は、転炉の出鋼口から取鍋に向けて排出される排出流を赤外線カメラで撮像し、撮像した撮像画像に基づき、上記排出流へのスラグ混入の有無を判定するスラグ混入判定装置であって、上記赤外線カメラで撮像した上記排出流の撮像画像を取得する画像取得部と、上記排出流の赤外線画像を用いて機械学習されたモデルであって上記スラグ混入の有無を認識する学習済みモデルを用いて、上記画像取得部で取得される撮像画像からスラグ混入の有無を判定する判定部と、を有することを要旨とする。
なお、撮像画像は、上記排出流における上記出鋼口位置から上記取鍋の直上位置までの範囲を含む画像であることが好ましい。

【発明の効果】

【0015】

本発明の態様によれば、転炉操業において、撮像した赤外線画像を用いて、メンテナンス負荷を抑えつつ、スラグ混入の判定を精度良く実行することが可能となる。

【図面の簡単な説明】

【0016】

【図1】本発明に基づく実施形態に係る転炉操業設備を示す模式図である。

【図2】スラグ流出判定装置の構成例を示す図である。

【図3】学習済みモデル生成部の構成例を説明する図である。

【図4】特異データを構成する撮像画像の例を説明する図である。

【図5】学習済みモデル更新部の構成を説明する図である。

【図6】画像の領域を決定する処理の例を示すフロー図である。

【発明を実施するための形態】

【0017】

次に、本発明の実施形態について図面を参照しつつ説明する。
転炉にて溶鋼の精錬が完了すると、転炉下部に取鍋を移動させ、図１に示すように、転炉３を傾けることで、転炉３内の溶鋼１を、転炉３の出鋼口３ａから取鍋４に向けて出鋼する。

【0018】

（構成）
本実施形態では、転炉３の出鋼口３ａ近傍に、スラグストッパ１０が設置されている。スラグストッパ１０は、回転自在なアーム１１と、アーム１１の先端部に取り付けられた鋳鉄製の止め栓部１２と、アーム１１を駆動する油圧シリンダ１３とを備える。油圧シリンダ１３は、スラグストッパ制御装置１６によって制御され、止め栓部１２で出鋼口３ａを閉じることで、転炉３からの溶鋼１の排出が停止される。
ここで、出鋼口３ａから排出される排出流１Ａは、通常「出鋼流」と呼ばれる。
また、本実施形態では、赤外線カメラ１５、及びスラグ流出判定装置２０を備える。

【0019】

＜赤外線カメラ１５＞
赤外線カメラ１５は、出鋼口３ａから取鍋４に向けて排出される排出流１Ａを撮像するカメラである。

【0020】

従来の赤外線方式では、上述のように、出鋼口３ａから取鍋４の上端面４ａの高さ位置（取鍋４の直上の位置）までの範囲の排出流１Ａのうちの、下側三分の一近傍の領域を撮像していた。

【0021】

これに対し、ＣＮＮで機械学習された学習済みモデル５０について、Ｇｒａｄ－ＣＡＭ技術にて判断根拠を可視化してみたこところ、排出流１Ａの上部領域から重要視しているとの新たな知見を得た。

【0022】

このため、本実施形態では、赤外線カメラ１５の撮像範囲を、上記排出流１Ａにおける、出鋼口３ａ位置から排出流１Ａを受ける取鍋４の直上位置（取鍋４の上端部４ａの高さ）までの範囲を含む領域となるように設定している。撮像範囲、取鍋４内の湯面も含めても良い。スラグの混入の有無で湯面の状況も変化するためである。

【0023】

このように、本実施形態では、赤外線カメラ１５によって、少なくとも出鋼口３ａから取鍋４の直上の範囲に位置する排出流１Ａを連続的に撮像し、撮像した撮像画像をスラグ流出判定装置２０に送っている。

【0024】

＜スラグ流出判定装置２０＞
スラグ流出判定装置２０は、図２に示すように、画像取得部２０Ａと、判定部２０Ｂと、送信部２０Ｃとを備える。

【0025】

［画像取得部２０Ａ］
画像取得部２０Ａは、赤外線カメラ１５から、赤外線カメラ１５で撮像した撮像画像を、所定のサンプル周期によって連続的に取得する処理を行う。また、赤外線カメラ１５で動画として撮像し、画像取得部２０Ａは、動画から適宜に静止画を撮像画像として抽出してもよい。

【0026】

なお、赤外線カメラ１５が撮像した赤外線画像から一部の領域を切り抜いて取得する撮像画像としても良いが、撮像画像の領域が、少なくとも出鋼口３ａ位置から取鍋４の直上位置の範囲に位置する排出流１Ａを撮像した画像となるように設定する。

【0027】

［判定部２０Ｂ］
判定部２０Ｂは、学習済みモデル５０を用いて、画像取得部２０Ａで取得される撮像画像からスラグ混入の有無を判定する処理を行う。

【0028】

学習済みモデル５０は、排出流の赤外線画像を用いて機械学習されたモデルであってスラグ混入の有無を認識するモデルである。学習済みモデル５０は、撮像画像を入力データとし、スラグ混入の有無の判定（分類）を出力データとする。
本実施形態の判定部２０Ｂは、取得した撮像画像及びその撮像画像を用いた判定結果を蓄積部２１に格納する。
なお、蓄積部２１は、データベースその他から構成されるが、物理的に１つの媒体である必要は無い。

【0029】

［送信部２０Ｃ］
送信部２０Ｃは、判定部２０Ｂの判定結果を送信する処理を実行する。本実施形態の送信部２０Ｃは、判定部２０Ｂの処理によってスラグ混入と判定すると、スラグストッパ制御装置１６に向けて出鋼口３ａを閉じる指令を出力する。スラグストッパ制御装置１６は、閉指令を受信すると、油圧シリンダ１３を駆動して出鋼口３ａを閉じる処理を行う。

【0030】

ここで、出鋼口３ａからの排出を停止する処理は、スラグストッパによる処理に限定されない。例えば、送信部２０Ｃで、ブザーなどの報知装置に対し報知指令を出力し、その報知指令によって、オペレータが転炉３の炉体の傾動を止めることで、溶鋼１の排出を停止するようにしても良い。

【0031】

＜学習済みモデル５０の生成＞
上記の学習済みモデル５０の生成について説明する。
スラグ流出判定装置２０は、図３に示すように、学習済みモデル生成部２２を有する。学習済みモデル生成部２２は、学習済みモデル５０を生成する処理を行う。
学習済みモデル生成部２２は、学習データ蓄積部２２Ａと、第１の学習部２２Ｂと、特異データ取得部２２Ｃと、第２の学習部２２Ｄとを備える。

【0032】

［学習データ蓄積部２２Ａ］
学習データ蓄積部２２Ａは、赤外線カメラ１５で撮像した撮像画像に対しスラグ混入有無のラベルを付けた学習データ５１（教師データ）を蓄積部２１に蓄積する処理を行う。
この撮像画像の撮像範囲も、出鋼口３ａから取鍋４の直上の範囲に位置する排出流１Ａを含む領域とする。

【0033】

例えば、初期の学習データ５１については、排出流１Ａ全体を赤外線カメラ１５で連続的に撮像すると共に、撮像画像について熟練者がスラグ混入の有無を判定して、スラグ混入無しとスラグ混入有りに画像を分類する。また、排出流１Ａに対し、従来の赤外線方式での判定を実行し、スラグ混入と判定する前の撮像画像に、スラグ混入無しのラベルを付け、スラグ混入と判定後の撮像画像にスラグ混入有りのラベルを付ける。その後、スラグ流出開始前後から完全にスラグとなるまでの判定の難しいものや、枝分かれなどの特異なデータについては判定結果を人が修正するなどして、学習でデータを生成してもよい。

【0034】

学習に使用する学習モデルの数は例えば３０００件とする。

【0035】

［第１の学習部２２Ｂ］
第１の学習部２２Ｂは、蓄積部２１に蓄積された学習データ５１を用いて機械学習（深層学習）を行い、スラグ混入の有無を認識する第１の学習モデル５２を求める処理を実行する。

【0036】

例えば、第１の学習部２２Ｂは、蓄積部２１に蓄積された学習データ５１を順次入力し、入力画像を、ＣＮＮ（畳み込みニューラルネットワーク）で学習することで、撮像画像を入力データとし、スラグ２混合の有無の分類を出力データとする学習済みモデル５０を生成する。

【0037】

ここで、畳み込み型ニューラルネットワーク（ＣＮＮ）は、入力画像に対して複数の畳み込み層とプーリング層を多段に重ねわせて、画像の特徴量を抽出し、最終段で画像のカテゴリーわけの出力を構成していくニューラルネットワークである。

【0038】

［特異データ取得部２２Ｃ］
特異データ取得部２２Ｃは、予め用意された評価用の学習データ５１を用い、その評価用の学習データ５１を入力データとして、第１の学習部２２Ｂで求めた第１の学習モデル５２を用いてスラグ混入の有無を判定し、その判定で誤判定された赤外線画像であってスラグ混入有無のラベルを付けた赤外線画像である特異データ５３を選定して取得する処理を行う。取得した特異データ５３は、蓄積部２１に格納する。

【0039】

評価用の学習データ５１は、評価用に用意した赤外線画像であってスラグ混入有無のラベルを付けた赤外線画像である。
従来の赤外線方式で誤判定されやすい特異な撮像画像を、評価用の撮像画像とする。例えば、図４に示すような、枝分かれした排出流１Ａの画像や排出流１Ａが細くなったときの画像が特異な撮像画像の例となる。そのような特異な撮像画像を用いて評価用の学習データ５１とする。
又は、第１の学習部２２Ｂで使用した学習データ５１を評価用の学習データ５１としてもよい。

【0040】

［第２の学習部２２Ｄ］
第２の学習部２２Ｄは、第１の学習部２２Ｂで求めた第１の学習モデル５２に対し、特異データ取得部２２Ｃで取得された特異データ５３を用いてＣＮＮでの追加学習を行い、追加学習後のモデルを学習済みモデル５０として蓄積部２１に格納する。

【0041】

このように、誤判定された学習データ５１で追加学習させることで、学習済みモデル５０の精度が向上する。なお、第１の学習部２２Ｂで求めた第１の学習モデル５２を学習済みモデル５０としてもよい。

【0042】

＜学習済みモデル更新部２３＞
本実施形態は、学習済みモデル更新部２３を備える。
学習済みモデル更新部２３は、新たな学習データ５１の蓄積に応じて、適宜、学習済みモデル５０の更新処理を行う。

【0043】

なお、上述のように、特異データ取得部２２Ｃで取得された特異データ５３は蓄積部２１に蓄積された状態になっている。
学習済みモデル更新部２３は、図５に示すように、学習データ更新部２３Ａと再学習部２３Ｂとを備える。

【0044】

［学習データ更新部２３Ａ］
学習データ更新部２３Ａは、判定部２０Ｂで判定された撮像画像及び判定結果から学習データ５１を生成し、その生成した学習データ５１を蓄積部２１に格納して、当該蓄積部２１に蓄積されている学習データ５１を更新する。なお、蓄積部２１に格納されている学習データの数が、容量制限などにより有限の範囲に制限される場合には、予め設定したデータ数の範囲となるように、例えば、適宜、格納時期が古い学習データを順次削除しても良い。あるいは、他の基準を定めて削除するデータを決めてよい。これによって、転炉３の状態や使用環境に応じた学習データに更新される。

【0045】

［再学習部２３Ｂ］
再学習部２３Ｂは、学習データ更新部２３Ａで更新された蓄積部２１の学習データ５１と、蓄積部２１に蓄積されている特異データ５３と用いて、スラグ混入の有無を認識する学習モデルを求め、学習済みモデル５０を変更する。

【0046】

再学習部２３Ｂは、例えば、所定期間毎、例えば３ヶ月毎や半年毎に実行したり、蓄積されている学習データ５１のうち、所定データ数（例えば１／３以上のデータ）が新たな学習データ５１となったりしたら、新たに学習済みモデル５０を生成して、学習済みモデル５０を更新する。

【0047】

再学習部２３Ｂで実行されるモデルの生成処理は、基本的に第１の学習部２２Ｂと同様であるが、学習データの一部として最初から特異データ５３も含むことが異なる。

【0048】

この学習済みモデル更新部２３は、予め設定した条件を満足すると、自動的に新たな学習済みモデル５０を求めて更新する処理となり、学習済みモデル５０の更新の自動化が図られる。また、予め求めておいた特異データ５３も使用することで、モデルの精度もよい。

【0049】

＜画像取得部２０Ａが取得する画像の領域の範囲について＞
赤外線カメラ１５で撮像する排出流１Ａの領域を、従来の赤外線方式よりも拡大して、少なくとも出鋼口３ａから取鍋４の直上までの範囲を含む領域に設定し、ＣＮＮによる画像予測の根拠について、Ｇｒａｄ－ＣＡＭ（勾配荷重クラス活性化マッピング）によって調査した。その結果、分類判断根拠が出鋼流上部まで範囲が広がっているとの知見を得た。そして、対象とする画像の領域を、従来の下部領域だけから状部領域も含めることで、更に精度が向上したモデルを生成して使用可能になるとの知見を得た。

【0050】

すなわち、本実施形態では、Ｇｒａｄ－ＣＡＭの技術を用いて、図６に示すような、ステップによって、画像取得ステップで取得する撮像画像の領域を決定した。

【0051】

まず、学習モデル生成ステップＳ１０で、赤外線画像に対しスラグ混入有無のラベルを付けた学習データ５１を用いて、ＣＮＮによる学習によって、上記スラグ混入の有無を認識する学習モデルを生成する。例えば、１０００件の学習データ５１を用いて学習データ５１を生成する。生成する処理は、例えば第１の学習部２２Ｂと同様な処理で実行すればよい。

【0052】

次に、畳み込み層影響評価ステップＳ２０にて、生成された学習モデルの複数の畳み込み層の各画素の変化がスラグ２判定出力に与える影響係数を算出する。

【0053】

次に、入力評価画像作成ステップＳ３０で、ステップＳ２０で求めた影響係数と影響係数算出に使用した複数の畳み込み層とを利用して、赤外線カメラ１５で撮像された赤外線画像を入力画像とし、その入力画像の各画素がスラグ２判定出力に与える影響を評価する。

【0054】

そして、入力評価画像作成ステップＳ３０で作成された入力評価画像から、スラグ２判定出力に影響度が高い赤外線画像の領域を抽出し、該抽出された領域を含むように、上記画像取得ステップで取得する撮像画像の領域を決定する。

【0055】

ここで、Ｇｒａｄ－ＣＡＭは、Ｇｒａｄｉｅｎｔ－ｗｅｉｇｈｔｅｄ Ｃｌａｓｓ Ａｃｔｉｖａｔｉｏｎ Ｍａｐｐｉｎｇの略であり、予測値に対する勾配を重み付けすることで、重要なピクセル（勾配が大きいピクセル）を可視化する技術である。Ｇｒａｄ－ＣＡＭの処理は、例えば、次のような処理で行われる。入力画像を順方向に入力して、畳み込み層と分類結果を取り出す。次に、分類結果に基づき誤差逆伝搬を行い、畳み込み層の勾配を形成する。次に、畳み込み層の勾配のＧＡＰを取り、ＧＡＰを重みとした畳み込み層の重み和を取り、元の画像サイズのリサイズを行い、Ｇｒａｄ－ＣＡＭの画像を得て、画像の根拠を可視化する。

【0056】

（変形例）
ここで、学習済みモデル５０の生成は、上述の方法に限定さない。
例えば、一般事象について学習済みのニューラルネットワークからなる公知のモデルに対し、そのモデルの最終段に、ファインチューニング技術によって新たな層を追加して、本判定用に学習し直すことで、本実施形態で採用する学習済みモデル５０を生成してもよい。

【0057】

例えば、既存の安定したモデルに対し、最終層４層（Ｆｌａｔｔｅｎ、Ｄｅｎｓｅ、Ｄｒｏｐｏｕｔ、Ｄｅｎｓｅ）だけ追加して、学習し直す。ファインチューニングは、学習済みモデル５０の最終出力層を付け替え、入力層に近い部分と出力層のパラメータを変更する。これによって既存の学習にはない新しいタスクについても適合できるようにすることで新しいタスクに適合させることができる。

【0058】

ここで、Ｆｌａｔｔｅｎ（平坦化）層は、全結合層入力のためのデータの一次元化の層である。Ｄｅｎｓｅ（全結合）層は、特徴部分が取り出された画像データを一つに結合し、活性化関数によって変換された値（特徴変数）を出力する層である。Ｄｒｏｐｏｕｔ層は、全結合層と出力層の間の接続の一部をランダムに切断することで過学習を防ぐ働きがある層である。

【0059】

（動作その他）
本実施形態のスラグ流出判定装置２０は、連続的に撮像する赤外線画像に対し、ＣＮＮで学習した学習済みモデル５０でスラグ混入の有無を判定することで、精度良くスラグ混入の判定を行うことが可能となる。

【0060】

この結果、転炉３操業において、取鍋４に混入するスラグ２の量を抑えることが可能となり、合金歩留まりを向上させることが可能となる。

【0061】

また、Ｇｒａｄ－ＣＡＭ技術によって判断根拠を調査したところ、分類判断根拠が出鋼流上部まで範囲が広がるとの新たな知見に基づき、本実施形態では、赤外線画像に基づきスラグ混入の判定を行う際に、判定に用いる赤外線画像（撮像画像）の排出流１Ａを映す領域を、従来よりも広くして、出鋼口３ａから取鍋４の上部までを含む領域とした。これによって、更に学習済みモデル５０の判定精度が向上する。ここで、ＣＮＮで学習した学習モデルでは、出鋼流の上部から重要視しているとの知見は新しい知見である。

【0062】

赤外線方式ではスラグ２が落下してスラグ２の割合が増加したところを判定するために出鋼流の下部に判定領域を設けており、判定の遅れにつながっていた。これに対し、本実施形態では、出鋼口３ａからでてきた直後（出鋼流の上部）も判定根拠としており、熟練者と同様に、早期にスラグ混入を判定できていることを確認している。

【0063】

また、学習済みモデル５０を生成する際に、従来の赤外線方式で、誤判定されやすい特定画像（特異データ５３）を用いて追加学習することで、更に学習済みモデル５０の判定精度が向上する。

【0064】

また、新たに取得した学習データ５１と予め求めた特異データ５３（固定の学習データ）で、適宜、学習済みモデル５０を再度生成して、当該学習済みモデル５０を自動的に更新するシステムを有することで、鋼種や操業状態の経時的な変更があっても、学習済みモデル５０の判定精度の劣化を抑制可能となる。

【0065】

すなわち、赤外線方式では必要な多くの設定値の調整を行うことなく、適宜更新下学習データ５１（教師データ）を用いて自動的にＣＮＮを用いて学数することで、自動的に現在操業条件におうじたパラメータを自動で学習されるため、メンテナンスの負荷が軽減する。

【0066】

（その他）
本開示は、以下のような構成も取ることができる。
（１）転炉の出鋼口から取鍋に向けて排出される排出流を赤外線カメラで撮像し、撮像した撮像画像に基づき、上記排出流へのスラグ混入の有無を判定するスラグ混入判定方法であって、上記赤外線カメラで撮像した上記排出流の撮像画像を連続的に取得する画像取得ステップと、上記排出流の赤外線画像を用いて機械学習されたモデルであって上記スラグ混入の有無を認識する学習済みモデルを用いて、上記画像取得ステップで取得した撮像画像からスラグ混入の有無を判定する判定ステップと、を有する。

【0067】

このスラグ流出判定方法は、例えば、転炉の出鋼口から取鍋に向けて排出される排出流を赤外線カメラで撮像し、撮像した撮像画像に基づき、上記排出流へのスラグ混入の有無を判定するスラグ混入判定装置であって、上記赤外線カメラで撮像した上記排出流の撮像画像を取得する画像取得部と、上記排出流の赤外線画像を用いて機械学習されたモデルであって上記スラグ混入の有無を認識する学習済みモデルを用いて、上記画像取得部で取得される撮像画像からスラグ混入の有無を判定する判定部と、を有することを特徴とするスラグ流出判定装置で構成する。
この構成によれば、転炉操業において、撮像した赤外線画像を用いて、メンテナンスの負荷を抑えつつ、スラグ混入の判定を精度良く実行することが可能となる。

【0068】

（２）上記学習に使用された赤外線画像、及びスラグ混入の判定に用いられる撮像画像は、上記排出流における上記出鋼口位置から上記取鍋の直上位置までの範囲を含む画像である。
例えば、上記画像取得部で取得する撮像画像は、上記排出流における上記出鋼口位置から上記取鍋の直上位置までの範囲を含む画像である。

【0069】

この構成によれば、従来の赤外線方式で用いない、上流側の排出流位置も撮像画像の領域とすることで、学習済みモデルを用いた判定精度が向上する。
また、上流側の排出流位置も撮像画像の領域とすることで、従来の赤外線方式に比べ、判定速度も向上する。

【0070】

（３）上記赤外線カメラで撮像した赤外線画像に対しスラグ混入有無のラベルを付けた学習データを蓄積部に蓄積し、上記蓄積部に蓄積された学習データを用いて機械学習を行い、スラグ混入の有無を認識する第１の学習モデルを求め、評価用に用意した上記赤外線画像であってスラグ混入有無のラベルを付けた赤外線画像に対し、上記求めた第１の学習モデルを用いてスラグ混入の有無を判定して、その判定で誤判定された赤外線画像であってスラグ混入有無のラベルを付けた赤外線画像からなる特異データを取得し、上記求めた第１の学習モデルに対し、上記取得された特異データを用いて追加学習を行い、追加学習後の学習モデルを上記学習済みモデルとする。

【0071】

この方法は、例えば、上記学習済みモデルを生成する学習済みモデル生成部を有し、上記学習済みモデル生成部は、上記赤外線カメラで撮像した撮像画像に対しスラグ混入有無のラベルを付けた学習データを蓄積部に蓄積する学習データ蓄積部と、上記蓄積部に蓄積された学習データを用いて機械学習を行い、スラグ混入の有無を認識する第１の学習モデルを求める第１の学習部と、評価用に用意した上記赤外線画像であってスラグ混入有無のラベルを付けた赤外線画像について、上記第１の学習部で求めた第１の学習モデルを用いてスラグ混入の有無を判定し、その判定で誤判定された赤外線画像であってスラグ混入有無のラベルを付けた赤外線画像である特異データを選定する特異データ取得部と、上記第１の学習部で求めた第１の学習モデルに対し、上記特異データ取得部で取得された特異データを用いて追加学習を行い、追加学習後のモデルを上記学習済みモデルとして更新する第２の学習部と、を備えるスラグ流出判定装置で構成する。
この構成によれば、精度の良い学習済みモデルを生成可能となる。

【0072】

（４）上記取得した特異データを予め蓄積部に蓄積しておき、上記判定ステップでスラグ混入の有無を判定された撮像画像を、学習データとして上記蓄積部２１に格納して、蓄積部に蓄積されている学習データを更新し、更新された上記蓄積部の学習データと、上記蓄積部に蓄積されている特異データと用いて、スラグ混入の有無を認識する上記学習済みモデルを再学習する。

【0073】

この方法は、例えば、上記特異データ取得部で取得された特異データは予め蓄積部に蓄積されており、更に、上記判定部で判定された撮像画像及び判定結果から学習データを生成し、その生成した学習データを上記蓄積部に格納して、当該蓄積部に蓄積されている学習データを更新する学習データ更新部と、上記学習データ更新部で更新された上記蓄積部の学習データと、上記蓄積部に蓄積されている特異データと用いて、スラグ混入の有無を認識する学習モデルを求め、求めた学習モデルを上記学習済みモデルとして更新する再学習部と、を備えるスラグ流出判定装置で構成する。

【0074】

この構成によれば、転炉の状態なの条件が変更されても、自動的にその条件に応じた学習済みモデルに更新される。また、当初正しい判定ができなかった特異データも含ませて更新学習されるので、高精度な学習判定性能が維持される。

【0075】

（５）上記学習は、畳み込み型ニューラルネットワーク（ＣＮＮ）を用いて行われる。
この構成によれば、確実に学習済みモデルを生成可能となる。

【0076】

（６）少なくとも上記排出流における上記出鋼口位置から上記取鍋の直上位置までの範囲を含む赤外線画像に対しスラグ混入有無のラベルを付けた学習データを用いて、上記スラグ混入の有無を認識する学習モデルを生成する学習モデル生成ステップと、上記学習モデル生成ステップで生成された上記学習モデルの、複数の畳み込み層の各画素の変化がスラグ判定出力に与える影響係数を算出する畳み込み層影響評価ステップと、上記影響係数と上記影響係数の算出に使用した複数の畳み込み層とを利用して、上記赤外線カメラで撮像された赤外線画像を入力画像とし、その入力画像の各画素がスラグ判定出力に与える影響を評価する入力評価画像作成ステップと、を備え、上記入力評価画像作成ステップで作成された入力評価画像から、スラグ判定出力に影響度が高い赤外線画像の領域を抽出し、該抽出された領域を含むように、上記画像取得ステップで取得する撮像画像の領域を決定する。
この構成によれば、判定精度を向上可能な最適な撮像領域の範囲を設定可能となる。

【0077】

（６）上記記載のスラグ流出判定方法を利用して転炉を操業する、転炉操業方法。
この構成によれば、歩留まりの良い転炉操業方法を提供可能となる。
（７）上記記載の転炉操業方法を備える、溶鋼製造方法。
この構成によれば、歩留まりの良い溶鋼製造方法を提供可能となる。

【0078】

（８）上記記載のスラグ流出判定装置を備える、転炉の操業設備。
この構成によれば、歩留まりの良い転炉の操業設備を提供可能となる。
（９）上記記載のスラグ流出判定装置を備える、溶鋼製造設備。
この構成によれば、歩留まりの良い溶鋼製造設備を提供可能となる。

【符号の説明】

【0079】

１ 溶鋼
１Ａ 排出流
２ スラグ
３ 転炉
３ａ 出鋼口
４ 取鍋
４ａ 取鍋の上端部（直上位置）
１５ 赤外線カメラ
２０ スラグ流出判定装置
２０Ａ 画像取得部（画像取得ステップ）
２０Ｂ 判定部（判定ステップ）
２０Ｃ 送信部
２１ 蓄積部
２２ 学習済みモデル生成部
２２Ａ 学習データ蓄積部
２２Ｂ 第１の学習部
２２Ｃ 特異データ取得部
２２Ｄ 第２の学習部
２３ 学習済みモデル更新部
２３Ａ 学習データ更新部
２３Ｂ 再学習部
５０ 学習済みモデル
５１ 学習データ
５２ 第１の学習モデル
５３ 特異データ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】