特許 7368725 溶鋼流動制御装置、溶鋼流動制御方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-17

(45)【発行日】2023-10-25

(54)【発明の名称】溶鋼流動制御装置、溶鋼流動制御方法、およびプログラム

(51)【国際特許分類】

   B22D 11/16 20060101AFI20231018BHJP

   B22D 11/04 20060101ALI20231018BHJP

   B22D 46/00 20060101ALI20231018BHJP

【ＦＩ】

B22D11/16 104D

B22D11/16 104B

B22D11/04 311J

B22D46/00

【請求項の数】 13

(21)【出願番号】P 2020002644

(22)【出願日】2020-01-10

(65)【公開番号】P2021109203

(43)【公開日】2021-08-02

【審査請求日】2022-09-05

(73)【特許権者】

【識別番号】000006655

【氏名又は名称】日本製鉄株式会社

(74)【代理人】

【識別番号】110000637

【氏名又は名称】弁理士法人樹之下知的財産事務所

(72)【発明者】

【氏名】北田 宏

(72)【発明者】

【氏名】坂本 健一

(72)【発明者】

【氏名】望月 翔平

(72)【発明者】

【氏名】伊藤 康輔

【審査官】池ノ谷 秀行

(56)【参考文献】

【文献】特開平０３－２７５２５６（ＪＰ，Ａ）

【文献】特開２０１３－０２６９８０（ＪＰ，Ａ）

【文献】特開２００７－１２８３１８（ＪＰ，Ａ）

【文献】特開平０８－２２９６４９（ＪＰ，Ａ）

【文献】特開２００３－３０５５５３（ＪＰ，Ａ）

【文献】国際公開第２０１９／１８８９４１（ＷＯ，Ａ１）

【文献】国際公開第２０００／０５１７６３（ＷＯ，Ａ１）

【文献】特開２００３－１８１６０９（ＪＰ，Ａ）

【文献】木村 元，リレー解説 強化学習の最近の発展 《第1回》強化学習の基礎，計測と制御，2013年，第52巻，第1号，p.72-77，doi.org/10.11499/sicejl.52.72

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２２Ｄ １１／００－１１／２２

Ｂ２２Ｄ ４６／００

Ｇ０５Ｂ １３／００－１３／０４

Ｇ０６Ｎ ２０／００

(57)【特許請求の範囲】

【請求項1】

連続鋳造機の鋳型に配置された測温装置による測温値を含むデータに基づいて前記鋳型内での溶鋼流動パターンを認識する溶鋼流動パターン認識部と、
前記認識された溶鋼流動パターンに対して溶鋼流動制御手段が実行可能な複数のアクションについてそれぞれ設定された行動価値に基づいて、前記複数のアクションのうちのいずれかを前記溶鋼流動制御手段に実行させる溶鋼流動制御部と、
前記溶鋼流動制御手段がアクションを実行した結果に対応する報酬値と、正の値の報酬値が連続して与えられた場合にも前記行動価値の連続的な増加を抑制する補正値と、の差分に基づいて、前記行動価値の少なくとも一部を逐次更新する制御パラメータ学習部と、
を備える、溶鋼流動制御装置。

【請求項2】

前記制御パラメータ学習部は、前記報酬値と前記補正値との差分に基づいて、前記溶鋼流動パターンで溶鋼流動の非対称性が緩和された場合には前記行動価値を上昇させ、前記溶鋼流動パターンで前記溶鋼流動の非対称性が増長された場合には前記行動価値を低下するように、前記行動価値を逐次更新する、請求項１に記載の溶鋼流動制御装置。

【請求項3】

前記補正値は、所定の時間間隔だけ過去の前記報酬値を含む、請求項２に記載の溶鋼流動制御装置。

【請求項4】

前記補正値は、前記報酬値の移動平均演算結果を含む、請求項２または請求項３に記載の溶鋼流動制御装置。

【請求項5】

前記補正値は、前記報酬値の指数平滑演算結果を含む、請求項２から請求項４のいずれか１項に記載の溶鋼流動制御装置。

【請求項6】

前記溶鋼流動制御手段は、前記鋳型の長辺面の幅方向両側にそれぞれ配置された第１および第２の電磁ブレーキ装置を含む、請求項１から請求項５のいずれか１項に記載の溶鋼流動制御装置。

【請求項7】

前記行動価値は、前記第１および第２の電磁ブレーキ装置がそれぞれ実行可能な複数のアクションの組み合わせについて設定され、
前記溶鋼流動制御部は、前記第１および第２の電磁ブレーキ装置にアクションの組み合わせを実行させる、請求項６に記載の溶鋼流動制御装置。

【請求項8】

前記行動価値は、前記第１および第２の電磁ブレーキ装置のそれぞれの出力電流実績値の組み合わせごとに設定される、請求項６または請求項７に記載の溶鋼流動制御装置。

【請求項9】

前記行動価値は、前記長辺面の幅方向について溶鋼流速が対称であることを示す第１のパターンを含み、
前記行動価値の初期値は、前記第１のパターンが認識された場合に、前記第１および第２の電磁ブレーキ装置の出力電流値を均等かつ最大にするアクションについて最大になるように設定される、請求項６から請求項８のいずれか１項に記載の溶鋼流動制御装置。

【請求項10】

前記溶鋼流動パターンは、前記長辺面の幅方向について溶鋼流速が非対称であることを示す第２のパターンを含み、
前記行動価値の初期値は、前記第２のパターンが認識された場合に、前記第１および第２の電磁ブレーキ装置のうち、溶鋼流速が相対的に大きい側に配置された電磁ブレーキ装置の磁場出力が、溶鋼流速が相対的に小さい側に配置された電磁ブレーキ装置の磁場出力に対して相対的に上昇するようなアクションについて、溶鋼流量が相対的に大きい側に配置された電磁ブレーキ装置の磁場出力を、前記溶鋼流量が相対的に小さい側に配置された電磁ブレーキ装置の磁場出力に対して相対的に高く設定される、請求項６から請求項９のいずれか１項に記載の溶鋼流動制御装置。

【請求項11】

前記溶鋼流動パターンは、前記長辺面の幅方向のいずれかの側における溶鋼流速が実績データに基づく平均流速値よりも高いことを示す第３のパターンを含み、
前記行動価値の初期値は、前記第３のパターンが認識された場合に、前記第１および第２の電磁ブレーキ装置のうち、前記溶鋼流速が前記平均流速値よりも高い側に配置された電磁ブレーキ装置の磁場出力が上昇するようなアクションについて、前記溶鋼流速が前記平均流速値よりも高い側に配置された電磁ブレーキ装置の磁場出力を、前記溶鋼流速が前記平均流速値よりも低い側に配置された電磁ブレーキ装置の磁場出力に対して相対的に高く設定される、請求項６から請求項９のいずれか１項に記載の溶鋼流動制御装置。

【請求項12】

連続鋳造機の鋳型に配置された測温装置による測温値を含むデータに基づいて前記鋳型内での溶鋼流動パターンを認識する溶鋼流動パターン認識工程と、
前記認識された溶鋼流動パターンに対して溶鋼流動制御手段が実行可能な複数のアクションについてそれぞれ設定された行動価値に基づいて、前記複数のアクションのうちのいずれかを前記溶鋼流動制御手段に実行させる溶鋼流動制御工程と、
前記溶鋼流動制御手段がアクションを実行した結果に対応する報酬値と、正の値の報酬値が連続して与えられた場合にも前記行動価値の連続的な増加を抑制する補正値と、の差分に基づいて、前記行動価値の少なくとも一部を逐次更新する制御パラメータ学習工程と、
を含む、溶鋼流動制御方法。

【請求項13】

連続鋳造機の鋳型に配置された測温装置による測温値を含むデータに基づいて前記鋳型内での溶鋼流動パターンを認識する溶鋼流動パターン認識部と、
前記認識された溶鋼流動パターンに対して溶鋼流動制御手段が実行可能な複数のアクションについてそれぞれ設定された行動価値に基づいて、前記複数のアクションのうちのいずれかを前記溶鋼流動制御手段に実行させる溶鋼流動制御部と、
前記溶鋼流動制御手段がアクションを実行した結果に対応する報酬値と、正の値の報酬値が連続して与えられた場合にも前記行動価値の連続的な増加を抑制する補正値と、の差分に基づいて、前記行動価値の少なくとも一部を逐次更新する制御パラメータ学習部と、
を備える溶鋼流動制御装置としてコンピュータを動作させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、溶鋼流動制御装置、溶鋼流動制御方法、およびプログラムに関する。

【背景技術】

【0002】

連続鋳造機で偏平比の大きい矩形断面をもつスラブを鋳造する場合、浸漬ノズルの吐出口は矩形断面の両方の短辺面に向けられる。浸漬ノズル内に介在物などの固着によるつまりがない場合には、両側の吐出口からの溶鋼流量はほぼ均等であるが、浸漬ノズル内につまりが発生するとその付近で溶鋼流が乱れるため、両側の溶鋼流量が均等ではなくなる。また、吐出口からの溶鋼流は設計上、両方の短辺面に向けられているが、上記のつまりなどの影響で溶鋼流の方向がいずれかの長辺面の側に傾く場合がある。このような、両側の吐出口からの溶鋼流量、および溶鋼流の方向の変化が、浸漬ノズルを中心とする鋳型内の溶鋼流の非対称性、すなわち偏流を発生させる。

【0003】

特許文献１には、上記のような連続鋳造機の鋳型内での溶鋼偏流に伴う操業トラブルを回避するための技術が記載されている。具体的には、特許文献１には、溶鋼から鋳型用の冷却水までの間に凝固シェル、モールドパウダー層、鋳型の各熱伝導体が存在する連続鋳造において、浸漬ノズルを挟む左右位置それぞれに埋設された測温装置の測定値に基づいて決定される熱伝達係数の比に基づいて溶鋼偏流が発生しているか否かを推定し、偏流が発生している場合には鋳造速度を減少させる連続鋳造方法が記載されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１１－２５１３０８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記の特許文献１に記載された方法では、浸漬ノズルを挟む左右位置それぞれに埋設された測温装置の測定値に基づいて決定される熱伝達係数の比から溶鋼の偏流が発生しているか否かを推定する。左右位置の測温装置は、溶鋼のメニスカスから同じ深さ位置に配置される。この場合、当該深さ位置における溶鋼偏流の発生については適切に推定することが可能である。しかしながら、本発明者らの知見によれば、偏流の原因となる浸漬ノズルの詰まりの発生状況はさまざまであるため、偏流発生時の鋳型内の溶鋼流動は深さ方向について一様ではない場合がある。そのような場合、特許文献１に記載された方法では推定しきれない溶鋼偏流が発生している可能性がある。また、特許文献１には、偏流が発生している場合に鋳造速度を低下させることによって偏流による品質異常の発生率を低下させられることが示されているが、偏流が解消しない限りは鋳造速度が低下したままで鋳造が行われることになるため、連続鋳造の生産効率は低くなる。

【0006】

そこで、本発明は、鋳型内の溶鋼偏流の発生状況に適応して、より適切に偏流を緩和するように溶鋼流動制御手段を制御することを可能にする、新規かつ改良された溶鋼流動制御装置、溶鋼流動制御方法、およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明のある観点によれば、連続鋳造機の鋳型に配置された測温装置による測温値を含むデータに基づいて鋳型内での溶鋼流動パターンを認識する溶鋼流動パターン認識部と、認識された溶鋼流動パターンに対して溶鋼流動制御手段が実行可能な複数のアクションについてそれぞれ設定された行動価値に基づいて、複数のアクションのうちのいずれかを溶鋼流動制御手段に実行させる溶鋼流動制御部と、溶鋼流動制御手段がアクションを実行した結果に対応する報酬値と、行動価値の連続的な増加を抑制する補正値とに基づいて行動価値の少なくとも一部を逐次更新する制御パラメータ学習部とを備える溶鋼流動制御装置が提供される。
上記の構成によれば、特定のアクションの行動価値が他のアクションの行動価値に対して著大になることを抑制しながら、逐次更新によって適切な行動価値を設定することによって、溶鋼偏流が検出された場合に適切に偏流を緩和するように溶鋼流動制御手段を制御することができる。

【0008】

本発明の別の観点によれば、連続鋳造機の鋳型に配置された測温装置による測温値を含むデータに基づいて鋳型内での溶鋼流動パターンを認識する溶鋼流動パターン認識工程と、認識された溶鋼流動パターンに対して溶鋼流動制御手段が実行可能な複数のアクションについてそれぞれ設定された行動価値に基づいて、複数のアクションのうちのいずれかを溶鋼流動制御手段に実行させる溶鋼流動制御工程と、溶鋼流動制御手段がアクションを実行した結果に対応する報酬値と、行動価値の連続的な増加を抑制する補正値とに基づいて行動価値の少なくとも一部を逐次更新する制御パラメータ学習工程とを含む溶鋼流動制御方法が提供される。

【0009】

本発明のさらに別の観点によれば、連続鋳造機の鋳型に配置された測温装置による測温値を含むデータに基づいて鋳型内での溶鋼流動パターンを認識する溶鋼流動パターン認識部と、認識された溶鋼流動パターンに対して溶鋼流動制御手段が実行可能な複数のアクションについてそれぞれ設定された行動価値に基づいて、複数のアクションのうちのいずれかを溶鋼流動制御手段に実行させる溶鋼流動制御部と、溶鋼流動制御手段がアクションを実行した結果に対応する報酬値と、行動価値の連続的な増加を抑制する補正値とに基づいて行動価値の少なくとも一部を逐次更新する制御パラメータ学習部とを備える溶鋼流動制御装置としてコンピュータを動作させるためのプログラムが提供される。

【図面の簡単な説明】

【0010】

【図1】本発明の一実施形態における連続鋳造機の鋳型付近の構成を示す図である。

【図2】図１に示した鋳型の拡大断面図である。

【図3】鋳型１内の溶鋼流動に偏りがある場合の熱伝達係数βの分布の例を示す等高線図である。

【図4】鋳型１内の溶鋼流動に偏りがある場合の熱伝達係数βの分布の例を示す等高線図である。

【図5】本発明の一実施形態に係る溶鋼流動制御方法のフローチャートである。

【図6】本発明の一実施形態に係る溶鋼流動制御装置の構成を示すブロック図である。

【図7】溶鋼流動制御方法におけるデータ形式変換の例を示す図である。

【図8】溶鋼流動制御方法におけるデータ形式変換の例を示す図である。

【図9】本発明の実施例で用いられた認識モデルについて説明するための図である。

【図10】図９に示す認識モデルの入力データの例を示す図である。

【図11A】比較例における流動分類の時系列変化を示すグラフである。

【図11B】比較例における行動価値の時系列変化を示すグラフである。

【図11C】比較例における行動価値の時系列変化を示すグラフである。

【図12A】別の比較例における流動分類の時系列変化を示すグラフである。

【図12B】別の比較例における行動価値の時系列変化を示すグラフである。

【図12C】別の比較例における行動価値の時系列変化を示すグラフである。

【図13A】実施例における流動分類の時系列変化を示すグラフである。

【図13B】実施例における行動価値の時系列変化を示すグラフである。

【図13C】実施例における行動価値の時系列変化を示すグラフである。

【図14A】比較例および実施例における分類区分の比率を時系列で示すグラフである。

【図14B】比較例および実施例における分類区分の比率を時系列で示すグラフである。

【発明を実施するための形態】

【0011】

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

【0012】

図１は、本発明の一実施形態における連続鋳造機の鋳型付近の構成を示す図である。図１に示されるように、鋳型１の開口部の中心に浸漬ノズル２が配置され、浸漬ノズル２の吐出口３から溶鋼が供給される。鋳型１に接触した溶鋼は、冷却されて鋳型１に沿った凝固シェルを形成する。連続鋳造機では、凝固シェルをロール（図示せず）で支持しながら連続的に鋳型１から引き抜き、さらに鋳型１外で冷却水を吹き付けて溶鋼を完全に凝固させることによって鋳片を製造する。

【0013】

本実施形態では、鋳型１の各面で、鋳型１の周方向（図中のｘ方向）および鋳造方向、すなわち鋳型１の深さ方向（図中のｚ方向）に、鋳型１を構成する銅板の温度を測定するための測温装置４が配列される。測温装置４は、例えば熱電対、または光ファイバを用いたＦＢＧ（Fiber Bragg Grating）測温装置などの測温素子である。測温装置４の測温点は、熱電対の場合は接合点、ＦＢＧ測温装置の場合は光ファイバのグレーチングの位置である。測温点は、例えば、鋳型１の各面の垂直方向中心線について対称に、かつ対向する各面の間で対応する位置に配置することが好ましい。

【0014】

また、鋳型１の長辺面に対向する位置に、電磁ブレーキ装置５が配置される。図１に示す例では、２組の電磁ブレーキ装置５が、鋳型１の長辺面の幅方向中心線を基準として両側に配置されている（第１および第２の電磁ブレーキ装置）。電磁ブレーキ装置５は、溶鋼流動制御手段の例であり、鋳型１を挟むようにＮ極とＳ極を配置した電磁石を備え、コイルに直流電流を流して溶鋼の吐出流に対して垂直な方向（Ｎ極からＳ極に向かう方向）に磁場を発生させることによって、ローレンツ力により吐出流の速度を抑制する。他の実施形態では、電磁ブレーキ装置５以外の溶鋼流動制御手段が配置されてもよい。電磁ブレーキ装置５は、後述する溶鋼流動制御方法に従って制御される。

【0015】

なお、本実施形態において、後述する溶鋼流動制御方法は、測温装置４および電磁ブレーキ装置５にそれぞれ接続された演算装置１０において実行される。なお、簡単のため、測温装置４および電磁ブレーキ装置５と演算装置１０とを接続する通信線は、一部だけが図示されている。演算装置１０は、例えばＣＰＵ（Central Processing Unit）、記憶装置、通信装置、入出力手段などを備え、プログラムに従って各種の演算を実行する。プログラムは、記憶装置に格納されるか、またはリムーバブル記憶媒体に格納されて演算装置１０に読み込まれる。演算装置１０は、プログラムに従って動作することによって、溶鋼流動制御装置として機能する。

【0016】

図２は、図１に示した鋳型の拡大断面図である。図２に示されるように、鋳型１はめっきをした銅板６を筒状に組み合わせることによって形成されている。銅板６の外側に冷却水７を流すことによって、銅板６を介して溶鋼から抜熱され、鋳型１内面に凝固シェル８が形成される。鋳型１内の溶鋼と凝固シェル８との間では対流熱伝達により熱が伝えられる。この熱伝達における熱流束ｑは、熱伝達係数βを用いて以下の式（１）のように表される。なお、ｚは鋳型深さ方向位置、ｔは時刻、Ｔ_０は溶鋼温度、Ｔ_ｓは凝固シェルと溶鋼の界面温度である。
ｑ（ｚ，ｔ）＝β（ｚ，ｔ）（Ｔ_０－Ｔ_ｓ） ・・・（１）

【0017】

熱伝達係数βは、溶鋼と凝固シェル８との間の境界層が層流境界層である場合は、溶鋼流速の１／２乗に比例して大きくなる。すなわち、凝固シェル８に沿う溶鋼流速成分が大きい位置では、熱伝達係数βが高くなる。また、鋳型１内の溶鋼温度はほぼ均一であるため、銅板６内部の温度分布は熱伝達係数βの分布を反映する。ある位置で熱伝達係数βが大きくなると、当該位置における銅板６への熱流入が増加し、銅板６に埋設された測温装置４の測温値も高くなるためである。

【0018】

ここで、伝熱逆問題は、測定されるデータから熱伝導方程式における境界条件を推定する方法である。本実施形態における鋳型１の伝熱逆問題は、冷却水７について鋳型１の各面ごとの流量、および冷却水配管の入側および出側の温度差を測定し、測温装置４による銅板６の測温値の鋳型深さ方向（ｚ方向）分布と冷却水７の温度差のデータとを用いて、図２に示した凝固シェル８と銅板６の表面との間のモールドフラックス９中の熱伝導および熱伝達を含めた総括熱伝達係数α（Ｗ／Ｋ／ｍ^２）と、溶鋼と凝固シェル８との間の熱伝達係数β（Ｗ／Ｋ／ｍ^２）と、各測温装置４の位置における凝固シェル厚みｓ（ｍｍ）を算出することである。

【0019】

上述の通り、鋳型１内の溶鋼流には、浸漬ノズル２内のつまりなどを原因として偏流が発生する場合がある。偏流が発生すると、鋳型１内の溶鋼流速分布に非対称性が生じる。これによって、上記で説明したように溶鋼流速を反映する凝固シェル８と溶鋼との間の熱伝達係数βの分布、および測温装置４の測温値の分布にも非対称性が生じる。このような非対称性は、例えば、図１に示したｘ軸およびｚ軸で構成される鋳型１の長辺面内、および鋳型１の対向する面の間に現れる。

【0020】

図３および図４は、鋳型１内の溶鋼流動に偏りがある場合の熱伝達係数βの分布の例を示す等高線図である。図３および図４はそれぞれ異なる鋳造のケースであり、図１に示した鋳型１の２つの長辺面における熱伝達係数βの分布を示す。なお、以下の説明では、図３（Ａ）および図４（Ａ）に示された鋳型１の長辺面をＦ面（Fixed Side）、図３（Ｂ）および図４（Ｂ）に示された鋳型１の長辺面をＬ面（Loose Side）ともいう。Ｆ面およびＬ面は、いずれも同じ方向（例えば図１の手前側）から見たものとして図示されている。

【0021】

図示されているように、それぞれのケースにおいて、図３（Ｂ）および図４（Ｂ）に示すＬ面では、幅方向中心（ｘ座標が０の位置）よりも左側（ｘ座標の負の側）の方が右側（正の側）よりも熱伝達係数βが高くなっている。従って、どちらのケースでも、Ｌ面側において、浸漬ノズル２の左側の吐出口３における溶鋼流速が右側の溶鋼流速よりも大きいことが推測される。その一方で、図３（Ｂ）に示す例ではＬ面の左側における熱伝達係数βが全体的に右側の熱伝達係数βよりも高いのに対して、図４（Ｂ）に示す例ではＬ面の左側における熱伝達係数βが、鋳型１の下側（ｚ座標が小さい側）では右側の熱伝達係数βよりも高いが、上側では右側の熱伝達係数とあまり変わらない。

【0022】

ここで、鋳型１の深さ方向（図１のｚ軸方向）の所定位置における熱伝達係数βの左側と右側とにおける比に基づいて偏流の発生を検出する場合を考える。具体的には、図３および図４に示されるように、深さ方向では各長辺面の上端から３５０ｍｍ、水平方向（図１のｘ軸方向）では各長辺面の幅方向中心から左右それぞれ３５０ｍｍの位置に点Ａ，Ｂをとり、点Ａ，Ｂにおける熱伝達係数βの比β_Ａ／Ｂを算出する。そうすると、図３の例ではＦ面でβ_Ａ／Ｂ＝１．１３、Ｌ面でβ_Ａ／Ｂ＝１．７１である。また、図４の例ではＦ面でβ_Ａ／Ｂ＝１．１９、Ｌ面でβ_Ａ／Ｂ＝１．２５である。このような算出結果に対して、例えばβ_Ａ／Ｂ＝１．３０を閾値として偏流の発生を検出した場合、図３の例では偏流の発生が検出されるが、図４の例では偏流の発生が検出されない。

【0023】

上記の例のように、偏流のような鋳型１内の溶鋼流の変化は、深さ方向について必ずしも一様ではなく、従って深さ方向について特定の点での熱伝達係数βや測温値を比較することによっては偏流の発生が検出されない場合もありうる。そこで、本実施形態では、以下で説明するような、鋳型１の各面における熱伝達係数β（または測温値）の分布に基づいて溶鋼流動パターンを認識することで偏流を検出し、その結果に基づいて電磁ブレーキ装置などを制御することで偏流を抑制する。

【0024】

本実施形態の溶鋼流動制御方法によれば、鋳型１内の溶鋼流動の偏りを熱伝達係数βや測温値の分布に基づいて認識するとともに、溶鋼偏流の発生状況に適応して溶鋼流動制御手段である電磁ブレーキ装置５を適切に制御することによって、偏流を緩和することが可能になる。その結果として、例えば、偏流に起因する凝固シェルの再溶解によるブレークアウトや、凝固シェルのカブレ疵、偏流による湯面変動に起因するパウダー巻き込みによる鋳片欠陥などを、鋳造速度を低下させることなく防止することができる。

【0025】

図５は、本発明の一実施形態に係る溶鋼流動制御方法のフローチャートである。まず、データサンプリング工程（Ｓ１１）において、溶鋼流動制御装置１００は、鋳型１を構成する銅板６に埋め込まれた測温装置４による測温値、冷却水７の流量および温度変化、溶鋼温度、および鋳造速度などのデータをサンプリングする。なお、ここで、サンプリングは、所定のデータを時系列で（例えば所定の間隔で）逐次取得することを意味する。次に、熱伝達係数推定工程（Ｓ１２）において、溶鋼流動制御装置１００は、サンプリングされたデータに基づいて各測温点（測温装置４の設置位置）での熱伝達係数α，β、および凝固シェル厚みｓを算出する。なお、図５の破線で示されているように、測温値に基づいて溶鋼流動パターンを認識する場合は、熱伝達係数推定工程（Ｓ１２）を実行しなくてもよい。次に、データ形式変換工程（Ｓ１３）において、溶鋼流動制御装置１００は、熱伝達係数βまたは測温値の分布を、認識モデルの入力に適したデータ形式に変換する。次に、溶鋼流動パターン認識工程（Ｓ１４）において、溶鋼流動制御装置１００は、熱伝達係数βまたは測温値の分布と、溶鋼流動パターンとの関係を学習済みの認識モデルを用いて、データサンプリング工程（Ｓ１１）または熱伝達係数推定工程（Ｓ１２）の処理時点での溶鋼流動パターンを認識する。次に、溶鋼流動制御工程（Ｓ１５）において、溶鋼流動制御装置１００は、後述するように溶鋼流動パターン認識工程（Ｓ１４）で認識された溶鋼流動パターンに対して設定された行動価値に基づいて、電磁ブレーキ装置５のアクション、具体的には出力電流値の減少、保持、または増加を決定し、決定されたアクションを本実施形態における溶鋼流動制御手段である電磁ブレーキ装置５に実行させる。さらに、溶鋼流動制御装置１００は、溶鋼流動制御工程（Ｓ１５）で参照する行動価値を逐次更新する制御パラメータ学習工程（Ｓ１６）を実行する。

【0026】

なお、図１を参照して説明したように演算装置１０が溶鋼流動制御装置として機能する場合、図６に示すように、溶鋼流動制御装置１００（演算装置１０）は、上記のデータサンプリング工程（Ｓ１１）を実行するデータサンプリング部１１０と、熱伝達係数推定工程（Ｓ１２）を実行する熱伝達係数推定部１２０と、データ形式変換工程（Ｓ１３）を実行するデータ形式変換部１３０と、溶鋼流動パターン認識工程（Ｓ１４）を実行する溶鋼流動パターン認識部１４０と、溶鋼流動制御工程（Ｓ１５）を実行する溶鋼流動制御部１５０と、制御パラメータ学習工程（Ｓ１６）を実行する制御パラメータ学習部１６０とを含む。例えば、データサンプリング部１１０は、演算装置１０が備えるＣＰＵがプログラムに従って動作して通信装置を介して測温装置４などからデータを受信することによって実現される。熱伝達係数推定部１２０、データ形式変換部１３０、溶鋼流動パターン認識部１４０、および制御パラメータ学習部１６０は、演算装置１０が備えるＣＰＵが、プログラムに従って演算を実行することによって実現される。溶鋼流動制御部１５０は、演算装置１０が備えるＣＰＵが、プログラムに従って動作して通信装置を介して電磁ブレーキ装置５に制御信号を送信することによって実現される。コンピュータである演算装置１０を、上記のような溶鋼流動制御装置１００として機能させるための、リムーバブル記憶媒体またはネットワークを介して提供されるプログラムが提供されてもよい。

【0027】

次に、上記の各工程Ｓ１１～Ｓ１６について詳細に説明する。

【0028】

（データサンプリング工程）
データサンプリング工程（Ｓ１１）では、データサンプリング部１１０が、各測温装置が出力した鋳型温度を同時に一定時間間隔でサンプリングして取得する。

【0029】

（熱伝達係数推定工程）
熱伝達係数推定工程（Ｓ１２）では、熱伝達係数推定部１２０が、例えば特開２０１１－２５１３０８号公報に記載された伝熱逆問題の手法を用いて、データサンプリング工程（Ｓ１１）におけるサンプリング時刻の各測温点での熱伝達係数α，β、および凝固シェル厚みｓを算出する。具体的な算出方法について、以下で説明する。

【0030】

本方法では、Ｔを凝固シェルの温度、Ｔ_０を溶鋼温度、Ｔ_ｓを溶鋼と凝固シェルとの界面温度、ｕを鋳造速度、λｓを凝固シェルの熱伝導率、ｃ_ｓを凝固シェルの比熱、ρ_ｓを凝固シェルの密度、Ｌを凝固シェルの潜熱、ｄを銅板の凝固シェル側の表面から測温装置までの距離、λｍを銅板の熱伝導率として、鋳造方向をｚ軸、鋳造方向と鋳型周方向に直交する方向をｙ軸とする２次元座標上で、凝固シェル厚みｓ（ｚ，ｔ）および鋳型側の凝固シェル表面温度Ｔ（０，ｚ，ｔ）を表す式（Ａ），（Ｂ）と、凝固シェルの鋳型側の表面－モールドパウダー層－熱電対間の熱収支に基づいて、鋳型を通過する熱流束ｑ_ｍ（ｚ，ｔ）を表す式（Ｃ）とを用いて、熱伝達係数α（ｚ，ｔ）及び熱伝達係数β（ｚ，ｔ）を同時に決定し、凝固シェル厚みｓ（ｚ，ｔ）を計算する。

【0031】

【数1】

【0032】

また、熱流束ｑ_ｍ（ｚ，ｔ）は、ｄ_ｗを測温装置から水冷位置までの距離、ｈ_ｗを鋳型と冷却水との間の熱伝達係数、Ｔ_ｗを冷却水温度、λ_ｍを鋳型の熱伝導率として、測温装置の測温値Ｔ_{ｍ＿ｏｂｓ}（ｚ，ｔ）に基づいて、式（Ｄ）のようにも表される。

【0033】

【数2】

【0034】

本方法では、上記の式（Ａ）～（Ｄ）を連立して解くことによって、位置ｚ、時刻ｔにおける熱伝達係数α（ｚ，ｔ）およびβ（ｚ，ｔ）、凝固シェル厚みｓ（ｚ，ｔ）および銅板表面温度Ｔ_ｍ（０，ｚ，ｔ）を算出する。連立方程式は非線形方程式なので、緩和法などの繰り返し計算の手法を用いればよい。本方法を鋳造方向に整列した測温装置４の列に含まれる各段の測温装置４に適用することを、鋳型周方向（図１に示すｘ軸方向）に並んだ測温装置４の各列に対して繰り返すことにより、鋳型１の各面全域における熱伝達係数α（ｘ，ｚ，ｔ）、β（ｘ，ｚ，ｔ）、および凝固シェル厚みｓ（ｘ，ｚ，ｔ）の分布を算出することができる。

【0035】

（データ形式変換工程）
データ形式変換工程（Ｓ１３）では、データ形式変換部１３０が、時刻ｔにおける鋳型１の各測温点における熱伝達係数β（ｘ，ｚ，ｔ）または測温値Ｔ_{ｍ＿ｏｂｓ}（ｘ，ｚ，ｔ）の分布を、鋳型１の各面の鋳型周方向における隣接関係を保存した行列形式データに変換する。この行列形式データは、鋳型１内の溶鋼流動パターンの認識が容易になるように、熱伝達係数βまたは測温値Ｔ_{ｍ＿ｏｂｓ}の値を規則的に配置したものである。

【0036】

図７および図８は、溶鋼流動制御方法におけるデータ形式変換の例を示す図である。この例では、図７に示すように、鋳型１の各長辺面（Ｆ面およびＬ面）を幅方向中心で仮想的に分割し、長辺面の右側（Ｆ－Ｒ、Ｌ－Ｒ）および右短辺面（Ｅ－Ｒ）を含む鋳型１の右側半分の面を長辺面において１８０度回転させて、長辺面の左側（Ｆ－Ｌ、Ｌ－Ｌ）および左短辺面（Ｅ－Ｌ）を含む鋳型１の左側半分の面の上に接続する。このような変形後に各面を展開すると、図８に示すように、鋳型１の右側半分の面と左側半分の面とは、右側半分および左側半分での長辺面と短辺面との隣接関係は維持した状態で、それぞれの上端が接するように接続される。

【0037】

図８に示したように展開された熱伝達係数βまたは測温値Ｔ_{ｍ＿ｏｂｓ}の分布を示す２次元行列形式データでは、鋳型１の長辺面の幅方向中心に対して対称な位置にある深さ方向の測温点が１列に配置されるため、長辺面の幅方向における熱伝達係数βまたは測温値Ｔ_{ｍ＿ｏｂｓ}の分布の非対称性が、深さ方向の非対称性に変換される。つまり、変換後の２次元行列形式データは、鋳型１の各面における熱伝達係数βまたは測温値Ｔ_{ｍ＿ｏｂｓ}の幾何学的分布を反映し、かつ長辺面の幅方向における分布の非対称性を維持している。なお、連続鋳造機では鋳型１の短辺面を移動させて鋳造するスラブの幅を変更する場合があるが、その結果として短辺面よりも外側になり、溶鋼に接しないことになった長辺面の測温点のデータは、図８にＮＵＬＬとして示すように無効値（空白値またはヌル値など）を割り当てて、展開された面の外側に配置する。

【0038】

（溶鋼流動パターン認識工程）
溶鋼流動パターン認識工程（Ｓ１４）では、溶鋼流動パターン認識部１４０が、熱伝達係数βまたは測温値Ｔ_{ｍ＿ｏｂｓ}の分布と、予め定めた溶鋼流動パターンとの関係を学習済みの認識モデルを用いて、上記のデータサンプリング工程（Ｓ１１）または熱伝達係数推定工程（Ｓ１２）の処理時点での溶鋼流動パターンを認識する。溶鋼流動パターンは、少なくとも実績データを用いて浸漬ノズル２の位置（多くの場合鋳型１の長辺面の幅方向中心に一致する）を中心線とする右側と左側との間で熱伝達係数βまたは測温値Ｔ_{ｍ＿ｏｂｓ}の分布が対称であるか非対称であるか、非対称である場合はどのように非対称であるかを示す。例えば、熱伝達係数βまたは測温値Ｔ_{ｍ＿ｏｂｓ}が相対的に大きい測温点がある場合、当該測温点で銅板６に衝突または接近する溶鋼の流速が大きくなっていると推定されるため、溶鋼流動が当該測温点の側に偏っていることを示す溶鋼流動パターンを特定することができる。

【0039】

上述のように、鋳型１内の溶鋼流動は複雑であるため、例えば１つの長辺面内で２点の測温点のみの熱伝達係数βまたは測温値Ｔ_{ｍ＿ｏｂｓ}を比較することによって偏流の発生をもれなく検出することは困難である。従って、本実施形態では、図１に示したように鋳型１の全体に配置された測温点における熱伝達係数βまたは測温値Ｔ_{ｍ＿ｏｂｓ}を認識モデルの入力とし、入力データの少数の局所的な特徴ではなく入力データの全体に基づいて溶鋼流動パターンを認識する。従って、認識モデルとして、例えばニューラルネットワークやそれを多層化した深層学習モデルを用いると効果的である。

【0040】

溶鋼流動パターンの分類は、測温点の幾何学的な配置に基づいてマッピングされた熱伝達係数βまたは測温値Ｔ_{ｍ＿ｏｂｓ}のデータと、予め定めた各分類の代表的データとの類似性に基づいて判定される。各分類の代表的データは、例えば、特定の溶鋼流動パターン（例えばある種類の偏流）が発生している時の鋳型１内の溶鋼湯面の状態などについての操業上の知見から判定される溶鋼流動パターンを、熱伝達係数βまたは測温値Ｔ_{ｍ＿ｏｂｓ}の分布に結び付けることによって決定される。あるいは、各分類の代表的データは、鋳型１内の溶鋼流動の数値シミュレーションによる解析結果から推定される熱伝達係数βまたは測温値Ｔ_{ｍ＿ｏｂｓ}の分布に基づいて決定されてもよい。溶鋼流動パターンの分類は、操業上の知見などに基づいて決定されてもよいし、実績データについてｋ－ｍｅａｎｓ法などのクラスタリング手法を用いることによって自動的に決定されてもよい。あるいは、クラスタリング手法によって自動的に決定された分類を、操業上の知見などによって修正、統合、または分割してもよい。

【0041】

溶鋼流動パターン認識工程（Ｓ１４）で認識される溶鋼流動パターンの例を、以下の表１に示す。この例では、熱伝達係数βの鋳型表面上の値の分布に基づいて、浸漬ノズル２の各吐出口３における溶鋼流速の偏りの有無および偏りの方向、ならびに各吐出口３からの溶鋼流の方向の鋳型厚み方向中心線に対する傾きの有無および傾きの方向を組み合わせることによって、９種類の溶鋼流動パターンが設定されている。

【0042】

【表1】

【0043】

表１の左欄には、溶鋼流動パターンの分類名が示されている。表１の右欄には、鋳型１を上方から見たときの図であって、各溶鋼流動パターンの典型例が図示されている。矢印は、左右両方の吐出口３からの吐出流の主流方向を表している。矢印の大きさは主流の流速を表す。２つの矢印の方向および大きさの組み合わせが、偏流の有無および種類を示す。また、表１の右欄では、銅板６上の熱伝達係数βまたは測温値Ｔ_{ｍ＿ｏｂｓ}の分布が他の部分よりも相対的に大きい部分を黒色の帯によって図示している。なお、簡単のため、表１の右欄の図では熱伝達係数βまたは測温値Ｔ_{ｍ＿ｏｂｓ}の鋳型１の深さ方向での分布を表現していないが、上述の通り溶鋼流動パターンは、鋳型１の全体に配置された測温点における熱伝達係数βまたは測温値Ｔ_{ｍ＿ｏｂｓ}を認識モデルの入力として認識される。従って、例えば、鋳型１の異なる深さ方向位置で、表１の右欄の図に示すような熱伝達係数βまたは測温値Ｔ_{ｍ＿ｏｂｓ}の分布が異なる２つのケースは、異なる溶鋼流動パターンに分類されうる。

【0044】

ここで、上記のように鋳型１の異なる深さ方向位置で熱伝達係数βまたは測温値Ｔ_{ｍ＿ｏｂｓ}の分布が異なる２つのケースを、同じ溶鋼流動パターンに分類するか異なる溶鋼流動パターンに分類するかは、例えば後述する溶鋼流動制御工程（Ｓ１５）で用いる電磁ブレーキ装置の構成により決定すればよい。例えば、電磁ブレーキ装置が鋳型の長辺面の幅方向中心線の両側位置に１組ずつ配置されるような場合には、鋳型１の異なる深さ方向位置で熱伝達係数βまたは測温値Ｔ_{ｍ＿ｏｂｓ}の分布が異なる２つのケースが同じ溶鋼流動パターンに分類されるようにしてもよい。一方、電磁ブレーキ装置が鋳型の長辺面の幅方向中心線の両側で異なる深さ方向位置に１組ずつ、すなわち合計４組設置されるような場合には、鋳型１の深さ方向について電磁力の分布を変更することが可能なので、上記のような２つのケースを異なる溶鋼流動パターンに分類してもよい。

【0045】

（溶鋼流動制御工程）
溶鋼流動制御工程（Ｓ１５）では、溶鋼流動制御部１５０が、溶鋼流動パターン認識工程（Ｓ１４）において認識された溶鋼流動パターンに対して設定された行動価値に基づいて、電磁ブレーキ装置５のアクション、具体的には出力電流値の減少、保持、または増加を決定し、決定されたアクションを電磁ブレーキ装置５に実行させる。後述するように、行動価値は、制御パラメータ学習工程（Ｓ１６）において初期値から逐次更新されるが、例えば、鋳型１の長辺面の幅方向について溶鋼流速が非対称であることを示す溶鋼流動パターン（第１のパターン；例えば表１に示したパターンＰ２～Ｐ４、およびパターンＰ６～Ｐ８）が認識された場合に、当該溶鋼流動パターンによって示される溶鋼流動の非対称性を緩和するアクション、具体的には溶鋼流速が相対的に大きい側に配置された電磁ブレーキ装置の磁場出力が、溶鋼流速が相対的に小さい側に配置された電磁ブレーキ装置の磁場出力に対して相対的に上昇するようなアクションについて相対的に高い行動価値の初期値が設定されてもよい。

【0046】

上記の第１のパターンの例では、溶鋼流動の非対称性が浸漬ノズル２の左右の吐出口３での溶鋼流速の偏差が原因で生じるため、この偏差が小さくなるように電磁ブレーキ装置５を制御する。例えば、溶鋼流速が相対的に大きい側に配置された電磁ブレーキ装置５が電磁石の磁場出力を強めることによって、吐出流を減速させてもよい。あるいは、溶鋼流速が相対的に小さい側に配置された電磁ブレーキ装置５が電磁石の磁場出力を弱めることによって、吐出流を増速させてもよい。電磁石の磁場出力は、電磁石コイルへの印加電流に比例して変動する。従って、例えば電磁石コイルへの印加電流が既に上限値に近いような場合には、溶鋼流速が相対的に小さい側で電磁石の磁場出力を弱める制御が有効でありうる。

【0047】

上記のように、本実施形態において、鋳型１の長辺面に対向する位置に配置された２組の電磁ブレーキ装置５は、溶鋼流速が相対的に大きい側に配置された電磁ブレーキ装置５の磁場出力が、溶鋼流速が相対的に小さい側に配置された電磁ブレーキ装置５の磁場出力に対して相対的に上昇するように制御される。なお、このような制御が実行される前の時点で、両側の電磁ブレーキ装置５の磁場出力は必ずしも同じではないため、制御が実行された後の時点で、溶鋼流速が相対的に大きい側での電磁ブレーキ装置５の磁場出力が、溶鋼流速が相対的に小さい側での電磁ブレーキ装置５の磁場出力よりも大きくなるとは限らない（相対的に上昇するが、大小関係は変わらない場合がありうる）。

【0048】

（溶鋼流動制御工程で参照される行動価値）
表２は、溶鋼流動制御工程（Ｓ１５）で参照される行動価値テーブルの例を示す表である。本実施形態において、行動価値ｑは、溶鋼流動パターン認識工程（Ｓ１４）において認識される溶鋼流動パターンＰ（表１に示したパターンＰ１～Ｐ９）に対して電磁ブレーキ装置５のうち鋳型１の長辺面の幅方向左側に配置された電磁ブレーキ装置（左側電磁ブレーキ装置、または第１のブレーキ装置）、および同右側に配置された電磁ブレーキ装置（右側電磁ブレーキ装置、または第２のブレーキ装置）がそれぞれ実行可能な出力電流値に関する複数のアクション（電流減少のアクションａ_１、電流保持のアクションａ_２、電流増加のアクションａ_３）の組み合わせについて設定される。以下ではこのアクションの組み合わせを記号ａ_ＬＲｉ（ｉ＝１，・・・，９）として表す。ａ_ＬＲｉは、左側電磁ブレーキ装置の電流に対するアクションａ_Ｌ（ａ_１，ａ_２またはａ_３）および、右側電磁ブレーキ装置の電流に対するアクションａ_Ｒ（ａ_１，ａ_２またはａ_３）の組み合わせを（ａ_Ｌ，ａ_Ｒ）＝（ａ_１，ａ_１），（ａ_１，ａ_２），（ａ_１，ａ_３），（ａ_２，ａ_１），（ａ_２，ａ_２），（ａ_２，ａ_３），（ａ_３，ａ_１），（ａ_３，ａ_２），（ａ_３，ａ_３）の順で列挙したときのｉ番目の組み合わせを意味する。行動価値ｑｉは、アクションの組み合わせａ_ＬＲｉについて設定された行動価値を意味する。

【0049】

【表2】

【0050】

さらに、表２に示された例において、行動価値ｑｉは、左側電磁ブレーキ装置および右側電磁ブレーキ装置の出力電流実績値の組み合わせごとに設定される。さらに、行動価値ｑｉは、溶鋼流動パターンＰ、および電磁ブレーキ装置５の出力電流実績値をｍ段階に区分した区分値（ＳＬ１～ＳＬｍ，ＳＲ１～ＳＲｍ）の組み合わせごとに設定される。そして、溶鋼流動制御工程（Ｓ１５）においては、溶鋼流動制御部１５０は、溶鋼流動パターン認識工程（Ｓ１４）において認識された溶鋼流動パターン（パターンＰ１～Ｐ９のいずれか）と、データサンプリング工程（Ｓ１１）または熱伝達係数推定工程（Ｓ１２）の処理時点での電磁ブレーキ装置５の出力電流実績値（左側電磁ブレーキ装置について、ＳＬ１～ＳＬｍのいずれか。右側電磁ブレーキ装置について、ＳＲ１～ＳＲｍのいずれか）の組み合わせとをキーにして行動価値テーブルから抽出される行動価値ｑのセットを参照する。例えば、溶鋼流動パターンＰ２が認識され、左側電磁ブレーキ装置の出力電流実績値がＳＬ１、右側電磁ブレーキ装置の出力電流実績値がＳＲ２である場合、溶鋼流動制御部１５０は、左側電磁ブレーキ装置および右側電磁ブレーキ装置のアクションの組み合わせをａ_ＬＲｉ（ｉ＝１，・・・，９）のいずれかから決定するために行動価値ｑのセットｑｉ＝｛ｑ１_{Ｐ２＿ＳＬ１ＳＲ２}，ｑ２_{Ｐ２＿ＳＬ１ＳＲ２}，ｑ３_{Ｐ２＿ＳＬ１ＳＲ２}，・・・，ｑ７_{Ｐ２＿ＳＬ１ＳＲ２}，ｑ８_{Ｐ２＿ＳＬ１ＳＲ２}，ｑ９_{Ｐ２＿ＳＬ１ＳＲ２}｝を参照する。

【0051】

ここで、溶鋼流動制御工程（Ｓ１５）において、溶鋼流動制御部１５０は、例えば単純に行動価値ｑが最大になるアクションを選択して電磁ブレーキ装置５に実行させてもよい。この場合、例えば行動価値ｑのセットｑｉ＝｛ｑ１_{Ｐ２＿ＳＬ１ＳＲ２}，ｑ２_{Ｐ２＿ＳＬ１ＳＲ２}，ｑ３_{Ｐ２＿ＳＬ１ＳＲ２}，・・・，ｑ７_{Ｐ２＿ＳＬ１ＳＲ２}，ｑ８_{Ｐ２＿ＳＬ１ＳＲ２}，ｑ９_{Ｐ２＿ＳＬ１ＳＲ２}｝を参照して、最大の行動価値ｑがｑ８_{Ｐ２＿ＳＬ１ＳＲ２}であれば、アクションの組み合わせａ_ＬＲ８、すなわち（ａ_Ｌ，ａ_Ｒ）＝（ａ_３，ａ_２）、具体的には左側電磁ブレーキ装置の出力電流値をｍ段階の区分で１段階増加させ、右側電磁ブレーキ装置の出力電流値を保持するアクションが選択される。

【0052】

また、溶鋼流動制御部１５０は、例えば行動価値ｑから以下の式（１）によって算出される確率値prob1（ｑｉ）、または式（２）に示すような確率値prob2（ｑｉ）に従ってアクションを選択してもよい。ここで、式（２）におけるＴは温度パラメータと呼ばれるものであり、同じｑiの組み合わせに対して温度パラメータＴが小さいほど確率値の差が大きくなる。温度パラメータＴは、例えば後述するような報酬値が設定された場合に、最適アクション探索時のばらつきを調整するパラメータとして用いられる。

【0053】

【数3】

【0054】

上記のように、溶鋼流動制御部１５０が確率値に従ってアクションを選択することによって、処理時点において行動価値ｑが最大でないアクションが選択されるケースが生じる。より具体的には、例えば、参照された行動価値ｑのセットｑｉ＝｛ｑ１_{Ｐ２＿ＳＬ１ＳＲ２}，ｑ２_{Ｐ２＿ＳＬ１ＳＲ２}，ｑ３_{Ｐ２＿ＳＬ１ＳＲ２}，・・・，ｑ７_{Ｐ２＿ＳＬ１ＳＲ２}，ｑ８_{Ｐ２＿ＳＬ１ＳＲ２}，ｑ９_{Ｐ２＿ＳＬ１ＳＲ２}｝から算出される確率値がprob1（ｑ８_{Ｐ２＿ＳＬ１ＳＲ２}）＝０．５０、prob1（ｑ４_{Ｐ２＿ＳＬ１ＳＲ２}）＝０．３０、prob1（ｑ５_{Ｐ２＿ＳＬ１ＳＲ２}）＝０．１０，・・・である場合、平均すれば１０回のうち５回はａ_ＬＲ８、すなわち「左側電流増加かつ右側電流保持」のアクションが選択されるが、うち３回はａ_ＬＲ４、すなわち「左側電流保持かつ右側電流減少」のアクションが選択され、１回はａ_ＬＲ５、すなわち「左側電流保持かつ右側電流保持」のアクションが選択されることになる。このような行動価値ｑが最大でないアクションの選択は、後述する制御パラメータ学習工程（Ｓ１６）において行動価値の更新を実施する場合の最適アクションの探索にあたる。

【0055】

（制御パラメータ学習工程）
制御パラメータ学習工程（Ｓ１６）では、制御パラメータ学習部１６０が、電磁ブレーキ装置５による溶鋼流動制御の結果に基づいて上述したように、溶鋼流動制御工程（Ｓ１５）で選択されたアクションに関する行動価値ｑの少なくとも一部を逐次更新する（本実施形態の例では強化学習による更新）。より具体的には、制御パラメータ学習工程（Ｓ１６）において、制御パラメータ学習部１６０は、溶鋼流動制御工程（Ｓ１５）で選択されたアクションを電磁ブレーキ装置５が実行した結果に対応する報酬値ｒと、行動価値ｑの連続的な増加を抑制する補正値である時間遅れ報酬値ρとの差分に基づいて、選択されたアクションについて設定された行動価値ｑを更新する。

【0056】

上記の報酬値ｒは、電磁ブレーキ装置５によるアクションの実行、具体的には出力電流値の減少、保持、または増加によって、溶鋼流動パターン認識工程（Ｓ１４）により溶鋼流動の非対称性を緩和されたと認識された場合、アクションについて設定された行動価値ｑを上昇させるように設定される。また、報酬値ｒは、電磁ブレーキ装置５によるアクションの実行によって、溶鋼流動パターン認識工程（Ｓ１４）により溶鋼流動の非対称性が増長されたと認識された場合、アクションについて設定された行動価値ｑを低下させるように設定される。

【0057】

上記の時間遅れ報酬値ρ（ｔ）は、報酬値ｒの時系列データから算出される。つまり、時刻ｔにおける時間遅れ報酬値ρ（ｔ）は、時刻ｔよりも前の少なくとも１つの時刻の報酬値ｒ（ｔ－τ）から算出される。なお、以下の説明において時刻ｔは整数であり、データサンプリング工程（Ｓ１１）および溶鋼流動制御工程（Ｓ１５）が実行される周期ごとに・・・，ｔ－１，ｔ，ｔ＋１，・・・のように進行する。

【0058】

単純な例としては、式（３）のように所定の時間間隔ｔ_ＩＮＴだけ過去の報酬値ｒ（ｔ－ｔ_ＩＮＴ）を時間遅れ報酬値ρ（ｔ）としてもよい。この場合、報酬値ｒ（ｔ）と時間遅れ報酬値ρ（ｔ）との差分は、報酬値ｒ（ｔ）の大きさにかかわらず、過去の報酬値ｒ（ｔ－ｔ_ＩＮＴ）に比べて最新の報酬値ｒ（ｔ）が大きければ正の値、小さければ負の値、同程度であれば０に近い値になる。従って、時間遅れ報酬値ρ（ｔ）を補正値として用いることによって、正の値の報酬値ｒが連続して与えられた場合にも行動価値ｑの連続的な増加を抑制することができる。

【0059】

【数4】

【0060】

あるいは、式（４）のようにデータ数Ｎｍ（Ｎｍ＞０）を用いて平均区間の長さを規定し、報酬値ｒ（ｔ）の移動平均演算結果を時間遅れ報酬値ρ（ｔ）としてもよい。この場合、報酬値ｒ（ｔ）と時間遅れ報酬値ρ（ｔ）との差分は、報酬値ｒ（ｔ）の大きさにかかわらず、過去の時刻ｔ－Ｎｍから時刻ｔまでの報酬値ｒ（ｔ）の平均値に比べて最新の報酬値ｒ（ｔ）が大きければ正の値、小さければ負の値、同程度であれば０に近い値になる。従って、上記の式（３）の例と同様に、時間遅れ報酬値ρ（ｔ）を補正値として用いることによって、正の値の報酬値ｒが連続して与えられた場合にも行動価値ｑの連続的な増加を抑制することができる。移動平均を用いることによって、報酬値ｒ（ｔ）の一時的な変動が時間遅れ報酬値ρ（ｔ）に与える影響を緩和し、行動価値ｑを安定的に推移させることができる。

【0061】

【数5】

【0062】

また、式（５）のように、パラメータｂ（０＜ｂ＜１）を用いた報酬値ｒ（ｔ）の指数平滑演算結果を時間遅れ報酬値ρ（ｔ）としてもよい。この場合も、上記の式（３）および式（４）の例と同様に時間遅れ報酬値ρ（ｔ）を補正値として用いることによって、正の値の報酬値ｒが連続して与えられた場合にも行動価値ｑの連続的な増加を抑制することができる。指数平滑演算結果を用いることによって、報酬値ｒ（ｔ）の一時的な変動が時間遅れ報酬値ρ（ｔ）に与える影響を緩和し、行動価値ｑを安定的に推移させることができる。

【0063】

【数6】

【0064】

鋳型１内の溶鋼流動は乱流発生のためにばらつきが大きく、例えば数値解析モデルによって流動シミュレーション計算を実施しても、結果を正しく予測することは容易ではない。そこで、制御パラメータ学習工程（Ｓ１６）では、溶鋼流動制御工程（Ｓ１５）における確率値に従ったアクションの選択を最適アクションの探索として利用して、溶鋼流動の非対称性を緩和するためにより適切なアクションの行動価値ｑが相対的に高く設定され、そうではないアクションの行動価値ｑが相対的に低く設定されるように、行動価値ｑを逐次更新する。

【0065】

上記で表２に示した例のように行動価値ｑが設定される場合、行動価値ｑは例えば以下に示す式（６）および式（７）を用いて更新される。式（６）では、時刻ｔ－１の時点において選択されたアクションの組み合わせａ_ＬＲｉ（ｔ－１）に対する行動価値ｑｉ（ｔ－１）の修正量Δｑｉ（ｔ－１）を、時刻ｔの時点における報酬値ｒ（ｔ）、時間遅れ報酬値ρ（ｔ）、および時刻ｔにおいて取りうるアクションの組み合わせａ_ＬＲｉに対する行動価値の最大値に基づいて算出する。行動価値ｑｊ（ｔ－１）_{Ｐｎ（ｔ）＿ＳＬ（ｔ）ＳＲ（ｔ）}は、電磁ブレーキ装置５が時刻ｔ－１の溶鋼流動制御工程（Ｓ１５）で選択されたアクションａ_ＬＲｉ（ｔ－１）を実行した結果である各電磁ブレーキ装置の出力電流ＳＬ（ｔ），ＳＲ（ｔ）、および溶鋼流動パターンＰｎ（ｔ）に対して、時刻ｔにおいて電磁ブレーキ装置５が実行可能な複数のアクションの組み合わせａ_ＬＲｊ（ｔ－１）（出力電流値の減少、保持、または増加）に対してそれぞれ設定されている。式（７）では、式（６）で算出された修正量Δｑｉ（ｔ－１）を用いて、時刻ｔ－１の時点における行動価値ｑｉ（ｔ－１）を更新して時刻ｔの時点における行動価値ｑｉ（ｔ）を得る。

【0066】

【数7】

【0067】

本実施形態において、式（６）の報酬値ｒは、例えば鋳型１内の溶鋼流動が対称である場合（例えば、表１に示したパターンＰ１が認識された場合）には正の値をとる。加えて、電磁ブレーキ装置５の出力電流値が例えば数値シミュレーションなどの事前のプロセス知識による平均的な設定値に近いほど大きくなるように報酬値ｒを設定してもよい。上記の場合、報酬値ｒは、鋳型１内の溶鋼流動が非対称である場合（例えば、表１に示されたパターンＰ２～Ｐ９が認識された場合）は０または負の値をとる。加えて、溶鋼流動が偏っている側で電磁ブレーキ装置５の出力電流値が相対的に低いほど小さくなるように報酬値ｒを設定してもよい。一方、式（６）において行動価値ｑｊ（ｔ）の最大値に乗じる定数γは、０≦γ≦１の値をとり、時刻ｔ－１の時点において選択されたアクションの行動価値ｑｉ（ｔ－１）の修正量Δｑｉ（ｔ－１）に反映させる、将来の時刻ｔにおける最良のアクションの選択によって得られる行動価値を割り引いて評価に加える作用を持つ。γ＝０にすると、将来における最良の行動価値は時刻ｔ－１において実際に選択されたアクションの行動価値ｑに反映されない。ａは、学習の速度を定める、０＜ａ＜１の値をとる定数である。

【0068】

ここで、実際の操業を考慮した場合、例えば新品の浸漬ノズル２を使用する鋳造初期においては、浸漬ノズル２の左右の吐出口３での溶鋼流速の偏差が小さく、従って溶鋼偏流は発生しにくい。鋳造が進行するにつれて、浸漬ノズル２の内壁への溶鋼中介在物の付着によって一方の吐出口３が詰まり、それによって詰まりが発生していない側の吐出口３との溶鋼流速の偏差が大きくなることによって溶鋼偏流が定常的に発生する。このように、溶鋼偏流は介在物の付着という偶発的な要因によって発生するため、発生時期や発生状況を予測することは困難である。また、吐出口３に詰まりが生じた場合の溶鋼流速の偏差も、詰まりの位置や大きさ、および詰まりによる溶鋼の乱流発生状況によって変動するため、事前にどの程度の溶鋼流速の偏差が生じ、それによってどのような溶鋼偏流が発生するかを予測することも困難である。

【0069】

上記の前提に立った場合、鋳造初期においては、溶鋼偏流が発生しない状態で行動価値ｑの更新が繰り返されることになる。この間、最も高い確率で選択されるアクションは「左側電流保持かつ右側電流保持」であり、当該アクションが実行された後も溶鋼偏流は発生せず、溶鋼流動は対称であるため、正の報酬値ｒが与えられる。この場合において、上記の式（６）で時間遅れ報酬値ρを考慮しないと仮定すると、鋳造初期において上記アクションの行動価値ｑ５（ｔ－１）は単調増加して他のアクションの行動価値ｑに対して著大になる。そうすると、上記で式（１）や式（２）に示したように確率値に従ってアクションを選択しても、「左側電流保持かつ右側電流保持」以外のアクションがほとんど選択されなくなる。

【0070】

そのような状況で、吐出口３の詰まりによって溶鋼偏流が発生しても、最適アクションの探索によって溶鋼偏流を緩和できるアクションが発見されるまでには長い時間がかかるか、またはそのようなアクションが発見されない。また、上述のように溶鋼偏流の発生時期を予測することは困難であるため、鋳造初期において行動価値ｑの更新の開始を遅延させることによって上記のような事態を回避することは困難である。

【0071】

そこで、本実施形態では、上述した式（６）において、報酬値ｒ（ｔ）ではなく、報酬値ｒ（ｔ）と時間遅れ報酬値ρ（ｔ）との差分から行動価値ｑｉ（ｔ－１）の修正量Δｑｉ（ｔ－１）を算出する。この操作によって、行動価値ｑの強化学習において、単一の状態が継続することによって特定のアクションの行動価値が著大になることが抑制される。具体的には、例えば「左側電流保持かつ右側電流保持」のアクションに対して同じ正の報酬値ｒが与えられ続けた場合であっても、時間が経過するにつれて報酬値ｒ（ｔ）と時間遅れ報酬値ρ（ｔ）との差分が０に収束するため、行動価値ｑ５（ｔ－１）が単調増加せず、他のアクションに対して著大になることがない。従って、本実施形態では、その後に吐出口３の詰まりによって溶鋼偏流が発生した場合に、最適アクションの探索によって溶鋼偏流を緩和できるアクションを比較的短時間のうちに発見することができる。

【実施例】

【0072】

次に、上記の実施形態に係る溶鋼流動制御方法の実施例について説明する。実施例で使用した連続鋳造機は、図１に示したような鋳型１付近の構成であり、浸漬ノズル２の左右両側（鋳型１の長辺面に対向する位置）にそれぞれ、直流電磁石コイルを備えた電磁ブレーキ装置５が配置される。電磁ブレーキ装置５は、演算装置１０から送信される制御信号に従って、電磁石コイルに印加する電流値を制御することが可能である。測温装置４は、鋳型１の各長辺面では１２列６段、各短辺面では３列６段（列はｘ軸方向、段はｚ軸方向）で配置された。また、認識モデルの構築のために、予め集計された操業データ（具体的には、鋳造速度、電磁ブレーキ印加電流、湯面レベル測定値、スライドゲート開度、タンディッシュ溶鋼重量等）および測温装置４による測温値のデータから、鋳型１の各面全域における熱伝達係数α（ｘ，ｚ，ｔ）、熱伝達係数β（ｘ，ｚ，ｔ）、および凝固シェル厚みｓ（ｘ，ｚ，ｔ）の分布を算出し、これと鋳造条件（具体的には、鋳型幅、鋳型厚、モールドフラックス種類、鋼種、溶鋼成分等）をリンクしたレコードを蓄積したデータベースを作成した。

【0073】

本実施例では、認識モデルとして、図９に示すような７層の多層型ニューラルネットワーク、いわゆる深層学習モデルを用いた。上記で説明したようなデータ形式変換工程によって、鋳型１の全体に配置された測温点のデータを１２行１５列の行列に変換した。さらに行列の各成分を３行３列の同じ値をもつ行列に拡大し、行方向および列方向について元の行列の３倍の大きさをもつ、３６行４５列の行列を認識モデルの入力データとした。この例を図１０に示す。

【0074】

本認識モデルにおいて、ネットワークは中間層が５層、出力層が１層である。中間層の第１層および第３層は畳み込み層と呼ばれ、畳み込みネットワークと呼ばれる機能を有する。これは、上流側の層から出力された行列データ（最上流層は入力データ）に対して、フィルタと呼ばれる４行４列の部分行列の各成分に重み係数を乗じた和に、ＲｅＬＵ（Rectified Linear Unit）関数と呼ばれるｙ＝０（ｘ＜０の場合）またはｙ＝ｘ（０≦ｘの場合）となる非線形関数を作用させる。このようなフィルタに対する操作を、上流側の層から出力された行列データの（１，１）成分の位置から行方向および列方向に、部分行列が重なりをもつようにずらしながら実行する。畳み込み層は、１６個の係数をもつフィルタを複数個もち、上流側の層から出力された行列データに対して上記のように位置をずらしながら実行した操作によって生成されたデータを再び（１，１）成分の位置に合わせて行列形式に配置することによって、フィルタ個数分の出力データ行列をもつ。本実施例では、中間層の第１層が５０個のフィルタをもち、第３層が１００個のフィルタをもつ。

【0075】

中間層の第２層および第４層は最大値プーリング層と呼ばれ、上流側の層から出力された行列データから２行２列の部分行列を取り出し、その中の最大値を部分行列の代表値として出力する機能を有する。最大値プーリング層は、畳み込み層とは異なり、上流側の層から出力された行列データの（１，１）成分の位置から部分行列が重なり合わないようにずらしながら上記の操作を実行し、生成されたデータを再び（１，１）成分の位置に合わせて行列形式に配置することによって、行列データのサイズを縮小する。これを畳み込み層の各フィルタによって出力される行列データに対して繰り返す。本実施例では、中間層の第２層が５０個のプーリング結果行列をもち、第４層が１００個のプーリング結果行列をもつ。

【0076】

中間層の第５層は全結合ネットワークと呼ばれ、５００個のＲｅＬＵ関数からなるベクトルデータを出力する。各関数は、第４層の最大値プーリング層から出力される行列データの各成分に対して各ＲｅＬＵ関数に対応する重み係数を用いた線形結合を入力として、各入力に対してＲｅＬＵ関数を作用させることによって算出される。

【0077】

出力層は、上記で表１に示した溶鋼流動パターンの分類の数と同じ１１個の線形結合関数からなり、中間層の第５層の出力値に対して各分類に対応する重み係数を用いた線形結合和を出力値として算出する。本認識モデルの出力は溶鋼流動パターンの分類であるが、分類の選び方としてはソフトマックス法と呼ばれる、各分類に対応する出力層の線形結合関数出力に対する指数の自然指数関数に比例する確率でいずれかの分類を選択する方法を用いた。

【0078】

本実施例における認識モデルの学習は、上記で説明したＲｅＬＵ関数または線形結合関数の重み係数を、教師データの認識誤差が最小になるように最適化することである。本実施例では、データベースに蓄積された各レコードに与えた分類結果に対して、レコードに含まれる測温装置４による測温値Ｔ_{ｍ＿ｏｂｓ}を入力とする認識モデルを作成した。従って、入力データは各測温点の測温値Ｔ_{ｍ＿ｏｂｓ}からなる行列である。認識モデルの最適化には、誤差逆伝搬法を用いた。

【0079】

（溶鋼流動制御および行動価値の更新）
本実施例では、溶鋼流動パターン認識工程（Ｓ１４）において表１に示した９つの溶鋼流動パターンＰ１～Ｐ９が認識されるものとし、左側および右側の電磁ブレーキ装置の出力電流実績値を弱（ＳＬ１，ＳＲ１）、中（ＳＬ２，ＳＲ２）、および強（ＳＬ３，ＳＲ３）の３段階に区分する（表２においてｍ＝３）。左側および右側の電磁ブレーキ装置の出力電流実績値の組み合わせは、３×３＝９通りである。また、左側および右側の電磁ブレーキ装置について選択可能なアクションは、左側および右側の電磁ブレーキ装置の出力電流値の減少、保持、または増加の組み合わせで、３×３＝９通りである。従って、本実施例において行動価値ｑは９×９＝８１通り設定される。なお、溶鋼流動制御部１５０は行動価値ｑから上記の式（２）で算出される確率値prob2（ｑｉ）に従ってアクションを選択するものとし、温度パラメータＴは１０とした。

【0080】

その一方で、本実施例では、時刻ｔ＋１における溶鋼流動パターンＰｊ（ｔ＋１）が、時刻ｔにおける溶鋼流動パターンＰｊ（ｔ）と、左側および右側の電磁ブレーキ装置の出力電流実績値ＳＬｋ（ｔ），ＳＲｋ（ｔ）によって定まる確率分布に従って発生するものとする。この確率分布に以下の表３～表１４のような値を設定して、溶鋼流動の時間応答特性をモデル化した。上述した制御パラメータ学習工程（Ｓ１６）が適切に実行されれば、行動価値ｑは溶鋼流動の時間応答特性に適応して最適化されるはずである。なお、時刻ｔは１０秒を１単位として逐次更新されるものとする。

【0081】

（１）浸漬ノズルに詰まりがなく左右の吐出孔に均等に溶鋼が流出している場合
表３～表５は、左側および右側のそれぞれの電磁ブレーキ装置の出力電流値が同じである場合の確率分布である。この場合、確率分布は出力電流値が強いほど偏りがない状態の安定性が強いことを反映している。

【0082】

【表3】

【0083】

【表4】

【0084】

【表5】

【0085】

表６および表７は、左側電磁ブレーキ装置の出力電流値が右側電磁ブレーキ装置の出力電流値よりも強い場合の確率分布である。この場合、確率分布は左側吐出口からの溶鋼流に対する減速効果を反映し、右側に偏った流動分布になる確率が相対的に高くなる。出力電流値の差が大きいほど、上記の傾向は強くなる。

【0086】

【表6】

【0087】

【表7】

【0088】

表８および表９は、右側電磁ブレーキ装置の出力電流値が左側電磁ブレーキ装置の出力電流値よりも強い場合の確率分布である。この場合、確率分布は右側吐出口からの溶鋼流に対する減速効果を反映し、左側に偏った流動分布になる確率が相対的に高くなる。出力電流値の差が大きいほど、上記の傾向は強くなる。

【0089】

【表8】

【0090】

【表9】

【0091】

（２）右側の浸漬ノズル吐出孔に詰まりがあり、左側吐出孔からの溶鋼流出量が多い場合
表１０および表１１は、左側および右側のそれぞれの電磁ブレーキ装置の出力電流値が同じである場合の確率分布である。この場合、確率分布は左側に偏った流動分布が継続しやすく、一度右側に流れが偏った場合にのみ、次の時刻に偏りがない流動分布になりやすいことを反映している。

【0092】

【表10】

【0093】

【表11】

【0094】

表１２～表１４は、上記のような右側詰まりの状況で、左側電磁ブレーキ装置の出力電流値が右側電磁ブレーキ装置の出力電流値よりも強い場合の確率分布である。表１２および表１３の確率分布では、電磁ブレーキ装置の作用で右側詰まりの影響が打ち消され、偏りのない分布に遷移する確率が高くなる。一方、出力電流値の差がより大きい表１４の確率分布では、左側吐出孔の溶鋼流の減速効果が過剰であり、右側に偏った分布に遷移する確率が高くなる。

【0095】

【表12】

【0096】

【表13】

【0097】

【表14】

【0098】

表１５および表１６は、上記のような右側詰まりの状況で、右側電磁ブレーキ装置の出力電流値が左側電磁ブレーキ装置の出力電流値よりも強い場合の確率分布である。

【0099】

【表15】

【0100】

【表16】

【0101】

（３）左側の浸漬ノズル吐出孔に詰まりがあり、右側吐出孔からの溶鋼流出量が多い場合
この場合の流動分布の遷移確率分布は、上記の（２）の場合の遷移確率分布の左側と右側とを入れ替えたものなので、詳細な説明は省略する。

【0102】

表１７に、本実施例で設定した左側電磁ブレーキ装置と右側電磁ブレーキ装置の報酬値ｒ（Ｐｊ，ＳＬｋ，ＳＲk）を示す。鋳型１内の溶鋼流動が対称である場合（パターンＰ１）には報酬値ｒを正の値に設定した。一方、鋳型１内の溶鋼流動が右側または左側短辺のいずれかに偏っている場合、左右両側の電磁ブレーキ装置の出力電流値が等しい場合または、流動の偏っている方向と反対側の出力電流値が大きい場合には報酬値ｒを負の値にし、さらに流動の偏っている方向と反対側の出力電流値が大きい場合には流動の偏りを助長するため、報酬値の絶対値を大きい負の値に設定する。なお、溶鋼流動の偏りの方向が両側短辺方向以外の場合には、報酬値ｒを０に設定した。

【0103】

【表17】

【0104】

（行動価値の初期値設定）
本実施例において、行動価値ｑは、新品の浸漬ノズル２を用いた鋳造開始時に、鋳型内溶鋼流動に偏りがなく、左側の電磁ブレーキ装置の出力電流（ＳＬ）および右側の電磁ブレーキ装置の出力電流（ＳＲ）の実績値が等しく、かつＳＬおよびＳＲを保持するアクションについて最大になるような初期値に設定される。これは、上述のように、鋳造初期は吐出口３の詰まりがなく、溶鋼偏流が発生する可能性が低いことを反映している。

【0105】

具体的には、溶鋼流動パターンがＰ１（偏流なし）、ＳＬおよびＳＲの実績値がいずれも最大（ＳＬｍ，ＳＲｍ）である場合に、ＳＬおよびＳＲを保持するアクションの行動価値ｑ５_{Ｐ１＿ＳＬｍＳＲｍ}の値を、正の値で全行動価値について最大とする。また、溶鋼流動パターンがＰ３（左方向偏り）、ＳＬの実績値が最大以外（ＳＬ１～ＳＬ（ｍ－１））である場合に、ＳＬを増加させＳＲを保持するアクションの行動価値ｑ８_{Ｐ３ＳＬｍ１ＳＲｍ２}およびｑ４_{Ｐ３ＳＬｍ１Ｒｍ２}（ｍ_１＜ｍ_２）の値と、溶鋼流動パターンがＰ７（右方向）、ＳＲの実績値が最大以外（ＳＲ１～ＳＲ（ｍ－１））である場合に、ＳＬを保持しＳＲを増加させるアクションの行動価値ｑ６_{Ｐ７ＳＬｍ１Ｒｍ２}およびｑ２_{Ｐ７ＳＬｍ１ＳＲｍ２}（ｍ_１＞ｍ_２）の値とを全行動価値で２番目に大きい値とする。このような設定でアクションの実行と行動価値ｑの更新とを繰り返すと、ＳＬおよびＳＲをいずれも最大にするようにアクションが選択される。

【0106】

さらに、ＳＬおよびＳＲを同時に変動させるアクションの行動価値ｑ１＊、ｑ９＊、ｑ３＊およびｑ７＊（＊は任意の溶鋼流動パターンおよび電流値の組み合わせを表す）の値は、負の値であり、かつ同じ溶鋼流動パターンおよび電流値の組み合わせの中で負の値で最小とする。また、上記以外の行動価値には０を設定する。このような設定でアクションの実行と行動価値ｑの更新とを繰り返すと、ＳＬおよびＳＲのいずれかのみを変動させるアクションが比較的選択されやすくなる。

【0107】

（シミュレーション結果）
以下では、本実施例におけるシミュレーション結果について説明する。シミュレーションでは、鋳造開始時から９０分経過時までは浸漬ノズルに詰まりがなく、溶鋼流動パターンＰｊ（ｔ）が上記で表３～表９に示した確率分布に従って発生する。９０分経過後に、右側の浸漬ノズル吐出孔に詰まりが発生し、以降の溶鋼流動パターンＰｊ（ｔ）は表１０～表１６に示した確率分布に従って発生する。行動価値ｑの学習において、上記の式（６）におけるγの値は１とし、式（７）における行動価値の学習の速度を定める定数ａは０．１とした。

【0108】

図１１Ａ、図１２Ａおよび図１３Ａは、比較例および実施例における流動分類（溶鋼流動パターンＰｊ（ｔ））の時系列変化を示す。図１１Ｂ、図１２Ｂおよび図１３Ｂは、比較例および実施例における行動価値ｑ５_{Ｐ１＿ＳＬ３ＳＲ３}、すなわち溶鋼流動パターンがＰ１（偏流なし）、ＳＬおよびＳＲの実績値がいずれも最大である場合に、ＳＬおよびＳＲを保持するアクションの行動価値の時系列変化を示す。この行動価値ｑ５_{Ｐ１＿ＳＬ３ＳＲ３}は、浸漬ノズルに詰まりがない場合に、偏流のない状態を維持するために最適なアクションの行動価値である。一方、図１１Ｃ、図１２Ｃおよび図１３Ｃは、比較例および実施例における行動価値ｑ５_{Ｐ１＿ＳＬ３ＳＲ２}、すなわち溶鋼流動パターンがＰ１（偏流なし）、ＳＬの実績値が「強」（ＳＬ３）、ＳＲの実績値が「中」（ＳＲ２）である場合に、ＳＬおよびＳＲを保持するアクションの行動価値の時系列変化を示す。この行動価値ｑ５_{Ｐ１＿ＳＬ３ＳＲ２}は、右側の浸漬ノズル吐出孔に詰まりが発生している場合に、偏流のない状態を維持するために最適なアクションの行動価値である。

【0109】

（シミュレーション結果：比較例１）
図１１Ａ～図１１Ｃは、上記のような設定に対して、制御パラメータ学習工程（Ｓ１６）による行動価値ｑの更新を行わなかった場合のシミュレーション結果を示す。この場合、図１１Ｂおよび図１１Ｃに示すように行動価値ｑの値は変化しない。結果として、上記で説明したような行動価値ｑの初期値設定に従ったアクションの選択が鋳造開始から９０分経過後も継続され、右側の浸漬ノズル吐出孔に詰まりが生じたことによる溶鋼偏流は緩和されていない（左方向偏りを示す分類Ｐ３の発生頻度が高い）。

【0110】

（シミュレーション結果：比較例２）
図１２Ａ～図１２Ｃは、制御パラメータ学習工程（Ｓ１６）による行動価値ｑの更新を行うが、上記の式（６）において時間遅れ報酬値ρを考慮しない場合のシミュレーション結果を示す。この場合、図１２Ｂに示すように、鋳造開始から９０分経過時までの溶鋼偏流が発生しない時間帯において行動価値ｑ５_{Ｐ１＿ＳＬ３ＳＲ３}が１未満の初期値から２０に近い値までほぼ単調増加し、他の行動価値ｑに対して著大になる。鋳造開始から９０分経過後は報酬値ｒ（ｔ）が変化したことによって行動価値ｑ５_{Ｐ１＿ＳＬ３ＳＲ３}の値が低下するが、それでも他の行動価値ｑに対して依然として大きく、ＳＬおよびＳＲを保持するアクション以外のアクションが選択される確率は低い。結果として、図１２Ｃに示すように右側の浸漬ノズル吐出孔に詰まりが発生している場合に偏流のない状態を維持するために最適なアクションの行動価値ｑ５_{Ｐ１＿ＳＬ３ＳＲ２}の値はほぼ０のままであり、溶鋼偏流が緩和される時間帯はあるものの偏流のない状態は維持されない（偏流のない状態を示す分類Ｐ１と左方向偏りを示す分類Ｐ３とが交互に発生している）。

【0111】

（シミュレーション結果：実施例）
図１３Ａ～図１３Ｃは、制御パラメータ学習工程（Ｓ１６）による行動価値ｑの更新を行い、さらに上記の式（６）において時間遅れ報酬値ρを考慮した場合のシミュレーション結果を示す。時間遅れ報酬値ρ（ｔ）は、上記の式（５）でパラメータｂ＝０．２として算出した。この場合、図１３Ｂに示すように、鋳造開始から９０分経過時までの溶鋼偏流が発生しない時間帯において行動価値ｑ５_{Ｐ１＿ＳＬ３ＳＲ３}が単調増加することがなく、むしろ減少する。ただし、減少しても他の行動価値ｑよりも大きいため、ＳＬおよびＳＲを保持するアクションが選択される確率が最も高く、溶鋼偏流が発生しない状態は維持されている。鋳造開始から９０分経過後は、報酬値ｒ（ｔ）が変化したことによって行動価値ｑ５_{Ｐ１＿ＳＬ３ＳＲ３}の値が低下する。低下する前の値が上記の比較例２と比べて小さいため、早い段階でＳＬおよびＳＲを保持するアクション以外のアクションが選択される確率が上昇する。結果として、図１３Ｃに示すように、ある時点（鋳造開始から約１０５分経過後）から行動価値ｑ５_{Ｐ１＿ＳＬ３ＳＲ２}の値が上昇し、右側の浸漬ノズル吐出孔に詰まりが発生している場合に偏流のない状態を維持するために最適なアクションが選択される確率が上昇する。これによって、実施例では、溶鋼偏流が緩和され、かつ上記の時点以降は偏流のない状態が維持された（左方向偏りを示す分類Ｐ３の発生が減り、偏流のない状態を示す分類Ｐ１が多くなった）。

【0112】

（時間遅れ報酬値の比較）
図１４Ａおよび図１４Ｂは、上述した比較例１（学習なし）、比較例２（報酬値のみａ＝０．１）、および実施例（遅れ報酬値：指数平滑ｂ＝０．２）と、時間遅れ報酬値ρ（ｔ）を他の方法で算出した実施例（遅れ報酬値：時間遅れ１００秒、および遅れ報酬値：移動平均１０回）とについて、シミュレーション結果における分類区分Ｐ１（偏流なし）および分類区分Ｐ３（左方向偏り）の比率を経過時間３０分ごとに示すグラフである。「時間遅れ１００秒」では、上記の式（３）においてｔ_ＩＮＴ＝１００秒として時間遅れ報酬値ρ（ｔ）を算出した。「移動平均１０回」では、上記の式（４）においてＮｍ＝１０として時間遅れ報酬値ρ（ｔ）を算出した。

【0113】

図示されているように、鋳造開始から９０分経過後の時間帯において、比較例１では分類区分Ｐ１（偏流なし）の比率が大きく低下し、分類区分Ｐ３（左方向偏り）の比率が上昇している。一方、比較例２では分類区分Ｐ１（偏流なし）の比率が比較例１よりも高いが、分類区分Ｐ３（左方向偏り）の比率は比較例１と同程度である。これは、図１２Ａにも示したように溶鋼偏流が緩和される時間帯はあるものの偏流のない状態は維持されないためである。

【0114】

これに対して、実施例では、いずれも鋳造開始から９０分経過後の時間帯において分類区分Ｐ１（偏流なし）の比率の低下および分類区分Ｐ３（左方向偏り）の比率の上昇が抑制されている。「移動平均１０回」の場合、分類区分Ｐ１（偏流なし）の比率は比較例２と同程度であるが、分類区分Ｐ３（左方向偏り）の比率は比較例２よりも大幅に低い。これは、溶鋼偏流が緩和され、かつ偏流のない状態が維持されるように行動価値ｑが更新されるためである。「移動平均１０回」および「指数平滑ｂ＝０．２」では、鋳造開始から９０分経過後の時間帯における分類区分Ｐ１（偏流なし）の比率の上昇、および分類区分Ｐ３（左方向偏り）の比率の低下がさらに顕著である。これらの例では、学習によって溶鋼偏流が緩和され、かつ偏流のない状態が維持されるより適切な行動価値ｑが設定されていると考えられる。

【0115】

なお、上述した実施例では認識モデルを７層ニューラルネットワークとしたが、例えば溶鋼流動の変動範囲が小さく、溶鋼流動パターンの分類がより少なくてよい場合には、ニューラルネットワークの中間層の数や、各中間層のフィルタの数を少なくしてもよい。逆に、溶鋼流動の変動範囲が大きい場合や、電磁ブレーキ装置５のような溶鋼流動制御手段が鋳型１の３つ以上の領域で個別に溶鋼流動を制御可能である場合には、ニューラルネットワークの中間層の数や、各中間層のフィルタの数を多くしてもよい。具体的には、例えば、電磁ブレーキ装置５が鋳型１の深さ方向について複数配置される場合、深さ方向の溶鋼流動の分布を含んで定義される溶鋼流動パターンを認識し、深さ方向で適切な位置にある電磁ブレーキ装置５を制御することによってより効果的に偏流を緩和できる。

【0116】

また、上述した実施例では溶鋼流動パターンによって鋳型１内の溶鋼流速が非対称であることを認識したが、この例には限られず、例えば溶鋼流動パターンによって鋳型１の長辺面の幅方向の左右いずれかの側における溶鋼流速が実績データに基づく平均流速値よりも高いことを認識してもよい。この場合、行動価値ｑの初期値は、左側および右側の電磁ブレーキ装置のうち、溶鋼流速が平均流速値よりも高い側に配置された電磁ブレーキ装置の磁場出力が上昇するような左側または右側の電磁ブレーキ装置のアクションについて相対的に高く設定されてもよい。

【0117】

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

【符号の説明】

【0118】

１…鋳型、２…浸漬ノズル、３…吐出口、４…測温装置、５…電磁ブレーキ装置、６…銅板、７…冷却水、８…凝固シェル、９…モールドフラックス、１０…演算装置、１００…溶鋼流動制御装置、１１０…データサンプリング部、１２０…熱伝達係数推定部、１３０…データ形式変換部、１４０…溶鋼流動パターン認識部、１５０…溶鋼流動制御部、１６０…制御パラメータ学習部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11A】

【図11B】

【図11C】

【図12A】

【図12B】

【図12C】

【図13A】

【図13B】

【図13C】

【図14A】

【図14B】