ホーム > 特許ランキング > ポール ワース エス．アー．
特表2023-543813高炉の熱制御のための操作命令を提供するコンピュータシステム及び方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-10-18
(54)【発明の名称】高炉の熱制御のための操作命令を提供するコンピュータシステム及び方法
(51)【国際特許分類】
G06N 3/092 20230101AFI20231011BHJP
G06N 3/044 20230101ALI20231011BHJP
G05B 11/36 20060101ALI20231011BHJP
G05B 23/02 20060101ALI20231011BHJP
【ＦＩ】
G06N3/092
G06N3/044
G05B11/36 J
G05B23/02 X
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023519388
(86)(22)【出願日】2021-09-28
(85)【翻訳文提出日】2023-05-25
(86)【国際出願番号】 EP2021076710
(87)【国際公開番号】W WO2022069498
(87)【国際公開日】2022-04-07
(31)【優先権主張番号】LU102103
(32)【優先日】2020-09-30
(33)【優先権主張国・地域又は機関】LU
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＢＬＵＥＴＯＯＴＨ
２．ＷＣＤＭＡ
(71)【出願人】
【識別番号】513200003
【氏名又は名称】ポール ワース エス．アー．
(74)【代理人】
【識別番号】110000659
【氏名又は名称】弁理士法人広江アソシエイツ特許事務所
(72)【発明者】
【氏名】ショッカールト，セドリック
(72)【発明者】
【氏名】ハンセン，ファブリス
(72)【発明者】
【氏名】ハウスマー，リオネル
(72)【発明者】
【氏名】バニアサディ，マリアム
(72)【発明者】
【氏名】バーメス，フィリップ
【テーマコード（参考）】
3C223
5H004
【Ｆターム（参考）】
3C223AA05
3C223BA01
3C223CC01
3C223DD01
3C223EB01
3C223FF05
3C223FF22
3C223FF26
3C223FF42
3C223GG01
3C223HH03
5H004GA02
5H004GB03
5H004HA01
5H004HA03
5H004HB01
5H004HB03
5H004JA04
5H004KC24
5H004KC27
5H004KD62
(57)【要約】
高炉の熱制御のための操作命令を提供するように強化学習モデル（１３０）を訓練するためのコンピュータシステム（１００）、コンピュータ実装方法及びコンピュータプログラム製品が提供される。ドメイン適応機械学習モデル（１１０）は、多変量時系列として取得され、複数のドメインのそれぞれの高炉（ＢＦ１～ＢＦｎ）の熱状態を反映する履歴操作データ（２１）から、第１のドメイン不変データセット（２２）を生成する。一般高炉プロセスの過渡モデル（１２１）は、特定の熱制御動作（２６ａ）についての一般高炉（ＢＦｇ）の熱状態を反映する多変量時系列としての人工操作データ（２４ａ）を生成するために使用される。生成深層学習ネットワーク（１２２）は、履歴操作データ２１から学習された特徴を人工操作データ（２４ａ）に転移することによって、第２のドメイン不変データセット（２３ａ）を生成する。強化学習モデル（１３０）は、組み合わせられた第１及び第２のドメイン不変データセット（２２、２３ａ）を処理することによって、所与の目的関数を考慮して特定の熱制御動作（２６ａ）の報酬（１３１）を決定する（１４００）。報酬（１３１）に応じて、第２のドメイン不変データセットは、修正パラメータ（１２３－２）に基づいて再生成され、報酬を決定することを繰り返して、１つ又は複数の高炉のそれぞれの操作状態について適用されるべき最適化された熱制御動作のための最適化された操作命令を学習する。
【選択図】図２
【選択図】図２
【特許請求の範囲】
【請求項1】
高炉の熱制御のための操作命令を提供するように強化学習モデル（１３０）を訓練するためのコンピュータ実装方法（１０００）であって、該方法は、転移学習によって訓練されたドメイン適応機械学習モデル（１１０）によって、多変量時系列として取得され、複数のドメインのそれぞれの高炉（ＢＦ１～ＢＦｎ）の熱状態を反映する履歴操作データ（２１）を処理して、ドメインに関係なく前記高炉（ＢＦ１～ＢＦｎ）のいずれかの前記熱状態を表す第１のドメイン不変データセット（２２）を生成すること（１１００）と、
一般高炉プロセスの過渡モデル（１２１）を使用することによって、特定の熱制御動作（２６ａ）についての一般高炉（ＢＦｇ）の熱状態を反映する多変量時系列としての人工操作データ（２４ａ）を生成すること（１２００）であって、前記過渡モデル（１２１）が、前記一般高炉のそれぞれの物理的条件、化学的条件、熱的条件、及び流れ条件を反映し、熱伝達、物質伝達、及び運動量伝達を交換しながら前記一般高炉において構造化された固体層の上向きガス流及び下向き移動の解を提供する、生成すること（１２００）と、
前記履歴操作データ（２１）の多変量時系列に対して訓練された生成深層学習ネットワーク（１２２）によって前記人工操作データ（２４ａ）を処理して、前記履歴操作データ（２１）から学習された特徴を前記人工操作データ（２４ａ）に転移することによって、第２のドメイン不変データセット（２３ａ）を生成すること（１３００）と、
前記強化学習モデル（１３０）が、組み合わせられた前記第１及び第２のドメイン不変データセット（２２、２３ａ）を処理することによって、所与の目的関数を考慮して前記特定の熱制御動作（２６ａ）の報酬（１３１）を決定すること（１４００）と、
前記報酬（１３１）に応じて、修正パラメータ（１２３－２）に基づいて前記第２のドメイン不変データセットを再生成すること（１３００）であって、遺伝的探索及び／又はベイズ最適化アルゴリズム（１２３－１）が、前記強化学習モデル（１３０）の現在の環境（２５ａ）及び現在の学習ステップの前記熱制御動作（２６ａ）出力に基づいて、さらなる熱制御動作のために前記修正パラメータの探索をガイドし、前記決定する（１４００）ステップを繰り返して、１つ又は複数の高炉のそれぞれの操作状態について適用されるべき最適化された熱制御動作のための最適化された操作命令を学習する、再生成すること（１３００）ことと、を含む、コンピュータ実装方法（１０００）。
【請求項2】
前記強化学習モデル（１３０）が、製造中の特定の高炉の少なくとも１つのアクチュエータのための最適化された操作命令を、前記特定の高炉の現在の操作状態データに基づいて予測すること（１７００）と、前記最適化された操作命令に従う熱制御動作を前記少なくとも１つのアクチュエータに適用した後に、前記熱制御動作の実行後の前記特定の高炉の新しい状態に基づいて前記報酬を決定すること（１４００）と、
前記報酬が所定の閾値を下回る場合、前記過渡モデルを用いて、前記強化学習モデルを再訓練するための１つ又は複数の代替操作命令について前記第２のドメイン不変データを再生成することと、をさらに含む、請求項１に記載の方法。
【請求項3】
前記ドメイン適応機械学習モデル（１１０）は、前記第１のドメイン不変データセットとして前記履歴操作データ（２１）からドメイン不変特徴を抽出するように訓練された畳み込み層及び／又はリカレント層を用いた生成深層学習ニューラルネットワークによって実装される、請求項１又は２に記載の方法。
【請求項4】
前記ドメイン適応機械学習モデル（１１０）は、前記複数の高炉（ＢＦ１～ＢＦｎ）から基準高炉（ＢＦｒ）への対応する生データの複数のマッピングを学習するように訓練され、各マッピングは、前記それぞれの高炉の前記基準高炉への変換の表現であり、前記複数のマッピングは、前記第１のドメイン不変データセットに対応する、請求項１又は２に記載の方法。
【請求項5】
前記ドメイン適応機械学習モデル（１１０）は、ＣｙｃｌｅＧＡＮアーキテクチャに基づく生成深層学習アーキテクチャによって実装される、請求項４に記載の方法。
【請求項6】
前記強化学習モデルは、関連する目的測定値が、対応する多次元目的関数についてのパレートフロントからの所定の範囲内にあるように、前記最適化された操作命令を学習するように訓練される、請求項１から５のいずれか一項に記載の方法。
【請求項7】
前記過渡モデル（１２１）は複数の計算セルを含み、各セルは、１回分の原料からなる前記一般高炉のそれぞれの層を表し、各計算セルは、各反復時間間隔において相対気相パラメータ許容差を満たすように、反復的、連続的に気相方程式を解き、気相パラメータが所定の許容値に収束するとき、同じ反復時間間隔において固相方程式を連続的に解く、請求項１から６のいずれか一項に記載の方法。
【請求項8】
気相方程式を反復的に解くことは、圧力－速度補正ループの反復ごとに、気体特性、固体特性及び液体特性を計算すること（３３００）と、
反応率及び熱伝達係数を計算すること（３４００）と、
ガス温度、ガス種、ガス速度、及びガス圧降下を計算すること（３５００）と
を含み、固相方程式を連続的に解くことは、
固体温度及び固体種を計算すること（３６００）と、
液体温度及び液体種を計算すること（３７００）と、
固体速度を計算すること（３８００）と、を含む、請求項７に記載の方法。
【請求項9】
前記過渡モデル（１２１）は、溶銑温度を予測するためのエネルギー方程式、溶銑化学組成を計算するための１つ又は複数の種方程式、並びに最高ガス温度、ガス効率（Ｅｔａ ＣＯ）、及びガス圧を予測するための１つ又は複数の気相方程式を用いた、以下の入力パラメータ、すなわち、高炉装入材料の量及び化学分析、温度、圧力、ＰＣＩ率、並びに酸素富化のうちの１つ又は複数を受信する、請求項１から８のいずれか一項に記載の方法。
【請求項10】
前記強化学習モデルは、リカレント・ニューラル・ネットワークによって実装される、請求項１から９のいずれか一項に記載の方法。
【請求項11】
前記履歴操作データ（２１）を将来の時点に関係する将来の多変量時系列データで補完するために、１つ又は複数のそれぞれ訓練された関連する機械学習モデル（ＭＬ１～ＭＬｎ）を使用することによって、前記履歴操作データ（２１）及び／又は前記高炉の環境に関係するさらなる測定された環境データに基づいて、特定の高炉状態の将来の熱的進化に関する情報を予測することと、前記第１のドメイン不変データセット（２２）を将来の時点に関係するデータで拡張するために、前記ドメイン適応機械学習モデル（１１０）によって、前記将来の多変量時系列を処理することと、をさらに含む、請求項１から１０のいずれか一項に記載の方法。
【請求項12】
前記関連する機械学習モデル（ＭＬ１～ＭＬｎ）のうちの特定のもの（ＭＬＴ）を訓練することは、ベースモデル固有の将来の多変量時系列データを前記機械学習モデルのうちの前記特定のものへの訓練入力として提供するために、１つ又は複数の機械学習アルゴリズムを使用して、操作データ（７０１）及び／又は環境データ（７０２）の異なる選択を用いて複数のベースモデルを訓練すること（７０３）と、
ベースモデルのどの組合せが前記高炉のどの状態に最も適しているかを学習するために、前記関連する機械学習モデルのうちの前記特定のものを前記ベースモデル固有の将来の多変量時系列データを用いて訓練すること（７０６）と、を含む、請求項１１に記載の方法。
【請求項13】
前記機械学習モデル（ＭＬ１～ＭＬｎ）のうちの前記特定のものは、将来の時点において、以下のパラメータ、すなわち、前記高炉プロセスにおける異常、前記高炉の熱状態及び溶銑製造ＫＰＩ、装入マトリックス最適化、羽口カメラベースプロセス検査に基づく高炉現象、最適な操業のための出銑口開孔機推奨、ＴＭＴ ＳＯＭＡベース現象及びＫＰＩ、プロセスルールによる現象ラベリングに基づく現象のうちの１つを予測するように訓練される、請求項１２に記載の方法。
【請求項14】
コンピュータシステムのメモリにロードされ、前記コンピュータシステムの少なくとも１つのプロセッサによって実行されたとき、請求項１から１３のいずれか一項に記載のコンピュータ実装方法のステップを実施する、コンピュータプログラム製品。
【請求項15】
コンピュータシステム（１００）であって、該コンピュータシステムによって実行されたとき、請求項１から１３のいずれか一項に記載のコンピュータ実装方法のステップを実施する複数の機能モジュールを備える、コンピュータシステム（１００）。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、一般に、高炉を制御するためのシステムに関し、より詳細には、高炉のための操作命令を生成するために機械学習方法を使用するための方法、コンピュータプログラム製品及びシステムに関する。
【背景技術】
【0002】
高炉は、鋼の原料としての溶融鉄を製造するために使用される。高炉は、多変数プロセス入力及び外乱に依存するため、モデル化されるべき極めて複雑なプロセスを有する。全体的な炉の効率及び安定性、溶融鉄の品質を最適化し、また、炉の寿命を改善するために、材料及び燃料消費を低減することが目的である。したがって、複雑な製造目標定義のための最適化された操作命令を提供することが望ましい。
【発明の概要】
【課題を解決するための手段】
【0003】
この技術的問題は、高炉の熱制御のための操作命令を提供するようにリカレント・ニューラル・ネットワークによって実装される強化学習（Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ：ＲＬ）モデルを訓練することによる、独立請求項の特徴によって解決される。操作命令は、対応する熱制御動作に関係する。本明細書で使用される熱制御動作は、高炉プロセスに対して熱制御を行う目的でアクチュエータに影響を及ぼす任意の動作を指す。制御自動化のレベルに応じて、操作命令は、高炉の正確な制御のためのガイダンスを提供するために人間のオペレータをターゲットとし得るか、又は、人間との対話なしにそのような命令を実行することができる高炉の熱コントローラに直接命令し得る。
【0004】
それにより、複数の高炉からの現実世界の（測定された）操作データが、強化学習によってリカレント・ニューラル・ネットワーク・モデルを訓練するために高炉プロセスのシミュレーションモデル（過渡モデル）と共に使用される。これは、データレベル及びシミュレーション・モデル・レベルでのオフラインＲＬモデル訓練として理解され得る。履歴記録データから、複数の追加の特徴が生成され、高炉プロセスの特徴付けのためのより良い洞察を提供し得る。それらの特徴は、記録された生データから実装されるルールによって定義される現象、又は、機械学習モデルによって提供される予測の形態で利用可能なプロセス現象の予想である。
【0005】
訓練されたとき、ＲＬモデルは、例えば、微粉炭吹込み（ＰＣＩ）率（ｋｇ／ｓ）、送風流量（Ｎｍ３／ｓ）、酸素富化（％）などの羽口及び送風設定値、並びに／又は、コークス率（ｋｇ／回）、塩基性度、高炉装入物分布などの高炉装入物組成及び装入設定値など、操作命令の推奨を、高炉のメインアクチュエータに提供している。提供された推奨は、仮想オペレータ（レベル５の自律性最大レベルの自律性）によって、又は人間のオペレータによって手動でのいずれかで、上記の推奨の実装後にプロセスがその熱平衡にあるとき、目的関数が最適化されることを保証する。目的は、高炉専門家によって定義され、例えば、（１）燃料消費の最小化、（２）高炉寿命の最大化、（３）ＣＯ２排出の最小化、（４）炉の操業を安定化する鉄の品質及び量など、複数の目的からなり得る。各目的は、ＲＬモデルを訓練するために採用されるグローバル目的を定義するために（例えば、専門家によって）重み付けされる。モデルが製造中に訓練され、展開されたとき、モデルは、それぞれの高炉の熱制御のために推奨操作命令が実行された後に到達された、グローバル目的と実際の目的との間の偏差から、連続的に学習し続けることができる（オンラインＲＬモデル訓練）。
【0006】
一実施形態では、高炉の熱制御のための操作命令を提供するように強化学習モデルを訓練するためのコンピュータ実装方法が提供される。例えば、強化学習モデルは、リカレント・ニューラル・ネットワークによって実装され得る。
【0007】
転移学習によって訓練されたドメイン適応機械学習モデルは、複数のドメインの複数の高炉から多変量時系列として取得された履歴操作データを処理する。履歴操作データは、複数のドメインのそれぞれの高炉の熱状態を反映する。典型的には、高炉あたり数千個のセンサが、例えば、温度、圧力、化学物質含有量など、操作パラメータを測定している。特定の時点でのそのような測定されたパラメータは、その時点での高炉のそれぞれの熱状態を定義する。各高炉の複数の特質（例えば、操作モード、サイズ、投入材料（材料組成）など）により、多変量時系列データの専用変換を適用することなしに２つの高炉（ソースの高炉とターゲットの高炉）を直接比較することはできない。
【0008】
ドメイン適応機械学習モデルは、出力として、ドメインに関係なく高炉のいずれかの熱状態を表す第１のドメイン不変データセットを生成する。履歴操作データは、典型的には、過去に、それぞれの熱制御動作に応答して複数の異なる高炉（例えば、異なるサイズの高炉、異なる条件下で操業される高炉など）から収集された。典型的には、各高炉は特定のドメインに対応するが、ドメインも、高炉の特定の操業であり得る。ドメイン適応機械学習モデルは、最終的にデータが比較可能になるように、異なるドメインから取得されたデータの一種の正規化演算を実施するように訓練される。
【0009】
転移学習の異なる手法が使用され得る。例えば、ドメイン適応機械学習モデルは、第１のドメイン不変データセットとして履歴操作データからドメイン不変特徴を抽出するように訓練された畳み込み層及び／又はリカレント層を用いた深層学習ニューラルネットワークによって実装され得る。この実施形態では、転移学習は、履歴操作データからドメイン不変特徴を抽出するために実装される。深層学習における特徴は、特定の高炉の操業によって生成された多変量時系列データから抽出されたこの特定の高炉の特質の抽象表現である。転移学習を適用することによって、特定の炉から独立した（すなわち、様々なドメインから独立した）複数の現実世界の高炉からドメイン不変特徴を抽出することが可能である。
【0010】
代替的な手法では、ドメイン適応機械学習モデルは、複数の高炉から基準高炉への対応する生データの複数のマッピングを学習するように訓練された。基準高炉は、ある種の平均高炉を表す仮想高炉、又は実際の高炉であり得る。各マッピングは、それぞれの特定の高炉の基準高炉への変換の表現である。この手法では、複数のマッピングは、第１のドメイン不変データセットに対応する。例えば、そのようなドメイン適応機械学習モデルは、フェイク画像生成で普及しているＣｙｃｌｅＧＡＮアーキテクチャに基づく生成深層学習アーキテクチャによって実装され得る。ＣｙｃｌｅＧＡＮは、２つの生成器モデル及び２つの判別器モデルの同時訓練を含むＧＡＮアーキテクチャの拡張である。一方の生成器は、第１のドメインからのデータを入力としてとり、第２のドメインのためのデータを出力し、他方の生成器は、第２のドメインからのデータを入力としてとり、第１のドメインのためのデータを生成する。次いで、判別器モデルは、生成されたデータがどのくらい妥当と思われるかを決定し、それに応じて生成器モデルを更新するために使用される。ＣｙｃｌｅＧＡＮは、サイクル一貫性と呼ばれる、アーキテクチャの追加の拡張を使用する。背後にある考え方は、第１の生成器によって出力されたデータが第２の生成器への入力として使用され得、第２の生成器の出力が元のデータと一致するはずであるということである。逆もまた真であり、第２の生成器からの出力が第１の生成器への入力として供給され得、その結果が第２の生成器への入力と一致するはずである。
【0011】
サイクル一貫性は、英語からフランス語に翻訳されたフレーズがフランス語から英語に再び翻訳され、元のフレーズと同一になるはずであるという、機械翻訳からの概念である。逆のプロセスも真であるべきである。ＣｙｃｌｅＧＡＮは、第２の生成器の生成された出力と元の画像との間の差、及びその逆を測定するために付加損を加えることによってサイクル一貫性を促進する。これは、生成器モデルの正則化として機能し、新しいドメインにおける画像生成プロセスを画像変換にガイドする。元のＣｙｃｌｅＧＡＮアーキテクチャを、画像処理から、第１のドメイン不変データセットを取得するための多変量時系列データの処理に適応させるために、Ｃ．Ｓｃｈｏｃｋａｅｒｔ、Ｈ．Ｈｏｙｅｚ、（２０２０）´´ＭＴＳ－ＣｙｃｌｅＧＡＮ：Ａｎ Ａｄｖｅｒｓａｒｉａｌ－ｂａｓｅｄ Ｄｅｅｐ Ｍａｐｐｉｎｇ Ｌｅａｒｎｉｎｇ Ｎｅｔｗｏｒｋ ｆｏｒ Ｍｕｌｔｉｖａｒｉａｔｅ Ｔｉｍｅ Ｓｅｒｉｅｓ Ｄｏｍａｉｎ Ａｄａｐｔａｔｉｏｎ Ａｐｐｌｉｅｄ ｔｏ ｔｈｅ Ｉｒｏｎｍａｋｉｎｇ Ｉｎｄｕｓｔｒｙ´´、ａｒＸｉｖ：２００７．０７５１８に詳細に記載されているように、多変量時系列データの時間依存性を学習するために畳み込み層と組み合わせたリカレント層（一例としてＬＳＴＭ）を使用することによって、以下の修正が実装され得る。
【0012】
取得された第１のドメイン不変データセットは、それぞれの熱制御動作がそれぞれの炉に適用された後に存在していた高炉の熱状態を表す。ドメイン適応の後に、この表現は、（基準高炉への学習されたマッピングの形態、又は抽出された共通特徴の形態のいずれかで）もはや特定の高炉に結び付けられない。
【0013】
並行して、一般高炉プロセスの過渡モデルが、特定の熱制御動作についての多変量時系列として人工操作データを生成するために使用され、このデータは、その特定の制御動作の適用後に一般高炉が遷移する熱状態を反映する。一般高炉は、（基準高炉と同様の）仮想デバイスである。過渡モデルは、一般高炉の熱状態を表す妥当な人工データを生成するための適切な物理的、化学的、熱的、及び流れ条件を有する過渡ベース数値モデルである。過渡モデルは、一般高炉のそれぞれの物理的、化学的、熱的、及び流れ条件を反映し、熱、物質、及び運動量伝達を交換しながら一般高炉において構造化された固体層の上向きガス流及び下向き移動の解を提供する。
【0014】
モデルは、温度、圧力、ＰＣＩ率、及び酸素富化など、熱風条件と共に、高炉装入材料の量及び化学分析を、入力パラメータとして受信する。過渡モデルは、溶銑温度を予測するためのエネルギー方程式、溶銑化学組成を計算するための種方程式、並びに最高ガス温度、ガス効率（Ｅｔａ ＣＯ）、及びガス圧を予測するための気相方程式を有する。モデルの過渡的性質により、入力パラメータを経時的に変更することによって、人工動的時系列データが生成され得、これは現実世界の高炉の操業に似ている。過渡モデルが、現実世界の高炉の履歴操作データによってカバーされるデータ範囲を超える、入力パラメータについてのデータ範囲を使用することができることは、有利である。言い換えれば、一般高炉についてのパラメータ範囲は、現実世界の高炉操作データがカバーすることができない操作パラメータ空間に拡大され得る。
【0015】
一般高炉は、炉の高さにわたって有限数の層に分割される。各層は、１回分の原料（例えば、鉄鉱石及びコークス）からなる。これらの層は、その上で方程式が数値的に解かれている計算セルを表す。組成、速度、及び温度など、気相特性の境界条件は、レースウェイサブモデルを使用して定義されるが、固相についての境界条件は、室温における装入材料組成として定義される。そのようなレースウェイモデルは、例えば、´´Ｄｅｅｐａｋ Ｓａｕら、Ａ ｒｅｄｕｃｅｄ ｏｒｄｅｒ ｍａｔｈｅｍａｔｉｃａｌ ｍｏｄｅｌ ｏｆ ｔｈｅ ｂｌａｓｔ ｆｕｒｎａｃｅ ｒａｃｅｗａｙ ｗｉｔｈ ａｎｄ ｗｉｔｈｏｕｔ ｐｕｌｖｅｒｉｚｅｄ ｃｏａｌ ｉｎｊｅｃｔｉｏｎ ｆｏｒ ｒｅａｌ ｔｉｍｅ ｐｌａｎｔ ａｐｐｌｉｃａｔｉｏｎ、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｍｏｄｅｌｌｉｎｇ ａｎｄ Ｓｉｍｕｌａｔｉｏｎ、ＤＯＩ：１０．１０８０／０２２８６２０３．２０１８．１４３５７５９、２０１８年２月´´に記載されている。コークス消費を低減し、並びに溶銑製造コストを低減するために、微粉炭が高炉羽口に吹き込まれる。高炉レースウェイゾーンにおける微粉炭の燃焼挙動及び未燃焼チャーの蓄積に関する知識は、重要である。この論文は、リアルタイムプラント適用例のための高炉の低次レースウェイモデルについて説明する。モデルは、微粉炭吹込み（ＰＣＩ）の有無にかかわらず、レースウェイゾーンにおける半径方向温度及びガス組成プロファイルを予測することができる。レースウェイ燃焼挙動、温度及びガス組成プロファイル並びにレースウェイ深度に対する、ＰＣＩ率、送風温度、送風量、酸素富化及び水蒸気添加など、すべての主要な操作プロセスパラメータの影響は、可能な限り、文献及びプラントデータベースで調査及び検証された。
【0016】
気相と固相を完全に分解することは、極めて計算コストが高い。したがって、一実施形態によれば、計算リソース（及びそれによりエネルギー）を節約するために、気相は、耐ガス時間（約３秒）が時間ステップ（約２分）よりもはるかに短いので、定常状態と見なされ得る。ただし、固相は過渡相と見なされる。解法アルゴリズムは、最初に、各時間ステップにおけるパラメータの相対許容差を満たすように、反復的、連続的に気相方程式を解く。気相パラメータが定義された許容差に収束するとき、固相方程式が同じ時間ステップにおいて連続的に解かれる。時間ループは、シミュレーションの終了まで継続する。気体パラメータ及び固体パラメータ、並びに、熱伝達及び物質伝達などの伝達パラメータは、各時間ステップの始めに更新される。連続的に、１つのパラメータを解くと、他のパラメータは既知であると見なされ、これは古い値が使用されることを意味する。このようにして、非線形項及び結合パラメータは、複雑で高価なブロックソルバを回避して解くことができる。
【0017】
一実装形態では、過渡モデルは複数の計算セルを有し、各セルは、１回分の原料からなる一般高炉のそれぞれの層を表す。各計算セルは、各時間ステップにおいて相対気相パラメータ許容差を満たすように、反復的、連続的に気相方程式を解く。気相パラメータが所定の許容値に収束するとき、固相方程式が同じ時間ステップにおいて連続的に解かれる。
【0018】
気相方程式を反復的に解くことは、圧力－速度補正ループの反復ごとに、気体特性、固体特性及び液体特性を計算することと、反応率及び熱伝達係数を計算することと、ガス温度、ガス種、ガス速度、及びガス圧降下を計算することとを含む。
【0019】
気相パラメータが上記所定の許容値に収束すると、計算は、同じ時間ステップにおいて固相方程式を連続的に解くことで継続し、これは、固体温度及び固体種を計算することと、液体温度及び液体種を計算することと、固体速度を計算することとを含む。
【0020】
次いで、過渡モデルから取得された人工操作データは、履歴操作データの多変量時系列に対して訓練された生成深層学習ネットワークによって処理される。これは、人工操作データをより現実的なものにするために、それらを現実世界の操作データの特徴で拡張することを可能にする。適切に訓練された生成深層学習ネットワークは、拡張された合成操作データが専門家にとって現実世界の操作データと区別不可能になるように、人工データを拡張することができる。それは、予測フェーズにおいて強化学習モデルを動作させるときに期待される現実世界のテスト入力と同様の特質を有するデータを用いて強化学習モデルを訓練するために有利である。すなわち、人工操作データの処理は、履歴操作データから学習された特徴で拡張される第２のドメイン不変データセットを生成する。第２のドメイン不変データセットは、過渡モデルの計算に基づく単なる合成データセットであるが、それにもかかわらず、現実世界の履歴操作データの時系列において存在する特有の特徴を示すドメイン不変データセットである。
【0021】
次に、強化学習モデルは、組み合わせられた第１及び第２のドメイン不変データセットを用いて訓練される。訓練が第１のデータセットのみに依拠する場合、強化学習モデルは、複数の高炉に適用されなかった最適化された制御命令を学習することができない。そのような現実世界の訓練データセットを人工的に生成されたデータセットと組み合わせることによって、過渡モデルは、様々な最適化目的の下で一般高炉の所与の熱状態に適用される代替制御動作に対する一般高炉の反応をシミュレートするために使用され得る。組み合わせられた第１及び第２のドメイン不変データセットを処理するとき、強化学習モデルは、所与の目的関数及び高炉の現在の状態を考慮して第２の不変データセットを計算するために過渡モデルによって使用された特定の熱制御動作の報酬を決定する。報酬関数は、強化学習モデル（すなわち、エージェント）がどのように挙動するべきかを記述する。言い換えれば、それらは規範的な内容を有し、エージェントが何を達成することになっているかを規定する。絶対的な制限はないが、報酬関数が「より良く挙動される」場合、エージェントはより良く学習する。実際には、これは、収束速度が増加し、エージェントが極小値に留まらないことを意味する。一例として、報酬関数は、多目的関数のパレートフロントから「どのくらい遠いか」を測定することができ、特定の熱制御動作がプロセスを導いている。定義によれば、パレートフロントは、少なくとも１つの他の目的を犠牲にすることなしに目的を改善することができない場合、最適として選定されている、非支配解の集合である。所与の目的で、別の目的の改善デルタの測定値が、例えば、勾配分析によって測定され得る。報酬関数は、パレートフロントの特性を特徴付けるそれらの測定値の関数であり得る。当業者は、他の適切な報酬関数を使用し得る。
【0022】
決定された報酬が所定の最小報酬を下回る場合、推奨熱制御動作（制御命令）は、高炉の熱状態に対する意図された影響に関して最適ではなかった。そのような場合、代替制御動作が過渡モデルによってシミュレートされ得る。この目的で、遺伝的探索及び／又はベイズ最適化アルゴリズムが、強化学習モデルの現在の環境及び現在の学習ステップの熱制御動作出力（すなわち、低すぎる報酬につながっていた制御動作）に基づいて、さらなる（代替）熱制御動作のために修正パラメータ（すなわち、過渡モデルについての入力パラメータ）の探索をガイドしている。次に、過渡モデルは、修正パラメータに基づいて第２のドメイン不変データセット（更新された第２のデータセット）を再生成する。次いで、更新された第２のデータセットは、強化学習モデルの入力層に供給され、更新された第２のデータセットについて新しい報酬が決定される。このプロセスは、強化学習モデルが、任意の予想可能な状況についての最適化された熱制御動作のための最適化された操作命令を出力することを学習するまで、反復的に実施される。
【0023】
説明されたように強化学習モデルが訓練されると、強化学習モデルは、製造中の特定の高炉の少なくとも１つのアクチュエータのための最適化された操作命令を、その特定の高炉の現在の操作状態データに基づいて予測するために動作させることができる。言い換えれば、訓練された強化学習モデルは、強化学習モデルの入力層と一致する操作データを含み、高炉の現在の（熱）状態を指定する、テスト入力データを受信する。モデルは、テスト入力データを処理し、所与の目的関数を考慮して最適化された結果を達成するために高炉に適用されるべき熱制御動作に対応する最適化された操作命令の予測を出力として提供する。
【0024】
有利には、各予測データセットは、強化学習モデルの訓練をさらに改善するために使用され得る。この目的で、モデルは、最適化された操作命令（予測された出力）に従う熱制御動作を少なくとも１つのアクチュエータに適用した後に、熱制御動作の実行後の特定の高炉の新しい状態に基づいて報酬を決定する。報酬が所定の閾値を下回る場合、過渡モデルは、強化学習モデルを再訓練するための１つ又は複数の代替操作命令について第２のドメイン不変データを再生成する。この再訓練は、それぞれの予測された最適化された操作命令に従う任意の熱制御動作の適用後に適用され得る。
【0025】
有利には、強化学習モデルは、関連する目的測定値が、対応する多次元目的関数についてのパレートフロントからの所定の範囲内にあるように、最適化された操作命令を学習するように訓練される。
【0026】
一実施形態では、過渡モデルは複数の計算セルを有し、各セルは、１回分の原料からなる一般高炉のそれぞれの層を表す。各計算セルは、各時間ステップにおいて相対気相パラメータ許容差を満たすように、反復的、連続的に気相方程式を解く。気相パラメータが所定の許容値に収束するとき、計算セルは、同じ時間ステップにおいて連続的に固相方程式を解く。
【0027】
【表1】
【0028】
表１は、高炉制御のための５つの自動化レベルについて説明する。推奨強化学習モデルと、プロセス特徴付けのための高度なコンテキスト情報を生成するさらなる関連する機械学習モデル（例：プロセス現象予想、溶銑温度予想など）との組合せが、レベル４又は５自動化を達成するために使用され得、関連する機械学習モデルのみが、単独でレベル２又は３の自動化に寄与することができる。関連する機械学習モデルなしで推奨モデルを訓練することは、レベル３自動化につながり得る。本明細書で開示される、最適な熱制御動作を推奨（予測）するための強化学習モデルを訓練するための手法は、発明を実施するための形態においてより詳細に説明されるように、プロセスがプロセス特徴付けのための機械学習モデル及び追加のセンサによって生成された高度なコンテキストデータによって正確に表されると仮定すると、レベル４又は５自動化を達成するために使用され得る。そのような関連する機械学習モデルは、強化学習モデルを訓練するためのさらなる入力として働く受信された操作データ（生センサデータ）がドメイン不変プロセスデータを超えることに基づいて予測を提供するという点で、強化学習のための訓練データセットを改善するさらなるデータ拡張能力を追加するために使用され得る。そのような追加の「コンテキスト」情報を用いて、強化学習モデルは、熱制御のための最良の動作をより正確に学習するために使用され得る新しい次元に関する知識を獲得する。
【0029】
履歴操作データ及び／又は高炉の環境に関係するさらなる測定された環境データに基づいて、特定の高炉状態の将来の熱的進化に関する情報を予測するためにそのような関連する機械学習モデルを使用するとき、関連する機械学習モデルは、（センサから取得された）履歴操作データを将来の時点に関係する将来の多変量時系列データで補完するように、相応に訓練される必要がある。次いで、生成された将来の多変量時系列は、第１のドメイン不変データセットを将来の時点に関係するデータで拡張するために、履歴操作データと同様にドメイン適応機械学習モデルによって処理され得る。
【0030】
関連する機械学習モデルは、以下の方法で訓練され得る。第１の訓練ステップにおいて、ベースモデル固有の将来の多変量時系列データを機械学習モデルのうちの特定のものへの訓練入力として提供するために、複数のベースモデルが、１つ又は複数の機械学習アルゴリズムを使用して、操作データ及び／又は環境データの異なる選択を用いて訓練される。それにより、各ベースモデルは、高炉プロセスの単一の特定の側面（例えば、所与の将来の時間間隔中の溶銑温度傾向の予測）に焦点を合わせる。第２の訓練ステップでは、関連する機械学習モデルは、ベースモデルのどの組合せが高炉のどの状態に最も適しているかを学習するために、上記ベースモデル固有の将来の多変量時系列データを用いて訓練される。
【0031】
本発明のさらなる態様は、添付の特許請求の範囲に詳細に示されている要素及び組合せによって実現及び達成される。前述の一般的な説明及び以下の詳細な説明の両方は、例示的及び説明的なものにすぎず、説明されたように本発明を限定するものではないことを理解されたい。
【図面の簡単な説明】
【0032】
【図1】高炉の熱制御のための操作命令を提供するように強化学習モデルを訓練するためのコンピュータシステムの一実施形態の簡略図である。
【図2】コンピュータシステムの実施形態によって実施され得るコンピュータ実装方法の簡略化されたフローチャートである。
【図3A】各セルが一般高炉のそれぞれの層を表す複数の計算セルを有する、一実施形態による、過渡モデルの処理を反映する簡略化されたフローチャートである。
【図3B】高炉の視覚表現における計算セルを示す図である。
【図4】強化学習モデルについての報酬計算の例示的な一実施形態を示す図である。
【図5】報酬関数についての目的空間におけるポイントクラウドの境界としてパレートフロントを示す図である。
【図6A】視覚化目的でそれぞれの高炉の二次元目的関数の目的空間におけるパレートフロント例を示す図である。
【図6B】視覚化目的でそれぞれの高炉の二次元目的関数の目的空間におけるパレートフロント例を示す図である。
【図7】一実施形態による、訓練データ拡張のための追加の機械学習モデルの使用を示す図である。
【図8】一実施形態による、追加の深層学習モデルを使用することによる訓練データ拡張のための羽口画像の使用を示す図である。
【図9】強化学習モデルを訓練するための高炉の状態を特徴付けるための追加のセンサの使用を示す図である。
【図10】本明細書で説明される技術と共に使用され得る、一般コンピュータデバイス及び一般モバイル・コンピュータ・デバイスの一例を示す図である。
【発明を実施するための形態】
【0033】
図１は、高炉の熱制御のための操作命令を提供するように強化学習モデル１３０を訓練するためのコンピュータシステム１００の基本実施形態の簡略図を示す。図１は、コンピュータシステム１００の実施形態によって実施され得るコンピュータ実装方法１０００の簡略化されたフローチャートである図２のコンテキストにおいて説明される。したがって、図２のコンテキストにおける図１の以下の説明は、両方の図の参照番号を参照する。
【0034】
一実施形態では、コンピュータシステム１００は、複数の高炉ＢＦ１～ＢＦｎと通信可能に結合される。高炉ＢＦ１～ＢＦｎは、異なるドメインに属し、多変量時系列として取得され、それぞれの高炉の熱状態を反映する履歴操作データ２１を提供し得る。そのような履歴操作データの例は、限定はしないが、溶銑温度を予測するためのエネルギー方程式、溶銑化学組成を計算するための１つ又は複数の種方程式、並びに最高ガス温度、ガス効率（Ｅｔａ ＣＯ）、及びガス圧を予測するための１つ又は複数の気相方程式を用いた、高炉装入材料の量及び化学分析、温度、圧力、ＰＣＩ率、並びに酸素富化を含む。
【0035】
現実世界の高炉では、異なるドメインは、異なるドメインにおける高炉の熱状態を記述する履歴操作データ２１中のパラメータ値の異なる組合せに関連付けられ得るが、そのような熱状態の間に類似性が存在する。したがって、システム１００は、ドメインに関係なく高炉ＢＦ１～ＢＦｎのいずれかの熱状態を表す第１のドメイン不変データセット２２を生成する（１１００）ために、ドメイン適応機械学習モデルＤＡＭ１１０を有する。ＤＡＭ１１０は、転移学習方法ＴＬ１１１を使用することによって訓練された。一実装形態では、ＤＡＭ１１０は、第１のドメイン不変データセット２２として履歴操作データ２１からドメイン不変特徴を抽出するように訓練された畳み込み層及び／又はリカレント層を用いた生成深層学習ニューラルネットワークＧＤＬ１ １１３によって実装され得る。
【0036】
代替実装形態では、ＤＡＭ１１０は、複数の高炉ＢＦ１～ＢＦｎから基準高炉ＢＦｒへの対応する生データの複数のマッピング１１２を学習するように訓練された（例えば、前に説明されたＣｙｃｌｅＧＡＮアーキテクチャに基づく）生成深層学習アーキテクチャによって実装され得る。それにより、各マッピングは、それぞれの高炉（例えば、ＢＦ１）の基準高炉ＢＦｒへの変換の表現である。この実装形態では、複数のマッピングは、第１のドメイン不変データセット２２に対応する。
【0037】
システム１００は、特定の熱制御動作２６ａについての一般高炉ＢＦｇの熱状態を反映する多変量時系列としての人工操作データ２４ａを生成する（１２００）ように構成された人工データ生成器モジュールＡＤＧ１２０を有する。この目的で、ＡＤＧ１２０は、一般高炉プロセスの過渡モデル１２１を使用する。過渡モデル１２１は、一般高炉のそれぞれの物理的、化学的、熱的、及び流れ条件を反映し、熱、物質、及び運動量伝達を交換しながら一般高炉において構造化された固体層の上向きガス流及び下向き移動の解を提供するシミュレーションモデルである。概して、シミュレーションモデルは、履歴操作データにおいて監視されたそのような現実世界の状態パラメータに対応するシミュレーションパラメータに基づく。
【0038】
図３Ａを手短に参照すると、過渡モデル１２１は複数の計算セルを含み、各セルは、１回分の原料からなる一般高炉ＢＦｇのそれぞれの層を表す。各計算セルは、各時間ステップ（反復時間間隔）において相対気相パラメータ許容差を満たすように、反復的、連続的に気相方程式を解いている。気相パラメータが所定の許容値に収束すると、固相方程式が同じ時間ステップにおいて連続的に解かれる。気相方程式を反復的に解くステップは、圧力－速度補正ループの反復ごとに、
－気体特性、固体特性及び液体特性を計算すること３３００と、
－反応率及び熱伝達係数を計算すること３４００と、
－ガス温度、ガス種、ガス速度、及びガス圧降下を計算すること３５００と
を含み得る。
－気体特性、固体特性及び液体特性を計算すること３３００と、
－反応率及び熱伝達係数を計算すること３４００と、
－ガス温度、ガス種、ガス速度、及びガス圧降下を計算すること３５００と
を含み得る。
【0039】
固相方程式を連続的に解くことは、
－固体温度及び固体種を計算すること３６００と、
－液体温度及び液体種を計算すること３７００と、
－固体速度を計算すること３８００と
を含み得る。
－固体温度及び固体種を計算すること３６００と、
－液体温度及び液体種を計算すること３７００と、
－固体速度を計算すること３８００と
を含み得る。
【0040】
次に、高炉の視覚表現３００において計算セルＣＣを示す図３Ｂを参照すると、過渡モデル１２１は、以下の入力パラメータ３０２、すなわち、高炉装入材料３０２－１の量及び化学分析、温度、圧力、ＰＣＩ率３０２－２、並びに酸素富化のうちの１つ又は複数を受信し得る。さらに、炉のプロファイル３０２－３は、高炉の形状を表し、したがって、装入される材料の搬送時間に影響を及ぼす（例えば、高い高炉は８時間の搬送時間を有し得るが、短いものでは、搬送時間はわずか６時間であり得る）。炉のプロファイル３０２－３は、人工データ生成のために使用される高炉ごとの固定パラメータである。過渡モデルが高炉の形状を考慮に入れることは、当業者にとって明らかである。過渡モデルは、例えば、溶銑温度を予測するためのエネルギー方程式、溶銑化学組成３０３－２を計算するための１つ又は複数の種方程式、並びに最高ガス温度、ガス効率（Ｅｔａ ＣＯ）、及びガス圧（最高ガス条件３０３－１参照）を予測するための１つ又は複数の気相方程式を用いて、出力３０３を生成する。
【0041】
言い換えれば、過渡（シミュレーション）モデルは、妥当な人工データを生成するために使用される適切な物理的、化学的、熱的、及び流れ条件を有する数値モデルである。モデルの過渡的性質により、入力パラメータを経時的に変更することによって、人工動的時系列データが生成され得、これは現実世界の炉の操業に似ている。結果として、（パラメータ）データ範囲は、現実世界の高炉から取得された実際の高炉データがカバーすることができない広い操作空間に拡大され得る。
【0042】
過渡モデルでは、炉は、炉の高さにわたって有限数の層に分割される。図３Ｂでは、様々な層が実線の水平線３０１によって分離されている。各層は、１回分の原料、この場合、鉄鉱石及びコークスからなる。これらの層は、その上で方程式が数値的に解かれている、前に説明された計算セルＣＣ３１０を表す。一実施形態では、組成、速度、及び温度など、気相特性の境界条件は、レースウェイサブモデル３２０を使用して定義されるが、固相についての境界条件は、室温における装入材料組成として定義される。高炉３００の内部状態３０４は、気相、固相及び液相についてのサブ状態を含む。気相についてのサブ状態は、温度（Ｔｇ、Ｋ）、圧力（ｐ、Ｐａ）、速度（Ｖｇ、ｍ／ｓ）、種（ＣＯ、ＣＯ２、Ｈ２、Ｈ２Ｏ、Ｎ２）によって特徴付けられ得る。固相についてのサブ状態は、温度（Ｔｓ、Ｋ）、速度（Ｖｓ、ｍ／ｓ）、種（Ｆｅ２Ｏ３、Ｆｅ３Ｏ４、ＦｅＯ、Ｆｅ、スラグ、ＣｏｋｅＣ、Ｃｏｋｅａｓｈ）によって特徴付けられ得る。また、液相についてのサブ状態は、温度（Ｔｌ、Ｋ）及び種（Ｆｅ、スラグ、ＦｅＯ）によって特徴付けられ得る。
【0043】
気相と固相を完全に分解することは、極めて計算コストが高い（及び時間がかかる）。したがって、時間及びエネルギーを節約するために、気相は、耐ガス時間（約３秒）が反復間隔として定義された時間ステップ（約２分）よりもはるかに短いので、定常状態と見なされ得る。ただし、固相は過渡相と見なされる。解法アルゴリズム（図３Ａ参照）は、最初に、各時間ステップにおけるパラメータの相対許容差を満たすように、反復的、連続的に気相方程式を解く。気相パラメータが所定の許容値に収束するとき、固相方程式が同じ時間ステップにおいて連続的に解かれる。時間ループは、シミュレーションの終了まで継続する。気体パラメータ及び固体パラメータ、並びに、熱伝達及び物質伝達などの伝達パラメータは、各時間ステップの始めに更新される。連続的に、１つのパラメータを解くと、他のパラメータは既知であると見なされ、これは古い値が使用されることを意味する。このようにして、非線形項及び結合パラメータは、複雑で高価なブロックソルバを回避して解くことができる。
【0044】
上記で説明されたように、過渡モデル１２１によって生成された人工操作データ２４ａは、人工操作データ２４ａが、例えば、それぞれの測定／センサデバイスによって引き起こされるノイズ又はシフトなど、現実世界の特質を示さないという点でクリーンなデータをもたらす数式に従って生成される。より精度の高い予測を行うために強化学習モデルＲＩＬＭ１３０を訓練するために、ＲＩＬＭ１３０のためのテスト入力として使用されている現実世界の操作データの特質を反映する訓練データをモデル１３０に提供することが望ましい。したがって、ＡＤＧ１２０は、履歴操作データ２１から学習された特徴を人工操作データ２４ａに転移することによって、第２のドメイン不変データセット２３ａを生成する（１３００）ために、リカレント層を用いた生成深層学習ネットワークＧＤＬ２ １２２を使用する。ＧＤＬ２ １２２は、履歴操作データから上記現実世界の特質を学習し、学習されたパターンをシミュレートされた人工操作データ２４ａに適用するために、履歴操作データ２１の多変量時系列に対して訓練された。これは、熱制御動作２６ａに応答して一般高炉ＢＦｇの熱状態を反映する純粋合成データセット２３ａをもたらす。リカレント層を使用する生成深層学習ネットワークを使用することによる、他の信号によって与えられるコンテキストにおける各信号の自然的特質の学習は、特定の図面セットのスタイルを学習し、そのスタイルを任意の他の画像に対して適用するために画像に適用されるよく知られている技術と同様であることに留意されたい。同様の技術は、多変量時系列に対して適用され得、多変量時系列データに適応されたとき、例えば、前述のＣｙｃｌｅＧＡＮベースアルゴリズムによって解決され得る手法である。
【0045】
両方のデータセット、すなわち、第１のドメイン不変データセット２２及び合成の第２の不変データセット２３は、訓練データとしてＲＩＬＭ１３０に提供される。ＲＩＬＭ１３０は、組み合わせられた第１及び第２のドメイン不変データセット２２、２３ａを処理することによって、所与の目的関数を考慮して特定の熱制御動作２６ａの報酬１３１を決定する（１４００）。そのような訓練データに基づいて、ＲＩＬＭ１３０は、（一般）高炉の状態（環境）に応じた熱制御動作を学習する。例えば、この環境は、例示として、高炉の操業、材料組成などによって定義され得る。
【0046】
報酬１３１に応じて、ＡＤＧ１２０は、修正パラメータ１２３－２に基づいて第２のドメイン不変データセットを再生成する（１３００）。パラメータ生成器ＰＧ１２３は、ＲＩＬＭ１３０の現在の環境２５ａ及び現在の学習ステップの熱制御動作２６ａ出力に基づいて、さらなる熱制御動作のために修正パラメータの探索をガイドするために、遺伝的探索及び／又はベイズ最適化アルゴリズム１２３－１を使用する。修正パラメータを用いて、過渡モデルは、さらなる制御動作のために熱状態をシミュレートする。次いで、再生成された第２のドメイン不変データセットは、新しい訓練入力としてＲＩＬＭ１３０に提供され、報酬は、新しい訓練入力について再び決定される。このプロセスは、最適化された熱制御動作のための最適化された操作命令を学習するために、現在の報酬が所定の報酬閾値を超える（１５００）まで繰り返される。
【0047】
以下で、報酬計算のための現実世界のシナリオ例が、図４に示されているように説明される。当業者は、強化学習モデルを実装するために他の適切な報酬関数を使用し得ることに留意されたい。以下の例示的なシナリオは、遺伝的探索アルゴリズムを使用することによって、最大化すべき単純な２目的関数のための最適なアクチュエータ値を識別するための最適化について説明する。
目的：品質の最大化（一定のＳｉ含有量）、及び製造の最大化
アクチュエータ：ＰＣＩ率（ｋｇ／ｓ）、送風流量（Ｎｍ３／ｓ）、コークス率（ｋｇ／回）
報酬：
＝１／（Ｅｕｃｌｉｄｉａｎ＿ｄｉｓｔ＿ｔｏ＿ｐａｒｅｔｏ＿ｆｒｏｎｔ）
一例として、各目的の改善デルタ分析によって近似される：
１／ｅｕｃｌ＿ｄｉｓｔ（（ｑｕａｌｉｔｙ＿ｐｒｅｖ，ｐｒｏｄ＿ｐｒｅｖ），（ｑｕａｌｉｔｙ＿ｎｅｗ，ｐｒｏｄ＿ｎｅｗ））
目的：品質の最大化（一定のＳｉ含有量）、及び製造の最大化
アクチュエータ：ＰＣＩ率（ｋｇ／ｓ）、送風流量（Ｎｍ３／ｓ）、コークス率（ｋｇ／回）
報酬：
＝１／（Ｅｕｃｌｉｄｉａｎ＿ｄｉｓｔ＿ｔｏ＿ｐａｒｅｔｏ＿ｆｒｏｎｔ）
一例として、各目的の改善デルタ分析によって近似される：
１／ｅｕｃｌ＿ｄｉｓｔ（（ｑｕａｌｉｔｙ＿ｐｒｅｖ，ｐｒｏｄ＿ｐｒｅｖ），（ｑｕａｌｉｔｙ＿ｎｅｗ，ｐｒｏｄ＿ｎｅｗ））
【0048】
この例では、報酬の定義は、パレートフロントに向かう収束があることを保証する遺伝的探索アルゴリズムでのみ有効である。すなわち、最大化すべき２目的関数のこの例では、品質及び製造の改善は、両方とも、２つの連続する反復間で確実である。
【0049】
初期の高炉熱状態（現在の環境）：Ｓ＿ｉｎｉｔ
－反復１：
アクチュエータ値＝［ＰＣＩ＿１，ｂｌａｓｔ＿ｆｌｏｗ＿ｒａｔｅ＿１，ｃｏｋｅ＿ｒａｔｅ＿１］
目的測定値＝ｑｕａｌｉｔｙ＿１；ｐｒｏｄ＿１
－反復２：
アクチュエータ値＝［ＰＣＩ＿２，ｂｌａｓｔ＿ｆｌｏｗ＿ｒａｔｅ＿２，ｃｏｋｅ＿ｒａｔｅ＿２］
目的測定値＝ｑｕａｌｉｔｙ＿２；ｐｒｏｄ＿２
報酬＝Ｒ＿２＝１／ｅｕｃｌ＿ｄｉｓｔ（（ｑｕａｌｉｔｙ＿１，ｐｒｏｄ＿１），（ｑｕａｌｉｔｙ＿２，ｐｒｏｄ＿２））
－反復３：
アクチュエータ値＝［ＰＣＩ＿３，ｂｌａｓｔ＿ｆｌｏｗ＿ｒａｔｅ＿３，ｃｏｋｅ＿ｒａｔｅ＿３］
目的測定値＝ｑｕａｌｉｔｙ＿３；ｐｒｏｄ＿３
報酬＝Ｒ＿３＝１／ｅｕｃｌ＿ｄｉｓｔ（（ｑｕａｌｉｔｙ＿２，ｐｒｏｄ＿２），（ｑｕａｌｉｔｙ＿３，ｐｒｏｄ＿３））
．．．．．．．．．．．．．．．．．．．．．．．．．．．．．
－反復ｉ：
アクチュエータ値＝［ＰＣＩ＿ｉ，ｂｌａｓｔ＿ｆｌｏｗ＿ｒａｔｅ＿ｉ，ｃｏｋｅ＿ｒａｔｅ＿ｉ］
目的測定値＝ｑｕａｌｉｔｙ＿ｉ；ｐｒｏｄ＿ｉ
報酬＝Ｒ＿ｉ＝１／ｅｕｃｌ＿ｄｉｓｔ（（ｑｕａｌｉｔｙ＿ｉ－１，ｐｒｏｄ＿ｉ－１），（ｑｕａｌｉｔｙ＿ｉ，ｐｒｏｄ＿ｉ））
．．．．．．．．．．．．．．．．．．．．．．．．．．．．．
－反復ｏｐｔ：（パレートフロント到達）
アクチュエータ値＝［ＰＣＩ＿ｏｐｔ，ｂｌａｓｔ＿ｆｌｏｗ＿ｒａｔｅ＿ｏｐｔ，ｃｏｋｅ＿ｒａｔｅ＿ｏｐｔ］
目的測定値＝ｑｕａｌｉｔｙ＿ｏｐｔ；ｐｒｏｄ＿ｏｐｔ
報酬＝Ｒ＿ｏｐｔ＝１／ｅｕｃｌ＿ｄｉｓｔ（（ｑｕａｌｉｔｙ＿ｏｐｔ－１，ｐｒｏｄ＿ｏｐｔ－１），（ｑｕａｌｉｔｙ＿ｏｐｔ，ｐｒｏｄ＿ｏｐｔ））
－反復１：
アクチュエータ値＝［ＰＣＩ＿１，ｂｌａｓｔ＿ｆｌｏｗ＿ｒａｔｅ＿１，ｃｏｋｅ＿ｒａｔｅ＿１］
目的測定値＝ｑｕａｌｉｔｙ＿１；ｐｒｏｄ＿１
－反復２：
アクチュエータ値＝［ＰＣＩ＿２，ｂｌａｓｔ＿ｆｌｏｗ＿ｒａｔｅ＿２，ｃｏｋｅ＿ｒａｔｅ＿２］
目的測定値＝ｑｕａｌｉｔｙ＿２；ｐｒｏｄ＿２
報酬＝Ｒ＿２＝１／ｅｕｃｌ＿ｄｉｓｔ（（ｑｕａｌｉｔｙ＿１，ｐｒｏｄ＿１），（ｑｕａｌｉｔｙ＿２，ｐｒｏｄ＿２））
－反復３：
アクチュエータ値＝［ＰＣＩ＿３，ｂｌａｓｔ＿ｆｌｏｗ＿ｒａｔｅ＿３，ｃｏｋｅ＿ｒａｔｅ＿３］
目的測定値＝ｑｕａｌｉｔｙ＿３；ｐｒｏｄ＿３
報酬＝Ｒ＿３＝１／ｅｕｃｌ＿ｄｉｓｔ（（ｑｕａｌｉｔｙ＿２，ｐｒｏｄ＿２），（ｑｕａｌｉｔｙ＿３，ｐｒｏｄ＿３））
．．．．．．．．．．．．．．．．．．．．．．．．．．．．．
－反復ｉ：
アクチュエータ値＝［ＰＣＩ＿ｉ，ｂｌａｓｔ＿ｆｌｏｗ＿ｒａｔｅ＿ｉ，ｃｏｋｅ＿ｒａｔｅ＿ｉ］
目的測定値＝ｑｕａｌｉｔｙ＿ｉ；ｐｒｏｄ＿ｉ
報酬＝Ｒ＿ｉ＝１／ｅｕｃｌ＿ｄｉｓｔ（（ｑｕａｌｉｔｙ＿ｉ－１，ｐｒｏｄ＿ｉ－１），（ｑｕａｌｉｔｙ＿ｉ，ｐｒｏｄ＿ｉ））
．．．．．．．．．．．．．．．．．．．．．．．．．．．．．
－反復ｏｐｔ：（パレートフロント到達）
アクチュエータ値＝［ＰＣＩ＿ｏｐｔ，ｂｌａｓｔ＿ｆｌｏｗ＿ｒａｔｅ＿ｏｐｔ，ｃｏｋｅ＿ｒａｔｅ＿ｏｐｔ］
目的測定値＝ｑｕａｌｉｔｙ＿ｏｐｔ；ｐｒｏｄ＿ｏｐｔ
報酬＝Ｒ＿ｏｐｔ＝１／ｅｕｃｌ＿ｄｉｓｔ（（ｑｕａｌｉｔｙ＿ｏｐｔ－１，ｐｒｏｄ＿ｏｐｔ－１），（ｑｕａｌｉｔｙ＿ｏｐｔ，ｐｒｏｄ＿ｏｐｔ））
【0050】
遺伝的探索アルゴリズムを使用することなしに、時間のかかるランダム探索が実施され得る。図５では、そのような場合のパレートフロントは、（目的空間中のポイントクラウドの境界における）点々のパターンを有するポイント（ｑｕａｌｉｔｙ＿ｉ，ｐｒｏｄ＿ｉ）によって特徴付けられる。その場合、各ポイント（ｑｕａｌｉｔｙ＿ｉ，ｐｒｏｄ＿ｉ）の報酬は、ユークリッド距離の逆数として計算され得、（ランダム探索プロセス中ではなく）パレートフロントが識別された後に計算される。
【0051】
要約すれば、強化学習モデル１３０は、関連する目的測定値が、対応する多次元目的関数についてのパレートフロントからの所定の範囲内にあるように、最適化された操作命令を学習するように訓練される。
【0052】
学習が完了すると、ＲＩＬＭ１３０は、上記高炉の現在の状態を記述する現在の操作データを有するテスト入力に応答して、現実世界の高炉の熱制御のための最適化された操作命令を提供する（１６００）ように訓練された（図２参照）。任意選択で、ＲＩＬＭ１３０の訓練は、高炉が操業している間、オンラインモードで継続することができる。
【0053】
オンラインモードでは、強化学習モデル１３０は、製造中の特定の高炉の少なくとも１つのアクチュエータのための最適化された操作命令を、上記高炉の現在の操作状態データに基づいて予測する（１７００）（図２参照）。最適化された操作命令のための熱制御動作が（オペレータによって、又は対応する制御システムを介して自動的に、のいずれかで）高炉に適用されると仮定する。熱制御動作が最適化された操作命令に従って少なくとも１つのアクチュエータに適用された後に、報酬は、次に、熱制御動作の実行後に到達される上記高炉の新しい状態に基づいて決定される。ここでも、決定された報酬は、所定の報酬閾値と比較される（１５００）。報酬がこの閾値を下回る場合、ＡＤＧ１２０は、強化学習モデル１３０を再訓練するための１つ又は複数の代替操作命令について第２のドメイン不変データを（過渡モデル１２１を使用して）再生成する。
【0054】
図６Ａ及び図６Ｂは、（視覚化目的で）それぞれの高炉状態ＢＦＳ１、ＢＦＳ２についての（２つの目的Ｏ１、Ｏ２を有する）二次元目的関数の目的空間におけるパレートフロント（破線）を示す。ＲＩＬＭモデルは、関連する目的測定値がパレートフロント上にあるように、高炉についての最適制御命令を学習する必要がある。これらの図では、目的は、各履歴及び人工データサンプルについて計算された。図は、高炉のほんのいくつかの操業モードにしばしば限定される履歴データの限定を示し、これは、目的空間中のクラスタにつながる。それにより、タイプ２２－２の黒丸は、履歴データから取得されたドメイン不変データセットに関連付けられる。タイプ２３ａの正方形は、人工（シミュレートされた）データに基づくドメイン不変データセットに関連付けられる。タイプ２２－１の黒丸は、履歴データ２１（生データ）又は２２（ドメイン不変生データ）から訓練された深層生成モデルによって生成されたデータに関連付けられる。この深層生成モデルは、履歴データから生成された新しい生データを提供する高度な補間アルゴリズムとして機能する。したがって、生成されたデータは、単に既存の履歴データに比較的近くなり得る。タイプ２３ａに関連付けられたそのようなデータの生成は、図１及び図２においてより詳細に説明される。図６Ｂでは、タイプ２２－３の三角形は、高炉の操業中に取得され、ＲＩＬＭ１３０のオンライン訓練モードのために使用されるオンラインデータに関連付けられる。タイプ２２－３の三角形は、最適化された操作命令（図２中の予測すること１７００参照）の推奨を提供する訓練されたモデルから生じているため、自然に、よりパレートフロントに近い。しかしながら、それらのデータに対する操作命令の推奨をさらに最適化するために、ＲＩＬＭ１３０のオンライン再訓練がトリガされる。
【0055】
一実施形態では、システム１００は、高炉状態の将来の熱的進化に関する情報、又は現在の熱状態に関係する任意の他の情報（例：プロセス現象予測、例えば実際のセンサよりも高い周波数で測定を提供する仮想センサ）を予測するために、１つ又は複数の特別に訓練された機械学習モデルＭＬ１～ＭＬｎを使用することによって、高炉上のセンサによって測定された操作生データ２１を拡張するためのデータ拡張モジュールＤＡ１４０を含み得る。そのような予測は、ＲＩＬＭ１３０モデルを訓練するための生データと同じ目的を果たし、生データ２１（履歴操作データ）と同様に使用される。そのような特別に訓練された機械学習モデルの一例は、３時間後の溶銑の温度を予測するモデルである。溶銑の温度のこの予測は、次いで、ＲＩＬＭ１３０を訓練するために使用され得る。そのようなデータ拡張は、ＲＩＬＭ１３０の強化訓練のために使用される訓練データセットをさらに改善し、強化学習モデルの改善された予測精度につながる。代替的に、図９で説明されるように、新しいセンサが追加され得る。これは、ＲＩＬＭ１３０を訓練するために高炉の状態をより正確に特徴付けることを可能にする。一例として、炉に装入された原料のいくつかの特質（例えば、多孔性、湿度）が欠落している場合、それらは、（追加のセンサを使用して）測定され得るか、又は、機械学習モデルＭＬ１～ＭＬｎを使用して潜在的に推定され得る。
【0056】
高炉の状態のより正確な特徴付けを可能にし、結果として、ＲＩＬＭ１３０のより正確な訓練を可能にするためのデータ拡張にとって有利である機械学習モデル（ＭＬ）のリストが、以下に列挙される。
ａ）高度なデータ検証のためのＭＬ：高炉センサによって提供された生データの異常は、機械学習モデルを訓練する前に検出され得るか、又は、展開された機械学習モデルの製造中に入力として使用され得る。
ｂ）高炉の熱状態及び溶銑製造ＫＰＩ（主要業績指標）を予想するためのＭＬ
ｃ）装入マトリックス最適化のためのＭＬ
ｄ）羽口カメラベースプロセス検査のためのＭＬ
ｅ）最適な操業のための出銑口開孔機推奨のためのＭＬ
ｆ）ＴＭＴ ＳＯＭＡベース現象検出及びＫＰＩ計算／予想のためのＭＬ
ｇ）プロセスエンジニアによって、あるいは教師あり又は教師なし機械学習又はパターン検出モデルによって定義された（機械学習モデルによって生成された出力を潜在的に使用する）プロセスルールによる現象ラベリングのためのＭＬ
ｈ）ｇ）において生成されたラベルからの現象予想のためのＭＬ
ｉ）プロセス予想のためのＭＬ
ｊ）予測的及び規範的メンテナンスのためのＭＬ
ｋ）高度なコンテキスト表現学習のためのＭＬ：上述の必要な使用事例のためのデータセットを拡張するために使用される表現を学習するための教師なし深層学習モデルを訓練するために、環境センサが使用され得る。
ａ）高度なデータ検証のためのＭＬ：高炉センサによって提供された生データの異常は、機械学習モデルを訓練する前に検出され得るか、又は、展開された機械学習モデルの製造中に入力として使用され得る。
ｂ）高炉の熱状態及び溶銑製造ＫＰＩ（主要業績指標）を予想するためのＭＬ
ｃ）装入マトリックス最適化のためのＭＬ
ｄ）羽口カメラベースプロセス検査のためのＭＬ
ｅ）最適な操業のための出銑口開孔機推奨のためのＭＬ
ｆ）ＴＭＴ ＳＯＭＡベース現象検出及びＫＰＩ計算／予想のためのＭＬ
ｇ）プロセスエンジニアによって、あるいは教師あり又は教師なし機械学習又はパターン検出モデルによって定義された（機械学習モデルによって生成された出力を潜在的に使用する）プロセスルールによる現象ラベリングのためのＭＬ
ｈ）ｇ）において生成されたラベルからの現象予想のためのＭＬ
ｉ）プロセス予想のためのＭＬ
ｊ）予測的及び規範的メンテナンスのためのＭＬ
ｋ）高度なコンテキスト表現学習のためのＭＬ：上述の必要な使用事例のためのデータセットを拡張するために使用される表現を学習するための教師なし深層学習モデルを訓練するために、環境センサが使用され得る。
【0057】
図７は、３時間後の溶銑の温度を予測するように機械学習モデルを訓練するためのＤＡ１４０を実装する手法をより詳細に説明する。図７は、ベースモデルと呼ばれる複数の機械学習モデルの予測ＢＭＰ７０４から、将来の時点における（例えば、３時間後の）溶銑の温度を予測するために機械学習モデルＭＬＴを訓練する（７０６）手順を示す。ベースモデルは、測定された生データを拡張するための予測を生成するように訓練される（７０３）。
【0058】
この目的で、複数のベースモデルが、変数（プロセス変数７０１及び／又はコンテキスト変数７０２）の異なる選択、及び／又は機械学習アルゴリズムを用いて訓練される（７０３）。プロセス変数７０１は、高炉上で直接それぞれのセンサによって測定された生データ（操作データ）である。コンテキスト変数７０２は、ノイズ、画像のような環境変数を測定する任意の他のセンサによって測定される。プロセス変数及びコンテキスト変数は、機械学習モデルを訓練するために利用可能である変数である。
【0059】
各ベースモデルは、ベースモデルの任意の予測よりも良い当該のパラメータの予測を行うようにＭＬＴを訓練する（７０６）ために（概して、３時間後の溶銑の温度以外のパラメータをも予測するために任意の機械学習モデルを訓練するために）使用され得る出力７０４、７０５を提供する。ベースモデルの目的は、より正確な予測モデル（すなわち、ＭＬＴなどのメタモデル）を訓練するための追加情報を生成することである。予測モデルＭＬＴはまた、ベースモデルのどの組合せが高炉のどの状態に最も適しているかを学習するためにプロセス変数７０１及びコンテキスト変数７０２を入力として使用する。すなわち、メタモデルは、特定の高炉状態パラメータのより精密で正確な予測を行うために、すべてのベースモデルの出力をどのように組み合わせるかを学習している。いくつかのベースモデルは、３時間後の溶銑温度を予測しないことがあるが、溶銑温度の傾向、例えば、温度が上昇しそうである、低下しそうである、又は安定しそうであるかどうかを予測し得るか、あるいは、近い将来の特定のプロセス事象の発生などを予測し得る。言い換えれば、ベースモデルは、プロセス（プロセス情報ＰＩ７０５）に関係するか、あるいは、すでに溶銑温度又は溶銑温度の特質（例：傾向予測）についてのベースモデル予測ＢＭＰ７０４である追加情報を出力として生成する。ＭＬＴが様々なベースモデルの出力に基づいて訓練される（７０６）と、それは、ベースモデル（ＢＭＰ７０４）のいずれよりも精密な予測ＭＬＴＰ７０５を提供する。
【0060】
この例では、プロセス情報ＰＩ７０５は、限定はしないが、クラスタ、プロセス現象、プロセス／コンテキスト変数又は特徴を含む範囲［０，６ｈ］内の特徴予測など、ＭＬＴについての入力情報を提供し得る。それらの出力は、プロセスに関係し、ＭＬＴによって予測された溶銑温度に対する潜在的により高い相関を有する新しい入力を提供する。溶銑温度についてのベースモデル予測ＢＭＰ７０４は、３時間及び６時間後の溶銑温度の傾向（例えば、高い増加、中程度の増加、低い増加、安定、低い低下、中程度の低下、高い低下）、又は上記時間範囲の間の予測される溶銑製造品質など、情報を提供し得る。ＢＭＰ７０４は、ＭＬＴの出力に直接関係するベースモデルの出力であり、同じ出力又はその特質のいずれかである。同じ出力の一例は「３時間後の溶銑温度」であり、その出力の特質の一例は、ベースモデルによって予測された「温度の傾向」であり得る。
【0061】
以下で、機械学習モデルの上記のリストのいくつかの例がより詳細に説明される。
【0062】
高度なデータ検証：
【0063】
データ検証ピラミッドは、最低レベルのピラミッドから始まり最高レベルのピラミッドで終わる、以下で説明される複数のデータ検証レベルによって定義され得る。
－センサのメンテナンス及び較正：センサのメンテナンス及び較正のための手順が実装され得る。人工知能（ＡＩ）が、メンテナンス動作を最適にスケジュールし、センサを可能な限り操作モードで保つために実施されるべき最良の動作を定めるために必要とされ得る。
－個々のセンサ信号に対するプロセス最小／最大：第１のレベルの異常検出は、生データの各センサ信号について許容される最小値及び最大値の定義である。最小値及び最大値は一定であり、したがって、プロセス操作とは無関係である。条件ベースプロセスの最小／最大値は、何らかのコンテキストをもたらすためにプロセス専門家によって定義されたルールにおいて構成され得る。
－個々のセンサ信号に関する外れ値及び異常検出：以下で、典型的な方法が、複雑度を増しながら列挙される。
ｉ）統計的振幅外れ値：
ポイント異常を検出するためのデータ分析方法であり、定義によれば、プロセス専門家によって、及びセンサによって記録された時系列の典型的な自己相関深度に基づいて指定される、長さＬの移動時間ウィンドウ内の平均値から振幅がシフトされた値である。
ｉｉ）教師あり異常検出：
教師ありアルゴリズムが、異常を検出するためにセンサ信号における既知のパターンを学習する。
ｉｉｉ）教師なし外れ値検出：
このカテゴリの方法は、センサ信号から特徴が計算された後にクラスタリングアルゴリズムを適用することによって外れ値を検出している。したがって、そのような手法は、所与のコンテキストについての通常でない振幅値に限定されず、スペクトル情報、又は特徴によって定義される任意の他の特質をも考慮に入れることができる。
－マルチセンサ信号に関する異常検出：多数のセンサにより、冗長センサ信号間の手動照合は、データ中の複雑なコンテキスト異常を検出するのに十分でない。既知の関係のみが検証されるので、ルールベース手法は、通常、限定される。既知の異常を検出するように訓練された教師ありデータ駆動モデルについても同じ限定が成り立つ。教師なしデータ駆動手法は、既知及び未知の異常の検出を保証するための補完的な検証ステップである。コンテキスト異常は、センサ信号間の相関を学習したデータ駆動モデルによって検出され得、したがって、プロセスによって定義された所与のコンテキストにおいてセンサ測定値がその通常操作から逸脱しているかどうかを検出することができる。教師なしデータ駆動異常検出と組み合わせられた機械学習による因果性発見は、根本原因分析を可能にしている。
－照合センサ対シミュレーションモデルの結果：プロセスを記述するシミュレーションモデルが利用可能である場合、モデル結果とセンサの生データとの照合が、専門家レベルの自律データ検証を提供する。しかしながら、この検証は、シミュレーションモデルの仮説に固有の操作条件に限定される。
－センサのメンテナンス及び較正：センサのメンテナンス及び較正のための手順が実装され得る。人工知能（ＡＩ）が、メンテナンス動作を最適にスケジュールし、センサを可能な限り操作モードで保つために実施されるべき最良の動作を定めるために必要とされ得る。
－個々のセンサ信号に対するプロセス最小／最大：第１のレベルの異常検出は、生データの各センサ信号について許容される最小値及び最大値の定義である。最小値及び最大値は一定であり、したがって、プロセス操作とは無関係である。条件ベースプロセスの最小／最大値は、何らかのコンテキストをもたらすためにプロセス専門家によって定義されたルールにおいて構成され得る。
－個々のセンサ信号に関する外れ値及び異常検出：以下で、典型的な方法が、複雑度を増しながら列挙される。
ｉ）統計的振幅外れ値：
ポイント異常を検出するためのデータ分析方法であり、定義によれば、プロセス専門家によって、及びセンサによって記録された時系列の典型的な自己相関深度に基づいて指定される、長さＬの移動時間ウィンドウ内の平均値から振幅がシフトされた値である。
ｉｉ）教師あり異常検出：
教師ありアルゴリズムが、異常を検出するためにセンサ信号における既知のパターンを学習する。
ｉｉｉ）教師なし外れ値検出：
このカテゴリの方法は、センサ信号から特徴が計算された後にクラスタリングアルゴリズムを適用することによって外れ値を検出している。したがって、そのような手法は、所与のコンテキストについての通常でない振幅値に限定されず、スペクトル情報、又は特徴によって定義される任意の他の特質をも考慮に入れることができる。
－マルチセンサ信号に関する異常検出：多数のセンサにより、冗長センサ信号間の手動照合は、データ中の複雑なコンテキスト異常を検出するのに十分でない。既知の関係のみが検証されるので、ルールベース手法は、通常、限定される。既知の異常を検出するように訓練された教師ありデータ駆動モデルについても同じ限定が成り立つ。教師なしデータ駆動手法は、既知及び未知の異常の検出を保証するための補完的な検証ステップである。コンテキスト異常は、センサ信号間の相関を学習したデータ駆動モデルによって検出され得、したがって、プロセスによって定義された所与のコンテキストにおいてセンサ測定値がその通常操作から逸脱しているかどうかを検出することができる。教師なしデータ駆動異常検出と組み合わせられた機械学習による因果性発見は、根本原因分析を可能にしている。
－照合センサ対シミュレーションモデルの結果：プロセスを記述するシミュレーションモデルが利用可能である場合、モデル結果とセンサの生データとの照合が、専門家レベルの自律データ検証を提供する。しかしながら、この検証は、シミュレーションモデルの仮説に固有の操作条件に限定される。
【0064】
データ検証ピラミッドは、受信された操作データ（生データ）の異常の検出を目的としている。異常は、故障したセンサに関係するが、プロセスにも関係し得る。プロセス異常の場合、まれなプロセス事象が、それらの適正な検出又は予想のための「フューショット学習」（ＦＳＬ：Ｆｅｗ－Ｓｈｏｔ Ｌｅａｒｎｉｎｇ）などの特定の機械学習モデルの開発のために適正にラベリングされ得る。ＦＳＬは、教師あり情報を用いて限られた数の例から学習する既知の機械学習パラダイムである。プロセス異常を故障したセンサに関係する異常と区別することを目的とする方法が、根本原因分析である。異常の検出につながる因果関係の分析は、異常をプロセス関係異常又はセンサ関係異常に分類することができる。そのために、プロセスエンジニアが、ルール又は機械学習モデルを定義しており、半教師あり分類器が、上述のルールから生成された因果関係及びラベルから訓練される。
【0065】
高炉熱状態予想：
【0066】
これは、図７の例によって使用される機械学習モデルＭＬＴに関係する。ＭＬＴは、高炉の熱状態の将来及び溶銑製造の特質に関する洞察を提供する。高炉の熱状態又は溶銑製造の特質を予測するために有用である関連プロセス変数及び他のコンテキスト変数から、ＭＬＴは、所与の時間期間において以下のメトリックを予想するように訓練される。
－３時間及び６時間後の溶銑温度傾向：高い増加、中程度の増加、低い増加、安定、低い低下、中程度の低下、高い低下
－将来の１時間～６時間に及ぶ多重時間期間における溶銑ケイ素含有量予測
－将来の１時間～６時間に及ぶ多重時間期間における溶銑品質
－３時間及び６時間後の溶銑温度傾向：高い増加、中程度の増加、低い増加、安定、低い低下、中程度の低下、高い低下
－将来の１時間～６時間に及ぶ多重時間期間における溶銑ケイ素含有量予測
－将来の１時間～６時間に及ぶ多重時間期間における溶銑品質
【0067】
モデルは、鋳造ごとに手動で、又は専用センサによって自律的、連続的に測定された溶銑温度を用いて訓練され得る。アンサンブルモデリング手法が、メタモデルＭＬＴを訓練するために新しい入力として複数のベースモデルの予測を組み合わせることによって実装され得、これは、低減された予測バイアス又は予測分散を有する予測を生じる。
【0068】
装入マトリックス最適化：
【0069】
高炉装入物分布は、コークス率を最小化し、ＣＯ２排出量を軽減するためにガス利用（ｅｔａＣＯ）を最適化するためにオペレータにとって利用可能な最も重要なアクチュエータのうちの１つである。高炉装入物分布は、常に高炉操業に適応させられる必要があり、最適なガス利用、円滑な高炉装入物の降下、及び壁／ステーブ（表皮流れ）温度の間の妥協である。
【0070】
今日現在で、いくつかのプラントは、高炉装入物プロファイルに対する所与の装入マトリックスの影響を査定し、高炉の炉口直径にわたるＣ／（Ｏ＋Ｃ）比を決定するために、高炉装入物分布モデルを使用する。この情報は価値があり、融着帯における温度プロファイルに関する合理的に良好なヒントを与える。それにもかかわらず、モデルにおいて装入マトリックスを定義することは簡単ではなく、モデルは、所与の操業について最適な装入マトリックスを見つけるのに限られた助けしか提供しない。
【0071】
装入マトリックスは、高炉上で材料を最適に分布させるためにオペレータによって定義される。そのために、装入マトリックスは、シュートの傾斜及び各材料タイプについての回転数などのパラメータを含む。機械学習モデルは、炉の現在の熱状態、その予想される進化、及びその製造ＫＰＩに応じて最適な装入マトリックスを予測するように訓練され得る。装入マトリックス予測モデルは、機械学習モデルを訓練するために単一の高炉について装入マトリックス要素の十分な変動がない場合、複数の高炉の生データから訓練され得る。
【0072】
羽口カメラベースプロセス検査：
【0073】
この例は図８に関係する。羽口カメラによって提供される画像８０１は、畳み込みニューラルネットワーク（ＣＮＮ）と、ＣＮＮベース領域分類器８０２によって検出されたエリア（例えば、分類された画像８０１ｃ中の円、ランス、吹込みエリア）上でコンピュータビジョンを適用することによって現象８０４を検出することを目的とするコンピュータビジョン８０３との組合せによって分析される。羽口画像８０１と共に、検出された現象ラベルは、プロセス現象を予想するように訓練されたさらなる深層学習モデル８０５への入力として働くことができる。
【0074】
機械学習を使用する羽口画像シーケンス分析の別の適用例は、強化学習モデルのための環境を定義する高炉状態の表現を豊かにするために時空的特徴を符号化することである。その目的で、画像８０１、多変量時系列８０６、及び音８０７など、異種データから環境の表現８０９を学習するための方法として、多峰性学習８０８が使用され得る。これは、モード独立の仮定を行う単峰性機械学習と比較して高度な手法を可能にする。
【0075】
最適な操業のための出銑口開孔機推奨：
【0076】
タッピングのスケジューリング並びにそのパラメータ化（例：粘土タイプなど）は、機械学習モデルによって推奨され得る。
【0077】
ＴＭＴ ＳＯＭＡベース現象検出及びＫＰＩの計算：
【0078】
ＳＯＭＡは、高炉の頂部上の温度分布に関する２Ｄ情報を提供するための機器である。温度マップは、予測目的で機械学習モデルと潜在的に組み合わせられた機械ビジョンアルゴリズムによって処理され得る。カメラベース羽口検査のための図８で説明されたような処理パイプラインは、ＳＯＭＡにも適用され得る。
【0079】
現象ラベリング及び予想：
【0080】
プロセス現象のためのラベルを生成することは、ＲＩＬＭ１３０の動作と環境との間の関係の学習を改善するための豊富な情報の作成を保証する。ラベルは、プロセスエンジニアによって定義されたルールによって、又はプロセスエンジニアによって履歴データにおいて選択されたパターンに対して訓練されたパターン検出モデルによって生成され得る。パターンの発生は、単変量又は多変量時系列データのための動的時間ラッピングなどのアルゴリズムによって、又はそれぞれの機械学習モデルを訓練するための特徴の定義によって検出され得る。ＲＩＬＭモデルに高レベルコンテキスト情報を提供することに加えて、それらのラベルは、現象の組合せの発生を検出するための機械学習モデルを訓練するか、あるいは単一の現象又は現象の組合せの発生を予想するために使用され得る。生成されたラベルから教師あり機械学習モデルを訓練することは、十分な分散を有する十分なラベルがあることを必要とする。
【0081】
予測的及び規範的メンテナンス：
【0082】
機械学習モデルは、メンテナンスを予測し、メンテナンスを延期するためにとられるべき動作を推奨し、その結果として高炉又は高炉に関係する任意の資産の寿命を延ばすように訓練され得る。そのために、資産の「残存耐用年数」又は「故障までの時間」を予測するために教師あり学習を適用するなど、複数の手法が知られている。教師なし学習モデルは、まれな事象を検出するために、及び、それらのまれな事象を予想する教師ありモデルを訓練するために使用されるべき訓練データセットを時間的にクラスタリングするように訓練され得る。予測の根本原因分析は、過去のメンテナンスから記録されたメンテナンス動作を用いて訓練された自律システムが、メンテナンスを遅延させるために最もよく知られている動作を定めることを可能にする。
【0083】
高度なコンテキスト表現学習：
【0084】
強化学習モデルは、環境をより良くモデル化し、その環境についてとるべき最適な動作を学習するために、コンテキストの表現を必要とする。そのために、図９に示されているように異なるロケーションにおいて、画像（カメラセンサ９１）、音波（音センサ９２）、振動（振動センサ９３）を記録し、空気（ガスセンサ９４）を分析するための複数のセンサが配備され、炉９０の周囲に配置され得る。それぞれの多峰性時系列は、高炉のプロセスデータ又は材料記述データと潜在的に組み合わせられ得る、コンテキストの意味のある表現を抽出するために、深層学習ネットワークによって分析され得る。材料記述データは、材料の化学分析、及び高炉の熱調節に影響を及ぼし得る他の特性に対応する。
【0085】
図１０は、本明細書で説明される技術と共に使用され得る、一般コンピュータデバイス９００及び一般モバイル・コンピュータ・デバイス９５０の一例を示す図である。コンピューティングデバイス９００は、ラップトップ、デスクトップ、ワークステーション、携帯情報端末、サーバ、ブレードサーバ、メインフレーム、及び他の適切なコンピュータなど、様々な形態のデジタルコンピュータを表すことを意図している。一般コンピュータデバイス９００は、図１のコンピュータシステム１００に対応し得る。コンピューティングデバイス９５０は、携帯情報端末、携帯電話、スマートフォン、車両（例えば、車両４０１、４０２、４０３、図１参照）の運転支援システム又はボードコンピュータ及び他の同様のコンピューティングデバイスなど、様々な形態のモバイルデバイスを表すことを意図している。例えば、コンピューティングデバイス９５０は、コンピューティングデバイス９００と対話するためにユーザ（例えば、高炉のオペレータ）によってフロントエンドとして使用され得る。ここに示されている構成要素、それらの接続及び関係、並びにそれらの機能は、例示的なものにすぎず、本明細書で説明され、及び／又は特許請求される発明の実装形態を限定するものではない。
【0086】
コンピューティングデバイス９００は、プロセッサ９０２と、メモリ９０４と、ストレージデバイス９０６と、メモリ９０４及び高速拡張ポート９１０に接続する高速インターフェース９０８と、低速バス９１４及びストレージデバイス９０６に接続する低速インターフェース９１２とを含む。構成要素９０２、９０４、９０６、９０８、９１０、及び９１２の各々は、様々なバスを使用して相互接続され、共通のマザーボード上に、又は必要に応じて他の方法で取り付けられ得る。プロセッサ９０２は、高速インターフェース９０８に結合されたディスプレイ９１６などの外部入出力デバイス上にＧＵＩのためのグラフィック情報を表示するための、メモリ９０４又はストレージデバイス９０６に記憶された命令を含む、コンピューティングデバイス９００内で実行するための命令を処理することができる。他の実装形態では、複数のプロセッサ及び／又は複数のバスが、必要に応じて、複数のメモリ及び複数のタイプのメモリと共に使用され得る。また、複数のコンピューティングデバイス９００が接続され得、各デバイスが、（例えば、サーババンク、ブレードサーバのグループ、又はマルチプロセッサシステムとしての）必要な操作の部分を提供する。
【0087】
メモリ９０４は、コンピューティングデバイス９００内に情報を記憶する。一実装形態では、メモリ９０４は、１つ又は複数の揮発性メモリユニットである。別の実装形態では、メモリ９０４は、１つ又は複数の不揮発性メモリユニットである。メモリ９０４はまた、磁気又は光ディスクなど、別の形態のコンピュータ可読媒体であり得る。
【0088】
ストレージデバイス９０６は、コンピューティングデバイス９００に大容量ストレージを提供することができる。一実装形態では、ストレージデバイス９０６は、フロッピー・ディスク・デバイス、ハード・ディスク・デバイス、光ディスクデバイス、又はテープデバイス、フラッシュメモリ又は他の同様のソリッド・ステート・メモリ・デバイス、あるいはストレージ・エリア・ネットワーク又は他の構成におけるデバイスを含むデバイスのアレイなど、コンピュータ可読媒体であるか、又はそれを含み得る。コンピュータプログラム製品は、情報キャリアにおいて有形に具現化され得る。コンピュータプログラム製品はまた、実行されたとき、上記で説明されたものなど、１つ又は複数の方法を実施する命令を含み得る。情報キャリアは、メモリ９０４、ストレージデバイス９０６、又はプロセッサ９０２上のメモリなど、コンピュータ又は機械可読媒体である。
【0089】
高速コントローラ９０８は、コンピューティングデバイス９００のための帯域幅集約的な操作を管理し、低速コントローラ９１２は、低帯域幅集約的な操作を管理する。そのような機能の割当ては、単なる例示である。一実装形態では、高速コントローラ９０８は、メモリ９０４、（例えば、グラフィックスプロセッサ又はアクセラレータを介した）ディスプレイ９１６、及び様々な拡張カード（図示せず）を受け入れ得る高速拡張ポート９１０に結合される。本実装形態では、低速コントローラ９１２は、ストレージデバイス９０６及び低速拡張ポート９１４に結合される。様々な通信ポート（例えば、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ、イーサネット、ワイヤレスイーサネット）を含み得る低速拡張ポートは、例えばネットワークアダプタを介して、キーボード、ポインティングデバイス、スキャナ、又はスイッチ若しくはルータなどのネットワーキングデバイスなど、１つ又は複数の入出力デバイスに結合され得る。
【0090】
コンピューティングデバイス９００は、図に示されているように、いくつかの異なる形態で実装され得る。例えば、それは、標準サーバ９２０として、又はそのようなサーバのグループにおいて複数回実装され得る。それはまた、ラック・サーバ・システム９２４の一部として実装され得る。さらに、それは、ラップトップコンピュータ９２２などのパーソナルコンピュータにおいて実装され得る。代替的に、コンピューティングデバイス９００からの構成要素は、デバイス９５０などのモバイルデバイス（図示せず）中の他の構成要素と組み合わせられ得る。そのようなデバイスの各々は、コンピューティングデバイス９００、９５０のうちの１つ又は複数を含み得、システム全体が、互いに通信する複数のコンピューティングデバイス９００、９５０から構成され得る。
【0091】
コンピューティングデバイス９５０は、構成要素の中でも、プロセッサ９５２と、メモリ９６４と、ディスプレイ９５４などの入出力デバイスと、通信インターフェース９６６と、トランシーバ９６８とを含む。デバイス９５０はまた、追加のストレージを提供するために、マイクロドライブ又は他のデバイスなど、ストレージデバイスを備え得る。構成要素９５０、９５２、９６４、９５４、９６６、及び９６８の各々は、様々なバスを使用して相互接続され、構成要素のうちのいくつかは、共通のマザーボード上に、又は必要に応じて他の方法で取り付けられ得る。
【0092】
プロセッサ９５２は、メモリ９６４に記憶された命令を含む、コンピューティングデバイス９５０内の命令を実行することができる。プロセッサは、別個の複数のアナログ及びデジタルプロセッサを含むチップのチップセットとして実装され得る。プロセッサは、例えば、ユーザインターフェースの制御、デバイス９５０によって稼働されるアプリケーション、及びデバイス９５０によるワイヤレス通信など、デバイス９５０の他の構成要素の協調を提供し得る。
【0093】
プロセッサ９５２は、ディスプレイ９５４に結合された制御インターフェース９５８及びディスプレイインターフェース９５６を介してユーザと通信し得る。ディスプレイ９５４は、例えば、ＴＦＴ ＬＣＤ（薄膜トランジスタ液晶ディスプレイ）又はＯＬＥＤ（有機発光ダイオード）ディスプレイ、あるいは他の適切なディスプレイ技術であり得る。ディスプレイインターフェース９５６は、グラフィック情報及び他の情報をユーザに提示するためにディスプレイ９５４を駆動するための適切な回路を備え得る。制御インターフェース９５８は、ユーザからコマンドを受信し、それらを、プロセッサ９５２に提出するために変換し得る。さらに、外部インターフェース９６２は、デバイス９５０の他のデバイスとの近距離通信を可能にするように、プロセッサ９５２と通信して提供され得る。外部インターフェース９６２は、例えば、いくつかの実装形態ではワイヤード通信、又は他の実装形態ではワイヤレス通信を提供し得、複数のインターフェースも使用され得る。
【0094】
メモリ９６４は、コンピューティングデバイス９５０内に情報を記憶する。メモリ９６４は、１つ又は複数のコンピュータ可読媒体、１つ又は複数の揮発性メモリユニット、又は１つ又は複数の不揮発性メモリユニットのうちの１つ又は複数として実装され得る。拡張メモリ９８４も提供され、例えば、ＳＩＭＭ（シングル・インライン・メモリ・モジュール）カードインターフェースを含み得る拡張インターフェース９８２を介してデバイス９５０に接続され得る。そのような拡張メモリ９８４は、デバイス９５０にさらなるストレージ空間を提供し得るか、あるいはデバイス９５０のためのアプリケーション又は他の情報を記憶し得る。具体的には、拡張メモリ９８４は、上記で説明されたプロセスを行うか又は補足するための命令を含み得、セキュア情報をも含み得る。したがって、例えば、拡張メモリ９８４は、デバイス９５０のためのセキュリティモジュールとして機能し得、デバイス９５０のセキュアな使用を可能にする命令でプログラムされ得る。さらに、セキュアなアプリケーションが、ＳＩＭＭカード上の識別情報をハッキングできないように配置するなど、追加情報と共に、ＳＩＭＭカードを介して提供され得る。
【0095】
メモリは、例えば、以下で説明されるように、フラッシュメモリ及び／又はＮＶＲＡＭメモリを含み得る。一実装形態では、コンピュータプログラム製品は、情報キャリアにおいて有形に具現化される。コンピュータプログラム製品は、実行されたとき、上記で説明されたものなど、１つ又は複数の方法を実施する命令を含む。情報キャリアは、例えばトランシーバ９６８又は外部インターフェース９６２を介して受信され得る、メモリ９６４、拡張メモリ９８４、又はプロセッサ９５２上のメモリなど、コンピュータ又は機械可読媒体である。
【0096】
デバイス９５０は、必要に応じてデジタル信号処理回路を含み得る通信インターフェース９６６を介してワイヤレス通信し得る。通信インターフェース９６６は、とりわけ、ＧＳＭ音声通話、ＳＭＳ、ＥＭＳ、又はＭＭＳメッセージング、ＣＤＭＡ、ＴＤＭＡ、ＰＤＣ、ＷＣＤＭＡ、ＣＤＭＡ２０００、又はＧＰＲＳなど、様々なモード又はプロトコルの下での通信を提供し得る。そのような通信は、例えば、無線周波トランシーバ９６８を介して行われ得る。さらに、Ｂｌｕｅｔｏｏｔｈ、ＷｉＦｉ、又は他のそのようなトランシーバ（図示せず）などを使用して、短距離通信が行われ得る。さらに、ＧＰＳ（全地球測位システム）受信機モジュール９８０は、デバイス９５０上で稼働しているアプリケーションによって適切に使用され得る追加のナビゲーション及びロケーション関係ワイヤレスデータを、デバイス９５０に提供し得る。
【0097】
デバイス９５０はまた、ユーザから口頭情報を受信し、それを使用可能なデジタル情報に変換し得るオーディオコーデック９６０を使用して可聴的に通信し得る。オーディオコーデック９６０は、同様に、例えばデバイス９５０のハンドセット中のスピーカなどを介して、ユーザについての可聴音を生成し得る。そのような音は、音声電話通話からの音を含み得、記録された音（例えば、音声メッセージ、音楽ファイルなど）を含み得、デバイス９５０上で動作しているアプリケーションによって生成された音をも含み得る。
【0098】
コンピューティングデバイス９５０は、図に示されているように、いくつかの異なる形態で実装され得る。例えば、それは、携帯電話９８０として実装され得る。それはまた、スマートフォン９８２、携帯情報端末、又は他の同様のモバイルデバイスの一部として実装され得る。
【0099】
本明細書で説明されたシステム及び技術の様々な実装形態は、デジタル電子回路、集積回路、特別に設計されたＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組合せで実現され得る。これらの様々な実装形態は、ストレージシステム、少なくとも１つの入力デバイス、及び少なくとも１つの出力デバイスからデータ及び命令を受信し、それらにデータ及び命令を送信するために結合された、専用又は汎用であり得る少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステム上で実行可能及び／又は解釈可能である１つ又は複数のコンピュータプログラムにおける実装形態を含むことができる。
【0100】
（プログラム、ソフトウェア、ソフトウェアアプリケーション又はコードとしても知られている）これらのコンピュータプログラムは、プログラマブルプロセッサのための機械命令を含み、高レベル手続き及び／又はオブジェクト指向プログラミング言語において、並びに／あるいはアセンブリ／機械言語において実装され得る。本明細書で使用される「機械可読媒体」及び「コンピュータ可読媒体」という用語は、機械命令及び／又はデータをプログラマブルプロセッサに提供するために使用される任意のコンピュータプログラム製品、装置及び／又はデバイス（例えば、磁気ディスク、光ディスク、メモリ、プログラマブル論理デバイス（ＰＬＤ））を指し、これは、機械命令を機械可読信号として受信する機械可読媒体を含む。「機械可読信号」という用語は、機械命令及び／又はデータをプログラマブルプロセッサに提供するために使用される任意の信号を指す。
【0101】
ユーザとの対話を提供するために、本明細書で説明されたシステム及び技術は、ユーザに情報を表示するためのディスプレイデバイス（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、ユーザがコンピュータに入力を提供することができるキーボード及びポインティングデバイス（例えば、マウス又はトラックボール）とを有するコンピュータ上に実装され得る。ユーザとの対話を提供するために他の種類のデバイスも使用され得、例えば、ユーザに提供されるフィードバックは、任意の形態の感覚フィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であり得、ユーザからの入力は、音響、音声、又は触覚入力を含む任意の形態で受信され得る。
【0102】
本明細書で説明されたシステム及び技術は、（例えば、データサーバとして）バックエンド構成要素を含むか、又はミドルウェア構成要素（例えば、アプリケーションサーバ）を含むか、又はフロントエンド構成要素（例えば、ユーザが本明細書で説明されたシステム及び技術の実装形態と対話することができるグラフィカル・ユーザ・インターフェース又はウェブブラウザを有するクライアントコンピュータ）を含むコンピューティングデバイスにおいて、あるいはそのようなバックエンド、ミドルウェア、又はフロントエンド構成要素の任意の組合せにおいて実装され得る。システムの構成要素は、任意の形態又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によって相互接続され得る。通信ネットワークの例は、ローカル・エリア・ネットワーク（「ＬＡＮ」）、ワイド・エリア・ネットワーク（「ＷＡＮ」）、及びインターネットを含む。
【0103】
コンピューティングデバイスは、クライアント及びサーバを含むことができる。クライアント及びサーバは、一般に互いに遠隔にあり、典型的には通信ネットワークを介して対話する。クライアントとサーバとの関係は、それぞれのコンピュータ上で稼働し、互いにクライアント－サーバ関係を有するコンピュータプログラムによって生じる。
【0104】
いくつかの実施形態が説明された。それにもかかわらず、本発明の趣旨及び範囲から逸脱することなく様々な修正が行われ得ることが理解されよう。
【0105】
さらに、図に示されている論理フローは、望ましい結果を達成するために、示されている特定の順序、又は連続した順序を必要としない。さらに、他のステップが提供され得るか、又は説明されたフローからステップが排除され得、説明されたシステムに他の構成要素が追加され得るか、又は説明されたシステムから他の構成要素が除去され得る。したがって、他の実施形態は、以下の特許請求の範囲内にある。
【図1】
【図2】
【図3A】
【図3B】
【図4】
【図5】
【図6A】
【図6B】
【図7】
【図8】
【図9】
【図10】
【国際調査報告】