ホーム > 特許ランキング > ＡＢＢ Ｓｃｈｗｅｉｚ ＡＧ
知財求人 - 知財ポータルサイト「IP Force」
特表2024-542255産業プラントの動作状態で取るべきアクションの適切なシーケンスの決定
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-11-13
(54)【発明の名称】産業プラントの動作状態で取るべきアクションの適切なシーケンスの決定
(51)【国際特許分類】
G05B 23/02 20060101AFI20241106BHJP
G05B 19/042 20060101ALI20241106BHJP
【ＦＩ】
G05B23/02 X
G05B19/042
【審査請求】有
【予備審査請求】有
(21)【出願番号】P 2024530471
(86)(22)【出願日】2022-10-28
(85)【翻訳文提出日】2024-06-25
(86)【国際出願番号】 EP2022080269
(87)【国際公開番号】W WO2023094112
(87)【国際公開日】2023-06-01
(31)【優先権主張番号】21209772.9
(32)【優先日】2021-11-23
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
(71)【出願人】
【識別番号】505056845
【氏名又は名称】アーベーベー・シュバイツ・アーゲー
【氏名又は名称原語表記】ＡＢＢ Ｓｃｈｗｅｉｚ ＡＧ
【住所又は居所原語表記】Ｂｒｕｇｇｅｒｓｔｒａｓｓｅ ６６， ５４００ Ｂａｄｅｎ， Ｓｗｉｔｚｅｒｌａｎｄ
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(72)【発明者】
【氏名】クレッパー、ベンヤミン
(72)【発明者】
【氏名】シュミット、ベネディクト
(72)【発明者】
【氏名】ボリソン、ロイベン
【テーマコード（参考）】
3C223
5H220
【Ｆターム（参考）】
3C223AA01
3C223BA01
3C223EB01
3C223FF22
3C223FF26
3C223FF42
5H220AA01
5H220AA04
5H220BB10
5H220CC07
5H220CX01
5H220JJ26
(57)【要約】
産業プラント（１）またはその一部の動作中に取るべきアクションの適切なシーケンス（６）を決定するためのコンピュータ実装方法（１００）であって、プラント（１）またはその一部の動作状態を特徴付ける複数の状態変数（２）の値を取得するステップ（１１０）と、少なくとも１つのトレーニングされた状態エンコーダネットワーク（３）によって、複数の状態変数（２）を、プラント（１）またはその一部の動作状態の表現（２ａ）にエンコードするステップ（１２０）と、トレーニングされた状態‐アクションネットワーク（４）によって、動作状態の前記表現（２ａ）を、動作状態に応答して取るべきアクションのシーケンス（６）の表現（６ａ）にマッピングするステップ（１３０）と、トレーニングされたアクションデコーダネットワーク（５）によって、アクションのシーケンス（６）の表現（６ａ）を、取るべきアクションの求められているシーケンス（６）にデコードするステップ（１４０）とを備える。
【選択図】図１
【選択図】図１
【特許請求の範囲】
【請求項1】
産業プラント（１）またはその一部の動作中に取るべきアクションの適切なシーケンス（６）を決定するためのコンピュータ実装方法（１００）であって、・前記プラント（１）またはその一部の動作状態を特徴付ける複数の状態変数（２）の値を取得するステップ（１１０）と、
・少なくとも１つのトレーニングされた状態エンコーダネットワーク（３）によって、前記複数の状態変数（２）を、前記プラント（１）またはその一部の前記動作状態の表現（２ａ）にエンコードするステップ（１２０）と、
・トレーニングされた状態‐アクションネットワーク（４）によって、前記動作状態の前記表現（２ａ）を、前記動作状態に応答して取るべきアクションのシーケンス（６）の表現（６ａ）にマッピングするステップ（１３０）と、
・トレーニングされたアクションデコーダネットワーク（５）によって、前記アクションのシーケンス（６）の前記表現（６ａ）を、取るべきアクションの求められているシーケンス（６）にデコードするステップ（１４０）とを備える、方法（１００）。
【請求項2】
前記状態エンコーダネットワーク（３）は、最初に複数の状態変数（２）を前記プラント（１）またはその一部の前記動作状態の表現（２ａ）にマッピングし、次いでこの表現（２ａ）から複数の状態変数（２）を再構築するエンコーダ-デコーダ構成のエンコーダ部分であるように選択される（１２１）、請求項１に記載の方法（１００）。
【請求項3】
前記アクションデコーダネットワーク（５）は、最初にアクションのシーケンス（６）および／またはこのアクションのシーケンス（６）から導出された処理結果を表現（６ａ）にマッピングし、次いで、この表現（６ａ）からアクションのシーケンス（６）および／またはそこから導出された処理結果を再構築するエンコーダ-デコーダ構成のデコーダ部分であるように選択される（１４１）、請求項１または２のいずれか一項に記載の方法（１００）。
【請求項4】
前記状態エンコーダネットワーク（３）および／または前記アクションデコーダネットワーク（５）は、リカレントニューラルネットワーク、ＲＮＮ、および／またはトランスフォーマニューラルネットワークを備える、請求項１から３のいずれか一項に記載の方法（１００）。
【請求項5】
前記状態‐アクションネットワーク（４）は、畳み込みニューラルネットワーク、および／または完全結合ニューラルネットワークを備える、請求項１から４のいずれか一項に記載の方法（１００）。
【請求項6】
前記状態変数（２）は、圧力、温度、質量流量、電圧、電流、充填レベル、および／または物質の混合物中の物質の濃度のうちの１つ以上を備える、請求項１から５のいずれか一項に記載の方法（１００）。
【請求項7】
前記アクションは、・前記プラント（１）またはその一部の機器を有効または無効にすることと、
・前記プラント（１）またはその一部のバルブを開閉することと、
・前記プラント（１）またはその一部における少なくとも１つの低レベルコントローラの設定値を変更することと、のうちの１つ以上を備える、請求項１から６のいずれか一項に記載の方法（１００）。
【請求項8】
前記プラント（１）またはその一部は、アラームおよびイベントデータを発するように構成された連続プラントまたはプロセスプラントである、請求項１から７のいずれか一項に記載の方法（１００）。
【請求項9】
前記プラント（１）またはその一部は、・廃棄物焼却プラントと、
・炭化水素分離プラントと、
・炭化水素井戸に水を注入するための再注入システムと、
・炭化水素利用施設と、及び／又は、
・脱グリコール再生プラントと、のうちの１つ以上を備える、請求項１から８のいずれか一項に記載の方法（１００）。
【請求項10】
請求項１から９のいずれか一項に記載の方法（１００）で使用するためのネットワーク（３、４、５）の構成をトレーニングするためのコンピュータ実装方法（２００）であって、・アクションエンコーダネットワーク（５＃）及びアクションデコーダネットワーク（５）の事前トレーニングされた第１のエンコーダ-デコーダ構成を取得するステップ（２１０）と、
・状態エンコーダネットワーク（３）および状態デコーダネットワーク（３＃）の事前トレーニングされた第２のエンコーダ-デコーダ構成を取得するステップ（２２０）と、
・トレーニングデータのサンプル（７）を取得するステップ（２３０）と、ここで、各サンプル（７）は、前記プラント（１）またはその一部の前記動作状態を特徴付ける複数の状態変数（２）の値と、この動作状態に応答して取られるアクションのシーケンス（６＊）とを備え、
・前記事前トレーニングされた状態エンコーダネットワーク（３）によって、各サンプル（７）内の前記状態変数（２）の前記値をそれぞれの動作状態の表現（２ａ）にエンコードするステップ（２４０）と、
・前記トレーニングされるべき状態‐アクションネットワーク（４）によって、前記動作状態の前記表現（２ａ）をアクションのシーケンス（６）の表現（６ａ）にマッピングするステップ（２５０）と、
・予め定められた損失関数（８）を用いて、どの程度、
〇前記アクションのシーケンスの前記表現（６ａ）は、トレーニングサンプル（７）内のアクションの前記シーケンス（６＊）を前記事前トレーニングされたアクションエンコーダネットワーク（５＃）によってエンコードすることによって得られる表現（６ａ＊）と一致するか、および／または、
〇前記事前トレーニングされたアクションデコーダネットワーク（５）によって、アクションのシーケンス（６）の表現（６ａ）をデコードすることによって取得されたアクションのシーケンス（６）が、前記トレーニングサンプル（７）内のアクションのシーケンス（６＊）と一致するか
を、測定するステップ（２６０）と、
・さらなるトレーニングサンプル（７）が処理されるときに、前記損失関数（８）によるレーティング（８ａ）が改善する可能性があるように、前記トレーニングされるべき状態‐アクションネットワーク（４）の挙動を特徴付けるパラメータ（４ａ）を最適化するステップ（２７０）とを備える、方法（２００）。
【請求項11】
アクションエンコーダネットワーク（５＃）およびアクションデコーダネットワーク（５）の第１の事前トレーニングされたエンコーダ-デコーダ構成を取得すること（２１０）は、・アクションのシーケンス（６）のトレーニングサンプルを取得すること（２１１）と、
・各トレーニングサンプルにおける前記アクションのシーケンス（６）、および／またはそれから導出された処理結果を、前記トレーニングされるべきアクションエンコーダネットワーク（５＃）に提供し（２１２）、それによって表現（６ａ）を取得することと、
・この表現（６ａ）を前記トレーニングされるべきアクションデコーダネットワーク（５）に提供し、それによってアクションのシーケンス（６’）および／またはそれから導出される処理結果を取得すること（２１３）と、
・予め定められた損失関数（９）を用いて、このアクションのシーケンス（６’）および／またはこの処理結果が、前記トレーニングサンプルにおける前記アクションのシーケンス（６）および／または前記処理結果とどの程度一致するかを測定すること（２１４）と、
・さらなるトレーニングサンプルが処理されるときに、前記損失関数（９）による前記レーティング（９ａ）が改善する可能性があるように、前記トレーニングされるべきアクションエンコーダネットワーク（５＃）および前記トレーニングされるべきアクションデコーダネットワーク（５）の挙動を特徴付けるパラメータ（５ａ＃、５ａ）を最適化すること（２１５）とを備える、請求項１０に記載の方法（２００）。
【請求項12】
状態エンコーダネットワーク（３）および状態デコーダネットワーク（３＃）の第２の事前トレーニングされたエンコーダ-デコーダ構成を取得すること（２２０）は、・前記プラント（１）またはその一部の動作状態を特徴付ける複数の状態変数（２）の値を含むトレーニングサンプルを取得すること（２２１）と、
・各トレーニングサンプルにおける状態変数（２）の値を前記トレーニングされるべき状態エンコーダネットワーク（３）に提供し（２２２）、それによって表現（２ａ）を取得することと、
・この表現（２ａ）を前記トレーニングされるべき状態デコーダネットワーク（３＃）に提供し（２２３）、それによって状態変数の値（２’）を取得することと、
・予め定められた損失関数（１０）を用いて、これらの値（２’）がトレーニングサンプルの値（２）とどの程度一致するかを測定すること（２２４）と、
・さらなるトレーニングサンプルが処理されるときに、前記損失関数（１０）による前記レーティング（１０ａ）が改善する可能性があるように、前記トレーニングされるべき状態エンコーダネットワーク（３）および前記トレーニングされるべき状態デコーダネットワーク（３＃）の挙動を特徴付けるパラメータ（３ａ、３ａ＃）を最適化すること（２２５）とを備える、請求項１０または１１のいずれか一項に記載の方法（２００）。
【請求項13】
前記トレーニングされるべきアクションエンコーダネットワーク（５＃）および前記トレーニングされるべき状態エンコーダネットワーク（３）は、１つの単一ネットワークアーキテクチャに組み合わされる、請求項１１を引用する請求項１２に記載の方法（２００）。
【請求項14】
前記第１のエンコーダ-デコーダ構成、および／または前記第２のエンコーダ-デコーダ構成、および／または前記状態‐アクションネットワーク（４）の前記トレーニングのためのトレーニングサンプル（７）を取得すること（２３０）は、複数の産業プラント（１）において取得されたトレーニングサンプル（７）を集約すること（２３１）を備える、請求項１０から１３のいずれか一項に記載の方法（２００）。
【請求項15】
１つ以上のコンピュータ上で実行されると、前記１つ以上のコンピュータに請求項１から１４のいずれか一項に記載の方法（１００、２００）を実行させる機械読取可能命令を含む、１つ以上のコンピュータプログラム。
【請求項16】
請求項１５に記載のコンピュータプログラムを有する非一時的記憶媒体および／またはダウンロード製品。
【請求項17】
請求項１５に記載のコンピュータプログラムを有する、ならびに／または、請求項１６に記載の非一時的記憶媒体および／もしくはダウンロード製品を有する１つ以上のコンピュータ。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、産業プラントの監視、および特定の動作状態に応答して、特に異常な動作状態に応答して取るべきアクションの決定に関する。
【背景技術】
【0002】
多くの産業プラントの意図された動作は、１つ以上の重要業績評価指標（ＫＰＩ）を最適化するために低レベルコントローラの設定点を調整する分散制御システム（ＤＣＳ）によって制御される。プラントはまた、機器の故障または機能不全などの任意の異常状態について連続的に監視される。この監視は、ＤＣＳによる制御と少なくとも部分的に統合されてもよい。
【0003】
異常状態が検出された場合、ＤＣＳによって自動的にそれを修復することは常に可能であるとは限らない。あらゆるプラントにおいて、オペレータが特定のアクションのシーケンスを実行することによって改善する必要がある異常な状況が存在する。ＷＯ２０１９／１０４２９６Ａ１は、オペレータが高優先度アラームを識別するのを支援するアラーム管理システムを開示している。しかし、オペレータへのアラームの出力は、異常状態を改善するための第１のステップにすぎない。また、オペレータが正しいアクションのシーケンスを実行することも必要である。
【0004】
発明の目的
したがって、本発明の目的は、産業プラントまたはその一部の監視中に得られた情報から、取るべきアクションのシーケンスを計算することによって、プラントオペレータが異常な状況を改善するのを支援することである。
したがって、本発明の目的は、産業プラントまたはその一部の監視中に得られた情報から、取るべきアクションのシーケンスを計算することによって、プラントオペレータが異常な状況を改善するのを支援することである。
【0005】
この目的は、第１の独立請求項に記載のイベントの適切なシーケンスを決定する第１の方法と、第１の方法で使用される機械学習ネットワークをトレーニングする第２の独立請求項に記載の第２の方法とによって達成される。更なる有利な実施形態が、それぞれの従属請求項に明記されている。
【発明の概要】
【0006】
本発明は、産業プラントまたはその一部の動作中に取るべき適切なアクションのシーケンスを決定するためのコンピュータ実装方法を提供する。
【0007】
この方法の過程で、プラントまたはその一部の動作状態を特徴付ける複数の状態変数の値が得られる。例えば、これらの値は、ベクトルまたはテンソルに結合されてもよい。プラントまたはその一部の状態を特徴付けるために必要とされる状態変数の具体的なセットは、プラント固有である。このような状態変数の例は、圧力、温度、質量流量、電圧、電流、充填レベル、および物質の混合物中の物質の濃度を含む。
【0008】
複数の状態変数（例えば、状態変数の値を含むベクトルまたはテンソル）は、少なくとも１つのトレーニングされた状態エンコーダネットワークによって、プラントまたはその一部の動作状態の表現にエンコードされる。特に、そのような表現は、元の複数の状態変数よりもはるかに低い次元を有し得る。すなわち、表現は、状態変数の値を有する元のベクトルよりもはるかに少ない数の変数に依存し得る。
【0009】
状態変数の例としては、以下のものが挙げられるが、これらに限定されない：
・圧力、質量流量、電圧または電流などのプロセス変数を少なくとも示す変数；
・モータのオンオフ切り替え、アラーム限界を超える信号、バルブの開閉などのプラントにおける離散的な変化を示すイベント；
・プロセス変数とイベントとの組み合わせ。
・圧力、質量流量、電圧または電流などのプロセス変数を少なくとも示す変数；
・モータのオンオフ切り替え、アラーム限界を超える信号、バルブの開閉などのプラントにおける離散的な変化を示すイベント；
・プロセス変数とイベントとの組み合わせ。
【0010】
状態変数がプロセス変数とイベントの両方を含む場合、状態エンコーダネットワークは、プロセス変数とイベントの両方を同時に入力として取り込む結合状態エンコーダネットワークであってもよい。しかし、一方がプロセス変数をエンコードし、他方が事象をエンコードする、２つの状態エンコードネットワークの組み合わせも使用されてもよい。
【0011】
トレーニングされた状態‐アクションネットワークによって、動作状態の表現は、動作状態に応答して取るべきアクションのシーケンスの表現にマッピングされる。特に、少数の変数が、非常に多くの状態変数に依存するプラントの複雑な動作状態をエンコードできるのと同様に、少数の変数は、多くの異なるアクションを備えるアクションの複雑なシーケンスもエンコードできる。
【0012】
アクションのシーケンスの表現は、トレーニングされたアクションデコーダネットワークによって、取るべきアクションの求められたシーケンスにデコードされる。そのように決定されたアクションのシーケンスは、異常な状況を改善するために、任意の可能な方法で使用されてもよい。例えば、シーケンス内のアクションが自動的に実行されてもよい限り、これらのアクションの自動実行がトリガされてもよい。オペレータによってのみ実行されてもよいアクションについては、オペレータは、それらを実行するために任意の適切な方法で通知されてもよい。また、そのようなアクションを実行する際にオペレータを支援するために、任意の適切なアクションが取られてもよい。例えば、オペレータがＤＣＳのヒューマンマシンインターフェース内の何らかの特定の制御要素を操作する必要がある場合、これは強調表示されてもよい。アクションが物理的制御（ボタン、スイッチ、またはノブなど）の操作を必要とし、これが偶発的または不注意な操作を防止するためにカバーによって制御ガードされる場合、カバーはロック解除および／または開放してもよい。同様に、アクションが特定の機器への物理的アクセスを必要とする場合、機器の位置へのアクセスドアがロック解除されてもよく、及び／又は、オペレータに危害を及ぼす可能性のある機器を停止することなどによって、機器の位置がオペレータが入るのに安全にされてもよい。ＤＣＳのＨＭＩにおいて利用可能なアクションが、人間の介入なしに、または任意選択で少なくとも人間の監視下で自動的に実行される（すなわち、システムによって提案されるアクションのシーケンスが自動的に実行されるように人間が観察する）という意味でのハイブリッドソリューションも可能である。
【0013】
アクションのシーケンス内のアクションの例は、以下を含む：
・プラントまたはその一部の機器を有効または無効にすること；
・プラントまたはその一部の弁を開閉すること；
・プラントまたはその一部における少なくとも１つの低レベルコントローラの設定値を変更すること。
・プラントまたはその一部の機器を有効または無効にすること；
・プラントまたはその一部の弁を開閉すること；
・プラントまたはその一部における少なくとも１つの低レベルコントローラの設定値を変更すること。
【0014】
プラントの動作状態の主な評価は、この動作状態の表現がアクションのシーケンスの表現にマッピングされるときに行われる。表現は、通常、動作状態、それぞれ、アクションのシーケンスよりもはるかに低い次元を有するので、これは、評価が、２つの低次元空間の間のマッピングを単に含むことを意味する。これは、状態‐アクションネットワークを、高次元動作状態を直接取得し、高次元アクションシーケンスを直接出力するネットワークよりもトレーニングするのをはるかに容易にする。特に、状態‐アクションネットワークがトレーニングしやすいことは、トレーニングがより少ない量のトレーニングサンプルを必要とすることを備える。
【0015】
さらに、処理チェーン全体における別個のタスク、すなわち、
・高次元入力から低次元表現に移行することと、
・この表現を別の低次元空間における別の表現に処理することと、
・第２の低次元表現空間から第２の高次元出力空間に進むことと
は、それぞれのジョブに特化することができる別個のネットワークに割り当てられる。これは、一度に全てのタスクを実行しなければならず、競合する目標間のトレードオフを行わなければならない可能性がある単一のネットワークの使用と比較して、最終的に決定される出力の全体的な精度を改善する。これは、ｓｅｄ、ａｗｋ、ｇｒｅｐなどのＵｎｉｘ（登録商標）ツールの哲学に幾分似ている。各ツールは、正確に１つの単一の単純なジョブを行うように構築され、その１つの単一の単純なジョブを卓越する。より複雑なジョブの場合、一方のツールの出力は、他方のツールに入力としてパイプで送られる。
・高次元入力から低次元表現に移行することと、
・この表現を別の低次元空間における別の表現に処理することと、
・第２の低次元表現空間から第２の高次元出力空間に進むことと
は、それぞれのジョブに特化することができる別個のネットワークに割り当てられる。これは、一度に全てのタスクを実行しなければならず、競合する目標間のトレードオフを行わなければならない可能性がある単一のネットワークの使用と比較して、最終的に決定される出力の全体的な精度を改善する。これは、ｓｅｄ、ａｗｋ、ｇｒｅｐなどのＵｎｉｘ（登録商標）ツールの哲学に幾分似ている。各ツールは、正確に１つの単一の単純なジョブを行うように構築され、その１つの単一の単純なジョブを卓越する。より複雑なジョブの場合、一方のツールの出力は、他方のツールに入力としてパイプで送られる。
【0016】
特に有利な実施形態では、状態エンコーダネットワークは、最初に複数の状態変数をプラントまたはその一部の動作状態の表現にマッピングし、次いでこの表現から複数の状態変数を再構築するエンコーダ‐デコーダ構成のエンコーダ部分であるように選択される。そのようなエンコーダ－デコーダ構成は、自己教師ありの方法でトレーニングされてもよい。すなわち、トレーニングサンプルが構成に入力され、構成の結果が、元の入力とどれほど一致しているかについて評価されてもよい。このトレーニングが機能するために、トレーニングサンプルは、「グラウンドトゥルース」でラベル付けされる必要はない。機械学習アプリケーションでは、「グラウンドトゥルース」を得ることは、トレーニングの最も費用のかかる部分である。
【0017】
さらに、この方法での再構成のためのトレーニングは、エンコーダ‐デコーダ構成をトレーニングして、再構成のために最も顕著な入力の部分を、低次元表現の「情報ボトルネック」を通して強制的に通過させる。これは、ノイズのような入力のあまり重要でない部分を除去する。したがって、エンコーダは、トレーニングによって何らかのノイズ除去機能も得る。
【0018】
これに代えて、またはこれと組み合わせて、別の特に有利な実施形態では、アクションデコーダネットワークは、まずアクションのシーケンスおよび／またはこのアクションのシーケンスから導出された処理結果を表現にマッピングし、次いでこの表現からアクションのシーケンスおよび／またはそこから導出された処理結果を再構成するエンコーダ－デコーダ構成のデコーダ部分であるように選択される。利点は同じである。
【0019】
「処理結果」を再構築することは、例えば、エンコーダ‐デコーダ構成が、アクションのシーケンスの一部に基づいて、このアクションのシーケンスにおける次のアクションを予測するようにトレーニングされてもよいことを意味する。
【0020】
動作状態のための、および／またはアクションのシーケンスのためのエンコーダネットワークおよび／またはデコーダネットワークとして使用されてもよいネットワークの例は、リカレントニューラルネットワーク、ＲＮＮ、およびトランスフォーマネットワークを含む。
リカレントニューラルネットワークでは、出力が入力としてフィードバックされ、ネットワークは予め定められた反復回数だけ実行される。トランスフォーマニューラルネットワークは、複数のエンコードユニットのシーケンスを備え、各エンコードユニットは、入力の異なる部分間の相関を計算するアテンションヘッドを備える。両方のアーキテクチャは、入力としてシーケンスを処理するのに特に有用である。
リカレントニューラルネットワークでは、出力が入力としてフィードバックされ、ネットワークは予め定められた反復回数だけ実行される。トランスフォーマニューラルネットワークは、複数のエンコードユニットのシーケンスを備え、各エンコードユニットは、入力の異なる部分間の相関を計算するアテンションヘッドを備える。両方のアーキテクチャは、入力としてシーケンスを処理するのに特に有用である。
【0021】
状態－アクションネットワークは、例えば、畳み込みニューラルネットワークを備えてもよい。特に有利な実施形態では、状態－アクションネットワークは、完全に接続されたニューラルネットワークを備える。このアーキテクチャは、入力および出力のサイズ当たり多くのパラメータを含むという代償を払って、トレーニングのための最大の柔軟性を提供する。前述のように、動作状態の表現の次元数、ならびにアクションのシーケンスの表現の次元数は、かなり低い。したがって、完全結合ニューラルネットワークが有するより多くのパラメータが収容されてもよい。
【0022】
特に異常な状況を改善するために、本方法が特に有利である例示的なプラントは、アラームおよびイベントデータを発するように構成された連続プラントまたはプロセスプラントを含む。例えば、本方法は、以下のような異常な状況を改善するために使用されてもよい：
・廃棄物焼却プラント；
・炭化水素分離プラント；
・炭化水素井戸に水を注入するための再注入システム；
・炭化水素利用施設；及び／又は
・脱グリコール再生プラント。
・廃棄物焼却プラント；
・炭化水素分離プラント；
・炭化水素井戸に水を注入するための再注入システム；
・炭化水素利用施設；及び／又は
・脱グリコール再生プラント。
【0023】
これらのプラントは、異常な状況がしばしば安全性の問題を引き起こすという共通点を有する。高優先度アラームの場合、誤ったアクションのシーケンスが開始された場合、または正しいシーケンスを実行するときにエラーが生じた場合（ステップを省略する、または２つのステップの順序を交換するなど）、これは、異常な状況を悪化させ、場合によっては、プラントを再び制御下に置く最後の機会を見送る可能性がある。また、安全が重要な異常な状況は幸いにも稀であるため、これらの状況に対して利用可能なトレーニングデータはほとんどない。したがって、この方法は、前述のように、主な推論がかなり低次元の２つの空間の間で行われるので、より少ないトレーニングデータで機能することができるという利点がある。
【0024】
本発明はまた、上述の方法で使用するためのネットワークの構成をトレーニングするための方法を提供する。
【0025】
この方法の過程で、アクションエンコーダネットワークおよびアクションデコーダネットワークの事前トレーニングされた第１のエンコーダ－デコーダ構成が得られる。また、状態エンコーダネットワークおよび状態デコーダネットワークの事前トレーニングされた第２のエンコーダ‐デコーダ構成が得られる。
【0026】
トレーニングデータのサンプルが取得される。そのようなサンプルの各々は、プラントまたはその一部の動作状態を特徴付ける複数の状態変数の値を含む。これらの状態変数は、トレーニングされるべき構成のための入力データである。各サンプルは、この動作状態に応答して取られるアクションのシーケンスも備える。このシーケンスは、サンプルの動作状態に添付された「グラウンドトゥルース」ラベルである。
【0027】
各サンプルにおける状態変数の値は、事前トレーニングされた状態エンコーダネットワークによってそれぞれの動作状態の表現にエンコードされる。動作状態の結果として得られる表現は、アクションのシーケンスの表現にマッピングされる。この表現でエンコードされたアクションのシーケンスは、状態変数によって特徴付けられる動作状態が与えられた場合にネットワークの構成が提案しているアクションのシーケンスである。
【0028】
このアクションのシーケンスと、サンプルに付随する「グラウンドトゥルース」との対応は、コスト関数によって測定される。これは、以下の２つの方法のいずれか１つ、または組合せによって達成することができる。
【0029】
第１の方法によれば、損失関数は、アクションのシーケンスの表現が、事前トレーニングされたアクションエンコーダネットワークによってトレーニングサンプル内のアクションのシーケンスをエンコードすることによって得られる表現とどの程度一致するかを測定する。
【0030】
第２の方法によれば、損失関数は、事前トレーニングされたアクションデコーダネットワークによって、アクションのシーケンスの表現をデコードすることによって取得されたアクションのシーケンスが、トレーニングサンプル内のアクションのシーケンスとどの程度一致するかを測定する。
【0031】
トレーニングの過程で、トレーニングされるべき状態‐アクションネットワークの挙動を特徴付けるパラメータは、さらなるトレーニングサンプルが処理されるときに損失関数によるレーティングが改善する可能性があるように最適化される。
【0032】
状態変数は、プラント上のプロセスの実際の実行中に、またはプラントヒストリアンからのそのような実行後に、またはプラント上のプロセスと同じ状態変数を生成するプロセスシミュレータを用いたシミュレーションの実行から取得されてもよい。プロセスシミュレータの使用は、履歴データがほとんどない新たにコミッショニングされたプラントに対して、モデルが、最初に、一般的なプロセスダイナミクスを捕捉するシミュレートされたデータに対してトレーニングされ、後に、実際のプロセス実行からの限られた量のデータに対してトレーニングされるときに、特に有益である。同様に、アクションのシーケンスは、プロセスの実行中に監視されてもよく、またはアクションログからそのような実行後に取得されてもよく、または初期トレーニングのために、実際のプラントオペレータまたは予め定義されたアクションシーケンスを用いたシミュレーション実験から取得されてもよい。プラントヒストリアン内の状態変数とアクションログ内のアクションの両方にタイムスタンプが付けられるので、それらを互いに相関させることができる。したがって、トレーニングは、プラントオペレータが特定の状況に反応するワークフローを「マイニング」し、この状況または実質的に類似の状況が再び発生したときにこのワークフローを提案するようにネットワーク構成に教示することと理解されてもよい。このようにして、オペレータの心に存在するが、言葉を言い、または他のオペレータに通信することが困難な知識でさえも使用することができる。
【0033】
例えば、オペレータが「炎が青みがかった色に変わる場合にはバルブをゆっくりと開く」ことを学習した場合、各オペレータは、炎が青みがかった色に変わる瞬間をわずかに異なって知覚することがある。また、異なるオペレータは、弁を「ゆっくり」開くという異なる概念を有することがある。本トレーニング方法は、解釈の余地を残さない自動化された方法で知識を捕捉することを可能にする。
【0034】
特に有利な実施形態では、アクションエンコーダネットワークおよびアクションデコーダネットワークの第１の事前トレーニングされたエンコーダ‐デコーダ構成を取得することは、
・アクションのシーケンスのトレーニングサンプルを取得することと；
・各トレーニングサンプルにおけるアクションのシーケンス、および／またはそれから導出された処理結果を、トレーニングされるべきアクションエンコーダネットワークに提供し、それによって表現を取得することと；
・この表現を前記トレーニングされるべきアクションデコーダネットワークに提供し、それによって、アクションのシーケンス、および／またはそれから導出される処理結果を取得することと；
・予め定められた損失関数を用いて、このアクションのシーケンスおよび／またはこの処理結果が、トレーニングサンプルにおけるアクションのシーケンスおよび／または処理結果とどの程度一致するかを測定することと；
・さらなるトレーニングサンプルが処理されるときに、損失関数によるレーティングが改善する可能性があるように、トレーニングされるべきアクションエンコーダネットワークおよびトレーニングされるべきアクションデコーダネットワークの挙動を特徴付けるパラメータを最適化することと
を備えている。
・アクションのシーケンスのトレーニングサンプルを取得することと；
・各トレーニングサンプルにおけるアクションのシーケンス、および／またはそれから導出された処理結果を、トレーニングされるべきアクションエンコーダネットワークに提供し、それによって表現を取得することと；
・この表現を前記トレーニングされるべきアクションデコーダネットワークに提供し、それによって、アクションのシーケンス、および／またはそれから導出される処理結果を取得することと；
・予め定められた損失関数を用いて、このアクションのシーケンスおよび／またはこの処理結果が、トレーニングサンプルにおけるアクションのシーケンスおよび／または処理結果とどの程度一致するかを測定することと；
・さらなるトレーニングサンプルが処理されるときに、損失関数によるレーティングが改善する可能性があるように、トレーニングされるべきアクションエンコーダネットワークおよびトレーニングされるべきアクションデコーダネットワークの挙動を特徴付けるパラメータを最適化することと
を備えている。
【0035】
この事前トレーニングに使用されるトレーニングサンプルは、上述のメイントレーニングと共通のトレーニングサンプルを有してもよいが、メイントレーニングに使用されるものとは別個のトレーニングサンプルのセットに対して実行されてもよい。例えば、事前トレーニングは、特定のタイプのプラントに対して１回、一般的な方法で実行されてもよい。その後に設置されるプラントの各インスタンスについて、事前トレーニングされたエンコーダ‐デコーダ構成は、状態‐シーケンスネットワークのトレーニングにおいて使用されてもよい。任意選択で、一般的なトレーニングからプラントの具体的なインスタンスに移動するとき、エンコーダ‐デコーダ構成の事前トレーニングは、プラントのこのインスタンスから取得されたさらなるトレーニングサンプルを使用して精緻化されてもよい。
【0036】
事前トレーニングは、利用可能なプロセス状態データおよびアクションシーケンスから「グラウンドトゥルースラベル」を容易に生成することができる様々なタスクを用いて行われ得る。そのようなタスクの例は、入力（プラント状態変数またはアクションシーケンス）の再構築、シーケンス（プラント状態変数またはアクションシーケンス）の次のｎ個の要素の予測、いくつかの提示されたシーケンスセグメントの中の正しい次のシーケンスセグメントの識別、いくつかの提示されたシーケンスセグメントの中の正しい前のシーケンスセグメントの識別、提示されたシーケンスがシーケンス全体の中で隣接するかどうかの識別などである。そのようなタスクは、並列にまたはシーケンスで組み合わされることもあり、これは、事前トレーニングのためのトレーニングデータの量をさらに増加させ、事前トレーニングされたモデルを単一のタスクに過剰適合させることも防止するので、有益である。
【0037】
同じ利点が、類似の方法で、さらなる特に有利な実施形態に適用され、状態エンコーダネットワークおよび状態デコーダネットワークの第２の事前トレーニングされたエンコーダ‐デコーダ構成を取得することは：
・プラントまたはその一部の動作状態を特徴付ける複数の状態変数の値を備えるトレーニングサンプルを取得することと；
・各トレーニングサンプルにおける状態変数の値を前記トレーニングされるべき状態エンコーダネットワークに提供し、それによって表現を取得することと；
・この表現を前記トレーニングされるべき状態デコーダネットワークに提供し、それによって状態変数の値を取得することと；
・予め定められた損失関数によって、これらの値がトレーニングサンプルの値とどの程度一致するかを測定することと；
・さらなるトレーニングサンプルが処理されるときに、損失関数によるレーティングが改善する可能性があるように、トレーニングされるべき状態エンコーダネットワークおよびトレーニングされるべき状態デコーダネットワークの挙動を特徴付けるパラメータを最適化することと
を備える。
・プラントまたはその一部の動作状態を特徴付ける複数の状態変数の値を備えるトレーニングサンプルを取得することと；
・各トレーニングサンプルにおける状態変数の値を前記トレーニングされるべき状態エンコーダネットワークに提供し、それによって表現を取得することと；
・この表現を前記トレーニングされるべき状態デコーダネットワークに提供し、それによって状態変数の値を取得することと；
・予め定められた損失関数によって、これらの値がトレーニングサンプルの値とどの程度一致するかを測定することと；
・さらなるトレーニングサンプルが処理されるときに、損失関数によるレーティングが改善する可能性があるように、トレーニングされるべき状態エンコーダネットワークおよびトレーニングされるべき状態デコーダネットワークの挙動を特徴付けるパラメータを最適化することと
を備える。
【0038】
さらに特に有利な実施形態では、トレーニングされるべきアクションエンコーダネットワークおよびトレーニングされるべき状態エンコーダネットワークは、１つの単一ネットワークアーキテクチャに組み合わされる。この単一のネットワークアーキテクチャは、２つの個々のアーキテクチャの組み合わせよりも少ないパラメータに依存してもよく、より容易なトレーニングをもたらす。また、両方のネットワークによって実行されるタスクは、共通のものを有するので、２つのトレーニングは、１つの単一ネットワークアーキテクチャにおいて知識を「共有する」ことによって、ある程度まで互いから利益を得ることができる。
【0039】
さらに特に有利な実施形態では、第１のエンコーダ‐デコーダ構成、および／または第２のエンコーダ‐デコーダ構成、および／または状態‐アクションネットワークのトレーニングのためのトレーニングサンプルを取得することは、複数の産業プラントで取得されたトレーニングサンプルを集約することを備える。これは、トレーニングサンプルのセットにおける全体的な変動性を改善し、結果として、精度の点でネットワークの最終構成のより良好な性能をもたらす。前述のように、安全性リスクをもたらす異常な状況は、任意の所与のプラントにおいて非常に稀にしか発生しない傾向がある。安全性のリスクのために、トレーニングサンプルを取得する目的のためだけにそのような状況を引き起こすことは、通常、実際的ではない。しかし、より大規模なプラントでは、妥当な量のトレーニングサンプルが集められ得る、それら自体で発生する異常な状況の十分なインスタンスが存在することになる。
【0040】
前述のように、方法はコンピュータで実施される。したがって、本発明は、１つ以上のコンピュータおよび／または計算インスタンス上で実行されると、１つ以上のコンピュータに上述の方法を実行させる機械読取可能命令を有する１つ以上のコンピュータプログラムにも関する。この文脈では、仮想化プラットフォーム、ハードウェアコントローラ、ネットワークインフラストラクチャデバイス（スイッチ、ブリッジ、ルータ、またはワイヤレスアクセスポイントなど）、ならびに機械読取可能命令を実行することができるネットワーク内のエンドデバイス（センサ、アクチュエータ、または他の産業フィールドデバイスなど）も、コンピュータと見なされるものとする。
【0041】
したがって、本発明は、１つ以上のコンピュータプログラムを有する非一時的記憶媒体および／またはダウンロード製品にも関する。ダウンロード製品は、ダウンロードによる即時履行のためにオンラインショップで販売されてもよい製品である。本発明はまた、１つ以上のコンピュータプログラム、及び／又は１つ以上の非一時的機械読取可能記憶媒体、及び／又はダウンロード製品を有する１つ以上のコンピュータ及び／又は計算インスタンスを提供する。
【0042】
以下において、図面を用いて本発明を図示するが、本発明の範囲を限定するものではない。
【図面の簡単な説明】
【0043】
【0044】
図１は、産業プラント１の動作中に取るべきアクションの適切なシーケンスを決定するための方法１００の一実施形態の概略フローチャートである。
【0045】
ステップ１１０において、プラント１またはその一部の動作状態を特徴付ける複数の状態変数２の値が取得される。
【0046】
ステップ１２０において、複数の状態変数２は、少なくとも１つのトレーニングされた状態エンコーダネットワーク３によって、プラント１またはその一部の動作状態の表現２ａにエンコードされる。
【0047】
ブロック１２１によれば、状態エンコーダネットワーク３は、最初に複数の状態変数２をプラント１またはその一部の動作状態の表現２ａにマッピングし、次いでこの表現２ａから複数の状態変数２を再構築するエンコーダ‐デコーダ構成のエンコーダ部であるように選択されてもよい。
【0048】
ステップ１３０において、動作状態の表現２ａは、トレーニングされた状態‐アクションネットワーク４によって、動作状態に応答して取るべきアクションのシーケンス６の表現６ａにマッピングされる。
【0049】
ステップ１４０において、アクションのシーケンス６の表現６ａは、トレーニングされたアクションデコーダネットワーク５によって、取るべきアクションの求められたシーケンス６にデコードされる。
【0050】
ブロック１４１によれば、アクションデコーダネットワーク５は、まずアクションのシーケンス６および／またはこのアクションのシーケンス６から導出された処理結果を表現６ａにマッピングし、次いでこの表現６ａからアクションのシーケンス６および／またはそこから導出された処理結果を再構成するエンコーダ‐デコーダ構成のデコーダ部分であるように選択されてもよい。
【0051】
図２は、上述の方法１００で使用するためのネットワーク３、４、５の構成をトレーニングするための方法２００の一実施形態の概略フローチャートである。
【0052】
ステップ２１０において、アクションエンコードネットワーク５＃およびアクションデコーダネットワーク５の事前トレーニングされた第１のエンコーダ‐デコーダ構成が取得される。図２に示される例では、この取得は、以下の追加のステップを含む：
・ブロック２１１に従って、アクションのシーケンス６のトレーニングサンプルを取得するステップと、
・ブロック２１２に従って、各トレーニングサンプルにおけるアクションのシーケンス６、および／または、それから導出された処理結果を、トレーニングされるべきアクションエンコーダネットワーク５＃に提供し、それによって、表現６ａを取得するステップと、
・ブロック２１３に従って、この表現６ａをトレーニングされるべきアクションデコーダネットワーク５に提供し、それによってアクションのシーケンス６’および／またはそれから導出される処理結果を取得するステップと、
・ブロック２１４に従って、予め定められた損失関数９によって、このアクションのシーケンス６’および／またはこの処理結果が、トレーニングサンプルにおけるアクションのシーケンス６および／または処理結果とどの程度一致するかを測定するステップと、
・ブロック２１５に従って、さらなるトレーニングサンプルが処理されるときに損失関数９によるレーティング９ａが改善する可能性があるように、トレーニングされるべきアクションエンコーダネットワーク５＃およびトレーニングされるべきアクションデコーダネットワーク５の挙動を特徴付けるパラメータ５ａ＃、５ａを最適化するステップ。
パラメータ５ａ＃、５ａの最終的に最適化された状態は、参照符号５ａ＃＊、５ａ＊でラベル付けされる。
・ブロック２１１に従って、アクションのシーケンス６のトレーニングサンプルを取得するステップと、
・ブロック２１２に従って、各トレーニングサンプルにおけるアクションのシーケンス６、および／または、それから導出された処理結果を、トレーニングされるべきアクションエンコーダネットワーク５＃に提供し、それによって、表現６ａを取得するステップと、
・ブロック２１３に従って、この表現６ａをトレーニングされるべきアクションデコーダネットワーク５に提供し、それによってアクションのシーケンス６’および／またはそれから導出される処理結果を取得するステップと、
・ブロック２１４に従って、予め定められた損失関数９によって、このアクションのシーケンス６’および／またはこの処理結果が、トレーニングサンプルにおけるアクションのシーケンス６および／または処理結果とどの程度一致するかを測定するステップと、
・ブロック２１５に従って、さらなるトレーニングサンプルが処理されるときに損失関数９によるレーティング９ａが改善する可能性があるように、トレーニングされるべきアクションエンコーダネットワーク５＃およびトレーニングされるべきアクションデコーダネットワーク５の挙動を特徴付けるパラメータ５ａ＃、５ａを最適化するステップ。
パラメータ５ａ＃、５ａの最終的に最適化された状態は、参照符号５ａ＃＊、５ａ＊でラベル付けされる。
【0053】
ステップ２２０において、状態エンコーダネットワーク３および状態デコーダネットワーク３＃の事前トレーニングされた第２のエンコーダ‐デコーダ構成が取得される。図２に示される例では、この取得は、以下の追加のステップを含む：
・ブロック２２１に従って、プラント１またはその一部の動作状態を特徴付ける複数の状態変数２の値を含むトレーニングサンプルを取得するステップと、
・ブロック２２２に従って、各トレーニングサンプルにおける状態変数２の値をトレーニングされるべき状態エンコーダネットワークに提供し、それによって表現２ａを取得するステップと、
・ブロック２２３に従って、この表現２ａをトレーニングされるべき状態デコーダネットワーク３＃に提供し、それによって状態変数の値２’を取得するステップと、
・ブロック２２４に従って、予め定められた損失関数１０によって、これらの値２’がトレーニングサンプルの値２とどの程度一致するかを測定するステップと、
・ブロック２２５に従って、さらなるトレーニングサンプルが処理されるときに、損失関数１０によるレーティング１０ａが改善する可能性があるように、トレーニングされるべき状態エンコーダネットワーク３およびトレーニングされるべき状態デコーダネットワーク３＃の挙動を特徴付けるパラメータ３ａ、３ａ＃を最適化するステップ。
パラメータ３ａ、３ａ＃の最終的に最適化された状態は、参照符号３ａ＊、３ａ＃＊でラベル付けされている。
・ブロック２２１に従って、プラント１またはその一部の動作状態を特徴付ける複数の状態変数２の値を含むトレーニングサンプルを取得するステップと、
・ブロック２２２に従って、各トレーニングサンプルにおける状態変数２の値をトレーニングされるべき状態エンコーダネットワークに提供し、それによって表現２ａを取得するステップと、
・ブロック２２３に従って、この表現２ａをトレーニングされるべき状態デコーダネットワーク３＃に提供し、それによって状態変数の値２’を取得するステップと、
・ブロック２２４に従って、予め定められた損失関数１０によって、これらの値２’がトレーニングサンプルの値２とどの程度一致するかを測定するステップと、
・ブロック２２５に従って、さらなるトレーニングサンプルが処理されるときに、損失関数１０によるレーティング１０ａが改善する可能性があるように、トレーニングされるべき状態エンコーダネットワーク３およびトレーニングされるべき状態デコーダネットワーク３＃の挙動を特徴付けるパラメータ３ａ、３ａ＃を最適化するステップ。
パラメータ３ａ、３ａ＃の最終的に最適化された状態は、参照符号３ａ＊、３ａ＃＊でラベル付けされている。
【0054】
ステップ２３０において、トレーニングデータのサンプル７が取得される。各サンプル７は、プラント１またはその一部の動作状態を特徴付ける複数の状態変数２の値と、この動作状態に応答して行われるアクションのシーケンス６＊とを備える。
【0055】
ブロック２３１によれば、第１のエンコーダ‐デコーダ構成、および／または第２のエンコーダ‐デコーダ構成、および／または状態‐アクションネットワーク４のトレーニングのためのトレーニングサンプル７を取得すること２３０は、複数の産業プラント１で取得されたトレーニングサンプル７を集約することを備える。
【0056】
ステップ２４０において、各サンプル７における状態変数２の値は、事前トレーニングされた状態エンコーダネットワーク３によってそれぞれの動作状態の表現２ａにエンコードされる。
【0057】
ステップ２５０において、動作状態の表現２ａは、アクションのシーケンス６の表現６ａにマッピングされる。
【0058】
ステップ２６０では、予め定められた損失関数８によって、どの程度
・アクションのシーケンスの表現６ａは、トレーニングサンプル７におけるアクションのシーケンス６を事前トレーニングされたアクションエンコーダネットワーク５＃によってエンコードすることによって取得された表現６ａ＊と一致するか、および／または、
・事前トレーニングされたアクションデコーダネットワーク５によって、アクションのシーケンス６の表現６ａをデコードすることによって取得されたアクションのシーケンス６＊が、トレーニングサンプル７内のアクションのシーケンス６＊と一致するか、
が測定される。
・アクションのシーケンスの表現６ａは、トレーニングサンプル７におけるアクションのシーケンス６を事前トレーニングされたアクションエンコーダネットワーク５＃によってエンコードすることによって取得された表現６ａ＊と一致するか、および／または、
・事前トレーニングされたアクションデコーダネットワーク５によって、アクションのシーケンス６の表現６ａをデコードすることによって取得されたアクションのシーケンス６＊が、トレーニングサンプル７内のアクションのシーケンス６＊と一致するか、
が測定される。
【0059】
ステップ２７０において、トレーニングされるべき状態‐アクションネットワーク４の挙動を特徴付けるパラメータ４ａは、さらなるトレーニングサンプル７が処理されるときに、損失関数８によるレーティング８ａが改善する可能性があるように最適化される。パラメータ４ａの最終的に最適化された状態は、参照符号４ａ＊でラベル付けされる。
【0060】
図３は、状態‐アクションネットワーク４がトレーニングされてもよい２つの方法を図示する。
【0061】
トレーニングサンプル７からの１つ以上の状態変数２の値は、プラント１の動作状態の表現２ａにエンコードされる。状態‐アクションネットワーク４によって、この表現２ａは、アクションのシーケンス６の表現６ａにマッピングされる。この表現６ａは、状態‐アクションネットワーク４によって出力された表現６ａがどの程度正しいのかを測定するために、トレーニングサンプル７内のアクション６＊の「グラウンドトゥルース」シーケンスと比較される必要がある。
【0062】
第１の方法では、アクションの「グラウンドトゥルース」シーケンス６＊は、事前トレーニングされたアクションエンコーダネットワーク５＃によって「グラウンドトゥルース」表現６ａ＊にエンコードされる。損失関数８は、状態‐アクションネットワーク４によって出力された表現６ａが「グラウンドトゥルース」表現６ａ＊とどの程度一致するかを測定する。
【0063】
第２の方法では、状態‐アクションネットワーク４によって出力された表現６ａは、アクションのシーケンス６’を得るために、事前トレーニングされたアクションデコーダネットワーク５によってデコードされる。損失関数８は、このアクションのシーケンス６がアクションの「グラウンドトゥルース」シーケンス６＊とどの程度一致するかを測定する。
【0064】
参照符号のリスト
１ 産業プラント
２ プラント１の動作状態を特徴付ける状態変数
２’ エンコーダ－デコーダトレーニング中にデコードされる状態変数
２ プラント１の動作状態の表示
３ 状態エンコーダネットワーク
３ａ ネットワーク３の挙動を特徴付けるパラメータ
３ａ＊ パラメータ３ａの最終的に最適化された状態
３＃ 状態デコーダネットワーク
３ａ＃ ネットワーク３＃の挙動を特徴付けるパラメータ
３ａ＃＊ パラメータ３ａ＃の最終的に最適化された状態
４ 状態－アクションネットワーク
４ａ ネットワーク４の挙動を特徴付けるパラメータ
４ａ＊ パラメータ４ａの最終的に最適化された状態
５ アクションデコーダネットワーク
５ａ ネットワーク５の挙動を特徴付けるパラメータ
５ａ＊ パラメータ５ａの最終的に最適化された状態
５＃ アクションエンコーダネットワーク
５ａ＃ ネットワーク５＃の挙動を特徴付けるパラメータ
５ａ＃＊ パラメータ５ａ＃の最終的に最適化された状態
６ アクションのシーケンス
６’ エンコーダ－デコーダトレーニング中にデコードされたシーケンス
６＊ トレーニングサンプル７におけるアクションのシーケンス
６ａ アクションのシーケンス６の表現
６ａ＊ シーケンス６＊からエンコードされた表現
７ 状態‐アクションネットワーク４をトレーニングするためのトレーニングサンプル
８ 状態－アクションネットワーク４をトレーニングするための損失関数
８ａ 損失関数によるレーティング
９ アクションエンコーダ‐デコーダ構成５＃、５の損失関数
９ａ 損失関数によるレーティング
１０ 状態エンコーダ－デコーダ構成３、３＃の損失関数
１０ａ 損失関数によるレーティング
１００ アクションの適切なシーケンス６を決定するための方法
１１０ 状態変数２を取得
１２０ 状態変数を表現１２０にエンコード
１２１ エンコーダ－デコーダ構成から状態エンコーダ３を選択
１３０ 表現２ａをシーケンス表現６ａにマッピング
１４０ 表現６ａを求められたシーケンス６ｂにデコード
１４１ エンコーダ－デコーダ構成からアクションデコーダ５を選択
２００ ネットワーク３、４、５の構成をトレーニングする方法
２１０ 事前トレーニングされた第１のエンコーダ－デコーダ構成５＃，５を取得
２１１ シーケンス６のトレーニングサンプルを取得
２１２ トレーニングシーケンス６をアクションエンコーダネットワーク５＃に提供
２１３ 表現６ａをアクションデコーダネットワーク５に提供
２１４ 損失関数９でデコードされたシーケンス６’をレーティング
２１５ ネットワーク５ａ、５ｂのパラメータ５ａ＃、５ｂ＃を最適化
２２０ 事前トレーニングされた第２のエンコーダ‐デコーダ構成３、３＃を取得
２２１ 状態変数２のトレーニングサンプルを取得
２２２ 状態変数２を状態エンコーダネットワーク３に提供
２２３ 表現２ａを状態デコーダネットワーク３＃に提供
２２４ 損失関数１０＃で値２’をレーティング
２２５ ネットワーク３、３＃のパラメータ３ａ、３ａ＃を最適化
２３０ トレーニングデータのサンプル７を取得
２３１ プラント全体にわたってトレーニングサンプル７を集約
２４０ トレーニング状態変数２を表現２ａにエンコード
２５０ 状態表現２ａをシーケンス表現６ａにマッピング
２６０ 損失関数８でシーケンス表現６ａ／シーケンス６をレーティング
２７０ 状態‐アクションネットワーク４のパラメータ４ａを最適化
１ 産業プラント
２ プラント１の動作状態を特徴付ける状態変数
２’ エンコーダ－デコーダトレーニング中にデコードされる状態変数
２ プラント１の動作状態の表示
３ 状態エンコーダネットワーク
３ａ ネットワーク３の挙動を特徴付けるパラメータ
３ａ＊ パラメータ３ａの最終的に最適化された状態
３＃ 状態デコーダネットワーク
３ａ＃ ネットワーク３＃の挙動を特徴付けるパラメータ
３ａ＃＊ パラメータ３ａ＃の最終的に最適化された状態
４ 状態－アクションネットワーク
４ａ ネットワーク４の挙動を特徴付けるパラメータ
４ａ＊ パラメータ４ａの最終的に最適化された状態
５ アクションデコーダネットワーク
５ａ ネットワーク５の挙動を特徴付けるパラメータ
５ａ＊ パラメータ５ａの最終的に最適化された状態
５＃ アクションエンコーダネットワーク
５ａ＃ ネットワーク５＃の挙動を特徴付けるパラメータ
５ａ＃＊ パラメータ５ａ＃の最終的に最適化された状態
６ アクションのシーケンス
６’ エンコーダ－デコーダトレーニング中にデコードされたシーケンス
６＊ トレーニングサンプル７におけるアクションのシーケンス
６ａ アクションのシーケンス６の表現
６ａ＊ シーケンス６＊からエンコードされた表現
７ 状態‐アクションネットワーク４をトレーニングするためのトレーニングサンプル
８ 状態－アクションネットワーク４をトレーニングするための損失関数
８ａ 損失関数によるレーティング
９ アクションエンコーダ‐デコーダ構成５＃、５の損失関数
９ａ 損失関数によるレーティング
１０ 状態エンコーダ－デコーダ構成３、３＃の損失関数
１０ａ 損失関数によるレーティング
１００ アクションの適切なシーケンス６を決定するための方法
１１０ 状態変数２を取得
１２０ 状態変数を表現１２０にエンコード
１２１ エンコーダ－デコーダ構成から状態エンコーダ３を選択
１３０ 表現２ａをシーケンス表現６ａにマッピング
１４０ 表現６ａを求められたシーケンス６ｂにデコード
１４１ エンコーダ－デコーダ構成からアクションデコーダ５を選択
２００ ネットワーク３、４、５の構成をトレーニングする方法
２１０ 事前トレーニングされた第１のエンコーダ－デコーダ構成５＃，５を取得
２１１ シーケンス６のトレーニングサンプルを取得
２１２ トレーニングシーケンス６をアクションエンコーダネットワーク５＃に提供
２１３ 表現６ａをアクションデコーダネットワーク５に提供
２１４ 損失関数９でデコードされたシーケンス６’をレーティング
２１５ ネットワーク５ａ、５ｂのパラメータ５ａ＃、５ｂ＃を最適化
２２０ 事前トレーニングされた第２のエンコーダ‐デコーダ構成３、３＃を取得
２２１ 状態変数２のトレーニングサンプルを取得
２２２ 状態変数２を状態エンコーダネットワーク３に提供
２２３ 表現２ａを状態デコーダネットワーク３＃に提供
２２４ 損失関数１０＃で値２’をレーティング
２２５ ネットワーク３、３＃のパラメータ３ａ、３ａ＃を最適化
２３０ トレーニングデータのサンプル７を取得
２３１ プラント全体にわたってトレーニングサンプル７を集約
２４０ トレーニング状態変数２を表現２ａにエンコード
２５０ 状態表現２ａをシーケンス表現６ａにマッピング
２６０ 損失関数８でシーケンス表現６ａ／シーケンス６をレーティング
２７０ 状態‐アクションネットワーク４のパラメータ４ａを最適化
【図1】
【図2】
【図3】
【手続補正書】
【提出日】2024-06-25
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
産業プラント（１）またはその一部の動作中に取るべきアクションの適切なシーケンス（６）を決定するためのコンピュータ実装方法（１００）であって、・前記プラント（１）またはその一部の動作状態を特徴付ける複数の状態変数（２）の値を取得するステップ（１１０）と、
・少なくとも１つのトレーニングされた状態エンコーダネットワーク（３）によって、前記複数の状態変数（２）を、前記プラント（１）またはその一部の前記動作状態の表現（２ａ）にエンコードするステップ（１２０）と、ここにおいて、前記動作状態のこの表現（２ａ）は、前記プラント（１）の前記動作状態よりも少ない変数に依存する、
・トレーニングされた状態‐アクションネットワーク（４）によって、前記動作状態の前記表現（２ａ）を、前記動作状態に応答して取るべきアクションのシーケンス（６）の表現（６ａ）にマッピングするステップ（１３０）と、ここにおいて、アクションの前記シーケンス（６）のこの表現（６ａ）は、アクションの前記シーケンス（６）よりも少ない変数に依存する、
・トレーニングされたアクションデコーダネットワーク（５）によって、前記アクションのシーケンス（６）の前記表現（６ａ）を、取るべきアクションのシーケンス（６）にデコードするステップ（１４０）とを備える、方法（１００）。
【請求項2】
前記状態エンコーダネットワーク（３）は、最初に複数の状態変数（２）を前記プラント（１）またはその一部の前記動作状態の表現（２ａ）にマッピングし、次いでこの表現（２ａ）から複数の状態変数（２）を再構築するエンコーダ-デコーダ構成のエンコーダ部分であるように選択される（１２１）、請求項１に記載の方法（１００）。
【請求項3】
前記アクションデコーダネットワーク（５）は、最初にアクションのシーケンス（６）および／またはこのアクションのシーケンス（６）から導出された処理結果を表現（６ａ）にマッピングし、次いで、この表現（６ａ）からアクションのシーケンス（６）および／またはそこから導出された処理結果を再構築するエンコーダ-デコーダ構成のデコーダ部分であるように選択される（１４１）、請求項１または２のいずれか一項に記載の方法（１００）。
【請求項4】
前記状態エンコーダネットワーク（３）および／または前記アクションデコーダネットワーク（５）は、リカレントニューラルネットワーク、ＲＮＮ、および／またはトランスフォーマニューラルネットワークを備える、請求項１または２に記載の方法（１００）。
【請求項5】
前記状態‐アクションネットワーク（４）は、畳み込みニューラルネットワーク、および／または完全結合ニューラルネットワークを備える、請求項１または２に記載の方法（１００）。
【請求項6】
前記状態変数（２）は、圧力、温度、質量流量、電圧、電流、充填レベル、および／または物質の混合物中の物質の濃度のうちの１つ以上を備える、請求項１または２に記載の方法（１００）。
【請求項7】
前記アクションは、・前記プラント（１）またはその一部の機器を有効または無効にすることと、
・前記プラント（１）またはその一部のバルブを開閉することと、
・前記プラント（１）またはその一部における少なくとも１つの低レベルコントローラの設定値を変更することと、のうちの１つ以上を備える、請求項１または２に記載の方法（１００）。
【請求項8】
前記プラント（１）またはその一部は、アラームおよびイベントデータを発するように構成された連続プラントまたはプロセスプラントである、請求項１または２に記載の方法（１００）。
【請求項9】
前記プラント（１）またはその一部は、・廃棄物焼却プラントと、
・炭化水素分離プラントと、
・炭化水素井戸に水を注入するための再注入システムと、
・炭化水素利用施設と、及び／又は、
・脱グリコール再生プラントと、のうちの１つ以上を備える、請求項１または２に記載の方法（１００）。
【請求項10】
請求項１に記載の方法（１００）で使用するためのネットワーク（３、４、５）の構成をトレーニングするためのコンピュータ実装方法（２００）であって、・アクションエンコーダネットワーク（５＃）及びアクションデコーダネットワーク（５）の事前トレーニングされた第１のエンコーダ-デコーダ構成を取得するステップ（２１０）と、
・状態エンコーダネットワーク（３）および状態デコーダネットワーク（３＃）の事前トレーニングされた第２のエンコーダ-デコーダ構成を取得するステップ（２２０）と、
・トレーニングデータのサンプル（７）を取得するステップ（２３０）と、ここで、各サンプル（７）は、前記プラント（１）またはその一部の前記動作状態を特徴付ける複数の状態変数（２）の値と、この動作状態に応答して取られるアクションのシーケンス（６＊）とを備え、
・前記事前トレーニングされた状態エンコーダネットワーク（３）によって、各サンプル（７）内の前記状態変数（２）の前記値をそれぞれの動作状態の表現（２ａ）にエンコードするステップ（２４０）と、ここにおいて、前記動作状態のこの表現（２ａ）は、前記それぞれの動作状態よりも少ない変数に依存する、
・前記トレーニングされるべき状態‐アクションネットワーク（４）によって、前記動作状態の前記表現（２ａ）をアクションのシーケンス（６）の表現（６ａ）にマッピングするステップ（２５０）と、ここにおいて、アクションの前記シーケンス（６）のこの表現（６ａ）は、アクションの前記シーケンス（６）よりも少ない変数に依存する、
・予め定められた損失関数（８）を用いて、どの程度、
〇前記アクションのシーケンスの前記表現（６ａ）は、トレーニングサンプル（７）内のアクションの前記シーケンス（６＊）を前記事前トレーニングされたアクションエンコーダネットワーク（５＃）によってエンコードすることによって得られる表現（６ａ＊）と一致するか、および／または、
〇前記事前トレーニングされたアクションデコーダネットワーク（５）によって、アクションのシーケンス（６）の表現（６ａ）をデコードすることによって取得されたアクションのシーケンス（６）が、前記トレーニングサンプル（７）内のアクションのシーケンス（６＊）と一致するか
を、測定するステップ（２６０）と、これにより、レーティング（８ａ）を得る、
・さらなるトレーニングサンプル（７）が処理されるときに、前記損失関数（８）による前記レーティング（８ａ）が改善する可能性があるように、前記トレーニングされるべき状態‐アクションネットワーク（４）の挙動を特徴付けるパラメータ（４ａ）を最適化するステップ（２７０）とを備える、方法（２００）。
【請求項11】
アクションエンコーダネットワーク（５＃）およびアクションデコーダネットワーク（５）の第１の事前トレーニングされたエンコーダ-デコーダ構成を取得すること（２１０）は、・アクションのシーケンス（６）のトレーニングサンプルを取得すること（２１１）と、
・各トレーニングサンプルにおける前記アクションのシーケンス（６）、および／またはそれから導出された処理結果を、前記トレーニングされるべきアクションエンコーダネットワーク（５＃）に提供し（２１２）、それによって表現（６ａ）を取得することと、
・この表現（６ａ）を前記トレーニングされるべきアクションデコーダネットワーク（５）に提供し、それによってアクションのシーケンス（６’）および／またはそれから導出される処理結果を取得すること（２１３）と、
・予め定められた損失関数（９）を用いて、このアクションのシーケンス（６’）および／またはこの処理結果が、前記トレーニングサンプルにおける前記アクションのシーケンス（６）および／または前記処理結果とどの程度一致するかを測定すること（２１４）と、
・さらなるトレーニングサンプルが処理されるときに、前記損失関数（９）による前記レーティング（９ａ）が改善する可能性があるように、前記トレーニングされるべきアクションエンコーダネットワーク（５＃）および前記トレーニングされるべきアクションデコーダネットワーク（５）の挙動を特徴付けるパラメータ（５ａ＃、５ａ）を最適化すること（２１５）とを備える、請求項１０に記載の方法（２００）。
【請求項12】
状態エンコーダネットワーク（３）および状態デコーダネットワーク（３＃）の第２の事前トレーニングされたエンコーダ-デコーダ構成を取得すること（２２０）は、・前記プラント（１）またはその一部の動作状態を特徴付ける複数の状態変数（２）の値を含むトレーニングサンプルを取得すること（２２１）と、
・各トレーニングサンプルにおける状態変数（２）の値を前記トレーニングされるべき状態エンコーダネットワーク（３）に提供し（２２２）、それによって表現（２ａ）を取得することと、
・この表現（２ａ）を前記トレーニングされるべき状態デコーダネットワーク（３＃）に提供し（２２３）、それによって状態変数の値（２’）を取得することと、
・予め定められた損失関数（１０）を用いて、これらの値（２’）がトレーニングサンプルの値（２）とどの程度一致するかを測定すること（２２４）と、
・さらなるトレーニングサンプルが処理されるときに、前記損失関数（１０）による前記レーティング（１０ａ）が改善する可能性があるように、前記トレーニングされるべき状態エンコーダネットワーク（３）および前記トレーニングされるべき状態デコーダネットワーク（３＃）の挙動を特徴付けるパラメータ（３ａ、３ａ＃）を最適化すること（２２５）とを備える、請求項１０または１１のいずれか一項に記載の方法（２００）。
【請求項13】
状態エンコーダネットワーク（３）および状態デコーダネットワーク（３＃）の第２の事前トレーニングされたエンコーダ-デコーダ構成を取得すること（２２０）は、
・前記プラント（１）またはその一部の動作状態を特徴付ける複数の状態変数（２）の値を含むトレーニングサンプルを取得すること（２２１）と、
・各トレーニングサンプルにおける状態変数（２）の値を前記トレーニングされるべき状態エンコーダネットワーク（３）に提供し（２２２）、それによって表現（２ａ）を取得することと、
・この表現（２ａ）を前記トレーニングされるべき状態デコーダネットワーク（３＃）に提供し（２２３）、それによって状態変数の値（２’）を取得することと、
・予め定められた損失関数（１０）を用いて、これらの値（２’）がトレーニングサンプルの値（２）とどの程度一致するかを測定すること（２２４）と、
・さらなるトレーニングサンプルが処理されるときに、前記損失関数（１０）による前記レーティング（１０ａ）が改善する可能性があるように、前記トレーニングされるべき状態エンコーダネットワーク（３）および前記トレーニングされるべき状態デコーダネットワーク（３＃）の挙動を特徴付けるパラメータ（３ａ、３ａ＃）を最適化すること（２２５）とを備え、
前記トレーニングされるべきアクションエンコーダネットワーク（５＃）および前記トレーニングされるべき状態エンコーダネットワーク（３）は、１つの単一ネットワークアーキテクチャに組み合わされる、請求項１１に記載の方法（２００）。
【請求項14】
前記第１のエンコーダ-デコーダ構成、および／または前記第２のエンコーダ-デコーダ構成、および／または前記状態‐アクションネットワーク（４）の前記トレーニングのためのトレーニングサンプル（７）を取得すること（２３０）は、複数の産業プラント（１）において取得されたトレーニングサンプル（７）を集約すること（２３１）を備える、請求項１０に記載の方法（２００）。
【請求項15】
１つ以上のコンピュータ上で実行されると、前記１つ以上のコンピュータに請求項１に記載の方法（１００）を実行させる機械読取可能命令を含む、１つ以上のコンピュータプログラム。
【請求項16】
１つ以上のコンピュータ上で実行されると、前記１つ以上のコンピュータに請求項１０に記載の方法（２００）を実行させる機械読取可能命令を含む、１つ以上のコンピュータプログラム。
【請求項17】
請求項１５に記載のコンピュータプログラムを有する非一時的記憶媒体および／またはダウンロード製品。
【請求項18】
請求項１６に記載のコンピュータプログラムを有する非一時的記憶媒体および／またはダウンロード製品。
【請求項19】
請求項１５に記載のコンピュータプログラムによって、ならびに／または、請求項１７に記載の非一時的記憶媒体および／もしくはダウンロード製品によって、請求項１に記載の方法（１００）を実行するように構成された１つ以上のコンピュータ。
【請求項20】
請求項１６に記載のコンピュータプログラムによって、ならびに／または、請求項１８に記載の非一時的記憶媒体および／もしくはダウンロード製品によって、請求項１０に記載の方法（２００）を実行するように構成された１つ以上のコンピュータ。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】０００３
【補正方法】変更
【補正の内容】
【0003】
異常状態が検出された場合、ＤＣＳによって自動的にそれを修復することは常に可能であるとは限らない。あらゆるプラントにおいて、オペレータが特定のアクションのシーケンスを実行することによって改善する必要がある異常な状況が存在する。ＷＯ２０１９／１０４２９６Ａ１は、オペレータが高優先度アラームを識別するのを支援するアラーム管理システムを開示している。しかし、オペレータへのアラームの出力は、異常状態を改善するための第１のステップにすぎない。また、オペレータが正しいアクションのシーケンスを実行することも必要である。
US 2020/026976 A1は、あらかじめ定義されたコマンドのセットを持つインテリジェント産業アシスタントと産業機械を調和させる方法を開示している。機械の独自I/Oインターフェースの状態は、事前に定義されたコマンドにマッピングされる。このマッピングに基づいて、機械用にカスタマイズされたインターフェースが生成される。
US 2021/097401 A1 は、入力データ値を処理するためのニューラルネットシステムを開示している。入力データ値はエンコーダネットワークによってエンコードされ、エンコードされた製品はアグリゲータによって集約される。集約された出力とターゲット入力値の組み合わせがデコーダによって復号され、最終出力が得られる。
US 2014/237487 A1は、イベント処理システムおよび動作方法を開示している。測定から得られた観測値に基づいて、イベントの発生が検出される。イベントに基づいて、実行すべき状態遷移と実行すべきアクションが決定される。
US 2020/026976 A1は、あらかじめ定義されたコマンドのセットを持つインテリジェント産業アシスタントと産業機械を調和させる方法を開示している。機械の独自I/Oインターフェースの状態は、事前に定義されたコマンドにマッピングされる。このマッピングに基づいて、機械用にカスタマイズされたインターフェースが生成される。
US 2021/097401 A1 は、入力データ値を処理するためのニューラルネットシステムを開示している。入力データ値はエンコーダネットワークによってエンコードされ、エンコードされた製品はアグリゲータによって集約される。集約された出力とターゲット入力値の組み合わせがデコーダによって復号され、最終出力が得られる。
US 2014/237487 A1は、イベント処理システムおよび動作方法を開示している。測定から得られた観測値に基づいて、イベントの発生が検出される。イベントに基づいて、実行すべき状態遷移と実行すべきアクションが決定される。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【0006】
本発明は、添付の特許請求の範囲によって定義される。特許請求の範囲に包含されない実施形態および実施例は、特許請求の範囲に包含される発明を説明し、理解を容易にするために提示される。
本発明は、産業プラントまたはその一部の動作中に取るべき適切なアクションのシーケンスを決定するためのコンピュータ実装方法を提供する。
本発明は、産業プラントまたはその一部の動作中に取るべき適切なアクションのシーケンスを決定するためのコンピュータ実装方法を提供する。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】００６３
【補正方法】変更
【補正の内容】
【0063】
第２の方法では、状態‐アクションネットワーク４によって出力された表現６ａは、アクションのシーケンス６’を得るために、事前トレーニングされたアクションデコーダネットワーク５によってデコードされる。損失関数８は、このアクションのシーケンス６がアクションの「グラウンドトゥルース」シーケンス６＊とどの程度一致するかを測定する。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［１］ 産業プラント（１）またはその一部の動作中に取るべきアクションの適切なシーケンス（６）を決定するためのコンピュータ実装方法（１００）であって、
・前記プラント（１）またはその一部の動作状態を特徴付ける複数の状態変数（２）の値を取得するステップ（１１０）と、
・少なくとも１つのトレーニングされた状態エンコーダネットワーク（３）によって、前記複数の状態変数（２）を、前記プラント（１）またはその一部の前記動作状態の表現（２ａ）にエンコードするステップ（１２０）と、
・トレーニングされた状態‐アクションネットワーク（４）によって、前記動作状態の前記表現（２ａ）を、前記動作状態に応答して取るべきアクションのシーケンス（６）の表現（６ａ）にマッピングするステップ（１３０）と、
・トレーニングされたアクションデコーダネットワーク（５）によって、前記アクションのシーケンス（６）の前記表現（６ａ）を、取るべきアクションの求められているシーケンス（６）にデコードするステップ（１４０）とを備える、方法（１００）。
［２］ 前記状態エンコーダネットワーク（３）は、最初に複数の状態変数（２）を前記プラント（１）またはその一部の前記動作状態の表現（２ａ）にマッピングし、次いでこの表現（２ａ）から複数の状態変数（２）を再構築するエンコーダ-デコーダ構成のエンコーダ部分であるように選択される（１２１）、［１］に記載の方法（１００）。
［３］ 前記アクションデコーダネットワーク（５）は、最初にアクションのシーケンス（６）および／またはこのアクションのシーケンス（６）から導出された処理結果を表現（６ａ）にマッピングし、次いで、この表現（６ａ）からアクションのシーケンス（６）および／またはそこから導出された処理結果を再構築するエンコーダ-デコーダ構成のデコーダ部分であるように選択される（１４１）、［１］または［２］のいずれか一項に記載の方法（１００）。
［４］ 前記状態エンコーダネットワーク（３）および／または前記アクションデコーダネットワーク（５）は、リカレントニューラルネットワーク、ＲＮＮ、および／またはトランスフォーマニューラルネットワークを備える、［１］から［３］のいずれか一項に記載の方法（１００）。
［５］ 前記状態‐アクションネットワーク（４）は、畳み込みニューラルネットワーク、および／または完全結合ニューラルネットワークを備える、［１］から［４］のいずれか一項に記載の方法（１００）。
［６］ 前記状態変数（２）は、圧力、温度、質量流量、電圧、電流、充填レベル、および／または物質の混合物中の物質の濃度のうちの１つ以上を備える、［１］から［５］のいずれか一項に記載の方法（１００）。
［７］ 前記アクションは、
・前記プラント（１）またはその一部の機器を有効または無効にすることと、
・前記プラント（１）またはその一部のバルブを開閉することと、
・前記プラント（１）またはその一部における少なくとも１つの低レベルコントローラの設定値を変更することと、のうちの１つ以上を備える、［１］から［６］のいずれか一項に記載の方法（１００）。
［８］ 前記プラント（１）またはその一部は、アラームおよびイベントデータを発するように構成された連続プラントまたはプロセスプラントである、［１］から［７］のいずれか一項に記載の方法（１００）。
［９］ 前記プラント（１）またはその一部は、
・廃棄物焼却プラントと、
・炭化水素分離プラントと、
・炭化水素井戸に水を注入するための再注入システムと、
・炭化水素利用施設と、及び／又は、
・脱グリコール再生プラントと、のうちの１つ以上を備える、［１］から［８］のいずれか一項に記載の方法（１００）。
［１０］ ［１］から［９］のいずれか一項に記載の方法（１００）で使用するためのネットワーク（３、４、５）の構成をトレーニングするためのコンピュータ実装方法（２００）であって、
・アクションエンコーダネットワーク（５＃）及びアクションデコーダネットワーク（５）の事前トレーニングされた第１のエンコーダ-デコーダ構成を取得するステップ（２１０）と、
・状態エンコーダネットワーク（３）および状態デコーダネットワーク（３＃）の事前トレーニングされた第２のエンコーダ-デコーダ構成を取得するステップ（２２０）と、
・トレーニングデータのサンプル（７）を取得するステップ（２３０）と、ここで、各サンプル（７）は、前記プラント（１）またはその一部の前記動作状態を特徴付ける複数の状態変数（２）の値と、この動作状態に応答して取られるアクションのシーケンス（６＊）とを備え、
・前記事前トレーニングされた状態エンコーダネットワーク（３）によって、各サンプル（７）内の前記状態変数（２）の前記値をそれぞれの動作状態の表現（２ａ）にエンコードするステップ（２４０）と、
・前記トレーニングされるべき状態‐アクションネットワーク（４）によって、前記動作状態の前記表現（２ａ）をアクションのシーケンス（６）の表現（６ａ）にマッピングするステップ（２５０）と、
・予め定められた損失関数（８）を用いて、どの程度、
〇前記アクションのシーケンスの前記表現（６ａ）は、トレーニングサンプル（７）内のアクションの前記シーケンス（６＊）を前記事前トレーニングされたアクションエンコーダネットワーク（５＃）によってエンコードすることによって得られる表現（６ａ＊）と一致するか、および／または、
〇前記事前トレーニングされたアクションデコーダネットワーク（５）によって、アクションのシーケンス（６）の表現（６ａ）をデコードすることによって取得されたアクションのシーケンス（６）が、前記トレーニングサンプル（７）内のアクションのシーケンス（６＊）と一致するか
を、測定するステップ（２６０）と、
・さらなるトレーニングサンプル（７）が処理されるときに、前記損失関数（８）によるレーティング（８ａ）が改善する可能性があるように、前記トレーニングされるべき状態‐アクションネットワーク（４）の挙動を特徴付けるパラメータ（４ａ）を最適化するステップ（２７０）とを備える、方法（２００）。
［１１］ アクションエンコーダネットワーク（５＃）およびアクションデコーダネットワーク（５）の第１の事前トレーニングされたエンコーダ-デコーダ構成を取得すること（２１０）は、
・アクションのシーケンス（６）のトレーニングサンプルを取得すること（２１１）と、
・各トレーニングサンプルにおける前記アクションのシーケンス（６）、および／またはそれから導出された処理結果を、前記トレーニングされるべきアクションエンコーダネットワーク（５＃）に提供し（２１２）、それによって表現（６ａ）を取得することと、
・この表現（６ａ）を前記トレーニングされるべきアクションデコーダネットワーク（５）に提供し、それによってアクションのシーケンス（６’）および／またはそれから導出される処理結果を取得すること（２１３）と、
・予め定められた損失関数（９）を用いて、このアクションのシーケンス（６’）および／またはこの処理結果が、前記トレーニングサンプルにおける前記アクションのシーケンス（６）および／または前記処理結果とどの程度一致するかを測定すること（２１４）と、
・さらなるトレーニングサンプルが処理されるときに、前記損失関数（９）による前記レーティング（９ａ）が改善する可能性があるように、前記トレーニングされるべきアクションエンコーダネットワーク（５＃）および前記トレーニングされるべきアクションデコーダネットワーク（５）の挙動を特徴付けるパラメータ（５ａ＃、５ａ）を最適化すること（２１５）とを備える、［１０］に記載の方法（２００）。
［１２］ 状態エンコーダネットワーク（３）および状態デコーダネットワーク（３＃）の第２の事前トレーニングされたエンコーダ-デコーダ構成を取得すること（２２０）は、
・前記プラント（１）またはその一部の動作状態を特徴付ける複数の状態変数（２）の値を含むトレーニングサンプルを取得すること（２２１）と、
・各トレーニングサンプルにおける状態変数（２）の値を前記トレーニングされるべき状態エンコーダネットワーク（３）に提供し（２２２）、それによって表現（２ａ）を取得することと、
・この表現（２ａ）を前記トレーニングされるべき状態デコーダネットワーク（３＃）に提供し（２２３）、それによって状態変数の値（２’）を取得することと、
・予め定められた損失関数（１０）を用いて、これらの値（２’）がトレーニングサンプルの値（２）とどの程度一致するかを測定すること（２２４）と、
・さらなるトレーニングサンプルが処理されるときに、前記損失関数（１０）による前記レーティング（１０ａ）が改善する可能性があるように、前記トレーニングされるべき状態エンコーダネットワーク（３）および前記トレーニングされるべき状態デコーダネットワーク（３＃）の挙動を特徴付けるパラメータ（３ａ、３ａ＃）を最適化すること（２２５）とを備える、［１０］または［１１］のいずれか一項に記載の方法（２００）。
［１３］ 前記トレーニングされるべきアクションエンコーダネットワーク（５＃）および前記トレーニングされるべき状態エンコーダネットワーク（３）は、１つの単一ネットワークアーキテクチャに組み合わされる、［１１］を引用する［１２］に記載の方法（２００）。
［１４］ 前記第１のエンコーダ-デコーダ構成、および／または前記第２のエンコーダ-デコーダ構成、および／または前記状態‐アクションネットワーク（４）の前記トレーニングのためのトレーニングサンプル（７）を取得すること（２３０）は、複数の産業プラント（１）において取得されたトレーニングサンプル（７）を集約すること（２３１）を備える、［１０］から［１３］のいずれか一項に記載の方法（２００）。
［１５］ １つ以上のコンピュータ上で実行されると、前記１つ以上のコンピュータに［１］から［１４］のいずれか一項に記載の方法（１００、２００）を実行させる機械読取可能命令を含む、１つ以上のコンピュータプログラム。
［１６］ ［１５］に記載のコンピュータプログラムを有する非一時的記憶媒体および／またはダウンロード製品。
［１７］ ［１５］に記載のコンピュータプログラムを有する、ならびに／または、［１６］に記載の非一時的記憶媒体および／もしくはダウンロード製品を有する１つ以上のコンピュータ。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［１］ 産業プラント（１）またはその一部の動作中に取るべきアクションの適切なシーケンス（６）を決定するためのコンピュータ実装方法（１００）であって、
・前記プラント（１）またはその一部の動作状態を特徴付ける複数の状態変数（２）の値を取得するステップ（１１０）と、
・少なくとも１つのトレーニングされた状態エンコーダネットワーク（３）によって、前記複数の状態変数（２）を、前記プラント（１）またはその一部の前記動作状態の表現（２ａ）にエンコードするステップ（１２０）と、
・トレーニングされた状態‐アクションネットワーク（４）によって、前記動作状態の前記表現（２ａ）を、前記動作状態に応答して取るべきアクションのシーケンス（６）の表現（６ａ）にマッピングするステップ（１３０）と、
・トレーニングされたアクションデコーダネットワーク（５）によって、前記アクションのシーケンス（６）の前記表現（６ａ）を、取るべきアクションの求められているシーケンス（６）にデコードするステップ（１４０）とを備える、方法（１００）。
［２］ 前記状態エンコーダネットワーク（３）は、最初に複数の状態変数（２）を前記プラント（１）またはその一部の前記動作状態の表現（２ａ）にマッピングし、次いでこの表現（２ａ）から複数の状態変数（２）を再構築するエンコーダ-デコーダ構成のエンコーダ部分であるように選択される（１２１）、［１］に記載の方法（１００）。
［３］ 前記アクションデコーダネットワーク（５）は、最初にアクションのシーケンス（６）および／またはこのアクションのシーケンス（６）から導出された処理結果を表現（６ａ）にマッピングし、次いで、この表現（６ａ）からアクションのシーケンス（６）および／またはそこから導出された処理結果を再構築するエンコーダ-デコーダ構成のデコーダ部分であるように選択される（１４１）、［１］または［２］のいずれか一項に記載の方法（１００）。
［４］ 前記状態エンコーダネットワーク（３）および／または前記アクションデコーダネットワーク（５）は、リカレントニューラルネットワーク、ＲＮＮ、および／またはトランスフォーマニューラルネットワークを備える、［１］から［３］のいずれか一項に記載の方法（１００）。
［５］ 前記状態‐アクションネットワーク（４）は、畳み込みニューラルネットワーク、および／または完全結合ニューラルネットワークを備える、［１］から［４］のいずれか一項に記載の方法（１００）。
［６］ 前記状態変数（２）は、圧力、温度、質量流量、電圧、電流、充填レベル、および／または物質の混合物中の物質の濃度のうちの１つ以上を備える、［１］から［５］のいずれか一項に記載の方法（１００）。
［７］ 前記アクションは、
・前記プラント（１）またはその一部の機器を有効または無効にすることと、
・前記プラント（１）またはその一部のバルブを開閉することと、
・前記プラント（１）またはその一部における少なくとも１つの低レベルコントローラの設定値を変更することと、のうちの１つ以上を備える、［１］から［６］のいずれか一項に記載の方法（１００）。
［８］ 前記プラント（１）またはその一部は、アラームおよびイベントデータを発するように構成された連続プラントまたはプロセスプラントである、［１］から［７］のいずれか一項に記載の方法（１００）。
［９］ 前記プラント（１）またはその一部は、
・廃棄物焼却プラントと、
・炭化水素分離プラントと、
・炭化水素井戸に水を注入するための再注入システムと、
・炭化水素利用施設と、及び／又は、
・脱グリコール再生プラントと、のうちの１つ以上を備える、［１］から［８］のいずれか一項に記載の方法（１００）。
［１０］ ［１］から［９］のいずれか一項に記載の方法（１００）で使用するためのネットワーク（３、４、５）の構成をトレーニングするためのコンピュータ実装方法（２００）であって、
・アクションエンコーダネットワーク（５＃）及びアクションデコーダネットワーク（５）の事前トレーニングされた第１のエンコーダ-デコーダ構成を取得するステップ（２１０）と、
・状態エンコーダネットワーク（３）および状態デコーダネットワーク（３＃）の事前トレーニングされた第２のエンコーダ-デコーダ構成を取得するステップ（２２０）と、
・トレーニングデータのサンプル（７）を取得するステップ（２３０）と、ここで、各サンプル（７）は、前記プラント（１）またはその一部の前記動作状態を特徴付ける複数の状態変数（２）の値と、この動作状態に応答して取られるアクションのシーケンス（６＊）とを備え、
・前記事前トレーニングされた状態エンコーダネットワーク（３）によって、各サンプル（７）内の前記状態変数（２）の前記値をそれぞれの動作状態の表現（２ａ）にエンコードするステップ（２４０）と、
・前記トレーニングされるべき状態‐アクションネットワーク（４）によって、前記動作状態の前記表現（２ａ）をアクションのシーケンス（６）の表現（６ａ）にマッピングするステップ（２５０）と、
・予め定められた損失関数（８）を用いて、どの程度、
〇前記アクションのシーケンスの前記表現（６ａ）は、トレーニングサンプル（７）内のアクションの前記シーケンス（６＊）を前記事前トレーニングされたアクションエンコーダネットワーク（５＃）によってエンコードすることによって得られる表現（６ａ＊）と一致するか、および／または、
〇前記事前トレーニングされたアクションデコーダネットワーク（５）によって、アクションのシーケンス（６）の表現（６ａ）をデコードすることによって取得されたアクションのシーケンス（６）が、前記トレーニングサンプル（７）内のアクションのシーケンス（６＊）と一致するか
を、測定するステップ（２６０）と、
・さらなるトレーニングサンプル（７）が処理されるときに、前記損失関数（８）によるレーティング（８ａ）が改善する可能性があるように、前記トレーニングされるべき状態‐アクションネットワーク（４）の挙動を特徴付けるパラメータ（４ａ）を最適化するステップ（２７０）とを備える、方法（２００）。
［１１］ アクションエンコーダネットワーク（５＃）およびアクションデコーダネットワーク（５）の第１の事前トレーニングされたエンコーダ-デコーダ構成を取得すること（２１０）は、
・アクションのシーケンス（６）のトレーニングサンプルを取得すること（２１１）と、
・各トレーニングサンプルにおける前記アクションのシーケンス（６）、および／またはそれから導出された処理結果を、前記トレーニングされるべきアクションエンコーダネットワーク（５＃）に提供し（２１２）、それによって表現（６ａ）を取得することと、
・この表現（６ａ）を前記トレーニングされるべきアクションデコーダネットワーク（５）に提供し、それによってアクションのシーケンス（６’）および／またはそれから導出される処理結果を取得すること（２１３）と、
・予め定められた損失関数（９）を用いて、このアクションのシーケンス（６’）および／またはこの処理結果が、前記トレーニングサンプルにおける前記アクションのシーケンス（６）および／または前記処理結果とどの程度一致するかを測定すること（２１４）と、
・さらなるトレーニングサンプルが処理されるときに、前記損失関数（９）による前記レーティング（９ａ）が改善する可能性があるように、前記トレーニングされるべきアクションエンコーダネットワーク（５＃）および前記トレーニングされるべきアクションデコーダネットワーク（５）の挙動を特徴付けるパラメータ（５ａ＃、５ａ）を最適化すること（２１５）とを備える、［１０］に記載の方法（２００）。
［１２］ 状態エンコーダネットワーク（３）および状態デコーダネットワーク（３＃）の第２の事前トレーニングされたエンコーダ-デコーダ構成を取得すること（２２０）は、
・前記プラント（１）またはその一部の動作状態を特徴付ける複数の状態変数（２）の値を含むトレーニングサンプルを取得すること（２２１）と、
・各トレーニングサンプルにおける状態変数（２）の値を前記トレーニングされるべき状態エンコーダネットワーク（３）に提供し（２２２）、それによって表現（２ａ）を取得することと、
・この表現（２ａ）を前記トレーニングされるべき状態デコーダネットワーク（３＃）に提供し（２２３）、それによって状態変数の値（２’）を取得することと、
・予め定められた損失関数（１０）を用いて、これらの値（２’）がトレーニングサンプルの値（２）とどの程度一致するかを測定すること（２２４）と、
・さらなるトレーニングサンプルが処理されるときに、前記損失関数（１０）による前記レーティング（１０ａ）が改善する可能性があるように、前記トレーニングされるべき状態エンコーダネットワーク（３）および前記トレーニングされるべき状態デコーダネットワーク（３＃）の挙動を特徴付けるパラメータ（３ａ、３ａ＃）を最適化すること（２２５）とを備える、［１０］または［１１］のいずれか一項に記載の方法（２００）。
［１３］ 前記トレーニングされるべきアクションエンコーダネットワーク（５＃）および前記トレーニングされるべき状態エンコーダネットワーク（３）は、１つの単一ネットワークアーキテクチャに組み合わされる、［１１］を引用する［１２］に記載の方法（２００）。
［１４］ 前記第１のエンコーダ-デコーダ構成、および／または前記第２のエンコーダ-デコーダ構成、および／または前記状態‐アクションネットワーク（４）の前記トレーニングのためのトレーニングサンプル（７）を取得すること（２３０）は、複数の産業プラント（１）において取得されたトレーニングサンプル（７）を集約すること（２３１）を備える、［１０］から［１３］のいずれか一項に記載の方法（２００）。
［１５］ １つ以上のコンピュータ上で実行されると、前記１つ以上のコンピュータに［１］から［１４］のいずれか一項に記載の方法（１００、２００）を実行させる機械読取可能命令を含む、１つ以上のコンピュータプログラム。
［１６］ ［１５］に記載のコンピュータプログラムを有する非一時的記憶媒体および／またはダウンロード製品。
［１７］ ［１５］に記載のコンピュータプログラムを有する、ならびに／または、［１６］に記載の非一時的記憶媒体および／もしくはダウンロード製品を有する１つ以上のコンピュータ。
【国際調査報告】