(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023132902
(43)【公開日】2023-09-22
(54)【発明の名称】サンプル効率の良い強化学習
(51)【国際特許分類】
G06N 3/08 20230101AFI20230914BHJP
G06N 20/20 20190101ALI20230914BHJP
G05B 23/02 20060101ALI20230914BHJP
【ＦＩ】
G06N3/08
G06N20/20
G05B23/02 R
G05B23/02 Z
【審査請求】未請求
【請求項の数】15
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2022038480
(22)【出願日】2022-03-11
(71)【出願人】
【識別番号】301021533
【氏名又は名称】国立研究開発法人産業技術総合研究所
(72)【発明者】
【氏名】ブーギー ブルノ アレクサンダー ニコラス
【テーマコード（参考）】
3C223
【Ｆターム（参考）】
3C223AA01
3C223AA05
3C223BA03
3C223BB12
3C223BB17
3C223CC02
3C223DD03
3C223EA01
3C223EB01
3C223EB07
3C223FF02
3C223FF12
3C223FF22
3C223FF23
3C223FF24
3C223FF26
3C223FF35
3C223GG01
(57)【要約】
【課題】複雑なプロセス制御のタスクを制御するサンプル効率の良い方法を提供すること。
【解決手段】方法は、コントローラサンプルを記憶するための再生メモリ、大きな累積報酬を有するロールアウトを記憶するためのエピソードメモリ、エピソードメモリを更新するためのメカニズム、再生メモリおよびエピソードメモリからのサンプルを優先的にサンプリングするための方法に基づいて状態軌道を収集するステップと、コントローラサンプルおよび収集されたロールアウトをエージェントのサンプルから区別するようにニューラルネットワークのアンサンブルを訓練するステップと、ニューラルネットワークのアンサンブルからの集約された予測に基づいて探索ボーナスを決定するステップと、期待総報酬を最大化するシステムの制御目標を設定するステップとを含む。
【選択図】図１０
【解決手段】方法は、コントローラサンプルを記憶するための再生メモリ、大きな累積報酬を有するロールアウトを記憶するためのエピソードメモリ、エピソードメモリを更新するためのメカニズム、再生メモリおよびエピソードメモリからのサンプルを優先的にサンプリングするための方法に基づいて状態軌道を収集するステップと、コントローラサンプルおよび収集されたロールアウトをエージェントのサンプルから区別するようにニューラルネットワークのアンサンブルを訓練するステップと、ニューラルネットワークのアンサンブルからの集約された予測に基づいて探索ボーナスを決定するステップと、期待総報酬を最大化するシステムの制御目標を設定するステップとを含む。
【選択図】図１０
【特許請求の範囲】
【請求項1】
環境の状態を特徴付ける観測結果を受信することによって環境とインタラクションするエージェントによって実行される行動を選択するために使用されるニューラルネットワークを訓練するための方法であって、１つまたは複数のプロセッサによって実施され、
強化学習コントローラを使用してニューラルネットワークを訓練するステップであって、前記ニューラルネットワークが、センサーの読み取り値などの観測入力を含む入力を受け取り、前記環境内で実行される行動を選択するために前記入力を処理するように構成される、ステップと、
ガイドコントローラを利用して、判断を行うときに探索すべき状態に関するガイダンスを提供することによって、前記強化学習コントローラの訓練を加速させるステップであって、前記ガイドコントローラが、探索を制限するために、既存のコントローラおよび前記エージェントの経験からの大きな累積報酬を有するロールアウトを利用する支援された方策探索を実施する、ステップと、
前記環境内で既存のコントローラを実行した結果として抽出されたサンプルを記憶する再生メモリを維持するステップと、
環境との前記エージェントのインタラクションの結果として大きな累積報酬を有するロールアウトを記憶するエピソードメモリを維持するステップであって、各ロールアウトが、複数の時間ステップの各々における状態を含む、ステップと、
ニューラルネットワークのアンサンブルを維持するステップであって、各ニューラルネットワークが、以前に訪問された状態のバッチ、及び現在の状態を含む遷移を受け取り、遷移入力を処理して、前記再生メモリおよび前記エピソードメモリからの実演者データの集合と、前記エージェントの経験との間で前記遷移の出所を区別するように構成されるニューラルネットワークである、ステップと、
環境報酬と合計される探索ボーナスを決定するステップであって、前記ボーナスが、ニューラルネットワークの前記アンサンブルからの集約された予測出力に基づく、ステップと、を含む、方法。
強化学習コントローラを使用してニューラルネットワークを訓練するステップであって、前記ニューラルネットワークが、センサーの読み取り値などの観測入力を含む入力を受け取り、前記環境内で実行される行動を選択するために前記入力を処理するように構成される、ステップと、
ガイドコントローラを利用して、判断を行うときに探索すべき状態に関するガイダンスを提供することによって、前記強化学習コントローラの訓練を加速させるステップであって、前記ガイドコントローラが、探索を制限するために、既存のコントローラおよび前記エージェントの経験からの大きな累積報酬を有するロールアウトを利用する支援された方策探索を実施する、ステップと、
前記環境内で既存のコントローラを実行した結果として抽出されたサンプルを記憶する再生メモリを維持するステップと、
環境との前記エージェントのインタラクションの結果として大きな累積報酬を有するロールアウトを記憶するエピソードメモリを維持するステップであって、各ロールアウトが、複数の時間ステップの各々における状態を含む、ステップと、
ニューラルネットワークのアンサンブルを維持するステップであって、各ニューラルネットワークが、以前に訪問された状態のバッチ、及び現在の状態を含む遷移を受け取り、遷移入力を処理して、前記再生メモリおよび前記エピソードメモリからの実演者データの集合と、前記エージェントの経験との間で前記遷移の出所を区別するように構成されるニューラルネットワークである、ステップと、
環境報酬と合計される探索ボーナスを決定するステップであって、前記ボーナスが、ニューラルネットワークの前記アンサンブルからの集約された予測出力に基づく、ステップと、を含む、方法。
【請求項2】
前記エージェントが、前記観測結果に応じてプラントにおける行動を制御するように構成され、前記観測結果が、完全にまたは部分的に観測された状態を含む前記プラントの動作またはセンサーの読み取り値に関連し、前記行動が、前記プラントの機器の動作条件を制御するかもしくは課す行動、または前記プラントの前記動作における設定への変更をもたらす行動を含む請求項１に記載の方法。
【請求項3】
プロセス制御のために前記強化学習コントローラを訓練することが、前記コントローラの動作モード中に判断を行うときに探索すべき状態に関するガイダンスを提供するシステムを利用する請求項１に記載の方法。
【請求項4】
前記支援された方策探索が、前記環境によって提供される前記報酬とさらに合計される補助的なボーナス信号を出力するガイドコントローラの形態で実装され、前記方法が、
定常条件の下でおよび乱れの下で初期データを生成するために既存のコントローラを実行するステップと、
前記初期データから訓練サンプルを抽出し、予測器ニューラルネットワークのアンサンブルのオンライン訓練のために使用するために前記サンプルを再生メモリに記憶するステップであって、サンプルが、以前に訪問された状態のバッチ、現在の状態、および２値ラベルを含む遷移である、ステップと、
大きな累積報酬を有するロールアウトをエピソードメモリに収集することによって、初期のサンプルの集合を膨らませるステップと、
前記再生メモリ、前記エピソードメモリ、および前記エージェントの経験からのサンプルの混合でニューラルネットワークの前記アンサンブルを訓練するステップと、
前記探索ボーナスと合計された平均環境報酬を最大化するために、行動を選択するために使用されている前記ニューラルネットワークのパラメータを調整するステップであって、前記探索ボーナスが、前記ガイドコントローラによって生成される、ステップと、を含む請求項３に記載の方法。
定常条件の下でおよび乱れの下で初期データを生成するために既存のコントローラを実行するステップと、
前記初期データから訓練サンプルを抽出し、予測器ニューラルネットワークのアンサンブルのオンライン訓練のために使用するために前記サンプルを再生メモリに記憶するステップであって、サンプルが、以前に訪問された状態のバッチ、現在の状態、および２値ラベルを含む遷移である、ステップと、
大きな累積報酬を有するロールアウトをエピソードメモリに収集することによって、初期のサンプルの集合を膨らませるステップと、
前記再生メモリ、前記エピソードメモリ、および前記エージェントの経験からのサンプルの混合でニューラルネットワークの前記アンサンブルを訓練するステップと、
前記探索ボーナスと合計された平均環境報酬を最大化するために、行動を選択するために使用されている前記ニューラルネットワークのパラメータを調整するステップであって、前記探索ボーナスが、前記ガイドコントローラによって生成される、ステップと、を含む請求項３に記載の方法。
【請求項5】
前記ガイドコントローラによって使用される前記初期データが、既存のコントローラの制御下でシミュレータまたは現実のプラントを実行することによって収集され、収集されたデータが、状態軌道の集合からなり、各状態軌道が、前記環境の状態の集合を特徴付ける観測結果の集合を含む請求項４に記載の方法。
【請求項6】
１つまたは複数の予測器ニューラルネットワークのアンサンブルが、直面しているタスクを解決するために前記エージェントが訪れるべき状態空間の領域を特定するように構成され、そのような領域が、前記再生メモリおよび前記エピソードメモリ内の前記サンプルから有望なエリア内にある請求項４に記載の方法。
【請求項7】
予測器ニューラルネットワークの前記アンサンブルが、前記エージェントの経験から抽出された前記サンプルと、既存のコントローラを実行することによって収集された軌道、および訓練プロセス全体を通じて収集された大きな累積報酬を有するロールアウトから抽出されたサンプルとを区別するように構成され、前記データの前記出所が、２値としてラベル付けされる請求項６に記載の方法。
【請求項8】
前記探索ボーナスを生成するための動作が、
前記環境が遷移した前記現在の状態が、前記環境とインタラクションする前記エージェントによって実行される行動を選択するために使用される前記ニューラルネットワークに従って訪問された状態、または既存のコントローラに従って訪問された状態、または大きな累積報酬につながる状態であると、以前の状態のバッチに基づいて判定することと、
複合報酬関数によって、前記現在の状態を訪問することに関連する報酬として探索ボーナスを割り振ることとをさらに含む請求項１に記載の方法。
前記環境が遷移した前記現在の状態が、前記環境とインタラクションする前記エージェントによって実行される行動を選択するために使用される前記ニューラルネットワークに従って訪問された状態、または既存のコントローラに従って訪問された状態、または大きな累積報酬につながる状態であると、以前の状態のバッチに基づいて判定することと、
複合報酬関数によって、前記現在の状態を訪問することに関連する報酬として探索ボーナスを割り振ることとをさらに含む請求項１に記載の方法。
【請求項9】
予測器ネットワークの前記アンサンブルを訓練するステップが、前記再生メモリ、前記エピソードメモリ、および前記エージェントの経験からのサンプルの混合を使用し、
前記再生メモリおよび前記エピソードメモリに関してサンプルの混合を優先的にサンプリングすることと、
前記エージェントの経験からサンプルの集合をサンプリングすることと、
ミックスアップ訓練を使用して追加のサンプルを生成することであって、追加のサンプルが、訓練サンプルおよびラベルの凸結合として構築される、生成することと、
モデルの汎化を改善するための正則化としてドロップアウトを用いてラベルの予測を促す目標に基づいてネットワークの前記アンサンブルを更新することと、を繰り返し含む請求項７に記載の方法。
前記再生メモリおよび前記エピソードメモリに関してサンプルの混合を優先的にサンプリングすることと、
前記エージェントの経験からサンプルの集合をサンプリングすることと、
ミックスアップ訓練を使用して追加のサンプルを生成することであって、追加のサンプルが、訓練サンプルおよびラベルの凸結合として構築される、生成することと、
モデルの汎化を改善するための正則化としてドロップアウトを用いてラベルの予測を促す目標に基づいてネットワークの前記アンサンブルを更新することと、を繰り返し含む請求項７に記載の方法。
【請求項10】
予測器ネットワークの前記アンサンブルの予測を集約することが、前記予測器ネットワークの予測の信頼度に基づく重み係数によって前記予測を調整することと、前記アンサンブルの不確実性を取り込む集計関数に基づいて出力を集約することと、を含む請求項７に記載の方法。
【請求項11】
前記補助的なボーナスを推定することが、
前記現在の状態を受け取ることと、
以前の状態のバッチと前記現在の状態とをマッピングするサンプルを生成することと、
現在のサンプルに基づいて予測器ネットワークの前記アンサンブルの前記予測を決定することと、
前記アンサンブル内の各ネットワークの重みを決定することと、
重み付けされた予測を集約し、補助的なボーナスを出力することと、を繰り返し含む請求項１０に記載の方法。
前記現在の状態を受け取ることと、
以前の状態のバッチと前記現在の状態とをマッピングするサンプルを生成することと、
現在のサンプルに基づいて予測器ネットワークの前記アンサンブルの前記予測を決定することと、
前記アンサンブル内の各ネットワークの重みを決定することと、
重み付けされた予測を集約し、補助的なボーナスを出力することと、を繰り返し含む請求項１０に記載の方法。
【請求項12】
前記予測の前記信頼度を取り込むために予測器ネットワークの前記アンサンブル内の各ネットワークに重みが割り当てられ、前記信頼度が、異なるドロップアウトマスクを用いて複数の予測を実行することによって推定される請求項１１に記載の方法。
【請求項13】
大きな累積報酬を有する前記ロールアウトが、自己教師の形態として使用され、前記ロールアウトが、前記エピソードメモリに記憶され、予測器ネットワークの前記アンサンブルによって訓練サンプルとして使用される請求項１に記載の方法。
【請求項14】
前記エピソードメモリが、ヒューリスティックに基づいて前記ロールアウトを管理し、古いロールアウトを破棄し、前記ヒューリスティックが、前記ロールアウトの収益と、このロールアウトを経験するときに追求されている目標に到達するシステムの能力とに基づく請求項１３に記載の方法。
【請求項15】
サンプルの混合が、前記再生メモリおよび前記エピソードメモリから優先的にサンプリングされ、サンプリングされることが、
前記再生メモリおよび前記エピソードメモリからサンプルをサンプリングする初期確率を割り振ること、
新規のロールアウトを収集し、前記エピソードメモリに記憶すること、
前記エージェントの経験から収集されたロールアウトの数に基づいてサンプルをサンプリングする前記確率を調整することを含む請求項９に記載の方法。
前記再生メモリおよび前記エピソードメモリからサンプルをサンプリングする初期確率を割り振ること、
新規のロールアウトを収集し、前記エピソードメモリに記憶すること、
前記エージェントの経験から収集されたロールアウトの数に基づいてサンプルをサンプリングする前記確率を調整することを含む請求項９に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、自律的なプロセス制御に関する。より詳細には、本発明は、プロセス制御のためのサンプル効率の良い強化学習に関する。
【背景技術】
【0002】
プロセス制御は、化学制御（ｃｈｅｍｉｃａｌ ｃｏｎｔｒｏｌ）と工学とを組み合わせる産業用制御システムの中の分野である。プロセス制御の現在の手法は、周波数領域での古典的な制御手法、時間領域での現代的な制御手法、または先進的な制御手法のいずれかである。
【0003】
比例積分微分（ＰＩＤ）などの古典的な制御手法は、プラントの変化にどのように対応すべきかを計算するために、システムについての情報を使用する。概して、古典的な制御手法は、システムの時間領域の表現を周波数領域に変換するためにラプラス変換およびフーリエ変換に依拠する。しかしながら、古典的な制御手法は、高次元の入力／出力が含まれるとき、システムを表現するために使用される伝達関数および微分方程式が過度に複雑になるので、特に複雑な高次元システムに関して、最適化ステップが最適な制御入力を返すのに時間がかかるという事実に悩まされる。その上、たとえコントローラが設置時にうまく調整されるとしても、プロセス特性のドリフト（ｄｒｉｆｔ）または意図的な設定値の変更が、時間の経過とともに性能を低下させ得る。
【0004】
一方、現代的な制御手法は、システムの時間領域を考慮に入れる。たとえば、状態空間制御は、システムと入力の任意の所与の集合に対するその応答とを記述する状態変数を使用する。したがって、現代的な制御は、システムの時間領域を記述する微分方程式を取得し、それらを状態変数を使用してベクトル形式で変換する。結果として、簡単な行列代数によってシステムを評価することが可能であり、これは、高次元システムが評価されることも可能にする。しかし、それらの手法は、過去および現在のシステムの挙動のみを考慮する（つまり、それらの手法は、逸脱に反応する）。
【0005】
一方、モデル予測制御（ＭＰＣ）などの先進的な制御手法は、概して、プロセスの動作を指示するために使用される。ＭＰＣは、システムモデルを使用して、基準からの逸脱を予測して将来の挙動を予測する。つまり、ＭＰＣは、最適な軌道（ｔｒａｊｅｃｔｏｒｙ）を決定する最適化において将来のシステムの挙動を考慮して将来のシステムの挙動を予測する。
【0006】
プロセス産業にとって、プラントにおける安全性および最適な生産負荷を維持することは極めて重要である。残念なことに、プロセス制御の通常の方法は、概して、天候の変化などの乱れ（ｄｉｓｔｕｒｂａｎｃｅ）にうまく対応することができず、柔軟性に欠ける後手後手の制御戦略である。詳細には、これらのコントローラは、システムを定常状態に維持するのには適しているが、未経験の状態または乱れに遭遇するときには概して不十分である。たとえば、化学プラントは、昼／夜または大雨などの外的な乱れと、供給組成（ｆｅｅｄ ｃｏｍｐｏｓｉｔｉｏｎ）や構成要素の圧力（ｐｒｅｓｓｕｒｅ ｏｆ ａ ｃｏｍｐｏｎｅｎｔ）の急激な変化などの内的な乱れを経験することが多い。そのような状況においては、既存のコントローラは効果的でない可能性が高いので、プラントの安定性を回復するために化学プラントを手動で調整し、制御するように熟練したオペレータに頼むことがよくある。これらの手続きは、通常、複雑で資源をたくさん必要とし、通常動作のコストのかさむ中断を引き起こすことが多い。さらに、通常のコントローラは、適切なパラメータおよび制御則の設計を選択するために、タスクに高度に精通していることを必要とする。つまり、制御モデルの作成およびそのパラメータの選択は、難易度の高いことでよく知られた工学的問題である。
【0007】
上述の課題に対する１つの解決策は、プロセス制御の分野を強化学習と組み合わせることである。強化学習は、環境とインタラクションすることによって、エージェントにタスクを学習する能力を与えるコンピュータサイエンスの分野である。このテクノロジーは、環境の変化および新規の状況にエージェントの挙動を適応させることができる。強化学習は、環境とインタラクションすることによって適切な閉ループコントローラを学習し、その方策（ｐｏｌｉｃｙ）を段階的に改善することを対象としてする。このテクノロジーは、ロボットアーム制御、ゲームプレイ、またはチャットロボットなどの様々な用途で使用されてきた。
【0008】
プロセス制御の文脈では、いくつかの研究が、Ｑ学習または方策勾配に基づく強化学習アルゴリズムを使用してプロセス制御に取り組んだ。しかし、強化学習の柔軟性および適応性は、「サンプル効率」問題としても知られる、満足のいく方策に収束するために膨大な数のインタラクションを経験する必要性をともなう。言い換えると、そのような通常の強化学習の手法は、サンプル効率が良くなく、時間がかかる。通常の強化学習の手法は、行動選択ニューラルネットワークの訓練の過程で、大量の経験遷移（ｅｘｐｅｒｉｅｎｃｅ ｔｒａｎｓｉｔｉｏｎ）が収集されることを必要とし、それによって、訓練が効果的であるために訓練プロセスが大量の訓練データが収集されることを必要とするので、訓練プロセスを比較的データ非効率にする。
【0009】
ビデオゲームなどのサンプル効率の良いシミュレータにおいては、数百万または数十億ステップにわたってエージェントを訓練することが許容され得るが、プロセス制御産業では、これは、多くの場合、手に負えなくなる。プロセス制御のタスクは、概して、複雑で変化するダイナミクス（ｄｙｎａｍｉｃｓ）、巨大な状態行動空間、およびコストのかかる計算を含み、これは、低いサンプル効率をともなう。加えて、実世界のタスクにおいては、元来、報酬が疎であり、必要な訓練ステップの数をさらに増加させる。したがって、少ない量のデータから最適な挙動を学習することができるプロセス制御のための強化学習手法を提供するニーズが存在する。言い換えると、強化学習により高速に、環境とのより少ない量のインタラクションを使用して学習させるプロセス制御のための方法を構築することが必要である。
【0010】
一方、行動クローニング（ｂｅｈａｖｉｏｒａｌ ｃｌｏｎｉｎｇ）などの強化学習においてサンプル効率を向上させるための通常の方法は、専門家によって生成される高品質な状態行動のデモンストレーションの必要性が原因で、プロセス制御産業においては適用可能でない。つまり、これらの手法は、プロセス制御のタスクのような人間がデモンストレーションすることが難しい挙動には直接適用可能でなく、通常、最適な挙動が収集され得るタスクに制限され、したがって、ガイダンスとしての既存のコントローラの使用を棄却する。最後に、これらの手法は、専門家の行動へのアクセスを必要とし、これは、一部のプロセス制御のタスクのように第三者（ｔｈｉｒｄ－ｐｅｒｓｏｎ）のガイダンスのみが利用可能であるとき、手法の適用可能性をさらに低くする。本明細書において使用される第三者という用語は、たとえば、既存のコントローラが、タスクを学習する必要があるエージェントとは異なる実施形態によってシステムを動作させるときに観測される場合があるガイダンスの種類を指す。
【先行技術文献】
【非特許文献】
【0011】
【非特許文献1】Ｄｚｍｉｔｒｙ Ｂａｈｄａｎａｕ、Ｐｈｉｌｅｍｏｎ Ｂｒａｋｅｌ、Ｋｅｌｖｉｎ Ｘｕ、Ａｎｉｒｕｄｈ Ｇｏｙａｌ、Ｒｙａｎ Ｌｏｗｅ、Ｊｏｅｌｌｅ Ｐｉｎｅａｕ、Ａａｒｏｎ Ｃ、Ｃｏｕｒｖｉｌｌｅ、ａｎｄ Ｙｏｓｈｕａ Ｂｅｎｇｉｏ、Ａｎ ａｃｔｏｒ－ｃｒｉｔｉｃ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｓｅｑｕｅｎｃｅ ｐｒｅｄｉｃｔｉｏｎ、Ｉｎ ５ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｌｅａｒｎｉｎｇ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ、２０１７、１２
【非特許文献2】Ｍａｒｃ Ｇ Ｂｅｌｌｅｍａｒｅ、Ｙａｖａｒ Ｎａｄｄａｆ、Ｊｏｅｌ Ｖｅｎｅｓｓ、ａｎｄ Ｍｉｃｈａｅｌ Ｂｏｗｌｉｎｇ、Ｔｈｅ ａｒｃａｄｅ ｌｅａｒｎｉｎｇ ｅｎｖｉｒｏｎｍｅｎｔ： Ａｎ ｅｖａｌｕａｔｉｏｎ ｐｌａｔｆｏｒｍ ｆｏｒ ｇｅｎｅｒａｌ ａｇｅｎｔｓ、Ｊｏｕｒｎａｌ ｏｆ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ Ｒｅｓｅａｒｃｈ、４７：２５３～２７９、２０１３． １１
【非特許文献3】Ｎｉｃｏｌａｓ Ｂｏｕｇｉｅａｎｄ Ｒｙｕｔａｒｏ Ｉｃｈｉｓｅ、Ｈｉｅｒａｒｃｈｉｃａｌ ｌｅａｒｎｉｎｇ ｆｒｏｍ ｈｕｍａｎ ｐｒｅｆｅｒｅｎｃｅｓ ａｎｄ ｃｕｒｉｏｓｉｔｙ、Ａｐｐｌｉｅｄ Ｉｎｔｅｌｌｉｇｅｎｃｅ、１～２１ｐａｇｅｓ、２０２１． １３
【非特許文献4】Ｌｉｆｅｉ Ｃｈｅｎｇ、Ｅｓｗａｒａｎ Ｓｕｂｒａｈｍａｎｉａｎ、ａｎｄ Ａｒｔｈｕｒ Ｗ． Ｗｅｓｔｅｒｂｅｒｇ、Ａ ｃｏｍｐａｒｉｓｏｎ ｏｆ ｏｐｔｉｍａｌ ｃｏｎｔｒｏｌ ａｎｄ ｓｔｏｃｈａｓｔｉｃ ｐｒｏｇｒａｍｍｉｎｇ ｆｒｏｍ ａ ｆｏｒｍｕｌａｔｉｏｎ ａｎｄ ｃｏｍｐｕｔａｔｉｏｎ ｐｅｒｓｐｅｃｔｉｖｅ、Ｃｏｍｐｕｔｅｒｓ ＆ Ｃｈｅｍｉｃａｌ Ｅｎｇｉｎｅｅｒｉｎｇ、２９（１）：１４９～１６４、２００４． １６
【非特許文献5】Ｐａｕｌ Ｃｈｒｉｓｔｉａｎｏ、Ｊａｎ Ｌｅｉｋｅ、Ｔｏｍ Ｂ Ｂｒｏｗｎ、Ｍｉｌｊａｎ Ｍａｒｔｉｃ、Ｓｈａｎｅ Ｌｅｇｇ、ａｎｄ Ｄａｒｉｏ Ａｍｏｄｅｉ、Ｄｅｅｐ ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ ｆｒｏｍ ｈｕｍａｎ ｐｒｅｆｅｒｅｎｃｅｓ、ａｒＸｉｖ ｐｒｅｐｒｉｎｔ ａｒＸｉｖ：１７０６．０３７４１、２０１７． １３
【非特許文献6】Ｙｕｎｄｕａｎ Ｃｕｉ、Ｌｉｎｇｗｅｉ Ｚｈｕ、Ｍｏｒｉｈｉｒｏ Ｆｕｊｉｓａｋｉ、Ｈｉｒｏａｋｉ Ｋａｎｏｋｏｇｉ、ａｎｄ Ｔａｋａｍｉｔｓｕ Ｍａｔｓｕｂａｒａ、Ｆａｃｔｏｒｉａｌ ｋｅｒｎｅｌ ｄｙｎａｍｉｃ ｐｏｌｉｃｙ ｐｒｏｇｒａｍｍｉｎｇ ｆｏｒ ｖｉｎｙｌ ａｃｅｔａｔｅ ｍｏｎｏｍｅｒ ｐｌａｎｔ ｍｏｄｅｌ ｃｏｎｔｒｏｌ、Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｕｔｏｍａｔｉｏｎ Ｓｃｉｅｎｃｅ ａｎｄ Ｅｎｇｉｎｅｅｒｉｎｇ、３０４～３０９ｐａｇｅｓ、２０１８． １５
【非特許文献7】Ｃｈｅｌｓｅａ Ｆｉｎｎ、Ｓｅｒｇｅｙ Ｌｅｖｉｎｅ、ａｎｄ Ｐｉｅｔｅｒ Ａｂｂｅｅｌ、Ｇｕｉｄｅｄ ｃｏｓｔ ｌｅａｒｎｉｎｇ： Ｄｅｅｐ ｉｎｖｅｒｓｅ ｏｐｔｉｍａｌ ｃｏｎｔｒｏｌ ｖｉａ ｐｏｌｉｃｙ ｏｐｔｉｍｉｚａｔｉｏｎ、Ｉｎ Ｉｎｔｅｒｎａｔｉｏｎａｌ ｃｏｎｆｅｒｅｎｃｅ ｏｎ ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ、４９～５８ｐａｇｅｓ、ＰＭＬＲ、２０１６． １２
【非特許文献8】Ｉａｎ Ｇｏｏｄｆｅｌｌｏｗ、Ｊｅａｎ Ｐｏｕｇｅｔ－Ａｂａｄｉｅ、Ｍｅｈｄｉ Ｍｉｒｚａ、Ｂｉｎｇ Ｘｕ、Ｄａｖｉｄ ＷａｒｄｅＦａｒｌｅｙ、Ｓｈｅｒｊｉｌ Ｏｚａｉｒ、Ａａｒｏｎ Ｃｏｕｒｖｉｌｌｅ、ａｎｄ Ｙｏｓｈｕａ Ｂｅｎｇｉｏ、Ｇｅｎｅｒａｔｉｖｅ ａｄｖｅｒｓａｒｉａｌ ｎｅｔｓ、Ａｄｖａｎｃｅｓ ｉｎ ｎｅｕｒａｌ ｉｎｆｏｒｍａｔｉｏｎ ｐｒｏｃｅｓｓｉｎｇ ｓｙｓｔｅｍｓ、２７、２０１４． １４
【非特許文献9】Ａｂｈｉｓｈｅｋ Ｇｕｐｔａ、Ｃｏｌｉｎｅ Ｄｅｖｉｎ、ＹｕＸｕａｎ Ｌｉｕ、Ｐｉｅｔｅｒ Ａｂｂｅｅｌ、ａｎｄ Ｓｅｒｇｅｙ Ｌｅｖｉｎｅ、Ｌｅａｒｎｉｎｇ ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅ ｓｐａｃｅｓ ｔｏ ｔｒａｎｓｆｅｒ ｓｋｉｌｌｓ ｗｉｔｈ ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ、ａｒＸｉｖ ｐｒｅｐｒｉｎｔ ａｒＸｉｖ：１７０３．０２９４９、２０１７． １４
【非特許文献10】Ｔｏｄｄ Ｈｅｓｔｅｒ、Ｍａｔｅｊ Ｖｅｃｅｒｉｋ、Ｏｌｉｖｉｅｒ Ｐｉｅｔｑｕｉｎ、Ｍａｒｃ Ｌａｎｃｔｏｔ、Ｔｏｍ Ｓｃｈａｕｌ、Ｂｉｌａｌ Ｐｉｏｔ、Ｄａｎ Ｈｏｒｇａｎ、Ｊｏｈｎ Ｑｕａｎ、Ａｎｄｒｅｗ Ｓｅｎｄｏｎａｒｉｓ、Ｉａｎ Ｏｓｂａｎｄ、Ｇａｂｒｉｅｌ ＤｕｌａｃＡｒｎｏｌｄ、Ｊｏｈｎ Ａｇａｐｉｏｕ、Ｊｏｅｌ Ｚ Ｌｅｉｂｏ、ａｎｄ Ａｕｄｒｕｎａｓ Ｇｒｕｓｌｙｓ、Ｄｅｅｐ ｑ－ｌｅａｒｎｉｎｇ ｆｒｏｍ ｄｅｍｏｎｓｔｒａｔｉｏｎｓ、Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ａｎｎｕａｌ Ｍｅｅｔｉｎｇ ｏｆ ｔｈｅ Ａｓｓｏｃｉａｔｉｏｎ ｆｏｒ ｔｈｅ Ａｄｖａｎｃｅｍｅｎｔ ｏｆ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ、２０１８． １２
【非特許文献11】Ｊｏｎａｔｈａｎ Ｈｏ ａｎｄ Ｓｔｅｆａｎｏ Ｅｒｍｏｎ、Ｇｅｎｅｒａｔｉｖｅ ａｄｖｅｒｓａｒｉａｌ ｉｍｉｔａｔｉｏｎ ｌｅａｒｎｉｎｇ、Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ａｄｖａｎｃｅｓ ｉｎ ｎｅｕｒａｌ ｉｎｆｏｒｍａｔｉｏｎ ｐｒｏｃｅｓｓｉｎｇ ｓｙｓｔｅｍｓ、４５６５～４５７３ｐａｇｅｓ、２０１６． １２
【非特許文献12】Ｂｏｒｊａ Ｉｂａｒｚ、Ｊａｎ Ｌｅｉｋｅ、Ｔｏｂｉａｓ Ｐｏｈｌｅｎ、Ｇｅｏｆｆｒｅｙ Ｉｒｖｉｎｇ、Ｓｈａｎｅ Ｌｅｇｇ、ａｎｄ Ｄａｒｉｏ Ａｍｏｄｅｉ、Ｒｅｗａｒｄ ｌｅａｒｎｉｎｇ ｆｒｏｍ ｈｕｍａｎ ｐｒｅｆｅｒｅｎｃｅｓ ａｎｄ ｄｅｍｏｎｓｔｒａｔｉｏｎｓ ｉｎ ａｔａｒｉ、ａｒＸｉｖ ｐｒｅｐｒｉｎｔ ａｒＸｉｖ：１８１１．０６５２１、２０１８． １３
【非特許文献13】Ｒｕｏｘｉ Ｊｉａ、Ｍｉｎｇ Ｊｉｎ、Ｋａｉｙｕ Ｓｕｎ、Ｔｉａｎｚｈｅｎ Ｈｏｎｇ、ａｎｄ Ｃｏｓｔａｓ Ｓｐａｎｏｓ、Ａｄｖａｎｃｅｄ ｂｕｉｌｄｉｎｇ ｃｏｎｔｒｏｌ ｖｉａ ｄｅｅｐ ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ、Ｅｎｅｒｇｙ Ｐｒｏｃｅｄｉａ、１５８：６１５８～６１６３、２０１９． １６
【非特許文献14】Ｓａｎｋｅｔ Ｋａｍｔｈｅ ａｎｄ Ｍａｒｃ Ｄｅｉｓｅｎｒｏｔｈ、Ｄａｔａ－ｅｆｆｉｃｉｅｎｔ ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ ｗｉｔｈ ｐｒｏｂａｂｉｌｉｓｔｉｃ ｍｏｄｅｌ ｐｒｅｄｉｃｔｉｖｅ ｃｏｎｔｒｏｌ、Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ ｃｏｎｆｅｒｅｎｃｅ ｏｎ ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ ａｎｄ ｓｔａｔｉｓｔｉｃｓ、１７０１～１７１０ｐａｇｅｓ、２０１８． １６
【非特許文献15】Ｄｉｅｄｅｒｉｋ Ｐ Ｋｉｎｇｍａ ａｎｄ Ｊｉｍｍｙ Ｂａ、Ａｄａｍ： Ａ ｍｅｔｈｏｄ ｆｏｒ ｓｔｏｃｈａｓｔｉｃ ｏｐｔｉｍｉｚａｔｉｏｎ、ａｒＸｉｖ ｐｒｅｐｒｉｎｔ ａｒＸｉｖ：１４１２．６９８０、２０１４． ３２
【非特許文献16】Ｓｈｕｍｐｅｉ Ｋｕｂｏｓａｗａ、Ｔａｋａｓｈｉ Ｏｎｉｓｈｉ、ａｎｄ Ｙｏｓｈｉｍａｓａ Ｔｓｕｒｕｏｋａ、Ｓｙｎｔｈｅｓｉｚｉｎｇ ｃｈｅｍｉｃａｌ ｐｌａｎｔ ｏｐｅｒａｔｉｏｎ ｐｒｏｃｅｄｕｒｅｓ ｕｓｉｎｇ ｋｎｏｗｌｅｄｇｅ， ｄｙｎａｍｉｃ ｓｉｍｕｌａｔｉｏｎ ａｎｄ ｄｅｅｐ ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ、ＡｒＸｉｖ、ａｂｓ／１９０３．０２１８３、２０１９． １１
【非特許文献17】Ｓｈｕｍｐｅｉ Ｋｕｂｏｓａｗａ、Ｔａｋａｓｈｉ Ｏｎｉｓｈｉ、ａｎｄ Ｙｏｓｈｉｍａｓａ Ｔｓｕｒｕｏｋａ、Ｃｏｍｐｕｔｉｎｇ ｏｐｅｒａｔｉｏｎ ｐｒｏｃｅｄｕｒｅｓ ｆｏｒ ｃｈｅｍｉｃａｌ ｐｌａｎｔｓ ｕｓｉｎｇ ｗｈｏｌｅ－ｐｌａｎｔ ｓｉｍｕｌａｔｉｏｎ ｍｏｄｅｌｓ、Ｃｏｎｔｒｏｌ Ｅｎｇｉｎｅｅｒｉｎｇ Ｐｒａｃｔｉｃｅ、１１４：１０４８７８、２０２１． １１
【非特許文献18】Ｓｈｕｍｐｅｉ Ｋｕｂｏｓａｗａ、Ｏｎｉｓｈｉ Ｔａｋａｓｈｉ、ａｎｄ Ｔｓｕｒｕｏｋａ Ｙｏｓｈｉｍａｓａ、Ｎｏｎｓｔｅａｄｙ ｓｔａｔｅ ｃｏｎｔｒｏｌ ｕｎｄｅｒ ｄｉｓｔｕｒｂａｎｃｅｓ： Ｎａｖｉｇａｔｉｏｎ ｐｌａｎｔ ｏｐｅｒａｔｉｏｎ ｖｉａ ｓｉｍｕｌａｔｉｏｎ－ｂａｓｅｄ ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ、Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ａｎｎｕａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｆ ｔｈｅ Ｓｏｃｉｅｔｙ ｏｆ Ｉｎｓｔｒｕｍｅｎｔ ａｎｄ Ｃｏｎｔｒｏｌ Ｅｎｇｉｎｅｅｒｓ ｏｆ Ｊａｐａｎ、２１． １１
【非特許文献19】Ｈｏａｎｇ Ｌｅ、Ｎａｎ Ｊｉａｎｇ、Ａｌｅｋｈ Ａｇａｒｗａｌ、Ｍｉｒｏｓｌａｖ Ｄｕｄｉｋ、Ｙｉｓｏｎｇ Ｙｕｅ、ａｎｄ Ｈａｌ Ｄａｕｍｅ ＩＩＩ、Ｈｉｅｒａｒｃｈｉｃａｌ ｉｍｉｔａｔｉｏｎ ａｎｄ ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ、Ｉｎ Ｉｎｔｅｒｎａｔｉｏｎａｌ ｃｏｎｆｅｒｅｎｃｅ ｏｎ ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ、２９１７～２９２６ｐａｇｅｓ、ＰＭＬＲ、２０１８． １３
【非特許文献20】Ｓｅｒｇｅｙ Ｌｅｖｉｎｅ ａｎｄ Ｐｉｅｔｅｒ Ａｂｂｅｅｌ、Ｌｅａｒｎｉｎｇ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｐｏｌｉｃｉｅｓ ｗｉｔｈ ｇｕｉｄｅｄ ｐｏｌｉｃｙ ｓｅａｒｃｈ ｕｎｄｅｒ ｕｎｋｎｏｗｎ ｄｙｎａｍｉｃｓ、Ｉｎ ＮＩＰＳ、ｖｏｌｕｍｅ ２７、１０７１～１０７９ｐａｇｅｓ、２０１４． １４
【非特許文献21】Ｓｅｒｇｅｙ Ｌｅｖｉｎｅ ａｎｄ Ｖｌａｄｌｅｎ Ｋｏｌｔｕｎ、Ｇｕｉｄｅｄ ｐｏｌｉｃｙ ｓｅａｒｃｈ、Ｉｎ Ｉｎｔｅｒｎａｔｉｏｎａｌ ｃｏｎｆｅｒｅｎｃｅ ｏｎ ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ、１～９ｐａｇｅｓ、２０１３． １４
【非特許文献22】Ｗｅｉｗｅｉ Ｌｉ ａｎｄ Ｅｍａｎｕｅｌ Ｔｏｄｏｒｏｖ、Ｉｔｅｒａｔｉｖｅ ｌｉｎｅａｒ ｑｕａｄｒａｔｉｃ ｒｅｇｕｌａｔｏｒ ｄｅｓｉｇｎ ｆｏｒ ｎｏｎｌｉｎｅａｒ ｂｉｏｌｏｇｉｃａｌ ｍｏｖｅｍｅｎｔ ｓｙｓｔｅｍｓ、Ｉｎ ＩＣＩＮＣＯ （１）、２２２～２２９ｐａｇｅｓ、２００４． １５
【非特許文献23】Ｙｕａｎｌｏｎｇ Ｌｉ、Ｙｏｎｇｇａｎｇ Ｗｅｎ、Ｄａｃｈｅｎｇ Ｔａｏ、ａｎｄ Ｋｙｌｅ Ｇｕａｎ、Ｔｒａｎｓｆｏｒｍｉｎｇ ｃｏｏｌｉｎｇ ｏｐｔｉｍｉｚａｔｉｏｎ ｆｏｒ ｇｒｅｅｎ ｄａｔａ ｃｅｎｔｅｒ ｖｉａ ｄｅｅｐ ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｙｂｅｒｎｅｔｉｃｓ、５０（５）：２００２～２０１３、２０２０． １６
【非特許文献24】Ｔｉｍｏｔｈｙ Ｐ Ｌｉｌｌｉｃｒａｐ、Ｊｏｎａｔｈａｎ Ｊ Ｈｕｎｔ、Ａｌｅｘａｎｄｅｒ Ｐｒｉｔｚｅｌ、Ｎｉｃｏｌａｓ Ｈｅｅｓｓ、Ｔｏｍ Ｅｒｅｚ、Ｙｕｖａｌ Ｔａｓｓａ、Ｄａｖｉｄ Ｓｉｌｖｅｒ、ａｎｄ Ｗｉｅｒｓｔｒａ、Ｃｏｎｔｉｎｕｏｕｓ ｃｏｎｔｒｏｌ ｗｉｔｈ ｄｅｅｐ ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ、ａｒＸｉｖ ｐｒｅｐｒｉｎｔ：１５０９．０２９７１、２０１５． １１
【非特許文献25】Ｙｕｔａ Ｍａｃｈｉｄａ、Ｓｈｉｇｅｋｉ Ｏｏｔａｋａｒａ、Ｈｉｒｏｙａ Ｓｅｋｉ、Ｙｏｓｈｉｈｉｒｏ Ｈａｓｈｉｍｏｔｏ、Ｍａｎａｂｕ Ｋａｎｏ、Ｙａｓｕｈｉｒｏ Ｍｉｙａｋｅ、Ｎａｏｔｏ Ａｎｚａｉ、Ｍａｓａｙｏｓｈｉ Ｓａｗａｉ、Ｔａｋａｓｈｉ Ｋａｔｓｕｎｏ、ａｎｄ Ｔｏｓｈｉａｋｉ Ｏｍａｔａ、Ｖｉｎｙｌ ａｃｅｔａｔｅ ｍｏｎｏｍｅｒ （ｖａｍ） ｐｌａｎｔ ｍｏｄｅｌ： Ａ ｎｅｗ ｂｅｎｃｈｍａｒｋ ｐｒｏｂｌｅｍ ｆｏｒ ｃｏｎｔｒｏｌ ａｎｄ ｏｐｅｒａｔｉｏｎ ｓｔｕｄｙ、４９（７）：５３３～５３８、２０１６、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＦＡＣ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｄｙｎａｍｉｃｓ ａｎｄ Ｃｏｎｔｒｏｌ ｏｆ Ｐｒｏｃｅｓｓ Ｓｙｓｔｅｍｓ Ｉｎｃｌｕｄｉｎｇ Ｂｉｏｓｙｓｔｅｍｓ． ３１
【非特許文献26】Ｅｓｋｉｌｄ Ｒｕｕｄ Ｍａｇｅｌｉ、Ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ ｉｎ ｐｒｏｃｅｓｓ ｃｏｎｔｒｏｌ、Ｍａｓｔｅｒ’ｓ ｔｈｅｓｉｓ、ＮＴＮＵ、２０１９． １２
【非特許文献27】Ｄａｎｉｅｌ Ｇ． ＭｃＣｌｅｍｅｎｔ、Ｎａｔｈａｎ Ｐ． Ｌａｗｒｅｎｃｅ、Ｐｈｉｌｉｐ Ｄ． Ｌｏｅｗｅｎ、Ｍｉｃｈａｅｌ Ｇ． Ｆｏｒｂｅｓ、Ｊｏｈａｎ Ｕ． Ｂａｃｋｓｔｒｏｍ、ａｎｄ Ｒ． Ｂｈｕｓｈａｎ Ｇｏｐａｌｕｎｉ、Ａ ｍｅｔａ－ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ ａｐｐｒｏａｃｈ ｔｏ ｐｒｏｃｅｓｓ ｃｏｎｔｒｏｌ、ＩＦＡＣ－ＰａｐｅｒｓＯｎＬｉｎｅ、５４（３）：６８５～６９２、２０２１．１５
【非特許文献28】Ｊｏｓｈ Ｍｅｒｅｌ、Ｙｕｖａｌ Ｔａｓｓａ、Ｄｈｒｕｖａ ＴＢ、Ｓｒｉｒａｍ Ｓｒｉｎｉｖａｓａｎ、Ｊａｙ Ｌｅｍｍｏｎ、Ｚｉｙｕ Ｗａｎｇ、Ｇｒｅｇ Ｗａｙｎｅ、ａｎｄ Ｎｉｃｏｌａｓ Ｈｅｅｓｓ、Ｌｅａｒｎｉｎｇ ｈｕｍａｎ ｂｅｈａｖｉｏｒｓ ｆｒｏｍ ｍｏｔｉｏｎ ｃａｐｔｕｒｅ ｂｙ ａｄｖｅｒｓａｒｉａｌ ｉｍｉｔａｔｉｏｎ、ａｒＸｉｖ ｐｒｅｐｒｉｎｔ ａｒＸｉｖ：１７０７．０２２０１、２０１７． １４
【非特許文献29】Ｖｏｌｏｄｙｍｙｒ Ｍｎｉｈ、Ａｄｒｉａ Ｐｕｉｇｄｏｍｅｎｅｃｈ Ｂａｄｉａ、Ｍｅｈｄｉ Ｍｉｒｚａ、Ａｌｅｘ Ｇｒａｖｅｓ、Ｔｉｍｏｔｈｙ Ｌｉｌｌｉｃｒａｐ、Ｔｉｍ Ｈａｒｌｅｙ、Ｄａｖｉｄ Ｓｉｌｖｅｒ、ａｎｄ Ｋｏｒａｙ Ｋａｖｕｋｃｕｏｇｌｕ、Ａｓｙｎｃｈｒｏｎｏｕｓ ｍｅｔｈｏｄｓ ｆｏｒ ｄｅｅｐ ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ、Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ｉｎｔｅｒｎａｔｉｏｎａｌ ｃｏｎｆｅｒｅｎｃｅ ｏｎ ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ、１９２８～１９３７ｐａｇｅｓ、２０１６． １１、１２、３２
【非特許文献30】Ｖｏｌｏｄｙｍｙｒ Ｍｎｉｈ、Ｋｏｒａｙ Ｋａｖｕｋｃｕｏｇｌｕ、Ｄａｖｉｄ Ｓｉｌｖｅｒ、Ａｎｄｒｅｉ Ａ Ｒｕｓｕ、Ｊｏｅｌ Ｖｅｎｅｓｓ、Ｍａｒｃ Ｇ Ｂｅｌｌｅｍａｒｅ、Ａｌｅｘ Ｇｒａｖｅｓ、Ｍａｒｔｉｎ Ｒｉｅｄｍｉｌｌｅｒ、Ａｎｄｒｅａｓ Ｋ Ｆｉｄｊｅｌａｎｄ、ａｎｄ Ｇｅｏｒｇ、Ｈｕｍａｎ－ｌｅｖｅｌ ｃｏｎｔｒｏｌ ｔｈｒｏｕｇｈ ｄｅｅｐ ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ、Ｎａｔｕｒｅ、５１８（７５４０）：５２９、２０１５． １１
【非特許文献31】Ｔａｔｓｕｙａ Ｍｏｒｉ、Ｓｈｕｍｐｅｉ Ｋｕｂｏｓａｗａ、Ｔａｋａｓｈｉ Ｏｎｉｓｈｉ、ａｎｄ Ｙｏｓｈｉｍａｓａ Ｔｓｕｒｕｏｋａ、Ｉｍｐｒｏｖｉｎｇ ｔｈｅ ｇｒｏｓｓ ｐｒｏｆｉｔ ｏｆ ａ ｖｉｎｙｌ ａｃｅｔａｔｅ ｍｏｎｏｍｅｒ ｐｌａｎｔ ｂｙ ｄｅｅｐ ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ、Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ａｎｎｕａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｆ ｔｈｅ Ｓｏｃｉｅｔｙ ｏｆ Ｉｎｓｔｒｕｍｅｎｔ ａｎｄ Ｃｏｎｔｒｏｌ Ｅｎｇｉｎｅｅｒｓ ｏｆ Ｊａｐａｎ、２０２０． １１
【非特許文献32】Ａｒｕｎ Ｎａｉｒ、Ｐｒａｖｅｅｎ Ｓｒｉｎｉｖａｓａｎ、Ｓａｍ Ｂｌａｃｋｗｅｌｌ、Ｃａｇｄａｓ Ａｌｃｉｃｅｋ、Ｒｏｒｙ Ｆｅａｒｏｎ、Ａｌｅｓｓａｎｄｒｏ Ｄｅ Ｍａｒｉａ、Ｖｅｄａｖｙａｓ Ｐａｎｎｅｅｒｓｈｅｌｖａｍ、Ｍｕｓｔａｆａ Ｓｕｌｅｙｍａｎ、Ｃｈａｒｌｅｓ Ｂｅａｔｔｉｅ、Ｓｔｉｇ Ｐｅｔｅｒｓｅｎら、Ｍａｓｓｉｖｅｌｙ ｐａｒａｌｌｅｌ ｍｅｔｈｏｄｓ ｆｏｒ ｄｅｅｐ ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ、ａｒＸｉｖ ｐｒｅｐｒｉｎｔ ａｒＸｉｖ：１５０７．０４２９６、２０１５． １１
【非特許文献33】Ａｓｈｖｉｎ Ｎａｉｒ、Ｄｉａｎ Ｃｈｅｎ、Ｐｕｌｋｉｔ Ａｇｒａｗａｌ、Ｐｈｉｌｌｉｐ Ｉｓｏｌａ、Ｐｉｅｔｅｒ Ａｂｂｅｅｌ、Ｊｉｔｅｎｄｒａ Ｍａｌｉｋ、ａｎｄ Ｓｅｒｇｅｙ Ｌｅｖｉｎｅ、Ｃｏｍｂｉｎｉｎｇ ｓｅｌｆ－ｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ ａｎｄ ｉｍｉｔａｔｉｏｎ ｆｏｒ ｖｉｓｉｏｎ－ｂａｓｅｄ ｒｏｐｅ ｍａｎｉｐｕｌａｔｉｏｎ、Ｉｎ ２０１７ ＩＥＥＥ ｉｎｔｅｒｎａｔｉｏｎａｌ ｃｏｎｆｅｒｅｎｃｅ ｏｎ ｒｏｂｏｔｉｃｓ ａｎｄ ａｕｔｏｍａｔｉｏｎ （ＩＣＲＡ）、２１４６～２１５３ｐａｇｅｓ、ＩＥＥＥ、２０１７． １３
【非特許文献34】Ａｓｈｖｉｎ Ｎａｉｒ、Ｂｏｂ ＭｃＧｒｅｗ、Ｍａｒｃｉｎ Ａｎｄｒｙｃｈｏｗｉｃｚ、Ｗｏｊｃｉｅｃｈ Ｚａｒｅｍｂａ、ａｎｄ Ｐｉｅｔｅｒ Ａｂｂｅｅｌ、Ｏｖｅｒｃｏｍｉｎｇ ｅｘｐｌｏｒａｔｉｏｎ ｉｎ ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ ｗｉｔｈ ｄｅｍｏｎｓｔｒａｔｉｏｎｓ、Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｒｏｂｏｔｉｃｓ ａｎｄ Ａｕｔｏｍａｔｉｏｎ、６２９２～６２９９ｐａｇｅｓ、２０１８． １２
【非特許文献35】Ｙｕｎｘｉａｏ Ｑｉｎ、Ｗｅｉｇｕｏ Ｚｈａｎｇ、Ｊｉｎｇｐｉｎｇ Ｓｈｉ、ａｎｄ Ｊｉｎｇｌｏｎｇ Ｌｉｕ、Ｉｍｐｒｏｖｅ ｐｉｄ ｃｏｎｔｒｏｌｌｅｒ ｔｈｒｏｕｇｈ ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ、Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ ＣＳＡＡ Ｇｕｉｄａｎｃｅ， Ｎａｖｉｇａｔｉｏｎ ａｎｄ Ｃｏｎｔｒｏｌ Ｃｏｎｆｅｒｅｎｃｅ、１～６ｐａｇｅｓ、２０１８． １６
【非特許文献36】Ｊｏｈｎ Ｓｃｈｕｌｍａｎ、Ｆｉｌｉｐ Ｗｏｌｓｋｉ、Ｐｒａｆｕｌｌａ Ｄｈａｒｉｗａｌ、Ａｌｅｃ Ｒａｄｆｏｒｄ、ａｎｄ Ｏｌｅｇ Ｋｌｉｍｏｖ、Ｐｒｏｘｉｍａｌ ｐｏｌｉｃｙ ｏｐｔｉｍｉｚａｔｉｏｎ ａｌｇｏｒｉｔｈｍｓ、ａｒＸｉｖ ｐｒｅｐｒｉｎｔ ａｒＸｉｖ：１７０７．０６３４７、２０１７． ３２
【非特許文献37】Ｐｉｅｒｒｅ Ｓｅｒｍａｎｅｔ、Ｃｏｒｅｙ Ｌｙｎｃｈ、Ｙｅｖｇｅｎ Ｃｈｅｂｏｔａｒ、Ｊａｓｍｉｎｅ Ｈｓｕ、Ｅｒｉｃ Ｊａｎｇ、Ｓｔｅｆａｎ Ｓｃｈａａｌ、Ｓｅｒｇｅｙ Ｌｅｖｉｎｅ、ａｎｄ Ｇｏｏｇｌｅ Ｂｒａｉｎ、Ｔｉｍｅ－ｃｏｎｔｒａｓｔｉｖｅ ｎｅｔｗｏｒｋｓ： Ｓｅｌｆ－ｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ ｆｒｏｍ ｖｉｄｅｏ、Ｉｎ ２０１８ ＩＥＥＥ ｉｎｔｅｒｎａｔｉｏｎａｌ ｃｏｎｆｅｒｅｎｃｅ ｏｎ ｒｏｂｏｔｉｃｓ ａｎｄ ａｕｔｏｍａｔｉｏｎ （ＩＣＲＡ）、１１３４～１１４１ｐａｇｅｓ、ＩＥＥＥ、２０１８． １４
【非特許文献38】Ｊｏｏｈｙｕｎ Ｓｈｉｎ、Ｔｈｏｍａｓ Ａ Ｂａｄｇｗｅｌｌ、Ｋｕａｎｇ－Ｈｕｎｇ Ｌｉｕ、ａｎｄ Ｊａｙ Ｈ Ｌｅｅ、Ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ－ｏｖｅｒｖｉｅｗ ｏｆ ｒｅｃｅｎｔ ｐｒｏｇｒｅｓｓ ａｎｄ ｉｍｐｌｉｃａｔｉｏｎｓ ｆｏｒ ｐｒｏｃｅｓｓ ｃｏｎｔｒｏｌ、Ｃｏｍｐｕｔｅｒｓ ＆ Ｃｈｅｍｉｃａｌ Ｅｎｇｉｎｅｅｒｉｎｇ、１２７：２８２～２９４、２０１９． １１
【非特許文献39】Ｓｔｅｖｅｎ Ｓｐｉｅｌｂｅｒｇ、Ａｄｉｔｙａ Ｔｕｌｓｙａｎ、Ｎａｔｈａｎ Ｐ Ｌａｗｒｅｎｃｅ、Ｐｈｉｌｉｐ Ｄ Ｌｏｅｗｅｎ、ａｎｄ Ｒ Ｂｈｕｓｈａｎ Ｇｏｐａｌｕｎｉ、Ｄｅｅｐ ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ ｆｏｒ ｐｒｏｃｅｓｓ ｃｏｎｔｒｏｌ： Ａ ｐｒｉｍｅｒ ｆｏｒ ｂｅｇｉｎｎｅｒｓ、ａｒＸｉｖ ｐｒｅｐｒｉｎｔ ａｒＸｉｖ：２００４．０５４９０、２０２０． １１
【非特許文献40】Ｒｉｃｈａｒｄ Ｓ Ｓｕｔｔｏｎ、Ｄｏｉｎａ Ｐｒｅｃｕｐ、ａｎｄ Ｓａｔｉｎｄｅｒ Ｓｉｎｇｈ、Ｂｅｔｗｅｅｎ ｍｄｐｓ ａｎｄ ｓｅｍｉｍｄｐｓ： Ａ ｆｒａｍｅｗｏｒｋ ｆｏｒ ｔｅｍｐｏｒａｌ ａｂｓｔｒａｃｔｉｏｎ ｉｎ ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ、Ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ、１１２（１～２）：１８１～２１１、１９９９． １３
【非特許文献41】Ｇｏ Ｔａｋａｍｉ、Ａｉ－ｂａｓｅｄ ｐｌａｎｔ ｃｏｎｔｒｏｌ、Ｔｅｃｈｎｉｃａｌ ｒｅｐｏｒｔ、Ｙｏｋｏｇａｗａ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ Ｅｎｇｌｉｓｈ Ｅｄｉｔｉｏｎ、２０２０． １２
【非特許文献42】Ｆａｒａｚ Ｔｏｒａｂｉ、Ｇａｒｒｅｔｔ Ｗａｒｎｅｌｌ、ａｎｄ Ｐｅｔｅｒ Ｓｔｏｎｅ、Ｂｅｈａｖｉｏｒａｌ ｃｌｏｎｉｎｇ ｆｒｏｍ ｏｂｓｅｒｖａｔｉｏｎ、ａｒＸｉｖ ｐｒｅｐｒｉｎｔ ａｒＸｉｖ：１８０５．０１９５４、２０１８． １４
【非特許文献43】Ｆａｒａｚ Ｔｏｒａｂｉ、Ｇａｒｒｅｔｔ Ｗａｒｎｅｌｌ、ａｎｄ Ｐｅｔｅｒ Ｓｔｏｎｅ、Ｇｅｎｅｒａｔｉｖｅ ａｄｖｅｒｓａｒｉａｌ ｉｍｉｔａｔｉｏｎ ｆｒｏｍ ｏｂｓｅｒｖａｔｉｏｎ、ａｒＸｉｖ ｐｒｅｐｒｉｎｔ ａｒＸｉｖ：１８０７．０６１５８、２０１８． １３
【非特許文献44】Ｚｓｏｌｔ Ｊ． Ｖｉｈａｒｏｓ ａｎｄ Ｒｉｃｈａｒｄ Ｊａｋａｂ、Ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ ｆｏｒ ｓｔａｔｉｓｔｉｃａｌ ｐｒｏｃｅｓｓ ｃｏｎｔｒｏｌ ｉｎ ｍａｎｕｆａｃｔｕｒｉｎｇ、Ｍｅａｓｕｒｅｍｅｎｔ、１８２：１０９６１６、２０２１． １２
【非特許文献45】Ｙｕｈｕａｉ Ｗｕ、Ｅｌｍａｎ Ｍａｎｓｉｍｏｖ、Ｒｏｇｅｒ Ｂ Ｇｒｏｓｓｅ、Ｓｈｕｎ Ｌｉａｏ、 ａｎｄ Ｊｉｍｍｙ Ｂａ、Ｓｃａｌａｂｌｅ ｔｒｕｓｔ－ｒｅｇｉｏｎ ｍｅｔｈｏｄ ｆｏｒ ｄｅｅｐ ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ ｕｓｉｎｇ ｋｒｏｎｅｃｋｅｒｆａｃｔｏｒｅｄ ａｐｐｒｏｘｉｍａｔｉｏｎ、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ａｄｖａｎｃｅｓ ｉｎ ｎｅｕｒａｌ ｉｎｆｏｒｍａｔｉｏｎ ｐｒｏｃｅｓｓｉｎｇ ｓｙｓｔｅｍｓ、３０：５２７９～５２８８、２０１７． ３２
【非特許文献46】Ｈｕｉｍｉｎ Ｘｉｅ、Ｘｉｎｇｈａｉ Ｘｕ、Ｙｕｌｉｎｇ Ｌｉ、Ｗｅｎｊｉｎｇ Ｈｏｎｇ、 ａｎｄ Ｊｉａ Ｓｈｉ、Ｍｏｄｅｌ ｐｒｅｄｉｃｔｉｖｅ ｃｏｎｔｒｏｌ ｇｕｉｄｅｄ ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ ｃｏｎｔｒｏｌ ｓｃｈｅｍｅ、Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｉｎｔ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ、１～８ｐａｇｅｓ、２０２０． １１
【非特許文献47】Ｌｉｎｇｗｅｉ Ｚｈｕ、Ｙｕｎｄｕａｎ Ｃｕｉ、Ｇｏ Ｔａｋａｍｉ、Ｈｉｒｏａｋｉ Ｋａｎｏｋｏｇｉ、 ａｎｄ Ｔａｋａｍｉｔｓｕ Ｍａｔｓｕｂａｒａ、Ｓｃａｌａｂｌｅ ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ ｆｏｒ ｐｌａｎｔ－ｗｉｄｅ ｃｏｎｔｒｏｌ ｏｆ ｖｉｎｙｌ ａｃｅｔａｔｅ ｍｏｎｏｍｅｒ ｐｒｏｃｅｓｓ、Ｃｏｎｔｒｏｌ Ｅｎｇｉｎｅｅｒｉｎｇ Ｐｒａｃｔｉｃｅ、９７：１０４３３１、２０２０． １５
【非特許文献48】Ｂｒｉａｎ Ｄ Ｚｉｅｂａｒｔ、Ａｎｄｒｅｗ Ｌ Ｍａａｓ、Ｊ Ａｎｄｒｅｗ Ｂａｇｎｅｌｌ、Ａｎｉｎｄ Ｋ Ｄｅｙら、Ｍａｘｉｍｕｍ ｅｎｔｒｏｐｙ ｉｎｖｅｒｓｅ ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ、Ｉｎ Ａａａｉ、８巻、１４３３～１４３８ｐａｇｅｓ、Ｃｈｉｃａｇｏ、ＩＬ、ＵＳＡ、２００８． １２
【非特許文献49】Ｄａｒｊａ Ｓｅｍｒｏｖ、Ｒ． Ｍａｒｓｅｔｉｃ、Ｍａｒｉｊａｎ Ｚｕｒａ、Ｌｊｕｐｃｏ Ｔｏｄｏｒｏｖｓｋｉ、ａｎｄ Ａｌｅｋｓａｎｄｅｒ Ｓｒｄｉｃ、Ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ ａｐｐｒｏａｃｈ ｆｏｒ ｔｒａｉｎ ｒｅｓｃｈｅｄｕｌｉｎｇ ｏｎ ａ ｓｉｎｇｌｅ－ｔｒａｃｋ ｒａｉｌｗａｙ、Ｔｒａｎｓｐｏｒｔａｔｉｏｎ Ｒｅｓｅａｒｃｈ Ｐａｒｔ Ｂ Ｍｅｔｈｏｄｏｌｏｇｉｃａｌ、８６：２５０～２６７、０４ ２０１６． １１
【発明の概要】
【課題を解決するための手段】
【0012】
以上に鑑みて、化学プラントなどの複雑なプロセス制御のタスクを制御するサンプル効率の良い方法の継続的なニーズが、当技術分野に存在する。一部の実施形態によれば、支援された方策探索の形態に基づいて強化学習の訓練を加速させるための方法が、提供される。プロセス制御のために強化学習コントローラを訓練することは、判断を行うときに探索すべき状態空間の領域に関するガイダンスを提供するための方法を利用する。方法は、既存のコントローラ、どのガイダンスサンプルが訓練プロセスを高速化するのに有用であるか、最適でない既存のコントローラによって生成された「コントローラサンプル」を抽出し、再ラベル付けするための方法、コントローラサンプルを記憶するための再生メモリ（ｒｅｐｌａｙ ｍｅｍｏｒｙ）、大きな累積報酬を有するロールアウトを記憶するためのエピソードメモリ（ｅｐｉｓｏｄｉｃ ｍｅｍｏｒｙ）、エピソードメモリを更新するためのメカニズム、再生メモリおよびエピソードメモリからのサンプルを優先的にサンプリングするための方法に基づいて状態軌道を収集するステップと、コントローラサンプルおよび収集されたロールアウトをエージェントのサンプルから区別するようにニューラルネットワークのアンサンブル（ｅｎｓｅｍｂｌｅ）を訓練するステップと、ニューラルネットワークのアンサンブルからの集約された予測に基づいて探索ボーナスを決定するステップと、期待総報酬を最大化するシステムの制御目標を設定するステップとを含む。
【0013】
有利なことに、方法は、いくつかの点でサンプル効率を向上させる。特に、モデル予測制御または比例積分微分などの任意の既存のコントローラが、直面しているタスクを解決するために適切な方向にエージェントを潜在的に導く状態／領域に向けてエージェントの学習を導くために使用され得る。特に、そのようなガイダンスは、どのようにして乱れを修正すべきかおよび／またはシステムを定常状態に維持すべきかを学習するようにエージェントに促す。結果として、本発明はこのガイダンスを利用して探索空間を有望なエリア内に制限するので、訓練データがより効率的に探索されることが可能であり、したがって、訓練中のサンプル効率を向上させる。上で使用された用語「コントローラサンプル」は、仮想的なまたは現実のプラントにおいて既存のコントローラを実行することによって生成された状態軌道から抽出される訓練サンプルの集合を指す。上述のように、既存のコントローラは乱れに遭遇するときに最適でない可能性が高いが、不完全な軌道は、システムのダイナミクスおよび制御に関するドメイン知識（ｄｏｍａｉｎ ｋｎｏｗｌｅｄｇｅ）を依然として符号化し得る。つまり、本システムにおいては、既存のコントローラの意図が、最適でない状態軌道からでさえも抽出され得る。
【0014】
コントローラのガイダンスに加えて、本システムは、大きな累積報酬を有するエージェントの過去のロールアウトを自己教師（ｓｅｌｆ－ｓｕｐｅｒｖｉｓｉｏｎ）の形態として組み込む。一部の実施形態において、コントローラのガイダンスは、主に、訓練フェーズの開始時に性能を向上させ、自己教師は、訓練プロセス全体を通じてサンプル効率を向上させる。エージェントがタスクについての知識を獲得すると、システムは、（潜在的に）最適でないコントローラのガイダンスよりも、大きな累積報酬を有するエージェントの過去の経験を優先させる。この目的で、エージェントの訓練プロセス全体を通じて経験された大きな累積報酬を有する過去のロールアウトが、エピソードメモリに記憶され、新規の学習目標に組み込まれる。結果として、本システムは、訓練プロセスの開始時と訓練プロセス中との両方で、サンプル効率および性能を向上させる。
【0015】
本発明のより完全な理解のために、以下の説明および添付図面が参照される。
【図面の簡単な説明】
【0016】
【図1】プロセス制御のための通常の強化学習システムの実装の図である。
【図2】一部の実施形態によるプロセス制御のためのサンプル効率の良い強化学習システムの実装の図である。
【図3】ガイド付き強化学習システム（ｇｕｉｄｅｄ ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ ｓｙｓｔｅｍ）を訓練するための例示的なプロセスの流れ図である。
【図4】本発明の実施形態による強化学習コントローラの訓練を加速させるためのシステムの概要を示す図である。
【図5】既存のコントローラを利用することによってデータを収集する方法の流れ図である。
【図6】一部の実施形態による、訓練中に強化学習システムを支援するために使用される探索ボーナスを決定するためのガイドコントローラの実装の図である。
【図7】探索ボーナスの推定の方法の流れ図である。
【図8】本発明の実施形態による探索ボーナスを計算するためのシステムを示す図である。
【図9】大きな平均報酬を有するロールアウトを記憶するためのエピソードメモリの実装の方法の流れ図である。
【図10】本発明の概要を示す図である。
【図11】本発明の実施形態による、探索ボーナスによって強化学習コントローラの訓練を加速させるためのシステムを示す図である。
【図12】酢酸ビニルモノマープラントにおける制御のための支援された強化学習を示す図である。
【図13】酢酸ビニルモノマープラントにおいてＡｃＯＨの供給圧力の乱れを修正するために使用されるいくつかのベースライン（ｂａｓｅｌｉｎｅ）と比較して本発明を示す図である。
【図14】酢酸ビニルモノマープラントにおいてＣ２Ｈ４の供給圧力の乱れを修正するために使用されるいくつかのベースラインと比較して本発明を示す図である。
【図15】酢酸ビニルモノマープラントにおいて昼夜の乱れを修正するために使用されるいくつかのベースラインと比較して本発明を示す図である。
【発明を実施するための形態】
【0017】
まず、関連する研究の概要および本発明との相違点が、以下で説明される。
【0018】
上述のように、強化学習は、ゲームプレイ［３０］やロボット制御［２４］などの様々な複雑なタスクで大きな成功を収めた。また、強化学習は、いくつかの産業領域で使用され得ることが示された［４６、４９、３８］。実際、そのような手法は、従来から、サンプル効率の良いシミュレータによって生成された大量のデータに依存する。たとえば、それなりの性能に達するために、アーケード学習環境（ａｒｃａｄｅ ｌｅａｒｎｉｎｇ ｅｎｖｉｒｏｎｍｅｎｔ）［２］からのゲームにおける数十億ステップにわたってエージェントを訓練することがよく行われる。研究の一部の系統は学習プロセスを並列化することによって訓練時間を短縮することに注力したが［３２、２９］、それらは、通常、環境との多数のインタラクションを依然として必要とする。したがって、これらの通常の手法は、サンプル効率が重要な課題であるプロセス産業に適用するのが概して困難である。
【0019】
産業用制御の文脈では、いくつかの従来研究が、化学プラントの制御［１７、３１］および乱れに対する対処［１８、１６］のための強化学習の使用を探求した。たとえば、［３９］においては、プロセスプラントの構成要素を制御するために、モデルフリー強化学習モデルが採用されている。［４４］においては、プロセスタスクを学習するために、再利用窓（ｒｅｕｓａｇｅ ｗｉｎｄｏｗ）を用いるＱテーブルアルゴリズムが採用されている。しかし、そのような手法は、訓練を可能にするために制限された数の起こり得る乱れを含む。
【0020】
研究［２６］は、１つまたは複数の自由度を有する１つまたは複数のタンクの液位を制御する、Ａ２Ｃ［２９］またはＲＥＩＮＦＯＲＣＥ［１］などのいくつかの強化学習コントローラの能力を評価した。別の論文は、追加の実験的設定を用いて同様の応用を対象とした［４１］。しかしながら、タスクを一から学習することは、効果的な方策を学習するために状態行動空間の手に負えないほど時間がかかる量の探索を依然として必要とする可能性があり、したがって必然的に、そのようなフレームワークを実世界の応用に拡張することは困難である可能性がある。
【0021】
タスクに関する事前知識がない場合、そのような標準的な強化学習手法は、追求されている目標に到達するために無関係である可能性が高い選択肢を試すためにその探索時間の大半を費やし、それがそれらの手法の最終的な性能を低下させる可能性がある。これは、概してタスクが複雑で変化するダイナミクス、巨大な状態行動空間をともない、したがって必然的に、エージェントが多くの異なる選択肢を試すことによってその探索バジェットを使い果たすプロセス産業において大きな問題となる。一方、本発明では、エージェントの探索を支援するためにタスクについての事前知識を利用し、したがって、訓練時間の短縮し、最終的な性能を向上させる。
【0022】
タスクについての事前知識を利用することによって学習プロセスを加速させるという考え方は、複数の強化学習フレームワークで採用された。研究の１つの系統は、エージェントが提供されたデモンストレーションのクローンを作成することを目標とする行動クローニング［３４、１０］である。異なる考え方で、ＧＡＩＬ［１１］などの逆模倣（ｉｎｖｅｒｓｅ ｉｍｉｔａｔｉｏｎ）ベースの手法［４８、７］は、提供されたデモデータに基づいて報酬関数を推測しようと試みる。模倣学習に関するこれまでの研究のほとんどは、状態行動のデモンストレーションを中心としている。しかし、これらの手法は、複雑な化学プラントの制御などの、人間がデモンストレーションすることが難しい挙動に直接適用可能でない。さらに、これらの手法は、デモンストレーションの性能によって制約されることが多い。最後に、これらの手法は、エージェントに知識を伝達するまたは提供することができる人間の専門家へのアクセスを必要とする。人間へのこの負担は、デモンストレーションによってカバーする状態空間が大きいとき、たとえば、多くの異なる状況または乱れが起こり得るとき、手に負えないことが多い。
【0023】
デモデータの必要性を克服するために、プリファレンスの考え方が採用された［５、１２］。この設定の下で、エージェントは、人間にエージェントの可能な軌道を比較するように頼み、そのデータ使用して報酬関数を学習することによって、訓練プロセス中にフィードバック信号を要求することができる。そのような問題に対処するための方法の別の部類は、タスクの構造がこれらのタスクに関する高レベルのフィードバックのみを提供するように人間の訓練者に頼むために利用される［４０］階層的模倣（ｈｉｅｒａｒｃｈｉｃａｌ ｉｍｉｔａｔｉｏｎ）である。たとえば、人間の訓練者は、現在の状態および行動を前提として次の下位目標（ｓｕｂ－ｇｏａｌ）についてのフィードバックを要求されることが可能であり、低レベルの方策が、通常の強化学習の方法で訓練される［１９］。同様に、人間の実演者が、下位目標のペアの間の高レベルのプリファレンスを提供するように求められ得る［３］。一方、本発明は、既存のコントローラを実行することによって、エージェント自身の過去の良好な状態軌道からガイダンスが収集されるので、人間の実演者を必要としない。加えて、本発明は、タスクを学習する必要があるエージェントとは異なる実施形態によってシステムを動作させる既存のコントローラを観測することによってガイダンスが収集される場合があることを必然的にともなう行動へのアクセスを必要としない。
【0024】
行動データが利用可能でないとき、観測結果からの模倣の使用が提案された［４３］。観測結果からの模倣は、タスクを実行する訓練者を観測することによって直接学習する問題である。一部のモデルベースのアルゴリズムにおいては、動的モデルが、現在の状態および次の状態が与えられたときに取られる行動を推定するように訓練される。
【0025】
したがって、このモデルは、専門家の欠落している行動ラベルを推測するために使用され得る［３３］。
【0026】
状態から行動へのマッピングが、学習されたモデルをさらに強化するために学習され、使用されることが可能である［４２］。しかし、モデルベースの手法の起こり得る問題は、モデルベースの手法が、計算負荷を増やし、モデルフリーの手法と比較してサンプル効率を低下させることである。加えて、プロセス制御のタスクなどの複雑な環境をどのようにしてモデル化すべきかは、まだ明確になっていない。対照的に、本実施形態は、学習プロセスを加速させながら、環境のダイナミクスをモデル化する必要性を減らす。
【0027】
一方、観測結果からのモデルフリーの模倣は、方策の状態からの専門家の状態のユークリッド距離として報酬関数を構築することによってガイダンスを提供することができる［９、３７］。対照的に、本テクノロジーは、提供されたガイダンスとエージェントの経験とを区別するように予測器ネットワークのアンサンブルを訓練し、エージェントは、予測器を「騙して」エージェントが専門家であると思い込ませるように訓練される。さらに、システムは、学習プロセスをさらに加速させるために、自己教師の形態を採用する。
【0028】
方法の別の系統は、敵対的生成模倣学習（ｇｅｎｅｒａｔｉｖｅ ａｄｖｅｒｓａｒｉａｌ ｉｍｉｔａｔｉｏｎ ｌｅａｒｎｉｎｇ）［８］にヒントを得て、敵対的な方法でタスクを模倣する［２８］。しかし、上述のように、プロセス制御産業においては、特に、数の多い異なる状況および大きな状態空間が原因で、人間の実演者から状態軌道を収集することが依然として困難である。対照的に、本実施形態は、人知に頼らず、その代わりに、既存のコントローラを利用し、したがって、人手を大幅に削減する。さらに、本フレームワークは、異なるアーキテクチャ／目標を採用し、提供されたガイダンスをエージェント自身の経験によって豊かにすることを対象としている。
【0029】
ガイド付き方策探索（ｇｕｉｄｅｄ ｐｏｌｉｃｙ ｓｅａｒｃｈ）アルゴリズム［２１、２０］は、デモンストレーションを教師によって生成された軌道によって置き換え、それらを使用してエージェントの方策をガイドすることを提案する。つまり、ガイド付き方策探索は、「ローカル」コントローラのガイドする分布（ｇｕｉｄｉｎｇ ｄｉｓｔｒｉｂｕｔｉｏｎ）を使用して、教師付き学習によってエージェントの方策を訓練する。ローカルコントローラは、ｉＬＱＲ［２２］などの軌道最適化方法によって訓練され得る。システムは、２つのフェーズ、すなわち、（ｉ）軌道の分布の最適化、および（ｉｉ）教師あり学習による方策の学習を交互に繰り返す。しかしながら、そのような手法は、複数の軌道を生成する必要があり、計算コストを増大させるので、プロセス産業に適用するのが困難である場合がある。加えて、ガイド付き方策探索の要件は、システムのダイナミクスの正確なモデルを学習することであり、これは、大規模で複雑なプラントにおいては困難になり得る。一方、本発明（図１０）は、システムのダイナミクスをモデル化する必要性を減らし、教師あり学習に頼らず、これは、我々のエージェントがガイダンスよりも優れた性能を達成し、提供された誘導が最適でないときに動作することを可能にする。その上、本発明は、行動へのアクセスを必要とせず、既存のコントローラを利用してエージェントの探索を支援することによって訓練プロセスの始めからエージェントの学習を加速させる。
【0030】
サンプル効率の良い強化学習の古典的な手法を踏まえて、プロセス制御に特化したサンプル効率の良い強化学習アルゴリズムを構築するニーズが存在する。従来研究は、大きな行動空間を扱い、問題の複雑さを減らすためにマルチエージェントフレームワークを採用することを試みた［６］。それから、この考え方は、Ｆａｓｔｆｏｏｄカーネル近似を導入することによって次元の呪いを軽減するために拡張された［４７］。［２７］において、著者らは、ダイナミクスおよび制御目標が異なるプロセス間で類似していると仮定する。したがって、著者らは、エージェントの方策を新しいタスクまたはダイナミクスに迅速に適応させるためのメタ学習アルゴリズムを提案する。
【0031】
いくつかのその他の手法は、産業用制御のためのサンプル効率の良い強化学習に注力した。それらの手法は、プロセス制御産業を対象としていないが、いくつかの同様の課題を克服しており、したがって本研究と関連性がある。たとえば、ガウス過程を使用して確率的な遷移モデルを学習し、モデルの不確実性を長期予測に組み込むこと（すなわち、ＭＰＣ）が可能である［１４］。強化学習は、ＰＩＤコントローラの初期値を調整するためにも使用された［３５］。別の手法は、マルコフ決定過程によって状態の長期的な価値をモデル化し、それをコントローラにフィードバックする［４］。しかし、上述のように、タスクを一から学習することは、効果的な方策を学習するために状態行動空間の手に負えないほど時間がかかる量の探索を依然として必要とし得る。加えて、実世界では報酬が疎であることが多いので、領域についての事前の仮定に基づく探索のインセンティブなしに、エンドツーエンドの強化学習システムが速やかに成功すると期待することは、多くの場合、非現実的である。
【0032】
これらの困難を克服するために、産業用制御の分野のある研究は、履歴データからそれらのエージェントを初期化すること［２３］、または既存のアルゴリズムの挙動のクローンを作成すること［１３］によってサンプルの複雑さを減らすことに充てられた。しかしながら、これらの手法は、最適な専門家の行動へのアクセスを依然として必要とし、主に初期の訓練を改善するために設計されている。したがって、限られた設定を用いる小規模な環境において得られた結果は、現実のプラントに移らない可能性がある。対照的に、本発明は、訓練プロセスの開始時と訓練プロセス全体との両方で、サンプル効率および性能を向上させる方法を提示する。さらに、システムは、安価に収集され得る、既存の不完全なコントローラからの状態軌道を利用する。
【0033】
次に、添付図面と関連して以下で提供される詳細な説明は、方法の説明として意図されている。いくつかのサンプルが特定の応用分野の文脈で説明されるが、可能なユースケースは、この応用分野に限定されない。
【0034】
支援された方策探索に基づいてプロセス制御のための強化学習コントローラ２１１の訓練を加速させるための方法が、本明細書において説明される。サンプル効率は、本明細書においては、最適に近い制御方策を学習するために必要な訓練ステップの数を意味するために使用される。強化学習コントローラ１０２は、化学プラントなどのプロセスプラントを制御するために訓練される。たとえば、コントローラ１０２は、プラント１０１において生産負荷を最適化することまたは乱れを修正することを学習してよい。支援された方策探索は、強化学習エージェントの探索を、状態空間（２００）の潜在的にタスクに関連しており、情報が得られる領域に向けることによって、探索空間を制限する。
【0035】
形式的には、本開示は、エージェントによって実行されているタスクの完了から遠いかまたはエージェントの方策を改善するのに関連する知識を伝えない状態を訪問するよりも、実行されているタスクの完了に近いかまたはエージェントがその方策を改善するのに役立つ状態（すなわち、タスクに関連する状態）を訪問することに対してエージェントに報酬を与え、報酬は、探索ボーナス２１０と呼ばれるスカラ値であることが可能である。
【0036】
図１は、化学プラント１０１を制御する強化学習システム１０２の概略図である。この例において、エージェントは、乱れを修正し、プラントの利益を最適化するプラント１０１のコントローラである。強化学習システム１０２は、以下で説明されるシステムおよび技術が実装され得る、１つまたは複数の場所の１つまたは複数のコンピュータ上のコンピュータプログラムとして実装されたシステムの例である。一部の実装において、環境は、シミュレーションされた環境であり、エージェントは、シミュレーションされた環境とインタラクションする１つまたは複数のコンピュータプログラムとして実装される。一部のその他の実装において、環境は、実世界の環境であり、エージェントは、実世界の環境とインタラクションする物理的またはコンピュータプログラムである。たとえば、エージェントは、特定のタスクを成し遂げるため、たとえば、乱れを経験した後で化学プラントの安定性を回復するために環境とインタラクションするロボットであってよい。別の例として、エージェントは、人間のオペレータに助言するコンピュータプログラムの形態で実装される。
【0037】
強化学習１０２は、環境１０１とインタラクションすることによってエージェントが方針πを学習することからなる。強化学習システム１０２は、エージェントによって実行される行動ａ １０３を選択する。強化学習システム１０２は、センサー読み取り値１０５に存する受信された観測結果ｓに従って行動１０３を選択する。観測結果は、環境１０１の状態を特徴付ける。実装に応じて、センサー読み取り値１０５は、プラント１０１を監視する１つまたは複数のセンサーに存する。状態空間は、たとえば、体積、流量（ｆｌｕｘ）、温度、濃度、および圧力センサーの読み取り値を含む場合がある。エージェントの学習を容易にするために、観測結果の正規化方式が採用される場合があり（５０３）、各次元が、移動平均を引き、それから、移動標準偏差で割ることによって白色化される。エージェントによって実行された各行動１０３に応じて、システムは、環境１０１から報酬ｒ １０４を受け取る。報酬１０４は、エージェントが行動１０３を実行した結果として環境１０１から受け取られる数値である。強化学習コントローラ１０２は、期待総報酬を最大化する状態と行動との間のマッピングを学習する。つまり、割引率γが与えられると、収益
【0038】
【数1】
【0039】
と呼ばれる将来割引報酬（ｆｕｔｕｒｅ ｄｉｓｃｏｕｎｔｅｄ ｒｅｗａｒｄ）が、
【0040】
【数2】
【0041】
として定義され、Ｔは、エポックが終了する時間ステップである。エージェントは、与えられた観測結果に関して達成可能な最大の収益
【0042】
【数3】
【0043】
を有する行動１０３を選択することを学習する。
【0044】
特に、行動１０３を選択するために、強化学習システム１０２は、ニューラルネットワークを含む。概して、ニューラルネットワークは、観測結果を入力として受け取り、観測結果を処理して、観測結果に応じてエージェントによって実行されるべき行動１０３を定義する出力を生成するように構成される。一部の実装において、ニューラルネットワークは、観測結果を受け取り、可能な行動の全体にわたる確率分布を定義する出力を生成するニューラルネットワークであり、各行動の確率は、行動が将来の報酬を最大化する行動である確率である。一部のその他の実装において、ニューラルネットワークは、観測結果を受け取り、観測結果に応じてエージェントによって実行されるべき行動を表す数値の集合を定義する出力を生成するニューラルネットワークである。
【0045】
概して、ニューラルネットワークを訓練するために、システムは、２つのステップ、すなわち、経験タプル（ｅｘｐｅｒｉｅｎｃｅ ｔｕｐｌｅ）を生成するために環境１０１とインタラクションするステップと、将来の期待報酬を改善するためにニューラルネットワークを訓練するステップとを繰り返し実行する。経験タプルは、概して、観測結果に応じて実行された行動１０３を特定するデータと、環境１０１において行動１０３を実行した効果を表す環境報酬１０４とを含む。性能の良いＲＬアルゴリズムは、環境１０１との少ない数のインタラクションから、良好な挙動方策（ｂｅｈａｖｉｏｒ ｐｏｌｉｃｙ）を学習する。
【0046】
上述のように、強化学習１０２は、プラント１０１の乱れを修正し、生産負荷を最適化するなど、プラント１０１の制御するために使用されてよい。しかし、現実には、通常の強化学習フレームワーク１００を適用することは、プロセス産業では現実的でないことが多い、環境１０１との必要なインタラクションの数の多さが原因で困難である。つまり、プロセス制御のタスクは、概して、複雑で変化するダイナミクス、大きな状態行動空間、およびコストのかかる計算を含み、低いサンプル効率をともなう。したがって、強化学習１００の基本的な定義と、複雑なプロセス制御のタスクをうまく解決するために強化学習１００に期待できることとの間には大きな隔たりがある。
【0047】
対照的に、本発明は、（１）主に訓練の開始中にガイダンスとして既存のコントローラ２０１を利用し、（２）訓練プロセス全体を通じてエージェントを支援するために自己教師の形態を利用することによって、プロセス制御のタスクにおいてサンプル効率の良い強化学習を可能にする。既存のコントローラ２０１は、製造中にほとんどのプロセス産業に設置され、したがって、本システムは、環境１０１においてどのように振る舞うべきかをデモンストレーションする専門家を必要としない。加えて、ガイダンスの本形態は、状態情報へのアクセスをのみを仮定しており、最適でない既存のコントローラを観測することによって収集され得る。たとえば、既存のコントローラ２０１は、モデル予測制御や比例積分微分法を含んでよい。
【0048】
図２は、プロセス制御のためのサンプル効率の良い強化学習フレームワーク２００の実装の図を示す。一部の実施形態において、強化学習は、サンプル効率が良くなるように探索空間を有望なエリア内に制限することによって学習を支援する「ガイドコントローラ」２０９を統合することを含む。たとえば、乱れなどの新規の状況に遭遇したときにすべきことのすべての選択肢を試す代わりに、強化学習エージェントがすべての選択肢を試す必要なしに、直面しているタスクを解決するために適切な方向（すなわち、エージェントによって実行されているタスクの完了から遠い状態を訪れるよりも実行されているタスクの完了に近づく）にエージェントを導く選択肢がエージェントによって選択される可能性がより高くなるような支援された方策探索が利用される。
【0049】
本明細書において使用される用語「ガイドコントローラ」２０９は、強化学習システム２１１にいくつかの形態の助けを提供するシステムを指す。一部の実施形態において、支援された方策探索は、ガイドコントローラ２０９によって生成される探索ボーナス２１０を介して強化学習に統合され、探索ボーナス２１０は、環境１０４によって提供される外的報酬（ｅｘｔｒｉｎｓｉｃ ｒｅｗａｒｄ）と合算される。言い換えると、本発明において、ガイドコントローラ２０９は、（前処理された）状態ｓｔ ６０１を入力とし、探索ボーナスｂｔ ２１０と呼ばれるスカラ値を出力するシステムであり、探索ボーナス２１０は、この状態を訪れることに対して強化学習２１１に報酬を与える。前処理段階は、移動平均を引き、次に、移動標準偏差で割ることによって状態を正規化すること５０３を含んでよい。本開示においては、強化学習システム２１１が依然として環境報酬１０４にアクセスすることができるので、そのことが、システムがガイダンスよりも優れた戦略を発見することを可能にする可能性がある。
【0050】
図３は、プロセス制御のための支援された方策探索３００の実施のガイドコントローラ２０９の流れ図を示す。方法は、既存のコントローラ２０１から状態軌道を収集するステップ３０１と、軌道からコントローラサンプル２０６を抽出するステップ２０３と、訓練サンプルをラベル付けするステップ５０４と、サンプルのラベルを予測するためにアーキテクチャを設定するステップと、システムの全般的な制御目標を設定するステップと、強化学習を使用し、期待総報酬を最大化するガイドコントローラ２０９によって支援されて、状態空間を探索するステップと、エージェントによって経験された大きな累積報酬を有するロールアウト２１６からの追加のサンプルによって初期訓練サンプルの集合３０１を膨らませるステップ３０４と、収集されたロールアウトを更新するためにエピソードメモリを管理するステップ９００とを含む。これらの手順は、図４を参照して説明される。
【0051】
図５は、既存のコントローラ２０１からガイダンスを収集するための方法５００のフローチャートを示す。一部の実施形態によれば、第１の段階は、既存のプロセスコントローラからガイダンスサンプル２０６を抽出する方法３０１を提案する。既存のコントローラ２０１が利用可能であると仮定すると、第１の段階において、システムは、既存のコントローラ２０１を実行することによって得られたサンプル２０６が記憶される再生メモリＭＥ ２０４を維持する。本明細書において使用されるサンプルという用語は、最近の状態の集合ｓ＊および状態ｓの遷移ｓ＊ → ｓの、遷移がエージェントの方策によって生成されたのか（すなわち、ｙ＝０ ２１５）または既存のコントローラによって生成されたのか（すなわち、ｙ＝１ ２０８）を定義する２値ラベルｙへのマッピングを指す。既存のコントローラ２０１から抽出されたサンプルは、乱れに直面するときに最適でない可能性が高いが、ｙ＝１としてラベル付けされることに留意されたい。一部の実施形態においては、これらのサンプルが、取り組まれているタスクを部分的に解決することができる既存のコントローラ２０１に従って生成されたので、強化学習エージェント２１１は、これらのサンプルから有望なエリア内の領域を訪問するためにエージェントによって実行される行動を選択するように訓練されてよい（３０３）。
【0052】
再生メモリ２０４は、１つまたは複数の既存のコントローラ２０１の制御の下でプラント１０１を稼動させ、状態軌道を収集し（３０１）、これらの軌道からコントローラサンプルを抽出する（２０３）ことによって満たされる。各状態軌道は、環境１０１を特徴付ける観測結果の集合を含む。システムは、学習されているプロセス制御のタスクに関連する異なる種類の知識を含む２種類の状態軌道２０２を収集する（５００）。
【0053】
第１に、一部の実施形態によれば、システムは、「定常軌道」を収集する（５０１）。本明細書において使用される用語「定常軌道」は、プラント１０１の生産が最適に近いおよび／またはプラント１０１の状態が安定している状態空間の状態を指す。この設定において、既存のコントローラ２０１は、システムを定常状態に維持するように努める。そのようなサンプルは、生産負荷を最適化するため、機器の故障を回避するため、またはシステムを安定した状態に保つために訪問されなければならない状態空間の領域を特定するためにガイドコントローラ２０９によって使用されてよい。
【0054】
第２に、さらに、システムは、乱れの下でのガイダンスによって初期のサンプルの集合を膨らませる（５０２）。したがって、システムは、乱れを修正しようと試みるコントローラ２０１を観測することによって不完全な挙動を収集する（５０２）。ほとんどの乱れは修正され得ないが、訪問された状態を考慮することのみによって、システムは、システムのダイナミクスおよび制御に関するドメイン知識をやはり取り込むことができる。つまり、訪問された状態の一部が、状態空間の潜在的にタスクに関連する領域を特定するために使用されることが可能であり、したがって、乱れからどのようにして回復すべきかなどのタスクに関連する挙動を取り込む。したがって、状態をガイダンスとして利用することのみによって、本開示のシステムは、エージェントの性能に対する不完全な実演者の知識の影響を減らす可能性がある。さらに、サンプルの出所を区別すること（下記参照）は、（模倣学習とは異なり）「コントローラサンプル」２０８としてラベル付けされたサンプルの状態をコピーするようにエージェントに強制せず、最適でないガイダンスの影響をさらに減らす。
【0055】
一部の実装においては、収集された状態軌道２０２からサンプル２０３を抽出した後、システムは、再生メモリＭＥ ２０４にサンプルを記憶するＭＥ ← ＭＥ∪｛（ｓ＊
０，ｓ０，ｙ０），（ｓ＊
１，ｓ１，ｙ１），．．．｝。
【0056】
図６は、訓練中のガイドコントローラ２０９の実施６００の図を示す。一部の実施形態によれば、第２の段階は、予測器ニューラルネットワークのアンサンブル６０２などの新規の構成要素を有する全体的な強化学習方式を提案する。つまり、１つまたは複数の予測器ネットワークのアンサンブル６０２が、状態空間のタスクに関連する領域の訪問を探索ボーナス２１０によって助長する支援された方策探索を実施するために使用される。本明細書において使用される用語「予測器」６０３は、所与の入力のラベルを予測するニューラルネットワークの能力を指す。本明細書において使用されるとき、用語「ネットワーク」は、任意の人工知能ネットワークまたはシステム、ニューラルネットワークまたはシステムを含む任意のハードウェアまたはソフトウェアベースのフレームワークを含む場合がある。
【0057】
第２の段階において、一部の実施形態では、予測器ネットワークのアンサンブル６０２は、状態空間のタスクに関連する状態を特定するために、既存のコントローラ２０１から収集されたサンプル２０８を使用して訓練され得る（３０２）。一部の実施形態においては、最もタスクに関連する領域が、既存のコントローラ２０１によって訪問された状態、または大きな累積報酬を有するロールアウト２１６内の状態として定義され得る。既存のコントローラ２０１と一緒に大きな累積報酬を有するロールアウト２１６を使用することは、図９を参照して下でより詳細に説明される。詳細には、そのようなタスクに関連する領域は、エージェントによって実行されているタスクの完了から遠いかまたはエージェントがその将来の報酬を改善するのに役立たない状態を訪れるよりも、実行されているタスクの完了に近いかまたは将来の環境報酬を改善するのに役立つ知識を伝える状態である。
【0058】
各予測器ネットワーク６０３は、再生メモリＭＥ ２０４およびエージェントのデータセットＲ ２１３（ｙ＝０ ２１５とラベル付けされた）からサンプルを復元ありで（ｗｉｔｈ ｒｅｐｌａｃｅｍｅｎｔ）引くことによって独立して訓練される。システムが低データレジーム（ｌｏｗ ｄａｔａ ｒｅｇｉｍｅ）で動作するので、ドロップアウトが、正則化技術として使用される。一部の実施形態においては、予測器ネットワークのアンサンブル６０２のすべての重み層（ｗｅｉｇｈｔ ｌａｙｅｒ）の前にドロップアウト層が追加される。したがって、ランダムに選択されたニューロンが、訓練中に無視され、訓練サンプルに対する複雑な共適応（ｃｏ－ａｄａｐｔａｔｉｏｎ）を防ぐ。さらに、汎化を保証するために、システムは、訓練サンプルおよびラベルの凸結合として追加のサンプルを作成するミックスアップ（ｍｉｘｕｐ）正則化を課す。これらの新しいサンプルは、次のように定義される。
【0059】
【数4】
【0060】
式中、構成可能なパラメータλ∈［０，１］は、ミックスアップの程度を制御し、λ～Ｂｅｔａ（α，α）であり、（ｓ＊
１，ｓ１，ｙ１）および（ｓ＊
２，ｓ２，ｙ２）は、メモリＭＥ ２０４およびＲ ２１３からランダムに引き出された２つのサンプルである。
【0061】
一部の実施形態において、予測器ネットワークのアンサンブル６０２の目標は、所与のサンプル（ｓ＊，ｓ）のラベルを予測することである。そのようにするために、各予測器ネットワーク６０３は、以前に訪問された状態ｓ＊に基づいて、状態ｓが既存のコントローラの意図に似ているように見えるｙ＝１ ２０８であるのか、またはエージェントの方策に従って生成されたｙ＝０ ２１５であるのかを予測するように構成される。各予測器ネットワークＤφ ６０３は、そのパラメータφに関して、以下に定義される損失関数に従って訓練される。
【0062】
【数5】
【0063】
したがって、予測器ネットワークのアンサンブル６０２は、再生メモリＭＥ ２０４からの提供されたガイダンスと、エージェントの経験Ｒ ２１３とを区別することを学習する。言い換えると、ｓ＊ → ｓが与えられると、アンサンブル６０２は、遷移が既存のコントローラ２０１によって生成されたのかまたは方策によって生成されたのかを推測し、したがって、エージェント２１１は、予測器６０２を「騙して」エージェント２１１が「既存のコントローラ」２０１であると思い込ませるように訓練される。
【0064】
各時間ステップにおいて、システムは、予測器ネットワークの適合されたアンサンブル６０２を使用して、再生メモリ２０４内のｙ＝１ ２０８としてラベル付けされたサンプルから、有望なエリア内の状態を探索するようにエージェントに促す探索ボーナス２１０を生成してよい。さらにタスク報酬ｒｔ １０４と合計される探索ボーナスｂｔ ２１０は、予測器ネットワークの出力を使用することによって計算される（６０７）。
【0065】
【数6】
【0066】
【0067】
１つの構成において、出力６０６は、Ｆ＝ｍａｘによって集約されてよく（７０１）、これは、予測器６０２によってタスクに関連するとみなされる領域か、またはアンサンブル６０２が高い広がり（ｓｐｒｅａｄ）を持つ領域かのどちらかを探索することに対してエージェントに報酬を与える。言い換えると、結果として得られるボーナス２１０は、既存のコントローラの意図と不確実性との両方を取り込む。
【0068】
一部の実施形態において、本開示のシステムおよび方法は、各予測器ネットワークの出力を重み付けしてよい（６０５）。本システムは、ドロップアウトをガウス過程のベイズ近似として使用する。つまり、予測器ネットワークＤφ ６０３に関するタプル（ｓ＊，ｓ，Ｄφ）の重みｗ（ｓ＊，ｓ，Ｄφ） ６０８は、ランダムなドロップアウトマスク６０９を有する予測器ネットワークを通る確率的順方向通過（ｆｏｒｗａｒｄ ｐａｓｓ）の結果６０４を収集することによって割り当てられる。
【0069】
【数7】
【0070】
式中、
【0071】
【数8】
【0072】
は、ドロップアウトマスクｄｊを有する予測器６０３を表し、Ｄは、ドロップアウトマスク６０９の集合であり、βは、定数パラメータであってよく、ｐは、予測事後平均（ｐｒｅｄｉｃｔｉｖｅ ｐｏｓｔｅｒｉｏｒ ｍｅａｎ）であり、
【0073】
【数9】
【0074】
である。構成可能なパラメータβは、不確実性に対する許容度に基づいてユーザによって設定されてよい。未知および遠く離れたタプルの分散は、既知のタプルよりも大きく、したがって、この予測器６０３の探索ボーナスｂｔ ２１０に対する重要度を小さくする。順方向通過６０６は同時に行われ得るので、本方法は、標準的なドロップアウトと同一の実行時間をもたらす。
【0075】
図９は、強化学習コントローラ３０４の訓練中に追加の訓練サンプルを収集するための処理を示す。第３の段階において、再生メモリＭＥ ２０４に記憶された既存のコントローラ２０１のサンプルと一緒に、システムは、自己教師の形態として、大きな累積報酬を有するエージェントの過去のロールアウト２１６を組み込んでよい（３０４）。コントローラ２０１は乱れなどの新規の状況に直面するとき最適でない場合があるので、大きな累積報酬を有する過去のロールアウト２１６が、エージェントによって実行されているタスクを完了するために訪問されるべき状態、または大きな環境報酬をもたらす可能性がある状態を示唆することによって学習をさらに支援するために使用される（２０４）。つまり、既存のコントローラ２０１からのガイダンスは、主に訓練フェーズの始めに学習を支援するために設計される。強化学習エージェント２１１がタスクについての知識を獲得すると、ガイドコントローラ２０９は、（潜在的に）最適でないコントローラのガイダンス２０４よりも、大きな累積報酬を有するエージェントの経験豊富なロールアウト２１６を優先させてよい。これらの手順は、図１１を参照して説明される。
【0076】
１つの構成において、システムは、大きな累積報酬を有する過去のロールアウト２１６を記憶するエピソードメモリ２０５を維持し、すなわち、ＭＲ＝｛（τ，Ｒｔ，ｄｏｎｅ），．．．｝であり、式中、τは、状態軌道であり、Ｒｔは、収益であり、ｄｏｎｅは、軌道が成功したかどうかを示す。本明細書において使用される収益という用語は、報酬の割引和（ｄｉｓｃｏｕｎｔｅｄ ｓｕｍ）
【0077】
【数10】
【0078】
を指す。
【0079】
１つの構成において、エピソードメモリ２０５は、限られた容量Ｋを有する。各エピソードの後、容量９０１が超えられていない場合（９０２）、新しいロールアウトがメモリ９００に追加される可能性がある（９０４）。容量９０１が超えられているとき（９０３）、システムは、メモリ２０５内の最も低い収益Ｒｔを有する要素を現在の要素によって置き換える（９０５）。メモリ２０５全体が成功したロールアウトによって満たされるまで、この戦略は、失敗したロールアウトの間でのみ適用され（９０５）、したがって、大きな累積報酬を有するより古い要素を完全に無視することなく、メモリ内の新しい要素を維持する。
【0080】
１つまたは複数の実施形態においては、エージェントの性能に対する不完全なコントローラのガイダンスの影響を減らすために、再生メモリＭＥ ２０４およびエピソードメモリＭＲ ２０５から訓練サンプルをサンプリングする（２０７）確率を更新するための以下の手順が導入される。システムは、訓練サンプルを、確率δでＭＥ内の乱れの下での軌道からサンプリングし、確率ρでＭＲ内の乱れの下での軌道からサンプリングし、確率１－ρ－δでＭＥ内の定常軌道からサンプリングする（２０７）。エージェントがタスクについてのより多くの知識を獲得するにつれて、システムは、コントローラのガイダンスを再生する確率を下げ、経験された状態を再生する確率ρを上げてよい。δおよびρは、エピソードメモリに新しいロールアウトが追加されるたびに、以下の規則に従ってアニール（ａｎｎｅａｌ）されてよい（９０６）。
【0081】
【数11】
【0082】
式中、ρ０は、ρの初期値であり、Ｋは、エピソードメモリの最大サイズである。
【0083】
１つの構成においては、訓練の過程で予測器ネットワークのアンサンブル６０２を訓練するために、ガイドコントローラ２０９は、ＭＲ ２０５から遷移ｓ＊ → ｓを抽出し（２０３）、そして、ＭＥ ２０４およびＭＲ ２０５からのサンプルの混合を正サンプル（ｙ＝１） ２０８として採用する。現在のシステムにおいては、予測器ネットワーク６０２を訓練するときに、ＭＲ ２０５からのサンプルがＭＥ ２０４に併合され、したがって、ＭＲ ２０５およびＭＥ ２０４は、式３の単一のメモリＭＥ ← ＭＥ∪ＭＲ １０００として扱われてよく、サンプル２０８は、式６に従ってサンプリングされる（２０７）。
【0084】
例： 酢酸ビニルモノマープラント
図１２は、乱れの下での酢酸ビニルモノマープラント１２０１の制御タスクへの本発明の応用１２００を示す。この例示的な応用１２００において、酢酸ビニルモノマープラント１２０１は、現実のプラントの特性および実用上の問題を反映する、シミュレータ上に構築された仮想環境［２５］である。酢酸ビニルモノマープラント１２０１は、プロセス産業の典型的なプロセスを含んでいるので、堅牢なベンチマーク環境として使用され得る。
図１２は、乱れの下での酢酸ビニルモノマープラント１２０１の制御タスクへの本発明の応用１２００を示す。この例示的な応用１２００において、酢酸ビニルモノマープラント１２０１は、現実のプラントの特性および実用上の問題を反映する、シミュレータ上に構築された仮想環境［２５］である。酢酸ビニルモノマープラント１２０１は、プロセス産業の典型的なプロセスを含んでいるので、堅牢なベンチマーク環境として使用され得る。
【0085】
この例において、エージェントは、１）乱れによってトリガされ得る機器の故障を回避し、２）内乱または外乱を安定させ、修正し、３）プロセスを定常状態に維持しなければならない。行動空間は、制御するＰＩＤの集合からなる。行動の範囲は、初期値から［－ｘ１％，＋ｘ２％］として定義され、ｘ１＝０．６０であり、ｘ２＝１．３５である。プロセスは、化学物質の体積、流量、温度、濃度、および圧力を測定する１０９個のセンサーによって観測される。エージェントの学習を容易にするために、システムは、観測結果の正規化方式を使用して状態を前処理する。つまり、各次元が、移動平均を引き、次に、移動標準偏差で割ることによって白色化される。方策と予測器ネットワーク６０２との両方のために、同じ観測結果の正規化が採用される。報酬が、元来、疎である実世界の問題を再現するために、汎用的な選択は、報酬関数を次のように設定することである。
【0086】
【数12】
【0087】
式中、ｘは、現在の状態であり、ｘｔは、目標の状態であり、ｘｓは、定常状態の値であり、εは、閾値である。実際には、我々は、ｘｔ＝ｘｓおよびε＝０．０１と設定する。
【0088】
方策学習方法として、コントローラは、近接方策最適化（ＰＰＯ： ｐｒｏｘｉｍａｌ ｐｏｌｉｃｙ ｏｐｔｉｍｉｚａｔｉｏｎ）［３６］によって訓練された（２１１）。本発明は、統合された自己教師ありコントローラガイダンス（Ｃｏｎｔｒｏｌｌｅｒ Ｇｕｉｄａｎｃｅ ｗｉｔｈ Ｉｎｔｅｇｒａｔｅｄ Ｓｅｌｆ－Ｓｕｐｅｒｖｉｓｉｏｎ）ＣＧＳと呼ばれる。アクターおよびクリティックネットワークは、１２８個の隠れユニットを有する３つの全連結層に存していた。ｔａｎｈが、活性化関数として使用され、アクターネットワークの出力値は、各行動の次元の範囲にスケーリングされた。訓練は、バッチサイズ１２８で、Ａｄａｍオプティマイザ［１５］を使用して、固定の学習率０．０００７で行われた。方策は、各エピソードの後、４エポック分訓練された。ＰＰＯ［３６］、Ａ２Ｃ［２９］、ＡＣＫＴＲ［４５］、および既存のＰＩＤを含む４つのベースラインが、検討された。
【0089】
ＣＧＳが、３つの予測器ニューラルネットワークＮｄ＝３ ６０２によって評価された。それらの予測器ニューラルネットワークは、１２８個の隠れユニットを有する３つの全連結層に存していた。２つの最初の層は、最後の層のためにＲｅＬＵ活性化およびシグモイドを採用した。予測器の信頼度は、ｐ＝０．２で１００個のドロップアウトマスク６０９を使用して推定された。予測器ネットワーク６０２は、ネットワークが１００回分更新された最初の１０エピソードを除き、サイズ１２８のランダムなバッチを使用して各エピソード後に５回更新された。ｓ＊を生成するために、４つの直近に経験された状態が、積み重ねられた。システムは、β＝０．７、ρ０＝０．３０、およびγ＝１を使用した。探索ボーナス２１０は、係数０．１でスケーリングされ、環境報酬１０４は、係数０．９でスケーリングされた。ミックスアップ訓練に関して、方法は、α＝１を使用した。コントローラのガイダンス３０１は、もともと化学プラント１２０１を制御していたＰＩＤを観測することによって収集された。ＣＧＳは、１００個の定常状態を訓練サンプル（ｓｔｅと呼ばれる）として使用し、これらの訓練サンプルは、乱れの下での１５個の専門家の軌道（ｔｒｊと呼ばれる）５０２から抽出されたサンプルによって膨らまされることが可能であった。軌道を収集するために、プラント１２０１は、上で説明されたのと同じパラメータを用いて使用され、したがって、軌道の長さは、６０ステップであった。例示的な応用において、これらの軌道から遷移を抽出した後、ＭＥ ２０４は、定常状態の約１０％によって満たされ、その他の専門家の遷移は、ｔｒｊガイダンスから来た。方法は、サイズＫ＝２０のエピソードメモリ２０５を採用した。
【0090】
本発明の理解を深めるために、ＣＧＳは、異なる設定、すなわち、ＣＧＳ＋ｓｔｅ、ＣＧＳ＋ｓｔｅ＋ｓｅｌ、ＣＧＳ＋ｓｔｅ＋ｔｒｊ、ＣＧＳ＋ｓｔｅ＋ｔｒｊ＋ｓｅｌを用いて評価された。ＣＧＳ＋ｓｔｅの設定の下で、ＣＧＳは、定常的なサンプルを用いて訓練される。ＣＧＳ＋ｓｔｅ＋ｓｅｌの設定では、ＣＧＳは、定常的なサンプルと、大きな累積報酬を有するロールアウト２１６から抽出されたサンプルとを用いて（つまり、自己教師法を使用して）訓練される。ＣＧＳ＋ｓｔｅ＋ｔｒｊの設定の下で、ＣＧＳは、定常的なサンプルと、乱れの下にあるプラント１２０１において既存のコントローラ２０４を実行することによって抽出されたサンプルとの両方を用いて訓練される。ＣＧＳ＋ｓｔｅ＋ｔｒｊの設定の下で、本発明は、すべての種類のガイダンスを利用する。
【0091】
図１３は、３００エピソードにわたるＣＧＳおよびベースラインエージェントの平均収益を示す。この実験において、エージェントは、ＡｃＯＨの供給圧力の乱れを修正するように訓練され、すなわち、原料の酢酸の供給組成が、酢酸プラントの条件の変化が原因で変更される。この種の乱れは、原料の供給および水の組成の変化を検出することによって観測され得る。強度（ｉｎｔｅｎｓｉｔｙ）レベルは、［１，５０］の間でランダムに変化する。図示されるように、ＰＰＯ １３００は、本発明によって支援されたＰＰＯ １３０３～１３０６よりもはるかに弱いように見える。さらに、ＣＧＳは、著しく速く学習することによってベースライン１３０１～１３０２および既存のＰＩＤ １３０７よりも性能が優れている。
【0092】
図１４は、２００エピソードにわたるＣＧＳおよびベースラインエージェントの平均収益を示す。この実験において、エージェントは、Ｃ２Ｈ４の供給圧力の乱れを修正するように訓練され、すなわち、原料のエチレンの供給圧力が、エチレンプラントの条件の変化が原因で変更される。この種の乱れは、原料の流量の変化を検出することによって観測され得る。強度レベルは、［７０，１４０］の間でランダムに変化する。図１３および図１４に示される結果は、ベースライン１４００～１４０２および既存のＰＩＤ １４０７と比較して、サンプル効率を改善する本発明１４０３～１４０６の能力を示す。
【0093】
別の例において、エージェントは、外乱を修正するように訓練される。図１５は、２００エピソードにわたるＣＧＳおよびベースラインエージェントの平均収益を示す。この実験において、エージェントは、昼夜の乱れを修正するように訓練され、すなわち、昼夜のサイクルが、大気の変化につながり、非定常条件および内部温度の変動をもたらす。この乱れは、冷却水の消費および温度センサーの値の変化を検出することによって観測され得る。強度レベルは、［１，５０］の間でランダムに変化する。図１５において観察され得るように、本発明１５０３～１５０６は、最終的な性能およびサンプル効率の観点で、標準的な強化学習手法１５００～１５０２および既存のＰＩＤ １５０７よりも外乱を修正するのに有効である。
【0094】
図１３、図１４、および図１５は、たとえ方策ネットワーク（ｐｏｌｉｃｙ ｎｅｔｗｏｒｋ）が同一であっても、より少ないステップを必要とすることによって、ＰＰＯよりも明らかな性能の向上を示す。その上、生成された軌道の分析は、コントローラのガイダンス３０１を利用することが、本発明が最初の数回の成功の軌道を迅速に経験することを可能にすることを明らかにする。数回の訓練エピソードの後、自己教師が、ラーナーがさらに乱れを修正するための代替的な戦略を発見するのに十分な教師を提供する。図示されるように、概して、ベースラインの方法は、そのような複雑なタスクにおいてそれらの方法の比較的低いサンプル効率が原因で最適に近い方策を学習することができない。対照的に、ＣＧＳの平均スコアは、急激に上昇し、ベースラインよりも上限に近い。結果として、本実施形態は、訓練時間を短縮し、サンプル効率を向上させる。全体として、この方式は、プロセス制御のためのサンプル効率の良い強化学習を可能にし、より高い平均報酬および訓練時間の大幅な短縮をもたらす。
【0095】
本明細書は多くの特定の実装の詳細を含むが、これらは、特許請求される可能性があるものの範囲に対する限定とみなされるべきでない。別々のまたは並列的な実施形態の文脈で本発明において示されている一部の特徴は、単一の実施形態に組み合わせて実装されてもよい。また、特徴が特定の組み合わせで働くものとして上で説明されているが、図示されたデバイスまたはプロセスの形態および詳細の様々な省略、置換、および変更が、革新を逸脱することなく当業者によって行われる場合があることは理解されるであろう。したがって、本開示は、本明細書において示された実施形態に限定されるように意図されておらず、本明細書において開示された原理および新規性のある特徴に合致する最も広い範囲を与えられるべきである。
【符号の説明】
【0096】
１００ 通常の強化学習フレームワーク
１０１ プラント
１０２ 強化学習コントローラ、強化学習システム、強化学習
１０３ 行動
１０４ 報酬
１０５ センサー読み取り値
２００ 状態空間
２０１ 既存のコントローラ
２０２ 状態軌道
２０４ 再生メモリ
２０５ エピソードメモリ
２０６ コントローラサンプル、ガイダンスサンプル
２０８ コントローラサンプル
２０９ ガイドコントローラ
２１０ 探索ボーナス
２１１ 強化学習コントローラ、強化学習システム、強化学習エージェント
２１３ エージェントのデータセット
２１６ 大きな累積報酬を有するロールアウト
３０４ 強化学習コントローラ
６０１ 状態
６０２ 予測器ニューラルネットワークのアンサンブル
６０３ 予測器、予測器ネットワーク
６０４ 予測器ネットワークを通る確率的順方向通過の結果
６０６ 出力、順方向通過
６０８ 重み
６０９ ドロップアウトマスク
７００ 手順
１０００ 単一のメモリＭＥ ← ＭＥ ∪ ＭＲ
１２００ 応用
１２０１ 酢酸ビニルモノマープラント
１３００ ＰＰＯ
１３０１～１３０２ ベースライン
１３０３～１３０６ 本発明によって支援されたＰＰＯ
１３０７ 既存のＰＩＤ
１４００～１４０２ ベースライン
１４０３～１４０６ 本発明
１４０７ 既存のＰＩＤ
１５００～１５０２ 標準的な強化学習手法
１５０３～１５０６ 本発明
１５０７ 既存のＰＩＤ
１０１ プラント
１０２ 強化学習コントローラ、強化学習システム、強化学習
１０３ 行動
１０４ 報酬
１０５ センサー読み取り値
２００ 状態空間
２０１ 既存のコントローラ
２０２ 状態軌道
２０４ 再生メモリ
２０５ エピソードメモリ
２０６ コントローラサンプル、ガイダンスサンプル
２０８ コントローラサンプル
２０９ ガイドコントローラ
２１０ 探索ボーナス
２１１ 強化学習コントローラ、強化学習システム、強化学習エージェント
２１３ エージェントのデータセット
２１６ 大きな累積報酬を有するロールアウト
３０４ 強化学習コントローラ
６０１ 状態
６０２ 予測器ニューラルネットワークのアンサンブル
６０３ 予測器、予測器ネットワーク
６０４ 予測器ネットワークを通る確率的順方向通過の結果
６０６ 出力、順方向通過
６０８ 重み
６０９ ドロップアウトマスク
７００ 手順
１０００ 単一のメモリＭＥ ← ＭＥ ∪ ＭＲ
１２００ 応用
１２０１ 酢酸ビニルモノマープラント
１３００ ＰＰＯ
１３０１～１３０２ ベースライン
１３０３～１３０６ 本発明によって支援されたＰＰＯ
１３０７ 既存のＰＩＤ
１４００～１４０２ ベースライン
１４０３～１４０６ 本発明
１４０７ 既存のＰＩＤ
１５００～１５０２ 標準的な強化学習手法
１５０３～１５０６ 本発明
１５０７ 既存のＰＩＤ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【外国語明細書】