特開 2024-5586 プラント制御システム、制御装置、制御方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024005586

(43)【公開日】2024-01-17

(54)【発明の名称】プラント制御システム、制御装置、制御方法、およびプログラム

(51)【国際特許分類】

   G05B 13/02 20060101AFI20240110BHJP

   G05B 13/04 20060101ALI20240110BHJP

   G06N 20/00 20190101ALI20240110BHJP

【ＦＩ】

G05B13/02 L

G05B13/04

G06N20/00

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022105830

(22)【出願日】2022-06-30

(71)【出願人】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(71)【出願人】

【識別番号】598076591

【氏名又は名称】東芝インフラシステムズ株式会社

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(72)【発明者】

【氏名】秦 洋

(72)【発明者】

【氏名】高野 俊也

(72)【発明者】

【氏名】横川 勝也

(72)【発明者】

【氏名】岡崎 吉倫

(72)【発明者】

【氏名】斗成 聡一

(72)【発明者】

【氏名】君島 和彦

【テーマコード（参考）】

5H004

【Ｆターム（参考）】

5H004GA18

5H004GB08

5H004KC35

5H004KC37

(57)【要約】

【課題】 学習時間を少なくしつつ制御精度を高めること。
【解決手段】 実施形態の制御装置は、制御対象が実動することにより生じる制御量の測定値と前記制御量の制御指令値とを入力し、前記制御対象に対する第１の操作量を出力する基本制御部と、前記制御量の測定値と前記制御量の制御指令値とを入力するとともに、前記第１の操作量を入力し、所定のモデルを用いて前記第１の操作量を教師データとする強化学習を行い、前記制御対象に対する第２の操作量を出力する第１の強化学習制御部と、を含む第１の制御部と、前記測定値と前記制御指令値とを入力し、前記強化学習が行われた前記所定のモデルを用いてさらに強化学習を行い、前記制御対象に対する第３の操作量を出力する第２の強化学習制御部を含む第２の制御部と、前記測定値と前記制御指令値との偏差に基づき、前記第１の制御部と前記第２の制御部のいずれか一方を選択して動作させる選択部とを具備する。
【選択図】 図２

【特許請求の範囲】

【請求項1】

制御対象が実動することにより生じる制御量の測定値と前記制御量の制御指令値とを入力し、前記制御対象に対する第１の操作量を出力する基本制御部と、
前記制御量の測定値と前記制御量の制御指令値とを入力するとともに、前記第１の操作量を入力し、所定のモデルを用いて前記第１の操作量を教師データとする強化学習を行い、前記制御対象に対する第２の操作量を出力する第１の強化学習制御部と、
を含む第１の制御部と、
前記測定値と前記制御指令値とを入力し、前記強化学習が行われた前記所定のモデルを用いてさらに強化学習を行い、前記制御対象に対する第３の操作量を出力する第２の強化学習制御部を含む第２の制御部と、
前記測定値と前記制御指令値との偏差に基づき、前記第１の制御部と前記第２の制御部のいずれか一方を選択して動作させる選択部と
を具備する、制御装置。

【請求項2】

前記選択部は、
前記偏差を一定時間平均した平均偏差が、所定の偏差閾値を超える場合、前記第１の制御部を動作させ、
前記平均偏差が、前記偏差閾値を超えない場合、前記第２の制御部を動作させる、
請求項１に記載の制御装置。

【請求項3】

前記第１の強化学習制御部は、
前記所定のモデルを用いて前記第１の操作量を学習し、その学習した結果を経験データとして後で使用するために記憶部に蓄積する、
請求項１に記載の制御装置。

【請求項4】

前記第１の強化学習制御部は、
前記第２の操作量と前記第１の操作量との偏差が小さいほど報酬を上げる報酬加算処理を行うとともに、前記報酬を用いた強化学習を行い、前記第２の操作量を出力する、
請求項３に記載の制御装置。

【請求項5】

前記第２の強化学習制御部は、
前記報酬から前記第１の操作量の影響を徐々に下げる報酬減算処理を行うとともに、前記報酬を用いた強化学習を行い、前記第３の操作量を出力する、
請求項４に記載の制御装置。

【請求項6】

第１の制御部が、
基本制御部により、制御対象が実動することにより生じる制御量の測定値と前記制御量の制御指令値とを入力し、前記制御対象に対する第１の操作量を出力することと、
第１の強化学習制御部により、前記制御量の測定値と前記制御量の制御指令値とを入力するとともに、前記第１の操作量を入力し、所定のモデルを用いて前記第１の操作量を教師データとする強化学習を行い、前記制御対象に対する第２の操作量を出力することと、
第２の制御部が、
第２の強化学習制御部により、前記測定値と前記制御指令値とを入力し、前記強化学習が行われた前記所定のモデルを用いてさらに強化学習を行い、前記制御対象に対する第３の操作量を出力することと、
選択部が、前記測定値と前記制御指令値との偏差に基づき、前記第１の制御部と前記第２の制御部のいずれか一方を選択して動作させることと
を含む、制御方法。

【請求項7】

コンピュータに、
制御対象が実動することにより生じる制御量の測定値と前記制御量の制御指令値とを入力し、前記制御対象に対する第１の操作量を出力する基本制御機能と、
前記制御量の測定値と前記制御量の制御指令値とを入力するとともに、前記第１の操作量を入力し、所定のモデルを用いて前記第１の操作量を教師データとする強化学習を行い、前記制御対象に対する第２の操作量を出力する第１の強化学習制御機能と、
を含む協調制御機能と、
前記測定値と前記制御指令値とを入力し、前記強化学習が行われた前記所定のモデルを用いてさらに強化学習を行い、前記制御対象に対する第３の操作量を出力する第２の強化学習制御機能を含む単体制御機能と、
前記測定値と前記制御指令値との偏差に基づき、前記協調制御機能と前記単体制御機能のいずれか一方を選択して動作させる選択機能と
を実現させるためのプログラム。

【請求項8】

プラントにおける制御対象が実動することにより生じる制御量を測定する検出器と、
前記制御量に影響を与える機器と、
制御装置と
を具備し、
前記制御装置は、
前記検出器により測定される前記制御量の測定値と前記制御量の制御指令値とを入力し、前記機器に対する第１の操作量を出力する基本制御部と、
前記制御量の測定値と前記制御量の制御指令値とを入力するとともに、前記第１の操作量を入力し、所定のモデルを用いて前記第１の操作量を教師データとする強化学習を行い、前記機器に対する第２の操作量を出力する第１の強化学習制御部と、
を含む第１の制御部と、
前記測定値と前記制御指令値とを入力し、前記強化学習が行われた前記所定のモデルを用いてさらに強化学習を行い、前記機器に対する第３の操作量を出力する第２の強化学習制御部を含む第２の制御部と、
前記測定値と前記制御指令値との偏差に基づき、前記第１の制御部と前記第２の制御部のいずれか一方を選択して動作させる選択部と
を備える、プラント制御システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、プラント制御システム、制御装置、制御方法、およびプログラムに関する。

【背景技術】

【0002】

プラントでは、プロセスで生じる複雑な事象の変化に対応した適切な制御が求められる。例えば古典的な制御技術としてＰＩ（Proportional Integral）制御やＰＩＤ（Proportional Integral Derivative）制御といった技術があるが、これらの制御技術は環境によっては外乱を抑制するため操作量補償などの工夫を要する。一方、高い制御精度を実現する技術として、自動制御の最適化運用を支援する機械学習の一種である強化学習（reinforcement learning）が注目されているが、計算量の多さや学習時間の長さがプラント制御への適用を阻んでいる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－１８７４８９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明が解決しようとする課題は、学習時間を少なくしつつ制御精度を高めることができる、プラント制御システム、制御装置、制御方法、およびプログラムを提供することにある。

【課題を解決するための手段】

【0005】

実施形態の制御装置は、制御対象が実動することにより生じる制御量の測定値と前記制御量の制御指令値とを入力し、前記制御対象に対する第１の操作量を出力する基本制御部と、前記制御量の測定値と前記制御量の制御指令値とを入力するとともに、前記第１の操作量を入力し、所定のモデルを用いて前記第１の操作量を教師データとする強化学習を行い、前記制御対象に対する第２の操作量を出力する第１の強化学習制御部と、を含む第１の制御部と、前記測定値と前記制御指令値とを入力し、前記強化学習が行われた前記所定のモデルを用いてさらに強化学習を行い、前記制御対象に対する第３の操作量を出力する第２の強化学習制御部を含む第２の制御部と、前記測定値と前記制御指令値との偏差に基づき、前記第１の制御部と前記第２の制御部のいずれか一方を選択して動作させる選択部とを具備する。

【図面の簡単な説明】

【0006】

【図1】図１は、実施形態に係るプラント制御システムを含む構成の一例を示す図である。

【図2】図２は、制御装置１０の詳細な機能構成の一例を示す図である。

【図3】図３は、選択部１０１の機能構成の一例を示す図である。

【図4】図４は、強化学習とＰＩ制御の協調制御部６０の機能構成の一例を示す図である。

【図5】図５は、補償報酬演算部８０の機能構成の一例を示す図である。

【図6】図６は、強化学習単体制御部７０の機能構成の一例を示す図である。

【図7】図７は、補償報酬削除演算部９０の機能構成の一例を示す図である。

【図8】図８は、実施形態による動作の一例を示すフローチャートである。

【発明を実施するための形態】

【0007】

以下、図面を参照して、実施の形態について説明する。

【0008】

（システム構成）
図１は、実施形態に係るプラント制御システムを含む構成の一例を示す図である。

【0009】

ここでは、本実施形態に係るプラント制御システムを、下水道処理設備に適用した例を示す。但し、本実施形態の水処理システムは、下水道処理設備に限らず、別の種類のプラント設備に適用することが可能である。また、本実施形態では、制御の対象を下水道処理設備の曝気システムとし、曝気槽中の溶存酸素濃度（Dissolved Oxygen：DO）を制御する例を示すが、この例に限らず、制御の対象や制御する物理量はそれぞれ別のものとすることが可能である。

【0010】

図１に示されるプラント制御システム１は、制御装置１０と、下水道処理設備２０の少なくとも一部（例えば、風量制御弁２４およびＤＯ検出器２５）と、入出力インタフェース部３０とを含む。図１では、入出力インタフェース部３０が制御装置１０に設けられる例が示されているが、この例に限らず、入出力インタフェース部３０は制御装置１０の外部に設けられてもよい。

【0011】

制御装置１０は、下水道処理設備２０側の曝気槽２１内の溶存酸素濃度を制御するものであり、ＰＩ制御部４０および強化学習制御部５０を含む。

【0012】

ＰＩ制御部４０は、比例積分（ＰＩ）制御器に相当するものである。強化学習制御部５０は、強化学習を行う機能を有するものである。ＰＩ制御部４０および強化学習制御部５０の詳細については後で述べる。

【0013】

下水道処理設備２０は、曝気システム２０Ａを備え、曝気システム２０Ａは、曝気槽２１、送風機２２、散気管２３、風量制御弁２４、およびＤＯ検出器２５を含む。

【0014】

曝気槽２１には、送風機２２から供給されるエアーが散気管２３を通じて送り込まれるように構成されている。曝気槽２１に送り込まれるエアーの風量は風量制御弁２４により制御される。また、曝気槽２１内の溶存酸素濃度は、ＤＯ検出器２５により測定されるように構成されている。すなわち、ＤＯ検出器２５は、曝気システム２０Ａが実動することにより生じる曝気槽２１中の溶存酸素濃度を測定する。ＤＯ検出器２５によって測定された曝気槽２１中の溶存酸素濃度の測定値は、入出力インタフェース部３０を介して制御装置１０側へ伝えられる。

【0015】

入出力インタフェース部３０は、制御装置１０と下水道処理設備２０とを接続するインタフェース機能であり、下水道処理設備２０側から得られる溶存酸素濃度の測定値を入力して制御装置１０側へ出力したり、制御装置１０側から得られる風量の操作量を入力して下水道処理設備２０側へ出力したりする。

【0016】

下水道処理設備２０側では、曝気槽２１中の溶存酸素濃度が、曝気槽２１での微生物反応によって変動し、曝気槽２１に送り込まれるエアーの風量によっても変動する。本実施形態では、曝気槽２１中の溶存酸素濃度を一定に保つため、散気管２３を通るエアーの風量が操作される。風量の操作は風量制御弁２４の開閉によって実現される。すなわち、風量制御弁２４は曝気槽２１中の溶存酸素濃度に影響を与える機器である。風量制御弁２４の開度は、入出力インタフェース部３０から送られてくる操作量に応じて変化する。

【0017】

（制御量、制御指令値、操作量、測定値）
本実施形態では、制御対象が実動することにより生じる物理量を制御量と呼ぶ。制御量は、図１の例では、制御対象である曝気システム２０Ａの曝気槽２１中の溶存酸素濃度に該当する。

【0018】

また、本実施形態では、制御量の目標値を制御指令値と呼ぶ。制御指令値は、図１の例では、曝気槽２１中の溶存酸素濃度の制御指令値DO_refに該当する。

【0019】

また、本実施形態では、制御量に影響を与える機器を操作する量を操作量と呼ぶ。操作量は、図１の例では、曝気槽２１に送り込まれるエアーの風量を制御する風量制御弁２４の操作量blow（但し、後述する制御装置１０内では操作量blow_RLまたは操作量blow_PI）に該当する。

【0020】

また、本実施形態では、制御量の検出値を測定値と呼ぶ。測定値は、図１の例では、ＤＯ検出器２５により検出される曝気槽２１中の溶存酸素濃度の測定値DO_mに該当する。

【0021】

（制御装置１０の詳細な機能構成）
図２に、制御装置１０の詳細な機能構成の一例を示す。

【0022】

制御装置１０は、上記した入出力インタフェース部３０を有するほか、強化学習とＰＩ制御の協調制御部６０（第１の制御部）、強化学習単体制御部７０（第２の制御部）、および選択部１０１を有する。

【0023】

強化学習とＰＩ制御の協調制御部６０、強化学習単体制御部７０、および選択部１０１のそれぞれの機能は、コンピュータに備えられる中央演算装置等のプロセッサが実行するプログラムとして実現される。

【0024】

強化学習とＰＩ制御の協調制御部６０（以降、「協調制御部６０」と略称する場合がある）は、ＰＩ制御部（基本制御部）４０および強化学習制御部（第１の強化学習制御部）５０Ａを含む。

【0025】

ＰＩ制御部４０は、ＤＯ検出器２５により測定された溶存酸素濃度の測定値DO_mと溶存酸素濃度の制御指令値DO_refとを入力し、風量制御弁２４に対する操作量（第１の操作量）blow_PIを演算して出力する機能である。ＰＩ制御部４０で演算された操作量blow_PIは、強化学習に使用する教師データとして強化学習制御部５０Ａに供給される。

【0026】

強化学習制御部５０Ａは、前述した図１中の強化学習制御部５０が有する機能の一部であり、溶存酸素濃度の測定値DO_mと溶存酸素濃度の制御指令値DO_refとを入力するとともに、操作量blow_PIを入力し、所定のモデル（強化学習モデル）を用いて操作量blow_PIを教師データとする強化学習を行い、風量制御弁２４に対する操作量（第２の操作量）blow_RLを出力する機能である。この強化学習では、操作量blow_PIを教師データとして使用することでＰＩ制御の動作を模倣する模倣学習が行われる。これにより、強化学習単体で操作量blow_RLを探索する場合よりも速く、制御指令値DO_refとの偏差を一定以内とする操作量blow_RLが得られる。

【0027】

強化学習単体制御部７０（以降、「単体制御部７０」と略称する場合がある）は、強化学習制御部（第２の強化学習制御部）５０Ｂを含む。

【0028】

強化学習制御部５０Ｂは、前述した図１中の強化学習制御部５０が有する機能の一部であり、ＤＯ検出器２５により測定された溶存酸素濃度の測定値DO_mと溶存酸素濃度の制御指令値DO_refとを入力し、強化学習が行われた上記所定のモデルを用いてさらに強化学習を行い、風量制御弁２４に対する操作量（第３の操作量）blow_RLを出力する機能である。この強化学習では、協調制御部６０で強化学習が行われた上記所定のモデルを用いてさらに強化学習を行うに際し、強化学習本来のランダム探索により当該所定のモデルを更新する強化学習が行われる。これにより、強化学習本来の特徴を活かした制御精度の良い操作量blow_RLが得られる。

【0029】

選択部１０１は、ＤＯ検出器２５により測定された溶存酸素濃度の測定値DO_mと溶存酸素濃度の制御指令値DO_refとの偏差に基づき、協調制御部６０と単体制御部７０のいずれか一方を選択して動作させる機能である。

【0030】

具体的には、選択部１０１は、溶存酸素濃度の制御指令値DO_refと、強化学習中に曝気システム２０Ａが実動することにより生じる溶存酸素濃度の測定値DO_mとに基づき、協調制御部６０と単体制御部７０のいずれか一方を選択する強化学習制御方式選択信号SELを出力する。協調制御部６０と単体制御部７０とは、それぞれ、強化学習制御方式選択信号SELに応じて起動される。

【0031】

なお、選択部１０１は、代わりにハードウェアによるスイッチとして実現してもよい。その場合、ユーザが手動でスイッチを操作することにより協調制御部６０と単体制御部７０のいずれを動作させるかを選択できるように構成してもよい。

【0032】

（選択部１０１の機能構成）
図３に、選択部１０１の機能構成の一例を示す。

【0033】

選択部１０１は、偏差平均値演算部３１および制御選択部３２を含む。選択部１０１は制御指令値DO_refと、強化学習中に曝気システム２０Ａが実動することによって生じる測定値DO_mとの偏差DO_errを算出し、偏差平均値演算部３１および制御選択部３２を通じて、上述した強化学習制御方式選択信号SELを生成する。

【0034】

偏差平均値演算部３１に入力される偏差DO_errは、強化学習中は１制御ステップ単位で（単位時間毎に）演算される。しかし、強化学習において未知探索時はランダム性が高い。そこで、偏差平均値演算部３１は、強化学習の制御効果をより正確に反映するため、一定時間内の偏差DO_errを平均して、平均偏差DO_err_avgを算出する。

【0035】

制御選択部３２は、偏差平均値演算部３１により算出された平均偏差DO_err_avgに応じて、強化学習制御方式選択信号SELを変える。より具体的には、平均偏差DO_err_avgが、事前設定した偏差閾値thold_modeを超える場合、強化学習の制御精度が不十分と判定し、ＰＩ制御の動作を模倣する模倣学習を行う協調制御部６０を選択する強化学習制御方式選択信号SELを生成する。一方、平均偏差DO_err_avgが、偏差閾値thold_modeを超えない場合（すなわち、偏差閾値thold_mode以下である場合）は、協調制御部６０により強化学習の制御精度が一定以上に達したと判定し、強化学習単体制御部７０を選択する強化学習制御方式選択信号SELを生成する。

【0036】

すなわち、選択部１０１は、偏差DO_errを一定時間平均した平均偏差DO_err_avgが、所定の偏差閾値thold_modeを超える場合、協調制御部６０を動作させる。一方、選択部１０１は、平均偏差DO_err_avgが、偏差閾値thold_modeを超えない場合（すなわち、偏差閾値thold_mode以下である場合）、単体制御部７０を動作させる。

【0037】

（強化学習とＰＩ制御の協調制御部６０の機能構成）
図４に、強化学習とＰＩ制御の協調制御部６０の機能構成の一例を示す。

【0038】

協調制御部６０は、制御においてＰＩ制御部４０および強化学習制御部５０Ａを用いる。

【0039】

ＰＩ制御部４０は、ＰＩ制御起動部４０１およびＰＩ制御演算部４０２を含む。強化学習制御部５０Ａは、補償報酬演算部８０、強化学習部５０１、記憶部５０２、および操作量選択部５０３を含む。

【0040】

ＰＩ制御部４０のＰＩ制御起動部４０１には、選択部１０１から出力される強化学習制御方式選択信号SELが入力されるようになっている。ＰＩ制御演算部４０２には、制御指令値DO_refと、ＤＯ検出器２５により測定された測定値DO_mとが入力されるようになっている。

【0041】

強化学習制御部５０Ａにも、選択部１０１から出力される強化学習制御方式選択信号SELが入力されるようになっている。

【0042】

また、強化学習制御部５０Ａには、操作量blow_RL（当該強化学習制御部５０Ａから出力される操作量blow_RLの帰還信号）と、制御指令値DO_refと、ＤＯ検出器２５により測定された測定値DO_mとが入力されるようになっている。

【0043】

選択部１０１が協調制御部６０を選択する強化学習制御方式選択信号SELを出力した場合、ＰＩ制御部４０および強化学習制御部５０Ａの両方が起動される。

【0044】

先に、ＰＩ制御部４０について説明する。

【0045】

協調制御部６０を選択する強化学習制御方式選択信号SELがＰＩ制御部４０に送られると、ＰＩ制御部４０のＰＩ制御起動部４０１が起動し、ＰＩ制御演算部４０２を動作させる。ＰＩ制御演算部４０２は、溶存酸素濃度の制御指令値DO_refと測定値DO_mとに基づき、操作量blow_PIを演算するＰＩ制御を行う。この演算により算出された操作量blow_PIは、強化学習制御部５０Ａに入力される。

【0046】

次に、強化学習制御部５０Ａについて説明する。

【0047】

協調制御部６０を選択する強化学習制御方式選択信号SELが強化学習制御部５０Ａに送られると、強化学習制御部５０Ａは、ＰＩ制御部４０が出力する操作量blow_PIを用いた強化学習を開始する。

【0048】

例えば、強化学習制御部５０Ａは、強化学習部５０１により上記所定のモデルを用いて操作量blow_PIを学習し、その学習した結果を経験データとして後で使用するために記憶部５０２に設けられたリプレイバッファに蓄積する処理を行う。

【0049】

記憶部５０２は、例えばＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリ素子、ハードディスク等により実現される。この記憶部５０２に設けられるリプレイバッファは、例えば深層強化学習において学習を安定化させるために用いられる。

【0050】

また、強化学習制御部５０Ａは、操作量選択部５０３により、ＰＩ制御部４０が出力する操作量blow_PIと、強化学習部５０１が出力する操作量pred_blow_RLとのうちのいずれか一方を所定の基準に基づき選択し、選択した方を強化学習部５０１経由で記憶部５０２のリプレイバッファに供給する。

【0051】

また、強化学習制御部５０Ａは、操作量選択部５０３により、記憶部５０２のリプレイバッファに蓄積される操作量blow_PIのデータ数が所定の設定値以上になったか否かを判定する処理を行う。

【0052】

また、強化学習制御部５０Ａは、記憶部５０２のリプレイバッファに蓄積される操作量blow_PIのデータ数が所定の設定値以上になった場合、補償報酬演算部８０により操作量blow_RLと操作量blow_PIとの偏差が小さいほど報酬を上げる報酬加算処理を行うとともに、その報酬を用いる強化学習を強化学習部５０１により行って操作量pred_blow_RLを出力し、操作量選択部５０３経由で操作量blow_RLをインタフェース部３０側へ出力する処理を行う。

【0053】

強化学習部５０１は、制御指令値DO_refおよび測定値DO_mに示される溶存酸素濃度等の状態を観測し、報酬rの合計が最大になるような操作量を学習する。

【0054】

（強化学習部５０１での強化学習）
強化学習部５０１の処理を説明するため、一例として直接方策探索法（direct policy Search: DPS）の一種である方策勾配法（policy gradient method）を用いる。ただし、本実施形態に係る強化学習は、方策勾配法に限定されるものではなく、その他の探索アルゴリズムを用いても良い。

【0055】

方策勾配法は、強化学習エージェントの行動確率をニューラルネットワークで表現するための学習手法である。方策（policy）を探索するために、状態（state）、行動（action）、報酬（reward）の３要素が使用される。離散時間ステップｔのときの状態をｓ_ｔ、行動をａ_ｔ、確率的方策関数（stochastic policy function）をπ（ａ_ｔ｜ｓ_ｔ）とする。強化学習部５０１は、状態ｓ_ｔを観測して行動ａ_ｔを実行し、遷移の結果、即時報酬ｒ_ｔを受け取る。行動選択において確率的方策を特徴付ける確率的方策関数π（ａ_ｔ｜ｓ_ｔ）は、状態ｓ_ｔにおいて行動ａ_ｔを選択する確率を表す。すなわち、強化学習部５０１は、状態ｓ_ｔに応じた方策の確率πに従った行動ａ_ｔを実行する。これにより、状態ｓ_ｔから状態ｓ_ｔ＋１に確率的方策関数π（ａ_ｔ｜ｓ_ｔ）に従い遷移する。

【0056】

報酬ｒ_ｔは遷移先の状態ｓ_ｔ＋１に含まれるステップt+1の制御指令値DO_refと測定値DO_mとの偏差DO_errの絶対値に基づき、報酬演算部８０により演算される。強化学習部５０１は、方策的確率π（ａ_ｔ｜ｓ_ｔ）についての情報は事前に与えられておらず、強化学習の目的は価値の最大化を達成するように方策的確率πの学習を行う。すなわち、強化学習部５０１は、下記の式（１）に示すように、割引報酬合計による評価値Ｖ^π（ｓ）を最大化する確率的方策関数πを学習する。

【0057】

【数1】

【0058】

ここで、γは割引率（但し、０≦γ≦１）であり、未来の報酬の重要度を示す。またＥ[ ]は期待値演算を表す。

【0059】

ここでは、強化信号としてTD_errが計算される。TD_errは状態遷移による評価値Ｖ^π（ｓ）の変化を示す。強化学習部５０１の学習においては、TD_errを行動評価として確率的方策関数π（ａ_ｔ｜ｓ_ｔ）を改善する。すなわち、強化学習部５０１は、TD_errが正の時、良い状態に遷移したと考えられるので、状態ｓ_ｔにおける行動ａ_ｔの選択確率を増やす。逆に、強化学習部５０１は、TD_errが負の時、状態ｓ_ｔにおける行動ａ_ｔの選択確率を減らす。

【0060】

行動選択率を特徴付ける確率的方策関数π（ａ_ｔ｜ｓ_ｔ）は、方策パラメータベクトルθを用いて表される。すなわち、確率的方策関数π（ａ_ｔ｜ｓ_ｔ）は、方策パラメータベクトルθを含んで表現される。

【0061】

強化学習部５０１は、方策パラメータベクトルθを調節することで行動選択確率を変化させる。例えば強化学習部５０１は、下記の式（２）に示すように、目的関数を最大化するため方策パラメータθを更新する。ηは学習係数であり、η＞０である。

【0062】

【数2】

【0063】

これにより、強化学習部５０１は、ステップπの状態ｓに対して、学習で改善した確率的方策関数πに基づいて、ステップt+1に適した操作量pred_blow_RLを決定する。

【0064】

記憶部５０２は、強化学習部５０１が強化学習で獲得したデータ｛ｓ_ｔ，ａ_ｔ，ｒ_ｔ，ｓ_ｔ＋１｝を行動遷移としてリプレイバッファに蓄積する。そして、強化学習部５０１は、学習する際にリプレイバッファに蓄積したデータを繰り返しランダムサンプリングして利用する。

【0065】

操作量選択部５０３は、上記したようにＰＩ制御部４０が出力した操作量blow_PIと、強化学習部５０１が出力した操作量pred_blow_RLと、のうちのいずれか一方を所定の基準に基づき選択し、選択した方を強化学習部５０１経由で記憶部５０２のリプレイバッファに供給する。学習開始時、リプレイバッファの中身は空である。一方、強化学習初期は、行動遷移が殆どランダムになる。このとき、強化学習部５０１が初期に獲得したデータ｛ｓ_ｔ，ａ_ｔ，ｒ_ｔ，ｓ_ｔ＋１｝の制御性能は低い。その制御性能が低いデータをリプレイバッファに蓄積して最適な方策ネットワークを学習するのには時間がかかる。そのため、本実施形態では、強化学習を開始する時、操作量選択部５０３により、強化学習部５０１での行動をＰＩ制御の行動に置き換える。そのＰＩ制御の行動から取得した結果をリプレイバッファに蓄積し、方策ネットワークでの学習の効率を高める。

【0066】

（補償報酬演算部８０の機能構成）
図５に、補償報酬演算部８０の機能構成の一例を示す。

【0067】

補償報酬演算部８０は、報酬演算部８０１および報酬加算部８０２を含む。

【0068】

補償報酬演算部８０１は、強化学習中の操作量blow_RLを用いて、制御指令値DO_refと強化学習中の操作量blow_RLとの偏差を最小化するような報酬r_orgを演算して出力する。

【0069】

報酬加算部８０２は、強化学習中の操作量blow_RLとＰＩ制御の操作量blow_PIとの偏差blow_diffを補償報酬r_addとし、この補償報酬r_addを、報酬演算部８０１が出力する報酬r_orgに加算する。報酬rは、下記の式（３）により計算される。

【0070】

ｒ ＝ －（r_org ＋ r_add） …（３）
例えば、強化学習による操作量blow_RLとＰＩ制御による操作量blow_PIの偏差blow_diffとは、補償報酬r_addと正の相関関係がある。ここで、もし強化学習による操作量blow_RLがＰＩ制御による操作量blow_PIから離れると、補償報酬ｒ_addが増加し、報酬rが減少する。一方、強化学習による操作量blow_RLがＰＩ制御による操作量blow_PIに近づくと、補償報酬ｒ_addが減少し、報酬rが増加する。

【0071】

強化学習部５０１は、報酬rの合計が最大になるような行動aを学習するため、ＰＩ制御による操作量blow_PIと近い行動aを選択して方策ネットワークを更新する。一般の強化学習では、報酬を最大化するための行動を学習するが、膨大な状態と行動の組み合わせから最適な行動を学習するのには時間がかかる。これに対し、本実施形態では、強化学習部５０１はＰＩ制御の方策を模倣するため、ランダムな行動ベースの方策よりも学習時間が少なく効率的に方策ネットワークを学習することができる。

【0072】

（強化学習単体制御部７０の機能構成）
図６に、強化学習単体制御部７０の機能構成の一例を示す。

【0073】

単体制御部７０は、制御においてＰＩ制御部４０および強化学習制御部５０Ｂを用いる。

【0074】

ＰＩ制御部４０は、ＰＩ制御停止部４０３を含む。強化学習制御部５０Ｂは、補償報酬削除演算部９０、強化学習部５０１、および記憶部５０２を含む。これらのうち、強化学習制御部５０１および記憶部５０２は、図４で説明した強化学習制御部５０Ａが使用した強化学習制御部５０１および記憶部５０２と同じものである。但し、強化学習制御部５０Ｂにおいては、記憶部５０２のリプレイバッファは、強化学習制御部５０Ａで行われた処理においてサンプリングデータが蓄積された状態にある。そのため、操作量選択部５０３を利用する必要がない。

【0075】

ＰＩ制御部４０のＰＩ制御停止部４０３には、選択部１０１から出力される強化学習制御方式選択信号SELが入力されるようになっている。

【0076】

強化学習制御部５０Ｂにも、選択部１０１から出力される強化学習制御方式選択信号SELが入力されるようになっている。

【0077】

また、強化学習制御部５０Ａの補償報酬削除演算部９０には、操作量blow_RL（当該強化学習制御部５０Ｂから出力される操作量blow_RLの帰還信号）と、制御指令値DO_refと、ＤＯ検出器２５により測定された測定値DO_mとが入力されるようになっている。

【0078】

選択部１０１が単体制御部７０を選択する強化学習制御方式選択信号SELを出力した場合、ＰＩ制御部４０でのＰＩ制御の動作がＰＩ制御停止部４０３によって停止され、強化学習制御部５０Ｂが起動される。

【0079】

強化学習制御部５０Ｂは、前述した報酬ｒからＰＩ制御の操作量blow_PIの影響を徐々に下げる報酬減算処理を行うとともに、当該報酬ｒを用いる強化学習を行い、操作量blow_RLを出力する処理を行う。そのために、強化学習制御部５０Ｂは、例えば強化学習で探索される操作量blow_RL、制御指令値DO_ref、測定値DO_m、および後述する遷移ステップ数に基づき、報酬rを演算する。

【0080】

（補償報酬削除演算部９０の機能構成）
図７に、補償報酬削除演算部９０の機能構成の一例を示す。

【0081】

補償報酬削除演算部９０は、報酬演算部８０１および報酬減算部９０１を含む。

【0082】

報酬演算部８０１は、図５で説明した報酬演算部８０１と同じものである。

【0083】

報酬減算部９０１は、ＰＩ制御よりも優れる操作量を探索するために、ＰＩ制御の操作量blow_RLを用いて探索された操作量を、遷移ステップに応じて徐々に減らすための処理を行う。加算された補償報酬r_addの分をそのまま一度で減算して０にすると、強化学習部５０１の探索が不安定になることがある。そのため、本実施形態では、複数回に分けて１制御ステップ単位で（単位時間毎に）、加算された補償報酬を減らす。すなわち、ＰＩ制御および強化学習による制御（協調制御）から強化学習単体による制御（単体制御）への移行を徐々に行う。

【0084】

具体的には、１制御ステップ前の補償報酬をr_addとして保存し、そして、強化学習単体制御に遷移する場合には、下記の式（４）に示すように各制御ステップで減算する報酬の量（減算報酬）r_decを計算する。

【0085】

r_dec ＝ （trans_step_count／trans_steps）・r_add …（４）
ここで、trans_stepsは、遷移ステップ数の設定値である。trans_step_countは、遷移開始してからの累積制御ステップ数であり、初期値を０とする。

【0086】

報酬rは、下記の式（５）に示すように計算する。

【0087】

ｒ ＝ －（r_org ＋ r_add － r_dec） …（５）
ここで、r_orgは、報酬演算部８０１が演算した報酬であり、r_addは、遷移を開始する１制御ステップ前に加算した補償報酬である。遷移開始してから、r_decは制御回数に応じて増え、遷移終了までにはr_addと同じになる。そのため、制御の移行が終了したとき、協調制御で加算された補償報酬r_addの分は、報酬減算部９０１により取り除かれる。その後は、報酬演算部８０１でランダム探索による強化学習を行う。

【0088】

（フローチャートの例）
次に、図８のフローチャートを参照して、本実施形態による動作の一例を説明する。

【0089】

ここでは、主として協調制御から単体制御に移行する流れを例に説明するが、例えば、新規な環境へ適用する場合や、外乱が発生する場合、また制御指令値DO_refが変化する場合などにおいては、単体制御で学習した強化学習モデルの制御精度に応じて、選択部１０１での選択動作により単体制御から協調制御に戻って再学習を行うことも可能である。

【0090】

最初に、選択部１０１は、協調制御部６０を選択する強化学習制御方式選択信号SELを出力するものとする。これにより、協調制御部６０による協調制御が開始される（ステップＳ１）。

【0091】

但し、協調制御部６０での学習開始時は、記憶部５０２のリプレイバッファの中身は空である。そこで、本実施形態では、操作量選択部５０３により、強化学習部５０１での行動をＰＩ制御の行動に置き換えるため、ＰＩ制御の行動から取得した結果がリプレイバッファに蓄積される。

【0092】

ＰＩ制御部４０は、ＤＯ検出器２５により測定された測定値DO_mと制御指令値DO_refとに基づき、ＰＩ制御の操作量blow_PIを演算する（ステップＳ２）。操作量blow_PIは強化学習制御部５０Ａへ送られる。

【0093】

強化学習制御部５０Ａは、強化学習部５０１により、ＰＩ制御で演算された操作量blow_PIを学習し、学習後の操作量blow_PIを経験データとして記憶部５０２のリプレイバッファに蓄積する（ステップＳ３）。

【0094】

リプレイバッファ内の蓄積データ数が設定値以上になるまでは、上記ステップＳ２、Ｓ３の処理が繰り返される（ステップＳ２～Ｓ４）。

【0095】

リプレイバッファ内の蓄積データ数蓄積データ数が設定値以上になると、強化学習制御部５０Ａは、補償報酬演算部８０により、操作量blow_RLと操作量blow_PIとの偏差が小さいほど報酬rを上げる報酬加算処理を行い（ステップＳ５）、強化学習部５０１により、その報酬rを用いる強化学習を行う（ステップＳ６）。すなわち、所定のモデルを用いて操作量blow_PIを教師データとする強化学習が行われる。この強化学習では、操作量blow_PIを教師データとして使用することでＰＩ制御の動作を模倣する模倣学習が行われる。これにより、強化学習単体で操作量blow_RLを探索する場合よりも速く、制御指令値DO_refとの偏差を一定以内とする操作量blow_RLが得られる。

【0096】

操作量blow_RLと操作量blow_PIとの偏差DO_errを一定時間平均した平均偏差DO_err_avgが、偏差閾値thold_mode（第１の設定値）以下になるまでは、上記ステップＳ５、Ｓ６の処理が繰り返される（ステップＳ５～Ｓ７）。

【0097】

より具体的には、選択部１０１は、DO_err_avgが事前設定した偏差閾値thold_modeを超える場合、強化学習の制御精度が不十分と判定し、ＰＩ制御の動作を模倣する模倣学習を行う協調制御部６０を選択する強化学習制御方式選択信号SELを生成する。一方、DO_err_avgが偏差閾値thold_modeを超えない場合（すなわち、偏差閾値thold_mode以下である場合）は、協調制御部６０により強化学習の制御精度が一定以上に達したと判定し、強化学習単体制御部７０を選択する強化学習制御方式選択信号SELを生成する。

【0098】

平均偏差DO_err_avgが、偏差閾値thold_mode（第１の設定値）以下になると、選択部１０１は、単体制御部７０を選択する強化学習制御方式選択信号SELを出力する。これにより、協調制御部６０による協調制御から、単体制御部７０による単体制御への移行が開始される（ステップＳ８）。すなわち、ＰＩ制御よりも優れる操作量を探索するために、ＰＩ制御の操作量blow_PIを用いて探索された操作量を、遷移ステップに応じて徐々に減らすための処理が行われる。単体制御では、強化学習本来のランダム探索により上記所定のモデルを更新する強化学習が行われる。これにより、強化学習本来の特徴を活かした制御精度の良い操作量blow_RLが得られる。

【0099】

強化学習制御部５０Ｂは、補償報酬削除演算部９０により、前述した報酬ｒからＰＩ制御の操作量blow_PIの影響を徐々に下げる報酬減算処理を行い（ステップＳ９）、強化学習部５０１により、当該報酬ｒを用いる強化学習を行う（ステップＳ１０）。

【0100】

平均偏差DO_err_avgが、第２の設定値（上記第１の設定値より低い値）以下になるまでは、処理を終了せず、ステップＳ１２へ進み、場合によってはステップＳ１３へも進み、上記ステップＳ９、Ｓ１０の処理が繰り返される（ステップＳ１２、Ｓ１３、Ｓ９～Ｓ１１）。

【0101】

例えば、制御の環境や条件に一定以上変化があるか否かが判定され（ステップＳ１２）、制御の環境や条件に一定以上変化が無ければ、ステップＳ９、Ｓ１０の処理が繰り返され、制御の環境や条件に一定以上変化があれば、選択部１０１により協調制御への移行を行うか否かが判定される（ステップＳ１３）。協調制御へ移行しない場合は、ステップＳ９、Ｓ１０の処理が繰り返され、協調制御へ移行する場合は、ステップＳ１からの処理が繰り返される。

【0102】

ステップＳ１１において、平均偏差DO_err_avgが第２の設定値以下になると、一連の処理が終了する。

【0103】

以上詳述したように、実施形態によれば、ＰＩ制御のような一般的な制御の動作を模倣する強化学習を行う協調制御と、ＰＩ制御のような一般的な制御よりも優れる操作量を探索する単体制御とを、選択的に使用することにより、学習時間を少なくしつつ制御精度を高めることができる。

【0104】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0105】

１…プラント制御システム、１０…制御装置、２０…下水道処理設備、２０Ａ…曝気システム、２１…曝気槽、２２…送風機、２３…散気管、２４…風量制御弁、２５…ＤＯ検出器、３０…入出力インタフェース部、３１…偏差平均値演算部、３２…制御選択部、４０…ＰＩ制御部（基本制御部）、５０…強化学習制御部、５０Ａ…強化学習制御部（第１の強化学習制御部）、５０Ｂ…強化学習制御部（第２の強化学習制御部）、６０…強化学習とＰＩ制御の協調制御部、７０…強化学習単体制御部、８０…補償報酬演算部、９０…補償報酬削除演算部、１０１…選択部、４０１…ＰＩ制御起動部、４０２…ＰＩ制御演算部、４０３…ＰＩ制御停止部、５０１…強化学習部、５０２…記憶部、５０３…操作量選択部、８０１…報酬演算部、８０２…報酬加算部、９０１…報酬減算部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】