▶ 株式会社東芝の特許一覧 ▶ 東芝電機サービス株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-10-07
(45)【発行日】2022-10-18
(54)【発明の名称】最適制御装置、制御方法及びコンピュータプログラム
(51)【国際特許分類】
G05B 13/02 20060101AFI20221011BHJP
C02F 3/34 20060101ALI20221011BHJP
【ＦＩ】
G05B13/02 J
C02F3/34 101C
【請求項の数】
10
(21)【出願番号】P 2018033243
(22)【出願日】2018-02-27
(65)【公開番号】P2019148988
(43)【公開日】2019-09-05
【審査請求日】2021-01-13
(73)【特許権者】
【識別番号】000003078
【氏名又は名称】株式会社東芝
(73)【特許権者】
【識別番号】598076591
【氏名又は名称】東芝インフラシステムズ株式会社
(74)【代理人】
【識別番号】110001634
【氏名又は名称】弁理士法人志賀国際特許事務所
(72)【発明者】
【氏名】山中 理
(72)【発明者】
【氏名】大西 祐太
(72)【発明者】
【氏名】中川 祐一
【審査官】影山 直洋
(56)【参考文献】
【文献】特開２０１７－２２４１７６（ＪＰ，Ａ）
【文献】特開２０１７－０３３１０４（ＪＰ，Ａ）
【文献】特開平０９－３２５８０１（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０５Ｂ １３／０２
Ｃ０２Ｆ ３／３４
(57)【特許請求の範囲】
【請求項1】
制御対象プロセスの操作量と、前記操作量に応じて変化する制御量に基づく前記制御対象プロセスの最適化に関する指標を示す評価量とに基づいて、前記評価量が最適値に向かうように前記操作量を変化させる極値制御を実行する制御装置であって、前記制御対象プロセスに関して観測される前記評価量に基づいて、前記評価量を表す関数であって前記操作量に対して未知の関数である評価関数の変化率を示す勾配を推定する勾配推定部と、
前記勾配推定部によって取得された前記勾配の推定値に基づいて、前記極値制御の実行に必要な制御パラメータ、前記操作量又は前記評価量を、前記評価関数の変化に適応して補正する補正部と、
を備え、
前記極値制御を実行する極値制御部は、前記制御対象プロセスに与える操作量を決定するための積分器を有し、
前記勾配推定部は、前記勾配として前記評価関数の二階微分値を推定し、
前記補正部は、前記勾配推定部によって推定された前記評価関数の二階微分値に基づいて、前記積分器の積分ゲインを補正する、
最適制御装置。
【請求項2】
制御対象プロセスの操作量と、前記操作量に応じて変化する制御量に基づく前記制御対象プロセスの最適化に関する指標を示す評価量とに基づいて、前記評価量が最適値に向かうように前記操作量を変化させる極値制御を実行する制御装置であって、
前記制御対象プロセスに関して観測される前記評価量に基づいて、前記評価量を表す関数であって前記操作量に対して未知の関数である評価関数の変化率を示す勾配を推定する勾配推定部と、
前記勾配推定部によって取得された前記勾配の推定値に基づいて、前記極値制御の実行に必要な制御パラメータ、前記操作量又は前記評価量を、前記評価関数の変化に適応して補正する補正部と、
を備え、
前記極値制御を実行する極値制御部は、前記制御対象プロセスに与える操作量を決定するための積分器であって、その積分ゲインが前記評価関数を二次関数と仮定して得られる前記評価関数の二階微分値に基づいて決定される積分器を有し、
前記勾配推定部は、前記勾配として前記評価関数の一階微分値を推定し、
前記補正部は、前記極値制御部が前記積分ゲインに基づいて決定した操作量を、前記勾配推定部によって推定された前記評価関数の一階微分値に基づいて補正する、
最適制御装置。
【請求項3】
制御対象プロセスの操作量と、前記操作量に応じて変化する制御量に基づく前記制御対象プロセスの最適化に関する指標を示す評価量とに基づいて、前記評価量が最適値に向かうように前記操作量を変化させる極値制御を実行する制御装置であって、
前記制御対象プロセスに関して観測される前記評価量に基づいて、前記評価量を表す関数であって前記操作量に対して未知の関数である評価関数の変化率を示す勾配を推定する勾配推定部と、
前記勾配推定部によって取得された前記勾配の推定値に基づいて、前記極値制御の実行に必要な制御パラメータ、前記操作量又は前記評価量を、前記評価関数の変化に適応して補正する補正部と、
を備え、
前記極値制御を実行する極値制御部は、前記制御対象プロセスに与える操作量を決定するための積分器であって、その積分ゲインが前記評価関数を二次関数と仮定して得られる前記評価関数の二階微分値に基づいて決定される積分器を有し、
前記勾配推定部は、前記勾配として前記評価関数の一階微分値又は二階微分値を推定し、
前記補正部は、前記勾配推定部によって推定された前記評価関数の一階微分値又は二階微分値に基づいて、前記操作量に対して未知である前記評価関数を、その勾配が前記操作量の変化に対して線形に変化するように変数変換する、
最適制御装置。
【請求項4】
制御対象プロセスの操作量と、前記操作量に応じて変化する制御量に基づく前記制御対象プロセスの最適化に関する指標を示す評価量とに基づいて、前記評価量が最適値に向かうように前記操作量を変化させる極値制御を実行する制御装置であって、
前記制御対象プロセスに関して観測される前記評価量に基づいて、前記評価量を表す関数であって前記操作量に対して未知の関数である評価関数の変化率を示す勾配を推定する勾配推定部と、
前記勾配推定部によって取得された前記勾配の推定値に基づいて、前記極値制御の実行に必要な制御パラメータ、前記操作量又は前記評価量を、前記評価関数の変化に適応して補正する補正部と、
を備え、
前記勾配推定部は、前記極値制御に用いられるディザー信号が正弦波である場合に、フィルタ又はオブザーバを用いて前記評価関数の一階以上の微分値を推定する、
最適制御装置。
【請求項5】
前記勾配推定部によって推定された前記評価関数の勾配を示す勾配情報と、前記極値制御を実行する極値制御部によって決定された操作量又は前記補正部によって補正された操作量を示す操作量情報とを、対応づけて表示部に表示させるための情報を生成する表示制御部をさらに備える、請求項１から４のいずれか一項に記載の最適制御装置。
【請求項6】
制御対象プロセスの操作量と、前記操作量に応じて変化する制御量に基づく前記制御対象プロセスの最適化に関する指標を示す評価量とに基づいて、前記評価量が最適値に向かうように前記操作量を変化させる極値制御の制御方法であって、前記制御対象プロセスに関して観測される前記評価量に基づいて、前記評価量を表す関数であって前記操作量に対して未知の関数である評価関数の変化率を示す勾配を推定する勾配推定ステップと、
前記勾配推定ステップにおいて取得された前記勾配の推定値に基づいて、前記極値制御の実行に必要な制御パラメータ、前記操作量又は前記評価量を、前記評価関数の変化に適応して補正する補正ステップと、
を有し、
前記勾配推定ステップにおいて、前記勾配として前記評価関数の二階微分値を推定し、
前記補正ステップにおいて、前記極値制御を実行する極値制御部が前記制御対象プロセスに与える操作量を決定するために有している積分器の積分ゲインを、前記勾配推定ステップによって推定された前記評価関数の二階微分値に基づいて補正する、
制御方法。
【請求項7】
制御対象プロセスの操作量と、前記操作量に応じて変化する制御量に基づく前記制御対象プロセスの最適化に関する指標を示す評価量とに基づいて、前記評価量が最適値に向かうように前記操作量を変化させる極値制御の制御方法であって、
前記制御対象プロセスに関して観測される前記評価量に基づいて、前記評価量を表す関数であって前記操作量に対して未知の関数である評価関数の変化率を示す勾配を推定する勾配推定ステップと、
前記勾配推定ステップにおいて取得された前記勾配の推定値に基づいて、前記極値制御の実行に必要な制御パラメータ、前記操作量又は前記評価量を、前記評価関数の変化に適応して補正する補正ステップと、
を有し、
前記極値制御を実行する極値制御部は、前記制御対象プロセスに与える操作量を決定するための積分器であって、その積分ゲインが前記評価関数を二次関数と仮定して得られる前記評価関数の二階微分値に基づいて決定される積分器を有し、
前記勾配推定ステップにおいて、前記勾配として前記評価関数の一階微分値を推定し、
前記補正ステップにおいて、前記極値制御部が前記積分ゲインに基づいて決定した操作量を、前記勾配推定ステップによって推定された前記評価関数の一階微分値に基づいて補正する、
制御方法。
【請求項8】
制御対象プロセスの操作量と、前記操作量に応じて変化する制御量に基づく前記制御対象プロセスの最適化に関する指標を示す評価量とに基づいて、前記評価量が最適値に向かうように前記操作量を変化させる極値制御の制御方法であって、
前記制御対象プロセスに関して観測される前記評価量に基づいて、前記評価量を表す関数であって前記操作量に対して未知の関数である評価関数の変化率を示す勾配を推定する勾配推定ステップと、
前記勾配推定ステップにおいて取得された前記勾配の推定値に基づいて、前記極値制御の実行に必要な制御パラメータ、前記操作量又は前記評価量を、前記評価関数の変化に適応して補正する補正ステップと、
を有し、
前記極値制御を実行する極値制御部は、前記制御対象プロセスに与える操作量を決定するための積分器であって、その積分ゲインが前記評価関数を二次関数と仮定して得られる前記評価関数の二階微分値に基づいて決定される積分器を有し、
前記勾配推定ステップにおいて、前記勾配として前記評価関数の一階微分値又は二階微分値を推定し、
前記補正ステップにおいて、前記勾配推定ステップによって推定された前記評価関数の一階微分値又は二階微分値に基づいて、前記操作量に対して未知である前記評価関数を、その勾配が前記操作量の変化に対して線形に変化するように変数変換する、
制御方法。
【請求項9】
制御対象プロセスの操作量と、前記操作量に応じて変化する制御量に基づく前記制御対象プロセスの最適化に関する指標を示す評価量とに基づいて、前記評価量が最適値に向かうように前記操作量を変化させる極値制御の制御方法であって、
前記制御対象プロセスに関して観測される前記評価量に基づいて、前記評価量を表す関数であって前記操作量に対して未知の関数である評価関数の変化率を示す勾配を推定する勾配推定ステップと、
前記勾配推定ステップにおいて取得された前記勾配の推定値に基づいて、前記極値制御の実行に必要な制御パラメータ、前記操作量又は前記評価量を、前記評価関数の変化に適応して補正する補正ステップと、
を有し、
前記勾配推定ステップにおいて、前記極値制御に用いられるディザー信号が正弦波である場合に、フィルタ又はオブザーバを用いて前記評価関数の一階以上の微分値を推定する、
制御方法。
【請求項10】
コンピュータを、
請求項１から５のいずれか一項に記載の最適制御装置として機能させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、最適制御装置、制御方法及びコンピュータプログラムに関する。
【背景技術】
【0002】
近年、プラント制御の方法として、極値制御と呼ばれる技術が注目されている。極値制御は、プラントの複雑なモデルを用いないモデルフリーのリアルタイム最適制御技術である。極値制御の概要は、操作量を強制的に変化させることにより、制御対象プロセスの制御量に基づく評価量が最適化される操作量を探索していくものである。このような極値制御をプラント制御に適用する場合、極値制御に係る各種のパラメータ（以下「制御パラメータ」という。）を制御対象プロセスの特性に応じて適切に設定する必要がある。従来、制御パラメータの設計に関する指針がいくつか示されているが、そのいずれも制御対象プロセスの時間的な変化（以下「ダイナミクス」という。）に適応して極値制御を安定的に動作させることができるまでには至っていない。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１７－３３１０４号公報
【非特許文献】
【0004】
【文献】D.Nesic et. al., ‘A Unifying Approach to Extremum Seeking: Adaptive Schemes Based on Estimation of Derivatives’, Proc. 49th IEEE Conference on Decision and Control, December 15-17, 2010
【文献】W.H.Moase et al, ‘Newton-Like Extremum-Seeking Part I: Theory’, Proc. Joint 48th IEEE Conference on Decision and Control and 28th Chinese Control Conference, December 16-18, 2009
【文献】Yan et al, On the choice of dither in extremum seeking systems:A case study, Automatica, 44, pp.1446-1450 (2008)
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明が解決しようとする課題は、制御対象プロセスのダイナミクスに適応して極値制御をより安定的に動作させることができる最適制御装置、制御方法及びコンピュータプログラムを提供することである。
【課題を解決するための手段】
【0006】
実施形態の最適制御装置は、制御対象プロセスの操作量と、前記操作量に応じて変化する制御量に基づく前記制御対象プロセスの最適化に関する指標を示す評価量とに基づいて、前記評価量が最適値に向かうように前記操作量を変化させる極値制御を実行する制御装置である。最適制御装置は、勾配推定部と、補正部と、を持つ。勾配推定部は、前記制御対象プロセスに関して観測される前記評価量に基づいて、前記評価量を表す関数であって前記操作量に対して未知の関数である評価関数の変化率を示す勾配を推定する。補正部は、前記勾配推定部によって取得された前記勾配の推定値に基づいて、前記極値制御の実行に必要な制御パラメータ、前記操作量又は前記評価量を、前記評価関数の変化に適応して補正する。
【図面の簡単な説明】
【0007】
【図1】極値制御の基本的な概念を説明する図。
【図2】極値制御を実現する極値制御システム９の基本的な構成例を示すブロック線図。
【図3】第１の実施形態における最適制御装置２の機能構成の具体例を示すブロック図。
【図4】第１の実施形態におけるｎ階微分値の推定方法の一具体例を示す図。
【図5】第１の実施形態における制御パラメータの決定方法の一例を示す図。
【図6】第１の実施形態の最適制御装置２によって実現される極値制御システム１の構成例を示すブロック線図。
【図7】第１の実施形態におけるプラントＰの一例として、生物学的排水処理プロセスを実現する水処理プラント３の具体例を示す図。
【図8】第１の実施形態における最適制御装置２が制御対象プロセスを極値制御によって制御する処理の流れを示すフローチャート。
【図9】第２の実施形態における最適制御装置２ａの機能構成の具体例を示すブロック図。
【図10】第２の実施形態の最適制御装置２ａによって実現される極値制御システム１ａの構成例を示すブロック線図。
【図11】第３の実施形態における最適制御装置２ｂの機能構成の具体例を示すブロック図。
【図12】第３の実施形態におけるｎ階微分値の推定方法の一例を示す図。
【図13】第３の実施形態の最適制御装置２ｂによって実現される極値制御システム１ｂの構成例を示すブロック線図。
【図14】第１～第３の実施形態の最適制御装置によって得られる効果の具体例を示す図。
【図15】変形例の最適制御装置２において表示情報によって表示される画面の具体例を示す図。
【発明を実施するための形態】
【0008】
以下、実施形態の最適制御装置、制御方法及びコンピュータプログラムを、図面を参照して説明する。
【0009】
（概略）
図１は、極値制御の基本的な概念を説明する図である。極値制御は、評価量の変化に基づいて操作量を更新していくことで評価量を最適値に近づけていく制御手法である。評価量は、制御対象となるプロセス（以下「制御対象プロセス」という。）についての最適化の指標となる値である。評価量は、制御対象プロセスの制御量に基づいて決定される指標値であり、評価量と制御量との関係は所定の評価関数によって表される。この評価関数は、制御量に基づくものであれば任意の評価基準に基づいて設定されてよい。また評価量は制御量そのものであってもよい。一般に、極値制御において、制御対象プロセスの評価関数は操作量に対して未知の関数である。
図１は、極値制御の基本的な概念を説明する図である。極値制御は、評価量の変化に基づいて操作量を更新していくことで評価量を最適値に近づけていく制御手法である。評価量は、制御対象となるプロセス（以下「制御対象プロセス」という。）についての最適化の指標となる値である。評価量は、制御対象プロセスの制御量に基づいて決定される指標値であり、評価量と制御量との関係は所定の評価関数によって表される。この評価関数は、制御量に基づくものであれば任意の評価基準に基づいて設定されてよい。また評価量は制御量そのものであってもよい。一般に、極値制御において、制御対象プロセスの評価関数は操作量に対して未知の関数である。
【0010】
極値制御ではディザー信号と呼ばれる周期的な信号によって操作量を変化させる。通常このディザー信号は、正弦波で与えられることが多い。極値制御では、まずディザー信号によって操作量を継続的に振動させ、それによって生じる評価量の変化（増減）を観測する。そして、観測された評価量の変化に基づいて、評価量を評価関数の最適値（最大値又は最小値）に近づけるような操作量を算出し、算出された操作量で現在の操作量を更新する。極値制御は、このような評価量の観測及び操作量の更新を繰り返すことによって評価関数の最適値を探索していく制御方法である。
【0011】
図１（Ａ）の評価関数曲線ＥＶは、操作量に対して未知の評価関数を表す。ここでは、説明の便宜のため、未知の評価関数を下に凸の二次関数として想定する。図１（Ｂ）は、このような評価関数を持つ制御対象プロセスに対してディザー信号で操作量を変化させたときに、ディザー信号の位相と逆位相の評価量が得られた場合を示す。この場合、操作量の増加に対して評価量が減少しているため、動作点が評価関数曲線ＥＶの極小点Ｐｍｉｎより左側で変化したことが分かる。一方、図１（Ｃ）は、図１（Ｂ）と同様のディザー信号に対して、ディザー信号の位相と同位相の評価量が得られた場合を示す。この場合、操作量の増加に対して評価量も増加しているため、動作点が極小点Ｐｍｉｎより右側で変化したことが分かる。
【0012】
したがって、操作量を周期的に増減させた結果、評価量の増減が操作量の増減と同位相の動きをする場合には操作量を減少させ、逆位相の動きをする場合には操作量を増加させることによって、評価量を最適値に近づけることができる。従来、産業用プラントの制御方式として一般的に用いられてきたＰＩＤ制御（Proportional-Integral-Derivative Control）は、制御量が予め設定された目標値に追従するように操作量を制御する目標値追従型の制御方式であった。これに対して、極値制御は、評価量が最適化されるような操作量を探索する最適値探索型の制御方式であるため、ＰＩＤ制御のように操作量と制御量との関係を表すプロセスモデルを予め必要としない。そのため、極値制御は、目標値を予め設定できないような制御対象プロセスについても有効な制御方式であり、今後広く普及する可能性を秘めている。このような原理で極値制御を行う極値制御コントローラは比較的簡単な構成で実現することができる。
【0013】
図２は、極値制御を実現する極値制御システム９の基本的な構成例を示すブロック線図である。図２の極値制御システム９（極値制御部）は、ハイパスフィルタ１１（ＨＰＦ:High-Pass Filter）、ディザー信号出力部１２、ローパスフィルタ１３（ＬＰＦ：Low-Pass Filter）及び推定器１４を備える。このように極値制御システム９の構成は、従来のＰＩＤ制御コントローラと比較しても同程度の複雑さである。そのため、極値制御システム９は、ＰＩＤ制御コントローラと同様に、ＰＬＣ（Programmable Logic Controller）等のハードウェアを用いて容易に実装可能である。以下、図２の極値制御システム９の動作の概要について説明する。なお、ここでは、最適値として評価関数の極小値を探索する場合を例に説明する。
【0014】
極値制御システム９は、周期的な変化を持つディザー信号Ｍ（ＭはModulationを意味する）を作用させることによって、制御対象プロセスＴＰの操作量を強制的に変化させる。以下、この操作をモジュレーション（Modulation：変調）と呼ぶ。このモジュレーションにより、制御対象プロセスＴＰの操作量が周期的に変化し、操作量の変化に応じて制御量が変化する。制御対象プロセスＴＰは、制御量に基づいて評価量を取得し、取得した評価量を極値制御システム９にフィードバックする。
【0015】
なお、制御量に基づいて評価量を取得する機能（以下「評価量取得機能」という。）は、必ずしも制御対象プロセスＴＰに含まれる必要はない。例えば、評価量取得機能は極値制御システム９に含まれてもよいし、制御対象プロセスＴＰと極値制御システム９との間に評価量取得機能を有する他の装置が介在してもよい。
【0016】
通常、操作量の変化に対する評価量の変化はある程度の時間遅れを伴って現れる。上述したように、極値制御は操作量に対して未知の評価関数の極値を探索する制御方法である。そのため、制御対象プロセスＴＰの評価関数は極小値を持つことが前提であるが、その値は操作量に対して未知である。
【0017】
ハイパスフィルタ１１は、フィードバックされた評価量から未知の極小値に応じた一定値のバイアスを除去する。この処理はすなわち、未知の極小値を常にゼロに調整するための処理であり、推定器１４が操作量に対して与える変化の方向（増加又は減少）を決定するために必要な前処理である。
【0018】
ディザー信号出力部１２は、このように調整された評価量に対してディザー信号Ｄ（ＤはDemodulationを意味する）を作用させる。これにより、操作量のモジュレーションに応じて変化した評価量からディザー信号Ｍと同じ周波数成分が抽出される。以下、この操作をデモジュレーション（Demodulation：復調）と呼ぶ。デモジュレーションの役割は次のとおりである。
【0019】
上述したとおり制御対象プロセスＴＰの操作量に対する評価関数は未知である。そのため、評価関数には非線形要素が含まれている場合がある。この場合、評価関数は下に凸（極大値探索の場合は上に凸）の非線形関数であると想定される。このような非線形要素に起因して、評価量にはディザー信号Ｍの周波数ωに応じた高調波成分や分調波成分が現れる可能性が高い。デモジュレーションは、このような高調波や分調波の影響を取り除くための処理である。このデモジュレーションによって、評価量に含まれる成分のうち、評価量を変化させたディザー信号Ｍと同じ周波数ωの成分が抽出される。
【0020】
デモジュレーションされた評価量は、ローパスフィルタ１３に入力される。ローパスフィルタ１３によって、評価量から定常成分（低周波成分）が抽出される。定常成分は、ディザー信号Ｍを作用させたことによって評価量が増加方向に変化したのか、又は減少方向に変化したのかを表すと考えられる。
【0021】
推定器１４は、ローパスフィルタ１３によって抽出された定常成分を積分する積分器である。推定器１４は、定常成分の積分値に基づいて評価量を極小値に近づけるために動かすべき操作量の方向（以下「操作方向」という。）を推定する推定器として機能する。このような操作方向の推定方法は、適応制御系における操作方向の推定法として最も基本的な勾配法に基づくものである。推定器１４によって操作方向（以下「勾配」ともいう。）が決定されると、その勾配に応じて評価量を極小値に近づけるように操作量が調整される。このように調整された操作量は、再びディザー信号を印加されて制御対象プロセスＴＰに入力される。
【0022】
なお、ここでは、極小値を探索する場合を想定して極値制御システム９の構成例を説明したが、極大値を探索する場合には、推定器１４が推定する勾配の符号を反転させればよい。
【0023】
また、一般に積分器はローパス特性を有するため、推定器１４が十分なローパス特性を有する場合には、極値制御システム９はローパスフィルタ１３を備えなくてもよい。以下では、簡単のため、推定器１４は十分なローパス特性を有し、ローパスフィルタ１３の機能を包含するものとして説明する。
【0024】
以下に説明する実施形態の最適制御装置は、上記の極値制御システム９を用いて構成され、制御対象プロセスを極値制御によって制御する装置として機能する。実施形態の最適制御装置は、操作量の入力に対して制御量を出力する任意のプロセスの制御に適用可能である。例えば、制御対象プロセスは、下水処理プロセスや燃焼プロセス、石油化学プロセスなどであってもよい。以下、生物学的排水処理プロセスを適宜例にとり実施形態の最適制御装置の詳細を説明する。
【0025】
（第１の実施形態）
図３は、第１の実施形態における最適制御装置２の機能構成の具体例を示すブロック図である。図３に示すプラントＰは制御対象プロセスを実現する手段の一例であり、例えば、生物学的排水処理プロセスを実現する水処理プラントである。プラントＰは、制御対象プロセスを実現するための各種機器を含み、最適制御装置２によって与えられる操作量に基づいて各種機器を動作させる。また、プラントＰは、操作量に対する制御対象プロセスの応答（すなわち制御量）を計測する各種の計測機器を含み、計測機器によって取得される計測データを制御対象プロセスの制御量を示す情報（以下「計測情報」という。）を最適制御装置２に出力する。最適制御装置２は、制御対象プロセスから取得される計測情報に基づいて、制御対象プロセスの評価量が最適値に近づくような操作方向で操作量を更新していく。このような動作は、最適制御装置２が以下のような構成を備えることによって実現される。
図３は、第１の実施形態における最適制御装置２の機能構成の具体例を示すブロック図である。図３に示すプラントＰは制御対象プロセスを実現する手段の一例であり、例えば、生物学的排水処理プロセスを実現する水処理プラントである。プラントＰは、制御対象プロセスを実現するための各種機器を含み、最適制御装置２によって与えられる操作量に基づいて各種機器を動作させる。また、プラントＰは、操作量に対する制御対象プロセスの応答（すなわち制御量）を計測する各種の計測機器を含み、計測機器によって取得される計測データを制御対象プロセスの制御量を示す情報（以下「計測情報」という。）を最適制御装置２に出力する。最適制御装置２は、制御対象プロセスから取得される計測情報に基づいて、制御対象プロセスの評価量が最適値に近づくような操作方向で操作量を更新していく。このような動作は、最適制御装置２が以下のような構成を備えることによって実現される。
【0026】
最適制御装置２は、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備え、極値制御プログラムを実行する。最適制御装置２は、極値制御プログラムの実行によってディザー信号出力部２１、操作量出力部２２、計測情報取得部２３、評価量算出部２４、勾配推定部２５、パラメータ決定部２６及び極値制御部２７を備える装置として機能する。なお、最適制御装置２の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されてもよい。制御プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。制御プログラムは、電気通信回線を介して送信されてもよい。
【0027】
ディザー信号出力部２１は、ディザー信号を生成し、生成したディザー信号を極値制御部２７に出力する。具体的には、ディザー信号出力部２１は、操作量のモジュレーションのためにディザー信号Ｍを生成し、評価量のデモジュレーションのためにディザー信号Ｄを生成する。
【0028】
操作量出力部２２及び計測情報取得部２３は、最適制御装置２とプラントＰとを通信可能に接続する通信インターフェースを含んで構成される。操作量出力部２２は、極値制御部２７から出力される操作量をプラントＰに送信する。また、計測情報取得部２３は、プラントＰから計測情報を取得し、取得した計測情報が示す制御量を評価量算出部２４に出力する。
【0029】
評価量算出部２４は、計測情報取得部２３から出力される制御量に基づいて極値制御に用いられる評価量を算出する。評価量算出部２４は、算出した評価量を勾配推定部２５及び極値制御部２７に出力する。
【0030】
勾配推定部２５は、評価量算出部２４から出力される評価量に基づいて、評価関数の勾配を推定する。具体的には、勾配推定部２５は、順次取得される評価量の変化に基づいて、操作量に対する１階からＮ階（Ｎは１以上の整数）までの勾配（すなわち微分値）を推定する。ここでは一例として１階微分値を推定する場合について説明する。ここで最適制御装置２の制御周期をＴとし、制御周期Ｔごとの制御が行われる時刻を制御時刻という。この場合、勾配推定部２５は、ある制御時刻ｔにおける評価量Ｊ（ｔ）と、その１制御周期前の制御時刻ｔ－Ｔにおける評価量Ｊ（ｔ－Ｔ）との差を、両時刻における操作量Ｕ（ｔ）及びＵ（ｔ－Ｔ）の差で除することによって、操作量に対する評価量の１階微分値の近似値を取得することができる。すなわち、評価量の１階微分値ｄＪ／ｄＵは、次の式（１）のように近似される。
【0031】
【数1】
【0032】
式（１）は、評価量の微分値を取得する方法の最も簡単な例を示したものであるが、実際には、このような方法で取得される１階微分値は評価関数や操作量の計測値又は算出値によるノイズの影響を受けやすい。また、２階以上の高階微分値を取得する場合にはノイズの影響が大きくなり、実質的に勾配を推定することができなくなる可能性が高い。このような問題に関して、以下に示す各文献には、ディザー信号が、通常、正弦波として与えられることに着目し、より精度良く勾配を推定する方法が提案されている。
【0033】
非特許文献１には、フィルタを用いた勾配推定法が記載されており、非特許文献２には、オブザーバの考え方を用いた勾配推定法が記載されている。本実施形態において、勾配推定部２５は、このような従来技術に基づいて評価関数の勾配を推定することが望ましい。ここで、非特許文献１に記載された勾配推定法の基本的な考え方を説明する。
【0034】
一般に、操作量には高調波成分や分調波成分が含まれる場合があるが、ディザー信号が正弦波で与えられる場合、操作量は概ねディザー信号と同じ周波数で正弦波状に変化する。そこで、操作量ＵがＵ（ｔ）＝Ｕ０＋ａ×sinωtという正弦波状に変化すると仮定し、それによって得られる評価量が次の式（２）に示す評価関数Ｊで表されると仮定する。
【0035】
【数2】
【0036】
ここで、fは未知の関数である。実際には、ｆにはプラントのダイナミクスが含まれるため、正確には、ｆは動的システムの作用素（オペレータ）とみなされるべきである。ただし、ディザー信号の周波数ωがプラントのダイナミクスに対して十分に緩やかな変化をもたらす場合には、ｆを近似的に関数とみなすことができる。このような前提の下、ここではfを関数とみなす。この式（２）をテーラー展開することにより次の式（３）が得られる。
【0037】
【数3】
【0038】
ここで、Ｄｋｆ（ｋは１以上の整数）は、関数fのＵに関するｋ階微分を意味する。この式（３）にｓｉｎｎωｔ（ｎは１以上の整数）を掛けることにより次の式（４）が得られる。
【0039】
【数4】
【0040】
ここで、式（４）に周期平均処理を行うと次の式（５）が得られる。
【0041】
【数5】
【0042】
ここで、Ａ０は次の式（６）で定義される。
【0043】
【数6】
【0044】
ディザー信号の振幅ａと冪数ｎは定数であることに着目し、ｎ階微分Ｄｎｆの値が１制御周期で大きく変化しないと仮定しており、μｎは次の式（７）で定義される。
【0045】
【数7】
【0046】
続いて、次の式（８）及び（９）を定義し、式（５）の関係を用いると、０からｎ階までの微分Ｄ０ｆ～Ｄｎｆは次の式（１０）のように表される。
【0047】
【数8】
【0048】
【数9】
【0049】
【数10】
【0050】
ここで、Ａｎは次の式（１１）で定義される。
【0051】
【数11】
【0052】
したがって、式（１０）を用いることで任意の次数のｎ階微分値（或いは第０階～第ｎ階微分値）を推定することができる。さらに非特許文献１には、このような基本的な考え方に沿って、若干の修正を加えたｎ階微分値の推定方法が記載されている。
【0053】
【0054】
【数12】
【0055】
【0056】
このように、フィルタを用いた勾配推定器Ｇ（ｔ）で評価関数Ｊの勾配を推定することができる。本実施形態の最適制御装置２は、このような方法を用いて推定された勾配の推定値に基づいて極値制御の制御パラメータを決定する。勾配推定部２５は、このようにして取得した勾配推定値をパラメータ決定部２６に出力する。
【0057】
図３の説明に戻る。パラメータ決定部２６は、勾配推定部２５によって取得された評価関数の勾配推定値に基づいて極値制御の制御パラメータを決定する。具体的には、パラメータ決定部２６は、ローパスフィルタの周波数、ハイパスフィルタの周波数、ディザー信号の周波数、ディザー信号の振幅及び積分ゲインの５つの制御パラメータを決定する。
【0058】
図５は、第１の実施形態における制御パラメータの決定方法の一例を示す図である。具体的には、図５は、特許文献１に記載された制御パラメータの調整則を示す。この調整則は、基本的には、制御対象プロセスの制御に極値制御を適用する前の設計段階において制御パラメータを決定する際に用いられることを想定したものである。すなわち、特許文献１は、この調整則に基づいて決定された制御パラメータを極値制御の適用後に変更することを想定したものではない。
【0059】
本実施形態の最適制御装置２において、パラメータ決定部２６は、図５に示す５つのパラメータのうち積分ゲイン以外のパラメータについては、図５に示すＮｏ．１～Ｎｏ．４の各調整則に基づいて決定する。一方、積分ゲインについては、パラメータ決定部２６は、勾配推定部２５によって取得された勾配推定値に基づいて、制御対象プロセスの状態に応じて適応的に決定し、極値制御に反映させる。積分ゲインの決定方法については後述する。
【0060】
図３の説明に戻る。極値制御部２７は、パラメータ決定部２６によって決定された制御パラメータで、制御対象プロセスの極値制御を行う。具体的には、まず、極値制御部２７は、プラントＰに与える操作量にディザー信号を印加し、それによって変化する評価量を観測する。そして、極値制御部２７は、評価量の観測値に基づいて、評価量を最適値に近づけるように操作量を更新する。極値制御部２７が、ディザー信号の印加、評価量の観測及び操作量の更新を繰り返し実行することで、制御対象プロセスの評価量が最適値に近づけられる。
【0061】
図６は、第１の実施形態の最適制御装置２によって実現される極値制御システム１の構成例を示すブロック線図である。極値制御システム１が図２に示した基本的な構成の極値制御システム９と異なる点は、勾配推定部２５によって取得された評価関数の勾配推定値が推定器１４の動作に適応的に作用する点である。具体的には、パラメータ決定部２６（図示せず）が勾配推定値に基づいて算出した積分ゲインＫＩが適応的に推定器１４に反映される。これにより、最適制御装置２は、制御対象プロセスのダイナミクスに適応して極値制御をより安定的に動作させることが可能となる。積分ゲインの決定方法の詳細は後述する。
【0062】
なお、図６に示す極値制御システム１は、図３に示した最適制御装置２のディザー信号出力部２１及び極値制御部２７として機能する。また、極値制御システム１は、操作量出力部２２、計測情報取得部２３及び評価量算出部２４を含むように構成されてもよい。
【0063】
図７は、第１の実施形態におけるプラントＰの一例として、生物学的排水処理プロセスを実現する水処理プラント３の具体例を示す図である。例えば、図７に示す水処理プラント３は、嫌気槽３１、無酸素槽３２、好気槽３３及び最終沈澱池３４の各設備を備える。嫌気槽３１は、微生物を活性化させるための設備である。無酸素槽３２は、窒素を除去するための設備である。好気槽３３は有機物の分解やリンの除去、アンモニアの硝化を行うための設備である。最終沈澱池３４は、活性汚泥を沈殿させるための設備である。
【0064】
水処理プラント３には、上記設備間で水や汚泥を搬送するポンプや、槽内に空気を供給するブロワ、空気中又は水中の物質の濃度を計測するセンサー等の設備が設置される。薬品投入ポンプ３１１は、微生物を活性化させる炭素源等の薬品を嫌気槽３１に投入するポンプである。循環ポンプ３３１は、好気槽３３と無酸素槽３２との間で循環する被処理水の循環量を制御するポンプである。ブロワ３３２は、好気槽３３に空気を供給して曝気量を制御する。返送汚泥ポンプ３４１は、最終沈澱池３４から無酸素槽３２に汚泥を返送するポンプである。余剰汚泥引き抜きポンプ３４２は、最終沈澱池３４から過剰な汚泥を引き抜くポンプである。センサー３１２及びセンサー３４３は、それぞれ、嫌気槽３１及び最終沈澱池３４における放流水の水質を計測する。
【0065】
一般に、このような生物学的廃水処理プロセスでは、操作量は返送汚泥の返送率であり、制御量は放流水に含まれる窒素及びリンの濃度（以下それぞれを「放流窒素濃度」及び「放流リン濃度」という。）である。返送率は、返送汚泥ポンプ３４１の放流量を流入量で割ることによって得られる。放流窒素濃度及び放流リン濃度は、センサー３１２及びセンサー３４３によって取得される。なお、制御量を、放流水に含まれる窒素及びリンの量（以下それぞれを「放流窒素量」及び「放流リン量」という。）としてもよい。この場合、放流窒素量及び放流リン量は、それぞれ放流窒素濃度及び放流リン濃度に放流量を乗算することにより得られる。
【0066】
評価量算出部２４には、水処理プラント３から出力される制御量に基づいて評価量を取得するための評価関数を予め設定しておく。ここでいう評価関数は、操作量に対する未知の評価関数を、制御量の関数として定義したものである。例えば、評価関数は、放流窒素濃度及び放流リン濃度と評価量との関係を表す関数である。この評価関数は、操作量（返送率）上限での制御量と、操作量下限での制御量との間で極値をとるように設定される必要がある。このように評価関数を設定する方法の一例として、評価量を排水賦課金の考え方に基づく水質コストと、返送汚泥ポンプ３４１の電力コストとの総和（以下「総コスト」という。）として表す方法が考えられる。返送汚泥ポンプ３４１の電力コストは、返送汚泥流量と返送汚泥ポンプ３４１の定格電力などから算出することができる。一般に、排水賦課金の考え方では、水質コストは以下の式で表される。
【0067】
【数13】
【0068】
式（１３）においてＣＯＤは化学的酸素要求量、ＢＯＤは生物化学的酸素要求量、ＴＮは放流窒素、ＴＰは放流リンを意味する。各コストの換算係数は、実際の排水賦課金に基づいて決定されても良いし、他の方法によって決定されてもよい。一般に、ＣＯＤ、ＢＯＤ、ＴＮ及びＴＰのうち、返送率を変えることによって大きく変化するものはＴＮ及びＴＰであることが知られている。そのためここでは、水質コストを次の式（１４）で表す。
【0069】
【数14】
【0070】
なお、一般に、返送率を上げると窒素の除去率が高まりＴＮに関する水質コストが減少し、逆に返送率を下げるとリンの除去率が高まりＴＰに関する水質コストが減少することが知られている。このような場合、水質コストのみに基づいて評価関数が設定されても良い。ただし、このようなトレードオフの関係を持たない水質同士のコストを指標とする場合には、評価量を、運転コスト（電力コスト）を加味した総コストとして表すことにより、評価関数が、操作量（返送率）上限での制御量と操作量下限での制御量との間で極値をとるように設定する。
【0071】
また、評価関数には、このような総コストではなく、直接的に水質の評価を表す関数が設定されてもよい。例えば、評価量は、次の式（１５）のように算出されてもよい。
【0072】
【数15】
【0073】
式（１５）において、ＴＮｌｉｍ及びＴＰｌｉｍは、放流水質の規制値や管理値に相当するスレッシホールドレベルを表すパラメータである。このような評価関数を用いた場合、スレッシホールドレベルを超えると評価量が急上昇する。そのため、評価量をスレッシホールドレベル以内に抑えるように極値制御が機能することが期待できる。
【0074】
以上、図４に示したような水処理プラント３を例として、極値制御に必要となる評価関数の設定方法について説明したが、制御対象とするプラントＰによっては評価関数の設定を必要としない場合もある。そのような例として、風力発電プラントにおける風車のブレードの制御が挙げられる。風車のブレードの向きを風向に併せて動かすことにより発電量を最大化するような制御に極値制御を適用する場合、評価量は発電量であり、操作量は風車のブレードの回転角となる。この場合、制御量がそのまま評価量となるため評価関数の設定を必要としない。このような場合、評価量算出部２４が設けられなくてもよい。その一方で、評価量を取得することによって、極値制御の適用が可能となる場合もある。
【0075】
［積分ゲインの決定方法］
以下、パラメータ決定部２６が勾配推定値に基づいて積分ゲインを決定する方法について説明する。特許文献１で提案されている上記の調整則は、非特許文献３に記載されたアベレージシステムに基づくものである。アベレージシステムとは、あるシステムに周期的な入力が加えられたときに、その周期平均（アベレージ）をとったシステムの動的な挙動を表すシステムであり、極値制御系の安定解析に用いられる。
以下、パラメータ決定部２６が勾配推定値に基づいて積分ゲインを決定する方法について説明する。特許文献１で提案されている上記の調整則は、非特許文献３に記載されたアベレージシステムに基づくものである。アベレージシステムとは、あるシステムに周期的な入力が加えられたときに、その周期平均（アベレージ）をとったシステムの動的な挙動を表すシステムであり、極値制御系の安定解析に用いられる。
【0076】
特に非特許文献３には、ダイナミクスを持たないスタティックなプラントを制御対象とする極値制御系のアベレージシステムについて具体的に記載されている。そのアベレージシステムは、次の式（１６）で表される。
【0077】
【数16】
【0078】
ただし、ＤＪは評価関数Ｊの入力の周期平均Ｕ－Ｕ＊に関する勾配を表す。Ｕ＊はＵの平衡点である。τはディザー信号の周波数ωでスケール変換された時間関数であり、次の式（１７）によって表される値である。
【0079】
【数17】
【0080】
また、ＫＩ０は時間軸τ上での積分ゲインであり、実際の時間軸ｔ上での積分ゲインＫＩは次の式（１８）によって変換される。
【0081】
【数18】
【0082】
なお、式（１６）におけるＰはディザー信号のパワーを表す。非特許文献３に記載されているように、ディザー信号として正弦波を用いる場合にはＰ＝１／２であり、三角波の場合はＰ＝１／３であり、矩形波の場合はＰ＝１である。式（１６）が示すアベレージシステムは、ディザー信号で操作量を周期的に振動させながら、評価量を最小値（極小値）に収束させていくとき、評価量が周期的に振動しながらどのような速さで最小値（極小値）収束していくかという極値制御の収束のダイナミクスを表現したものである。
【0083】
非特許文献３では、プラントがスタティックである場合を仮定し、ディザー信号の周期がプラントの時定数よりも十分に長く設定されている。これはすなわち、ディザー信号の周波数ωがプラントのカットオフ周波数２π／ωよりも十分に小さく設定されている場合である。このような場合には、プラントがダイナミクスを持っている場合であっても、これを近似的にスタティックであるとみなせる。このことは、極値制御の安定解析に用いられる特異摂動論によって裏付けられる。したがって、ここでは、ディザー信号の周波数ωが適切に設定されているという想定の下で式（１６）のアベレージシステムを用いて積分ゲインを決定する方法を示す。
【0084】
式（１６）は、ディザー信号の周波数でスケール変換された時間軸τ=ωtでの極値制御系の挙動を示すため、式（１６）の時定数は、極値制御が極値に収束するまでの時間軸τでの時定数に対応すると考えられる。したがって、式（１６）で表されるアベレージシステムの時定数Ｔａｖｅが、ディザー信号の周期Ｔ＝２π／ωより十分長くなるようにパラメータω、ａ、ＫＩ０を決定すれば、評価量はディザー信号による操作量の増減に応じて徐々に最小値（極小値）に収束していくと期待される。
【0085】
ここで、ディザー信号の周波数ωと振幅ａは図５の調整則に基づいて決定されるため、アベレージシステムの時定数がディザー信号の周期Ｔ＝２π／ωより十分に長くなるようにするためにはＫＩ０を調整することになる。しかしながら、式（１６）は一般的には非線形の微分方程式となるため、時定数という概念を直接的に定義することができない。そこで、特許文献１では、評価関数Ｊが二次関数であるとの想定の下で時定数を定義して制御パラメータを決定する調整則が提案されている。例えば、評価関数Ｊ（ｔ）が次の式（１９）で表される場合を想定する。
【0086】
【数19】
【0087】
この場合、ＤＪ（Ｕ＋Ｕ＊）＝Ｇ×Ｕ（ｔ）となるため、式（１４）は次の式（２０）のように表される。
【0088】
【数20】
【0089】
式（２０）の時定数Ｔａｖｅは、１／（ＫＩ０×ａ×Ｐ×Ｇ）となる。このＴａｖｅは時間軸τ上での時定数であり、τ＝１は１／ωに相当する時間である。このことから、時定数Ｔａｖｅに相当する時間をディザー信号の周期２π／ωの何倍にするかが決まればＫＩ０の値を決定することができる。ここで、アベレージシステムの時定数がディザー信号の周期より十分に長くなるように調整される必要があることから、例えば、時定数に相当する時間を、ディザー信号の周期のｋ３（＝５～１０）倍程度とする。この場合、ｋ３×２π＝１／（ＫＩ０×ａ×Ｐ×Ｇ）が成立するため、ＫＩ０は次の式（２１）のように決定される。
【0090】
【数21】
【0091】
特許文献１には、以上のような積分ゲインの調整則が提案されているが、この調整則は上述したとおり評価関数Ｊ（ｔ）が二次関数であるとの想定に基づくものである。しかしながら、現実の問題がこのような想定の範囲内にあることはほとんど期待できない。これに対して、特許文献１には評価関数を二次関数で近似できるように変換する方法も提案されているが、このような変換を行うためには予め操作量と評価量との関係性をある程度明らかにしておく必要がある。そして、このような関係性の取得には、制御対象プロセスについていくつかの動作点の観測が必要となり、多大なエンジニアリングコストを要する。
【0092】
このような課題に対して、本実施形態では式（１９）及び（２１）におけるＧが評価関数の二階微分値であることに着目し、パラメータ決定部２６が勾配推定部２５によって取得される二階微分の推定値を式（２１）に適用することで積分ゲインを決定する。なお、評価関数Ｊ（ｔ）が二次関数である場合にはＧは定数となるが、現実の問題のほとんどにおいて評価関数Ｊ（ｔ）は二次関数でない。このように評価関数Ｊ（ｔ）が二次関数でない場合、Ｇは時間とともに変化する関数となる。そのため、この場合、積分ゲインは次の式（２２）のように表される。
【0093】
【数22】
【0094】
式（１９）において、Ｇ（ｔ）は勾配推定部２５によって推定された評価関数の操作量に対する二階微分値である。また、式（１９）は、積分ゲインが時刻ｔにおける二階微分値Ｇ（ｔ）によって時間ｔの関数となることを表している。すなわち、パラメータ決定部２６は、順次取得される勾配推定値を式（２２）に適用することにより、経時的に変化する制御対象プロセスのダイナミクスに適応して積分ゲインを更新することができる。
【0095】
図８は、第１の実施形態における最適制御装置２が制御対象プロセスを極値制御によって制御する処理の流れを示すフローチャートである。なお、プラントＰの制御対象プロセスは、フローチャートの開始時点においてＰＩＤ制御等の極値制御以外の制御方法で制御されているものとする。まず、計測情報取得部２３は、プラントＰから計測情報を取得する（ステップＳ１０１）。計測情報取得部２３は、計測情報が示す制御量を評価量算出部２４に出力する。
【0096】
評価量算出部２４は、計測情報取得部２３から出力された制御量に基づいて、制御対象プロセスのその時点における評価量を算出する（ステップＳ１０２）。評価量算出部２４は、算出した評価量を勾配推定部２５及び極値制御部２７に出力する。
【0097】
勾配推定部２５は、評価量算出部２４から出力された評価量に基づいて評価関数の勾配を推定する（ステップＳ１０３）。勾配推定部２５は、取得した勾配推定値をパラメータ決定部２６に出力する。
【0098】
パラメータ決定部２６は、勾配推定部２５から出力された勾配推定値と、予め定められた制御パラメータの調整則とに基づいて制御パラメータを決定する（ステップＳ１０４）。具体的には、パラメータ決定部２６は、図５のＮｏ．１～Ｎｏ．４に示す調整則に基づいてハイパスフィルタ１１の周波数ω１、ディザー信号出力部１２が出力するディザー信号の周波数ω及び振幅ａ、及びローパスフィルタ１３の周波数ω２を決定する。なお、図５に示す調整則でこれらの制御パラメータを決定する際に必要な情報（例えば、制御対象プロセスの時定数やむだ時間など）は、計測情報に基づいて取得されてもよいし、予め最適制御装置２に記憶されていてもよい。
【0099】
一方で、パラメータ決定部２６は、勾配推定部２５から出力された勾配推定値を式（２２）に適用して積分ゲインＫＩ０を決定する。パラメータ決定部２６は、このように決定した制御パラメータの値を極値制御部２７に出力する。
【0100】
続いて、極値制御部２７が、パラメータ決定部２６によって決定された各制御パラメータを用いて、制御対象プロセスの極値制御を開始する（ステップＳ１０５）。ここでは、パラメータ決定部２６によって制御パラメータが決定された後、所定のタイミングで、制御対象プロセスの制御方法が極値制御に切り替えられるものとする。このタイミングは予め定められたタイミングであってもよいし、ユーザの操作による任意のタイミングであってもよい。
【0101】
極値制御部２７が極値制御を開始した後、最適制御装置２は、ステップＳ１０１、Ｓ１０２及びＳ１０３と同様の処理を繰り返し実行する（ステップＳ１０６、Ｓ１０７及びＳ１０８）とともに、ステップＳ１０４と同様の方法で積分ゲインの値を取得する（ステップＳ１０９）。そして、パラメータ決定部２６は、取得した積分ゲインの値で現在の積分ゲインの値を更新する（ステップＳ１１０）。
【0102】
このように構成された第１の実施形態の最適制御装置２は、取得される計測情報に基づいて評価関数の勾配を推定するとともに、取得した勾配推定値に基づいて積分ゲインを適応的に決定する機能を有する。このような最適制御装置２によれば、極値制御の安定性に大きく関係する積分ゲインを制御対象プロセスの状態に応じて適応的に更新することができるため、制御対象プロセスのダイナミクスに適応して極値制御をより安定的に動作させることが可能となる。
【0103】
このように制御パラメータを調整することができる最適制御装置２によれば、例えば図７の水処理プラントにおける汚泥の返送量を操作量として、水処理プロセスのダイナミクスに適応しながら総コストを最小化するような極値制御を実現することが可能となる。
【0104】
（第２の実施形態）
図９は、第２の実施形態における最適制御装置２ａの機能構成の具体例を示すブロック図である。最適制御装置２ａは、勾配推定部２５に代えて勾配推定部２５ａを備える点、パラメータ決定部２６に代えてパラメータ決定部２６ａを備える点、操作量変換部２８をさらに備える点で第１の実施形態における最適制御装置２と異なる。最適制御装置２ａのその他の構成は第１の実施形態における最適制御装置２と同様である。そのため、ここでは、それらの同様の構成には図３と同じ符号を付すことにより説明を省略する。
図９は、第２の実施形態における最適制御装置２ａの機能構成の具体例を示すブロック図である。最適制御装置２ａは、勾配推定部２５に代えて勾配推定部２５ａを備える点、パラメータ決定部２６に代えてパラメータ決定部２６ａを備える点、操作量変換部２８をさらに備える点で第１の実施形態における最適制御装置２と異なる。最適制御装置２ａのその他の構成は第１の実施形態における最適制御装置２と同様である。そのため、ここでは、それらの同様の構成には図３と同じ符号を付すことにより説明を省略する。
【0105】
勾配推定部２５ａは、取得された評価量に基づいて評価関数の勾配を推定する点では第１の実施形態における勾配推定部２５と同様であるが、評価関数の勾配として二階微分値ではなく一階微分値を推定する点、取得した勾配推定値をパラメータ決定部２６ａではなく、操作量変換部２８に出力する点で勾配推定部２５と異なる。
【0106】
パラメータ決定部２６ａは、ローパスフィルタの周波数、ハイパスフィルタの周波数、ディザー信号の周波数、ディザー信号の振幅及び積分ゲインの５つの制御パラメータを決定する点では第１の実施形態におけるパラメータ決定部２６と同様であるが、積分ゲインの決定に評価関数の勾配推定値を用いない点でパラメータ決定部２６と異なる。
【0107】
操作量変換部２８は、勾配推定部２５ａから出力される評価関数の勾配推定値に基づいて極値制御部２７から出力される操作量を変換する。操作量変換部２８は、変換した操作量を操作量出力部２２に出力する。具体的には、操作量変換部２８は、以下のような方法で操作量を変換する。
【0108】
まず、極値制御部２７から出力される操作量をＵとすると、Ｕを入力（操作量）とした場合の極値制御のアベレージシステムは上記の式（１６）で表される。以下、式（２３）として式（１６）を再掲する。
【0109】
【数23】
【0110】
式（２３）において評価関数の勾配ＤＪ（Ｕ＋Ｕ＊）は、一般的にはＵに関する非線形関数となるため、式（２３）の収束の速さを時定数の概念で表現することができなかった。そこで、第１の実施形態では、まず、評価関数Ｊ（Ｕ）が二次関数で表されると仮定した上で時定数の概念を定義し、定義した時定数が所望の値になるように積分ゲインＫＩ０を決定した。しかしながら、実際には，評価関数Ｊ（Ｕ）は二次関数ではないため、その二階微分値が一定となるように積分ゲインＫＩ０を適応的に調整した。
【0111】
これに対して、本実施形態では、式（２３）によって表されるアベレージシステムが線形システムとなるように入力変数Ｕを変数変換することで時定数を定義する。すなわち、変換後の変数ｖに関するアベレージシステムが線形システムとなるように次の式（２４）に示す変数変換を行う。この変数変換により、変数ｖに関するアベレージシステムは次の式（２５）のように変換される。
【0112】
【数24】
【0113】
【数25】
【0114】
ここで、式（２３）を式（２５）に変換する関数ｖ＝ｈ（Ｕ）は次の式（２６）に示す偏微分方程式を満たす必要がある。
【0115】
【数26】
【0116】
この条件を満たす変換関数ｈは多数存在するが、評価関数の一階微分値ＤＪ（Ｕ）が既知であれば、どのような微分方程式であっても少なくとも近似的には解くことが可能である。例えば、式（２６）を次の式（２７）のように近似することができる。
【0117】
【数27】
【0118】
このように近似した式（２７）を用いれば、例えば、初期値の操作量Ｕ０に対して適当な変換ｖ０＝ｈ（Ｕ０）を与えることができれば、極値制御による操作量の変化に応じてｈ（Ｕ）を更新していくことができる。操作量変換部２８は、勾配推定部２５ａによって取得された勾配推定値（一階微分値）を式（２７）に適用することによって操作量を変換することができる。
【0119】
また、変数ｖの初期値ｖ０については、ＤＪ（Ｕ）がＵの一次関数で近似できる場合には、次の式（２８）によって変換することで、近似的に式（２２）を成立させることができる。
【0120】
【数28】
【0121】
なお、式（２５）は、式（２０）が示すアベレージシステムにおいて評価関数の二階微分値ＧをＧ＝１としたものに相当する。そのため、積分ゲインは、式（２２）のＧをＧ＝１として算出されればよい。
【0122】
図１０は、第２の実施形態の最適制御装置２ａによって実現される極値制御システム１ａの構成例を示すブロック線図である。極値制御システム１ａが図２に示した基本的な構成の極値制御システム９と異なる点は、勾配推定部２５ａによって取得された評価関数の勾配推定値（一階微分値）（図中の（）ｎ）が制御対象プロセスＴＰに与えられる操作量に適応的に作用する点である。具体的には、操作量変換部２８（図示せず）が勾配推定値に基づいて変換した操作量が制御対象プロセスＴＰに与えられる。これにより、最適制御装置２ａは、第１の実施形態の最適制御装置２と同様に、制御対象プロセスのダイナミクスに適応して極値制御をより安定的に動作させることが可能となる。
【0123】
さらに、第２の実施形態では勾配推定値として評価関数の一階微分値を取得すればよいため、二階微分値を取得する第１の実施形態よりも、極値制御の処理を簡単にすることができる。具体的には、図４に示したようなフィルタを用いた勾配の推定において、フィルタの段数を少なくすることができるため、勾配推定部２５を第１の実施形態よりも簡単な回路構成で実現することができる。また、このことは、フィルタ後段のＧ（ｔ）をより小さい次元で実現できることを意味する。
【0124】
また、その一方で、第２の実施形態では、操作量を変換する際の初期値を適切に設定するために多少の手間がかかる可能性がある。そのため、どちらの実施形態を用いるかは、適用する対象のプロセスの特性や制約事項等に応じて選択されるとよい。
【0125】
（第３の実施形態）
図１１は、第３の実施形態における最適制御装置２ｂの機能構成の具体例を示すブロック図である。最適制御装置２ｂは、評価量算出部２４に代えて評価量算出部２４ｂを備える点、勾配推定部２５に代えて勾配推定部２５ｂを備える点、パラメータ決定部２６に代えてパラメータ決定部２６ｂを備える点、評価量変換部２９をさらに備える点で第１の実施形態における最適制御装置２と異なる。最適制御装置２ｂのその他の構成は第１の実施形態における最適制御装置２と同様である。そのため、ここでは、それらの同様の構成には図３と同じ符号を付すことにより説明を省略する。
図１１は、第３の実施形態における最適制御装置２ｂの機能構成の具体例を示すブロック図である。最適制御装置２ｂは、評価量算出部２４に代えて評価量算出部２４ｂを備える点、勾配推定部２５に代えて勾配推定部２５ｂを備える点、パラメータ決定部２６に代えてパラメータ決定部２６ｂを備える点、評価量変換部２９をさらに備える点で第１の実施形態における最適制御装置２と異なる。最適制御装置２ｂのその他の構成は第１の実施形態における最適制御装置２と同様である。そのため、ここでは、それらの同様の構成には図３と同じ符号を付すことにより説明を省略する。
【0126】
評価量算出部２４ｂは、計測情報取得部２３から出力される制御量に基づいて極値制御に用いられる評価量を算出する点では第１の実施形態における評価量算出部２４ｂと同様であるが、算出した評価量を勾配推定部２５ｂ及び評価量変換部２９に出力する点で評価量算出部２４と異なる。
【0127】
勾配推定部２５ｂは、取得された評価量に基づいて評価関数の勾配を推定する点では第１の実施形態における勾配推定部２５と同様であるが、取得した勾配推定値をパラメータ決定部２６ｂではなく、評価量変換部２９に出力する点で勾配推定部２５と異なる。
【0128】
評価量変換部２９は、勾配推定部２５ｂから出力される評価関数の勾配推定値に基づいて評価量算出部２４ｂから出力される評価量を変換する。評価量変換部２９は、変換した評価量を極値制御部２７に出力する。具体的には、評価量変換部２９は、以下のような方法で評価量を変換する。
【0129】
図１２は、第３の実施形態におけるｎ階微分値の推定方法の一例を示す図である。まず、評価量変換部２９に対して、評価量を変換するための変換関数を予め決定しておく。ここでは、簡単のため、評価関数Ｊを冪乗変換することにより、変換後の評価関数Ｊを局所的に二次関数で近似する。ここで、変換後の評価関数をＪｍ、変換に用いる冪数（以下「冪乗パラメータ」という。）をｎとするとＪｍはＪｍ＝Ｔ（Ｊ）＝Ｊｎと表すことができる。この冪乗パラメータｎは以下のように推定することができる。
【0130】
Ｊｍ＝Ｊｎと変換する場合、操作量Ｕに関するＪの勾配も同じ変換関数で変換されるため、Ｄ２Ｊｍ＝（Ｄ２Ｊ）ｎとなる。このとき、Ｄ２Ｊｍが一定値となるように冪乗パラメータｎを定めれば、変換後の評価関数の二階微分値は一定値となるため、変換後の評価量は二次関数で近似されたとみなすことができる。そこで、評価量変換部２９は、入力された評価量に基づいて取得される評価関数の二階微分値が予め定められた所定の定数Ｃ＝１となる冪数を算出することによって冪乗パラメータｎを推定する。図１２は、このような評価量変換部２９の構成を示す概念図である。
【0131】
具体的には、評価量変換部２９は、推定器２９１及び変換部２９２を備える。推定器２９１は、定数Ｃ＝１を評価関数の二階微分値の目標値として、変換関数Ｄ２Ｊｍ＝（Ｄ２Ｊ）ｎを満たす冪数ｎを探索し、探索結果を最終的な冪乗パラメータの値として変換部２９２に出力する。変換部２９２は、推定器２９１によって推定された冪乗パラメータｎを評価量の変換関数に適用して評価量Ｊを変換する。変換部２９２は、変換後の評価量Ｊｍを極値制御部２７に出力する。
【0132】
例えば、冪乗パラメータの推定を最急降下法のような方法で推定する場合、推定器２９１を、積分器を用いて構成することができる。また、推定器２９１は、冪乗パラメータｎを仮想的な操作量とみなして、目標値である定数Ｃ＝１と二階微分値Ｄ２Ｊｍ＝（Ｄ２Ｊ）ｎとの誤差をゼロにするようなＰＩＤ制御器を用いて構成されてもよい。
【0133】
なお、ここでは、勾配推定部２５ｂによって二階微分値が推定される場合について説明したが、勾配推定部２５ｂが一階微分値を推定する場合には、評価量変換部２９は、その勾配推定値が操作量に対して比例するように評価量を変換するように構成されてもよい。
【0134】
ただし、推定器２９１の目標値を定数Ｃ＝１とした場合には、図５に示した調整則において評価関数の勾配Ｇ（二階微分値）をＧ＝１と仮定して積分ゲインを決定する。もし、推定器２９１の目標値を定数Ｃ＝Ｇとした場合には、定数Ｃの値を用いて積分ゲインを決定する。
【0135】
図１１の説明に戻る。パラメータ決定部２６ｂは、ローパスフィルタの周波数、ハイパスフィルタの周波数、ディザー信号の周波数、ディザー信号の振幅及び積分ゲインの５つの制御パラメータを決定する点では第１の実施形態におけるパラメータ決定部２６と同様であるが、積分ゲインの決定に評価関数の勾配推定値を用いない点でパラメータ決定部２６と異なる。
【0136】
図１３は、第３の実施形態の最適制御装置２ｂによって実現される極値制御システム１ｂの構成例を示すブロック線図である。極値制御システム１ｂが図２に示した基本的な構成の極値制御システム９と異なる点は、勾配推定部２５ｂによって取得された評価関数の勾配推定値（一階微分値又は二階微分値）が制御対象プロセスＴＰの制御量に基づいて取得される評価量に適応的に作用する点である。具体的には、評価量変換部２９（図示せず）が勾配推定値に基づいて変換した評価量が極値制御システム１ｂに入力される。これにより、最適制御装置２ｂは、第１の実施形態の最適制御装置２と同様に、制御対象プロセスのダイナミクスに適応して極値制御をより安定的に動作させることが可能となる。
【0137】
図１４は、第１～第３の実施形態の最適制御装置によって得られる効果の具体例を示す図である。図１４（Ａ）は、実際には未知の評価関数の形状が二次関数、三次関数及び０．５次関数であると仮定し、従来の調整則で調整した制御パラメータに基づく極値制御をシミュレーションした結果を示す。また、図１４（Ｂ）は、同仮定の下で、本実施形態の調整方法で調整された制御パラメータに基づく極値制御をシミュレーションした結果を示す。具体的には、図１４（Ａ）のシミュレーションにおいては、特許文献１に記載された調整則に基づいて制御パラメータを調整した。図１４（Ａ）を見ても分かるように、従来の調整方法では、評価関数の形状が二次関数や三次関数である場合には極値探索に成功しているものの、評価関数の形状が０．５次関数である場合には探索性能が著しく劣化している。一方、本実施形態の調整方法では、図１４（Ｂ）を見ても分かるように、評価関数の形状に関わらず極値の探索成功している。
【0138】
実際の極値制御においては最適化したい評価関数の形状を予め知ることができない。そのため、従来の制御パラメータの調整方法では、評価関数の形状に依存して、極値（局所的な最適値）の探索性能が変化し、最悪の場合には制御が不安定になる可能性もあった。これに対して、本実施形態における制御パラメータの調整方法によれば、評価関数の形状がどのような形状であっても常に安定的に極値を探索することが可能になる。
【0139】
（変形例）
第１の実施形態の最適制御装置２は、勾配推定部２５によって推定された評価関数の勾配を示す勾配情報と、極値制御部２７によって決定された操作量を示す操作量情報と、を対応づけて、ＣＲＴ（Cathode Ray Tube）ディスプレイや液晶ディスプレイ、有機ＥＬ（Electro-Luminescence）ディスプレイ等の表示装置に表示させるための情報（以下「表示情報」という。）を生成する表示制御部（図示せず）を備えてもよい。図１５は、変形例の最適制御装置２において表示情報によって表示される画面の具体例を示す図である。表示情報は、図１５（Ａ）に示すように、時間軸に対して各値を別系列で示すものであってもよいし、各値を一つの系列で示すものであってもよい。また、表示情報は、図１５（Ｂ）に示すように、一方又は両方の値を相関する他の値に置き換えた形で各値を表示するものであってもよい。図１５（Ｂ）は、勾配情報を、評価量を示す情報で置き換えた例である。なお、図１５に示されるように、表示情報には、現在の動作点や現在時刻などを示す情報が含まれてもよい。
第１の実施形態の最適制御装置２は、勾配推定部２５によって推定された評価関数の勾配を示す勾配情報と、極値制御部２７によって決定された操作量を示す操作量情報と、を対応づけて、ＣＲＴ（Cathode Ray Tube）ディスプレイや液晶ディスプレイ、有機ＥＬ（Electro-Luminescence）ディスプレイ等の表示装置に表示させるための情報（以下「表示情報」という。）を生成する表示制御部（図示せず）を備えてもよい。図１５は、変形例の最適制御装置２において表示情報によって表示される画面の具体例を示す図である。表示情報は、図１５（Ａ）に示すように、時間軸に対して各値を別系列で示すものであってもよいし、各値を一つの系列で示すものであってもよい。また、表示情報は、図１５（Ｂ）に示すように、一方又は両方の値を相関する他の値に置き換えた形で各値を表示するものであってもよい。図１５（Ｂ）は、勾配情報を、評価量を示す情報で置き換えた例である。なお、図１５に示されるように、表示情報には、現在の動作点や現在時刻などを示す情報が含まれてもよい。
【0140】
なお、この場合、最適制御装置２は、表示情報を表示させるための表示装置を備えてもよいし、これらの表示装置を自装置に接続するインターフェースを備えてもよい。また、最適制御装置２は、表示情報を他の装置に送信するための通信インターフェースを備えてもよい。また、表示制御部は、第１の実施形態の最適制御装置２と同様に、第２又は第３の実施形態における最適制御装置２ａ又は２ｂに備えられてもよい。なお、第２の実施形態においては、表示される操作量は、極値制御部２７によって決定された操作量であってもよいし、操作量変換部２８によって変換された操作量であってもよい。
【0141】
以上説明した少なくともひとつの実施形態によれば、制御対象プロセスに関して観測される評価量に基づいて、操作量に対する評価量を示す未知の評価関数の変化率を示す勾配を推定する勾配推定部と、勾配推定部によって取得された勾配の推定値に基づいて、極値制御の実行に必要な制御パラメータ、操作量又は評価量を、評価関数の変化に適応して補正する補正部と、を持つことにより、制御対象プロセスのダイナミクスに適応して極値制御をより安定的に動作させることができる。
【0142】
なお、第１の実施形態においては、勾配推定値に基づいて推定器１４の積分ゲインを適応的に更新するパラメータ決定部２６が上記補正部の一例である。また、第２の実施形態においては、勾配推定値に基づいて操作量を適応的に変換する操作量変換部２８が上記補正部の一例である。また、第３の実施形態においては、勾配推定値に基づいて評価量を適応的に変換する評価量変換部２９が上記補正部の一例である。
【0143】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0144】
１，１ａ，１ｂ…極値制御システム、１１…ハイパスフィルタ、１２…ディザー信号出力部、１３…ローパスフィルタ、１４…推定器、９…極値制御システム（基本的な構成）、２，２ａ，２ｂ…最適制御装置、２１…ディザー信号出力部、２２…操作量出力部、２３…計測情報取得部、２４，２４ｂ…評価量算出部、２５，２５ａ，２５ｂ…勾配推定部、２６，２６ａ，２６ｂ…パラメータ決定部、２７…極値制御部、２８…操作量変換部、２９…評価量変換部、２９１…推定器、２９２…変換部、３…水処理プラント、３１…嫌気槽、３１１…薬品投入ポンプ、３１２…センサー、３２…無酸素槽、３３…好気槽、３３１…循環ポンプ、３３２…ブロワ、３４…最終沈澱池、３４１…返送汚泥ポンプ、３４２…余剰汚泥引き抜きポンプ、３４３…センサー
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】