▶ 東芝電機サービス株式会社の特許一覧 ▶ 株式会社東芝の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-11-25
(45)【発行日】2022-12-05
(54)【発明の名称】最適制御装置、最適制御方法及びコンピュータプログラム
(51)【国際特許分類】
G05B 13/02 20060101AFI20221128BHJP
【ＦＩ】
G05B13/02 K
【請求項の数】
11
(21)【出願番号】P 2021522795
(86)(22)【出願日】2020-05-27
(86)【国際出願番号】 JP2020020816
(87)【国際公開番号】W WO2020241657
(87)【国際公開日】2020-12-03
【審査請求日】2021-07-13
(31)【優先権主張番号】P 2019100408
(32)【優先日】2019-05-29
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】598076591
【氏名又は名称】東芝インフラシステムズ株式会社
(73)【特許権者】
【識別番号】000003078
【氏名又は名称】株式会社東芝
(74)【代理人】
【識別番号】100108855
【弁理士】
【氏名又は名称】蔵田 昌俊
(74)【代理人】
【識別番号】100103034
【弁理士】
【氏名又は名称】野河 信久
(74)【代理人】
【識別番号】100075672
【弁理士】
【氏名又は名称】峰 隆司
(74)【代理人】
【識別番号】100153051
【弁理士】
【氏名又は名称】河野 直樹
(74)【代理人】
【識別番号】100162570
【弁理士】
【氏名又は名称】金子 早苗
(72)【発明者】
【氏名】山中 理
(72)【発明者】
【氏名】大西 祐太
(72)【発明者】
【氏名】平岡 由紀夫
【審査官】稲垣 浩司
(56)【参考文献】
【文献】特開２０１７－３３１０４（ＪＰ，Ａ）
【文献】特開２０１７－２２４１７６（ＪＰ，Ａ）
【文献】特開２００１－１６７７５（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０５Ｂ １３／０２
(57)【特許請求の範囲】
【請求項1】
制御対象プロセスの制御量に基づく値であって前記制御対象プロセスの操作量に対して未知の評価関数によって表される値である評価量を、前記評価関数の最適値に近づけるように前記操作量を更新する極値制御を実行する最適制御装置であって、前記評価量を示す信号に基づいて前記評価関数のヤコビアンの推定値を算出するヤコビアン推定器と、
正則化後の前記ヤコビアンの推定値を積分することにより前記操作量を動かすべき方向及び量を決定する操作量決定部と、
前記評価量を示す信号に基づいて前記評価関数のヘシアンを推定するヘシアン推定器と、
前記評価関数のヘシアンの推定値に基づく値であって、分母が０とならないように調整された正則化信号を生成する正則化信号生成部と、
前記ヤコビアンの推定値の信号と前記正則化信号とを掛け合わせて前記ヤコビアンの推定値を正則化して前記操作量決定部に入力する正則化部と、を備える最適制御装置。
【請求項2】
前記正則化信号は、前記ヘシアンの推定値の絶対値のＮ乗値（Ｎ＞０）に微小な正の定数δを加算した値のＮ乗根、又は前記ヘシアンの推定値の絶対値のＭ－１乗値（Ｍ≧１）を、前記ヘシアンの推定値の絶対値のＭ乗値に微小な正の定数δを加算した値で除した値によって表される信号である、請求項１に記載の最適制御装置。
【請求項3】
制御対象プロセスの制御量に基づく値であって前記制御対象プロセスの操作量に対して未知の評価関数によって表される値である評価量を、前記評価関数の最適値に近づけるように前記操作量を更新する極値制御を実行する最適制御装置であって、
前記評価量を示す信号に基づいて前記評価関数のヤコビアンを推定するヤコビアン推定器と、
正則化後の前記ヤコビアンの推定値を積分することにより前記操作量を動かすべき方向及び量を決定する操作量決定部と、
前記評価関数の前記ヤコビアンの推定値に基づく値であって、分母が０とならないように調整された正則化信号を生成する正則化信号生成部と、
前記ヤコビアンの推定値の信号と前記正則化信号とを掛け合わせて、前記ヤコビアンの推定値を正則化して前記操作量決定部に入力する正則化部と、を備える最適制御装置。
【請求項4】
前記正則化信号は、前記ヤコビアンの推定値の絶対値のＮ乗値（Ｎ＞０）に微小な正の定数δを加算した値のＮ乗根、又は前記ヤコビアンの推定値の絶対値のＭ－１乗値（Ｍ≧１）を、前記ヤコビアンの推定値の絶対値のＭ乗値に微小な正の定数δを加算した値で除した値によって表される信号である、請求項３に記載の最適制御装置。
【請求項5】
前記正則化信号は、前記ヤコビアンの推定値の絶対値によって表される信号である、請求項３に記載の最適制御装置。
【請求項6】
前記正則化信号は、前記ヤコビアンの符号推定値を連続関数で近似した近似符号推定値によって表される信号である、請求項３に記載の最適制御装置。
【請求項7】
前記操作量決定部によって決定された操作量をフィードバックして前記正則化信号に掛け合わせることにより、極値から離れた動作点ほどより大きく極値方向に動かすように前記操作量を補正する操作量補正部をさらに備える、請求項４乃至６のいずれか１項に記載の最適制御装置。
【請求項8】
制御対象プロセスの制御量に基づく値であって前記制御対象プロセスの操作量に対して未知の評価関数によって表される値である評価量を、前記評価関数の最適値に近づけるように前記操作量を更新する極値制御を実行する方法であって、前記評価量を示す信号に基づいて前記評価関数のヤコビアンを推定するステップと、
前記評価量を示す信号に基づいて前記評価関数のヘシアンを推定するステップと、
前記評価関数のヘシアンの推定値に基づく値であって、分母が０とならないように調整された正則化信号を生成するステップと、
前記ヤコビアンの推定値の信号に前記正則化信号を掛け合わせて正則化するステップと、
正則化後の前記ヤコビアンの推定値を積分することにより前記操作量を動かすべき方向及び量を決定する操作量決定ステップと、
を有する最適制御方法。
【請求項9】
制御対象プロセスの制御量に基づく値であって前記制御対象プロセスの操作量に対して未知の評価関数によって表される値である評価量を、前記評価関数の最適値に近づけるように前記操作量を更新する極値制御を実行する最適制御装置として機能するコンピュータに、前記評価量を示す信号に基づいて前記評価関数のヤコビアンを推定するステップと、
前記評価量を示す信号に基づいて前記評価関数のヘシアンを推定するステップと、
前記評価関数のヘシアンの推定値に基づく値であって、分母が０とならないように調整された正則化信号を生成するステップと、
前記ヤコビアンの推定値の信号に前記正則化信号を掛け合わせて正則化するステップと、
正則化後の前記ヤコビアンの推定値を積分することにより前記操作量を動かすべき方向及び量を決定する操作量決定ステップと、
をコンピュータに実行させるためのコンピュータプログラム。
【請求項10】
制御対象プロセスの制御量に基づく値であって前記制御対象プロセスの操作量に対して未知の評価関数によって表される値である評価量を、前記評価関数の最適値に近づけるように前記操作量を更新する極値制御を実行する方法であって、
前記評価量を示す信号に基づいて前記評価関数のヤコビアンを推定するステップと、
前記評価関数のヤコビアンの推定値に基づく値であって、分母が０とならないように調整された正則化信号を生成するステップと、
前記ヤコビアンの推定値の信号に前記正則化信号を掛け合わせて正則化するステップと、
正則化後の前記ヤコビアンの推定値を積分することにより前記操作量を動かすべき方向及び量を決定する操作量決定ステップと、
を有する最適制御方法。
【請求項11】
制御対象プロセスの制御量に基づく値であって前記制御対象プロセスの操作量に対して未知の評価関数によって表される値である評価量を、前記評価関数の最適値に近づけるように前記操作量を更新する極値制御を実行する最適制御装置として機能するコンピュータに、
前記評価量を示す信号に基づいて前記評価関数のヤコビアンを推定するステップと、
前記評価関数のヤコビアンの推定値に基づく値であって、分母が０とならないように調整された正則化信号を生成するステップと、
前記ヤコビアンの推定値の信号に前記正則化信号を掛け合わせて正則化するステップと、
正則化後の前記ヤコビアンの推定値を積分することにより前記操作量を動かすべき方向及び量を決定する操作量決定ステップと、
をコンピュータに実行させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、最適制御装置、最適制御方法及びコンピュータプログラムに関する。
【背景技術】
【0002】
近年、プラント制御の方法として、極値制御と呼ばれる技術が注目されている。極値制御は、プラントの複雑なモデルを用いないモデルフリーのリアルタイム最適制御技術である。極値制御の概要は、操作量を強制的に変化させることにより、制御対象プロセスの制御量に基づく評価量が最適化される操作量を探索していくものである。このような極値制御をプラント制御に適用する場合、極値制御に係る各種のパラメータ（以下「極値制御パラメータ」という。）を制御対象プロセスの特性に応じて適切に設定する必要がある。従来、極値制御パラメータの設計に関する指針がいくつか示されているが、そのいずれも制御対象プロセスの時間的な変化（以下「ダイナミクス」という。）に適応して極値制御を安定的に動作させることができるまでには至っていない。
【先行技術文献】
【特許文献】
【0003】
【文献】日本国特開２０１７－０３３１０４号公報
【非特許文献】
【0004】
非特許文献1：D.Nesic et. al., ‘A Unifying Approach to Extremum Seeking: Adaptive Schemes Based on Estimation of Derivatives’, Proc. 49th IEEE Conference on Decision and Control, December 15-17, 2010）
非特許文献2：Yan et al, On the choice of dither in extremum seeking systems: A case study, Automatica, 44, pp.1446-1450 (2008)
非特許文献2：Yan et al, On the choice of dither in extremum seeking systems: A case study, Automatica, 44, pp.1446-1450 (2008)
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明が解決しようとする課題は、制御対象プロセスのダイナミクスに適応して極値制御をより安定的に動作させることができる最適制御装置、最適制御方法及びコンピュータプログラムを提供することである。
【課題を解決するための手段】
【0006】
実施形態の最適制御装置は、制御対象プロセスの制御量に基づく値であって前記制御対象プロセスの操作量に対して未知の評価関数によって表される値である評価量を、前記評価関数の最適値に近づけるように前記操作量を更新する極値制御を実行する最適制御装置である。最適制御装置は、第１の勾配推定部と、操作量決定部と、第２の勾配推定部と、パラメータ調整部と、を持つ。第１の勾配推定部は、前記評価量を示す信号に基づいて前記評価関数のヤコビアンを推定する。操作量決定部は、前記ヤコビアンの推定値を積分することにより前記操作量を動かすべき方向及び量を決定する。第２の勾配推定部は、前記評価量を示す信号に基づいて前記評価関数のヘシアンを推定する。パラメータ調整部は、前記操作量決定部に入力される前記ヤコビアンの推定値を、前記評価関数のヤコビアン又はヘシアンの推定値に基づく値であって０とならないように調整された正則化信号で除することにより、前記操作量決定部の積分ゲインを前記評価関数の変化に応じて調整する。
【図面の簡単な説明】
【0007】
【実施形態】
【0008】
以下、実施形態の最適制御装置、最適制御方法及びコンピュータプログラムを、図面を参照して説明する。
【0009】
（第１の実施形態）［極値制御の概略］
図１Ａ乃至図１Ｃは、極値制御の基本的な概念を説明する図である。
極値制御は、操作量に対する評価量の変化を観測しながら、評価量を最適値に近づける方向に操作量を更新していく制御方法である。評価量は、制御対象となるプロセス（以下「制御対象プロセス」という。）の最適化の指標となる値であり、制御対象プロセスの制御量に基づいて決定される。例えば、評価量は制御量を変数とする所定の評価関数によって表される。評価量は、制御量に基づく値であればどのような評価基準に基づいて定義されてもよい。例えば、評価量は制御量そのものであってもよい。一般に、極値制御において、制御対象プロセスの評価関数は操作量に対して未知の関数であってよい。
図１Ａ乃至図１Ｃは、極値制御の基本的な概念を説明する図である。
極値制御は、操作量に対する評価量の変化を観測しながら、評価量を最適値に近づける方向に操作量を更新していく制御方法である。評価量は、制御対象となるプロセス（以下「制御対象プロセス」という。）の最適化の指標となる値であり、制御対象プロセスの制御量に基づいて決定される。例えば、評価量は制御量を変数とする所定の評価関数によって表される。評価量は、制御量に基づく値であればどのような評価基準に基づいて定義されてもよい。例えば、評価量は制御量そのものであってもよい。一般に、極値制御において、制御対象プロセスの評価関数は操作量に対して未知の関数であってよい。
【0010】
具体的には、極値制御では、操作量を示す信号にディザー信号を作用させることによって操作量を変化させる。ディザー信号は、値が周期的に変化する信号であり、通常は正弦波で与えられることが多い。極値制御では、ディザー信号によって操作量を継続的に振動させ、それによって生じる評価量の変化（増減）を観測する。そして、観測された評価量の変化に基づいて、評価関数の最適値（最大値又は最小値）に近づくように評価量を変化させる新たな操作量を算出し、算出した新たな操作量で現在の操作量を更新する。極値制御は、このような評価量の観測及び操作量の更新を繰り返すことによって評価関数の最適値を探索していく制御方法である。
【0011】
例えば、図１Ａは、操作量に対して未知の評価関数の一例として下に凸の二次関数を想定した評価関数曲線ＥＶを示す。また、図１Ｂは、制御対象プロセスの操作量をディザー信号で振動させた結果、評価量を示す信号がディザー信号とは逆位相で変化した場合（例えば操作量の増加に対して評価量が減少する）を示す。このような変化は、動作点が例えば評価関数曲線ＥＶの極小点Ｐ１０より左側の領域で変化する場合（例えば動作点Ｐ１１から極小点Ｐ１０に向かって変化する場合）に起こる。
【0012】
一方、図１Ｃは、図１Ｂと同様のディザー信号で制御対象プロセスの操作量を変化させた結果、評価量を示す信号がディザー信号と同位相で変化した場合（例えば操作量の増加に対して評価量も増加する）を示す。このような変化は、動作点が例えば評価関数曲線ＥＶの極小点Ｐ１０より右側の領域で変化する場合（例えば動作点Ｐ１２から極小点Ｐ１０に向かって変化する場合）に起こる。
【0013】
したがって、操作量を周期的に増減させた結果、評価量が操作量と同位相で増減する場合には操作量を減少させ、評価量が操作量と逆位相で増減する場合には操作量を増加させることによって、評価量を最適値に近づけることができる。従来、産業用プラントの制御方式として一般的に用いられてきたＰＩＤ制御（Proportional-Integral-Derivative Control）は、制御量が予め設定された目標値に追従するように操作量を制御する目標値追従型の制御方式であった。これに対して、極値制御は、評価量を最適化する最適値探索型の制御方式であるため、ＰＩＤ制御のように制御対象プロセスについて操作量と制御量との関係性を表すプロセスモデルを予め作成しておく必要がない。このような性質を有する極値制御は、目標値を予め設定できないような制御対象プロセスについても有効に機能させることができるため今後広く普及する可能性を秘めている。その一方で、極値制御を実現する極値制御システムは、次の図２に示すように比較的簡単な構成で実現することができる。
【0014】
図２は、極値制御システムの基本的な構成例を示す図である。
図２の極値制御システム９は、変調用ディザー信号出力部１１、ハイパスフィルタ１２（ＨＰＦ:High-Pass Filter）、復調用ディザー信号出力部１３、ローパスフィルタ１４（ＬＰＦ：Low-Pass Filter）、及び積分器１５を備える。このように極値制御システム９の構成は、従来のＰＩＤ制御コントローラと比較しても同程度の複雑さである。そのため、極値制御システム９は、ＰＩＤ制御コントローラと同様に、ＰＬＣ（Programmable Logic Controller）等のハードウェアを用いて容易に実装可能である。以下、図２の極値制御システム９の動作の概要について説明する。なお、ここでは、最適値として評価関数の極小値を探索する場合を例に説明する。
図２の極値制御システム９は、変調用ディザー信号出力部１１、ハイパスフィルタ１２（ＨＰＦ:High-Pass Filter）、復調用ディザー信号出力部１３、ローパスフィルタ１４（ＬＰＦ：Low-Pass Filter）、及び積分器１５を備える。このように極値制御システム９の構成は、従来のＰＩＤ制御コントローラと比較しても同程度の複雑さである。そのため、極値制御システム９は、ＰＩＤ制御コントローラと同様に、ＰＬＣ（Programmable Logic Controller）等のハードウェアを用いて容易に実装可能である。以下、図２の極値制御システム９の動作の概要について説明する。なお、ここでは、最適値として評価関数の極小値を探索する場合を例に説明する。
【0015】
まず、変調用ディザー信号出力部１１は、ディザー信号を作用させることにより、制御対象プロセスの操作量に対して強制的な変化を与える。例えば、変調用ディザー信号出力部１１は、正弦波等のディザー信号を作用させることにより、制御対象プロセスの操作量を周期的に変化させる。以下、この操作をモジュレーション（Modulation：変調）といい、モジュレーションに用いられるディザー信号を変調用ディザー信号という。このモジュレーションによる操作量の変化に応じて制御量が変化する。制御対象プロセスは、このように変化する制御量に基づいて評価量を取得し、取得した評価量を極値制御システム９にフィードバックする。
【0016】
一般に、制御量は操作量の変化に対してある程度の時間遅れを伴って変化することが多いため、制御量に基づいて取得される評価量も操作量の変化に対してある程度の時間遅れを伴って変化するものとなる。なお、制御量に基づいて評価量を取得する機能は、必ずしも制御対象プロセスに含まれる必要はない。例えば、評価量を取得する機能は、極値制御システム９に含まれてもよいし、制御対象プロセスと極値制御システム９との間に介在しうる他の装置によって実現されてもよい。
【0017】
極値制御システム９は、このようにフィードバックされる評価量に基づいて、評価量を評価関数の極値に近づけるように操作量を更新する。この場合、制御対象プロセスの評価関数が極小値を持つことが前提となるが、上述のとおり、評価関数は操作量に対して未知の関数であるため、その極値も操作量に対して未知である。そのため、極値制御システム９は、モジュレーションに応じて変化した評価量の変化の大きさ及び方向をフィードバックされる評価量の信号に基づいて観測し、観測された変化の大きさ及び方向に基づいて新たな操作量を決定する。
【0018】
具体的には、この新たな操作量の決定は、ハイパスフィルタ１２、復調用ディザー信号出力部１３、ローパスフィルタ１４、及び積分器１５が以下の各機能を有することによって実現される。
【0019】
ハイパスフィルタ１２は、フィードバックされる評価量の信号から未知の極小値に応じた一定値のバイアスを除去する。この処理はすなわち、未知の極小値を常にゼロに調整するための処理であり、後述する積分器１５が操作量を更新する方向（増加又は減少）を決定するための前処理である。
【0020】
復調用ディザー信号出力部１３は、このように調整された評価量の信号に対して復調用のディザー信号を作用させることにより、操作量のモジュレーションに応じて変化した評価量から変調用ディザー信号と同じ周波数成分を抽出する。以下、この操作をデモジュレーション（Demodulation：復調）といい、デモジュレーションに用いられるディザー信号を復調用ディザー信号という。デモジュレーションの役割は以下のとおりである。
【0021】
操作量に対して未知の評価関数には非線形要素が含まれている場合がある。この場合、評価関数は下に凸（極大値探索の場合は上に凸）の非線形関数であると想定される。このような非線形要素に起因して、評価量には変調用ディザー信号の周波数ωに応じた高調波成分や分調波成分が現れる可能性が高いと考えられる。デモジュレーションは、このような高調波や分調波の影響を取り除くための処理である。このデモジュレーションにより、評価量の信号に含まれる成分のうち、評価量を変化させた変調用ディザー信号と同じ周波数ωの成分が抽出される。
【0022】
復調された評価量の信号は、ローパスフィルタ１４に入力される。ローパスフィルタ１４によって、評価量の信号から定常成分（低周波成分）が抽出される。具体的には、定常成分は、評価関数の一階微分値（以下「ヤコビアン」という。）を示し、モジュレーションによる評価量の変化の方向（増加又は減少）を表すと考えられる。
【0023】
積分器１５は、ローパスフィルタ１４によって抽出された定常成分を積分する。積分器１５は、定常成分の積分値に基づいて、評価量を極小値に近づけるために動かすべき操作量の方向（以下「探索方向」という。）を推定する推定器として機能する。このようにして探索方向を推定する方法は一般に勾配法と呼ばれ、適応制御系において探索方向を推定する基本的な方法の１つである。
【0024】
具体的には、積分器１５は、定常成分の積分値に基づいて評価関数の勾配を推定し、推定した勾配の値に基づいて操作量の探索方向、及び探索方向に動かす操作量の大きさ（操作量を動かす量）を調整する。このように調整された操作量は、変調用ディザー信号によって変調されて制御対象プロセスに入力される。
【0025】
なお、ここでは、極値制御システム９が極小値を探索する場合を想定して、その構成を説明したが、極値制御システム９により極大値を探索する場合には、積分器１５が推定する勾配の符号を反転させればよい。また、一般に、積分器はローパス特性を有するため、積分器１５が十分なローパス特性を有する場合には、極値制御システム９は必ずしもローパスフィルタ１４を備える必要はない。
【0026】
このような構成により実現される極値制御システム９は、従来のプロセス制御において一般的であったＰＩＤ制御システムと比較しても同程度の複雑さであるため、ＰＩＤ制御システムと同様にＰＬＣ（Programmable Logic Controller）等のハードウェアを用いて容易に実装可能である。
【0027】
以上、極値制御システムの基本的な構成について説明したが、このような従来の極値制御システムには、必ずしも制御対象プロセスのダイナミクスに適応した極値制御を実現することができないという課題があった。そこで以下では、このような課題を解決することができる実施形態の極値制御システムの構成について詳細に説明する。
【0028】
［実施形態の詳細］
図３は、第１の実施形態の極値制御システム１の構成例を示す図である。
図３に示すプラントＰは制御対象プロセスを実現する手段の一例であり、例えば、生物学的排水処理プロセスを実現する水処理プラントである。プラントＰは、制御対象プロセスを実現する各種のプロセス機器を備え、極値制御システム１から入力する操作量に基づいてプロセス機器を動作させる。また、プラントＰは、制御対象プロセスの制御量を計測する各種の計測機器を含み、その計測値を示す情報（以下「計測情報」という。）を極値制御システム１に出力する。極値制御システム１は、プラントＰから取得される計測情報に基づいて、制御対象プロセスの評価量を最適値に近づける方向（探索方向）に操作量を更新していく。
図３は、第１の実施形態の極値制御システム１の構成例を示す図である。
図３に示すプラントＰは制御対象プロセスを実現する手段の一例であり、例えば、生物学的排水処理プロセスを実現する水処理プラントである。プラントＰは、制御対象プロセスを実現する各種のプロセス機器を備え、極値制御システム１から入力する操作量に基づいてプロセス機器を動作させる。また、プラントＰは、制御対象プロセスの制御量を計測する各種の計測機器を含み、その計測値を示す情報（以下「計測情報」という。）を極値制御システム１に出力する。極値制御システム１は、プラントＰから取得される計測情報に基づいて、制御対象プロセスの評価量を最適値に近づける方向（探索方向）に操作量を更新していく。
【0029】
このような極値制御の基本的な動作は、実施形態の極値制御システム１が、従来構成の極値制御システム９と同様の変調用ディザー信号出力部１１、ハイパスフィルタ１２、復調用ディザー信号出力部１３、ローパスフィルタ１４、積分器１５を備えることによって実現される。その一方で、実施形態の極値制御システム１は、評価量信号に基づいて極値制御パラメータを調整するパラメータ調整部２を備える点で従来構成の極値制御システム９と異なる。
【0030】
例えば、極値制御システム１は、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備え、極値制御プログラムを実行する。極値制御システム１は、極値制御プログラムの実行によって上記の各機能部を備える装置又はシステムとして機能する。なお、極値制御システム１の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されてもよい。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。プログラムは、電気通信回線を介して送信されてもよい。
【0031】
パラメータ調整部２は、制御対象プロセスのダイナミクスに対して適応的に極値制御パラメータを調整する機能を有する。具体的には、パラメータ調整部２は、ダイナミクスにより時々刻々と変化する評価関数の勾配推定値に基づいて積分器１５の積分ゲインを適応的に調整する。
【0032】
図４は、第１の実施形態における極値制御パラメータの調整方法の具体例を示す図である。具体的には、図４は、特許文献１に記載の調整方法を引用したものである。
図４のＮｏ．５に記載のとおり、本実施形態におけるパラメータ調整部２は、制御対象プロセスからフィードバックされる評価量に基づいて評価関数の二階微分値（以下「ヘシアン」という。）を推定し、推定したヘシアンの値を用いて新たな積分ゲインを決定する。このような積分ゲインの調整のため、パラメータ調整部２は、第１乗算器２１、勾配推定部２２、正則化信号出力部２３、及び第２乗算器２４を備える。
図４のＮｏ．５に記載のとおり、本実施形態におけるパラメータ調整部２は、制御対象プロセスからフィードバックされる評価量に基づいて評価関数の二階微分値（以下「ヘシアン」という。）を推定し、推定したヘシアンの値を用いて新たな積分ゲインを決定する。このような積分ゲインの調整のため、パラメータ調整部２は、第１乗算器２１、勾配推定部２２、正則化信号出力部２３、及び第２乗算器２４を備える。
【0033】
第１乗算器２１は、ハイパスフィルタ１２から入力する評価量信号にディザー信号（の二乗信号）を乗算して勾配推定部２２に出力する。勾配推定部２２は、第１乗算器２１の出力信号からヘシアン信号Ｈ（ｔ）を抽出して正則化信号出力部２３に出力する。この場合、例えば勾配推定部２２は、非特許文献１に記載されている方法を用いて評価関数の０階以上の微分値を推定することができる。すなわち、勾配推定部２２は、評価関数のヘシアンを推定するヘシアン推定器として機能し得る。具体的には、非特許文献１には、ローパスフィルタを用いて評価関数の０階以上の微分値を推定する構成が記載されており、その基本的な考え方は以下のとおりである。
【0034】
一般に、操作量には高調波成分や分調波成分が含まれる場合があるが、ディザー信号が正弦波で与えられる場合、変調後の操作量も概ねディザー信号と同じ周波数で正弦波状に変化する。そこで、操作量ＵがＵ（ｔ）＝Ｕ０＋ａ×sinωtという正弦波状に変化すると仮定し、その操作量に応じて変化する評価量が式（１）に示す評価関数Ｊで表されると仮定する。
【0035】
【数1】
【0036】
式（１）は、評価量Ｊ（ｔ）を操作量Ｕ（ｔ）についての（未知の）関数として定義するものである。プラントのダイナミクスを考慮すれば、正確にはｆは関数ではなく動的システムの作用素（オペレータ）とされるべきであるが、ディザー信号の周波数ωがプラントのダイナミクスに対して十分に緩やかな変化をもたらす場合にはｆを近似的に関数とみなすことができる。本実施形態では、このような前提のもとでfを関数とみなす。式（１）をテーラー展開することにより式（２）が得られる。
【0037】
【数2】
【0038】
ここで、Ｄ
ｋ
ｆ（ｋは１以上の整数）は、関数fのＵに関するｋ階微分を意味する。この式（２）にｓｉｎ
ｎ
ωｔ（ｎは１以上の整数）をかけることにより式（３）が得られる。さらに、式（３）に対して周期平均処理を施す（又は時間積分する）と、正弦波の直交性によりｓｉｎ
ｎ
ωｔに関する成分のみが残り、式（４）が得られる。
【0039】
【数3】
【0040】
【数4】
【0041】
ここで、ディザー信号の振幅ａと冪数ｎが定数であることから、ｎ階微分Ｄ
ｎ
ｆの値が１制御周期で大きく変化しないと仮定すれば、式（４）は式（５）及び（６）のように表すことができる。そして、式（５）から逆算することによって、ｎ階微分Ｄ
ｎ
ｆを表す式（７）を得ることができる。
【0042】
【数5】
【0043】
【数6】
【0044】
【数7】
【0045】
図５及び図６は、式（７）で表される勾配推定器の構成例を示す図である。
具体的には、図５はヤコビアン推定器の構成例（すなわちｎ＝１の場合）を示し、ディザー信号ｓｉｎωｔを作用させた評価量信号Ｊ（ｔ）をローパスフィルタで処理した後に２／ａ倍することによって評価関数のヤコビアンを得る構成を表している。なお、この構成は、積分ゲインＫＩを有する積分器１５に対して新たな積分ゲインＫＩｍｏｄ＝ＫＩ×（ａ／２）を定義したことに相当するため、図２に示した従来の基本的な極値制御システムは、ローパスフィルタ１４によって評価関数のヤコビアンを推定する構成であるとみなすことができる。
具体的には、図５はヤコビアン推定器の構成例（すなわちｎ＝１の場合）を示し、ディザー信号ｓｉｎωｔを作用させた評価量信号Ｊ（ｔ）をローパスフィルタで処理した後に２／ａ倍することによって評価関数のヤコビアンを得る構成を表している。なお、この構成は、積分ゲインＫＩを有する積分器１５に対して新たな積分ゲインＫＩｍｏｄ＝ＫＩ×（ａ／２）を定義したことに相当するため、図２に示した従来の基本的な極値制御システムは、ローパスフィルタ１４によって評価関数のヤコビアンを推定する構成であるとみなすことができる。
【0046】
一方図６はヘシアン推定器の構成例（すなわちｎ＝２の場合）を示し、ディザー信号の二乗信号ｓｉｎ２ωｔを作用させた評価量信号Ｊ（ｔ）をローパスフィルタで処理した後に１６倍した第１の信号から、評価量信号Ｊ（ｔ）をローパスフィルタで処理して８倍した第２の信号を減算して１／ａ
２
倍することによって評価関数のヘシアンを得る構成を表している。
【0047】
なお、パラメータ調整部２は、このような方法で推定した評価関数のヘシアンをそのまま用いて積分ゲインを調整することもできるが、その場合、後述する理由により極値制御が不安定化する可能性がある。そこで、本実施形態の極値制御システム１では、ローパスフィルタ１４によって推定されたヤコビアンをヘシアンの推定値に基づいて正則化し、正則化後のヤコビアン信号を積分器１５に供給する。これにより、本実施形態の極値制御システム１は、極値制御の不安定化を回避しつつ、積分ゲインを適応的に更新することが可能となる。
【0048】
具体的には、正則化信号出力部２３が、勾配推定部２２の出力するヤコビアン信号を正則化（Regularization）する信号（以下「正則化信号」という。）を生成して第２乗算器２４に出力する。第２乗算器２４は、ローパスフィルタ１４からヤコビアン信号Ｇ（ｔ）を、正則化信号出力部２３から正則化信号を、それぞれ入力し、ヤコビアン信号に正則化信号を掛け合わせることによりヤコビアン信号を正則化する。第２乗算器２４は、正則化後のヤコビアン信号Ｇｎ（ｔ）を積分器１５に供給する。
【0049】
［正則化信号を生成する第１の方法］
一般に信号の「正則化」とは、対象の信号に対して何らかの逆算を行おうとした場合に、逆が存在せず、逆算ができなくなるといった悪条件(ill-condition)を回避することを意味する。例えば、このような悪条件の一例として、割り算における「ゼロ割り」などが挙げられる。
一般に信号の「正則化」とは、対象の信号に対して何らかの逆算を行おうとした場合に、逆が存在せず、逆算ができなくなるといった悪条件(ill-condition)を回避することを意味する。例えば、このような悪条件の一例として、割り算における「ゼロ割り」などが挙げられる。
【0050】
一方で、図４に示したとおり、本実施形態の極値制御システム１は評価関数のヘシアンを用いて積分器１５の積分ゲインを適応的に更新していくものであるが、これは各制御周期の積分ゲインを、評価関数のヤコビアンをヘシアンで割る（正規化する）ことによって得られる一定値に固定して極値制御を実行することと等価的に置き換えることができる。すなわち、本実施形態における極値制御システム１の構成は、図２に示した基本的な構成に対して、ヤコビアンをヘシアンで正規化する構成を付加したものとみなすことができる。
【0051】
そこで、本実施形態では、ヤコビアン信号の「正規化（Normalization）」において「ゼロ割り」等の悪条件を回避することを「正則化」と定義し、ヤコビアン信号に作用してこのような正則化を実現する信号を正則化信号として生成する。具体的には、正則化信号出力部２３は、以下の各条件を満たす信号変換（⇔）を実現する信号を正則化信号として生成する。
【0052】
［条件１］Ｇ（ｔ）＝０ ⇔ Ｇｎ（ｔ）＝０
［条件２］Ｇ（ｔ）が正（負） ⇔ Ｇｎ（ｔ）が正（負）
［条件３］Ｇ（ｔ）＜∞ ⇔ Ｇｎ（ｔ）＜∞
［条件４］Ｇ（ｔ）→∞ ⇔ Ｇｎ（ｔ）→ｋ （０＜ｋ＜∞）
［条件２］Ｇ（ｔ）が正（負） ⇔ Ｇｎ（ｔ）が正（負）
［条件３］Ｇ（ｔ）＜∞ ⇔ Ｇｎ（ｔ）＜∞
［条件４］Ｇ（ｔ）→∞ ⇔ Ｇｎ（ｔ）→ｋ （０＜ｋ＜∞）
【0053】
Ｇ（ｔ）はヤコビアン信号を表し、Ｇｎ（ｔ）は正則化信号の作用によって正則化された（すなわちヘシアンで割り算された）ヤコビアン信号を表す。［条件１］はＧ（ｔ）が０のときに限りＧｎ（ｔ）も０となるという条件を表している。［条件２］はＧ（ｔ）とＧｎ（ｔ）の符号は同じであるという条件を表している。［条件３］はＧ（ｔ）が有限のときはＧｎ（ｔ）も有限となる（すなわちゼロ割りが起こらない）という条件を表している。［条件４］はＧ（ｔ）が∞に発散したときにはＧｎ（ｔ）は∞に発散せず、ある正の有限値に収束するという条件を表している。このような性質を有する正則化信号は、例えば式（８）で表される。
【0054】
【数8】
【0055】
式（８）におけるδは正の定数（δ＞０）であり、いわゆる正則化定数を表す。Ｈ（ｔ）は推定された評価関数のヘシアンを表す。式（８）によって表される正則化信号は、ヘシアン信号に正則化定数δを加える処理と、ヘシアン信号の絶対値をとる処理とによって生成することができるため、装置の大型化を抑制しつつ極値制御の安定性を向上させることができる。
【0056】
例えば、極値制御によって最小値（極小値）を探索する場合、極値近傍でヘシアンが正の値をとる下に凸なＭ次（Ｍ＞１）の評価関数や、極値近傍でヘシアンが負の値となる上に凸なＭ次（０＜Ｍ＜１）の評価関数についても安定して極値を探索することが可能になる。
【0057】
なお、ヘシアンを用いて生成される正則化信号は、必ずしも式（８）のようなヘシアンの一乗関数によって表されるものである必要は無い。例えば、正則化信号は式（９）や式（１０）のようなヘシアンの二乗関数によって表されるものであってもよいし、式（１１）や式（１２）のようなヘシアンのＭ乗（Ｍ＝１，２，３，…）関数によって表されるものであってもよい。
【0058】
【数9】
【0059】
【数10】
【0060】
【数11】
【0061】
【数12】
【0062】
図７及び図８は、第１の方法によって正則化信号を生成する極値制御システムの構成例を示す図である。具体的には、図７は、式（８）で表される正則化信号によって正則化されたヤコビアン信号Ｇｎ（ｔ）を積分器１５に入力する構成例を示す。また、図８は、式（９）で表される正則化信号によって正則化されたヤコビアン信号Ｇｎ（ｔ）を積分器１５に入力する構成例を示す。
【0063】
［正則化信号を生成する第２の方法］
第１の方法では、正則化信号の生成にヘシアン信号を用いるため、評価関数のヘシアンを推定する何らかの機構が必要となる。例えば、図７及び図８に示した極値制御システム１においては、評価量の信号からヘシアン信号を生成するための第１乗算器２１及び勾配推定部２２（例えばローパスフィルタ）が必要となる。これに対して、第２の方法は、ヘシアンの推定値に代えてヤコビアンの推定値を用いることで、第１乗算器２１及び勾配推定部２２を備えずに正則化信号を生成する方法である。例えば、第２の方法によって生成される正則化信号は式（１３）で表される。
第１の方法では、正則化信号の生成にヘシアン信号を用いるため、評価関数のヘシアンを推定する何らかの機構が必要となる。例えば、図７及び図８に示した極値制御システム１においては、評価量の信号からヘシアン信号を生成するための第１乗算器２１及び勾配推定部２２（例えばローパスフィルタ）が必要となる。これに対して、第２の方法は、ヘシアンの推定値に代えてヤコビアンの推定値を用いることで、第１乗算器２１及び勾配推定部２２を備えずに正則化信号を生成する方法である。例えば、第２の方法によって生成される正則化信号は式（１３）で表される。
【0064】
【数13】
【0065】
ここでＧ（ｔ）は、勾配推定部２２によって推定された評価関数のヤコビアン、又はヤコビアンに比例する量を表す。なお、第２の方法で生成される正則化信号は、必ずしもヤコビアンの一乗関数で表されるものである必要はない。例えば、第２の方法で生成される正則化信号は、第１の方法と同様に、ヤコビアンのＭ乗（Ｍ＝１，２，３，…）関数によって表されるものであってもよい（例えば式（１４）及び（１５））。
【0066】
【数14】
【0067】
【数15】
【0068】
図９及び図１０は、第２の方法によって正則化信号を生成する極値制御システムの構成例を示す図である。具体的には、図９は、式（１３）で表される正則化信号によって正則化されたヤコビアン信号Ｇｎ（ｔ）を積分器１５に入力する構成例を示す。また、図１０は、式（１４）で表される正則化信号（Ｍ＝２の場合）によって正則化されたヤコビアン信号Ｇｎ（ｔ）を積分器１５に入力する構成例を示す。このような第２の方法によれば、ヤコビアン信号の正則化のために極値制御システムの構成が複雑化することを抑制することができる。
【0069】
［正則化信号を生成する第３の方法］
第３の方法は、式（１３）～（１５）においてδ＝０とすることにより第２の方法をより簡略化した方法である。この場合、第３の方法によって生成される正則化信号は式（１６）で表される。
第３の方法は、式（１３）～（１５）においてδ＝０とすることにより第２の方法をより簡略化した方法である。この場合、第３の方法によって生成される正則化信号は式（１６）で表される。
【0070】
【数16】
【0071】
第１及び第２の方法においてδ（＞０）はゼロ割りを回避するように働くため、このδを０とすると、Ｇ（ｔ）＝０のときにＲＳが無限大に発散してしまい、正則化後のヤコビアン信号Ｇｎ（ｔ）も同様に発散してしまう。このような信号は、そもそも正則化信号としての条件１～４を満たしていないため、本来は正則化信号として用いるべきものではないが、ヤコビアン信号の正則化を式（１７）のように定義する場合には正則化信号として用いることができる。
【0072】
【数17】
【0073】
式（１７）は、ヤコビアン信号を式（１６）の正則化信号ＲＳで割ることをヤコビアン信号の正則化と定義することを表している。これは、ヤコビアン信号をヤコビアン信号の絶対値で割る操作であるから、式（１７）におけるＧｎ（ｔ）は－１又は＋１のいずれかの値をとる。すなわち、第３の方法によって生成される正則化信号とは、ヤコビアン信号に作用してその符号情報（－１又は＋１）を抽出する信号であると言える。このため、式（１７）に定義した正則化を行う場合には、式（１６）によって表される信号は原理的には正則化信号として機能する。
【0074】
なお、このような正則化の目的が符号情報を抽出することであることからすれば、ヤコビアン信号の符号情報を抽出することができれば、実際にＧ（ｔ）をその絶対値｜Ｇ（ｔ）｜で割り算する処理は必ずしも必要ない。そのため、この場合の正則化信号出力部２３は、ｓｇｎ（Ｇ（ｔ））を直接的に計算するように構成されてもよい。また、このような構成にすることによりゼロ割りの発生を回避することができる。ここでｓｇｎ（ｘ）は値ｘの符号を返す関数を表している。
【0075】
図１１は、第１の実施形態において、第３の方法によって正則化信号を生成する極値制御システムの構成例を示す図である。
このように抽出される符号情報は、単純に操作量を動かすべき方向（増加又は減少）のみを示す信号となる。そのため、このような正則化の構成を備えることにより、例えば図１１に示すような簡易な極値制御システムを構成することが可能になる。なお、この場合、各制御周期において操作量を変化させる量は一定値となるため、ｓｇｎ（Ｇ（ｔ））に係数を乗じるなどして、その変化量が所望量となるように調整してもよい。
このように抽出される符号情報は、単純に操作量を動かすべき方向（増加又は減少）のみを示す信号となる。そのため、このような正則化の構成を備えることにより、例えば図１１に示すような簡易な極値制御システムを構成することが可能になる。なお、この場合、各制御周期において操作量を変化させる量は一定値となるため、ｓｇｎ（Ｇ（ｔ））に係数を乗じるなどして、その変化量が所望量となるように調整してもよい。
【0076】
なお、式（１３）だけでなく、式（１４）や式（１５）においてもδ＝０とすることで式（１６）が得られることからすれば、式（１３）～（１５）はδ＞０をパラメータとして式（１６）の作用を調整するものと考えることができる。実際、ｓｇｎ（）による正則化では操作量を動かすべき方向のみが与えられるため、パラメータが十分適切に調整されていない場合には極値近傍でチャタリングを生じる可能性がある。この場合、式（１６）をδ＞０によって調整した式（１３）～（１５）を用いて生成した正則化信号は、極値近傍でのチャタリングを抑制するようにヤコビアン信号に作用すると考えられる。
【0077】
第２乗算器２４は、このようにして生成される正則化信号を乗じることによりヤコビアン信号Ｇ（ｔ）を正則化し、正則化後のヤコビアン信号Ｇｎ（ｔ）を積分器１５に出力する。このようなパラメータ調整部２によるヤコビアン信号の正則化は式（１８）によって表される。
【0078】
【数18】
【0079】
パラメータ調整部２は、このようにして正則化されたヤコビアン信号を用いて積分器１５の積分ゲインを適応的に更新する。一般に、極値制御において操作量を動かすべき方向は、操作量に対して未知である評価関数について推定された勾配（ヤコビアン）の符号によって表され、その動かす量は積分ゲインによって調整される。ここでは、非特許文献２などに記載されているアベレージシステム（平均システム）の考え方に基づいて積分ゲインを調整する方法について説明する。
【0080】
アベレージシステムとは、あるシステムに周期的な入力が加えられたときに、その周期平均（アベレージ）をとったシステムの動的な挙動を表すシステムである。一般に、アベレージシステムは極値制御システムの安定性解析などにおいて用いられる。例えば、非特許文献２には、ダイナミクスを持たないスタティックなプラントの極値制御システムについて、そのアベレージシステムのダイナミクスが具体的に記載されている。そのアベレージシステムは式（１９）及び（２０）で表される。
【0081】
【数19】
【0082】
【数20】
【0083】
式（１９）においてＧ（ｕ）は操作量ｕに対して未知である評価関数のヤコビアンの推定値を表す。ａはディザー信号の振幅を表す。Ｐはディザー信号のパワーを表し、正弦波をディザー信号とする場合にはＰ＝１／２であり、三角波をディザー信号とする場合にはＰ＝１／３であり、矩形波をディザー信号とする場合にはＰ＝１である。τは実時間ｔをディザー信号の周波数ωでスケール変換した時間（τ＝ωｔ）を表し、ＫＩ
０
はτの時間軸上における積分ゲインを表す。ＫＩ
０
は式（２０）によって実時間ｔの時間軸上における積分ゲインＫＩに変換される。
【0084】
さらに式（１９）について、操作量ｕの平衡点をｕ
＊
として周期平均ｕ～＝ｕ－ｕ
＊
をとることにより式（２１）が得られる。『ｕ～』は『ｕ』の真上に『～』を冠した記号を意味している。
【0085】
【数21】
【0086】
式（１９）及び（２１）によって表されるアベレージシステムは、ディザー信号による操作量の振動に応じて、評価量がどのような速度で最小値（極小値）に収束していくかという極値制御における収束のダイナミクスを表現したものである。非特許文献２では、制御対象プロセスがスタティックである場合を仮定しているが、ディザー信号の周期がプラントの時定数よりも十分に長く設定されている。これはすなわちディザー信号の周波数ωが制御対象プロセスのカットオフ周波数よりも十分に小さく設定されている場合には、ダイナミクスを持つ制御対象プロセスを近似的にスタティックな制御対象プロセスとみなすことができるということである。これは、極値制御の安定性解析で用いられる特異摂動論によっても裏付けられる。
【0087】
また、図２のようにハイパスフィルタやローパスフィルタを備えて構成される基本的な構成の極値制御システムの場合であっても、これらのフィルタのカットオフ周波数が適切に設定され、支配的なダイナミクス（最も遅いダイナミクス）が積分器１５（積分器）となる場合には、式（１９）に示すアベレージシステムで極値制御システムの全体の挙動を特徴づけることができる。そのため、このような場合には式（１９）を用いて積分ゲインを調整することができる。
【0088】
式（１９）における評価関数のヤコビアンＧ（ｕ）はｕに関する非線形関数となることが多いため、一般に式（１９）は非線形微分方程式となる。ここで、式（１９）のｕに関して適当な動作点ｕ
０
の周辺で線形化したアベレージシステムは式（２２）で表すことができる。
【0089】
【数22】
【0090】
ここで、『ｕ＾』は『ｕ』の真上に『＾』を冠した記号を意味している。ｕ＾＝ｕ－ｕ
０
であり、Ｈ（ｕ
０
）はＧ（ｕ）のヤコビアンを表す。すなわちＨ（ｕ
０
）は評価関数のヘシアンである。そのため、本実施形態では積分ゲインＫＩ
０
をＨ（ｕ
０
）の逆数に比例するように適応的に調整することで極値制御の収束速度を調整する。このような積分ゲインの調整において、第１の方法によって生成される正則化信号（式（８）～（１２）参照）は、ヘシアンの推定値によるゼロ割りを回避するとともに、急激な符号変化を抑制するように作用する。
【0091】
これに加えて第１の方法による正則化信号は、時間とともに変動するヘシアンの推定値を積分ゲインの算出式から追い出し、新たな信号として定義している。このようにして積分ゲインを可変とする要因を算出式から追い出すことにより、算出式から１／Ｈ（ｕ
０
）の項が除かれることになり、積分ゲインＫＩ
０
を固定値として調整することができる。また、正則化信号の定義式に含まれる微小定数δ（＞０）は、ヘシアンによるゼロ割りを回避するためものであり、ヘシアンの推定値が０になった場合にＫＩ
０
が最大値（定数項の１／δ倍）をとる。そのため、ＫＩ
０
について想定する最大値に基づいてδを決定することにより積分ゲインの調整が可能になる。
【0092】
式（２２）は式（１９）の非線形方程式を線形近似したものであるが、式（１９）の非線形要素であるＧ（ｕ）の影響を抑制する方法として、Ｇ（ｕ）を消去するというより直接的な方法が考えられる。上述の第２及び第３の方法は、このような考え方に沿った正則化信号を生成する方法である。式（１９）における積分ゲインＫＩ
０
は調整対象のパラメータであり、設計者が決定することのできるものであるから、これを式（１９）の微分方程式を変形する一種の操作量とみなし、式（２３）を満たすような積分ゲインＫＩ
０
’を新たに定義することにより、式（１９）における非線形要素を消去することができる。
【0093】
【数23】
【0094】
しかしながら式（２３）を適用するとヤコビアンに関する情報が式（１９）に含まれなくなるため、操作量を動かすべき方向を決定するために必要な情報が失われてしまうことになる。そこで、式（２３）に代えて、式（２４）のようにヤコビアンの絶対値をとることにより、式（１９）にヤコビアンの符号情報を残すことができる。この場合、式（１９）は式（２５）のように表される。
【0095】
【数24】
【0096】
【数25】
【0097】
このようにすると、操作量の探索方向の決定に必要な情報を残しつつ、ヤコビアンの非線形性を消去することができる。すなわち第３の方法による正則化信号は、ヤコビアンの非線形性を積分ゲインの算出式から追い出すための信号であるということができる。式（２５）にはヤコビアンの符号情報のみが含まれるため新たな積分ゲインＫＩ
０
'の調整は簡単になる。なお、ＫＩ
０
’の調整は、式（２５）に基づく極値制御の過渡的な挙動が直線的になることを踏まえ、図５に示した調整方法を参考に行えば良い。
【0098】
第３の方法に係る正則化は、非常に簡単に表される一方で、ヤコビアンについては符号情報のみを含むため極値近傍においてチャタリングが起こる可能性がある。第２の方法に係る正則化は、このチャタリングを回避するために、第３の方法に微少定数δ＞０を導入したものと考えることができる。この場合、積分ゲインを式（２６）のように変換すると考えると、式（２５）に相当するアベレージシステムは式（２７）で表される。
【0099】
【数26】
【0100】
【数27】
【0101】
式（２７）のアベレージシステムは、ヤコビアンの値が大きいときにはδの影響が小さくなるため、式（２５）のアベレージシステムと同様の動きをする。一方で、ヤコビアンの値が小さいときにはδの影響が大きくなるため、式（２７）のアベレージシステムはヤコビアンに比例するような動きをすることになる。そのため、第２の方法に係る正則化においても、極値近傍におけるチャタリングの防止のためにδを設定するだけで、基本的には式（２５）と同様の考え方で積分ゲインＫＩ
０
’を調整することができる。
【0102】
［正則化信号を生成する第４の方法］
第４の方法による正則化信号は、ヤコビアン信号の符号推定値を連続関数で近似した近似符号推定値によって表される信号である。
第４の方法により生成された正則化信号によりヤコビアン信号を正則化すると、第３の方法による正則化信号により正則化後のヤコビアン信号（符号信号）を滑らかな連続関数で近似したものであって、第２の方法による正則化信号により正則化後のヤコビアン信号を一般化したものに相当する信号となる。
第４の方法による正則化信号は、ヤコビアン信号の符号推定値を連続関数で近似した近似符号推定値によって表される信号である。
第４の方法により生成された正則化信号によりヤコビアン信号を正則化すると、第３の方法による正則化信号により正則化後のヤコビアン信号（符号信号）を滑らかな連続関数で近似したものであって、第２の方法による正則化信号により正則化後のヤコビアン信号を一般化したものに相当する信号となる。
【0103】
第２の方法においてδ＝０としたものが第３の方法による正則化信号である。換言すると、第３の方法において微小定数δ＞０を導入したものが第２の方法による正則化信号である。しかし、第３の方法による正則化信号である符号関数を近似しながら、先述の正則化信号の条件１－４を満たす近似関数は第２の方法による正則化信号に限定されない。
【0104】
例えば、符号関数を連続関数、あるいは、滑らかな連続関数で近似するものであれば、条件１－４の正則化信号の定義を満たす。このような符号関数の（滑らかな）近似関数は多数存在するが、上記の第２の方法による正則化信号による近似関数に限らず、例えば、以下の様な近似関数が考えられる。
【0105】
Ａ．飽和関数
ここで、ｍ（Ｇ（ｔ））は、ｍ（０）＝０を満たすＧ（ｔ）の厳密な単調増加関数であり、典型的な例としては、－ｓｇｎ（Ｇ（ｔ））／α・｜Ｇ（ｔ）｜ρ，α＞０，ρ＞０の様なＧ（ｔ）のべき乗関数であり、例えばρ＝１の場合は、勾配Ｇ（ｔ）を±１で打ち切ったものに相当する。
【数28】
【0106】
Ｂ．シグモイド関数（ハイパボリックタンジェント）
Ｃ．アークタンジェント
【数29】
【数30】
【0107】
上記Ａ－Ｃの例の他、広義のシグモイド関数に含まれる、累積正規分布関数、ゴンペルツ関数、グーデルマン関数などを原点が中心になる様に平行移動し、値域が±１に適当にスケール変換した関数なども含まれる。あるいは、安定でオーバーシュートや振動が生じない伝達関数（例：高次遅れ系）のステップ応答（例：１次遅れ系の場合１－ｅｘｐ（ｔ））の時間ｔをＧ（ｔ）に置換（例：１次遅れ系の場合１－ｅｘｐ（Ｇ（ｔ）））して、原点を中心に点対称になる様に折り返して接合した関数（例：１次遅れ系の場合ｓｇｎ（Ｇ（ｔ））（１－ｅｘｐ（｜Ｇ（ｔ）｜））なども符号関数の滑らかな近似関数として機能するので、正則化信号として利用することができる。
【0108】
図１２は、第１の実施形態において、第４の方法によって生成された正則化信号の一例について説明するための図である。図１２は、勾配（ヤコビアン信号）Ｇ（ｔ）と正則化後のヤコビアン信号Ｇｎ（ｔ）との関係を図示したものであるが、Ｇ（ｔ）＝Ｇｎ（ｔ）＝０の原点が極値探索の極値に対応する。
【0109】
第３の方法による正則化後のヤコビアン信号（符号関数）を連続関数で近似するということは、極値近傍での正則化信号の挙動を調整していることに相当する。すなわち、単純に勾配を±１で打ち切った飽和関数を適用すると、極値近傍において従来の勾配型の極値制御をそのまま適用することとなる。なお、従来の極値制御は、評価関数がちょうど（操作量に関して）２次関数であるときにこれを微分した勾配が１次関数（線形関数）となる。このとき、勾配法を適用すると、ちょうど極値近傍で線形システムの収束特性（＝指数関数的な収束）を持つ。このような収束は一般に好ましいと考えられる。
【0110】
そこで、もし評価関数の勾配の形状がＧ（ｔ）∝ｕｎの様に操作量ｕのべき乗に比例している（評価関数はｕ（ｎ＋１）に比例する）とすると、Ｇｎ（ｔ）＝Ｇ（ｔ）（１／ｎ）とすると、Ｇｎ（ｔ）∝ｕとなるので、極値近傍において指数関数的に収束させることができる。実際には、極値近傍での評価関数形状は未知であるため、ｎを理論的に求めることはできないが、極値近傍の挙動を確認しながら、符号関数の近似関数の選択やそのパラメータを調整することで、極値近傍の挙動のファインチューニングが可能になる。
例えば、図１２に示すように、シグモイド関数においてαの値を変えると、正則化信号Ｇｎ（ｔ）の絶対値が１よりも小さな値になるときのＧ（ｔ）の値が変化するため、極値の「近傍」の範囲Ａ自身を調整することが可能になる。
例えば、図１２に示すように、シグモイド関数においてαの値を変えると、正則化信号Ｇｎ（ｔ）の絶対値が１よりも小さな値になるときのＧ（ｔ）の値が変化するため、極値の「近傍」の範囲Ａ自身を調整することが可能になる。
【0111】
図１３は、第１の実施形態において、第４の方法によって生成された正則化信号の他の例について説明するための図である。図１３も図１２と同様に、ヤコビアン信号Ｇ（ｔ）と正則化後のヤコビアン信号Ｇｎ（ｔ）との関係を図示したものであるが、Ｇ（ｔ）＝Ｇｎ（ｔ）＝０の原点が極値探索の極値に対応する。
【0112】
例えば、図１３に示すように、極値近傍Ｂにおいて、上に凸な形状の連続関数と下に凸な形状の連続関数とを切り替えると、極値近傍でチャタリングを生じる状況を抑制したり、極値探索制御で極値に収束せずにその付近で止まってしまう現象を改善させたりすることができる。
【0113】
上に凸な形状（例えばシグモイド関数にてα＝３）の正則化後のヤコビアン信号Ｇｎ（ｔ）を選ぶと、Ｇｎ（ｔ）は純粋な符号関数に近くなっていくので、収束値が極値に到達しない場合にこのような形状の関数を選択することで、真の極値に近い探索が可能となる。ただし、上に凸の傾向が強すぎる（符号化関数に近づけすぎる）とチャタリングを起こす場合があることに留意すべきである。
一方、下に凸な形状（例えば飽和関数にてα＝１０,ρ＝１．５）の正則化信号Ｇｎ（ｔ）を選ぶと、極値近傍でチャタリングを起こしている様な場合に、それを抑制する効果が認められる。下に凸の傾向が弱くなると、極値の探索性能が劣化することに留意すべきである。
一方、下に凸な形状（例えば飽和関数にてα＝１０,ρ＝１．５）の正則化信号Ｇｎ（ｔ）を選ぶと、極値近傍でチャタリングを起こしている様な場合に、それを抑制する効果が認められる。下に凸の傾向が弱くなると、極値の探索性能が劣化することに留意すべきである。
【0114】
図１４Ａは、第１の実施形態において、正則化信号を用いることなく操作量の応答をシミュレーションした結果の一例を説明するための図である。ここでは、１次遅れ系にｙ＝ｕ５という関数を付加した仮想的な制御対象に対して、様々な正則化信号を適用した場合の操作量の応答をシミュレーションした結果を例示している。図１４Ａに示す例は、正則化信号を適用しなかった比較例であり、初期値が２の場合にうまく動作する様に調整している。この時、初期値を３に変更すると極値制御は発散してしまう。これは、ｙ＝ｕ５の一次微分はｙ´＝５ｕ４であり、初期値が２のときにｙ´＝５・２
４
＝８０であるのに対し、初期値が３のときにはｙ´＝５・３
４
＝４０５となり、勾配が大きく変化してしまうためである。
【0115】
また、初期値を２とした場合でも、操作量は、所定時間以内に極値（＝１）が極値に収束することがなかった。これは、ｕが０に近くなるとｙ´が急速に０に近くなるためである。すなわち、仮想的な制御対象において、極値の付近はほぼ勾配がフラットになるためである。
【0116】
図１４Ｂは、第１の実施形態において、正則化信号として勾配の符号信号を用いて操作量の応答をシミュレーションした結果の一例を説明するための図である。
図１４Ａに示す比較例に対し、図１４Ｂ－１４Ｄに示した例は正則化信号を適用したものである。図１４Ｂに示した例は、第３の方法による正則化信号である符号関数を適用した場合である。この時、初期値が２でも３でも同じような収束速度で極値の探索が可能になっているが、極値である１付近でチャタリングを起こしている。これは、符号関数が最も強い不連続なスイッチング関数になっているためである。
図１４Ａに示す比較例に対し、図１４Ｂ－１４Ｄに示した例は正則化信号を適用したものである。図１４Ｂに示した例は、第３の方法による正則化信号である符号関数を適用した場合である。この時、初期値が２でも３でも同じような収束速度で極値の探索が可能になっているが、極値である１付近でチャタリングを起こしている。これは、符号関数が最も強い不連続なスイッチング関数になっているためである。
【0117】
図１４Ｃおよび１４Ｄは、第１の実施形態において、第４の方法によって生成された正則化信号を用いたときの効果の一例を説明するための図である。
図１４Ｃに示した例は、符号関数の連続近似関数として第４の方法のＡに示した飽和関数（ρ＝１）を適用したものである。図１４Ｂと同様に初期値に関わらず同じような収束速度で極値の探索が可能になるが、図１４Ａと同じように所定時間以内に極値に到達していない。これは、極値近傍で勾配そのものを用いているため、極値近傍では図１４Ａと同じ現象が生じるためである。
図１４Ｃに示した例は、符号関数の連続近似関数として第４の方法のＡに示した飽和関数（ρ＝１）を適用したものである。図１４Ｂと同様に初期値に関わらず同じような収束速度で極値の探索が可能になるが、図１４Ａと同じように所定時間以内に極値に到達していない。これは、極値近傍で勾配そのものを用いているため、極値近傍では図１４Ａと同じ現象が生じるためである。
【0118】
図１４Ｄに示した例は、符号関数の連続近似関数として例えば、第４の方法のＡに示した－ｓｇｎ（Ｇ（ｔ））／α・｜Ｇ（ｔ）｜ρ，α＞０，ρ＞０の，ρ≠１様なＧ（ｔ）のべき乗関数である飽和関数を適用したものであって、α=1,ρ=1/5としたものである。この例では、初期値によらず極値の探索が可能であり、チャタリングを抑制できた。この例のように、符号関数を近似する連続関数をうまく利用することにより、極値探索制御の応答を調整することが可能である。
【0119】
第４の方法により生成された正則化信号を用いた極値制御システムは、例えば図１１に示す構成例において、符号関数ｓｇｎ（）をＧ（ｔ）による近似関数（一例として、上述の関数Ａ－Ｃ）とすることにより、実現することが出来る。
また、第４の方法により生成された正則化信号を用いた極値制御システムは、例えば図９及び図１０に示す構成例において、正則化信号出力部２３にて、近似関数に対応する演算を行うことにより、実現することが出来る。すなわち、正則化信号出力部２３の出力が、正則化後のヤコビアン信号をＧ（ｔ）で除した値となるように、正則化信号出力部２３での演算式を設定しておけばよい。
また、第４の方法により生成された正則化信号を用いた極値制御システムは、例えば図９及び図１０に示す構成例において、正則化信号出力部２３にて、近似関数に対応する演算を行うことにより、実現することが出来る。すなわち、正則化信号出力部２３の出力が、正則化後のヤコビアン信号をＧ（ｔ）で除した値となるように、正則化信号出力部２３での演算式を設定しておけばよい。
【0120】
上記第４の方法によれば、正則化関数は第３の方法によるものに限定されず、連続近似関数の選択やその関数が持つパラメータを調整することにより、探索された極値近傍での挙動を容易に調整することが可能になり、よりきめ細やかな極値探索制御を実現できる。
【0121】
以上説明したように、正則化信号出力部２３が生成する正則化信号は、操作量を動かすべき方向及び量を与えるアベレージシステムから評価関数の非線形要素による複雑な挙動を追い出す役割を持ち、パラメータ調整部２は、このような性質を有する正則化信号を用いて勾配推定部２２の出力するヤコビアン信号を正則化する。そして、積分器１５が、調整された積分ゲインを用いて正則化されたヤコビアンを積分することにより、極値制御の探索方向をより適切に制御することが可能となる。
【0122】
このように構成された第１の実施形態の極値制御システム１は、ヤコビアン信号を正則化し、正則化したヤコビアン信号に基づいて積分ゲインを適応的に調整するパラメータ調整部を備えることにより、制御対象プロセスの極値制御を、そのダイナミクスに適応してより安定的に動作させることが可能となる。
【0123】
具体的には、第１の実施形態の極値制御システム１は、ヤコビアン信号の正則化によって以下の（１）及び（２）を実現することにより、極値制御の安定性を損なうことなく積分ゲインを容易に調整することを可能とする。（１）積分ゲインの算出時におけるゼロ割りを回避する。（２）ヤコビアン信号の符号情報を維持する（急激な符号の反転を回避する）。
これにより、制御対象プロセスのオペレータは極値制御の収束速度をより容易に、かつ安全に調整することが可能となる。
これにより、制御対象プロセスのオペレータは極値制御の収束速度をより容易に、かつ安全に調整することが可能となる。
【0124】
（第２の実施形態）
図１５は、第２の実施形態の極値制御システム１ａの構成例を示す図である。極値制御システム１ａは、操作量補正部３をさらに備える点で第１の実施形態の極値制御システム１と異なる。図１５に示す極値制御システム１ａは、第１の実施形態において第２の方法によって正則化信号を生成した極値制御システムの構成例のうち、図９に示した極値制御システム１に操作量補正部３を追加して構成したものである。極値制御システム１ａのそれ以外の構成は第１の実施形態の極値制御システム１と同様のため、ここでは図３と同じ符号を付すことにより、それらの同様の機能部についての説明を省略する。
図１５は、第２の実施形態の極値制御システム１ａの構成例を示す図である。極値制御システム１ａは、操作量補正部３をさらに備える点で第１の実施形態の極値制御システム１と異なる。図１５に示す極値制御システム１ａは、第１の実施形態において第２の方法によって正則化信号を生成した極値制御システムの構成例のうち、図９に示した極値制御システム１に操作量補正部３を追加して構成したものである。極値制御システム１ａのそれ以外の構成は第１の実施形態の極値制御システム１と同様のため、ここでは図３と同じ符号を付すことにより、それらの同様の機能部についての説明を省略する。
【0125】
評価関数のヘシアンに基づく正則化信号を用いた場合、式（２２）のような線形近似システムが得られるため、ヘシアンの推定精度が高ければ、操作量や評価量を指数関数的に極値に収束させることができると考えられる。このような収束の態様は（一次の）線形システムの特徴でもあり、ヘシアンの推定精度を高めることによりこのような特徴が期待どおりに得られやすくなると考えられる。
【0126】
一方、評価関数のヤコビアンに基づく正則化信号を用いた場合、式（２５）のようなアベレージシステムが得られるため、極値への収束は直線的になると考えられる。このような直線的な探索が求められる場合もあるが、一般には、操作量や評価量が目標とする極値から大きく離れている場合には速やかに極値に近づけ、極値近傍では少しずつ極値に近づけることが求められる場合が多い。
【0127】
式（２５）のようなアベレージシステムで表される極値制御では、極値近傍でチャタリングを生じる可能性が高い。このようなチャタリングは、上述の式（２７）のように、式（２５）を微小な定数δ（＞０）で調整することで抑制することができるが、これは極値近傍における極値探索の挙動を調整するものであり、極値探索の動きを全体的に調整するものではない。
【0128】
そこで、式（１９）又は（２２）のアベレージシステムの挙動を全体的に調整するためには、操作量ｕ又は操作量偏差ｕ－を右辺に持つようにすればよい。すなわち、式（２２）を式（２９）のように変形することができれば良い。
【0129】
【数31】
【0130】
ここで、Ｆ（ｕ～）はＦ（０）＝０を満たし、ｕ～の符号とＦ（ｕ～）の符号とが一致する関数である。すなわちＦ（ｕ～）は、ｕ～×Ｆ（ｕ～）＞０を満たす。最も単純な例はＦ（ｕ～）＝ｕ～であり、この場合、式（２９）は線形微分方程式となり、ｕ～は指数関数的にゼロに収束する。なお、ｕではなくｕ～を考えるのは、ｕの最適値ｕ
＊
が未知であるのに対してｕ～はゼロに収束すればよいため、式（２９）の平衡点を０とすればよいからである。また、ｕ～の適当なべき乗関数を用いると、極値から離れている場合に、動作点をより早く極値方向に移動させ、極値近傍では緩やかに動作点を動かすようにすることもできる。
【0131】
操作量補正部３は、式（２９）のような挙動を持つアベレージシステムを得るためのものであり、操作量ｕをフィードバックして正則化信号と掛け合わせることにより、極値から離れた動作点ほどより大きく極値方向に動かすように操作量を補正する。例えば、第３の方法で正則化信号を生成する場合には式（２５）のアベレージシステムが得られるが、式（２９）式のようなシステムを得るためには、ｕの微分とｕ～の微分が等しいことに着目して式（２５）の右辺にＦ（ｕ～）を掛ければよい。
【0132】
ただし、ｕ～＝ｕ－ｕ
＊
であり、操作量の最適値が未知であるため、ｕ～を直接的に用いることはできない。しかしながら、操作量ｕは用いることができるので、ｕ～の推定値としてｕにハイパスフィルタを作用させて未知の定数項ｕ
＊
を除去することで近似的にｕ～を得ることができる。すなわち、ｕ～を式（３０）で推定することができる。
【0133】
【数32】
【0134】
式（３０）によって推定したｕ～の信号を、正規化されたヤコビアン信号に掛け合わせることで、指数関数的な応答特性を持つように極値探索を修正することができる。なお、指数関数的な応答特性よりもさらに早い速度で動作点を極値近傍に移動させたい場合、例えば操作量ｕ～の推定値を式（３０）で得られる値のべき乗値とすることで動作点の動き幅をより大きくするようにしてもよい。
【0135】
図１６及び図１７は、第２の実施形態における極値制御システム１ａの構成例を示す図である。具体的には、図１６は、第１の実施形態において第２の方法によって正則化信号を生成した極値制御システム１の構成例のうち、図１０に示した極値制御システム１に操作量補正部３を追加して構成される極値制御システム１ａの例を示す。図１７は、第１の実施形態において第３の方法によって正則化信号を生成した極値制御システム１（図１１参照）に操作量補正部３を追加して構成される極値制御システム１ａの例を示す。
【0136】
このように構成された第２の実施形態の極値制御システム１ａは、第１の実施形態の極値制御システム１と同様の効果を奏することに加え、極値探索の速度をより細かく調整することが可能になる。これにより、動作点が極値から大きく離れているときには速やかに動作点を極値近傍に移動させ、極値近傍では細かく動作点を動かすことができるため、極値探索の速度及び精度を向上させることが可能となる。
【0137】
（適用例）
図１７は、第１の実施形態の極値制御システム又は第２の実施形態の極値制御システムの適用例を示す図である。図１７は、実施形態の極値制御システムを生物学的排水処理プロセスを実現する水処理プラント４に適用した例を示す。例えば、図１７に示す水処理プラント４は、嫌気槽４１、無酸素槽４２、好気槽４３及び最終沈澱池４４の各設備を備える。嫌気槽４１は、微生物を活性化させるための設備である。無酸素槽４２は、窒素を除去するための設備である。好気槽４３は有機物の分解やリンの除去、アンモニアの硝化を行うための設備である。最終沈澱池４４は、活性汚泥を沈殿させるための設備である。
図１７は、第１の実施形態の極値制御システム又は第２の実施形態の極値制御システムの適用例を示す図である。図１７は、実施形態の極値制御システムを生物学的排水処理プロセスを実現する水処理プラント４に適用した例を示す。例えば、図１７に示す水処理プラント４は、嫌気槽４１、無酸素槽４２、好気槽４３及び最終沈澱池４４の各設備を備える。嫌気槽４１は、微生物を活性化させるための設備である。無酸素槽４２は、窒素を除去するための設備である。好気槽４３は有機物の分解やリンの除去、アンモニアの硝化を行うための設備である。最終沈澱池４４は、活性汚泥を沈殿させるための設備である。
【0138】
水処理プラント４には、上記設備間で水や汚泥を搬送するポンプや、槽内に空気を供給するブロワ、空気中又は水中の物質の濃度を計測するセンサー等の設備が設置される。薬品投入ポンプ４１１は、微生物を活性化させる炭素源等の薬品を嫌気槽４１に投入するポンプである。循環ポンプ４３１は、好気槽４３と無酸素槽４２との間で循環する被処理水の循環量を制御するポンプである。ブロワ４３２は、好気槽４３に空気を供給して曝気量を制御する。返送汚泥ポンプ４４１は、最終沈澱池４４から無酸素槽４２に汚泥を返送するポンプである。余剰汚泥引き抜きポンプ４４２は、最終沈澱池４４から過剰な汚泥を引き抜くポンプである。センサー４１２及びセンサー４４３は、それぞれ、嫌気槽４１及び最終沈澱池４４における放流水の水質を計測する。
【0139】
一般に、このような生物学的廃水処理プロセスでは、操作量は返送汚泥の返送率であり、制御量は放流水に含まれる窒素の濃度（以下「放流窒素濃度」という。）及びリンの濃度（以下「放流リン濃度」という。）である。返送率は、返送汚泥ポンプ４４１の放流量を流入量で割ることによって得られる。放流窒素濃度及び放流リン濃度は、センサー４１２及びセンサー４４３によって取得される。なお、制御量を、放流水に含まれる窒素の量（以下「放流窒素量」という。）及びリンの量（以下「放流リン量」という。）としてもよい。この場合、放流窒素量及び放流リン量は、それぞれ放流窒素濃度及び放流リン濃度に放流量を乗算することにより得られる。
【0140】
適用例の極値制御システム１ｂは、このような水処理プラント４から放流窒素量や放流リン量等の制御量に基づく評価量を入力して極値制御を実行することにより、評価量を最適値に近づけるように操作量を更新していく。この場合に用いる評価関数の一例として、評価量を排水賦課金の考え方に基づく水質コストと、返送汚泥ポンプ４４１の電力コストとの総和（以下「総コスト」という。）として表す方法が考えられる。返送汚泥ポンプ４４１の電力コストは、返送汚泥流量と返送汚泥ポンプ４４１の定格電力などから算出することができる。一般に、排水賦課金の考え方では、水質コストは以下の式で表される。
【0141】
【数33】
【0142】
式（３１）においてＣＯＤは化学的酸素要求量、ＢＯＤは生物化学的酸素要求量、ＴＮは放流される窒素、ＴＰは放流されるリンを意味する。各コストの換算係数は、実際の排水賦課金に基づいて決定されても良いし、他の方法によって決定されてもよい。一般に、ＴＮ及びＴＰは、返送率を変えることによって大きく変化することが知られているため、ここでは返送率の制御に関する水質コストＪ１を式（３２）のように定義することにする。
【0143】
【数34】
【0144】
このような水質コストに加え、返送流量を変化させることによって間接的に変化するブロワの電力コストと、返送ポンプの電力コストとを合計した運転コストＪ２を定義し、その運転コストＪ２と水質コストＪ１との合計を総コストとする関数を評価関数として定義してもよい。例えば、運転コストＪ２は式（３３）のように定義することができる。
【0145】
【数35】
【0146】
適用例の極値制御システム１ｂは、このような評価関数によって取得される評価量からヤコビアン信号を抽出し、そのヤコビアン信号に対して上述の正則化信号を作用させて極値制御を行うことにより、水処理プラント４のダイナミクスに対して適応的に積分ゲインを更新することができる。これにより、適用例の極値制御システム１ｂは、総コストを最小化する最適な操作量を、より安定した動作で探索することが可能となる。なお、実施形態の極値制御システムは、操作量の入力に対して制御量を出力する任意のプロセスの制御に適用可能である。例えば、制御対象プロセスは、下水処理プロセスや燃焼プロセス、石油化学プロセスなどであってもよい。
【0147】
以上説明した少なくともひとつの実施形態によれば、評価関数のヤコビアンを推定する第１の勾配推定部と、ヤコビアンの推定値を積分することにより操作量を動かすべき方向及び量を決定する操作量決定部と、評価関数のヘシアンを推定する第２の勾配推定部と、操作量決定部に入力されるヤコビアンの推定値を、評価関数のヤコビアン又はヘシアンの推定値に基づく値であって０とならないように調整された正則化信号で除することにより、操作量決定部の積分ゲインを評価関数の変化に応じて調整するパラメータ調整部と、を持つことにより、制御対象プロセスのダイナミクスに適応して極値制御をより安定的に動作させることができる。
【0148】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【図1A】
【図1B】
【図1C】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14A】
【図14B】
【図14C】
【図14D】
【図15】
【図16】
【図17】
【図18】