特許 7409343 コントローラ、制御方法及び制御プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-25

(45)【発行日】2024-01-09

(54)【発明の名称】コントローラ、制御方法及び制御プログラム

(51)【国際特許分類】

   G05B 13/04 20060101AFI20231226BHJP

【ＦＩ】

G05B13/04

【請求項の数】 9

(21)【出願番号】P 2021043802

(22)【出願日】2021-03-17

(65)【公開番号】P2022143341

(43)【公開日】2022-10-03

【審査請求日】2022-05-02

(73)【特許権者】

【識別番号】000006507

【氏名又は名称】横河電機株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】劉 琢

(72)【発明者】

【氏名】鹿子木 宏明

(72)【発明者】

【氏名】▲高▼見 豪

【審査官】田中 友章

(56)【参考文献】

【文献】特開２０２１－０１８８２５（ＪＰ，Ａ）

【文献】特開２００１－１８８６０２（ＪＰ，Ａ）

【文献】国際公開第２０１８／１７９１９１（ＷＯ，Ａ１）

【文献】特許第６８３３１３３（ＪＰ，Ｂ１）

【文献】特開平０６－２６２２３４（ＪＰ，Ａ）

【文献】特開平０４－０００６０２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０５Ｂ １３／０４

(57)【特許請求の範囲】

【請求項1】

実際の制御対象のプロセスデータを取得する取得部と、
前記実際の制御対象の目標設定値及びパラメータのうちの少なくともパラメータに基づいて、前記取得部によって取得されたプロセスデータを変換し、変換後のプロセスデータを学習済みモデルに入力することによって、前記実際の制御対象の操作量を算出する算出部と、
を備えるコントローラであって、
前記学習済みモデルは、特定の制御対象のプロセスデータが入力されると、前記特定の制御対象のプロセスデータを特定の目標設定値に近づけるための操作量を出力し、
前記パラメータは、前記実際の制御対象の操作量と、当該操作量によって得られるプロセスデータとの関係を特定するためのパラメータを含み、
前記コントローラは、
前記実際の制御対象の目標設定値及びパラメータのうちの少なくともパラメータと、前記特定の制御対象の前記特定の目標設定値及び前記特定の制御対象のパラメータのうちの少なくともパラメータとの比較結果に基づいて、写像関数を調整する関数調整部をさらに備え、
前記算出部は、前記関数調整部によって調整された前記写像関数を用いて、前記取得部によって取得されたプロセスデータを変換する、
コントローラ。

【請求項2】

前記比較結果は、比率を含む、
請求項１に記載のコントローラ。

【請求項3】

前記パラメータは、入出力範囲及びプロセスゲインの少なくとも１つを含む、
請求項１又は２に記載のコントローラ。

【請求項4】

前記パラメータは、時定数を含み、
前記コントローラは、前記パラメータに含まれる前記時定数に基づいて制御周期を調整する周期調整部を備え、
前記取得部は、前記周期調整部によって調整された制御周期で、前記実際の制御対象のプロセスデータを取得する、
請求項１～３のいずれか１項に記載のコントローラ。

【請求項5】

前記算出部は、前記変換後のプロセスデータを前記学習済みモデルに入力することによって算出したデータに対して前記変換とは逆の逆変換を行うことにより、前記実際の制御対象の操作量を算出する、
請求項１～４のいずれか１項に記載のコントローラ。

【請求項6】

前記実際の制御対象の操作量を算出するＰＩＤコントローラと、
前記算出部によって算出された操作量を前記実際の制御対象に与える第１の制御モード及び前記ＰＩＤコントローラによって算出された操作量を前記実際の制御対象に与える第２の制御モードを切り替える切替部と、
を備える、
請求項１～５のいずれか１項に記載のコントローラ。

【請求項7】

前記学習済みモデルの学習を行う学習部を備える、
請求項１～６のいずれか１項に記載のコントローラ。

【請求項8】

実際の制御対象のプロセスデータを取得することと、
前記実際の制御対象の目標設定値及びパラメータのうちの少なくともパラメータに基づいて、取得したプロセスデータを変換し、変換後のプロセスデータを学習済みモデルに入力することによって、前記実際の制御対象の操作量を算出することと、
を含む制御方法であって、
前記学習済みモデルは、特定の制御対象のプロセスデータが入力されると、前記特定の制御対象のプロセスデータを特定の目標設定値に近づけるための操作量を出力し、
前記パラメータは、前記実際の制御対象の操作量と、当該操作量によって得られるプロセスデータとの関係を特定するためのパラメータを含み、
前記制御方法は、
前記実際の制御対象の目標設定値及びパラメータのうちの少なくともパラメータと、前記特定の制御対象の前記特定の目標設定値及び前記特定の制御対象のパラメータのうちの少なくともパラメータとの比較結果に基づいて、写像関数を調整することをさらに含み、
前記算出することでは、前記調整した前記写像関数を用いて、前記取得したプロセスデータを変換する、
制御方法。

【請求項9】

コンピュータに、
実際の制御対象のプロセスデータを取得する処理と、
前記実際の制御対象の目標設定値及びパラメータのうちの少なくともパラメータに基づいて、取得したプロセスデータを変換し、変換後のプロセスデータを学習済みモデルに入力することによって、前記実際の制御対象の操作量を算出する処理と、
を実行させる制御プログラムであって、
前記学習済みモデルは、特定の制御対象のプロセスデータが入力されると、前記特定の制御対象のプロセスデータを特定の目標設定値に近づけるための操作量を出力し、
前記パラメータは、前記実際の制御対象の操作量と、当該操作量によって得られるプロセスデータとの関係を特定するためのパラメータを含み、
前記制御プログラムは、
前記コンピュータに、前記実際の制御対象の目標設定値及びパラメータのうちの少なくともパラメータと、前記特定の制御対象の前記特定の目標設定値及び前記特定の制御対象のパラメータのうちの少なくともパラメータとの比較結果に基づいて、写像関数を調整する処理をさらに実行させ、
前記算出する処理では、前記コンピュータが、前記調整した前記写像関数を用いて、前記取得したプロセスデータを変換する、
制御プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、コントローラ、制御方法及び制御プログラムに関する。

【背景技術】

【0002】

学習済みモデルを用いるコントローラが提案されている（例えば特許文献１を参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１８－２０２５６４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

例えばプロセス制御に用いる学習済みモデルは、特定の制御対象及び特定の目標設定値の条件のもとで学習される。このような学習済みモデルは、条件が異なると適切な制御が行えなくなるので、汎用性、実用性を欠く。

【0005】

本発明は、学習済みモデルの汎用性、実用性を向上させることを目的とする。

【課題を解決するための手段】

【0006】

一側面に係るコントローラは、実際の制御対象のプロセスデータを取得する取得部と、実際の制御対象の目標設定値及びパラメータの少なくとも一方に基づいて、取得部によって取得されたプロセスデータを変換し、変換後のプロセスデータと、学習済みモデルとを用いて、実際の制御対象の操作量を算出する算出部と、を備え、学習済みモデルは、特定の制御対象のプロセスデータが入力されると、特定の制御対象のプロセスデータを特定の目標設定値に近づけるための操作量を出力し、パラメータは、実際の制御対象の操作量と、当該操作量によって得られるプロセスデータとの関係を特定するためのパラメータを含む。

【0007】

一側面に係る制御方法は、実際の制御対象のプロセスデータを取得することと、実際の制御対象の目標設定値及びパラメータの少なくとも一方に基づいて、取得したプロセスデータを変換し、変換後のプロセスデータと、学習済みモデルとを用いて、実際の制御対象の操作量を算出することと、を含み、学習済みモデルは、特定の制御対象のプロセスデータが入力されると、特定の制御対象のプロセスデータを特定の目標設定値に近づけるための操作量を出力し、パラメータは、実際の制御対象の操作量と、当該操作量によって得られるプロセスデータとの関係を特定するためのパラメータを含む。

【0008】

一側面に係る制御プログラムは、コンピュータに、実際の制御対象のプロセスデータを取得する処理と、実際の制御対象の目標設定値及びパラメータの少なくとも一方に基づいて、取得したプロセスデータを変換し、変換後のプロセスデータと、学習済みモデルとを用いて、実際の制御対象の操作量を算出する処理と、を実行させる制御プログラムであって、学習済みモデルは、特定の制御対象のプロセスデータが入力されると、特定の制御対象のプロセスデータを特定の目標設定値に近づけるための操作量を出力し、パラメータは、実際の制御対象の操作量と、当該操作量によって得られるプロセスデータとの関係を特定するためのパラメータを含む。

【発明の効果】

【0009】

本発明によれば、学習済みモデルの汎用性、実用性を向上させることが可能になる。

【図面の簡単な説明】

【0010】

【図1】実施形態に係るコントローラの概略構成の例を示す図である。

【図2】学習済みモデルの学習の例を模式的に示す図である。

【図3】学習済みモデルの概略構成の例を模式的に示す図である。

【図4】操作変更量の決定の例を示す図である。

【図5】ＡＩコントローラの概略構成の例を示す図である。

【図6】写像関数による写像の例を模式的に示す図である。

【図7】コントローラにおいて実行される処理の例を示すフローチャートである。

【図8】変形例に係るコントローラの概略構成の例を示す図である。

【図9】コントローラのハードウェア構成の例を示す図である。

【発明を実施するための形態】

【0011】

以下、図面を参照しつつ実施形態について説明する。同一の要素には同一の符号を付し、重複する説明は適宜省略する。

【0012】

図１は、実施形態に係るコントローラの概略構成の例を示す図である。コントローラ１は、制御対象９を制御する。制御の例は、プラントのプロセス制御等であり、その場合、プロセス制御に関するさまざまな制御対象が制御対象９となりうる。例示されるコントローラ１は、学習済みモデル２と、ＡＩコントローラ３とを含む。

【0013】

コントローラ１は、制御対象９のプロセスデータＸを取得し、プロセスデータＸを目標設定値Ｎに近づけるような操作量ＭＶを算出する。算出された操作量ＭＶが制御対象９に与えられ、制御対象９が制御される。

【0014】

プロセスデータＸ及び操作量ＭＶのいくつかの例について述べる。例えば、制御対象９が水槽等の場合、プロセスデータＸは、液面水位等であってよい。タンク内の液体の液位（水位）、パイプを流れる流体の流量等が、プロセスデータＸであってもよい。操作量ＭＶは、バルブの開度、回転量、移動量等であってよい。制御対象９が炉等の場合、プロセスデータＸは、炉の（例えば全体の）温度等であってよい。操作量ＭＶは、電熱線への電流値等であってよい。

【0015】

なお、操作量ＭＶは、操作量の絶対値であってもよいし、現時点での操作量に対する変更量（操作変更量）であってもよい。学習済みモデル２について、図２～図４も参照して説明する。

【0016】

図２は、学習済みモデルの学習の例を模式的に示す図である。学習済みモデル２は、特定の制御対象９ａのプロセスデータが入力されると、制御対象９ａのプロセスデータを特定の目標設定値Ｎａに近づけるための操作量を出力するように学習された（生成された）ＡＩ制御モデルである。なお、図中のパラメータＰａは、制御対象９ａのパラメータである。パラメータについては後に改めて説明する。

【0017】

図３は、学習済みモデルの概略構成の例を模式的に示す図である。学習済みモデル２には、現在のプロセス状態に対して、目標設定値Ｎａに近づけるための制御に必要な制御対象９ａの操作量を決定するポリシーが保存されている。具体的に、学習済みモデル２は、複数のサンプルデータを保持している。この例では、複数のサンプルデータの各々は、「特徴データ」と、「操作変更量」と、「重み」とを対応付けて記述する。

【0018】

「特徴データ」は、制御対象９ａのプロセスの状態（例えば、水位、バルブ開度等）を示す。１つのサンプルデータが複数の特徴データを含んでよく、図ではそれらが「Ｓｔａｔｅ＿１」及び「Ｓｔａｔｅ＿２」等として模式的に示される。「操作変更量」（Ａｃｔｉｏｎ）は、その時点のプロセスの状態に応じて行う制御対象９ａへの操作変更量である。「重み」（Ｗｅｉｇｈｔ）は、特徴データと操作変更量との組み合わせに対する評価を表す。

【0019】

上述のような学習済みモデル２の生成には、ＫＤＰＰ（Kernel Dynamic Policy Programming）等の既知の強化学習アルゴリズムが用いられてよい。学習済みモデル２を用いることで、現在のプロセス状態に対する最適な操作変更量が決定される。具体例について、図４を参照して説明する。

【0020】

図４は、操作変更量の決定の例を示す図である。特徴データのうちのＳｔａｔｅ＿１は、タンクの水位であり、その値は２０である。Ｓｔａｔｅ２＿は、バルブの開度であり、その値は４０である。対応する操作変更量として、－３、－１、０、１及び３が、選択肢として存在する。選択肢ごと（行ごと）に、例えば上述の図３に示される各サンプルデータ（重みの列は除く）との間でカーネル計算を行い、重みを乗算し、加算することで、選択肢として与えられた操作変更量それぞれの評価値が求められる。もっとも評価値の高い操作変更量が、次の操作変更量として決定される。

【0021】

図１に戻り、ＡＩコントローラ３は、上述の学習済みモデル２を用いて、操作量ＭＶを算出する。ＡＩコントローラ３には、目標設定値Ｎの他に、パラメータＰも与えられる。後述の原理により、ＡＩコントローラ３は、さまざまな制御対象９及び目標設定値Ｎの組み合わせに対しても、同じ学習済みモデル２を用いて操作量ＭＶを算出する。例えば、制御対象９が制御対象９ａと異なっている場合でも、その制御対象９の操作量ＭＶが学習済みモデル２を用いて算出される。制御対象９は制御対象９ａと同じあるが目標設定値Ｎが目標設定値Ｎａと異なっている場合でも、その制御対象９の操作量ＭＶが学習済みモデル２を用いて算出される。制御対象９が制御対象９ａと異なり、また、目標設定値Ｎが目標設定値Ｎａと異なる場合であっても、その制御対象９の操作量ＭＶが、学習済みモデル２を用いて算出される。ＡＩコントローラ３について、図５も参照して説明する。

【0022】

図５は、ＡＩコントローラの概略構成の例を示す図である。ＡＩコントローラ３は、取得部３１と、調整部３２と、算出部３３と、記憶部３４とを含む。先に説明した学習済みモデル２の他に、学習部２１も図示される。学習部２１は、学習済みモデル２の学習を行う。学習には、制御対象９ａのプロセスデータ及び目標設定値Ｎａを含む学習データが用いられる。学習部２１によって学習された学習済みモデル２が、ＡＩコントローラ３によって利用可能である。

【0023】

取得部３１は、制御対象９のプロセスデータＸを取得する。例えば、取得部３１は、制御周期Ｔで、制御対象９のプロセスデータＸを取得する。制御周期Ｔは、この後で説明する調整部３２によって調整される。

【0024】

調整部３２は、学習済みモデル２を用いて制御対象９の操作量ＭＶを算出するために必要なさまざまな調整を行う。調整部３２には、目標設定値Ｎ及びパラメータＰが与えられる。

【0025】

目標設定値Ｎは、先にも述べたように、プロセスデータＸの目標値である。例えば、プロセスデータＸが温度の場合には、目標設定値Ｎは、目標温度（５０℃、１００℃等）である。

【0026】

パラメータＰは、制御対象９の制御の特徴を表すパラメータである。例えば、パラメータＰは、制御対象９の操作量と、当該操作量によって得られるプロセスデータ（制御量等とも称される）との関係を特定するためのパラメータであってよい。操作量と得られるプロセスデータとの関係（入出力特性）は、ＰＩＤ（Proportional Integral Differential）制御等において、伝達特性等とも称される。そのようなパラメータＰの具体例は、入出力範囲、プロセスゲイン及び時定数等である。例えば、入出力範囲は、操作量及びプロセスデータの範囲を示す。プロセスゲインは、プロセスデータを操作量で除算した値を示す。時定数は、一次遅れ時定数等を示す。先に説明した学習済みモデル２の学習時の制御対象９ａのパラメータＰａ（図２）についても同様である。

【0027】

目標設定値Ｎ及びパラメータＰは、制御対象９によってさまざまに異なりうる。従って、調整部３２には、実際の制御対象９に対応した（制御対象別の）目標設定値Ｎ及びパラメータＰが与えられる。なお、ここでの制御対象別の目標設定値Ｎは、同じ制御対象９に対する異なる目標設定値も含む意味である。これらの目標設定値Ｎ及びパラメータＰは、ユーザ操作によって与えられてもよいし、例えば、制御対象９ごとの目標設定値Ｎ及びパラメータＰの少なくとも一方を記述したデータテーブル等が参照され、自動的に与えられてもよい。

【0028】

調整部３２による具体的な調整について説明する。具体的な調整に関する機能ブロックとして、調整部３２は、周期調整部３２１と、関数調整部３２２とを含む。

【0029】

周期調整部３２１は、与えられたパラメータＰに含まれる時定数に基づいて、制御周期Ｔを調整（決定、更新等）する。制御周期Ｔは、先に述べたように、取得部３１によるプロセスデータＸの取得周期であり、また、後述の算出部３３による操作量ＭＶの算出周期にもなりうる。時定数に基づく制御周期ＴでプロセスデータＸが取得され、操作量ＭＶが算出され、制御対象９が制御されることにより、制御対象９の応答速度等に応じた適切な制御が行われる。例えば、周期調整部３２１は、時定数が小さくなるにつれて制御周期Ｔが短くなるように、制御周期Ｔを調整してよい。時定数が小さいほど、細かい間隔での制御が求められるからである。制御周期Ｔは、時定数の大きさに比例するように調整されてよい。

【0030】

関数調整部３２２は、与えられた目標設定値Ｎ及びパラメータＰの少なくとも一方に基づいて、写像関数ｆを調整する。写像関数ｆは、取得部３１によって取得されたプロセスデータＸを特徴データＳに写像（変換）する。

【0031】

図６は、写像関数による写像の例を模式的に示す図である。プロセスデータＸが、「ｘ１」、「ｘ２」及び「ｘ３」等として模式的に示される。特徴データＳが、「ｓ１」、「ｓ２」及び「ｓ３」等として模式的に示される。この例では、プロセスデータｘ１が特徴データｓ１に、プロセスデータｘ２が特徴データｓ２に、プロセスデータｘ３が特徴データｓ３にそれぞれ写像される（変換される）。なお、写像は、このような１対１の単射に限らず、全射であってもよい。

【0032】

例えば、写像関数ｆによる写像が線形写像であり、写像関数ｆが係数ベクトルＡを用いてｆ（ｘ）＝Ａｘとして表されるとする。プロセスデータＸが（ｘ１、ｘ２）の場合、特徴データＳ（ｓ１、ｓ２）は、以下のように求められる。下記の式中の係数ａ１～係数ａ４は、係数ベクトルＡの成分を示す。

【数1】

【0033】

上記の係数ベクトルＡが、関数調整部３２２によって調整される。具体的に、関数調整部３２２は、与えられた目標設定値Ｎ及びパラメータＰの少なくとも一方と、目標設定値Ｎａ及びパラメータＰａ（学習済みモデル２の学習時の目標設定値及びパラメータ）の少なくとも一方とに基づいて、係数ベクトルＡを調整する。

【0034】

仮に、目標設定値Ｎ及びパラメータＰと、目標設定値Ｎａ及びパラメータＰａとが同じであれば、係数ベクトルＡは、以下のように調整される。

【数2】

【0035】

上記の場合には、特徴データＳは、プロセスデータＸと同じである。ただし、実際には、目標設定値Ｎ及びパラメータＰと目標設定値Ｎａ及びパラメータＰａとが異なる場合が少なくなく、特徴データＳは、プロセスデータＸとは異なるデータになる。

【0036】

関数調整部３２２は、目標設定値Ｎ及びパラメータＰの少なくとも一方と、目標設定値Ｎａ及びパラメータＰａの少なくとも一方との比較結果（例えば比率等）に基づいて、係数ベクトルＡを調整する。例えば、特定の制御対象９ａの特定の目標設定値Ｎａが制御対象９の目標設定値Ｎよりも小さい場合、関数調整部３２２は、特徴データＳがプロセスデータＸよりも小さくなるように、係数ベクトルＡを調整する。特定の制御対象９ａの特定の目標設定値Ｎａと制御対象９の目標設定値Ｎとの比率が１：２であれば、調整部３２は、特徴データＳがプロセスデータＸの０．５倍（１／２）になるように、係数ベクトルＡを調整してよい。以下のような係数ベクトルＡが得られる。

【数3】

【0037】

同様の趣旨で、関数調整部３２２は、パラメータＰと、パラメータＰａとが異なる場合にも、それらの比較結果（比率等）に基づいて、係数ベクトルＡを調整する。例えば、パラメータＰに含まれるプロセスゲインとパラメータＰａに含まれるプロセスゲインとの比率に基づいたり、制御対象９に含まれる入出力範囲とパラメータＰａに含まれる入出力範囲との比率に基づいたりして、係数ベクトルＡが調整される。

【0038】

なお、係数ベクトルＡの調整は、ユーザ操作によって手動で行われてもよい。学習済みモデル２のハイパーパラメータが手動で調整されてもよい。

【0039】

例えば以上のようにして、関数調整部３２２は、写像関数ｆを調整する。関数調整部３２２は、逆写像関数ｆ^－１も調整する。逆写像関数ｆ^－１は、写像関数ｆの逆関数であり、上述の係数ベクトルＡの逆行列等を用いて調整される。

【0040】

図５に戻り、算出部３３は、取得部３１によって取得されたプロセスデータＸと、学習済みモデル２とを用いて、操作量ＭＶを算出する。算出に関する機能ブロックとして、算出部３３は、写像部３３１と、実行部３３２と、逆写像部３３３とを含む。

【0041】

写像部３３１は、関数調整部３２２によって調整された写像関数ｆを用いて、取得部３１によって取得されたプロセスデータＸを、特徴データＳに写像（変換）する。

【0042】

実行部３３２は、写像部３３１による写像によって得られた特徴データＳを、学習済みモデル２に入力する。学習済みモデル２は、例えば先に図２及び図３を参照して説明したように、入力された特徴データＳに対応する対応する操作量（操作変更量）を選択肢として与える。それらは重みと対応付けられており、乗算、加算等によって、評価値が求められる。もっとも評価値の高い操作量が、特徴データＳ_ＭＶとして決定される。なお、特徴データＳ_ＭＶの決定に必要な計算（乗算、加算等）は、学習済みモデル２において実行されてもよいし、実行部３３２によって実行されてもよい。いずれにしても、実行部３３２は、学習済みモデル２から特徴データＳ_ＭＶを取得する。

【0043】

逆写像部３３３は、関数調整部３２２によって調整された逆写像関数ｆ^－１を用いて、実行部３３２によって取得された特徴データＳ_ＭＶを、操作量ＭＶに逆写像（逆変換）する。

【0044】

例えば以上のようにして、算出部３３は、操作量ＭＶを算出する。算出部３３は、算出した操作量ＭＶを制御対象９に与える（出力する）ことによって、制御対象９を制御する。

【0045】

記憶部３４は、ＡＩコントローラ３において実行される処理に必要なさまざまな情報を記憶する。記憶される情報として、学習時情報３４ａ及び制御プログラム３４ｂが例示される。学習時情報３４ａは、学習済みモデル２の学習時の情報であり、先に図２を参照して説明した目標設定値Ｎａ及びパラメータＰａを含む。制御プログラム３４ｂは、コンピュータにＡＩコントローラ３の処理を実行させるプログラムである。

【0046】

なお、記憶部３４は、ＡＩコントローラ３だけでなく、コントローラ１の記憶部として機能してもよい。制御プログラム３４ｂは、コンピュータにコントローラ１の処理を実行させるためのプログラムであってもよい。

【0047】

図７は、コントローラにおいて実行される処理（制御方法）の例を示すフローチャートである。これまでの説明と重複する内容については適宜省略する。

【0048】

ステップＳ１０１において、パラメータＰに基づいて制御周期Ｔが調整される。周期調整部３２１が、与えられたパラメータＰに含まれる時定数に基づいて制御周期Ｔを調整する。

【0049】

ステップＳ１０２において、目標設定値Ｎ、パラメータＰに基づいて写像関数ｆ等が調整される。関数調整部３２２が、与えられた目標設定値Ｎ及びパラメータＰの少なくとも一方に基づいて、写像関数ｆ及び逆写像関数ｆ^－１を調整する。

【0050】

ステップＳ１０３では、先のステップＳ１０１で調整された制御周期ＴでステップＳ１０４～ステップＳ１０７の処理を繰り返し実行するために、処理が分岐する。制御周期Ｔの間隔で（ステップＳ１０３：Ｙｅｓ）、ステップＳ１０４に処理が進められる。それ以外のタイミングでは（ステップＳ１０３：Ｎｏ）、処理は進められない。この判断は、例えば取得部３１によって行われてよい。

【0051】

ステップＳ１０４において、プロセスデータＸが取得される。取得部３１が、制御対象９のプロセスデータＸを取得する。

【0052】

ステップＳ１０５において、写像関数ｆを用いてプロセスデータＸが写像され、特徴データＳが取得される。算出部３３の写像部３３１が、先のステップＳ１０２で調整された写像関数ｆを用いて、先のステップＳ１０４で取得されたプロセスデータＸを特徴データＳに写像（変換）する。

【0053】

ステップＳ１０６において、特徴データＳが学習済みモデル２に入力され、特徴データＳ_ＭＶが取得される。算出部３３の実行部３３２が、先のステップＳ１０５で取得された特徴データＳを、学習済みモデル２に入力する。もっとも評価値の高い操作量が特徴データＳ_ＭＶとして決定され、取得される。

【0054】

ステップＳ１０７において、逆写像関数ｆ^－１を用いて特徴データＳ_ＭＶが逆写像され、操作量ＭＶが取得される。算出部３３の逆写像部３３３は、先のステップＳ１０２で調整された逆写像関数ｆ^－１を用いて、先のステップＳ１０６で取得された特徴データＳ_ＭＶを逆写像（逆変換）し、操作量ＭＶを取得する。

【0055】

例えば以上のようにして、学習済みモデル２を用いて、制御対象９の操作量ＭＶが算出される。操作量ＭＶが制御対象９に与えられ（出力され）、制御対象９が制御される。なお、上記のステップＳ１０１及びステップＳ１０２の処理は、逆の順序で実行されてもよいし、同時に（並列に）実行されてもよい。

【0056】

以上説明したコントローラ１によれば、特定の制御対象９ａに関して学習された学習済みモデル２を用いて、実際の制御対象９が制御対象９ａと異なっていたり、制御対象９の目標設定値Ｎが制御対象９ａの目標設定値Ｎａと異なっていたりする場合でも、その制御対象９の操作量ＭＶを算出できるようになる。実際の制御対象９の目標設定値Ｎ及びパラメータＰは、設備更新、生産計画の変更等によってさまざまに異なるが、いずれの制御対象９及び目標設定値Ｎの場合にも、同じ学習済みモデル２を用いることができる。従って、学習済みモデル２の汎用性、実用性を向上させることができる。

【0057】

以上、本開示の一実施形態について説明した。開示される技術は、上記の実施形態に限られない。いくつかの変形例について説明する。

【0058】

一実施形態において、ＡＩコントローラが、ＰＩＤコントローラに組み合わされて用いられてもよい。そのようなハイブリッド型のコントローラの例について、図７を参照して説明する。

【0059】

図８は、変形例に係るコントローラの概略構成の例を示す図である。例示されるコントローラ１Ａは、コントローラ１（図１）と比較して、ＰＩＤコントローラ４及び切替部５をさらに含む点において相違する。

【0060】

ＰＩＤコントローラ４も、制御対象９の操作量ＭＶを算出する。具体的に、ＰＩＤコントローラ４は、プロセスデータＸと目標設定値Ｎとの差を０に近づけるような操作量ＭＶを算出する。算出は、例えば下記の式に基づいて行われる。

【数4】

【0061】

上記の式において、ｅ（ｔ）及びｕ（ｔ）は、プロセスデータＸ（制御量）及び操作量ＭＶにそれぞれ対応する。Ｋｐ、Ｋｉ及びＫｄは、Ｐゲイン、Ｉゲイン及びＤゲイン（ＰＩＤゲイン）である。Ｋｐ、Ｋｉ及びＫｄは、定数であってよい。これらは、経験値若しくは理論値及び現場での合わせ込み等によって決定されてよい。

【0062】

上述のようなＰＩＤコントローラ４をも備えるコントローラ１Ａにおいては、ＡＩコントローラ３を用いて制御対象９を制御する第１の制御モードと、ＰＩＤコントローラ４を用いて制御対象９を制御する第２の制御モードとが利用可能である。

【0063】

切替部５は、第１の制御モード及び第２の制御モードを切り替える。例えば、切替部５は、第１の制御モードに切り替えることを示す信号をＡＩコントローラ３及びＰＩＤコントローラ４に出力する。これによって、ＡＩコントローラ３（の算出部３３）によって算出された操作量ＭＶを制御対象９に与える第１の制御モードに、制御モードが切り替わる。第１の制御モードにおいては、ＰＩＤコントローラ４は停止していてもよい。切替部５は、第２の制御モードに切り替えることを示す信号をＡＩコントローラ３及びＰＩＤコントローラ４に出力する。これによって、ＰＩＤコントローラ４によって算出された操作量ＭＶを制御対象９に与える第２の制御モードに、制御モードが切り替わる。第２の制御モードにおいては、ＡＩコントローラ３は停止していてもよい。切替部５による第１の制御モード及び第２の制御モードの切り替えは、自動的に行われてもよいし、ユーザ操作等に応じて手動で行われてもよい。

【0064】

ＰＩＤコントローラ４を用いる場合、プロセスデータＸを目標設定値Ｎに近づける制御は行えるものの、立ち上がり時のオーバーシュート及びアンダーシュートの少なくとも一方が発生することが少なくない。例えば温度制御でオーバーシュートが発生すると、温度が下がるのに時間がかかり、その分、生産開始が遅れるといった問題が生じる。一方で、オーバーシュートが発生しないようにＰＩＤゲインを調整すると、プロセスデータＸを目標設定値Ｎに近づけるまでに時間がかかる。最適なＰＩＤゲイン調整には、多くの時間と手間が必要になる。条件変化等によっては、再びＰＩＤゲイン調整（再チューニング）が必要になることもある。

【0065】

一方で、ＡＩコントローラ３は、上述のようなオーバーシュート等の発生を抑制しつつ早く目標設定値に到達するように学習された学習済みモデル２を用いることで、上述のＰＩＤコントローラ４の欠点が改善された制御を行うことができる。

【0066】

例えば、切替部５は、立ち上がり時には、制御モードを第１の制御モード（ＡＩコントローラ３による制御）に切り替えてよい。水位、炉温度の立ち上げ時は、ＰＩＤコントローラ４では最適な制御が難しく、ＡＩコントローラ３を用いた方がよい場合も少なくないからである。一方で、切替部５は、目標設定値Ｎ付近では、制御モードを第２の制御モード（ＰＩＤコントローラ４による制御）に切り替えてよい。ＰＩＤコントローラ４による汎用的な制御で足りるからである。これにより、例えば上述のオーバーシュート等を抑制しながら、プロセスデータＸを素早く目標設定値Ｎ付近で安定させることができる。

【0067】

コントローラ１Ａによれば、例えば学習済みモデル２及びＡＩコントローラ３だけを用いる場合よりも、また、ＰＩＤコントローラ４を単独で用いる場合よりも、制御対象９の制御精度を向上できる可能性が高まる。

【0068】

一実施形態において、学習済みモデル２は、ＡＩコントローラ３の内部に設けられてよい。例えば、学習済みモデル２は、ＡＩコントローラ３の記憶部３４に記憶されてよい。学習部２１も、ＡＩコントローラ３の内部に設けられてよい。例えば、ＡＩコントローラ３において、或る制御対象及び或る目標設定値の条件のもとでの学習によって生成された学習済みモデル２を、その制御対象と同じ制御対象ではあるが目標設定が異なるという条件での制御に用いることができる。

【0069】

一実施形態において、コントローラ１（又はコントローラ１Ａ）による処理は、クラウドコンピューティング等によって実現されてもよい。例えば、学習済みモデル２、ＡＩコントローラ３の取得部３１、調整部３２、算出部３３及び記憶部３４の機能の一部又は全部が、コントローラ１の外部の装置に設けられてよい。コントローラ１は、そのような外部の装置と通信することによって、これまで説明した処理を実行してよい。

【0070】

上記実施形態では、写像関数ｆを用いてプロセスデータＸを変換する例について説明した。ただし、写像関数ｆに限らず、プロセスデータＸを変換することが可能なあらゆる手法が用いられてよい。

【0071】

上記実施形態では、パラメータＰとして、時定数、入出力範囲及びプロセスゲインを例に挙げて説明した。ただし、これらに限らず、制御対象９の制御の特徴を表すことの可能なあらゆるパラメータが、パラメータＰとして用いられてよい。

【0072】

上記実施形態では、学習済みモデル２が、複数のサンプルデータを保持する構成を備える例について説明した。ただし、特定の制御対象９ａのプロセスデータを特定の目標設定値Ｎａに近づけるための操作量を出力することが可能なあらゆる構成を備える学習済みモデルが、学習済みモデル２として用いられてよい。

【0073】

図９は、コントローラのハードウェア構成の例を示す図である。例示されるハードウェア構成を備えるコンピュータ等が、これまで説明したコントローラ１（又はコントローラ１Ａ）として機能する。この例ではコントローラ１は、バス等で相互に接続される通信装置１ａ、表示装置１ｂ、ＨＤＤ（Hard Disk Drive）１ｃ、メモリ１ｄ及びプロセッサ１ｅを備える。

【0074】

通信装置１ａは、ネットワークインタフェースカードなどであり、他の装置との通信を可能にする。表示装置１００ｂは、例えばタッチパネルやディスプレイなどである。ＨＤＤ１ｃは、記憶部３４として機能し、制御プログラム３４ｂ等を記憶する。

【0075】

プロセッサ１ｅは、制御プログラム３４ｂをＨＤＤ１ｃ等から読み出してメモリ１ｄに展開することで、コンピュータを、コントローラ１として機能させる。機能は、これまで説明したような取得部３１の機能、調整部３２の機能及び算出部３３の機能を含む。

【0076】

制御プログラム３４ｂは、インターネットなどのネットワークを介して配布することができる。また、制御プログラム３４ｂは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ（Magneto－Optical disk）、ＤＶＤ（Digital Versatile Disc）などのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することができる。

【0077】

以上説明した技術は、例えば次のように特定される。図１～図７等を参照して説明したように、コントローラ１は、取得部３１と、算出部３３と、を備える。取得部３１は、実際の制御対象９のプロセスデータＸを取得する。算出部３３は、実際の制御対象９の目標設定値Ｎ及びパラメータＰ（例えば入出力範囲及びプロセスゲイン等）の少なくとも一方に基づいて、取得部３１によって取得されたプロセスデータＸを変換し、変換後のプロセスデータ（特徴データＳ）と、学習済みモデル２とを用いて、実際の制御対象９の操作量ＭＶを算出する。学習済みモデル２は、特定の制御対象９ａのプロセスデータが入力されると、特定の制御対象９ａのプロセスデータを特定の目標設定値Ｎａに近づけるための操作量を出力する。パラメータＰは、実際の制御対象９の操作量と、当該操作量によって得られるプロセスデータとの関係を特定するためのパラメータを含む。コントローラ１は、学習済みモデル２の学習を行う学習部２１を備えてもよい。

【0078】

上記のコントローラ１によれば、特定の制御対象９ａに関して学習された学習済みモデル２を用いて、実際の制御対象９が制御対象９ａと異なっていたり、制御対象９の目標設定値Ｎが制御対象９ａの目標設定値Ｎａと異なっていたりする場合でも、その制御対象９の操作量ＭＶを算出できるようになる。実際の制御対象９の目標設定値Ｎ及びパラメータＰは、設備更新、生産計画の変更等によってさまざまに異なるが、いずれの制御対象９及び目標設定値Ｎの場合にも、同じ学習済みモデル２を用いることができる。従って、学習済みモデル２の汎用性、実用性を向上させることができる。

【0079】

図５等を参照して説明したように、コントローラ１は、実際の制御対象９の目標設定値Ｎ及びパラメータＰの少なくとも一方と、特定の制御対象９ａの特定の目標設定値Ｎａ及び特定の制御対象９ａのパラメータＰａの少なくとも一方との比較結果（例えば比率等）に基づいて、写像関数ｆを調整する関数調整部３２２を備え、算出部３３は、関数調整部３２２によって調整された写像関数ｆを用いて、取得部３１によって取得されたプロセスデータＸを変換してよい。例えばこのような写像関数ｆを用いることにより、プロセスデータＸを適切に変換することができる。算出部３３は、変換後のプロセスデータ（特徴データＳ）と学習済みモデル２とを用いて算出したデータ（特徴データＳ_ＭＶ）に対して上述の変換とは逆の逆変換（逆写像関数ｆ^－１による逆写像）を行うことにより、実際の制御対象９の操作量ＭＶを算出してよい。

【0080】

パラメータＰは、時定数を含み、コントローラ１は、パラメータＰに含まれる時定数に基づいて制御周期Ｔを調整する周期調整部３２１を備え、取得部３１は、周期調整部３２１によって調整された制御周期Ｔで、実際の制御対象９のプロセスデータを取得してよい。これにより、適切な制御周期Ｔで制御対象９を制御することができる。

【0081】

図８等を参照して説明したように、コントローラ１は、実際の制御対象９の操作量ＭＶを算出するＰＩＤコントローラ４と、（ＡＩコントローラ３の）算出部３３によって算出された操作量ＭＶを実際の制御対象９に与える第１の制御モード及びＰＩＤコントローラ４によって算出された操作量ＭＶを実際の制御対象９に与える第２の制御モードを切り替える切替部５と、を備えてよい。これにより、例えばＡＩコントローラ３又はＰＩＤコントローラ４だけを用いる場合よりも、制御対象９の制御精度を向上できる可能性が高まる。

【0082】

図７等を参照して説明した制御方法も、実施形態の１つである。制御方法は、実際の制御対象９のプロセスデータＸを取得すること（ステップＳ１０４）と、実際の制御対象９の目標設定値Ｎ及びパラメータＰの少なくとも一方に基づいて、取得したプロセスデータＸを変換し、変換後のプロセスデータ（特徴データＳ）と、学習済みモデル２とを用いて、実際の制御対象９の操作量ＭＶを算出すること（ステップＳ１０５～ステップＳ１０７）と、を含む。このような制御方法によっても、これまで説明したように、学習済みモデル２の汎用性、実用性を向上させることができる。

【0083】

図５及び図８等を参照して説明した制御プログラム３４ｂも、実施形態の１つである。制御プログラム３４ｂは、コンピュータに、実際の制御対象９のプロセスデータＸを取得する処理と、実際の制御対象９の目標設定値Ｎ及びパラメータＰの少なくとも一方に基づいて、取得したプロセスデータＸを変換し、変換後のプロセスデータ（特徴データＳ）と、学習済みモデル２とを用いて、実際の制御対象９の操作量ＭＶを算出する処理と、を実行させる。このような制御プログラム３４ｂによっても、これまで説明したように、学習済みモデル２の汎用性、実用性を向上させることができる。なお、図９等を参照して説明したような、制御プログラム３４ｂが記録された記録媒体も、実施形態の１つである。

【符号の説明】

【0084】

１ コントローラ
２ 学習済みモデル
２１ 学習部
３ ＡＩコントローラ
３１ 取得部
３２ 調整部
３２１ 周期調整部
３２２ 関数調整部
３３ 算出部
３３１ 写像部
３３２ 実行部
３３３ 逆写像部
３４ 記憶部
３４ａ 学習時情報
３４ｂ 制御プログラム
４ ＰＩＤコントローラ
５ 切替部
９ 制御対象
９ａ 制御対象（特定の制御対象）
Ａ 係数ベクトル
ｆ 写像関数
ｆ^－１ 逆写像関数
ＭＶ 操作量
Ｎ 目標設定値
Ｎａ 目標設定値（特定の目標設定値）
Ｐ パラメータ
Ｐａ パラメータ（特定の制御対象のパラメータ）
Ｓ 特徴データ
Ｓ_ＭＶ 特徴データ（操作変更量に関する特徴データ）
Ｔ 制御周期
Ｘ プロセスデータ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】