(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024070308
(43)【公開日】2024-05-23
(54)【発明の名称】装置、方法およびプログラム
(51)【国際特許分類】
G05B 13/02 20060101AFI20240516BHJP
【ＦＩ】
G05B13/02 D
【審査請求】未請求
【請求項の数】12
【出願形態】ＯＬ
(21)【出願番号】P 2022180701
(22)【出願日】2022-11-11
(71)【出願人】
【識別番号】000006507
【氏名又は名称】横河電機株式会社
(74)【代理人】
【識別番号】110000877
【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所
(72)【発明者】
【氏名】劉 琢
(72)【発明者】
【氏名】石井 英二
(72)【発明者】
【氏名】▲高▼見 豪
【テーマコード（参考）】
5H004
【Ｆターム（参考）】
5H004GB01
5H004HB01
5H004HB02
5H004HB03
5H004KC35
5H004KC48
(57)【要約】 （修正有）
【課題】制御モデルから出力される推奨制御パラメータを出力する。
【解決手段】制御対象に関する状態の測定値と、目標値との偏差を取得する第１取得部と、制御対象に対して供給された制御パラメータを取得する第２取得部と、状態について予め設定された複数の局面にそれぞれ対応付けられた複数のサブ制御モデルを有する制御モデルであって、測定値に応じた局面に対応付けられたサブ制御モデルを用いて、偏差および制御パラメータが入力されることに応じて、制御対象に供給することを推奨する推奨制御パラメータを出力する制御モデルに対し、第１取得部により取得された偏差と、第２取得部により取得された制御パラメータとを供給する供給部と、供給部から制御モデルに対する供給が行われたことに応じて当該制御モデルから出力される推奨制御パラメータを出力する出力部と、を備える装置が提供される。
【選択図】図１
【解決手段】制御対象に関する状態の測定値と、目標値との偏差を取得する第１取得部と、制御対象に対して供給された制御パラメータを取得する第２取得部と、状態について予め設定された複数の局面にそれぞれ対応付けられた複数のサブ制御モデルを有する制御モデルであって、測定値に応じた局面に対応付けられたサブ制御モデルを用いて、偏差および制御パラメータが入力されることに応じて、制御対象に供給することを推奨する推奨制御パラメータを出力する制御モデルに対し、第１取得部により取得された偏差と、第２取得部により取得された制御パラメータとを供給する供給部と、供給部から制御モデルに対する供給が行われたことに応じて当該制御モデルから出力される推奨制御パラメータを出力する出力部と、を備える装置が提供される。
【選択図】図１
【特許請求の範囲】
【請求項1】
制御対象に関する状態の測定値と、目標値との偏差を取得する第１取得部と、
前記制御対象に対して供給された制御パラメータを取得する第２取得部と、
前記状態について予め設定された複数の局面にそれぞれ対応付けられた複数のサブ制御モデルを有する制御モデルであって、前記複数のサブ制御モデルのうち前記測定値に応じた局面に対応付けられたサブ制御モデルを用いて、偏差および制御パラメータが入力されることに応じて、前記制御対象に供給することを推奨する推奨制御パラメータを出力する制御モデルに対し、前記第１取得部により取得された前記偏差と、前記第２取得部により取得された前記制御パラメータとを供給する供給部と、
前記供給部から前記制御モデルに対する供給が行われたことに応じて当該制御モデルから出力される前記推奨制御パラメータを出力する出力部と、
を備える装置。
前記制御対象に対して供給された制御パラメータを取得する第２取得部と、
前記状態について予め設定された複数の局面にそれぞれ対応付けられた複数のサブ制御モデルを有する制御モデルであって、前記複数のサブ制御モデルのうち前記測定値に応じた局面に対応付けられたサブ制御モデルを用いて、偏差および制御パラメータが入力されることに応じて、前記制御対象に供給することを推奨する推奨制御パラメータを出力する制御モデルに対し、前記第１取得部により取得された前記偏差と、前記第２取得部により取得された前記制御パラメータとを供給する供給部と、
前記供給部から前記制御モデルに対する供給が行われたことに応じて当該制御モデルから出力される前記推奨制御パラメータを出力する出力部と、
を備える装置。
【請求項2】
前記複数の局面のうち、前記測定値に応じた局面を特定する特定部と、
前記複数のサブ制御モデルのうち、前記特定部により特定された局面に対応するサブ制御モデルを選択する選択部と、
をさらに備え、
前記供給部は、前記複数のサブ制御モデルのうち、前記選択部により選択されたサブ制御モデルに対し、前記第１取得部により取得された前記偏差と、前記第２取得部により取得された前記制御パラメータとを供給する、請求項１に記載の装置。
前記複数のサブ制御モデルのうち、前記特定部により特定された局面に対応するサブ制御モデルを選択する選択部と、
をさらに備え、
前記供給部は、前記複数のサブ制御モデルのうち、前記選択部により選択されたサブ制御モデルに対し、前記第１取得部により取得された前記偏差と、前記第２取得部により取得された前記制御パラメータとを供給する、請求項１に記載の装置。
【請求項3】
前記特定部は、予め設定された複数の数値範囲の何れに前記偏差が含まれるかに応じて局面を特定する、請求項２に記載の装置。
【請求項4】
前記複数のサブ制御モデルのうち、少なくとも２つのサブ制御モデルは、それぞれ測定値と、共通の目標値との偏差、および、制御パラメータの入力に応じ、当該偏差を小さくするために推奨される推奨制御パラメータを出力する、請求項２に記載の装置。
【請求項5】
前記特定部は、予め設定された複数の数値範囲の何れに前記測定値が含まれるかに応じて局面を特定する、請求項２に記載の装置。
【請求項6】
前記複数のサブ制御モデルのうち、少なくとも２つのサブ制御モデルは、互いに異なる固有目標値に対応付けられて、測定値と、当該固有目標値との偏差、および、制御パラメータの入力に応じ、当該偏差を小さくするために推奨される推奨制御パラメータを出力し、
当該装置は、
前記特定部により特定された局面に応じて前記少なくとも２つのサブ制御モデルの前記固有目標値の何れかを前記目標値として設定する設定部をさらに備える、請求項２に記載の装置。
当該装置は、
前記特定部により特定された局面に応じて前記少なくとも２つのサブ制御モデルの前記固有目標値の何れかを前記目標値として設定する設定部をさらに備える、請求項２に記載の装置。
【請求項7】
各サブ制御モデルは、
偏差および制御パラメータが入力されることに応じて、当該制御パラメータについて変更することを推奨する推奨変更量を出力する変更量出力モデルと、
前記制御対象に供給された前記制御パラメータと、前記変更量出力モデルから出力される前記推奨変更量とを加算して前記推奨制御パラメータを算出する加算部と、
を有し、
前記複数のサブ制御モデルは、前記加算部を共有する、請求項１に記載の装置。
偏差および制御パラメータが入力されることに応じて、当該制御パラメータについて変更することを推奨する推奨変更量を出力する変更量出力モデルと、
前記制御対象に供給された前記制御パラメータと、前記変更量出力モデルから出力される前記推奨変更量とを加算して前記推奨制御パラメータを算出する加算部と、
を有し、
前記複数のサブ制御モデルは、前記加算部を共有する、請求項１に記載の装置。
【請求項8】
前記複数のサブ制御モデルのうち、少なくとも２つのサブ制御モデルにおける前記変更量出力モデルは、互いに異なる範囲の前記推奨変更量を出力する、請求項７に記載の装置。
【請求項9】
前記第１取得部により取得される偏差と、前記第２取得部により取得される制御パラメータと、を含む学習データを用い、偏差および制御パラメータの入力に応じ、予め設定された報酬関数により定まる報酬値を高めるために推奨される前記推奨変更量を出力するよう各変更量出力モデルの学習処理を行う学習処理部をさらに備える、請求項８に記載の装置。
【請求項10】
前記学習処理部は、各変更量出力モデルに対し、別々の学習データを用いて学習処理を行う、請求項９に記載の装置。
【請求項11】
制御対象に関する状態の測定値と、目標値との偏差を取得する第１取得段階と、
前記制御対象に対して供給された制御パラメータを取得する第２取得段階と、
前記状態について予め設定された複数の局面にそれぞれ対応付けられた複数のサブ制御モデルを有する制御モデルであって、前記複数のサブ制御モデルのうち前記測定値に応じた局面に対応付けられたサブ制御モデルを用いて、偏差および制御パラメータが入力されることに応じて、前記制御対象に供給することを推奨する推奨制御パラメータを出力する制御モデルに対し、前記第１取得段階により取得された前記偏差と、前記第２取得段階により取得された前記制御パラメータとを供給する第１供給段階と、
前記第１供給段階により前記制御モデルに対する供給が行われたことに応じて当該制御モデルから出力される前記推奨制御パラメータを出力する出力段階と、
を備える方法。
前記制御対象に対して供給された制御パラメータを取得する第２取得段階と、
前記状態について予め設定された複数の局面にそれぞれ対応付けられた複数のサブ制御モデルを有する制御モデルであって、前記複数のサブ制御モデルのうち前記測定値に応じた局面に対応付けられたサブ制御モデルを用いて、偏差および制御パラメータが入力されることに応じて、前記制御対象に供給することを推奨する推奨制御パラメータを出力する制御モデルに対し、前記第１取得段階により取得された前記偏差と、前記第２取得段階により取得された前記制御パラメータとを供給する第１供給段階と、
前記第１供給段階により前記制御モデルに対する供給が行われたことに応じて当該制御モデルから出力される前記推奨制御パラメータを出力する出力段階と、
を備える方法。
【請求項12】
コンピュータを、
制御対象に関する状態の測定値と、目標値との偏差を取得する第１取得部と、
前記制御対象に対して供給された制御パラメータを取得する第２取得部と、
前記状態について予め設定された複数の局面にそれぞれ対応付けられた複数のサブ制御モデルを有する制御モデルであって、前記複数のサブ制御モデルのうち前記測定値に応じた局面に対応付けられたサブ制御モデルを用いて、偏差および制御パラメータが入力されることに応じて、前記制御対象に供給することを推奨する推奨制御パラメータを出力する制御モデルに対し、前記第１取得部により取得された前記偏差と、前記第２取得部により取得された前記制御パラメータとを供給する供給部と、
前記供給部から前記制御モデルに対する供給が行われたことに応じて当該制御モデルから出力される前記推奨制御パラメータを出力する出力部
として機能させるプログラム。
制御対象に関する状態の測定値と、目標値との偏差を取得する第１取得部と、
前記制御対象に対して供給された制御パラメータを取得する第２取得部と、
前記状態について予め設定された複数の局面にそれぞれ対応付けられた複数のサブ制御モデルを有する制御モデルであって、前記複数のサブ制御モデルのうち前記測定値に応じた局面に対応付けられたサブ制御モデルを用いて、偏差および制御パラメータが入力されることに応じて、前記制御対象に供給することを推奨する推奨制御パラメータを出力する制御モデルに対し、前記第１取得部により取得された前記偏差と、前記第２取得部により取得された前記制御パラメータとを供給する供給部と、
前記供給部から前記制御モデルに対する供給が行われたことに応じて当該制御モデルから出力される前記推奨制御パラメータを出力する出力部
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、装置、方法およびプログラムに関する。
【背景技術】
【0002】
特許文献１～４には、「目標値ＳＶに基づいて操作量マップを選択して、選択した操作量マップを用いて操作量ＭＶを算出する」（特許文献１の段落００３１）などと記載されている。
［先行技術文献］
［特許文献］
［特許文献１］特開２０２２－１５６７９７号公報
［特許文献２］特開２０２０－９５３５２号公報
［特許文献３］特開２０２１－１１７６９９号公報
［特許文献４］特開２０２２－０１４０９９号公報
［先行技術文献］
［特許文献］
［特許文献１］特開２０２２－１５６７９７号公報
［特許文献２］特開２０２０－９５３５２号公報
［特許文献３］特開２０２１－１１７６９９号公報
［特許文献４］特開２０２２－０１４０９９号公報
【発明の概要】
【0003】
本発明の第１の態様においては、制御対象に関する状態の測定値と、目標値との偏差を取得する第１取得部と、前記制御対象に対して供給された制御パラメータを取得する第２取得部と、前記状態について予め設定された複数の局面にそれぞれ対応付けられた複数のサブ制御モデルを有する制御モデルであって、前記複数のサブ制御モデルのうち前記測定値に応じた局面に対応付けられたサブ制御モデルを用いて、偏差および制御パラメータが入力されることに応じて、前記制御対象に供給することを推奨する推奨制御パラメータを出力する制御モデルに対し、前記第１取得部により取得された前記偏差と、前記第２取得部により取得された前記制御パラメータとを供給する供給部と、前記供給部から前記制御モデルに対する供給が行われたことに応じて当該制御モデルから出力される前記推奨制御パラメータを出力する出力部と、を備える装置が提供される。
【0004】
上記の装置においては、前記複数の局面のうち、前記測定値に応じた局面を特定する特定部と、前記複数のサブ制御モデルのうち、前記特定部により特定された局面に対応するサブ制御モデルを選択する選択部と、をさらに備えてよい。
前記供給部は、前記複数のサブ制御モデルのうち、前記選択部により選択されたサブ制御モデルに対し、前記第１取得部により取得された前記偏差と、前記第２取得部により取得された前記制御パラメータとを供給してよい。
前記供給部は、前記複数のサブ制御モデルのうち、前記選択部により選択されたサブ制御モデルに対し、前記第１取得部により取得された前記偏差と、前記第２取得部により取得された前記制御パラメータとを供給してよい。
【0005】
特定部および選択部を有する上記の装置においては、前記特定部は、予め設定された複数の数値範囲の何れに前記偏差が含まれるかに応じて局面を特定してよい。
【0006】
特定部および選択部を有する上記何れかの装置においては、前記複数のサブ制御モデルのうち、少なくとも２つのサブ制御モデルは、それぞれ測定値と、共通の目標値との偏差、および、制御パラメータの入力に応じ、当該偏差を小さくするために推奨される推奨制御パラメータを出力してよい。
【0007】
特定部および選択部を有する上記の装置においては、前記特定部は、予め設定された複数の数値範囲の何れに前記測定値が含まれるかに応じて局面を特定してよい。
【0008】
特定部および選択部を有する上記何れかの装置においては、前記複数のサブ制御モデルのうち、少なくとも２つのサブ制御モデルは、互いに異なる固有目標値に対応付けられて、測定値と、当該固有目標値との偏差、および、制御パラメータの入力に応じ、当該偏差を小さくするために推奨される推奨制御パラメータを出力してよい。当該装置は、前記特定部により特定された局面に応じて前記少なくとも２つのサブ制御モデルの前記固有目標値の何れかを前記目標値として設定する設定部をさらに備えてよい。
【0009】
特定部および選択部を有する上記何れかの装置においては、各サブ制御モデルは、偏差および制御パラメータが入力されることに応じて、当該制御パラメータについて変更することを推奨する推奨変更量を出力する変更量出力モデルと、前記制御対象に供給された前記制御パラメータと、前記変更量出力モデルから出力される前記推奨変更量とを加算して前記推奨制御パラメータを算出する加算部と、を有してよい。前記複数のサブ制御モデルは、前記加算部を共有してよい。
【0010】
特定部および選択部を有する上記何れかの装置においては、前記複数のサブ制御モデルのうち、少なくとも２つのサブ制御モデルにおける前記変更量出力モデルは、互いに異なる範囲の前記推奨変更量を出力してよい。
【0011】
特定部および選択部を有する上記何れかの装置においては、前記第１取得部により取得される偏差と、前記第２取得部により取得される制御パラメータと、を含む学習データを用い、偏差および制御パラメータの入力に応じ、予め設定された報酬関数により定まる報酬値を高めるために推奨される前記推奨変更量を出力するよう各変更量出力モデルの学習処理を行う学習処理部をさらに備えてよい。
【0012】
上記の装置においては、前記学習処理部は、各変更量出力モデルに対し、別々の学習データを用いて学習処理を行ってよい。
【0013】
本発明の第２の態様においては、制御対象に関する状態の測定値と、目標値との偏差を取得する第１取得段階と、前記制御対象に対して供給された制御パラメータを取得する第２取得段階と、前記状態について予め設定された複数の局面にそれぞれ対応付けられた複数のサブ制御モデルを有する制御モデルであって、前記複数のサブ制御モデルのうち前記測定値に応じた局面に対応付けられたサブ制御モデルを用いて、偏差および制御パラメータが入力されることに応じて、前記制御対象に供給することを推奨する推奨制御パラメータを出力する制御モデルに対し、前記第１取得段階により取得された前記偏差と、前記第２取得段階により取得された前記制御パラメータとを供給する第１供給段階と、前記第１供給段階により前記制御モデルに対する供給が行われたことに応じて当該制御モデルから出力される前記推奨制御パラメータを出力する出力段階と、を備える方法が提供される。
【0014】
本発明の第３の態様においては、コンピュータを、制御対象に関する状態の測定値と、目標値との偏差を取得する第１取得部と、前記制御対象に対して供給された制御パラメータを取得する第２取得部と、前記状態について予め設定された複数の局面にそれぞれ対応付けられた複数のサブ制御モデルを有する制御モデルであって、前記複数のサブ制御モデルのうち前記測定値に応じた局面に対応付けられたサブ制御モデルを用いて、偏差および制御パラメータが入力されることに応じて、前記制御対象に供給することを推奨する推奨制御パラメータを出力する制御モデルに対し、前記第１取得部により取得された前記偏差と、前記第２取得部により取得された前記制御パラメータとを供給する供給部と、前記供給部から前記制御モデルに対する供給が行われたことに応じて当該制御モデルから出力される前記推奨制御パラメータを出力する出力部として機能させるプログラムが提供される。
【0015】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【0016】
【図1】第１実施形態に係るシステム１を示す。
【図2】変更量出力モデル２０６１を示す。
【図3】変更量出力モデル２０６１を示す。
【図4】変更量出力モデル２０６１の他の例を示す。
【図5】変更量出力モデル２０６１の他の例を示す。
【図6】装置２００の動作を示す。
【図7】制御対象１０１が制御される場合の測定値ＰＶおよび制御パラメータＰの推移を示す。
【図8】変形例に係るシステム１Ａを示す。
【図9】局面ＩＤと、測定値ＰＶの数値範囲と、サブモデルＩＤと、固有目標値との対応を示す。
【図10】装置２００Ａの動作を示す。
【図11】制御対象１０１が制御される場合の測定値ＰＶの推移を示す。
【図12】本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ２２００の例を示す。
【発明を実施するための形態】
【0017】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【0018】
＜１．システム１＞
図１は、第１実施形態に係るシステム１を示す。システム１は設備１００と、装置２００とを備える。
図１は、第１実施形態に係るシステム１を示す。システム１は設備１００と、装置２００とを備える。
【0019】
＜１．１．設備１００＞
設備１００は、制御対象１０１が備え付けられた施設や装置等である。例えば、設備１００は、プラントであってもよいし、複数の機器を複合させた複合装置であってもよい。プラントとしては、化学やバイオ等の工業プラントの他、ガス田や油田等の井戸元やその周辺を管理制御するプラント、水力・火力・原子力等の発電を管理制御するプラント、太陽光や風力等の環境発電を管理制御するプラント、上下水やダム等を管理制御するプラント等が挙げられる。
設備１００は、制御対象１０１が備え付けられた施設や装置等である。例えば、設備１００は、プラントであってもよいし、複数の機器を複合させた複合装置であってもよい。プラントとしては、化学やバイオ等の工業プラントの他、ガス田や油田等の井戸元やその周辺を管理制御するプラント、水力・火力・原子力等の発電を管理制御するプラント、太陽光や風力等の環境発電を管理制御するプラント、上下水やダム等を管理制御するプラント等が挙げられる。
【0020】
設備１００には、１または複数の制御対象１０１が設けられている。制御対象１０１は、制御の対象となる器具、機械または装置等であり、いわゆるフィールド機器であってよい。例えば、制御対象１０１は、圧力計、流量計、温度センサ等のセンサ機器、流量制御弁や開閉弁等のバルブ機器、またはファンやモータ等のアクチュエータ機器であってよい。制御対象１０１は、外部から有線または無線で制御されるが、手動で制御されてもよい。制御対象１０１は、装置２００における制御部２１０によって制御されてよい。本実施形態では一例として、制御対象１０１は、操作量ＭＶ（Ｍａｎｉｐｕｌａｔｅｄ Ｖａｒｉａｂｌｅ）についての指示値ＩＶ（Ｉｎｓｔｒｕｃｔｅｄ ｖａｌｕｅ）を制御部２１０から供給されることで制御されてよい。
【0021】
また、設備１００には、１または複数のセンサ１０２が設けられていてよい。各センサ１０２は、設備１００の内外の状態の測定値、つまり、内外の状態を示す物理量の測定値を測定してよい。少なくとも１つのセンサ１０２は、制御対象１０１の状態の測定値ＰＶ（Ｐｒｏｃｅｓｓ Ｖａｒｉａｂｌｅ）を測定してよい。測定値ＰＶは、制御対象１０１を制御した結果の運転状態を示す運転データであってよく、制御の対象となる制御量を示してよい。一例として、測定値ＰＶは、制御対象１０１の出力そのものを示してもよいし、制御対象１０１の出力によって変化する様々な値を示してもよい。一例として、測定値ＰＶは、圧力、温度、ｐＨ、速度、流量などを示してよい。各センサ１０２は、測定した測定値ＰＶを装置２００に供給してよい。
【0022】
＜１．２．装置２００＞
装置２００は、制御対象１０１を制御するものであり、例えば制御対象１０１のコントローラであってよい。装置２００は、制御対象１０１の操作量ＭＶについての指示値ＩＶを出力して温度の調節、液面の水位調整または流量の調整などのプロセス制御を実行してよい。
装置２００は、制御対象１０１を制御するものであり、例えば制御対象１０１のコントローラであってよい。装置２００は、制御対象１０１の操作量ＭＶについての指示値ＩＶを出力して温度の調節、液面の水位調整または流量の調整などのプロセス制御を実行してよい。
【0023】
装置２００は、ＰＣ（パーソナルコンピュータ）、タブレット型コンピュータ、スマートフォン、ワークステーション、サーバコンピュータ、または汎用コンピュータ等のコンピュータであってよく、複数のコンピュータが接続されたコンピュータシステムであってもよい。このようなコンピュータシステムもまた広義のコンピュータである。また、装置２００は、コンピュータ内で１または複数実行可能な仮想コンピュータ環境によって実装されてもよい。これに代えて、装置２００は、ＡＩ制御用に設計された専用コンピュータであってもよく、専用回路によって実現された専用ハードウェアであってもよい。また、装置２００がインターネットに接続可能な場合、装置２００は、クラウドコンピューティングにより実現されてもよい。
【0024】
装置２００は、測定値取得部２０１と、目標値取得部２０２と、偏差取得部２０３と、制御パラメータ取得部２０４と、制御モデル２０５と、特定部２０７と、選択部２０８と、供給部２０９と、制御部２１０と、学習処理部２１１とを有してよい。なお、これらブロックは、それぞれ機能的に分離された機能ブロックであって、実際のデバイス構成とは必ずしも一致していなくてもよい。即ち、本図において、１つのブロックとして示されている場合であっても、それが１つのデバイスにより構成されるものに限定されない。また、本図において、別々のブロックとして示されている場合であっても、それらが別々のデバイスにより構成されるものに限定されない。
【0025】
＜１．２―１．測定値取得部２０１＞
測定値取得部２０１は、制御対象１０１に関する状態の測定値ＰＶを取得する。本実施形態では一例として、測定値取得部２０１は、一の物理量についての測定値ＰＶを一のセンサ１０２から取得することとして説明するが、複数の物理量のそれぞれについての測定値ＰＶを複数のセンサ１０２から取得してもよい。測定値取得部２０１は、取得した測定値ＰＶを偏差取得部２０３に供給してよい。
測定値取得部２０１は、制御対象１０１に関する状態の測定値ＰＶを取得する。本実施形態では一例として、測定値取得部２０１は、一の物理量についての測定値ＰＶを一のセンサ１０２から取得することとして説明するが、複数の物理量のそれぞれについての測定値ＰＶを複数のセンサ１０２から取得してもよい。測定値取得部２０１は、取得した測定値ＰＶを偏差取得部２０３に供給してよい。
【0026】
＜１．２－２．目標値取得部２０２＞
目標値取得部２０２は、制御対象１０１に関する状態の目標値ＳＰ（Ｓｅｔ Ｐｏｉｎｔ）を取得する。目標値取得部２０２は、測定値取得部２０１により取得される測定値ＰＶの目標値ＳＰを取得してよい。目標値取得部２０２は、図示しない入力部を介してオペレータから目標値ＳＰを取得してよい。本実施形態では一例として目標値取得部２０２は、予め設定された基準目標値を目標値ＳＰとして取得してよい。目標値取得部２０２は、取得した目標値ＳＰを偏差取得部２０３に供給してよい。
目標値取得部２０２は、制御対象１０１に関する状態の目標値ＳＰ（Ｓｅｔ Ｐｏｉｎｔ）を取得する。目標値取得部２０２は、測定値取得部２０１により取得される測定値ＰＶの目標値ＳＰを取得してよい。目標値取得部２０２は、図示しない入力部を介してオペレータから目標値ＳＰを取得してよい。本実施形態では一例として目標値取得部２０２は、予め設定された基準目標値を目標値ＳＰとして取得してよい。目標値取得部２０２は、取得した目標値ＳＰを偏差取得部２０３に供給してよい。
【0027】
＜１．２－３．偏差取得部２０３＞
偏差取得部２０３は、第１取得部の一例であり、制御対象１０１に関する状態の測定値ＰＶおよび目標値ＳＰの偏差を取得する。偏差取得部２０３は、測定値取得部２０１から測定値ＰＶを、目標値取得部２０２から目標値ＳＰを取得し、目標値ＳＰから測定値ＰＶを減算して偏差を算出してよい。これに代えて、偏差取得部２０３は、測定値ＰＶから目標値ＳＰを減算して偏差を算出してもよい。偏差取得部２０３は、取得した偏差を特定部２０７および供給部２０９に供給してよい。偏差取得部２０３は、取得した偏差を、図示しない記憶部に記憶させてよい。
偏差取得部２０３は、第１取得部の一例であり、制御対象１０１に関する状態の測定値ＰＶおよび目標値ＳＰの偏差を取得する。偏差取得部２０３は、測定値取得部２０１から測定値ＰＶを、目標値取得部２０２から目標値ＳＰを取得し、目標値ＳＰから測定値ＰＶを減算して偏差を算出してよい。これに代えて、偏差取得部２０３は、測定値ＰＶから目標値ＳＰを減算して偏差を算出してもよい。偏差取得部２０３は、取得した偏差を特定部２０７および供給部２０９に供給してよい。偏差取得部２０３は、取得した偏差を、図示しない記憶部に記憶させてよい。
【0028】
＜１．２－４．制御パラメータ取得部２０４＞
制御パラメータ取得部２０４は、第２取得部の一例であり、制御対象１０１に対して供給された制御パラメータＰを取得する。制御パラメータ取得部２０４は、後述の制御部２１０から制御パラメータＰを取得してよく、本実施形態では一例として、制御部２１０が制御対象１０１に制御パラメータＰを供給するごとに当該制御パラメータＰを取得してよい。制御パラメータＰは、制御対象１０１の操作量ＭＶについての指示値ＩＶを示してよい。制御対象１０１がバルブである場合には、制御パラメータＰは一例としてバルブ開度を示してよい。制御パラメータ取得部２０４は、取得した制御パラメータＰを供給部２０９に供給してよい。
制御パラメータ取得部２０４は、第２取得部の一例であり、制御対象１０１に対して供給された制御パラメータＰを取得する。制御パラメータ取得部２０４は、後述の制御部２１０から制御パラメータＰを取得してよく、本実施形態では一例として、制御部２１０が制御対象１０１に制御パラメータＰを供給するごとに当該制御パラメータＰを取得してよい。制御パラメータＰは、制御対象１０１の操作量ＭＶについての指示値ＩＶを示してよい。制御対象１０１がバルブである場合には、制御パラメータＰは一例としてバルブ開度を示してよい。制御パラメータ取得部２０４は、取得した制御パラメータＰを供給部２０９に供給してよい。
【0029】
＜１．２－５．制御モデル２０５＞
制御モデル２０５は、偏差および制御パラメータＰが入力されることに応じて、制御対象１０１に供給することを推奨する推奨制御パラメータＰｒを出力する。制御モデル２０５は、偏差と、一の制御対象１０１に供給された制御パラメータＰとが入力されることに応じて、当該一の制御対象１０１に供給することを推奨する推奨制御パラメータＰｒを出力してよい。推奨制御パラメータＰｒは、制御対象１０１の操作量ＭＶについての、推奨される指示値ＩＶを示してよい。
制御モデル２０５は、偏差および制御パラメータＰが入力されることに応じて、制御対象１０１に供給することを推奨する推奨制御パラメータＰｒを出力する。制御モデル２０５は、偏差と、一の制御対象１０１に供給された制御パラメータＰとが入力されることに応じて、当該一の制御対象１０１に供給することを推奨する推奨制御パラメータＰｒを出力してよい。推奨制御パラメータＰｒは、制御対象１０１の操作量ＭＶについての、推奨される指示値ＩＶを示してよい。
【0030】
制御モデル２０５は、後述の供給部２０９から偏差と、制御パラメータＰとを入力されることに応じて、後述の制御部２１０に推奨制御パラメータＰｒを出力してよい。本実施形態では一例として、制御モデル２０５には一の物理量についての測定値ＰＶおよび目標値ＳＰの偏差が入力されることとして説明するが、複数の物理量についての測定値ＰＶおよび目標値ＳＰの偏差がそれぞれ入力されることとしてもよい。
【0031】
制御モデル２０５は、制御対象１０１に関する状態について予め設定された複数の局面にそれぞれ対応付けられた複数のサブ制御モデル２０６（本実施形態では一例として２つのサブ制御モデル２０６ａ，２０６ｂ）を有し、測定値ＰＶに応じた局面に対応付けられたサブ制御モデル２０６を用いて推奨制御パラメータＰｒを出力してよい。局面とは、ある時点での制御対象１０１に関する状態であってよい。例えば、複数の局面には、測定値ＰＶが目標値ＳＰに近い第１の局面と、測定値ＰＶが目標値ＳＰから遠い第２の局面とが含まれてよい。
【0032】
＜１．２－５（１）．サブ制御モデル２０６＞
各サブ制御モデル２０６は、それぞれ偏差、および、制御パラメータの入力に応じ、当該偏差を小さくするために推奨される推奨制御パラメータを出力してよい。複数のサブ制御モデル２０６は、互いに独立して別々に設けられ、後述の供給部２０９から互いに独立に偏差および制御パラメータを取得可能であってよい。２つのサブ制御モデル２０６ａ、２０６ｂは、共通の目標値ＳＰに対応付けられてよく、それぞれ共通の目標値ＳＰと測定値ＰＶとの偏差、および、制御パラメータの入力に応じ、当該偏差を小さくするために推奨される推奨制御パラメータを出力してよい。
各サブ制御モデル２０６は、それぞれ偏差、および、制御パラメータの入力に応じ、当該偏差を小さくするために推奨される推奨制御パラメータを出力してよい。複数のサブ制御モデル２０６は、互いに独立して別々に設けられ、後述の供給部２０９から互いに独立に偏差および制御パラメータを取得可能であってよい。２つのサブ制御モデル２０６ａ、２０６ｂは、共通の目標値ＳＰに対応付けられてよく、それぞれ共通の目標値ＳＰと測定値ＰＶとの偏差、および、制御パラメータの入力に応じ、当該偏差を小さくするために推奨される推奨制御パラメータを出力してよい。
【0033】
本実施形態では一例としてサブ制御モデル２０６ａは、測定値ＰＶが目標値ＳＰに近い（つまり偏差が小さい）第１の局面において、細かい間隔や粒度（細かさ、精度とも称する）の推奨制御パラメータを出力するものであってよい。サブ制御モデル２０６ａは、速度よりも精度を優先して制御対象１０１を制御するためのものであってよく、精度重視型のサブ制御モデル２０６ａとも称される。
【0034】
サブ制御モデル２０６ｂは、測定値ＰＶが目標値ＳＰから遠い（つまり偏差が大きい）第２の局面において、サブ制御モデル２０６ａよりも大きい間隔や粒度の推奨制御パラメータを出力するものであってよい。サブ制御モデル２０６ｂは、精度よりも速度を優先して制御対象１０１を制御するためのものであってよく、速度重視型のサブ制御モデル２０６ｂとも称される。
【0035】
サブ制御モデル２０６ａ，２０６ｂには、入力される偏差について、互いに異なる数値範囲が設定されてよい。例えば、サブ制御モデル２０６ａには、入力される偏差の数値範囲として、０を含み絶対値が小さい範囲（一例として、－１から１までの範囲。第１の数値範囲とも称する）が設定されてよく、サブ制御モデル２０６ｂには、０を含まず第１の数値範囲よりも絶対値が大きい範囲（一例として、－１以下および１以上の範囲。第２の数値範囲とも称する）が設定されてよい。第１の数値範囲および第２の数値範囲は互いに重複しなくてよく、第１の数値範囲は、第２の数値範囲の内側の範囲であってよい。各サブ制御モデル２０６は、変更量出力モデル２０６１と、加算部２０６２とを有してよい。
【0036】
＜１．２－５（１－１）．変更量出力モデル２０６１＞
各サブ制御モデル２０６の各変更量出力モデル２０６１は、偏差および制御パラメータＰが入力されることに応じて、当該制御パラメータＰについて変更することを推奨する推奨変更量を出力する。各サブ制御モデル２０６の変更量出力モデル２０６１は、互いに異なる範囲の推奨変更量を出力してよい。本実施形態では一例として、サブ制御モデル２０６ａの変更量出力モデル２０６１（変更量出力モデル２０６１ａとも称する）から出力される推奨変更量は、サブ制御モデル２０６ｂの変更量出力モデル２０６１（変更量出力モデル２０６１ｂとも称する）から出力される推奨変更量と比較して、オーダ（桁数とも称する）や間隔、粒度が小さくてよい。変更量出力モデル２０６１ｂの推奨変更量は、最大値および最小値と、中間値（一例として０）との３種類のみであってよく、フルアクセル・フルブレーキ制御に近似した制御によって測定値ＰＶを目標値ＳＰに近づけてよい。変更量出力モデル２０６１ａの推奨変更量は、変更量出力モデル２０６１ｂよりも多くの値を有してよい。
各サブ制御モデル２０６の各変更量出力モデル２０６１は、偏差および制御パラメータＰが入力されることに応じて、当該制御パラメータＰについて変更することを推奨する推奨変更量を出力する。各サブ制御モデル２０６の変更量出力モデル２０６１は、互いに異なる範囲の推奨変更量を出力してよい。本実施形態では一例として、サブ制御モデル２０６ａの変更量出力モデル２０６１（変更量出力モデル２０６１ａとも称する）から出力される推奨変更量は、サブ制御モデル２０６ｂの変更量出力モデル２０６１（変更量出力モデル２０６１ｂとも称する）から出力される推奨変更量と比較して、オーダ（桁数とも称する）や間隔、粒度が小さくてよい。変更量出力モデル２０６１ｂの推奨変更量は、最大値および最小値と、中間値（一例として０）との３種類のみであってよく、フルアクセル・フルブレーキ制御に近似した制御によって測定値ＰＶを目標値ＳＰに近づけてよい。変更量出力モデル２０６１ａの推奨変更量は、変更量出力モデル２０６１ｂよりも多くの値を有してよい。
【0037】
変更量出力モデル２０６１は、推奨変更量を加算部２０６２に供給してよい。推奨変更量は、制御対象１０１に対して供給された直近の制御パラメータＰから変更することを推奨する変更量を示してよい。本実施形態では一例として推奨変更量は、操作量ＭＶについての直近の指示値ＩＶについての推奨される変更量を示してよい。変更量出力モデル２０６１は、学習処理部２１１による学習処理によって生成されてよく、図示しない記憶部に記憶されていてよい。
【0038】
＜１．２－５（１－２）．加算部２０６２＞
加算部２０６２は、制御対象１０１に供給された制御パラメータＰと、変更量出力モデル２０６１から出力される推奨変更量とを加算して推奨制御パラメータＰｒを算出する。加算部２０６２は、サブ制御モデル２０６ａ，２０６ｂにより共有されてよい。加算部２０６２は、制御対象１０１に供給された制御パラメータＰと、サブ制御モデル２０６ａの変更量出力モデル２０６１ａから出力される推奨変更量とを加算して推奨制御パラメータＰｒを算出すると共に、制御対象１０１に供給された制御パラメータＰと、サブ制御モデル２０６ｂの変更量出力モデル２０６１ｂから出力される推奨変更量とを加算して推奨制御パラメータＰｒを算出してよい。
加算部２０６２は、制御対象１０１に供給された制御パラメータＰと、変更量出力モデル２０６１から出力される推奨変更量とを加算して推奨制御パラメータＰｒを算出する。加算部２０６２は、サブ制御モデル２０６ａ，２０６ｂにより共有されてよい。加算部２０６２は、制御対象１０１に供給された制御パラメータＰと、サブ制御モデル２０６ａの変更量出力モデル２０６１ａから出力される推奨変更量とを加算して推奨制御パラメータＰｒを算出すると共に、制御対象１０１に供給された制御パラメータＰと、サブ制御モデル２０６ｂの変更量出力モデル２０６１ｂから出力される推奨変更量とを加算して推奨制御パラメータＰｒを算出してよい。
【0039】
加算部２０６２は、制御部２１０から供給された直近の制御パラメータＰと、変更量出力モデル２０６１から供給された推奨変更量とを加算して推奨制御パラメータＰｒを算出してよい。加算部２０６２は、次の（１）式に示すように、時点ｔ－１での制御パラメータＰ（ｔ－１）と、時点ｔでの推奨変更量Δｕ（ｔ）とを加算して、時点ｔでの推奨制御パラメータＰｒ（ｔ）を算出してよい。
Ｐｒ（ｔ）＝Ｐ（ｔ－１）＋Δｕ（ｔ） （１）
Ｐｒ（ｔ）＝Ｐ（ｔ－１）＋Δｕ（ｔ） （１）
【0040】
加算部２０６２は、制御部２１０から供給される制御パラメータＰを記憶して、推奨制御パラメータＰｒの算出に用いてよい。加算部２０６２は、算出された推奨制御パラメータＰｒを制御部２１０に供給してよい。
【0041】
＜１．２－６．特定部２０７＞
特定部２０７は、複数の局面のうち、測定値ＰＶに応じた局面を特定する。特定部２０７は、偏差取得部２０３から供給される偏差に応じて局面を特定してよい。特定部２０７は、予め設定された複数の数値範囲の何れに偏差が含まれるかに応じて局面を特定してよい。特定部２０７は、サブ制御モデル２０６ａ，２０６ｂに予め設定された、入力される偏差についての第１の数値範囲および第２の数値範囲の何れに対し、偏差取得部２０３からの偏差が含まれるかに応じて局面を特定してよい。
特定部２０７は、複数の局面のうち、測定値ＰＶに応じた局面を特定する。特定部２０７は、偏差取得部２０３から供給される偏差に応じて局面を特定してよい。特定部２０７は、予め設定された複数の数値範囲の何れに偏差が含まれるかに応じて局面を特定してよい。特定部２０７は、サブ制御モデル２０６ａ，２０６ｂに予め設定された、入力される偏差についての第１の数値範囲および第２の数値範囲の何れに対し、偏差取得部２０３からの偏差が含まれるかに応じて局面を特定してよい。
【0042】
特定部２０７は、数値範囲と、局面の識別情報（局面ＩＤとも称する）とを対応付けて記憶してよく、偏差取得部２０３からの偏差を含む数値範囲に対応付けられた局面を特定してよい。本実施形態では一例として、特定部２０７は、偏差取得部２０３からの偏差が第１の数値範囲に含まれることに応じて第１の局面を、測定値ＰＶに応じた局面として特定してよい。特定部２０７は、偏差取得部２０３からの偏差が第２の数値範囲に含まれることに応じて第２の局面を、測定値ＰＶに応じた局面として特定してよい。特定部２０７は、特定した局面の局面ＩＤを選択部２０８に供給してよい。
【0043】
＜１．２－７．選択部２０８＞
選択部２０８は、複数のサブ制御モデル２０６のうち、特定部２０７により特定された局面に対応するサブ制御モデル２０６を選択する。選択部２０８は、各局面の局面ＩＤと、各サブ制御モデル２０６の識別情報（サブモデルＩＤとも称する）とを対応付けて記憶してよく、特定部２０７から供給される局面ＩＤに対応するサブモデルＩＤのサブ制御モデル２０６を選択してよい。選択部２０８は、選択したサブ制御モデル２０６のサブモデルＩＤを供給部２０９に供給してよい。
選択部２０８は、複数のサブ制御モデル２０６のうち、特定部２０７により特定された局面に対応するサブ制御モデル２０６を選択する。選択部２０８は、各局面の局面ＩＤと、各サブ制御モデル２０６の識別情報（サブモデルＩＤとも称する）とを対応付けて記憶してよく、特定部２０７から供給される局面ＩＤに対応するサブモデルＩＤのサブ制御モデル２０６を選択してよい。選択部２０８は、選択したサブ制御モデル２０６のサブモデルＩＤを供給部２０９に供給してよい。
【0044】
＜１．２－８．供給部２０９＞
供給部２０９は、制御モデル２０５に対し、偏差取得部２０３により取得された偏差と、制御パラメータ取得部２０４により取得された制御パラメータＰとを供給する。供給部２０９は、制御部２１０から制御対象１０１に供給された制御パラメータＰと、当該制御パラメータＰにより制御対象１０１を制御した結果の運転状態を示す偏差とを制御モデル２０５に供給してよい。
供給部２０９は、制御モデル２０５に対し、偏差取得部２０３により取得された偏差と、制御パラメータ取得部２０４により取得された制御パラメータＰとを供給する。供給部２０９は、制御部２１０から制御対象１０１に供給された制御パラメータＰと、当該制御パラメータＰにより制御対象１０１を制御した結果の運転状態を示す偏差とを制御モデル２０５に供給してよい。
【0045】
供給部２０９は、制御モデル２０５における複数のサブ制御モデル２０６のうち、選択部２０８により選択されたサブ制御モデル２０６に対して偏差および制御パラメータを供給してよい。本実施形態では一例として供給部２０９は、選択部２０８から供給されるサブモデルＩＤで示されるサブ制御モデル２０６に対して供給を行ってよい。
【0046】
＜１．２－９．制御部２１０＞
制御部２１０は、出力部の一例であり、供給部２０９から制御モデル２０５に対する供給が行われたことに応じて当該制御モデル２０５から出力される推奨制御パラメータＰｒを出力する。本実施形態では一例として、制御部２１０は、推奨制御パラメータＰｒを制御パラメータＰとして制御対象１０１に出力して、制御対象１０１を制御してよい。制御部２１０は、オペレータから入力される制御パラメータＰを制御対象１０１に出力して制御対象１０１を制御してもよい。制御部２１０は、制御対象１０１の制御周期に合わせて制御パラメータＰを制御対象１０１に出力してよい。
制御部２１０は、出力部の一例であり、供給部２０９から制御モデル２０５に対する供給が行われたことに応じて当該制御モデル２０５から出力される推奨制御パラメータＰｒを出力する。本実施形態では一例として、制御部２１０は、推奨制御パラメータＰｒを制御パラメータＰとして制御対象１０１に出力して、制御対象１０１を制御してよい。制御部２１０は、オペレータから入力される制御パラメータＰを制御対象１０１に出力して制御対象１０１を制御してもよい。制御部２１０は、制御対象１０１の制御周期に合わせて制御パラメータＰを制御対象１０１に出力してよい。
【0047】
制御部２１０は、制御対象１０１に供給される制御パラメータＰを、図示しない記憶部に記憶させてよい。制御部２１０は、制御対象１０１に供給される制御パラメータＰを、偏差取得部２０３により取得される偏差と対応付けて記憶部に記憶させてよい。制御部２１０は、制御対象１０１に供給される制御パラメータＰを、当該制御パラメータＰにより制御対象１０１を制御した結果の運転状態を示す偏差と対応付けて記憶部に記憶させてよい。
【0048】
＜１．２－１０．学習処理部２１１＞
学習処理部２１１は、偏差取得部２０３により取得される偏差と、制御パラメータ取得部２０４により取得される制御パラメータＰと、を含む学習データを用いて各変更量出力モデル２０６１の学習処理を行う。
学習処理部２１１は、偏差取得部２０３により取得される偏差と、制御パラメータ取得部２０４により取得される制御パラメータＰと、を含む学習データを用いて各変更量出力モデル２０６１の学習処理を行う。
【0049】
学習処理部２１１は、偏差および制御パラメータＰの入力に応じ、報酬値を高めるために推奨される推奨変更量を出力するようサブ制御モデル２０６１の学習を行ってよい。推奨変更量は、所定の時点（一例として偏差および制御パラメータＰの取得時点）での制御対象１０１の状態に対応する報酬値（一例としてその時点の測定値ＰＶに応じた値を報酬関数に入力して得られる報酬値）を基準報酬値とした場合に、当該基準報酬値よりも報酬値を高くするために推奨される変更量であってよい。報酬値は、予め設定された報酬関数により定まる値であってよい。報酬関数は、偏差に基づく関数であってよく、一例として、偏差が小さいほど報酬値が大きくなる関数であってよい。なお、偏差取得部２０３により複数の物理量のそれぞれについて偏差が取得される場合には、報酬関数は複数の偏差の総和に基づく関数であってもよいし、複数の偏差を重み付け加算した結果に基づく関数であってもよい。学習処理部２１１は、一例として、カーネルダイナミックポリシープログラミング法（Ｋｅｒｎｅｌ Ｄｙｎａｍｉｃ Ｐｏｌｉｃｙ Ｐｒｏｇｒａｍｍｉｎｇ、ＫＤＰＰ）のアルゴリズムにより学習を行ってよい。
【0050】
学習処理部２１１は、各変更量出力モデル２０６１に対し、別々の学習データを用いて学習処理を行ってよい。例えば、学習処理部２１１は、変更量出力モデル２０６１ａの学習処理を行う場合には、偏差が第１の数値範囲に含まれる学習データを用いて学習処理を行ってよい。一例として、学習処理部２１１は、測定値ＰＶが目標値ＳＰに近い状態において制御対象１０１を逐次、制御した場合に取得される学習データを用いて学習処理を行ってよい。学習処理部２１１は、変更量出力モデル２０６１ｂの学習処理を行う場合には、偏差が第２の数値範囲に含まれる学習データを用いて学習処理を行ってもよいし、偏差が第１の数値範囲に含まれる学習データをさらに用いて学習処理を行ってもよい。一例として、学習処理部２１１は、測定値ＰＶが目標値ＳＰから遠い状態において制御対象１０１を逐次、制御した場合に取得される学習データを用いて学習処理を行ってよい。
【0051】
なお、変更量出力モデル２０６１ａの学習データと、変更量出力モデル２０６１ｂの学習データとの間では、偏差の絶対値の数値範囲が互いに異なってよい。例えば、変更量出力モデル２０６１ａの学習データにおける偏差の絶対値の数値範囲は、変更量出力モデル２０６１ｂの学習データにおける偏差の絶対値の数値範囲よりも０に近くてよい。一例として、変更量出力モデル２０６１ａの学習データにおける偏差は１００、つまり１桁のオーダであってよく、変更量出力モデル２０６１ｂの学習データにおける偏差は１０１のオーダ、つまり２桁の値であってよい。
【0052】
また、変更量出力モデル２０６１ａの学習データと、変更量出力モデル２０６１ｂの学習データとの間では、制御パラメータＰの数値範囲が互いに異なってよい。例えば、変更量出力モデル２０６１ａの学習データにおける制御パラメータＰの数値範囲は、測定値ＰＶが目標値ＳＰに安定する場合の制御パラメータＰの値（平衡点での制御パラメータＰとも称する）を含む第３の数値範囲内の値であってよい。変更量出力モデル２０６１ｂの学習データにおける制御パラメータＰの数値範囲は、第３の数値範囲よりも外側の第４の数値範囲内の値であってもよいし、第３の数値範囲および第４の数値範囲内の値であってもよい。変更量出力モデル２０６１ａの学習データにおける制御パラメータＰは、変更量出力モデル２０６１ｂの学習データにおける制御パラメータＰと比較して、間隔や粒度が小さくてよい。
【0053】
学習処理部２１１は、目標値ＳＰが同一の値である場合に取得される偏差および制御パラメータＰを含む学習データを用いて各変更量出力モデル２０６１の学習処理を行ってよい。なお、学習データは、実際のシステム１から取得される代わりに、システム１のシミュレータ（図示せず）から取得されてもよい。シミュレータは、任意のシステム同定技術により設備１００の実測データなどを用いて作成されてよい。各学習データは、図示しない記憶部に記憶されてよい。
【0054】
以上の装置２００によれば、制御モデル２０５では、状態について予め設定された複数の局面にそれぞれ対応付けられた複数のサブ制御モデル２０６のうち、測定値に応じた局面に対応付けられたサブ制御モデル２０６が用いられ、偏差取得部２０３により取得された偏差と、制御パラメータ取得部２０４により取得された制御パラメータＰとが入力されることに応じて推奨制御パラメータＰｒが出力される。従って、制御モデル２０５に偏差および制御パラメータＰを入力することで、局面に応じた推奨制御パラメータＰｒを取得することができる。
【0055】
また、測定値ＰＶに応じた局面が特定されて、複数のサブ制御モデル２０６のうち、特定された局面に対応するサブ制御モデル２０６が選択され、選択されたサブ制御モデル２０６に偏差と制御パラメータとが供給される。
従って、局面に応じたサブ制御モデル２０６を適切に用いて推奨制御パラメータＰｒを取得することができる。
従って、局面に応じたサブ制御モデル２０６を適切に用いて推奨制御パラメータＰｒを取得することができる。
【0056】
また、予め設定された複数の数値範囲の何れに偏差が含まれるかに応じて局面が特定されるので、偏差の大きさに応じた局面、つまり、目標値ＳＰと測定値ＰＶとの乖離度に応じた局面を特定して、局面に応じた推奨制御パラメータＰｒを取得することができる。
【0057】
また、サブ制御モデル２０６ａ，２０６ｂはそれぞれ測定値ＰＶと、共通の目標値ＳＰとの偏差、および、制御パラメータＰの入力に応じ、当該偏差を小さくするために推奨される推奨制御パラメータを出力する。従って、共通の目標値ＳＰと測定値ＰＶとの偏差を小さくするための別々の推奨制御パラメータＰｒを、局面に応じて取得することができる。よって、平衡点に達する速度を重視して偏差を急激に小さくする推奨制御パラメータＰｒと、平衡点に達する精度を重視して偏差を穏やかに小さくする推奨制御パラメータＰｒとを局面に応じて取得することができる。
【0058】
また、各サブ制御モデル２０６では、偏差と、制御対象１０１に供給済みの制御パラメータＰとに応じて当該制御パラメータＰの推奨変更量が変更量出力モデル２０６１から出力され、当該供給済みの制御パラメータＰと、当該推奨変更量とが共通の加算部２０６２によって加算されて推奨制御パラメータＰｒが算出される。従って、加算部２０６２をサブ制御モデル２０６ごとに設ける場合と異なり、装置２００の構成を簡略化することができる。
【0059】
また、サブ制御モデル２０６ａ，２０６ｂの変更量出力モデル２０６１は、互いに異なる範囲の推奨変更量を出力するので、偏差を急激に小さくする推奨制御パラメータＰｒと、偏差を穏やかに小さくする推奨制御パラメータＰｒとを局面に応じて確実に取得することができる。
【0060】
また、偏差取得部２０３により取得される偏差と、制御パラメータ取得部２０４により取得される制御パラメータＰと、を含む学習データを用い、偏差および制御パラメータＰの入力に応じ、予め設定された報酬関数により定まる報酬値を高めるために推奨される推奨変更量を出力するよう各変更量出力モデル２０６１の学習処理が行われる。従って、各サブ制御モデル２０６から適切な推奨制御パラメータＰｒを取得することができる。
【0061】
また、各サブ制御モデル２０６に対し、別々の学習データを用いて学習処理が行われるので、各サブ制御モデル２０６から局面に適した推奨制御パラメータＰｒを取得することができる。
【0062】
【0063】
変更量出力モデル２０６１は、偏差および制御パラメータＰの組み合わせと、推奨変更量との対応関係を示してよい。本例の変更量出力モデル２０６１は、偏差および制御パラメータＰの組み合わせと、推奨変更量との対応関係をマッピングした操作量マップであってよい。操作量マップは、制御パラメータＰと偏差との組み合わせに応じて、それぞれ別々の推奨変更量に対応付けられた複数の領域に分けられてよく、入力される制御パラメータＰおよび偏差の組み合わせの座標位置に対応付けられた推奨変更量を出力してよい。このような変更量出力モデル２０６１を用いると、偏差が０で、かつ、推奨変更量が０の座標点（本図では一例として偏差＝０かつ制御パラメータＰ＝約５０の点）、つまり平衡点でプロセスが安定状態となる。
【0064】
ここで、図２の変更量出力モデル２０６１は、偏差が小さい局面において細かい間隔や粒度の推奨制御パラメータを出力する変更量出力モデル２０６１ａであり、図３の変更量出力モデル２０６１は、偏差が大きい局面において大きい間隔や粒度の推奨制御パラメータを出力する変更量出力モデル２０６１ｂであってよい。変更量出力モデル２０６１ａには、入力される偏差について－１．００～１．００が第１の数値範囲として設定されてよく、変更量出力モデル２０６１ｂには、入力される偏差について－５０～５０が第２の数値範囲として設定されてよい。変更量出力モデル２０６１ａから出力される推奨変更量は１０－２～１０－１のオーダであってよく、変更量出力モデル２０６１ｂから出力される推奨変更量は１００のオーダであってよい。
【0065】
なお、変更量出力モデル２０６１は、操作量マップの全域に関する情報を含んでよい。これに代えて、変更量出力モデル２０６１は、各領域の境界を示す情報（一例として境界を示す座標や関数式）と、各領域に対応する推奨変更量とのみを含んでもよい。この場合には、変更量出力モデル２０６１を記憶するための記憶領域を小さくすることができる。
【0066】
図４、図５は、変更量出力モデル２０６１の他の例を示す。図４は図２と同内容の変更量出力モデル２０６１ａを示してよく、図５は図３と同内容の変更量出力モデル２０６１ｂを示してよい。これらの図に示すように、変更量出力モデル２０６１は、偏差および制御パラメータＰの組み合わせと、推奨変更量とを対応付けたテーブルであってもよい。
【0067】
＜３．動作＞
図６は、装置２００の動作を示す。装置２００は、ステップＳ１１～Ｓ２３の処理を行うことにより、制御対象１０１を制御してよい。なお、この動作は装置２００が起動されることに応じて開始してよい。また、動作の開始時点においては変更量出力モデル２０６１の学習処理が完了しており、目標値ＳＰが基準目標値に設定されていてよい。
図６は、装置２００の動作を示す。装置２００は、ステップＳ１１～Ｓ２３の処理を行うことにより、制御対象１０１を制御してよい。なお、この動作は装置２００が起動されることに応じて開始してよい。また、動作の開始時点においては変更量出力モデル２０６１の学習処理が完了しており、目標値ＳＰが基準目標値に設定されていてよい。
【0068】
ステップＳ１１において測定値取得部２０１は、制御対象１０１に関する状態の測定値ＰＶを取得する。目標値取得部２０２は、設備１００のセンサ１０２から測定値ＰＶを取得してよい。
【0069】
ステップＳ１３において偏差取得部２０３は、目標値ＳＰ（本実施形態では一例として基準目標値）と、ステップＳ１３で取得された測定値ＰＶとの偏差を取得する。
【0070】
ステップＳ１５において特定部２０７は、複数の局面のうち、測定値ＰＶに応じた局面を特定する。本実施形態では一例として特定部２０７は、偏差取得部２０３からの偏差が第１の数値範囲および第２の数値範囲の何れに含まれるかに応じて第１の局面および第２の局面の何れかを特定してよい。
【0071】
ステップＳ１７において選択部２０８は、複数のサブ制御モデル２０６のうち、特定部２０７により特定された局面に対応するサブ制御モデル２０６を選択する。本実施形態では一例として選択部２０８は、第１の局面が特定されたことに応じてサブ制御モデル２０６ａを選択し、第２の局面が特定されたことに応じてサブ制御モデル２０６ｂを選択してよい。
【0072】
ステップＳ１９において制御パラメータ取得部２０４は、制御対象１０１に対して供給された制御パラメータＰを取得する。制御パラメータ取得部２０４は、直近の制御周期において制御対象１０１に供給された制御パラメータＰを制御部２１０から取得してよい。一例として、制御パラメータ取得部２０４は、後述のステップＳ２３の処理で制御部２１０から制御対象１０１に出力される制御パラメータＰを取得して一時保存しておき、ステップＳ１９において当該制御パラメータＰを読み出してよい。ステップＳ１９が最初に実行される場合、つまりステップＳ２３の処理が実行されていない場合には、制御パラメータ取得部２０４は、予め設定された制御パラメータＰの初期値を取得してよい。
【0073】
ステップＳ２１において供給部２０９は、制御パラメータ取得部２０４から供給された制御パラメータＰと、偏差取得部２０３から供給された偏差とを制御モデル２０５に供給する。本実施形態では一例として供給部２０９は、制御モデル２０５における複数のサブ制御モデル２０６のうち、選択されたサブ制御モデル２０６に偏差および制御パラメータＰを供給する。これにより、入力された制御パラメータＰおよび偏差に応じた推奨制御パラメータＰｒが、局面に応じたサブ制御モデル２０６から出力される。本実施形態では一例として、入力された制御パラメータＰおよび偏差に応じた推奨変更量が変更量出力モデル２０６１から出力され、推奨変更量と、ステップＳ１７で取得された制御パラメータＰとが加算部２０６２により加算されて推奨制御パラメータＰｒが生成されてよい。
【0074】
ステップＳ２３において制御部２１０は、制御モデル２０５からの推奨制御パラメータＰｒを出力する。制御部２１０は、推奨制御パラメータＰｒを制御パラメータＰとして制御対象１０１に供給して、制御対象１０１を制御してよい。ステップＳ２３の処理が終了したら、ステップＳ１１に処理が移行してよい。
【0075】
＜４．動作例＞
図７は、制御対象１０１が制御される場合の測定値ＰＶおよび制御パラメータＰの推移を示す。図中の横軸は時間（秒）を示し、縦軸は測定値ＰＶおよび制御パラメータＰを示す。なお、本図では一例として制御パラメータＰは、バルブの開度の指示値ＩＶを示してよい。
図７は、制御対象１０１が制御される場合の測定値ＰＶおよび制御パラメータＰの推移を示す。図中の横軸は時間（秒）を示し、縦軸は測定値ＰＶおよび制御パラメータＰを示す。なお、本図では一例として制御パラメータＰは、バルブの開度の指示値ＩＶを示してよい。
【0076】
この図に示されるように、本実施形態に係る装置２００では、偏差が第２の数値範囲に含まれることに応じて速度重視のサブ制御モデル２０６ｂから出力される推奨制御パラメータＰｒを用いて制御対象１０１のバルブが制御される。本図では一例として、バルブの開度は±１０％の変更量で大まかに制御される。そして、偏差が第１の数値範囲に含まれることに応じて精度重視のサブ制御モデル２０６ａから出力される推奨制御パラメータＰｒを用いて制御対象１０１が制御される。本図では一例として、バルブの開度は±０．１％の変更量で細かに制御される。これにより、局面に応じた推奨制御パラメータＰｒにより制御対象１０１が制御される結果、高速かつ高精度に測定値ＰＶを目標値ＳＰに維持することができる。
【0077】
＜５．変形例＞
＜５．１．システム１Ａ＞
図８は、変形例に係るシステム１Ａを示す。なお、図１に示されたシステム１と略同一のものには同一の符号を付け、説明を省略する。システム１Ａは装置２００Ａを備える。装置２００Ａは、特定部２０７Ａと、目標値設定部２１２Ａと、制御モデル２０５Ａと、学習処理部２１１Ａとを有してよい。
＜５．１．システム１Ａ＞
図８は、変形例に係るシステム１Ａを示す。なお、図１に示されたシステム１と略同一のものには同一の符号を付け、説明を省略する。システム１Ａは装置２００Ａを備える。装置２００Ａは、特定部２０７Ａと、目標値設定部２１２Ａと、制御モデル２０５Ａと、学習処理部２１１Ａとを有してよい。
【0078】
＜５．１．１．特定部２０７Ａ＞
特定部２０７Ａは、複数の局面のうち、測定値ＰＶに応じた局面を特定する。本変形例に係る特定部２０７Ａは、測定値取得部２０１から供給される測定値ＰＶに応じて局面を特定してよい。特定部２０７Ａは、予め設定された複数の数値範囲の何れに測定値が含まれるかに応じて局面を特定してよい。特定部２０７Ａは、制御モデル２０５Ａにおける後述のサブ制御モデル２０６ｃ～２０６ｆに対して予め設定された、測定値ＰＶについての第３の数値範囲から第６の数値範囲の何れに対し、測定値取得部２０１からの測定値ＰＶが含まれるかに応じて局面を特定してよい。
特定部２０７Ａは、複数の局面のうち、測定値ＰＶに応じた局面を特定する。本変形例に係る特定部２０７Ａは、測定値取得部２０１から供給される測定値ＰＶに応じて局面を特定してよい。特定部２０７Ａは、予め設定された複数の数値範囲の何れに測定値が含まれるかに応じて局面を特定してよい。特定部２０７Ａは、制御モデル２０５Ａにおける後述のサブ制御モデル２０６ｃ～２０６ｆに対して予め設定された、測定値ＰＶについての第３の数値範囲から第６の数値範囲の何れに対し、測定値取得部２０１からの測定値ＰＶが含まれるかに応じて局面を特定してよい。
【0079】
特定部２０７Ａは、数値範囲と、各局面の局面ＩＤとを対応付けて記憶してよく、測定値取得部２０１からの測定値を含む数値範囲に対応付けられた局面を特定してよい。本実施形態では一例として、特定部２０７Ａは、測定値ＰＶが第３の数値範囲に含まれることに応じて第３の局面を、測定値ＰＶに応じた局面として特定してよい。特定部２０７Ａは、測定値ＰＶが第４の数値範囲に含まれることに応じて第４の局面を、測定値ＰＶに応じた局面として特定してよい。特定部２０７Ａは、測定値ＰＶが第５の数値範囲に含まれることに応じて第５の局面を、測定値ＰＶに応じた局面として特定してよい。特定部２０７Ａは、測定値ＰＶが第６の数値範囲に含まれることに応じて第６の局面を、測定値ＰＶに応じた局面として特定してよい。
【0080】
特定部２０７Ａは、特定した局面の局面ＩＤを選択部２０８および目標値設定部２１２Ａに供給してよい。特定部２０７Ａから選択部２０８に局面ＩＤが供給されることにより、制御モデル２０５Ａにおける複数のサブ制御モデル２０６のうち、特定された局面に対応するサブ制御モデル２０６が選択部２０８によって選択されてよい。
【0081】
＜５．１．２．目標値設定部２１２Ａ＞
目標値設定部２１２Ａは、設定部の一例であり、特定部２０７Ａにより特定された局面に応じて目標値ＳＰを設定する。目標値設定部２１２Ａは、後述のサブ制御モデル２０６ｃ～２０６ｆそれぞれの固有目標値の何れかを目標値ＳＰとして設定してよい。目標値設定部２１２Ａは、各サブ制御モデル２０６ｃ～２０６ｆの固有目標値と、各局面の局面ＩＤとを対応付けて記憶してよく、特定部２０７Ａから供給される局面ＩＤに対応する固有目標値を、新たな目標値ＳＰに設定してよい。目標値設定部２１２Ａは、設定した目標値ＳＰを目標値取得部２０２に供給してよい。これにより、新たな目標値ＳＰが目標値取得部２０２から偏差取得部２０３に供給され、偏差取得部２０３では新たな目標値ＳＰと測定値ＰＶとの偏差が取得されてよい。
目標値設定部２１２Ａは、設定部の一例であり、特定部２０７Ａにより特定された局面に応じて目標値ＳＰを設定する。目標値設定部２１２Ａは、後述のサブ制御モデル２０６ｃ～２０６ｆそれぞれの固有目標値の何れかを目標値ＳＰとして設定してよい。目標値設定部２１２Ａは、各サブ制御モデル２０６ｃ～２０６ｆの固有目標値と、各局面の局面ＩＤとを対応付けて記憶してよく、特定部２０７Ａから供給される局面ＩＤに対応する固有目標値を、新たな目標値ＳＰに設定してよい。目標値設定部２１２Ａは、設定した目標値ＳＰを目標値取得部２０２に供給してよい。これにより、新たな目標値ＳＰが目標値取得部２０２から偏差取得部２０３に供給され、偏差取得部２０３では新たな目標値ＳＰと測定値ＰＶとの偏差が取得されてよい。
【0082】
＜５．１．３．制御モデル２０５Ａ＞
制御モデル２０５Ａは、上述の実施形態における制御モデル２０５と同様にして、偏差および制御パラメータＰが入力されることに応じて、制御対象１０１に供給することを推奨する推奨制御パラメータＰｒを出力する。本変形例に係る制御モデル２０５Ａは、制御対象１０１に関する状態について予め設定された複数の局面にそれぞれ対応付けられた４つのサブ制御モデル２０６（サブ制御モデル２０６ｃ～２０６ｆとも称する）を有してよく、測定値ＰＶに応じた局面に対応付けられたサブ制御モデル２０６を用いて推奨制御パラメータＰｒを出力してよい。
制御モデル２０５Ａは、上述の実施形態における制御モデル２０５と同様にして、偏差および制御パラメータＰが入力されることに応じて、制御対象１０１に供給することを推奨する推奨制御パラメータＰｒを出力する。本変形例に係る制御モデル２０５Ａは、制御対象１０１に関する状態について予め設定された複数の局面にそれぞれ対応付けられた４つのサブ制御モデル２０６（サブ制御モデル２０６ｃ～２０６ｆとも称する）を有してよく、測定値ＰＶに応じた局面に対応付けられたサブ制御モデル２０６を用いて推奨制御パラメータＰｒを出力してよい。
【0083】
サブ制御モデル２０６ｃ～２０６ｆは目標値の値ごとに設けられてよく、互いに異なる固有目標値に対応付けられてよい。各固有目標値は、目標値設定部２１２Ａにより目標値ＳＰとして用いられてよい。サブ制御モデル２０６ｃ～２０６ｆは、固有目標値と測定値ＰＶとの偏差、および、制御パラメータＰの入力に応じ、当該偏差を小さくするために推奨される推奨制御パラメータＰｒを出力してよい。本変形例では一例として、局面に応じてサブ制御モデル２０６ｃ～２０６ｆが選択部２０８により選択され、選択されるサブ制御モデル２０６の固有目標値が目標値設定部２１２Ａにより目標値ＳＰとして設定されるため、サブ制御モデル２０６ｃ～２０６ｆは、それぞれ選択された場合に目標値ＳＰとしての固有目標値と、測定値ＰＶとの偏差、および、制御パラメータＰの入力に応じて推奨制御パラメータＰｒを出力することとなる。
【0084】
サブ制御モデル２０６ｃ～２０６ｆは、それぞれ変更量出力モデル２０６１ｃ～２０６１ｆを有してよい。変更量出力モデル２０６１ｃ～２０６１ｆは、偏差および制御パラメータＰが入力されることに応じて、当該制御パラメータＰについて変更することを推奨する推奨変更量を出力する。変更量出力モデル２０６１ｃ～２０６１ｆは、互いに異なる範囲の推奨変更量を出力してもよいし、同じ範囲の推奨変更量を出力してもよい。変更量出力モデル２０６１ｃ～２０６１ｆから出力される推奨変更量は間隔や粒度が同程度であってよい。
【0085】
＜５．１－４．学習処理部２１１Ａ＞
学習処理部２１１は、上記実施形態における学習処理部２１１と同様にして各変更量出力モデル２０６１ｃ～２０６１ｆの学習処理を行う。学習処理部２１１Ａは、各変更量出力モデル２０６１ｃ～２０６１ｆに対し、別々の学習データを用いて学習処理を行ってよい。
学習処理部２１１は、上記実施形態における学習処理部２１１と同様にして各変更量出力モデル２０６１ｃ～２０６１ｆの学習処理を行う。学習処理部２１１Ａは、各変更量出力モデル２０６１ｃ～２０６１ｆに対し、別々の学習データを用いて学習処理を行ってよい。
【0086】
例えば、学習処理部２１１Ａは、サブ制御モデル２０６ｃの変更量出力モデル２０６１ｃの学習処理を行う場合には、偏差が第３の数値範囲に含まれる学習データを用いて学習処理を行ってよい。変更量出力モデル２０６１ｃの学習データは、目標値ＳＰをサブ制御モデル２０６ｃの固有目標値に予め設定した場合に取得される偏差および制御パラメータＰを含んでよい。
【0087】
学習処理部２１１Ａは、サブ制御モデル２０６ｄの変更量出力モデル２０６１ｄの学習処理を行う場合には、偏差が第４の数値範囲に含まれる学習データを用いて学習処理を行ってよい。変更量出力モデル２０６１ｄの学習データは、目標値ＳＰをサブ制御モデル２０６ｄの固有目標値に予め設定した場合に取得される偏差および制御パラメータＰを含んでよい。
【0088】
学習処理部２１１Ａは、サブ制御モデル２０６ｅの変更量出力モデル２０６１ｅの学習処理を行う場合には、偏差が第５の数値範囲に含まれる学習データを用いて学習処理を行ってよい。変更量出力モデル２０６１ｅの学習データは、目標値ＳＰをサブ制御モデル２０６ｅの固有目標値に予め設定した場合に取得される偏差および制御パラメータＰを含んでよい。
【0089】
学習処理部２１１Ａは、サブ制御モデル２０６ｆの変更量出力モデル２０６１ｆの学習処理を行う場合には、偏差が第６の数値範囲に含まれる学習データを用いて学習処理を行ってよい。変更量出力モデル２０６１ｆの学習データは、目標値ＳＰをサブ制御モデル２０６ｆの固有目標値に予め設定した場合に取得される偏差および制御パラメータＰを含んでよい。
【0090】
なお、変更量出力モデル２０６１ｃ～２０６１ｆの学習データの間では、偏差の絶対値が同程度であってよく、一例として偏差のオーダが等しくてよい。なお、学習データは、実際のシステム１Ａから取得される代わりに、システム１Ａのシミュレータ（図示せず）から取得されてもよい。
【0091】
以上の装置２００Ａによれば、予め設定された複数の数値範囲の何れに測定値ＰＶが含まれるかに応じて局面が特定されるので、測定値ＰＶに応じた局面を特定して、局面に応じた推奨制御パラメータＰｒを取得することができる。
【0092】
また、局面に応じてサブ制御モデル２０６ｃ～２０６ｆの何れかの固有目標値が目標値ＳＰとして設定され、サブ制御モデル２０６ｃ～２０６ｆのうち局面に応じたサブ制御モデル２０６により、目標値ＳＰとしての固有目標値と測定値ＰＶとの偏差、および、制御パラメータＰに応じた推奨制御パラメータＰｒが出力される。従って、プロセスの進行に応じて目標値ＳＰを切り替えつつ、切り替え後の目標値ＳＰと測定値ＰＶとの偏差を小さくするための推奨制御パラメータＰｒを取得することができる。
【0093】
＜５．２．対応テーブル＞
図９は、局面ＩＤと、測定値ＰＶの数値範囲と、サブモデルＩＤと、固有目標値との対応を示す。図中の「Ｋ３」～「Ｋ６」は、第３の局面から第６の局面の局面ＩＤであってよい。「ＰＶｃｍｉｎ～ＰＶｃｍａｘ」，「ＰＶｄｍｉｎ～ＰＶｄｍａｘ」，「ＰＶｅｍｉｎ～ＰＶｅｍａｘ」，「ＰＶｆｍｉｎ～ＰＶｆｍａｘ」はそれぞれ測定値ＰＶの数値範囲を示してよい。「２０６ｃ」～「２０６ｆ」はサブ制御モデル２０６ｃ～２０６ｆのサブモデルＩＤであってよい。「ＳＰｃ」～「ＳＰｆ」はサブ制御モデル２０６ｃ～２０６ｆの固有目標値であってよい。
図９は、局面ＩＤと、測定値ＰＶの数値範囲と、サブモデルＩＤと、固有目標値との対応を示す。図中の「Ｋ３」～「Ｋ６」は、第３の局面から第６の局面の局面ＩＤであってよい。「ＰＶｃｍｉｎ～ＰＶｃｍａｘ」，「ＰＶｄｍｉｎ～ＰＶｄｍａｘ」，「ＰＶｅｍｉｎ～ＰＶｅｍａｘ」，「ＰＶｆｍｉｎ～ＰＶｆｍａｘ」はそれぞれ測定値ＰＶの数値範囲を示してよい。「２０６ｃ」～「２０６ｆ」はサブ制御モデル２０６ｃ～２０６ｆのサブモデルＩＤであってよい。「ＳＰｃ」～「ＳＰｆ」はサブ制御モデル２０６ｃ～２０６ｆの固有目標値であってよい。
【0094】
特定部２０７Ａは、図中の数値範囲の何れに測定値ＰＶが含まれるかに応じて局面ＩＤを特定してよい。選択部２０８は、図中の各局面ＩＤのうち、特定された局面ＩＤに対応するサブモデルＩＤのサブ制御モデル２０６を選択してよい。目標値設定部２１２Ａは、図中の各局面ＩＤのうち、特定された局面ＩＤに対応する固有目標値を目標値ＳＰとして設定してよい。
【0095】
＜５．３．動作＞
図１０は、装置２００Ａの動作を示す。装置２００Ａは、ステップＳ１１～Ｓ２３の処理を行うことにより、制御対象１０１を制御してよい。なお、この動作は装置２００が起動されることに応じて開始してよい。また、動作の開始時点においては変更量出力モデル２０６１の学習処理が完了していてよい。第２実施形態に係る装置２００Ａの動作は、第１実施形態に係る装置２００の動作と比較してステップＳ１７，Ｓ１７の間にステップＳ３１～Ｓ３５の処理を行う点で異なっている。
図１０は、装置２００Ａの動作を示す。装置２００Ａは、ステップＳ１１～Ｓ２３の処理を行うことにより、制御対象１０１を制御してよい。なお、この動作は装置２００が起動されることに応じて開始してよい。また、動作の開始時点においては変更量出力モデル２０６１の学習処理が完了していてよい。第２実施形態に係る装置２００Ａの動作は、第１実施形態に係る装置２００の動作と比較してステップＳ１７，Ｓ１７の間にステップＳ３１～Ｓ３５の処理を行う点で異なっている。
【0096】
ステップＳ３１において特定部２０７Ａは、複数の局面のうち、測定値ＰＶに応じた局面を特定する。本変形例では一例として特定部２０７Ａは、測定値ＰＶに応じた局面として、第３の局面～第６の局面の何れかを特定してよい。
【0097】
ステップＳ３３において目標値設定部２１２Ａは、特定部２０７Ａにより特定された局面に応じて目標値ＳＰを設定する。目標値設定部２１２Ａは、サブ制御モデル２０６ｃ～２０６ｆの固有目標値のうち、ステップＳ３１で特定された局面に対応する固有目標値を目標値ＳＰとして設定してよい。
【0098】
ステップＳ３５において偏差取得部２０３は、目標値ＳＰと測定値ＰＶとの偏差を取得する。偏差取得部２０３は、ステップＳ３３で設定された目標値ＳＰと、ステップＳ１１で取得された測定値ＰＶとの偏差を取得してよい。ステップＳ３５の処理が終了したら、ステップＳ１７に処理が移行してよい。これにより、複数のサブ制御モデル２０６ｃ～２０６ｆのうち、ステップＳ３１で特定された局面に対応するサブ制御モデル２０６が選択される。
【0099】
＜５．４．動作例＞
図１１は、制御対象１０１が制御される場合の測定値ＰＶの推移を示す。図中の横軸は時間（秒）を示し、縦軸は測定値ＰＶを示す。なお、本図では一例として制御パラメータＰは、炉内の温度の指示値ＩＶを示してよい。
図１１は、制御対象１０１が制御される場合の測定値ＰＶの推移を示す。図中の横軸は時間（秒）を示し、縦軸は測定値ＰＶを示す。なお、本図では一例として制御パラメータＰは、炉内の温度の指示値ＩＶを示してよい。
【0100】
この図に示されるように、本変形例に係る装置２００Ａでは、プロセスの進行に応じて測定値ＰＶが第３の数値範囲に含まれることに応じて第３の局面が特定される。そして、第３の局面に応じた目標値ＳＰと測定値ＰＶとの偏差、および、制御パラメータＰがサブ制御モデル２０６ｃに入力されて出力される推奨制御パラメータＰｒを用いて、制御対象１０１が制御される。
【0101】
同様に、測定値ＰＶが第４の数値範囲に含まれることに応じて第４の局面が特定される。そして、第４の局面に応じた目標値ＳＰと測定値ＰＶとの偏差、および、制御パラメータＰがサブ制御モデル２０６ｄに入力されて出力される推奨制御パラメータＰｒを用いて、制御対象１０１が制御される。
【0102】
同様に、測定値ＰＶが第５の数値範囲に含まれることに応じて第５の局面が特定される。そして、第５の局面に応じた目標値ＳＰと測定値ＰＶとの偏差、および、制御パラメータＰがサブ制御モデル２０６ｅに入力されて出力される推奨制御パラメータＰｒを用いて、制御対象１０１が制御される。
【0103】
そして、測定値ＰＶが第６の数値範囲に含まれることに応じて第６の局面が特定される。そして、第６の局面に応じた目標値ＳＰと測定値ＰＶとの偏差、および、制御パラメータＰがサブ制御モデル２０６ｆに入力されて出力される推奨制御パラメータＰｒを用いて、制御対象１０１が制御される。
【0104】
＜６．他の変形例＞
なお、上記の実施形態および変形例においては、制御モデル２０５，２０５Ａが変更量出力モデル２０６１と加算部２０６２とを有することとして説明したが、偏差および制御パラメータＰが入力されることに応じて推奨制御パラメータＰｒを出力する限りにおいて、これらを有しなくてもよい。この場合には、制御モデル２０５，２０５Ａは、カーネルダイナミックポリシープログラミング法や深層強化学習、サポートベクトルマシン、ロジスティック回帰、決定木、ニューラルネットワークなどのアルゴリズムにより生成された学習モデルであってよい。学習処理部２１１，２１１Ａは、偏差取得部２０３により取得された偏差と、制御パラメータ取得部２０４により取得された制御パラメータＰと、を含む学習データを用いて制御モデル２０５，２０５Ａの学習処理を行ってよい。
なお、上記の実施形態および変形例においては、制御モデル２０５，２０５Ａが変更量出力モデル２０６１と加算部２０６２とを有することとして説明したが、偏差および制御パラメータＰが入力されることに応じて推奨制御パラメータＰｒを出力する限りにおいて、これらを有しなくてもよい。この場合には、制御モデル２０５，２０５Ａは、カーネルダイナミックポリシープログラミング法や深層強化学習、サポートベクトルマシン、ロジスティック回帰、決定木、ニューラルネットワークなどのアルゴリズムにより生成された学習モデルであってよい。学習処理部２１１，２１１Ａは、偏差取得部２０３により取得された偏差と、制御パラメータ取得部２０４により取得された制御パラメータＰと、を含む学習データを用いて制御モデル２０５，２０５Ａの学習処理を行ってよい。
【0105】
また、変更量出力モデル２０６１をカーネルダイナミックポリシープログラミング法の学習アルゴリズムにより生成されたマップやテーブルとして説明したが、深層強化学習やサポートベクトルマシン、ロジスティック回帰、決定木、ニューラルネットワークなどの他のアルゴリズムにより生成されてもよいし、マップやテーブルとは異なる他の形態のモデルであってもよい。
【0106】
また、変更量出力モデル２０６１には偏差および制御パラメータＰが入力されることとして説明したが、他の値がさらに入力されてよい。他の値は、例えばセンサ１０２による測定値の微分値や積分値であってよい。
【0107】
また、装置２００，２００Ａが測定値取得部２０１、目標値取得部２０２、学習処理部２１１を有することとして説明したが、これらの何れかを有しなくてもよい。装置２００，２００Ａが測定値取得部２０１および目標値取得部２０２を有しない場合には、偏差取得部２０３は外部機器で算出された偏差を取得してよい。装置２００，２００Ａが学習処理部２１１，２１１Ａを有しない場合には、予め外部機器で学習された変更量出力モデル２０６１を有してよい。
【0108】
また、各サブ制御モデル２０６は独立して別々に設けられ供給部２０９から独立に偏差及び制御パラメータを供給されることとして説明したが、統合して設けられてもよい。この場合には各サブ制御モデル２０６は、制御モデル２０５，２０５Ａの各部分を構成してよい。一例として、制御モデル２０５、２０５Ａは、偏差および制御パラメータＰの組み合わせと、推奨制御パラメータＰｒとの対応関係をマッピングした操作量マップであってよく、各サブ制御モデル２０６は当該操作量マップの中央部分や周辺部分であってよい。複数のサブ制御モデル２０６が統合して制御モデル２０５を構成する場合には、装置２００，２００Ａは特定部２０７および選択部２０８を有しなくてよく、供給部２０９が制御モデル２０５，２０５Ａに対して偏差および制御パラメータＰを入力することに応じ、当該制御モデル２０５，２０５Ａにおける各サブ制御モデル２０６のうち、該当のサブ制御モデル２０６の部分から推奨制御パラメータＰｒが出力されてよい。このような制御モデル２０５，２０５Ａは、学習処理部２１１，２１１Ａによって生成される別々のサブ制御モデル２０６に対して共通の入力部を設け、供給部２０９から供給される偏差および制御パラメータＰが数値範囲に応じて何れかのサブ制御モデル２０６に入力されるよう設定することで生成されてよい。
【0109】
また、上記の実施形態においては制御モデル２０５には、共通の目標値ＳＰに対応付けられた２つのサブ制御モデル２０６ａ，２０６ｂを有することとして説明したが、共通の目標値ＳＰに対応付けられた３つ以上のサブ制御モデル２０６を有してもよい。また、制御モデル２０５は、目標値が異なる他のサブ制御モデル２０６をさらに有してもよい。
【0110】
また、本発明の様々な実施形態は、フローチャートおよびブロック図を参照して記載されてよく、ここにおいてブロックは、（１）操作が実行されるプロセスの段階または（２）操作を実行する役割を持つ装置のセクションを表わしてよい。特定の段階およびセクションが、専用回路、コンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、および／またはコンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタルおよび／またはアナログハードウェア回路を含んでよく、集積回路（ＩＣ）および／またはディスクリート回路を含んでよい。プログラマブル回路は、論理ＡＮＤ、論理ＯＲ、論理ＸＯＲ、論理ＮＡＮＤ、論理ＮＯＲ、および他の論理操作、フリップフロップ、レジスタ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルロジックアレイ（ＰＬＡ）等のようなメモリ要素等を含む、再構成可能なハードウェア回路を含んでよい。
【0111】
コンピュータ可読媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読媒体は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読媒体のより具体的な例としては、フロッピー（登録商標）ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスクリードオンリメモリ（ＣＤ-ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（ＲＴＭ）ディスク、メモリスティック、集積回路カード等が含まれてよい。
【0112】
コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ（登録商標）、ＪＡＶＡ（登録商標）、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語または同様のプログラミング言語のような従来の手続型プログラミング言語を含む、１または複数のプログラミング言語の任意の組み合わせで記述されたソースコードまたはオブジェクトコードのいずれかを含んでよい。
【0113】
コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサまたはプログラマブル回路に対し、ローカルにまたはローカルエリアネットワーク（ＬＡＮ）、インターネット等のようなワイドエリアネットワーク（ＷＡＮ）を介して提供され、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく、コンピュータ可読命令を実行してよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。
【0114】
図１２は、本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ２２００の例を示す。コンピュータ２２００にインストールされたプログラムは、コンピュータ２２００に、本発明の実施形態に係る装置に関連付けられる操作または当該装置の１または複数のセクションとして機能させることができ、または当該操作または当該１または複数のセクションを実行させることができ、および／またはコンピュータ２２００に、本発明の実施形態に係るプロセスまたは当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ２２００に、本明細書に記載のフローチャートおよびブロック図のブロックのうちのいくつかまたはすべてに関連付けられた特定の操作を実行させるべく、ＣＰＵ２２１２によって実行されてよい。
【0115】
本実施形態によるコンピュータ２２００は、ＣＰＵ２２１２、ＲＡＭ２２１４、グラフィックコントローラ２２１６、およびディスプレイデバイス２２１８を含み、それらはホストコントローラ２２１０によって相互に接続されている。コンピュータ２２００はまた、通信インタフェース２２２２、ハードディスクドライブ２２２４、ＤＶＤ－ＲＯＭドライブ２２２６、およびＩＣカードドライブのような入／出力ユニットを含み、それらは入／出力コントローラ２２２０を介してホストコントローラ２２１０に接続されている。コンピュータはまた、ＲＯＭ２２３０およびキーボード２２４２のようなレガシの入／出力ユニットを含み、それらは入／出力チップ２２４０を介して入／出力コントローラ２２２０に接続されている。
【0116】
ＣＰＵ２２１２は、ＲＯＭ２２３０およびＲＡＭ２２１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ２２１６は、ＲＡＭ２２１４内に提供されるフレームバッファ等またはそれ自体の中にＣＰＵ２２１２によって生成されたイメージデータを取得し、イメージデータがディスプレイデバイス２２１８上に表示されるようにする。
【0117】
通信インタフェース２２２２は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブ２２２４は、コンピュータ２２００内のＣＰＵ２２１２によって使用されるプログラムおよびデータを格納する。ＤＶＤ－ＲＯＭドライブ２２２６は、プログラムまたはデータをＤＶＤ－ＲＯＭ２２０１から読み取り、ハードディスクドライブ２２２４にＲＡＭ２２１４を介してプログラムまたはデータを提供する。ＩＣカードドライブは、プログラムおよびデータをＩＣカードから読み取り、および／またはプログラムおよびデータをＩＣカードに書き込む。
【0118】
ＲＯＭ２２３０はその中に、アクティブ化時にコンピュータ２２００によって実行されるブートプログラム等、および／またはコンピュータ２２００のハードウェアに依存するプログラムを格納する。入／出力チップ２２４０はまた、様々な入／出力ユニットをパラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入／出力コントローラ２２２０に接続してよい。
【0119】
プログラムが、ＤＶＤ－ＲＯＭ２２０１またはＩＣカードのようなコンピュータ可読媒体によって提供される。プログラムは、コンピュータ可読媒体から読み取られ、コンピュータ可読媒体の例でもあるハードディスクドライブ２２２４、ＲＡＭ２２１４、またはＲＯＭ２２３０にインストールされ、ＣＰＵ２２１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ２２００に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置または方法が、コンピュータ２２００の使用に従い情報の操作または処理を実現することによって構成されてよい。
【0120】
例えば、通信がコンピュータ２２００および外部デバイス間で実行される場合、ＣＰＵ２２１２は、ＲＡＭ２２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース２２２２に対し、通信処理を命令してよい。通信インタフェース２２２２は、ＣＰＵ２２１２の制御下、ＲＡＭ２２１４、ハードディスクドライブ２２２４、ＤＶＤ－ＲＯＭ２２０１、またはＩＣカードのような記録媒体内に提供される送信バッファ処理領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、またはネットワークから受信された受信データを記録媒体上に提供される受信バッファ処理領域等に書き込む。
【0121】
また、ＣＰＵ２２１２は、ハードディスクドライブ２２２４、ＤＶＤ－ＲＯＭドライブ２２２６（ＤＶＤ－ＲＯＭ２２０１）、ＩＣカード等のような外部記録媒体に格納されたファイルまたはデータベースの全部または必要な部分がＲＡＭ２２１４に読み取られるようにし、ＲＡＭ２２１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ２２１２は次に、処理されたデータを外部記録媒体にライトバックする。
【0122】
様々なタイプのプログラム、データ、テーブル、およびデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ２２１２は、ＲＡＭ２２１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプの操作、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ２２１４に対しライトバックする。また、ＣＰＵ２２１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ２２１２は、第１の属性の属性値が指定される、条件に一致するエントリを当該複数のエントリの中から検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。
【0123】
上で説明したプログラムまたはソフトウェアモジュールは、コンピュータ２２００上またはコンピュータ２２００近傍のコンピュータ可読媒体に格納されてよい。また、専用通信ネットワークまたはインターネットに接続されたサーバーシステム内に提供されるハードディスクまたはＲＡＭのような記録媒体が、コンピュータ可読媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ２２００に提供する。
【0124】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【0125】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【0126】
１ システム
１００ 設備
１０１ 制御対象
１０２ センサ
２００ 装置
２０１ 測定値取得部
２０２ 目標値取得部
２０３ 偏差取得部
２０４ 制御パラメータ取得部
２０５ 制御モデル
２０６ サブ制御モデル
２０７ 特定部
２０８ 選択部
２０９ 供給部
２１０ 制御部
２１１ 学習処理部
２１２ 目標値設定部
２０６ サブ制御モデル
２０６１ 変更量出力モデル
２０６２ 加算部
２２００ コンピュータ
２２０１ ＤＶＤ－ＲＯＭ
２２１０ ホストコントローラ
２２１２ ＣＰＵ
２２１４ ＲＡＭ
２２１６ グラフィックコントローラ
２２１８ ディスプレイデバイス
２２２０ 入／出力コントローラ
２２２２ 通信インタフェース
２２２４ ハードディスクドライブ
２２２６ ＤＶＤ－ＲＯＭドライブ
２２３０ ＲＯＭ
２２４０ 入／出力チップ
２２４２ キーボード
１００ 設備
１０１ 制御対象
１０２ センサ
２００ 装置
２０１ 測定値取得部
２０２ 目標値取得部
２０３ 偏差取得部
２０４ 制御パラメータ取得部
２０５ 制御モデル
２０６ サブ制御モデル
２０７ 特定部
２０８ 選択部
２０９ 供給部
２１０ 制御部
２１１ 学習処理部
２１２ 目標値設定部
２０６ サブ制御モデル
２０６１ 変更量出力モデル
２０６２ 加算部
２２００ コンピュータ
２２０１ ＤＶＤ－ＲＯＭ
２２１０ ホストコントローラ
２２１２ ＣＰＵ
２２１４ ＲＡＭ
２２１６ グラフィックコントローラ
２２１８ ディスプレイデバイス
２２２０ 入／出力コントローラ
２２２２ 通信インタフェース
２２２４ ハードディスクドライブ
２２２６ ＤＶＤ－ＲＯＭドライブ
２２３０ ＲＯＭ
２２４０ 入／出力チップ
２２４２ キーボード
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】