特許 7484382 制御装置、制御方法および制御プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-08

(45)【発行日】2024-05-16

(54)【発明の名称】制御装置、制御方法および制御プログラム

(51)【国際特許分類】

   G05B 13/02 20060101AFI20240509BHJP

【ＦＩ】

G05B13/02 L

【請求項の数】 16

(21)【出願番号】P 2020077843

(22)【出願日】2020-04-24

(65)【公開番号】P2021174259

(43)【公開日】2021-11-01

【審査請求日】2023-02-28

(73)【特許権者】

【識別番号】000006507

【氏名又は名称】横河電機株式会社

(74)【代理人】

【識別番号】110000877

【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所

(72)【発明者】

【氏名】▲高▼見 豪

(72)【発明者】

【氏名】西條 史雄

(72)【発明者】

【氏名】田中 覚

【審査官】西井 香織

(56)【参考文献】

【文献】国際公開第２０１８／１７９１９１（ＷＯ，Ａ１）

【文献】特開２０２０－０４６９６５（ＪＰ，Ａ）

【文献】特開２００２－２５８９５２（ＪＰ，Ａ）

【文献】国際公開第２０１９／０８７３７４（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０５Ｂ １３／０２

(57)【特許請求の範囲】

【請求項1】

制御対象機器について測定された測定値を取得する取得部と、
フィードバック制御およびフィードフォワード制御の少なくとも一方により、前記測定値に応じた前記制御対象機器の操作量を出力する第１制御部と、
学習用データを用いて学習したモデルを用いて、前記測定値に応じた前記制御対象機器の操作量を出力する第２制御部と、
前記第１制御部と前記第２制御部とのいずれによって前記制御対象機器を制御するかの切替を行う切替部と
を備え、
前記切替部は、前記測定値と目標値との差に応じて前記第１制御部による制御から、前記第２制御部による制御への前記切替を行う制御装置。

【請求項2】

前記切替部は、基準タイムウィンドウ内で前記測定値と前記目標値との差が複数回、基準値よりも大きくなったことに応じて、前記第１制御部による制御から、前記第２制御部による制御への切り替えを行う、請求項１に記載の制御装置。

【請求項3】

制御対象機器について測定された測定値を取得する取得部と、
フィードバック制御およびフィードフォワード制御の少なくとも一方により、前記測定値に応じた前記制御対象機器の操作量を出力する第１制御部と、
学習用データを用いて学習したモデルを用いて、前記測定値に応じた前記制御対象機器の操作量を出力する第２制御部と、
前記第１制御部と前記第２制御部とのいずれによって前記制御対象機器を制御するかの切替を行う切替部と
を備え、
前記切替部は、前記測定値と目標値との差が基準値よりも小さくなったことに応じて前記第２制御部による制御から、前記第１制御部による制御への切替を行う制御装置。

【請求項4】

制御対象機器について測定された測定値を取得する取得部と、
フィードバック制御およびフィードフォワード制御の少なくとも一方により、前記測定値に応じた前記制御対象機器の操作量を出力する第１制御部と、
学習用データを用いて学習したモデルを用いて、前記測定値に応じた前記制御対象機器の操作量を出力する第２制御部と、
前記第１制御部と前記第２制御部とのいずれによって前記制御対象機器を制御するかの切替を行う切替部と
を備え、
前記切替部は、
前記制御対象機器に対する制御の開始から基準時間が経過するまでは前記第２制御部による制御を行わせ、
前記制御対象機器に対する制御の開始から前記基準時間が経過した後は前記第１制御部による制御を行わせる制御装置。

【請求項5】

前記第１制御部は、前記測定値と目標値とに基づいて算出される操作量を出力し、
前記第２制御部の前記モデルは、前記測定値を含む測定データと、前記制御対象機器の操作量とを含む学習データを用いて学習され、測定データの入力に応じ、予め設定された報酬関数により定まる報酬値を高めるために推奨される前記制御対象機器の操作量を出力する、請求項１から４の何れか一項に記載の制御装置。

【請求項6】

前記報酬関数は、前記測定値が一の目標値に近いほど前記報酬値が高くなる関数であり、
前記切替部は、前記一の目標値に基づく閾値と、前記測定値との比較結果に基づいて前記切替を行う、請求項１～３の何れか一項に従属する請求項５に記載の制御装置。

【請求項7】

前記切替部は、
前記第１制御部による制御から、前記第２制御部による制御への切り替えに用いる閾値と、
前記第２制御部による制御から、前記第１制御部による制御への切り替えに用いる閾値とにヒステリシス特性を持たせる、請求項６に記載の制御装置。

【請求項8】

前記第１制御部は、比例制御、積分制御、または、微分制御の少なくとも１つを用いたフィードバック制御を行う、請求項１から７の何れか一項に記載の制御装置。

【請求項9】

前記第１制御部は、
前記測定値が入力されることに応じて、当該測定値に応じた前記制御対象機器の操作量を算出して出力するオートモードと、
出力するべき前記操作量が入力されることに応じて、当該操作量を出力するマニュアルモードとで動作可能であり、
前記第２制御部は、前記制御対象機器の操作量を前記第１制御部に入力し、
前記切替部は、前記第１制御部のモードを切り替えることで前記切替を行う、請求項１から８の何れか一項に記載の制御装置。

【請求項10】

前記第１制御部は、前記マニュアルモードから前記オートモードへ切り替えられた場合に、切替前後の操作量をバンプレスに制御する、請求項９に記載の制御装置。

【請求項11】

制御対象機器について測定された測定値を取得する取得段階と、
フィードバック制御およびフィードフォワード制御の少なくとも一方により、前記測定値に応じた前記制御対象機器の操作量を出力する第１制御段階と、
学習用データを用いて学習したモデルを用いて、前記測定値に応じた前記制御対象機器の操作量を出力する第２制御段階と、
前記第１制御段階と前記第２制御段階とのいずれによって前記制御対象機器を制御するかの切替を行う切替段階と
を備え、
前記切替段階は、前記測定値と目標値との差に応じて前記第１制御段階による制御から、前記第２制御段階による制御への前記切替を行う段階を含む制御方法。

【請求項12】

制御対象機器について測定された測定値を取得する取得段階と、
フィードバック制御およびフィードフォワード制御の少なくとも一方により、前記測定値に応じた前記制御対象機器の操作量を出力する第１制御段階と、
学習用データを用いて学習したモデルを用いて、前記測定値に応じた前記制御対象機器の操作量を出力する第２制御段階と、
前記第１制御段階と前記第２制御段階とのいずれによって前記制御対象機器を制御するかの切替を行う切替段階と
を備え、
前記切替段階は、前記測定値と目標値との差が基準値よりも小さくなったことに応じて前記第２制御段階による制御から、前記第１制御段階による制御への切替を行う段階を含む制御方法。

【請求項13】

制御対象機器について測定された測定値を取得する取得段階と、
フィードバック制御およびフィードフォワード制御の少なくとも一方により、前記測定値に応じた前記制御対象機器の操作量を出力する第１制御段階と、
学習用データを用いて学習したモデルを用いて、前記測定値に応じた前記制御対象機器の操作量を出力する第２制御段階と、
前記第１制御段階と前記第２制御段階とのいずれによって前記制御対象機器を制御するかの切替を行う切替段階と
を備え、
前記切替段階は、
前記制御対象機器に対する制御の開始から基準時間が経過するまでは前記第２制御段階による制御を行わせ、
前記制御対象機器に対する制御の開始から前記基準時間が経過した後は前記第１制御段階による制御を行わせる制御方法。

【請求項14】

コンピュータを、
制御対象機器について測定された測定値を取得する取得部と、
フィードバック制御およびフィードフォワード制御の少なくとも一方により、前記測定値に応じた前記制御対象機器の操作量を出力する第１制御部と、
学習用データを用いて学習したモデルを用いて、前記測定値に応じた前記制御対象機器の操作量を出力する第２制御部と、
前記第１制御部と前記第２制御部とのいずれによって前記制御対象機器を制御するかの切替を行う切替部
として機能させ、
前記切替部は、前記測定値と目標値との差に応じて前記第１制御部による制御から、前記第２制御部による制御への前記切替を行う制御プログラム。

【請求項15】

コンピュータを、
制御対象機器について測定された測定値を取得する取得部と、
フィードバック制御およびフィードフォワード制御の少なくとも一方により、前記測定値に応じた前記制御対象機器の操作量を出力する第１制御部と、
学習用データを用いて学習したモデルを用いて、前記測定値に応じた前記制御対象機器の操作量を出力する第２制御部と、
前記第１制御部と前記第２制御部とのいずれによって前記制御対象機器を制御するかの切替を行う切替部
として機能させ、
前記切替部は、前記測定値と目標値との差が基準値よりも小さくなったことに応じて前記第２制御部による制御から、前記第１制御部による制御への切替を行う制御プログラム。

【請求項16】

コンピュータを、
制御対象機器について測定された測定値を取得する取得部と、
フィードバック制御およびフィードフォワード制御の少なくとも一方により、前記測定値に応じた前記制御対象機器の操作量を出力する第１制御部と、
学習用データを用いて学習したモデルを用いて、前記測定値に応じた前記制御対象機器の操作量を出力する第２制御部と、
前記第１制御部と前記第２制御部とのいずれによって前記制御対象機器を制御するかの切替を行う切替部
として機能させ、
前記切替部は、
前記制御対象機器に対する制御の開始から基準時間が経過するまでは前記第２制御部による制御を行わせ、
前記制御対象機器に対する制御の開始から前記基準時間が経過した後は前記第１制御部による制御を行わせる制御プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、制御装置、制御方法および制御プログラムに関する。

【背景技術】

【0002】

従来、機器を制御する種々の手法が提案されている（例えば、特許文献１参照）。
特許文献１ 特開２０１８－２０２５６４号公報

【発明の概要】

【0003】

上記課題を解決するために、本発明の第１の態様においては、制御装置が提供される。制御装置は、制御対象機器について測定された測定値を取得する取得部を備えてよい。制御装置は、フィードバック制御およびフィードフォワード制御の少なくとも一方により、測定値に応じた制御対象機器の操作量を出力する第１制御部を備えてよい。制御装置は、学習用データを用いて学習したモデルを用いて、測定値に応じた制御対象機器の操作量を出力する第２制御部を備えてよい。制御装置は、第１制御部と第２制御部とのいずれによって制御対象機器を制御するかの切替を行う切替部を備えてよい。

【0004】

切替部は、測定値と目標値との差に応じて切替を行ってよい。

【0005】

切替部は、基準タイムウィンドウ内で測定値と目標値との差が複数回、基準値よりも大きくなったことに応じて、第１制御部による制御から、第２制御部による制御への切り替えを行ってよい。

【0006】

第１制御部は、測定値と目標値とに基づいて算出される操作量を出力してよい。第２制御部のモデルは、測定値を含む測定データと、制御対象機器の操作量とを含む学習データを用いて学習され、測定データの入力に応じ、予め設定された報酬関数により定まる報酬値を高めるために推奨される制御対象機器の操作量を出力してよい。

【0007】

報酬関数は、測定値が一の目標値に近いほど報酬値が高くなる関数であってよい。切替部は、一の目標値に基づく閾値と、測定値との比較結果に基づいて切替を行ってよい。

【0008】

切替部は、第１制御部による制御から、第２制御部による制御への切り替えに用いる閾値と、第２制御部による制御から、第１制御部による制御への切り替えに用いる閾値とにヒステリシス特性を持たせてよい。

【0009】

切替部は、制御対象機器に対する制御の開始から基準時間が経過するまでは第２制御部による制御を行わせてよい。切替部は、制御対象機器に対する制御の開始から基準時間が経過した後は第１制御部による制御を行わせてよい。

【0010】

第１制御部は、比例制御、積分制御、または、微分制御の少なくとも１つを用いたフィードバック制御を行ってよい。

【0011】

第１制御部は、測定値が入力されることに応じて、当該測定値に応じた制御対象機器の操作量を算出して出力するオートモードと、出力するべき操作量が入力されることに応じて、当該操作量を出力するマニュアルモードとで動作可能であってよい。第２制御部は、制御対象機器の操作量を第１制御部に入力してよい。切替部は、第１制御部のモードを切り替えることで切替を行ってよい。

【0012】

第１制御部は、マニュアルモードからオートモードへ切り替えられた場合に、切替前後の操作量をバンプレスに制御してよい。

【0013】

本発明の第２の態様においては、制御方法が提供される。制御方法は、制御対象機器について測定された測定値を取得する取得段階を備えてよい。制御方法は、フィードバック制御およびフィードフォワード制御の少なくとも一方により、測定値に応じた制御対象機器の操作量を出力する第１制御段階を備えてよい。制御方法は、学習用データを用いて学習したモデルを用いて、測定値に応じた制御対象機器の操作量を出力する第２制御段階を備えてよい。制御方法は、第１制御段階と第２制御段階とのいずれによって制御対象機器を制御するかの切替を行う切替段階を備えてよい。

【0014】

本発明の第３の態様においては、プログラムが提供される。プログラムは、コンピュータを、制御対象機器について測定された測定値を取得する取得部として機能させてよい。プログラムは、コンピュータを、フィードバック制御およびフィードフォワード制御の少なくとも一方により、測定値に応じた制御対象機器の操作量を出力する第１制御部として機能させてよい。プログラムは、コンピュータを、学習用データを用いて学習したモデルを用いて、測定値に応じた制御対象機器の操作量を出力する第２制御部として機能させてよい。プログラムは、コンピュータを、第１制御部と第２制御部とのいずれによって制御対象機器を制御するかの切替を行う切替部として機能させてよい。

【0015】

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

【図面の簡単な説明】

【0016】

【図1】本実施形態に係るシステム１を示す。

【図2】本実施形態に係る制御装置４の学習段階での動作を示す。

【図3】本実施形態に係る制御装置４の運用段階での動作を示す。

【図4】システム１の適用例を示す。

【図5】本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ２２００の例を示す。

【発明を実施するための形態】

【0017】

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

【0018】

［１．システム１の構成］
図１は、本実施形態に係るシステム１を示す。システム１は、設備２と、制御装置４とを備える。

【0019】

［１－１．設備２］
設備２は、複数の機器２０を備え付けたものである。例えば設備２は、プラントでもよいし、複数の機器２０を複合させた複合装置でもよい。プラントとしては、化学やバイオ等の工業プラントの他、ガス田や油田等の井戸元やその周辺を管理制御するプラント、水力・火力・原子力等の発電を管理制御するプラント、太陽光や風力等の環境発電を管理制御するプラント、上下水やダム等を管理制御するプラント等が挙げられる。本実施形態においては一例として、設備２は、１または複数の機器２０と、１または複数のセンサ２１とを有する。

【0020】

［１－１－１．機器２０］
各機器２０は、器具、機械または装置であり、例えば、設備２のプロセスにおける圧力、温度、ｐＨ、速度または流量などの少なくとも１つの物理量を制御するバルブ、ポンプ、ヒータ、ファン、モータ、スイッチ等のアクチュエータであってよい。

【0021】

本実施形態においては一例として、設備２には複数の機器２０が具備される。各機器２０は互いに異種でもよいし、少なくとも一部の２以上の機器２０が同種でもよい。

【0022】

各機器２０は図示しないネットワークを介して外部から有線または無線で制御されてもよいし、手動で制御されてもよい。複数の機器２０のうち少なくとも一部の機器２０は、制御装置４によって制御される制御対象機器２０（Ｔ）であってよい。システム１に複数の制御対象機器２０（Ｔ）が具備される場合には、これら複数の制御対象機器２０（Ｔ）は連動して制御される関係（一例として主従関係、独立には制御されない関係）を有してよい。また、各制御対象機器２０（Ｔ）は、同種の機器２０でもよいし、異種の機器２０でもよい。

【0023】

なお、複数の機器２０のうち少なくとも一部の機器２０には、図示しないコントローラが設けられてよい。機器２０にコントローラが設けられるとは、機器２０にコントローラが内蔵されることであってもよいし、機器２０にコントローラが外部接続されることであってもよい。コントローラは、目標値（設定値）が設定されることに応じて、当該目標値と現在値との差分を低減するように機器２０をフィードバック制御してよい。制御対象機器２０（Ｔ）に設けられるコントローラの目標値は制御装置４から供給されてよく、本実施形態では一例として、制御対象機器２０（Ｔ）の操作量であってよい。フィードバック制御は、比例制御（Ｐ制御）、積分制御（Ｉ制御）、または、微分制御（Ｄ制御）の少なくとも１つを用いた制御であってよい。

【0024】

［１－１－２．センサ２１］
各センサ２１は、設備２の内外の物理量を測定する。各センサ２１は、測定によって得られた測定データを制御装置４に供給してよい。

【0025】

本実施形態においては一例として、設備２には複数のセンサ２１が具備される。複数のセンサ２１によって測定される複数の測定データは、外部環境データ、フィードバック制御用データ、運転状態データ、または、消費量データの少なくとも１つを含んでよい。

【0026】

外部環境データは、制御対象機器２０（Ｔ）に対する外乱として作用し得る物理量を示す。例えば、外部環境データは、制御対象機器２０（Ｔ）の制御に対して外乱として作用し得る物理量（或いは、その変動）を示してよい。一例として、外部環境データは、設備２の外気の温度や湿度、日照、風向き、風量、降水量、他の機器２０の制御により変化する物理量等を示してよい。外部環境データは、外乱を検出するのに用いられてよい。

【0027】

フィードバック制御用データは、各制御対象機器２０（Ｔ）をフィードバック制御するための物理量を示す。フィードバック制御用データは、制御対象機器２０（Ｔ）について測定された測定値を示してよく、例えば各制御対象機器２０（Ｔ）による出力値を示してもよいし、出力値によって変化する値を示してもよい。

【0028】

運転状態データは、各制御対象機器２０（Ｔ）を制御した結果の運転状態を示す。運転状態データは、各制御対象機器２０（Ｔ）の制御によって変動し得る物理量を示してもよいし、各制御対象機器２０（Ｔ）の出力値を示してもよい。運転状態データは、フィードバック制御用データと同じであってもよい。

【0029】

消費量データは、設備２によるエネルギーまたは原材料の少なくとも一方の消費量を示す。消費量データは、エネルギー消費量として、電力や燃料（一例としてＬＰＧ）の消費量を示してよい。

【0030】

［１－３．制御装置４］
制御装置４は、各制御対象機器２０（Ｔ）を制御する。制御装置４は、１または複数のコンピュータであってよく、ＰＣなどで構成されてよい。制御装置４は、測定データ取得部４０と、操作量取得部４１と、報酬値取得部４２と、学習処理部４４と、ＡＩ制御部４５と、フィードバック制御部４６と、切替部４７と、制御部４９とを有する。

【0031】

［１－３―１．測定データ取得部４０］
測定データ取得部４０は、取得部の一例であり、センサ２１によって測定された測定データを取得する。測定データ取得部４０は、設備２に具備された複数のセンサ２１のそれぞれによって測定された測定データを取得してよい。測定データには、各制御対象機器２０（Ｔ）について測定された測定値が含まれてよい。

【0032】

測定データ取得部４０は、制御装置４による各制御対象機器２０（Ｔ）の制御周期内での測定値の平均値を示す測定データを取得してもよいし、制御インターバル毎の測定値（つまり制御周期の終了タイミングでの測定値）を示す測定データを取得してもよい。本実施形態では一例として、各制御対象機器２０（Ｔ）の制御周期は同期していてよい。測定データ取得部４０は、測定データをセンサ２１から取得してもよいし、センサ２１を確認したオペレータから取得してもよい。測定データ取得部４０は、取得した測定データを学習処理部４４およびＡＩ制御部４５に供給してよい。また、測定データ取得部４０は、各制御対象機器２０（Ｔ）についての測定値（本実施形態では一例として各制御対象機器２０（Ｔ）の出力値、或いは、出力値によって変化する値）を、フィードバック制御部４６および切替部４７に供給してよい。

【0033】

［１－３―２．操作量取得部４１］
操作量取得部４１は、各制御対象機器２０（Ｔ）の操作量を取得する。本実施形態では一例として、操作量取得部４１は制御部４９から操作量を取得するが、オペレータから取得してもよいし、各制御対象機器２０（Ｔ）から取得してもよい。操作量取得部４１は、取得した操作量を学習処理部４４に供給してよい。

【0034】

［１－３―３．報酬値取得部４２］
報酬値取得部４２は、学習処理部４４での強化学習に用いられる報酬値を取得する。報酬値は、設備２の操業状態を評価するための値であってよく、予め設定された報酬関数により定まる値であってよい。ここで、関数とは、ある集合の各要素に他の集合の各要素を一対一で対応させる規則を持つ写像であり、例えば数式でもよいし、テーブルでもよい。

【0035】

報酬関数は、測定データの入力に応じて、当該測定データで示される状態を評価した報酬値を出力してよい。報酬関数は、制御対象機器２０（Ｔ）について測定された測定値が一の目標値に近いほど報酬値が高くなる関数であってよい。一の目標値は、制御対象機器２０（Ｔ）について測定される測定値についての目標値の固定値であってよく、測定値と同様に、各制御対象機器２０（Ｔ）による出力値を示してもよいし、出力値によって変化する値を示してもよい。一例として、制御対象機器２０（Ｔ）がバルブであり、目標値（ＳＶ）および測定値（ＰＶ）がバルブの開度を示す場合に、報酬値Ｒは次の報酬関数で示されてよい。
Ｒ＝１．０－｜ＳＶ－ＰＶ｜＊０．１

【0036】

報酬関数は、オペレータによって設定されてよい。報酬値取得部４２は、報酬関数を使用したオペレータから報酬値を取得してもよいし、センサ２１からの測定データを報酬関数に入力して報酬値を取得してもよい。報酬値取得部４２が測定データを報酬関数に入力する場合には、報酬関数は制御装置４の内部に記憶されていてもよいし、外部に記憶されていてもよい。

【0037】

［１－３―４．学習処理部４４］
学習処理部４４は、ＡＩ制御部４５に具備されるモデル４５０の学習処理を行う。学習処理部４４は、測定データ取得部４０により取得された測定データと、操作量取得部４１により取得された操作量とを含む学習データを用いてモデル４５０の学習処理を実行する。学習処理部４４は、報酬値取得部４２からの報酬値を用いてモデル４５０の学習処理を実行してよい。

【0038】

［１－３―５．ＡＩ制御部４５］
ＡＩ制御部４５は、第２制御部の一例であり、学習用データを用いて学習したモデル４５０を用いて、制御対象機器２０（Ｔ）についての測定値に応じた、制御対象機器２０（Ｔ）の操作量を出力する。ＡＩ制御部４５は、複数の制御対象機器２０（Ｔ）のそれぞれについての測定値に応じた、複数の制御対象機器２０（Ｔ）のそれぞれの操作量を出力してよい。ＡＩ制御部４５は、操作量をフィードバック制御部４６に入力してよい。

【0039】

モデル４５０は、測定データの入力に応じ、報酬値を高めるために推奨される操作量を出力してよい。報酬値を高める操作量とは、所定の時点（一例として現在）の設備２の操業状態に対応する報酬値（一例としてその時点の測定データを報酬関数に入力して得られる報酬値）を基準報酬値とした場合に、当該基準報酬値よりも報酬値が高くなる操作量であってよい。このように報酬値が高くなる操作量は、現時点よりも操業状態が改善されるので、制御対象機器２０（Ｔ）に対する制御として推奨される。但し、基準報酬値は、固定値（一例として報酬値の最大値から許容値を減じた値）であってもよい。

【0040】

なお、本実施形態では一例として、ＡＩ制御部４５がモデル４５０を内蔵することとして説明するが、制御装置４の外部のサーバ（例えばクラウドサーバ）にモデル４５０が格納されてもよい。

【0041】

［１－３―６．フィードバック制御部４６］
フィードバック制御部４６は、第１制御部の一例であり、フィードバック制御により、制御対象機器２０（Ｔ）についての測定値に応じた、制御対象機器２０（Ｔ）の操作量を出力する。フィードバック制御部４６は、複数の制御対象機器２０（Ｔ）のそれぞれについての測定値に応じた、複数の制御対象機器２０（Ｔ）のそれぞれの操作量を出力してよい。フィードバック制御部４６は、オートモードおよびマニュアルモードで動作可能であってよい。

【0042】

オートモードは、測定値が入力されることに応じて、当該測定値に応じた制御対象機器２０（Ｔ）の操作量を算出して出力するモードである。オートモードにおいてフィードバック制御部４６は、フィードバック制御を行うべく測定値と目標値とに基づいて操作量を算出してよい。フィードバック制御部４６は、オペレータや外部機器などから目標値が設定されることに応じて、当該目標値と、現在の測定値との差分を低減するように操作量を算出してよい。フィードバック制御部４６に設定される目標値は固定値であってもよいし、適宜、変更されてもよい。

【0043】

フィードバック制御部４６は、比例制御（Ｐ制御）、積分制御（Ｉ制御）、または、微分制御（Ｄ制御）の少なくとも１つを用いたフィードバック制御を行ってよく、本実施形態においては一例として、ＰＩＤ制御を行う。

【0044】

マニュアルモードは、出力するべき操作量が入力されることに応じて、当該操作量を出力するモードである。フィードバック制御部４６に入力される操作量は、ＡＩ制御部４５から供給されてよい。

【0045】

フィードバック制御部４６は、何れのモードにおいても、制御対象機器２０（Ｔ）の操作量を制御部４９に供給してよい。

【0046】

［１－３―７．切替部４７］
切替部４７は、フィードバック制御部４６とＡＩ制御部４５とのいずれによって制御対象機器２０（Ｔ）を制御するかの切替（制御切替とも称する）を行う。

【0047】

切替部４７は、フィードバック制御部４６のモードを切り替えることで制御切替を行ってよい。例えば、切替部４７は、フィードバック制御部４６をオートモードにすることで、フィードバック制御部４６に各制御対象機器２０（Ｔ）を制御させてよい。また、切替部４７は、フィードバック制御部４６をマニュアルモードにすることで、ＡＩ制御部４５に各制御対象機器２０（Ｔ）を制御させてよい。

【0048】

［１－３―８．制御部４９］
制御部４９は、供給された操作量を用いて各制御対象機器２０（Ｔ）を制御する。制御部４９は、各制御対象機器２０（Ｔ）に操作量を供給することで、各制御対象機器２０（Ｔ）を当該操作量だけ駆動させてよい。

【0049】

制御部４９は、各制御対象機器２０（Ｔ）の出力値が制御周期内に維持されるように各制御対象機器２０（Ｔ）を制御してよい。制御対象機器２０（Ｔ）がフィードバック制御される場合には、制御周期はフィードバック制御のサイクルタイムよりも長くてよい。

【0050】

なお、制御部４９は、制御装置４の各部の制御をさらに行ってもよい。例えば、制御部４９は、モデル４５０の学習を制御してよい。

【0051】

以上のシステム１によれば、フィードバック制御部４６とＡＩ制御部４５とのいずれによって制御対象機器２０（Ｔ）を制御するかの切替が行われるので、フィードバック制御部４６と、ＡＩ制御部４５との何れか一方によって良好に制御を行えない場合に、他方によって良好に制御を行うことができる。また、ＡＩ制御部４５のみによって制御対象機器２０（Ｔ）の制御を行う場合と異なり、制御の一部をフィードバック制御部４６に分担することができるため、モデル４５０の学習を簡略化することができる。

【0052】

また、制御対象機器２０（Ｔ）について測定された測定値と目標値との差に応じて制御切替が行われるので、制御対象機器２０（Ｔ）の立ち上がり期間に差が大きく生じた場合や、外乱などにより差が大きく生じた場合に、フィードバック制御部４６では測定値を目標値に近づけるのに時間を要する場合であっても、ＡＩ制御部４５によって測定値を目標値に速やかに近づけることができる。

【0053】

また、ＡＩ制御部４５のモデル４５０に測定データが入力されることで、報酬値を高めるために推奨される操作量が出力される。従って、ＡＩ制御部４５による制御を行う場合には、熟練したオペレータによる試行錯誤を必要とせずに状況に応じた適切な操作量によって制御対象機器２０（Ｔ）を制御することができる。

【0054】

また、ＡＩ制御部４５が制御対象機器２０（Ｔ）の操作量をフィードバック制御部４６に入力し、切替部４７がフィードバック制御部４６をオートモードおよびマニュアルモードの間で切り替えることで制御切替を行う。従って、フィードバック制御部４６に具備されるモード切り替え機能を用いて制御切替を行うことができる。

【0055】

［２．動作］
［２－１．学習段階］
図２は、本実施形態に係る制御装置４の学習段階での動作を示す。制御装置４は、ステップＳ１１～Ｓ２５の処理を行うことにより設備２を稼働させつつモデル４５０の学習を行う。

【0056】

まずステップＳ１１において測定データ取得部４０は、各センサ２１によって測定された測定データを取得する。これにより、初期状態の測定データが取得される。測定データ取得部４０は、学習処理部４４に測定データを記憶させてよい。

【0057】

ステップＳ１３において制御部４９は、各制御対象機器２０（Ｔ）の操作量を決定する。制御部４９は、次の制御周期での操作量を決定してよく、本実施形態では一例として、後述のステップＳ１５が次回行われる場合に使用される操作量を決定してよい。決定される操作量は、報酬値を高くするものであってもよいし、低くするものであってもよいし、報酬値とは無関係に決定されるものであってもよい。

【0058】

制御部４９は、オペレータの操作に応じて次の制御周期での操作量を決定してもよいし、各制御対象機器２０（Ｔ）についての測定値が入力されたフィードバック制御部４６から出力される操作量を次の制御周期での操作量として決定してもよい。これに代えて、制御部４９は、モデル４５０から出力される操作量を次の制御周期での操作量として決定してよい。

【0059】

例えば、ステップＳ１３の処理が最初に行われる場合には、制御部４９は、ステップＳ１１で取得された測定データをモデル４５０に入力したことに応じてモデル４５０から出力される操作量を、次の制御周期での操作量として決定してよい。ステップＳ１３～Ｓ１９の処理が繰り返されてステップＳ１３の処理が複数回行われる場合には、制御部４９は、最後に行われたステップＳ１７の処理で取得された測定データをモデル４５０に入力したことに応じてモデル４５０から出力される操作量を、次の制御周期での操作量として決定してよい。ステップＳ１３の処理が複数回行われる場合には、複数のステップＳ１３の処理のうち少なくとも一部の処理の間では、異なる操作量が決定されてよい。

【0060】

ステップＳ１５において制御部４９は、操作量を各制御対象機器２０（Ｔ）に出力して各制御対象機器２０（Ｔ）を制御する。制御部４９は、操作量取得部４１を介して学習処理部４４に操作量を記憶させてよい。制御部４９は、各制御対象機器２０（Ｔ）の制御前に測定データ取得部４０によって取得された測定データに対応付けて、操作量を学習処理部４４に記憶させてよい。これにより、測定データおよび操作量を含む学習データが学習処理部４４に記憶される。

【0061】

なお、ステップＳ１５の処理が最初に行われる場合には、制御対象機器２０（Ｔ）の制御前に取得された測定データは、上述のステップＳ１１の処理で取得された測定データであってよい。ステップＳ１３～Ｓ１９の処理が繰り返されてステップＳ１５の処理が複数回行われる場合には、制御対象機器２０（Ｔ）の制御前に取得された測定データは、最後に行われたステップＳ１７の処理で取得された測定データであってよい。

【0062】

ステップＳ１７において測定データ取得部４０は、各センサ２１によって測定された測定データを取得する。これにより、操作量で各制御対象機器２０（Ｔ）が制御された場合の測定データが取得される。

【0063】

ステップＳ１９において報酬値取得部４２は、報酬関数により定まる報酬値を取得する。ここで、測定データ取得部４０により取得される測定データには第１群の測定データと、第２群の測定データとがそれぞれ含まれてよく、各群の測定データには少なくとも１種類の測定データが含まれてよい。報酬関数は、第１群の測定データの少なくとも１つが基準条件を満たさない場合には、第２群の測定データのそれぞれの値に関わらず報酬値を０としてよい。また、報酬関数は、第１群の測定データのそれぞれが基準条件を満たす場合には、第２群の測定データのそれぞれの値に応じて報酬値を増減させてよい。

【0064】

第１群の測定データは運転状態データであってよく、第１群の測定データの基準条件は、設備２で最低限、達成するべき条件であってよい。例えば、設備２が化学製品などの製品の製造プラントである場合には第１群の測定データはプラント内の温度や湿度を示してよく、測定データの基準条件は、製品の品質を保つために維持されるべき温度範囲、湿度範囲であってよい。また、第２群の測定データは消費量データであってよい。この場合、消費量が多いほど報酬値は少なくてよい。これにより、消費量が削減されるように学習処理が行われることとなる。

【0065】

報酬値取得部４２は、取得した報酬値を学習処理部４４に記憶させてよい。報酬値取得部４２は、最後に行われたステップＳ１５の処理で記憶された学習データに対応付けて報酬値を記憶させてよい。

【0066】

ステップＳ２１において制御部４９は、ステップＳ１３～Ｓ１９の処理を基準ステップ数だけ行ったか否かを判定する。基準ステップ数だけ処理を行っていないと判定された場合（ステップＳ２１；Ｎｏ）には、ステップＳ１３に処理が移行する。これにより、測定データまたは操作量の少なくとも一方が異なる学習データが基準ステップ数だけサンプリングされて報酬値と共に記憶される。なお、ステップＳ１３～Ｓ１９の処理が繰り返し行われる場合に、ステップＳ１３の周期（つまり制御周期）は設備２の時定数に応じて定められてよく、一例として５分であってよい。ステップＳ２１において基準ステップ数だけ処理を行ったと判定された場合（ステップＳ２１；Ｙｅｓ）には、ステップＳ２３に処理が移行する。

【0067】

ステップＳ２３において学習処理部４４は、対応付けて記憶された学習データおよび報酬値の組をそれぞれ用いてモデル４５０の学習処理を行う。これにより、モデル４５０が更新される。なお、学習処理部４４は、最急降下法やニューラルネットワーク、ＤＱＮ（Ｄｅｅｐ Ｑ－Ｎｅｔｗｏｒｋ）、ガウシアンプロセス、ディープラーニングなど、公知の手法による学習処理を行ってよい。学習処理部４４は、報酬値が高くなる操作量ほど、推奨の操作量として優先的に出力されるように、モデル４５０の学習処理を行ってよい。

【0068】

学習処理後のモデル４５０には、測定データおよび操作量を含む学習データに対応付けて、重み係数が記憶されてよい。重み係数は、対応する学習データ内の操作量が制御に用いられた場合の報酬値の高さに応じて設定されてよく、当該操作量が制御に用いられる場合の報酬値を予測するのに用いられてよい。

【0069】

ステップＳ２５において制御部４９は、ステップＳ１３～Ｓ２３の処理を基準繰り返し（イテレーション）数だけ行ったか否かを判定する。基準繰り返し数だけ処理を行っていないと判定された場合（ステップＳ２５；Ｎｏ）には、ステップＳ１１に処理が移行する。基準イテレーション数だけ処理を行ったと判定された場合（ステップＳ２５；Ｙｅｓ）には、処理が終了する。

【0070】

以上の動作によれば、報酬関数は第１群の測定データの少なくとも１つが基準条件を満たさない場合には、第２群の測定データのそれぞれの値に関わらず報酬値を０とし、第１群の測定データのそれぞれが基準条件を満たす場合には、第２群の測定データのそれぞれの値に応じて報酬値を増減させる。従って、第１群の測定データが基準条件を満たす前提で報酬値が高まるような操作量が優先的に出力されるようモデル４５０の学習処理を行うことができる。

【0071】

また、モデル４５０から出力される推奨の操作量を次の制御周期での操作量として決定する場合には、推奨の操作量に従って各制御対象機器２０（Ｔ）が制御され、制御に応じた測定データが取得されるので、推奨の操作量を含む学習データと、その制御結果に対応する報酬値とを用いてモデル４５０の学習処理が行われる。従って、推奨の操作量で制御が行われる場合のモデル４５０の学習処理を順次行って学習精度を高めることができる。

【0072】

［２－２．運用段階］
図３は、本実施形態に係る制御装置４の運用段階での動作を示す。制御装置４は、ステップＳ３１～Ｓ３７の処理を行うことによりフィードバック制御部４６およびＡＩ制御部４５を用いて設備２を稼働させる。

【0073】

ステップＳ３１において測定データ取得部４０は、各センサ２１によって測定された測定データを取得する。これにより、初期状態の測定データが取得される。

【0074】

ステップＳ３３において切替部４７は、ＡＩ制御部４５およびフィードバック制御部４６の何れにより制御対象機器２０（Ｔ）を制御するかを決定する。ＡＩ制御部４５が制御を行うと決定された場合（ステップＳ３３：ＡＩ）には、切替部４７は、フィードバック制御部４６をマニュアルモードに設定してよい。この場合には、制御装置４はステップＳ３５に処理を移行してよい。フィードバック制御部４６が制御を行うと決定された場合（ステップＳ３３：ＦＢ）には切替部４７は、フィードバック制御部４６をオートモードに設定してよい。この場合には、制御装置４はステップＳ３７に処理を移行してよい。切替部４７は、ＡＩ制御部４５が制御している状態からフィードバック制御部４６が制御することを決定した場合、および、フィードバック制御部４６が制御している状態からＡＩ制御部４５が制御することを決定した場合には、制御切替（本実施形態では一例としてフィードバック制御部４６のマニュアルモードおよびオートモードの切替）を行ってよい。

【0075】

切替部４７は、制御対象機器２０（Ｔ）についての測定値と目標値との差に応じて制御切替を行ってよい。一例として、切替部４７は、測定値と目標値との差が基準値よりも大きくなったことに応じてフィードバック制御部４６による制御からＡＩ制御部４５による制御への制御切替を行い、差が基準値よりも小さくなったことに応じてＡＩ制御部４５による制御からフィードバック制御部４６による制御への制御切替を行ってよい。切替部４７は、ＡＩ制御部４５による制御へ切り替える場合の基準値と、フィードバック制御部４６による制御へ切り替える場合の基準値とにヒステリシス特性を持たせてよく、後者の基準値を前者の基準値より小さくしてよい。切替部４７は、フィードバック制御部４６から目標値を取得してよい。

【0076】

また、切替部４７は、基準タイムウィンドウ内で制御対象機器２０（Ｔ）についての測定値と目標値との差が複数回、基準値よりも大きくなったこと、つまり差が複数回、基準値以下の値から、基準値よりも大きい値になったことに応じて、フィードバック制御部４６による制御から、ＡＩ制御部４５による制御への制御切替を行ってよい。一例として、切替部４７は、外乱などに起因して測定値が波打つハンチングが生じたことに応じてＡＩ制御部４５による制御への制御切替を行ってよい。基準タイムウィンドウとしては任意の時間幅を用いてよく、基準値としては任意の値を用いてよい。

【0077】

この場合に、切替部４７は、基準タイムウィンドウ内で測定値と目標値との差が基準値よりも小さく維持されたことに応じて、ＡＩ制御部４５による制御から、フィードバック制御部４６による制御への切り替えを行ってよい。切替部４７は、ＡＩ制御部４５による制御へ切り替える場合の基準値と、フィードバック制御部４６による制御へ切り替える場合の基準値とにヒステリシス特性を持たせてよく、後者の基準値を前者の基準値よりも小さくしてよい。

【0078】

また、切替部４７は、閾値と、制御対象機器２０（Ｔ）についての測定値との比較結果に基づいて制御切替を行ってよい。閾値は、報酬関数に含まれる、制御対象機器２０（Ｔ）についての一の目標値に基づいて設定されてよい。例えば閾値は、一の目標値に四則演算などの演算を行って得られる値でもよいし、一の目標値そのものであってもよい。

【0079】

閾値と測定値との比較結果に基づいて制御切替を行う場合に、切替部４７は、測定値が閾値以下である場合にはＡＩ制御部４５が制御対象機器２０（Ｔ）を制御すると決定してよい。また、切替部４７は、測定値が閾値より大きい場合にはフィードバック制御部４６が制御対象機器２０（Ｔ）を制御すると決定してよい。一例として、制御対象機器２０（Ｔ）がバルブであり、開度を示す一の目標値が３０％である場合には、閾値は一の目標値そのものの３０％として設定されてよく、測定値が３０％以下の場合にはＡＩ制御部４５が、測定値が３０％より大きい場合にはフィードバック制御部４６が、制御対象機器２０（Ｔ）のバルブを制御してよい。

【0080】

切替部４７は、ＡＩ制御部４５による制御へ切り替える場合の閾値と、フィードバック制御部４６による制御へ切り替える場合の閾値とにヒステリシス特性を持たせてよく、後者の閾値を前者の閾値り大きくしてよい。

【0081】

ステップＳ３５において制御装置４は、ＡＩ制御部４５による制御対象機器２０（Ｔ）の制御を行う。例えば、ＡＩ制御部４５のモデル４５０は、測定データ取得部４０から測定データが供給されることに応じて推奨される操作量を、フィードバック制御部４６を介して制御部４９に出力してよい。制御部４９は、入力された操作量を制御対象機器２０（Ｔ）に供給してよい。これにより、制御対象機器２０（Ｔ）が操作量だけ駆動する。ステップＳ３５の処理が終了したら、制御装置４はステップＳ３１に処理を移行してよい。

【0082】

なお、ステップＳ３５においてモデル４５０は、学習データ内に含まれる操作量それぞれについて、当該操作量が制御に用いられる場合に予測される報酬値（予測報酬値とも称する）を算出してよい。例えば、モデル４５０は、複数の学習データから、一の操作量を含む各学習データを抽出してよい。モデル４５０は、抽出した各学習データに対応付けられた各重み係数を、現時点の状態を示す測定データ（本実施形態では一例として最後に行われたステップＳ３１の処理で取得された測定データ）と、学習データ内の測定データとの距離に応じて重み付け加算した結果を、当該一の操作量についての予測報酬値としてよい。モデル４５０は、測定データ間の距離が大きいほど重みが小さくなるように（つまり、報酬値への影響が小さくなるように）、重み付けの大きさを設定してよい。モデル４５０は、予測報酬値の高い操作量ほど、より優先的に推奨操作量としてよい。ただし、モデル４５０は、必ずしも予測報酬値が最高の操作量を推奨操作量にしなくてもよい。

【0083】

ステップＳ３７において制御装置４は、フィードバック制御部４６による制御対象機器２０（Ｔ）の制御を行う。例えば、フィードバック制御部４６は、制御対象機器２０（Ｔ）についての測定値が入力されることに応じて当該測定値に応じた操作量を制御部４９に出力してよい。制御部４９は、入力された操作量を制御対象機器２０（Ｔ）に供給してよい。これにより、制御対象機器２０（Ｔ）が操作量だけ駆動する。ステップＳ３７の処理が終了したら、制御装置４はステップＳ３１に処理を移行してよい。

【0084】

ステップＳ３７においてフィードバック制御部４６は、マニュアルモードからオードモードへ切り替えられた場合に、切替前後の操作量をバンプレスに制御する、つまり、切替前後での操作量の急変を抑制する。例えば、フィードバック制御部４６は、マニュアルモードで出力した操作量（つまりＡＩ制御部４５から供給された操作量）から逆算される積分項を用いて、次の操作量を算出してよい。一例として、フィードバック制御部４６は、オートモードにおいてＰＩＤ制御を行う場合に、次の式（１）、（２）から操作量ＭＶを算出してよい。フィードバック制御部４６がマニュアルモードからオートモードへ切り替えられた場合には、マニュアルモードで出力した操作量から式（２）の右辺第２項の積分項を逆算して、次の操作量ＭＶを算出してよい。

【0085】

【数1】

【0086】

ここで、式中、添え字のｉ，ｉ－１は制御タイミングを示す変数である。ＰＶは制御対象機器２０（Ｔ）についての測定値であり、別言すればプロセスデータである。ＳＶは目標値であり、別言すれば設定値である。Ｐ，Ｉ，Ｄは比例ゲイン，積分ゲイン，微分ゲインである。

【0087】

以上の動作によれば、基準タイムウィンドウ内で測定値と目標値との差が複数回、基準値よりも大きくなったことに応じて、フィードバック制御部４６による制御から、ＡＩ制御部４５による制御への制御切替が行われる。従って、フィードバック制御部４６による制御によってハンチングが生じる場合に、ハンチングを抑えて測定値を目標値に近づけることができる。

【0088】

また、ＡＩ制御部４５で用いられる報酬関数では測定値が一の目標値に近いほど報酬値が高くなり、制御切替が一の目標値に基づく閾値と測定値との比較結果に基づいて行われる。従って、ＡＩ制御部４５によって制御が良好に行えない範囲内に測定値が含まれる場合に、フィードバック制御部４６によって良好に制御を行うことができる。

【0089】

また、ＡＩ制御部４５による制御へ切り替える場合の閾値と、フィードバック制御部４６による制御へ切り替える場合の閾値とがヒステリシス特性を持つので、測定値の変動によって制御主体が頻繁に切り替わり、操作量が不安定になってしまうのを防止することができる。

【0090】

また、フィードバック制御部４６がマニュアルモードからオードモードへ切り替えられた場合に、切替前後の操作量がバンプレスに制御されるので、マニュアルモードのフィードバック制御部４６から出力された操作量と、オートモードのフィードバック制御部４６により新たに算出される操作量との間の不連続性を抑え、変動を抑えることができる。

【0091】

［３．適用例］
図４は、システム１の適用例を示す。なお、図４では、制御装置４の構成を簡略化して図示している。

【0092】

本適用例において、設備２はプラント用の空調機であり、ダクト２００内に外気を取り込んで、調温・調湿後の空気をプラントの部屋や他の空調機に供給する。

【0093】

設備２には、制御対象機器２０（Ｔ）としてのバルブＢ１～Ｂ４が設けられている。バルブＢ１はダクト２００内の加熱量を調整するものであり、バルブＢ２はダクト２００内の冷却量を調整するものであり、バルブＢ３はダクト２００内の加湿量を調整するものであり、バルブＢ４はダクト２００内の除湿量を調整するものである。

【0094】

また、設備２には、センサ２１としての湿度センサ２１ａ，２１ｂや、温度センサ２１ｃ，２１ｄ、開度センサ２１ｅ、日照センサ２１ｆ、風向きセンサ２１ｇ、風量センサ２１ｈ、使用電力センサ２１ｉ、使用ＬＰＧセンサ２１ｊなどが設けられている。湿度センサ２１ａ，温度センサ２１ｃは、ダクト２００内に取り込まれた外気の湿度，温度を測定する。湿度センサ２１ｂ，温度センサ２１ｄは、ダクト２００から放出された調整後の空気の湿度，温度を測定する。開度センサ２１ｅは、バルブＢ１～Ｂ４の開度（出力値）をそれぞれ測定する。日照センサ２１ｆ，風向きセンサ２１ｇ，風量センサ２１ｈは、設備２が設けられたプラント外部での日射量，風向き，風量を測定する。使用電力センサ２１ｉは、設備２の使用電力量を測定する。使用ＬＰＧセンサ２１ｊは、設備２の使用ＬＰＧ量を測定する。

【0095】

制御装置４の学習処理部４４は、これらのセンサ２１ａ～２１ｊによって測定された測定データと、各バルブＢ１～Ｂ４の操作量とを含む学習データを用いて、ＡＩ制御部４５におけるモデル４５０の学習処理を実行する。本適用例では一例として、操作量は、バルブＢ１～Ｂ４の出力値である開度に関する。開度に関する操作量が電気信号等で制御装置４から送信されると、バルブＢ１～Ｂ４は、その操作量だけ開閉する。学習処理に用いられる報酬値は、調整後の空気の温度または湿度の少なくとも一方が基準範囲内に維持されない場合には０にされてよく、調整後の空気の温度，湿度がそれぞれ基準範囲内に維持される場合には、使用電力量および使用ＬＰＧ量が少ないほど高い値にされてよい。

【0096】

ＡＩ制御部４５は、センサ２１ａ～２１ｊによって測定された測定データの入力に応じて、報酬値を高めるために推奨される操作量を算出する。

【0097】

フィードバック制御部４６は、開度センサ２１ｅによって測定された開度と、開度の目標値とに基づいて操作量を算出する。

【0098】

切替部４７は、開度センサ２１ｅによって測定された開度と、開度の目標値との差に応じて制御切替を行う。切替部４７は、フィードバック制御部４６をマニュアルモードとオートモードとの間で切り替えることにより、ＡＩ制御部４５により算出された操作量と、フィードバック制御部４６により算出された操作量との何れか一方をフィードバック制御部４６から制御部４９に供給させる。

【0099】

制御部４９は、操作量をバルブＢ１～Ｂ４に供給することで、バルブＢ１～Ｂ４を操作量だけ開閉させる。

【0100】

［５．変形例］
なお、上記の実施形態では、システム１は単一の制御装置４を備えることとして説明したが、複数の制御装置４を備えてもよい。この場合には、各制御装置４の間で制御対象機器２０（Ｔ）が同じであってもよいし、異なってもよい。一例としてシステム１には、機器２０毎に、当該機器２０を制御対象機器２０（Ｔ）とする制御装置４が具備されてよい。

【0101】

また、制御装置４は、操作量取得部４１と、報酬値取得部４２と、学習処理部４４と、制御部４９とを有することとして説明したが、これらの少なくとも１つを有しないこととしても良い。制御装置４が学習処理部４４や操作量取得部４１を有しない場合には、制御装置４は、モデル４５０の学習処理を行わずに、学習処理後のモデル４５０を用いて制御対象機器２０（Ｔ）の制御を行ってよい。

【0102】

また、測定データ取得部４０は、複数のセンサ２１のそれぞれによって測定された測定データを取得することとして説明したが、制御対象機器２０（Ｔ）についての測定値のみを取得してもよい。

【0103】

また、切替部４７は、制御対象機器２０（Ｔ）についての測定値と目標値との差に応じて制御切替を行うこととして説明したが、制御対象機器２０（Ｔ）に対する制御開始からの経過時間に応じて制御切替を行ってもよい。例えば、切替部４７は、制御対象機器２０（Ｔ）に対する制御の開始から基準時間が経過するまではＡＩ制御部４５による制御を行わせ、基準時間が経過した後はフィードバック制御部４６による制御を行わせてよい。これにより、制御対象機器２０（Ｔ）の立ち上がり期間におけるオーバーシュートやアンダーシュートを防止して、測定値を速やかに目標値に近づけることができる。また、制御対象機器２０（Ｔ）に対する制御の開始から基準時間が経過した後はフィードバック制御部４６による制御が行われるので、測定値を安定に制御することができる。制御対象機器２０（Ｔ）に対する制御開始のタイミングは、制御対象機器２０（Ｔ）および制御装置４が起動されて制御装置４による制御が開始するタイミングでもよいし、一旦、制御が開始した後に、制御装置４に設定される目標値が変更されて新たに制御装置４による制御が開始するタイミングであってもよい。基準時間は、一例として、制御対象機器２０（Ｔ）をフィードバック制御部４６により制御した場合に、制御の開始からオーバーシュートやアンダーシュートが収まるまでの期間であってよい。

【0104】

また、制御装置４はフィードバック制御により測定値に応じた操作量を出力するフィードバック制御部４６を有することとして説明したが、フィードバック制御に加えて、または、フィードバック制御に代えて、フィードフォワード制御により測定値に応じた操作量を出力する制御部を有してもよい。

【0105】

また、制御装置４は、単一のフィードバック制御部４６を有することとして説明したが、複数のフィードバック制御部４６を有してもよい。これら複数のフィードバック制御部４６は、フィードバック制御を多重に組み合わせたカスケード制御を行うべく多段に接続されてよい。各段のフィードバック制御部４６には、同じ制御対象機器２０（Ｔ）についての測定値が入力されてよく、前段のフィードバック制御部４６から出力される操作量が、次段のフィードバック制御部４６に対し目標値として入力されてよい。この場合、ＡＩ制御部４５は何れか１つのフィードバック制御部４６に対して操作量を供給してよく、当該フィードバック制御部４６は切替部４７によってマニュアルモードとオートモードとの間でモードが切り替えられてよい。また、フィードバック制御部４６が多段に接続される場合には、制御装置４は複数のＡＩ制御部４５を有してよい。これら複数のＡＩ制御部４５は、それぞれ別々のフィードバック制御部４６に対して操作量を供給してよく、これらのフィードバック制御部４６はそれぞれ切替部４７によってマニュアルモードとオートモードとの間でモードが切り替えられてよい。複数のＡＩ制御部４５のモデル４５０は、同じ学習処理が施されていてもよいし、異なる学習処理が施されてもよい。

【0106】

また、切替部４７はフィードバック制御部４６のモードを切り替えることで制御切替を行うこととして説明したが、他の手法により制御切替を行ってもよい。例えば、ＡＩ制御部４５およびフィードバック制御部４６は算出した操作量をそれぞれ切替部４７に供給してよく、切替部４７は、制御部４９に出力する操作量の供給元をＡＩ制御部４５およびフィードバック制御部４６の間で切り替えることで切替制御を行ってよい。

【0107】

また、本発明の様々な実施形態は、フローチャートおよびブロック図を参照して記載されてよく、ここにおいてブロックは、（１）操作が実行されるプロセスの段階または（２）操作を実行する役割を持つ装置のセクションを表わしてよい。特定の段階およびセクションが、専用回路、コンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、およびコンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサの少なくとも１つによって実装されてよい。専用回路は、デジタルおよびアナログの少なくとも一方のハードウェア回路を含んでよく、集積回路（ＩＣ）およびディスクリート回路の少なくとも一方を含んでよい。プログラマブル回路は、論理ＡＮＤ、論理ＯＲ、論理ＸＯＲ、論理ＮＡＮＤ、論理ＮＯＲ、および他の論理操作、フリップフロップ、レジスタ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルロジックアレイ（ＰＬＡ）等のようなメモリ要素等を含む、再構成可能なハードウェア回路を含んでよい。

【0108】

コンピュータ可読媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読媒体は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読媒体のより具体的な例としては、フロッピー（登録商標）ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスクリードオンリメモリ（ＣＤ-ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（ＲＴＭ）ディスク、メモリスティック、集積回路カード等が含まれてよい。

【0109】

コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ、ＪＡＶＡ（登録商標）、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語または同様のプログラミング言語のような従来の手続型プログラミング言語を含む、１または複数のプログラミング言語の任意の組み合わせで記述されたコードまたはオブジェクトコードのいずれかを含んでよい。

【0110】

コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサまたはプログラマブル回路に対し、ローカルにまたはローカルエリアネットワーク（ＬＡＮ）、インターネット等のようなワイドエリアネットワーク（ＷＡＮ）を介して提供され、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく、コンピュータ可読命令を実行してよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。

【0111】

図５は、本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ２２００の例を示す。コンピュータ２２００にインストールされたプログラムは、コンピュータ２２００に、本発明の実施形態に係る装置に関連付けられる操作または当該装置の１または複数のセクションとして機能させることができ、または当該操作または当該１または複数のセクションを実行させることができ、これに加えて、またはこれに代えて、コンピュータ２２００に、本発明の実施形態に係るプロセスまたは当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ２２００に、本明細書に記載のフローチャートおよびブロック図のブロックのうちのいくつかまたはすべてに関連付けられた特定の操作を実行させるべく、ＣＰＵ２２１２によって実行されてよい。

【0112】

本実施形態によるコンピュータ２２００は、ＣＰＵ２２１２、ＲＡＭ２２１４、グラフィックコントローラ２２１６、およびディスプレイデバイス２２１８を含み、それらはホストコントローラ２２１０によって相互に接続されている。コンピュータ２２００はまた、通信インターフェイス２２２２、ハードディスクドライブ２２２４、ＤＶＤ－ＲＯＭドライブ２２２６、およびＩＣカードドライブのような入出力ユニットを含み、それらは入出力コントローラ２２２０を介してホストコントローラ２２１０に接続されている。コンピュータはまた、ＲＯＭ２２３０およびキーボード２２４２のようなレガシの入出力ユニットを含み、それらは入出力チップ２２４０を介して入出力コントローラ２２２０に接続されている。

【0113】

ＣＰＵ２２１２は、ＲＯＭ２２３０およびＲＡＭ２２１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ２２１６は、ＲＡＭ２２１４内に提供されるフレームバッファ等またはそれ自体の中にＣＰＵ２２１２によって生成されたイメージデータを取得し、イメージデータがディスプレイデバイス２２１８上に表示されるようにする。

【0114】

通信インターフェイス２２２２は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブ２２２４は、コンピュータ２２００内のＣＰＵ２２１２によって使用されるプログラムおよびデータを格納する。ＤＶＤ－ＲＯＭドライブ２２２６は、プログラムまたはデータをＤＶＤ－ＲＯＭ２２０１から読み取り、ハードディスクドライブ２２２４にＲＡＭ２２１４を介してプログラムまたはデータを提供する。ＩＣカードドライブは、プログラムおよびデータをＩＣカードから読み取り、これに加えて、またはこれに代えてプログラムおよびデータをＩＣカードに書き込む。

【0115】

ＲＯＭ２２３０はその中に、アクティブ化時にコンピュータ２２００によって実行されるブートプログラム等、およびコンピュータ２２００のハードウェアに依存するプログラムの少なくとも１つを格納する。入出力チップ２２４０はまた、様々な入出力ユニットをパラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入出力コントローラ２２２０に接続してよい。

【0116】

プログラムが、ＤＶＤ－ＲＯＭ２２０１またはＩＣカードのようなコンピュータ可読媒体によって提供される。プログラムは、コンピュータ可読媒体から読み取られ、コンピュータ可読媒体の例でもあるハードディスクドライブ２２２４、ＲＡＭ２２１４、またはＲＯＭ２２３０にインストールされ、ＣＰＵ２２１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ２２００に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置または方法が、コンピュータ２２００の使用に従い情報の操作または処理を実現することによって構成されてよい。

【0117】

例えば、通信がコンピュータ２２００および外部デバイス間で実行される場合、ＣＰＵ２２１２は、ＲＡＭ２２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インターフェイス２２２２に対し、通信処理を命令してよい。通信インターフェイス２２２２は、ＣＰＵ２２１２の制御下、ＲＡＭ２２１４、ハードディスクドライブ２２２４、ＤＶＤ－ＲＯＭ２２０１、またはＩＣカードのような記録媒体内に提供される送信バッファ処理領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、またはネットワークから受信された受信データを記録媒体上に提供される受信バッファ処理領域等に書き込む。

【0118】

また、ＣＰＵ２２１２は、ハードディスクドライブ２２２４、ＤＶＤ－ＲＯＭドライブ２２２６（ＤＶＤ－ＲＯＭ２２０１）、ＩＣカード等のような外部記録媒体に格納されたファイルまたはデータベースの全部または必要な部分がＲＡＭ２２１４に読み取られるようにし、ＲＡＭ２２１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ２２１２は次に、処理されたデータを外部記録媒体にライトバックする。

【0119】

様々なタイプのプログラム、データ、テーブル、およびデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ２２１２は、ＲＡＭ２２１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプの操作、情報処理、条件判断、条件分岐、無条件分岐、情報の検索，置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ２２１４に対しライトバックする。また、ＣＰＵ２２１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ２２１２は、第１の属性の属性値が指定される、条件に一致するエントリを当該複数のエントリの中から検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。

【0120】

上で説明したプログラムまたはソフトウェアモジュールは、コンピュータ２２００上またはコンピュータ２２００近傍のコンピュータ可読媒体に格納されてよい。また、専用通信ネットワークまたはインターネットに接続されたサーバーシステム内に提供されるハードディスクまたはＲＡＭのような記録媒体が、コンピュータ可読媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ２２００に提供する。

【0121】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

【0122】

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

【符号の説明】

【0123】

１ システム、 ２ 設備、 ４ 制御装置、 ２０ 機器、 ２１ センサ、 ４０ 測定データ取得部、 ４１ 操作量取得部、 ４２ 報酬値取得部、 ４４ 学習処理部、 ４５ ＡＩ制御部、 ４６ フィードバック制御部、 ４７ 切替部、 ４９ 制御部、 ２００ ダクト、 ４５０ モデル、 ２２００ コンピュータ、 ２２０１ ＤＶＤ－ＲＯＭ、 ２２１０ ホストコントローラ、 ２２１２ ＣＰＵ、 ２２１４ ＲＡＭ、 ２２１６ グラフィックコントローラ、 ２２１８ ディスプレイデバイス、 ２２２０ 入出力コントローラ、 ２２２２ 通信インターフェイス、 ２２２４ ハードディスクドライブ、 ２２２６ ＤＶＤ－ＲＯＭドライブ、 ２２３０ ＲＯＭ、 ２２４０ 入出力チップ、 ２２４２ キーボード

【図1】

【図2】

【図3】

【図4】

【図5】