特開 2024-176126 知的制御装置、知的制御方法および知的制御プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024176126

(43)【公開日】2024-12-19

(54)【発明の名称】知的制御装置、知的制御方法および知的制御プログラム

(51)【国際特許分類】

   G05B 23/02 20060101AFI20241212BHJP

【ＦＩ】

G05B23/02 R

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2023094404

(22)【出願日】2023-06-07

(71)【出願人】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110001807

【氏名又は名称】弁理士法人磯野国際特許商標事務所

(72)【発明者】

【氏名】徳田 勇也

(72)【発明者】

【氏名】関合 孝朗

(72)【発明者】

【氏名】堀 嘉成

【テーマコード（参考）】

3C223

【Ｆターム（参考）】

3C223AA01

3C223BA01

3C223CC01

3C223DD01

3C223EB01

3C223FF04

3C223FF05

3C223FF22

3C223FF23

3C223FF26

3C223FF42

3C223GG01

3C223HH03

3C223HH08

(57)【要約】

【課題】制御性能に関する学習データの不足範囲を特定しつつ、制御性能に関連する学習データの充足性を評価可能とする。
【解決手段】知的制御装置１００は、制御対象の運転により得られた学習データを学習し、前記制御対象の挙動を模擬する制御対象モデルを生成するモデル生成部１４７と、制御対象モデルを用いて、制御対象の状態のうち学習データが不足している範囲を推定する範囲推定部１４４と、制御対象モデルが初期状態から目標状態まで遷移する遷移確率を算出する遷移確率算出部１４５と、範囲推定部１４４が推定した範囲、および、遷移確率算出部１４５が算出した遷移確率を出力する出力制御部１４２とを備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

制御対象の運転により得られた学習データを学習し、前記制御対象の挙動を模擬する制御対象モデルを生成するモデル生成部と、
前記制御対象モデルを用いて、前記制御対象の状態のうち学習データが不足している範囲を推定する範囲推定部と、
前記制御対象モデルが初期状態から目標状態まで遷移する遷移確率を算出する遷移確率算出部と、
前記範囲推定部が推定した範囲、および、前記遷移確率算出部が算出した遷移確率を出力する出力制御部と、
を備えることを特徴とする知的制御装置。

【請求項2】

前記遷移確率算出部が算出した前記遷移確率を用いて、前記初期状態から前記目標状態まで遷移する遷移時間、前記制御対象の状態の遷移回数、および目標状態に遷移する確率の内、少なくともいずれか１つを算出する遷移算出部と、
前記遷移算出部の算出結果に基づいて、前記モデル生成部が追加学習すべき学習データの条件を推定する学習データ推定部と、
を備えることを特徴とする請求項１に記載の知的制御装置。

【請求項3】

前記制御対象モデルの状態を離散的な空間に区切り、区切った前記空間ごとに制御対象の操作量を決定する操作量決定部を更に備え、
前記範囲推定部は、前記空間の周囲の操作量の標準偏差に基づいて、学習データが不足している空間を推定する、
ことを特徴とする請求項１に記載の知的制御装置。

【請求項4】

前記学習データは、制御対象の運転データである、
ことを特徴とする請求項３に記載の知的制御装置。

【請求項5】

前記制御対象モデルは、状態遷移確率行列である、
ことを特徴とする請求項３に記載の知的制御装置。

【請求項6】

前記制御対象モデルは、ニューラルネットワークである、
ことを特徴とする請求項３に記載の知的制御装置。

【請求項7】

前記制御対象モデルは、動径基底関数ネットワークである、
ことを特徴とする請求項３に記載の知的制御装置。

【請求項8】

前記制御対象モデルは、ニューラルネットワークの重みが現されている行列またはベクトルである、
ことを特徴とする請求項３に記載の知的制御装置。

【請求項9】

前記制御対象モデルは、動径基底関数ネットワークの重みが現されている行列またはベクトルである、
ことを特徴とする請求項３に記載の知的制御装置。

【請求項10】

前記空間の幅を拡張または縮小し、目標状態に遷移する確率を高める状態分割数調整部、
を備えることを特徴とする請求項３に記載の知的制御装置。

【請求項11】

制御対象の目的を達成する制御則を推定する動作最適化部、
を備えることを特徴とする請求項１に記載の知的制御装置。

【請求項12】

モデル生成部が、制御対象の運転により得られた学習データを学習し、前記制御対象の挙動を模擬する制御対象モデルを生成するステップと、
範囲推定部が、前記制御対象モデルを用いて、前記制御対象の状態のうち学習データが不足している範囲を推定するステップと、
遷移確率算出部が、前記制御対象モデルが初期状態から目標状態まで遷移する遷移確率を算出するステップと、
出力制御部が、前記範囲推定部が推定した範囲、および、前記遷移確率算出部が算出した遷移確率を出力するステップと、
を備えることを特徴とする知的制御方法。

【請求項13】

コンピュータに、
制御対象の運転により得られた学習データを学習し、前記制御対象の挙動を模擬する制御対象モデルを生成する手順、
前記制御対象モデルを用いて、前記制御対象の状態のうち学習データが不足している範囲を推定する手順、
前記制御対象モデルが初期状態から目標状態まで遷移する遷移確率を算出する手順、
前記制御対象の状態のうち学習データが不足している範囲、および、前記遷移確率を出力する手順、
を実行させるための知的制御プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、産業プラントを制御する人工知能技術のデータ充足性評価に係る知的制御装置、知的制御方法および知的制御プログラムに関する。

【背景技術】

【0002】

プラント（発電・産業）や自動車、流通、の分野では一般的に機械学習をはじめとする人工知能技術（ＡＩ:Artificial Intelligence）の活用が試みられている。特に産業プラントでは人工知能技術によって、運転データから制御則を最適化することにより、運転効率の改善以外にも高速負荷変化や高速起動などのフレキシブル運転性能の向上に活用されている。これら産業プラント向けの人工知能技術の制御性能は運転データの充足性に強く依存する。

【0003】

そこで、従来の人工知能技術では制御対象のシミュレータを開発することによって、データの充足性と制御性能を評価していた。しかし、制御対象のシミュレータの開発には開発時間が長く、開発コストも高いという課題がある。さらに、人工知能技術の細かいパラメータ調整によって制御性能の向上を試みる場合においても、シミュレータでは計算時間が長く、調整に数日から数週間かかる場合もある。そこで、人工知能技術の算出した制御則から運転データの充足性と制御性能を評価するため、以下のような装置や方法が開発されている。

【0004】

特許文献１では、制御に利用するプロセス値の信号を離散化した空間を定義し、各空間の学習データの最大値、最小値とデータ数によってＡＩ制御の信頼性を評価する技術を公開している。信頼性が低い範囲に遷移した場合は、従来制御に切り替えることで制御の安全性を保障する。

【0005】

特許文献２では、学習用データとしての移動履歴データが供給された場合、既知の経路の移動履歴データであるか、または、未知の経路の移動履歴データであるかを判定し、既知の場合は、既存モデルのパラメータの更新を行い、未知の場合は、新規モデルを生成し、既存モデルと結合した更新モデルを生成する技術を公開している。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０２２－０９３８７８号公報

【特許文献2】特開２０１２－００８６５９号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

特許文献１の装置や方法は空間ごと学習データの最大値、最小値、データ数、データ密度によってＡＩ制御の信頼性を評価する手段が開示されている。これらの手法はデータの不足した空間の特定に有用であり、データの補充範囲の特定に優れている。しかし、定義した空間の全領域のうち、制御性能に関係する範囲はごく一部であるケースも少なくない。例えば、定義した空間の領域のうち９割以上が遷移禁止の空間であり、その空間のデータが存在しない場合でも制御性能に大きく影響しない場合もある。そのため、特許文献１では制御性能に関連するデータの充足性を評価する手段については明示していない。

【0008】

特許文献２の装置や方法は追加したデータを既知のデータか未知のデータを判定することで、新しいデータを追加したときの人工知能技術の学習効率を上げる手段が開示されている。しかし、特許文献１と同様に制御性能の向上に適したデータを補充する手段については明示していない。

【0009】

そこで、本発明は、制御性能に関する学習データの不足範囲を特定しつつ、制御性能に関連する学習データの充足性を評価可能とすることを課題とする。

【課題を解決するための手段】

【0010】

前記した課題を解決するため、本発明の知的制御装置は、制御対象の運転により得られた学習データを学習し、前記制御対象の挙動を模擬する制御対象モデルを生成するモデル生成部と、前記制御対象モデルを用いて、前記制御対象の状態のうち学習データが不足している範囲を推定する範囲推定部と、前記制御対象モデルが初期状態から目標状態まで遷移する遷移確率を算出する遷移確率算出部と、前記範囲推定部が推定した範囲、および、前記遷移確率算出部が算出した遷移確率を出力する出力制御部と、を備えることを特徴とする。

【0011】

本発明の知的制御方法は、モデル生成部が、制御対象の運転により得られた学習データを学習し、前記制御対象の挙動を模擬する制御対象モデルを生成するステップと、範囲推定部が、前記制御対象モデルを用いて、前記制御対象の状態のうち学習データが不足している範囲を推定するステップと、遷移確率算出部が、前記制御対象モデルが初期状態から目標状態まで遷移する遷移確率を算出するステップと、出力制御部が、前記範囲推定部が推定した範囲、および、前記遷移確率算出部が算出した遷移確率を出力するステップと、を備えることを特徴とする。

【0012】

本発明の知的制御プログラムは、制御対象の運転により得られた学習データを学習し、前記制御対象の挙動を模擬する制御対象モデルを生成する手順、前記制御対象モデルを用いて、前記制御対象の状態のうち学習データが不足している範囲を推定する手順、前記制御対象モデルが初期状態から目標状態まで遷移する遷移確率を算出する手順、前記制御対象の状態のうち学習データが不足している範囲、および、前記遷移確率を出力する手順、を実行させるためのものである。
その他の手段については、発明を実施するための形態のなかで説明する。

【発明の効果】

【0013】

本発明によれば、制御性能に関する学習データの不足範囲を特定しつつ、制御性能に関連する学習データの充足性を評価可能となる。

【図面の簡単な説明】

【0014】

【図1】第１実施形態に係る知的制御装置の構成を表す図である。

【図2】制御対象の構成を示す図である。

【図3】蒸気温度と経過時間のグラフである。

【図4】状態と操作量との対応を示す図である。

【図5】状態と温度と変化率の対応を示す図である。

【図6】操作量と弁開度調整量の対応を示す図である。

【図7】データ処理のフローチャートである。

【図8】制御に係るモード遷移図である。

【図9】第２実施形態に係る各状態の最小の制御ステップ数を示す図である。

【図10】各状態の最小の制御ステップ数の標準偏差を示す図である。

【図11】学習データが欠損した場合の、各状態の最小の制御ステップ数の標準偏差を示す図である。

【図12】各状態の最小の制御ステップ数を示す図である。

【図13】第３実施形態に係るデータ処理装置の構成を表す図である。

【図14】データ処理のフローチャートである。

【発明を実施するための形態】

【0015】

以降、本発明を実施するための形態を、各図を参照して詳細に説明する。
《第１実施形態》
図１は、本発明の第１実施形態に係る知的制御装置１００の一例を表す構成図である。知的制御装置１００は、入力装置１１０、データ読み込み装置１１６、温度センサ２０９、出力装置１２０、記憶装置１３０、演算装置１４０を主たる要素として構成されたコンピュータである。

【0016】

このうち入力装置１１０は、操作者の指示を受け付ける部分であり、ボタン、タッチパネルなどで構成されている。
データ読み込み装置１１６は、知的制御装置１００の外部からデータを受け付ける部分であり、光学ドライブ、ＵＳＢ（Universal Serial Bus）端子、ＬＡＮ（Local Area Network）ケーブル端子、通信装置などで構成されている。
温度センサ２０９は、制御対象の温度を計測するセンサである。なお、これに限られず、制御対象を計測する圧力センサ、湿度センサ、流量センサなどが設けられていてもよく、限定されない。

【0017】

出力装置１２０は、操作者への指示情報、読取画像、読取結果などを出力する装置であり、ディスプレイや通信装置で構成されている。
上記したこれらの構成は標準的なものであり、入力装置１１０、データ読み込み装置１１６、出力装置１２０のいずれかまたはすべてが知的制御装置１００の外部に接続される構成でもよい。

【0018】

記憶装置１３０は、各種のデータを記憶する部分であり、運転データ記憶部１３１とモデル記憶部１３２、制御則記憶部１３３、データ不足範囲記憶部１３４、知的制御プログラム１３５を格納している。このうち運転データ記憶部１３１は、データ読み込み装置１１６から入力された知的制御装置１００の制御対象の挙動に関するデータを保存する部分である。また、モデル記憶部１３２は、知的制御装置１００の制御対象の挙動を模擬するモデルを保存する部分である。また、制御則記憶部１３３は、後述する動作最適化部１４３の演算結果を保存する部分である。また、データ不足範囲記憶部１３４は、後述する範囲推定部１４４の演算結果を保存する部分である。知的制御プログラム１３５は、演算装置１４０によって実行されて、入力制御部１４１、出力制御部１４２、動作最適化部１４３、範囲推定部１４４、遷移確率算出部１４５、状態分割数調整部１４６、モデル生成部１４７、遷移算出部１４８、学習データ推定部１４９、操作量決定部１５０などの各処理部を具現化するものである。記憶装置１３０は、例えはハードディスクまたは半導体ディスクで構成されている。
記憶装置１３０の詳細は後述することにし、ここでは概略機能のみを述べている。

【0019】

演算装置１４０は、入力装置１１０、データ読み込み装置１１６から入力されるデータおよび記憶装置１３０に記憶されたデータを処理し、その結果を出力装置１２０に出力または記憶装置１３０に記録するものである。演算装置１４０は、以下の処理部（入力制御部１４１、出力制御部１４２、動作最適化部１４３、範囲推定部１４４、遷移確率算出部１４５、状態分割数調整部１４６、モデル生成部１４７、遷移算出部１４８、学習データ推定部１４９、操作量決定部１５０）を含んで構成されている。演算装置１４０は、例えばＣＰＵ（Central Processing Unit）である。

【0020】

入力制御部１４１は、入力装置１１０またはデータ読み込み装置１１６、温度センサ２０９から入力されるデータを指令、モデルなどに区分し、記憶装置１３０や演算装置１４０の各部へ転送する処理を行なう部分である。

【0021】

出力制御部１４２は、記憶装置１３０に記憶されたデータを、出力装置１２０へ出力する部分である。出力制御部１４２は、その平均値を制御対象モデルの評価結果として、範囲推定部１４４が推定した学習データ不足の範囲と共に出力装置１２０に対して出力する。出力先が画面などのときは、読み取り操作が行われる都度結果が出力されるのが好ましい。出力先が通信先などのときは、出力処理は演算装置１４０の一部またはすべての演算が行われる都度でもよいし、何回かのデータをまとめる、あらかじめ定めた時間ごとにまとめるなどして処理してもよい。

【0022】

動作最適化部１４３は、運転データ記憶部１３１から、知的制御装置１００の制御対象の目的を達成する制御則を推定し、推定した制御則を制御則記憶部１３３に保存する。これにより、モデル生成部１４７は、容易に制御対象の挙動を模擬する制御対象モデルを生成可能である。

【0023】

モデル生成部１４７は、運転データ記憶部１３１に格納された運転データまたは制御則記憶部１３３に格納された制御則から、制御対象の挙動を模擬する制御対象モデルを生成し、この制御対象モデルをモデル記憶部１３２に保存する。つまりモデル生成部１４７は、制御対象を運転して得られた運転データを学習データとして学習し、制御対象の動きを模擬する制御対象モデルを生成する。

【0024】

範囲推定部１４４は、制御対象モデルを用いて、制御対象の状態空間のうち学習データが不足している範囲を推定する。ここで運転データの範囲とは、制御対象の状態バラメータや制御バラメータで示される状態空間の所定範囲のことをいう。
範囲推定部１４４は、自身の推定結果である学習データが不足している範囲をデータ不足範囲記憶部１３４に保存する。

【0025】

遷移確率算出部１４５は、データ不足範囲記憶部１３４に保存した情報と、運転データ記憶部１３１、モデル記憶部１３２、制御則記憶部１３３のいずれか一つ以上に保存した制御対象の挙動に関する情報から、知的制御装置１００の制御対象が初期状態から目標状態に遷移して目的を達成する確率を算出する。制御対象が目的を達成する確率は、制御対象モデルの制御性能を示し、かつ、制御性能に関連する学習データの充足性を示す。これにより、制御性能に関連する学習データの充足性を評価可能である。

【0026】

遷移算出部１４８は、遷移確率算出部１４５が算出した遷移確率を用いて、初期状態から目標状態までの遷移時間、制御対象の状態の遷移回数、および目標状態に遷移する確率のうち、少なくともいずれか１つを算出する。

【0027】

学習データ推定部１４９は、遷移算出部１４８の算出結果に基づいて、モデル生成部１４７が追加学習すべき学習データの条件を推定する。これにより、制御性能に関する学習データの不足範囲を特定可能である。

【0028】

操作量決定部１５０は、制御対象モデルの状態空間を離散的な空間に区切り、区切った空間ごとに制御対象の状態を目標状態とするための最小の制御ステップ数を、各空間の操作量として決定する。範囲推定部１４４は、制御対象モデルの状態を離散的に区切った空間にて、各空間の周囲の操作量の標準偏差を算出する。これにより範囲推定部１４４は、学習データが不足している空間を推定する。

【0029】

図２は、制御対象の構成を示す図である。ここでは知的制御装置１００で実行される処理の詳細を説明するため、火力発電プラントの蒸気温度制御の例題について説明する。なお、本発明の適用範囲は産業プラントや移動ロボット、自動運転車両などがあるが、本発明では制御対象をこれらの例に限定しない。

【0030】

図２の例題では、火力発電プラント２００の蒸気温度を制御する。制御対象の火力発電プラント２００は、ボイラドラム２０１、蒸気配管２０２，２１０，２１１、第１過熱器２０３、第２過熱器２０４、蒸気タービン２０５、スプレー２０６、調整弁２０７、スプレー配管２０８、温度センサ２０９によって構成される。
過熱された蒸気はボイラドラム２０１から蒸気配管２０２を通って第１過熱器２０３に流入する。蒸気は第１過熱器２０３の内部を通過することにより過熱されて温度が上昇する。

【0031】

その後、蒸気は、蒸気配管２１０を通って第２過熱器２０４に流入する。蒸気は第２過熱器２０４の内部を通過することによりさらに過熱されて温度が上昇する。その後、蒸気は蒸気配管２１１を通って蒸気タービン２０５に流入して、蒸気タービン２０５を回し、蒸気タービン２０５に接続された不図示の発電機によって電気が生成される。

【0032】

なお、第１過熱器２０３と第２過熱器２０４の中間の蒸気配管２１０を通過する際に、スプレー２０６から圧縮水が注入される場合がある。注入された圧縮水は蒸気と混合することにより、上記の温度を低下させる効果がある。温度の低下量は注入される圧縮水の量に依存し、圧縮水の量は、調整弁２０７の弁開度によって変動する。調整弁２０７は、圧縮水を通すスプレー配管２０８に設置されている。なお、蒸気温度の計測は、第２過熱器２０４の出口の蒸気配管２１１に設置された温度センサ２０９によって行われる。蒸気温度制御では、調整弁２０７の弁開度を操作することによって、温度センサ２０９で計測される蒸気の温度を所望の温度に制御する。

【0033】

図３は、蒸気温度と経過時間のグラフである。グラフの横軸は、経過時間である。グラフの縦軸は、蒸気温度である。
ここでは、図２の例題における火力発電プラント２００の蒸気温度の挙動の例について説明する。例での目標は蒸気温度を５００℃かつ、温度変化率を約０℃／制御ステップとする状態ｓ_４へ遷移することである。また、蒸気の初期温度は４９５℃、温度変化率は約３℃／制御ステップ（状態ｓ_１）である。なお、制御ステップとは制御則記憶部１３３に保存される制御則で操作量を更新するまでの時間であり、制御周期とは別に設定してもよい。

【0034】

以下、図４から図６までによって、制御対象である火力発電プラント２００の運転データを説明する。
図４は、状態と操作量との対応を示す図である。
図４の制御則は、プラントの状態毎に操作量を保存するベクトルである。

【0035】

図５は、状態と温度と変化率の対応を示す図である。
図５の状態の定義の例では、蒸気の温度と温度変化率の組み合わせによって状態を定義している。例えば、蒸気温度が４９９℃で制御ステップごとに３℃ずつ変化している場合は状態ｓ_３であることを示している。

【0036】

図６は、操作量と弁開度調整量の対応を示す図である。
図６の操作量の定義の例では、操作量ａ_１は調整弁２０７の弁開度を１％下げることを示している。操作量ａ_２では調整弁２０７の弁開度を維持し、操作量ａ_３は調整弁２０７の弁開度を１％上げることを示している。つまり、操作量によって、調整弁２０７の弁開度を調整し、よって火力発電プラント２００の状態を制御する。

【0037】

図３に戻り説明を続ける。ここでは初期状態が温度４９４℃、温度変化率が約３℃／制御ステップの状態ｓ_１から開始し、状態ｓ_２と状態ｓ_３を経由することで状態ｓ_４へ遷移しており、目標の蒸気温度を５００℃かつ、温度変化率を約０℃／制御ステップとすることに成功している。ただし、外乱などの影響により状態ｓ_１から確率的に状態ｓ_５に遷移するケースがある。例での状態ｓ_５では学習データが不足しており、目標状態からは離れてしまうような操作量が出力され、または操作量が推定できない場合がある。なお、状態ｓ_６でも最短の制御ステップで目標の状態ｓ_４へ遷移するための計算に必要な学習データは無いが、状態ｓ_７を経由して目標の状態ｓ_４へ遷移するための操作量を計算するには充分な学習データが有る。

【0038】

図７は、データ処理のフローチャートである。
知的制御装置１００が行う処理のフローを示す図である。本フロー図を図２、図３の例題を用いて説明する。

【0039】

まずステップＳ１２０１にて、動作最適化部１４３は、運転データ記憶部１３１に格納された運転データから、知的制御装置１００の制御対象の目的を達成する制御則を推定し、推定した制御則を制御則記憶部１３３に保存する。図２の例題では強化学習技術をベースに制御則を推定する。強化学習とは、機械学習のひとつの種類であり、システムが試行錯誤を繰り返して、適切な制御方法を学習していく技術のことをいう。

【0040】

そしてステップＳ１２０２にて、モデル生成部１４７は、運転データ記憶部１３１に格納された運転データから、例えば図８に示すような状態遷移確率で制御対象の挙動を模擬する制御対象モデルを生成し、生成した制御対象モデルをモデル記憶部１３２に保存する。

【0041】

なお、制御対象の挙動を模擬する制御対象モデルの形式は、例えば状態遷移確率行列や、ニューラルネットワーク、動径基底関数ネットワーク、またはニューラルネットワークや動径基底関数ネットワークの重みが現されている行列またはベクトルが考えられるが、本発明は模擬対象のモデル保存形式をこれらの例に限定しない。
制御対象モデルにニューラルネットワークを採用することにより、学習データを容易に学習可能である。また、制御対象モデルに動径基底関数ネットワークを採用することにより、非線形の問題を解決できる。

【0042】

つぎにステップＳ１２０３にて、範囲推定部１４４は、制御対象が目的を達成するか否かを判定するには、学習データが不足している範囲を推定する。図３の例では状態ｓ_５が該当する。範囲推定部１４４は、各範囲と操作量の組み合わせごとに学習データ数をカウントし、その学習データ数が事前に設定した数未満の場合、学習データが不足している範囲として推定する。また、範囲推定部１４４は、どんなに学習データを増やしても目標状態への遷移手段が無い範囲や、２つ以上の範囲の間で遷移を繰り返すことで目標状態へ遷移できない範囲についても、「学習データが不足している範囲」に含めて推定してもよい。これにより、遷移確率算出部１４５は、学習データ不足以外の原因によって目標状態へ遷移できない状態に遷移せず、よって目標状態への到達する確率を計算可能となる。

【0043】

なお、学習データ数をカウントする方法以外にも、学習データ数の密度や分布を用いて学習データが不足を判定する方法や、目標状態までの最小の制御ステップ数を用いて学習データが不足を判定する方法などが考えらえるが、本実施形態において学習データが不足している状態を推定する方法はこれらに限定しない。また、学習データが不足している状態の詳細な推定方法の例については、第２実施形態において後述する。

【0044】

図７に戻って説明を続ける。ステップＳ１２０４にて、演算装置１４０は、制御対象の初期状態を設定する。初期状態の設定方法は、事前に登録された初期状態のリストを参照する方法や、遷移経験のある状態からランダムに選定するなどの方法が考えられるが、本発明は初期状態の設定方法をこれらの例に限定しない。

【0045】

つぎにステップＳ１２０５にて、遷移確率算出部１４５は、制御対象の初期状態から目標状態への遷移確率を計算する。遷移確率算出部１４５は、目標状態への遷移確率の計算方法を説明するために、例えば図８の例を用いる。図８の例では図３と同様に状態ｓ_１が初期状態であり、状態ｓ_４が目標の状態である。なお、目標状態が複数ある場合、遷移確率算出部１４５は、複数の目標状態のうち何れか一つに遷移する確率を求める。

【0046】

遷移確率算出部１４５は、範囲推定部１４４で学習データが不足していると評価した状態へ遷移した場合、制御対象に対する制御が失敗したと判定する。図８の例では状態ｓ_５と状態ｓ_ｘが学習データ不足の状態に該当する。

【0047】

図８に示すように、制御対象は、状態ｓ_１から２０％の確率で状態ｓ_５に遷移する。制御対象は、状態ｓ_２から４０％の確率で状態ｓ_６に遷移し、状態ｓ_２から６０％の確率で状態ｓ_３に遷移する。制御対象は、状態ｓ_６から１００％の確率で状態ｓ_７に遷移する。制御対象は、状態ｓ_７から１００％の確率で状態ｓ_３に遷移する。制御対象は、状態ｓ_３から３０％の確率で状態ｓ_ｘに遷移し、状態ｓ_３から７０％の確率で状態ｓ_４に遷移する。

【0048】

この場合、総合的に、初期の状態ｓ_１から目的とする状態ｓ_４への遷移確率は５６％となり、遷移確率算出部１４５は、状態ｓ_１からの制御の評価は「目標状態への到達率５６％」を算出する。

【0049】

図７に戻り説明を続ける。ステップＳ１２０６にて、演算装置１４０は、初期状態を評価済みであるか否かを判定する。初期状態が一つしかない場合、または既にすべての初期状態について目標状態への到達率が評価済みの場合（Ｙｅｓ）、処理は、ステップＳ１２０７に進む。そうでない場合（Ｎｏ）、処理は、ステップＳ１２０３に戻り、演算装置１４０は、新たな初期状態を設定する。

【0050】

ステップＳ１２０７にて、遷移確率算出部１４５は、すべての初期状態からの目標状態への到達率を集計し、目標状態への到達率の平均値を計算する。
ステップＳ１２０８にて、出力制御部１４２は、その平均値を制御対象モデルの評価結果として、範囲推定部１４４が推定した学習データ不足の範囲と共に出力装置１２０に対して出力する。この制御対象モデルの評価結果として目標状態への到達率を出力することにより、制御性能に関連する学習データの充足性を評価可能である。ステップＳ１２０８の処理が終了すると、図７の処理は終了する。

【0051】

なお、遷移確率算出部１４５は、目標状態への到達率の平均値以外でも、最大・最低到達率などの全体の到達率の傾向を示す統計値を、出力装置１２０に対して出力してもよい。更に、演算装置１４０は、初期状態から目標状態まで遷移する遷移時間、制御対象の状態の遷移回数などを、出力装置１２０に対して出力してもよく、限定されない。

【0052】

本発明によれば、シミュレータを用いることなく、人工知能技術の算出した制御則から運転データの充足性と、この運転データに基づく制御性能を評価できる。これにより、制御対象となる新規プラントへの人工知能技術の適応性評価の時間を短縮し、人工知能技術のプラント適用のリードタイムの短縮が期待できる。また、人工知能技術のパラメータ調整の時間を短縮できる。更に学習データが不足している範囲を推定することにより、比較的少ない学習データ数の追加で好適に制御性能を向上できる。

【0053】

《第２実施形態》
第１実施形態では、学習データが不足していると推定した状態の情報を活用して、初期状態から目的とする状態への遷移確率を計算することで、動作最適化部１４３で計算した制御則を評価した。本実施形態ではデータが不足している状態を、目標状態までの最短の制御ステップ数から推定する手段を説明する。なお、図９と図１０でデータが十分にそろったケース、図１１と図１２ではデータが不足しているケースを紹介し、これらを比較するすることで手段の詳細を説明する。

【0054】

図９は、図２の例題における蒸気温度制御の問題において、全ての状態から目標の状態（蒸気温度を５００℃かつ、温度変化率を約０℃／制御ステップ）までの最小の制御ステップ数と蒸気温度と温度変化率の関係を示す図である。各列は蒸気温度を示し、各行は温度変化率を示している。各セルの内容は、最小の制御ステップ数を示している。この図９は、制御対象モデルの状態空間を示している。各セルはこの状態空間を離散的に区切ったものである。

【0055】

なお、状態の定義は、図５の例と同様に蒸気温度と温度変化率で定義されており、蒸気温度の範囲は４９２から５０３℃、温度変化率の範囲は－４．０から４．０℃／制御ステップとした。なお、図９の「－」は、目標状態への遷移手段が無いことを示している。例えば、５０３℃で４．０℃／制御ステップの状態の場合は、どのような操作量を選択しても、温度が定義範囲を超えてしまうため、目標状態への遷移手段が無い。よって、図９において「－」が最小の制御ステップ数に代わって記載されている。なお、図９ではすべての学習データが十分に存在し、学習データから得られる状態遷移の追加情報が無いと仮定している。

【0056】

図１０は、図９の最短の制御ステップ数から標準偏差を計算した図である。各列は蒸気温度を示し、各行は温度変化率を示している。各セルの内容は、周囲のセルの最小の制御ステップ数の標準偏差を示している。

【0057】

範囲推定部１４４は、制御対象モデルの状態を離散的に区切った空間にて、各空間の周囲の操作量の標準偏差を算出する。これにより、範囲推定部１４４は、学習データが不足している空間を推定する。

【0058】

標準偏差の計算には近傍（温度±１℃以下、温度変化率±１．０℃／制御ステップ以下）の範囲を対象とする。例えば、「蒸気温度４９４℃、温度変化率２℃／制御ステップ」と、その近傍状態の最小ステップ数は順に「４，３，５，４，４，３，５，４，４」の計９つであり、これらの標準偏差は０．６７である。図９では十分な学習データが存在したため、標準偏差は最大でも２．７６である。なお、この標準偏差は、近傍状態と定義する状態の範囲にも依存する。範囲の決定手段は事前に設定する手段などが考えられるが、本発明において範囲の決定手段は限定しない。

【0059】

図１１は、図９と同様に目標の状態までの最小の制御ステップ数を表した図である。各列は蒸気温度を示し、各行は温度変化率を示している。各セルの内容は、周囲のセルの最小の制御ステップ数を示している。
しかし、図１１のケースは、図９とは異なり、蒸気温度４９８～５０２℃、温度変化率１．０℃／制御ステップ以上の範囲および、蒸気温度５００～５０２℃、温度変化率－２．０℃／制御ステップ以上の範囲のいくつかの学習データを欠損させたケースである。学習データの欠損により、例えば蒸気温度４９６℃、温度変化率２．０℃／制御ステップの状態では、図９での３制御ステップだったのに対して、１５制御ステップまで増えている。

【0060】

次に図１２は、図１１の最小の制御ステップ数から、各空間の周囲の操作量の標準偏差を計算した図である。
図１０での標準偏差は最大でも２．７６であったのに対し、図１２では学習データを欠損させた範囲の標準偏差はすべて３以上の数値であり、最大５．３６まで上昇している。
このように、学習データの不足している範囲の状態は標準偏差が高くなる傾向にあるため、標準偏差の高い状態の範囲を、優先的にデータ収集することで、学習データ不足の状態数が減り、制御性能の向上が期待できる。

【0061】

《第３実施形態》
本実施形態では第１実施形態の制御則の評価手段を活用することで、状態を定義する際の分割数を調整する手段を説明する。
第１実施形態では、モデル生成部１４７で生成した制御対象モデルを評価する手段について説明し、第２実施形態では、学習データ不足の状態を推定する学習データ推定部１４９について説明した。しかし、制御対象モデルの性能や学習データ不足の定義は、状態を定義する際の分割数にも依存する。そこで、本実施形態では、制御対象モデルを評価結果に基づいて状態を定義する際の分割数を調整する状態分割数調整部１４６を備えている。

【0062】

図１３は、図１における知的制御装置１００の演算装置１４０に、新たに状態分割数調整部１４６を加え、知的制御装置１０１としたものである。
状態分割数調整部１４６は、遷移確率算出部１４５の出力した「制御対象が目的を達成する確率」を入力とし、新しい状態の分割数を出力する。ここで状態の分割数とは、図５に示したような状態定義において、各状態は各プロセス値の範囲を有しており、状態の分割数を変更することによって状態の総数や、各状態のプロセス値の範囲が変動する。状態分割数調整部１４６は、操作量決定部１５０が区切る空間の幅を拡張または縮小させて、目標状態に遷移する確率を高める。

【0063】

図１４は、知的制御装置１０１が行う処理のフローチャートである。本フローチャートは、図４のフローチャートにステップＳ１２０９とステップＳ１２１０を加えたものである。
ステップＳ１２０９では、遷移確率算出部１４５で計算した目標状態への到達率の平均値を用いて、知的制御装置１０１の終了判定を実施する。到達率の平均値が、事前に設定した数値以上になった場合や、または収束した場合は、図１４の処理を終了する。処理の終了条件を満たしていない場合はステップＳ１２１０へ移行する。なお、目標状態への到達率の平均値の入力が初回、またはフローの終了条件の判定に十分に「目標状態への到達率」が入力されていない場合は、ステップＳ１２１０へ移行する。

【0064】

ステップＳ１２１０にて、状態分割数調整部１４６は、遷移確率算出部１４５が計算した目標状態への到達率の平均値を入力として、目標状態に遷移する確率が上昇するように、操作量決定部１５０が区切る空間の幅を拡張または縮小して、状態の分割数を更新する。その後、処理はステップＳ１２０１に戻る。なお、更新の手段としては最急降下法や、確率的勾配降下法などの手段が考えらえるが、本発明ではこれらの最適化手段に限定しない。

【0065】

（変形例）
本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば上記した実施形態は、本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることも可能である。

【0066】

上記の各構成、機能、処理部、処理手段などは、それらの一部または全部を、例えば集積回路などのハードウェアで実現してもよい。上記の各構成、機能などは、プロセッサがそれぞれの機能を実現するプログラムを解釈して実行することにより、ソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイルなどの情報は、メモリ、ハードディスク、ＳＳＤ（Solid State Drive）などの記録装置、または、フラッシュメモリカード、ＤＶＤ（Digital Versatile Disk）などの記録媒体に置くことができる。

【0067】

各実施形態に於いて、制御線や情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には、殆ど全ての構成が相互に接続されていると考えてもよい。

【符号の説明】

【0068】

１００，１０１ 知的制御装置
１１０ 入力装置
１１６ データ読み込み装置
１２０ 出力装置
１３０ 記憶装置
１３１ 運転データ記憶部
１３２ モデル記憶部
１３３ 制御則記憶部
１３４ データ不足範囲記憶部
１３５ 知的制御プログラム
１４０ 演算装置
１４１ 入力制御部
１４２ 出力制御部
１４３ 動作最適化部
１４７ モデル生成部
１４８ 遷移算出部
１４４ 範囲推定部
１４５ 遷移確率算出部
１４６ 状態分割数調整部
１４７ モデル生成部
１４８ 遷移算出部
１４９ 学習データ推定部
１５０ 操作量決定部
２００ 火力発電プラント
２０１ ボイラドラム
２０２，２１０，２１１ 蒸気配管
２０３ 第１過熱器
２０４ 第２過熱器
２０５ 蒸気タービン
２０６ スプレー
２０７ 調整弁
２０８ スプレー配管
２０９ 温度センサ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】