特許 7484868 操業システム、操業方法、および、操業プログラム、ならびに、評価モデル生成装置、評価モデル生成方法、および、評価モデル生成プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-08

(45)【発行日】2024-05-16

(54)【発明の名称】操業システム、操業方法、および、操業プログラム、ならびに、評価モデル生成装置、評価モデル生成方法、および、評価モデル生成プログラム

(51)【国際特許分類】

   G05B 13/02 20060101AFI20240509BHJP

   G05B 23/02 20060101ALI20240509BHJP

   G06N 20/00 20190101ALI20240509BHJP

【ＦＩ】

G05B13/02 L

G05B23/02 G

G06N20/00 130

G06N20/00

【請求項の数】 14

(21)【出願番号】P 2021175652

(22)【出願日】2021-10-27

(65)【公開番号】P2023065072

(43)【公開日】2023-05-12

【審査請求日】2022-11-09

(73)【特許権者】

【識別番号】000006507

【氏名又は名称】横河電機株式会社

(74)【代理人】

【識別番号】110000877

【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所

(72)【発明者】

【氏名】▲高▼見 豪

(72)【発明者】

【氏名】鹿子木 宏明

(72)【発明者】

【氏名】小渕 恵一郎

(72)【発明者】

【氏名】古川 陽太

【審査官】西井 香織

(56)【参考文献】

【文献】特開２０２１－０６４０４９（ＪＰ，Ａ）

【文献】特開２０１９－１４１８６９（ＪＰ，Ａ）

【文献】特開２０２１－１４３８８２（ＪＰ，Ａ）

【文献】特開２０２１－０３７７１６（ＪＰ，Ａ）

【文献】特開２０１７－２２４０２７（ＪＰ，Ａ）

【文献】米国特許第１０７６６１３６（ＵＳ，Ｂ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０５Ｂ １３／０２

Ｇ０５Ｂ ２３／０２

Ｇ０６Ｎ ２０／００

(57)【特許請求の範囲】

【請求項1】

機械学習により、設備における操業目標および前記設備における状態に基づいて対象とする目標について前記設備における状態を評価した指標を出力する評価モデルを生成する評価モデル生成装置と、
前記評価モデルの出力を報酬の少なくとも一部とした強化学習により、前記設備における状態に応じた行動を出力する操業モデルを生成する操業モデル生成装置と、
前記設備の状態に応じて前記操業モデルが出力する行動に基づく操作量を、前記設備における制御対象へ与える制御装置と
を備え、
前記評価モデル生成装置は、前記制御対象が前記操業モデルを用いて制御された場合における前記設備における状態に基づいて、前記評価モデルを更新し、
前記操業モデル生成装置は、更新された前記評価モデルの出力を報酬の少なくとも一部とした強化学習により、前記操業モデルを更新する、操業システム。

【請求項2】

前記制御装置は、更新された前記操業モデルを用いて前記制御対象を制御する、請求項１に記載の操業システム。

【請求項3】

機械学習により、設備における操業目標および前記設備における状態に基づいて対象とする目標について前記設備における状態を評価した指標を出力する評価モデルを生成する評価モデル生成装置と、
前記評価モデルの出力を報酬の少なくとも一部とした強化学習により、前記設備における状態に応じた行動を出力する操業モデルを生成する操業モデル生成装置と、
前記設備の状態に応じて前記操業モデルが出力する行動に基づく操作量を、前記設備における制御対象へ与える制御装置と
を備え、
前記評価モデル生成装置は、
前記操業目標を取得する操業目標取得部と、
前記設備における状態を示す状態データを取得する状態データ取得部と、
前記操業目標に基づいて、前記状態データに含まれる少なくとも１つの物理量と時間との間における相関、および、前記状態データに含まれる少なくとも２つの物理量の間における相関の少なくともいずれかを示す相関データを生成する相関データ生成部と、
ラベリングモデルを用いて、前記相関データをラベリングするラベリング部と、
前記ラベリングされた相関データを用いて、前記評価モデルを生成する評価モデル生成部と
を備える、操業システム。

【請求項4】

前記評価モデル生成装置は、
前記評価モデルの妥当性を判定する評価モデル判定部を更に備える、請求項３に記載の操業システム。

【請求項5】

前記評価モデル生成装置は、
前記評価モデルが妥当であると判定された場合に、前記評価モデルを出力する評価モデル出力部を更に備える、請求項４に記載の操業システム。

【請求項6】

前記評価モデル生成装置は、
前記評価モデルが妥当であると判定された場合に、前記ラベリングモデルを更新するラベリングモデル更新部を更に備える、請求項４または５に記載の操業システム。

【請求項7】

前記評価モデル生成装置は、前記相関データの少なくとも一部について教師ラベルを取得する教師ラベル取得部を更に備え、
前記ラベリングモデル更新部は、前記教師ラベルに基づいて生成された初期のラベリングモデルとは別に、更新用のラベリングモデルを生成する、請求項６に記載の操業システム。

【請求項8】

機械学習により、設備における操業目標および前記設備における状態に基づいて対象とする目標について前記設備における状態を評価した指標を出力する評価モデルを生成することと、
前記評価モデルの出力を報酬の少なくとも一部とした強化学習により、前記設備における状態に応じた行動を出力する操業モデルを生成することと、
前記設備の状態に応じて前記操業モデルが出力する行動に基づく操作量を、前記設備における制御対象へ与えることと
を備え、
前記評価モデルを生成することは、前記制御対象が前記操業モデルを用いて制御された場合における前記設備における状態に基づいて、前記評価モデルを更新することを含み、
前記操業モデルを生成することは、更新された前記評価モデルの出力を報酬の少なくとも一部とした強化学習により、前記操業モデルを更新することを含む、操業方法。

【請求項9】

機械学習により、設備における操業目標および前記設備における状態に基づいて対象とする目標について前記設備における状態を評価した指標を出力する評価モデルを生成することと、
前記評価モデルの出力を報酬の少なくとも一部とした強化学習により、前記設備における状態に応じた行動を出力する操業モデルを生成することと、
前記設備の状態に応じて前記操業モデルが出力する行動に基づく操作量を、前記設備における制御対象へ与えることと
を備え、
前記評価モデルを生成することは、
前記操業目標を取得することと、
前記設備における状態を示す状態データを取得することと、
前記操業目標に基づいて、前記状態データに含まれる少なくとも１つの物理量と時間との間における相関、および、前記状態データに含まれる少なくとも２つの物理量の間における相関の少なくともいずれかを示す相関データを生成することと、
ラベリングモデルを用いて、前記相関データをラベリングすることと、
前記ラベリングされた相関データを用いて、前記評価モデルを生成することと
を有する、操業方法。

【請求項10】

コンピュータにより実行されて、前記コンピュータを、
機械学習により、設備における操業目標および前記設備における状態に基づいて対象とする目標について前記設備における状態を評価した指標を出力する評価モデルを生成する評価モデル生成装置と、
前記評価モデルの出力を報酬の少なくとも一部とした強化学習により、前記設備における状態に応じた行動を出力する操業モデルを生成する操業モデル生成装置と、
前記設備の状態に応じて前記操業モデルが出力する行動に基づく操作量を、前記設備における制御対象へ与える制御装置と
して機能させ、
前記評価モデル生成装置は、前記制御対象が前記操業モデルを用いて制御された場合における前記設備における状態に基づいて、前記評価モデルを更新し、
前記操業モデル生成装置は、更新された前記評価モデルの出力を報酬の少なくとも一部とした強化学習により、前記操業モデルを更新する、操業プログラム。

【請求項11】

コンピュータにより実行されて、前記コンピュータを、
機械学習により、設備における操業目標および前記設備における状態に基づいて対象とする目標について前記設備における状態を評価した指標を出力する評価モデルを生成する評価モデル生成装置と、
前記評価モデルの出力を報酬の少なくとも一部とした強化学習により、前記設備における状態に応じた行動を出力する操業モデルを生成する操業モデル生成装置と、
前記設備の状態に応じて前記操業モデルが出力する行動に基づく操作量を、前記設備における制御対象へ与える制御装置と
して機能させ、
前記評価モデル生成装置は、
前記操業目標を取得する操業目標取得部と、
前記設備における状態を示す状態データを取得する状態データ取得部と、
前記操業目標に基づいて、前記状態データに含まれる少なくとも１つの物理量と時間との間における相関、および、前記状態データに含まれる少なくとも２つの物理量の間における相関の少なくともいずれかを示す相関データを生成する相関データ生成部と、
ラベリングモデルを用いて、前記相関データをラベリングするラベリング部と、
前記ラベリングされた相関データを用いて、前記評価モデルを生成する評価モデル生成部と
を備える、操業プログラム。

【請求項12】

設備における操業目標を取得する操業目標取得部と、
前記設備における状態を示す状態データを取得する状態データ取得部と、
前記操業目標に基づいて、前記状態データに含まれる少なくとも１つの物理量と時間との間における相関、および、前記状態データに含まれる少なくとも２つの物理量の間における相関の少なくともいずれかを示す相関データを生成する相関データ生成部と、
ラベリングモデルを用いて、前記相関データをラベリングするラベリング部と、
前記ラベリングされた相関データを用いて、前記設備における操業目標および前記設備における状態に基づいて対象とする目標について前記設備における状態を評価した指標を出力する評価モデルを生成する評価モデル生成部と
を備え、
前記評価モデルは、前記設備における状態に応じた行動を出力する操業モデルの強化学習において報酬の少なくとも一部として用いられる前記指標を出力する、評価モデル生成装置。

【請求項13】

設備における操業目標を取得することと、
前記設備における状態を示す状態データを取得することと、
前記操業目標に基づいて、前記状態データに含まれる少なくとも１つの物理量と時間との間における相関、および、前記状態データに含まれる少なくとも２つの物理量の間における相関の少なくともいずれかを示す相関データを生成することと、
ラベリングモデルを用いて、前記相関データをラベリングすることと、
前記ラベリングされた相関データを用いて、前記設備における操業目標および前記設備における状態に基づいて対象とする目標について前記設備における状態を評価した指標を出力する評価モデルを生成することと
を備え、
前記評価モデルは、前記設備における状態に応じた行動を出力する操業モデルの強化学習において報酬の少なくとも一部として用いられる前記指標を出力する、評価モデル生成方法。

【請求項14】

コンピュータにより実行されて、前記コンピュータを、
設備における操業目標を取得する操業目標取得部と、
前記設備における状態を示す状態データを取得する状態データ取得部と、
前記操業目標に基づいて、前記状態データに含まれる少なくとも１つの物理量と時間との間における相関、および、前記状態データに含まれる少なくとも２つの物理量の間における相関の少なくともいずれかを示す相関データを生成する相関データ生成部と、
ラベリングモデルを用いて、前記相関データをラベリングするラベリング部と、
前記ラベリングされた相関データを用いて、前記設備における操業目標および前記設備における状態に基づいて対象とする目標について前記設備における状態を評価した指標を出力する評価モデルを生成する評価モデル生成部と
して機能させ、
前記評価モデルは、前記設備における状態に応じた行動を出力する操業モデルの強化学習において報酬の少なくとも一部として用いられる前記指標を出力する、評価モデル生成プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、操業システム、操業方法、および、操業プログラム、ならびに、評価モデル生成装置、評価モデル生成方法、および、評価モデル生成プログラムに関する。

【背景技術】

【0002】

特許文献１には、「測定データの入力に応じ、予め設定された報酬関数により定まる報酬値を高めるために推奨される第１種類の制御内容を示す推奨制御パラメータを出力する第１モデルの学習処理を実行する」と記載されている。
［先行技術文献］
［特許文献］
［特許文献１］ 特開２０２１－０８６２８３
［特許文献２］ 特開２０２０－０２７５５６
［特許文献３］ 特開２０１９－０２０８８５

【発明の概要】

【0003】

本発明の第１の態様においては、操業システムを提供する。上記操業システムは、機械学習により、設備における操業目標および上記設備における状態に基づいて対象とする目標について上記設備における状態を評価した指標を出力する評価モデルを生成する評価モデル生成装置を備えてよい。上記操業システムは、上記評価モデルの出力を報酬の少なくとも一部とした強化学習により、上記設備における状態に応じた行動を出力する操業モデルを生成する操業モデル生成装置を備えてよい。上記操業システムは、上記設備の状態に応じて上記操業モデルが出力する行動に基づく操作量を、上記設備における制御対象へ与える制御装置を備えてよい。

【0004】

上記評価モデル生成装置は、上記制御対象が上記操業モデルを用いて制御された場合における上記設備における状態に基づいて、上記評価モデルを更新してよい。

【0005】

上記操業モデル生成装置は、更新された上記評価モデルの出力を報酬の少なくとも一部とした強化学習により、上記操業モデルを更新してよい。

【0006】

上記制御装置は、更新された上記操業モデルを用いて上記制御対象を制御してよい。

【0007】

上記評価モデル生成装置は、上記操業目標を取得する操業目標取得部を備えてよい。上記評価モデル生成装置は、上記設備における状態を示す状態データを取得する状態データ取得部を備えてよい。上記評価モデル生成装置は、上記操業目標に基づいて、上記状態データに含まれる少なくとも１つの物理量と時間との間における相関、および、上記状態データに含まれる少なくとも２つの物理量の間における相関の少なくともいずれかを示す相関データを生成する相関データ生成部を備えてよい。上記評価モデル生成装置は、ラベリングモデルを用いて、上記相関データをラベリングするラベリング部を備えてよい。上記評価モデル生成装置は、上記ラベリングされた相関データを用いて、上記評価モデルを生成する評価モデル生成部を備えてよい。

【0008】

上記評価モデル生成装置は、上記評価モデルの妥当性を判定する評価モデル判定部を更に備えてよい。

【0009】

上記評価モデル生成装置は、上記評価モデルが妥当であると判定された場合に、上記評価モデルを出力する評価モデル出力部を更に備えてよい。

【0010】

上記評価モデル生成装置は、上記評価モデルが妥当であると判定された場合に、上記ラベリングモデルを更新するラベリングモデル更新部を更に備えてよい。

【0011】

上記評価モデル生成装置は、上記相関データの少なくとも一部について教師ラベルを取得する教師ラベル取得部を更に備えてよい。上記ラベリングモデル更新部は、上記教師ラベルに基づいて生成された初期のラベリングモデルとは別に、更新用のラベリングモデルを生成してよい。

【0012】

本発明の第２の態様においては、操業方法を提供する。上記操業方法は、機械学習により、設備における操業目標および上記設備における状態に基づいて対象とする目標について上記設備における状態を評価した指標を出力する評価モデルを生成することを備えてよい。上記操業方法は、上記評価モデルの出力を報酬の少なくとも一部とした強化学習により、上記設備における状態に応じた行動を出力する操業モデルを生成することを備えてよい。上記操業方法は、上記設備の状態に応じて上記操業モデルが出力する行動に基づく操作量を、上記設備における制御対象へ与えることを備えてよい。

【0013】

本発明の第３の態様においては、操業プログラムを提供する。上記操業プログラムは、コンピュータにより実行されてよい。上記操業プログラムは、上記コンピュータを、機械学習により、設備における操業目標および上記設備における状態に基づいて対象とする目標について上記設備における状態を評価した指標を出力する評価モデルを生成する評価モデル生成装置として機能させてよい。上記操業プログラムは、上記コンピュータを、上記評価モデルの出力を報酬の少なくとも一部とした強化学習により、上記設備における状態に応じた行動を出力する操業モデルを生成する操業モデル生成装置として機能させてよい。上記操業プログラムは、上記コンピュータを、上記設備の状態に応じて上記操業モデルが出力する行動に基づく操作量を、上記設備における制御対象へ与える制御装置として機能させてよい。

【0014】

本発明の第４の態様においては、評価モデル生成装置を提供する。上記評価モデル生成装置は、設備における操業目標を取得する操業目標取得部を備えてよい。上記評価モデル生成装置は、上記設備における状態を示す状態データを取得する状態データ取得部を備えてよい。上記評価モデル生成装置は、上記操業目標に基づいて、上記状態データに含まれる少なくとも１つの物理量と時間との間における相関、および、上記状態データに含まれる少なくとも２つの物理量の間における相関の少なくともいずれかを示す相関データを生成する相関データ生成部を備えてよい。上記評価モデル生成装置は、ラベリングモデルを用いて、上記相関データをラベリングするラベリング部を備えてよい。上記評価モデル生成装置は、上記ラベリングされた相関データを用いて、上記設備における操業目標および上記設備における状態に基づいて対象とする目標について上記設備における状態を評価した指標を出力する評価モデルを生成する評価モデル生成部を備えてよい。

【0015】

本発明の第５の態様においては、評価モデル生成方法を提供する。上記評価モデル生成方法は、設備における操業目標を取得することを備えてよい。上記評価モデル生成方法は、上記設備における状態を示す状態データを取得することを備えてよい。上記評価モデル生成方法は、上記操業目標に基づいて、上記状態データに含まれる少なくとも１つの物理量と時間との間における相関、および、上記状態データに含まれる少なくとも２つの物理量の間における相関の少なくともいずれかを示す相関データを生成することを備えてよい。上記評価モデル生成方法は、ラベリングモデルを用いて、上記相関データをラベリングすることを備えてよい。上記評価モデル生成方法は、上記ラベリングされた相関データを用いて、上記設備における操業目標および上記設備における状態に基づいて対象とする目標について上記設備における状態を評価した指標を出力する評価モデルを生成することを備えてよい。

【0016】

本発明の第６の態様においては、評価モデル生成プログラムを提供する。上記評価モデル生成プログラムは、コンピュータにより実行されてよい。上記評価モデル生成プログラムは、上記コンピュータを、設備における操業目標を取得する操業目標取得部として機能させてよい。上記評価モデル生成プログラムは、上記コンピュータを、上記設備における状態を示す状態データを取得する状態データ取得部として機能させてよい。上記評価モデル生成プログラムは、上記コンピュータを、上記操業目標に基づいて、上記状態データに含まれる少なくとも１つの物理量と時間との間における相関、および、上記状態データに含まれる少なくとも２つの物理量の間における相関の少なくともいずれかを示す相関データを生成する相関データ生成部として機能させてよい。上記評価モデル生成プログラムは、上記コンピュータを、ラベリングモデルを用いて、上記相関データをラベリングするラベリング部として機能させてよい。上記評価モデル生成プログラムは、上記コンピュータを、上記ラベリングされた相関データを用いて、上記設備における操業目標および上記設備における状態に基づいて対象とする目標について上記設備における状態を評価した指標を出力する評価モデルを生成する評価モデル生成部として機能させてよい。

【0017】

なお、上記の発明の概要は、本発明の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

【図面の簡単な説明】

【0018】

【図1】本実施形態に係る操業システム１００のブロック図の一例を、設備１０および本部２０とともに示す。

【図2】本実施形態に係る操業システム１００における評価モデル生成装置２００のブロック図の一例を示す。

【図3】ラベリング部２２０が初期のラベリングモデルを生成するにあたって学習器に入力する教師データの一例を示す。

【図4】ラベリング部２２０が用いる学習器の設計例の一例を示す。

【図5】ラベリング部２２０が用いる学習器の設計例の他の例を示す。

【図6】ラベリング部２２０がラベリングの対象とするラベルが未付与の相関データの一例を示す。

【図7】設備１０におけるＩ／Ｏリストの一例を示す。

【図8】設備１０におけるセグメント図の一例を示す。

【図9】ラベリングデータ出力部２２２が出力するラベリングデータの一例を示す。

【図10】評価モデル生成装置２００のラベリング機能部２１０における処理フローの一例を示す。

【図11】評価モデル生成部２５０のブロック図の一例を示す。

【図12】評価モデルの出力の一例を示す。

【図13】評価モデルの出力の他の例を示す。

【図14】評価モデル生成装置２００の機械学習機能部２３０における処理フローの一例を示す。

【図15】本実施形態に係る操業システム１００における操業モデル生成装置３００のブロック図の一例を示す。

【図16】操業モデル生成装置３００が生成する操業モデルの一例を示す。

【図17】行動決定テーブルの一例を示す。

【図18】操業モデル生成装置３００における処理フローの一例を示す。

【図19】操業モデル生成部３１６における強化学習フローの一例を示す。

【図20】本実施形態に係る操業システム１００における制御装置４００のブロック図の一例を示す。

【図21】制御装置４００における処理フローの一例を示す。

【図22】本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ９９００の例を示す。

【発明を実施するための形態】

【0019】

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

【0020】

図１は、本実施形態に係る操業システム１００のブロック図の一例を、設備１０および本部２０とともに示す。なお、これらブロックは、それぞれ機能的に分離された機能ブロックであって、実際の装置構成とは必ずしも一致していなくてもよい。すなわち、本図において、１つのブロックとして示されているからといって、それが必ずしも１つの装置により構成されていなくてもよい。また、本図において、別々のブロックとして示されているからといって、それらが必ずしも別々の装置により構成されていなくてもよい。これより先のブロック図についても同様である。

【0021】

設備１０は、アクチュエータ等の制御対象が備え付けられた施設や装置等である。例えば、設備１０は、プラントであってもよいし、複数の機器を複合させた複合装置であってもよい。プラントとしては、化学やバイオ等の工業プラントの他、ガス田や油田等の井戸元やその周辺を管理制御するプラント、水力・火力・原子力等の発電を管理制御するプラント、太陽光や風力等の環境発電を管理制御するプラント、上下水やダム等を管理制御するプラント等が挙げられる。

【0022】

本部２０は、設備１０を経営する事業の中心となる機関であり、例えば、事業者の本社等であってよい。例えばこのような本部２０には、事業者の経営を担当する経営陣が在籍していてよい。経営陣は、操業システム１００へ操業目標を指定する。ここで、操業目標とは、設備１０を操業するにあたって設定された目標であり、例えば、目標とする項目や値が含まれていてよい。

【0023】

本実施形態に係る操業システム１００においては、設備１０における状態を評価した指標を出力する評価モデルを機械学習により生成し、当該評価モデルの出力を報酬の少なくとも一部とした強化学習により操業モデルを生成する。そして、本実施形態に係る操業システム１００においては、このようにして生成された操業モデルを用いて設備１０における制御対象を制御する。

【0024】

操業システム１００は、評価モデル生成装置２００、操業モデル生成装置３００、および、制御装置４００を備える。

【0025】

評価モデル生成装置２００は、機械学習により、設備１０における操業目標および設備１０における状態に基づいて対象とする目標について設備１０における状態を評価した指標を出力する評価モデルを生成する。評価モデル生成装置２００は、生成した評価モデルを操業モデル生成装置３００へ供給する。

【0026】

操業モデル生成装置３００は、評価モデル生成装置２００が生成した評価モデルの出力を報酬の少なくとも一部とした強化学習により、設備１０における状態に応じた行動を出力する操業モデルを生成する。操業モデル生成装置３００は、生成した操業モデルを制御装置４００へ供給する。

【0027】

制御装置４００は、設備１０の状態に応じて操業モデル生成装置３００が生成した操業モデルが出力する行動に基づく操作量を、設備１０における制御対象へ与える。すなわち、制御装置４００は、強化学習により生成された操業モデルを用いたＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）コントローラとして機能する。

【0028】

この際、評価モデル生成装置２００は、制御対象が操業モデルを用いて制御された場合における設備１０における状態に基づいて、評価モデルを更新する。これに応じて、操業モデル生成装置３００は、更新された評価モデルの出力を報酬の少なくとも一部とした強化学習により、操業モデルを更新する。そして、制御装置４００は、更新された操業モデルを用いて制御対象を制御する。

【0029】

このように、本実施形態に係る操業システム１００においては、ＡＩが自動的に操業におけるボトルネック（ポテンシャルフォルト）を探し出し、改善のための指標を評価モデルとして生成する。そして、ＡＩが与えられた指標を基に試行錯誤を行い、より良い操業方法を指示する操業モデルを生成する。そして、ＡＩコントローラが当該操業モデルを用いて制御対象をＡＩ制御する。これにより、本実施形態に係る操業システム１００によれば、ＡＩ技術を用いて設備１０を自律制御可能な環境を提供する。そして、本実施形態に係る操業システム１００は、このようなＡＩ制御下における設備の状態に基づいて、評価モデルおよび操業モデルを更新し、更新された操業モデルを用いて制御対象をＡＩ制御する。これにより、本実施形態に係る操業システム１００によれば、設備１０における操業を改善するループを自律的に回すことができる。これについて詳細に説明する。

【0030】

図２は、本実施形態に係る操業システム１００における評価モデル生成装置２００のブロック図の一例を示す。評価モデル生成装置２００は、ＰＣ（パーソナルコンピュータ）、タブレット型コンピュータ、スマートフォン、ワークステーション、サーバコンピュータ、または汎用コンピュータ等のコンピュータであってよく、複数のコンピュータが接続されたコンピュータシステムであってもよい。このようなコンピュータシステムもまた広義のコンピュータである。また、評価モデル生成装置２００は、コンピュータ内で１または複数実行可能な仮想コンピュータ環境によって実装されてもよい。これに代えて、評価モデル生成装置２００は、評価モデルの生成用に設計された専用コンピュータであってもよく、専用回路によって実現された専用ハードウェアであってもよい。また、インターネットに接続可能な場合、評価モデル生成装置２００は、クラウドコンピューティングにより実現されてもよい。

【0031】

評価モデル生成装置２００は、ラベリング機能部２１０および機械学習機能部２３０を備える。なお、本図においては、ラベリング機能部２１０と機械学習機能部２３０とが一体の装置として構成されている場合を一例として示しているが、これに限定されるものではない。ラベリング機能部２１０と機械学習機能部２３０とは別体の装置として構成されていてもよい。

【0032】

ラベリング機能部２１０は、操業目標取得部２１２と、状態データ取得部２１４と、相関データ生成部２１６と、教師ラベル取得部２１８と、ラベリング部２２０と、ラベリングデータ出力部２２２と、ラベリングモデル更新部２２４とを含む。すなわち、評価モデル生成装置２００は、操業目標取得部２１２と、状態データ取得部２１４と、相関データ生成部２１６と、教師ラベル取得部２１８と、ラベリング部２２０と、ラベリングデータ出力部２２２と、ラベリングモデル更新部２２４とを備える。

【0033】

操業目標取得部２１２は、設備１０における操業目標を取得する。例えば、操業目標取得部２１２は、本部２０からネットワークを介して操業目標を取得する。しかしながら、これに限定されるものではない。操業目標取得部２１２は、操業目標を他の装置から取得してもよいし、各種メモリデバイスを介して取得してもよいし、ユーザ入力を介して取得してもよい。操業目標取得部２１２は、取得した操業目標を相関データ生成部２１６へ供給する。

【0034】

状態データ取得部２１４は、設備１０における状態を示す状態データを取得する。例えば、状態データ取得部２１４は、設備１０に設けられた各種センサが測定した様々な物理量を、状態データとして設備１０からネットワークを介して時系列に取得する。しかしながら、これに限定されるものではない。状態データ取得部２１４は、状態データを他の装置から取得してもよいし、各種メモリデバイスを介して取得してもよいし、ユーザ入力を介して取得してもよい。状態データ取得部２１４は、取得した状態データを相関データ生成部２１６へ供給する。

【0035】

相関データ生成部２１６は、操業目標取得部２１２が取得した操業目標に基づいて、状態データ取得部２１４が取得した状態データに含まれる少なくとも１つの物理量と時間との間における相関、および、状態データに含まれる少なくとも２つの物理量の間における相関の少なくともいずれかを示す相関データを生成する。この際、相関データ生成部２１６は、これら相関をグラフ化したグラフ画像を含む相関データを生成してよい。相関データ生成部２１６は、生成した相関データをラベリング部２２０へ供給する。

【0036】

教師ラベル取得部２１８は、相関データ生成部２１６が生成した相関データの少なくとも一部について教師ラベルを取得する。例えば、教師ラベル取得部２１８は、ユーザ（有識者等）入力を介して教師ラベルを取得する。しかしながら、これに限定されるものではない。教師ラベル取得部２１８は、教師ラベルを他の装置から取得してもよいし、ネットワークを介して取得してもよいし、各種メモリデバイスを介して取得してもよい。教師ラベル取得部２１８は、取得した教師ラベルをラベリング部２２０へ供給する。

【0037】

ラベリング部２２０は、教師ラベル取得部２１８が取得した教師ラベルに基づいて生成されたラベリングモデルを用いて、相関データ生成部２１６が生成した相関データをラベリングする。例えば、ラベリング部２２０は、相関データ生成部２１６が生成した相関データの少なくとも一部に教師ラベル取得部２１８が取得した教師ラベルが付されたデータを教師データとして学習器に入力することにより、初期のラベリングモデルを生成する。そして、ラベリング部２２０は、当該初期のラベリングモデルおよび後述する更新用のラベリングモデルを用いて、ラベルが未付与の相関データをラベリングする。なお、上述の説明では、教師データにおける相関データが相関データ生成部２１６によって生成されたものである場合を一例として示したが、これに限定されるものではない。教師データにおける相関データは、有識者等によって生成されたものであってもよい。この場合、教師ラベル取得部２１８は、有識者等から教師ラベルを取得することに代えて、教師ラベルが付された教師データそれ自体を取得し、これをラベリング部２２０へ供給してもよい。ラベリング部２２０は、ラベリングした相関データをラベリングデータ出力部２２２へ供給する。

【0038】

ラベリングデータ出力部２２２は、ラベリング部２２０がラベリングした相関データとセンサデータ（物理量の測定値）とに基づき、ラベリングデータを生成する。ラベリングデータ出力部２２２は、生成したラベリングデータを機械学習機能部２３０へ出力する。

【0039】

ラベリングモデル更新部２２４は、後述する評価モデルの判定結果を取得する。そして、ラベリングモデル更新部２２４は、評価モデルが妥当であると判定された場合に、ラベリングモデルを更新する。この際、ラベリングモデル更新部２２４は、教師ラベルに基づいて生成された初期のラベリングモデルとは別に、更新用のラベリングモデルを生成してよい。

【0040】

機械学習機能部２３０は、ラベリングデータ取得部２４０と、評価モデル生成部２５０と、評価モデル判定部２６０と、評価モデル出力部２７０とを含む。すなわち、評価モデル生成装置２００は、ラベリングデータ取得部２４０と、評価モデル生成部２５０と、評価モデル判定部２６０と、評価モデル出力部２７０と備える。

【0041】

ラベリングデータ取得部２４０は、ラベリングデータ出力部２２２が出力したラベリングデータを取得する。ラベリングデータ取得部２４０は、取得したラベリングデータを評価モデル生成部２５０へ供給する。

【0042】

評価モデル生成部２５０は、ラベリングデータ取得部２４０が取得したラベリングデータ、すなわち、ラベリング部２２０によってラベリングされた相関データとセンサデータとに基づき生成されたラベリングデータを用いて、設備１０における操業目標および設備１０における状態に基づいて対象とする目標について設備１０における状態を評価した指標を出力する評価モデルを生成する。評価モデル生成部２５０は、生成した評価モデルを評価モデル判定部２６０および評価モデル出力部２７０へ供給する。

【0043】

評価モデル判定部２６０は、評価モデル生成部２５０が生成した評価モデルの妥当性を判定する。評価モデル判定部２６０は、評価モデルが妥当であると判定した場合に、その旨をラベリングモデル更新部２２４および評価モデル出力部２７０へ通知する。これに応じて、ラベリングモデル更新部２２４は、ラベリングモデルを更新する。

【0044】

評価モデル出力部２７０は、評価モデルが妥当であると判定された場合に、評価モデルを操業モデル生成装置３００へ出力する。

【0045】

これについて、先ず、評価モデル生成装置２００のラベリング機能部２１０における処理の詳細を、データ例やフローを用いて詳細に説明する。

【0046】

図３は、ラベリング部２２０が初期のラベリングモデルを生成するにあたって学習器に入力する教師データの一例を示す。本図に示されるように、学習器に入力する教師データには、「操業目標」、「対象」、「タグ情報１」、「タグ情報２」、「グラフ画像」、および、「ラベル」が含まれていてよい。ここで、「操業目標」には、目標とする項目を示す「目標項目」、および、当該目標項目についての「目標値」が含まれていてよい。また、「対象」には、対象となるセグメントの「カテゴリ」、および、対象となる「制御ループ」が含まれていてよい。また、「タグ情報１」には、タグ１の「名前」、「物理量」の種別、「最小値」、「最大値」、および、「単位」が含まれていてよい。また、「タグ情報２」には、タグ２の「名前」、「物理量」の種別、「最小値」、「最大値」、および、「単位」が含まれていてよい。

【0047】

また、「グラフ画像」は、タグ１とタグ２の相関をグラフ化した画像であってよい。例えば、「ｘｘｘ１．ｊｐｇ」や「ｘｘｘ２．ｊｐｇ」は、タグ１の濃度を縦軸、タグ２の時間を横軸としてグラフ化した時系列画像であってよい。同様に、「ｘｘｘ３．ｊｐｇ」や「ｘｘｘ４．ｊｐｇ」は、タグ１の加速度を縦軸、タグ２の時間を横軸としてグラフ化した時系列画像であってよい。また、「ｘｘｘ５．ｊｐｇ」や「ｘｘｘ６．ｊｐｇ」は、タグ１の温度を縦軸、タグ２の濃度を横軸としてグラフ化した分布図（散布図）画像であってよい。換言すれば、「グラフ画像」における縦軸は「タグ情報１」によって定義され、「グラフ画像」における横軸は「タグ情報２」によって定義されているということができる。

【0048】

また、「ラベル」は、有識者等によって付された教師ラベルである。ラベリング部２２０は、このような項目を含む教師データを学習器に入力することにより、初期のラベリングモデルを生成してよい。なお、本図においては、ラベルとして「ＯＫ」ラベルと「ＮＧ」ラベルの両者が用いられる場合を一例として示したが、これに限定されるものではない。ラベルとして「ＯＫ」ラベルのみが用いられてもよいし、「ＮＧ」ラベルのみが用いられてもよい。特に、操業におけるボトルネックを探し出す用途においては、ラベルとして少なくとも「ＮＧ」ラベルが用いられるとよい。

【0049】

図４は、ラベリング部２２０が用いる学習器の設計例の一例を示す。ラベリング部２２０は、このような学習器として様々な学習アルゴリズムを用いてもよく、一例として、Ｄｅｅｐ Ｌｅａｒｎｉｎｇを用いてもよい。学習器は、操業目標を分類する機能部と、対象を分類する機能部と、物理量（タグ情報）を分類する機能部と、グラフ画像を分類する機能部を有していてよい。この際、学習器は、本図に示されるように、操業目標を分類する目標分類層、対象を分類する対象分類層、物理量を分類する物理量分類層、および、グラフ画像を分類するグラフ分類層のような各項目に反応する層を有するように設計されてもよい。

【0050】

図５は、ラベリング部２２０が用いる学習器の設計例の他の例を示す。図４のように学習器に各項目に反応する層を用意することに代えて、学習器は、本図に示されるように、操業目標を分類する目標分類モデル、対象を分類する対象分類モデル、物理量を分類する物理量分類モデル、および、グラフ画像を分類するグラフ分類モデルのような各層毎に分類可能なモデルを有するように設計されてもよい。

【0051】

図６は、ラベリング部２２０がラベリングの対象とするラベルが未付与の相関データの一例を示す。本図に示されるように、ラベルが未付与の相関データには、「操業目標」、「対象」、「タグ情報１」、「タグ情報２」、および、「グラフ画像」が含まれていてよい。これら各項目については、図３に示される教師データの各項目と同様であってよいので、ここでは説明を省略する。

【0052】

図７は、設備１０におけるＩ／Ｏリストの一例を示す。Ｉ／Ｏリストは、設備１０に設けられた各機器の情報をリスト化したものである。このようなＩ／Ｏリストは、相関データの生成やラベリングデータの生成の際に適宜参照される。

【0053】

図８は、設備１０におけるセグメント図の一例を示す。セグメント図は、設備１０におけるセグメントの構成を示す図である。このようなセグメント図についても、Ｉ／Ｏリストと同様、相関データの生成やラベリングデータの生成の際に適宜参照される。

【0054】

図９は、ラベリングデータ出力部２２２が出力するラベリングデータの一例を示す。本図に示されるように、ラベリングデータには、「ＯＫ」ラベルが付されたラベリングデータおよび「ＮＧ」ラベルが付されたラベリングデータが含まれていてよい。このようなラベリングデータには、それぞれ、センサＩＤ（タグ名）に対応するセンサデータが含まれている。すなわち、ラベリングデータは、１つまたは複数のセンサにおける測定値がどのような値の場合に「ＯＫ」ラベルが付され、どのような値の場合に「ＮＧ」ラベルが付されているかを示している。

【0055】

ラベリング機能部２１０は、例えば本図に示されるようなラベリングデータを生成して出力する。これについてフローを用いて詳細に説明する。

【0056】

図１０は、評価モデル生成装置２００のラベリング機能部２１０における処理フローの一例を示す。評価モデル生成装置２００のラベリング機能部２１０は、例えば本図に示されるフローにより、ラベリング処理を実行してよい。

【0057】

ステップＳ１００２において、評価モデル生成装置２００は、設備１０における操業目標を取得する。例えば、操業目標取得部２１２は、本部２０からネットワークを介して操業目標を取得する。このような操業目標には、例えば、目標とする項目を示す目標項目、および、当該目標項目についての目標値が含まれていてよい。一例として、設備１０がプラントである場合、操業目標取得部２１２は、操業目標としてプラントＫＰＩ（Ｋｅｙ Ｐｅｒｆｏｒｍａｎｃｅ Ｉｎｄｉｃａｔｏｒ：重要業績評価指標）を取得してよい。操業目標取得部２１２は、取得した操業目標を相関データ生成部２１６へ供給する。

【0058】

ステップＳ１００４において、評価モデル生成装置２００は、設備１０における状態を示す状態データを取得する。例えば、状態データ取得部２１４は、設備１０に設けられた各種センサが測定した様々な物理量を、状態データとして設備１０からネットワークを介して時系列に取得する。このような物理量には、例えば、設備１０の様々な箇所における温度、濃度、加速度、および、圧力等が含まれていてよい。状態データ取得部２１４は、取得した状態データを相関データ生成部２１６へ供給する。

【0059】

ステップＳ１００６において、評価モデル生成装置２００は、操業目標に基づいて、状態データに含まれる少なくとも１つの物理量と時間との間における相関、および、状態データに含まれる少なくとも２つの物理量の間における相関の少なくともいずれかを示す相関データを生成する。例えば、相関データ生成部２１６は、ステップＳ１００２において取得された操業目標に基づいて、ステップＳ１００４において取得された状態データに含まれる少なくとも１つの物理量と時間との間における相関、および、状態データに含まれる少なくとも２つの物理量の間における相関の少なくともいずれかを示す相関データを生成する。一例として、相関データ生成部２１６は、ステップＳ１００２において取得された操業目標により「操業目標」の項目を入力する。また、相関データ生成部２１６は、図７に示されるＩ／Ｏリスト、および、図８に示されるセグメント図を参照することにより「対象」の項目、「タグ情報１」、および、「タグ情報２」の項目を網羅的に入力する。そして、相関データ生成部２１６は、「タグ情報１」によって横軸を定義し、「タグ情報２」によって縦軸を定義することにより、タグ１とタグ２の相関をグラフ化し、このようにグラフ化された画像（例えば、時系列画像や分布図画像）を「グラフ画像」の項目に入力する。これにより、相関データ生成部２１６は、例えば、図３に示される教師データのうちの「教師ラベル」の項目以外の相関データや、図６に示されるラベルが未付与の相関データを生成する。相関データ生成部２１６は、生成した相関データをラベリング部２２０へ供給する。

【0060】

ステップＳ１００８において、評価モデル生成装置２００は、ラベリングモデルの有無を判定する。例えば、評価モデル生成装置２００は、ラベルが未付与の相関データをラベリングするためのラベリングモデルが生成済みであるか否か判定する。ラベリングモデルが無い（生成済みでない）と判定された場合（Ｎｏの場合）、評価モデル生成装置２００は、処理をステップＳ１０１０へ進める。

【0061】

ステップＳ１０１０において、評価モデル生成装置２００は、相関データの少なくとも一部について教師ラベルを取得する。例えば、教師ラベル取得部２１８は、ステップＳ１００６において生成された相関データが表示されたことに応じて、教師ラベルの入力を受け付ける。これに応じて、有識者等は、グラフ画像を基に相関データを判断し、「問題なし」と判断した相関データに「ＯＫ」ラベルを付し、「問題あり／疑わしい」と判断した相関データに「ＮＧ」ラベルを付す。すなわち、有識者等は、どのデータに着目してどこがおかしいかをラベリングする。教師ラベル取得部２１８は、例えばこのようにして、ユーザ入力を介して教師ラベルを取得する。教師ラベル取得部２１８は、取得した教師ラベルをラベリング部２２０へ供給する。

【0062】

ステップＳ１０１２において、評価モデル生成装置２００は、初期のラベリングモデルを生成する。例えば、ラベリング部２２０は、ステップＳ１００６において生成された相関データの少なくとも一部にステップＳ１０１０において取得した教師ラベルを付すことにより、例えば図３に示されるような教師データを生成する。そして、ラベリング部２２０は、このような教師データを、例えば、図４や図５に示される学習器に入力することにより、初期のラベリングモデルを生成する。そして、評価モデル生成装置２００は、処理をステップＳ１００２に戻してフローを継続する。これ以降、評価モデル生成装置２００は、このようにして生成したラベリングモデルを用いてラベルが未付与の相関データをラベリングすることとなる。

【0063】

ステップＳ１０１２において初期のラベリングモデルが生成された後は、ステップＳ１００８において、評価モデル生成装置２００は、ラベリングモデルが有る（生成済みである）と判定し、処理をステップＳ１０１４へ進める。

【0064】

ステップＳ１０１４において、評価モデル生成装置２００は、ステップＳ１０１０において取得された教師ラベルに基づいて生成されたラベリングモデルを用いて、ステップＳ１００６において生成された相関データをラベリングする。この際、グラフ画像で用いるデータの範囲は、操業目標を基にして紐づけておいてもよいし、初期のラベリングモデルを生成する際に用いられたデータを使って絞っておいてもよい。例えば、ラベリング部２２０は、ステップＳ１０１２において生成された初期のラベリングモデルおよび更新用のラベリングモデルに、ラベルが未付与の相関データを入力する。これに応じて、ラベリングモデルは、操業目標を分類し、対象を分類し、物理量を分類し、そして、グラフ画像を分類する。すなわち、ラベリングモデルは、操業目標が共通または類似するデータを識別し、対象が共通または類似するデータを識別し、物理量が共通または類似するデータを識別する。そして、ラベリングモデルは、このようにして識別されたグラフ画像を比較し、ラベルが未付与の相関データに対して、グラフ画像が「ＯＫ」ラベルが付されたグラフ画像に類似する場合に「ＯＫ」ラベルを付し、グラフ画像が「ＮＧ」ラベルが付されたグラフ画像に類似する場合に「ＮＧ」ラベルを付す。この際、ラベリングモデルは、データを画像にしてグラフの形で類似を判別してもよいし、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗоｒｋ）やＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ）等を使ってデータ波形が類似するかどうかを判別してもよい。

【0065】

ラベリング部２２０は、初期のラベリングモデルが「ＯＫ」に分類し、かつ、更新用のラベリングモデルが「ＯＫ」に分類した相関データに対して「ＯＫ」ラベルを付してよい。同様に、ラベリング部２２０は、初期のラベリングモデルが「ＮＧ」に分類し、かつ、更新用のラベリングモデルが「ＮＧ」に分類した相関データに対して「ＮＧ」ラベルを付してよい。すなわち、ラベリング部２２０は、初期のラベリングモデルの分類結果と更新用のラベリングモデルの分類結果の論理積により、相関データをラベリングしてもよい。しかしながら、初期のラベリングモデルと更新用のラベリングモデルとが異なる分類結果を示すことも考えられる。このような場合には、ラベリング部２２０は、初期のラベリングモデルの分類結果を優先してもよい。これに代えて、ラベリング部２２０は、更新用のラベリングモデルの分類結果を優先してもよい。または、ラベリング部２２０は、初期のラベリングモデルの分類結果と更新用のラベリングモデルの分類結果の論理和により、相関データをラベリングしてもよい。ラベリング部２２０は、このようにしてラベリングされた相関データをラベリングデータ出力部２２２へ供給する。

【0066】

ステップＳ１０１６において、評価モデル生成装置２００は、ラベリングデータを出力する。例えば、ラベリングデータ出力部２２２は、ステップＳ１０１４においてラベリングされた相関データとセンサデータとに基づき、例えば、図９に示されるようなラベリングデータを生成する。そして、ラベリングデータ出力部２２２は、生成したラベリングデータを機械学習機能部２３０へ出力する。

【0067】

ステップＳ１０１８において、評価モデル生成装置２００は、評価モデルが妥当である旨の判定結果を取得したかどうか判定する。取得していないと判定された場合（Ｎｏの場合）、評価モデル生成装置２００は、フローを終了する。一方、取得したと判定された場合（Ｙｅｓの場合）、評価モデル生成装置２００は、処理をステップＳ１０２０へ進める。

【0068】

ステップＳ１０２０において、評価モデル生成装置２００は、評価モデルが妥当である旨の判定結果を取得したと判定された場合に、ラベリングモデルを更新する。例えば、ラベリングモデル更新部２２４は、教師ラベルに基づいて生成された初期のラベリングモデルとは別に、更新用のラベリングモデルを生成し、当該更新用のラベリングモデルを更新する。一般に、学習器により付与されたラベルよりも有識者等により付与された教師ラベルの方が確からしい。したがって、ラベリングモデル更新部２２４は、初期のラベリングモデルを更新していくのではなく、初期のラベリングモデルとは別に生成された更新用のラベリングモデルを更新することで、有識者等により付与された教師ラベルの影響度が徐々に薄まっていくことを避けることができる。しかしながら、これに限定されるものではなく、ラベリングモデル更新部２２４が、初期のラベリングモデルを更新する場合を排除するものではない。

【0069】

評価モデル生成装置２００のラベリング機能部２１０は、例えばこのようにしてラベリング処理を実行してよい。次に、評価モデル生成装置２００の機械学習機能部２３０における処理の詳細を、データ例やフローを用いて詳細に説明する。

【0070】

図１１は、評価モデル生成部２５０のブロック図の一例を示す。評価モデル生成部２５０は、複数の学習部２５２ａ、２５２ｂ、・・・、学習部２５２ｎ（「学習部２５２」と総称する。）を有しており、複数の学習部２５２が並列して学習を実行する。学習部２５２ａは、前処理部２５４ａと、機械学習部２５６ａとを含む。同様に、学習部２５２ｂは、前処理部２５４ｂと、機械学習部２５６ｂとを含む。同様に、学習部２５２ｃは、前処理部２５４ｃと、機械学習部２５６ｃとを含む。ここで、前処理部２５４ａ、２５４ｂ、・・・、２５４ｎを「前処理部２５４」と総称する。また、機械学習部２５６ａ、２５６ｂ、・・・、２５６ｎを「機械学習部２５６」と総称する。

【0071】

前処理部２５４は、ラベリングデータを前処理する。例えば、前処理部２５４は、ラベリングデータに対して標準化処理、正規化処理、ローパスフィルタ、ハイパスフィルタ、および、主成分分析等の処理を実行する。前処理部２５４は、前処理したラベリングデータを機械学習部２５６へ供給する。

【0072】

機械学習部２５６は、前処理部２５４が前処理したラベリングデータを学習データとして、機械学習のアルゴリズムにより評価モデルを生成する。

【0073】

このように、評価モデル生成部２５０は、複数の学習部２５２を有し、複数の学習部２５２のそれぞれが機械学習部２５６を含む。これにより、評価モデル生成部２５０は、それぞれの学習部２５２による複数の評価モデルを生成することとなる。この際、複数の学習部２５２において、前処理部２５４の処理内容、および、機械学習部２５６のアルゴリズムの少なくともいずれかが異なっているとよい。これにより、評価モデル生成部２５０は、それぞれ異なる複数の評価モデルを生成することができる。このようにして生成された評価モデルは、例えば、センサデータに対して、ＯＫ教師に近いかＮＧ教師に近いかを数値で出力してよい。

【0074】

図１２は、評価モデルの出力の一例を示す。本図においては、一例として、操業目標において対象とする品質についての品質向上を目標とした評価モデルの出力を示している。本図において縦軸は、ヘルスインデックスを示している。一例として、このような評価モデルは、対象とする目標が目標値と同じ値となることが推測される場合に、ヘルスインデックス＝０を出力する。そして、評価モデルは、対象とする目標が目標値よりも良いことが推測される程、０よりも大きい値を出力し、対象とする目標が目標値よりも悪いことが推測される程、０よりも小さい値を出力する。

【0075】

また、本図において横軸は、時間を示している。一例として、本図の横軸における前半は、「ＯＫ」ラベルが付された期間のデータを評価モデルに入力した場合を一例として示している。この場合、評価モデルは、当該期間において０以上の値を出力する率が高い程、ラベリングとの正答率が高いため、妥当であるということができる。同様に、本図の横軸における後半は、「ＮＧ」ラベルが付された期間のデータを評価モデルに入力した場合を示している。この場合、評価モデルは、当該期間において０未満の値を出力する率が高い程、ラベリングとの正答率が高いため、妥当であるということができる。

【0076】

図１３は、評価モデルの出力の他の例を示す。本図においては、一例として、操業目標において対象とする触媒利用の延長（コストカット）を目標とした評価モデルの出力を示している。本図において縦軸は、ヘルスインデックスを示している。また、本図において横軸は、時間を示している。一般に、触媒が時間の経過とともに徐々に減少していくという事象が発生する。したがって、評価モデルは、本図において矢印で示されるように、出力が単調減少性を有する程、事象を正しく捕らえているため、妥当であるということができる。評価モデル生成装置２００の機械学習機能部２３０は、例えばこのような結果を出力し得る評価モデルを生成する。

【0077】

図１４は、評価モデル生成装置２００の機械学習機能部２３０における処理フローの一例を示す。評価モデル生成装置２００の機械学習機能部２３０は、例えば本図に示されるフローにより、機械学習による評価モデルの生成処理を実行してよい。

【0078】

ステップＳ１４１０において、評価モデル生成装置２００は、ラベリングデータを取得する。例えば、ラベリングデータ取得部２４０は、図１０のフローにおけるステップＳ１０１６において出力されたラベリングデータを取得する。一例として、ラベリングデータ取得部２４０は、図９に示されるようなラベリングデータを取得してよい。

【0079】

ステップＳ１４２０において、評価モデル生成装置２００は、判定用データをサンプリングする。例えば、ラベリングデータ取得部２４０は、ステップＳ１４１０において取得されたラベリングデータの一部を判定用データとしてサンプリングする。一例として、ラベリングデータ取得部２４０は、取得したラベリングデータから判定用データをランダムにサンプリングしてよい。これに代えて、ラベリングデータ取得部２４０は、取得したラベリングデータの前半を機械学習用データとし、後半を判定用データとしてサンプリングしてもよい。ラベリングデータ取得部２４０は、サンプリングした判定用データを評価モデル判定部２６０へ供給する。また、ラベリングデータ取得部２４０は、残りのラベリングデータを機械学習用データとして評価モデル生成部２５０へ供給する。

【0080】

ステップＳ１４３０において、評価モデル生成装置２００は、ステップＳ１４２０において供給されたラベリングデータ、すなわち、図１０のフローにおけるステップＳ１０１４においてラベリングされた相関データとセンサデータとに基づき生成されたラベリングデータを用いて、設備１０における操業目標および設備１０における状態に基づいて対象とする目標について設備１０における状態を評価した指標を出力する評価モデルを生成する。

【0081】

より詳細には、ステップＳ１４３２において、評価モデル生成装置２００は、ラベリングデータを前処理する。例えば、前処理部２５４ａ、２５４ｂ、・・・、２５４ｎはそれぞれ、ステップＳ１４２０において供給されたラベリングデータに対して、標準化処理、正規化処理、ローパスフィルタ、ハイパスフィルタ、および、主成分分析等の処理を実行する。この際、前処理部２５４ａ、２５４ｂ、・・・、２５４ｎは、それぞれ異なる処理内容を実行してよい。前処理部２５４ａ、２５４ｂ、・・・、２５４ｎは、それぞれ、前処理したラベリングデータを機械学習部２５６ａ、２５６ｂ、・・・、２５６ｎへ供給する。

【0082】

ステップＳ１４３４において、評価モデル生成装置２００は、機械学習を実行する。例えば、機械学習部２５６ａ、２５６ｂ、・・・、２５６ｎはそれぞれ、ステップＳ１４３２において前処理されたラベリングデータを学習データとして、機械学習のアルゴリズムにより評価モデルを生成する。この際、機械学習部２５６ａ、２５６ｂ、・・・、２５６ｎは、それぞれ異なるアルゴリズムにより機械学習を実行してよい。したがって、学習部２５２ａ、２５２ｂ、・・・、２５２ｎは、前処理内容および機械学習アルゴリズムの少なくともいずれかが異なる処理を実行することによって、それぞれ異なる複数の評価モデルを生成してよい。このような評価モデルは、一例として、データが入力されたことに応じて図１２や図１３のような結果を出力するモデルであってよい。評価モデル生成部２５０は、このようにして生成された評価モデルを評価モデル判定部２６０および評価モデル出力部２７０へ供給する。

【0083】

ステップＳ１４４０において、評価モデル生成装置２００は、評価モデルの妥当性を判定する。例えば、評価モデル判定部２６０は、ステップＳ１４２０においてサンプリングされた判定用データを、評価モデル生成部２５０における複数の学習部２５２によって生成された複数の評価モデルのそれぞれに入力することによって、複数の評価モデルのそれぞれについて妥当性を判定する。

【0084】

この際、一例として、生成された評価モデルが図１２のような結果を出力する評価モデルである場合、「ＯＫ」ラベルが付された判定用データを入力したことに応じて、評価モデルが０以上の値を出力する割合（「ＯＫ」ラベルに対する正答率）が予め定めらえた閾値を超える場合に、評価モデル判定部２６０は、当該評価モデルが妥当であると判定してよい。これに代えて、または、加えて、生成された評価モデルが図１２のような結果を出力する評価モデルである場合、「ＮＧ」ラベルが付された判定用データを入力したことに応じて、評価モデルが０未満の値を出力する割合（「ＮＧ」ラベルに対する正答率）が予め定めらえた閾値を超える場合に、評価モデル判定部２６０は、当該評価モデルが妥当であると判定してもよい。他の例として、生成された評価モデルが図１３のような結果を出力する評価モデルである場合、判定用データを入力したことに応じて、評価モデルが単調減少性を有する結果を出力している場合に、評価モデル判定部２６０は、当該評価モデルが妥当であると判定してもよい。

【0085】

生成された複数の評価モデルのうち、いずれの評価モデルも妥当でないと判定された場合（Ｎｏの場合）、評価モデル生成装置２００は、処理をステップＳ１４１０に戻してフローを継続する。一方、生成された複数の評価モデルのうち、少なくともいずれかの評価モデルが妥当であると判定された場合（Ｙｅｓの場合）、評価モデル生成装置２００は、処理をステップＳ１４５０へ進める。

【0086】

ステップＳ１４５０において、評価モデル生成装置２００は、判定結果をフィードバックする。例えば、評価モデル判定部２６０は、評価モデルが妥当であると判定した旨を、当該判定を得るにあたったラベリングデータ、すなわち、ステップＳ１４１０において取得されたラベリングデータを特定する情報とともに、ラベリングモデル更新部２２４へ通知する。これに応じて、ラベリングモデル更新部２２４は、ラベリングモデルを更新する。また、評価モデル判定部２６０は、評価モデルが妥当であると判定した旨を、当該妥当であると判定した評価モデルを識別する情報とともに、評価モデル出力部２７０へ通知する。

【0087】

ステップＳ１４６０において、評価モデル生成装置２００は、評価モデルを出力する。例えば、評価モデル出力部２７０は、ステップＳ１４５０において、評価モデルが妥当である旨を通知された場合に、妥当であると判定された評価モデルを、操業モデル生成装置３００へ出力する。

【0088】

評価モデル生成装置２００の機械学習機能部２３０は、例えばこのようにして機械学習による評価モデルの生成処理を実行してよい。すなわち、評価モデル生成装置２００は、図１０のフローによりラベリング処理を実行し、図１４のフローにより評価モデルの生成処理を実行する。そして、評価モデル生成装置２００は、生成した評価モデルを操業モデル生成装置３００へ出力する。

【0089】

図１５は、本実施形態に係る操業システム１００における操業モデル生成装置３００のブロック図の一例を示す。操業モデル生成装置３００についても、評価モデル生成装置２００と同様、コンピュータであってよく、複数のコンピュータが接続されたコンピュータシステムであってもよい。また、操業モデル生成装置３００は、コンピュータ内で１または複数実行可能な仮想コンピュータ環境によって実装されてもよい。これに代えて、操業モデル生成装置３００は、操業モデルの生成用に設計された専用コンピュータであってもよく、専用回路によって実現された専用ハードウェアであってもよい。また、インターネットに接続可能な場合、操業モデル生成装置３００は、クラウドコンピューティングにより実現されてもよい。

【0090】

操業モデル生成装置３００は、評価モデル取得部３１２と、学習環境データ取得部３１４と、操業モデル生成部３１６と、学習操作指示部３１８と、操業モデル判定部３２０と、操業モデル出力部３２２とを備える。

【0091】

評価モデル取得部３１２は、評価モデル出力部２３８が出力した評価モデルを、例えば、ネットワークを介して取得する。しかしながら、これに限定されるものではない。評価モデル取得部３１２は、評価モデルを、各種メモリデバイスを介して取得してもよいし、ユーザ入力を介して取得してもよい。評価モデル取得部３１２は、取得した評価モデルを、操業モデル生成部３１６へ供給する。

【0092】

学習環境データ取得部３１４は、学習環境における状態を示す学習環境データを、ネットワークを介して取得する。しかしながら、これに限定されるものではない。学習環境データ取得部３１４は、学習環境データを、各種メモリデバイスを介して取得してもよいし、ユーザ入力を介して取得してもよい。学習環境データ取得部３１４は、取得した学習環境データを操業モデル生成部３１６へ供給する。

【0093】

操業モデル生成部３１６は、学習環境データ取得部３１４が取得した学習環境データを用いて、評価モデル取得部３１２が取得した評価モデルの出力を報酬の少なくとも一部とした強化学習により、設備１０における状態に応じた行動を出力する操業モデルを生成する。操業モデル生成部３１６は、生成した操業モデルを操業モデル判定部３２０および操業モデル出力部３２２へ供給する。

【0094】

学習操作指示部３１８は、強化学習中の操業モデルが出力する行動に基づく操作量を、学習環境における制御対象へ与える。

【0095】

操業モデル判定部３２０は、操業モデル生成部３１６が生成した操業モデルの妥当性を判定する。操業モデル判定部３２０は、操業モデルが妥当であると判定した場合に、その旨を操業モデル出力部３２２へ通知する。

【0096】

操業モデル出力部３２２は、操業モデルが妥当であると判定された場合に、操業モデルを制御装置４００へ出力する。このような操業モデル生成装置３００における処理の詳細を、データ例やフローを用いて詳細に説明する。

【0097】

図１６は、操業モデル生成装置３００が生成する操業モデルの一例を示す。操業モデルは、サンプリングされた状態データの集合を示す状態ｓと各状態下に取られた行動ａとの組み合わせ（ｓ，ａ）と、報酬によって計算されたウエイトｗとで構成される。なお、このようなウエイトを計算するための報酬の少なくとも一部として、評価モデル生成装置２００が生成した評価モデルの出力が用いられる。本図においては、一例として、状態ｓ＝（ＴＩ００１，ＴＩ００２，ＴＩ００３，ＦＩ００１，ＦＩ００２，ＶＩ００１）とした場合を示している。そして、本図においては、例えば、ｓ＝（－２．４７８０３，－２．４８４１３，－０．０７３２４，２９．７１１９１，２４．２５１１，７０）の状態下でａ＝１の行動が取られた場合に、報酬によって計算されたウエイトがｗ＝１４４．１４８４であることを意味している。このような操業モデルにより次の行動が決定される。

【0098】

図１７は、行動決定テーブルの一例を示す。行動決定テーブルは、入力された状態ｓと取り得る行動ａとで構成される。本図においては、一例として、入力された状態がｓ＝（０．１，０．２，０．４，０．３，０．８，０．２）であり、取り得る行動がａ＝（－３，－１，０，１，３）の５つである場合を示している。例えば、このような行動決定テーブルを図１６に示される操業モデルに入力することにより、次の行動が決定される。これについてフローを用いて詳細に説明する。

【0099】

図１８は、操業モデル生成装置３００における処理フローの一例を示す。操業モデル生成装置３００は、例えば本図に示されるフローにより、操業モデルの生成処理を実行してよい。

【0100】

ステップＳ１８０２において、操業モデル生成装置３００は、評価モデルを取得する。例えば、評価モデル取得部３１２は、図１４のフローにおけるステップＳ１４６０において出力された評価モデルを、ネットワークを介して取得する。評価モデル取得部３１２は、取得した評価モデルを、操業モデル生成部３１６へ供給する。

【0101】

ステップＳ１８０４において、操業モデル生成装置３００は、強化学習により操業モデルを生成する。例えば、操業モデル生成部３１６は、ステップＳ１８０２において取得された評価モデルの出力を報酬の少なくとも一部とした強化学習により、設備１０における状態に応じた行動を出力する操業モデルを生成する。一例として、操業モデル生成部３１６は、図１６に示されるような操業モデルを生成する。この詳細については、別フローを用いて後述する。操業モデル生成部３１６は、生成した操業モデルを操業モデル判定部３２０および操業モデル出力部３２２へ供給する。

【0102】

ステップＳ１８０６において、操業モデル生成装置３００は、操業モデルの妥当性を判定する。例えば、操業モデル判定部３２０は、ステップＳ１８０４において生成された操業モデルの妥当性を判定する。一例として、操業モデル判定部３２０は、評価モデル生成装置２００により設定された目標設定、操作端、および、観測点の情報に基づいて、プラントシミュレータにユーザによる操作を入れた際のデータ（ａ）、もしくは、ユーザによる操作の過去データ（ｂ）をリファレンスデータとして用意する。次に、操業モデル判定部３２０は、生成された操業モデルに対して、プラントシミュレータ上で操業モデルを動作させる（ｃ）。この際、操業モデル判定部３２０は、プラントシミュレータに代えて、実機を用いてもよい。そして、操業モデル判定部３２０は、（ｃ）により出力された結果と、（ａ）または（ｂ）とを比較することで、操業モデルの妥当性を判定する。すなわち、操業モデル判定部３２０は、プラントシミュレータにユーザによる操作を入れた際のリファレンスデータと、ＡＩにより操作した際の結果とを比較することで、操業モデルの妥当性を判定する。そして、操業モデル判定部３２０は、ＡＩにより操作した際の結果の方が高い場合に、生成された操業モデルが妥当（良好）であると判定する。操業モデル判定部３２０は、操業モデルが妥当であると判定した場合に、その旨を操業モデル出力部３２２へ通知する。

【0103】

ステップＳ１８０８において、操業モデル生成装置３００は、操業モデルを出力する。例えば、操業モデル出力部３２２は、ステップＳ１８０６において操業モデルが妥当であると判定された場合に、操業モデルを制御装置４００へ出力する。

【0104】

図１９は、操業モデル生成部３１６における強化学習フローの一例を示す。操業モデル生成部３１６は、例えば本図に示されるフローにより、図１８のステップＳ１８０４における処理を実行してよい。

【0105】

ステップＳ１９０２において、操業モデル生成装置３００は、学習環境データを取得する。例えば、学習環境データ取得部３１４は、学習環境における状態を示す学習環境データを、ネットワークを介して取得する。このような学習環境としては、設備１０の挙動を模擬するシミュレータが用いられてもよいし、実際の設備１０が用いられてもよい。例えば、設備１０がプラントである場合、学習環境として、プラントシミュレータが用いられてもよいし、実プラントが用いられてもよい。学習環境データ取得部３１４は、取得した学習環境データを操業モデル生成部３１６へ供給する。

【0106】

ステップＳ１９０４において、操業モデル生成装置３００は、行動を決定する。例えば、操業モデル生成部３１６は、ランダムに行動を決定する。なお、上述の説明では、操業モデル生成部３１６がランダムに行動を決定する場合を一例として示したが、これに限定されるものではない。操業モデル生成部３１６が行動を決定するにあたって、例えば、ＦＫＤＰＰ（Ｆａｃｔｏｒｉａｌ Ｋｅｒｎｅｌ Ｄｙｎａｍｉｃ Ｐｏｌｉｃｙ Ｐｒｏｇｒａｍｍｉｎｇ）等の既知のＡＩアルゴリズムが用いられてもよい。このようなカーネル法を用いる場合、操業モデル生成部３１６は、学習環境データにより得られたセンサ値から状態ｓのベクトルを生成する。次に、操業モデル生成部３１６は、状態ｓと、取り得る全ての行動ａとの組み合わせを、例えば図１７に示されるような行動決定テーブルとして生成する。そして、操業モデル生成部３１６は、行動決定テーブルを、例えば図１６に示されるような操業モデルへ入力する。これに応じて、操業モデルは、行動決定テーブルの各行と、操業モデルのうちのウエイト列を除いた各サンプルデータとの間でカーネル計算を行い、各サンプルデータとの間の距離をそれぞれ算出する。そして、操業モデルは、各サンプルデータについて算出した距離にそれぞれのウエイト列の値を乗算したものを順次足し合わせ、各行動における報酬期待値を計算する。操業モデルは、このようにして計算された報酬期待値が最も高くなる行動を選択する。操業モデル生成部３１６は、例えばこのようにして、更新中の操業モデルを用いて報酬期待値が最も高いと判断された行動を選択することにより行動を決定してもよい。学習時においては、操業モデル生成部３１６は、ランダムに行動を決定するか、操業モデルを用いて行動を決定するかを適宜選択しながら行動を決定すればよい。操業モデル生成部３１６は、決定した行動を学習操作指示部３１８へ供給する。

【0107】

ステップＳ１９０６において、操業モデル生成装置３００は、学習環境へ操作を指示する。例えば、学習操作指示部３１８は、ステップＳ１９０４において決定された行動を、学習環境における制御対象の値（バルブ値等）に加算した操作量を、学習環境における制御対象へ与える。これにより学習環境の状態が変化する。

【0108】

ステップＳ１９０８において、操業モデル生成装置３００は、学習環境データを取得する。例えば、学習環境データ取得部３１４は、ステップＳ１９０２と同様、学習環境における状態を示す学習環境データを取得する。すなわち、学習環境データ取得部３１４は、決定された行動に基づく操作量が制御対象へ与えたことに応じて変化した後の学習環境の状態を取得する。学習環境データ取得部３１４は、取得した学習環境データを操業モデル生成部３１６へ供給する。

【0109】

ステップＳ１９１０において、操業モデル生成装置３００は、報酬値を算出する。例えば、操業モデル生成部３１６は、評価モデルの出力に少なくとも部分的に基づき、報酬値を算出する。一例として、操業モデル生成部３１６は、ステップＳ１９０８において取得された学習環境データを、図１８のステップＳ１８０２において取得された評価モデルへ入力したことに応じて評価モデルが出力する指標をそのまま用いて報酬値を算出してもよいし、評価モデルによってＯＫと判断された場合に１、ＮＧと判断された場合に０として報酬値を算出してもよい。

【0110】

ステップＳ１９１２において、操業モデル生成装置３００は、行動の決定に応じた状態の取得処理が、指定されたステップ回数を超えたかどうか判定する。なお、このようなステップ回数は、予めユーザにより指定されたものであってもよいし、学習対象期間（例えば１０日間等）を基に定められたものであってもよい。上述の処理が指定されたステップ回数を超えていないと判定された場合（Ｎｏの場合）、操業モデル生成装置３００は、処理をステップＳ１９０４に戻してフローを継続する。操業モデル生成装置３００は、このような行動の決定に応じた状態の取得処理を指定されたステップ回数実行する。

【0111】

ステップＳ１９１２において、上述の処理が指定されたステップ回数を超えたと判定された場合（Ｙｅｓの場合）、操業モデル生成装置３００は、処理をステップＳ１９１４へ進める。ステップＳ１９１４において、操業モデル生成装置３００は、操業モデルを更新する。例えば、操業モデル生成部３１６は、図１６に示される操業モデルにおけるウエイト列の値を上書きするほか、これまでに保存されていない新たなサンプルデータを操業モデルに追加する。

【0112】

ステップＳ１９１６において、操業モデル生成装置３００は、操業モデルの更新処理が、指定された繰り返し回数を超えたかどうか判定する。なお、このような繰り返し回数は、予めユーザにより指定されたものであってもよいし、操業モデルの妥当性に応じて定められたものであってもよい。上述の処理が指定された繰り返し回数を超えていないと判定された場合（Ｎｏの場合）、操業モデル生成装置３００は、処理をステップＳ１９０２へ戻してフローを継続する。

【0113】

ステップＳ１９１６において、上述の処理が指定された繰り返し回数を超えたと判定された場合（Ｙｅｓ）の場合、操業モデル生成装置３００は、フローを終了する。操業モデル生成装置３００は、例えばこのようにして、評価モデルの出力を報酬の少なくとも一部とした強化学習により、設備１０における状態に応じた行動を出力する操業モデルを生成することができる。

【0114】

図２０は、本実施形態に係る操業システム１００における制御装置４００のブロック図の一例を示す。制御装置４００は、例えば、ＤＣＳ（Ｄｉｓｔｒｉｂｕｔｅｄ Ｃｏｎｔｒｏｌ Ｓｙｓｔｅｍ：分散制御システム）や中規模向け計装システムにおけるコントローラであってもよいし、リアルタイムＯＳコントローラ等であってもよい。

【0115】

制御装置４００は、操業モデル取得部４１２と、実環境データ取得部４１４と、制御部４１６と、実操作指示部４１８とを備える。

【0116】

操業モデル取得部４１２は、操業モデル出力部３２２が出力した操業モデルを、例えば、ネットワークを介して取得する。しかしながら、これに限定されるものではない。操業モデル取得部４１２は、操業モデルを、各種メモリデバイスを介して取得してもよいし、ユーザ入力を介して取得してもよい。操業モデル取得部４１２は、取得した操業モデルを、制御部４１６へ供給する。

【0117】

実環境データ取得部４１４は、実環境、すなわち、設備１０における状態を示す実環境データを取得する。このような実環境データは、前述の状態データと同様のデータであってよい。実環境データ取得部４１４は、取得した実環境データを制御部４１６へ供給する。

【0118】

制御部４１６は、実環境データ取得部４１４が取得した実環境、すなわち、設備１０の状態に応じて操業モデル取得部４１２が取得した操業モデルが出力する行動に基づく操作量を決定する。制御部４１６は、決定した操作量を実操作指示部４１８へ供給する。

【0119】

実操作指示部４１８は、制御部４１６が決定した操作量を、実環境、すなわち、設備１０における制御対象へ与える。

【0120】

図２１は、制御装置４００における処理フローの一例を示す。制御装置４００は、例えば本図に示されるフローにより、制御対象の制御処理を実行してよい。

【0121】

ステップＳ２１０２において、制御装置４００は、操業モデルを取得する。例えば、操業モデル取得部４１２は、図１８のステップＳ１８０８において出力された操業モデルを、ネットワークを介して取得する。操業モデル取得部４１２は、取得した操業モデルを、制御部４１６へ供給する。

【0122】

ステップＳ２１０４において、制御装置４００は、実環境データを取得する。例えば、実環境データ取得部４１４は、実環境における状態を示す実環境データを取得する。このような実環境データは、上述の設備１０における状態を示す状態データと同様のデータであってよい。実環境データ取得部４１４は、取得した実環境データを制御部４１６へ供給する。

【0123】

ステップＳ２１０６において、制御装置４００は、行動を決定する。例えば、制御部４１６は、操業モデルを用いて報酬期待値が最も高いと判断された行動を選択することにより行動を決定する。制御部４１６は、決定した行動を実操作指示部４１８へ供給する。

【0124】

ステップＳ２１０８において、制御装置４００は、実環境へ操作を指示する。例えば、実操作指示部４１８は、ステップＳ２１０６において決定された行動を、設備１０における制御対象の値に加算した操作量を、設備１０における制御対象へ与える。これにより実環境の状態が変化する。

【0125】

ステップＳ２１１０において、制御装置４００は、ＡＩ制御を終了するかどうか判定する。ＡＩ制御を終了すると判定された場合（Ｙｅｓの場合）、制御装置４００はフローを終了する。ＡＩ制御を終了しないと判定された場合（Ｎｏの場合）、制御装置４００は、処理をステップＳ２１０４へ戻してフローを継続する。

【0126】

従来、例えば、特許文献１のように、強化学習されたモデルを用いて制御対象を制御するＡＩ制御技術が知られている。しかしながら、ＡＩ制御技術においては、報酬値を算出するための報酬関数をユーザが経験や勘等により事前に設定しておく必要があった。このように人の手が介在する場合、操業サイクルを解決まで導くためには、複数の労働力を用いた年単位の長期間に及ぶ作業が必要である等、莫大な手間と時間を要していた。また、労働力不足や人員配置ミスによる遅延や中断、遠隔地・危険地での作業を伴う可能性等も考慮する必要があった。さらに、熟練オペレータの経験や勘を用いても、常に迅速で最適な判断ができるとも限らない。長期間にわたるプラント管理の場合、同レベルのスキルを受け継ぐ後継者の確保も容易ではない。また、個人のスキルは一面的になることが多く、異なる部門や機能間で情報を共有し、複数の問題を網羅的に把握して解決するには限界があった。

【0127】

これに対して、本実施形態に係る操業システム１００においては、ＡＩが自動的に操業におけるボトルネック（ポテンシャルフォルト）を探し出し、改善のための指標を評価モデルとして生成する。そして、ＡＩが与えられた指標を基に試行錯誤を行い、より良い操業方法を指示する操業モデルを生成する。そして、ＡＩコントローラが当該操業モデルを用いて制御対象をＡＩ制御する。これにより、本実施形態に係る操業システム１００によれば、ＡＩ技術を用いて設備１０を自律制御可能な環境を提供する。そして、本実施形態に係る操業システム１００は、このようなＡＩ制御下における設備の状態に基づいて、評価モデルおよび操業モデルを更新し、更新された操業モデルを用いて制御対象をＡＩ制御する。これにより、本実施形態に係る操業システム１００によれば、設備１０における操業を改善するループを自律的に回すことができる。したがって、本実施形態に係る操業システム１００によれば、これまで行っていたデータ収集・調査のＰＤＣＡサイクルを２４時間３６５日休まず継続的かつ高速に行い、もって、プラント等の生産性・効率性を半永久的に高め続けることを可能とする。また、状況に応じた意思決定を客観的かつ包括的に行うことができるので、熟練オペレータの退職によるスキル継承リスク等にとらわれず、長期間にわたって積み上げた知識を多角的に活用することができる。

【0128】

本発明の様々な実施形態は、フローチャートおよびブロック図を参照して記載されてよく、ここにおいてブロックは、（１）操作が実行されるプロセスの段階または（２）操作を実行する役割を持つ装置のセクションを表わしてよい。特定の段階およびセクションが、専用回路、コンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、および／またはコンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタルおよび／またはアナログハードウェア回路を含んでよく、集積回路（ＩＣ）および／またはディスクリート回路を含んでよい。プログラマブル回路は、論理ＡＮＤ、論理ＯＲ、論理ＸＯＲ、論理ＮＡＮＤ、論理ＮＯＲ、および他の論理操作、フリップフロップ、レジスタ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルロジックアレイ（ＰＬＡ）等のようなメモリ要素等を含む、再構成可能なハードウェア回路を含んでよい。

【0129】

コンピュータ可読媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読媒体は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読媒体のより具体的な例としては、フロッピー（登録商標）ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスクリードオンリメモリ（ＣＤ-ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（ＲＴＭ）ディスク、メモリスティック、集積回路カード等が含まれてよい。

【0130】

コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ（登録商標）、ＪＡＶＡ（登録商標）、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語または同様のプログラミング言語のような従来の手続型プログラミング言語を含む、１または複数のプログラミング言語の任意の組み合わせで記述されたソースコードまたはオブジェクトコードのいずれかを含んでよい。

【0131】

コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサまたはプログラマブル回路に対し、ローカルにまたはローカルエリアネットワーク（ＬＡＮ）、インターネット等のようなワイドエリアネットワーク（ＷＡＮ）を介して提供され、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく、コンピュータ可読命令を実行してよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。

【0132】

図２２は、本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ９９００の例を示す。コンピュータ９９００にインストールされたプログラムは、コンピュータ９９００に、本発明の実施形態に係る装置に関連付けられる操作または当該装置の１または複数のセクションとして機能させることができ、または当該操作または当該１または複数のセクションを実行させることができ、および／またはコンピュータ９９００に、本発明の実施形態に係るプロセスまたは当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ９９００に、本明細書に記載のフローチャートおよびブロック図のブロックのうちのいくつかまたはすべてに関連付けられた特定の操作を実行させるべく、ＣＰＵ９９１２によって実行されてよい。

【0133】

本実施形態によるコンピュータ９９００は、ＣＰＵ９９１２、ＲＡＭ９９１４、グラフィックコントローラ９９１６、およびディスプレイデバイス９９１８を含み、それらはホストコントローラ９９１０によって相互に接続されている。コンピュータ９９００はまた、通信インターフェイス９９２２、ハードディスクドライブ９９２４、ＤＶＤドライブ９９２６、およびＩＣカードドライブのような入／出力ユニットを含み、それらは入／出力コントローラ９９２０を介してホストコントローラ９９１０に接続されている。コンピュータはまた、ＲＯＭ９９３０およびキーボード９９４２のようなレガシの入／出力ユニットを含み、それらは入／出力チップ９９４０を介して入／出力コントローラ９９２０に接続されている。

【0134】

ＣＰＵ９９１２は、ＲＯＭ９９３０およびＲＡＭ９９１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ９９１６は、ＲＡＭ９９１４内に提供されるフレームバッファ等またはそれ自体の中にＣＰＵ９９１２によって生成されたイメージデータを取得し、イメージデータがディスプレイデバイス９９１８上に表示されるようにする。

【0135】

通信インターフェイス９９２２は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブ９９２４は、コンピュータ９９００内のＣＰＵ９９１２によって使用されるプログラムおよびデータを格納する。ＤＶＤドライブ９９２６は、プログラムまたはデータをＤＶＤ－ＲＯＭ９９０１から読み取り、ハードディスクドライブ９９２４にＲＡＭ９９１４を介してプログラムまたはデータを提供する。ＩＣカードドライブは、プログラムおよびデータをＩＣカードから読み取り、および／またはプログラムおよびデータをＩＣカードに書き込む。

【0136】

ＲＯＭ９９３０はその中に、アクティブ化時にコンピュータ９９００によって実行されるブートプログラム等、および／またはコンピュータ９９００のハードウェアに依存するプログラムを格納する。入／出力チップ９９４０はまた、様々な入／出力ユニットをパラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入／出力コントローラ９９２０に接続してよい。

【0137】

プログラムが、ＤＶＤ－ＲＯＭ９９０１またはＩＣカードのようなコンピュータ可読媒体によって提供される。プログラムは、コンピュータ可読媒体から読み取られ、コンピュータ可読媒体の例でもあるハードディスクドライブ９９２４、ＲＡＭ９９１４、またはＲＯＭ９９３０にインストールされ、ＣＰＵ９９１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ９９００に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置または方法が、コンピュータ９９００の使用に従い情報の操作または処理を実現することによって構成されてよい。

【0138】

例えば、通信がコンピュータ９９００および外部デバイス間で実行される場合、ＣＰＵ９９１２は、ＲＡＭ９９１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インターフェイス９９２２に対し、通信処理を命令してよい。通信インターフェイス９９２２は、ＣＰＵ９９１２の制御下、ＲＡＭ９９１４、ハードディスクドライブ９９２４、ＤＶＤ－ＲＯＭ９９０１、またはＩＣカードのような記録媒体内に提供される送信バッファ処理領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、またはネットワークから受信された受信データを記録媒体上に提供される受信バッファ処理領域等に書き込む。

【0139】

また、ＣＰＵ９９１２は、ハードディスクドライブ９９２４、ＤＶＤドライブ９９２６（ＤＶＤ－ＲＯＭ９９０１）、ＩＣカード等のような外部記録媒体に格納されたファイルまたはデータベースの全部または必要な部分がＲＡＭ９９１４に読み取られるようにし、ＲＡＭ９９１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ９９１２は次に、処理されたデータを外部記録媒体にライトバックする。

【0140】

様々なタイプのプログラム、データ、テーブル、およびデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ９９１２は、ＲＡＭ９９１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプの操作、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ９９１４に対しライトバックする。また、ＣＰＵ９９１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ９９１２は、第１の属性の属性値が指定される、条件に一致するエントリを当該複数のエントリの中から検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。

【0141】

上で説明したプログラムまたはソフトウェアモジュールは、コンピュータ９９００上またはコンピュータ９９００近傍のコンピュータ可読媒体に格納されてよい。また、専用通信ネットワークまたはインターネットに接続されたサーバーシステム内に提供されるハードディスクまたはＲＡＭのような記録媒体が、コンピュータ可読媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ９９００に提供する。

【0142】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

【0143】

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

【符号の説明】

【0144】

１０ 設備
２０ 本部
１００ 操業システム
２００ 評価モデル生成装置
２１０ ラベリング機能部
２１２ 操業目標取得部
２１４ 状態データ取得部
２１６ 相関データ生成部
２１８ 教師ラベル取得部
２２０ ラベリング部
２２２ ラベリングデータ出力部
２２４ ラベリングモデル更新部
２３０ 機械学習機能部
２４０ ラベリングデータ取得部
２５０ 評価モデル生成部
２５２ 学習部
２５４ 前処理部
２５６ 機械学習部
２６０ 評価モデル判定部
２７０ 評価モデル出力部
３００ 操業モデル生成装置
３１２ 評価モデル取得部
３１４ 学習環境データ取得部
３１６ 操業モデル生成部
３１８ 学習操作指示部
３２０ 操業モデル判定部
３２２ 操業モデル出力部
４００ 制御装置
４１２ 操業モデル取得部
４１４ 実環境データ取得部
４１６ 制御部
４１８ 実操作指示部
９９００ コンピュータ
９９０１ ＤＶＤ－ＲＯＭ
９９１０ ホストコントローラ
９９１２ ＣＰＵ
９９１４ ＲＡＭ
９９１６ グラフィックコントローラ
９９１８ ディスプレイデバイス
９９２０ 入／出力コントローラ
９９２２ 通信インターフェイス
９９２４ ハードディスクドライブ
９９２６ ＤＶＤドライブ
９９３０ ＲＯＭ
９９４０ 入／出力チップ
９９４２ キーボード

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】