特開 2024-8433 評価モデル生成装置、評価モデル生成方法、および、評価モデル生成プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024008433

(43)【公開日】2024-01-19

(54)【発明の名称】評価モデル生成装置、評価モデル生成方法、および、評価モデル生成プログラム

(51)【国際特許分類】

   G06Q 50/04 20120101AFI20240112BHJP

   G05B 23/02 20060101ALI20240112BHJP

   G06N 20/00 20190101ALI20240112BHJP

   C10G 99/00 20060101ALI20240112BHJP

【ＦＩ】

G06Q50/04

G05B23/02 Z

G06N20/00

C10G99/00

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2022110309

(22)【出願日】2022-07-08

(71)【出願人】

【識別番号】000006507

【氏名又は名称】横河電機株式会社

(74)【代理人】

【識別番号】110000877

【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所

(72)【発明者】

【氏名】神宮 善行

(72)【発明者】

【氏名】岡本 浩実

(72)【発明者】

【氏名】御供 頌弘

(72)【発明者】

【氏名】▲高▼見 豪

(72)【発明者】

【氏名】佐藤 正彦

(72)【発明者】

【氏名】藤井 英幸

【テーマコード（参考）】

3C223

4H129

5L049

【Ｆターム（参考）】

3C223AA05

3C223BA03

3C223CC02

3C223DD03

3C223EB05

3C223FF02

3C223FF03

3C223FF04

3C223FF12

3C223FF22

3C223FF26

3C223FF42

3C223GG01

3C223HH03

3C223HH08

3C223HH29

4H129AA02

4H129CA01

4H129LA14

4H129LA16

4H129NA43

4H129NA45

5L049CC03

(57)【要約】      （修正有）

【課題】評価モデルを提供する評価モデル生成装置、評価モデル生成方法及び評価モデル生成プログラムを提供する。
【解決手段】評価モデル生成装置１００は、原材料から製品を製造する設備において用いられる前記原材料の性状を示す性状データを取得する性状データ取得部と、前記性状データに基づいて、前記設備の状態を評価した指標を出力する評価モデルを生成するか否かを判定する判定部と、前記判定の結果に応じて、機械学習により前記評価モデルを生成する評価モデル生成部と、を備える。判定部は、前記性状データに基づいて対象とする原材料が過去に用いられた原材料と性状が類似しないと判断した場合に、前記評価モデルを生成すると判定する。
【選択図】図１

【特許請求の範囲】

【請求項1】

原材料から製品を製造する設備において用いられる前記原材料の性状を示す性状データを取得する性状データ取得部と、
前記性状データに基づいて、前記設備の状態を評価した指標を出力する評価モデルを生成するか否かを判定する判定部と、
前記判定の結果に応じて、機械学習により前記評価モデルを生成する評価モデル生成部と、
を備える、評価モデル生成装置。

【請求項2】

前記判定部は、前記性状データに基づいて対象とする原材料が過去に用いられた原材料と性状が類似しないと判断した場合に、前記評価モデルを生成すると判定する、請求項１に記載の評価モデル生成装置。

【請求項3】

前記判定部は、前記性状データをクラスタリングした結果、前記対象とする原材料が前記過去に用いられた原材料と異なるクラスタに属する場合に、前記対象とする原材料が前記過去に用いられた原材料と性状が類似しないと判断する、請求項２に記載の評価モデル生成装置。

【請求項4】

前記判定部は、前記対象とする原材料の前記性状データが、前記過去に用いられた原材料の前記性状データを階層的クラスタリングによりグルーピングした１または複数のクラスタのいずれに対してもデータ間の距離が予め定められた閾値以上である場合に、前記対象とする原材料が前記過去に用いられた原材料と性状が類似しないと判断する、請求項３に記載の評価モデル生成装置。

【請求項5】

前記原材料は、原油を少なくとも含む、請求項１から４のいずれか一項に記載の評価モデル生成装置。

【請求項6】

前記性状データは、前記原油の化学的性状、または、物理的性状の少なくともいずれかを示すデータを有する、請求項５に記載の評価モデル生成装置。

【請求項7】

前記化学的性状は、炭素、水素、硫黄、窒素、酸素、または、金属の少なくともいずれかの含有量を含む、請求項６に記載の評価モデル生成装置。

【請求項8】

前記化学的性状は、炭化水素の分子構造のタイプを含む、請求項６に記載の評価モデル生成装置。

【請求項9】

前記物理的性状は、比重、蒸気圧、動粘度、または、流動点の少なくともいずれかを含む、請求項６に記載の評価モデル生成装置。

【請求項10】

前記原材料は、化石燃料または水の少なくともいずれか含む、請求項１から４のいずれか一項に記載の評価モデル生成装置。

【請求項11】

前記評価モデルの出力を報酬の少なくとも一部とした強化学習により、前記設備の状態に応じた行動を出力する操業モデルを生成する操業モデル生成部を更に備える、請求項１から４のいずれか一項に記載の評価モデル生成装置。

【請求項12】

前記操業モデルを用いて前記設備における制御対象を制御する制御部を更に備える、請求項１１に記載の評価モデル生成装置。

【請求項13】

コンピュータにより実行され、前記コンピュータが、
原材料から製品を製造する設備において用いられる前記原材料の性状を示す性状データを取得することと、
前記性状データに基づいて、前記設備の状態を評価した指標を出力する評価モデルを生成するか否かを判定することと、
前記判定の結果に応じて、機械学習により前記評価モデルを生成することと、
を備える、評価モデル生成方法。

【請求項14】

コンピュータにより実行され、前記コンピュータを、
原材料から製品を製造する設備において用いられる前記原材料の性状を示す性状データを取得する性状データ取得部と、
前記性状データに基づいて、前記設備の状態を評価した指標を出力する評価モデルを生成するか否かを判定する判定部と、
前記判定の結果に応じて、機械学習により前記評価モデルを生成する評価モデル生成部と、
して機能させる、評価モデル生成プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、評価モデル生成装置、評価モデル生成方法、および、評価モデル生成プログラムに関する。

【背景技術】

【0002】

特許文献１には、「モデル４５は測定データの入力に応じ報酬値を高めるために推奨される第１種類の制御内容を示す推奨制御パラメータを出力する」と記載されている。また、非特許文献１には、「ＦＫＤＰＰ（Ｆａｃｔоｒｉａｌ Ｋｅｒｎｅｌ Ｄｙｎａｍｉｃ Ｐоｌｉｃｙ Ｐｒоｇｒａｍｍｉｎｇ）」が記載されている。
［先行技術文献］
［特許文献］
［特許文献１］ 特開２０２１－０８６２８３
［非特許文献］
［非特許文献１］ "横河電機とＮＡＩＳＴが化学プラント向けに強化学習"，日経Ｒｏｂｏｔｉｃｓ ２０１９年３月号

【発明の概要】

【0003】

本発明の第１の態様においては、評価モデル生成装置を提供する。前記評価モデル生成装置は、原材料から製品を製造する設備において用いられる前記原材料の性状を示す性状データを取得する性状データ取得部と、前記性状データに基づいて、前記設備の状態を評価した指標を出力する評価モデルを生成するか否かを判定する判定部と、前記判定の結果に応じて、機械学習により前記評価モデルを生成する評価モデル生成部と、を備える。

【0004】

前記評価モデル生成装置において、前記判定部は、前記性状データに基づいて対象とする原材料が過去に用いられた原材料と性状が類似しないと判断した場合に、前記評価モデルを生成すると判定してもよい。

【0005】

前記評価モデル生成装置のいずれかにおいて、前記判定部は、前記性状データをクラスタリングした結果、前記対象とする原材料が前記過去に用いられた原材料と異なるクラスタに属する場合に、前記対象とする原材料が前記過去に用いられた原材料と性状が類似しないと判断してもよい。

【0006】

前記評価モデル生成装置のいずれかにおいて、前記判定部は、前記対象とする原材料の前記性状データが、前記過去に用いられた原材料の前記性状データを階層的クラスタリングによりグルーピングした１または複数のクラスタのいずれに対してもデータ間の距離が予め定められた閾値以上である場合に、前記対象とする原材料が前記過去に用いられた原材料と性状が類似しないと判断してもよい。

【0007】

前記評価モデル生成装置のいずれかにおいて、前記原材料は、原油を少なくとも含んでもよい。

【0008】

前記評価モデル生成装置のいずれかにおいて、前記性状データは、前記原油の化学的性状、または、物理的性状の少なくともいずれかを示すデータを有してもよい。

【0009】

前記評価モデル生成装置のいずれかにおいて、前記化学的性状は、炭素、水素、硫黄、窒素、酸素、または、金属の少なくともいずれかの含有量を含んでもよい。

【0010】

前記評価モデル生成装置のいずれかにおいて、前記化学的性状は、炭化水素の分子構造のタイプを含んでもよい。

【0011】

前記評価モデル生成装置のいずれかにおいて、前記物理的性状は、比重、蒸気圧、動粘度、または、流動点の少なくともいずれかを含んでもよい。

【0012】

前記評価モデル生成装置のいずれかにおいて、前記原材料は、化石燃料または水の少なくともいずれかを含んでもよい。

【0013】

前記評価モデル生成装置のいずれかは、前記評価モデルの出力を報酬の少なくとも一部とした強化学習により、前記設備の状態に応じた行動を出力する操業モデルを生成する操業モデル生成部を更に備えてもよい。

【0014】

前記評価モデル生成装置のいずれかは、前記操業モデルを用いて前記設備における制御対象を制御する制御部を更に備えてもよい。

【0015】

本発明の第２の態様においては、評価モデル生成方法を提供する。前記評価モデル生成方法は、コンピュータにより実行され、前記コンピュータが、原材料から製品を製造する設備において用いられる前記原材料の性状を示す性状データを取得することと、前記性状データに基づいて、前記設備の状態を評価した指標を出力する評価モデルを生成するか否かを判定することと、前記判定の結果に応じて、機械学習により前記評価モデルを生成することと、を備える。

【0016】

本発明の第３の態様においては、評価モデル生成プログラムを提供する。前記評価モデル生成プログラムは、コンピュータにより実行され、前記コンピュータを、原材料から製品を製造する設備において用いられる前記原材料の性状を示す性状データを取得する性状データ取得部と、前記性状データに基づいて、前記設備の状態を評価した指標を出力する評価モデルを生成するか否かを判定する判定部と、前記判定の結果に応じて、機械学習により前記評価モデルを生成する評価モデル生成部と、して機能させる。

【0017】

なお、上記の発明の概要は、本発明の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

【図面の簡単な説明】

【0018】

【図1】本実施形態に係る評価モデル生成装置１００のブロック図の一例を、設備１０とともに示す。

【図2】設備１０の一例である製油所における石油精製フローの一例を示す。

【図3】原材料と評価モデルの対応関係の一例を示す。

【図4】本実施形態に係る評価モデル生成装置１００が実行する評価モデル生成方法のフロー図の一例を示す。

【図5】原油Ｅが追加される前における性状データのデータ空間およびデンドログラムの一例を示す。

【図6】原油Ｅが追加された後における性状データのデータ空間およびデンドログラムの一例を示す。

【図7】本実施形態の第１の変形例に係る評価モデル生成装置１００のブロック図の一例を、設備１０とともに示す。

【図8】本実施形態の第２の変形例に係る評価モデル生成装置１００のブロック図の一例を、設備１０とともに示す。

【図9】本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ９９００の例を示す。

【発明を実施するための形態】

【0019】

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

【0020】

図１は、本実施形態に係る評価モデル生成装置１００のブロック図の一例を、設備１０とともに示す。なお、これらブロックは、それぞれ機能的に分離された機能ブロックであって、実際の装置構成とは必ずしも一致していなくてもよい。すなわち、本図において、１つのブロックとして示されているからといって、それが必ずしも１つの装置により構成されていなくてもよい。また、本図において、別々のブロックとして示されているからといって、それらが必ずしも別々の装置により構成されていなくてもよい。これより先のブロック図についても同様である。

【0021】

設備１０は、原材料から製品を製造する装置（群）である。例えば、設備１０は、プラントであってもよいし、複数の機器を複合させた複合装置であってもよい。プラントとしては、化学やバイオ等の工業プラントの他、ガス田や油田等の井戸元やその周辺を管理制御するプラント、水力・火力・原子力等の発電を管理制御するプラント、太陽光や風力等の環境発電を管理制御するプラント、上下水やダム等を管理制御するプラント等が挙げられる。

【0022】

設備１０には、様々な制御対象が設けられ、また、設備１０の内外における様々な状態（物理量）を測定可能な１または複数のセンサが設けられていてよい。一例として、このようなセンサは、設備１０の様々な位置における温度や、様々な経路における流量等を測定した測定値ＰＶ（Ｐｒｏｃｅｓｓ Ｖａｒｉａｂｌｅ）を出力してよい。設備１０の状態を示す状態データには、このような測定値ＰＶが含まれていてよい。また、状態データには、制御対象（例えば、バルブ）の開閉度等を示す操作量ＭＶ（Ｍａｎｉｐｕｌａｔｅｄ Ｖａｒｉａｂｌｅ）が含まれていてよい。状態データには、このように制御対象を制御した結果の運転状態を示す運転データに加えて、設備１０におけるエネルギーや原材料の消費量を示す消費量データや、制御対象の制御に対して外乱として作用し得る物理量を示す外乱環境データ等が含まれていてもよい。

【0023】

ここで、設備１０を操業するにあたっては、操業目標に照らして設備１０の状態を適切に評価することが望まれている。設備１０の状態を評価するにあたって、設備１０の状態を示す状態データを入力したことに応じて、設備１０の状態を評価した指標を出力するように機械学習された評価モデルを用いることが考えられる。

【0024】

設備１０が、例えば、原油を精製して複数の石油製品を製造（生産）する製油所であるとする。この場合、設備１０において用いられる原材料は、原油を少なくとも含むこととなる。しかしながら、原油は、産出地域や産出時期によって性状に大きな違いがあることが知られている。なお、「性状」とは、物の性質または状態の少なくともいずれかを意味するものと解釈されてよい。このような性状の違いは、反応、腐食性、および、被毒性等の違いを生じさせるうえに、製造に適した製品の変化や製品の品質等にも違いを生じさせる。

【0025】

設備１０の操業目標においては、品質確保、省エネルギー、ＧＨＧ（ＧｒｅｅｎＨｏｕｓｅ Ｇａｓ）削減、および、歩留まり向上等、複数の項目を設定可能であり、各項目についての目標値も様々に設定可能である。このような操業目標の設定は、原油ごとに最適化することが理想である。すなわち、原油ごとに評価モデルをそれぞれ生成することが理想である。しかしながら、原油の産出地域や産出時期が変わる度に評価モデルを新たに生成するとなると、機械学習の頻度が増加することにより処理負荷が増大するうえに、設備１０の操業を開始するに先立って評価モデルを新たに生成する必要があるためタイムロスが発生する。

【0026】

そこで、本実施形態に係る評価モデル生成装置１００は、設備１０の状態を評価する評価モデルを生成するにあたって、原材料の性状を示す性状データに基づいて評価モデルを生成するか否かを判定し、判定の結果に応じて、機械学習により評価モデルを生成する。

【0027】

これより先、設備１０が、製油所である場合を一例として説明する。しかしながら、これに限定されるものではない。設備１０は、原材料から製品を製造し得るいかなる装置（群）であってもよいが、原材料の性状が操業に及ぼす影響が比較的大きな装置（群）であると、特に好ましい。このような設備１０としては、例えば、石炭の硫黄分が燃焼度合いに大きな影響を与え得る石炭火力発電所や、原水の液質が薬剤の投下量に大きな影響を与え得る浄水場等が挙げられる。例えば、設備１０が火力発電所である場合、原材料は、化石燃料（石油、石炭、および、天然ガス等）や水を含んでよく、製品は電力であってよい。また、例えば、設備１０が浄水場である場合、原材料は少なくとも原水（川の水等）を含んでよく、製品は浄化水であってよい。このように、設備１０は、業種や規模等が何ら限定されるものではない。

【0028】

評価モデル生成装置１００は、ＰＣ（パーソナルコンピュータ）、タブレット型コンピュータ、スマートフォン、ワークステーション、サーバコンピュータ、または汎用コンピュータ等のコンピュータであってよく、複数のコンピュータが接続されたコンピュータシステムであってもよい。このようなコンピュータシステムもまた広義のコンピュータである。また、評価モデル生成装置１００は、コンピュータ内で１または複数実行可能な仮想コンピュータ環境によって実装されてもよい。これに代えて、評価モデル生成装置１００は、評価モデルの生成用に設計された専用コンピュータであってもよく、専用回路によって実現された専用ハードウェアであってもよい。また、インターネットに接続可能な場合、評価モデル生成装置１００は、クラウドコンピューティングにより実現されてもよい。

【0029】

評価モデル生成装置１００は、評価モデル記憶部１１０と、性状データ取得部１２０と、判定部１３０と、評価モデル生成部１４０と、評価モデル出力部１５０と、を備える。

【0030】

評価モデル記憶部１１０は、評価モデルを記憶する。例えば、評価モデル記憶部１１０は、１または複数の評価モデルを、設備１０において用いられる原材料と対応付けて記憶してよい。より詳細には、評価モデル記憶部１１０は、原材料をクラスタリングした１または複数のクラスタごとに評価モデルを記憶してよい。これについては、詳細を後述する。この際、評価モデル記憶部１１０は、自装置内（後述する、評価モデル生成部１４０）で生成された評価モデルに加えて、他の装置により生成された評価モデルを記憶することもできる。

【0031】

性状データ取得部１２０は、原材料から製品を製造する設備１０において用いられる原材料の性状を示す性状データを取得する。例えば、性状データ取得部１２０は、このような性状データを、ネットワークを介して設備１０から取得してよい。しかしながら、これに限定されるものではない。性状データ取得部１２０は、性状データを、ユーザ入力や各種メモリデバイス等の他の手段を介して取得してもよいし、設備１０とは異なる他の装置から取得してもよい。性状データ取得部１２０は、取得した性状データを判定部１３０へ供給する。

【0032】

判定部１３０は、性状データに基づいて、設備１０の状態を評価した指標を出力する評価モデルを生成するか否かを判定する。例えば、判定部１３０は、評価モデル記憶部１１０に記憶されている性状データを参照して、性状データ取得部１２０により取得された性状データに基づいて、評価モデルを生成するか否かを判定してよい。判定部１３０は、判定した結果を、性状データ取得部１２０により取得された性状データとともに、評価モデル生成部１４０へ供給する。

【0033】

評価モデル生成部１４０は、判定の結果に応じて、機械学習により評価モデルを生成する。評価モデル生成部１４０は、生成した新たな評価モデルを、性状データ取得部１２０により取得された性状データとともに、評価モデル出力部１５０へ供給する。

【0034】

評価モデル出力部１５０は、評価モデルを出力する。例えば、評価モデル出力部１５０は、評価モデル生成部１４０により生成された評価モデルを、ネットワークを介して他の装置へ送信することにより出力してよい。しかしながら、これに限定されるものではない。評価モデル出力部１５０は、生成された評価モデルを、各種メモリデバイスに書き出すことにより出力してもよいし、モニタに表示することにより出力してもよい。

【0035】

また、評価モデル出力部１５０は、生成された評価モデルを、性状データ取得部１２０により取得された性状データとともに、評価モデル記憶部１１０へ供給してよい。これに応じて、評価モデル記憶部１１０は、生成された評価モデルを原材料と対応付けて新たに記憶してよい。

【0036】

図２は、設備１０の一例である製油所における石油精製フローの一例を示す。製油所では、幅広い沸点範囲の炭化水素の混合物である原油を精製して複数の石油製品を生産する。一般に、製油所では、原油を常圧蒸留装置（ＣＤＵ：Ｃｒｕｄｅ Ｄｉｓｔｉｌｌａｔｉｏｎ Ｕｎｉｔ）で蒸留し、カット温度により沸点範囲の異なる留分、すなわち、ガス留分、ナフサ留分、灯油留分、軽油留分、重油留分、および、残留分に分離する。ガス留分からは、ＬＰガスが生産される。ナフサ留分は、ナフサ水素化脱硫装置で水素化脱硫された後、接触改質装置（ＣＲＵ：Ｃａｔａｌｙｔｉｃ Ｒｅｆｏｒｍｉｎｇ Ｕｎｉｔ）で接触改質され、脱ベンゼン装置でベンゼンが分離されて、ガソリン、ナフサ、および、芳香族等が生産される。灯油留分は、灯油水素化脱硫装置で水素化脱硫されて灯油が生産される。軽油留分は、ディーゼル脱硫装置で脱硫されて軽油が生産される。重油留分は、重油直接脱硫装置で水素が脱硫されて重油が生産される。重油留分は、また、減圧蒸留装置（ＶＤＵ：Ｖａｃｕｕｍ Ｄｉｓｔｒｉｌｌａｔｉｏｎ Ｕｎｉｔ）で軽質留分および重質留分に分離される。ＶＤＵで分離された軽質留分は、重油間接脱硫装置で水素が脱硫された後、流動接触分解装置（ＦＣＣ：Ｆｌｕｉｄ Ｃａｔａｌｙｔｉｃ Ｃｒａｃｋｉｎｇ）で触媒分解され、ＦＣＣガソリン脱硫装置で水素が脱硫されて、ガソリンが生産される。あるいは、ＶＤＵで分離された軽質留分は、水素化分解装置（ＨＣＵ：Ｈｙｄｒｏｃｒａｃｋｅｒ Ｕｎｉｔ）で処理される。一方、ＶＤＵで分離された重質留分は、熱分解装置（Ｃｏｋｅｒ）で熱分解されてコークスが生産されるほか、アスファルト製造装置で処理されてアスファルトが生産される。

【0037】

図３は、原材料と評価モデルの対応関係の一例を示す。本図においては、原材料が、原油を少なくとも含む場合を一例として示している。しかしながら、これに限定されるものではなく、原材料は、例えば、化石燃料または水の少なくともいずれかを含んでもよい。評価モデル記憶部１１０は、例えば本図に示されるように、１または複数の評価モデルを、設備１０において用いられる原材料を示すデータと対応付けて記憶してよい。

【0038】

原材料を示すデータは、例えば、原材料を識別する識別情報と、原材料の性状を示す性状データとにより構成されてよい。

【0039】

本図においては、一例として、原材料を識別する識別情報として、原油Ａ、原油Ｂ、原油Ｃ、および、原油Ｄの４つの識別情報が示されている。ここで、原油Ａ、原油Ｂ、原油Ｃ、および、原油Ｄにより識別される原油は、設備１０において過去に用いられたものであってよく、例えば、産出地域、または、産出時期の少なくともいずれかがそれぞれ異なるものであってよい。

【0040】

原材料の性状を示す性状データは、原油の化学的性状、または、物理的性状の少なくともいずれかを示すデータを有してよい。本図においては、性状データが、化学的性状および物理的性状の両者を有する場合を一例として示している。

【0041】

原油は、炭化水素を主成分とした天然物である。原油は、主成分である炭化水素の分子構造のタイプによって、パラフィン系炭化水素を多量に含む原油（「パラフィン基原油」という）、ナフテン系炭化水素を多量に含む原油（「ナフテン基原油」という）、パラフィン基原油とナフテン基原油の中間の原油（「混合基原油」という）、および、芳香族炭化水素を多量に含む原油（「特殊原油」という）等のように、様々に分類される。

【0042】

ここで、パラフィン基原油は潤滑油やワックス、ナフテン基原油はガソリンやアスファルト、混合基原油は灯油や潤滑油や重油、特殊原油はガソリンや溶剤等のように、炭化水素の分子構造のタイプによって生産に適した製品がそれぞれ異なる。したがって、化学的性状は、炭化水素の分子構造のタイプを含むと特に好ましい。

【0043】

また、原油は、主成分である炭化水素に加えて、微量の硫黄、窒素、酸素、および、金属などを含む。原油の組成（質量％）は、一般に、炭素が８３～８７％、水素が１１～１４％、硫黄が５％以下、窒素が０．４％以下、酸素が０．５％以下、金属が０．５％以下の範囲である。

【0044】

ここで、硫黄、窒素、酸素、および、金属は、量的には炭素や水素に比べると少ないものの、石油精製や石油製品品質に大きな影響を及ぼす。例えば、硫黄は、燃焼によって亜硫酸ガスとなり石油製品の劣化、装置の腐食、および、触媒被毒などを起こす原因になることがある。また、金属（特に、重金属類）は、プラントの触媒毒になることがある。したがって、化学的性状は、炭素、水素、硫黄、窒素、酸素、または、金属の少なくともいずれかの含有量を含むと特に好ましい。

【0045】

また、原油は、比重によって、特軽質原油、軽質原油、中質原油、重質原油、および、特重質原油等のように、様々に分類される。なお、ここでいう「比重」という用語には、値が等価である「密度」をも含まれるものと解釈されてよい。また、蒸気圧、動粘度、および、流動点等も原油の貯蔵や制御の観点から重要な項目である。したがって、物理的性状は、比重、蒸気圧、動粘度、または、流動点の少なくともいずれかを含むと特に好ましい。

【0046】

本図においては、このような化学的性状や物理的性状を示す性状データに基づいて、原油Ａと原油Ｂとが同一のクラスタ１にクラスタリングされ、原油Ｃと原油Ｄとが同一のクラスタ２にクラスタリングされ、そして、クラスタ１に評価モデル１が対応付けられ、クラスタ２に評価モデル２が対応付けられている場合を一例として示している。これは、設備１０において原油ＡまたはＢが用いられる場合に、設備１０の状態を評価するために評価モデル１が用いられ、設備１０において原油ＣまたはＤが用いられる場合に、設備１０の状態を評価するために評価モデル２が用いられることを意味している。

【0047】

例えば、このような状況下で設備１０において対象とする原材料として原油Ｅが用いられる場合に、本実施形態に係る評価モデル生成装置１００は、原油Ｅの性状データに基づいて評価モデルを生成するか否かを判定し、判定の結果に応じて、機械学習により評価モデルを生成する。これについてフローを用いて詳細に説明する。

【0048】

図４は、本実施形態に係る評価モデル生成装置１００が実行する評価モデル生成方法のフロー図の一例を示す。本フローを実行するのに先立ち、評価モデル記憶部１１０は、図３に示されるように、クラスタ１に対応する評価モデル１およびクラスタ２に対応する評価モデル２を予め記憶しているものとする。

【0049】

ステップＳ４１０において、評価モデル生成装置１００は、性状データを取得する。例えば、性状データ取得部１２０は、原材料から製品を製造する設備１０において用いられる原材料の性状を示す性状データを、ネットワークを介して設備１０から取得してよい。一例として、性状データ取得部１２０は、設備１０において用いられる対象とする原材料である原油Ｅの性状を示す性状データＰｅを取得してよい。

【0050】

性状データＰｅは、上述のとおり、原油Ｅの化学的性状、または、物理的性状の少なくともいずれかを示すデータを有してよい。また、化学的性状は、炭化水素の分子構造のタイプや、炭素、水素、硫黄、窒素、酸素、または、金属の少なくともいずれかの含有量を含むと特に好ましい。また、物理的性状は、比重、蒸気圧、動粘度、または、流動点の少なくともいずれかを含むと特に好ましい。ここでは、性状データＰｅが、上述の項目の全てを示すデータを有しているものとする。性状データ取得部１２０は、取得した性状データＰｅを判定部１３０へ供給する。

【0051】

ステップＳ４２０において、評価モデル生成装置１００は、ｉ＝１にセットする。ここで、ｉは、クラスタのインデックスを示している。これにより、評価モデル生成装置１００は、クラスタのインデックスを初期化する。

【0052】

ステップＳ４３０において、評価モデル生成装置１００は、データ間の距離Ｄｉを算出する。例えば、判定部１３０は、ステップＳ４１０において取得された性状データＰｅとクラスタｉとの間におけるデータ間の距離Ｄｉを算出してよい。この際、判定部１３０は、一例として、性状データＰｅとクラスタｉにクラスタリングされる全ての原材料の性状データとの間の距離を平均することにより、距離Ｄｉを算出してよい。なお、上述の説明では、判定部１３０が群平均法を用いて距離Ｄｉを算出する場合を一例として示したが、これに限定されるものではない。判定部１３０は、例えば、ウォード法等、他の手法を用いて距離Ｄｉを算出してもよい。

【0053】

一例として、ｉ＝１の場合、判定部１３０は、原油Ｅの性状を示す性状データＰｅとクラスタ１にクラスタリングされる原油Ａの性状を示す性状データＰａとの間におけるデータ間の距離Ｄａｅ、および、原油Ｅの性状を示す性状データＰｅとクラスタ１にクラスタリングされる原油Ｂの性状を示す性状データＰｂとの間におけるデータ間の距離Ｄｂｅをそれぞれ算出し、距離Ｄａｅおよび距離Ｄｂｅを平均することにより、性状データＰｅとクラスタ１との間におけるデータ間の距離Ｄ１を算出してよい。

【0054】

ステップＳ４４０において、評価モデル生成装置１００は、ｉ＝ｎであるか否か判定する。ここで、ｎは、クラスタのインデックスの最大値を示している。例えば、評価モデル記憶部１１０がクラスタ１に対応する評価モデル１およびクラスタ２に対応する評価モデル２を記憶している場合、ｎ＝２となる。ｉ＝１の場合、ｉ＝ｎではない（Ｎｏ）ので、評価モデル生成装置１００は、処理をステップＳ４４５へ進める。

【0055】

ステップＳ４４５において、評価モデル生成装置１００は、ｉ＝ｉ＋１にセットする。これにより、評価モデル生成装置１００は、クラスタのインデックスをインクリメントする。そして、評価モデル生成装置１００は、処理をステップＳ４３０に戻してフローを継続する。

【0056】

ステップＳ４３０において、ｉ＝２の場合、判定部１３０は、原油Ｅの性状を示す性状データＰｅとクラスタ２にクラスタリングされる原油Ｃの性状を示す性状データＰｃとの間におけるデータ間の距離Ｄｃｅ、および、原油Ｅの性状を示す性状データＰｅとクラスタ２にクラスタリングされる原油Ｄの性状を示す性状データＰｄとの間におけるデータ間の距離Ｄｄｅをそれぞれ算出し、距離Ｄｃｅおよび距離Ｄｄｅを平均することにより、性状データＰｅとクラスタ２との間におけるデータ間の距離Ｄ２を算出してよい。

【0057】

ステップＳ４４０において、ｉ＝２の場合、ｉ＝ｎである（Ｙｅｓ）ので、評価モデル生成装置１００は、処理をステップＳ４５０へ進める。

【0058】

ステップＳ４５０において、評価モデル生成装置１００は、距離Ｄ１から距離Ｄｎが閾値以上であるか否か判定する。例えば、判定部１３０は、ｉ＝１からｉ＝２までステップＳ４３０からステップＳ４４５の処理を繰り返すことによって算出された距離Ｄ１および距離Ｄ２のそれぞれを、予め定められた閾値と比較してよい。そして、判定部１３０は、距離Ｄ１および距離Ｄ２のいずれもが閾値以上である（Ｙｅｓ）場合、対象とする原材料である原油Ｅをクラスタ１およびクラスタ２とは異なるクラスタ３にクラスタリングしてよい。これにより、判定部１３０は、対象とする原材料である原油Ｅが過去に用いられた原材料である原油Ａから原油Ｄのいずれとも性状が類似しないと判断してよい。なお、「類似」とは、似ていることに加えて同一であることをも含むものと解釈されてよい。評価モデル生成装置１００は、処理をステップＳ４６０へ進める。

【0059】

ステップＳ４６０において、評価モデル生成装置１００は、評価モデルを生成すると判定する。例えば、判定部１３０は、対象とする原材料である原油Ｅに対応する評価モデルを生成すると判定してよい。これにより、判定部１３０は、性状データに基づいて対象とする原材料が過去に用いられた原材料と性状が類似しないと判断した場合に、評価モデルを生成すると判定してよい。判定部１３０は、判定した結果を、性状データＰｅとともに、評価モデル生成部１４０へ供給する。

【0060】

ステップＳ４７０において、評価モデル生成装置１００は、評価モデルを生成する。例えば、評価モデル生成部１４０は、設備１０の状態を評価した指標を出力する評価モデルを生成してよい。一例として、評価モデル生成部１４０は、設備１０における操業目標（プラントＫＰＩ（Ｋｅｙ Ｐｅｒｆｏｒｍａｎｃｅ Ｉｎｄｉｃａｔｏｒ：重要業績評価指標）等）、設備１０の状態を示す状態データ、および、教師ラベルを取得し、これらに基づいてラベリングデータを生成してよい。そして、評価モデル生成部１４０は、生成したラベリングデータを学習データとして、機械学習のアルゴリズムにより評価モデルを生成してよい。評価モデルの生成処理自体については任意であってよいので、更なる詳細についてはここでは説明を省略する。評価モデル生成部１４０は、例えばこのようにして、判定の結果に応じて、機械学習によりクラスタ３に対応する評価モデル３を生成してよい。評価モデル生成部１４０は、生成した評価モデル３を、性状データＰｅとともに、評価モデル出力部１５０へ供給する。

【0061】

ステップＳ４８０において、評価モデル生成装置１００は、生成された評価モデルを出力する。例えば、評価モデル出力部１５０は、ステップＳ４７０において生成された評価モデル３を、ネットワークを介して他の装置へ送信してよい。

【0062】

ここで、制御装置が、設備１０の状態に応じた行動を出力する操業モデルを用いて、設備１０における制御対象を制御する技術が、いわゆるＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）制御として知られている。また、操業モデル生成装置が、評価モデルの出力を報酬の少なくとも一部とした強化学習により、ＡＩ制御に用いられる操業モデルを生成することが考えられる。したがって、評価モデル出力部１５０は、生成された評価モデル３をこのような操業モデル生成装置へ送信してよい。これに応じて、操業モデル生成装置は、評価モデルの出力を報酬の少なくとも一部とした強化学習により、設備１０の状態に応じた行動を出力する操業モデルを生成してよい。そして、操業モデル生成装置は、生成された操業モデルを制御装置へ送信してよい。これに応じて、制御装置は、操業モデルを用いて設備１０に設けられた制御対象を制御、すなわち、ＡＩ制御してよい。

【0063】

また、評価モデル出力部１５０は、ステップＳ４７０において生成された評価モデル３を、性状データＰｅとともに、評価モデル記憶部１１０へ供給してよい。これに応じて、評価モデル記憶部１１０は、クラスタ３に対応する評価モデル３を、原油Ｅの性状データと対応付けて新たに記憶してよい。

【0064】

ステップＳ４９０において、評価モデル生成装置１００は、ｎ＝ｎ＋１にセットする。これにより、評価モデル生成装置１００は、クラスタのインデックスの最大値をインクリメントする。

【0065】

一方、ステップＳ４５０において、評価モデル生成装置１００は、距離Ｄ１から距離Ｄｎのいずれかが閾値以上でない（Ｎｏ）場合、対象とする原材料である原油Ｅが過去に用いられた原材料である原油Ａから原油Ｄのいずれかと性状が類似すると判断してよい。評価モデル生成装置１００は、処理をステップＳ４６５へ進める。

【0066】

ステップＳ４６５において、評価モデル生成装置１００は、評価モデルを生成しないと判定する。例えば、判定部１３０は、対象とする原材料である原油Ｅに対応する評価モデルを生成せずに、過去に用いられた原材料に対応する評価モデルを再利用すると判定してよい。これにより、判定部１３０は、性状データに基づいて対象とする原材料が過去に用いられた原材料と性状が類似すると判断した場合に、評価モデルを生成しないと判定してよい。この場合、評価モデル生成装置１００は、ステップＳ４７０～ステップＳ４９０を省略して、評価モデルの生成に関する処理を実行することなくフローを終了する。

【0067】

なお、この際、評価モデル生成装置１００は、再利用する評価モデルまたは当該評価モデルを識別する情報を出力してもよい。一例として、判定部１３０は、評価モデルを生成しないと判定した場合、距離Ｄ１から距離Ｄｎのうち距離が最も小さかったクラスタのインデックスを、判定結果として評価モデル生成部１４０へ供給してよい。そして、評価モデル生成部１４０は、当該クラスタのインデックスを評価モデル出力部１５０へ転送してよい。これに応じて、評価モデル出力部１５０は、インデックスにより示されるクラスタに対応する評価モデルを評価モデル記憶部１１０から読み出し、これを出力してよい。これに代えて、評価モデル出力部１５０は、評価モデル自体ではなく、評価モデルを識別する情報、例えば、クラスタのインデックスを出力してもよい。

【0068】

図５は、原油Ｅが追加される前における性状データのデータ空間およびデンドログラムの一例を示す。これより先、評価モデル生成装置１００が性状データをクラスタリングするにあたって、階層的クラスタリングを用いる場合を一例として説明する。階層的クラスタリングを用いる場合、処理が比較的単純である上、クラス分けの過程が明確化できるので好ましい。しかしながら、これに限定されるものではない。評価モデル生成装置１００は、性状データをクラスタリングするにあたって、ｋ－ｍｅａｎｓ法、ｋ－ｍｅａｎｓ＋＋法、および、ｘ－ｍｅａｎｓ法等の非階層的クラスタリングを用いてもよい。

【0069】

本図左は、性状データのデータ空間を示している。本図左に示されるように、原油Ａと原油Ｂがクラスタ１にクラスタリングされ、原油Ｃと原油Ｄがクラスタ２にクラスタリングされている。

【0070】

本図右は、デンドログラムを示している。デンドログラムとは、クラスタリング過程において各個体がクラスタにまとめられていく様を樹形図の形で表したものである。デンドログラムによれば、原油Ａと原油Ｂとがデータ間の距離が近い（閾値未満である）ため同一のクラスタにクラスタリングされ、原油Ｃと原油Ｄとがデータ間の距離が近いため同一のクラスタにクラスタリングされる一方で、原油Ａおよび原油Ｂと、原油Ｃおよび原油Ｄとがデータ間の距離が遠い（閾値以上である）ため、異なるクラスタにクラスタリングされていることが分かる。判定部１３０は、性状データをクラスタリングするにあたって、このようなデンドログラムを出力（例えば、モニタに表示）することにより、クラスタが形成される過程を可視化してもよい。

【0071】

図６は、原油Ｅが追加された後における性状データのデータ空間およびデンドログラムの一例を示す。図６においては、図５と同じ機能および構成を有する部材に対して同じ符号を付すとともに、以下相違点を除き説明を省略する。

【0072】

デンドログラムによれば、原油Ｅとクラスタ１とがデータ間の距離が遠く（閾値以上であり）、原油Ｅとクラスタ２ともデータ間の距離が遠いため、原油Ｅがクラスタ１およびクラスタ２とは異なるクラスタ３にクラスタリングされていることが分かる。このように、判定部１３０は、対象とする原材料の性状データが、過去に用いられた原材料の性状データを階層的クラスタリングによりグルーピングした１または複数のクラスタのいずれに対してもデータ間の距離が予め定められた閾値以上である場合に、対象とする原材料を既存のクラスタとは異なるクラスタにクラスタリングし、対象とする原材料が過去に用いられた原材料と性状が類似しないと判断してよい。

【0073】

なお、図５および図６においては、評価モデル生成装置１００が性状データをクラスタリングするにあたって、階層的クラスタリングを用いる場合を一例として示しているが、上述のとおり、評価モデル生成装置１００は、性状データをクラスタリングするにあたって、非階層的クラスタリングを用いてもよい。すなわち、判定部１３０は、性状データをクラスタリングした結果、対象とする原材料が過去に用いられた原材料と異なるクラスタに属する場合に、対象とする原材料が過去に用いられた原材料と性状が類似しないと判断してよく、クラスタリングの手法自体は何ら限定されるものではない。

【0074】

設備１０において、産出地域や産出時期等により複数に識別される原材料が用いられる場合に、原材料ごとに評価モデルをそれぞれ生成すると、処理負荷が増大するうえ、タイムロスが発生する。これに対して、本実施形態に係る評価モデル生成装置１００は、評価モデルを生成するにあたって、原材料の性状を示す性状データに基づいて評価モデルを生成するか否かを判定し、判定の結果に応じて、機械学習により評価モデルを生成する。これにより、本実施形態に係る評価モデル生成装置１００によれば、評価モデルを生成するか否かを客観的に判定した結果に応じて、評価モデルを生成するための機械学習のトリガを提供することができる。したがって、本実施形態に係る評価モデル生成装置１００によれば、原材料ごとに評価モデルをそれぞれ生成するのではなく、原材料の性状を考慮して必要と判定した場合にのみ評価モデルを生成するので、処理負荷を低減させるとともに、タイムロスの発生頻度を抑制することができる。

【0075】

また、本実施形態に係る評価モデル生成装置１００は、性状データに基づいて対象とする原材料が過去に用いられた原材料と性状が類似しないと判断した場合に、評価モデルを生成すると判定してよい。これにより、本実施形態に係る評価モデル生成装置１００によれば、評価モデルを生成するか否かを、原材料の性状が類似するか否かにより判定することができる。したがって、本実施形態に係る評価モデル生成装置１００によれば、対象とする原材料が過去の原材料と性状が類似しており既存の評価モデルを再利用したとしても設備１０の評価に大きな影響を及ぼさない場合においてまで、評価モデルを新たに生成してしまうことを避けることができる。

【0076】

特に、産出地域や産出時期の違いによって評価モデルを生成するか否かを一律に判定することも考えられるが、産出地域や産出時期が遠い場合であっても原材料の性状が類似している場合もあれば、産出地域や産出時期が近い場合であっても原材料の性状が大きく異なっている場合もあり得る。本実施形態に係る評価モデル生成装置１００によれば、原材料の性状の類似性に基づいて評価モデルを生成するか否かを判定するので、このような場合であっても、評価モデルを生成するか否かを適切に判定することができる。

【0077】

また、本実施形態に係る評価モデル生成装置１００は、性状データをクラスタリングした結果、対象とする原材料が過去に用いられた原材料と異なるクラスタに属する場合に、対象とする原材料が過去に用いられた原材料と性状が類似しないと判断してよい。これにより、本実施形態に係る評価モデル生成装置１００によれば、判断が比較的困難な原材料の性状の類似性を、同一のクラスタに属するか否かという明確な基準により判断することができる。

【0078】

また、本実施形態に係る評価モデル生成装置１００は、対象とする原材料の性状データが、過去に用いられた原材料の性状データを階層的クラスタリングによりグルーピングした１または複数のクラスタのいずれに対してもデータ間の距離が予め定められた閾値以上である場合に、対象とする原材料が過去に用いられた原材料と性状が類似しないと判断してよい。これにより、本実施形態に係る評価モデル生成装置１００によれば、原材料の性状の類似性を、クラス分けの過程を明確化しながら、比較的単純な基準により判断することができる。

【0079】

図７は、本実施形態の第１の変形例に係る評価モデル生成装置１００のブロック図の一例を、設備１０とともに示す。図７においては、図１と同じ機能および構成を有する部材に対して同じ符号を付すとともに、以下相違点を除き説明を省略する。上述の実施形態においては、評価モデル生成装置１００と、操業モデル生成装置と、制御装置とがそれぞれ独立した別々の装置として提供される場合を一例として示した。しかしながら、これら装置は、一部または全部が一体となった一つの装置として提供されてもよい。本変形例においては、評価モデル生成装置１００が、上述の実施形態に係る評価モデル生成装置１００の機能に加えて、操業モデル生成装置の機能を提供する。

【0080】

本変形例に係る評価モデル生成装置１００は、操業モデル生成部７１０と、操業モデル出力部７２０とを更に備えてよい。

【0081】

操業モデル生成部７１０は、評価モデルの出力を報酬の少なくとも一部とした強化学習により、設備１０の状態に応じた行動を出力する操業モデルを生成する。例えば、操業モデル生成部７１０は、評価モデル出力部１５０により出力された評価モデルを取得し、当該評価モデルの出力を報酬の少なくとも一部として強化学習することによって、操業モデルを生成してよい。

【0082】

このような操業モデルは、一例として、サンプリングされた状態データの集合を示すＳと各状態下に取られた行動Ａとの組み合わせ（Ｓ，Ａ）と、報酬によって計算されたウエイトＷとで構成されるデータテーブルを有してよい。なお、このようなウエイトＷを計算するための報酬の少なくとも一部として、評価モデルの出力が用いられてよい。

【0083】

このような操業モデルを生成するにあたって、操業モデル生成部７１０は、学習環境の状態を示す学習環境データを取得してよい。この際、学習環境として設備１０における操業を模擬するシミュレータが用いられる場合、操業モデル生成部７１０は、シミュレータからのシミュレーションデータを学習環境データとして取得してよい。しかしながら、これに限定されるものではない。学習環境として実際の設備１０が用いられてもよい。この場合、操業モデル生成部７１０は、設備１０の状態を示す状態データを学習環境データとして取得してよい。

【0084】

次に、操業モデル生成部７１０は、ランダムに、または、後述するＦＫＤＰＰ等の既知のＡＩアルゴリズムを用いて行動を決定し、当該行動に基づく操作量を学習環境における制御対象へ与えてよい。これに応じて学習環境の状態が変化する。

【0085】

そして、操業モデル生成部７１０は、学習環境データを再び取得してよい。これにより、操業モデル生成部７１０は、決定された行動に基づく操作量が制御対象へ与えられたことに応じて変化した後の学習環境の状態を取得することができる。

【0086】

そして、操業モデル生成部７１０は、評価モデルの出力に少なくとも部分的に基づき、報酬値を算出してよい。一例として、変化した後の学習環境の状態を示す学習環境データを評価モデルへ入力したことに応じて、当該評価モデルが出力する指標をそのまま報酬値として算出してよい。

【0087】

操業モデル生成部７１０は、このような行動の決定に応じた状態の取得処理を複数回繰り返した後、データテーブルにおけるウエイト列の値を上書きするほか、これまでに保存されていない新たなサンプルデータをデータテーブルにおける新たな行へ追加することで、操業モデルを更新してよい。操業モデル生成部７１０は、このような更新処理を複数回繰り返すことで、操業モデルを生成することができる。操業モデルの生成自体については任意であってよいので、更なる詳細についてはここでは説明を省略する。操業モデル生成部７１０は、生成した操業モデルを操業モデル出力部７２０へ供給する。

【0088】

操業モデル出力部７２０は、操業モデルを出力する。例えば、操業モデル出力部７２０は、操業モデル生成部７１０により生成された操業モデルを、ネットワークを介して他の装置へ送信することにより出力してよい。特に、操業モデル出力部７２０は、生成された操業モデルを制御装置へ送信してよい。これに応じて、制御装置は、操業モデルを用いて設備１０に設けられた制御対象を制御してよい。しかしながら、これに限定されるものではない。操業モデル出力部７２０は、生成された操業モデルを、各種メモリデバイスに書き出すことにより出力してもよいし、モニタに表示することにより出力してもよい。

【0089】

このように、本変形例に係る評価モデル生成装置１００は、機械学習により生成された評価モデルの出力を報酬の少なくとも一部として強化学習することによって、操業モデルを生成することもできる。これにより、本変形例に係る評価モデル生成装置１００によれば、評価モデルを生成する機能と、操業モデルを生成する機能とを、一つの装置により実現することができる。したがって、本変形例に係る評価モデル生成装置１００によれば、評価モデル生成装置１００と操業モデル生成装置との間で評価モデルをやりとりする必要がないので、通信コストや時間を削減することもできる。

【0090】

図８は、本実施形態の第２の変形例に係る評価モデル生成装置１００のブロック図の一例を、設備１０とともに示す。図８においては、図７と同じ機能および構成を有する部材に対して同じ符号を付すとともに、以下相違点を除き説明を省略する。第１の変形例においては、評価モデル生成装置１００が、操業モデル生成装置の機能を提供する場合を一例として示した。しかしながら、本変形例においては、評価モデル生成装置１００が、操業モデル生成装置の機能に加えて、制御装置の機能をも提供する。

【0091】

本変形例に係る評価モデル生成装置１００は、操業モデル出力部７２０に代えて、状態データ取得部８１０と、制御部８２０とを更に備えてよい。そして、操業モデル生成部７１０は、生成した操業モデルを制御部８２０へ供給してよい。

【0092】

状態データ取得部８１０は、設備１０の状態を示す状態データを取得する。例えば、状態データ取得部８１０は、設備１０に設けられた各種センサが時系列に測定した様々な物理量を、設備１０からネットワークを介して、状態データとして取得してよい。しかしながら、これに限定されるものではない。状態データ取得部８１０は、状態データを、ユーザ入力や各種メモリデバイス等の他の手段を介して取得してもよいし、設備１０とは異なる他の装置から取得してもよい。状態データ取得部８１０は、取得した状態データを制御部８２０へ供給する。

【0093】

制御部８２０は、操業モデルを用いて設備１０における制御対象を制御する。例えば、制御部８２０は、ＦＫＤＰＰ等の既知のＡＩアルゴリズムにより行動を決定してよい。このようなカーネル法を用いる場合、制御部８２０は、取得された状態データにより得られたセンサ値から状態Ｓのベクトルを生成してよい。次に、制御部８２０は、状態Ｓと、取り得る全ての行動Ａとの組み合わせを、行動決定テーブルとして生成してよい。そして、制御部８２０は、行動決定テーブルを、操業モデルへ入力してよい。これに応じて、操業モデルは、行動決定テーブルの各行と、データテーブルのうちのウエイト列を除いた各サンプルデータとの間でカーネル計算を行い、各サンプルデータとの間の距離をそれぞれ算出してよい。次に、操業モデルは、各サンプルデータについて算出した距離にそれぞれのウエイト列の値を乗算したものを順次足し合わせ、各行動における報酬期待値を計算してよい。そして、操業モデルは、取り得る全ての行動の中で報酬期待値が最も高くなる行動を出力してよい。制御部８２０は、例えばこのようにして操業モデルが出力した行動を選択することにより、行動を決定してよい。

【0094】

そして、制御部８２０は、決定した行動を制御対象の現在の値（例えば、現在のバルブ開度）に加算した操作量を、制御対象へ与えてよい。制御部８２０は、例えばこのようにして、生成された操業モデルを用いて、制御対象をＡＩ制御することができる。

【0095】

このように、本変形例に係る評価モデル生成装置１００は、強化学習により生成された操業モデルを用いて、制御対象を制御することができる。これにより、本変形例に係る評価モデル生成装置１００によれば、評価モデルを生成する機能と、操業モデルを生成する機能と、制御対象を制御する機能とを、一つの装置により実現することができる。したがって、本変形例に係る評価モデル生成装置１００によれば、評価モデル生成装置１００と操業モデル生成装置との間で評価モデルをやりとりする必要がない上、操業モデル生成装置と制御装置との間で操業モデルをやりとりする必要もないので、通信コストや時間を更に削減することもできる。

【0096】

ここまで、実施し得る様々な形態を例示して説明した。しかしながら、上述の実施形態は、様々な形に変更、または、応用されてよい。例えば、上述の実施形態においては、評価モデルの数を考慮しない場合を一例として示した。すなわち、評価モデル生成装置１００は、対象とする原材料が過去に用いられた原材料のいずれとも性状が類似しないと判断した場合に、評価モデル記憶部１１０に記憶済みの評価モデルの数に依存することなく、評価モデルを生成していた。しかしながら、この場合、対象とする原材料が過去に用いられた原材料と性状が類似しないと判断される度に新たな評価モデルが追加されるため、評価モデル記憶部１１０の記憶容量を圧迫させてしまうことも考えられる。

【0097】

そこで、評価モデル生成装置１００は、評価モデル記憶部１１０に記憶可能な評価モデルの数に上限値を設けてもよい。この場合、判定部１３０は、ステップＳ４５０とステップＳ４６０との間に、評価モデル記憶部１１０に記憶済みの評価モデルの数が上限値に達しているか否かを確認する処理を実行してもよい。そして、評価モデル生成装置１００は、評価モデルの数が上限値に達していない場合に、処理をステップＳ４６０へ進めてもよい。

【0098】

一方、評価モデル生成装置１００は、評価モデルの数が上限値に達している場合に、処理をステップＳ４６５へ進めてもよい。これに代えて、評価モデル生成装置１００は、評価モデルの数が上限値に達している場合に、評価モデル記憶部１１０に記憶済みの評価モデルの中から１つを選択し、選択された評価モデルを削除した後、処理をステップＳ４６０へ進めてもよい。

【0099】

なお、削除する評価モデルを選択するにあたって、評価モデル生成装置１００は、ユーザ入力を介して削除する評価モデルを選択してもよいし、例えば、生成時期や最終利用時期が最も古い評価モデルを自動的に選択してもよい。

【0100】

また、評価モデル生成装置１００は、評価モデルを削除するのに先立ち、選択された評価モデルを評価モデル出力部１５０により他の装置へ送信することによって、バックアップさせてもよい。

【0101】

本発明の様々な実施形態は、フローチャートおよびブロック図を参照して記載されてよく、ここにおいてブロックは、（１）操作が実行されるプロセスの段階または（２）操作を実行する役割を持つ装置のセクションを表わしてよい。特定の段階およびセクションが、専用回路、コンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、および／またはコンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタルおよび／またはアナログハードウェア回路を含んでよく、集積回路（ＩＣ）および／またはディスクリート回路を含んでよい。プログラマブル回路は、論理ＡＮＤ、論理ＯＲ、論理ＸＯＲ、論理ＮＡＮＤ、論理ＮＯＲ、および他の論理操作、フリップフロップ、レジスタ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルロジックアレイ（ＰＬＡ）等のようなメモリ要素等を含む、再構成可能なハードウェア回路を含んでよい。

【0102】

コンピュータ可読媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読媒体は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読媒体のより具体的な例としては、フロッピー（登録商標）ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスクリードオンリメモリ（ＣＤ-ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（ＲＴＭ）ディスク、メモリスティック、集積回路カード等が含まれてよい。

【0103】

コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ（登録商標）、ＪＡＶＡ（登録商標）、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語または同様のプログラミング言語のような従来の手続型プログラミング言語を含む、１または複数のプログラミング言語の任意の組み合わせで記述されたソースコードまたはオブジェクトコードのいずれかを含んでよい。

【0104】

コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサまたはプログラマブル回路に対し、ローカルにまたはローカルエリアネットワーク（ＬＡＮ）、インターネット等のようなワイドエリアネットワーク（ＷＡＮ）を介して提供され、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく、コンピュータ可読命令を実行してよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。

【0105】

図９は、本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ９９００の例を示す。コンピュータ９９００にインストールされたプログラムは、コンピュータ９９００に、本発明の実施形態に係る装置に関連付けられる操作または当該装置の１または複数のセクションとして機能させることができ、または当該操作または当該１または複数のセクションを実行させることができ、および／またはコンピュータ９９００に、本発明の実施形態に係るプロセスまたは当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ９９００に、本明細書に記載のフローチャートおよびブロック図のブロックのうちのいくつかまたはすべてに関連付けられた特定の操作を実行させるべく、ＣＰＵ９９１２によって実行されてよい。

【0106】

本実施形態によるコンピュータ９９００は、ＣＰＵ９９１２、ＲＡＭ９９１４、グラフィックコントローラ９９１６、およびディスプレイデバイス９９１８を含み、それらはホストコントローラ９９１０によって相互に接続されている。コンピュータ９９００はまた、通信インターフェイス９９２２、ハードディスクドライブ９９２４、ＤＶＤドライブ９９２６、およびＩＣカードドライブのような入／出力ユニットを含み、それらは入／出力コントローラ９９２０を介してホストコントローラ９９１０に接続されている。コンピュータはまた、ＲＯＭ９９３０およびキーボード９９４２のようなレガシの入／出力ユニットを含み、それらは入／出力チップ９９４０を介して入／出力コントローラ９９２０に接続されている。

【0107】

ＣＰＵ９９１２は、ＲＯＭ９９３０およびＲＡＭ９９１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ９９１６は、ＲＡＭ９９１４内に提供されるフレームバッファ等またはそれ自体の中にＣＰＵ９９１２によって生成されたイメージデータを取得し、イメージデータがディスプレイデバイス９９１８上に表示されるようにする。

【0108】

通信インターフェイス９９２２は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブ９９２４は、コンピュータ９９００内のＣＰＵ９９１２によって使用されるプログラムおよびデータを格納する。ＤＶＤドライブ９９２６は、プログラムまたはデータをＤＶＤ－ＲＯＭ９９０１から読み取り、ハードディスクドライブ９９２４にＲＡＭ９９１４を介してプログラムまたはデータを提供する。ＩＣカードドライブは、プログラムおよびデータをＩＣカードから読み取り、および／またはプログラムおよびデータをＩＣカードに書き込む。

【0109】

ＲＯＭ９９３０はその中に、アクティブ化時にコンピュータ９９００によって実行されるブートプログラム等、および／またはコンピュータ９９００のハードウェアに依存するプログラムを格納する。入／出力チップ９９４０はまた、様々な入／出力ユニットをパラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入／出力コントローラ９９２０に接続してよい。

【0110】

プログラムが、ＤＶＤ－ＲＯＭ９９０１またはＩＣカードのようなコンピュータ可読媒体によって提供される。プログラムは、コンピュータ可読媒体から読み取られ、コンピュータ可読媒体の例でもあるハードディスクドライブ９９２４、ＲＡＭ９９１４、またはＲＯＭ９９３０にインストールされ、ＣＰＵ９９１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ９９００に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置または方法が、コンピュータ９９００の使用に従い情報の操作または処理を実現することによって構成されてよい。

【0111】

例えば、通信がコンピュータ９９００および外部デバイス間で実行される場合、ＣＰＵ９９１２は、ＲＡＭ９９１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インターフェイス９９２２に対し、通信処理を命令してよい。通信インターフェイス９９２２は、ＣＰＵ９９１２の制御下、ＲＡＭ９９１４、ハードディスクドライブ９９２４、ＤＶＤ－ＲＯＭ９９０１、またはＩＣカードのような記録媒体内に提供される送信バッファ処理領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、またはネットワークから受信された受信データを記録媒体上に提供される受信バッファ処理領域等に書き込む。

【0112】

また、ＣＰＵ９９１２は、ハードディスクドライブ９９２４、ＤＶＤドライブ９９２６（ＤＶＤ－ＲＯＭ９９０１）、ＩＣカード等のような外部記録媒体に格納されたファイルまたはデータベースの全部または必要な部分がＲＡＭ９９１４に読み取られるようにし、ＲＡＭ９９１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ９９１２は次に、処理されたデータを外部記録媒体にライトバックする。

【0113】

様々なタイプのプログラム、データ、テーブル、およびデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ９９１２は、ＲＡＭ９９１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプの操作、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ９９１４に対しライトバックする。また、ＣＰＵ９９１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ９９１２は、第１の属性の属性値が指定される、条件に一致するエントリを当該複数のエントリの中から検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。

【0114】

上で説明したプログラムまたはソフトウェアモジュールは、コンピュータ９９００上またはコンピュータ９９００近傍のコンピュータ可読媒体に格納されてよい。また、専用通信ネットワークまたはインターネットに接続されたサーバーシステム内に提供されるハードディスクまたはＲＡＭのような記録媒体が、コンピュータ可読媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ９９００に提供する。

【0115】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

【0116】

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

【符号の説明】

【0117】

１０ 設備
１００ 評価モデル生成装置
１１０ 評価モデル記憶部
１２０ 性状データ取得部
１３０ 判定部
１４０ 評価モデル生成部
１５０ 評価モデル出力部
７１０ 操業モデル生成部
７２０ 操業モデル出力部
８１０ 状態データ取得部
８２０ 制御部
９９００ コンピュータ
９９０１ ＤＶＤ－ＲＯＭ
９９１０ ホストコントローラ
９９１２ ＣＰＵ
９９１４ ＲＡＭ
９９１６ グラフィックコントローラ
９９１８ ディスプレイデバイス
９９２０ 入／出力コントローラ
９９２２ 通信インターフェイス
９９２４ ハードディスクドライブ
９９２６ ＤＶＤドライブ
９９３０ ＲＯＭ
９９４０ 入／出力チップ
９９４２ キーボード

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】