特許 7483827 学習装置、学習方法及び学習プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-05-07

(45)【発行日】2024-05-15

(54)【発明の名称】学習装置、学習方法及び学習プログラム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20240508BHJP

   G05B 13/04 20060101ALI20240508BHJP

【ＦＩ】

G06N20/00 130

G05B13/04

【請求項の数】 5

(21)【出願番号】P 2022172553

(22)【出願日】2022-10-27

【審査請求日】2022-10-27

(73)【特許権者】

【識別番号】399035766

【氏名又は名称】エヌ・ティ・ティ・コミュニケーションズ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】伊藤 浩二

(72)【発明者】

【氏名】泉谷 知範

(72)【発明者】

【氏名】藤原 大悟

【審査官】佐藤 直樹

(56)【参考文献】

【文献】特開２００８－０３３５０５（ＪＰ，Ａ）

【文献】特開２０２２－０３５７３７（ＪＰ，Ａ）

【文献】特開２００４－３５５１８９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００ー９９／００

Ｇ０５Ｂ １３／０４

(57)【特許請求の範囲】

【請求項1】

説明変数と目的変数との組み合わせである第１のデータを収集する収集部と、
前記第１のデータから、少なくとも、前記説明変数と指定された説明変数との距離に基づいて第２のデータを取得する取得部と、
前記第２のデータから、所定の絞り込み条件に基づいて、学習データを絞り込む絞り込み部と、
前記学習データを用いて、前記説明変数から前記目的変数を出力するモデルを更新する更新部と、
を有し、
前記絞り込み条件として、通常と異なる運転時の状況が除外されるような状況が設定され、
前記絞り込み部は、前記絞り込み条件に基づいて、前記通常と異なる運転に関する履歴を前記学習データから除外することを特徴とする学習装置。

【請求項2】

前記第１のデータは、製品の生産工程における状況を表す前記説明変数と、前記生産工程における機器の操作を表す前記目的変数との組み合わせであり、
前記絞り込み条件は、前記操作を指示した操作者の識別情報、所定の期間、所定の前記状況、及び／または、前記操作によって設定される設定値に対応するデータを、前記第２のデータから絞り込むように予め設定された条件であることを特徴とする請求項１に記載の学習装置。

【請求項3】

前記所定の状況は、第１温度と第２温度との平均の変動が閾値未満である場合、及び／または、操作目標となる値の所定期間の分散が閾値を下回った場合であることを特徴とする請求項２に記載の学習装置。

【請求項4】

学習装置が実行する学習方法であって、
説明変数と目的変数との組み合わせである第１のデータを収集する工程と、
前記第１のデータから、少なくとも、前記説明変数と指定された説明変数との距離に基づいて第２のデータを取得する工程と、
前記第２のデータから、所定の絞り込み条件に基づいて、学習データを絞り込む工程と、
前記学習データを用いて、前記説明変数から前記目的変数を出力するモデルを更新する工程と、
を含み、
前記絞り込み条件として、通常と異なる運転時の状況が除外されるような状況が設定され、
前記絞り込む工程は、前記絞り込み条件に基づいて、前記通常と異なる運転に関する履歴を前記学習データから除外することを特徴とする学習方法。

【請求項5】

説明変数と目的変数との組み合わせである第１のデータを収集するステップと、
前記第１のデータから、少なくとも、前記説明変数と指定された説明変数との距離に基づいて第２のデータを取得するステップと、
前記第２のデータから、所定の絞り込み条件に基づいて、学習データを絞り込むステップと、
前記学習データを用いて、前記説明変数から前記目的変数を出力するモデルを更新するステップと、
をコンピュータに実行させ、
前記絞り込み条件として、通常と異なる運転時の状況が除外されるような状況が設定され、
前記絞り込むステップは、前記絞り込み条件に基づいて、前記通常と異なる運転に関する履歴を前記学習データから除外する学習プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、学習装置、学習方法及び学習プログラムに関する。

【背景技術】

【0002】

従来、人間の行動を機械学習モデルに学習させ、当該モデルを用いて人間又はロボット等に動作を教示する模倣学習という技術が知られている。

【0003】

また、観測されたデータを大量に蓄積しておき、蓄積されたデータの中から要求点の近傍のデータを抽出し、当該抽出したデータを用いてモデルの逐次学習を行うJust-In-Time（ＪＩＴ）法という技術が知られている（例えば、非特許文献１を参照）。

【0004】

ここで、例えば化学プラントにおいては、時間の経過に応じて、機器の経年劣化、触媒の劣化、生産ロード計画の変更等の環境の変化が生じる。

【0005】

これに対し、化学プラントにおけるオペレータによる機器の操作を学習する模倣学習にＪＩＴ法を適用して、モデルを環境の変化に適応させることが考えられる。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２０１９－１８５１９４号公報

【非特許文献】

【0007】

【文献】山本 茂、「Just-In-Time予測制御：蓄積データに基づく予測制御」、計測と制御 第52巻 第10号 2013年10月号（https://www.jstage.jst.go.jp/article/sicejl/52/10/52_878/_pdf/-char/ja）

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかしながら、オペレータの操作履歴には、非定常状態や、経験が浅いオペレータによる運転など、学習に適さない履歴が含まれる。一方、オペレータの操作履歴には、経験が豊富なオペレータによる運転など、積極的にモデルに学習してほしい履歴も含まれる。このようなオペレータの操作履歴全てを一律で学習するとモデルの精度が上がらない場合がある。

【0009】

そこで、人が、モデルに、学習して欲しい履歴及び学習して欲しくない履歴を個別に取捨選択すると、選別する人自身の主観が入るため、恣意的な学習になるおそれがある。さらに、この場合、膨大なデータ量の操作履歴を定期的に人手で選別するという煩雑な処理負担が必要となるという問題がある。

【0010】

本発明は、上記に鑑みてなされたものであって、模倣学習においてＪＩＴ法による逐次学習に適する学習データを用い、モデルの精度の向上を図ることができる学習装置、学習方法及び学習プログラムを提供することを目的とする。

【課題を解決するための手段】

【0011】

上述した課題を解決し、目的を達成するために、学習装置は、説明変数と目的変数との組み合わせである第１のデータを収集する収集部と、前記第１のデータから、少なくとも、前記説明変数と指定された説明変数との距離に基づいて第２のデータを取得する取得部と、前記第２のデータから、所定の絞り込み条件に基づいて、学習データを絞り込む絞り込み部と、前記学習データを用いて、前記説明変数から前記目的変数を出力するモデルを更新する更新部と、を有することを特徴とする。

【発明の効果】

【0012】

本発明によれば、模倣学習においてＪＩＴ法による逐次学習に適する学習データを用い、モデルの精度の向上を図る。

【図面の簡単な説明】

【0013】

【図1】図１は、プラント運用システムについて説明する図である。

【図2】図２は、実施の形態に係る処理装置の構成例を示す図である。

【図3】図３は、履歴ＤＢの例を示す図である。

【図4】図４は、処理装置の処理を説明する図である。

【図5】図５は、実施の形態における処理の手順を示すフローチャートである。

【図6】図６は、実施の形態における処理の手順を示すフローチャートである。

【図7】図７は、プログラムを実行するコンピュータの一例を示す図である。

【発明を実施するための形態】

【0014】

以下に、本願に係る学習装置、学習方法及び学習プログラムの実施形態を図面に基づいて詳細に説明する。なお、本発明は、以下に説明する実施形態により限定されるものではない。

【0015】

［実施の形態］
［実施の形態の構成］
まず、図１を用いて、プラント運用システムについて説明する。プラント運用システム１は、プラントにおける製品の生産工程の管理及び制御を行うためのシステムである。プラントには、化学製品を生産するための化学プラントが含まれる。

【0016】

図１に示すように、処理装置１０、端末装置２０及びプラントシステム３０を有する。

【0017】

処理装置１０は、模倣学習を行うためのモデルに関する処理を行う。処理装置１０は学習装置として機能することができる。

【0018】

また、処理装置１０及びプラントシステム３０は、ネットワークを介して互いにデータ通信ができるように接続されている。例えば、ネットワークはインターネット及びイントラネットである。

【0019】

プラントシステム３０は、生産工程で使用される機器及び分散制御システム（ＤＣＳ：Distributed Control System）を含むものであってもよい。例えば、機器は、反応器、冷却器、気液分離器等である。

【0020】

端末装置２０は、パーソナルコンピュータ、タブレット型端末及びスマートフォン等の情報処理装置、または、プラントの機器を操作するための専用の端末である。

【0021】

オペレータ（操作者）は、端末装置２０を介してプラントシステム３０に含まれる機器を操作するユーザである。なお、処理装置１０において使用されるモデルは、システム管理者等によって適宜管理される。

【0022】

図１に基づき、プラント運用システム１の各装置の処理を説明する。

【0023】

端末装置２０は、オペレータの操作に応じて、プラントシステム３０の機器を操作する（ステップＳ１）。例えば、端末装置２０は、操作により、機器内の温度、機器内の圧力、生産工程における生産量の目標値、機器に投入する原料の量等を設定する。

【0024】

プラントシステム３０は、端末装置２０からの操作に従い稼働する（ステップＳ２）。そして、プラントシステム３０は、稼働の履歴を処理装置１０に送信する（ステップＳ３）。

【0025】

例えば、履歴には、プラントシステム３０の各所に設置されたセンサのセンサ値、端末装置２０からの操作によって設定された設定値が含まれる。また、履歴は、各レコードに時刻（タイムスタンプ）が付された時系列データであってもよい。

【0026】

端末装置２０は、オペレータの操作に応じて、学習データとして使用する履歴の絞り込み条件を送信する（ステップＳ４）。絞り込み条件は、操作を指示した操作者の識別情報、所定の期間、所定の状況、及び／または、所定の操作の内容に対応する履歴を絞り込むように、予め設定されたものである。また、絞り込み条件は、システム管理者等によって設定されたものでもよい。

【0027】

処理装置１０は、モデルの学習のために使用する学習データを履歴の中から絞り込み、例えば重みを付与して、モデルの学習を行い、モデルを使った推論を行う（ステップＳ５）。処理装置１０の各処理の詳細については後述する。

【0028】

さらに、処理装置１０は、推論結果をオペレータの端末装置２０に提供する（ステップＳ６）。例えば、推論結果は、状況から予測される操作内容であり、予測される操作内容を示すガイダンス画面２１が、端末装置２０の画面に表示される。オペレータは、例えば、端末装置２０に表示されたガイダンス画面２１の操作内容に従いプラントシステム３０を操作する（ステップＳ１）。

【0029】

ここで、推論に使用するモデルは、オペレータの操作内容を模倣学習により学習する。そのため、モデルによる推論結果として得られる操作内容に従うことで、他のオペレータが操作を模倣することができる。

【0030】

図２を用いて、処理装置１０について詳細に説明する。図２は、実施の形態に係る処理装置１０の構成例を示す図である。

【0031】

図２に示すように、処理装置１０は、通信部１１、記憶部１２及び制御部１３を有する。

【0032】

通信部１１は、ネットワークを介して、他の装置との間でデータ通信を行う。例えば、通信部１１はＮＩＣ（Network Interface Card）である。

【0033】

記憶部１２は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等の記憶装置である。なお、記憶部１２は、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ＮＶＳＲＡＭ（Non Volatile Static Random Access Memory）等のデータを書き換え可能な半導体メモリであってもよい。

【0034】

記憶部１２は、処理装置１０で実行されるＯＳ（Operating System）や各種プログラムを記憶する。記憶部１２は、履歴ＤＢ１２１、絞り込み条件ＤＢ１２２及びモデル情報１２３を記憶する。

【0035】

履歴ＤＢ１２１は、プラントシステム３０から提供された履歴を含む情報である。図３は、履歴ＤＢ１２１の例を示す図である。図３に示すように、履歴ＤＢ１２１は、時刻（time）、オペレータ（operator）、状況（situation）、実施内容（operation）等の説明変数リスト、目的変数である設定値を含む。また、履歴ＤＢ１２１は、重みを含んでもよい。

【0036】

時刻は、操作実施時刻を示す。オペレータの項目は、機器の操作を行ったオペレータの識別情報を示す。状況の項目は、第１温度、第２温度、第１流量等の項目を有する。状況の項目は、図３に記載の項目以外に、第１圧力、第２圧力、ＣＯ_２濃度等を含んでもよい。

【0037】

第１温度、第２温度、第１圧力、第２圧力及び第１流量は、それぞれプラントシステム３０の各所に設置されたセンサのセンサ値である。

【0038】

第１温度、第２温度、第１圧力、第２圧力及び第１流量は、モデルの説明変数であって、製品の生産工程における状況を表す説明変数の一例である。

【0039】

ＣＯ_２濃度は、生産工程で発生するＣＯ_２の濃度である。

【0040】

なお、時刻は、第１温度、第２温度、第１圧力、第２圧力、第１流量及びＣＯ_２濃度が取得された日時を示すタイムスタンプである。

【0041】

実施内容（operation）は、例えば、プラント制御で良く利用される制御手法であるPID制御のSV値（設定値）、MV値（制御出力）などであり、端末装置２０からの操作によって設定される設定値である。設定値は、実際に設定された値を正規化した値であってもよい。また、設定値は、モデルの目的変数に相当する。

【0042】

設定値は、モデルの目的変数であって、生産工程における機器の操作を表す目的変数の一例である。

【0043】

例えば、図３には、「山田太郎」による操作によって、時刻「13:21:01」における第１温度が「102.1℃」であり、第２温度が「103.0℃」であり、第１流量が「311.2ｍ^３／ｓ」であり、実施内容（operation）が「206.3」であることが示されている。

【0044】

絞り込み条件ＤＢ１２２は、予め設定された絞り込み条件を含む情報である。絞り込み条件は、モデルの学習データを選別するための条件である。絞り込み条件は、例えば、オペレータの操作に応じて端末装置２０によって設定される。絞り込み条件により履歴ＤＢ１２１から検索された履歴が、モデルの学習データとして使用される。

【0045】

例えば、絞り込み条件には、所定のオペレータの識別情報が設定される。この場合には、絞り込み条件によって設定されたオペレータの操作による履歴が、学習データとして絞り込まれる。熟練したオペレータと経験が浅いオペレータとが存在し、熟練したオペレータの履歴をモデルに模倣させたい場合に、熟練したオペレータの識別情報を絞り込み条件に設定することによって、この熟練したオペレータの操作による履歴のみを絞り込むことが可能になる。なお、経験豊富な班長等の操作による履歴は、他の履歴よりも大きい重みが付与されてもよい。

【0046】

また、絞り込み条件は、時刻または期間が設定される。例えば、昼間は体制が厚く積極的な運転が可能であるが、夜間は体制が薄く積極的な運転が減少する場合、絞り込み条件に、昼間（例えば、８時から１８時）の期間が設定されることで、昼間の履歴のみを絞り込むことが可能になる。なお、昼間の所定期間の履歴は、重み付けされてもよい。

【0047】

また、絞り込み条件には、状況が設定される。例えば、絞り込み条件として、第１温度と第２温度との平均の変動が閾値未満である状況が設定される。通常と異なる運転に関する履歴を学習データから除外したい場合、絞り込み条件に、通常と異なる運転時の状況が除外されるような状況が設定されることで、通常と異なる運転に関する履歴を学習データから除外することが可能になる。

【0048】

通常と異なる運転は、例えば、工場の立ち上げ、立ち下げ、一時的な保守作業等がある。そして、このような運転時には、例えば、第１温度と第２温度との平均が３０分前と比較して１度以上、上昇している場合があり、このような運転時から３０分間の履歴が除外されるように絞り込み条件が設定される。具体的には、絞り込み条件として、第１温度と第２温度との平均と、３０分前の平均からの上昇が１℃未満である状況が設定される。

【0049】

また、絞り込み条件として、操作目標となる値の所定期間の分散が閾値を下回った状況が設定される。品質安定時の履歴をモデルに模倣させたい場合、絞り込み条件として、例えば、操作目標となる値の過去３０分の分散が０．３を下回った状況を設定する。これによって、オペレーションにより品質が安定した場合の履歴を絞り込むことができる。

【0050】

また、絞り込み条件として、実施内容が設定される。例えば、所定の機器に対する設定値の変更後に、所定期間内に変更前の設定値に戻した実施内容が設定される。例えば、バルブ開度を変更してから５分以内に元に戻した場合の履歴を学習データとするために、絞り込み条件として、バルブ開度の設定値が変更され、変更後５分以外に元のバルブ開度の設定値に戻った場合が設定される。

【0051】

モデル情報１２３は、モデルを構築するためのパラメータ等の情報である。モデルがニューラルネットワークである場合、モデル情報１２３は、各層の重み及びバイアスであり、モデルがLasso回帰やRidge回帰の場合は正則化パラメータである。さらに、モデル情報１２３は、前処理の順番、移動平均処理における窓幅（ウィンドウサイズ）等のパラメータを含む。

【0052】

制御部１３は、処理装置１０全体を制御する。制御部１３は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の電子回路や、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等の集積回路である。

【0053】

また、制御部１３は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、内部メモリを用いて各処理を実行する。また、制御部１３は、各種のプログラムが動作することにより各種の処理部として機能する。例えば、制御部１３は、受付部１３１、収集部１３２、取得部１３３、絞り込み部１３４、更新部１３５、推論部１３６、及び、表示制御部１３７を有する。図４を用いて、処理装置１０の各機能部の処理を説明する。図４は、処理装置１０の処理を説明する図である。

【0054】

受付部１３１は、例えば、端末装置２０から、絞り込み条件を受け付け（図４の（１））、絞り込み条件ＤＢ１２２に格納する。受付部１３１は、絞り込み条件を新規に受け付けるほか、修正、削除（一部削除を含む）も受け付ける。

【0055】

収集部１３２は、プラントシステム３０における稼働の履歴を収集し（図４の（２））、収集した履歴を履歴ＤＢ１２１に格納する。履歴は、説明変数と目的変数との組み合わせである第１のデータの一例である。

【0056】

取得部１３３は、履歴ＤＢ１２１に含まれる履歴の中から、説明変数と指定された説明変数との距離に基づいて履歴を取得する。履歴ＤＢ１２１に含まれる履歴は、第１のデータの一例である。また、取得部１３３によって取得される履歴は、第２のデータの一例である。取得部１３３は、履歴ＤＢ１２１に含まれるデータ（第１のデータ）の中から、説明変数と指定された説明変数との距離、及び、重みに基づいて第２のデータを取得してもよい。

【0057】

取得部１３３は、履歴検索用キー（説明変数及び／または目的変数）が指定されると、この履歴検索キーに類似する過去の履歴群を、履歴ＤＢ１２１から取得する（図４の（３））。取得部１３３は、履歴検索キー（例えば、現在の状況を示す説明変数）と近い状況で収集された過去の履歴群（説明変数、目的変数）（第２のデータ）を、履歴ＤＢ１２１から取得する。

【0058】

指定された説明変数を要求点と呼ぶ。例えば、要求点は、所定の時刻における説明変数（履歴ＤＢ１２１の各センサ値に相当）である。なお、要求点における目的変数（設定値）は未知であってもよい。

【0059】

ここで、ＪＩＴ法では、多次元ベクトルである訓練用のデータ（本実施形態の履歴ＤＢ１２１に相当）と多次元ベクトルである要求点との距離を基に類似履歴が取得される。例えば、取得部１３３は、ＪＩＴ法を用いて、計算されたユークリッド距離が小さいｋ（ｋは整数）個のレコードであるｋ最近傍（k-NN:k Nearest Neighbors）を取得する。なお、訓練用のデータと要求点との距離は、ユークリッド距離に限られず、例えばマハラノビス距離及びコサイン類似度等であってもよい。

【0060】

また、取得部１３３は、訓練用のデータと要求点との距離だけでなく、履歴ＤＢ１２１の重みを参照してレコードを取得してもよい。ここでは、重みが大きいほど取得対象として望ましいデータである場合、例えば、取得部１３３は、履歴ＤＢ１２１の中から、ｋ最近傍であって、かつ重みが大きいデータを優先して取得する。

【0061】

絞り込み部１３４は、取得部１３３によって取得された過去の履歴群（第２のデータ）から、所定の絞り込み条件に基づいて、学習データを絞り込む（図４の（４））。絞り込み条件は、前述のように、操作を指示したオペレータの識別情報、所定の期間、所定の状況、及び／または、操作によって設定される設定値に対応するデータを、過去の履歴群から絞り込むように予め設定された条件であり、絞り込み条件ＤＢ１２２から読み出される。

【0062】

絞り込み部１３４は、絞り込み条件にオペレータの識別情報が設定されている場合には、第２のデータから、絞り込み条件に設定されたオペレータの操作による履歴を、学習データとして絞り込む。

【0063】

絞り込み部１３４は、絞り込み条件に時刻または期間が設定されている場合には、第２のデータから、絞り込み条件に設定された時刻または期間の履歴を、学習データとして絞り込む。

【0064】

絞り込み部１３４は、絞り込み条件に状況が設定されている場合には、第２のデータから、絞り込み条件に設定された状況に対応する履歴を、学習データとして絞り込む。

【0065】

絞り込み部１３４は、絞り込み条件に実施内容が設定されている場合には、第２のデータから、絞り込み条件に設定された実施内容に対応する履歴を、学習データとして絞り込む。

【0066】

なお、取得部１３３が、指定された履歴検索用キー（説明変数及び／または目的変数）と絞り込み条件とを用いて、この履歴検索キーに類似し、かつ、絞り込み条件に合致する過去の履歴群を、履歴ＤＢ１２１から取得してもよい。なお、この場合、絞り込み部１３４は省略される。このように、取得部１３３が、一度の処理で過去の履歴群を絞り込むことで、学習データ数の偏りを減らすことができる。

【0067】

更新部１３５は、絞り込み部１３４によって絞り込まれた学習データを用いて、説明変数から目的変数を出力するモデルの学習を行い（図４の（５））、モデルを更新する（図４の（６））。

【0068】

更新部１３５は、モデル情報１２３から構築したモデルに、説明変数を入力することにより計算された目的変数と、絞り込み部１３４によって絞り込まれた学習データに含まれる目的変数との差分を表す目的関数を計算し、該目的関数が小さくなるように、学習の終了条件を満たすまでモデルのパラメータ、すなわちモデル情報１２３を繰り返し更新する。なお、学習データに重みが付与されている場合には、付与された重みで学習データを学習する。

【0069】

推論部１３６は、更新後のモデル情報１２３から構築したモデルに、予測用の説明変数を入力することにより目的変数を計算する。すなわち、推論部１３６は推論処理を行う（図４の（７））。推論された目的変数は、例えば、状況から予測される操作内容である。

【0070】

表示制御部１３７は、推論された目的変数（例えば、操作内容）を示すガイダンス画面を、端末装置２０に表示させることで、推論結果をオペレータに提示する。

【0071】

［実施の形態の処理］
図５を用いて実施の形態における処理手順を説明する。図５は、実施の形態における処理の手順を示すフローチャートである。

【0072】

図５に示すように、まず、処理装置１０は、例えば、端末装置２０から、絞り込み条件を受け付ける（ステップＳ１１）。処理装置１０は、新規の絞り込み条件に限らず、条件の追加、修正、削除などを受け付けてもよい。そして、処理装置１０は、受け付けた絞り込み条件ＤＢ１２２に格納する（ステップＳ１２）。

【0073】

図６は、実施の形態における処理の手順を示すフローチャートである。図６に示すように、処理装置１０は、プラントシステム３０における稼働の履歴を収集し（ステップＳ２１）、収集した履歴を履歴ＤＢ１２１に格納する。

【0074】

処理装置１０は、履歴ＤＢ１２１に含まれる履歴の中から、説明変数と指定された説明変数との距離に基づいてデータを抽出する。処理装置１０は、履歴検索キー（説明変数及び／または目的変数）が指定されると、この履歴検査キーに類似する過去の履歴群を、履歴ＤＢ１２１から取得する（ステップＳ２２）。

【0075】

処理装置１０は、ステップＳ２２において取得した履歴群から、絞り込み条件ＤＢ１２２に格納されている絞り込み条件に基づいて、学習データを絞り込む（ステップＳ２３）。

【0076】

処理装置１０は、絞り込み部１３４によって絞り込まれた学習データを用いて、説明変数から目的変数を出力するモデルの学習を行い（ステップＳ２４）、モデルを更新する（ステップＳ２５）。

【0077】

処理装置１０は、更新後のモデル情報１２３から構築したモデルに、予測用の説明変数（例えば、第１温度、第２温度、第１流量など）を入力することにより目的変数（例えば、操作内容）を推論する（ステップＳ２６）。

【0078】

処理装置１０は、ステップＳ２５において推論された目的変数（例えば、操作内容）を示すガイダンス画面を、端末装置２０に表示させることで、推論結果をオペレータに提示する（ステップＳ２７）。

【0079】

［実施の形態の効果］
このように、実施の形態に係る処理装置１０は、説明変数と目的変数との組み合わせである第１のデータを収集し、第１のデータから、少なくとも、説明変数と指定された説明変数との距離に基づいて第２のデータを取得する。そして、処理装置１０は、第２のデータから、所定の絞り込み条件に基づいて、学習データを絞り込み、この学習データを用いて、説明変数から目的変数を出力するモデルを更新する。

【0080】

このように、処理装置１０は、膨大なデータ量の履歴から、絞り込み条件にしたがって、学習に適した履歴を自動で絞り込み、モデルを更新するため、人手による履歴の選別が不要となる。

【0081】

また、処理装置１０は、プラントシステム３０から収集された履歴から、所定の絞り込み条件にしたがって、学習に適した学習データを絞り込むため、選別する人自身の主観を入れることなく、学習に適した履歴を適正に選別することができる。また、処理装置１０は、操作を指示した操作者の識別情報、所定の期間、所定の状況、及び／または、操作によって設定される設定値に対応するように設定された絞り込み条件を用いて、学習に適した履歴を正確に絞り込むことができる。

【0082】

したがって、処理装置１０は、学習に適した履歴のみを用いて、モデルを更新することができるため、モデルの推論精度を向上させることができる。特に、処理装置１０は、模倣学習においてＪＩＴ法による逐次学習に適する学習データを用いてモデル更新を行うため、プラントシステム３０の適切な操作と、モデルの精度向上とを並行して実現することができる。

【0083】

［システム構成等］
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示のように構成されていることを要しない。すなわち、各装置の分散及び統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散又は統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部又は任意の一部が、ＣＰＵ（Central Processing Unit）及び当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。なお、プログラムは、ＣＰＵだけでなく、ＧＰＵ等の他のプロセッサによって実行されてもよい。

【0084】

また、本実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

【0085】

［プログラム］
一実施形態として、処理装置１０は、パッケージソフトウェアやオンラインソフトウェアとして上記の学習処理を実行する学習プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、上記の学習プログラムを情報処理装置に実行させることにより、情報処理装置を処理装置１０として機能させることができる。ここで言う情報処理装置には、デスクトップ型又はノート型のパーソナルコンピュータが含まれる。また、その他にも、情報処理装置には、タブレット型端末、スマートフォン、携帯電話機やＰＨＳ（Personal Handyphone System）等の移動体通信端末、さらには、ＰＤＡ（Personal Digital Assistant）等のスレート端末等がその範疇に含まれる。

【0086】

また、処理装置１０は、ユーザが使用する端末装置をクライアントとし、当該クライアントに上記の学習処理に関するサービスを提供するサーバとして実装することもできる。例えば、サーバは、要求点の指定を入力とし、学習済みのモデルを出力とする学習サービスを提供するサーバ装置として実装される。この場合、サーバは、Ｗｅｂサーバとして実装することとしてもよいし、アウトソーシングによって上記の学習処理に関するサービスを提供するクラウドとして実装することとしてもかまわない。

【0087】

図７は、プログラムを実行するコンピュータの一例を示す図である。コンピュータ１０００は、例えば、メモリ１０１０、ＣＰＵ１０２０を有する。また、コンピュータ１０００は、ハードディスクドライブインタフェース１０３０、ディスクドライブインタフェース１０４０、シリアルポートインタフェース１０５０、ビデオアダプタ１０６０、ネットワークインタフェース１０７０を有する。これらの各部は、バス１０８０によって接続される。

【0088】

メモリ１０１０は、ＲＯＭ（Read Only Memory）１０１１及びＲＡＭ（Random Access Memory）１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic Input Output System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１１００に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ１１００に挿入される。シリアルポートインタフェース１０５０は、例えばマウス１１１０、キーボード１１２０に接続される。ビデオアダプタ１０６０は、例えばディスプレイ１１３０に接続される。

【0089】

ハードディスクドライブ１０９０は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３、プログラムデータ１０９４を記憶する。すなわち、処理装置１０の各処理を規定するプログラムは、コンピュータにより実行可能なコードが記述されたプログラムモジュール１０９３として実装される。プログラムモジュール１０９３は、例えばハードディスクドライブ１０９０に記憶される。例えば、処理装置１０における機能構成と同様の処理を実行するためのプログラムモジュール１０９３が、ハードディスクドライブ１０９０に記憶される。なお、ハードディスクドライブ１０９０は、ＳＳＤ（Solid State Drive）により代替されてもよい。

【0090】

また、上述した実施形態の処理で用いられる設定データは、プログラムデータ１０９４として、例えばメモリ１０１０やハードディスクドライブ１０９０に記憶される。そして、ＣＰＵ１０２０は、メモリ１０１０やハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して、上述した実施形態の処理を実行する。

【0091】

なお、プログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限らず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ１１００等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、プログラムモジュール１０９３及びプログラムデータ１０９４は、ネットワーク（ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等）を介して接続された他のコンピュータに記憶されてもよい。そして、プログラムモジュール１０９３及びプログラムデータ１０９４は、他のコンピュータから、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。

【符号の説明】

【0092】

１ プラント運用システム
１０ 処理装置
２０ 端末装置
３０ プラントシステム
１１ 通信部
１２ 記憶部
１３ 制御部
１２１ 履歴ＤＢ
１２２ 絞り込み条件ＤＢ
１２３ モデル情報
１３１ 受付部
１３２ 収集部
１３３ 取得部
１３４ 絞り込み部
１３５ 更新部
１３６ 推論部
１３７ 表示制御部

【要約】

【課題】模倣学習においてＪＩＴ法による逐次学習に適する学習データを用い、モデルの精度の向上を図る。
【解決手段】処理装置１０は、説明変数と目的変数との組み合わせである第１のデータを収集する収集部１３２と、第１のデータから、少なくとも、説明変数と指定された説明変数との距離に基づいて第２のデータを取得する取得部１３３と、第２のデータから、所定の絞り込み条件に基づいて、学習データを絞り込む絞り込み部１３４と、学習データを用いて、説明変数から目的変数を出力するモデルを更新する更新部１３５と、を有する。
【選択図】図２

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】