特許 7335414 学習装置、学習方法及び学習プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2023-08-21

(45)【発行日】2023-08-29

(54)【発明の名称】学習装置、学習方法及び学習プログラム

(51)【国際特許分類】

   G05B 23/02 20060101AFI20230822BHJP

   G06N 20/00 20190101ALI20230822BHJP

【ＦＩ】

G05B23/02 Z

G06N20/00

G05B23/02 X

G05B23/02 301V

【請求項の数】 6

(21)【出願番号】P 2022173728

(22)【出願日】2022-10-28

【審査請求日】2022-10-28

(73)【特許権者】

【識別番号】399035766

【氏名又は名称】エヌ・ティ・ティ・コミュニケーションズ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】泉谷 知範

(72)【発明者】

【氏名】伊藤 浩二

(72)【発明者】

【氏名】藤原 大悟

【審査官】田中 友章

(56)【参考文献】

【文献】特開２０１２－９０６４（ＪＰ，Ａ）

【文献】特開２０２０－１６６４２１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０５Ｂ ２３／０２

Ｇ０６Ｎ ２０／００

(57)【特許請求の範囲】

【請求項1】

製品の生産工程における状況を表す説明変数と、前記生産工程における機器の操作を表す目的変数との組み合わせである履歴を収集する収集部と、
前記履歴に、制御装置による自動操作であるか否かを示す第１の付与情報を少なくとも付与し、前記機器の操作が操作者による手動操作である前記履歴には前記手動操作であることを示す第２の付与情報を付与してデータベースに登録する登録部と、
前記データベースに登録された履歴から、少なくとも、現時刻よりも所定期間以前の前記第１の付与情報が前記制御装置による自動操作ではない第１の履歴、及び、前記第１の付与情報が前記制御装置による自動操作であって前記第２の付与情報が付与された第２の履歴を取得する取得部と、
前記取得部によって取得された履歴を用いて、前記説明変数から前記目的変数を出力するモデルを更新する更新部と、
を有することを特徴とする学習装置。

【請求項2】

前記更新部は、前記第２の履歴を、前記第１の履歴よりも高い重要度で用いることを特徴とする請求項１に記載の学習装置。

【請求項3】

前記登録部は、前記履歴のうち、前記第２の付与情報が付与された履歴の前後所定期間内の履歴に第３の付与情報を付与し、
前記取得部は、前記データベースに登録された履歴から、前記制御装置による自動操作であることを示す前記第１の付与情報が付与された履歴であって、前記第３の付与情報が付与された第３の履歴を取得することを特徴とする請求項１に記載の学習装置。

【請求項4】

前記更新部は、前記第３の履歴を、他の履歴よりも高い重要度で用いることを特徴とする請求項３に記載の学習装置。

【請求項5】

学習装置が実行する学習方法であって、
製品の生産工程における状況を表す説明変数と、前記生産工程における機器の操作を表す目的変数との組み合わせである履歴を収集する工程と、
前記履歴に、制御装置による自動操作であるか否かを示す第１の付与情報を少なくとも付与し、前記機器の操作が操作者による手動操作である前記履歴には前記手動操作であることを示す第２の付与情報を付与してデータベースに登録する工程と、
前記データベースに登録された履歴から、少なくとも、現時刻よりも所定期間以前の前記第１の付与情報が前記制御装置による自動操作ではない第１の履歴、及び、前記第１の付与情報が前記制御装置による自動操作であって前記第２の付与情報が付与された第２の履歴を取得する工程と、
前記取得する工程において取得された履歴を用いて、前記説明変数から前記目的変数を出力するモデルを更新する工程と、
を含んだことを特徴とする学習方法。

【請求項6】

製品の生産ステップにおける状況を表す説明変数と、前記生産ステップにおける機器の操作を表す目的変数との組み合わせである履歴を収集するステップと、
前記履歴に、制御装置による自動操作であるか否かを示す第１の付与情報を少なくとも付与し、前記機器の操作が操作者による手動操作である前記履歴には前記手動操作であることを示す第２の付与情報を付与してデータベースに登録するステップと、
前記データベースに登録された履歴から、少なくとも、現時刻よりも所定期間以前の前記第１の付与情報が前記制御装置による自動操作ではない第１の履歴、及び、前記第１の付与情報が前記制御装置による自動操作であって前記第２の付与情報が付与された第２の履歴を取得するステップと、
前記取得するステップにおいて取得された履歴を用いて、前記説明変数から前記目的変数を出力するモデルを更新するステップと、
をコンピュータに実行させるための学習プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、学習装置、学習方法及び学習プログラムに関する。

【背景技術】

【0002】

従来、人間の行動を機械学習モデルに学習させ、当該モデルを用いて人間又はロボット等に動作を教示する模倣学習という技術が知られている。

【0003】

また、観測されたデータを大量に蓄積しておき、蓄積されたデータの中から要求点の近傍のデータを抽出し、当該抽出したデータを用いてモデルの逐次学習を行うJust-In-Time（ＪＩＴ）法という技術が知られている（例えば、非特許文献１を参照）。

【0004】

ここで、例えば化学プラントにおいては、時間の経過に応じて、機器の経年劣化、触媒の劣化、生産ロード計画の変更等の環境の変化が生じる。

【0005】

これに対し、化学プラントにおけるオペレータによる機器の操作を学習する模倣学習にＪＩＴ法を適用して、モデルを環境の変化に適応させることが考えられる。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２０１９－１８５１９４号公報

【非特許文献】

【0007】

【文献】山本 茂、「Just-In-Time予測制御：蓄積データに基づく予測制御」、計測と制御 第52巻 第10号 2013年10月号（https://www.jstage.jst.go.jp/article/sicejl/52/10/52_878/_pdf/-char/ja）

【発明の概要】

【発明が解決しようとする課題】

【0008】

模倣学習を行うモデルによるプラントの運転支援システムが提案されている。例えば、化学プラントにおいて実際にオペレータが行った操作をモデルに学習させることで、模倣学習を行う。具体的には、モデルは、特定の工程において、過去にオペレータが投入した原材料の投入量を学習する。そして、モデルは、操作推奨値として原材料の投入量を出力する。オペレータは、モデルの出力に従って原材料の投入量を設定することで、過去のオペレータの操作を模倣することができる。

【0009】

そして、このような模倣学習を行うモデルを用いて、プラントの運転支援だけでなく、操作のオートパイロットが可能になる。

【0010】

ここで、プラントの操作のオートパイロット中においても、操作のデータが蓄積される。しかしながら、オートパイロット中のデータは、オートパイロットのためにモデルが出力した操作に対するものであり、オートパイロット中のデータでモデルを逐次学習を行っても、今のモデルの補強に留まる。このため、オートパイロット中のデータを用いて逐次学習を行うと、モデルの精度が劣化するおそれがあり、実際のプラントの状況が変わった場合に対応できない。

【0011】

本発明は、上記に鑑みてなされたものであって、模倣学習においてＪＩＴ法による逐次学習に適する学習データを用い、モデルの精度の向上を図ることができる学習装置、学習方法及び学習プログラムを提供することを目的とする。

【課題を解決するための手段】

【0012】

上述した課題を解決し、目的を達成するために、学習装置は、製品の生産工程における状況を表す説明変数と、前記生産工程における機器の操作を表す目的変数との組み合わせである履歴を収集する収集部と、前記履歴に、制御装置による自動操作であるか否かを示す第１の付与情報を少なくとも付与し、前記機器の操作が操作者による手動操作である前記履歴には前記手動操作であることを示す第２の付与情報を付与してデータベースに登録する登録部と、前記データベースに登録された履歴から、少なくとも、現時刻よりも所定期間以前の前記第１の付与情報が前記制御装置による自動操作ではない第１の履歴、及び、前記第１の付与情報が前記制御装置による自動操作であって前記第２の付与情報が付与された第２の履歴を取得する取得部と、前記取得部によって取得された履歴を用いて、前記説明変数から前記目的変数を出力するモデルを更新する更新部と、を有することを特徴とする。

【発明の効果】

【0013】

本発明によれば、模倣学習においてＪＩＴ法による逐次学習に適する学習データを用い、モデルの精度の向上を図る。

【図面の簡単な説明】

【0014】

【図1】図１は、プラント運用システムについて説明する図である。

【図2】図２は、実施の形態に係る処理装置の構成例を示す図である。

【図3】図３は、履歴ＤＢの例を示す図である。

【図4】図４は、処理装置の処理を説明する図である。

【図5】図５は、実施の形態における処理の手順を示すフローチャートである。

【図6】図６は、プログラムを実行するコンピュータの一例を示す図である。

【発明を実施するための形態】

【0015】

以下に、本願に係る学習装置、学習方法及び学習プログラムの実施形態を図面に基づいて詳細に説明する。なお、本発明は、以下に説明する実施形態により限定されるものではない。

【0016】

［実施の形態］
［実施の形態の構成］
まず、図１を用いて、プラント運用システムについて説明する。プラント運用システム１は、プラントにおける製品の生産工程の管理及び制御を行うためのシステムである。プラントには、化学製品を生産するための化学プラントが含まれる。

【0017】

図１に示すように、処理装置１０、端末装置２０及びプラントシステム３０を有する。

【0018】

処理装置１０は、模倣学習を行うためのモデル（機械学習モデル）に関する処理を行う。処理装置１０は学習装置として機能することができる。

【0019】

また、処理装置１０及びプラントシステム３０は、ネットワークを介して互いにデータ通信ができるように接続されている。例えば、ネットワークはインターネット及びイントラネットである。処理装置１０は、オペレータ（操作者）等から設定された所定のオートパイロット（自動操作）条件を満たし、オペレータからオートパイロット開始を指示された場合には、モデルを用いた、プラントシステム３０のオートパイロット制御を行う。

【0020】

プラントシステム３０は、生産工程で使用される機器及び分散制御システム（ＤＣＳ：Distributed Control System）を含むものであってもよい。例えば、機器は、反応器、冷却器、気液分離器等である。

【0021】

端末装置２０は、パーソナルコンピュータ、タブレット型端末及びスマートフォン等の情報処理装置、または、プラントの機器を操作するための専用の端末である。

【0022】

オペレータは、端末装置２０を介してプラントシステム３０に含まれる機器を操作するユーザである。また、オペレータは、処理装置１０からオートパイロットの開始が可能になったことが提示されると、処理装置１０にオートパイロット開始を指示してもよい。オペレータは、処理装置１０からオートパイロットの停止が提示されると、処理装置１０にオートパイロット停止を指示する。なお、処理装置１０において使用されるモデルは、システム管理者等によって適宜管理される。

【0023】

図１に基づき、プラント運用システム１の各装置の処理を説明する。

【0024】

端末装置２０は、オペレータの操作に応じて、プラントシステム３０の機器を操作する（ステップＳ１）。例えば、端末装置２０は、操作により、機器内の温度、機器内の圧力、生産工程における生産量の目標値、機器に投入する原料の量等を設定する。

【0025】

プラントシステム３０は、端末装置２０からの操作に従い稼働する（ステップＳ２）。そして、プラントシステム３０は、稼働の履歴を処理装置１０に送信する（ステップＳ３）。

【0026】

例えば、履歴には、プラントシステム３０の各所に設置されたセンサのセンサ値、端末装置２０からの操作によって設定された設定値が含まれる。また、履歴は、各レコードに時刻（タイムスタンプ）が付された時系列データであってもよい。

【0027】

端末装置２０は、オペレータの操作に応じて、オートパイロット条件を送信する（ステップＳ４）。オートパイロット条件は、モデルの予測値と、実測値との誤差を基に設定される。例えば、オートパイロット条件は、モデルの予測値と実測値との誤差が所定回数にわたって所定の閾値未満であることや、モデルの予測値と実測値との誤差の直近所定回数の平均が所定の閾値未満であることである。オートパイロット条件は、システム管理者等によって設定されたものでもよい。

【0028】

処理装置１０は、プラントシステム３０から収集した履歴に、処理装置１０によるオートパイロットであるか否かを示すオートパイロットフラグ（第１の付与情報）を少なくとも付与する。そして、処理装置１０は、機器の操作がオペレータによる手動操作である履歴には手動操作であることを示す手動操作フラグ（第２の付与情報）を付与する。そして、処理装置１０は、各履歴を履歴データベース（ＤＢ）に登録する。

【0029】

続いて、処理装置１０は、モデルの学習（例えば、機械学習）のために使用する学習データを履歴の中から取得し、例えば重みを付与して、モデルの学習を行い、モデルを使った推論を行う（ステップＳ５）。

【0030】

この際、処理装置１０は、少なくとも、オートパイロットフラグ及び手動操作フラグを参照して、履歴ＤＢに格納された履歴から、モデルの学習データを取得する。具体的には、処理装置１０は、学習データとして、過去の履歴群から、現時刻（推論時刻）よりも所定期間以前であり、かつ、オートパイロットフラグが「ＯＦＦ」である第１の履歴を取得する。そして、処理装置１０は、学習データとして、過去の履歴群から、オートパイロットフラグが「ＯＮ」であり、かつ、手動操作フラグが「ＯＮ」である第２の履歴を取得する。

【0031】

処理装置１０は、オートパイロット条件を用いて、処理装置１０によるオートパイロットの可否を判定する。処理装置１０の各処理の詳細については後述する。

【0032】

さらに、処理装置１０は、推論結果及びオートパイロット実施判定結果を示すガイダンス画面２１をオペレータの端末装置２０に提示する（ステップＳ６）。処理装置１０は、オートパイロット条件を満たす場合には、ガイダンス画面２１に、オートパイロットの開始が可能になったことを表示する。端末装置２０から、処理装置１０にオートパイロット開始が指示されると（ステップＳ７）、処理装置１０は、モデルを用いた、プラントシステム３０のオートパイロット制御を行う（ステップＳ８）。

【0033】

また、処理装置１０は、オートパイロットを実施中、オートパイロット条件を満たさない場合には、ガイダンス画面２１に、オートパイロットの停止指示を表示する。端末装置２０から、オートパイロット停止が指示されると（ステップＳ７）、処理装置１０は、プラントシステム３０のオートパイロット制御を停止する。そして、端末装置２０は、オペレータの操作に応じて、プラントシステム３０の機器を操作する（ステップＳ１）。

【0034】

ここで、モデルは、オペレータの操作内容を模倣学習により学習する。そのため、モデルによる推論結果として得られる操作内容に従うことで、他のオペレータが操作を模倣することができる。

【0035】

図２を用いて、処理装置１０について詳細に説明する。図２は、実施の形態に係る処理装置１０の構成例を示す図である。

【0036】

図２に示すように、処理装置１０は、通信部１１、記憶部１２及び制御部１３を有する。

【0037】

通信部１１は、ネットワークを介して、他の装置との間でデータ通信を行う。例えば、通信部１１はＮＩＣ（Network Interface Card）である。

【0038】

記憶部１２は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、光ディスク等の記憶装置である。なお、記憶部１２は、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ＮＶＳＲＡＭ（Non Volatile Static Random Access Memory）等のデータを書き換え可能な半導体メモリであってもよい。

【0039】

記憶部１２は、処理装置１０で実行されるＯＳ（Operating System）や各種プログラムを記憶する。記憶部１２は、履歴ＤＢ１２１及びモデル情報１２２を記憶する。

【0040】

履歴ＤＢ１２１は、プラントシステム３０から提供された履歴を含む情報である。例えば、履歴ＤＢは、毎分レコードが蓄積される。図３は、履歴ＤＢ１２１の例を示す図である。図３に示すように、履歴ＤＢ１２１は、時刻（time）、オペレータ（operator）、状況（situation）、実施内容（operation）等の説明変数リスト、目的変数である設定値を含む。また、履歴ＤＢ１２１は、重みを含んでもよい。また、履歴ＤＢ１２１の履歴には、オートパイロットフラグ及び／または手動操作フラグが付与されている。さらに、履歴ＤＢ１２１の履歴には、手動操作前後フラグ（第３の付与情報）が付与されている。

【0041】

時刻は、操作実施時刻を示す。状況の項目は、第１温度、第２温度、第１流量の項目を有する。状況の項目は、第１圧力、第２圧力、生産工程で発生する気体の濃度等を含んでもよい。

【0042】

第１温度、第２温度、第１圧力、第２圧力及び第１流量は、それぞれプラントシステム３０の各所に設置されたセンサのセンサ値である。

【0043】

第１温度、第２温度、第１圧力、第２圧力及び第１流量は、モデルの説明変数であって、製品の生産工程における状況を表す説明変数の一例である。

【0044】

なお、時刻は、第１温度、第２温度、第１圧力、第２圧力、流量及び気体濃度が取得された日時を示すタイムスタンプである。

【0045】

実施内容（operation）は、例えば、端末装置２０からの操作によって設定される設定値である。設定値は、実際に設定された値を正規化した値であってもよい。また、設定値は、モデルの目的変数に相当する。

【0046】

設定値は、モデルの目的変数であって、生産工程における機器の操作を表す目的変数の一例である。

【0047】

オートパイロットフラグは、処理装置１０（制御装置）によるオートパイロットオートパイロット）であるか否かを示す。オートパイロットフラグが「ＯＮ」である場合には、処理装置１０によるオートパイロット実施が「ＯＮ」である場合に得られた履歴である。オートパイロットフラグが「ＯＦＦ」である場合には、処理装置１０によるオートパイロット実施が「ＯＦＦ」である場合に得られた履歴である。

【0048】

手動操作フラグは、機器の操作がオペレータによる手動操作であることを示す。手動操作フラグが「ＯＮ」である場合には、オペレータによる手動操作である場合に得られた履歴である。

【0049】

手動操作前後フラグは、手動操作フラグが付与された履歴の前後所定期間（例えば、ｗ分）内の履歴に付与されるフラグである。前後所定期間は、機器の運転状況や、これまでの履歴の各値の推移等を基に設定され、適宜更新される。

【0050】

例えば、図３には、時刻「13:21:01」における第１温度が「102.1℃」であり、第２温度が「102.8℃」であり、第１流量が「311.5ｍ^３／ｓ」であり、実施内容（operation）が「203.5」であることが示されている。オートパイロットフラグとして「ＯＦＦ」が付与されており、手動操作前後フラグとして「ＯＮ」が付与されている（セルＣ１－９）。この履歴は、オペレータにより手動操作が行われた時刻の前後所定期間の履歴である。

【0051】

例えば、図３には、時刻「13:23:01」における第１温度が「101.5℃」であり、第２温度が「102.3℃」であり、第１流量が「311.4ｍ^３／ｓ」であり、実施内容（operation）が「206.3」であることが示されている。オートパイロットフラグとして「ＯＦＦ」が付与されており、手動操作フラグとして「ＯＮ」が付与されている（セルＣ３－８）。この履歴は、オペレータにより手動操作が行われた場合の履歴である。

【0052】

また、例えば、図３には、時刻「15:33:01」における第１温度が「102.5℃」であり、第２温度が「103.3℃」であり、第１流量が「311.4ｍ^３／ｓ」であり、実施内容（operation）が「206.3」であることが示されている。オートパイロットフラグとして「ＯＮ」が付与されており、手動操作フラグとして「ＯＮ」が付与されている（セルＣ９－８）。この履歴は、オートパイロット中に手動操作が行われた場合、すなわち、オートパイロット利用中に、オペレータがモデルにより計算された予測値を手動で上書きした場合の履歴である。

【0053】

モデル情報１２２は、モデルを構築するためのパラメータ等の情報である。例えば、モデルがニューラルネットワークである場合、モデル情報１２２は、各層の重み及びバイアスである。さらに、モデル情報１２２は、前処理の順番、移動平均処理における窓幅（ウィンドウサイズ）等のパラメータを含む。

【0054】

制御部１３は、処理装置１０全体を制御する。制御部１３は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の電子回路や、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等の集積回路である。

【0055】

また、制御部１３は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、内部メモリを用いて各処理を実行する。また、制御部１３は、各種のプログラムが動作することにより各種の処理部として機能する。

【0056】

例えば、制御部１３は、受付部１３１、収集部１３２、登録部１３３、取得部１３４、更新部１３５、推論部１３６、判定部１３７、表示制御部１３８及びオートパイロット制御部１３９を有する。図４を用いて、処理装置１０の各機能部の処理を説明する。図４は、処理装置１０の処理を説明する図である。

【0057】

受付部１３１は、例えば、端末装置２０から、オートパイロット条件を受け付ける。受付部１３１は、オートパイロット条件を新規に受け付けるほか、オートパイロット条件の修正、削除（一部削除を含む）も受け付ける。受付部１３１は、端末装置２０から、オートパイロットの開始指示、オートパイロットの停止指示を受け付ける。

【0058】

収集部１３２は、プラントシステム３０における稼働の履歴を収集し（図４の（１））、収集した履歴を登録部１３３に出力する。履歴は、説明変数と目的変数との組み合わせである。収集部１３２は、各履歴が、手動操作によるものかオートパイロットによるものかを示す情報も収集する。

【0059】

登録部１３３は、プラントシステム３０に対するオートパイロットのＯＮ状態またはＯＦＦ状態を収集する（図４の（２））。登録部１３３は、オートパイロット制御部１３９から、プラントシステム３０に対するオートパイロットのＯＮ状態またはＯＦＦ状態の更新情報を収集する。

【0060】

そして、登録部１３３は、手動操作によるものかオートパイロットによるものかを示す情報、オートパイロットのＯＮまたはＯＦＦ状態を示す情報を基に、各履歴の、オートパイロットフラグを「ＯＮ」または「ＯＦＦ」にする。また、登録部１３３は、機器の操作がオペレータによる手動操作である履歴には手動操作フラグを「ＯＮ」とする（例えば、図３のセルＣ３－８，Ｃ９－８，Ｃ１０－８）。また、登録部１３３は、履歴のうち、手動操作フラグ「ＯＮ」の履歴の前後所定期間内の履歴の手動操作前後フラグを「ＯＮ」とする（例えば、図３のセルＣ１－９，Ｃ２－９，Ｃ４－９，Ｃ５－９，Ｃ８－９，Ｃ１１－９）。

【0061】

登録部１３３は、フラグ付きの履歴を履歴ＤＢ１２１に登録する（図４の（３））。

【0062】

取得部１３４は、履歴ＤＢ１２１に含まれる履歴の中から、履歴の各フラグを参照し、説明変数と指定された説明変数との距離に基づいて、学習データとして使用する類似履歴を取得する（図４の（４））。取得部１３４は、履歴ＤＢ１２１に含まれる履歴の中から、説明変数と指定された説明変数との距離に加え、重みを基に類似履歴を取得してもよい。

【0063】

取得部１３４は、履歴検索キー（説明変数及び／または目的変数）が指定されると、この履歴検索キーに類似する過去の履歴群を、履歴ＤＢ１２１から取得する。取得部１３４は、履歴検索キー（例えば、現在の状況を示す説明変数）と近い状況で収集された過去の履歴群（説明変数、目的変数）として、履歴ＤＢ１２１から取得する。

【0064】

指定された説明変数を要求点と呼ぶ。例えば、要求点は、所定の時刻における説明変数（履歴ＤＢ１２１の各センサ値に相当）である。なお、要求点における目的変数（設定値）は未知であってもよい。

【0065】

ここで、ＪＩＴ法では、多次元ベクトルである訓練用のデータ（本実施形態の履歴ＤＢ１２１に相当）と多次元ベクトルである要求点とのユークリッド距離を基に過去の履歴群が取得される。例えば、取得部１３４は、ＪＩＴ法を用いて、計算されたユークリッド距離が小さいｋ（ｋは整数）個のレコードであるｋ最近傍（k-NN:k Nearest Neighbors）を取得する。なお、訓練用のデータと要求点との距離は、ユークリッド距離に限られず、例えばマハラノビス距離及びコサイン類似度等であってもよい。

【0066】

また、取得部１３４は、訓練用のデータと要求点との距離だけでなく、履歴ＤＢ１２１の重みを参照してレコードを取得してもよい。ここでは、重みが大きいほど取得対象として望ましいデータである場合、例えば、取得部１３４は、履歴ＤＢ１２１の中から、ｋ最近傍であって、かつ重みが大きいデータを優先して取得する。

【0067】

さらに、取得部１３４は、履歴に付与された各フラグを参照し、取得した過去の履歴群をさらに選別して、学習データである類似履歴を取得する。

【0068】

取得部１３４は、過去の履歴群から、現時刻（推論時刻）よりも所定期間以前（直近Ｈ時間（例えば１２時間）以前）であり、かつ、オートパイロットフラグが「ＯＦＦ」である第１の履歴を取得する。図３の例の場合、取得部１３４は、現時刻（例えば、16:00:00）よりも直近１２時間以前であり、かつ、オートパイロットフラグが「ＯＦＦ」である履歴Ｂ１１を、第１の履歴として取得する。

【0069】

これによって、取得部１３４は、オートパイロットフラグと時刻とを基に、オートパイロット中の履歴を学習データから除外し、オペレータの手動による履歴のみを取得することができる。なお、Ｈ時間は、オペレータによる操作間隔等を基に設定される。

【0070】

そして、取得部１３４は、過去の履歴群から、オートパイロットフラグが「ＯＮ」であり、かつ、手動操作フラグが「ＯＮ」である第２の履歴を取得する。図３の例の場合、取得部１３４は、オートパイロットフラグが「ＯＮ」であり、かつ、手動操作フラグが「ＯＮ」である履歴群Ｂ１２を、第２の履歴として取得する。

【0071】

これによって、取得部１３４は、オートパイロット利用中に、オペレータが干渉して、モデルにより計算された予測値を手動で上書きした場合の履歴を学習データに含めることができる。この履歴は、これまでなかった状況時における履歴であると考えられるため、モデルの学習に含めることが望ましい。なお、第２の履歴取得の際には、第１の履歴取得時の、現時刻よりも所定期間以前である条件は、ＯＦＦとする。

【0072】

また、取得部１３４は、過去の履歴群から、オートパイロットフラグが「ＯＮ」であり、かつ、手動操作前後フラグが「ＯＮ」である第３の履歴を取得する。図３の例の場合、取得部１３４は、オートパイロットフラグが「ＯＮ」であり、かつ、手動操作前後フラグが「ＯＮ」である履歴群Ｂ１５，Ｂ１６を、第３の履歴として取得する。取得部１３４は、オペレータの手動操作による履歴の前後の履歴を学習データに含めることで、オペレータの手動操作に関する学習の補強を可能とする。

【0073】

更新部１３５は、取得部１３４によって取得された学習データを用いて、説明変数から目的変数を出力するモデルの学習を行い（図４の（５））、モデルを更新する（図４の（６））。

【0074】

更新部１３５は、モデル情報１２２から構築したモデルに、説明変数を入力することにより計算された目的変数と、取得部１３４によって絞り込まれた学習データに含まれる目的変数との差分を表す目的関数を計算し、該目的関数が小さくなるように、学習の終了条件を満たすまでモデルのパラメータ、すなわちモデル情報１２２を繰り返し更新する。

【0075】

なお、学習データに重みが付与されている場合には、付与された重みで学習データを学習する。

【0076】

例えば、更新部１３５は、第２の履歴を、第１の履歴よりも高い重要度で用いる。或いは、更新部は、第３の履歴については、他の履歴（例えば、第１の履歴）よりも高い重要度で用いてもよい。例えば、更新部１３５は、第１の履歴に対し、第２の履歴及び第３の履歴の重要度を高く設定する。典型的には、第２の履歴と第３の履歴は同一の重要度が設定される。重要度は、例えば二乗誤差の和（平均）を最小にするようにパラメータを更新する手法を使う場合、単純な和や平均を用いるのではなく、第２の履歴及び／または第３の履歴に重みを付与した重み付き平均を使うなどにより設定することができる。履歴に付与される重みは、例えば、各履歴の種別や、第２の履歴と第３の履歴との時間間隔等に応じて、予め設定される。

【0077】

推論部１３６は、更新後のモデル情報１２２から構築したモデルに、予測用の説明変数を入力することにより目的変数を計算する。すなわち、推論部１３６は推論処理を行う（図４の（７））。推論された目的変数は、例えば、状況から予測される操作内容である。

【0078】

判定部１３７は、オートパイロット条件を用いて、オートパイロットの実施の可否を判定する（図４の（８））。判定部１３７は、モデルが予測した目的変数と実測値との誤差に基づく計算結果が、オートパイロット条件を満たす場合には、オートパイロットの実施開始が可能であると判定する。判定部１３７は、モデルが予測した目的変数と実測値との誤差に基づく計算結果が、オートパイロット条件を満たさない場合には、オートパイロットの実施が不可能であると判定する。

【0079】

表示制御部１３８は、推論された目的変数（例えば、操作内容）とともに、オートパイロット実施判定結果を示すガイダンス画面２１を、端末装置２０に表示させる。これによって、表示制御部１３８は、推論結果及びオートパイロット実施判定結果をオペレータに提示する。

【0080】

例えば、表示制御部１３８は、オートパイロットの実施開始が可能であると判定された場合には、オートパイロットの実施開始が可能であることを示す提示内容と、オートパイロットの実施開始の指示ボタンとを含むガイダンス画面を、端末装置２０に表示させる。

【0081】

オートパイロット制御部１３９は、端末装置２０からオートパイロットの開始を指示された場合には、モデルを用いた、プラントシステム３０のオートパイロット制御を行う（図４の（１０））。

【0082】

或いは、表示制御部１３８は、オートパイロットの実施開始が不可能であると判定された場合には、オートパイロットの停止指示と、オートパイロットの停止ボタンとを含むガイダンス画面を、端末装置２０に表示させる。

【0083】

オートパイロット制御部１３９は、端末装置２０からオートパイロットの停止を指示されることで、プラントシステム３０のオートパイロット制御を停止し、オペレータによる手動操作に切り替える（図４の（９））。

【0084】

［実施の形態の処理］
図５を用いて実施の形態における処理手順を説明する。図５は、実施の形態における処理の手順を示すフローチャートである。

【0085】

図５に示すように、まず、処理装置１０は、プラントシステム３０における稼働の履歴を収集する（ステップＳ１１）。処理装置１０は、各履歴が、手動操作によるものかオートパイロットによるものかを示す情報も収集する。また、処理装置１０は、プラントシステム３０に対するオートパイロットのＯＮ状態またはＯＦＦ状態を収集する。

【0086】

続いて、処理装置１０は、履歴が手動操作によるものかオートパイロットによるものかを示す情報、オートパイロットのＯＮまたはＯＦＦ状態を示す情報を基に、各履歴に、オートパイロットフラグ、手動操作フラグ及び手動操作前後フラグを付与し、履歴ＤＢ１２１に登録する（ステップＳ１２）。

【0087】

処理装置１０は、履歴ＤＢ１２１に含まれる履歴の中から、履歴の各フラグを参照し、説明変数と指定された説明変数との距離に基づいて、学習データである類似履歴として取得する（ステップＳ１３）。処理装置１０は、過去の履歴群から、現時刻よりも所定期間以前であり、かつ、オートパイロットフラグが「ＯＦＦ」である第１の履歴、オートパイロットフラグが「ＯＮ」であり、かつ、手動操作フラグが「ＯＮ」である第２の履歴、及び／または、オートパイロットフラグが「ＯＮ」であり、かつ、手動操作前後フラグが「ＯＮ」である第３の履歴を取得する。

【0088】

処理装置１０は、学習データを用いて、説明変数から目的変数を出力するモデルの学習を行い（ステップＳ１４）、モデルを更新する（ステップＳ１５）。

【0089】

処理装置１０は、更新後のモデル情報１２２から構築したモデルに、予測用の説明変数（例えば、第１温度、第２温度、第１流量など）を入力することにより目的変数（例えば、操作内容）を推論する（ステップＳ１６）。

【0090】

処理装置１０は、オートパイロット条件を用いて、オートパイロットの実施の可否を判定する（ステップＳ１７）。

【0091】

処理装置１０は、オートパイロットの実施開始が可能であると判定した場合（ステップＳ１７：Ｙｅｓ）、オートパイロットの実施開始が可能であることを示す提示内容と、オートパイロットの実施開始の指示ボタンとを含むガイダンス画面を、端末装置２０に表示させる。そして、処理装置１０は、端末装置２０からオートパイロットの開始を指示された場合には、モデルを用いた、プラントシステム３０のオートパイロット制御を行う（ステップＳ１８）。

【0092】

処理装置１０は、オートパイロットの実施開始が不可能であると判定した場合（ステップＳ１７：Ｎｏ）、オートパイロットの停止指示と、オートパイロットの停止ボタンとを含むガイダンス画面を、端末装置２０に表示させる。処理装置１０は、端末装置２０からオートパイロットの停止を指示された場合には、プラントシステム３０のオートパイロット制御を停止し、オペレータによる手動操作の切り替え、或いは、手動操作を継続する（ステップＳ１９）。

【0093】

［実施の形態の効果］
このように、実施の形態に係る処理装置１０は、例えばプラントシステム３０から、製品の生産工程における状況を表す説明変数と、前記生産工程における機器の操作を表す目的変数との組み合わせである履歴を収集する。そして、処理装置１０は、履歴に、オートパイロットフラグを少なくとも付与し、手動操作フラグを付与して履歴ＤＢ１２１に登録する。

【0094】

処理装置１０は、履歴ＤＢ１２１に登録された履歴から、少なくとも、現時刻よりも所定期間以前であり、かつ、オートパイロットフラグが「ＯＦＦ」である第１の履歴を取得する。処理装置１０は、オートパイロットフラグが「ＯＮ」であり、かつ、手動操作フラグが「ＯＮ」である第２の履歴を取得する。

【0095】

処理装置１０は、取得した第１の履歴及び第２の履歴を用いて、説明変数から目的変数を出力するモデルを更新する。このように、処理装置１０は、オートパイロット中の履歴を学習データから除外し、オペレータの手動による履歴のみを用いてモデルを更新するため、モデルの精度劣化を防止することができる。そして、処理装置１０は、オートパイロット利用中に、オペレータが干渉して、モデルにより計算された予測値を手動で上書きした場合の履歴を学習データに含めることで、これまでなかったオペレータの操作内容をモデルに学習させることができる。

【0096】

このため、処理装置１０は、模倣学習においてＪＩＴ法による逐次学習に適する第１の履歴及び第２の履歴を学習データとして用いることで、モデルの精度向上を図ることができる。

【0097】

さらに、処理装置１０は、モデル更新の際に、第２の履歴を、第１の履歴よりも高い重要度で用いることによって、これまでなかったオペレータの操作内容を、特に重要な履歴としてモデルに学習させることができ、モデルの精度向上を図ることができる。

【0098】

また、処理装置１０は、さらに、オートパイロットフラグが「ＯＮ」であり、かつ、手動操作前後フラグが「ＯＮ」である第３の履歴を用いてモデルを更新する。このため、処理装置１０は、オートパイロット中であるが手動操作の前後のオペレータが監視している時間帯の履歴を学習データに含めることで、オペレータの手動操作に関する学習を補強し、モデルの精度の向上を図ることができる。モデル更新の際に、第３の履歴を、他の履歴よりも高い重要度で用いることによって、オートパイロット中であるが手動操作の前後のオペレータが監視している時間帯の操作内容を、特に重要な履歴としてモデルに学習させることができ、モデルの精度向上を図ることができる。

【0099】

したがって、処理装置１０は、オートパイロット中においても、学習に適した履歴のみを用いて、モデルを更新することができるため、モデルの推論精度を向上させることができる。特に、処理装置１０は、模倣学習においてＪＩＴ法による逐次学習に適する学習データを用いてモデル更新を行うため、オートパイロットを適用した場合であっても、プラントシステム３０の適切な操作と、モデルの精度向上とを並行して実現することができる。

【0100】

［システム構成等］
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示のように構成されていることを要しない。すなわち、各装置の分散及び統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散又は統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部又は任意の一部が、ＣＰＵ（Central Processing Unit）及び当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。なお、プログラムは、ＣＰＵだけでなく、ＧＰＵ等の他のプロセッサによって実行されてもよい。

【0101】

また、本実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

【0102】

［プログラム］
一実施形態として、処理装置１０は、パッケージソフトウェアやオンラインソフトウェアとして上記の学習処理を実行する学習プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、上記の学習プログラムを情報処理装置に実行させることにより、情報処理装置を処理装置１０として機能させることができる。ここで言う情報処理装置には、デスクトップ型又はノート型のパーソナルコンピュータが含まれる。また、その他にも、情報処理装置には、タブレット型端末、スマートフォン、携帯電話機やＰＨＳ（Personal Handyphone System）等の移動体通信端末、さらには、ＰＤＡ（Personal Digital Assistant）等のスレート端末等がその範疇に含まれる。

【0103】

また、処理装置１０は、ユーザが使用する端末装置をクライアントとし、当該クライアントに上記の学習処理に関するサービスを提供するサーバとして実装することもできる。例えば、サーバは、要求点の指定を入力とし、学習済みのモデルを出力とする学習サービスを提供するサーバ装置として実装される。この場合、サーバは、Ｗｅｂサーバとして実装することとしてもよいし、アウトソーシングによって上記の学習処理に関するサービスを提供するクラウドとして実装することとしてもかまわない。

【0104】

図６は、プログラムを実行するコンピュータの一例を示す図である。コンピュータ１０００は、例えば、メモリ１０１０、ＣＰＵ１０２０を有する。また、コンピュータ１０００は、ハードディスクドライブインタフェース１０３０、ディスクドライブインタフェース１０４０、シリアルポートインタフェース１０５０、ビデオアダプタ１０６０、ネットワークインタフェース１０７０を有する。これらの各部は、バス１０８０によって接続される。

【0105】

メモリ１０１０は、ＲＯＭ（Read Only Memory）１０１１及びＲＡＭ（Random Access Memory）１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic Input Output System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１１００に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ１１００に挿入される。シリアルポートインタフェース１０５０は、例えばマウス１１１０、キーボード１１２０に接続される。ビデオアダプタ１０６０は、例えばディスプレイ１１３０に接続される。

【0106】

ハードディスクドライブ１０９０は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３、プログラムデータ１０９４を記憶する。すなわち、処理装置１０の各処理を規定するプログラムは、コンピュータにより実行可能なコードが記述されたプログラムモジュール１０９３として実装される。プログラムモジュール１０９３は、例えばハードディスクドライブ１０９０に記憶される。例えば、処理装置１０における機能構成と同様の処理を実行するためのプログラムモジュール１０９３が、ハードディスクドライブ１０９０に記憶される。なお、ハードディスクドライブ１０９０は、ＳＳＤ（Solid State Drive）により代替されてもよい。

【0107】

また、上述した実施形態の処理で用いられる設定データは、プログラムデータ１０９４として、例えばメモリ１０１０やハードディスクドライブ１０９０に記憶される。そして、ＣＰＵ１０２０は、メモリ１０１０やハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して、上述した実施形態の処理を実行する。

【0108】

なお、プログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限らず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ１１００等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、プログラムモジュール１０９３及びプログラムデータ１０９４は、ネットワーク（ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等）を介して接続された他のコンピュータに記憶されてもよい。そして、プログラムモジュール１０９３及びプログラムデータ１０９４は、他のコンピュータから、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。

【符号の説明】

【0109】

１ プラント運用システム
１０ 処理装置
２０ 端末装置
３０ プラントシステム
１１ 通信部
１２ 記憶部
１３ 制御部
１２１ 履歴ＤＢ
１２２ モデル情報
１３１ 受付部
１３２ 収集部
１３３ 登録部
１３４ 取得部
１３５ 更新部
１３６ 推論部
１３７ 判定部
１３８ 表示制御部
１３９ オートパイロット制御部

【要約】

【課題】模倣学習においてＪＩＴ法による逐次学習に適する学習データを用い、モデルの精度の向上を図る。
【解決手段】処理装置１０は、製品の生産工程における状況を表す説明変数と、生産工程における機器の操作を表す目的変数との組み合わせである履歴を収集する収集部１３２と、履歴に、自動操作であるか否かを示すオートパイロットフラグを少なくとも付与し、手動操作である履歴には手動操作であることを示す手動操作フラグを付与して履歴ＤＢ１２１に登録する登録部１３３と、履歴ＤＢ１２１に登録された履歴から、少なくとも、現時刻よりも所定期間以前のオートパイロットフラグが自動操作ではない第１の履歴、及び、オートパイロットフラグが自動操作であって手動操作フラグが付与された第２の履歴を取得する取得部１３４と、取得部１３４によって取得された履歴を用いて、説明変数から目的変数を出力するモデルを更新する更新部１３５と、を有する。
【選択図】図２

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】