▶ 国立大学法人 奈良先端科学技術大学院大学の特許一覧 ▶ 日立造船株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-07-06
(45)【発行日】2023-07-14
(54)【発明の名称】情報処理装置、情報処理方法、および情報処理プログラム
(51)【国際特許分類】
G05B 23/02 20060101AFI20230707BHJP
【ＦＩ】
G05B23/02 R
【請求項の数】
6
(21)【出願番号】P 2019036947
(22)【出願日】2019-02-28
(65)【公開番号】P2020140573
(43)【公開日】2020-09-03
【審査請求日】2022-01-26
(73)【特許権者】
【識別番号】504143441
【氏名又は名称】国立大学法人 奈良先端科学技術大学院大学
(73)【特許権者】
【識別番号】000005119
【氏名又は名称】日立造船株式会社
(74)【代理人】
【識別番号】110000338
【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ
(72)【発明者】
【氏名】松原 崇充
(72)【発明者】
【氏名】金子 拓光
(72)【発明者】
【氏名】鶴峯 義久
(72)【発明者】
【氏名】川端 馨
(72)【発明者】
【氏名】戴 英達
(72)【発明者】
【氏名】小貫 由樹雄
(72)【発明者】
【氏名】藤吉 誠
(72)【発明者】
【氏名】藤丸 雅弘
【審査官】今井 貞雄
(56)【参考文献】
【文献】特表２０１９－５０２２１２（ＪＰ，Ａ）
【文献】国際公開第２０１７／０９４２６７（ＷＯ，Ａ１）
【文献】特開２０１９－０２８９２９（ＪＰ，Ａ）
【文献】特開２００１－０９９４１３（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０５Ｂ ２３／０２
(57)【特許請求の範囲】
【請求項1】
プラントにおける所定のプロセスに関する時系列データをエンコードして潜在変数を出力するエンコーダと、上記潜在変数の変動をモデル化した動的モデルを用いて、上記エンコーダが出力する上記潜在変数の値から、当該潜在変数の将来の値を予測する予測部と、
上記予測部が予測した上記潜在変数の値をデコードして上記時系列データの予測値を出力するデコーダと、を備え、
上記時系列データには、上記プロセスが進行する様子を撮影した画像と、上記プロセスの進行中に取得されたプロセスデータとが含まれており、
上記エンコーダは、上記画像の特徴点と上記プロセスデータの特徴点とが反映された上記潜在変数を出力し、
上記デコーダは、上記予測部が予測した上記潜在変数の値をデコードして、上記プロセスデータの予測値と、上記プロセスの将来の様子を示す予測画像とを出力する、ことを特徴とする情報処理装置。
【請求項2】
プラントにおける所定のプロセスに関する時系列データをエンコードして潜在変数を出力するエンコーダと、
上記潜在変数の変動をモデル化した動的モデルを用いて、上記エンコーダが出力する上記潜在変数の値から、当該潜在変数の将来の値を予測する予測部と、
上記予測部が予測した上記潜在変数の値をデコードして上記時系列データの予測値を出力するデコーダと、を備え、
上記動的モデルは、上記時系列データと、上記プラントにて行われた制御入力と、上記潜在変数の変動との相関関係をモデル化したものであり、
上記予測部は、上記プラントに対する制御入力の内容を示す制御入力データを用いて、上記エンコーダが出力する上記潜在変数の値から、上記制御入力データが示す内容の上記制御入力が行われた後の潜在変数の値を予測する、ことを特徴とする情報処理装置。
【請求項3】
所定の周期で動作する被写体が写っている、上記プロセスが進行する様子を撮影した時系列の複数の画像のうち、上記被写体の一動作周期に撮影された複数の画像を上記エンコーダに入力する、ことを特徴とする請求項１に記載の情報処理装置。
【請求項4】
情報処理装置による情報処理方法であって、プラントにおける所定のプロセスに関する時系列データをエンコードして潜在変数を出力するステップと、
上記潜在変数の変動をモデル化した動的モデルを用いて、エンコードによって出力される上記潜在変数の値から、当該潜在変数の将来の値を予測する予測ステップと、
上記予測ステップで予測した上記潜在変数の値をデコードして上記時系列データの予測値を出力するステップと、を含み、
上記時系列データには、上記プロセスが進行する様子を撮影した画像と、上記プロセスの進行中に取得されたプロセスデータとが含まれており、
潜在変数を出力する上記ステップでは、上記画像の特徴点と上記プロセスデータの特徴点とが反映された上記潜在変数を出力し、
予測値を出力する上記ステップでは、上記予測ステップで予測された上記潜在変数の値をデコードして、上記プロセスデータの予測値と、上記プロセスの将来の様子を示す予測画像とを出力する、ことを特徴とする情報処理方法。
【請求項5】
情報処理装置による情報処理方法であって、
プラントにおける所定のプロセスに関する時系列データをエンコードして潜在変数を出力するステップと、
上記潜在変数の変動をモデル化した動的モデルを用いて、エンコードによって出力される上記潜在変数の値から、当該潜在変数の将来の値を予測する予測ステップと、
上記予測ステップで予測した上記潜在変数の値をデコードして上記時系列データの予測値を出力するステップと、を含み、
上記動的モデルは、上記時系列データと、上記プラントにて行われた制御入力と、上記潜在変数の変動との相関関係をモデル化したものであり、
上記予測ステップでは、上記プラントに対する制御入力の内容を示す制御入力データを用いて、潜在変数を出力する上記ステップで出力される上記潜在変数の値から、上記制御入力データが示す内容の上記制御入力が行われた後の潜在変数の値を予測する、ことを特徴とする情報処理方法。
【請求項6】
請求項１または２に記載の情報処理装置としてコンピュータを機能させるための情報処理プログラムであって、上記エンコーダ、上記予測部、および上記デコーダとしてコンピュータを機能させるための情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、プラントにおいて計測されたデータに基づいて、当該プラントの将来の状態を予測する情報処理装置等に関する。
【背景技術】
【0002】
従来から、例えばごみ焼却プラントなどのプラントにおいて、センサの検出値等の各種プロセスデータから、将来のプラントの状態を予測する研究が進められている。従来の予測においては、例えば機械学習によって生成されたニューラルネットワーク等の学習済みモデルを用いて予測を行うものも知られている。しかし、過去のプロセスデータの値の変動のパターンを機械学習するだけでは、十分な予測精度が得られないこともあり、どのような学習済みモデルをどのように使用するかについては、検討の余地が残されていた。
【0003】
また、学習済みモデルを用いる技術としては、例えば、下記文献のような技術も知られている。下記文献には、入力データから潜在変数を推論するエンコーダと、潜在変数から復元データを生成するデコーダと、入力データと復元データのずれに基づいて、入力データが正常であるか判定する判定手段とを備える異常検出システムが記載されている。
【先行技術文献】
【特許文献】
【0004】
【文献】国際公開第２０１７／０９４２６７号
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記文献の技術では、入力データが正常であるか否かを判定することができるが、入力データが将来どのような値となるかを予測することはできない。したがって、上記文献の技術を用いたとしても、プラントにおけるプロセスに関するデータから将来のプラントの状態を予測することはできない。
【0006】
本発明の一態様は、上記問題点に鑑みてなされたものであり、その目的は、プラントにおけるプロセスに関するデータから将来のプラントの状態を予測することができる情報処理装置等を提供することにある。
【課題を解決するための手段】
【0007】
上記の課題を解決するために、本発明の一態様に係る情報処理装置は、プラントにおける所定のプロセスに関する時系列データをエンコードして潜在変数を出力するエンコーダと、上記潜在変数の変動をモデル化した動的モデルを用いて、上記エンコーダが出力する上記潜在変数の値から、当該潜在変数の将来の値を予測する予測部と、上記予測部が予測した上記潜在変数の値をデコードして上記時系列データの予測値を出力するデコーダと、を備えている。
【0008】
また、本発明の一態様に係る情報処理方法は、上記の課題を解決するために、情報処理装置による情報処理方法であって、プラントにおける所定のプロセスに関する時系列データをエンコードして潜在変数を出力するステップと、上記潜在変数の変動をモデル化した動的モデルを用いて、エンコードによって出力される上記潜在変数の値から、当該潜在変数の将来の値を予測する予測ステップと、上記予測ステップで予測した上記潜在変数の値をデコードして上記時系列データの予測値を出力するステップと、を含む。
【発明の効果】
【0009】
本発明の一態様によれば、プラントにおけるプロセスに関するデータから将来のプラントの状態を予測することができる。
【図面の簡単な説明】
【0010】
【図1】本発明の実施形態１に係る情報処理装置の要部構成の一例を示すブロック図である。
【図2】上記情報処理装置による予測の概要を示す図である。
【図3】ＶＡＥのネットワーク構造の一例を示す図である。
【図4】状態空間モデルの構成例を示す図である。
【図5】上記情報処理装置が実行する処理の一例を示すフローチャートである。
【図6】本発明の実施形態２に係る情報処理装置による予測の概要を示す図である。
【図7】上記情報処理装置を含むプラント管理システムの一例を示すブロック図である。
【発明を実施するための形態】
【0011】
〔実施形態１〕
〔装置構成〕
本実施形態の情報処理装置１の構成を図１に基づいて説明する。図１は、情報処理装置１の要部構成の一例を示すブロック図である。情報処理装置１は、プラントにおけるプロセスに関するデータから将来のプラントの状態を予測する装置である。なお、以下では、ゴミ焼却プラントのゴミ焼却プロセスにおけるプロセスデータと、焼却炉内を撮像した画像である炉内画像とから、将来のプロセスデータの値と、将来の炉内画像とを予測する例を説明する。ただし、プラントは、少なくとも１つの機械あるいは装置を用いて所定の処理（所定の対象に所定の処理を施す、所定の物品を製造する等）を行うものであればよく、ゴミ焼却プラントに限られない。また、プロセスもゴミ焼却プロセスに限られない。
〔装置構成〕
本実施形態の情報処理装置１の構成を図１に基づいて説明する。図１は、情報処理装置１の要部構成の一例を示すブロック図である。情報処理装置１は、プラントにおけるプロセスに関するデータから将来のプラントの状態を予測する装置である。なお、以下では、ゴミ焼却プラントのゴミ焼却プロセスにおけるプロセスデータと、焼却炉内を撮像した画像である炉内画像とから、将来のプロセスデータの値と、将来の炉内画像とを予測する例を説明する。ただし、プラントは、少なくとも１つの機械あるいは装置を用いて所定の処理（所定の対象に所定の処理を施す、所定の物品を製造する等）を行うものであればよく、ゴミ焼却プラントに限られない。また、プロセスもゴミ焼却プロセスに限られない。
【0012】
なお、プロセスデータは、ゴミ焼却プロセスの状態が反映されたデータであればよく、例えばプラント内の計器の値や、プラント内に設置した各種センサの出力値等をプロセスデータとしてもよい。また、炉内画像は、ゴミ焼却プロセスの状態を時系列で示す画像であればよく、例えば焼却炉内を時系列で複数回撮影して得られた複数の画像を炉内画像としてもよいし、焼却炉内を撮影した動画像から時系列で抽出したフレーム画像を炉内画像としてもよい。
【0013】
図示のように、情報処理装置１は、情報処理装置１の各部を統括して制御する制御部１０と、情報処理装置１が使用する各種データを記憶する記憶部２０と、入力操作を受け付ける入力部と、データを出力するための出力部４０と、を備えている。また、制御部１０には、画像前処理部１０１と、ＰＤ前処理部１０２と、エンコーダ１０３と、予測部１０４と、デコーダ１０５と、が含まれている。
【0014】
画像前処理部１０１は、炉内画像に所定の前処理を施す。前処理の内容は、炉内画像の特徴部分を失わせることなく、その特徴部分をより鮮明化することができるものであることが好ましい。例えば、画像前処理部１０１は、炉内画像の画像領域を、炉内画像に写る火格子と火格子上で燃焼するゴミとゴミから上がる炎とが写る領域と、これらの背景となる焼却炉の壁面等の領域とに区分し、前者の領域を抽出する前処理を実行してもよい。
【0015】
ＰＤ前処理部１０２は、プロセスデータに所定の前処理を施す。前処理の内容は、プロセスデータの特徴部分を失わせることなく、その特徴部分をより鮮明化することができるものであることが好ましい。本実施形態では、一例として、ＰＤ前処理部１０２が、プロセスデータのノイズを除去する前処理を実行する例を説明する。ノイズ除去は、例えばローパスフィルタ等により行うことができる。
【0016】
ＰＤ前処理部１０２の前処理の他の例としては、例えば、プロセスデータの正規化処理、プロセスデータの欠損値を補間する処理、プロセスデータの外れ値を除去する処理、プロセスデータの属性選択を行う処理、およびプロセスデータの次元圧縮を行う処理等が挙げられる。なお、属性選択を行う処理としては、例えば主成分分析により、プロセスデータの特徴点（画像であれば形状、色など）を把握して、その特徴点を強調する処理が挙げられる。この他にも、例えば、プロセスデータをフーリエ変換して得た周波数データから、当該プロセスデータの特徴点を抽出する処理を前処理として行ってもよい。また、画像前処理部１０１も炉内画像に対してこのような前処理を行ってもよい。
【0017】
エンコーダ１０３は、プラントにおける所定のプロセスに関する時系列データをエンコードして潜在変数を出力する。また、予測部１０４は、潜在変数の変動をモデル化した動的モデルを用いて、エンコーダ１０３が出力する上記潜在変数の値から、当該潜在変数の将来の値を予測する。そして、デコーダ１０５は、予測部１０４が予測した潜在変数の値をデコードして時系列データの予測値を出力する。
【0018】
上記の構成によれば、時系列データをエンコードすることにより、時系列データの特徴を残しつつ、時系列データよりも次元削減された潜在変数を出力することができる。また、上記の構成によれば、潜在変数の変動を機械学習によってモデル化した動的モデルを用いることにより、潜在変数の将来の値を予測することができると共に、予測した潜在変数の値をデコードして時系列データの予測値を出力することができる。したがって、上記の構成によれば、ゴミ焼却プラントにおけるゴミ焼却プロセスに関するデータから将来のゴミ焼却プラントの状態を予測することができる。
【0019】
より具体的には、本実施形態では、エンコーダ１０３は、ゴミ焼却プラントのゴミ焼却プロセスにおけるプロセスデータと炉内画像をエンコードして潜在変数を出力する。また、予測部１０４は、上記動的モデルとして線形ガウス状態空間モデル（Linear Gaussian State Space Model: ＬＧＳＳＭ）を用い、エンコーダ１０３が出力する上記潜在変数の値から、当該潜在変数の将来の値を予測する。そして、デコーダ１０５は、予測部１０４が予測した潜在変数の値をデコードしてプロセスデータの予測値と炉内画像の予測値（以下、予測画像とも呼ぶ）を出力する。
【0020】
このように、本実施形態では、予測に使用する時系列データには、プロセスが進行する様子を撮影した画像と、上記プロセスの進行中に取得されたプロセスデータとが含まれている。そして、エンコーダ１０３は、炉内画像の特徴点とプロセスデータの特徴点とが反映された潜在変数を出力し、デコーダ１０５は、予測部１０４が予測した潜在変数の値をデコードして、プロセスデータの予測値と、予測画像とを出力する。
【0021】
上記の構成は必須ではないが、この構成によれば、炉内画像の特徴点を加味した予測が行われるため、プロセスデータのみから予測を行う場合と比べて、プロセスデータの予測精度を向上させることができるため好ましい。また、上記の構成によれば、プロセスの将来の様子示す予測画像を出力することができるので、プロセスの将来の様子をユーザが視覚的に把握することが可能になるという利点もある。
【0022】
〔予測の概要〕
情報処理装置１による予測の概要を図２に基づいて説明する。図２は、情報処理装置１による予測の概要を示す図である。情報処理装置１は、ＫＶＡＥ（カルマン変分オートエンコーダ）の理論を利用して予測を行う。この予測には、図２に示すように、観測ステップと予測ステップとが含まれる。
情報処理装置１による予測の概要を図２に基づいて説明する。図２は、情報処理装置１による予測の概要を示す図である。情報処理装置１は、ＫＶＡＥ（カルマン変分オートエンコーダ）の理論を利用して予測を行う。この予測には、図２に示すように、観測ステップと予測ステップとが含まれる。
【0023】
観測ステップでは、エンコーダ１０３は、観測データ（具体的にはノイズ除去済みのプロセスデータと前処理済みの炉内画像）の入力を受け付けて潜在変数を出力する。そして、予測ステップでは、予測部１０４が予測した将来の潜在変数がデコーダ１０５に入力されて、デコーダ１０５が将来のプロセスデータ（ノイズ除去済みのもの）の予測値と、前処理済みの予測画像を出力する。なお、エンコードとデコードの詳細は図３に基づいて後述する。
【0024】
予測部１０４は、状態空間モデルを用いて、エンコーダ１０３が出力する潜在変数と、ゴミ焼却プラントにおいて行われた制御入力の内容を示す制御入力データとから、将来のゴミ焼却プラントの状態（隠れ状態）を示す状態変数を予測する。この状態空間モデルは、観測値系列である潜在変数の変動をモデル化した動的モデルである。そして、予測部１０４は、予測ステップにおいて、状態空間モデルにより、状態変数を潜在変数（将来の潜在変数）に変換してデコーダ１０５に出力する。
【0025】
具体的には、図２の例では、エンコーダ１０３に対して、時刻（ｔ－１）におけるプロセスデータｙｔ－１と炉内画像ｘｔ－１が入力されて潜在変数ａｔ－１が出力され、時刻ｔにおけるプロセスデータｙｔと炉内画像ｘｔが入力されて潜在変数ａｔが出力されている。
【0026】
ある時刻における状態変数ｚの値は、１時刻前の状態変数ｚの値に依存するから、図２に示すように、状態空間モデルに時刻（ｔ－１）の潜在変数ａｔ－１と制御入力データｕｔ－１を入力して、時刻ｔにおける状態変数ｚを出力させることができる。同様に、状態空間モデルに時刻ｔの潜在変数ａｔと制御入力データｕｔを入力して、時刻ｔ＋１における状態変数ｚｔ＋１を出力させることができる。
【0027】
そして、予測部１０４は、状態変数ｚｔ＋１を潜在変数ａｔ＋１に変換してデコーダ１０５に出力している。最後に、デコーダ１０５が、潜在変数ａｔ＋１をデコードして時刻（ｔ＋１）におけるプロセスデータの予測値
【0028】
【数1】
【0029】
と、時刻（ｔ＋１）における予測画像（前処理済みの炉内画像の予測値）
【0030】
【数2】
【0031】
を出力している。
【0032】
図２に示すように、予測部１０４は、ゴミ焼却プラントに対する制御入力の内容を示す制御入力データを用いて、エンコーダ１０３が出力する潜在変数の値から、制御入力データが示す内容の制御入力が行われた後の潜在変数の値を予測することができる。なお、このような予測は、時系列データである炉内画像およびプロセスデータと、ゴミ焼却プラントにて行われた制御入力と、潜在変数の変動との相関関係をモデル化した動的モデル（図２の例では状態空間モデル）を用いることにより可能となっている。
【0033】
上記の構成は必須ではないが、この構成によれば、制御入力データが示す内容の制御入力が行われた後の潜在変数の値を予測することができるため好ましい。そして、潜在変数の予測値は、デコーダ１０５によってデコードされるので、上記の構成によれば、制御入力が行われた後のゴミ焼却プラントの状態を予測することができる。この予測結果は、例えば、どのような制御入力を行うかを決定する判断材料に利用することができる。例えば、ある制御入力を行った場合のゴミ焼却プラントの状態を予測すると共に、他の制御入力を行った場合のゴミ焼却プラントの状態を予測して、何れの制御入力がより好ましいかを比較した上で、実際に行う制御入力の内容を決定することも可能になる。
【0034】
また、上述のように、予測に用いる炉内画像は、ゴミ焼却プロセスの状態を時系列で示す画像であればよいが、炉内画像に所定の周期で動作する被写体が写っている場合には、以下のような構成を採用してもよい。
【0035】
すなわち、画像前処理部１０１は、所定の周期で動作する被写体が写っている時系列の複数の炉内画像のうち、上記被写体の一動作周期に撮影された複数の炉内画像をエンコーダ１０３に入力してもよい。所定の周期で動作する被写体が火格子である場合、上記所定の周期は、火格子がその可動域の一端に到達してから、他端に到達するまでの時間を上記一動作周期とすればよい。
【0036】
上記の構成によれば、被写体の一動作周期に撮影された複数の画像をエンコーダ１０３に入力するので、一動作周期に被写体がどのような動作をしたかが反映された潜在変数をエンコーダ１０３に出力させることができる。これにより、被写体の動作周期ごとのゴミ焼却プラントの状態変化を適切に反映させて、将来のゴミ焼却プラントの状態を精度よく予測することができる。なお、この場合、ＰＤ前処理部１０２は、上記一動作周期に取得されたプロセスデータからノイズを除去してエンコーダ１０３に入力する。
【0037】
〔ＶＡＥのネットワーク構造〕
ＶＡＥ（Variational Auto-Encoder：変分オートエンコーダ）のネットワーク構造を図３に基づいて説明する。図３は、ＶＡＥのネットワーク構造の一例を示す図である。図示のように、エンコーダ１０３とデコーダ１０５がＶＡＥを構成している。なお、図３では、説明を簡単にするため、予測に関する構成は記載を省略している。
ＶＡＥ（Variational Auto-Encoder：変分オートエンコーダ）のネットワーク構造を図３に基づいて説明する。図３は、ＶＡＥのネットワーク構造の一例を示す図である。図示のように、エンコーダ１０３とデコーダ１０５がＶＡＥを構成している。なお、図３では、説明を簡単にするため、予測に関する構成は記載を省略している。
【0038】
エンコーダ１０３には、ＣＮＮ１０３１、ＦＣＮ１０３２、およびＦＣＮ１０３３が含まれている。詳細は以下説明するが、ＣＮＮ１０３１とＦＣＮ１０３２が炉内画像を処理するためのものであり、ＦＣＮ１０３３がプロセスデータを処理するためのものである。これらの構成により、エンコーダ１０３は、炉内画像とプロセスデータという性質の異なるデータから潜在変数を出力することが可能になっている。
【0039】
また、デコーダ１０５には、ＦＣＮ１０５１、ＦＣＮ１０５２、およびＣＮＮ１０５３が含まれている。詳細は以下説明するが、ＦＣＮ１０５１とＣＮＮ１０５３が炉内画像を処理するためのものであり、ＦＣＮ１０５２がプロセスデータを処理するためのものである。これにより、デコーダ１０５は、潜在変数をデコードして、炉内画像とプロセスデータという性質の異なるデータを出力することが可能になっている。
【0040】
ＣＮＮ１０３１は、畳み込みニューラルネットワーク（Convolutional Neural Network）である。ＣＮＮ１０３１は、炉内画像ｘｔの特徴点を抽出するためのものであり、炉内画像ｘｔを入力として、炉内画像ｘｔの特徴点を示す特徴データを出力する。特徴データは、炉内画像ｘｔの特徴点を示す、炉内画像ｘｔよりも低次元のデータである。
【0041】
エンコーダ１０３の役割は、潜在変数ａｔの確率分布を出力することである。ここでは、潜在変数ａｔの確率分布をガウス分布すなわち正規分布と仮定して、その母数である平均μと共分散行列Σを出力する。具体的には、以下説明するように、ＦＣＮ１０３２が平均μを出力し、ＦＣＮ１０３３が共分散行列Σを出力する。
【0042】
ＦＣＮ１０３２とＦＣＮ１０３３は、何れも全結合ネットワーク（Fully-Connected Network）である。ＦＣＮ１０３２は、ＣＮＮ１０３１が出力する炉内画像ｘｔの特徴データと、前処理によりノイズ除去されたプロセスデータｙｔを入力として、潜在変数ａｔの確率分布における平均μを出力する。また、ＦＣＮ１０３３は、ＣＮＮ１０３１で抽出した炉内画像ｘｔの特徴点と、プロセスデータｙｔを入力として、潜在変数ａｔの確率分布における共分散行列Σを出力する。
【0043】
デコーダ１０５が備えるＣＮＮ１０５３も畳み込みニューラルネットワークであり、ＦＣＮ１０５１およびＦＣＮ１０５２も全結合ネットワークである。ＦＣＮ１０５１は、潜在変数ａｔを入力として、炉内画像の特徴データを出力する。そして、ＣＮＮ１０５３は、炉内画像の特徴データを入力として炉内画像を出力する。また、ＦＣＮ１０５２は、潜在変数ａｔを入力として、プロセスデータを出力する。
【0044】
このようなＶＡＥは、事前学習により、各パラメータ（ニューラルネットワークの重み）を最適化することにより構築することができる。例えば、変分下限（Evidence Lower Bound：ＥＬＢＯ）を最大化するように学習を行って、各パラメータを決定してもよい。ＶＡＥとＬＧＳＳＭを組み合わせた手法であるＫＶＡＥにおける他のパラメータも同様である。
【0045】
なお、エンコーダ１０３にノイズ除去済みのプロセスデータｙｔを入力するため、潜在変数ａｔをデコードして得られる値は、プロセスデータそのものの値ではなく、プロセスデータから前処理によりノイズを除去したプロセスデータの値となる。炉内画像についても同様であり、ＣＮＮ１０５３は、前処理済みの炉内画像を出力する。
【0046】
また、上述のように、デコードの対象とする潜在変数を、予測部１０４が予測した潜在変数ａｔ＋１とすることにより、先の時刻（この例では時刻ｔ＋１）におけるプロセスデータの予測値と、炉内画像（予測画像）を出力させることができる。
【0047】
〔状態空間モデルの詳細〕
予測部１０４が使用する状態空間モデルは、より詳細には、潜在変数ａｔと制御入力データｕｔとの時間的な関係を時系列モデルでモデル化した動的モデルｐγｔ（ａｔ｜ｕｔ）である。このモデルにより、次の時刻ｔ＋１における潜在変数ａｔ＋１を求めることができる。上述のように、本実施形態では、動的モデルｐγｔ（ａｔ｜ｕｔ）としてＬＧＳＳＭを用いる例を説明する。
予測部１０４が使用する状態空間モデルは、より詳細には、潜在変数ａｔと制御入力データｕｔとの時間的な関係を時系列モデルでモデル化した動的モデルｐγｔ（ａｔ｜ｕｔ）である。このモデルにより、次の時刻ｔ＋１における潜在変数ａｔ＋１を求めることができる。上述のように、本実施形態では、動的モデルｐγｔ（ａｔ｜ｕｔ）としてＬＧＳＳＭを用いる例を説明する。
【0048】
ＬＧＳＳＭを用いる場合、潜在変数ａｔと制御入力データｕｔとの関係は、状態変数ｚｔと、パラメータγｔ＝［Ａｔ，Ｂｔ，Ｃｔ］により、線形な関係として表現される。なお、Ａｔは状態変数（隠れ状態）の遷移先を決定する遷移行列、Ｂｔは制御入力データｕｔに応じて遷移先を制御する制御行列、Ｃｔは出力行列である。これらの行列は、何れも時変な（時間の経過によって変化する）行列である。予測部１０４は、ＬＧＳＳＭを用いた予測において、以下説明するように、動的パラメータネットワークを用いてＬＧＳＳＭのパラメータを非線形に変える。
【0049】
状態空間モデルの詳細を図４に基づいて説明する。図４は、状態空間モデルの構成例を示す図である。図４の（ａ）は、観測ステップにおける状態空間モデルの構成例を示し、図４の（ｂ）は、予測ステップにおける状態空間モデルの構成例を示している。図４の（ａ）（ｂ）の何れの状態空間モデルも、ＬＳＴＭ（Long Short-Term Memory）１０４１とＦＣＮ１０４２を構成要素とする動的パラメータネットワークを含む。詳細は以下説明するが、動的パラメータネットワークは、複数の状態空間モデルを重みαｔによって線形結合することにより、一つの状態空間モデルにするネットワークである。
【0050】
ＬＳＴＭ１０４１は、潜在変数ａｔを時刻毎に非線形に変えた出力ｄｔを出力する。そして、ＦＣＮ１０４２は、出力ｄｔにsoftmax関数を適用して算出した重みαｔを用いてＫ個の異なる状態空間モデルを線形結合したγｔを出力する。Ｋ個の異なる状態空間モデルは、ＬＧＳＳＭにおけるＫ個のパラメータΓで表される。なお、パラメータΓは、下記の数式（２）で表される。
【0051】
【数3】
【0052】
…数式（１）
重みαｔは、現在の潜在変数ａｔと過去のＬＳＴＭ１０４１の出力ｄｔ－１から算出されるので、遷移行列Ａｔは下記の数式（２）で表される。
重みαｔは、現在の潜在変数ａｔと過去のＬＳＴＭ１０４１の出力ｄｔ－１から算出されるので、遷移行列Ａｔは下記の数式（２）で表される。
【0053】
【数4】
【0054】
…数式（２）
また、制御行列Ｂｔと、出力行列Ｃｔ（状態変数ｚｔ＋１から潜在変数ａｔ＋１を出力するときに使用する行列）も同様にして求められる。
また、制御行列Ｂｔと、出力行列Ｃｔ（状態変数ｚｔ＋１から潜在変数ａｔ＋１を出力するときに使用する行列）も同様にして求められる。
【0055】
以上より、パラメータγｔは、下記の数式（３）で表される。このような構成の動的パラメータネットワークを用いることにより、予測部１０４が非線形な状態遷移を取り扱うことが可能となっている。
【0056】
【数5】
【0057】
…数式（３）
ここで、状態変数のｚｔからｚｔ＋１への遷移は下記の数式（４）で表される。
ｚｔ＋１＝Ａｔ＊ｚｔ＋Ｂｔ＊ｕｔ …数式（４）
よって、予測部１０４は、上述のようにして算出した遷移行列Ａｔと制御行列Ｂｔから状態変数の予測値である
ここで、状態変数のｚｔからｚｔ＋１への遷移は下記の数式（４）で表される。
ｚｔ＋１＝Ａｔ＊ｚｔ＋Ｂｔ＊ｕｔ …数式（４）
よって、予測部１０４は、上述のようにして算出した遷移行列Ａｔと制御行列Ｂｔから状態変数の予測値である
【0058】
【数6】
【0059】
を求めることができる。そして、予測部１０４は、出力行列Ｃｔによって、状態変数の予測値から潜在変数の予測値である
【0060】
【数7】
【0061】
を算出し、出力することができる。
【0062】
つまり、図４の（ａ）に示す観測ステップでは、エンコーダ１０３が出力する時刻ｔの潜在変数ａｔが動的パラメータネットワークに入力される。この潜在変数ａｔは、エンコーダ１０３が時刻ｔの入力データ（前処理済みの炉内画像とノイズ除去済みのプロセスデータ）から生成したものである。そして、動的パラメータネットワークのＬＳＴＭ１０４１がｄｔを出力し、このｄｔを入力としてＦＣＮ１０４２が重みαｔを出力する。さらに、予測部１０４は、上記数式（３）によってパラメータγｔを決定し、このγｔを用いて、制御入力データｕｔから状態変数ｚｔを算出する。状態変数ｚｔは、時刻ｔ－１の潜在変数ａｔ－１に基づいて予測した状態変数
【0063】
【数8】
【0064】
の更新に用いられる。
【0065】
一方、図４の（ｂ）に示す予測ステップでは、予測部１０４は、時刻ｔにおける状態変数の予測値である
【0066】
【数9】
【0067】
から出力行列Ｃｔによって潜在変数の予測値である
【0068】
【数10】
【0069】
を算出する。続いて、予測部１０４は、上記潜在変数の予測値を動的パラメータネットワークに入力する。これにより、動的パラメータネットワークのＬＳＴＭ１０４１がｄｔを出力し、このｄｔを入力としてＦＣＮ１０４２が重みαｔを出力する。さらに、予測部１０４は、上記数式（３）によってパラメータγｔを決定し、このγｔを用いて、制御入力データｕｔから時刻ｔ＋１における状態変数の予測値である
【0070】
【数11】
【0071】
を算出する。そして、予測部１０４は、出力行列Ｃｔによって、状態変数の予測値から潜在変数の予測値である
【0072】
【数12】
【0073】
を算出し、出力する。
【0074】
以上のように、予測部１０４は、観測ステップにおいて、エンコーダ１０３が最新の入力データから生成した状態変数に基づいて状態変数を算出し、算出した状態変数を用いて先に予測された状態変数の予測値を更新する。そして、予測ステップでは、予測部１０４は、更新後の状態変数と制御入力データから状態変数の予測値を算出すると共に、状態変数の予測値から潜在変数の予測値を算出し、出力する。予測部１０４は、これらのステップを繰り返すことにより、予測精度の高い潜在変数の予測値を出力することができる。
【0075】
【0076】
Ｓ１では、画像前処理部１０１が炉内画像の入力を受け付け、ＰＤ前処理部１０２がプロセスデータの入力を受け付け、予測部１０４が制御入力データｕｔの入力を受け付ける。そして、Ｓ２では、画像前処理部１０１が炉内画像に前処理を施して前処理済みの炉内画像ｘｔを生成し、ＰＤ前処理部１０２がプロセスデータに前処理を施してノイズ除去済みのプロセスデータｙｔを生成する。
【0077】
Ｓ３では、エンコーダ１０３が炉内画像ｘｔの特徴点をＣＮＮ１０３１で抽出して特徴データを生成する。続くＳ４では、エンコーダ１０３は、Ｓ３で生成された特徴データと、プロセスデータｙｔをＦＣＮ１０３２で連結してパラメータμを出力する。また、Ｓ５では、エンコーダ１０３のＦＣＮ１０３３が、Ｓ３で生成された特徴データと、プロセスデータｙｔをＦＣＮ１０３２で連結して共分散行列Σを出力する。そして、Ｓ６（潜在変数を出力するステップ）では、エンコーダ１０３は、Ｓ４で出力したパラメータμとＳ５で出力した共分散行列Σから潜在変数ａｔを出力する。
【0078】
Ｓ７では、予測部１０４が、動的モデルを用いて、Ｓ６で算出された潜在変数ａｔと、Ｓ１で入力を受け付けた制御入力データｕｔから、潜在変数ａｔの将来の値である潜在変数ａｔ＋１を算出する（予測ステップ）。そして、Ｓ８（予測値を出力するステップ）では、デコーダ１０５のＦＣＮ１０５１とＣＮＮ１０５３が潜在変数ａｔ＋１をデコードして予測画像である炉内画像ｘｔ＋１を生成し、出力する。また、Ｓ９（予測値を出力するステップ）では、デコーダ１０５のＦＣＮ１０５２が潜在変数ａｔ＋１をデコードしてプロセスデータ（正確にはノイズ除去済みのプロセスデータ）の予測値ｙｔ＋１を算出し、出力する。なお、Ｓ８とＳ９の処理は同時に行ってもよいし、Ｓ９の処理を先に行ってもよい。
【0079】
〔実施形態２〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。実施形態３以降も同様である。
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。実施形態３以降も同様である。
【0080】
図６は、本実施形態の情報処理装置１ａによる予測の概要を示す図である。情報処理装置１ａは、図１に示した情報処理装置１と比べて、予測部１０４が予測部１０４ａに代わっている点で相違している。予測部１０４ａは、予測部１０４と同様に、潜在変数の変動をモデル化した動的モデルを用いて、エンコーダ１０３が出力する潜在変数の値から、当該潜在変数の将来の値を予測するものである。
【0081】
予測部１０４ａは、図６に示すように、ＬＳＴＭを用いて予測を行う。つまり、情報処理装置１ａでは、ＶＡＥ－ＬＳＴＭの手法により予測を行う。具体的には、図６の例では、予測部１０４ａは、ＬＳＴＭを用いて、エンコーダ１０３が出力する潜在変数ａｔと制御入力データｕｔとから、将来のゴミ焼却プラントの状態を示す変数ｄｔ＋１を予測する。そして、予測部１０４は、予測ステップにおいて、ＬＳＴＭにより、変数ｄｔ＋１を将来の潜在変数ａｔ＋１に変換してデコーダ１０５に出力する。
【0082】
〔実施形態３〕
実施形態２では、ＲＮＮ（リカレントニューラルネットワーク）の一種であるＬＳＴＭを用いて予測を行っているが、他の種類のＲＮＮを用いて予測を行ってもよい。この場合、予測部１０４は、他の種類のＲＮＮを用いて、エンコーダ１０３が出力する潜在変数ａｔと制御入力データｕｔとから、将来のゴミ焼却プラントの状態を示す変数ｄｔ＋１を予測する。そして、予測部１０４は、予測ステップにおいて、当該他の種類のＲＮＮにより、変数ｄｔ＋１を将来の潜在変数ａｔ＋１に変換してデコーダ１０５に出力する。
実施形態２では、ＲＮＮ（リカレントニューラルネットワーク）の一種であるＬＳＴＭを用いて予測を行っているが、他の種類のＲＮＮを用いて予測を行ってもよい。この場合、予測部１０４は、他の種類のＲＮＮを用いて、エンコーダ１０３が出力する潜在変数ａｔと制御入力データｕｔとから、将来のゴミ焼却プラントの状態を示す変数ｄｔ＋１を予測する。そして、予測部１０４は、予測ステップにおいて、当該他の種類のＲＮＮにより、変数ｄｔ＋１を将来の潜在変数ａｔ＋１に変換してデコーダ１０５に出力する。
【0083】
また、実施形態１、２では、ＶＡＥを用いてエンコードとデコードを行っているが、ＶＡＥの代わりに、確率分布を考慮しないＡＥ（Auto-Encoder）を用いてエンコードとデコードを行ってもよい。ＡＥを用いる場合も、図５のような処理により、予測画像とプロセスデータの予測値を算出することができる。また、ＡＥを用いる場合の予測もＶＡＥを用いる場合と同様に、様々な手法が適用できる。例えば、実施形態１のようにカルマンフィルタの枠組みで（実数ベクトルの動的モデル学習と予測器を用いて）予測画像とプロセスデータの予測値を算出することもできる。同様に、実施形態２のようにＲＮＮを用いて予測画像とプロセスデータの予測値を算出することもできる。さらに、本実施形態で上述したように、ＲＮＮを用いて予測画像とプロセスデータの予測値を算出することもできる。
【0084】
〔実施形態４〕
上述の情報処理装置１は、例えば図７に示すようなプラント管理システムに組み込むことができる。図７は、情報処理装置１を含むプラント管理システム５の一例を示すブロック図である。プラント管理システム５には、情報処理装置１の他に、センサ５１、制御入力記録装置５２、撮影装置５３、プラント情報記憶装置５４、表示装置５５、およびプラント制御装置５６が含まれている。なお、情報処理装置１の代わりに情報処理装置１ａを組み込むことも可能である。
上述の情報処理装置１は、例えば図７に示すようなプラント管理システムに組み込むことができる。図７は、情報処理装置１を含むプラント管理システム５の一例を示すブロック図である。プラント管理システム５には、情報処理装置１の他に、センサ５１、制御入力記録装置５２、撮影装置５３、プラント情報記憶装置５４、表示装置５５、およびプラント制御装置５６が含まれている。なお、情報処理装置１の代わりに情報処理装置１ａを組み込むことも可能である。
【0085】
センサ５１は、プラント内に設置されており、プラントにおける所定のプロセスに関する所定の物理量（例えば温度、圧力、流量、光、磁気等）の大きさや変化量を検出してその結果を時系列で出力する。センサ５１の出力値は、情報処理装置１が使用するプロセスデータの一部を構成する。
【0086】
制御入力記録装置５２は、プラントで制御入力（例えば作業員による手動操作による制御入力）が行われたことを検出して、その制御入力の履歴情報をプラント情報記憶装置５４に記憶させる。制御入力の履歴情報は、実行された制御入力の内容と該制御入力が行われた日時等を含むものであればよい。情報処理装置１は、この履歴情報をプロセスデータとして利用することができる。
【0087】
撮影装置５３は、プラントにおいて所定のプロセスが進行する様子を撮影する。例えば、所定のプロセスがゴミ焼却プロセスであれば、撮影装置５３は、焼却炉内を撮影して炉内画像を生成する。
【0088】
プラント情報記憶装置５４は、プラントにおいて所定のプロセスが進行している期間中に取得された各種データを記憶する。具体的には、センサ５１の出力値、制御入力記録装置５２およびプラント制御装置５６が記録する履歴情報、および撮影装置５３が撮影した画像を記憶する。
【0089】
表示装置５５は、画像を表示する装置である。例えば、表示装置５５は、情報処理装置１が出力する予測結果（予測画像やプロセスデータの予測値）を表示させることができる。表示装置５５は、プラントに対して制御入力を行う作業員が上記の予測結果を確認できるように、プラントの制御室等に配置すればよい。
【0090】
プラント制御装置５６は、プラントに含まれる各種装置の動作を制御する。例えば、ゴミ処理プラントであれば、プラント制御装置５６は、焼却炉にゴミを送り込む制御や、焼却炉内におけるゴミの搬送速度の制御、焼却炉内に送り込む空気の流量制御等を行う。そして、プラント制御装置５６は、実行した制御の履歴情報（制御内容と実行日時等）をプラント情報記憶装置５４に記憶させる。情報処理装置１は、この履歴情報をプロセスデータとして利用することができる。
【0091】
プラント管理システム５では、以上のように、センサ５１、制御入力記録装置５２、およびプラント制御装置５６が、プラント情報記憶装置５４に各種データを記憶させる。また、撮影装置５３がプラント情報記憶装置５４にプロセスが進行する様子を示す画像を記憶させる。そして、情報処理装置１は、プラント情報記憶装置５４に記憶されているデータを、予測用のプロセスデータおよび画像として取得し、取得したそれらのデータを用いて将来のプラントの状態を予測する。
【0092】
将来のプラントの状態を予測した情報処理装置１は、予測の後処理として、予測結果を表示装置５５に表示させてもよい。これにより、プラントの作業員に将来のプラントの状態を認識させて、必要な制御入力を行わせることが可能になる。また、情報処理装置１は、予測した将来のプラントの状態が、作業員による制御入力が必要な状態であるか否かを判定し、必要であると判定された場合には、作業員に注意を促す表示を行ってもよい。また、この場合、情報処理装置１は、実行すべき制御入力の内容を表示してもよい。
【0093】
また、情報処理装置１は、上記予測結果に基づき、プラント制御装置５６を介してプラントの制御を行ってもよい。例えば、上記予測結果が、焼却炉内の温度が低下することを示すものであった場合、情報処理装置１は、焼却炉内の温度低下を防ぐ制御（例えば焼却炉内へのゴミの供給量や空気の供給量を増やす制御）をプラント制御装置５６に行わせてもよい。
【0094】
なお、予測結果に応じた制御入力の内容は、プラントの状態と、該状態のプラントで実行すべき制御入力との関係を機械学習によりモデル化した学習済みモデルを用いて決定してもよい。上記機械学習で使用する教師データについて、プラントの状態を示す情報としては、プロセスデータと予測画像の少なくとも何れかを用いればよい。
【0095】
〔ソフトウェアによる実現例〕
情報処理装置１の制御ブロック（特に図１の制御部１０に含まれる各ブロック）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。
情報処理装置１の制御ブロック（特に図１の制御部１０に含まれる各ブロック）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。
【0096】
後者の場合、情報処理装置１は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラム（情報処理プログラム）を上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【0097】
〔変形例〕
上記各実施形態で説明した各処理の実行主体は、適宜変更することが可能である。例えば、図５のＳ１～Ｓ９の何れかまたは複数を情報処理装置１と通信可能な他の装置（例えばクラウド上のサーバ）に実行させてもよい。つまり、情報処理装置１を実行主体として説明した情報処理方法における下記のステップの実行主体は、１つの情報処理装置１であってもよいし、複数の異なる情報処理装置であってもよい。
上記各実施形態で説明した各処理の実行主体は、適宜変更することが可能である。例えば、図５のＳ１～Ｓ９の何れかまたは複数を情報処理装置１と通信可能な他の装置（例えばクラウド上のサーバ）に実行させてもよい。つまり、情報処理装置１を実行主体として説明した情報処理方法における下記のステップの実行主体は、１つの情報処理装置１であってもよいし、複数の異なる情報処理装置であってもよい。
【0098】
プラントにおける所定のプロセスに関する時系列データをエンコードして潜在変数を出力するステップ。上記潜在変数の変動をモデル化した動的モデルを用いて、上記エンコーダが出力する上記潜在変数の値から、当該潜在変数の将来の値を予測する予測ステップ。上記予測ステップで予測した上記潜在変数の値をデコードして上記時系列データの予測値を出力するステップ。
【0099】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【0100】
〔参考例〕
図３の例のように、エンコーダ１０３が出力する潜在変数を、予測を行うことなく、そのままデコーダ１０５に入力してデコードした場合であっても、エンコード前のデータと、デコード後のデータとが一致しないことがある。無論、予測を行った場合にも、予測したデータと実測データとの間にずれが生じることがある。また、潜在変数のパラメータを少しずつ変化させることにより、少しずつ異なるデータをデコーダ１０５に出力されることが可能である。
図３の例のように、エンコーダ１０３が出力する潜在変数を、予測を行うことなく、そのままデコーダ１０５に入力してデコードした場合であっても、エンコード前のデータと、デコード後のデータとが一致しないことがある。無論、予測を行った場合にも、予測したデータと実測データとの間にずれが生じることがある。また、潜在変数のパラメータを少しずつ変化させることにより、少しずつ異なるデータをデコーダ１０５に出力されることが可能である。
【0101】
この点を利用して、エンコーダ１０３とデコーダ１０５（および必要に応じて予測部１０４）により、機械学習用の教師データを自動生成することも可能である。これにより、要求される判定精度を実現するための機械学習に必要な教師データが不足している場合に、不足分を補てんすることも可能になる。
【0102】
例えば、炉内画像と、プロセスデータとの相関関係を機械学習するための教師データを生成する場合、実測されたプロセスデータと炉内画像をエンコーダ１０３に入力し、デコーダ１０５から出力された炉内画像を、実測された上記プロセスデータと対応付けて教師データとしてもよい。そして、潜在変数のパラメータを少しずつ変化させて、デコーダ１０５に少しずつ異なる炉内画像を出力させ、出力された各炉内画像と、実測された上記プロセスデータとをそれぞれ対応付けて教師データとしてもよい。
【符号の説明】
【0103】
１、１ａ 情報処理装置
１０３ エンコーダ
１０４、１０４ａ 予測部
１０５ デコーダ
１０３ エンコーダ
１０４、１０４ａ 予測部
１０５ デコーダ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】