特開 2023-176898 ニューラルネットワークの計算装置及び計算方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023176898

(43)【公開日】2023-12-13

(54)【発明の名称】ニューラルネットワークの計算装置及び計算方法

(51)【国際特許分類】

   G05B 23/02 20060101AFI20231206BHJP

【ＦＩ】

G05B23/02 G

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022089466

(22)【出願日】2022-06-01

(71)【出願人】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110000350

【氏名又は名称】ポレール弁理士法人

(72)【発明者】

【氏名】平野 真琴

(72)【発明者】

【氏名】徳田 勇也

【テーマコード（参考）】

3C223

【Ｆターム（参考）】

3C223AA01

3C223AA11

3C223BA01

3C223BB17

3C223CC01

3C223EB01

3C223FF22

3C223FF26

3C223GG01

(57)【要約】

【課題】モデリングの対象に対して物理則に基づいた数式を用いてモデリングができるニューラルネットワークの計算装置を提供する。
【解決手段】本発明による計算装置１は、第１と第２のセンサ３１が設置された機器３に接続されており、第１のセンサ３１の検出値を入力する構造最適化部１６と、ニューラルネットワーク（ＮＮ）を用いて、第１のセンサ３１の検出値と、第２のセンサ３１の検出値の予測値との関係を表す数式である予測式を導出する構造数式変換部１４とを備える。ＮＮは、ノードの出力値を底とし、ノードに繋がるエッジに設定された重み係数を指数部とする、べき乗を含む数式で表される値を持つノードを含む。構造最適化部１６は、第１のセンサ３１の検出値から、ＮＮの構造と重み係数を算出する。構造数式変換部１４は、構造最適化部１６が算出したＮＮの構造と重み係数を用いて、予測式としてべき乗を含む項を持つ数式を導出する。
【選択図】図１

【特許請求の範囲】

【請求項1】

第１のセンサと第２のセンサが設置された機器に接続されており、
前記第１のセンサの検出値を入力する構造最適化部と、
ニューラルネットワークを用いて、前記第１のセンサの前記検出値と、前記第２のセンサの検出値の予測値との関係を表す数式である予測式を導出する構造数式変換部と、
を備え、
前記ニューラルネットワークは、ノードの出力値を底とし、前記ノードに繋がるエッジに設定された重み係数を指数部とする、べき乗を含む数式で表される値を持つノードを含み、
前記構造最適化部は、前記第１のセンサの前記検出値から、前記ニューラルネットワークの構造と前記重み係数を算出し、
前記構造数式変換部は、前記構造最適化部が算出した前記ニューラルネットワークの構造と前記重み係数を用いて、前記予測式として前記べき乗を含む項を持つ数式を導出する、
ことを特徴とする、ニューラルネットワークの計算装置。

【請求項2】

前記ニューラルネットワークは、入力層、中間層、及び出力層を備え、
前記入力層のノードは、前記第１のセンサの前記検出値を入力して出力値として出力し、
前記中間層のノードは、前記入力層のノードの前記出力値を入力値として入力し、前記入力値を底とし、前記入力層の前記ノードと前記中間層の前記ノードとを繋ぐエッジに設定された重み係数を指数部とする、前記べき乗を含む数式で表される値を持ち、
前記出力層のノードは、前記予測式で計算された値を出力する、
請求項１に記載のニューラルネットワークの計算装置。

【請求項3】

前記中間層の前記ノードは、前記べき乗の和を計算する前記ノードと、前記べき乗の積を計算する前記ノードとを有する、
請求項２に記載のニューラルネットワークの計算装置。

【請求項4】

前記ニューラルネットワークの学習には、誤差逆伝播処理が用いられ、
前記構造最適化部は、誤差逆伝播処理で用いられる数式から得られた数式を用いて前記重み係数を算出する、
請求項１に記載のニューラルネットワークの計算装置。

【請求項5】

ユーザーに入力された、前記予測式の項数の上限値、前記重み係数の初期値の範囲、及びノード間のエッジの有無についての条件を記憶する記憶部を備える、
請求項１に記載のニューラルネットワークの計算装置。

【請求項6】

前記構造最適化部は、ベイズ最適化を用いて、前記記憶部が記憶する前記予測式の項数の上限値を満足するように、各ノード間のエッジの有無を決定する、
請求項５に記載のニューラルネットワークの計算装置。

【請求項7】

前記構造最適化部は、前記重み係数の算出において、前記重み係数が収束するまで前記重み係数を更新し、
前記構造数式変換部は、前記構造最適化部が前記重み係数を更新するごとに前記予測式を導出する、
請求項１に記載のニューラルネットワークの計算装置。

【請求項8】

第１のセンサと第２のセンサが設置された機器に接続された計算装置に実行され、
前記計算装置が、前記第１のセンサの検出値を入力する構造最適化工程と、
前記計算装置が、ニューラルネットワークを用いて、前記第１のセンサの前記検出値と、前記第２のセンサの検出値の予測値との関係を表す数式である予測式を導出する構造数式変換工程と、
を有し、
前記ニューラルネットワークは、ノードの出力値を底とし、前記ノードに繋がるエッジに設定された重み係数を指数部とする、べき乗を含む数式で表される値を持つノードを含み、
前記構造最適化工程では、前記計算装置が、前記第１のセンサの前記検出値から、前記ニューラルネットワークの構造と前記重み係数を算出し、
前記構造数式変換工程では、前記計算装置が、前記構造最適化工程で算出した前記ニューラルネットワークの構造と前記重み係数を用いて、前記予測式として前記べき乗を含む項を持つ数式を導出する、
ことを特徴とする、ニューラルネットワークの計算方法。

【請求項9】

前記ニューラルネットワークは、入力層、中間層、及び出力層を備え、
前記入力層のノードは、前記第１のセンサの前記検出値を入力して出力値として出力し、
前記中間層のノードは、前記入力層のノードの前記出力値を入力値として入力し、前記入力値を底とし、前記入力層の前記ノードと前記中間層の前記ノードとを繋ぐエッジに設定された重み係数を指数部とする、前記べき乗を含む数式で表される値を持ち、
前記出力層のノードは、前記予測式で計算された値を出力する、
請求項８に記載のニューラルネットワークの計算方法。

【請求項10】

前記中間層の前記ノードは、前記べき乗の和を計算する前記ノードと、前記べき乗の積を計算する前記ノードとを有する、
請求項９に記載のニューラルネットワークの計算方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、プラントや産業機器などに対し、ニューラルネットワークを用いてモデリングをする計算装置と計算方法に関する。

【背景技術】

【0002】

プラントや産業機器などでは、それらをモデリングすることにより制御や診断が行われることがある。プラントや産業機器などをモデリングする際には、それらが持つ特性を基にした物理則に準じた形でのモデリングが多く行われている。しかし、物理モデリングは、作業工数が多い上に、その精度が作業者の専門知識に大きく依拠する。このため、物理モデリングを代替する手段として、ニューラルネットワークなどの数理モデルを用いたモデリング方法がある。この方法を用いると、十分な量のデータが用意できれば自動でモデリングを行える上に、高精度な予測結果を算出することが期待できる。

【0003】

しかし、ニューラルネットワークは、物理モデリングと異なり、算出した予測結果に対する説明性と解釈性が乏しく、予測結果が得られた理由を理解しやすく説明するのが難しいため、予測に係る処理がブラックボックス化してしまっている。このため、説明責任が求められる、プラントや産業機器などを扱う産業分野において、ニューラルネットワークを導入する際のボトルネックとなっている。

【0004】

このような背景から、一般技術者にも理解が容易な解釈性の高いニューラルネットワークが望まれている。

【0005】

ニューラルネットワークは、１つまたは複数のノードで構成された層を複数有し、異なる層のノードがエッジで接続されている。一般的なニューラルネットワークでは、各ノードにおいて、活性化関数と呼ばれる非線形関数を用いて、入力に対する変換を行う。また、各層に定義されたノードは、次層に定義された全てのノードに対してエッジで接続されている。これらの特徴から、ニューラルネットワークが表現する数式は、複雑な非線形関数となる。この点が、ニューラルネットワークがブラックボックス化している主な原因である。

【0006】

従来のニューラルネットワークの例は、特許文献１に開示されている。特許文献１に開示されたニューラルネットワークでは、従来のニューラルネットワークが持つ非線形で複雑な数式を簡素化しており、ユーザーの理解が容易な数式でモデリングすることが可能である。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２００２－４２１０６号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

特許文献１に開示された技術などの従来のニューラルネットワークでは、ニューラルネットワークがブラックボックス化しているという課題の解決には至っていない。例えば、特許文献１に開示されたニューラルネットワークでは、数式を簡素化してユーザーの理解を容易にしているが、出力値を表す数式はあくまでも近似式であり、必ずしも物理則に準じたモデリングが行われていない。このため、特許文献１でのニューラルネットワークでは、モデリングの対象の背景にある物理則との整合性をとることが困難である。

【0009】

本発明の目的は、モデリングの対象に対して物理則に基づいた数式を用いてモデリングができるニューラルネットワークの計算装置と計算方法を提供することである。

【課題を解決するための手段】

【0010】

本発明による、ニューラルネットワークの計算装置は、第１のセンサと第２のセンサが設置された機器に接続されており、前記第１のセンサの検出値を入力する構造最適化部と、ニューラルネットワークを用いて、前記第１のセンサの前記検出値と、前記第２のセンサの検出値の予測値との関係を表す数式である予測式を導出する構造数式変換部とを備える。前記ニューラルネットワークは、ノードの出力値を底とし、前記ノードに繋がるエッジに設定された重み係数を指数部とする、べき乗を含む数式で表される値を持つノードを含む。前記構造最適化部は、前記第１のセンサの前記検出値から、前記ニューラルネットワークの構造と前記重み係数を算出する。前記構造数式変換部は、前記構造最適化部が算出した前記ニューラルネットワークの構造と前記重み係数を用いて、前記予測式として前記べき乗を含む項を持つ数式を導出する。

【0011】

本発明による、ニューラルネットワークの計算方法は、第１のセンサと第２のセンサが設置された機器に接続された計算装置に実行され、前記計算装置が、前記第１のセンサの検出値を入力する構造最適化工程と、前記計算装置が、ニューラルネットワークを用いて、前記第１のセンサの前記検出値と、前記第２のセンサの検出値の予測値との関係を表す数式である予測式を導出する構造数式変換工程とを有する。前記ニューラルネットワークは、ノードの出力値を底とし、前記ノードに繋がるエッジに設定された重み係数を指数部とする、べき乗を含む数式で表される値を持つノードを含む。前記構造最適化工程では、前記計算装置が、前記第１のセンサの前記検出値から、前記ニューラルネットワークの構造と前記重み係数を算出する。前記構造数式変換工程では、前記計算装置が、前記構造最適化工程で算出した前記ニューラルネットワークの構造と前記重み係数を用いて、前記予測式として前記べき乗を含む項を持つ数式を導出する。

【発明の効果】

【0012】

本発明によると、モデリングの対象に対して物理則に基づいた数式を用いてモデリングができるニューラルネットワークの計算装置と計算方法を提供することができる。

【図面の簡単な説明】

【0013】

【図1】本発明の実施例１による、ニューラルネットワークの計算装置の構成を示す図。

【図2】計算装置が数式（予測式）の導出に用いるニューラルネットワークの構造を表した概略図。

【図3】計算装置が行う処理の流れを示すフロー図。

【図4】構造制約条件記憶部に記憶されている一部のデータ（入出力信号に関する制約条件）の構成例を示す図。

【図5A】構造制約条件記憶部に記憶されている一部のデータ（中間層で和の計算を担うノードのエッジの有無についての制約条件）の構成例を示す図。

【図5B】構造制約条件記憶部に記憶されている一部のデータ（中間層で積の計算を担うノードのエッジの有無についての制約条件）の構成例を示す図。

【図5C】構造制約条件記憶部に記憶されている一部のデータ（中間層のノードと出力層のノードとを繋ぐエッジの有無についての制約条件）の構成例を示す図。

【図6】構造最適化条件記憶部に記憶されている構造最適化条件の構成例を示す図。

【図7】センサデータ格納部に格納されているセンサデータの構成例を示す図。

【図8】ＮＮ構造最適化部が図３のＳ６で行う処理のフロー図。

【図9】解析結果格納部に格納されているデータの構成例を示す図。

【図10】ユーザーがニューラルネットワークの入出力信号に関する制約条件を設定する画面の例。

【図11】ユーザーが各ノード間のエッジの有無についての制約条件を設定する画面の例。

【図12】ユーザーが構造最適化条件を設定する画面の例。

【図13】実施例１において、計算装置が導出した数式（予測式）を出力する画面の例。

【図14】本発明の実施例２において、計算装置が数式（予測式）の導出に用いるニューラルネットワークの構造を表した概略図。

【図15】実施例２において、計算装置が導出した数式（予測式）を出力する画面の例。

【発明を実施するための形態】

【0014】

本発明によるニューラルネットワークの計算装置と計算方法では、プラントや産業機器などのモデリングの対象に対し、物理則に基づいた数式を用いて入出力の関係性をモデリングできる。このため、ユーザーは、本発明により得られたニューラルネットワークが、モデリングの対象の物理特性と合致しているかを確認することができ、ニューラルネットワークが算出した予測結果に対する説明性と解釈性を向上させることができる。

【0015】

以下、本発明の実施例によるニューラルネットワークの計算装置と計算方法について、図面を参照して説明する。なお、本明細書で用いる図面において、同一のまたは対応する構成要素には同一の符号を付け、これらの構成要素については繰り返しの説明を省略する場合がある。

【実施例0016】

本発明の実施例１による、ニューラルネットワークの計算装置と計算方法について説明する。本実施例による計算装置は、プラントや産業機器などの機器をモデリングの対象とし、この機器に設置されたセンサが検出した値（センサの検出値）のデータを用い、ニューラルネットワークにより、センサの検出値と、機器に設置された他のセンサの検出値の予測値（他のセンサの予測検出値）との関係を表す数式を導出する。モデリングの対象の機器は、この数式によりモデリングされる。本実施例による計算方法は、本実施例による計算装置に実行される、ニューラルネットワークの計算方法である。

【0017】

以下の説明では、ニューラルネットワークを「ＮＮ」と表記することもある。

【0018】

図１は、本実施例による、ニューラルネットワークの計算装置の構成を示す図である。計算装置１は、モデリングの対象の機器３を制御する制御システム４を介して、機器３に接続されている。

【0019】

機器３は、計算装置１が導出した数式によりモデリングされる。機器３には、複数のセンサ３１が設置されている。

【0020】

制御システム４は、制御装置４１とセンサデータ格納部４２を備える。制御装置４１は、機器３に備え付けられたセンサ３１のデータ（例えば、センサ３１の検出値）を入力し、機器３の制御信号を出力するための制御ロジックを実装した装置である。センサデータ格納部４２は、記憶装置で構成されており、制御装置４１が入力したセンサ３１のデータ（センサデータ）を格納する。

【0021】

計算装置１は、コンピュータで構成されており、ＣＰＵなどの演算処理装置とメモリなどの記憶装置を備え、本実施例による計算方法を実行する。計算装置１は、入出力装置２と機器３に接続されており、機能的な構成要素として、入出力制御部１１、構造制約条件記憶部１２、ＮＮ構造制約設定部１５、構造最適化条件記憶部１３、ＮＮ構造最適化部１６、解析結果格納部１７、及び構造数式変換部１４を備える。

【0022】

計算装置１は、複数のセンサ３１が設置された機器３のデータを入力する。計算装置１は、機器３に設置されたセンサ３１のデータ（センサデータ）としてセンサ３１の検出値を入力し、センサ３１の検出値と他のセンサ３１の検出値の予測値（他のセンサ３１の予測検出値）との関係を表す数式を導出する。他のセンサ３１とは、機器３に設置されており、センサデータとして検出値を入力したセンサ３１と異なるセンサ３１である。

【0023】

入出力装置２は、ユーザーが計算装置１に情報を入力するための入力装置であるとともに、計算装置１が計算したデータやユーザーが入力した情報を表示する画面を備える出力装置である。

【0024】

以下、計算装置１の構成要素について簡単に説明し、詳細な説明は後述する。

【0025】

入出力制御部１１は、入出力装置２を用いてユーザーが入力した情報を入力する処理と、入出力装置２にデータや情報を表示するための処理を行う。

【0026】

構造制約条件記憶部１２は、記憶装置で構成されており、ユーザーが入出力装置２を用いて入力した、ＮＮの入出力信号に関する制約条件と各ノード間のエッジの有無についての制約条件を記憶する。

【0027】

ＮＮ構造制約設定部１５は、入出力信号設定部１５１とエッジ制約設定部１５２を備え、計算に使用するＮＮの構造についての制約条件を設定する処理を行う。入出力信号設定部１５１は、構造制約条件記憶部１２に記憶されているＮＮの入出力信号に関する制約条件を入力し、この制約条件をＮＮ計算時の制約条件として設定する。エッジ制約設定部１５２は、構造制約条件記憶部１２に記憶されている各ノード間のエッジの有無についての制約条件を入力し、この制約条件をＮＮの構造を決定する際の制約条件として設定する。

【0028】

構造最適化条件記憶部１３は、記憶装置で構成されており、入出力装置２を用いてユーザーが入力した構造最適化条件を記憶する。構造最適化条件は、例えば、計算装置１が求める数式の項数の上限値、ＮＮの重み係数の初期値の範囲、及び試行するＮＮの構造の数である。

【0029】

ＮＮ構造最適化部１６は、構造最適化条件記憶部１３から構造最適化条件を入力するとともに、センサデータ格納部４２から機器３のセンサデータを入力し、ＮＮ構造制約設定部１５が設定した制約条件を用いて、ＮＮの構造と重み係数を算出する処理を行う。ＮＮ構造最適化部１６は、重み係数の算出において、後述するように、重み係数が収束するまで重み係数を更新する。

【0030】

解析結果格納部１７は、記憶装置で構成されており、ＮＮ構造最適化部１６が算出したＮＮの構造（例えば、各ノード間のエッジの有無）と重み係数の値を格納する。解析結果格納部１７は、ＮＮ構造最適化部１６による重み係数の算出において重み係数の値が収束するごとに、ＮＮの構造と重み係数の値を格納する。また、解析結果格納部１７は、重み係数の値が収束する途中で得られた（すなわち、重み係数の値が収束していないときの）ＮＮの構造と重み係数を格納することもできる。

【0031】

構造数式変換部１４は、解析結果格納部１７が格納したＮＮの構造と重み係数の値を用いて、入力信号と出力信号の関係を表す数式、すなわち、センサ３１の検出値と他のセンサ３１の予測検出値との関係を表す数式（予測式）を導出する。構造数式変換部１４は、ＮＮ構造最適化部１６が重み係数を更新するごとに予測式を導出する。すなわち、構造数式変換部１４は、重み係数が収束したときの重み係数の値を用いて予測式を導出するだけでなく、重み係数が収束していないときの重み係数の値を用いて予測式を導出することもできる。

【0032】

計算装置１は、以上のような構成要素を備え、ＮＮが表現する数式（予測式）、すなわち、機器３をモデリングし、センサ３１の検出値と他のセンサ３１の予測検出値との関係を表す予測式を導出することができる。

【0033】

ここで、計算装置１が数式（予測式）の導出に用いるＮＮの構成を説明する。

【0034】

図２は、計算装置１が数式（予測式）の導出に用いるＮＮの構造を表した概略図である。ＮＮは、入力層、中間層、及び出力層の３層を備える。ＮＮを構成する要素として、線で表されている部分をエッジ、丸で表されている部分をノードと呼ぶ。図２に示す例では、入力層は、添え字ｊで示されるｎ個のノードを有し（ｊ＝１～ｎ）、中間層は、添え字ｉで示される（ｍ＋ｋ）個のノードを有し（ｉ＝１～（ｍ＋ｋ））、出力層は、１個のノードを有する。

【0035】

なお、図２において、太い線で表されているエッジは、本実施例でのＮＮが持つエッジであり、細い線で表されているエッジは、本実施例でのＮＮが持たないエッジである。本実施例でのＮＮは、層の間で一部のノードだけがエッジで接続されており、太い線で表されているエッジだけを持つ構造を有する。従来のＮＮは、図２の太い線で表されているエッジと細い線で表されているエッジを有し、層の間で全てのノードがエッジで接続されているという構造を有する。本実施例でのＮＮは、従来のＮＮにおいて細い線で表されているエッジが削除された構造を有すると考えることができる。

【0036】

入力層にあるノードｊには、ｎ個の入力信号の値ｘｊ（ｊ＝１～ｎ）が入力値として設定される。入力信号は、センサ３１の検出値である。そして、入力層にあるノードｊは、ｘｊを出力値として出力する。

【0037】

次に、入力層から中間層への計算を説明する。各エッジには、重み係数ｗ（ｊ，ｉ）が割り当てられている。ｊとｉは、エッジの両端に位置するノードｊとノードｉを示す。すなわち、ｗ（ｊ，ｉ）は、入力層にあるノードｊと中間層にあるノードｉを接続するエッジに設定された重み係数を表す。各エッジでは、入力層にあるノードの出力ｘｊ（Ｊ＝１～ｎ）を底とし、重み係数ｗ（ｊ，ｉ）を指数部とする、べき乗を計算する。

【0038】

中間層では、各エッジで計算された値を入力し、これらの和ｈまたは積ｚを計算する。数式で表すと以下になる。

【0039】

【数1】

【0040】

【数2】

【0041】

δは、各ノード間のエッジが繋がれていない場合は０、繋がれている場合は１を出力する関数である。本実施例では、エッジ制約設定部１５２（図１）が設定した、各ノード間のエッジの有無についての制約条件に従い、層の間で全てのノードがエッジで接続されているのではなく、一部のノードだけがエッジで接続されている。

【0042】

中間層にあるノードｉは、入力層にあるノードｊの出力値ｘｊを入力値とし入力し、この入力値ｘｊを底とし、ノードｊとノードｉとを繋ぐエッジに設定された重み係数ｗを指数部とする、べき乗を含む数式で表される値を持つ。そして、中間層にあるノードｉは、式（１）と式（２）で表されるように、このべき乗の和ｈを計算するノードと、このべき乗の積ｚを計算するノードとを有する。図２に示す例では、中間層のノードのうち、前半のｍ個（ｉ＝１～ｍ）のノードｉは、式（１）で和ｈを計算し、後半のｋ個（ｉ＝（ｍ＋１）～（ｍ＋ｋ））のノードｉは、式（２）で積ｚを計算する。和ｈを計算するノードの数ｍと積ｚを計算するノードの数ｋは、任意に定めることができ、数式を表すのに十分な数を設定しておく。

【0043】

次に、中間層から出力層への計算を説明する。出力層には、１個のノードしか存在しない。中間層にあるノードｉと出力層にあるノードを繋ぐエッジに設定された重み係数を、ｗ’ｊで示す。出力層のノードは、出力値ｙを出力する。出力値ｙは、ＮＮが表現する数式（予測式）で計算された値である。

【0044】

以上に説明した構造をもつＮＮが表現する数式（予測式）は、式（３）の形式、すなわち、べき乗を含む項の線形和を有する形式で表される。

【0045】

【数3】

【0046】

式（３）では、中間層のノードｉについて和ｈだけでなく積ｚについても計算することで、出力値ｙを求める。積ｚについても計算することで、より正確に物理則に基づく数式を得ることができる。

【0047】

本実施例による計算装置１が使用するＮＮと従来の一般的なＮＮの違いは、主に以下の３点である。

【0048】

第１点は、式（１）～（３）に示すように、ＮＮの入力値ｘｊを底とし、重み係数ｗ（ｊ，ｉ）を指数部とする、べき乗計算をして出力値ｙを求める点である。物理則は、一般に、べき乗の項を含む数式で表されることが多い。本実施例では、ＮＮが表現する数式を、入力値を底とし重み係数を指数部とする、べき乗の項を含む数式で表すことで、物理則に基づいた数式を用いたモデリングが可能である。

【0049】

第２点は、式（２）に示すように、中間層のノードで、各エッジで計算された値（べき乗計算の値）を入力とした積ｚを計算する点である。上述したように、和ｈだけを計算するのではなく積ｚについても計算することで、より正確に物理則に基づく数式を得ることができる。

【0050】

第３点は、層の間で一部のノードだけがエッジで接続されており、全てのノードにエッジが繋がっているわけではない点である。エッジがどのノードに繋がっているか、すなわち層の間でノードがどのノードに接続されているかというＮＮの構造は、式（１）～（３）のδで決定される。ＮＮの構造として、各層のノードを繋ぐエッジの数が増えると、ＮＮが表現する数式も複雑化する。従って、エッジを減らすことで、数式を簡素化することができる。本実施例では、層の間でノードが一部のノードだけに対して接続されているので、エッジを減らしてＮＮが表現する数式を簡素化し、物理則との整合性をとるのを容易にすることができる。

【0051】

本実施例による計算装置１は、以上のような特徴を備え、式（３）に示したような物理特性を表す数式（物理式）を予測式として表現することができる。このため、本実施例による計算装置１では、ＮＮの出力値（センサ３１の予測検出値）が得られた理由をユーザーが容易に理解することができ、出力値に対する説明性と解釈性を向上させることができる。

【0052】

図３は、計算装置１が行う処理の流れを示すフロー図である。図３を用いて、上記で説明したＮＮを用いて数式を導出する計算装置１の処理の流れを説明する。

【0053】

Ｓ１で、ユーザーが入出力装置２を用いて、数式を導出するための計算の実行を計算装置１に命令すると、ＮＮ構造制約設定部１５は、入出力制御部１１を通してこの計算の実行命令を取得する。

【0054】

Ｓ２で、ＮＮ構造制約設定部１５の入出力信号設定部１５１は、ＮＮの入出力信号に関する制約条件を構造制約条件記憶部１２から入力し、入力した制約条件をＮＮ計算時の制約条件として設定する。

【0055】

図４は、構造制約条件記憶部１２に記憶されている一部のデータの構成例を示す図である。図４には、一例として、構造制約条件記憶部１２に記憶されているデータのうち、ＮＮの入出力信号に関する制約条件を示している。この制約条件は、使用する入力信号と出力信号のそれぞれが、どのセンサ３１の信号であるかを、センサ３１の名前で特定する。図４に示した例では、ＮＮにより、入力信号であるセンサＡ～Ｄなどの検出値（実測値）から、出力信号であるセンサＺの予測検出値を算出する、という制約条件を示している。入力信号は、複数のセンサの信号であり、出力信号は、１つのセンサの信号とする。これは、図２に示したＮＮの入力層と出力層のノードに対応する。

【0056】

ＮＮの入出力信号に関する制約条件のデータは、ユーザーが事前に入出力装置２を用いて設定し、構造制約条件記憶部１２に記憶されている。

【0057】

図３の説明に戻る。

【0058】

Ｓ３で、ＮＮ構造制約設定部１５のエッジ制約設定部１５２は、各ノード間のエッジの有無についての制約条件を構造制約条件記憶部１２から入力し、入力した制約条件をＮＮの構造を決定する際の制約条件として設定する。

【0059】

図５Ａ～５Ｃは、構造制約条件記憶部１２に記憶されている一部のデータの構成例を示す図である。図５Ａ～５Ｃには、一例として、構造制約条件記憶部１２に記憶されているデータのうち、各ノード間のエッジの有無についての制約条件（ＮＮの構造を決定する際の制約条件）を示している。図５Ａ～５Ｃにおいて、表中の記号「×」は、ノード間でエッジが存在しないことを示している。記号「×」が付されていないノード間には、エッジが存在する。

【0060】

図５Ａと図５Ｂは、入力層のノードと中間層のノードとを繋ぐエッジが、どのノード間で存在し、どのノード間で存在しないかという、各ノード間のエッジの有無についての制約条件の例を示す。図５Ａには、式（１）で示した和ｈの計算を担うノード、すなわち図２に示した中間層のノードｉ（ｉ＝１～ｍ）に関するノードを示している。図５Ｂには、式（２）で示した積ｚの計算を担うノード、すなわち図２に示した中間層のノードｉ（ｉ＝（ｍ＋１）～（ｍ＋ｋ））に関するノードを示している。

【0061】

図５Ｃは、中間層のノードと出力層のノードとを繋ぐエッジが、どのノード間で存在し、どのノード間で存在しないかという、各ノード間のエッジの有無についての制約条件の例を示す。

【0062】

各ノード間のエッジの有無についての制約条件のデータは、ユーザーが事前に入出力装置２を用いて設定し、構造制約条件記憶部１２に記憶されている。ユーザーは、例えばセンサ３１が検出する信号に応じて、この制約条件を設定することができる。上述したように、従来のＮＮでは、層の間で全てのノードがエッジで接続されている。この制約条件は、本実施例でのＮＮにおいて、物理則との整合性をとるのを容易にするために、従来のＮＮから削除するエッジを定める条件である。

【0063】

図３の説明に戻る。

【0064】

Ｓ４で、ＮＮ構造最適化部１６は、構造最適化条件を構造最適化条件記憶部１３から入力する。構造最適化条件は、ユーザーが予め設定した、ＮＮの学習条件である。

【0065】

図６は、構造最適化条件記憶部１３に記憶されている構造最適化条件の構成例を示す図である。図６には、構造最適化条件として、数式項数の上限値、重み係数の初期値範囲、及び試行するＮＮ構造の数を示している。

【0066】

数式項数の上限値は、計算装置１が導出する数式（予測式）の項数の上限値を表す。

【0067】

重み係数の初期値範囲は、ＮＮの学習処理（重み係数ｗの収束計算）の際に設定する、重み係数ｗの初期値の範囲を表す。ＮＮ構造最適化部１６は、後述する学習処理において、この重み係数の初期値範囲に従って、重み係数ｗの初期値を設定する。

【0068】

試行するＮＮ構造の数は、計算装置１が数式を導出する回数を表す。ＮＮ構造最適化部１６は、後述するように、各ノード間のエッジの有無のパターンを変えて（すなわち、ＮＮの構造を変えて）数式を導出する。このパターンを変えて数式を導出する回数が、試行するＮＮ構造の数で定められる。

【0069】

図３の説明に戻る。

【0070】

Ｓ５で、ＮＮ構造最適化部１６は、構造制約条件記憶部１２に記憶された入力信号について、時系列データをセンサデータ格納部４２から入力することで、機器３のセンサデータを入力する。

【0071】

図７は、センサデータ格納部４２に格納されているセンサデータの構成例を示す図である。センサデータ格納部４２には、ＮＮの入力信号となる、それぞれのセンサ３１の検出値が、時系列の形式で格納されている。

【0072】

図３の説明に戻る。

【0073】

Ｓ６で、ＮＮ構造最適化部１６は、学習処理によって、ＮＮの構造を決定し、決定したＮＮの構造に対応する重み係数ｗを算出することで、入力信号と出力信号の関係を表す最適なＮＮを決定する。ＮＮの学習には、例えば、誤差逆伝播処理を用いる。以下、図８を用いて、Ｓ６で行う処理の詳細を説明する。

【0074】

図８は、ＮＮ構造最適化部１６が図３のＳ６で行う処理のフロー図である。本実施例による計算装置１におけるＮＮの学習処理、すなわち数式を導出する処理は、図８に示すように、二重のループで構成されたフローである。

【0075】

外側のループ（Ｓ１１～Ｓ１６）は、ＮＮの構造、すなわち各ノード間のエッジの有無を決定する処理である。この処理では、構造制約条件記憶部１２に記憶されている、各ノード間のエッジの有無についての制約条件（図５Ａ～５Ｃ）において存在すると指定されたエッジについて、エッジを存在させないか存在させるか（すなわち、エッジを削除するか否か）を決定する。ＮＮ構造最適化部１６が、各ノード間のエッジの有無のパターン（すなわち、ＮＮ構造）を変える回数は、構造最適化条件である試行するＮＮ構造の数（図６）に従う。

【0076】

内側のループ（Ｓ１４～Ｓ１５）は、外側のループで決定されたＮＮの構造に対して、重み係数ｗを決定する処理である。この重み係数ｗの収束判定条件は、ＮＮが出力するセンサ３１の予測検出値とこのセンサ３１の検出値（実測値）との差（ｌｏｓｓ）の変化率が、閾値以下となることである。この閾値は、ユーザーが予め任意に定めることができる。

【0077】

ＮＮ構造最適化部１６が最終的に決定するＮＮの構造と重み係数ｗは、ｌｏｓｓが最小となる条件で得られたものである。

【0078】

以下、図８のフローに沿って、ＮＮ構造最適化部１６がＮＮの構造を決定して重み係数ｗを算出する処理について説明する。

【0079】

Ｓ１１で、ＮＮ構造最適化部１６は、今までに試行したＮＮ構造の数（すなわち、計算装置１が数式を導出した回数）が、構造最適化条件としてユーザーに設定された試行するＮＮ構造の数より小さいかを判断する。今までに試行したＮＮ構造の数が、ユーザーに設定された試行するＮＮ構造の数より小さい間は、Ｓ１２～Ｓ１６の処理を行う。

【0080】

Ｓ１２で、ＮＮ構造最適化部１６は、ベイズ最適化を用いて、構造最適化条件としてユーザーに設定された数式項数の上限値を満足するように、ＮＮの構造（すなわち、各ノード間のエッジの有無）を決定する。ＮＮ構造最適化部１６は、ユーザーが指定して構造制約条件記憶部１２が記憶している、各ノード間のエッジの有無についての制約条件において存在するとされたエッジについて、これらのエッジを存在させるか否か（削除しないかするか）を決定する。ベイズ最適化とは、統計的な手法を用いて効率よく解を探索するための処理方法である。本実施例では、探索解であるＮＮの構造と、その評価値であるｌｏｓｓとの関係を用いて、各ノード間のエッジの有無のパターンを変えて（すなわち、ＮＮの構造を変えて）統計的に探索範囲を決定することにより、最適化処理の効率化を図る。

【0081】

ＮＮ構造最適化部１６は、設定された数式項数の上限値を満足するように各ノード間のエッジの有無を決定することで、ＮＮから削除するエッジを定めることができる。すなわち、数を減らすためにＮＮから削除するエッジは、各ノード間のエッジの有無についての制約条件（構造制約条件記憶部１２）としてユーザーが指定することができるとともに、ＮＮ構造最適化部１６が求めることができる。

【0082】

各ノード間のエッジの有無と最終的に導出する数式の項数との関係は、中間層と出力層の間のエッジの数に依存する。図２に示した中間層のノードｉのうち、前半のｍ個（ｉ＝１～ｍ）のノードｉについては、入力値の和ｈを計算するので、数式の項数は、出力層に繋がった中間層のノードと入力層のノードとを繋ぐエッジの総数となる。後半のｋ個（ｉ＝（ｍ＋１）～（ｍ＋ｋ））のノードｉについては、入力値の積ｚを計算するので、数式の項数は、出力層に繋がった中間層のノードの数となる。

【0083】

以上のようにＮＮの構造が決まれば、導出される数式の項数も一意に決まる。この性質を利用して、ＮＮ構造最適化部１６は、ベイズ最適化により、設定された数式項数の上限値を満足するように、ＮＮの構造（各ノード間のエッジの有無）を決定する。

【0084】

Ｓ１３で、ＮＮ構造最適化部１６は、Ｓ１２で決定されたＮＮ構造に対し、各エッジに割り付けられている重み係数ｗの初期値を設定する。この初期値は、任意の値に設定することができるが、前記したように、構造最適化条件としてユーザーに設定された重み係数の初期値範囲に従う値である。

【0085】

次に、ＮＮ構造最適化部１６は、ＮＮの学習処理、すなわち重み係数ｗの収束計算を行う。この収束計算は、後述する式（４）～（７）を用いて、重み係数ｗを更新する処理（Ｓ１５）と、ｌｏｓｓの変化率に基づいて収束判定を行う処理（Ｓ１４）で構成される。

【0086】

以下に、Ｓ１５の重み係数ｗを更新する処理の詳細を説明する。重み係数ｗを更新するのに用いられる式は、式（４）～（７）の４つある。これは、出力層と中間層のノードの組と中間層と入力層のノードの組という２組に対し、中間層の和ｈを計算するノードｉ（ｉ＝１～ｍ）と積ｚを計算するノードｉ（ｉ＝（ｍ＋１）～（ｍ＋ｋ））という２種類のノードがあるので、これらの組み合わせに応じて式が４つある。式（４）～（７）と後述する式（８）～（９）では、矢印の右側にあるｗに更新前のｗを代入し、矢印の右側にある式で得られた値を更新後のｗ（矢印の左側にあるｗ）とすることを示している。

【0087】

出力層と中間層のノードの組におけるノードｉ（ｉ＝１～ｍ）に繋がるエッジでは、重み係数ｗを更新するための式として、式（４）を用いる。前記したように、ｗは重み係数、ｈは式（１）で示した中間層のノードｉ（ｉ＝１～ｍ）の出力値、ｌｏｓｓはＮＮが出力するセンサ３１の予測検出値とこのセンサ３１の検出値（実測値）との差である。ηは、学習率と呼ばれる任意の定数であり、値が例えば０．００１と固定されている。

【0088】

【数4】

【0089】

出力層と中間層のノードの組におけるノードｉ（ｉ＝（ｍ＋１）～（ｍ＋ｋ））に繋がるエッジでは、重み係数ｗを更新するための式として、式（５）を用いる。前記したように、ｚは式（２）で示した中間層のノードｉ（ｉ＝（ｍ＋１）～（ｍ＋ｋ））の出力値である。

【0090】

【数5】

【0091】

中間層と入力層のノードの組におけるノードｉ（ｉ＝１～ｍ）に繋がるエッジでは、重み係数ｗを更新するための式として、式（６）を用いる。前記したように、ｘは、入力層にあるノードｊ（ｊ＝１～ｎ）の出力値である。

【0092】

【数6】

【0093】

中間層と入力層のノードの組におけるノードｉ（ｉ＝（ｍ＋１）～（ｍ＋ｋ））に繋がるエッジでは、重み係数ｗを更新するための式として、式（７）を用いる。

【0094】

【数7】

【0095】

ＮＮ構造最適化部１６は、以上に示した式（４）～（７）を用いて重み係数ｗの更新を繰り返し、最終的な重み係数ｗの値を決定する。

【0096】

式（６）、（７）は、入力層にあるノードの出力値ｘ、すなわちセンサ３１の検出値が負の場合には使えない。そこで、式（６）の代わりに式（８）を用いてもよく、式（７）の代わりに式（９）を用いてもよい。式（８）、（９）は、センサ３１の検出値が負の場合にも対応できる。

【0097】

【数8】

【0098】

【数9】

【0099】

以上の数式（４）～（９）は、ＮＮが学習に用いる誤差逆伝播処理で用いられる数式から導くことができるので、詳細な説明を省略する。

【0100】

ＮＮ構造最適化部１６は、Ｓ１５で重み係数ｗを更新したら、Ｓ１４で重み係数ｗの値が収束したかを判定する。

【0101】

Ｓ１４で、ＮＮ構造最適化部１６は、前記したように、ＮＮが出力するセンサ３１の予測検出値とこのセンサ３１の検出値（実測値）との差（ｌｏｓｓ）の変化率が、閾値以下であるかを判断する。ｌｏｓｓの変化率とは、重み係数ｗを更新したときの、更新前後でのｌｏｓｓの変化率のことである。ＮＮ構造最適化部１６は、ｌｏｓｓの変化率が閾値以下であれば、重み係数ｗの値が収束したと判断し、Ｓ１６の処理を実行する。

【0102】

Ｓ１６で、ＮＮ構造最適化部１６は、これまでに決定したＮＮの構造について得られたｌｏｓｓに対し、ｌｏｓｓが最小のときのＮＮの構造のデータと重み係数ｗを記憶する。ＮＮ構造最適化部１６は、ｌｏｓｓが最小となるＮＮの構造を最適な構造だと判断し、このときのＮＮの構造のデータと重み係数ｗを記憶する。また、ＮＮ構造最適化部１６は、重み係数ｗの値が収束したときに得られた最終的なＮＮの構造のデータと重み係数ｗだけでなく、収束途中で得られたＮＮの構造のデータと重み係数ｗも記憶する。

【0103】

図８を用いて説明した以上の処理が、図３のＳ６で行う処理である。

【0104】

図３の説明に戻る。

【0105】

Ｓ７で、ＮＮ構造最適化部１６は、Ｓ６の処理で得られたＮＮの構造（各ノード間のエッジの有無）のデータと重み係数ｗを解析結果格納部１７に格納する。

【0106】

図９は、解析結果格納部１７に格納されているデータの構成例を示す図である。解析結果格納部１７には、重み係数ｗの値が収束したときと収束していないときに得られた、ＮＮの構造のデータと重み係数ｗの値が格納される。図９において、表中に記入されている数値は、各エッジに対応する重み係数ｗを表しており、表中の記号「×」は、ノード間でエッジが存在しないことを示している。

【0107】

図３の説明に戻る。

【0108】

Ｓ８で、構造数式変換部１４は、解析結果格納部１７が格納したＮＮの構造のデータと重み係数ｗの値を用いて、式（３）に従い、入力信号と出力信号の関係を表す数式、すなわち、センサ３１の検出値と他のセンサ３１の予測検出値との関係を表す数式（予測式）を導出する。式（３）には、式（１）と（２）に示されるように、ｈとｚにべき乗の項が含まれている。このため、計算装置１は、式（３）により、物理則に基づいた数式を用いたモデリングが可能である。

【0109】

なお、構造数式変換部１４は、ＮＮ構造最適化部１６が重み係数を更新するごとに予測式を導出する。すなわち、構造数式変換部１４は、重み係数が収束したときの重み係数の値を用いて予測式を導出するだけでなく、重み係数が収束していないときの重み係数の値を用いて、予測式を導出することもできる。

【0110】

以上が、計算装置１が行う処理の流れについての説明である。

【0111】

次に、ユーザーが計算装置１を使うときに、入出力装置２が表示する画面の例を説明する。入出力装置２は、計算装置１からの命令により、以下のような画面を表示する。

【0112】

図１０は、ユーザーがＮＮの入出力信号に関する制約条件を設定する画面の例である。ＮＮの入出力信号に関する制約条件は、構造制約条件記憶部１２に記憶され、使用する入力信号と出力信号のそれぞれが、どのセンサ３１の信号であるかを、センサ３１の名前で特定する条件である。

【0113】

ユーザーは、使用出力値の項目１０１で、出力信号がどのセンサ３１の信号であるかを指定する。例えば、計算装置１は、入出力装置２の画面に、機器３に設置されたセンサ３１の一覧を表示し、ユーザーは、この一覧の中から出力に指定するセンサ３１を１つ選択する。また、ユーザーは、使用入力値の項目１０２で、入力信号がどのセンサ３１の信号であるかを指定する。入力信号については、ユーザーは、複数のセンサ３１を選択する。図１０に示すように、選択されたセンサ３１は、色が変わって表示される。

【0114】

図１１は、ユーザーが各ノード間のエッジの有無についての制約条件を設定する画面の例である。各ノード間のエッジの有無についての制約条件は、構造制約条件記憶部１２に記憶され、ＮＮから削除されるエッジを指定する条件である。

【0115】

ユーザーは、入力層のノードと中間層のノードとを繋ぐエッジについての項目２０１、２０２で、これらのエッジに対してエッジの有無を指定する。項目２０１は、和ｈの計算を担うノードに関するエッジについての項目である。項目２０２は、積ｚの計算を担うノードに関するエッジについての項目である。また、ユーザーは、中間層のノードと出力層のノードとを繋ぐエッジについての項目２０３で、これらのエッジに対してエッジの有無を指定する。図１１において、表中のチェックマークは、削除するエッジが指定されたことを示している。チェックマークの付け外しは、例えば、ユーザーがマウスカーソルで表をクリックすることで行うことができる。

【0116】

図１２は、ユーザーが構造最適化条件を設定する画面の例である。構造最適化条件は、構造最適化条件記憶部１３に記憶され、数式項数の上限値、重み係数の初期値範囲、及び試行するＮＮ構造の数を含む。

【0117】

ユーザーは、数式項数の上限値の項目３０１で、計算装置１が導出する数式の項数の上限値を指定する。ユーザーは、重み係数の初期値範囲の項目３０２で、ＮＮの学習処理（重み係数ｗの収束計算）の際に設定する、重み係数ｗの初期値の範囲を指定する。ユーザーは、試行するＮＮ構造の数の項目３０３で、計算装置１が、各ノード間のエッジの有無のパターンを変えて数式を導出する回数（パターンの数）を指定する。

【0118】

図１３は、計算装置１が導出した数式（予測式）を出力する画面の例である。項目４０１は、ユーザーがＮＮの入出力信号に関する制約条件で指定したセンサ３１の信号値（検出値）を表示する。項目４０２は、ＮＮの重み係数ｗの収束計算が終了したときに導出された数式（予測式）を表示する。この数式は、計算装置１が行った処理フローの全体を通して、ｌｏｓｓが最小のときの数式である。項目４０３は、重み係数ｗの収束計算の途中で導出された数式を、収束計算の繰り返しごとに表示する。

【0119】

項目４０３で、収束計算の途中で導出された数式、すなわち、重み係数が収束していないときの重み係数の値を用いて導出された数式を表示するのは、ｌｏｓｓが最小のときの数式が必ずしも最適とは限らないからである。以下に、この現象の詳細を説明する。

【0120】

ＮＮなどのモデリングには、一般的に過学習という問題がある。過学習とは、学習用に与えられたデータに過剰にフィッティングしたモデルが作られた結果、それ以外のデータに対する誤差が大きくなる現象をいう。このため、予測誤差（例えば、本実施例ではｌｏｓｓ）が最小だが、得られた数式は、過学習が原因で物理則に準じていない場合もあり得る。

【0121】

本実施例による計算装置１では、予測誤差の小さいＮＮを得ることよりも、モデリングの対象の背景にある物理則に準じた数式を導出することを重視する。このため、本実施例による計算装置１では、収束計算の途中の過程で導出された数式、すなわちｌｏｓｓが最小でないときの数式も併せて表示することにより、過学習による問題の解決を図ることができる。

【0122】

以上に述べたように、本実施例によれば、プラントや設備機器などの機器３に設置されたセンサ３１の検出値と他のセンサ３１の予測検出値との関係性を、物理則に基づいた数式としてモデリングできる。これにより、ユーザーは、モデリングされたＮＮが対象の機器３の物理特性と合致しているかを容易に確認することができ、ＮＮが算出した予測結果に対する説明性と解釈性を向上させることができる。

【実施例0123】

本発明の実施例２による、ニューラルネットワーク（ＮＮ）の計算装置及び計算方法について説明する。実施例１と実施例２との相違点は、ＮＮが表現できる数式（予測式）にある。実施例１では、式（３）に示すように、べき乗を含む項の線形和を有する形式の数式を導出するが、実施例２では、線形和のべき乗を有する形式の数式を導出する。

【0124】

以下では、実施例２について、実施例１との相違点を主に説明する。相違点は、ＮＮの構造、ＮＮの計算処理と学習処理、及び計算装置１の計算結果を出力する画面である。

【0125】

初めに、ＮＮの構造について、実施例２の実施例１との相違点を説明する。

【0126】

図１４は、本実施例において、計算装置１が数式（予測式）の導出に用いるＮＮの構造を表した概略図である。本実施例でのＮＮの構造は、実施例１でのＮＮの構造（図２）と比べて、入力層から中間層におけるエッジ部が担う計算処理と、中間層から出力層におけるエッジ部が担う計算処理とが入れ替わっている点で相違する。

【0127】

まず、入力層から中間層への計算を説明する。各エッジには、重み係数ｗ（ｊ，ｉ）が割り当てられている。ｊとｉは、エッジの両端に位置するノードｊとノードｉを示す。すなわち、ｗ（ｊ，ｉ）は、入力層にあるノードｊと中間層にあるノードｉを接続するエッジに設定された重み係数を表す。各エッジでは、入力層にあるノードの出力ｘｊ（Ｊ＝１～ｎ）と重み係数ｗ（ｊ，ｉ）の積を計算する。

【0128】

中間層では、各エッジで計算された値を入力とし、これらの和ｈまたは積ｚを計算する。数式で表すと以下になる。

【0129】

【数10】

【0130】

【数11】

【0131】

δは、各ノード間のエッジが繋がれていない場合は０、繋がれている場合は１を出力する関数である。本実施例では、実施例１と同様に、層の間で全てのノードがエッジで接続されているのではなく、一部のノードだけがエッジで接続されている。

【0132】

図１４に示す例では、中間層のノードのうち、前半のｍ個（ｉ＝１～ｍ）のノードｉは、式（１０）で和ｈを計算し、後半のｋ個（ｉ＝（ｍ＋１）～（ｍ＋ｋ））のノードｉは、式（１１）で積ｚを計算する。和ｈを計算するノードの数ｍと積ｚを計算するノードの数ｋは、任意に定めることができ、数式を表すのに十分な数を設定しておく。

【0133】

次に、中間層から出力層への計算を説明する。出力層には、１個のノードしか存在しない。中間層にあるノードｉと出力層にあるノードを繋ぐエッジに設定された重み係数を、ｗ’ｊで示す。出力層のノードは、出力値ｙを出力する。各エッジでは、中間層にあるノードの出力ｈｉ（ｉ＝１～ｍ）とｚｉ（ｉ＝（ｍ＋１）～（ｍ＋ｋ））を底とし、重み係数ｗ’ｊを指数部とする、べき乗を計算する。

【0134】

以上に説明した構造をもつＮＮが表現する数式（予測式）は、式（１２）の形式、すなわち、線形和のべき乗を有する形式で表される。

【0135】

【数12】

【0136】

次に、ＮＮの計算処理と学習処理について、実施例２の実施例１との相違点を説明する。相違点は、重み係数ｗの収束計算に用いる数式である。実施例２では、後述する式（１３）～（１８）を用いて、重み係数ｗを更新する。

【0137】

以下に、重み係数ｗを更新する処理（実施例１での図８のＳ１５に相当）の詳細を説明する。重み係数ｗを更新するのに用いられる式は、式（１３）～（１６）の４つある。式が４つあるのは、実施例１で説明したのと同様の理由による。

【0138】

出力層と中間層のノードの組におけるノードｉ（ｉ＝１～ｍ）に繋がるエッジでは、重み係数ｗを更新するための式として、式（１３）を用いる。前記したように、ｗは重み係数、ｈは式（１０）で示した中間層のノードｉ（ｉ＝１～ｍ）の出力値、ｌｏｓｓはＮＮが出力するセンサ３１の予測検出値とこのセンサ３１の検出値（実測値）との差である。ηは、学習率である。

【0139】

【数13】

【0140】

出力層と中間層のノードの組におけるノードｉ（ｉ＝（ｍ＋１）～（ｍ＋ｋ））に繋がるエッジでは、重み係数ｗを更新するための式として、式（１４）を用いる。前記したように、ｚは式（１１）で示した中間層のノードｉ（ｉ＝（ｍ＋１）～（ｍ＋ｋ））の出力値である。

【0141】

【数14】

【0142】

中間層と入力層のノードの組におけるノードｉ（ｉ＝１～ｍ）に繋がるエッジでは、重み係数ｗを更新するための式として、式（１５）を用いる。ｘは、入力層にあるノードｊ（ｊ＝１～ｎ）の出力値である。

【0143】

【数15】

【0144】

中間層と入力層のノードの組におけるノードｉ（ｉ＝（ｍ＋１）～（ｍ＋ｋ））に繋がるエッジでは、重み係数ｗを更新するための式として、式（１６）を用いる。

【0145】

【数16】

【0146】

式（１３）の代わりに式（１７）を用いてもよく、式（１４）の代わりに式（１８）を用いてもよい。式（１７）、（１８）は、中間層ノードの出力値ｈまたはｚが負の場合にも対応できる。

【0147】

【数17】

【0148】

【数18】

【0149】

次に、計算装置１の計算結果を出力する画面について、実施例２の実施例１との相違点を説明する。

【0150】

図１５は、本実施例において、計算装置１が導出した数式（予測式）を出力する画面の例である。項目５０２は、ＮＮの重み係数ｗの収束計算が終了したときに導出された数式（予測式）を表示する。項目５０３は、重み係数ｗの収束計算の途中で導出された数式を、収束計算の繰り返しごとに表示する。

【0151】

項目５０２と項目５０３に表示される数式の形式は、実施例１で項目４０２と項目４０３（図１３）に表示される数式の形式と、それぞれ相違する。実施例２では、線形和のべき乗を有する形式で数式が表示される。

【0152】

以上に述べたように、本実施例では、実施例１で表現できない形式の数式、すなわち、線形和のべき乗を有する形式の数式を導出することができる。このため、本実施例でも、プラントや設備機器などの機器３に設置されたセンサ３１の検出値と他のセンサ３１の予測検出値との関係性を、物理則に基づいた数式としてモデリングできる。これにより、ユーザーは、モデリングされたＮＮが対象の機器３の物理特性と合致しているかを容易に確認することができ、ＮＮが算出した予測結果に対する説明性と解釈性を向上させることができる。

【0153】

なお、本発明は、上記の実施例に限定されるものではなく、様々な変形が可能である。例えば、上記の実施例は、本発明を分かりやすく説明するために詳細に説明したものであり、本発明は、必ずしも説明した全ての構成を備える態様に限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能である。また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、削除したり、他の構成を追加・置換したりすることが可能である。