特開 2023-158668 情報処理装置、情報処理方法、及び情報処理装置を備えたプラント

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023158668

(43)【公開日】2023-10-31

(54)【発明の名称】情報処理装置、情報処理方法、及び情報処理装置を備えたプラント

(51)【国際特許分類】

   G06N 3/04 20230101AFI20231024BHJP

   G05B 23/02 20060101ALI20231024BHJP

【ＦＩ】

G06N3/04

G05B23/02 Z

【審査請求】未請求

【請求項の数】3

【出願形態】ＯＬ

(21)【出願番号】P 2022068570

(22)【出願日】2022-04-19

(71)【出願人】

【識別番号】000006105

【氏名又は名称】株式会社明電舎

(74)【代理人】

【識別番号】110002077

【氏名又は名称】園田・小林弁理士法人

(72)【発明者】

【氏名】金剌 泰宏

(72)【発明者】

【氏名】吉田 健人

【テーマコード（参考）】

3C223

【Ｆターム（参考）】

3C223AA01

3C223BA01

3C223CC01

3C223DD01

3C223EB01

3C223FF03

3C223FF22

3C223FF26

3C223FF42

3C223GG01

3C223GG03

3C223HH03

(57)【要約】

【課題】ある入出力データから特性を学習したニューラルネットワークあるいは、ある対象を制御することを目的としたニューラルネットワークを有するシステムにおける制御対象、及びニューラルネットワークを含んだ系において、線形特性による解析を可能とする情報処理装置、情報処理方法、及び情報処理装置を備えたプラントを提供する。
【解決手段】データの入力を受け付ける入力ノード３と、前記入力ノード３に接続されて中間層５を構成する複数の中間ノード５ａ、５ｂ、５ｃと、前記中間ノード５ａ、５ｂ、５ｃの最終段に接続されて計算結果を出力する出力ノード７と、を備え、前記中間ノード５ａ、５ｂ、５ｃの一部または全部の活性化関数がＲｅＬＵで構成され、それら以外の前記中間ノードが線形関数で構成され、前記ＲｅＬＵを有する前記中間ノード５ａ、５ｂ、５ｃの活性化状態に基づいてパターン分類される。
【選択図】図１

【特許請求の範囲】

【請求項1】

データの入力を受け付ける入力ノードと、
前記入力ノードに接続されて中間層を構成する複数の中間ノードと、
前記中間ノードの最終段に接続されて計算結果を出力する出力ノードと、を備え、
前記中間ノードの一部または全部の活性化関数がＲｅＬＵで構成され、それら以外の前記中間ノードが線形関数で構成され、
前記ＲｅＬＵを有する前記中間ノードの活性化状態に基づいてパターン分類される、情報処理装置。

【請求項2】

データの入力を受け付ける入力ノードと、
前記入力ノードに接続されて中間層を構成する複数の中間ノードと、
前記中間ノードの最終段に接続されて計算結果を出力する出力ノードと、を備えるニューラルネットワークを処理する情報処理方法であって、
前記中間ノードの一部または全部の活性化関数がＲｅＬＵで構成され、それら以外の前記中間ノードが線形関数で構成され、
前記ＲｅＬＵを有する前記中間ノードの活性化状態に基づいてパターン分類をする、情報処理方法。

【請求項3】

制御対象のプラント本体と、
請求項１に記載の情報処理装置を含む制御装置と、を備え、
前記プラント本体は、前記制御装置で制御される情報処理装置を備えたプラント。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法、及び情報処理装置を備えたプラントに関する。

【背景技術】

【0002】

近年、機器を制御するに際し、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）を利用した方法が用いられてきている。ＡＩにおける制御方法では、予め機械学習によって制御方策が調整された学習モデルが用いられる。機器の外部環境や状況等に対応する入力データを、この学習モデルによって演算し機器に対する制御信号を決定する。学習モデルの機械学習には、これまでに蓄積した外的環境や状況に対応する入力データに対し、その時行われた好適な制御データを教師データとして機械学習を行う教師有り学習や、出力された制御信号に対する報酬を計算する評価関数を設定し、その報酬に基づいて学習モデルを強化学習する方法等がある。この学習モデルには、人間の脳の働きをモデルにしてコンピューターに応用したニューラルネットワークが用いられる。

【0003】

非特許文献１で示すＵＲＬ内に記載の通り、ニューラルネットワークは入力に対して重みとバイアスによる線形変換と活性化関数による非線形変換が行われる。つまりニューラルネットワークは基本的に非線形特性を持つ。対してパワーエレクトロニクス分野などでは、ある対象の応答特性や安定性の確認をするために周波数解析を実施するが、後の解析のためには、対象が線形である必要がある。そのため、ニューラルネットワークを用いて対象の特性獲得を目的とした学習を行うと、学習結果のモデルに対して周波数領域等での必要な解析ができないという問題がある。

【0004】

ただし、ニューラルネットワークの活性化関数に線形性を有するものを使用すれば線形なニューラルネットワークの構築は可能である。しかしながら、現実のプラント等では制御対象が非線形特性を持つ事が多く、非線形特性を含めて学習できるニューラルネットワークの利点が低下してしまうためこの方法は現実的ではない。

【先行技術文献】

【非特許文献】

【0005】

【非特許文献1】Chainer Tutorial，“ニューラルネットワークの基礎”，[online]，［令和４年４月８日検索］，インターネット＜ＵＲＬ：https://tutorials.chainer.org/ja/13_Basics_of_Neural_Networks.html＞

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明は、上述した実情に鑑みてなされたものであり、本発明が解決しようとする課題は、ある入出力データから特性を学習したニューラルネットワークあるいは、ある対象を制御することを目的としたニューラルネットワークを有するシステムにおける制御対象、及びニューラルネットワークを含んだ系において、線形特性による解析を可能とする情報処理装置、情報処理方法、及び情報処理装置を備えたプラントを提供することである。

【課題を解決するための手段】

【0007】

本発明は、上記課題を解決するため、以下の手段を採用する。
すなわち、本発明の情報処理装置は、データの入力を受け付ける入力ノードと、前記入力ノードに接続されて中間層を構成する複数の中間ノードと、前記中間ノードの最終段に接続されて計算結果を出力する出力ノードと、を備え、前記中間ノードの一部または全部の活性化関数がＲｅＬＵで構成され、それら以外の前記中間ノードが線形関数で構成され、前記ＲｅＬＵを有する前記中間ノードの活性化状態に基づいてパターン分類される。
本発明の情報処理装置では、中間ノードの一部または全部の活性化関数がＲｅＬＵで構成され、それら以外の前記中間ノードが線形関数で構成されるので、ＲｅＬＵ関数の活性化状態により動作パターンを分類することができ、線形的解析が容易となる。

【0008】

本発明の情報処理方法は、データの入力を受け付ける入力ノードと、前記入力ノードに接続されて中間層を構成する複数の中間ノードと、前記中間ノードの最終段に接続されて計算結果を出力する出力ノードと、を備えるニューラルネットワークを処理する情報処理方法であって、前記中間ノードの一部または全部の活性化関数がＲｅＬＵで構成され、それら以外の前記中間ノードが線形関数で構成され、前記ＲｅＬＵを有する前記中間ノードの活性化状態に基づいてパターン分類をする。
本発明の情報処理方法では、中間ノードの一部または全部の活性化関数がＲｅＬＵで構成され、それら以外の前記中間ノードが線形関数で構成されるので、ＲｅＬＵ関数の活性化状態により動作パターンを分類することができ、線形的解析が容易となる。

【0009】

本発明の別の側面は、前述の情報処理装置を備えたプラントであって、制御対象のプラント本体と、前述の情報処理装置を含む制御装置と、を備え、前記プラント本体は、前記制御装置で制御される。
本発明の別の側面では、制御対象のプラント本体が前述の情報処理装置を含む制御装置で制御されるので、プラントの制御の解析が容易となる。

【発明の効果】

【0010】

本発明によれば、ある入出力データから特性を学習したニューラルネットワークあるいは、ある対象を制御することを目的としたニューラルネットワークを有するシステムにおける制御対象、及びニューラルネットワークを含んだ系において、線形特性による解析を可能とする情報処理装置、情報処理方法、及び情報処理装置を備えたプラントを提供することができる。

【図面の簡単な説明】

【0011】

【図1】本発明の実施形態における、情報処理装置の構成を示すブロック図である。

【図2】本発明の実施形態における、情報処理装置の機械学習システムの概略を示すブロック図である。

【図3】本発明の実施形態における、学習対象の非線形特性を持つモデルのグラフである。

【図4】本発明の実施形態における、活性化関数ＲｅＬＵの入出力特性を表すグラフである。

【図5】本発明の実施形態における、学習後の情報処理装置のＲｅＬＵ層の活性状態を表すブロック図である。

【図6】本発明の実施形態における、学習後の情報処理装置のＲｅＬＵ層の活性状態を表すブロック図である。

【図7】本発明の実施形態における、プラントのブロック図である。

【発明を実施するための形態】

【0012】

以下、添付図面を参照して、本発明の実施の形態について説明する。
（第１実施形態）
図１は、本実施形態における情報処理装置の構成を示すブロック図である。情報処理装置１は、データの入力を受け付ける入力ノード３と、前記入力ノード３に接続されて中間層５を構成する複数の中間ノード５ａ、５ｂ、５ｃと、前記中間ノード５ａ、５ｂ、５ｃの最終段に接続されて計算結果を出力する出力ノード７と、を備え、前記中間ノード５ａ、５ｂ、５ｃの一部または全部の活性化関数がＲｅＬＵで構成され、それら以外の前記中間ノードが線形関数で構成され、前記ＲｅＬＵを有する前記中間ノード５ａ、５ｂ、５ｃの活性化状態に基づいてパターン分類される。

【0013】

図１に示す情報処理装置１は、機械学習の対象となる学習モデルのニューラルネットワークを表している。図２は、情報処理装置１の機械学習システム２０の概略を示すブロック図である。機械学習システム２０は、学習部２１と、制御部２３と、被制御部２５と、を備えている。ここで被制御部２５とは、制御対象のプラントやロボット、システム等である。学習部２１と制御部２３と、及び制御部２３と被制御部２５と、はそれぞれの間を双方向に通信可能とされている（実線矢印）。学習部２１では、過去の実施データ等の学習データに基づいて情報処理装置（学習モデル）１が機械学習される。学習部２１で機械学習された情報処理装置（学習モデル）１は、制御部２３に送信される（破線矢印）。制御部２３では、被制御部２５の状態を受信し、機械学習済みの情報処理装置（学習モデル）１に基づいて制御信号を推論し、推論した制御信号に基づいて、被制御部２５を制御する。これら、情報処理装置１、学習部２１、制御部２３は、例えばコンピューターのＣＰＵやＧＰＵにより実行されるソフトウェア、プログラムであってよい。

【0014】

図３は、本実施形態において学習の対象とするモデルの入出力特性のグラフである。次に、上記の情報処理装置１において、図３に示す特性を学習する例について説明する。図１に示すように、本実施形態の情報処理装置１は、入出力数が１、中間層が１層でノード数３のニューラルネットワークである。また学習方法としては、教師あり学習であり、具体的にはニューラルネットワーク出力と教師の平均二乗誤差の最小化を行う。

【0015】

図４は、本実施形態におる活性化関数ＲｅＬＵの入出力特性を示すグラフである。図４に示すように、活性化関数ＲｅＬＵは、入力値が０以下であれば０を出力し、それ以外は入力値と同値を出力する特性を持ち、本実施形態では、ＲｅＬＵを持つ層の各ノードの出力値を監視する機能を有しており、０を出力するノードの状態を不活性、それ以外を活性と呼称する。

【0016】

図５と図６とは、機械学習後の情報処理装置１を示す図である。機械学習後のニューラルネットワークを分析すると、図５、図６に示す通り活性状態が入力値によって２つの活性パターンに分類され、その分類境界は入力値０となっている。すなわち、図５に示すとおり、ｘ＜＝０の範囲では、中間ノード５ａが活性状態、中間ノード５ｂ、５ｃが不活性状態となる。また、図６に示す通り、ｘ＞０の範囲では、中間ノード５ｂ、５ｃが活性状態、中間ノード５ａが不活性状態となる。図５、図６では、不活性状態の中間ノードは、破線で示されている。

【0017】

この学習済みニューラルネットワークの活性ノードのみに着目し、活性化関数ＲｅＬを考慮しない線形変換のみの入出力関係式は、以下の様に表される。

【0018】

【数1】

【0019】

ここで、ｗ１、ｗ２、ｗ３は、各中間ノード５ａ、５ｂ、５ｃのそれぞれの重み付けであり、ｂ１、ｂ２、ｂ３は、同様に各中間ノード５ａ、５ｂ、５ｃのそれぞれのバイアスである。上記式［数１］に本実施形態での学習済みのパラメータを代入した式は、以下の様に表される。

【0020】

【数2】

【0021】

従って、上記式［数２］に示すように、教師となるモデルの非線形点で分割された各線形特性を獲得することができる。つまり非線形特性を持つモデルに対して、活性化関数ＲｅＬＵを用いたニューラルネットワークで教師あり学習をしたとき、ＲｅＬＵを有する層の活性／不活性のパターンによりモデルを非線形点で分解することができ、それぞれの線形特性を取得することが可能となる。ここで、中間層の数が複数になる場合においては、全ての中間層が活性化関数ＲｅＬＵの層である必要はなく、一部の層がＲｅＬＵを用い、他の層が単純に重み付けｗとバイアスｂを有するＬｉｎｅａｒ（線形な活性化関数）である構成も可能である。

【0022】

以上述べたように、本実施形態では、情報処理装置（学習モデル）１が、その中間ノード５ａ、５ｂ、５ｃの一部または全部の活性化関数がＲｅＬＵで構成され、それら以外の中間ノードが線形関数で構成され、ＲｅＬＵを有する中間ノードの活性化状態に基づいてパターン分類されるので、ある入出力データから特性を学習したニューラルネットワークにおいて、線形特性による解析が可能となる。また、本実施形態では、中間層が１層の場合について説明したが、これに限定されず、中間層が複数層で構成されてもよい。

【0023】

（第２実施形態）
図７は、本実施形態における、プラントのブロック図である。本実施形態におけるプラント９は、制御対象のプラント本体１１と、第１実施形態に記載の情報処理装置１を含む制御装置１３と、を備え、プラント本体１１は、制御装置１３で制御される。

【0024】

第１実施形態では、学習する対象に非線形性が含まれており、その特性を教師あり学習により獲得した。対して本実施形態では、非線形性を持つプラント本体１１と、プラント本体１１を制御することを目的とした全部または一部がニューラルネットワークで構成される制御装置１３とを備えている。制御装置１３は、その動作を目標とする動作指令値ｒｅｆとプラント１１で観測できる情報ｄｅｔを入力としてプラント本体１１への動作を指示する信号１３ａを出力するように構成されている。

【0025】

本実施形態では、プラント本体１１の制御行動を獲得するために強化学習によりニューラルネットワークすなわち情報処理装置１の学習を実施することを特徴とする。強化学習アルゴリズムについては特に指定しない（例えばＰＰＯ（Ｐｒｏｘｉｍａｌ Ｐｏｌｉｃｙ Ｏｐｔｉｍｉｚａｔｉｏｎ）等）が、行動出力を行うニューラルネットワークについては第１実施形態と同様となる。学習後の行動出力を行うニューラルネットワークは第１実施形態と同様にＲｅＬＵ層の各ノードの活性パターンに分類され、そのパターン毎に活性ノードのみで線形変換を実施することで、制御対象を含めた線形解析が実施可能となる。

【0026】

以上述べたように、本実施形態では、第１実施形態に記載の情報処理装置１を含む制御装置１３を備え、プラント本体１１は、制御装置１３で制御されるので、ある対象を制御することを目的としたニューラルネットワークを有するシステムにおける制御対象、及びニューラルネットワークを含んだ系において、線形特性による解析が可能となる。

【符号の説明】

【0027】

１ 情報処理装置
３ 入力ノード
５ 中間層
５ａ、５ｂ、５ｃ 中間ノード
７ 出力ノード
９ プラント
１１ プラント本体
１３ 制御装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】