(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-15
(45)【発行日】2023-12-25
(54)【発明の名称】連合増分確率的構成ネットワークに基づく工業プロセスのソフト測定方法
(51)【国際特許分類】
G06N 7/01 20230101AFI20231218BHJP
【FI】
G06N7/01
(21)【出願番号】P 2022570190
(86)(22)【出願日】2022-06-23
(86)【国際出願番号】 CN2022100744
(87)【国際公開番号】W WO2023035727
(87)【国際公開日】2023-03-16
【審査請求日】2022-11-16
(31)【優先権主張番号】202111054478.9
(32)【優先日】2021-09-09
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】518139627
【氏名又は名称】中国▲鉱▼▲業▼大学
(74)【代理人】
【識別番号】100108453
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100110364
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100133400
【氏名又は名称】阿部 達彦
(72)【発明者】
【氏名】代 ▲偉▼
(72)【発明者】
【氏名】王 ▲蘭▼豪
(72)【発明者】
【氏名】董 良
(72)【発明者】
【氏名】胡 梦▲潔▼
(72)【発明者】
【氏名】王 光▲輝▼
(72)【発明者】
【氏名】南 静
(72)【発明者】
【氏名】季 朗▲龍▼
(72)【発明者】
【氏名】敖 硯▲シュアン▼
(72)【発明者】
【氏名】王 殿▲輝▼
【審査官】福西 章人
(56)【参考文献】
【文献】中国特許出願公開第113191092(CN,A)
【文献】中国特許出願公開第109635337(CN,A)
【文献】中国特許出願公開第112507219(CN,A)
【文献】米国特許出願公開第2021/0183498(US,A1)
【文献】特表2019-526851(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06N 3/00-99/00
(57)【特許請求の範囲】
【請求項1】
連合増分確率的構成ネットワークに基づく工業プロセスのソフト測定方法であって、
各工場は、過去の工業プロセスのアシストデータと対応する製品の品質データを取得し、ローカル増分確率的構成ネットワークモデルの学習に必要なパラメータを初期化させ、各工場は、いずれも1つのクライアント側であり、各クライアント側は、ローカルデータの制約条件を満たす隠れ層ノードを候補プールに入れ、候補プールから最適な候補ノードを選択して中央サーバにアップロードするステップ1と、
中央サーバは、アップロードした最適な候補ノードに対する加重集計又は貪欲選択を行ってグローバルパラメータを取得し、グローバルパラメータを各クライアント側にダウンロードしてローカル増分確率的構成ネットワークモデルの隠れ層のパラメータとするステップ2と、
各クライアント側は、グローバルパラメータを取得した後、新たに追加される隠れ層出力を算出し、出力重み値を中央サーバにアップロードして加重集計を行い、その後、次の訓練を始めるステップ3と、
現在ネットワークの隠れ層のノード数が所定の最大の隠れ層のノード数を超える時、又は現在反復における残差が所望許容公差を満たす時、新規ノードを追加させず、連合学習を停止させ、訓練されたグローバルモデルを取得するステップ4と、
サーバは訓練されたグローバルモデルを各ローカル工場に配信してソフト測定モデルとするステップ5と、を含む、ことを特徴とする連合増分確率的構成ネットワークに基づく工業プロセスのソフト測定方法。
【請求項2】
ステップ1において、合計K箇所の工場が連合学習に参加すると仮定し、第k箇所の工場に対し、n
k組の過去の工業プロセスのアシストデータX
kと対応する製品の品質データT
kを取得し、{X
k、T
k}と表記し、第k箇所の工場の第i組の過去の工業プロセスのアシストデータ
【数84】
はz個のアシストプロセス変数を含み、対応する製品の品質データt
iはm個の製品の品質データを含み、iの値は1~n
kであり、入力サンプル行列は
【数85】
第i組のz個のアシストプロセス変数セットは
【数86】
【数87】
は第k箇所の工場の第i組の第z個のアシストプロセス変数を示す、ことを特徴とする請求項1に記載の方法。
【請求項3】
ステップ1において、前記のローカル増分確率的構成ネットワーク学習に必要なパラメータを初期化させ、最大の隠れ層のノード数L
max、最大の確率的構成回数T
max、所望許容公差ε、隠れ層のパラメータの確率的構成範囲
【数88】
学習パラメータr、アクティベーション関数g(.)、初期の残差e
0=T
k、を含み、ここで、λ
minはランダムパラメータの割り当て区間の下限であり、λ
maxはランダムパラメータの割り当て区間の上限であり、Δλはランダムパラメータ割り当て区間の増分パラメータである、ことを特徴とする請求項2に記載の方法。
【請求項4】
ステップ1は、
各クライアント側のローカル増分確率的構成ネットワークの構築過程に、調節可能な対称区間Υにおいてそれぞれ隠れ層のパラメータ
【数89】
をランダムに生成することと、
ノード隠れ層出力は
【数90】
上付き文字Tは行列又はベクトルの転置であることと、
【数91】
を設定し、Lは現在ローカル増分確率的構成ネットワークモデルの隠れ層ノードの全体数であり、rは学習パラメータを示し、
【数92】
は非負実数配列であることと、
下記不等式を満たす隠れ層ノードを見つけ出して候補ノードとし、
【数93】
ここで、
【数94】
式において、mは各訓練セットから出力された次元数を示し、シンボル<・,・>はベクトルの内積を示し、
【数95】
はライアント側kにおいて現在隠れ層のノード数がLである時、各訓練セットの第q個の出力に対応する監督メカニズムを示し、
【数96】
新たに追加される候補ノード
【数97】
【数98】
候補プールを構築し、ここで、
【数99】
は第k個のクライアント側の第L回の反復の時にランダムに構成されているノード監督値を示し、
【数100】
は第k個のクライアント側の第L回の反復の時に第j回のランダムに構成されているノード監督値を示すことと、
【数101】
を最大にする1組の隠れ層のパラメータを見つけ出し、監督メカニズムを満たす最適な隠れ層のパラメータ
【数102】
であることと、を更に含む、ことを特徴とする請求項3に記載の方法。
【請求項5】
ステップ1は、前記の候補プールから最適な候補ノードを選択して中央サーバにアップロードすることは、
加重集計で、
【数103】
をアップロードする加重集計と、
貪欲選択で、
【数104】
をアップロードする貪欲選択と、を含むこと、を更に含む、ことを特徴とする請求項4に記載の方法。
【請求項6】
ステップ2は、中央サーバは、アップロードした最適な候補ノードに対する加重集計を行ってモデルの第L個のノードのグローバルパラメータ
【数105】
ここで、
【数106】
ここで、nは全てのクライアント側のローカル履歴工業プロセスのアシストデータn
kの総和であること、を含む、ことを特徴とする請求項5に記載の方法。
【請求項7】
ステップ2は、前記中央サーバは、アップロードした最適な候補ノードに対する貪欲選択を行うことは、
中央サーバは、アップロードしたパラメータ
【数107】
を比較し、最大の
【数108】
に対応するクライアント側のパラメータをモデルの第L個のノードのグローバルパラメータ
【数109】
として選択すること、を含み、
ここで、
【数110】
ここで、
【数111】
は各クライアント側でアップロードした最適なパラメータ
【数112】
のセットであり、
【数113】
ことを特徴とする請求項5に記載の方法。
【請求項8】
ステップ3は、各クライアント側は、現在のグローバルパラメータ
【数114】
新たに追加される隠れ層出力
【数115】
を算出することと、
【数116】
により、クライアント側のローカルの隠れ層出力行列
【数117】
を算出することと、を含み、
ここで、現在隠れ層出力行列は
【数118】
式において、
【数119】
はローカルクライアント側kの各クライアント側は出力行列
【数120】
を中央サーバにアップロードすることを示し、中央サーバは、アップロードした
【数121】
に対する加重集計を行ってグローバル出力行列
【数122】
を取得し、ここで、
【数123】
ことを特徴とする請求項6又は7に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、工業プロセスにおける製品の品質指標のソフト測定技術分野に関し、特に連合増分確率的構成ネットワークに基づく工業プロセスのソフト測定方法に関する。
【背景技術】
【0002】
製造コストを削減させ、生産性と品質を向上させるために、製品の品質指標をリアルタイム且つ正確に予報できるソフト測定技術は、現在、複雑工業プロセス制御分野の1つの重要な研究方向となり、深い有意性と実用応用価値を有する。複雑工業分野では、データが不足するという問題に直面しているため、マルチ企業はデータ交換と整合を行わない場合、人工知能モデルにより訓練されて予測して得られた効果指標が好ましくなく、実際に応用しにくく、ビッグデータの更なる発展に伴い、データのプライバシーと安全性を重視することは既に国際的な傾向となる。そのため、各国では、いずれもデータの安全性とプライバシーに対する保護を強化し、欧州連合では、最近導入された新法案《汎用データ保護条例》(General Data Protection Regulation、GDPR)によれば、ユーザデータのプライバシーとセキュリティ管理は益々厳格になることは世界的な傾向である。これは人工知能分野に従来にはないチャレンジをもたらす。連合学習は、1つの機械学習フレームとして、データのプライバシーを保護するという前提で複数の参加者のローカルデータにより訓練された統一の機械学習モデルを実現することができるため、プライバシーに敏感な場面(金融業界、工業と多くの他のデータ検知場面を含む)において連合学習は極めて良い利用可能性を示す。現在、連合学習は、主に深層学習に結合されているが、ディープアルゴリズム自体は、例えば、局所的な極小点に落ち込みやすく、初期のパラメータの設定の依存性が高く、勾配消失及び勾配爆発などのいくつかの解決困難なボトルネック問題が存在し、ニューラルネットワークの強い学習能力を十分に発揮させることは困難である。確率的構成ネットワークは、近年に現れ、無限近似特性を有する先進な単一隠れ層ランダム重み値ネットワークとして、大量の回帰と分類試験によれば、いずれもコンパクト性、迅速な学習と汎化性能などにおいて明らかな優位性を有することが裏付けられる。
【発明の概要】
【課題を解決するための手段】
【0003】
本発明の目的は、従来の工業プロセスにおける製品データ量が少なく、それぞれのデータを集計して訓練しにくいことに対し、連合増分確率的構成ネットワークに基づく工業プロセスのソフト測定方法を提供することであり、各工場は、過去の工業プロセスのアシストデータと対応する製品の品質データを取得し、ローカル増分確率的構成ネットワークモデルの学習に必要なパラメータを初期化させ、各工場は、いずれも1つのクライアント側であり、各クライアント側は、ローカルデータの制約条件を満たす隠れ層ノードを候補プールに入れ、候補プールから最適な候補ノードを選択して中央サーバにアップロードするステップ1と、中央サーバは、アップロードした最適な候補ノードに対する加重集計又は貪欲選択を行ってグローバルパラメータを取得し、グローバルパラメータを各クライアント側にダウンロードしてローカル増分確率的構成ネットワークモデルの隠れ層のパラメータとするステップ2と、各クライアント側は、グローバルパラメータを取得した後、新たに追加される隠れ層出力を算出し、出力重み値を中央サーバにアップロードして加重集計を行い、その後、次の訓練を始めるステップ3と、現在ネットワークの隠れ層のノード数が所定の最大の隠れ層のノード数を超える時、又は現在反復における残差が所望許容公差を満たす時、新規ノードを追加させず、連合学習を停止させ、訓練されたグローバルモデルを取得するステップ4と、サーバは訓練されたグローバルモデルを各ローカル工場に配信してソフト測定モデルとするステップ5と、を含む。
【0004】
ステップ1において、合計K箇所の工場が連合学習に参加すると仮定し、第k箇所の工場に対し、n
k組の過去の工業プロセスのアシストデータX
kと対応する製品の品質データT
kを取得し、{X
k、T
k}と表記し、第k箇所の工場の第i組の過去の工業プロセスのアシストデータ
【数1】
はd個のアシストプロセス変数を含み、対応する製品の品質データt
iはm個の製品の品質データを含み、iの値は1~n
kであり、入力サンプル行列は
【数2】
であり、第i組のz個のアシストプロセス変数セットは
【数3】
と表記し、
【数4】
は第k箇所の工場の第i組の第z個のアシストプロセス変数を示す。
【0005】
ステップ1において、前記K箇所の工場はいずれも同じ工業プロセスを実行し、同じ工業プロセスは主に同じプロセスフローと過程機器を用い、特徴類似性を有する。
【0006】
ステップ1において、前記のローカル増分確率的構成ネットワーク学習に必要なパラメータを初期化させる。最大の隠れ層のノード数L
max、最大の確率的構成回数T
max、所望許容公差ε、隠れ層のパラメータの確率的構成範囲
【数5】
学習パラメータr、アクティベーション関数g(.)、初期の残差e
0=T
k、を含み、ここで、λ
minはランダムパラメータの割り当て区間の下限であり、λ
maxはランダムパラメータの割り当て区間の上限であり、Δλはランダムパラメータ割り当て区間の増分パラメータであり、
ステップ1は、各クライアント側のローカル増分確率的構成ネットワークの構築過程に、調節可能な対称区間Υにおいてそれぞれ隠れ層のパラメータ
【数6】
をランダムに生成することと、
ノード隠れ層出力は
【数7】
であり、上付き文字Tは行列又はベクトルの転置であることと、
【数8】
を設定し、Lは現在ローカル増分確率的構成ネットワークモデルの隠れ層ノードの全体数であり、rは学習パラメータを示し、
【数9】
は非負実数配列であることと、
下記不等式を満たす隠れ層ノードを見つけ出して候補ノードとし、
【数10】
ここで、
【数11】
式において、mは各訓練セットから出力された次元数を示し、シンボル<・,・>はベクトルの内積を示し、
【数12】
はクライアント側kにおいて現在隠れ層のノード数がLである時、各訓練セットの第q個の出力に対応する監督メカニズムを示し、
【数13】
を算出し、新たに追加される候補ノード
【数14】
を取得し、
【数15】
候補プールを構築し、ここで、
【数16】
は第k個のクライアント側の第L回の反復の時にランダムに構成されているノード監督値を示し、
【数17】
は第k個のクライアント側の第L回の反復の時に第j回のランダムに構成されているノード監督値を示すことと、
【数18】
を最大にする1組の隠れ層のパラメータを見つけ出し、監督メカニズムを満たす最適な隠れ層のパラメータ
【数19】
であることと、を更に含む。
【0007】
ステップ1は、前記の候補プールから最適な候補ノードを選択して中央サーバにアップロードすることは、
加重集計で、
【数20】
をアップロードする加重集計と、
貪欲選択で、
【数21】
と対応する
【数22】
をアップロードする貪欲選択と、を含むこと、を更に含む。
【0008】
ステップ2は、中央サーバは、アップロードした最適な候補ノードに対する加重集計を行ってモデルの第L個のノードのグローバルパラメータ
【数23】
を取得し、
ここで、
【数24】
ここで、nは全てのクライアント側のローカル履歴工業プロセスのアシストデータの総和であることを含む。
【0009】
ステップ2において、前記中央サーバは、アップロードした最適なノードに対する貪欲選択を行うことは、
中央サーバは、アップロードしたパラメータ
【数25】
を比較し、最大の
【数26】
に対応するクライアント側のパラメータをモデルの第L個のノードのグローバルパラメータ
【数27】
として選択することを含み、
ここで、
【数28】
ここで、
【数29】
は各クライアント側でアップロードした最適なパラメータ
【数30】
のセットであり、
【数31】
【0010】
ステップ3は、各クライアント側は、現在のグローバルパラメータ
【数32】
に基づき、
【数33】
により、新たに追加される隠れ層出力
【数34】
を算出することと、
【数35】
により、クライアント側のローカルの隠れ層出力行列
【数36】
を算出することと、を含み、
ここで、現在隠れ層出力行列は
【数37】
であることと、
式において、
【数38】
はローカルクライアント側kの各クライアント側は出力行列
【数39】
を中央サーバにアップロードすることを示し、中央サーバは、アップロードした
【数40】
に対する加重集計を行ってグローバル出力行列
【数41】
を取得し、ここで、
【数42】
【0011】
好適な効果としては、従来技術に比べて、本発明の利点は、本方法は動的に構成された連合学習方式を用いてモデルを訓練し、構造法の形態で、無限近似特性を有し、パラメータが最適である工業プロセスにおける製品の品質ソフト測定モデルを確立し、複雑な再訓練の必要なく、且つモデルの正確性を保証することができ、良好なコンパクトさと汎化性能を有する。
【0012】
以下、図面と実施形態に合わせて本発明を更に詳細に説明し、本発明の上記及び/又は他の態様の利点は更に明瞭になる。
【図面の簡単な説明】
【0013】
【
図1】連合増分確率的構成ネットワークモデルの概略図である。
【発明を実施するための形態】
【0014】
本発明は、連合増分確率的構成ネットワークに基づく工業プロセスのソフト測定方法を提供し、本発明に使用される適合モデルの構造は、
図1に示すように、入力層、隠れ層と出力層を含み、d=5、m=1。
【0015】
本発明は、下記のステップを含み、ステップ1において、各工場は、磨鉱プロセスの履歴ローカルデータベースから100組の従来のヘマタイト磨鉱プロセスに測定した履歴データを選択し、すなわち、各組のデータは、ボールミルの電流c
1と螺旋分級機の電流c
2、研磨機の給鉱量c
3、研磨機入口の給水流量c
4と分級機のオーバーフロー濃度c
5という5つのアシストプロセス変数データを含み、
【数43】
で第k個のクライアント側の均一化した入力データと、それに対応する製品の品質データ、すなわち、磨鉱粒度値t
iを示す。
【数44】
は第k個のクライアント側の第i個のサンプルのc
5アシストプロセス変数データを示す。現在、10箇所の工場は訓練に参加し、合計1000組の履歴データがあり、ここで、800組は訓練セットとして、200組はテストセットとしている。入力サンプルは
【数45】
ここで、
【数46】
出力サンプルは
【数47】
【0016】
連合増分確率的構成ネットワークソフト測定モデルの学習に必要なパラメータを初期化させ、最大の隠れ層のノード数L
max=100、最大の構成回数Tmax=20、所望許容公差ε=0.05、隠れ層のパラメータの確率的構成範囲Υ:={1:1:10}、学習パラメータr=0.99、初期の残差e
0=T、アクティベーション関数選択Sigmoid(S曲線)関数g(x)=1/(1+exp(-x))を含み、
連合増分確率的構成ネットワークの構造過程に、第k個のクライアント側は第L個のノードを添加する時に、調節可能な範囲[-1、1]において20対の隠れ層のパラメータ、すなわち、
【数48】
をランダムに生成し、それらをアクティベーション関数g(x)に代入し、
ノード隠れ層出力は
【数49】
Tは転置演算を示し、
【数50】
Lは現在ローカルネットワークの隠れ層ノードの全体数であり、
下記不等式を満たす隠れ層ノードを見つけ出して候補ノードとし、
【数51】
ここで、
【数52】
20回の後でも、条件を満たす隠れ層のパラメータを見つけ出さない場合、監督メカニズムの条件を緩和させ、r=r+τを更新し、ここで、パラメータτ∈(0,1-r)、監督メカニズムを満たすパラメータを見つけ出すまで実行する。
【0017】
前記候補ノードをそれぞれ
【数53】
【数54】
j≦20ここで、
【数55】
はクライアント側kにおける第L回の反復における第n回のランダムに構成されているノード監督値を示し、
【数56】
は増分監督メカニズムを満たす複数の新たに追加される候補ノードであり、候補隠れ層単一ノードプールを構築し、ノードプールから最大値
【数57】
に対応する1組の隠れ層のパラメータを見つけ出し、監督メカニズムを満たす最適な隠れ層のパラメータ
【数58】
であり、最適な候補ノードを中央サーバにアップロードし、異なるアルゴリズムに基づいて異なるパラメータをアップロードし、アルゴリズムは、加重集計で、
【数59】
をアップロードする加重集計と、貪欲選択で、
【数60】
とそれに対応する
【数61】
をアップロードする貪欲選択と、を含む。
【0018】
ステップ2において、中央サーバは、アップロードした最適なノードに対する加重集計又は貪欲選択を行い、前記中央サーバは、アップロードした最適なノードに対する加重集計を行うことは、中央サーバは、アップロードしたパラメータに対する加重集計は第L個のノードを行うグローバルパラメータ
【数62】
を取得することを含み、ここで、
【数63】
ここで、nは全てのクライアント側のデータサンプルの全体数であり、n
kはクライアント側kのデータサンプルの全体数である。
【0019】
前記中央サーバは、アップロードした最適なノードに対する貪欲選択を行うことは、中央サーバは、アップロードしたパラメータ
【数64】
を比較し、最大の
【数65】
に対応するクライアント側のパラメータをモデルの第L個のノードのグローバルパラメータ
【数66】
として選択することを含み、ここで、
【数67】
ここで、
【数68】
各クライアント側でアップロードした最適なパラメータ
【数69】
のセットであり、
【数70】
【0020】
ステップ3において、前記各クライアント側はグローバルパラメータ
【数71】
を取得した後、新たに追加される隠れ層出力と出力重み値
【数72】
を算出し、
【数73】
をサーバにアップロードして加重集計を行うことは、現在のグローバルパラメータ
【数74】
各クライアント側は新たに追加される隠れ層出力を算出することと、
【数75】
クライアント側のローカルの隠れ層出力行列を算出することと、を含み、ここで、
【数76】
各クライアント側は出力行列
【数77】
を中央サーバにアップロードし、サーバは、アップロードした
【数78】
に対する加重集計を行って
【数79】
を取得し、ここで、
【数80】
【0021】
この時、各クライアント側の増分確率的構成ネットワークの残差は
【数81】
【0022】
ステップ4において、連合増分確率的構成ネットワークの隠れ層のノード数が100を超える時、又は現在反復における残差が所望許容公差0.05を満たす時、新規ノードを追加させず、モデル化を完了する。そうでなければ、ステップ1に戻り、その後、ネットワークを構成し、予め設置された要求に達するまで実行する。各クライアント側は、連合増分確率的構成ネットワークに基づく磨鉱粒度ソフト測定モデルをダウンロードする。各クライアント側は、オンラインでローカルデータを収集してこのグローバルソフト測定モデルに入力する。
【0023】
ステップ5において、各クライアント側は、オンラインでボールミルの電流c
1、螺旋分級機の電流c
2、研磨機の給鉱量c
3、研磨機入口の給水流量c
4と分級機のオーバーフロー濃度c
5を収集し、既に構築した磨鉱粒度ソフト測定モデルに入力し、磨鉱粒度のオンライン推定を行い、すなわち
【数82】
ここで、
【数83】
はクライアント側kによるオンライン推定する製品の品質データである。
【0024】
本発明は、連合増分確率的構成ネットワークに基づく工業プロセスのソフト測定方法を提供し、当該技術的解決手段を具体的に実現する方法とアプローチは多く、上記内容は本発明の好ましい実施形態に過ぎず、指摘すべきことは、当業者にとって、本発明の原理を逸脱しない限り、更にいくつかの改良と修飾を行ってもよく、これらの改良と修飾は本発明の特許請求の範囲と見なされるべきであることである。本実施例では、明確なものでない各構成部分はいずれも従来技術によって実現することができる。