特許 7668963 損失関数適応を用いる前処理された時間遅延ニューラルネットワークを使用する、工場自動化システムにおける異常検出および診断

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-04-17

(45)【発行日】2025-04-25

(54)【発明の名称】損失関数適応を用いる前処理された時間遅延ニューラルネットワークを使用する、工場自動化システムにおける異常検出および診断

(51)【国際特許分類】

   G05B 23/02 20060101AFI20250418BHJP

   G06N 3/049 20230101ALI20250418BHJP

   G06N 3/0455 20230101ALI20250418BHJP

【ＦＩ】

G05B23/02 302R

G06N3/049

G06N3/0455

【請求項の数】 12

(21)【出願番号】P 2024526020

(86)(22)【出願日】2022-05-19

(65)【公表番号】

(43)【公表日】2024-08-06

(86)【国際出願番号】 JP2022021478

(87)【国際公開番号】W WO2023032364

(87)【国際公開日】2023-03-09

【審査請求日】2024-01-17

(31)【優先権主張番号】17/464,901

(32)【優先日】2021-09-02

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】000006013

【氏名又は名称】三菱電機株式会社

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】グオ，ジエンリン

(72)【発明者】

【氏名】リウ，ブライアン

(72)【発明者】

【氏名】秋濃 俊昭

(72)【発明者】

【氏名】ワン，イェ

(72)【発明者】

【氏名】キム，キョン・ジン

(72)【発明者】

【氏名】パーソンズ，キーラン

(72)【発明者】

【氏名】オーリック，フィリップ

【審査官】牧 初

(56)【参考文献】

【文献】特表２０２１－５０９９９５（ＪＰ，Ａ）

【文献】特表２０２１－５２７９０６（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２０／０３７９４５４（ＵＳ，Ａ１）

【文献】国際公開第２０２０／１４８９０４（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０５Ｂ ２３／００－２３／０２

Ｇ０６Ｆ １８／００－１８／４０

Ｇ０６Ｎ ３／００－９９／００

(57)【特許請求の範囲】

【請求項1】

工場自動化（ＦＡ）システムまたは製造生産ラインに配置された機械の異常状態を検出するための、コンピュータにより実現される前処理された時間遅延オートエンコーダベースの異常検出方法であって、
インターフェイスを介して前記機械からソース信号を取得するステップと、
取得された前記ソース信号の値範囲を正規化し、取得された前記ソース信号から望ましくない特徴をフィルタリングすることによって、取得された前記ソース信号のためのデータ前処理プロセスを行なうステップと、
前処理された時間遅延データを生成するために、時間遅延窓に基づいて、前処理された前記ソース信号のための時間遅延されたデータ修正プロセスを行なうステップと、
前処理された時間遅延テストデータを、前処理された時間遅延されたオートエンコーダ（Ｐｒｅｐ－ＴＤＡＥ）ニューラルネットワークに提出するステップとを含み、前記前処理された時間遅延テストデータは、前記機械が動作されている間にオンラインで収集され、前記Ｐｒｅｐ－ＴＤＡＥニューラルネットワークは、前記前処理された時間遅延訓練データを使用することによって予め訓練されており、前記方法はさらに、
前記前処理された時間遅延テストデータの異常スコアを計算することによって、前記機械に関して異常状態に遭遇したかどうかを検出するステップと、
前記異常状態が検出された場合、前記機械の各々の前記異常状態に関する異常発生時間、持続時間、および深刻度を判定するステップとを含む、方法。

【請求項2】

前記データ前処理プロセスは、正規化された前記ソース信号を、正規化されたアナログ信号と正規化されたバイナリ信号とに分割する、請求項１に記載の方法。

【請求項3】

前記判定するステップで、前記異常状態は、正規化された前記信号の前記異常スコアを計算することによって検出される、請求項１に記載の方法。

【請求項4】

前記Ｐｒｅｐ－ＴＤＡＥニューラルネットワークの入力層は、前記前処理された時間遅延データのバイナリ部分を、前記入力層のバイナリアクセプタを介して受け付け、前記前処理された時間遅延データのアナログ部分を、前記入力層のアナログアクセプタを介して受け付けるように構成される、請求項１に記載の方法。

【請求項5】

前処理のステップで、取得された前記信号は、バイナリ信号とアナログ信号とに分割され、前記アナログ信号はバンドパスフィルターによって、次にハイパスフィルターによって処理され、前記バイナリ信号は単位インパルスフィルターによって処理される、請求項１に記載の方法。

【請求項6】

前記Ｐｒｅｐ－ＴＤＡＥニューラルネットワークは、異なる損失関数を異なるデータタイプに適用することによって、損失関数適応を行なう、請求項１に記載の方法。

【請求項7】

前記バイナリ信号は交差エントロピー損失関数を用いて訓練され、前記アナログ信号は二乗誤差損失関数を用いて訓練される、請求項５に記載の方法。

【請求項8】

前記異常発生時間は、異常スコアが予め定義されたしきい値を上回る、テストデータの時間インデックスに対応する、請求項１に記載の方法。

【請求項9】

前記異常持続時間は、テストデータの前記異常スコアが予め定義されたしきい値を連続する時間インデックスにわたって持続的に上回る時間の長さである、請求項１に記載の方法。

【請求項10】

前記異常深刻度は、前記異常スコアの大きさに基づいて判定される、請求項１に記載の方法。

【請求項11】

工場自動化（ＦＡ）システムまたは製造生産ラインに配置された機械の異常状態を検出するための、前処理された時間遅延オートエンコーダベースの異常検出システムであって、
前記機械からソース信号を取得するように構成されたインターフェイスと、
データ前処理プロセスアルゴリズム、時間遅延されたデータ修正プロセスアルゴリズム、前処理された時間遅延オートエンコーダ（Ｐｒｅｐ－ＴＤＡＥ）ニューラルネットワーク、異常診断アルゴリズム、および請求項１に記載のコンピュータにより実現される統計ベースの異常診断方法を含むコンピュータ実行可能プログラムを格納するためのメモリと、
プロセッサとのステップを含み、前記プロセッサは、
取得された前記ソース信号の値範囲を正規化し、取得された前記ソース信号から望ましくない特徴をフィルタリングすることによって、取得された前記ソース信号のための前記データ前処理プロセスアルゴリズムを行なうステップと、
前処理された時間遅延データを生成するために、時間遅延窓に基づいて、前処理された前記ソース信号のための前記時間遅延されたデータ修正プロセスアルゴリズムを行なうステップと、
前処理された時間遅延テストデータを前記Ｐｒｅｐ－ＴＤＡＥニューラルネットワークに提出するステップとを行なうように構成され、前記前処理された時間遅延テストデータは、前記機械が動作されている間にオンラインで収集され、前記Ｐｒｅｐ－ＴＤＡＥニューラルネットワークは、前記前処理された時間遅延訓練データを使用することによって予め訓練されており、前記プロセッサはさらに、
前記前処理された時間遅延テストデータの異常スコアを計算することによって、前記機械に関して異常状態に遭遇したかどうかを検出するステップと、
前記異常状態が検出された場合、前記機械の各々の前記異常状態に関する異常発生時間、持続時間、および深刻度を判定するステップとを行なうように構成される、システム。

【請求項12】

前記データ前処理プロセスは、正規化された前記ソース信号を、正規化されたアナログ信号と正規化されたバイナリ信号とに分割する、請求項１１に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は一般に、機械学習手法を使用する異常検出および診断に関し、特に、損失関数適応を用いる前処理された時間遅延ニューラルネットワークを使用する異常検出および診断に関する。

【背景技術】

【0002】

工場自動化（factory automation：ＦＡ）システムにおけるダウンタイムとは、システムがその生産を停止する期間を示す。ＦＡシステムにおける機械または設備は、異常、故障、または侵入に起因して作動停止するかもしれない。したがって、ＦＡシステムにおける異常を正確に検出することが不可欠である。システムで異常がいったん検出されると、ＦＡシステムを速やかに正常状態に復元するために異常の原因を識別する必要がある。異常診断とは、異常を引き起こした正確な源を見つけることである。したがって、異常診断もＦＡシステムにおいて重大である。その結果、ＦＡシステムにおける生産効率を向上させるために、異常検出および異常診断の双方が必要とされる。

【0003】

製造システムにおける異常検出のために、機械学習手法が適用されてきた。機械学習手法は、教師あり学習と教師なし学習とから構成される。教師あり学習は、ＦＡシステムにおけるデータ複雑性およびデータにラベル付けする難しさのため、ＦＡシステムには適していない。したがって、ＦＡシステムにおける異常検出のために、典型的には教師なし学習手法が使用される。

【0004】

アイソレーションフォレスト（isolation forest：ＩＦ）、１クラスサポートベクターマシン（one-class support vector machine：ＯＣ－ＳＶＭ）、および局所外れ値因子法（local outlier factor：ＬＯＦ）といった、異常検出のための従来の機械学習アルゴリズムは、比較的低い計算複雑性を有しており、データが複雑な構造を有していない場合には異常を検出できるが、それは、さまざまなデータ構造が存在する工場自動化システムにはあてはまらない。

【0005】

現代の機械学習手法、特に、オートエンコーダニューラルネットワークは、プロセス型製造およびディスクリート型製造の双方における異常検出のために適用可能であることが示されてきた。莫大なニューラルネットワーク設計から受け継いで、オートエンコーダは、データの複雑な構造を学習し、他のタイプの学習手法と比べて比較的より良好な異常検出性能を達成することができる。しかしながら、ＦＡシステムは正確な異常検出を必要とする。ＦＡデータの複雑性のため、従来のオートエンコーダは依然としてＦＡシステムの要件を満たすことができない。

【0006】

ＦＡシステム生産効率を向上させるために、オートエンコーダは、１）損失関数（目的関数）適応、２）時間情報発見、および３）データクリーニング、すなわち、データ前処理という問題に対処しなければならない。従来、オートエンコーダなどの機械学習ニューラルネットワークでは、損失関数は１つだけ使用される。このアプローチは、画像処理といった、単一のタイプのデータを用いるアプリケーションには有効である。一方、ＦＡシステムはさまざまデータタイプを有しており、あるタイプのデータに有効である損失関数が他のタイプのデータにはうまく機能しない場合がある。その結果、異なるタイプのデータのために異なる損失関数が使用されるべきである。したがって、損失関数適応が必要とされる。ＦＡシステムでは、履歴データを調べることは、異常検出および診断における重大情報を明らかにし得る。たとえば、一連の動作ミスによって異常が引き起こされるかもしれない。そのような異常を識別するために、対応するデータサンプルが必要である。未加工データにおけるノイズにより、オートエンコーダは、誤報を発したり、または、本物の異常を見逃したりするおそれがある。その結果、そのような複雑なオートエンコーダニューラルネットワークをどのように構築するかが、対処されるべき問題となる。

【0007】

ＦＡシステムにおいて異常診断は重大であるが、ＦＡシステムでは異常診断に対する作業はあまりない。ＦＡシステムにおいて異常が検出された場合、異常の源または原因は何か。異常診断とは、異常を引き起こした正確な源を識別するタスクを指す。ＦＡシステムで、源は、機械、ハードウェア部分、またはソフトウェアプログラムであり得る。ダウンタイムを回避するには、正確な源が、システムを速やかに正常状態に復元するために識別されなければならない。

【0008】

ＦＡシステムの性能を向上させるには、異常検出メカニズムおよび異常診断メカニズムの双方が必要である。ＦＡシステムにおけるデータ複雑性のため、機械学習手法は損失関数適応を必要とする。加えて、異常検出および診断精度を高めるには、時間情報が考慮されなければならない。さらに、異常検出手法および異常診断手法は双方とも、訓練データの訓練の精度に依拠する。ソースデータ（未加工データ）はノイズを含むかもしれず、データ特性を学習することが難しいかもしれない。したがって、ＦＡシステムにおいて高性能の異常検出および診断を達成するには、損失関数を適応的に選択し、時間データ関係を調べ、ソースデータを前処理することが、機械学習手法にとって望ましくなる。

【発明の概要】

【0009】

この発明のいくつかの実施形態は、教師あり学習が、データ複雑性およびデータにラベル付けするかまたはデータを分類する難しさのため、ＦＡシステム異常検出に適していないという認識に基づいている。

【0010】

したがって、この発明のいくつかの実施形態は、ラベルなし訓練データを使用する教師なし学習を介した、ＦＡシステムにおけるオートエンコーダベースの教師なし異常検出を提供する。

【0011】

この発明のいくつかの実施形態は、ＦＡシステムがアナログデータおよびバイナリデータなどの複数のタイプのデータを含み、異なるタイプのデータは、異なる特徴と、損失関数に対する異なる要件とを有しており、異なる損失関数を用いて訓練される必要があるという認識に基づいている。さらに、ＦＡシステムにおけるデータは相関可能であり、したがって、すべてのタイプのデータがともに訓練されなければならない。その結果、損失関数適応は、正確な異常検出性能を達成するための鍵である。

【0012】

したがって、この発明のいくつかの実施形態は、訓練プロセスにおいて損失関数を適応的に選択する。損失関数の選択は、データタイプに依存する。

【0013】

この発明のいくつかの実施形態は、データ履歴が、ＦＡシステム異常検出のための重要な情報、たとえば、ある異常は一連の動作ミスによって引き起こされるかもしれないということを提供できるという認識に基づいている。したがって、時間的要因を考慮することは、一連の動作ミスによって引き起こされた異常を検出することができる。

【0014】

したがって、この発明のいくつかの実施形態は、前処理されたデータが時間遅延オートエンコーダニューラルネットワークに使用可能であり、それは、データ信号の時間情報を調べるということを提供する。データ信号の時間遅延された修正は、前処理されたデータ信号に直接適用され得る。

【0015】

この発明のいくつかの実施形態は、ＦＡシステムデータがさまざまなノイズを含み、たとえば、ある機械類が強力な無線ノイズを放出するおそれがあり、それはデータ品質および異常検出精度に深刻な影響を与え得るという認識に基づいている。したがって、データクリーニング、特に、さまざまなノイズを減少させるための訓練データクリーニングは、異常検出精度を高めるために重大である。

【0016】

したがって、この発明のいくつかの実施形態は、未加工データをニューラルネットワークに供給する前に、データをクリーニングするためにデータフィルターを適用することによって、未加工データを前処理する。

【0017】

また、本発明のいくつかの実施形態は、工場自動化（ＦＡ）システムまたは製造生産ラインに配置された機械の異常状態を検出するために、コンピュータにより実現される前処理された時間遅延オートエンコーダベースの異常検出方法が提供され得るという認識に基づいている。コンピュータにより実現される前処理された時間遅延オートエンコーダベースの異常検出方法は、インターフェイスを介して機械からソース信号を取得するステップと、取得されたソース信号の値範囲を正規化し、取得されたソース信号から望ましくない特徴をフィルタリングすることによって、取得されたソース信号のためのデータ前処理プロセスを行なうステップと、前処理された時間遅延データを生成するために、時間遅延窓に基づいて、前処理されたソース信号のための時間遅延されたデータ修正プロセスを行なうステップと、前処理された時間遅延テストデータを、前処理された時間遅延されたオートエンコーダ（Ｐｒｅｐ－ＴＤＡＥ）ニューラルネットワークに提出するステップとを含み、前処理された時間遅延テストデータは、機械が動作されている間にオンラインで収集され、Ｐｒｅｐ－ＴＤＡＥニューラルネットワークは、前処理された時間遅延訓練データを使用することによって予め訓練されており、方法はさらに、前処理された時間遅延テストデータの異常スコアを計算することによって、機械に関して異常状態に遭遇したかどうかを検出するステップと、異常状態が検出された場合、機械の各々の異常状態に関する異常発生時間、持続時間、および深刻度を判定するステップとを含み得る。

【0018】

また、工場自動化（ＦＡ）システムまたは製造生産ラインに配置された機械の異常状態を検出するために、前処理された時間遅延オートエンコーダベースの異常検出システムが提供される。システムは、機械からソース信号を取得するように構成されたインターフェイスと、データ前処理アルゴリズム、時間遅延されたデータ修正プロセスアルゴリズム、前処理された時間遅延オートエンコーダ（Ｐｒｅ－ＴＤＡＥ）ニューラルネットワーク、異常診断アルゴリズム、およびコンピュータにより実現される統計ベースの異常診断方法を含むコンピュータ実行可能プログラムを格納するためのメモリと、プロセッサとを含み、プロセッサは、取得されたソース信号の値範囲を正規化し、取得されたソース信号から望ましくない特徴をフィルタリングすることによって、取得されたソース信号のためのデータ前処理プロセスアルゴリズムを行なうステップと、前処理された時間遅延データを生成するために、時間遅延窓に基づいて、前処理されたソース信号のための時間遅延されたデータ修正プロセスアルゴリズムを行なうステップと、前処理された時間遅延テストデータをＰｒｅｐ－ＴＤＡＥニューラルネットワークに提出するステップとを行なうように構成され、前処理された時間遅延テストデータは、機械が動作されている間にオンラインで収集され、Ｐｒｅｐ－ＴＤＡＥニューラルネットワークは、前処理された時間遅延訓練データを使用することによって予め訓練されており、プロセッサはさらに、前処理された時間遅延テストデータの異常スコアを計算することによって、機械に関して異常状態に遭遇したかどうかを検出するステップと、異常状態が検出された場合、機械の各々の異常状態に関する異常発生時間、持続時間、および深刻度を判定するステップとを行なうように構成される。

【0019】

この発明のいくつかの実施形態は、ＦＡシステムで異常がいったん検出されると、異常を引き起こした正確な源を識別し、したがって、システムを速やかに正常状態に復元するために、異常診断が必要とされるという認識に基づいている。

【0020】

さらに、工場自動化（ＦＡ）システムまたは製造生産ラインに配置された機械の異常源を診断するために、コンピュータにより実現される統計ベースの異常診断方法が提供され得る。方法は、インターフェイスを介して機械からソース信号を取得するステップと、データ前処理プロセスアルゴリズムに基づいて、取得されたソース信号のためのデータ前処理プロセスを行なうステップと、前処理された時間遅延データを生成するために、時間遅延窓に基づいて、取得されたソース信号のための時間遅延されたデータ修正プロセスアルゴリズムを行なうステップと、ゼロ平均および単位分散を有するように、前処理された時間遅延データを正規化するステップと、統計的な縮小された共分散行列を、共分散行列が不可逆にならないように計算するステップと、白色化変換のために白色化行列を計算するステップと、平均および分散の計算のために信号の白色化変換を行なうステップと、異常スコア計算のために、変換された信号の平均および分散を計算するステップと、異常データ信号診断のために、各データ信号について異常スコアを計算するステップと、異常データ信号を診断するステップと、異常診断アルゴリズムを使用して機械の中から異常を有する機械を識別するステップとを含み得る。

【0021】

また、いくつかの実施形態は、工場自動化（ＦＡ）システムまたは製造生産ラインに配置された機械の異常源を診断するための、統計ベースの異常診断システムを提供し得る。統計ベースの異常診断システムは、機械からソース信号を取得するように構成されたインターフェイスと、データ前処理アルゴリズム、時間遅延されたデータ修正プロセスアルゴリズム、異常診断アルゴリズム、およびコンピュータにより実現される統計ベースの異常診断方法を含むコンピュータ実行可能プログラムを格納するためのメモリと、コンピュータ実行可能プログラムを実行するように構成されたプロセッサとを含み得る。プロセッサは、取得されたソース信号のためのデータ前処理プロセスアルゴリズムを行なうステップと、前処理された時間遅延データを生成するために、時間遅延窓に基づいて、取得されたソース信号のための時間遅延されたデータ修正プロセスアルゴリズムを行なうステップと、ゼロ平均および単位分散を有するように、前処理された時間遅延データを正規化するステップと、統計的な縮小された共分散行列を、共分散行列が不可逆にならないように計算するステップと、白色化変換のために白色化行列を計算するステップと、平均および分散の計算のために信号の白色化変換を行なうステップと、異常スコア計算のために、変換された信号の平均および分散を計算するステップと、異常データ信号診断のために、各データ信号について異常スコアを計算するステップと、異常データ信号を診断するステップと、異常診断アルゴリズムを使用して機械の中から異常を有する機械を識別するステップとを行なう。

【0022】

本発明のいくつかの実施形態によれば、工場自動化（ＦＡ）システムまたは製造生産ラインに配置された機械の異常源を診断するために、コンピュータにより実現される残余誤差ベースの異常診断方法が提供され得る。コンピュータにより実現される残余ベースの異常診断方法は、インターフェイスを介して機械からソース信号を取得するステップと、取得されたソース信号のためのデータ前処理プロセスを行なうステップと、前処理された時間遅延データを生成するために、時間遅延窓に基づいて、取得されたソース信号のための時間遅延されたデータ修正プロセスアルゴリズムを行なうステップと、再構築された信号を生成するために、前処理された時間遅延データを、前処理された時間遅延オートエンコーダ（Ｐｒｅ－ＴＤＡＥ）ニューラルネットワークに提出するステップとを含み、Ｐｒｅｐ－ＴＤＡＥニューラルネットワークは訓練データによって予め訓練されており、法はさらに、再構築された信号に基づいて残余誤差を計算するステップと、残余誤差の平均および分散を計算するステップと、再構築された信号のための異常スコアを計算するステップと、異常スコアに基づいて機械のソース信号に対応する異常信号を診断するステップと、異常診断アルゴリズムを使用して機械の中から異常を有する機械を識別するステップとを含み得る。

【0023】

また、工場自動化（ＦＡ）システムまたは製造生産ラインに配置された機械の異常源を診断するために、残余誤差ベースの異常診断システムが提供される。残余ベースの異常診断は、機械からソース信号を取得するように構成されたインターフェイスと、データ前処理プロセスアルゴリズム、時間遅延されたデータ修正プロセスアルゴリズム、前処理された時間遅延オートエンコーダ（Ｐｒｅ－ＴＤＡＥ）ニューラルネットワーク、異常診断アルゴリズム、およびコンピュータにより実現される残余ベースの異常診断方法を含むコンピュータ実行可能プログラムを格納するためのメモリと、コンピュータ実行可能プログラムを実行するように構成されたプロセッサとを含み得る。プロセッサは、取得されたソース信号のためのデータ前処理プロセスアルゴリズムを行なうステップと、前処理された時間遅延データを生成するために、時間遅延窓に基づいて、取得されたソース信号のための時間遅延されたデータ修正プロセスアルゴリズムを行なうステップと、再構築された信号を生成するために、前処理された時間遅延データをＰｒｅ－ＴＤＡＥニューラルネットワークに提出するステップとを行なうように構成され、Ｐｒｅｐ－ＴＤＡＥニューラルネットワークは訓練データによって予め訓練されており、プロセッサはさらに、再構築された信号に基づいて残余誤差を計算するステップと、残余誤差の平均および分散を計算するステップと、各データ信号について異常スコアを計算するステップと、異常スコアに基づいて機械のソース信号に対応する異常信号を診断するステップと、異常診断アルゴリズムを使用して機械の中から異常を有する機械を識別するステップとを行なうように構成される。

【0024】

したがって、この発明のいくつかの実施形態は、オートエンコーダニューラルネットワークの残余誤差が各個々のデータ信号の異常スコアを示し得ること、および、前処理と時間遅延された修正とを行なうことが異常診断精度を高め得ることを提供する。

【0025】

ここに開示される実施形態は、添付図面を参照してさらに説明される。示された図面は必ずしも縮尺通りではなく、代わりに、ここに開示される実施形態の原理を例示することに重きが概して置かれている。

【図面の簡単な説明】

【0026】

【図1】本発明の実施形態に従った、工場自動化システムにおける異常検出および異常診断のフローチャートを示す図である。

【図2A】本発明の実施形態に従った、損失関数が、入力データ信号のデータタイプに依存して適応された複数のサブ関数で構成されている、マルチ損失関数オートエンコーダニューラルネットワーク構造を示す図である。

【図2B】本発明の実施形態に従った、バイナリデータのために交差エントロピー関数が選択され、アナログデータのために二乗誤差関数が選択される、オートエンコーダのためのマルチ損失関数適応の一例を示す図である。

【図3】本発明の実施形態に従った、ソースデータがサイズ２の時間遅延窓によって修正される、時間遅延されたデータ修正のフローチャートを示す図である。

【図4】本発明の実施形態に従った、入力データがアナログデータとバイナリデータとに分割される、データ前処理のフローチャートを示す図である。

【図5】本発明の実施形態に従った、統計ベースの異常診断方法のフローチャートを示す図である。

【図6】本発明の実施形態に従った、残余誤差ベースの異常診断方法のフローチャートを示す図である。

【図7】本発明の実施形態に従った、異常検出システムのブロック図を示す図である。

【発明を実施するための形態】

【0027】

本発明のさまざまな実施形態を、図面を参照して以下に説明する。なお、図面は縮尺通りには描かれておらず、同様の構造または機能の要素は図面全体を通して同じ参照番号で表わされる。また、図面は、この発明の特定の実施形態の説明を容易にするよう意図されているに過ぎない。図面は、この発明の網羅的な説明として、またはこの発明の範囲に対する限定として意図されていない。加えて、この発明のある特定の実施形態に関連して説明された局面は、必ずしもその実施形態に限定されず、この発明の任意の他の実施形態において実践され得る。

【0028】

異常検出および異常診断は、ダウンタイムを回避してＦＡシステム効率を向上させるためにＦＡシステムにとって重大である２つの異なるプロセスである。異常検出とは、ＦＡシステムが異常または故障を有して動作しているかどうかを判定することである。そうである場合、異常の数は何か、異常が生じた時間は何か、および、異常はどれくらいの長さ続いたか。異常がいったん検出されると、ＦＡシステムが正常状態に復元し得るように異常を速やかに解決する必要がある。ＦＡシステムは、非常に複雑なシステムである場合がある。異常を解決するには、異常の原因を知らなければならない。異常診断とは、異常を引き起こした正確な源を識別するためのプロセスである。図１は、本発明のいくつかの実施形態に従った工場システム異常検出および診断のフローチャートを例示する概略図を示す。異常検出ブロック１００と、異常診断ブロック５００とがある。異常検出ブロック１００は、異常検出訓練ブロック１０１と、異常検出ブロック１０２とから構成される。同様に、異常診断ブロック５００は、異常診断訓練ブロック５０１と、異常診断ブロック５０２とから構成される。
損失関数適応を用いる前処理された時間遅延オートエンコーダを使用する異常検出

【0029】

異常検出は、ＦＡシステムメンテナンスおよびＦＡシステム効率向上にとって非常に重要である。図１は、本発明のいくつかの実施形態に従ったＦＡシステム異常検出１００のフローチャートを示す。異常検出訓練段階１０１と、異常検出段階１０２という、異常検出のための２つの段階がある。ニューラルネットワークなどの異常検出アルゴリズムを訓練するために、モーメンタムアルゴリズムなどの最適化アルコリズムが行なわれると仮定する。次に、異常検出訓練段階１０１中、正常に作動するＦＡシステム００１からデータが収集される（１１１）。正常データは、異常検出アルゴリズムを訓練する（１１２）ための入力データとして使用される。異常検出アルゴリズムがいったん十分に訓練されると、モデルは保存される（１１３）。たとえば、オートエンコーダニューラルネットワークが学習モデルとして使用される場合、乗算型重み、バイアス、およびハイパーパラメータが保存される（１１４）。異常検出段階中、異常に作動し得るＦＡシステム００２からテストデータが収集される（１１５）。収集されたデータは、十分に訓練された異常検出モデル１１６への入力データとして使用される。異常検出アルゴリズムは、テストデータのための全体的な異常スコアを計算する（１１７）。異常に遭遇したかどうかを識別するために、テストデータの対応する異常スコアが計算される。異常スコアは、オートエンコーダニューラルネットワークなどの特定の異常検出アルゴリズムに従って判定される。異常が検出された場合、その対応する異常発生時間、持続時間、および深刻度１１８も、異常診断およびＦＡシステムメンテナンスのために判定され得る。異常がいったん検出されると、検出された異常は、異常を引き起こした正確な源を識別するために異常診断アルゴリズムを適用することによって診断される。図５および図６に示される異常診断５００のプロセスは、システムを速やかに正常状態に復元するために特に重要である。

【0030】

ニューラルネットワークなどの機械学習手法は、ＦＡシステムにおける異常を検出するためのアルゴリズムとして採用され得る。一般に、ＦＡシステムにおける異常検出のために教師なし学習手法が使用される。なぜなら、ＦＡシステムにおけるすべてのタイプの異常を列挙してラベル付けすることは非現実的であるためである。

【0031】

オートエンコーダニューラルネットワークは、教師なし学習手法である。従来のオートエンコーダは、単純な構造を有する同種データにはうまく機能する。ＦＡシステムのデータ複雑性および厳しい要件のため、従来のオートエンコーダは、ＦＡシステムにおいて異常を検出するという難問に直面している。損失関数適応、時間情報考慮、およびデータ前処理の問題が対処されなければならない。

【0032】

【数1】

【0033】

図２Ａは４層非対称オートエンコーダニューラルネットワーク構造を示すが、本発明のすべての実施形態は、非対称オートエンコーダニューラルネットワークおよび対称オートエンコーダニューラルネットワーク双方のさまざまな層に同様に有効であるということに気づくことが重要である。

【0034】

図２Ｂは、バイナリデータ２２０とアナログデータ２２１とを使用する損失関数適応の一例を示す。なぜなら、バイナリデータおよびアナログデータは、ＦＡシステムにおける２つの一般的なデータタイプであるためである。データタイプに関する事前情報を活用するために、バイナリ交差エントロピー損失関数２２２がバイナリデータ信号２２０に適用され、二乗誤差損失関数２２３がアナログデータ信号２２１に適用される。最終的な損失関数は、２つの損失関数２２２および２２３の組合せである。より好適な損失関数を採用することによって、出力層は、オートエンコーダの符号化プロセスおよび復号プロセスの後で入力データ信号をより正確に学習することができる。

【0035】

履歴データを組合せることは、ＦＡシステム異常検出のための重要な情報を提供することができる。たとえば、ある異常は一連の動作ミスによって引き起こされるかもしれない。したがって、時間的要因を考慮することは、一連の動作ミスによって引き起こされた異常を検出することができる。この目的のために、この発明の実施形態は、図３に示される時間遅延されたデータ修正プロセス３００を提供する。時間遅延修正されたデータを入力として受け取るオートエンコーダニューラルネットワークは時間遅延オートエンコーダ（time-delay autoencoder：ＴＤＡＥ）３０１と呼ばれ、それは、ＦＡシステムにおける異常検出のために適用され得る。その結果、ＴＤＡＥは、考慮すべき履歴の長さを特定する時間遅延窓ｗ３０３に基づいてソースデータ（入力データ）３０２が修正されるオートエンコーダである。ソースデータ３０２が時間的に連続して収集されると仮定する。

【数2】

【0036】

時間遅延されたデータ修正は、空間ドメインおよび時間ドメイン上の入力データに影響を及ぼす。修正されたデータの空間次元、すなわち、入力信号の数はｗ倍増加され、各信号のサンプルの数はｗ－１だけ減少される。入力信号の数が増加するにつれて、ＴＤＡＥ３０１は、従来のオートエンコーダに比べてはるかにより大きくより複雑なネットワーク構造を有する。たとえば、ｗ＝２であり、１０個のデータ信号が収集された場合、時間遅延されたデータ修正は１０^＊ｗ＝２０個の信号を生成する。一方、時間遅延されたデータ修正は、時間ドメインにおけるデータサンプルの数を減少させる。たとえば、ｗ＝２であり、ソースデータ信号が１０００個のサンプルを含む場合、時間遅延されたデータ修正はサンプルの数を１０００－（ｗ－１）＝９９９個に減少させる。

【0037】

【数3】

【0038】

ＴＤＡＥは、時間情報学習のためにニューラルネットワークを活用するためのオートエンコーダ構造のうちの１つである。それは、データ信号間の時間的関係を経時的に学習し、データ信号の時間的関係は、ＦＡシステムにおける重大情報を明らかにすることができる。時間情報がＴＤＡＥによって調べられるため、向上した異常検出性能を得ることができる。

【0039】

さらに、オートエンコーダニューラルネットワークを使用してＦＡシステムにおける異常を検出するには、入力データの品質が重大である。なぜなら、ニューラルネットワークは入力データ特性を意図的に学習するためである。ノイズデータまたはクリーニングされていないデータは、間違った検出または見つからない検出をもたらす場合がある。この発明のいくつかの実施形態は、オートエンコーダニューラルネットワークにデータを供給する前にソースデータを前処理するための方法を提供する。正常データと異常データとの信号の違いを拡大し、異常検出の精度を高めるために、データ信号は、デジタルフィルターを適用することによって前処理される。デジタルフィルターは、データ信号の望ましくない特徴をフィルタリングするために選ばれる。たとえば、データ信号は、予め設定された周波数帯域においてフィルタリングされ得る。その結果、設計された周波数帯域外にある各データ信号の構成周波数の大きさが小さくされる。異なるタイプのデジタルフィルターがあり、図４に示されるようなフィルタリング手順を例示するために、チェビシェフ（Chebyshev）フィルターが例として使用される。

【0040】

【数4】

【0041】

前処理されたデータ４０９は、オートエンコーダニューラルネットワークに直接供給されるか、または、図４に示されるように時間遅延された修正を経ることができる。前処理されたデータ４０９がオートエンコーダに直接供給される場合、結果として生じるオートエンコーダは、前処理されたオートエンコーダ（pre-processed autoencoder：Ｐｒｅｐ－ＡＥ）と呼ばれる。しかしながら、上述のように、ＦＡシステムでは時間情報が重要である。したがって、図４では、前処理されたデータ４０９は時間遅延された修正３００を受け、それは、前処理された時間遅延データ４１０を出力する。前処理された時間遅延されたデータを入力データとして受け取るオートエンコーダニューラルネットワークは、前処理された時間遅延オートエンコーダ（pre-processed time-delay autoencoder：Ｐｒｅｐ－ＴＤＡＥ）４１１と呼ばれる。Ｐｒｅｐ－ＴＤＡＥは結果４１２を

【数5】

として出力する。

【0042】

異常検出段階中、訓練データおよびテストデータがまず前処理され、次に、時間遅延された修正を受ける。前処理された時間遅延された訓練データは、Ｐｒｅｐ－ＴＤＡＥを訓練するために使用される。前処理された時間遅延されたテストデータは、異常検出のために、訓練されたＰｒｅｐ－ＴＤＡＥに入力される。テストエラーが予め定義されたしきい値を上回る場合、異常が検出される。異常発生時間、異常持続時間、および異常深刻度も判定され得る。異常発生時間は、テストエラーがしきい値を上回る、テストデータの時間インデックスに対応する。たとえば、１番目の時間インデックスが午後１時に対応し、データが１００ミリ秒ごとにサンプリングされる場合、１０番目の時間インデックスは、午後１時の１秒後の時間を示す。異常持続時間は、異常が存在する時間の長さを示す。たとえば、データサンプルが１０ミリ秒ごとに収集され、異常が５つの連続する時間インデックスにわたって続く場合、異常持続時間は５０ミリ秒である。異常深刻度は、テストエラーの大きさに基づいて判定され得る。テストエラーの大きさがより大きいほど、異常はより深刻である。

【0043】

なお、Ｐｒｅｐ－ＴＤＡＥによって検出された異常インデックスは、ＴＤＡＥ入力インデックスである。対応する時間インデックスは、時間インデックス＝ＴＤＡＥ入力インデックス＋時間遅延された窓のサイズとして計算され得る。
ＦＡシステムおよび製造生産ラインにおける異常診断

【0044】

異常診断とは、異常を引き起こした正確な源を識別することである。ＦＡシステムは、さまざまなハードウェアおよびソフトウェアコンポーネントから構成される。ある異常は単一のコンポーネントによって引き起こされるかもしれず、他の異常は複数のコンポーネントの組合せによって引き起こされるかもしれない。この発明のいくつかの実施形態は、統計ベースの異常診断方法と、残余誤差ベースの異常診断方法とを提供する。
統計ベースの方法を使用する異常診断

【0045】

【数6】

【0046】

異常診断段階５０１では、診断訓練と同様に、テストデータ５２０が前処理され、時間遅延されて修正される。前処理された時間遅延されたテストデータ５２１は、まず標準正規化される（５１１）。次に、格納された白色化行列が、正規化されたテストデータを白色化変換する（５２２）ために使用される。その後で、異常訓練の最後のステップにおける格納された平均および分散が、白色化変換後に結果として生じるシーケンスを標準正規化する（５２３）ために使用される。

【0047】

【数7】

【0048】

アナログセンサの異常スコアは、前処理フィルターの出力の異常スコアを加算することによって計算されるということが観察され得る。これは、前処理フィルターの出力の中から異常信号が検出され、対応するセンサが異常として識別されるであろうということを示す。

【0049】

また、最終異常スコアが各データ信号について計算されるということも見て分かる。あるデータ信号について、その異常スコアが予め定義されたしきい値を上回る場合、そのデータ信号は異常信号５２５として識別される。各異常信号について、その信号を収集したセンサが識別される（５２６）。異常センサは、異常に作動するＦＡシステムコンポーネントに対応する。
残余誤差ベースの方法を使用する異常診断

【0050】

【数8】

【0051】

【数9】

【0052】

【数10】

【0053】

【数11】

【0054】

Ｐｒｅｐ－ＴＤＡＥ残余誤差が独立している場合、異常が生じると、対応するセンサの大きい再構築エラーが誘発されるであろうということが観察され得る。異常なセンサを判定するために、しきい値を予め設定することができる。あるデータ信号について、その異常スコアが予め定義されたしきい値を上回る場合、そのデータ信号は異常信号６４４として識別される。各異常信号について、その信号を収集したセンサが識別される（６４５）。異常センサは、異常に作動するＦＡシステムコンポーネントに対応する。

【0055】

図７は、本発明の実施形態に従った、異常検出システムのブロック図を示す。この図は、いくつかの実施形態に従った、複数の事象を引き起こす複数の信号源を含むシステムを制御するための装置７００のブロック図を示す。システムの一例は、製造生産ラインである。装置７００は、格納された命令を実行するように構成されたプロセッサ７２０と、プロセッサによって実行可能な命令を格納するメモリ７４０とを含む。プロセッサ７２０は、シングルコアプロセッサ、マルチコアプロセッサ、コンピューティングクラスタ、または任意の数の他の構成であり得る。メモリ７４０は、ランダムアクセスメモリ（random access memory：ＲＡＭ）、読出専用メモリ（read only memory：ＲＯＭ）、フラッシュメモリ、または任意の他の好適なメモリシステムを含み得る。プロセッサ７２０は、バス７０６を通して、１つ以上の入力および出力デバイスに接続される。

【0056】

これらの命令は、システムの複数の事象における異常を検出および／または診断するための方法を実現する。装置７００は、格納されたプログラム７３０を使用して異常を検出して診断するように構成される。格納されたプログラムは、データ前処理機能７３１、時間遅延データ修正機能７３２、異常検出アルゴリズム７３３、および異常診断アルゴリズム７３４を含む。異常検出アルゴリズム７３３はＰｒｅｐ－ＴＤＡＥであってもよく、異常診断アルゴリズム７３４は統計ベースの方法または残余誤差ベースの方法であってもよい。異常検出アルゴリズム７３３および異常診断アルゴリズム７３４は、システムの制御状態を検出して診断するように訓練される。たとえば、Ｐｒｅｐ－ＴＤＡＥニューラルネットワーク７３３は、動作データを使用することによってオフラインで訓練され、異常をオンラインで検出するために使用され得る。同様に、異常診断アルゴリズムはオフラインで訓練され、異常をオンラインで診断するために使用され得る。動作データの例は、システムの動作中に収集された信号源からの信号、たとえばシステムの事象を含む。訓練データの例は、ある期間にわたって収集された信号源からの信号を含む。その期間は、動作／生産が始まる前、および／または、システムの動作中の時間間隔であってもよい。

【0057】

本発明の上述の実施形態は、多くのやり方のうちのいずれかで実現され得る。たとえば、実施形態は、ハードウェア、ソフトウェア、またはそれらの組合せを使用して実現されてもよい。ソフトウェアで実現される場合、ソフトウェアコードが、任意の好適なプロセッサまたはプロセッサの集合上で、当該プロセッサが単一のコンピュータにおいて提供されようと複数のコンピュータ中に分散されようと、実行され得る。そのようなプロセッサは、集積回路コンポーネント内に１つ以上のプロセッサを有する集積回路として実現されてもよい。プロセッサは、任意の好適なフォーマットの回路を使用して実現されてもよい。

【0058】

また、この発明の実施形態は、その例が提供された方法として具現化されてもよい。当該方法の一部として実行される動作は、任意の好適なやり方で順序付けられてもよい。したがって、例示的な実施形態では連続的な動作として示されていても、動作が例示とは異なる順序で実行される実施形態が構築されてもよい。この場合、いくつかの動作を同時に実行することも含まれていてもよい。

【0059】

請求項要素を修飾するための、請求項における「第１」、「第２」などの序数用語の使用は、それ自体、ある請求項要素の、別の請求項要素に対する優先順位、優位性、または順序、あるいは、方法の動作が実行される時間的順序を何ら暗示しておらず、単に、ある名前を有するある請求項要素を、（序数用語の使用を除き）同じ名前を有する別の要素から区別するために、これらの請求項要素を区別するラベルとして使用されているに過ぎない。

【0060】

この発明を、好ましい実施形態の例を介して説明してきたが、この発明の精神および範囲内で他のさまざまな適応および変更が実施可能であることが理解されるはずである。

【0061】

したがって、添付された請求項の目的は、この発明の真の精神および範囲内に収まるようにそのようなすべての変形および変更を網羅することである。

【図1】

【図2A】

【図2B】

【図3】

【図4】

【図5】

【図6】

【図7】