特表 2023-501062 異常機器トレース検出および分類

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-01-18

(54)【発明の名称】異常機器トレース検出および分類

(51)【国際特許分類】

   G06F 11/34 20060101AFI20230111BHJP

【ＦＩ】

G06F11/34 147

G06F11/34 166

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2022520973

(86)(22)【出願日】2020-10-06

(85)【翻訳文提出日】2022-05-30

(86)【国際出願番号】 US2020054431

(87)【国際公開番号】W WO2021071854

(87)【国際公開日】2021-04-15

(31)【優先権主張番号】62/911,346

(32)【優先日】2019-10-06

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】520266557

【氏名又は名称】ピーディーエフ ソリューションズ，インコーポレイテッド

(74)【代理人】

【識別番号】100114775

【弁理士】

【氏名又は名称】高岡 亮一

(74)【代理人】

【識別番号】100121511

【弁理士】

【氏名又は名称】小田 直

(74)【代理人】

【識別番号】100202751

【弁理士】

【氏名又は名称】岩堀 明代

(74)【代理人】

【識別番号】100208580

【弁理士】

【氏名又は名称】三好 玲奈

(74)【代理人】

【識別番号】100191086

【弁理士】

【氏名又は名称】高橋 香元

(72)【発明者】

【氏名】バーチ，リチャード

(72)【発明者】

【氏名】デイビッド，ジェフェリー，ディー．

(72)【発明者】

【氏名】チュー，チン

(72)【発明者】

【氏名】本田 智土

(72)【発明者】

【氏名】チェオン，リン，リー

【テーマコード（参考）】

5B042

【Ｆターム（参考）】

5B042HH30

5B042MA08

5B042MA14

5B042MC13

(57)【要約】

半導体機器障害の検出および分類のための方式。既知の異常動作条件と未知の異常動作条件とを分離するために、センサトレースが監視され処理される。特徴量エンジニアリングにより、標的特徴に関連するトレースに焦点を当てることが可能である。異常の初期分類セットに基づいて検出および分類するために機械学習モデルが構築される。機械学習モデルは、処理され学習されるトレースの増加に伴い継続的に更新される。
【選択図】図２

【特許請求の範囲】

【請求項1】

半導体機器トレースデータにおける異常を検出および分類するためのプロセスであって、
それぞれの半導体機器センサから複数のオリジナルトレースを受信することと、
前記複数のオリジナルトレースのうち少なくとも第１のトレースセットにおける複数の異常を識別することと、
第１の標的特徴に基づいて前記第１のトレースセットの各々を修正することと、
前記修正された第１のトレースセットの各々から基底特徴セットを生成することと、
前記修正された第１のトレースセットおよび前記基底特徴セットから複数の再現されたトレースを作成することと、
前記複数の異常の各々に分類を割り当てることと
を備えるプロセス。

【請求項2】

前記第１のオリジナルトレースセット、前記修正されたトレース、および前記再現されたトレースに基づいて異常を検出および分類するために機械学習モデルを訓練することと、
半導体機器の動作環境に前記機械学習モデルを展開することと
を更に備える、請求項１に記載のプロセス。

【請求項3】

前記それぞれの半導体機器センサから追加のトレースを受信することと、
前記追加のトレースの第１のセットにおいて追加の異常を識別することと、
統計的特性の基本セットを除去するために前記追加のトレースを修正することと、
前記修正された追加のトレースから前記基底特徴セットを生成することと、
前記修正された追加のトレースから再現された追加のトレースを作成することと、
前記第１のオリジナルトレースセット、前記修正された追加のトレース、および前記再現された追加のトレースに基づいて、前記機械学習モデルを更新することと
を更に備える、請求項２に記載のプロセス。

【請求項4】

前記複数のオリジナルトレースの前記第１のセットを、前記第１の事前定義された標的特徴との効果的な相関性を有するものとして識別すること
を更に備える、請求項１に記載のプロセス。

【請求項5】

前記複数のオリジナルトレースの前記第１のセットを、複数の事前定義された標的特徴との効果的な相関性を有するものとして識別すること
を更に備える、請求項１に記載のプロセス。

【請求項6】

前記第１のトレースセットの統計的特性のセットを計算することと、
前記統計的特性のセットを除去するために前記第１のトレースセットを修正することと、
前記修正された第１のトレースセットに関するアルゴリズム的解法を計算することと
を備え、
前記アルゴリズム的解法および前記統計的特性のセットが前記基底特徴セットを形成する、請求項１に記載のプロセス。

【請求項7】

前記基底特徴セットにおいて捕捉されない未知のトレース変動として残差特徴を決定することと、
前記第１の標的特徴に既知の影響を及ぼす補足特徴を決定することと、
前記第１のオリジナルトレースセット、前記修正された追加のトレース、前記再現された追加のトレース、前記基底特徴セット、前記残差特徴、および前記補足特徴に基づいて、前記機械学習モデルを更新することと
を更に備える、請求項３に記載のプロセス。

【請求項8】

前記複数のオリジナルトレースは、大部分が通常のトレースを含み、前記複数の異常は、わずかな異常しか示さない、請求項１に記載のプロセス。

【請求項9】

選択されたトレース異常をレビューするためのグラフィックユーザインタフェースを提供することと、
前記グラフィックユーザインタフェースからの第１の入力として、前記選択されたトレース異常に関連する複数の事前定義されたクラスの１つを受信することと、
前記グラフィックユーザインタフェースからの第２の入力として、前記選択されたトレース異常に割り当てられる複数の事前定義されたアクションの１つを受信することと
を更に備える、請求項１に記載のプロセス。

【請求項10】

プロセッサによって実行されると、前記プロセッサに、
それぞれの半導体機器センサから複数のオリジナルトレースを受信させ、
前記複数のオリジナルトレースのうち少なくとも第１のトレースセットにおける複数の異常を識別させ、
第１の標的特徴に基づいて前記第１のトレースセットの各々を修正させ、
前記修正された第１のトレースセットの各々から基底特徴セットを生成させ、
前記修正された第１のトレースセットおよび前記基底特徴セットから複数の再現されたトレースを作成させ、
前記複数の異常の各々に分類を割り当てさせる
命令を有する、非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、参照によってその全体が本願に組み込まれる、２０１９年１０月６日に出願された“Ｅｑｕｉｐｍｅｎｔ Ｔｒｏｕｂｌｅ Ｐｒｅｖｅｎｔｉｏｎ（ＥＴＰ）：Ａｎ ｅｆｆｅｃｔｉｖｅ ａｐｐｒｏａｃｈ ｔｏ Ａｎｏｍａｌｏｕｓ Ｅｑｕｉｐｍｅｎｔ Ｔｒａｃｅ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｗｉｔｈｏｕｔ Ｐｒｉｏｒ Ｌａｂｅｌｉｎｇ”と題された米国仮特許出願第６２／９１１３４６号からの優先権を主張するものである。

【0002】

本出願は、半導体機器の障害の検出および分類に関し、特に、未知の異常機器動作条件を検出および分類するためにセンサトレースを監視および処理するための方式に関する。

【背景技術】

【0003】

機器センサの時間トレースを監視することによる機器障害の検出は、半導体製造において長期的に認識されているが非常に難しい問題である。故障検出および分類（ＦＤＣ）の典型的なアプローチは、センサトレースから要約統計（多くの場合、キー番号またはインジケータと呼ばれる）を計算し、その後、それらの統計を監視し、主に工学知識に基づいて異常を識別することである。

【0004】

たとえば、図１Ａにおいて、縦の破線の間にある領域は、半導体プロセスの一部分または１ステップからの４つの異なる機器センサトレース１０１、１０２、１０３、１０４を表示するプロセスウィンドウ１００である。通常、図１Ｂに示すように、トレースの各ステップについて統計が計算される。しかし、この統計は、トレース１０４のグラフから図１Ａにおいて視覚的に明らかな異常１１０を示すことに失敗している。このように、統計的プロセス制御技術のみに頼ることによって、重大な異常が見過ごされ得る。当然、統計的プロセス制御アプローチの効果は変動し、要約統計の品質に大きく依存する。加えて、要約統計を計算するためのルーティンは、プロセス変更に伴い頻繁に更新される必要がある。よって、ＦＤＣ要約統計ルーティンの構成およびメンテナンスは、希少な資源を大量に投資することを意味する。

【0005】

任意の中程度に複雑なプロセスステップのセンサを十分に表すために必要な統計の数は、数千または数万にも上ることがあり、疑似信号を大量に関与させる。製品データおよび／またはインラインメトロロジーの分析に基づいて関連統計を選択する試みは、疑似信号の低減に役立つことが示されているが、そのような試みは、十分な応答データを必要とする上、過去に観察されていない障害を予測することはできない。

【0006】

他のアプローチは、トレースの複製を伴い、たとえばオートエンコーダニューラルネットワークまたは主成分と同様に単純な何かを用いて、大部分のトレースを正確に再現し得る限定された基底ベクトルのセットが識別される。残差率の高いトレースは異常であると想定され、異常を検出するために残差二乗和が用いられ得る。しかし、このレプリケータアプローチは、多数のトレースの中で異常を識別するためには効果的であるが、基底ベクトルは多くの場合、明らかな物理的解釈を有さないので、その情報に基づいてユーザが異常を分類することは難しい。

【0007】

昨今の機械学習の進化により、異常センサトレースの検出および分類に基づく機器障害検出および分類の能力を向上させる新たな機会が設けられた。しかし、異常トレースの検出および分類のために機械学習を実装するハードルの１つとして、ラベル付きトレースデータを得ることが難しいという点がある。したがって、異常トレースの検出および分類のための真に効果的な方法論は、ラベルを用いない異常トレース識別のための効果的な方策を実施する必要があり、検出および分類を継続的に改善するためにラベルを収集する初期分類を活用する必要がある。

【図面の簡単な説明】

【0008】

【図1A】４つの機器センサトレースを示すプロセスディスプレイウィンドウである。

【図1B】図１Ａに示すトレースに関する要約統計を用いた表である。

【図2】異常検出および分類システムを示す概略ブロック図である。

【図3】図２の一部の詳細図である。

【図4A】ブートストラップの例のグラフ図である。

【図4B】ブートストラップの例のグラフ図である。

【図5A】トレース異常を分類するためのシステムのブロック図である。

【図5B】トレース異常を分類するためのシステムのブロック図である。

【図6】事前定義された異常のクラスおよび対応する可能なアクションの表である。

【図7A】トレース異常の分類をレビューおよび更新するためのシステムのブロック図である。

【図7B】トレース異常の分類をレビューおよび更新するためのシステムのブロック図である。

【発明を実施するための形態】

【0009】

本明細書で用いられる場合、「センサトレース」という用語は、機器動作中に定期的に重要な物理量を測定する時系列データを指し、「トレース」または「機器トレース」という用語は、処理インスタンスについて識別される全ての重要なセンサに関するセンサトレースの集合を指す。

【0010】

本開示によって対処される問題は、半導体処理機器の異常動作である。処理中に収集されるセンサデータを監視し、既知の異常動作条件と未知の動作条件とを区別し、迅速な応答を可能にするためにこれらの未知の条件を分類することによって異常機器動作を識別する能力は、長期的に認識されているが、解決が困難な問題である。したがって、本開示の目的は、正常動作トレースと比較した時に顕著な異常を示す任意の機器センサトレースを識別するリアルタイム性能を説明することによって、この問題に対処することである。

【0011】

この問題の評価は、並列処理アーキテクチャの登場および機械学習アルゴリズムの進化によって促進され、これによりユーザは、そのようなアプローチによって妥当かつ現実的となる速度で大量のデータを用いて見識を得、予測を行うことができる。機械学習とは、データから学習することが可能なシステムの構築および研究を伴う人工知能の一分野である。これらの種類のアルゴリズムは、並列処理性能と共に、より大量のデータセットが処理されることを可能にし、多変量解析により適している。

【0012】

機械学習における能力の大部分は、ノイズの多い高次元空間において正確に分類する能力である。ただし、検出および分類方式の効果は、物理的に意味のある特徴量エンジニアリングで改善され得る。また、優れた特徴量エンジニアリングは、類似する異常トレースの裏にある根本原因の理解を大きく支援し得る。異常トレース検出および分類に対する効果的な機械学習アプローチは、能動学習を促進し、得られた情報を用いて、障害検出および分類の両方の精度を継続的に高める必要がある。

【0013】

製造環境において、異常トレース例の過去のラベリングは、多くの場合、使用不可能である。したがって、異常トレースの検出のための効果的なシステムは、過去のラベルに依存することができない。しかし、ラベルを提供するプロセスエンジニアの負荷が最小限になり、この利点が明らかになると、そのような試みによってラベリングプロセスへの有用な入力が得られ得る。関連モデルの検出および分類を改善するために、必要に応じて、分類ラベルの精度のレビューが含まれ、再ラベリングが行われる必要がある。

【0014】

異常トレース検出および分類のためのシステム２００の概観が図２に示される。このシステムは、コンピュータベースであり、様々なモジュールが、従来のオペレーティングシステムを有する最新式の独立型デスクトップコンピュータまたは均等物にインストールされ、そこで実行可能であり、またはインターネットまたは他のネットワークによってアクセス可能なホストサービスを介してユーザに利用可能となる。

【0015】

モジュール２２０において、キー特徴および関連する機器トレースデータのセットを識別するために、「特徴量エンジニアリング」が行われる。特徴量エンジニアリング２２０の結果、標的特徴を評価するために役立つモジュール２３７内のトレースが識別され用いられる。「ブートストラップ」は、モジュール２２０で識別されたキー特徴に主に基づいて分類ラベルを作成するために、モジュール２４０においてトレースに行われる。その結果、モジュール２６０に保存および格納されるラベルが生じる。

【0016】

ブートストラップモジュール２４０において十分なラベルが収集され、モジュール２６０に保存されると、ブートストラップ段階は、モジュール２５０における継続学習段階に移行し、ここで、異常検出および分類モデルが最初に構築され、継続的に（または定期的に、または時折）更新される。分類（ラベル）は、必要に応じてレビューされ更新される。モデルが構築されると、このモデルは、モジュール２８０におけるリアルタイム予測を行うためにモジュール２７０から展開され得る。

【0017】

特徴量エンジニアリングモジュール２２０は、図３により詳しく示され、ステージ３２０におけるカスタムデータ準備およびステージ３３０における標準特徴量エンジニアリングの２つの主要処理ステージを含む。理想的には、特徴量エンジニアリングは、任意の特定のプロセス知識を必要としないが、多くの場合、これは非現実的である。たとえば、特定の条件下で、インプランタはチューニングサイクルを入力し、その間、センサは、正常動作から著しく変化し、ウェハに直接的に影響を及ぼさないセンサ値を記録する。したがって、一例として、ステージ３２０のカスタムデータ準備の間、チューニングサイクルでキー特徴が識別され、トレースのその他の部分から分離され、トレースは調整または修正され、この例ではウェハに関するチューニング期間の数、チューニング持続時間、およびチューニング前後の各トレースの変化を表す特徴のカスタムセットが生成される。これらの特徴は、検出および分類モデルへの入力を提供するために、ステージ３３８において、修正されたトレースと結合され得る。

【0018】

これは図３にグラフで表されており、オリジナルトレース３２４は、大部分が通常のトレース３２４Ｎを含み、少数のトレース３２４Ａが異常を示す。オリジナルトレース３２４は、ステージ３２０において修正され、修正されたトレース３２６は、修正された通常のトレース３２６Ｎおよび少数の修正された異常トレース３２６Ａを含む。修正されたトレース３２６は、ステージ３３０に渡され、識別されたカスタム特徴は、検出および分類モデルのための完全特徴セットの一部としてステージ３３８に送信される。

【0019】

ステージ３３０において、検出および分類モデルによって必要とされる特徴の多くは、標準化特徴であり、これらの計算は、入力をエンジニアリングすることなく処理される。たとえば、モジュール３３２において「基底セット」特徴が生成される。最初に、各ステップ識別子（「ステップＩＤ」）における基本統計（中央値および傾斜）が計算され、これらの特徴を除去するためにトレースが修正される。次に、たとえば主成分、オートコーダ、他などの周知のアルゴリズム的解法が用いられ、修正されたトレースに関する包括的な基底セットがアルゴリズム的に計算される。これらの基底セット特徴の完全リストを前提として、許容可能な精度で、オリジナルトレースが復元され得るので、結合すると、これらの特徴（アルゴリズム的基底セット特徴、中央値、および傾斜）が基底セットを形成する。ただし、過去に観察されていない異常トレースは、この基底セットで正確に再現されない。

【0020】

モジュール３３４において「補足」特徴が生成され、トレースの複製には用いられないが、異常の根本原因を理解するために役立ち得る。補足特徴は、たとえば標準偏差、ステップ持続時間、ホワイトノイズなどの既知の影響の大きい尺度に焦点を当てて生成され得る。

【0021】

トレース３３７は、基底セット特徴、および再構成の精度を表すためにモジュール３３６において生成された「残差」特徴を用いて、オリジナルトレースの近似として復元される。残差特徴は、基底セット特徴において捕捉されない未知のトレース変動を捕捉する。

【0022】

最後に、トレース異常を検出および分類するために構成および訓練される機械学習モデル２７０（図２を参照）への入力として、モジュール３３２からの基底セット特徴、モジュール３３４からの補足特徴、およびモジュール３３６からの残差特徴が、オリジナルトレース、修正されたトレース、および復元トレースと結合される。このモデルは、異常トレースを識別し、ユーザフィードバックに基づいてこれらのトレースを分類し、２段階アプローチを用いて実装され得る。

【0023】

図２に戻ると、ブートストラップ段階２４０は、初期ラベルを生成するために用いられ、継続学習段階２６０は、過去のラベルが累積されると、新たな学習を収集し、適用する。ブートストラップ段階２４０は、数百から場合によっては数千の範囲で、多数のラベルなしマルチセンサ機器トレースが入力として存在することを想定する。入力データを有するラベルが存在しない場合、モデルは、多くのトレースが通常ツール動作を示すことを想定する。ブートストラップ段階の目的は、特徴量エンジニアリング段階２２０において初期データから識別されたキー特徴に主に基づいて単変量および多変量外れ値を識別することである。

【0024】

たとえば、図４Ａおよび図４Ｂは、選択されたプロセスステップにおけるブートストラップの例を示し、ここで、オリジナルトレース４００は、第１のトレース４０１、第２のトレース４０２、第３のトレース４０３、第４のトレース４０４、第５のトレース４０５、および第６のトレース４０６を含む。ここで示すような４つの異常トレースに加えて、ブートストラップモジュールに入力された数百（またはそれ以上）の通常または典型的トレースが存在する。

【0025】

トレースの中央値が計算され、グラフ４０８にまとめて表示され、このグラフでは、トレース４０１が外れ値であり異常であることが視覚的に明らかである。オリジナルトレース４０１～４０６は修正され、中央値調整トレース４１１～４１６として表示される。

【0026】

その後、中央値調整トレース４１１～４１６の傾斜が計算され、グラフ４１８にまとめて表示され、このグラフでは、トレース４１３が異常であり、トレース４１２および４１４が疑わしい。トレース４１１～４１６は、再び修正され、傾斜調整トレース４２１～４２６として表示される。中央値および傾斜が知られると、アルゴリズム的基底セット特徴が計算され、残りのトレース変動の大部分を捕捉する特徴が選択される。この単純な例において、顕著な基底特徴は中央値および傾斜だけである。その後、残差特徴（一般に、オリジナルトレースと、基底セット特徴から再現された近似トレースとの二乗誤差の和）が計算される。残差特徴４２８から、トレース４２４が異常であり、トレース４２２が疑わしいことが明らかである。

【0027】

補足特徴は、他の基準に関してフィルタすることによる根本原因解析のために露呈され得る。たとえば、修正されたトレース４２１～４２６に関するノイズ特徴を抽出した結果、トレース４２２が異常であることが示されるグラフ４２９が生じる。

【0028】

ブートストラップ段階２４０を表すシステム５００は、図５Ａおよび図５Ｂに示される。オリジナルトレース５０２は、大部分が通常のトレースおよび少数の異常を含み、特徴量エンジニアリングモジュール５０４に入力され、ここでキー特徴が識別され、モジュール５０６に保存される。モジュール５０８において、特徴選択からキー特徴の単変量および多変量分布を解析することによって、外れ値のトレースおよび特徴が識別される。その後、外れ値は、グラフィックユーザインタフェース（ＧＵＩ）５１０においてユーザによって分類される。

【0029】

この例において、ＧＵＩ５１０は、使用可能なトレースのリスト５１２を有して構成され、ユーザは、閲覧するために１または複数を選択してよい。この図において、４つのトレースが選択され、ウィンドウ５１４、５１５における外れ値トレースおよびウィンドウ５１６、５１７における基準トレースとして表示されている。ボタン５１３は、ユーザが、類似するトレースを更に選択することを可能にする。ウィンドウ５１４は、４つの異常電流トレースを示し、ウィンドウ５１５は、４つの異常電圧トレースを示す。ウィンドウ５１６は、６つの基準電流トレースを示し、ウィンドウ５１７は、６つの基準電圧トレースを示す。電流形状（アルゴリズム的基底セット）特徴は、ウィンドウ５１８に表示され、ウィンドウ５１９に表示される電圧形状特徴、ウィンドウ５２０に表示される電流残差特徴、ウィンドウ５２１に表示される電圧残差特徴は、ウィンドウ５１４、５１５に表示される４つの異常トレースの全てについて異常である。

【0030】

外れ値はボタン５２４を用いて分類することができ、この例において、ボタン５２４はプルダウンリストであり、ユーザが、いくつかの事前定義された分類および関連アクションの１つを選択し、その分類／アクションを、ボタン５２６を介してこの特定の異常に割り当てることを可能にする。たとえば、図６は、ボタン５２４または他の同等のモードを介して実装され得る事前定義されたクラスおよびアクションの表である。通常、疑い、および異常という３つのクラスが定義される。各クラスについて、アクションが定義される。ユーザが外れ値を通常に分類した場合、アクションは必要なく、この通常トレースは、検出および分類モデルにおける通常トレースの定義を更新するために用いられる。

【0031】

ユーザが外れ値を疑い、または最終的に異常に分類した場合、図６に示すように、この外れ値が有害であるか、監視を必要とするか、または即時の警告条件をトリガすべきかに関する分類を有する追加のインジケーションが提供される。異常性分類に関する最終決定は、一般に、何らかの形式での専門家のレビューを含む。

【0032】

全ての外れ値にクラスが割り当てられた後、モジュール５３０において、全ての処理されたトレースデータを機械学習ベースのモデルのための訓練セットとして用いて、初期検出および分類モデルが構築される。このモデルは、その後、独立型またはオンライン異常トレース検出および分類システムとして用いられ得る。

【0033】

継続学習モデルにおいて、入力データは、オンライン予測、エンジニアリング対象の特徴、および（オリジナルおよび調整後の）トレースデータを含む。インタラクティブＧＵＩは、能動学習が、正確な異常検出および分類モデルを構築することを容易にする。類似のトレースをアルゴリズム的に識別する能力が、効率的な能動学習のキーである。

【0034】

モデルに組み込まれ得る信頼レベル因子を築くために、好適には、適切なプロセス知識を有するプロセスエンジニアが全ての予測をレビューすべきである。たとえば、図７Ａおよび図７Ｂは、分類レビューのための環境を示す点で図５Ａおよび図５Ｂと同様である。ＧＵＩ７１０は、ＧＵＩ５１０と同様であり、レビュアがトレースを選択し、ボタン７２４によって適切なクラスおよびアクションを選択し、ボタン７２６によってクラス／アクションを割り当て、その後、ボタン７２６を介してモジュール７３０におけるモデルを新たな学習で更新することを可能にする。

【0035】

継続学習は、既存の検出および分類機械学習モデルを用いて各ウェハに関する最確分類を予測するが、最も近い訓練データと新たなトレースとの間の類似性に基づいて信頼性を予測もする。最も低い信頼度の予測は、強制レビューのためにフラグが付けられ、未知の異常である可能性が最も高い。

【0036】

異常検出は、最も基本的には単変量（特徴が通常か否か）であるが、単変量解析からは明らかになりにくい追加の異常を識別するために、多変量方法が用いられ得る。たとえば、温度および圧力の両方の逸脱が発生する例など、いくつかの機器誤作動は、複数のセンサトレースの評価からより容易に観察可能であり、パラメータの１つのみが考慮される場合、アクションが起こる可能性が大幅に高くなり得る。逆に、装置誤作動は通常、複数のセンサにおける複数の異常を発生させ、根本原因の予測には多変量シグネチャが重要である。

【0037】

好適には、根本原因分類のための適切な機械学習アルゴリズムは、データ特性とデータ量との関数である。たとえば、データ量が非常に少ない場合、単純な最近傍アルゴリズムが最良の結果をもたらす可能性が高い。データ量が中程度であり、主なデータ変動がエンジニアリング対象の特徴によって捕捉される場合、たとえばエクストリーム勾配ブースティングなどの高度なツリーベースの方法が優れた選択肢であり得る。データ量が十分であり、トレースに根本原因に関連する強力な残差効果がある場合、畳み込みニューラルネットワークが最適な選択肢である可能性が高い。最小限のユーザ入力でこの問題を解決するために、分類モデルを構築するためにクロス検証ベースのモデル選択ルーティンが用いられ、多くの場合、複数のモデルは、複数の予測を結合して単一の予測にするために用いられる単純な凝集モデルと共に用いられる。

【図1A】

【図1B】

【図2】

【図3】

【図4A】

【図4B】

【図5A】

【図5B】

【図6】

【図7A】

【図7B】

【国際調査報告】