知財求人 - 知財ポータルサイト「IP Force」
▶ アプライド マテリアルズ インコーポレイテッドの特許一覧
特表2025-505413製造機器のための診断による装置間マッチングおよび比較ドリルダウン分析方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2025-02-26
(54)【発明の名称】製造機器のための診断による装置間マッチングおよび比較ドリルダウン分析方法
(51)【国際特許分類】
H01L 21/02 20060101AFI20250218BHJP
G05B 23/02 20060101ALI20250218BHJP
【ＦＩ】
H01L21/02 Z
G05B23/02 X
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024544759
(86)(22)【出願日】2023-01-25
(85)【翻訳文提出日】2024-09-26
(86)【国際出願番号】 US2023011550
(87)【国際公開番号】W WO2023146923
(87)【国際公開日】2023-08-03
(31)【優先権主張番号】17/586,701
(32)【優先日】2022-01-27
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】390040660
【氏名又は名称】アプライド マテリアルズ インコーポレイテッド
【氏名又は名称原語表記】ＡＰＰＬＩＥＤ ＭＡＴＥＲＩＡＬＳ，ＩＮＣＯＲＰＯＲＡＴＥＤ
【住所又は居所原語表記】３０５０ Ｂｏｗｅｒｓ Ａｖｅｎｕｅ Ｓａｎｔａ Ｃｌａｒａ ＣＡ ９５０５４ Ｕ．Ｓ．Ａ．
(74)【代理人】
【識別番号】100103610
【弁理士】
【氏名又は名称】▲吉▼田 和彦
(74)【代理人】
【識別番号】100109070
【弁理士】
【氏名又は名称】須田 洋之
(74)【代理人】
【識別番号】100119013
【弁理士】
【氏名又は名称】山崎 一夫
(74)【代理人】
【識別番号】100067013
【弁理士】
【氏名又は名称】大塚 文昭
(74)【代理人】
【識別番号】100120525
【弁理士】
【氏名又は名称】近藤 直樹
(74)【代理人】
【識別番号】100139712
【弁理士】
【氏名又は名称】那須 威夫
(74)【代理人】
【識別番号】100141553
【弁理士】
【氏名又は名称】鈴木 信彦
(72)【発明者】
【氏名】チョン セジュン
(72)【発明者】
【氏名】ホン ジョン ジン
(72)【発明者】
【氏名】シム ミキョン
(72)【発明者】
【氏名】ゾウ シャオチュン
(72)【発明者】
【氏名】リー ジンキョン
(72)【発明者】
【氏名】キム サン ホン
【テーマコード（参考）】
3C223
【Ｆターム（参考）】
3C223AA13
3C223BA02
3C223BB12
3C223CC02
3C223DD01
3C223EB01
3C223EB02
3C223EB07
3C223FF04
3C223FF05
3C223FF12
3C223FF22
3C223FF23
3C223FF26
3C223FF35
3C223FF43
3C223FF53
3C223GG01
3C223HH04
3C223HH29
(57)【要約】
方法は、製造チャンバの第１の製造手順中にセンサによって得られる測定に関連付けられた第１のデータを受け取ることを含む。この方法は、第２のデータを受け取ることをさらに含む。第２のデータは、第１のデータに関連付けられた基準データを含む。この方法は、第１および第２のデータを比較モデルに提供することをさらに含む。この方法は、第１および第２のデータに関連付けられた比較モデルから類似性スコアを受け取ることをさらに含む。この方法は、類似性スコアを考慮して是正措置を実行することをさらに含む。
【特許請求の範囲】
【請求項1】
製造チャンバの第１の製造手順中にセンサによって得られる測定に関連付けられた第１のデータを受け取ることと、第２のデータを受け取ることであって、前記第２のデータが、前記第１のデータに関連付けられた基準データを含む、受け取ることと、
前記第１のデータおよび前記第２のデータを比較モデルに提供することと、
前記比較モデルから、前記第１のデータおよび前記第２のデータに関連付けられた類似性スコアを受け取ることと、
前記類似性スコアを考慮して是正措置を実行することと
を含む方法。
【請求項2】
前記センサからトレースセンサデータを受け取ることであって、前記トレースセンサデータが、前記製造チャンバの前記第１の製造手順中に生成されたものである、受け取ることと、前記トレースセンサデータに対して前処理を実行し、サマリデータを生成することであって、前記第１のデータが前記サマリデータを含む、生成することと
をさらに含む、請求項１に記載の方法。
【請求項3】
前記サマリデータを生成することが、前記トレースセンサデータの定常状態部分を識別することと、
前記トレースセンサデータの一時部分を識別することと、
前記定常状態部分から統計データを計算することによって、前記定常状態部分の第１のサマリデータを生成することと、
前記一時部分と前記一時部分に関連付けられた予測されたデータとの間の１つまたは複数の差分を考慮して、前記一時部分の第２のサマリデータを生成することとを含む、請求項２に記載の方法。
【請求項4】
前記一時部分に関連付けられた前記予測されたデータが、前記製造チャンバの１つまたは複数の構成要素のデジタルツインモデルの出力を含む、請求項３に記載の方法。
【請求項5】
前記比較モデルが、動的タイムワーピングモデルを含む、請求項１に記載の方法。
【請求項6】
前記類似性スコアが、前記動的タイムワーピングモデルによって判定された、前記第１のデータと前記第２のデータとの間の点の整合するペアの数の和に基づく、請求項５に記載の方法。
【請求項7】
前記第１のデータの値が管理範囲内である、請求項１に記載の方法。
【請求項8】
前記是正措置が、ユーザに警報を送信すること、
予防保守を予定すること、または
是正保守を予定することのうちの１つまたは複数を含む、請求項１に記載の方法。
【請求項9】
メモリおよび前記メモリに結合された処理デバイスを備えるシステムであって、前記処理デバイスが、製造チャンバの第１の製造手順中にセンサによって得られる測定に関連付けられた第１のデータを受け取ることと、
第２のデータを受け取ることであって、前記第２のデータが、前記第１のデータに関連付けられた基準データを含む、受け取ることと、
前記第１のデータおよび前記第２のデータを比較モデルに提供することと、
前記比較モデルから前記第１のデータおよび前記第２のデータに関連付けられた類似性スコアを受け取ることと、
前記類似性スコアを考慮して是正措置を実行することとを行うように構成されている、システム。
【請求項10】
前記処理デバイスが、前記製造チャンバの前記第１の製造手順中に生成されたトレースセンサデータを前記センサから受け取ることと、
前記トレースセンサデータに対して前処理を実行し、サマリデータを生成することであって、前記第１のデータが前記サマリデータを含む、生成することとを行うようにさらに構成されている、請求項９に記載のシステム。
【請求項11】
前記サマリデータを生成することが、前記トレースセンサデータの定常状態部分を識別することと、
前記トレースセンサデータの一時部分を識別することと、
前記定常状態部分から統計データを計算することによって、前記定常状態部分の第１のサマリデータを生成することと、
前記一時部分と前記一時部分に関連付けられた予測されたデータとの間の１つまたは複数の差分を考慮して、前記一時部分の第２のサマリデータを生成することとを含む、請求項１０に記載のシステム。
【請求項12】
前記一時部分に関連付けられた前記予測されたデータが、前記製造チャンバの１つまたは複数の構成要素のデジタルツインモデルの出力を含む、請求項１１に記載のシステム。
【請求項13】
前記比較モデルが、動的タイムワーピングモデルを含む、請求項９に記載のシステム。
【請求項14】
前記類似性スコアが、前記動的タイムワーピングモデルによって判定された、前記第１のデータと前記第２のデータとの間の点の整合するペアの数の和に基づく、請求項１３に記載のシステム。
【請求項15】
前記第１のデータの値が管理範囲内である、請求項９に記載のシステム。
【請求項16】
前記是正措置が、ユーザに警報を送信すること、
予防保守を予定すること、または
是正保守を予定することのうちの１つまたは複数を含む、請求項９に記載のシステム。
【請求項17】
実行されたとき、処理デバイスに動作を実行させる命令を記憶する非一時的機械可読記憶媒体であって、前記動作が、製造チャンバの第１の製造手順中にセンサによって得られる測定に関連付けられた第１のデータを受け取ることと、
第２のデータを受け取ることであって、前記第２のデータが、前記第１のデータに関連付けられた基準データを含む、受け取ることと、
前記第１のデータおよび前記第２のデータを比較モデルに提供することと、
前記比較モデルから前記第１のデータおよび前記第２のデータに関連付けられた類似性スコアを受け取ることと、
前記類似性スコアを考慮して是正措置を実行することとを含む、非一時的機械可読記憶媒体。
【請求項18】
前記動作が、前記センサからトレースセンサデータを受け取ることであって、前記トレースセンサデータが、前記製造チャンバの前記第１の製造手順中に生成されたものである、受け取ることと、
前記トレースセンサデータに対して前処理を実行して、サマリデータを生成することであって、前記第１のデータが前記サマリデータを含む、生成することとをさらに含む、請求項１７に記載の非一時的機械可読記憶媒体。
【請求項19】
前記サマリデータを生成することが、前記トレースセンサデータの定常状態部分を識別することと、
前記トレースセンサデータの一時部分を識別することと、
前記定常状態部分から統計データを計算することによって、前記定常状態部分の第１のサマリデータを生成することと、
前記一時部分と前記製造チャンバの１つまたは複数の構成要素のデジタルツインモデルの出力との間の１つまたは複数の差分を考慮して、前記一時部分の第２のサマリデータを生成することとを含む、請求項１８に記載の非一時的機械可読記憶媒体。
【請求項20】
前記第１のデータの値が管理範囲内である、請求項１７に記載の非一時的機械可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、製造機器における障害を判定する診断方法に関し、いくつかの実施形態では、製造機器における障害を判定するための比較モデルを使用したドリルダウン分析による装置間マッチング方法に関する。
【背景技術】
【0002】
製品は、製造機器を使用して１つまたは複数の製造プロセスを実行することによって作製することができる。たとえば、半導体製造機器を使用して、半導体製造プロセスを介して基板を作製することができる。ターゲットの用途に適した特定の特性を有する製品が作製されるべきである。製造チャンバ内で特性を理解および制御することは、製品の一貫した作製に役立つ。
【発明の概要】
【0003】
以下は、本開示のいくつかの態様に関する基本的な理解を提供するための本開示の簡略化された概要である。この概要は、本開示に関する包括的な概説ではない。本開示の主要または重要な要素を識別することも、本開示の特定の実施形態の何らかの範囲または特許請求の範囲の何らかの範囲を描くことも意図しない。この概要の唯一の目的は、後に提示するより詳細な説明の前置きとして、本開示のいくつかの概念を簡略化された形態で提示することである。
【0004】
本開示の一態様では、方法は、製造チャンバの第１の製造手順中にセンサによって得られる測定に関連付けられた第１のデータを受け取ることを含む。この方法は、第２のデータを受け取ることをさらに含み、第２のデータは、第１のデータに関連付けられた基準データを含む。この方法は、第１のデータおよび第２のデータを比較モデルに提供することをさらに含む。この方法は、比較モデルから、第１のデータおよび第２のデータに関連付けられた類似性スコアを受け取ることをさらに含む。この方法は、類似性スコアを考慮して是正措置を実行することをさらに含む。
【0005】
本開示の別の態様では、メモリおよびメモリに結合された処理デバイスを備えるシステムが開示される。処理デバイスは、製造チャンバの第１の製造プロセス中にセンサによって得られる測定に関連付けられた第１のデータを受け取るように構成される。処理デバイスは、第２のデータを受け取るようにさらに構成され、第２のデータは、第１のデータに関連付けられた基準データを含む。処理デバイスは、第１のデータおよび第２のデータを比較モデルに提供するようにさらに構成される。処理デバイスは、比較モデルから第１のデータおよび第２のデータに関連付けられた類似性スコアを受け取るようにさらに構成される。処理デバイスは、類似性スコアを考慮して是正措置を実行するようにさらに構成される。
【0006】
本開示の別の態様では、非一時的機械可読記憶媒体が可能にされる。媒体は、実行されたとき、処理デバイスに動作を実行させる命令を記憶し、動作は、製造チャンバの第１の製造手順中にセンサによって得られる測定に関連付けられた第１のデータを受け取ることを含む。動作は、第２のデータを受け取ることをさらに含み、第２のデータは、第１のデータに関連付けられた基準データを含む。動作は、第１のデータおよび第２のデータを比較モデルに提供することをさらに含む。動作は、比較モデルから類似性スコアを受け取ることをさらに含み、類似性スコアは、第１のデータおよび第２のデータに関連付けられる。動作は、類似性スコアを考慮して是正措置を実行することをさらに含む。
【0007】
本開示について、添付の図面の図に限定ではなく例として示す。
【図面の簡単な説明】
【0008】
【図1】いくつかの実施形態による、例示的なシステムアーキテクチャを示すブロック図である。
【図2】いくつかの実施形態による、製造チャンバの断面図である。
【図3】いくつかの実施形態による、モデルを訓練、試験、および認証するためのデータセットを作成するためのデータセット生成器の図である。
【図4A】いくつかの実施形態による、出力データを生成するためのシステムを示すブロック図である。
【図4B】いくつかの実施形態による、トレースセンサデータを使用して装置間マッチング分析を実行する方法の流れ図である。
【図4C】いくつかの実施形態による、サマリデータを生成する方法の流れ図である。
【図5A】いくつかの実施形態による、予測データを生成するためのモデルに対するデータセットを生成する方法の流れ図である。
【図5B】いくつかの実施形態による、１つまたは複数のモデルを利用して是正措置を実行する方法の流れ図である。
【図5C】いくつかの実施形態による、装置間マッチング分析の訓練動作を実行する方法を示す流れ図である。
【図5D】いくつかの実施形態による、装置間マッチング分析の推論動作を実行する方法を示す流れ図である。
【図5E】いくつかの実施形態による、処理チャンバの性能を示すメトリックに基づいて是正措置を実行する方法５００Ｅの流れ図である。
【図5F】いくつかの実施形態による、インライヤ分析を実行する方法の流れ図である。
【図5G】いくつかの実施形態による、トレースセンサデータ分析を実行する方法の流れ図である。
【図5H】いくつかの実施形態による、アウトライヤクラスタリング分析を実行する方法の流れ図である。
【図5I】いくつかの実施形態による、インライヤドリフト検出を実行する方法の流れ図である。
【図6A】いくつかの実施形態による、トレースを一時部分および定常状態部分に分割する動作の視覚表現を示す図である。
【図6B】いくつかの実施形態による、サマリデータ生成動作に使用されるデジタルツイン出力の視覚表現を示す図である。
【図6C】いくつかの実施形態による、クラスタリング動作結果の視覚表現を示す図である。
【図6D】基準タイムトレースおよび類似のターゲットタイムトレースに適用された弾性相違モデルの結果を示す図である。
【図6E】基準タイムトレースおよび相違するターゲットタイムトレースに適用された弾性相違モデルの結果を示す図である。
【図6F】いくつかの実施形態による、トレースデータ分析の結果の例示的な視覚表現を示す図である。
【図6G】いくつかの実施形態による、トレースデータ分析の結果の例示的な視覚表現を示す図である。
【図7】いくつかの実施形態による、入力データの次元数を削減させることが可能なモデルの動作の図である。
【図8】いくつかの実施形態による、コンピュータシステムを示すブロック図である。
【発明を実施するための形態】
【0009】
製造機器における問題の診断および／または是正措置の実行に使用することができる装置間マッチング（ＴＴＴＭ）診断方法に関係する技術が、本明細書に記載される。製造機器は、基板（たとえば、ウエハ、半導体、ディスプレイ、光起電装置など）などの製品を作製するために使用することができる。製造機器（たとえば、製造ツール）は、処理されている基板を環境から分離する製造チャンバを含むことが多い。作製される基板の特性は、性能、機能などを促進するためにターゲット特性値を満たすべきである。製造パラメータは、ターゲット特性値を満たす基板を作製するように選択される。製造パラメータは、温度、ガス流量、プラズマ状態、圧力などのプロセスパラメータ、および構成要素の使用、構成要素の設定、構成要素の位置などのハードウェアパラメータを含むことができる。製造システムは、特性値に対する設定点を指定し、製造チャンバ内に配置された１つまたは複数のセンサからデータを受け取ることによって、そのようなパラメータを制御する。製造システムは、センサの読取り値が設定点に（公差閾値範囲内で）整合するまで、様々な構成要素の設定点を調整する。
【0010】
製造システムは、たとえば構成要素のドリフト、エイジング、または障害、不適切に実行された保守、ターゲットプロセスパラメータの変化などによって、準最適な性能をもたらす特性を呈するまたは示す可能性がある。製造プロセス中に収集されたセンサデータは、ドリフト、エイジング、動作不良、または障害のあるサブシステムおよび／または構成要素を示す情報を伝えることができる。製造システムは、多数のセンサを含むことができ、いくつかのシステムでは、数十またはさらには数百から数千のセンサを含むことができる。いくつかのシステムでは、センサは、製造手順中に経時的なデータ（たとえば、トレースデータ）を収集することができる。単一のタイムトレース（たとえば、１つのセンサおよび１つの処理ラン、または製造された１つの製品に関連付けられる）は、数百のデータ点、数千のデータ点、またはそれ以上を含むことができる。
【0011】
状態が一貫していること、たとえば単一のチャンバ内にラン間、チャンバ間などで一貫していることを確実にすることは、作製される製品の一貫性、性能、品質などを増大させることができる。装置間マッチング（ＴＴＴＭ）は、一貫性を確保することを対象とするプロセスである。いくつかの場合、センサデータは処理状態の尺度として使用される。従来のシステムでは、診断および是正措置にセンサデータを利用することが不都合になることがある。いくつかのシステムでは、センサデータを使用して、ツールの準最適な性能の根本的原因を識別することができる。準最適な性能は、たとえばランダムな品質管理、まばらなサンプリングなどを介して完成した製品で測定を実行することによって検出されることがある。準最適な性能（たとえば、製造公差の範囲外の製品）の測定に応答して、ツールのセンサデータを調査することができる。センサデータは、ツールの準最適な性能に寄与するエイジング、ドリフト、障害、動作不良などが生じたツールのサブシステム、構成要素などを識別するために利用することができる。関心センサデータを識別することは、多くの異なる処理動作および多くの異なるセンサからのトレースデータを比較することを含むことができ、過去のデータならびに現在のデータとの比較を含むことができる。そのような大量のセンサデータが利用可能であるとき、是正措置を示すセンサデータを分離することは非常に厄介となる可能性がある。この分析システムは、費やされる時間、コンピュータ処理時間および関連するエネルギーコスト、ならびにいくつかの情報を発見するが、保守、交換などを実行するために複数の構成要素を発見した後に非常に厄介な分析を停止することで他の指示センサデータを欠く危険に関して、無駄が多くなる可能性がある。
【0012】
いくつかのシステムでは、センサデータへの調査は、準最適な性能によって、たとえば製造仕様の範囲外の特性を有する１つまたは複数の製品が作製されたことによって引き起こすことができる。いくつかの場合、製品の一部のみが、作製品質を確かめるための性能測定、たとえば計測測定を受ける。性能測定（たとえば、計測）は犠牲が大きいことがあり、たとえば生成するのに相当量の時間がかかることがある。製造機器は、以前の製品で計測が実行されているとき、および／または以前の製品が計測測定のための待ち行列にいるとき、製品を作製するために継続して使用されことがある。製造機器が劣化した（たとえば、構成要素のエイジング、ドリフト、障害などにより、変化して機器の性能が準最適になったなど）場合、準最適な機器を使用して複数の製品が処理されるまで、製品の計測測定が実行されないことがある。その結果、準最適な製品が製造されることがある。そのようなシステムは、準最適な製品を処理して無駄になる時間、費やされるエネルギー、費やされる材料などに関して無駄が多い。
【0013】
従来のシステムでは、有益なセンサデータを分離する（たとえば、大量のセンサデータ、製造機器に関連して実行されるべき是正措置を示すデータを識別する）ことが難しい結果、計測に基づく欠陥の検出が生じる。いくつかの場合、ドリフト、エイジング、または障害のある構成要素によって、計測が観察可能な影響を受けるより前に、センサデータが観察可能な影響を受けることがある。そのような場合、センサデータを使用して、計測が影響を受ける前に、計画されたダウンタイム（たとえば、予防保守動作）と同時に起きるように是正措置を予定し、製造システムに対する高価な予定外のダウンタイムを低減させることができる。センサデータを確実に使用することができない場合、準最適な計測データに応答して是正措置が実行されることがあり、その結果、予定外のダウンタイムが生じることがある。いくつかの実施形態では、予定外のダウンタイムは、交換用構成要素のための速達便による出荷など、追加のコストを招くことがある。
【0014】
本開示の方法およびデバイスは、従来の解決策における上述した欠陥のうちの少なくとも１つまたは複数に対処する。いくつかの実施形態では、迅速な処理時間および通信帯域幅、全トレースデータの分析の複雑さの低減などを可能にするサマリデータが可能にされ、生成される。サマリデータを生成することは、トレースデータ（たとえば、トレースセンサデータ）への統計的方法、機械学習方法、デジタルツイン方法などの適用を含むことができる。
【0015】
１つまたは複数のメトリック（たとえば、測定の標準）を利用して、製造機器のシステムの健康状態を示すことができる。いくつかの実施形態では、サマリデータを利用して、１つまたは複数のメトリック値を生成することができる。メトリック値は、チャンバ、プロセス、製品、構成要素などに関連付けられたさらなる調査が実施されるべきであるという指示として使用することができる。いくつかの実施形態では、観察可能な問題が存在しないことを示すメトリック値（たとえば、指標、品質スコア、品質指標スコアなど）を計算することができる。いくつかの実施形態では、問題のあるシステム、ツール、製品、構成要素などの効率的な分離を可能にするために、装置間マッチング（ＴＴＴＭ）指標を生成することができる。ドリルダウン分析、たとえば問題が存在することの識別から、是正措置がとられるべきであるという識別へ、ツールの理解を増大させるプロセスを支援するために、メトリック値および指標を様々な方法で集約することができる。たとえば、センサデータ（たとえば、サマリデータによって反映される）における多数（たとえば、過去の数より多数）のアウトライヤに関係するメトリックを利用することができる。いくつかの実施形態では、閾値を満たすメトリック値は、異なるメトリックに関連付けられた別のメトリック値の生成を含む、さらなる分析を引き起こすことができる。いくつかの実施形態では、一連のメトリックをドリルダウン分析の一部として利用することができる。たとえば、第１のメトリック値（たとえば、指標）は、製造チャンバが準最適に実行していることを示すことができ、その性能が１つのサブシステムによることを示すさらなる指標を集約することができ、性能の低下が発生した処理動作を示すさらなる指標を生成することができ、以下同様である。
【0016】
いくつかの実施形態では、根本的原因、サブシステム、とるべき是正措置などを識別するために、１つまたは複数のモデル（たとえば、機械学習モデル）にデータ（たとえば、サマリデータ）を提供することができる。いくつかの実施形態では、グラフィカルインターフェースを介して、ドリルダウン分析のあらゆる段階のデータを視覚化および表示することができる。
【0017】
いくつかの実施形態では（たとえば、準最適な性能を示す１つまたは複数のメトリック値または指標に応答して）、トレースセンサデータを利用する分析を実行することができる。トレースデータを機械学習モデルへ提供することができる。機械学習モデルは、根本的原因、問題のあるサブシステム、実行されるべき是正措置などを識別するように訓練することができる。グラフィカルインターフェースを介して、トレースデータ分析を表示することができる。
【0018】
本開示の態様は、従来の解決策と比べて、技術的な利点をもたらす。本開示は、無駄が最小化された、より効率的な基板製造プロセスをもたらす。製造チャンバ内で問題が生じた場合、本開示の方法は、次の製品の処理が始まる前、準最適な製品が品質測定に提出される前、品質測定が完了する前などに、是正措置を実行することが可能でありうる。このようにして、無駄になる材料、製造チャンバ時間、および製造プロセスへ供給されるエネルギーを最小化することができる。製品品質の変動およびチャンバドリフトの根本的原因を識別および補正することができると、製品品質を増大させることができる。プロセスパラメータをより精密に調節して、材料コスト、エネルギー、および時間を改善することができると、許容できる品質の製品を作製する効率も増大させることができる。エイジングした構成要素を識別し、交換または保守のためにフラグを立てて、予定外のダウンタイム、交換用部分の速達便による出荷に関連付けられたコストなどを低減させることができる。
【0019】
いくつかの実施形態では、本開示は、製造チャンバの第１の製造プロセスに関連付けられたトレースセンサデータを受け取ることを含む方法を記載する。この方法は、処理デバイスによってトレースセンサデータを処理して、トレースセンサデータに関連付けられたサマリデータを生成することをさらに含む。この方法は、サマリデータに基づいて、品質指標スコアを生成することをさらに含む。この方法は、品質指標スコアに基づいて、ユーザに警報を提供することをさらに含む。警報は、製造チャンバ性能が第１の閾値を満たさないという指示を含む。
【0020】
いくつかの実施形態では、本開示は、製造チャンバの第１の製造手順中にセンサによって得られる測定に関連付けられた第１のデータを受け取ることを含む方法を記載する。この方法は、第２のデータを受け取ることをさらに含み、第２のデータは、第１のデータに関連付けられた基準データを含む。この方法は、第１のデータおよび第２のデータを比較モデルに提供することをさらに含む。この方法は、比較モデルから、第１のデータおよび第２のデータに関連付けられた類似性スコアを受け取ることをさらに含む。この方法は、類似性スコアを考慮して是正措置を実行することをさらに含む。
【0021】
いくつかの実施形態では、本開示は、処理チャンバの第１の製造プロセスに関連付けられたトレースセンサデータを受け取ることを含む方法を記載する。この方法は、トレースセンサデータの表現を生成する１つまたは複数の訓練された機械学習モデルを使用してトレースセンサデータを処理し、次いでトレースセンサデータの表現に基づいて、再構成されたセンサデータを生成することをさらに含む。１つまたは複数の訓練された機械学習モデルは、再構成されたセンサデータを出力する。この方法は、トレースセンサデータを再構成されたセンサデータと比較することをさらに含む。この方法は、この比較に基づいて、再構成されたセンサデータとトレースセンサデータとの間の１つまたは複数の差分を判定することをさらに含む。この方法は、トレースセンサデータと再構成されたセンサデータとの間の１つまたは複数の差分に基づいて、処理チャンバに関連付けられた是正措置を推奨するかどうかを判定することをさらに含む。
【0022】
図１は、いくつかの実施形態による、例示的なシステム１００（例示的なシステムアーキテクチャ）を示すブロック図である。システム１００は、クライアントデバイス１２０、製造機器１２４、センサ１２６、計測機器１２８、予測サーバ１１２、およびデータストア１４０を含む。予測サーバ１１２は、予測システム１１０の一部とすることができる。予測システム１１０は、サーバマシン１７０および１８０をさらに含むことができる。
【0023】
センサ１２６は、製造機器１２４（たとえば、製造機器１２４による基板などの対応する製品の作製に関連付けられた）に関連付けられたセンサデータ１４２を提供することができる。センサデータ１４２は、機器の健康状態および／または製品の健康状態（たとえば、製品品質）のために使用することができる。製造機器１２４は、方策に従って、またはある期間にわたってランを実行して、製品を作製することができる。いくつかの実施形態では、センサデータ１４２は、温度（たとえば、ヒータ温度）、間隔（ＳＰ）、圧力、高周波無線周波（ＨＦＲＦ）、高周波（ＲＦ）整合電圧、ＲＦ整合電流、ＲＦ整合キャパシタ位置、静電チャック（ＥＳＣ）の電圧、アクチュエータ位置、電流、流量、電力、電圧などのうちの１つまたは複数の値を含むことができる。センサデータ１４２は、製造機器１２４のハードウェアパラメータ（たとえば、設定または構成要素、たとえばサイズ、タイプなど）または製造機器１２４のプロセスパラメータなどの製造パラメータに関連付けることができ、またはそのような製造パラメータを示すことができる。代わりに、または加えて、いくつかのハードウェアパラメータに関連付けられたデータを、製造パラメータ１５０として記憶することができ、製造パラメータ１５０は、過去の製造パラメータ１５２および現在の製造パラメータ１５４を含むことができる。製造パラメータ１５０は、製造デバイスに対する入力設定（たとえば、ヒータ電力、ガス流量など）を示すことができる。製造機器１２４が製造プロセスを実行しているとき、センサデータ１４２および／または製造パラメータ１５０を提供することができる（たとえば、製品の処理中に生成される機器読取り値とすることができる）。センサデータ１４２は、製品ごと（たとえば、基板ごと）に異なることができる。基板は、計測機器１２８によって測定される特性値（たとえば、膜厚さ、膜歪みなど）を有することができる。計測データ１６０は、データストア１４０内に記憶されたデータのタイプとすることができる。
【0024】
いくつかの実施形態では、センサデータ１４２、計測データ１６０、および／または製造パラメータ１５０を処理することができる（たとえば、クライアントデバイス１２０および／または予測サーバ１１２による）。センサデータ１４２、計測データ１６０、および／または製造パラメータ１５０の処理は、特徴を生成することを含むことができる。いくつかの実施形態では、これらの特徴は、センサデータ１４２、計測データ１６０、および／もしくは製造パラメータ１５０内のパターン（たとえば、勾配、幅、高さ、ピークなど）、またはセンサデータ１４２、計測データ１６０、および／もしくは製造パラメータ１５０からの値の組合せ（たとえば、電圧および電流から導出された電力など）である。センサデータ１４２は特徴を含むことができ、それらの特徴は、予測構成要素１１４によって、信号処理を実行するため、および／または是正措置の実行のための予測データ１６８を取得するために使用されてよい。
【0025】
センサデータ１４２の各事例（たとえば、セット）は、製品（たとえば、基板）、製造機器のセット、製造機器によって作製される基板のタイプなどに対応することができる。計測データ１６０および製造パラメータ１５０の各事例も同様に、製品、製造機器のセット、製造機器によって作製される基板のタイプなどに対応することができる。データストアは、異なるデータタイプのセットを関連付ける情報をさらに記憶することができ、たとえばセンサデータのセット、計測データのセット、および製造パラメータのセットを示す情報がすべて、同じ製品、製造機器、基板のタイプなどに関連付けられる。
【0026】
いくつかの実施形態では、１つまたは複数の製品の処理に関連付けられたデータを使用して、サマリデータ１６２を生成することができる。サマリデータ１６２は、他のデータの特徴を表すデータを含むことができる。たとえば、サマリデータ１６２は、トレースセンサデータ１４２から生成することができる。トレースセンサデータ１４２は、大量のデータ（たとえば、各々製品当たり数百または数千の測定を得るツール内の数百のセンサからのデータなど）を含むことができる。サマリデータ１６２は、トレースセンサデータ１４２ほど操作するのが厄介ではなくなり、情報（たとえば、チャンバ障害を示す情報）を提示することができるように設計することができる。いくつかの実施形態では、サマリデータ１６２を生成するために、データ（たとえば、トレースセンサデータ１４２）を処理デバイス（たとえば、予測サーバ１１２、クライアントデバイス１２０など）に提供することができる。サマリデータ１６２は、たとえば、メタデータ（たとえば、ツールＩＤ、方策名、製品ＩＤ、製品情報など）、コンテキストデータ（たとえば、センサＩＤ、ステップ番号、タイムスタンプ、サブシステムなど）、および／または基本統計値（たとえば、平均、最大、最小、四分位数、尖度、管理限界など）を含むことができる。いくつかの実施形態では、サマリデータ１６２の生成は、製造機器１２４の１つまたは複数の構成要素のデジタルツインモデルの使用を含むことができる。本明細書では、デジタルツインは、製造された部品、チャンバ部品、またはプロセスチャンバなどの物的資産のデジタルレプリカである。デジタルツインは、座標軸次元、重み特性、材料特性（たとえば、密度、表面粗さ）、電気特性（たとえば、伝導率）、光学特性（たとえば、反射率）などを含む（ただし、それだけに限定されるものではない）物的資産の特性を含む。いくつかの実施形態では、デジタルツインモデルを使用して、データ、たとえばセンサデータ１４２の時間挙動の予測を生成することができる。サマリデータ１６２は、測定されたデータの特徴がデジタルツインモデルの予測とはどのように異なるか（たとえば、オーバーシュート、立ち上がり時間、安定時間、定常状態値誤差など）に関する指示を含むことができる。いくつかの実施形態では、サマリデータ１６２は、入力データの一部、たとえばサマリデータ１６２の定常状態部分のみ、一時部分のみなどに基づいて生成することができる。サマリデータ１６２については、図５Ｂに関連してより詳細に説明する。
【0027】
いくつかの実施形態では、予測システム１１０は、教師あり機械学習などの機械学習を使用して、予測データ１６８を生成することができる（たとえば、機械学習モデルは、計測予測、性能予測などの入力データに関連付けられたラベルを作製するように構成することができる）。いくつかの実施形態では、予測システム１１０は、教師なし機械学習を使用して予測データ１６８を生成することができる（たとえば、機械学習モデルは、クラスタリング、次元削減などを実行するように構成されたモデルなどのラベルのないデータによって訓練することができる）。いくつかの実施形態では、予測システム１１０は、半教師あり学習を使用して予測データ１６８を生成することができる（たとえば、機械学習モデルは、ラベルありおよびラベルなし両方の入力データセットを使用して訓練することができる）。
【0028】
クライアントデバイス１２０、製造機器１２４、センサ１２６、計測機器１２８、予測サーバ１１２、データストア１４０、サーバマシン１７０、および／またはサーバマシン１８０は、予測データ１６８を生成して是正措置を実行するように、ネットワーク１３０を介して互いに結合することができる。
【0029】
いくつかの実施形態では、ネットワーク１３０は、予測サーバ１１２、データストア１４０、および他の公的に利用可能なコンピューティングデバイスへのアクセスをクライアントデバイス１２０に提供するパブリックネットワークである。いくつかの実施形態では、ネットワーク１３０は、製造機器１２４、センサ１２６、計測機器１２８、データストア１４０、および他の私的に利用可能なコンピューティングデバイスへのアクセスをクライアントデバイス１２０に提供するプライベートネットワークである。いくつかの実施形態では、サーバマシン１７０、サーバマシン１８０、および／または予測サーバ１１２のうちの１つまたは複数の機能は、仮想マシンによって、たとえばクラウドベースのサービスを利用することで実行することができる。ネットワーク１３０は、そのような仮想マシンへのアクセスを提供することができる。ネットワーク１３０は、１つまたは複数のワイドエリアネットワーク（ＷＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、有線ネットワーク（たとえば、イーサネットネットワーク）、無線ネットワーク（たとえば、８０２．１１ネットワークまたはＷｉ－Ｆｉネットワーク）、セルラーネットワーク（たとえば、Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ（ＬＴＥ）ネットワーク）、ルータ、ハブ、スイッチ、サーバコンピュータ、クラウドコンピューティングネットワーク、および／またはこれらの組合せを含むことができる。
【0030】
クライアントデバイス１２０は、パーソナルコンピュータ（ＰＣ）、ラップトップ、移動電話、スマートフォン、タブレットコンピュータ、ネットブックコンピュータ、ネットワーク接続テレビジョン（「スマートＴＶ」）、ネットワーク接続メディアプレーヤ（たとえば、Ｂｌｕ－ｒａｙ（登録商標）プレーヤ）、セットトップボックス、オーバーザトップ（ＯＴＴ）ストリーミングデバイス、オペレータボックスなどのコンピューティングデバイスを含むことができる。クライアントデバイス１２０は、是正措置構成要素１２２を含むことができる。是正措置構成要素１２２は、製造機器１２４に関連付けられた指示のユーザ入力を（たとえば、クライアントデバイス１２０を介して表示されるグラフィカルユーザインターフェース（ＧＵＩ）を介して）を受け取ることができる。いくつかの実施形態では、是正措置構成要素１２２は、この指示を予測システム１１０へ伝送し、予測システム１１０から出力（たとえば、予測データ１６８）を受け取り、この出力に基づいて是正措置を判定し、是正措置を実施する。いくつかの実施形態では、是正措置構成要素１２２は、製造機器１２４に関連付けられたセンサデータ１４２（たとえば、現在のセンサデータ１４６）を（たとえば、データストア１４０などから）取得し、製造機器１２４に関連付けられたセンサデータ１４２（たとえば、現在のセンサデータ１４６）を予測システム１１０に提供する。いくつかの実施形態では、是正措置構成要素１２２は、センサデータ１４２をデータストア１４０内に記憶し、予測サーバ１１２が、データストア１４０からセンサデータ１４２を取り出す。いくつかの実施形態では、予測サーバ１１２は、訓練されたモデル１９０の出力（たとえば、予測データ１６８）をデータストア１４０内に記憶することができ、クライアントデバイス１２０が、データストア１４０からその出力を取り出すことができる。いくつかの実施形態では、是正措置構成要素１２２は、予測システム１１０から是正措置の指示を受け取り、是正措置を実施する。各クライアントデバイス１２０は、ユーザがデータ（たとえば、製造機器１２４に関連付けられた指示、製造機器１２４に関連付けられた是正措置など）の生成、閲覧、または編集のうちの１つまたは複数を行うことを可能にするオペレーティングシステムを含むことができる。
【0031】
いくつかの実施形態では、計測データ１６０は、製品（たとえば、過去のセンサデータ１４４に関連付けられた製造パラメータ、および過去の製造パラメータ１５２を使用して作製される）の過去の特性データに対応し、予測データ１６８は、予測された特性データ（たとえば、現在のセンサデータ１４６および／または現在の製造パラメータ１５４によって記録された状態で作製されるべきまたは作製された製品の予測されたデータ）に関連付けられる。いくつかの実施形態では、予測データ１６８は、現在のセンサデータ１４６および／または現在の製造パラメータ１５４として記録されている状態に従って作製されるべきまたは作製された製品の予測された計測データ（たとえば、仮想計測データ）である。いくつかの実施形態では、予測データ１６８は、異常（たとえば、異常な製品、異常な構成要素、異常な製造機器１２４、異常なエネルギー使用など）の指示であり、それらの異常の１つまたは複数の原因の指示であってもよい。いくつかの実施形態では、予測データ１６８は、製造機器１２４、センサ１２６、計測機器１２８などの何らかの構成要素における経時的な変化またはドリフトの指示である。いくつかの実施形態では、予測データ１６８は、製造機器１２４、センサ１２６、計測機器１２８などの構成要素の寿命の終わりの指示である。
【0032】
欠陥のある製品をもたらす製造プロセスを実行することは、時間、エネルギー、製品、構成要素、製造機器１２４、欠陥の識別および欠陥のある製品の廃棄のコストなどに関して犠牲が大きい可能性がある。センサデータ１４２（たとえば、製品を製造するために使用されているまたは使用されるべき製造パラメータ）を予測システム１１０へ入力し、予測データ１６８の出力を受け取り、予測データ１６８に基づいて是正措置を実行することによって、システム１００は、欠陥のある製品の作製、識別、および廃棄に関するコストを回避するという技術的な利点を有することができる。
【0033】
製造機器１２４の構成要素の障害をもたらす製造プロセスを実行することは、ダウンタイム、製品の損傷、機器の損傷、交換用構成要素の速達便による注文などに関して犠牲が大きい可能性がある。センサデータ１４２（たとえば、製品を製造するために使用されているまたは使用されるべき製造パラメータを示す）を予測システム１１０へ入力し、予測データ１６８の出力を受け取り、予測データ１６８に基づいて、是正措置（たとえば、構成要素の交換、処理、洗浄などの予測された動作保守）を実行することによって、システム１００は、予期しない構成要素の障害、予定外のダウンタイム、作製率の損失、予期しない機器の障害、製品廃棄などのうちの１つまたは複数のコストを回避するという技術的な利点を有することができる。構成要素、たとえば製造機器１２４、センサ１２６、計測機器１２８などの性能を経時的に監視することで、劣化している構成要素の指示を提供することができる。
【0034】
製造パラメータは、製品を作製するには準最適となることがあり、これは、資源（たとえば、エネルギー、冷却剤、ガスなど）消費の増大、製品を作製するための時間量の増大、構成要素の障害の増大、欠陥のある製品の量の増大など、犠牲の大きい結果をもたらすことがある。センサデータ１４２を訓練されたモデル１９０へ入力し、予測データ１６８の出力を受け取り、（たとえば、予測データ１６８に基づいて）製造パラメータを更新する（たとえば、最適の製造パラメータを設定する）是正措置を実行することによって、システム１００は、最適の製造パラメータ（たとえば、ハードウェアパラメータ、プロセスパラメータ、最適の設計）および／または健康な機器を使用して、準最適な製造パラメータの犠牲の大きい結果を回避するという技術的な利点を有することができる。
【0035】
是正措置は、計算プロセス制御（ＣＰＣ）、統計プロセス制御（ＳＰＣ）（たとえば、制御中のプロセスを判定するための電子構成要素上のＳＰＣ、構成要素の有用寿命を予測するためのＳＰＣ、３σグラフと比較するためのＳＰＣなど）、高度プロセス制御（ＡＰＣ）、モデルベースのプロセス制御、予防動作保守、設計の最適化、製造パラメータの更新、製造方策の更新、フィードバック制御、機械学習の修正などのうちの１つまたは複数に関連付けることができる。
【0036】
いくつかの実施形態では、是正措置は、警報（たとえば、予測データ１６８が製品、構成要素、または製造機器１２４の異常などの予測される異常を示す場合、追加の基板上での製造プロセスを停止するまたは実行しないための警告）を提供することを含む。いくつかの実施形態では、是正措置は、フィードバック制御を提供すること（たとえば、予測される異常を示す予測データ１６８に応答して、製造パラメータを修正すること）を含む。いくつかの実施形態では、是正措置の実行は、１つまたは複数の製造パラメータを更新することを含む。
【0037】
製造パラメータは、ハードウェアパラメータ（たとえば、製造機器内に含まれる構成要素を示す情報、最近交換された構成要素の指示、ファームウェアバージョンまたは更新の指示など）、および／またはプロセスパラメータ（たとえば、温度、圧力、流量、電流および／または電圧、ガス流量、上昇速度など）を含むことができる。いくつかの実施形態では、是正措置は、予防動作保守（たとえば、製造機器１２４の構成要素の交換、処理、洗浄など）を行うことを含む。いくつかの実施形態では、是正措置は、設計の最適化（たとえば、最適化された製品のための製造パラメータの更新、製造プロセスの更新、製造機器１２４の更新など）を行うことを含む。いくつかの実施形態では、是正措置は、方策を更新すること（たとえば、製造機器１２４をアイドルモード、スリープモード、ウォームアップモードなどにするための命令のタイミングの変更、温度、ガス流量、プラズマ生成に対する設定点の調整など）を含む。
【0038】
予測サーバ１１２、サーバマシン１７０、およびサーバマシン１８０は各々、ラックマウントサーバ、ルータコンピュータ、サーバコンピュータ、パーソナルコンピュータ、メインフレームコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、デスクトップコンピュータ、グラフィックス処理ユニット（ＧＰＵ）、アクセラレータ特定用途向け集積回路（ＡＳＩＣ）（たとえば、テンソル処理ユニット（ＴＰＵ））などの１つまたは複数のコンピューティングデバイスを含むことができる。
【0039】
予測サーバ１１２は、予測構成要素１１４を含むことができる。いくつかの実施形態では、予測構成要素１１４は、現在のセンサデータ１４６および／または現在の製造パラメータ１５４を受け取り（たとえば、クライアントデバイス１２０から受け取る、データストア１４０から取り出す）、現在のデータに基づいて、製造機器１２４に関連付けられた是正措置を実行するための出力（たとえば、予測データ１６８）を生成することができる。いくつかの実施形態では、予測構成要素１１４は、１つまたは複数の訓練されたモデル１９０を使用して、現在のデータに基づいて是正措置を実行するための出力を判定することができる。
【0040】
いくつかの実施形態では、モデル１９０は、訓練された物理ベースデジタルツインモデルを含むことができる。物理ベースモデルは、熱流、エネルギーバランス、ガス伝導、質量バランス、流体力学、電流の流れを支配する方程式など、製造チャンバ内で発生しうる物理現象について記述する連立方程式を解くことが可能でありうる。いくつかの実施形態では、物理ベースモデルは、製造チャンバ内のガス伝導の計算を実行する。訓練された物理ベースモデルへ、製造パラメータ１５０を提供することができる。訓練された物理ベースモデルは、製造チャンバ（たとえば、製造機器１２４）内に配置されたセンサ１２６に対応するチャンバ内の状態を示すモデル化された特性値を出力として提供することができる。物理ベースモデルの出力は、データストア１４０内に記憶することができる。
【0041】
予測サーバ１１２の予測構成要素１１４は、センサ１２６によって収集されたデータから生成されたサマリデータ１６２を受け取ることができる。予測構成要素１１４は、サマリデータ１６２を利用して、予測データ１６８を生成することができる。予測データ１６８は、製造機器１２４、センサ１２６などにおける障害、エイジング、ドリフトなどの指示を含むことができる。いくつかの実施形態では、サマリデータを利用して、指標、たとえばツール、チャンバ、製造機器１２４のセットなどの健康状態および／または性能を示すメトリックを生成することができる。指標は、是正措置に使用することができ、たとえばＧＵＩ上でユーザに表示することができ、さらなる分析を実行することができ、以下同様である。指標は、障害、エイジング、ドリフトなどの原因のさらなる調査が実行されるべきであることを示すことができる。いくつかの実施形態では、指標は、訓練された機械学習モデル（たとえば、モデル１９０）にサマリデータを提供することによって生成することができる。いくつかの実施形態では、予測構成要素１１４は、行われるべきさらなる調査を示す指標に関連付けられたサマリデータ（たとえば、不規則な指標値に関連付けられたサマリデータ）を利用して、ツールの性能に関係するサブシステムを分離することができる。いくつかの実施形態では、行われるべきさらなる調査を示す指標に関連付けられたサマリデータは、予測構成要素１１４によって、センサデータの予期されないドリフトを示す分析を実行するために使用される。いくつかの実施形態では、行われるべきさらなる調査を示す指標に関連付けられたトレースデータを利用して、ツールの性能に寄与するサブシステムを分離することができる。サマリデータの生成、指標の生成、およびドリルダウン分析に関係する方法のさらなる議論は、図５Ａ～図５Ｇに関連して提供される。
【0042】
過去のセンサデータ１４４および過去の製造パラメータ１５２を使用して、物理ベースモデル、デジタルツインモデル、機械学習モデルなどを含む１つまたは複数のモデル１９０を訓練することができる。いくつかの実施形態では、デジタルツインモデルを使用して、サマリデータを生成することができる。デジタルツインモデルは、物理的原理から生成することができる。いくつかの実施形態では、生成されたデジタルツインモデルは、製造システムのいくつかの複雑な部分、たとえば部品を捕捉しないことがあり、わずかに異なって（たとえば、製造公差の範囲内で）製造することができ、部品がエイジングまたはドリフトしていることがあり、以下同様である。精度を増大させるために、過去のデータを使用して、物理ベースモデルまたはデジタルツインモデルを洗練することができる。過去のデータを使用して、１つまたは複数の機械学習モデルを訓練することもできる。いくつかの実施形態では、機械学習モデルを利用して、指標を生成すること、データの視覚表現を生成すること、完成した製品の計測データの予測を生成することなどができる。
【0043】
いくつかの実施形態では、センサデータ１４２は、許容できる製品（たとえば、計測機器１２８によって測定される）を作製した製造ラン中にセンサ１２６から収集されたデータを含むことができる。許容できる製品を作製する製造ランをゴールデンランと呼ぶことができる。そのような製造ランに関連付けられたセンサデータは、データストア１４０に過去のセンサデータ１４４の一部として記憶することができる。予測サーバ１１２の予測構成要素１１４は、ゴールデンランセンサデータ、現在のセンサデータ１４６、および予期されたセンサデータ（たとえば、訓練された物理ベースモデルによって出力される）を比較して、構成要素の障害、ドリフトなどが発生しているかどうかを判定することができる。いくつかの実施形態では、代わりに、これらの動作のうちのいくつかまたはすべてを、異なるデバイス、たとえばクライアントデバイス１２０、サーバマシン１７０、サーバマシン１８０などによって実行することもできる。
【0044】
いくつかの実施形態では、予測構成要素１１４は、どの構成要素が予期されたセンサデータ（たとえば、過去のセンサデータ、異なるツールからのセンサデータ、製造パラメータを反映するセンサデータなど）、現在のセンサデータ１４６、および／またはゴールデンランセンサデータの間の差分に寄与するかを判定することができる。これは、たとえば、意図されたとおり実行されるシステムおよび準最適な実行を呈するシステムの過去のデータの調査（たとえば、機械学習モデル、統計モデルなどによる）によって実行することができる。障害の原因（たとえば、準最適な性能の原因であるサブシステム）の指示をセンサトレースデータでラベル付けすることにより、処理デバイスは、センサ差分（たとえば、特定のセンサからのデータ内の特定のパターンまたは特徴）を障害に結び付けることを可能にすることができる。処理論理は、センサデータ内の特定の特徴またはパターンを、障害の特定のタイプ、特定の構成要素のエイジング、ドリフト、または障害などに結び付けるように構成することができる。センサには、性能を示すメトリック値、たとえばセンサが複数の動作またはランにわたって障害を示す可能性を集約するメトリック値を割り当てることができる。センサデータは、サブシステムにグループ化することができる。センサメトリック値または指標は、サブシステムメトリック値または指標に集約することができる。集約されたサブシステム値（たとえば、メトリック値、指標など）は、サブシステム性能を識別するときなどに使用することができる。
【0045】
機械学習モデル（たとえば、モデル１９０のうちの１つまたは複数のモデル）は、過去のセンサデータ１４４、過去の製造パラメータ１５２、過去のセンサデータ１４４が測定されたランに対応する計測データ１６０などを使用して訓練することができる。上記のタスクのうちのいくつかまたはすべてを実行するために使用することができる１つのタイプの機械学習モデルは、深層ニューラルネットワークなどの人工ニューラルネットワークである。人工ニューラルネットワークは、概して、特徴をターゲット出力空間にマッピングする分類または回帰層を有する特徴表現構成要素を含む。畳み込みニューラルネットワーク（ＣＮＮ）は、たとえば畳み込みフィルタの複数の層をホストする。プーリングが実行され、より下層で非線形性に対処することができ、通常、その上には多層パーセプトロンが追加され、畳み込み層によって抽出された上層特徴が決定（たとえば、分類出力）にマッピングされる。深層学習は、特徴抽出および変換のために、非線形処理ユニットの複数の層のカスケードを使用する機械学習アルゴリズムの１つのクラスである。連続する各層は、前の層からの出力を入力として使用する。深層ニューラルネットワークは、教師あり（たとえば、分類）および／または教師なし（たとえば、パターン分析）の方式で学習することができる。深層ニューラルネットワークは、複数の層からなる階層構造を含み、異なる層は、異なる抽象レベルに対応する異なるレベルの表現を学習する。深層学習において、各レベルは、その入力データをわずかにより抽象的かつ複雑な表現に変換することを学習する。画像認識の応用例では、たとえば生入力は：画素のマトリックスとすることができ、第１の表現層は、画素を抽象し、エッジを符号化することができ、第２の層は、エッジの配置を構成および符号化することができ、第３の層は、より高いレベルの形状（たとえば、葉、唇、歯茎など）を符号化することができ、第４の層は、走査の役割を認識することができる。特に、深層学習プロセスは、どの特徴がどのレベルに自然に最適に入るかを学習することができる。「深層学習」の「深層」とは、データが変換される層の数を指す。より厳密には、深層学習システムは、実質的な貢献度分配経路（ＣＡＰ）深さを有する。ＣＡＰは、入力から出力への変換の連鎖である。ＣＡＰは、入力と出力との間の潜在的に原因となる接続を記述する。順方向のニューラルネットワークの場合、ＣＡＰの深さは、ネットワークの深さであってよく、隠れ層の数に１を足した値とすることができる。信号が１つの層を２回以上伝播することができる回帰ニューラルネットワークの場合、ＣＡＰ深さは潜在的に無制限である。
【0046】
製造機器に関連した物理ベースデジタルツインモデルの使用は、そのようなモデルなしで製造機器を動作させることと比べて、著しい技術的な利点を有する。複数の構成要素（センサ、ハードウェア、処理など）を閉制御ループでともに結び付けることができる。閉制御ループ内のいずれかの機器に関して問題が存在する場合、他の構成要素が設定点などを調整することができ、読取り値がターゲット値に戻ることができるが、チャンバ内の実際の状態は変化している可能性がある。これにより、あまり一貫しない基板作製、作製率の損失、エネルギー、時間、および材料の非効率性が生じ、早すぎる段階での構成要素の障害、保守コストの増大が生じる可能性がある。いくつかの実施形態では、同じ特性を示す複数のデータストリームを監視して、センサデータ、チャンバ状態などの変化の根本的原因の追加の証拠を提供することができる。いくつかの実施形態では、チャンバ圧力を示すセンサが監視される。センサは、チャンバ圧力、チャンバ圧力に影響を及ぼすアクチュエータのアクチュエータ位置、ＲＦ整合電圧、ＲＦ整合電流、ＲＦ整合キャパシタ位置などを測定するセンサを含むことができる。これらの特性のうちのいくつかは、２つ以上のセンサによって測定することができる。たとえば、製造チャンバは、複数の圧力センサを備えることができ、そのうちの一部は閉制御ループに含まれ、別の一部はチャンバ状態の測定を自由に提供する。物理ベースモデルは、センサ読取り値、センサ性能などのわずかな変化、変更、ドリフトなどを捕捉および分析することを可能にすることができる。
【0047】
いくつかの実施形態では、予測構成要素１１４は、現在のセンサデータ１４６および／または現在の製造パラメータ１５４を受け取り、信号処理を実行して現在のデータを現在のデータのセットに分解し、現在のデータのセットを入力として訓練されたモデル１９０に提供し、訓練されたモデル１９０からの予測データ１６８を示す出力を取得する。いくつかの実施形態では、予測データ１６８は、計測データ１６０（たとえば、基板品質の予測）を示す。いくつかの実施形態では、予測データ１６８は、構成要素の健康状態を示す。いくつかの実施形態では、予測データ１６８は、構成要素の性能を示す。
【0048】
いくつかの実施形態では、モデル１９０に関連して論じた様々なモデル（たとえば、物理ベースデジタルツインモデル、予測機械学習モデルなど）を１つのモデル（たとえば、アンサンブルモデル）に組み合わせることができ、または別個のモデルとすることができる。予測構成要素１１４は、現在のセンサデータ１４６および現在の製造パラメータ１５４を受け取り、データを訓練されたモデル１９０に提供し、製造チャンバ内のいくつかの構成要素が以前の性能からどれだけドリフトしたかを示す情報を受け取ることができる。モデル１９０に含まれるいくつかの別個のモデルと予測構成要素１１４との間でデータを渡すことができる。いくつかの実施形態では、代わりに、これらの動作のうちのいくつかまたはすべてを、異なるデバイス、たとえばクライアントデバイス１２０、サーバマシン１７０、サーバマシン１８０などによって実行することもできる。データフロー、どの構成要素がどのプロセスを実行するか、どのモデルにどのデータが提供されるかなどの変動は本開示の範囲内であることが、当業者には理解されよう。
【0049】
データストア１４０は、メモリ（たとえば、ランダムアクセスメモリ）、ドライブ（たとえば、ハードドライブ、フラッシュドライブ）、データベースシステム、またはデータを記憶することが可能な別のタイプの構成要素もしくはデバイスとすることができる。データストア１４０は、複数のコンピューティングデバイス（たとえば、複数のサーバコンピュータ）にまたがることができる複数の記憶構成要素（たとえば、複数のドライバまたは複数のデータベース）を含むことができる。データストア１４０は、センサデータ１４２、製造パラメータ１５０、計測データ１６０、サマリデータ１６２、および予測データ１６８を記憶することができる。センサデータ１４２は、過去のセンサデータ１４４および現在のセンサデータ１４６を含むことができる。センサデータは、製造プロセスの持続時間におけるセンサデータタイムトレース、データと物理センサの関連付け、平均および複合データなどの前処理されたデータ、ならびに経時的なセンサ性能（すなわち、多くの製造プロセス）を示すデータを含むことができる。製造パラメータ１５０および計測データ１６０は、類似の特徴を含むことができる。過去のセンサデータ１４４および過去の製造パラメータ１５２は、過去のデータ（たとえば、少なくともモデル１９０を訓練するための部分）とすることができる。現在のセンサデータ１４６は、それに対して予測データ１６８（たとえば、是正措置を実行するため）が生成されるべきである現在のデータ（たとえば、少なくとも過去のデータの次に学習モデル１９０に入力されるべき部分）とすることができる。サマリデータ１６２は、処理されたセンサデータ１４２を含むことができる。サマリデータは、製造機器１２４に関連して実行されるべき是正措置を示す情報を含むことができる。サマリデータは、トレースセンサデータほど操作するのが集約的でなくてよい。
【0050】
いくつかの実施形態では、予測システム１１０は、サーバマシン１７０およびサーバマシン１８０をさらに含む。サーバマシン１７０は、物理ベースデジタルツインモデル、およびいくつかの実施形態では１つまたは複数の機械学習モデルを含むモデル１９０を訓練、認証、および／または試験するためのデータセット（たとえば、データ入力のセットおよびターゲット出力のセット）を生成することが可能なデータセット生成器１７２を含む。データセット生成器１７２のいくつかの動作については、図３、図４、および図５Ａに関して以下で詳細に説明する。いくつかの実施形態では、データセット生成器１７２は、過去のデータ（たとえば、過去のセンサデータ１４４、過去の製造パラメータ１５２、データストア１４０内に記憶されたサマリデータ１６２）を、訓練セット（たとえば、過去のデータの６０パーセント）、認証セット（たとえば、過去のデータの２０パーセント）、および試験セット（たとえば、過去のデータの２０パーセント）に分割することができる。いくつかの実施形態では、予測システム１１０は（たとえば、予測構成要素１１４を介して）、特徴の複数のセットを生成する。たとえば、特徴の第１のセットは、データセット（たとえば、訓練セット、認証セット、および試験セット）の各々に対応するセンサデータのタイプの第１のセット（たとえば、センサの第１のセット、センサの第１のセットからの値の第１の組合せ、センサの第１のセットからの値の第１のパターンから）に対応することができ、特徴の第２のセットは、データセットの各々に対応するセンサデータのタイプ第２のセット（たとえば、センサの第１のセットとは異なるセンサの第２のセット、第１の組合せとは異なる第２の組合せの値、第１のパターンとは異なる第２のパターンから）に対応することができる。
【0051】
サーバマシン１８０は、訓練エンジン１８２、認証エンジン１８４、選択エンジン１８５、および／または試験エンジン１８６を含む。エンジン（たとえば、訓練エンジン１８２、認証エンジン１８４、選択エンジン１８５、および試験エンジン１８６）は、ハードウェア（たとえば、回路、専用論理、プログラム可能な論理、マイクロコード、処理デバイスなど）、ソフトウェア（処理デバイス、汎用コンピュータシステム、または専用機械上で実行される命令など）、ファームウェア、マイクロコード、またはこれらの組合せを指すことができる。訓練エンジン１８２は、データセット生成器１７２からの訓練セットに関連付けられた特徴の１つまたは複数のセットを使用して、モデル１９０を訓練することが可能でありうる。訓練エンジン１８２は、複数の訓練されたモデル１９０を生成することができ、各々の訓練されたモデル１９０は、訓練セットの特徴の別個のセット（たとえば、センサの別個のセットからのセンサデータ）に対応する。たとえば、第１の訓練されたモデルがすべての特徴（たとえば、Ｘ１～Ｘ５）を使用して訓練されることがあり、第２の訓練されたモデルが特徴の第１のサブセット（たとえば、Ｘ１、Ｘ２、Ｘ４）を使用して訓練されることがあり、第３の訓練されたモデルが特徴の第２のサブセット（たとえば、Ｘ１、Ｘ３、Ｘ４、およびＸ５）を使用して訓練されることがあり、特徴の第２のサブセットは特徴の第１のサブセットに部分的に重複してもよい。データセット生成器１７２は、訓練されたモデル（たとえば、物理ベースデジタルツインモデル、機械学習モデル）の出力を受け取り、そのデータを訓練、認証、および試験データセット内に収集し、これらのデータセットを使用して、第２のモデル（たとえば、予測データ、是正措置などを出力するように構成された機械学習モデル）を訓練することができる。
【0052】
認証エンジン１８４は、データセット生成器１７２からの認証セットの特徴の対応するセットを使用して、訓練されたモデル１９０を認証することが可能でありうる。たとえば、訓練セットの特徴の第１のセットを使用して訓練された第１の訓練されたモデル１９０は、認証セットの特徴の第１のセットを使用して認証することができる。認証エンジン１８４は、認証セットの特徴の対応するセットに基づいて、訓練されたモデル１９０の各々の精度を判定することができる。認証エンジン１８４は、閾値精度を満たさない精度を有する訓練されたモデル１９０を廃棄することができる。いくつかの実施形態では、選択エンジン１８５は、閾値精度を満たす精度を有する１つまたは複数の訓練されたモデル１９０を選択することが可能でありうる。いくつかの実施形態では、選択エンジン１８５は、訓練されたモデル１９０の最も高い精度を有する訓練されたモデル１９０を選択することが可能でありうる。
【0053】
試験エンジン１８６は、データセット生成器１７２からの試験セットの特徴の対応するセットを使用して、訓練されたモデル１９０を試験することが可能でありうる。たとえば、訓練セットの特徴の第１のセットを使用して訓練された第１の訓練されたモデル１９０は、試験セットの特徴の第１のセットを使用して試験することができる。試験エンジン１８６は、試験セットに基づいて、訓練されたモデルのすべてにおいて最も高い精度を有する訓練されたモデル１９０を判定することができる。
【0054】
機械学習モデルの場合、モデル１９０は、データ入力および対応するターゲット出力（それぞれの訓練入力に対する正しい応答）を含む訓練セットを使用して訓練エンジン１８２によって作成されたモデルアーティファクトを参照することができる。データ入力をターゲット出力（正しい応答）にマッピングするデータセットのパターンを発見することができ、機械学習モデル１９０に、これらのパターンを捕捉するマッピングが提供される。機械学習モデル１９０は、サポートベクターマシン（ＳＶＭ）、放射基底関数（ＲＢＦ）、クラスタリング、教師あり機械学習、半教師あり機械学習、教師なし機械学習、ｋ近傍法アルゴリズム（ｋ－ＮＮ）、線形回帰、ランダムフォレスト、ニューラルネットワーク（たとえば、人工ニューラルネットワーク）などのうちの１つまたは複数を使用することができる。
【0055】
予測構成要素１１４は、現在のセンサデータ１４６および／またはサマリデータ１６２をモデル１９０に提供することができ、入力に対してモデル１９０を実行し、１つまたは複数の出力を取得することができる。予測構成要素１１４は、モデル１９０の出力から予測データ１６８を判定（たとえば、抽出）することが可能でありえ、予測データ１６８が、現在のセンサデータ１４６および／または現在の製造パラメータ１５４で製造機器１２４を使用して作製されたまたは作製されるべき製品に対する入力データに関連付けられたプロセスの正確な予測子であることに関する信頼レベルを示す出力からの信頼データを判定（たとえば、抽出）することができる。予測構成要素１１４または是正措置構成要素１２２は、信頼データを使用して、予測データ１６８に基づいて、製造機器１２４に関連付けられた是正措置を引き起こすかどうかを決定することができる。
【0056】
信頼データは、予測データ１６８が、入力データの少なくとも一部分に関連付けられた製品または構成要素に対する正確な予測であることに関する信頼レベルを含むまたは示すことができる。一例では、信頼レベルは、包括的に０～１の実数であり、ここで０は、予測データ１６８が、入力データまたは製造機器１２４の構成要素の構成要素健康状態に従って処理された製品に対する正確な予測であることに関する信頼がないことを示し、１は、予測データ１６８が、入力データまたは製造機器１２４の構成要素の構成要素健康状態に従って処理された製品の特性を正確に予測していることに関する絶対的な信頼を示す。事例の所定の数（たとえば、事例の割合、事例の頻度、事例の総数など）に対する閾値レベルを下回る信頼レベルを示す信頼データに応答して、予測構成要素１１４は（たとえば、現在のセンサデータ１４６、現在の製造パラメータ１５４などに基づいて）、訓練されたモデル１９０を再訓練させることができる。
【0057】
限定ではなく説明の目的で、本開示の態様は、過去のデータ（たとえば、過去のセンサデータ１４４、過去の製造パラメータ１５２）を使用して１つまたは複数の機械学習モデル１９０を訓練し、現在のデータ（たとえば、現在のセンサデータ１４６、現在の製造パラメータ１５４など）を１つまたは複数の訓練された機械学習モデルに入力して、予測データ１６８を判定することを記載する。他の実施形態では、発見的モデルまたは規則ベースモデルを使用して、予測データ１６８を判定する（たとえば、訓練された機械学習モデルを使用しない）。予測構成要素１１４は、過去のセンサデータ１４４、過去の製造パラメータ１５２、サマリデータ１６２、および計測データ１６０を監視することができる。発見的または規則ベースモデルでは、図３のデータ入力３１０に関して説明する情報のいずれかを監視またはその他の方法で使用することができる。
【0058】
いくつかの実施形態では、クライアントデバイス１２０、予測サーバ１１２、サーバマシン１７０、およびサーバマシン１８０の機能を、より少ない数の機械によって提供することができる。たとえば、いくつかの実施形態では、サーバマシン１７０および１８０を単一の機械に一体化することができ、いくつかの他の実施形態では、サーバマシン１７０、サーバマシン１８０、および予測サーバ１１２を単一の機械に一体化することができる。いくつかの実施形態では、クライアントデバイス１２０および予測サーバ１１２を単一の機械に一体化することができる。
【0059】
概して、クライアントデバイス１２０、予測サーバ１１２、サーバマシン１７０、およびサーバマシン１８０によって実行されるものとして一実施形態に記載する機能は、適当な場合、他の実施形態において予測サーバ１１２でも実行することができる。加えて、特定の構成要素に帰する機能を、ともに動作する異なるまたは複数の構成要素によって実行することもできる。たとえば、いくつかの実施形態では、予測サーバ１１２は、予測データ１６８に基づいて、是正措置を判定することができる。別の例では、クライアントデバイス１２０が、訓練された機械学習モデル、物理ベースモデルなどからの出力に基づいて、予測データ１６８を判定することができる。
【0060】
加えて、特定の構成要素の機能を、ともに動作する異なるまたは複数の構成要素によって実行することもできる。適当なアプリケーションプログラミングインターフェース（ＡＰＩ）を介して、他のシステムまたはデバイスに提供されるサービスとして、予測サーバ１１２、サーバマシン１７０、またはサーバマシン１８０のうちの１つまたは複数にアクセスすることができる。
【0061】
実施形態では、「ユーザ」とは、単一の個人として表すことができる。しかし、本開示の他の実施形態は、複数のユーザおよび／または自動化されたソースによって管理される実体である「ユーザ」も包含する。たとえば、１群の管理者として統合された１組の個々のユーザを、「ユーザ」と見なすことができる。
【0062】
本開示の実施形態は、データ品質評価、特徴強化、モデル評価、仮想計測（ＶＭ）、予測保守（ＰｄＭ）、限界最適化などに適用することができる。
【0063】
図２は、本開示のいくつかの態様による製造チャンバ２００（たとえば、半導体ウエハ製造チャンバ）の断面図を示す。製造チャンバ２００は、エッチングチャンバ（たとえば、プラズマエッチングチャンバ）、堆積チャンバ（原子層堆積、化学気相堆積、物理的気相堆積、またはそのプラズマ版を含む）、アニールチャンバなどのうちの１つまたは複数とすることができる。たとえば、製造チャンバ２００は、プラズマエッチャ、プラズマクリーナなどのためのチャンバとすることができる。チャンバ部品の例には、基板支持アセンブリ２０４、静電チャック、リング（たとえば、プロセスキットリング）、チャンバ壁、ベース、シャワーヘッド２０６、ガス分配プレート、ライナ、ライナキット、シールド、プラズマスクリーン、流量平衡器、冷却ベース、チャンバビューポート、チャンバリッド、ノズルなどを含むことができる。
【0064】
一実施形態では、製造チャンバ２００は、内部体積２１０を密閉するチャンバ本体２０８およびシャワーヘッド２０６を含む。いくつかのチャンバでは、シャワーヘッド２０６を蓋およびノズルに置き換えることができる。チャンバ本体２０８は、アルミニウム、ステンレス鋼、または他の好適な材料から構築することができる。チャンバ本体２０８は、概して、側壁２１２および底部２１４を含む。
【0065】
チャンバ本体２０８内に排気口２１６を画定することができ、内部体積２１０をポンプシステム２１８に結合することができる。ポンプシステム２１８は、製造チャンバ２００の内部体積２１０の圧力を排気および調整するために利用される１つまたは複数のポンプおよびバルブを含むことができる。チャンバから出るガス流量および／またはチャンバ内の圧力を制御するためのアクチュエータを、排気口２１６またはその付近に配置することができる。
【0066】
シャワーヘッド２０６は、チャンバ本体２０８の側壁２１２またはチャンバ本体の頂部に支持することができる。シャワーヘッド２０６（またはいくつかの実施形態では、蓋）は、製造チャンバ２００の内部体積２１０へのアクセスを可能にするために開くことができ、閉じているときの製造チャンバ２００のためにシールを提供することができる。製造チャンバ２００にガスパネル２２０を結合して、シャワーヘッド２０６（または蓋およびノズル）を介して内部体積２１０にプロセスまたは洗浄ガスを提供することができる。シャワーヘッド２０６全体に、複数のガス送達孔を含むことができる。製造チャンバ２００内で基板を処理するために使用することができる処理ガスの例には、とりわけＣ2Ｆ6、ＳＦ6、ＳｉＣｌ4、ＨＢｒ、ＮＦ3、ＣＦ4、ＣＨＦ3、Ｆ2、Ｃｌ2、ＣＣｌ4、ＢＣｌ3、およびＳｉＦ4などのハロゲン含有ガス、ならびにＯ2またはＮ2Ｏなどの他のガスが含まれる。キャリアガスの例には、Ｎ2、Ｈｅ、Ａｒ、およびプロセスガスに対して不活性の他のガス（たとえば、非反応性ガス）が含まれる。
【0067】
基板支持アセンブリ２０４は、製造チャンバ２００の内部体積２１０内でシャワーヘッド２０６の下に配置される。いくつかの実施形態では、基板支持アセンブリ２０４は、サセプタ２２２およびシャフト２２４を含む。基板支持アセンブリ２０４は、処理中に基板を支持する。いくつかの実施形態では、１つまたは複数のヒータ２２６およびリフレクタ２２８も製造チャンバ２００内配置される。
【0068】
製造チャンバ２００内で特性値を測定するためにセンサが使用される。製造チャンバ２００に関連付けられたセンサは、温度センサ、圧力センサ（いくつかの実施形態では、少なくとも２つの圧力センサが存在してよい）、流量センサなどを含むことができる。いくつかの実施形態では、製造チャンバ２００の物理ベースデジタルツインモデルを利用することで、障害のある構成要素を識別し、是正措置をとることができる。
【0069】
いくつかの実施形態では、チャンバ２００は、タイムトレースデータを収集する複数のセンサを含むことができる。タイムトレースデータは、データ記憶デバイス（たとえば、図１のデータストア１４０）へ伝送することができる。タイムトレースセンサデータからサマリデータを生成することができる。サマリデータおよび／またはタイムトレースデータの処理により、問題（たとえば、障害、ドリフト、エイジングなど）のあるチャンバ、サブシステム、構成要素などを示すデータを生成することができる。データ処理は、物理ベースモデル、機械学習モデル、デジタルツインモデルなどを含む１つまたは複数のモデルによって実行することができる。サマリデータは、指標を生成するために使用することができる。指標の値は、ツール、構成要素、フリートなどの性能を示すことができる。
【0070】
図３は、いくつかの実施形態による、モデル（たとえば、図１のモデル１９０）の訓練、試験、認証などのためのデータセットを作成するデータセット生成器３７２（たとえば、図１のデータセット生成器１７２）の図である。データセット生成器３７２は、図１のサーバマシン１７０の一部とすることができる。いくつかの実施形態では、モデル１９０は、複数の機械学習モデル、物理ベースモデル、デジタルツインモデルなどを含むことができる。各モデルは、その独自のデータセット生成器を有することができ、または複数のモデルがデータセット生成器を共用することができる。１つのデータセット生成器（センサデータを性能データにマッピングするために使用されるモデルに関連付けられる）の動作について、図３に関連して詳細に説明する。他のモデルのいずれかを類似のデータセット生成手順に関連付けることもできる。他のモデルの場合、入力および出力データは、図３に関連して説明する入力および出力データとは異なってよい。
【0071】
データセット生成器３７２（たとえば、図１のデータセット生成器１７２）を含むシステム３００は、機械学習モデル（たとえば、図１のモデル１９０）に対するデータセットを作成する。データセット生成器３７２は、過去の製造パラメータ３５２（たとえば、図１の過去の製造パラメータ１５２）、過去のセンサデータ、サマリセンサデータなどを使用して、データセット（たとえば、データ入力３１０）を作成することができる。システム３００を使用して、機械学習モデルを訓練、試験、および認証するためのデータセットを生成することができる。いくつかの実施形態では、機械学習モデルに性能データ３２２がターゲット出力３２０として提供される。性能データは、完成した製品の特性、たとえば処理された基板の計測データを示すことができる。いくつかの実施形態では、性能データは、製造機器の１つまたは複数の構成要素の状態、たとえば障害、エイジング、ドリフト、推奨される保守などを示すことができる。いくつかの実施形態では、データセット生成器３７２は、製造機器の構成要素の物理ベースモデルに対するデータセットを生成するように構成することができる。物理ベースモデルの出力は、センサデータをターゲット出力として使用してモデルを訓練することによって洗練することができる。いくつかの実施形態では、成功したプロセスに関連付けられたセンサデータ（たとえば、製造公差の範囲内の製品を作製したプロセスからのゴールデンランデータ、最近認定されたチャンバからのゴールデンランデータなど）を、入力３１０またはターゲット出力３２０として利用することができる。
【0072】
いくつかの実施形態では、データセット生成器３７２は、１つまたは複数のデータ入力３１０（たとえば、訓練入力、認証入力、試験入力）を含み、そのデータ入力３１０に対応する１つまたは複数のターゲット出力３２０を含むことができる、データセット（たとえば、訓練セット、認証セット、試験セット）を生成する。データセットはまた、データ入力３１０をターゲット出力３２０にマッピングするマッピングデータを含むことができる。データ入力３１０は、「特徴」、「属性」、または「情報」と呼ぶこともできる。いくつかの実施形態では、データセット生成器３７２は、訓練エンジン１８２、認証エンジン１８４、または試験エンジン１８６にデータセットを提供することができ、このデータセットを使用して、１つまたは複数のモデル１９０（たとえば、モデル１９０、アンサンブルモデル１９０などに含まれるモデルのうちの１つ）を訓練、認証、または試験する。いくつかの実施形態では、モデル１９０は、物理ベースデジタルツインモデルと、物理ベースモデルの出力を分析するために使用されるモデルとを含むことができる。いくつかの実施形態では、データセット生成器３７２は、訓練入力（たとえば、製造パラメータ）として物理ベースモデルに入力を供給することができ、第２のモデルの出力に関連付けられたターゲット出力データ（たとえば、機械学習モデルからの構成要素寄与データ）として提供することができ、これらの関連付けられたデータセットを使用して、モデル１９０を訓練することができる。訓練セットを生成するいくつかの実施形態については、図５Ａに関してさらに説明することができる。
【0073】
いくつかの実施形態では、データセット生成器３７２は、クラスタリングモデル、オートエンコーダ、次元削減モデルなどの教師なし機械学習モデルに対する訓練データセットを供給するために、データ入力３１０を生成するが、ターゲット出力３２０は生成しない。そのようなモデルの動作については、図７に関連してさらに説明する。いくつかの実施形態では、データセット生成器３７２は、データ入力３１０およびターゲット出力３２０を生成する（たとえば、教師なしまたは半教師ありモデルを訓練するため）。いくつかの実施形態では、データ入力３１０は、データの１つまたは複数セットを含むことができる。一例として、システム３００は、センサデータのセットを作製することができ、そのようなセンサデータは、１つまたは複数のタイプのセンサからのセンサデータ、１つまたは複数のタイプのセンサからのセンサデータの組合せ、１つまたは複数のタイプのセンサからのセンサデータからのパターン、１つまたは複数の製造パラメータからの製造パラメータ、いくらかの製造パラメータデータおよびいくらかのセンサデータの組合せ、サマリデータなどのうちの１つまたは複数を含むことができる。
【0074】
いくつかの実施形態では、データセット生成器３７２は、第１の機械学習モデルを訓練、認証、および／または試験するための過去のセンサデータ３４４Ａおよび／または過去の製造パラメータ３５２Ａの第１のセットに対応する第１のデータ入力を生成することができ、データセット生成器３７２は、第２の機械学習モデルを訓練、認証、および／または試験するための過去のセンサデータ３４４Ｂおよび／または過去の製造パラメータ３５２Ｂの第２のセットに対応する第２のデータ入力を生成することができる。
【0075】
機械学習モデルを訓練、認証、および／または試験するためのデータ入力３１０およびターゲット出力３２０は、特定の製造チャンバ（たとえば、特定の基板製造機器）に対する情報を含むことができる。たとえば、過去の製造パラメータ３５２、過去のセンサデータ３４４、サマリデータ、および性能データ３２２を、同じ製造チャンバに関連付けることができる。
【0076】
いくつかの実施形態では、機械学習モデルを訓練するために使用される情報は、特有の特性を有する製造設備の特有のタイプの製造機器（たとえば、図１の製造機器１２４）からのものとすることができ、訓練されたモデルが、特有の１群の製造機器１２４の特性を共用する１つまたは複数の構成要素に関連付けられた現在のセンサデータ（たとえば、現在のセンサデータ１４６）に対する入力に基づいて、特有の１群の製造機器１２４に対する結果を判定することを可能にすることができる。いくつかの実施形態では、このモデルを訓練するために使用される情報は、２つ以上の製造設備からの構成要素に対するものとすることができ、訓練された機械学習モデルが、１つの製造設備からの入力に基づいて、構成要素に対する結果を判定することを可能にすることができる。
【0077】
いくつかの実施形態では、データセットを生成し、そのデータセットを使用して機械学習モデル１９０を訓練、認証、または試験した後、モデル１９０をさらに訓練、認証、もしくは試験、または調整する（たとえば、物理ベースモデルにおけるパラメータまたはニューラルネットワークにおける接続の重みなど、モデル１９０の入力データに関連付けられた重みまたはパラメータを調整する）ことができる。
【0078】
図４Ａは、いくつかの実施形態による、出力データ（たとえば、図１の予測データ１６８）を生成するためのシステム４００を示すブロック図である。いくつかの実施形態では、システム４００は、機械学習モデル（たとえば、図１のモデル１９０）とともに、センサとツール、チャンバ、または製造機器のセットの性能との間の相関を判定するために使用することができ、それにより是正措置の実行を通知することができる（たとえば、シミュレートされたセンサデータを考慮して、是正措置を実行することができる）。いくつかの実施形態では、製造機器に関連付けられた是正措置を判定するために、システム４００に類似したシステムを物理ベースモデルとともに使用することができる。
【0079】
ブロック４１０で、システム４００（たとえば、図１の予測システム１１０の構成要素）が、過去のデータ４６４（たとえば、図１のモデル１９０に対する過去の性能データ、過去の製造パラメータ１５２、および過去のセンサデータ１４４）のデータ分割を実行して（たとえば、図１のサーバマシン１７０のデータセット生成器１７２を介して）、訓練セット４０２、認証セット４０４、および試験セット４０６を生成する。たとえば、訓練セットは過去のデータの６０％とすることができ、認証セットは過去のデータの２０％とすることができ、試験セットは過去のデータの２０％とすることができる。
【0080】
訓練セット４０２、認証セット４０４、および試験セット４０６の生成は、特定の応用例に合わせて調整することができる。たとえば、訓練セットは過去のデータの６０％とすることができ、認証セットは過去のデータの２０％とすることができ、試験セットは過去のデータの２０％とすることができる。システム４００は、訓練セット、認証セット、および試験セットの各々に対して、特徴の複数のセットを生成することができる。たとえば、過去のデータ４６４が、２０のセンサ（たとえば、図１のセンサ１２６）からのセンサデータ、および１０の製造パラメータ（たとえば、２０のセンサからのセンサデータに対応する製造パラメータ）から導出された特徴を含む場合、このセンサデータを、センサ１～１０を含む特徴の第１のセットと、センサ１１～２０を含む特徴の第２のセットとに分割することができる。製造パラメータもまた、複数のセットに、たとえばパラメータ１～５を含む製造パラメータの第１のセットと、パラメータ６～１０を含む製造パラメータの第２のセットとに分割することができる。ターゲット入力、ターゲット出力のいずれかもしくは両方を、複数のセットに分割することができ、またはいずれも分割しなくてもよい。複数の機械学習モデル、物理ベースモデルなどを、データの異なるセットで訓練することができる。
【0081】
ブロック４１２で、システム４００は、訓練セット４０２を使用してモデル訓練を実行する（たとえば、図１の訓練エンジン１８２を介して）。機械学習モデルおよび／または物理ベースモデル（たとえば、デジタルツイン）の訓練は、教師あり学習の方式で実現することができ、これは、このモデルを介してラベル付きの入力を含む訓練データセットを供給することと、その出力を観察することと、誤差を画定すること（出力とラベル値との間の差分を測定することによる）と、深層勾配降下法および逆伝播などの技法を使用して、誤差が最小化されるようにモデルの重みを調整することとを含む。多くの応用例では、訓練データセット内の多くのラベル付き入力にわたってこのプロセスを繰り返すことで、訓練データセット内に存在するものとは異なる入力が提示されたときに正しい出力を作成することができるモデルが得られる。
【0082】
訓練データセット内の訓練データ項目ごとに、訓練データ項目をモデル（たとえば、機械学習モデル）に入力することができる。モデルは次いで、入力された訓練データ項目（たとえば、過去のランからのプロセス方策）を処理して、出力を生成することができる。出力は、たとえば、処理された製品の予測される性能データを含むことができる。この出力を訓練データ項目のラベル（たとえば、測定された実際の性能メトリック）と比較することができる。
【0083】
次いで、処理論理が、訓練データ項目に含まれた生成された出力（たとえば、予測される性能）をラベル（たとえば、実際の性能測定）と比較することができる。処理論理は、出力とラベルとの間の差分に基づいて、誤差（すなわち、分類誤差）を判定する。処理論理は、この誤差に基づいて、モデルの１つまたは複数の重みおよび／または値を調整する。
【0084】
ニューラルネットワークを訓練する場合、人工ニューラルネットワーク内のノードごとに誤差項またはΔを判定することができる。この誤差に基づいて、人工ニューラルネットワークは、そのノードのうちの１つまたは複数に対するそのパラメータ（ノードの１つまたは複数の入力に対する重み）のうちの１つまたは複数を調整する。逆伝播の方式でパラメータを更新することができ、したがって最も高い層のノードが最初に更新され、それに続いて次の層のノードが更新され、以下同様である。人工ニューラルネットワークは、「ニューロン」の複数の層を含み、各層は前の層のニューロンから入力値として受け取る。各ニューロンに対するパラメータは、前の層のニューロンの各々から受け取られた値に関連付けられた重みを含む。したがって、パラメータを調整することで、人工ニューラルネットワーク内の１つまたは複数の層の１つまたは複数のニューロンに対する入力の各々に割り当てられた重みを調整することを含むことができる。
【0085】
システム４００は、訓練セット４０２の特徴の複数のセット（たとえば、訓練セット４０２の特徴の第１のセット、訓練セット４０２の特徴の第２のセットなど）を使用して、複数のモデルを訓練することができる。たとえば、システム４００は、訓練セット内の特徴の第１のセット（たとえば、センサ１～１０からのセンサデータ）を使用して第１の訓練されたモデルを生成し、訓練セット内の特徴の第２のセット（たとえば、センサ１１～２０からのセンサデータ）を使用して第２の訓練されたモデルを生成するように、モデルを訓練することができる。いくつかの実施形態では、第１の訓練されたモデルおよび第２の訓練されたモデルを組み合わせて、第３の訓練されたモデル（たとえば、第１または第２の訓練されたモデル自体より良好な予測子とすることができる）を生成することができる。いくつかの実施形態では、モデルを比較する際に使用される特徴のセットが重複してもよい（たとえば、特徴の第１のセットがセンサ１～１５からのセンサデータであり、特徴の第２のセットがセンサ５～２０）のものであってよい。いくつかの実施形態では、特徴の様々な順列を有するモデルおよびモデルの組合せを含む、数百のモデルを生成することができる。いくつかの実施形態では、数百またはそれ以上のモデルをともに積層して、個々のモデル単独より大きい予測能力を有する１つのアンサンブルモデルを生成することができる。
【0086】
ブロック４１４で、システム４００は、認証セット４０４を使用してモデル認証を実行する（たとえば、図１の認証エンジン１８４を介して）。システム４００は、認証セット４０４の特徴の対応するセットを使用して、訓練されたモデルの各々を認証することができる。たとえば、システム４００は、認証セット内の特徴の第１のセット（たとえば、センサ１～１０からのセンサデータ）を使用して第１の訓練されたモデルを認証し、認証セット内の特徴の第２のセット（たとえば、センサ１１～２０からのセンサデータ）を使用して第２の訓練されたモデルを認証することができる。いくつかの実施形態では、システム４００は、ブロック４１２で生成された数百のモデル（たとえば、特徴の様々な順列を有するモデル、モデルの組合せなど）を認証することができる。ブロック４１４で、システム４００は、１つまたは複数の訓練されたモデルの各々の精度を判定することができ（たとえば、モデル認証を介して）、訓練されたモデルのうちの１つまたは複数が閾値精度を満たす精度を有するかどうかを判定することができる。訓練されたモデルのいずれも閾値精度を満たす精度を有していないと判定したことに応答して、フローはブロック４１２に戻り、そこでシステム４００は、訓練セットの特徴の異なるセットを使用して、モデル訓練を実行する。訓練されたモデルのうちの１つまたは複数が閾値精度を満たす精度を有すると判定したことに応答して、フローはブロック４１６へ進む。システム４００は、閾値精度（たとえば、認証セットに基づく）を下回る精度を有する訓練されたモデルを廃棄することができる。
【0087】
ブロック４１６で、システム４００は、閾値精度を満たす１つまたは複数の訓練されたモデルのうちのどれが最も高い精度を有するか（たとえば、ブロック４１４の認証に基づいて、選択されたモデル４０８）を判定するためのモデル選択を実行する（たとえば、図１の選択エンジン１８５を介して）。閾値精度を満たす訓練されたモデルのうちの２つ以上が同じ精度を有すると判定したことに応答して、フローはブロック４１２に戻ることができ、そこでシステム４００は、最も高い精度を有する訓練されたモデルを判定するための特徴のさらに洗練されたセットに対応するさらに洗練された訓練セットを使用して、モデル訓練を実行する。
【0088】
ブロック４１８で、システム４００は、試験セット４０６を使用してモデル試験を実行して（たとえば、図１の試験エンジン１８６を介して）、選択されたモデル４０８を試験する。システム４００は、試験セット内の特徴の第１のセット（たとえば、センサ１～１０からのセンサデータ）を使用して、第１の訓練されたモデルを試験し、閾値精度を満たす第１の訓練されたモデルを判定することができる（たとえば、試験セット４０６の特徴の第１のセットに基づく）。選択されたモデル４０８が閾値精度を満たさない（たとえば、選択されたモデル４０８が訓練セット４０２および／または認証セット４０４に過度に適合し、試験セット４０６などの他のデータセットに適用することができない）精度に応答して、フローはブロック４１２へ進み、そこでシステム４００は、特徴の異なるセット（たとえば、異なるセンサからのセンサデータ）に、対応する異なる訓練セットを使用してモデル訓練（たとえば、再訓練）を実行する。試験セット４０６に基づいて、選択されたモデル４０８が閾値精度を満たす精度を有すると判定したことに応答して、フローはブロック４２０へ進む。少なくともブロック４１２で、モデルは、過去のデータのパターンを学習して予測を作ることができ、ブロック４１８で、システム４００は、残りのデータ（たとえば、試験セット４０６）にモデルを適用して、これらの予測を試験することができる。
【0089】
ブロック４２０で、システム４００は、訓練されたモデル（たとえば、選択されたモデル４０８）を使用して、現在のセンサデータ４４６（たとえば、図１の現在のセンサデータ１４６）を受け取り、訓練されたモデルの出力から、予測された性能データ４６８（たとえば、図１の予測データ１６８）を判定（たとえば、抽出）する。予測された性能データ４６８を考慮して、図１の製造機器１２４に関連付けられた是正措置を実行することができる。いくつかの実施形態では、現在のセンサデータ４４６は、過去の製造パラメータデータ内の同じタイプの特徴に対応することができる。いくつかの実施形態では、現在のセンサデータ４４６は、選択されたモデル４０８を訓練するために使用された過去の製造パラメータデータ内の特徴のタイプのサブセットと同じタイプの特徴に対応する。
【0090】
いくつかの実施形態では、現在のデータが受け取られる。現在のデータは、現在の性能データ４６０（たとえば、図１の計測データ１６０）を含むことができる。モデル４０８は、現在のデータに基づいて再訓練される。いくつかの実施形態では、現在のセンサデータ４４６および現在の性能データ４６０に基づいて、新しいモデルが訓練される。
【0091】
いくつかの実施形態では、動作４１０～４２０のうちの１つまたは複数は、様々な順序でかつ／または本明細書に提示および記載されていない他の動作とともに行うことができる。いくつかの実施形態では、動作４１０～４２０のうちの１つまたは複数が実行されないこともある。たとえば、いくつかの実施形態では、ブロック４１０のデータ分割、ブロック４１４のモデル認証、ブロック４１６のモデル選択、またはブロック４１８のモデル試験のうちの１つまたは複数が実行されないことがある。
【0092】
図４Ａのシステム４００に類似したシステムを、物理ベースデジタルツインモデルを訓練、認証、試験、および使用するように構成することができる。物理ベースモデルは、製造パラメータ（たとえば、製造機器に提供される設定点）を入力として受け入れ、シミュレートされたセンサデータ（たとえば、予測されたセンサデータ）を出力として提供するように構成される。この物理ベースモデルに関連する他のモデルも、訓練、認証、試験、および使用の類似のデータフローに従うことができる。いくつかの実施形態では、モデルは、シミュレートされたセンサデータおよび測定されたセンサデータを受け取ることができ、２つのデータセット間の差分に寄与すると予測された構成要素のリストを出力するように構成することができる。モデルは、各構成要素がそれらの変動にどれだけ寄与しているかに関する推定を提供することができる。たとえば、モデルは、構成要素への電力送達の推定を提供することができる。電力送達について記述するセンサデータを物理ベースモデルに提供することができ、または物理ベースモデルの出力およびセンサデータを別のモデルに提供することができる。予測されたデータと測定されたデータとの間の差分は、エイジング、障害、ドリフトなどがある構成要素を示すことができる。追加のモデルを訓練するために、異なるデータタイプのデータを利用して、システム４００の分割、訓練、認証、選択、試験、および使用ブロックを同様に実行することもできる。現在のシミュレートされたセンサデータおよび現在の測定されたセンサデータを利用して、再訓練を実行することもできる。いくつかの実施形態では、機械学習または物理ベースモデルの分割、訓練、認証、選択、試験、および使用のために、ゴールデンランデータを供給することもできる。
【0093】
図４Ｂは、いくつかの実施形態による、トレースセンサデータを使用してＴＴＴＭ分析を実行する方法４３０の流れ図である。いくつかの実施形態では、方法４３０の動作は、ＴＴＴＭ分析モジュールの一部として使用されるべき様々な機械学習モデル、統計モデル、デジタルツインモデルなどが訓練された後に実行することができる。
【0094】
ブロック４３１で、構成動作が実行される。いくつかの実施形態では、構成動作がユーザによって実行される。いくつかの実施形態では、ユーザは、グラフィカルユーザインターフェースと対話して、ＴＴＴＭシステムを構成することができる。いくつかの実施形態では、テキスト入力、コマンドライン制御などの別の方法を利用して、ＴＴＴＭシステムを構成することもできる。いくつかの実施形態では、分析全体にわたってＴＴＴＭ分析を繰り返し実行する処理デバイスによって、構成設定（たとえば、構成設定を示すデータを含む文書またはファイル）を参照することができる。
【0095】
構成設定は、日付、方策ラベル、製品ラベル、機器および／またはセンサラベルなどを含むラベルを情報および規定に付けることを含むことができる。構成設定は、１つまたは複数の処理ランまたは製品などに関連して１つまたは複数のツール、１つまたは複数のセンサによって収集されたデータを利用するための指示を含むことができる。構成設定は、いくつかのタイプの分析を実行する（または実行しない）という処理デバイスへの命令を含むことができる。構成設定は、どのメトリックを利用するか、どのタイプのサマリデータを生成するか、どのモデル（たとえば、機械学習モデル）が分析で使用されるべきか、ＴＴＴＭソフトウェアモジュールのどの特徴が分析で利用されるべきか（たとえば、インライヤドリフト検出が実行されるべきか、それともタイムトレース分析が実行されるべきか）などを示すことができる。構成設定は、さらなる分析を実行するための条件付きの閾値、たとえばデータ点をアウトライヤとして分類するための管理限界、ドリルダウン分析をトリガするためのアウトライヤの閾値数などの指示を含むことができる。構成設定は、ＴＴＴＭモジュールによって実行されるべきメトリック値の集約および／または指標の集約の指示を含むことができる。いくつかの実施形態では、ユーザは、将来のＴＴＴＭ分析で使用するために、１つまたは複数の「お気に入り」構成設定を記憶することが可能でありうる。いくつかの実施形態では、構成設定は、生成するプロットのタイプ（たとえば、ボックスプロット、ヒストグラム、散布図など）、生成するプロットの数、プロットの生成をトリガするための閾値メトリックまたは指標値、生成されたプロットの設計要素、最良適合または傾向線がプロット上で計算および／または表示されるかどうかなどを含む、視覚化のためのオプションを含むことができる。
【0096】
構成設定が判定された（またはデフォルト設定、お気に入りなどが選択された）後、自動化された処理手順４３２が実行される。いくつかの実施形態では、ＴＴＴＭモジュール（構成設定によって案内される）は、センサデータの分析を生成するために多くの動作を独立して実行する。自動化された処理手順４３２の動作については、ここに含まれるこれらの動作の簡単な要約によって、図５Ｂ～図５Ｉに関連してより詳細に論じる。
【0097】
ブロック４３３で、データ収集動作が処理デバイスによって実行される。構成設定に従って、処理デバイスによって分析のためにデータが取り出される。取り出されたデータは、トレースセンサデータ、前処理されたセンサデータ、製造データ（たとえば、ハードウェアまたは処理パラメータ、方策情報など）、サマリデータなどを含むことができる。
【0098】
ブロック４３４で、データ処理動作が処理デバイスによって実行される。いくつかの実施形態では、データ処理は、構成設定に従って実行される。データ処理は、メトリック値、指標、集約されたメトリックおよび指標、トレース分析、ドリフト分析などの生成を含むことができる。データ処理は、データ（たとえば、ブロック４３３で収集されたデータ）を１つまたは複数のモデルに提供して、出力を生成することを含むことができる。データ処理モデルは、機械学習モデル、デジタルツインモデル、統計モデルなどを含むことができる。データ処理動作については、図５Ｄに関連してより詳細に論じる。
【0099】
ブロック４３５で、処理論理は視覚化動作を実行する。視覚化動作は、構成設定に従って実行することができる。いくつかの実施形態では、条件がデータ処理中に満たされること、たとえばメトリック値が閾値を超過すること、データ点の特定の部分がアウトライヤとして分類されることなどによって、視覚表現の生成をトリガすることができる。いくつかの実施形態では、視覚表現は複数の分析段階で生成することができ、たとえばＴＴＴＭ指標値をプロット化することができ、ＴＴＴＭ指標値の１つまたは複数の集約もプロット化することができる。視覚化は、任意の好都合なプロット化方式、たとえばボックスプロット、ヒストグラム、散布図、円グラフなどを使用して実行することができる。視覚表現については、図６Ａ～図６Ｇに関連してより詳細に論じる。
【0100】
ブロック４３６で、処理論理は、分析および報告動作を実行する。いくつかの実施形態では、ブロック４３６の動作がユーザに提供される。いくつかの実施形態では、ブロック４３６の動作を自動でトリガすることができる（たとえば、ＴＴＴＭモジュールの性能を評価するための事例評価手順を周期的に行うことができる）。いくつかの実施形態では、ユーザによってブロック４３６の動作をトリガすることができる。いくつかの実施形態では、ブロック４３６の動作の結果により、将来の分析のための構成設定を通知することができる（図４Ｂにブロック４３１に戻る矢印によって示す）。
【0101】
図４Ｃは、いくつかの実施形態による、サマリデータを生成する方法４５０を示す流れ図である。サマリデータの生成は、トレースデータの収集によって開始することができる。一例として、方法４５０は、単一のランおよび単一のセンサからの全トレースに作用する。他の実施形態では、複数のセンサ、複数のランなどからのデータを使用して、サマリデータを生成することもできる。いくつかの実施形態では、トレースデータを複数のプロセス動作に分離して記憶することができ、動作で分離されたデータを利用して、サマリデータを生成することができる。いくつかの実施形態では、このデータ上で、たとえば平滑化、補間、正規化などの前処理を実行することができる。前処理は、様々な分析段階で実行することができる。
【0102】
ブロック４５１で、単一のランからの全トレースデータが、処理論理によって複数の処理動作に分割する。いくつかの実施形態では、別個の処理動作（たとえば、処理方策のステップ）に分割された全トレースデータおよびデータを処理論理に提供して、基本サマリ動作を実行することができる。データは、データ点のタイムスタンプ、トレースデータの挙動、基準トレースデータの挙動などに基づいて、複数の処理動作に分割することができる。複数の処理動作に分割されたデータを処理デバイスに提供することができ、一時部分および定常状態部分にさらに分割される。いくつかの実施形態では、図４Ｃに示すものとは異なる順序で様々な動作を実行することができ、これは本開示の範囲内であってよい。
【0103】
ブロック４５２で、複数の処理動作に分割されたトレースデータが、一時部分および定常状態部分にさらに分割される。一時部分の分割の視覚表現が、図６Ａに示されている。いくつかの実施形態では、温度または電圧などのプロセスパラメータは、動作設定点を有することができる。特性値が急速に変化する場合、そのような設定点に到達するには時間量を要することがある。特性値の急速な変化の期間をトレースデータの一時部分として分離することができ、特性値がより安定する期間をトレースデータの定常状態部分として分離することができる。いくつかの実施形態では、処理方策は、特性（たとえば、温度）が制御された形である期間にわたって変化（たとえば、増加）することを必要とすることもある。定常状態でも一時的でもないそのような期間も、分離および分析することができる。いくつかの実施形態では、傾斜データを定常状態データとして分析することができる。いくつかの実施形態では、傾斜データを一時データとして分析することができる。いくつかの実施形態では、傾斜データを定常状態または一時データとは異なる形で分析することができる。いくつかの実施形態では、一時データ分析および／または定常状態分析からの特徴を利用して、傾斜データを分析することができる。
【0104】
トレースデータの一時部分および定常状態部分を処理デバイスによって分離することができる。いくつかの実施形態では、構成設定に従って、一時部分および定常状態部分の分離を実行することができる。トレースデータの一時部分の識別は、以前の知識（たとえば、ゴールデンランデータから導出された定常状態推定までの時間）などに基づいて、トレースデータの勾配、データの１つまたは複数の統計尺度（たとえば、標準偏差、範囲など）を判定することを含むことができる。いくつかの実施形態では、トレースデータの一時部分および定常状態部分を分離するために、スライディングウィンドウが利用される。その動作に関連付けられたトレースデータより小さい（たとえば、より少ないデータ点を含む）ウィンドウを分析することができる。いくつかの実施形態では、ウィンドウ内の点を、定常状態部分の一部または一時部分の一部であると判定することができる。いくつかの実施形態では、ウィンドウ内の点の標準偏差が閾値より大きい場合、ウィンドウ内の点を、一時部分の一部であると判定することができる。次いで、処理動作トレースデータのデータ点の異なるサブセットを含むように、ウィンドウを動かすことができる。ウィンドウのサイズ、トレースデータの一部分が一時的であるかどうかを判定するために使用されるメトリック（たとえば、勾配、標準偏差、四分位数値、範囲など）、一時性の判定が行われる閾値などはすべて、構成設定に従って実行することができる。いくつかの実施形態では、定常状態として指定された部分と一時的として指定された部分との間の境界をさらなる処理にかけることができ、たとえばウィンドウサイズの変更、判定メトリックの変更、閾値メトリック値の変更などにかけることができる。一時部分および定常状態（および傾斜または別のタイプ）部分に分割されたデータを処理論理に提供して、サマリデータを生成する。いくつかの実施形態では、定常状態部分および一時部分を処理論理に提供して、基本データサマリ動作を実行する（ブロック４５４）。いくつかの実施形態では、一時部分を処理論理に提供して、デジタルツインサマリ動作を実行する（ブロック４５３）。
【0105】
ブロック４５３で、処理論理は、デジタルツインサマリ動作を実行する。いくつかの実施形態では、デジタルツインサマリ動作は、トレースデータの一時部分に関連して実行される。いくつかの実施形態では、物的資産のデジタルツインモデルが生成される。物的資産は、製造システムの１つまたは複数の構成要素を含むことができる。デジタルツインによって物的資産の性能をモデル化することができ、モデル化された挙動を、製造システムに関連付けられた１つまたは複数のセンサによって記録された挙動と比較することができる。サマリデータを生成する際に使用するためのデジタルツインデータの視覚表現は、図６Ｂに見ることができる。
【0106】
一時部分の様々な特徴を、デジタルツイン出力と比較して、サマリデータを生成することができる。いくつかのシステムでは、特性値が設定点値に落ち着く前に、設定点を超過することがある（たとえば、オーバーシュート）。トレースデータのオーバーシュート領域の特性（たとえば、オーバーシュートの値、オーバーシュートの時間の長さ、オーバーシュートの最大または最小値に到達した時間など）を使用して、サマリデータを生成することができる。いくつかの実施形態では、特性値は、設定点に到達する立ち上がり時間を呈することができる。センサデータの立ち上がり時間特性をデジタルツインデータと比較して、サマリデータ、たとえば特性値が示されている値の５０％、示されている値の９０％などに到達するために必要とされる時間を生成することができる。いくつかの実施形態では、特性値が設定点に安定するには（たとえば、オーバーシュート後）、ある程度の時間がかかることがある。この安定時間を利用して、サマリデータ（たとえば、値が設定点の５％以内、設定点の２％以内などに留まるまでの時間）を生成することができる。いくつかの実施形態では、到達する最終特性値は、設定点とは異なることがある。この差分に基づいて、サマリデータを生成することができる。いくつかの実施形態では、デジタルツインモデルによって、閉ループ制御システムの特性をモデル化することができる。閉ループ制御システムの利得、位相、および帯域幅などの特性を監視および使用して、サマリデータを生成することもできる。いくつかの実施形態では、特性値は変動することがある（たとえば、設定点に近づくにつれて、安定するまでに数回、値は設定点を上回ったり下回ったりする可能性がある）。サマリデータには、そのような変動の検出、および周波数、振幅などの変動の特性を含むことができる。いくつかの実施形態では、最大、最小、勾配、平均、または他のメトリックを、一時部分に関連付けられたサマリデータに含むことができる。
【0107】
ブロック４５４で、基本サマリ動作が処理論理によって実行される。いくつかの実施形態では、いくつかの部分が基本サマリ動作論理に提供される（たとえば、一時データおよび定常状態データの両方を基本サマリ動作論理に提供することができる）。いくつかの実施形態では、基本サマリデータは、メタデータ、たとえば処理ランに関連付けられたデータを含むことができる。メタデータは、処理ラン開始時間、ランＩＤ、ツールＩＤ、ツール名、ロット名、ロットＩＤ、処理方策名、製品ＩＤ、製品情報（たとえば、製品設計）、製品番号、製品カウント（たとえば、最後の保守事象からの製品の数）などを含むことができる。
【0108】
いくつかの実施形態では、基本サマリデータは、コンテキストデータ、たとえばセンサ、処理動作などに関連付けられたデータを含むことができる。コンテキストデータは、チャネルまたはセンサ名またはＩＤ、プロセス動作番号（たとえば、ステップ番号）、プロセス動作のタイムスタンプ、動作名またはＩＤ、動作タイプ（たとえば、エッチング動作、堆積動作など）、製造サブシステム名またはＩＤなどを含むことができる。
【0109】
いくつかの実施形態では、基本サマリデータは、トレースデータに関連付けられた統計情報を含むことができる。統計情報は、データ平均、中央値、最小、最大、範囲、四分位数、および他の百分位数情報、標準偏差、スキュー、尖度、データが管理範囲内にあるかどうかを示すフラグなどを含むことができる。基本サマリデータは、構成設定に従って生成することができる。ブロック４５５で、サマリデータが将来の使用のために、たとえばＴＴＴＭモジュールによって記憶される。サマリデータは、データストア、たとえば図１のデータストア１４０内に記憶することができる。
【0110】
図５Ａ～図５Ｉは、特定の実施形態による、データを生成して是正措置を引き起こすことに関連付けられた方法５００Ａ～Ｉの流れ図である。方法５００Ａ～Ｉは、ハードウェア（たとえば、回路、専用論理、プログラム可能な論理、マイクロコード、処理デバイスなど）、ソフトウェア（処理デバイス、汎用コンピュータシステム、または専用機械上で実行される命令など）、ファームウェア、マイクロコード、またはこれらの組合せを含むことができる処理論理によって実行することができる。いくつかの実施形態では、方法５００Ａ～Ｉは、一部には予測システム１１０によって実行することができる。方法５００Ａは、一部には、予測システム１１０（たとえば、図１のサーバマシン１７０およびデータセット生成器１７２、図３のデータセット生成器３７２）によって実行することができる。予測システム１１０は、本開示の実施形態によって、方法５００Ａを使用して、機械学習モデルの訓練、認証、または試験のうちの少なくとも１つのためのデータセットを生成することができる。方法５００Ｂ～５００Ｉは、予測サーバ１１２（たとえば、予測構成要素１１４）によって実行することができる。いくつかの実施形態では、非一時的記憶媒体が、処理デバイス（たとえば、予測システム１１０、サーバマシン１８０、予測サーバ１１２などの）によって実行されたとき、処理デバイスに方法５００Ａ～Ｉのうちの１つまたは複数を実行させる命令を記憶する。
【0111】
説明を簡単にするために、方法５００Ａ～Ｉは、一連の動作として図示および記載されている。しかし、本開示による動作は、様々な順序でかつ／または同時に、本明細書に提示および記載されていない他の動作とともに行うことができる。さらに、開示する主題による方法５００Ａ～Ｉを実施するために、すべての示されている動作が実行されるとは限らない。加えて、方法５００Ａ～Ｉは別法として、一連の相関する状態として状態図または事象を介して表すこともできることが、当業者には理解および認識されよう。
【0112】
【0113】
図５Ａを参照すると、いくつかの実施形態では、ブロック５０１で、方法５００Ａを実施する処理論理は、訓練セットＴを空のセットに初期化する。
【0114】
ブロック５０２で、処理論理は、センサデータ（たとえば、図１の過去のセンサデータ１４４、図３の過去のセンサデータ３４４）、製造パラメータ（たとえば、図１の過去の製造パラメータ１５２）などのうちの１つまたは複数を含むことができる第１のデータ入力（たとえば、第１の訓練入力、第１の認証入力）を生成する。いくつかの実施形態では、第１のデータ入力は、データのタイプに対する特徴の第１のセットを含むことができ、第２のデータ入力は、データのタイプに対する特徴の第２のセットを含むことができる（たとえば、図４Ａに関して説明した）。
【0115】
いくつかの実施形態では、ブロック５０３で、処理論理は、データ入力のうちの１つまたは複数（たとえば、第１のデータ入力）に対する第１のターゲット出力を生成する。いくつかの実施形態では、第１のターゲット出力は、性能データ（たとえば、処理された製品、障害のある構成要素などの計測データ）である。いくつかの実施形態では、物理ベースデジタルツインモデルに関連して実行するように構成された機械学習モデルの場合と同様に、入力データをセンサデータの形態とすることができ、ターゲット出力は、障害のある可能性の高い構成要素のリストとすることができる。いくつかの実施形態では、ターゲット出力が生成されない（たとえば教師なし機械学習モデルは、ターゲット出力が提供されることを必要とするのではなく、入力データ内の相関をグループ化または発見することが可能である）。
【0116】
ブロック５０４で、処理論理は、入出力マッピングを示すマッピングデータを生成してもよい。入出力マッピング（またはマッピングデータ）は、データ入力（たとえば、本明細書に記載するデータ入力のうちの１つまたは複数）、データ入力に対するターゲット出力、およびデータ入力とターゲット出力との間の関連付けを参照することができる。いくつかの実施形態では、ターゲット出力が提供されない機械学習モデルなどに関連して、ブロック５０４が実行されなくてもよい。
【0117】
ブロック５０５で、処理論理は、いくつかの実施形態では、ブロック５０４で生成されたマッピングデータをデータセットＴに追加する。
【0118】
ブロック５０６で、処理論理は、データセットＴがモデル１９０の訓練、認証、および／または試験のうちの少なくとも１つに対して十分であるかどうかに基づいて分岐する。データセットＴが十分である場合、実行はブロック５０７へ進み、そうでない場合、実行はブロック５０２にも戻る。いくつかの実施形態では、単にデータセット内の入力の数、いくつかの実施形態では出力にマッピングされた入力の数に基づいて、データセットＴが十分であると判定することができるが、いくつかの他の実施形態では、入力の数に加えて、またはその代わりに、１つまたは複数の他の基準（たとえば、データ例の多様性の尺度、精度など）に基づいて、データセットＴが十分であると判定することができることに留意されたい。
【0119】
ブロック５０７で、処理論理は、機械学習モデル１９０を訓練、認証、および／または試験するためのデータセットＴを（たとえば、サーバマシン１８０に）提供する。いくつかの実施形態では、データセットＴは訓練セットであり、訓練を実行するために、サーバマシン１８０の訓練エンジン１８２に提供される。いくつかの実施形態では、データセットＴは認証セットであり、認証を実行するために、サーバマシン１８０の認証エンジン１８４に提供される。いくつかの実施形態では、データセットＴは試験セットであり、試験を実行するために、サーバマシン１８０の試験エンジン１８６に提供される。たとえば、ニューラルネットワークの場合、所与の入出力マッピングの入力値（たとえば、データ入力３１０に関連付けられた数値）がニューラルネットワークに入力され、入出力マッピングの出力値（たとえば、ターゲット出力３２０に関連付けられた数値）がニューラルネットワークの出力ノードに記憶される。次いで、ニューラルネットワーク内の接続の重みが学習アルゴリズム（たとえば、逆伝播など）に従って調整され、その手順がデータセットＴ内の他の入出力マッピングに対して繰り返される。ブロック５０７後、モデル（たとえば、モデル１９０）を、サーバマシン１８０の訓練エンジン１８２を使用した訓練、サーバマシン１８０の認証エンジン１８４を使用した認証、またはサーバマシン１８０の試験エンジン１８６を使用した試験のうちの少なくとも１つにかけることができる。訓練されたモデルは、（予測サーバ１１２の）予測構成要素１１４によって、信号処理または製造機器１２４に関連付けられた是正措置を実行するための予測データ１６８を生成するために実施することができる。
【0120】
図５Ｂは、いくつかの実施形態による、１つまたは複数のモデルを利用して実行されるべき是正措置を判定する方法５００Ｂの流れ図である。図５Ｂの動作は、図４Ｂに関連して説明する自動化された処理動作に含むことができる。
【0121】
図５Ｂを参照すると、ブロック５１０で、処理論理は、是正措置を示す装置間マッチング（ＴＴＴＭ）情報を生成することに関連付けられた準備動作を実行する。準備動作は、手動入力によってトリガすることができ（たとえば、準最適な性能を認識したとき、１つまたは複数の完成した製品の準最適な計測データに応答するときなど）、予定されたタイミング間隔でトリガすることができ、または以下同様である。ＴＴＴＭ分析準備は、データ収集論理を含むことができる。データ（たとえば、センサトレースデータ）をデータストアから取り出すことができる。データ収集は、構成設定に従って実行することができる。収集されたデータは、プロセスが実行された日付、製造機器のツールＩＤ、方策名、主要な動作、センサ、またはパラメータを示すデータなどを含むことができる。構成設定は、データのこれらのタイプのうちのどれを収集するか、および前処理（たとえば、データ洗浄、リサンプリング、平均化、平滑化など）のための手順の指示を含むことができる。処理論理は、準備動作の一部としてデータの前処理を実行することができる。
【0122】
準備動作は、処理論理がたとえば製造プロセスに関連付けられたサマリデータを生成することをさらに含むことができる。データ要約動作については、図４Ｃに関連して詳細に論じる。データ要約は、構成設定に従って実行することができる。いくつかの実施形態では、要約データはトレースセンサデータから生成される。トレースセンサデータを複数の部分に分離することができ、各部分から要約データが別個に抽出される。たとえば、トレースセンサデータを１つまたは複数の一時部分および１つまたは複数の定常状態部分に分離することができる。いくつかの実施形態では、トレースの一部分のデータ値の統計を提供するために、スライディングウィンドウが使用される。ウィンドウ内の点の特定の統計マーカ（たとえば、標準偏差、分散など）が閾値より大きい（または小さい）場合、そのウィンドウ内の点は、トレースデータの定常状態部分、トレースデータの一時部分などに含まれると判定することができる。他のメトリック（たとえば、データの勾配、時間閾値など）を使用して、トレースデータの定常状態部分および一時部分を指定することもできる。いくつかの実施形態では、定常状態データおよび一時データは、要約論理によって異なる形で処理される。構成設定は、定常状態部分および一時部分が識別される方法、たとえばウィンドウサイズ、ウィンドウがどの部分に属するかを判定するメトリックの値または識別情報などに関する調整を含むことができる。いくつかの実施形態では、トレースデータの異なる部分に対して異なるデータがサマリデータに含まれる。いくつかの実施形態では、構成要素の物理ベース（たとえば、デジタルツイン）モデルが、挙動の予測を生成するために使用される。いくつかの実施形態では、デジタルツイン予測と測定されたセンサデータとの間の差分を利用して、サマリデータを生成する。たとえば、デジタルツインモデルは、構成要素（たとえば、静電チャック）に供給される電圧が、特定の立ち上がり時間（たとえば、ターゲット値の９０％に到達する時間）、特性オーバーシュート（たとえば、ピーク電圧のターゲット値に対するパーセント）、および安定時間（たとえば、定常値に到達するまでの変動時間）を有することができると予測することができる。要約論理は、センサデータの測定された一時部分とデジタルツインモデルによるそのようなメトリックの予測との間の差分を記録することを含むことができる。
【0123】
サマリデータは、メタデータ、コンテキストデータ、統計、およびデジタルツイン支援サマリデータを含むことができる。メタデータは、製造プロセス（たとえば、半導体ウエハが処理された状態）について記述するデータを含むことができる。メタデータは、ラン開始時間、方策ＩＤ、製造機器に関連付けられたツールＩＤ、ツール名、ロット名および／またはＩＤ、製品ＩＤ、製品情報、製品番号、ツールによって作製された製品の数などを含むことができる。コンテキストデータは、センサＩＤ、方策動作番号、タイムスタンプデータ、サブシステム、動作タイプなどのトレースデータについて記述するデータを含むことができる。統計データは、平均値、最小および最大値、百分位数（たとえば、四分位数）値、分散、スキュー、尖度、範囲、四分位範囲、管理下限および管理上限（たとえば、百分位数値の範囲外の四分位範囲の平均または何らかの倍数の３つの標準偏差などの他の統計から計算される）などを含むことができる。デジタルツイン支援サマリデータは、オーバーシュート（たとえば、特性のターゲット値と特性のピーク値との間のパーセント差分）、立ち上がり時間（たとえば、特性がターゲット値の９０％に調整される時間）、安定時間（たとえば、測定された値がターゲット値の何らかの閾値範囲に入る時間）、定常状態誤差（たとえば、測定された最終値とターゲット値との間のパーセント差分）、利得余裕などの閉ループ制御システムパラメータ（たとえば、利得なしと入力と出力との間の位相オフセットが１８０°になる周波数でのシステム利得との間の利得の差分）、位相余裕（たとえば、システム位相と利得がない周波数での１８０°との間の位相オフセットの差分）、および帯域幅、変動検出、変動周波数、変動振幅などを含むことができる。
【0124】
ブロック５１１で、処理論理は、分析されるべきデータに適合している１つまたは複数の既存のモデルを確認する。既存のモデルは、過去のデータを使用して訓練されたモデルとすることができる。既存のモデルの適合性は、同じセットの製造機器、同じタイプの製造機器で、同じまたは類似のプロセスに対して訓練されていることなどに基づいて判定することができる。既存の適合モデルが存在しない場合、フローはブロック５１２へ進む。既存の適合モデルが存在する場合、フローはブロック５１３へ進む。
【0125】
ブロック５１２で、処理論理は、ＴＴＴＭ分析を実行することに関連付けられた訓練動作を実行する。訓練動作については、図５Ｃに関連してより詳細に論じる。訓練動作は、図１のデータストア１４０などから、１つまたは複数の製造プロセスに関連付けられたデータを取り出すことを含むことができる。訓練動作は、ゴールデンランセンサデータを取り出すおよび／または生成すること、サマリデータを取り出すこと、トレースデータを取り出すことなどを含むことができる。訓練動作は、構成設定に従って実行することができる。
【0126】
ブロック５１３で、処理論理は、ＴＴＴＭ分析に関連付けられた推論動作を実行する。推論動作については、図５Ｄに関連してより詳細に論じる。推論は、１つまたは複数のモデルを使用した分析を含むことができる。モデルは、物理ベースモデル、デジタルツインモデル、機械学習モデルなどを含むことができる。推論は、構成設定に従って実行することができる。推論動作は、以前の推論動作に応答して実行することができ、たとえば以前の動作の出力が１つまたは複数の基準を満たすことに応答して、さらなるドリルダウン分析を実行することができる。推論の結果は、さらなるフォローアップ、予定された保守などのための是正措置、システム、または構成要素の指示を含むことができる。推論動作は、結果の視覚化を含むことができる。
【0127】
ブロック５１４で、処理論理は、ＴＴＴＭ分析に関連付けられた事例評価動作を実行する。事例評価手順は、ＴＴＴＭ分析手順の性能を示す情報を生成するために使用することができる。様々なモデルおよびアルゴリズムの性能を評価することができる。事例評価動作は、予測された性能メトリックを測定された性能メトリックと比較することを含むことができる。いくつかの実施形態では、事例評価は、ユーザによってトリガすることができる。いくつかの実施形態では、事例評価は、結果によって、たとえば閾値範囲外のＴＴＴＭ分析の結果、ＴＴＴＭ分析予測に対する類似性の閾値範囲外の計測の結果などによってトリガすることができる。いくつかの実施形態では、事例評価は、事例評価予定（たとえば、ｎ回のプロセスごと、選択された頻度など）に従って実行することができる。製造プロセスに関連付けられたデータ（たとえば、センサデータ、サマリデータなど）は、ＴＴＴＭ分析の出力（たとえば、予測された障害のある１つまたは複数の構成要素、予測されたドリフトまたはエイジングのあるサブシステム、完成した製品の予測された計測データ、構成要素またはサブシステムの健康状態の視覚化など）とともに、処理論理へ提供することができる。ＴＴＴＭ分析出力（たとえば、予測された障害のある構成要素の保守の結果、製品の測定された計測など）に関連付けられた測定された性能データを、事例評価を実行する処理論理に提供することもできる。
【0128】
事例評価動作は、ＴＴＴＭモジュール（たとえば、ＴＴＴＭ分析に含まれる１つまたは複数のモデル）が再訓練されるべきかどうかを判定することを含むことができ、かつ／またはそのように判定することを対象とすることができる。処理論理は、複数のメトリックのうちの１つまたは複数に基づいて、再訓練を実行するかどうかを評価することができる。いくつかの実施形態では、予測の特定の部分、たとえば予測の一部が、ある期間にわたって精度閾値を満たさないことに基づいて、再訓練を実行することができる。いくつかの実施形態では、連続する複数の製品が精度閾値を満たさないことに基づいて、再訓練を実行することができる。いくつかの実施形態では、方策更新、入ってくる材料の更新、実行されたチャンバ保守など、処理状態に対する既知の変化に基づいて、再訓練を実行することができる。処理論理は、十分に正確なＴＴＴＭ予測を有する事例および満足できないＴＴＴＭ予測を有する事例からのデータを使用して、評価を実行することができる。処理論理は、陽性の事例（ＴＴＴＭ分析が障害、エイジング、ドリフトなどを予測した事例、たとえば真陽性および偽陽性）と、陰性の事例（ＴＴＴＭ分析が障害を予測しなかった事例、たとえば真陰性および偽陰性）との両方を使用して、評価を実行することができる。
【0129】
処理論理は、偽事例（たとえば、偽陽性、偽陰性）をさらに評価することができる。根本的原因に関して、たとえば偽事例を低減させるためにＴＴＴＭモデルに対して可能な修正に関して、偽事例を評価することができる。いくつかの実施形態では、動作、センサなどの重みを調整する効果を評価することができる。いくつかの実施形態では、管理限界を調整する効果を評価することができる。いくつかの実施形態では、センサ、動作などを将来ＴＴＴＭモデリングから除去する効果を評価することができる。処理論理は、事例評価の結果を記憶することができる。処理論理は、たとえばＴＴＴＭ分析モジュールのすべてまたは一部を更新または再訓練するための推奨を生成することができる。
【0130】
ブロック５１５で、処理論理は、ＴＴＴＭモジュールの再訓練を実行する。ブロック５１４の事例評価中に生成された推奨に従って、再訓練を実行することができる。たとえば、処理論理は、事例評価動作中に、センサの重みを再訓練するための推奨を生成することができる。再訓練動作中、処理論理は、ＴＴＴＭ分析に対して利用される１つまたは複数のモデルを訓練するための追加のデータを提供することによって、推奨を実施することができる。いくつかの実施形態では、再訓練は、モデル認証および／または試験を含むことができる。いくつかの実施形態では、再訓練動作は、異なるセンサデータ（たとえば、図４Ａに関連して説明した異なる１組のセンサ）を使用して、新しいモデルを訓練することを含むことができる。いくつかの実施形態では（たとえば、事例評価動作中に生成された推奨に対して）、再訓練動作が実行されなくてもよい。再訓練後、フローは、追加の製品、プロセス、製造機器などのＴＴＴＭ分析に対する推論段階（ブロック５１３）に戻ることができる。
【0131】
図５Ｃは、いくつかの実施形態による、ＴＴＴＭ分析方法の訓練動作を実行する方法５００Ｃを示すフロー図である。これらの動作は、特定の機械学習モデル、物理ベースモデルなどを訓練することとは異なり、ＴＴＴＭ分析を推論のために準備することを対象とすることができる。ブロック５２１で、ＴＴＴＭ分析で使用するためのデータが取り出される。取り出されたデータは、トレースデータ、前処理されたトレースデータ、要約されたデータなどを含むことができる。取り出されたデータは、ＴＴＴＭ分析の準備動作において、識別、生成、記憶などがなされたデータを含むことができる。どの分析技法、どの訓練されたモデルなどが、ＴＴＴＭ分析で使用されるべきかを示す設定など、構成設定に従って、データを取り出すことができる。
【0132】
ブロック５２２で、処理論理は、１つまたは複数のゴールデンデータセットがＴＴＴＭ分析で使用されるべきかどうかを判定する。ゴールデンデータは、うまく製造された製品、適切に機能する機器などに関連付けられたトレースデータ、洗浄または前処理されたトレースデータ、サマリデータなどを含むことができる。１つまたは複数のゴールデンデータセットの使用は、構成設定などに基づくことができ、１つまたは複数のモデルは、構成設定に基づいて、ＴＴＴＭ分析の一部などとして使用されるべきである。ゴールデンデータセットが使用されるべきでない場合、フローはブロック５２６へ進む。１つまたは複数のゴールデンデータセットが使用されるべきである場合、フローはブロック５２３へ進む。ブロック５２３で、処理論理は、１つまたは複数のゴールデンデータセットが利用可能である（たとえば、ゴールデンデータとして指定されたデータがデータストア１４０に記憶されている）かどうかを判定する。ゴールデンデータ（たとえば、ゴールデンデータが使用されるべきすべてのセンサ、プロセス、システムなどに対するゴールデンデータ）が利用可能である場合、フローはブロック５２５へ進み、１つまたは複数のゴールデンデータセットが取り出される。ゴールデンデータセットが利用可能でない場合（たとえば、ＴＴＴＭ分析で使用されるべき１つまたは複数のゴールデンデータセットが利用可能でない場合）、フローはブロック５２４へ進む。
【0133】
ブロック５２４で、処理論理は、１つまたは複数のゴールデンデータセットを生成する。処理論理によって、１つまたは複数のゴールデンデータセットとして作用するデータを選択することができる（たとえば、データストア１４０から）。データが許容できる処理パラメータ（たとえば、製造公差の範囲内の製品の作製を容易にする処理パラメータ）に対応するという１つまたは複数の指示に基づいて、データをゴールデンデータとして選択することができる。いくつかの実施形態では、最近認定（たとえば、最近保守、最近設置など）されたツール、チャンバ、および／または製造機器のセットを、ゴールデンツールとして指定することができる。ゴールデンツールによって実行されたプロセスからのデータを、ゴールデンデータに指定することができる。いくつかの実施形態では、許容できる製品の作製を示すデータを、センサデータ（たとえば、計測データ、分類または品質データなど）に関連付けることができる。許容できる製品の作製に関連付けられたセンサデータ（前処理されたセンサデータ、要約されたセンサデータなどを含む）を、ゴールデンランデータに指定することができる。いくつかの実施形態では、１つまたは複数のセンサは、関連付けられたゴールデンランデータを有することができる。いくつかの実施形態では、１つまたは複数の処理動作は、関連付けられたゴールデンランデータを有することができる。
【0134】
ブロック５２６で、処理論理は管理限界を画定する。管理限界は、構成設定に従って設定することができる。いくつかの実施形態では、管理限界は、ユーザ入力によって確立することができる（たとえば、許容できる処理範囲をユーザによって選択することができる）。いくつかの実施形態では、管理限界は、処理論理（たとえば、平均からの３つの標準偏差）によって計算することができる。いくつかの実施形態では、複合システムを使用することもできる（たとえば、平均からの３つの標準偏差であるが、ユーザ定義の限界以内）。
【0135】
図５Ｄは、いくつかの実施形態による、ＴＴＴＭ分析方法の推論動作を実行する方法５００Ｄを示す流れ図である。ブロック５３０で、ＴＴＴＭ分析で使用されるべき１つまたは複数のモデルがインポートされる。これらは、訓練された機械学習モデル、物理ベースモデル、デジタルツインモデル、統計モデルなどを含むことができる。構成設定に従って、モデルをインポートすることができる。
【0136】
ブロック５３１で、処理論理はアウトライヤ検出動作を実行する。サマリデータを管理限界と比較して、データ点（たとえば、トレースデータのセットに関連付けられたサマリデータ）がアウトライヤであるかどうかを判定することができる。各処理動作（たとえば、方策ステップ）における各センサを個々に考慮することができる。いずれか１つのサマリデータが管理限界の範囲外である場合、複数のサマリデータが管理限界の範囲外である場合、サマリデータの全体の重み（たとえば、より大きい予測能力を有するサマリにより大きい重みが与えられる）が管理限界の範囲外である場合などに、データ点をアウトライヤであると見なすことができる。いくつかの実施形態では、個々のアウトライヤ信号を集約して、チャンバ、ツール、プロセス、設備、製品、製造機器のセットなどの性能および／または品質を示す指標（たとえば、ＴＴＴＭ指標）を生成することができる。
【0137】
いくつかの実施形態では、ＴＴＴＭ指標の生成は、センサおよびプロセス動作の重み、ならびに管理限界に依存することがある。いくつかのセンサ－動作の組合せは、他の組合せより高い予測能力を有することを見出すことがある。たとえば、プラズマを利用する半導体基板の処理動作の場合、プラズマのパラメータを示すセンサは、チャンバ性能の高い予測能力を有することができる。プラズマ処理が使用されない処理動作の場合、同じセンサは、ツール性能と容易に相関される情報を提供することができない。重み付け係数が、性能に対する関連付けられたデータの寄与の重要度を示すことができる。
【0138】
いくつかの実施形態では、高いアウトライヤ（たとえば、管理上限を上回る）、低いアウトライヤ（たとえば、管理下限を下回る）、およびインライヤ（たとえば、管理上限と管理下限と間の）として分類されたデータ点は、異なる形で処理することができる。いくつかの実施形態では、１つまたは複数の重み付け係数を、センサデータ、サマリデータなどに適用することができる。重み付け係数（たとえば、重み）は、処理チャンバで測定された特性値が性能に与える衝撃を示すことができる。いくつかの実施形態では、重みをセンサに適用することができる（たとえば、基板により近いセンサは、性能により密接に相関したデータを作成することができる）。いくつかの実施形態では、重みを処理動作に適用することができる（たとえば、エッチング動作中のセンサデータは、ウォームアップまたはクールダウン動作などのエッチングが行われない動作より、エッチング方策の性能に密接に相関することができる）。いくつかの実施形態では、重みを処理ランに適用することができる（たとえば、既知の問題を有する処理ランにはより低い重みを与えることができる）。いくつかの実施形態では、重み付け係数をデータのタイプに適用することができる（たとえば、温度センサなどのセンサのタイプ、平均などのサマリデータのタイプには、標準偏差より大きい重みを与えることができ、一時部分からのサマリデータには、トレースデータの定常状態部分とは異なる重みを与えることができ、以下同様である）。いくつかの実施形態では、重み付け係数を特定の動作中の特定のセンサなどの状態の組合せに適用することができる（たとえば、プラズマを生成するために印加される電圧を測定するセンサは、プラズマを伴う処理動作の性能とより高度に相関する結果を生成することができるが、プラズマのない動作における性能とは同様に相関することができない）。
【0139】
いくつかの実施形態では、重みを使用して、ＴＴＴＭ指標を生成することができる。いくつかの実施形態では、処理動作（たとえば、処理ステップ）ごとにすべてのセンサからの重みの和を正規化する（たとえば、１に等しくする）ことができるように、重みを選択することができる。動作に対するアウトライヤセンサはＴＴＴＭ指標値にゼロの寄与を与えるが、インライヤはその重みに寄与しうる。すべてのセンサがインライヤである場合、ＴＴＴＭ指標は１になることができる（または異なる値にスケーリングすることができる）。１（またはスケーリングされた値）より低いＴＴＴＭ指標値は、その製造プロセス、動作、ツール、設備などにさらなる分析が推奨されることを示すことができる。
【0140】
いくつかの実施形態では、重み発見モデルによって、重みを割り当てることができる（または重みの割り当てを支援することができる）。いくつかの実施形態では、重み発見モデルは、機械学習モデルを含むことができる。センサに関連付けられたデータ（たとえば、サマリデータ）を訓練入力として使用し、性能データ（たとえば、計測データ）をターゲット出力として使用して、機械学習モデルを訓練することができる。機械学習モデルを訓練することで、入力データをターゲット出力データに接続する重みを調整する。機械学習モデルは、動作／ステップの組合せを性能に接続する重みを出力することができる。重みは、ＴＴＴＭ分析において、ユーザによって調整された機械学習モデルによる出力などとして使用することができる。いくつかの実施形態では、部分的最小二乗モデルを使用して、重み関数を生成することができる。いくつかの実施形態では、積層部分的最小二乗モデルを使用することができる（たとえば、アンサンブルモデルとして配置された複数の部分的最小二乗モデル）。
【0141】
ブロック５３２で、処理論理は、センサ寄与計算の動作を実行する。いくつかの実施形態では、ブロック５３２～５３５の動作の性能は、ＴＴＴＭ指標の値に依存することができる。たとえば、処理論理は、ＴＴＴＭ指標が閾値を満たす（たとえば、構成設定において確立された閾値を下回る）場合、さらなる分析（たとえば、根本的原因を探索するためのドリルダウン分析）を実行するように構成することができる。ブロック５３２で、１つまたは複数のデータ点が「どれだけ」のアウトライヤであるかを示すセンサ寄与情報を生成することができる。以前の動作は、データ点が管理限界の範囲内である場合、ラベル付けすることを含む。センサ寄与値は、アウトライヤがどれだけ管理限界の範囲外にあるかを示す。例示的なセンサ寄与メトリックは、重大度距離である。重大度距離は、データ点（たとえば、サマリデータ点）がどれだけ管理限界の範囲外にあるかに関する尺度である。重大度距離は、データ点（またはデータ点の集約）と関連付けられた管理範囲との間の関係を示す。いくつかの実施形態では、重大度距離は、製造ラン（たとえば、単一の製品）に対する１つまたは複数のセンサ／動作データ点に対して生成することができる。重大度距離は、１つまたは複数のサマリデータ（たとえば、１つまたは複数のタイプのサマリデータ）に基づくことができる。いくつかの実施形態では、重大度距離の計算は、１つまたは複数のデータ点がどれだけ管理限界の範囲外にあるかに関する計算を含むことができる。いくつかの実施形態では、重大度距離の計算は、管理範囲のサイズに対して、データ点がどれだけ管理限界の範囲外にあるかに関する計算を含むことができる（たとえば、温度センサには２０～４０度の管理範囲を割り当てることができ、５０度のデータ点は、管理上限を上回る管理範囲のサイズの５０％になるように計算することができる）。たとえば、管理下限を下回る（たとえば、管理範囲より低い）データ点は、次のように計算された重大度距離を有することができる。
【0142】
【数1】
【0143】
１つまたは複数の重大度距離に基づいて、集約されたメトリック値または指標を生成することができる。例示的な集約されたメトリックは、重大度スコアである。重大度スコアは、（たとえば、作製されたいくつかの製品の）複数のプロセスランに対する重大度距離の集約を含むことができる。重大度スコアは、特定のセンサ／動作ペア（たとえば、プラズマエッチング処理動作でプラズマを生成するために印加される電圧を測定するセンサ）がいくつかのランにわたって、チャンバ障害、チャンバドリフトなどを示すデータを作成する可能性を示すことができる。重大度スコアなどの集約された重大度距離の計算は、アウトライヤデータ点の頻度を示す係数を含むことができる。たとえば、重大度スコアは、次のように計算することができる。
【0144】
【数2】
【0145】
いくつかの実施形態では、メトリック値をさらに集約して、分析を支援することができる。たとえば、処理論理は、方策動作にわたって重大度スコア（いくつかの実施形態では、単一のセンサおよび単一の動作に対応する）を集約し、センサ当たりの重大度指標を発見することができる（たとえば、プロセスの動作にわたって動作の重みの積および重大度スコアを加算することによる）。そのような分析は、閾値に到達する重大度スコア（たとえば、基準を満たす品質指標、品質スコア、重大度スコアなど）、１つまたは複数の閾値を満たす重大度スコアの数または部分などによってトリガすることができる。データを集約して新しい指標を生成するためのトリガ状態は、構成設定として記憶することができる。このようにして重大度スコアを集約することで、問題または障害のあるセンサに追加の情報を提供することができる。センサにわたって加算して、類似したプロセスを実行し、製造プロセスの１つまたは複数の動作が準最適に実行されているかどうかを判定することができる。いくつかの実施形態では、たとえばＴＴＴＭ指標の製品（たとえば、ラン当たり、動作当たり）および複数の動作（たとえば、ウォームアップ、エッチング、堆積、およびクールダウン動作）における動作の重みを加算することによって、ＴＴＴＭ指標（いくつかの実施形態では、１つのランまたは製品、および１つの処理動作に関連付けられる）を集約し、ラン当たりのＴＴＴＭ指標を生成することができる。これは、製造プロセスの特定の動作が準最適に実行されているかどうかを判定することを支援することができる。たとえば単一のラン（たとえば、単一の半導体ウエハ）に由来する障害を分離するために、類似の手順を実施することができる。処理論理によって、指標の様々な集約を使用して、構成要素またはサブシステムが保守または交換されることを推奨することができ、是正措置の推奨などを生成するための機械学習モデルへの入力として供給することができる。是正措置は、予防保守を予定すること、処理方策を更新すること、警報をユーザへ送信することなどを含むことができる。いくつかの実施形態では、指標および／またはメトリック値に対して、クラスタリング分析を実行することができる。クラスタリング分析については、図５Ｈに関連してより詳細に論じる。クラスタリングの視覚化については、ブロック５３５に関連してより詳細に論じる。
【0146】
ブロック５３３で、処理論理はインライヤドリフト検出を実行する。インライヤドリフト検出の方法について、図５Ｉに関連して詳細に説明する。ＴＴＴＭ指標分析、重大度距離、重大度スコアなどを、アウトライヤデータに関連付けることができる。インライヤデータ（たとえば、管理限界の範囲内のデータ）はまた、分析のための貴重な情報を提供することができる。サマリデータを使用してインライヤ分析を実行することができる。いくつかの実施形態では、ラン（たとえば、１つの半導体ウエハなどの１つの製品）からのサマリデータを、ゴールデンサマリデータ（たとえば、性能閾値を満たす製品の作製中のサマリデータ記録）と比較することができる。いくつかの実施形態では、一連の製造ラン（たとえば、１日、１週間、１カ月などの処理）からのサマリデータを、一連の製造ランからのゴールデンサマリデータと比較することができる。
【0147】
ゴールデンデータと分析されるべきデータとの間の比較は、データセットを比較する任意の技法を使用して実行することができる。いくつかの実施形態では、時系列の類似性を定量化する技法を利用することができる。使用することができる１つのメトリックは、分析されるべきデータセットの各データ点が、ゴールデンランデータ（たとえば、同じタイムスタンプを有するデータ、同じ処理動作に関連付けられたデータなど）の対応するデータ点を有するように、データを前処理および／または洗浄することである。次いで、対応するデータ点の値の間の差分を集約する（たとえば、二乗、絶対値などを加算する）ことができる。メトリックはさらに処理することができ、たとえば平方根が、加算された二乗から得られ、正規化するためにデータ点の数によって分割され、以下同様である。メトリックの値が高ければ高いほど、２つのデータセットがより相違することを示すことができる。いくつかの実施形態では、両方のデータセット上で離散フーリエ変換を実行することができ、同様に、対応するフーリエ係数を、対応するデータ点を比較する上記の分析と比較することができる。いくつかの実施形態では、自己回帰モデルを利用して、データセットを比較することができる。自己回帰モデルは、ランダムプロセスの代表例であり、プロセスのデータ点の値が、以前のデータ点の値に依存する。自己回帰モデルを使用して、分析されるべきデータセットおよびゴールデンデータセットが同じプロセスに関連付けられる可能性を判定することができる（たとえば、処理状態、チャンバ品質などは、２つのセット間で同じである）。
【0148】
いくつかの実施形態では、２つのデータセット間の類似性値を判定するために、弾性相違尺度を利用することができる。いくつかの実施形態では、インライヤドリフト分析において、動的タイムワーピングを利用することができる。動的タイムワーピングは、位置合わせの蓄積されたコストが最小化されるように、時間領域内でデータセットを位置合わせまたはワープすることによって機能する。構成設定に従って、コスト関数を判定することができる。弾性相違尺度は、第２のデータセットとより良好に位置合わせために、１つのデータセット内のデータ点間の間隔を調整すると見なすことができる。弾性相違尺度は、データ点間の間隔だけを調整し、データ点の順序は調整しない。弾性相違尺度は、２つのデータセットを最適の位置合わせ（たとえば、コスト関数を最小化することによって判定される）にするために、間隔調整がどれだけ実行されるかを示すメトリック値または指標値を返すことができる。いくつかの実施形態では、弾性ワーピング後、第１のデータセットの各点を第２のデータセットの点に関連付けることができる。たとえば、分析されるべきデータをワーピングして、ゴールデンデータと最適の位置合わせにすることができる。ワーピング後、分析されるべきデータの各点に、ゴールデンランデータセット内の「最近傍」点を割り当てることができる（たとえば、分析されたセットの点のうちのいくつかに、ゴールデンデータセットの同じ最近傍点を割り当てることができる）。いくつかの実施形態では、両方のデータセットの各データ点を、他方のデータセットの１つまたは複数の最近傍点につなぎ合わせることができる。たとえば、分析されているワープされたデータセットの各点に、ゴールデンデータセットの最近傍点を割り当てることができる。この割り当ては、ゴールデンデータセットのいくつかの点が、分析されるべきデータセットの複数の点に関連付けられることを含むことができる。割り当てはまた、ゴールデンデータセットのいくつかの点が、分析されたデータセット内のいくつかの点に最近傍として割り当てられないことを含むことができる。次いで、ゴールデンセット内の各データ点は、時間的にワープされた分析されるべきデータセット内の最近傍点に割り当てることができる。２つのデータセットが位置合わせされている（たとえば、分析されるべきデータセット内のデータ点１．．．ｎの各々がゴールデンデータセットの対応する点１．．．ｎに対して最近傍であるとき、ワーピングコスト関数が最小化される）場合、最近傍の関連付けの数は、セット内のデータ点の数に等しいものとすることができる。２つのデータセットが位置合わせから著しく外れている場合、各データセット内の１つまたは複数の点は、他方のデータセット内で最近傍として指定されたいくつかの点を有することができる。この場合、最近傍の関連付けの数は、セット内のデータ点の数より大きいものとすることができる。関連付けの増大された数は、ワーピングがどれだけ２つのデータセットの最適の位置合わせを生成するかを示すメトリックとして使用することができる（いくつかの実施形態では、データ点の数の正規化、減算などの前処理を伴う）。インライヤドリフト検出および弾性相違尺度については、図５Ｉおよび図６Ｄ～図６Ｅに関連してさらに論じる。
【0149】
いくつかの実施形態では、各ツール、チャンバ、製造機器のセットなどは、ある程度異なる形で動作することができる。各ツール、チャンバ、機器のセットなどは、その独自の関連付けられた１つまたは複数のゴールデンデータセットを有することができる。各タイプのプロセス（たとえば、各ターゲット製品設計、各方策など）は、その独自の関連付けられた１つまたは複数のゴールデンデータセットを有することができる。
【0150】
是正措置の実行において、インライヤドリフト検出動作を使用することができる。いくつかの実施形態では、特定の閾値を上回るインライヤドリフト検出メトリック（いくつかの実施形態では、構成設定による）が、是正措置をトリガすることができる。是正措置は、ユーザに警報を提供すること、保守を予定すること、方策を更新することなどを含むことができる。
【0151】
ブロック５３４で、処理論理によって、ＴＴＴＭモジュールの追加の特徴をさらなる分析のために利用することができる。追加の特徴の使用は、構成設定に従うことができる。いくつかの実施形態では、追加の特徴が利用されるべきであるかどうかを判定する際、様々なメトリックの値を使用することができる。追加の特徴は、チャンバ障害、ドリフト、予期されない結果、不十分な製品品質などの原因を分離するために、ドリルダウン分析を支援することができる。追加の特徴を使用して、実行されるべき是正措置を判定することができる。追加の特徴は、製造プロセスに関連付けられたデータを１つまたは複数のモデル（たとえば、機械学習、物理ベースなど）に提供して、追加の分析を提供することを含むことができる。
【0152】
いくつかの実施形態では、ＴＴＴＭモジュールの追加の特徴は、トレースデータ分析、たとえばトレースデータ探究分析モジュールを含むことができる。トレースデータ分析は、訓練されたモデル（たとえば、機械学習モデル）の使用を含むことができる。いくつかの実施形態では、トレースデータ分析は、トレースデータを訓練された機械学習モデルに提供し、是正措置、保守または交換されるべき機器の構成要素、製造機器のサブシステム内の障害などを示す機械学習モデルからの出力を受け取ることによって実行することができる。いくつかの実施形態では、オートエンコーダモデルを使用して、トレースデータ分析を実行することができる。オートエンコーダ動作については、図７に関連してより詳細に論じる。トレースデータ分析の結果に関連付けられた視覚表現の一例については、図６Ｆ～図６Ｇに関連してより詳細に論じる。
【0153】
トレースデータ分析は、データの準備動作、たとえばデータの洗浄、再フォーマット、正規化、補間などを含むことができる。次いで、トレースデータを、訓練されたモデルに供給することができる。訓練されたモデルは、予期される形で実行されていないセンサ、サブシステム、製品などの出力指示を作成することができる。いくつかの実施形態では、製造機器によって処理された１つの製品に関連付けられた多く（たとえば、すべて）のセンサに関連付けられたトレースデータを、訓練されたモデルに供給することができる。一連の製品に関連付けられた一連のデータを、訓練されたモデルに供給することができる。モデルは、トレースセンサデータのトレースデータ分析に基づいて、準最適な予測された製品性能、計測、特性などを示すデータを生成することができる。
【0154】
ブロック５３５で、処理論理は結果視覚化動作を実行する。ＴＴＴＭ分析プロセスによって実行または生成されたメトリック、分析などを、１つまたは複数の視覚化手順に組み込むことができ、いくつかの実施形態では、処理論理が、構成設定に従って視覚化動作を実行することができる。指標、メトリックなどを、任意の好都合なまたは適当な形で視覚化することができる。たとえば、散布図、ヒストグラム、ボックスプロット、折れ線グラフなどである。
【0155】
いくつかの実施形態では、視覚化のためにデータをクラスタリングすることができる。いくつかの実施形態では、アウトライヤのクラスタリングおよび視覚化のために、重大度距離を利用することができる。クラスタリングおよび視覚化のために、複数のランおよび複数のセンサのデータを利用することができる。いくつかの場合、センサデータの大部分はインライヤデータ（たとえば、管理限界の範囲内）である。データを前処理して、余分なデータを除去することができる（たとえば、すべてのインライヤデータを除去することができる）。いくつかの実施形態では、残りのアウトライヤデータを簡略化するために、次元削減を適用することができる。次元削減は、データの視覚化を支援することができ、たとえばより好都合な分析のためにデータを２次元または３次元まで削減することができる。いくつかの実施形態では、非線形次元削減モデルを利用することができる。非線形次元削減モデルは、線形次元削減モデル（たとえば、主成分分析）が捕捉しない相関を捕捉することができる。次元削減モデルは、データ点間の親和性または類似性を、削減次元空間においてデータ点が互いに近くに位置する確率（たとえば、ユークリッド距離、ミンコフスキー距離、相関距離、または別の距離関数による）に変換することができる。いくつかの実施形態では、次元削減モデルは、ｔ分布型確率的最近傍埋め込みアルゴリズムを含むことができる。いくつかの実施形態では、次元削減モデルの動作を制御するパラメータを、パープレキシティ（ｐｅｒｐｌｅｘｉｔｙ）（クラスタ内で予期される最近傍の数を判定するメトリック）、高次元空間内の距離メトリックなどの構成設定として記憶することができる。
【0156】
いくつかの実施形態では、次元削減されたデータを、クラスタリングモデルを使用してクラスタリングすることができる。いくつかの実施形態では、データセット内のクラスタの数を自己選択するクラスタリングモデルを選択することができる。いくつかの実施形態では、ノイズクラスタリングアルゴリズムを有するアプリケーションの密度ベースの空間クラスタリングを利用することができる。クラスタリングモデルの動作の詳細を判定するパラメータを、構成設定（たとえば、クラスタリング距離、クラスタサイズ、距離メトリックなどに影響するメトリック）として記憶されることができる。
【0157】
いくつかの実施形態では、データ点（たとえば、クラスタリングされ、次元削減されたアウトライヤ点）は、ランク付けされた重大度スコア（たとえば、アウトライヤ点に関連付けられた重大度スコアに寄与するセンサの重大度距離）への寄与を有することができる。クラスタに最も寄与するセンサ（たとえば、クラスタ内の複数のデータ点に表されるセンサ、１つのクラスタに寄与するが別のクラスタには寄与しないセンサなど）を使用して、クラスタにラベル付けることができる。いくつかの実施形態では、センサおよび関連付けられたデータを、製造機器のサブシステム（たとえば、ヒータ電力サブシステム、チャンバ温度サブシステム、チャンバ圧力サブシステムなど）に割り当てることができる。クラスタに関連付けられた点のアウトライヤ状態に最も重度に寄与するサブシステムによって、クラスタにラベル付けすることができる。このようにして、根本的原因（たとえば、サブシステム障害）によって、クラスタをグループ化することができる。是正措置の実行において、アウトライヤクラスタリングを使用して、たとえばユーザに警報を提供すること、保守を予定すること、プロセス方策を調整することなどができる。
【0158】
処理論理は、インライヤドリフト検出に関係する視覚表現を生成することができる。弾性相違尺度モデルの結果を視覚化することができる。散布図、棒グラフ、折れ線グラフなどによって変化を表すことができ、データセット１とデータセット２との関係を示すプロット上に、データ点の関連付けをプロット化することができ、またはインライヤドリフト検出データを視覚化する他の方法を使用することができる。
【0159】
処理論理は、異常トレース検出に関連付けられた視覚表現を生成することができる。いくつかの実施形態では、センサをサブシステムにグループ化することができ、予期されたセンサ結果からの逸脱を記述するメトリックをサブシステムメトリックに集約することができる。サブシステム当たり、ラン（作製された製品）当たりのサブシステム分析メトリックを、たとえばヒートマップとして表示することができる。
【0160】
いくつかの実施形態では、視覚表現をグラフィカルユーザインターフェースの一部としてユーザに提供することができる。いくつかの実施形態では、ユーザによるグラフィカルユーザインターフェースとの対話を介して、追加のデータを利用可能とすることができる。いくつかの実施形態では、グラフィカルユーザインターフェースとのユーザの対話に基づいて、追加の分析を実行することができる。たとえば、異常トレース検出分析の結果を表示するヒートマップは、単一のメトリック（たとえば、サブシステム当たり、ラン当たり）のみに基づくことができるが、視覚表現のデータ点を選択するとき、より多くのデータ（分析されたトレースデータと予期されたトレースデータとの間の差分の詳細、機械学習モデルの出力の詳細、推奨される是正措置の詳細など）を表示することができる。別の例では、視覚化ツールが、様々なツール、製品などに対する複数のＴＴＴＭ指標の表現を表示することができる。ユーザは、特定の表現（たとえば、１群の他の点から変位されたもの）を選択することができ、そのデータ点に関連付けられたデータ上で、追加の分析（たとえば、インライヤドリフト検出、異常トレース検出など）を実行することができる。
【0161】
図５Ｅは、いくつかの実施形態による、処理チャンバの性能を示すメトリックに基づいて是正措置を実行する方法５００Ｅの流れ図である。ブロック５４０で、処理論理は、製造チャンバの第１の製造プロセスに関連付けられたトレースセンサデータを受け取る。トレースセンサデータは、半導体ウエハなどの製品の処理中に、製造チャンバによって収集されていてよい。
【0162】
ブロック５４２で、処理論理は、トレースセンサデータを処理して、トレースセンサデータに関連付けられたサマリデータを生成する。いくつかの実施形態では、サマリデータを生成することは、トレースセンサデータの少なくとも１つの定常状態部分および少なくとも１つの一時部分を識別することを含む。一時部分は、チャンバ内の特性値が変化する（たとえば、分散が閾値を上回る）期間に関連付けられたトレースデータのセットを含む。定常状態部分は、センサによって測定された特性値が変化しない（たとえば、分散が閾値を下回る）期間に関連付けられたトレースデータのセットを含む。いくつかの実施形態では、定常状態部分を一時部分から区別するために、スライディングウィンドウを利用する。いくつかの実施形態では、トレースセンサデータのデータ点（たとえば、ウィンドウ内の点）のセットが一時部分に属するか、定常状態部分に属するかどうかの判定は、データ点のセットの統計尺度（たとえば、標準偏差）が閾値を満たすかどうかを判定することを含むことができる。一時部分は、標準偏差が閾値を上回る点のセットを含むことができ、定常状態部分は、標準偏差が閾値を下回る点のセットを含むことができる。点のセットが一時部分に属するか、それとも定常状態部分に属するかを判定することは、データ点の隣接するウィンドウ（たとえば、セットに重複する）の統計尺度の考慮を含むことができる。いくつかの実施形態では、処理方策は複数の処理動作を含む。いくつかの実施形態では、プロセス動作（たとえば、プロセス方策の１つまたは複数のプロセス動作）のセンサからのトレースデータは、一時先頭部（たとえば、製造チャンバ内の状態が設定点に調整されるとき）、定常状態部分（たとえば、状態が設定点で維持されるとき）、および一時末尾部を含むことができる。
【0163】
いくつかの実施形態では、サマリデータは、各部分（たとえば、各定常状態部分、各一時部分など）に対して別個に生成される。定常状態部分のサマリデータは、データの統計的記述、たとえば平均、最大、最小、範囲、標準偏差、尖度などを含むことができる。一時部分のサマリデータは、統計的記述を含むことができる。一時部分のサマリデータは、デジタルツインモデルの出力を考慮して生成されたメトリックをさらに含むことができる。１つまたは複数のセンサに関連付けられた製造チャンバの１つまたは複数の構成要素のデジタルツインモデルを生成することができる（たとえば、センサは、構成要素に供給される電力を測定することができ、構成要素および構成要素のための電源のデジタルツインモデルを構築することができる）。デジタルツインモデルは、処理方策を示す情報（たとえば、設定点、近傍環境特性値など）を入力として受け取り、センサ読取り値を予測するタイムトレースデータを出力として作成することができる。いくつかの実施形態では、デジタルツインモデル（たとえば、シミュレートされたセンサデータ）の出力を、測定されたセンサデータと比較することができる。いくつかの実施形態では、シミュレートされたセンサデータの特徴と測定されたセンサデータの特徴との間の差分（たとえば、閾値より大きい差分）を一時部分のサマリデータに含むことができる。一時データの特徴は、ターゲットまたは最終値に対するオーバーシュート、立ち上がり時間、安定時間、検出された変動のパラメータ、設定点と最終値との間の差分などのメトリックを含むことができる。
【0164】
ブロック５４４で、サマリデータに基づいて品質指標スコアが生成される。品質指標スコアは、特定のラン（たとえば、製造機器によって作製された製品）、プロセス動作、センサ、またはこれらの特徴の何らかの組合せに関連付けることができる（たとえば、品質指標スコアは、複数のランにわたって１つのセンサおよび１つの動作に関連付けることができ、品質指標スコアは、すべての温度センサなどの１群のセンサに関連付けることができ、以下同様である）。いくつかの実施形態では、ランおよび処理動作の品質を示す品質指標が生成される。いくつかの実施形態では、生成された品質指標を使用して、ラン間、チャンバ間などの処理パラメータ、たとえば装置間マッチング（ＴＴＴＭ）の一貫性を増大させるための措置を実行することができる。
【0165】
いくつかの実施形態では、１つまたは複数の分類状態を考慮して、品質指標が生成される。いくつかの実施形態では、データ（たとえば、サマリデータ）をインライヤデータまたはアウトライヤデータとして分類することができる。いくつかの実施形態では、データをインライヤデータ、低アウトライヤデータ（たとえば、管理下限を下回る）、または高アウトライヤデータ（たとえば、管理上限を上回る）として分類することができる。分類は、たとえばデータ値が管理範囲内にあるかどうかを判定すること、データ値が閾値を満たすかどうかを判定することなどのために、データ値を管理上限および管理下限と比較することによって実行することができる。管理限界をユーザによって割り当てることができ、管理限界は、本質的に統計的なものとすることができ（たとえば、過去のデータの平均から離れた３つの標準偏差）、以下同様である。いくつかの実施形態では、インライヤは品質指標スコアに寄与しておらず、品質指標はアウトライヤのみに基づくことができる。
【0166】
いくつかの実施形態では、複数の重み付け係数を考慮して、品質指標が生成される。重み付け係数は、性能に対するデータの寄与、たとえば完成した製品の特性に対する寄与を表すことができる。たとえば、いくつかのプロセスでは、１つのセンサからのデータが、別のセンサからのデータより強く性能に相関することがある。そのようなプロセスの場合、品質指標スコア計算において、製品性能にそれほど強く相関しない第１のセンサからのデータには、製品性能により強く相関する第２のセンサからのデータより小さい重みを与えることができる。重み付け係数は、センサ、プロセス動作、センサ／動作ペア（たとえば、プラズマ動作中には、プラズマ生成装置に供給される電圧を測定するセンサに大きい重みを与え、プラズマのない動作中には小さいまたはゼロの重みを与えることができる）、データの特徴（たとえば、サマリデータの１つの態様が別の態様より製品性能に相関することができること、トレースデータの一部が別の部分より製品性能に相関することができることなど）などに関連付けることができる。いくつかの実施形態では、重み付け係数は、訓練された機械学習モデルから抽出することができる。機械学習モデルは、プロセスデータ（たとえば、センサデータ、サマリセンサデータなど）を性能データ（たとえば、計測データ）に相関させるように訓練することができる。機械学習モデルは、センサデータと計測データとの間の１つまたは複数の関係をマッピングするように構成することができる。重み付け係数は、機械学習モデル（たとえば、積層部分的最小二乗モデル）から抽出することができ、機械学習モデルから抽出された要因を考慮して判定することができ、（たとえば、プロセス知識に加えて）機械学習モデルから抽出されたものを含むデータに基づいて計算することができ、以下同様である。
【0167】
いくつかの実施形態では、品質指標スコアは、計算されたメトリックの集約として生成することができる。たとえば、ＴＴＴＭ指標スコアは、１つの処理ラン（たとえば、１つの製品）の１つの動作の品質を示す品質指標スコアを計算するために、（たとえば、重み付きの和を介して）多くのセンサに関連付けられたデータを集約することによって生成することができる。他の指標の集約もＴＴＴＭプロセスに適用可能とすることができ、たとえば多くのランを集約して、プロセスの品質を経時的に示すこと、動作およびセンサにわたって集約して、処理ランの概略的な品質値を提供することなどができる。処理論理は、製造機器に伴う問題を示すことができる指標値（たとえば、閾値を満たすすべての指標値、問題または障害に関連付けられる可能性が最も高い指標値の特定の割合または数など）に関連付けられた情報を（たとえば、ユーザ、さらなる処理論理などに）提供するために、多くの指標を生成することができる。問題または障害を示す指標値を使用して、根本的原因、実行されるべき是正措置などを判定するためのさらなる分析、たとえばドリルダウン分析を開始することができる。
【0168】
いくつかの実施形態では、品質指標スコアは、データ点がどれだけ管理範囲の範囲外にあるか、たとえばアウトライヤの重大度に関連付けられた情報を含むことができる。いくつかの実施形態では、データ点に重大度距離を割り当てることができる。重大度距離（たとえば、重大度距離スコア）を計算することは、データ点がどれだけ管理範囲の範囲外にあるかを、たとえば管理範囲のサイズの分率として計算することを含むことができる（たとえば、下限管理範囲を下回るアウトライヤが、データ点がどれだけ管理下限を下回るかと、管理上限と管理下限との間の差分との間の比を使用して計算される重大度距離を有することができる）。管理限界および管理範囲は、センサ、プロセス動作、チャンバ、製品設計などに関連付けることができる。重大度距離の計算は、重み付け係数を含むことができる。重大度距離は、センサ、プロセス動作、および処理ラン（たとえば、製品）に関連付けることができる。
【0169】
いくつかの実施形態では、重大度距離を集約することができる（たとえば、重大度スコアに）。集約された重大度距離スコアは、ドリルダウン分析で使用することができる。一例として、重大度スコア（たとえば、集約された重大度距離）を生成することは、複数のランに対する重大度距離を加算すること（たとえば、センサおよびプロセス動作に関連付けられた重大度スコアを生成するため）を含むことができる。いくつかの実施形態では、重大度スコアは、どれだけ多くの点がアウトライヤであるかに関係する要因、たとえばセンサおよびプロセス動作ごとのアウトライヤ点の頻度（たとえば、パーセント）を含むことができる。
【0170】
いくつかの実施形態では、品質を示す１つまたは複数のメトリック（たとえば、ＴＴＴＭ指標、重大度スコアなど）を処理論理に視覚化のために提供することができる。いくつかの実施形態では、データ点（たとえば、重大度距離）を次元削減モデルに提供することができる。いくつかの実施形態では、次元削減モデルは、ｔ分布型確率的最近傍埋め込みモデルなどの非線形モデルとすることができる。いくつかの実施形態では、データ点（たとえば、次元削減された重大度距離）をクラスタリングモデルに提供することができる。いくつかの実施形態では、クラスタリングモデルは、ノイズモデルによるアプリケーションの密度ベースの空間クラスタリングなどの非線形クラスタリングモデルとすることができる。いくつかの実施形態では、クラスタのデータ点をサブシステムに割り当てることができる（たとえば、データ点の重大度スコアへの最上位の寄与に基づく）。いくつかの実施形態では、各クラスタに、製造機器のサブシステムの根本的原因を割り当てることができる。
【0171】
ブロック５４６で、処理論理は、品質指標スコアに基づいて、ユーザに警報を提供し、警報は、製造チャンバ性能が第１の閾値を満たさないという指示を含む。いくつかの実施形態では、メトリック（ＴＴＴＭ指標スコアなど）をユーザに提供することができる。いくつかの実施形態では、メトリックの視覚表現（たとえば、棒グラフ、ヒストグラム、ボックスプロットなど）をユーザに提供することができる。いくつかの実施形態では、たとえば障害の根本的原因または実行されるべき是正措置を識別するために、ユーザによって視覚表現を使用して、ドリルダウン分析を開始、通知、または継続することができる。
【0172】
図５Ｆは、いくつかの実施形態による、インライヤ分析を実行する方法５００Ｆの流れ図である。一実施形態では、方法５００Ｆは、アウトライヤが識別されなかったデータに対して方法５００Ｅが実行された後に実行される。ブロック５５０で、処理論理は、製造チャンバの第１の製造手順中にセンサによって得られる測定に関連付けられた第１のデータを受け取る。いくつかの実施形態では、データは、サマリデータを含むことができる。データは、インライヤデータ点を含むことができ、インライヤデータ点は基準（たとえば、閾値）を満たす点である。ブロック５５２で、処理論理は第２のデータを受け取る。第２のデータは、第１のデータに関連付けられた基準データを含む。基準データは、許容できる製品を作製するプロセス、許容できる状態が実現されたプロセスなどに関連付けられたデータとすることができる。基準データをゴールデンデータと呼ぶことができる。基準データは、同じプロセス、センサ、チャンバ、機器などに、第１のデータとして関連付けることができる。
【0173】
ブロック５５４で、第１のデータおよび基準データ（たとえば、ゴールデンランデータ）は比較モデルに提供される。いくつかの実施形態では、比較モデルは、弾性相違モデル、たとえば可能な限り密接な整合を実現するために、２つのデータセットのデータ点の順序を変化させることなくそれらのデータ点間の空間を操作するモデルである。いくつかの実施形態では、比較モデルは、動的タイムワーピングモデルとすることができる。いくつかの実施形態では、複数の処理ラン（たとえば、数日、数週間、またはより多くの製品製造）にわたるデータ（たとえば、サマリデータ）を比較モデルに提供することができる。測定されたデータとゴールデンデータとがどれだけ異なるかを示すメトリックを提供することができる（たとえば、弾性相違モデルによる）。たとえば、モデルは、両方のデータセットの各データ点と他方のセットのデータ点との間の最善の整合を示すことができる。１つのデータセット内に点が存在する場合、２つの同一のデータセットが同じ数の整合ペアを有することができる。十分に整合していない２つのセットは、より多数のペアを有することができる。メトリックは、２つのセット間で整合されたペアの数、たとえば整合ペアに対するデータ点の比に関係することができる。
【0174】
ブロック５５６で、処理論理は、比較モデルから、第１のデータおよび基準データに関連付けられた類似性スコアを受け取る。いくつかの実施形態では、類似性スコアは、２つのデータセット間の複数の整合ペアに関係する。ブロック５５８で、処理論理は、類似性スコアを考慮して是正措置を実行する。是正措置は、ユーザに警報を送信することを含むことができる。警報は、視覚表現、たとえば複数の類似性スコアの視覚表現、データの２つのセット間の最接近点整合の視覚表現などを含むことができる。是正措置は、予防または是正の保守を予定することを含むことができる。是正措置は、プロセス方策を更新することを含むことができる。
【0175】
図５Ｇは、いくつかの実施形態による、トレースセンサデータ分析を実行する方法５００Ｇの流れ図である。ブロック５６０で、処理論理は、処理チャンバの第１の製造プロセスに関連付けられたトレースセンサデータを受け取る。いくつかの実施形態では、処理論理は、閾値を満たす１つまたは複数のメトリックの値に応答して、トレースデータを提供することができる。たとえば、ＴＴＴＭ指標は閾値を満たすことができる。指標が閾値を満たす（たとえば、基準を満たす）ことに応答して、ＴＴＴＭ指標に関連付けられたトレースデータ（たとえば、高い重大度スコアを有するセンサからのトレースデータ）をさらに分析することができる。いくつかの実施形態では、処理論理は、トレースデータ上で前処理を実行する。前処理は、平滑化、洗浄（たとえば、サイズ変更、空データの除去など）、補間などを含むことができる。
【0176】
ブロック５６２で、処理論理は、１つまたは複数の訓練された機械学習モデルを使用してトレースセンサデータを処理する。訓練された機械学習モデルは、トレースセンサデータの表現（たとえば、次元数が削減された表現）を生成するように訓練される。１つまたは複数の訓練された機械学習モデルは、トレースセンサデータの表現に基づいて、センサデータを再構成するように訓練される。１つまたは複数の訓練された機械学習モデルは、再構成されたデータを出力する。いくつかの実施形態では、トレースセンサデータをオートエンコーダモデルに提供することができる。いくつかの実施形態では、トレースセンサデータを訓練されたエンコーダモデルに提供して、トレースセンサデータの表現を生成することができる。次いで、この表現を訓練されたデコーダモデルに提供して、再構成されたセンサデータを生成することができる。オートエンコーダモデルは、エンコーダ－デコーダモデルとすることができる。いくつかの実施形態では、機械学習モデルは、データ（たとえば、前処理されたセンサトレースデータ）をモデルに提供することによって訓練することができる。モデルは、入力データの表現（たとえば、次元削減された表現）を生成するように構成することができる。モデルは、入力データの表現から、再構成されたデータを生成するように構成することができる。次いで、モデルは、入力データと再構成されたデータとの間の差分を最小化することによって訓練することができる（構成設定に従って、たとえば表現を生成するためにトレースセンサデータに変化を加えることを回避するため）。
【0177】
ブロック５６４で、処理論理は、トレースセンサデータを再構成されたセンサデータと比較する。いくつかの実施形態では、機械学習モデルは、閾値を満たすデータ、たとえば管理限界の範囲内のデータ、その指定部分が管理限界の範囲内にあるデータ、性能閾値を満たす製品が作製されたプロセスに関連付けられたデータ、ゴールデンランデータなどを使用して訓練されたものである。訓練された機械学習モデルに提供されるトレースセンサデータは、不規則な処理ラン、たとえば管理限界の範囲外のデータによる処理ランに関連付けられていても、関連付けられていなくてもよい。
【0178】
ブロック５６６で、処理論理は、再構成されたセンサデータとトレースセンサデータとの間の１つまたは複数の差分を判定する。差分は、ブロック５６４に関連して実行された比較に基づいて判定することができる。いくつかの実施形態では、トレースセンサデータは、訓練データとは何らかの形で異なってもよく、たとえばトレースセンサデータは、許容できる製品を作製しなかった処理ランに関連付けられてもよく、トレースセンサデータは、１つまたは複数の管理限界の範囲外にあってもよく、以下同様である。訓練セットとトレースセンサデータとの間の差分により、トレースセンサデータおよび再構成されたデータが著しく異なることがある。再構成誤差を使用して、入力データが訓練データの範囲から著しく外れるかどうかを判定することができる。機械学習モデルは、健康なツール（たとえば、比較的新しい部分を有し、品質基準を満たす製品を作製するツール）からのデータを使用して訓練されたものであるため、機械学習モデルは、トレースデータが健康なツールからものであるとき、トレースデータの正確な再現を生成する。しかし、再構成されたデータがトレースデータとは異なるとき、これは、トレースデータが健康なツールのものから何らかの形で逸脱するという指示である。いくつかの実施形態では、再構成誤差（たとえば、トレースデータの各データ点の誤差）を集約することができ、たとえばセンサおよび処理ラン（たとえば、１つの製品）に関連付けられた誤差のメトリックを生成することができる。
【0179】
ブロック５６８で、処理論理は、処理チャンバに関連付けられた是正措置を推奨するかどうかを判定する。判定は、トレースセンサデータと再構成されたセンサデータとの間の１つまたは複数の差分に基づくことができる。判定は、集約された誤差メトリックに基づくことができる。いくつかの実施形態では、センサをサブシステムに関連付けることができる。誤差メトリックをサブシステムにさらに集約することができる（たとえば、二乗平均平方根誤差として）。いくつかの実施形態では、視覚表現を生成することができる。視覚表現は、ラン、サブシステム、センサなどによって編成することができる。
【0180】
図５Ｈは、いくつかの実施形態による、アウトライヤクラスタリング分析を実行する方法５００Ｈの流れ図である。アウトライヤクラスタリングのトリガおよび処理の詳細は、構成設定に従うことができる。いくつかの実施形態では、アウトライヤクラスタリングは、閾値を満たす以前の分析における複数のアウトライヤ点によってトリガすることができる。ブロック５７０で、センサ寄与値が処理論理によって抽出される。センサ寄与の計算については、図５Ｄのブロック５３２に関連してより詳細に論じた。いくつかの実施形態では、クラスタリングに利用される各センサ寄与指標（たとえば、重大度指標、重大度距離、重大度スコアなど）を、単一のランおよびセンサに関連付けることができる。いくつかの実施形態では、クラスタリング方法を使用して、複数のデータ点（たとえば、複数の処理ランにわたる複数のセンサから）を分析することができる。多数のセンサがツールに関連付けられているため、このデータは、高次元空間を占めることができる。いくつかの実施形態では、データの大部分がインライヤデータであり、たとえば管理限界の範囲内のデータである。いくつかの実施形態では、インライヤのセンサ寄与値を０と定義することができる。いくつかの実施形態では、閾値を満たすセンサ寄与値を有するデータ点のみをクラスタリング分析に利用することができる。
【0181】
ブロック５７２で、クラスタリング分析のためのデータの前処理が実行される。データの前処理は、たとえばアウトライヤ挙動を呈するセンサを有するランのみを含むように、データセットを洗浄することを含むことができる。正規化などを含む他の前処理を実行することもできる。ブロック５７４で、次元削減動作が処理デバイスによって実行される。いくつかの実施形態では、クラスタリングモデルなどに対応するために、高次元のデータセットを、分析力の増大のためのより容易に視覚化された空間に削減させることができる。いくつかの実施形態では、データセットを２次元のデータセットに削減することができる。いくつかの実施形態では、アルゴリズムは、高次元空間内で互いに近いデータ点を低次元空間でも互いに近づける可能性が高い。ユークリッド距離、コサイン距離、または他の距離メトリックによって、近さを判定することができる。いくつかの実施形態では、非線形次元削減モデルを使用することができる。いくつかの実施形態では、ｔ分布型確率的最近傍埋め込み方法を次元削減に使用することができる。次元削減は、構成設定、たとえば距離メトリック、最近傍の予期される数などに従って実行することができる。
【0182】
ブロック５７６で、クラスタリング動作が処理デバイスによって実行される。クラスタリング動作は、低次元空間内で再構成されたデータに対して実行することができる。いくつかの実施形態では、データ内のクラスタの数を自己選択するクラスタリングモデルを利用することができる。いくつかの実施形態では、ノイズ方法によるアプリケーションの密度ベースの空間クラスタリングをクラスタリング動作に利用することができる。クラスタリングは、低次元空間内で互いに近くに表されるデータ点のセットの数を識別することができ、これはデータ点が高次元空間内で互いに近くに表される高い確率を示すことができる。そのようなデータ点は、同じ根本的原因に関係する可能性が高い。クラスタリング動作は、構成設定に従って実行することができる。構成設定は、距離メトリック、クラスタ内のサンプルの最小数、近傍と見なされるための２つのサンプル間の最大距離などを含むことができる。
【0183】
ブロック５７８で、処理論理は、いくつかの実施形態によれば、１つまたは複数のクラスタに対するセンサシステムの寄与をランク付ける。クラスタのデータ点は、データ点に寄与するセンサ寄与値を調査することによって分析することができる。いくつかの実施形態では、データ点に関連付けられたセンサを、センサ寄与値（たとえば、重大度距離）によって順序付けることができる。いくつかの実施形態では、最も高い寄与を有するセンサ（たとえば、最も高い寄与値を有する３つのセンサ）を利用して、製造システムの１次サブシステムをデータ点、クラスタなどに割り当てることができる。いくつかの実施形態では、処理論理によってクラスタリング結果を視覚化することができる。アウトライヤクラスタリングの視覚化については、図５Ｄのブロック５３５および図６Ｃに関連してより詳細に論じた。
【0184】
図５Ｉは、いくつかの実施形態による、インライヤドリフト検出を実行する方法５００Ｉの流れ図である。インライヤドリフト検出は、構成設定に従ってトリガおよび／または実行することができる。ＴＴＴＭ分析モジュールのいくつかの動作は、アウトライヤデータ点（たとえば、ＴＴＴＭ指標、センサ寄与／重大度メトリックなど）を利用する。いくつかの実施形態では、インライヤデータ点（たとえば、管理限界の範囲内のデータ点）の分析を使用して、システムの障害、ドリフト、実行されるべき是正措置などを判定することができる。
【0185】
ブロック５８０で、インライヤドリフト検出のための基準データが設定される。いくつかの実施形態では、インライヤドリフト検出は、データ（たとえば、ある期間にわたって収集されたデータ）と基準データを比較することを含む。いくつかの実施形態では、ゴールデンデータセットが提供または選択される。ゴールデンデータセットは、仕様の範囲内で製造された製品に関連付けられた処理ランからのデータを含むことができる。ゴールデンデータセットは、ツールの設置成功または予防保守後すぐに実行された処理ランからのデータを含むことができる。
【0186】
ブロック５８２で、ワープ経路探索が実行される。いくつかの実施形態では、インライヤドリフト検出は、弾性相違モデルの使用を含む。そのようなモデルは、データセットのデータ点間の空間を変更して（データ点の順序は変化させない）、たとえば２つのセットのデータ値間差分（またはデータ値の補間）を加算することによって測定された２つのセット間の最適整合を生成する。いくつかの実施形態では、動的タイムワーピングアルゴリズムが、基準データセットおよび分析されるべきデータセットに適用される。いくつかの実施形態では、データセットはサマリデータを含む。いくつかの実施形態では、データセットは、ある期間にわたって、たとえば多くの処理ランにわたって収集されたサマリデータを含む。ワープ経路は、１つのデータセット（たとえば、分析されるべきデータ）を伸ばして他方のデータセット（たとえば、ゴールデンデータ）のパターンに整合させる方法を定める。
【0187】
ブロック５８４で、ワープ点カウントが判定される。ワープ点カウントは、別のデータセットとの最良の整合を提供するためにデータセットをどれだけワープさせなければならないかを示すためのメトリックである。他のメトリックを使用して、１つのセットのデータ点がどれだけシフトされなければならないかに関する集約された尺度など、ワーピングの程度を示すこともできる。ワープ点カウントは、２つのデータセット間の比較点にどれだけ多くの整合ペアが存在するかに関する尺度である。いくつかの実施形態では、ターゲットデータセット（たとえば、分析されているデータセット）の各点が、基準データセット（たとえば、ゴールデンデータセット）の１つの「最近傍」点に整合される。いくつかの実施形態では、基準データセットの各点が、ターゲットデータセットの１つの最近傍点に整合される。２つのデータセットが十分に位置合わせされた場合、１つのセットの各データ点を、他方のセットの１つの他のデータ点に整合させることができ、整合の数はデータ点の数と同じになる。２つのデータセットが十分に位置合わせされない場合、一方または両方のセットのいくつかのデータ点が、他方のセットの複数の点に整合されることがあり、整合の数がデータ点の数より大きくなることがある。整合する点カウントは、基準データおよびターゲットデータが異なる数のデータ点を有する状況まで延ばすことができる。いくつかの実施形態では、各データ点が少なくとも１つの整合点を有するため、整合点のカウントにより、データ点の数（たとえば、保証された整合の数）を除去して、１つのデータセットのワーピングによる追加の整合の数、たとえばワープ点カウントのみを残すことができる。ブロック５８６で、ワープ率の計算が処理論理によって実行される。ワープ率は、データセットが全体的にどれだけワープするか（たとえば、データセットのサイズに対して補正されるか）を示す比較である。いくつかの実施形態では、ワープ率は次のように計算することができる。
【0188】
【数3】
【0189】
図６Ａ～図６Ｇは、いくつかの実施形態による、ＴＴＴＭ分析の態様に関連付けられた例示的な視覚表現を示す。図６Ａは、いくつかの実施形態による、トレースを一時部分および定常状態部分に分割する動作の視覚表現６００Ａを示す。視覚表現６００Ａは、タイムトレース６０２を含む。タイムトレース６０２は、１つのセンサおよび１つの処理動作に関連付けることができる（たとえば、図４Ｃの動作分割器４５１などによって、全ランタイムトレースはすでに分割されて、タイムトレース６０２を生成する）。ウィンドウ６０４を利用して、データ点（たとえば、ウィンドウ内のデータ点）のセットがデータの一時部分に属するか、定常状態部分に属するかを判定する。ウィンドウ内の点のメトリック値を使用して、ウィンドウ内の点を一時または定常状態として分類することができる。いくつかの実施形態では、ウィンドウ内の点の標準偏差が閾値を上回る場合、ウィンドウの点は一時部分のものであると判定される。
【0190】
いくつかの実施形態では、トレース６０２の右側に矢印および破線ウィンドウによって示されるように、タイムトレースを通ってウィンドウ６０４を動かして、トレースのデータ点を一時または定常状態として分類する。いくつかの実施形態では、タイムトレース６０２を２つ以上の部分に分離することができる。いくつかの実施形態では、タイムトレース６０２を一時先頭部分６０６、定常状態部分６０７、および一時末尾部分６０８に分離することができる。
【0191】
図６Ｂは、いくつかの実施形態による、サマリデータ生成動作に使用されるデジタルツイン出力の視覚表現６００Ｂを示す。製造機器の１つまたは複数の構成要素をデジタルツインによってモデル化することができる。デジタルツインは、１つまたは複数の物的資産のデジタル再現を含む。デジタルツインを使用して、システム応答（たとえば、設定点を満たすように調整を制御する）をモデル化することができる。デジタルツイン応答の様々な特徴をセンサデータと比較して、サマリデータを生成することができる。
【0192】
視覚表現６００Ｂはタイムトレース６１０を含む。いくつかの実施形態では、タイムトレース６１０は、処理動作の一時部分に関連付けることができる。デジタルツインモデルは、物理的製造システム内のセンサによって測定された特性値に関連付けられたターゲット設定点６１１を含むことができる。デジタルツインタイムトレースの特徴は、オーバーシュート６１２を含む。タイムトレース６１０は、設定点値に落ち着く前に、設定点を超過することがある（または、いくつかの実施形態では、設定点を下回る）。オーバーシュート６１２の値のうちの１つまたは複数（または正規化または他の処理を受けた変形）またはピーク時間６１３を利用してサマリデータを生成することができる。いくつかの実施形態では、立ち上がり時間６１４を使用して、サマリデータを生成することができる。いくつかの実施形態では、立ち上がり時間６１４は、タイムトレース６１０が設定点６１１を満たしたときに初めて測定することができる。いくつかの実施形態では、立ち上がり時間６１４は、タイムトレース６１０が閾値（たとえば、視覚表現６００Ｂに示すように、設定点と開始値との間の差分の８０％）に到達したときに初めて測定することができる。
【0193】
いくつかの実施形態では、変動６１５などの変動の期間を利用して、サマリデータを生成することができる。変動の周波数、振幅などの特性を使用して、サマリデータを生成することができる。安定時間６１７（たとえば、タイムトレース６１０が設定点６１１の誤差ウィンドウ６１６内に留まる時間）を使用して、サマリデータを生成することができる。いくつかの実施形態では、設定点誤差（たとえば、タイムトレース６１０の最終値と設定点６１１との間の差分）を使用して、サマリデータを生成することができる。
【0194】
図６Ｃは、いくつかの実施形態による、図５Ｈに関連して論じたものなどのクラスタリング動作結果の視覚表現を示す図である。アウトライヤデータ点（たとえば、普通でないまたは準最適な性能を示すデータ点）をクラスタリング動作で使用することができる。クラスタリング動作は、アウトライヤデータ（たとえば、製造機器の準最適な性能）の原因である根本的原因（たとえば、サブシステム）を識別することを対象とすることができる。いくつかの実施形態では、たとえば次元削減モデルによって、高次元センサデータが低次元空間に変換される。いくつかの実施形態では、高次元空間は２次元空間に削減される。いくつかの実施形態では、次元削減アルゴリズムが、高次元空間内の互いに近かった点（たとえば、ユークリッド距離、コサイン距離などによる）を、低次元空間内で互いに近づける。いくつかの実施形態では、同じ（または関連する）根本的原因（たとえば、データ点をアウトライヤにしたサブシステム）を有するデータ点を、低次元空間内に互いに近接して表すことができる。いくつかの実施形態では、データ点へのセンサ寄与を使用して、サブシステムをクラスタに割り当てることができる。
【0195】
視覚表現６００Ｃは、低次元空間内のアウトライヤ点を示す。クラスタリングアルゴリズム（たとえば、密度ベースの空間クラスタリングアプリケーション）を使用して、同じ根本的原因に関係する可能性が高いグループにデータ点を分離することができる。例示的な視覚表現６００Ｃは、４つのクラスタ６４０、６４１、６４２、および６４３に分離される。各クラスタの頂部寄与センサ（たとえば、最も高い重大度メトリックを有するセンサ）を使用して、各クラスタに製造サブシステムでラベル付けすることができる。たとえば、クラスタ６４０がヒータ電力サブシステムに関連付けられていることを見ることができ、クラスタ６４２が静電チャック温度に関連付けられていることを見ることができ、クラスタ６４３が製造システムの何らかの部分のガス流量に関連付けられていることを見ることができ、以下同様である。
【0196】
図６Ｄ～図６Ｅは、いくつかの実施形態による、インライヤドリフト検出弾性相違モデルの結果の視覚表現を示す。図６Ｄは、ターゲットタイムトレース６５０および基準タイムトレース６５１に適用された弾性相違モデル６００Ｄの結果を示す。図６Ｄ（および図６Ｅ）には、元の順次データ、たとえば複数の処理ランにわたって収集されたサマリデータを示し、ワーピング（たとえば、弾性相違モデルの適用）の結果が、整合点ペアを示す破線によって示されている。結果６００Ｄが、かなり類似している２つのトレースから生成される。円によって強調されているように、いずれかのトレース内のいくつかの点のみが他方のトレース内の複数の点に整合され、各事例において、整合点の数は少ない。ターゲットトレース６５０および基準トレース６５１は時間的に類似しており、かなり順序付けられた（たとえば、主に平行な）破線によって示されている。
【0197】
図６Ｅは、図６Ｄに示したものより相違するターゲットタイムトレース６６０および基準タイムトレース６６１に適用された弾性相違モデル６００Ｅの結果を示す。多くのメトリックを使用して、ターゲットトレース６６０のワーピングの程度を定量化し、たとえば是正措置をトリガすることができる。結果６００Ｅは、他方のトレース内の多数の点と整合されたいくつかのデータ点を含む。ワーピングが１対のタイムトレースにどれだけ関連付けられているかを示す１つの方法は、トレースの十分に整合したペア内に存在するはずの整合の数を分析内に存在する整合の数と比較することを含む。他の方法は、時間内の整合の集約された変位（たとえば、図６Ｅの破線が左から右へどれだけ伸ばされるか）、整合線の勾配の指示などを特徴付けることを含む。
【0198】
図６Ｆ～図６Ｇは、いくつかの実施形態による、トレースデータ分析の結果の例示的な視覚表現６００Ｆおよび６００Ｇを示す。図６Ｆは、ヒートマップ６７０および凡例６７１を含む。ヒートマップ６７０を生成するために、オートエンコーダモデルの再構成誤差が利用されていることもある。いくつかの実施形態では、再構成誤差（たとえば、タイムトレースの各タイムスタンプにおける入力データと再構成されたデータとの間の差分に関係する）を、トレースごとに単一の誤差番号に集約することができる。いくつかの実施形態では、センササブシステムによって再構成誤差をさらに集約することができる。いくつかの実施形態では、１つの処理ランおよび１つの製造サブシステムに対して、単一の値を生成することができる。ヒートマップ６７０は、複数のサブシステム（たとえば、真空サブシステム、温度サブシステム、チャッキングサブシステムなどのサブシステムＡ、Ｂ、Ｃ、およびＤ）および複数の処理ラン（たとえば、作製された基板）を生成することができる。凡例６７１は、高い再構成誤差を有するサブシステム／ラン対、たとえば準最適に実行された可能性が高いサブシステム／ラン対を視覚的に示すことができる。例示的な視覚表現６００Ｆは、ラン番号５、サブシステムＢに関連付けられた特に高い再構成誤差を示す。いくつかの実施形態では、視覚表現６００Ｆは是正措置として生成することができ、たとえばユーザに提供される警報と見なすことができる。いくつかの実施形態では、視覚表現６００Ｆなどの視覚表現を是正措置の実行で使用することができ、たとえば視覚表現６００Ｆは、サブシステムＢに対する保守が適当であることを示すことができる。
【0199】
図６Ｇは、いくつかの実施形態による、トレースデータ分析に関連付けられたオートエンコーダモデルからの出力の例示的な視覚表現６００Ｇを示す。視覚表現６００Ｇは、入力データパターン６８０および再構成されたデータパターン６８１を含む。いくつかの実施形態では、視覚表現６００Ｇは、高い再構成誤差を検出したことに応答して生成（またはユーザに表示）することができ、たとえば図６Ｆなどのヒートマップ視覚表現内で高い再構成誤差が検出されたことに応答して生成（または表示）することができる。いくつかの実施形態では、ユーザは、タイムトレース分析に関連付けられた視覚表現の部分のより多くの細部を見ることを選択することができ（たとえば、サブシステムＢおよび処理ラン５に関連付けられたヒートマップ６７０の部分をクリックすることによる）、より詳細な図（たとえば、視覚表現６００Ｇ）を表示することができる。いくつかの実施形態では、たとえば視覚表現６００Ｇに示すように、高い再構成誤差、入力トレースデータパターン６８０と再構成されたデータパターン６８１との間の大きい差分に、準最適な性能を関連付けることができる。
【0200】
図７は、いくつかの実施形態による、入力データの次元数を削減することが可能なモデル７００（たとえば、機械学習モデル）、たとえばオートエンコーダモデルの動作の図である。
【0201】
モデル７００の入力データ７１０は、基板の作製に関連付けられたデータである。いくつかの実施形態では、入力データ７１０は、計測データ、製造パラメータ、センサデータ、またはこれらの組合せのうちの１つまたは複数を含む。入力データ７１０は、前処理されたデータとすることができる。いくつかの実施形態では、入力データ７１０は、基板に関連付けられた計測データである。計測データは、厚さ、平面内変位、化学特性、電子特性、光学特性などを含むいずれか（または多く）のタイプとすることができる。いくつかの実施形態では、入力データ７１０は、製品の製造に関連付けられたトレースセンサデータおよび／またはトレースセンサデータの前処理版を含む。
【0202】
モデル７００は、第１の部分７２０（たとえば、エンコーダ）および第２の部分７４０（たとえば、デコーダ）を含む。いくつかの実施形態では、モデルは、オートエンコーダ、ニューラルネットワークモデル、畳み込みニューラルネットワークモデル、深層信念ネットワーク、順方向ニューラルネットワーク、多層ニューラルネットワークなどのうちの１つまたは複数である。第１の部分７２０は、入力データ７１０（たとえば、計測データ）を圧縮形式（たとえば、圧縮データ７３０）に次元削減する。複数の隠れ層（うち２つを図７に示すが、任意の数の隠れ層を使用することができる）によって、圧縮データから機械学習モデルの入力層を分離することができる。機械学習モデル７００の訓練中、第１の部分７２０は、ユーザからの案内なく、入力データ７１０をより低い次元の表現に適合させるための１つまたは複数の関数を生成することができる。削減（たとえば、圧縮、符号化）は、いくつかの段階にわたって行うことができ（すなわち、まず入力データ７１０を部分的に圧縮されたデータに変換し、次いで圧縮データ７３０にさらに変換する）、または単一の段階で削減（たとえば、圧縮、符号化）を行うことができる。
【0203】
第２の部分７４０は、圧縮データ７３０を入力として取り込み、出力データ７５０を作製する。訓練中、モデル７００は、入力データ７１０と出力データ７５０との間の差分を最小化するように訓練され、出力７５０は、圧縮データ７３０からの入力データ７１０の再構成である。モデル７００を訓練するために使用される最小化関数はまた、不十分な圧縮を有する関数（たとえば、入力データ７１０を完全に再現するがデータを削減された次元数まで圧縮しない識別関数）に戻ることを回避するために、圧縮データ７３０の次元数に対するペナルティを強化することができる。モデル７００は、モデル７００の出力データ７５０が入力データ７１０にほぼ整合するように訓練することができる。
【0204】
第１の部分７２０および第２の部分７４０によって利用される関数は、本質的に非線形とすることができる。いくつかの応用例では、モデル７００のすべてのプロセス（すなわち、削減および再構成の両方、符号化および復号の両方など）を使用することができる。他の応用例では、いくつかの能力のみを利用することができる。たとえば、訓練中、モデル７００は、入力データ７１０を第１の部分７２０に通して圧縮データ７３０を形成し、次いで第２の部分７４０に通して出力データ７５０を判定することができ、次いで出力データ７５０を入力データ７１０と比較して、出力データ７５０が入力データ７１０に実質的に類似していると判定する。
【0205】
いくつかの実施形態では、モデル７００は、異常トレース分析に利用することができる。モデル７００は、過去のデータに対して訓練することができる。過去の訓練データは、成功したラン、たとえば作製された製品の特性が閾値範囲内であったラン、実現されたチャンバ状態が閾値範囲内であったランなどに制限することができる。次いでモデル７００は、製造ランの将来の成功のために、圧縮データを生成するように構成することができる。いくつかの実施形態では、モデル７００は、機器、方策、製品設計などの１つ（または制限された数）のセットに関連付けられたデータに対して訓練および利用することができる。
【0206】
モデル７００は、いくつかの再構成誤差（たとえば、入力データ７１０からの差分）を有する出力データ７５０を作成することがある。いくつかの実施形態では、モデル７００を訓練するために使用される訓練入力に何らかの形で類似している入力データ７１０は、比較的低い再構成誤差を有する出力データ７５０を生成することができる。再構成誤差指標（たとえば、データ点とデータ点との間の誤差の和、二乗誤差、正規化された和、二乗平均平方根誤差など）を生成して、モデル７００に入力されるデータセットの総再構成誤差のメトリックを表すことができる。いくつかの実施形態では、誤差指標の大きさは、入力データ７１０とモデル７００を訓練するために使用されたデータとの間の類似性を示すことができる。いくつかの実施形態では、高い再構成誤差（たとえば、出力データ７５０（圧縮データ７３０から生成された再構成されたデータとの間に大きい差分が存在する）は、入力データ７１０がモデル７００を訓練するために使用されたデータとは大きく異なることを示すことができる。いくつかの実施形態では、モデル７００は、「良好」なデータ（たとえば、性能閾値を満たす製造ランに関連付けられたデータ）に関して厳密に訓練され、また再構成誤差指標は、入力データ７１０が準最適であることを示すことができる。再構成誤差は、ラン当たり（たとえば、作製された製品当たり）、センサ当たり、ツール当たり、サブシステム当たりなどで計算することができ、是正措置の実行を容易にするために好都合なフォーマットで視覚化することができる。
【0207】
図８は、特定の実施形態によるコンピュータシステム８００を示すブロック図である。いくつかの実施形態では、コンピュータシステム８００は、他のコンピュータシステムに（たとえば、ローカルエリアネットワーク（ＬＡＮ）、イントラネット、エクストラネット、またはインターネットなどのネットワークを介して）接続することができる。コンピュータシステム８００は、クライアント－サーバ環境において、サーバもしくはクライアントコンピュータの容量で動作することができ、またはピアツーピアもしくは分散型ネットワーク環境において、ピアコンピュータとして動作することができる。コンピュータシステム８００は、パーソナルコンピュータ（ＰＣ）、タブレットＰＣ、セットトップボックス（ＳＴＢ）、パーソナルデジタルアシスタント（ＰＤＡ）、セルラー電話、ウェブ機器、サーバ、ネットワークルータ、スイッチ、もしくはブリッジ、またはそのデバイスによってとられるべき措置を指定する命令のセットを（順次または他の方法で）実行することが可能な任意のデバイスによって提供することができる。さらに、「コンピュータ」という用語は、本明細書に記載する方法のうちのいずれか１つまたは複数を実行するために、命令の１つのセット（または複数のセット）を個々にまたは共同で実行する任意の１群のコンピュータを含むものとする。
【0208】
さらなる態様では、コンピュータシステム８００は、処理デバイス８０２、揮発性メモリ８０４（たとえば、ランダムアクセスメモリ（ＲＡＭ））、不揮発性メモリ８０６（たとえば、読み取り専用メモリ（ＲＯＭ）または電気的に消去可能なプログラム可能ＲＯＭ（ＥＥＰＲＯＭ））、およびデータ記憶デバイス８１８を含むことができ、これらはバス８０８を介して互いに通信することができる。
【0209】
処理デバイス８０２は、汎用プロセッサ（たとえば、複合命令セットコンピューティング（ＣＩＳＣ）マイクロプロセッサ、縮小命令セットコンピューティング（ＲＩＳＣ）マイクロプロセッサ、超長命令語（ＶＬＩＷ）マイクロプロセッサ、他のタイプの命令セットを実施するマイクロプロセッサ、または命令セットのタイプの組合せを実施するマイクロプロセッサなど）、または特殊なプロセッサ（たとえば、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラム可能ゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、またはネットワークプロセッサなど）など、１つまたは複数のプロセッサによって提供することができる。
【0210】
コンピュータシステム８００は、ネットワークインターフェースデバイス８２２（たとえば、ネットワーク８７４に結合される）をさらに含むことができる。コンピュータシステム８００はまた、ビデオ表示ユニット８１０（たとえば、ＬＣＤ）、英数字入力デバイス８１２（たとえば、キーボード）、カーソル制御デバイス８１４（たとえば、マウス）、および信号生成デバイス８２０を含むことができる。
【0211】
いくつかの実施形態では、データ記憶デバイス８１８は、本明細書に記載する方法または機能のうちのいずれか１つまたは複数を符号化する命令８２６を記憶することができる非一時的コンピュータ可読記憶媒体８２４（たとえば、非一時的機械可読媒体）を含むことができ、命令８２６は、図１の構成要素（たとえば、予測構成要素１１４、是正措置構成要素１２２、モデル１９０など）を符号化し、本明細書に記載する方法を実施するための命令を含む。
【0212】
命令８２６はまた、コンピュータシステム８００によるその実行中、揮発性メモリ８０４および／または処理デバイス８０２内に完全または部分的に常駐することができ、したがって揮発性メモリ８０４および処理デバイス８０２もまた、機械可読記憶媒体を構成することができる。
【0213】
説明的な例では、コンピュータ可読記憶媒体８２４が単一の媒体として示されているが、「コンピュータ可読記憶媒体」という用語は、実行可能な命令の１つまたは複数のセットを記憶する単一の媒体または複数の媒体（たとえば、集中型もしくは分散型データベース、ならびに／または関連するキャッシュおよびサーバ）を含むものとする。「コンピュータ可読記憶媒体」という用語はまた、コンピュータによる実行のために、コンピュータに本明細書に記載する方法のうちのいずれか１つまたは複数を実行させる命令セットを記憶または符号化することが可能な任意の有形の媒体を含むものとする。「コンピュータ可読記憶媒体」という用語は、それだけに限定されるものではないが、固体メモリ、光媒体、および磁気媒体を含むものとする。
【0214】
本明細書に記載する方法、構成要素、および特徴は、個別のハードウェア構成要素によって実施することができ、またはＡＳＩＣＳ、ＦＰＧＡ、ＤＳＰ、もしくは類似のデバイスなどの他のハードウェア構成要素の機能に一体化することができる。加えて、方法、構成要素、および特徴は、ハードウェアデバイス内のファームウェアモジュールまたは機能的回路によって実施することができる。さらに、方法、構成要素、および特徴は、ハードウェアデバイスおよびコンピュータプログラム構成要素の任意の組合せで実施することができ、またはコンピュータプログラム内で実施することができる。
【0215】
別途具体的に記載しない限り、「受け取る」、「実行する」、「提供する」、「取得する」、「引き起こす」、「アクセスする」、「判定する」、「追加する」、「使用する」、「訓練する」、「削減する」、「生成する」、「補正する」などの用語は、コンピュータシステムレジスタおよびメモリ内の物理（電子）量として表されるデータを、コンピュータシステムメモリもしくはレジスタまたは他のそのような情報記憶、伝送、もしくは表示デバイス内の物理量として同様に表される他のデータに操作および変換するコンピュータシステムによって実行または実施される措置およびプロセスを指す。また、本明細書では、「第１」、「第２」、「第３」、「第４」などの用語は、異なる要素を区別するためのラベルであることが意味され、数字による指示に従った順序の意味を有していなくてもよい。
【0216】
本明細書に記載する例はまた、本明細書に記載する方法を実行するための装置を指す。この装置は、本明細書に記載する方法を実行するように特に構築することができ、またはコンピュータシステム内に記憶されたコンピュータプログラムによって選択的にプログラムされた汎用コンピュータシステムを含むことができる。そのようなコンピュータプログラムは、コンピュータ可読有形記憶媒体内に記憶することができる。
【0217】
本明細書に記載する方法および例示は、いずれかの特定のコンピュータまたは他の装置に本質的に関係するわけではない。本明細書に記載する教示に従って、様々な汎用システムを使用することができ、または本明細書に記載する方法および／もしくは個々の関数、ルーチン、サブルーチン、もしくは動作の各々を実行するためにより特殊な装置を構築することが好都合であることが判明することもある。様々なこれらのシステムに対する構造の例について、上記の説明で記載した。
【0218】
上記の説明は、制限ではなく例示であることが意図される。本開示について、特有の例示および実施形態を参照することによって説明したが、本開示は記載する例および実施形態に限定されるものではないことが理解されよう。本開示の範囲は、以下の特許請求の範囲を参照して、特許請求の範囲に与えられる均等物の全範囲とともに定められるべきである。
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図4C】
【図5A】
【図5B】
【図5C】
【図5D】
【図5E】
【図5F】
【図5G】
【図5H】
【図5I】
【図6A】
【図6B】
【図6C】
【図6D】
【図6E】
【図6F】
【図6G】
【図7】
【図8】
【国際調査報告】