▶ アプライド マテリアルズ イスラエル リミテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-03-31
(45)【発行日】2023-04-10
(54)【発明の名称】半導体試料の欠陥の分類
(51)【国際特許分類】
H01L 21/66 20060101AFI20230403BHJP
G01N 21/956 20060101ALI20230403BHJP
G06T 7/00 20170101ALI20230403BHJP
G06T 1/00 20060101ALI20230403BHJP
【ＦＩ】
H01L21/66 J
G01N21/956 A
G06T7/00 610B
G06T7/00 350B
G06T1/00 305A
【請求項の数】
19
(21)【出願番号】P 2021524054
(86)(22)【出願日】2019-11-24
(65)【公表番号】
(43)【公表日】2022-02-03
(86)【国際出願番号】 IL2019051284
(87)【国際公開番号】W WO2020129041
(87)【国際公開日】2020-06-25
【審査請求日】2022-08-19
(31)【優先権主張番号】16/228,676
(32)【優先日】2018-12-20
(33)【優先権主張国・地域又は機関】US
【早期審査対象出願】
(73)【特許権者】
【識別番号】504144253
【氏名又は名称】アプライド マテリアルズ イスラエル リミテッド
(74)【代理人】
【識別番号】100094569
【弁理士】
【氏名又は名称】田中 伸一郎
(74)【代理人】
【識別番号】100103610
【弁理士】
【氏名又は名称】▲吉▼田 和彦
(74)【代理人】
【識別番号】100109070
【弁理士】
【氏名又は名称】須田 洋之
(74)【代理人】
【識別番号】100067013
【弁理士】
【氏名又は名称】大塚 文昭
(74)【代理人】
【識別番号】100086771
【弁理士】
【氏名又は名称】西島 孝喜
(74)【代理人】
【識別番号】100109335
【弁理士】
【氏名又は名称】上杉 浩
(74)【代理人】
【識別番号】100120525
【弁理士】
【氏名又は名称】近藤 直樹
(74)【代理人】
【識別番号】100139712
【弁理士】
【氏名又は名称】那須 威夫
(74)【代理人】
【識別番号】100176418
【弁理士】
【氏名又は名称】工藤 嘉晃
(72)【発明者】
【氏名】アズバッグ アッサフ
(72)【発明者】
【氏名】コーエン ボアズ
(72)【発明者】
【氏名】ガン－オール シラン
【審査官】安田 雅彦
(56)【参考文献】
【文献】米国特許出願公開第２０１５／００８８７９１（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１６／０３２８８３７（ＵＳ，Ａ１）
【文献】特開２００３－３３１２５３（ＪＰ，Ａ）
【文献】国際公開第２０１８／１３４２９０（ＷＯ，Ａ１）
【文献】特開２００４－２９５８７９（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０１Ｌ ２１／６６
Ｇ０１Ｎ ２１／８８－２１／９５８
Ｇ０６Ｔ ７／００
Ｇ０６Ｔ １／００
(57)【特許請求の範囲】
【請求項1】
半導体試料の欠陥を複数のクラスに分類することができるシステムであって、前記システムが、第１の分類器によってマジョリティクラスに分類された複数の欠陥を受け取ることであり、前記複数の欠陥からの各欠陥は、複数の属性のセットにおける各属性の値と関連づけられ、前記複数の欠陥からの１つまたは複数の欠陥が、前記１つまたは複数の欠陥のグランドトゥルースを示すマイノリティクラスに属し、前記複数の欠陥からの前記欠陥の少なくとも一部が、前記欠陥の少なくとも一部のグランドトゥルースを示す前記マジョリティクラスに属する、受け取ることと、
前記複数の属性のセットからサブセットを選択し、前記サブセットの属性ごとの区別要因を定義することであり、その結果、第２の分類器が、前記サブセットに従って欠陥を分類するように構成され、それぞれの属性ごとの前記区別要因が、前記複数の欠陥からの少なくとも事前定義された一部の欠陥を前記マイノリティクラスおよび前記マジョリティクラスに正しく分類する、定義することと、
一時的訓練セットを生成することであり、前記一時的訓練セットが、前記マジョリティクラスに正しく分類された前記複数の欠陥からの前記欠陥の少なくとも一部、前記マイノリティクラスに属するが、前記マジョリティクラスに誤って分類された前記複数の欠陥からの前記欠陥の少なくとも一部、および前記第２の分類器が追加の欠陥を前記マイノリティクラスに分類するように前記サブセットの属性値を有する前記追加の欠陥を含む、生成することと、
前記サブセットの第１の値によって特徴づけられる欠陥が前記マジョリティクラスに属するという信頼性レベルを取得するように構成されたエンジンを訓練することであり、前記訓練することが、前記一時的訓練セット、前記サブセット、および前記サブセットの属性ごとの前記区別要因を使用して実行される、訓練することと、
前記マジョリティクラスに分類される複数の潜在的な欠陥からの各所与の潜在的な欠陥に前記エンジンを適用し、前記マジョリティクラスに属する前記所与の潜在的な欠陥の信頼性レベルを取得することと、
前記複数の潜在的な欠陥から、所定の閾値よりも低い信頼性レベルをそれぞれ有する１つまたは複数の潜在的な欠陥を出力することであり、前記１つまたは複数の潜在的な欠陥が、前記マジョリティクラスに誤って分類され、かつ前記マイノリティクラスに属する確率がより高いと仮定される、出力することと
を行うように構成されるプロセッシングおよびメモリ回路（ＰＭＣ）を備える、システム。
【請求項2】
前記ＰＭＣが、前記第２の分類器によって前記マイノリティクラスに分類可能な前記追加の欠陥を生成するようにさらに構成される、請求項１に記載のシステム。
【請求項3】
前記追加の欠陥のうちの少なくとも１つが、複数の値に基づいて生成された合成欠陥であり、各値が、前記サブセットの属性ごとの区別要因に従って前記サブセットからの属性に関連づけられる、請求項１に記載のシステム。
【請求項4】
属性に割り当てられた前記複数の値からの値が、前記マイノリティクラスに属する第１の欠陥の前記属性の第２の値と、前記第１の欠陥に隣接し、かつ前記マジョリティクラスに属する第２の欠陥の前記属性の第３の値との間の値として決定される、請求項３に記載のシステム。
【請求項5】
属性に割り当てられた前記複数の値からの値が、前記マイノリティクラスに属する第１の欠陥の前記属性の値に比較的近いと決定される、請求項３に記載のシステム。
【請求項6】
前記ＰＭＣが、前記出力された潜在的な欠陥の少なくとも一部を前記マイノリティクラスに属するものとして識別することと、
前記複数の欠陥の中からの、前記マイノリティクラスに属する少なくともいくつかの欠陥、前記複数の欠陥の中からの、前記マジョリティクラスに属する少なくともいくつかの欠陥、および前記出力された潜在的な欠陥の一部を含む訓練セットで前記第１の分類器を訓練することによって、前記第１の分類器を更新することと、
前記複数の欠陥に含まれない、前記マジョリティクラスに属するものとして前記第１の分類器によって分類され、前記エンジンが前記所定の閾値未満の信頼性レベルを取得する追加の欠陥を出力することと
を行うようにさらに構成される、請求項１に記載のシステム。
【請求項7】
前記エンジンが、ツリーアンサンブルを含む、請求項１に記載のシステム。
【請求項8】
前記区別要因が、値の範囲からのカットオフポイントの値である、請求項１に記載のシステム。
【請求項9】
前記区別要因が、離散値の集合からの１つまたは複数の値を含む、請求項１に記載のシステム。
【請求項10】
半導体資料の欠陥を複数のクラスに分類する方法であって、前記方法が、メモリとプロセッサとを含むコンピューティングプラットフォームによって実行され、前記方法が、第１の分類器によってマジョリティクラスに分類された複数の欠陥を受け取ることであり、前記複数の欠陥からの各欠陥は、複数の属性のセットにおける各属性の値と関連づけられ、前記複数の欠陥からの１つまたは複数の欠陥が、前記１つまたは複数の欠陥のグランドトゥルースを示すマイノリティクラスに属し、前記複数の潜在的な欠陥からの前記欠陥の少なくとも一部が、前記欠陥の少なくとも一部のグランドトゥルースを示す前記マジョリティクラスに属する、受け取ることと、
前記複数の属性のセットからサブセットを選択し、前記サブセットの属性ごとの区別要因を定義することであり、その結果、第２の分類器が、前記サブセットに従って欠陥を分類するように構成され、それぞれの属性ごとの前記区別要因が、前記複数の欠陥からの少なくとも事前定義された一部の欠陥を前記マイノリティクラスおよび前記マジョリティクラスに正しく分類する、定義することと、
一時的訓練セットを生成することであり、前記一時的訓練セットが、前記マジョリティクラスに正しく分類された前記複数の欠陥からの前記欠陥の少なくとも一部、前記マイノリティクラスに属するが、前記マジョリティクラスに誤って分類された前記複数の欠陥からの前記欠陥の少なくとも一部、および前記第２の分類器が追加の欠陥を前記マイノリティクラスに分類するように前記サブセットの属性値を有する前記追加の欠陥を含む、生成することと、
前記サブセットの第１の値によって特徴づけられる欠陥が前記マジョリティクラスに属するという信頼性レベルを取得するように構成されたエンジンを訓練することであり、前記訓練することが、前記一時的訓練セット、前記サブセット、および前記サブセットの属性ごとの前記区別要因を使用して実行される、訓練することと、
前記マジョリティクラスに分類される複数の潜在的な欠陥からの各所与の潜在的な欠陥に前記エンジンを適用し、前記マジョリティクラスに属する前記所与の潜在的な欠陥の信頼性レベルを取得することと、
前記複数の潜在的な欠陥から、所定の閾値よりも低い信頼性レベルをそれぞれ有する１つまたは複数の潜在的な欠陥を出力することであり、前記１つまたは複数の潜在的な欠陥が、前記マジョリティクラスに誤って分類され、かつ前記マイノリティクラスに属する確率がより高いと仮定される、出力することと
を含む、方法。
【請求項11】
前記第２の分類器によって前記マイノリティクラスに分類可能な前記追加の欠陥を生成することをさらに含む、請求項１０に記載の方法。
【請求項12】
前記追加の欠陥のうちの少なくとも１つが、複数の値に基づいて生成された合成欠陥であり、各値が、前記サブセットの属性ごとの区別要因に従って前記サブセットからの属性に関連づけられる、請求項１１に記載の方法。
【請求項13】
属性に割り当てられた前記複数の値からの値が、前記マイノリティクラスに属する第１の欠陥の前記属性の第２の値と、前記第１の欠陥に隣接し、かつ前記マジョリティクラスに属する第２の欠陥の前記属性の第３の値との間の値として決定される、請求項１２に記載の方法。
【請求項14】
属性に割り当てられた前記複数の値からの値が、前記マイノリティクラスに属する第１の欠陥の前記属性の値に比較的近いと決定される、請求項１２に記載の方法。
【請求項15】
前記出力された潜在的な欠陥の少なくとも一部を前記マイノリティクラスに属するものとして識別することと、前記複数の欠陥の中からの、前記マイノリティクラスに属する少なくともいくつかの欠陥、前記複数の欠陥の中からの、前記マジョリティクラスに属する少なくともいくつかの欠陥、および前記出力された潜在的な欠陥の一部を含む訓練セットで前記第１の分類器を訓練することによって、前記第１の分類器を更新することと、
前記複数の欠陥に含まれない、前記マジョリティクラスに属するものとして前記第１の分類器によって分類され、前記エンジンが前記所定の閾値未満の信頼性レベルを取得する追加の欠陥を出力することと
をさらに含む、請求項１０に記載の方法。
【請求項16】
前記エンジンが、ランダムフォレスト分類器で構成される、請求項１０に記載の方法。
【請求項17】
前記区別要因が、値の範囲からのカットオフポイントの値である、請求項１０に記載の方法。
【請求項18】
前記区別要因が、離散値の集合からの１つまたは複数の値を含む、請求項１０に記載の方法。
【請求項19】
命令を含む非一時的コンピュータ可読媒体であって、前記命令は、コンピュータによって実行されると、前記コンピュータに、半導体試料の欠陥を複数のクラスに自動的に分類する方法を実行させ、前記方法が、第１の分類器によってマジョリティクラスに分類された複数の欠陥を受け取ることであり、前記複数の欠陥からの各欠陥は、複数の属性のセットにおける各属性の値と関連づけられ、前記複数の欠陥からの１つまたは複数の欠陥が、前記１つまたは複数の欠陥のグランドトゥルースを示すマイノリティクラスに属し、前記複数の潜在的な欠陥からの前記欠陥の少なくとも一部が、前記欠陥の少なくとも一部のグランドトゥルースを示す前記マジョリティクラスに属する、受け取ることと、
前記複数の属性のセットからサブセットを選択し、前記サブセットの属性ごとの区別要因を定義することであり、その結果、第２の分類器が、前記サブセットに従って欠陥を分類するように構成され、それぞれの属性ごとの前記区別要因が、前記複数の欠陥からの少なくとも事前定義された一部の欠陥を前記マイノリティクラスおよび前記マジョリティクラスに正しく分類する、定義することと、
一時的訓練セットを生成することであり、前記一時的訓練セットが、前記マジョリティクラスに正しく分類された前記複数の欠陥からの前記欠陥の少なくとも一部、前記マイノリティクラスに属するが、前記マジョリティクラスに誤って分類された前記複数の欠陥からの前記欠陥の少なくとも一部、および前記第２の分類器が追加の欠陥を前記マイノリティクラスに分類するように前記サブセットの属性値を有する前記追加の欠陥を含む、生成することと、
前記サブセットの第１の値によって特徴づけられる欠陥が前記マジョリティクラスに属するという信頼性レベルを取得するように構成されたエンジンを訓練することであり、前記訓練することが、前記一時的訓練セット、前記サブセット、および前記サブセットの属性ごとの前記区別要因を使用して実行される、訓練することと、
前記マジョリティクラスに分類される複数の潜在的な欠陥からの各所与の潜在的な欠陥に前記エンジンを適用し、前記マジョリティクラスに属する前記所与の欠陥の信頼性レベルを取得することと、
前記複数の潜在的な欠陥の中から、所定の閾値よりも低い信頼性レベルをそれぞれ有する１つまたは複数の潜在的な欠陥を出力することであり、前記１つまたは複数の潜在的な欠陥が、前記マジョリティクラスに誤って分類され、かつ前記マイノリティクラスに属する確率がより高いと仮定される、出力することと
を含む、非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示の主題は、一般に、試料の試験の分野に関し、より具体的には、欠陥の勧告クラスに分類されるべき欠陥を自動検出することができる方法およびシステムに関する。
【背景技術】
【0002】
製造されたデバイスの超大規模集積に関連する高密度および性能への現在の要求は、サブミクロン機能、トランジスタおよび回路速度の向上、ならびに信頼性の改善を必要とする。そのような要求は、高い精度および均一性をもつデバイス機能の形成を必要とし、その結果として、それは、デバイスがまだ半導体試料の形態である間のデバイスの頻繁かつ詳細な試験を含む、製造プロセスの注意深いモニタを必要とする。
【0003】
本明細書で使用される「試料」という用語は、半導体集積回路、磁気ヘッド、フラットパネルディスプレイ、および他の半導体製造品を生産するために使用されるあらゆる種類のウエハ、マスク、および他の構造、これらの組合せおよび／または一部を包含するように広く解釈されるべきである。
【0004】
本明細書で使用される「欠陥」という用語は、試料上または試料内に形成されたあらゆる種類の異常または望ましくない特徴を包含するように広く解釈されるべきである。
【0005】
試料の複雑な生産プロセスは、エラーがないわけではなく、そのようなエラーは、生産されたデバイスに障害をもたらす可能性がある。そのような障害は、デバイスの動作を損なうことがある欠陥と、欠陥である可能性があるが、生産されたデバイスの損害または機能不全を引き起こさない有害物を含むことがある。非限定の例として、欠陥は、原材料の欠陥、機械的、電気的、または光学的エラー、人的エラーなどに起因して生産プロセス中に生じる可能性がある。さらに、欠陥は、試験プロセス中に１つまたは複数の生産段階の後で生じるウエハの温度変化などの時空の要因によって生じることがあり、それは、ウエハの若干の変形を引き起こすことがある。試験プロセスはまた、例えば、試験機器またはプロセスにおける光学的、機械的、または電気的問題に起因して、さらなる疑わしいエラーを導入する可能性があり、したがって、それにより、不完全な捕捉が行われる。そのようなエラーは、欠陥を含んでいるように見えることがある誤検出の結果をもたらす可能性があるが、実際の欠陥はその区域に存在しない。
【0006】
多くの用途において、欠陥のタイプまたはクラスが重要である。例えば、欠陥は、粒子、スクラッチ、プロセスなどのようないくつかのクラスのうちの１つに分類することができる。
【0007】
本明細書で使用される「マジョリティクラス」という用語は、頻繁に生じる欠陥の種類またはクラスを包含するように広く解釈されるべきである。例えば、クラスは、試料を試験するとき、そのクラスの少なくとも所定の数の欠陥が生じており、試料を試験するときに検出された欠陥の少なくとも所定部分がそのクラスに属しており、そのクラスに属する発生した欠陥の数が、欠陥をそのクラスまたは他の基準に属するものとして認識するように分類器を訓練するのに十分である場合、マジョリティクラスと考えることができる。
【0008】
本明細書で使用される「マイノリティクラス」という用語は、頻繁には生じない欠陥の種類またはクラスを包含するように広く解釈されるべきであり、したがって、欠陥をこのクラスに分類するように分類器を訓練することによって信頼できる分類モデルを生成するには利用できる統計量が不十分である。例えば、クラスは、試料を試験するとき、そのクラスの所定の数より少ない欠陥が生じており、試料を試験するときに検出される欠陥の所定の部分より少ない部分がそのクラスに属しており、そのクラスに属する発生した欠陥の数が、欠陥をそのクラスなどに属するものとして認識するように分類器を訓練するには不十分である場合、マイノリティクラスと考えることができる。
【0009】
特に具体的に述べられない限り、本明細書で使用される「試験」という用語は、対象物の欠陥のあらゆる種類の検出および／または分類を包含するように広く解釈されるべきである。試験は、試験されるべき対象物の生産中にまたは生産後に、非破壊試験ツールを使用することによって行われる。非限定の例として、試験プロセスは、１つまたは複数の試験ツールを使用する走査（単一走査でまたは多走査での）、サンプリング、レビュー、測定、分類、および／または対象物またはその一部に関して行われる他の操作を含むことができる。同様に、試験は、試験されるべき対象物の生産の前に行うことができ、例えば、試験方策を生成することを含むことができる。特に具体的に述べられない限り、本明細書で使用される「試験」という用語またはその派生語は、検査される区域のサイズ、走査の速度もしくは解像度、または試験ツールのタイプに関して限定されないことに留意されたい。様々な非破壊試験ツールには、非限定の例として、光学ツール、走査型電子顕微鏡、原子間力顕微鏡などが含まれる。
【0010】
試験プロセスは、複数の試験ステップを含むことができる。生産プロセス中に、試験ステップは、例えば特定の層の生産または処理などの後に、多数回実行されてもよい。追加としてまたは代替として、各試験ステップは、例えば、異なる試料位置に対して、または異なる試験設定で同じ試料位置に対して、多数回繰り返されてもよい。
【0011】
非限定の例として、実行時試験は、ツーステップ手順、例えば、試料の検査と、それに続くサンプリングされた欠陥のレビューとを使用することができる。検査ステップの間、試料またはその一部（例えば、注目する区域、ホットスポットなど）の表面は、一般に、比較的高速および／または低解像度で走査される。捕捉された検査画像を分析して、欠陥を検出し、その位置および他の検査属性を取得する。レビューステップでは、検査フェーズ中に検出された欠陥のうちの少なくとも一部の画像が、一般に、比較的低速および／または高解像度で捕捉され、それによって、欠陥の少なくとも一部の分類と、任意で、他の分析とが可能になる。ある場合には、両方のフェーズは、同じ検査ツールで実施することができ、他の場合には、これらの２つのフェーズは、異なる検査ツールで実施される。
【発明の概要】
【0012】
本開示の主題の特定の態様によれば、試料の欠陥を複数のクラスに分類するためのシステムが提供される。システムは、第１の分類器によってマジョリティクラスに分類された複数の欠陥を受け取ることであり、複数の欠陥からの１つまたは複数の欠陥が、１つまたは複数のマイノリティクラスに属し、複数の欠陥からの欠陥の少なくとも一部が、マジョリティクラスに属し、複数の欠陥からの各欠陥が、各々がそれぞれの値を有する複数の属性によって特徴づけられる、受け取ることと、複数の属性のサブセットを選択し、サブセットの属性ごとの区別要因（ｄｉｆｆｅｒｅｎｔｉａｔｏｒ）を定義することであり、その結果、第２の分類器が、サブセットに従って欠陥を分類するように構成され、それぞれの属性ごとの区別要因が、複数の欠陥からの少なくとも事前定義されたシェアの欠陥を１つまたは複数のマイノリティクラスおよびマジョリティクラスに正しく分類する、定義することと、一時的訓練セットを生成することであり、一時的訓練セットが、マジョリティクラスに属する複数の欠陥からの欠陥の少なくとも一部、マイノリティクラスに属する複数の欠陥からの欠陥の少なくとも一部、および第２の分類器が追加の欠陥をマイノリティクラスに分類するように属性のサブセットの値を有する追加の欠陥を含む、生成することと、属性のサブセットの第１の値によって特徴づけられる欠陥がマジョリティクラスに属するという信頼性レベルを取得するように構成されたエンジンを訓練することであり、訓練することが、一時的訓練セット、属性のサブセット、およびサブセットの属性ごとの区別要因に基づいて実行される、訓練することと、所与の欠陥をマジョリティクラスに分類する信頼性レベルを取得するために、マジョリティクラスに分類される第２の複数の欠陥からの各所与の欠陥にエンジンを適用することと、所定の閾値よりも低い信頼性レベルを有する第２の複数の欠陥からの欠陥であり、それによって、欠陥が、１つまたは複数のマイノリティクラスにおそらく属する、欠陥を出力することとを行うように構成されたプロセッサおよびメモリ回路（ＰＭＣ）を含む。
【0013】
本開示の主題のさらなる態様によれば、ＰＭＣは、第２の分類器によって１つまたは複数のマイノリティクラスに分類可能な追加の欠陥を生成し、追加の欠陥を一時的訓練セットに含めるようにさらに構成することができる。追加の欠陥のうちの少なくとも１つは、複数の第１の値として生成された合成欠陥とすることができ、各第１の値は、サブセットの属性ごとの区別要因に従ってサブセットからの属性に関連づけられる。非限定の例として、所与の属性に関連づけられた第１の値は、１つまたは複数のマイノリティクラスに属する第１の欠陥の所与の属性の値と、第１の欠陥に隣接し、かつマジョリティクラスに属する第２の欠陥の所与の属性の値との間の値として、１つまたは複数のマイノリティクラスに属する欠陥の所与の属性の値として、などとして決定することができる。
【0014】
本開示の主題のさらなる態様によれば、ＰＭＣは、出力欠陥の少なくとも一部を１つまたは複数のマイノリティクラスに属するものとして識別することと、１つまたは複数のマイノリティクラスに属する複数の欠陥からの少なくともいくつかの欠陥、マジョリティクラスに属する複数の欠陥からの少なくともいくつかの欠陥、および１つまたは複数のマイノリティクラスに属するものとして識別された出力欠陥を含む訓練セットで第１の分類器を訓練することによって、第１の分類器を更新することと、第１の分類器によってマジョリティクラスに分類された複数の欠陥を更新し、更新の際に現れ、エンジンが閾値未満の信頼性レベルを取得する欠陥を出力することとを行うようにさらに構成される。
【0015】
本開示の主題の他の態様によれば、欠陥を分類する方法が提供され、この方法は、プロセッサおよびメモリ回路（ＰＭＣ）を含むコンピューティングプラットフォームによって実行される。この方法は、第１の分類器によってマジョリティクラスに分類された複数の欠陥をＰＭＣによって受け取ることであり、複数の欠陥からの１つまたは複数の欠陥が、１つまたは複数のマイノリティクラスに属し、複数の欠陥からの欠陥の少なくとも一部が、マジョリティクラスに属し、複数の欠陥からの各欠陥が、各々がそれぞれの値を有する複数の属性によって特徴づけられる、受け取ることと、複数の属性のサブセットをＰＭＣによって選択し、サブセットの属性ごとの区別要因を定義することであり、その結果、第２の分類器がサブセットに従って欠陥を分類するように構成され、それぞれの属性ごとの区別要因が、複数の欠陥からの少なくとも事前定義されたシェアの欠陥を１つまたは複数のマイノリティクラスおよびマジョリティクラスに正しく分類する、定義することと、一時的訓練セットをＰＭＣによって生成することであり、一時的訓練セットが、マジョリティクラスに属する複数の欠陥からの欠陥の少なくとも一部、マイノリティクラスに属する複数の欠陥からの欠陥の少なくとも一部、および第２の分類器が追加の欠陥をマイノリティクラスに分類するように属性のサブセットの値を有する追加の欠陥を含む、生成することと、属性のサブセットの第１の値によって特徴づけられる欠陥がマジョリティクラスに属するという信頼性レベルを取得するように構成されたエンジンをＰＭＣによって訓練することであり、訓練することが、一時的訓練セット、属性のサブセット、およびサブセットの属性ごとの区別要因に基づいて実行される、訓練することと、所与の欠陥をマジョリティクラスに分類する信頼性レベルを取得するために、マジョリティクラスに分類される第２の複数の欠陥からの各所与の欠陥にエンジンをＰＭＣによって適用することと、所定の閾値よりも低い信頼性レベルを有する第２の複数の欠陥からの欠陥であり、それによって、欠陥が、１つまたは複数のマイノリティクラスにおそらく属する、欠陥をＰＭＣによって出力することとを含む。
【0016】
本開示の主題のさらなる態様によれば、この方法は、第２の分類器によって１つまたは複数のマイノリティクラスに分類可能な追加の欠陥を生成し、追加の欠陥を一時的訓練セットに含めることをさらに含むことができる。追加の欠陥のうちの少なくとも１つは、複数の第１の値として生成された合成欠陥とすることができ、各第１の値は、サブセットの属性ごとの区別要因に従ってサブセットからの属性に関連づけられる。
【0017】
本開示の主題のさらなる態様によれば、この方法は、出力欠陥の少なくとも一部を１つまたは複数のマイノリティクラスに属するものとして識別することと、１つまたは複数のマイノリティクラスに属する複数の欠陥からの少なくともいくつかの欠陥、マジョリティクラスに属する複数の欠陥からの少なくともいくつかの欠陥、および１つまたは複数のマイノリティクラスに属するものとして識別された出力欠陥を含む訓練セットで第１の分類器を訓練することによって、第１の分類器を更新することと、第１の分類器によってマジョリティクラスに分類された複数の欠陥を更新し、更新の際に現れ、エンジンが閾値未満の信頼性レベルを取得する欠陥を出力することとをさらに含むことができる。
【0018】
本開示の主題の特定の実施形態の利点の中に、ユーザによって設定された成功基準または目安のモニタを強化することがあり、成功基準は自動化された欠陥分類に関連づけられる。成功基準のいくつかの非限定の例には、１つまたは複数のクラスの分類純度、１つまたは複数のクラスの分類精度、および抽出が含まれる。
【0019】
さらなる利点の中に、ユーザ要件に従って、不均衡な訓練セットの影響を修正することによって、１つまたは複数のマイノリティクラスのさらなる欠陥を識別し、本開示を利用する前には分類できなかった欠陥を正しく分類することによって分類結果を最適化することがある。
【0020】
本発明を理解し、それが実際にどのように実行され得るかを知るために、次に、実施形態が、単なる非限定の例として、添付の図面を参照して説明される。
【図面の簡単な説明】
【0021】
【図1】本開示の主題の特定の実施形態による試験システムの一般化されたブロック図である。
【図2】本開示の主題の特定の実施形態による、マイノリティクラスに属し得る欠陥を識別する方法の一般化された流れ図である。
【図3】本開示の主題の特定の実施形態による、欠陥分類の混同行列を示す図である。
【図4】本開示の主題の特定の実施形態による、追加の欠陥を生成することができる例示的な２次元欠陥を示す図である。
【図5】本開示の主題の特定の実施形態による試料をレビューする方法の一般化された流れ図である。
【発明を実施するための形態】
【0022】
以下の詳細な説明において、本発明の完全な理解を提供するために、多数の特定の詳細が記載される。しかしながら、本開示の主題はこれらの特定の詳細なしに実践され得ることを当業者なら理解されるであろう。他の例では、よく知られた方法、手順、構成要素、および回路は、本開示の主題を曖昧にしないように、詳細には記載されていない。
【0023】
特に具体的に述べられない限り、以下の議論から明らかなように、本明細書の全体にわたって、「処理する」、「計算する」、「表す」、「算出する」、「生成する」、「割り当てる」、「選択する」、「決定する」、「受け取る」、「訓練する」、「適用する」、「出力する」などのような用語を利用する議論は、データを操作し、および／またはデータを他のデータに変換するコンピュータの動作および／またはプロセスを指し、前記データは、電子的などの物理的な量として表され、および／または前記データは、物理的対象を表すことを理解されたい。「コンピュータ」という用語は、非限定の例として、本出願で開示される分類器およびその中のＰＭＣを含むデータ処理能力をもつあらゆる種類のハードウェアベースの電子デバイスを包含するように広く解釈されるべきである。
【0024】
本明細書に使用される「非一時的メモリ」および「非一時的記憶媒体」という用語は、本開示の主題に適するあらゆる揮発性または不揮発性のコンピュータメモリを包含するように広く解釈されるべきである。
【0025】
特に具体的に述べられない限り、別個の実施形態の文脈に記載されている本開示の主題の特定の特徴は、単一の実施形態で組み合せて提供することもできることを理解されたい。逆に、単一の実施形態の文脈に記載されている本開示の主題の様々な特徴は、別々にまたは任意の適切な副組合せで提供することもできる。以下の詳細な説明において、方法および装置の完全な理解を提供するために、多数の特定の詳細が記載される。
【0026】
本明細書で使用される試料の「欠陥」という用語は、試料上または試料内に形成されたあらゆる種類の異常または望ましくない特徴を包含するように広く解釈されるべきである。
【0027】
本明細書で使用される「クラスに属することが知られている」という用語は、グラウンドトゥルースと考えられるクラスへの欠陥の分類、例えば、人間のユーザによって行われる分類、信頼できる分類器などによって行われる分類などを包含するように広く解釈されるべきである。
【0028】
本明細書で使用される「分類」という用語は、複数の所定のクラスのうちの１つへの欠陥の割り当てを包含するように広く解釈されるべきである。一般に、分類器は、必要とされるクラスの各々に属することが分かっている欠陥に基づいて訓練される。訓練が行われた後、分類器は、欠陥がどのクラスに属するかが分かっているか否かにかかわらず、欠陥をクラスのいずれかに分類するために使用することができる。
【0029】
所与の欠陥は、マジョリティクラスまたはマイノリティクラスに属することができる。分類器を欠陥のセットに適用すると、欠陥の大部分は、分類器によってマジョリティクラスに自動的に分類されることになる。しかしながら、マイノリティクラスに属することが分かっている訓練欠陥の数が不十分であることに起因して、多くのマイノリティ欠陥も、マジョリティクラスに誤って分類されることになる。検査中に検出された欠陥の一部のみがレビュー中にさらに試験されるので、マジョリティクラスに分類されたマイノリティ欠陥がレビューされる確率は低い。
【0030】
したがって、分類器を訓練するときに特定の母集団の、例えばマイノリティクラスの欠陥を過小表示することは、いくつかの理由で、製造および試験プロセスにおいて深刻な問題である。
【0031】
第１に、誤った分類は、試験プロセスの品質の不正確な評価をもたらす可能性がある。マイノリティ欠陥の表示が少ないために、プロセス評価へのマイノリティ欠陥の影響が低く、それゆえに、プロセス全体の品質が不正確に評価される可能性がある。
【0032】
第２に、試験プロセスの安定性が低い可能性があり、欠陥が誤って分類されると、母集団が小さいほど変化に対して脆弱になるので、小数の欠陥、またはさらに単一の欠陥は、プロセス評価の標準偏差に著しく影響を与える可能性がある。したがって、試験プロセスを安定して評価することが困難である。
【0033】
第３に、単なる分類エラーは、非常に深刻で扱えなくなる可能性がある欠陥をもたらす。その上、非常に深刻な欠陥を排除するためにかなり大きい努力が払われ、それにより、これらのタイプの残っている欠陥が少なくなる。したがって、そのような欠陥が訓練プロセスにおいて過小表示される場合、さらなる欠陥はそれのクラスに分類されないことになり、そのため、試料の深刻な問題が気付かれないままになる可能性がある。
【0034】
第４に、特定のタイプの欠陥は、同じクラスに属すると呼ばれるが、異なる特性を有することがある。例えば、「粒子」というタイプの欠陥は、金属とシリコーンでは著しく異なる可能性がある。特定のマイノリティクラスを識別および訓練しないことによって、特定の欠陥に関連する重要な情報が失われる可能性がある。
【0035】
これを念頭に置いて、本開示の主題の特定の実施形態による試験システムの一般化されたブロック図を示す図１に注目する。図１に示された試験システム１００は、試料製造の一部として試料（例えば、ウエハおよび／またはその一部の）を試験するために使用することができる。試験は対象物製造の一部とすることができ、対象物の生産中にまたはその後で実行することができる。試験システムは、様々な試験ツール、例えば、検査画像を捕捉する（一般に、比較的高速および／または低解像度で）ように構成された１つまたは複数の検査試験ツール１０１と、検査ツール１０１によって検出された欠陥の少なくとも一部のレビュー画像を捕捉する（一般に、比較的低速および／または高解像度で）ように構成された１つまたは複数のレビュー試験ツール１０２とを含むことができる。図示の試験システム１００は、欠陥タイプに従って欠陥を複数のクラスに自動的に分類することができるコンピュータベースの自動欠陥分類ツール（以下、分類器とも呼ぶ）１０３をさらに含む。非限定の例として、分類には様々な目的があってもよく、分類結果は、分類目的に従って、統計的プロセス制御（ＳＰＣ）および／または他の方法でエクスカーションを識別するために、特定の対象の欠陥（ＤｏＩ）を識別し、疑似欠陥を真の欠陥からフィルタ処理し、パレートを確立するために使用することができる。
【0036】
ユーザは、ＧＵＩ１０８の助けを借りて分類エンジン１２１を訓練するために、クラスおよび各クラスに割り当てる欠陥を定義することができる。さらに、ＧＵＩ１０８は、ユーザ（および／または管理システム）が、純度、精度、注出、または他のパラメータなどの自動欠陥分類に関連する成功基準または目安をクラスごとに別々に設定およびモニタし、ユーザ要件に従って分類結果を最適化することができるように構成することができる。
【0037】
分類器１０３は、１つまたは複数の検査ツール１０１および／または１つまたは複数のレビューツール１０２に動作可能に接続することができる。分類器１０３は、１つまたは複数の検査ツール１０１または１つまたは複数のレビューツール１０２と完全にまたは部分的に統合できてもよい。分類器１０３は、設計サーバ１１０およびデータレポジトリ１０９にさらに動作可能に接続することができる。
【0038】
試料は、検査ツール１０１（例えば、光学検査システム、低解像度ＳＥＭなど）で試験することができる。結果として得られる画像および／または派生物を処理して（例えば、設計データおよび／または欠陥分類データのような他のデータと一緒でもよい）、レビューのために欠陥を選択することができる。
【0039】
レビューのために選択された潜在的な欠陥位置のサブセットは、レビューツール１０２（例えば、走査型電子顕微鏡（ＳＥＭ）または原子間力顕微鏡（ＡＦＭ）など）でレビューすることができる。レビュー画像および／またはその派生物およびそれぞれの関連するメタデータの情報を提供するデータ（以下、レビューデータ１２２と呼ぶ）は、直接または１つまたは複数の中間システムを介して、分類器１０３に送信することができる。レビューデータは、１つまたは複数の中間システムによって生成されたデータをレビュー画像の派生物として含むことができることに留意されたい。
【0040】
分類器１０３は、ハードウェアベース入力インターフェース１０５およびハードウェアベース出力インターフェース１０６に動作可能に接続されたプロセッサおよびメモリ回路（ＰＭＣ）１０４を含む。ＰＭＣ１０４は、図２を参照してさらに詳述するように、分類器を動作させるのに必要な処理を行うように構成され、プロセッサおよびメモリ（ＰＭＣ１０４内に別々に示されない）を含む。分類器１０３およびＰＭＣ１０４の動作は、図２～図４を参照してさらに詳述する。
【0041】
出力インターフェース１０６によって出力された分類器１０３の処理結果は、それぞれ、検査命令関連データ１２３またはレビュー命令関連データ１２４として検査試験ツール１０１またはレビュー試験ツール１０２に供給され、それらの動作を、例えば動作パラメータの値を変更することによって変更することができる。
【0042】
本開示の主題の教示は図１に示されたシステムによって拘束されず、均等な機能および／または変更された機能は、別の方法で統合または分割することができ、ソフトウェアとファームウェアおよびハードウェアとの任意の適切な組合せで実施することができることを当業者は容易に理解するであろう。
【0043】
図１に示された試験システムは、分散コンピューティング環境で実施することができ、図１に示される前記の機能モジュールは、いくつかのローカルおよび／またはリモートデバイスにわたって分散させることができ、通信ネットワークを通してリンクさせることができることに留意されたい。他の実施形態では、試験ツール１０１および／または１０２、データレポジトリ１０９、ストレージシステム１０７、設計サーバ１１０、および／またはＧＵＩ１０８の少なくとも一部は、試験システム１００の外部にあり、入力インターフェース１０５および出力インターフェース１０６を介して分類器１０３とデータ通信して動作することができることにさらに留意されたい。分類器１０３は、１つまたは複数の試験ツールとともに使用することができるスタンドアロンコンピュータとして実施することができる。分類器１０３は、データレポジトリ１０９および／またはストレージシステム１０７に格納された事前取得レビューデータに基づいて動作することができてもよい。代替としてまたは追加として、分類器１０３のそれぞれの機能は、１つまたは複数の試験ツール、プロセス制御ツール、方策生成ツール、自動欠陥レビューおよび／または分類のためのシステム、および／または試験に関連する他のシステムと少なくとも部分的に統合することができる。
【0044】
ＰＭＣ１０４は、マイノリティ欠陥識別エンジン１１７、訓練エンジン１２０、および１つまたは複数の分類エンジン１２１を含むことができる。マイノリティ欠陥識別エンジン１１７は、マイノリティ欠陥を識別するために使用することができ、マイノリティ欠陥は、訓練エンジン１２０によって使用されて１つまたは複数の分類エンジン１２１を訓練することができる。
【0045】
マイノリティ欠陥識別エンジン１１７は、グラウンドトゥルースが存在し、分類エンジン１２１によってマジョリティクラスに誤って分類されたマイノリティ欠陥を識別するための初期マイノリティ欠陥取得エンジン１１８を含むことができる。マイノリティ欠陥識別エンジン１１７は、マイノリティ欠陥である可能性があるが、グラウンドトゥルースが存在しない欠陥を識別するように構成された追加マイノリティ欠陥取得エンジン１１９をさらに含むことができる。次いで、ユーザは、これらの欠陥をレビューし、欠陥のうちの１つまたは複数が実際にマイノリティ欠陥であるかどうかを決定することができる。ひとたび十分な数のマイノリティクラスの欠陥が入手可能になると、訓練エンジン１２０を使用して、分類器１２１とも呼ばれる分類エンジンを訓練することができる。
【0046】
ＰＭＣ１０４は、各々が対応する分類を有する多数の欠陥を受け取り、欠陥を受け取り、欠陥が分類されるクラスを提供するように構成された分類器に出力するように構成された訓練エンジン１２０を含むことができる。
【0047】
ＰＭＣ１０４は、分類器とも呼ばれる１つまたは複数の分類エンジン１２０を含むことができ、それは、訓練エンジン１１８または別の訓練エンジンで訓練するかまたは外部ソースから受け取ることができる。以下で詳述するように、１つのそのようなエンジンは、不十分な数のマイノリティ欠陥により訓練された初期エンジンとすることができ、別のエンジンは、さらなる欠陥により訓練することができる。
【0048】
図２を参照すると、本開示の主題の特定の実施形態によるマイノリティ欠陥識別エンジン１１７を動作させる一般化された流れ図が示される。ＰＭＣ１０４は、非一時的コンピュータ可読記憶媒体に実装されたコンピュータ可読命令に従って以下で詳述するそれぞれの動作を実行するように構成される。
【0049】
次に、図３を参照すると、マジョリティクラスおよびマイノリティクラス、ならびにそれらへの分類が、「混同行列」の形態で示される。「混同行列」という用語は、グラウンドトゥルース分類対自動分類結果の視覚化を可能にする任意の表レイアウトを包含するように広く解釈されるべきである。
【0050】
したがって、図３の表３００は、例えば例示的な試料の検査中に検出された合計２５０個の欠陥の人間対機械分類を示し、各欠陥は、クラスＡ、Ｂ、Ｃ、またはＤのうちの１つに属する。表３００は、行３０４、３０８、３１２、および３１６を含み、各々は、ユーザによって分類された各クラスの欠陥に関連し、それゆえに、クラスへのこの割り当ては「グラウンドトゥルース」と呼ばれる。ユーザによって分類された欠陥の数は、「合計」列３３２に示される通りであり、クラスＡの６０個、クラスＢの４４個、クラスＣの１１９個、およびクラスＤの２７個である。
【0051】
デフォルトまたは他の初期分類器も使用され、それは、表３００の列３２０、３２４、および３２８に示されるように欠陥を分類し、例えば、クラスＡの５２個の欠陥が実際にクラスＡに分類されている、クラスＢの２個の欠陥がクラスＣとして分類されている、などである。
【0052】
表４００の主要対角線の最初の３つのエントリに示されるように、クラスＡ、Ｂ、およびＣの大部分の欠陥は、正しく分類されており、クラスＡでは６０個のうちから５２個、クラスＢでは４４個のうちから３８個、およびクラスＣでは１１９個のうちの１１０個である。したがって、クラスＡ、Ｂ、およびＣはマジョリティクラスと考えられる。しかしながら、どのクラスの欠陥もクラスＤに分類されていない。これは、分類器が訓練されたときにクラスＤの十分な欠陥が存在せず、したがって、分類器がこのクラスに欠陥を分類することができなかったためと考えられる。したがって、クラスＤはマイノリティクラスと呼ばれ、このクラスの欠陥はマジョリティクラスに分類されている。それゆえに、それに応じて分類器を訓練するために、より多くのクラスＤの欠陥を見つけることが必要とされる。
【0053】
次に、図２に戻って参照すると、ＰＭＣ１０４は、第１の分類器によって第１のマジョリティクラスに分類された複数の欠陥を受け取る（２００）。受け取った欠陥は、事前定義されたクラスに事前分類されており（例えば、人間の専門家および／または別の分類器および／または以前の分類器のバージョンなどによって）、その結果、この事前分類はグラウンドトゥルースと考えられる。したがって、ＰＭＣ１０４は、同じマジョリティクラスまたはマイノリティクラスに属する欠陥を受け取る。
【0054】
例えば、ＰＭＣ１０４は、第１の分類器によって１つのクラス、例えば、列３２０に示されたクラスＡに割り当てられており、クラスＡまたはクラスＤに属することが分かっている欠陥を受け取る可能性がある。クラスＡに分類される欠陥であるが、他のマジョリティクラスに属する欠陥、例えば、クラスＢに属する４つの欠陥、およびクラスＣに属する３つの欠陥は無視される。それゆえに、クラスＡに正しく分類されたクラスＡの５２個の欠陥と、クラスＡに誤って分類されたクラスＤの３個の欠陥を区別することが必要とされる。
【0055】
各欠陥は、様々な属性に割り当てられた値の集合、例えば、ベクトルとして記述することができる。一般に、各欠陥は、例えば、タイプ、色、サイズ、位置、原因などに関連する数百以上の属性に割り当てられた値として記述することができる。
【0056】
次いで、ＰＭＣ１０４は、マジョリティクラスに属する欠陥とマイノリティクラスに属する欠陥とを正しく区別するために、属性のサブセットを選択し、サブセットの属性ごとに区別要因を定義する（２０４）ことができる。属性サブセット選択は次元削減と呼ばれることもある。欠陥よりも多い次元（すなわち、属性）がある場合、そのような区別を行うことが数学的に可能である。しかしながら、次元の数を減少させることが、一般化、例えば、区別安定性を強化するのに有用である可能性があり、その結果、追加の欠陥を同様にいずれのクラスに分類することができる。
【0057】
区別は、選択された属性サブセットにのみ基づく、欠陥をマジョリティクラスとマイノリティクラスに分類する一時的分類器として説明することができる。マジョリティクラスに割り当てられた欠陥とマイノリティクラスに割り当てられた欠陥とを正しく区別することは、マジョリティクラスの欠陥の少なくとも所定の部分がマジョリティクラスに分類されることと、マイノリティクラスの欠陥の少なくとも（多分異なる）所定の部分がマイノリティクラスに分類されることとに関連し得ることが理解されよう。所定の部分は、それぞれの欠陥の所定のパーセンテージ、それぞれの欠陥の少なくとも所定の数などに関連することができる。
【0058】
属性が、一連の値、例えば、不連続な範囲または連続な範囲を受け取ることができる場合、区別要因は、カットオフポイントとなることができ、その結果、閾値を超える値を有する欠陥はあるクラスに関連づけられ、一方、閾値を下回る値を有する欠陥は他のクラスに関連づけられる。属性が２つの可能な値、例えば、０または１の一方を受け取ることができる場合、区別要因は、属性の第１の値を有する欠陥を一方のクラスに関連づけ、一方、属性の第２の値を有する欠陥を他方のクラスに関連づけるように定義することができる。
【0059】
属性サブセットを選択するのに、ランダムフォレスト法を使用することができ、ランダムフォレスト法は、複数のデシジョンツリーを構築し、各々のそのようなデシジョンツリーから分類結果を受け取り、大多数のツリーによって行われた決定に応じて決定を行うことによって機能する。第１の段階において、第１のツリーが構築される。第１の属性はジニ不純度指数に従って選択することができ、ジニ不純度指数は、セットからランダムに選ばれた要素が、サブセットにおけるラベルの分布に従ってランダムにラベル付けされた場合、どれくらいの頻度で不正確にラベル付けされるかの尺度と見なすことができる。例えば、各々が２つのクラス、すなわち、「Ｘ」および「０」のうちの１つに属する９つの欠陥が提供されると仮定する。９つの欠陥は、以下の属性の値、すなわち、［１，１．５，２，３，４，５．５，６，８，１０］を有する。欠陥をこの属性の値の昇順で配列すると、欠陥ベクトルは、［Ｘ Ｘ ０ Ｘ Ｘ ０ ０ Ｘ ０］であり、これが意味するところは、第１、第２、第４、第５、および第８の欠陥はクラス「Ｘ」であり、他のものはクラス「０」である。Ｐｉが正しく分類された「Ｘ」の確率であるとして、このベクトルに対するＰｉ＊（１－Ｐｉ）として定義されたクラス「Ｘ」のジニ不純度指数は、
【0060】
【数1】
【0061】
【数2】
【数3】
【0062】
最良の加重平均を提供する属性および区別要因の選択は、デシジョンツリーの第１のレベルとして選択することができる。次のレベルでは、異なる属性、または異なる区別値をもつ同じ属性を選択することができる。
【0063】
いくつかの実施形態では、マジョリティクラスに分類された欠陥のすべてではなく一部のみが、ランダムフォレストを造るために選択される場合がある。しかしながら、ランダムフォレストを構築するために選択される可能性があるマジョリティクラスに誤って分類された欠陥の割合が、マジョリティクラスに分類された欠陥の割合よりも高くなる可能性がある。例えば、１００個の欠陥がマジョリティクラスに分類され、その中から、２つがマイノリティクラスに属し、９８個がマジョリティクラスに属する場合、２０個の欠陥がランダムフォレストのために選択され、それが、マイノリティクラスに属する２つの欠陥と、マジョリティクラスに属する１８個の欠陥とを含む可能性がある。
【0064】
多数のそのようなツリーを構築することができ、各々は、欠陥の異なるセットならびに属性および区別要因の異なる選択に基づく。
【0065】
ひとたび所定の数のデシジョンツリーが構築されると、属性サブセットを選択することができる。属性サブセットは、ツリーへの各属性の参加に基づいて選択することができ、参加しているツリーが多い属性またはツリーの１つまたは複数においてより高い属性は、参加しているツリーが少ない属性またはツリーの１つまたは複数において階層において低い属性よりも高いグレードを割り当てることができる。
【0066】
ランダムフォレスト法は、利用可能な訓練セットに属性セットを過剰適合させることを排除することができ、過剰適合は、属性サブセットが、訓練セットを十分に区別するように設計されているが、そのため、他の欠陥集合にはそれほど有効でない状況に関連する。
【0067】
次いで、ＰＭＣ１０４は、一時的訓練セットを生成することができ（２１２）、一時的訓練セットは、正しく分類されたマジョリティクラスの複数の欠陥と、不正確にマジョリティクラスに分類されたマイノリティクラスの複数の欠陥とを含む。いくつかの実施形態では、マジョリティクラスに分類されたすべての欠陥が選択されているとは限らない。その上、不正確にマジョリティクラスに分類されたマイノリティクラスの欠陥の割合が、マジョリティ欠陥として分類されたすべての欠陥のそれぞれの部分よりも高いことがある。一時的訓練セットは、追加の欠陥をさらに含むことができる。
【0068】
追加の欠陥は、ＰＭＣ１０４で生成することができる。追加の欠陥は、上述のランダムフォレスト分類器などの属性サブセットに基づく分類器がマイノリティクラスに分類することになる欠陥である。追加の欠陥の生成は、オーバーサンプリングと呼ぶこともできる。欠陥の生成は、属性サブセットの属性に値を割り当てることによって実行することができることが理解されよう。
【0069】
次に、図４を参照すると、２次元で構成されている属性サブセットのオーバーサンプリングの例示的な実施形態が示される。
【0070】
マジョリティクラスおよびマイノリティクラスの多数の欠陥が与えられると、オーバーサンプリングは、１つまたは複数の合成欠陥、すなわち、各々が既存のマイノリティ欠陥に比較的近い値の１つまたは複数の集合を生成することに関連し得る。図４は、「Ｏ」で示された３つのマイノリティ欠陥４００、４０４、および４１２と、「Ｘ」で示された４０８または４１６などのいくつかのマジョリティ欠陥とを示す。２つのクラスの欠陥を十分に区別する分類器を作り出すために、マジョリティクラスの隣接を有するマイノリティ欠陥のより近くにあるより多くの合成欠陥を生成することができる。したがって、合成欠陥は、欠陥４０４および４１２の近くで生成することができるが、クラス「Ｘ」の隣接が近くにない欠陥４００の近くでは生成することができない。
【0071】
合成欠陥の生成は、マイノリティ欠陥ごとに最も近いマジョリティ欠陥までの距離を計算することができる合成マイノリティオーバーサンプリング技法（ＳＭＯＴＥ）を使用して実行することができる。距離の計算は、選択された属性サブセットの二乗和（可能性のある加重の）などの必要とされるメトリックを使用して実行することができる。マジョリティクラスの最も近い隣接までの距離が最も小さい所定の数のマイノリティ欠陥を選択することができる。いくつかの実施形態では、同じマイノリティ欠陥が、多数回選択されることがある。このようにして、マイノリティ欠陥４０４および４１２を選択することができる。そのような選択された欠陥ごとに、マイノリティ欠陥の属性値と、最も近いマジョリティ欠陥の属性値との間の範囲の属性の値を有する合成欠陥を作り出すことができる。図４の例では、合成欠陥は、マイノリティ欠陥４０４とマジョリティ欠陥４０８を接続するラインに沿って作り出すことができる。いくつかの実施形態では、合成欠陥はマイノリティ欠陥のより近くに生成することができ、例えば、各属性の値は、０．８＊マイノリティ欠陥の属性の値＋０．２＊マジョリティ欠陥の属性の値、またはそれらの任意の他の加重組合せとして計算することができる。第２の合成欠陥は、マイノリティ欠陥４１２とマジョリティ欠陥４１６を接続するラインに沿って生成することができる。
【0072】
次いで、ＰＭＣ１０４は、一時的訓練セット、属性サブセット、およびサブセットの属性ごとの区別要因に基づいて信頼性レベルエンジンを訓練することができる（２１６）。信頼性レベルエンジンは、欠陥と、欠陥が分類されるクラスとを受け取り、欠陥が確かにそのクラスに属するという信頼性レベルを出力するように構成することができる。
【0073】
信頼性レベルエンジンはまた、ツリーアンサンブルとして実施することができ、ツリーアンサンブルのツリーは、勾配ブースティングを使用して生成することができる。デシジョンツリーの生成は、デフォルト分類ツリーで開始し、選択された属性サブセットに従って動作し、欠陥をマジョリティクラスとマイノリティクラスとに分類することができる。強化されたジニ不純度指数は、各クラスに割り当てられた重みを考慮に入れることができ、ＷA＊ＰA＊（１－ＷAＰA）であり、ここで、ＷAは、クラスＡに割り当てられた重みであり、ＰAは、欠陥がクラスＡに正しく分類される確率である。信頼性レベルエンジンを訓練してマイノリティクラスの欠陥をより良好に分類するために、マイノリティクラスの重みは、マジョリティクラスに分類されたすべての欠陥内のマイノリティ欠陥の割合よりも高くすることができる。次いで、さらなるツリーを生成することができ、以前に生成されたツリーによって不正確に分類されたマイノリティ欠陥に対して、例えば、以下のように、より高い重みが割り当てられる。
【0074】
【数4】
【0075】
したがって、信頼性レベルエンジン生成の出力は、各ツリーがクラスと重みとに関連づけられているツリーの集合である。重みは、各ツリーに関連するエラー率に基づいて取得することができる。エラー率は、ツリーがグラウンドトゥルースと異なる結果を出力する欠陥の重みの合計として定義することができる。
【0076】
ひとたび信頼性レベルエンジンが利用可能になると、ＰＭＣ１０４は、マジョリティクラスに分類されたさらなる欠陥に信頼性レベルエンジンを適用することができ（２２０）、グラウンドトゥルースはこれらの欠陥には利用可能ではない。したがって、マジョリティクラスに分類されたそのような欠陥の各々は、信頼性レベルエンジンに供給され、信頼性レベルが取得される。信頼性レベルは、欠陥が確かにマジョリティクラスのものであり、誤ってマジョリティクラスに分類されなかったという信頼度を示す。信頼性レベルの取得は、ステップ２１６において生成されたツリーアンサンブルのすべてのツリーにより欠陥を分類し、欠陥をマジョリティクラスに分類するすべてのツリーの重みを合計し、それにより、０と１との間の信頼性レベルを取得することによって実行することができる。
【0077】
次いで、ＰＭＣ１０４は、信頼性レベルが低い、例えば、所定の閾値未満である、マジョリティクラスに分類された欠陥を出力することができる（２２４）。代替として、マジョリティクラスに分類されたすべての欠陥のうちの、信頼性レベルが最も低い所定の数の欠陥または所定のパーセンテージを出力することができる。低い信頼性レベルは、欠陥がマジョリティ欠陥ではなく、マイノリティ欠陥である確率が高いことを示し得る。
【0078】
次に、図５を参照すると、本開示の主題の特定の実施形態による試料をレビューする方法の一般化された流れ図が示される。
【0079】
ＰＭＣ１０４は、非一時的コンピュータ可読記憶媒体に実装されたコンピュータ可読の命令に従って以下で詳述するそれぞれの動作を実行するように構成することができる。
【0080】
分類器は、ユーザによって分類された訓練欠陥を含む利用可能な訓練データに基づいて訓練される（５００）。
【0081】
次いで、分類が分かっていないさらなる欠陥に対して、分類（５０４）が実行される。
【0082】
分類結果は、上述の図２に関連して説明したようにモニタおよび拒絶することができる（５０８）。モニタは、例えば、図２のステップ２００、２０４、２１２、２１６、および２２０において詳述したように、マジョリティ欠陥の信頼性レベルを取得することに関連し、拒絶は、分類信頼性レベルが低い欠陥を出力する（２２４）ことに関連することができる。
【0083】
出力欠陥は、例えばユーザによってレビューされてもよく、グラウンドトゥルース分類がこれらの欠陥に対して受け取られてもよい（５１２）。
【0084】
ユーザによってマイノリティ欠陥として示された欠陥は、収集され（５１６）、「コンテナ」と呼ばれるストレージデバイスまたはデータ構造に保存され得る。訓練するのに十分なマイノリティ欠陥の数、例えば、３０個、４０個、１００個などの少なくとも所定の数がコンテナに蓄積されると、新しい分類器を訓練することができ、新しい分類器では、このクラスもマジョリティクラスであり、それにより、マイノリティ欠陥も正しく分類することができる。したがって、この分類器は第１の分類器に取って代わることができる。
【0085】
次いで、訓練（５００）は繰り返すことができ、これは、利用可能なグラウンドトゥルース分類を用いた分類器の再訓練または更新とも呼ばれ得る。
【0086】
図５の反復は、拒絶率が第１の所定の閾値未満に低下するまで、拒絶の数が第２の所定の閾値未満に低下するまで、または別の停止基準が満たされるまで、所定の回数、所定期間の間、継続することができる。
【0087】
本開示の主題の教示は図２および図５に示された方法によって拘束されないことを当業者は容易に理解するであろう。他の適切なアルゴリズムおよびその組合せが、マイノリティ欠陥を取得し、それに応じて分類器を訓練するために実装されてもよい。
【0088】
本発明は、本明細書に含まれるまたは図面に示される説明に記載された詳細に限定されない。本発明は、他の実施形態が可能であり、様々な方法で実践および実行することができる。したがって、本明細書で使用された語法および用語は、説明のためものであり、限定と見なされるべきでないことを理解されたい。そのため、本開示が基礎を置く概念は、本開示の主題のいくつかの目的を実行するために他の構造、方法、およびシステムを設計するための基礎として容易に利用できることを当業者は理解するであろう。
【0089】
本発明によるシステムが、適切にプログラムされたコンピュータで少なくとも部分的に実施され得ることも理解されるであろう。同様に、本発明は、本発明の方法を実行するためのコンピュータによって読取り可能なコンピュータプログラムを意図している。本発明は、本発明の方法を実行するためにコンピュータによって実行可能な命令のプログラムを明確に具現化する非一時的コンピュータ可読メモリをさらに意図している。
【0090】
様々な変形および変更が、添付の特許請求の範囲におよびそれによって定義された本発明の範囲から逸脱することなく、上記で記載された本発明の実施形態に適用されてもよいことを当業者は容易に理解するであろう。
【図1】
【図2】
【図3】
【図4】
【図5】