特開 2022-167779 製造欠陥分類システムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022167779

(43)【公開日】2022-11-04

(54)【発明の名称】製造欠陥分類システムおよび方法

(51)【国際特許分類】

   G06N 20/10 20190101AFI20221027BHJP

   G06N 20/00 20190101ALI20221027BHJP

【ＦＩ】

G06N20/10

G06N20/00 130

【審査請求】未請求

【請求項の数】20

【出願形態】ＯＬ

(21)【出願番号】P 2022020500

(22)【出願日】2022-02-14

(31)【優先権主張番号】63/179111

(32)【優先日】2021-04-23

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/317806

(32)【優先日】2021-05-11

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】512187343

【氏名又は名称】三星ディスプレイ株式會社

【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｄｉｓｐｌａｙ Ｃｏ．，Ｌｔｄ．

【住所又は居所原語表記】１， Ｓａｍｓｕｎｇ－ｒｏ， Ｇｉｈｅｕｎｇ－ｇｕ， Ｙｏｎｇｉｎ－ｓｉ， Ｇｙｅｏｎｇｇｉ－ｄｏ， Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(74)【代理人】

【識別番号】110002619

【氏名又は名称】弁理士法人ＰＯＲＴ

(72)【発明者】

【氏名】ク， シュフイ

(72)【発明者】

【氏名】リ， ジャンファン

(72)【発明者】

【氏名】カン， ヤン

(57)【要約】

【課題】製造欠陥を正確に予測することである。
【解決手段】本発明の一実施形態による製造欠陥分類方法は、第１機械学習モデルを訓練データセットで訓練させ、前記訓練データセットから基準を満たすデータ標本を識別し、第２機械学習モデルを訓練させて前記データ標本の特徴を学習し、第１および第２製品データを含む入力データセットを受信し、前記データ標本の前記学習した特徴に基づいて前記第２機械学習モデルを前記第１および第２製品データの確信度予測に適用し、前記第１および第２製品データの確信度予測に応答して、前記第１製品データを前記入力データセットから除去し、前記第１機械学習モデルを前記第２製品データに基づいた分類の生成に適用することを含む。
【選択図】図２

【特許請求の範囲】

【請求項1】

第１機械学習モデルを訓練データセット（ｔｒａｉｎｉｎｇ ｄａｔａｓｅｔ）で訓練させ、
前記訓練データセットから基準を満たすデータ標本を識別し、
第２機械学習モデルを訓練させて前記データ標本の特徴を学習し、
第１および第２製品データを含む入力データセットを受信し、
前記データ標本の前記学習した特徴に基づいて前記第２機械学習モデルを前記第１および第２製品データの確信度予測に適用し、
前記第１および第２製品データの確信度予測に応答して、前記第１製品データを前記入力データセットから除去し、前記第１機械学習モデルを前記第２製品データに基づいた分類の生成に適用すること、
を含む、製造欠陥分類方法。

【請求項2】

前記基準は、設定閾値の下の確信度レベルである、請求項１に記載の製造欠陥分類方法。

【請求項3】

前記第１製品データは設定閾値の下の確信度レベルと関連があり、前記第２製品データは前記設定閾値の上の確信度レベルと関連がある、請求項１に記載の製造欠陥分類方法。

【請求項4】

前記第２機械学習モデルを訓練させることは、前記データ標本の前記学習した特徴に基づいて教師あり学習を適用することを含む、請求項１に記載の製造欠陥分類方法。

【請求項5】

前記第２機械学習モデルを訓練させることは、前記データ標本の特徴を有するデータを他のデータから分離する決定境界を識別することを含む、請求項４に記載の製造欠陥分類方法。

【請求項6】

調整閾値に基づいて前記決定境界を調整することをさらに含む、請求項５に記載の製造欠陥分類方法。

【請求項7】

前記分類に基づいて信号を生成することをさらに含み、
前記信号は一つの動作のトリガーとなる、請求項１に記載の製造欠陥分類方法。

【請求項8】

プロセッサ、及び
命令を保存するメモリ
を含み、
前記プロセッサが前記命令を実行すると、
前記プロセッサは、
第１機械学習モデルを訓練データセット（ｔｒａｉｎｉｎｇ ｄａｔａｓｅｔ）で訓練させ、
前記訓練データセットから基準を満たすデータ標本を識別し、
第２機械学習モデルを訓練させて前記データ標本の特徴を学習し、
第１および第２製品データを含む入力データセットを受信し、
前記データ標本の前記学習した特徴に基づいて前記第２機械学習モデルを前記第１および第２製品データの確信度予測に適用し、
前記第１および第２製品データの確信度予測に応答して、前記第１製品データを前記入力データセットから除去し、前記第１機械学習モデルを前記第２製品データに基づいた分類の生成に適用する、製造欠陥分類システム。

【請求項9】

前記第１製品データは設定閾値の下の確信度レベルと関連があり、前記第２製品データは前記設定閾値の上の確信度レベルと関連がある、請求項８に記載の製造欠陥分類システム。

【請求項10】

前記第２機械学習モデルの訓練は、前記データ標本の前記学習した特徴に基づいて教師あり学習を適用することを含む、請求項８に記載の製造欠陥分類システム。

【請求項11】

前記プロセッサが前記命令を実行すると、前記プロセッサは追加的に、前記データ標本の特徴を有するデータを他のデータから分離する決定境界を識別する、請求項１０に記載の製造欠陥分類システム。

【請求項12】

前記プロセッサが前記命令を実行すると、前記プロセッサは追加的に、調整閾値に基づいて前記決定境界を調整する、請求項１１に記載の製造欠陥分類システム。

【請求項13】

前記プロセッサが前記命令を実行すると、前記プロセッサは追加的に、前記分類に基づいて信号を生成し、
前記信号は一つの動作のトリガーとなる、請求項８に記載の製造欠陥分類システム。

【請求項14】

入力データセットを収集するデータ収集回路、及び
前記データ収集回路と接続されて、ロジックを有する処理回路、
を含み、
前記ロジックは、
第１機械学習モデルを訓練データセットで訓練させ、
前記訓練データセットから基準を満たすデータ標本を識別し、
第２機械学習モデルを訓練させて前記データ標本の特徴を学習し、
第１および第２製品データを含む入力データセットを受信し、
前記データ標本の前記学習した特徴に基づいて前記第２機械学習モデルを前記第１および第２製品データの確信度予測に適用し、
前記第１および第２製品データの確信度予測に応答して、前記第１製品データを前記入力データセットから除去し、前記第１機械学習モデルを前記第２製品データに基づいた分類の生成に適用する、製造欠陥分類システム。

【請求項15】

前記基準は、設定閾値の下の確信度レベルである、請求項１４に記載の製造欠陥分類システム。

【請求項16】

前記第１製品データは設定閾値の下の確信度レベルと関連があり、前記第２製品データは前記設定閾値の上の確信度レベルと関連がある、請求項１４に記載の製造欠陥分類システム。

【請求項17】

前記第２機械学習モデルの訓練は、前記データ標本の前記学習した特徴に基づいて教師あり学習を適用することを含む、請求項１４に記載の製造欠陥分類システム。

【請求項18】

前記ロジックは、追加的に、前記データ標本の特徴を有するデータを他のデータから分離する決定境界を識別する、請求項１７に記載の製造欠陥分類システム。

【請求項19】

前記ロジックは、追加的に、調整閾値に基づいて前記決定境界を調整する、請求項１８に記載の製造欠陥分類システム。

【請求項20】

前記ロジックは、追加的に、前記分類に基づいて信号を生成し、
前記信号は一つの動作のトリガーとなる、請求項１４に記載の製造欠陥分類システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、製造欠陥分類システムおよび方法に関するものである。

【背景技術】

【0002】

本出願は２０２１年４月２３日に米国特許庁に出願した米国特許出願番号第６３／１７９，１１１号（発明の名称：ＥＦＦＩＣＩＥＮＴ ＳＩＮＧＬＥ－ＳＴＡＧＥ ＣＯＮＦＩＤＥＮＴ ＦＩＬＴＥＲＩＮＧ ＭＯＤＥＬ ＦＯＲ ＩＤＥＮＴＩＦＹ ＭＡＮＵＦＡＣＴＵＲＩＮＧ ＤＩＳＰＬＡＹ ＩＭＡＧＥ ＤＥＦＥＣＴ ＴＹＰＥＳ）を優先権主張し、ここに引用することによってこの出願の全体内容を本願に含む。本出願はまた、２０２１年４月１日に米国特許庁に出願した米国特許出願番号第６３／１６９，６２１号（発明の名称：ＩＤＥＮＴＩＦＹ ＭＡＮＵＦＡＣＴＵＲＩＮＧ ＤＩＳＰＬＡＹ ＩＭＡＧＥ ＤＥＦＥＣＴ ＴＹＰＥＳ ＷＩＴＨ ＴＷＯ－ＳＴＡＧＥ ＲＥＪＥＣＴＩＯＮ－ＢＡＳＥＤ ＭＥＴＨＯＤ）および２０２１年５月３日に米国特許庁に出願した米国特許出願番号第１７／３０６，７３７号（発明の名称：ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＩＤＥＮＴＩＦＹＩＮＧ ＭＡＮＵＦＡＣＴＵＲＩＮＧ ＤＥＦＥＣＴＳ）と関連があり、ここに引用することによってこの出願の全体内容を本願に含む。

【0003】

近年、モバイル表示装置産業が急激に成長している。新たなタイプの表示板モジュールと生産方法を展開されるにつれて既存の方法のみでは表面欠陥を見付けることが難しくなっている。製作した表示板モジュールが不良であるか否かを人工知能（ＡＩ：ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ）を使用して自動的に予測するのが好ましい。実際に、表示板モジュールだけでなく他のハードウェア製品に対しても人工知能を使用して欠陥を予測するのが好ましいはずである。

【0004】

上記背景技術に記載した情報は本発明の理解を深めるためのものであるので、当業者にすでに知られた従来技術に該当しない情報を含むことができる。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】米国特許出願公開第２０２０／０１５１５７８号明細書

【特許文献2】米国特許出願公開第２０２０／０２１０８９９号明細書

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明が解決しようとする課題の一つは、製造欠陥を正確に予測することである。

【課題を解決するための手段】

【0007】

本発明の一実施形態による製造欠陥分類方法は、第１機械学習モデル（ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ ｍｏｄｅｌ）を訓練データセット（ｔｒａｉｎｉｎｇ ｄａｔａｓｅｔ）で訓練させ、前記訓練データセットから基準（ｃｒｉｔｅｒｉｏｎ）を満たすデータ標本を識別し、第２機械学習モデルを訓練させて前記データ標本の特徴（ｆｅａｔｕｒｅ）を学習し、第１および第２製品データ（ｐｒｏｄｕｃｔ ｄａｔａ）を含む入力データセットを受信し、前記データ標本の前記学習した特徴に基づいて前記第２機械学習モデルを前記第１および第２製品データの確信度（ｃｏｎｆｉｄｅｎｃｅ）予測に適用し、前記第１および第２製品データの確信度予測に応答して、前記第１製品データを前記入力データセットから除去し、前記第１機械学習モデルを前記第２製品データに基づいた分類の生成に適用することを含む。

【0008】

前記基準は、設定閾値（ｓｅｔ ｔｈｒｅｓｈｏｌｄ）の下の確信度レベルであってもよい。

【0009】

前記第１製品データは設定閾値の下の確信度レベルと関連があり、前記第２製品データは前記設定閾値の上の確信度レベルと関連があってもよい。

【0010】

前記第２機械学習モデルを訓練させることは、前記データ標本の前記学習した特徴に基づいて教師あり学習（ｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）を適用することを含んでもよい。

【0011】

前記第２機械学習モデルを訓練させることは、前記データ標本の特徴を有するデータを他のデータから分離する決定境界（ｄｅｃｉｓｉｏｎ ｂｏｕｎｄａｒｙ）を識別することを含んでもよい。

【0012】

調整閾値に基づいて前記決定境界を調整することをさらに含んでもよい。

【0013】

前記分類に基づいて信号を生成することをさらに含んでもよく、前記信号は一つの動作をトリガーとなってもよい。

【0014】

本発明の一実施形態による製造欠陥分類システムは、プロセッサ、及び命令（ｉｎｓｔｒｕｃｔｉｏｎ）を保存するメモリを含み、前記プロセッサが前記命令を実行すれば前記プロセッサは、第１機械学習モデル（ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ ｍｏｄｅｌ）を訓練データセット（ｔｒａｉｎｉｎｇ ｄａｔａｓｅｔ）で訓練させ、前記訓練データセットから基準（ｃｒｉｔｅｒｉｏｎ）を満たすデータ標本を識別し、第２機械学習モデルを訓練させて前記データ標本の特徴（ｆｅａｔｕｒｅ）を学習し、第１および第２製品データ（ｐｒｏｄｕｃｔ ｄａｔａ）を含む入力データセットを受信し、前記データ標本の前記学習した特徴に基づいて前記第２機械学習モデルを前記第１および第２製品データの確信度（ｃｏｎｆｉｄｅｎｃｅ）予測に適用し、前記第１および第２製品データの確信度予測に応答して、前記第１製品データを前記入力データセットから除去し、前記第１機械学習モデルを前記第２製品データに基づいた分類の生成に適用する。

【0015】

本発明の一実施形態による製造欠陥分類システムは、入力データセットを収集するデータ収集回路、そして前記データ収集回路と接続され、ロジックを有する処理回路を含み、前記ロジックは、第１機械学習モデル（ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ ｍｏｄｅｌ）を訓練データセット（ｔｒａｉｎｉｎｇ ｄａｔａｓｅｔ）で訓練させ、前記訓練データ集合から基準（ｃｒｉｔｅｒｉｏｎ）を満たすデータ標本を識別し、第２機械学習モデルを訓練させて前記データ標本の特徴（ｆｅａｔｕｒｅ）を学習し、第１および第２製品データ（ｐｒｏｄｕｃｔ ｄａｔａ）を含む入力データセットを受信し、前記データ標本の前記学習した特徴に基づいて前記第２機械学習モデルを前記第１および第２製品データの確信度（ｃｏｎｆｉｄｅｎｃｅ）予測に適用し、前記第１および第２製品データの確信度予測に応答して、前記第１製品データを前記入力データセットから除去し、前記第１機械学習モデルを前記第２製品データに基づいた分類の生成に適用する。

【発明の効果】

【0016】

このように推論過程で確信度の低いデータ標本をフィルター処理することによって、対象になるデータ標本の予測正確度を高め、分布の外の標本による影響を最少化することができる。

【図面の簡単な説明】

【0017】

【図1】本発明の一実施形態に係る製造過程を通じて生産される製品に関する予測を行うシステムのブロック図である。

【図2】本発明の一実施形態に係る製造過程を通じて生産される製品に関する予測を行う方法のフローチャートである。

【図3】本発明の一実施形態による確信度学習過程のさらに具体的なフローチャートである。

【図4】本発明の一実施形態による混同行列（ｃｏｎｆｕｓｉｏｎｍａｔｒｉｘ）の例である。

【図5】本発明の一実施形態による同時統合モデルとして実現された欠陥検出モデルのブロック図である。

【図6】本発明の一実施形態による確信度学習と異常値検出学習を行う時の訓練データセットの一例を示す概念的な配置図である。

【発明を実施するための形態】

【0018】

以下、添付した図面を参照して本発明の実施形態について詳細に説明する。全体を通して同一の図面符号は同一の構成要素を示す。しかし、本発明は様々な異なる形態で実現でき、ここで説明する実施形態に限定されない。このような実施形態を提供することによって発明の詳細な説明が完全になるはずであり、発明の多様な側面と特徴を当業者に十分に示すはずである。したがって、当業者が本発明の多様な側面と特徴を完全に理解するのに必要でない過程、装置、技術などは説明を省略する。特別な説明がない限り、図面と明細書全体をあわせて同一の図面符号は同一の構成要素を示し、これにより重複する説明を繰り返さない。また、図面において部分、層、領域の大きさは明瞭な理解のために誇張されるか単純化されることがある。

【0019】

“第１”、“第２”、“第３”などの用語を様々な要素、成分、領域、層、部分などに使用するが、これらはこのような修飾語によって限定されない。このような用語は、ある要素、成分、領域、層、部分を他の要素、成分、領域、層、部分と区別するために使用される。したがって、第１要素、成分、領域、層、部分は、本発明の趣旨と範囲を逸脱せず第２要素、成分、領域、層、部分と言い換えることもできる。

【0020】

ここで使用された用語は特定の実施形態を説明する目的で使用するためのものに過ぎず、本発明を制限しようとする意図はない。ここでは“実質的に”、“約”、“大体”およびこれと類似の表現は近似を示す表現に過ぎず、“程度”を示すのではなく、当業者が知り得る測定値または計算値の固有誤差を示すのに使用する。

【0021】

ここで数を特に言及しなければ単数または複数の場合を全て含む。ある特徴、整数、段階、動作、部分、成分などを“含む”という表現は、該当部分以外に他の特徴、整数、段階、動作、部分、成分なども含むことができるということを意味する。“および／または”という表現は、羅列されたもののうちの一つまたは二つ以上の全ての組み合わせを含む。羅列リストの前に記載される“少なくとも一つ”などの表現は目録リストを修飾するのであり、リスト内のそれぞれのものを修飾するものではない。また、本発明の実施形態を説明する時に使用する“することができる”、“してもよい”という表現は、“本発明の一つ以上の実施形態”に適用可能であるということを意味する。また、“例示的な”という用語は一つの例を示す。“使用”、“利用”などはこれと類似の他の表現と共に類似した意味として使用できる。

【0022】

新たなタイプの表示モジュールと製造方法が展開され、製品仕様が厳格になるにつれて、品質を維持するための装備の改良と品質管理方法が必要である。例えば、生産過程での製造欠陥を監視する必要がある。

【0023】

製造欠陥を監視する方法のうちの一つは、欠陥を識別する専門技術を有している人間監督官（ｈｕｍａｎ ｉｎｓｐｅｃｔｏｒ）を雇用することである。これと関連して、欠陥領域周辺に高解像度（サブミクロンレベル（ｓｕｂ－ｍｉｃｒｏｎ ｌｅｖｅｌ））の画像を得ることができる。人間監督官は得られた画像を検討して、欠陥の種類とその欠陥が歩留まり（ｐｒｏｄｕｃｔｉｏｎ ｙｉｅｌｄ）に与える影響に応じて欠陥をカテゴリに分類する。より詳しくは、人間監督官が数多くの欠陥画像をサンプリングし、多くの時間をかけて特徴を探して分類されていない欠陥画像をカテゴリに分ける。しかし、人間監督官を訓練させるには時間がかかる。訓練したとしても、人間監督官が現在の画像のバッチ（ｃｕｒｒｅｎｔ ｂａｔｃｈ ｏｆ ｉｍａｇｅｓ）で製造欠陥を識別するまでは数週間かかることがあり、これにより人間監督官の仕事を同時にマルチインスタンスに拡張することが難しい。

【0024】

同時にマルチインスタンスに拡張できる速い製造欠陥検出に機械学習（ＭＬ：ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ）モデルを使用することができる。しかし、そのような機械学習モデルが役に立つには、モデルが行う予測が正確でなければならない。また、以前に接したことのない新たなデータセットに対しても正確な予測がなされるようにモデルが一般化されなければならない。

【0025】

一般的には、本発明の実施形態は、深層学習（ｄｅｅｐ ｌｅａｒｎｉｎｇ）機械学習モデルを使用した製造欠陥識別に関するものである。本発明の一実施形態によれば、訓練課程で訓練データセットからノイズのラベル（ｎｏｉｓｙ ｌａｂｅｌｓ）のあるデータ標本（不確かな（ｕｎｃｏｎｆｉｄｅｎｔ）またはノイズデータ（ｎｏｉｓｙ ｄａｔａ）という）を識別することができる。次いで、クリーン（ｃｌｅａｎ）データおよびノイズデータを使用して異常値検出モデル（ｏｕｔｌｉｅｒ ｄｅｔｅｃｔｉｏｎ ｍｏｄｅｌ）（異常値フィルターともいう）を訓練させることができ、異常値検出モデルは、その配置時に（ｄｕｒｉｎｇ ｄｅｐｌｏｙｍｅｎｔ）不確かな／ノイズデータ標本をフィルター処理することができる。このようにすることにより、配置時に欠陥検出モデルが予測するデータが信頼性の高い（ｈｉｇｈ－ｃｏｎｆｉｄｅｎｔ）予測領域に収まり、欠陥検出モデルの予測精度を向上させることができる。

【0026】

本発明の一実施形態によれば、調整閾値超媒介変数（ｔｕｎｉｎｇ ｔｈｒｅｓｈｏｌｄ ｈｙｐｅｒｐａｒａｍｅｔｅｒ）を使用して、異常値フィルターが不確かなデータをフィルター処理するために使用する境界（ｂｏｕｎｄａｒｙ）を調整する。閾値超媒介変数は、棄却率（ｒｅｊｅｃｔｉｏｎ ｒａｔｅ）（またはデータのカバレッジ量（ａｍｏｕｎｔ ｏｆ ｃｏｖｅｒａｇｅ ｏｆ ｔｈｅ ｄａｔａ））と欠陥検出モデルによる予測精度の間のトレードオフ（ｔｒａｄｅｏｆｆ）を考慮して決定することができる。本発明の一実施形態によれば、カバレッジが小さくなれば予測精度が高まる。この例で、精度および／またはカバレッジの観点から現在の要求事項（ｃｕｒｒｅｎｔ ｒｅｑｕｉｒｅｍｅｎｔｓ）の識別に基づいて閾値超媒介変数を選択することができる。

【0027】

図１は、本発明の一実施形態に係る製造過程を通じて生産される製品に関する予測を行うシステムのブロック図である。システムは一つ以上のデータ収集回路（ｄａｔａ ｃｏｌｌｅｃｔｉｏｎ ｃｉｒｃｕｉｔ）１００および分析システム１０２を含むが、これに限定されない。データ収集回路１００は、例えば、製造過程で製品の画像データを得る一つ以上の画像化システム（ｉｍａｇｉｎｇ ｓｙｓｔｅｍ）、例えば、Ｘ線機器（Ｘ－ｒａｙ ｍａｃｈｉｎｅ）、磁気共鳴画像（ＭＲＩ：ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ ｉｍａｇｉｎｇ）装置、透過電子顕微鏡（ＴＥＭ：ｔｒａｎｓｍｉｓｓｉｏｎ ｅｌｅｃｔｒｏｎ ｍｉｃｒｏｓｃｏｐｅ）装置、走査電子顕微鏡（ＳＥＭ：ｓｃａｎｎｉｎｇ ｅｌｅｃｔｒｏｎ ｍｉｃｒｏｓｃｏｐｅ）装置および／またはその類似の装置を含むことができる。データ収集回路１００が収集した画像データは、例えば、エネルギー分散型Ｘ線分光器（ＥＤＳ：ｅｎｅｒｇｙ－ｄｉｓｐｅｒｓｉｖｅ Ｘ－ｒａｙ ｓｐｅｃｔｒｏｓｃｏｐｙ）画像および／または高角環状暗視野（ＨＡＡＤＦ：ｈｉｇｈ－ａｎｇｌｅ ａｎｎｕｌａｒ ｄａｒｋ－ｆｉｅｌｄ）画像など分光器画像（ｓｐｅｃｔｒｏｓｃｏｐｙ ｉｍａｇｅ）、透過電子顕微鏡（ＴＥＭ）画像など顕微鏡画像（ｍｉｃｒｏｓｃｏｐｙ ｉｍａｇｅ）、熱画像（ｔｈｅｒｍａｌ ｉｍａｇｅ）および／またはその類似の画像であり得る。収集データ標本は停止画像に限定されず、ビデオ、文字（ｔｅｘｔ）、ライダー（Ｌｉｄａｒ）データ、レーダー（ｒａｄａｒ）データ、画像融合（ｉｍａｇｅ ｆｕｓｉｏｎ）データ、温度データ、圧力データおよび／またはその類似のデータも含むことができる。

【0028】

データ収集回路１００は、例えば、生産過程で製品を運搬するコンベヤーベルト（ｃｏｎｖｅｙｅｒ ｂｅｌｔ）の上に配置することができる。データ収集回路１００は、製造期間の間に何回（例：毎秒ごとに、または数秒ごとに）製品のデータ標本（例：画像データ）を得ることができる。

【0029】

分析システム１０２は、訓練モジュール（ｔｒａｉｎｉｎｇ ｍｏｄｕｌｅ）１０６および推論モジュール（ｉｎｆｅｒｅｎｃｅ ｍｏｄｕｌｅ）１０８を含むことができる。分析システム１０２の成分は関連メモリ（例：図１のメモリ１０３）を有する一つ以上のプロセッサ（ｐｒｏｃｅｓｓｏｒ）（例：図１のプロセッサ１０１）で実現でき、プロセッサは、例えば、特定用途向け集積回路（ＡＳＩＣ：ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、汎用（ｇｅｎｅｒａｌ ｐｕｒｐｏｓｅ）または専用（ｓｐｅｃｉａｌ ｐｕｒｐｏｓｅ）中央処理装置（ＣＰＵ：ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、デジタル信号プロセッサ（ＤＳＰ：ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、グラフィック処理装置（ＧＰＵ：ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）などのプログラム可能論理装置を含むことができる。訓練モジュール１０６および推論モジュール１０８を別個の機能ユニットとして説明しているが、当業者であれば、本発明の趣旨と範囲を逸脱せず二つのモジュール１０６、１０８の機能を一つのモジュールとして結合または統合するか、さらに小さなモジュールに細分することができることを理解できる。

【0030】

訓練モジュール１０６は、製品製造欠陥分類のために複数の機械学習モデルを生成して訓練させることができる。複数の機械学習モデルの生成および訓練は、データ収集回路１００が提供する訓練データに基づいてもよい。本発明の一実施形態によれば、収集した訓練データセットを使用して欠陥検出モデルを訓練させることができる。欠陥検出モデルは、互いに異なる種類のデータ収集回路１００が収集したデータを使用して独立的に訓練させた二つ以上のニューラルネットワーク（ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）を統合する同時統合モデル（ｊｏｉｎｔ ｆｕｓｉｏｎ ｍｏｄｅｌ）である。欠陥検出モデルは、互いに異なるソースからのデータで訓練させた同時統合モデルである必要はなく、単一のソースから受けたデータを使用して訓練させた、当業者に知られているあるディープニューラルネットワーク（ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）であり得る。

【0031】

本発明の一実施形態によれば、訓練モジュール１０６は、誤ったものと予測されるラベルが付いた訓練データセットからノイズ／不確かなデータを識別する。このようなデータにはそのデータをノイズ／不確かとして識別するラベルを割り当てることができる。残りのデータは、クリーン／信頼できるデータと見ることができる。本発明の一実施形態によれば、クリーン／信頼できるデータと共に、ノイズ／不確かなデータを使用して異常値フィルターを訓練させる。教師あり学習を使用してノイズ／不確かなデータの特徴に基づいて、異常値フィルターの決定境界（ｄｅｃｉｓｉｏｎ ｂｏｕｎｄａｒｙ）を算出することができる。決定境界は、調整閾値超媒介変数を使用してさらに調整することができる。訓練を一旦終えると、異常値フィルターを使用して入力データセットにある不確かな／ノイズデータ標本をフィルター処理することができる。

【0032】

推論モジュール１０８は、欠陥検出モデルに基づいて、推論段階における配置時に製品製造欠陥を分類することができる。この例では、データ収集回路１００が得たデータ標本を異常値フィルターに提供して、データ標本の確信度を識別するようにすることができる。本発明の一実施形態によれば、異常値フィルターは、データ標本が異常値であるか否かを判断する。例えば、データ標本がノイズ／不確かであるとのラベルが付いたデータの特性と合致する場合、そのデータ標本を異常値と識別することができる。

【0033】

本発明の一実施形態によれば、異常値であると確認されたデータ標本は、入力データセットから除去する。この例では、除去したデータ標本は予測のための欠陥検出モデルに提供されない。したがって、欠陥検出モデルに提供したデータは信頼できるデータと見ることができ、これにより推論モジュール１０８の分類精度が向上する。

【0034】

推論モジュール１０８が行う分類は、製品の不良（ｆａｕｌｔｙ）有無の区分、不良品の欠陥カテゴリ分類および／またはその類似の分類を含むことができる。本発明の一実施形態によれば、分析システム１０２は、分類結果に基づいて信号を生成することができる。例えば、その信号は、製品を不良品として分類したことに対する応答として、人間監督官が何かの措置を取ることを促すためのものであってもよい。その措置は、再検査目的で生産ラインからその製品を除去することであってもよい。

【0035】

図２は、本発明の一実施形態に係る製造過程を通じて生産される製品に関する予測を行う方法のフローチャートである。この過程の各段階（ステップ）の順序は固定されたものではなく、当業者が認識する他の順序に変更することができる。

【0036】

ブロック２００で、一つ以上のデータ収集回路１００は生産過程で生産される製品のデータを捕捉する。捕捉されたデータは、例えば、画像データであってもよい。本発明の一実施形態によれば、異種の二つ以上のデータ収集回路１００が、特定の製品の画像データを同時に捕捉することができる。例えば、第１データ収集回路１００は製品のＴＥＭ画像を捕捉し、第２データ収集回路１００は同製品のＨＡＡＤＦ画像を捕捉することができる。

【0037】

データ収集回路１００が捕捉したデータを使用して機械学習モデルを訓練させることができる。この例では、欠陥識別のために、人間監督官がデータ収集回路１００が得た製品の欠陥領域周辺画像を検討し、ラベルを付けることができる。

【0038】

ブロック２０２で、訓練モジュール１０６は、訓練データセットに基づいて欠陥検出モデルを訓練させる。欠陥検出モデルを訓練させるのに使用される訓練データセットは、クリーンデータ標本とノイズデータ標本を全て含む。訓練を受けた欠陥検出モデルは、例えば同時統合モデルであってもよく、これについては２０２０年７月２４日に出願した米国特許出願番号第１６／９３８，８１２号（発明の名称：“Ｉｍａｇｅ－Ｂａｓｅｄ Ｄｅｆｅｃｔｓ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ａｎｄ Ｓｅｍｉ－Ｓｕｐｅｒｖｉｓｅｄ Ｌｏｃａｌｉｚａｔｉｏｎ”）または２０２０年７月２４日に出願した米国特許出願番号第１６／９３８，８５７号（発明の名称：“Ｆｕｓｉｏｎ Ｍｏｄｅｌ Ｔｒａｉｎｉｎｇ Ｕｓｉｎｇ Ｄｉｓｔａｎｃｅ Ｍｅｔｒｉｃｓ”）に記載されており、ここに引用することによってその内容を本願に含む。本発明の一実施形態によれば、欠陥検出モデルは（同時統合モデルでなく）単一機械学習モデルであって、例えば、ランダムフォレスト（ｒａｎｄｏｍ ｆｏｒｅｓｔ）、ＸＧＢｏｏｓｔ（ｅｘｔｒｅｍｅ ｇｒａｄｉｅｎｔ ｂｏｏｓｔｉｎｇ）、ＳＶＭ（ｓｕｐｐｏｒｔ－ｖｅｃｔｏｒ ｍａｃｈｉｎｅ）、ＤＮＮ（ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）および／またはその類似の機械学習アルゴリズムからなる。

【0039】

しかし、人間はミスしやすいため、時には訓練データセットの画像に付けられたラベルを間違うことがある。モデルの精度は、訓練データの精度に依存するので、ラベルエラーは問題になることがある。

【0040】

本発明の一実施形態によれば、訓練モジュール１０６は、ブロック２０４でノイズデータ標本を識別し除去するための確信度学習（ｃｏｎｆｉｄｅｎｔ ｌｅａｒｎｉｎｇ）を行う。本発明の一実施形態によれば、ノイズデータ標本は、人間監督官がラベルを誤って付けたと予想される画像データを含むことができる。本発明の一実施形態によれば、確信度学習はノイズのある（与えられた（ｇｉｖｅｎ））ラベルと汚染されていない（ｕｎｃｏｒｒｕｐｔｅｄ）（真の（ｔｒｕｅ））ラベルの間の同時分布推定（ｅｓｔｉｍａｔｉｏｎ ｏｆ ａ ｊｏｉｎｔ ｄｉｓｔｒｉｂｕｔｉｏｎ）に基づき、これについてはＮｏｒｔｈｃｕｔｔ ｅｔ．ａｌ、“Ｃｏｎｆｉｄｅｎｔ Ｌｅａｒｎｉｎｇ：Ｅｓｔｉｍａｔｉｎｇ Ｕｎｃｅｒｔａｉｎｔｙ ｉｎ Ｄａｔａｓｅｔ Ｌａｂｅｌｓ”（２０２１）（ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１９１１．０００６８ｖ４から確認できる）に具体的に記載されており、ここに引用することによってその内容を本願に含む。

【0041】

欠陥検出モデルの訓練は、確信度学習と同時に行うことができる。このような方式で、欠陥検出モデルの訓練がクリーンデータ標本を使用して行われる先に引用した米国特許出願第１７／３０６，７３７号のものより速く欠陥検出モデルの訓練を終えることができる。

【0042】

本発明の一実施形態によれば、ブロック２０４での確信度学習に応答して、訓練モジュール１０６は、訓練データセットからノイズであると予想するデータ標本を識別し、識別したデータ標本にノイズとしてのラベルを付ける。

【0043】

ブロック２０６で、訓練モジュール１０６は、確信度学習ブロック２０４からのノイズデータ標本およびクリーンデータ標本を使用して異常値フィルターを訓練させる。この例では、訓練モジュール１０６は、欠陥検出モデルからノイズデータの特徴を抽出し、教師あり学習を採用して決定境界を計算する。特性抽出には一つ以上の畳み込みニューラルネットワーク（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）を使用することができる。本発明の一実施形態によれば、訓練モジュール１０６は、ノイズデータとクリーンデータの両方の特徴を全て抽出し、抽出した特徴に基づいて決定境界を計算することができる。計算した決定境界は、クリーンデータからノイズデータを分離する境界を決定することができる。例えば、ロジスティック回帰（Ｌｏｇｉｓｔｉｃ ｒｅｇｒｅｓｓｉｏｎ）のような機械学習アルゴリズムを決定境界の識別に使用することができる。

【0044】

本発明の一実施形態によれば、訓練モジュール１０６は、調整閾値超媒介変数に基づいて決定境界を調整する。調整閾値は、決定境界をフィルター処理されていないノイズデータにどれだけ近づけられるかを制御することができる。境界がノイズデータと近いほど、欠陥予測のために維持するデータ標本のカバレッジ（ｃｏｖｅｒａｇｅ）が大きくなる。しかし、カバレッジが大きくなれば、予測精度は低下することがある。本発明の一実施形態によれば、所望のカバレッジおよび／または精度は入力として入り、訓練モジュール１０６は適切な調整閾値を入ってきた入力の関数として選択する。

【0045】

ブロック２０８で、訓練を受けた異常値フィルターと訓練を受けた欠陥検出モデルとを配置時に使用して、例えば表示パネルのような製品の欠陥を識別する。本発明の一実施形態によれば、推論モジュール１０８は、異常値フィルターを適用して生産過程でデータ収集回路１００が捕捉したデータ標本の確信度を予測する。本発明の一実施形態によれば、異常値フィルターは、データがノイズ／不確かとして分類されるようにする特徴（ｆｅａｔｕｒｅ）／媒介変数（ｐａｒａｍｅｔｅｒ）を有するデータ標本を識別し、そのようなデータ標本を捕捉したデータセットから除去する。除去した不確かなデータ標本は、生産過程に使用する装備の品質低下を起こすことがある異常値データとみることができる。

【0046】

本発明の一実施形態によれば、推論モジュール１０８は、欠陥検出モデルを適用してクリーンで、信頼性の高いデータ標本を作り出す。このような方式で、従来の欠陥検出モデルに比べて欠陥検出モデルの予測精度が高くなり得る。

【0047】

図３は、本発明の一実施形態によるブロック２０４での確信度学習のさらに具体的なフローチャートである。ブロック３００で、訓練モジュール１０６は試験データセットの予測（真の／適合した）ラベルと（人間による）与えられたラベルの間の誤差行列／混同行列（ｃｏｎｆｕｓｉｏｎ ｍａｔｒｉｘ）を計算する。深層学習モデルを適用して、試験データセットでデータ標本の真の／適合したラベルを予測することができる。混同行列は、与えられたラベルと予測されたラベルとの比較に基づいて生成されてもよい。混同行列は、それぞれの予測されたラベルに対する予測されたラベルと与えられたラベルの間の同時分布であってもよい。例えば、リンゴ、ナシ、オレンジ、このように３種類のラベルが与えられた場合、混同行列において、一番目の項目はリンゴと予測されるデータ標本が実際にリンゴと表示される確率を示し、二番目の項目はリンゴと予測されるデータ標本が実際にはナシと表示される確率を示し、三番目の項目はリンゴと予測されるデータ標本が実際にはオレンジと表示される確率を示すことができる。ナシとオレンジの予測についても同様に同時分布を計算することができる。

【0048】

ブロック３０２で、訓練モジュール１０６は、各予測ラベルに対する混同行列に基づいて閾値を計算する。本発明の一実施形態によれば、同時確率値（ｊｏｉｎｔ ｐｒｏｂａｂｉｌｉｔｙ ｖａｌｕｅ）を閾値として使用する。本発明の一実施形態によれば、閾値は予測クラスに対するピーク信号対雑音比（ＰＳＮＲ：ｐｅａｋ ｓｉｇｎａｌ－ｔｏ－ｎｏｉｓｅ ｒａｔｉｏ）に基づくものであってもよく、これは予測クラスに対する同時確率分布（ｊｏｉｎｔ ｐｒｏｂａｂｉｌｉｔｙ ｄｉｓｔｒｉｂｕｔｉｏｎ）に基づいて計算することができる。本発明の一実施形態によれば、特定の予測クラスに対する閾値は、予測された真のラベル（ｐｒｅｄｉｃｔｅｄ ｔｒｕｅ ｌａｂｅｌ）の確率とそのクラスの確率の差に基づくものであってもよい。閾値を計算するための疑似コード（ｐｓｅｕｄｏｃｏｄｅ）の例は次の通りであり得る。

【0049】

Ｏｂｔａｉｎ ａ ｓｅｔ ｏｆ ｐｒｅｄｉｃｔｉｏｎ ｐｒｏｂａｂｉｌｉｔｉｅｓ（ａ ｍａｔｒｉｘ ｏｆ ｓｉｚｅ：ｎ_ｓａｍｐｌｅｓ＊ｎ_ｃｌａｓｓｅｓ）
Ｆｏｒ ｅａｃｈ ｃｌａｓｓ ｃ ｉｎ ｎ_ｃｌａｓｓｅｓ：
Ｃａｌｃｕｌａｔｅ（ｄｉｆｆｅｒｅｎｃｅ ｏｆ ｃｌａｓｓ ｃ）＝（ｐｒｏｂａｂｉｌｉｔｙ ｏｆ ｔｈｅ ｐｒｅｄｉｃｔｅｄ ｔｒｕｅ ｌａｂｅｌ）－（ｔｈｅ ｐｒｏｂａｂｉｌｉｔｙ ｏｆ ｔｈｅ ｃｌａｓｓ ｃ）；（ｓｉｚｅ：ｎ_ｓａｍｐｌｅｓ＊１）
Ｆｉｎｄ ｔｈｅ ｋ－ｔｈ ｓｍａｌｌｅｓｔ ｖａｌｕｅ ｏｆ ｔｈｅ ｄｉｆｆｅｒｅｎｃｅ ｏｆ ｃｌａｓｓ ｃ，ａｓ ｔｈｅ ｔｈｒｅｓｈｏｌｄ ｏｆ ｔｈｅ ｃｌａｓｓ ｃ

【0050】

ブロック３０４で、訓練モジュール１０６は、計算した閾値に基づいて訓練データセットからノイズ、不確かなデータを識別する。例えば、リンゴがナシと表示される同時確率分布が１４％であるとすれば、訓練モジュール１０６はナシと表示されたデータ標本の中のリンゴである確率が最も高い１４％をノイズデータとして識別することができる。本発明の一実施形態によれば、予測された真のラベルとクラスの確率の差がそのクラスに対して設定された閾値より小さい標本をノイズデータ標本として識別する。

【0051】

ブロック３０６で、訓練モジュール１０６は、訓練データセットでノイズデータにラベルを付けフィルター処理する。例えば、訓練モジュール１０６は、ノイズデータに“ノイズ（ｎｏｉｓｙ）”またはその類似のラベルを付けることができる。

【0052】

図４は、本発明の一実施形態による混同行列の一例である。図４の例では、リンゴと予測し実際にもリンゴとラベルが付いたデータ標本の同時確率４００は０．２５である。また、リンゴと予測するが、実際にはナシとラベルが付いたデータ標本の同時確率４０２は０．１４である。

【0053】

図５は、本発明の一実施形態による同時統合モデルとして実現された欠陥検出モデルのブロック図である。同時統合モデルは、第１データ収集回路１００からの第１データ標本セットで訓練を受けた第１ニューラルネットワーク分岐（ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｂｒａｎｃｈ）である第１分岐５００と、第２データ収集回路１００からの第２データ標本セットで訓練を受けた第２ニューラルネットワーク分岐である第２分岐５０２を含む。本発明の一実施形態によれば、訓練モジュール１０６は各分岐を独立的に訓練させ、第１分岐５００と第２分岐５０２を畳み込み層（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｌａｙｅｒ）を通じて同時統合モデル５０４として結合させる。第１データセットが内部的に整列されており、第２データセットも内部的に整列されているが、第１データセットと第２データセットは互いに対して整列されていなくてもよい。本発明の一実施形態によれば、第１データセットは高角環状暗視野（ＨＡＡＤＦ：ｈｉｇｈ－ａｎｇｌｅ ａｎｎｕｌａｒ ｄａｒｋ－ｆｉｅｌｄ）画像と共に使用されるエネルギー分散型Ｘ線分光器（ＥＤＳ：ｅｎｅｒｇｙ－ｄｉｓｐｅｒｓｉｖｅ Ｘ－ｒａｙ ｓｐｅｃｔｒｏｓｃｏｐｙ）画像のような分光器画像を含むことができ、第２データセットは透過電子顕微鏡（ＴＥＭ）画像など顕微鏡画像を含むことができる。

【0054】

本発明の一実施形態によれば、第１分岐５００および第２分岐５０２それぞれは認識モジュール（ａｔｔｅｎｔｉｏｎ ｍｏｄｕｌｅ）を含む。ニューラルネットワーク分岐（例：第１分岐５００または第２分岐５０２）の認識モジュールは、ニューラルネットワーク分岐が受信した画像に空間認識（ｓｐａｔｉａｌ ａｔｔｅｎｔｉｏｎ）を重ね合わせて、欠陥が発生する可能性がある所に表示することができる。例えば、第１分岐５００の第１認識モジュールは第１分岐５００が受信した第１データセットに第１空間認識ヒートマップ（ｈｅａｔ ｍａｐ）を重ね合わせ、第２分岐５０２の第２認識モジュールは第２分岐５０２が受信した第２データセットに第２空間認識ヒートマップを重ね合わせる。認識モジュールは入力画像の最終予測ラベル（エラータイプ／エラー無し）に基づいて調整される（例えば、空間認識ヒートマップに対応する）空間地図網（ｓｐａｃｅ ｍａｐ ｎｅｔｗｏｒｋ）を含むことができる。空間地図網は入力データと最終予測ラベルの間の空間的関係を示すことができる。

【0055】

第１データセットは分光器画像集合であってもよく、様々なチャンネル（この例ではＸ個のチャンネル）で入ることが可能であり、各チャンネルは特定化学元素または組成物と関連するデータを示すことができる。それぞれのニューラルネットワーク分岐は（後述の）ＣＢＡＭ（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｂｌｏｃｋ ａｔｔｅｎｔｉｏｎ ｍｏｄｕｌｅ）形態のチャンネル認識モジュールおよび空間認識モジュールを含むことができる。また、第１分岐５００のように多重画像ソースを使用する分岐は追加チャンネル認識モジュール（ｅｘｔｒａ ｃｈａｎｎｅｌ ａｔｔｅｎｔｉｏｎ ｍｏｄｕｌｅ）を含むことができる。追加チャンネル認識モジュールはどの要素入力チャンネルに注目するかを示す。本発明の一実施形態によれば、同時統合モデルでは全く異なるデータ収集回路１００から得た製品情報が統合されて共に訓練を受けることができて、情報を互いに補完して製品製造欠陥に対する予測を行うようにすることができる。

【0056】

本発明の一実施形態によれば、空間認識モジュールおよびチャンネル認識モジュールは半教師あり方式（ｓｅｍｉ－ｓｕｐｅｒｖｉｓｅｄ ｍａｎｎｅｒ）で訓練を受けるネットワークであって、さらに大きなニューラルネットワーク（例：ニューラルネットワーク分岐）が選択されたチャンネルまたは空間領域から来たデータに加重値を高く与えるようにする。訓練時に空間／チャンネル認識モジュールはどんな特徴がエラーと関連があるか、そして結局どの空間領域またはチャンネルが関連する特徴を通じてエラーと関連があるかを学ぶ。一旦訓練を受けると、このモジュールは大きなニューラルネットワーク構造内で動作して、ニューラルネットワークが領域／チャンネルを選択するのに“より多くの注意を払う”ように（例：その領域／チャンネルと関連する一つ以上の加重値を設定することによって）する。本発明の一実施形態では、認識モジュールがＣＢＡＭ内に含まれ、ＣＢＡＭはフィード－フォワード（ｆｅｅｄ－ｆｏｒｗａｒｄ）畳み込みニューラルネットワーク（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）に対する効果的な認識モジュールである。分光器分岐および顕微鏡分岐は両方とも空間およびチャンネル認識を提供するＣＢＡＭを含むことができる。空間認識はエラー位置と関連した空間ヒートマップであり、チャンネル認識はデータの色／階調（ｃｏｌｏｒ／ｇｒａｙｓｃａｌｅ）チャンネルと関連があってもよい。

【0057】

前述のように、第１分岐５００内には、ＣＢＡＭ以外に追加チャンネル認識モジュールがあってもよい。ＣＢＡＭは空間ヒートマップと色－チャンネル認識特性を提供する。したがって、追加チャンネル認識モジュールは特定の欠陥タイプと関係があるターゲット要素と関連のあるチャンネルに注意を集中することができる。

【0058】

図６は、本発明の一実施形態によって確信度学習と異常値検出学習を行う時の訓練データセットの一例を示す概念的な配置図である。図６に示す実施形態では、データ収集回路１００が得た原本訓練データ標本６００は、例えば同時統合モデルなど欠陥検出モデル６０２を訓練させるために使用される。データ標本は、第１タイプ（例：クリーン／信頼できる）のデータ標本６００ａ～６００ｄと、第２タイプ（例：ノイズ／不確か）のデータ標本６００ｅを含むことができる。クリーンデータ標本６００ａ～６００ｄとノイズデータ標本６００ｅの両方を全て使用して欠陥検出モデルを訓練させることができる。

【0059】

欠陥検出モデルの訓練以外に、訓練モジュール１０６は、ノイズ性データ標本６００ｅ識別のための確信度学習６０４と、ラベルの付いたノイズデータ６０６の生成を行うことができる。訓練モジュール１０６は、次いで訓練データセットの確信度学習６０４に基づいて異常値フィルター６０８の訓練を行うことができる。この例では、クリーンデータ６１２ａ～６１２ｄからノイズデータ６０６を分離するために、一つ以上の決定境界６１０ａ～６１０ｃを算出することができる。欠陥検出モデル６０２から抽出したクリーンデータ６１２ａ～６１２ｄおよび／またはラベルの付いたノイズデータ６０６の特徴に基づいて、教師あり学習を採用して一つ以上の決定境界６１０ａ～６１０ｃを算出することができる。一つ以上の決定境界６１０ａ～６１０ｃは、調整閾値を使用してさらに調整することができる。次いで、推論過程で異常値フィルターを使用してノイズ／不確かなデータ標本からクリーン／信頼できるデータ標本を分離することができる。本発明の一実施形態によれば、データ標本がノイズ／不確かであると予測されれば、そのデータ標本を不良処理し（例：入力データセットから除去し）、欠陥検出モデルはこれらを欠陥予測に使用しない。

【0060】

本発明の一実施形態によれば、前述の製造欠陥識別システムおよび方法は一つ以上の“プロセッサ（ｐｒｏｃｅｓｓｏｒ）”で実現できる。プロセッサという用語は、一つ以上のプロセッサおよび／または一つ以上のプロセッサコア（ｃｏｒｅ）を意味することができる。一つ以上のプロセッサは、一つの装置内に配置されてもよく、多数の装置［例：クラウドシステム（ｃｌｏｕｄ ｓｙｓｔｅｍ）］に分散されてもよい。プロセッサは、例えば、特定用途向け集積回路（ＡＳＩＣ）、汎用または専用中央処理装置（ＣＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、グラフィック処理装置（ＧＰＵ）、ＦＰＧＡなどのプログラム可能論理装置を含むことができる。プロセッサでは、それぞれの関数はその機能を果たす有線ハードウェアまたは非一時的な（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）記録媒体（例：メモリ）に保存された命令を実行するＣＰＵなどの汎用ハードウェアで実行することができる。プロセッサは、一つの印刷回路基板（ＰＣＢ：ｐｒｉｎｔｅｄ ｃｉｒｃｕｉｔ ｂｏａｒｄ）に配置されるか、互いに接続された印刷回路基板に分散配置されることができる。プロセッサは、他のプロセッサを含むことができ、例えば、印刷回路基板の上で互いに接続されたＦＰＧＡとＣＰＵを含むことができる。

【0061】

以上で製造欠陥識別システムおよび方法の実施形態について説明および図示したが、当業者であればこのような実施形態を変更および修正することもできる。したがって、ここで提示した原理によって構成された他の製造欠陥識別システムおよび方法も本発明に含まれる。本発明は次の特許請求の範囲およびその等価物によって定義される。

【符号の説明】

【0062】

１００：データ収集回路
１０１：プロセッサ
１０２：分析システム
１０３：メモリ
１０６：訓練モジュール
１０８：推論モジュール
５００：第１分岐
５０２：第２分岐
５０４：同時統合モデル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】