特開 2022-158968 製造欠陥分類システムおよびその方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022158968

(43)【公開日】2022-10-17

(54)【発明の名称】製造欠陥分類システムおよびその方法

(51)【国際特許分類】

   G06N 20/20 20190101AFI20221006BHJP

   G06N 20/00 20190101ALI20221006BHJP

【ＦＩ】

G06N20/20

G06N20/00

【審査請求】未請求

【請求項の数】20

【出願形態】ＯＬ

(21)【出願番号】P 2022032160

(22)【出願日】2022-03-02

(31)【優先権主張番号】63/169,621

(32)【優先日】2021-04-01

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/306,737

(32)【優先日】2021-05-03

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】512187343

【氏名又は名称】三星ディスプレイ株式會社

【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｄｉｓｐｌａｙ Ｃｏ．，Ｌｔｄ．

【住所又は居所原語表記】１， Ｓａｍｓｕｎｇ－ｒｏ， Ｇｉｈｅｕｎｇ－ｇｕ， Ｙｏｎｇｉｎ－ｓｉ， Ｇｙｅｏｎｇｇｉ－ｄｏ， Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(74)【代理人】

【識別番号】110002619

【氏名又は名称】弁理士法人ＰＯＲＴ

(72)【発明者】

【氏名】ク シューホエイ

(72)【発明者】

【氏名】リ ジャンファン

(72)【発明者】

【氏名】カン ヤン

(57)【要約】

【課題】製造欠陥を正確に予測することである。
【解決手段】本発明の一実施形態による製造欠陥分類方法は、訓練データ集合から第１基準を充足する第１データ標本を識別する段階、前記訓練データ集合から、前記第１データ標本を除去し、第２データ標本を含むフィルター処理された訓練データ集合を出力する段階、第１機械学習モデルを前記フィルター処理された訓練データ集合で訓練させる段階、前記第１データ標本および前記第２データ標本のうちの少なくとも一つに基づいて第２機械学習モデルを訓練させる段階、第１生産製品と関連した第１製品データを受信する段階、前記第２機械学習モデルを前記第１製品データの確信性予測に適用する段階、および前記第１製品データの確信性予測に応答して、前記第１機械学習モデルを前記第１製品データに基づいた分類の生成に適用する段階を含む。
【選択図】図２

【特許請求の範囲】

【請求項1】

訓練データ集合（ｔｒａｉｎｉｎｇ ｄａｔａｓｅｔ）から第１基準（ｃｒｉｔｅｒｉｏｎ）を充足する第１データ標本を識別する段階、
前記訓練データ集合から、前記第１データ標本を除去し、第２データ標本を含むフィルター処理された訓練データ集合（ｆｉｌｔｅｒｅｄ ｔｒａｉｎｉｎｇ ｄａｔａｓｅｔ）を出力する段階、
第１機械学習モデル（ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ ｍｏｄｅｌ）を前記フィルター処理された訓練データ集合で訓練させる段階、
前記第１データ標本および前記第２データ標本のうちの少なくとも一つに基づいて第２機械学習モデルを訓練させる段階、
第１生産製品（ｍａｎｕｆａｃｔｕｒｅｄ ｐｒｏｄｕｃｔ）と関連した第１製品データを受信する段階、
前記第２機械学習モデルを前記第１製品データの確信性（ｃｏｎｆｉｄｅｎｃｅ）予測に適用する段階、および、
前記第１製品データの確信性予測に応答して、前記第１機械学習モデルを前記第１製品データに基づいた分類の生成に適用する段階を含む、製造欠陥分類方法。

【請求項2】

前記第１基準は、設定閾値（ｓｅｔ ｔｈｒｅｓｈｏｌｄ）の下の確信性水準である、請求項１に記載の製造欠陥分類方法。

【請求項3】

前記第２データ標本は、設定閾値の上の確信性水準と関連がある、請求項１に記載の製造欠陥分類方法。

【請求項4】

前記第２機械学習モデルを訓練させる段階は、前記第２データ標本に基づいて教師なし学習（ｕｎｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）を適用する段階を含み、
前記第２データ標本は、特定クラス（ｃｌａｓｓ）と関連がある、請求項１に記載の製造欠陥分類方法。

【請求項5】

前記第２機械学習モデルを訓練させる段階は、
前記特定クラスと関連のある群集（ｃｌｕｓｔｅｒ）を識別する段階、および、
調整閾値に基づいて前記群集の境界（ｂｏｕｎｄａｒｙ）を調整する段階
をさらに含み、
前記第１製品データが前記群集の前記境界内にあるという判断に応答して、前記第１機械学習モデルを前記分類の生成に適用する、請求項４に記載の製造欠陥分類方法。

【請求項6】

前記第２機械学習モデルを訓練させる段階は、前記第１および第２データ標本に基づいて教師あり学習（ｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）を適用する段階を含み、
前記第１データ標本は第１データ類型として識別され、前記第２データ標本は第２データ類型として識別される、請求項１に記載の製造欠陥分類方法。

【請求項7】

前記第２機械学習モデルを訓練させる段階は、
前記第２データ類型から前記第１データ類型を分離する決定境界（ｄｅｃｉｓｉｏｎ ｂｏｕｎｄａｒｙ）を識別する段階、および、
前記調整閾値に基づいて前記決定境界を調整する段階
をさらに含み、
前記第１製品データが前記第２データ類型に属するという判断に応答して前記分類の生成に前記第１機械学習モデルを適用する、請求項６に記載の製造欠陥分類方法。

【請求項8】

第２生産製品と関連した第２製品データを識別する段階、
前記第２機械学習モデルを前記第２製品データの確信性予測に適用する段階、および、
前記第２製品データの前記確信性に基づいて前記第２製品データを不良処理する段階
をさらに含む、請求項１に記載の製造欠陥分類方法。

【請求項9】

前記分類に基づいて信号を生成する段階をさらに含み、
前記信号は、一つの動作を触発させる、請求項１に記載の製造欠陥分類方法。

【請求項10】

プロセッサ、および
命令（ｉｎｓｔｒｕｃｔｉｏｎ）を保存するメモリ
を含み、
前記プロセッサが前記命令を実行すると、前記プロセッサは、
訓練データ集合（ｔｒａｉｎｉｎｇ ｄａｔａｓｅｔ）から第１基準（ｃｒｉｔｅｒｉｏｎ）を充足する第１データ標本を識別し、
前記訓練データ集合から、前記第１データ標本を除去し、第２データ標本を含むフィルター処理された訓練データ集合（ｆｉｌｔｅｒｅｄ ｔｒａｉｎｉｎｇ ｄａｔａｓｅｔ）を出力し、
第１機械学習モデル（ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ ｍｏｄｅｌ）を前記フィルター処理された訓練データ集合で訓練させ、
前記第１データ標本および前記第２データ標本のうちの少なくとも一つに基づいて第２機械学習モデルを訓練させ、
第１生産製品（ｍａｎｕｆａｃｔｕｒｅｄ ｐｒｏｄｕｃｔ）と関連した第１製品データを受信し、
前記第２機械学習モデルを前記第１製品データの確信性（ｃｏｎｆｉｄｅｎｃｅ）予測に適用し、
前記第１製品データの確信性予測に応答して、前記第１機械学習モデルを前記第１製品データに基づいた分類の生成に適用する、製造欠陥分類システム。

【請求項11】

前記第１基準は、設定閾値（ｓｅｔ ｔｈｒｅｓｈｏｌｄ）の下の確信性水準である、請求項１０に記載の製造欠陥分類システム。

【請求項12】

前記第２データ標本は、設定閾値の上の確信性水準と関連がある、請求項１０に記載の製造欠陥分類システム。

【請求項13】

前記第２機械学習モデルの訓練は、前記第２データ標本に基づいて教師なし学習（ｕｎｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）を適用することを含み、
前記第２データ標本は、特定クラス（ｃｌａｓｓ）と関連がある、請求項１０に記載の製造欠陥分類システム。

【請求項14】

前記第２機械学習モデルの訓練は、
前記特定クラスと関連のある群集（ｃｌｕｓｔｅｒ）を識別し、
調整閾値に基づいて前記群集の境界（ｂｏｕｎｄａｒｙ）を調整することをさらに含み、
前記第１製品データが前記群集の前記境界内にあるという判断に応答して、前記第１機械学習モデルを前記分類の生成に適用する、請求項１３に記載の製造欠陥分類システム。

【請求項15】

前記第２機械学習モデルの訓練は、前記第１および第２データ標本に基づいて教師あり学習（ｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）を適用することを含み、
前記第１データ標本は第１データ類型として識別され、前記第２データ標本は第２データ類型として識別される、請求項１０に記載の製造欠陥分類システム。

【請求項16】

前記第２機械学習モデルの訓練は、
前記第２データ類型から前記第１データ類型を分離する決定境界（ｄｅｃｉｓｉｏｎ ｂｏｕｎｄａｒｙ）を識別し、
前記調整閾値に基づいて前記決定境界を調整することをさらに含み、
前記第１製品データが前記第２データ類型に属するという判断に応答して前記分類の生成に前記第１機械学習モデルを適用する、請求項１５に記載の製造欠陥分類システム。

【請求項17】

前記プロセッサが前記命令を実行すれば前記プロセッサは追加的に、
第２生産製品と関連した第２製品データを識別し、
前記第２機械学習モデルを前記第２製品データの確信性予測に適用し、
前記第２製品データの前記確信性に基づいて前記第２製品データを不良処理する、請求項１０に記載の製造欠陥分類システム。

【請求項18】

前記プロセッサが前記命令を実行すれば前記プロセッサは、追加的に前記分類に基づいて信号を生成し、
前記信号は、一つの動作を触発させる、請求項１０に記載の製造欠陥分類システム。

【請求項19】

入力データ集合を収集するデータ収集回路、および
前記データ収集回路と連結され、論理を有する処理回路
を含み、
前記論理は、
訓練データ集合（ｔｒａｉｎｉｎｇ ｄａｔａｓｅｔ）から第１基準（ｃｒｉｔｅｒｉｏｎ）を充足する第１データ標本を識別し、
前記訓練データ集合から、前記第１データ標本を除去し、第２データ標本を含むフィルター処理された訓練データ集合（ｆｉｌｔｅｒｅｄ ｔｒａｉｎｉｎｇ ｄａｔａｓｅｔ）を出力し、
第１機械学習モデル（ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ ｍｏｄｅｌ）を前記フィルター処理された訓練データ集合で訓練させ、
前記第１データ標本および前記第２データ標本のうちの少なくとも一つに基づいて第２機械学習モデルを訓練させ、
生産製品（ｍａｎｕｆａｃｔｕｒｅｄ ｐｒｏｄｕｃｔ）と関連した製品データを受信し、
前記第２機械学習モデルを前記製品データの確信性（ｃｏｎｆｉｄｅｎｃｅ）予測に適用し、
前記製品データの確信性予測に応答して、前記第１機械学習モデルを前記製品データに基づいた分類の生成に適用する、製造欠陥分類システム。

【請求項20】

前記第１基準は、設定閾値（ｓｅｔ ｔｈｒｅｓｈｏｌｄ）の下の確信性水準である、請求項１９に記載の製造欠陥分類システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、製造欠陥分類システムおよび方法に関するものである。

【0002】

本出願は２０２１年４月１日に米国特許庁に出願した米国特許出願番号第６３／１６９，６２１号（発明の名称：ＩＤＥＮＴＩＦＹ ＭＡＮＵＦＡＣＴＵＲＩＮＧ ＤＩＳＰＬＡＹ ＩＭＡＧＥ ＤＥＦＥＣＴ ＴＹＰＥＳ ＷＩＴＨ ＴＷＯ－ＳＴＡＧＥ ＲＥＪＥＣＴＩＯＮ－ＢＡＳＥＤ ＭＥＴＨＯＤ）の優先権を主張し、米国特許出願番号第６３／１６９，６２１号の全体内容は本出願に参照として引用される。

【背景技術】

【0003】

近年、モバイル表示装置産業が急激に成長し、新たな類型の表示板モジュールと生産方法を使用することによって、既存の方法のみでは表面欠陥を見付けることが難しくなっている。そこで、例えば、製作した表示板モジュールが不良であるか否かを人工知能（ＡＩ：ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ）を使用して自動的に予測することが好ましい。

【0004】

実際に、表示板モジュールだけでなく他のハードウェア製品に対しても人工知能を使用して欠陥を予測することが好ましい。

【0005】

背景技術に記載した情報は本発明の理解を高めるためのものであり、当業者にすでに知られた従来技術に該当しない情報を含む。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】米国特許第１０４３６７０２号明細書

【特許文献2】米国特許出願公開第２０２０／０３１１６１５号明細書

【発明の概要】

【発明が解決しようとする課題】

【0007】

本発明が解決しようとする課題は、製造欠陥を正確に予測することである。

【課題を解決するための手段】

【0008】

本発明の一実施形態による製造欠陥分類方法は、訓練データ集合（ｔｒａｉｎｉｎｇ ｄａｔａｓｅｔ）から第１基準（ｃｒｉｔｅｒｉｏｎ）を充足する第１データ標本を識別する段階、前記訓練データ集合から、前記第１データ標本を除去し、第２データ標本を含むフィルター処理された訓練データ集合（ｆｉｌｔｅｒｅｄ ｔｒａｉｎｉｎｇ ｄａｔａｓｅｔ）を出力する段階、第１機械学習モデル（ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ ｍｏｄｅｌ）を前記フィルター処理された訓練データ集合で訓練させる段階、前記第１データ標本および前記第２データ標本のうちの少なくとも一つに基づいて第２機械学習モデルを訓練させる段階、第１生産製品（ｍａｎｕｆａｃｔｕｒｅｄ ｐｒｏｄｕｃｔ）と関連した第１製品データを受信する段階、前記第２機械学習モデルを前記第１製品データの確信性（ｃｏｎｆｉｄｅｎｃｅ）予測に適用する段階、および、前記第１製品データの確信性予測に応答して、前記第１機械学習モデルを前記第１製品データに基づいた分類の生成に適用する段階を含む。

【0009】

前記第１基準は、設定閾値（ｓｅｔ ｔｈｒｅｓｈｏｌｄ）の下の確信性水準であってよい。

【0010】

前記第２データ標本は、設定閾値の上の確信性水準と関連があってよい。

【0011】

前記第２機械学習モデルを訓練させる段階は前記第２データ標本に基づいて教師なし学習（ｕｎｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）を適用する段階を含み、前記第２データ標本は特定クラス（ｃｌａｓｓ）と関連があってよい。

【0012】

前記第２機械学習モデルを訓練させる段階は、前記特定クラスと関連のある群集（ｃｌｕｓｔｅｒ）を識別する段階、および調整閾値に基づいて前記群集の境界（ｂｏｕｎｄａｒｙ）を調整する段階をさらに含み、前記第１製品データが前記群集の前記境界内にあるという判断に応答して、前記第１機械学習モデルを前記分類の生成に適用されてよい。

【0013】

前記第２機械学習モデルを訓練させる段階は前記第１および第２データ標本に基づいて教師あり学習（ｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）を適用する段階を含み、前記第１データ標本は第１データ類型として識別され、前記第２データ標本は第２データ類型として識別されてよい。

【0014】

前記第２機械学習モデルを訓練させる段階は前記第２データ類型から前記第１データ類型を分離する決定境界（ｄｅｃｉｓｉｏｎ ｂｏｕｎｄａｒｙ）を識別する段階、および前記調整閾値に基づいて前記決定境界を調整する段階をさらに含み、前記第１製品データが前記第２データ類型に属するという判断に応答して前記分類の生成に前記第１機械学習モデルが適用されてよい。

【0015】

第２生産製品と関連した第２製品データを識別する段階、前記第２機械学習モデルを前記第２製品データの確信性予測に適用する段階、および前記第２製品データの前記確信性に基づいて前記第２製品データを不良処理する段階をさらに含んでよい。

【0016】

前記分類に基づいて信号を生成する段階をさらに含み、前記信号は一つの動作をトリガするためのものである。

【0017】

本発明の一実施形態による製造欠陥分類システムはプロセッサ、およびメモリを含む。メモリは、命令（ｉｎｓｔｒｕｃｔｉｏｎ）を保存し、前記プロセッサが前記命令を実行すると、前記プロセッサは訓練データ集合（ｔｒａｉｎｉｎｇ ｄａｔａｓｅｔ）から第１基準（ｃｒｉｔｅｒｉｏｎ）を充足する第１データ標本を識別し、前記訓練データ集合から、前記第１データ標本を除去し、第２データ標本を含むフィルター処理された訓練データ集合（ｆｉｌｔｅｒｅｄ ｔｒａｉｎｉｎｇ ｄａｔａｓｅｔ）を出力し、第１機械学習モデル（ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ ｍｏｄｅｌ）を前記フィルター処理された訓練データ集合で訓練させ、前記第１データ標本および前記第２データ標本のうちの少なくとも一つに基づいて第２機械学習モデルを訓練させ、第１生産製品（ｍａｎｕｆａｃｔｕｒｅｄ ｐｒｏｄｕｃｔ）と関連した第１製品データを受信し、前記第２機械学習モデルを前記第１製品データの確信性（ｃｏｎｆｉｄｅｎｃｅ）予測に適用し、前記第１製品データの確信性予測に応答して、前記第１機械学習モデルを前記第１製品データに基づいた分類の生成に適用する。

【0018】

前記第１基準は、設定閾値（ｓｅｔ ｔｈｒｅｓｈｏｌｄ）の下の確信性水準であってよい。

【0019】

前記第２データ標本は、設定閾値の上の確信性水準と関連があってよい。

【0020】

前記第２機械学習モデルの訓練は前記第２データ標本に基づいて教師なし学習（ｕｎｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）を適用することを含み、前記第２データ標本は特定クラス（ｃｌａｓｓ）と関連があってよい。

【0021】

前記第２機械学習モデルの訓練は前記特定クラスと関連のある群集（ｃｌｕｓｔｅｒ）を識別し、調整閾値に基づいて前記群集の境界（ｂｏｕｎｄａｒｙ）を調整することをさらに含み、前記第１製品データが前記群集の前記境界内にあるという判断に応答して、前記第１機械学習モデルを前記分類の生成に適用されてよい。

【0022】

前記第２機械学習モデルの訓練は前記第１および第２データ標本に基づいて教師あり学習（ｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）を適用することを含み、前記第１データ標本は第１データ類型として識別され、前記第２データ標本は第２データ類型として識別されてよい。

【0023】

前記第２機械学習モデルの訓練は前記第２データ類型から前記第１データ類型を分離する決定境界（ｄｅｃｉｓｉｏｎ ｂｏｕｎｄａｒｙ）を識別し、前記調整閾値に基づいて前記決定境界を調整することをさらに含み、前記第１製品データが前記第２データ類型に属するという判断に応答して前記分類の生成に前記第１機械学習モデルが適用されてよい。

【0024】

前記プロセッサが前記命令を実行すると、前記プロセッサは追加的に、第２生産製品と関連した第２製品データを識別し、前記第２機械学習モデルを前記第２製品データの確信性予測に適用し、前記第２製品データの前記確信性に基づいて前記第２製品データを不良処理する。

【0025】

前記プロセッサが前記命令を実行すれば前記プロセッサは追加的に前記分類に基づいて信号を生成し、前記信号は一つの動作をトリガするためのものであってよい。

【0026】

本発明の他の実施形態による製造欠陥分類システムは、入力データ集合を収集するデータ収集回路、および前記データ収集回路と連結され論理を有する処理回路を含み、前記論理は、訓練データ集合（ｔｒａｉｎｉｎｇ ｄａｔａｓｅｔ）から第１基準（ｃｒｉｔｅｒｉｏｎ）を充足する第１データ標本を識別し、前記訓練データ集合から、前記第１データ標本を除去し、第２データ標本を含むフィルター処理された訓練データ集合（ｆｉｌｔｅｒｅｄ ｔｒａｉｎｉｎｇ ｄａｔａｓｅｔ）を出力し、第１機械学習モデル（ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ ｍｏｄｅｌ）を前記フィルター処理された訓練データ集合で訓練させ、前記第１データ標本および前記第２データ標本のうちの少なくとも一つに基づいて第２機械学習モデルを訓練させ、生産製品（ｍａｎｕｆａｃｔｕｒｅｄ ｐｒｏｄｕｃｔ）と関連した製品データを受信し、前記第２機械学習モデルを前記製品データの確信性（ｃｏｎｆｉｄｅｎｃｅ）予測に適用し、前記製品データの確信性予測に応答して、前記第１機械学習モデルを前記製品データに基づいた分類の生成に適用する。

【0027】

前記第１基準は、設定閾値（ｓｅｔ ｔｈｒｅｓｈｏｌｄ）の下の確信性水準であってよい。

【発明の効果】

【0028】

このように訓練および推論過程で確信性の低いデータ標本をフィルター処理することによって、分布の外の標本による影響を最少化することで、対象になるデータ標本（ｃｏｖｅｒｅｄ ｄａｔａ ｓａｍｐｌｅｓ）の予測正確度を高めことができる。

【図面の簡単な説明】

【0029】

【図1】本発明の一実施形態によって製造過程を通じて生産される製品に関する予測を行うシステムのブロック図である。

【図2】本発明の一実施形態によって製造過程を通じて生産される製品に関する予測を行う方法のフローチャートである。

【図3】本発明の一実施形態による確信性学習過程のさらに具体的なフローチャートである。

【図4】本発明の一実施形態による混同行列（ｃｏｎｆｕｓｉｏｎ ｍａｔｒｉｘ）の例である。

【図5】本発明の一実施形態による同時融合モデルとして実現された欠陥検出モデルのブロック図である。

【図6】本発明の一実施形態による予測段階で異常値フィルターがフィルター処理するデータの概念的な配置図である。

【図7】本発明の一実施形態によって調整閾値を選択する時の正確度と対象範囲の間のトレードオフを示すグラフである。

【図8】本発明の一実施形態によって対象範囲と正確度の関数に応じて計算された調整閾値の一例を示すグラフである。

【発明を実施するための形態】

【0030】

以下、添付した図面を参照して本発明の実施形態について詳細に説明する。しかし、本発明は様々な異なる形態で実現でき、ここで説明する実施形態に限定されない。このような実施形態を例示することによって発明の詳細な説明がより明確になり、発明の多様な側面と特徴を当業者に十分伝えることが可能である。したがって、当業者が本発明の多様な側面と特徴を完全に理解するために省略可能な過程、装置、技術などは説明を省略する。特別な説明がない限り、図面と明細書全体を通して同一の符号は同一の構成要素を示し、重複する説明は省略される場合がある。また、図面において、部分、層、領域の大きさは明瞭な理解のために誇張されること、又は、単純化されることがある。

【0031】

新たな類型の表示モジュールと製造方法が使用され、製品仕様が厳格になるにつれて品質を維持するための装備の改良と品質管理方法が必要である。例えば、生産過程での製造欠陥を監視する必要がある。

【0032】

製造欠陥を監視する方法のうちの一つは、欠陥を識別する専門技術を有している人間の検査役（ｈｕｍａｎ ｉｎｓｐｅｃｔｏｒ）を雇用することである。これと関連して、欠陥領域周辺に高解像度［マイクロメーター以下レベル（ｓｕｂ－ｍｉｃｒｏｎ ｌｅｖｅｌ）］画像を得ることができる。人間の検査役は得られた画像を検討して、欠陥の種類とその欠陥が収率（ｐｒｏｄｕｃｔｉｏｎ ｙｉｅｌｄ）に与える影響によって欠陥をカテゴリーに分類する。より詳しくは、人間の検査役が数多くの欠陥画像をサンプリングし多くの時間をかけて特徴を探して分類されていない欠陥画像をカテゴリーに分けることができる。しかし、人間の検査役の訓練は時間を要する。また、訓練したとしても、人間の検査役が現在の画像バッチ（ｃｕｒｒｅｎｔ ｂａｔｃｈ ｏｆ ｉｍａｇｅｓ）で製造欠陥を識別するまでは数週間かかることがあり、これにより人間の検査役の仕事を同時に様々なインスタンスに拡張するのが難しい。

【0033】

同時に様々な事例に拡張できる速い製造欠陥検出に機械学習（ＭＬ：ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ）モデルを使用することができる。しかし、そのような機械学習モデルが役に立つためには、当該モデルが行う予測が正確でなければならない。また、以前に接したことのない新たなデータ集合に対しても正確な予測がなされるように当該モデルが一般化されなければならない。

【0034】

しかし、多様な要素が機械学習モデルの性能を低下させることがある。そのような要素のうちの一つは、訓練データ（ｔｒａｉｎｉｎｇ ｄａｔａ）の誤ったラベリング（ｌａｂｅｌｉｎｇ）であって、ラベルノイズ（ｌａｂｅｌ ｎｏｉｓｅ）と呼ばれる。誤ったラベリングは、例えば、ヒューマンエラーから始まることがある。例えば、訓練に使用される画像が、ある種類の製造欠陥を示すラベルが付いていることがあるが、実際には欠陥が事実上存在しない、又は、欠陥が存在しても人間が識別した欠陥の種類が違う場合がある。誤ったラベルを使用して機械学習モデルを訓練させれば、機械学習モデルの予測正確度が低下する。

【0035】

機械学習モデルを使用する時に発生する他の問題は、モデルを訓練させる時に小さなデータ集合を使用することによることである。データの高次元（ｄｉｍｅｎｓｉｏｎａｌｉｔｙ）に比べてまばらなデータ集合はモデルの過剰適合（ｏｖｅｒｆｉｔｔｉｎｇ）をもたらすことがある。モデルが過剰適合であれば、誤ったラベリングのデータが不良処理されず、モデルによって学習されることがある。これによって誤ったラベリングのデータに基づいて配置（ｄｅｐｌｏｙｍｅｎｔ）する間に予測が行われることがあり、これによりモデルが新たな、初めて見るデータに正常に作動しないこともある。

【0036】

一般に、本発明の実施形態は、深層学習（ｄｅｅｐ ｌｅａｒｎｉｎｇ）機械学習モデルを使用した製造欠陥識別に関するものである。本発明の一実施形態によると、不確信性（ｕｎｃｏｎｆｉｄｅｎｔ）［雑音性（ｎｏｉｓｙ）ともいう］データをフィルター処理するために、二段接近法（ｔｗｏ－ｓｔａｇｅ ａｐｐｒｏａｃｈ）が使用される。その観点で、欠陥検出モデル（ｄｅｆｅｃｔ ｄｅｔｅｃｔｉｏｎ ｍｏｄｅｌ）が、確信性（ｃｏｎｆｉｄｅｎｔ）（無欠（ｃｌｅａｎ）とも言われる）のある訓練データ集合を使って訓練されるように、訓練データ集合におけるノイズラベルがあるデータ標本が第１機械学習モデルを訓練するために取り除かれる。不確信性（ｕｎｃｏｎｆｉｄｅｎｔ）（雑音性（ｎｏｉｓｙ）とも言われる）データは、それから、雑音性／不確信性データ標本をフィルターする間使用される、第２深層学習機会学習モデル（異常値検出モデル（ｏｕｔｌｉｅｒ ｄｅｔｅｃｔｉｏｎ ｍｏｄｅｌ）又は異常値フィルターとも言われる）を訓練するために使用されてもよい。このようにすることにより、欠陥検出モデルが予測するデータが高い確信性（ｈｉｇｈ－ｃｏｎｆｉｄｅｎｔ）予測領域に入って、欠陥検出モデルの予測正確度を向上させることができる。

【0037】

本発明の一実施形態によると、調整閾値ハイパーパラメータ（ｔｕｎｉｎｇ ｔｈｒｅｓｈｏｌｄ ｈｙｐｅｒｐａｒａｍｅｔｅｒ）を使用して異常値フィルターが不確信性データをフィルター処理するのに使用する境界（ｂｏｕｎｄａｒｙ）を調整する。閾値ハイパーパラメータは、拒否率（ｒｅｊｅｃｔｉｏｎ ｒａｔｅ）［またはデータ対象範囲（ａｍｏｕｎｔ ｏｆ ｃｏｖｅｒａｇｅ ｏｆ ｔｈｅ ｄａｔａ）］と欠陥検出モデルの予測正確度の間のトレードオフ（ｔｒａｄｅｏｆｆ）を考慮して決定することができる。本発明の一実施形態によると、対象範囲が小さくなれば予測正確度が高まる。この例で、正確度および／または対象範囲の側面で現在要求事項（ｃｕｒｒｅｎｔ ｒｅｑｕｉｒｅｍｅｎｔｓ）の識別に基づいて閾値ハイパーパラメータを選択することができる。

【0038】

図１は、本発明の一実施形態によって製造過程を通じて生産される製品に関する予測を行うシステムのブロック図である。システムは一つ以上のデータ収集回路（ｄａｔａ ｃｏｌｌｅｃｔｉｏｎ ｃｉｒｃｕｉｔ）１００および分析システム１０２を含むが、これに限定されない。データ収集回路１００は、例えば、製造過程で製品の画像データを得る一つ以上の画像化システム（ｉｍａｇｉｎｇ ｓｙｓｔｅｍ）、例えば、Ｘ線機器（Ｘ－ｒａｙ ｍａｃｈｉｎｅ）、磁気共鳴画像（ＭＲＩ：ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ ｉｍａｇｉｎｇ）装置、透過電子顕微鏡（ＴＥＭ：ｔｒａｎｓｍｉｓｓｉｏｎ ｅｌｅｃｔｒｏｎ ｍｉｃｒｏｓｃｏｐｅ）装置、走査電子顕微鏡（ＳＥＭ：ｓｃａｎｎｉｎｇ ｅｌｅｃｔｒｏｎ ｍｉｃｒｏｓｃｏｐｅ）装置および／またはその類似の装置を含むことができる。データ収集回路１００が収集した画像データは、例えば、エネルギー分散型Ｘ線分光器（ＥＤＳ：ｅｎｅｒｇｙ－ｄｉｓｐｅｒｓｉｖｅ Ｘ－ｒａｙ ｓｐｅｃｔｒｏｓｃｏｐｙ）画像および／または高角環状暗視野（ＨＡＡＤＦ：ｈｉｇｈ－ａｎｇｌｅ ａｎｎｕｌａｒ ｄａｒｋ－ｆｉｅｌｄ）画像など分光器画像（ｓｐｅｃｔｒｏｓｃｏｐｙ ｉｍａｇｅ）、透過電子顕微鏡（ＴＥＭ）画像など顕微鏡画像（ｍｉｃｒｏｓｃｏｐｙ ｉｍａｇｅ）、熱画像（ｔｈｅｒｍａｌ ｉｍａｇｅ）および／またはその類似の画像であり得る。収集データ標本は停止画像に限定されず、ビデオ、文字（ｔｅｘｔ）、ライダー（Ｌｉｄａｒ）データ、レーダー（ｒａｄａｒ）データ、画像融合（ｉｍａｇｅ ｆｕｓｉｏｎ）データ、温度データ、圧力データおよび／またはその類似のデータも含むことができる。

【0039】

データ収集回路１００は、例えば、生産過程で製品を運搬するコンベヤーベルト（ｃｏｎｖｅｙｅｒ ｂｅｌｔ）の上に配置することができる。データ収集回路１００は、一周期の製造期間の間に複数回（例：毎秒ごとに、または数秒間隔で）、製品のデータ標本（例：画像データ）を得ることができる。

【0040】

分析システム１０２は、訓練モジュール（ｔｒａｉｎｉｎｇ ｍｏｄｕｌｅ）１０６および推論モジュール（ｉｎｆｅｒｅｎｃｅ ｍｏｄｕｌｅ）１０８を含むことができる。訓練モジュール１０６および推論モジュール１０８を別個の機能単位（ｆｕｎｃｔｉｏｎａｌ ｕｎｉｔ）として説明しているが、当業者であれば、本発明の趣旨と範囲を逸脱せず二つのモジュール１０６、１０８の機能を一つのモジュールとして結合または統合するか、さらに小さなモジュールに細分することができることが理解される。分析システム１０２の成分は連関メモリ［例：図１のメモリ１０３］を有する一つ以上のプロセッサ（ｐｒｏｃｅｓｓｏｒ）［例：図１のプロセッサ１０１］で実現でき、プロセッサ１０１は、例えば、特定用途向け集積回路（ＡＳＩＣ：ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、汎用（ｇｅｎｅｒａｌ ｐｕｒｐｏｓｅ）または専用（ｓｐｅｃｉａｌ ｐｕｒｐｏｓｅ）中央処理装置（ＣＰＵ：ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、デジタル信号プロセッサ（ＤＳＰ：ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、グラフィック処理装置（ＧＰＵ：ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）などのプログラム可能論理装置を含むことができる。

【0041】

訓練モジュール１０６は、製品製造欠陥を分類するのに使用する複数の機械学習モデルを生成して訓練させることができる。複数の機械学習モデルの生成および訓練は、データ収集回路１００が提供する訓練データに基づくことであり得る。本発明の一実施形態によると、２つの個別段階で二つの機械学習モデルを訓練させる。第1段階で、無欠訓練データ集合のみを使用して欠陥検出モデルを訓練させることができる。この観点において、無欠訓練データ集合を生成するために、試験データ集合（ｔｅｓｔ ｄａｔａｓｅｔ）から誤ったものとして識別される、雑音性／不確信性データを有するラベルが除去される。

【0042】

本発明の一実施形態によると、欠陥検出モデルは、統合されて共に訓練を受けた互いに異なる種類のデータ収集回路１００からの無欠試験データ集合を使用して訓練を受けた同時融合モデル（ｊｏｉｎｔ ｆｕｓｉｏｎ ｍｏｄｅｌ）である。欠陥検出モデルが同時融合モデルである必要はないが、単一のソースから受けた情報を使用して訓練を受けた、当業者に知られているあらゆる深層神経網（ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）であり得る。

【0043】

第２段階で、異常値フィルターは配置している間雑音性／不確信性データ標本をフィルター処理するために訓練されてもよい。本発明の一実施形態によると、異常値フィルターの訓練には第1段階で識別した無欠訓練データ標本に基づき教師なし学習（ｕｎｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）を使用する。本発明の一実施形態によると、異常値フィルターの訓練は第1段階で雑音性／不確信性であるとラベルが付いたデータ標本に基づき教師あり学習を使用する。分類群集（ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｃｌｕｓｔｅｒ）または決定境界（ｄｅｃｉｓｉｏｎ ｂｏｕｎｄａｒｙ）の大きさは識別した調整閾値ハイパーパラメータによって変わることがある。

【0044】

推論モジュール１０８は、推論段階で配置過程で製品製造欠陥を分類することができる。この例で、データ収集回路１００が得られたデータ標本を異常値フィルターに提供してデータ標本の確信性有無を識別するようにすることができる。本発明の一実施形態によると、異常値フィルターはデータ標本が異常値であるか否かを判断する。例えば、データ標本が無欠訓練データに基づいて生成された分類群集のうちの一つに入らない場合、そのデータ標本を異常値として識別することができる。本発明の他の実施形態によると、データ標本が雑音性／不確信性であるとのラベルが付いたデータの特性と合致する場合、そのデータ標本を異常値と認めることができる。

【0045】

本発明の一実施形態によると、異常値であると確認されたデータ標本は除去される。この例で、除去されたデータ標本は予測のために欠陥検出モデルに提供されない。したがって、欠陥検出モデルに提供したデータは確信性データと見ることができ、これにより欠陥検出モデルの分類正確度が向上する。欠陥検出モデルが行う分類は、製品の不良（ｆａｕｌｔｙ）有無区分、不良品の欠陥カテゴリー分類および／またはその類似の分類を含むことができる。本発明の一実施形態によると、分析システム１０２は分類結果によって信号を生成することができる。例えば、その信号は、製品を不良品として分類したことに対する応答として人間の検査役が何かの措置を取ることを促すためのものであり得る。その措置は、再検査目的で生産ラインからその製品を除去することであり得る。

【0046】

図２は、本発明の一実施形態によって製造過程を通じて生産される製品に関する予測を行う方法のフローチャートである。この過程の段階の順序は限定されたものでなく、当業者が認識する他の順序に変わってもよい。

【0047】

ブロック２００で、一つ以上のデータ収集回路１００は生産過程で生産される製品のデータを捕捉する。捕捉されたデータは、例えば、画像データであり得る。本発明の一実施形態によると、全く異なる二つ以上のデータ収集回路１００が特定製品の画像データを同時に捕捉することができる。例えば、第１データ収集回路１００は製品のＴＥＭ画像を捕捉し、第２データ収集回路１００は同製品のＨＡＡＤＦ画像を捕捉することができる。

【0048】

データ収集回路１００が捕捉したデータを使用して機械学習モデルを訓練させることができる。この例で、欠陥識別のために人間の検査役がデータ収集回路１００が得た製品の欠陥領域周辺画像を検討しラベルを付けることができる。しかし、人間は失策しやすいため、時には画像に添付されたラベルが間違われることがある。モデルの正確度は訓練データの正確度に依存するため、ラベルエラーは問題になることがある。

【0049】

本発明の一実施形態によると、訓練モジュール１０６はブロック２０２で訓練データ集合から雑音性データ標本を識別し除去するための確信性学習（ｃｏｎｆｉｄｅｎｔ ｌｅａｒｎｉｎｇ）を行う。雑音性データ標本は、人間の検査役がラベルを誤って付けたと予想する画像データを含むことができる。本発明の一実施形態によると、確信性学習は雑音性［与えられた（ｇｉｖｅｎ）］ラベルと汚染されていない（ｕｎｃｏｒｒｕｐｔｅｄ）［真の（ｔｒｕｅ）］ラベルの間の同時分布推定（ｅｓｔｉｍａｔｉｏｎ ｏｆ ａ ｊｏｉｎｔ ｄｉｓｔｒｉｂｕｔｉｏｎ）に基づくものであり、これについてはＮｏｒｔｈｃｕｔｔ ｅｔ．ａｌ、“Ｃｏｎｆｉｄｅｎｔ Ｌｅａｒｎｉｎｇ：Ｅｓｔｉｍａｔｉｎｇ Ｕｎｃｅｒｔａｉｎｔｙ ｉｎ Ｄａｔａｓｅｔ Ｌａｂｅｌｓ”（２０２１）（ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１９１１．０００６８ｖ４から確認できる）に具体的に記載されており、その内容は本出願に参照としてここに引用される。

【0050】

本発明の一実施形態によると、ブロック２０２での確信性学習に応答して、訓練モジュール１０６は訓練データ集合で雑音性であると予想するデータ標本を識別し、識別したデータ標本を雑音性というラベルを付け、このようなデータ標本を訓練データ集合から除去する。

【0051】

ブロック２０４で、訓練モジュール１０６は、フィルター処理した訓練データ集合の無欠データ標本に基づいて欠陥検出モデルを訓練させる。訓練を受けた欠陥検出モデルは、例えば同時融合モデルであってもよく、これについては２０２０年７月２４日に出願した米国特許出願番号第１６／９３８，８１２号（発明の名称：“Ｉｍａｇｅ－Ｂａｓｅｄ Ｄｅｆｅｃｔｓ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ａｎｄ Ｓｅｍｉ－Ｓｕｐｅｒｖｉｓｅｄ Ｌｏｃａｌｉｚａｔｉｏｎ”）または２０２０年７月２４日に出願した米国特許出願番号第１６／９３８，８５７号（発明の名称：“Ｆｕｓｉｏｎ Ｍｏｄｅｌ Ｔｒａｉｎｉｎｇ Ｕｓｉｎｇ Ｄｉｓｔａｎｃｅ Ｍｅｔｒｉｃｓ”）に記載されており、その内容は本出願に参照としてここに引用される。本発明の一実施形態によると、欠陥検出モデルは（同時融合モデルでなく）単一機械学習モデルであって、例えば、ランダムフォレスト（ｒａｎｄｏｍ ｆｏｒｅｓｔ）、ＸＧＢｏｏｓｔ（ｅｘｔｒｅｍｅ ｇｒａｄｉｅｎｔ ｂｏｏｓｔｉｎｇ）、ＳＶＭ（ｓｕｐｐｏｒｔ－ｖｅｃｔｏｒ ｍａｃｈｉｎｅ）、ＤＮＮ（ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）および／またはその類似の機械学習アルゴリズムからなる。

【0052】

ブロック２０６で、訓練モジュール１０６は、確信性学習ブロック２０２からの雑音性データ標本および／または無欠データ標本を使用して異常値フィルターを訓練させる。異常値フィルターの訓練には教師あり学習（ｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）と教師なし学習のうちの一つを採用することができる。教師あり学習を採用する実施形態では、無欠データ標本と雑音性データ標本とラベルが付けられた標本を使用して異常値フィルターを教えてデータを雑音性／不確信性または無欠／確信性に分類することができる。無欠データから雑音性データを分離する境界を決定するための決定境界を訓練過程で識別することができる。決定境界の識別には、例えば、ロジスティック回帰（Ｌｏｇｉｓｔｉｃ ｒｅｇｒｅｓｓｉｏｎ）のような機械学習アルゴリズムを使用することができる。

【0053】

教師なし学習を採用する実施形態では、訓練モジュール１０６が群集分類アルゴリズム（ｃｌｕｓｔｅｒｉｎｇ ａｌｇｏｒｉｔｈｍ）を使用して訓練データ標本で類似のものを探して、類似のデータ標本を一つの群集（ｃｌｕｓｔｅｒ）として束ねる。Ｋ－平均群集分類アルゴリズム（Ｋ－ｍｅａｎｓ ｃｌｕｓｔｅｒｉｎｇ ａｌｇｏｒｉｔｈｍ）のような群集分類アルゴリズムを使用して群集を生成することができる。

【0054】

本発明の一実施形態によると、訓練モジュール１０６は調整閾値ハイパーパラメータに基づいて群集境界または決定境界の位置を調整する。調整閾値は決定境界または群集がフィルター処理されていない雑音性データと近い程度を制御することができる。境界が雑音性データと近いほど、欠陥予測のために維持するデータ標本の対象範囲（ｃｏｖｅｒａｇｅ）が大きくなる。しかし、対象範囲が大きくなれば、予測正確度は低下することがある。本発明の一実施形態によると、期待（ｄｅｓｉｒｅｄ）対象範囲および／または正確度は入力として入り、訓練モジュール１０６は適切な調整閾値を入ってきた入力の関数として選択する。

【0055】

ブロック２０８で、訓練を受けた異常値フィルターと訓練を受けた欠陥検出モデルを配置時に使用して、例えば表示パネルのような製品の欠陥を識別する。本発明の一実施形態によると、推論モジュール１０８は、異常値フィルターを適用して生産過程でデータ収集回路１００が捕捉したデータ標本の確信性を予測する。本発明の一実施形態によると、異常値フィルターは、（フィルターが教師なし学習を通じて訓練を受けた場合）知られた分類群集のうちの一つに確信性をもって入ることができず／できないか、（フィルターが教師あり学習を通じて訓練を受けた場合、）データが雑音性／不確信性として分類されるようにする特徴（ｆｅａｔｕｒｅ）／媒介変数（ｐａｒａｍｅｔｅｒ）を有するデータ標本を識別し、そのようなデータ標本を捕捉したデータ集合から除去する。除去した不確信性データ標本は、生産過程に使用する装備の品質低下を起こすことがある異常値データとみることができる。

【0056】

本発明の一実施形態によると、推論モジュール１０８は、欠陥検出モデルを適用して無欠、高確信性データ標本を作り出す。このような方式で、従来の欠陥検出モデルに比べて欠陥検出モデルの予測正確度が高くなり得る。

【0057】

図３は、本発明の一実施形態によるブロック２０２での確信性学習のさらに具体的なフローチャートである。ブロック３００で、訓練モジュール１０６は試験データ集合の予測（真の／適合した）ラベルと（人間による）与えられたラベルの間の誤差行列／混同行列（ｃｏｎｆｕｓｉｏｎ ｍａｔｒｉｘ）を計算する。深層学習モデルを適用して試験データ集合でデータ標本の真の／適合したラベルを予測することができる。混同行列は、与えられたラベルに対する予測ラベルの比較に基づいて生成することができる。混同行列は、それぞれの予測ラベルに対する予測ラベルと与えられたラベルの間の同時分布であり得る。例えば、リンゴ、ナシ、オレンジ、このように３個の可能なラベルクラスが与えられた場合、混同行列で、一番目の項目はリンゴと予測されるデータ標本が実際にリンゴと表示される確率を示し、二番目の項目はリンゴと予測されるデータ標本が実際にはナシと表示される確率を示し、三番目の項目はリンゴと予測されるデータ標本が実際にはオレンジと表示される確率を示すことができる。ナシとオレンジの予測に対して同様に同時分布を計算することができる。

【0058】

ブロック３０２で、訓練モジュール１０６は、各予測ラベルに対する混同行列に基づいて閾値を計算する。本発明の一実施形態によると、同時確率値（ｊｏｉｎｔ ｐｒｏｂａｂｉｌｉｔｙ ｖａｌｕｅ）を閾値として使用する。本発明の一実施形態によると、閾値は予測クラスに対するピーク信号対雑音比（ＰＳＮＲ：ｐｅａｋ ｓｉｇｎａｌ－ｔｏ－ｎｏｉｓｅ ｒａｔｉｏ）に基づくものであってもよく、これは予測クラスに対する同時確率分布（ｊｏｉｎｔ ｐｒｏｂａｂｉｌｉｔｙ ｄｉｓｔｒｉｂｕｔｉｏｎ）に基づいて計算することができる。本発明の一実施形態によると、特定予測クラスに対する閾値は、予測された真のラベル（ｐｒｅｄｉｃｔｅｄ ｔｒｕｅ ｌａｂｅｌ）の確率とそのクラスの確率の差に基づくものであり得る。閾値を計算するための疑似コード（ｐｓｅｕｄｏｃｏｄｅ）の例は次の通りであり得る。

【0059】

Ｏｂｔａｉｎ ａ ｓｅｔ ｏｆ ｐｒｅｄｉｃｔｉｏｎ ｐｒｏｂａｂｉｌｉｔｉｅｓ（ａ ｍａｔｒｉｘ ｏｆ ｓｉｚｅ：ｎ_ｓａｍｐｌｅｓ＊ｎ_ｃｌａｓｓｅｓ）
Ｆｏｒ ｅａｃｈ ｃｌａｓｓ ｃ ｉｎ ｎ_ｃｌａｓｓｅｓ：
Ｃａｌｃｕｌａｔｅ（ｄｉｆｆｅｒｅｎｃｅ ｏｆ ｃｌａｓｓ ｃ）＝（ｐｒｏｂａｂｉｌｉｔｙ ｏｆ ｔｈｅ ｐｒｅｄｉｃｔｅｄ ｔｒｕｅ ｌａｂｅｌ）－（ｔｈｅ ｐｒｏｂａｂｉｌｉｔｙ ｏｆ ｔｈｅ ｃｌａｓｓ ｃ）；（ｓｉｚｅ：ｎ_ｓａｍｐｌｅｓ＊１）
Ｆｉｎｄ ｔｈｅ ｋ－ｔｈ ｓｍａｌｌｅｓｔ ｖａｌｕｅ ｏｆ ｔｈｅ ｄｉｆｆｅｒｅｎｃｅ ｏｆ ｃｌａｓｓｃ、ａｓ ｔｈｅ ｔｈｒｅｓｈｏｌｄ ｏｆ ｔｈｅ ｃｌａｓｓ ｃ

【0060】

ブロック３０４で、訓練モジュール１０６は、計算した閾値に基づいて訓練データ集合で雑音性、不確信性データを識別する。例えば、リンゴがナシと表示される同時確率分布が１４％であるとすれば、訓練モジュール１０６はナシと表示されたデータ標本の中のリンゴである確率が最も高い１４％を雑音性データとして識別することができる。本発明の一実施形態によると、予測された真のラベルとクラスの確率の差がそのクラスに対して設定された閾値より小さい標本を雑音性データ標本として識別する。

【0061】

ブロック３０６で、訓練モジュール１０６は、訓練データ集合で雑音性データにラベルを付けフィルター処理する。例えば、訓練モジュール１０６は、雑音性データに“雑音性（ｎｏｉｓｙ）”またはその類似のラベルを付けることができる。

【0062】

図４は、本発明の一実施形態による混同行列の例である。図４の例で、リンゴと予測し実際にもリンゴとラベルが付いたデータ標本の同時確率４００は０．２５である。また、リンゴと予測するが、実際にはナシとラベルが付いたデータ標本の同時確率４０２は０．１４である。

【0063】

図５は、本発明の一実施形態による同時融合モデルとして実現された欠陥検出モデルのブロック図である。同時融合モデルは、確信性学習を経た第１無欠データ集合（ｓｅｔ ｏｆ ｃｌｅａｎｅｄ ｄａｔａ）を受信する第１神経網分岐（ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｂｒａｎｃｈ）５００と、確信性学習を経た第２無欠データ集合を受信する第２神経網分岐５０２を含む。本発明の一実施形態によると、訓練モジュール１０６は各分岐を独立的に訓練させ、第１分岐５００と第２分岐５０２を畳み込み層（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｌａｙｅｒ）を通じて同時融合モデル５０４として結合させる。第１データ集合が内部的に整列されており、第２データ集合も内部的に整列されているが、第１データ集合と第２データ集合は互いに対して整列されていないことがある。本発明の一実施形態によると、第１データ集合は高角環状暗視野（ＨＡＡＤＦ：ｈｉｇｈ－ａｎｇｌｅ ａｎｎｕｌａｒ ｄａｒｋ－ｆｉｅｌｄ）画像と共に使用されるエネルギー分散型Ｘ線分光器（ＥＤＳ：ｅｎｅｒｇｙ－ｄｉｓｐｅｒｓｉｖｅ Ｘ－ｒａｙ ｓｐｅｃｔｒｏｓｃｏｐｙ）画像のような分光器画像を含むことができ、第２データ集合は透過電子顕微鏡（ＴＥＭ）画像など顕微鏡画像を含むことができる。

【0064】

本発明の一実施形態によると、第１分岐５００および第２分岐５０２それぞれは認識モジュール（ａｔｔｅｎｔｉｏｎ ｍｏｄｕｌｅ）を含む。神経網分岐［例：第１神経網分岐５００または第２神経網分岐５０２］の認識モジュールは、神経網分岐が受信した画像に空間認識（ｓｐａｔｉａｌ ａｔｔｅｎｔｉｏｎ）を重ね合わせて、欠陥が発生する可能性がある領域に表示することができる。例えば、第１分岐５００の第１認識モジュールは第１分岐５００が受信した第１データ集合に第１空間認識ヒートマップ（ｓｐｅｃｉａｌ ａｔｔｅｎｔｉｏｎ ｈｅａｔ ｍａｐ）を重ね合わせ、第２分岐５０２の第２認識モジュールは第２分岐５０２が受信した第２データ集合に第２空間認識ヒートマップを重ね合わせる。認識モジュールは入力画像の最終予測ラベル（エラー類型／エラー無し）に基づいて調整される（例えば、空間認識ヒートマップに対応する）空間地図網を含むことができる。空間地図網は入力データと最終予測ラベルの間の空間的関係を示すことができる。

【0065】

第１データ集合は分光器画像集合であってよく、様々なチャンネル（この例ではＸ個のチャンネル）で入ることが可能であり、各チャンネルは特定化学元素または組成物と関連するデータを示すことができる。それぞれの神経網分岐は（後述の）ＣＢＡＭ（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｂｌｏｃｋ ａｔｔｅｎｔｉｏｎ ｍｏｄｕｌｅ）形態のチャンネル認識モジュールおよび空間認識モジュールを含むことができる。また、第１分岐５００のように多重画像ソースを使用する分岐は追加チャンネル認識モジュール（ｅｘｔｒａ ｃｈａｎｎｅｌ ａｔｔｅｎｔｉｏｎ ｍｏｄｕｌｅ）を含むことができる。付加のチャンネル認識モジュールはどの元素入力チャンネルが入力されて注目されるかを（ｗｈｉｃｈ ｅｌｅｍｅｎｔ ｉｎｐｕｔ ｃｈａｎｎｅｌｓ ｔｏ ｆｏｃｕｓ ｏｎ）示す。本発明の一実施形態によると、同時融合モデルでは全く異なるデータ収集回路１００から得られた製品情報が統合されて共に訓練を受けることができて、情報を互いに補完して製品製造欠陥に対する予測を行うようにすることができる。

【0066】

本発明の一実施形態によると、空間認識モジュールおよびチャンネル認識モジュールは半教師あり方式（ｓｅｍｉ－ｓｕｐｅｒｖｉｓｅｄ ｍａｎｎｅｒ）で訓練を受けるネットワークであって、さらに大きな神経網（例：神経網分岐）が選択されたチャンネルまたは空間領域から来たデータに加重値を高く与えるようにする。訓練時に空間／チャンネル認識モジュールはどんな特徴がエラーと関連しているのか、そして、結局どの空間領域またはチャンネルが関連する特徴を通じてエラーと関連があるのかを学習する。一度訓練を受けると、このモジュールは大きな神経網構造内で動作して神経網が領域／チャンネルを選択するために、（例えば、その領域／チャンネルと関連して一つ以上の加重値を設定することによって、）“さらに注目”するようにする。本発明の一実施形態では、認識モジュールがＣＢＡＭ内に含まれ、ＣＢＡＭはフィード－フォワード（ｆｅｅｄ－ｆｏｒｗａｒｄ）畳み込み神経網（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）に対する効果的な認識モジュールである。分光器分岐および顕微鏡分岐は両方とも空間およびチャンネル認識を提供するＣＢＡＭを含むことができる。空間認識はエラー位置と関連した空間ヒートマップであり、チャンネル認識はデータの色／階調（ｃｏｌｏｒ／ｇｒａｙｓｃａｌｅ）チャンネルと関連があり得る。

【0067】

前述のように、第１分岐５００内には、ＣＢＡＭ以外に追加チャンネル認識モジュールがあり得る。ＣＢＡＭは空間ヒートマップと色－チャンネル認識特性を提供する。したがって、追加チャンネル認識モジュールは特定欠陥類型と関係がある目標元素と関連のあるチャンネルに焦点を合わせることができる。

【0068】

図６は、本発明の一実施形態による予測段階２０８で、異常値フィルター６０２がフィルター処理するデータの概念的な配置図である。図６に示される実施形態では、生産された製品に対してデータ収集回路１００が得たデータ標本６００は異常値フィルター６０２に提供され、データ標本の確信性が予測される（６０４）。データ標本は、第１類型（例：無欠／確信性）のデータ標本６００ａ－６００ｄと、第２類型（例：雑音性／不確信性）のデータ標本６００ｅを含むことができる。

【0069】

本発明の一実施形態によると、異常値フィルター６０２はデータ標本と関連するデータ媒介変数に基づいてそのデータ標本が属するクラスを識別する教師なし学習フィルター６０２ａである。図６に示される実施形態では、第１類型のデータ標本６００ａ－６６０ｄを適切なクラス６０６ａ－６０６ｄに群集分類する。クラス境界は調整閾値に基づいて設定することができる。データ標本が識別クラスの境界内にあると予測されると、そのデータ標本は確信性データとみなすことができ、欠陥検出モデルはそのデータ標本を欠陥予測に使用することができる。

【0070】

図６に示される実施形態では、第２類型のデータ標本６００ｅは何れの群集にも属せず、これにより雑音性／不確信性データと見ることができる。本発明の一実施形態によると、第２類型のデータ標本６００ｅを不良処理し、欠陥検出モデルはそのデータ標本を欠陥予測に使用しない。

【0071】

本発明の一実施形態によると、異常値フィルターは、データ標本６００を無欠／確信性６１０または雑音性／不確信性６１２に分類する教師あり学習フィルター６０２ｂである。教師なし学習フィルターの時のように、不確信データから確信データを分離する決定境界６１４は調整閾値によって設定することができる。本発明の一実施形態によると、データ標本が雑音性／不確信性であると予測すれば、そのデータ標本を不良処理し、欠陥検出モデルはこれらを欠陥予測に使用しない。

【0072】

図７は、本発明の一実施形態によって調整閾値を選択する時、正確度と対象範囲の間のトレードオフを示すグラフである。このグラフは、対象範囲が減るほど（即ち、データ標本をさらに多くフィルター処理するほど）欠陥検出モデルの予測正確度が高まることを示す。

【0073】

図８は、本発明の一実施形態によって対象範囲と正確度の関数として計算された調整閾値の一例を示すグラフである。このグラフは、９５％正確度で正確度遮断線（ａｃｃｕｒａｃｙ ｃｕｔｏｆｆ ｌｉｎｅ）８０２が、ある正確度曲線８００を含む。９５％正確度地点は、交差点８０４で発生する。９５％正確度と交差点８０４で交差する対象範囲遮断線８０６は約６５％対象範囲で対象範囲曲線８０８と交差し、約０．１７の調整閾値を有する。したがって、この例では、０．１６の調整閾値が９５％予測正確度と６５％対象範囲を出す。一方で、対象範囲遮断線８１０を通じて示したように、対象範囲を５０％［交差点８１２］に低くすると、予測正確度が約９７％［交差点８１４］まで高まる。これに対応する調整閾値も約０．５７まで高まる。本発明の一実施形態によると、訓練モジュール１０６は期待正確度値および／または対象範囲値の入力に基づいて調整閾値を出力する関数を実行する。

【0074】

本発明の一実施形態によると、前述の製造欠陥識別システムおよび方法は一つ以上の“プロセッサ（ｐｒｏｃｅｓｓｏｒ）”で実現できる。プロセッサという用語は、一つ以上のプロセッサおよび／または一つ以上の処理コア（ｃｏｒｅ）を意味する用語とすることができる。一つ以上のプロセッサは、一つの装置内に配置されてよく、多数の装置［例：クラウドシステム（ｃｌｏｕｄ ｓｙｓｔｅｍ）］に分散配置されてもよい。プロセッサは、例えば、特定用途向け集積回路（ＡＳＩＣ）、汎用または専用中央処理装置（ＣＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、グラフィック処理装置（ＧＰＵ）、ＦＰＧＡなどのプログラム可能論理装置を含むことができる。ここで用いられるようなプロセッサの中で、それぞれの関数は、その機能を果たすハードウェア（物理的に組み込まれたハードウェア）、または、非一時的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）保存媒体（例：メモリ）に保存された命令を遂行するＣＰＵなどの汎用ハードウェアによって、遂行できる。プロセッサは、一つの印刷回路基板（ＰＣＢ：ｐｒｉｎｔｅｄ ｃｉｒｃｕｉｔ ｂｏａｒｄ）に製作されるか、互いに連結された印刷回路基板に分散配置できる。プロセッサは他のプロセッサを含むことができ、例えば、印刷回路基板の上で互いに連結されたＦＰＧＡとＣＰＵを含むことができる。

【0075】

“第１”、“第２”、“第３”などの用語は、様々な元素、成分、領域、層、部分などに使用されるが、様々な元素、成分、領域、層、部分などは“第１”、“第２”、“第３”などの修飾語によって限定されない。“第１”、“第２”、“第３”などの用語は、ある元素、成分、領域、層、部分を他の元素、成分、領域、層、部分と区別するために使用されるものである。したがって、例えば、第１元素、第１成分、第１領域、第１層、第１部分は、本発明の趣旨と範囲を逸脱することのない範囲において、第２元素、第２成分、第２領域、第２層、第２部分とも呼ばれる。

【0076】

ここで使用された用語は特定の実施形態を説明する目的で使用されるものに過ぎず、本発明を制限しようとするものではない。ここで“実質的に”、“約”、“大体”およびこれと類似の表現は近似を示す表現に過ぎず、“程度”を示すものではなく、当業者が知り得る測定値または計算値の固有誤差を示すものとして使用される。

【0077】

ここで、数を特に言及しない場合、単数または複数の場合を全て含む。ある特徴、整数、段階、動作、部分、成分などを“含む”という表現は、該当部分以外に他の特徴、整数、段階、動作、部分、成分なども含むことができる。“および／または”という表現は、羅列されたもののうちの一つまたは二つ以上の全ての組み合わせを含む。羅列されたものに先立って記載された“少なくとも一つ”などの表現は羅列されたものの全体を修飾するものであり、羅列されたものの内のそれぞれのものを修飾するものではない。また、本発明の一実施形態を説明する時に使用される“することができる、してもよい”という表現は、“本発明の一つ以上の実施形態”に適用可能であるということを意味する表現である。また、“例示的な”という用語は一つの例を示す。“使用”、“利用”などはこれと類似の他の表現と共に類似した意味として使用できる。

【0078】

以上で製造欠陥識別システムおよび方法の実施形態について説明および図示したが、当業者であればこのような実施形態を変更および修正することも可能である。したがって、ここで提示した原理によって構成された他の製造欠陥識別システムおよび方法も本発明に含まれる。本発明は次の特許請求の範囲およびその等価物によって定義される。

【符号の説明】

【0079】

１００：データ収集回路
１０１：プロセッサ
１０２：分析システム
１０３：メモリ
１０６：訓練モジュール
１０８：推論モジュール
５００：第１神経網分岐
５０２：第２神経網分岐
５０４：同時融合モデル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】