特表 2024-504529 欠陥検出方法及びその装置、モデルトレーニング方法及びその装置、及び電子デバイス

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-02-01

(54)【発明の名称】欠陥検出方法及びその装置、モデルトレーニング方法及びその装置、及び電子デバイス

(51)【国際特許分類】

   G06Q 50/04 20120101AFI20240125BHJP

   G06N 3/02 20060101ALI20240125BHJP

【ＦＩ】

G06Q50/04

G06N3/02

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2022571810

(86)(22)【出願日】2021-01-28

(85)【翻訳文提出日】2022-11-21

(86)【国際出願番号】 CN2021074263

(87)【国際公開番号】W WO2022160222

(87)【国際公開日】2022-08-04

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

２．ＪＡＶＡ

(71)【出願人】

【識別番号】510280589

【氏名又は名称】京東方科技集團股▲ふん▼有限公司

【氏名又は名称原語表記】ＢＯＥ ＴＥＣＨＮＯＬＯＧＹ ＧＲＯＵＰ ＣＯ．，ＬＴＤ．

【住所又は居所原語表記】Ｎｏ．１０ Ｊｉｕｘｉａｎｑｉａｏ Ｒｄ．，Ｃｈａｏｙａｎｇ Ｄｉｓｔｒｉｃｔ，Ｂｅｉｊｉｎｇ １０００１５，ＣＨＩＮＡ

(71)【出願人】

【識別番号】522455098

【氏名又は名称】北京中祥英科技有限公司

【氏名又は名称原語表記】ＢＥＩＪＩＮＧ ＺＨＯＮＧＸＩＡＮＧＹＩＮＧ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．， ＬＴＤ．

【住所又は居所原語表記】Ｒｏｏｍ ０５９， Ｆｌｏｏｒ ４， Ｂｕｉｌｄｉｎｇ １， Ｎｏ． １２ Ｘｉｈｕａｎｚｈｏｎｇ ＲＤ．， ＢＤＡ， Ｂｅｉｊｉｎｇ １００１７６， ＣＨＩＮＡ

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(72)【発明者】

【氏名】王 耀平

(72)【発明者】

【氏名】李 昭月

(72)【発明者】

【氏名】▲楊▼ 浩▲東▼

(72)【発明者】

【氏名】▲張▼ 美娟

(72)【発明者】

【氏名】柴 ▲棟▼

(72)【発明者】

【氏名】王 洪

【テーマコード（参考）】

5L049

【Ｆターム（参考）】

5L049CC03

(57)【要約】

本開示は、欠陥検出の技術分野に関し、具体的に、欠陥検出方法及びその装置、モデルトレーニング方法及びその装置、及び電子デバイスに関し、方法は、欠陥製品データを含むサンプルデータセットを取得し、サンプルデータセットの特徴情報を識別し、特徴情報がサンプルデータセットのサンプル数を含むことと、初期モデルを取得し、初期モデルがニューラルネットワークモデルであることと、特徴情報に基づいてトレーニングパラメータを構成することと、サンプルデータセットを利用して、トレーニングパラメータに基づいて初期モデルをトレーニングして目標モデルを取得することと、サンプルデータセットに対応する製品の実データを目標モデルに入力して製品の欠陥情報を取得することとを含み、ここで、トレーニングパラメータが学習率の降下ポリシー、トレーニングの総ラウンド数及びテストポリシーのうちの少なくとも１つを含み、学習率の降下ポリシーが学習率の降下回数及び降下時のラウンド数を含み、テストポリシーがテスト回数及びテスト時のラウンド数を含む。この技術的解決策は、人的資源を節約することができる。

【特許請求の範囲】

【請求項1】

欠陥製品データを含むサンプルデータセットを取得し、前記サンプルデータセットの特徴情報を識別することと、
初期モデルを取得することと、
前記特徴情報に基づいてトレーニングパラメータを構成することと、
前記サンプルデータセットを利用し、前記トレーニングパラメータに基づいて前記初期モデルをトレーニングして目標モデルを取得することと、
前記サンプルデータセットに対応する製品の実データを前記目標モデルに入力して前記製品の欠陥情報を取得することとを含み、
前記特徴情報が前記サンプルデータセットのサンプル数を含み、
前記初期モデルがニューラルネットワークモデルであり、
前記トレーニングパラメータが学習率の降下ポリシー、トレーニングの総ラウンド数及びテストポリシーのうちの少なくとも１つを含み、学習率の降下ポリシーが学習率の降下回数及び降下時のラウンド数を含み、テストポリシーがテスト回数及びテスト時のラウンド数を含む
ことを特徴とする欠陥検出方法。

【請求項2】

前記トレーニングの総ラウンド数は、前記サンプル数に正相関する
ことを特徴とする請求項１に記載の欠陥検出方法。

【請求項3】

前記サンプル数に基づいて予め設定された規則に従ってトレーニングの総ラウンド数を構成することは、
前記サンプル数が１００００以下である場合、前記トレーニングの総ラウンド数を３０００００として構成することと、
前記サンプル数が１００００よりも大きい場合、以下の総ラウンド数の決定式で前記トレーニングの総ラウンド数を構成することとを含み、前記総ラウンド数の決定式は、
Ｙ＝３０００００＋ＩＮＴ（Ｘ／１００００）×ｂであり、
Ｙがトレーニングの総ラウンド数を示し、Ｘがサンプル数を示し、Ｘが１００００以上であり、ＩＮＴが丸め関数であり、ｂが成長因子で固定値であり、ｂが３００００以上、７００００以下である
ことを特徴とする請求項１又は２に記載の欠陥検出方法。

【請求項4】

学習率の降下時のラウンド数は、トレーニングの総ラウンド数に正相関し、前記テスト時のラウンド数は、一回目の学習率の降下時のラウンド数以上、前記トレーニングの総ラウンド数以下である
ことを特徴とする請求項１に記載の欠陥検出方法。

【請求項5】

学習率の降下回数が複数回であり、２回目の学習率の降下ラウンド数の所定のラウンド数範囲において少なくとも２回のテストを行う
ことを特徴とする請求項１に記載の欠陥検出方法。

【請求項6】

学習率の降下回数が３回であり、２回目の学習率の降下ラウンド数の所定のラウンド数範囲において少なくとも３回のテストを行う
ことを特徴とする請求項５に記載の欠陥検出方法。

【請求項7】

前記学習率の降下ポリシーは、学習率の降下方式及び学習率の降下の幅を含む
ことを特徴とする請求項１に記載の欠陥検出方法。

【請求項8】

前記欠陥製品データが欠陥製品のピクチャを含み、前記特徴情報が前記サンプルデータセットにおける前記欠陥製品のピクチャのサイズ、タイプを含み、前記特徴情報に基づいてトレーニングパラメータを構成することは、さらに、
欠陥製品のピクチャのサイズ、タイプに従って、前記初期モデルの入力画像のサイズを調整することを含む
ことを特徴とする請求項１に記載の欠陥検出方法。

【請求項9】

欠陥製品のピクチャのサイズ、タイプに従って前記初期モデルに入力する画像のサイズを調整することは、
前記欠陥製品のピクチャのタイプがＡＯＩカラー画像又はＤＭ画像である場合、入力画像のサイズが欠陥製品のピクチャのサイズの第１のプリセット倍数であることと、
前記欠陥製品のピクチャのタイプがＴＤＩ画像である場合、入力画像のサイズが欠陥製品のピクチャのサイズの第２のプリセット倍数であることとを含み、
前記第１のプリセット倍数が１以下であり、前記第２のプリセット倍数が１以上である
ことを特徴とする請求項８に記載の欠陥検出方法。

【請求項10】

前記第１のプリセット倍数は、０．２５以上、０．６以下であり、前記第２のプリセット倍数は、３以上、６以下である
ことを特徴とする請求項９に記載の欠陥検出方法。

【請求項11】

前記入力画像は、欠陥製品の同じピクチャの複数のサイズの画像を含む
ことを特徴とする請求項９又は１０に記載の欠陥検出方法。

【請求項12】

前記特徴情報がさらに前記欠陥製品の欠陥レベルを含み、
前記特徴情報に基づいてトレーニングパラメータを構成することは、
前記各種の欠陥に対応する前記欠陥レベルに基づいて、トレーニング過程内の信頼度を構成することを含む
ことを特徴とする請求項８に記載の欠陥検出方法。

【請求項13】

前記欠陥レベルが第１の欠陥レベル及び第２の欠陥レベルを含み、
前記各種の欠陥に対応する前記欠陥レベルに基づいて、トレーニング過程内の信頼度を構成することは、
前記欠陥レベルが第１の欠陥レベルである場合、前記信頼度を第１の信頼度として構成することと、
前記欠陥レベルが第２の欠陥レベルである場合、前記信頼度を第２の信頼度として構成することとを含み、
前記第２の信頼度が前記第１の信頼度よりも大きい
ことを特徴とする請求項１２に記載の欠陥検出方法。

【請求項14】

第１の信頼度は、０．６以上、０．７以下であり、前記第２の信頼度は、０．８以上、０．９以下である
ことを特徴とする請求項１３に記載の欠陥検出方法。

【請求項15】

前記方法は、さらに、
前記欠陥製品のピクチャのサイズ、タイプ及び工程を利用して、前記目標モデルのためにアイコンを設定することを含む
ことを特徴とする請求項８に記載の欠陥検出方法。

【請求項16】

前記欠陥製品のピクチャのタイプに基づいて前記初期モデルを取得する
ことを特徴とする請求項１に記載の欠陥検出方法。

【請求項17】

前記特徴情報に基づいてトレーニングパラメータを構成した後、前記方法は、さらに、
パラメータ変更アイコンを含むトレーニングパラメータの表示インターフェースを生成することと、
ユーザが前記パラメータ変更アイコンに対するトリガー操作に応答し、前記トレーニングパラメータを更新することとを含む
ことを特徴とする請求項１に記載の欠陥検出方法。

【請求項18】

前記方法は、さらに、
トレーニング過程における損失曲線を取得することと、
前記損失曲線に従って前記トレーニングパラメータを更新することとを含む
ことを特徴とする請求項１に記載の欠陥検出方法。

【請求項19】

前記トレーニングパラメータに基づいて前記初期モデルをトレーニングして目標モデルを取得することは、
前記テストポリシーに基づいて複数の参照モデルを取得し、複数の前記参照モデルの正確率及びリコール率を取得することと、
各参照モデルの前記正確率及びリコール率に基づいて前記参照モデルから目標モデルを決定することとを含む
ことを特徴とする請求項１に記載の欠陥検出方法。

【請求項20】

前記トレーニングパラメータに基づいて前記初期モデルをトレーニングして目標モデルを取得することは、
前記テストポリシーに基づいて複数の参照モデルを取得し、各参照モデルの混同行列を決定することと、
前記混同行列に従って前記参照モデルから前記目標モデルを決定することとを含む
ことを特徴とする請求項１に記載の欠陥検出方法。

【請求項21】

前記方法は、さらに、
前記混同行列に従って信頼度を更新することを含む
ことを特徴とする請求項２０に記載の欠陥検出方法。

【請求項22】

欠陥製品データを含むサンプルデータセットを取得し、前記サンプルデータセットの特徴情報を識別することと、
初期モデルを取得することと、
前記特徴情報に基づいてトレーニングパラメータを構成することと、
前記サンプルデータセットを利用して前記トレーニングパラメータに基づいて前記初期モデルをトレーニングして目標モデルを取得することとを含み、
前記特徴情報が前記サンプルデータセットのサンプル数を含み、
前記初期モデルがニューラルネットワークモデルであり、
前記目標モデルが前記サンプルデータセットに対応する製品の実データに対して欠陥検出を行うために使用され、
前記トレーニングパラメータが学習率の降下ポリシー、トレーニングの総ラウンド数及びテストポリシーのうちの少なくとも１つを含み、学習率の降下ポリシーが学習率の降下回数及び降下時のラウンド数を含み、テストポリシーがテスト回数及びテスト時のラウンド数を含む
ことを特徴とするモデルトレーニング方法。

【請求項23】

前記トレーニングの総ラウンド数は、前記サンプル数に正相関する
ことを特徴とする請求項２２に記載のモデルトレーニング方法。

【請求項24】

前記サンプル数に基づいて予め設定された規則に従ってトレーニングの総ラウンド数を構成することは、
前記サンプル数が１００００以下である場合、前記トレーニングの総ラウンド数を３０００００として構成することと、
前記サンプル数が１００００よりも大きい場合、以下の総ラウンド数の決定式で前記トレーニングの総ラウンド数を構成することとを含み、前記総ラウンド数の決定式は、
Ｙ＝３０００００＋ＩＮＴ（Ｘ／１００００）×ｂであり、
Ｙがトレーニングの総ラウンド数を示し、Ｘがサンプル数を示し、Ｘが１００００以上であり、ＩＮＴが丸め関数であり、ｂが成長因子で固定値であり、ｂが３００００以上、７００００以下である
ことを特徴とする請求項２２又は２３に記載のモデルトレーニング方法。

【請求項25】

学習率の降下時のラウンド数は、トレーニングの総ラウンド数に正相関し、前記テスト時のラウンド数は、一回目の学習率の降下時のラウンド数以上、前記トレーニングの総ラウンド数以下である
ことを特徴とする請求項２２に記載のモデルトレーニング方法。

【請求項26】

学習率の降下回数が複数回であり、２回目の学習率の降下ラウンド数の所定のラウンド数範囲において少なくとも２回のテストを行う
ことを特徴とする請求項２２に記載のモデルトレーニング方法。

【請求項27】

学習率の降下回数が３回であり、２回目の学習率の降下ラウンド数の所定のラウンド数範囲において少なくとも３回のテストを行う
ことを特徴とする請求項２３に記載のモデルトレーニング方法。

【請求項28】

前記学習率の降下ポリシーは、学習率の降下方式及び学習率の降下の幅を含む
ことを特徴とする請求項２２に記載のモデルトレーニング方法。

【請求項29】

ユーザがサンプルデータセットのパラメータに対する構成操作に応答し、欠陥製品データを含むサンプルデータセットを取得し、前記サンプルデータセットの特徴情報を識別することと、
初期モデルを取得することと、
前記特徴情報に基づいてトレーニングパラメータを構成し、トレーニングパラメータの表示インターフェースを生成することと、
前記サンプルデータセットを利用して前記トレーニングパラメータに基づいて前記初期モデルをトレーニングして目標モデルを取得することとを含み、
前記特徴情報が前記サンプルデータセットのサンプル数を含み、
前記初期モデルがニューラルネットワークモデルであり、
前記目標モデルが前記サンプルデータセットに対応する製品の実データに対して欠陥検出を行うために使用され、
前記トレーニングパラメータの表示インターフェースに表示されるトレーニングパラメータが学習率の降下ポリシー、トレーニングの総ラウンド数及びテストポリシーのうちの少なくとも１つを含み、学習率の降下ポリシーが学習率の降下回数及び降下時のラウンド数を含み、テストポリシーがテスト回数及びテスト時のラウンド数を含む
ことを特徴とするモデルトレーニング方法。

【請求項30】

前記方法は、さらに、
サンプルデータセットのパラメータに基づいて前記サンプルデータセットに対応するトレーニングタスクを確立することを含む
ことを特徴とする請求項２９に記載のモデルトレーニング方法。

【請求項31】

ユーザがサンプルデータセットのパラメータに対する構成操作に応答し、欠陥製品データを含むサンプルデータセットを取得する前に、前記方法は、さらに、
ユーザのタスク確立操作に応答し、トレーニングタスクを確立し、前記サンプルデータセットのパラメータ構成インターフェースを生成することを含む
ことを特徴とする請求項２９に記載のモデルトレーニング方法。

【請求項32】

前記パラメータ構成インターフェースがトレーニングパラメータ閲覧アイコンをさらに含み、前記特徴情報に基づいてトレーニングパラメータを構成し、トレーニングパラメータの表示インターフェースを生成することは、
ユーザが前記トレーニングパラメータ閲覧アイコンに対するトリガー操作に応答し、トレーニングパラメータの表示インターフェースを生成することを含む
ことを特徴とする請求項３１に記載のモデルトレーニング方法。

【請求項33】

前記トレーニングパラメータの表示インターフェースがパラメータ変更アイコンを含み、前記方法は、さらに、
ユーザが前記パラメータ変更アイコンに対するトリガー操作に応答し、前記トレーニングパラメータを更新することを含む
ことを特徴とする請求項２９に記載のモデルトレーニング方法。

【請求項34】

前記トレーニングパラメータは、さらに、信頼度、前記初期モデルに入力する画像のサイズを含む
ことを特徴とする請求項２９に記載のモデルトレーニング方法。

【請求項35】

前記パラメータの表示インターフェースが信頼度の構成アイコンを含み、前記方法は、さらに、
ユーザが前記信頼度の構成アイコンに対するトリガー操作に応答し、信頼度の構成インターフェースを生成することを含む
ことを特徴とする請求項３４に記載のモデルトレーニング方法。

【請求項36】

前記信頼度の構成インターフェースが各欠陥に対応するサンプル数及び各欠陥に対応する選定アイコンを含み、前記信頼度の構成インターフェースは、ユーザが選定アイコンに対する決定操作に応答し、前記選定操作に対応する欠陥の信頼度を構成するために使用される
ことを特徴とする請求項３５に記載のモデルトレーニング方法。

【請求項37】

前記方法は、さらに、
モデルトレーニングスケジュールを生成して表示し、前記スケジュールがタスク取消アイコン及びタスク詳細アイコンを含むことと、
ユーザが前記タスク取消アイコンに対するトリガー操作に応答し、前記初期モデルに対するトレーニングを停止することとを含む
ことを特徴とする請求項２９に記載のモデルトレーニング方法。

【請求項38】

前記方法は、さらに、
ユーザが前記タスク詳細アイコンに対するトリガー操作に応答し、トレーニング過程の損失曲線を生成して表示することを含む
ことを特徴とする請求項３７に記載のモデルトレーニング方法。

【請求項39】

前記トレーニングパラメータに基づいて前記初期モデルをトレーニングして目標モデルを取得することは、
各参照モデルの正確率及びリコール率に基づいて参照モデルから目標モデルを決定するように、前記テストポリシーに基づいて複数の前記参照モデルを取得し、複数の前記参照モデルの前記正確率及びリコール率を取得し、参照モデルリストを生成することを含む
ことを特徴とする請求項２９に記載のモデルトレーニング方法。

【請求項40】

前記トレーニングパラメータに基づいて前記初期モデルをトレーニングして目標モデルを取得することは、
混同行列に従って参照モデルから前記目標モデルを決定するように、前記テストポリシーに基づいて複数の前記参照モデルを取得し、各参照モデルの前記混同行列を決定し、混同行列の表示インターフェースを生成することを含む
ことを特徴とする請求項２９に記載のモデルトレーニング方法。

【請求項41】

前記方法は、さらに、
ユーザの信頼度変更操作に応答し、前記混同行列に基づいて前記信頼度を更新することを含む
ことを特徴とする請求項４０に記載のモデルトレーニング方法。

【請求項42】

前記混同行列に従って前記参照モデルから前記目標モデルを決定することは、
ユーザが前記参照モデルに対する選定操作に応答し、前記選定操作に対応する参照モデルを目標モデルとして決定することを含む
ことを特徴とする請求項４０に記載のモデルトレーニング方法。

【請求項43】

前記トレーニングの総ラウンド数は、前記サンプル数に正相関する
ことを特徴とする請求項２９に記載のモデルトレーニング方法。

【請求項44】

前記サンプル数に基づいて予め設定された規則に従ってトレーニングの総ラウンド数を構成することは、
前記サンプル数が１００００以下である場合、前記トレーニングの総ラウンド数を３０００００として構成することと、
前記サンプル数が１００００よりも大きい場合、以下の総ラウンド数の決定式で前記トレーニングの総ラウンド数を構成することとを含み、前記総ラウンド数の決定式は、
Ｙ＝３０００００＋ＩＮＴ（Ｘ／１００００）×ｂであり、
Ｙがトレーニングの総ラウンド数を示し、Ｘがサンプル数を示し、Ｘが１００００以上であり、ＩＮＴが丸め関数であり、ｂが成長因子で固定値であり、ｂが３００００以上、７００００以下である
ことを特徴とする請求項２９又は４３に記載のモデルトレーニング方法。

【請求項45】

学習率の降下時のラウンド数は、トレーニングの総ラウンド数に正相関し、前記テスト時のラウンド数は、一回目の学習率の降下時のラウンド数以上、前記トレーニングの総ラウンド数以下である
ことを特徴とする請求項２９に記載のモデルトレーニング方法。

【請求項46】

学習率の降下回数が複数回であり、２回目の学習率の降下ラウンド数の所定のラウンド数範囲において少なくとも２回のテストを行う
ことを特徴とする請求項４５に記載のモデルトレーニング方法。

【請求項47】

学習率の降下回数が３回であり、２回目の学習率の降下ラウンド数の所定のラウンド数範囲において少なくとも３回のテストを行う
ことを特徴とする請求項４６に記載のモデルトレーニング方法。

【請求項48】

前記学習率の降下ポリシーは、学習率の降下方式及び学習率の降下の幅を含む
ことを特徴とする請求項２９に記載のモデルトレーニング方法。

【請求項49】

データ管理モジュールと、トレーニング管理モジュールと、モデル管理モジュールとを含む欠陥検出システムであって、
前記データ管理モジュールは、サンプルデータを記憶し管理するように構成され、
前記トレーニング管理モジュールは、請求項１～２１のいずれか１項に記載の欠陥検出方法、請求項２１～２８のいずれか１項に記載のモデルトレーニング方法、又は請求項２９～４８のいずれか１項に記載のモデルトレーニング方法を実行するように構成され、
前記モデル管理モジュールは、前記目標モデルを記憶し表示し管理するように構成される
ことを特徴とする欠陥検出システム。

【請求項50】

ユーザ管理モジュールを含み、
前記ユーザ管理モジュールは、ユーザ情報に対して追加、削除、変更、閲覧、権限管理及び／又はパスワード管理を行うように構成される
ことを特徴とする請求項４９に記載の欠陥検出システム。

【請求項51】

プロセッサと、１つ又は複数のプログラムを記憶するメモリとを含む電子デバイスであって、
前記１つ又は複数のプログラムが前記１つ又は複数のプロセッサによって実行されると、前記１つ又は複数のプロセッサに請求項１～２１のいずれか１項に記載の欠陥検出方法、請求項２１～２８のいずれか１項に記載のモデルトレーニング方法、又は請求項２９～４８のいずれか１項に記載のモデルトレーニング方法を実行させる
ことを特徴とする電子デバイス。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、欠陥検出の技術分野に関し、具体的に、欠陥検出方法及びその装置、モデルトレーニング方法及びその装置、コンピュータ読み取り可能な記録媒体、及び電子デバイスに関する。

【背景技術】

【0002】

スクリーン生産の分野では、デバイス、パラメータ、操作、環境干渉等の工程に問題があるため、産出された製品に不良が発生し、深層学習を代表する人工知能アルゴリズムの台頭により、深層アルゴリズム学習モデルを利用して欠陥検出を行う利用も広まっている。

【0003】

しかし、先行技術では、深層アルゴリズム学習モデルにおけるパラメータ調整のために人工による調整が必要な場合が多く、人的資源を浪費し、人間の誤動作による損失を引き起こす可能性がある。

【0004】

なお、上記の背景技術の項で開示された情報は、本開示の文脈の理解を深めることのみを目的としており、したがって、当業者にとって既知の先行技術に該当しない情報を含む場合がある。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本開示の他の特徴及び利点は、以下の詳細な説明から明らかになるか、又は本開示の実践によって部分的に学習される。

【課題を解決するための手段】

【0006】

本開示の第１の態様は、欠陥検出方法を提供し、
欠陥製品データを含むサンプルデータセットを取得し、前記サンプルデータセットの特徴情報を識別することと、
初期モデルを取得することと、
前記特徴情報に基づいてトレーニングパラメータを構成することと、
前記サンプルデータセットを利用し、前記トレーニングパラメータに基づいて前記初期モデルをトレーニングして目標モデルを取得することと、
前記サンプルデータセットに対応する製品の実データを前記目標モデルに入力して前記製品の欠陥情報を取得することとを含み、
前記特徴情報が前記サンプルデータセットのサンプル数を含み、
前記初期モデルがニューラルネットワークモデルであり、
前記トレーニングパラメータが学習率の降下ポリシー、トレーニングの総ラウンド数及びテストポリシーのうちの少なくとも１つを含み、学習率の降下ポリシーが学習率の降下回数及び降下時のラウンド数を含み、テストポリシーがテスト回数及びテスト時のラウンド数を含む。

【0007】

本開示の第２の態様は、モデルトレーニング方法を提供し、
欠陥製品データを含むサンプルデータセットを取得し、前記サンプルデータセットの特徴情報を識別することと、
初期モデルを取得することと、
前記特徴情報に基づいてトレーニングパラメータを構成することと、
前記サンプルデータセットを利用して前記トレーニングパラメータに基づいて前記初期モデルをトレーニングして目標モデルを取得することとを含み、
前記特徴情報が前記サンプルデータセットのサンプル数を含み、
前記初期モデルがニューラルネットワークモデルであり、
前記目標モデルが前記サンプルデータセットに対応する製品の実データに対して欠陥検出を行うために使用され、
前記トレーニングパラメータが学習率の降下ポリシー、トレーニングの総ラウンド数及びテストポリシーのうちの少なくとも１つを含み、学習率の降下ポリシーが学習率の降下回数及び降下時のラウンド数を含み、テストポリシーがテスト回数及びテスト時のラウンド数を含む。

【0008】

本開示の第３の態様は、モデルトレーニング方法を提供し、
ユーザがサンプルデータセットのパラメータに対する構成操作に応答し、欠陥製品データを含むサンプルデータセットを取得し、前記サンプルデータセットの特徴情報を識別することと、
初期モデルを取得することと、
前記特徴情報に基づいてトレーニングパラメータを構成し、トレーニングパラメータの表示インターフェースを生成することと、
前記サンプルデータセットを利用して前記トレーニングパラメータに基づいて前記初期モデルをトレーニングして目標モデルを取得することとを含み、
前記特徴情報が前記サンプルデータセットのサンプル数を含み、
前記初期モデルがニューラルネットワークモデルであり、
前記目標モデルが前記サンプルデータセットに対応する製品の実データに対して欠陥検出を行うために使用され、
前記トレーニングパラメータの表示インターフェースに表示されるトレーニングパラメータが学習率の降下ポリシー、トレーニングの総ラウンド数及びテストポリシーのうちの少なくとも１つを含み、学習率の降下ポリシーが学習率の降下回数及び降下時のラウンド数を含み、テストポリシーがテスト回数及びテスト時のラウンド数を含む。

【0009】

本開示の第４の態様は、データ管理モジュールと、トレーニング管理モジュールと、モデル管理モジュールとを含む検出システムを提供し、ここで、
データ管理モジュールは、サンプルデータを記憶し管理するように構成され、
トレーニング管理モジュールは、上記のいずれかの欠陥検出方法、上記のいずれかのモデルトレーニング方法、又は上記のいずれかのモデルトレーニング方法を実行するように構成され、
モデル管理モジュールは、前記目標モデルを記憶し表示し管理するように構成される。

【0010】

本開示の第５の態様は、コンピュータープログラムを記憶するコンピュータ読み取り可能な記録媒体を提供し、ここで、前記コンピュータープログラムがプロセッサにより実行されると、上記のいずれかの欠陥検出方法、上記のいずれかのモデルトレーニング方法、又は上記のいずれかのモデルトレーニング方法を実現する。

【0011】

本開示の第６の態様は、プロセッサと、１つ又は複数のプログラムを記憶するメモリとを含む電子デバイスを提供し、ここで、
前記１つ又は複数のプログラムが前記１つ又は複数のプロセッサによって実行されると、前記１つ又は複数のプロセッサに上記のいずれかの欠陥検出方法、上記のいずれかのモデルトレーニング方法、又は上記のいずれかのモデルトレーニング方法を実行させる。

【0012】

なお、前述の一般的な説明及び以下の詳細な説明は、例示及び説明のためだけのものであり、本開示を限定するものではない。

【0013】

本明細書に組み込まれ、その一部を構成する添付の図面は、本開示と一致する実施形態を示し、説明と共に本開示の原理を説明するのに役立つ。明らかに、以下の説明における図面は、本開示のいくつかの実施形態にすぎず、当業者にとって、創造的な努力なしにこれらの図面から他の図面を取得することもできる。

【図面の簡単な説明】

【0014】

【図1】本開示の実施例が応用されるシステム構成の模式図である。

【図2】本開示の実施例が応用される電子デバイスの模式図である。

【図3】本開示の実施例における欠陥検出方法のフローチャートである。

【図4】本開示の実施例における損失曲線の模式図である。

【図5】本開示の実施例におけるモデルトレーニング方法のフローチャートである。

【図6】本開示の実施例における他のモデル検出方法のフローチャートである。

【図7】本開示の実施例におけるトレーニングパラメータの表示インターフェースの模式図である。

【図8】本開示の実施例における欠陥をトレーニングするかどうかを決定する選択インターフェース図である。

【図9】本開示の実施例におけるトレーニング過程の模式図である。

【図10】本開示の実施例における混同行列の模式図である。

【図11】本開示の実施例における目標モデルのインターフェース図である。

【図12】本開示の実施例における欠陥検出システムの構成の模式図である。

【図13】本開示の実施例における欠陥検出システムの構成図である。

【図14】本開示の実施例におけるデータセット用意のインターフェースの模式図である。

【図15】本開示の実施例におけるトレーニングデータセットの管理インターフェース図である。

【図16】本開示の実施例におけるデータセット確立のインターフェースの模式図である。

【図17】本開示の実施例におけるデータセットの詳細情報の表示インターフェース図である。

【図18】本開示の実施例におけるモデル管理のインターフェース図である。

【図19】本開示の実施例におけるトレーニングタスク確立のインターフェース図である。

【図20】本開示の実施例におけるトレーニングパラメータ変更のインターフェース図である。

【図21】本開示の実施例におけるモデルトレーニング過程の表示インターフェースの模式図である。

【図22】本開示の実施例における欠陥検出システムのデータ方向の模式図である。

【図23】本開示の実施例における欠陥検出装置の構成の模式図である。

【図24】本開示の実施例におけるモデルトレーニング装置の構成の模式図である。

【図25】本開示の実施例における他のモデルトレーニング装置の構成の模式図である。

【発明を実施するための形態】

【0015】

ここで、例示的な実施形態を、添付の図面を参照してより完全に説明する。しかしながら、例示的な実施形態は、様々な形態で具現化することができ、本明細書に記載された例に限定されると解釈されるべきではなく、むしろ、これらの実施形態は、この開示が徹底的かつ完全になり、例示的な実施形態の概念を完全に当業者に伝えるように提供される。記載された特徴、構造、又は特性は、１つ又は複数の実施形態において任意の適切な方法で組み合わせることができる。

【0016】

また、添付の図面は、本開示を模式的に示したものに過ぎず、必ずしも縮尺通りに描かれているわけではない。図面中の同一の付記は、同一又は類似の部品を示すので、それらの重複した説明は省略する。図面に示されたブロック図の一部は、機能的な実体であり、必ずしも物理的又は論理的に分離した実体に対応する必要はない。これらの機能エンティティは、ソフトウェアの形態で実装されてもよいし、１つ以上のハードウェアモジュール又は集積回路で実装されてもよいし、異なるネットワークデバイス及び／又はプロセッサデバイス及び／又はマイクロコントローラデバイスで実装されてもよい。

【0017】

図１は本開示の実施例が応用される欠陥検出方法及び装置の応用環境のシステム構成の模式図である。

【0018】

図１に示すように、システム構成１００は、端末デバイス１０１、１０２、１０３のうちの１つ以上、ネットワーク１０４、及びサーバー１０５を含み得る。ネットワーク１０４は、端末デバイス１０１、１０２、１０３とサーバー１０５との間の通信リンクのための媒体を提供するために使用される。ネットワーク１０４は、特に、有線、無線通信リンク、又は光ファイバーケーブルなどの様々な接続タイプを含んでもよい。端末デバイス１０１、１０２、１０３は、デスクトップコンピュータ、ポータブルコンピュータ、スマートフォン、タブレット端末など、欠陥検出機能を有する様々な電子デバイスであってよいが、これらに限定されない。なお、図１における端末デバイス、ネットワーク、サーバーの数は、単なる模式図に過ぎない。端末デバイス、ネットワーク、サーバーは、実装の必要性に応じていくつでも存在し得る。例えば、サーバー１０５は、複数のサーバーからなるサーバークラスタ等であってもよい。

【0019】

本開示の実施例における欠陥検出方法は、端末デバイス１０１、１０２、１０３により実行され、これに対応し、欠陥検出装置は、端末デバイス１０１、１０２、１０３中に設けられている。当業者とって、本開示の実施例における欠陥検出方法は、サーバー１０５により実行されてもよく、これに対応し、欠陥検出装置は、サーバー１０５に設けられ、この実施例に限定されない。例えば、一実施例では、ユーザが端末デバイス１０１、１０２、１０３を介して欠陥製品データを含むサンプルデータセットを取得し、サンプルデータセットの特徴情報を識別し、特徴情報がサンプルデータセットのサンプル数を含み、次に、生の深度データサンプルデータセットをサーバー１０５にアップロードし、サーバーが初期モデルを取得し、特徴情報に基づいてトレーニングパラメータを構成し、サンプルデータセットを利用し、トレーニングパラメータに基づいて初期モデルをトレーニングして目標モデルを取得し、サンプルデータセットに対応する欠陥製品の実データを目標モデルに入力して欠陥製品の欠陥情報を取得し、欠陥情報を端末デバイス１０１、１０２、１０３等に伝送する。

【0020】

本開示の例示的な実施形態は、欠陥検出方法を実施するための電子デバイスを提供し、それは、図１の端末デバイス１０１、１０２、１０３又はサーバー１０５であってもよい。該電子デバイスは、少なくともプロセッサと、プロセッサの実行可能命令を記憶するためのメモリとを含み、プロセッサは、実行可能命令を実行することによって欠陥検出方法を実施する。

【0021】

本開示の一実施形態では、上記システム構成は、分散型製品の欠陥分析システムであってもよく、これは、ネットワークを介して互いに接続されてメッセージの伝送及び通信し、次に、それらの動作を調整してシステムを形成する、コンピュータのグループであってよい。構成要素は互いにインタラクションし、共通の目標を達成する。ネットワークは、インターネット及び／又は通信ネットワークをベースとしたＩｏＴ（Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ）であればよく、有線でも無線でもよく、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＭＡＮ（Ｍｅｔｒｏｐｏｌｉｔａｎ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、セルラーデータ通信ネットワーク、その他情報交換機能を有する電子ネットワークであればよい。分散コンピューティングシステムは、ソフトウェアオブジェクトなどのソフトウェアコンポーネント、又は分散オブジェクト、エージェント、アクター（ａｃｔｏｒ）、仮想コンポーネントなどの他のタイプの個別にアドレス指定可能な分離されたエンティティを有することができる。通常、このようなコンポーネントは個々にアドレス指定が可能で、分散システム内で一意のＩＤ（整数、ＧＵＩＤ、文字列、不透明なデータ構造など）を有する。地理的な分散を許容する分散システムにおいては、アプリケーションをクラスターに常駐させることができる。分散コンピューティング環境をサポートする様々なシステム、コンポーネント、ネットワーク構成が存在する。例えば、コンピューティングシステムは、有線又は無線システムで、ローカルネットワーク又は広域分散ネットワークで接続することができる。現在、多くのネットワークは、広く分散コンピューティングのためのインフラストラクチャを提供するインターネットに結合され、多くの異なるネットワークを含むが、例えば、様々な実施例で説明したシステムで発生しやすい通信には、任意のネットワークインフラを使用することができる。

【0022】

分散型製品の欠陥分析システムは、コンピューティングデバイスやシステム間の通信交換を通じて、コンピュータリソースやサービスの共有を提供する。これらのリソースやサービスには、ファイルなどのオブジェクトの情報交換、キャッシュ記憶装置、ディスク記憶装置などの情報交換が含まれる。これらのリソースやサービスには、ロードバランシング、リソースのスケーリング、処理の特化などのために、複数のプロセッシングユニットで処理能力を共有することも含まれる。例えば、分散型製品の欠陥分析システムは、クライアントデバイス／サーバー、ピアツーピア、又はハイブリッドアーキテクチャなどのネットワークトポロジーとネットワークインフラを持つホストを含むことができる。

【0023】

以下、電子デバイスの構成について、図２の移動端末２００を例に挙げて例示的に説明する。図２の構造は、特に移動目的で使用される部品に加えて、固定タイプの機器にも適用できることは、当業者には理解されるはずである。他の実施形態では、移動端末２００は、図示されているよりも多い又は少ない構成要素で構成されてもよいし、特定の構成要素の組み合わせ、又は特定の構成要素の分割、又は構成要素の異なる配置で構成されてもよい。図示した構成要素は、ハードウェア、ソフトウェア、又はソフトウェアとハードウェアの組み合わせとして実装することができる。構成要素間のインターフェース接続関係は模式的に示しただけであり、移動端末２００の構造上の制限を構成するものではない。他の実施形態では、移動端末２００は、図２とは異なるインターフェース接続で実装されてもよいし、インターフェース接続の組み合わせで実装されてもよい。

【0024】

図２に示すように、移動端末２００は、具体的には、プロセッサ２１０、内部メモリ２２１、外部メモリインターフェース２２２、ユニバーサルシリアルバス（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ、ＵＳＢ）インターフェース２３０、充電管理モジュール２４０、電源管理モジュール２４１、電池２４２、アンテナ１、アンテナ２、移動通信モジュール２５０、無線通信モジュール２６０、音声モジュール２７０、スピーカ２７１、受信機２７２、マイク２７３、ヘッドホンインターフェース２７４、センサーモジュール２８０、ディスプレイ２９０、カメラモジュール２９１、指示器２９２、モータ２９３、キー２９４及びユーザ識別子（ｓｕｂｓｃｒｉｂｅｒ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｍｏｄｕｌｅ、ＳＩＭ）カードインターフェースを含んでいてよい。ここで、センサーモジュール２８０は、深度センサー２８０１、圧力センサー２８０２、ジャイロセンサー２８０３等から構成されてもよい。

【0025】

プロセッサ２１０は、１つ以上の処理ユニットを含んでもよく、例えば、プロセッサ２１０は、アプリケーションプロセッサ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｃｅｓｓｏｒ、ＡＰ）、モデムプロセッサ、グラフィック処理ユニット（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＧＰＵ）、画像信号処理装置（Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ、ＩＳＰ）、コントローラ、ビデオコーデック、デジタル信号プロセッサ（ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ、ＤＳＰ）、ベースバンドプロセッサ及び／又はニューラル－ネットワーク処理ユニット（Ｎｅｕｒａｌ－Ｎｅｔｗｏｒｋ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＮＰＵ）を含んでいてもよい。ここで、異なる処理ユニットは、独立した装置であってもよいし、１つ又は複数のプロセッサに統合されていてもよい。

【0026】

ＮＰＵはＮＮ（Ｎｅｕｒａｌ－Ｎｅｔｗｏｒｋ）コンピューティングプロセッサーであり、人間の脳のニューロン間の伝達パターンなど、生物の神経ネットワークの構造を参考にすることで入力情報を高速に処理し、また継続的に自己学習することが可能である。ＮＰＵは、移動端末２００において、画像認識、顔認識、音声認識、テキスト理解などのインテリジェントなコグニティブアプリケーションを可能にする。

【0027】

プロセッサ２１０には、メモリが設けられている。メモリは、検出命令、接続命令、情報管理命令、解析命令、データ転送命令、通知命令の６つのモジュール機能を実現するための命令を格納でき、プロセッサ２１０により実行されて制御される。

【0028】

充電管理モジュール２４０は、充電器から充電入力を受けるために使用される。電源管理モジュール２４１は、電池２４２、充電管理モジュール２４０及びプロセッサ２１０を接続するために使用される。電源管理モジュール２４１は、電池２４２及び／又は充電管理モジュール２４０から入力を受け、プロセッサ２１０、内部メモリ２２１、ディスプレイ２９０、カメラモジュール２９１及び無線通信モジュール２６０等に電力を供給する。

【0029】

移動端末２００の無線通信機能は、アンテナ１、アンテナ２、移動通信モジュール２５０、無線通信モジュール２６０、モデムプロセッサ及びベースバンドプロセッサによって実現することができる。ここで、アンテナ１及びアンテナ２は、電磁波信号を送受信するために用いられ、移動通信モジュール２５０は、移動端末２００に適用される２Ｇ／３Ｇ／４Ｇ／５Ｇ等を含む無線通信のためのソリューションを提供してもよく、モデムプロセッサは、変調器及び復調器を含んでもよく、無線通信モジュール２６０は、移動端末２００に適用されるＷＬＡＮ（Ｗｉｒｅｌｅｓｓ Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋｓ）（例えば、Ｗｉ－Ｆｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）ネットワーク）、Ｂｌｕｅｔｏｏｔｈ（ＢＴ）、その他の無線通信ソリューションを提供する。いくつかの実施形態では、移動端末２００のアンテナ１は移動通信モジュール２５０に結合され、アンテナ２は無線通信モジュール２６０に結合され、移動端末２００は無線通信技術によってネットワークだけでなく他のデバイスと通信することが可能になる。

【0030】

移動端末２００は、ＧＰＵ、ディスプレイ２９０、アプリケーションプロセッサ等を介して表示機能を実現する。ＧＰＵは、ディスプレイ２９０とアプリケーションプロセッサを接続する画像処理用のマイクロプロセッサである。ＧＰＵは、グラフィックスレンダリングのための数学計算や幾何計算を実行するために用いられる。プロセッサ２１０は、表示情報を生成又は変更するプログラム命令を実行する１つ又は複数のＧＰＵで構成されてもよい。

【0031】

移動端末２００は、ＩＳＰ、カメラモジュール２９１、ビデオコーデック、ＧＰＵ、ディスプレイ２９０及びアプリケーションプロセッサを通じて撮影機能を実現することができる。ここで、ＩＳＰはカメラモジュール２９１からフィードバックされるデータを処理するために用いられ、カメラモジュール２９１は静止画又は動画を撮影するために用いられ、デジタル信号処理器はデジタル信号を処理するために用いられ、デジタル画像信号に加えて他のデジタル信号も処理でき、ビデオコーデックはデジタル動画を圧縮又は解凍するために用いられ、移動端末２００は１つ以上のビデオコーデックをサポートすることも可能である。

【0032】

外部メモリインターフェース２２２を利用して、ＭｉｃｒｏＳＤカードなどの外部メモリカードを接続することで、移動端末２００の記憶容量の拡張を実現することができる。外部メモリカードは、外部メモリインターフェース２２２を介してプロセッサ２１０と通信し、データ記憶機能を実現する。例えば、音楽や動画などのファイルを外部メモリカードに保存する。

【0033】

内部メモリ２２１は、コンピュータ実行可能なプログラムコードを格納するために使用されてもよく、実行可能なプログラムコードは、命令を含んでいる。内部メモリ２２１は、プログラム格納領域とデータ格納領域とで構成されてもよい。ここで、プログラム格納領域は、オペレーティングシステム、少なくとも一つの機能（例えば、音声再生機能、画像再生機能など）に必要なアプリケーションなどを格納することができる。データ格納領域は、移動端末２００の使用中に作成されたデータ（例えば、音声データ、電話帳等）等を保存することができる。さらに、内部メモリ２２１は、高速ランダムアクセスメモリを含んでもよく、また、少なくとも１つのディスクメモリ装置、フラッシュメモリ装置、ＵＦＳ（Ｕｎｉｖｅｒｓａｌ Ｆｌａｓｈ Ｓｔｏｒａｇｅ）等の不揮発性メモリを含んでもよい。プロセッサ２１０は、内部メモリ２２１に格納された命令及び／又はプロセッサに設けられたメモリに格納された命令を実行することにより、移動端末２００の各種機能アプリケーションを実行するとともに、データ処理も行う。

【0034】

移動端末２００は、音声モジュール２７０、スピーカ２７１、受話器２７２、マイク２７３、ヘッドホンインターフェース２７４、及びアプリケーションプロセッサを介してオーディオ機能を実装することができる。例えば、音楽再生、録音などである。

【0035】

深度センサー２８０１は、シーンの深度情報を取得するために使用される。いくつかの実施形態では、深度センサーは、カメラモジュール２９１に設けられてもよい。

【0036】

圧力センサー２８０２は、圧力信号を感知するために使用され、圧力信号を電気信号に変換することができる。いくつかの実施形態では、圧力センサー２８０２は、ディスプレイ２９０に設けることができる。圧力センサー２８０２には、抵抗性圧力センサー、誘導性圧力センサー、容量性圧力センサーなど、多くのタイプがある。

【0037】

ジャイロセンサー２８０３は、移動端末２００の運動姿勢を決定するために用いられてもよい。いくつかの実施形態では、３つの軸（すなわち、ｘ、ｙ及びｚ軸）の周りの移動端末２００の角速度は、ジャイロセンサー２８０３によって決定され得る。ジャイロセンサー２８０３は、手ぶれ防止、ナビゲーション、物理ゲームシナリオなどの撮影に使用することができる。

【0038】

さらに、実際のニーズに応じて、気圧センサー、磁気センサー、加速度センサー、距離センサー、近接光センサー、指紋センサー、温度センサー、タッチセンサー、環境光センサー、骨伝導センサーなど、他の機能センサーをセンサーモジュール２８０に設けることができる。

【0039】

また、補助的な機能を提供する他の装置が移動端末２００に含まれていてもよい。例えば、キー２９４は、電源オンキー、ボリュームキーなどを含み、ユーザは、キー入力を使用して、ユーザ設定及び移動端末２００の機能制御に関連するキー信号入力を生成することができる。さらに例として、指示器２９２、モータ２９３、ＳＩＭカードインターフェース２９５などがある。

【0040】

関連技術では、スクリーン製造の分野では、装置、パラメータ、操作、環境干渉などの工程に問題があるため、産出された製品に不良があり、各工程の後に光学（ＡＯＩ）検出した後、より大量の画像データが発生し、専門オペレータがこれらの画像を不良品としてレベルを判定する必要があり、深層学習を代表する人工知能アルゴリズムの台頭により、不良画像のレベル判定工程にＡＩアルゴリズムが導入されて自動不良画像の検出システム（ＡＤＣ）が作られる。

【0041】

ＡＤＣシステムは、データマークシステム、ＧＰＵサーバー（アルゴリズムシステム）、ＴＭＳシステム、トレーニングシステムの４つのサブシステムで構成され、業務プロセスの簡略化とハードウェア資源の節約を図るため、これらのサブシステムのうち最初の３つを組み合わせて、ＡＩアルゴリズム推論サービスによる生産ラインの不良画像の自動検出機能を実現し、すなわち、トレーニングシステムがなくても上記のシステムは通常動作することができる。しかし、これらのシステムは、アルゴリズムモデルをアップデートすることができず、ＡＩモデルのアップデートが必要な場合は、アルゴリズム開発者が開発や展開する必要がある。トレーニングシステムの役割は、プロジェクト開発時にはアルゴリズムのトレーニングを容易にし、プロジェクト運用、保守期間のモデルの更新を容易にすることである。

【0042】

工場では、生産工程やＡＯＩデバイスの一定の調整を行い、深層学習アルゴリズムはデータ駆動型の技術であるため、生産工程やデバイスの一定の調整によりＡＯＩ画像が変化し、アルゴリズムモデルの精度が低下する。一方、新製品の生産開始の際には、新製品に対応する異なるＡＯＩ画像に対応するため、モデルの再調整も必要である。

【0043】

ＡＤＣシステムのロバスト性を向上させるため、システムはＡＯＩ画像が変化した後でも新しいモデルをトレーニングでき、アルゴリズムの精度を確保する。深層学習アルゴリズムでトレーニングされるモデルは、通常、多数のトレーニングパラメータで構成されており、異なる画像に対して、人為的に調整する必要がある場合が多い。これにより、人的資源を浪費し、人為的な誤動作による損失が発生する可能性がある。

【0044】

上記の欠点に対して、本開示は、まず、欠陥検出方法を提供し、図３に示すように、上記の欠陥検出方法は、以下のステップを含み、
ステップＳ３１０において、欠陥製品データを含むサンプルデータセットを取得し、前記サンプルデータセットの特徴情報を識別し、前記特徴情報が前記サンプルデータセットのサンプル数を含み、
ステップＳ３２０において、初期モデルを取得し、前記初期モデルがニューラルネットワークモデルであり、
ステップＳ３３０において、前記特徴情報に基づいてトレーニングパラメータを構成し、
ステップＳ３４０において、前記サンプルデータセットを利用し、前記トレーニングパラメータに基づいて前記初期モデルをトレーニングして目標モデルを取得し、
ステップＳ３５０において、前記サンプルデータセットに対応する製品の実データを前記目標モデルに入力して前記製品の欠陥情報を取得する。

【0045】

ここで、前記トレーニングパラメータは、学習率の降下ポリシー、トレーニングの総ラウンド数及びテストポリシーのうちの少なくとも１つを含み、学習率の降下ポリシーが学習率の降下回数及び降下時のラウンド数を含み、テストポリシーがテスト回数及びテスト時のラウンド数を含む。

【0046】

関連技術と比べ、この実施例における技術的解決策は、モデルのトレーニングパラメータがトレーニングデータから取得された特徴情報に基づいて決定され、特徴情報におけるサンプル数を利用して、トレーニングパラメータにおける学習率の降下ポリシー、トレーニングの総ラウンド数及びテストポリシーを決定し、人為的な操作ないため、人的資源を節約でき、人為的な誤動作による損失も回避できる。一方、学習率の降下ポリシーが学習率の降下回数及び降下時のラウンド数を含み、テストポリシーがテスト回数及びテスト時のラウンド数を含み、学習率の降下回数及び降下時のラウンド数、テスト回数及びテスト時のラウンド数を構成し、学習率の降下ポリシーとテストポリシーが欠陥検出に対応する影響が大きいため、上記のトレーニングパラメータを構成することで、得られた目標モデルが欠陥検出に対する精度を大幅に向上させることができる。

【0047】

ステップＳ３１０において、欠陥製品データを含むサンプルデータセットを取得し、前記サンプルデータセットの特徴情報を識別し、前記特徴情報が前記サンプルデータセットのサンプル数を含む。

【0048】

この実施形態では、まず、サンプルデータセットを取得し、サンプルデータセットの特徴情報を識別し、具体的に、サンプルデータセットにおけるサンプル数を取得し、サンプルデータセットに含まれる欠陥製品のピクチャのタイプ、サイズ等を取得し、この実施形態ではこれに限定されなく、ここで、サンプルデータセットに欠陥製品データが含まれてもよく、ここで、欠陥製品データに欠陥製品のピクチャ、又は欠陥製品の他の製品データが含まれてもいが、この実施形態ではこれに限定されない。

【0049】

この実施形態では、ここで、上記のサンプルデータセットの特徴情報は、サンプルデータにおける欠陥製品のピクチャのタイプ、サイズ等を含んでもよく、上記のサンプルデータのサンプル数を含んでもよく、サンプル数は、１００００、２００００等であり、ユーザの要件に応じて定義されてもよいが、この実施形態ではこれに限定されない。

【0050】

ステップＳ３２０において、初期モデルを取得し、前記初期モデルがニューラルネットワークモデルであり、
この実施形態では、初期モデルは、畳み込みニューラルネットワーク（ＣＮＮ）モデル、目標検出畳み込みニューラルネットワーク（ｆａｓｔｅｒ－ＲＣＮＮ）モデル、リカレントニューラルネットワーク（ＲＮＮ）モデル、生成的敵対ネットワーク（ＧＡＮ）モデルであってもよいが、これらに限定されなく、当業者が知っている他のニューラルネットワークモデルを利用してもよい。

【0051】

この実施形態では、上記の欠陥製品において欠陥ピクチャのタイプに基づいて上記の初期モデルを決定することができる。具体的に、この実施形態では、実際のサービス要件に応じて、工程又は製品タイプの画像に基づいて異なる又は同じ初期モデルを選択することができ、例えば、サンプルデータセットにおける画像が中間サイトの画像である場合、初期モデルが畳み込みニューラルネットワーク（ＣＮＮ）モデルであり、サンプルデータセットにおける画像が最終サイトの画像である場合、初期モデルが畳み込みニューラルネットワーク（ＣＮＮ）モデル、目標検出畳み込みニューラルネットワーク（ｆａｓｔｅｒ－ＲＣＮＮ）モデルであり、この実施例では特に限定されない。

【0052】

ステップＳ３３０において、前記特徴情報に基づいてトレーニングパラメータを構成し、
この実施例では、トレーニングパラメータが学習率の降下ポリシー、トレーニングの総ラウンド数及びテストポリシーを含み、ここで、上記の特徴情報に基づいてトレーニングパラメータを構成することは、特徴情報におけるサンプル数に基づいて学習率の降下ポリシー、トレーニングの総ラウンド数及びテストポリシーを構成することであってもよい。ここで、学習率の降下ポリシーが学習率の降下回数及び降下時のラウンド数を含み、テストポリシーがテスト回数及びテスト時のラウンド数を含む。

【0053】

具体的に、ここで、上記のトレーニングの総ラウンド数が上記のサンプル数に正相関し、例えば、サンプル数が１００００以下である場合、トレーニングの総ラウンド数を３０００００として構成し、サンプル数が１００００よりも大きい場合、以下の総ラウンド数の決定式を利用してトレーニングの総ラウンド数を構成し、ここで、総ラウンド数の決定式は、Ｙ＝３０００００＋ＩＮＴ（Ｘ／１００００）×ｂであり、Ｙがトレーニングの総ラウンド数を示し、Ｘがサンプル数を示し、Ｘが１００００以上であり、ＩＮＴが丸め関数であり、ｂが成長因子で固定値であり、ｂが３００００以上、７００００以下である。この実施例では、ｂの値が５００００であってもよいし、６００００であってもいが、この実施形態ではこれに限定されない。この実施形態では、上記のサンプル数とトレーニングの総ラウンド数とのマッピング関係は、複数の試験により得られた最適化の結果であってもよいし、ユーザの要求に応じて定義されたものであってもよいが、この実施形態ではこれに限定されない。

【0054】

この実施形態では、学習率の降下時のラウンド数は、トレーニングの総ラウンド数に正相関し、ここで、テスト時のラウンド数が第１の次学習率降下時のラウンド数の以上、トレーニング総ラウンド数以下であり、学習率の降下回数が複数回であり、２回目の学習率の降下ラウンド数の所定のラウンド数範囲において少なくとも２回のテストを行い、２回のテストを行ってもよく、３回以上のテストを行ってもよいが、この実施形態ではこれに限定されない。トレーニング時に複数回の学習率降下を行い、複数の降下後に結果が最適である降下回数を選定し、得られた目標モデルの精度を向上させ、さらに、欠陥検出に対する精度を向上させ、さらに、トレーニング過程においてモデルに対して複数のテストを行って、テスト結果が最適であるモデルを目標モデルとして選定し、さらに、欠陥検出に対する正確性を向上させる。

【0055】

この実施形態では、上記の学習率の降下方式は、分割定数減衰、指数減衰、自然指数減衰、余弦減衰などであってもよいが、この実施形態ではこれに限定されない、ここで、上記の学習率の降下幅が上記の学習率の降下に関連し、且つ、構成された上記の学習率の降下方式における各パラメータに関連し、例えば、０．１、０．０５等に直接設定してもよいが、この実施例では特に限定されない。

【0056】

本開示の一実施形態では、上記の特徴情報は、サンプルデータセットにおける前記欠陥製品のピクチャのサイズ、タイプを含み、上記の特徴情報に基づいてトレーニングパラメータを構成することは、さらに、上記のピクチャのサイズ、タイプに基づいて初期モデルに入力される入力画像のサイズを構成することを含む。

【0057】

具体的に、前記欠陥製品のピクチャのタイプがＡＯＩカラー画像又はＤＭ画像である場合、入力画像のサイズが欠陥製品のピクチャのサイズの第１のプリセット倍数であり、前記欠陥製品のピクチャのタイプがＴＤＩ画像である場合、入力画像のサイズが欠陥製品のピクチャのサイズの第２のプリセット倍数であり、前記第１のプリセット倍数が１以下であり、前記第２のプリセット倍数が１以上である。

【0058】

この実施形態では、上記の第１のプリセット倍数が０．２５以上、０．６以下であってもよく、前記第２のプリセット倍数が３以上、６以下であってもよく、例えば、入力画像のサイズの技術仕様は、主にデータセットの名称、即ちデータセットが属する画像タイプ及びサイトなどによって決定され、ここで、ＳＤ＆Ｆｉｎａｌ＆ｍａｓｋサイトのＡＯＩカラー画像では、元のピクチャサイズが平均２０００＊２０００なので、その入力ピクチャのサイズは５００、６８８、８６４、１０００、１２００のいずれかである。ｔｄｉのグレースケール画像は、元のピクチャサイズが平均で６４＊６４なので、その入力ピクチャのサイズは１９２、２０８、２２４、２４０、２５６のいずれかである。入力ピクチャのサイズの大きさも、ユーザのニーズに応じてカスタマイズ可能であり、この実施例では特に限定されない。

【0059】

他の実施例では、例えば、入力ピクチャのサイズの技術仕様は、主にデータセットの名称、即ちデータセットが属する画像タイプ及びサイトなどによって決定され、ここで、ＳＤ＆Ｆｉｎａｌ＆ｍａｓｋサイトのＡＯＩカラー画像では、元のピクチャサイズが平均２０００＊２０００なので、その入力ピクチャのサイズは５００、６８８、８６４、１０００、１２００のうちの複数である。ｔｄｉのグレースケール画像は、元のピクチャサイズが平均で６４＊６４なので、その入力ピクチャのサイズは１９２、２０８、２２４、２４０、２５６のうちの複数である。入力画像の数が、元の画像の数よりも大きく、この時、サンプル数は、上記の入力画像の数であってもよい。

【0060】

本開示の一実施形態では、特徴情報は、さらに、上記の欠陥製品の欠陥レベル及び各種の欠陥に対応するサンプル数を含み、トレーニングパラメータがさらに信頼度を含み、ここで、各種の欠陥に対応するサンプル数及び前記欠陥レベルに基づいてトレーニング過程における信頼度を構成することができる。

【0061】

具体的に、まず、所定数を設定し、上記の各種の欠陥に対応するサンプル数と所定数の大きさを判断し、上記の欠陥に対応するサンプル数が所定数よりも大きい場合、前記欠陥レベルに基づいて信頼度を構成する。ここで、上記の欠陥レベルが第１の欠陥レベル及び第２の欠陥レベルを含み、上記の欠陥の欠陥レベルが第１の欠陥レベルである場合、前記信頼度を第１の信頼度として構成し、上記の欠陥の欠陥レベルが第２の欠陥レベルである場合、前記信頼度を第２の信頼度として構成し、ここで、上記の第２の信頼度が上記の第１の信頼度よりも大きい。

【0062】

この実施形態では、上記の所定数は、５０、１００等であってもよく、ユーザの要求に応じて定義されてもよいが、この実施形態ではこれに限定されない。ここで、第１の信頼度は、０．６以上、０．７以下であり、前記第２の信頼度は、０．８以上、０．９以下である、上記の第１の信頼度和第２の信頼度の値は、ユーザの要求に応じて定義されるが、この実施形態ではこれに限定されない。

【0063】

例えば、発生率が高く重要度の低い欠陥、すなわち欠陥レベルの低い欠陥については、信頼度を低く設定することができ、例えば、欠陥のないＰＩ８２０や軽微な欠陥のＰＩ８００については、信頼度を０．６とし、すなわち、この図では、ＰＩ８００又はＰＩ８２０について確率の得点が０．６を超えていれば欠陥のあると判定することができる。発生率は低く、重要度の高い欠陥、つまり欠陥レベルが高い欠陥については、より高い信頼度を設定でき、たとえば、深刻な欠陥であるＧＴ０１１及びＳＤ０１１の場合、信頼度を０．８５とし、即ち、この図では、ＧＴ０１１又はＳＤ０１１の確率スコアが０．６を超えた場合のみ該欠陥と判断される。他の信頼度の低い図については、すべてｕｎｋｎｏｗ（ＡＩが認識していない）と判定され、判定漏れを防ぐために手動処理を行う。

【0064】

本開示の一実施形態では、上記の特徴情報に基づいて上記のトレーニングパラメータに対する構成を行った後、上記の方法は、さらに、１つのトレーニングパラメータの表示インターフェースを生成することを含み、且つ、トレーニングパラメータの表示インターフェースにパラメータ変更アイコンが設けられ、ユーザが上記のパラメータ変更アイコンをトリガーした後、変更可能なパラメータを表示し、ユーザは、変更インターフェースで上記に構成されたたトレーニングパラメータを変更することができる。

【0065】

ステップＳ３４０において、前記サンプルデータセットを利用し、前記トレーニングパラメータに基づいて前記初期モデルをトレーニングして目標モデルを取得し、
本開示の一実施形態では、上記のトレーニングパラメータに対する構成及び変更を行った後、上記のサンプルデータセットを利用して上記の取得された初期モデルをトレーニングして目標モデルを取得することができる。

【0066】

該目標モデルは、主に深層学習に基づくニューラルネットワークモデルである。例えば、目標モデルは、フィードフォワードニューラルネットワークに基づいている場合がある。フィードフォワードネットワークは、ノードが層に配置されたリングなし図として実装できる。通常、フィードフォワードネットワークトポロジには、少なくとも１つの隠れ層によって分離された入力層と出力層が含まれる。隠れ層は、入力層が受け取った入力を、出力層で出力を生成するのに役立つ表現に変換する。ネットワークノードは、エッジを介して隣接する層のノードに完全に接続されているが、各層内のノード間にエッジがない。フィードフォワードネットワークの入力層のノードで受信されたデータは、係り数（「重み」）に基づいてネットワークの各連続層のノードの状態を計算する活性化関数を介して、出力層のノードに伝播（つまり、「フィードフォワード」）され、前記係り数は、これらの層を接続する各エッジにそれぞれ関連付けられている。目標モデルの出力は、本開示によって限定されない様々な形態をとることができる。目標モデルは、さらに、他のニューラルネットワークモデルを含んでもよく、例えば、畳み込みニューラルネットワーク（ＣＮＮ）モデル、リカレントニューラルネットワーク（ＲＮＮ）モデル、生成的敵対ネットワーク（ＧＡＮ）モデル、これらに限定されなく、当業者が知っている他のニューラルネットワークモデルを利用してもよい。

【0067】

サンプルデータを用いた上記のトレーニングは、ネットワークトポロジーを選択するステップと、ネットワークによってモデル化される問題を表すトレーニングデータセットを用いるステップと、ネットワークモデルがトレーニングデータセットのすべてのインスタンスに対して最小限の誤差で動作するまで重みを調整するステップとを含むことができる。例えば、ニューラルネットワークの監督式の学習のトレーニング過程では、トレーニングデータセットのインスタンスを表す入力に応答してネットワークが生成した出力が、そのインスタンスの「正しい」とマークする出力と比較され、前記出力とマークされた出力との差を表す誤差信号が算出され、誤差信号を後方に伝搬させ前記ネットワークの層を通す時に、前記接続に関連する重みを調整し、前記誤差を最小にする。トレーニングデータセットのインスタンスから生成された各出力の誤差が最小になったとき、この初期モデルは「トレーニング済み」とみなされ、目標モデルと定義される。

【0068】

この実施例では、初期モデルのトレーニング中に、上記欠陥検出方法は、上記トレーニング過程中の損失曲線を取得することをさらに含み、その後、上記損失曲線に従って上記トレーニングパラメータが調整されてもよい。具体的には、図４を参照して、損失曲線の横座標がトレーニングラウンド数、縦座標が損失値であり、モデルのトレーニング過程中、この損失曲線はトレーニング中の状態に応じてリアルタイムに更新され、ユーザは損失曲線を観察し、その状態に応じてトレーニングパラメータを調整することが可能である。具体的には、損失曲線が常に乱れ、降下傾向を示さない場合は、トレーニングパラメータが適切に構成されていないと判定され、トレーニングを中止し、学習率パラメータ及び学習率の降下ポリシーを再調整して再トレーニングする必要があり、損失曲線が徐々に降下する場合は、継続して観察し、トレーニングを中止するか、次のトレーニングで初期学習率を上げる必要があり、トレーニング終了後も損失曲線に降下傾向が見られる場合は（正常は最終に平滑化するはず）、トレーニングが終了した後、最大トレーニングラウンド数を増やし、再トレーニングを行う。

【0069】

本開示の一実施形態では、テストポリシーに従って、トレーニングラウンド数に達しテスト時のラウンド数に達したモデルを参照モデルとして出力し、複数の参照モデルの正確率及びリコール率に基づいて、複数の参照モデルから目標モデルを選択し、さらに、各参照モデルの各欠陥に対応する正確率及びリコール率を取得し、各欠陥に対応する正確率及びリコール率に基づいて、各参照モデルの混同行列を取得し、上記の混同行列に基づいて上記の目標モデルを取得する。上記の目標モデルを決定する際には、各参照モデルのＦ１スコアを取得し、Ｆ１スコアと混同行列を参照して上記の目標モデルを取得することも可能であり、この実施例では特に限定されるものではない。

【0070】

具体的に、上記の混同行列における複数の参照モデルの正確率、リコール率に基づいて最適の参照モデルを上記の目標モデルとして選定し、例えば、正確率及びリコール率が最大である参照モデルを上記の目標モデルとして選定するが、この実施形態ではこれに限定されない。

【0071】

本開示の一実施態様において、上記方法は、混同行列に基づいて信頼度を修正することをさらに含んでもよく、具体的には、混同行列の各欠陥の正確率及びリコール率を詳細に分析し、モデルのオンライン後の信頼度を特定のサービス要件と関連付けて調整し、それにより特定の欠陥に対するライブモデルの正確度及びリコール率を調整してもよい。例えば、現在の混同行列におけるＰＩ８００のリコール率は０．９０であり、該リコール率は信頼度０．８のデフォルトで生成され、ＰＩ８００は重要ではない欠陥なので、適度な過判定は許容され、生産ラインにおけるこの欠陥のリコール率を改善するために、モデルのオンライン時にはＰＩ８００の信頼度０．６～０．７に設定し、これにより生産中のＰＩ８００のリコール率が０．９１－０．９２に向上され、それに伴い生産中のＰＩ８００の精度は０．０１－０．０２に低下し、リコール率の増加により図化担当者の作業負担を軽減することができる。そのため、ユーザは、混同行列と生産要件に応じて、モデルオンライン前に混同行列の詳細な分析を行うことで、各欠陥の信頼度をカスタマイズすることができる。

【0072】

ステップＳ３５０において、前記サンプルデータセットに対応する欠陥製品の実データを前記目標モデルに入力して前記欠陥製品の欠陥情報を取得する。

【0073】

この実施形態では、上記の目標モデルを得た後、サンプルデータに対応する製品の実データを上記の目標モデルに伝送し、上記の目標モデルを利用して上記の製品の欠陥情報を取得する。ここで、製品の実データは、サンプルデータセットにおける製品欠陥データに対応する検出される製品のデータを含む。

【0074】

本開示は、また、モデルトレーニング方法を提供し、図５に示すように、以下のステップを含み、
ステップＳ５１０において、欠陥製品データを含むサンプルデータセットを取得し、前記サンプルデータセットの特徴情報を識別し、前記特徴情報が前記サンプルデータセットのサンプル数を含み、
ステップＳ５２０において、初期モデルを取得し、前記初期モデルがニューラルネットワークモデルであり、
ステップＳ５３０において、前記特徴情報に基づいてトレーニングパラメータを構成し、
ステップＳ５４０において、前記サンプルデータセットを利用して前記トレーニングパラメータに基づいて前記初期モデルをトレーニングして目標モデルを取得し、前記目標モデルが前記サンプルデータセットに対応する製品の実データに対して欠陥検出を行うために使用され、
前記トレーニングパラメータが学習率の降下ポリシー、トレーニングの総ラウンド数及びテストポリシーのうちの少なくとも１つを含み、学習率の降下ポリシーが学習率の降下回数及び降下時のラウンド数を含み、テストポリシーがテスト回数及びテスト時のラウンド数を含む。

【0075】

ステップＳ５１０において、サンプルデータセットを取得し、前記サンプルデータセットの特徴情報を識別し、前記特徴情報が前記サンプルデータセットのサンプル数を含む。

【0076】

本開示の一実施形態では、この実施形態では、ここで、上記のサンプルデータセットの特徴情報は、サンプルデータにおける欠陥製品のピクチャのタイプ、サイズ等を含み、又は、上記のサンプルデータのサンプル数を含み、サンプル数は、１００００、２００００等であってもよく、ユーザの要求に応じて定義されてもいが、この実施形態ではこれに限定されない。

【0077】

ステップＳ５２０において、初期モデルを取得し、前記初期モデルがニューラルネットワークモデルであり、
この実施形態では、初期モデルは、畳み込みニューラルネットワーク（ＣＮＮ）モデル、目標検出畳み込みニューラルネットワーク（ｆａｓｔｅｒ－ＲＣＮＮ）モデル、リカレントニューラルネットワーク（ＲＮＮ）モデル、生成的敵対ネットワーク（ＧＡＮ）モデルであってもよいが、これらに限定されなく、当業者が知っている他のニューラルネットワークモデルを利用してもよい。

【0078】

この実施形態では、上記の欠陥製品において欠陥ピクチャのタイプに基づいて上記の初期モデルを決定することができる。具体的には、この実施例では、実際のサービス要件に応じて、最終サイト画像（ＳＤ＿ｆｉｎａｌ ｓｉｔｅ）、中間サイト画像（ｍａｓｋ ｓｉｔｅ）、ｔｄｉグレースケール画像の３タイプの画像が関与していてもよく、異なる画像に基づいて異なる初期モデルを選択してもよく、例えば、サンプルデータセットの画像が中間サイト画像である場合、初期モデルは、畳み込みニューラルネットワーク（ＣＮＮ）モデルであり、サンプルデータセットの画像が最終サイト画像である場合、初期モデルは、畳み込みニューラルネットワーク（ＣＮＮ）モデル、目標検出畳み込みニューラルネットワーク（ｆａｓｔｅｒ－ＲＣＮＮ）モデルであってもよいが、この実施例において特に限定されない。

【0079】

ステップＳ５３０において、前記特徴情報に基づいてトレーニングパラメータを構成する。

【0080】

この実施例では、トレーニングパラメータが学習率の降下ポリシー、トレーニングの総ラウンド数及びテストポリシーを含み、ここで、上記の特徴情報に基づいてトレーニングパラメータを構成することは、特徴情報におけるサンプル数に基づいて学習率の降下ポリシー、トレーニングの総ラウンド数及びテストポリシーを構成することであってもよい。ここで、学習率の降下ポリシーが学習率の降下回数及び降下時のラウンド数を含み、テストポリシーがテスト回数及びテスト時のラウンド数を含む。

【0081】

具体的に、ここで、上記のトレーニングの総ラウンド数が上記のサンプル数に正相関し、例えば、サンプル数が１００００以下である場合、トレーニングの総ラウンド数を３０００００として構成し、サンプル数が１００００よりも大きい場合、以下の総ラウンド数の決定式を利用してトレーニングの総ラウンド数を構成し、ここで、総ラウンド数の決定式は、Ｙ＝３０００００＋ＩＮＴ（Ｘ／１００００）×ｂであり、Ｙがトレーニングの総ラウンド数を示し、Ｘがサンプル数を示し、Ｘが１００００以上であり、ＩＮＴが丸め関数であり、ｂが成長因子で固定値であり、ｂが３００００以上、７００００以下である。この実施例では、ｂの値が５００００であってもよいし、６００００であってもいが、この実施形態ではこれに限定されない。この実施形態では、上記のサンプル数とトレーニングの総ラウンド数とのマッピング関係は、複数の試験により得られた最適化の結果であってもよいし、ユーザの要求に応じて定義されたものであってもよいが、この実施形態ではこれに限定されない。

【0082】

この実施形態では、学習率の降下時のラウンド数は、トレーニングの総ラウンド数に正相関し、ここで、テスト時のラウンド数が第１の次学習率降下時のラウンド数の以上、トレーニング総ラウンド数以下であり、学習率の降下回数が複数回であり、２回目の学習率の降下ラウンド数の所定のラウンド数範囲において少なくとも２回のテストを行い、２回のテストを行ってもよく、３回以上のテストを行ってもよいが、この実施形態ではこれに限定されない。トレーニング時に複数回の学習率降下を行い、複数の降下後に結果が最適である降下回数を選定し、得られた目標モデルの精度を向上させ、さらに、欠陥検出に対する精度を向上させ、さらに、トレーニング過程においてモデルに対して複数のテストを行って、テスト結果が最適であるモデルを目標モデルとして選定し、さらに、欠陥検出に対する正確性を向上させる。

【0083】

この実施形態では、上記の学習率の降下方式は、分割定数減衰、指数減衰、自然指数減衰、余弦減衰などであってもよく、この実施形態ではこれに限定されない、ここで、上記の学習率の降下幅が上記の学習率の降下に関連し、且つ、構成された上記の学習率の降下方式における各パラメータに関連し、例えば、０．１、０．０５等に直接設定してもよいが、この実施例では特に限定されない。

【0084】

具体的には、上記の欠陥検出方法における構成方法を参照し、ここで説明を省略する。

【0085】

ステップＳ５４０において、前記サンプルデータセットを利用して前記トレーニングパラメータに基づいて前記初期モデルをトレーニングして目標モデルを取得し、前記目標モデルが前記サンプルデータセットに対応する製品の実データに対して欠陥検出を行うために使用される。

【0086】

本開示の一実施形態では、上記のトレーニングパラメータに対する構成及び変更を行った後、上記のサンプルデータセットを利用して上記の取得された初期モデルをトレーニングして目標モデルを取得することができる。

【0087】

該目標モデルは、主に深層学習に基づくニューラルネットワークモデルである。例えば、目標モデルは、フィードフォワードニューラルネットワークに基づいている場合がある。フィードフォワードネットワークは、ノードが層に配置されたリングなし図として実装できる。通常、フィードフォワードネットワークトポロジには、少なくとも１つの隠れ層によって分離された入力層と出力層が含まれる。隠れ層は、入力層が受け取った入力を、出力層で出力を生成するのに役立つ表現に変換する。ネットワークノードは、エッジを介して隣接する層のノードに完全に接続されているが、各層内のノード間にエッジがない。フィードフォワードネットワークの入力層のノードで受信されたデータは、係り数（「重み」）に基づいてネットワークの各連続層のノードの状態を計算する活性化関数を介して、出力層のノードに伝播（つまり、「フィードフォワード」）され、前記係り数は、これらの層を接続する各エッジにそれぞれ関連付けられている。目標モデルの出力は、本開示によって限定されない様々な形態をとることができる。目標モデルは、さらに、他のニューラルネットワークモデルを含んでもよく、例えば、畳み込みニューラルネットワーク（ＣＮＮ）モデル、リカレントニューラルネットワーク（ＲＮＮ）モデル、生成的敵対ネットワーク（ＧＡＮ）モデル、これらに限定されなく、当業者が知っている他のニューラルネットワークモデルを利用してもよい。

【0088】

サンプルデータを用いた上記のトレーニングは、ネットワークトポロジーを選択するステップと、ネットワークによってモデル化される問題を表すトレーニングデータセットを用いるステップと、ネットワークモデルがトレーニングデータセットのすべてのインスタンスに対して最小限の誤差で動作するまで重みを調整するステップとを含むことができる。例えば、ニューラルネットワークの監督式の学習のトレーニング過程では、トレーニングデータセットのインスタンスを表す入力に応答してネットワークが生成した出力が、そのインスタンスの「正しい」とマークする出力と比較され、前記出力とマークされた出力との差を表す誤差信号が算出され、誤差信号を後方に伝搬させ前記ネットワークの層を通す時に、前記接続に関連する重みを調整し、前記誤差を最小にする。トレーニングデータセットのインスタンスから生成された各出力の誤差が最小になったとき、この初期モデルは「トレーニング済み」とみなされ、目標モデルと定義される。

【0089】

この実施例では、初期モデルのトレーニング中に、上記欠陥検出方法は、上記トレーニング過程中の損失曲線を取得することをさらに含み、その後、上記損失曲線に従って上記トレーニングパラメータが調整されてもよい。具体的には、図４を参照して、損失曲線の横座標がトレーニングラウンド数、縦座標が損失値であり、モデルのトレーニング過程中、この損失曲線はトレーニング中の状態に応じてリアルタイムに更新され、ユーザは損失曲線を観察し、その状態に応じてトレーニングパラメータを調整することが可能である。具体的には、損失曲線が常に乱れ、降下傾向を示さない場合は、トレーニングパラメータが適切に構成されていないと判定され、トレーニングを中止し、学習率パラメータ及び学習率の降下ポリシーを再調整して再トレーニングする必要があり、損失曲線が徐々に降下する場合は、継続して観察し、トレーニングを中止するか、次のトレーニングで初期学習率を上げる必要があり、トレーニング終了後も損失曲線に降下傾向が見られる場合は（正常は最終に平滑化するはず）、トレーニングが終了した後、最大トレーニングラウンド数を増やし、再トレーニングを行う。

【0090】

本開示の一実施形態では、テストポリシーに従って、トレーニングラウンド数に達しテスト時のラウンド数に達したモデルを参照モデルとして出力し、複数の参照モデルの正確率及びリコール率に基づいて、複数の参照モデルから目標モデルを選択し、さらに、各参照モデルの各欠陥に対応する正確率及びリコール率を取得し、各欠陥に対応する正確率及びリコール率に基づいて、各参照モデルの混同行列を取得し、上記の混同行列に基づいて上記の目標モデルを取得する。上記の目標モデルを決定する際には、各参照モデルのＦ１スコアを取得し、Ｆ１スコアと混同行列を参照して上記の目標モデルを取得することも可能であり、この実施例では特に限定されるものではない。

【0091】

具体的に、上記の混同行列における複数の参照モデルの正確率、リコール率に基づいて最適の参照モデルを上記の目標モデルとして選定し、例えば、正確率及びリコール率が最大である参照モデルを上記の目標モデルとして選定するが、この実施形態ではこれに限定されない。初期モデルのトレーニングの詳細は、欠陥検出方法において初期モデルのトレーニングを参照することができ、ここで説明を省略する。

【0092】

本開示は、また、モデルトレーニング方法を提供し、図６に示すように、該モデルトレーニング方法は、以下のステップを含み、
ステップＳ６１０において、ユーザがサンプルデータセットのパラメータに対する構成操作に応答し、欠陥製品データを含むサンプルデータセットを取得し、前記サンプルデータセットの特徴情報を識別し、前記特徴情報が前記サンプルデータセットのサンプル数を含み、
ステップＳ６２０において、初期モデルを取得し、前記初期モデルがニューラルネットワークモデルであり、
ステップＳ６３０において、前記特徴情報に基づいてトレーニングパラメータを構成し、トレーニングパラメータの表示インターフェースを生成し、
ステップＳ６４０において、前記サンプルデータセットを利用して前記トレーニングパラメータに基づいて前記初期モデルをトレーニングして目標モデルを取得し、前記目標モデルが前記サンプルデータセットに対応する製品の実データに対して欠陥検出を行うために使用される。

【0093】

前記トレーニングパラメータが学習率の降下ポリシー、トレーニングの総ラウンド数及びテストポリシーのうちの少なくとも１つを含み、学習率の降下ポリシーが学習率の降下回数及び降下時のラウンド数を含み、テストポリシーがテスト回数及びテスト時のラウンド数を含む。

【0094】

以下、上記の各ステップを詳細に説明する。

【0095】

ステップＳ６１０において、ユーザがサンプルデータセットのパラメータに対する構成操作に応答し、欠陥製品データを含むサンプルデータセットを取得し、前記サンプルデータセットの特徴情報を識別し、前記特徴情報が前記サンプルデータセットのサンプル数を含む。

【0096】

本開示の一実施形態では、ユーザがサンプルデータセットのパラメータに対する構成操作に応答し、サンプルデータを取得し、例えば、グラフィックスユーザーインターフェースで複数の欠陥に対応するサンプルデータ、及び該サンプルデータに対応して取得したアイコンを表示し、ユーザが上記の取得アイコンをトリガーする場合、上記のアイコンに対応するサンプルデータを取得する。

【0097】

この実施形態では、図２０に示すように、ユーザのタスク確立操作に応答し、トレーニングタスクを確立し、前記サンプルデータセットのパラメータ構成インターフェースを生成し、ここで、ユーザは、上記のパラメータ構成インターフェースでサンプルデータセットについてのパラメータを構成することができ、
ここで、サンプルデータセットのパラメータは、部門、セクション、サイト、ピクチャタイプ、製品、トレーニングタイプなどを含むことができ、ユーザのパラメータ構成操作に応答して、サンプルデータのパラメータに対応するサンプルデータセットを自動的に取得し、上記サンプルデータにおける特徴情報を識別することができる。他の実施例では、サンプルデータを取得した後、上記サンプルデータセットのパラメータに基づいて、サンプルデータセットに対応するトレーニングタスクを作成することができるが、この実施例では特に限定されない。

【0098】

上記のサンプルデータセットにおける特徴情報の取得は、上記の内容を参照し、ここで説明を省略する。

【0099】

ステップＳ６２０において、初期モデルを取得し、前記初期モデルがニューラルネットワークモデルであり。

【0100】

この実施形態では、初期モデルを取得することは、欠陥検出方法の説明を参照し、ここで説明を省略する。

【0101】

ステップＳ６３０において、前記特徴情報に基づいてトレーニングパラメータを構成し、トレーニングパラメータの表示インターフェースを生成し、
本開示の一実施形態では、前記特徴情報に基づいてトレーニングパラメータを構成することは、上記の欠陥検出方法の内容を参照し、ここで説明を省略する。

【0102】

本開示の一実施形態では、図２０に示すように、上記のサンプル構成インターフェースにトレーニングパラメータ閲覧アイコンが含まれ、サーバーは、ユーザがトレーニングパラメータ閲覧アイコントに対するリガー操作に応答し、上記のトレーニングパラメータの表示インターフェースを生成する。他の実施例では、図７に示すように、上記のトレーニングパラメータの構成を行った後、トレーニングパラメータの表示インターフェースを直接に生成し、ここで、トレーニングパラメータの表示インターフェースに上記の各トレーニングパラメータの構成情報及びパラメータ変更アイコンが含まれる。

【0103】

ここで、上記のトレーニングパラメータは、トレーニングの総ラウンド数、学習率の降下ポリシー、テストポリシー、信頼度、前記初期モデルに入力する画像のサイズを含み、他のパラメータを含むことができるが、この実施形態ではこれに限定されない。

【0104】

この実施形態では、上記のトレーニングの総ラウンド数、学習率の降下ポリシー、テストポリシー、信頼度、前記初期モデルに入力する画像のサイズは、上記の欠陥検出方法の説明を参照し、ここで説明を省略する。

【0105】

この実施形態では、図７を参照し、サーバーは、ユーザが上記のパラメータ変更アイコンに対するトリガー操作に応答し、上記のトレーニングパラメータを変更し、上記の変更アイコンをトリガーした後、各トレーニングパラメータを変更可能状態になり、決定アイコンを生成し、ユーザは、上記の決定アイコンをトリガーした後、上記のトレーニングパラメータに対する変更を終了する。トレーニングパラメータに対して、インタラクションインターフェースを介して変更し、コードを直接変更する必要がなく、プログラムを分からないシステムの運用保守要員による操作を容易にし、利便性を向上する。

【0106】

本開示の一実施形態では、特徴情報は、さらに、上記の欠陥製品の欠陥レベル及び各種の欠陥に対応するサンプル数を含み、トレーニングパラメータがさらに信頼度を含み、ここで、各種の欠陥に対応するサンプル数及び前記欠陥レベルに基づいてトレーニング過程における信頼度を構成することができ、ここで、上記のパラメータの表示インターフェースに信頼度の構成アイコンがさらに含まれる。

【0107】

この実施形態では、図８に示すように、ユーザが信頼度の構成アイコンに対するトリガー操作に応答し、信頼度の構成インターフェースを生成し、ここで、信頼度の構成インターフェースに各欠陥に対応するサンプル数及び各欠陥に対応する選定アイコンが含まれ、信頼度の構成インターフェースは、ユーザが選定アイコンに対する決定操作に応答するために使用され、選定操作に対応する欠陥の信頼度を構成し、具体的に、ユーザが上記の信頼度の構成インターフェースにおけるサンプル数が所定数の欠陥よりも大きい選定アイコンに対する決定操作に応答し、欠陥レベルに基づいて信頼度を構成する。ここで、上記の欠陥レベルが第１の欠陥レベル及び第２の欠陥レベルを含み、上記の欠陥の欠陥レベルが第１の欠陥レベルである場合、前記信頼度を第１の信頼度として構成し、上記の欠陥の欠陥レベルが第２の欠陥レベルである場合、前記信頼度を第２の信頼度として構成し、ここで、上記の第２の信頼度が上記の第１の信頼度よりも大きい。

【0108】

この実施形態では、上記の所定数は、５０、１００等であり、ユーザの要求に応じて定義されてもよいが、この実施形態ではこれに限定されない。ここで、第１の信頼度は、０．６以上、０．７以下であり、前記第２の信頼度は、０．８以上、０．９以下であり、上記の第１の信頼度と第２の信頼度の値は、ユーザの要求に応じて定義されてもいが、この実施形態ではこれに限定されない。

【0109】

例えば、発生率が高く重要度の低い欠陥、すなわち欠陥レベルの低い欠陥については、信頼度を低く設定することができ、例えば、欠陥のないＰＩ８２０や軽微な欠陥のＰＩ８００については、信頼度を０．６とし、すなわち、この図では、ＰＩ８００又はＰＩ８２０について確率の得点が０．６を超えていれば欠陥のあると判定することができる。発生率は低く、重要度の高い欠陥、つまり欠陥レベルが高い欠陥については、より高い信頼度を設定でき、たとえば、深刻な欠陥であるＧＴ０１１及びＳＤ０１１の場合、信頼度を０．８５とし、即ち、この図では、ＧＴ０１１又はＳＤ０１１の確率スコアが０．６を超えた場合のみ該欠陥と判断される。他の信頼度の低い図については、すべてが認識していないと判定され、判定漏れを防ぐために手動処理を行う。

【0110】

ステップＳ６４０において、前記サンプルデータセットを利用して前記トレーニングパラメータに基づいて前記初期モデルをトレーニングして目標モデルを取得し、前記目標モデルが前記サンプルデータセットに対応する製品の実データに対して欠陥検出を行うために使用される。

【0111】

この実施形態では、トレーニングの過程は、上記の欠陥検出方法の説明を参照し、ここで説明を省略する。

【0112】

本開示の一実施形態では、図９に示すように、上記の初期モデルをトレーニング行う時に、トレーニングスケジュールを生成し表示し、ここで、上記のトレーニングスケジュールは、タスク詳細アイコン及びタスク取消アイコンを含み、ユーザが上記のタスク詳細アイコンをトリガーする時に、トレーニング過程における損失曲線を生成し表示し、次に、ユーザは、上記の損失曲線に従って上記のトレーニングパラメータを調整することができる。

【0113】

損失曲線に従ってトレーニングパラメータを調整することは、上記の欠陥検出方法の説明を参照し、ここで説明を省略する。この実施形態では、ユーザが上記のタスク取消アイコンをトリガーする時、上記の初期モデルに対するトレーニングを停止する。

【0114】

本開示の一実施形態では、図１０に示すように、
本開示の一実施形態では、テストポリシーに従って、トレーニングラウンド数に達しテスト時のラウンド数に達したモデルを参照モデルとして出力し、複数の参照モデルの正確率及びリコール率に基づいて、複数の参照モデルから目標モデルを選択し、さらに、各参照モデルの各欠陥に対応する正確率及びリコール率を取得し、各欠陥に対応する正確率及びリコール率に基づいて、各参照モデルの混同行列を取得し、上記の混同行列に基づいて上記の目標モデルを取得し、混同行列の表示インターフェースを生成し、上記の混同行列に基づいて上記の目標モデルを取得する。上記の目標モデルを決定する際には、各参照モデルのＦ１スコアを取得し、Ｆ１スコアと混同行列を参照して上記の目標モデルを求めることも可能であり、この実施例では特に限定されるものではない。

【0115】

具体的に、図１１に示すように、上記の混同行列における複数の参照モデルの正確率、リコール率に基づいて最適の参照モデルを上記の目標モデルとして選定し、具体的に、ユーザが上記の複数の参照モデルに対する選定操作に応答し、選定操作に対応する参照モデルを上記の目標モデルとして選定し、例えば、正確率及びリコール率が最大である参照モデルを上記の目標モデルとして選定し、この実施形態ではこれに限定されない。ユーザは、選択後に決定アイコンをクリックして目標モデルの決定を行う。

【0116】

本開示の一実施形態では、ユーザは、ユーザが上記の信頼度に対する変更操作に応答し、混同行列に基づいて信頼度を更新することができ、
具体的には、混同行列の各欠陥の正確率及びリコール率を詳細に分析し、モデルのオンライン後の信頼度を特定のサービス要件と関連付けて調整し、それにより特定の欠陥に対するライブモデルの正確度及びリコール率を調整してもよい。例えば、現在の混同行列におけるＰＩ８００のリコール率は０．９０であり、該リコール率は信頼度０．８のデフォルトで生成され、ＰＩ８００は重要ではない欠陥なので、適度な過判定は許容され、生産ラインにおけるこの欠陥のリコール率を改善するために、モデルのオンライン時にはＰＩ８００の信頼度０．６～０．７に設定し、これにより生産中のＰＩ８００のリコール率が０．９１－０．９２に向上され、それに伴い生産中のＰＩ８００の精度は０．０１－０．０２に低下し、リコール率の増加により図化担当者の作業負担を軽減することができる。そのため、ユーザは、混同行列と生産要件に応じて、モデルオンライン前に混同行列の詳細な分析を行うことで、各欠陥の信頼度をカスタマイズすることができる。

【0117】

さらに、本開示は、また、欠陥検出システムを提供し、図１２に示すように、上記のシステムは、データ管理モジュール１２０２、モデル管理モジュール１２０４及びトレーニング管理モジュール１２０３を含み、ここで、データ管理モジュール１２０２は、サンプルデータを記憶し管理するように構成され、トレーニング管理モジュール１２０３は、上記の欠陥検出方法及びモデルトレーニング方法を実行するように構成され、モデル管理モジュール１２０４は、前記目標モデルを記憶し表示し管理するように構成される。

【0118】

本開示の一実施形態では、上記の欠陥検出システムは、さらに、ユーザ管理モジュールを含み、ここで、ユーザ管理モジュール１２０１は、ユーザ情報に対して追加、削除、変更、閲覧、権限管理及び／又はパスワード管理を行うように構成される。

【0119】

図１３を参照して、まず、上記システムは、ＢＳ又はＣＳアーキテクチャを採用しており、バックエンドサーバー１３０６、フロントエンドサーバー１３０３、及び共有ストレージ１３０４で構成され、オペレータ側の工場ＰＣ１３０７を用いてブラウザで操作することが可能である。ＡＤＣシステムにおいてトレーニングに関するタスクを担当するサブシステムとして、トレーニングシステムは、ＡＤＣシステムのデータマークシステム、ＴＭＳシステム、ＧＰＵサーバー（アルゴリズムシステム）と通信を行う。トレーニングシステムは、データマークシステム及びＴＭＳシステムに接続され、ＴＭＳシステム１３０５に更新された目標モデル及び他の関連サービスを提供することができる。

【0120】

トレーニングシステムは、データベースと共有ストレージ１３０４（ＮＡＳネットワークストレージ）を介してデータマークシステム１３０２とデータと画像のインタラクションを行い、トレーニングシステムは、ＴＣＰ／ＩＰプロトコルを介して通信するためにＧＰＵサーバー（アルゴリズムシステム）１３０１とインタラクションし、したがって、ＧＰＵサーバー１３０１がモデルトレーニングと自動テストを行うように制御し、トレーニングシステムは、ＦＴＰプロトコルを介してＴＭＳシステム１３０５とモデルのデータ転送を行い、データベースを介したモデル情報の相互作用を行う。トレーニングシステムは、ＨＴＴＰプロトコルを使用して、フロントエンドとバックエンドのサービス及びウェブインターフェースのインタラクションを行う。

【0121】

具体的には、ユーザ管理モジュールは、システムのユーザ管理及びシステム情報管理モジュールであり、ユーザ情報の追加、削除、変更及び確認、権限管理、パスワード管理、システムに適用される作業部門、部門、及びサイトの追加、削除、変更及び確認の機能に使用される。ユーザ管理モジュールには、ユーザ情報とシステム情報を含めることができ、ユーザはユーザ名とパスワードを入力してトレーニングシステムに入ることができ、次に、完了したトレーニングモジュールにデフォルトで入り、ユーザが既存のモデルのトレーニングステータスを直接表示できると便利である。現在管理されているすべてのユーザを確認することができ、また、ユーザを追加、変更、及び削除できるシステムで権限管理を設定することもできる。

【0122】

本開示の例示的な実施態様において、データ管理モジュールは、サンプルデータを保存及び管理するように構成され、深層学習ＡＩアルゴリズムはデータ駆動型アプローチであるので、工場における生産プロセスの違い及びＡＯＩキャプチャデバイスの違いにより、データタイプ内の差分及びタイプ間の差分が大きくなり、すべての問題を解決するのに一つの汎用モデルを用いることは困難である。そのため、特定のデータに対して個別にモデルをトレーニングさせることで、工場生産におけるリアルタイム推論サービスを包括的にカバーすることができる。

【0123】

このデータセット管理モジュールは、これらのデータセットを統一された基準で処理することができるため、モデルのトレーニングが容易になる。データセット管理は、トレーニングデータセット管理と準備データセット管理に分けられ、準備データセット管理のデータはデータラベリングシステムによってマークされた元のデータであり、ユーザによる統計的検証の後、トレーニングデータ管理にインポートでき、トレーニングデータセット管理のデータは、対応するトレーニングタスクに直接送信でき、モデルトレーニングを行う。

【0124】

具体的には、図１４に示すように、データからシステムによりマークされたデータをマークし、データセット管理の用意データセット管理に自動的に同期（手動同期も可能）され、データセット管理で元のデータセットの同期と統計表示機能が実行できる。データセット管理では、主に各データセットに対応する製品、欠陥タイプ数、ピクチャ数、ピクチャの最小欠陥数、更新時間などの詳細が表示される。

【0125】

データセット管理は、同期アイコンをクリックしてデータマークシステムによりマークされたデータを直接同期させ、手動で同期させることなく、システムが毎日のタイミングでデータ同期を行うことができる。また、統計アイコンをクリックすると、各データセットに含まれる欠陥のタイプ、各タイプのピクチャ数、分布表など、各データセットの詳細情報を得ることができる。

【0126】

トレーニングデータセットの管理では、図１５を参照して、上記準備データセットデータを統計やチャックしてから、行の作成、変更、ピクチャ管理などの機能を行って、データセットに対して一連の操作を行い、モデルをトレーニングすることができるサンプルデータセットを生成できる。

【0127】

サンプルデータセットとモデルの間には対応関係があり、各サンプルデータセットを異なるトレーニングパラメータでトレーニングして、異なるモデルをトレーニングすることができ、ユーザは関連する指標に従ってモデルを選択できる。したがって、準備モデルトレーニングの最初のステップは、このインターフェースでトレーニングするモデルに対応する新しいサンプルデータセットを作成することである。

【0128】

なお、欠陥検出システムのサンプルデータセットの名称に特定のルールがある。つまり、サンプルデータセットの特徴情報に基づいて、システムがトレーニングするトレーニングパラメータを自動的に設定することができる。サンプルデータセットの名称ももちろんデータセットの特徴であるため、サンプルデータセット名称の命名は、特定のルールに従う必要があり、命名ルールとしては、ＳＤ／Ｆｉｎａｌサイトモデルの場合、Ｓｕｂ欠陥モデルの名前を「ｐｒｏｄｕｃｔ＿製品名」、Ｍａｉｎ欠陥モデルの名前を「ｍａｉｎ欠陥＿製品名」（製品名が２つの文字又は数字）とすることが考えられ、例えば、ａｋのｓｕｂ欠陥データセットはｐｒｏｄｕｃｔ＿ａｋであり、ａｋのｍａｉｎ欠陥データセットはｍａｉｎ－欠陥＿ａｋという名前になる。

【0129】

この実施形態では、Ｍａｓｋサイトモデルに対して、Ｍａｓｋサイトのｓｕｂ欠陥モデルは「ｍａｓｋ＿サイト名」（サイト名は４文字又は数字）であり、Ｍａｓｋサイトにはｍａｉｎ欠陥モデルがない。例えば、１５００サイトのモデルデータセットはｍａｓｋ＿１５００と命名される。

【0130】

この実施形態では、ＴＤＩモデルについては、現在、ＳＤ／Ｆｉｎａｌサイトに適用され、ｍａｉｎ欠陥モデルない。命名規則は「ｔｄｉ＿ｔｄｉＸ」（Ｘは数字）である。例えば、従来品に対応するモデル名がｔｄｉ＿ｔｄｉ１である。

【0131】

図１６に示すように、部門、セクション、サイトを選択した後、サンプルデータセットの名称を前述の命名規則に従ってユーザがシステムに手入力する必要があり、入力が完了すると新規データセットが完成する。以上の変更アイコンをクリックした後、新しいデータセット名を入力し、決定をクリックするとデータセット名の変更が完了し、対応するサンプルデータセットの後にある削除アイコンをクリックすると、サンプルデータセットの削除が完了し、ここの削除は、このモジュールにインポートされたデータを削除し、図１７に示すように、上の詳細アイコンをクリックすると、サンプルデータセットの場所、内部組織構造、ピクチャのプレビューなど、各サンプルデータセット内の詳細情報を表示する。ここで、中央の列はサンプルデータセット内のピクチャのディレクトリ構造で、右端の列は選択した欠陥カテゴリフォルダー内のピクチャリストで、ピクチャのプレビューと削除が可能である。

【0132】

モデル管理モジュールは、前記目標モデルを記憶、表示、管理するように構成され、具体的には、図１８を参照しながら説明する。目標モデルの名前変更、削除、詳細表示を含め、ユーザが詳細アイコンをクリックすると、モデル名、モデルのバージョン番号、モデルがオンラインかどうか、トレーナー者、トレーニング完了時間、モデルの正確率、リコール率、モデルパス等というあるモデルのすべてのバージョン情報が表示される。削除アイコンをクリックして、あるトレーニング済みの目標モデルを削除する。

【0133】

トレーニング管理モジュールでは、トレーニングタスクの提出、トレーニングパラメータの適応構成、トレーニングタスクの管理、自動トレーニングテスト結果の表示を実現し、ここで、トレーニングパラメータの適応構成と自動トレーニングテストは、従来のトレーニングシステムにはない機能であり、この２つの機能により、アルゴリズムモデルトレーニングの難易度を大幅に下げ、アルゴリズムユーザが開発時に行ったパラメータ調整の経験をシステムロジックに書き込み、適応的なパラメータ調整と自動テストを実現することで、アルゴリズム開発を行わない運用保守要員やユーザでも、このモジュールを使って生産ラインの精度を実現できるモデルをトレーニングすることができる。トレーニング管理モジュールは、トレーニング済み、トレーニング中、キャンセルという３つのサブモジュールに分かれている。

【0134】

この実施形態では、図１９を参照する。トレーニングタスクは、「トレーニング済み」「トレーニング中」「キャンセル」のいずれの画面でも、新規アイコンをクリックすることでトレーニングタスクを提出することができる。なお、トレーニングタスクは、対応するサンプルデータセットが作成されている場合、又は上記トレーニングタスクに関連するサンプルデータセットが上記トレーニングタスクに従ってシステムから直接取得された場合にのみ提出できることである。

【0135】

モデルトレーニングを容易にするため、図２０に示すように、欠陥検出システムが位置する複雑な生産シナリオ、タイプ内、タイプ間の差分が大きいというデータ特徴に対して、トレーニングシステムがデータセットの特性に基づいてトレーニングパラメータを自動設定する機能を備えている。「サイト」、「ピクチャタイプ」、「製品」（製品の命名規則は下表を参照）、「トレーニングタイプ」を選択した後、「トレーニングパラメータ」をクリックして変更を確認し、数秒待った後、モデルの関連する構成パラメータが自動的にポップアップ表示され、詳細については、図７に示されている内容を参照する。

【0136】

【表1】

【0137】

製品名の命名規則は、表１を参照し、関連するデータセット、初期モデル（オプション）、入力モデル名（オプション）を選択し、トレーニングタイプが主にｍａｉｎ欠陥及びｓｕｂ欠陥（トレーニングタイプとピクチャタイプの対応関係を表２に示す）、トレーニングパラメータを変更した後、決定をクリックする。

【0138】

【表2】

【0139】

図７及び図８を参照すると、インターフェース上の欠陥構成アイコンをクリックする必要があり、ポップアップされたインターフェースにおいて、データセットのピクチャに応じてチェックを入れ、必要に応じて信頼度を変更する。具体的なチェックは、所定数以上のサンプルが選択され、ここで、所定数については、上記欠陥検出方法において詳細に説明されているので、ここで説明を省略する。

【0140】

この実装形態では、図８に示すようなページがポップアップされると、システムは、アルゴリズムユーザの経験に基づいて、個々の欠陥信頼度のデフォルト値を与え、これらのデフォルト値は、サービスから提供された欠陥の重要性と発生率に基づき、複数のテストによって決定される。発生率が高く、重要度が低い特定の欠陥については、信頼度がある程度に緩める。

【0141】

例えば、欠陥のないＰＩ８２０や軽微な欠陥のＰＩ８００については、信頼度を０．６とし、すなわち、この図では、ＰＩ８００又はＰＩ８２０について確率の得点が０．６を超えていれば欠陥のあると判定することができる。発生率は低く、重要度の高い欠陥に対して、信頼度を厳しく処理し、たとえば、深刻な欠陥であるＧＴ０１１及びＳＤ０１１の場合、信頼度を０．８５とし、即ち、この図では、ＧＴ０１１又はＳＤ０１１の確率スコアが０．６を超えた場合のみ該欠陥と判断される。他の信頼度の低い図については、すべてｕｎｋｎｏｗ（ＡＩが認識していない）と判定され、判定漏れを防ぐために手動処理を行う。

【0142】

前述のように、ポップアップするすべての欠陥に対して、サービスの要件に基づいて、いくつかのテストを経て最適な信頼度がアルゴリズムユーザによって選択されてデフォルトの設定を行う。トレーニング過程では、上記の信頼度構成条件を自律的に展開することができる。

【0143】

図９を参照すると、トレーニング管理モジュールでは、トレーニング中のタスクを確認することができ、トレーニングタスクのデータセット名、トレーニング者、トレーニングの理由、現在のトレーニングラウンド数、トレーニングラウンドの合計数などの情報を含む。操作には、キャンセルと詳細という２つの操作アイコンがある。キャンセルアイコンをクリックすると、現在のトレーニングタスクをキャンセルし、詳細アイコンをクリックすると、図４に示すように、現在のトレーニングタスクのトレーニング損失曲線を生成し表示し、モデルのトレーニング効果は、損失曲線の傾向である程度判断できる。

【0144】

この実施形態では、損失曲線の横座標がトレーニングラウンド数、縦座標が損失値であり、モデルのトレーニング過程中、この損失曲線はトレーニング中の状態に応じてリアルタイムに更新され、ユーザは損失曲線を観察し、その状態に応じてトレーニングパラメータを調整することが可能である。具体的には、損失曲線が常に乱れ、降下傾向を示さない場合は、トレーニングパラメータが適切に構成されていないと判定され、トレーニングを中止し、学習率パラメータ及び学習率の降下ポリシーを再調整して再トレーニングする必要があり、損失曲線が徐々に降下する場合は、継続して観察し、トレーニングを中止するか、次のトレーニングで初期学習率を上げる必要があり、トレーニング終了後も損失曲線に降下傾向が見られる場合は（正常はいずれ平滑化するはず）、トレーニングが終了した後、最大トレーニングラウンド数を増やし、再トレーニングを行う。

【0145】

信頼度設定の原則：トレーニングパラメータインターフェースの信頼度入力ボックスで、すべての欠陥に対するデフォルトの信頼度を設定することができる。トレーニング欠陥及び信頼度設定インターフェースの各欠陥の信頼度を選択して入力しない場合、前ページのデフォルト値がデフォルトで使用され、値が入力されている場合は、該インターフェースの信頼度が使用される。

【0146】

図２１を参照すると、トレーニング管理モジュールは、トレーニングされたモデルを表示し、トレーニング完了したモデルを表示し、各データセットに対して生成されたモデルの名前（モデルは、１つのデータセットが異なるトレーニングラウングラウンド数のモデルに対応し、１つのモデルではなく、トレーニングに提出する際にテストが選択したモデルをここに表示する）、トレーニングを完了した時間、及びトレーニングを行った理由を含む。

【0147】

図１９を参照すると，操作には結果確認と最適選択という２つのアイコンが含まれ、それぞれ結果確認と最適選択であり、結果確認をクリックすると、複数（トレーニングパラメータ構成の最初に設定したテストラウンド数に関連し、デフォルトは６つのモデルをテストする）のモデルの混同行列がポップアップする。この機能は、従来のトレーニングシステムを補完するもので、アルゴリズムに関連する指標を、より直感的なテーブルに変換してデータ表示し、運用保守要員やユーザが使い慣れたテーブル形式でデータを閲覧し、関心のある指標を基にモデルを選択できる。最適選択ボタンをクリックすると、各テストモデルのテスト結果が表示され、ここで、主な指標は、ａｃｃｕｒａｃｙ（正確率）とｒｅｃａｌｌ（リコール率）とＦ１スコアで、ａｃｃｕｒａｃｙ（正確率）とｒｅｃａｌｌ（リコール率）とＦ１スコアと前述の混同行列に基づいて、モデルのオンラインにするかどうかを選択する。

【0148】

ユーザは、モデルのオンラインを導く役割に加え、混同行列の各欠陥の正確率とリコール率を詳細に分析し、特定のサービス要件を考慮して、モデルオンライン後の信頼度調整を行うことで、特定の欠陥に対するオンラインモデルの正確率とリコール率を調整する。例えば、現在の混同行列におけるＰＩ８００のリコール率は０．９０であり、該リコール率は信頼度０．８のデフォルトで生成され、ＰＩ８００は重要ではない欠陥なので、適度な過判定は許容され、生産ラインにおけるこの欠陥のリコール率を改善するために、モデルのオンライン時にはＰＩ８００の信頼度０．６～０．７に設定し、これにより生産中のＰＩ８００のリコール率が０．９１－０．９２に向上され、それに伴い生産中のＰＩ８００の精度は０．０１－０．０２に低下し、リコール率の増加により図化担当者の作業負担を軽減することができる。そのため、ユーザは、混同行列と生産要件に応じて、モデルオンライン前に混同行列の詳細な分析を行うことで、各欠陥の信頼度をカスタマイズすることができる。モデルのチェックを選択した後、ＴＭＳシステムのモデル管理インターフェースでこのモデルを確認し、生産ラインでの稼働を行う（モデル管理機能モジュールでも確認可能）。

【0149】

なお、上記の添付図面は、本開示の例示的な実施形態による方法に含まれる工程を模式的に示したものに過ぎず、限定することを意図していない。上記添付図面に示された処理は、当該処理の時間的順序を示したり、限定したりするものではないことは容易に理解されよう。また、これらの処理は、例えば、複数のモジュールで、同期又は非同期に実行されてもよいことは容易に理解される。

【0150】

この実施形態では、図２２を参照すると、データマークシステム２２０１によって生成されたサンプルデータセットを使用し、本開示の欠陥検出システム２２０２を呼び出し、それを対応するモデルにトレーニングし、モデル推論サービスをオンラインにするためにＴＭＳシステム２２０３にアップロードする。以下、具体的なプロセスを説明し、ユーザがデータマークシステムでトレーニングデータの整理とマークを行う。埋め込みＡＩ監督アルゴリズムと従来の無監督アルゴリズムで、自動データマーク機能と半自動データマーク機能を実装し、データマークの作業負担を大幅に軽減する。このモジュールでマークされたデータは、トレーニング管理モジュールの関連ディレクトリに自動的に同期される。トレーニング管理モジュールでトレーニングサンプルデータセットをインポートする。トレーニングタスクに応じたサンプルデータセット名を新たに作成し、データマークシステムにインポートして完了データをマークし、関連情報をデータベースに書き込み、データをインポートした後、詳細確認、データ変更、削除等の操作を行うことができる。トレーニングタスクを提出する。トレーニングセットのインポート後、トレーニングタスク管理モジュールで対応するトレーニングタスクの提出を行う。トレーニングタスク提出の過程で、ユーザはサンプルデータセットの特徴に応じてサイト、ピクチャタイプ、トレーニングタイプなどの情報を選択する必要があり、関連情報を選択した後、トレーニング管理モジュールはトレーニングパラメータを適応的に調整し、構成されたトレーニングパラメータをユーザの参照用にインターフェースに表示され、ユーザはデフォルトパラメータの使用又は変更を選択することができる。完了したら、トレーニングタスクを提出することができる。モデルの自動トレーニングテストを行う。トレーニングタスクを提出した後、トレーニング管理モジュールのバックグラウンドは、トレーニングタスクと構成されたトレーニングパラメータをＡＩアルゴリズムシステムに送信する。そして、ＡＩアルゴリズムシステムは、受け取ったタスクに従ってモデルを自動的にトレーニングさせ、トレーニング終了後にモデルを自動的にテストする。トレーニングの過程で変化する様々な指標は、システム上にアイコンとして表示され、ユーザはトレーニングの状況を把握することができる。トレーニングテストの結果処理を行う。トレーニングが完了すると、ＡＩアルゴリズムシステムは、目標モデルを共有ストレージに格納し、関連するトレーニング結果をトレーニング管理モジュールに送信する。ＡＩアルゴリズムシステムからのメッセージを受信した後、トレーニング管理モジュールは、トレーニング結果をトレーニング済みセクションに表示し、ユーザはモデルの自動的にテストされた後の指標、混同行列、及びいくつかの必要なトレーニング指標分析を閲覧することができる。モデルオンラインを行う。上記の指標に基づき、ユーザは最適なモデルを選択してオンラインし、該モデルをＴＭＳシステム２２０３のモデル管理モジュールに同期させることができる。発売前のモデルは、トレーニング管理モジュールで簡単に閲覧や管理することができる。モデルオンラインを行う。発売前のモデルは、ＴＭＳシステム２２０３のモデル管理データベースに同期されており、ユーザは、ＴＭＳシステムでモデルをオフラインでテストしオンラインすることができる。

【0151】

さらに、図２３に示すように、この実施例は、欠陥検出装置２３００を提供し、第１の取得モジュール２３１０、第１の構成モジュール２３２０、第１のトレーニングモジュール２３３０及び検出モジュール２３４０を含む。ここで、第１の取得モジュール２３１０は、欠陥製品データを含むサンプルデータセットを取得し、前記サンプルデータセットの特徴情報を識別するように構成され、前記特徴情報が前記サンプルデータセットのサンプル数を含み、初期モデルを取得するように構成され、前記初期モデルがニューラルネットワークモデルであり、第１の構成モジュール２３２０は、前記特徴情報に基づいてパラメータをトレーニングするように構成され、第１のトレーニングモジュール２３３０は、前記サンプルデータセットを利用し、前記トレーニングパラメータに基づいて前記初期モデルをトレーニングして目標モデルを取得するように構成され、検出モジュール２３４０は、前記サンプルデータセットに対応する製品の実データを前記目標モデルに入力して前記製品の欠陥情報を取得するように構成され、前記トレーニングパラメータが学習率の降下ポリシー、トレーニングの総ラウンド数及びテストポリシーのうちの少なくとも１つを含み、学習率の降下ポリシーが学習率の降下回数及び降下時のラウンド数を含み、テストポリシーがテスト回数及びテスト時のラウンド数を含む。

【0152】

さらに、図２４に示すように、この実施例は、モデルトレーニング装置２４００を提供し、第２の取得モジュール２４１０、第２の構成モジュール２４２０、及び第２のトレーニングモジュール２４３０を含む。ここで、第２の取得モジュール２４１０は、欠陥製品データを含むサンプルデータセットを取得し、前記サンプルデータセットの特徴情報を識別するように構成され、前記特徴情報が前記サンプルデータセットのサンプル数を含み、初期モデルを取得するように構成され、前記初期モデルがニューラルネットワークモデルであり、第２の構成モジュール２４２０は、前記特徴情報に基づいてトレーニングパラメータを構成するように構成され、第２のトレーニングモジュール２４３０は、前記サンプルデータセットを利用して前記トレーニングパラメータに基づいて前記初期モデルをトレーニングして目標モデルを取得するように構成され、前記目標モデルが前記サンプルデータセットに対応する製品の実データに対して欠陥検出を行うために使用され、前記トレーニングパラメータが学習率の降下ポリシー、トレーニングの総ラウンド数及びテストポリシーのうちの少なくとも１つを含み、学習率の降下ポリシーが学習率の降下回数及び降下時のラウンド数を含み、テストポリシーがテスト回数及びテスト時のラウンド数を含む。

【0153】

さらに、図２５に示すように、この実施例は、モデルトレーニング装置２５００を提供し、第３の取得モジュール２５１０、第３の構成モジュール２５２０、及び第３のトレーニングモジュール２５３０を含む。ここで、第３の取得モジュール２５１０は、ユーザがサンプルデータセットのパラメータに対する構成操作に応答し、欠陥製品データを含むサンプルデータセットを取得し、前記サンプルデータセットの特徴情報を識別するように構成され、前記特徴情報が前記サンプルデータセットのサンプル数を含み、初期モデルを取得するように構成され、前記初期モデルがニューラルネットワークモデルであり、第３の構成モジュール２５２０は、前記特徴情報に基づいてトレーニングパラメータを構成し、トレーニングパラメータの表示インターフェースを生成するように構成され、第３のトレーニングモジュール２５３０は、前記サンプルデータセットを利用して前記トレーニングパラメータに基づいて前記初期モデルをトレーニングして目標モデルを取得するように構成され、前記目標モデルが前記サンプルデータセットに対応する製品の実データに対して欠陥検出を行うために使用され、前記トレーニングパラメータの表示インターフェースに表示されるトレーニングパラメータが学習率の降下ポリシー、トレーニングの総ラウンド数及びテストポリシーのうちの少なくとも１つを含み、学習率の降下ポリシーが学習率の降下回数及び降下時のラウンド数を含み、テストポリシーがテスト回数及びテスト時のラウンド数を含む。

【0154】

上記装置におけるモジュールの具体的な内容は、方法部実施内容で詳述しており、開示されない内容は方法部実施内容で確認できるので、ここで説明を省略する。

【0155】

当業者は、本開示の態様が、システム、方法又はプログラム製品として実施され得ることを理解するであろう。このように、本開示の態様は、完全にハードウェアの実装、完全にソフトウェアの実装（ファームウェア、マイクロコードなどを含む）、又はハードウェアとソフトウェアの態様の組み合わせの形態で具体的に実装されてよく、本明細書では、まとめて「回路」、「モジュール」又は「システム」と称される。

【0156】

本開示の例示的な実施形態はまた、本明細書の上述の方法を実施することができるプログラム製品が格納されるコンピュータ可読記憶媒体を提供する。いくつかの可能な実装では、本開示の様々な態様は、プログラムコードを含むプログラム製品の形で実装することもでき、プログラム製品が端末デバイス上で実行されるとき、プログラムコードは端末デバイスを実行させるために使用される。本明細書における上述の手順本開示の様々な例示的な実施形態によるステップは、「方法の例」セクションに記載されている。

【0157】

なお、本開示に示されるコンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読記憶媒体、あるいはこれらの任意の組み合わせであってよい。コンピュータ可読記憶媒体は、例えば、電気、磁気、光学、電磁気、赤外線、又は半導体のシステム、デバイス、装置、又はこれらの任意の組み合わせであってもよいが、これらに限定されない。コンピュータ読み取り可能な記憶媒体のより具体的な例としては、１本以上のワイヤを有する電気接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラム可能読み取り専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光記憶装置、磁気メモリデバイス、又は上記の任意の適切な組み合わせであっても良い。

【0158】

本開示において、コンピュータ可読記憶媒体は、命令実行システム、デバイス又は装置によって又はこれらと関連して使用され得るプログラムを含む又は格納する任意の有形媒体であり得る。そして、本開示の目的のために、コンピュータ可読信号媒体は、コンピュータ可読プログラムコードを運ぶベースバンド又は搬送波の一部として伝搬するデータ信号を含むことができる。このような伝搬データ信号は、電磁信号、光信号、又は前述の任意の適切な組み合わせを含むが、これらに限定されない様々な形態を取ることができる。また、コンピュータ可読信号媒体は、命令実行システム、装置又は機器によって使用するためのプログラムを送信、伝播又は伝送するコンピュータ可読記憶媒体以外の任意のコンピュータ可読媒体であってもよい。コンピュータ可読媒体に含まれるプログラムコードは、無線、有線、光ファイバーケーブル、ＲＦなど、又は前述の任意の適切な組み合わせなど、任意の適切な媒体を用いて伝送することができる。

【0159】

さらに、本開示の動作を実行するためのプログラムコードは、オブジェクト指向プログラミング言語－Ｊａｖａ、Ｃ＋＋など－、また従来の手続き型プログラミング言語－「Ｃ」など－を含む１つ以上のプログラミング言語の任意の組み合わせで記述することができる。プログラムコードは、ユーザコンピューティング装置で完全に実行されてもよいし、ユーザ装置で部分的に、スタンドアロンパッケージとして実行されてもよいし、ユーザコンピューティング装置で部分的に、リモートコンピューティング装置で部分的に、又はリモートコンピューティング装置又はサーバーで全体的に実行されてもよい。リモートコンピューティング装置を含む場合、リモートコンピューティング装置は、ローカルエリアネットワーク（ＬＡＮ）又はワイドエリアネットワーク（ＷＡＮ）を含む任意の種類のネットワークを介してユーザコンピューティング装置に接続されてもよく、あるいは、（例えば、インターネットサービスプロバイダを使用してインターネットを介して接続する）外部のコンピューティング装置に接続されてもよい。

【0160】

本開示の他の実施形態は、本明細書に開示された発明の明細書及び実施例を考慮すれば、当業者に容易に想到されるであろう。本出願は、本開示の一般原則に従った、本明細書に開示されていない当該技術分野において一般的に知られている又は慣習的な技術手段を含む、本開示のあらゆる変形、使用又は適応を対象とすることを意図している。本説明及び実施形態は例示に過ぎないと考えられ、本開示の真の範囲及び精神は特許請求の範囲によって示される。

【0161】

本開示は、既に上述し、添付図面に図示した正確な構成に限定されるものではなく、その範囲を逸脱することなく、様々な修正及び変更を行うことができることを理解されたい。本開示の範囲は、添付の特許請求の範囲によってのみ限定される。

【符号の説明】

【0162】

１００ システム構成
１０１、１０２、１０３ 端末デバイス
１０４ ネットワーク
１０５ サーバー

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【国際調査報告】