特表2023-514891分散型製品欠陥分析システム、方法及びコンピュータ可読記憶媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-04-12
(54)【発明の名称】分散型製品欠陥分析システム、方法及びコンピュータ可読記憶媒体
(51)【国際特許分類】
G01N 21/88 20060101AFI20230405BHJP
G06V 10/74 20220101ALI20230405BHJP
G06T 7/00 20170101ALI20230405BHJP
【ＦＩ】
G01N21/88 J
G06V10/74
G06T7/00 350C
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2022502980
(86)(22)【出願日】2019-12-20
(85)【翻訳文提出日】2022-01-17
(86)【国際出願番号】 CN2019127071
(87)【国際公開番号】W WO2021120186
(87)【国際公開日】2021-06-24
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＪＡＶＡ
２．ＴＥＮＳＯＲＦＬＯＷ
(71)【出願人】
【識別番号】510280589
【氏名又は名称】京東方科技集團股▲ふん▼有限公司
【氏名又は名称原語表記】ＢＯＥ ＴＥＣＨＮＯＬＯＧＹ ＧＲＯＵＰ ＣＯ．，ＬＴＤ．
【住所又は居所原語表記】Ｎｏ．１０ Ｊｉｕｘｉａｎｑｉａｏ Ｒｄ．，Ｃｈａｏｙａｎｇ Ｄｉｓｔｒｉｃｔ，Ｂｅｉｊｉｎｇ １０００１５，ＣＨＩＮＡ
(74)【代理人】
【識別番号】100108453
【弁理士】
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(72)【発明者】
【氏名】李 昭月
(72)【発明者】
【氏名】柴 ▲棟▼
(72)【発明者】
【氏名】王 耀平
(72)【発明者】
【氏名】▲張▼ 美娟
(72)【発明者】
【氏名】王 洪
【テーマコード（参考）】
2G051
5L096
【Ｆターム（参考）】
2G051AA51
2G051AB02
2G051AC21
2G051EC01
5L096BA03
5L096DA01
5L096DA03
5L096HA11
5L096KA04
(57)【要約】
本開示は、製品製造プロセスにおける製品の欠陥を分析するための分散型製品欠陥分析システム（１０４）を開示し、製品製造メッセージ処理クラスタ（２０１）と、製品欠陥認識クラスタ（２０２）と、製品画像データベース（２０３）と、クライアント機器（２０４）とを含み、前記製品画像データベース（２０３）は、製品製造プロセスにおいて発生された製品画像を記憶するように構成され、前記製品製造メッセージ処理クラスタ（２０１）は、製品製造メッセージに基づき、第１の欠陥認識タスクを含む製品欠陥分析タスクを生成するように構成され、前記製品欠陥認識クラスタ（２０２）は、前記第１の欠陥認識タスクに基づき、欠陥認識モデルによって前記製品画像における製品欠陥内容を認識するように構成され、前記製品欠陥内容は、製品の欠陥タイプと、欠陥位置と、欠陥サイズとのうちのいずれか一つ又は複数を含み、前記クライアント機器（２０４）は、製品欠陥認識結果を出力するように構成される。
【特許請求の範囲】
【請求項1】
製品製造プロセスにおける製品の欠陥を分析するための分散型製品欠陥分析システムであって、製品製造メッセージ処理クラスタと、製品欠陥認識クラスタと、製品画像データベースと、クライアント機器とを含み、
前記製品画像データベースは、製品製造プロセスにおいて発生された製品画像を記憶するように構成され、
前記製品製造メッセージ処理クラスタは、製品製造メッセージに基づき、第１の欠陥認識タスクを含む製品欠陥分析タスクを生成するように構成され、
前記製品欠陥認識クラスタは、前記第１の欠陥認識タスクに基づき、欠陥認識モデルによって前記製品画像における製品欠陥内容を認識するように構成され、前記製品欠陥内容は、製品の欠陥タイプと、欠陥位置と、欠陥サイズとのうちのいずれか一つ又は複数を含み、
前記クライアント機器は、製品欠陥認識結果を出力するように構成される、
分散型製品欠陥分析システム。
【請求項2】
前記製品製造メッセージは、登録情報に関連する第１の製品製造メッセージを含み、前記製品製造メッセージ処理クラスタは、第１の製品製造メッセージを中断の方式でモニタリングするように構成される、
請求項１に記載の分散型製品欠陥分析システム。
【請求項3】
前記製品製造メッセージは、登録情報に関連しない第２の製品製造メッセージをさらに含み、前記製品製造メッセージ処理クラスタは、さらに、前記第２の製品製造メッセージをポーリングの方式でモニタリングするように構成される、
請求項２に記載の分散型製品欠陥分析システム。
【請求項4】
前記第２の製品製造メッセージをポーリングの方式でモニタリングした後、前記第２の製品製造メッセージが製品製造キーワードを含むか否かを決定することと、
前記第２の製品製造メッセージが前記製品製造キーワードを含む場合、前記第２の製品製造情報を保持することと、
前記第２の製品製造メッセージが前記製品製造キーワードを含まない場合、前記第２の製品製造情報を廃棄することと、
をさらに含む、
請求項３に記載の分散型製品欠陥分析システム。
【請求項5】
前記第１の製品製造メッセージは、ロット製品製造メッセージを含み、前記第２の製品製造メッセージは、単一製品製造メッセージを含む、
請求項４に記載の分散型製品欠陥分析システム。
【請求項6】
製品製造メッセージに基づき、製品欠陥分析タスクを生成することは、製品製造メッセージに基づき、製品タイプに対応する欠陥認識モデルが存在するか否かを決定することと、
製品タイプに対応する欠陥認識モデルが存在する場合、前記第１の欠陥認識タスクを生成することと、
前記製品欠陥認識クラスタに前記第１の欠陥分析タスクを送信することと、を含む、
請求項１に記載の分散型製品欠陥分析システム。
【請求項7】
製品製造メッセージに基づき、製品欠陥分析タスクを生成することは、製品タイプに対応する欠陥認識モデルが存在しない場合、第２の欠陥認識タスクを生成することと、
前記クライアント機器に前記第２の欠陥分析タスクを送信することと、
をさらに含む、
請求項６に記載の分散型製品欠陥分析システム。
【請求項8】
前記製品製造メッセージ処理クラスタは、複数の前記製品欠陥分析タスクを生成するタイムシーケンスと、製品の優先度順序と、製品スケジューリング計画とのうちのいずれか一つ又は複数に基づき、製品欠陥分析タスクを順序付けて、製品欠陥分析タスクキューを確立するように構成される、
請求項１に記載の分散型製品欠陥分析システム。
【請求項9】
前記製品製造メッセージ処理クラスタは、さらに、前記製品欠陥認識クラスタの負荷状況に基づき、前記製品欠陥分析タスクキューにおける製品欠陥分析タスクの送信速度を制御するように構成される、
請求項８に記載の分散型製品欠陥分析システム。
【請求項10】
前記欠陥認識モデルは、フィードフォワードニューラルネットワーク欠陥認識モデルと、畳み込みニューラルネットワークモデルと、再帰型ニューラルネットワークモデルと、敵対的生成ネットワークモデルとのうちのいずれか一つ又は複数を含む、請求項１に記載の分散型製品欠陥分析システム。
【請求項11】
前記クライアント機器は、ディスプレイを含み、製品欠陥認識結果を出力することは、前記ディスプレイが、前記製品欠陥認識クラスタによって認識される製品画像を表示することをさらに含む、
請求項１に記載の分散型製品欠陥分析システム。
【請求項12】
前記製品欠陥認識クラスタによって認識される製品画像は、欠陥マーキングフレームと、欠陥マーキングフレーム座標と、欠陥カテゴリマーキングと、欠陥カテゴリスコアとのうちのいずれか一つ又は複数を含む製品欠陥内容マーキングを含む、請求項１１に記載の分散型製品欠陥分析システム。
【請求項13】
前記ディスプレイは、前記製品欠陥認識クラスタが認識できない製品画像を表示するように構成される、請求項１１に記載の分散型製品欠陥分析システム。
【請求項14】
前記クライアント機器は、さらに、ユーザによって入力される製品欠陥認識指令を取得し、
前記製品欠陥認識指令に基づき、前記製品欠陥認識クラスタが認識できない製品画像の製品欠陥内容マーキングを表示するように構成される、
請求項１３に記載の分散型製品欠陥分析システム。
【請求項15】
前記クライアント機器は、さらに、ユーザによって入力される製品欠陥レビュー指令を取得し、
前記製品欠陥レビュー指令に基づき、レビュー待ちの製品画像における製品欠陥内容マーキングを確認するか又は修正するように構成される、
請求項１２又は１４に記載の分散型製品欠陥分析システム。
【請求項16】
前記ディスプレイは、さらに、複数の前記製品欠陥分析タスクに対応するタスクリストを表示するように構成される、
請求項１１に記載の分散型製品欠陥分析システム。
【請求項17】
前記クライアント機器は、さらに、ユーザによって入力される複数の前記製品欠陥分析タスクの実行優先度調整指令を取得し、
前記調整指令に基づき、前記タスクリストにおける製品欠陥分析タスクの順番を修正するように構成される、
請求項１５に記載の分散型製品欠陥分析システム。
【請求項18】
前記製品製造メッセージ処理クラスタは、さらに、欠陥認識モデルトレーニングタスクを生成するように構成され、前記製品欠陥認識クラスタは、さらに、前記欠陥認識モデルトレーニングタスクに基づき、欠陥認識モデルをトレーニングするように構成される、
請求項１に記載の分散型製品欠陥分析システム。
【請求項19】
製品製造メッセージに基づき、第１の欠陥認識タスクを含む製品欠陥分析タスクを生成するステップと、前記第１の欠陥認識タスクに基づき、欠陥認識モデルによって前記製品画像における製品欠陥内容を認識し、前記製品欠陥内容は、製品の欠陥タイプと、欠陥位置と、欠陥サイズとのうちのいずれか一つ又は複数を含むステップと、
製品欠陥認識結果を出力するステップと、を含む、
分散型システムに基づく製品欠陥分析方法。
【請求項20】
製品製造メッセージに基づき、製品欠陥分析タスクを生成するステップは、製品製造メッセージに基づき、製品タイプに対応する欠陥認識モデルが存在するか否かを決定するステップと、
製品タイプに対応する欠陥認識モデルが存在する場合、前記第１の欠陥認識タスクを生成するステップと、
製品タイプに対応する欠陥認識モデルが存在しない場合、第２の欠陥認識タスクを生成するステップと、を含む、
請求項１９に記載の製品欠陥分析方法。
【請求項21】
コンピュータプログラムが記憶されるコンピュータ可読記憶媒体であって、前記プログラムがプロセッサによって実行される場合、請求項１９または２０に記載の製品欠陥分析方法を実現する、
コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、分散型製品欠陥分析システム、方法及びコンピュータ可読記憶媒体に関する。
【背景技術】
【0002】
製品製造プロセスにおいて、例えば半導体製品の製造プロセスにおいて、機器、パラメータ、操作、環境干渉等の段階において問題が存在し、生産された製品がプロセス要求に符合せず、ひいては不良が現れるため、各工程の後に要求に符合しない不良欠陥製品の不良種類、不良サイズ、位置等の情報を適時に算出して認識し、修正と改善を適時に行い、不良の継続的発生を避ける必要がある。現在では、従来の認識方法は、主に、手動検出に依頼する。これは、検出者に対して専門的な訓練を行う必要がある、特に生産された製品の型番が多く、問題が複雑な場合、例えば半導体製品の欠陥種類が多く、微粒子、残留、ライン不良、ホール、スプラッシュ、静電破壊、しわ、膜層変色、気泡等を含むことができ、検出者は、比較的に長い時間と集中力を投入して欠陥検索と関連判断を行う必要がある。
【0003】
以上をまとめると、従来の技術手段が上記問題を解決することには、効率が比較的に低く、正確度が比較的に低いという問題が存在する。
【発明の概要】
【課題を解決するための手段】
【0004】
本開示の少なくとも一つの実施例は、製品製造プロセスにおける製品の欠陥を分析するための分散型製品欠陥分析システムを提供し、製品製造メッセージ処理クラスタと、製品欠陥認識クラスタと、製品画像データベースと、クライアント機器とを含み、そのうち、製品画像データベースは、製品製造プロセスにおいて発生された製品画像を記憶するように構成され、製品製造メッセージ処理クラスタは、製品製造メッセージに基づき、製品欠陥分析タスクを生成するように構成され、そのうち、製品欠陥分析タスクは、第１の欠陥認識タスクを含み、該製品欠陥認識クラスタは、第１の欠陥認識タスクに基づき、欠陥認識モデルによって該製品画像における製品欠陥内容を認識するように構成され、そのうち、製品欠陥内容は、製品の欠陥タイプと、欠陥位置と、欠陥サイズとのうちのいずれか一つ又は複数を含み、クライアント機器は、製品欠陥認識結果を出力するように構成される。
【0005】
本開示の少なくとも一つの実施例は、分散型システムに基づく製品欠陥分析方法を提供し、製品製造メッセージに基づき、製品欠陥分析タスクを生成し、そのうち、製品欠陥分析タスクは、第１の欠陥認識タスクを含むことと、第１の欠陥認識タスクに基づき、欠陥認識モデルによって当該製品画像における製品欠陥内容を認識し、そのうち、当該製品欠陥内容は、製品の欠陥タイプと、欠陥位置と、欠陥サイズとのうちのいずれか一つ又は複数を含むことと、製品欠陥認識結果を出力することと、を含む。
【0006】
本開示の少なくとも一つの実施例は、コンピュータ可読記憶媒体を提供し、その上にコンピュータプログラムが記憶され、当該プログラムがプロセッサによって実行される場合、上記製品欠陥分析方法を実現する。
【図面の簡単な説明】
【0007】
本開示の少なくとも一つの実施例の技術案をより明確に説明するために、以下では、実施例の記述に使用される必要がある添付図面を簡単に説明する。以下では、記述における添付図面は、本開示の例示的な実施例に過ぎない。
【図1】製品製造プロセスにおけるシーンを示す例示概略図である。
【図2】本開示の少なくとも一つの実施例によるサイトを示す例示概略図である。
【図3】本開示の少なくとも一つの実施例による分散型製品欠陥分析システムを示す別の概略図である。
【図4】本開示の少なくとも一つの実施例による製品製造メッセージを処理する方法のフローチャートを示す。
【図5】本開示の少なくとも一つの実施例による製品欠陥タスクを送信する方法を示す概略図である。
【図6】本開示の少なくとも一つの実施例による製品製造メッセージ処理クラスタが製品欠陥分析タスクをスケジューリングすることを示す概略図である。
【図7】本開示の少なくとも一つの実施例による分散型製品欠陥分析システムにおけるクライアント機器のグラフィカルユーザインタフェースを示す概略図である。
【図8】本開示の少なくとも一つの実施例による分散型製品欠陥分析システムにおけるクライアント機器のグラフィカルユーザインタフェースを示す別の概略図である。
【図9】本開示の少なくとも一つの実施例による分散型製品欠陥分析システムにおけるクライアント機器のグラフィカルユーザインタフェースを示すさらに別の概略図である。
【図10】本開示の少なくとも一つの実施例の製品欠陥分析方法を示す概略図である。
【図11】本開示の別の実施例による分散型製品欠陥分析システムを示す概略図である。
【発明を実施するための形態】
【0008】
以下では、添付図面を参照して本開示の実施例をより十分に記述し、添付図面には、本開示の実施例が示される。しかしながら、本開示を多くの異なる形態で実施することができ、且つ本開示は、本明細書に記載された実施例に限定されるものと理解すべきではない。全文において、類似する符号を使用して類似する素子を表示する。
【0009】
ここで使用される用語は、特定の実施例の目的を記述するためにのみ用いられ、本開示を制限することを意図するわけではない。ここで使用されるように、単数形式の「一つ」、「これ」は、コンテキストが明確に別の意味を持たない限り、複数の形式を含むことを意図する。さらに理解すべきことは、本明細書で使用される場合、「含む」という用語は、記載された特徴、全体、ステップ、操作、素子及び／又はアセンブリの現れを指定するが、一つ又は複数の他の特徴、全体、ステップ、操作、素子、アセンブリ及び／又はそのグループの現れ又は追加を排除しない。
【0010】
特に定義されていない限り、本明細書で使用される用語（技術用語と科学用語を含む）は、当業者によって共通して理解されるのと同じ意味を有する。本明細書で使用される用語は、それが当該明細書のコンテキスト及び関連分野における意味と一致する意味を有するものとして解釈されるべきであり、本明細書において特にそのように定義されていない限り、理想化された、又は過度に正式な意味で解釈することはできない。
【0011】
以下では、本開示の実施例による方法、装置（システム）及び／又はコンピュータプログラム製品を示すブロック図及び／又はフローチャートを参照して、本開示を説明する。理解すべきことは、コンピュータプログラム指令によってブロック図及び／又はフローチャートの一つのブロック及びブロックの組み合わせを実現することができる。これらのコンピュータプログラム指令を汎用コンピューティング機器、専用コンピューティング機器のプロセッサ及び／又は他のプログラマブルデータ処理装置に提供することによって、コンピューティング機器プロセッサ及び／又は他のプログラマブルデータ処理装置によって実行される指令は、ブロック図及び／又はフローチャートブロックにおいて指定される機能／動作を実現するための方法を生成することができる。
【0012】
それに応じて、本開示をハードウェア及び／又はソフトウェア（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）で実施してもよい。さらに、本開示は、コンピュータ使用可能又はコンピュータ可読記憶媒体上のコンピュータプログラム製品の形式を取ることができ、それは、媒体において実現されるコンピュータ使用可能又はコンピュータ可読プログラムコードを有することによって、指令実行システムによって使用され、又は指令実行システムと結び付けて使用される。本開示のコンテキストにおいて、コンピュータが使用可能であり、又はコンピュータ可読媒体は、任意の媒体であってもよく、それは、記憶、通信、伝送、又は伝送プログラムを含んでもよく、それによって、指令実行システム、装置又は機器によって使用され、又は指令実行システム、装置又は機器と結び付けて使用される。
【0013】
現在では、製品製造の欠陥検出のプロセスにおいて、依然として、主に手動で製品製造メッセージを分析する方式を採用している。手動で製品製造メッセージを処理することには、多くの不安定要素が存在し、検出品質の低下を招くことにより、製品の品質に潜在的な危険をもたらす。一方、検出プロセスにおいて、すべてのデータは、いずれも手動による入力であり、効率が低いとともに、手動で限られた時間内に検出待ちの製品の画像上で取得された情報の粒度が比較的に粗く、後続の欠陥原因の検索と分析に不便をもたらす。上記全部又は一部の原因に基づき、本開示は、以下の実施例を提供する。
【0014】
なお、本開示は、半導体製品製造のコンテキストにおいて記述されるが、想定できるのは、本開示の実施例は、半導体製品製造に応用されることに限定されず、任意の製品の製造プロセスに用いることができる。
【0015】
以下で言及される製品は、実際の生産プロセスにおける原材料、及び各加工プロセス（製品製造機器での処理）を経た後の半製品又は完成品を含み、例えば、半導体業界において、製品は、最初からラインに入るガラス、露光プロセスを経たアレイ基板、ボックス形成プロセスを経たスクリーンなどを含む。製品画像は、画像取得機器（例えば写真機、ＡＯＩ機器等）によって直接的に取得される製品画像を含み、欠陥内容マーキングを含む製品画像（すなわち欠陥内容認識を経た製品画像）も含む。
【0016】
工場における製品製造システムが比較的に複雑で、製品製造メッセージの処理は、複数のシステムの通信、ファイルと画像伝送とハードウェアリソーススケジューリングに関する。また、システム全体は、製品製造の順調な進行を確保するために、その高可用性と高並行性を確保する必要がある。
【0017】
このため、本開示は、分散型製品欠陥分析システム、方法とコンピュータ可読記憶媒体を提供し、それは、各種の製品の生産に応用することができ、特に半導体表示機器の生産プロセスにおいて、製品製造プロセスにおける製品欠陥認識の効率を向上させる。
【0018】
図１は、製品製造プロセスにおけるシーン１００を示す例示概略図である。
【0019】
図１を参照して、シーン１００において、複数の製品は、サイト１０１を順次経過する。サイト１０１は、ラインフロー全体において、製品が一つの加工工程を完了するために経過する可能性がある一台の機器又は複数台の機器で構成されるシステムを表す。
【0020】
例えば、半導体業界におけるアレイ基板のフォトリソグラフィ工程（ｐｈｏｔｏｌｉｔｈｏｇｒａｐｈｙ ｐｒｏｃｅｓｓ）において、当該工程１に対応するサイト１０は、洗浄機器、プリベーク機器、冷却機器、接着剤塗布機器、露光機器、現像機器、アフターベーク機器、冷却機器等で構成されるシステムであってもよい。サイト１０１は、露光工程に対応する単一の機器（露光機器）であってもよい。製品がサイト１０１に入る場合、サイト１０１は、サイトに入るメッセージ（ｔｒａｃｋｉｎメッセージ）をキャッチする。製品がサイト１０１から離れる場合、サイトは、サイトから離れるメッセージ（ｔｒａｃｋｏｕｔメッセージ）をキャッチする。製品の品質を確保するために、ｔｒａｃｋｉｎメッセージとｔｒａｃｋｏｕｔメッセージにおける製品情報／製品データは、いずれも製品製造の要求を満たす必要がある。
【0021】
サイト１０１は、製品製造プロセスにおけるバーチャルサイト（ｖｉｒｔｕａｌ ｓｉｔｅ）であってもよく、それは、製品に対して検出分析を行う非エンティティ形式の加工のステップを表す。例えば、製品欠陥分析を一つの工程として、サイト１０１を製品欠陥分析のシステムとして、経過する製品に対して欠陥分析を行い、製品欠陥検出のための全てのプロセス情報を取得し且つ分析し、さらに製品欠陥を決定することができる。製品欠陥が製品製造要求を満たすことができない場合、サイト１０１は、アラームを発し且つ当該製品を次のサイトに入ることできないようにし、又は当該製品を対応するメンテナンス工程のサイトに入ることを指示する。
【0022】
サイト１０１は、分散型製品欠陥分析システム１０４を含むことができる。サイト１０１は、画像取得機器１０２と製品製造メッセージサービス機器１０３のうちのいずれか一つ又は複数をさらに含むことができる。画像取得機器１０２、製品製造メッセージサービス機器１０３と製品欠陥分析システム１０４は、プロセッサとメモリを含むコンピューティング機器であってもよい。これらの機器は、ネットワークによって接続することができる。上記各機器の間は、直接的又は間接的に互いに通信することができ、例えば、ネットワークによって互いにデータ及び／又は信号を送受信する。ネットワークは、インターネット及び／又は通信ネットワークに基づくモノのインターネット（Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ）であってもよく、それは、有線ネットワークであってもよく、無線ネットワークであってもよく、例えば、それは、ローカルエリアネットワーク（ＬＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、広域ネットワーク（ＷＡＮ）、セルラデータ通信ネットワーク等の情報交換機能を実現できる電子ネットワークであってもよい。
【0023】
本開示において、サイト１０１は、主に製品の欠陥の検出、分析と処理に用いられる。当業者が理解すべきことは、サイト１０１は、さらに製品製造生産の他のフローに用いることができる。
【0024】
画像取得機器１０２は、製造プロセスにおける製品の製品画像を取得するために用いられ、写真機、カメラ等の機器であってもよい。例えば、半導体業界におけるスクリーン欠陥検出プロセスにおいて、画像取得機器１０２は、ＡＯＩ（Ａｕｔｏｍａｔｅｄ Ｏｐｔｉｃａｌ Ｉｎｓｐｅｃｔｉｏｎ、光学自動検出）機器であってもよい。ＡＯＩ機器は、製造プロセスにおける製品に対して光学検査を行い、製品画像と標準製品画像との間の異なりを判断することができ、それにより、それを欠陥と認定し、且つ写真を撮り、さらに製品欠陥図形付きの製品画像を取得し、後続の欠陥タイプの認識と分析を容易にする。画像取得機器１０２は、画像取得機能を有する他のカメラ又は写真機であってもよい。画像取得機器１０２は、撮影された製品画像と対応するファイルを製品画像データベースに送信することができる。製品画像データベースは、分散型ファイルシステム（Ｄｉｓｔｒｉｂｕｔｅｄ Ｆｉｌｅ Ｓｙｓｔｅｍ、ＤＦＳ）又は他のデータ記憶機器であってもよい。
【0025】
製品製造メッセージサービス機器１０３は、生産製造プロセスにおいて発生した全部又は一部の製品製造メッセージを監視して管理するために用いられる。インテリジェント化の生産プロセスにおいて、大量の製品製造メッセージが発生し、製品製造メッセージは、製品製造プロセスにおいて発生した生産記録情報を含む。製品製造メッセージによって、製品が既に経過した製品製造機器及び当該機器を経過して処理された結果情報を知ることができる。例えば、製品製造メッセージサービス機器１０３は、製造実行システム（Ｍａｎｕｆａｃｔｕｒｉｎｇ Ｅｘｅｃｕｔｉｏｎ Ｓｙｓｔｅｍ、ＭＥＳ）を含み、経営情報システム（Ｅｘｅｃｕｔｉｖｅ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｙｓｔｅｍ、ＥＩＳ）を含んでもよく、製品製造メッセージサービス機器１０３は、製品製造を監視するための他の機器であってもよく、本開示は、これに限られない。製品製造メッセージサービス機器１０３は、製品製造フローにおける全部又は一部の製品製造メッセージをキャッチし、且つこれらの製品製造メッセージをブロードキャストするか、またはこれらの製品製造メッセージを製品欠陥分析システム１０４に送信することができる。
【0026】
分散型製品欠陥分析システム１０４は、製品製造メッセージをさらに処理し、欠陥認識モデルを利用して製品に対して欠陥認識を行うタスク、検出者によって製品に対して欠陥認識を行うタスク、欠陥認識モデルをトレーニングするタスク等を含む製品欠陥に対して検出分析を行う製品欠陥分析タスクを生成することができる。分散型製品欠陥分析システム１０４は、製品欠陥分析を完了した後、分析結果を製品製造メッセージ処理機器１０３に戻してもよく、画像取得機器１０２に戻してもよい。
【0027】
図２は、本開示の少なくとも一つの実施例による分散型製品欠陥分析システム１０４を例示的に示す概略図である。
【0028】
分散型製品欠陥分析システム１０４は、ワングループのコンピュータが、ネットワークによって相互に接続されてメッセージを伝達して通信した後に、それらの挙動を協調して形成されるシステムである。アセンブリの間は、互いにインタラクションすることにより、一つの共通のターゲットを実現する。ネットワークは、インターネット及び／又は通信ネットワークに基づくモノのインターネット（Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ）であってもよく、それは、有線ネットワークであってもよく、無線ネットワークであってもよく、例えば、それは、ローカルエリアネットワーク（ＬＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、広域ネットワーク（ＷＡＮ）、セルラデータ通信ネットワーク等の情報交換機能を実現できる電子ネットワークであってもよい。分散型コンピューティングシステムは、ソフトウェアオブジェクトのようなソフトウェアアセンブリ、又は、分散型オブジェクト、エージェント、アクター（ａｃｔｏｒ）、バーチャルアセンブリ等のような他のタイプの個体アドレス指定可能な孤立エンティティを有してもよい。一般的には、このような各アセンブリは、個体アドレス指定可能であり、且つ分散型システムにおいて唯一の身分（例えば整数、ＧＵＩＤ、文字列又は不透明なデータ構造等）を有する。地理的分散を許可する分散型システムにおいて、アプリケーションは、配備によって一つのクラスタに滞留することができる。分散型コンピューティング環境をサポートする各種のシステム、アセンブリとネットワーク構成が存在する。例えば、コンピューティングシステムは、有線又は無線システムによって、ローカルネットワーク又は広域分散型ネットワークによって接続されることができる。現在、多くのネットワークは、インターネットにカップリングされ、それは、広域分散型コンピューティングにインフラストラクチャを提供し、且つ多くの異なるネットワークを含み、任意のネットワークインフラストラクチャは、例えば各種の例示に記述される、システムに発生しやすい通信に用いることができる。
【0029】
分散型製品欠陥分析システム１０４は、コンピューティング機器とシステムとの間の通信交換によってコンピュータリソースとサービスの共有を提供する。これらのリソースとサービスは、オブジェクト（例えばファイル）に対する情報交換と、高速キャッシュ記憶装置と、ディスク記憶装置とを含む。これらのリソースとサービスは、負荷バランス、リソース拡張、処理の専門化等のための、複数の処理ユニットにわたる処理能力の共有をさらに含む。例えば、分散型製品欠陥分析システム１０４は、クライアント機器／サーバ、ピアツーピア又はハイブリッドアーキテクチャのネットワークトポロジとネットワークインフラストラクチャなどを有するホストを含むことができる。
【0030】
図２は、本開示の少なくとも一つの実施例によるサイト１０１を示す例示概略図である。
【0031】
図２を参照して、分散型製品欠陥分析システム１０４は、製品製造メッセージ処理クラスタ２０１と、製品欠陥認識クラスタ２０２と、製品画像データベース２０３と、クライアント機器２０４とを含むことができる。分散型製品欠陥分析システム１０４は、モデル管理サーバ等の他のサーバ又はクラスタをさらに含むことができる。
【0032】
上記クラスタ（ｃｌｕｓｔｅｒ）（例えば、上記製品製造メッセージ処理クラスタ２０１、製品欠陥認識クラスタ２０２）は、相互に独立しかつネットワークによって接続される２つ又は複数のコンピュータを含むことができる。これらのコンピュータは、グループを構成し、且つ単一システムのモードで管理される。クラスタが外部とインタラクションする場合、クラスタは、一つの独立のサーバとすることができる。
【0033】
分散型製品欠陥分析システム１０４は、製品製造メッセージ処理クラスタ２０１、製品欠陥認識クラスタ２０２、クライアント機器２０４、製品画像データベース２０３上に運行するプログラム、方法、データ記憶、プログラマブルロジック等をさらに含むことができる。理解できるように、分散型製品欠陥分析システム１０４における各機器は、異なる種類のハードウェア機器、例えばパーソナルデジタルアシスタント（ＰＤＡ）、オーディオ／ビデオ機器、モバイル電話、ＭＰ３プレーヤ、パーソナルコンピュータ、ラップトップコンピュータ、サーバ等であってもよい。
【0034】
分散型製品欠陥分析システム１０４は、製品製造メッセージ処理クラスタ２０１と、製品欠陥認識クラスタ２０２と、クライアント機器２０４とを含むことができる。選択的に、製品製造メッセージサービス機器１０３と画像取得機器１０２は、分散型製品欠陥分析システム１０４に含まれてもよい。製品製造メッセージ処理クラスタ２０１は、製品製造メッセージサービス機器１０３と通信することができる。製品製造メッセージサービス機器１０３、製品製造メッセージ処理クラスタ２０１と製品欠陥認識クラスタ２０２は、プロセッサとメモリとを含むコンピューティング機器であってもよい。これらの機器は、ネットワークによって接続することができる。上記各機器の間は、直接的又は間接的に互いに通信することができ、例えば、ネットワークによって互いにデータ及び／又は信号を送受信する。
【0035】
製品画像データベース２０３は、製品製造プロセスにおいて発生された製品画像を記憶するように構成される。製品製造プロセスにおいて発生された製品画像は、製品が製造プロセスにおいて画像取得機器１０２によって取得される製品画像を含んでもよく、他のルートで取得され且つ製品画像データベースに記憶される製品画像を含んでもよい。例えば、ＡＯＩ機器は、製品画像を取得した後、製品画像データベース２０３に直接記憶されてもよく、工場データベースに記憶され、さらに工場データベースにおける製品画像を製品画像データベース２０３に伝送してもよい。工場データベースによって製品画像を製品画像データベース２０３に伝送することは、分散型製品欠陥分析システム１０４が製品画像データベース２０３における製品画像に対して呼び出し、記憶等の操作を行う場合、工場における他のデータに影響を引き起こさないことを確保することができる。製品画像データベース２０３は、分散型ファイルシステム（Ｄｉｓｔｒｉｂｕｔｅｄ Ｆｉｌｅ Ｓｙｓｔｅｍ、ＤＦＳ）であってもよく、リレーショナルデータベース（Ｏｒａｃｌｅ、ＲｅｄｉｓとＭｙＳＱＬ）であってもよい。
【0036】
製品製造メッセージ処理クラスタ２０１は、製品製造メッセージに基づき、製品欠陥分析タスクを生成するように構成され、前記製品欠陥分析タスクは、第１の欠陥認識タスクを含む。
【0037】
上記したように、製品欠陥分析システム１０４は、製品製造フロー全体における検出サイトとすることができる。工場で生産される異なるパイプライン作業の製品は、検出フローにおいていずれもサイト１０１に流入する可能性がある。現在では、工場において、製品が豊富で且つプロセスが複雑であるため、大量の製品製造メッセージが発生する。製品製造メッセージ処理クラスタ２０１は、画像取得機器１０２によって生成された製品製造メッセージ又は製品製造メッセージサービス機器１０３によって受け取られた製品製造メッセージを取得し、且つ当該製品製造メッセージの内容を解析し、それにより、製品欠陥分析タスクを生成し、分散型製品欠陥分析システム１０４の他の機器又はクラスタに対するタスク割り当てとスケジューリングを実現することができる。製品製造メッセージ処理クラスタ２０１は、さらに、分散型製品欠陥分析システム１０４によって生成された製品製造メッセージを製品製造メッセージサービス機器１０３にフィードバックすることができる。
【0038】
本開示において、製品製造メッセージは、製品製造サイト情報及び／又は製品情報を含むことができる。そのうち、製品製造サイト情報は、サイトの標識、サイトの物理的位置（例えば、ＡＯＩ機器の物理的位置）、サイトが製品製造フローにおけるノード情報（例えば、露光フローにおける欠陥認識／検出、洗浄フローにおける認識／欠陥等）等を含み、これらの情報は、具体的なサイトへの認識又は位置決めを支援することができる。製品情報は、製品タイプ、製品名称、製品標識、製品優先度等であってもよく、これらの情報は、具体的な製品への認識又は位置決めを支援することができる。当業者が理解すべきことは、製品製造メッセージの内容は、上記例示に限定されず、それは、製品製造フローにおける欠陥認識／検出に関連すればよい。
【0039】
製品製造メッセージは、ロット製品（ｌｏｔ－ｐｒｏｄｕｃｔ）製造メッセージであってもよく、単一製品製造メッセージであってもよい。例えば、ＡＯＩ機器が製品パイプラインのスクリーン製品を検査する場合、ＡＯＩ機器は、一つのスクリーン（又は大きなガラス基板スクリーン、またＧｌａｓｓと呼ばれる）の検出が完了した後、一つの製品製造メッセージとして単一製品製造メッセージを製品製造メッセージサービス機器１０３に送信し、且つピクチャファイル（．ｊｐｇ／．ｇｌｓ）を製品画像データベース２０３に送信してもよく、又は、それは、現在の工場における全ての活性化された機器に単一製品製造メッセージを送信してもよい。ＡＯＩ機器は、さらにＬＯＴを単位（１Ｌｏｔには２０個のＧｌａｓｓが含まれ、各Ｇｌａｓｓが一つの大きなガラス基板スクリーンである）としてロット製品製造メッセージを送信する可能性がある。例えば、一つのＬＯＴの検出が完了する場合、ＡＯＩは、一つの製品製造メッセージとして、ロット製品製造メッセージ（例えば、ロット製品情報）を製品製造メッセージサービス機器１０３又は他の任意の関連機器に送信する。製品製造プロセスにおいて、一般的には、ロット製品（ＬＯＴ製品）を単位として加工生産を行い、すなわちロット製品が経過する製品製造サイト、プロセスフロー等は、いずれも一致し、そのため、工場では、一般的には、ロット製品製造メッセージを一つの製品製造メッセージとして伝達し、製品製造メッセージ管理をより効率的に行うことができる。
【0040】
製品製造メッセージは、製品欠陥認識に関連しない内容を含むことができ、製品製造メッセージ処理クラスタ２０１は、製品製造メッセージを解析することによって、製品タイプ等の製品欠陥認識に関連する情報を取得し、且つ当該情報に基づき、対応する製品欠陥分析要求メッセージを生成し、且つ製品欠陥分析要求メッセージを送信する方式で製品欠陥分析タスクを配布する。
【0041】
例えば、一つのロット製品製造メッセージを解析する場合、製品製造メッセージ処理クラスタ２０１は、その中から複数の製品に含まれる製品画像の数、製品画像に対応する製品タイプ、製品画像の寸法等を取得することができる。製品画像は、半導体スクリーンが基板から、堆積、エッチング、最後にボックス形成までのいずれか一つのステップにおいて撮影される画像であってもよい。製品欠陥分析要求メッセージを生成する場合、製品製造メッセージ処理クラスタ２０１は、製品欠陥分析タスクにおいて分析する製品タイプ、実行する製品欠陥分析タスクタイプ（例えば、人工知能認識、手動認識等）を判断する必要がある。その後、製品製造メッセージ処理クラスタ２０１は、さらに製品欠陥分析要求メッセージの後にメッセージフォーマット検証を行い、製品欠陥分析要求メッセージのフォーマットが合格したと決定した後に、製品欠陥分析要求メッセージを送信する方式で、分散型製品欠陥分析システム１０４における他の機器（例えば、製品欠陥認識クラスタ、クライアント機器等）に製品欠陥分析タスクを配布することができる。製品欠陥分析タスクタイプは、異なるタイプの製品欠陥分析タスクを指示するために用いられる。製品欠陥分析タスクは、第１の欠陥認識タスクを含み、そのうち、第１の欠陥認識タスクとは、人工知能に基づいて欠陥認識を行うタスクであり、当該タスクは、製品欠陥認識クラスタ２０２によって実行されてもよい。そのため、製品製造メッセージ処理クラスタ２０１は、製品製造メッセージに基づき、第１の欠陥認識タスクを生成し、且つ当該第１の欠陥認識タスクを製品欠陥認識クラスタ２０２に送信することができる。
【0042】
製品欠陥認識クラスタ２０２は、ＧＰＵコンピューティングリソースを利用して人工知能推論（ビジョン認識）とトレーニングタスクを実行することができる一つ又は複数の機器であってもよい。人工知能に基づいて行われる推論タスクは、欠陥認識モデルに基づく欠陥認識タスクであってもよく、当該欠陥認識モデルは、主に深層学習に基づくニューラルネットワークモデルである。例えば、欠陥認識モデルは、フィードフォワードニューラルネットワークに基づくものであってもよい。フィードフォワードネットワークは、非循環グラフとして実現されることができ、そのうちノードが層の中に配置される。一般的には、フィードフォワードネットワークトポロジは、入力層と出力層とを含み、入力層と出力層は、少なくとも一つの隠れ層によって分離される。隠れ層は、入力層によって受け取られた入力を、出力層において出力を生成するのに有用な表現に変換する。ネットワークノードは、周縁を介して隣接する層におけるノードに完全に接続されるが、各層内のノードの間に周縁が存在しない。フィードフォワードネットワークの入力層のノード箇所において受け取られたデータは、活性化関数を経由で出力層のノードに伝播され（すなわち、「フィードフォワード」）、前記活性化関数は、係数（「重み」）に基づき、ネットワークにおける各連続層のノードの状態を算出し、前記係数は、それぞれこれらの層に接続される周縁のうちのそれぞれに関連する。欠陥認識モデルの出力は、各種の形式を採用してもよく、本開示は、これに限られない。欠陥認識モデルは、他のニューラルネットワークモデル、例えば、畳み込みニューラルネットワーク（ＣＮＮ）モデル（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｍｏｄｅｌ）、再帰型ニューラルネットワーク（ＲＮＮ）モデル（ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｍｏｄｅｌ）、敵対的生成ネットワーク（ＧＡＮ）モデル（ｇｅｎｅｒａｔｉｖｅ ａｄｖｅｒｓａｒｉａｌ ｎｅｔｗｏｒｋ ｍｏｄｅｌ）をさらに含むことができるが、それらに限られず、当業者に公知の他のニューラルネットワークモデルを採用してもよい。
【0043】
ニューラルネットワークモデルは、一般的にはトレーニングによって取得される必要がある。製品欠陥認識クラスタ２０２は、さらにニューラルネットワークモデルに対してトレーニングを行い、主に、ネットワークトポロジを選択するステップと、ネットワークによってモデリングされる問題を表すワングループのトレーニングデータを使用するステップと、ネットワークモデルがトレーニングデータセットの全ての実例に対して最小の誤差を有するように表現されるまで、重みを調節するステップとを含む。例えば、ニューラルネットワークのための教師あり学習（Ｓｕｐｅｒｖｉｓｅｄ Ｌｅａｒｎｉｎｇ）トレーニングプロセス期間において、ネットワークによってトレーニングデータセットにおける実例を表す入力に応答して生成された出力と、当該実例の「正確な」マーキングされた出力とを比べて、前記出力とマーキングされた出力との間の差異の誤差信号を算出し、誤差信号が後に伝播されてネットワークのレイアを貫通する場合、前記接続に関連する重みを調節することにより、当該誤差を最小化する。トレーニングデータセットの実例から生成された各出力の誤差が最小化される場合、当該ニューラルネットワークモデルは、「トレーニングされた」とみなされ、且つ人工知能推論タスクに用いることができる。
【0044】
ニューラルネットワークモデルの推論とトレーニングプロセスにおいて、大量のパラメータ、活性化値、勾配値のバッファ領域に関し、その各値は、毎回のトレーニング反復においていずれも完全に更新され、算出とスループット能力へのニーズが非常に高い。ＧＰＵは、強い並列能力と高いビデオメモリ帯域幅を有し、トレーニング深さニューラルネットワークに関連する算出を処理する場合に極めて効率的である。そのため、複数のＧＰＵで集積されるＧＰＵクラスタを使用することは、ニューラルネットワークモデルのトレーニングと推論速度を効果的に向上させることができ、且つ製品欠陥認識クラスタ２０２は、さらに、ハードウェアリソースに対してスケジューリングと割り当てを行うことができる。
【0045】
本開示の少なくとも一つの実施例において、製品欠陥認識クラスタ２０２は、第１の欠陥認識タスクに基づき、欠陥認識モデルによって製品画像における製品欠陥内容を認識するように構成されてもよく、そのうち、製品欠陥内容は、製品の欠陥タイプと、欠陥位置と、欠陥サイズとのうちのいずれか一つ又は複数を含む。そのうち、製品欠陥内容は、製品の欠陥タイプと、欠陥位置と、欠陥サイズとのうちのいずれか一つ又は複数を含む。製品欠陥認識クラスタ２０２は、製品製造メッセージ処理クラスタ２０１によって送信される第１の欠陥認識タスクを受信した後、既にトレーニングされた欠陥認識モデルによって、製品画像データベース２０３に記憶される製品画像に対して製品欠陥内容の認識を行い、すなわち製品の欠陥タイプと、欠陥位置と、欠陥サイズとのうちのいずれか一つ又は複数を認識する。
【0046】
本開示の実施例において、前記第１の欠陥認識タスクに基づき、欠陥認識モデルによって製品画像における製品欠陥内容を認識する実現形態は、まず、製品画像を一定画素サイズＭｘＮにスケーリングし（スケーリングしなくてもよく）、その後にＭｘＮ画像を深さ畳み込みニューラルネットワーク（ＶＧＧ／Ｒｅｓｎｅｔ／ＭｏｂｉｌｅＮｅｔ等）に送り込み、多層畳み込み層、活性化層、プール層によって、画像全体の特徴図（ｆｅａｔｕｒｅ ｍａｐｓ）を取得し、特徴図をスクリーニング領域ネットワーク（ＺＦ／ＳＳＤ／ＲＰＮ等）に入力し、算出を経て、助言領域（ｐｒｏｐｏｓａｌ ｒｅｇｉｏｎ）を取得し、その後に、助言領域に対して畳み込みプール等の操作を行い、助言領域の領域特徴図（ｐｒｏｐｏｓａｌ ｆｅａｔｕｒｅ）を取得し、さらに領域特徴図（ｐｒｏｐｏｓａｌ ｆｅａｔｕｒｅ）を後続の完全接続とｓｏｆｔｍａｘネットワークに送り込んで分類し（ｃｌａｓｓｉｆｉｃａｔｉｏｎ、すなわちｐｒｏｐｏｓａｌがいったい何の欠陥であるかを分類する）、最大確率の欠陥カテゴリを取得して最終分類結果として、カテゴリと確率を記録することである。なお助言領域（ｐｒｏｐｏｓａｌ ｒｅｇｉｏｎ）の座標と寸法は、欠陥の位置とサイズを表す。欠陥モデルに基づいて製品欠陥内容を認識する方法は、上記方法の類似変形又は他の当業者に公知の方法を採用してもよく、本開示は、これに限られない。
【0047】
例えば、半導体業界において、欠陥タイプは、微粒子（ｐａｒｔｉｃｌｅ）、残留（ｒｅｍａｉｎ）、ライン不良（ｌｉｎｅ）、ホール（ｈｏｌｅ）、スプラッシュ（ｓｐｌａｓｈ）、しわ（ｗｒｉｎｋｌｅ）、膜層変色（ｆｉｌｍ ｃｏｌｏｒ）、気泡（ｂｕｂｂｌｅ）等を含んでもよく、さらに各欠陥タイプに基づいてより多くの小さな区分を行ってもよい。例えば、微粒子タイプは、異なる形態の微粒子欠陥に基づき、通常の微粒子Ｐ１（Ｎｏｒｍａｌ Ｐａｒｔｉｃｌｅ）、散砂微粒子Ｐ２（Ｓａｎｄ Ｐａｒｔｉｃｌｅ）、堆積性微粒子Ｐ３（Ｗａｌｌ Ｐａｒｔｉｃｌｅ）等に分けられてもよい。欠陥位置は、欠陥が製品画像に位置する具体的な座標位置を指示することにより、欠陥が位置する回路基板上の具体的な座標位置、欠陥と背景回路との関係（例えば、欠陥がＧａｔｅ内に完全に入るか、それと交差するか、またその外の付近であるか等）等を含むことを決定することができる。欠陥サイズは、欠陥の長さ又は欠陥の領域面積等を含むことができる。
【0048】
製品製造メッセージ処理クラスタ２０１と製品欠陥認識クラスタ２０２は、クライアント機器／サーバアーキティクチャにおけるサーバとして、データサービスを提供することができ、例えば、クライアント機器２０４からデータを受信し、データを記憶し、データを処理し、クライアント機器２０４にデータを伝送する。サーバは、一般的にはリモート又はローカルネットワーク（例えばインターネット又は無線ネットワークインフラストラクチャ）によってアクセスできるリモートコンピュータシステムである。
【0049】
クライアント機器２０４は、製品欠陥認識結果を出力するように構成される。クライアント機器２０４は、関連する作業者に製品欠陥認識結果を提示する一つ又は複数の端末であってもよく、製品欠陥認識結果は、製品欠陥認識内容を含んでもよく、製品欠陥内容に基づいて分析した後の警告情報等を含むことができる。クライアント機器２０４は、ディスプレイを含んでもよく、ディスプレイは、製品欠陥認識クラスタ２０２によって認識される製品欠陥内容を表示し、それにより、関連する作業者は、製品欠陥をさらに判断して分析することができる。クライアント機器２０４は、警報装置をさらに含んでもよく、欠陥認識結果に対して警報を行うために用いられ、それにより、関連する作業者に対応する処理を行うように警告する。
【0050】
例えば、クライアント機器２０４は、別のコンピュータ（例えば、サーバ）によって提供される共有ネットワークリソースにアクセスするコンピュータであってもよい。クライアント機器２０４は、別のプログラム又はプロセスによって提供されるサービスを要求するプロセス、例えばほぼワングループの指令又はタスクであってもよい。クライアント機器プロセスは、他のプログラム又はサービス自体に関する任意の作動の詳細を「知る」必要がなく、要求されるサービスを利用する。例えば、本開示の実施例において、クライアント機器２０４は、製品製造メッセージ処理クラスタ２０１と、製品欠陥認識クラスタ２０２との集合的能力を利用して、製品生産パイプライン全体に利益をもたらす。この点において、分散型製品欠陥分析システム１０４における各種の機器は、リソース管理メカニズムに参与することができるアプリケーション、オブジェクト又はリソースを有してもよい。クライアント機器２０４は、アプリケーションをさらに含んでもよく、それは、本開示の各種の実現によって提供されるアプリケーションと通信するのに適し、又は当該アプリケーションを実現するＡＰＩ又は他のオブジェクト、ソフトウェア、ファームウェア及び／又はハードウェアを利用することができる。
【0051】
状況に応じて、上記製品製造メッセージ処理クラスタ２０１、製品欠陥認識クラスタ２０２、クライアント機器２０４は、いずれもクライアント機器、サーバ又はその両方と考えられてもよく、本開示は、これに限られない。分散型製品欠陥分析システム１０４における各機器は、いずれも可動なものであってもよく、通信媒体によって互いに通信し、それにより、分散型機能を提供し、且つ複数のクライアント機器２０４がサーバの情報收集能力を利用することを許可する。
【0052】
本願は、分散型製品欠陥分析システム１０４によって、当該サイトを経過する欠陥分析タスクを分割し、システムスケジューリングのための製品製造メッセージ処理クラスタ、人工知能推論／トレーニングのための製品欠陥認識クラスタ、モデル更新配備のためのモデル管理クラスタ、データ記憶のための製品画像データベース、製品欠陥分析結果を出力するためのクライアント機器等を形成する。分散型製品欠陥分析システム１０４は、複数のサブタスクを記憶し、且つこれらのサブタスクをそれぞれ異なるサーバに配備することができ、各シングルポイントサーバにおいてまた高可用性のクラスタを形成する。いくつかの実施例において、システムスケジューリングとモデル管理は、一つのクラスタとしてもよい。そのため、分散型製品欠陥分析システム１０４は、各製品画像の処理時間を短縮することができ、それによって、製品ライン上の関連する作業者は、ライン上の製品の生産進捗度を直感的に監視し、製品製造の良品率を向上させることができる。
【0053】
図３は、本開示の少なくとも一つの実施例による分散型製品欠陥分析システム１０４を示す別の概略図である。それは、分散型製品欠陥分析システム１０４の技術アーキティクチャを例示的に示す。
【0054】
分散型製品欠陥分析システム１０４は、Ｅｃｌｉｐｓｅ、Ｍａｖｅｎ、ＪｕｐｙｔｅｒとＶＳ２０１７等の開発ツールを使用して開発することができる。開発言語は、Ｐｙｔｈｏｎ、Ｃ＋＋、Ｃ＃とＪａｖａ等を含む。分散型製品欠陥分析システム１０４における各機器、各クラスタの間は、一つ又は複数の通信プロトコル、例えば、ＦＴＰ、ＴＣＰ／ＩＰ、ＨＳＭＳとＴｉｂｃｏ等を採用して相互に通信することができる。選択的に、分散型製品欠陥分析システム１０４は、さらに複数の異なるデータベース（例えば、ＤＦＳ、Ｏｒａｃｌｅ、ＲｅｄｉｓとＭｙＳＱＬ）を使用してデータ、ピクチャと欠陥認識モデル等を記憶することができる。
【0055】
図３に示すように、分散型製品欠陥分析システム１０４は、全体的にアプリケーション層、サービス層、エンジン層、データ層、アルゴリズム層とフレーム層に区分されることができる。
【0056】
アプリケーション層は、欠陥タイプ認識、欠陥位置認識、欠陥サイズ認識、不良傾向分析と警報分析等の機能を実現することができる。クライアント機器２０４は、そのディスプレイによってユーザグラフィカルインタフェースを提示することができる。ユーザグラフィカルインタフェース上に、マーキング欠陥位置とサイズの画像、欠陥タイプの結果、不良傾向分析の結果と警報分析の結果等を表示することができる。
【0057】
サービス層は、異常検出、欠陥位置決め、製品分類、寸法算出、ログ分析と精密測定等の機能を実現するために用いることができる。これらの機能は、クライアント機器２０４によって実現されてもよく、製品欠陥認識クラスタ２０２又は製品製造メッセージ処理クラスタ２０１によって実現されてもよい。
【0058】
エンジン層は、トレーニングエンジンを含み、当該トレーニングエンジンは、欠陥認識モデルをトレーニングするために用いられる。当該トレーニングエンジンは、欠陥認識モデルの初期、欠陥認識モデルの反復、エンジンの最適化と欠陥認識モデルエンジンの生成の機能を実現することができる。エンジン層は、予測エンジンをさらに含み、当該予測エンジンは、欠陥認識モデルを利用して製品画像から製品欠陥内容を認識するために用いられる。予測エンジンは、リアルタイム予測、動的評価、性能統計と指標フィードバック等の機能を実現することができる。エンジン層の各機能は、モデル管理クラスタによって実現されてもよく、製品欠陥認識クラスタ２０２によって実現されてもよい。
【0059】
データ層は、データ前処理を行うためのモジュールを含む。データ前処理は、画像洗浄と、画像前処理と、データセット構成と、正規化処理とを含む。データ層には、データマーキングを行うためのモジュールがさらに含まれてもよい。データマーキングは、製品画像に対する半自動マーキング、自動マーキングとサンプル分類等を含む。データ前処理を行うモジュールと、データマーキングを行うモジュールとは、モデル管理クラスタに含まれてもよく、製品製造メッセージ処理クラスタ２０１に含まれてもよく、データ層におけるデータは、製品画像データベース２０３に記憶されてもよい。
【0060】
アルゴリズム層は、コンピュータビジョン、機械学習と深層学習に関連するアルゴリズムを含む。コンピュータビジョン関連のアルゴリズムは、形態学と、閾値分割と、背景モデリングと、ＯｐｅｎＣＶと、ＦＦＴ（フーリェ変換）と、ハフ変換関連のアルゴリズムとを含む。機械学習関連アルゴリズムは、Ｋ平均クラスタリングアルゴリズム、集積アルゴリズム、密度クラスタリングアルゴリズム等を含む。深層学習関連アルゴリズムは、Ｄｅｎｓｅｎｅｔ、ＧＡＮ、ＡｕｔｏＥｎｃｏｄｅｒ、Ｆａｓｔｅｒ－ｒｃｎｎ、ＶＧＧとＲｅｓＮｅｔアルゴリズム等を含む。
【0061】
フレーム層には、分散型製品欠陥分析システム１０４がアーキティクチャプロセスにおいて使用するフレーム、例えば、ＯｐｅｎＣＶ、Ａｆｏｒｇｅ、ＴｅｎｓｏｒＦｌｏｗ、Ｋｅｒａｓ、ＳｐｒｉｎｇＣｌｏｕｄ、Ｖｕｅ、及び容器スケジューリングのためのＫｕｂｅｒｍｅｔｅｓ等が含まれる。
【0062】
当業者が理解すべきことは、分散型製品欠陥分析システム１０４が応用できる技術は、上記例示に限定されず、本開示の実施例は、これに限られない。
【0063】
図４は、本開示の少なくとも一つの実施例による製品製造メッセージを処理する方法４００のフローチャートを示し、それは、製品製造メッセージ処理クラスタ２０１が製品製造メッセージを処理するプロセスを示す。
【0064】
製品製造メッセージサービス処理クラスタ２０１が製品製造メッセージをモニタリングする時、メッセージをモニタリングする方式は、ポーリング（ｐｏｌｌｉｎｇ）と中断とを含むことができる。製品製造メッセージをポーリングの方式でモニタリングすることは、製品製造メッセージを予め設定される周波数で絶えずモニタリングし且つ受け取ることであり、中断の方式でモニタリングすることは、製品製造メッセージサービス処理クラスタ２０１が特定の製品製造メッセージの発生を知る場合に、当該製品製造メッセージをモニタリングし且つ受信し、当該製品製造メッセージの受け取りが完了した後にモニタリングを中断し、当該特定の製品製造メッセージの発生を再度知るまでモニタリングを継続することである。選択的に、中断の方式でモニタリングすることは、製品製造メッセージ送信機器に対して情報登録を早期に行う必要がある。
【0065】
操作４０１において、製品製造メッセージサービス機器１０３に対して登録情報設定を行う。そのうち、登録情報は、製品製造サイト情報及び／又は第１の製品情報を含む。製品製造メッセージサービス機器１０３に対する登録情報設定は、製品製造メッセージ処理クラスタ２０１が登録情報を送信することによって実現されてもよく、製品製造メッセージサービス機器１０３上に直接的に設定されてもよい。製品製造メッセージサービス機器１０３は、登録情報によって製品製造メッセージ処理クラスタ２０１が知りたい登録情報に関連する製品製造メッセージを知ることができる。登録情報に関連する製品製造メッセージは、製品製造サイト情報又は第１の製品情報を含む製品製造メッセージを含む。それにより、製品製造メッセージサービス機器１０３が登録情報に関連する製品製造メッセージを收集した場合、当該製品製造メッセージを製品製造メッセージ処理クラスタ２０１に優先的に送信することができる。そのため、製品製造メッセージ処理クラスタ２０１は、当該製品製造メッセージを中断の方式でモニタリングすることができる。そのうち、製品製造サイト情報は、サイトの標識、サイトの物理的位置（例えば、ＡＯＩ機器の物理的位置）、サイトが製品製造フローにおけるノード情報（例えば、露光フローにおける欠陥認識／検出、洗浄フローにおける認識／欠陥等）等のうちの一つ又は複数を含み、これらの情報は、具体的なサイトへの認識又は位置決めを支援することができる。第１の製品情報は、製品タイプ、製品名称、製品標識、製品優先度等のうちの一つ又は複数であってもよく、これらの情報は、具体的な製品への認識又は位置決めを支援することができる。当業者が理解すべきことは、製品製造サイト情報と第１の製品情報の内容は、上記例示に限定されず、それは、製品製造フローにおける欠陥認識／検出に関連すればよい。図４において、製品製造メッセージサービス機器１０３に対して登録を行うことを例として説明し、当業者が理解すべきことは、画像取得機器１０２に対して登録を行ってもよい。
【0066】
操作４０２において、登録情報に基づき、製品製造メッセージ処理クラスタ２０１は、第１の製品製造メッセージを中断の方式でモニタリングするように構成される。そのうち、第１の製品製造メッセージは、登録情報に関連する製品製造メッセージを含む。第１の製品製造メッセージは、ロット製品製造メッセージであってもよく、単一製品製造メッセージであってもよく、登録情報における製品製造サイト情報又は第１の製品情報に関連すればよい。第１の製品製造メッセージが製品製造サイト情報に関連する場合、第１の製品製造メッセージは、製品製造メッセージサービス機器１０３によって認識されるサイトの変化情報、状態情報等を含むことができる。第１の製品製造メッセージが第１の製品に関連する場合、第１の製品製造メッセージは、当該製品の画像が記憶されるアドレス、当該製品に対応する製品画像の数、現在の製品の製造プロセス等を含むことができる。
【0067】
操作４０３において、製品製造メッセージ処理クラスタ２０１は、第２の製品製造メッセージをポーリングの方式でモニタリングするように構成され、そのうち、第２の製品製造メッセージは、登録情報に関連しない。製品製造メッセージサービス機器１０３は、同じポートを使用して第１の製品製造メッセージと第２の製品製造メッセージをブロードキャストしてもよく、異なるポートを使用して第１の製品製造メッセージと第２の製品製造メッセージをブロードキャストしてもよく、本開示は、これに限られない。選択的に、第２の製品製造メッセージには、登録情報の内容に関連しない情報、例えば、現在の工場環境の温度と湿度等が含まれる可能性がある。もちろん、第２の製品製造メッセージは、ロット製品製造メッセージであってもよく、単一製品製造メッセージであってもよい。
【0068】
操作４０４において、製品製造メッセージ処理クラスタ２０１は、第２の製品製造メッセージが製品製造キーワードを含むか否かを決定する。第２の製品製造メッセージが製品製造キーワードを含む場合、操作４０５において、製品製造メッセージ処理クラスタ２０１は、当該第２の製品製造情報を保持する。第２の製品製造メッセージが製品製造キーワードを含まない場合、操作４０６において、製品製造メッセージ処理クラスタ２０１は、当該第２の製品製造情報を廃棄する。
【0069】
製品製造メッセージ処理クラスタ２０１による製品製造メッセージサービス機器１０３への登録は、比較的に多いフロー、例えば関係者による構成、検証等を必要とする可能性がある。しかし、工場において、製品は、絶えず調整して更新される可能性がある。なお、一部の機器（なんらかのＡＯＩ機器）に対して、登録を行うことができない。そのため、製品製造メッセージ処理クラスタ２０１は、さらに登録情報に関連しないメッセージをモニタリングすることができる。例えば、登録情報に関連しないメッセージをポーリングの方式でモニタリングすることができる。製品製造キーワードリストには、登録情報に関連しないが、製品欠陥認識、検出、分析に関する製品製造キーワードが記憶される。製品製造メッセージ処理クラスタ２０１が第２の製品製造メッセージを受信した場合、それは、第２の製品製造メッセージにおける各フィールドを分析し、且つこれらのフィールドと製品製造キーワードリストとを対照し、且つ製品製造キーワードを含む第２の製品製造メッセージを保持することができる。例えば、関係者は、最近数バッチで生産されたスクリーンにおける製品欠陥の原因が、環境湿度が過大であることを発見するとすると、このとき、関係者は、製品製造キーワードリストにおいて環境湿度というキーワードを増設することができる。その後に、製品製造メッセージ処理クラスタ２０１が環境湿度に関するメッセージを受信した場合、このような情報を保持することができ、それによって、関係者は、分析しやすい。関係者が環境湿度のような影響因素を排除した後、製品製造キーワードリストにおける環境湿度キーワードを除去することができ、それによって、製品製造メッセージ処理クラスタ２０１に記憶される冗長情報を減少し、製品製造メッセージ処理クラスタ２０１のメッセージ処理効率を向上させる。環境湿度情報を取得する全体プロセスにおいて、製品製造メッセージ処理クラスタ２０１は、製品製造メッセージサービス機器１０３に登録する必要がなく、製品製造メッセージ処理のフローを減少する。
【0070】
このようなメカニズムによって、製品製造メッセージ処理クラスタ２０１は、登録された情報を優先的にモニタリングするとともに、登録されていない情報に対して製品製造キーワードに従ってスクリーニングを行うことができる。製品製造メッセージ処理クラスタ２０１は、登録されたメッセージをモニタリングするだけでなく、さらに全ての製品製造メッセージサービス機器１０３によって発信されるメッセージをモニタリングすることができ、さらにシステムの可拡張性を向上させる。
【0071】
製品製造メッセージのモニタリングとブロードキャストプロセスにおいて、工場製造システムは、製品製造メッセージを処理する要求が比較的に高い。選択的に、メッセージの紛失を防止するために、製品製造メッセージ処理クラスタ２０１は、メッセージキャッシュとメッセージキュー機能をさらに有してもよい。製品製造メッセージ処理クラスタ２０１は、製品製造メッセージをＲａｂｂｉｔＭＱにキャッシュしてメッセージキュー管理を行うことができ、それによって遅延又は他の異常によるメッセージの紛失問題を防止する。
【0072】
本開示の少なくとも一つの実施例において、第１の製品製造メッセージは、ロット製品製造メッセージを含み、第２の製品製造メッセージは、単一製品製造メッセージを含む。そのため、製品製造メッセージ処理クラスタ２０１は、ロット製品製造メッセージを中断の方式でモニタリングし、単一製品製造メッセージをポーリングの方式でモニタリングするように構成されてもよい。
【0073】
上記したように、工業生産において、複数の製品を一つのバッチ（ＬＯＴ）に構成し、同一バッチは、同じ加工プロセスフローを行い、製品製造メッセージの記録と整理を容易にする。一つのロット製品製造メッセージとは、同一バッチ（例えば、ＬＯＴ）の複数の製品の製品製造メッセージの合計であり、一つの単一製品製造メッセージとは、当該一つの単一製品（例えば、ＧＬＡＳＳ）の製品製造メッセージである。
【0074】
製品製造プロセスにおいて、一般的にはロット製品を単位（ＬＯＴ）として製造メッセージの記録と伝達を行い、このように、メッセージ処理の効率を向上させることができる。しかし製品欠陥分析タスクプロセスにおいて、製品製造メッセージサービス機器１０３上にロット製品製造メッセージに関連する登録情報を早期に設定することができ、このように、製品製造メッセージ処理クラスタ２０１は、当該ロット製品製造メッセージを中断の方式でモニタリングし、メッセージの受け取りと処理の効率を向上させる。しかし、ロット製品製造メッセージは、ロット製品のすべての処理が完了した後に製品製造メッセージ処理クラスタ２０１に送信される必要があり、この期間は、製品欠陥検出分析システムにおけるなんらかの機器（例えば製品欠陥認識クラスタ２０２）がアイドル状態にある可能性がある。そのため、製品製造メッセージ処理クラスタ２０１は、さらに中断されたギャップで単一製品製造メッセージをポーリングの方式でモニタリングし、且つ単一製品製造メッセージを適時に処理することができる。このように、ロット製品製造メッセージを受信した時に、当該バッチの大部分の単一製品製造メッセージの処理を既に完了することにより、製品製造メッセージ処理クラスタ２０１のメッセージ処理効率を向上させることができる。単一製品は、当該ロット製品のうちの一つの製品であってもよく、当該ロット製品のうちのものでなくてもよい。単一製品が当該ロット製品のうちの一つの製品である場合、当該ロット製品製造メッセージをモニタリングした場合、その後にポーリングによってモニタリングされた当該ロット製品の他の単一製品製造メッセージを処理しなくてもよく、又は当該ロット製品の他の単一製品製造メッセージをモニタリングしなくてもよく、さらに製品製造メッセージ処理クラスタ２０１のメッセージ処理効率を向上させる。
【0075】
選択的に、モニタリングされた製品製造メッセージは、画像取得機器１０２によって生成された製品製造メッセージ又は製品製造メッセージサービス機器１０３によって取得された製品製造メッセージであってもよく、製品画像データベース２０３において生成した製品製造メッセージ（例えば製品画像データの生成メッセージ）であってもよく、本開示は、これに限られない。
【0076】
図５は、本開示の少なくとも一つの実施例による製品欠陥タスクを送信する方法５００を示す概略図である。
【0077】
図５を参照して、選択的に、製品製造メッセージ処理クラスタ２０１が製品メッセージに基づいて製品欠陥分析タスクを生成することは、操作５０１～５０５をさらに含む。
【0078】
本開示のいくつかの実施例において、製品製造メッセージに基づき、製品欠陥分析タスクを生成することは、製品製造メッセージに基づき、製品タイプに対応する欠陥認識モデルが存在するか否かを決定することと、製品タイプに対応する欠陥認識モデルが存在する場合、第１の欠陥認識タスクを生成し、製品欠陥認識クラスタ２０２に第１の欠陥認識タスクを送信することと、製品欠陥タイプに対応する欠陥認識モデルが存在しない場合、第２の欠陥認識タスクを生成し、クライアント機器２０４に第２の欠陥認識タスクを送信することと、を含む。
【0079】
操作５０１において、製品製造メッセージに基づき、製品タイプに対応する欠陥認識モデルが存在するか否かを決定する。
【0080】
製品欠陥認識クラスタ２０２が欠陥認識モデルに基づいてを行う欠陥認識タスクは、実質的に人工知能に基づくビジョン認識であり、欠陥認識モデルは、トレーニングによって得られる必要がある。工場生産製造において、異なるタイプの製品が現れるか、又はプロセスパラメータ等の調整によって同一タイプの製品の欠陥が変化する可能性があり、それにより、欠陥認識モデルは、製品欠陥を認識できない可能性がある。そのため、製品製造メッセージ処理クラスタ２０１は、製品製造メッセージに基づき、製品欠陥認識クラスタ２０２が製品欠陥を認識するか否かを判断する必要があり、それにより、対応する製品欠陥分析タスクを生成し、製品欠陥認識クラスタ２０２が認識できない場合、製品欠陥分析タスクをクライアント機器に送信し、ユーザは、クライアント機器によって表示される製品画像に基づいて手動認識を行う。そのため、製品欠陥分析タスクは、第１の欠陥認識タスクと第２の欠陥認識タスクとを含み、そのうち、第１の欠陥認識タスクとは、人工知能に基づいて欠陥認識を行うタスクであり、第２の欠陥認識タスクとは、手動で欠陥認識を行うタスクである。
【0081】
例えば、製品製造メッセージ処理クラスタ２０１は、取得された製品製造メッセージを解析し、製品タイプを取得し、製品タイプに対応する欠陥認識モデルが存在するか否かを決定することにより、対応する製品欠陥分析タスクを生成する。
【0082】
製品タイプが既知の製品タイプ（すなわちトレーニングされた製品）であり、且つ製品タイプに対応する欠陥認識モデルが存在すると決定した場合、製品タイプに対応する欠陥認識モデルに基づいて欠陥タスク分析の実行を行うことができるため、第１の欠陥認識タスクを生成し、且つ製品欠陥認識クラスタに第１の欠陥分析タスクを送信することができる。
【0083】
製品タイプが未知の製品（すなわち、トレーニングされていない製品）場合、製品タイプに対応する欠陥認識モデルが存在しないと決定した場合、手動認識を必要とするため、第２の欠陥認識タスクを生成し、クライアント機器に第２の欠陥認識タスクを送信することができる。
【0084】
製品タイプが既知の製品であるが、当該製品タイプに対応する欠陥認識モデルに基づいて製品欠陥内容（例えば認識スコアが予め設定される閾値よりも低い）を認識できない場合、製品タイプに対応する欠陥認識モデルが存在しないと決定されてもよい。欠陥認識モデルの性能が、対応する製品タイプの欠陥分析タスクを満たすのに十分でない場合（例えば正確率、リコール率が予め設定される閾値よりも低い）、製品タイプに対応する欠陥認識モデルが存在しないと決定されてもよい。製品製造メッセージ処理クラスタ２０１は、さらに手動判断、欠陥認識モデル事前判断等の他の方式によって決定を行うことができ、本開示は、製品製造メッセージ処理クラスタ２０１が製品タイプに対応する欠陥認識モデルが存在するか否かを決定する方式を制限しない。
【0085】
製品タイプに対応する欠陥認識モデルが存在する場合、操作５０２において、製品製造メッセージ処理クラスタ２０１は、第１の欠陥認識タスクを生成し、且つ製品欠陥認識クラスタ２０２に当該第１の欠陥認識タスクを送信する。
【0086】
製品製造メッセージ処理クラスタ２０１は、第１の製品欠陥分析要求メッセージを送信する方式で、第１の製品欠陥認識タスクを送信することができる。第１の製品欠陥分析要求メッセージは、製品タイプと、製品画像の記憶アドレスと、製品画像の数と、欠陥認識モデルに対して欠陥認識を行うタスク標識（当該タスク標識は、製品画像の記憶アドレス、製品画像の数を利用して、当該製品タイプの製品画像に対して欠陥認識を行うことを指示する）とを含む。製品欠陥認識クラスタ２０２は、第１の製品欠陥分析要求メッセージを受信し、すなわち第１の製品欠陥認識タスクを受信した後、第１の製品欠陥分析要求メッセージにおける製品画像の記憶アドレスに基づき、当該製品画像データベース２０３から欠陥認識対象の製品画像を取得し、製品タイプに基づき、製品タイプに対応する欠陥認識モデルをロードし、当該欠陥モデルに基づいて製品画像に対して欠陥認識を行う。製品とサイトが比較的に多く、且つ欠陥認識モデルのロード時間が比較的に長いため、製品欠陥認識クラスタ２０２は、予め設定されるように、欠陥認識モデルを早期にロードすることができる。設定が変更された後、製品欠陥認識クラスタ２０２は、さらに独立したバックグラウンドサーバを利用してモデルへのロードを完了することができ、製品が変更される場合、大量の時間でモデルをロードするプロセスを避けることにより、全体的効率を向上させる。生産ラインは、欠陥認識モデルアルゴリズムの検出作業を行うために毎日大量の画像が発生するため、製品欠陥認識クラスタ２０２は、さらにＧＰＵリソースに対して合理的なスケジューリングと割り当てを行うことにより、ハードウェアリソースの使用効率を向上させることができる。
【0087】
製品欠陥認識クラスタ２０２が製品画像の第１の製品欠陥認識タスクを完了した後、操作５０３において、製品欠陥認識クラスタ２０２は、第１の欠陥認識結果を製品製造メッセージ処理クラスタ２０１に送信する。第１の欠陥認識結果は、欠陥タイプ認識、欠陥位置、欠陥サイズのうちの一つ又は複数を含む。
【0088】
選択的に、製品製造メッセージ処理クラスタ２０１は、さらに、製品欠陥認識モデルの推論性能、すなわち製品欠陥認識クラスタ２０２が当該製品欠陥認識モデルに基づいて第１の製品欠陥認識タスクを処理する正確率（Ａｃｃｕｒａｃｙ）、精度（Ｐｒｅｃｉｓｉｏｎ）、リコール率（Ｒｅｃａｌｌ）、Ｆスコア（ＦＳｃｏｒｅ）と速度のうちの一つ又は複数を監視することができる。そのうち、速度は、製品欠陥認識クラスタ２０２が製品画像を認識する速度を指してもよい（その単位は、製品画像の数／秒等であってもよい）。次の式（１）で正確率を算出し、次の式（２）で精度を算出し、次の式（３）でリコール率を算出し、その後に次の式（４）でＦスコアを算出することができる。
【数1】
【数2】
【数3】
【数4】
【0089】
ただし、ＴＰ（Ｔｕｒｅ Ｐｏｓｉｔｉｖｅ、トゥーレポジティブ）は、算出結果が正であり、実際の結果も正であることを表し、つまり、欠陥認識モデルが推論算出を経た後、得られた算出結果がＡであり（ここで、Ａは、一つの結果を表す）、実際の結果もＡであり、このとき、算出結果が実際の結果と一致することを表す。
【0090】
ＦＰ（Ｆａｌｓｅ Ｐｏｓｉｔｉｖｅ、フォールスポジティブ）は、算出結果が正であり、実際の結果が負であり、つまり、欠陥認識モデルが推論算出を経た後、得られた算出結果がＡであり、実際の結果が非Ａであり、このとき、算出結果が実際の結果と一致しないことを表す。
【0091】
ＦＮ（Ｆａｌｓｅ Ｎｅｇａｔｉｖｅ、フォールスネガティブ）は、算出結果が負であり、実際の結果が正であり、つまり、欠陥認識モデルが推論算出を経た後、得られた算出結果が非Ａであるが、実際の結果がＡであり、このとき、算出結果が実際の結果と一致しないことを表す。
【0092】
ＴＮ（Ｔｕｒｅ Ｎｅｇａｔｉｖｅ、トゥーレネガティブ）は、推論算出結果が負であり、実際の結果も負であり、つまり、欠陥認識モデルが推論算出を経た後、得られた算出結果が非Ａであり、実際の結果も非Ａであり、このとき、算出結果が実際の結果と一致することを表す。
【0093】
工場生産プロセスにおいて、製品回路の背景が複雑で多様であり、多くの製品欠陥が混同されやすく、製品の生産計画も注文に伴って調整を行い、これらの要素は、いずれもモデルの性能に比較的に大きな挑戦をもたらす。製品の変更、プロセス変化又は製品ピクチャの調整は、いずれも人工知能欠陥認識モデルの性能を低下させる可能性がある。製品製造メッセージ処理クラスタ２０１は、欠陥認識モデルの性能を定期的又はリアルタイムに監視することができる。製品欠陥認識モデルの性能が生産を満たすことができない場合、適時に調整を行う。例えば、製品製造メッセージ処理クラスタ２０１は、問題が現れる時に適時に警報し、且つ新たな欠陥認識モデルの配備と確認を行うことができる。
【0094】
製品製造メッセージ処理クラスタ２０１は、以下の３つの方式で、製品欠陥認識クラスタ２０２が製品欠陥認識モデルに基づいて第１の製品欠陥認識タスクを処理する正確率、精度、リコール率とＦスコア等を監視する。当業者が理解すべきことは、以下の３つの方式は、例示に過ぎず、製品製造メッセージ処理クラスタ２０１は、さらに他の方式で製品欠陥分析タスクを監視することができ、製品欠陥分析タスクを処理する正確率、精度、リコール率又はＦスコアのうちの任意の一つを取得すればよい。
【0095】
方式１、標準データサンプルによって監視を行う
【0096】
製品画像データベース２０３において標準データサンプルを予め記憶してもよい。標準データサンプルは、ベテランの工場作業者と高級検出者によって監査を行うことによって、サンプルの選定範囲（例えば、欠陥種類、欠陥数と欠陥分散等）が欠陥認識モデルトレーニングサンプルと一致することを決定することができる。その後に、製品製造メッセージ処理クラスタ２０１は、欠陥認識モデルによる推論結果と手動で設定される標準結果とを対照し、さらに当該欠陥認識モデルの正確率、精度、リコール率又はＦスコア等を統計することができる。また、製品製造メッセージ処理クラスタ２０１は、標準サンプルデータに対して時間周期、生産状况、手動調整モード等に従って更新を行うことができる。
【0097】
方式２、オンラインサンプリング検査モデルによって監視を行う
【0098】
工場の生産プロセスにおいて、複数名（例えば、３名）の高級検出者は、製品欠陥に対してランダムサンプリング検査を行うことができ、例えば、これらの高級検出者は、ある製品欠陥に対して、複数の製品欠陥画像（例えば１００枚の製品欠陥画像）を抜き取り、その後に、当該製品欠陥を手動で判断してマーキングする。その後に、複数名の検出者は、上記マーキングされ後の製品欠陥を利用して、欠陥認識モデルが同一のサンプルに対する推論結果をそれぞれ個別にレビューすることができる。レビューが終了した後に、複数名の検出者が同一製品欠陥に対する推論結果を投票することができ、投票が最も高い結果は、標準結果とすることができる。その後に、当該標準結果と欠陥認識モデルの推論結果とを比較することにより、当該欠陥認識モデルの正確率、精度、リコール率又はＦスコア等を監視する。
【0099】
方式３、製品バッチを抜き取って監視を行う
【0100】
複数名（例えば、３名）の高級検出者は、人工知能欠陥認識モデルを抜き取って、バッチ全体（例えば、一つのＬＯＴ、そのうち、一つのＬＯＴは、２０枚のＧｌａｓｓを含んでもよく、各Ｇｌａｓｓには５０～３００個の異なる製品欠陥が含まれる可能性がある）の製品欠陥の推論結果に対してレビューを行うことができる。製品製造メッセージ処理機器６０３は、レビュー結果を取得し、且つレビュー結果に基づいて人工知能欠陥認識モデルの正確率、精度、リコール率又はＦスコア等を決定する。
【0101】
工場生産プロセスにおいて、製品製造メッセージ処理クラスタ２０１は、さらに、メモリ、ビデオメモリ等の使用状況を含む欠陥認識モデルのためのコンピュータリソースの使用効率を監視して、ＧＰＵリソースに異常が存在するか否か等を決定することができる。製品製造メッセージ処理クラスタ２０１は、製品欠陥認識クラスタ２０２におけるＧＰＵの負荷状況に基づいてタスク割り当てを行い、優先的に欠陥認識タスク又はモデルトレーニングタスクを負荷が比較的に低いＧＰＵに割り当てて推論又はトレーニングタスクを行うことができる。ほとんどすべてのコンピュータリソースを使用しても欠陥認識の推論作業を完全に完了することができない場合、ハードウェアリソース等を動的に増加させる必要がある可能性がある。
【0102】
製品タイプに対応する欠陥認識モデルが存在しない場合、操作５０４において、製品製造メッセージ処理クラスタ２０１は、第２の欠陥認識タスクを生成し、且つクライアント機器２０４に当該第２の欠陥認識タスクを送信する。製品製造メッセージ処理クラスタ２０１は、第２の製品欠陥分析要求メッセージを送信する方式で、第２の製品欠陥認識タスクを送信することができる。第２の製品欠陥分析要求メッセージは、製品タイプと、製品画像の記憶アドレスと、製品画像の数と、欠陥認識モデルに対して欠陥認識を行うタスク標識（当該タスク標識は、製品画像の記憶アドレス、製品画像の数を利用して、当該製品タイプの製品画像を表示して手動認識に用いることを指示する）とを含む。クライアント機器２０４は、第２の製品欠陥分析要求メッセージを受信し、すなわち第２の製品欠陥認識タスクを受信した後、第２の製品欠陥分析要求メッセージにおける製品画像の記憶アドレスに基づき、当該製品画像データベース２０３から欠陥認識対象の製品画像を取得し、当該製品画像をクライアント機器のディスプレイによって表示し、手動欠陥認識に用いる。
【0103】
ユーザが手動欠陥認識タスクを完了した後、クライアント機器２０４は、手動認識欠陥結果を取得し、操作５０３において、クライアント機器２０４は、第２の欠陥認識結果を製品製造メッセージ処理クラスタ２０１に送信する。第２の欠陥認識結果は、欠陥タイプ認識マーキング、欠陥位置マーキング、欠陥サイズマーキングのうちの一つ又は複数を含む。
【0104】
製品製造メッセージ処理クラスタ２０１は、さらに欠陥認識を行う人工リソースの状態を監視することができる。例えば、工場生産プロセスにおいて、作業者の作業効率が高くなくて、処理待ちのタスクが適時に処理されることがない状況、又は、なんらかの重要な警報情報が作業者によって適時に処理されない状況が存在する可能性がある。これらの状況は、いずれも生産に比較的に大きな損失をもたらす。そのため、製品製造メッセージ処理クラスタ２０１は、さらに製品欠陥内容を手動で認識するためのクライアント機器２０４の状態を監視することができる。例えば、製品製造メッセージ処理機器６０３は、それがクライアント機器２０４にプッシュする製品欠陥分析タスクの手動処理速度を監視し（例えば、作業者が正常の速度で製品ピクチャの手動認識を行うか否かを監視する）、作業者の作動効率と作動状態を判断することができる。それにより、スケジューリング計画と組み合わせ、製品欠陥認識／検出のタスク割り当てを最適化する。
【0105】
製品製造メッセージ処理クラスタ２０１は、さらに工場システムにおける生産状態を監視することができる。製品欠陥検出プロセスにおいて、大規模な欠陥集合状況が発生する可能性がある。製品製造メッセージ処理クラスタ２０１は、製品欠陥情報と、工場において当該製品欠陥を処理する課又はプロセス部門とをマッチングし、且つこれらの課と部門におけるクライアント機器２０４に警報情報を適時に送信することができる。当該製品欠陥が、対応する部門／課が欠陥に対してプロセス又は生産調整を行う必要がある場合、製品製造メッセージ処理クラスタ２０１は、警報情報と警報処理の状態をリアルタイムに監視することができる。且つ深刻な警報が適時に処理されない状況が現れる場合、製品製造メッセージ処理クラスタ２０１は、警報情報を自動的にアップグレードするとともに、アップグレードされた後の警報情報を当該課の上位レベルの部門リーダーのクライアント機器２０４に送信することによって、関連課／部門に警報情報を適時に重視して処理するように促す。
【0106】
図６は、本開示の少なくとも一つの実施例による製品製造メッセージ処理クラスタが製品欠陥分析タスク２０１をスケジューリングすることを示す概略図である。
【0107】
図６を参照して、製品製造メッセージ処理クラスタ２０１は、複数の製品欠陥分析タスクを生成するタイムシーケンスと、製品の優先度順序と、製品スケジューリング計画とのうちのいずれか一つ又は複数に基づき、製品欠陥分析タスクを順序付けすることにより、製品欠陥分析タスクキュー（ｔａｓｋ ｑｕｅｕｅ）を確立するように構成される。
【0108】
そのうち、複数の製品欠陥分析タスクを生成するタイムシーケンスに基づき、製品欠陥分析タスクを順序付けすることは、タイムシーケンスでのスケジューリングを容易にするためである。すなわち、モニタリングされた製品製造メッセージが処理待ちのキューに入る優先順序に従って、対応するハードウェアリソースのマッチング処理を行う。図６に示すように、９つの製品製造メッセージを順次受信し、これによって、９つの製品欠陥分析タスクＪｏｂ１値Ｊｏｂ９を確立したとすると、これらの９つのタスクを受け取り順序で並ぶことができる。順序によるスケジューリングの方式は、設定が簡単で、且つ生産計画と時間的に比較的に良好なマッチングを行うことができる。
【0109】
製品の優先度に基づき、製品欠陥分析タスクを順序付けすることは、設定される製品優先度に従ってスケジューリングを行うことを含む。すなわち、生産計画における製品の優先度に従って順序付けする。スケジューリングメッセージキュー全体は、一つの動的スケジューリングプロセスであり、優先度が高い製品を製品欠陥分析タスクキューの上位に挿入することができる。図６に示すように、Ｊｏｂ２とＪｏｂ３の優先度がＪｏｂ１よりも高いとすると、Ｊｏｂ２とＪｏｂ３をＪｏｂ１の前に並んで処理を行うことができる。優先度に基づくスケジューリングは、優先度の高い製品の検出タスクが順調に完了することを優先的に確保することができる。
【0110】
製品スケジューリング計画に基づき、製品欠陥分析タスクを順序付けすることにより、ユーザは、対応するスケジューリング計画を指定するとともに、スケジューリング計画の一時的挿入と調整をサポートすることができる。例えば、図６に示すように、Ｊｏｂ９をＪｏｂ２とＪｏｂ３との間に一時的に挿入する。これによって、ユーザは、なんらかの製品又は欠陥を重点的に監視と検証するとともに、他のパイプライン上の情報を統合して製品製造パイプライン全体上の作業に一時的に介入することができる。
【0111】
本開示のいくつかの実施例は、以上の三つの方式のうちのいずれか一つ又は複数を統合し、製品欠陥分析タスクを順序付けて、製品欠陥分析タスクキューを構築することができる。
【0112】
選択的に、製品製造メッセージ処理クラスタは、さらに、前記製品欠陥認識クラスタ２０２の負荷状況に基づき、製品欠陥分析タスクキューにおける製品欠陥分析タスクの送信速度を制御するように構成される。
【0113】
図６を参照して、製品の流入サイト１０１の周波数と数が不確定であるため、流入される検出する必要な製品が急に多くなったあり、少なくなったりすることがあり、その流入タスクの数が時間に伴う変化は、流入タスクの数の図に示すようにすることができる。スケジューリングされない場合、製品欠陥認識クラスタ２０２の検出分析作業は、過度のストレスがかかったり、比較的アイドル状態になったりするため、製品欠陥分析タスクの処理効率が高くない。製品欠陥分析タスクキューは、製品製造メッセージ処理クラスタ２０１に位置し、画像取得機器による製品画の生成と、製品欠陥認識クラスタ２０２による製品欠陥分析タスクとの間に時間バッファを提供する。
【0114】
製品欠陥分析タスクキューにおける製品欠陥分析タスクは、実行待ちの製品欠陥分析のタスクを含み、製品製造メッセージ処理機器は、製品欠陥認識クラスタ２０２の負荷状況に基づき、製品欠陥分析タスクキューにおけるタスクの送信速度を制御する。製品製造メッセージの数が予め設定される閾値よりも大きく、及び／又は製品欠陥分析タスクキューにおけるタスクの数が予め設定される閾値よりも高く、及び／又は製品欠陥認識クラスタ２０２の負荷が予め設定される閾値よりも大きい場合、タスク送信速度を低減させ、製品製造メッセージの数が予め設定される閾値よりも小さく、及び／又は製品欠陥分析タスクキューにおけるタスクの数が予め設定される閾値よりも小さく、及び／又は製品製造補助機器の負荷が予め設定される閾値よりも小さい場合、タスク送信速度を増加させる。図６に示すように、スケジューリングされた後の流出タスクの数が時間に伴う変化は、基本的に平衡を保持している（流出タスクの数の図に示すように）。
【0115】
製品製造メッセージ処理クラスタ２０１は、さらにクライアント機器２０４の負荷状況に基づき、製品欠陥分析タスクキューにおける製品欠陥分析タスクがクライアント機器２０４への送信速度を制御することができ、複数のクライアント機器が存在する場合、クライアント機器が製品欠陥分析タスク（手動認識欠陥タスク）を処理する速度に基づき、異なるクライアント機器が欠陥分析タスクを送信する速度を対応して制御することができる。例えば、あるクライアント機器（例えば２０４-１）が製品欠陥分析タスクを処理する速度が、他のクライアント機器（例えば２０４-２）が製品欠陥分析タスクを処理する速度よりも低い場合、クライアント機器２０４-１に送信するタスクの送信速度を低減させ、あるクライアント機器（例えば２０４-１）が製品欠陥分析タスクを処理する速度が、他のクライアント機器（例えば２０４-２）が製品欠陥分析タスクを処理する速度よりも高い場合、クライアント機器２０４-１に送信するタスクの送信速度を増加させる。本開示の実施例は、各種の製品の分析タスクに対してスケジューリングと割り当てを合理的に行い、さらにコンピューティングリソースとタスクを合理的に割り当てるとともに、実際の生産のニーズを最大効率で満たすことができる。
【0116】
図７は、本開示の少なくとも一つの実施例による分散型製品欠陥分析システム１０４におけるクライアント機器２０４のグラフィカルユーザインタフェース（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ、ＧＵＩ）７００を示す概略図である。
【0117】
クライアント機器２０４は、ディスプレイを含む。当該ディスプレイは、グラフィカルユーザインタフェース（ＧＵＩ）７００を表示することができ、それは、マンマシンインタラクションに用いられる。グラフィカルユーザインタフェース７００は、ウインドウと、アイコンと、スクロールバーと、ユーザがコマンドを装置に入力するための任意の他のグラフィカルユーザインタフェースオブジェクトを含むことができる。理解すべきことは、本発明の例示的な実施例は、各種の形状、設計と構造の各種のＧＵＩを含むことができる。
【0118】
例示的なマンマシンインタラクションは、一つ又は複数のユーザインタフェースオブジェクトの位置及び／又は寸法を調整すること、又はボタンを活性化すること、又はグラフィカルユーザインタフェースオブジェクトによって表されるファイル／アプリケーションプログラムをオンにすること、及び元データを一つ又は複数のユーザインタフェースオブジェクトに関連すること、又は他の方式でグラフィカルユーザインタフェースを操作することを含む。例示的なグラフィカルユーザインタフェースは、数字画像と、ビデオと、テキストと、アイコボタンと他の図形ンのような制御素子とを含む。いくつかの場合、ユーザは、関連するアプリケーションプログラムにおいてグラフィカルユーザインタフェースオブジェクトに対してこのような操作を実行する必要がある。
【0119】
選択的に、クライアント機器２０４は、製品画像領域７０１、ショートカット機能領域７０２、タスクリスト領域７０３、タスク詳細領域７０４、操作機能領域７０５、タスク選択領域７０６、サムネイル領域７０７のうちの一つ又は複数を生成し、且つそれをディスプレイのグラフィカルインタフェース７００上に表示することができる。
【0120】
選択的に、ディスプレイは、製品欠陥認識クラスタによって認識される製品画像を表示するように構成され、当該製品画像は、製品欠陥内容マーキングを含み、製品欠陥内容マーキングは、欠陥マーキングフレームと、欠陥マーキングフレーム座標と、欠陥カテゴリマーキングと、欠陥カテゴリスコアとを含む。製品欠陥認識クラスタによって認識して得られる製品画像は、製品画像領域７０１に表示することができる。製品欠陥内容マーキングを含む製品画像は、製品欠陥認識クラスタ２０２によって第１の欠陥認識タスクに基づいて得られる製品画像である。製品欠陥認識クラスタ２０２は、製品画像の欠陥内容（欠陥タイプ、位置とサイズ）を認識した後、当該製品画像上に自動マーキングを行い、且つディスプレイによって表示する。
【0121】
例えば、製品画像において四角枠／丸枠で製品欠陥部分を囲み（例えば、図７における白い四角枠７０１１）、且つ四角枠の頂点座標（ｘ１、ｙ１）と（ｘ２、ｙ２）をマークすることによって、欠陥位置とサイズを示し、且つ四角枠の付近で、欠陥のタイプ（例えば、図７における白い四角枠７０１１の上方のＰ６）と欠陥カテゴリスコア（例えば、図７における白い四角枠７０１１の上方の０．９６）を指示するための文字マーキングを行う。
【0122】
欠陥カテゴリマーキング、欠陥座標とサイズ、及び製品欠陥スコアは、さらに詳細の方式でグラフィカルユーザインタフェース７００における他のアセンブリ（現在の処理タスクフレーム８０１など）に表示することができる。本開示は、これに限られない。ディスプレイは、製品欠陥認識クラスタによって認識される製品画像を表示することによって、ユーザに製品欠陥認識クラスタ２０２の欠陥認識効果を直感的に見せることができ、且つレビューを行うことによって、人工知能認識の正確性を確保することができる。欠陥カテゴリスコアを表示することは、人工知能が当該欠陥カテゴリを認識する確率を表す。欠陥カテゴリスコアを表示することによって、ユーザは、スコアが比較的に低い欠陥認識結果に対してより的確にレビューを行うことができる。
【0123】
ディスプレイは、さらに、製品欠陥認識クラスタが認識できない製品画像、すなわち製品欠陥内容マーキングを含まない製品画像を表示するように構成される。製品欠陥認識クラスタが認識できない製品画像は、第２の欠陥認識タスクに基づき、製品欠陥認識を行う製品画像を含み、製品欠陥クラスタが認識した後に欠陥タイプスコアがある閾値よりも低い製品画像をさらに含む。工業生産において、プロセスフローの順調な進行を確保するために、欠陥分析モデルの正確率に対する要求が極めて高く、そのため、製品欠陥認識クラスタ２０２が認識できないか、又は認識スコア（認識確率）が比較的に低い場合、全てクライアント機器２０４にプッシュし、手動認識によって欠陥認識の正確率を確保する。そのため、製品欠陥認識クラスタが製品画像を認識できない場合、製品画像に対して任意のマーキングを行わなくてもよく、且つ製品欠陥内容マーキングを含まない製品画像を製品画像表示領域７０１に表示する。
【0124】
クライアント機器２０４は、ユーザによって入力される製品欠陥認識指令を取得し、当該製品欠陥認識指令に基づき、製品欠陥認識クラスタ２０２が認識できない製品画像の製品欠陥内容マーキングを表示するように構成される。
【0125】
クライアント機器２０４は、ショートカット機能領域７０２を生成するように構成され、ディスプレイは、ショートカット機能ボタンを表示するように構成され、当該ショートカット機能ボタンは、ショートカット機能領域７０２の中に位置する。ショートカット機能ボタンは、基礎機能ボタン「前へ」、「次へ」、「確認」等のボタンを含んで製品画像の切り替えを実現することができ、欠陥位置マーキング領域７０１１をさらに含み、欠陥フレーム座標とサイズに対する編集によって、欠陥位置マーキングフレームに対する編集を実現し、製品欠陥タイプ設定ボタンをさらに含んでもよく、例えば欠陥大分類設定領域７０２２における「微粒子」、「残留」、「ホール」、「スプラッシュ」、「しわ」、「気泡」等、及び対応する欠陥小分類設定領域７０２３の「Ｐ１」、「Ｐ２」、「Ｐ３」等であり、ショートカットボタンによって製品画像欠陥タイプに対するマーキングを実現する。選択的に、ショートカット機能領域７０２は、製品欠陥タイプに対してショートカットキー設定を行うことにより、ショートカット機能領域７０２の多くの欠陥タイプ設定ボタンを省略することができる。クライアント機器２０４は、さらにマウスの位置をリアルタイムにキャッチし、且つマウスの位置を当該製品画像上の具体位置とサイズに変換することができ、ユーザは、マウスを利用して製品画像における製品欠陥の位置とサイズを描くことができる。クライアント機器は、ユーザによってショートカット機能領域７０２又は他の形式に基づいて入力される製品欠陥認識指令を取得することができ、当該製品欠陥認識指令に基づき、製品欠陥内容の手動マーキングを実現することにより、製品欠陥認識クラスタが認識できない製品画像の製品欠陥内容マーキングを表示する。
【0126】
クライアント機器２０４は、さらに、ユーザによって入力される製品欠陥レビュー指令を取得し、当該製品欠陥レビュー指令に基づき、レビュー待ちの製品画像における製品欠陥内容マーキングを確認するか又は修正するように構成される。レビュー待ちの製品画像における製品欠陥内容マーキングは、製品欠陥認識クラスタ２０１によって認識して得られるものであってもよく、手動で認識して得られるものであってもよい。例えば、人工知能の製品欠陥内容認識に基づき、製品への分類マーキングを効率的に完了することができるが、生産ラインプロセスが複雑であるため、加工プロセスの改良に伴って、欠陥認識モデルの認識効果に変動が現れる可能性がある。そのため、人工知能認識の正確性と安定性を確保するために、経験のある作業者が定期的にレビューする必要がある。また例えば、初級の作業者によって行われる手動認識後の製品欠陥内容マーキングは、経験が豊富な作業者によって再度レビューを行うことにより、初級の作業者による手動マーキングの正確性を確保することができる。そのため、クライアント機器２０４は、ユーザに製品欠陥認識レビューの関連機能アプリケーションを提供する。
【0127】
例えば、ユーザは、クライアント機器２０４において、レビュー待ちの製品画像のタイプを選択することができ、レビュー待ちの製品画像のタイプは、欠陥認識クラスタ２０２によって欠陥認識モデルに基づいて認識される製品画像と、手動で認識される製品画像とを含む。レビュー待ちの製品画像は、製品画像領域７０１に表示される。
【0128】
レビュー待ちの製品画像における微粒子欠陥Ｐ６が微粒子欠陥Ｐ２として誤って認識されるとすると、ユーザは、ショートカット機能領域７０２における製品欠陥タイプをクリック／タッチすることによって、ボタン「Ｐ６」を設定することにより、クライアント機器は、ユーザによって入力される当該製品欠陥レビュー指令を取得し、且つ当該レビュー指令に基づき、製品欠陥認識内容を含む製品画像における欠陥タイプマーキングＰ２をＰ６に変更することにより、レビュー待ちの製品画像における製品欠陥内容を修正することができる。
【0129】
レビュー待ちの製品画像における製品欠陥内容マーキングが正しく完了したとすると、ショートカット機能領域７０２における基礎機能ボタン「次へ」又は「確認」をクリック／タッチすることによって、クライアント機器は、ユーザによって入力される当該製品欠陥レビュー指令を取得し、レビュー待ちの製品画像における製品欠陥内容を確認することにより、製品画像領域７０１における製品画像を次のレビュー待ちの製品画像にジャンプすることができる。
【0130】
欠陥認識モデルによって認識される欠陥位置マーキングフレームの位置又はサイズが誤るとすると、欠陥位置マーキング領域７０２１に欠陥位置マーキングフレームの位置又はサイズ情報を入力することによって、欠陥位置調整を行うことができる。ユーザは、さらにマウスのクリックとドラッグによって製品欠陥の位置とサイズを選択することができる。クライアント機器２０４は、マウスの位置をリアルタイムにキャッチし、且つマウスの位置を当該製品画像上の具体位置とサイズに変換することができる。ユーザは、さらに、製品画像領域７０１の、製品欠陥認識内容を含む製品画像において、新たな欠陥位置マーキングフレームを直接的に描き、旧欠陥位置マーキングフレームを置き換えることができる。クライアント機器２０４は、さらにユーザによって使用される他の入力方式（例えばキーボードショートカットキーの設定）で製品欠陥レビュー指令を取得することができ、本開示は、これに限られない。
【0131】
ディスプレイは、さらに、複数の製品欠陥分析タスクに対応するタスクリストを表示するように構成されてもよい。クライアント機器２０４は、製品製造メッセージ処理クラスタ２０１によって生成された複数の製品欠陥分析タスクを名称リストの形式でタスクリスト領域７０３に表示することができる。これらの製品欠陥分析タスクの順番は、設定される規則に従って変化することができる。例えば、最上端の製品欠陥分析タスクは、現在処理中のタスク－製品欠陥分析タスク１である。二番目の製品欠陥分析タスクから開始し、残りの製品欠陥分析タスクを製品優先度と時間優先度で自動的に順序付けする。タスクリスト領域７０３における各製品欠陥分析タスクの名称は、同一バッチのロット製品（ｌｏｔ）の複数の製品欠陥分析タスクの集合を表してもよく、単一製品（ｇｌａｓｓ）の一つの製品欠陥分析タスクを表してもよい。タスク名称は、ロット製品又は単一製品を表す番号を含んでもよく、製品タイプ等を含んでもよく、これに限られない。製品製造プロセスにおいて、製品が各サイトを絶えず経過するため、複数の製品欠陥分析タスクがリアルタイムに生成され、タスクリスト領域７０３における名称リストの数が絶えず増加し、タスクの並び順序も、優先度等の要素で絶えず変化する可能性がある。
【0132】
ディスプレイは、さらに、現在の製品欠陥分析タスクのタスク詳細を表示するように構成され、当該タスク詳細は、タスク詳細領域７０４に表示されてもよい。例えば、現在処理中の製品欠陥分析タスクは、製品欠陥分析タスク１である。タスク詳細は、製品情報、サイト情報と欠陥タイプ情報等を含む。欠陥タイプ情報は、欠陥認識モデルによって認識して取得されることができる。ユーザは、タスクリスト領域７０３のうちのいずれか一つのタスク名称をクリックしてもよく、当該タスクの詳細情報は、タスク詳細領域７０４に表示される。一つの製品欠陥分析タスク名称にロット製品の複数の製品欠陥分析タスクが含まれる場合、タスク詳細領域７０４は、各単一製品のタスク詳細を一つずつ表示することもできる。
【0133】
クライアント機器２０４は、さらに、ユーザによって入力される複数の製品欠陥分析タスクの実行優先度調整指令を取得し、当該調整指令に基づき、タスクリストにおける製品欠陥分析タスクの順番を修正するように構成されてもよい。ユーザは、タッチ操作、マウス操作、キーボード入力等の操作によって、クライアント機器２０４に複数の製品欠陥分析タスクに対する実行優先度調整指令を入力することができる。クライアント機器２０４は、他の入力方式で行われる優先度調整指令の入力をさらに取得することができる。クライアント機器２０４は、調整指令を取得した後、製品メッセージ製造クラスタ２０１における製品欠陥分析タスクキューの実行順序を調整することができ、クライアント機器２０４が製品欠陥分析タスクを実行する順序も調整することができる。当該調整指令に基づき、対応するクライアント機器２０４に表示されるタスクリスト領域７０３における製品欠陥分析タスクの順番も、対応して修正される。
【0134】
例えば、ユーザが製品欠陥分析タスクの実行順番を調整することを望むとすると、ユーザは、タスクリスト領域７０３における製品欠陥分析タスクをドラッグし、例えば図７における製品欠陥分析タスク２を製品欠陥分析タスク３にドラッグした後、さらに製品欠陥分析タスク２の優先度を製品欠陥分析タスク３の優先度よりも低くすることができる。クライアント機器２０４は、ユーザの操作をキャッチすることにより、複数の製品欠陥分析タスクの実行優先度調整指令を取得することができる。実行優先度調整指令を取得した後、クライアント機器２０４は、当該調整指令に基づき、複数の製品欠陥分析タスクのうちの一つ又は複数の製品欠陥分析タスクの実行優先度を修正する。また、クライアント機器２０４は、調整指令に基づき、タスクリスト領域７０３における製品欠陥分析タスクの順番を修正する。このとき、製品欠陥分析タスク３は、製品タスク２の上方に表示される。
【0135】
ユーザは、さらに各製品欠陥分析タスクの優先度を他の方式で直接又は間接的に設定することができる。例えば、ユーザは、予め設定される優先度調整ショートカットキー又はグラフィカルインタフェース７００上に予め設定される優先度調整ボタンによって、製品欠陥分析タスク２～５を優先度が高いものとして選定することができる。クライアント機器２０４は、優先度調整ボタンによって、複数の製品欠陥分析タスクの実行優先度調整指令を取得することができる。実行優先度調整指令を取得した後、クライアント機器２０４は、当該調整指令に基づき、複数の製品欠陥分析タスクのうちの一つ又は複数の製品欠陥分析タスクの実行優先度を修正する。また、クライアント機器２０４は、調整指令に基づき、タスクリスト領域７０３における製品欠陥分析タスクの順番を修正する。例えば、クライアント機器２０４は、製品欠陥分析タスク２～５が完了するまで、製品欠陥分析タスク２～５を常にタスクリスト領域７０３の上端に一定表示することができる。残りの製品欠陥分析タスクは、製品欠陥分析タスク６から開始し、継続的に製品優先度と時間優先度で順序付けされる。
【0136】
ディスプレイは、さらに、複数の製品画像機器のサムネイルを表示するように構成され、当該サムネイルは、サムネイル領域７０７に表示されることができる。サムネイル領域７０７におけるサムネイルは、製品画像領域７０１における製品画像と比べて、寸法が縮小されるだけである。選択的に、製品画像領域７０１における製品画像は、サムネイル１の拡大図であってもよい。ユーザは、いずれか一つのサムネイルをクリックすることにより、製品画像領域８０１において当該サムネイルが拡大された後の対応する製品画像を表示することができる。サムネイルは、製品欠陥認識内容を含む製品画像のサムネイルであってもよく、製品欠陥認識内容のない製品画像のサムネイルであってもよい。複数のサムネイルは、欠陥分析タスクにおけるロット製品の全ての製品画像のサムネイルであってもよく、単一製品における全ての製品画像のサムネイルであってもよく、同一欠陥タイプでの全ての製品画像のサムネイルであってもよい。選択的に、ユーザは、タスク詳細領域７０４における単一製品におけるある欠陥タイプをクリックすることによって、対応するサムネイル領域７０７において当該タイプでの全部のサムネイルを表示する。
【0137】
ディスプレイは、複数の操作機能ボタンを表示するように構成され、当該操作機能ボタンは、操作機能領域７０５の中に位置する。クライアント機器は、ユーザによって入力される開始又は終了操作指令を取得し、開始操作指令に基づき、製品製造メッセージ処理クラスタ２０１は、製品欠陥分析タスク又は欠陥認識結果を当該クライアント機器２０４に送信し始め、終了操作指令に基づき、製品製造メッセージ処理クラスタ２０１は、製品欠陥分析タスク又は欠陥認識結果を当該クライアント機器に送信することを停止する。クライアント機器２０４は、ユーザによって入力されるオンライン又はオフライン操作指令を取得し、オンライン操作指令に基づき、クライアント機器２０４は、製品欠陥分析タスクをリアルタイムに受け取ることができ、オフライン操作指令に基づき、クライアント機器２０４は、製品欠陥分析タスクを受け取らなくなり、ユーザは、オフライン状態で、クライアント機器２０４に記憶される未完了の製品欠陥分析タスクに対してレビュー又は手動認識を行うことができる。クライアント機器２０４は、さらに、ユーザによって入力される他の操作機能指令に基づき、対応する機能実行を行うことができる。
【0138】
ディスプレイは、さらに、タスク選択ボタンを表示するように構成され、当該タスク選択ボタンは、タスク選択領域７０６の中に位置する。クライアント機器２０４は、ユーザによって入力されるレビュータスク機能選択（例えばユーザがＡＩボタンをクリックする）を取得し、対応するタスク詳細領域７０４、サムネイル領域７０７、製品画像領域７０１は、製品欠陥認識クラスタ２０２によって認識される製品画像を表示し、ユーザのレビューに用いることができる。クライアント機器２０４は、ユーザによって入力される手動認識機能選択（例えばユーザがＯＰボタンをクリックする）を取得し、対応するタスク詳細領域７０４、サムネイル領域７０７、製品画像領域７０１は、製品認識内容がない製品画像を手動認識に用いることができる。クライアント機器２０４は、ユーザによって入力されるジャンプ機能選択をさらに取得することができ、それにより、サムネイル領域７０７のピクチャをジャンプし、ユーザのサンプリングレビューに用いることができる。
【0139】
選択的に、ディスプレイは、さらに、前記複数の製品欠陥分析タスクのうちの少なくとも一つの製品欠陥分析タスクに関連する参照情報を表示するように構成される。参照情報は、標準製品画像と製品欠陥認識標準とを含む。クライアント機器２０４は、製品画像領域７０１において現在処理中の製品欠陥分析タスク１に関連する製品画像を表示し、標準製品画像フレーム（図示せず）において標準製品画像を表示することができる。クライアント機器２０４は、さらに、製品欠陥認識標準フレーム８０５において製品欠陥認識標準を表示することができる。複数の製品画像が存在する場合、ユーザは、ショートカット機能領域７０２における前／次のボタンによって製品画像を選択することができる。ユーザは、さらにクライアント機器によって設けられる拡大縮小ボタンによって、製品画像領域７０１と標準製品画像フレームにおける画像に対してそれぞれスケーリングを行うことができる。製品画像領域７０１における製品画像と標準製品画像フレームにおける標準製品画像とを比較することによって、関連する作業者は、製品欠陥の内容をより直感的に決定することができる。
【0140】
図８は、本開示の少なくとも一つの実施例による分散型製品欠陥分析システム１０４におけるクライアント機器２０４のグラフィカルユーザインタフェースを示す別の概略図であり、グラフィカルユーザインタフェース７００の別の提示形態を例示的に示す。
【0141】
選択的に、クライアント機器２０４は、さらに、メッセージ処理構成フレーム８０１、システム構成フレーム８０２と製品画像データベース構成フレーム８０３のうちの一つ又は複数を生成することができ、且つそれをグラフィカルユーザインタフェース７００の上に表示することができる。
【0142】
クライアント機器２０４は、サイト１０１のニーズに応じて、製品製造メッセージの送受信を構成することができる。上記したように、製品製造メッセージ処理クラスタ２０１は、製品製造メッセージサービス機器１０３によって送信される製品製造メッセージをモニタリングする。そのため、クライアント機器２０４は、製品製造メッセージ処理クラスタ２０１と製品製造メッセージサービス機器１０３との間の通信を設定することができる。具体的には、クライアント機器２０４は、グラフィカルユーザインタフェース７００においてメッセージ処理構成フレーム７０１を表示することができる。メッセージ処理構成フレーム７０１は、製品製造サイト情報、製品情報、製品製造メッセージ受信ポート、製品製造メッセージ送信ポート、製品製造メッセージの長さ、製品製造キーワード、製品製造メッセージ登録情報、製品製造メッセージ通信プロトコルという通信設定を示す。ユーザは、編集メッセージ処理構成フレーム８０１における各オプションによって、上記情報を修正することができる。
【0143】
製品製造メッセージ処理クラスタ２０１、製品欠陥認識クラスタ２０２、クライアント機器２０４は、いずれも製品画像データベース２０３における製品画像に対して読み取り／削除変更の操作を直接的に行う可能性がある。そのため、クライアント機器２０４は、さらに製品製造メッセージ処理クラスタ２０１、製品欠陥認識クラスタ２０２、クライアント機器２０４と製品画像データベース２０３との間の通信設定、例えば、製品製造メッセージ処理クラスタ２０１、製品欠陥認識クラスタ２０２、クライアント機器２０４が製品画像データベース２０３に接続されるＩＰアドレス、ポート番号等を構成することができる。
【0144】
クライアント機器２０４は、さらに、製品画像データベース２０３の記憶を構成する必要があるかもしれない。関連する作業者は、製品画像データベース構成フレーム８０３における様々な内容を編集することによって、製品画像データベース２０３の記憶を構成することができる。例えば、製品画像データベース２０３に対して、記憶のマウント権限、割り当て空間とアクセス権限の共有という記憶設定のうちの一つ又は複数を行う。例えば、製品画像データベース２０３への製品欠陥認識クラスタ２０２のアクセス権限を「読み取り専用」に設定することによって、製品欠陥認識クラスタ２０２が製品画像データベース２０３における製品画像を誤って削除しないことを確保することができる。
【0145】
クライアント機器２０４は、さらに製品欠陥認識クラスタ２０２のメッセージ受信ポート、メッセージ送信ポート、通信プロトコルとＩＰアドレス等を設定する必要がある可能性があり、製品欠陥認識クラスタ２０２が製品製造メッセージ処理クラスタ２０１によって配布される製品欠陥分析タスクを受け取ることを容易にする。関連する作業者は、システム構成フレーム８０２における様々な内容を編集することによって、製品欠陥認識クラスタ２０２の通信詳細を設定することができる。
【0146】
後続の製品製造工場の業務は、さらに拡大する可能性があり、そのため業務、コンピューティングリソース、記憶リソース等の面にいずれも調整が存在する可能性がある。工場にハードウェアを新規追加する場合、既存のシステムの運行を変更することなく、クライアント機器２０４は、既存機器の構成を変更せず、新規追加されるハードウェアを設定することができる。
【0147】
システム全体の複雑性を考慮し、異なるレベルの人は、異なる権限を有する。
【0148】
クライアント機器２０４は、ユーザグループ情報、グループ内ユーザ情報とユーザ権限情報を設定することができる。選択的に、クライアント機器２０４は、さらに、製品欠陥分析タスクの権限調整情報を取得し、前記権限調整情報に基づき、製品欠陥分析タスクの権限を調整するように構成される。そのうち、権限調整情報は、ユーザグループ調整情報、グループ内ユーザ調整情報とユーザ権限調整情報のうちの一つ又は複数を含む。
【0149】
ユーザは、クライアント機器２０４によってユーザグループ情報、グループ内ユーザ情報とユーザ権限を編集することができ、さらにユーザグループ情報を編集することによって、ユーザをグループごとに詳細に管理することができる。例えばユーザは、グループの情報を追加、保存、削除することができる。ユーザは、グループ内ユーザ情報を編集することによって、グループ内のユーザを管理することができる（例えば、当該ユーザグループのメンバを追加、削除、編集する）。ユーザは、さらに各ユーザのニーズに応じて、詳細な権限設定を行うことができ、例えばあるユーザのユーザ権限を直接的に編集する。ユーザ権限は、当該ユーザがある製品欠陥分析タスクを処理できるか否かの権限であり、例えば、製品欠陥認識クラスタ２０２の製品欠陥内容のレビュー、製品製造メッセージ処理クラスタ２０１への通信設定等である。
【0150】
クライアント機器２０４は、ユーザの編集操作を取得し、且つこれらの操作情報を製品欠陥分析タスクの権限調整情報に統合し、且つ権限調整情報に基づき、製品欠陥分析タスクの権限を調整することができる。
【0151】
本開示の実施例において、製品製造メッセージ処理クラスタ２０１は、さらに、欠陥認識モデルトレーニングタスクを生成するように構成され、製品欠陥認識クラスタ２０２は、当該欠陥認識モデルトレーニングタスクに基づき、欠陥認識モデルをトレーニングするように構成される。
【0152】
製品とサイトが多く、汎用の欠陥認識モデルを利用して全ての問題を解決することができないため、複数の欠陥認識モデルを提供して異なる製品タイプの製品を判断する必要がある。工場生産のプロセスにおいて、さらに欠陥認識モデルに対して微調整を行うニーズが存在する可能性がある。例えば、工場パイプラインの生産プロセスが変化するか、又は生産機器が変更された後、生成されたＡＯＩ画像は、変化する。このような変化は、工場パイプラインの欠陥認識モデルの推論性能の低下をもたらし、欠陥認識モデルを再トレーニングする必要がある。また例えば、新規追加の製品タイプは、既存の製品タイプと異なる欠陥を生成する可能性があり、既存の欠陥認識モデルは、当該製品タイプの欠陥を認識することができない。
【0153】
そのため、欠陥認識モデルの推論性能（正確率、精度、リコール率とＦスコア）が要求を満たすことができないか、又は欠陥認識モデルが製品欠陥を認識することができない場合、製品製造メッセージ処理クラスタ２０１は、欠陥認識モデルトレーニングタスクを生成すし、且つ製品欠陥認識クラスタに送信して新たな欠陥認識モデルのトレーニングを行うことができる。製品製造メッセージ処理クラスタ２０１は、クライアント機器２０４に欠陥認識モデルをトレーニングする結果データを伝送することができる。クライアント機器２０４は、これらの伝送データを受信した後、これらの結果データを表示することができる。
【0154】
製品製造メッセージ処理クラスタ２０１は、複数のトレーニングされた欠陥認識モデルに対して、サイト、製品、時間ノード等で管理を行い、且つ新たな欠陥認識モデルのトレーニングとテスト等を構成することができる。各欠陥認識モデルは、使用するために、いずれもトレーニング、検証、テストと評価を行う必要があるため、欠陥認識モデルをトレーニングし且つコンピューティングリソースが限られる場合、製品製造メッセージ処理クラスタ２０１は、欠陥認識モデルトレーニングのタスクに対して、優先度、トレーニングの数、ハードウェアリソースの状態で、欠陥認識モデルトレーニングタスクスケジューリングと合理的な割り当てを行うことができ、当該スケジューリングと分析案は、製品欠陥分析タスクと同様であり、ここで説明を省略する。
【0155】
製品製造メッセージ処理クラスタ２０１は、さらに欠陥認識モデルトレーニングを可視化する機能を実現することによって（その可視化の結果は、クライアント機器２０４に表示される）、ユーザは、欠陥認識モデルトレーニングの状態（例えば、欠陥認識モデルのトレーニングが収束しているか否か等）をリアルタイムに観察し、トレーニングプロセスを終了し又は調整するか否かのを容易にすることができる。データセットが絶えず豊富になり、トレーニングパラメータが絶えず最適化されることに伴って、同一の製品又は欠陥検出に対して、新たにトレーニングされた欠陥認識モデルが古い欠陥認識モデルより効果が高い場合、製品製造メッセージ処理クラスタ２０１は、さらに欠陥認識モデルライブラリにおいて、当該欠陥認識モデルを更新することができる。製品製造メッセージ処理クラスタ２０１は、さらに製品欠陥認識クラスタ２０２にトレーニングタスクを発起し、且つトレーニングプロセスによってフィードバックされるプロセス情報（例えばＬｏｓｓ、検証の正確率等）に従って、欠陥認識モデルをリアルタイムに評価することによって、欠陥認識モデルトレーニングのプロセスが正常であるか否かを決定することができる。
【0156】
製品製造メッセージ処理クラスタ２０１は、さらに、トレーニングに必要とするトレーニングセットと、検証セットと、テストセットとに対して、増加、削除、修正編集等を行うことができる。製品製造メッセージ処理クラスタ２０１は、さらに製品要求に従って、欠陥認識モデルの配備を行い、且つ配備前に評価とテストに合格するなどの作業を行うことができる。上記モデルトレーニング関連機能の実現に関しては、製品製造メッセージ処理クラスタによって実現されてもよく、モデル管理機器を個別に配備してモデルトレーニング管理機能の実現を行ってもよく、本開示は、これに限られない。
【0157】
製品欠陥認識クラスタ２０２は、受信した欠陥認識モデルトレーニングタスクに基づき、製品画像データベース２０３における製品画像サンプルを取得する。製品画像データベース２０３における製品画像サンプルは、欠陥内容が既に認識された（マーキングされた）製品画像である。パラメータと製品画像に基づき、製品欠陥分析クラスタ１３０５は、人工知能欠陥認識モデルをトレーニングする。製品欠陥認識クラスタ２０２は、特別な事務要求メッセージフォーマットｐｒｏｂｅ（メッセージボディに「ｔａｓｋＮｕｍ」キーが含まれる）をハートビートパケットに設定し、相応なＧＰＵノードタスクキューにおけるタスク量を規則的に戻し、各ＧＰＵノードをトレーニング可能／推論可能／トレーニング可能推論可能という三つのタイプのうちの一つに設定し、且つリスト形式で各種のＧＰＵノード上のタスク量を管理することができる。タスクタイプとこのようなＧＰＵノード上のタスク量とを結び付けて、タスクを最適なＧＰＵノード上にプッシュし、製品欠陥分析クラスタ１３０５は、ＧＰＵノードを管理してタスクスケジューリングを完了することにより、ＧＰＵリソースを効率的に利用することができる。
【0158】
例えば、製品欠陥認識クラスタ２０２と製品製造メッセージ処理クラスタ２０１は、以下の例示方式で欠陥認識モデルのトレーニング又は推論を実現することができる。まず、製品欠陥認識クラスタ２０２と製品製造メッセージ処理クラスタ２０１は、ｓｏｃｋｅｔネットワーク接続を確立する。製品製造メッセージ処理クラスタ２０１は、ｔｃｐメッセージによって、製品欠陥認識クラスタ２０２に事務要求タイプメッセージを送信する。そのうち、事務要求タイプメッセージは、以下の７つのタイプであってもよく、それは、ｔｙｐｅフィールドで標識され、例えば、推論タスク、トレーニングタスク、トレーニング状態検索、早期終了トレーニング、ノード情報検索（現在のＧＰＵノードの唯一の標識番号及びタイプを検索する）、タスクキュークリア及びタスク状態検索である。製品欠陥認識クラスタ２０２がメッセージを受信した後、事務要求タイプメッセージにおける「ｔｙｐｅ」フィールドを解析する。「ｔｙｐｅ」が、当該製品欠陥分析タスクが推論タスク又はトレーニングタスクの二つのタイプであることを表す場合、この二つのタスクにかかる時間が比較的に長いため、製品欠陥認識クラスタ２０２は、当該タスクをインスタンス化し、且つタスクキューに入れる。「ｔｙｐｅ」が残りの５つのタイプを表す場合、製品欠陥認識クラスタ２０２は、タスクをインスタンス化し、且つ実行関数を直接呼び出し、対応する操作を完了、且つ結果を製品製造メッセージ処理クラスタ２０１に迅速に戻す。
【0159】
製品欠陥認識クラスタ２０２におけるタスクマネージャは、タスクキューから推論／トレーニングタスクオブジェクトを取得し、対応する推論／トレーニングアルゴリズムを呼び出し、且つタスク結果を定義されたｔｃｐメッセージで製品製造メッセージ処理クラスタ２０１に戻す。製品欠陥認識クラスタ２０２は、受信した全ての結果メッセージを製品製造メッセージ処理クラスタ２０１に戻す。製品製造メッセージ処理クラスタ２０１は、最終的に結果メッセージをクライアント機器２０４に戻し、クライアント機器２０４は、結果メッセージを解析してフロントエンドインタフェース表示に用いるか、又はデータベースに記憶する。
【0160】
クライアント機器２０４のディスプレイは、欠陥認識モデルのトレーニング状態を表示するように構成される。例えば、製品製造メッセージ処理クラスタ２０１は、製品欠陥分析応答メッセージをクライアント機器２０４に伝送することができ、クライアント機器２０４は、それをディスプレイ上に表示し、その後にユーザに提示する。製品製造メッセージ処理クラスタ２０１は、さらに、欠陥認識モデルのトレーニング状態に関するメッセージをクライアント機器２０４に伝送することができ、クライアント機器２０４は、それをディスプレイ上に表示し、その後にユーザに提示する。
【0161】
図９は、本開示の少なくとも一つの実施例による分散型製品欠陥分析システム１０４におけるクライアント機器２０４のグラフィカルユーザインタフェース７００を示すさらに別の概略図である。
【0162】
選択的に、クライアント機器２０４は、さらにモデルトレーニング状態フレーム９０１を生成し、当該モデルトレーニング状態フレーム９０１をグラフィカルユーザインタフェース７００上に表示することができる。欠陥認識モデルのトレーニングは、時間がかかるプロセスであるため、欠陥認識モデルがトレーニングを開始する時、パラメータ、データの設定が合理でない場合、長時間のトレーニングを経て得られる欠陥認識モデルは、誤り、不正確である可能性がある。トレーニングが終了する時に問題を発見することを避けるために、クライアント機器２０４は、欠陥認識モデルのトレーニングプロセスを視覚的に表示し、欠陥認識モデルトレーニングの状態が収束か否か等をリアルタイムに観察し、トレーニングプロセスを適時に終了又は調整することができる。
【0163】
選択的に、クライアント機器２０４は、さらに新旧モデル対比フレーム９０２を生成し且つそれをグラフィカルユーザインタフェース７００上に表示することができる。クライアント機器２０４は、さらに機能ボタンフレーム９０３を生成することができ、機能ボタンフレーム９０３には、オフラインテストを発起する機能キー、オンラインテストを発起する機能キー、及び新たな欠陥認識モデルを配備する機能キーが含まれる。
【0164】
製品欠陥認識クラスタ２０２が新たな第１の欠陥認識モデルを既にトレーニングしたとすると、ユーザは、これで既存の第２の欠陥認識モデルを置き換える準備をしている。
【0165】
ユーザは、オフラインテストを発起する機能キーをクリックすることによって、第１の欠陥認識モデルのオフラインテストを発起することができる。クライアント機器２０４は、欠陥認識モデルに対してオフラインテストを行う必要があるメッセージを製品製造メッセージ処理クラスタ２０１に送信する。製品製造メッセージ処理クラスタ２０１は、第１の欠陥認識モデルに対してオフラインテストを行う分析タスクを配布することにより、第１の欠陥認識モデルのオフラインテスト結果を取得する。このとき、製品欠陥認識クラスタ２０２において第２の欠陥認識モデルを使用して当該タイプの製品欠陥に対して分析を行っているとすると、製品欠陥認識クラスタ２０２は、テストセットとして第２の欠陥認識モデル推論で生成したデータを使用して、第１の欠陥認識モデルに対してオフラインテストを行うことによって、第１の欠陥認識モデルと第２の欠陥認識モデルとの優劣を比較することができる。このとき、新旧モデル対比フレーム９０２において、第１の欠陥認識モデルと第２の欠陥認識モデルとの対比画像が表示される。新旧モデル対比フレーム９０２において、第２の欠陥認識モデルによって認識される製品欠陥内容がさらに直接表示されてもよい（その表示方式は、欠陥認識モデル参照フレーム７０１１を参照する）。ユーザは、機能ボタンフレーム９０３によって第１の欠陥認識モデルによって認識される製品欠陥内容に対してレビューとマーキングを行うことができる。製品欠陥認識クラスタ２０２は、さらにレビューしてマーキングした後のデータをテストセットとしてテストを行い、そのテスト結果（すなわち第１の欠陥認識モデルのオフラインテスト結果）は、新旧モデル対比フレーム９０２に同様に表示される。
【0166】
第１の欠陥認識モデルのオフラインテストが完了した後に、製品製造メッセージ処理クラスタ２０１は、第１の欠陥認識モデルのオフラインテスト結果を取得し、それは、第１の欠陥認識モデルの分析製品欠陥の正確率、分析速度等を指示する。オフラインテスト結果が予め設定される標準を満たす場合（例えば、第１の欠陥認識モデルの正確率が第２の欠陥認識モデルの正確率よりも大きい）、ユーザは、オンラインテストを発起する機能キーをクリックすることによって、第１の欠陥認識モデルのオンラインテストを発起することができる。当業者が理解すべきことは、上記予め設定される標準は、リコール率、Ｆ値等の指標のうちのいずれか一つの指標の比較をさらに含んでもよく、本開示は、予め設定される標準を限定せず、２つの欠陥認識モデルの優劣を判断すればよい。
【0167】
第１の欠陥認識モデルのオンラインテストは、第１の欠陥認識モデルのグレースケール発行プロセスと呼ばれてもよい。製品欠陥認識クラスタ２０２は、工場パイプライン上で生成したリアルタイムデータを使用して、第１の欠陥認識モデルに対してオンラインテストを行うことができる。第１の欠陥認識モデルと第２の欠陥認識モデルとは、いずれも同じリアルタイムデータを使用し、且つそれぞれ推論して異なる製品欠陥推論結果を生成する。関連する作業者／製品欠陥分析システム１０４は、第１の欠陥認識モデルのオンラインテスト結果が予め設定される標準を満たすか否かをさらに分析することができる（例えば、第２の欠陥認識モデルが同じデータ推論に対して生成した製品欠陥推論結果よりも優れたか否か）。
【0168】
第１の欠陥認識モデルがオフラインテストに合格したとすると、製品製造メッセージ処理クラスタ２０１は、ラインでリアルタイムに生成したデータを読み取った後、当該データを二部にコピーし、第２の欠陥認識モデルを利用して製品欠陥認識推論タスクを実行する第１の製品欠陥分析ノード、及び第１の欠陥認識モデルオンラインテストを実行する第２の製品欠陥分析ノードにそれぞれ配布する。第１の製品欠陥分析ノードと第２の製品欠陥分析ノードは、製品欠陥認識クラスタ２０２における異なるＧＰＵノードであってもよく、欠陥認識モデルの分析又はテストを実行することができる他の機器であってもよい。第１の製品欠陥分析ノードと第２の製品欠陥分析ノードは、同じ機器であってもよく、異なる機器であってもよく、本開示は、これに限られない。
【0169】
第１の製品欠陥分析ノードと第２の製品欠陥分析ノードは、製品製造メッセージ処理クラスタ２０１によって送信されるオンラインテストのための製品欠陥分析タスクを受信した後、第２の製品欠陥分析ノードは、第１の欠陥認識モデルをロードしてオンラインテストを行うことができる。第１の欠陥認識モデルのオンラインテストは、第２の欠陥認識モデルの推論と同期して行われ、且つ両者のデータソースは、一致する。第１の欠陥認識モデルの推論結果が第２の欠陥認識モデルの推論結果よりも優れた場合、第１の欠陥認識モデルのリアルタイム処理効果がモデル更新要求に達し、第２の欠陥認識モデルを置き換えることができることを意味する。
【0170】
第１の人工知能欠陥認識モデルのオフラインテスト結果又はオンラインテスト結果がいずれも予め設定される標準を満たす場合、ユーザは、新たな欠陥認識モデルを配備する機能キーをクリックすることによって（このときクライアント機器２０４は、欠陥認識モデル調整情報を取得し、当該欠陥認識モデル調整情報は、第２の欠陥認識モデルを第１の欠陥認識モデルに置き換える）、製品製造メッセージ処理クラスタ２０１は、製品欠陥認識クラスタ２０２に欠陥認識モデル置換要求を送信することができる。それにより、製品欠陥認識クラスタ２０２における第２の欠陥認識モデルは、第１の欠陥認識モデルに置き換えられることができる。
【0171】
以上の３つの操作を経て、第１の欠陥認識モデルは、簡便なオフラインテスト、効率的で可視化のグレースケール発行（オンラインテスト）、更新発行の全プロセスを通過することができる。
【0172】
当該グレースケール発行とオンラインプロセスは、ライン上の既存の欠陥認識モデル（第２の欠陥認識モデル）のリアルタイム推論タスクに影響を与えないため、ラインの正常な生産に影響を与えず、従来の手動テストによる新欠陥認識モデル（第１の欠陥認識モデル）の配備によるシステムシャットダウン等による大きな損失を招くことがない。且つ、グレースケール発行プロセスに使用されるテストデータは、いずれもクライアント機器２０４において、ユーザが再判断した後の結果と旧欠陥認識モデルによって生成されたリアルタイム推論データであり、他のテストデータを使用せず、このように、大量のテストデータ收集コストを節約することができる。
【0173】
当業者が理解すべきことは、図９は、複数の例の提示形態のみを示し、その上の各フレームは、さらに他の配列方式を有してもよく、本開示は、その配列方式を制限しない。
【0174】
本開示の実施例は、分散型システムに基づく製品欠陥分析方法を提供し、当該方法は、上記分散型製品欠陥システムに基づいて実施される全ての方法であってもよい、当業者が理解すべきことは、製品欠陥分析方法は、異なるステップ又はタスクに基づき、任意の同じ又は異なるサーバ又はクラスタにそれぞれ配備することができる。
【0175】
図１０は、本開示の少なくとも一つの実施例の製品欠陥分析方法１０００を示す概略図である。
【0176】
図１０を参照して、選択的に、分散型システムに基づく製品欠陥分析方法１０００は、操作１０１０～１０３０を含む。
【0177】
操作１０１０において、製品製造メッセージに基づき、第１の欠陥認識タスクを含む製品欠陥分析タスクを生成する。
【0178】
操作１０２０において、前記第１の欠陥認識タスクに基づき、欠陥認識モデルによって、前記製品画像における製品欠陥内容を認識し、前記製品欠陥内容は、製品の欠陥タイプと、欠陥位置と、欠陥サイズとのうちのいずれか一つ又は複数を含む。
【0179】
操作１０３０において、製品欠陥認識結果を出力する。
【0180】
本開示のいくつかの実施例において、製品製造メッセージは、ロット製品製造メッセージと単一製品製造メッセージとを含み、操作１０１０の前に、前記ロット製品製造メッセージを中断の方式でモニタリングすることと、前記単一製品製造メッセージをポーリングの方式でモニタリングすることと、をさらに含む。
【0181】
本開示のいくつかの実施例において、操作１０１０は、製品製造メッセージに基づき、製品タイプに対応する欠陥認識モデルが存在するか否かを決定することと、製品タイプに対応する欠陥認識モデルが存在する場合、前記第１の欠陥認識タスクを生成することと、製品タイプに対応する欠陥認識モデルが存在しない場合、第２の欠陥認識タスクを生成することと、をさらに含む。
【0182】
図１１は、本開示の別の実施例による分散型製品欠陥分析システム１００を示す概略図であり、本明細書で記述される各種の技術を実現することができる一つ又は複数のシステム及び／又は機器を表す例示コンピューティング機器１１００を含む。コンピューティング機器１１００は、例えば、端末機器、オンチップシステム、及び／又は任意の他の適正なコンピューティング機器又はコンピューティングシステムであってもよい。
【0183】
図示される例示的なコンピューティング機器１１００は、互いに通信してカップリングされる処理システム１１１０、一つ又は複数のコンピュータ可読媒体１１２０及び一つ又は複数のＩ／Ｏインタフェース１１３０を含む。図示されていないが、コンピューティング機器１１００は、システムバス又は他のデータとコマンド伝送システムをさらに含んでもよく、それは、各種のアセンブリを互いにカップリングする。システムバスは、異なるバス構造のいずれか一つ又は組み合わせを含んでもよく、前記バス構造は、メモリバス又はメモリコントローラ、周辺バス、ユニバーサルシリアルバス、及び／又は各種のバスアーキティクチャのうちのいずれか一つを利用するプロセッサ又はローカルバスなどである。制御とデータ線などの各種の他の例も考えた。
【0184】
処理システム１１１０は、ハードウェアを使用して一つ又は複数の操作を実行する機能を表す。そのため、処理システム１１１０は、プロセッサ、機能ブロック等に構成されてもよいハードウェア素子を含むものとして図示される。それは、ハードウェアにおいて専用集積回路として実現されるか、又は一つ又は複数の半導体を使用して形成される他のロジックデバイスを含むことができる。ハードウェア素子は、その形成される材料又はそのうちに採用される処理機構の制限を受けない。例えば、プロセッサは、（複数の）半導体及び／又はトランジスタ（例えば、電子集積回路（ＩＣ））で構成されてもよい。このようなコンテキストにおいて、プロセッサ実行可能指令は、電子的実行可能指令であってもよい。ハードウェア素子は、ハードウェア形式で実現される指令、モジュール、プログラマブルデバイスロジック及び／又は一定デバイスロジックを表し、それは、いくつかの実施例において、本明細書に記述される技術の少なくともいくつかの面を実現するために用いることができる。ハードウェア素子は、集積回路又はオンチップシステム、専用集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、複雑プログラマブルロジックデバイス（ＣＰＬＤ）及びシリコンにおける他の実現又は他のハードウェア機器のアセンブリを含むことができる。このようなコンテキストにおいて、ハードウェア素子は、ハードウェア素子によって体現される指令、モジュール及び／又はロジックによって定義されるプログラムタスクを実行する処理機器とすることができる。
【0185】
コンピュータ可読媒体１１２０は、メモリ／記憶装置を含むものとして図示される。メモリ／記憶装置は、一つ又は複数のコンピュータ可読媒体に関連するメモリ／記憶容量を表す。メモリ／記憶装置は、揮発性と不揮発性、可動と非可動媒体及び／又は情報（コンピュータ可読指令、データ構造、プログラムモジュール、ロジック素子／回路又は他のデータなど）を記憶するのに適用される方法又は技術で実現される記憶機器などのハードウェアを含むことができる。コンピュータ可読記憶媒体の例は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ又は他のメモリ技術、ＣＤ－ＲＯＭ、デジタル汎用ディスク（ＤＶＤ）又は他の光学記憶装置、ハードディスク、カセットテープ、磁気テープ、ディスク記憶装置又は他の磁気記憶機器、又は他の記憶機器、有形媒体又は所望の情報を記憶するのに適し、且つコンピュータによってアクセス可能な製品を含むことができるが、それらに限られない。コンピュータ可読媒体１１２０は、以下でさらに記述される各種の他の方式で構成を行うことができる。
【0186】
記述されるモジュールと技術の実現は、ある形式のコンピュータ可読媒体上に記憶されてもよく、又はある形式のコンピュータ可読媒体にわたって伝送されてもよい。コンピュータ可読媒体は、コンピューティング機器１１００によってアクセス可能な各種の媒体を含むことができる。制限ではなく一例として、コンピュータ可読媒体は、「コンピュータ可読記憶媒体」と「コンピュータ可読信号媒体」とを含むことができる。
【0187】
単なる信号伝送、搬送波又は信号自体と逆であり、「コンピュータ可読記憶媒体」とは、情報を持続的に記憶できる媒体及び／又は機器、及び／又は有形の記憶装置である。そのため、コンピュータ可読記憶媒体とは、非信号担持媒体である。コンピュータ可読記憶媒体は、揮発性と不揮発性、可動と非可動媒体及び／又は情報（コンピュータ可読指令、データ構造、プログラムモジュール、ロジック素子／回路又は他のデータなど）を記憶するのに適用される方法又は技術で実現される記憶機器などのハードウェアを含む。コンピュータ可読記憶媒体の例は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ又は他のメモリ技術、ＣＤ－ＲＯＭ、デジタル汎用ディスク（ＤＶＤ）又は他の光学記憶装置、ハードディスク、カセットテープ、磁気テープ、ディスク記憶装置又は他の磁気記憶機器、又は他の記憶機器、有形媒体又は所望の情報を記憶するのに適し、且つコンピュータによってアクセス可能な製品を含むことができるが、それらに限定されない。
【0188】
「コンピュータ可読信号媒体」とは、ネットワークを介して指令をコンピューティング機器１１００に送信するように構成されるハードウェアのような信号担持媒体である。信号媒体は、典型的に、コンピュータ可読指令、データ構造、プログラムモジュール又は他のデータを搬送波、データ信号又は他の伝送メカニズムのような変調データ信号に体現することができる。信号媒体は、任意の情報伝達媒体をさらに含む。「変調データ信号」という用語とは、このような方式で信号における情報をコーディングし、その特徴のうちの一つ又は複数を設定又は変更する信号である。制限ではなく例として、通信媒体は、有線ネットワーク又は直接接続のような有線媒体、及び音波、ＲＦ、赤外線と他の無線媒体のような無線媒体を含む。
【0189】
一つ又は複数の入力／出力インタフェース１１３０は、ユーザがコンピューティング機器１１００にコマンドと情報をタイピングすることを許可し、且つ各種の入力／出力機器を使用して情報をユーザ及び／又は他のアセンブリ又は機器に提示することをさらに許可する機能を表す。入力機器の例は、キーボード、カーソル制御機器（例えば、マウス）、マイクロホン（例えば、ボイス入力に用いられる）、走査機、タッチ機能（例えば、物理タッチを検出するように構成される容量性又は他のセンサ）、写真機（例えば、可視又は不可視の波長（赤外周波数など）を採用してタッチに関しない運動をジェスチャとして検出してもよい）等を含む。出力機器の例は、表示機器（例えば、モニタ又は投影機）、スピーカ、プリンタ、ネットカード、触覚応答機器等を含む。そのため、コンピューティング機器１１００は、以下でさらに記述される各種の方式で構成を行うことにより、ユーザインタラクションをサポートすることができる。
【0190】
本明細書は、ソフトウェアハードウェア素子又はプログラムモジュールの一般的なコンテキストにおいて、各種の技術を記述することができる。一般的には、これらのモジュールは、特定のタスクを実行し又は特定の抽象データタイプを実現するルーチン、プログラム、オブジェクト、エレメント、アセンブリ、データ構造等を含む。本明細書に使用される「モジュール」、「機能」と「アセンブリ」という用語は、一般的には、ソフトウェア、ファームウェア、ハードウェア又はその組み合わせを表す。本明細書に記述される技術の特徴は、プラットフォームに関連せず、これらの技術が、各種のプロセッサを有する各種のコンピューティングプラットフォームに実現されることができることを意味する。
【0191】
前記組み合わせは、さらに本明細書に記載の各種の技術とモジュールを実現するために用いることができる。そのため、ソフトウェア、ハードウェア又はプログラムモジュールと他のプログラムモジュールを、ある形式のコンピュータ可読記憶媒体上で、及び／又は一つ又は複数のハードウェア素子によって体現される一つ又は複数の指令及び／又はロジックとして実現することができる。コンピューティング機器１１０は、ソフトウェア及び／又はハードウェアモジュールに対応する特定の指令及び／又は機能を実現するように構成されてもよい。そのため、例えば処理システムのコンピュータ可読記憶媒体及び／又はハードウェア素子を使用することによって、少なくとも部分的にハードウェアで、モジュールをコンピューティング機器１１００によってソフトウェアとして実行できるモジュールとして実現することができる。指令及び／又は機能は、一つ又は複数の製品（例えば、一つ又は複数のコンピューティング機器１１００及び／又は処理システム１１１０）によって実行可能／操作可能で、それにより、本明細書に記載の技術、モジュールと例を実現することができる。
【0192】
本明細書に記述される技術は、コンピューティング機器１１１０のこれらの各種の構成によってサポートされることができ、且つ本明細書に記述される技術の具体的な例に限定されない。前記処理システム１１１０とコンピュータ可読記憶媒体１１２０は、さらに分散型システムを使用することによって、「クラウド」上で全体的又は部分的に実現することができる。
【0193】
本開示は、その上にコンピュータ実行可能な指令が記憶されるコンピュータ可読記憶媒体をさらに提供し、当該指令がコンピューティング機器によって実行される場合、前記コンピューティング機器は、製品欠陥分析方法１０００を実現する。
【0194】
本明細書の討論において、各種の異なる実施例が記述される。理解すべきことは、本明細書に記述される各実施例は、個別に使用されてもよく、又は本明細書に記載の一つ又は複数の他の実施例に関連して使用されてもよい。
【0195】
本開示に採用される人工知能技術は、人力を解放し、且つ各製品画像の処理時間を大幅に短縮するとともに、純粋な手動検出による不安定性を避けることができる。本開示のいくつかの実施例は、さらに事前警報と警報提示を適時に行うことに役立ち、同様の不良欠陥を持続的に生成することを避ける。人工知能技術を採用して検出の正確度を大幅に向上させ、検査漏れを低減させ又は完全に避けるため、良品率を間接的に向上させることができる。人工知能検出フィードバックが適時であるため、中間プロセスを適時に調整し、欠陥の二次発生を避けることにより、同様に良品率を間接的に向上させることができる。
【0196】
本開示を具体的な実施例に関連して記述したが、当業者が理解すべきことは、本開示の真の範囲を逸脱することなく、多くの変更及び修正が可能であり、それらの素子を同等に置換することが可能である。また、本開示の教示を特定の状況に適合させるために、その中心範囲から逸脱することなく、多くの修正を行うことができる。そのため、本開示は、本開示を実現するために考えられた最良のモードとして本明細書に開示された特定の実施例に限定されるものではなく、むしろ、本開示は、添付の特許請求の範囲の範囲内に含まれるすべての実施例を含む。
【符号の説明】
【0197】
１００ 分散型製品欠陥分析システム
１０２ 画像取得機器
１０３ 製品製造メッセージサービス機器
１０４ 分散型製品欠陥分析システム
１１０ コンピューティング機器
２０１ 製品製造メッセージ処理クラスタ
２０１ 製品製造メッセージサービス処理クラスタ
２０２ 製品欠陥認識クラスタ
２０２ 欠陥認識クラスタ
２０３ 製品画像データベース
２０４ クライアント機器
６０３ 製品製造メッセージ処理機器
７００ グラフィカルユーザインタフェース（ＧＵＩ）
７０１ 製品画像領域
７０２ ショートカット機能領域
７０３ タスクリスト領域
７０４ タスク詳細領域
７０５ 操作機能領域
７０６ タスク選択領域
７０７ サムネイル領域
８０１ 編集メッセージ処理構成フレーム
８０２ システム構成フレーム
８０３ 製品画像データベース構成フレーム
８０５ 製品欠陥認識標準フレーム
９０１ モデルトレーニング状態フレーム
９０２ 新旧モデル対比フレーム
９０３ 機能ボタンフレーム
１３０５ 製品欠陥分析クラスタ
７０１１ 四角枠
７０２１ 欠陥位置マーキング領域
７０２２ 欠陥大分類設定領域
７０２３ 欠陥小分類設定領域
１０２ 画像取得機器
１０３ 製品製造メッセージサービス機器
１０４ 分散型製品欠陥分析システム
１１０ コンピューティング機器
２０１ 製品製造メッセージ処理クラスタ
２０１ 製品製造メッセージサービス処理クラスタ
２０２ 製品欠陥認識クラスタ
２０２ 欠陥認識クラスタ
２０３ 製品画像データベース
２０４ クライアント機器
６０３ 製品製造メッセージ処理機器
７００ グラフィカルユーザインタフェース（ＧＵＩ）
７０１ 製品画像領域
７０２ ショートカット機能領域
７０３ タスクリスト領域
７０４ タスク詳細領域
７０５ 操作機能領域
７０６ タスク選択領域
７０７ サムネイル領域
８０１ 編集メッセージ処理構成フレーム
８０２ システム構成フレーム
８０３ 製品画像データベース構成フレーム
８０５ 製品欠陥認識標準フレーム
９０１ モデルトレーニング状態フレーム
９０２ 新旧モデル対比フレーム
９０３ 機能ボタンフレーム
１３０５ 製品欠陥分析クラスタ
７０１１ 四角枠
７０２１ 欠陥位置マーキング領域
７０２２ 欠陥大分類設定領域
７０２３ 欠陥小分類設定領域
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【国際調査報告】