特許7347836深層学習に基づく２次元ＰＣＢ外観欠陥のリアルタイム自動検出方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-09-11
(45)【発行日】2023-09-20
(54)【発明の名称】深層学習に基づく２次元ＰＣＢ外観欠陥のリアルタイム自動検出方法
(51)【国際特許分類】
H05K 3/00 20060101AFI20230912BHJP
【ＦＩ】
H05K3/00 Q
【請求項の数】
10
(21)【出願番号】P 2021082647
(22)【出願日】2021-05-14
(65)【公開番号】P2021180309
(43)【公開日】2021-11-18
【審査請求日】2021-05-14
(31)【優先権主張番号】202010412967.6
(32)【優先日】2020-05-15
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】513322718
【氏名又は名称】清華大学
【氏名又は名称原語表記】ＴＳＩＮＧＨＵＡ ＵＮＩＶＥＲＳＩＴＹ
【住所又は居所原語表記】１ Ｑｉｎｇｈｕａｙｕａｎ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ １０００８４， Ｃｈｉｎａ
(74)【代理人】
【識別番号】110002262
【氏名又は名称】ＴＲＹ国際弁理士法人
(74)【代理人】
【識別番号】100130111
【弁理士】
【氏名又は名称】新保 斉
(72)【発明者】
【氏名】羅 貴明
(72)【発明者】
【氏名】何 悦
【審査官】鹿野 博司
(56)【参考文献】
【文献】中国特許出願公開第１１０４５５８２２（ＣＮ，Ａ）
【文献】中国特許出願公開第１０９９５９６６１（ＣＮ，Ａ）
【文献】中国特許出願公開第１０９９１６９０６（ＣＮ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０５Ｋ ３／００
Ｇ０６Ｔ ７／００
Ｇ０１Ｎ ２１／９５６
(57)【特許請求の範囲】
【請求項1】
深層学習に基づく２次元ＰＣＢ外観欠陥のリアルタイム自動検出方法であって、２次元ＰＣＢ欠陥パッチ及び対応する非欠陥標準ＰＣＢパッチ画像で構成されるデータペア画像ライブラリと、単一の２次元ＰＣＢ欠陥パッチのみを有するデータ画像ライブラリである２次元ＰＣＢ欠陥単一データ画像ライブラリとを含む２次元ＰＣＢ欠陥パッチ画像ライブラリを構築するステップＳ１と、
前記２次元ＰＣＢ欠陥パッチ画像ライブラリ内の各種類のＰＣＢ欠陥に対して、畳み込みニューラルネットワークを使用してトレーニングを行い、ＰＣＢ欠陥カテゴリ特徴を抽出するステップＳ２と、
前記２次元ＰＣＢ欠陥パッチ画像ライブラリ内の各種類のＰＣＢ欠陥レベルに対して、畳み込みニューラルネットワークを使用してトレーニングを行い、ＰＣＢ欠陥レベル特徴を抽出するステップＳ３と、
２次元標準ＰＣＢ画像及び２次元検出対象ＰＣＢ画像を含む２次元ＰＣＢ画像を抽出するステップＳ４と、
前記２次元ＰＣＢ画像のノイズ除去処理を実行するステップＳ５と、
前記２次元検出対象ＰＣＢ画像を前記２次元標準ＰＣＢ画像に画像マッチングを行うステップＳ６と、
前記２次元標準ＰＣＢ画像と前記２次元検出対象ＰＣＢ画像のグレー値を比較および分析して、２次元ＰＣＢ残差画像を取得するステップＳ７と、
前記２次元標準ＰＣＢ画像、前記２次元検出対象ＰＣＢ画像及び前記２次元ＰＣＢ残差画像をセグメント化して位置決めして、複数の画像の画像パッチ及び対応する座標を取得するステップＳ８と、
前記２次元ＰＣＢ残差画像の画像パッチをフィルタリングし、画像マッチングによって引き起こされる比較エラーを排除するステップＳ９と、
畳み込みニューラルネットワークによってトレーニングされたＰＣＢ欠陥特徴を介して、複数の画像パッチで欠陥パッチを検索し、欠陥パッチマッチングを実行するステップＳ１０と、
畳み込みニューラルネットワークを使用して、前記２次元検出対象ＰＣＢ画像の欠陥を識別するステップＳ１１と、
畳み込みニューラルネットワークによってトレーニングされたＰＣＢ欠陥カテゴリ特徴ペアを使用して、前記２次元検出対象ＰＣＢ画像内のマークされた欠陥を分類し、カテゴリにない欠陥を判断し、それらが偽の欠陥であるか、新しいカテゴリの欠陥であるかを判断し、前記新しいカテゴリの欠陥を欠陥パッチ画像ライブラリに追加するステップＳ１２と、
前記２次元検出対象ＰＣＢ画像内の各種類の欠陥を疑似欠陥としてマークするステップＳ１３と、
畳み込みニューラルネットワークによってトレーニングされたＰＣＢ欠陥レベル特徴と分類情報を通じて、疑似欠陥パッチの真偽性を判断し、欠陥が偽の欠陥である場合、対応する欠陥を削除して偽の欠陥の原因を分析し、欠陥が真の欠陥である場合、欠陥レコードにマークするステップＳ１４と、を含み、前記データペア画像ライブラリおよび前記２次元ＰＣＢ欠陥単一データ画像ライブラリには、マーク、分類、および等級付けされたさまざまなＰＣＢ欠陥パッチ画像がそれぞれ含まれ、前記ＰＣＢ欠陥パッチ画像にはマルチスケール画像が含まれ、
ここで、疑似欠陥パッチとは、パッチ化されたＰＣＢ画像のうち、疑似欠陥部分に対応する画像パッチである
ことを特徴とする深層学習に基づく２次元ＰＣＢ外観欠陥のリアルタイム自動検出方法。
【請求項2】
前記ステップＳ４において、抽出された２次元ＰＣＢ画像には、２種類があり、１つは、２次元標準ＰＣＢ画像と２次元検出対象ＰＣＢ画像を抽出する方法で、もう１つは、２次元検出対象ＰＣＢ画像のみを抽出する方法であり、前記ステップＳ４は、
標準ＰＣＢの検出方法とＰＣＢハイブリッド検出方法との比較では、２次元検出対象ＰＣＢ画像及び対応する２次元標準ＰＣＢ画像を抽出し、
標準ボード比較なしＰＣＢ検出方法では、２次元検出対象ＰＣＢ画像のみを抽出することをさらに含む
請求項１に記載の深層学習に基づく２次元ＰＣＢ外観欠陥のリアルタイム自動検出方法。
【請求項3】
前記２次元ＰＣＢ画像に対してノイズ除去処理を実行する前記ステップＳ５において、アルゴリズムを使用して、前記２次元標準ＰＣＢ画像と前記２次元検出対象ＰＣＢ画像のノイズを除去し、標準ＰＣＢの検出方法とＰＣＢハイブリッド検出方法との比較では、前記２次元標準ＰＣＢ画像及び前記２次元検出対象ＰＣＢ画像のノイズを除去し、画像のノイズを除去し、底板の色が画像に与える影響を修正し、標準ＰＣＢ画像、検出対象ＰＣＢ画像、および欠陥ライブラリの画像の底板の色を一致させることと、
標準ボード比較なしＰＣＢ検出方法では、前記２次元検出対象ＰＣＢ画像のみをノイズ除去し、画像のノイズを除去し、底板の色が画像に与える影響を修正し、検出対象ＰＣＢ画像、欠陥ライブラリの画像の底板の色を一致させることと、を含む
請求項２に記載の深層学習に基づく２次元ＰＣＢ外観欠陥のリアルタイム自動検出方法。
【請求項4】
前記２次元標準ＰＣＢ画像と前記２次元検出対象ＰＣＢ画像に対して、画像マッチング、グレー値の比較、画像セグメンテーションを実行することは、さらに、標準ＰＣＢの検出方法とＰＣＢハイブリッド検出方法との比較では、前記ステップＳ６、前記ステップＳ７及び前記ステップＳ８は、
標準ＰＣＢの検出方法とＰＣＢハイブリッド検出方法の比較では、前記２次元標準ＰＣＢ画像と前記２次元検出対象ＰＣＢ画像に対して画像マッチングを行い、ノイズ除去処理後の２次元標準ＰＣＢ画像に従って前記２次元検出対象ＰＣＢ画像を修正し、前記２次元標準ＰＣＢ画像と前記２次元検出対象ＰＣＢ画像のグレー値を比較し、画像残差を計算して２次元ＰＣＢ残差画像を取得することと、
前記２次元標準ＰＣＢ画像、前記２次元検出対象ＰＣＢ画像、および前記２次元ＰＣＢ残差画像をセグメント化して、複数の画像パッチ及び対応する座標を取得することと、
前記２次元標準ＰＣＢ画像に対して画像マッチングを行い、前記２次元標準ＰＣＢ画像に回転、変形、不均一な光、光の反射があるか否かを検出し、ある場合、アルゴリズムを使用して修正することと、
前記２次元検出対象ＰＣＢ画像を処理済みの２次元標準ＰＣＢ画像と比較し、位置、光、色が一致しているか否かを判断し、一致していない場合は、アルゴリズムを使用して、前記２次元検出対象ＰＣＢ画像を修正することと、を含む
請求項３に記載の深層学習に基づく２次元ＰＣＢ外観欠陥のリアルタイム自動検出方法。
【請求項5】
非比較参照検出方法では、前記ステップＳ８は、前記２次元検出対象ＰＣＢ画像をセグメント化して、複数の画像パッチ及び対応する座標を取得することを含む請求項３に記載の深層学習に基づく２次元ＰＣＢ外観欠陥のリアルタイム自動検出方法。
【請求項6】
前記ステップＳ９において、前記２次元ＰＣＢ残差画像の画像パッチをフィルタリングして比較エラーを排除し、前記２次元ＰＣＢ残差画像に残差のない画像パッチを削除し、前記ステップＳ１０及び前記ステップＳ１２は、
標準ボード比較なしＰＣＢ検出方法では、前記２次元ＰＣＢ欠陥単一データ画像ライブラリを採用することと、
標準ボード比較なしＰＣＢ検出方法とＰＣＢハイブリッド検出方法では、前記２次元ＰＣＢ欠陥パッチ画像ライブラリと前記２次元ＰＣＢ欠陥パッチ画像ライブラリの各種類のＰＣＢ欠陥に対して、畳み込みニューラルネットワークでトレーニングし、ＰＣＢ欠陥特徴とＰＣＢ欠陥カテゴリ特徴を抽出することと、
前記ステップＳ１０は、畳み込みニューラルネットワークによってトレーニングされたＰＣＢ欠陥特徴を介して、複数の画像パッチでＰＣＢ欠陥の検索と識別を実行し、単一の２次元ＰＣＢ欠陥画像ライブラリ畳み込みニューラルネットワークを使用して、ＰＣＢ欠陥カテゴリ特徴をトレーニングし、前記ステップＳ１２は、前記２次元検出対象ＰＣＢ画像にマークされた欠陥を分類し、カテゴリにない欠陥を判断し、それらが偽の欠陥であるか、新しいカテゴリの欠陥であるかを判断し、前記新しいカテゴリの欠陥を欠陥画像ライブラリに追加することと、を含む
請求項５に記載の深層学習に基づく２次元ＰＣＢ外観欠陥のリアルタイム自動検出方法。
【請求項7】
標準ＰＣＢとの比較の検出方法とＰＣＢハイブリッド検出方法では、それぞれ前記２次元ＰＣＢ欠陥パッチ画像ライブラリ及び前記２次元ＰＣＢ欠陥パッチ画像ライブラリの各種類のＰＣＢ欠陥に対して、畳み込みニューラルネットワークを使用してトレーニングして、ＰＣＢ欠陥特徴及びＰＣＢ欠陥カテゴリ特徴を抽出し、前記ステップＳ１１及び前記ステップＳ１２は、２次元ＰＣＢ欠陥パッチ及び対応する非欠陥標準ＰＣＢパッチ画像で構成される２次元ＰＣＢ欠陥データペア画像ライブラリを採用し、前記ステップＳ１１は、畳み込みニューラルネットワークによってトレーニングされたＰＣＢ欠陥特徴ペア、前記ステップＳ９は、残差画像に対して欠陥識別を実行し、２次元ＰＣＢ欠陥画像ライブラリ畳み込みニューラルネットワークを使用して、ＰＣＢ欠陥カテゴリ特徴ペアをトレーニングし、前記ステップＳ１２は、前記２次元検出対象ＰＣＢ画像にマークされた欠陥を分類し、カテゴリにない欠陥を判断し、それらが偽の欠陥であるか、新しいカテゴリの欠陥であるかを判断し、前記新しいカテゴリの欠陥を欠陥画像ライブラリに追加することをさらに含む
請求項５または６に記載の深層学習に基づく２次元ＰＣＢ外観欠陥のリアルタイム自動検出方法。
【請求項8】
ＰＣＢハイブリッド検出方法では、前記ステップＳ１２の後には、畳み込みニューラルネットワークによってトレーニングされた前記２次元ＰＣＢ欠陥パッチ画像ライブラリのＰＣＢ欠陥特徴を使用して、マークされた疑似欠陥パッチを検索してマッチングさせ、そのうちの偽の欠陥を削除し、識別精度を向上させることと、
前記ステップＳ１３の後、畳み込みニューラルネットワークによってトレーニングされたＰＣＢ欠陥特徴を介して、欠陥画像で疑似欠陥を検索してマッチングさせることと、をさらに含む
請求項７に記載の深層学習に基づく２次元ＰＣＢ外観欠陥のリアルタイム自動検出方法。
【請求項9】
ＰＣＢ欠陥検証では、前記ステップＳ３で畳み込みニューラルネットワークによってトレーニングされたＰＣＢ欠陥レベル特徴情報を通じてＰＣＢ欠陥の真偽性を判断し、欠陥が偽の欠陥である場合、この偽の欠陥を削除して偽の欠陥の原因を分析し、欠陥が真の欠陥である場合、欠陥レコードにマークする請求項１または８に記載の深層学習に基づく２次元ＰＣＢ外観欠陥のリアルタイム自動検出方法。
【請求項10】
欠陥の検索と判断の過程で、欠陥を複数の識別の反復によって連続的に排除する請求項１ないし９のいずれかに記載の深層学習に基づく２次元ＰＣＢ外観欠陥のリアルタイム自動検出方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、欠陥検出の技術分野、特に深層学習に基づく２次元ＰＣＢ外観欠陥のリアルタイム自動検出方法に関する。
【背景技術】
【0002】
２次元（２Ｄ）プリント回路基板（ＰＣＢ）は、さまざまなマイクロ回路基板およびマザーボードの製造の基礎であり、その正確性は、他の後続プロセスの正確性を保証するものである。現代の技術と優れたプロセスの継続的な開発により、ＰＣＢの製造はますます複雑で精密になっている。従来の外観検出は、複雑なＰＣＢ検出にはもはや適していない。
【発明の概要】
【発明が解決しようとする課題】
【0003】
本発明は、関連技術における技術的問題の１つを少なくともある程度解決することを目的としている。
【0004】
この目的のために、本発明は、高速、高精度、強力な一般化能力、および明確な構造の利点を有する、深層学習に基づく２次元ＰＣＢ外観欠陥のリアルタイム自動検出方法を提供することを目的とする。
【課題を解決するための手段】
【0005】
上記の目的を達成するために、本発明の実施例は、
ＰＣＢ欠陥パッチ画像を収集してマークすることにより、２次元ＰＣＢ欠陥パッチ画像ライブラリには、２次元ＰＣＢ欠陥データペア画像ライブラリと２次元ＰＣＢ欠陥単一データ画像ライブラリが含まれる、２次元ＰＣＢ欠陥パッチ画像ライブラリを構築するステップＳ１と、
前記２次元ＰＣＢ欠陥パッチ画像ライブラリ内の各種類のＰＣＢ欠陥に対して、畳み込みニューラルネットワークを使用してトレーニングを行い、ＰＣＢ欠陥カテゴリ特徴を抽出するステップＳ２と、
前記２次元ＰＣＢ欠陥パッチ画像ライブラリ内の各種類のＰＣＢ欠陥のレベルに対して、畳み込みニューラルネットワークを使用してトレーニングを行い、ＰＣＢ欠陥レベル特徴を抽出するステップＳ３と、
ＰＣＢ生産ラインを通じて、２次元標準ＰＣＢ画像及び２次元検出対象ＰＣＢ画像を含む、２次元ＰＣＢ画像を抽出するステップＳ４と、
フィルタリングノイズ除去モジュールを介して、前記２次元ＰＣＢ画像に対してノイズ除去処理を実行するステップＳ５と、
画像マッチングモジュールを介して前記２次元検出対象ＰＣＢ画像と前記２次元標準ＰＣＢ画像に画像マッチングを行うステップＳ６と、
画像グレー値比較モジュールを介して、前記２次元標準ＰＣＢ画像と前記２次元検出対象ＰＣＢ画像のグレー値を比較および分析して、２次元ＰＣＢ残差画像を取得するステップＳ７と、
画像セグメンテーション位置決めモジュールを介して、前記２次元標準ＰＣＢ画像、前記２次元検出対象ＰＣＢ画像及び前記２次元ＰＣＢ残差画像をセグメント化して位置決めして、複数の画像の画像パッチ及び対応する座標を取得するステップＳ８と、
残差フィルタリングモジュールを介して、前記２次元ＰＣＢ残差画像の画像パッチをフィルタリングし、画像マッチング及びその他の要因によって引き起こされる比較エラーを排除するステップＳ９と、
欠陥検索マッチングモジュールを介して、畳み込みニューラルネットワークによってトレーニングされたＰＣＢ欠陥特徴を介して、複数の画像パッチで欠陥パッチを検索し、欠陥パッチのマッチングを実行するステップＳ１０と、
ＣＮＮ欠陥識別モジュールを介して、畳み込みニューラルネットワークを使用して、前記２次元検出対象ＰＣＢ画像の欠陥を識別するステップＳ１１と、
ＰＣＢ欠陥分類モジュールを介して、畳み込みニューラルネットワークによってトレーニングされたＰＣＢ欠陥カテゴリ特徴ペアを使用して、前記２次元検出対象ＰＣＢ画像内のマークされた欠陥を分類し、カテゴリにない欠陥を判断し、それらが偽の欠陥であるか、新しいカテゴリの欠陥であるかを判断し、前記新しいカテゴリの欠陥を欠陥パッチ画像ライブラリに追加するステップＳ１２と、
ＰＣＢ欠陥疑似モジュールを介して、前記２次元検出対象ＰＣＢ画像内の各種類の欠陥を疑似欠陥としてマークするステップＳ１３と、
ＰＣＢ欠陥検証モジュールを介して、畳み込みニューラルネットワークによってトレーニングされたＰＣＢ欠陥レベル特徴と分類情報を通じて、疑似欠陥パッチの真偽性を判断し、欠陥が偽の欠陥である場合、対応する欠陥を削除して偽の欠陥の原因を分析し、欠陥が真の欠陥である場合、欠陥レコードにマークするステップＳ１４と、を含む深層学習に基づく２次元ＰＣＢ外観欠陥のリアルタイム自動検出方法を提供する。
ＰＣＢ欠陥パッチ画像を収集してマークすることにより、２次元ＰＣＢ欠陥パッチ画像ライブラリには、２次元ＰＣＢ欠陥データペア画像ライブラリと２次元ＰＣＢ欠陥単一データ画像ライブラリが含まれる、２次元ＰＣＢ欠陥パッチ画像ライブラリを構築するステップＳ１と、
前記２次元ＰＣＢ欠陥パッチ画像ライブラリ内の各種類のＰＣＢ欠陥に対して、畳み込みニューラルネットワークを使用してトレーニングを行い、ＰＣＢ欠陥カテゴリ特徴を抽出するステップＳ２と、
前記２次元ＰＣＢ欠陥パッチ画像ライブラリ内の各種類のＰＣＢ欠陥のレベルに対して、畳み込みニューラルネットワークを使用してトレーニングを行い、ＰＣＢ欠陥レベル特徴を抽出するステップＳ３と、
ＰＣＢ生産ラインを通じて、２次元標準ＰＣＢ画像及び２次元検出対象ＰＣＢ画像を含む、２次元ＰＣＢ画像を抽出するステップＳ４と、
フィルタリングノイズ除去モジュールを介して、前記２次元ＰＣＢ画像に対してノイズ除去処理を実行するステップＳ５と、
画像マッチングモジュールを介して前記２次元検出対象ＰＣＢ画像と前記２次元標準ＰＣＢ画像に画像マッチングを行うステップＳ６と、
画像グレー値比較モジュールを介して、前記２次元標準ＰＣＢ画像と前記２次元検出対象ＰＣＢ画像のグレー値を比較および分析して、２次元ＰＣＢ残差画像を取得するステップＳ７と、
画像セグメンテーション位置決めモジュールを介して、前記２次元標準ＰＣＢ画像、前記２次元検出対象ＰＣＢ画像及び前記２次元ＰＣＢ残差画像をセグメント化して位置決めして、複数の画像の画像パッチ及び対応する座標を取得するステップＳ８と、
残差フィルタリングモジュールを介して、前記２次元ＰＣＢ残差画像の画像パッチをフィルタリングし、画像マッチング及びその他の要因によって引き起こされる比較エラーを排除するステップＳ９と、
欠陥検索マッチングモジュールを介して、畳み込みニューラルネットワークによってトレーニングされたＰＣＢ欠陥特徴を介して、複数の画像パッチで欠陥パッチを検索し、欠陥パッチのマッチングを実行するステップＳ１０と、
ＣＮＮ欠陥識別モジュールを介して、畳み込みニューラルネットワークを使用して、前記２次元検出対象ＰＣＢ画像の欠陥を識別するステップＳ１１と、
ＰＣＢ欠陥分類モジュールを介して、畳み込みニューラルネットワークによってトレーニングされたＰＣＢ欠陥カテゴリ特徴ペアを使用して、前記２次元検出対象ＰＣＢ画像内のマークされた欠陥を分類し、カテゴリにない欠陥を判断し、それらが偽の欠陥であるか、新しいカテゴリの欠陥であるかを判断し、前記新しいカテゴリの欠陥を欠陥パッチ画像ライブラリに追加するステップＳ１２と、
ＰＣＢ欠陥疑似モジュールを介して、前記２次元検出対象ＰＣＢ画像内の各種類の欠陥を疑似欠陥としてマークするステップＳ１３と、
ＰＣＢ欠陥検証モジュールを介して、畳み込みニューラルネットワークによってトレーニングされたＰＣＢ欠陥レベル特徴と分類情報を通じて、疑似欠陥パッチの真偽性を判断し、欠陥が偽の欠陥である場合、対応する欠陥を削除して偽の欠陥の原因を分析し、欠陥が真の欠陥である場合、欠陥レコードにマークするステップＳ１４と、を含む深層学習に基づく２次元ＰＣＢ外観欠陥のリアルタイム自動検出方法を提供する。
【0006】
また、本発明の上記の実施例による深層学習に基づく２次元ＰＣＢ外観欠陥のリアルタイム自動検出方法はまた、以下の追加の技術的特徴を有することができる。
【0007】
さらに、本発明の１つの実施例において、前記２次元ＰＣＢ欠陥パッチ画像ライブラリは２種類に分類され、１つは２次元ＰＣＢ欠陥パッチ及び対応する非欠陥標準ＰＣＢパッチ画像で構成されるデータペア画像ライブラリで、もう１つは単一の２次元ＰＣＢ欠陥パッチのみを有するデータ画像ライブラリである。
【0008】
さらに、本発明の一つの実施例において、前記ステップＳ１は、
２次元ＰＣＢ欠陥パッチ画像ライブラリを構築することをさらに含む。２種類の２次元ＰＣＢ欠陥パッチ画像ライブラリには、マーク、分類、および等級付けされたさまざまなＰＣＢ欠陥パッチ画像が含まれ、前記ＰＣＢ欠陥パッチ画像にはマルチスケール画像が含まれる。
２次元ＰＣＢ欠陥パッチ画像ライブラリを構築することをさらに含む。２種類の２次元ＰＣＢ欠陥パッチ画像ライブラリには、マーク、分類、および等級付けされたさまざまなＰＣＢ欠陥パッチ画像が含まれ、前記ＰＣＢ欠陥パッチ画像にはマルチスケール画像が含まれる。
【0009】
さらに、本発明の一つの実施例において、前記ステップＳ２及びステップＳ３は、
前記２次元ＰＣＢ欠陥パッチ画像ライブラリ内の各種類のＰＣＢ欠陥に対して、畳み込みニューラルネットワークを使用してトレーニングを行い、ＰＣＢ欠陥カテゴリ特徴を抽出することと、
前記２次元ＰＣＢ欠陥パッチ画像ライブラリ内の各種類のＰＣＢ欠陥のレベルに対して、畳み込みニューラルネットワークを使用してトレーニングを行い、ＰＣＢ欠陥レベル特徴を抽出することと、をさらに含む。
前記２次元ＰＣＢ欠陥パッチ画像ライブラリ内の各種類のＰＣＢ欠陥に対して、畳み込みニューラルネットワークを使用してトレーニングを行い、ＰＣＢ欠陥カテゴリ特徴を抽出することと、
前記２次元ＰＣＢ欠陥パッチ画像ライブラリ内の各種類のＰＣＢ欠陥のレベルに対して、畳み込みニューラルネットワークを使用してトレーニングを行い、ＰＣＢ欠陥レベル特徴を抽出することと、をさらに含む。
【0010】
さらに、本発明の一つの実施例において、Ｓ４において、ＰＣＢ画像抽出モジュールを介して抽出された２次元ＰＣＢ画像には、２種類があり、１つは、２次元標準ＰＣＢ画像と２次元検出対象ＰＣＢ画像を抽出する方法で、もう１つは、２次元検出対象ＰＣＢ画像のみを抽出する方法である。
【0011】
さらに、本発明の一つの実施例において、前記Ｓ４は、
標準ＰＣＢの検出方法とＰＣＢハイブリッド検出方法との比較では、２次元検出対象ＰＣＢ画像及び対応する２次元標準ＰＣＢ画像を抽出することと、
標準ボード比較なしＰＣＢ検出方法では、２次元検出対象ＰＣＢ画像のみを抽出することと、をさらに含む。
標準ＰＣＢの検出方法とＰＣＢハイブリッド検出方法との比較では、２次元検出対象ＰＣＢ画像及び対応する２次元標準ＰＣＢ画像を抽出することと、
標準ボード比較なしＰＣＢ検出方法では、２次元検出対象ＰＣＢ画像のみを抽出することと、をさらに含む。
【0012】
さらに、本発明の一つの実施例において、フィルタリングノイズ除去モジュールは、前記２次元ＰＣＢ画像に対してノイズ除去処理を行う前記Ｓ５において、
アルゴリズムを使用して、前記２次元標準ＰＣＢ画像と前記２次元検出対象ＰＣＢ画像のノイズを除去し、標準ＰＣＢの検出方法とＰＣＢハイブリッド検出方法との比較では、前記２次元標準ＰＣＢ画像及び前記２次元検出対象ＰＣＢ画像に対してノイズ除去を実行し、画像のノイズを除去し、底板の色が画像に与える影響を修正し、標準ＰＣＢ画像、検出対象ＰＣＢ画像、および欠陥ライブラリの画像の底板の色を一致させることと、
標準ボード比較なしＰＣＢ検出方法では、前記２次元検出対象ＰＣＢ画像のみに対してノイズを除去し、画像のノイズを除去し、底板の色が画像に与える影響を修正し、検出対象ＰＣＢ画像、欠陥ライブラリの画像の底板の色を一致させることと、を含む。
アルゴリズムを使用して、前記２次元標準ＰＣＢ画像と前記２次元検出対象ＰＣＢ画像のノイズを除去し、標準ＰＣＢの検出方法とＰＣＢハイブリッド検出方法との比較では、前記２次元標準ＰＣＢ画像及び前記２次元検出対象ＰＣＢ画像に対してノイズ除去を実行し、画像のノイズを除去し、底板の色が画像に与える影響を修正し、標準ＰＣＢ画像、検出対象ＰＣＢ画像、および欠陥ライブラリの画像の底板の色を一致させることと、
標準ボード比較なしＰＣＢ検出方法では、前記２次元検出対象ＰＣＢ画像のみに対してノイズを除去し、画像のノイズを除去し、底板の色が画像に与える影響を修正し、検出対象ＰＣＢ画像、欠陥ライブラリの画像の底板の色を一致させることと、を含む。
【0013】
さらに、本発明の一つの実施例において、前記２次元標準ＰＣＢ画像と前記２次元検出対象ＰＣＢ画像に対して、画像マッチング、グレー値の比較、および画像セグメンテーションを実行することは、さらに
標準ＰＣＢの検出方法とＰＣＢハイブリッド検出方法との比較では、前記Ｓ６、Ｓ７及びＳ８は、
標準ＰＣＢの検出方法とＰＣＢハイブリッド検出方法との比較では、前記２次元標準ＰＣＢ画像と前記２次元検出対象ＰＣＢ画像に対して画像マッチングを行い、ノイズ除去処理後の２次元標準ＰＣＢ画像に従って前記２次元検出対象ＰＣＢ画像を修正し、前記２次元標準ＰＣＢ画像と前記２次元検出対象ＰＣＢ画像のグレー値を比較し、画像残差を計算して２次元ＰＣＢ残差画像を取得することと、前記２次元標準ＰＣＢ画像、前記２次元検出対象ＰＣＢ画像、および前記２次元ＰＣＢ残差画像をセグメント化して、複数の画像パッチ及び対応する座標を取得することと、
前記２次元標準ＰＣＢ画像に対して画像マッチングを行い、前記２次元標準ＰＣＢ画像に回転、変形、不均一な光、および光の反射があるか否かを検出し、ある場合、アルゴリズムを使用して修正することと、
前記２次元検出対象ＰＣＢ画像を処理済みの２次元標準ＰＣＢ画像と比較し、位置、光、色が一致しているか否かを判断し、一致していない場合は、アルゴリズムを使用して、前記２次元検出対象ＰＣＢ画像を修正することと、を含む。
標準ＰＣＢの検出方法とＰＣＢハイブリッド検出方法との比較では、前記Ｓ６、Ｓ７及びＳ８は、
標準ＰＣＢの検出方法とＰＣＢハイブリッド検出方法との比較では、前記２次元標準ＰＣＢ画像と前記２次元検出対象ＰＣＢ画像に対して画像マッチングを行い、ノイズ除去処理後の２次元標準ＰＣＢ画像に従って前記２次元検出対象ＰＣＢ画像を修正し、前記２次元標準ＰＣＢ画像と前記２次元検出対象ＰＣＢ画像のグレー値を比較し、画像残差を計算して２次元ＰＣＢ残差画像を取得することと、前記２次元標準ＰＣＢ画像、前記２次元検出対象ＰＣＢ画像、および前記２次元ＰＣＢ残差画像をセグメント化して、複数の画像パッチ及び対応する座標を取得することと、
前記２次元標準ＰＣＢ画像に対して画像マッチングを行い、前記２次元標準ＰＣＢ画像に回転、変形、不均一な光、および光の反射があるか否かを検出し、ある場合、アルゴリズムを使用して修正することと、
前記２次元検出対象ＰＣＢ画像を処理済みの２次元標準ＰＣＢ画像と比較し、位置、光、色が一致しているか否かを判断し、一致していない場合は、アルゴリズムを使用して、前記２次元検出対象ＰＣＢ画像を修正することと、を含む。
【0014】
さらに、本発明の一つの実施例において、非比較参照検出方法では、Ｓ８は、前記２次元検出対象ＰＣＢ画像をセグメント化して、複数の画像パッチ及び対応する座標を取得することをさらに含む。
【0015】
さらに、本発明の一つの実施例において、前記Ｓ９において、前記２次元ＰＣＢ残差画像の画像パッチをフィルタリングし、画像マッチング及びその他の要因による比較エラーを排除し、前記２次元ＰＣＢ残差画像に残差のない画像パッチを削除し、
前記Ｓ１０及びＳ１２は、
標準ボード比較なしＰＣＢ検出方法では、前記２次元ＰＣＢ欠陥単一データ画像ライブラリを採用することと、
標準ボード比較なしＰＣＢ検出方法とＰＣＢハイブリッド検出方法では、前記２次元ＰＣＢ欠陥パッチ画像ライブラリと前記２次元ＰＣＢ欠陥パッチ画像ライブラリの各種類のＰＣＢ欠陥に対して、畳み込みニューラルネットワークでトレーニングし、ＰＣＢ欠陥特徴とＰＣＢ欠陥カテゴリ特徴を抽出することと、
ステップＳ１０は、畳み込みニューラルネットワークによってトレーニングされたＰＣＢ欠陥特徴を介して、前記ステップＳ８は、複数の画像パッチでＰＣＢ欠陥の検索および識別を実行し、単一の２次元ＰＣＢ欠陥画像ライブラリ畳み込みニューラルネットワークを使用して、ＰＣＢ欠陥カテゴリ特徴をトレーニングし、ステップＳ１２は、前記２次元検出対象ＰＣＢ画像にマークされた欠陥を分類し、カテゴリにない欠陥を判断し、それらが偽の欠陥であるか、新しいカテゴリの欠陥であるかを判断し、前記新しいカテゴリの欠陥を欠陥画像ライブラリに追加することと、をさらに含む。
前記Ｓ１０及びＳ１２は、
標準ボード比較なしＰＣＢ検出方法では、前記２次元ＰＣＢ欠陥単一データ画像ライブラリを採用することと、
標準ボード比較なしＰＣＢ検出方法とＰＣＢハイブリッド検出方法では、前記２次元ＰＣＢ欠陥パッチ画像ライブラリと前記２次元ＰＣＢ欠陥パッチ画像ライブラリの各種類のＰＣＢ欠陥に対して、畳み込みニューラルネットワークでトレーニングし、ＰＣＢ欠陥特徴とＰＣＢ欠陥カテゴリ特徴を抽出することと、
ステップＳ１０は、畳み込みニューラルネットワークによってトレーニングされたＰＣＢ欠陥特徴を介して、前記ステップＳ８は、複数の画像パッチでＰＣＢ欠陥の検索および識別を実行し、単一の２次元ＰＣＢ欠陥画像ライブラリ畳み込みニューラルネットワークを使用して、ＰＣＢ欠陥カテゴリ特徴をトレーニングし、ステップＳ１２は、前記２次元検出対象ＰＣＢ画像にマークされた欠陥を分類し、カテゴリにない欠陥を判断し、それらが偽の欠陥であるか、新しいカテゴリの欠陥であるかを判断し、前記新しいカテゴリの欠陥を欠陥画像ライブラリに追加することと、をさらに含む。
【0016】
さらに、本発明の一つの実施例において、標準ＰＣＢの検出方法とＰＣＢハイブリッド検出方法との比較では、それぞれ前記２次元ＰＣＢ欠陥パッチ画像ライブラリ及び前記２次元ＰＣＢ欠陥パッチ画像ライブラリの各種類のＰＣＢ欠陥に対して、畳み込みニューラルネットワークを使用してトレーニングして、ＰＣＢ欠陥特徴及びＰＣＢ欠陥カテゴリ特徴を抽出する。
ステップＳ１１及びステップＳ１２は、
２次元ＰＣＢ欠陥パッチ及び対応する非欠陥標準ＰＣＢパッチ画像で構成される２次元ＰＣＢ欠陥データペア画像ライブラリを採用し、ステップＳ１１は、畳み込みニューラルネットワークによってトレーニングされたＰＣＢ欠陥特徴ペア、ステップＳ９は、残差画像に対して欠陥識別を実行し、２次元ＰＣＢ欠陥画像ライブラリ畳み込みニューラルネットワークを使用して、ＰＣＢ欠陥カテゴリ特徴ペアをトレーニングし、ステップＳ１２は、前記２次元検出対象ＰＣＢ画像にマークされた欠陥を分類し、カテゴリにない欠陥を判断し、それらが偽の欠陥であるか、新しいカテゴリの欠陥であるかを判断し、前記新しいカテゴリの欠陥を欠陥画像ライブラリに追加することをさらに含む。
ステップＳ１１及びステップＳ１２は、
２次元ＰＣＢ欠陥パッチ及び対応する非欠陥標準ＰＣＢパッチ画像で構成される２次元ＰＣＢ欠陥データペア画像ライブラリを採用し、ステップＳ１１は、畳み込みニューラルネットワークによってトレーニングされたＰＣＢ欠陥特徴ペア、ステップＳ９は、残差画像に対して欠陥識別を実行し、２次元ＰＣＢ欠陥画像ライブラリ畳み込みニューラルネットワークを使用して、ＰＣＢ欠陥カテゴリ特徴ペアをトレーニングし、ステップＳ１２は、前記２次元検出対象ＰＣＢ画像にマークされた欠陥を分類し、カテゴリにない欠陥を判断し、それらが偽の欠陥であるか、新しいカテゴリの欠陥であるかを判断し、前記新しいカテゴリの欠陥を欠陥画像ライブラリに追加することをさらに含む。
【0017】
さらに、本発明の一つの実施例において、ＰＣＢハイブリッド検出方法では、ステップＳ１２の後には、
畳み込みニューラルネットワークによってトレーニングされた前記２次元ＰＣＢ欠陥画像ライブラリのＰＣＢ欠陥特徴を使用して、マークされた疑似欠陥パッチを検索してマッチングさせ、そのうちの偽の欠陥を削除し、識別精度を向上させることと、
ステップＳ１３の後、畳み込みニューラルネットワークによってトレーニングされたＰＣＢ欠陥特徴を介して、前記欠陥画像で疑似欠陥を検索してマッチングさせることと、をさらに含む。
畳み込みニューラルネットワークによってトレーニングされた前記２次元ＰＣＢ欠陥画像ライブラリのＰＣＢ欠陥特徴を使用して、マークされた疑似欠陥パッチを検索してマッチングさせ、そのうちの偽の欠陥を削除し、識別精度を向上させることと、
ステップＳ１３の後、畳み込みニューラルネットワークによってトレーニングされたＰＣＢ欠陥特徴を介して、前記欠陥画像で疑似欠陥を検索してマッチングさせることと、をさらに含む。
【0018】
さらに、本発明の一つの実施例において、ＰＣＢ欠陥検証では、ステップＳ３で畳み込みニューラルネットワークによってトレーニングされたＰＣＢ欠陥レベル特徴情報を通じてＰＣＢ欠陥の真偽性を判断し、欠陥が偽の欠陥である場合、該偽の欠陥を削除して偽の欠陥の原因を分析し、欠陥が真の欠陥である場合、欠陥レコードにマークする。
【0019】
さらに、本発明の一つの実施例において、欠陥の検索と判断の過程で、欠陥を複数の識別の反復によって連続的に排除する。
【0020】
本発明の追加の態様および利点は、以下の説明で部分的に与えられ、いくつかは、以下の説明から明らかになるか、または本発明の実施を通じて理解される。
【発明の効果】
【0021】
本発明の実施例における深層学習に基づく２次元ＰＣＢ外観欠陥のリアルタイム自動検出方法は、ＰＣＢ画像、標準ＰＣＢ画像、および畳み込みニューラルネットワークを使用してＰＣＢ欠陥を検出し、ＰＣＢ欠陥検出のツールを使用すると、組み立てプロセスの初期段階でエラーを見つけて排除でき、欠陥のあるＰＣＢボードを次の組み立て段階に送ることを回避でき、同時に、修理コストを削減し、修理不可能な回路基板の廃棄を回避する。畳み込みニューラルネットワークの使用には、高速、高精度、強力な一般化能力、および明確な構造という利点がある。
【図面の簡単な説明】
【0022】
【図1】本発明の一つの実施例による、深層学習に基づく２次元ＰＣＢ外観欠陥のリアルタイム自動検出方法のフローチャート
【図2】本発明の一つの具体的な実施例による、深層学習に基づく２次元ＰＣＢ外観欠陥のリアルタイム自動検出方法のフローチャート
【図3】本発明のもう一つの具体的な実施例による、深層学習に基づく２次元ＰＣＢ外観欠陥のリアルタイム自動検出方法のフローチャート
【図4】本発明のさらに一つの具体的な実施例による、深層学習に基づく２次元ＰＣＢ外観欠陥のリアルタイム自動検出方法のフローチャート
【発明を実施するための形態】
【0023】
本発明の上記及び／又は追加の態様および利点は、添付の図面を参照しながら実施例の以下の説明から明らかになり、理解しやすくなる。
以下は、本発明の実施例を詳細に説明する。前記実施例の例は、添付の図面に示され、同じまたは類似の参照番号は、同じまたは類似の要素または同じまたは類似の機能を有する要素を示す。添付の図面を参照して以下に説明する実施例は例示的なものであり、本発明を説明することを意図しているが、本発明を限定するものではない。
以下は、本発明の実施例を詳細に説明する。前記実施例の例は、添付の図面に示され、同じまたは類似の参照番号は、同じまたは類似の要素または同じまたは類似の機能を有する要素を示す。添付の図面を参照して以下に説明する実施例は例示的なものであり、本発明を説明することを意図しているが、本発明を限定するものではない。
【0024】
以下は、添付の図面を参照して、本発明の実施例によって提供された深層学習に基づく２次元ＰＣＢ外観欠陥のリアルタイム自動検出方法を説明する。
【0025】
技術の進歩に伴い、ＰＣＢの製造はますます複雑で精密になっている。既存の欠陥検出方法は効率的ではなく、精度は非常に低くなっている。本発明の実施例は、比較のために標準ＰＣＢボードに依存するＣＮＮ検出方法（方法１）、標準ＰＣＢボード比較なしのＣＮＮ検出方法（方法２）、前の２つの方法ハイブリッドＣＮＮ検出方法（方法３）が含まれるＰＣＢ実施例でＰＣＢ欠陥検出を行う、深層学習に基づく２次元ＰＣＢ外観欠陥のリアルタイム自動検出方法を提供する。
【0026】
図１に示すように、本発明の実施例による深層学習に基づく２次元ＰＣＢ外観欠陥のリアルタイム自動検出方法は、
ＰＣＢ欠陥パッチ画像ライブラリを介して、２次元ＰＣＢ欠陥データペア画像ライブラリと２次元ＰＣＢ欠陥単一データ画像ライブラリがそれぞれある、２次元ＰＣＢ欠陥パッチ（ｐａｔｃｈ）画像ライブラリを構築するＳ１と、
ＣＮＮ欠陥特徴トレーニングモジュールを介して、２次元ＰＣＢ欠陥パッチ画像ライブラリ内の各種類のＰＣＢ欠陥に対して、畳み込みニューラルネットワーク（ＣＮＮ）を使用してトレーニングして、ＰＣＢ欠陥特徴及びＰＣＢ欠陥カテゴリ特徴を抽出するＳ２と、
ＣＮＮ欠陥レベル特徴トレーニングモジュールを介して、２次元ＰＣＢ欠陥パッチ画像ライブラリ内の各種類のＰＣＢ欠陥レベルに対して、畳み込みニューラルネットワークを使用してトレーニングして、ＰＣＢ欠陥カテゴリ特徴を抽出するＳ３と、
ＰＣＢ画像抽出モジュールを介して、それぞれ２次元標準ＰＣＢ画像と２次元検出対象ＰＣＢ画像がある、２次元ＰＣＢ画像を抽出するＳ４と、
フィルタリングノイズ除去モジュールを介して、２次元ＰＣＢ画像のノイズ除去処理を実行するＳ５と、
画像マッチングモジュールを介して、２次元標準ＰＣＢ画像を２次元検出対象ＰＣＢ画像に画像マッチングを行うＳ６と、
画像グレー値比較モジュールを介して、２次元標準ＰＣＢ画像と２次元検出対象ＰＣＢ画像のグレー値を比較および分析して、２次元ＰＣＢ残差画像を取得するＳ７と、
画像セグメンテーション位置決めモジュールを介して２次元標準ＰＣＢ画像、２次元検出対象ＰＣＢ画像及び２次元ＰＣＢ残差画像をセグメント化して位置決めして、複数の画像のパッチ（ｐａｔｃｈ）及び対応する座標を取得するＳ８と、
残差フィルタリングモジュールを介して、２次元ＰＣＢ残差画像のｐａｔｃｈをフィルタリングし、画像マッチング及びその他の要因によって引き起こされる比較エラーを排除するＳ９と、
欠陥検索マッチングモジュールを介して、畳み込みニューラルネットワークによってトレーニングされたＰＣＢ欠陥特徴を介して、複数の画像パッチで欠陥パッチを検索し、欠陥パッチのマッチングを実行するＳ１０と、
ＣＮＮ欠陥識別モジュールを介して、畳み込みニューラルネットワークを使用して、検出対象ＰＣＢ画像欠陥を識別するＳ１１と、
ＰＣＢ欠陥分類モジュールを介して、畳み込みニューラルネットワークによってトレーニングＰＣＢ欠陥カテゴリ特徴ペアを使用して、検出対象ＰＣＢ画像内のマークされた欠陥を分類し、カテゴリにない欠陥を判断し、それらが偽の欠陥であるか、新しいカテゴリの欠陥であるかを判断し、新しいカテゴリの欠陥を欠陥画像ライブラリに追加するＳ１２と、
ＰＣＢ欠陥疑似モジュールを介して、２次元検出対象ＰＣＢ画像内の各種類の欠陥を疑似欠陥としてマークするＳ１３と、
ＰＣＢ欠陥検証モジュールを介して、畳み込みニューラルネットワークによってトレーニングされたＰＣＢ欠陥レベル特徴と分類情報を通じて、疑似欠陥パッチの真偽性を判断し、判断疑似缺陷塊的真假性，欠陥が偽の欠陥である場合、対応する欠陥を削除して偽の欠陥の原因を分析し、欠陥が真の欠陥である場合、欠陥レコードにマークするＳ１４と、を含む。
ＰＣＢ欠陥パッチ画像ライブラリを介して、２次元ＰＣＢ欠陥データペア画像ライブラリと２次元ＰＣＢ欠陥単一データ画像ライブラリがそれぞれある、２次元ＰＣＢ欠陥パッチ（ｐａｔｃｈ）画像ライブラリを構築するＳ１と、
ＣＮＮ欠陥特徴トレーニングモジュールを介して、２次元ＰＣＢ欠陥パッチ画像ライブラリ内の各種類のＰＣＢ欠陥に対して、畳み込みニューラルネットワーク（ＣＮＮ）を使用してトレーニングして、ＰＣＢ欠陥特徴及びＰＣＢ欠陥カテゴリ特徴を抽出するＳ２と、
ＣＮＮ欠陥レベル特徴トレーニングモジュールを介して、２次元ＰＣＢ欠陥パッチ画像ライブラリ内の各種類のＰＣＢ欠陥レベルに対して、畳み込みニューラルネットワークを使用してトレーニングして、ＰＣＢ欠陥カテゴリ特徴を抽出するＳ３と、
ＰＣＢ画像抽出モジュールを介して、それぞれ２次元標準ＰＣＢ画像と２次元検出対象ＰＣＢ画像がある、２次元ＰＣＢ画像を抽出するＳ４と、
フィルタリングノイズ除去モジュールを介して、２次元ＰＣＢ画像のノイズ除去処理を実行するＳ５と、
画像マッチングモジュールを介して、２次元標準ＰＣＢ画像を２次元検出対象ＰＣＢ画像に画像マッチングを行うＳ６と、
画像グレー値比較モジュールを介して、２次元標準ＰＣＢ画像と２次元検出対象ＰＣＢ画像のグレー値を比較および分析して、２次元ＰＣＢ残差画像を取得するＳ７と、
画像セグメンテーション位置決めモジュールを介して２次元標準ＰＣＢ画像、２次元検出対象ＰＣＢ画像及び２次元ＰＣＢ残差画像をセグメント化して位置決めして、複数の画像のパッチ（ｐａｔｃｈ）及び対応する座標を取得するＳ８と、
残差フィルタリングモジュールを介して、２次元ＰＣＢ残差画像のｐａｔｃｈをフィルタリングし、画像マッチング及びその他の要因によって引き起こされる比較エラーを排除するＳ９と、
欠陥検索マッチングモジュールを介して、畳み込みニューラルネットワークによってトレーニングされたＰＣＢ欠陥特徴を介して、複数の画像パッチで欠陥パッチを検索し、欠陥パッチのマッチングを実行するＳ１０と、
ＣＮＮ欠陥識別モジュールを介して、畳み込みニューラルネットワークを使用して、検出対象ＰＣＢ画像欠陥を識別するＳ１１と、
ＰＣＢ欠陥分類モジュールを介して、畳み込みニューラルネットワークによってトレーニングＰＣＢ欠陥カテゴリ特徴ペアを使用して、検出対象ＰＣＢ画像内のマークされた欠陥を分類し、カテゴリにない欠陥を判断し、それらが偽の欠陥であるか、新しいカテゴリの欠陥であるかを判断し、新しいカテゴリの欠陥を欠陥画像ライブラリに追加するＳ１２と、
ＰＣＢ欠陥疑似モジュールを介して、２次元検出対象ＰＣＢ画像内の各種類の欠陥を疑似欠陥としてマークするＳ１３と、
ＰＣＢ欠陥検証モジュールを介して、畳み込みニューラルネットワークによってトレーニングされたＰＣＢ欠陥レベル特徴と分類情報を通じて、疑似欠陥パッチの真偽性を判断し、判断疑似缺陷塊的真假性，欠陥が偽の欠陥である場合、対応する欠陥を削除して偽の欠陥の原因を分析し、欠陥が真の欠陥である場合、欠陥レコードにマークするＳ１４と、を含む。
【0027】
本発明の実施例において、２次元ＰＣＢ欠陥パッチ画像ライブラリは２種類に分類され、１つは２次元ＰＣＢ欠陥パッチ及び対応する非欠陥標準ＰＣＢパッチ画像で構成されるデータペア画像ライブラリで、もう１つは単一の２次元ＰＣＢ欠陥パッチのみを有するデータ画像ライブラリである。
【0028】
本発明の実施例において、上記実施例に基づき、Ｓ１は、
２種類の２次元ＰＣＢ欠陥パッチ画像ライブラリには、マーク、分類、および等級付けされたさまざまなＰＣＢ欠陥パッチ画像が含まれ、ＰＣＢ欠陥パッチ画像にはマルチスケール画像が含まれることをさらに含む。
２種類の２次元ＰＣＢ欠陥パッチ画像ライブラリには、マーク、分類、および等級付けされたさまざまなＰＣＢ欠陥パッチ画像が含まれ、ＰＣＢ欠陥パッチ画像にはマルチスケール画像が含まれることをさらに含む。
【0029】
本発明の実施例において、Ｓ２及びＳ３は、
２次元ＰＣＢ欠陥パッチ画像ライブラリ内の各種類のＰＣＢ欠陥に対して、畳み込みニューラルネットワーク（ＣＮＮ）を使用してトレーニングを行い、ＰＣＢ欠陥カテゴリ特徴を抽出することと、
２次元ＰＣＢ欠陥パッチ画像ライブラリ内の各種類のＰＣＢ欠陥のレベルに対して、畳み込みニューラルネットワークを使用してトレーニングを行い、ＰＣＢ欠陥レベル特徴を抽出することと、をさらに含む。
２次元ＰＣＢ欠陥パッチ画像ライブラリ内の各種類のＰＣＢ欠陥に対して、畳み込みニューラルネットワーク（ＣＮＮ）を使用してトレーニングを行い、ＰＣＢ欠陥カテゴリ特徴を抽出することと、
２次元ＰＣＢ欠陥パッチ画像ライブラリ内の各種類のＰＣＢ欠陥のレベルに対して、畳み込みニューラルネットワークを使用してトレーニングを行い、ＰＣＢ欠陥レベル特徴を抽出することと、をさらに含む。
【0030】
本発明の実施例において、Ｓ４は、２次元標準ＰＣＢ画像及び２次元検出対象ＰＣＢ画像を抽出する、検出対象ＰＣＢ画像のみを抽出する２つの状況を含む、２次元ＰＣＢ画像を抽出することを含むことを特徴とする。
【0031】
ステップＳ４は、
比較技術が必要な検出方法１と方法３の場合、２次元検出対象ＰＣＢ画像及び対応する標準ＰＣＢ画像を抽出する必要があり、教師なし学習検出（つまり、非比較参照学習検出方法）方法２の場合、２次元検出対象ＰＣＢ画像のみを抽出する必要があることをさらに含む。
比較技術が必要な検出方法１と方法３の場合、２次元検出対象ＰＣＢ画像及び対応する標準ＰＣＢ画像を抽出する必要があり、教師なし学習検出（つまり、非比較参照学習検出方法）方法２の場合、２次元検出対象ＰＣＢ画像のみを抽出する必要があることをさらに含む。
【0032】
本発明の実施例において、Ｓ５フィルタリングノイズ除去モジュールは、２次元ＰＣＢ画像に対してノイズ除去処理を行う。
【0033】
アルゴリズムを使用して標準ＰＣＢ画像及び検出対象ＰＣＢ画像のノイズを除去する。方法１と方法３では、２次元標準ＰＣＢ画像と検出対象ＰＣＢ画像のノイズを除去する必要があり、画像のノイズを除去し、ボードの色が画像に与える影響を修正し、標準ＰＣＢ画像、検出対象ＰＣＢ画像、および欠陥ライブラリの画像の底板の色を一致させ、方法２では、検出対象ＰＣＢ画像のみに対してノイズを除去する必要があり、画像のノイズを除去し、底板の色が画像に与える影響を修正し、検出対象ＰＣＢ画像、欠陥ライブラリの画像の底板の色を一致させる。
【0034】
標準ＰＣＢ画像と検出対象ＰＣＢ画像に対して画像マッチング、グレー値の比較、画像セグメンテーションを行う。
【0035】
Ｓ６、Ｓ７、およびＳ８については、方法１および方法３に使用される。標準ＰＣＢ画像と検出対象ＰＣＢ画像に対して画像マッチングを行い、処理された標準ＰＣＢ画像に従って検出対象ＰＣＢ画像を修正する。標準ＰＣＢ画像と検出対象ＰＣＢ画像に対してグレー値を比較し、画像の残差を計算して残差画像を取得し、次に、標準ＰＣＢ画像、検出対象ＰＣＢ画像、および残差画像をセグメント化して、複数の画像パッチと座標を取得する。
【0036】
標準ＰＣＢ画像に対して画像マッチングを行い、標準ＰＣＢ画像に回転、変形、不均一な光、および光の反射があるか否かを検出し、ある場合、アルゴリズムを使用して修正する。
【0037】
検出対象ＰＣＢ画像を処理済みの標準ＰＣＢ画像と比較し、位置、光、色が一致しているか否かを判断し、一致していない場合は、アルゴリズムを使用して、検出対象ＰＣＢ画像を修正する。
【0038】
画像のセグメント化と位置決めＳ８は、方法２で使用され、検出対象ＰＣＢ画像をセグメント化して、複数の画像パッチと座標を取得する。
【0039】
本発明の実施例において、Ｓ９では、２次元ＰＣＢ残差画像のｐａｔｃｈをフィルタリングし、画像マッチング及びその他の要因による比較エラーを排除し、残差画像に残差のない画像パッチを削除し、
２次元ＰＣＢ欠陥画像ライブラリ及び２次元ＰＣＢ欠陥画像ライブラリの各種類のＰＣＢ欠陥に対して、畳み込みニューラルネットワークを使用してトレーニングして、ＰＣＢ欠陥特徴及びＰＣＢ欠陥カテゴリ特徴を抽出する。Ｓ１０及びＳ１２では、
方法２は、単一の２次元ＰＣＢ欠陥パッチのみを有するデータ画像ライブラリを使用することをさらに含む。Ｓ１０は、ＣＮＮによってトレーニングされたＰＣＢ欠陥特徴を介して、Ｓ８は、ＰＣＢ欠陥の検索識別を行う。次に、単一の２次元ＰＣＢ欠陥画像ライブラリＣＮＮを使用して、ＰＣＢ欠陥カテゴリ特徴をトレーニングし、Ｓ１２は、検出対象ＰＣＢ画像にマークされている欠陥を分類し、そのカテゴリにない欠陥を判断し、偽の欠陥か新しいカテゴリの欠陥かを判断し、新しいカテゴリの欠陥を欠陥画像ライブラリに追加する。
２次元ＰＣＢ欠陥画像ライブラリ及び２次元ＰＣＢ欠陥画像ライブラリの各種類のＰＣＢ欠陥に対して、畳み込みニューラルネットワークを使用してトレーニングして、ＰＣＢ欠陥特徴及びＰＣＢ欠陥カテゴリ特徴を抽出する。Ｓ１０及びＳ１２では、
方法２は、単一の２次元ＰＣＢ欠陥パッチのみを有するデータ画像ライブラリを使用することをさらに含む。Ｓ１０は、ＣＮＮによってトレーニングされたＰＣＢ欠陥特徴を介して、Ｓ８は、ＰＣＢ欠陥の検索識別を行う。次に、単一の２次元ＰＣＢ欠陥画像ライブラリＣＮＮを使用して、ＰＣＢ欠陥カテゴリ特徴をトレーニングし、Ｓ１２は、検出対象ＰＣＢ画像にマークされている欠陥を分類し、そのカテゴリにない欠陥を判断し、偽の欠陥か新しいカテゴリの欠陥かを判断し、新しいカテゴリの欠陥を欠陥画像ライブラリに追加する。
【0040】
本発明の実施例において、それぞれ２次元ＰＣＢ欠陥画像ライブラリ及び２次元ＰＣＢ欠陥画像ライブラリの各種類のＰＣＢ欠陥に対して、畳み込みニューラルネットワークを使用してトレーニングして、ＰＣＢ欠陥特徴及びＰＣＢ欠陥カテゴリ特徴を抽出することを特徴とする。Ｓ１１及びＳ１２では、
方法１及び方法３では、２次元ＰＣＢ欠陥パッチ及び対応する非欠陥標準ＰＣＢパッチ画像で構成されるデータペア画像ライブラリを採用し、Ｓ１１は、ＣＮＮによってトレーニングされたＰＣＢ欠陥特徴を介して、Ｓ９は、残差画像に対して欠陥識別を実行する。次に、２次元ＰＣＢ欠陥画像ライブラリＣＮＮを使用して、ＰＣＢ欠陥カテゴリ特徴ペアをトレーニングし、Ｓ１２は、検出対象ＰＣＢ画像にマークされている欠陥を分類し、そのカテゴリにない欠陥を判断し、偽の欠陥か新しいカテゴリの欠陥かを判断し、新しいカテゴリの欠陥を欠陥画像ライブラリに追加することを含む。
方法１及び方法３では、２次元ＰＣＢ欠陥パッチ及び対応する非欠陥標準ＰＣＢパッチ画像で構成されるデータペア画像ライブラリを採用し、Ｓ１１は、ＣＮＮによってトレーニングされたＰＣＢ欠陥特徴を介して、Ｓ９は、残差画像に対して欠陥識別を実行する。次に、２次元ＰＣＢ欠陥画像ライブラリＣＮＮを使用して、ＰＣＢ欠陥カテゴリ特徴ペアをトレーニングし、Ｓ１２は、検出対象ＰＣＢ画像にマークされている欠陥を分類し、そのカテゴリにない欠陥を判断し、偽の欠陥か新しいカテゴリの欠陥かを判断し、新しいカテゴリの欠陥を欠陥画像ライブラリに追加することを含む。
【0041】
Ｓ１２の後に方法３は、
畳み込みニューラルネットワークによってトレーニングされた２次元ＰＣＢ欠陥画像ライブラリのＰＣＢ欠陥特徴を使用して、マークされた疑似欠陥パッチを検索してマッチングさせ、そのうちの偽の欠陥を削除し、識別精度を向上させることをさらに含む。
畳み込みニューラルネットワークによってトレーニングされた２次元ＰＣＢ欠陥画像ライブラリのＰＣＢ欠陥特徴を使用して、マークされた疑似欠陥パッチを検索してマッチングさせ、そのうちの偽の欠陥を削除し、識別精度を向上させることをさらに含む。
【0042】
Ｓ１３の後、畳み込みニューラルネットワークによってトレーニングされたＰＣＢ欠陥特徴を介して、欠陥画像で疑似欠陥を検索してマッチングさせる。
【0043】
本発明の実施例において、ＰＣＢ欠陥検証では、Ｓ３で畳み込みニューラルネットワークによってトレーニングされたＰＣＢ欠陥レベル特徴情報を通じてＰＣＢ欠陥の真偽性を判断し、欠陥が偽の欠陥である場合、この欠陥を削除して偽の欠陥の原因を分析し、欠陥が真の欠陥である場合、欠陥レコードにマークする。
【0044】
本発明の実施例において、欠陥の検索と判断の過程で、欠陥を複数の識別の反復によって連続的に排除することを特徴とする。
【0045】
要約すると、本発明の実施例は、３つの欠陥検出方法を提供する。３つの検出方法を、添付の図面とともに以下に詳細に説明する。
【0046】
方法１：
図２に示すように、深層学習に基づく検出は、
欠陥ライブラリには、マーク、分類、および等級付けされたさまざまなＰＣＢ欠陥画像が含まれ、欠陥画像はマルチスケール画像であってもよい、２次元ＰＣＢ欠陥パッチ画像ライブラリの構築Ｓ１ステップ（１－１）と、
各種類のＰＣＢ欠陥データペアに対して、ＣＮＮを使用してトレーニングし、ＰＣＢ欠陥特徴と欠陥カテゴリ特徴を抽出する、ＣＮＮ欠陥トレーニングＳ２と欠陥ライブラリＳ１の接続ステップ（１－２）と、
各レベルのＰＣＢ欠陥データペアに対して、ＣＮＮを使用してトレーニングし、ＰＣＢ欠陥レベル特徴を抽出する、ＣＮＮ欠陥レベルトレーニングＳ３と欠陥ライブラリＳ１の接続ステップ（１－３）と、
それぞれ標準ＰＣＢ画像及び検出対象ＰＣＢ画像を読み取る、標準ＰＣＢ画像の読み取りＳ４ステップ（１－４）と、
画像には必然的にさまざまなノイズおよび底板の色があるため、欠陥識別に大きな影響を与える。ノイズをフィルタリングするには、複数のアルゴリズムと技術を使用する必要がある、それぞれ標準ＰＣＢ画像と検出対象ＰＣＢ画像をノイズ除去する画像ノイズ除去Ｓ５とＳ４の接続ステップ（１－５）と、
それぞれ標準ＰＣＢと検出対象ＰＣＢ画像に対して画像マッチングを行う、画像マッチングＳ６とＳ５の接続ステップ（１－６）と、
ＰＣＢ画像には、回転や変形などに変化があるかを検出し、変化した場合は、修正する必要があり、標準ＰＣＢ画像の光に異常がないか、不均一な光や反射などがないかを検出し、異常光がある場合は、アルゴリズムの修正が必要である標準ＰＣＢ画像の端正かの検出ステップ（１－６－１）と、
検出対象ＰＣＢ画像が端正であるか否か、標準ＰＣＢの位置と一致するか否かを検出し、標準ＰＣＢ画像の位置、光、色と一致するか否かを確認し、不一致である場合、アルゴリズムを使用して修正する画像ノイズ除去Ｓ５との接続に加えて、検出対象ＰＣＢ画像もレジストされた標準ＰＣＢ画像と接続する必要があるステップ（１－６－２）と、
検出対象ＰＣＢ画像と標準ＰＣＢ画像に対して画像グレー値を比較し、画像の残差を計算する画像グレー値の比較Ｓ７と画像マッチングＳ６の接続ステップ（１－７）と、
ＰＣＢ標準画像、検出対象画像、および残差画像に対して、同じパッチに適切にセグメント化し、欠陥パッチの位置決めとマーキングの準備をする画像セグメンテーションＳ８とＳ７の接続ステップ（１－８）と、
画像マッチングエラー及び干渉による比較残差をフィルタリングし、残差画像に残差のないｐａｔｃｈを削除し、残差のあるｐａｔｃｈを検出および分析する残差フィルタリングＳ９と画像セグメンテーションＳ８の接続ステップ（１－９）と、
Ｓ２でＣＮＮによってトレーニングされたＰＣＢ欠陥特徴を使用して、残差ｐａｔｃｈを識別し、検出対象ＰＣＢ欠陥であるｐａｔｃｈを識別し、疑似欠陥ｐａｔｃｈをマークする、複数回識別して反復し、疑似欠陥ｐａｔｃｈを徐々に排除できるＰＣＢ欠陥識別Ｓ１１と残差フィルタリングＳ９及びＰＣＢ欠陥特徴トレーニングＳ２の接続ステップ（１－１０）と、
Ｓ２でＣＮＮによってトレーニングされたＰＣＢ欠陥カテゴリ特徴を使用して、欠陥識別Ｓ１１でマークされた欠陥ｐａｔｃｈを分類し、マークされた欠陥が属する欠陥の種類を識別するＰＣＢ欠陥分類Ｓ１２と欠陥識別Ｓ１１および欠陥トレーニングＳ２の接続ステップ（１－１１）と、
Ｓ３でＣＮＮによってトレーニングされたＰＣＢ欠陥レベル特徴を使用して、Ｓ１２で得られた疑似ＰＣＢ欠陥が真の欠陥であるか否かを確認し、偽の欠陥を削除して、検出精度を向上させる。それが真の欠陥である場合は、それをマークする。同時に、カテゴリに含まれない欠陥をスクリーニングし、検出された真の欠陥が新しいタイプの欠陥である場合、この新しい欠陥をマークし、欠陥ライブラリに追加する。偽の欠陥である場合は、偽の欠陥の原因を分析し、その後の検出のための参照を提供するＰＣＢ欠陥検証Ｓ１４と欠陥分類Ｓ１２および欠陥レベル特徴Ｓ３の接続ステップ（１－１２）と、を含む。
図２に示すように、深層学習に基づく検出は、
欠陥ライブラリには、マーク、分類、および等級付けされたさまざまなＰＣＢ欠陥画像が含まれ、欠陥画像はマルチスケール画像であってもよい、２次元ＰＣＢ欠陥パッチ画像ライブラリの構築Ｓ１ステップ（１－１）と、
各種類のＰＣＢ欠陥データペアに対して、ＣＮＮを使用してトレーニングし、ＰＣＢ欠陥特徴と欠陥カテゴリ特徴を抽出する、ＣＮＮ欠陥トレーニングＳ２と欠陥ライブラリＳ１の接続ステップ（１－２）と、
各レベルのＰＣＢ欠陥データペアに対して、ＣＮＮを使用してトレーニングし、ＰＣＢ欠陥レベル特徴を抽出する、ＣＮＮ欠陥レベルトレーニングＳ３と欠陥ライブラリＳ１の接続ステップ（１－３）と、
それぞれ標準ＰＣＢ画像及び検出対象ＰＣＢ画像を読み取る、標準ＰＣＢ画像の読み取りＳ４ステップ（１－４）と、
画像には必然的にさまざまなノイズおよび底板の色があるため、欠陥識別に大きな影響を与える。ノイズをフィルタリングするには、複数のアルゴリズムと技術を使用する必要がある、それぞれ標準ＰＣＢ画像と検出対象ＰＣＢ画像をノイズ除去する画像ノイズ除去Ｓ５とＳ４の接続ステップ（１－５）と、
それぞれ標準ＰＣＢと検出対象ＰＣＢ画像に対して画像マッチングを行う、画像マッチングＳ６とＳ５の接続ステップ（１－６）と、
ＰＣＢ画像には、回転や変形などに変化があるかを検出し、変化した場合は、修正する必要があり、標準ＰＣＢ画像の光に異常がないか、不均一な光や反射などがないかを検出し、異常光がある場合は、アルゴリズムの修正が必要である標準ＰＣＢ画像の端正かの検出ステップ（１－６－１）と、
検出対象ＰＣＢ画像が端正であるか否か、標準ＰＣＢの位置と一致するか否かを検出し、標準ＰＣＢ画像の位置、光、色と一致するか否かを確認し、不一致である場合、アルゴリズムを使用して修正する画像ノイズ除去Ｓ５との接続に加えて、検出対象ＰＣＢ画像もレジストされた標準ＰＣＢ画像と接続する必要があるステップ（１－６－２）と、
検出対象ＰＣＢ画像と標準ＰＣＢ画像に対して画像グレー値を比較し、画像の残差を計算する画像グレー値の比較Ｓ７と画像マッチングＳ６の接続ステップ（１－７）と、
ＰＣＢ標準画像、検出対象画像、および残差画像に対して、同じパッチに適切にセグメント化し、欠陥パッチの位置決めとマーキングの準備をする画像セグメンテーションＳ８とＳ７の接続ステップ（１－８）と、
画像マッチングエラー及び干渉による比較残差をフィルタリングし、残差画像に残差のないｐａｔｃｈを削除し、残差のあるｐａｔｃｈを検出および分析する残差フィルタリングＳ９と画像セグメンテーションＳ８の接続ステップ（１－９）と、
Ｓ２でＣＮＮによってトレーニングされたＰＣＢ欠陥特徴を使用して、残差ｐａｔｃｈを識別し、検出対象ＰＣＢ欠陥であるｐａｔｃｈを識別し、疑似欠陥ｐａｔｃｈをマークする、複数回識別して反復し、疑似欠陥ｐａｔｃｈを徐々に排除できるＰＣＢ欠陥識別Ｓ１１と残差フィルタリングＳ９及びＰＣＢ欠陥特徴トレーニングＳ２の接続ステップ（１－１０）と、
Ｓ２でＣＮＮによってトレーニングされたＰＣＢ欠陥カテゴリ特徴を使用して、欠陥識別Ｓ１１でマークされた欠陥ｐａｔｃｈを分類し、マークされた欠陥が属する欠陥の種類を識別するＰＣＢ欠陥分類Ｓ１２と欠陥識別Ｓ１１および欠陥トレーニングＳ２の接続ステップ（１－１１）と、
Ｓ３でＣＮＮによってトレーニングされたＰＣＢ欠陥レベル特徴を使用して、Ｓ１２で得られた疑似ＰＣＢ欠陥が真の欠陥であるか否かを確認し、偽の欠陥を削除して、検出精度を向上させる。それが真の欠陥である場合は、それをマークする。同時に、カテゴリに含まれない欠陥をスクリーニングし、検出された真の欠陥が新しいタイプの欠陥である場合、この新しい欠陥をマークし、欠陥ライブラリに追加する。偽の欠陥である場合は、偽の欠陥の原因を分析し、その後の検出のための参照を提供するＰＣＢ欠陥検証Ｓ１４と欠陥分類Ｓ１２および欠陥レベル特徴Ｓ３の接続ステップ（１－１２）と、を含む。
【0047】
方法２：第１の検出方法と比較して、第２の欠陥検出方法は非参照学習検出であり、標準ＰＣＢと比較して参照する必要はない。図３に示すように、具体的なステップは、
欠陥ライブラリには、マーク、分類、および等級付けされたさまざまなＰＣＢ欠陥画像が含まれ、欠陥画像はマルチスケール画像であってもよい。この欠陥ライブラリは、第１の検出方法の画像ライブラリとは異なり、画像データペアではなく、単一の欠陥画像だけであるＰＣＢ欠陥画像ライブラリを構築するＳ１ステップ（２－１）と、
各種類のＰＣＢ欠陥ペアに対して、ＣＮＮを使用してトレーニングし、ＰＣＢ欠陥特徴と欠陥カテゴリ特徴を抽出する、ＣＮＮ欠陥トレーニングＳ２と欠陥ライブラリＳ１の接続ステップ（２－２）と、
各レベルのＰＣＢ欠陥ペアに対して、ＣＮＮを使用してトレーニングし、ＰＣＢ欠陥レベル特徴を抽出する、ＣＮＮ欠陥レベルトレーニングＳ３と欠陥ライブラリＳ１の接続ステップ（２－３）と、
検出対象ＰＣＢ画像を読み取る、標準ＰＣＢ画像の読み取りＳ４ステップ（２－４）と、
画像には必然的にさまざまなノイズ、底板の色があるため、欠陥識別に大きな影響を与える。ノイズをフィルタリングするには、複数のアルゴリズムと技術を使用する必要がある、検出対象ＰＣＢ画像をノイズ除去する画像ノイズ除去Ｓ５とＳ４の接続ステップ（２－５）と、
ＰＣＢ検出対象画像をセグメント化し、パッチ（ｐａｔｃｈ）にセグメント化して、欠陥パッチの位置決めとマーキングの準備をする画像セグメンテーションＳ８と画像ノイズ除去Ｓ５の接続ステップ（２－６）と、
Ｓ２でＣＮＮによってトレーニングされたＰＣＢ欠陥特徴を使用して、欠陥ｐａｔｃｈを検索し、検出対象ＰＣＢ欠陥であるｐａｔｃｈを識別し、疑似欠陥ｐａｔｃｈをマークする、複数回識別して反復し、疑似欠陥ｐａｔｃｈを徐々に排除できる欠陥マッチング検索Ｓ１０と画像セグメンテーションＳ８および欠陥特徴トレーニングＳ２の接続ステップ（２－７）と、
Ｓ２でＣＮＮによってトレーニングされたＰＣＢ欠陥カテゴリ特徴を使用して、欠陥検索Ｓ１０でマークされた欠陥ｐａｔｃｈを分類し、マークされた欠陥が属する欠陥の種類を判断すると同時に、カテゴリに含まれない欠陥は、偽の欠陥であるか新しいタイプの欠陥であるかを判断するためにスクリーニングし、新しいタイプの欠陥である場合は、欠陥を欠陥ライブラリに拡張するＰＣＢ欠陥分類Ｓ１２と欠陥マッチング検索Ｓ１０および欠陥トレーニングＳ２の接続ステップ（２－８）と、
Ｓ３でＣＮＮによってトレーニングされたＰＣＢ欠陥レベル特徴を使用して、Ｓ１２で得られた疑似ＰＣＢ欠陥が真の欠陥であるか否かを確認し、偽の欠陥を削除して、検出精度を向上させる。それが真の欠陥である場合は、それをマークする。検出された真の欠陥が新しいタイプの欠陥である場合、この新しい欠陥をマークし、欠陥ライブラリに追加する。偽の欠陥である場合は、偽の欠陥の原因を分析し、その後の検出のための参照を提供するＰＣＢ欠陥検証Ｓ１４と欠陥分類Ｓ１２および欠陥レベル特徴Ｓ３の接続ステップ（２－９）と、を含む。
欠陥ライブラリには、マーク、分類、および等級付けされたさまざまなＰＣＢ欠陥画像が含まれ、欠陥画像はマルチスケール画像であってもよい。この欠陥ライブラリは、第１の検出方法の画像ライブラリとは異なり、画像データペアではなく、単一の欠陥画像だけであるＰＣＢ欠陥画像ライブラリを構築するＳ１ステップ（２－１）と、
各種類のＰＣＢ欠陥ペアに対して、ＣＮＮを使用してトレーニングし、ＰＣＢ欠陥特徴と欠陥カテゴリ特徴を抽出する、ＣＮＮ欠陥トレーニングＳ２と欠陥ライブラリＳ１の接続ステップ（２－２）と、
各レベルのＰＣＢ欠陥ペアに対して、ＣＮＮを使用してトレーニングし、ＰＣＢ欠陥レベル特徴を抽出する、ＣＮＮ欠陥レベルトレーニングＳ３と欠陥ライブラリＳ１の接続ステップ（２－３）と、
検出対象ＰＣＢ画像を読み取る、標準ＰＣＢ画像の読み取りＳ４ステップ（２－４）と、
画像には必然的にさまざまなノイズ、底板の色があるため、欠陥識別に大きな影響を与える。ノイズをフィルタリングするには、複数のアルゴリズムと技術を使用する必要がある、検出対象ＰＣＢ画像をノイズ除去する画像ノイズ除去Ｓ５とＳ４の接続ステップ（２－５）と、
ＰＣＢ検出対象画像をセグメント化し、パッチ（ｐａｔｃｈ）にセグメント化して、欠陥パッチの位置決めとマーキングの準備をする画像セグメンテーションＳ８と画像ノイズ除去Ｓ５の接続ステップ（２－６）と、
Ｓ２でＣＮＮによってトレーニングされたＰＣＢ欠陥特徴を使用して、欠陥ｐａｔｃｈを検索し、検出対象ＰＣＢ欠陥であるｐａｔｃｈを識別し、疑似欠陥ｐａｔｃｈをマークする、複数回識別して反復し、疑似欠陥ｐａｔｃｈを徐々に排除できる欠陥マッチング検索Ｓ１０と画像セグメンテーションＳ８および欠陥特徴トレーニングＳ２の接続ステップ（２－７）と、
Ｓ２でＣＮＮによってトレーニングされたＰＣＢ欠陥カテゴリ特徴を使用して、欠陥検索Ｓ１０でマークされた欠陥ｐａｔｃｈを分類し、マークされた欠陥が属する欠陥の種類を判断すると同時に、カテゴリに含まれない欠陥は、偽の欠陥であるか新しいタイプの欠陥であるかを判断するためにスクリーニングし、新しいタイプの欠陥である場合は、欠陥を欠陥ライブラリに拡張するＰＣＢ欠陥分類Ｓ１２と欠陥マッチング検索Ｓ１０および欠陥トレーニングＳ２の接続ステップ（２－８）と、
Ｓ３でＣＮＮによってトレーニングされたＰＣＢ欠陥レベル特徴を使用して、Ｓ１２で得られた疑似ＰＣＢ欠陥が真の欠陥であるか否かを確認し、偽の欠陥を削除して、検出精度を向上させる。それが真の欠陥である場合は、それをマークする。検出された真の欠陥が新しいタイプの欠陥である場合、この新しい欠陥をマークし、欠陥ライブラリに追加する。偽の欠陥である場合は、偽の欠陥の原因を分析し、その後の検出のための参照を提供するＰＣＢ欠陥検証Ｓ１４と欠陥分類Ｓ１２および欠陥レベル特徴Ｓ３の接続ステップ（２－９）と、を含む。
【0048】
方法３：
第３の検出方法は、ハイブリッド検出方法と呼ばれる上記の２つの検出方法を組み合わせたもので、ＰＣＢの欠陥をより正確に識別でき、図４に示すように、具体的なステップは、
欠陥ライブラリには、マーク、分類、および等級付けされたさまざまなＰＣＢ欠陥画像が含まれ、欠陥画像はマルチスケール画像であってもよい。
ＰＣＢ欠陥ライブラリは、２種類の欠陥画像ライブラリに分けられる。１つは、欠陥画像の標準画像（ポジティブ例）と欠陥画像（ネガティブ例）で構成される画像データペアであり、もう１つのタイプは、欠陥画像のみで構成される画像ライブラリである２次元ＰＣＢ欠陥画像ライブラリを構築するＳ１ステップ（３－１）と、
第１タイプの各種類のＰＣＢ欠陥データペアに対して、ＣＮＮを使用してトレーニングし、ＰＣＢ欠陥特徴と欠陥カテゴリ特徴を抽出し、第２タイプの各種類のＰＣＢ欠陥に対して、ＣＮＮを使用してトレーニングし、ＰＣＢ欠陥特徴と欠陥カテゴリ特徴を抽出するＣＮＮ欠陥トレーニングＳ２と欠陥ライブラリＳ１の接続ステップ（３－２）と、
第１タイプの欠陥ライブラリの各レベルのＰＣＢ欠陥データペアに対して、ＣＮＮを使用してトレーニングし、ＰＣＢ欠陥レベル特徴を抽出し、第２タイプの欠陥ライブラリの各レベルのＰＣＢ欠陥に対して、ＣＮＮを使用してトレーニングし、ＰＣＢ欠陥レベル特徴を抽出するＣＮＮ欠陥レベルトレーニングＳ３と欠陥ライブラリＳ１の接続ステップ（３－３）と、
それぞれ標準ＰＣＢ画像と検出対象ＰＣＢ画像を読み取る標準ＰＣＢ画像の読み取りＳ４ステップ（３－４）と、
画像には必然的にさまざまなノイズ、底板の色があるため、欠陥識別に大きな影響を与える。ノイズをフィルタリングするには、複数のアルゴリズムと技術を使用する必要がある、それぞれ標準ＰＣＢ画像と検出対象ＰＣＢ画像をノイズ除去する画像ノイズ除去Ｓ５とＳ４の接続ステップ（３－５）と、
それぞれ標準ＰＣＢと検出対象ＰＣＢ画像に対して画像マッチングを行う、画像マッチングＳ６とＳ５の接続ステップ（３－６）と、
ＰＣＢ画像には、回転や変形などに変化があるかを検出し、 変化した場合は、修正する必要があり、標準ＰＣＢ画像の光に異常がないか、不均一な光や反射などがないかを検出し、異常光がある場合は、アルゴリズムの修正が必要である標準ＰＣＢ画像の端正かの検出ステップ（３－６－１）と、
検出対象ＰＣＢ画像が端正であるか否か、標準ＰＣＢの位置と一致するか否かを検出し、標準ＰＣＢ画像の位置、光、色と一致するか否かを確認し、不一致である場合、アルゴリズムを使用して修正する画像ノイズ除去Ｓ５との接続に加えて、検出対象ＰＣＢ画像もレジストされた標準ＰＣＢ画像と接続する必要があるステップ（３－６－２）と、
検出対象ＰＣＢ画像と標準ＰＣＢ画像に対して画像グレー値を比較し、画像の残差を計算する画像グレー値の比較Ｓ７と画像マッチングＳ６の接続ステップ（３－７）と、
ＰＣＢ標準画像、検出対象画像、および残差画像に対して、同じパッチ（ｐａｔｃｈ）に適切にセグメント化し、欠陥パッチの位置決めとマーキングの準備をする画像セグメンテーションＳ８とＳ７の接続ステップ（３－８）と、
画像マッチングエラー及び干渉による比較残差をフィルタリングし、残差画像に残差のないｐａｔｃｈを削除し、残差のあるｐａｔｃｈを検出および分析する残差フィルタリングＳ９と画像セグメンテーションＳ８の接続ステップ（３－９）と、
Ｓ２でＣＮＮによってトレーニングされたＰＣＢ欠陥特徴を使用して、残差ｐａｔｃｈを識別し、検出対象ＰＣＢ欠陥であるｐａｔｃｈを識別し、疑似欠陥ｐａｔｃｈをマークする、複数回識別して反復し、疑似欠陥ｐａｔｃｈを徐々に排除できるＰＣＢ欠陥識別Ｓ１１と残差フィルタリングＳ９及びＰＣＢ欠陥特徴トレーニングＳ２の接続ステップ（３－１０）と、
Ｓ２でＣＮＮによってトレーニングされたＰＣＢ欠陥カテゴリ特徴を使用して、欠陥識別Ｓ１１でマークされた欠陥ｐａｔｃｈを分類するＰＣＢ欠陥分類Ｓ１２と欠陥識別Ｓ１１および欠陥トレーニングＳ２の接続ステップ（３－１１）と、
検出対象ＰＣＢ疑似欠陥をマークし、マークされた疑似欠陥がどの種類の欠陥に属するかを判断する疑似欠陥Ｓ１３とＳ１２の接続ステップ（３－１２）と、
疑似欠陥Ｓ１３については、Ｓ２の第２タイプの欠陥ライブラリＣＮＮによってトレーニングされたＰＣＢ欠陥特徴とカテゴリ特徴を使用して、検索とマッチングを行う。疑似欠陥の偽の欠陥をフィルタリングする欠陥検索マッチングＳ１０と疑似欠陥Ｓ１３およびＣＮＮ欠陥トレーニングＳ２の接続ステップ（３－１３）と、
Ｓ１０でスクリーニングされた欠陥をさらにフィルタリングする。Ｓ３の第２タイプの欠陥ライブラリＣＮＮによってトレーニングされたＰＣＢ欠陥レベル特徴を使用して、Ｓ１０によって取得された疑似ＰＣＢ欠陥が真の欠陥であるかないかを確認し、偽の欠陥を削除し、検出精度を向上させる。真の欠陥である場合は、それをマークする。同時に、カテゴリに含まれない欠陥をスクリーニングし、検出された真の欠陥が新しいタイプの欠陥である場合、この新しい欠陥をマークし、欠陥ライブラリに追加する。偽の欠陥である場合は、偽の欠陥の原因を分析し、その後の検出のための参照を提供するＰＣＢ欠陥検証Ｓ１４と欠陥検索マッチングＳ１０および欠陥レベル特徴Ｓ３の接続ステップ（３－１４）と、を含む。
第３の検出方法は、ハイブリッド検出方法と呼ばれる上記の２つの検出方法を組み合わせたもので、ＰＣＢの欠陥をより正確に識別でき、図４に示すように、具体的なステップは、
欠陥ライブラリには、マーク、分類、および等級付けされたさまざまなＰＣＢ欠陥画像が含まれ、欠陥画像はマルチスケール画像であってもよい。
ＰＣＢ欠陥ライブラリは、２種類の欠陥画像ライブラリに分けられる。１つは、欠陥画像の標準画像（ポジティブ例）と欠陥画像（ネガティブ例）で構成される画像データペアであり、もう１つのタイプは、欠陥画像のみで構成される画像ライブラリである２次元ＰＣＢ欠陥画像ライブラリを構築するＳ１ステップ（３－１）と、
第１タイプの各種類のＰＣＢ欠陥データペアに対して、ＣＮＮを使用してトレーニングし、ＰＣＢ欠陥特徴と欠陥カテゴリ特徴を抽出し、第２タイプの各種類のＰＣＢ欠陥に対して、ＣＮＮを使用してトレーニングし、ＰＣＢ欠陥特徴と欠陥カテゴリ特徴を抽出するＣＮＮ欠陥トレーニングＳ２と欠陥ライブラリＳ１の接続ステップ（３－２）と、
第１タイプの欠陥ライブラリの各レベルのＰＣＢ欠陥データペアに対して、ＣＮＮを使用してトレーニングし、ＰＣＢ欠陥レベル特徴を抽出し、第２タイプの欠陥ライブラリの各レベルのＰＣＢ欠陥に対して、ＣＮＮを使用してトレーニングし、ＰＣＢ欠陥レベル特徴を抽出するＣＮＮ欠陥レベルトレーニングＳ３と欠陥ライブラリＳ１の接続ステップ（３－３）と、
それぞれ標準ＰＣＢ画像と検出対象ＰＣＢ画像を読み取る標準ＰＣＢ画像の読み取りＳ４ステップ（３－４）と、
画像には必然的にさまざまなノイズ、底板の色があるため、欠陥識別に大きな影響を与える。ノイズをフィルタリングするには、複数のアルゴリズムと技術を使用する必要がある、それぞれ標準ＰＣＢ画像と検出対象ＰＣＢ画像をノイズ除去する画像ノイズ除去Ｓ５とＳ４の接続ステップ（３－５）と、
それぞれ標準ＰＣＢと検出対象ＰＣＢ画像に対して画像マッチングを行う、画像マッチングＳ６とＳ５の接続ステップ（３－６）と、
ＰＣＢ画像には、回転や変形などに変化があるかを検出し、 変化した場合は、修正する必要があり、標準ＰＣＢ画像の光に異常がないか、不均一な光や反射などがないかを検出し、異常光がある場合は、アルゴリズムの修正が必要である標準ＰＣＢ画像の端正かの検出ステップ（３－６－１）と、
検出対象ＰＣＢ画像が端正であるか否か、標準ＰＣＢの位置と一致するか否かを検出し、標準ＰＣＢ画像の位置、光、色と一致するか否かを確認し、不一致である場合、アルゴリズムを使用して修正する画像ノイズ除去Ｓ５との接続に加えて、検出対象ＰＣＢ画像もレジストされた標準ＰＣＢ画像と接続する必要があるステップ（３－６－２）と、
検出対象ＰＣＢ画像と標準ＰＣＢ画像に対して画像グレー値を比較し、画像の残差を計算する画像グレー値の比較Ｓ７と画像マッチングＳ６の接続ステップ（３－７）と、
ＰＣＢ標準画像、検出対象画像、および残差画像に対して、同じパッチ（ｐａｔｃｈ）に適切にセグメント化し、欠陥パッチの位置決めとマーキングの準備をする画像セグメンテーションＳ８とＳ７の接続ステップ（３－８）と、
画像マッチングエラー及び干渉による比較残差をフィルタリングし、残差画像に残差のないｐａｔｃｈを削除し、残差のあるｐａｔｃｈを検出および分析する残差フィルタリングＳ９と画像セグメンテーションＳ８の接続ステップ（３－９）と、
Ｓ２でＣＮＮによってトレーニングされたＰＣＢ欠陥特徴を使用して、残差ｐａｔｃｈを識別し、検出対象ＰＣＢ欠陥であるｐａｔｃｈを識別し、疑似欠陥ｐａｔｃｈをマークする、複数回識別して反復し、疑似欠陥ｐａｔｃｈを徐々に排除できるＰＣＢ欠陥識別Ｓ１１と残差フィルタリングＳ９及びＰＣＢ欠陥特徴トレーニングＳ２の接続ステップ（３－１０）と、
Ｓ２でＣＮＮによってトレーニングされたＰＣＢ欠陥カテゴリ特徴を使用して、欠陥識別Ｓ１１でマークされた欠陥ｐａｔｃｈを分類するＰＣＢ欠陥分類Ｓ１２と欠陥識別Ｓ１１および欠陥トレーニングＳ２の接続ステップ（３－１１）と、
検出対象ＰＣＢ疑似欠陥をマークし、マークされた疑似欠陥がどの種類の欠陥に属するかを判断する疑似欠陥Ｓ１３とＳ１２の接続ステップ（３－１２）と、
疑似欠陥Ｓ１３については、Ｓ２の第２タイプの欠陥ライブラリＣＮＮによってトレーニングされたＰＣＢ欠陥特徴とカテゴリ特徴を使用して、検索とマッチングを行う。疑似欠陥の偽の欠陥をフィルタリングする欠陥検索マッチングＳ１０と疑似欠陥Ｓ１３およびＣＮＮ欠陥トレーニングＳ２の接続ステップ（３－１３）と、
Ｓ１０でスクリーニングされた欠陥をさらにフィルタリングする。Ｓ３の第２タイプの欠陥ライブラリＣＮＮによってトレーニングされたＰＣＢ欠陥レベル特徴を使用して、Ｓ１０によって取得された疑似ＰＣＢ欠陥が真の欠陥であるかないかを確認し、偽の欠陥を削除し、検出精度を向上させる。真の欠陥である場合は、それをマークする。同時に、カテゴリに含まれない欠陥をスクリーニングし、検出された真の欠陥が新しいタイプの欠陥である場合、この新しい欠陥をマークし、欠陥ライブラリに追加する。偽の欠陥である場合は、偽の欠陥の原因を分析し、その後の検出のための参照を提供するＰＣＢ欠陥検証Ｓ１４と欠陥検索マッチングＳ１０および欠陥レベル特徴Ｓ３の接続ステップ（３－１４）と、を含む。
【0049】
本発明の実施例によって提供された深層学習に基づく２次元ＰＣＢ外観欠陥のリアルタイム自動検出方法は、ＰＣＢ画像、標準ＰＣＢ画像、および畳み込みニューラルネットワークを使用してＰＣＢ欠陥を検出し、ＰＣＢ欠陥検出のツールを使用すると、組み立てプロセスの初期段階でエラーを見つけて排除でき、不良ボードを次の組み立て段階に送ることを回避すると同時に、修理コストを削減し、修理不可能な回路基板を廃棄することを回避する。畳み込みニューラルネットワークの使用には、高速、高精度、強力な一般化能力、および明確な構造という利点がある。
【0050】
また、「第１」および「第２」という用語は目的の説明でのみ使用され、相対的な重要性を示したり暗示したり、示された技術的特徴の数を暗黙的に示したりするものとして理解することはできない。したがって、「第１」および「第２」で定義された特徴には、明示的または暗黙的に特徴の少なくとも１つが含まれる場合がある。本発明の説明において、「複数」は、特に明記しない限り、少なくとも２つ、例えば２つ、３つなどを意味する。
【0051】
本明細書の説明において、「１つの実施例」、「いくつかの実施例」、「例」、「特定の例」、または「いくつかの例」などの用語に関する説明は、この実施例または例に関連して説明される特定の特徴、構造、材料または特性が、本発明の少なくとも１つの実施例または例に含まれることを意味する。本明細書では、上記の用語の模式的説明は、必ずしも同じ実施例または例を指すとは限らない。さらに、記載された特定の特徴、構造、材料または特性は、任意の１つまたは複数の実施例または例において適切な方法で組み合わせることができる。また、矛盾がない場合、当業者は、本明細書に記載されている異なる実施例または例および異なる実施例または例の特徴を結合して組み合わせることができる。
【0052】
本発明の実施例は上に示され、説明されてきたが、上記の実施例は例示であり、本発明を限定しない。当業者は、本発明の範囲内で、上記の実施例に変更、修正、置換、および変形を行うことができる。
【図1】
【図2】
【図3】
【図4】
