特表2023-507024 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッドの特許一覧

特表2023-507024欠陥検出方法及びその装置、電子機器並びに記憶媒体

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4
5

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-02-20

(54)【発明の名称】欠陥検出方法及びその装置、電子機器並びに記憶媒体

(51)【国際特許分類】

G06T 7/00 20170101AFI20230213BHJP

G01N 21/956 20060101ALI20230213BHJP

【ＦＩ】

G06T7/00 610

G01N21/956 B

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022538297

(86)(22)【出願日】2021-05-26

(85)【翻訳文提出日】2022-06-20

(86)【国際出願番号】 CN2021096064

(87)【国際公開番号】W WO2022088663

(87)【国際公開日】2022-05-05

(31)【優先権主張番号】202011191756.0

(32)【優先日】2020-10-30

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】321006888

【氏名又は名称】ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド

(74)【代理人】

【識別番号】110001427

【氏名又は名称】弁理士法人前田特許事務所

(72)【発明者】

【氏名】ニウリンシアオ

(72)【発明者】

【氏名】リーチョン

【テーマコード（参考）】

2G051

5L096

【Ｆターム（参考）】

2G051AA65

2G051AB02

2G051EC06

2G051ED11

5L096BA03

5L096CA02

5L096DA02

5L096FA34

5L096FA66

5L096GA51

5L096HA08

5L096HA11

5L096JA09

5L096KA04

(57)【要約】

本願実施例は、欠陥検出方法及びその装置、電子機器並びに記憶媒体を提供し、前記欠陥検出方法は、テンプレート画像の第１特徴マップ、及び検出対象画像の第２特徴マップを取得することと、第１特徴マップにおける各第１特徴点に対して、第１特徴マップにおける複数の第１特徴点から、前記第１特徴点との距離が所定条件を満たす複数の関連特徴点を決定することと、第１特徴点ごとに、決定された第１特徴点の各関連特徴点と第２特徴マップにおける目標第２特徴点との間の類似度に基づいて、前記第１特徴点に対して特徴強調処理を実行することであって、目標第２特徴点は、第２特徴マップにおける位置が前記第１特徴点とマッチングする第２特徴点であることと、前記第２特徴マップ、及び特徴強調処理後の前記第１特徴マップに基づいて、前記検出対象画像に対応する欠陥検出結果を決定することと、を含む。
【選択図】図２

【特許請求の範囲】

【請求項1】

欠陥検出方法であって、
テンプレート画像の第１特徴マップ、及び検出対象画像の第２特徴マップを取得することと、
前記第１特徴マップにおける第１特徴点ごとに、前記第１特徴マップにおける複数の第１特徴点から、前記第１特徴点との距離が所定条件を満たす複数の関連特徴点を決定することと、
前記第１特徴点ごとに、決定された前記第１特徴点の各関連特徴点と前記第２特徴マップにおける目標第２特徴点との間の類似度に基づいて、前記第１特徴点に対して特徴強調処理を実行することであって、前記目標第２特徴点は、前記第２特徴マップにおける位置が前記第１特徴点とマッチングする第２特徴点である、ことと、
前記第２特徴マップ、及び特徴強調処理後の前記第１特徴マップに基づいて、前記検出対象画像に対応する欠陥検出結果を決定することと、を含む、前記欠陥検出方法。

【請求項2】

前記各関連特徴点と前記第２特徴マップにおける目標第２特徴点との間の類似度は、以下の方式により決定され、前記方式は、
前記第１特徴マップにおける前記各関連特徴点の位置、及び所定の距離閾値に基づいて、前記各関連特徴点に対応する第１特徴サブマップを取得することと、
前記第２特徴マップにおける前記目標第２特徴点の位置、及び前記距離閾値に基づいて、前記目標第２特徴点に対応する第２特徴サブマップを取得することと、
前記第１特徴サブマップ、及び前記第２特徴サブマップに基づいて、前記各関連特徴点と前記目標第２特徴点との間の類似度を決定することと、を含む、
請求項１に記載の欠陥検出方法。

【請求項3】

前記第１特徴マップにおける前記各関連特徴点の位置、及び所定の距離閾値に基づいて、前記各関連特徴点に対応する第１特徴サブマップを取得することは、
前記第１特徴マップにおいて、前記各関連特徴点を円心とし且つ前記距離閾値を半径とした第１円形領域を決定し、前記第１特徴マップにおける前記第１円形領域内の第１特徴点に基づいて、前記第１特徴サブマップを取得することを含み、
前記第２特徴マップにおける前記目標第２特徴点の位置、及び前記距離閾値に基づいて、前記目標第２特徴点に対応する第２特徴サブマップを取得することは、
前記第２特徴マップにおいて、前記目標第２特徴点を円心とし且つ前記距離閾値を半径とした第２円形領域を決定し、前記第２特徴マップ上の前記第２円形領域内の第２特徴点に基づいて、前記第２特徴サブマップを取得することを含む、
請求項２に記載の欠陥検出方法。

【請求項4】

前記第１特徴マップにおける前記各関連特徴点の位置、及び所定の距離閾値に基づいて、前記各関連特徴点に対応する第１特徴サブマップを取得することは、
前記距離閾値に基づいて、目標辺長を決定することと、
前記第１特徴マップにおいて、前記各関連特徴点を中心とし且つ決定された前記目標辺長を辺長とした第１正方形領域を決定し、前記第１特徴マップ上の前記第１正方形領域内の第１特徴点に基づいて、前記第１特徴サブマップを取得することと、を含む、
前記第２特徴マップにおける前記目標第２特徴点の位置、及び前記距離閾値に基づいて、前記目標第２特徴点に対応する第２特徴サブマップを取得することは、
前記第２特徴マップにおいて、前記目標第２特徴点を中心とし且つ決定された前記目標辺長を辺長とした第２正方形領域を決定し、前記第２特徴マップ上の前記第２正方形領域内の第２特徴点に基づいて、前記第２特徴サブマップを取得することを含む、
請求項２に記載の欠陥検出方法。

【請求項5】

前記第１特徴点ごとに、決定された前記第１特徴点の各関連特徴点と前記第２特徴マップにおける目標第２特徴点との間の類似度に基づいて、前記第１特徴点に対して特徴強調処理を実行することは、
前記第１特徴点の前記各関連特徴点と前記目標第２特徴点との間の類似度、及び前記第１特徴点の複数の前記関連特徴点のそれぞれに対応する特徴値に基づいて、前記第１特徴点に対して特徴強調処理を実行することを含む、
請求項１ないし４のいずれか一項に記載の欠陥検出方法。

【請求項6】

前記第１特徴点の前記各関連特徴点と前記目標第２特徴点との間の類似度、及び前記第１特徴点の複数の前記関連特徴点のそれぞれに対応する特徴値に基づいて、前記第１特徴点に対して特徴強調処理を実行することは、
前記各関連特徴点と前記目標第２特徴点との間の類似度に基づいて、複数の前記関連特徴点のそれぞれに対応する特徴値を加重加算して、第１合計値を取得することと、
複数の前記関連特徴点のそれぞれに対応する類似度を加重加算して、第２合計値を取得することと、
前記第１合計値と前記第２合計値との比率を、前記第１特徴点に対して特徴強調処理を実行した後の前記第１特徴点の特徴値として使用することと、を含む、
請求項５に記載の欠陥検出方法。

【請求項7】

前記第２特徴マップ、及び特徴強調処理後の前記第１特徴マップに基づいて、前記検出対象画像に対応する欠陥検出結果を決定することは、
前記第２特徴マップ、及び前記強調処理後の前記第１特徴マップに基づいて、前記第２特徴マップのアテンションマスク画像を生成することであって、前記アテンションマスク画像における任意の画素点の画素値は、前記第２特徴マップにおける位置が前記任意の第１画素点とマッチングする第２特徴点に欠陥があることを表す異常度値を表す、ことと、
前記アテンションマスク画像、及び前記強調処理後の前記第１特徴マップに基づいて、前記検出対象画像に対応する欠陥検出結果を決定することと、を含む、
請求項１ないし６のいずれか一項に記載の欠陥検出方法。

【請求項8】

前記アテンションマスク画像、及び前記強調処理後の前記第１特徴マップに基づいて、前記検出対象画像に対応する欠陥検出結果を決定することは、
前記アテンションマスク画像と前記強調処理後の前記第１特徴マップに対して合併処理を実行して、合併特徴マップを取得することと、
前記アテンションマスク画像及び前記合併特徴マップに対して特徴融合処理を実行して、特徴融合画像を取得することと、
前記特徴融合画像に基づいて、前記検出対象画像に対応する欠陥検出結果を決定することと、を含む、
請求項７に記載の欠陥検出方法。

【請求項9】

欠陥検出装置であって、
テンプレート画像の第１特徴マップ、及び検出対象画像の第２特徴マップを取得するように構成される取得部と、
前記第１特徴マップにおける第１特徴点ごとに、前記第１特徴マップにおける複数の第１特徴点から、前記第１特徴点との距離が所定条件を満たす複数の関連特徴点を決定するように構成される決定部と、
前記第１特徴点ごとに、決定された前記第１特徴点の各関連特徴点と前記第２特徴マップにおける目標第２特徴点との間の類似度に基づいて、前記第１特徴点に対して特徴強調処理を実行するように構成される特徴強調処理部であって、前記目標第２特徴点は、前記第２特徴マップにおける位置が前記第１特徴点とマッチングする第２特徴点である、特徴強調処理部と、
前記第２特徴マップ、及び特徴強調処理後の前記第１特徴マップに基づいて、前記検出対象画像に対応する欠陥検出結果を決定するように構成される検出部と、を備える、前記欠陥検出装置。

【請求項10】

前記欠陥検出装置は更に、
前記第１特徴マップにおける前記各関連特徴点の位置、及び所定の距離閾値に基づいて、前記各関連特徴点に対応する第１特徴サブマップを取得し、前記第２特徴マップにおける前記目標第２特徴点の位置、及び前記距離閾値に基づいて、前記目標第２特徴点に対応する第２特徴サブマップを取得し、前記第１特徴サブマップ、及び前記第２特徴サブマップに基づいて、前記各関連特徴点と前記目標第２特徴点との間の類似度を決定するように構成される類似度決定部を備える、
請求項９に記載の欠陥検出装置。

【請求項11】

前記類似度決定部は更に、前記第１特徴マップにおいて、前記各関連特徴点を円心とし且つ前記距離閾値を半径とした第１円形領域を決定し、前記第１特徴マップにおける前記第１円形領域内の第１特徴点に基づいて、前記第１特徴サブマップを取得し、前記第２特徴マップにおいて、前記目標第２特徴点を円心とし且つ前記距離閾値を半径とした第２円形領域を決定し、前記第２特徴マップ上の前記第２円形領域内の第２特徴点に基づいて、前記第２特徴サブマップを取得するように構成される、
請求項１０に記載の欠陥検出装置。

【請求項12】

前記類似度決定部は更に、前記距離閾値に基づいて、目標辺長を決定し、前記第１特徴マップにおいて、前記各関連特徴点を中心とし且つ決定された前記目標辺長を辺長とした第１正方形領域を決定し、前記第１特徴マップ上の前記第１正方形領域内の第１特徴点に基づいて、前記第１特徴サブマップを取得し、前記第２特徴マップにおいて、前記目標第２特徴点を中心とし且つ決定された前記目標辺長を辺長とした第２正方形領域を決定し、前記第２特徴マップ上の前記第２正方形領域内の第２特徴点に基づいて、前記第２特徴サブマップを取得するように構成される、
請求項１０に記載の欠陥検出装置。

【請求項13】

前記特徴強調処理部は更に、前記第１特徴点の前記各関連特徴点と前記目標第２特徴点との間の類似度、及び前記第１特徴点の複数の前記関連特徴点のそれぞれに対応する特徴値に基づいて、前記第１特徴点に対して特徴強調処理を実行するように構成される、
請求項９ないし１２のいずれか一項に記載の欠陥検出装置。

【請求項14】

前記特徴強調処理部は更に、前記各関連特徴点と前記目標第２特徴点との間の類似度に基づいて、複数の前記関連特徴点のそれぞれに対応する特徴値を加重加算して、第１合計値を取得し、複数の前記関連特徴点のそれぞれに対応する類似度を加重加算して、第２合計値を取得し、前記第１合計値と前記第２合計値との比率を、前記第１特徴点に対して特徴強調処理を実行した後の前記第１特徴点の特徴値として使用するように構成される、
請求項１３に記載の欠陥検出装置。

【請求項15】

前記検出部は更に、前記第２特徴マップ、及び前記強調処理後の前記第１特徴マップに基づいて、前記第２特徴マップのアテンションマスク画像を生成し、ここで、前記アテンションマスク画像における任意の画素点の画素値は、前記第２特徴マップにおける位置が前記任意の第１画素点とマッチングする第２特徴点に欠陥があることを表す異常度値であり、前記アテンションマスク画像、及び前記強調処理後の前記第１特徴マップに基づいて、前記検出対象画像に対応する欠陥検出結果を決定するように構成される、
請求項９ないし１４のいずれか一項に記載の欠陥検出装置。

【請求項16】

前記検出部は更に、前記アテンションマスク画像と前記強調処理後の前記第１特徴マップに対して合併処理を実行して、合併特徴マップを取得し、前記アテンションマスク画像及び前記合併特徴マップに対して特徴融合処理を実行して、特徴融合画像を取得し、前記特徴融合画像に基づいて、前記検出対象画像に対応する欠陥検出結果を決定するように構成される、
請求項１５に記載の欠陥検出装置。

【請求項17】

電子機器であって、
互に接続されているプロセッサとメモリを備え、前記メモリには、前記プロセッサ実行可能な機械可読命令が記憶されており、前記電子機器が動作するときに、前記機械可読命令が、前記プロセッサに、請求項１ないし８のいずれか一項に記載の欠陥検出方法を実行させる、前記電子機器。

【請求項18】

コンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、
前記コンピュータプログラムがプロセッサに、請求項１ないし８のいずれか一項に記載の欠陥検出方法を実行させる、前記コンピュータ可読記憶媒体。

【請求項19】

コンピュータ可読コードを含むコンピュータプログラムであって、
前記コンピュータ可読コードが電子機器で実行されるときに、前記電子機器のプロセッサに、請求項１ないし８のいずれか一項に記載の欠陥検出方法を実行させる、前記コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

［関連出願への相互参照］
本願は、２０２０年１０月３０日に中国特許局に提出された、出願番号が２０２０１１１９１７５６．０である中国特許出願に基づいて提出されるものであり、当該中国特許出願の優先権を主張し、当該中国特許出願の全ての内容が参照として本願に援用される。

【0002】

本願は、画像処理技術分野に関し、具体的には、欠陥検出方法及びその装置、電子機器並びに記憶媒体に関する。

【背景技術】

【0003】

科学技術の発展に伴い、現代の製造業におけるプリント基板（ＰＣＢ：Ｐｒｉｎｔｅｄｃｉｒｃｕｉｔｂｏａｒｄ）の需要も高まっている。電子機器の性能の優劣は、電子素子自体の品質と性能に影響されるだけでなく、ＰＣＢの品質にも大きく左右される。ＰＣＢ欠陥検出技術は、電子システムの品質及び製造周期につながる重要な部分であり、ＰＣＢの発明以来大きな注目を集めている。現在、回路基板に対する各種機器のメーカーの要件は高まっており、より高い性能と製造効率を追求するだけでなく、回路基板の良品率などの品質要因に対する要件も厳しくなっている。

【0004】

現在、ＰＣＢ欠陥検出には、一般的に、自動光学検出（ＡＯＩ：ＡｕｔｏｍａｔｅｄＯｐｔｉｃａｌＩｎｓｐｅｃｔｉｏｎ）機器が用いられ、ＡＯＩ機器は、自動検出中、カメラを介してＰＣＢを自動的にスキャンしてＰＣＢ画像を取得し、その後、ＰＣＢ画像における溶接点とデータベースにおける合格ＰＣＢのテンプレート画像を比較して、ＰＣＢに存在する欠陥を検査する。

【発明の概要】

【0005】

本願実施例は、少なくとも、欠陥検出方法及びその装置、電子機器並びに記憶媒体を提供する。

【0006】

第１側面によれば、本願実施例は欠陥検出方法を提供し、前記欠陥検出方法は、テンプレート画像の第１特徴マップ、及び検出対象画像の第２特徴マップを取得することと、前記第１特徴マップにおける第１特徴点ごとに、前記第１特徴マップにおける複数の第１特徴点から、前記第１特徴点との距離が所定条件を満たす複数の関連特徴点を決定することと、前記第１特徴点ごとに、決定された前記第１特徴点の各関連特徴点と前記第２特徴マップにおける目標第２特徴点との間の類似度に基づいて、前記第１特徴点に対して特徴強調処理を実行することであって、前記目標第２特徴点は、前記第２特徴マップにおける位置が前記第１特徴点とマッチングする第２特徴点である、ことと、前記第２特徴マップ、及び特徴強調処理後の前記第１特徴マップに基づいて、前記検出対象画像に対応する欠陥検出結果を決定することと、を含む。

【0007】

このように、テンプレート画像の第１特徴マップに対して特徴強調を実行することにより、検出対象画像の収集ノイズ、マッチング誤差及び製造誤差による、検出対象画像とテンプレート画像との差異を減らし、検出対象画像の欠陥検出精度を向上させる。

【0008】

１つの可能な実施形態では、前記各関連特徴点と前記第２特徴マップにおける目標第２特徴点との間の類似度は、以下の方式により決定され、前記方式は、前記第１特徴マップにおける前記各関連特徴点の位置、及び所定の距離閾値に基づいて、前記各関連特徴点に対応する第１特徴サブマップを取得することと、前記第２特徴マップにおける前記目標第２特徴点の位置、及び前記距離閾値に基づいて、前記目標第２特徴点に対応する第２特徴サブマップを取得することと、前記第１特徴サブマップ、及び前記第２特徴サブマップに基づいて、前記各関連特徴点と前記目標第２特徴点との間の類似度を決定することと、を含む。

【0009】

１つの可能な実施形態では、前記第１特徴マップにおける前記各関連特徴点の位置、及び所定の距離閾値に基づいて、前記各関連特徴点に対応する第１特徴サブマップを取得することは、前記第１特徴マップにおいて、前記各関連特徴点を円心とし且つ前記距離閾値を半径とした第１円形領域を決定し、前記第１特徴マップにおける前記第１円形領域内の第１特徴点に基づいて、前記第１特徴サブマップを取得することを含み、前記第２特徴マップにおける前記目標第２特徴点の位置、及び前記距離閾値に基づいて、前記目標第２特徴点に対応する第２特徴サブマップを取得することは、前記第２特徴マップにおいて、前記目標第２特徴点を円心とし且つ前記距離閾値を半径とした第２円形領域を決定し、前記第２特徴マップ上の前記第２円形領域内の第２特徴点に基づいて、前記第２特徴サブマップを取得することを含む。

【0010】

１つの可能な実施形態では、前記第１特徴マップにおける前記各関連特徴点の位置、及び所定の距離閾値に基づいて、前記各関連特徴点に対応する第１特徴サブマップを取得することは、前記距離閾値に基づいて、目標辺長を決定することと、前記第１特徴マップにおいて、前記各関連特徴点を中心とし且つ決定された前記目標辺長を辺長とした第１正方形領域を決定し、前記第１特徴マップ上の前記第１正方形領域内の第１特徴点に基づいて、前記第１特徴サブマップを取得することと、を含み、前記第２特徴マップにおける前記目標第２特徴点の位置、及び前記距離閾値に基づいて、前記目標第２特徴点に対応する第２特徴サブマップを取得することは、前記第２特徴マップにおいて、前記目標第２特徴点を中心とし且つ決定された前記目標辺長を辺長とした第２正方形領域を決定し、前記第２特徴マップ上の前記第２正方形領域内の第２特徴点に基づいて、前記第２特徴サブマップを取得することを含む。

【0011】

１つの可能な実施形態では、前記第１特徴点ごとに、決定された前記第１特徴点の各関連特徴点と前記第２特徴マップにおける目標第２特徴点との間の類似度に基づいて、前記第１特徴点に対して特徴強調処理を実行することは、前記第１特徴点の前記各関連特徴点と前記目標第２特徴点との間の類似度、及び前記第１特徴点の複数の前記関連特徴点のそれぞれに対応する特徴値に基づいて、前記第１特徴点に対して特徴強調処理を実行することを含む。

【0012】

１つの可能な実施形態では、前記第１特徴点の前記各関連特徴点と前記目標第２特徴点との間の類似度、及び前記第１特徴点の複数の前記関連特徴点のそれぞれに対応する特徴値に基づいて、前記第１特徴点に対して特徴強調処理を実行することは、前記各関連特徴点と前記目標第２特徴点との間の類似度に基づいて、複数の前記関連特徴点のそれぞれに対応する特徴値を加重加算して、第１合計値を取得することと、複数の前記関連特徴点のそれぞれに対応する類似度を加重加算して、第２合計値を取得することと、前記第１合計値と前記第２合計値との比率を、前記第１特徴点に対して特徴強調処理を実行した後の前記第１特徴点の特徴値として使用することと、を含む。

【0013】

１つの可能な実施形態では、前記第２特徴マップ、及び特徴強調処理後の前記第１特徴マップに基づいて、前記検出対象画像に対応する欠陥検出結果を決定することは、
前記第２特徴マップ、及び前記強調処理後の前記第１特徴マップに基づいて、前記第２特徴マップのアテンションマスク画像を生成することであって、前記アテンションマスク画像における任意の画素点の画素値は、前記第２特徴マップにおける位置が前記任意の第１画素点とマッチングする第２特徴点に欠陥があることを表す異常度値を表す、ことと、
前記アテンションマスク画像、及び前記強調処理後の前記第１特徴マップに基づいて、前記検出対象画像に対応する欠陥検出結果を決定することと、を含む。

【0014】

１つの可能な実施形態では、前記アテンションマスク画像、及び前記強調処理後の前記第１特徴マップに基づいて、前記検出対象画像に対応する欠陥検出結果を決定することは、
前記アテンションマスク画像と前記強調処理後の前記第１特徴マップに対して合併処理を実行して、合併特徴マップを取得することと、
前記アテンションマスク画像及び前記合併特徴マップに対して特徴融合処理を実行して、特徴融合画像を取得することと、
前記特徴融合画像に基づいて、前記検出対象画像に対応する欠陥検出結果を決定することと、を含む。

【0015】

第２側面によれば、本願実施例は欠陥検出装置を更に提供し、前記欠陥検出装置は、テンプレート画像の第１特徴マップ、及び検出対象画像の第２特徴マップを取得するように構成される取得部と、前記第１特徴マップにおける第１特徴点ごとに、前記第１特徴マップにおける複数の第１特徴点から、前記第１特徴点との距離が所定条件を満たす複数の関連特徴点を決定するように構成される決定部と、前記第１特徴点ごとに、決定された前記第１特徴点の各関連特徴点と前記第２特徴マップにおける目標第２特徴点との間の類似度に基づいて、前記第１特徴点に対して特徴強調処理を実行するように構成される特徴強調処理部であって、前記目標第２特徴点は、前記第２特徴マップにおける位置が前記第１特徴点とマッチングする第２特徴点である、特徴強調処理部と、前記第２特徴マップ、及び特徴強調処理後の前記第１特徴マップに基づいて、前記検出対象画像に対応する欠陥検出結果を決定するように構成される検出部と、を備える。

【0016】

１つの可能な実施形態では、前記欠陥検出装置は更に、前記第１特徴マップにおける前記各関連特徴点の位置、及び所定の距離閾値に基づいて、前記各関連特徴点に対応する第１特徴サブマップを取得し、前記第２特徴マップにおける前記目標第２特徴点の位置、及び前記距離閾値に基づいて、前記目標第２特徴点に対応する第２特徴サブマップを取得し、前記第１特徴サブマップ、及び前記第２特徴サブマップに基づいて、前記各関連特徴点と前記目標第２特徴点との間の類似度を決定するように構成される類似度決定部を備える。

【0017】

１つの可能な実施形態では、前記類似度決定部は更に、前記第１特徴マップにおいて、前記各関連特徴点を円心とし且つ前記距離閾値を半径とした第１円形領域を決定し、前記第１特徴マップにおける前記第１円形領域内の第１特徴点に基づいて、前記第１特徴サブマップを取得し、前記第２特徴マップにおいて、前記目標第２特徴点を円心とし且つ前記距離閾値を半径とした第２円形領域を決定し、前記第２特徴マップ上の前記第２円形領域内の第２特徴点に基づいて、前記第２特徴サブマップを取得するように構成される。

【0018】

１つの可能な実施形態では、前記類似度決定部は更に、前記距離閾値に基づいて、目標辺長を決定し、前記第１特徴マップにおいて、前記各関連特徴点を中心とし且つ決定された前記目標辺長を辺長とした第１正方形領域を決定し、前記第１特徴マップ上の前記第１正方形領域内の第１特徴点に基づいて、前記第１特徴サブマップを取得し、前記第２特徴マップにおいて、前記目標第２特徴点を中心とし且つ決定された前記目標辺長を辺長とした第２正方形領域を決定し、前記第２特徴マップ上の前記第２正方形領域内の第２特徴点に基づいて、前記第２特徴サブマップを取得するように構成される。

【0019】

１つの可能な実施形態では、前記特徴強調処理部は更に、前記第１特徴点の前記各関連特徴点と前記目標第２特徴点との間の類似度、及び前記第１特徴点の複数の前記関連特徴点のそれぞれに対応する特徴値に基づいて、前記第１特徴点に対して特徴強調処理を実行するように構成される。

【0020】

１つの可能な実施形態では、前記特徴強調処理部は更に、前記各関連特徴点と前記目標第２特徴点との間の類似度に基づいて、複数の前記関連特徴点のそれぞれに対応する特徴値を加重加算して、第１合計値を取得し、複数の前記関連特徴点のそれぞれに対応する類似度を加重加算して、第２合計値を取得し、前記第１合計値と前記第２合計値との比率を、前記第１特徴点に対して特徴強調処理を実行した後の前記第１特徴点の特徴値として使用するように構成される。

【0021】

１つの可能な実施形態では、前記検出部は更に、前記第２特徴マップ、及び前記強調処理後の前記第１特徴マップに基づいて、前記第２特徴マップのアテンションマスク画像を生成し、ここで、前記アテンションマスク画像における任意の画素点の画素値は、前記第２特徴マップにおける位置が前記任意の第１画素点とマッチングする第２特徴点に欠陥があることを表す異常度値であり、前記アテンションマスク画像、及び前記強調処理後の前記第１特徴マップに基づいて、前記検出対象画像に対応する欠陥検出結果を決定するように構成される。

【0022】

１つの可能な実施形態では、前記検出部は更に、前記アテンションマスク画像と前記強調処理後の前記第１特徴マップに対して合併処理を実行して、合併特徴マップを取得し、前記アテンションマスク画像及び前記合併特徴マップに対して特徴融合処理を実行して、特徴融合画像を取得し、前記特徴融合画像に基づいて、前記検出対象画像に対応する欠陥検出結果を決定するように構成される。

【0023】

第３側面によれば、本願実施例は電子機器を更に提供し、前記電子機器は、互に接続されているプロセッサとメモリとを備え、前記メモリには、前記プロセッサ実行可能な機械可読命令が記憶されており、電子機器が動作するときに、前記機械可読命令が、前記プロセッサに、上記の第１側面、又は第１側面の任意の可能な実施形態における欠陥検出方法を実行させる。

【0024】

第４側面によれば、本願実施例は、コンピュータプログラムが記憶されているコンピュータ可読記憶媒体を更に提供し、当該コンピュータプログラムがプロセッサに、上記の第１側面、又は第１側面の任意の可能な実施形態における欠陥検出方法を実行させる。

【0025】

第５側面によれば、本願実施例は、コンピュータ可読コードを含むコンピュータプログラムを更に提供し、前記コンピュータ可読コードが電子機器で実行されるときに、前記電子機器のプロセッサに、上記の第１側面、又は第１側面の任意の可能な実施形態における欠陥検出方法を実行させる。

【0026】

本願の上記した目的、特徴及び利点をより明確で理解しやすくするために、好ましい実施例を、図面と併せて、以下に詳細に説明する。

【図面の簡単な説明】

【0027】

【図1】本願実施例で提供される欠陥検出システムのシステムアーキテクチャの概略図である。

【図2】本願実施例で提供される欠陥検出方法のフローチャートである。

【図3】本願実施例で提供される、各関連特徴点と目標第２特徴点との間の類似度を決定する具体的な方法のフローチャートである。

【図4】本願実施例で提供される欠陥検出装置の概略図である。

【図5】本願実施例で提供される電子機器の概略図である。

【発明を実施するための形態】

【0028】

本願実施例の技術的解決策をより明確に説明するために、実施例で必要とされる図面を以上で簡単に紹介し、ここでの図面は、本明細書に組み込まれてその一部を構成し、これらの図面は、本願に準拠する実施例を示し、本明細書とともに本願の技術的解決策を説明するために使用される。以上の図面は、本願のいくつかの特定の実施例のみを示し、本願の範囲を限定するものと見なされるべきではないことを理解されたい。当業者にとっては、創造的な労力なしに、これらの図面に従って他の図面を得ることもできる。

【0029】

本願実施例の目的、技術的解決策および利点をより明確にするために、以下、本願実施例における図面を参照して、本願実施例における技術的解決策を明確且つ完全に説明するが、説明された実施例は、本願実施例の一部に過ぎず、全ての実施例ではないことは明らかである。通常、本明細書の図面に記載及び図示されている本願実施例の構成要素は、様々な異なる構成で配置及び設計することができる。したがって、図面に提供される本願実施例の以下の詳細な説明は、本願の保護範囲を限定することを意図するものではなく、本願の特定の実施例を示すためのものに過ぎない。本願実施例に基づき、創造的な労力なしに当業者によって得られる他のすべての実施例は、本願の保護範囲に含まれる。

【0030】

研究によれば、ＡＯＩ機器を用いてＰＣＢの欠陥検出を実行する場合、先ず、プロのエンジニアがＰＣＢ上の溶接点の位置に基づいて、ＰＣＢをプログラミングする必要があり、プログラミング後、ＡＯＩ機器のカメラを介してＰＣＢを自動的にスキャンすることによりＰＣＢ画像を取得し、その後、ＰＣＢ画像内の溶接点とデータベース内の合格画像内の金属溶接点を比較する。ＰＣＢ画像内の何れの金属溶接点の形状が合格画像内の対応する金属溶接点の形状と一致しない場合、当該溶接点に欠陥がある可能性があると決定し、その後、当該溶接点位置をラベリングし、それをＡＯＩ機器の表示機器を介してエンジニアに展示し、これにより、エンジニアは欠陥検出結果に基づいて後続処理を実行することができる。

【0031】

しかし、実際には、ＰＣＢの製造プロセスでは、ＰＣＢの製造誤差が生じる場合が多く、更に、ＰＣＢの検出対象画像とテンプレート画像を比較するときにも、画像間のマッチング誤差が生じる可能性があり、加えて、検出対象画像の収集プロセスにおいても、収集ノイズが生じる可能性があり、これらの誤差により、現在のＰＣＢの欠陥検出結果に多数の誤検出領域が生じ、欠陥検出の精度が低下する。

【0032】

上記の研究に基づき、本願実施例は欠陥検出方法及びその装置、電子機器並びに記憶媒体を提供し、テンプレート画像の第１特徴マップに対して特徴強調を実行することにより、検出対象画像の収集ノイズ、マッチング誤差及び製造誤差による、検出対象画像とテンプレート画像との差異を減らし、検出対象画像の欠陥検出精度を向上させる。

【0033】

上記の技術的解決策に存在する欠陥はすべて、発明者が実践と慎重な研究を経て得た結果であり、そのため、上記の問題の発見過程及び以下の本願実施例で提案する上記の問題の解決策はすべて、本願実施例の過程で本願に対して発明者によってなされた貢献であるべきである。

【0034】

なお、以下の図面では、類似の符号及び文字は類似の要素を示し、そのため、特定の要素が１つの図面で定義されると、それ以降の図面でそれを再び定義及び説明する必要はない。

【0035】

この実施例をより良く理解させるために、先ず、本願実施例で開示される欠陥検出方法を詳細に説明し、本願実施例に係る欠陥検出方法の実行主体は、一般に、一定のコンピューティング能力を備えたコンピュータ機器であり、当該コンピュータ機器は、例えば、端末機器又はサーバ又は他の処理機器を含み、端末機器は、ＰＣＢ品質検出専用の機器であってもよいし、他の端末機器（例えば、コンピュータ、モバイル機器など）であってもよい。いくつかの可能な実施形態では、当該欠陥検出方法は、プロセッサがメモリに記憶されているコンピュータ可読命令を呼び出して実行することにより実現することができる。

【0036】

加えて、本願実施例で提供される欠陥検出方法は、ＰＣＢの欠陥検出だけでなく、他の部品（例えば、ワークピースや機械部品など）の欠陥検出にも使用できる。

【0037】

図１は、本願実施例で提供される欠陥検出システムの１つのシステムアーキテクチャの概略図であり、図１に示すように、欠陥検出システム１００はサーバ１０及び端末機器２０を含み、サーバ１０と端末機器２０はネットワークを介して接続される。端末機器２０は、テンプレート画像の第１特徴マップ、及び検出対象画像の第２特徴マップを取得し、第１特徴マップにおける各第１特徴点に対して、第１特徴マップにおける複数の第１特徴点から、前記第１特徴点との距離が所定条件を満たす複数の関連特徴点を決定し、第１特徴点ごとに、決定された第１特徴点の各関連特徴点と第２特徴マップにおける目標第２特徴点との間の類似度に基づいて、前記第１特徴点に対して特徴強調処理を実行し、ここで、目標第２特徴点は、前記第２特徴マップにおける位置が前記第１特徴点とマッチングする第２特徴点であり、第２特徴マップ、及び特徴強調処理後の第１特徴マップに基づいて、検出対象画像に対応する欠陥検出結果を決定するように構成される。サーバ１０は、テンプレート画像及びテンプレート画像の第１特徴マップを記憶し、又は、端末機器２０の取得要求に応じて、端末機器２０に、必要なテンプレート画像及びテンプレート画像の第１特徴マップを送信するように構成される。

【0038】

いくつかの実施例では、端末機器２０は、テンプレート画像及びテンプレート画像の第１特徴マップを取得した後、テンプレート画像及びテンプレート画像の第１特徴マップの両方をサーバ１０に送信してバックアップすることにより、他の端末機器が、サーバ１０から当該テンプレート画像及び当該テンプレート画像の第１特徴マップを直接取得して欠陥検出を実行するようにすることができ、これによって、他の端末機器が欠陥検出を実行するときの検出効率を向上させることができる。

【0039】

別のいくつかの実施例では、端末機器２０が必要とするテンプレート画像及びテンプレート画像の第１特徴マップがサーバ１０に、既に記憶されている場合、端末機器２０は、サーバ１０から必要なテンプレート画像及び当該テンプレート画像の第１特徴点を直接取得することができ、これによって、端末機器２０が欠陥検出を実行するときの検出効率を向上させることができる。

【0040】

以下では、ＰＣＢに対して欠陥検出を実行することを例として、本願実施例で提供される欠陥検出方法を詳細に説明する。

【0041】

図２に示すように、図２は、本願実施例で提供される欠陥検出方法のフローチャートであり、前記欠陥検出方法は、ステップＳ１０１～ステップＳ１０４を含む。

【0042】

ステップＳ１０１において、テンプレート画像の第１特徴マップ、及び検出対象画像の第２特徴マップを取得する。

【0043】

ステップＳ１０２において、前記第１特徴マップにおける第１特徴点ごとに、前記第１特徴マップにおける複数の第１特徴点から、前記第１特徴点との距離が所定条件を満たす複数の関連特徴点を決定する。

【0044】

ステップＳ１０３において、前記第１特徴点ごとに、決定された前記第１特徴点の各関連特徴点と前記第２特徴マップにおける目標第２特徴点との間の類似度に基づいて、前記第１特徴点に対して特徴強調処理を実行し、ここで、前記目標第２特徴点は、前記第２特徴マップにおける位置が前記第１特徴点とマッチングする第２特徴点である。

【0045】

ステップＳ１０４において、前記第２特徴マップ、及び特徴強調処理後の前記第１特徴マップに基づいて、前記検出対象画像に対応する欠陥検出結果を決定する。

【0046】

以下では、上記のステップＳ１０１～ステップＳ１０４を詳細に説明する。

【0047】

上記のステップＳ１０１において、テンプレート画像は、ＰＣＢに対して欠陥検出を実行するときに使用される、合格ＰＣＢを撮像した画像を指す。検出対象画像は、検出対象となるＰＣＢを撮った画像を指す。

【0048】

テンプレート画像の第１特徴マップ及び検出対象画像の第２特徴マップを取得する場合、例えば、特徴抽出ニューラルネットワークを用いてテンプレート画像及び検出対象画像に対して特徴抽出を実行して、テンプレート画像の第１特徴マップ及び検出対象画像の第２特徴マップを取得することができる。

【0049】

１つの可能な実施形態では、同じＰＣＢの検出対象画像に対して欠陥検出処理を実行する場合、使用されるテンプレート画像はすべて同じものであるため、テンプレート画像から第１特徴マップを１回だけ抽出し、第１特徴マップを保存することができる。複数の検出対象画像のそれぞれに対して欠陥検出処理を実行するプロセスにおいて、テンプレート画像の第１特徴マップが既に存在している場合、第１特徴マップが記憶されている記憶位置から第１特徴マップを読み取ればよく、特徴抽出ネットワークを用いて処理対象画像に対して特徴抽出処理を実行して、各処理対象画像の第２特徴マップを取得することができる。

【0050】

上記のステップＳ１０２において、具体的な実施では、第１特徴点との距離が所定条件を満たす関連特徴点は、例えば、第１特徴マップにおいて、第１特徴点との距離が所定の特定の距離閾値Ｌより小さい第１特徴点である。

【0051】

例示的に、当該距離Ｌは、例えば、Ｌ１距離、Ｌ２距離、ユークリッド距離、又はマンハッタン距離のうちのいずれか１つである。

【0052】

第１特徴点ごとに複数の関連特徴点が決定される場合、第１特徴マップにおける所定条件を満たす全ての第１特徴点を当該関連特徴点として決定してもよいし、第１特徴マップにおける所定条件を満たす全ての第１特徴点を候補特徴点として使用してもよく、その後、ランダムサンプリング、又は均一間隔サンプリングにより、複数の候補特徴点から複数の関連特徴点を決定してもよい。

【0053】

上記のステップＳ１０３では、第１特徴点のそれぞれについて、当該第１特徴点の目標第２特徴点は、第２特徴マップにおける位置が当該第１特徴点とマッチングする第２特徴点である。

【0054】

例示的に、第１特徴マップ及び第２特徴マップのサイズはｍ×ｎである場合、第１特徴マップは、

として表され、第２特徴マップは、

として表される。

【0055】

任意の第１特徴マップ

の場合、その位置とマッチングする目標第２特徴点は、

である。

【0056】

第１特徴点の位置とマッチングする目標第２特徴点を決定した後、当該第１特徴点の各関連特徴点と当該目標第２特徴点との間の類似度を決定する必要がある。

【0057】

図３に示すように、本願実施例は、各関連特徴点と目標第２特徴点との間の類似度を決定する具体的な方法を更に提供し、前記方法は、次のステップを含む。

【0058】

ステップＳ２０１において、前記第１特徴マップにおける前記各関連特徴点の位置、及び所定の距離閾値に基づいて、前記各関連特徴点に対応する第１特徴サブマップを取得する。

【0059】

ステップＳ２０２において、前記第２特徴マップにおける前記目標第２特徴点の位置、及び前記距離閾値に基づいて、前記目標第２特徴点に対応する第２特徴サブマップを取得する。

【0060】

ステップＳ２０３において、前記第１特徴サブマップ、及び前記第２特徴サブマップに基づいて、前記各関連特徴点と前記目標第２特徴点との間の類似度を決定する。

【0061】

ここで、上記のステップＳ２０１とステップＳ２０２との間には論理的な先後関係がない。

【0062】

１つの可能な実施形態では、任意の関連特徴点に対応する第１特徴サブマップを決定する場合、例えば、前記第１特徴マップにおいて、当該任意の関連特徴点を円心とし且つ当該所定の距離閾値を半径とした第１円形領域を決定し、前記第１特徴マップ上の当該第１円形領域内の第１特徴点に基づいて、前記第１特徴サブマップを取得してもよい。

【0063】

ここで、第１特徴サブマップにおける第１特徴点は、第１円形領域内にある全ての第１特徴点を含んでもよいし、第１円形領域内にある第１特徴点の一部のみを含んでもよい。

【0064】

同様に、目標第２特徴点に対応する第２特徴サブマップを決定する場合、例えば、第２特徴マップにおいて、前記目標第２特徴点を円心とし且つ当該所定の距離閾値を半径とした第２円形領域を決定し、前記第２特徴マップ上の当該第２円形領域内の第２特徴点に基づいて、前記第２特徴サブマップを取得してもよい。

【0065】

同様に、第２特徴サブマップにおける第２特徴点は、第２円形領域内にある全ての第２特徴点を含んでもよいし、第２円形領域内にある第２特徴点の一部のみを含んでもよい。

【0066】

例示的に、第１特徴サブマップにおける第１特徴点が、第１円形領域内にある第１特徴点の一部のみを含む場合、第２特徴サブマップにおける第２特徴点も、第２円形領域内にある第２特徴点の一部のみを含み、第１特徴サブマップにおける第１特徴点の位置と第２特徴サブマップにおける第２特徴点の位置は１対１でマッチングする。

【0067】

別の可能な実施形態では、任意の関連特徴点に対応する第１特徴サブマップを決定する場合、例えば、前記距離閾値に基づいて、目標辺長を決定し、前記第１特徴マップにおいて、前記各関連特徴点を中心とし且つ決定された前記目標辺長を辺長とした第１正方形領域を決定し、前記第１特徴マップ上の前記第１正方形領域内の第１特徴点に基づいて、前記第１特徴サブマップを取得してもよい。

【0068】

ここで、目標辺長は、例えば、２Ｒ＋１という条件を満たし、ここで、Ｒは上記の距離閾値を表す。

【0069】

関連特徴点に対応する第１特徴サブマップを決定する場合、第１特徴サブマップに含まれる第１特徴点は、第１正方形領域内にある全ての第１特徴点を含んでもよいし、第１正方形領域内にある第１特徴点の一部のみを含んでもよい。

【0070】

同様に、目標第２特徴点に対応する第２特徴サブマップを決定する場合、例えば、前記第２特徴マップにおいて、前記各目標第２特徴点を中心とし且つ決定された前記目標辺長を辺長とした第２正方形領域を決定し、前記第２特徴マップ上の前記第２正方形領域内の第２特徴点に基づいて、前記第２特徴サブマップを取得してもよい。

【0071】

目標第２特徴点に対応する第２特徴サブマップを決定する場合、第２特徴サブマップに含まれる第２特徴点は、例えば、第２正方形領域内にある全ての第２特徴点を含んでもよいし、第２正方形領域内にある第２特徴点の一部のみを含んでもよい。

【0072】

第１特徴サブマップ及び第２特徴サブマップを取得した後、第１特徴サブマップに基づいて関連特徴点と目標第２特徴点との間の類似度を決定する。

【0073】

例示的に、任意の第１特徴点に対応する関連特徴点の数がＮである場合、ｎ番目の関連特徴点と目標第２特徴点との間の類似度の正規化相関係数

は、以下の式（１）を満たす。

【0074】

（１）

【0075】

ここで、

は第１特徴サブマップを表し、

は第２特徴サブマップを表し、

は、第１特徴サブマップと第２特徴サブマップの行列乗算を表し、

は、行列における全ての要素の要素値の合計を表す。正規化相関係数の範囲は［－１，１］であり、この係数の値が高いほど、関連特徴点と目標第２特徴点との類似度がより高いことを意味する。

【0076】

上記のステップＳ１０３では、例えば、前記第１特徴点の前記各関連特徴点と前記目標第２特徴点との間の類似度、及び前記第１特徴点の複数の前記関連特徴点のそれぞれに対応する特徴値に基づいて、前記第１特徴点に対して特徴強調処理を実行することができる。

【0077】

具体的な実施では、例示的に、第１特徴点に対して特徴強調処理を実行する場合に、例えば、次の方式を採用することができる。

【0078】

前記各関連特徴点と目標第２特徴点との間の類似度に基づいて、複数の前記関連特徴点のそれぞれに対応する特徴値を加重加算して、第１合計値を取得し、複数の関連特徴点のそれぞれに対応する類似度を加重加算して、第２合計値を取得し、前記第１合計値と前記第２合計値との比率を、前記第１特徴点に対して特徴強調処理を実行した後の前記第１特徴点の特徴値として使用する。

【0079】

例示的に、任意の第１特徴点について、当該任意の第１特徴点の特徴強調処理後の特徴値

は以下の式（２）を満たす。

【0080】

（２）

【0081】

ここで、

は、ｎ番目の関連特徴点に対応する特徴値を表す。

【0082】

第１特徴マップにおける全ての第１特徴点に対して特徴強調処理を実行した後、特徴強調処理後の第１特徴マップを取得する。

【0083】

画像において互いに位置が近い画素点によって表される対象が同じ対象である場合、画素点の画素値は比較的類似している。任意の特徴点に対して特徴強調処理を実行するプロセスにおいて、当該任意の特徴点の関連特徴点と第２特徴マップにおける目標第２特徴点との間の類似度が比較的高い場合、当該関連特徴点と目標第２特徴点が同じ対象を表す可能性が比較的高いことを意味し、類似度が比較的低い場合、当該関連特徴点と目標第２特徴点が同じ対象を表す可能性が比較的低いことを意味する。したがって、関連特徴点と目標第２特徴点との間の類似度を用いて第１特徴点に対して特徴強調処理を実行することで、検出対象画像の収集ノイズ、マッチング誤差、及び製造誤差による、第１特徴点と目標第２特徴点との間の差異を低減し、検出対象画像及びテンプレート画像を突き合わせるときの、上記の誤差によるエラーの発生を低減する。

【0084】

第２特徴マップ、及び特徴強調処理後の第１特徴マップに基づいて、検出対象画像に対応する欠陥検出結果を決定する場合、例えば、所定の分割サイズ及び所定の移動ステップ幅に従って、第１特徴マップを複数の小さい第１サブマップに分割し、第２特徴マップを複数の小さい第２サブマップに分割することができる。

【0085】

各第１サブマップについて、複数の第２サブマップから、当該第１サブマップの位置に対応する目標第２サブマップを決定し、第１サブマップと対応する目標第２サブマップとの間の類似度を計算し、両者間の類似度が所定の類似度閾値より大きい場合、それは、検出対象画像において、当該目標第２サブマップに対応する領域に欠陥が存在しないことを意味し、当該両者間の類似度が当該所定の類似度閾値以下である場合、それは、検出対象画像において、当該目標第２サブマップに対応する領域に欠陥が存在することを意味する。

【0086】

本願の別の実施例では、他の方法を使用して検出対象画像に対して欠陥検出を実行してもよく、例えば、事前に訓練された欠陥検出ニューラルネットワークを用い、強調後の第１特徴マップ及び第２特徴マップを当該欠陥検出ニューラルネットワークの入力として使用して、検出対象画像的欠陥検出結果を取得する。

【0087】

例示的に、本願実施例は、第２特徴マップ、及び特徴強調処理後の前記第１特徴マップに基づいて、前記検出対象画像に対応する欠陥検出結果を決定する具体的な例を提供し、前記第２特徴マップ、及び特徴強調処理後の前記第１特徴マップに基づいて、前記検出対象画像に対応する欠陥検出結果を決定することは、
前記第２特徴マップ、及び前記強調処理後の前記第１特徴マップに基づいて、前記第２特徴マップのアテンションマスク画像を生成することであって、前記アテンションマスク画像における任意の画素点の画素値は、前記第２特徴マップにおける位置が前記任意の第１画素点とマッチングする第２特徴点に欠陥があることを表す異常度値を表す、ことと、前記アテンションマスク画像、及び前記強調処理後の前記第１特徴マップに基づいて、前記検出対象画像に対応する欠陥検出結果を決定することと、を含む。

【0088】

具体的な実施では、例えば、次の方式により、第２特徴マップに対応するアテンションマスク画像を取得することができる。第２特徴マップにおける各第２特徴点について、第１特徴マップの複数の第１特徴点から、当該第２特徴点に対応する複数の関連特徴点を決定し、ここで、当該第２特徴点に対応する各関連特徴点と、当該第２特徴点の位置とマッチングする目標第１特徴点との間の距離が所定条件を満たし、当該第２特徴点と各関連特徴点との間の類似度に基づいて、当該第２特徴点の異常度値を決定し、第２特徴マップにおける各第２特徴点の異常度値に基づいて、第２特徴マップに対応するアテンションマスク画像を決定する。

【0089】

ここで、第２特徴点に対応する関連特徴点の具体的な決定方式、及び第２特徴点と関連特徴点との間の類似度を決定する方式は、上記のステップＳ１０２及びステップＳ１０３における関連特徴点を決定する方式と同様である。

【0090】

第２特徴点と各関連特徴点との間の類似度を決定した後、例えば、複数の関連特徴点のそれぞれと当該第２特徴点との間の最大類似度を決定し、前記最大類似度に基づいて、当該第２特徴点の異常度値を決定することができる。

【0091】

任意の第２特徴点の異常度値Ｓは、例えば、次の式（３）を満たす。

【0092】

（３）

【0093】

ここで、Ｈは最大類似度を表す。

は所定係数であり、例えば、１や０．５などにしてもよい。具体的には、実際の必要に応じて設定することができる。

【0094】

別の例として、複数の関連特徴点のそれぞれと当該第２特徴点との間の類似度に基づいて、類似度平均値を決定し、当該類似度平均値に基づいて、当該第２特徴点の異常度値を決定することができる。

【0095】

第２特徴マップにおける各第２特徴点に対応する異常度値を決定した後、前記第２特徴マップにおける各第２特徴点に対応する異常度値に基づいて、前記アテンションマスク画像を取得し、この場合、例えば、全ての第２特徴点のそれぞれに対応する異常度値で構成された画像をアテンションマスク画像として使用することができる。

【0096】

アテンションマスク画像を取得した後、例えば、次の方式により、前記アテンションマスク画像、及び前記強調処理後の前記第１特徴マップに基づいて、前記検出対象画像に対応する欠陥検出結果を決定することができる。

【0097】

前記アテンションマスク画像と前記強調処理後の前記第１特徴マップに対して合併処理を実行して、合併特徴マップを取得し、前記アテンションマスク画像及び前記合併特徴マップに対して特徴融合処理を実行して、特徴融合画像を取得し、前記特徴融合画像に基づいて、前記検出対象画像に対応する欠陥検出結果を決定する。

【0098】

具体的な実施では、例えば、特徴強調画像と第２特徴マップを重ね合わせて、合併特徴マップを取得することができる。

【0099】

アテンションマスク画像及び合併特徴マップに基づいて特徴融合画像を取得する場合、例えば、アテンションマスク画像と合併特徴マップを行列乗算して、特徴融合画像を取得することができる。

【0100】

特徴融合画像を取得した後、例えば、特徴融合画像を事前に訓練された検出ネットワークに入力して、特徴融合画像に対して欠陥検出処理を実行して、検出対象画像に対応する欠陥検出結果を取得することができる。本願実施例で提供される検出ネットワークは、例えば、ＦＣＯＳ（ＦｕｌｌｙＣｏｎｖｏｌｕｔｉｏｎａｌＯｎｅ－ＳｔａｇｅＯｂｊｅｃｔＤｅｔｅｃｔｉｏｎ）ネットワークを採用する。ここで、ＦＣＯＳネットワークは、欠陥のカテゴリ、欠陥の中心度、第１特徴マップにおける欠陥枠の位置を検出することができる。

【0101】

ここで、欠陥の中心度は、第１特徴マップにおける特定の特徴点が欠陥枠の中心である確率を表す。

【0102】

第１特徴マップにおける欠陥枠の位置は、第１特徴マップに存在する欠陥の位置を指示する。

【0103】

本願実施例によれば、テンプレート画像の第１特徴マップ及び検出対象画像の第２特徴マップを取得し、第１特徴マップにおける第１特徴点ごとに、第１特徴マップから、前記第１特徴点との距離が所定条件を満たす複数の関連特徴点を決定し、第１特徴点ごとに、決定された当該第１特徴点の関連特徴点と、第２特徴マップにおける当該第１特徴点の位置とマッチングする目標第２特徴点との間の類似度に基づいて、当該第１特徴点に対して特徴強調処理を実行し、第１特徴マップにおける全ての第１特徴点に対して特徴強調処理を実行した後、特徴強調処理後の第１特徴マップ及び第２特徴マップに基づいて、検出対象画像に対応する欠陥検出結果を決定する。このプロセスでは、各第１特徴マップにおける各第１特徴点に対して特徴強調処理を実行することにより、検出対象画像の収集ノイズ、マッチング誤差及び製造誤差による、検出対象画像とテンプレート画像との差異を減らし、検出対象画像の欠陥検出精度を向上させる。

【0104】

本願実施例で提供される欠陥検出方法は、産業用画像関連又は人工知能（ＡＩ：ａｒｔｉｆｉｃｉａｌｉｎｔｅｌｌｉｇｅｎｃｅ）教育などの技術分野に適用することができ、例えば、具体的には、産業用画像処理や埋め込み型画像検出に適用することができる。

【0105】

当業者なら自明であるが、上記の具体的な実施形態における方法において、各ステップの順序は、実施プロセスを限定する厳密な実行順序を意味するのではなく、各ステップの具体的な実行順序は、その機能と可能な内部ロジックによって決定する必要がある。

【0106】

同じ発明構想に基づき、本願実施例は、欠陥検出方法に対応する欠陥検出装置を更に提供し、本願実施例における装置の原理は、本願実施例に記載の欠陥検出方法と類似するため、装置の実施は方法の実施を参照することができる。

【0107】

図４を参照すると、図４は、本願実施例で提供される欠陥検出装置の概略図であり、前記欠陥検出装置は、取得部３１、決定部３２、特徴強調処理部３３、及び検出部３４を備え、
前記取得部３１は、テンプレート画像の第１特徴マップ、及び検出対象画像の第２特徴マップを取得するように構成され、
前記決定部３２は、前記第１特徴マップにおける第１特徴点ごとに、前記第１特徴マップにおける複数の第１特徴点から、前記第１特徴点との距離が所定条件を満たす複数の関連特徴点を決定するように構成され、
前記特徴強調処理部３３は、前記第１特徴点ごとに、決定された前記第１特徴点の各関連特徴点と前記第２特徴マップにおける目標第２特徴点との間の類似度に基づいて、前記第１特徴点に対して特徴強調処理を実行するように構成され、ここで、前記目標第２特徴点は、前記第２特徴マップにおける位置が前記第１特徴点とマッチングする第２特徴点であり、
前記検出部３４は、特徴強調処理後の前記第１特徴マップ、及び前記第２特徴マップに基づいて、前記検出対象画像に対応する欠陥検出結果を決定するように構成される。

【0108】

１つの可能な実施形態では、前記欠陥検出装置は更に、類似度決定部３５を備え、前記類似度決定部３５は、前記第１特徴マップにおける前記各関連特徴点の位置、及び所定の距離閾値に基づいて、前記各関連特徴点に対応する第１特徴サブマップを取得し、前記第２特徴マップにおける前記目標第２特徴点の位置、及び前記距離閾値に基づいて、前記目標第２特徴点に対応する第２特徴サブマップを取得し、前記第１特徴サブマップ、及び前記第２特徴サブマップに基づいて、前記各関連特徴点と前記目標第２特徴点との間の類似度を決定するように構成される。

【0109】

１つの可能な実施形態では、前記類似度決定部３５は更に、前記第１特徴マップにおいて、前記各関連特徴点を円心とし且つ前記距離閾値を半径とした第１円形領域を決定し、前記第１特徴マップにおける前記第１円形領域内の第１特徴点に基づいて、前記第１特徴サブマップを取得し、前記第２特徴マップにおいて、前記目標第２特徴点を円心とし且つ前記距離閾値を半径とした第２円形領域を決定し、前記第２特徴マップ上の前記第２円形領域内の第２特徴点に基づいて、前記第２特徴サブマップを取得するように構成される。

【0110】

１つの可能な実施形態では、前記類似度決定部３５は更に、前記距離閾値に基づいて、目標辺長を決定し、前記第１特徴マップにおいて、前記各関連特徴点を中心とし且つ決定された前記目標辺長を辺長とした第１正方形領域を決定し、前記第１特徴マップ上の前記第１正方形領域内の第１特徴点に基づいて、前記第１特徴サブマップを取得し、前記第２特徴マップにおいて、前記目標第２特徴点を中心とし且つ決定された前記目標辺長を辺長とした第２正方形領域を決定し、前記第２特徴マップ上の前記第２正方形領域内の第２特徴点に基づいて、前記第２特徴サブマップを取得するように構成される。

【0111】

１つの可能な実施形態では、前記特徴強調処理部３３は更に、前記第１特徴点の前記各関連特徴点と前記目標第２特徴点との間の類似度、及び前記第１特徴点の複数の前記関連特徴点のそれぞれに対応する特徴値に基づいて、前記第１特徴点に対して特徴強調処理を実行するように構成される。

【0112】

１つの可能な実施形態では、前記特徴強調処理部３３は更に、前記各関連特徴点と前記目標第２特徴点との間の類似度に基づいて、複数の前記関連特徴点のそれぞれに対応する特徴値を加重加算して、第１合計値を取得し、複数の前記関連特徴点のそれぞれに対応する類似度を加重加算して、第２合計値を取得し、前記第１合計値と前記第２合計値との比率を、前記第１特徴点に対して特徴強調処理を実行した後の前記第１特徴点の特徴値として使用するように構成される。

【0113】

１つの可能な実施形態では、前記検出部３４は更に、前記第２特徴マップ、及び前記強調処理後の前記第１特徴マップに基づいて、前記第２特徴マップのアテンションマスク画像を生成し、ここで、前記アテンションマスク画像における任意の画素点の画素値は、前記第２特徴マップにおける位置が前記任意の第１画素点とマッチングする第２特徴点に欠陥があることを表す異常度値であり、前記アテンションマスク画像、及び前記強調処理後の前記第１特徴マップに基づいて、前記検出対象画像に対応する欠陥検出結果を決定するように構成される。

【0114】

１つの可能な実施形態では、前記検出部３４は更に、前記アテンションマスク画像と前記強調処理後の前記第１特徴マップに対して合併処理を実行して、合併特徴マップを取得し、前記アテンションマスク画像及び前記合併特徴マップに対して特徴融合処理を実行して、特徴融合画像を取得し、前記特徴融合画像に基づいて、前記検出対象画像に対応する欠陥検出結果を決定するように構成される。

【0115】

装置の各構成要素の処理過程、及び各構成要素間のインタラクション過程に関する説明は、上記の方法の実施例の関連する説明を参照することができ、ここでは詳しく説明しない。

【0116】

本願実施例及び他の実施例において、「…部」は、部分回路、部分プロセッサ、部分プログラム又はソフトウェア等であってもよく、もちろん、ユニットであってもよく、モジュール又は非モジュール化のものであってもよいことを理解することができる。

【0117】

本願実施例は、電子機器３０（即ち、上記の端末機器２０）を更に提供し、図５に示すように、図５は、本願実施例で提供される電子機器３０の概略構造図であり、前記電子機器３０は、
プロセッサ１１及びメモリ１２を備え、前記メモリ１２には、前記プロセッサ１１によって実行可能な機械可読命令が記憶されており、電子機器が動作するときに、前記機械可読命令が、前記プロセッサに、
テンプレート画像の第１特徴マップ、及び検出対象画像の第２特徴マップを取得し、
前記第１特徴マップにおける第１特徴点ごとに、前記第１特徴マップにおける複数の第１特徴点から、前記第１特徴点との距離が所定条件を満たす複数の関連特徴点を決定し、
前記第１特徴点ごとに、決定された前記第１特徴点の各関連特徴点と前記第２特徴マップにおける目標第２特徴点との間の類似度に基づいて、前記第１特徴点に対して特徴強調処理を実行し、ここで、前記目標第２特徴点は、前記第２特徴マップにおける位置が前記第１特徴点とマッチングする第２特徴点であり、
特徴強調処理後の前記第１特徴マップ、及び前記第２特徴マップに基づいて、前記検出対象画像に対応する欠陥検出結果を決定する、ステップを実行させる。

【0118】

上記の命令の具体的な実行プロセスは、本願実施例における欠陥検出方法のステップを参照することができる。

【0119】

本願実施例はコンピュータ可読記憶媒体を更に提供し、当該コンピュータ可読記憶媒体にはコンピュータプログラムが記憶されており、当該コンピュータプログラムがプロセッサに、上記の方法の実施例に記載の欠陥検出方法のステップを実行させる。ここで、当該記憶媒体は、揮発性又は不揮発性コンピュータ可読記憶媒体であってもよい。

【0120】

本願実施例で提供される欠陥検出方法のコンピュータプログラム製品は、プログラムコードが記憶されているコンピュータ可読記憶媒体を含み、前記プログラムコードに含まれた命令は、上記の方法の実施例における欠陥検出方法のステップを実行するために使用され、その詳細については、上記の方法の実施例を参照されたい。

【0121】

本願実施例はコンピュータプログラムを更に提供し、当該コンピュータプログラムがプロセッサに、上記の実施例における任意の方法を実行させる。当該コンピュータプログラム製品は、具体的には、ハードウェア、ソフトウェア、またはそれらの組み合わせによって実現できる。１つの可能な実施例において、前記コンピュータプログラム製品は、具体的には、コンピュータ記憶媒体として具現され、別の可能な実施例において、コンピュータプログラム製品は、具体的には、ソフトウェア開発キット（ＳＤＫ：ＳｏｆｔｗａｒｅＤｅｖｅｌｏｐｍｅｎｔＫｉｔ）などのソフトウェア製品として具現される。

【0122】

当業者なら明確に理解できるが、説明の便宜上及び簡潔にするために、上記のシステム、装置の具体的な作業プロセスは、上記の方法の実施例における対応するプロセスを参照することができる。本願で提供されたいくつかの実施例において、開示されたシステム、装置及び方法は、他の方式で実現できることを理解されたい。上記の装置の実施例は例示的なものに過ぎず、例えば、前記モジュールの分割は、論理機能の分割に過ぎず、実際の実現では、他の分割方法があり、例えば、複数のモジュール又はコンポーネントを別のシステムに統合又は集積したり、又は一部の特徴を無視したり、又は実行しないことができる。なお、表示又は議論された相互結合又は直接結合又は通信接続は、電気的、機械的又は他の形態の一部の通信インターフェース、装置又はモジュールを介した間接的な結合又は通信接続であり得る。

【0123】

前記分離部材として説明したユニットは、物理的に分離されている場合とされていない場合があり、ユニットとして表示された部材は、物理ユニットである場合もそうでない場合もあり、１箇所に配置される場合もあれば、複数のネットワークユニットに分散される場合もある。実際の必要に応じて、その中のユニットの一部又は全部を選択して本実施例の解決策の目的を達成することができる。

【0124】

更に、本願の各実施例における各機能ユニットを１つの処理ユニットに統合してもよいし、各ユニットが物理的に別個のものとして存在してもよいし、あるいは、２つ以上のユニットを１つのユニットに統合してもよい。

【0125】

前記機能が、ソフトウェア機能ユニットの形で実現され、独立した製品として販売又は使用される場合、プロセッサによって実行可能な不揮発性コンピュータ可読記憶媒体に記憶されることができる。このような理解に基づいて、本願の技術的解決策の本質的な部分、すなわち、先行技術に貢献のある部分、又は前記技術的解決策の一部は、ソフトウェア製品の形で具現されることができ、当該コンピュータソフトウェア製品は、１つの記憶媒体に記憶され、コンピュータ機器（パーソナルコンピュータ、サーバ、又はネットワーク機器等であり得る）に、本願の各実施例に記載の方法のステップの全部又は一部を実行させるためのいくつかの命令を含む。

【0126】

コンピュータ可読記憶媒体は、命令実行機器によって使用される命令を保持及び記憶することができる有形機器（揮発性記憶媒体又は不揮発性記憶媒体であり得る）であってもよい。コンピュータ可読記憶媒体は、例えば、電気記憶機器、磁気記憶機器、光学記憶機器、電磁記憶機器、半導体記憶機器又は前述の任意の適切な組み合わせであり得るが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例（非網羅的一覧）としては、Ｕディスク、磁気ディスク、光ディスク、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、機械的符号化機器（例えば、命令が記憶されたパンチカード又は溝内の凹状構造）、及び前述の任意の適切な組み合わせを含む。ここで使用されるコンピュータ可読記憶媒体は、電波や自由に伝播される他の電磁波、導波管や他の伝播媒体を介して伝播される電磁波（光ファイバーケーブルを介した光パルスなど）、又はワイヤを介して伝送される電子信号などの、一時的な信号として解釈されてはならない。

【0127】

最後に留意されたいのは、上記の実施例は、本願の技術的解決策を説明するための特定の実施形態に過ぎず、本願を限定するものではなく、本願の保護範囲はこれに限定されない。上記の実施例を参照して本願を詳細に説明したが、当業者なら自明であるが、当業者は、本願に開示された技術的範囲内で、上記の各実施例に記載の技術的解決策に対して修正を行うか、その変形を容易に想到し得るか、又はその技術的特徴の一部を同等置換することができ、これらの修正、変形又は置換は、対応する技術的解決策の本質を、本願の各実施例の技術的解決策の趣旨及び範囲から逸脱させるものではなく、本願の保護範囲に含まれるべきである。したがって、本願の保護範囲は、特許請求の範囲の保護範囲に従うものとする。

【産業上の利用可能性】

【0128】

【図1】