特許 7453552 欠陥評価方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-12

(45)【発行日】2024-03-21

(54)【発明の名称】欠陥評価方法及びプログラム

(51)【国際特許分類】

   G01N 21/88 20060101AFI20240313BHJP

【ＦＩ】

G01N21/88 J

【請求項の数】 9

(21)【出願番号】P 2020202952

(22)【出願日】2020-12-07

(65)【公開番号】P2022090513

(43)【公開日】2022-06-17

【審査請求日】2022-12-07

(73)【特許権者】

【識別番号】518232168

【氏名又は名称】ダイトロン株式会社

(74)【代理人】

【識別番号】110003395

【氏名又は名称】弁理士法人蔦田特許事務所

(72)【発明者】

【氏名】北田 啓順

(72)【発明者】

【氏名】立澤 拓也

【審査官】清水 靖記

(56)【参考文献】

【文献】特開２０２０－０９８１０８（ＪＰ，Ａ）

【文献】特開２０１２－０２６９８２（ＪＰ，Ａ）

【文献】特開２００３－３４４３０９（ＪＰ，Ａ）

【文献】国際公開第２０２０／１５８６３０（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２１／８４ － Ｇ０１Ｎ ２１／９５８

Ｇ０６Ｔ ７／００ － Ｇ０６Ｔ ７／９０

Ｇ０６Ｎ ２０／００ － Ｇ０６Ｎ ２０／２０

Ｇ０１Ｂ １１／００ － Ｇ０１Ｂ １１／３０

Ｇ０１Ｎ ２３／００ － Ｇ０１Ｎ ２３／２２７６

Ｇ０１Ｂ １５／００ － Ｇ０１Ｂ １５／０８

(57)【特許請求の範囲】

【請求項1】

評価対象物を撮像して得た撮像画像に基づいて、前記評価対象物に発生している欠陥を評価する欠陥評価方法において、
前記撮像画像から前記評価対象物に発生している欠陥の評価を行う評価対象領域を抽出し、第１欠陥の形状を学習した第１のディープニューラルネットワークを用いて、前記評価対象領域から前記第１欠陥に対応する画素領域である第１欠陥領域を取得し、
前記評価対象領域から前記第１欠陥領域を除外した評価実施領域を設定し、
前記評価実施領域から第２欠陥に対応する画素領域である第２欠陥領域を取得し、
取得した前記第２欠陥領域の属性に基づいて、ルールベースシステムを用いて前記評価対象物に発生している欠陥を評価する欠陥評価方法であって、
前記評価対象物が、基板であり、
前記第１欠陥が、前記基板のランドに形成されたプローブ痕であり、
前記ランドに対応する画素領域を、前記評価対象領域として抽出する欠陥評価方法。

【請求項2】

評価対象物を撮像して得た撮像画像に基づいて、前記評価対象物に発生している欠陥を評価する欠陥評価方法において、
前記撮像画像から前記評価対象物に発生している欠陥の評価を行う評価対象領域を抽出し、第１欠陥の形状を学習した第１のディープニューラルネットワークを用いて、前記評価対象領域から前記第１欠陥に対応する画素領域である第１欠陥領域を取得し、
前記評価対象領域から前記第１欠陥領域を除外した評価実施領域を設定し、
前記評価実施領域から第２欠陥に対応する画素領域である第２欠陥領域を取得し、
取得した前記第２欠陥領域の属性に基づいて、ルールベースシステムを用いて前記評価対象物に発生している欠陥を評価する欠陥評価方法であって、
前記第１のディープニューラルネットワークにより前記撮像画像又は前記評価対象領域から前記第１欠陥に対応する画素領域を決定し、決定した画素領域を所定量拡張した領域を前記第１欠陥領域とする欠陥評価方法。

【請求項3】

評価対象物を撮像して得た撮像画像に基づいて、前記評価対象物に発生している欠陥を評価する欠陥評価方法において、
第１欠陥の形状を学習した第１のディープニューラルネットワークを用いて、前記撮像画像から前記第１欠陥に対応する画素領域である第１欠陥領域を取得し、
前記撮像画像から前記第１欠陥領域を除外した評価実施領域を設定し、
前記評価実施領域から第２欠陥に対応する画素領域である第２欠陥領域を取得し、
取得した前記第２欠陥領域の属性に基づいて、ルールベースシステムを用いて前記評価対象物に発生している欠陥を評価する欠陥評価方法であって、
前記第１欠陥の形状を学習した第１のディープニューラルネットワークを用いて、前記第１欠陥の重心位置に対応する画素領域である重心領域を取得し、前記重心領域を開始点とする領域拡張法を用いて前記第１欠陥領域を取得する欠陥評価方法。

【請求項4】

評価対象物を撮像して得た撮像画像に基づいて、前記評価対象物に発生している欠陥を評価する欠陥評価方法において、
第１欠陥の形状を学習した第１のディープニューラルネットワークを用いて、前記撮像画像から前記第１欠陥に対応する画素領域である第１欠陥領域を取得し、
前記撮像画像から前記第１欠陥領域を除外した評価実施領域を設定し、
前記評価実施領域から第２欠陥に対応する画素領域である第２欠陥領域を取得し、
取得した前記第２欠陥領域の属性に基づいて、ルールベースシステムを用いて前記評価対象物に発生している欠陥を評価する欠陥評価方法であって、
前記第２欠陥の形状を学習した第２のディープニューラルネットワークを用いて、前記第２欠陥の重心位置に対応する画素領域である重心領域を取得し、前記重心領域を開始点とする領域拡張法を用いて前記第２欠陥領域を取得する欠陥評価方法。

【請求項5】

前記撮像画像から、前記ランドの位置を取得し、
事前に形状及び大きさが設定された領域を、前記撮像画像における前記ランドの位置に対応させて、前記評価対象領域とする請求項１に記載の欠陥評価方法。

【請求項6】

所定の条件を満たした際に、前記第１のディープニューラルネットワークに前記プローブ痕である前記第１欠陥の形状を再学習させ、
前記再学習において、前回の再学習のとき以降の欠陥評価に使用した撮像画像を教師データとして使用する請求項１又は５に記載の欠陥評価方法。

【請求項7】

前記領域拡張法において、
検査領域内から前記第１欠陥または前記第２欠陥に対応する画素領域である欠陥候補領域を検出する欠陥候補領域検出ステップと、
検出された前記欠陥候補領域を拡張したものを新たな検査領域とする検査領域更新ステップと、を順次繰り返し実行し、
直近の前記欠陥候補領域検出ステップにおいて検出された前記欠陥候補領域と、その前回の前記欠陥候補領域検出ステップにおいて検出された前記欠陥候補領域との差分領域の大きさに基づいて、前記繰り返しを終了するか否かを判断する請求項３または４に記載の欠陥評価方法。

【請求項8】

前記ルールベースシステムが、前記第２欠陥領域の面積に基づいて前記評価対象物に発生している欠陥を評価する請求項１～７のいずれか１項に記載の欠陥評価方法。

【請求項9】

前記評価対象物を撮像して得た前記撮像画像に基づいて、前記評価対象物に発生している欠陥を評価する評価装置に用いられるソフトウエアであった、請求項１～８のいずれか１項に記載の欠陥評価方法を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、欠陥評価方法及び欠陥評価方法を実行させるためのプログラムに関する。

【背景技術】

【0002】

評価対象物を例えばＣＭＯＳ（ Complementary Metal OxideSemiconductor）カメラなどによって撮像し、得られた撮像画像を処理して評価対象物に発生している欠陥を評価することが行われている。

【0003】

欠陥を評価する手法としては、ディープラーニングと呼ばれる手法を利用することが知られている（例えば、下記特許文献１参照）。

【0004】

特許文献１では、評価対象物を撮像して得られた撮像画像に基づいて欠陥の特徴量（欠陥の濃淡、色などの特徴、幾何学的特徴）を算出し、これら特徴量に基づいてディープラーニングの手法を用いて評価対象物に発生している欠陥を評価したり、撮像画像から抽出された欠陥の属性に基づいて、ルールベースシステムを用いて欠陥を評価することが記載されている。

【0005】

ディープラーニングによる欠陥評価では、教師データを用いた学習によって欠陥の濃淡や色などの特徴や幾何学的な特徴量を自動抽出し、これら特徴量が反映されたニューラルネットワークを用いて評価対象物の欠陥を評価する。

【0006】

このようなディープラーニングによる欠陥評価では、教師データを用いた学習により複雑な形状の欠陥についても対応しやすいが、形状に規則性が無い欠陥の検出が困難であったり、教師データの選定やハイパーパラメータの調整が困難であったり、欠陥の評価基準が分からないため、評価結果の信頼性に乏しいという問題がある。

【0007】

ルールベースシステムによる欠陥評価では、評価基準の調整が可能であるが、想定した欠陥に対して個々に評価ルールを作成する必要があり、評価ルールの設定に手間がかかる。

【先行技術文献】

【特許文献】

【0008】

【文献】特開２０２０－５０４８５６号公報

【発明の概要】

【発明が解決しようとする課題】

【0009】

本発明は、上記の点に鑑みてなされたものであり、評価ルールの設定を簡略化しつつ、評価対象物の撮像画像に基づいて評価対象物の欠陥を適切に評価することができる欠陥評価方法及び欠陥評価方法を実行させるためのプログラムを提供することを目的とする。

【課題を解決するための手段】

【0010】

本発明にかかる欠陥評価方法は、評価対象物を撮像して得た撮像画像に基づいて、前記評価対象物に発生している欠陥を評価する欠陥評価方法において、前記撮像画像から前記評価対象物に発生している欠陥の評価を行う評価対象領域を抽出し、第１欠陥の形状を学習した第１のディープニューラルネットワークを用いて、前記評価対象領域から前記第１欠陥に対応する画素領域である第１欠陥領域を取得し、前記評価対象領域から前記第１欠陥領域を除外した評価実施領域を設定し、前記評価実施領域から第２欠陥に対応する画素領域である第２欠陥領域を取得し、取得した前記第２欠陥領域の属性に基づいて、ルールベースシステムを用いて前記評価対象物に発生している欠陥を評価する欠陥評価方法であって、前記評価対象物が、基板であり、前記第１欠陥が、前記基板のランドに形成されたプローブ痕であり、前記ランドに対応する画素領域を、前記評価対象領域として抽出する方法である。

【発明の効果】

【0011】

本発明によれば、評価ルールの設定を簡略化しつつ、評価対象物の撮像画像に基づいて評価対象物の欠陥を適切に評価することができる。

【図面の簡単な説明】

【0012】

【図1】本発明の一実施形態にかかる欠陥評価方法を実行する欠陥評価装置の構成を模式的に示す図

【図2】プリント基板の平面図

【図3】図１の欠陥評価装置の制御を示すフロー図

【図4】（ａ）～（ｃ）はランド上に設定する評価対象領域、第１欠陥領、評価実施領域を示す平面図

【図5】第２欠陥領域取得処理のフロー図

【図6】（ａ）～（ｈ）は第２欠陥領域取得処理を説明する第２欠陥の平面図

【発明を実施するための形態】

【0013】

以下、本発明の一実施形態について図面を参照して説明する。

【0014】

（１）評価装置１０の構成
本実施形態は、図１に示すような評価装置１０を用いて、評価対象物である図２に例示するプリント基板Ｐ上に設けられたランドＬの表面に発生している欠陥を評価する場合について説明する。

【0015】

プリント基板Ｐは、評価装置１０による評価の前に、ランドＬにプローブを接触させて導通試験が行われている。そのため、プリント基板ＰのランドＬの表面には、プローブを接触させたときに発生したプローブ痕（以下、これを第１欠陥という）Ｆ１と、それ以外の欠陥、例えばランドＬを構成する金属膜の形成過程で発生した表面欠陥（以下、プローブ痕以外の欠陥を纏めて第２欠陥という）Ｆ２が存在することがある。第１欠陥Ｆ１はランドＬの導通に影響がほとんど無いが、第２欠陥Ｆ２はその種類やサイズによってはランドＬの導通に影響が大きい場合もある。そこで、評価装置１０は、第２欠陥Ｆ２に基づいてプリント基板ＰのランドＬに発生している欠陥を評価する。

【0016】

評価装置１０は、プリント基板Ｐの画像を取得する撮像部１１と、撮像部１１を制御するとともに撮像部１１が取得した撮像画像を用いてデータ処理を行う制御部２０とを含んで構成されている。

【0017】

撮像部１１は、プリント基板Ｐを載置するステージ１２を有する。ステージ１２は、直交する２方向にプリント基板Ｐを水平移動可能なＸステージ１３とＹステージ１４と、プリント基板Ｐをステージ１２上に保持する不図示の保持機構を備える。

【0018】

また、撮像部１１は、プリント基板Ｐの上方に配置されるＣＭＯＳセンサ等の画像センサを有するカメラ１５と、プリント基板Ｐを照らす照明装置１６とが設けられている。カメラ１５は、制御部２０に接続されており、撮像して得られたプリント基板Ｐの撮像画像データを制御部２０へ出力する。

【0019】

制御部２０は、プログラムを実行するＣＰＵや、プログラムを格納したＲＯＭ（Read Only Memory）や、プログラムを展開するＲＡＭ（Random Access Memory）などを備える。制御部２０は、各種データを格納する記憶装置（記録媒体）２６に接続され、必要に応じて、データを表示する表示部やデータを入力する入力部に接続されている。

【0020】

制御部２０は、ＣＰＵがランドＬの表面に発生している欠陥を評価するためのプログラムを実行することによって、カメラ制御部２１、領域抽出部２２、第１欠陥決定部２３、検出部２４及び評価部２５を仮想的に実現し、これにより、プリント基板ＰのランドＬの表面に発生している第２欠陥Ｆ２を評価する。

【0021】

（２）評価装置１０の制御
次に、評価装置１０において実行される欠陥の評価方法について、図３～図６を参照して説明する。

【0022】

ステップＳ１において、ステージ１２上にプリント基板Ｐが載置されると、カメラ制御部２１は、撮像部１１を構成する各部１２，１３，１４，１５，１６を制御することで、プリント基板Ｐをカメラ１５の下方に配置し、照明装置１６でプリント基板Ｐを照明しながら、カメラ１５でプリント基板Ｐを撮像して撮像画像を取得する。取得したプリント基板Ｐの撮像画像は記憶装置２６に記憶される。なお、カメラ１５は、ランドＬだけでなくプリント基板Ｐの表面全体を撮像してもよい。

【0023】

次いで、ステップＳ２において、領域抽出部２２は、カメラ１５が撮像したプリント基板Ｐの撮像画像について、事前に形状及び大きさが設定された認識パターンを用いてパターンマッチングによって、ランドＬに対応する画素領域を抽出し、抽出した画素領域を評価対象領域Ｒ０として記憶装置２６に記憶する（図４（ａ）参照）。このとき、抽出した評価対象領域Ｒ０の向きを一定に揃えておくことが好ましい。これにより、領域抽出部２２において、所定位置及び所定の向きに位置決めされた画素領域が評価対象領域Ｒ０として得られる。

【0024】

次いで、ステップＳ３において、第１欠陥決定部２３は、第１のディープニューラルネットワークを使用して評価対象領域Ｒ０を解析することで、評価対象領域Ｒ０の中から第１欠陥Ｆ１の形状に対応する画素領域を取得する。第１のディープニューラルネットワークとしては、予めプリント基板Ｐを撮像して得た撮像画像に基づいて当該プリント基板ＰのランドＬに発生している第１欠陥Ｆ１の形状を学習したニューラルネットワークを用いることができ、例えば畳み込みニューラルネットワークを用いることができる。

【0025】

なお、第１欠陥決定部２３は、評価対象領域Ｒ０の中から第１欠陥Ｆ１の形状に対応する画素領域に加え、あるいは第１欠陥Ｆ１の形状に対応する画素領域に代えて、第１欠陥Ｆ１の重心位置に対応する画素領域を取得してもよい。

【0026】

第１欠陥決定部２３は、例えば、周期的に、評価装置１０がプリント基板Ｐの評価を行っていない期間に、または、新たな教師データが追加されたときに、など所定の条件を満たした際に、第１のディープニューラルネットワークに第１欠陥Ｆ１の形状を再学習してもよい。その再学習において、前回の再学習のとき以降の欠陥評価に使用した撮像画像、つまり、前回の再学習のとき以降に上記ステップＳ１において取得した撮像画像や上記ステップＳ２において抽出した評価対象領域Ｒ０を教師データとして使用してもよい。

【0027】

第１欠陥Ｆ１のようなプローブ痕をランドＬに発生させるプローブは、使用時間の経過と共にその形状が変化するため、ランドＬに発生する第１欠陥Ｆ１の形状的特徴が、複数のプリント基板Ｐを検査している中で変化する。上記の再学習を行うことで、このような第１欠陥Ｆ１の形状的特徴の変化を考慮することができ、より正確に第１欠陥Ｆ１を検出することができるようになる。

【0028】

また、第１のディープニューラルネットワークに第１欠陥Ｆ１の形状を学習させる際に、
教師データとなる撮像画像を所定の向きに位置決めしたデータを用いることが好ましい。

【0029】

そして、ステップＳ４において、第１欠陥決定部２３は、取得した情報に基づいて第１欠陥領域Ｒ１を設定する。ここでは、第１欠陥決定部２３は、取得した第１欠陥Ｆ１に対応する画素領域を所定画素数だけ外側へ拡張した領域を第１欠陥領域Ｒ１に設定し、これを記憶装置２６に保存する（図４（ｂ）参照）。

【0030】

次いで、ステップＳ５において、検出部２４は、評価対象領域Ｒ０から第１欠陥領域Ｒ１を除外した領域を、欠陥の評価を行う評価実施領域Ｒ２に設定し、これを記憶装置２６に保存する（図４（ｃ）参照）。

【0031】

そして、ステップＳ６において、検出部２４は、評価実施領域Ｒ２について図５に示すような第２欠陥領域取得処理を実行して第２欠陥Ｆ２に対応する画素領域を取得し、取得した画素領域を第２欠陥領域Ｒ３として記憶装置２６に記憶する。

【0032】

第２欠陥領域取得処理では、まず、ステップＳ６１において、検出部２４が、あらかじめ第２欠陥Ｆ２の形状を学習した第２のディープニューラルネットワークを使用して評価実施領域Ｒ２を解析することで、評価実施領域Ｒ２の中から第２欠陥Ｆ２の重心位置に対応する画素領域を取得し、取得した画素領域を重心領域Ｇ２として記憶装置２６に記憶する。なお、評価実施領域Ｒ２に複数の第２欠陥Ｆ２があれば、各第２欠陥Ｆ２について重心領域を取得して記憶装置２６に記憶する。

【0033】

その後、検出部２４は、重心領域に基づいて第２欠陥Ｆ２の形状に対応する画素領域を特定する。ここでは、検出部２４は、重心領域Ｇ２を検査領域の開始点に設定した後、所定条件を満たすまで検査領域を漸次拡大する領域拡張法を実行して、第２欠陥Ｆ２の形状に対応する画素領域を取得し、これを第２欠陥領域Ｒ３として記憶装置２６に保存する。

【0034】

ここでは、領域拡張法の一例として、検査領域内から第２欠陥Ｆ２に対応する画素領域である第２欠陥候補領域を検出する第２欠陥候補領域検出ステップと、検出された第２欠陥候補領域を拡張したものを新たな検査領域とする検査領域更新ステップと、を所定条件を満たすまで順次繰り返し実行することで第２欠陥領域Ｒ３を取得する。

【0035】

具体的には、ステップＳ６２において、検出部２４は、第２欠陥Ｆ２の重心領域Ｇ２を含むように検査領域Ｋ０を設定する（図６（ａ）参照）。

【0036】

そして、ステップＳ６３において、検出部２４は、検査領域Ｋ０に存在する第２欠陥Ｆ２に対応する画素領域である第２欠陥候補領域Ｂ０と、第２欠陥候補領域Ｂ０の画素数を検出する（図６（ｂ）参照）。第２欠陥Ｆ２は、例えば、画素値（輝度）が所定値以下の画素を第２欠陥Ｆ２の画素とすることで検出することができる。

【0037】

そして、ステップＳ６４において、検出部２４は、直近に検出した第２欠陥候補領域Ｂ０を所定画素数だけ外側へ拡張した領域を新たな検査領域Ｋ１を設定する（図６（ｃ）参照）。

【0038】

そして、ステップＳ６５において、検出部２４は、拡張した後の検査領域Ｋ１に存在する第２欠陥候補領域Ｂ１と第２欠陥候補領域Ｂ１の画素数を検出する（図６（ｄ）参照）。

【0039】

そして、ステップＳ６６において、検出部２４は、直近の第２欠陥候補領域Ｂ１と前回（つまり、拡張前）の第２欠陥候補領域Ｂ０との差分領域の大きさ、つまり、直近の第２欠陥候補領域Ｂ１の画素数と前回の第２欠陥候補領域Ｂ０の画素数との差ΔＮを算出する。

【0040】

そして、ステップＳ６７において、検出部２４は、算出した画素数の差ΔＮが所定値以下であるか否か判断する。画素数の差ΔＮが所定値より大きい場合（図５のステップＳ６７のＮｏ）、ステップＳ６４へ戻る。

【0041】

ステップＳ６４へ戻ると、検出部２４は、直近に検出した第２欠陥候補領域Ｂ１を所定画素数だけ外側へ拡張した領域を新たな検査領域Ｋ２を設定し（図６（ｅ）参照）、ステップＳ６５において、拡張した後の検査領域Ｋ２に存在する第２欠陥候補領域Ｂ２とその画素数を検出し（図６（ｆ）参照）、ステップＳ６６において、直近に検出した第２欠陥候補領域Ｂ２とその前回の第２欠陥候補領域Ｂ１との画素数の差ΔＮを算出し、ステップＳ６７において、算出した画素数の差ΔＮが所定値以下であるか否か判断する。

【0042】

以後、ステップＳ６４における新たな検査領域の設定と（図６（ｇ）参照）、ステップＳ６５における拡張した後の検査領域に存在する第２欠陥候補領域Ｂ２とその画素数の検出と（図６（ｈ）参照）、ステップＳ６６における第２欠陥候補領域の画素数の差ΔＮの算出とを、ステップＳ６７において画素数の差ΔＮが所定値以下になるまで繰り返し実行する。

【0043】

そして、ステップＳ６７において画素数の差ΔＮが所定値以下になるとステップＳ６８へ進み、検出部２４は、その時の第２欠陥候補領域を第２欠陥領域Ｒ３として記憶装置２６に保存して、第２欠陥領域取得処理を終了し、ステップＳ７へ進む。

【0044】

なお、ここでは、ステップＳ６１において評価実施領域Ｒ２に１の第２欠陥Ｆ２が検出された場合について説明するが、評価実施領域Ｒ２に複数の第２欠陥Ｆ２が検出された場合、各第２欠陥Ｆ２について上記のような領域拡張法を実行して第２欠陥領域Ｒ３を取得する。

【0045】

また、上記したステップＳ６７では、画素数の差ΔＮが所定値以下であると、ステップＳ６４～ステップＳ６６の繰り返しを終了したが、画素数の差ΔＮを直近の第２欠陥候補領域の画素数で除した値が所定値以下の場合や、画素数の差ΔＮの変化量が所定値以下の場合に、ステップＳ６４～ステップＳ６６の繰り返しを終了してもよい。

【0046】

また、本実施形態では、評価実施領域Ｒ２から第２欠陥領域Ｒ３を取得する第２欠陥領域取得処理として、ディープニューラルネットワークを使用して第２欠陥Ｆ２の重心領域Ｇ２を取得し、取得した重心領域Ｇ２を開始点とする領域拡張法を実行したが、このようなディープラーニングを用いた方法に加え、あるいはこのよう方法に代えて、輝度値が所定の閾値以下の画素の集合を第２欠陥領域Ｒ３として取得するなどルールベースシステムを用いて評価実施領域Ｒ２から第２欠陥領域Ｒ３を取得してもよい。

【0047】

そして、検出部２４が評価実施領域Ｒ２に存在する第２欠陥領域Ｒ３を取得すると、ステップＳ７において、評価部２５は、第２欠陥領域Ｒ３の属性を予め作成したルールベースと照合するルールベースシステムを用いてランドＬに存在する欠陥を評価する。評価部２５は、例えば、第２欠陥領域の面積が所定値以下の場合にランドＬに不良欠陥があると評価することができる。

【0048】

なお、評価部２５は、第２欠陥領域Ｒ３の面積以外にも、第２欠陥領域Ｒ３の形状、所定方向の長さ、最大長さ等の属性の１つまたは複数を組み合わせて予め作成したルールベースと照合してランドＬに存在する欠陥を評価してもよい。

【0049】

（３）効果
以上のような本実施形態では、ディープニューラルネットワークを用いて評価対象物の評価に影響しない第１欠陥Ｆ１を抽出し、当該第１欠陥領域Ｒ１を除外して評価実施領域Ｒ２を設定する。そのため、正常な領域とコントラストが類似する欠陥等のルールベースシステムによって評価しにくい欠陥を取り除くことができ、ルールベースシステムの評価ルールの設定を簡略化することができる。また、評価対象物の欠陥の評価をルールベースシステムに基づいて行うことができるため、評価基準の調整が可能となり信頼性の高い評価結果を得ることができる。

【0050】

本実施形態では、領域抽出部２２によって撮像画像から抽出することで所定位置に位置決めされた評価対象領域Ｒ０からディープニューラルネットワークを用いて第１欠陥Ｆ１を取得するため、第１欠陥Ｆ１を第２欠陥Ｆ２と誤検出したり、第１欠陥Ｆ１を検出できなかったりすることがなく、これを精度良く取得することができる。

【0051】

本実施形態では、第１のディープニューラルネットワークにより評価対象領域Ｒ０から第１欠陥Ｆ１に対応する画素領域を決定し、決定した画素領域を所定量拡張した領域を第１欠陥領域とするため、簡便に第１欠陥領域Ｒ１を決定することができる。

【0052】

本実施形態では、第２のディープニューラルネットワークを用いて取得した第２欠陥Ｆ２の重心領域Ｇ２を開始点とする領域拡張法を用いて第２欠陥領域Ｒ３を取得するため、第２欠陥Ｆ２の検出漏れを抑えつつ、第２欠陥Ｆ２の形状を精度良く検出することができる。

【0053】

以上、本発明の実施形態を説明したが、これらの実施形態は例として提示したものであり、発明の範囲を限定することを意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の趣旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【0054】

例えば、上記した実施形態では、第１のディープニューラルネットワークを使用して取得した第１欠陥Ｆ１に対応する画素領域を拡張して第１欠陥領域Ｒ１を取得したが、例えば、第１のディープニューラルネットワークを使用して取得した第１欠陥Ｆ１の重心位置に対応する画素領域を取得し、当該画素領域を開始点とする領域拡張法を実行することで第１欠陥領域Ｒ１を取得してもよい。

【符号の説明】

【0055】

１０…欠陥評価装置、１１…撮像部、１２…ステージ、１３…Ｘステージ、１４…Ｙステージ、１５…撮像カメラ、１６…照明装置、２０…制御部、２１…カメラ制御部、２２…領域抽出部、２３…第１欠陥決定部、２４…検出部、２５…評価部、２６…記憶装置、Ｆ１…第１欠陥、Ｆ２…第２欠陥、Ｐ…プリント基板、Ｌ…ランド、Ｒ０…評価対象領域、Ｒ１…第１欠陥領域、Ｒ２…評価実施領域、Ｒ３…第２欠陥領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】