特開 2024-110453 検査装置および検査方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024110453

(43)【公開日】2024-08-16

(54)【発明の名称】検査装置および検査方法

(51)【国際特許分類】

   G01N 21/956 20060101AFI20240808BHJP

   G06T 7/00 20170101ALI20240808BHJP

   G01N 21/88 20060101ALI20240808BHJP

【ＦＩ】

G01N21/956 B

G06T7/00 610B

G06T7/00 350B

G01N21/88 J

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2023014982

(22)【出願日】2023-02-03

(71)【出願人】

【識別番号】000207551

【氏名又は名称】株式会社ＳＣＲＥＥＮホールディングス

(74)【代理人】

【識別番号】100110847

【弁理士】

【氏名又は名称】松阪 正弘

(74)【代理人】

【識別番号】100136526

【弁理士】

【氏名又は名称】田中 勉

(74)【代理人】

【識別番号】100136755

【弁理士】

【氏名又は名称】井田 正道

(72)【発明者】

【氏名】海津 正博

(72)【発明者】

【氏名】大西 潤

(72)【発明者】

【氏名】井上 学

(72)【発明者】

【氏名】打越 公成

【テーマコード（参考）】

2G051

5L096

【Ｆターム（参考）】

2G051AA65

2G051AB02

2G051AC02

2G051AC30

2G051BA20

2G051CA03

2G051CA04

2G051EA17

2G051EB01

2G051EB05

2G051EC01

2G051ED21

5L096AA02

5L096AA03

5L096BA03

5L096CA02

5L096DA02

5L096FA15

5L096JA11

5L096JA14

5L096KA04

(57)【要約】

【課題】検査時間の増大を抑制しつつ基板上の欠陥を精度良く検出する。
【解決手段】表面上にパターンを有する基板を検査する検査装置は、第１検査部３０３と、第２検査部３０５とを備える。第１検査部３０３は、基板のグレースケール画像である第１画像に対して一次検査を行って欠陥候補を検出する。第２検査部３０５は、基板のうち当該欠陥候補を含む部分領域のカラー画像である第２画像に対して二次検査を行って、当該欠陥候補が欠陥であるか否かを判断する。これにより、検査時間の増大を抑制しつつ、基板上の欠陥を精度良く検出することができる。
【選択図】図３

【特許請求の範囲】

【請求項1】

表面上にパターンを有する基板を検査する検査装置であって、
基板のグレースケール画像である第１画像に対して一次検査を行って欠陥候補を検出する第１検査部と、
前記基板のうち前記欠陥候補を含む部分領域のカラー画像である第２画像に対して二次検査を行って、前記欠陥候補が欠陥であるか否かを判断する第２検査部と、
を備えることを特徴とする検査装置。

【請求項2】

請求項１に記載の検査装置であって、
前記二次検査は、機械学習により作成された学習済みモデルを利用したＡＩ検査を含むことを特徴とする検査装置。

【請求項3】

請求項２に記載の検査装置であって、
学習用基板における学習用欠陥候補を含む部分領域のカラー画像の集合から作成した学習用データセットを用いて機械学習を行うことにより、前記学習用基板のカラー画像と欠陥の有無との関係を初期モデルに学習させて前記学習済みモデルを作成する学習部をさらに備え、
前記学習用欠陥候補は、前記学習用基板のグレースケール画像に対して前記一次検査を行うことにより検出されることを特徴とする検査装置。

【請求項4】

請求項３に記載の検査装置であって、
前記学習部は、追加学習用データセットを用いた機械学習により、前記学習済みモデルに対する再学習を行い、
前記追加学習用データセットは、前記第２検査部により欠陥の有無が判定された前記第２画像について、他の基準にて欠陥の有無が判断されて再分類されることにより作成されることを特徴とする検査装置。

【請求項5】

請求項１に記載の検査装置であって、
前記二次検査は、予め設定された登録色に基づく色検査を含むことを特徴とする検査装置。

【請求項6】

請求項１ないし５のいずれか１つに記載の検査装置であって、
前記一次検査はルールベース検査を含むことを特徴とする検査装置。

【請求項7】

請求項１ないし５のいずれか１つに記載の検査装置であって、
前記基板を撮像してカラー画像である撮像画像を取得する撮像部と、
前記撮像画像をグレースケール画像に変換して前記第１画像を取得する画像変換部と、
前記基板上における前記欠陥候補の位置に基づいて前記撮像画像から前記第２画像を抽出する画像抽出部と、
をさらに備えることを特徴とする検査装置。

【請求項8】

請求項１ないし５のいずれか１つに記載の検査装置であって、
前記第１画像は、前記基板の一部を示すグレースケール画像であり、
前記第２画像は、前記第１画像の一部に対応するカラー画像であることを特徴とする検査装置。

【請求項9】

表面上にパターンを有する基板を検査する検査方法であって、
ａ）基板のグレースケール画像である第１画像に対して一次検査を行って欠陥候補を検出する工程と、
ｂ）前記基板のうち前記欠陥候補を含む部分領域のカラー画像である第２画像に対して二次検査を行って、前記欠陥候補が欠陥であるか否かを判断する工程と、
を備えることを特徴とする検査方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、表面上にパターンを有する基板を検査する技術に関する。

【背景技術】

【0002】

従来、プリント配線基板の検査では、検査装置によりプリント配線基板の各領域の画像が検査され、欠陥を有すると判断された画像が抽出される。そして、抽出された画像に対応するプリント配線基板上の領域を、作業者が目視によって確認する欠陥確認作業（いわゆる、ベリファイ作業）が行われる。検査装置により抽出される欠陥には、品質上問題となる可能性が高い真欠陥と、品質上問題となる可能性が実質的にない虚報とが含まれており、上述の欠陥確認作業では、検査装置により抽出された欠陥から、作業者が目視によって真欠陥を抽出している。

【0003】

上述のような検査装置としては、例えば、特許文献１のように、グレースケール画像に対して、所定のルールに基づいた欠陥検出（いわゆる、ルールベース検査）を行う装置が知られている。また、特許文献２では、カラー画像に対して、機械学習により作成された学習済みモデルを用いた欠陥検出を行う技術が提案されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１６－３８３１１号公報

【特許文献2】特開２０２１－４７１０４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、上述のような欠陥検査において、グレースケール画像による検査では真欠陥と虚報との判別が困難な場合が比較的多く、検査精度の向上に限界がある。このため、検査装置からベリファイ作業を行う装置に送られる画像が多くなり、ベリファイ作業に要する時間が増大するおそれがある。

【0006】

一方、カラー画像を欠陥検査に用いると、グレースケール画像を用いる場合よりも真欠陥と虚報との判別は容易となるが、検査装置において扱う処理データ量が増大するため、検査装置における処理に要する時間が多大となるおそれがある。

【0007】

本発明は、上記課題に鑑みなされたものであり、検査時間の増大を抑制しつつ基板上の欠陥を精度良く検出することを目的としている。

【課題を解決するための手段】

【0008】

本発明の態様１は、表面上にパターンを有する基板を検査する検査装置であって、基板のグレースケール画像である第１画像に対して一次検査を行って欠陥候補を検出する第１検査部と、前記基板のうち前記欠陥候補を含む部分領域のカラー画像である第２画像に対して二次検査を行って、前記欠陥候補が欠陥であるか否かを判断する第２検査部と、を備える。

【0009】

本発明の態様２は、態様１の検査装置であって、前記二次検査は、機械学習により作成された学習済みモデルを利用したＡＩ検査を含む。

【0010】

本発明の態様３は、態様２の検査装置であって、前記検査装置は、学習用基板における学習用欠陥候補を含む部分領域のカラー画像の集合から作成した学習用データセットを用いて機械学習を行うことにより、前記学習用基板のカラー画像と欠陥の有無との関係を初期モデルに学習させて前記学習済みモデルを作成する学習部をさらに備える。前記学習用欠陥候補は、前記学習用基板のグレースケール画像に対して前記一次検査を行うことにより検出される。

【0011】

本発明の態様４は、態様３の検査装置であって、前記学習部は、追加学習用データセットを用いた機械学習により、前記学習済みモデルに対する再学習を行う。前記追加学習用データセットは、前記第２検査部により欠陥の有無が判定された前記第２画像について、他の基準にて欠陥の有無が判断されて再分類されることにより作成される。

【0012】

本発明の態様５は、態様１（態様１ないし４のいずれか１つ、であってもよい。）の検査装置であって、前記二次検査は、予め設定された登録色に基づく色検査を含む。

【0013】

本発明の態様６は、態様１ないし５のいずれか１つの検査装置であって、前記一次検査はルールベース検査を含む。

【0014】

本発明の態様７は、態様１ないし５のいずれか１つ（態様１ないし６のいずれか１つ、であってもよい。）の検査装置であって、前記検査装置は、前記基板を撮像してカラー画像である撮像画像を取得する撮像部と、前記撮像画像をグレースケール画像に変換して前記第１画像を取得する画像変換部と、前記基板上における前記欠陥候補の位置に基づいて前記撮像画像から前記第２画像を抽出する画像抽出部と、をさらに備える。

【0015】

本発明の態様８は、態様１ないし５のいずれか１つ（態様１ないし７のいずれか１つ、であってもよい。）の検査装置であって、前記第１画像は、前記基板の一部を示すグレースケール画像であり、前記第２画像は、前記第１画像の一部に対応するカラー画像である。

【0016】

本発明の態様９は、表面上にパターンを有する基板を検査する検査方法であって、ａ）基板のグレースケール画像である第１画像に対して一次検査を行って欠陥候補を検出する工程と、ｂ）前記基板のうち前記欠陥候補を含む部分領域のカラー画像である第２画像に対して二次検査を行って、前記欠陥候補が欠陥であるか否かを判断する工程と、を備える。

【発明の効果】

【0017】

本発明では、検査時間の増大を抑制しつつ基板上の欠陥を精度良く検出することができる。

【図面の簡単な説明】

【0018】

【図1】一の実施の形態に係る検査装置の構成を示す図である。

【図2】第１コンピュータの構成を示す図である。

【図3】第１コンピュータにより実現される機能構成を示す図である。

【図4】基板の検査の流れを示す図である。

【図5】第２コンピュータの構成を示す図である。

【図6】第２コンピュータにより実現される機能構成を示す図である。

【図7】学習済みモデルの作成の流れを示す図である。

【図8】学習済みモデルに対する再学習の流れを示す図である。

【発明を実施するための形態】

【0019】

図１は、本発明の一の実施の形態に係る検査装置１の構成を示す図である。検査装置１は、例えば、電子部品が実装される前のプリント配線基板９（以下、単に「基板９」とも呼ぶ。）の外観を検査する装置である。基板９の表面上には、パターン（例えば、銅による配線パターンや電極パターン）が形成されている。基板９上には、例えば、銅のメッキが露出している領域、銅の配線が保護膜であるソルダレジストにより被覆されている領域、および、基材表面上に直接的にソルダレジストが配置されている領域等が存在する。

【0020】

検査装置１では、例えば、メッキ部上の異物やメッキ部の欠け等を検出するメッキ異物検査、メッキ部におけるメッキの濃淡を検出するメッキ多値検査、ソルダレジストの剥離を検出するＳＲ剥離検査、および、ソルダレジストの濃淡を検出するＳＲムラ検査等のうち、１つ以上の検査が行われる。

【0021】

検査装置１は、基板９を撮像する装置本体２と、第１コンピュータ３と、第２コンピュータ４とを備える。第１コンピュータ３および第２コンピュータ４はそれぞれ、演算部を含む処理装置である。第１コンピュータ３は、検査装置１の全体動作の制御も行う。第２コンピュータ４は、後述する学習済みモデルの作成を行う学習装置である。装置本体２は、撮像部２１と、基板９を保持するステージ２２と、ステージ移動機構２３と、を備える。撮像部２１は、基板９を撮像して画像を取得する。当該画像は、例えば、基板９上において検査対象となる領域全体の多階調のカラー画像であり、以下の説明では「撮像画像」とも呼ぶ。ステージ移動機構２３は、撮像部２１に対してステージ２２を相対的に移動する。

【0022】

撮像部２１は、照明部２１１と、光学系２１２と、撮像デバイス２１３とを備える。光学系２１２は、照明部２１１から出射された照明光を基板９に導くとともに、基板９からの反射光を撮像デバイス２１３に導く。撮像デバイス２１３は、光学系２１２により結像された基板９の像を電気信号に変換する。照明部２１１は、ＬＥＤや電球等のランプと、ランプからの光を整えるレンズや反射部材等の光学要素と、を含む。光学系２１２は、複数のレンズやハーフミラー等の光学要素を含む。撮像デバイス２１３は、例えば、２次元のイメージングセンサである。撮像デバイス２１３は１次元のイメージングセンサであってもよく、この場合、ステージ２２を移動しながら基板９の撮像が行われる。

【0023】

ステージ移動機構２３は、例えば、ボールねじ、ガイドレール、モータ等により構成される。ステージ移動機構２３としては様々な機構が採用可能であり、例えば、リニアモータが利用可能である。第１コンピュータ３がステージ移動機構２３および撮像部２１を制御することにより、ステージ２２が水平方向に移動して基板９上の所望の領域が撮像される。ステージ２２は基板９を保持する保持部である。基板９の保持は様々な方法で行われてよい。例えば、ステージ２２に溝が形成され、溝内に形成された吸引口から吸引が行われることにより、基板９がステージ２２上に吸着される。ステージ２２に多数の吸引口が形成されて基板９が吸着されてもよい。ステージ２２を多孔質材料にて形成し、多孔質材料から吸引が行われてもよい。ステージ２２は機械的な機構により基板９を保持してもよい。

【0024】

図２は第１コンピュータ３の構成を示す図である。第１コンピュータ３は、ＣＰＵ３１と、ＲＯＭ３２と、ＲＡＭ３３と、固定ディスク３４と、ディスプレイ３５と、入力部３６と、読取装置３７と、通信部３８と、ＧＰＵ３９と、バス３０とを含む一般的なコンピュータシステムの構成を有する。ＣＰＵ３１は、各種演算処理を行う。ＧＰＵ３９は、画像処理に関する各種演算処理を行う。ＲＯＭ３２は、基本プログラムを記憶する。ＲＡＭ３３は、各種情報を記憶する。固定ディスク３４は、情報記憶を行う。ディスプレイ３５は、画像等の各種情報の表示を行う。入力部３６は、操作者からの入力を受け付けるキーボード３６ａおよびマウス３６ｂを備える。読取装置３７は、光ディスク、磁気ディスク、光磁気ディスク、メモリカード等のコンピュータ読み取り可能な記録媒体８１から情報の読み取りを行う。ディスプレイ３５、キーボード３６ａ、マウス３６ｂおよび読取装置３７は、インターフェイスＩ／Ｆを介してバス３０に接続される。通信部３８は、検査装置１の他の構成、および、外部の装置との間で信号を送受信する。バス３０は、ＣＰＵ３１、ＧＰＵ３９、ＲＯＭ３２、ＲＡＭ３３、固定ディスク３４、ディスプレイ３５、入力部３６、読取装置３７および通信部３８を接続する信号回路である。

【0025】

第１コンピュータ３では、事前に読取装置３７を介して記録媒体８１からプログラム８１１が読み出されて固定ディスク３４に記憶されている。プログラム８１１はネットワークを介して固定ディスク３４に記憶されてもよい。ＣＰＵ３１およびＧＰＵ３９は、プログラム８１１に従ってＲＡＭ３３や固定ディスク３４を利用しつつ演算処理を実行する。ＣＰＵ３１およびＧＰＵ３９は、第１コンピュータ３において演算部として機能する。ＣＰＵ３１およびＧＰＵ３９以外に演算部として機能する他の構成が採用されてもよい。

【0026】

図３は、第１コンピュータ３がプログラム８１１に従って演算処理等を実行することにより実現される機能構成を示す図である。これらの機能構成には、記憶部３０１と、画像変換部３０２と、第１検査部３０３と、画像抽出部３０４と、第２検査部３０５と、制御部３０６とが含まれる。これらの機能の全部または一部は専用の電気回路により実現されてもよい。また、複数のコンピュータによりこれらの機能が実現されてもよい。図３に示す機能構成のうち、画像変換部３０２、第１検査部３０３、画像抽出部３０４、第２検査部３０５および制御部３０６は、ＣＰＵ３１、ＧＰＵ３９、ＲＯＭ３２、ＲＡＭ３３、固定ディスク３４およびこれらの周辺構成により実現される。また、記憶部３０１は、主としてＲＡＭ３３および固定ディスク３４により実現される。

【0027】

記憶部３０１は、撮像部２１により取得された基板９のカラー画像である撮像画像、および、基板９の検査に関する様々な情報等を記憶する。制御部３０６は、撮像部２１およびステージ移動機構２３、並びに、各機能構成の動作を制御する。

【0028】

画像変換部３０２は、当該撮像画像をカラー画像からグレースケール画像に変換する。第１検査部３０３は、当該グレースケール画像を用いて検査を行って欠陥候補を検出する。以下の説明では、第１検査部３０３による検査を「一次検査」とも呼ぶ。一次検査では、例えば、基板９の一部を示すグレースケール画像が１回の検査の対象とされ、当該検査が基板９の検査対象となる領域全体に亘って複数回行われることにより、当該検査対象となる領域全体の一次検査が行われる。以下の説明では、一次検査において１回の検査の対象とされる画像（すなわち、基板９の一部を示すグレースケール画像）を「第１画像」とも呼ぶ。なお、一次検査では、１回の検査で基板９の検査対象となる領域全体の検査が行われてもよく、この場合、第１画像は、基板９の検査対象となる領域全体を示すグレースケール画像である。

【0029】

一次検査では、例えば、ルールベース検査が行われる。ルールベース検査とは、基板９上のパターン形状に対して一定のルールを設定し、基板９上のパターンのうち当該ルールから外れた部位を欠陥と判定する検査方法であり、様々な手法が公知である。一次検査に用いられる上記ルールに係る情報は、記憶部３０１に予め記憶される。一次検査では、例えば、第１画像に含まれるパターンの各部位から、デザインルールに基づいて予め作成された判定アルゴリズムにより所定の特徴量が算出され、当該特徴量が、良品と欠陥とを判別するための閾値と比較されることにより、当該部位が欠陥を含むか否かが判定される。当該特徴量は、例えば、パターンの線幅やパターンの終端形状等に基づいて算出される。

【0030】

一次検査において欠陥と判断された部位の位置は、欠陥候補の位置として記憶部３０１に記憶される。なお、一次検査では、上記特徴量を抽出するために、第１画像に対して所定の画像処理が行われてもよい。また、一次検査では、上述のルールベース検査に加えて、あるいは、上述のルールベース検査に代えて、他の手法による検査が行われてもよい。

【0031】

画像抽出部３０４は、一次検査にて検出された欠陥候補の基板９上における位置に基づいて、基板９のうち当該欠陥候補を含む部分領域のカラー画像（すなわち、基板９の一部を示す部分画像）を撮像画像から抽出する。以下の説明では、画像抽出部３０４により抽出された基板９の上記部分画像を「第２画像」とも呼ぶ。画像抽出部３０４は、例えば、欠陥候補が検出された第１画像（すなわち、基板９の一部を示すグレースケール画像）において、当該欠陥候補を含む領域を設定する。当該領域は、第１画像の一部であり、第１画像よりも小さい。画像抽出部３０４は、撮像画像（例えば、基板９の検査対象領域全体のカラー画像）から当該領域に対応する部分領域を抽出することにより、上述の第２画像を取得する。第２画像は、第１画像の一部に対応するカラー画像であり、第１画像よりも小さい。

【0032】

第２検査部３０５は、第２画像に対して検査を行って、第２画像に含まれる欠陥候補が欠陥であるか否かを判断する。以下の説明では、第２検査部３０５による第２画像に対する検査を「二次検査」とも呼ぶ。二次検査では、例えば、機械学習により作成された学習済みモデルを利用したＡＩ検査が行われる。ＡＩ検査とは、基板９上のパターンの画像をＡＩ（人工知能）の画像認識技術を使って解析し、欠陥の有無を判別する検査方法である。二次検査に用いられる学習済みモデルは、第２コンピュータ４により生成されて、記憶部３０１に予め記憶される。第２コンピュータ４による学習済みモデルの作成については後述する。第２検査部３０５は、記憶部３０１に記憶されている当該学習済みモデルを利用して第２画像を検査し、欠陥の有無により第２画像を分類する分類器である。なお、二次検査では、上述のＡＩ検査に加えて、あるいは、上述のＡＩ検査に代えて、他の手法による検査が行われてもよい。

【0033】

次に、検査装置１における基板９の検査の流れを、図４を参照しつつ説明する。基板９の検査は、上述のプログラム８１１が第１コンピュータ３によって実行されることにより実施される。検査装置１では、まず、図３に示す制御部３０６により撮像部２１およびステージ移動機構２３等が制御されることにより、撮像部２１によって基板９が撮像され、カラー画像である上述の撮像画像が取得される（ステップＳ１１）。

【0034】

続いて、画像変換部３０２により、撮像画像がグレースケール画像に変換され、当該グレースケール画像から、それぞれが基板９の一部を示す部分画像である複数の第１画像が取得される（ステップＳ１２）。ステップＳ１２において撮像画像をグレースケール画像に変換する際には、例えば、撮像画像をＲ（赤）、Ｇ（緑）、Ｂ（青）の３つの単色グレースケール画像に分離し、いずれかの単色グレースケール画像が上述のグレースケール画像として用いられる。あるいは、上述の３つの単色グレースケール画像のうち２つ以上を用いた差分画像（例えば、Ｒ－Ｇ、Ｒ－Ｂ、または、Ｒｘ２－Ｂ等）、積算画像（例えば、Ｒ＋Ｇ等）、または、重み付け積算画像（例えば、Ｒｘ２＋Ｇ等）が、上述のグレースケール画像として用いられてもよい。なお、ステップＳ１２における撮像画像からグレースケール画像への変換は、上述の方法以外の様々な方法により行われてもよい。

【0035】

そして、第１検査部３０３により、複数の第１画像に対する一次検査（例えば、ルールベース検査）が順次行われ、欠陥候補が検出される（ステップＳ１３）。ステップＳ１３では、例えば、欠陥候補を含む第１画像が検出され、当該欠陥候補の第１画像中における位置に基づいて、基板９上における当該欠陥候補の位置が求められる。ステップＳ１３にて検出された欠陥候補の基板９上における位置は、第１検査部３０３から記憶部３０１へと送られて、記憶部３０１に記憶される。

【0036】

次に、画像抽出部３０４により、記憶部３０１に記憶された基板９上における欠陥候補の位置に基づいて、カラー画像である上述の撮像画像から、欠陥候補を含む部分領域のカラー画像である第２画像が抽出される（ステップＳ１４）。第２画像は、画像抽出部３０４から記憶部３０１へと送られて、記憶部３０１に記憶される。上述のように、第２画像は第１画像の一部に対応し、第１画像よりも小さい（すなわち、画像に含まれる基板９上の領域が小さい）ことが好ましい。

【0037】

上述の一次検査（ステップＳ１３）において欠陥候補をそれぞれ含む複数の第１画像が検出された場合、ステップＳ１４では、複数の第２画像が撮像画像から抽出される。また、一次検査において検出された１つの第１画像に複数の欠陥候補が含まれている場合、ステップＳ１４では、当該複数の欠陥候補にそれぞれ対応する複数の第２画像が撮像画像から抽出されてもよく、あるいは、当該複数の欠陥候補を含む１つの第２画像が撮像画像から抽出されてもよい。

【0038】

その後、第２検査部３０５により、記憶部３０１に記憶された第２画像に対して二次検査（例えば、学習済みモデルを利用したＡＩ検査）が行われ、第２画像に含まれる欠陥候補が欠陥であるか否かが判断される（ステップＳ１５）。一次検査において検出された欠陥候補のうち、二次検査にて欠陥と判断されたものは、理想的には全て真欠陥（すなわち、基板９の品質上問題となる可能性が高い欠陥）であることが好ましい。ただし、実際には、二次検査にて欠陥と判断されたものには、真欠陥のみならず、ある程度の虚報（すなわち、品質上問題となる可能性が実質的にない欠陥）も含まれる可能性がある。

【0039】

ステップＳ１５にて欠陥が検出された第２画像（すなわち、二次検査にて欠陥と判断された欠陥候補を含む第２画像）は、作業者によるベリファイ作業の対象画像としてディスプレイ３５に表示される（ステップＳ１６）。ベリファイ作業（すなわち、欠陥確認作業）を行う作業者は、ディスプレイ３５に表示された第２画像を目視にて観察することにより、ベリファイ作業専用の装置を用いて実際の基板９上の欠陥を観察することなく、検出された欠陥を確認することができる。上述のように、第２画像はカラー画像であるため、作業者は、第２画像を観察することによってベリファイ作業を精度良く行うことができる。

【0040】

次に、第２コンピュータ４による上述の学習済みモデルの作成について説明する。図５は第２コンピュータ４の構成を示す図である。第２コンピュータ４は、第１コンピュータ３と略同様に、ＣＰＵ４１と、ＲＯＭ４２と、ＲＡＭ４３と、固定ディスク４４と、ディスプレイ４５と、入力部４６と、読取装置４７と、通信部４８と、ＧＰＵ４９と、バス４０とを含む一般的なコンピュータシステムの構成を有する。ＣＰＵ４１は、各種演算処理を行う。ＧＰＵ４９は、画像処理に関する各種演算処理を行う。ＲＯＭ４２は、基本プログラムを記憶する。ＲＡＭ４３は、各種情報を記憶する。固定ディスク４４は、情報記憶を行う。ディスプレイ４５は、画像等の各種情報の表示を行う。入力部４６は、操作者からの入力を受け付けるキーボード４６ａおよびマウス４６ｂを備える。読取装置４７は、光ディスク、磁気ディスク、光磁気ディスク、メモリカード等のコンピュータ読み取り可能な記録媒体８２から情報の読み取りを行う。ディスプレイ４５、キーボード４６ａ、マウス４６ｂおよび読取装置４７は、インターフェイスＩ／Ｆを介してバス４０に接続される。通信部４８は、検査装置１の他の構成、および、外部の装置との間で信号を送受信する。バス４０は、ＣＰＵ４１、ＧＰＵ４９、ＲＯＭ４２、ＲＡＭ４３、固定ディスク４４、ディスプレイ４５、入力部４６、読取装置４７および通信部４８を接続する信号回路である。

【0041】

第２コンピュータ４では、事前に読取装置４７を介して記録媒体８２からプログラム８２１が読み出されて固定ディスク４４に記憶されている。プログラム８２１はネットワークを介して固定ディスク４４に記憶されてもよい。ＣＰＵ４１およびＧＰＵ４９は、プログラム８２１に従ってＲＡＭ４３や固定ディスク４４を利用しつつ演算処理を実行する。ＣＰＵ４１およびＧＰＵ４９は、第２コンピュータ４において演算部として機能する。ＣＰＵ４１およびＧＰＵ４９以外に演算部として機能する他の構成が採用されてもよい。

【0042】

図６は、第２コンピュータ４がプログラム８２１に従って演算処理等を実行することにより実現される機能構成を示す図である。これらの機能構成には、記憶部４０１と、データセット作成部４０２と、学習部４０３とが含まれる。これらの機能の全部または一部は専用の電気回路により実現されてもよい。また、複数のコンピュータによりこれらの機能が実現されてもよい。図６に示す機能構成のうち、データセット作成部４０２および学習部４０３は、ＣＰＵ４１、ＧＰＵ４９、ＲＯＭ４２、ＲＡＭ４３、固定ディスク４４およびこれらの周辺構成により実現される。また、記憶部４０１は、主としてＲＡＭ４３および固定ディスク４４により実現される。

【0043】

記憶部４０１は、学習済みモデルの作成に関する様々な情報等を記憶する。データセット作成部４０２は、学習済みモデルの作成に使用される学習用データセットを作成する。学習用データセットの詳細については、後述する。学習部４０３は、当該学習用データセットを用いた機械学習により、上述の第２検査部３０５（図３参照）における検査に利用される学習済みモデルを作成する。学習部４０３では、検査用の初期モデルに対して、基板９の一部を示すカラー画像と欠陥の有無との関係を機械学習させることにより、学習済みモデルが作成される。学習部４０３における機械学習は、例えば、ニューラルネットワークを用いたディープラーニングにより行われる。当該ディープラーニングによる学習は、例えば、ＲｅｓＮｅｔを用いて行われる。なお、当該機械学習は、ディープラーニング以外の方法により行われてもよい。

【0044】

次に、検査装置１における学習済みモデルの作成の流れを、図７を参照しつつ説明する。学習済みモデルの作成は、上述のプログラム８１１およびプログラム８２１が第１コンピュータ３および第２コンピュータ４によって実行されることにより実施される。検査装置１では、まず、ステップＳ１１と略同様に、撮像部２１によって学習用基板が撮像され、学習用基板のカラー画像である学習用撮像画像が取得される（ステップＳ２１）。学習用基板は、学習済みモデルの作成に使用される基板であり、学習用基板の表面上には、上述の基板９と略同様のパターンが形成されている。学習用基板は、学習済みモデル作成のための専用基板であってもよく、製品として製造された基板であってもよい。

【0045】

続いて、ステップＳ１２と略同様に、画像変換部３０２（図３参照）により、学習用撮像画像がグレースケール画像に変換され、当該グレースケール画像から、それぞれが学習用基板の一部を示す部分画像である複数の第１学習用画像が取得される（ステップＳ２２）。

【0046】

そして、ステップＳ１３と略同様に、第１検査部３０３（図３参照）により、複数の第１学習用画像に対する上述の一次検査（例えば、ルールベース検査）が順次行われ、欠陥候補（以下、「学習用欠陥候補」とも呼ぶ。）が検出される（ステップＳ２３）。ステップＳ２３にて検出された学習用欠陥候補の学習用基板上における位置は、第１検査部３０３から記憶部３０１（図３参照）へと送られて、記憶部３０１に記憶される。

【0047】

次に、ステップＳ１４と略同様に、画像抽出部３０４（図３参照）により、記憶部３０１に記憶された学習用基板上における学習用欠陥候補の位置に基づいて、カラー画像である上述の学習用撮像画像から、学習用欠陥候補を含む部分領域のカラー画像である第２学習用画像が抽出される（ステップＳ２４）。第２学習用画像は、画像抽出部３０４から記憶部３０１へと送られて、記憶部３０１に記憶される。第２学習用画像は、第１学習用画像の一部に対応し、第１学習用画像よりも小さいことが好ましい。

【0048】

検査装置１では、例えば、複数の学習用基板に対して上述のステップＳ２１～Ｓ２４がそれぞれ行われ、複数の学習用基板から抽出された第２学習用画像の集合（以下、「第２学習用画像群」とも呼ぶ。）が、第１コンピュータ３から第２コンピュータ４へと送られて記憶部４０１に記憶される。

【0049】

第２コンピュータ４では、図６に示すデータセット作成部４０２により、第２学習用画像群がディスプレイ４５等に表示され、作業者によって観察される。作業者は、各第２学習用画像に含まれる学習用欠陥候補が、検査装置１における上記二次検査にて検出されるべき欠陥（すなわち、真欠陥）であるか、検出される必要の無いもの（すなわち、虚報）であるかを判断し、各第２学習用画像を、欠陥を含む欠陥画像と、欠陥を含まない良品画像とに分類する。

【0050】

例えば、作業者は、第２学習用画像を目視して真欠陥が存在すると判断した場合、当該第２学習用画像を右クリックし、プルダウンメニューから「真欠陥」を選択することにより、当該第２学習用画像が欠陥画像フォルダに格納される。また、作業者が第２学習用画像を目視して真欠陥が存在しないと判断した場合、当該第２学習用画像を右クリックし、プルダウンメニューから「虚報」を選択することにより、当該第２学習用画像が良品画像フォルダに格納される。

【0051】

データセット作成部４０２では、第２学習用画像群の各第２学習用画像が、欠陥画像または良品画像であることを示す情報と紐付けられることにより、機械学習用の学習用データセットが作成される（ステップＳ２５）。学習用データセットは、データセット作成部４０２から記憶部４０１へと送られ、記憶部４０１に記憶される。なお、学習用データセットには、欠陥画像と良品画像とに分類された第２学習用画像群以外に、他の学習用画像が含まれていてもよい。

【0052】

学習用データセットの作成が終了すると、学習部４０３は、当該学習用データセットを用いて、学習用基板のカラー画像と欠陥の有無との関係を検査用の初期モデルに機械学習させる。これにより、検査装置１において基板９を検査する際に利用される学習済みモデルが作成される（ステップＳ２６）。当該学習済みモデルは、第２コンピュータ４から第１コンピュータ３へと送られて記憶部３０１（図３参照）に記憶される。

【0053】

なお、検査装置１では、ステップＳ２２～Ｓ２４における第１学習用画像の取得、第１学習用画像に対する一次検査、および、第２学習用画像の抽出は、必ずしも第１コンピュータ３において行われる必要はない。例えば、第１コンピュータ３の画像変換部３０２、第１検査部３０３および画像抽出部３０４と略同様の機能構成が、第２コンピュータ４または他のコンピュータにて実現され、第２コンピュータ４または当該他のコンピュータによってステップＳ２２～Ｓ２４が行われもよい。また、ステップＳ２１における学習用撮像画像の取得も、検査装置１以外の装置にて行われてもよい。

【0054】

検査装置１では、基板９に対してステップＳ１１～Ｓ１５に示す検査が行われた後に、学習済みモデルに対する再学習が行われてもよい。当該再学習は、例えば、ステップＳ１５の二次検査において欠陥と判断されたものの中に含まれる虚報の割合が、ある程度以上高い場合等に行われる。

【0055】

図８は、学習済みモデルに対する再学習の流れを示す図である。学習済みモデルの再学習が行われる場合、例えば、第２検査部３０５（図３参照）によって欠陥の有無が判定された基板９の第２画像群が、図６に示す第２コンピュータ４のディスプレイ４５に表示される。当該第２画像群は、例えば、第２検査部３０５によって欠陥を有すると判断された第２画像のみで構成される。あるいは、当該第２画像群は、第２検査部３０５によって欠陥を有すると判断された第２画像、および、第２検査部３０５によって欠陥を有しないと判断された第２画像の双方を含んでいてもよい。

【0056】

続いて、ディスプレイ４５に表示された検査済みの上記第２画像群を作業者が目視にて観察し、作業者の経験等に基づいて欠陥の有無（すなわち、真欠陥であるか、虚報であるか）を判断して再分類する。そして、データセット作成部４０２（図６参照）において、作業者によって再分類された第２画像群の各第２画像が、欠陥画像または良品画像であることを示す情報と紐付けられることにより、追加学習用データセットが作成される（ステップＳ３１）。追加学習用データセットは、データセット作成部４０２から記憶部４０１へと送られ、記憶部４０１に記憶される。

【0057】

その後、学習部４０３において、追加学習用データセットを用いた機械学習により、学習済みモデルに対する再学習が行われる（ステップＳ３２）。ステップＳ３２における機械学習は、ステップＳ２６における機械学習と略同様の方法にて行われる。検査装置１では、再学習が行われた学習済みモデルを用いてステップＳ１１～Ｓ１５に示す検査が行われることにより、ステップＳ１５の二次検査において欠陥と判断されたものの中に含まれる虚報の割合が低減され、欠陥検査の精度が向上される。なお、上述の第２画像群の再分類は、必ずしも作業者の経験等に基づいて行われる必要はなく、ステップＳ１５における二次検査（すなわち、再学習前の学習済みモデルによるＡＩ検査）とは異なる他の基準にて行われればよい。

【0058】

検査装置１では、上述の一次検査（ステップＳ１３）において行われるルールベース検査は、比較検査であってもよい。一次検査において比較検査が行われる場合、例えば、第１画像が、記憶部３０１に記憶されている参照画像（すなわち、良品パターンを示すグレースケール画像）と比較され、対応する領域において差異が大きい場合、当該領域が欠陥を含むと判定される。また、一次検査では、ルールベース検査に加えて、あるいは、ルールベース検査に代えて、他の手法による検査が第１画像に対して行われてもよい。当該他の手法による検査としては、例えばＡＩ検査が挙げられる。一次検査においてＡＩ検査が行われる場合、当該ＡＩ検査において用いられる学習済みモデルは、グレースケール画像である第１画像、または、当該第１画像の一部である部分画像を学習用データセットとして用いたディープラーニング等の機械学習により作成される。

【0059】

上述の二次検査（ステップＳ１５）では、ＡＩ検査に加えて、あるいは、ＡＩ検査に代えて、他の手法による検査が第２画像に対して行われてもよい。当該他の手法による検査としては、例えば、ルールベース検査が挙げられる。二次検査においてルールベース検査が行われる場合、カラー画像である第２画像に対するデザインルールに係る情報や、良品パターンを示すカラー画像である参照画像が用いられる。

【0060】

二次検査における上記他の手法による検査は、例えば、予め設定された登録色に基づく色検査であってもよい。二次検査において色検査が行われる場合、例えば、ステップＳ１３の一次検査において検出される欠陥候補のうち、真欠陥ではないもの（以下、「偽欠陥」とも呼ぶ。）の第２画像における色に関する情報が、登録色に係る情報として記憶部３０１に予め記憶されている。偽欠陥とは、例えば、基板９上に付着している除去可能な異物、および、基板９上に生じている許容範囲内の錆等であり、二次検査において欠陥として検出する必要のないものである。

【0061】

二次検査では、当該偽欠陥の登録色に係る情報と、一次検査にて検出された欠陥候補の第２画像における色情報とが比較され、当該欠陥候補が偽欠陥であるか否かが判断される。そして、一次検査にて検出された欠陥候補のうち、偽欠陥ではない（すなわち、真欠陥である）と判断されたもののみが、作業者によるベリファイ作業に送られる。なお、二次検査において行われる色検査は、上記例には限定されず、他の方法により行われる色検査であってもよい。

【0062】

以上に説明したように、表面上にパターンを有する基板９を検査する検査装置１は、第１検査部３０３と、第２検査部３０５とを備える。第１検査部３０３は、基板９のグレースケール画像である第１画像に対して一次検査を行って欠陥候補を検出する。第２検査部３０５は、基板９のうち当該欠陥候補を含む部分領域のカラー画像である第２画像に対して二次検査を行って、当該欠陥候補が欠陥であるか否かを判断する。このように、一次検査においてグレースケール画像から欠陥候補を検出しておくことにより、カラー画像を用いた高精度な二次検査に要する検査時間を短くすることができる。すなわち、検査装置１では、検査時間の増大を抑制しつつ、基板９上の欠陥を精度良く検出することができる。その結果、作業者によるベリファイ作業（すなわち、欠陥確認作業）の対象となる欠陥の数を低減することができ、ベリファイ作業に要する時間を短縮することができる。

【0063】

検査装置１では、第２検査部３０５によって欠陥が検出された第２画像（すなわち、二次検査にて欠陥と判断された欠陥候補を含む第２画像）が、ディスプレイ３５に表示されることが好ましい。この場合、作業者は、ディスプレイ３５に表示された第２画像を目視にて観察することにより、ベリファイ作業専用の装置を用いて実際の基板９上の欠陥を観察することなく、ベリファイ作業を行うことができる。したがって、ベリファイ作業専用の装置を省略することができるとともに、ベリファイ作業に要する時間をさらに短縮することもできる。

【0064】

上述のように、二次検査は、機械学習により作成された学習済みモデルを利用したＡＩ検査を含むことが好ましい。これにより、ルールベース検査等では良否判断が難しい欠陥候補についても比較的精度良く良否判断を行うことができるため、二次検査における欠陥検出の精度を向上させることができる。また、この場合、カラー画像を学習用データセットとして用いた学習済みモデル（すなわち、学習用データセットの作成時における欠陥の有無の判断精度が高い学習済みモデル）によってＡＩ検査を行うことができるため、二次検査における欠陥検出の精度をさらに向上させることができる。

【0065】

上述のように、検査装置１は、学習部４０３をさらに備えることが好ましい。学習部４０３は、学習用基板における学習用欠陥候補を含む部分領域のカラー画像の集合から作成した学習用データセットを用いて機械学習を行うことにより、学習用基板のカラー画像と欠陥の有無との関係を初期モデルに学習させて学習済みモデルを作成する。これにより、検査装置１において学習済みモデルを作成することができるため、学習済みモデルを作成するための他の装置を準備する必要がない。

【0066】

また、上記学習用欠陥候補は、学習用基板のグレースケール画像に対して上述の一次検査を行うことにより検出される。このように、学習用欠陥候補の検出を、基板９の検査における欠陥候補の検出と同じ方法によって行うことにより、学習用データセットに含められる学習用欠陥候補を、検査装置１における基板９の二次検査に適した学習用欠陥候補に絞ることができる。その結果、基板９の二次検査に適した学習用データセットを作成することができる。

【0067】

上述のように、学習部４０３は、追加学習用データセットを用いた機械学習により、学習済みモデルに対する再学習を行うことが好ましい。当該追加学習用データセットは、第２検査部３０５により欠陥の有無が判定された第２画像について、他の基準にて欠陥の有無が判断されて再分類されることにより作成される。これにより、二次検査における欠陥検出の精度を向上させることができる。

【0068】

上述のように、二次検査は、予め設定された登録色に基づく色検査を含むことも好ましい。この場合も、二次検査における欠陥検出の精度を向上させることができる。

【0069】

上述のように、一次検査はルールベース検査を含むことが好ましい。基板９の検査では、様々な方法のルールベース検査が公知であるため、一次検査における検査方法の選択の自由度が高くなる。したがって、検査装置１において行われる検査の目的に合わせて、適切な方法のルールベース検査を一次検査として採用することができる。その結果、一次検査において、検査目的に適合した欠陥候補を検出することができるため、二次検査における欠陥検出の精度を向上させることができる。

【0070】

上述のように、検査装置１は、撮像部２１と、画像変換部３０２と、画像抽出部３０４とをさらに備えることが好ましい。撮像部２１は、基板９を撮像してカラー画像である撮像画像を取得する。画像変換部３０２は、当該撮像画像をグレースケール画像に変換して上述の第１画像を取得する。画像抽出部３０４は、基板９上における欠陥候補の位置に基づいて当該撮像画像から第２画像を抽出する。これにより、１つの撮像画像から第１画像および第２画像の双方を取得することができるため、検査装置１における基板９の検査を簡素化することができる。また、検査装置１において、グレースケール画像である第１画像用の撮像部、および、カラー画像である第２画像用の撮像部の双方を設ける必要が無いため、検査装置１の構造を簡素化することもできる。

【0071】

上述のように、第１画像は、基板９の一部を示すグレースケール画像であり、第２画像は、第１画像の一部に対応するカラー画像であることが好ましい。これにより、第２画像のデータ量を小さくすることができるため、二次検査に要する時間をさらに短くすることができる。

【0072】

表面上にパターンを有する基板９を検査する上述の検査方法は、基板９のグレースケール画像である第１画像に対して一次検査を行って欠陥候補を検出する工程（ステップＳ１３）と、基板９のうち当該欠陥候補を含む部分領域のカラー画像である第２画像に対して二次検査を行って、当該欠陥候補が欠陥であるか否かを判断する工程（ステップＳ１５）と、を備える。これにより、上述のように、検査時間の増大を抑制しつつ、基板９上の欠陥を精度良く検出することができる。

【0073】

上述の検査装置１および検査方法では、様々な変更が可能である。

【0074】

第２画像は、必ずしも第１画像の一部に対応するカラー画像である必要はなく、例えば、基板９上において第１画像と同じ領域を示すカラー画像であってもよい。あるいは、第２画像は、基板９上において第１画像よりも大きい領域を示すカラー画像であってもよい。

【0075】

第１画像は、必ずしも、撮像部２１によって撮像されたカラー画像である上述の撮像画像から取得される必要はない。例えば、検査装置１では、グレースケール画像用の他の撮像部が撮像部２１とは別に設けられ、当該他の撮像部によって撮像されたグレースケール画像から第１画像が取得されてもよい。

【0076】

検査装置１では、第１コンピュータ３による各種機能（すなわち、記憶部３０１、画像変換部３０２、第１検査部３０３、画像抽出部３０４、第２検査部３０５および制御部３０６）と、第２コンピュータ４による各種機能（すなわち、記憶部４０１、データセット作成部４０２および学習部４０３）とは、例えば、１台のコンピュータにより実現されてもよい。

【0077】

検査装置１では、上述の学習済みモデルに対する再学習は、必ずしも行われる必要はない。

【0078】

また、検査装置１では、当該学習済みモデルの作成も、必ずしも行われる必要はなく、他の装置において作成された学習済みモデルを用いて、上述のＡＩ検査が行われてもよい。この場合、検査装置１では、第２コンピュータ４は省略されてもよい。

【0079】

検査装置１では、撮像部２１、ステージ２２およびステージ移動機構２３は省略されてもよい。この場合、他の装置にて撮像された基板９の撮像画像を用いて、検査装置１における基板９の検査が行われる。

【0080】

上記実施の形態および各変形例における構成は、相互に矛盾しない限り適宜組み合わされてよい。

【符号の説明】

【0081】

１ 検査装置
９ 基板
２１ 撮像部
３０２ 画像変換部
３０３ 第１検査部
３０４ 画像抽出部
３０５ 第２検査部
４０３ 学習部
Ｓ１１～Ｓ１６，Ｓ２１～Ｓ２６，Ｓ３１～Ｓ３２ ステップ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】