特許 7317647 学習装置、検査装置、学習方法および検査方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-07-21

(45)【発行日】2023-07-31

(54)【発明の名称】学習装置、検査装置、学習方法および検査方法

(51)【国際特許分類】

   G01N 21/88 20060101AFI20230724BHJP

   G01N 21/956 20060101ALI20230724BHJP

   G06T 7/00 20170101ALI20230724BHJP

   G06N 20/00 20190101ALI20230724BHJP

【ＦＩ】

G01N21/88 J

G01N21/956 B

G06T7/00 350C

G06T7/00 610B

G06N20/00

【請求項の数】 14

(21)【出願番号】P 2019170273

(22)【出願日】2019-09-19

(65)【公開番号】P2021047104

(43)【公開日】2021-03-25

【審査請求日】2022-06-17

(73)【特許権者】

【識別番号】000207551

【氏名又は名称】株式会社ＳＣＲＥＥＮホールディングス

(74)【代理人】

【識別番号】100110847

【弁理士】

【氏名又は名称】松阪 正弘

(74)【代理人】

【識別番号】100136526

【弁理士】

【氏名又は名称】田中 勉

(74)【代理人】

【識別番号】100136755

【弁理士】

【氏名又は名称】井田 正道

(72)【発明者】

【氏名】塩見 順一

【審査官】田中 洋介

(56)【参考文献】

【文献】特開２０１４－１４９１７７（ＪＰ，Ａ）

【文献】特開２０１８－１５９６００（ＪＰ，Ａ）

【文献】特開２０１９－０３９７２７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２１／８４ー２１／９５８

Ｇ０６Ｔ ７／００ー７／９０

Ｇ０６Ｎ ２０／００ー２０／２０

Ｇ０１Ｂ １１／００ー１１／３０

(57)【特許請求の範囲】

【請求項1】

表面上にパターンを有する基板を検査する際に利用される学習済みモデルを作成する学習装置であって、
基板画像が欠陥を有する仮欠陥画像と欠陥を有しない仮良品画像とに分類された第１データを入力する第１入力部と、
前記第１データ中の前記仮欠陥画像を真欠陥の有無により再分類した第２データを入力する第２入力部と、
前記第２データにおいて前記仮欠陥画像に対する重み付けを行って学習用データセットを生成し、前記学習用データセットを用いた機械学習により、基板画像と欠陥の有無との関係を学習させて学習済みモデルを作成する学習部と、
を備え、
前記学習部による前記学習用データセットの生成では、
前記仮欠陥画像が真欠陥を有すると再分類された場合、複数の重み係数のうち前記真欠陥の重要度に応じて選択された重み係数を前記仮欠陥画像に乗算した上で欠陥有りに分類し、
前記仮欠陥画像が真欠陥を有しないと再分類された場合、前記仮欠陥画像を欠陥無しに分類することを特徴とする学習装置。

【請求項2】

請求項１に記載の学習装置であって、
前記複数の重み係数は、前記基板上において真欠陥が位置する領域の重要度が高くなるに従って大きくなることを特徴とする学習装置。

【請求項3】

請求項１または２に記載の学習装置であって、
前記複数の重み係数は、複数種類の検査のうち真欠陥が検出された検査の種類の重要度が高くなるに従って大きくなることを特徴とする学習装置。

【請求項4】

表面上にパターンを有する基板を検査する検査装置であって、
基板を撮像して得られた被検査画像を、請求項１ないし３のいずれか１つに記載の学習装置により作成された学習済みモデルを利用して検査する検査部を備えることを特徴とする検査装置。

【請求項5】

表面上にパターンを有する基板を検査する検査装置であって、
請求項１ないし３のいずれか１つに記載の学習装置と、
基板を撮像して得られた被検査画像を、前記学習装置により作成された学習済みモデルを利用して検査する検査部と、
を備えることを特徴とする検査装置。

【請求項6】

請求項５に記載の検査装置であって、
前記学習装置の前記第２入力部は、前記検査部により得られた欠陥画像を前記仮欠陥画像として真欠陥の有無により再分類した新たな第２データを入力し、
前記学習部は、前記新たな第２データにおいて前記仮欠陥画像に対する重み付けを行って新たな学習用データセットを生成し、前記新たな学習用データセットを用いた機械学習により、基板画像と欠陥の有無との関係を前記学習済みモデルに再学習させることを特徴とする検査装置。

【請求項7】

請求項４ないし６のいずれか１つに記載の検査装置であって、
基板を撮像して前記被検査画像を取得する撮像部をさらに備えることを特徴とする検査装置。

【請求項8】

表面上にパターンを有する基板を検査する際に利用される学習済みモデルを作成する学習方法であって、
ａ）基板画像が欠陥を有する仮欠陥画像と欠陥を有しない仮良品画像とに分類された第１データを入力する工程と、
ｂ）前記第１データ中の前記仮欠陥画像を真欠陥の有無により再分類した第２データを入力する工程と、
ｃ）前記第２データにおいて前記仮欠陥画像に対する重み付けを行って学習用データセットを生成し、前記学習用データセットを用いた機械学習により、基板画像と欠陥の有無との関係を学習させて学習済みモデルを作成する工程と、
を備え、
前記ｃ）工程における前記学習用データセットの生成では、
前記仮欠陥画像が真欠陥を有すると再分類された場合、複数の重み係数のうち前記真欠陥の重要度に応じて選択された重み係数を前記仮欠陥画像に乗算した上で欠陥有りに分類し、
前記仮欠陥画像が真欠陥を有しないと再分類された場合、前記仮欠陥画像を欠陥無しに分類することを特徴とする学習方法。

【請求項9】

請求項８に記載の学習方法であって、
前記複数の重み係数は、前記基板上において真欠陥が位置する領域の重要度が高くなるに従って大きくなることを特徴とする学習方法。

【請求項10】

請求項８または９に記載の学習方法であって、
前記複数の重み係数は、複数種類の検査のうち真欠陥が検出された検査の種類の重要度が高くなるに従って大きくなることを特徴とする学習方法。

【請求項11】

表面上にパターンを有する基板を検査する検査方法であって、
基板を撮像して得られた被検査画像を、請求項８ないし１０のいずれか１つに記載の学習方法により作成された学習済みモデルを利用して検査する工程を備えることを特徴とする検査方法。

【請求項12】

表面上にパターンを有する基板を検査する検査方法であって、
ｄ）請求項８ないし１０のいずれか１つに記載の学習方法により学習済みモデルを作成する工程と、
ｅ）基板を撮像して得られた被検査画像を、前記ｄ）工程において作成された前記学習済みモデルを利用して検査する工程と、
を備えることを特徴とする検査方法。

【請求項13】

請求項１２に記載の検査方法であって、
ｆ）前記ｅ）工程において得られた欠陥画像を前記仮欠陥画像として真欠陥の有無により再分類した新たな第２データを入力する工程と、
ｇ）前記新たな第２データにおいて前記仮欠陥画像に対する重み付けを行って新たな学習用データセットを生成し、前記新たな学習用データセットを用いた機械学習により、基板画像と欠陥の有無との関係を前記学習済みモデルに再学習させる工程と、
をさらに備えることを特徴とする検査方法。

【請求項14】

請求項１１ないし１３のいずれか１つに記載の検査方法であって、
基板を撮像して前記被検査画像を取得する工程をさらに備えることを特徴とする検査方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、表面上にパターンを有する基板を検査する技術に関する。

【背景技術】

【0002】

従来、プリント配線基板の検査では、検査装置によりプリント配線基板の各領域の画像が検査され、欠陥を有すると判断された画像（以下、「欠陥画像」と呼ぶ。）が抽出される。そして、抽出された欠陥画像に対して作業者による欠陥確認作業（いわゆる、ベリファイ作業）が行われる。検査装置により抽出される欠陥には、品質上問題となる可能性が高い真欠陥と、品質上問題となる可能性が実質的にない虚報とが含まれており、上述の欠陥確認作業では、検査装置により抽出された欠陥画像から、作業者が目視によって真欠陥を抽出している。

【0003】

一方、特許文献１では、金属ベローズのような部品の外観検査装置において、事前に準備された多数の良否画像データを用いたディープラーニングにより学習バイナリファイルを作成し、当該学習バイナリファイルにより被検査画像に対する画像処理を行って良否判定を行うことが提案されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特許第６５１２５８５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、プリント配線基板の検査装置において、欠陥画像の抽出に特許文献１のようなディープラーニング技術を適用する場合、欠陥画像に含まれる虚報の割合を低減して検査精度を向上しようとすると、学習処理に必要な画像数が膨大となり（すなわち、学習用データセットの容量が膨大となり）、学習に多大な時間を要するおそれがある。

【0006】

本発明は、上記課題に鑑みなされたものであり、学習用データセットの容量を低減しつつ、高精度な基板検査を実現することを目的としている。

【課題を解決するための手段】

【0007】

請求項１に記載の発明は、表面上にパターンを有する基板を検査する際に利用される学習済みモデルを作成する学習装置であって、基板画像が欠陥を有する仮欠陥画像と欠陥を有しない仮良品画像とに分類された第１データを入力する第１入力部と、前記第１データ中の前記仮欠陥画像を真欠陥の有無により再分類した第２データを入力する第２入力部と、前記第２データにおいて前記仮欠陥画像に対する重み付けを行って学習用データセットを生成し、前記学習用データセットを用いた機械学習により、基板画像と欠陥の有無との関係を学習させて学習済みモデルを作成する学習部とを備え、前記学習部による前記学習用データセットの生成では、前記仮欠陥画像が真欠陥を有すると再分類された場合、複数の重み係数のうち前記真欠陥の重要度に応じて選択された重み係数を前記仮欠陥画像に乗算した上で欠陥有りに分類し、前記仮欠陥画像が真欠陥を有しないと再分類された場合、前記仮欠陥画像を欠陥無しに分類する。

【0008】

請求項２に記載の発明は、請求項１に記載の学習装置であって、前記複数の重み係数は、前記基板上において真欠陥が位置する領域の重要度が高くなるに従って大きくなる。

【0009】

請求項３に記載の発明は、請求項１または２に記載の学習装置であって、前記複数の重み係数は、複数種類の検査のうち真欠陥が検出された検査の種類の重要度が高くなるに従って大きくなる。

【0010】

請求項４に記載の発明は、表面上にパターンを有する基板を検査する検査装置であって、基板を撮像して得られた被検査画像を、請求項１ないし３のいずれか１つに記載の学習装置により作成された学習済みモデルを利用して検査する検査部を備える。

【0011】

請求項５に記載の発明は、表面上にパターンを有する基板を検査する検査装置であって、請求項１ないし３のいずれか１つに記載の学習装置と、基板を撮像して得られた被検査画像を、前記学習装置により作成された学習済みモデルを利用して検査する検査部とを備える。

【0012】

請求項６に記載の発明は、請求項５に記載の検査装置であって、前記学習装置の前記第２入力部は、前記検査部により得られた欠陥画像を前記仮欠陥画像として真欠陥の有無により再分類した新たな第２データを入力し、前記学習部は、前記新たな第２データにおいて前記仮欠陥画像に対する重み付けを行って新たな学習用データセットを生成し、前記新たな学習用データセットを用いた機械学習により、基板画像と欠陥の有無との関係を前記学習済みモデルに再学習させる。

【0013】

請求項７に記載の発明は、請求項４ないし６のいずれか１つに記載の検査装置であって、基板を撮像して前記被検査画像を取得する撮像部をさらに備える。

【0014】

請求項８に記載の発明は、表面上にパターンを有する基板を検査する際に利用される学習済みモデルを作成する学習方法であって、ａ）基板画像が欠陥を有する仮欠陥画像と欠陥を有しない仮良品画像とに分類された第１データを入力する工程と、ｂ）前記第１データ中の前記仮欠陥画像を真欠陥の有無により再分類した第２データを入力する工程と、ｃ）前記第２データにおいて前記仮欠陥画像に対する重み付けを行って学習用データセットを生成し、前記学習用データセットを用いた機械学習により、基板画像と欠陥の有無との関係を学習させて学習済みモデルを作成する工程とを備え、前記ｃ）工程における前記学習用データセットの生成では、前記仮欠陥画像が真欠陥を有すると再分類された場合、複数の重み係数のうち前記真欠陥の重要度に応じて選択された重み係数を前記仮欠陥画像に乗算した上で欠陥有りに分類し、前記仮欠陥画像が真欠陥を有しないと再分類された場合、前記仮欠陥画像を欠陥無しに分類する。

【0015】

請求項９に記載の発明は、請求項８に記載の学習方法であって、前記複数の重み係数は、前記基板上において真欠陥が位置する領域の重要度が高くなるに従って大きくなる。

【0016】

請求項１０に記載の発明は、請求項８または９に記載の学習方法であって、前記複数の重み係数は、複数種類の検査のうち真欠陥が検出された検査の種類の重要度が高くなるに従って大きくなる。

【0017】

請求項１１に記載の発明は、表面上にパターンを有する基板を検査する検査方法であって、基板を撮像して得られた被検査画像を、請求項８ないし１０のいずれか１つに記載の学習方法により作成された学習済みモデルを利用して検査する工程を備える。

【0018】

請求項１２に記載の発明は、表面上にパターンを有する基板を検査する検査方法であって、ｄ）請求項８ないし１０のいずれか１つに記載の学習方法により学習済みモデルを作成する工程と、ｅ）基板を撮像して得られた被検査画像を、前記ｄ）工程において作成された前記学習済みモデルを利用して検査する工程とを備える。

【0019】

請求項１３に記載の発明は、請求項１２に記載の検査方法であって、ｆ）前記ｅ）工程において得られた欠陥画像を前記仮欠陥画像として真欠陥の有無により再分類した新たな第２データを入力する工程と、ｇ）前記新たな第２データにおいて前記仮欠陥画像に対する重み付けを行って新たな学習用データセットを生成し、前記新たな学習用データセットを用いた機械学習により、基板画像と欠陥の有無との関係を前記学習済みモデルに再学習させる工程とをさらに備える。

【0020】

請求項１４に記載の発明は、請求項１１ないし１３のいずれか１つに記載の検査方法であって、基板を撮像して前記被検査画像を取得する工程をさらに備える。

【発明の効果】

【0021】

本発明では、学習用データセットの容量を低減しつつ、高精度な基板検査を実現することができる。

【図面の簡単な説明】

【0022】

【図1】検査装置の構成を示す図である。

【図2】第１コンピュータの構成を示す図である。

【図3】第１コンピュータにより実現される機能構成を示す図である。

【図4】第２コンピュータの構成を示す図である。

【図5】第２コンピュータにより実現される機能構成を示す図である。

【図6】学習済みモデルの作成の流れを示す図である。

【図7】学習済みモデルの作成の様子を示す図である。

【図8】基板上の複数種類の領域を示す図である。

【図9】基板上の複数種類の領域を示す図である。

【図10】基板の検査の流れを示す図である。

【図11】学習済みモデルの再学習の流れを示す図である。

【発明を実施するための形態】

【0023】

図１は、本発明の一の実施の形態に係る検査装置１の構成を示す図である。検査装置１は、例えば、電子部品が実装される前のプリント配線基板９（以下、単に「基板９」とも呼ぶ。）の外観を検査する装置である。基板９の表面上には、パターン（例えば、銅による配線パターンや電極パターン）が形成されている。基板９上には、例えば、銅のメッキが露出している領域、銅の配線が保護膜であるソルダレジストにより被覆されている領域、および、基材表面上に直接的にソルダレジストが配置されている領域が存在する。

【0024】

検査装置１は、基板９を撮像する装置本体２と、第１コンピュータ３と、第２コンピュータ４とを備える。第１コンピュータ３および第２コンピュータ４はそれぞれ、演算部を含む処理装置である。第１コンピュータ３は、検査装置１の全体動作の制御も行う。第２コンピュータ４は、後述する学習済みモデルの作成を行う学習装置である。装置本体２は、撮像部２１と、基板９を保持するステージ２２と、ステージ移動機構２３とを有する。撮像部２１は、基板９を撮像して画像を取得する。当該画像は、例えば、多階調のカラー画像である。ステージ移動機構２３は、撮像部２１に対してステージ２２を相対的に移動する。

【0025】

撮像部２１は、照明光を出射する照明部２１１と、光学系２１２と、撮像デバイス２１３とを有する。光学系２１２は、基板９に照明光を導くとともに基板９からの光を撮像デバイス２１３に導く。撮像デバイス２１３は、光学系２１２により結像された基板９の像を電気信号に変換する。照明部２１１は、ＬＥＤや電球等のランプと、ランプからの光を整えるレンズや反射部材等の光学要素とを含む。光学系２１２は、複数のレンズやハーフミラー等の光学要素を含む。撮像デバイス２１３は、例えば、２次元のイメージングセンサである。撮像デバイス２１３は１次元のイメージングセンサであってもよく、この場合、ステージ２２を移動しながら撮像が行われる。

【0026】

ステージ移動機構２３はボールねじ、ガイドレール、モータ等により構成される。もちろん、ステージ移動機構２３として様々な機構が採用可能であり、例えば、リニアモータが利用可能である。第１コンピュータ３がステージ移動機構２３および撮像部２１を制御することにより、ステージ２２が水平方向に移動して基板９上の所望の領域が撮像される。ステージ２２は基板９を保持する保持部である。基板９の保持は様々な方法で行われてよい。例えば、ステージ２２に溝が形成され、溝内に形成された吸引口から吸引が行われることにより、基板９がステージ２２上に吸着される。ステージ２２に多数の吸引口が形成されて基板９が吸着されてもよい。ステージ２２を多孔質材料にて形成し、多孔質材料から吸引が行われてもよい。ステージ２２は機械的な機構により基板９を保持してもよい。

【0027】

図２は第１コンピュータ３の構成を示す図である。第１コンピュータ３は、ＣＰＵ３１と、ＲＯＭ３２と、ＲＡＭ３３と、固定ディスク３４と、ディスプレイ３５と、入力部３６と、読取装置３７と、通信部３８と、ＧＰＵ３９と、バス３０とを含む一般的なコンピュータシステムの構成を有する。ＣＰＵ３１は、各種演算処理を行う。ＧＰＵ３９は、画像処理に関する各種演算処理を行う。ＲＯＭ３２は、基本プログラムを記憶する。ＲＡＭ３３は、各種情報を記憶する。固定ディスク３４は、情報記憶を行う。ディスプレイ３５は、画像等の各種情報の表示を行う。入力部３６は、操作者からの入力を受け付けるキーボード３６ａおよびマウス３６ｂを備える。読取装置３７は、光ディスク、磁気ディスク、光磁気ディスク、メモリカード等のコンピュータ読み取り可能な記録媒体８１から情報の読み取りを行う。ディスプレイ３５、キーボード３６ａ、マウス３６ｂおよび読取装置３７は、インターフェイスＩ／Ｆを介してバス３０に接続される。通信部３８は、検査装置１の他の構成、および、外部の装置との間で信号を送受信する。バス３０は、ＣＰＵ３１、ＧＰＵ３９、ＲＯＭ３２、ＲＡＭ３３、固定ディスク３４、ディスプレイ３５、入力部３６、読取装置３７および通信部３８を接続する信号回路である。

【0028】

第１コンピュータ３では、事前に読取装置３７を介して記録媒体８１からプログラム８１１が読み出されて固定ディスク３４に記憶されている。プログラム８１１はネットワークを介して固定ディスク３４に記憶されてもよい。ＣＰＵ３１およびＧＰＵ３９は、プログラム８１１に従ってＲＡＭ３３や固定ディスク３４を利用しつつ演算処理を実行する。ＣＰＵ３１およびＧＰＵ３９は、第１コンピュータ３において演算部として機能する。ＣＰＵ３１およびＧＰＵ３９以外に演算部として機能する他の構成が採用されてもよい。

【0029】

図３は、第１コンピュータ３がプログラム８１１に従って演算処理等を実行することにより実現される機能構成を示す図である。これらの機能構成には、記憶部３０１と、検査部３０２と、制御部３０３とが含まれる。これらの機能の全部または一部は専用の電気回路により実現されてもよい。また、複数のコンピュータによりこれらの機能が実現されてもよい。図３に示す機能構成のうち、検査部３０２および制御部３０３は、ＣＰＵ３１、ＧＰＵ３９、ＲＯＭ３２、ＲＡＭ３３、固定ディスク３４およびこれらの周辺構成により実現される。また、記憶部３０１は、主としてＲＡＭ３３および固定ディスク３４により実現される。

【0030】

記憶部３０１は、撮像部２１により取得された基板９の画像、および、後述する学習済みモデル等を記憶する。検査部３０２は、記憶部３０１に記憶されている当該学習済みモデルを利用して基板９の画像を検査し、欠陥の有無により当該画像を分類する分類器である。制御部３０３は、撮像部２１およびステージ移動機構２３、並びに、各機能構成の動作を制御する。

【0031】

図４は第２コンピュータ４の構成を示す図である。第２コンピュータ４は、第１コンピュータ３と略同様に、ＣＰＵ４１と、ＲＯＭ４２と、ＲＡＭ４３と、固定ディスク４４と、ディスプレイ４５と、入力部４６と、読取装置４７と、通信部４８と、ＧＰＵ４９と、バス４０とを含む一般的なコンピュータシステムの構成を有する。ＣＰＵ４１は、各種演算処理を行う。ＧＰＵ４９は、画像処理に関する各種演算処理を行う。ＲＯＭ４２は、基本プログラムを記憶する。ＲＡＭ４３は、各種情報を記憶する。固定ディスク４４は、情報記憶を行う。ディスプレイ４５は、画像等の各種情報の表示を行う。入力部４６は、操作者からの入力を受け付けるキーボード４６ａおよびマウス４６ｂを備える。読取装置４７は、光ディスク、磁気ディスク、光磁気ディスク、メモリカード等のコンピュータ読み取り可能な記録媒体８２から情報の読み取りを行う。ディスプレイ４５、キーボード４６ａ、マウス４６ｂおよび読取装置４７は、インターフェイスＩ／Ｆを介してバス４０に接続される。通信部４８は、検査装置１の他の構成、および、外部の装置との間で信号を送受信する。バス４０は、ＣＰＵ４１、ＧＰＵ４９、ＲＯＭ４２、ＲＡＭ４３、固定ディスク４４、ディスプレイ４５、入力部４６、読取装置４７および通信部４８を接続する信号回路である。

【0032】

第２コンピュータ４では、事前に読取装置４７を介して記録媒体８２からプログラム８２１が読み出されて固定ディスク４４に記憶されている。プログラム８２１はネットワークを介して固定ディスク４４に記憶されてもよい。ＣＰＵ４１およびＧＰＵ４９は、プログラム８２１に従ってＲＡＭ４３や固定ディスク４４を利用しつつ演算処理を実行する。ＣＰＵ４１およびＧＰＵ４９は、第２コンピュータ４において演算部として機能する。ＣＰＵ４１およびＧＰＵ４９以外に演算部として機能する他の構成が採用されてもよい。

【0033】

図５は、第２コンピュータ４がプログラム８２１に従って演算処理等を実行することにより実現される機能構成を示す図である。これらの機能構成には、第１入力部４０１と、第２入力部４０２と、学習部４０３と、記憶部４０４とが含まれる。これらの機能の全部または一部は専用の電気回路により実現されてもよい。また、複数のコンピュータによりこれらの機能が実現されてもよい。図５に示す機能構成のうち、第１入力部４０１、第２入力部４０２および学習部４０３は、ＣＰＵ４１、ＧＰＵ４９、ＲＯＭ４２、ＲＡＭ４３、固定ディスク４４およびこれらの周辺構成により実現される。また、記憶部４０４は、主としてＲＡＭ４３および固定ディスク４４により実現される。

【0034】

第１入力部４０１は、分類された基板９の画像（以下、「基板画像」と呼ぶ。）の集合である第１データを記憶部４０４へと入力する。第２入力部４０２は、再分類された基板画像の集合である第２データを記憶部４０４へと入力する。記憶部４０４は、第１入力部４０１および第２入力部４０２から入力されたデータ等を記憶する。基板画像の分類および再分類の詳細については、後述する。

【0035】

学習部４０３は、第２データから学習用データセットを生成し、当該学習用データセットを用いた機械学習により、上記検査部３０２による検査に利用される学習済みモデルを作成する。学習部４０３では、検査用の初期モデルに対して、基板画像と欠陥の有無との関係を機械学習させることにより、学習済みモデルが作成される。学習用データセットの詳細については、後述する。学習部４０３における機械学習は、例えば、ニューラルネットワークを用いたディープラーニングにより行われる。当該ディープラーニングによる学習は、例えば、ＲｅｓＮｅｔを用いて行われる。なお、当該機械学習は、ディープラーニング以外の方法により行われてもよい。

【0036】

図６は、検査装置１における学習済みモデルの作成の流れを示す図である。図７は、学習済みモデルの作成の様子を示す図である。学習済みモデルの作成では、まず、基板９を撮像して得られた画像から抽出された様々な領域の画像（すなわち、基板画像）が多数準備される（ステップＳ１１）。以下の説明では、当該多数の基板画像を「基板画像群」と呼ぶ。基板画像群は、好ましくは、検査装置１の撮像部２１により取得される。なお、上記基板画像群には、複数の基板９をそれぞれ撮像した画像が含まれることが好ましい。

【0037】

基板９では、銅の配線や基材上にソルダレジストと呼ばれる保護膜が形成されており、基板９上には、様々な種類の領域が存在する。例えば、銅のメッキが露出する領域、銅の配線上にソルダレジストが存在する領域、および、基材上にソルダレジストが存在する領域等が基板９上に存在する。

【0038】

図８に示すように、銅のメッキが露出する領域には、露出する各メッキ部の面積が小さい小面積メッキ領域９３ａ、露出する各メッキ部の面積が大きい大面積メッキ領域９３ｃ、露出する各メッキ部の面積が中程度である中面積メッキ領域９３ｂが含まれる。小面積メッキ領域９３ａでは、導通等に対する欠陥による悪影響が、中面積メッキ領域９３ｂおよび大面積メッキ領域９３ｃに比べて大きい。また、中面積メッキ領域９３ｂでは、導通等に対する欠陥による悪影響が、大面積メッキ領域９３ｃに比べて大きい。換言すれば、基板９上において欠陥が位置する領域の重要度は、大面積メッキ領域９３ｃ、中面積メッキ領域９３ｂ、小面積メッキ領域９３ａの順で高くなる。

【0039】

図９に示すように、ソルダレジストに被覆されている領域には、ソルダレジスト下の配線が細線パターンである細線ＳＲ領域９４ａ、ソルダレジスト下の配線が標準的なパターンである標準配線ＳＲ領域９４ｂ、および、ソルダレジスト下に配線が存在せず基材のみが存在する基材ＳＲ領域９４ｃが含まれる。細線ＳＲ領域９４ａでは、導通等に対する欠陥による悪影響が、標準配線ＳＲ領域９４ｂおよび基材ＳＲ領域９４ｃに比べて大きい。また、標準配線ＳＲ領域９４ｂでは、導通等に対する欠陥による悪影響が、基材ＳＲ領域９４ｃに比べて大きい。換言すれば、基板９上において欠陥が位置する領域の重要度は、基材ＳＲ領域９４ｃ、標準配線ＳＲ領域９４ｂ、細線ＳＲ領域９４ａの順で高くなる。

【0040】

準備された基板画像群（すなわち、多数の基板画像）は、図７に示すように、欠陥を有する仮欠陥画像と、欠陥を有しない仮良品画像とに分類される。分類された基板画像群は、第２コンピュータ４において、第１入力部４０１により第１データとして記憶部４０４に入力される（ステップＳ１２）。ステップＳ１２における基板画像群の分類（すなわち、検査）は、様々な公知の方法により行われる。例えば、公知の外観検査装置により、各基板画像と欠陥を有しない基準基板画像とが比較され、有意な差異が存在する基板画像は仮欠陥画像に分類され、それ以外の基板画像は仮良品画像に分類される。

【0041】

ステップＳ１２における基板画像群の分類では、複数種類の欠陥検査が行われる。例えば、メッキ部の検査では、メッキ部上の異物等を検出するメッキ異物検査や、メッキ部におけるメッキの濃淡を検出するメッキ多値検査が行われる。メッキ異物検査において検出される欠陥（例えば、メッキ部上の異物やメッキ部の欠け）は、導通等に対する悪影響が、メッキ多値検査において検出される欠陥（例えば、メッキ部の変色、汚れ、傷等）に比べて大きい。換言すれば、検査の種類の重要度は、メッキ多値検査、メッキ異物検査の順で高くなる。

【0042】

また、例えば、ソルダレジストの検査では、ソルダレジストの剥離を検出するＳＲ剥離検査や、ソルダレジストの濃淡を検出するＳＲムラ検査が行われる。ＳＲ剥離検査において検出される欠陥（例えば、ソルダレジストの剥離による配線の露出）は、導通等に対する悪影響が、ＳＲムラ検査において検出される欠陥（例えば、ソルダレジストの明るいまたは暗いムラ）に比べて大きい。換言すれば、検査の種類の重要度は、ＳＲムラ検査、ＳＲ剥離検査の順で高くなる。

【0043】

第１データでは、各仮欠陥画像の基板９上における領域の種類、および、欠陥が検出された検査の種類が、各仮欠陥画像と組み合わされている。第１データにおいて各仮欠陥画像に関連づけられる上述の「検査領域種類」および「検査種類」は、例えば、テキストデータで表現される。

【0044】

続いて、ステップＳ１２において記憶部４０４に記憶された第１データのうち、全ての仮欠陥画像（以下、「仮欠陥画像群」とも呼ぶ。）が抽出され、ディスプレイ４５に表示される。そして、作業者の目視により、図７に示すように、仮欠陥画像群を真欠陥の有無により再分類する作業（いわゆる、ベリファイ）が実施される。真欠陥とは、基板９の性能に実質的な悪影響を及ぼすため、基板９が製品として出荷不能であると判断される欠陥を意味する。上述のベリファイでは、例えば、作業者が仮欠陥画像を目視して真欠陥が存在すると判断した場合、当該仮欠陥画像を右クリックし、プルダウンメニューから「真欠陥」を選択することにより、当該仮欠陥画像が真欠陥フォルダに格納される。また、作業者が仮欠陥画像を目視して真欠陥が存在しないと判断した場合、当該仮欠陥画像を右クリックし、プルダウンメニューから「虚報」を選択することにより、当該仮欠陥画像が虚報フォルダに格納される。

【0045】

上述のベリファイにより再分類された仮欠陥画像群は、第２コンピュータ４において、第２入力部４０２により第２データとして記憶部４０４に入力される（ステップＳ１３）。第２データでは、各仮欠陥画像と、上述の検査領域種類および検査種類と、ベリファイ結果（すなわち、真欠陥の有無を示す情報）とが関連づけられている。

【0046】

次に、学習部４０３により、第２データに基づいて学習用データセットが生成される（ステップＳ１４）。ステップＳ１４では、第２データにおいて仮欠陥画像に対する重み付けが行われる。具体的には、ステップＳ１３において仮欠陥画像が真欠陥を有すると再分類された場合、ステップＳ１４では、予め準備されている複数の重み係数から、当該真欠陥の重要度に応じて一の重み係数が選択され、仮欠陥画像に乗算される。そして、重み係数が乗算された仮欠陥画像が、「欠陥有り」に分類される。一方、ステップＳ１３において仮欠陥画像が真欠陥を有しないと再分類された場合、ステップＳ１４では、当該仮欠陥画像に重み係数は乗算されず、「欠陥無し」に分類される。

【0047】

上述の複数の重み係数は、仮欠陥画像に関連づけられる検査領域種類および検査種類等に応じて予め設定され、記憶部４０４に記憶されている。本実施の形態では、重み係数は、検査領域種類（すなわち、基板９上において真欠陥が位置する領域）の重要度が高くなるに従って大きくなる。また、重み係数は、検査種類（すなわち、真欠陥が検出された検査の種類）の重要度が高くなるに従って大きくなる。上述の複数の重み係数は、例えば、０～１の間で設定される。

【0048】

具体的には、例えば、検査領域種類が小面積メッキ領域９３ａ、かつ、検査種類がメッキ異物検査の場合の重み係数は、検査領域種類が中面積メッキ領域９３ｂ、かつ、検査種類がメッキ異物検査の場合の重み係数よりも大きい。また、検査領域種類が小面積メッキ領域９３ａ、かつ、検査種類がメッキ異物検査の場合の重み係数は、検査領域種類が小面積メッキ領域９３ａ、かつ、検査種類がメッキ多値検査の場合の重み係数よりも大きい。検査領域種類が小面積メッキ領域９３ａ、かつ、検査種類がメッキ異物検査の場合の重み係数は、検査領域種類が大面積メッキ領域９３ｃ、かつ、検査種類がメッキ多値検査の場合の重み係数よりも大きい。

【0049】

例えば、検査領域種類が細線ＳＲ領域９４ａ、かつ、検査種類がＳＲ剥離検査の場合の重み係数は、検査領域種類が標準配線ＳＲ領域９４ｂ、かつ、検査種類がＳＲ剥離検査の場合の重み係数よりも大きい。また、検査領域種類が細線ＳＲ領域９４ａ、かつ、検査種類がＳＲ剥離検査の場合の重み係数は、検査領域種類が細線ＳＲ領域９４ａ、かつ、検査種類がＳＲムラ検査の場合の重み係数よりも大きい。検査領域種類が細線ＳＲ領域９４ａ、かつ、検査種類がＳＲ剥離検査の場合の重み係数は、検査領域種類が基材ＳＲ領域９４ｃ、かつ、検査種類がＳＲムラ検査の場合の重み係数よりも大きい。

【0050】

なお、上述の重み係数は、上述の検査領域種類および検査種類のうち、一方のみに応じて予め設定されていてもよい。また、重み係数は、仮欠陥画像に関連づけられる他の情報（すなわち、上記検査領域種類および検査種類以外の情報）に基づいて予め設定されていてもよい。重み係数は、必ずしも０～１の間で設定される必要はなく、適宜変更されてよい。

【0051】

学習用データセットが生成されると、学習部４０３は、当該学習用データセットを用いて、基板画像と欠陥の有無との関係を検査用の初期モデルに機械学習させる。これにより、基板９を検査する際に利用される学習済みモデルが作成される（ステップＳ１５）。

【0052】

図１０は、上述の学習済みモデルを利用した基板９の検査の流れを示す図である。図１に示す検査装置１では、まず、上述のように、学習装置である第２コンピュータ４により学習済みモデルが作成される（ステップＳ２１）。学習済みモデルは、第２コンピュータ４から第１コンピュータ３へと送られ、第１コンピュータ３の記憶部３０１（図３参照）に記憶される。

【0053】

続いて、制御部３０３により撮像部２１およびステージ移動機構２３等が制御されることにより、撮像部２１により基板９が撮像され、検査対象である基板９の画像（以下、「被検査画像」とも呼ぶ。）が取得される（ステップＳ２２）。

【0054】

次に、検査部３０２により、記憶部３０１に記憶されている学習済みモデルを利用して、上記被検査画像の検査が行われる（ステップＳ２３）。ステップＳ２３では、例えば、上述のメッキ異物検査、メッキ多値検査、ＳＲ剥離検査およびＳＲムラ検査等が行われる。そして、被検査画像から抽出された各領域の基板画像のうち、学習済みモデルにおいて「欠陥有り」に分類されている基板画像（すなわち、真欠陥を有する基板画像）に類似すると判断された基板画像が、欠陥画像に分類される。また、欠陥画像に分類されなかった基板画像は、良品画像に分類される。

【0055】

その後、検査部３０２により欠陥画像に分類された基板画像に対して、上述のステップＳ１３と略同様に、作業者によるベリファイが行われ、基板９における真欠陥の有無（すなわち、基板９の出荷可否）が判定される（ステップＳ２４）。ステップＳ２４では、検査部３０２により欠陥画像に分類された基板画像が、真欠陥を有する基板画像と、真欠陥を有しない基板画像（すなわち、虚報）とに再分類される。

【0056】

検査装置１では、検査装置１による基板９の検査（ステップＳ２１～Ｓ２４）の結果を利用して、学習済みモデルの再学習が行われてもよい。図１１は、検査装置１における学習済みモデルの再学習の流れを示す図である。学習済みモデルの再学習では、まず、上述のステップＳ２４において再分類された欠陥画像（すなわち、ステップＳ２３にて得られた欠陥画像を仮欠陥画像として真欠陥の有無により再分類したもの）が、第２コンピュータ４の第２入力部４０２（図５参照）により、新たな第２データとして記憶部４０４に入力される（ステップＳ３１）。

【0057】

次に、学習部４０３により、当該新たな第２データに基づいて新たな学習用データセットが生成される（ステップＳ３２）。ステップＳ３２では、上述のステップＳ１４と略同様に、新たな第２データにおいて仮欠陥画像に対する重み付けが行われる。具体的には、ステップＳ３１において仮欠陥画像が真欠陥を有すると再分類されている場合、ステップＳ３２では、予め準備されている上述の複数の重み係数から、当該真欠陥の重要度に応じて一の重み係数が選択され、仮欠陥画像に乗算される。そして、重み係数が乗算された仮欠陥画像が、「欠陥有り」に分類される。一方、ステップＳ３１において仮欠陥画像が真欠陥を有しないと再分類されている場合、ステップＳ３２では、当該仮欠陥画像に重み係数は乗算されず、「欠陥無し」に分類される。

【0058】

上述の新たな学習用データセットが生成されると、学習部４０３は、当該新たな学習用データセットを用いた機械学習により、基板画像と欠陥の有無との関係を学習済みモデルに対して再学習させる（ステップＳ３３）。

【0059】

以上に説明したように、第２コンピュータ４は、表面上にパターンを有する基板を検査する際に利用される学習済みモデルを作成する学習装置である。当該学習装置は、第１入力部４０１と、第２入力部４０２と、学習部４０３とを備える。第１入力部４０１は、基板画像が欠陥を有する仮欠陥画像と欠陥を有しない仮良品画像とに分類された第１データを入力する。第２入力部４０２は、当該第１データ中の仮欠陥画像を真欠陥の有無により再分類した第２データを入力する。学習部４０３は、第２データにおいて、仮欠陥画像に対する重み付けを行って学習用データセットを生成する。学習部４０３は、当該学習用データセットを用いた機械学習により、基板画像と欠陥の有無との関係を学習させて学習済みモデルを生成する。

【0060】

学習部４０３による学習用データセットの生成では、仮欠陥画像が真欠陥を有すると再分類された場合、複数の重み係数のうち真欠陥の重要度に応じて選択された重み係数を当該仮欠陥画像に乗算した上で「欠陥有り」に分類する。また、仮欠陥画像が真欠陥を有しないと再分類された場合、当該仮欠陥画像を「欠陥無し」に分類する。

【0061】

当該学習用データセットを用いて作成された学習済みモデルによって基板９の検査を行うことにより、重要度が高い真欠陥を有する基板画像に類似する画像が、重要度が低い真欠陥を有する基板画像に類似する画像に比べて、欠陥画像として検出されやすくなる。その結果、重要度が低い真欠陥を有する基板画像に類似するが、実際には真欠陥を有していない画像（すなわち、ベリファイにおいて虚報と判断される基板画像）が、基板９の検査において欠陥画像として検出される可能性を低減することができる。換言すれば、基板９の欠陥検査における虚報率を低減し、高精度な検査を実現することができる。

【0062】

また、上述のように、学習部４０３による学習用データセットの生成において、真欠陥を有する仮欠陥画像に真欠陥の重要度に応じた重み係数を乗算することにより、仮欠陥画像の数（すなわち、仮欠陥画像群の容量）を低減しつつ、上述の高精度な検査を実現可能な学習済みモデル作成用の学習用データセットを生成することができる。すなわち、上述の学習装置では、学習用データセットの容量を低減しつつ、高精度な基板９の検査を実現することができる。

【0063】

上述のように、複数の重み係数は、基板９上において真欠陥が位置する領域の重要度が高くなるに従って大きくなることが好ましい。これにより、基板９上の重要度が高い領域（すなわち、高感度領域）における欠陥を、重要度が低い領域における欠陥に比べて、優先的に検出することができる。その結果、基板９の欠陥検査における虚報率をさらに低減し、より高精度な検査を実現することができる。

【0064】

上述のように、複数の重み係数は、複数種類の検査のうち真欠陥が検出される検査の種類の重要度が高くなるに従って大きくなることが好ましい。これにより、重要度が高い種類の検査（すなわち、高致命度の検査）における欠陥を、重要度が低い種類の検査における欠陥に比べて、優先的に検出することができる。その結果、基板９の欠陥検査における虚報率をさらに低減し、より高精度な検査を実現することができる。

【0065】

上述のように、検査装置１は、表面上にパターンを有する基板９を検査する装置である。検査装置１は、上述の学習装置と、検査部３０２とを備える。検査部３０２は、基板９を撮像して得られた被検査画像を、当該学習装置により作成された学習済みモデルを利用して検査する。これにより、上述のように、高精度な基板９の検査を実現することができる。

【0066】

上述のように、好ましくは、第２入力部４０２は、検査部３０２により得られた欠陥画像を仮欠陥画像として真欠陥の有無により再分類した新たな第２データを入力する。また、学習部４０３は、当該新たな第２データにおいて仮欠陥画像に対する重み付けを行って、新たな学習用データセットを生成する。そして、学習部４０３は、当該新たな学習用データセットを用いた機械学習により、基板画像と欠陥の有無との関係を学習済みモデルに再学習させる。これにより、再学習に使用される学習用データセットの容量を低減しつつ、基板９の検査精度を向上することができる。

【0067】

なお、検査装置１では、検査部３０２が上述の学習済みモデルを利用して被検査画像を検査するのであれば、必ずしも学習装置が設けられる必要はない。この場合、検査部３０２は、基板９を撮像して得られた被検査画像を、検査装置１から独立して設置された学習装置により作成された学習済みモデルを利用して検査する。この場合も、上記と同様に、高精度な基板９の検査を実現することができる。

【0068】

上述のように、検査装置１は、基板９を撮像して上記被検査画像を取得する撮像部２１をさらに備えることが好ましい。これにより、被検査画像の取得から検査まで、１つの装置で一貫して行うことができる。その結果、基板９の検査効率を向上することができる。

【0069】

上述のように、学習済みモデルを作成する学習方法は、基板画像が欠陥を有する仮欠陥画像と欠陥を有しない仮良品画像とに分類された第１データを入力する工程（ステップＳ１２）と、第１データ中の仮欠陥画像を真欠陥の有無により再分類した第２データを入力する工程（ステップＳ１３）と、当該第２データにおいて仮欠陥画像に対する重み付けを行って学習用データセットを生成し、当該学習用データセットを用いた機械学習により、基板画像と欠陥の有無との関係を学習させて学習済みモデルを作成する工程（ステップＳ１４～Ｓ１５）と、を備える。

【0070】

ステップＳ１４～Ｓ１５における学習用データセットの生成では、仮欠陥画像が真欠陥を有すると再分類された場合、複数の重み係数のうち当該真欠陥の重要度に応じて選択された重み係数を仮欠陥画像に乗算した上で欠陥有りに分類し、仮欠陥画像が真欠陥を有しないと再分類された場合、仮欠陥画像を欠陥無しに分類する。これにより、上記と同様に、学習用データセットの容量を低減しつつ、高精度な基板９の検査を実現することができる。

【0071】

上述の学習装置、検査装置１、学習方法および検査方法では、様々な変更が可能である。

【0072】

例えば、ステップＳ１１において準備される基板画像群は、検査装置１の外部において取得され、記録ディスクやネットワークを介して検査装置１に入力されてもよい。また、ステップＳ２２においても同様に、被検査画像は、検査装置１の外部において取得され、検査装置１に入力されてもよい。この場合、検査装置１から撮像部２１が省略されてもよい。

【0073】

上述のステップＳ１２，Ｓ２３にて基板９に対して行われる検査は、上述のメッキ異物検査やＳＲ剥離検査等には限定されず、様々な種類の検査が基板９に対して行われてよい。また、基板９上の検査領域は、上述の小面積メッキ領域や細線ＳＲ領域等には限定されず、様々な領域が基板９上に設定されてよい。

【0074】

上述のステップＳ１４の学習用データセットの生成において、仮欠陥画像に対して乗算される重み係数は、必ずしも予め設定されている必要はなく、ステップＳ１３のベリファイの際等に、作業者が仮欠陥画像を目視して経験に基づいて設定してもよい。検査部３０２による検査結果を利用した学習済みモデルの再学習（ステップＳ３１～Ｓ３３）においても同様である。

【0075】

当該学習済みモデルの再学習（ステップＳ３１～Ｓ３３）では、ステップＳ３２の新たな学習用データセットの生成において、仮欠陥画像に対する重み付け（すなわち、欠陥の重要度に応じた重み係数の乗算）は、行われなくてもよい。この場合であっても、学習済みモデルの再学習により、基板９の検査精度を向上することができる。また、当該学習済みモデルの再学習（ステップＳ３１～Ｓ３３）は、必ずしも行われる必要はない。

【0076】

上述の第１コンピュータ３および第２コンピュータ４は、装置本体２の筐体の中に収納されてもよい。逆に、第２コンピュータ４は、検査装置１の他の構成から独立した単体の学習装置として使用されてもよい。

【0077】

上記実施の形態および各変形例における構成は、相互に矛盾しない限り適宜組み合わされてよい。

【符号の説明】

【0078】

１ 検査装置
４ 第２コンピュータ
９ 基板
２１ 撮像部
３０１ 記憶部
４０１ 第１入力部
４０２ 第２入力部
４０３ 学習部
Ｓ１１～Ｓ１５，Ｓ２１～Ｓ２４，Ｓ３１～Ｓ３３ ステップ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】