ホーム > 特許ランキング > ＤＭＧ森精機株式会社
▶ ＤＭＧ森精機株式会社の特許一覧 ▶ 株式会社サキコーポレーションの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2022-03-18
(45)【発行日】2022-03-29
(54)【発明の名称】基板検査方法
(51)【国際特許分類】
G01N 21/956 20060101AFI20220322BHJP
【ＦＩ】
G01N21/956 B
【請求項の数】
5
(21)【出願番号】P 2021033861
(22)【出願日】2021-03-03
【審査請求日】2021-03-03
【早期審査対象出願】
(73)【特許権者】
【識別番号】000146847
【氏名又は名称】ＤＭＧ森精機株式会社
(73)【特許権者】
【識別番号】595039014
【氏名又は名称】株式会社サキコーポレーション
(74)【代理人】
【識別番号】100134430
【弁理士】
【氏名又は名称】加藤 卓士
(72)【発明者】
【氏名】櫻井 努
(72)【発明者】
【氏名】石川 瑞恭
(72)【発明者】
【氏名】荒木 章吾
(72)【発明者】
【氏名】山本 洋介
【審査官】田中 洋介
(56)【参考文献】
【文献】特開２０１１－２１４９０３（ＪＰ，Ａ）
【文献】特開２００７－１８４５８９（ＪＰ，Ａ）
【文献】特開２０１２－０５３０１６（ＪＰ，Ａ）
【文献】特開２００９－２１０５１９（ＪＰ，Ａ）
【文献】特開２００５－１５６３３４（ＪＰ，Ａ）
【文献】特開２０１４－０７７７５５（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１６／０３２８８３７（ＵＳ，Ａ１）
【文献】特開２００６－０８４３８８（ＪＰ，Ａ）
【文献】特開平０８－０８６６２８（ＪＰ，Ａ）
【文献】特開平０６－２７３３４６（ＪＰ，Ａ）
【文献】特開２０２０－０４２０４４（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｎ ２１／８４－２１／９５８
Ｇ０１Ｂ １１／００－１１／３０
Ｈ０５Ｋ １３／００－１３／０８
Ｇ０６Ｎ ２０／００－２０／２０
(57)【特許請求の範囲】
【請求項1】
検査対象部位を含む基板上の異なる部分領域を撮像するための撮像ユニットを備えた基板検査装置における、前記撮像ユニットにより撮像された複数の基板画像データを用いた基板検査方法であって、前記複数の基板画像データを合成することにより生成される合成画像データから検査対象部位の画像を切り出すことにより、不良と判断される前記検査対象部位を含む不良画像データを生成する画像加工ステップと、
正常と判断される前記検査対象部位を含む正常画像データと、前記不良画像データとを教師データとして学習して、基板検査用モデルを生成するモデル生成ステップと、
検査対象基板の複数の基板画像データを合成することにより生成される検査対象合成画像データを、前記基板検査用モデルに適用することにより、前記検査対象基板が正常であるか不良であるかを判定する判定ステップと、
を含む基板検査方法。
【請求項2】
前記基板検査装置は、前記検査対象基板に対して異なる角度から光を投光可能な照明ユニットを更に備え、前記照明ユニットにより第１角度から前記検査対象基板に光が投光されている状態で撮像された第１撮像画像と、前記照明ユニットにより第２角度から前記検査対象基板に光が投光されている状態で撮像された第２撮像画像と、を合成して、前記検査対象基板に対応する基板画像データを生成する画像合成ステップを含む請求項１に記載の基板検査方法。
【請求項3】
前記照明ユニットから前記第１角度で前記検査対象基板に投光される光は赤色であり、前記照明ユニットから前記第２角度で前記検査対象基板に投光される光は緑色である請求項２記載の基板検査方法。
【請求項4】
前記画像加工ステップは、前記検査対象部位の赤色、緑色および青色のうち、少なくとも１つの色の濃度を変化させて、前記不良画像データを生成する請求項１から３のいずれか１項に記載の基板検査方法。
【請求項5】
前記検査対象部位を表す複数の画像データを表示する表示ステップと、前記表示ステップで表示された前記複数の画像データから、前記教師データとしての前記正常画像データと前記不良画像データとを選択する選択ステップと、
をさらに含み、
前記モデル生成ステップは、前記選択ステップにおいて選択された前記教師データに基づいて前記基板検査用モデルを生成する請求項１記載の基板検査方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、基板検査方法、基板検査装置およびモデル生成装置に関する。
【背景技術】
【0002】
上記技術分野において、特許文献１には、基板検査において、新たな部品の検査ロジックの生成時に撮像画像の色分布傾向が類似する過去の部品の撮像画像を教師データとして用いる技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２００６-２９２７２５号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記文献に記載の技術では、教師データの数、特に不良品の教師データの数には限界があり、検査用モデルの信頼性を増すことができなかった。
【0005】
本発明の目的は、上述の課題を解決する技術を提供することにある。
【課題を解決するための手段】
【0006】
上記目的を達成するため、本発明に係る基板検査方法は、
検査対象部位を含む基板上の異なる部分領域を撮像するための撮像ユニットを備えた基板検査装置における、前記撮像ユニットにより撮像された複数の基板画像データを用いた基板検査方法であって、
前記複数の基板画像データを合成することにより生成される合成画像データから検査対象部位の画像を切り出すことにより、不良と判断される前記検査対象部位を含む不良画像データを生成する画像加工ステップと、
正常と判断される前記検査対象部位を含む正常画像データと、前記不良画像データとを教師データとして学習して、基板検査用モデルを生成するモデル生成ステップと、
検査対象基板の前記複数の基板画像データを合成することにより生成される検査対象合成画像データを、前記基板検査用モデルに適用することにより、前記検査対象基板が正常であるか不良であるかを判定する判定ステップと、
を含む。
検査対象部位を含む基板上の異なる部分領域を撮像するための撮像ユニットを備えた基板検査装置における、前記撮像ユニットにより撮像された複数の基板画像データを用いた基板検査方法であって、
前記複数の基板画像データを合成することにより生成される合成画像データから検査対象部位の画像を切り出すことにより、不良と判断される前記検査対象部位を含む不良画像データを生成する画像加工ステップと、
正常と判断される前記検査対象部位を含む正常画像データと、前記不良画像データとを教師データとして学習して、基板検査用モデルを生成するモデル生成ステップと、
検査対象基板の前記複数の基板画像データを合成することにより生成される検査対象合成画像データを、前記基板検査用モデルに適用することにより、前記検査対象基板が正常であるか不良であるかを判定する判定ステップと、
を含む。
【発明の効果】
【0009】
本発明によれば、不良品の教師データの数を増やして、検査用モデルの信頼性を向上させることができる。
【図面の簡単な説明】
【0010】
【図1】第１実施形態に係る基板検査方法の手順を示すフローチャートである。
【図2A】第２実施形態に係る基板検査の概要を説明する図である。
【図2B】第２実施形態に係る画像データ取得の概要を説明する図である。
【図3】第２実施形態に係る基板検査システムの流れを示すフローチャートである。
【図4】第２実施形態に係る基板検査システムの構成を示すブロック図である。
【図5A】第２実施形態に係る生成方法テーブルの構成を示すブロック図である。
【図5B】第２実施形態に係る検査用モデルテーブルの構成を示すブロック図である。
【図6A】第２実施形態に係るモデル生成装置の処理手順を示すフローチャートである。
【図6B】第２実施形態に係る基板検査装置の処理手順を示すフローチャートである。
【図7A】第２実施形態に係る基板の画像データの例を示す図である。
【図7B】第２実施形態に係る撮像部を示す図である。
【図7C】第２実施形態に係る撮像制御部の処理手順を示すフローチャートである。
【図7D】第２実施形態に係る撮像部による基板の撮像例を示す図である。
【図8A】第２実施形態に係るはんだ画像の正常画像データと不良画像データとを説明する図である。
【図8B】第２実施形態に係るはんだ画像データからの擬似不良画像データの生成を示す図である。
【図8C】第２実施形態に係るはんだ画像データからの擬似不良画像データの他の生成を示す図である。
【図9】第２実施形態に係る基板検査用モデルの生成に使用する教師データの入力を示す図である。
【図10A】第２実施形態に係る基板検査用モデルの検証結果の出力を示す図である。
【図10B】第２実施形態に係る基板検査用モデルの検証結果の評価を示す図である。
【図10C】第２実施形態に係る基板検査用モデルの検証結果の他の評価を示す図である。
【図11】第３実施形態に係る基板検査システムの構成を示すブロック図である。
【図12】第４実施形態の基板検査装置を含む基板検査システムの構成を示す図である。
【発明を実施するための形態】
【0011】
以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素はあくまで例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。
【0012】
［第１実施形態］
本発明の第１実施形態としての基板検査方法１００について、図１を用いて説明する。基板検査方法１００は、画像データに基づいて基板を検査する方法である。
本発明の第１実施形態としての基板検査方法１００について、図１を用いて説明する。基板検査方法１００は、画像データに基づいて基板を検査する方法である。
【0013】
図１に示すように、基板検査方法１００は、画像加工ステップＳ１０１と、モデル生成ステップＳ１０２と、判定ステップＳ１０３と、を含む。においては、基板上の複数の検査対象部位の画像データのそれぞれを加工して、複数の検査対象部位のそれぞれが不良であることを示す不良画像データを生成する。モデル生成ステップＳ１０２においては、検査対象部位が正常であることを示す正常画像データと、不良画像データとを教師データとして学習して、基板検査用モデルを生成する。判定ステップＳ１０３においては、検査される基板上の複数の検査対象部位の画像データを基板検査用モデルに適用することにより、基板が正常であるか不良であるかを判定する。
【0014】
本実施形態によれば、不良基板を表す画像データを生成し、不良品の教師データの数を増やすことで、基板検査用モデルの信頼性を向上させることができる。
【0015】
［第２実施形態］
次に、本発明の第２実施形態に係る基板検査装置について説明する。なお、本実施形態に係る基板検査装置では、基板における「はんだ」の良／不良を判定する例を説明する。しかし、本実施形態の基板検査装置は、「はんだ」の良／不良と同様に、基板上の他の部品の良／不良や、基板上の配置の良／不良なども精度良く検査することができる。
次に、本発明の第２実施形態に係る基板検査装置について説明する。なお、本実施形態に係る基板検査装置では、基板における「はんだ」の良／不良を判定する例を説明する。しかし、本実施形態の基板検査装置は、「はんだ」の良／不良と同様に、基板上の他の部品の良／不良や、基板上の配置の良／不良なども精度良く検査することができる。
【0016】
＜前提技術＞
特許文献１に示されるように、３色光源カラーハイライト方式ではんだフィレットの撮像を行い、良品判定を行う技術がある。しかしながら、従来の基板検査装置では、判定性能が低いため、不良品を確実に不良と判定するためには判定基準を正常品側に移行するため、正常品の部品を不良と判定する必要があった。そのため、正常品を不良と判定した場合は、改めてユーザが確認して判断するという手間が必要になる。また、検査ロジックを作成するためには、技術者の経験や手間が多分に必要であるが、ディープラーニングなどの機械学習手法で検査ロジックを学習させる際には、教師データとなる不良サンプルが非常に少ないことが問題である。正常品は多く生成できるが、不良品は様々な原因によって発生するので、全ての不良種類を発生させることは不可能である。そのため、過去画像だけでは、より正常品に近いが不良とすべき不良サンプルを不良判定できない可能性がある。特に、新しい部品に対しては、過去画像が存在しないので精度が十分に高い検査ロジックを生成できない。
特許文献１に示されるように、３色光源カラーハイライト方式ではんだフィレットの撮像を行い、良品判定を行う技術がある。しかしながら、従来の基板検査装置では、判定性能が低いため、不良品を確実に不良と判定するためには判定基準を正常品側に移行するため、正常品の部品を不良と判定する必要があった。そのため、正常品を不良と判定した場合は、改めてユーザが確認して判断するという手間が必要になる。また、検査ロジックを作成するためには、技術者の経験や手間が多分に必要であるが、ディープラーニングなどの機械学習手法で検査ロジックを学習させる際には、教師データとなる不良サンプルが非常に少ないことが問題である。正常品は多く生成できるが、不良品は様々な原因によって発生するので、全ての不良種類を発生させることは不可能である。そのため、過去画像だけでは、より正常品に近いが不良とすべき不良サンプルを不良判定できない可能性がある。特に、新しい部品に対しては、過去画像が存在しないので精度が十分に高い検査ロジックを生成できない。
【0017】
＜本実施形態の基板検査の概要＞
図２Ａに従って、本実施形態の基板検査の概要を説明する。なお、図中、○は基板上の正常な検査対象部位（例えば、ＩＣチップの搭載部分）の画像、×は不良な検査対象部位の画像である。図２における撮像画像２０１は、撮像した基板から検査対象部位を切り出した（抽出した）画像である。撮像画像２０１に示すように、撮像画像の多くが正常な検査対象部位の画像であり、不良の検査対象部位の画像の取得数は少ない。例えば、基板製品の歩留まりを良くすればするほど不良の検査対象部位の取得数は少なくなる。このままでは、教師データとしての不良品画像の数が足らず、学習２０５により生成した基板検査用モデルの精度が低くなる。
図２Ａに従って、本実施形態の基板検査の概要を説明する。なお、図中、○は基板上の正常な検査対象部位（例えば、ＩＣチップの搭載部分）の画像、×は不良な検査対象部位の画像である。図２における撮像画像２０１は、撮像した基板から検査対象部位を切り出した（抽出した）画像である。撮像画像２０１に示すように、撮像画像の多くが正常な検査対象部位の画像であり、不良の検査対象部位の画像の取得数は少ない。例えば、基板製品の歩留まりを良くすればするほど不良の検査対象部位の取得数は少なくなる。このままでは、教師データとしての不良品画像の数が足らず、学習２０５により生成した基板検査用モデルの精度が低くなる。
【0018】
そのため、本実施形態にいては、生成画像２０２に示すように、撮像画像２０１の検査対象部位の画像を変更することによって、擬似不良の検査対象部位の画像を生成する。生成画像２０２で生成された擬似不良の検査対象の画像は、教師データとしての不良の検査対象部位の画像２０４に追加される。なお、不良の検査対象部位の画像の取得数が少ないため生成画像の多くは擬似不良の検査対象部位の画像である。そこで、基板検査用モデルの精度を高めるには、例えば、正常な検査対象部位と不良の検査対象部位との境界領域の基板画像が有用であり、生成画像として不良の検査対象部位に近い擬似正常の検査対象部位の画像も生成する。
【0019】
基板検査用モデルを生成するディープラーニング等によるモデル生成（学習）２０５では、撮像画像２０１からの多数の正常な検査対象部位の画像と、生成画像２０２からの少数の擬似正常な検査対象部位の画像とを、正常な検査対象部位の画像の教師データ２０３として用いる。一方、不良の検査対象部位の画像の教師データとしては、撮像画像２０１からの少数の不良の検査対象部位の画像と、生成画像２０２からの多数の擬似不良の検査対象部位の画像とを用いる。生成された擬似不良の検査対象部位の画像を用いて生成された基板検査用モデルは、モデル検証（診断ロジック）２０６において基板検査の精度が検証させる。なお、モデル検証２０６による基板検査用モデルの検証にも、擬似不良の検査対象部位の画像や擬似正常な検査対象部位の画像が用いられてもよい。特に、正常の検査対象部位か不良な検査対象部位かの判別が難しい境界範囲の画像は、実際に製造された基板の撮像画像からは得難いため、擬似不良の検査対象部位の画像や擬似正常な検査対象部位の画像は有効である。モデル検証２０６による基板検査用モデルの検証において、基板検査の精度が十分でない場合は、教師データをさらに追加して基板検査用モデルを生成し、生成と検証を繰り返す。その場合においても、基板検査用モデルの精度を向上させるための画像データが撮像された画像データにあるか否かは不明である。したがって、精度が十分でない原因が既知である場合には、擬似不良の検査対象部位の画像や擬似正常な検査対象部位の画像の生成が有効に働く。また、画像の特徴が既知である擬似不良の検査対象部位の画像や擬似正常な検査対象部位の画像を大量に投入して、基板検査用モデルの精度が向上するか下降するかを判定することによっても、基板検査用モデルの精度を向上させる情報が得られる可能性がある。
【0020】
診断ロジックを用いたモデル検証２０６による基板検査用モデルの検証で精度が十分であると判定されれば、基板検査用モデルを基板検査装置（実機）２１０に搭載あるいは組み込んで、実際の製造基板の良否判定２１１を実施することになる。なお、基板上の少なくとも１つの検査対象部位が不良と判定されれば、その基板は不良とする。
【0021】
なお、撮像から得られた画像や生成された画像は、全ての画像を使用せずに、一部のみ使用してもよい。例えば、極端な不良の検査対象部位の画像や実際にはあり得ない擬似画像などは、教師データから削除してもよい。また、撮像画像や生成画像をそのまま使わず、上下左右に移動した画像や、上下左右に反転した、いわゆるオーグメンテーションによって加工された画像を使用してもよい。オーグメンテーションは、撮像のズレや、左右に反転しても同じような不良を学習し、実際に生成された不良サンプルに対して柔軟に判定できるという効果が期待できる。
【0022】
図２Ｂは、本実施形態における基板上の検査対象部位の撮像画像２０１を取得する概要を説明する図である。まず、撮像を繰り返して基板２２２の全体をカバーする複数の撮像画像を取得して、合成画像２２１を生成する。その合成画像２２１から１枚の基板２２２の画像を取得する。さらに、１枚の基板２２２の画像から基板上の複数の検査対象部位の撮像画像２０１を切り出す。
【0023】
＜基板検査の流れを示すフローチャート＞
図３の基板検査システムの流れにおいては、まず、ステップＳ３０１において、撮像部が撮像した基板の画像データから検査対象部位の画像データを取得する。ステップＳ３０３において、取得した画像データが正常な検査対象部位の画像データか、不良の検査対象部位の画像データかを判定する。正常な検査対象部位の画像データの場合、ステップＳ３０５において、擬似不良の検査対象部位の画像データを生成するための元画像とするか否かを判定する。元画像とする場合には、ステップＳ３９１で擬似不良の検査対象部位の画像データを生成する。一方、不良の検査対象部位の画像データの場合、ステップＳ３０７において、擬似不良の検査対象部位の画像データを生成するための元画像とするか否かを判定する。元画像とする場合には、ステップＳ３９２で擬似不良の検査対象部位の画像データを生成する。ここで、ステップＳ３９１およびＳ３９２は、擬似不良の検査対象部位の画像データを生成するステップＳ３０９として機能する。なお、ステップＳ３０９の擬似不良の検査対象部位の画像データ生成においては、種々の工夫がされる。例えば、基板検査用モデルにおいて、正常な検査対象部位と不良の検査対象部位との選別は、その境界範囲での画像データの数によりその精度が左右される。そのためには、正常な検査対象部位および不良の検査対象部位の画像データから生成する擬似不良の検査対象部位の画像データは、その境界範囲に含まれるものが望ましい。
図３の基板検査システムの流れにおいては、まず、ステップＳ３０１において、撮像部が撮像した基板の画像データから検査対象部位の画像データを取得する。ステップＳ３０３において、取得した画像データが正常な検査対象部位の画像データか、不良の検査対象部位の画像データかを判定する。正常な検査対象部位の画像データの場合、ステップＳ３０５において、擬似不良の検査対象部位の画像データを生成するための元画像とするか否かを判定する。元画像とする場合には、ステップＳ３９１で擬似不良の検査対象部位の画像データを生成する。一方、不良の検査対象部位の画像データの場合、ステップＳ３０７において、擬似不良の検査対象部位の画像データを生成するための元画像とするか否かを判定する。元画像とする場合には、ステップＳ３９２で擬似不良の検査対象部位の画像データを生成する。ここで、ステップＳ３９１およびＳ３９２は、擬似不良の検査対象部位の画像データを生成するステップＳ３０９として機能する。なお、ステップＳ３０９の擬似不良の検査対象部位の画像データ生成においては、種々の工夫がされる。例えば、基板検査用モデルにおいて、正常な検査対象部位と不良の検査対象部位との選別は、その境界範囲での画像データの数によりその精度が左右される。そのためには、正常な検査対象部位および不良の検査対象部位の画像データから生成する擬似不良の検査対象部位の画像データは、その境界範囲に含まれるものが望ましい。
【0024】
次に、ステップＳ３１１において、撮像された正常な検査対象部位の画像データと、ステップＳ３０９で正常な検査対象部位の画像データおよび不良の検査対象部位の画像データから生成された擬似不良の検査対象部位の画像データと、撮像された不良の検査対象部位の画像データと、を収集する。ステップＳ３１３において、収集した画像データの数が基板検査用モデルの生成に十分かを判定する。不十分であれば、ステップＳ３０９に戻って、擬似不良の検査対象部位の画像データをさらに生成する。あるいは、ステップＳ３０１に戻って、撮像した基板の画像から新たな検査対象部位の画像データを取得してもよい。かかる処理によって、比較的少数の不良の検査対象部位の画像データに、生成された擬似不良の検査対象部位の画像データが加わることによって、基板検査用モデルの生成に必要な画像データを準備することができる。
【0025】
検査対象部位の画像データが擬似不良の検査対象部位の画像データも含めて十分に集まったならば、ステップＳ３１５において、収集された画像データを教師データとして基板検査用モデルを生成する。そして、ステップＳ３１７において、生成された基板検査用モデルによる正常な検査対象部位か不良の検査対象部位かの判定の精度が十分であるかを検証する。かかる検証においては、不良の検査対象部位の検査結果の原因に間違いがないか、あるいは、検査結果の分離が明確であるか（正常な検査対象部位の判定と不良の検査対象部位の判定との異常度が十分に離れているか）、などが基準となる。そして、ステップＳ３１９において、検証結果から基板検査用モデルが使用できる精度があるか否かを判定する。精度が不十分であれば、ステップＳ３０９に戻って、擬似不良の検査対象部位の画像データをさらに生成して、精度を向上させる。あるいは、ステップＳ３０１に戻って、撮像した基板の新たな検査対象部位の画像データを取得してもよい。この場合においても、精度を向上させるための画像データの補充として、正常基な検査対象部位および不良の検査対象部位の画像データから生成する擬似不良の検査対象部位の画像データは、正常な検査対象部位と不良の検査対象部位との境界範囲に含まれるものが望ましい。
【0026】
基板検査用モデルの検証結果で精度が十分であれは、ステップＳ３２１において、生成された基板検査用モデルを実装して、検査対象部位の検査による基板の検査に使用する。
【0027】
＜基板検査システムの構成＞
図４において、基板検査システム４００は、モデル生成装置４１０と基板検査装置４２０とを備える。なお、モデル生成装置４１０と基板検査装置４２０とはネットワークを介して異なる場所に設置されても、同じ場所に設置されてもよい。モデル生成装置は、画像加工部４０６と、モデル生成部４０７と、を備える。
図４において、基板検査システム４００は、モデル生成装置４１０と基板検査装置４２０とを備える。なお、モデル生成装置４１０と基板検査装置４２０とはネットワークを介して異なる場所に設置されても、同じ場所に設置されてもよい。モデル生成装置は、画像加工部４０６と、モデル生成部４０７と、を備える。
【0028】
画像加工部４０６は生成方法テーブル４６１を有し、撮像された検査対象部位の画像データから擬似不良の検査対象部位の加工画像データを生成する。モデル生成部４０７は、検査用モデルテーブル４７１を有し、正常な検査対象部位の画像データと不良の検査対象部位の画像データと擬似不良の検査対象部位の画像データとを教師データとして、ディープラーニング技術等により基板検査用モデルを生成する。また、モデル生成部４０７はモデル検証部４０８を有する。モデル検証部４０８は、モデル生成部４０７が生成した基板検査用モデルの精度を、検査対象部位の画像データを入力して検証する。そして、モデル生成部４０７は、モデル検証部４０８の検証で合格となった基板検査用モデルを基板検査装置４２０に設定あるいは送信する。
【0029】
基板検査装置４２０は、判定部４０９と、撮像部４２１と、画像生成部４２３と、表示部４３０と、を備える。判定部４０９は、モデル検証部４０８の検証で合格となった基板検査用モデルを用いて、基板の画像データにより検査対象部位であるその部品などを検査して、１つでも不良があるとその基板を不良と判定する。撮像部４２１は、検査のために運ばれてくる基板（Ａ→Ｂ→Ｃ）４２２を順次に撮像する。画像生成部４２３は、撮像部４２１が撮像した複数の画像から基板の画像データを生成し、基板の画像データから検査対象部位の画像データを切り出して判定部４０９に送る。表示部４３０は、例えば、基板の画像データや検査対象部位の画像データ、基板検証用モデルの検証結果や、基板検証用モデルを用いた基板の検証結果などを表示する。
【0030】
なお、撮像部４２１、表示部４３０は、基板検査装置４２０の外部にあってもよい。
【0031】
（生成方法テーブル）
図５Ａの生成方法テーブル４６１は、図４の画像加工部４０６が、基板を撮像して生成された検査対象部位の画像データを元に擬似不良の検査対象部位の画像データを生成するために用いる。生成方法テーブル４６１は、画像加工対象データ５６１として、画像データを元にするか３次元ＣＡＤデータ（３ＤＣＡＤデータ）を元にするかを記憶する。画像データを元にする場合の不良の検査対象部位の画像データ加工方法５６２としては、形の変更や領域面積の変更や色の変更などがある。一方、３ＤＣＡＤデータを元にする場合の不良の検査対象部位の画像データ加工方法５６２としては、対象物形状データの変更がある。そして、各不良の検査対象部位の画像データ加工方法５６２に対応付けて、その加工手順５６３を記憶する。
図５Ａの生成方法テーブル４６１は、図４の画像加工部４０６が、基板を撮像して生成された検査対象部位の画像データを元に擬似不良の検査対象部位の画像データを生成するために用いる。生成方法テーブル４６１は、画像加工対象データ５６１として、画像データを元にするか３次元ＣＡＤデータ（３ＤＣＡＤデータ）を元にするかを記憶する。画像データを元にする場合の不良の検査対象部位の画像データ加工方法５６２としては、形の変更や領域面積の変更や色の変更などがある。一方、３ＤＣＡＤデータを元にする場合の不良の検査対象部位の画像データ加工方法５６２としては、対象物形状データの変更がある。そして、各不良の検査対象部位の画像データ加工方法５６２に対応付けて、その加工手順５６３を記憶する。
【0032】
（検査用モデルテーブル）
図５Ｂの検査用モデルテーブル４７１は、図４のモデル生成部４０７が、基板を撮像して生成された正常な検査対象部位の画像データと不良の検査対象部位の画像データを生成するために用いる。さらに、図５Ｂの検査用モデルテーブル４７１は、図４の画像加工部４０６が生成した擬似不良の検査対象部位の画像データから基板検査用モデルを生成するために用いる。検査用モデルテーブル４７１は、ディープラーニング技術等のＡＩ学習プログラムに入力される教師データ５７１と、ＡＩ学習プログラムの学習結果である基板検査用モデル５７２とを記憶する。教師データ５７１としては、正常な検査対象部位の画像データと、不良の検査対象部位および擬似不良の検査対象部位の画像データとの、ＡＩ学習に必要な大量のデータが入力される。基板検査用モデル５７２としては、基板検査用モデルを生成するためのパラメータＰ１～Ｐｎが含まれる。
図５Ｂの検査用モデルテーブル４７１は、図４のモデル生成部４０７が、基板を撮像して生成された正常な検査対象部位の画像データと不良の検査対象部位の画像データを生成するために用いる。さらに、図５Ｂの検査用モデルテーブル４７１は、図４の画像加工部４０６が生成した擬似不良の検査対象部位の画像データから基板検査用モデルを生成するために用いる。検査用モデルテーブル４７１は、ディープラーニング技術等のＡＩ学習プログラムに入力される教師データ５７１と、ＡＩ学習プログラムの学習結果である基板検査用モデル５７２とを記憶する。教師データ５７１としては、正常な検査対象部位の画像データと、不良の検査対象部位および擬似不良の検査対象部位の画像データとの、ＡＩ学習に必要な大量のデータが入力される。基板検査用モデル５７２としては、基板検査用モデルを生成するためのパラメータＰ１～Ｐｎが含まれる。
【0033】
＜モデル生成装置の処理手順＞
図６Ａにおいて、モデル生成装置４１０は、ステップＳ６１１において、教師データの収集であるか否かを判定する。教師データの収集であれば、モデル生成装置４１０は、ステップＳ６１３において、撮像した正常な検査対象部位の画像データを収集する。そして、モデル生成装置４１０は、ステップＳ６１５において、正常な検査対象部位の画像データや不良の検査対象部位の画像データを元に擬似不良の検査対象部位の画像データを生成する。モデル生成装置４１０は、ステップＳ６１７において、不良の検査対象部位の画像データおよび擬似不良の検査対象部位の画像データを収集して、基板画像データベース（不図示）に蓄積する。
図６Ａにおいて、モデル生成装置４１０は、ステップＳ６１１において、教師データの収集であるか否かを判定する。教師データの収集であれば、モデル生成装置４１０は、ステップＳ６１３において、撮像した正常な検査対象部位の画像データを収集する。そして、モデル生成装置４１０は、ステップＳ６１５において、正常な検査対象部位の画像データや不良の検査対象部位の画像データを元に擬似不良の検査対象部位の画像データを生成する。モデル生成装置４１０は、ステップＳ６１７において、不良の検査対象部位の画像データおよび擬似不良の検査対象部位の画像データを収集して、基板画像データベース（不図示）に蓄積する。
【0034】
教師データの収集でなければ、モデル生成装置４１０は、ステップＳ６２１において、基板の検査用モデルの生成であるか否かを判定する。検査用モデルの生成であれば、モデル生成装置４１０は、ステップＳ６２３において、収集された正常な検査対象部位の画像データと、不良の検査対象部位の画像データおよび擬似不良の検査対象部位の画像データを、基板画像データベースから取得する。そして、モデル生成装置４１０は、ステップＳ６２１において、取得した正常な検査対象部位および不良および擬似不良の検査対象部位の画像データを教師データとして、基板検査用モデルを生成する。モデル生成装置４１０は、ステップＳ６２７において、生成された基板検査用モデルを保存する。
【0035】
教師データの収集でもなく、検査用モデルの生成でもなければ、モデル生成装置４１０は、ステップＳ６３１において、生成された基板検査用モデルの検証であるか否かを判定する。基板検査用モデルの検証であれば、モデル生成装置４１０は、ステップＳ６３３において、保存された基板検査用モデルを取得する。モデル生成装置４１０は、ステップＳ６３５において、正常な検査対象部位であるか不良の検査対象部位であるかが既知の画像データを取得する。そして、モデル生成装置４１０は、ステップＳ６３７において、既知の画像データが正しく検査されたか否かにより、基板検査用モデルを検証する。なお、かかる検証においては、正常な検査対象部位か不良の検査対象部位かの検査結果に加えて、不良の検査対象部位の検査結果の原因に間違いがないかを基準とする。あるいは、検査結果の分離が明確であるか（正常な検査対象部位の判定と不良の検査対象部位の判定との異常度が十分に離れているか）を基準とする。モデル生成装置４１０は、ステップＳ６３９において、基板検査用モデルの検証結果の精度が所定閾値α以上であるか否かを判定する。検証結果の精度が所定閾値α以上であれば、モデル生成装置４１０は、ステップＳ６４１において、検証対象の基板検査用モデルが使用できることを確定して通知し、基板検査用モデルを基板検査装置４２０に設定あるいは送信する。一方、検証結果の精度が所定閾値α以上でなければ、モデル生成装置４１０は、ステップＳ６４３において、検証対象の基板検査用モデルの精度が不十分であり、さらに検査対象部位の画像データを収集して基板検査用モデルを更新する必要があることを通知する。
【0036】
＜基板検査装置の処理手順＞
図６Ｂにおいて、基板検査装置４２０は、ステップＳ６５１において、新たな基板の検査であるか否かを判定する。新たな基板の検査であれば、基板検査装置４２０は、ステップＳ６５３において、モデル生成装置４１０から取得した基板検査用モデルを読み出して基板検査装置４２０内にインストールする。基板検査装置４２０は、ステップＳ６５５において、未知の基板の画像データを取得する。そして、基板検査装置４２０は、ステップＳ６５７において、未知の基板の検査対象部位の画像データを検査することで基板を検査する。基板検査装置４２０は、ステップＳ６５９において、検査結果が正常であるか否かを判定する。この判定においては、１つでも不良の検査対象部位があれば不良の基板とする。検査結果が正常であれば、基板検査装置４２０は、ステップＳ６６１において、検査対象の基板が使用できることを通知する。一方、検査結果が正常でなければ（不良であれば）、基板検査装置４２０は、ステップＳ６６３において、検査対象の基板が不良であることを通知する。
図６Ｂにおいて、基板検査装置４２０は、ステップＳ６５１において、新たな基板の検査であるか否かを判定する。新たな基板の検査であれば、基板検査装置４２０は、ステップＳ６５３において、モデル生成装置４１０から取得した基板検査用モデルを読み出して基板検査装置４２０内にインストールする。基板検査装置４２０は、ステップＳ６５５において、未知の基板の画像データを取得する。そして、基板検査装置４２０は、ステップＳ６５７において、未知の基板の検査対象部位の画像データを検査することで基板を検査する。基板検査装置４２０は、ステップＳ６５９において、検査結果が正常であるか否かを判定する。この判定においては、１つでも不良の検査対象部位があれば不良の基板とする。検査結果が正常であれば、基板検査装置４２０は、ステップＳ６６１において、検査対象の基板が使用できることを通知する。一方、検査結果が正常でなければ（不良であれば）、基板検査装置４２０は、ステップＳ６６３において、検査対象の基板が不良であることを通知する。
【0037】
【0038】
図７Ａは、本実施形態で使用できる基板の検査対象部位（例えば、実装部品）の画像データの例を示す。画像データは、基板上の実装部品に異なる入射角で複数の色の光を投稿部から照射し、その反射光を撮像して得られた画像の着目領域から、３色画像や高さ画像のような撮像データを取得することにより得られる。使用可能な画像としては、図７Ａのように、ＴＳＬ画像７０１と、同軸照明画像（ＲＧＢ画像）７０２と、高さ画像７０３と、３Ｄ画像７０４と、が考えられる。本実施形態においては、同軸照明画像（ＲＧＢ画像）７０２から生成された高さ画像７０３を用いた例と、３ＤＣＡＤデータにより生成された３Ｄ画像７０４を用いた例を説明する。
【0039】
図７Ｂは、同軸照明画像（ＲＧＢ画像）７０２を撮像し、高さ画像７０３を生成する撮像部４２１の構成を示す図である。撮像部４２１は、撮像ユニット７１０と撮像制御部７３０とを備える。撮像ユニット７１０は、カメラユニットとしてのカメラ７１１および同軸落射７１２と照明ユニット７２０とを有する。
【0040】
照明ユニット７２０は、カメラ７１１による撮像のための照明光を被検査体である基板４２２の表面に投射するよう構成されている。照明ユニット７２０は、カメラ７１１の撮像素子により検出可能である波長域から選択された波長または波長域の光を発する１つまたは複数の光源を備える。照明光は可視光には限られず、紫外光やＸ線等を用いてもよい。光源が複数設けられている場合には、各光源は異なる波長の光（例えば、赤色、青色、および緑色）を異なる投光角度で基板４２２の表面に投光するよう構成される。照明ユニット７２０は、被検査体７４０の検査面に対し斜め方向から照明光を投射する側方照明源であって、上位光源（ＴＯＰ）７２２、中位光源（ＳＩＤＥ）７２３および下位光源（ＬＯＷ）７２４を備えている。側方照明源である上位光源７２２、中位光源７２３および下位光源７２４はそれぞれリング照明源であり、カメラ７１１の光軸を包囲し、基板４２２の検査面に対し斜めに照明光を投射するように構成されている。これらの側方照明源である上位光源７２２、中位光源７２３および下位光源７２４の各々は、複数の光源が円環状に配置されて構成されていてもよい。また、側方照明源である上位光源７２２、中位光源７２３および下位光源７２４は、それぞれ、検査面に対して１７°、４５°、６０°の異なる角度で照明光を投射するように構成されている。なお、ＴＯＰは赤色（Ｒ）光、ＬＯＷは青色（Ｂ）光、ＳＩＤＥは３色（Ｒ、Ｇ、Ｂ）光の切り替えである。
【0041】
投射ユニット７２１は、基板４２２の検査面にパターンを投射する。パターンが投射された基板４２２は、カメラ７１１により撮像される。撮像制御部７３０の高さ画像生成部７３１は、撮像された基板４２２のパターン画像に基づいて基板の検査面の高さマップを作成する。高さ画像生成部７３１は、投射パターンに対するパターン画像の局所的な不一致を検出し、その局所的な不一致に基づいてその部位の高さを求める。つまり、投射パターンに対する撮像パターンの変化が、検査面上の高さ変化に対応する。投射パターンは、明線と暗線とが交互に周期的に繰り返される１次元の縞パターンであることが好ましい。投射ユニット７２１は、基板４２２の検査面に対し斜め方向から縞パターンを投影するよう配置されている。基板４２２の検査面における高さの非連続は、縞パターン画像においてパターンのずれとして表れる。よって、パターンのずれ量から高さ差を求めることができる。例えば、サインカーブに従って明るさが変化する縞パターンを用いる位相シフト法（ＰＭＰ：Phase Measurement Profilometry）により高さ画像生成部７３１は高さマップを作成する。位相シフト法においては縞パターンのずれ量がサインカーブの位相差に相当する。また、縞パターンを投射ユニット７２１を中心とする円弧や多角形にしたり、太さを変えることにより、より適切に高さ画像の生成が可能となる。
【0042】
なお、高さ画像生成のための撮像画像による高さ計測は、可変ピッチプロジェクタによる計測であってもよい。可変ピッチプロジェクタによる高さ計測では、三角関数の濃度分布を持つ縞パターンを投影し、１／４波長ずらして撮像した４枚の縞画像からピクセル単位で高さを計算する。この高さ計測によれば、太い縞と細い縞を組み合わせて高さ20mmの部品まで計測でき、東西南北の４方角から縞を投影して高い部品の影になる領域を最小にすることができる。
【0043】
また、高さ画像生成部７３１を撮像制御部７３０に設けたが、基板検査装置４２０に設けてもよい。
【0044】
図７Ｃのフローチャートに従って、撮像制御部７３０の処理手順を説明する。前準備として、撮像制御部７３０は、ステップＳ７１１において、短周期の縞パターンで基準平面を撮像する。撮像制御部７３０は、ステップＳ７１３において、長周期の縞パターンで基準平面を撮像する。測定時には、撮像制御部７３０は、ステップＳ７２１において、短周期の縞パターンで基板４２２を撮像する。撮像制御部７３０は、ステップＳ７２３において、長周期の縞パターンで基板を撮像する。そして、撮像制御部７３０は、ステップＳ７２５において、ステップＳ７２１で取得した短周期画像から位相計算を行う。撮像制御部７３０は、ステップＳ７２７において、ステップＳ７２３で取得した長周期画像から位相計算を行う。そして、撮像制御部７３０は、ステップＳ７２９において、短周期から計算した位相と、長周期から計算した位相との結合から高さを算出する。
【0045】
図７Ｄは、撮像部４２１による基板４２２の撮像例７６０を示している。それぞれのＴＯＰ、ＳＩＤＥ、ＬＯＷは、図７Ｂの照射光による撮像結果に対応する。合成（ＲＧＢ）は、ＳＩＤＥによる３色画像の合成、合成（ＴＯＰ、ＳＩＤＥ、ＬＯＷ）は全取得画像の合成である。そして、高さ（Depth）画像は、合成（ＴＯＰ、ＳＩＤＥ、ＬＯＷ）から生成されたヒートマップの高さ（Depth）画像である。
【0046】
【0047】
図８Ａは、検査対象部位のはんだ画像における正常画像データと不良画像データとの判別について説明する図である。図８Ａにおいて、画像８１１が正常なはんだ付け部の画像であり、画像８１２が不良なはんだ付け部（不漏れ）の画像である。高さ画像のヒートマップにおいて、銅箔とリードとがはんだでしっかり接続している正常なはんだ付け部の画像８１１では、はんだの先端からリードに向けて、赤→緑→青の順となる。これに対して、リードとはんだとの接触点が少ない不良なはんだ付け部の画像８１２では、青→緑→赤の順となる。
【0048】
図８Ａの知識により、はんだ部分における擬似不良のはんだの画像データの生成は、赤、緑、青の順番やその面積などを変化させることにより可能でとなる。
【0049】
図８Ｂに従って、図８Ａの知識を基に、はんだ画像データからの擬似不良のはんだの画像データを生成する手順を説明する。図８Ａは画像編集プログラムを用いたはんだ画像データから擬似不良のはんだの画像データを生成する手順を示している。画像編集プログラムには、例えば、［スポイト］や、［ブラシで描画］や、「ぼかし/シャープ」などのメニューが準備されている。［スポイト］を選択すると、重ねたい色を選択する。また、他の画像からスポイトで色を選択してくることも可能である。[ブラシで描画]を選択すると、スポイトで選択した色をブラシで描画する。なお、右タブから塗布範囲を選択可能である。[ぼかし/シャープ]を選択すると、ブラシを使ってぼかしやシャープ化をおこなう。なお、右タブから範囲を選択可能である。これらの画像編集ソフトウェア（プログラム）の機能を用いて、はんだ画像データから擬似不良のはんだの画像データを生成する。
【0050】
図８Ｂの上段では、正常なはんだ画像データから、不漏れの特徴を有する擬似不良のはんだの画像データを生成する。正常な画像のハンダ部分は濃い青色から水色であることが多い。ハンダ部分に、水色→緑色→赤色を順の重ねる。そして、それぞれの色境界を滑らかにすることによって、不漏れの特徴を有する擬似不良画像が１つ生成される。起こりえない状態や非常に稀な状態を限界として、高さ画像のヒートマップの色や領域面積などを変化させる。
【0051】
図８Ｂの下段は、不良のはんだの画像を元に、さらに異常が進んだサンプルを作成している。すなわち、はんだが少ない例である。よりハンダが少ない例、良否判定の境界となる画像を作成することによって、より判定が難しい不良サンプルの判定に有効となる。なお、余り異常な方向に変化させると無駄な教師データや、不必要な教師データとなる。一方、不良なはんだの画像を元に、正常な半田の画像に変化させると、良否判定の境界となる画像を作成することができる。
【0052】
図８Ｃは、３ＤＣＡＤデータを用いて、はんだ画像データから擬似不良のハンダの画像データを生成する図である。すなわち、正常はんだ付けの３Ｄモデル８３１から、３ＤＣＡＤを用いてハンダの不良サンプルのモデル８３２を作成する。そして、不良サンプルのモデル８３２に基づいて、レイトレーシング等の技術により、高さ画像を生成し、ＴＳＬ画像を生成することが可能である。
【0053】
図８Ｄは、図８Ｃの擬似不良のはんだの画像データの他の生成の具体例を示す図である。図８Ｄには、不良はんだを再現して作成した基板４２２上の３Ｄモデル８４０が示されている。３Ｄモデル８４０は、ＩＣのリード、銅箔、はんだの形状情報と、各物質の色情報、反射特性などのパラメータを持っている。かかるハンダ付けの３Ｄモデル８４０を、撮像ユニット７１０で撮像したかのように、シミュレートする。すなわち、装置の設計データに基づき上部にカメラと照明を配置、ここでは赤、緑、青、３色のリング照明と、各リングの中心からはんだをのぞき込む状態でカメラを配置している。これにより、レイトレーシング等の技術により、配置したカメラでの不良はんだの見え方をシミュレートできる。
【0054】
なお、擬似不良の検査対象部位の画像データや擬似正常な検査対象部位の画像データの生成は、ディープラーニング技術等により不良の検査対象部位の画像変化傾向などを認識して、自動的に生成することができる。ディープラーニングでは、大量の不良画像データおよび正常画像データ、さらに、生成された擬似不良画像データおよび擬似正常画像データを教師データとする。このようにすれば、起こりえない擬似不良画像データや擬似正常画像データの生成を防ぐことができる。
【0055】
＜基板検査用モデルの生成＞
図９は、モデル生成部４０７による基板検査用モデルの生成に使用する教師データの入力９００を示している。図９では、２０個のはんだ部分のヒートマップによる画像が表示されている。ユーザあるいは基板検査装置４２０は、この中から正常であることを示す画像と不良であることを示す画像を選別して、モデル生成部４０７のディープラーニング等のＡＩプログラムに教師データとして入力する。図９においては、チェックの有る画像９０１が正常であることを示す教師データであり、チェックの無い画像９０２が不良であることを示す教師データである。なお、画像の選別は、熟練技術者の知識から導いたものであっても、ディープラーニング等で認識した判定基準を用いてもよい。なお、このときに、良品・不良品という２種類の選別（ラベル付け）だけでなく、良品、不濡れ、半田小、半田無し、部品浮き、部品なし、などの不良の種別による複数の選別（ラベル付け）をしてもよい。このように、不良の種別による複数の選別をすることで、より繊細な検査が可能な基板検査用モデルが生成できる。
図９は、モデル生成部４０７による基板検査用モデルの生成に使用する教師データの入力９００を示している。図９では、２０個のはんだ部分のヒートマップによる画像が表示されている。ユーザあるいは基板検査装置４２０は、この中から正常であることを示す画像と不良であることを示す画像を選別して、モデル生成部４０７のディープラーニング等のＡＩプログラムに教師データとして入力する。図９においては、チェックの有る画像９０１が正常であることを示す教師データであり、チェックの無い画像９０２が不良であることを示す教師データである。なお、画像の選別は、熟練技術者の知識から導いたものであっても、ディープラーニング等で認識した判定基準を用いてもよい。なお、このときに、良品・不良品という２種類の選別（ラベル付け）だけでなく、良品、不濡れ、半田小、半田無し、部品浮き、部品なし、などの不良の種別による複数の選別（ラベル付け）をしてもよい。このように、不良の種別による複数の選別をすることで、より繊細な検査が可能な基板検査用モデルが生成できる。
【0056】
なお、ディープラーニング等のＡＩプログラムによる処理の説明は省略する。
【0057】
【0058】
図１０Ａは、モデル検証部４０８による基板検査用モデルの検証結果の出力を示す。図１０Ａには、検証のために基板検査用モデルに入力したはんだ部分のヒートマップ画像（図中、Original）と、基板検査用モデルによる検査結果において異常度を表すヒートマップ画像をOriginal画像に重ねた（図中、Heatmap）との対が示されている。これは、訓練済みのディープラーニングが特徴抽出する際に活性化されたノードを可視化して、異常と判断した箇所をもともとの画像に重ね合わせて表示することにより、どの部分を異常と判断したかを明瞭にするためである。なお、ヒートマップとオリジナル画像を重ね合わせると見えにくい場合もあり、その場合はヒートマップ画像のみを表示してもよい。
【0059】
図１０Ａにおいて、異常部分が少ない正常な検査対象部位のサンプルでは、オリジナル画像とヒートマップ画像とに変化がない。一方、異常部分が多いあるいは異常度が高い不良の検査対象部位のサンプルでは、ヒートマップ画像により、どの部分が異常判断の原因であるかが示される。ここで、異常度は正常なものとの差異、すなわち、検証した検査対象部位の正常な検査対象部位からの相違の程度を表している。
【0060】
図１０Ｂは、基板検査用モデルの検証結果である、図１０Ａにおける不良の検査対象部位のサンプルのオリジナル画像１０１１とヒートマップ画像１０１２の評価を示している。チップ部品のハンダが少ない場合の不良事例であり、ヒートマップ画像１０１２においては、ハンダが不足している部分１０２１の異常度が高く表示される。
【0061】
モデル検証部４０８は、正常な検査対象部位のサンプルを正常と判定し、不良の検査対象部位のサンプルを不良と判定するというモデル検証に加えて、図１０Ｂにおいて、ハンダが不足している部分１０２１の表示が、検査結果の理由として正しいか否かをさらに検証する。例えば、図１０Ｂの例では、チップ部品のはんだが少ないとの不良事例は多く当たり前の理由である。しかしながら、図１０Ｂにおいて、異常度の高い部分が領域１０２２や領域１０２３にある場合には、基板検査用モデルの精度が不十分と判定する。なぜならば、領域１０２２ははんだ部分ではなくリード部分であるので、はんだ不良の検査結果の原因としては間違いである。また、領域１０２３ははんだ部分ではなく基板部分であるので、はんだ不良の検査結果の原因としては間違いである。さらに、判定結果１０３０のＮＧ種類の「不漏れ」と異常度の高い部分が対応するか否かも検証される。
【0062】
図１０Ｃは、モデル検証部４０８による基板検査用モデルの検証結果の他の評価を示している。判定評価の混合行列１０４１は、サンプルの正常／不良の真値と、基板検査用モデルによる正常／不良の判定との対応を示している。基板検査用モデルの検証は、各対応数の閾値を設定して判定してもよい。例えば、正常な検査対象部位のサンプルを不良と判定することは許されるが、不良の検査対象部位のサンプルを正常と判定することは許されない。正常なサンプルを不良と判定する数の上限が、基板検査用モデルの信頼性を判定する１つの閾値となる。
【0063】
異常度の一覧表１０４２は、各検証サンプルについて基板検査用モデルの検査結果の異常度をプロットした表である。この異常度の一覧表１０４２から、過剰判定率と最低異常度が分かり、その差がモデル信頼度として算出される。そして、検証スコア１０４３として、モデル信頼度と見逃しと過剰判定率とが提示される。見逃しと過剰判定率は検証項目として必須であるが、モデル信頼度については、別の方法を用いてもよい、例えば、良品判定の指標として過剰判定率だけでなく、合計で何枚判定できたかという絶対的な判定数もモデルの信頼性を示す指標にもなることもある。
【0064】
検証結果において、基板検査用モデルの信頼性や精度が十分でない場合は、基板検査用モデルを生成するための教師データをさらに収集または生成することで、信頼性や精度が十分になるまで、基板検査用モデルの生成と検証とを繰り返す。なお、教師データをさらに収集または生成する場合には、基板検査用モデルの信頼性や精度が十分でない原因が分かれば、その部分を強化する教師データを生成することが可能である。また、基板検査用モデルの信頼性や精度が十分でない原因を見つけるために、ランダムでなくある傾向を持った教師データを生成することも可能になった。
【0065】
本実施形態によれば、基板検査用モデルを生成するための教師データを容易に補充でき、かつ、基板検査用モデルの検証のためのサンプルも容易に生成でき、効率的に信頼性の高い基板検査用モデルを提供できる。すなわち、実際の基板の撮像から得られる少ない教師データから高精度な基板検査用モデルを生成することが可能となる。さらに、経験の浅いユーザでも高精度な基板検査用モデルを生成することが可能となる。
【0066】
［第３実施形態］
次に、本発明の第３実施形態に係る基板検査装置を含む基板検査システムについて説明する。本実施形態に係る基板検査装置を含む基板検査システムは、上記第２実施形態と比べると、基板検査装置がモデル生成装置のモデル生成機能を兼ね備えた点で異なる。その他の構成および動作は、第２実施形態や第３実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
次に、本発明の第３実施形態に係る基板検査装置を含む基板検査システムについて説明する。本実施形態に係る基板検査装置を含む基板検査システムは、上記第２実施形態と比べると、基板検査装置がモデル生成装置のモデル生成機能を兼ね備えた点で異なる。その他の構成および動作は、第２実施形態や第３実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
【0067】
＜基板検査システムの構成＞
図１１の基板検査システム１１００は、モデル生成機能を兼ね備えた基板検査装置１１２０である。なお、基板検査装置１１２０を構成する機能構成部は、モデル生成部４０７と判定部４０９とが基板検査装置１１２０内部で接続されて基板検査用モデルを転送可能である以外は図４と同様であるので、重複する説明は省略する。
図１１の基板検査システム１１００は、モデル生成機能を兼ね備えた基板検査装置１１２０である。なお、基板検査装置１１２０を構成する機能構成部は、モデル生成部４０７と判定部４０９とが基板検査装置１１２０内部で接続されて基板検査用モデルを転送可能である以外は図４と同様であるので、重複する説明は省略する。
【0068】
本実施形態によれば、上記実施形態の効果に加えて、人力を削くことなく自動的に基板の高精度な検査を高速に実現することができる。
【0069】
［第４実施形態］
次に、本発明の第４実施形態に係る基板検査装置を含む基板検査システムについて説明する。本実施形態に係る基板検査装置を含む基板検査システムは、上記第２実施形態および第３実施形態と比べると、複数のユーザサイトからの基板検査結果のデータを収集して、より精度を向上させた基板検査用モデルを生成すると共に、ユーザが他のユーザの基板検査結果を利用可能とした点で異なる。その他の構成および動作は、第２実施形態や第３実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
次に、本発明の第４実施形態に係る基板検査装置を含む基板検査システムについて説明する。本実施形態に係る基板検査装置を含む基板検査システムは、上記第２実施形態および第３実施形態と比べると、複数のユーザサイトからの基板検査結果のデータを収集して、より精度を向上させた基板検査用モデルを生成すると共に、ユーザが他のユーザの基板検査結果を利用可能とした点で異なる。その他の構成および動作は、第２実施形態や第３実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
【0070】
＜基板検査システムの構成＞
図１２の基板検査システム１２００は、ネットワーク１２４０により相互に接続される、基板画像バンク１２１０と、基板検査用モデルサプライヤ１２２０と、複数の基板関連ユーザ１２３０と、を含む。基板画像バンク１２１０は、基板検査用モデルサプライヤ１２２０や複数の基板関連ユーザ１２３０、あるいは、その他の提供者からの、教師データとしての基板画像を蓄積する基板画像データベース１２１２を有する。基板検査用モデルサプライヤ１２２０は、基板画像データベース１２１２から提供された教師データを用いて、基板検査用モデル生成部１２２１で基板検査用モデルを生成し、基板検査用モデルデータベース１２２２に検索可能に格納する。それぞれの基板関連ユーザ１２３０は、ローカルの基板画像データベース１２３３と、基板検査用モデル生成部１２３２を含む基板検査装置１２３１とを有する。なお、基板検査用モデル生成部１２３２を持たない基板関連ユーザ１２３０があってもよい。また、基板関連ユーザ１２３０は、基板画像バンク１２１０への会員登録が必要であり、他のユーザからの教師データの利用は制限される。
図１２の基板検査システム１２００は、ネットワーク１２４０により相互に接続される、基板画像バンク１２１０と、基板検査用モデルサプライヤ１２２０と、複数の基板関連ユーザ１２３０と、を含む。基板画像バンク１２１０は、基板検査用モデルサプライヤ１２２０や複数の基板関連ユーザ１２３０、あるいは、その他の提供者からの、教師データとしての基板画像を蓄積する基板画像データベース１２１２を有する。基板検査用モデルサプライヤ１２２０は、基板画像データベース１２１２から提供された教師データを用いて、基板検査用モデル生成部１２２１で基板検査用モデルを生成し、基板検査用モデルデータベース１２２２に検索可能に格納する。それぞれの基板関連ユーザ１２３０は、ローカルの基板画像データベース１２３３と、基板検査用モデル生成部１２３２を含む基板検査装置１２３１とを有する。なお、基板検査用モデル生成部１２３２を持たない基板関連ユーザ１２３０があってもよい。また、基板関連ユーザ１２３０は、基板画像バンク１２１０への会員登録が必要であり、他のユーザからの教師データの利用は制限される。
【0071】
本実施形態によれば、上記実施形態の効果に加えて、より多数で多種の教師データやサンプルを使用できるので、より信頼性の高い、かつ、汎用性に富んだ基板検査用モデルの生成ができる。すなわち、個々のユーザでは、教師データ、特に不良基板の教師データは、製造材料や製造者個人や製造機械や製造環境などが原因で片寄ったデータになる恐れがある。本実施形態によれば、製造材料や製造者個人や製造機械や製造環境などに左右されない、基板検査用モデルの生成ができる。
【0072】
［他の実施形態］
なお、本実施形態においては、基板の検査、特に「はんだ」の良／不良の検査を例に説明したが、本発明は基板の検査に限定されず、他の製品、特に高さの状態で良／不良の検査が可能なものであれば適用が可能であり、同様の効果を奏する。
なお、本実施形態においては、基板の検査、特に「はんだ」の良／不良の検査を例に説明したが、本発明は基板の検査に限定されず、他の製品、特に高さの状態で良／不良の検査が可能なものであれば適用が可能であり、同様の効果を奏する。
【0073】
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の技術的範囲で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の技術的範囲に含まれる。
【0074】
また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に供給され、内蔵されたプロセッサによって実行される場合にも適用可能である。本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるサーバも、プログラムを実行するプロセッサも本発明の技術的範囲に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体（non-transitory computer readable medium）は本発明の技術的範囲に含まれる。
【要約】
【課題】不良品の教師データの数を増やして、検査用モデルの信頼性を増す基板検査方法を提供する。
【解決手段】基板上の複数の検査対象部位の画像データのそれぞれを加工して、複数の検査対象部位のそれぞれが不良であることを示す不良画像データを生成する画像加工ステップと、検査対象部位が正常であることを示す正常画像データと、不良画像データとを教師データとして学習して、基板検査用モデルを生成するモデル生成ステップと、検査される基板上の複数の検査対象部位の画像データを基板検査用モデルに適用することにより、基板が正常であるか不良であるかを判定する判定ステップと、を含む。
【選択図】 図１
【解決手段】基板上の複数の検査対象部位の画像データのそれぞれを加工して、複数の検査対象部位のそれぞれが不良であることを示す不良画像データを生成する画像加工ステップと、検査対象部位が正常であることを示す正常画像データと、不良画像データとを教師データとして学習して、基板検査用モデルを生成するモデル生成ステップと、検査される基板上の複数の検査対象部位の画像データを基板検査用モデルに適用することにより、基板が正常であるか不良であるかを判定する判定ステップと、を含む。
【選択図】 図１
【図1】
【図2A】
【図2B】
【図3】
【図4】
【図5A】
【図5B】
【図6A】
【図6B】
【図7A】
【図7B】
【図7C】
【図7D】
【図8A】
【図8B】
【図8C】
【図8D】
【図9】
【図10A】
【図10B】
【図10C】
【図11】
【図12】