知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025095544
(43)【公開日】2025-06-26
(54)【発明の名称】半田フィレット検査装置及び半田フィレット検査方法
(51)【国際特許分類】
H05K 3/34 20060101AFI20250619BHJP
G01N 21/88 20060101ALI20250619BHJP
G01N 21/956 20060101ALI20250619BHJP
G06T 7/00 20170101ALI20250619BHJP
G06V 10/82 20220101ALI20250619BHJP
【ＦＩ】
H05K3/34 512B
G01N21/88 J
G01N21/956 B
G06T7/00 350C
G06V10/82
【審査請求】有
【請求項の数】6
【出願形態】ＯＬ
(21)【出願番号】P 2023211616
(22)【出願日】2023-12-15
(11)【特許番号】
(45)【特許公報発行日】2025-03-24
(71)【出願人】
【識別番号】000106760
【氏名又は名称】ＣＫＤ株式会社
(74)【代理人】
【識別番号】100111095
【弁理士】
【氏名又は名称】川口 光男
(72)【発明者】
【氏名】菊池 和義
(72)【発明者】
【氏名】平野 正徳
【テーマコード（参考）】
2G051
5E319
5L096
【Ｆターム（参考）】
2G051AA65
2G051AB14
2G051AC21
2G051BA01
2G051BB01
2G051BB07
2G051CA03
2G051CA04
2G051CA06
2G051EB05
5E319BB05
5E319CC33
5E319CD29
5E319CD53
5E319GG15
5L096AA02
5L096AA06
5L096BA03
5L096CA02
5L096CA17
5L096DA02
5L096HA11
5L096KA04
(57)【要約】
【課題】ＡＩモデルとしての識別手段を得るための労力や負担を低減することができるとともに、識別手段をランドのサイズが異なる場合であっても共通に利用可能とする。
【解決手段】所定のニューラルネットワークに対し、良品の半田フィレットに係る画像データのみを学習データとして学習させて生成したＡＩモデル１０１，１０２に対し、カメラ３２ｄにより取得した画像データに基づく検査用画像データを入力して再構成画像データを取得し、検査用画像データ及び再構成画像データを比較することで、半田フィレットの良否を判定する。学習データは、１の半田フィレット画像を該１の半田フィレット画像のサイズよりも大きなサイズの画像枠に設けてなるものとされる。検査用画像データは、カメラ３２ｄにより取得された画像データから抽出した１の半田フィレット画像を、学習データの画像枠と同サイズの画像枠に設けてなるものとされる。
【選択図】 図５
【解決手段】所定のニューラルネットワークに対し、良品の半田フィレットに係る画像データのみを学習データとして学習させて生成したＡＩモデル１０１，１０２に対し、カメラ３２ｄにより取得した画像データに基づく検査用画像データを入力して再構成画像データを取得し、検査用画像データ及び再構成画像データを比較することで、半田フィレットの良否を判定する。学習データは、１の半田フィレット画像を該１の半田フィレット画像のサイズよりも大きなサイズの画像枠に設けてなるものとされる。検査用画像データは、カメラ３２ｄにより取得された画像データから抽出した１の半田フィレット画像を、学習データの画像枠と同サイズの画像枠に設けてなるものとされる。
【選択図】 図５
【特許請求の範囲】
【請求項1】
プリント基板において電子部品を半田付けする半田フィレットを検査するための半田フィレット検査装置であって、
半田フィレットを含む前記プリント基板における所定の被検査領域の画像データを取得可能な画像データ取得手段と、
入力される画像データから特徴量を抽出する符号化部、及び、該特徴量から画像データを再構成する復号化部を有するニューラルネットワークに対し、良品の半田フィレットに係る画像データのみを学習データとして学習させて生成した識別手段と、
前記画像データ取得手段により取得した画像データに基づき、検査対象の半田フィレットの画像を含む検査用画像データを取得する検査用画像データ取得手段と、
前記検査用画像データを前記識別手段へ入力して再構成された画像データを再構成画像データとして取得可能な再構成画像データ取得手段と、
前記検査用画像データ及び前記再構成画像データを比較可能な比較手段とを備え、
前記比較手段による比較結果に基づき、半田フィレットの良否を判定可能に構成されており、
前記学習データは、１のランドに対応する半田フィレットを示す１の半田フィレット画像を、該１の半田フィレット画像のサイズよりも大きなサイズの画像枠に設けてなるものであり、
前記検査用画像データ取得手段は、前記画像データ取得手段により取得された画像データから抽出した前記１の半田フィレット画像を、前記学習データの画像枠と同サイズの画像枠に設けてなる、前記学習データと同サイズの前記検査用画像データを取得することを特徴とする半田フィレット検査装置。
半田フィレットを含む前記プリント基板における所定の被検査領域の画像データを取得可能な画像データ取得手段と、
入力される画像データから特徴量を抽出する符号化部、及び、該特徴量から画像データを再構成する復号化部を有するニューラルネットワークに対し、良品の半田フィレットに係る画像データのみを学習データとして学習させて生成した識別手段と、
前記画像データ取得手段により取得した画像データに基づき、検査対象の半田フィレットの画像を含む検査用画像データを取得する検査用画像データ取得手段と、
前記検査用画像データを前記識別手段へ入力して再構成された画像データを再構成画像データとして取得可能な再構成画像データ取得手段と、
前記検査用画像データ及び前記再構成画像データを比較可能な比較手段とを備え、
前記比較手段による比較結果に基づき、半田フィレットの良否を判定可能に構成されており、
前記学習データは、１のランドに対応する半田フィレットを示す１の半田フィレット画像を、該１の半田フィレット画像のサイズよりも大きなサイズの画像枠に設けてなるものであり、
前記検査用画像データ取得手段は、前記画像データ取得手段により取得された画像データから抽出した前記１の半田フィレット画像を、前記学習データの画像枠と同サイズの画像枠に設けてなる、前記学習データと同サイズの前記検査用画像データを取得することを特徴とする半田フィレット検査装置。
【請求項2】
前記画像データ取得手段により取得された画像データから、前記検査用画像データを構成する前記１の半田フィレット画像を抽出する半田フィレット画像抽出手段を備え、
前記半田フィレット画像抽出手段は、前記画像データ取得手段により取得された画像データにおける半田フィレットの占める領域を特定するとともに、特定した領域における連結成分の画像を、前記検査用画像データを構成する前記１の半田フィレット画像として抽出可能であることを特徴とする請求項１に記載の半田フィレット検査装置。
前記半田フィレット画像抽出手段は、前記画像データ取得手段により取得された画像データにおける半田フィレットの占める領域を特定するとともに、特定した領域における連結成分の画像を、前記検査用画像データを構成する前記１の半田フィレット画像として抽出可能であることを特徴とする請求項１に記載の半田フィレット検査装置。
【請求項3】
入力される画像データから特徴量を抽出する符号化部、及び、該特徴量から画像データを再構成する復号化部を有するニューラルネットワークに対し、良品の半田フィレットに係る画像データのみを第二学習データとして学習させて生成した第二識別手段を備え、
前記第二学習データは、前記１の半田フィレット画像を、該１の半田フィレット画像のサイズよりも大きい一方、前記学習データの画像枠のサイズよりも小さなサイズの第二画像枠に設けてなるものであり、
前記画像データ取得手段により取得された画像データから抽出した前記１の半田フィレット画像のサイズが前記第二画像枠のサイズよりも小さなものである場合、前記検査用画像データ取得手段は、前記第二画像枠に前記１の半田フィレット画像を設けてなる、前記第二学習データと同サイズの前記検査用画像データを取得し、前記再構成画像データ取得手段は、該検査用画像データを前記第二識別手段に入力して再構成された前記再構成画像データを取得し、前記比較手段は、該検査用画像データ及び該再構成画像データを比較するように構成されていることを特徴とする請求項１に記載の半田フィレット検査装置。
前記第二学習データは、前記１の半田フィレット画像を、該１の半田フィレット画像のサイズよりも大きい一方、前記学習データの画像枠のサイズよりも小さなサイズの第二画像枠に設けてなるものであり、
前記画像データ取得手段により取得された画像データから抽出した前記１の半田フィレット画像のサイズが前記第二画像枠のサイズよりも小さなものである場合、前記検査用画像データ取得手段は、前記第二画像枠に前記１の半田フィレット画像を設けてなる、前記第二学習データと同サイズの前記検査用画像データを取得し、前記再構成画像データ取得手段は、該検査用画像データを前記第二識別手段に入力して再構成された前記再構成画像データを取得し、前記比較手段は、該検査用画像データ及び該再構成画像データを比較するように構成されていることを特徴とする請求項１に記載の半田フィレット検査装置。
【請求項4】
前記学習データ及び前記検査用画像データは、前記１の半田フィレット画像の中心又は重心が前記画像枠の中心と一致し、かつ、該１の半田フィレット画像における前記電子部品側の部位が予め定めた方向を向くように設定したものであることを特徴とする請求項１に記載の半田フィレット検査装置。
【請求項5】
前記比較手段は、前記検査用画像データにおける前記１の半田フィレット画像のみを比較対象として、前記検査用画像データ及び前記再構成画像データの比較を行うことが可能に構成されていることを特徴とする請求項１に記載の半田フィレット検査装置。
【請求項6】
プリント基板において電子部品を半田付けする半田フィレットを検査するための半田フィレット検査方法であって、
半田フィレットを含む前記プリント基板における所定の被検査領域の画像データを取得可能な画像データ取得工程と、
前記画像データ取得工程により取得した画像データに基づき、検査対象の半田フィレットの画像を含む検査用画像データを取得する検査用画像データ取得工程と、
入力される画像データから特徴量を抽出する符号化部、及び、該特徴量から画像データを再構成する復号化部を有するニューラルネットワークに対し、良品の半田フィレットに係る画像データのみを学習データとして学習させて生成した識別手段を用い、前記検査用画像データ取得工程により取得された検査用画像データを前記識別手段へ入力して再構成された画像データを再構成画像データとして取得可能な再構成画像データ取得工程と、
前記検査用画像データ及び前記再構成画像データを比較する比較工程とを含み、
前記比較工程における比較結果に基づき、半田フィレットの良否を判定し、
前記学習データは、１のランドに対応する半田フィレットを示す１の半田フィレット画像を、該１の半田フィレット画像のサイズよりも大きなサイズの画像枠に設けてなるものであり、
前記検査用画像データ取得工程では、前記画像データ取得工程により取得された画像データから抽出した前記１の半田フィレット画像を、前記学習データの画像枠と同サイズの画像枠に設けてなる、前記学習データと同サイズの前記検査用画像データを取得することを特徴とする半田フィレット検査方法。
半田フィレットを含む前記プリント基板における所定の被検査領域の画像データを取得可能な画像データ取得工程と、
前記画像データ取得工程により取得した画像データに基づき、検査対象の半田フィレットの画像を含む検査用画像データを取得する検査用画像データ取得工程と、
入力される画像データから特徴量を抽出する符号化部、及び、該特徴量から画像データを再構成する復号化部を有するニューラルネットワークに対し、良品の半田フィレットに係る画像データのみを学習データとして学習させて生成した識別手段を用い、前記検査用画像データ取得工程により取得された検査用画像データを前記識別手段へ入力して再構成された画像データを再構成画像データとして取得可能な再構成画像データ取得工程と、
前記検査用画像データ及び前記再構成画像データを比較する比較工程とを含み、
前記比較工程における比較結果に基づき、半田フィレットの良否を判定し、
前記学習データは、１のランドに対応する半田フィレットを示す１の半田フィレット画像を、該１の半田フィレット画像のサイズよりも大きなサイズの画像枠に設けてなるものであり、
前記検査用画像データ取得工程では、前記画像データ取得工程により取得された画像データから抽出した前記１の半田フィレット画像を、前記学習データの画像枠と同サイズの画像枠に設けてなる、前記学習データと同サイズの前記検査用画像データを取得することを特徴とする半田フィレット検査方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、電子部品を半田付けする半田フィレットを検査するための検査装置及び検査方法に関する。
【背景技術】
【0002】
一般に、プリント基板上に電子部品を実装する基板製造ラインにおいては、まずプリント基板のランド上にクリーム半田が印刷される（半田印刷工程）。次に、該クリーム半田の粘性に基づいてプリント基板上に電子部品が仮止めされる（マウント工程）。その後、かかるプリント基板がリフロー炉へ導かれ、クリーム半田を加熱溶融することで半田付けが行われる（リフロー工程）。このような基板製造ラインにおいては、プリント基板に係る検査を行う検査装置を設けることがある。
【0003】
昨今では、リフロー工程後のクリーム半田、すなわち、電子部品を半田付けする半田フィレットの検査を行うための検査装置として、ＡＩモデルを用いるものが提案されている（例えば、特許文献１等参照）。この検査装置は、所定の検査プログラムを実行することにより、検査画像に基づく所定の指標を計測し、計測値を用いて検査対象の状態を検査する。尚、実行される検査プログラムは、電子部品の種類（部品種）ごとにＡＩモデルを生成している。ここで、多くの場合、電子部品の種類に応じて該電子部品が実装されるランドのサイズは異なるから、この検査プログラムは、ランドのサイズごとに異なるＡＩモデルを生成するものであると言える。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０２２－１４０９５１号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、ランドのサイズは種々異なるところ、ランドのサイズごとに異なるＡＩモデルを生成し用意するためには、煩雑な作業を行わなければならず、多大な労力や手間が必要となるおそれがある。
【0006】
本発明は、上記事情に鑑みてなされたものであり、その目的は、ＡＩモデルとしての識別手段を得るにあたっての労力や負担を低減することができるとともに、識別手段を、ランドのサイズが異なる場合であっても共通に利用することができる半田フィレット検査装置などを提供することにある。
【課題を解決するための手段】
【0007】
以下、上記目的を解決するのに適した各手段につき、項分けして説明する。なお、必要に応じて対応する手段に特有の作用効果を付記する。
【0008】
手段１．プリント基板において電子部品を半田付けする半田フィレットを検査するための半田フィレット検査装置であって、
半田フィレットを含む前記プリント基板における所定の被検査領域の画像データを取得可能な画像データ取得手段と、
入力される画像データから特徴量を抽出する符号化部、及び、該特徴量から画像データを再構成する復号化部を有するニューラルネットワークに対し、良品の半田フィレットに係る画像データのみを学習データとして学習させて生成した識別手段と、
前記画像データ取得手段により取得した画像データに基づき、検査対象の半田フィレットの画像を含む検査用画像データを取得する検査用画像データ取得手段と、
前記検査用画像データを前記識別手段へ入力して再構成された画像データを再構成画像データとして取得可能な再構成画像データ取得手段と、
前記検査用画像データ及び前記再構成画像データを比較可能な比較手段とを備え、
前記比較手段による比較結果に基づき、半田フィレットの良否を判定可能に構成されており、
前記学習データは、１のランドに対応する半田フィレットを示す１の半田フィレット画像を、該１の半田フィレット画像のサイズよりも大きなサイズの画像枠に設けてなるものであり、
前記検査用画像データ取得手段は、前記画像データ取得手段により取得された画像データから抽出した前記１の半田フィレット画像を、前記学習データの画像枠と同サイズの画像枠に設けてなる、前記学習データと同サイズの前記検査用画像データを取得することを特徴とする半田フィレット検査装置。
半田フィレットを含む前記プリント基板における所定の被検査領域の画像データを取得可能な画像データ取得手段と、
入力される画像データから特徴量を抽出する符号化部、及び、該特徴量から画像データを再構成する復号化部を有するニューラルネットワークに対し、良品の半田フィレットに係る画像データのみを学習データとして学習させて生成した識別手段と、
前記画像データ取得手段により取得した画像データに基づき、検査対象の半田フィレットの画像を含む検査用画像データを取得する検査用画像データ取得手段と、
前記検査用画像データを前記識別手段へ入力して再構成された画像データを再構成画像データとして取得可能な再構成画像データ取得手段と、
前記検査用画像データ及び前記再構成画像データを比較可能な比較手段とを備え、
前記比較手段による比較結果に基づき、半田フィレットの良否を判定可能に構成されており、
前記学習データは、１のランドに対応する半田フィレットを示す１の半田フィレット画像を、該１の半田フィレット画像のサイズよりも大きなサイズの画像枠に設けてなるものであり、
前記検査用画像データ取得手段は、前記画像データ取得手段により取得された画像データから抽出した前記１の半田フィレット画像を、前記学習データの画像枠と同サイズの画像枠に設けてなる、前記学習データと同サイズの前記検査用画像データを取得することを特徴とする半田フィレット検査装置。
【0009】
尚、１の半田フィレット画像は、１のランド上に少なくとも一部が位置する半田フィレットの連結成分（塊部分）の全体を示す画像（後述する手段２の画像）であってもよいし、半田フィレットの連結成分のうち１のランド上に存在する部分のみを示す画像であってもよい。また、１の半田フィレット画像は、半田フィレットの連結成分に加え、その周囲に位置するランドや電極などを含むものであってもよい。
【0010】
加えて、学習データを構成する１の半田フィレット画像は、良品の半田フィレットが設けられたプリント基板を撮像して得た画像データ（実画像データ）から抽出したもの（つまり、実際の半田フィレットの画像）であってもよいし、仮想的に生成した良品の半田フィレットの画像であってもよい。前記実画像データとしては、例えば、これまでの検査で蓄積された画像データや、リフロー工程後に作業者が目視により選別した、良品のプリント基板の画像データなどを挙げることができる。
【0011】
さらに、上記「ニューラルネットワーク」には、例えば複数の畳み込み層を有する畳み込みニューラルネットワークなどが含まれる。上記「学習」には、例えば深層学習（ディープラーニング）などが含まれる。上記「識別手段（生成モデル）」には、例えばオートエンコーダ（自己符号化器）や、畳み込みオートエンコーダ（畳み込み自己符号化器）などが含まれる。
【0012】
加えて、「識別手段」は、良品の半田フィレットに係る画像データ（良品の半田フィレットに係る１の半田フィレット画像を画像枠に設けてなる学習データ）のみを学習させて生成したものである。そのため、不良品の半田フィレットに係る検査用画像データを識別手段に入力したときに生成される再構成画像データは、不良部分が修正された（例えば、形状や面積などが正しいものとされた）検査用画像データとほぼ一致することになる。すなわち、半田フィレットに不良部分があるときには、該半田フィレットに係る再構成画像データとして、不良部分がないものと仮定した場合の該半田フィレットに係る仮想的な画像データが生成される。
【0013】
上記手段１によれば、検査用画像データは、画像データ取得手段により取得された画像データから抽出した１の半田フィレット画像を画像枠に設けてなるものとされている。従って、検査用画像データのサイズ（幅及び高さ）は、ランドのサイズによって細かく変動することはなく、一定となる。これにより、ランドのサイズごとに異なる識別手段を多数用意する必要がなくなり、識別手段を得るにあたっての労力や手間を低減することができる。また、ランドのサイズが異なる場合であっても識別手段を共通に利用することができる。
【0014】
さらに、上記手段１によれば、学習データの画像枠と検査用画像データの画像枠とは同サイズとされており、学習データ及び検査用画像データの各サイズは同一とされている。従って、検査用画像データを識別手段へと入力したときに、該検査用画像データに対応する適切な再構成画像データをより確実に出力することができ、ひいては半田フィレットの良否判定をより正確に行うことができる。これにより、良好な検査精度をより確実に得ることができる。
【0015】
加えて、上記手段１によれば、検査用画像データと、該検査用画像データを識別手段へ入力して再構成された再構成画像データとを比較し、その比較結果に基づき、半田フィレットの良否を判定している。そのため、比較する両画像データは、それぞれ同一の半田フィレットに係るものとなる。従って、別途用意した基準との比較によって良否を判定する手法とは異なり、誤検出を防止するために比較的緩い検査条件を設定する必要はなく、より厳しい検査条件を設定することができる。さらに、比較する両画像データにおいて、検査対象であるプリント基板の撮像条件（例えばプリント基板の配置位置や配置角度、たわみ等）や、検査装置側の撮像条件（例えば照明状態やカメラの画角等）を一致させることができる。これらが相俟って、半田フィレットの良否判定をより精度よく行うことができる。
【0016】
手段２．前記画像データ取得手段により取得された画像データから、前記検査用画像データを構成する前記１の半田フィレット画像を抽出する半田フィレット画像抽出手段を備え、
前記半田フィレット画像抽出手段は、前記画像データ取得手段により取得された画像データにおける半田フィレットの占める領域を特定するとともに、特定した領域における連結成分の画像を、前記検査用画像データを構成する前記１の半田フィレット画像として抽出可能であることを特徴とする手段１に記載の半田フィレット検査装置。
前記半田フィレット画像抽出手段は、前記画像データ取得手段により取得された画像データにおける半田フィレットの占める領域を特定するとともに、特定した領域における連結成分の画像を、前記検査用画像データを構成する前記１の半田フィレット画像として抽出可能であることを特徴とする手段１に記載の半田フィレット検査装置。
【0017】
上記手段２によれば、半田フィレット画像抽出手段によって、画像データ取得手段により取得された画像データにおける半田フィレットの占める領域が特定されるとともに、特定した領域における連結成分の画像が、検査用画像データを構成する１の半田フィレット画像として抽出される。従って、１の半田フィレット画像は、半田フィレットにおけるランド上に位置する部分の画像のみならず、半田フィレットにおけるランドからはみ出した部分の画像を含むものとなる。つまり、図２７に示すように、半田フィレット５がランド３からはみ出していたとしても、図２８に示すように、１の半田フィレット画像Ｉｈは、このはみ出し部分を含むものとなる。これにより、一部がランドからはみ出した半田フィレットに係る良否判定を適切に行うことが可能となり、検査精度を一層高めることができる。
【0018】
手段３．入力される画像データから特徴量を抽出する符号化部、及び、該特徴量から画像データを再構成する復号化部を有するニューラルネットワークに対し、良品の半田フィレットに係る画像データのみを第二学習データとして学習させて生成した第二識別手段を備え、
前記第二学習データは、前記１の半田フィレット画像を、該１の半田フィレット画像のサイズよりも大きい一方、前記学習データの画像枠のサイズよりも小さなサイズの第二画像枠に設けてなるものであり、
前記画像データ取得手段により取得された画像データから抽出した前記１の半田フィレット画像のサイズが前記第二画像枠のサイズよりも小さなものである場合、前記検査用画像データ取得手段は、前記第二画像枠に前記１の半田フィレット画像を設けてなる、前記第二学習データと同サイズの前記検査用画像データを取得し、前記再構成画像データ取得手段は、該検査用画像データを前記第二識別手段に入力して再構成された前記再構成画像データを取得し、前記比較手段は、該検査用画像データ及び該再構成画像データを比較するように構成されていることを特徴とする手段１に記載の半田フィレット検査装置。
前記第二学習データは、前記１の半田フィレット画像を、該１の半田フィレット画像のサイズよりも大きい一方、前記学習データの画像枠のサイズよりも小さなサイズの第二画像枠に設けてなるものであり、
前記画像データ取得手段により取得された画像データから抽出した前記１の半田フィレット画像のサイズが前記第二画像枠のサイズよりも小さなものである場合、前記検査用画像データ取得手段は、前記第二画像枠に前記１の半田フィレット画像を設けてなる、前記第二学習データと同サイズの前記検査用画像データを取得し、前記再構成画像データ取得手段は、該検査用画像データを前記第二識別手段に入力して再構成された前記再構成画像データを取得し、前記比較手段は、該検査用画像データ及び該再構成画像データを比較するように構成されていることを特徴とする手段１に記載の半田フィレット検査装置。
【0019】
上記手段３によれば、１の半田フィレット画像のサイズが比較的小さい場合、検査用画像データ取得手段によって、比較的小さなサイズの第二画像枠に１の半田フィレット画像を設けてなる比較的小さなサイズの検査用画像データが取得される。そして、再構成画像データ取得手段によって、この比較的小さな検査用画像データが第二識別手段に入力されることで再構成画像データが出力され、また、比較手段によって、それぞれ比較的小さな検査用画像データ及び再構成画像データが比較される。従って、検査用画像データの画像枠を常に一定サイズとする場合と比べて、再構成画像データを取得するための処理や比較手段による比較処理の迅速化を図ることができ、ひいては検査速度をより向上させることができる。
【0020】
手段４．前記学習データ及び前記検査用画像データは、前記１の半田フィレット画像の中心又は重心が前記画像枠の中心と一致し、かつ、該１の半田フィレット画像における前記電子部品側の部位が予め定めた方向を向くように設定したものであることを特徴とする手段１に記載の半田フィレット検査装置。
【0021】
尚、上記手段４に係る技術事項を、上記手段３に適用してもよい。すなわち、第二学習データを、１の半田フィレット画像の中心又は重心が第二画像枠の中心と一致し、かつ、該１の半田フィレット画像における電子部品側の部位が予め定めた方向を向くように設定したものとしてもよい。勿論、上記手段３に係る検査用画像データについても同様に設定してもよい。
【0022】
上記手段４によれば、学習データや検査用画像データにおける半田フィレットの向き及び位置を概ね揃えることができる。従って、識別手段の生成に用いた学習データが比較的少ないものであっても、半田フィレットの良否判定を精度よく行うことができる。すなわち、識別手段を得るにあたっての労力や手間をより効果的に低減しつつ、良好な検査精度を得ることができる。
【0023】
手段５．前記比較手段は、前記検査用画像データにおける前記１の半田フィレット画像のみを比較対象として、前記検査用画像データ及び前記再構成画像データの比較を行うことが可能に構成されていることを特徴とする手段１に記載の半田フィレット検査装置。
【0024】
上記手段５によれば、比較手段は、検査用画像データにおける１の半田フィレット画像のみを比較対象として、検査用画像データ及び再構成画像データの比較を行う。すなわち、比較手段は、両画像データの比較を行うにあたって、検査用画像データにおける１の半田フィレット画像以外の部分を比較対象としない。従って、両画像データの全体を比較する場合と比べて、両画像データの比較に係る処理負担を低減することができ、検査の高速化、効率化を図ることができる。また、検査用画像データにおける１の半田フィレット画像以外の部分、すなわち、半田フィレットとは無関係の部分が良否判定に影響を与えることをより確実に防止でき、ひいては検査精度の更なる向上を図ることが可能となる。
【0025】
手段６．プリント基板において電子部品を半田付けする半田フィレットを検査するための半田フィレット検査方法であって、
半田フィレットを含む前記プリント基板における所定の被検査領域の画像データを取得可能な画像データ取得工程と、
前記画像データ取得工程により取得した画像データに基づき、検査対象の半田フィレットの画像を含む検査用画像データを取得する検査用画像データ取得工程と、
入力される画像データから特徴量を抽出する符号化部、及び、該特徴量から画像データを再構成する復号化部を有するニューラルネットワークに対し、良品の半田フィレットに係る画像データのみを学習データとして学習させて生成した識別手段を用い、前記検査用画像データ取得工程により取得された検査用画像データを前記識別手段へ入力して再構成された画像データを再構成画像データとして取得可能な再構成画像データ取得工程と、
前記検査用画像データ及び前記再構成画像データを比較する比較工程とを含み、
前記比較工程における比較結果に基づき、半田フィレットの良否を判定し、
前記学習データは、１のランドに対応する半田フィレットを示す１の半田フィレット画像を、該１の半田フィレット画像のサイズよりも大きなサイズの画像枠に設けてなるものであり、
前記検査用画像データ取得工程では、前記画像データ取得工程により取得された画像データから抽出した前記１の半田フィレット画像を、前記学習データの画像枠と同サイズの画像枠に設けてなる、前記学習データと同サイズの前記検査用画像データを取得することを特徴とする半田フィレット検査方法。
半田フィレットを含む前記プリント基板における所定の被検査領域の画像データを取得可能な画像データ取得工程と、
前記画像データ取得工程により取得した画像データに基づき、検査対象の半田フィレットの画像を含む検査用画像データを取得する検査用画像データ取得工程と、
入力される画像データから特徴量を抽出する符号化部、及び、該特徴量から画像データを再構成する復号化部を有するニューラルネットワークに対し、良品の半田フィレットに係る画像データのみを学習データとして学習させて生成した識別手段を用い、前記検査用画像データ取得工程により取得された検査用画像データを前記識別手段へ入力して再構成された画像データを再構成画像データとして取得可能な再構成画像データ取得工程と、
前記検査用画像データ及び前記再構成画像データを比較する比較工程とを含み、
前記比較工程における比較結果に基づき、半田フィレットの良否を判定し、
前記学習データは、１のランドに対応する半田フィレットを示す１の半田フィレット画像を、該１の半田フィレット画像のサイズよりも大きなサイズの画像枠に設けてなるものであり、
前記検査用画像データ取得工程では、前記画像データ取得工程により取得された画像データから抽出した前記１の半田フィレット画像を、前記学習データの画像枠と同サイズの画像枠に設けてなる、前記学習データと同サイズの前記検査用画像データを取得することを特徴とする半田フィレット検査方法。
【0026】
上記手段６によれば、上記手段１と同様の作用効果が奏される。
【0027】
尚、上記各手段に係る技術事項を適宜組み合わせてもよい。従って、例えば、上記手段２に係る技術事項に対し、上記手段３等に係る技術事項を組み合わせてもよい。また、例えば、上記手段６に対し、上記手段２～５に係る技術事項のうちの少なくとも１つを適用してもよい。
【図面の簡単な説明】
【0028】
【図1】プリント基板の一部を拡大した部分拡大平面図である。
【図2】プリント基板の製造ラインの構成を示すブロック図である。
【図3】半田フィレット検査装置を模式的に示す概略構成図である。
【図4】半田フィレット検査装置の機能構成を示すブロック図である。
【図5】ニューラルネットワークの構造を説明するための模式図である。
【図6】ニューラルネットワークの学習処理の流れを示すフローチャートである。
【図7】検査処理の流れを示すフローチャートである。
【図8】学習用元画像データを示す模式図である。
【図9】学習用元画像データにおける半田フィレットの占める領域を示す模式図である。
【図10】学習用元画像データから抽出した１の半田フィレット画像を示す模式図である。
【図11】第一画像枠や第一学習データＧａを示す模式図である。
【図12】第一画像枠や第一学習データＧｂを示す模式図である。
【図13】第二画像枠や第二学習データＧｃを示す模式図である。
【図14】第二画像枠や第二学習データＧｄを示す模式図である。
【図15】検査用元画像データの一例を示す模式図である。
【図16】検査用元画像データにおける半田フィレットの占める領域を示す模式図である。
【図17】検査用元画像データから抽出した１の半田フィレット画像の一例を示す模式図である。
【図18】検査用元画像データから抽出した１の半田フィレット画像の一例を示す模式図である。
【図19】第一検査用画像データＫａの一例や第一画像枠を示す模式図である。
【図20】第一検査用画像データＫａの一例や第一画像枠を示す模式図である。
【図21】第一検査用画像データＫｂや第一画像枠を示す模式図である。
【図22】第二検査用画像データＫｃの一例や第二画像枠を示す模式図である。
【図23】第二検査用画像データＫｃの一例や第二画像枠を示す模式図である。
【図24】第二検査用画像データＫｄや第二画像枠を示す模式図である。
【図25】第一ＡＩモデルに対し第一検査用画像データＫａを入力したときに、第一ＡＩモデルから出力される再構成画像データを示す模式図である。
【図26】第二ＡＩモデルに対し第二検査用画像データＫｃを入力したときに、第二ＡＩモデルから出力される再構成画像データを示す模式図である。
【図27】ランドからはみ出した状態の半田フィレットを示す模式図である。
【図28】ランドからはみ出した状態の半田フィレットに係る１の半田フィレット画像を示す模式図である。
【発明を実施するための形態】
【0029】
以下、一実施形態について図面を参照しつつ説明する。まずプリント基板の構成について説明する。図１は、プリント基板の一部を拡大した部分拡大平面図である。
【0030】
図１に示すように、プリント基板１は、ガラスエポキシ樹脂等からなる平板状のベース基板２の表面に、銅箔からなる配線パターン（図示略）や複数のランド３が形成されたものである。ベース基板２の表面のうちランド３を除く部分にはレジスト膜４がコーティングされている。
【0031】
さらに、ランド３上には、半田フィレット５を介してチップ等の電子部品６が搭載されている。尚、図１等では、便宜上、半田フィレット５を示す部分に散点模様を付している。半田フィレット５は、後述するリフロー工程において、半田粒をフラックスで練ってなるクリーム半田を加熱することで形成されたものである。半田フィレット５は、プリント基板１において電子部品６を半田付けするためのものであり、電極６ａとランド３とを接合する。本実施形態では、半田フィレット５として、比較的大きなランド３に設けられ、比較的大きな電子部品６に対応する比較的大きな半田フィレット５ａ，５ｂと、比較的小さなランド３に設けられ、比較的小さな電子部品６に対応する比較的小さな半田フィレット５ｃ，５ｄとが存在している。
【0032】
次に、プリント基板１を製造する製造ライン（製造工程）について図２を参照して説明する。図２は、プリント基板１の製造ライン１０の構成を示すブロック図である。図２に示すように、製造ライン１０には、その上流側（図２上側）から順に、半田印刷機１２、半田印刷状態検査装置１３、部品実装機１４、リフロー装置１５及び半田フィレット検査装置１６が設置されている。
【0033】
半田印刷機１２は、プリント基板１の各ランド３上にクリーム半田を印刷するための半田印刷工程を行う。半田印刷工程では、例えば、スクリーン印刷によりクリーム半田の印刷が行われる。スクリーン印刷では、まずスクリーンマスクの下面をプリント基板１に接触させた状態で、該スクリーンマスク上面にクリーム半田を供給する。スクリーンマスクには、プリント基板１の各ランド３に対応する複数の開口部が形成されている。次いで、前記スクリーンマスクの上面に所定のスキージを接触させつつ移動させることにより、前記開口部内にクリーム半田を充填する。その後、プリント基板１を前記スクリーンマスクの下面から離隔させることにより、プリント基板１の各ランド３にクリーム半田が印刷される。
【0034】
半田印刷状態検査装置１３は、ランド３上に印刷されたクリーム半田の形状や、クリーム半田に対する異物の付着有無などについての検査を行う。
【0035】
部品実装機１４は、クリーム半田が印刷されたランド３上に電子部品６を搭載する。部品実装機１４によって、電子部品６の電極６ａがそれぞれ所定のクリーム半田に対し仮止めされる。
【0036】
リフロー装置１５は、クリーム半田を加熱溶融させることで、ランド３と電子部品６の電極６ａとを半田接合（半田付け）するリフロー工程を行う。リフロー工程により、クリーム半田を加熱してなる半田フィレット５が形成され、その結果、ランド３及び電子部品６（電極６ａ）が固定される。
【0037】
半田フィレット検査装置１６は、半田フィレット５の形状、面積、量などに関する検査を行うことで、リフロー工程において半田接合（半田付け）が適切に行われたか否か等について検査する。半田フィレット検査装置１６については後に詳述する。
【0038】
この他、図示は省略するが、製造ライン１０は、半田印刷機１２と半田印刷状態検査装置１３との間などの上記各装置間に、プリント基板１を移送するためのコンベア等を備えている。また、半田印刷状態検査装置１３と部品実装機１４との間や半田フィレット検査装置１６の下流側には分岐装置が設けられている。そして、半田印刷状態検査装置１３や半田フィレット検査装置１６にて良品判定されたプリント基板１は、そのまま下流側へ案内される一方、不良品判定されたプリント基板１は分岐装置により不良品貯留部へと排出されるようになっている。
【0039】
次いで、半田フィレット検査装置１６の構成について図３，４を参照して詳しく説明する。図３は、半田フィレット検査装置１６を模式的に示す概略構成図である。図４は、半田フィレット検査装置１６の機能構成を示すブロック図である。
【0040】
半田フィレット検査装置１６は、プリント基板１の搬送や位置決め等を行う搬送機構３１と、プリント基板１の画像データを得るための検査ユニット３２と、搬送機構３１や検査ユニット３２の駆動制御をはじめ、半田フィレット検査装置１６における各種制御や画像処理、演算処理を実行する制御装置３３（図４参照）とを備えている。
【0041】
搬送機構３１は、プリント基板１の搬入出方向に沿って配置された一対の搬送レール３１ａと、各搬送レール３１ａに対し回転可能に配設された無端のコンベアベルト３１ｂとを備えている。また、図示は省略するが、搬送機構３１には、前記コンベアベルト３１ｂを駆動するモータ等の駆動手段と、プリント基板１を所定位置に位置決めするためのチャック機構とが設けられている。搬送機構３１は、制御装置３３（後述する搬送機構制御部７９）により駆動制御される。
【0042】
上記構成の下、半田フィレット検査装置１６へ搬入されたプリント基板１は、搬入出方向と直交する幅方向の両側縁部がそれぞれ搬送レール３１ａに挿し込まれるとともに、コンベアベルト３１ｂ上に載置される。続いて、コンベアベルト３１ｂが動作を開始し、プリント基板１が所定の検査位置まで搬送される。プリント基板１が検査位置に達すると、コンベアベルト３１ｂが停止するとともに、前記チャック機構が作動する。このチャック機構の動作により、コンベアベルト３１ｂが押し上げられ、コンベアベルト３１ｂと搬送レール３１ａの上辺部によってプリント基板１の両側縁部が挟持された状態となる。これにより、プリント基板１が検査位置に位置決め固定される。検査が終了すると、チャック機構による固定が解除されるとともに、コンベアベルト３１ｂが動作を開始する。これにより、プリント基板１は、半田フィレット検査装置１６から搬出される。勿論、搬送機構３１の構成は、上記形態に限定されるものではなく、他の構成を採用してもよい。
【0043】
検査ユニット３２は、搬送レール３１ａ（プリント基板１の搬送路）の上方に配設されている。検査ユニット３２は、第一照明装置３２ａ、第二照明装置３２ｂ、第三照明装置３２ｃ及びカメラ３２ｄを備えている。本実施形態では、カメラ３２ｄが「画像データ取得手段」を構成する。
【0044】
また、検査ユニット３２は、Ｘ軸方向（図３左右方向）への移動を可能とするＸ軸移動機構３２ｅ（図４参照）、及び、Ｙ軸方向（図３前後方向）への移動を可能とするＹ軸移動機構３２ｆ（図４参照）をも備えている。これら移動機構３２ｅ，３２ｆは、制御装置３３（後述する移動機構制御部７６）により駆動制御される。
【0045】
第一照明装置３２ａ及び第二照明装置３２ｂは、プリント基板１の三次元計測を行うにあたり、それぞれプリント基板１における所定の被検査領域に対し斜め上方から三次元計測用の所定の光（縞状の光強度分布を有するパターン光）を照射する。
【0046】
具体的に、第一照明装置３２ａは、所定の光を発する第一光源３２ａ１や、該第一光源３２ａ１からの光を縞状の光強度分布を有する第一パターン光に変換する第一格子を形成する第一液晶シャッタ３２ａ２を備えており、制御装置３３（後述する照明制御部７２）により駆動制御される。
【0047】
第二照明装置３２ｂは、所定の光を発する第二光源３２ｂ１や、該第二光源３２ｂ１からの光を縞状の光強度分布を有する第二パターン光に変換する第二格子を形成する第二液晶シャッタ３２ｂ２を備えており、制御装置３３（後述する照明制御部７２）により駆動制御される。
【0048】
上記構成の下、各光源３２ａ１，３２ｂ１から発せられた光はそれぞれ集光レンズ（図示略）に導かれ、そこで平行光にされた後、液晶シャッタ３２ａ２，３２ｂ２を介して投影レンズ（図示略）に導かれ、プリント基板１に対しパターン光として投影されることとなる。また、本実施形態では、各パターン光の位相がそれぞれ４分の１ピッチずつシフトするように、液晶シャッタ３２ａ２，３２ｂ２の切替制御が行われる。
【0049】
尚、格子として液晶シャッタ３２ａ２，３２ｂ２を使用することにより、理想的な正弦波に近いパターン光を照射することができる。これにより、三次元計測の計測分解能が向上する。また、パターン光の位相シフト制御を電気的に行うことができ、装置のコンパクト化を図ることができる。
【0050】
第三照明装置３２ｃは、プリント基板１の二次元計測を行うにあたり、プリント基板１における所定の被検査領域に対し二次元計測用の所定の光（例えば均一光）を照射する。第三照明装置３２ｃは、青色光を照射可能なリングライト、緑色光を照射可能なリングライト、及び、赤色光を照射可能なリングライトを具備している。尚、第三照明装置３２ｃは、公知技術と同様の構成であるため、その詳細な説明については省略する。
【0051】
カメラ３２ｄは、プリント基板１の所定の被検査領域を真上から撮像する。カメラ３２ｄは、ＣＣＤ（Charge Coupled Device）型イメージセンサ又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）型イメージセンサ等の撮像素子と、該撮像素子に対しプリント基板１の像を結像させる光学系（レンズユニットや絞りなど）とを有しており、その光軸が上下方向（Ｚ軸方向）に沿うように配置されている。勿論、撮像素子は、これらに限定されるものではなく、他の撮像素子を採用してもよい。
【0052】
カメラ３２ｄは、制御装置３３（後述するカメラ制御部７３）により駆動制御される。より詳しくは、制御装置３３は、各照明装置３２ａ，３２ａ，３２ｃによる照射処理と同期をとりながら、カメラ３２ｄによる撮像処理を実行する。これにより、照明装置３２ａ，３２ｂ，３２ｃのいずれかから照射された光のうち、プリント基板１にて反射した光が、カメラ３２ｄによって撮像される。その結果、半田フィレット５を含むプリント基板１の被検査領域の画像データが取得されることとなる。尚、プリント基板１の「被検査領域」は、カメラ３２ｄの撮像視野（撮像範囲）の大きさを１単位としてプリント基板１に予め設定された複数のエリアのうちの１つのエリアである。
【0053】
また、本実施形態におけるカメラ３２ｄは、カラーカメラで構成されている。これにより、第三照明装置３２ｃの各色リングライトから同時に照射され、プリント基板１に反射した各色の光を一度に撮像することができる。
【0054】
カメラ３２ｄによって撮像され生成された画像データは、該カメラ３２ｄの内部においてデジタル信号に変換された上で、デジタル信号の形で制御装置３３（後述の画像取得部７４）に転送される。そして、制御装置３３は、転送された画像データを記憶するとともに、該画像データを基に各種画像処理や演算処理等を実施する。
【0055】
制御装置３３は、所定の演算処理を実行するＣＰＵ（Central Processing Unit）、各種プログラムや固定値データ等を記憶するＲＯＭ（Read Only Memory）、各種演算処理の実行に際して各種データが一時的に記憶されるＲＡＭ（Random Access Memory）及びこれらの周辺回路等を含んだコンピュータからなる。
【0056】
そして、制御装置３３は、ＣＰＵが各種プログラムに従って動作することで、メイン制御部７１、照明制御部７２、カメラ制御部７３、画像取得部７４、データ処理部７５、移動機構制御部７６、学習部７７、検査部７８、搬送機構制御部７９などの各種機能部として機能する。
【0057】
但し、上記各種機能部は、上記ＣＰＵ、ＲＯＭ、ＲＡＭなどの各種ハードウェアが協働することで実現されるものであり、ハード的又はソフト的に実現される機能を明確に区別する必要はなく、これらの機能の一部又は全てがＩＣなどのハードウェア回路により実現されてもよい。
【0058】
さらに、制御装置３３には、キーボードやマウス、タッチパネル等で構成される入力部５５、液晶ディスプレイ等で構成される、表示画面を備えた表示部５６、各種データやプログラム、演算結果、検査結果等を記憶可能な記憶部５７、外部と各種データを送受信可能な通信部５８などが設けられている。
【0059】
ここで、制御装置３３を構成する上記各種機能部について詳しく説明する。
【0060】
メイン制御部７１は、半田フィレット検査装置１６全体の制御を司る機能部であり、照明制御部７２やカメラ制御部７３など他の機能部と各種信号を送受信可能に構成されている。
【0061】
照明制御部７２は、照明装置３２ａ，３２ｂ，３２ｃを駆動制御する機能部であり、メイン制御部７１からの指令信号に基づき、照射光の切換制御などを行う。
【0062】
カメラ制御部７３は、カメラ３２ｄを駆動制御する機能部であり、メイン制御部７１からの指令信号に基づき撮像タイミングなどを制御する。
【0063】
画像取得部７４は、カメラ３２ｄにより撮像され取得された画像データを取り込むための機能部である。
【0064】
データ処理部７５は、画像取得部７４により取り込まれた画像データに所定の画像処理を施したり、該画像データを用いて二次元計測処理や三次元計測処理などを行ったりする機能部である。
【0065】
移動機構制御部７６は、Ｘ軸移動機構３２ｅ及びＹ軸移動機構３２ｆを駆動制御する機能部であり、メイン制御部７１からの指令信号に基づき、検査ユニット３２の位置を制御する。移動機構制御部７６は、Ｘ軸移動機構３２ｅ及びＹ軸移動機構３２ｆを駆動制御することにより、検査ユニット３２を、検査位置に位置決め固定されたプリント基板１の任意の被検査領域の上方位置へ移動させることができる。そして、プリント基板１に設定された複数の被検査領域に検査ユニット３２が順次移動されつつ、該被検査領域に係る検査が実行されていくことで、プリント基板１全域の検査が実行される。
【0066】
学習部７７は、学習データを用いてディープニューラルネットワーク９０（以下、単に「ニューラルネットワーク９０」という。図５参照）の学習を行い、「識別手段」としての第一ＡＩ（Artificial Intelligence）モデル１０１及び「第二識別手段」としての第二ＡＩモデル１０２を構築する機能部である。
【0067】
尚、本実施形態における各ＡＩモデル１０１，１０２は、後述するように、良品の半田フィレット５に係る画像データのみを学習データとして、ニューラルネットワーク９０を深層学習（ディープラーニング）させて構築した生成モデルであり、いわゆるオートエンコーダ（自己符号化器）の構造を有する。
【0068】
ここで、ニューラルネットワーク９０の構造について図５を参照して説明する。図５は、ニューラルネットワーク９０の構造を概念的に示した模式図である。図５に示すように、ニューラルネットワーク９０は、入力される画像データＧＡから特徴量（潜在変数）ＴＡを抽出する「符号化部」としてのエンコーダ部９１と、該特徴量ＴＡから画像データＧＢを再構成する「復号化部」としてのデコーダ部９２と有してなる畳み込みオートエンコーダ（ＣＡＥ：Convolutional Auto-Encoder）の構造を有している。
【0069】
畳み込みオートエンコーダの構造は公知のものであるため、詳しい説明は省略するが、エンコーダ部９１は複数の畳み込み層(Convolution Layer)９３を有し、各畳み込み層９３では、入力データに対し複数のフィルタ（カーネル）９４を用いた畳み込み演算が行われた結果が次層の入力データとして出力される。同様に、デコーダ部９２は複数の逆畳み込み層（Deconvolution Layer）９５を有し、各逆畳み込み層９５では、入力データに対し複数のフィルタ（カーネル）９６を用いた逆畳み込み演算が行われた結果が次層の入力データとして出力される。そして、後述する学習処理では、各フィルタ９４，９６の重み（パラメータ）が更新されることとなる。
【0070】
検査部７８は、半田フィレット５の検査を行う機能部である。本実施形態において、検査部７８は、形状、面積、量といった点で半田フィレット５が適切に形成されているか否かについての検査を行う。
【0071】
搬送機構制御部７９は、搬送機構３１を駆動制御する機能部であり、メイン制御部７１からの指令信号に基づき、プリント基板１の位置を制御する。
【0072】
記憶部５７は、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等で構成されており、例えば各ＡＩモデル１０１，１０２（ニューラルネットワーク９０及びその学習により獲得した学習情報）を記憶する所定の記憶領域を有している。
【0073】
通信部５８は、例えば有線ＬＡＮ（Local Area Network）や無線ＬＡＮ等の通信規格に準じた無線通信インターフェースなどを備え、外部と各種データを送受信可能に構成されている。例えば検査部７８により行われた検査の結果などが通信部５８を介して外部に出力されたり、半田印刷状態検査装置１３により行われた検査の結果が通信部５８を介して入力されたりする。
【0074】
次に、半田フィレット検査装置１６によって行われるニューラルネットワーク９０の学習処理について図６のフローチャートを参照して説明する。
【0075】
所定の学習プログラムの実行に基づき、学習処理が開始されると、メイン制御部７１は、はじめにステップＳ１０１において、ニューラルネットワーク９０の学習を行うための前処理を行う。
【0076】
この前処理では、まず予め半田フィレット検査装置１６に蓄積された多数のプリント基板１の検査情報を取得する。続いて、該検査情報に基づき、記憶部５７から、リフロー後検査に合格した良品の半田フィレット５に係る画像データである学習用元画像データＩｇを取得する（例えば、図８参照）。
【0077】
この学習用元画像データＩｇは、リフロー工程後のプリント基板１に係るものであり、ニューラルネットワーク９０の学習に用いる後述の学習データＧａ，Ｇｂ，Ｇｃ，Ｇｄ（以下、「学習データＧａ～Ｇｄ」と簡略化して表記することがある）を得るために使用される。また、この学習用元画像データＩｇには、第一照明装置３２ａ又は第二照明装置３２ｂからパターン光を照射した状態で、カメラ３２ｄによりプリント基板１を撮像して得た画像データである三次元データと、第三照明装置３２ｃから均一光を照射した状態で、カメラ３２ｄによりプリント基板１を撮像して得た画像データである二次元データとが含まれる。
【0078】
尚、学習用元画像データＩｇは、カメラ３２ｄにより得られたままの特段の処理を施していない画像データ（例えば、単色の輝度画像データやＲＧＢ輝度画像データなど）であってもよいし、カメラ３２ｄにより得られた画像データに対し所定の処理を施すことで得た画像データ（例えば、ＲＧＢ画像データを変換して得たＨＬＳ画像データや、画像データを変換して得た高さ画像データなど）であってもよい。さらに、学習用元画像データＩｇは、いわゆるカラーハイライト方式（赤、緑、青の光を異なる入射角で半田フィレット５の表面に照射し、各色の反射光をカメラ３２ｄで撮影することにより半田フィレット５の三次元形状を二次元の色相情報として検出する方法）を利用する場合に取得される画像データであってもよい。
【0079】
次いで、取得した学習用元画像データＩｇから、第一学習データＧａ，Ｇｂ及び第二学習データＧｃ，Ｇｄを作成する（学習データＧａ～Ｇｄについては図１１～１４参照）。本実施形態では、第一学習データＧａ，Ｇｂが「学習データ」に相当する。第一学習データＧａ，Ｇｂは第一ＡＩモデル１０１の生成に、第二学習データＧｃ，Ｇｄは第二ＡＩモデル１０２の生成に、それぞれ利用される。
【0080】
各学習データＧａ～Ｇｄを得るにあたっては、まず、取得した学習用元画像データＩｇにおける半田フィレット５の占める領域を特定する（例えば、図９参照）。学習用元画像データＩｇが二次元データである場合には、例えば、輝度や色相、彩度などを用いて半田フィレット５の占める領域を特定する。また、学習用元画像データＩｇが三次元データである場合には、例えば、高さ情報などを用いて半田フィレット５の占める領域を特定する。
【0081】
次いで、特定した半田フィレット５の占める領域における連結成分（塊部分）の画像を、１の半田フィレット画像Ｉｈ（例えば、図１０参照）として抽出する。１の半田フィレット画像Ｉｈは、１のランド３に対応するものであり、本実施形態では、半田フィレット５の占める領域のうち、設計上の１のランド３上に位置している連結成分（塊部分）を、１の半田フィレット画像Ｉｈとして抽出する。尚、ランド３の位置を考慮することなく、単に１の連結成分（塊部分）を１の半田フィレット画像Ｉｈとして抽出してもよい。
【0082】
次いで、第一画像枠Ｗ１及び第二画像枠Ｗ２から、抽出した１の半田フィレット画像Ｉｈを貼り付ける画像枠を選択する（各画像枠Ｗ１，Ｗ２については、図１１～１４参照）。
【0083】
本実施形態において、第一画像枠Ｗ１は、高さ（図１１等の紙面上下方向の幅）がｎ（ピクセル）、幅（図１１等の紙面左右方向の幅）がｎ（ピクセル）の矩形画像であり、そのサイズ（幅及び高さ）は、設計データ等に基づき、抽出した１の半田フィレット画像Ｉｈのサイズよりも大きなものとなるように設定されている。
【0084】
第二画像枠Ｗ２は、高さがｍ（ピクセル）、幅がｍ（ピクセル）の矩形画像であり、そのサイズ（幅及び高さ）は第一画像枠Ｗ１のサイズよりも小さなものとなるように設定されている。
【0085】
また、各画像枠Ｗ１，Ｗ２は、（何も貼り付けられていない場合においては）全ての画素が同値を持つものとされている。例えば、各画像枠Ｗ１，Ｗ２を構成する各画素の有する輝度や高さ情報などが「０」とされている。尚、この同値は、１の半田フィレット画像Ｉｈの構成画素が有する値と比較的大きく異なるものであることが好ましい。従って、この同値として、通常使用される値以外の値（例えば、負数など）を用いることが好ましい。
【0086】
画像枠Ｗ１，Ｗ２の選択は、１の半田フィレット画像Ｉｈのサイズや形状に基づき行われる。１の半田フィレット画像Ｉｈのサイズ（幅及び高さ）が第二画像枠Ｗ２のサイズよりも大きい場合には、第一画像枠Ｗ１が選択される。一方、１の半田フィレット画像Ｉｈのサイズが第二画像枠のサイズよりも小さい場合には、第二画像枠Ｗ２が選択される。
【0087】
次いで、選択した画像枠Ｗ１，Ｗ２に対し１の半田フィレット画像Ｉｈを貼り付けることで、１の半田フィレット画像Ｉｈを画像枠Ｗ１，Ｗ２に設けてなる各学習データＧａ～Ｇｄを得る。
【0088】
本実施形態では、第一画像枠Ｗ１に対し、半田フィレット５ａに対応する１の半田フィレット画像Ｉｈを貼り付けることで第一学習データＧａ（例えば、図１１参照）が得られ、第一画像枠Ｗ１に対し、半田フィレット５ｂに対応する１の半田フィレット画像Ｉｈを貼り付けることで第一学習データＧｂ（例えば、図１２参照）が得られる。
【0089】
また、第二画像枠Ｗ２に対し、半田フィレット５ｃに対応する１の半田フィレット画像Ｉｈを貼り付けることで第二学習データＧｃ（例えば、図１３参照）が得られ、第二画像枠Ｗ２に対し、半田フィレット５ｄに対応する１の半田フィレット画像Ｉｈを貼り付けることで第二学習データＧｄ（例えば、図１４参照）が得られる。
【0090】
尚、貼り付け位置の調整や１の半田フィレット画像Ｉｈの回転処理などが行われることで、各学習データＧａ～Ｇｄは、１の半田フィレット画像Ｉｈの中心又は重心が画像枠Ｗ１，Ｗ２の中心と一致し、かつ、該１の半田フィレット画像Ｉｈにおける電子部品６側の部位が所定の方向を向くように設定される。「１の半田フィレット画像Ｉｈにおける電子部品６側の部位」は、１の半田フィレット画像Ｉｈにおける電子部品６と隣接する部位であって、本実施形態では、直線状をなしている。そして、この直線状部位が、所定の方向（例えば右方向）を向くように、１の半田フィレット画像Ｉｈの回転処理が行われる。
【0091】
そして、１の半田フィレット画像Ｉｈの抽出や選択した画像枠Ｗ１，Ｗ２に対する１の半田フィレット画像Ｉｈの貼り付けといった上記処理を繰り返し行うことで、１の学習用元画像データＩｇから各学習データＧａ～Ｇｄを取得する。さらに、複数の学習用元画像データＩｇを用いることで、最終的にそれぞれ必要数の第一学習データＧａ，Ｇｂ及び第二学習データＧｃ，Ｇｄを取得する。尚、本実施形態において、各学習データＧａ～Ｇｄには、二次元データに基づき取得されたものと、三次元データに基づき取得されたものとが含まれる。
【0092】
ステップＳ１０１において学習に必要な数の学習データＧａ～Ｇｄが取得されると、続くステップＳ１０２において、メイン制御部７１からの指令に基づき、学習部７７が、未学習のニューラルネットワーク９０を準備する。例えば予め記憶部５７等に格納されているニューラルネットワーク９０を読み出す。又は、記憶部５７等に格納されているネットワーク構成情報（例えばニューラルネットワークの層数や各層のノード数など）に基づいて、ニューラルネットワーク９０を構築する。
【0093】
本実施形態では、ニューラルネットワーク９０として、第一学習データＧａ，Ｇｂを用いた学習を行うためのものと、第二学習データＧｃ，Ｇｄを用いた学習を行うためのものとを別々に構築する。また、ニューラルネットワーク９０として、二次元データに基づき取得された学習データＧａ～Ｇｄによる学習を行うものと、三次元データに基づき取得された学習データＧａ～Ｇｄによる学習を行うものとを別々に構築する。従って、本実施形態では、計４つのニューラルネットワーク９０を構築する。
【0094】
ステップＳ１０３では、再構成画像データを取得する。すなわち、メイン制御部７１からの指令に基づき、学習部７７が、ステップＳ１０２において取得された学習データＧａ～Ｇｄを入力データとして、ニューラルネットワーク９０の入力層に与え、これにより該ニューラルネットワーク９０の出力層から出力される再構成画像データを取得する。より詳しくは、学習部７７が、ニューラルネットワーク９０の入力層に対し、ステップＳ１０２において取得された学習データＧａ～Ｇｄのうち該ニューラルネットワーク９０に対応するものを入力データとして与え、これにより該ニューラルネットワーク９０の出力層から出力される再構成画像データを取得する。例えば、学習部７７は、二次元データにより得られた第一学習データＧａ，Ｇｂを用いて学習を行うニューラルネットワーク９０の入力層に対し、該第一学習データＧａ，Ｇｂを入力データとして与えるとともに、該ニューラルネットワーク９０から出力される再構成画像データを取得する。つまり、学習部７７は、計４種類のニューラルネットワーク９０のそれぞれに対し、適切な学習データＧａ～Ｇｄを入力するとともに、出力された再構成画像データを取得する。
【0095】
続くステップＳ１０４では、学習部７７が、入力した学習データＧａ～Ｇｄと、ニューラルネットワーク９０により出力された再構成画像データとを比較し、その誤差が十分に小さいか否か（所定の閾値以下であるか否か）を判定する。
【0096】
ここで、前記誤差が十分に小さい場合には、ステップＳ１０６にて、学習部７７は、学習の終了条件を満たすか否かを判定する。例えば、後述するステップＳ１０５の処理を経ることなくステップＳ１０４にて肯定判定されることが所定回数連続で行われた場合や、用意した学習データＧａ～Ｇｄの全てを用いた学習が所定回数反復して行われた場合には、終了条件を満たすと判定される。終了条件を満たす場合には、ニューラルネットワーク９０及びその学習情報（後述する更新後のパラメータ等）をＡＩモデル１０１，１０２として記憶部５７に格納し、本学習処理を終了する。
【0097】
本実施形態では、最終的に、第一ＡＩモデル１０１として、二次元データにより取得された第一学習データＧａ，Ｇｂを学習してなるＡＩモデルと、三次元データにより取得された第一学習データＧａ，Ｇｂを学習してなるＡＩモデルとが格納される。
【0098】
また、第二ＡＩモデル１０２として、二次元データにより取得された第二学習データＧｃ，Ｇｄを学習してなるＡＩモデルと、三次元データにより取得された第二学習データＧｃ，Ｇｄを学習してなるＡＩモデルとが格納される。
【0099】
一方、ステップＳ１０６にて終了条件を満たさない場合には、ステップＳ１０２に戻り、ニューラルネットワーク９０の学習を再度行う。
【0100】
また、ステップＳ１０４にて、前記誤差が十分に小さくない場合には、ステップＳ１０５においてネットワーク更新処理（ニューラルネットワーク９０の学習）を行った後、再びステップＳ１０３へ戻り、上記一連の処理を繰り返す。
【0101】
具体的に、ステップＳ１０５のネットワーク更新処理では、例えば誤差逆伝播法（Backpropagation）などの公知の学習アルゴリズムを用いて、学習データＧａ～Ｇｄと再構成画像データとの差分を表す損失関数が極力小さくなるように、ニューラルネットワーク９０における上記各フィルタ９４，９６の重み（パラメータ）をより適切なものに更新する。尚、損失関数としては、例えばＢＣＥ（Binary Cross-entropy）などを利用することができる。
【0102】
ステップＳ１０３～１０５の処理を何度も繰り返すことにより、ニューラルネットワーク９０では、学習データＧａ～Ｇｄと再構成画像データとの誤差が極力小さくなり、より正確な再構成画像データが出力されるようになる。
【0103】
そして、最終的に得られる各ＡＩモデル１０１，１０２は、良品の半田フィレット５に係る画像データが入力されたときに、該画像データとほぼ一致する再構成画像データを生成するものとなる。また、各ＡＩモデル１０１，１０２は、形状や面積、量の点で不良品の半田フィレット５に係る画像データが入力されたときには、半田フィレット５の形状や面積、量を修正した該画像データとほぼ一致する再構成画像データを生成するものとなる。すなわち、半田フィレット５が不良品であるときには、該半田フィレット５に係る再構成画像データとして、不良部分がないものと仮定した場合の該半田フィレット５に係る仮想的な画像データが生成される。
【0104】
【0105】
半田フィレット検査装置１６へプリント基板１が搬入され、所定の検査位置に位置決めされると、所定の検査プログラムの実行に基づき、検査処理が開始される。
【0106】
検査処理が開始されると、まずステップＳ３０１において、画像データ取得工程が行われる。画像データ取得工程では、検査対象のプリント基板１に係る検査用元画像データＩｋ（例えば、図１５参照）を取得する。検査用元画像データＩｋは、後述する検査用画像データＫａ，Ｋｂ，Ｋｃ，Ｋｄ（以下、「検査用画像データＫａ～Ｋｄ」と簡略化して表記することがある）を得るための画像データである。尚、本実施形態では、検査対象のプリント基板１として、ランド３から半田フィレット５がはみ出していたり、半田フィレット５の形状や面積に異常があったりするものを一例として挙げている。
【0107】
検査用元画像データＩｋには、第一照明装置３２ａ又は第二照明装置３２ｂからパターン光を照射した状態で、カメラ３２ｄによりプリント基板１を撮像して得た画像データである三次元データと、第三照明装置３２ｃから均一光を照射した状態で、カメラ３２ｄによりプリント基板１を撮像して得た画像データである二次元データとが含まれる。画像データ取得工程では、三次元データの取得工程と、二次元データの取得工程とが行われる。
【0108】
まず、三次元データの取得工程について説明する。この工程では、第一照明装置３２ａから照射される第一パターン光の位相を変化させつつ、位相の異なる第一パターン光の下で４回の撮像処理を行った後、第二照明装置３２ｂから照射される第二パターン光の位相を変化させつつ、位相の異なる第二パターン光の下で４回の撮像処理を行い、計８通りの三次元データを取得する。以下、詳しく説明する。
【0109】
上述したように、半田フィレット検査装置１６へ搬入されたプリント基板１が所定の検査位置に位置決め固定されると、メイン制御部７１からの指令に基づき、移動機構制御部７６が、まずＸ軸移動機構３２ｅ及びＹ軸移動機構３２ｆを駆動制御して検査ユニット３２を移動させ、カメラ３２ｄの撮像視野（撮像範囲）をプリント基板１の所定の被検査領域に合わせる。
【0110】
併せて、照明制御部７２が、両照明装置３２ａ，３２ｂの液晶シャッタ３２ａ２，３２ｂ２を切替制御し、該両液晶シャッタ３２ａ２，３２ｂ２に形成される第一格子及び第二格子の位置を所定の基準位置に設定する。
【0111】
第一格子及び第二格子の切替設定が完了すると、照明制御部７２が、第一照明装置３２ａの第一光源３２ａ１を発光させ、第一パターン光を照射するとともに、カメラ制御部７３が、カメラ３２ｄを駆動制御して、該第一パターン光の下での１回目の撮像処理を実行する。尚、撮像処理により生成された画像データは、随時、画像取得部７４に取り込まれる（以下同様）。これにより、複数のランド３（半田フィレット５）を含んだ被検査領域の三次元データが取得される。
【0112】
その後、照明制御部７２は、第一パターン光の下での１回目の撮像処理の終了と同時に、第一照明装置３２ａの第一光源３２ａ１を消灯するとともに、第一液晶シャッタ３２ａ２の切替処理を実行する。具体的には、第一液晶シャッタ３２ａ２に形成される第一格子の位置を前記基準位置から、第一パターン光の位相が４分の１ピッチ（９０°）ずれる第二の位置へ切替設定する。
【0113】
第一格子の切替設定が完了すると、照明制御部７２が、第一照明装置３２ａの光源３２ａ１を発光させ、第一パターン光を照射するとともに、カメラ制御部７３が、カメラ３２ｄを駆動制御して、該第一パターン光の下での２回目の撮像処理を実行する。以後、同様の処理を繰り返し行うことで、９０°ずつ位相の異なる第一パターン光の下での４通りの三次元データを取得する。
【0114】
続いて、照明制御部７２が、第二照明装置３２ｂの第二光源３２ｂ１を発光させ、第二パターン光を照射するとともに、カメラ制御部７３が、カメラ３２ｄを駆動制御して、該第二パターン光の下での１回目の撮像処理を実行する。
【0115】
その後、照明制御部７２が、第二パターン光の下での１回目の撮像処理の終了と同時に、第二照明装置３２ｂの第二光源３２ｂ１を消灯するとともに、第二液晶シャッタ３２ｂ２の切替処理を実行する。具体的には、第二液晶シャッタ３２ｂ２に形成される第二格子の位置を前記基準位置から、第二パターン光の位相が４分の１ピッチ（９０°）ずれる第二の位置へ切替設定する。
【0116】
第二格子の切替設定が完了すると、照明制御部７２が、第二照明装置３２ｂの光源３２ｂ１を発光させ、第二パターン光を照射するとともに、カメラ制御部７３が、カメラ３２ｄを駆動制御して、該第二パターン光の下での２回目の撮像処理を実行する。以後、同様の処理を繰り返し行うことで、９０°ずつ位相の異なる第二パターン光の下での４通りの三次元データを取得する。
【0117】
次いで、二次元データの取得工程について説明する。この工程では、メイン制御部７１からの指令に基づき、照明制御部７２が第三照明装置３２ｃを発光させ、所定の被検査領域に対し均一光を照射しつつ、カメラ制御部７３がカメラ３２ｄを駆動制御して、該均一光の下での撮像処理を実行する。これにより、プリント基板１上の所定の被検査領域が撮像され、該被検査領域に係る二次元データが取得される。
【0118】
取得された検査用元画像データＩｋ（三次元データ及び二次元データ）は、記憶部５７に記憶される。
【0119】
尚、検査用元画像データＩｋは、カメラ３２ｄにより得られたままの特段の処理を施していない画像データ（例えば、単色の輝度画像データやＲＧＢ輝度画像データなど）であってもよいし、カメラ３２ｄにより得られた画像データに対し所定の処理を施すことで得た画像データ（例えば、ＲＧＢ画像データを変換して得たＨＬＳ画像データや、画像データを変換して得た高さ画像データなど）であってもよい。さらに、検査用元画像データＩｋは、いわゆるカラーハイライト方式を利用する場合に取得される画像データであってもよい。
【0120】
次に、ステップＳ３０２にて、検査用画像データ取得工程を実行する。検査用画像データ取得工程では、画像データ取得工程にて得られた検査用元画像データＩｋに基づき、それぞれ後述する第一検査用画像データＫａ，Ｋｂ及び第二検査用画像データＫｃ，Ｋｄを取得する。
【0121】
これら検査用画像データＫａ～Ｋｄを得るにあたっては、まず、取得した検査用元画像データＩｋにおける半田フィレット５の占める領域を特定する（例えば、図１６参照）。半田フィレット５の占める領域は、輝度や色相、彩度、高さ情報などを用いて特定することができる。
【0122】
次いで、特定した半田フィレット５の占める領域における１の半田フィレット画像Ｉｈ（例えば、図１７，１８参照）を抽出する。１の半田フィレット画像Ｉｈは、１のランド３に対応するものであり、本実施形態では、特定した領域における連結成分（塊部分）のうち、設計データ又は製造データ上の１のランド３に少なくとも一部が重なるものの全体の画像を、１の半田フィレット画像Ｉｈとして抽出する。従って、連結成分の一部が設計データ又は製造データ上のランド３からはみ出している場合、１の半田フィレット画像Ｉｈは、該ランド３からはみ出した部分を含む連結成分の全体から構成される（例えば、図１８参照）。尚、設計データ等を用いることなく、単に１の連結成分を１の半田フィレット画像Ｉｈとして抽出してもよい。また、１の半田フィレット画像Ｉｈは、半田フィレット５の連結成分（塊部分）に加え、その周囲に位置するランド３や電極６ａなどを含むものであってもよい。本実施形態では、検査用元画像データＩｋから１の半田フィレット画像Ｉｈを抽出する検査部７８が「半田フィレット画像抽出手段」を構成する。
【0123】
そして、抽出した１の半田フィレット画像Ｉｈのサイズや形状に基づき、第一画像枠Ｗ１及び第二画像枠Ｗ２から適切な画像枠を選択するとともに、選択した画像枠Ｗ１，Ｗ２に対し該１の半田フィレット画像Ｉｈを設けてなる、検査用画像データＫａ～Ｋｄを取得する（検査用画像データＫａ～Ｋｄについては図１９～２４参照）。
【0124】
すなわち、抽出した１の半田フィレット画像Ｉｈのサイズが第二画像枠Ｗ２のサイズよりも大きい場合には、第一画像枠Ｗ１に対し該１の半田フィレット画像Ｉｈを貼り付けることで第一検査用画像データＫａ，Ｋｂ（例えば、図１９～２１参照）を取得する。従って、第一検査用画像データＫａ，Ｋｂのサイズ（幅及び高さ）は第一学習データＧａ，Ｇｂのサイズと同一となる。尚、図２０では、参考として、正常な形状・面積の半田フィレット５を二点鎖線で仮想的に示している。
【0125】
また、抽出した１の半田フィレット画像Ｉｈのサイズが第二画像枠Ｗ２のサイズよりも小さい場合には、第二画像枠Ｗ２に対し該１の半田フィレット画像Ｉｈを貼り付けることで、第二検査用画像データＫｃ，Ｋｄ（例えば、図２２～２４参照）を取得する。従って、第二検査用画像データＫｃ，Ｋｄのサイズは第二学習データＧｃ，Ｇｄのサイズと同一となる。
【0126】
尚、画像枠Ｗ１，Ｗ２に対し１の半田フィレット画像Ｉｈを貼り付ける際には、貼り付け位置の調整や画像の回転処理などが行われる。これにより、各検査用画像データＫａ～Ｋｄは、各学習データＧａ～Ｇｄと同様に、１の半田フィレット画像Ｉｈの中心又は重心が画像枠Ｗ１，Ｗ２の中心と一致し、かつ、該１の半田フィレット画像Ｉｈにおける電子部品６側の部位が所定の方向を向くものとなる。
【0127】
そして、１の半田フィレット画像Ｉｈの抽出や選択した画像枠Ｗ１，Ｗ２に対する１の半田フィレット画像Ｉｈの貼り付けといった上記処理を繰り返し行うことで、１の検査用元画像データＩｋから各検査用画像データＫａ～Ｋｄを取得する。尚、本実施形態において、各検査用画像データＫａ～Ｋｄには、二次元データに基づき取得されたものと、三次元データに基づき取得されたものとが含まれる。本実施形態では、検査用画像データＫａ～Ｋｄを取得する検査部７８が「検査用画像データ取得手段」を構成する。
【0128】
続くステップＳ３０３では、再構成画像データ取得工程を実行する。具体的には、メイン制御部７１からの指令に基づき、検査部７８が、ステップＳ３０２にて取得した検査用画像データＫａ～Ｋｄを、該検査用画像データＫａ～Ｋｄの種別に対応するＡＩモデル１０１，１０２の入力層へ入力する。従って、第一検査用画像データＫａ，Ｋｂは第一ＡＩモデル１０１に、第二検査用画像データＫｃ，Ｋｄは第二ＡＩモデル１０２に、それぞれ入力される。また、二次元データに基づき取得された検査用画像データＫａ～Ｋｄは、二次元データに対応するＡＩモデル１０１，１０２に入力され、三次元データに基づき取得された検査用画像データＫａ～Ｋｄは、三次元データに対応するＡＩモデル１０１，１０２に入力される。そして、ＡＩモデル１０１，１０２によって再構成されて出力層から出力される画像データを、再構成画像データとして取得する。取得した再構成画像データは、該再構成画像データの元となった検査用画像データＫａ～Ｋｄと関連付けて記憶される。
【0129】
ここで、各ＡＩモデル１０１，１０２は、形状等が不適切な半田フィレット５に係る検査用画像データＫａ，Ｋｃ（図２０，２２参照）が入力された場合、上記のように学習したことにより、再構成画像データＳとして、形状等が修正された、良品の半田フィレット５に係る画像データを出力する（例えば、図２５，２６参照）。
【0130】
一方、各ＡＩモデル１０１，１０２は、良品の半田フィレット５に係る検査用画像データＫａ～Ｋｄが入力された場合、再構成画像データＳとして、該検査用画像データＫａ～Ｋｄとほぼ同一の良品の半田フィレット５に係る画像データを出力する。尚、再構成画像データＳのサイズ（幅及び高さ）は、その元となった検査用画像データＫａ～Ｋｄのサイズと同一となる。本実施形態では、再構成画像データＳを取得する検査部７８が「再構成画像データ取得手段」を構成する。
【0131】
ステップＳ３０４では、取得した再構成画像データＳに基づく良否判定処理を行う。良否判定処理では、メイン制御部７１からの指令に基づき、検査部７８が、上記ステップＳ３０２で取得した検査用画像データＫａ～Ｋｄの全体と、該検査用画像データＫａ～Ｋｄを用いてステップＳ３０３で取得した再構成画像データＳの全体とを比較して、両画像データＫａ～Ｋｄ，Ｓの差分を算出する。例えば、両画像データＫａ～Ｋｄ，Ｓにおける同一座標のドット（画素）をそれぞれ比較して、輝度の差が所定値以上となったドットの塊の面積（ドット数）を算出する。本実施形態では、検査用画像データＫｄ～Ｋｄ及び再構成画像データＳを比較する検査部７８が「比較手段」を構成する。また、検査用画像データＫａ～Ｋｄ及び再構成画像データＳを比較する工程が「比較工程」に相当する。
【0132】
続いて、検査部７８は、算出した差分が所定の閾値よりも大きいか否かを判定する。そして、検査部７８は、算出した差分が所定の閾値よりも大きい場合には、「良品」と判定する一方、差分が所定の閾値よりも小さい場合には、「不良品」と判定する。
【0133】
さらに、検査部７８は、プリント基板１の被検査領域に係る全ての検査用画像データＫａ～Ｋｄについて上記判定を行い、全ての検査用画像データＫａ～Ｋｄについて「良品」と判定した場合には、該被検査領域について「良品」と判定するとともに、この結果を記憶部５７に記憶する。一方、検査部７８は、被検査領域に係る全ての検査用画像データＫａ～Ｋｄについて上記判定を行った結果、少なくとも１の検査用画像データＫａ～Ｋｄについて「不良品」と判定した場合には、該被検査領域について「不良品」と判定するとともに、この結果を記憶部５７に記憶する。
【0134】
そして、半田フィレット検査装置１６は、プリント基板１における全ての被検査領域について上記検査処理が行われた結果、全被検査領域について「良品」と判定された場合には、半田フィレット５に異常のないプリント基板１であると判定（合格判定）し、この結果を記憶部５７に記憶する。
【0135】
一方、半田フィレット検査装置１６は、「不良品」と判定された被検査領域が１つでも存在する場合には、半田フィレット５に異常のあるプリント基板１であると判定（不合格判定）し、この結果を記憶部５７に記憶するとともに、表示部５６や通信部５８などを介して、その旨を外部に報知する。
【0136】
以上詳述したように、本実施形態によれば、検査用画像データＫａ～Ｋｄは、１の半田フィレット画像Ｉｈを画像枠Ｗ１，Ｗ２に設けてなるものとされている。従って、各検査用画像データＫａ～Ｋｄのサイズ（幅及び高さ）は、ランド３のサイズによって細かく変動することはなく、一定となる。これにより、ランド３のサイズごとに異なるＡＩモデル（識別手段）を多数用意する必要がなくなり、ＡＩモデル１０１，１０２を得るにあたっての労力や手間を低減することができる。また、ランド３のサイズが異なる場合であってもＡＩモデル１０１，１０２を共通に利用することができる。
【0137】
さらに、学習データＧａ～Ｇｄの画像枠Ｗ１，Ｗ２と検査用画像データＫａ～Ｋｄの画像枠Ｗ１，Ｗ２とは同サイズとされており、学習データＧａ～Ｇｄ及び検査用画像データＫａ～Ｋｄの各サイズは同一とされている。従って、検査用画像データＫａ～ＫｄをＡＩモデル１０１，１０２へと入力したときに、該検査用画像データＫａ～Ｋｄに対応する適切な再構成画像データＳをより確実に出力することができ、ひいては半田フィレット５の良否判定をより正確に行うことができる。これにより、良好な検査精度をより確実に得ることができる。
【0138】
加えて、検査用画像データＫａ～Ｋｄと、該検査用画像データＫａ～ＫｄをＡＩモデル１０１，１０２へ入力して再構成された再構成画像データＳとを比較し、その比較結果に基づき、半田フィレット５の良否を判定している。そのため、比較する両画像データＫａ～Ｋｄ，Ｓは、それぞれ同一の半田フィレット５に係るものとなる。従って、別途用意した基準との比較によって良否を判定する手法とは異なり、誤検出を防止するために比較的緩い検査条件を設定する必要はなく、より厳しい検査条件を設定することができる。さらに、比較する両画像データＫａ～Ｋｄ，Ｓにおいて、検査対象であるプリント基板１の撮像条件（例えばプリント基板１の配置位置や配置角度、たわみ等）や、検査装置１６側の撮像条件（例えば照明状態やカメラの画角等）を一致させることができる。これらが相俟って、半田フィレット５の良否判定をより精度よく行うことができる。
【0139】
また、本実施形態において、検査用画像データＫａ～Ｋｄを構成する１の半田フィレット画像Ｉｈは、半田フィレット５におけるランド３上に位置する部分の画像のみならず、半田フィレット５におけるランド３からはみ出した部分の画像を含むものとなる。これにより、一部がランド３からはみ出した半田フィレット５に係る良否判定を適切に行うことが可能となり、検査精度を一層高めることができる。
【0140】
さらに、本実施形態では、１の半田フィレット画像Ｉｈのサイズが比較的小さい場合、比較的小さなサイズの第二画像枠Ｗ２に１の半田フィレット画像Ｉｈを設けてなる比較的小さなサイズの検査用画像データＫｃ，Ｋｄが取得される。そして、この比較的小さな検査用画像データＫｃ，Ｋｄが第二ＡＩモデル１０２に入力されることで再構成画像データＳが出力され、それぞれ比較的小さな検査用画像データＫｃ，Ｋｄ及び再構成画像データＳが比較される。従って、検査用画像データの画像枠を常に一定サイズとする場合と比べて、再構成画像データＳを取得するための処理や検査部７８による比較処理の迅速化を図ることができ、ひいては検査速度をより向上させることができる。
【0141】
加えて、学習データＧａ～Ｇｄや検査用画像データＫａ～Ｋｄにおける半田フィレット５の向き及び位置が概ね揃えられるため、ＡＩモデル１０１，１０２の生成に用いた学習データＧａ～Ｇｄが比較的少ないものであっても、半田フィレット５の良否判定を精度よく行うことができる。すなわち、ＡＩモデル１０１，１０２を得るにあたっての労力や手間をより効果的に低減しつつ、良好な検査精度を得ることができる。
【0142】
尚、上記実施形態の記載内容に限定されず、例えば次のように実施してもよい。勿論、以下において例示しない他の応用例、変更例も当然可能である。
【0143】
（ａ）上記実施形態では、ステップＳ３０４の良否判定工程において、検査用画像データＫａ～Ｋｄの全体と再構成画像データＳの全体とを比較するように構成されている。
【0144】
これに対し、検査用画像データＫａ～Ｋｄにおける１の半田フィレット画像Ｉｈのみを比較対象として、検査用画像データＫａ～Ｋｄ及び再構成画像データＳの比較を行うように構成してもよい。つまり、検査用画像データＫａ～Ｋｄにおける１の半田フィレット画像Ｉｈと、再構成画像データＳのうち該１の半田フィレット画像Ｉｈと重なる領域とを比較するように構成してもよい。
【0145】
このように構成した場合には、検査用画像データＫａ～Ｋｄにおける１の半田フィレット画像Ｉｈ以外の部分を比較対象としないことになるから、両画像データＫａ～Ｋｄ，Ｓの全体を比較する場合と比べて、両画像データＫａ～Ｋｄ，Ｓの比較に係る処理負担を低減することができる。そのため、検査の高速化、効率化を図ることができる。また、検査用画像データＫａ～Ｋｄにおける１の半田フィレット画像Ｉｈ以外の部分、すなわち、半田フィレット５とは無関係の部分が良否判定に影響を与えることをより確実に防止でき、ひいては検査精度の更なる向上を図ることが可能となる。
【0146】
尚、再構成画像データＳにおける半田フィレット５に係る領域のみを比較対象として、検査用画像データＫａ～Ｋｄ及び再構成画像データＳの比較を行うように構成してもよい。つまり、再構成画像データＳにおける半田フィレット５に係る領域と、検査用画像データＫａ～Ｋｄにおける該半田フィレット５に係る領域と重なる領域とを比較するように構成してもよい。勿論、上記２つの比較手法を併用してもよい。
【0147】
（ｂ）上記実施形態では、ニューラルネットワーク９０の学習にあたって、リフロー後検査に合格したプリント基板１に係る学習用元画像データＩｇを用いて、学習データＧａ～Ｇｄを取得している。これに対し、例えばリフロー工程後に作業者が目視により選別した、良品の半田フィレット５に係る学習用元画像データを用いて、学習データＧａ～Ｇｄを取得してもよい。
【0148】
また、学習部７７は、仮想的に生成した良品の半田フィレット５の画像データを用いて、学習データＧａ～Ｇｄを取得するものであってもよい。
【0149】
（ｃ）上記実施形態では、ＡＩモデル１０１，１０２として、二次元データに対応するものと、三次元データに対応するものとが別々に設けられているが、二次元データ及び三次元データのそれぞれに対応する共通のＡＩモデルを設けることとしてもよい。
【0150】
さらに、第二ＡＩモデル１０２を省略した構成としてもよい。この場合、第二検査用画像データＫｃ，Ｋｄのサイズを第一検査用画像データＫａ，Ｋｄのサイズと同一とし、第一ＡＩモデル１０１によって、検査用画像データＫａ～Ｋｄに基づく検査を行う構成としてもよい。
【0151】
（ｄ）ＡＩモデル１０１，１０２（ニューラルネットワーク９０）の構成及びその学習方法は、上記実施形態に限定されるものではない。例えば、ニューラルネットワーク９０の学習処理や、再構成画像データ取得工程などを行う際に、必要に応じて各種データに対し正規化等の処理を行う構成としてもよい。また、ニューラルネットワーク９０の構造は、図５に示したものに限定されず、例えば畳み込み層９３の後にプーリング層を設けた構成としてもよい。勿論、ニューラルネットワーク９０の層数や、各層のノード数、各ノードの接続構造などが異なる構成としてもよい。
【0152】
さらに、上記実施形態では、ＡＩモデル１０１，１０２（ニューラルネットワーク９０）が、畳み込みオートエンコーダ（ＣＡＥ）の構造を有した生成モデルとなっているが、これに限らず、例えば変分自己符号化器(ＶＡＥ：Variational Autoencoder)など、異なるタイプのオートエンコーダの構造を有した生成モデルとしてもよい。
【0153】
また、上記実施形態では、誤差逆伝播法によりニューラルネットワーク９０を学習する構成となっているが、これに限らず、その他の種々の学習アルゴリズムを用いて学習する構成としてもよい。
【0154】
加えて、ニューラルネットワーク９０は、いわゆるＡＩチップ等のＡＩ処理専用回路によって構成されることとしてもよい。その場合、パラメータ等の学習情報のみが記憶部５７に記憶され、これをＡＩ処理専用回路が読み出して、ニューラルネットワーク９０に設定することによって、ＡＩモデル１０１，１０２が構成されるようにしてもよい。
【0155】
併せて、上記実施形態において、制御装置３３は学習部７７を備えており、制御装置３３内においてニューラルネットワーク９０の学習を行う構成となっているが、これに限られるものではない。例えば、学習部７７を省略して、ニューラルネットワーク９０の学習を制御装置３３の外部で行う構成とし、外部で学習を行ったＡＩモデル１０１，１０２（学習済みのニューラルネットワーク９０）を記憶部５７に記憶する構成としてもよい。
【0156】
（ｅ）上記実施形態では、検査用元画像データＩｋとして二次元データ及び三次元データを取得しているが、二次元データ及び三次元データのうちの一方のみを取得する構成としてもよい。また、取得するデータに合わせて、ＡＩモデル１０１，１０２として、二次元データ及び三次元データのうちの一方に対応するもののみを設けてもよい。
【0157】
（ｆ）上記実施形態では、１の半田フィレット画像Ｉｈを画像枠Ｗ１，Ｗ２に貼り付けることで検査用画像データＫａ～Ｋｄを取得している。これに対し、次のようにして検査用画像データＫａ～Ｋｄを取得してもよい。すなわち、まず、特定した半田フィレット５の占める領域における連結成分（塊部分）の画像を、１の半田フィレット画像Ｉｈとして抽出するにあたり、１の半田フィレット画像Ｉｈとその周囲部分とを抽出することで、画像枠Ｗ１，Ｗ２と同サイズの抽出画像を得る。その上で、該抽出画像における前記周囲部分の各画素の持つ値をそれぞれ同値に置き換える（例えば、輝度や高さを「０」とする）ことで、検査用画像データＫａ～Ｋｄを取得してもよい。勿論、これと同様の手法を利用して、学習データＧａ～Ｇｄを取得してもよい。
【符号の説明】
【0158】
１…プリント基板、３…ランド、５…半田フィレット、６…電子部品、１６…半田フィレット検査装置、３２ｄ…カメラ（画像データ取得手段）、７８…検査部（検査用画像データ取得手段、再構成画像データ取得手段、比較手段、半田フィレット画像抽出手段）、９０…ニューラルネットワーク、９１…エンコーダ部（符号化部）、９２…デコーダ部（復号化部）、１０１…第一ＡＩモデル（識別手段）、１０２…第二ＡＩモデル（第二識別手段）Ｉｈ…１の半田フィレット画像、Ｗ１…第一画像枠（画像枠）、Ｗ２…第二画像枠。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【手続補正書】
【提出日】2024-12-23
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】０１３２
【補正方法】変更
【補正の内容】
【0132】
続いて、検査部７８は、算出した差分が所定の閾値よりも大きいか否かを判定する。そして、検査部７８は、算出した差分が所定の閾値よりも大きい場合には、「不良品」と判定する一方、差分が所定の閾値よりも小さい場合には、「良品」と判定する。