特開 2024-16646 二次外観検査装置、外観検査システムおよび二次外観検査方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024016646

(43)【公開日】2024-02-07

(54)【発明の名称】二次外観検査装置、外観検査システムおよび二次外観検査方法

(51)【国際特許分類】

   G01N 21/956 20060101AFI20240131BHJP

【ＦＩ】

G01N21/956 B

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022118929

(22)【出願日】2022-07-26

(71)【出願人】

【識別番号】000010076

【氏名又は名称】ヤマハ発動機株式会社

(74)【代理人】

【識別番号】100105935

【弁理士】

【氏名又は名称】振角 正一

(74)【代理人】

【識別番号】100136836

【弁理士】

【氏名又は名称】大西 一正

(72)【発明者】

【氏名】松原 一樹

【テーマコード（参考）】

2G051

【Ｆターム（参考）】

2G051AA61

2G051AB14

2G051AC02

2G051CA04

2G051CB01

2G051EA20

2G051EA21

2G051ED04

2G051ED11

(57)【要約】

【課題】対象物に対する二次判定を機械により実行する際の過判定の発生を抑制する。
【解決手段】複数の検査領域Ａ（Ｎ）のうち一次判定で不良と判定された不良領域Ａｎを示す一次判定結果Ｒが取得される（ステップＳ２０１）。一次判定結果Ｒが示す不良領域Ａｎにおける半田Ｓ（対象物）の半田画像Ｉｓに含まれる異常を示す異常度、すなわち不良領域画像Ｉｎの異常度が算出されて、当該異常度に基づき、半田Ｓの状態が判定される（二次判定）。
【選択図】図５

【特許請求の範囲】

【請求項1】

互いに異なる複数の検査領域のそれぞれについて当該検査領域における対象物の状態を判定する一次判定において、前記複数の検査領域のうち不良と判定された不良領域を示す不良領域情報を取得する情報取得部と、
前記不良領域情報が示す前記不良領域における前記対象物の画像に含まれる異常を示す不良領域異常データを算出する異常データ算出部と、
前記不良領域異常データに基づき、前記対象物の状態を判定する二次判定を実行する二次判定実行部と
を備えた二次外観検査装置。

【請求項2】

前記異常データ算出部は、
前記一次判定において撮像された、前記複数の検査領域を含む撮像領域における前記対象物の画像である対象物画像を取得する画像取得部と、
前記複数の検査領域に対応してそれぞれ設けられた複数の機械学習モデルと、
前記複数の機械学習モデルのうち、前記不良領域に対応する対応モデルを用いて、前記不良領域異常データを算出するデータ算出部と
を有し、
前記複数の機械学習モデルのそれぞれは、対応する前記検査領域で撮像された画像に含まれる異常を示す検査領域異常データを出力し、
前記データ算出部は、前記対象物画像のうち、前記不良領域に含まれる画像を不良領域画像として抽出して、前記対応モデルが前記不良領域画像について出力する前記検査領域異常データを前記不良領域異常データとして算出する請求項１に記載の二次外観検査装置。

【請求項3】

前記異常データ算出部は、
前記一次判定において撮像された、前記複数の検査領域を含む撮像領域における前記対象物の画像である対象物画像を取得する画像取得部と、
前記撮像領域で撮像された画像に含まれる異常を示す撮像領域異常データを出力する機械学習モデルと、
前記機械学習モデルが前記対象物画像について出力した前記撮像領域異常データから、前記不良領域に対応するデータを抽出することで、前記不良領域異常データを算出するデータ算出部と
を有する請求項１に記載の二次外観検査装置。

【請求項4】

ユーザインターフェースと、
前記不良領域異常データを少なくとも含む、可視化された異常データを前記ユーザインターフェースに表示させる表示制御部と
をさらに備えた請求項１に記載の二次外観検査装置。

【請求項5】

前記二次判定実行部による前記二次判定によって前記対象物の良否を判定する自動判定モードと、前記ユーザインターフェースに前記異常データを表示しつつユーザが前記ユーザインターフェースに行った操作に基づき前記対象物の良否を判定するマニュアル判定モードとを選択的に実行するモード選択部をさらに備えた請求項４に記載の二次外観検査装置。

【請求項6】

前記モード選択部は、前記自動判定モードおよび前記マニュアル判定モードのうち、前記ユーザインターフェースに対するユーザの操作によって選択された一のモードを実行する請求項５に記載の二次外観検査装置。

【請求項7】

互いに異なる複数の検査領域のそれぞれについて当該検査領域における対象物の状態を判定する一次判定を実行して、当該一次判定において前記複数の検査領域のうち不良と判定された不良領域を示す不良領域情報を出力する一次外観検査装置と、
請求項１ないし６のいずれか一項に記載の二次外観検査装置と
を備え、
前記情報取得部は、前記一次外観検査装置から出力された前記不良領域情報を取得する外観検査システム。

【請求項8】

互いに異なる複数の検査領域のそれぞれについて当該検査領域における対象物の状態を判定する一次判定において、前記複数の検査領域のうち不良と判定された不良領域を示す不良領域情報を取得する工程と、
前記不良領域情報が示す前記不良領域における前記対象物の画像に含まれる異常を示す不良領域異常データを算出する工程と、
前記不良領域異常データに基づき、前記対象物の状態を判定する二次判定を実行する工程と
を備えた二次外観検査方法。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、複数の検査領域のそれぞれにおいて対象物の状態を判定する一次判定によって不良と判定された対象物に対して、さらに当該対象物の状態を判定する二次判定を実行することで、対象物の状態を的確に判定する技術に関する。

【背景技術】

【0002】

部品を基板に接合する半田を撮像した画像に基づき、当該半田の状態を判定する外観検査装置が知られている。かかる外観検査装置では、半田の状態を詳細に判定するために、互いに異なる複数の検査領域のそれぞれについて判定が実行される場合がある。例えば、部品の電極からの距離が異なる３つの検査領域が設定される。電極に１番目に近い検査領域では、半田が部品の電極の手前で凹む半田形状不良（未半田）の有無が判定される。電極に２番目に近い検査領域では、半田の量が不足する半田不足不良（半田小）の有無が判定される。また、電極に３番目に近い検査領域では、半田によって覆われるべき金属箔（銅箔）が露出する金属箔露出不良（赤目）の有無が判定される。

【0003】

ただし、このような外観検査装置では、実際には良好であるにもかかわらず、不良と誤判定されてしまう場合がある。そこで、外観検査装置での判定（一次判定）を補完する二次判定がユーザによって適宜実行される。つまり、外観検査装置の一次判定において、複数の検査領域のいずれかの検査領域について不良と判定された場合には、一次判定の対象となった半田を撮像した画像等がディスプレイに表示される。これによって、ユーザは、ディスプレイによる目視に基づき、最終的な判定を実行できる（二次判定）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１０－８１５９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、ユーザによって実行されていた二次判定を、機械によって実行することで、省人化を図ることが考えられる。例えば特許文献１には、対象物の画像に含まれる画素の異常に基づき対象物の状態を判定するニューラルネットワークが提案されている。しかしながら、外観検査装置による一次判定を補完する二次判定を機械により実行するにあたっては、次のような問題があった。

【0006】

つまり、ユーザによる上記の二次判定は、複数の検査領域のうち一次判定で不良と判定された検査領域の状態確認を目的とするものである。これに対して、対象物の画像が複数の検査領域を含むと、当該画像に含まれる異常を機械によって算出した結果、一次判定で不良と判定されなかった検査領域について不良と判定してしまう過判定が発生しうる。

【0007】

この発明は上記課題に鑑みなされたものであり、複数の検査領域のそれぞれにおいて対象物の状態を判定する一次判定によって不良と判定された対象物に対して、さらに当該対象物の状態を判定する二次判定を機械により実行するにあたり、過判定の発生を抑制可能とすることを目的とする。

【課題を解決するための手段】

【0008】

本発明に係る二次外観検査装置は、互いに異なる複数の検査領域のそれぞれについて当該検査領域における対象物の状態を判定する一次判定において、複数の検査領域のうち不良と判定された不良領域を示す不良領域情報を取得する情報取得部と、不良領域情報が示す不良領域における対象物の画像に含まれる異常を示す不良領域異常データを算出する異常データ算出部と、不良領域異常データに基づき、対象物の状態を判定する二次判定を実行する二次判定実行部とを備える。

【0009】

本発明に係る外観検査システムは、互いに異なる複数の検査領域のそれぞれについて当該検査領域における対象物の状態を判定する一次判定を実行して、当該一次判定において複数の検査領域のうち不良と判定された不良領域を示す不良領域情報を出力する一次外観検査装置と、上記の二次外観検査装置とを備え、情報取得部は、一次外観検査装置から出力された不良領域情報を取得する。

【0010】

本発明に係る二次外観検査方法は、互いに異なる複数の検査領域のそれぞれについて当該検査領域における対象物の状態を判定する一次判定において、複数の検査領域のうち不良と判定された不良領域を示す不良領域情報を取得する工程と、不良領域情報が示す不良領域における対象物の画像に含まれる異常を示す不良領域異常データを算出する工程と、不良領域異常データに基づき、対象物の状態を判定する二次判定を実行する工程とを備える。

【0011】

このように構成された本発明（二次外観検査装置、外観検査システムおよび二次外観検査方法）では、複数の検査領域のうち一次判定で不良と判定された不良領域を示す不良領域情報が取得される。そして、不良領域情報が示す不良領域における対象物の画像に含まれる異常を示す不良領域異常データが算出されて、当該不良領域異常データに基づき、対象物の状態が判定される（二次判定）。つまり、二次判定で対象物の状態を判定する基準から、一次判定で不良と判定されなかった検査領域が外される。その結果、一次判定で不良と判定されなかった検査領域について不良と判定してしまう過判定の発生を抑制することが可能となっている。

【0012】

また、異常データ算出部は、一次判定において撮像された、複数の検査領域を含む撮像領域における対象物の画像である対象物画像を取得する画像取得部と、複数の検査領域に対応してそれぞれ設けられた複数の機械学習モデルと、複数の機械学習モデルのうち、不良領域に対応する対応モデルを用いて、不良領域異常データを算出するデータ算出部とを有し、複数の機械学習モデルのそれぞれは、対応する検査領域で撮像された画像に含まれる異常を示す検査領域異常データを出力し、データ算出部は、対象物画像のうち、不良領域に含まれる画像を不良領域画像として抽出して、対応モデルが不良領域画像について出力する検査領域異常データを不良領域異常データとして算出するように、二次外観検査装置を構成してもよい。かかる構成では、二次判定で対象物の状態を判定する基準から、一次判定で不良と判定されなかった検査領域が外される。その結果、一次判定で不良と判定されなかった検査領域について不良と判定してしまう過判定の発生を抑制することが可能となっている。

【0013】

また、異常データ算出部は、一次判定において撮像された、複数の検査領域を含む撮像領域における対象物の画像である対象物画像を取得する画像取得部と、撮像領域で撮像された画像に含まれる異常を示す撮像領域異常データを出力する機械学習モデルと、機械学習モデルが対象物画像について出力した撮像領域異常データから、不良領域に対応するデータを抽出することで、不良領域異常データを算出するデータ算出部とを有するように、二次外観検査装置を構成してもよい。かかる構成では、二次判定で対象物の状態を判定する基準から、一次判定で不良と判定されなかった検査領域が外される。その結果、一次判定で不良と判定されなかった検査領域について不良と判定してしまう過判定の発生を抑制することが可能となっている。しかも、複数の検査領域に対応して複数の機械学習モデルを設けるのではなく、複数の検査領域を含む撮像領域に対して一の機械学習モデルを設ければ足りる。したがって、ユーザにおいては複数の機械学習モデルを管理する必要がなく、ユーザの管理負担を軽減することが可能となっている。

【0014】

また、ユーザインターフェースと、不良領域異常データを少なくとも含む、可視化された異常データをユーザインターフェースに表示させる表示制御部とをさらに備えるように、二次外観検査装置を構成してもよい。かかる構成では、ユーザは、可視化された異常データに含まれる不良領域異常データを目視で確認することができる。

【0015】

また、二次判定実行部による二次判定によって対象物の良否を判定する自動判定モードと、ユーザインターフェースに異常データを表示しつつユーザがユーザインターフェースに行った操作に基づき対象物の良否を判定するマニュアル判定モードとを選択的に実行するモード選択部をさらに備えるように、二次外観検査装置を構成してもよい。かかる構成では、自動判定モードを選択することで二次判定におけるユーザの負担を軽減できるとともに、マニュアル判定モードを選択することでユーザの目視による二次判定を実行できる。

【0016】

また、モード選択部は、自動判定モードおよびマニュアル判定モードのうち、ユーザインターフェースに対するユーザの操作によって選択された一のモードを実行するように、二次外観検査装置を構成してもよい。かかる構成では、自動判定モードおよびマニュアル判定モードのうち、ユーザの要求に応じたモードを実行することができる。

【発明の効果】

【0017】

以上のように、本発明によれば、複数の検査領域のそれぞれにおいて対象物の状態を判定する一次判定によって不良と判定された対象物に対して、さらに当該対象物の状態を判定する二次判定を機械により実行するにあたり、過判定の発生を抑制することが可能となる。

【図面の簡単な説明】

【0018】

【図1】本発明に係る外観検査システムの一例を示すブロック図。

【図2】図１の一次外観検査装置で実行される一次判定の一例を示すフローチャート。

【図3】図２の一次判定で実行される動作を模式的に示す図。

【図4】本発明に係る二次外観検査装置の第１例を示すブロック図。

【図5】図４の二次外観検査装置の第１例によって実行される二次判定を示すフローチャート。

【図6】図５の二次判定で実行される動作を模式的に示す図。

【図7】本発明に係る二次外観検査装置の第２例を示すブロック図。

【図8】図７の二次外観検査装置の第２例によって実行される二次判定を示すフローチャート。

【発明を実施するための形態】

【0019】

図１は本発明に係る外観検査システムの一例を示すブロック図である。図１の外観検査システム１は、一次外観検査装置２および二次外観検査装置４を備え、コンデンサ、抵抗あるいは集積回路等の部品Ｅを基板Ｂに接合する半田Ｓの状態を検査する。一次外観検査装置２は、光照射部２１および撮像カメラ２２を有し、検査の対象物である半田Ｓを含む所定の撮像領域Ａｃに光照射部２１から光を照射しつつ、当該撮像領域Ａｃを撮像カメラ２２により撮像することで、半田Ｓを示す半田画像Ｉｓを撮像する。さらに、一次外観検査装置２は、二次外観検査装置４との通信を行う通信部２８と、光照射部２１、撮像カメラ２２および通信部２８を制御するコントローラ２９とを有する。コントローラ２９は、半田画像Ｉｓに基づき半田Ｓの良否を判定した結果である一次判定結果Ｒを取得する。また、通信部２８は、半田画像Ｉｓや一次判定結果Ｒを二次外観検査装置４に送信する。

【0020】

一次外観検査装置２の具体的な構成としては、例えば特開２０１０－０７１８４４号公報に開示された装置構成を採用できる。同公報の装置では、それぞれ波長が異なる光（赤外、赤、緑および青）が互いに異なる角度で半田に照射され、基板に対向するカメラが半田で反射された光を撮像することで、画像が取得される。そして、この画像に基づき半田の良否が判定される。なお、一次外観検査装置２の具体的な構成は、この例に限られず、例えばＷＯ２０１８／１６３２７８に記載の装置構成を採用することもできる。

【0021】

図２は図１の一次外観検査装置で実行される一次判定の一例を示すフローチャートであり、図３は図２の一次判定で実行される動作を模式的に示す図である。図３では、部品Ｅのみが示され、半田Ｓは示されていない。

【0022】

図２の一次判定では、図３に示す互いに異なる複数の検査領域Ａ（Ｎ）（Ｎ＝１、２、３）が設定される。検査領域Ａ（１）は、半田Ｓが部品Ｅの電極の手前で凹む半田形状不良（未半田）の有無を判定するために設定され、検査領域Ａ（２）は、半田Ｓの量が不足する半田不足不良（半田小）の有無を判定するために設定され、検査領域Ａ（３）は、半田Ｓによって覆われるべき金属箔（銅箔）が露出する金属箔露出不良（赤目）の有無を判定するために設定される。

【0023】

図２に示すように、ステップＳ１０１では、コントローラ２９は、半田Ｓを含む所定の撮像領域Ａｃに光照射部２１から光を照射しつつ、当該撮像領域Ａｃを撮像カメラ２２により撮像することで、半田画像Ｉｓを撮像する。この半田画像Ｉｓは、撮像領域Ａｃに含まれる複数の画素のそれぞれについて輝度を示す画像データである。ステップＳ１０２では、コントローラ２９は、検査領域Ａ（Ｎ）を識別するカウント値Ｎをゼロにリセットし、ステップＳ１０３では、コントローラ２９は、カウント値Ｎを１だけインクリメントする。

【0024】

そして、コントローラ２９は、検査領域Ａ（Ｎ）における状態の良否を、半田画像Ｉｓのうち、当該検査領域Ａ（Ｎ）に含まれる画像に基づき判定する（ステップＳ１０４）。また、コントローラ２９は、当該検査領域Ａ（Ｎ）に対する判定結果（良好／不良）を保存する（ステップＳ１０５）。ステップＳ１０６では、カウント値Ｎが最大カウント値Ｎｘ（＝３）に到達したかが確認される。最大カウント値Ｎｘは、検査領域Ａ（Ｎ）の個数（＝３）に相当する。そして、カウント値Ｎが最大カウント値Ｎｘに到達するまで、カウント値Ｎをインクリメントしつつ、ステップＳ１０４、Ｓ１０５が繰り返される。その結果、複数の検査領域Ａ（Ｎ）（Ｎ＝１、２、３）のそれぞれについて判定結果が取得される。

【0025】

ステップＳ１０７では、コントローラ２９は、複数の検査領域Ａ（Ｎ）それぞれに対する判定結果のうち、不良判定があるか否かを確認する。不良判定がある場合（ステップＳ１０７で「ＹＥＳ」の場合）には、コントローラ２９は、複数の検査領域Ａ（Ｎ）のうち、不良判定が示された不良領域Ａｎを示す一次判定結果Ｒと、ステップＳ１０１で撮像した半田画像Ｉｓとを、通信部２８によって二次外観検査装置４に出力する。

【0026】

図４は本発明に係る二次外観検査装置の第１例を示すブロック図である。二次外観検査装置４は、演算部４１、記憶部４２、通信部４３およびＵＩ(User Interface)４４を備えたコンピュータである。演算部４１は、ＣＰＵ(Central Processing Unit)等のプロセッサであり、記憶部４２は、ＳＳＤ(Solid State Drive)あるいはＨＤＤ(Hard Disk Drive)等の記憶装置である。通信部４３は一次外観検査装置２の通信部２８との通信を実行し、例えば通信部２８から出力された一次判定結果Ｒや半田画像Ｉｓを受信して、記憶部４２に保存する。ＵＩ４４は、マウスやキーボード等の入力機器と、ディスプレイ等の出力機器とを有する。なお、ＵＩ４４の入力機器と出力機器とを別体で構成する必要は無く、タッチパネルディスプレイによってこれらを一体的に構成してもよい。

【0027】

演算部４１は、所定の二次判定プログラムを実行することで、情報取得部４１１、画像取得部４１２、データ算出部４１３、自動判定実行部４１４、マニュアル判定制御部４１５およびモード選択部４１６を構成する。また、記憶部４２は、複数の検査領域Ａ（Ｎ）にそれぞれ対応して設けられた複数の機外学習モデルＭ（Ｎ）を保存する（Ｎ＝１、２、３）。機外学習モデルＭ（Ｎ）は、半田画像Ｉｓのうち、当該機外学習モデルＭ（Ｎ）に対応する検査領域Ａ（Ｎ）内の画像である検査領域画像Ｉａ（Ｎ）（図３）と、当該検査領域画像Ｉａ（Ｎ）の異常度との関係を学習済みであり、検査領域画像Ｉａ（Ｎ）が入力されると当該検査領域画像Ｉａ（Ｎ）の異常度を出力する。つまり、機外学習モデルＭ（１）は、検査領域Ａ（１）の異常度を出力し、半田形状不良（未半田）の有無の判定に使用できる。機外学習モデルＭ（２）は、検査領域Ａ（２）の異常度を出力し、半田不足不良（小半田）の有無の判定に使用できる。また、機外学習モデルＭ（３）は、検査領域Ａ（３）の異常度を出力し、金属箔露出不良（赤目）の有無の判定に使用できる。

【0028】

なお、画像の異常度を出力する機械学習モデルの学習方法は、周知の技術を採用できる。例えば、既存の機械学習モデルに良品画像を入力した際に得られる当該機械学習モデルの中間層の特徴ベクトルを基準として保存しておく。そして、一次外観検査装置２で撮像された画像をこの機械学習モデルに入力した際に得られる特徴ベクトルと、基準となる特徴ベクトルとの距離とを異常度として算出できる。この異常度は、画像を構成する複数の画素のそれぞれについて算出できる。

【0029】

図５は図４の二次外観検査装置の第１例によって実行される二次判定を示すフローチャートであり、図６は図５の二次判定で実行される動作を模式的に示す図である。なお、図６では、部品Ｅのみが示され、半田Ｓは示されていない。

【0030】

図５に示すように、情報取得部４１１は、通信部４３が一次外観検査装置２から受信した一次判定結果Ｒを取得し（ステップＳ２０１）、画像取得部４１２は、通信部４３が一次外観検査装置２から受信した半田画像Ｉｓを取得する（ステップＳ２０２）。図６のステップＳ２０２の欄に例示するように、この半田画像Ｉｓは、一次判定で設定される複数の検査領域Ａ（Ｎ）を含む撮像領域Ａｃにおいて撮像された半田Ｓを示す。なお、ステップＳ２０１、Ｓ２０２の実行順序はここの例に限られない。

【0031】

ステップＳ２０３では、データ算出部４１３は、半田画像Ｉｓのうちから、一次判定結果Ｒが示す不良領域Ａｎにおける画像である不良領域画像Ｉｎを抽出する。図６のステップＳ２０３の欄に示す例では、複数の検査領域Ａ（１）、Ａ（２）、Ａ（３）のうち、検査領域Ａ（２）が不良領域Ａｎに相当し、当該不良領域Ａｎの不良領域画像Ｉｎが半田画像Ｉｓから抽出される。さらに、データ算出部４１３は、複数の検査領域Ａ（１）、Ａ（２）、Ａ（３）にそれぞれ対応する機外学習モデルＭ（１）、Ｍ（２）、Ｍ（３）のうち、不良領域Ａｎ（すなわち、検査領域Ａ（２））に対応する機外学習モデルＭ（２）を選択する（ステップＳ２０４）。そして、データ算出部４１３は、ステップＳ２０４で選択された機外学習モデルＭ（２）に不良領域画像Ｉｎを入力することで、不良領域画像Ｉｎの異常度を算出する。

【0032】

ステップＳ２０６では、モード選択部４１６は、自動判定実行部４１４により二次判定を自動で行う自動判定モードを実行するか、ユーザのＵＩ４４への入力操作をマニュアル判定制御部４１５によって判定した結果に基づき二次判定を行うマニュアル判定モードを実行するかを確認する。具体的には、ユーザは、自動判定モードおよびマニュアル判定モードのうちのいずれのモードを実行するかを、ＵＩ４４に対する操作によってモード選択部４１６に設定できる。

【0033】

自動判定モードが設定されている場合（ステップＳ２０６で「ＹＥＳ」の場合）には、自動判定実行部４１４は、ステップＳ２０５で算出された不良領域画像Ｉｎの異常度に基づき、半田Ｓの良否を判定する（ステップＳ２０７）。具体的には、不良領域画像Ｉｎを構成する各画素の異常度が閾値以下である場合（ステップＳ２０７で「ＹＥＳ」）の場合には、半田画像Ｉｓに示される半田Ｓの状態が良好であることを示す良品判定が二次判定の結果として自動判定実行部４１４によって得られる（ステップＳ２０８）。一方、不良領域画像Ｉｎを構成する各画素のうちに異常度が閾値より大きい画素がある場合（ステップＳ２０７で「ＮＯ」）の場合には、半田画像Ｉｓに示される半田Ｓの状態が不良であることを示す不良判定が二次判定の結果として自動判定実行部４１４によって得られる（ステップＳ２０９）。ステップＳ２０８、Ｓ２０９で得られた二次判定の結果は、例えばＵＩ４４のディスプレイに表示される。

【0034】

マニュアル判定モードが設定されている場合（ステップＳ２０６で「ＮＯ」の場合）には、マニュアル判定制御部４１５は、不良領域画像Ｉｎの異常度を可視化した異常度マップ（ヒートマップ）をＵＩ４４のディスプレイに表示する（ステップＳ２１０）。そして、マニュアル判定制御部４１５は、ＵＩ４４に入力されるユーザの判断が、良好であるか否かを判定する（ステップＳ２１１）。ＵＩ４４に入力されるユーザの判断が良好である場合（ステップＳ２１１で「ＹＥＳ」の場合）には、半田画像Ｉｓに示される半田Ｓの状態が良好であることを示す良品判定が二次判定の結果としてマニュアル判定制御部４１５によって得られる（ステップＳ２０８）。一方、ＵＩ４４に入力されるユーザの判断が不良である場合（ステップＳ２１１で「ＮＯ」の場合）には、半田画像Ｉｓに示される半田Ｓの状態が不良であることを示す不良判定が二次判定の結果としてマニュアル判定制御部４１５によって得られる（ステップＳ２０９）。ステップＳ２０８、Ｓ２０９で得られた二次判定の結果は、例えばＵＩ４４のディスプレイに表示される。

【0035】

以上に説明する実施形態では、複数の検査領域Ａ（Ｎ）のうち一次判定で不良と判定された不良領域Ａｎ（検査領域Ａ（２））を示す一次判定結果Ｒ（不良領域情報）が取得される（ステップＳ２０１）。そして、一次判定結果Ｒが示す不良領域Ａｎにおける半田Ｓ（対象物）の半田画像Ｉｓに含まれる異常を示す異常度（不良領域異常データ）、すなわち不良領域画像Ｉｎの異常度が算出されて（ステップＳ２０５）、ステップＳ２０６～Ｓ２０９では、当該異常度に基づき、半田Ｓの状態が判定される（二次判定）。つまり、二次判定で半田Ｓの状態を判定する基準から、一次判定で不良と判定されなかった検査領域Ａ（１）、Ａ（３）が外される。その結果、一次判定で不良と判定されなかった検査領域Ａ（１）、Ａ（３）について不良と判定してしまう過判定の発生を抑制することが可能となっている。

【0036】

特に、一次判定において撮像された、複数の検査領域Ａ（Ｎ）を含む撮像領域Ａｃにおける半田Ｓの画像である半田画像Ｉｓ（対象物画像）が情報取得部４１１によって取得される（ステップＳ２０２）。これに対して、複数の検査領域Ａ（ん）に対応してそれぞれ設けられた複数の機外学習モデルＭ（Ｎ）が記憶部４２に保存されている。そして、複数の機外学習モデルＭ（Ｎ）のうち、不良領域画像Ｉｎ（検査領域Ａ（２））に対応する機外学習モデルＭ（２）（対応モデル）を用いて、不良領域画像Ｉｎの異常度（不良領域異常データ）がデータ算出部４１３によって算出される（ステップＳ２０３～Ｓ２０５）。つまり、複数の機外学習モデルＭ（Ｎ）のそれぞれは、対応する検査領域Ａ（Ｎ）で撮像された検査領域画像Ｉａ（Ｎ）に含まれる異常度（検査領域異常データ）を出力するように構成されている。そこで、データ算出部４１３は、半田画像Ｉｓのうち、不良領域Ａｎ（検査領域Ａ（２））に含まれる画像を不良領域画像Ｉｎとして抽出して（ステップＳ２０３）、不良領域Ａｎに対応する機外学習モデルＭ（２）（対応モデル）が不良領域画像Ｉｎについて出力する異常度（検査領域異常データ）を、不良領域画像Ｉｎの異常度（不良領域異常データ）として算出する（ステップＳ２０４、Ｓ２０５）。かかる構成では、二次判定で半田Ｓの状態を判定する基準から、一次判定で不良と判定されなかった検査領域Ａ（１）、Ａ（３）が外される。その結果、一次判定で不良と判定されなかった検査領域Ａ（１）、Ａ（３）について不良と判定してしまう過判定の発生を抑制することが可能となっている。

【0037】

また、ＵＩ４４と、不良領域画像Ｉｎにおける異常度（不良領域異常データ）を少なくとも含む異常度マップ（可視化された異常データ）をＵＩ４４に表示させるマニュアル判定制御部４１５（表示制御部）とが具備されている。かかる構成では、ユーザは、異常度マップに含まれる不良領域画像Ｉｎにおける異常度を目視で確認することができる。

【0038】

また、自動判定実行部４１４（二次判定実行部）による二次判定によって半田Ｓの良否を判定する自動判定モード（ステップＳ２０７、Ｓ２０８、Ｓ２０９）と、ＵＩ４４に異常度マップを表示しつつユーザがＵＩ４４に行った操作に基づき半田Ｓの良否を判定するマニュアル判定モード（ステップＳＳ２１０、Ｓ２１１、Ｓ２０８、Ｓ２０９）とを選択的に実行するモード選択部４１６が具備されている。かかる構成では、自動判定モードを選択することで二次判定におけるユーザの負担を軽減できるとともに、マニュアル判定モードを選択することでユーザの目視による二次判定を実行できる。

【0039】

また、モード選択部４１６は、自動判定モードおよびマニュアル判定モードのうち、ＵＩ４４に対するユーザの操作によって選択された一のモードを実行する（ステップＳ２０６）。かかる構成では、自動判定モードおよびマニュアル判定モードのうち、ユーザの要求に応じたモードを実行することができる。

【0040】

図７は本発明に係る二次外観検査装置の第２例を示すブロック図であり、図８は図７の二次外観検査装置の第２例によって実行される二次判定を示すフローチャートである。以下では、第１例との差異点を中心に説明を行うこととし、第１例との共通点については相当符号を付して適宜説明を省略する。ただし、第１例と共通する構成を具備することで、第１例と同様の効果を奏することは言うまでもない。

【0041】

図７に示す一次外観検査装置２の記憶部４２では、機外学習モデルＭｃが保存されている。この機外学習モデルＭｃは、複数の検査領域Ａ（Ｎ）を含む撮像領域Ａｃに対応して設けられている。つまり、機外学習モデルＭｃは、撮像領域Ａｃで撮像された半田画像Ｉｓと、当該半田画像Ｉｓの異常度との関係を学習済みであり、半田画像Ｉｓが入力されると当該半田画像Ｉｓの異常度を出力する。

【0042】

図８に示すように、情報取得部４１１は、通信部４３が一次外観検査装置２から受信した一次判定結果Ｒを取得し（ステップＳ３０１）、画像取得部４１２は、通信部４３が一次外観検査装置２から受信した半田画像Ｉｓを取得する（ステップＳ３０２）なお、ステップＳ３０１、Ｓ３０２の実行順序はここの例に限られない。

【0043】

ステップＳ３０３では、データ算出部４１３は、機外学習モデルＭｃに半田画像Ｉｓを入力することで半田画像Ｉｓの異常度を算出する。さらに、データ算出部４１３は、ステップＳ３０３で算出された異常度のうちから、一次判定結果Ｒが示す不良領域Ａｎにおける異常度を抽出する（ステップＳ３０４）。

【0044】

ステップＳ３０６では、モード選択部４１６は、自動判定モードおよびマニュアル判定モードのいずれが設定されているかを確認する。自動判定モードが設定されている場合（ステップＳ３０６で「ＹＥＳ」の場合）には、自動判定実行部４１４は、ステップＳ３０４で抽出された不良領域Ａｎにおける異常度に基づき、半田Ｓの良否を判定する（ステップＳ３０７）。つまり、不良領域Ａｎに含まれる各画素の異常度が閾値以下である場合（ステップＳ３０７で「ＹＥＳ」）の場合には、半田画像Ｉｓに示される半田Ｓの状態が良好であることを示す良品判定が二次判定の結果として自動判定実行部４１４によって得られる（ステップＳ３０８）。一方、不良領域Ａｎに含まれる各画素のうちに異常度が閾値より大きい画素がある場合（ステップＳ３０７で「ＮＯ」）の場合には、半田画像Ｉｓに示される半田Ｓの状態が不良であることを示す不良判定が二次判定の結果として自動判定実行部４１４によって得られる（ステップＳ３０９）。ステップＳ３０８、Ｓ３０９で得られた二次判定の結果は、例えばＵＩ４４のディスプレイに表示される。

【0045】

マニュアル判定モードが設定されている場合（ステップＳ３０６で「ＮＯ」の場合）には、第１例のステップＳ２１０、Ｓ２１１、Ｓ２０８、Ｓ２０９と同様にして、ステップＳ３１０、Ｓ３１１、Ｓ３０８、Ｓ３０９が実行される。

【0046】

以上に説明する実施形態では、複数の検査領域Ａ（Ｎ）のうち一次判定で不良と判定された不良領域Ａｎ（検査領域Ａ（２））を示す一次判定結果Ｒ（不良領域情報）が取得される（ステップＳ３０１）。そして、半田画像Ｉｓのうち、一次判定結果Ｒが示す不良領域Ａｎにおける画像の異常度（不良領域異常データ）が算出される（ステップＳ３０３、Ｓ３０４）。そして、ステップＳ３０７～Ｓ３０９では、不良領域Ａｎにおける画像の異常度（不良領域異常データ）に基づき、半田Ｓの状態が判定される（二次判定）。つまり、二次判定で半田Ｓの状態を判定する基準から、一次判定で不良と判定されなかった検査領域Ａ（１）、Ｓ（３）が外される。その結果、一次判定で不良と判定されなかった検査領域Ａ（１）、Ｓ（３）について不良と判定してしまう過判定の発生を抑制することが可能となっている。

【0047】

特に、画像取得部４１２は、一次判定において撮像された、複数の検査領域Ａ（Ｎ）を含む撮像領域Ａｃにおける半田Ｓの画像である半田画像Ｉｓ（対象物画像）を取得する。これに対して、撮像領域Ａｃで撮像された画像の異常度（撮像領域異常データ）を出力する機外学習モデルＭｃが記憶部４２に保存されている。そして、データ算出部４１３は、機外学習モデルＭｃが半田画像Ｉｓについて出力した異常度（撮像領域異常データ）から、不良領域Ａｎに対応する異常度（データ）を抽出することで、不良領域Ａｎにおける異常度（不良領域異常データ）を算出する（ステップＳ３０３、Ｓ３０４）。かかる構成では、二次判定で半田Ｓの状態を判定する基準から、一次判定で不良と判定されなかった検査領域Ａ（１）、Ａ（３）が外される。その結果、一次判定で不良と判定されなかった検査領域Ａ（１）、Ａ（３）について不良と判定してしまう過判定の発生を抑制することが可能となっている。しかも、複数の検査領域Ａ（１）、Ａ（２）、Ａ（３）に対応して複数の機外学習モデルＭ（１）、Ｍ（２）、Ｍ（３）を設けるのではなく、複数の検査領域Ａ（１）、Ａ（２）、Ａ（３）を含む撮像領域Ａｃに対して一の機外学習モデルＭｃを設ければ足りる。したがって、ユーザにおいては複数の機械学習モデルＭ（１）、Ｍ（２）、Ｍ（３）を管理する必要がなく、ユーザの管理負担を軽減することが可能となっている。

【0048】

以上に説明したように本実施形態では、外観検査システム１が本発明の「外観検査システム」の一例に相当し、一次外観検査装置２が本発明の「一次外観検査装置」の一例に相当し、二次外観検査装置４が本発明の「二次外観検査装置」の一例に相当し、情報取得部４１１が本発明の「情報取得部」の一例に相当し、画像取得部４１２、機外学習モデルＭ（Ｎ）、Ｍｃおよびデータ算出部４１３が協働して本発明の「異常データ算出部」として機能し、自動判定実行部４１４が本発明の「二次判定実行部」の一例に相当し、検査領域Ａ（Ｎ）が本発明の「検査領域」の一例に相当し、不良領域Ａｎが本発明の「不良領域」の一例に相当し、半田画像Ｉｓの不良領域Ａｎにおける異常度が本発明の「不良領域異常データ」の一例に相当し、一次判定結果Ｒが本発明の「不良領域情報」の一例に相当し、 半田Ｓが本発明の「対象物」の一例に相当する。

【0049】

なお、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したものに対して種々の変更を加えることが可能である。例えば、一次判定における複数の検査領域Ａ（Ｎ）の具体的な設定態様は上記の例に限られない。したがって、検査領域Ａ（１）、Ａ（２）、Ａ（３）のうち、２個の検査領域Ａ（Ｎ）を設定してもよいし、検査領域Ａ（１）、Ａ（２）、Ａ（３）とは異なる検査領域を設定してもよい。

【0050】

また、一次判定および二次判定の対象は、上記の半田Ｓに限られない。

【0051】

また、一次外観検査装置２と二次外観検査装置４とを別体で構成する必要は必ずしもなく、これらを一体的に構成してもよい。

【0052】

また、上記のマニュアル判定モードは必須ではなく、二次判定においてマニュアル判定モードを設けなくてもよい。

【符号の説明】

【0053】

１…外観検査システム
２…一次外観検査装置
４…二次外観検査装置
４１１…情報取得部
４１２…画像取得部（異常データ算出部）
４１３…データ算出部（異常データ算出部）
４１４…自動判定実行部（二次判定実行部）
Ａ（Ｎ）…検査領域
Ａｎ…不良領域
Ｉｓ…半田画像
Ｍ（Ｎ）…機外学習モデル（異常データ算出部）
Ｍｃ…機外学習モデル（異常データ算出部）
Ｒ…一次判定結果（不良領域情報）
Ｓ…半田（対象物）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】