知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024117230
(43)【公開日】2024-08-29
(54)【発明の名称】判定方法、判定プログラム、判定装置及び外観検査装置
(51)【国際特許分類】
G01N 21/956 20060101AFI20240822BHJP
G06T 7/00 20170101ALI20240822BHJP
G06T 7/90 20170101ALI20240822BHJP
【ＦＩ】
G01N21/956 B
G06T7/00 350B
G06T7/00 300F
G06T7/90 Z
【審査請求】未請求
【請求項の数】12
【出願形態】ＯＬ
(21)【出願番号】P 2023023213
(22)【出願日】2023-02-17
(71)【出願人】
【識別番号】000000295
【氏名又は名称】沖電気工業株式会社
(74)【代理人】
【識別番号】100174104
【弁理士】
【氏名又は名称】奥田 康一
(72)【発明者】
【氏名】河野 晃光
【テーマコード（参考）】
2G051
5L096
【Ｆターム（参考）】
2G051AA61
2G051AB14
2G051EA16
2G051EB01
2G051ED21
5L096AA02
5L096AA06
5L096BA03
5L096BA18
5L096CA02
5L096DA02
5L096EA43
5L096FA35
5L096FA54
5L096GA40
5L096GA51
5L096HA11
(57)【要約】
【課題】対象物における判定の精度を高める。
【解決手段】外観検査装置１は、回路基板ＢＤを撮影する撮像部７と、撮像部７により撮影された判定用画像データを取得する取得部２１と、回路基板ＢＤが撮影された学習用画像データと、該学習用画像データから抽出すべき学習用特徴量を含む教師データセットを用いて学習処理が行われた学習モデルを使用して、判定用画像データから判定用特徴量を抽出する特徴量抽出部２７と、学習用特徴量と判定用特徴量との剥離を示す異常度を算出する異常度算出部２４と、異常度が判定閾値以下である場合、判定用画像データにおける特定色である白色の割合から判定用画像データを判定する判定部２５と、判定部２５による判定の結果を出力する表示部５とを設ける。
【選択図】図８
【解決手段】外観検査装置１は、回路基板ＢＤを撮影する撮像部７と、撮像部７により撮影された判定用画像データを取得する取得部２１と、回路基板ＢＤが撮影された学習用画像データと、該学習用画像データから抽出すべき学習用特徴量を含む教師データセットを用いて学習処理が行われた学習モデルを使用して、判定用画像データから判定用特徴量を抽出する特徴量抽出部２７と、学習用特徴量と判定用特徴量との剥離を示す異常度を算出する異常度算出部２４と、異常度が判定閾値以下である場合、判定用画像データにおける特定色である白色の割合から判定用画像データを判定する判定部２５と、判定部２５による判定の結果を出力する表示部５とを設ける。
【選択図】図８
【特許請求の範囲】
【請求項1】
対象物が撮影された第１画像データを取得する取得ステップと、
前記対象物が撮影された第２画像データと、該第２画像データから抽出すべき第２特徴量とを含む教師データセットを用いて学習処理が行われた学習モデルを使用して、前記第１画像データから第１特徴量を抽出する特徴量抽出ステップと、
前記第２特徴量と前記第１特徴量との剥離を示す評価値を算出する評価値算出ステップと、
前記評価値が第１閾値以下である場合、前記第１画像データにおける特定色の割合から前記第１画像データを判定する判定ステップと
を有することを特徴とする判定方法。
前記対象物が撮影された第２画像データと、該第２画像データから抽出すべき第２特徴量とを含む教師データセットを用いて学習処理が行われた学習モデルを使用して、前記第１画像データから第１特徴量を抽出する特徴量抽出ステップと、
前記第２特徴量と前記第１特徴量との剥離を示す評価値を算出する評価値算出ステップと、
前記評価値が第１閾値以下である場合、前記第１画像データにおける特定色の割合から前記第１画像データを判定する判定ステップと
を有することを特徴とする判定方法。
【請求項2】
前記判定ステップは、
前記第１画像データを第１領域と第２領域とに区分し、前記第１領域と前記第２領域との前記特定色の差分から、前記第１画像データを判定する
ことを特徴とする請求項１に記載の判定方法。
前記第１画像データを第１領域と第２領域とに区分し、前記第１領域と前記第２領域との前記特定色の差分から、前記第１画像データを判定する
ことを特徴とする請求項１に記載の判定方法。
【請求項3】
前記対象物が撮影された画像における部品の領域である部品領域を抽出する部品領域抽出ステップ
をさらに有し、
前記判定ステップは、
前記第１画像データの前記部品領域を前記第１領域と前記第２領域とに区分し、前記第１領域における前記部品領域内と前記第２領域における前記部品領域内との前記特定色の差分から、前記第１画像データを判定する
ことを特徴とする請求項２に記載の判定方法。
をさらに有し、
前記判定ステップは、
前記第１画像データの前記部品領域を前記第１領域と前記第２領域とに区分し、前記第１領域における前記部品領域内と前記第２領域における前記部品領域内との前記特定色の差分から、前記第１画像データを判定する
ことを特徴とする請求項２に記載の判定方法。
【請求項4】
前記判定ステップは、
前記評価値が前記第１閾値よりも小さい第２閾値以上である場合、前記第１画像データにおける前記特定色の割合から前記第１画像データを判定する
ことを特徴とする請求項１に記載の判定方法。
前記評価値が前記第１閾値よりも小さい第２閾値以上である場合、前記第１画像データにおける前記特定色の割合から前記第１画像データを判定する
ことを特徴とする請求項１に記載の判定方法。
【請求項5】
前記判定ステップは、
前記第１画像データにおける前記特定色の割合から、前記対象物が第１分類又は該第１分類とは異なる第２分類の何れに属するかを判定する
ことを特徴とする請求項１に記載の判定方法。
前記第１画像データにおける前記特定色の割合から、前記対象物が第１分類又は該第１分類とは異なる第２分類の何れに属するかを判定する
ことを特徴とする請求項１に記載の判定方法。
【請求項6】
前記判定ステップによる前記判第１分類又は前記第２分類の判定結果を表示部に表示する表示ステップ
をさらに有することを特徴とする請求項５に記載の判定方法。
をさらに有することを特徴とする請求項５に記載の判定方法。
【請求項7】
前記判定ステップは、
前記評価値が前記第１閾値以下であるか否かを判定する一次判定ステップと、
前記評価値が前記第１閾値以下である場合、前記第１画像データにおける前記特定色の割合から前記第１画像データを判定する二次判定ステップと
を有することを特徴とする請求項１に記載の判定方法。
前記評価値が前記第１閾値以下であるか否かを判定する一次判定ステップと、
前記評価値が前記第１閾値以下である場合、前記第１画像データにおける前記特定色の割合から前記第１画像データを判定する二次判定ステップと
を有することを特徴とする請求項１に記載の判定方法。
【請求項8】
前記評価値が前記第１閾値以下である場合、前記第１特徴量を用いて、前記学習モデルを更新する学習モデル更新ステップ
をさらに有することを特徴とする請求項１に記載の判定方法。
をさらに有することを特徴とする請求項１に記載の判定方法。
【請求項9】
前記特定色は、白色である
請求項１乃至請求項８の何れかに記載の判定方法。
請求項１乃至請求項８の何れかに記載の判定方法。
【請求項10】
情報処理装置に対し、
対象物が撮影された第１画像データを取得する取得ステップと、
前記対象物が撮影された第２画像データと、該第２画像データから抽出すべき第２特徴量とを含む教師データセットを用いて学習処理が行われた学習モデルを使用して、前記第１画像データから第１特徴量を抽出する特徴量抽出ステップと、
前記第２特徴量と前記第１特徴量との剥離を示す評価値を算出する評価値算出ステップと、
前記評価値が第１閾値以下である場合、前記第１画像データにおける特定色の割合から前記第１画像データを判定する判定ステップと
を実行させるための判定プログラム。
対象物が撮影された第１画像データを取得する取得ステップと、
前記対象物が撮影された第２画像データと、該第２画像データから抽出すべき第２特徴量とを含む教師データセットを用いて学習処理が行われた学習モデルを使用して、前記第１画像データから第１特徴量を抽出する特徴量抽出ステップと、
前記第２特徴量と前記第１特徴量との剥離を示す評価値を算出する評価値算出ステップと、
前記評価値が第１閾値以下である場合、前記第１画像データにおける特定色の割合から前記第１画像データを判定する判定ステップと
を実行させるための判定プログラム。
【請求項11】
対象物が撮影された第１画像データを取得する取得部と、
前記対象物が撮影された第２画像データと、該第２画像データから抽出すべき第２特徴量とを含む教師データセットを用いて学習処理が行われた学習モデルを使用して、前記第１画像データから第１特徴量を抽出する特徴量抽出部と、
前記第２特徴量と前記第１特徴量との剥離を示す評価値を算出する評価値算出部と、
前記評価値が第１閾値以下である場合、前記第１画像データにおける特定色の割合から前記第１画像データを判定する判定部と
を有する判定装置。
前記対象物が撮影された第２画像データと、該第２画像データから抽出すべき第２特徴量とを含む教師データセットを用いて学習処理が行われた学習モデルを使用して、前記第１画像データから第１特徴量を抽出する特徴量抽出部と、
前記第２特徴量と前記第１特徴量との剥離を示す評価値を算出する評価値算出部と、
前記評価値が第１閾値以下である場合、前記第１画像データにおける特定色の割合から前記第１画像データを判定する判定部と
を有する判定装置。
【請求項12】
対象物を撮影する撮像部と、
前記撮像部により撮影された第１画像データを取得する取得部と、
前記対象物が撮影された第２画像データと、該第２画像データから抽出すべき第２特徴量とを含む教師データセットを用いて学習処理が行われた学習モデルを使用して、前記第１画像データから第１特徴量を抽出する特徴量抽出部と、
前記第２特徴量と前記第１特徴量との剥離を示す評価値を算出する評価値算出部と、
前記評価値が第１閾値以下である場合、前記第１画像データにおける特定色の割合から前記第１画像データを判定する判定部と、
前記判定部による判定の結果を出力する出力部と
を有する外観検査装置。
前記撮像部により撮影された第１画像データを取得する取得部と、
前記対象物が撮影された第２画像データと、該第２画像データから抽出すべき第２特徴量とを含む教師データセットを用いて学習処理が行われた学習モデルを使用して、前記第１画像データから第１特徴量を抽出する特徴量抽出部と、
前記第２特徴量と前記第１特徴量との剥離を示す評価値を算出する評価値算出部と、
前記評価値が第１閾値以下である場合、前記第１画像データにおける特定色の割合から前記第１画像データを判定する判定部と、
前記判定部による判定の結果を出力する出力部と
を有する外観検査装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は判定方法、判定プログラム、判定装置及び外観検査装置に関し、例えば工業製品の外観を検査する外観検査装置に適用して好適なものである。
【背景技術】
【0002】
従来、外観検査装置として、例えば電子回路基板のような工業製品の製造工場に設置され、製造された工業製品（以下、対象物とも呼ぶ）を撮像して画像データを取得し、該画像データを基に該工業製品が正常（良品）又は異常（不良品）の何れであるかを判定する判定処理を行うものが広く普及している。
【0003】
この判定処理では、例えば得られた画像データに対してエッジ検出等の画像処理を経て特徴を強調することにより、同様の画像処理を経た良品の画像データとの差異を基に、例えば回路基板上におけるチップ部品の有無や実装位置のずれ等のような不良の発生の有無を判定する。
【0004】
また外観検査装置として、例えば得られた画像データを基に赤、緑及び青のような異なる色によるフィルタ画像データを複数生成し、コントラストが最も大きい等の条件を満たすものを用いることにより、判定精度の向上を図ったものも提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２０１２－００７９５２号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、このような外観検査装置においては、良品に良く似た不良品を不良品であると精度良く判定することが難しい場合があり、対象物の判定の精度が低下してしまう場合があった。
【0007】
本発明は以上の点を考慮してなされたもので、対象物における判定の精度を高め得る判定方法、判定プログラム、判定装置及び外観検査装置を提案しようとするものである。
【課題を解決するための手段】
【0008】
かかる課題を解決するため本発明の判定方法においては、対象物が撮影された第１画像データを取得する取得ステップと、対象物が撮影された第２画像データと、該第２画像データから抽出すべき第２特徴量とを含む教師データセットを用いて学習処理が行われた学習モデルを使用して、第１画像データから第１特徴量を抽出する特徴量抽出ステップと、第２特徴量と第１特徴量との剥離を示す評価値を算出する評価値算出ステップと、評価値が第１閾値以下である場合、第１画像データにおける特定色の割合から第１画像データを判定する判定ステップとを有するようにした。
【0009】
また本発明の判定プログラムにおいては、情報処理装置に対し、対象物が撮影された第１画像データを取得する取得ステップと、対象物が撮影された第２画像データと、該第２画像データから抽出すべき第２特徴量とを含む教師データセットを用いて学習処理が行われた学習モデルを使用して、第１画像データから第１特徴量を抽出する特徴量抽出ステップと、第２特徴量と第１特徴量との剥離を示す評価値を算出する評価値算出ステップと、評価値が第１閾値以下である場合、第１画像データにおける特定色の割合から第１画像データを判定する判定ステップとを実行させるようにした。
【0010】
さらに本発明の判定装置においては、対象物が撮影された第１画像データを取得する取得部と、対象物が撮影された第２画像データと、該第２画像データから抽出すべき第２特徴量とを含む教師データセットを用いて学習処理が行われた学習モデルを使用して、第１画像データから第１特徴量を抽出する特徴量抽出部と、第２特徴量と第１特徴量との剥離を示す評価値を算出する評価値算出部と、評価値が第１閾値以下である場合、第１画像データにおける特定色の割合から第１画像データを判定する判定部とを設けるようにした。
【0011】
さらに本発明の外観検査装置においては、対象物を撮影する撮像部と、撮像部により撮影された第１画像データを取得する取得部と、対象物が撮影された第２画像データと、該第２画像データから抽出すべき第２特徴量とを含む教師データセットを用いて学習処理が行われた学習モデルを使用して、第１画像データから第１特徴量を抽出する特徴量抽出部と、第２特徴量と第１特徴量との剥離を示す評価値を算出する評価値算出部と、評価値が第１閾値以下である場合、第１画像データにおける特定色の割合から第１画像データを判定する判定部と、判定部による判定の結果を出力する出力部とを設けるようにした。
【0012】
本発明は、不良品を良品であると判定してしまっても、第１画像データにおける特定色の割合から第１画像データを再判定することにより、不良品であると正しく判定することができる。
【発明の効果】
【0013】
本発明によれば、不良品を良品であると判定してしまっても、第１画像データにおける特定色の割合から第１画像データを再判定することにより、不良品であると正しく判定することができ、かくして対象物の判定の精度を向上させ得る判定方法、判定プログラム、判定装置及び外観検査装置を実現できる。
【図面の簡単な説明】
【0014】
【図1】外観検査装置のハードウェア構成を示すブロック図である。
【図2】回路基板に対するチップ部品の実装の様子を示す図である。
【図3】回路基板における不良の発生の様子を示す図である。
【図4】回路基板から取得された判定用部品画像の例を示す図である。
【図5】第１の実施の形態による外観検査装置の機能構成を示すブロック図である。
【図6】第１の実施の形態による二次判定処理の例を示す図である。
【図7】第１及び第２の実施の形態による学習処理手順を示すフローチャートである。
【図8】第１の実施の形態による判定処理手順を示すフローチャートである。
【図9】二次判定部の有無による異常度の度数分布グラフを示す図である。
【図10】二次判定部の有無による不良品の不良検出率を示す表である。
【図11】第２の実施の形態による外観検査装置の機能構成を示すブロック図である。
【図12】線及び文字が記載された回路基板を示す図である。
【図13】第２の実施の形態による回路基板から取得された判定用部品画像の例を示す図である。
【図14】第２の実施の形態による部品領域抽出処理の例を示す図である。
【図15】第２の実施の形態による二次判定処理の例を示す図である。
【図16】第２の実施の形態による判定処理手順を示すフローチャートである。
【図17】他の実施の形態による回路基板に対するチップ部品の実装の様子を示す図である。
【発明を実施するための形態】
【0015】
以下、発明を実施するための形態（以下、これを実施の形態と呼ぶ）について、図面を用いて説明する。
【0016】
［１．第１の実施の形態］
［１－１．外観検査装置の構成］
第１の実施の形態による外観検査装置１は、例えば回路基板に電子部品を実装する製造工場に設置されており、該電子部品が実装された該回路基板を検査対象として、良品又は不良品を判定する判定処理を行う。この製造工場では、例えば回路基板に対しリフロー処理等を行うことにより、チップ状の微小な抵抗やコンデンサ等の表面実装部品（いわゆるチップ部品）を実装する実装処理を行う。以下では、電子部品が実装された回路基板を対象物とも呼ぶ。
［１－１．外観検査装置の構成］
第１の実施の形態による外観検査装置１は、例えば回路基板に電子部品を実装する製造工場に設置されており、該電子部品が実装された該回路基板を検査対象として、良品又は不良品を判定する判定処理を行う。この製造工場では、例えば回路基板に対しリフロー処理等を行うことにより、チップ状の微小な抵抗やコンデンサ等の表面実装部品（いわゆるチップ部品）を実装する実装処理を行う。以下では、電子部品が実装された回路基板を対象物とも呼ぶ。
【0017】
図１に示すように、判定装置としての外観検査装置１は、制御部２を中心とした情報処理装置として構成されており、該制御部２に記憶部３及び通信部４が接続され、さらに表示部５、操作部６及び撮像部７がそれぞれ接続されている。
【0018】
制御部２は、各種演算処理を行うＣＰＵ（Central Processing Unit）１１、各種情報が予め記憶されたＲＯＭ（Read Only Memory）１２、及び各種情報を一時的に記憶するＲＡＭ（Random Access Memory）１３等を有している。この制御部２は、ＲＡＭ１３をワークエリアとして使用しながら、ＲＯＭ１２や記憶部３等から読み出した各種プログラムをＣＰＵ１１によって実行することにより、様々な処理を行う。
【0019】
記憶部３は、例えばＳＳＤ（Solid State Drive）やＨＤＤ（Hard Disk Drive）のような不揮発性の記憶媒体であり、各種プログラムや各種情報等を記憶する。通信部４は、例えばＩＥＥＥ（Institute of Electrical and Electronics Engineers）８０２．３（ＩＥＥＥ８０２．３ｕ／ａｂ／ａｎ／ａｅ）等の規格に準拠した有線ＬＡＮ（Local Area Network）のインタフェース等を有している。この通信部４は、図示しないネットワークと接続されており、該ネットワークを介して、製造工場内に設置された他の機器や外部のサーバ装置等との間で種々の情報を送受信する。
【0020】
出力部としての表示部５は、例えば液晶パネルや有機ＥＬ（Electro Luminescence）パネルのような表示デバイスであり、制御部２の制御に基づき種々の情報を表示する。操作部６は、例えば表示部５を構成する液晶パネルの表面に設けられたタッチセンサや押下可能な操作ボタン等であり、外観検査装置１を使用する使用者からの操作指示を受け付ける。
【0021】
撮像部７は、例えば光を集光するレンズや光を電気信号に変換する撮像素子等を有している。また撮像部７は、例えば製造工場において電子部品が実装された回路基板（対象物）が搬送されるベルトコンベアの近傍等において、該対象物を良好に撮像し得る箇所に設置されている。この撮像部７は、制御部２の制御に基づき、レンズの光軸を中心とした撮像範囲から得られる光を用いて、対象物を含む２次元の画像を撮像して画像データを生成し、該画像データを該制御部２へ供給する。これに応じて制御部２は、供給された画像データを記憶部３に記憶させる。
【0022】
［１－２．判定処理の基本的原理］
次に、外観検査装置１において対象物を正常（良品、第１分類とも呼ぶ）又は異常（不良品、第２分類とも呼ぶ）と判定する判定処理の基本的原理について説明する。チップ部品が実装される回路基板には、該チップ部品の理想的な実装箇所が予め設定されており、該チップ部品の形状等に合わせて電極が設けられている。
次に、外観検査装置１において対象物を正常（良品、第１分類とも呼ぶ）又は異常（不良品、第２分類とも呼ぶ）と判定する判定処理の基本的原理について説明する。チップ部品が実装される回路基板には、該チップ部品の理想的な実装箇所が予め設定されており、該チップ部品の形状等に合わせて電極が設けられている。
【0023】
例えば図２（Ａ）、図２（Ｂ）及び図２（Ｃ）は、回路基板ＢＤのみ、チップ部品ＭＰのみ及び該チップ部品ＭＰが正常に実装された回路基板ＢＤをそれぞれ示している。図２（Ａ）に示した回路基板ＢＤは、表面側（紙面の手前側）の２箇所に電極パッドＰＤが形成されており、仮想的な実装領域ＡＲｍ（図中に一点鎖線で示す）が設定されている。図２（Ｂ）に示したチップ部品ＭＰは、微小な直方体状に形成されており、２箇所の電極部分ＥＬが設けられている。また、チップ部品ＭＰが回路基板ＢＤに実装される際に該回路基板ＢＤと対向する面、すなわち図における紙面奥側の面を、実装面ＭＰＳと呼ぶ。
【0024】
図２（Ｃ）に示した回路基板ＢＤは、実装領域ＡＲｍにチップ部品ＭＰが適切に実装されており、該チップ部品ＭＰの各電極部分ＥＬと回路基板ＢＤの各電極パッドＰＤとに渡るようにして、はんだ（図示せず）がそれぞれ付着している。はんだは、例えばリフロー工程等において所定の高温で溶解された後に凝固されることにより、回路基板ＢＤの電極パッドＰＤに対しチップ部品ＭＰの電極部分ＥＬを物理的に固定すると共に電気的に接続している。またチップ部品ＭＰは、実装面ＭＰＳを回路基板ＢＤの表面と対向させ、且つ該表面に対し当接若しくは密接させている。
【0025】
【0026】
図３（Ｂ）は、回路基板ＢＤに対しチップ部品ＭＰが実装されているものの、回路基板ＢＤの表面に直交する方向から見た場合のチップ部品ＭＰの位置や傾き等が実装領域ＡＲｍ（図２（Ａ））から大きくずれており、「位置ずれ」と呼ばれる。具体的に、図３（Ｂ）に示した状態は、適切な状態に対しチップ部品ＭＰが時計回りに回転しており、チップ部品ＭＰの一方である右側の電極部分ＥＬは回路基板ＢＤの電極パッドＰＤにはんだ付けされているものの、チップ部品ＭＰの他方である左側の電極部分ＥＬは回路基板ＢＤの電極パッドＰＤからずれており正常にはんだ付けされていない状態である。
【0027】
図３（Ｃ）は回路基板ＢＤの表面に直交する方向から見た状態を示し、図３（Ｄ）は図３（Ｃ）を回路基板ＢＤの表面に沿う方向に沿って該回路基板ＢＤを横方向から見た状態を示している。図３（Ｃ）及び図３（Ｄ）は、回路基板ＢＤに対しチップ部品ＭＰが実装されているものの、その横方向から見た際に何れかの電極部分ＥＬが電極パッドＰＤから上方向に浮いてチップ部品ＭＰの実装面ＭＰＳが回路基板ＢＤの表面から離れており、「チップ立ち」と呼ばれる。具体的に、図３（Ｃ）及び図３（Ｄ）に示した状態は、回路基板ＢＤの表面に沿う方向に沿って該回路基板ＢＤを横方向から見た際に、図３（Ｂ）と同様にチップ部品ＭＰの一方である右側の電極部分ＥＬは回路基板ＢＤの電極パッドＰＤにはんだ付けされているものの、チップ部品ＭＰの他方である左側の電極部分ＥＬは回路基板ＢＤの電極パッドＰＤから上方向に浮いており正常にはんだ付けされていない状態である。
【0028】
図４は、撮像部７（図１）により回路基板ＢＤを撮像して得られた画像データにおける一部の領域である、実装領域ＡＲｍ（図２（Ａ））と、該実装領域ＡＲｍの周囲の回路基板ＢＤとを含む、判定用部品画像ＩＭｂを示したものである。
【0029】
このうち図４（Ａ）は、図２（Ｃ）に示した場合と同様に、回路基板ＢＤに対しチップ部品ＭＰが適切に実装された、正常と判定される状態が撮像された判定用部品画像ＩＭｂ１である。回路基板ＢＤの実装領域ＡＲｍ（図２（Ａ））に対しチップ部品ＭＰが適切に実装された場合、回路基板ＢＤの表面に直交する方向において該回路基板ＢＤを真上から見た状態の判定用部品画像ＩＭｂ１においては、チップ部品ＭＰの電極部分ＥＬによって回路基板ＢＤの電極パッドＰＤの全領域が隠されている。
【0030】
図４（Ｂ）は、図３（Ａ）に示した場合と同様に、「欠品」と呼ばれる不良の一形態が撮像された判定用部品画像ＩＭｂ２である。図４（Ｃ）は、図３（Ｂ）に示した場合と同様に、「位置ずれ」と呼ばれる不良の一形態が撮像された判定用部品画像ＩＭｂ３である。図４（Ｄ）は、図３（Ｃ）及び図３（Ｄ）に示した場合と同様に、「チップ立ち」と呼ばれる不良の一形態が撮像された判定用部品画像ＩＭｂ４である。判定用部品画像ＩＭｂ４においては、チップ部品ＭＰが左上がりに浮くことにより、左側の電極パッドＰＤにおける左側半分程度の領域であるパッド露出領域ＡＲｖが、チップ部品ＭＰの左側の電極部分ＥＬの左側に露出している。以下では、判定用部品画像ＩＭｂ１、ＩＭｂ２、ＩＭｂ３及びＩＭｂ４をまとめて判定用部品画像ＩＭｂとも呼ぶ。
【0031】
異常な状態の画像である判定用部品画像ＩＭｂ２（図４（Ｂ））及びＩＭｂ３（図４（Ｃ））は、正常な状態の画像である判定用部品画像ＩＭｂ１（図４（Ａ））に対し、真上から見た場合の見た目が大きく異なっている。このため外観検査装置１は、一次判定部２８（図５）（詳細は後述する）による判定で、判定用部品画像ＩＭｂ２（図４（Ｂ））及びＩＭｂ３（図４（Ｃ））は異常であると問題なく判定できる。
【0032】
しかしながら、異常な状態の画像であるはずの判定用部品画像ＩＭｂ４（図４（Ｄ））は、正常な状態の画像である判定用部品画像ＩＭｂ１（図４（Ａ））に対し、真上から見た場合の見た目が似ている。このため外観検査装置１は、一次判定部２８による判定で判定用部品画像ＩＭｂ４（図４（Ｄ））を良品と判断してしまう可能性がある。
【0033】
これに対し二次判定部２９（図５）（詳細は後述する）は、一次判定部２８による判定結果が良品である判定用画像データ（後述する）に対して二次判定処理を行う。一方、二次判定部２９は、一次判定部２８による判定結果が不良品である判定用画像データに対しては二次判定処理を行わない。
【0034】
［１－３．外観検査処理］
次に、外観検査装置１における外観検査処理について説明する。外観検査装置１では、外観検査処理において、画像データから得られる特徴量について、前段の学習処理と後段の判定処理とによる機械学習処理を行う。また外観検査装置１の制御部２は、学習処理及び判定処理を行う際に、内部に複数の機能ブロックを形成する。以下では、機能ブロックの構成と、前段の学習処理と、後段の判定処理とについて、それぞれ説明する。
次に、外観検査装置１における外観検査処理について説明する。外観検査装置１では、外観検査処理において、画像データから得られる特徴量について、前段の学習処理と後段の判定処理とによる機械学習処理を行う。また外観検査装置１の制御部２は、学習処理及び判定処理を行う際に、内部に複数の機能ブロックを形成する。以下では、機能ブロックの構成と、前段の学習処理と、後段の判定処理とについて、それぞれ説明する。
【0035】
またここでは、予め外観検査装置１の撮像部７（図１）により、製造工場において電子部品が実装された回路基板（すなわち対象物）が撮像され、生成された画像データが記憶部３に保存されているものとする。この画像データには、学習処理において使用される学習用画像データ（学習用データとも呼ぶ）と、判定処理において使用される判定用画像データ（判定用データとも呼ぶ）とが含まれる。
【0036】
学習用画像データは、予め良品であることが判明している対象物から得られた画像データであり、教師データとも呼ばれる。また判定用画像データは、製造工場において回路基板に電子部品が実装されたものの、不良の有無が未確認であるために検査を行うべき対象物から得られた画像データである。このうち判定用画像データには、例えば対象物である回路基板に割り当てられた製造番号や製造日時のような、該対象物との対応関係を表す情報も付与されている。
【0037】
［１－３－１．機能ブロックの構成］
次に、機能ブロックの構成について説明する。外観検査装置１の制御部２（図１）は、記憶部３に予め記憶された学習処理プログラム又は判定処理プログラムをそれぞれ読み出して実行することにより、図５に示すような各機能ブロックを形成する。具体的に制御部２は、取得部２１、特徴量処理部２３、異常度算出部２４及び判定部２５を形成し、さらに該特徴量処理部２３内に特徴量抽出部２７を、該判定部２５内に一次判定部２８及び二次判定部２９をそれぞれ形成する。
次に、機能ブロックの構成について説明する。外観検査装置１の制御部２（図１）は、記憶部３に予め記憶された学習処理プログラム又は判定処理プログラムをそれぞれ読み出して実行することにより、図５に示すような各機能ブロックを形成する。具体的に制御部２は、取得部２１、特徴量処理部２３、異常度算出部２４及び判定部２５を形成し、さらに該特徴量処理部２３内に特徴量抽出部２７を、該判定部２５内に一次判定部２８及び二次判定部２９をそれぞれ形成する。
【0038】
また記憶部３には、画像データが保存されるデータ保存部３１と、該画像データから抽出された特徴量（詳しくは後述する）が保存される特徴量保存部３３とが形成される。データ保存部３１は、判定処理において用いられる複数の画像データ（判定用画像データ）を保存している。またデータ保存部３１は、学習処理において用いられる複数の画像データ（学習用画像データ）を保存している。複数の学習用画像データは、良品のデータにより構成される。これらの判定用画像データと学習用画像データとは、互いの別のデータとして用意されている。
【0039】
取得部２１は、学習処理において、データ保存部３１から１個又は複数個の画像データである複数個の学習用画像データを読み出し、特徴量処理部２３の特徴量抽出部２７へ供給する。また取得部２１は、判定処理において、データ保存部３１から１個の画像データである判定用画像データを読み出し、特徴量処理部２３の特徴量抽出部２７と判定部２５の二次判定部２９とへ供給する。
【0040】
特徴量処理部２３は、機械学習処理（単に学習処理とも呼ばれる）における学習モデルに相当する部分である。特徴量抽出部２７は、学習処理において、抽出処理として学習用画像データから特徴量を抽出し、この特徴量を特徴量保存部３３に保存させる。また特徴量抽出部２７は、判定処理において、抽出処理として判定用画像データから特徴量を抽出し、この特徴量を異常度算出部２４へ供給する。具体的に特徴量抽出部２７は、例えばニューラルネットワークとして構成されており、公開データセット等を用いて重みパラメータが学習されたものを使用する。また特徴量抽出部２７は、必要に応じてＲＡＭ１３や記憶部３（図１）を適宜利用することにより、機械学習のパラメータ等を適宜保持することができる。またこれらの学習処理では、画像データと特徴量とが対応付けられた教師データセットが使用される。
【0041】
異常度算出部２４は、判定処理において、特徴量抽出部２７から供給された特徴量（以下これを判定用特徴量と呼ぶ）と、特徴量保存部３３から読み出した特徴量（以下これを学習済特徴量と呼ぶ）とを基に、該判定用特徴量と該学習済特徴量との差異の大きさを表す異常度（以下これを評価値とも呼ぶ）を算出し、これを判定部２５の一次判定部２８へ供給する。具体的に異常度算出部２４は、例えばユークリッド距離を用いた最近傍法やマハラノビス距離を用いた演算処理等により、多次元空間内における判定用特徴量と学習済特徴量との距離（以下これを剥離とも呼ぶ）を算出し、これを異常度とする。
【0042】
一次判定部２８は、判定処理における一次判定処理において、異常度算出部２４から供給される異常度と、予め設定された判定閾値とを比較して判定結果を決定し、判定結果を二次判定部２９へ供給する。このとき一次判定部２８は、異常度が判定閾値以下であれば判定結果を「良品」とし、異常度が判定閾値よりも大きければ判定結果を「不良」とする。
【0043】
二次判定部２９は、判定処理における二次判定処理において、取得部２１から供給される判定用画像データと、一次判定部２８から供給される判定結果とを用いて二次判定処理（以下では再判定処理とも呼ぶ）を行う。このとき二次判定部２９は、一次判定部２８から供給された判定結果において良品と判定された判定用画像データに対して後述する二次判定処理を実行し、判定結果を決定する。これを換言すれば、二次判定部２９は、閾値との比較結果に応じて異常度を分類することになる。このため、判定処理を分類処理と呼ぶこともできる。
【0044】
［１－３－２．第１の実施の形態による二次判定処理について］
ここで、上述したように、判定用部品画像ＩＭｂ４（図４（Ｄ））の場合、左側の電極パッドＰＤが写った状態となっている。また、回路基板ＢＤの表面の色は黒色や緑色等が一般的であり、チップ部品ＭＰにおける電極部分ＥＬ以外の部分は黒色や濃い灰色等が一般的である。電極パッドＰＤの領域とチップ部品ＭＰの電極部分ＥＬの領域とは、撮像部７による撮影時にフラッシュが使用されて撮影されるため、回路基板ＢＤの領域とチップ部品ＭＰにおける電極部分ＥＬ以外の領域と比較して白色度が高いという特徴がある。
ここで、上述したように、判定用部品画像ＩＭｂ４（図４（Ｄ））の場合、左側の電極パッドＰＤが写った状態となっている。また、回路基板ＢＤの表面の色は黒色や緑色等が一般的であり、チップ部品ＭＰにおける電極部分ＥＬ以外の部分は黒色や濃い灰色等が一般的である。電極パッドＰＤの領域とチップ部品ＭＰの電極部分ＥＬの領域とは、撮像部７による撮影時にフラッシュが使用されて撮影されるため、回路基板ＢＤの領域とチップ部品ＭＰにおける電極部分ＥＬ以外の領域と比較して白色度が高いという特徴がある。
【0045】
そこで二次判定部２９は、二次判定処理において、図６（Ａ）に示す判定用部品画像ＩＭｂ４をグレースケールに変換して図６（Ｂ）に示すグレースケール画像ＩＭｇを生成し、該グレースケール画像ＩＭｇ全体において、輝度値の最高値から一定の範囲の画素を白画素として認識する。本実施の形態において、白画素とは、画像データ（色データ）の色を規定する色空間（ＲＧＢ値）において白色（Ｒ＝２５５、Ｇ＝２５５、Ｂ＝２５５）の色値を有する画素である。
【0046】
以下では、例えば、図６（Ａ）のように、回路基板ＢＤ上において左右方向に沿って並ぶように配置された一対の電極パッドＰＤに、チップ部品ＭＰが、左右方向の両端部に一対の電極部分ＥＬが配置された左右対称の状態で実装されている場合について説明する。
【0047】
二次判定部２９は、図６（Ｃ）に示すようにグレースケール画像ＩＭｇ（図６（Ｂ））を左右中央において中心線Ｌｃで左右に２分割し、グレースケール画像ＩＭｇにおける中心線Ｌｃよりも左側の領域の左側領域ＡＲｌ（以下これを第１領域とも呼ぶ）内における白画素の領域である白画素領域ＡＲｗ（図中に一点鎖線で示す）の画素数である白画素数（すなわち左側白画素数）を算出する。また二次判定部２９は、グレースケール画像ＩＭｇにおける中心線Ｌｃよりも右側の領域の右側領域ＡＲｒ（以下これを第２領域とも呼ぶ）内における白画素の領域である白画素領域ＡＲｗ（図中に一点鎖線で示す）の画素数である白画素数（すなわち右側白画素数）を算出する。
【0048】
続いて二次判定部２９は、左側白画素数と右側白画素数との差分である左右白画素数差を算出する。続いて二次判定部２９は、左右白画素数差を、予め設定されているグレースケール画像ＩＭｇ内の電極部分ＥＬの白画素数で除算し、左右白領域割合差を算出する。
【0049】
続いて二次判定部２９は、左右白領域割合差が、予め設定されている白領域割合閾値以上である場合、判定用部品画像ＩＭｂにより示されるチップ部品ＭＰの実装状態は異常と判定する。
【0050】
ここで、二次判定部２９が、左右白画素数差が所定の左右白画素数差閾値以上である場合に異常であると判定せず、左右白領域割合差を白領域割合閾値と比較しているのは、チップ部品ＭＰの大きさが大きくなるほどに電極部分ＥＬの大きさも大きくなるために、様々な大きさのチップ部品ＭＰに対応させるためである。
【0051】
このように二次判定部２９は、判定用部品画像ＩＭｂ４（図４（Ｄ））のような、正常な状態とよく似た異常な状態を正常な状態と一次判定部２８が判定してしまった場合であっても、電極部分ＥＬが中心線Ｌｃに対し互いに逆側に位置するように該中心線Ｌｃにより判定用部品画像ＩＭｂに基づくグレースケール画像ＩＭｇを一方向領域及び他方向領域に２分割し、一方向領域の白画素量と他方向領域の白画素量との差が大きい場合、一方向領域と他方向領域とのうち白画素量の大きい方の領域においてはんだ付けが失敗し電極パッドＰＤの領域が見えている可能性が高いため、二次判定処理によって正しく異常と判定するようにした。
【0052】
図４と同様のチップ部品ＭＰの判定用部品画像ＩＭｂで左右白領域割合差を算出したところ、図４（Ａ）のような正常な状態の場合は６０［％］未満となり、図４（Ｄ）のような正常な状態に似た異常な状態であるチップ立ちの場合は６７［％］以上となった。このため二次判定部２９は、左右白領域割合差が白領域割合閾値である６０［％］以上の判定用部品画像ＩＭｂを異常と判定することにより、判定用部品画像ＩＭｂ（図４（Ｄ））のような画像も正しく異常と判定できる。
【0053】
［１－３－３．学習処理］
次に、学習処理について説明する。外観検査装置１の制御部２（図１）は、学習処理を行う場合、記憶部３から所定の学習処理プログラムを読み出して実行する。このとき制御部２は、所定の初期化処理等を行うと共に、図５に示した各機能ブロックを形成した上で、図７に示す学習処理手順ＲＴ１を開始し、ステップＳＰ１に移る。
次に、学習処理について説明する。外観検査装置１の制御部２（図１）は、学習処理を行う場合、記憶部３から所定の学習処理プログラムを読み出して実行する。このとき制御部２は、所定の初期化処理等を行うと共に、図５に示した各機能ブロックを形成した上で、図７に示す学習処理手順ＲＴ１を開始し、ステップＳＰ１に移る。
【0054】
ステップＳＰ１において制御部２は、データ保存部３１から１個又は複数個の学習用画像データを取得部２１により取得し、ステップＳＰ２に移る。このとき取得部２１は、取得した学習用画像データ（以下これを対象学習用画像データと呼ぶ）を特徴量抽出部２７へ供給する。ステップＳＰ２において制御部２は、特徴量抽出部２７により、対象学習用画像データから特徴量を抽出して該特徴量を学習済特徴量として特徴量保存部３３に保存し、ステップＳＰ３に移る。
【0055】
ステップＳＰ３において制御部２は、所定の学習終了条件を満たすか否かを判定する。この学習終了条件は、例えば「１００個の学習用画像データを処理すること」や「データ保存部３１に保存された学習用画像データを全て処理すること」等のような内容が、予め設定されている。このステップＳＰ３において否定結果が得られると、制御部２は再度ステップＳＰ１に戻ることにより、次の学習用画像データについて一連の処理を繰り返し実行する。一方、ステップＳＰ３において肯定結果が得られると、制御部２は次のステップＳＰ４に移り、学習処理手順ＲＴ１を終了する。
【0056】
［１－３－４．判定処理］
次に、判定処理について説明する。制御部２は、判定処理を行う場合、記憶部３から所定の判定処理プログラムを読み出して実行する。このとき制御部２は、学習処理の場合と同様に、所定の初期化処理等を行うと共に、図５に示した各機能ブロックを形成した上で、図７と対応する図８に示す判定処理手順ＲＴ２を開始し、ステップＳＰ１１に移る。
次に、判定処理について説明する。制御部２は、判定処理を行う場合、記憶部３から所定の判定処理プログラムを読み出して実行する。このとき制御部２は、学習処理の場合と同様に、所定の初期化処理等を行うと共に、図５に示した各機能ブロックを形成した上で、図７と対応する図８に示す判定処理手順ＲＴ２を開始し、ステップＳＰ１１に移る。
【0057】
ステップＳＰ１１（取得ステップ）において制御部２は、取得部２１により、データ保存部３１から１個又は複数個の判定用画像データを取得し、ステップＳＰ１２に移る。このとき取得部２１は、取得した判定用画像データ（以下これを対象判定用画像データと呼ぶ）を特徴量抽出部２７へ供給する。
【0058】
ステップＳＰ１２（特徴量抽出ステップ及び評価値算出ステップ）において制御部２は、特徴量抽出部２７により、対象判定用画像データから特徴量を抽出して該特徴量を判定用特徴量として異常度算出部２４へ供給する。また制御部２は、特徴量保存部３３から読み出した学習済特徴量と特徴量抽出部２７から供給された判定用特徴量とを異常度算出部２４により比較して異常度を算出し、該異常度を判定部２５の一次判定部２８へ供給し、ステップＳＰ１３に移る。
【0059】
これにより、判定用画像データが学習用画像データに類似しており、判定用特徴量と学習済特徴量との差異が比較的小さい場合、異常度の値が比較的小さくなる。このことは、対象物の判定結果が「良品」である可能性が高いことを意味する。一方、判定用画像データが学習用画像データにあまり類似しておらず、判定用特徴量と学習済特徴量との差異が比較的大きい場合、異常度の値が比較的大きくなる。このことは、対象物の判定結果が「不良」である可能性が高いことを意味する。
【0060】
ステップＳＰ１３（判定ステップ及び一次判定ステップ）において制御部２は、一次判定部２８により一次判定処理を行うことにより、判定閾値と異常度算出部２４から供給された異常度とを比較して判定結果を決定し、判定結果を二次判定部２９へ供給し、ステップＳＰ１４に移る。
【0061】
ステップＳＰ１４において制御部２は、一次判定部２８による判定結果が良品であったか否かを二次判定部２９により判定する。ここで肯定結果が得られると、このことは、一次判定部２８により良品と判定されたため二次判定部２９による二次判定処理を行う必要があることを表し、このとき制御部２は、ステップＳＰ１５に移る。
【0062】
ステップＳＰ１５（判定ステップ、二次判定ステップ及び表示ステップ）において制御部２は、一次判定部２８により良品と判定された判定用画像データに対して二次判定部２９により二次判定処理を行うことにより、左右白領域割合差と白領域割合閾値とを比較して判定結果を決定し、得られた判定結果を表す判定結果表示画面を表示部５（図１）に表示させた上で、ステップＳＰ１６に移る。
【0063】
一方、ステップＳＰ１４において否定結果が得られると、このことは、一次判定部２８により不良品と判定されたため二次判定部２９による二次判定処理を行う必要はないことを表し、このとき制御部２は、ステップＳＰ１５をスキップして、ステップＳＰ１６に移る。
【0064】
ステップＳＰ１６において制御部２は、所定の判定終了条件を満たすか否かを判定する。この学習終了条件は、例えば「１００個の判定用画像データを処理すること」や「データ保存部３１に保存された判定用画像データを全て処理すること」等のような内容が、予め設定されている。ここで否定結果が得られると、制御部２は再度ステップＳＰ１１に戻ることにより、次の判定用画像データについて一連の処理を繰り返し実行する。一方、ステップＳＰ１６において肯定結果が得られると、制御部２は次のステップＳＰ１７に移り、判定処理手順ＲＴ２を終了する。
【0065】
［１－４．効果等］
以上の構成において外観検査装置１は、異常値が第１閾値としての判定閾値以下であり一次判定部２８において良品であると判定された判定用画像データに対し、二次判定部２９により二次判定処理を行うようにした。
以上の構成において外観検査装置１は、異常値が第１閾値としての判定閾値以下であり一次判定部２８において良品であると判定された判定用画像データに対し、二次判定部２９により二次判定処理を行うようにした。
【0066】
二次判定部２９は二次判定処理において、判定用部品画像ＩＭｂ（図６（Ａ））をグレースケールに変換してグレースケール画像ＩＭｇ（図６（Ｂ））を生成し、該グレースケール画像ＩＭｇを左右中央において中心線Ｌｃで左右に２分割し、左側白画素数と右側白画素数との差分である左右白画素数差を算出する。また二次判定部２９は、左右白画素数差を、予め設定されているグレースケール画像ＩＭｇ内の電極部分ＥＬの白画素数で除算して左右白領域割合差を算出し、左右白領域割合差が白領域割合閾値以上である場合、判定用部品画像ＩＭｂにより示されるチップ部品ＭＰの実装状態は異常と判定するようにした。
【0067】
このため外観検査装置１は、一次判定部２８により良品と判定された判定用画像データに対して二次判定部２９により二次判定処理を行うことにより、良品に似た不良品であっても正しく不良品と判定できるため、不良検出率を向上でき、良否判定の精度を向上できる。
【0068】
ここで、二次判定部２９の有無による実験例を紹介する。この実験例では、目視による評価（すなわち「良品」又は「不良品」）が予め判明している複数の画像データを用意した。その上で、この実験例では、各画像データから特徴量を抽出して異常度を算出し、さらに統計処理を行った。
【0069】
図９（Ａ）は、本実施の形態とは異なり、二次判定部２９を適応しなかった場合（以下これを二次判定部未適応とも呼ぶ）における、各画像データから得られた異常度の度数分布を表したグラフであり、横軸が異常度を表すと共に縦軸が度数（データ数）を表している。また図９（Ａ）では、目視による評価が「良」の場合（図中に「ＯＫ」と表記）と「不良」の場合（図中に「ＮＧ」と表記）とで、棒グラフ内のパターンを相違させている。
【0070】
この図９（Ａ）では、異常度が０．５付近の箇所において、目視評価が「ＯＫ」であった画像データから得られた異常度（以下これをＯＫ異常度と呼ぶ）の中に、目視評価が「ＮＧ」であった画像データから得られた異常度（以下これをＮＧ異常度と呼ぶ）が存在している。このことは、ＯＫ異常度とＮＧ異常度とを容易に分離し得るような閾値を適切に設定することが難しく、該閾値を適切に設定できなかった場合に誤判定が生じ得ることを意味している。すなわち、二次判定部未適応の場合、図４（Ｄ）に示したように真上から見て正常な状態に似た異常な状態の場合は異常度が正常な状態と同等になる場合があるため、このような場合、外観検査装置１は、正常な状態と異常な状態とを判定閾値Ｔｈで判定することは難しい。
【0071】
ここで、この実験例では、判定閾値Ｔｈを０．６に設定した。その結果、図１０に示すように、ＮＧ異常度が判定閾値Ｔｈよりも大きくなった割合、すなわち異常な対象物を異常と判定する割合（以下これを不良検出率と呼ぶ）が９８．７［％］となった。このことは、二次判定部未適応の場合、残りの１．３［％］の割合で、本来は「異常」であるにも関わらず「正常」と判定されること、すなわち誤判定が生じることを意味している。これを換言すれば、二次判定部未適応の場合、誤判定を抑え得るような適切な判定閾値Ｔｈを設定することが、必ずしも容易ではない。
【0072】
【0073】
この図９（Ｂ）では、異常度が０．５付近の箇所におけるＮＧ異常度が取り除かれている。これにより図９（Ｂ）では、ＯＫ異常度が０．５５以下の範囲に分布している一方、ＮＧ異常度が０．６５以上の範囲に分布しており、図９（Ａ）と比較して、双方の分布が比較的大きく離れている。このことは、ＯＫ異常度とＮＧ異常度とを容易に分離し得るような判定閾値Ｔｈを適切に設定することが比較的容易であり、該判定閾値Ｔｈを適切に設定することにより誤判定を容易に防止し得ることを意味している。すなわち、二次判定部適応の場合、図４（Ｄ）に示したように真上から見て正常な状態に似た異常な状態の場合であっても異常度が正常な状態と同等にはならない。このため外観検査装置１は、正常な状態と異常な状態とを判定閾値Ｔｈで分けて判定できる。
【0074】
この二次判定部適応の場合においても判定閾値Ｔｈを０．６に設定した。その結果、図１０に示すように、ＮＧ異常度が判定閾値Ｔｈよりも大きくなった割合（不良検出率）が１００［％］となった。このことは、二次判定部適応の場合、ＯＫ異常度の分布範囲とＮＧ異常度の分布範囲との間に判定閾値Ｔｈを設定するだけで、誤判定が生じないことを意味している。
【0075】
このように本実施の形態では、一次判定部２８により良品と判定された判定用画像データに対して二次判定部２９により二次判定処理を行うことにより、誤判定を抑え得るような適切な閾値を設定することが、極めて容易となっている。
【0076】
ここで、判定閾値Ｔｈを単純に小さい値とするほど、多くのＮＧ異常度が判定閾値Ｔｈよりも大きくなっていくため、不良検出率は高くなる。しかしながらその場合、ＯＫ異常度についても判定閾値Ｔｈよりも大きくなるものが出てくるため、良品が不良品と判定されてしまう可能性が高くなってしまう。このため外観検査装置１は、二次判定部２９で二次判定処理を行うことにより、ＯＫ異常度の分布範囲とＮＧ異常度の分布範囲とを大きく分離させ、ＯＫ異常度の分布範囲とＮＧ異常度の分布範囲との間に最適な判定閾値Ｔｈを設定することができる。これにより外観検査装置１は、良品を不良品と判定してしまうことを防止できる。
【0077】
以上の構成によれば第１の実施の形態による外観検査装置１は、対象物としての回路基板ＢＤを撮影する撮像部７と、撮像部７により撮影された第１画像データとしての判定用画像データを取得する取得部２１と、回路基板ＢＤが撮影された第２画像データとしての学習用画像データと、該学習用画像データから抽出すべき第２特徴量としての学習用特徴量を含む教師データセットを用いて学習処理が行われた学習モデルを使用して、判定用画像データから第１特徴量としての判定用特徴量を抽出する特徴量抽出部２７と、学習用特徴量と判定用特徴量との剥離を示す評価値としての異常度を算出する異常度算出部２４と、異常度が第１閾値としての判定閾値以下である場合、判定用画像データにおける特定色である白色の割合から判定用画像データを判定する判定部２５と、判定部２５による判定の結果を出力する表示部５とを設けるようにした。
【0078】
これにより外観検査装置１は、不良品を良品であると判定してしまっても、判定用画像データにおける特定色である白色の割合から判定用画像データを再判定することにより、不良品であると正しく判定することができる。
【0079】
［２．第２の実施の形態］
［２－１．外観検査装置の構成］
第２の実施の形態による外観検査装置１０１（図１）は、第１の実施の形態による外観検査装置１と比較して、制御部２に代わる制御部１０２を有する点において相違するものの、他の点については同様に構成されている。制御部１０２は、第１の実施の形態と同様に、ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３等を有しているものの、記憶部３から各種プログラムを読み出して実行することにより、図５と対応するブロックに同一符号を付した図１１に示すように、第１の実施の形態と一部異なる機能ブロックを形成する。
［２－１．外観検査装置の構成］
第２の実施の形態による外観検査装置１０１（図１）は、第１の実施の形態による外観検査装置１と比較して、制御部２に代わる制御部１０２を有する点において相違するものの、他の点については同様に構成されている。制御部１０２は、第１の実施の形態と同様に、ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３等を有しているものの、記憶部３から各種プログラムを読み出して実行することにより、図５と対応するブロックに同一符号を付した図１１に示すように、第１の実施の形態と一部異なる機能ブロックを形成する。
【0080】
具体的に制御部１０２は、第１の実施の形態と比較して、二次判定部２９に代わる二次判定部１２９が設けられていると共に、部品領域抽出部４０が追加されている点において相違するものの、他の点については同様に構成されている。
【0081】
取得部２１は、学習処理において、データ保存部３１から学習用画像データを読み出し、特徴量処理部２３の特徴量抽出部２７へ供給する。また取得部２１は、判定処理において、データ保存部３１から判定用画像データを読み出し、特徴量処理部２３の特徴量抽出部２７と部品領域抽出部４０とへ供給する。
【0082】
部品領域抽出部４０は、判定処理において、判定用画像データを二次判定部１２９へ供給すると共に、判定用画像データから部品領域（後述する）を抽出し、該部品領域を示す情報を部品領域情報として二次判定部１２９へ供給する。
【0083】
二次判定部１２９は、判定処理における二次判定処理において、部品領域抽出部４０から供給される判定用画像データ及び部品領域情報と、一次判定部２８から供給される判定結果とを用いて二次判定処理を行う。このとき二次判定部１２９は、一次判定部２８から供給された判定結果において良品と判定された判定用画像データに対して、後述する二次判定処理を実行し、判定結果を決定する。
【0084】
［２－２．外観検査処理］
次に、外観検査装置１０１における外観検査処理について説明する。外観検査装置１０１では、外観検査処理において、画像データから得られる特徴量について、前段の学習処理と後段の判定処理とによる機械学習処理を行う。
次に、外観検査装置１０１における外観検査処理について説明する。外観検査装置１０１では、外観検査処理において、画像データから得られる特徴量について、前段の学習処理と後段の判定処理とによる機械学習処理を行う。
【0085】
［２－２－１．第２の実施の形態による二次判定処理について］
ところで、図１２に示すように、実際の回路基板ＢＤには、実装領域ＡＲｍを示す白色の四角形等の線ＬＮや、各種情報を示す白色の文字ＣＨが記載されていることが多い。このような白色の線ＬＮや文字ＣＨ等は輝度値が高いため、白画素と判定される可能性が高い。このため、実装領域ＡＲｍ外の領域が多く含まれた状態の判定用部品画像ＩＭｂに基づいて二次判定部１２９において二次判定処理を行った場合、正しく二次判定処理ができない可能性がある。
ところで、図１２に示すように、実際の回路基板ＢＤには、実装領域ＡＲｍを示す白色の四角形等の線ＬＮや、各種情報を示す白色の文字ＣＨが記載されていることが多い。このような白色の線ＬＮや文字ＣＨ等は輝度値が高いため、白画素と判定される可能性が高い。このため、実装領域ＡＲｍ外の領域が多く含まれた状態の判定用部品画像ＩＭｂに基づいて二次判定部１２９において二次判定処理を行った場合、正しく二次判定処理ができない可能性がある。
【0086】
そこで部品領域抽出部４０は、判定用画像データを二次判定部１２９へ供給すると共に、判定用画像データから部品領域ＡＲｐ（後述する）を抽出し、該部品領域ＡＲｐを示す情報を部品領域情報として二次判定部１２９へ供給する。部品領域ＡＲｐとは、判定用画像データの回路基板ＢＤ上においてチップ部品ＭＰが実際に搭載されている領域であり、部品領域情報とは、部品領域ＡＲｐの座標を示す情報である。
【0087】
図１３は、撮像部７（図１）により回路基板ＢＤを撮像して得られた画像データにおける一部の領域である、チップ部品ＭＰと、該チップ部品ＭＰの周囲の回路基板ＢＤとを含む、判定用部品画像ＩＭｂ１０１を示したものである。この判定用部品画像ＩＭｂ１０１は、チップ部品ＭＰ以外の領域において、回路基板ＢＤ上の線ＬＮ及び文字ＣＨが写り込んでいる。
【0088】
部品領域抽出部４０は、公知のテンプレートマッチングを行うことにより、図２（Ｂ）に示したようなチップ部品ＭＰを示す画像と一致度が互い画像を判定用画像データ内において抽出し、図１４に示すように、その画像の領域を部品領域ＡＲｐ（図中にハッチングを付す）とし、その部品領域ＡＲｐの座標を検出する。
【0089】
二次判定部１２９は、二次判定処理において、図１５（Ａ）に示す判定用部品画像ＩＭｂ１０１をグレースケールに変換して図１５（Ｂ）に示すグレースケール画像ＩＭｇ１０１を生成し、該グレースケール画像ＩＭｇ１０１全体において、輝度値の最高値から一定の範囲の画素を白画素として認識する。
【0090】
続いて二次判定部１２９は、図１５（Ｃ）に示すように、グレースケール画像ＩＭｇ１０１（図１５（Ｂ））において、部品領域抽出部４０から供給された部品領域情報により示される部品領域ＡＲｐの座標を認識する。また二次判定部１２９は、図１５（Ｄ）に示すように、グレースケール画像ＩＭｇ１０１における部品領域ＡＲｐ内の輝度差により、電極部分ＥＬの領域である電極部分領域ＡＲｅ（図中に左下がりのハッチングを付す）を認識する。続いて二次判定部１２９は、図１５（Ｄ）に示すように、電極部分領域ＡＲｅの左右外側の所定範囲の領域を、電極パッドＰＤが配置されている可能性が高い電極パッド推定領域ＡＲｄ（図中に右下がりのハッチングを付す）と推定する。
【0091】
続いて二次判定部１２９は、図１５（Ｅ）に示すように、グレースケール画像ＩＭｇ１０１を左右中央において中心線Ｌｃで左右に２分割し、グレースケール画像ＩＭｇにおける左側領域ＡＲｌ内の電極部分領域ＡＲｅと電極パッド推定領域ＡＲｄとをまとめて比較領域ＡＲｃとして設定する。また二次判定部１２９は、グレースケール画像ＩＭｇ１０１における右側領域ＡＲｒ内の電極部分領域ＡＲｅと電極パッド推定領域ＡＲｄとをまとめて比較領域ＡＲｃとして設定する。さらに二次判定部１２９は、グレースケール画像ＩＭｇ１０１における中心線Ｌｃよりも右側に配置された電極部分領域ＡＲｅと電極パッド推定領域ＡＲｄとをまとめて比較領域ＡＲｃとして設定する。
【0092】
さらに二次判定部１２９は、グレースケール画像ＩＭｇ１０１の左側領域ＡＲｌ内における比較領域ＡＲｃ内の白画素領域ＡＲｗ（図中に一点鎖線で示す）の画素数である白画素数（すなわち左側白画素数）を算出する。またさらに二次判定部１２９は、グレースケール画像ＩＭｇ１０１の右側領域ＡＲｒ内における比較領域ＡＲｃ内の白画素領域ＡＲｗ（図中に一点鎖線で示す）の画素数である白画素数（すなわち右側白画素数）を算出する。
【0093】
続いて二次判定部１２９は、左側白画素数と右側白画素数との差分である左右白画素数差を算出する。続いて二次判定部１２９は、左右白画素数差を、予め設定されているグレースケール画像ＩＭｇ１０１内の電極部分ＥＬの白画素数で除算し、左右白領域割合差を算出する。
【0094】
続いて二次判定部２９は、左右白領域割合差が、予め設定されている白領域割合閾値以上である場合、判定用部品画像ＩＭｂにより示されるチップ部品ＭＰの実装状態は異常と判定する。
【0095】
［２－２－２．学習処理］
次に、学習処理について説明する。外観検査装置１０１の制御部１０２（図１）は、学習処理を行う場合、記憶部３から所定の学習処理プログラムを読み出して実行する。このとき制御部１０２は、図１１に示した各機能ブロックを形成した上で、図７に示した第１の実施の形態と同様の学習処理手順ＲＴ１を実行する。学習処理手順ＲＴ１については説明を省略する。
次に、学習処理について説明する。外観検査装置１０１の制御部１０２（図１）は、学習処理を行う場合、記憶部３から所定の学習処理プログラムを読み出して実行する。このとき制御部１０２は、図１１に示した各機能ブロックを形成した上で、図７に示した第１の実施の形態と同様の学習処理手順ＲＴ１を実行する。学習処理手順ＲＴ１については説明を省略する。
【0096】
［２－２－３．判定処理］
次に、判定処理について説明する。制御部１０２は、判定処理を行う場合、記憶部３から所定の判定処理プログラムを読み出して実行する。このとき制御部１０２は、学習処理の場合と同様に、図１１に示した各機能ブロックを形成した上で、判定処理手順ＲＴ２（図８）と対応するステップに同一符号を付した図１６に示す判定処理手順ＲＴ１０２を開始し、ステップＳＰ１１に移る。ステップＳＰ１１～ステップＳＰ１４において制御部１０２は、学習処理手順ＲＴ１（図８）と同様の処理を行い、ステップＳＰ１０１に移る。
次に、判定処理について説明する。制御部１０２は、判定処理を行う場合、記憶部３から所定の判定処理プログラムを読み出して実行する。このとき制御部１０２は、学習処理の場合と同様に、図１１に示した各機能ブロックを形成した上で、判定処理手順ＲＴ２（図８）と対応するステップに同一符号を付した図１６に示す判定処理手順ＲＴ１０２を開始し、ステップＳＰ１１に移る。ステップＳＰ１１～ステップＳＰ１４において制御部１０２は、学習処理手順ＲＴ１（図８）と同様の処理を行い、ステップＳＰ１０１に移る。
【0097】
ステップＳＰ１０１（部品領域抽出ステップ）において制御部１０２は、部品領域抽出部４０により、判定用画像データから部品領域ＡＲｐを抽出して該部品領域ＡＲｐを示す部品領域情報を二次判定部１２９へ供給し、ステップＳＰ１１５に移る。
【0098】
ステップＳＰ１１５において制御部１０２は、一次判定部２８により良品と判定された判定用画像データに対して二次判定部１２９により二次判定処理を行うことにより、左右白領域割合差と白領域割合閾値とを比較して判定結果を決定し、ステップＳＰ１６に移る。
【0099】
ステップＳＰ１６において制御部２は、学習処理手順ＲＴ１（図８）と同様の処理を行い、否定結果が得られると再度ステップＳＰ１１に戻り、肯定結果が得られるとステップＳＰ１７に移り、判定処理手順ＲＴ１０２を終了する。
【0100】
［２－３．効果等］
以上の構成において第２の実施の形態による外観検査装置１０１は、異常値が判定閾値Ｔｈ以下であり一次判定部２８において良品であると判定された判定用画像データに対し、二次判定部１２９により二次判定処理を行うようにした。
以上の構成において第２の実施の形態による外観検査装置１０１は、異常値が判定閾値Ｔｈ以下であり一次判定部２８において良品であると判定された判定用画像データに対し、二次判定部１２９により二次判定処理を行うようにした。
【0101】
また外観検査装置１０１は、部品領域抽出部４０により、判定用画像データから部品領域ＡＲｐを抽出し、該部品領域ＡＲｐを示す情報を部品領域情報として二次判定部１２９へ供給するようにした。
【0102】
二次判定部１２９は二次判定処理において、グレースケール画像ＩＭｇ１０１において部品領域情報により示される部品領域ＡＲｐ内部における電極部分ＥＬの領域である電極部分領域ＡＲｅを認識すると共に、該電極部分領域ＡＲｅの左右外側の所定範囲の領域を、電極パッドＰＤが配置されている可能性が高い電極パッド推定領域ＡＲｄと推定する。
【0103】
続いて二次判定部１２９は、グレースケール画像ＩＭｇ１０１において左側領域ＡＲｌ内の電極部分領域ＡＲｅと電極パッド推定領域ＡＲｄとをまとめた比較領域ＡＲｃと、右側領域ＡＲｒ内の電極部分領域ＡＲｅと電極パッド推定領域ＡＲｄとをまとめた比較領域ＡＲｃとにおける、左右白画素数差を算出する。また二次判定部１２９は、左右白画素数差を、予め設定されているグレースケール画像ＩＭｇ１０１内の電極部分ＥＬの白画素数で除算して左右白領域割合差を算出し、左右白領域割合差が白領域割合閾値以上である場合、判定用部品画像ＩＭｂ１０１により示されるチップ部品ＭＰの実装状態は異常と判定するようにした。
【0104】
このため外観検査装置１０１は、チップ部品ＭＰ以外の領域における電極パッドＰＤ以外の領域の影響を除去でき、二次判定処理をより精度良く実施することができる。これにより外観検査装置１０１は、外観検査装置１と比較して、一次判定部２８により良品と判定された判定用画像データに対して二次判定部２９により二次判定処理を行うことにより、良品に似た不良品であってもより一層正しく不良品と判定できるため、不良検出率をより一層向上でき、良否判定の精度を向上できる。
【0105】
その他、第２の実施の形態による外観検査装置１０１は、第１の実施の形態による外観検査装置１と同様の作用効果を奏し得る。なお外観検査装置１０１は、判定処理手順ＲＴ１０２（図１６）におけるステップＳＰ１０１（部品領域抽出ステップ）をステップＳＰ１６以前の何れのタイミングで行っても良いが、ステップＳＰ１４以前のタイミングで行う場合と比較して、ステップＳＰ１４以降のタイミングで行う方が、ステップＳＰ１４で不良品と判定した対象物の部品領域情報を取得しなくて済むため、より好ましい。
【0106】
［３．他の実施の形態］
なお上述した第１の実施の形態において外観検査装置１は、回路基板ＢＤに左右対称の状態で実装されたチップ部品ＭＰに対し、グレースケール画像ＩＭｇを左右中央において中心線Ｌｃで左右に２分割し、グレースケール画像ＩＭｇにおける左側領域ＡＲｌの左側白画素数と右側領域ＡＲｒの右側白画素数との差分である左右白画素数差を、予め設定されているグレースケール画像ＩＭｇ内の電極部分ＥＬの白画素数で除算した値である左右白領域割合差が、白領域割合閾値以上である場合、不良と判定する場合について述べた。本発明はこれに限らず、外観検査装置１は、回路基板ＢＤに上下対称の状態で実装されたチップ部品ＭＰに対し、グレースケール画像ＩＭｇを上下中央において中心線Ｌｃで上下に２分割し、グレースケール画像ＩＭｇにおける中心線Ｌｃよりも上側の領域の上側白画素数と、グレースケール画像ＩＭｇにおける中心線Ｌｃよりも下側の領域の下側白画素数との差分である上下白画素数差を、予め設定されているグレースケール画像ＩＭｇ内の電極部分ＥＬの白画素数で除算した値である上下白領域割合差が、白領域割合閾値以上である場合、不良品と判定しても良い。第２の実施の形態においても同様である。
なお上述した第１の実施の形態において外観検査装置１は、回路基板ＢＤに左右対称の状態で実装されたチップ部品ＭＰに対し、グレースケール画像ＩＭｇを左右中央において中心線Ｌｃで左右に２分割し、グレースケール画像ＩＭｇにおける左側領域ＡＲｌの左側白画素数と右側領域ＡＲｒの右側白画素数との差分である左右白画素数差を、予め設定されているグレースケール画像ＩＭｇ内の電極部分ＥＬの白画素数で除算した値である左右白領域割合差が、白領域割合閾値以上である場合、不良と判定する場合について述べた。本発明はこれに限らず、外観検査装置１は、回路基板ＢＤに上下対称の状態で実装されたチップ部品ＭＰに対し、グレースケール画像ＩＭｇを上下中央において中心線Ｌｃで上下に２分割し、グレースケール画像ＩＭｇにおける中心線Ｌｃよりも上側の領域の上側白画素数と、グレースケール画像ＩＭｇにおける中心線Ｌｃよりも下側の領域の下側白画素数との差分である上下白画素数差を、予め設定されているグレースケール画像ＩＭｇ内の電極部分ＥＬの白画素数で除算した値である上下白領域割合差が、白領域割合閾値以上である場合、不良品と判定しても良い。第２の実施の形態においても同様である。
【0107】
また外観検査装置１は、例えば、上下左右方向の端部に電極部分ＥＬが配置されたチップ部品ＭＰに対し、左右白領域割合差が白領域割合閾値以上である場合か、又は上下白領域割合差が白領域割合閾値以上である場合、不良と判定しても良い。第２の実施の形態においても同様である。
【0108】
さらに外観検査装置１は、図１７のようなチップ部品ＭＰ２０１のように、例えば左側よりも右側の方が電極部分ＥＬの数が多いような、電極部分ＥＬの数が非対称で形成されたチップ部品ＭＰ２０１の場合、該チップ部品ＭＰ２０１の部品情報を取得し、該部品情報の電極の座標位置に基づき、右側白画素数から電極部分ＥＬ１つ分の白画素数を減算し、白画素数の左右差を計算上で０にした状態で、左右白画素数差を計算しても良い。第２の実施の形態においても同様である。
【0109】
さらに上述した第１の実施の形態において外観検査装置１は、回路基板ＢＤに左右対称の状態で実装されたチップ部品ＭＰのグレースケール画像ＩＭｇの場合、グレースケール画像ＩＭｇにおける上端部及び下端部の領域は、チップ部品ＭＰ及び電極パッドＰＤ以外の領域である可能性が高いため、グレースケール画像ＩＭｇにおける上端部及び下端部の領域は左側白画素数及び右側白画素数を算出する際には無視することにより、そのような領域の影響を軽減させても良い。第２の実施の形態においても同様である。
【0110】
さらに上述した第２の実施の形態において外観検査装置１０１は、グレースケール画像ＩＭｇ１０１におけるチップ部品ＭＰ及び電極パッドＰＤ以外の領域を除外するように切り出し、グレースケール画像ＩＭｇ１０１におけるチップ部品ＭＰ及び電極パッドＰＤ以外の領域は左側白画素数及び右側白画素数を算出する際には無視することにより、チップ部品ＭＰ及び電極パッドＰＤ以外の領域の影響を軽減させても良い。第２の実施の形態においても同様である。
【0111】
さらに上述した第１の実施の形態において外観検査装置１は、白色の画素数の左右差に基づき二次判定処理を行う場合について述べた。本発明はこれに限らず、外観検査装置１は、例えば灰色の画素数の左右差に基づき二次判定処理を行っても良い。要は外観検査装置１は、グレースケール画像ＩＭｇ中における明度（輝度）が所定閾値以上の領域の画素数の左右差に応じて二次判定処理を行っても良い。すなわち、外観検査装置１は、画像データ（色データ）の色を規定する色空間（ＲＧＢ値）において白色（Ｒ＝２５５、Ｇ＝２５５、Ｂ＝２５５）から白色近傍の色値（Ｒ、Ｇ、Ｂの値が例えば２４１～２５４）を有する画素を白画素（白色）と見なしても良い。また外観検査装置１は、色値を表す指標として、ＲＧＢに限らず、Ｌ＊ａ＊ｂ＊値等の他の色空間の指標を用いても良い。第２の実施の形態においても同様である。
【0112】
さらに上述した第１の実施の形態において外観検査装置１は、一次判定部２８で良品と判定した全ての判定用画像データに対し二次判定部２９で二次判定処理を行う場合について述べた。本発明はこれに限らず、外観検査装置１は、判定処理に先立ち、学習処理で事前に良品と不良品との異常値の範囲は認識しているため、事前に良品に似た不良品の異常値が、例えば０．４５以上０．６以下等の一定範囲に収まっている場合には、第２閾値としての二次判定実施閾値を０．４５、第１閾値としての判定閾値を０．６に設定し、一次判定部２８で良品と判定した判定用画像データの中で、異常度が二次判定実施閾値以上かつ判定閾値以下の異常値の判定用画像データに対してのみ二次判定部２９で二次判定処理を行っても良い。第２の実施の形態においても同様である。
【0113】
さらに上述した第１の実施の形態において外観検査装置１は、全ての判定用部品画像ＩＭｂに対する白領域割合閾値を一定にする場合について述べた。本発明はこれに限らず、外観検査装置１は、判定処理に先立ち、学習処理で事前に良品に似た不良品が数パターンある場合、パターン毎に異常値と左右白画素数差が異なることが考えられるため、判定用画像データの異常値に応じて白領域割合閾値を切り替えても良い。第２の実施の形態においても同様である。
【0114】
さらに上述した第１の実施の形態において外観検査装置１は、グレースケール画像ＩＭｇを左右中央において中心線Ｌｃで左右に２分割する場合について述べた。本発明はこれに限らず、外観検査装置１は、グレースケール画像ＩＭｇ中央のチップ部品ＭＰの位置に合わせてグレースケール画像ＩＭｇを左右中央に対し左寄り又は右寄りに位置させた中心線Ｌｃで左右に２分割しても良い。第２の実施の形態においても同様である。
【0115】
さらに上述した第１の実施の形態において外観検査装置１は、左右白領域割合差が白領域割合閾値以上である場合は異常と判定する場合について述べた。本発明はこれに限らず、外観検査装置１は、特に、同一サイズのチップ部品ＭＰが撮影された複数のグレースケール画像ＩＭｇについて二次判定処理を行う場合、左右白画素数差が所定の左右白画素数差閾値以上である場合は異常と判定しても良い。第２の実施の形態においても同様である。
【0116】
さらに上述した第１の実施の形態において外観検査装置１は、データ保存部３１に保存された学習処理において用いられる複数の学習用画像データを良品のデータにより構成する場合について述べた。本発明はこれに限らず、外観検査装置１は、データ保存部３１に保存された学習処理において用いられる複数の学習用画像データを不良品のデータを含んで構成しても良い。第２の実施の形態においても同様である。
【0117】
さらに上述した第１の実施の形態において外観検査装置１は、学習モデル更新ステップにおいて、一次判定部２８で良品と判定した判定用画像データの特徴量をさらに学習して、特徴量保存部３３へ出力し、学習モデルを更新しても良い。その場合、外観検査装置１は、良否判定精度をさらに向上させることができる。第２の実施の形態においても同様である。
【0118】
さらに上述した第２の実施の形態において外観検査装置１０１は、部品領域抽出部４０から部品領域情報を二次判定部１２９へ供給し、二次判定部１２９において部品領域情報に基づき二次判定処理を行う場合について述べた。本発明はこれに限らず、外観検査装置１０１は、部品領域抽出部４０から部品領域情報に基づき判定用画像データから切り出した判定用部品画像データを二次判定部１２９へ供給し、二次判定部１２９において判定用部品画像データに基づき二次判定処理を行っても良い。
【0119】
さらに上述した第１の実施の形態においては、外観検査装置１に撮像部７（図１）を設け、該撮像部７により撮像された画像データをデータ保存部３１に保存させておく形態について述べた。本発明はこれに限らず、例えば通信部４を介して接続される他の機器から画像データを取得し、データ保存部３１に保存させておいても良い。この場合、他の機器としては、例えば撮像部７と同様の撮像機能や通信部４と同様の通信機能等を有するネットワークカメラ等を使用することができる。
【0120】
さらに上述した第１の実施の形態においては、制御部２において学習処理プログラム等のプログラムを実行し、図４に示した各機能ブロックをソフトウェアにより構成する形態について述べた。しかし本発明はこれに限らず、例えば図４に示した各機能ブロックの少なくとも一部をハードウェアにより構成しても良い。第２の実施の形態についても同様である。
【0121】
さらに上述した第１の実施の形態において外観検査装置１は、学習処理プログラム等の各プログラムを記憶部３に予め記憶しておく形態について述べた。本発明はこれに限らず、例えば所定のサーバ装置（図示せず）に各プログラムを保存しておき、外観検査装置１が通信部４（図１）により所定のネットワーク（図示せず）を介して該サーバ装置から該プログラムをダウンロードして実行するようにしても良い。第２の実施の形態についても同様である。
【0122】
さらに上述した第１の実施の形態においては、回路基板ＢＤ上にチップ部品ＭＰが正常に実装されているか否かを判定する外観検査装置１に本発明を適用する場合について述べた。本発明はこれに限らず、他の種々の物体の外観の状態を判定する装置に本発明を適用しても良い。第２の実施の形態についても同様である。
【0123】
さらに本発明は、上述した各実施の形態及び他の実施の形態に限定されるものではない。すなわち本発明は、上述した各実施の形態と上述した他の実施の形態の一部又は全部を任意に組み合わせた実施の形態にも適用範囲が及ぶものである。また本発明は、上述した各実施の形態及び他の実施の形態のうち任意の実施の形態に記載された構成の一部を抽出し、上述した各実施の形態及び他の実施の形態のうちの任意の実施の形態の構成の一部と置換・転用した実施の形態や、抽出された構成の一部を任意の実施の形態に追加した実施の形態にも適用範囲が及ぶものである。
【0124】
さらに上述した実施の形態においては、撮像部としての撮像部７と、取得部としての取得部２１と、特徴量抽出部としての特徴量抽出部２７と、評価値算出部としての異常度算出部２４と、判定部としての判定部２５と、出力部としての表示部５とによって、外観検査装置としての外観検査装置１を構成する場合について述べた。本発明はこれに限らず、その他種々の構成でなる撮像部と、取得部と、特徴量抽出部と、評価値算出部と、判定部と、出力部とによって、外観検査装置を構成しても良い。
【産業上の利用可能性】
【0125】
本発明は、例えば製品を製造する工場に設置される外観検査装置で利用できる。
【符号の説明】
【0126】
１、１０１……外観検査装置、２……制御部、３……記憶部、４……通信部、５……表示部、６……操作部、７……撮像部、２１……取得部、２３……特徴量処理部、２４……異常度算出部、２５……判定部、２７……特徴量抽出部、２８……一次判定部、２９、１２９……二次判定部、３１……データ保存部、３３……特徴量保存部、４０……部品領域抽出部、ＭＰ……チップ部品、ＭＰＳ……実装面、ＥＬ……電極部分、ＢＤ……回路基板、ＰＤ……電極パッド、ＡＲｍ……実装領域、ＡＲｖ……パッド露出領域、ＡＲｐ……部品領域、ＡＲｅ……電極部分領域、ＡＲｄ……電極パッド推定領域、ＡＲｃ……比較領域、Ｌｃ……中心線、Ｔｈ……判定閾値、ＬＮ……線、ＣＨ……文字、ＩＭｂ……判定用部品画像、ＩＭｇ……グレースケール画像、ＡＲｌ……左側領域、ＡＲｒ……右側領域、ＡＲｗ……白画素領域。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
