特開 2024-119201 判定方法、判定プログラム、判定装置及び外観検査装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024119201

(43)【公開日】2024-09-03

(54)【発明の名称】判定方法、判定プログラム、判定装置及び外観検査装置

(51)【国際特許分類】

   G01N 21/88 20060101AFI20240827BHJP

   G06T 7/00 20170101ALI20240827BHJP

【ＦＩ】

G01N21/88 J

G06T7/00 350B

G06T7/00 610

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2023025933

(22)【出願日】2023-02-22

(71)【出願人】

【識別番号】000000295

【氏名又は名称】沖電気工業株式会社

(74)【代理人】

【識別番号】100174104

【弁理士】

【氏名又は名称】奥田 康一

(72)【発明者】

【氏名】傅 琳

【テーマコード（参考）】

2G051

5L096

【Ｆターム（参考）】

2G051AA61

2G051AA65

2G051AB14

2G051EB01

2G051EB05

2G051ED04

2G051ED21

5L096AA06

5L096BA03

5L096CA02

5L096DA02

5L096EA35

5L096HA11

5L096JA11

5L096KA04

(57)【要約】

【課題】対象物における判定の精度を高める。
【解決手段】外観検査装置１は、回路基板ＣＢを撮影する撮像部７と、撮像部７により撮影された判定元画像ＩＭｂｉを取得する取得部２２と、判定元画像ＩＭｂｉから不良が発生した検査領域ＡＲｉを特定する検査領域切出部２４と、回路基板ＣＢが撮影された良品元画像ＩＭｂｒから抽出すべき特徴量を含む教師データセットを用いて学習処理が行われた学習モデルを使用して、判定元画像ＩＭｂｉから検査領域ＡＲｉの判定用特徴量を抽出すると共に、良品元画像ＩＭｂｒから検査領域ＡＲｉの第２特徴量としての良品特徴量を抽出する特徴量抽出部２８と、良品特徴量と判定用特徴量との剥離を示す異常度を算出する異常度算出部２６と、異常度から判定元画像ＩＭｂｉを判定する再判定部２７と、再判定部２７による判定の結果を出力する表示部５とを設ける。
【選択図】図５

【特許請求の範囲】

【請求項1】

対象物が撮影された第１画像データを取得する取得ステップと、
前記第１画像データから不良が発生した領域を特定する切出領域特定ステップと、
前記対象物が撮影された第２画像データから抽出すべき特徴量を含む教師データセットを用いて学習処理が行われた学習モデルを使用して、前記第１画像データから前記領域の第１特徴量を抽出すると共に、前記第２画像データから前記領域の第２特徴量を抽出する特徴量抽出ステップと、
前記第２特徴量と前記第１特徴量との剥離を示す評価値を算出する評価値算出ステップと、
前記評価値から前記第１画像データを判定する判定ステップと
を有することを特徴とする判定方法。

【請求項2】

前記判定ステップは、
前記対象物が第１分類又は該第１分類とは異なる第２分類の何れに属するかを判定する
ことを特徴とする請求項１に記載の判定方法。

【請求項3】

前記特徴量抽出ステップよりも前において、前記第１画像データが良品又は不良品の何れであるかを判定する第１判定ステップ
をさらに有し、
前記特徴量抽出ステップは、
前記第１判定ステップにおいて不良と判定された前記第１画像データから前記領域の第１特徴量を抽出し、
前記評価値算出ステップは、
前記第１判定ステップにおいて不良と判定された前記第１画像データから抽出された前記領域の第１特徴量と、前記第２特徴量との乖離を示す前記評価値を算出する
ことを特徴とする請求項１に記載の判定方法。

【請求項4】

前記判定ステップによる判定結果を表示部に表示する表示ステップ
をさらに有することを特徴とする請求項１に記載の判定方法。

【請求項5】

情報処理装置に対し、
対象物が撮影された第１画像データを取得する取得ステップと、
前記第１画像データから不良が発生した領域を特定する切出領域特定ステップと、
前記対象物が撮影された第２画像データから抽出すべき特徴量を含む教師データセットを用いて学習処理が行われた学習モデルを使用して、前記第１画像データから前記領域の第１特徴量を抽出すると共に、前記第２画像データから前記領域の第２特徴量を抽出する特徴量抽出ステップと、
前記第２特徴量と前記第１特徴量との剥離を示す評価値を算出する評価値算出ステップと、
前記評価値から前記第１画像データを判定する判定ステップと
を実行させるための判定プログラム。

【請求項6】

対象物が撮影された第１画像データを取得する取得部と、
前記第１画像データから不良が発生した領域を特定する切出領域特定部と、
前記対象物が撮影された第２画像データから抽出すべき特徴量を含む教師データセットを用いて学習処理が行われた学習モデルを使用して、前記第１画像データから前記領域の第１特徴量を抽出すると共に、前記第２画像データから前記領域の第２特徴量を抽出する特徴量抽出部と、
前記第２特徴量と前記第１特徴量との剥離を示す評価値を算出する評価値算出部と、
前記評価値から前記第１画像データを判定する判定部と
を有する判定装置。

【請求項7】

対象物を撮影する撮像部と、
前記撮像部により撮影された第１画像データを取得する取得部と、
前記第１画像データから不良が発生した領域を特定する切出領域特定部と、
前記対象物が撮影された第２画像データから抽出すべき特徴量を含む教師データセットを用いて学習処理が行われた学習モデルを使用して、前記第１画像データから前記領域の第１特徴量を抽出すると共に、前記第２画像データから前記領域の第２特徴量を抽出する特徴量抽出部と、
前記第２特徴量と前記第１特徴量との剥離を示す評価値を算出する評価値算出部と、
前記評価値から前記第１画像データを判定する判定部と
前記判定部による判定の結果を出力する出力部と
を有する外観検査装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は判定方法、判定プログラム、判定装置及び外観検査装置に関し、例えば工業製品の外観を検査する外観検査装置に適用して好適なものである。

【背景技術】

【0002】

従来、外観検査装置として、例えば電子回路基板のような工業製品の製造工場に設置され、製造された工業製品（以下、対象物とも呼ぶ）を撮像して画像データを取得し、該画像データを基に該工業製品が正常（良品）又は異常（不良品）の何れであるかを判定する判定処理を行うものが広く普及している。

【0003】

この判定処理では、例えば得られた画像データに対してエッジ検出等の画像処理を経て特徴を強調することにより、同様の画像処理を経た良品の画像データとの差異を基に、例えば回路基板上におけるチップ部品の有無や実装位置のずれ等のような不良の発生の有無を判定する。

【0004】

また外観検査装置として、例えば得られた画像データを基に赤、緑及び青のような異なる色によるフィルタ画像データを複数生成し、コントラストが最も大きい等の条件を満たすものを用いることにより、判定精度の向上を図ったものも提案されている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１２－００７９５２号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、このような外観検査装置においては、不良品に良く似た良品を良品であると精度良く判定することが難しい場合があり、対象物の判定の精度が低下してしまう場合があった。

【0007】

本発明は以上の点を考慮してなされたもので、対象物における判定の精度を高め得る判定方法、判定プログラム、判定装置及び外観検査装置を提案しようとするものである。

【課題を解決するための手段】

【0008】

かかる課題を解決するため本発明の判定方法においては、対象物が撮影された第１画像データを取得する取得ステップと、第１画像データから不良が発生した領域を特定する切出領域特定ステップと、対象物が撮影された第２画像データから抽出すべき特徴量を含む教師データセットを用いて学習処理が行われた学習モデルを使用して、第１画像データから領域の第１特徴量を抽出すると共に、第２画像データから領域の第２特徴量を抽出する特徴量抽出ステップと、第２特徴量と第１特徴量との剥離を示す評価値を算出する評価値算出ステップと、評価値から第１画像データを判定する判定ステップとを有するようにした。

【0009】

また本発明の判定プログラムにおいては、情報処理装置に対し、対象物が撮影された第１画像データを取得する取得ステップと、第１画像データから不良が発生した領域を特定する切出領域特定ステップと、対象物が撮影された第２画像データから抽出すべき特徴量を含む教師データセットを用いて学習処理が行われた学習モデルを使用して、第１画像データから領域の第１特徴量を抽出すると共に、第２画像データから領域の第２特徴量を抽出する特徴量抽出ステップと、第２特徴量と第１特徴量との剥離を示す評価値を算出する評価値算出ステップと、評価値から第１画像データを判定する判定ステップとを実行させるようにした。

【0010】

さらに本発明の判定装置においては、対象物が撮影された第１画像データを取得する取得部と、第１画像データから不良が発生した領域を特定する切出領域特定部と、対象物が撮影された第２画像データから抽出すべき特徴量を含む教師データセットを用いて学習処理が行われた学習モデルを使用して、第１画像データから領域の第１特徴量を抽出すると共に、第２画像データから領域の第２特徴量を抽出する特徴量抽出部と、第２特徴量と第１特徴量との剥離を示す評価値を算出する評価値算出部と、評価値から第１画像データを判定する判定部とを設けるようにした。

【0011】

さらに本発明の外観検査装置においては、対象物を撮影する撮像部と、撮像部により撮影された第１画像データを取得する取得部と、第１画像データから不良が発生した領域を特定する切出領域特定部と、対象物が撮影された第２画像データから抽出すべき特徴量を含む教師データセットを用いて学習処理が行われた学習モデルを使用して、第１画像データから領域の第１特徴量を抽出すると共に、第２画像データから領域の第２特徴量を抽出する特徴量抽出部と、第２特徴量と第１特徴量との剥離を示す評価値を算出する評価値算出部と、評価値から第１画像データを判定する判定部と、判定部による判定の結果を出力する出力部とを設けるようにした。

【0012】

本発明は、良品を不良品であると判定してしまっても、第１画像データ及び第２画像データにおける不良が発生した領域以外の領域が判定に与える影響を抑えて再判定することにより、良品であると正しく判定することができる。

【発明の効果】

【0013】

本発明によれば、良品を不良品であると判定してしまっても、第１画像データ及び第２画像データにおける不良が発生した領域以外の領域が判定に与える影響を抑えて再判定することにより、良品であると正しく判定することができ、かくして対象物の判定の精度を向上させ得る判定方法、判定プログラム、判定装置及び外観検査装置を実現できる。

【図面の簡単な説明】

【0014】

【図1】外観検査装置のハードウェア構成を示すブロック図である。

【図2】外観検査装置の機能構成を示すブロック図である。

【図3】外観検査装置の機能構成のうち一次判定部及び二次判定部を示すブロック図である。

【図4】検査領域切り出し処理の様子を説明する図であり、（Ａ）は異常理由が誤部品の場合、（Ｂ）は異常理由が位置ずれの場合、（Ｃ）は異常理由がリード浮きの場合である。

【図5】二次判定処理手順を示すフローチャートである。

【図6】検査領域切り出し処理手順を示すフローチャートである。

【図7】検査領域切り出し処理の有無による実験を示し、（Ａ）は、良品特徴量が抽出される画像として良品元画像が用いられた場合、（Ｂ）は、判定用特徴量が抽出される画像として判定元画像が用いられた場合、（Ｃ）は、良品特徴量が抽出される画像として良品切出画像が用いられた場合、（Ｄ）は、判定用特徴量が抽出される画像として判定切出画像が用いられた場合である。

【図8】検査領域切り出し処理の有無による異常度の度数分布グラフを示す図である。

【図9】検査領域切り出し処理の有無による不良品の不良検出率を示す表である。

【発明を実施するための形態】

【0015】

以下、発明を実施するための形態（以下、これを実施の形態と呼ぶ）について、図面を用いて説明する。

【0016】

［１．外観検査装置の構成］
外観検査装置１は、例えば回路基板に電子部品を実装する製造工場に設置されており、該電子部品が実装された該回路基板を検査対象として、良品又は不良品を判定する判定処理を行う。この製造工場では、例えば回路基板に対しリフロー処理等を行うことにより、チップ状の微小な抵抗やコンデンサ等の表面実装部品（いわゆるチップ部品）を実装する実装処理を行う。以下では、電子部品が実装された回路基板を対象物とも呼ぶ。

【0017】

図１に示すように、判定装置としての外観検査装置１は、制御部２を中心とした情報処理装置として構成されており、該制御部２に記憶部３及び通信部４が接続され、さらに表示部５、操作部６及び撮像部７がそれぞれ接続されている。

【0018】

制御部２は、各種演算処理を行うＣＰＵ（Central Processing Unit）１１、各種情報が予め記憶されたＲＯＭ（Read Only Memory）１２、及び各種情報を一時的に記憶するＲＡＭ（Random Access Memory）１３等を有している。この制御部２は、ＲＡＭ１３をワークエリアとして使用しながら、ＲＯＭ１２や記憶部３等から読み出した各種プログラムをＣＰＵ１１によって実行することにより、様々な処理を行う。

【0019】

記憶部３は、例えばＳＳＤ（Solid State Drive）やＨＤＤ（Hard Disk Drive）のような不揮発性の記憶媒体であり、各種プログラムや各種情報等を記憶する。通信部４は、例えばＩＥＥＥ（Institute of Electrical and Electronics Engineers）８０２．３（ＩＥＥＥ８０２．３ｕ／ａｂ／ａｎ／ａｅ）等の規格に準拠した有線ＬＡＮ（Local Area Network）のインタフェース等を有している。この通信部４は、図示しないネットワークと接続されており、該ネットワークを介して、製造工場内に設置された他の機器や外部のサーバ装置等との間で種々の情報を送受信する。

【0020】

出力部としての表示部５は、例えば液晶パネルや有機ＥＬ（Electro Luminescence）パネルのような表示デバイスであり、制御部２の制御に基づき種々の情報を表示する。操作部６は、例えば表示部５を構成する液晶パネルの表面に設けられたタッチセンサや押下可能な操作ボタン等であり、外観検査装置１を使用する使用者からの操作指示を受け付ける。

【0021】

撮像部７は、例えば光を集光するレンズや光を電気信号に変換する撮像素子等を有している。また撮像部７は、例えば製造工場において電子部品が実装された回路基板（対象物）が搬送されるベルトコンベアの近傍等において、該対象物を良好に撮像し得る箇所に設置されている。この撮像部７は、制御部２の制御に基づき、レンズの光軸を中心とした撮像範囲から得られる光を用いて、対象物を含む２次元の画像を撮像して画像データを生成し、該画像データを該制御部２へ供給する。これに応じて制御部２は、供給された画像データを記憶部３に記憶させる。

【0022】

［２．判定処理の基本的原理］
次に、外観検査装置１において対象物を正常（良品、第１分類とも呼ぶ）又は異常（不良品、第２分類とも呼ぶ）と判定する判定処理の基本的原理について説明する。チップ部品が実装される回路基板には、該チップ部品の理想的な実装箇所が予め設定されており、該チップ部品の形状等に合わせて電極が設けられている。

【0023】

図４（Ａ）及び図４（Ｂ）それぞれにおいて左側に示す図は、撮像部７（図１）により回路基板ＣＢを撮像して得られた画像データにおける一部の領域である、ＳＯＰ（Small Outline Package）部品であるチップＩＣ部品ＭＰと、該チップＩＣ部品ＭＰの周囲の回路基板ＣＢとを含む、判定元画像ＩＭｂｉ１及びＩＭｂｉ２を示したものである。

【0024】

図４（Ｃ）において左側に示す図は、撮像部７（図１）により回路基板ＣＢを撮像して得られた画像データにおける一部の領域である、ＭＴＲ（Mini Transistor）部品であるチップＩＣ部品ＭＰと、該チップＩＣ部品ＭＰの周囲の回路基板ＣＢとを含む、判定元画像ＩＭｂｉ３を示したものである。以下では、判定元画像ＩＭｂｉ１、ＩＭｂｉ２及びＩＭｂｉ３をまとめて判定元画像ＩＭｂｉとも呼ぶ。

【0025】

チップＩＣ部品ＭＰは、平面視で四角形のボディＢＤと、該ボディＢＤにおける対向する２つの側面から外側に向かって突出するリードＬＤとにより構成されている。チップＩＣ部品ＭＰが正常に実装された場合、該チップＩＣ部品ＭＰの各リードＬＤと回路基板ＣＢの各電極パッドとに渡るようにして、はんだ（図示せず）がそれぞれ付着する。はんだは、例えばリフロー工程等において所定の高温で溶解された後に凝固されることにより、回路基板ＣＢの電極パッドに対しチップＩＣ部品ＭＰのリードＬＤを物理的に固定すると共に電気的に接続している。

【0026】

このうち判定元画像ＩＭｂｉ１（図４（Ａ））は、「誤部品」と呼ばれる不良の一形態が撮像された画像である。この判定元画像ＩＭｂｉ１においては、実装されたチップＩＣ部品ＭＰの部品番号が指定された部品番号と異なっており、指定された部品とは異なる誤部品が実装されている。

【0027】

判定元画像ＩＭｂｉ２（図４（Ｂ））は、「位置ずれ」と呼ばれる不良の一形態が撮像された画像である。この判定元画像ＩＭｂｉ２においては、回路基板ＣＢの表面に直交する方向から見た場合のチップＩＣ部品ＭＰの位置や傾き等が本来の実装領域から大きくずれている。

【0028】

判定元画像ＩＭｂｉ３（図４（Ｃ））は、「リード浮き」と呼ばれる不良の一形態が撮像された画像である。この判定元画像ＩＭｂｉ３においては、実装されたチップＩＣ部品ＭＰのリードＬＤが回路基板ＣＢの表面から浮いており正常にはんだ付けされていない。

【0029】

このような判定元画像ＩＭｂｉは、チップＩＣ部品ＭＰ以外にも、該チップＩＣ部品ＭＰの周囲の回路基板ＣＢも写り込んでいるため、外観検査装置１は、一次判定部２１（図３）（詳細は後述する）による判定で、本来は正常であるはずの状態を異常と判断してしまう可能性がある。

【0030】

これに対し二次判定部２３（図３）（詳細は後述する）は、一次判定部２１による判定結果が異常である判定元画像ＩＭｂｉに対して二次判定処理を行う。

【0031】

［３．外観検査処理］
次に、外観検査装置１における外観検査処理について説明する。外観検査装置１では、外観検査処理において、画像データから得られる特徴量について、前段の学習処理と後段の判定処理とによる機械学習処理を行う。また外観検査装置１の制御部２は、学習処理及び判定処理を行う際に、内部に複数の機能ブロックを形成する。以下では、機能ブロックの構成と、前段の学習処理と、後段の判定処理とについて、それぞれ説明する。

【0032】

またここでは、予め外観検査装置１の撮像部７（図１）により、製造工場において電子部品が実装された回路基板ＣＢ（すなわち対象物）が撮像され、生成された画像データが記憶部３に保存されているものとする。この画像データには、学習処理において使用される学習用画像データ（学習用データ又は第２画像データとも呼ぶ）と、判定処理において使用される判定用画像データ（判定用データ又は第１画像データとも呼ぶ）とが含まれる。

【0033】

学習用画像データは、予め良品であることが判明している対象物から得られた画像データであり、教師データとも呼ばれる。また判定用画像データは、製造工場において回路基板ＣＢに電子部品が実装されたものの、不良の有無が未確認であるために検査を行うべき対象物から得られた画像データである。このうち判定用画像データには、例えば対象物である回路基板ＣＢに割り当てられた製造番号や製造日時のような、該対象物との対応関係を表す情報も付与されている。

【0034】

［３－１．機能ブロックの構成］
次に、機能ブロックの構成について説明する。外観検査装置１の制御部２（図１）は、記憶部３に予め記憶された学習処理プログラム又は判定処理プログラムをそれぞれ読み出して実行することにより、図２及び図３に示すような各機能ブロックを形成する。なお図３においては、一次判定部２１及び二次判定部２３のみの構成を示すと共に、一次判定部２１からデータ保存部３０を介し二次判定部２３へ供給されるデータと、二次判定部２３内におけるデータの流れとを示している。具体的に制御部２は、一次判定部２１、取得部２２及び二次判定部２３を形成し、また該二次判定部２３内に検査領域切出部２４、特徴量処理部２５、異常度算出部２６及び再判定部２７を形成し、さらに該特徴量処理部２５内に特徴量抽出部２８を形成する。

【0035】

また記憶部３には、画像データ等が保存されるデータ保存部３０と、該画像データから抽出された特徴量（詳しくは後述する）が保存される特徴量保存部３１とが形成される。データ保存部３０は、判定処理において用いられる複数の画像データ（判定用画像データ）（判定元画像とも呼ぶ）を保存している。またデータ保存部３０は、学習処理において用いられる複数の画像データ（学習用画像データ）（良品元画像とも呼ぶ）を保存している。複数の学習用画像データは、一次判定部２１により良品と判定されたデータにより構成される。これらの判定用画像データと学習用画像データとは、互いの別のデータとして用意されている。

【0036】

一次判定部２１は、一次判定処理（第１判定ステップ）において、形状認識により回路基板ＣＢの外観検査を行い、「良品」であるか又は「不良」であるかを示す判定結果をデータ保存部３０に保存する。この判定結果には、良品元画像ＩＭｂｒ、判定元画像ＩＭｂｉ、部品領域情報ＩＦｐ、カテゴリ情報ＩＦｃ及び不良領域情報ＩＦｗ等が含まれている。

【0037】

良品元画像ＩＭｂｒは、一次判定部２１により良品であると判定された回路基板ＣＢの学習用画像データを示している。判定元画像ＩＭｂｉは、不良の有無を判定するために検査を行うべき回路基板ＣＢの判定用画像データを示している。

【0038】

部品領域情報ＩＦｐは、回路基板ＣＢに搭載される各部品のサイズや、部品が回路基板ＣＢに搭載される位置を示す座標値等、各部品の部品領域に関する情報を示している。カテゴリ情報ＩＦｃは、部品のどの部分を検査するかを示す検査項目に関する情報を示している。不良領域情報ＩＦｗは、一次判定部２１において異常と判定された理由である異常理由、回路基板ＣＢにおいて異常が発生した位置を示す座標値等、不良が発生した領域である不良領域に関する情報を示している。

【0039】

取得部２２は、学習処理において、データ保存部３０から複数個の画像データである複数個の学習用画像データを読み出し、二次判定部２３の検査領域切出部２４へ供給する。また取得部２２は、判定処理において、データ保存部３０から１個の画像データである判定用画像データを読み出し、二次判定部２３の検査領域切出部２４へ供給する。

【0040】

検査領域切出部２４は、データ保存部３０から部品領域情報ＩＦｐ、不良領域情報ＩＦｗ及びカテゴリ情報ＩＦｃを取得し、それらに基づいて検査領域ＡＲｉを決定する。検査領域ＡＲｉの決定方法については、図４を用いて後述する。また検査領域切出部２４は、データ保存部３０から取得した良品元画像ＩＭｂｒから検査領域ＡＲｉの座標値の画像を切り出して良品切出画像ＩＭｔｒを生成し、該良品切出画像ＩＭｔｒを特徴量抽出部２８へ供給する。それと共に検査領域切出部２４は、データ保存部３０から取得した判定対象となる画像である判定元画像ＩＭｂｉから検査領域ＡＲｉの座標値の画像を切り出して判定切出画像ＩＭｔｉを生成し、該判定切出画像ＩＭｔｉを特徴量抽出部２８へ供給する。

【0041】

特徴量処理部２５は、機械学習処理（単に学習処理とも呼ばれる）における学習モデル（ＡＩモデルとも呼ぶ）に相当する部分である。特徴量抽出部２８は、二次判定処理における学習処理において抽出処理として検査領域切出部２４から取得した良品切出画像ＩＭｔｒをＡＩモデルに学習させて特徴量を抽出し、この特徴量を良品特徴量として学習済みＡＩモデルと合わせて特徴量保存部３１に保存させる。具体的に特徴量抽出部２８は、例えばニューラルネットワークとして構成されており、公開データセット等を用いて重みパラメータが学習されたものを使用する。また特徴量抽出部２８は、必要に応じてＲＡＭ１３や記憶部３（図１）を適宜利用することにより、機械学習のパラメータ等を適宜保持することができる。またこれらの学習処理では、画像データと特徴量とが対応付けられた教師データセットが使用される。

【0042】

また特徴量抽出部２８は、二次判定処理において抽出処理として検査領域切出部２４から取得した判定切出画像ＩＭｔｉを特徴量保存部３１から読み出したＡＩモデルに学習させて特徴量を抽出し、この特徴量を判定用特徴量として異常度算出部２６へ供給する。

【0043】

異常度算出部２６は、二次判定処理において、特徴量抽出部２８から供給された判定用特徴量と、特徴量保存部３１から読み出した良品特徴量及び学習済みＡＩモデルと、データ保存部３０から読み出した不良領域情報ＩＦｗとを基に、該判定用特徴量と該良品特徴量との差異の大きさを表す異常度（以下これを評価値とも呼ぶ）を算出し、これを再判定部２７へ供給する。具体的に異常度算出部２６は、例えばマハラノビス距離を用いた演算処理等により、多次元空間内における判定用特徴量と良品特徴量との距離（以下これを剥離とも呼ぶ）を算出し、これを異常度とする。この異常度は、良品切出画像ＩＭｔｒと判定切出画像ＩＭｔｉの差分を示すパラメータである。

【0044】

再判定部２７は、異常度算出部２６から異常度を取得し、それを判定閾値と比較して良品か又は不良の何れであるかを判定して判定結果を決定する。これを換言すれば、再判定部２７は、判定閾値との比較結果に応じて異常度を分類することになる。このため、判定処理を分類処理と呼ぶこともできる。

【0045】

［３－２．二次判定処理における検査領域の決定と切出画像の切り出しとについて］
ここで、図４を用いて、検査領域の決定と切出画像の切り出しとについて説明する。

【0046】

［３－２－１．異常理由が誤部品の場合］
図４（Ａ）の左側は、一次判定部２１により出力されたチップＩＣ部品ＭＰの判定元画像ＩＭｂｉ１であり、破線で示した枠内の領域が部品領域ＡＲｐを、一点鎖線で示した枠内の領域が不良領域ＡＲｗ及び検査領域ＡＲｉをそれぞれ示している。なお図４（Ａ）において不良領域ＡＲｗ及び検査領域ＡＲｉは、チップＩＣ部品ＭＰのボディＢＤの外形よりも僅かに外側を囲うように作図されているが、実際には不良領域ＡＲｗ及び検査領域ＡＲｉは、チップＩＣ部品ＭＰのボディＢＤ外形と同一の範囲を囲っている。

【0047】

異常理由が誤部品であると一次判定部２１において判定された場合、不良領域ＡＲｗは、チップＩＣ部品ＭＰのボディＢＤの部分となる。検査領域切出部２４（図３）は、不良領域情報ＩＦｗにより示される異常理由が誤部品である場合、不良領域ＡＲｗと同一の領域である、チップＩＣ部品ＭＰのボディＢＤの部分を検査領域ＡＲｉとして設定する。

【0048】

具体的に検査領域切出部２４は、例えば、不良領域ＡＲｗの矩形の始点及び終点の座標値を示す情報である不良領域情報ＩＦｗをデータ保存部３０から取得する。続いて検査領域切出部２４は、不良領域ＡＲｗと同一の領域を検査領域ＡＲｉとして設定し、該検査領域ＡＲｉを示す情報を検査領域情報として記憶する。

【0049】

続いて検査領域切出部２４は、判定元画像ＩＭｂｉ１における検査領域ＡＲｉから、図４（Ａ）の右側に示す判定切出画像ＩＭｔｉ１を切り出す。検査領域ＡＲｉは不良領域ＡＲｗと同一の領域である、チップＩＣ部品ＭＰのボディＢＤ部分の領域であるため、判定切出画像ＩＭｔｉ１は、チップＩＣ部品ＭＰのボディＢＤ部分の画像となっている。

【0050】

［３－２－２．異常理由が位置ずれの場合］
図４（Ｂ）の左側は、一次判定部２１により出力されたチップＩＣ部品ＭＰの判定元画像ＩＭｂｉ２であり、破線で示した枠内の領域が部品領域ＡＲｐ及び検査領域ＡＲｉを示しており、一点鎖線で示した枠内の領域が不良領域ＡＲｗを示している。

【0051】

異常理由が位置ずれであると一次判定部２１において判定された場合、不良領域ＡＲｗは、回路基板ＣＢにおける本来の実装領域にチップＩＣ部品ＭＰが実装されていた場合の該チップＩＣ部品ＭＰのボディＢＤの部分となる。検査領域切出部２４は、不良領域情報ＩＦｗにより示される異常理由が位置ずれである場合、部品領域ＡＲｐと同一の領域を検査領域ＡＲｉとして設定する。

【0052】

具体的に検査領域切出部２４は、例えば、部品領域ＡＲｐの矩形の始点及び終点の座標値と、チップＩＣ部品ＭＰのサイズとを含む情報である部品領域情報ＩＦｐをデータ保存部３０から取得する。続いて検査領域切出部２４は、部品領域ＡＲｐと同一の領域を検査領域ＡＲｉとして設定し、該検査領域ＡＲｉとチップＩＣ部品ＭＰのサイズを含む情報とを示す検査領域情報を記憶する。

【0053】

続いて検査領域切出部２４は、判定元画像ＩＭｂｉ２における検査領域ＡＲｉから、図４（Ｂ）の右側に示す判定切出画像ＩＭｔｉ２を切り出す。検査領域ＡＲｉは部品領域ＡＲｐと同一の領域であるため、判定切出画像ＩＭｔｉ２は、位置ずれしたチップＩＣ部品ＭＰの一部分を含む画像となっている。

【0054】

［３－２－３．異常理由がリード浮きの場合］
図４（Ｃ）の左側は、一次判定部２１により出力されたチップＩＣ部品ＭＰの判定元画像ＩＭｂｉ３であり、破線で示した枠内の領域が部品領域ＡＲｐを示しており、一点鎖線で示した枠内の領域が不良領域ＡＲｗを示しており、二点鎖線で示した枠内の領域が検査領域ＡＲｉを示している。

【0055】

異常理由がリード浮きであると一次判定部２１において判定された場合、不良領域ＡＲｗは、チップＩＣ部品ＭＰのリードＬＤの部分となる。またこの場合、検査領域ＡＲｉは、不良領域ＡＲｗと同一の領域や、部品領域ＡＲｐと同一の領域とは異なる。このため二次判定部２３は、判定元画像ＩＭｂｉ３から検査領域ＡＲｉを算出する。

【0056】

具体的に、例えば、判定元画像ＩＭｂｉ３のように、ボディＢＤに対しリードＬＤが図中で上側及び下側に配置されるようにチップＩＣ部品ＭＰが実装された場合について説明する。

【0057】

例えば、判定元画像ＩＭｂｉ３のように、チップＩＣ部品ＭＰの図中で下側のリードＬＤが不良と判定され、該リードＬＤを囲む領域が不良領域ＡＲｗとなった場合、検査領域切出部２４は、不良領域ＡＲｗの座標と部品領域ＡＲｐの座標とを比較し、不良領域ＡＲｗが部品領域ＡＲｐの図中で上側又は下側の何れに位置しているかを判断する。

【0058】

続いて検査領域切出部２４は、部品領域ＡＲｐの上下方向の中心を左右方向に沿う直線を中心線Ｌｃとして設定する。また検査領域切出部２４は、不良領域ＡＲｗが位置する側（すなわち下側）の部品領域ＡＲｐの端部を左右方向に沿う直線を境界線Ｌｂとして設定する。

【0059】

さらに検査領域切出部２４は、上下方向に関し上端部が中心線Ｌｃに下端部が境界線Ｌｂにそれぞれ沿い、左右方向に関し不良領域ＡＲｗを含む最小の矩形領域を検査領域ＡＲｉとして設定する。

【0060】

続いて検査領域切出部２４は、判定元画像ＩＭｂｉ３における検査領域ＡＲｉから、図４（Ｃ）の右側に示す判定切出画像ＩＭｔｉ３を切り出す。検査領域ＡＲｉは不良領域ＡＲｗ及び部品領域ＡＲｐとは異なる領域であるため、判定切出画像ＩＭｔｉ２は、不良と判定されたリードＬＤとボディＢＤの一部分とを含む画像となっている。

【0061】

［３－３．二次判定処理］
次に、二次判定部２３による、一次判定部２１で不良と判定された部品に対して再判定を行う二次判定処理手順ＲＴ１について、図５に示すフローチャートを用いて説明する。制御部２は、二次判定処理を行う場合、記憶部３から所定の判定処理プログラムを読み出して実行する。このとき制御部２は、所定の初期化処理等を行うと共に、図２及び図３に示した各機能ブロックを形成した上で、図５に示す二次判定処理手順ＲＴ１を開始し、ステップＳＰ１に移る。

【0062】

ステップＳＰ１において制御部２は、図６に示す検査領域切り出し処理手順ＳＲＴ１を実行することにより、部品領域情報ＩＦｐ、不良領域情報ＩＦｗ及びカテゴリ情報ＩＦｃに基づいて検査領域切出部２４により検査領域ＡＲｉを決定して良品切出画像ＩＭｔｒ及び判定切出画像ＩＭｔｉを生成し、ステップＳＰ２に移る。

【0063】

ステップＳＰ２（特徴量抽出ステップ）において制御部２は、特徴量抽出部２８により、検査領域切出部２４から良品切出画像ＩＭｔｒを取得し学習処理を行うことにより、該良品切出画像ＩＭｔｒから特徴量を抽出して該特徴量を良品特徴量として学習済みＡＩモデルと合わせて特徴量保存部３１に保存し、ステップＳＰ３に移る。

【0064】

ステップＳＰ３（特徴量抽出ステップ及び評価値算出ステップ）において制御部２は、特徴量抽出部２８により、検査領域切出部２４から判定切出画像ＩＭｔｉを取得し、該判定切出画像ＩＭｔｉから特徴量を抽出して該特徴量を判定用特徴量として異常度算出部２６へ供給する。また制御部２は、異常度算出部２６により、良品特徴量及び学習済みＡＩモデルを特徴量保存部３１から取得し、判定用特徴量、良品特徴量、学習済みＡＩモデル及び不良領域情報ＩＦｗを用いて異常度を算出し、ステップＳＰ４に移る。

【0065】

ステップＳＰ４（判定ステップ及び表示ステップ）において制御部２は、再判定部２７により、異常度算出部２６から異常度を取得し、該異常度を所定の判定閾値と比較することにより良品であるか又は不良であるかを判定して判定結果を決定し、得られた判定結果を表す判定結果表示画面を表示部５（図１）に表示させた上で、ステップＳＰ５に移り、二次判定処理手順ＲＴ１を終了する。

【0066】

［３－４．検査領域切り出し処理手順］
次に、二次判定部２３による検査領域切り出し処理の具体的な処理手順について、図６に示すフローチャートを用いて詳細に説明する。制御部２は、二次判定処理手順ＲＴ１（図５）におけるステップＳＰ１において図６に示す検査領域切り出し処理手順ＳＲＴ１を開始し、ステップＳＰ１１へ移る。

【0067】

ステップＳＰ１１（取得ステップ）において制御部２は、検査領域切出部２４により、一次判定部２１から判定元画像ＩＭｂｉ及びカテゴリ情報ＩＦｃを取得し、該カテゴリ情報ＩＦｃを用いて検査領域ＡＲｉを算出する必要があるか否かを判定する。ステップＳＰ１１において肯定結果が得られると、このことは、検査領域ＡＲｉを算出する必要があることを表し、このとき制御部２は、ステップＳＰ１２へ移る。ここで、検査領域ＡＲｉを算出する必要があるか否かについて、図４を用いて説明する。

【0068】

判定元画像ＩＭｂｉ１（図４（Ａ））のように、異常理由が誤部品である場合、検査領域ＡＲｉは不良領域ＡＲｗと同一の領域であるチップＩＣ部品ＭＰのボディＢＤ部分の領域となるため、検査領域切出部２４は、異常理由が誤部品である判定元画像ＩＭｂｉ１については、検査領域ＡＲｉを算出する必要がないと判定する。

【0069】

また、判定元画像ＩＭｂｉ２（図４（Ｂ））のように、異常理由が位置ずれである場合、検査領域ＡＲｉは、部品領域ＡＲｐと同一の領域となるため、検査領域切出部２４は、異常理由が位置ずれである判定元画像ＩＭｂｉ２については、検査領域ＡＲｉを計算する必要がないと判定する。

【0070】

一方、判定元画像ＩＭｂｉ３（図４（Ｃ））のように、異常理由がリード浮きである場合、検査領域ＡＲｉは、不良領域ＡＲｗと同一の領域や、部品領域ＡＲｐと同一の領域とは異なるため、検査領域切出部２４は、異常理由がリード浮き等、チップＩＣ部品ＭＰの微小の部分に関わる不良の場合である判定元画像ＩＭｂｉ３については、検査領域ＡＲｉを計算する必要があると判定する。

【0071】

ステップＳＰ１２（切出領域特定ステップ）において制御部２は、検査領域切出部２４により、データ保存部３０から部品領域情報ＩＦｐ及び不良領域情報ＩＦｗを取得し、該部品領域情報ＩＦｐ及び該不良領域情報ＩＦｗを用いて上述したように検査領域ＡＲｉを算出し決定する。

【0072】

一方、ステップＳＰ１１において否定結果が得られると、このことは、検査領域ＡＲｉを算出する必要がないことを表し、このとき制御部２は、ステップＳＰ１３へ移る。ステップＳＰ１３（切出領域特定ステップ）において制御部２は、検査領域切出部２４により、データ保存部３０から部品領域情報ＩＦｐ及び不良領域情報ＩＦｗを取得し、該部品領域情報ＩＦｐ及び該不良領域情報ＩＦｗを用いて上述したように検査領域ＡＲｉを決定する。

【0073】

ステップＳＰ１４（切出画像生成ステップ）において制御部２は、ステップＳＰ１２又はＳＰ１３において決定した検査領域ＡＲｉに基づいて、検査領域切出部２４により、データ保存部３０から取得した複数の良品元画像ＩＭｂｒから検査領域ＡＲｉの座標値の画像を切り出して複数の良品切出画像ＩＭｔｒを生成し、該複数の良品切出画像ＩＭｔｒを特徴量抽出部２８へ供給する。

【0074】

それと共に制御部２は、検査領域切出部２４により、データ保存部３０から取得した判定元画像ＩＭｂｉから検査領域ＡＲｉの座標値の画像を切り出して判定切出画像ＩＭｔｉを生成し、該判定切出画像ＩＭｔｉを特徴量抽出部２８へ供給する。続いて制御部２は、ステップＳＰ１５へ移り、検査領域切り出し処理手順ＳＲＴ１を終了し、二次判定処理手順ＲＴ１（図５）におけるステップＳＰ２へ移る。

【0075】

このように二次判定部２３は、データ保存部３０から取得した部品領域情報ＩＦｐ、不良領域情報ＩＦｗ及びカテゴリ情報ＩＦｃに基づいて検査領域ＡＲｉを特定し、良品元画像ＩＭｂｒ及び判定元画像ＩＭｂｉから、検査領域ＡＲｉの座標値の画像を切り出して、良品切出画像ＩＭｔｒ及び判定切出画像ＩＭｔｉを生成する。

【0076】

［４．効果等］
以上の構成において外観検査装置１は、一次判定部２１において不良品であると判定された判定用画像データに対し、二次判定部２３により二次判定処理を行うようにした。具体的に二次判定部２３は、一次判定部２１による外観検査において回路基板ＣＢが不良品である判定された場合、判定元画像ＩＭｂｉ、部品領域情報ＩＦｐ、不良領域情報ＩＦｗ及びカテゴリ情報ＩＦｃを、データ保存部３０から取得する。

【0077】

続いて二次判定部２３は、検査領域切出部２４により、部品領域情報ＩＦｐ及び不良領域情報ＩＦｗに基づき、判定元画像ＩＭｂｉ中の検査領域ＡＲｉを特定する。また二次判定部２３は、検査領域切出部２４により、判定元画像ＩＭｂｉから検査領域ＡＲｉの画像を判定切出画像ＩＭｔｉとして切り出す。それと共に二次判定部２３は、検査領域切出部２４により、良品元画像ＩＭｂｒから検査領域ＡＲｉと同一座標の画像を良品切出画像ＩＭｔｒとして切り出す。

【0078】

続いて二次判定部２３は、特徴量抽出部２８により、複数の良品切出画像ＩＭｔｒから良品特徴量（第２特徴量とも呼ぶ）を抽出する。また二次判定部２３は、特徴量抽出部２８により、判定切出画像ＩＭｔｉから判定用特徴量（第１特徴量とも呼ぶ）を抽出する。

【0079】

続いて二次判定部２３は、異常度算出部２６により、判定用特徴量、良品特徴量及び不良領域情報ＩＦｗを用いて異常度を算出する。最後に二次判定部２３は、再判定部２７により、異常度を判定閾値と比較して良品か又は不良の何れであるかを判定するようにした。

【0080】

このように外観検査装置１は、予め良品元画像ＩＭｂｒから特徴量を抽出しておくのではなく、回路基板ＣＢ上で発生した不良の領域である不良領域ＡＲｗに応じて検査領域ＡＲｉを決定し、複数の良品元画像ＩＭｂｒから、該検査領域ＡＲｉと同じ座標値の領域である良品切出画像ＩＭｔｒの良品特徴量を抽出すると共に、判定切出画像ＩＭｔｉの判定用特徴量を抽出し、良品特徴量及び判定用特徴量に基づきから異常度を算出するようにした。

【0081】

このため外観検査装置１は、良品元画像ＩＭｂｒ及び判定元画像ＩＭｂｉにおける部品領域ＡＲｐ以外の背景領域の個体差の影響を抑えることができる。これにより外観検査装置１は、一次判定部２１により不良品と判定された判定用画像データに対して二次判定部２３により二次判定処理を行うことにより、不良品に似た良品であっても正しく良品と判定できるため、正常判定率を向上でき、良否判定の精度を向上できる。

【0082】

ここで、二次判定部２３による検査領域切り出し処理の有無による実験例を紹介する。この実験例では、目視による評価（すなわち「良品」又は「不良品」）が予め判明している複数の画像データを用意した。その上で、この実験例では、各画像データから特徴量を抽出して異常度を算出し、さらに統計処理を行った。

【0083】

図７（Ａ）は、本実施の形態とは異なり良品特徴量が抽出される画像として良品元画像ＩＭｂｒ１０１が用いられた場合の例を示している。図７（Ｂ）は、本実施の形態とは異なり判定用特徴量が抽出される画像として判定元画像ＩＭｂｉ１０１が用いられた場合の例を示している。このように、本実施の形態とは異なり、二次判定部２３を適応せずに、良品特徴量が抽出される画像として良品元画像ＩＭｂｒ１０１が、判定用特徴量が抽出される画像として判定元画像ＩＭｂｉ１０１がそれぞれ用いられた場合を、二次判定部未適応とも呼ぶ。

【0084】

図８（Ａ）は、二次判定部未適応における、各画像データから得られた異常度の度数分布を表したグラフであり、横軸が異常度を表すと共に縦軸が度数（データ数）を表している。また図８（Ａ）では、目視による評価が「良」の場合（図中に「ＯＫ」と表記）と「不良」の場合（図中に「ＮＧ」と表記）とで、棒グラフ内のパターンを相違させている。

【0085】

この図８（Ａ）では、異常度が０．５付近の箇所において、目視評価が「ＯＫ」であった画像データから得られた異常度（以下これをＯＫ異常度と呼ぶ）と、目視評価が「ＮＧ」であった画像データから得られた異常度（以下これをＮＧ異常度と呼ぶ）とが混在している。このことは、ＯＫ異常度とＮＧ異常度とを容易に分離し得るような閾値を適切に設定することが難しく、該閾値を適切に設定できなかった場合に誤判定が生じ得ることを意味している。

【0086】

ここで、この実験例では、判定閾値Ｔｈを０．４７５に設定した。その結果、図９に示すように、ＯＫ異常度が判定閾値Ｔｈ以下となった割合、すなわち正常な対象物を正常と判定する割合（以下これを正常判定率と呼ぶ）が５９．６［％］となった。このことは、二次判定部未適応の場合、残りの４０．４［％］の割合で、本来は「正常」であるにも関わらず「異常」と判定されること、すなわち誤判定が生じることを意味している。これを換言すれば、二次判定部未適応の場合、誤判定を抑え得るような適切な判定閾値Ｔｈを設定することが、必ずしも容易ではない。

【0087】

一方、図７（Ａ）及び図７（Ｂ）と対応する図７（Ｃ）及び図７（Ｄ）は、図７（Ａ）及び図７（Ｂ）と同じチップＩＣ部品ＭＰに対して、本実施の形態と同様に二次判定部２３を適応し、良品特徴量が抽出される画像として良品切出画像ＩＭｔｒ１０１が、判定用特徴量が抽出される画像として判定切出画像ＩＭｔｉ１０１がそれぞれ用いられた場合における例を示している。図７（Ｃ）は、図７（Ａ）の良品元画像ＩＭｂｒ１０１から切り出された良品切出画像ＩＭｔｒ１０１を示している。図７（Ｄ）は、図７（Ｂ）の判定元画像ＩＭｂｉ１０１から切り出された判定切出画像ＩＭｔｉ１０１を示している。

【0088】

図８（Ｂ）は、二次判定部適応における、各画像データから得られた異常度の度数分布を表したグラフである。この図８（Ｂ）では、ＯＫ異常度が０．４５以下の範囲に分布している一方、ＮＧ異常度が０．５以上の範囲に分布しており、図８（Ａ）と比較して、双方の分布が比較的大きく離れている。このことは、ＯＫ異常度とＮＧ異常度とを容易に分離し得るような判定閾値Ｔｈを適切に設定することが比較的容易であり、該判定閾値Ｔｈを適切に設定することにより誤判定を容易に防止し得ることを意味している。

【0089】

この二次判定部適応の場合においても判定閾値Ｔｈを０．４７５に設定した。その結果、図９に示すように、正常判定率が１００［％］となった。このことは、二次判定部適応の場合、ＯＫ異常度の分布範囲とＮＧ異常度の分布範囲との間に判定閾値Ｔｈを設定するだけで、誤判定が生じないことを意味している。

【0090】

このように本実施の形態では、二次判定部２３において検査領域ＡＲｉを特定することにより、誤判定を抑え得るような適切な閾値を設定することが、極めて容易となっている。

【0091】

ここで、判定閾値Ｔｈを単純に大きい値とするほど、多くのＯＫ異常度が判定閾値Ｔｈよりも小さくなっていくため、正常判定率は高くなる。しかしながらその場合、ＮＧ異常度についても判定閾値Ｔｈよりも小さくなるものが出てくるため、不良品が良品と判定されてしまう可能性が高くなってしまう。このため外観検査装置１は、二次判定部２３で二次判定処理を行うことにより、ＯＫ異常度の分布範囲とＮＧ異常度の分布範囲とを大きく分離させ、ＯＫ異常度の分布範囲とＮＧ異常度の分布範囲との間に最適な判定閾値Ｔｈを設定することができる。これにより外観検査装置１は、不良品を良品と判定してしまうことを防止できる。

【0092】

以上の構成によれば外観検査装置１は、対象物としての回路基板ＣＢを撮影する撮像部７と、撮像部７により撮影された第１画像データとしての判定元画像ＩＭｂｉを取得する取得部２２と、判定元画像ＩＭｂｉから不良が発生した領域としての検査領域ＡＲｉを特定する検査領域切出部２４と、回路基板ＣＢが撮影された第２画像データとしての良品元画像ＩＭｂｒから抽出すべき特徴量を含む教師データセットを用いて学習処理が行われた学習モデルを使用して、判定元画像ＩＭｂｉから検査領域ＡＲｉの第１特徴量としての判定用特徴量を抽出すると共に、良品元画像ＩＭｂｒから検査領域ＡＲｉの第２特徴量としての良品特徴量を抽出する特徴量抽出部２８と、良品特徴量と判定用特徴量との剥離を示す評価値としての異常度を算出する異常度算出部２６と、異常度から判定元画像ＩＭｂｉを判定する再判定部２７と、再判定部２７による判定の結果を出力する表示部５とを設けるようにした。

【0093】

これにより外観検査装置１は、良品を不良品であると判定してしまっても、判定元画像ＩＭｂｉ及び良品元画像ＩＭｂｒにおける検査領域ＡＲｉ以外の領域が判定に与える影響を抑えて再判定することにより、良品であると正しく判定することができる。

【0094】

［５．他の実施の形態］
なお上述した実施の形態においては、一次判定部２１及び二次判定部２３を外観検査装置１の機能として構成する場合について述べた。本発明はこれに限らず、一次判定部２１を外観検査装置１の外部の装置の機能として構成し、二次判定部２３のみを外観検査装置１の機能として構成しても良い。また上述した実施の形態においては、一次判定部２１と二次判定部２３とを別々に構成する場合について述べた。本発明はこれに限らず、一次判定部２１と二次判定部２３とを１つの判定部の機能として構成しても良い。

【0095】

さらに上述した実施の形態において外観検査装置１は、データ保存部３０に保存された学習処理において用いられる複数の学習用画像データを良品のデータにより構成する場合について述べた。本発明はこれに限らず、外観検査装置１は、データ保存部３０に保存された学習処理において用いられる複数の学習用画像データを不良品のデータを含んで構成しても良い。

【0096】

さらに上述した実施の形態においては、外観検査装置１に撮像部７（図１）を設け、該撮像部７により撮像された画像データをデータ保存部３０に保存させておく形態について述べた。本発明はこれに限らず、例えば通信部４を介して接続される他の機器から画像データを取得し、データ保存部３０に保存させておいても良い。この場合、他の機器としては、例えば撮像部７と同様の撮像機能や通信部４と同様の通信機能等を有するネットワークカメラ等を使用することができる。

【0097】

さらに上述した実施の形態においては、制御部２において判定処理プログラム等のプログラムを実行し、図２及び図３に示した各機能ブロックをソフトウェアにより構成する形態について述べた。しかし本発明はこれに限らず、例えば図２及び図３に示した各機能ブロックの少なくとも一部をハードウェアにより構成しても良い。

【0098】

さらに上述した実施の形態において外観検査装置１は、判定処理プログラム等の各プログラムを記憶部３に予め記憶しておく形態について述べた。本発明はこれに限らず、例えば所定のサーバ装置（図示せず）に各プログラムを保存しておき、外観検査装置１が通信部４（図１）により所定のネットワーク（図示せず）を介して該サーバ装置から該プログラムをダウンロードして実行するようにしても良い。

【0099】

さらに上述した実施の形態においては、回路基板ＣＢ上にチップＩＣ部品ＭＰが正常に実装されているか否かを判定する外観検査装置１に本発明を適用する場合について述べた。本発明はこれに限らず、他の種々の物体の外観の状態を判定する装置に本発明を適用しても良い。

【0100】

さらに本発明は、上述した実施の形態及び他の実施の形態に限定されるものではない。すなわち本発明は、上述した実施の形態と上述した他の実施の形態の一部又は全部を任意に組み合わせた実施の形態にも適用範囲が及ぶものである。また本発明は、上述した実施の形態及び他の実施の形態のうち任意の実施の形態に記載された構成の一部を抽出し、上述した実施の形態及び他の実施の形態のうちの任意の実施の形態の構成の一部と置換・転用した実施の形態や、抽出された構成の一部を任意の実施の形態に追加した実施の形態にも適用範囲が及ぶものである。

【0101】

さらに上述した実施の形態においては、撮像部としての撮像部７と、取得部としての取得部２２と、切出領域特定部としての検査領域切出部２４と、特徴量抽出部としての特徴量抽出部２８と、評価値算出部としての異常度算出部２６と、判定部としての再判定部２７と、出力部としての表示部５とによって、外観検査装置としての外観検査装置１を構成する場合について述べた。本発明はこれに限らず、その他種々の構成でなる撮像部と、取得部と、切出領域特定部と、特徴量抽出部と、評価値算出部と、判定部と、出力部とによって、外観検査装置を構成しても良い。

【産業上の利用可能性】

【0102】

本発明は、例えば製品を製造する工場に設置される外観検査装置で利用できる。

【符号の説明】

【0103】

１……外観検査装置、２……制御部、３……記憶部、４……通信部、５……表示部、６……操作部、７……撮像部、２１……一次判定部、２２……取得部、２３……二次判定部、２４……検査領域切出部、２５……特徴量処理部、２６……異常度算出部、２７……再判定部、２８……特徴量抽出部、３０……データ保存部、３１……特徴量保存部、ＩＭｂｒ……良品元画像、ＩＭｂｉ……判定元画像、ＩＭｔｒ……良品切出画像、ＩＭｔｉ……判定切出画像、ＩＦｐ……部品領域情報、ＩＦｃ……カテゴリ情報、ＩＦｗ……不良領域情報、ＣＢ……回路基板、ＭＰ……チップＩＣ部品、ＢＤ……ボディ、ＬＤ……リード、ＡＲｉ……検査領域、ＡＲｐ……部品領域、ＡＲｗ……不良領域、Ｌｃ……中心線、Ｌｂ……境界線、Ｔｈ……判定閾値。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】