特許 6792842 外観検査装置、変換データ生成装置、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6792842

(24)【登録日】2020年11月11日

(45)【発行日】2020年12月2日

(54)【発明の名称】外観検査装置、変換データ生成装置、及びプログラム

(51)【国際特許分類】

   G01N 21/88 20060101AFI20201119BHJP

   G06T 7/00 20170101ALI20201119BHJP

【ＦＩ】

   G01N21/88 Z

   G06T7/00 350C

   G06T7/00 610C

   G06T7/00 250

【請求項の数】6

【全頁数】14

(21)【出願番号】特願2017-111572(P2017-111572)

(22)【出願日】2017年6月6日

(65)【公開番号】特開2018-205163(P2018-205163A)

(43)【公開日】2018年12月27日

【審査請求日】2019年6月10日

(73)【特許権者】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(73)【特許権者】

【識別番号】599002043

【氏名又は名称】学校法人 名城大学

(74)【代理人】

【識別番号】110000578

【氏名又は名称】名古屋国際特許業務法人

(72)【発明者】

【氏名】横山 良雄

(72)【発明者】

【氏名】坂本 佳隆

(72)【発明者】

【氏名】堀田 一弘

(72)【発明者】

【氏名】村田 智和

【審査官】 蔵田 真彦

(56)【参考文献】

【文献】 特開平１０−２７４６２６（ＪＰ，Ａ）

【文献】 特開２０００−０４６７４９（ＪＰ，Ａ）

【文献】 特開平０２−２６８３８０（ＪＰ，Ａ）

【文献】 特開２０１１−０１４１５２（ＪＰ，Ａ）

【文献】 特開２００４−３５４２５１（ＪＰ，Ａ）

【文献】 米国特許第０７４４０６０７（ＵＳ，Ｂ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｎ ２１／８４−２１／９５８

Ｇ０６Ｔ １／００、７／００

ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）

(57)【特許請求の範囲】

【請求項1】

検査対象物の外観を表す検査対象画像を取得する取得部（Ｓ３１０）と、
前記取得部にて取得された前記検査対象画像から、予め設定された変換データを用いて、良品と判断される外観を表す復元画像を生成するように構成された復元部（Ｓ３４０、Ｓ３５０）と、
前記検査対象画像と前記復元画像との差分から前記検査対象画像に写った前記検査対象物の良否を判断するように構成された判断部（Ｓ３６０、Ｓ３８０）と、
画像の特徴を表すベクトルを特徴ベクトルとして、良品と判断される前記検査対象物の外観を写した複数の良品画像のそれぞれから前記特徴ベクトルを抽出し、抽出された前記特徴ベクトルを良品ベクトルとするように構成された抽出部（Ｓ１５０）と、
前記特徴ベクトルによって表されるベクトル空間を全体空間とし、前記全体空間のうち前記良品ベクトルの分布を近似する部分空間を特徴空間として、前記特徴ベクトルを前記全体空間から前記特徴空間へ写像する第１の写像、および前記第１の写像の結果を前記全体空間へ写像する第２の写像を連続して行うことを表現する行列である変換行列を、前記抽出部にて抽出された前記複数の良品ベクトルを用いて生成するように構成された生成部（Ｓ１６０、Ｓ１７０）と、
前記良品画像に欠陥を表す画像を合成した擬似欠陥画像から抽出された前記特徴ベクトルを学習データとして、前記生成部で生成された前記変換行列の各要素を調整するように構成された調整部（Ｓ１８０）と、
を備え、前記復元部は、前記調整部にて調整された変換行列を、前記変換データとして用いるように構成された外観検査装置。

【請求項2】

検査対象物の外観を表す検査対象画像から、良品と判断される外観を表す復元画像を生成するための変換データを生成する変換データ生成装置であって、
画像の特徴を表すベクトルを特徴ベクトルとして、良品と判断される前記検査対象物の外観を写した複数の良品画像のそれぞれから前記特徴ベクトルを抽出し、抽出された前記特徴ベクトルを良品ベクトルとするように構成された抽出部（Ｓ１５０）と、
前記特徴ベクトルによって表されるベクトル空間を全体空間とし、前記全体空間のうち前記良品ベクトルの分布を近似する部分空間を特徴空間として、前記特徴ベクトルを前記全体空間から前記特徴空間へ写像する第１の写像、および前記第１の写像の結果を前記全体空間へ写像する第２の写像を連続して行うことを表現する行列である変換行列を、前記抽出部にて抽出された前記複数の良品ベクトルを用いて生成するように構成された生成部（Ｓ１６０、Ｓ１７０）と、
前記良品画像に欠陥を表す画像を合成した擬似欠陥画像から抽出された前記特徴ベクトルを学習データとして、前記生成部で生成された前記変換行列の各要素を調整することで前記変換データを生成するように構成された調整部（Ｓ１８０）と、
を備える変換データ生成装置。

【請求項3】

請求項２に記載の変換データ生成装置であって、
前記複数の良品画像のそれぞれを複数の部分画像に分割する分割部（Ｓ１３０）を更に備え、
前記抽出部、前記生成部、前記調整部は、前記分割部によって分割された複数の部分画像が表す部位毎に処理を実行するように構成された、
変換データ生成装置。

【請求項4】

請求項２または請求項３に記載の変換データ生成装置であって、
前記生成部は、前記抽出部にて抽出された前記複数の特徴ベクトルから自己相関行列を生成し、該自己相関行列をKarhunen-Loeve展開することで、前記変換行列を求めるように構成された
変換データ生成装置。

【請求項5】

請求項２から請求項４のいずれか１項に記載の変換データ生成装置であって、
前記調整部は、前記変換行列をニューラルネットワークの中間層とみなし、Denoisinng Autoencoderを適用することで前記変換行列の各要素を調整するように構成された、
変換データ生成装置。

【請求項6】

検査対象物の外観を表す検査対象画像から、良品と判断される外観を表す復元画像を生成するための変換データを生成するプログラムであって、
画像の特徴を表すベクトルを特徴ベクトルとして、良品と判断される前記検査対象物の外観を写した複数の良品画像のそれぞれから前記特徴ベクトルを抽出し、抽出された前記特徴ベクトルを良品ベクトルとするように構成された抽出部（Ｓ１５０）と、
前記特徴ベクトルによって表されるベクトル空間を全体空間とし、前記全体空間のうち前記良品ベクトルの分布を近似する部分空間を特徴空間として、前記特徴ベクトルを前記全体空間から前記特徴空間へ写像する第１の写像、および前記第１の写像の結果を前記全体空間へ写像する第２の写像を連続して行うことを表現する行列である変換行列を、前記抽出部にて抽出された前記複数の良品ベクトルを用いて生成するように構成された生成部（Ｓ１６０、Ｓ１７０）と、
前記良品画像に欠陥を表す画像を合成した擬似欠陥画像から抽出された前記特徴ベクトルを学習データとして、前記生成部で生成された前記変換行列の各要素を調整することで前記変換データを生成するように構成された調整部（Ｓ１８０）と、
としてコンピュータを機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像を用いて検査対象物の外観を検査する技術に関する。

【背景技術】

【0002】

検査工程の省力化をはかり、または検査精度を向上するために、検査対象物を撮影して得られた検査画像を解析することにより、検査対象物の表面についた疵等の結果を検出して、検査対象物が良品か不良品であるかを判定する技術が知られている。

【0003】

例えば、下記特許文献１では、以下の技術が開示されている。即ち、検査対象物の表面についた疵などの欠陥が写っている欠陥画像を擬似的に生成する。生成した擬似欠陥画像から良品および不良品の境界を大まかに決定する。決定した境界に従って、良品とすべき欠陥の像の特徴量と、不良品とすべき欠陥の像の特徴量を学習サンプルとして多数生成する。生成した学習サンプルを用いて外観検査用の識別器を学習する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第５５４６３１７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、発明者による詳細な検討の結果、特許文献１に記載の従来技術では以下の課題が見出された。即ち、従来技術では、良品と不良品の境界を決定する方法が客観的、定量的ではなく、あいまいである。また、従来技術では、擬似欠陥画像によって表現されていない未知の欠陥に対する検査能力が不明である。

【0006】

本開示は、検査対象物の外観の検査精度を向上させる技術を提供する。

【課題を解決するための手段】

【0007】

本開示の一態様による外観検査装置は、取得部（Ｓ３１０）と、復元部（Ｓ３４０、Ｓ３５０）と、判断部（Ｓ３６０、Ｓ３８０）と、抽出部（Ｓ１５０）と、生成部（Ｓ１６０、Ｓ１７０）と、調整部（Ｓ１８０）と、を備える。

【0008】

取得部は、検査対象物の外観を表す検査対象画像を取得する。復元部は、取得部にて取得された検査対象画像から、予め設定された変換データを用いて、良品と判断される外観を表す復元画像を生成する。判断部は、検査対象画像と復元画像との差分から検査対象画像に写った検査対象物の良否を判断する。抽出部は、良品と判断される検査対象物の外観を写した複数の良品画像のそれぞれから該良品画像の特徴を表す特徴ベクトルである良品ベクトルを抽出する。生成部は、抽出部にて抽出された複数の良品ベクトルを用いて変換行列を生成する。変換行列は、特徴ベクトルを特徴空間へ写像する第１の写像、および第１の写像の結果を全体空間へ写像する第２の写像を連続して行うことを表現する行列である。但し、全体空間は、特徴ベクトルによって表されるベクトル空間であり、特徴空間は、全体空間のうち良品ベクトルの分布を近似する部分空間である。調整部は、良品画像に欠陥を表す画像を合成した擬似欠陥画像から抽出された特徴ベクトルを学習データとして、生成部で生成された変換行列の各要素を調整する。そして、復元部は、調整部にて調整された変換行列を、変換データとして用いて復元画像を生成する。

【0009】

このような構成によれば、検査対象画像と復元画像との差分から検査対象物の良否を判断するため、検査対象画像に撮像された検査対象物が、復元画像に示された良品と判断される検査対象物と異なってさえいれば、未知の欠陥であっても検出することができ、検査対象物の外観の検査精度を向上させることができる。

【0010】

また、復元画像の生成に用いる変換データは、良品画像を用いて生成される変換行列をそのまま用いるのではなく、擬似欠陥画像を用いた学習によって調整されている。このため、変換データによって生成される復元画像の精度、ひいては、検査対象物の外観の検査精度をより一層向上させることができる。

【0011】

本開示の一態様による変換データ生成装置は、抽出部と、生成部と、調整部と、を備える。また、本開示の一態様によるプログラムは、抽出部と、生成部と、調整部と、としてコンピュータを機能させるためのものである。これら変換データ生成装置およびプログラムにおける抽出部、生成部、調整部は、上記外観検査装置において説明した抽出部、生成部、調整部と同様のものである。

【0012】

このような構成によれば、良品を表す画像への復元精度の高い変換データを生成することができ、生成された変換データを用いることで、検査対象物の外観の検査精度を向上させることができる。

【0013】

なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。

【図面の簡単な説明】

【0014】

【図1】外観検査装置の構成を示すブロック図である。

【図2】変換データ生成処理のフローチャートである。

【図3】擬似欠陥画像の生成に使用するテンプレートを例示する説明図である。

【図4】検査対象画像および検査対象画像を複数に分割した部分画像を例示する説明図である。

【図5】変換行列の作用を示す説明図である。

【図6】３層のニューラルネットワークと変換行列の関係を示す説明図である。

【図7】外観検査処理のフローチャートである。

【図8】外観検査の結果を、他の手法と比較して示したグラフである。

【図9】外観検査時に得られる誤差画像を他の手法と比較して、テスト画像および正解画像と共に示した説明図である。

【発明を実施するための形態】

【0015】

以下、図面を参照しながら、本開示の実施形態を説明する。
［１．構成］
図１に示す外観検査装置１は、入力部１０と、演算部２０と、記憶部３０と、出力部４０とを備える。

【0016】

入力部１０は、検査対象物の外観を、同一の撮像条件で撮像した画像を入力する。検査対象物は、各種の工業製品または工業製品の部品等である。入力される画像には、検査対象画像と良品画像とが含まれる。検査対象画像は、良否判定の対象となる検査対象物を撮像した画像である。良品画像は、良品と判断された既知の検査対象物を撮像した画像である。

【0017】

演算部２０は、ＣＰＵ２１と、ＲＡＭ、ＲＯＭ、フラッシュメモリ等の半導体メモリ（以下、メモリ２２）と、を有するマイクロコンピュータを備える。演算部２０の各種機能は、ＣＰＵ２１が非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、メモリ２２が、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムが実行されることで、プログラムに対応する方法が実行される。なお、演算部は、１つのマイクロコンピュータを備えてもよいし、複数のマイクロコンピュータを備えてもよい。

【0018】

演算部２０の機能を実現する処理には、外観検査処理と、変換データ生成処理とが含まれる。これらの処理の詳細については後述する。演算部２０がこれらの処理を実現する手法はソフトウェアに限るものではなく、その一部又は全部の要素について、一つあるいは複数のハードウェアを用いて実現してもよい。例えば、上記機能がハードウェアである電子回路によって実現される場合、その電子回路は多数の論理回路を含むデジタル回路、又はアナログ回路、あるいはこれらの組合せによって実現してもよい。

【0019】

記憶部３０は、読み出し、書き込みが可能な不揮発性メモリを備える。記憶部３０は、例えば、ＨＤＤ、フラッシュメモリ、コンピュータに対して着脱自在なＵＳＢメモリ等であってもよい。記憶部３０には、複数のデータベース（以下、ＤＢ）が構築される。具体的には、記憶部３０は、良品画像ＤＢ３１、学習画像ＤＢ３２、変換データＤＢ３３を備える。良品画像ＤＢ３１には、変換データの生成に使用する複数の良品画像が蓄積される。学習画像ＤＢ３２には、変換データを調整する際の学習データとして使用される擬似欠陥画像が蓄積される。擬似欠陥画像は、変換データ生成処理によって生成される。変換データＤＢ３３には、検査対象画像から復元画像を生成する際に使用する変換データが記憶される。変換データは、擬似欠陥画像と同様に、変換データ生成処理によって生成される。

【0020】

出力部４０は、少なくとも表示画面を有し、演算部２０での外観検査処理による良否判定の判定結果や、判定の対象となった検査対象画像、処理の過程で得られる復元画像などを表示する。

【0021】

［２．処理］
［２−１．変換データ生成処理］
次に、演算部２０が実行する変換データ生成処理について、図２のフローチャートを用いて説明する。本処理は、良品画像ＤＢ３１に複数の良品画像が格納されている状態で、入力部１０を介して外部から生成指示が入力されると起動する。良品画像ＤＢ３１に格納される良品画像は、例えば、入力部１０を介して外部から取得してもよいし、外観検査処理により良品と判断された検査対象画像を用いてもよい。また、演算部２０として機能するコンピュータに、良品画像が格納されたＵＳＢメモリ等を良品画像ＤＢ３１として接続してもよい。

【0022】

本処理が起動すると、演算部２０は、Ｓ１１０では、良品画像ＤＢ３１に蓄積された複数の良品画像を取得する。ここでは、例えば、数千個オーダーの良品画像を用いるものとする。

【0023】

Ｓ１２０では、取得した複数の良品画像の一部について、擬似欠陥画像を生成し、学習画像ＤＢ３２に格納する。擬似欠陥画像は、検査対象物の表面についた疵などの欠陥を模擬した模擬画像を、良品画像に合成することによって生成する。具体的には、欠陥の形状を模擬した複数種類のテンプレート（即ち、欠陥の形状）を用意し、使用するテンプレートをランダムに選択すると共に、選択されたテンプレートによって表される欠陥の大きさ、色、傾き等をランダムに変化させた多種類の模擬画像を生成する。この模擬画像を、良品画像に示された検査対象物上で位置や数をランダムに変化させて良品画像に合成することで、擬似欠陥画像を生成する。図３は、模擬画像の生成に使用するテンプレートの一部を示したものであり、白抜きされた部分が欠陥の形状を表す。模擬画像を良品画像に合成することで生成された擬似欠陥画像の例を、図９に、テスト画像として示す。図中、黒く塗りつぶされた部位が模擬画像を合成した箇所であり、実際の色は黒に限定されるものではなく、ランダムに選択された色が付与される。また、図に示された３つの検査対象物には、汚れの付着および撮像時の条件（例えば、周囲の明るさ）等に基づく輝度むらが生じているが、これらは抽出すべき欠陥ではない。

【0024】

Ｓ１３０では、Ｓ１１０で取得した複数の良品画像およびＳ１２０で生成した擬似欠陥画像のそれぞれを、複数の領域に分割する。ここで使用する良品画像は、擬似欠陥画像の生成に使用した以外のものを用いる。但し、これに限定されるものではなく、擬似欠陥画像の生成に用いた良品画像が含まれていてもよい。以下では、分割された各領域の画像を部分画像という。本実施形態では、図４に示すように、全ての部分画像がほぼ同じ形状となるように９個の領域に分割する。

【0025】

Ｓ１４０では、Ｓ１３０にて分割された画像の領域のうち、以下で説明するＳ１５０〜Ｓ２００の処理が実施されていない領域の一つを選択領域として選択する。
Ｓ１５０では、擬似欠陥画像の生成に使用していないｎ個の良品画像のそれぞれについて、Ｓ１４０で選択された選択領域の部分画像から特徴ベクトル（以下、良品ベクトル）ｘを生成する。ｎは数百〜数千オーダーの正整数である。ここでは、良品ベクトルｘとして、部分画像に属する全ての画素のＲＧＢの輝度情報を並べることで生成されるｄ次元のベクトルを用いる。例えば、部分画像の画素数がｍである場合、良品ベクトルｘの次元は、ｄ＝３×ｍとなる。

【0026】

Ｓ１６０では、Ｓ１５０にて生成されたｎ個の良品ベクトルｘを用いて、自己相関行列Ｒを生成する。具体的には、良品ベクトルｘを（１）式で表すものとして、自己相関行列Ｒは（２）式により求められる。但し、Ｔは行列の転置を表す。

【0027】

【数1】

Ｓ１７０では、良品ベクトルｘを表現するｄ次元のベクトル空間を全体空間とし、Ｓ１５０にて生成された良品ベクトルｘの分布を最もよく近似するより次元の低い部分空間への写像を表す写像行列Ｕを生成する。ここでは、（３）式を用いて、Ｓ１５０で求めた相関関数ＲをＫＬ展開することにより写像行列Ｕを生成する。ＫＬは、Karhunen-Loeveの略である。但し、ｒは自己相関関数Ｒのランクであり、ｒ＜ｄとなる正整数である。写像行列Ｕは、（４）式に示すように、ｄ次元の固有ベクトルｕ１〜ｕｒをｒ個並べたｄ行ｒ列の固有ベクトル行列であり、Λは、（５）式に示すように、対角成分に固有値λを持つｒ行ｒ列の固有値行列である。

【0028】

【数2】

Ｓ１８０では、Ｓ１７０で算出された写像行列Ｕの各要素を、ＤＡＥにより学習することによって調整する。ＤＡＥは、Denoising Auto Encoderの略である。オートエンコーダは、３層のニューラルネットを、入力層と出力層に同じデータを用いて教師あり学習させたものである。ＤＡＥは、オートエンコーダにおいて、入力層に加える学習データにノイズを加えて学習させたものをいう。

【0029】

写像行列Ｕは、（６）式に示すように、検査対象画像から抽出した特徴ベクトルｙから、良品と判断される復元画像を表す特徴ベクトルｙ〜を生成するために使用される。以下では、Ｕ×Ｕ^Ｔによって表される行列、およびＵ、Ｕ^Ｔを調整した行列Ｖ，Ｗを用いたＶ×Ｗによって表される行列を変換行列Ｋという。

【0030】

【数3】

図５に示すように、変換行列Ｋのうち、転置した写像行列Ｕ^Ｔによる写像（以下、第１の写像）は、全体空間から良品画像の特徴を表現したより低次元の部分空間への写像、即ち、特徴ベクトルｙを、より情報が圧縮された符号ｚへの符号化を表す。この符号化により、特徴ベクトルｙに付与されている欠陥に関する情報が除去された符号ｚが生成される。変換行列Ｋのうち写像行列Ｕによる更なる写像（以下、第２の写像）は、部分空間から元の全体空間への写像、即ち、符号ｚから特徴ベクトルへの復号化を行っていることを表す。この復号化により、欠陥に関する情報が欠落した画像、即ち、良品と判断される復元画像を表す特徴ベクトルｙ〜が生成される。

【0031】

また、変換行列Ｋは、図６に示すように、３層のニューラルネットワークの接続状態を表すものであると見なすことができる。つまり、変換行列Ｋのうち、転置した写像行列Ｕ^Ｔによる第１の写像が、３層のニューラルネットワークにおける入力層から中間層へ接続状態を表現する。また、写像行列Ｕによる第２の写像が、ニューラルネットワークにおける中間層から出力層への接続状態を表現する。これにより、変換行列Ｋの学習、ひいては写像行列Ｕの学習には、ニューラルネットワークにおいて公知の学習手法であるバックプロパゲーション等の適用が可能となる。また、ＤＡＥによる学習では、ノイズを加えた学習データとして、Ｓ１３０で領域毎に分割された擬似欠陥画像のうち、Ｓ１４０で選択された選択領域に関するものを使用する。

【0032】

Ｓ１９０では、部分画像の画素毎に、その画素が欠陥箇所であるか否かを判断するための判定閾値ＴＨを設定する。ここでは、ＬＭｅｄＳ推定を用いる。具体的には、Ｓ１８０で算出される変換行列Ｋを用いて、複数の良品画像の選択領域に関する部分画像のそれぞれについて復元画像を生成する。生成された複数の復元画像に基づき、部分画像に属する画素毎に、復元誤差の標準偏差σを算出する。標準偏差σを算出する際には、まず、算出対象の画素について復元誤差の2乗の中央値Ｍを求め、更にその中央値Ｍを用いて標準偏差σを推定する。そして、推定された標準偏差σに基づき、例えば、２．５σを判定閾値ＴＨとして設定する。以下では、各画素の判定閾値ＴＨを総称して判定閾値群という。但し、σに乗じる係数は、２．５に限定されるものではなく、実験結果から適切な係数を設定してもよい。

【0033】

Ｓ２００では、Ｓ１８０にて算出された調整後の変換行列ＫおよびＳ１９０にて算出された判定閾値群を変換データとして、変換データＤＢ３３に格納する。なお、調整後の変換行列Ｋの代わりに調整後の写像行列Ｖ，Ｗを格納してもよい。

【0034】

Ｓ２１０では、分割された全ての領域について処理が終了しているか否かを判断する。未処理の領域があればＳ１４０に戻り、全ての領域について処理が終了していれば、本処理を終了する。

【0035】

本処理を実行することにより、変換データＤＢ３３には、分割される領域毎に算出された変換行列Ｋと、入力画像の画素毎に算出された判定閾値ＴＨとが格納される。
なお、本処理において、Ｓ１３０が分割部、Ｓ１５０が抽出部、Ｓ１６０〜Ｓ１７０が生成部、Ｓ１８０が調整部に相当する。

【0036】

［２−２．外観検査処理］
演算部２０が実行する外観検査処理について、図７のフローチャートを用いて説明する。本処理は、入力部１０に検査対象画像が入力される毎に起動する。

【0037】

本処理が起動すると、演算部２０は、まず、Ｓ３１０にて、入力部１０を介して検査対象画像を取得する。
Ｓ３２０では、検査対象画像を、図４に示すように、複数の領域に分割する。

【0038】

Ｓ３３０では、Ｓ３２０で分割された各領域の画像である部分画像の一つを選択画像に設定する。
Ｓ３４０では、選択画像から特徴ベクトルｙを抽出する。特徴ベクトルｙの抽出方法は、上述した良品画像から抽出する特徴ベクトルｘの場合と同様である。以下では、この抽出された特徴ベクトルｙを選択ベクトルという。

【0039】

Ｓ３５０では、Ｓ３４０で抽出された選択ベクトルｙと、変換データＤＢ３３から取得した選択画像に対応する領域の変換データである変換行列Ｋとを用い、上述の（６）式に従って、復元画像の特徴ベクトルである復元ベクトルｙ〜を生成する。

【0040】

Ｓ３６０では、復元ベクトルｙ〜と、選択ベクトルｙとの差分を表す誤差ベクトルｅを生成する。つまり、誤差ベクトルｅは、復元ベクトルｙ〜から生成される復元画像に示された良品と判断される検査対象物と検査対象画像に示された検査対象物との差分、即ち、欠陥箇所を示すものとなる。但し、誤差ベクトルｅの各要素は、変換データＤＢ３３から取得した各要素に対応する画素の判定閾値ＴＨを用いて２値化される。即ち、誤差ベクトルｅの要素が１である場合、その要素に対応した画素は、欠陥有りと判断されたことを意味し、誤差ベクトルｅの要素が０である場合、その要素に対応した画素は、欠陥無しと判断されたことを意味する。

【0041】

なお、誤差ベクトルｅを生成する際に、予め設定された基準画像に基づく基準ベクトルを用いるのではなく、選択ベクトルｙから生成される復元ベクトルｙ〜を用いるのは、以下の理由による。つまり、検査対象画像に撮像された検査対象物は、いずれも同じ形状、同じ大きさのものであるが、撮像時の条件によって、検査対象画像毎に、検査対象物の位置が微妙にずれていたり、検査対象物がネジであれば、ねじ山の位相が異なっていたりする。従って、基準画像に撮像された検査対象物の状態は、必ずしも検査対象画像に撮像された検査対象物の状態と一致するとは限らず、そのずれによって誤検出が生じる可能性がある。このような検査対象物の状態の違いによる誤検出を抑制するために、選択ベクトルｙから生成した復元ベクトルｙ〜（即ち、復元画像）を用いる必要がある。

【0042】

Ｓ３７０では、Ｓ３２０で分割した全ての領域について、上述のＳ３３０〜Ｓ３６０の処理を実行済みであるか否かを判断する。未処理の領域があればＳ３３０に戻り、全ての領域が処理済みであれば、Ｓ３８０に移行する。

【0043】

Ｓ３８０では、検査対象画像を分割した複数の部分画像のそれぞれについて生成された誤差ベクトルｅの要素がいずれも０であれは、検査対象画像に撮像されている検査対象物は良品であると判断する。また、誤差ベクトルｅの要素が一つでも１であれば、検査対象物は不良品であると判断する。そして、この判断結果を、検査対象画像および誤差ベクトルｅから再現される誤差画像等と共に出力部４０の表示画面に表示して、本処理を終了する。

【0044】

なお、本処理において、Ｓ３１０が取得部、Ｓ３４０〜Ｓ３５０が復元部、Ｓ３６０及びＳ３８０が判断部に相当する。
［３．評価］
本開示の手法および比較例１〜４のそれぞれについて変換行列Ｋおよびこれに相当する行列を生成し、擬似欠陥画像を検査対象画像（以下、テスト画像）として、性能を評価した結果について説明する。

【0045】

比較例１では、変換行列Ｋの初期値をランダムに設定し、この変換行列Ｋに対してＤＡＥによる学習を行うことで変換行列Ｋの各要素を調整した。但し、中間層のユニット数を２０００とした。以下、比較例１の手法をＤＡＥと表記する。

【0046】

比較例２では、中間層のユニット数を８０００に増加させ、比較例１と同じ手法で変換行列Ｋの生成および調整を行った。但し、テスト画像に対して２画素×２画素の平均プーリングを行うことによって、テスト画像の解像度を１／２とした。以下、比較例２の手法をＳＤ＿ＤＡＥと表記する。

【0047】

比較例３では、比較例２と同様の手法で解像度を１／２にした良品画像を用い、部分空間法（即ち、ＫＬ展開）により変換行列Ｋを生成した。なお、固有ベクトルの成分数はｒ＝３７５０であった。以下、比較例３の手法をＳＤ＿ＥＶと表記する。

【0048】

比較例４では、比較例３と同様の手法で生成した変換行列Ｋを初期値として、ＤＡＥによる学習を行うことで変換行列Ｋの各要素を調整した。以下、比較例４の手法をＳＤ＿ＥＶ＿ＤＡＥと表記する。

【0049】

本開示は、画像を９つの領域に分割し、分割された部位毎に、比較例４と同様の手法を用いて変換行列Ｋの生成および調整を行った。以下、本開示の手法を局所ＤＡＥと表記する。

【0050】

このようにして生成および調整した変換行列Ｋを用いて、テスト画像について外観検査処理を実行し、正解数Ｇ、検出数Ｔ、誤検出数Ｆを求めた。正解数Ｇは、テスト画像中で欠陥が存在する画素の総数であり、使用するテスト画像によって決まる既知の値である。検出数Ｔは、外観検査処理の結果、欠陥であると正しく判定された画素の総数である。誤検出数Ｆは、外観検査処理の結果、実際には欠陥ではないにも関わらず欠陥であると誤判定された画素の総数（以下、誤検出数）である。また、判定閾値ＴＨは、最高の精度が得られるように適宜調整した。

【0051】

図８に示すグラフは、precision-recall曲線であり、（７）式で算出される適合率、即ちprecisionと、（８）式で算出される再現率、即ちrecallとの関係を示したものである。

【0052】

【数4】

図８からは、本開示および比較例４と比較例１〜３との比較から、部分空間法を用いて算出された変換行列Ｋを初期値として、ＤＡＥによる学習を行うことで変換行列Ｋの各要素を調整することが有効であることがわかる。更に、本開示と比較例４との比較から、画像全体を一括で処理するのではなく、複数に分割して処理を行う局所ＤＡＥが有効であることがわかる。

【0053】

図９は、３つのテスト画像について、擬似欠陥がある画素の位置を示す正解画像ＧＴ、本開示の局所ＤＡＥによる復元画像を用いて生成した誤差画像、比較例３のＳＤ＿ＥＶによる復元画像を用いて生成した誤差画像、比較例４のＳＤ＿ＥＶ＿ＤＡＥによる復元画像を用いて生成した誤差画像を並べて示したものである。

【0054】

図中において１行目のテスト画像には、検出対象物の白い部分に黒い擬似欠陥がある。このとき、正常なサンプルとの輝度値の差が大きいため、比較例３では、擬似欠陥の周辺に誤検出が多く現れている。比較例４および本開示の手法では、擬似欠陥の箇所を正しく検出していることがわかる。また、本開示の手法では、比較例４に比べて、擬似欠陥以外で欠陥ありと判定されて画素の数（即ち、誤検出数）が、大幅に減少していることがわかる。

【0055】

２行目および３行目のテスト画像には、検出対象物の白い部分以外の箇所に、緑色および紫色の擬似欠陥がある。これらの場合も、１行目のテスト画像と同様の傾向を読み取ることができる。

【0056】

［４．効果］
以上詳述した第１実施形態によれば、以下の効果を奏する。
（１）外観検査装置１では、特徴ベクトルｙ（即ち、検査対象画像）と、復元ベクトルｙ〜（即ち、復元画像）との差分である誤差ベクトルｅ（即ち、誤差画像）から、検査対象物の良否を判断する。このため、検査対象画像に撮像された検査対象物が、復元画像に示された良品と判断される復元された検査対象物と異なってさえいれば、未知の欠陥であっても検出することができ、検査対象物の外観の検査精度を向上させることができる。

【0057】

（２）外観検査装置１では、復元画像の生成に用いる変換データとして、良品画像から抽出された特徴ベクトルｘに基づく相関関数ＲをＫＬ展開すること、即ち、部分空間法を用いることで生成された変換行列をそのまま用いるのではなく、擬似欠陥画像を用いた学習であるＤＡＥを施すことによって調整された変換行列Ｋを用いている。このため、変換データによって生成される復元画像の精度、ひいては、検査対象物の外観の検査精度をより向上させることができる。

【0058】

（３）外観検査装置１では、検査対象画像を複数の領域に分割し、分割された領域毎に、変換データの生成および変換データを用いた外観検査を実施する。このため、検査対象画像の一部の領域を原因として発生するノイズが、その領域以外に波及することを抑制することができ、より高品質な復元画像を生成することができ、ひいては検査対象物の外観の検査精度を更に向上させることができる。

【0059】

［５．他の実施形態］
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。

【0060】

（ａ）上記実施形態では、検査対象画像や良品画像を複数の領域に分割して処理を行っているが、領域分割を行うことなく、検査対象画像や良品画像をそのまま一括して処理してもよい。

【0061】

（ｂ）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言から特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。

【0062】

（ｃ）上述した外観検査装置の他、外観検査装置ら外観検査処理の機能を除外した変換データ生成装置、当該外観検査装置または変換データ生成装置を構成要素とするシステム、外観検査装置または変換データ生成装置としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、外観検査方法、変換データ生成方法など、種々の形態で本開示を実現することもできる。

【符号の説明】

【0063】

１…外観検査装置、１０…入力部、２０…演算部、２１…ＣＰＵ、２２…メモリ、３０…記憶部、３１…良品画像ＤＢ、３２…学習画像ＤＢ、３３…変換データＤＢ、４０…出力部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】