(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2023-11-15
(45)【発行日】2023-11-24
(54)【発明の名称】検査方法及び検査装置
(51)【国際特許分類】
G06T 7/00 20170101AFI20231116BHJP
G01N 21/88 20060101ALI20231116BHJP
G06V 10/766 20220101ALI20231116BHJP
【FI】
G06T7/00 610Z
G01N21/88 J
G06V10/766
(21)【出願番号】P 2022077259
(22)【出願日】2022-05-09
【審査請求日】2022-12-19
(73)【特許権者】
【識別番号】591006298
【氏名又は名称】JFEテクノリサーチ株式会社
(74)【代理人】
【識別番号】100147485
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】230118913
【氏名又は名称】杉村 光嗣
(74)【代理人】
【識別番号】100165696
【氏名又は名称】川原 敬祐
(74)【代理人】
【識別番号】100202326
【氏名又は名称】橋本 大佑
(72)【発明者】
【氏名】浅野 一哉
【審査官】小池 正彦
(56)【参考文献】
【文献】特許第6241576(JP,B1)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00
G01N 21/88
G06V 10/766
(57)【特許請求の範囲】
【請求項1】
対象物を撮像して得られた画像に基づき前記対象物を検査する検査方法であって、
m個の画素を含む正常画像の画素値を並べて得られるベクトルを一つの説明変数の系列とし、n枚の前記正常画像を用いて、各々がm個の要素を含むn個の正常画像ベクトルを取得するステップと、
m個の画素を含む前記対象物の対象物画像の画素値を並べて、m個の要素を含む対象物画像ベクトルを取得するステップと、
m個の要素を含むn個の前記正常画像ベクトルに基づくn個以下の説明変数のm個の観測値と、m個の要素を含む前記対象物画像ベクトルに基づく目的変数のm個の観測値と、を用いて回帰モデルを算出するステップと、
前記回帰モデルの係数及びn個の前記正常画像ベクトルに基づいて前記対象物画像ベクトルを近似する前記対象物画像の再構成ベクトルを算出するステップと、
前記対象物画像ベクトルと前記再構成ベクトルとの差分を再構成誤差ベクトルとして算出するステップと、
前記再構成誤差ベクトルの要素の値に基づいて前記対象物の異常の有無を判定するステップと、
を含む、
検査方法。
【請求項2】
請求項1に記載の検査方法であって、
前記回帰モデルを算出するステップにおいて、m個の要素を含むn個の前記正常画像ベクトルをn個の前記説明変数のm個の前記観測値とみなし、m個の要素を含む前記対象物画像ベクトルを前記目的変数のm個の前記観測値とみなし、
前記再構成ベクトルを算出するステップにおいて、前記回帰モデルの係数でn個の前記正常画像ベクトルを重み付けして加算することで前記再構成ベクトルを算出する、
検査方法。
【請求項3】
請求項1に記載の検査方法であって、
前記回帰モデルを算出するステップにおいて、あらかじめ算出された重みを用いてn個の前記正常画像ベクトルを重み付けして加算することで得られたd個(d<n)の中間変数ベクトルをd個の前記説明変数のm個の前記観測値とみなし、m個の要素を含む前記対象物画像ベクトルを前記目的変数のm個の前記観測値とみなし、
前記再構成ベクトルを算出するステップにおいて、前記回帰モデルの係数でd個の前記中間変数ベクトルを重み付けして加算することで前記再構成ベクトルを算出する、
検査方法。
【請求項4】
請求項3に記載の検査方法であって、
n個の前記正常画像ベクトルに掛け合わせる重みを、主成分分析、独立成分分析、及び部分最小二乗法のいずれかを用いてあらかじめ算出し、前記中間変数ベクトルを算出するステップをさらに含む、
検査方法。
【請求項5】
請求項1乃至4のいずれか1項に記載の検査方法であって、
前記回帰モデルは、線形回帰モデルを含む、
検査方法。
【請求項6】
対象物を撮像して得られた画像に基づき前記対象物を検査する検査装置であって、
制御部を備え、
前記制御部は、
m個の画素を含む正常画像の画素値を並べて得られるベクトルを一つの説明変数の系列とし、n枚の前記正常画像を用いて、各々がm個の要素を含むn個の正常画像ベクトルを取得し、
m個の画素を含む前記対象物の対象物画像の画素値を並べて、m個の要素を含む対象物画像ベクトルを取得し、
m個の要素を含むn個の前記正常画像ベクトルに基づくn個以下の説明変数のm個の観測値と、m個の要素を含む前記対象物画像ベクトルに基づく目的変数のm個の観測値と、を用いて回帰モデルを算出し、
前記回帰モデルの係数及びn個の前記正常画像ベクトルに基づいて前記対象物画像ベクトルを近似する前記対象物画像の再構成ベクトルを算出し、
前記対象物画像ベクトルと前記再構成ベクトルとの差分を再構成誤差ベクトルとして算出し、
前記再構成誤差ベクトルの要素の値に基づいて前記対象物の異常の有無を判定する、
検査装置。
【請求項7】
請求項6に記載の検査装置であって、
前記制御部は、
前記回帰モデルの算出において、m個の要素を含むn個の前記正常画像ベクトルをn個の前記説明変数のm個の前記観測値とみなし、m個の要素を含む前記対象物画像ベクトルを前記目的変数のm個の前記観測値とみなし、
前記再構成ベクトルの算出において、前記回帰モデルの係数でn個の前記正常画像ベクトルを重み付けして加算することで前記再構成ベクトルを算出する、
検査装置。
【請求項8】
請求項6に記載の検査装置であって、
前記制御部は、
前記回帰モデルの算出において、あらかじめ算出された重みを用いてn個の前記正常画像ベクトルを重み付けして加算することで得られたd個(d<n)の中間変数ベクトルをd個の前記説明変数のm個の前記観測値とみなし、m個の要素を含む前記対象物画像ベクトルを前記目的変数のm個の前記観測値とみなし、
前記再構成ベクトルの算出において、前記回帰モデルの係数でd個の前記中間変数ベクトルを重み付けして加算することで前記再構成ベクトルを算出する、
検査装置。
【請求項9】
請求項8に記載の検査装置であって、
前記制御部は、n個の前記正常画像ベクトルに掛け合わせる重みを、主成分分析、独立成分分析、及び部分最小二乗法のいずれかを用いてあらかじめ算出し、前記中間変数ベクトルを算出する、
検査装置。
【請求項10】
請求項6乃至9のいずれか1項に記載の検査装置であって、
前記回帰モデルは、線形回帰モデルを含む、
検査装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、検査方法及び検査装置に関する。
【背景技術】
【0002】
従来、対象物をカメラで撮像して得られた画像に基づいて、対象物の異常を検出する技術が知られている。例えば特許文献1には、対象物の欠損、誤配置、欠陥などを含む異常の有無を検査する検査装置が開示されている。このような検査装置は、対象物及びカメラの確実な固定並びに対象物を撮像して取得した画像データの画素ごとの高精度な位置合わせを行うといった制約を緩和する。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来技術では、異常を含まない対象物の画像データに対してデータの次元を減らす次元圧縮が行われているため、異常判定に関して十分な精度が得られていなかった。
【0005】
本開示は、対象物の異常判定に関する精度を向上させることが可能な検査方法及び検査装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
本開示の一実施形態に係る検査方法は、
対象物を撮像して得られた画像に基づき前記対象物を検査する検査方法であって、
m個の画素を含む正常画像の画素値を並べて得られるベクトルを一つの説明変数の系列とし、n枚の前記正常画像を用いて、各々がm個の要素を含むn個の正常画像ベクトルを取得するステップと、
m個の画素を含む前記対象物の対象物画像の画素値を並べて、m個の要素を含む対象物画像ベクトルを取得するステップと、
m個の要素を含むn個の前記正常画像ベクトルに基づくn個以下の説明変数のm個の観測値と、m個の要素を含む前記対象物画像ベクトルに基づく目的変数のm個の観測値と、を用いて回帰モデルを算出するステップと、
前記回帰モデルの係数及びn個の前記正常画像ベクトルに基づいて前記対象物画像ベクトルを近似する前記対象物画像の再構成ベクトルを算出するステップと、
前記対象物画像ベクトルと前記再構成ベクトルとの差分を再構成誤差ベクトルとして算出するステップと、
前記再構成誤差ベクトルの要素の値に基づいて前記対象物の異常の有無を判定するステップと、
を含む。
【0007】
本開示の一実施形態に係る検査装置は、
対象物を撮像して得られた画像に基づき前記対象物を検査する検査装置であって、
制御部を備え、
前記制御部は、
m個の画素を含む正常画像の画素値を並べて得られるベクトルを一つの説明変数の系列とし、n枚の前記正常画像を用いて、各々がm個の要素を含むn個の正常画像ベクトルを取得し、
m個の画素を含む前記対象物の対象物画像の画素値を並べて、m個の要素を含む対象物画像ベクトルを取得し、
m個の要素を含むn個の前記正常画像ベクトルに基づくn個以下の説明変数のm個の観測値と、m個の要素を含む前記対象物画像ベクトルに基づく目的変数のm個の観測値と、を用いて回帰モデルを算出し、
前記回帰モデルの係数及びn個の前記正常画像ベクトルに基づいて前記対象物画像ベクトルを近似する前記対象物画像の再構成ベクトルを算出し、
前記対象物画像ベクトルと前記再構成ベクトルとの差分を再構成誤差ベクトルとして算出し、
前記再構成誤差ベクトルの要素の値に基づいて前記対象物の異常の有無を判定する。
【発明の効果】
【0008】
本開示の一実施形態に係る検査方法及び検査装置によれば、対象物の異常判定に関する精度を向上させることが可能である。
【図面の簡単な説明】
【0009】
【
図1】本開示の一実施形態に係る検査装置の構成を示す概略構成図である。
【
図2】
図1の検査装置の動作の一例を説明するための模式図である。
【
図3】
図1の検査装置によって実行される検査方法の一例を示すフローチャートである。
【
図4A】対象物の正常画像の第1例を示す模式図である。
【
図4B】対象物の正常画像の第2例を示す模式図である。
【
図4C】対象物の正常画像の第3例を示す模式図である。
【
図4D】対象物の正常画像の第4例を示す模式図である。
【
図4E】対象物の正常画像の第5例を示す模式図である。
【
図4F】対象物の正常画像の第6例を示す模式図である。
【
図4G】対象物の正常画像の第7例を示す模式図である。
【
図4H】対象物の正常画像の第8例を示す模式図である。
【
図5】検査対象となる対象物の対象物画像の一例を示す模式図である。
【
図6】
図5の対象物画像に対する再構成画像の一例を示す模式図である。
【
図7】
図5の対象物画像に対する再構成誤差画像の一例を示す模式図である。
【
図8】
図7の再構成誤差画像を二値化した画像の一例を示す模式図である。
【発明を実施するための形態】
【0010】
従来技術の背景及び問題点についてより詳細に説明する。
【0011】
検査対象となる対象物を可視光、紫外線、赤外線、X線などを含む電磁波を用いて撮像を行うカメラから得られた画像に基づいて対象物の異常を検出する技術が知られている。このような技術は、最終製品又は中間製品の品質を管理する上で重要である。
【0012】
従来、画像中の異常を検出するために、異常部の輝度、色調、テキスチャーなどが、異常部以外の部分、すなわち正常部と異なる特徴を示すことが利用されている。従来、異常部と正常部との間の画素値の差異に基づいて、異常部の有無の判定及び異常部の位置の同定を行う方法が知られている。例えば、異常部の輝度が正常部よりも低い場合、画素値があらかじめ定められた閾値よりも小さい部分を異常部として検出することが可能である。
【0013】
しかしながら、このような方法では、例えば、対象物の温度の変動などにより当該画像の画素値の平均的なレベルが変動した場合に異常部を検出できなかったり(未検出)、あるいは正常部を異常部と判断したりする(過検出)といった問題が生じていた。
【0014】
別の方法として、異常を含まない対象物の画像を基準画像とし、当該基準画像と検査対象となる対象物の画像との差分を含む画像を算出してその画素値があらかじめ定められた閾値を超える部分を異常部として検出する方法も知られている。しかしながら、このような方法では、例えば、対象物の温度の変動などにより当該画像の画素値の平均的なレベルが変動した場合に基準画像とのレベルの差が大きくなり、過検出が生じるという問題が生じていた。また、基準画像内の対象物と、検査対象となる画像内の対象物との間の位置を正確に合わせる必要があるという問題も生じていた。
【0015】
これに対し、特許文献1に記載の検査装置は、異常を含まない対象物の画像データに対してデータの次元を低減させる次元圧縮を実行する。当該検査装置は、異常を含まない対象物の画像データの性質を表すパラメータを算出する。当該検査装置は、検査する対象物の画像データを、当該パラメータを用いて次元圧縮する。当該検査装置は、次元圧縮された検査する対象物の画像データを復元した復元データを生成する。当該検査装置は、検査する対象物の画像データと復元データとの差分の大小に基づいて、検査する対象物が異常であるか否かを判定する。
【0016】
しかしながら、特許文献1に記載の検査装置は、異常を含まない対象物の画像データに対してデータの次元を低減させる次元圧縮を実行するため、以下のような問題を有する。
【0017】
次元圧縮の方法として、特許文献1に記載の主成分分析について説明する。次元圧縮の対象となる正常画像のデータ数をNとし、画像データ1枚ごとの画素の総数をKとする。例えば、Nの値は100、1000などであり、Kの値は画像が640×480画素であれば307200である。特許文献1に記載の検査装置は、主成分分析によってd次元の主成分を算出すると、d≦Kであり、d+1次元以上を捨てることでN次元の画像データをd次元に圧縮する。
【0018】
特許文献1に記載の検査装置は、画像データ中の各画素の値を変数とし、各画像データを観測値としている。しかしながら、上記のように、一般的に画像データの画素数Kは、画像データ数Nよりもはるかに大きい。この場合、主成分分析における変数の数Kが観測値Nよりもはるかに大きくなり、主成分分析における分散共分散行列のランク落ちが生じる。すなわち、用いることができる主成分の数は、d≦N<Kを満たすd以下となる。
【0019】
さらに、画像において対象物以外を示す部分、すなわち背景部分は、どの画像でも0などの一定値を示すことが多い。このような場合、当該画素値に対する変数はすべての観測値に対して同一の値となる。このような画素が複数存在すると、多重共線性によってさらなるランク落ちが生じる。結果として、主成分分析が正しく行われず、対象物の異常判定に関する精度が十分に得られていなかった。
【0020】
特許文献1に記載の検査装置は画像を圧縮しているので、元の画像に含まれていた詳細なデータを削減して情報を失うことになる。したがって、特許文献1に記載の検査装置は、対象物の微細な傷などの小さな異常を検出することが困難である。したがって、対象物の異常判定に関する精度が十分に得られていなかった。
【0021】
本開示は、以上のような問題点を解決するために、対象物の異常判定に関する精度を向上させることが可能な検査方法及び検査装置を提供することを目的とする。本開示は、検査対象となる対象物の画像から、対象物の異常を検出する検査方法及び検査装置に関する。以下では、添付図面を参照しながら本開示の一実施形態について主に説明する。
【0022】
(構成)
図1は、本開示の一実施形態に係る検査装置10の構成を示す概略構成図である。
図1を参照しながら、本開示の一実施形態に係る検査装置10の構成について主に説明する。
【0023】
検査装置10は、生産管理システム1に接続されている。検査装置10は、カメラ2によって撮像された対象物Mの画像を取得する。対象物Mは、生産管理システム1により生産されている。検査装置10は、当該画像に基づき、検査対象となる対象物Mを検査する。より具体的には、検査装置10は、当該画像に基づき対象物Mの異常を検出する。本明細書において、「対象物Mの異常」は、例えば対象物Mの疵、割れ、汚れ、変形、欠損、欠陥などを含む。
【0024】
本明細書において、「対象物M」は、例えば工業的に大量生産される最終製品及び中間製品を含む製品であって、製造された製品のばらつきが小さく、形状、色、温度などがほぼ同一であること、並びに撮像するときの位置及び角度のずれが小さいことを満たす製品を含む。より具体的には、対象物Mは、印刷物、プリント基板、金属製品、樹脂製品などを含む。
【0025】
検査装置10は、例えば印刷物における印刷不良部、プリント基板上の部品及び回路の欠損、金属製品の表面の疵及び汚れ、樹脂製品の表面の疵及び汚れ、樹脂製品の成形時のバリ及び欠損などを含む異常を検出するための、画像処理による外観検査に応用可能である。
【0026】
検査装置10は、画像入力部11と、記憶部12と、入力部13と、出力部14と、制御部15と、を有する。
【0027】
画像入力部11は、カメラ2から出力される対象物Mの画像を取得可能な任意のモジュールを含む。例えば、画像入力部11は、カメラ2の通信規格に対応する通信モジュールを含む。検査装置10は、画像入力部11を介してカメラ2に接続されている。画像入力部11は、カメラ2によって撮像された画像であって、生産管理システム1により生産されている対象物Mの画像を取得する。画像入力部11は、取得された画像を制御部15に出力する。
【0028】
記憶部12は、例えば半導体メモリ、磁気メモリ、又は光メモリであるが、これらに限定されない。記憶部12は、主記憶装置、補助記憶装置、又はキャッシュメモリとして機能する。記憶部12は、検査装置10の動作に用いられる任意の情報を記憶する。記憶部12は、システムプログラム、アプリケーションプログラム、画像入力部11により取得された画像などを記憶する。記憶部12は、制御部15により実行された演算の結果及び判定の結果を情報として記憶する。記憶部12は、その機能の一部を示す機能ブロックとして、説明変数保存部121と、結果保存部122と、を有する。
【0029】
入力部13は、ユーザ入力を検出して、ユーザの操作に基づく入力情報を取得する1つ以上の入力モジュールを含む。例えば、入力部13は、物理キー、静電容量キー、出力部14のディスプレイと一体的に設けられたタッチスクリーン、音声入力を受け付けるマイクロフォンなどを含む。
【0030】
出力部14は、情報を出力してユーザに通知する1つ以上の出力モジュールを含む。例えば、出力部14は、情報を映像で出力するディスプレイ、情報を音声で出力するスピーカ、対象物Mに異常が検出されたことを視覚的な情報として出力する回転灯などを含む。
【0031】
制御部15は、1つ以上のプロセッサを含む。一実施形態において「プロセッサ」は、汎用のプロセッサ、又は特定の処理に特化した専用のプロセッサであるが、これらに限定されない。制御部15は、検査装置10を構成する各構成部と通信可能に接続され、検査装置10全体の動作を制御する。制御部15は、検査装置10を構成する各構成部の処理のタイミング、設定などを適正に制御する。制御部15は、その機能の一部を示す機能ブロックとして、説明変数生成部151と、画像解析部152と、結果判定部153と、入出力インタフェース154と、を有する。
【0032】
(動作・機能)
以下では、検査装置10の動作及び機能について主に説明する。
【0033】
図1に示すように、検査対象となる対象物Mは、例えば円盤状の製品である。カメラ2は、対象物Mを撮像して、得られた対象物Mの画像を検査装置10に出力する。検査装置10の制御部15は、画像入力部11を介して、対象物Mの画像をカメラ2から取得する。
【0034】
制御部15は、検査装置10の動作として、学習モード及び検査モードに対応する2つの動作を実現する。学習モードは、後述する回帰モデルの説明変数を得るモードである。制御部15は、検査モードを実行する前に少なくとも1回、学習モードを実行する必要がある。その後、制御部15は、後述する説明変数データを追加したり、更新したりする必要があるときに学習モードを実行すればよい。制御部15は、通常の動作では、検査モードを主に実行すればよい。
【0035】
検査モードは、検査対象となる対象物Mがカメラ2の撮像範囲に到着するごとに対象物Mの検査を行うモードである。制御部15は、入力部13からの入力情報を、入出力インタフェース154を介して取得し、当該入力情報に応じて検査装置10を操作する。制御部15は、当該入力情報に応じて、学習モードと検査モードとの切り替え処理を実行する。このような入力情報は、例えばキーボードなどを含む入力部13を用いた、検査装置10の操作者としてのユーザの入力操作に基づいて入力部13により取得される。
【0036】
制御部15は、学習モードによる検査装置10の動作において、検査対象となる対象物Mがいくつかのグループに分けられる場合、グループごとに説明変数データを生成する。制御部15は、検査装置10に接続されている生産管理システム1から、現在生産されている対象物Mの情報を取得する。対象物Mの情報は、例えば対象物Mが属するグループのグループ名を含む。制御部15は、グループごとに学習を適切に行う。
【0037】
制御部15は、対象物Mがカメラ2の撮像範囲に到着すると、画像入力部11を介してカメラ2に信号を出力する。カメラ2は、そのタイミングで対象物Mを撮像し、得られた画像を検査装置10に出力する。制御部15の説明変数生成部151は、得られた画像を、画像入力部11を介してカメラ2から取得する。説明変数生成部151は、同一グループに属する複数枚の正常画像から説明変数データを生成する。説明変数生成部151は、生成された説明変数データを、記憶部12の説明変数保存部121に格納する。説明変数保存部121は、このような説明変数データをグループごとに記憶する。
【0038】
説明変数生成部151が説明変数データを生成するときに、同一グループに属する複数枚の正常画像を用いる理由は以下のとおりである。検査対象となる対象物Mは、不定形のもの、粒状のものなど、正常な場合でも画像が大きく変動するものではなく、同一グループであれば形状、色、温度などが略同一である。しかしながら、外光の影響、わずかな位置ずれなどにより、得られる正常画像には変動する部分が含まれる。したがって、その変動の影響を抑制するために、複数枚の正常画像が用いられる。必要となる正常画像の枚数は、変動の大きさを考慮して調整される。必要となる正常画像の枚数は、変動が大きいほど多くなる。
【0039】
説明変数生成部151は、複数枚の正常画像をベクトルに変換した正常画像ベクトルから説明変数データを生成する。
図2は、
図1の検査装置10の動作の一例を説明するための模式図である。
図2に示すように、説明変数生成部151は、画像に含まれる画素値を定められたルールで並べてベクトルの要素とすることで、正常画像をベクトルに変換する。
【0040】
例えば、説明変数生成部151は、横方向にa個、縦方向にb個の画素が並べられた画像を左上の画素を最初の要素、右下の画素を最後の要素としてベクトルに変換する。説明変数生成部151は、このようなルールを任意に設定可能であるが、すべての正常画像及び検査対象となる対象物Mの画像に対して同一のルールを適用する。m=a×bとし、正常画像の数をnとすれば、m個の要素を含むn個の正常画像ベクトルが得られる。説明変数生成部151は、それらを説明変数データとして取得する。
【0041】
図1を再度参照すると、制御部15は、検査モードによる検査装置10の動作において、検査装置10に接続されている生産管理システム1から、現在生産されている検査対象となる対象物Mの情報を取得する。検査対象となる対象物Mの情報は、例えば検査対象となる対象物Mが属するグループのグループ名を含む。制御部15の画像解析部152は、説明変数保存部121に格納されている説明変数データのうち、現在検査対象となっている対象物Mに対応する説明変数データを読み出す。
【0042】
制御部15は、検査対象となる対象物Mがカメラ2の撮像範囲に到着すると、画像入力部11を介してカメラ2に信号を出力する。カメラ2は、そのタイミングで対象物Mを撮像し、得られた画像を検査装置10に出力する。制御部15の画像解析部152は、得られた画像を、画像入力部11を介してカメラ2から取得する。
【0043】
画像解析部152は、検査対象となる対象物Mの画像をベクトルに変換して対象物画像ベクトルを生成する。画像解析部152は、生成された対象物画像ベクトルを目的変数とし、説明変数保存部121から取得した説明変数データを用いて回帰モデルを算出する。回帰モデルは、例えば線形回帰モデルを含む。
【0044】
画像解析部152は、このような線形回帰分析により、対象物画像ベクトルを近似する再構成ベクトルを算出し、さらに対象物画像ベクトルと再構成ベクトルとの差分を再構成誤差ベクトルとして算出する。画像解析部152は、算出された再構成誤差ベクトルを結果判定部153に出力する。
【0045】
結果判定部153は、画像解析部152において算出された再構成誤差ベクトルに基づいて、検査対象となる対象物Mの異常の有無を判定する。結果判定部153は、例えば再構成誤差ベクトルの要素の値と、あらかじめ設定された第1閾値とを比較する。結果判定部153は、第1閾値以上の要素の数があらかじめ設定された第2閾値以上であるか否かを判定する。結果判定部153は、第1閾値以上の要素の数が第2閾値以上であると判定すると、対象物Mに異常有りと識別する。
【0046】
結果判定部153は、判定結果を、記憶部12の結果保存部122に格納する。結果判定部153は、入出力インタフェース154を介して、出力部14のディスプレイに判定結果を表示させる。加えて、結果判定部153は、対象物Mに異常有りと判定したときに、出力部14のスピーカを用いてアラームを鳴らしてもよいし、出力部14の回転灯を点灯させてもよい。これにより、結果判定部153は、検査対象となる対象物Mに異常が検出されたことを、検査装置10の操作者としてのユーザに通知する。
【0047】
図3は、
図1の検査装置10によって実行される検査方法の一例を示すフローチャートである。
図3を参照しながら、検査装置10を用いた検査方法の主なフローについて説明する。このような検査方法では、対象物Mを撮像して得られた画像に基づいて対象物Mが検査される。
【0048】
ステップS100では、検査装置10の制御部15は、対象物Mを撮像して得られた複数枚の正常画像を、画像入力部11を介してカメラ2から取得する。
【0049】
ステップS101では、制御部15は、m個の画素を含む正常画像の画素値を並べて得られるベクトルを一つの説明変数の系列とし、ステップS100において取得されたn枚の正常画像を用いて、各々がm個の要素を含むn個の正常画像ベクトルを取得する。
【0050】
ステップS102では、制御部15は、検査対象となる対象物Mを撮像して得られた対象物画像を、画像入力部11を介してカメラ2から取得する。
【0051】
ステップS103では、制御部15は、m個の画素を含む対象物Mの対象物画像の画素値を並べて、m個の要素を含む対象物画像ベクトルを取得する。
【0052】
ステップS104では、制御部15は、ステップS101において取得されたm個の要素を含むn個の正常画像ベクトルに基づくn個以下の説明変数のm個の観測値と、ステップS103において取得されたm個の要素を含む対象物画像ベクトルに基づく目的変数のm個の観測値と、を用いて回帰モデルを算出する。
【0053】
ステップS105では、制御部15は、ステップS104において算出された回帰モデルの係数及びステップS101において取得されたn個の正常画像ベクトルに基づいて対象物画像ベクトルを近似する対象物画像の再構成ベクトルを算出する。
【0054】
ステップS106では、制御部15は、ステップS103において取得された対象物画像ベクトルとステップS105において算出された再構成ベクトルとの差分を再構成誤差ベクトルとして算出する。
【0055】
ステップS107では、制御部15は、ステップS106において算出された再構成誤差ベクトルの要素の値に基づいて検査対象となる対象物Mの異常の有無を判定する。制御部15は、異常無しと判定すると、ステップS108の処理を実行する。制御部15は、異常有りと判定すると、ステップS109の処理を実行する。
【0056】
ステップS108では、制御部15は、ステップS107において異常無しと判定すると、ステップS107における判定結果を出力部14に出力させる。例えば、制御部15は、出力部14のディスプレイに判定結果を表示させる。
【0057】
ステップS109では、制御部15は、ステップS107において異常有りと判定すると、検査対象となる対象物Mに異常が検出されたことを、出力部14を用いてユーザに通知する。
【0058】
ステップS110では、制御部15は、対象物Mの製造が終了したか否かを、生産管理システム1から出力される情報に基づいて判定する。制御部15は、製造が終了したと判定すると、処理を終了する。制御部15は、製造が終了していないと判定すると、ステップS102の処理を再度実行する。
【0059】
(第1実施形態)
本開示の第1実施形態に係る検査方法について、
図3を参照しながらより詳細に説明する。
【0060】
第1実施形態に係る検査方法では、制御部15は、例えば
図3のステップS101とステップS102との間で、中間変数ベクトルを算出するステップをさらに含む。制御部15の説明変数生成部151は、ステップS101において取得されたn個の正常画像ベクトルに掛け合わせる重みを、例えば主成分分析、独立成分分析、及び部分最小二乗法のいずれかを用いて算出する。説明変数生成部151は、算出された重みを用いて、ステップS101において取得されたn個の正常画像ベクトルを重み付けして加算することで、d個(d<n)の中間変数ベクトルを算出する。
【0061】
図3のステップS104の回帰モデルを算出するステップにおいて、制御部15の画像解析部152は、ステップS101とステップS102との間で得られたd個の中間変数ベクトルをd個の説明変数のm個の観測値とみなす。同様に、画像解析部152は、ステップS103において取得されたm個の要素を含む対象物画像ベクトルを目的変数のm個の観測値とみなす。
【0062】
図3のステップS105の再構成ベクトルを算出するステップにおいて、画像解析部152は、ステップS104において算出された回帰モデルの係数でd個の中間変数ベクトルを重み付けして加算することで再構成ベクトルを算出する。
【0063】
図4Aは、対象物Mの正常画像の第1例を示す模式図である。
図4Bは、対象物Mの正常画像の第2例を示す模式図である。
図4Cは、対象物Mの正常画像の第3例を示す模式図である。
図4Dは、対象物Mの正常画像の第4例を示す模式図である。
図4Eは、対象物Mの正常画像の第5例を示す模式図である。
図4Fは、対象物Mの正常画像の第6例を示す模式図である。
図4Gは、対象物Mの正常画像の第7例を示す模式図である。
図4Hは、対象物Mの正常画像の第8例を示す模式図である。対象物Mによっては、正常画像の変動が大きい場合がある。例えば、
図4A乃至
図4Hはそのような例を示す。
【0064】
例えば、
図4A乃至
図4Dに示されるように、正常画像中の対象物Mの灰色の濃度が異なる場合がある。例えば、
図4Eに示されるように、対象物Mが左方にずれている場合がある。例えば、
図4Fに示されるように、対象物Mが下方にずれている場合がある。
図4E及び
図4Fに記載の破線は、
図4A乃至
図4Dにおける対象物Mの位置を示す。
図4G及び
図4Hに示されるように、対象物Mの色の濃度が位置によって変動する場合もある。
【0065】
以上のように、正常画像中で対象物Mの色の濃度及び色むらの変動並びに位置の変動がある場合には、それらの変動がある正常画像のサンプルを収集し、それらから得た正常画像ベクトルを説明変数に加える。これにより、検査モードにおいて検査対象となる対象物Mの対象物画像中で対象物Mの色及び位置が変動した場合であっても、高精度の再構成ベクトルが得られる。ただし、説明変数には、正常画像の変動の影響を抑制できるだけの枚数の正常画像から得た正常画像ベクトルを用いる必要がある。したがって、変動が大きい場合には正常画像ベクトルの数が増え、検査モードにおける回帰モデルの算出時に制御部15による演算処理の負荷が大きくなり、対象物Mの異常判定にかかる処理時間が長くなる可能性がある。
【0066】
そこで、制御部15は、あらかじめ算出された重みを用いてn個の正常画像ベクトルを重み付けして加算し、d個(d<n)の中間変数ベクトルを算出する。制御部15は、d個の中間変数ベクトルをd個の説明変数のデータとする。以下では、一例として中間変数ベクトルの算出にあたり主成分分析が用いられる場合の制御部15による演算の内容について詳細に説明する。
【0067】
式1は、m個の画素を含む正常画像をベクトル化した正常画像ベクトルを表す。
【0068】
【0069】
式1における各xiを横に並べて以下の式2のようにすべてのデータを含む行列Xを構成すると、行列Xの共分散行列Vは式3で与えられる。
【0070】
【0071】
ここで、共分散行列Vのi番目に大きな固有値をλi、それに対応する規格化された固有ベクトルをwiとすると、以下の関係が成り立つ。
【0072】
【0073】
wiは、第i主成分の結合係数となる。すなわち、主成分は、共分散行列Vの固有値問題を解くことにより求められる。
【0074】
行列Xのp番目の値を抜き出したベクトルを式6のように表す。
【0075】
【0076】
zpに対する第i主成分の値tpi(主成分得点)は、式7のように表される。
【0077】
【0078】
式7を式1のm個の観測値について式8のように一つのベクトルにまとめると、式9が成り立つ。
【0079】
【0080】
式9から、tiは、行列Xに含まれる正常画像ベクトルに結合係数を乗じて加算した線形和であることがわかる。本開示では、制御部15は、中間変数ベクトルとしてti(i=1,2,...,d)、すなわち第1乃至第d主成分の大きさ(主成分得点)を検査モードにおける回帰モデルの説明変数に用いる。dは、nよりも小さい数である。したがって、データ容量がd/nに圧縮されている。一般的に、正常画像ベクトルには互いに類似するデータが数多く含まれており冗長性が生じている。制御部15は、上記のような主成分分析によって主要な成分を抽出し、情報圧縮を行うことで、回帰モデルを効率的に算出する。
【0081】
検査モードにおける画像解析部152による回帰モデルの算出について主に説明する。線形回帰の目的変数となる対象物画像ベクトルを式10で表す。
【0082】
【0083】
画像解析部152は、線形回帰の説明変数データとして、式11で表される正常画像ベクトルを重み付け加算して得た式12の中間変数ベクトルを用いる。
【0084】
【0085】
主成分分析で得た式12の中間変数ベクトルから説明変数Tが式13により表される。
【0086】
【0087】
画像解析部152は、式13の説明変数Tに式14の係数bを乗じて加算した式15の線形回帰式を式10のyの予測値として求める。
【0088】
【0089】
式16は、対象物画像ベクトルを近似する再構成ベクトルを表す。式10と式16との差分が式17により求まる。
【0090】
【0091】
式17は、再構成誤差ベクトルを表す。画像解析部152は、式17の再構成誤差ベクトルを情報として結果判定部153に出力する。
【0092】
図5は、検査対象となる対象物Mの対象物画像の一例を示す模式図である。
図5の例では、対象物Mの左側に割れが認められる。
図6は、
図5の対象物画像に対する再構成画像の一例を示す模式図である。
図6は、
図5の対象物画像に対する再構成ベクトルを再度画像に変換した再構成画像を示す。複数枚の正常画像には
図5に示すような対象物Mの割れを含むものは存在しない。したがって、
図6に示す再構成画像は、割れの部分が再現されず、完全な円形となる。
【0093】
図7は、
図5の対象物画像に対する再構成誤差画像の一例を示す模式図である。
図7は、
図5の対象物画像に対する再構成誤差ベクトルを画像に変換した再構成誤差画像を示す。
図7の再構成誤差画像は、
図5の対象物画像と
図6の再構成画像との差分を示す。対象物画像の割れの部分は背景の薄い灰色が透けて見えており、それ以外の部分は消去されて黒色になっている。
【0094】
図8は、
図7の再構成誤差画像を二値化した画像の一例を示す模式図である。
図8は、
図7の再構成誤差画像を、第1閾値を用いて二値化した画像である。割れの部分は白画素となり、それ以外の部分は黒画素となっている。当該白画素の数が第2閾値以上となると、結果判定部153は、対象物Mに異常、例えば割れを含む画像であると判定する。
【0095】
(効果)
以上のような第1実施形態によれば、対象物Mの異常判定に関する精度を向上させることが可能である。検査装置10は、m個の画素を含む正常画像の画素値を並べたn個の正常画像ベクトルを、n個以下の説明変数のm個の観測値とみなし、m個の要素を含む対象物画像ベクトルを目的変数のm個の観測値とみなして回帰モデルを算出する。このような検査に用いられる画像には数十万個以上の画素値が含まれているのが一般的である。したがって、説明変数の数nよりも観測値の数mの方がはるかに大きい。したがって、従来技術のような分散共分散行列のランク落ちの問題が抑制される。加えて、検査装置10では、各画素の値は観測値であるため、画像データによらず一定値を取る画素が複数存在する場合であっても、それらが当該説明変数のベクトルの同一の位置に現れるだけであり、多重共線性の問題が抑制される。
【0096】
正常画像のデータでは、画像中の対象物Mの位置ずれ、照明むら、温度変動などにより、データによって画素値が変動することが一般的である。このような場合、第1実施形態に係る検査装置10は、正常画像ベクトルの数nを十分大きくとり、データによる画素値の変動の影響を抑制することで対象物画像ベクトルを高精度に近似することができる。加えて、検査装置10は、正常画像ベクトルを重み付け加算して中間変数ベクトルを予め算出し、中間変数ベクトルを説明変数、対象物画像ベクトルを目的変数として回帰モデルを算出することで、説明変数の数を削減することができる。したがって、検査装置10は、対象物画像ベクトルを効率的に近似する再構成ベクトルを算出可能である。結果として、検査装置10における演算処理の負荷が低減され、異常判定にかかる処理時間が短縮される。
【0097】
検査装置10は、正常画像ベクトルから中間変数ベクトルを生成して回帰モデルの説明変数として用いることで、説明変数の数を削減することができ、正常画像のサンプルの変動の影響を少ない数の説明変数で抑制することができる。検査装置10は、正常画像ベクトルを説明変数に直接用いるときよりも回帰モデル算出時の演算負荷を低減させることができる。したがって、検査装置10は、検査対象となる対象物Mの製造ピッチが短く、短時間で回帰モデルを算出する必要がある場合にも応用可能である。
【0098】
検査装置10は、主成分分析を適用して正常画像ベクトルに掛ける重みを算出することで、失う情報量を最小化して大量の正常画像ベクトルを少数の中間変数ベクトルに情報圧縮することが可能である。特許文献1に記載の方法でも主成分分析が用いられているが、第1実施形態に係る検査装置10による検査方法と比較すると適用方法が相違する。特許文献1に記載の方法では、画像データ中の各画素の値を変数とし、各画像データを観測値としている。一般的に画素数mの方が画像データ数nよりもはるかに大きいため、分散共分散行列のランク落ち及び多重共線性の問題が生じていた。本開示では、各画像データを一つの変数とし、画像データ中の各画素の値を観測値としているため、そのような問題が抑制される。
【0099】
加えて、特許文献1に記載の方法では、各画素の値が変数であるため、主成分分析は、画素数mに対応したm次元空間を用いる主成分の数dに対応したd次元空間に射影することで情報圧縮を行う。主成分は、m個の画素値に係数(結合係数)を掛けて加算した線形和となる。したがって、第1乃至第d主成分の計m×d個の結合係数が情報圧縮の結果となる。
【0100】
一方で、第1実施形態に係る検査装置10では、各画像データを一つの変数としているため、主成分分析は、画像データ数nに対応したn次元空間を用いる主成分の数dに対応したd次元空間に射影することで情報圧縮を行う。主成分は、n個の画素値に係数(結合係数)を掛けて加算した線形和となる。したがって、第1乃至第d主成分の計n×d個の結合係数が情報圧縮の結果となる。これにより、検査装置10は、特許文献1に記載の方法と比べて、圧倒的に少数の係数に圧縮できる。
【0101】
検査装置10は、画像ではなく画像データ数を圧縮しているので、元の画像に含まれていた詳細なデータが削減されて情報が失われるといった従来技術の問題点を抑制可能である。特許文献1に記載の方法では、主成分分析によって画像情報を圧縮して画素数を減らしているので元の画像に含まれる情報の一部が失われてしまう。一方で、第1実施形態に係る検査装置10により圧縮されるのは画像データ数、すなわち正常画像の数であり、画素数は減らない。したがって、画像に含まれる情報が失われることはない。本開示で主成分分析を用いる理由は、正常画像に含まれる冗長性の除去のためであって、画像自体を圧縮するためではない。結果として、画像の解像度が低下することはないので、検査装置10は、対象物Mの微細な傷などの小さな異常も見落とすことなく精度良く検出することができる。すなわち、検査装置10は、対象物Mの異常判定に関する精度を向上させることができる。
【0102】
以上のことは、特許文献1に記載の方法では各正常画像のデータが観測値であるのに対し、本開示では画像データ中の各画素の値を観測値としていることに起因する。このような相違点により、第1実施形態に係る検査装置10は、以下のような利点を有する。
【0103】
主成分分析で求めた結合係数で各正常画像ベクトルを重み付けして加算したベクトルは、各観測値の主成分の値(主成分得点)になる。したがって、第1主成分は、正常画像ベクトルの最も代表的な値の系列であり、第2主成分以降は、正常画像ベクトルの変動を表し、第1主成分を補うものである、という物理的な解釈が可能である。
【0104】
加えて、対象物画像内で対象物Mの外側に背景部分が存在する場合、検査を行う領域を限定する必要がある。この場合、特許文献1に記載の方法では、画像のすべての画素に結合係数を掛けて加算する必要があるため、主成分を求めた後で検査領域を設定することは困難である。各画素の値が変数であり、主成分を求めた後で変数の一部を削除することは困難であるからである。一方で、本開示では、検査装置10は、各画素の値が観測値であるから、その一部を削除しても主成分を算出することができる。したがって、検査装置10は、後から検査領域を設定することができる。
【0105】
検査装置10は、正常画像ベクトルに独立成分分析を適用して中間変数ベクトルを算出し、中間変数ベクトルを説明変数、対象物画像ベクトルを目的変数として回帰モデルを算出することもできる。
【0106】
検査装置10は、正常画像ベクトルに部分最小二乗法を適用して中間変数ベクトルを算出し、中間変数ベクトルを説明変数、対象物画像ベクトルを目的変数として回帰モデルを算出することもできる。
【0107】
以上のような回帰モデルは、線形回帰モデルを含む。線形回帰モデルは、深層学習のようなニューラルネットワークと異なり、繰り返し学習を行う必要がない。したがって、検査装置10は、非常に短時間で回帰モデルを算出可能である。結果として、検査装置10は、新たに追加された対象物画像に対して、後続の新たな対象物画像が追加されるまでの短時間のうちに、その都度新たな回帰モデルを算出可能である。
【0108】
中間変数ベクトルは、正常画像ベクトルの線形和である。これにより、検査装置10は、異常を含まない対象物画像に対して異常の有無の判定を行った結果、異常があると誤った判定(過検出)を行った場合、当該対象物画像を正常画像のデータに加えて中間変数ベクトルを算出し、算出された中間変数ベクトルを用いて以降の異常判定を実行する。中間変数ベクトルは正常画像ベクトルの線形和であるので、過検出された正常画像ベクトルの成分も含まれる。したがって、検査装置10は、以降で同様の対象物画像が検査対象となった場合であっても、過検出することなく正しい判定を実行することができる。
【0109】
(第2実施形態)
本開示の第2実施形態に係る検査方法について、
図3を参照しながらより詳細に説明する。第2実施形態に係る検査方法は、中間変数ベクトルを用いない点で第1実施形態と相違する。その他の構成、機能、効果、変形例などについては、第1実施形態と同様であり、対応する説明が第2実施形態に係る検査装置10にも当てはまる。以下では、第1実施形態と同様の構成部については同一の符号を付し、その説明を省略する。第1実施形態と異なる点について主に説明する。
【0110】
図3のステップS104の回帰モデルを算出するステップにおいて、制御部15の画像解析部152は、ステップS101において取得されたm個の要素を含むn個の正常画像ベクトルをn個の説明変数のm個の観測値とみなす。同様に、画像解析部152は、ステップS103において取得されたm個の要素を含む対象物画像ベクトルを目的変数のm個の観測値とみなす。
【0111】
図3のステップS105の再構成ベクトルを算出するステップにおいて、画像解析部152は、ステップS104において算出された回帰モデルの係数でn個の正常画像ベクトルを重み付けして加算することで再構成ベクトルを算出する。
【0112】
第2実施形態に係る検査装置10は、第1実施形態と異なり、正常画像のサンプルの変動が小さく、比較的少数の正常画像のサンプルで変動の影響を抑制できる場合、及び検査対象となる対象物Mの製造ピッチが比較的長く、回帰モデルの演算負荷がさほど問題にならない場合に、正常画像ベクトルをそのまま説明変数データとして用いる。この場合、式2の行列Xから得られる式18の行列Zを説明変数とする。
【0113】
【0114】
画像解析部152は、式18の説明変数Zに式19の係bを乗じて加算した式20の線形回帰式を式10のyの予測値として求める。
【0115】
【0116】
以降の処理は、中間変数ベクトルを用いた第1実施形態と同様であり、式10及び式21から得られる式22が再構成誤差ベクトルとなる。
【0117】
【0118】
(効果)
以上のような第2実施形態によれば、対象物Mの異常判定に関する精度を向上させることが可能である。検査装置10は、得られた回帰モデルの係数でn個の正常画像ベクトルを重み付けして加算することで、対象物画像ベクトルを高精度に近似する対象物画像の再構成ベクトルを算出可能である。検査装置10は、対象物画像に異常が含まれていると、その部分を正常画像ベクトルの線形和で再構成することができない。したがって、対象物画像ベクトルと再構成ベクトルとの差分が大きくなる。検査装置10は、対象物画像ベクトルと対象物画像の再構成ベクトルとの差分、すなわち回帰モデルの残差を再構成誤差ベクトルとし、当該再構成誤差ベクトルの要素の値の大小により対象物Mの異常の有無を判定する。
【0119】
第2実施形態に係る検査装置10は、正常画像のサンプルのばらつきが小さいことを前提とし、それを高精度に近似して再構成する回帰モデルを検査対象となる画像ごとに同定可能である。これにより、検査装置10は、微細な異常であっても精度良く検出可能である。
【0120】
(変形例)
本開示を諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形及び改変を行うことが可能であることに注意されたい。したがって、これらの変形及び改変は本開示の範囲に含まれることに留意されたい。例えば、各構成又は各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成又はステップなどを1つに組み合わせたり、或いは分割したりすることが可能である。
【0121】
例えば、スマートフォン又はコンピュータなどの汎用の電子機器を、上述した各実施形態に係る検査装置10として機能させる構成も可能である。具体的には、各実施形態に係る検査装置10などの各機能を実現する処理内容を記述したプログラムを、電子機器のメモリに格納し、電子機器のプロセッサにより当該プログラムを読み出して実行させる。したがって、一実施形態に係る開示は、プロセッサが実行可能なプログラムとしても実現可能である。
【0122】
又は、一実施形態に係る開示は、各実施形態に係る検査装置10などに各機能を実行させるために1つ又は複数のプロセッサにより実行可能なプログラムを記憶した非一時的なコンピュータ読取可能な媒体としても実現し得る。本開示の範囲には、これらも包含されると理解されたい。
【0123】
上記各実施形態において、回帰モデルは線形回帰モデルを含むと説明したが、これに限定されない。回帰モデルは、深層学習のようなニューラルネットワークなどの任意の他のモデルを含んでもよい。
【0124】
上記各実施形態において、カメラ2は、検査装置10に含まれずに検査装置10とは別体であるが、これに限定されない。カメラ2は、検査装置10に含まれており、検査装置10と一体的に構成されてもよい。すなわち、検査装置10自体が、カメラ2に基づく撮像機能を有してもよい。
【符号の説明】
【0125】
1 生産管理システム
2 カメラ
10 検査装置
11 画像入力部
12 記憶部
121 説明変数保存部
122 結果保存部
13 入力部
14 出力部
15 制御部
151 説明変数生成部
152 画像解析部
153 結果判定部
154 入出力インタフェース
M 対象物
【要約】
【課題】対象物の異常判定に関する精度を向上させることが可能な検査方法を提供する。
【解決手段】検査方法は、各々がm個の要素を含むn個の正常画像ベクトルを取得するステップと、m個の画素を含む対象物Mの対象物画像の画素値を並べて、m個の要素を含む対象物画像ベクトルを取得するステップと、m個の要素を含むn個の正常画像ベクトルに基づくn個以下の説明変数のm個の観測値と、m個の要素を含む対象物画像ベクトルに基づく目的変数のm個の観測値と、を用いて回帰モデルを算出するステップと、回帰モデルの係数及びn個の正常画像ベクトルに基づいて対象物画像ベクトルを近似する対象物画像の再構成ベクトルを算出するステップと、対象物画像ベクトルと再構成ベクトルとの差分を再構成誤差ベクトルとして算出するステップと、再構成誤差ベクトルの要素の値に基づいて対象物の異常の有無を判定するステップと、を含む。
【選択図】
図3