(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0021】
図1は、本発明の一の実施の形態に係る欠陥検出装置1の構成を示す図である。
図2は、欠陥検出装置1の本体11を示す平面図である。欠陥検出装置1は、鏡面でない表面を有する立体的な対象物9の外観を検査する装置であり、対象物9の表面の欠陥を検出する。対象物9は、例えば、鍛造や鋳造により形成された金属部品である。対象物9の表面は微小な凹凸を有する梨地状、すなわち、艶消し状態である。対象物9の表面は、例えば、サンドブラスト等のショットブラストにより処理されている。対象物9は、例えば、自在継手に用いられる各種部品(円筒形のハブの軸や外輪、ヨーク等)である。対象物9の表面は、光をある程度散乱するのであれば、光沢を有していてもよい。
【0022】
対象物9の表面における欠陥とは、理想的な形状に対して凹状または凸状となっている部位である。欠陥は、例えば、打痕、傷、加工不良等である。欠陥は、表面に付着している異物であってもよい。
【0023】
図1に示すように、欠陥検出装置1は、本体11と、コンピュータ12とを備える。本体11は、保持部2と、複数の撮像部3(
図1では、符号3a,3b,3cを付すが、これらを区別しない場合は符合3を付す。)と、光照射部4とを備える。対象物9は保持部2に保持される。本体11には、外部の光が保持部2上に到達することを防止する図示省略の遮光カバーが設けられ、保持部2、撮像部3および光照射部4は、遮光カバー内に設けられる。
【0024】
対象物9の全表面を自動で検査する場合は、もう1つの本体11が設けられる。2つの本体11の間に対象物9の上下を反転して対象物9を搬送する機構が設けられる。
【0025】
図1および
図2に示すように、複数の撮像部3には、1個の上方撮像部3aと、8個の斜方撮像部3bと、8個の側方撮像部3cとが含まれる。上方撮像部3aは、保持部2の上方に配置される。上方撮像部3aにより保持部2上の対象物9を真上から撮像した画像が取得可能である。
【0026】
図2に示すように、上側から下方を向いて本体11を見た場合に(すなわち、本体11を平面視した場合に)、8個の斜方撮像部3bは保持部2の周囲に配置される。8個の斜方撮像部3bは、保持部2の中心を通り、上下方向を向く中心軸J1を中心とする周方向に45°の角度間隔(角度ピッチ)にて配列される。
図1に示すように、各斜方撮像部3bの光軸K2と中心軸J1とを含む面において、光軸K2と中心軸J1とがなす角度θ2は、およそ45°である。各斜方撮像部3bにより保持部2上の対象物9を斜め上から撮像した画像が取得可能である。対象物9を斜め上から撮像するのであれば、角度θ2は45°には限定されず、好ましくは、15〜75°の範囲で任意に設定されてよい。
【0027】
本体11を平面視した場合に、8個の側方撮像部3cも、8個の斜方撮像部3bと同様に保持部2の周囲に配置される。8個の側方撮像部3cは、周方向に45°の角度間隔にて配列される。各側方撮像部3cの光軸K3と中心軸J1とを含む面において、光軸K3と中心軸J1とがなす角度θ3は、およそ90°である。各側方撮像部3cにより保持部2上の対象物9を横から撮像した画像が取得可能である。
【0028】
上方撮像部3a、斜方撮像部3bおよび側方撮像部3cは、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal-Oxide Semiconductor)等を有し、多階調の画像が取得される。上方撮像部3a、斜方撮像部3bおよび側方撮像部3cは、図示省略の支持部により支持される。
【0029】
光照射部4は、1個の上方光源部4aと、8個の斜方光源部4bと、8個の側方光源部4cとを含む。上方光源部4aは上方撮像部3aに隣接する。上方光源部4aでは、複数のLED(発光ダイオード)が中心軸J1に垂直に、すなわち、水平に配列される。上方光源部4aにより保持部2上の対象物9に対してほぼ真上から光が照射される。
【0030】
本体11を平面視した場合に、8個の斜方光源部4bは保持部2の周囲に配置される。斜方光源部4bはそれぞれ斜方撮像部3bに隣接する。8個の斜方光源部4bは、周方向に45°の角度間隔にて配列される。各斜方光源部4bでは、複数のLEDが光軸K2にほぼ垂直に配列される。各斜方光源部4bでは、保持部2上の対象物9に対して斜め上から光が照射可能である。
図1に示すように、各斜方光源部4bの光軸と中心軸J1とを含む面において、光軸と中心軸J1とがなす角度は、およそ45°である。なお、厳密には斜方撮像部3bの光軸K2と、隣接する斜方光源部4bの光軸とは一致しないが、本実施の形態では一致するとみなしてもよい。各斜方光源部4bにより保持部2上の対象物9を斜め上から照明することが可能である。対象物9を斜め上から照明するのであれば、光軸と中心軸J1とがなす角度は45°には限定されず、好ましくは、15〜75°の範囲で任意に設定されてよい。
【0031】
本体11を平面視した場合に、8個の側方光源部4cは保持部2の周囲に配置される。側方光源部4cはそれぞれ側方撮像部3cに隣接する。8個の側方光源部4cは、周方向に45°の角度間隔にて配列される。各側方光源部4cでは、複数のLEDが光軸K3にほぼ垂直に、かつ、水平方向に配列される。そのため、平面視では8個の側方光源部4cは略八角形をなす。各側方光源部4cでは、保持部2上の対象物9に対して横から光が照射可能である。上方光源部4a、斜方光源部4bおよび側方光源部4cでは、LED以外の種類の光源が用いられてよい。光照射部4により、対象物9に様々な方向から拡散光を照射することができる。
【0032】
図3は、コンピュータ12が実現する機能構成を示すブロック図である。
図3において、撮像制御部51と、欠陥取得部52と、記憶部53とが、コンピュータ12が実現する機能に相当する。撮像制御部51は、撮像部3と、光照射部4とを制御する。撮像制御部51は、これらを制御して対象物9の画像(正確には、画像を示すデータ)を取得する。画像データは記憶部53に保存される。
図3では、撮像部3を1つのブロックにて示しているが、実際には、上方撮像部3a、斜方撮像部3bおよび側方撮像部3cが撮像制御部51に接続される。
【0033】
後述するように、撮像制御部51が光照射部4の各光源部を制御して照明状態を変化させて光の照射方向を変更する毎に、17台の撮像部3の少なくとも1つにて画像のデータが取得される。以下、撮像により取得される画像データを「撮像画像データ」と呼ぶ。撮像画像データ911は、記憶部53に保存される。記憶部53には、各照明状態での理想的な対象物9の画像のデータが、参照画像データ912として保存されている。すなわち、各撮像部3の各照明状態に対応する理想的な画像データが、参照画像データ912として記憶部53に準備されている。
【0034】
欠陥取得部52は、暗領域取得部521と、明領域取得部522とを含む。
図4は、暗領域取得部521および明領域取得部522のそれぞれの構成を示す図である。暗領域取得部521は、2つのフィルタ処理部531と、プリアライメント部532と、ゆすらせ比較部533と、2値化部534と、面積フィルタ部535とを含む。明領域取得部522の構成は、使用する値や演算が異なる点を除いて暗領域取得部521と同様である。
図5は、欠陥取得部52の他の部分の機能構成を示す図である。欠陥取得部52は、2つの膨張処理部541と、論理積画像取得部542と、後処理部543とをさらに含む。
【0035】
図6Aおよび
図6Bは、欠陥検出装置1の動作の流れを示す図である。まず、保持部2上に検査対象となる対象物9が保持される。保持部2には、例えば、位置合わせ用の当接部が設けられており、対象物9の予め定められた部位と当接部とが接することにより、所定位置に対象物9が所定の向きにて配置される。保持部2は、位置決めピンを設けたステージであってもよい。
【0036】
次に、撮像制御部51が、点灯する光源部を変更することにより照明状態を変更し、選択された撮像部3にて撮像が行われる(ステップS11,S12)。具体的には、1つの側方撮像部3cが選択され、当該側方撮像部3cを中央として水平方向に連続する5個の側方光源部4cの1つが順に選択されて点灯し、点灯毎に側方撮像部3cが画像を取得する。上記動作が側方撮像部3cを変更しつつ繰り返される。実際には、各照明状態で複数の側方撮像部3cにて撮像を行うことにより、動作時間の短縮が図られる。さらに、全ての側方光源部4cを点灯して全ての側方撮像部3cにて撮像が行われる。これにより、各側方撮像部3cにて6枚の画像が取得される。
【0037】
斜方撮像部3bの場合は、1つの斜方撮像部3bが選択され、8個の斜方光源部4bの1つが順に選択されて点灯し、点灯毎に斜方撮像部3bが画像を取得する。上記動作が斜方撮像部3bを変更しつつ繰り返される。実際には、各照明状態で全ての斜方撮像部3bにて撮像を行うことにより、動作時間の短縮が図られる。さらに、全ての斜方光源部4bを点灯して全ての斜方撮像部3bにて撮像が行われる。上方光源部4aのみが点灯した状態でも全ての斜方撮像部3bにて撮像が行われる。これにより、各斜方撮像部3bにて10枚の画像が取得される。
【0038】
上方撮像部3aの場合は、斜方撮像部3bと同様に照明状態が変更されて10枚の画像が取得される。実際の動作では、斜方撮像部3bの撮像時に上方撮像部3aにて撮像を行うことにより、動作時間の短縮が図られる。以上に説明したように、撮像制御部51が、点灯する光源部を変更することにより照明状態を変更しながら、選択された撮像部3にて撮像が繰り返し行われる(ステップS13)。
【0039】
撮像された画像のデータは、撮像画像データ911として記憶部53に記憶される。以下、取得された画像を「撮像画像」という。記憶部53には、各撮像画像に対応する参照画像のデータが参照画像データ912として準備されている。参照画像は、撮像画像と同様の照明状態下での欠陥の存在しない対象物9を示す。参照画像データ912は、欠陥の存在しない対象物9を撮像することにより取得されてもよく、多数の対象物9の画像の平均画像のデータとして取得されてもよい。
【0040】
以下、表現を簡素化するために、画像データに対する処理を、単に画像に対する処理として表現する場合がある。また、1つの撮像部3に注目した処理のみを説明する。他の撮像部3に対しても同様の処理が行われる。
【0041】
まず、1つの撮像画像が第1撮像画像として選択される。当該第1撮像画像に対応する参照画像が第1参照画像として選択される。
図4に示すように、第1撮像画像の撮像画像データ911および第1参照画像の参照画像データ912がそれぞれフィルタ処理部531に入力される。
【0042】
2つのフィルタ処理部531では、第1撮像画像および第1参照画像に対してメディアンフィルタやガウスフィルタ等のノイズを低減するフィルタ処理がそれぞれ行われる。フィルタ処理済みの第1撮像画像および第1参照画像は、プリアライメント部532に出力される。プリアライメント部532では、所定のパターンを利用したパターンマッチングにより、第1参照画像の第1撮像画像に対する相対的な位置および角度のずれ量が特定される。そして、両画像の間における位置および角度のずれ量だけ、第1参照画像を第1撮像画像に対して平行移動および回転することにより、第1参照画像のおよその位置および角度が第1撮像画像に合わせられる。これにより、両画像に対するプリアライメントが行われる。
【0043】
ゆすらせ比較部533では、第1参照画像をプリアライメント済みの位置から、上下左右に少しずつ移動しながら、第1撮像画像と第1参照画像との差異を示す評価値が求められる。評価値としては、例えば、両画像が重なる領域における画素の値の(符号付きの)差の絶対値の和が求められる。そして、評価値が最小となる位置における両画像の画素の値の符号付き差分を示す画像が取得される。
【0044】
2値化部534では、符号付き差分画像が所定の値にて2値化され、第1暗領域画像が取得される。実際には、処理を簡素化するために、符号付き差分画像は求められない。具体的には、第1参照画像の各画素の値から第1撮像画像の対応する画素の値が減算され、値が負の場合に0とすることにより、差分画像の画素の値が求められる。予め正の値が準備されており、差分画像において当該正の値以上の値を有する画素により構成される領域が第1暗領域として取得される。一般的に表現すれば、第1撮像画像において第1参照画像よりも明度が低く、かつ、明度の差の絶対値が第1基準値以上である領域が第1暗領域として取得される。第1基準値は正の値である。さらに換言すれば、第1撮像画像において第1参照画像よりも明度が所定値以上低い領域が第1暗領域として取得される。画像がモノクロである場合は、画素値を明度と捉えてもよく、カラー画像の場合は、色成分毎の画素値に対して所定の演算を行うことにより求められる値が明度として扱われる。
【0045】
第1暗領域は、第1参照画像の各画素の値と第1撮像画像の対応する画素の値との比から求められてもよい。具体的には、第1参照画像の各画素の値を第1撮像画像の対応する画素の値で除算することにより、比画像の画素の値が求められる。予め1よりも大きい第1基準値が準備されており、比画像において第1基準値以上の値を有する画素により構成される領域が第1暗領域として取得される。もちろん、第1撮像画像の各画素の値を第1参照画像の対応する画素の値で除算することにより、比画像の画素の値が求められてもよい。この場合、比画像において1よりも小さい第1基準値以下の値を有する画素により構成される領域が第1暗領域として取得される。
【0046】
第1基準値は定数でなくてもよい。第1基準値は第1参照画像および/または第1撮像画像の明度または画素値の関数でもよい。第1基準値は、第1参照画像および第1撮像画像の明度または画素値の差および比を用いて定められてもよく、さらに他の演算が利用されてもよい。第1基準値が様々に定められてよい点は、後述の第2ないし第4基準値についても同様である。第1ないし第4基準値は同じ値である必要はなく、算出方法も異なってもよい。一般的に表現すれば、第1撮像画像において、明度が、第1参照画像の明度よりも低く、かつ、予め定められた条件を満たす値よりも低い領域が第1暗領域として取得される。「予め定められた条件」は、各撮像画像に対して個別に設定されてもよい。さらに、複数の「予め定められた条件」が、1つの撮像画像に用いられてもよい。例えば、撮像画像中のエッジのように、撮像毎に画素値が変化しやすい位置では、暗領域が検出されにくいように第1基準値が設定されてよい。上記説明は、以下の明領域や他の暗領域に関しても同様である。
【0047】
第1暗領域が取得されると、面積フィルタ部535により、面積が予め定められた値よりも小さい第1暗領域が削除され、残りの第1暗領域を示す画像が第1暗領域画像として取得される。撮像部3にて取得された複数の撮像画像は、第1撮像画像として順次選択され、撮像画像の数に等しい数の第1暗領域画像が取得される(ステップS14)。
【0048】
次に、1つの撮像画像が第2撮像画像として選択される。当該第2撮像画像に対応する参照画像が第2参照画像として選択される。暗領域取得部521と同様に、明領域取得部522では、第2撮像画像の撮像画像データ911および第2参照画像の参照画像データ912がそれぞれフィルタ処理部531に入力され、これらの画像にフィルタ処理が行われる。第2撮像画像および第2参照画像に対して、プリアライメント部532はプリアライメントを行う。ゆすらせ比較部533は、評価値を求めつつ両画像の画素の値の符号付き差分を示す画像を取得する。符号付き差分画像は、所定の値にて2値化され、第2明領域画像が取得される。
【0049】
第1暗領域の取得の場合と同様に、実際には、処理を簡素化するために、符号付き差分画像は求められない。具体的には、第2撮像画像の各画素の値から第2参照画像の対応する画素の値が減算され、値が負の場合に0とすることにより、差分画像の画素の値が求められる。予め正の値が準備されており、差分画像において当該正の値以上の値を有する画素により構成される領域が第2明領域として取得される。一般的に表現すれば、第2撮像画像において第2参照画像よりも明度が高く、かつ、明度の差の絶対値が第2基準値以上である領域が第2明領域として取得される。第2基準値は正の値である。さらに換言すれば、第2撮像画像において第2参照画像よりも明度が所定値以上高い領域が第2明領域として取得される。
【0050】
第1暗領域の場合と同様に、第2明領域は様々な手法で取得されてよい。第2明領域が、第2撮像画像の各画素の値と第2参照画像の対応する画素の値との比から求められる場合は、例えば、第2撮像画像の各画素の値を第2参照画像の対応する画素の値で除算することにより、比画像の画素の値が求められる。予め1よりも大きい第2基準値が準備されており、比画像において第2基準値以上の値を有する画素により構成される領域が第2明領域として取得される。もちろん、第2参照画像の各画素の値を第2撮像画像の対応する画素の値で除算することにより、比画像の画素の値が求められてもよい。この場合、比画像において1よりも小さい第2基準値以下の値を有する画素により構成される領域が第2明領域として取得される。第1暗領域の場合に準じて一般的に表現すれば、第2撮像画像において、明度が、第2参照画像の明度よりも高く、かつ、予め定められた条件を満たす値よりも高い領域が第2明領域として取得される。
【0051】
その後、面積フィルタ部535により、面積が予め定められた値よりも小さい第2明領域が削除され、残りの第2明領域を示す画像が第2明領域画像として取得される。撮像部3にて取得された複数の撮像画像は、第2撮像画像として順次選択され、撮像画像の数に等しい数の第2明領域画像が取得される(ステップS15)。
【0052】
図7Aないし
図7C、並びに、
図8Aないし
図8Cは上記処理の例を示す図である。以下、対象物9の表面のうち、撮像画像に現れる領域を「対象領域90」と呼ぶ。撮像部3と対象領域90とは一対一に対応し、各撮像部3は常に同じ対象領域90の画像を取得する。
図7Aないし
図7C、並びに、
図8Aないし
図8Cでは、対象領域90を楕円にて抽象的に示している。
図7Aは、第1撮像画像811を例示する図である。
図7Bは、第1参照画像812を例示する図である。両画像の差分画像(または比画像、以下同様)を2値化することにより、
図7Cに示す第1暗領域画像813が取得される。第1暗領域画像813では、対象領域90中にて第1参照画像812よりも第1撮像画像811の方が暗い領域であって所定の条件を満たす領域が第1暗領域814として取得される。本実施の形態では、第1暗領域814では画素の値は「1」であり、他の領域では画素の値は「0」である。
【0053】
図8Aは、第2撮像画像821を例示する図である。
図8Bは、第2参照画像822を例示する図である。両画像の差分画像を2値化することにより、
図8Cに示す第2明領域画像823が取得される。第2明領域画像823では、対象領域90中にて第2参照画像822よりも第2撮像画像821の方が明るい領域であって所定の条件を満たす領域が第2明領域824として取得される。本実施の形態では、第2明領域824では画素の値は「1」であり、他の領域では画素の値は「0」である。
【0054】
次に、1つの第1暗領域画像と1つの第2明領域画像とが選択され(ステップS21)、
図5に示すように、これらの画像のデータが膨張処理部541に入力される。
図5では、これらの画像データを「暗領域画像データ」および「明領域画像データ」とそれぞれ記載している。これにより、第1暗領域および第2明領域に膨張処理が施される(ステップS22)。膨張量は予め定められている。なお、膨張処理は省略されてもよい。
【0055】
論理積画像取得部542は、第1暗領域画像と第2明領域画像との論理積画像を求める。すなわち、第1暗領域画像および第2明領域画像の互いに対応する各位置において、画素値が共に「1」である画素のみが値「1」を有する画像として取得される。これにより、第1暗領域と第2明領域とが重なる領域が欠陥候補領域として取得される。例えば、
図7Cの第1暗領域画像813と
図8Cの第2明領域画像823とから、
図9の欠陥候補領域832を示す欠陥候補領域画像831が取得される(ステップS23)。
【0056】
後処理部543は、不要な欠陥候補領域を削除し、欠陥領域を示す画像のデータである欠陥領域画像データを出力する(ステップS24)。後処理としては微小領域を削除する等の様々な処理が行われてよく、欠陥の存在は欠陥候補領域に基づいて取得される。ここでの欠陥領域は、欠陥の存在を示唆する領域であり、欠陥の輪郭を示す領域ではない。欠陥領域の取得により、欠陥の存在が取得される。
【0057】
1組の第1暗領域画像および第2明領域画像に対して欠陥領域を取得する処理が完了すると、これらの組み合わせを変更してステップS21〜S24が繰り返される(ステップS25)。具体的には、1つの第1暗領域画像に対して第2明領域画像を順に変更してステップS21〜S24が行われ、その後、第1暗領域画像を変更した上で第2明領域画像を順に変更してステップS21〜S24が行われる。以上の処理により、1つの撮像部3から見た対象領域90において、欠陥が存在する場合の欠陥の位置が検出される。
【0058】
なお、膨張処理が行われる場合、第1撮像画像と第2撮像画像として同じ画像が選択されてもよい。これにより、細い傷等を検出することができる。すなわち、第1暗領域画像と第2明領域画像とは、同じ撮像画像から導かれたものであってもよい。
【0059】
コンピュータ12の表示部には、1つの撮像画像が表示され、対象領域90上に、欠陥領域、欠陥領域と無関係な、すなわち、欠陥領域と重ならない第1暗領域、および、欠陥領域と重ならない第2明領域が異なる色にて表示される。これにより、どのように欠陥が検出されたのかを操作者が容易に把握することができる。
【0060】
対象物9の表面に凹状または凸状の欠陥、あるいは、異物の付着による欠陥等が存在する場合、偏った光を照射すると撮像画像中に明るく現れたり、暗く現れたりする。しかし、暗い領域または明るい領域のみを用いて欠陥を検出しようとすると、表面の細かな凹凸により偽欠陥が検出され、欠陥が過検出される。そこで、欠陥検出装置1では、第1暗領域画像と第2明領域画像とを用いることにより、欠陥の過検出を抑制している。
【0061】
また、例えば、ある方向から光を照射した場合に欠陥が暗い領域と明るい領域との対となって現れる場合は、1つの画像中の暗い領域と明るい領域との対を検出することにより欠陥を検出することができる。しかし、このような対はどの程度離れて現れるか不明であり、必ずも双方現れるとも限らないため、高い欠陥検出精度を実現することは容易ではない。さらに、欠陥の形状は複雑であり、欠陥が暗く現れたり明るく現れる光の照射方向を決定することは、多くの場合容易ではない。そこで、欠陥検出装置1では、第1暗領域画像と第2明領域画像の全ての組み合わせに対して欠陥検出を行うことにより、高い精度にて欠陥を検出することを実現している。
【0062】
もちろん、欠陥の存在により撮像画像に第1暗領域が現れる場合の照明状態(すなわち、照明方向)、および、第2明領域が現れる場合の照明状態が既知の場合もある。この場合、第1暗領域が現れる場合の光の照射方向である第1の方向および第2明領域が現れる場合の光の照射方向である第2の方向が予め定められ、高速に欠陥が検出されれてよい。また、上記の場合では、光照射部4は、第1の方向および第1の方向とは異なる第2の方向から対象物9に光を照射することができるのみでよく、撮像制御部51により、第1の方向から対象物9に光が照射されている間に撮像部3が第1撮像画像を取得し、第2の方向から対象物9に光が照射されている間に同じ撮像部3が第2撮像画像を取得する。
【0063】
「第1の方向」および「第2の方向」とは、およそ光の照射方向を指しており、光がその方向からのみ照射される場合の平行光であることを限定するものではない。第1の方向から照射される光は、その方向から偏って照射される光であればよい。換言すれば、第1の方向に偏って位置する少なくとも1つの光源部から光が出射される。
【0064】
撮像画像の最小数は2であるが、好ましくは3以上の撮像画像が取得される。すなわち、光照射部4は対象物9に互いに異なる3以上の方向から光を照射することができ、撮像制御部51の制御により、3以上の方向のそれぞれから対象物9に光が照射されている間に撮像部3が画像を取得する。好ましい照射方向が既知の場合は、その情報に基づいて取得された3以上の撮像画像の1つが第1撮像画像として選択され、他の1つが第2撮像画像として選択される。3以上の撮像画像を準備することにより、より適切な欠陥検出を容易に行うことができる。
【0065】
上記実施の形態では、欠陥取得部52により、3以上の撮像画像のそれぞれが第1撮像画像として扱われ、当該3以上の撮像画像のそれぞれが第2撮像画像として扱われ、第1撮像画像と第2撮像画像の全ての組み合わせを用いて欠陥候補領域が取得されるが、利用される画像は全ての撮像画像である必要はない。また、第1撮像画像と第2撮像画像との組み合わせ、すなわち、第1暗領域画像と第2明領域画像の全ての組み合わせに対して欠陥候補領域を求める処理を行う必要はない。
【0066】
換言すれば、欠陥取得部52により、3以上の撮像画像に含まれる複数の画像のそれぞれが第1撮像画像として扱われ、3以上の撮像画像の含まれる複数の画像(第1撮像画像の場合の上記複数の画像と同一である必要はない。)のそれぞれが第2撮像画像として扱われ、第1撮像画像と第2撮像画像の複数の組み合わせを用いて欠陥候補領域が取得される。
【0067】
図10は、欠陥検出装置1による欠陥検出の他の動作例を説明するための図である。
図10は
図6Bに対応し、ステップS31〜S33は、
図6BのステップS21〜S23と同様である。ステップS31〜S33により、欠陥候補領域が第1欠陥候補領域として取得される。次に、第1欠陥候補領域を取得した際の第1撮像画像と、第2撮像画像とを入れ替えた場合の明領域画像および暗領域画像が、それぞれ第1明領域画像および第2暗領域画像として選択される(ステップS34)。
【0068】
すなわち、第1明領域画像は、
図6AのステップS15において次のようにして得られた画像である。まず、第1撮像画像の各画素の値から第1参照画像の対応する画素の値が減算され、値が負の場合に0とすることにより、差分画像の画素の値が求められる。予め正の値が準備されており、差分画像において当該正の値以上の値を有する画素により構成される領域が第1明領域として取得される。一般的に表現すれば、第1撮像画像において第1参照画像よりも明度が高く、かつ、明度の差の絶対値が第3基準値以上である領域が第1明領域として取得される。第3基準値は正の値である。さらに換言すれば、第1撮像画像において第1参照画像よりも明度が所定値以上高い領域が第1明領域として取得される。既述のように、差分画像に代えて比画像が利用されてもよく、さらに複雑な条件が利用されてもよい。一般的に表現すれば、第1撮像画像において、明度が、第1参照画像の明度よりも高く、かつ、予め定められた条件を満たす値よりも高い領域が第1明領域として取得される。その後、面積フィルタ部535により、面積が予め定められた値よりも小さい第1明領域が削除され、残りの第1明領域を示す画像が第1明領域画像として取得される。
【0069】
第2暗領域画像は、
図6AのステップS14において次のようにして得られた画像である。まず、第2参照画像の各画素の値から第2撮像画像の対応する画素の値が減算され、値が負の場合に0とすることにより、差分画像の画素の値が求められる。予め正の値が準備されており、差分画像において当該正の値以上の値を有する画素により構成される領域が第2暗領域として取得される。一般的に表現すれば、第2撮像画像において第2参照画像よりも明度が低く、かつ、明度の差の絶対値が第4基準値以上である領域が第2暗領域として取得される。第4基準値は正の値である。さらに換言すれば、第2撮像画像において第2参照画像よりも明度が所定値以上低い領域が第2暗領域として取得される。既述のように、差分画像に代えて比画像が利用されてもよく、さらに複雑な条件が利用されてもよい。一般的に表現すれば、第2撮像画像において、明度が、第2参照画像の明度よりも低く、かつ、予め定められた条件を満たす値よりも低い領域が第2暗領域として取得される。その後、面積フィルタ部535により、面積が予め定められた値よりも小さい第2暗領域が削除され、残りの第2暗領域を示す画像が第2暗領域画像として取得される。
【0070】
第1明領域および第2暗領域には膨張処理が行われ、両領域が重なる領域を示す論理積画像が、第2欠陥候補領域を示す第2欠陥候補領域画像として取得される(ステップS35,S36)。
【0071】
後処理部543では、第1欠陥候補領域および第2欠陥候補領域のうち、面積が所定値以下のものが削除される。そして、第1欠陥候補領域および第2欠陥候補領域のうち、互いに隣接するものが第3欠陥候補領域として取得される。
図11は、第3欠陥候補領域が選択される様子を示す図である。符号841は第1欠陥候補領域を示し、符号842は第2欠陥候補領域を示す。これらの領域のうち、符号843にて示す対が第3欠陥候補領域として選択される。
【0072】
第1欠陥候補領域と第2欠陥候補領域とが隣接することは、様々に定めることが可能である。例えば、第1欠陥候補領域の重心と第2欠陥候補領域の重心との間の距離が所定値以下の場合に隣接すると定められてよい。あるいは、第1欠陥候補領域と第2欠陥候補領域との間の最短距離が所定値以下の場合に隣接すると定められてもよい。
【0073】
第3欠陥候補領域はそのまま欠陥領域として出力されてもよく、第3欠陥候補領域の一部が欠陥領域として出力されてもよい(ステップS37)。例えば、第1欠陥候補領域および第2欠陥候補領域のうち、面積が所定値以下のものを削除するステップを省き、第3欠陥候補領域のうち、第1欠陥候補領域および第2欠陥候補領域の双方の面積が所定値以下のものが削除されてもよい。第3欠陥候補領域に基づいて欠陥の存在が取得される。
【0074】
次に、第1暗領域画像および第2明領域画像の他の組み合わせ、および、対応する第1明領域画像および第2暗領域画像に対して第3欠陥候補領域を取得する処理が行われる(ステップS31〜S37)。ステップS31〜S37が繰り返されることにより、第3欠陥候補領域を取得する処理は、第1暗領域画像および第2明領域画像の全ての組み合わせ、および、対応する第1明領域画像および第2暗領域画像に対して行われる(ステップS38)。これにより、対象領域90における様々な形状の欠陥が検出される。第3欠陥候補領域を取得することにより、第1欠陥候補領域のみでは偽欠陥の過検出が多い場合に過検出をさらに抑制することができる。
【0075】
第3欠陥候補領域を取得する処理において、欠陥が凹状であるか凸状であるかを判断する工程が追加されてもよい。光の照射方向は、点灯している光源部の位置から定めることができる。一方、第3欠陥候補領域に含まれる第1欠陥候補領域を取得した際に、第1暗領域の重心から第2明領域の重心に向かう方向を取得することができる。この方向が照明方向におよそ沿う場合、欠陥は凹状であるといえる。重心に代えて、外接円の中心や最小外接矩形の中心等の他の中心位置が利用されてもよい。同様に、第3欠陥候補領域に含まれる第2欠陥候補領域を取得した際に、第2暗領域の重心から第1明領域の重心に向かう方向が照明方向におよそ沿う場合、欠陥は凹状であるといえる。欠陥が凸状の場合は、暗領域と明領域との位置関係は逆になる。
【0076】
欠陥が凹状であるか凸状であるかは原理的には1組の第1暗領域と第2明領域との位置関係から判断することができる。しかし、この情報は信頼性が高くないため、もう1組の第2暗領域と第1明領域との位置関係も利用することにより、欠陥の形状判断の信頼性を向上することができる。例えば、第1暗領域の重心から第2明領域の重心に向かう方向が光の照射方向に沿わないが反対向きともいえない場合において、第2暗領域の重心から第1明領域の重心に向かう方向が照明方向におよそ沿う場合、欠陥は凹状であると判断することができる。
【0077】
図12は、欠陥検出装置1のさらに他の動作例において欠陥取得部52に追加される構成を示す図である。
図12の重複領域取得部546は、
図4の暗領域取得部521および明領域取得部522と
図5に示す構成との間にそれぞれ設けられる。以下、暗領域取得部521にて生成される上述の画像データを「仮第1暗領域画像データ」と呼び、明領域取得部522にて生成される上述の画像データを「仮第2明領域画像データ」と呼ぶ。また、仮第1暗領域画像データが示す画像を「仮第1暗領域画像」と呼び、仮第1暗領域画像に含まれる第1暗領域を「仮第1暗領域」と呼ぶ。仮第2明領域画像データが示す画像を「仮第2明領域画像」と呼び、仮第2明領域画像に含まれる第2明領域を「仮第2明領域」と呼ぶ。
【0078】
一方の重複領域取得部546には、複数の仮第1暗領域画像データが入力され、第1暗領域画像データが出力される。他方の重複領域取得部546には、複数の仮第2明領域画像データが入力され、第2明領域画像データが出力される。
【0079】
図13は、欠陥検出装置1の動作の流れの一部を示す図である。
図13の動作は、
図6AのステップS13と
図6BのステップS21との間にて行われる。まず、
図6AのステップS14と同様の処理により、撮像画像と同数の仮第1暗領域画像のデータ、すなわち、仮第1暗領域を示す複数の仮第1暗領域画像データが生成される(ステップS41)。ステップS15と同様の処理により、撮像画像と同数の仮第2明領域画像のデータ、すなわち、仮第2明領域を示す複数の仮第2明領域画像データが生成される(ステップS42)。ステップS14の説明にて言及した、第1暗領域を取得する際の「予め定められた条件」は、複数の仮第1暗領域画像のそれぞれの取得において互いに異なってもよい。同様に、ステップS15の説明にて言及した、第2明領域を取得する際の「予め定められた条件」は、複数の仮第2明領域画像のそれぞれの取得において互いに異なってもよい。
【0080】
全ての仮第1暗領域画像データは、重複領域取得部546に入力される。重複領域取得部546は、全ての仮第1暗領域のうち所定数以上のものが重なる領域を第1暗領域として取得する(ステップS43)。具体的には、重複領域取得部546は、全ての仮第1暗領域画像の対応する画素の値を加算し、加算画像を所定の閾値で2値化することにより、重複領域を取得する。上記処理を一般的に表現すれば、3以上の撮像画像のうち第1所定数以上の撮像画像の各撮像画像において、明度が、対応する第1参照画像の明度よりも低く、かつ、当該各撮像画像に対して予め定められた条件を満たす値よりも低い領域が、第1暗領域として取得される。
【0081】
図14は、重複領域取得部546における処理を説明するための図である。符号851は、1つの仮第1暗領域画像における仮第1暗領域を示す。符号852は、他の1つの仮第1暗領域画像における仮第1暗領域を示す。符号853は、さらに他の1つの仮第1暗領域画像における仮第1暗領域を示す。ここで、3以上の仮第1暗領域が重なる領域が第1暗領域として取得される場合、符号855を付す領域が第1暗領域として取得される。なお、上述の「第1所定数」は「1」でもよい。この場合、3以上の撮像画像のうちいずれかの撮像画像において、明度が、対応する第1参照画像の明度よりも低く、かつ、当該撮像画像に対して予め定められた条件を満たす値よりも低い領域が、第1暗領域として取得される。
【0082】
全ての仮第2明領域画像データも、重複領域取得部546に入力され、仮第2明領域画像データに対して、仮第1暗領域画像データの場合と同様の処理が行われる。すなわち、重複領域取得部546は、全ての仮第2明領域のうち所定数以上のものが重なる領域を第2明領域として取得する(ステップS44)。上記処理を一般的に表現すれば、3以上の撮像画像のうち第2所定数以上の撮像画像の各撮像画像において、明度が、対応する第2参照画像の明度よりも高く、かつ、当該各撮像画像に対して予め定められた条件を満たす値よりも高い領域が第2明領域として取得される。なお、上述の「第2所定数」は「1」でもよい。この場合、3以上の撮像画像のうちいずれかの撮像画像において、明度が、対応する第2参照画像の明度よりも高く、かつ、当該撮像画像に対して予め定められた条件を満たす値よりも高い領域が第2明領域として取得される。
【0083】
以上の処理より生成された第1暗領域を示す画像データおよび第2明領域を示す画像データに対して、
図5に示す構成により
図6Bに示すステップS22〜S24が実行される。これにより、第1暗領域と第2明領域とが重なる領域が欠陥候補領域として取得される。欠陥候補領域に基づいて欠陥の存在を示す欠陥領域が取得される。なお、上記動作では、1つの第1暗領域画像および1つの第2明領域画像が取得されるため、ステップS21およびS25の繰り返し工程は実行されない。しかし、例えば、複数の仮第1暗領域画像から複数通りに選択された仮第1暗領域画像に対してステップS43を実行し、複数の仮第2明領域画像から複数通りに選択された仮第2明領域画像に対してステップS44を実行することにより、複数の第1暗領域画像および複数の第2明領域画像が生成されてもよい。この場合、ステップS21およびS25は実行される。
【0084】
上記動作例では、第1暗領域および第2明領域の過検出が抑制されるため、欠陥の過検出が抑制される。
【0085】
上記欠陥検出装置1では様々な変形が可能である。
【0086】
光源部4a,4b,4cおよび撮像部3の配置および数は適宜変更されてよい。光照射部4による照明状態は様々に変更されてよい。複数の光源部のうち2つずつが点灯されてもよいし、3つずつが点灯されてもよい。光照射部4では光源部が移動することにより光の照射方向が変更されてもよい。
【0087】
コンピュータ12は、専用のハードウェアであってもよく、部分的に専用のハードウェアが用いられてもよい。高速に外観検査を行う場合は、コンピュータや専用のハードウェアによる並列処理が行われることが好ましい。
【0088】
実質的に同じ処理が行われるのであれば、処理順序は適宜変更可能である。上記実施の形態にて説明した処理順序は一例にすぎない。例えば、第1撮像画像が選択される毎に第2撮像画像が選択され、これらの画像が選択される毎に欠陥候補領域画像が取得されてもよい。欠陥候補領域はそのまま欠陥領域として扱われてもよい。
【0089】
参照画像は、撮像画像から生成されてもよい。すなわち、いわゆる自己比較にて暗領域や明領域が取得されてもよい。例えば、撮像画像に対して明るい領域を膨張する処理を行ってから収縮する処理を行うことにより、暗い欠陥が消滅した参照画像が取得される。撮像画像に対して明るい領域を収縮する処理を行ってから膨張する処理を行うことにより、明るい欠陥が消滅した参照画像が取得される。
【0090】
欠陥検出装置1は、パターンが形成される各種基板やフィルム等、他の対象物の表面における欠陥の検出に利用されてよい。欠陥検出装置1は、梨地状の領域(金属の表面には限定されない。)を表面に有することにより過検出が生じやすい対象物の検査に特に適している。
【0091】
上記実施の形態および各変形例における構成は、相互に矛盾しない限り適宜組み合わされてよい。
【0092】
発明を詳細に描写して説明したが、既述の説明は例示的であって限定的なものではない。したがって、本発明の範囲を逸脱しない限り、多数の変形や態様が可能であるといえる。