(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022162244
(43)【公開日】2022-10-24
(54)【発明の名称】外観検査方法及び外観検査装置
(51)【国際特許分類】
G01N 21/892 20060101AFI20221017BHJP
G01N 21/898 20060101ALI20221017BHJP
【FI】
G01N21/892 B
G01N21/892 A
G01N21/898 A
【審査請求】未請求
【請求項の数】4
【出願形態】OL
(21)【出願番号】P 2021066957
(22)【出願日】2021-04-12
(71)【出願人】
【識別番号】506225949
【氏名又は名称】株式会社ヴイ・エス・テクノロジ-
(74)【代理人】
【識別番号】100167645
【弁理士】
【氏名又は名称】下田 一弘
(72)【発明者】
【氏名】角田 航洋
(72)【発明者】
【氏名】角田 佳久
【テーマコード(参考)】
2G051
【Fターム(参考)】
2G051AA32
2G051AA37
2G051AA40
2G051AB02
2G051AB20
2G051BA01
2G051BA08
2G051BA20
2G051BC03
2G051CA03
2G051CA04
2G051CB01
2G051EA11
2G051EA17
2G051EB01
(57)【要約】
【課題】 表面凹凸の検査と表面汚れ等の外観検査を同時に検査できる検査方法を提供する。
【解決手段】 検査ワークにRGB成分で構成された白色拡散光、RGB成分のいずれかを選択した単色スリット光を検査面に対する互いの照射範囲を重ねて同時に照射して、撮像手段により検査ワークのエリア光反射映像及びスリット光反射映像を重畳した重畳画像を作成し、重畳画像をRGB分解処理して、スリット照明と同一の成分を抽出したスリット光成分抽出画像とスリット光除外成分抽出画像を作成し、スリット光成分抽出画像を二値化処理してスリット光強調画像を作成し、スリット光強調画像に基づいて光切断法により検査ワークの凹凸を検査する。また、スリット光成分抽出画像の輝度補正を行い、スリット光成分補正画像を作成し、スリット光除外成分抽出画像とスリット光成分補正画像とをRGB合成処理してスリット光信号画像を作成し、スリット光消去画像に基づいて検査ワークのムラを検査する外観検査方法である。
【選択図】
図5
【特許請求の範囲】
【請求項1】
検査ワークの検査面を撮像する撮像手段と、前記検査面に対する互いの照射範囲を重ねたエリア照明及びスリット照明からなる照明手段と、前記撮像手段が取得した映像信号に基づく画像を処理する画像処理手段と、を備える外観検査装置による外観検査方法であって、
検査ワークに、エリア照明からのRGB成分で構成された白色拡散光、スリット照明からのRGB成分のいずれかを選択した単色スリット光を同時に照射して、前記撮像手段により、検査ワークのエリア光反射映像信号及びスリット光反射映像信号が重畳した映像信号を取得して重畳画像を作成する工程と、
前記重畳画像をRGB分解処理して、スリット照明と同一の成分を抽出したスリット光成分抽出画像、及びスリット光除外成分抽出画像を作成する工程と、
前記スリット光成分抽出画像を二値化処理してスリット光強調画像を作成する工程と、
前記スリット光強調画像に基づいて光切断法により検査ワークの凹凸を検査する工程と、
前記スリット光成分抽出画像の輝度補正を行い、スリット光成分補正画像を作成する工程と、
前記スリット光除外成分抽出画像と前記スリット光成分補正画像とをRGB合成処理して、スリット光消去画像を作成する工程と、
前記スリット光消去画像に基づいて検査ワークのムラを検査する工程と、
を含む外観検査方法。
【請求項2】
前記照明手段がスリットパターンを投射する投影装置であって、エリア照明及びスリット照明を一体とした照明手段であること特徴とする請求項1に記載の外観検査方法。
【請求項3】
検査ワークの検査面を撮像する撮像手段と、前記検査面に対する互いの照射範囲を重ねたエリア照明及びスリット照明からなる照明手段と、前記撮像手段が取得した映像信号に基づく画像を処理する画像処理手段と、を備える外観検査装置であって、
前記画像処理手段が、前記撮像手段により、検査ワークのエリア光反射映像信号及びスリット光反射映像信号が重畳した映像信号を取得して重畳画像を作成し、
前記重畳画像をRGB分解処理して、スリット照明と同一の成分を抽出したスリット光成分抽出画像、及びスリット光除外成分抽出画像を作成し、
前記スリット光成分抽出画像を二値化処理してスリット光強調画像を作成し、
前記スリット光強調画像に基づいて光切断法により検査ワークの凹凸を検査し、
前記スリット光成分抽出画像の輝度補正を行い、スリット光成分補正画像を作成し、
前記スリット光除外成分抽出画像と前記スリット光成分補正画像とをRGB合成処理して、スリット光消去画像を作成し、
前記スリット光消去画像に基づいて検査ワークのムラを検査する実行プログラムを備える処理装置、
であることを特徴とする外観検査装置。
【請求項4】
前記照明手段がスリットパターンを投射する投影装置であって、エリア照明及びスリット照明を一体とした照明手段であること特徴とする請求項3に記載の外観検査装置。
【発明の詳細な説明】
【技術分野】
【0001】
本願発明は、検査ワークの外観不良を検査する外観検査方法及び外観検査装置に関する。特に、検査ワークの表面汚れと凹凸不良を同時に検査する外観検査方法及び外観検査装置に関する。
【背景技術】
【0002】
検査対象の製品である検査ワークの表面のキズや凹凸や汚れや色ムラ等の外観上の不具合を検査する外観検査装置がある。表面の凹凸はスリット光を検査ワークの検査対象面に照射し、その反射光を撮像装置で撮像し、その撮像画像に写る線の曲がり具合から検査ワークの凹凸を測定する光切断法が採用されている(特許文献1)。また、表面の汚れや色ムラは、拡散照明に代表されるエリア光を検査ワークの検査対象面に照射し、表面汚れによる輝度値変化を2次元画像として検出する方法が採用されている(特許文献2,3)。
【0003】
検査ワークの表面の凹凸と汚れを検査面に対する互いの照射範囲を重ねたエリア光源と、スリット光源とを有する照明手段のエリア光源及びスリット光源の点灯/消灯の切り替えを制御して撮像する検査ワークの表面の凹凸と汚れとを簡易な構成で検査する方法が開示されている(特許文献4)。これは、色ムラ等の外観上の不具合を検査するにはスリット光影像が検査に邪魔となるからである。
しかしながら、エリア光源及びスリット光源の点灯/消灯の切り替えを要するため、表面の凹凸の検査ための撮像と表面の汚れの検査のための撮像とで2回撮像する必要があり、高速移動体の検査や、エリア全体を縦横のグリッド線を用いた検査に採用することができないという問題がある。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2020- 8501号公報
【特許文献2】特開2007-256245号公報
【特許文献3】特開2013-160745号公報
【特許文献4】特開2013-242256号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
本願発明は、スリット光とエリア光を同時に照射することで、スリット光を用いた光切断法による表面凹凸の検査と、エリア光を用いた表面汚れ等の外観検査とを照射光を切り替えることなく、同時に検査できる検査方法を提供することにある。
【課題を解決するための手段】
【0006】
本願発明の課題は、以下の態様(1)乃至(4)により解決できる。具体的には、
【0007】
(態様1) 検査ワークの検査面を撮像する撮像手段と、前記検査面に対する互いの照射範囲を重ねたエリア照明及びスリット照明からなる照明手段と、前記撮像手段が取得した映像信号に基づく画像を処理する画像処理手段と、を備える外観検査装置による外観検査方法であって、検査ワークに、エリア照明からのRGB成分で構成された白色拡散光、スリット照明からのRGB成分のいずれかを選択した単色スリット光を同時に照射して、前記撮像手段により、検査ワークのエリア光反射映像信号及びスリット光反射映像信号が重畳した映像信号を取得して重畳画像を作成する工程と、前記重畳画像をRGB分解処理して、スリット照明と同一の成分を抽出したスリット光成分抽出画像、及びスリット光除外成分抽出画像を作成する工程と、前記スリット光成分抽出画像を二値化処理してスリット光強調画像を作成する工程と、前記スリット光強調画像に基づいて光切断法により検査ワークの凹凸を検査する工程と、前記スリット光成分抽出画像の輝度補正を行い、スリット光成分補正画像を作成する工程と、前記スリット光除外成分抽出画像と前記スリット光成分補正画像とをRGB合成処理して、スリット光消去画像を作成する工程と、前記スリット光消去画像に基づいて検査ワークのムラを検査する工程と、を含む外観検査方法である。
【0008】
(態様2) 前記照明手段がスリットパターンを投射する投影装置であって、エリア照明及びスリット照明を一体とした照明手段であること特徴とする(態様1)に記載の外観検査方法である。
【0009】
(態様3) 検査ワークの検査面を撮像する撮像手段と、前記検査面に対する互いの照射範囲を重ねたエリア照明及びスリット照明からなる照明手段と、前記撮像手段が取得した映像信号に基づく画像を処理する画像処理手段と、を備える外観検査装置であって、前記画像処理手段が、前記撮像手段により、検査ワークのエリア光反射映像信号及びスリット光反射映像信号が重畳した映像信号を取得して重畳画像を作成し、前記重畳画像をRGB分解処理して、スリット照明と同一の成分を抽出したスリット光成分抽出画像、及びスリット光除外成分抽出画像を作成し、前記スリット光成分抽出画像を二値化処理してスリット光強調画像を作成し、前記スリット光強調画像に基づいて光切断法により検査ワークの凹凸を検査し、前記スリット光成分抽出画像の輝度補正を行い、スリット光成分補正画像を作成し、前記スリット光除外成分抽出画像と前記スリット光成分補正画像とをRGB合成処理して、スリット光消去画像を作成し、前記スリット光消去画像に基づいて検査ワークのムラを検査する実行プログラムを備える処理装置であることを特徴とする外観検査装置である。
【0010】
(態様4) 前記照明手段がスリットパターンを投射する投影装置であって、エリア照明及びスリット照明を一体とした照明手段であること特徴とする(態様3)に記載の外観検査装置である。
【発明の効果】
【0011】
本願発明によれば、スリット光を用いた光切断法による表面凹凸の検査と、エリア光を用いた表面汚れ等の外観検査とを照射光を切り替えることなく、同時に検査できるため、搬送手段を介して搬送される帯状体の外観検査を照明手段の切り替えを行うことなく、連続して行うことができる。照明手段を投影装置とすることで、ライン状、格子状等種々のスリットパターンを高速で投射することが可能となり、計測時間の短時間化、多様な検査対象を検査することができる。
【図面の簡単な説明】
【0012】
【
図1】本願発明の第1の実施態様に用いる検査装置の全体構成図である。
【
図2】本願発明の第2の実施態様に用いる検査装置の撮像部を示す要部構成図である。
【
図3】本願発明の第3の実施態様に用いる検査装置の撮像部を示す要部構成図である。
【
図4】本願発明の実施態様に係る投影装置によるスリットパターンを例示したものである。
【
図5】本願発明の外観検査方法の手順を示すフロー図である。
【
図6】本願発明の外観検査方法による処理画像を検査手順に従って示した説明図である。
【
図7】本願発明の処理画像とスリット光成分輝度を示す説明図である。
【
図8】本願発明の凹凸判定に供する二値化処理した「スリット光強調画像」を例示した模式図である。
【
図9】本願発明の汚れ判定に供する二値化処理した「スリット光消去画像」を例示した模式図である。
【発明を実施するための形態】
【0013】
本願発明を実施するための形態を
図1~
図7に基づいて説明する。ただし、
図1~
図7は実施形態の一例であり、これに限定されるものではない。
【0014】
1.検査装置
(1)検査装置の構成
図1は、本願発明の第1の実施態様に用いる検査装置の全体構成図である。本願発明の検査方法に用いる外観検査装置100は、撮像部20と制御部30で構成されている。
撮像部20は、検査ワーク10の検査面に拡散照明光21を照射するエリア照明22及び検査ワーク10の検査面にスリット光23を照射するスリット照明24からなる照明手段(22,24)と、検査ワーク10の検査面からの反射光を映像信号に変換する撮像手段25と、照明手段(22,24)及び撮像手段25を制御する制御部30を備える。
制御部30は、撮像手段25から検査画像を取得する画像取得部31と、撮像手段25が取得した映像信号に基づく検査画像を画像処理する画像処理部32、画像処理を実行する処理プログラムやプログラム実行時に必要なデータを記憶する記憶部33と、検査ワーク10に照射する拡散照明光21及びスリット光23からなる照明手段またはスリットパターンを投射する投影装置26を制御する照明制御部34と、画像処理した画像に基づいて検査ワーク10に生じた欠陥を判定する判定部35と、を備える。
なお、エリア照明22の照射範囲とスリット照明24の照射範囲は、重なっており、撮像手段25は、照射範囲の反射映像を取得する。
【0015】
図2は、本願発明の第2の実施態様に用いる検査装置の撮像部20を示す要部構成図である。照明手段がエリア照明21及びスリット照明23を一体としたスリットパターンを投射する投影装置26である点で第1の実施態様とは異なる。
【0016】
(2)検査ワーク
本願発明の検査方法の検査対象となる検査ワーク10としては、外表面に凹凸のある模様を形成した鋼板、敷物、フィルム等の帯状体が好適である。本願発明の検査方法は、スリット光を用いた光切断法による表面凹凸の検査と、エリア光を用いた表面汚れ等の外観検査とを照射光を切り替えることなく、同時に検査できるため、搬送手段を介して搬送される帯状体の外観検査を照明手段の切り替えを行うことなく、連続して行うことができるからである。
【0017】
(3)照明手段
本願発明の検査方法に用いる照明手段は、エリア照明、スリット照明、エリア照明及びスリット照明を一体化した投影装置である。
【0018】
(3-1)エリア照明
本願発明の検査方法に用いるエリア照明22は、検査ワーク10の検査面に拡散照明光21を照射する光源である。光源としては、白色発光ダイオード(Light-Emitting Diode)が好適に用いられる。白色LEDとしては、蛍光体を用いた白色LED、具体的には、青色LEDと黄色に発光する蛍光体を組み合わせたもの、紫外または紫LEDと青・緑・赤に発光する3種類の蛍光体を組み合わせたものがある。また、蛍光体を用いない白色LED、具体的には青(B)・緑(G)・赤(R)LEDを一つのパッケージ内に並べ、これらを同時に発光させることによって白色光を得るものがある。
エリア照明22は、撮像手段25の斜め上方から検査面に照射する。
図3に示すように、エリア照明22は、検査面が同一輝度条件となるように対称となる位置に複数配置することが好ましい。
【0019】
(3-2)スリット照明
本願発明の検査方法に用いるスリット照明24は、検査ワーク10の検査面に光切断法による高さ演算を行うための幅の狭いスリット光23を照射する光源である。撮像手段25の光軸Lに対して角度θでライン状のスリット光を照射すると、検査面の凹凸に応じてスリット光は移動する。凹凸の高さ(h)と移動量(x)との関係は、h=x/tanθの関係があるため、光切断法では、撮像手段25で撮像した画像に含まれるスリット光の移動量を検出することで、検査ワーク10の凹凸(三次元高さデータ)を演算できる。
ここで、光切断法(スリット光投影法ともいう)は、物体を光学的に走査して距離画像(3次元画像)を得る方法であり、特定の参照光を投射して物体を撮影する能動的計測方法の一種である。距離画像は、物体上の複数の部位の3次元位置を示す画素の集合である。スリット光投影法では、参照光として投射ビームの断面が直線帯状であるスリット光が用いられる。走査中のある時点では物体の一部が照射され、撮像面には照射部分の起伏に応じて曲がった輝線が現れる。したがって、走査中に周期的に撮像面の各画素の輝度をサンプリングすることにより、物体形状を特定する一群の3次元データを得ることができる。
【0020】
また、スリット照明24は、RGB成分のいずれかの単色光を用いる。撮像手段25が撮像した検査ワークからのエリア光反射映像及びスリット光反射映像が重畳した映像に基づく画像からRGB成分を分解して、スリット光成分を抽出した場合に、スリット光として用いたRGB成分が強調されて、光切断法による凹凸(三次元データ)演算前の画像の2値化処理が容易となるからである。
本願発明の検査方法に用いるスリット照明24としては、ライン状、格子状等種々のスリットパターンのみを投射した投影装置を好適に用いることができる。光切断法による凹凸(三次元データ)演算を多様な方向で適用できるからである。
【0021】
(3-3)投影装置
本願発明の検査方法に用いる投影装置26は、エリア照明22とスリット照明24を一体化した光源として用いる照明手段であり、例えば、RGBいずれかのパターンを形成した白色LED投影装置である。ライン状、格子状等種々のスリットパターンがスリット光としての機能を担い、スリットパターン以外がエリア光としての機能を担う。投影装置は、特に限定されるものではない。例えば、DLP(Digital Light Processing)プロジェクタや液晶プロジェクタ等がある。投影装置は、ライン状、格子状等種々のスリットパターンを高速で投射することが可能であり、計測時間の短時間化を図ることができ、搬送される検査ワークの外観検査に好適である。
図4は、投影装置によるスリットパターンを例示したものである。(a)は、赤(R)のパターンのみを表示したものであり、スリット照明としての機能を有する。(b)は、白地(W)に赤(R)のパターンを表示したものであり、エリア照明とスリット照明を一体化した照明としての機能を有する。
【0022】
(4)撮像手段
本願発明の検査方法に用いる撮像手段25は、照明手段の後方に設けられている。撮像手段25は、反射光を光電変換して映像信号とする集積回路(IC:integrated circuits)を用いた撮像素子、具体的には、多数のホトダイオードを平面状のシリコン基板に並べたものが使われ、転送には電荷結合素子(CCD:charge-coupled device)または相補型金属酸化膜半導体(CMOS (シーモス) :complementary metal oxide semiconductor)等の集積回路が使われる。および、検査ワークの像を固体撮像素子の撮像面に結像させる光学系、固体撮像素子の出力を信号処理して画素ごとの輝度値を得る信号処理回路等で構成されているエリアカメラである。撮像をRGB成分に分解処理を行うため、カラーカメラが好適である。
【0023】
(5)制御部
本願発明の検査方法に用いる制御部30は、画像取得部31、画像処理部32、記憶部33、照明制御部34、判定部35を備える。
【0024】
(5-1)画像取得部
画像取得部31は、撮像手段25が取得した検査ワーク10からのエリア光21反射映像及びスリット光23反射映像が重畳した映像に基づく画像(以下、「重畳画像」という。)の画像情報を取得し記憶部33に記憶する機能を有する。また、RS232CやUSB(Universal Serial Bus)等の汎用通信インターフェースを介して撮像手段25の撮像のタイミング等の動作を制御する機能も有する。
【0025】
(5-2)画像処理部
画像処理部32は、撮像手段25からの映像信号(画像情報)に対して各種の画像処理する機能を有する。CPU(Central Processing Unit)、メモリ、ディスプレイ、ハードディスク等の記憶装置、入出力用の各種インターフェース等を備える情報処理装置により構成される。また、後述する本願発明の検査方法を実行させるプログラムを備え、CPUがプログラムを実行することにより検査方法に必要な演算等を実行する。
【0026】
(5-3)記憶部
記憶部33は、ROM(Read Only Memory)及びRAM(Random Access Memory)を備える。ROMは、CPUによって実行される検査方法プログラム等各種プログラムやこれらプログラムの実行時に必要なデータ(例、撮像手段25が取得した画像)を格納する。ROMに格納された各種プログラムやデータは、RAMにロードされて実行される。
【0027】
(5-4)照明制御部
照明制御部34は、検査ワーク10に投射するスリットパターンを生成し、記憶部33に記憶する機能を有する。記憶部33に記憶されたスリットパターンのデータを、DVI(Digital Visual Interface)等の汎用ディスプレイ用インターフェースを介して投影装置へ伝送する機能を有する。また、RS232CやUSB等の汎用通信インターフェースを介して投影装置の光源の点灯・消灯や光量調整等の動作を制御する機能も有する。
【0028】
(5-5)判定部
判定部35は、画像処理部32で二値化処理等の処理画像について、記憶部33に保存された判断情報に基づいて、検査ワーク10生じた凹凸欠陥及び汚れ(輝度ムラ)欠陥を判定する。
【0029】
2.検査方法
図5は、本願発明の外観検査方法の手順を示すフロー図であり、
図6は、本願発明の外観検査方法による処理画像を検査手順に従って示した説明図である。以下、
図5、
図6に基づいて本願発明の検査方法を説明する。
【0030】
(1)重畳映像信号取得
RGB成分で構成された白色LEDからなるエリア照明22から検査ワーク10へ照射されるエリア光21と、RGB成分のいずれかを選択した単色光からなるスリット照明24から検査ワーク10へ照射されるスリット光23が検査ワーク上の照射範囲に同時に照射され、撮像手段25は検査ワーク10のエリア光21反射映像信号及びスリット光23反射映像信号が重畳した映像信号を取得し、「重畳画像」を作成する(S01)。
なお、第1の実施態様では、エリア照明22は、赤(R)、緑(G)、青(B)の3色を同時に発光する白色(W)LED照明であり、スリット照明24は赤(R)ストライプのみを投射する投影装置26であり、第2の実施態様では、白(W)地に赤(R)ストライプを投射するエリア照明(W)とスリット照明(R)を一体化した投影装置26である。
【0031】
(2)RGB分解処理
「重畳画像」にRGB分解処理を行い、R画素、G画素、B画素を作成する。スリット照明と同一の画素成分を抽出して、「スリット光成分抽出画像」とし、残りを「スリット光除外成分抽出画像」とする(S02)。
例えば、スリット照明が赤(R)ストライプである場合は、R画素成分を抽出した画像が「スリット光成分抽出画像」となり、残りのG画素及びB画素からなる画像が「スリット光除外成分抽出画像」となる。
【0032】
(3)二値化処理
「スリット光成分抽出画像」を所定の閾値をパラメータとして二値化処理を行い、「スリット光強調画像」を作成する(S03)。
【0033】
(4)凹凸欠陥判定
「スリット光強調画像」に基づき、光切断法による凹凸(三次元データ)演算を行って、凹凸欠陥判定を行う(S04)。
図8は、凹凸判定に供する二値化処理した「スリット光強調画像」を例示した模式図である。
【0034】
(5)スリット光成分輝度補正
「スリット光成分抽出画像」のスリット光成分(画素)の輝度を「スリット光除外成分抽出画像」のスリット光成分(画素)の輝度に合わせる補正を行う(S05)。これは、スリット光成分(画素)を相殺して「スリット光消去画像」を作成するための前処理である。「スリット光成分抽出画像」は、エリア照明成分に加えてスリット照明成分を含むため高輝度となっているため、「スリット光除外成分抽出画像」の輝度に合わせるためである。
具体的には、
図7に示すように、「重畳画像」からRGB分解処理により作成した「スリット光成分抽出画像」のスリット光成分(画素)の輝度は、エリア照明の白色光に含まれるスリット光成分(画素)と、スリット照明のスリット光成分(画素)とが合算されたものとなるため、「スリット光成分除去画像」のスリット光成分(画素)の輝度より高くなる。このため、RGB合成処理の前に輝度補正をする必要がある。
なお、
図7では、A-A´断面の輝度を模式的に表示している。
【0035】
(6)RGB合成処理
輝度補正を行った「スリット光成分抽出画像」と「スリット光除外成分抽出画像」を合成して、R画素、G画素、B画素からなる「スリット光消去画像」を作成する(S06)。
【0036】
(7)二値化処理
「スリット光成分消去画像」を所定の閾値をパラメータとして二値化処理を行う(S07)。
図9は、汚れ判定に供する二値化処理した「スリット光消去画像」を例示した模式図である。
【0037】
(8)汚れ欠陥判定
二値化処理した「スリット光消去画像」に基づき、汚れ(輝度ムラ)欠陥の判定を行う(S08)。
【産業上の利用可能性】
【0038】
本願発明により、検査ワークの凹凸欠陥及び汚れ欠陥を同時に検査する外観検査方法を提供できる。
【符号の説明】
【0039】
100 外観検査装置
10 検査ワーク
20 撮像部
21 拡散照明光
22 エリア照明
23 スリット光
24 スリット照明
25 撮像手段
26 投影装置
30 制御部
31 画像取得部
32 画像処理部
33 記憶部
34 照明制御部
35 判定部