IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ オムロン株式会社の特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-28
(45)【発行日】2023-12-06
(54)【発明の名称】検査システムおよび検査方法
(51)【国際特許分類】
   G01N 21/88 20060101AFI20231129BHJP
【FI】
G01N21/88 Z
【請求項の数】 10
(21)【出願番号】P 2020102219
(22)【出願日】2020-06-12
(65)【公開番号】P2021196240
(43)【公開日】2021-12-27
【審査請求日】2023-03-01
(73)【特許権者】
【識別番号】000002945
【氏名又は名称】オムロン株式会社
(74)【代理人】
【識別番号】110001195
【氏名又は名称】弁理士法人深見特許事務所
(72)【発明者】
【氏名】池田 泰之
【審査官】嶋田 行志
(56)【参考文献】
【文献】特開2019-144202(JP,A)
【文献】特開2019-144203(JP,A)
【文献】特開2018-204994(JP,A)
【文献】特開2007-240432(JP,A)
【文献】特開平07-027709(JP,A)
【文献】特表2005-521064(JP,A)
【文献】特開2011-252841(JP,A)
【文献】特表2017-533437(JP,A)
【文献】特開2000-105203(JP,A)
【文献】国際公開第2013/132913(WO,A1)
【文献】国際公開第2007/026690(WO,A1)
【文献】米国特許出願公開第2007/0019186(US,A1)
【文献】米国特許出願公開第2007/0013903(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G01N 21/84-G01N 21/958
G01B 11/00-G01B 11/30
H01L 21/00-H01L 21/98
JSTPlus/JST7580/JSTChina(JDreamIII)
(57)【特許請求の範囲】
【請求項1】
対象物の表面を検査する検査システムであって、
前記対象物を照明するための発光装置と、
前記発光装置と前記対象物との間に配置されるコリメータレンズと、
前記対象物を撮像する撮像装置と、を備え、
前記発光装置は、発光位置を可変であり、
前記検査システムは、さらに、
互いに前記発光位置が異なる状態での複数回の撮像からそれぞれ得られる複数の撮像画像を解析することにより、各画素の値が当該画素に写る前記対象物の表面の法線方向に対応する第1解析画像を生成する画像解析部を備える、検査システム。
【請求項2】
前記第1解析画像の各画素の値は、前記複数の撮像画像における当該画素の輝度と前記発光位置との関係を示す波形の位相を示す、請求項1に記載の検査システム。
【請求項3】
前記第1解析画像の各画素の値は、前記複数の撮像画像における当該画素の輝度と前記発光位置との関係を示す波形において前記輝度がピークとなる前記発光位置を示す、請求項1に記載の検査システム。
【請求項4】
前記画像解析部は、前記複数の撮像画像を解析することにより第2解析画像をさらに生成し、
前記第2解析画像の各画素の値は、前記複数の撮像画像における当該画素の輝度と前記発光位置との関係を示す波形の振幅である、請求項1に記載の検査システム。
【請求項5】
前記発光装置は、複数の光源を含み、前記複数の光源のうち発光させる光源を順次切り替え、
前記複数の光源は、前記コリメータレンズの光軸に垂直な平面上、または、前記光軸上に中心を有する球状の面上に配置される、請求項1から4のいずれか1項に記載の検査システム。
【請求項6】
前記画像解析部は、前記複数の撮像画像を合成した合成画像をさらに生成する、請求項1から5のいずれか1項に記載の検査システム。
【請求項7】
前記発光位置と前記コリメータレンズとの距離は、前記コリメータレンズの焦点距離以上である、請求項1から6のいずれか1項に記載の検査システム。
【請求項8】
前記コリメータレンズと前記対象物との間に配置されるハーフミラーをさらに備え、
前記発光装置から照射され、前記コリメータレンズを透過した光は、前記ハーフミラーに反射して前記対象物を照らし、
前記対象物による反射光は、前記ハーフミラーを透過して前記撮像装置に入射する、請求項1から7のいずれか1項に記載の検査システム。
【請求項9】
対象物の表面を検査する検査システムであって、
前記対象物を照明するための発光装置と、
前記発光装置と前記対象物との間に配置されるコリメータレンズと、
前記対象物を撮像する撮像装置と、を備え、
前記発光装置は、発光位置を可変であり、
前記検査システムは、さらに、
互いに前記発光位置が異なる状態での複数回の撮像からそれぞれ得られる複数の撮像画像を解析することにより解析画像を生成する画像解析部を備え、
前記解析画像の各画素の値は、前記複数の撮像画像における当該画素の輝度と前記発光位置との関係を示す波形の特徴量である、検査システム。
【請求項10】
対象物の表面を検査する検査方法であって、
発光装置から照射され、コリメータレンズを透過した光を前記対象物に照射させながら、前記対象物を撮像するステップを備え、
前記撮像するステップは、
前記発光装置における発光位置を切り替えるステップと、
互いに前記発光位置が異なる状態での複数回の撮像から複数の撮像画像を取得するステップと、を含み、
前記検査方法は、さらに、
前記複数の撮像画像を解析することにより、各画素の値が当該画素に写る前記対象物の表面の法線方向に対応する解析画像を生成するステップを備える、検査方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、検査システムおよび検査方法に関する。
【背景技術】
【0002】
FA(Factory Automation)分野などにおいて、金属などの光沢を持つ表面を有する対象物を照明しながら撮像し、得られた画像を用いて対象物の外観を検査することが知られている。
【0003】
照明の方法として平行光同軸照明が知られている。平行光同軸照明を用いることにより、対象物の表面上に細かいキズ、緩やかな凹凸などの欠陥が存在する場合、欠陥に応じた輝度の濃淡分布が画像に現われる。そのため、濃淡分布を確認することにより、欠陥の有無を検査できる。
【0004】
実用新案登録第3197766号公報(特許文献1)には、反射型位相シフト法が開示されている。反射型位相シフト法は、スリット光を1周期分だけシフトさせながら対象物に照射する。撮像により得られる画像には縞が見られ、輝度変化が欠陥の有無に応じて異なる。そのため、輝度変化を確認することにより、欠陥を検出できる。例えば、撮影された被検査体の表面の各位置について、1周期分の画像の輝度の最大値と最小値とを求め、被検査体の表面の各位置での最大値を集めた最大値画像と最小値を集めた最小値画像との差分画像に基づいて、被検査体の表面の欠陥が検出される。
【0005】
特許第5866586号公報(特許文献2)には、対象物の各点に照射される光の照射立体角として、異なる光属性を持つ複数の立体角領域を形成するフィルタ手段を備えた検査用照明装置が開示されている。この検査用照明装置を用いることにより、光の照射立体角の形状、大きさおよび傾きと、照射立体角内の特定の光属性をもつ立体角領域とが、視野全域において略均一に設定され得る。その結果、微小な欠陥等であっても略同一の検出条件で検出することが可能となる。
【先行技術文献】
【特許文献】
【0006】
【文献】実用新案登録第3197766号公報
【文献】特許第5866586号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
平行光同軸照明を用いる場合、平行光の光軸と対象物の表面の法線方向とが平行になるように対象物を設置する必要がある。そのため、対象物の設置の調整に手間がかかる。
【0008】
特許文献1に記載の反射型位相シフト法を用いる場合、対象物の表面の拡散反射率が大きいと、観測される縞のコントラストが低下し、欠陥の検出精度が低下する。
【0009】
特許文献2に記載の検査用照明装置を用いる場合、対象物の表面の反射特性に応じてフィルタ手段を調整する手間がかかる。
【0010】
本開示は、上記の問題に鑑みてなされたものであり、その目的は、検査のための調整の手間を低減でき、欠陥の検出精度の高い検査システムおよび検査方法を提供することである。
【課題を解決するための手段】
【0011】
本開示の一例によれば、対象物の表面を検査する検査システムは、対象物を照明するための発光装置と、発光装置と対象物との間に配置されるコリメータレンズと、対象物を撮像する撮像装置と、を備える。発光装置は、発光位置を可変である。検査システムは、さらに、互いに発光位置が異なる状態での複数回の撮像からそれぞれ得られる複数の撮像画像を解析することにより、各画素の値が当該画素に写る対象物の表面の法線方向に対応する第1解析画像を生成する画像解析部を備える。
【0012】
上記の開示によれば、第1解析画像では、表面の法線方向が変化する凹凸がキズなどの欠陥の写る画素の値が、他の画素の値と異なる。そのため、第1解析画像を確認することにより、欠陥を精度良く検出できる。
【0013】
さらに、対象物と撮像装置との相対位置関係は、複数の発光位置のいずれかにおいて輝度がピークを示すように設定されればよい。そのため、特許文献1のように、対象物の設置の調整に手間がかからない。さらに、特許文献2に記載のようなフィルタ手段を備えないため、フィルタ手段の調整に手間をかける必要がない。
【0014】
以上のように、上記の構成の検査システムによれば、検査のための調整の手間を低減でき、欠陥の検出精度を高めることができる。
【0015】
上述の開示において、第1解析画像の各画素の値は、複数の撮像画像における当該画素の輝度と発光位置との関係を示す波形の位相を示す。
【0016】
画素の輝度と発光位置との関係を示す波形の位相は、当該画素に写る対象物の表面の法線方向に依存する。そのため、上記の開示によれば、第1解析画像は、対象物の表面の法線方向の分布を精度良く表すことができる。
【0017】
上述の開示において、第1解析画像の各画素の値は、複数の撮像画像における当該画素の輝度と発光位置との関係を示す波形において輝度がピークとなる発光位置を示す。
【0018】
輝度がピークとなる発光位置は、対象物の表面の法線方向に依存する。そのため、上記の開示によれば、第1解析画像は、対象物の表面の法線方向の分布を精度良く表すことができる。
【0019】
上述の開示において、画像解析部は、複数の撮像画像を解析することにより第2解析画像をさらに生成する。第2解析画像の各画素の値は、複数の撮像画像における当該画素の輝度と発光位置との関係を示す波形の振幅である。
【0020】
上記の開示によれば、第2解析画像を確認することにより、光の正反射する度合いを低下させるような物質の汚れ、あるいは、ガラス製の対象物の表面の細かいキズを精度良く検出できる。
【0021】
上述の開示において、発光装置は、複数の光源を含み、複数の光源のうち発光させる光源を順次切り替える。複数の光源は、コリメータレンズの光軸に垂直な平面上、または、光軸上に中心を有する球状の面上に配置される。上記の開示によれば、発光装置は、発光位置を容易に変化させることができる。
【0022】
上述の開示において、画像解析部は、複数の撮像画像を合成した合成画像をさらに生成する。
【0023】
上記の開示によれば、合成画像を確認することにより、対象物の表面の凹凸の影響を受けずに、拡散反射する低コントラストのムラなどの欠陥を精度良く検出できる。
【0024】
上述の開示において、発光位置とコリメータレンズとの距離は、コリメータレンズの焦点距離以上である。
【0025】
上記の開示によれば、発光位置とコリメータレンズとの距離がコリメータレンズの焦点距離である場合、対象物の表面への照射条件を均一にできる。発光位置とコリメータレンズとの距離がコリメータレンズの焦点距離よりも大きい場合、撮像装置の設置場所の自由度があがる。
【0026】
上述の開示において、検査システムは、コリメータレンズと対象物との間に配置されるハーフミラーをさらに備える。発光装置から照射され、コリメータレンズを透過した光は、ハーフミラーに反射して対象物を照らす。対象物による反射光は、ハーフミラーを透過して撮像装置に入射する。
【0027】
上記の開示によれば、撮像装置は、発光装置からの光が照射された対象物を撮像しやすくなる。
【0028】
本開示の一例によれば、対象物の表面を検査する検査システムは、対象物を照明するための発光装置と、発光装置と対象物との間に配置されるコリメータレンズと、対象物を撮像する撮像装置と、を備える。発光装置は、発光位置を可変である。検査システムは、さらに、互いに発光位置が異なる状態での複数回の撮像からそれぞれ得られる複数の撮像画像を解析することにより解析画像を生成する画像解析部を備える。解析画像の各画素の値は、複数の撮像画像における当該画素の輝度と発光位置との関係を示す波形の特徴量である。
【0029】
上記の開示によれば、解析画像の各画素の値は、複数の撮像画像における当該画素の輝度と発光位置との関係を示す波形の特徴量である。画素の輝度と発光位置との関係を示す波形は、画素に写る対象物の表面の法線方向、および、当該表面における光の正反射する度合いに応じて変化する。そのため、波形の特徴量を画素の値とする解析画像を確認することにより、対象物の表面の法線方向の分布、あるいは、対象物の表面における光の正反射する度合いの分布を把握できる。その結果、表面の法線方向に影響を及ぼす凹凸やキズなどの欠陥、あるいは、光の正反射する度合いに影響を及ぼす汚れやキズなどの欠陥を精度良く検出できる。
【0030】
さらに、対象物と撮像装置との相対位置関係は、複数の発光位置のいずれかにおいて輝度がピークを示すように設定されればよい。そのため、特許文献1のように、対象物の設置の調整に手間がかからない。さらに、特許文献2に記載のようなフィルタ手段を備えないため、フィルタ手段の調整に手間をかける必要がない。
【0031】
以上のように、上記の構成の検査システムによれば、検査のための調整の手間を低減でき、欠陥の検出精度を高めることができる。
【0032】
本開示の一例によれば、対象物の表面を検査する検査方法は、発光装置から照射され、コリメータレンズを透過した光を対象物に照射させながら、対象物を撮像するステップを備える。撮像するステップは、発光装置における発光位置を切り替えるステップと、互いに発光位置が異なる状態での複数回の撮像から複数の撮像画像を取得するステップと、を含む。検査方法は、さらに、複数の撮像画像を解析することにより、各画素の値が当該画素に写る対象物の表面の法線方向に対応する解析画像を生成するステップを備える。
【0033】
この開示によっても、検査のための調整の手間を低減でき、欠陥の検出精度を高めることができる。
【発明の効果】
【0034】
本開示によれば、検査のための調整の手間を低減でき、欠陥の検出精度を高めることができる。
【図面の簡単な説明】
【0035】
図1】本実施の形態に係る検査システム1の全体構成を示す概略図である。
図2】具体例1に係る検査システム1Aの構成を示す模式図である。
図3】具体例2に係る検査システムの構成を示す模式図である。
図4】画像解析部のハードウェア構成の一例を示す図である。
図5】互いに発光位置が異なる状態での複数回の撮像からそれぞれ得られる複数の撮像画像の一例を示す図である。
図6】X=0mm,Y=-3mmの発光位置で発光させたときの撮像画像を示す図である。
図7】選択された7枚の撮像画像における、画素50~52の輝度の変化を示す図である。
図8図5に示す実線で囲まれた7枚の撮像画像から生成される法線画像20Yを示す図である。
図9】特許文献1に記載の反射型位相シフト法を用いて生成された差分画像28を示す図である。
図10図5に示す実線で囲まれた7枚の撮像画像から生成される直接反射画像22Yを示す図である。
図11】複数の撮像画像を合成した合成画像24を示す図である。
図12】互いに発光位置が異なる状態での25回の撮像からそれぞれ得られる25枚の撮像画像と、これら撮像画像から生成される法線画像20X,20Y、直接反射画像22Yおよび合成画像24とを示す図である。
図13】解析画像の生成処理の流れの一例を示す図である。
図14】発光装置10Aにおける発光位置の変更方法の一例を示す図である。
図15】発光装置10Aにおける発光位置の変更方法の別の例を示す図である。
図16】検査対象領域の各点における立体照射角を示す図である。
図17】検査対象領域3の端点Pの正反射光の光束90を示す図である。
図18】検査対象領域3の端点Qの正反射光の光束92を示す図である。
図19】撮像装置16の配置領域を示す図である。
図20】変形例1に係る検査システム1Cの構成を示す図である。
図21】発光装置10Cの4つの点灯状態の例を示す図である。
図22】変形例2に係る検査システム1Dの構成を示す図である。
図23】発光装置10Aとコリメータレンズ12との距離Lがコリメータレンズ12の焦点距離fよりも長く設定されたときの光路を示す図である。
【発明を実施するための形態】
【0036】
本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。
【0037】
§1 適用例
図1を参照して、本発明の適用例について説明する。図1は、本実施の形態に係る検査システム1の全体構成を示す概略図である。検査システム1は、対象物2の表面のうち検査対象領域3を検査する。対象物2には、金属やガラスなど光沢な表面を有する物体が含まれる。検査システム1は、例えば生産ラインに組み込まれ、検査対象領域3の欠陥の有無を検査する。欠陥には、キズ、凹凸、汚れ、ゴミの付着などが含まれる。
【0038】
図1に示されるように、検査システム1は、主要なコンポーネントとして、発光装置10とコリメータレンズ12と撮像装置16と画像解析部18とを備える。さらに、図1に例示される検査システム1は、ハーフミラー14を備える。
【0039】
発光装置10は、対象物2を照明するための装置である。発光装置10は、発光位置を可変である。図1に示す例では、発光装置10は、コリメータレンズ12の光軸80に垂直な仮想平面82上の複数の発光位置(発光位置PA,PB,PCを含む)から発光可能である。発光位置PBは、コリメータレンズ12の光軸80上に位置する。
【0040】
コリメータレンズ12は、光路上において、発光装置10と対象物2との間に配置される。図1に示す例では、コリメータレンズ12は、仮想平面82から焦点距離fだけ離れた位置に配置される。そのため、仮想平面82上に配置された任意の1つの発光位置(例えば発光位置PA,PB,PC)から照射された光は、コリメータレンズ12を通過することにより、平行光となる。
【0041】
ハーフミラー14は、光路上において、コリメータレンズ12と対象物2との間に配置される。図1に示されるように、対象物2の検査対象領域3は、コリメータレンズ12の光軸80に略平行である。そのため、ハーフミラー14は、発光装置10から発光された光を対象物2に向けるために、コリメータレンズ12の光軸80と反射面とのなす角度が45度となるように配置される。これにより、発光装置10から照射され、コリメータレンズ12を透過した光は、ハーフミラー14で反射して対象物2を照らす。
【0042】
撮像装置16は、一例として、レンズなどの光学系に加えて、CCD(Coupled Charged Device)やCMOS(Complementary Metal Oxide Semiconductor)センサといった、複数の画素に区画された撮像素子を含んで構成される。撮像装置16は、対象物2の検査対象領域3が視野に含まれるように、ハーフミラー14の対象物2とは反対側に配置される。具体的には、撮像装置16は、撮像装置16の光軸84がコリメータレンズ12の光軸80と直交し、かつ、撮像装置16の光軸84とハーフミラー14とのなす角度が45度となるように配置される。これにより、対象物2による反射光は、ハーフミラー14を透過して撮像装置16に入射する。撮像装置16は、撮像によって得られた画像データ(以下、「撮像画像」と称する。)を画像解析部18に出力する。
【0043】
画像解析部18は、互いに発光位置が異なる状態での複数回の撮像からそれぞれ得られる複数の撮像画像を解析する。
【0044】
発光装置10における1つの発光位置から発した光は、コリメータレンズ12を通過した後、ハーフミラー14で反射して対象物2の検査対象領域3を照らす。コリメータレンズ12が発光位置と対象物2との間に配置されるため、対象物2の検査対象領域3における各点の照射条件(光量、照射角度、照射立体角など)は均一となる。
【0045】
発光位置が変化すると、検査対象領域3の各点への光の照射角度が変化する。図1に示す例では、発光位置PAから照射された光LAは、コリメータレンズ12を通過した後にハーフミラー14で反射し、紙面の左側から対象物2を照らす。発光位置PBから照射された光LBは、コリメータレンズ12を通過した後にハーフミラー14で反射し、鉛直方向に沿って対象物2を照らす。発光位置PCから照射された光LCは、コリメータレンズ12を通過した後にハーフミラー14で反射し、紙面の右側から対象物2を照らす。
【0046】
対象物2が金属やガラスなど光沢な表面を有する物体である場合、検査対象領域3に照射された光の大部分は正反射する。検査対象領域3の各点において正反射して撮像装置16に入射する光量(正反射成分)は、当該点における照射条件と当該点の法線方向とに依存する。そのため、検査対象領域3の各点への光の照射角度が変化すると、撮像装置16に入射する正反射成分も変化する。しかしながら、上述したように、検査対象領域3の各点の照射条件は均一である。従って、検査対象領域3の各点において、撮像装置16に入射する正反射成分が最大となる発光位置は、当該点の法線方向に依存する。そのため、画像解析部18は、検査対象領域3の各点の法線方向の分布を確認するために、互いに発光位置が異なる状態での複数回の撮像からそれぞれ得られる複数の撮像画像について各画素の輝度の変化を解析する。
【0047】
例えば、検査対象領域3が完全に平坦である場合、つまり、検査対象領域3の各点の法線方向が一定である場合、複数の撮像画像について、各画素の輝度の変化は均一となる。一方、検査対象領域3の一部分に凹凸やキズなどの欠陥が存在する場合、欠陥における法線方向は、欠陥以外の部分の法線方向と異なる。そのため、複数の撮像画像について、欠陥の写る画素の輝度の変化は、欠陥以外の部分の写る画素の輝度の変化と異なる。
【0048】
このように、各画素の輝度の変化を解析することにより、当該画素に写る部分の法線方向が特定され得る。そのため、画像解析部18は、複数の撮像画像を解析することにより、各画素の値が当該画素に写る対象物2の表面の法線方向に対応する解析画像(以下、「法線画像20」と称する。)を生成する。図1に示す法線画像20では、緩やかな凹みが形成された欠陥Fの写る画素の値が、他の画素(つまり、欠陥のない平坦な部分の写る画素)の値と異なる。これにより、法線画像20を確認することにより、法線方向に変化が生じる凹凸やキズなどの欠陥を精度良く検出できる。
【0049】
対象物2と撮像装置16との相対位置関係は、複数の発光位置のいずれかにおいて輝度がピークを示すように設定されればよい。そのため、平行光同軸照明を用いる場合のように、対象物2の設置の調整に手間をかける必要がない。
【0050】
さらに、本実施の形態に係る検査システム1は、特許文献2に記載のような、対象物の各点に照射される光の照射立体角として、異なる光属性を持つ複数の立体角領域を形成するフィルタ手段を備えない。そのため、フィルタ手段の調整に手間をかける必要がない。
【0051】
以上のように、本実施の形態に係る検査システム1によれば、検査のための調整の手間を低減でき、欠陥の検出精度を高めることができる。
【0052】
§2 具体例
<A.検査システムの具体例1>
図2は、具体例1に係る検査システム1Aの構成を示す模式図である。図2に示すように、検査システム1Aは、発光装置10Aとコリメータレンズ12とハーフミラー14と撮像装置16と画像解析部18とを備える。
【0053】
発光装置10Aは、複数の光源101を含む。光源101は、点光源であってもよいし、面光源であってもよい。
【0054】
複数の光源101は、コリメータレンズ12の光軸80に垂直な仮想平面82上に配置される。仮想平面82とコリメータレンズ12との距離Lは、コリメータレンズ12の焦点距離fと一致する。
【0055】
図2に示す例では、49個の光源101が、X方向に7行、Y方向に7列のマトリクス状に配置される。X方向は、コリメータレンズ12の光軸80に垂直な方向(図2では鉛直方向)であり、Y方向は、X方向に垂直であり、かつ、コリメータレンズ12の光軸80に垂直な方向である。
【0056】
発光装置10Aは、複数の光源101のうち発光させる光源101を順次切り替えることにより、発光位置を変化させる。
【0057】
<B.検査システムの具体例2>
図3は、具体例2に係る検査システムの構成を示す模式図である。図3に示すように、検査システム1Bは、発光装置10Bとコリメータレンズ12とハーフミラー14と撮像装置16と画像解析部18とを備える。
【0058】
発光装置10Bは、1つの光源102と、コリメータレンズ12の光軸80に垂直な仮想平面82上において、光源102をX方向およびY方向に移動させるXYステージ103とを含む。光源102は、点光源であってもよいし、面光源であってもよい。
【0059】
発光装置10Bは、XYステージ103を移動させることにより、発光位置を変化させる。
【0060】
<C.画像解析部のハードウェア構成>
画像解析部18は、典型的には、汎用的なコンピュータアーキテクチャに従う構造を有しており、予めインストールされたプログラムをプロセッサが実行することで、各種の処理を実現する。
【0061】
図4は、画像解析部のハードウェア構成の一例を示す図である。図4に示されるように、画像解析部18は、CPU(Central Processing Unit)やMPU(Micro-Processing Unit)などのプロセッサ180と、RAM(Random Access Memory)181と、表示コントローラ182と、システムコントローラ183と、I/O(Input Output)コントローラ184と、ハードディスク185と、カメラインターフェイス186と、入力インターフェイス187と、通信インターフェイス189と、メモリカードインターフェイス190とを含む。これらの各部は、システムコントローラ183を中心として、互いにデータ通信可能に接続される。
【0062】
プロセッサ180は、システムコントローラ183との間でプログラム(コード)などを交換して、これらを所定順序で実行することで、目的の演算処理を実現する。
【0063】
システムコントローラ183は、プロセッサ180、RAM181、表示コントローラ182、およびI/Oコントローラ184とそれぞれバスを介して接続されており、各部との間でデータ交換などを行うとともに、画像解析部18全体の処理を司る。
【0064】
RAM181は、典型的には、DRAM(Dynamic Random Access Memory)などの揮発性の記憶装置であり、ハードディスク185から読み出されたプログラムや、撮像装置16から受けた撮像画像、撮像画像に対する処理結果、およびワークデータなどを保持する。
【0065】
表示コントローラ182は、表示装置5と接続されており、システムコントローラ183からの内部コマンドに従って、各種の情報を表示するための信号を表示装置5へ出力する。表示装置5は、一例として、液晶ディスプレイや有機EL(Electro Luminescence)ディスプレイや有機ELなどを含む。
【0066】
I/Oコントローラ184は、画像解析部18に接続される記録媒体や外部機器との間のデータ交換を制御する。より具体的には、I/Oコントローラ184は、ハードディスク185と、カメラインターフェイス186と、入力インターフェイス187と、通信インターフェイス189と、メモリカードインターフェイス190と接続される。
【0067】
ハードディスク185は、典型的には、不揮発性の磁気記憶装置であり、プロセッサ180で実行される解析プログラム191などが格納される。このハードディスク185にインストールされる解析プログラム191は、メモリカード6などに格納された状態で流通する。さらに、ハードディスク185には、撮像画像が格納される。なお、ハードディスク185に代えて、フラッシュメモリなどの半導体記憶装置やDVD-RAM(Digital Versatile Disk Random Access Memory)などの光学記憶装置を採用してもよい。
【0068】
カメラインターフェイス186は、対象物2を撮像することで生成された撮像画像を受け付ける入力部に相当し、プロセッサ180と撮像装置16との間のデータ伝送を仲介する。より具体的には、プロセッサ180からカメラインターフェイス186を介して撮像装置16に撮像指示が出力される。これにより、撮像装置16は、被写体を撮像し、カメラインターフェイス186を介して、生成された撮像画像をプロセッサ180に出力する。
【0069】
入力インターフェイス187は、プロセッサ180とキーボード、マウス、タッチパネル、専用コンソールなどの入力装置7との間のデータ伝送を仲介する。すなわち、入力インターフェイス187は、ユーザが入力装置7を操作することで与えられる操作指令を受け付ける。
【0070】
通信インターフェイス189は、プロセッサ180と図示しない他のパーソナルコンピュータやサーバ装置などとの間のデータ伝送を仲介する。通信インターフェイス189は、典型的には、イーサネット(登録商標)やUSB(Universal Serial Bus)などからなる。なお、後述するように、メモリカード6に格納されたプログラムを画像解析部18にインストールする形態に代えて、通信インターフェイス189介して、配信サーバなどからダウンロードしたプログラムを画像解析部18にインストールしてもよい。
【0071】
メモリカードインターフェイス190は、プロセッサ180と記録媒体であるメモリカード6との間のデータ伝送を仲介する。すなわち、メモリカード6には、画像解析部18で実行される解析プログラム191などが格納された状態で流通し、メモリカードインターフェイス190は、このメモリカード6から解析プログラム191を読み出す。また、メモリカードインターフェイス190は、プロセッサ180の内部指令に応答して、撮像装置16によって取得された撮像画像および/または画像解析部18における処理結果などをメモリカード6へ書き込む。なお、メモリカード6は、SD(Secure Digital)などの汎用的な半導体記憶デバイスや、フレキシブルディスク(Flexible Disk)などの磁気記録媒体や、CD-ROM(Compact Disk Read Only Memory)などの光学記録媒体等からなる。
【0072】
上述のような汎用的なコンピュータアーキテクチャに従う構造を有するコンピュータを利用する場合には、本実施の形態に係る機能を提供するためのアプリケーションに加えて、コンピュータの基本的な機能を提供するためのOS(Operating System)がインストールされていてもよい。この場合には、本実施の形態に係るプログラムは、OSの一部として提供されるプログラムモジュールのうち、必要なモジュールを所定の順序および/またはタイミングで呼出して処理を実行するものであってもよい。すなわち、本実施の形態に係るプログラム自体は、上記のようなモジュールを含んでおらず、OSと協働して処理が実行される場合もある。
【0073】
さらに、本実施の形態に係る解析プログラム191は、他のプログラムの一部に組み込まれて提供されるものであってもよい。その場合にも、プログラム自体には、上記のような組み合わせられる他のプログラムに含まれるモジュールを含んでおらず、当該他のプログラムと協働して処理が実行される。すなわち、本実施の形態に係る解析プログラム191としては、このような他のプログラムに組み込まれた形態であってもよい。
【0074】
なお、代替的に、解析プログラム191の実行により提供される機能の一部もしくは全部を専用のハードウェア回路として実装してもよい。
【0075】
<D.画像解析方法>
図5から図13を参照して、画像解析部18による画像解析処理について説明する。図5は、互いに発光位置が異なる状態での複数回の撮像からそれぞれ得られる複数の撮像画像の一例を示す図である。図5には、発光装置10Bの光源102をX方向に7行、Y方向に7列の7×7=49カ所の発光位置に移動させたときにそれぞれ得られる撮像画像が示される。なお、X方向の発光位置のピッチは1mmであり、Y方向の発光位置のピッチは1mmである。コリメータレンズ12の光軸80上の発光位置は、X=0mm、Y=0mmである。
【0076】
図5に示されるように、発光位置を異ならせることにより、撮像画像の各画素の輝度が変化する。画像解析部18は、各画素の輝度の変化を解析することにより、解析画像を生成する。そのため、画像解析部18は、49枚の撮像画像の中から、輝度の変化の大きい1行分または1列分の7枚の撮像画像を選択し、選択した7枚の撮像画像を解析してもよい。図5に示す例では、発光位置をX方向に変化させた場合に比べて、発光位置をY方向に変化させた場合の各画素の輝度の変化が大きい。そのため、画像解析部18は、49枚の撮像画像の中から、発光位置をY方向に変化させた7枚の撮像画像(図5において実線で囲まれた画像)を選択する。選択された7枚の撮像画像は、X=0mm,Y=-3,-2,-1,0,1,2,3mmの発光位置で発光させたときに撮像された画像である。なお、複数の撮像画像の中から解析対象となる画像の選択は、ユーザの入力に従って実行されてもよい。あるいは、複数の撮像画像の中から、輝度の変化が最も大きい1行分または1列分の撮像画像が自動的に選択されてもよい。
【0077】
図6は、X=0mm,Y=-3mmの発光位置で発光させたときの撮像画像を示す図である。図6に示されるように、撮像画像の各画素の輝度は、当該画素に写る対象物2の表面の法線方向に応じた値となる。図6に示す例では、画素51、画素52、画素50の順に輝度が高くなる。なお、画素51は、緩やかな凹みである欠陥Fの写る画素である。画素50は、欠陥Fの周囲の部分の写る画素である。画素52は、平坦な部分の写る画素である。
【0078】
図7は、選択された7枚の撮像画像における、画素50~52の輝度の変化を示す図である。図7において、横軸は、撮像画像を撮像したときの発光位置nを示している。n=0~6は、Y=-3,-2,-1,0,1,2,3mmの発光位置にそれぞれ対応する。
【0079】
図7に示されるように、欠陥Fの写らない画素50,52における輝度の変化は、互いに似ている。一方、欠陥Fの写る画素51における輝度の変化は、欠陥Fの写らない画素50,52における輝度の変化と異なる。具体的には、画素51における輝度と発光位置との関係を示す波形の位相は、画素50,52における輝度と発光位置との関係を示す波形の位相と異なる。言い換えると、画素51において輝度が最大となる発光位置は、画素50,52において輝度が最大となる発光位置と異なる。これは、緩やかな凹みである欠陥Fと欠陥F以外の部分との間で表面の法線方向が異なるためである。
【0080】
このように、各画素の輝度と発光位置nとの関係を示す波形の位相は、当該画素に写る対象物2の表面の法線方向に依存する。画像解析部18は、この点を利用して、選択された7枚の撮像画像を解析することにより、各画素の値が当該画素に写る対象物2の表面の法線方向に対応する法線画像20Yを生成する。
【0081】
画像解析部18は、各画素の輝度と発光位置nとの関係を示す波形に対して、離散フーリエ変換を行ない、周波数1の成分の位相を求める。具体的には、画像解析部18は、各画素について、当該画素の輝度と発光位置nとの関係を示す波形に対して以下の式(1)を用いた正弦波フィッティングを行ない、位相φを算出する。式(1)において、Nは、撮像画像の枚数を表す。例えば、図5に示す実線で囲まれた7枚の撮像画像が選択された場合、N=7である。Inは、発光位置nで発光させたときの撮像画像における輝度を表す。
【0082】
【数1】
【0083】
画像解析部18は、位相φを画素の値とする法線画像20Yを生成する。位相φは、画素に写る対象物2の表面の法線方向に対応する。
【0084】
図8は、図5に示す実線で囲まれた7枚の撮像画像から生成される法線画像20Yを示す図である。図9は、特許文献1に記載の反射型位相シフト法を用いて生成された差分画像28を示す図である。差分画像28は、スリット光を1周期分だけシフトさせながら対象物2に照射したときの、各画素の最大値を集めた最大値画像と各画素の最小値を集めた最小値画像との差分を示す。図8および図9において、枠線60で囲まれた領域に、緩やかな凹みである欠陥Fが写る。
【0085】
図9に示されるように、欠陥Fの写る画素の値と欠陥F以外の部分が写る画素の値とに差が見られる。しかしながら、その差はわずかである。これは、対象物2の表面の拡散反射率が大きいために、拡散反射に起因するノイズ成分が差分画像28において大きくなるためである。
【0086】
図8に示されるように、法線画像20Yでは、欠陥Fの写る画素の値と欠陥F以外の部分が写る画素の値とに大きな差が見られる。すなわち、法線画像20Yでは、欠陥Fが明確に現われている。そのため、法線画像20Yを確認することにより、特許文献1に記載の反射型位相シフト法を用いた検査では検出困難である、緩やかな凹みである欠陥Fを精度良く検出できる。
【0087】
なお、画像解析部18は、法線画像20Yの各画素の値として、式(1)によって算出される位相φの代わりに、複数の撮像画像における当該画素の輝度と発光位置nとの関係を示す波形において輝度がピークとなる発光位置nを示す値を用いてもよい。この場合でも、法線画像20Yの各画素の値は、当該画素に写る対象物2の表面の法線方向に対応する。
【0088】
画像解析部18は、法線画像20Yに加えて、または、法線画像20Yに代えて、別の解析画像を生成してもよい。例えば、画像解析部18は、各画素の輝度と発光位置nとの関係を示す波形の振幅を算出し、振幅を各画素の値とする解析画像(以下、「直接反射画像」と称する。)を生成してもよい。
【0089】
対象物2の表面に照射された光のうち正反射する成分が多いほど(言い換えると、拡散反射する成分が少ないほど)、波形の振幅が大きくなる。正反射光が撮像装置16に入射するためには、発光装置10における発光位置と、表面の法線方向と、撮像装置16の光軸84とが所定の条件を満たす必要がある。そのため、照射された光のうち正反射する成分が多い表面の写る画素では、発光位置を変化させたときに輝度の変化が大きくなる。その結果、振幅が大きくなる。逆に、照射された光のうち拡散反射する成分が多い表面の写る画素では、発光位置を変化させたときの輝度の変化が小さくなる。その結果、振幅が小さくなる。したがって、振幅を各画素の値とする直接反射画像は、画像に写る対象物2の表面において光が正反射する度合いの分布を示す。
【0090】
具体的には、画像解析部18は、各画素の輝度と発光位置nとの関係を示す波形の振幅Aを、以下の式(2)に従って算出する。画像解析部18は、算出された振幅Aを画素の値とする直接反射画像を生成する。
【0091】
【数2】
【0092】
図10は、図5に示す実線で囲まれた7枚の撮像画像から生成される直接反射画像22Yを示す図である。図10に示す直接反射画像22Yでは、図8に示す法線画像20Yと比較して、緩やかな凹みである欠陥Fに起因する画素の値の変化が見られない。これは、欠陥Fにおいて光が正反射する度合いと、欠陥F以外の部分において光が正反射する度合いとに差がないためである。
【0093】
図10に示す直接反射画像22Yの枠線62で囲まれる領域において、マーキングペンによって形成されたテキストが確認できる。マーキングペンのインクが付着した部分では、光の正反射する度合いが低下する。そのため、直接反射画像22Yにおいて当該部分の写る画素の値が小さくなる。一方、図8に示す法線画像20Yでは、マーキングペンのインクが付着した部分が確認されない。これは、対象物2の表面にインクが薄く付着しているため、対象物2の表面の法線方向に影響がないためである。
【0094】
このように、光の正反射する度合いを低下させるような物質(例えばインク)の汚れが対象物2の表面に付着した場合、直接反射画像22Yを確認することにより、当該汚れを精度良く検出できる。
【0095】
図5図10の例では、画像解析部18は、発光位置をY方向に変化させた7枚の撮像画像から法線画像20Yおよび直接反射画像22Yを生成する。しかしながら、画像解析部18は、発光位置をX方向に変化させた7枚の撮像画像から法線画像および直接反射画像を生成してもよい。
【0096】
さらに、画像解析部18は、互いに発光位置が異なる状態での複数回の撮像からそれぞれ得られる複数の撮像画像を合成した合成画像を生成してもよい。具体的には、画像解析部18は、各画素について、以下の式(3)で表される値Bを算出する。画像解析部18は、算出された値Bを画素の値とする合成画像を生成する。
【0097】
【数3】
【0098】
図11は、複数の撮像画像を合成した合成画像24を示す図である。図11には、図5に示す49枚の撮像画像を合成することにより得られる合成画像24が示される。合成画像24は、全ての発光位置で同時に発光させたときに撮像した画像と一致する。合成画像24を確認することにより、対象物2の表面の凹凸の影響を受けずに、拡散反射する低コントラストのムラなどの欠陥を精度良く検出できる。なお、図2に示す発光装置10Aを用いる場合には、全ての光源101を同時に点灯させて撮像することにより、合成画像24が取得されてもよい。
【0099】
このように、互いに発光位置が異なる状態での複数回の撮像からそれぞれ得られる複数の撮像画像を解析することによって生成される解析画像(法線画像、直接反射画像、合成画像)は、欠陥の検出に有効である。検査に使用される解析画像は、法線画像、直接反射画像および合成画像の中から、検出対象となる欠陥の種類に応じて適宜選択される。
【0100】
直接反射画像は、光の正反射する度合いを低下させるような物質の汚れだけでなく、例えばガラス製の対象物2の表面の細かいキズの検出にも有効である。
【0101】
図12は、互いに発光位置が異なる状態での25回の撮像からそれぞれ得られる25枚の撮像画像と、これら撮像画像から生成される法線画像20X,20Y、直接反射画像22Yおよび合成画像24とを示す図である。図12には、発光装置10Bの光源102をX方向に5行、Y方向に5列の5×5=25カ所の発光位置に移動させたときにそれぞれ得られる撮像画像が示される。法線画像20Xは、Y=0mm,X=-2,-1,0,1,2mmの発光位置で発光させたときの5枚の撮像画像から生成される。法線画像20Yおよび直接反射画像22Yは、X=0mm,Y=-2,-1,0,1,2mmの発光位置で発光させたときの5枚の撮像画像から生成される。合成画像24は、25枚の撮像画像から生成される。
【0102】
図12に示されるように、直接反射画像22Yの一部を拡大することにより、ガラス製の対象物2の表面上に形成された細かいキズである欠陥F1が確認される。一方、法線画像20X,20Yおよび合成画像24を拡大しても、欠陥F1を明確に確認できない。このように、直接反射画像22Yは、ガラス製の対象物2の表面上の細かいキズの検出に有効である。
【0103】
画像解析部18は、法線画像および直接反射画像に対して画像処理を実行することにより、別の解析画像を生成してもよい。
【0104】
図13は、解析画像の生成処理の流れの一例を示す図である。図13に示されるように、画像解析部18は、発光位置をX方向およびY方向に変化させながら複数回撮像することにより得られる複数の撮像画像を取得する(ステップS1)。
【0105】
次に、画像解析部18は、X方向に発光位置を変化させたときの複数の撮像画像を解析することにより、法線画像20Xおよび直接反射画像22Xを生成する(ステップS2)。さらに、画像解析部18は、Y方向に発光位置を変化させたときの複数の撮像画像を解析することにより、法線画像20Yおよび直接反射画像22Yを生成する(ステップS3)。画像解析部18は、X方向およびY方向に発光位置を変化させたときの複数の撮像画像を合成することにより合成画像24を生成する(ステップS4)。
【0106】
次に、画像解析部18は、X方向の微分フィルタを法線画像20Xにかけることにより、微分画像21Xを生成する(ステップS5)。さらに、画像解析部18は、Y方向の微分フィルタを法線画像20Yにかけることにより、微分画像21Yを生成する(ステップS6)。
【0107】
次に、画像解析部18は、微分画像21Xと直接反射画像22Xとを掛け合わせることにより、画像23Xを生成する(ステップS7)。さらに、画像解析部18は、微分画像21Yと直接反射画像22Yとを掛け合わせることにより、画像23Yを生成する(ステップS7)。
【0108】
次に、画像解析部18は、画像23Xと画像23Yとを足し合わせることにより、凹凸画像25を生成する(ステップS9)。その後、画像解析部18は、凹凸画像25に対して二値化処理を行ない、二値画像26を生成する(ステップS10)。
【0109】
図13に示す例では、法線画像20X,20Y、微分画像21X,21Y、直接反射画像22X,22Y、画像23X,23Y、合成画像24、凹凸画像25および二値画像26の中から、検出対象の欠陥の種類に応じて、検査に使用する解析画像が選択される。
【0110】
例えば、凹凸形状を有する欠陥の場合、欠陥と欠陥以外の部分とで法線方向が異なる。そのため、法線画像20X,20Yを用いることにより、欠陥を精度良く検出できる。あるいは、凹凸形状を有する欠陥の場合、欠陥と欠陥以外の部分との境界において法線方向が急峻に変化する。そのため、微分画像21X,21Yを用いることにより、欠陥を精度良く検出できる。
【0111】
対象物2の表面状態によっては、発光位置をX方向に変化させたときの撮像画像における輝度の変化と、発光位置をY方向に変化させたときの撮像画像における輝度の変化とが大きく異なり得る。例えば、表面にヘアラインが形成された対象物2の場合に、発光位置をX方向に変化させたときの撮像画像における輝度の変化と、発光位置をY方向に変化させたときの撮像画像における輝度の変化とが大きく異なる。このような場合、微分画像21X,21Yと直接反射画像22X,22Yとを掛け合わせることによりそれぞれ生成された画像23X,23Yを足し合わせることにより、ヘアラインによる影響が除外される。すなわち、凹凸画像25の各画素の値には、欠陥による法線方向の変化のみが反映される。これにより、表面にヘアラインが形成された対象物2であっても、凹凸画像25を用いることにより、凹凸形状を有する欠陥を精度良く検出できる。あるいは、凹凸画像25を二値化することにより生成される二値画像26を用いても、凹凸形状を有する欠陥を精度良く検出できる。
【0112】
<E.発光装置10Aによる発光位置を変更方法>
複数の光源101を含む発光装置10A(図2参照)を用いる場合、発光装置10Aは、複数の光源101のうち点灯させる光源101を切り替えることにより、発光位置を変更する。例えば、発光装置10Aは、複数の光源101のうち1つの光源101のみを点灯させ、点灯させる光源101を順次切り替える。あるいは、発光装置10Aは、複数の光源101のうち少なくとも2つの光源101を同時に点灯させ、同時に点灯させる光源101を順次切り替えてもよい。
【0113】
図14は、発光装置10Aにおける発光位置の変更方法の一例を示す図である。図14に示されるように、発光装置10Aは、X方向に沿って配置された1行分またはY方向に沿って配置された1列分の7個の光源101を同時に点灯させる。図14において、(a)~(g)には、Y=-3,-2,-1,0,1,2,3mmに配置された7個の光源101を同時点灯させたときの撮像画像がそれぞれ示される。図14において、(h)~(n)には、X=-3,-2,-1,0,1,2,3mmに配置された7個の光源101を同時点灯させたときの撮像画像がそれぞれ示される。
【0114】
図15は、発光装置10Aにおける発光位置の変更方法の別の例を示す図である。図15に示されるように、発光装置10Aは、X方向に沿って配置された3行分またはY方向に沿って配置された3列分の21個の光源101を同時に点灯させる。図15において、(a),(b),(c),(d),(e)には、Y=-3~-1mm,-2~0mm,-1~1mm,0~2mm,1~3mmに配置された21個の光源101を同時点灯させたときの撮像画像がそれぞれ示される。図15において、(f),(g),(h),(i),(j)には、X=-3~-1mm,-2~0mm,-1~1mm,0~2mm,1~3mmに配置された21個の光源101を同時点灯させたときの撮像画像がそれぞれ示される。
【0115】
図14および図15に示されるように、同時に点灯させる光源101の個数に応じて、撮像画像全体の輝度が異なり、得られる撮像画像の枚数も異なる。そのため、対象物2の表面状態および検出対象となる欠陥の種類に応じて、同時に点灯させる光源101の個数を選択すればよい。
【0116】
<F.撮像装置16の配置場所>
法線画像20X,20Yは、対象物2の検査対象領域3の各点における正反射光を利用して生成される。そのため、撮像装置16は、検査対象領域3の各点について、複数の発光位置のうちの少なくとも1つの発光位置で発光させたときに正反射光を受けることが好ましい。
【0117】
図16は、検査対象領域の各点における立体照射角を示す図である。図16には、発光装置10Aの全ての光源101を点灯させたときの、検査対象領域3の端点P,Qにおける照射立体角ωを示している。照射立体角ωは、コリメータレンズ12の光軸80に垂直な方向の発光装置10Aの長さDと焦点距離fとを用いて、以下の式(4)で表される。
ω=atan(D/f) 式(4)
光源102と対象物2との間にコリメータレンズ12が配置されているため、検査対象領域3の各点における照射立体角ωは同じである。
【0118】
図17は、検査対象領域3の端点Pの正反射光の光束90を示す図である。図18は、検査対象領域3の端点Qの正反射光の光束92を示す図である。図17および図18には、発光装置10Aの全ての光源101を点灯させたときの正反射光の光束が示される。図17および図18に示されるように、正反射光の光束90,92は、照射立体角ωと同じ立体角を有する。撮像装置16は、光束90の通過領域に配置されることにより、いずれかの光源101を点灯させたときに端点Pの正反射光を受けることができる。撮像装置16は、光束92の通過領域に配置されることにより、いずれかの光源101を点灯させたときに端点Qの正反射光を受けることができる。
【0119】
図19は、撮像装置16の配置領域を示す図である。撮像装置16が有する光学系がピンホールレンズである場合、撮像装置16は、端点Pの正反射光の光束90と、端点Qの正反射光の光束92とが重なり合う領域94に配置される。これにより、撮像装置16は、検査対象領域3上の全ての点について、複数の発光位置のうちの少なくとも1つの発光位置で発光させたときに正反射光を受けることできる。
【0120】
撮像装置16が有する光学系がコリメータレンズ12と同じである場合、当該光学系の位置がコリメータレンズ12の虚像96の位置と一致し、かつ、撮像装置16の撮像素子の位置が発光装置10Aの虚像802の位置と一致するように撮像装置16が配置される。これにより、撮像装置16は、検査対象領域3上の全ての点からの正反射光を受けることできる。
【0121】
撮像装置16が有する光学系のサイズがコリメータレンズ12よりも小さい場合(例えば撮像装置16が有する光学系がピンホールレンズである場合)、検査対象領域3の点の位置に応じて、輝度がピークとなる発光位置が変化し得る。そのため、検査対象領域3が完全に平坦であったとしても、法線画像20X,20Yにおいて、各画素の値に変化(誤差)が見られる。しかしながら、この変化の度合いは、凹凸やキズなどの欠陥に起因する変化の度合いに比べて小さい。そのため、法線画像20X,20Y、あるいは、法線画像20X,20Yを微分することによりそれぞれ得られる微分画像21X,21Yを確認することにより、欠陥を検出できる。なお、後述するように、発光装置10A,10Bとコリメータレンズ12との距離Lをコリメータレンズ12の焦点距離fよりも大きくすることにより、上記の誤差を軽減できる。
【0122】
検査対象領域3の法線方向が一定の誤差範囲に分布する場合には、検査対象領域3の各点の正反射光を受けるために、当該誤差範囲に応じて撮像装置16の配置可能な領域がさらに制限される。
【0123】
撮像装置16がテレセントリック光学系を有する場合、テレセントリック光学系が領域94と重なるように、撮像装置16が配置されればよい。そのため、撮像装置16の配置の自由度が高まる。
【0124】
<G.作用・効果>
以上のように、検査システム1(1A,1B)は、対象物2の表面を検査する。検査システム1(1A,1B)は、対象物2を照明するための発光装置10(10A,10B)と、発光装置10(10A,10B)と対象物2との間に配置されるコリメータレンズ12と、対象物2を撮像する撮像装置16と、を備える。発光装置10(10A,10B)は、発光位置を可変である。検査システム1(1A,1B)は、さらに、互いに発光位置が異なる状態での複数回の撮像からそれぞれ得られる複数の撮像画像を解析する画像解析部18を備える。画像解析部18は、各画素の値が当該画素に写る対象物2の表面の法線方向に対応する法線画像20(20X,20Y)を生成する。
【0125】
法線画像20(20X,20Y)では、表面の法線方向が変化する凹凸がキズなどの欠陥の写る画素の値が、他の画素の値と異なる。これにより、法線画像20(20X,20Y)を確認することにより、欠陥を精度良く検出できる。
【0126】
さらに、対象物2と撮像装置16との相対位置関係は、複数の発光位置のいずれかにおいて輝度がピークを示すように設定されればよい。そのため、対象物2と撮像装置16との相対的な位置姿勢関係の調整に手間がかからない。さらに、検査システム1(1A,1B)が特許文献2に記載のようなフィルタ手段を備えないため、フィルタ手段の調整に手間をかける必要がない。
【0127】
以上のように、検査システム1(1A,1B)によれば、検査のための調整の手間を低減でき、欠陥の検出精度を高めることができる。
【0128】
法線画像20(20X,20Y)の各画素の値は、複数の撮像画像における当該画素の輝度と発光位置との関係を示す波形の位相φを示す。位相φは、図7に示されるように、画素に写る対象物2の表面の法線方向に依存する。そのため、法線画像20(20X,20Y)は、対象物2の表面の法線方向の分布を精度良く表すことができる。
【0129】
法線画像20(20X,20Y)の各画素の値は、複数の撮像画像における当該画素の輝度と発光位置との関係を示す波形において輝度がピークとなる発光位置を示してもよい。図7に示されるように、輝度がピークとなる発光位置は、対象物2の表面の法線方向に依存する。そのため、法線画像20(20X,20Y)は、対象物2の表面の法線方向の分布を精度良く表すことができる。
【0130】
画像解析部18は、複数の撮像画像を解析することにより直接反射画像22X,22Yをさらに生成してもよい。直接反射画像22X,22Yの各画素の値は、複数の撮像画像における当該画素の輝度と発光位置との関係を示す波形の振幅Aである。
【0131】
直接反射画像22X,22Yを確認することにより、図10に示されるような、光の正反射する度合いを低下させるような物質(例えばインク)の汚れを精度良く検出できる。さらに、直接反射画像22X,22Yを確認することにより、図12に示されるような、ガラス製の対象物2の表面の細かいキズを精度良く検出できる。
【0132】
発光装置10Aは、複数の光源101を含み、複数の光源101のうち発光させる光源を順次切り替える。複数の光源101は、コリメータレンズ12の光軸80に垂直な仮想平面82上に配置される。これにより、発光装置10Aは、発光位置を容易に変化させることができる。
【0133】
画像解析部18は、複数の撮像画像を合成した合成画像24をさらに生成してもよい。合成画像24を確認することにより、対象物2の表面の凹凸の影響を受けずに、拡散反射する低コントラストのムラなどの欠陥を精度良く検出できる。
【0134】
なお、画像解析部18は、法線画像20(20X,20Y)および直接反射画像22X,22Yの少なくとも一方を生成してもよい。すなわち、画像解析部18は、互いに発光位置が異なる状態での複数回の撮像からそれぞれ得られる複数の撮像画像を解析することにより解析画像を生成する。解析画像(法線画像20(20X,20Y)および直接反射画像22X,22Yの少なくとも一方を含む)の各画素の値は、複数の撮像画像における当該画素の輝度と発光位置との関係を示す波形の特徴量(位相および振幅を含む)である。
【0135】
<H.変形例>
図2に示す具体例1では、発光装置10Aに含まれる複数の光源101がマトリクス状に配列される。しかしながら、複数の光源101の配列は、マトリクス状に限定されない。
【0136】
図20は、変形例1に係る検査システム1Cの構成を示す図である。図20に示すように、検査システム1Cは、発光装置10Cとコリメータレンズ12とハーフミラー14と撮像装置16と画像解析部18とを備える。
【0137】
発光装置10Cは、具体例1の発光装置10Aと同様に、複数の光源101を含む。複数の光源101は、コリメータレンズ12の光軸80に垂直な仮想平面82上に配置される。仮想平面82とコリメータレンズ12との距離Lは、コリメータレンズ12の焦点距離fと一致する。
【0138】
複数の光源101は、円周方向に沿って配列される。具体的には、複数の光源101は、1個の光源101aと、4個の光源101bと、12個の光源101cと、16個の光源101dとを含む。光源101aは、コリメータレンズ12の光軸80上に位置する。4個の光源101bは、光軸80からの半径がr1の円周上に沿って等間隔に配置される。12個の光源101cは、光軸80からの半径がr2(>r1)の円周上に沿って等間隔に配置される。16個の光源101dは、光軸80からの半径がr3(>r2)の円周上に沿って等間隔に配置される。
【0139】
図21は、発光装置10Cの4つの点灯状態の例を示す図である。発光装置10Cは、図21(a)に示す第1点灯状態と、図21(b)に示す第2点灯状態と、図21(c)に示す第3点灯状態と、図21(d)に示す第4点灯状態とを順に切り替える。第1点灯状態は、16個の光源101dが同時に点灯される状態である。第2点灯状態は、12個の光源101cが同時に点灯される状態である。第3点灯状態は、4個の光源101bが同時に点灯される状態である。第4点灯状態は、光源101aが点灯される状態である。
【0140】
第1~第4点灯状態のときの撮像によってそれぞれ得られる4枚の撮像画像において、各画素の輝度が最大となる点灯状態は、当該画素に写る対象物2の表面の法線方向86と撮像装置16の光軸84とのなす角度θ(図20参照)に依存する。そのため、当該4枚の撮像画像から生成される法線画像20を確認することにより、角度θの分布を把握できる。
【0141】
図2および図20に示す例では、複数の光源101は、コリメータレンズ12の光軸80に垂直な仮想平面82上に配置される。この場合、コリメータレンズ12の像面湾曲のために光線が歪み、撮像画像の解析に影響を及ぼし得る。そのため、コリメータレンズ12の像面湾曲に応じた球面上に複数の光源101が配置されてもよい。
【0142】
図22は、変形例2に係る検査システム1Dの構成を示す図である。図22に示すように、検査システム1Dは、発光装置10Dとコリメータレンズ12とハーフミラー14と撮像装置16と画像解析部18とを備える。
【0143】
発光装置10Dは、変形例1の発光装置10Cと同様に、複数の光源101を含む。ただし、複数の光源101は、コリメータレンズ12の光軸80上に中心を有する球状の仮想曲面88上に配置される。光軸80上に位置する光源101とコリメータレンズ12との距離L1は、コリメータレンズ12の焦点距離fと同じである。仮想曲面88を表面とする球の中心および半径は、コリメータレンズ12の像面湾曲に応じて設定される。これにより、コリメータレンズ12の像面湾曲に起因する光線の歪みの影響を抑制できる。
【0144】
図2および図20に示す例では、発光装置10A,10Cとコリメータレンズ12との距離Lをコリメータレンズ12の焦点距離fと同じに設定される。しかしながら、距離Lは、焦点距離fよりも大きく設定されてもよい。
【0145】
図23は、発光装置10Aとコリメータレンズ12との距離Lがコリメータレンズ12の焦点距離fよりも長く設定されたときの光路を示す図である。図23には、コリメータレンズ12の虚像96、発光装置10Aの虚像802および撮像装置16の虚像801も示されている。コリメータレンズ12と虚像96とは、ハーフミラー14について対称である。発光装置10と虚像802とは、ハーフミラー14について対称である。撮像装置16と虚像801とは、対象物2の検査対象領域3を含む平面(検査面)について対称である。
【0146】
図23に示されるように、検査対象領域3の各点における照射立体角ωと撮像装置16の観察立体角Ψが一致するように、発光装置10Aとコリメータレンズ12との距離Lが調整される。これにより、撮像装置16と対象物2との距離を変えても(つまり、撮像装置16を対象物2に近づけても)、検査対象領域3の端点P,Q間のすべての点において、輝度がピークになる発光位置が同じ状態が保たれる。その結果、法線画像20X,20Yにおける誤差を軽減できる。
【0147】
§3 付記
以上のように、本実施の形態は以下のような開示を含む。
【0148】
(構成1)
対象物(2)の表面を検査する検査システム(1,1A~1D)であって、
前記対象物(2)を照明するための発光装置(10,10A~10D)と、
前記発光装置(10,10A~10D)と前記対象物(2)との間に配置されるコリメータレンズ(12)と、
前記対象物(2)を撮像する撮像装置(16)と、を備え、
前記発光装置(10,10A~10D)は、発光位置を可変であり、
前記検査システム(1,1A~1D)は、さらに、
互いに前記発光位置が異なる状態での複数回の撮像からそれぞれ得られる複数の撮像画像を解析することにより、各画素の値が当該画素に写る前記対象物(2)の表面の法線方向に対応する第1解析画像(20,20X,20Y)を生成する画像解析部(18)を備える、検査システム(1,1A~1D)。
【0149】
(構成2)
前記第1解析画像(20,20X,20Y)の各画素の値は、前記複数の撮像画像における当該画素の輝度と前記発光位置との関係を示す波形の位相を示す、構成1に記載の検査システム(1,1A~1D)。
【0150】
(構成3)
前記第1解析画像(20,20X,20Y)の各画素の値は、前記複数の撮像画像における当該画素の輝度と前記発光位置との関係を示す波形において前記輝度がピークとなる前記発光位置を示す、構成1に記載の検査システム(1,1A~1D)。
【0151】
(構成4)
前記画像解析部(18)は、前記複数の撮像画像を解析することにより第2解析画像(22X,22Y)をさらに生成し、
前記第2解析画像(22X,22Y)の各画素の値は、前記複数の撮像画像における当該画素の輝度と前記発光位置との関係を示す波形の振幅である、構成1に記載の検査システム(1,1A~1D)。
【0152】
(構成5)
前記発光装置(10,10A,10C,10D)は、複数の光源(101,101a~101d)を含み、前記複数の光源(101,101a~101d)のうち発光させる光源を順次切り替え、
前記複数の光源(101,101a~101d)は、前記コリメータレンズ(12)の光軸(80)に垂直な平面(82)上、または、前記光軸(80)上に中心を有する球状の面(88)上に配置される、構成1から4のいずれか記載の検査システム(1,1A,1C,1D)。
【0153】
(構成6)
前記画像解析部(18)は、前記複数の撮像画像を合成した合成画像(24)をさらに生成する、構成1から5のいずれかに記載の検査システム(1,1A~1D)。
【0154】
(構成7)
前記発光位置と前記コリメータレンズ(12)との距離は、前記コリメータレンズ(12)の焦点距離以上である、構成1から6のいずれかに記載の検査システム(1,1A~1D)。
【0155】
(構成8)
前記コリメータレンズ(12)と前記対象物(2)との間に配置されるハーフミラー(14)をさらに備え、
前記発光装置(10,10A~10D)から照射され、前記コリメータレンズ(12)を透過した光は、前記ハーフミラー(14)に反射して前記対象物(2)を照らし、
前記対象物(2)による反射光は、前記ハーフミラー(14)を透過して前記撮像装置(16)に入射する、構成1から7のいずれかに記載の検査システム(1,1A~1D)。
【0156】
(構成9)
対象物(2)の表面を検査する検査システム(1,1A~1D)であって、
前記対象物(2)を照明するための発光装置(10,10A~10D)と、
前記発光装置(10,10A~10D)と前記対象物(2)との間に配置されるコリメータレンズ(12)と、
前記対象物を撮像する撮像装置(16)と、を備え、
前記発光装置(10,10A~10D)は、発光位置を可変であり、
前記検査システム(1,1A~1D)は、さらに、
互いに前記発光位置が異なる状態での複数回の撮像からそれぞれ得られる複数の撮像画像を解析することにより解析画像を生成する画像解析部(18)を備え、
前記解析画像の各画素の値は、前記複数の撮像画像における当該画素の輝度と前記発光位置との関係を示す波形の特徴量である、検査システム(1,1A~1D)。
【0157】
(構成10)
対象物(2)の表面を検査する検査方法であって、
発光装置(10,10A~10D)から照射され、コリメータレンズ(12)を透過した光を前記対象物(2)に照射させながら、前記対象物(2)を撮像するステップを備え、
前記撮像するステップは、
前記発光装置(10,10A~10D)における発光位置を切り替えるステップと、
互いに前記発光位置が異なる状態での複数回の撮像から複数の撮像画像を取得するステップと、を含み、
前記検査方法は、さらに、
前記複数の撮像画像を解析することにより、各画素の値が当該画素に写る前記対象物(2)の表面の法線方向に対応する解析画像(20,20X,20Y)を生成するステップを備える、検査方法。
【0158】
本発明の実施の形態について説明したが、今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【0159】
1,1A~1D 検査システム、2 対象物、3 検査対象領域、5 表示装置、6 メモリカード、7 入力装置、10,10A~10D 発光装置、12 コリメータレンズ、14 ハーフミラー、16 撮像装置、18 画像解析部、20,20X,20Y 法線画像、21X,21Y 微分画像、22X,22Y 直接反射画像、23X,23Y 画像、24 合成画像、25 凹凸画像、26 二値画像、28 差分画像、50,51,52 画素、60,62 枠線、80,84 光軸、82 仮想平面、86 法線方向、88 仮想曲面、90,92 光束、94 領域、96,801,802 虚像、101,101a~101d,102 光源、103 XYステージ、180 プロセッサ、181 RAM、182 表示コントローラ、183 システムコントローラ、184 I/Oコントローラ、185 ハードディスク、186 カメラインターフェイス、187 入力インターフェイス、189 通信インターフェイス、190 メモリカードインターフェイス、191 解析プログラム、F,F1 欠陥、L,L1 距離、LA,LB,LC 光、P,Q 端点、PA,PB,PC 発光位置。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23