(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-19
(45)【発行日】2024-12-27
(54)【発明の名称】検査方法および検査装置
(51)【国際特許分類】
G01N 21/892 20060101AFI20241220BHJP
G01N 21/27 20060101ALI20241220BHJP
G01N 21/88 20060101ALI20241220BHJP
【FI】
G01N21/892 A
G01N21/27 B
G01N21/88 J
(21)【出願番号】P 2021102333
(22)【出願日】2021-06-21
【審査請求日】2024-03-28
(73)【特許権者】
【識別番号】314012076
【氏名又は名称】パナソニックIPマネジメント株式会社
(74)【代理人】
【識別番号】110001427
【氏名又は名称】弁理士法人前田特許事務所
(72)【発明者】
【氏名】中嶋 伸也
【審査官】村田 顕一郎
(56)【参考文献】
【文献】特開2013-113802(JP,A)
【文献】国際公開第2017/061432(WO,A1)
【文献】特開2016-138789(JP,A)
【文献】特開2012-080553(JP,A)
【文献】米国特許出願公開第2021/0127046(US,A1)
【文献】国際公開第2021/085014(WO,A1)
【文献】国際公開第2020/149055(WO,A1)
【文献】国際公開第2020/149056(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G01N 21/00-21/01
G01N 21/17-21/61
G01N 21/84-21/958
G01J 3/00-3/52
(57)【特許請求の範囲】
【請求項1】
被検査体に含まれる対象物を、検査装置で撮像することにより検出する検査方法であって、
前記検査装置は、
第1波長帯における前記対象物の画像を撮像する画素を含む第1撮像領域と、
前記第1波長帯と重なりを有する基準波長帯における前記対象物の画像を撮像する画素を含む基準撮像領域と
を有する撮像素子を備え、
前記第1撮像領域における画素が出力する特徴量である第1特徴量と、前記基準撮像領域における画素が出力する特徴量である基準特徴量とに基づいて、前記対象物の、前記第1波長帯における反射率である第1反射率を求める反射率算出ステップと、
前記第1反射率に基づいて、前記対象物の物性を判定する物性判定ステップと、
前記第1特徴量および前記基準特徴量に基づいて、前記撮像素子からの出力に応じて生成される前記対象物の画像を補正する画像補正ステップと
を含む、検査方法。
【請求項2】
請求項1記載の検査方法において、
前記第1反射率は、前記第1特徴量のうち最大となる前記第1特徴量と、前記基準特徴量のうち最大となる前記基準特徴量とに基づいて、算出される、検査方法。
【請求項3】
請求項1または2記載の検査方法において、
前記物性判定ステップにおいて、前記第1反射率と、複数の物質の分光反射率を示す分光反射率データとに基づいて、前記対象物の物性が判定される、検査方法。
【請求項4】
請求項3記載の検査方法において、
前記物性判定ステップにおいて、前記第1反射率と、前記分光反射率データに基づいて設定された閾値とを比較することにより、前記対象物の物性が判定される、検査方法。
【請求項5】
請求項1~4のいずれか1項記載の検査方法において、
前記画像補正ステップにおいて、前記第1特徴量に対して、前記第1反射率を除算することにより、前記対象物の画像を補正する、検査方法。
【請求項6】
請求項1~5のいずれか1項記載の検査方法において、
前記画像補正ステップにおいて補正された前記対象物の画像から、前記対象物のサイズを判定するサイズ判定ステップをさらに含む、検査方法。
【請求項7】
被検査体に含まれる対象物を、検査装置で撮像することにより検出する検査方法であって、
前記検査装置は、
第1波長帯における前記対象物の画像を撮像する画素を含む第1撮像領域と、
第2波長帯における前記対象物の画像を撮像する画素を含む第2撮像領域と、
前記第1波長帯および前記第2波長帯と重なりを有する基準波長帯における前記対象物の画像を撮像する画素を含む基準撮像領域と
を有する撮像素子を備え、
前記第1撮像領域における画素が出力する特徴量である第1特徴量と、前記第2撮像領域における画素が出力する特徴量である第2特徴量と、前記基準撮像領域における画素が出力する特徴量である基準特徴量とに基づいて、前記対象物の、前記第1波長帯における反射率である第1反射率と、前記第2波長帯における反射率である第2反射率とを求める反射率算出ステップと、
前記第1反射率および前記第2反射率に基づいて、前記対象物の物性を判定する物性判定ステップと、
前記第1特徴量、前記第2特徴量および前記基準特徴量に基づいて、前記撮像素子からの出力に応じて生成される前記対象物の画像を補正する画像補正ステップと、
前記画像補正ステップにおいて、補正された前記対象物の画像から、前記対象物のサイズを判定するサイズ判定ステップと
を含む、検査方法。
【請求項8】
請求項7記載の検査方法において、
前記物性判定ステップにおいて、前記第1反射率および前記第2反射率を、複数の物質の分光反射率を示す分光反射率データと比較することにより、前記対象物の物性を判定する、検査方法。
【請求項9】
請求項1~8のいずれか1項記載の検査方法において、
前記特徴量は、前記撮像素子で撮像された前記対象物の、輝度値および明度の少なくとも一つである、検査方法。
【請求項10】
被検査体に含まれる対象物を検出する検査装置であって、
撮像素子と、
画像処理装置と
を備え、
前記撮像素子は、
第1波長帯における前記対象物の画像を撮像する画素を含む第1撮像領域と、
前記第1波長帯と重なりを有する基準波長帯における前記対象物の画像を撮像する画素を含む基準撮像領域と
を備え、
前記画像処理装置は、
前記第1撮像領域における画素が出力する特徴量である第1特徴量と、前記基準撮像領域における画素が出力する特徴量である基準特徴量とに基づいて、前記対象物の、前記第1波長帯における反射率である第1反射率を求め、
前記第1反射率に基づいて、前記対象物の物性を判定し、
前記第1特徴量および前記基準特徴量に基づいて、前記撮像素子からの出力に応じて生成される前記対象物の画像を補正し、
補正された前記対象物の画像から、前記対象物のサイズを判定する、検査装置。
【請求項11】
被検査体に含まれる対象物を検出する検査装置であって、
撮像素子と、
画像処理装置と
を備え、
前記撮像素子は、
第1波長帯における前記対象物の画像を撮像する画素を含む第1撮像領域と、
第2波長帯における前記対象物の画像を撮像する画素を含む第2撮像領域と、
前記第1波長帯および前記第2波長帯と重なりを有する基準波長帯における前記対象物の画像を撮像する画素を含む基準撮像領域と
を備え、
前記画像処理装置は、
前記第1撮像領域における画素が出力する特徴量である第1特徴量と、前記第2撮像領域における画素が出力する特徴量である第2特徴量と、前記基準撮像領域における画素が出力する特徴量である基準特徴量とに基づいて、前記対象物の、前記第1波長帯における反射率である第1反射率と、前記第2波長帯における反射率である第2反射率とを求め、
前記第1反射率および前記第2反射率に基づいて、前記対象物の物性を判定し、
前記第1特徴量、前記第2特徴量および前記基準特徴量に基づいて、前記撮像素子からの出力に応じて生成される前記対象物の画像を補正し、
補正された前記対象物の画像から、前記対象物のサイズを判定する、検査装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、被検査体の検査装置および検査方法に関するものである。
【背景技術】
【0002】
半導体、電子デバイス、2次電池などのデバイス分野において、イメージセンサを用いて、被検査体の対象物(異物や欠陥など)を検出する検査装置が知られている。
【0003】
特許文献1では、複数の波長帯の分光画像を生成し、分光画像の特徴量と、正常データの特徴量を比較することにより、検査対象物(被検査体)に混入した異物など(対象物)を検出している。すなわち、特許文献1では、被検査体と対象物との物性が異なることを用いて、対象物を検出している。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、特許文献1の技術を用いる場合、複数の波長の分光画像を生成するために、波長帯ごとに撮像素子の画素を割り当てる必要がある。このため、波長帯ごとの分光画像は、撮像素子の分解能から得られる画像よりも解像度が低くなる。これにより、対象物を含む画像が粗くなり、例えば、対象物のサイズ測定の精度が低下する。
【0006】
そこで、本開示は、撮像素子から得られる画像の解像度の低下を抑えつつ、対象物の物性を判定することができる検査方法および検査装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記の目的を達成するために、本開示の一実施形態に係る検査方法は、被検査体に含まれる対象物を、検査装置で撮像することにより検出する検査方法であって、前記検査装置は、第1波長帯における前記対象物の画像を撮像する画素を含む第1撮像領域と、前記第1波長帯と重なりを有する基準波長帯における前記対象物の画像を撮像する画素を含む基準撮像領域とを有する撮像素子を備え、前記第1撮像領域における画素が出力する特徴量である第1特徴量と、前記基準撮像領域における画素が出力する特徴量である基準特徴量とに基づいて、前記対象物の、前記第1波長帯における反射率である第1反射率を求める反射率算出ステップと、前記第1反射率に基づいて、前記対象物の物性を判定する物性判定ステップと、前記第1特徴量および前記基準特徴量に基づいて、前記撮像素子からの出力に応じて生成される前記対象物の画像を補正する画像補正ステップとを含む。
【発明の効果】
【0008】
本開示によると、撮像素子から得られる画像の解像度の低下を抑えつつ、対象物の物性を判定することができる。
【図面の簡単な説明】
【0009】
【
図3】第1実施形態に係る撮像素子の構成を示す平面図。
【
図4】第1実施形態に係る画像処理装置の全体の動作の流れを説明するフローチャート。
【
図5】第1実施形態に係る撮像素子により撮像されたシートの画像例を示す図。
【
図6】第1実施形態に係る撮像素子により撮像されたシートの輝度値の例を示す図。
【
図7】第1実施形態に係る画像処理装置の物性判定処理の流れを説明するフローチャート。
【
図8】複数の物質の分光反射率を示す分光反射率曲線を示すグラフ。
【
図9】第1実施形態に係る画像処理装置の補正画像処理の流れを説明するフローチャート。
【
図10】補正前の抽出画像と補正後の補正画像とを比較するための図。
【
図11】補正前の抽出画像と補正後の補正画像とを比較するための図。
【
図12】補正前の抽出画像と補正後の補正画像とを比較するための図。
【
図13】第1実施形態に係るシートの補正画像の例を示す図。
【
図14】第1実施形態に係る対象物のサイズ判定方法について説明するための図。
【
図15】第2実施形態に係る撮像素子の構成を示す平面図。
【
図16】第2実施形態に係る撮像素子により撮像されたシートの画像例を示す図。
【
図17】第2実施形態に係る撮像素子により撮像されたシートの輝度値の例を示す図。
【
図18】第2実施形態に係る画像処理装置の物性判定処理の流れを説明するフローチャート。
【
図19】第2実施形態に係る反射率がプロットされたグラフを示す図。
【発明を実施するための形態】
【0010】
以下、本発明の実施形態を図面に基づいて詳細に説明する。以下の好ましい実施形態の説明は、本質的に例示に過ぎず、本発明、その適用物あるいはその用途を制限することを意図するものでは全くない。
【0011】
図1は検査装置の側面図を示し、
図2は検査装置の平面図を示す。
図1および
図2に示すように、検査装置Aは、撮像装置1と、照明装置2と、ローラ3~5と、画像処理装置6とを備える。ローラ3~5の外周には、搬送ベルト7が巻き付けられている。
【0012】
検査装置Aは、シートS(被検査体)の検査を行う。シートSは、例えば、半導体、電子デバイス、2次電池などのデバイス分野などにおいて用いられるものである。なお、以下の説明では、被検査体がシート状のものである場合を例に説明するが、被検査体は、シート状のものでなくてもよい。また、シートSが長尺物である場合、シートSは、搬送ベルト7に代えてローラ3~4に巻き付けられる。そして、シートSはローラ3~5により、矢印Dの方向に搬送される。
【0013】
検査装置Aは、シートSに含まれる、欠陥や異物などの対象物Eを検出する。この欠陥には、例えば、検査対象のシートSにおけるショートや断線などの、シートSの生産時の不備部分や不足部分だけではなく、シートSの損傷(例えば、シートSが他の部材に接触することによるスクラッチ痕)なども含まれる。本検査装置は、検出した対象物Eが所定のサイズより大きい場合、シートSに対象物が含まれていると判定する。なお、シートSは、搬送ベルト7に載置された状態で、
図1および
図2の実線で示された矢印Dの方向に搬送される。
【0014】
撮像装置1は、撮像素子11を備え、搬送ベルト7によって搬送されているシートSを撮影する。ここでは、撮像装置1は、ローラ4,5の間において、シートSの全体を撮影するエリアセンサとして構成される。なお、撮像装置1は、エリアセンサではなく、ラインセンサとして構成されてもよい。
【0015】
撮像装置1は、撮像素子11から出力される画素信号を、画像処理装置6に送信する。なお、以下の説明において、撮像装置1の走査方向をX方向、撮像装置1の副走査方向をY方向、X方向およびY方向に垂直な方向をZ方向とする。
【0016】
照明装置2は、例えば、LED、レーザ、ハロゲン光源などで構成された光源を有し、ローラ4,5の間において、撮像装置1の走査領域(シートS)に対して光の照射を行う。具体的に、照明装置2は、光の照射方向が搬送ベルト7に対して、入射角が10°程度になるように設置される。また、撮像素子11に照明装置2が照射した光が直接入光しないように、撮像装置1および照明装置2は、暗視野光学系で構成される。撮像装置1および照明装置2は、明視野光学系で構成されてもよいが、暗視野光学系で構成されている方がよい。暗視野光学系で構成することにより、対象物Eに対して低角度で照明を当てることができるため、対象物Eの下地が光らなくなる(異物がないところの下地(グラウンドレベル)の明るさが低階調となる)。これにより、下地よりも対象物Eの輝度が高くなり、SN(シグナルノイズ(異物の輝度/下地の輝度))比が上がるため、鮮明な対象物Eの画像を生成することが可能となる。
【0017】
ローラ3は、図略の駆動機構によって回転させられることにより、搬送ベルト7を駆動して、シートSを図面の実線矢印方向に搬送する。
【0018】
画像処理装置6は、例えば、コンピュータである。画像処理装置6は、撮像装置1(撮像素子11)から受信した画素信号に基づいて、対象物Eの物性およびサイズを判定する。具体的には、画像処理装置6は、後述する画像抽出処理、物性判定処理、画像補正処理およびサイズ判定処理を実行する。
【0019】
なお、検査装置Aの構成は、上記の構成に限定されない。
【0020】
また、検査装置Aにローラ3~5の回転速度を検出するロータリーエンコーダが備えられてもよい。この場合、ロータリーエンコーダの検出結果に基づいて、搬送ベルト7によって搬送されるシートSの移動量を検出しても良い。
【0021】
また、シートSまたは撮像装置1の移動中にシートSを撮像していても良いし、シートSまたは撮像装置1が静止しているときに撮像しても良い。
【0022】
(第1実施形態)
(撮像素子の構成について)
図3は、第1実施形態に係る撮像素子の構成を示す平面図である。撮像素子11は、例えば、CMOS(Complementary MOS)センサである。
【0023】
図3に示すように、撮像素子11には、X方向にm個、Y方向にn個(
図3では、508×508)の画素10が格子状に配置された画素アレイ12が構成されている。なお、以下の説明において、X方向にi番目、Y方向にj番目の画素10を画素(Xi、Yj)ということがある。
【0024】
画素アレイ12は、第1撮像領域13に割り当てられた画素10と、基準撮像領域14に割り当てられた画素10とを含む。
図3では、画素(Xi、Yj)において、iが奇数かつjが偶数の画素10、および、iが偶数かつjが奇数の画素10が、第1撮像領域13に割り当てられている。また、画素(Xi、Yj)において、iが奇数かつjが奇数の画素10、および、iが偶数かつjが偶数の画素10が、基準撮像領域14に割り当てられている。すなわち、
図3では、第1撮像領域13および基準撮像領域14に割り当てられた画素10同士が隣接して配置されている。
【0025】
第1撮像領域13の画素10上には、第1波長帯の光を透過する光学干渉フィルタが設置される。すなわち、第1撮像領域13は、第1波長帯の分光画像を撮像する画素10が配置される領域である。本実施形態では、第1波長帯を赤の波長帯域(625~780nm)とする。
【0026】
基準撮像領域14は、第1波長帯を含む基準波長帯の画像を撮像する画素10が配置される領域である。本実施形態では、基準波長帯を400~800nmとする。また、基準波長帯は、第1波長帯の全域を必ずしも含む必要はなく、その一部の波長帯を含んでいればよい。例えば、第1波長帯が625~780nmである場合、基準波長帯は400~700nmであってもよい。すなわち、基準波長帯は、第1波長帯と重なりを有していればよい。
【0027】
(画像処理装置の動作について)
図4~
図14を参照しつつ、第1実施形態に係る被検査体の検査方法について説明する。
図4は、第1実施形態に係る画像処理装置の全体の動作の流れを説明するフローチャートである。
【0028】
撮像装置1(撮像素子11)は、ローラ4,5の間において、搬送ベルト7によって搬送されるシートSを撮像する。画像処理装置6は、撮像装置1から出力された画素信号を取得(受信)する(ステップS1)。
【0029】
撮像装置110から取得した画素信号に基づいて、画像処理装置6は、シートSの画像Pを生成する(ステップS2)。そして、画像処理装置6は、後述する画像抽出処理を実行し、抽出画像pを生成する(ステップS3)。
【0030】
画像処理装置6は、画像Pに対象物Eの抽出画像pが含まれるか否かを判定する(ステップS4)。画像処理装置6は、画像Pに対象物Eの抽出画像pが含まれていないと判定した場合(ステップS4のNo)、処理を終了する。すなわち、画像処理装置6は、シートSに対象物Eが含まれていないと判定する。
【0031】
画像処理装置6は、画像Pに対象物Eの画像が含まれていると判定した場合(ステップS4のYes)、後述する物性判定処理を実行し(ステップS5)、対象物Eの物性を判定する。
【0032】
ステップS5の後、画像処理装置6は、後述する画像補正処理を実行し(ステップS6)、抽出画像pを補正した補正画像pwを生成する。画像処理装置6は、生成した補正画像pwを用いて、対象物Eのサイズを判定する(ステップS7)。
【0033】
(画像抽出処理について)
次に、
図5および
図6を参照しつつ、画像処理装置6の画像抽出処理について説明をする。
図5は第1実施形態に係る撮像素子により撮像されたシートの画像例を示す図である。
図6は第1実施形態に係る撮像素子により撮像されたシートの輝度値の例を示す図である。
【0034】
ステップS2において、画像処理装置6は、撮像素子11から取得した画素信号に基づいて、
図5に示すシートSの画像Pを生成する。なお、
図5では、シートSが破線部分に収まるように撮影されているものとする。また、以下の説明において、画素(Xi、Yj)に対応する画像データを、画像(xi、yi)とする。
【0035】
そして、ステップS3において、画像処理装置6は、画像抽出処理を実行する。具体的に、画像処理装置6は、画像Pにおける画像(xi、yj)ごとの特徴量に基づいて、対象物Eの抽出画像pを抽出する。この特徴量としては、例えば、画像Pにおける画像(xi、yj)ごとの輝度値や明度などが挙げられる。また、特徴量が、対象物Eを含んでいないシートSの特徴量を基準として定まるものでもよい。また、対象物Eの有無は、対象物Eの面積値、X方向のサイズ、Y方向のサイズ、形状、濃度総和などの特徴量を用いて判定される。本実施形態では、特徴量が、画像Pにおける画像(xi、yj)ごとの輝度値である場合を例にして説明する。
【0036】
図6は画像Pにおける画像(xi、yj)ごとの輝度値を示したものである。
図6では、輝度値が8bitの256階調で表示されており、輝度値の最小値は0、最大値は255である。
図6では、シートSに対象物Eが存在しない(グラウンドレベル)場合、輝度値が0となっている。
【0037】
まず、画像処理装置6は、輝度値が閾値以上である画像(xi、yj)を抽出する。そして、画像処理装置6は、抽出した画像のうち、隣接しあう複数の画像(xi、yj)を1つの対象物Eとする。ここでいう「隣接する画像」とは、1の画像に対して、X方向(横方向)、Y方向(縦方向)、X方向およびY方向(斜め方向)に接する画像をいう。具体的に、画像(xi、yj)であれば、画像(xi、yj±1)(xi±1、yj)(xi±1、yj±1)が隣接する画像となる。画像処理装置6は、抽出した対象物Eを含むように抽出画像pを生成する。
【0038】
例えば、
図6では、輝度値の閾値を20と設定した場合、画像処理装置6は、破線で囲まれた画像(xi、yj)の領域を対象物E1~E3として抽出する。そして、画像処理装置6は、対象物E1~E3をそれぞれ含むように抽出画像p1~p3を生成する(
図5および
図6参照)。具体的には、抽出画像p1として、画像(x4,y2)~画像(x11,y8)の領域に含まれる画像が、抽出される。抽出画像p2として、画像(x14,y2)~画像(x20,y6)の領域に含まれる画像が、抽出される。抽出画像p3として、画像(x12,y8)~画像(x22,y14)の領域に含まれる画像が、抽出される。
【0039】
なお、画像処理装置6は、ステップS4において、画像Pから抽出画像pを生成した場合、画像Pに対象物Eの抽出画像pが含まれると判定する。
【0040】
(物性判定処理について)
次に、
図5~
図8を参照しつつ、画像処理装置6の物性判定処理(ステップS5)について説明をする。
図7は、第1実施形態に係る画像処理装置の物性判定処理の流れを説明するフローチャートである。
【0041】
画像処理装置6は、抽出画像p(
図5および
図6では、抽出画像p1~p3)を取得すると(ステップS11)、抽出画像pに含まれる画像のうち、基準撮像領域14の画素10に対応する画像であって、特徴量が最も高い画像δを抽出する(ステップS12)。そして、画像処理装置6は、抽出した画像δに隣接する画像のうち、第1撮像領域13の画素10に対応する画像であって、特徴量が最も高い画像αを抽出する(ステップS13)。ここでいう「隣接する画像」とは、1の画像に対して、X方向(横方向)、Y方向(縦方向)、X方向およびY方向(斜め方向)に接する画像をいう。
【0042】
図6を参照すると、抽出画像p1~p3では、画像δ1~δ3(輝度値255、255、255)が画像δにそれぞれ相当し、画像α1~α3(輝度値155、230、204)が画像αにそれぞれ相当する。
【0043】
ステップS13の後、画像δおよび画像αの特徴量(輝度値)に基づいて、第1波長帯における対象物Eの反射率Rを求める(ステップS14)。具体的に、反射率Rは、(画像αの輝度値)/(画像δの輝度値)で求めることができる。画像αに対応する第1撮像領域13の画素10は、第1波長帯の分光画像を撮像するものであり、画像δに対応する基準撮像領域14の画素10は、第1波長帯を含む基準波長帯の分光画像を撮像するものである。このため、画像αおよび画像δの輝度値(特徴量)を比較することで、第1波長帯における対象物Eの反射率Rを求めることができる。
【0044】
例えば、
図9では、対象物E1の反射率R1=155/255≒0.60となり、対象物E1の反射率R1は、60%となる。対象物E2の反射率R2=235/255≒0.90となり、対象物E2の反射率R2は、90%となる。対象物E3の反射率R3=204/255=0.80となり、対象物E3の反射率R3は、80%となる。
【0045】
ステップS14の後、画像処理装置6は、算出した反射率Rに基づいて、対象物Eの物性を判定する(ステップS15)。具体的に、画像処理装置6は、予め設定された閾値に基づいて、対象物Eの物性を判定する。この閾値は、複数の物質の分光反射率を示す分光反射率曲線(分光反射率データ、
図8参照)に基づいて設定される。画像処理装置6は、反射率Rと閾値とを比較して、対象物Eの物性を判定する。
【0046】
図8では、各波長帯におけるAl、Fe、Cuの分光反射率曲線が示されている。第1波長帯は、625~780nmであるため、反射率50%~70%である場合、対象物EはFeであり、反射率70%~90%である場合、対象物EはCuであり、反射率90%以上である場合、対象物EはAlであると判定することができる。具体的に、対象物E1の反射率R1は60%であるため、対象物E1はFeと判定される。対象物E2の反射率R2は90%であるため、対象物E2はAlと判定される。対象物E3の反射率R2は80%であるため、対象物E2はFeと判定される。このように、分光反射率曲線に基づいて、対象物Eの物性を判定するための閾値を設定することによって、対象物Eの物性を判定することができる。
【0047】
なお、反射率Rの算出方法は、上述した方法に限られない。例えば、以下の方法でも反射率Rを求めることができる。
【0048】
まず、抽出画像pから対象物Eの画像を抽出する。このとき、対象物Eの周囲1画素分を除いた画像を抽出する。これにより、抽出画像pの全領域に存在する対象物Eを抽出することができる。
【0049】
次に、抽出した対象物Eの画像のうち、第1撮像領域13の画素10に対応する画像の輝度値を平均した平均輝度値α’を求める。また、抽出した対象物Eの画像のうち、基準撮像領域14の画素10に対応する画像の輝度値を平均した平均輝度値δ’を求める。そして、平均輝度値α’および平均輝度値δ’に基づいて、第1波長帯における対象物Eの反射率Rを求める。具体的には、反射率Rは、(平均輝度値α’)/(平均輝度値δ’)で求められる。このように、反射率を求める際に用いる輝度値を平均化処理することによって、特異点の影響による反射率の誤差を少なくすることが可能となる。
【0050】
なお、対象物Eとして、金属以外の物質についても検出することが可能である。例えば、樹脂を計測することも可能である。樹脂の反射率は可視光領域では低く、赤外領域で高くなる。そのため、樹脂を検出する場合は、第1波長帯および基準波長帯を1000nmまで広げて計測する必要がある。
【0051】
(画像補正処理)
次に、
図9~
図13を参照しつつ、画像処理装置6の補正画像処理(ステップS6)について説明をする。
図9は、第1実施形態に係る画像処理装置の補正画像処理の流れを説明するフローチャートである。
【0052】
画像処理装置6は、抽出画像p(p1~p3)および反射率R(R1~R3)を取得すると(ステップS21)、抽出画像pの画像を補正する(ステップS22)。そして、画像処理装置6は、抽出画像pを補正した補正画像pwを生成する(ステップS23)。
【0053】
図10~
図12は、補正前の抽出画像と補正後の補正画像とを比較するための図である。具体的に、
図10(a)~
図12(a)は、補正前の抽出画像p1~p3とその輝度値をそれぞれ示し、
図10(b)~
図12(b)は、補正後の補正画像pw1~pw3とその輝度値をそれぞれ示す。
【0054】
図10(a)~
図12(a)に示すように、第1撮像領域13の画素10に対応する画像は、基準撮像領域14の画素10に対応する画像よりも、その輝度値が低い。これは、第1撮像領域13の画素10が基準波長帯よりも狭い第1波長帯の分光画像を生成するためである。このため、第1撮像領域13の画素10に対応する画像の輝度値を、基準撮像領域14の画素10に対応する画像の輝度値と同程度になるように補正することにより、鮮明な対象物Eの画像を取得することができる。
【0055】
例えば、第1撮像領域13の画素10に対応する各画像の輝度値に、反射率Rを除算することにより、上記補正を行うことができる。補正前の抽出画像p1~p3に対して、このような補正を行うことにより、
図10(b)~
図12(b)のような補正画像pw(pw1~pw3)を生成することができる。補正画像pwを画像Pの抽出画像pの位置に置き換えることで
図13のように、鮮明な対象物Eの画像PWを取得する。
【0056】
なお、ステップS22の補正処理は、上述した方法に限られない。例えば、第1撮像領域13の画素10に対応する画像の輝度値を、当該画像に隣接し、基準撮像領域14の画素10に対応する画像のうち、閾値以上となる輝度値の平均値としてもよい。
【0057】
例えば、
図5および
図10において、画像(X6,Y3)を補正する場合、隣接する画像(X6,Y2)、(X5,Y3)、(X7,Y3)、(X6,Y4)の輝度値の平均値が、画像(X6,Y3)の輝度値となる。画像(X6,Y2)の輝度値は0であるため、平均化から除外される。ここでは、画像(X6,Y3)の輝度値=(50+255+255)/3≒187となる。このように、基準撮像領域14の画素10に対応する画像の輝度値に基づいて、第1撮像領域13の画素10に対応する画像の輝度値を補正してもよい。
【0058】
(対象物のサイズ判定について)
次に、
図14を参照しつつ、画像処理装置6のサイズ判定処理(ステップS7)について説明をする。
図14は第1実施形態に係る対象物のサイズ判定方法について説明するための図である。具体的に、
図14(a)~(c)は、
図10(b)~
図12(b)の補正画像pw1~pw3に対して、輝度値30を閾値として、二値化処理を行って得られた補正画像pw1’~pw3’をそれぞれ示す。
【0059】
対象物Eのサイズとして、面積、最大長さ、アスペクト比、縦幅、横幅、フェレ径(最大値、最小値など)、主軸の長さ(最大値、最小値など)などが用いられる。本実施形態では、対象物Eのサイズとして、最大フェレ径Fを求める場合を例にして説明する。フェレ径とは、ある対象物に外接する長方形の縦および横の長さを意味するもので、最大フェレ径は対象物に外接する長方形のうち最大となる長さを示す。
【0060】
図14(a)~(c)は、矢印で示した長さが対象物E1~E3の最大フェレ径となる。これにより、対象物E1~E3のサイズを判定することができる。
【0061】
以上に説明したように、検査装置Aは、第1波長帯における対象物Eの画像を撮像する画素10を含む第1撮像領域13と、第1波長帯と重なりを有する基準波長帯における対象物Eの画像を撮像する画素10を含む基準撮像領域14とを有する撮像素子11を備える。画像処理装置6は、第1撮像領域13における画素10が出力する輝度値(第1特徴量)と、基準撮像領域14における画素10が出力する輝度値(基準特徴量)とに基づいて、対象物Eの第1波長帯における反射率R(第1反射率)を求め、反射率Rに基づいて、対象物Eの物性を判定する。画像処理装置6は、反射率Rに基づいて、撮像素子11からの出力に応じて生成される対象物Eの画像を補正する。すなわち、第1撮像領域13における画素10が出力する輝度値と、基準撮像領域14における画素10が出力する輝度値とに基づいて、対象物Eの第1波長帯における反射率Rが求められるため、対象物Eの物性を判定することができる。また、求められた反射率Rにより、撮像素子11から出力される画像が補正されるため、撮像素子から得られる画像の解像度の低下を抑えることができる。したがって、撮像素子から得られる画像の解像度の低下を抑えつつ、対象物の物性を判定することができる。
【0062】
また、反射率Rは、第1撮像領域13における画素10が出力する輝度値のうち最大となる輝度値と、基準撮像領域14における画素10が出力する輝度値のうち最大となる輝度値とに基づいて、算出される。これにより、反射率Rを正確に算出することができる。
【0063】
また、画像処理装置6は、反射率Rと、複数の物質の分光反射率を示す分光反射率曲線(分光反射率データ)とに基づいて、対象物Eの物性を判定する。これにより、対象物Eの物性を正確に判定することができる。
【0064】
また、画像処理装置6は、反射率Rと、分光反射率曲線に基づいて設定された閾値とを比較することにより、対象物Eの物性を判定する。これにより、求めた反射率Rと、分光反射率曲線において対応する物質とにズレが生じても、対象物Eの物性を判定することができる。
【0065】
また、画像処理装置6は、第1撮像領域13の画素10に対応する各画像の輝度値に、反射率Rを除算することにより、対象物Eの画像を補正する。これにより、第1撮像領域13の画素10に対応する画像の輝度値が、基準撮像領域14の画素10に対応する画像の輝度値と同程度になるように補正されるため、鮮明な対象物Eの画像を取得することができる。
【0066】
(第2実施形態)
(撮像素子の構成について)
図15は、第2実施形態に係る撮像素子の構成を示す平面図である。
【0067】
図15の撮像素子11には、X方向にm個、Y方向にn個(
図18では、508×508)の画素10が格子状に配置された画素アレイ15が構成されている。
【0068】
画素アレイ15は、第1撮像領域13に割り当てられた画素10と、第2撮像領域16に割り当てられた画素10と、第3撮像領域17に割り当てられた画素10と、基準撮像領域14に割り当てられた画素10とを含む。
図15では、画素(Xi、Yj)において、iが奇数かつjが奇数の画素10が、第1撮像領域13に割り当てられている。また、画素(Xi、Yj)において、iが奇数かつjが偶数の画素10が、第2撮像領域16に割り当てられている。画素(Xi、Yj)において、iが偶数かつjが奇数の画素10が、第3撮像領域17に割り当てられている。画素(Xi、Yj)において、iが偶数かつjが偶数の画素10が、基準撮像領域14に割り当てられている。
【0069】
第1撮像領域13、第2撮像領域16および第3撮像領域17の画素10上には、第1波長帯、第2波長帯および第3波長帯の光を透過する光学干渉フィルタがそれぞれ設置される。すなわち、第1撮像領域13、第2撮像領域16および第3撮像領域17は、第1波長帯、第2波長帯および第3波長帯の分光画像を撮像する画素10がそれぞれ配置される領域である。本実施形態では、第1波長帯を赤の波長帯域(625~780nm)とし、第2波長帯を緑の波長帯域(500~565nm)とし、第3波長帯を青の波長帯域(450~485nm)とする。
【0070】
基準撮像領域14は、第1波長帯、第2波長帯および第3波長帯を含む基準波長帯の画像を撮像する画素10が配置される領域である。本実施形態では、基準波長帯を400~800nmとする。また、基準波長帯は、第1波長帯、第2波長帯および第3波長帯の全域を必ずしも含む必要はなく、それぞれ一部の波長帯を含んでいればよい。すなわち、基準波長帯は、第1波長帯、第2波長帯および第3波長帯と重なりを有していればよい。
【0071】
(画像処理装置の動作について)
図16~
図19を参照しつつ、第2実施形態に係る被検査体の検査方法について説明する。第2実施形態に係る検査方法は、
図3の物性判定処理(ステップS5)および画像補正処理(ステップS6)が異なる。以下、これらの処理を説明する。なお、画像抽出処理において、抽出画像p4として、画像(x4,y2)~画像(x11,y8)の領域に含まれる画像が抽出されており、抽出画像p5として、画像(x14,y2)~画像(x11,y8)の領域に含まれる画像が抽出されており、抽出画像p6として、画像(x12,y8)~画像(x22,y14)の領域に含まれる画像が抽出されているものとする。
【0072】
(物性判定処理について)
図16~
図19を参照しつつ、画像処理装置6の物性判定処理(ステップS5)について説明をする。
図16は、第2実施形態に係る撮像素子により撮像されたシートSの画像例を示す図である。
図17は第2実施形態に係る撮像素子により撮像されたシートSの輝度値の例を示す図である。
図18は、第2実施形態に係る画像処理装置の物性判定処理の流れを説明するフローチャートである。
【0073】
画像処理装置6は、抽出画像p(
図16では、抽出画像p4~p6)を取得すると(ステップS31)、抽出画像pに含まれる画像のうち、基準撮像領域14の画素10に対応する画像であって、特徴量が最も高い画像δを抽出する(ステップS32)。
【0074】
画像処理装置6は、抽出した画像δに隣接する画像のうち、第1撮像領域13の画素10に対応する画像であって、特徴量が最も高い画像αを抽出する(ステップS33)。
【0075】
画像処理装置6は、抽出した画像δに隣接する画像のうち、第2撮像領域16の画素10に対応する画像であって、特徴量が最も高い画像βを抽出する(ステップS34)。
【0076】
画像処理装置6は、抽出した画像δに隣接する画像のうち、第3撮像領域17の画素10に対応する画像であって、特徴量が最も高い画像γを抽出する(ステップS35)。
【0077】
例えば、
図16の抽出画像p4において、画像(X6,Y4)(画像δ4)が、基準撮像領域14の画素10に対応する画像であって、特徴量が最も高い画像δに相当する。また、画像(X7,Y5)(画像α4)が、画像δ4に隣接する画像のうち、第1撮像領域13の画素10に対応する画像であって、特徴量が最も高い画素に相当する。また、画像(X7,Y4)(画像β4)が、画像δ4に隣接する画像のうち、第2撮像領域16の画素10に対応する画像であって、特徴量が最も高い画素に相当する。また、画像(X6,Y5)(画像γ4)が、画像δ4に隣接する画像のうち、第3撮像領域17の画素10に対応する画像であって、特徴量が最も高い画素に相当する。詳しくは説明を省略するが、抽出画像p5では、画像δ5,α5,β5,γ5が、画像δ,α,β,γにそれぞれ相当する。また、抽出画像p6では、画像δ6,α6,β6,γ6が、画像δ,α,β,γにそれぞれ相当する。なお、具体例として抽出した画像δに隣接する領域から画像α、β、γを抽出したがこれに限らない。
【0078】
ステップS35の後、画像δおよび画像α,β,γの輝度値に基づいて、第1波長帯、第2波長帯および第3波長帯における対象物Eの反射率R11~R13をそれぞれ求める(ステップS36)。具体的に、反射率R11は、(画像αの輝度値)/(画像δの輝度値)で求めることができる。反射率R12は、(画像βの輝度値)/(画像δの輝度値)で求めることができる。反射率R13は、(画像γの輝度値)/(画像δの輝度値)で求めることができる。
【0079】
例えば、
図19では、対象物E1の反射率R11=155/255≒0.60となり、対象物E1の反射率R11は、60%となる。対象物E1の反射率R12=155/255≒0.60となり、対象物E1の反射率R12は、60%となる。対象物E1の反射率R13=140/255≒0.55となり、対象物E1の反射率R13は、55%となる。以下同様に、対象物E2,E3についても、それぞれ、反射率R11~R13を求めることができる。
【0080】
ステップS36の後、反射率をグラフにプロットする(ステップS37)。波長をX軸、反射率RをY軸としたグラフに、求めた各波長帯における反射率Rをグラフにプロットする。本実施形態では、それぞれの波長帯における反射率Rを波長帯の中央値でプロットしている(
図19参照)。
【0081】
図19のプロットした反射率と
図8の分光反射率曲線を比較し、相関性からもっとも近しい分光反射率曲線を選択し、分光反射率曲線を基に対象物Eの物性を判定する(ステップS38)。対象物E1の反射率のプロットは、
図8におけるFeの分光反射率曲線に最も近似する。よって、画像処理装置6は、対象物E1がFeであると判定する。対象物E2の反射率のプロットは、
図8におけるAlの分光反射率曲線に最も近似する。よって、画像処理装置6は、対象物E2がAlであると判定する。対象物E3の反射率Rのプロットは、
図8におけるCuの分光反射率曲線に最も近似する。よって、画像処理装置6は、対象物E3がCuであると判定する。
【0082】
(画像補正処理について)
画像処理装置6は、抽出画像p(p1~p3)および反射率R11~R13(R1~R3)を取得すると、抽出画像pの画像を補正する。
【0083】
第1撮像領域13、第2撮像領域16および第3撮像領域17の画素10に対応する画像は、基準撮像領域14の画素10に対応する画像よりも、その輝度値が低い。これは、第1撮像領域13、第2撮像領域16および第3撮像領域17の画素10が基準波長帯よりも狭い波長帯の分光画像を生成するためである。このため、第1撮像領域13の画素10に対応する画像の輝度値を、基準撮像領域14の画素10に対応する画像の輝度値と同程度になるように補正することにより、鮮明な対象物Eの画像を取得することができる。
【0084】
例えば、第1撮像領域13の画素10に対応する各画像の輝度値に反射率R11を除算し、第2撮像領域16の画素10に対応する各画像の輝度値に反射率R12を除算し、第3撮像領域17の画素10に対応する各画像の輝度値に反射率R13を除算することにより、上記補正を行うことができる。補正前の抽出画像p1~p3に対して、このような補正を行うことにより、
図12(b)~
図14(b)のような補正画像pw(pw1~pw3)を生成することができる。
【0085】
(その他の実施形態)
以上のように、本出願において開示する技術の例示として、実施形態について説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施形態にも適用可能である。
【0086】
なお、上記実施形態において、撮像装置1および照明装置2は暗視野光学系で構成されているが、明視野光学系で構成されてもよい。また、撮像装置1は、ラインセンサとして構成されているが、エリアセンサとして構成されてもよい。また、画像処理装置6は、撮像素子11から出力される画素信号から動画を生成してもよいし、静止画を生成してもよい。
【0087】
また、第1実施形態では、
図3に示すように、隣接する画素10同士が、第1撮像領域13および基準撮像領域14のそれぞれに割り当てられているが、第1撮像領域13および基準撮像領域14についての画素10の割り当てはこれに限られない。例えば、隣接する複数の画素10(例えば2×2の画素10)同士が、第1撮像領域13および基準撮像領域14のそれぞれに割り当てられてもよい。また、1の画素10を第1撮像領域13に割り当て、この画素10の周囲の画素10を基準撮像領域14に割り当ててもよい。すなわち、1つの画素10ごとに、第1撮像領域13および基準撮像領域14が割り当てられていなくてもよい。なお、第2実施形態における、第1撮像領域13、基準撮像領域14、第2撮像領域16および第3撮像領域17においても同様に、画素10の割り当ては
図15の例に限られない。
【0088】
また、撮像素子11に配置される画素10の配置は、上述した配置に限られない。また、撮像素子11の画素数は、上述した数に限られない。
【産業上の利用可能性】
【0089】
本開示の検査装置は、半導体、電子デバイス、2次電池などに用いられる部材含まれる異物や欠陥などの検査に用いることができる。
【符号の説明】
【0090】
A 検査装置
1 撮像装置
6 画像処理装置
10 画素
11 撮像素子
13 第1撮像領域
14 基準撮像領域
16 第2撮像領域
17 第3撮像領域
E(E1~E3) 対象物
P 画像
p 抽出画像
pw 補正画像