(58)【調査した分野】(Int.Cl.,DB名)
カメラにより撮像されたフラットパネルディスプレイの発光状態の画像を入力画像として取り込み、前記入力画像に対して前処理を行う前処理部、前記前処理部の出力画像に対してムラ候補領域の抽出処理を行う欠陥候補抽出部、および前記欠陥候補抽出部により抽出された前記ムラ候補領域の真偽判定を行う判定部とによる画像処理を施すことで、スポット状の欠陥があるムラ領域の有無を判定するフラットパネルディスプレイの自動ムラ検出装置であって、
前記前処理部は、前記フラットパネルディスプレイが有する画素構造の影響を前記入力画像から除去することなく、前記カメラにより撮像された画像に含まれるカメラノイズを除去するためのサイズとして構成されたガウシャンフィルタを用いて前記入力画像から前記カメラノイズを除去し、後段の前記欠陥候補抽出部に出力し、
前記欠陥候補抽出部は、
前記前処理部の出力画像に対して所定サイズの注目ブロック内で最大値および最小値を算出する処理を、1画素毎に前記注目ブロックを移動させながら実行し、画素毎に局所的な中央値=(最大値+最小値)/2を算出し、
前記前処理部の出力画像と前記中央値とを画素単位で比較し、前記中央値より前記出力画像が大きいときは1(白)、そうでないときは0(黒)となるように、画素毎に局所的に算出された前記中央値を用いて適応的に2値化することで、前記ムラ候補領域となる適応2値化画像を生成し、
前記適応2値化画像に対して膨張/収縮処理後に白黒反転処理を実行する、あるいは白黒反転処理後に収縮/膨張処理を実行することで孤立点除去および領域連結を行った後、白の閉領域を抽出し、
抽出した前記閉領域をラベリングすることで、前記ムラ候補領域をさらに絞り込み、後段に出力する
フラットパネルディスプレイの自動ムラ検出装置。
カメラにより撮像されたフラットパネルディスプレイの発光状態の画像を入力画像として取り込み、前記入力画像に対して前処理を行う前処理部、前記前処理部の出力画像に対してムラ候補領域の抽出処理を行う欠陥候補抽出部、および前記欠陥候補抽出部により抽出された前記ムラ候補領域の真偽判定を行う判定部とによる画像処理を施すことで、スポット状の欠陥があるムラ領域の有無を判定するフラットパネルディスプレイの自動ムラ検出方法であって、
前記前処理部において、前記フラットパネルディスプレイが有する画素構造の影響を前記入力画像から除去することなく、前記カメラにより撮像された画像に含まれるカメラノイズを除去するためのサイズとして構成されたガウシャンフィルタを用いて前記入力画像から前記カメラノイズを除去し、後段の前記欠陥候補抽出部に出力するステップと、
前記欠陥候補抽出部において、
前記前処理部の出力画像に対して所定サイズの注目ブロック内で最大値および最小値を算出する処理を、1画素毎に前記注目ブロックを移動させながら実行し、画素毎に局所的な中央値=(最大値+最小値)/2を算出するステップと、
前記前処理部の出力画像と前記中央値とを画素単位で比較し、前記中央値より前記出力画像が大きいときは1(白)、そうでないときは0(黒)となるように、画素毎に局所的に算出された前記中央値を用いて適応的に2値化することで、前記ムラ候補領域となる適応2値化画像を生成するステップと、
前記適応2値化画像に対して膨張/収縮処理後に白黒反転処理を実行する、あるいは白黒反転処理後に収縮/膨張処理を実行することで孤立点除去および領域連結を行った後、白の閉領域を抽出するステップと、
抽出した前記閉領域をラベリングすることで、前記ムラ候補領域をさらに絞り込み、後段に出力するステップと
を備えるフラットパネルディスプレイの自動ムラ検出方法。
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、従来技術には、以下のような課題がある。
このような自動検査は、まだまだ性能は十分でなく、特定の点欠陥や線欠陥以外の様々な欠陥に対応できるものではなかった。
【0007】
従来の画像処理による欠陥検査の一般的な流れは、大別すると、以下の3つの部分に分けられる。
(1)前処理部(フィルタ等によるノイズ除去、画素構造除去、背景画像予測除去等)
(2)欠陥候補抽出部(欠陥に係わる特徴量を計算、2値化、ラベリングすることで、候補を抽出)
(3)判定部(経験に基づいた判断ルールで欠陥部分を特定、表示)
【0008】
それぞれの画像処理部分では、検出対象となる欠陥の種類や撮影環境などに応じた複数の異なる処理が採用されるが、概ね複雑な処理になることが多く、安定的に検出性能が得られるとはいえなかった。
【0009】
ここで、具体的に、前処理部において生じる問題について説明する。フラットパネルディスプレイの欠陥は、輝度(明暗)の微妙な変化となって見えることが多い。しかしながら、フラットパネルディスプレイは、固定画素構造のパネルであるため、画素単位の構造がカメラ撮影による画像に明暗として写り、そのままでは、フラットパネルディスプレイの欠陥を検出する妨げになることがある。
【0010】
問題を避けるためには、所定の帯域を通過するフィルタをかけることで、画素構造を見えなくし、ディスプレイの各画素に表示された明暗情報のみを取り出すことを行わなければならない。しかしながら、フィルタをかけることによって、本来検出すべき欠陥の特徴をもなまらせてしまうことになり、以降の欠陥検出処理が難しくなるという新たな問題が生じる。
【0011】
また、検出対象となる欠陥の種類やパネルの種類によって、帯域通過フィルタの特性や以降の欠陥検出処理アルゴリズムを微妙に調整する必要があり、さらに作業工程が増えるという問題も誘発する。
【0012】
また、フィルタサイズの大きいローパスフィルタなどで背景画像予測を行い、入力画像から減算することで、ムラ部分の強調とともに、ノイズと分離し、ある閾値で2値化することで、ムラの検出を行うことが考えられる。しかしながら、このような検出に当たっては、フィルタのサイズを大きくして十分なローパス効果を実現しないと、ムラの検出性能に影響することとなる。このため、ハードウェアの負担が増大するとともに、ソフトウェアの処理時間が長くなるという問題も生じ、最終製品であるフラットパネルディスプレイのコスト高への影響が生じる。
【0013】
本発明は、前記のような課題を解決するためになされたものであり、フラットパネルディスプレイの検査工程において、画像処理により不均一性(ムラ)領域を自動検出する際に、検査工程の省力化、高速化を図り、最終製品であるフラットパネルディスプレイのコストダウンを達成することのできるフラットパネルディスプレイの自動ムラ検出装置および自動ムラ検出方法を得ることを目的とする。
【課題を解決するための手段】
【0014】
本発明に係るフラットパネルディスプレイの自動ムラ検出装置は、カメラにより撮像されたフラットパネルディスプレイの発光状態の画像を入力画像として取り込み、入力画像に対して前処理を行う前処理部、前処理部の出力画像に対してムラ候補領域の抽出処理を行う欠陥候補抽出部、および欠陥候補抽出部により抽出されたムラ候補領域の真偽判定を行う判定部とによる画像処理を施すことで、スポット状の欠陥があるムラ領域の有無を判定するフラットパネルディスプレイの自動ムラ検出装置であって、前処理部は、フラットパネルディスプレイが有する画素構造の影響を入力画像から除去することなく、カメラにより撮像された画像に含まれるカメラノイズを除去するためのサイズとして構成されたガウシャンフィルタを用いて入力画像からカメラノイズを除去し、後段の欠陥候補抽出部に出力し、欠陥候補抽出部は、前処理部の出力画像に
対して所定サイズの注目ブロック内で最大値および最小値を算出する処理を、1画素毎に注目ブロックを移動させながら実行し、画素毎に局所的な中央値=(最大値+最小値)/2を算出し、前処理部の出力画像と中央値とを画素単位で比較し、中央値より出力画素が大きいときは1(白)、そうでないときは0(黒)となるように、画素毎に局所的に算出された中央値を用いて適応的に2値化することで、ムラ候補領域となる適応2値化画像を生成し、適応2値化画像に対して膨張/収縮処理後に白黒反転処理を実行する、あるいは白黒反転処理後に収縮/膨張処理を実行することで孤立点除去および領域連結を行った後、白の閉領域を抽出し、抽出した閉領域をラベリングすることで、ムラ候補領域をさらに絞り込み、後段に出力するものである。
【0015】
また、本発明に係る本発明に係るフラットパネルディスプレイの自動ムラ検出方法は、カメラにより撮像されたフラットパネルディスプレイの発光状態の画像を入力画像として取り込み、入力画像に対して前処理を行う前処理部、前処理部の出力画像に対してムラ候補領域の抽出処理を行う欠陥候補抽出部、および欠陥候補抽出部により抽出されたムラ候補領域の真偽判定を行う判定部とによる画像処理を施すことで、スポット状の欠陥があるムラ領域の有無を判定するフラットパネルディスプレイの自動ムラ検出方法であって、前処理部において、フラットパネルディスプレイが有する画素構造の影響を入力画像から除去することなく、カメラにより撮像された画像に含まれるカメラノイズを除去するためのサイズとして構成されたガウシャンフィルタを用いて入力画像からカメラノイズを除去し、後段の欠陥候補抽出部に出力するステップと、欠陥候補抽出部において、前処理部の出力画像に
対して所定サイズの注目ブロック内で最大値および最小値を算出する処理を、1画素毎に注目ブロックを移動させながら実行し、画素毎に局所的な中央値=(最大値+最小値)/2を算出するステップと、前処理部の出力画像と中央値とを画素単位で比較し、中央値より出力画素が大きいときは1(白)、そうでないときは0(黒)となるように、画素毎に局所的に算出された中央値を用いて適応的に2値化することで、ムラ候補領域となる適応2値化画像を生成するステップと、適応2値化画像に対して膨張/収縮処理後に白黒反転処理を実行する、あるいは白黒反転処理後に収縮/膨張処理を実行することで孤立点除去および領域連結を行った後、白の閉領域を抽出するステップと、抽出した閉領域をラベリングすることで、ムラ候補領域をさらに絞り込み、後段に出力するステップとを備えるものである。
【発明の効果】
【0016】
本発明によれば、フラットパネルディスプレイが有する画素構造の影響を入力画像から除去する処理、および背景ノイズを除去する処理を不要とすることで前処理部を大幅にカットし、欠陥候補抽出部で画素構造を積極的に利用した適応2値化手法を採用することにより、検査工程の省力化、高速化を図り、最終製品であるフラットパネルディスプレイのコストダウンを達成することのできるフラットパネルディスプレイの自動ムラ検出装置および自動ムラ検出方法を得ることができる。
【発明を実施するための形態】
【0018】
以下、本発明のフラットパネルディスプレイの自動ムラ検出装置および自動ムラ検出方法の好適な実施の形態につき図面を用いて説明する。
なお、本願発明は、任意のパターンで発光したフラットパネルディスプレイのカメラ撮像画像をコンピュータに取り込み、画像処理によって自動的にムラを検出する手法において、以下のような手段を有することを技術的特徴とするものである。
(特徴1)局所的に最大値および最小値を検出し、検出した最大値および最小値からその中央値を閾値として算出する手段
(特徴2)入力画像に対して、中央値を閾値として適応的に2値化する手段
【0019】
さらに、以下の技術的特徴を有することもできる。
(特徴3)適応2値化画像に対してクロージング処理やオープニング処理を行うことにより、微妙な変化が強調されて、不均一性(ムラ)部分を可視化し、閉領域をラベリング処理後、適当な閾値処理でムラ部分の判定を行う手段
【0020】
実施の形態1.
図1は、本発明の実施の形態1におけるフラットパネルディスプレイの自動ムラ検出装置の全体構成図である。
図1に示した本実施の形態1におけるフラットパネルディスプレイの自動ムラ検出装置は、カメラ10、画像処理部20、および表示部30を備えて構成され、検査対象であるフラットパネルディスプレイ(以下、「検査パネル1」と称す)の自動ムラ検出を行う。
【0021】
画像処理部20は、カメラ10で撮像された検査パネル1の発光状態に対して画像処理を施すことで、ムラが発生している領域を特定し、表示部30に特定した場所を表示させることができる。そして、この画像処理部20は、前処理部21、欠陥候補抽出部22、および判定部23を備えて構成されている。
【0022】
前処理部21は、後段の欠陥候補抽出部22による処理を行うために、カメラ10で撮像された画像の補正処理を行う部分であり、具体的な処理例としては、以下のようなものが挙げられる。
・拡大/縮小処理
・幾何学的補正
・シェーディング補正
・ノイズ除去(平滑化フィルタ、メディアンフィルタ等)
・背景画像予測除去
【0023】
また、欠陥候補抽出部22は、前処理部21を経た画像に対して、ムラに相当する欠陥部分の候補領域を抽出する部分であり、具体的な処理例としては、以下のようなものが挙げられる。
・エンハンス処理
・エッジ検出(ラプラシアンフィルタ、ソーベルフィルタ等)
・第1の特徴量計算
・2値化
・孤立点除去
・膨張/収縮処理
・ラベリング
【0024】
さらに、判定部23は、欠陥候補抽出部22により抽出された候補領域について、ムラであるか否かを最終判断する部分であり、具体的な処理例としては、以下のようなものが挙げられる。
・第2の特徴量計算
・識別(閾値判定、分類等)
【0025】
次に、フローチャートおよび説明図を用いて、本実施の形態1における自動ムラ検出方法について具体的に説明する。
図2、
図3は、本発明の実施の形態1における画像処理部20による一連処理を示したフローチャートである。また、
図4は、本発明の実施の形態1における画像処理部20による具体的な処理画像を示した説明図である。さらに、
図5は、従来の画像処理部による一連処理を示したフローチャートである。
【0026】
まず始めに、
図2のフローチャートと
図4の説明図を用いて、本実施の形態1における自動ムラ検出方法について具体的に説明する。ステップS201において、カメラ10により撮影された検査パネル1の画像が、前処理部21に入力画像(
図4(a)参照)として入力される。前処理部21は、詳細を図示しないが、入力画像に対してカメラノイズ除去を施した後の画像を生成する。ここでは、カメラ撮影画像の微小なノイズを取ることが目的なので、フィルタのサイズの小さい、簡単なガウシャンフィルタ等で構成できる。
【0027】
次に、ステップS211およびステップS212において、欠陥候補抽出部22は、前処理部21により生成されたカメラノイズ除去後の画像に対して、最大値検出処理および最小値検出処理を実行する。
【0028】
欠陥候補抽出部22は、最大値検出処理および最小値検出処理においては、所定サイズのブロック単位の画素データ中から最大値および最小値を検出し、画素単位で所定サイズのブロックを移動させながら、局所的な最大値および最小値を順次算出する。
【0029】
さらに、ステップS213において、欠陥候補抽出部22は、ステップS211で検出された最大値とステップS212で検出された最小値に基づいて、下式(1)により、各画素の中央値を算出する。
中央値=(最大値+最小値)/2 (1)
【0030】
ここで、2で割る演算は、ビットシフトで実現できるため、回路要素の増大にはならない。
【0031】
次に、ステップS214において、欠陥候補抽出部22は、前処理部21により生成されたカメラノイズ除去後の画像の各画素に対して、ステップS213で算出された中央値との比較を行うことで、白(1)と黒(0)に2値化された適応2値化画像を生成する(
図4(b)参照)。より具体的には、各画素において、中央値よりも大きい入力画素は1(白)、そうでない入力画像は0(黒)に2値化されることで、適応2値化画像が生成される。
【0032】
図4(b)に示した適応2値化画像と、
図4(c)に示した入力画像の拡大画像との比較からわかるように、パネルの欠陥のある部分とない部分で、白と黒の分布に差が出ている。すなわち、適応2値化画像において、拡大画像中でスポット状の欠陥がある部分に対応するところで、黒い部分が多くなっている。
【0033】
このような分布をより強調するために、次のステップS215において、欠陥候補抽出部22は、クロージング(白の部分を膨張させた後、収縮させる)処理を行い、クロージング処理後の画像を生成する(
図4(d)参照)。このようなクロージング処理を行うことで、白の部分は連結され、黒の部分の隙間が見えてくる。
【0034】
さらに、ステップS216において、欠陥候補抽出部22は、白黒反転処理を行うことで、欠陥部に対応するところが白の閉領域として識別される白黒反転画像を生成する(
図4(e)参照)。そして、欠陥候補抽出部22は、ステップS217において、白黒反転画像の中から白の閉領域を抽出し、続くステップS218において、抽出した閉領域のラベリング処理を行い、欠陥候補画像を生成する(
図4(f)参照)。
【0035】
なお、
図2に示したフローチャートでは、適応2値化画像に対してクロージング処理を実行することで、最終的に欠陥候補画像を生成する場合を説明した。しかしながら、本発明は、このような処理に限定されず、クロージング処理の代わりにオープニング処理を施すことによっても同様の効果を得ることができ、この一連処理を示したものが、
図3のフローチャートに相当する。
【0036】
図3のフローチャートにおいては、
図2のフローチャートにおけるステップS215のクロージング処理およびステップS216の白黒反転処理の代わりに、ステップS315の白黒反転処理およびステップS316のオープニング処理が用いられている点が異なっている。
【0037】
すなわち、オープニング処理を施す場合には、欠陥候補抽出部22は、先に、ステップS315において、白黒反転処理を行うことで、欠陥部に対応するところが白の閉領域として識別されるようにしておく。その後、ステップS316において、欠陥候補抽出部22は、オープニング(白の部分を収縮させた後、膨張させる)処理を行い、オープニング処理後の画像を生成する。
【0038】
このようなオープニング処理を行うことによっても、先のクロージング処理を行った場合と同等の画像を得ることができる。
【0039】
そして、最後に、ステップS221において、判定部23は、
図2あるいは
図3のステップS218で生成された画像に関し、経験に基づいた判断ルールで欠陥部分およびその属性を特定し、結果を表示部30に表示する。
【0040】
より具体的には、判定部23は、ステップS218により特定された不均一性(ムラ)領域候補の各領域内で、輝度値やコントラスト比やSEMU値等のパラメータを演算する(ここで、「SEMU」とは、SEMI(Semiconductor Equipment and Materials International)において、ムラの測定単位として定義されたものであり、「SEMI MURA」の略称に相当する)。さらに、判定部23は、ステップS218で生成された欠陥候補画像を表示部30に表示させるとともに、演算で求めた各パラメータを各候補領域に対応させて表示させることができる。
【0041】
この結果、検査者は、表示内容に基づいた総合的な判断をすることで、不均一性(ムラ)領域の真偽判定を行うことができる。また、検査者の経験に基づいて、各パラメータからムラの発生の有無を判定するための評価値をあらかじめ設定しておくことで、判定部23は、演算で求めた各パラメータを各評価値と比較することによって、自動ムラ判定を行うことも可能である。
【0042】
図5は、従来の画像処理部による一連処理を示したフローチャートであり、
図2あるいは
図3に示した本実施の形態1の画像処理部による一連処理を示したフローチャートとの対比を説明する。
図5に示したように、従来技術における前処理部21は、固定画素構造を有するフラットパネルディスプレイの画素単位の構造がカメラ撮影による画像に明暗として写るため、所定の帯域を通過させるフィルタリング処理により、画素構造を除去していた(
図5のステップS502参照)。
【0043】
さらに、フィルタサイズの大きいローパスフィルタなどで背景画像予測を行い、入力画像から減算することで、背景ノイズを除去していた(
図5のステップS503、S504参照)。
【0044】
しかしながら、発明が解決しようとする課題として上述したように、ステップS502において、フィルタをかけることによって、本来検出すべき欠陥の特徴をもなまらせてしまうことになり、以降の欠陥検出処理が難しくなるという問題が生じていた。さらに、検出対象となる欠陥の種類やパネルの種類によって、帯域通過フィルタの特性や以降の欠陥検出処理アルゴリズムを微妙に調整する必要があり、さらに作業工程が増えるという問題もあった。
【0045】
また、ステップS503におけるフィルタ処理においては、フィルタのサイズを大きくして十分なローパス効果を実現しないと、ムラの検出性能に影響することとなる。このため、ハードウェアの負担が増大するとともに、ソフトウェアの処理時間が長くなるという問題も生じ、最終製品であるフラットパネルディスプレイのコスト高への影響が生じる。
【0046】
これに対して、本実施の形態1における画像処理部20は、画素構造の除去処理、背景画像予測処理、および差分画像処理を前処理部21によって行うことなく、欠陥候補抽出部22において、パネルの画素構造を積極的に利用して、適応2値化処理による簡単なロジックおよびハードウェアで欠陥部分の特徴を抽出している。さらに、オープニング/クロージング処理、およびラベリング処理による簡単なロジックおよびハードウェアで、欠陥部分の特徴をより高精度に抽出している。
【0047】
この結果、高速に、本来の欠陥を高精度に抽出することができ、検査工程の省力化、高速化を実現することで、最終製品であるフラットパネルディスプレイのコストダウンを達成することができる。なお、本実施の形態1における自動ムラ検出方法は、スポット状の欠陥や、ある程度の面積を持った欠陥の検査に対して特に有効である。
【0048】
以上のように、実施の形態1によれば、画素構造の除去処理を前処理によって行うことなく、パネルの画素構造を積極的に利用して、欠陥候補領域の抽出を行うことができる。この結果、検査工程の省力化、高速化を実現できるとともに、最終製品であるフラットパネルディスプレイのコストダウンを達成することができるフラットパネルディスプレイの自動ムラ検出装置および自動ムラ検出方法を得ることができる。