(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6917943
(24)【登録日】2021年7月26日
(45)【発行日】2021年8月11日
(54)【発明の名称】欠陥検出方法、欠陥検出のためのシステムおよび訓練方法
(51)【国際特許分類】
G09F 9/00 20060101AFI20210729BHJP
G06T 7/00 20170101ALI20210729BHJP
G06T 7/66 20170101ALI20210729BHJP
G06T 7/45 20170101ALI20210729BHJP
【FI】
G09F9/00 352
G09F9/00 338
G06T7/00 350B
G06T7/66
G06T7/45
【請求項の数】14
【全頁数】18
(21)【出願番号】特願2018-79940(P2018-79940)
(22)【出願日】2018年4月18日
(65)【公開番号】特開2018-180545(P2018-180545A)
(43)【公開日】2018年11月15日
【審査請求日】2021年4月9日
(31)【優先権主張番号】62/486,928
(32)【優先日】2017年4月18日
(33)【優先権主張国】US
(31)【優先権主張番号】15/639,859
(32)【優先日】2017年6月30日
(33)【優先権主張国】US
【早期審査対象出願】
(73)【特許権者】
【識別番号】512187343
【氏名又は名称】三星ディスプレイ株式會社
【氏名又は名称原語表記】Samsung Display Co.,Ltd.
(74)【代理人】
【識別番号】110002619
【氏名又は名称】特許業務法人PORT
(72)【発明者】
【氏名】李 章 煥
(72)【発明者】
【氏名】イーウェイ チャン
【審査官】
石本 努
(56)【参考文献】
【文献】
特開2014−173882(JP,A)
【文献】
中国特許出願公開第105913419(CN,A)
【文献】
中国特許出願公開第103913468(CN,A)
【文献】
米国特許出願公開第2005/0286753(US,A1)
【文献】
韓国公開特許第10−2012−0027733(KR,A)
【文献】
中国特許出願公開第105044127(CN,A)
【文献】
特開平08−297020(JP,A)
【文献】
特開2012−128201(JP,A)
【文献】
韓国公開特許第10−2008−0003456(KR,A)
(58)【調査した分野】(Int.Cl.,DB名)
G02F1/133−1/1334
1/1339−1/1341
1/1347
G06T1/00−1/40
3/00−9/40
G09F9/00−9/46
H01L27/32
51/50
H05B33/00−33/28
(57)【特許請求の範囲】
【請求項1】
ディスプレイパネル内の一つ以上のホワイトスポットムラ欠陥を検出する方法であって、
前記ディスプレイパネルの画像を受信し、前記画像は、一つ以上のホワイトスポットムラ欠陥を含むことと、
前記画像を複数のパッチに分割し、前記複数のパッチのそれぞれは、前記画像のm画素×n画素領域(mおよびnは1より大きいかまたは等しい整数)に対応することと、
前記複数のパッチに対する複数の特徴ベクトルを生成し、前記複数の特徴ベクトルのそれぞれは、前記複数のパッチのうちの1つに対応するとともに一つ以上の画像テクスチャ特徴及び一つ以上の画像モーメント特徴を含むことと、
マルチクラスサポートベクトルマシン(SVM)を用いて、前記複数の特徴ベクトルのそれぞれに基づいて前記複数のパッチのそれぞれを分類して前記一つ以上のホワイトスポットムラ欠陥を検出することと、
を含み、
前記一つ以上の画像テクスチャ特徴は、コントラストグレーレベル同時生起行列(GLCM)テクスチャ特徴および非類似GLCMテクスチャ特徴のうちの少なくとも一つを含み、
前記一つ以上の画像モーメント特徴は、3次中心モーメント(μ30)、第5Hu不変モーメント(I5)および第1Hu不変モーメント(I1)のうちの少なくとも一つを含む、欠陥検出方法。
【請求項2】
前記複数のパッチは、互いに重畳しない、請求項1に記載の欠陥検出方法。
【請求項3】
前記複数のパッチの各パッチは、平均的なホワイトスポットムラ欠陥の大きさより大きい、請求項1に記載の欠陥検出方法。
【請求項4】
前記複数のパッチの各パッチは、前記ディスプレイパネルの32画素×32画素領域に対応する、請求項1に記載の欠陥検出方法。
【請求項5】
前記マルチクラスSVMは、欠陥を含む画像および欠陥を含まない画像の両方ともを用いて訓練される、請求項1に記載の欠陥検出方法。
【請求項6】
前記複数のパッチのそれぞれを分類することは、
前記マルチクラスSVMに前記複数のパッチに対する前記複数の特徴ベクトルを提供して、前記複数の特徴ベクトルを基に前記一つ以上のホワイトスポットムラ欠陥を識別することと、
前記複数のパッチのうちの前記識別された一つ以上のホワイトスポットムラ欠陥を含む一つ以上のパッチを欠陥としてラベリングすることと、
を含む、請求項1に記載の欠陥検出方法。
【請求項7】
ディスプレイパネル内の一つ以上のホワイトスポットムラ欠陥を検出するためのシステムを訓練する方法であって、
前記ディスプレイパネルの画像を受信し、前記画像は、一つ以上のホワイトスポットムラ欠陥を含むことと、
前記画像を第1複数のパッチおよび第2複数のパッチに分解し、前記第1および第2複数のパッチのそれぞれは、前記ディスプレイパネルの前記画像に対応することと、
複数のラベルを受信し、前記複数のラベルの各ラベルは、前記第1および第2複数のパッチのうちの一つに対応するとともに欠陥があるか欠陥がないかを示すことと、
複数の特徴ベクトルを生成し、前記複数の特徴ベクトルのそれぞれが前記第1および第2複数のパッチのうちの一つのパッチに対応するとともに一つ以上の画像テクスチャ特徴および一つ以上の画像モーメント特徴を含むことと、
マルチクラスサポートベクトルマシン(SVM)に前記複数の特徴ベクトルおよび前記複数のラベルを提供することによって前記一つ以上のホワイトスポットムラ欠陥を検出するように前記SVMを訓練することと、
を含み、
前記一つ以上の画像テクスチャ特徴は、コントラストグレーレベル同時生起行列(GLCM)テクスチャ特徴および非類似GLCMテクスチャ特徴のうちの少なくとも一つを含み、
前記一つ以上の画像モーメント特徴は、3次中心モーメント(μ30)、第5Hu不変モーメント(I5)および第1Hu不変モーメント(I1)のうちの少なくとも一つを含む、訓練方法。
【請求項8】
前記第2複数のパッチは、前記第1複数のパッチからオフセットされており、前記第1複数のパッチと重畳する、請求項7に記載の訓練方法。
【請求項9】
前記複数のパッチのそれぞれは、前記画像のm画素×n画素領域(mおよびnは1より大きいかまたは等しい整数)に対応する、請求項7に記載の訓練方法。
【請求項10】
前記画像を分解することは、前記画像を第3複数のパッチおよび第4複数のパッチにさらに分解し、前記第3および第4複数のパッチのそれぞれは、前記ディスプレイパネルの前記画像に対応することを含み、
前記複数のラベルは、前記第3および第4複数のパッチに対応するとともに欠陥があるか欠陥がないかを示す付加的なラベルをさらに含み、
前記複数の特徴ベクトルのそれぞれは、前記第1、第2、第3および第4複数のパッチのうちの一つのパッチに対応するとともに一つ以上の画像テクスチャ特徴および一つ以上の画像モーメント特徴を含み、
前記第1〜第4複数のパッチのそれぞれは、前記画像の32画素×32画素領域に対応し、
前記第1〜第4複数のパッチのうちの一つ以上は、前記画像の長さ方向および幅方向のうちの少なくとも一つの方向に16画素だけ互いにオフセットされている、請求項7に記載の訓練方法。
【請求項11】
ディスプレイパネル内の一つ以上のホワイトスポットムラ欠陥を検出するシステムであって、
プロセッサーと、
前記プロセッサーに接続されているメモリと、を含み、
前記メモリは、前記プロセッサーに、
前記ディスプレイパネルの画像を受信し、前記画像は、一つ以上のホワイトスポットムラ欠陥を含むことと、
前記画像を複数のパッチに分割し、前記複数のパッチのそれぞれは、前記画像のm画素×n画素領域(mおよびnは1より大きいかまたは等しい整数)に対応することと、
前記複数のパッチに対する複数の特徴ベクトルを生成し、前記複数の特徴ベクトルのそれぞれは、前記複数のパッチのうちの1つに対応するとともに一つ以上の画像テクスチャ特徴及び一つ以上の画像モーメント特徴を含むことと、
マルチクラスサポートベクトルマシン(SVM)を用いて、前記複数の特徴ベクトルのそれぞれに基づいて前記複数のパッチのそれぞれを分類して前記一つ以上のホワイトスポットムラ欠陥を検出することと、
を実行させる指示を保存しており、
前記一つ以上の画像テクスチャ特徴は、コントラストグレーレベル同時生起行列(GLCM)テクスチャ特徴および非類似GLCMテクスチャ特徴のうちの少なくとも一つを含み、
前記一つ以上の画像モーメント特徴は、3次中心モーメント(μ30)、第5Hu不変モーメント(I5)および第1Hu不変モーメント(I1)のうちの少なくとも一つを含む、システム。
【請求項12】
前記複数のパッチは、互いに重畳せず、
前記複数のパッチの各パッチは、平均的なホワイトスポットムラ欠陥の大きさより大きい、請求項11に記載のシステム。
【請求項13】
前記マルチクラスSVMは、欠陥を含む画像および欠陥を含まない画像の両方ともを用いて訓練されている、請求項11に記載のシステム。
【請求項14】
前記複数のパッチのそれぞれを分類することは、
前記マルチクラスSVMに前記複数のパッチに対する前記複数の特徴ベクトルを提供して、前記複数の特徴ベクトルを基に前記一つ以上のホワイトスポットムラ欠陥を識別することと、
前記複数のパッチのうちの前記識別された一つ以上のホワイトスポットムラ欠陥を含む一つ以上のパッチを欠陥としてラベリングすること、とを含む請求項11に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、欠陥検出のためのシステムおよびそのシステムを用いた欠陥検出方法に関するものである。
【背景技術】
【0002】
最近、新たなディスプレイ技術が市場に紹介されるにつれてディスプレイ産業が急速に成長している。モバイル装置、TV、仮想現実(VR)ヘッドセットおよびその他のディスプレイは、より高い解像度とより正確な色再現でディスプレイを駆動することにおいて持続的な力になった。新たなタイプのディスプレイパネルモジュールおよび生産方法が使用されることにより従来の方法を用いて表面欠陥を検査するのが難しくなった。
【発明の概要】
【発明が解決しようとする課題】
【0003】
本発明は、ディスプレイパネルの画像の欠陥検出の速度および正確性を向上させるためのものである。
【課題を解決するための手段】
【0004】
本発明の実施形態は、ホワイトスポットのムラ欠陥の検出のような欠陥検出の速度および正確性を向上させるために機械学習(machine learning)を用いる自動化された検査システムおよび方法に関するものである。一実施形態による自動化された検査システムは、ディスプレイ装置で撮影された画像を受信し、画像を複数のパッチに分割し、各パッチの画像の特徴を計算し、訓練されたサポートベクトルマシン(SVM:Support Vector Machine)を用いて計算された特徴を用いてホワイトスポットムラのような欠陥を含むパッチを識別する。一実施形態によれば、前記特徴はテクスチャ特徴と画像モーメントの組み合わせを含む。
【0005】
本発明の一実施形態によって、ディスプレイパネルで画像の一つ以上の欠陥を検出する方法が提供され、前記方法は、前記ディスプレイパネルの前記画像を受信することと、前記画像を複数のパッチに分割することと、前記複数のパッチに対する複数の特徴ベクトルを生成することと、マルチクラスサポートベクトルマシン(SVM)を用いて、前記複数の特徴ベクトルのそれぞれに基づいて前記複数のパッチのそれぞれを分類して前記一つ以上の欠陥を検出することと、を含み、前記複数のパッチのそれぞれは、m画素×n画素領域(mとnは1より大きいかまたは等しい整数)に対応し、前記複数の特徴ベクトルのそれぞれは、前記複数のパッチのそれぞれに対応し、一つ以上の画像テクスチャ特徴および一つ以上の画像モーメント特徴を含む。
【0006】
複数のパッチは、互いに重畳しなくてもよい。
【0007】
前記複数のパッチの各パッチは、平均的な欠陥の大きさより大きくてもよい。
【0008】
前記複数のパッチの各パッチは、前記ディスプレイパネルの32×32画素領域に対応してもよい。
【0009】
前記一つ以上の画像テクスチャ特徴は、コントラストグレーレベル同時生起行列(GLCM)テクスチャ特徴および非類似GLCMテクスチャ特徴のうちの少なくとも一つを含んでもよい。
【0010】
前記一つ以上の画像モーメント特徴は、3次中心モーメント(μ
30)、第5Hu不変モーメント(I
5)および第1Hu不変モーメント(I
1)のうちの少なくとも一つを含んでもよい。
【0011】
前記マルチクラスSVMは、欠陥を含む画像および欠陥を含まない画像の両方ともを用いて訓練されてもよい。
【0012】
前記複数のパッチを分類することは、前記マルチクラスSVMに前記複数のパッチに対する前記複数の特徴ベクトルを提供して、前記複数の特徴ベクトルを基に前記一つ以上の欠陥を識別することと、前記複数のパッチのうちの前記識別された一つ以上の欠陥を含む一つ以上のパッチを欠陥としてラベリングすることと、を含んでもよい。
【0013】
一実施形態による、ディスプレイパネルで画像の一つ以上の欠陥を検出するためのシステムを訓練する方法が提供され、前記方法は、前記ディスプレイパネルの前記画像を受信することと、前記画像を、前記ディスプレイパネルの前記画像にそれぞれ対応する第1複数のパッチおよび第2複数のパッチに分解することと、それぞれが前記第1および第2複数のパッチのうちの一つに対応し欠陥があるか欠陥がないということを示す複数のラベルを受信することと、それぞれが前記第1および第2複数のパッチのうちの一つに対応し一つ以上の画像テクスチャ特徴および一つ以上の画像モーメント特徴を含む複数の特徴ベクトルを生成することと、マルチクラスサポートベクトルマシンに前記複数の特徴ベクトルおよび前記複数のラベルを提供することによって一つ以上の欠陥を検出するように前記SVMを訓練することと、を含む。
【0014】
前記第2複数のパッチは、前記第1複数のパッチからオフセットされており、前記第1複数のパッチと重畳してもよい。
【0015】
前記複数のパッチのそれぞれは、前記画像のm×n画素領域(mおよびnは1より大きいかまたは等しい整数)に対応してもよい。
【0016】
前記画像を分解することは、前記ディスプレイパネルの前記画像にそれぞれ対応する第3複数のパッチおよび第4複数のパッチに前記画像をさらに分解することを含み、前記複数のラベルは、前記第3および第4複数のパッチに対応し欠陥があるか欠陥がないということを示す付加的なラベルをさらに含み、前記複数の特徴ベクトルのそれぞれは、前記第1、第2、第3および第4複数のパッチのうちの一つに対応し、一つ以上の画像テクスチャ特徴および一つ以上の画像モーメント特徴を含み、前記第1〜第4複数のパッチのそれぞれは前記画像の32×32ピクセル領域に対応し、前記第1〜第4複数のパッチのうちの一つ以上は、前記画像の長さ方向および幅方向のうちの少なくとも一つの方向に16ピクセルだけ互いにオフセットされていてもよい。
【0017】
前記一つ以上の画像テクスチャ特徴は、コントラストグレーレベル同時生起行列(GLCM)テクスチャ特徴と非類似GLCMテクスチャ特徴のうちの少なくとも一つを含んでもよい。
【0018】
前記一つ以上の画像モーメント特徴は、3次中心モーメント(μ
30)、第5Hu不変モーメント(I
5)および第1Hu不変モーメント(I
1)のうちの少なくとも一つを含んでもよい。
【0019】
一実施形態による、ディスプレイパネルで画像の一つ以上の欠陥を検出するためのシステムが提供され、前記システムは、プロセッサーと、前記プロセッサーに接続されているメモリと、を含み、前記メモリは、前記プロセッサーが、前記ディスプレイパネルの前記画像を受信することと、前記画像を複数のパッチに分割することと、前記複数のパッチに対する複数の特徴ベクトルを生成することと、マルチクラスサポートベクトルマシン(SVM)を用いて、前記複数の特徴ベクトルのそれぞれに基づいて前記複数のパッチのそれぞれを分類して前記一つ以上の欠陥を検出することと、を実行するようにする指示を保存する。
【0020】
前記複数のパッチは、互いに重畳せず、前記複数のパッチの各パッチは、平均的な欠陥の大きさより大きくてもよい。
【0021】
前記一つ以上の画像テクスチャ特徴は、コントラストグレーレベル同時生起行列(GLCM)テクスチャ特徴および非類似GLCMテクスチャ特徴のうちの少なくとも一つを含んでもよい。
【0022】
前記一つ以上の画像モーメント特徴は、3次中心モーメント(μ
30)、第5Hu不変モーメント(I
5)および第1Hu不変モーメント(I
1)のうちの少なくとも一つを含んでもよい。
【0023】
前記マルチクラスSVMは、欠陥を含む画像および欠陥を含まない画像の両方ともを用いて訓練されていてもよい。
【0024】
前記複数のパッチのそれぞれを分類することは、前記マルチクラスSVMに前記複数のパッチに対する前記複数の特徴ベクトルを提供して、前記複数の特徴ベクトルを基に前記一つ以上の欠陥を識別することと、前記複数のパッチのうちの前記識別された一つ以上の欠陥を含む一つ以上のパッチを欠陥としてラベリングすること、とを含んでもよい。
【発明の効果】
【0025】
本実施形態によれば、ディスプレイパネルの画像の欠陥の検出速度および正確性を向上させることができる。
【図面の簡単な説明】
【0026】
【
図1】本発明の実施形態による画像取得および欠陥検出システムのブロック図である。
【
図2】本発明の実施形態による欠陥検出部のブロック図である。
【
図3a】本発明の実施形態による、訓練モードで画像分解部によって生成されたパッチの複数のセットを示す。
【
図3b】本発明の実施形態による、ディスプレイパネルの分解された画像の中のラベリングされた欠陥を含むパッチを示す。
【
図4a】本発明の実施形態による、ディスプレイパネルの一つ以上の欠陥を検出するための欠陥検出システムを訓練するためのプロセスを示すフローチャートである。
【
図4b】本発明の実施形態による、欠陥検出システムを用いてディスプレイパネルで一つ以上のホワイトスポット欠陥を検出するプロセスを示すフローチャートである。
【発明を実施するための形態】
【0027】
以下の詳細な説明は本発明によって提供される欠陥検出のためのシステムおよび方法の例示的な実施形態の説明であって、本発明を理解または活用できる唯一の形態を示すものではない。以下の詳細な説明は図示された実施形態に関連して本発明の特徴を説明する。しかし、本発明の思想および範囲内に含まれるように意図された他の実施形態によって同一または均等な機能および構造が達成できる。本明細書の他の部分でも言及された通り、同一な符号または番号は同一な構成要素または特徴を示す。
【0028】
図1は、本発明の一実施形態による画像取得および欠陥検出システム100のブロック図である。
【0029】
図1に示されているように、画像取得および欠陥検出システム100(以下、単に「欠陥検出システム」という。)は、ディスプレイパネル102の画像を用いてディスプレイパネル102の欠陥を検出するように構成される。一実施形態によれば、欠陥検出システム100は、テスト対象のディスプレイパネル102でホワイトスポットのムラ欠陥(white spot Mura defect)(例えば、輝度非均一性(brightness non−uniformity))の存在を検出し、その位置を把握するように構成され得る。一実施形態によれば、ブラックスポット(black spot)、ホワイトストリーク(white streaks)、水平ラインムラ(horizontal line Muras)、ガラスの欠陥、埃、および斑などのようなディスプレイパネル102に存在することがある全ての他のタイプの欠陥を無視して、ホワイトスポットのムラ欠陥のみが検出され得る。
【0030】
一実施形態によれば、欠陥検出システム100は、カメラ104および欠陥検出部106を含む。カメラ104は、ディスプレイパネル102の上部面(例えば、表示面)の画像(例えば、RAW、非圧縮(uncompressed)の画像)を取り込む(capture)ことができる。一実施形態によれば、ディスプレイパネル102は、テストまたは製造設備のコンベヤーベルトに沿って移動していてもよい。一実施形態によれば、画像はディスプレイパネル102の上部面の全体の非圧縮の画像(例えば、RAW形式の画像)であってもよく、カメラ104はディスプレイパネル102の全ての画素、またはほとんど全ての画素の画像を取り込むことができる。カメラ104は取り込んだ画像を欠陥検出部106に伝送することができる。欠陥検出部106は画像を分析して欠陥(例えば、ホワイトスポットのムラ欠陥)の存在を検出することができる。
【0031】
一実施形態によれば、プロセッサー108およびプロセッサー108に接続されたメモリ110を含む欠陥検出部106は、取り込まれた画像を検出のための複数のパッチ(patches)に分割する。パッチは、画像を複数の領域に分割したときの各領域である。その後、訓練された機械学習部(trained machine learning component)は、ホワイトスポットのムラ欠陥のような欠陥について各パッチを分析する。一実施形態によれば、機械学習部は、例えばマルチクラスSVM(multi−class SVM)のようなサポートベクトルマシン(support vector machine,SVM)を含む。サポートベクトルマシンは、欠陥を有しているもの(例えば、ホワイトスポットのムラ欠陥)、または欠陥がないものの二つのカテゴリーのうちの一つに入力を分類するように構成されている管理型学習モデル(supervised learning model)(事前決定された数式ではない。)である。欠陥検出部106は各画像パッチに対する特徴の組み合わせを生成し、分類のためにこれらをSVMに提供する。例えば、このような特徴はテクスチャ特徴(texture features)と画像モーメント(image moments)との組み合わせを含むことができる。SVMは各画像パッチを、欠陥を有するものか有しないもの(例えば、ホワイトスポットムラの場合)に分類し、欠陥(例えば、ホワイトスポットムラの場合)が存在する画像パッチにラベリング(labeling)する。ラベリングは、少なくとも、欠陥が存在するパッチ(画像パッチ)にラベル(識別子)を付与することを含む。
【0032】
一実施形態によれば、SVMは以下でさらに詳しく説明されるように、操作者112によって訓練され得る。操作者112は人間操作者であってもよい。
【0033】
図2は、本発明の一実施形態による欠陥検出部106をさらに詳細に示したブロック図である。
【0034】
図2を参照すれば、欠陥検出部106は、画像分解部200、特徴抽出部202およびSVM(例えば、マルチクラスSVM)204を含む。欠陥検出部106は、訓練モードおよび検出モードで動作するように構成される。
【0035】
一実施形態によれば、画像分解部200は、訓練モードで動作するとき、カメラ104から受信したディスプレイパネルの画像を複数のパッチのセットに分解(例えば、分割または区画)するように構成される。各セットのパッチはディスプレイパネルの画素の全部またはほとんど全部をカバーすることができる。即ち、各セットのパッチは他の全てのセットの対応するパッチと重畳してもよい。
【0036】
特徴抽出部202は、画像分解部200によって生成された各パッチに対して動作して、各パッチの画像の特徴を抽出する。一実施形態によれば、特徴は一つ以上の画像テクスチャ特徴(テクスチャ特徴とも呼ばれる。)および一つ以上の画像モーメント特徴(画像モーメントとも呼ばれる。)を含む。一実施形態によれば、画像テクスチャ特徴は、コントラストグレーレベル同時生起行列(contrast grey−level co−occurrence matrix、GLCM)テクスチャ特徴および非類似(Dissimilarity)GLCMテクスチャ特徴のうちの少なくとも一つを含むことができる。なお、グレーレベル同時生起行列テクスチャ特徴は、グレーレベルの同時生起行列を使用したテクスチャ解析により得られる特徴である。この明細書において、非類似GLCMテクスチャ特徴は、グレーレベル同時生起行列を使用して得られる非類似性(異質性ともいう。)の特徴のことである。非類似GLCMテクスチャ特徴については、例えば、文献(Gleb Beliakov, Simon James and Luigi Troiano、“Texture recognition by using GLCM and various aggregation functions”、インターネット<URL:https://ieeexplore.ieee.org/abstract/document/4630566/>、(2008年))にも記載されている。画像モーメント特徴は、3次中心モーメント(centroid moment)(μ
30)、第5Hu不変モーメント(Hu invariant moment)(I
5)、および第1Hu不変モーメント(I
1)のうちの少なくとも一つを含むことができる。
【0037】
当業者によって理解されるように、GLCM特徴は、一つの画像で特定空間関係にありながら特定輝度値(例えば、グレーレベル)を有する画素の対がどれくらいの頻度で発生するかを計算することによって画像のテクスチャを特性化することを助ける。また、3次中心モーメント(μ
30)は並進不変(translational invariant)であり、第5Hu不変モーメント(I
5)および第1Hu不変モーメント(I
1)は並進(translation)、大きさおよび回転変換に対して不変である。このような画像モーメント特徴の公式的な定義は明細書最後に記載された内容から確認することができ、その全体内容は本明細書に参考として含まれる。
【0038】
特徴抽出部202は、それぞれのパッチに対して前記一つ以上の画像テクスチャ特徴および前記一つ以上の画像モーメント特徴を含む特徴ベクトルを構成することができる。一例によれば、構成された特徴ベクトルは、3次中心モーメント(μ
30)、コントラストGLCMテクスチャ特徴、非類似GLCMテクスチャ特徴、第5Hu不変モーメント(I
5)、および第1Hu不変モーメント(I
1)を含むことができる。しかし、本発明の実施形態はこれに制限されない。例えば、構成された特徴ベクトルは、第5Hu不変モーメント(I
5)および第1Hu不変モーメント(I
1)および/または非類似GLCMテクスチャ特徴のうちの一つまたは全てを排除することができる。訓練段階にあるとき、特徴抽出部202は構成されたベクトルを第1訓練データセットとしてSVM204に伝送する。
【0039】
画像分解部200によって生成されたパッチのセットは、各パッチを欠陥(例えば、ホワイトスポットのムラ欠陥)の存在に関して手動で検査し、各パッチを欠陥があるかまたは欠陥がないと手動でラベリングする操作者112にも提供され得る。その結果は第2訓練データセットとしてSVM204に提供される。一実施形態によれば、操作者112はブラックスポット、ホワイトストリークなどのような他の全てのタイプの欠陥を排除し、ホワイトスポットのムラ欠陥のみを識別することができる。このように、一実施形態によれば、マルチクラスSVM204はホワイトスポットのムラ欠陥のみ検出し、他の全てのタイプの欠陥は無視するように訓練され得る。
【0040】
その後、SVM(例えば、マルチクラスSVM)204は、欠陥(例えば、ホワイトスポットのムラ欠陥)検出のための欠陥検出部106を訓練するために、欠陥パッチおよび非欠陥パッチの両方ともを含む各パッチの特徴ベクトルだけでなく欠陥または非欠陥の対応するラベル(または表示)を使用する。一例によれば、SVM204は単一の画像からのパッチだけでなく、互いに異なるディスプレイパネルからの複数の互いに異なる画像からのパッチを用いて訓練することができる。
【0041】
訓練が完了すれば、欠陥検出部106は検出モードで動作し、その間にSVM204は操作者112に代替してディスプレイパネル102の画像のパッチをラベリング(表示)することができる。一実施形態によれば、訓練モードで、画像分解部200はディスプレイパネル102の取り込んだ画像を、ディスプレイパネル102の全ての画素またはほとんど全ての画素をカバーする一セット(例えば、ただ一つのセット)の他のパッチと重畳しないパッチである非重畳パッチに分解(例えば、分割または区画)することができる。その後、特徴抽出部202は前述のように訓練モードを参照して非重畳パッチのセットに動作して、各パッチの画像の特徴を抽出し、各パッチに対する特徴ベクトルを生成することができる。その後、SVM204は生成された特徴ベクトルを用いて各パッチを欠陥または非欠陥に分類することができる。
【0042】
一実施形態で、各パッチの大きさは典型的な欠陥の大きさ(例えば、ホワイトスポットのムラ欠陥の平均大きさ)より大きいが、またディスプレイパネル上の欠陥の位置を決定するときに十分な細分性(granularity)を提供するように十分に小さく選択され得る。
【0043】
したがって、実施形態によれば、ディスプレイパネル102を視覚的に検査して画像の特徴(例えば、3次中心モーメント(μ
30)、コントラストGLCMおよび非類似GLCMテクスチャ特徴、および第1および第5Hu不変モーメント(I
1およびI
5))の適切なセットを抽出することによって、欠陥検出部106はホワイトスポットのムラ欠陥のような特定タイプの欠陥の存在を検出し位置を把握することができる。これは、所望の欠陥を検出し位置を把握することにおいて高い精密度を提供し、特定の場合に欠陥を補償できるようにすることができる。
【0044】
一例によれば、欠陥検出部106によって欠陥を含むと識別されたディスプレイパネルは不合格になって製品ラインから除去され得る。しかし、他の実施形態によれば、欠陥とラベリング(表示)されたパッチの位置(例えば、座標)によって識別される欠陥(例えば、ホワイトスポットのムラ欠陥)の位置は、欠陥を電子的に(electronically)補償するために用いられ、これによりディスプレイパネルの欠陥を実質的に除去することができる。したがって、欠陥検出部106はディスプレイパネルの欠陥補償を容易にすることによって、ディスプレイパネルの製造/生産収率を向上させるのに役に立つ。一実施形態によれば、欠陥検出部106および電子的補償は、欠陥がそれ以上検出されなくなるまで多様な補償パラメータを通じて繰り返すループを形成することができる。したがって、識別されたホワイトスポットのムラの各場合に対してディスプレイパネルに補償パラメータが適用されて、ディスプレイパネルの新たな画像が得られ、その画像は欠陥検出部106に再び提供され得る。
【0045】
当業者によって理解されるように、画像分解部200、特徴抽出部202、マルチクラスSVM204、および欠陥検出システム106の他の論理的な構成要素は、プロセッサー108およびメモリ110によって実現され得る。メモリ110は、プロセッサー108によって実行されるときに、プロセッサー108が欠陥検出システム106(例えば、画像分解部200、特徴抽出部202、マルチクラスSVM204)に属する機能を実行するようにする指示を保存していてもよい。
【0046】
図3aは、本発明の一実施形態により訓練モードで画像分解部200によって生成されたパッチ300の複数のセットを示す。
図3bは、本発明の一実施形態によりディスプレイパネルの分解された画像内のラベリング(表示)された欠陥を含むパッチを示す。
【0047】
図3aを参照すれば、画像301は、テスト画像を表示することができるディスプレイパネル102の上部面(例えば、表示面)の画像であって、カメラ104によって取り込まれた画像を示す。テスト画像は、連続的な灰色の画像のように欠陥(例えば、ホワイトスポットのムラ欠陥)の存在をテストするために適した任意の画像を含むことができる。画像301は、ディスプレイパネル102の全ての画素を含むことができる。しかし、他の実施形態によれば、画像301は、ディスプレイパネル102の一部のみをカバーしてもよい。画像分解部200は、画像301の角Aから始まる同一な大きさの画像パッチ303を含む第1複数のパッチ302に画像301を分割することができる。
図3aの例で、角Aは画像301の上部左側の角を示し、パッチ303は正方形で示されているが、本発明の実施形態がこれに限定されるのではなく、角Aは画像の適切な任意の角(例えば、左側下端、右側上端などの角)であってもよく、パッチ303は長方形であってもよい。
【0048】
一般に、各画像パッチ303の大きさは、それが含むディスプレイ画素の数と関連して、m×n画素(mおよびnは正の整数)で示され得る。一実施形態で、各画像パッチ303の大きさは典型的な欠陥より大きく(例えば、ホワイトスポットのムラ欠陥の平均大きさより大きく)設定され得る。例えば、各パッチ303は32×32画素であってもよく、この場合、1920×1080画素の解像度を有するディスプレイパネル102の画像301内の第1複数のパッチ302は、2040個のパッチを含むことができる。これらパッチのうち、コーナーAと反対側に位置する画像の辺と重畳するパッチは、パッチの一部分である部分画像パッチであってもよい。
【0049】
一実施形態によれば、訓練モードで、画像分解部200は画像301をパッチの複数の他の重畳するセットにさらに分割することができる。例えば、画像分解部200は、それぞれが画像パッチ305、307、309を含む第2、第3および第4複数のパッチ304、306、308に画像301をさらに分割することができ、画像パッチ305、307、309のそれぞれの大きさは画像パッチ303の大きさと同一であってもよい。
【0050】
それぞれのパッチセットは、第1方向(例えば、x軸によって示される画像301の長さ方向)にd1オフセット、および/または第2方向(例えば、y軸によって示される画像301の幅方向)にd2オフセットだけ他のパッチセットからオフセット(offset)されていてもよい。例えば、第2複数のパッチ304は第1方向(例えば、x軸に沿って)にオフセットd1だけ第1複数のパッチ302からオフセットされてもよく、第3複数のパッチ306は第2方向(例えば、y軸に沿って)のオフセットd2だけ第1複数のパッチ302からオフセットされてもよく、第4複数のパッチ308は第1方向および第2方向にそれぞれオフセットd1およびオフセットd2だけ第1複数のパッチ302からオフセットされてもよい。一実施形態によれば、それぞれのパッチセットは、パッチのそれぞれが、先行するパッチセットの対応するパッチの領域の半分とだけ重畳するようにオフセットされてもよい。例えば、各パッチ303/305/307/309が32×32画素の大きさを有するとき、オフセットd1およびオフセットd2はそれぞれ16画素と同一であってもよい。
【0051】
図3bを参照すれば、訓練モードで、画像301内の任意の欠陥(例えば、ホワイトスポットのムラ欠点)310を発見し、欠陥の全部または一部を含むパッチをラベリング(表示)するように訓練された操作者によって、パッチのそれぞれが検査される。例えば、欠陥を含むパッチ(以下「欠陥パッチ」という。)は‘1’とラベリング(表示)され得る反面、一例によれば、残り(例えば、非欠陥)パッチは‘0’とラベリング(表示)され得る。
図3bに示されているように、一実施形態によれば、欠陥310が2個のパッチの境界または4個のパッチのコーナーで発見されるとき、その境界またはコーナーを共有する全てのパッチは欠陥パッチに分類される。一方、
図3bは説明を容易にするために第4複数のパッチ308のラベリング(表示)された欠陥パッチのみを示し、パッチ303、305、307のうちの欠陥310を含むパッチも欠陥に同様に分類され得る。
【0052】
手動でラベリング(表示)されたパッチセット(例えば、ラベリングされた第1〜第4複数のパッチ302、304、306、308は、セット(例えば、パッチ303、305、307、309)に含まれている各パッチに対応する特徴ベクトルと共に欠陥パッチおよび非欠陥パッチの両方ともを含み、その後に訓練データとしてSVM204に提供される。
【0053】
一実施形態によれば、検出モードで、画像分解部200は1つのパッチのセットのみを生成し(訓練モードで生成された複数のセットの代わりに)、この1つのパッチのセットは
図3aに示された第1複数のパッチ302に対応する(例えば、同一である)。
【0054】
図4aは、本発明の一実施形態により、ディスプレイパネル102の一つ以上の欠陥を検出するための欠陥検出システム100を訓練するためのプロセス400を示すフローチャートである。
【0055】
段階S402で、欠陥検出部106(例えば、画像分解部200)は一つ以上のホワイトスポット欠陥を含むことができるディスプレイパネル102の画像を受信する。
【0056】
段階S404で、画像分解部200は、画像を複数のパッチセット、例えば第1複数のパッチ302、第2複数のパッチ304、第3複数のパッチ306、および第4複数のパッチ308に分解(例えば、分割)することができる。パッチセットのそれぞれは複数のパッチ(例えば、303、305、307および309)を含むことができ、ディスプレイパネル102の画像301に対応してもよい。パッチのそれぞれは画像301のm×n画素領域(ここで、mおよびnは1より大きいかまたは等しい整数)に対応してもよい。パッチセットのそれぞれは、パッチセットのうちの他の一つからオフセットされて重畳してもよい。他の例によれば、パッチセットのうちの一つ以上(例えば、第1〜第4複数のパッチ302、304、306および308のうちの一つ以上)は画像の長さ方向および幅方向のうちの少なくとも一方向へのセットオフセット(例えば、1画素、2画素、4画素、16画素など)だけ互いにオフセットされていてもよい。
【0057】
段階S406で、欠陥検出部106(例えば、特徴抽出部202)は複数のパッチセットの各パッチに対する特徴ベクトルを生成することができる。生成された複数の特徴ベクトルはそれぞれ一つ以上の画像テクスチャ特徴および一つ以上の画像モーメント特徴を含むことができる。一つ以上の画像テクスチャ特徴はコントラストGLCMテクスチャ特徴および非類似GLCMテクスチャ特徴のうちの少なくとも一つを含むことができ、一つ以上の画像モーメント特徴は3次中心モーメント(μ
30)、第5Hu不変モーメント(I
5)および第1Hu不変モーメント(I
1)のうちの少なくとも一つを含むことができる。
【0058】
段階S408で、欠陥検出部106(例えば、マルチクラスサポートベクトルマシン(SVM)204)は複数のラベルを受信し、各ラベルは複数のパッチのうちの一つに対応してもよく、欠陥(例えば、ホワイトスポットのムラ欠陥)の存在または欠陥(例えば、ホワイトスポットのムラ欠陥)がないことを示すことができる。一例によれば、複数のラベルはパッチのそれぞれを視覚的に検査しラベルを生成する操作者によって生成され得る。
【0059】
段階S410で、欠陥検出部106(例えば、マルチクラスSVM204)は複数の特徴ベクトルおよび複数のラベルに基づいて一つ以上のホワイトスポットを検出するように訓練される。マルチクラスSVMは、欠陥を含む画像および欠陥を含まない画像の両方ともを用いて訓練され得る。
【0060】
図4bは、本発明の一実施形態により、欠陥検出部106を用いてディスプレイパネル102で一つ以上のホワイトスポット欠陥を検出するためのプロセス420を示すフローチャートである。
【0061】
段階S422で、欠陥検出部106(例えば、画像分解部200)は一つ以上のホワイトスポット欠陥を含むことができるディスプレイパネル102の画像301を受信する。
【0062】
段階S424で、欠陥検出部106(例えば、画像分解部200)は画像301を複数の非重畳パッチ303に分割し、非重畳パッチ303のそれぞれは画像301のmピクセル×n画素領域(ここで、mおよびnは1より大きいかまたは等しい整数である)に対応し、平均的なホワイトスポットのムラ欠陥よりも大きくてもよい。
【0063】
段階S426で、欠陥検出部106(例えば、特徴抽出部202)は複数のパッチ303の各パッチに対する特徴ベクトルを生成する。特徴ベクトルのそれぞれは、一つ以上の画像テクスチャ特徴および一つ以上の画像モーメント特徴を含むことができる。一つ以上の画像テクスチャ特徴はコントラストGLCMテクスチャ特徴および非類似GLCMテクスチャ特徴のうちの少なくとも一つを含むことができ、一つ以上の画像モーメント特徴は3次中心モーメント(μ
30)、第5Hu不変モーメント(I
5)、および第1Hu不変モーメント(I
1)のうちの少なくとも一つを含むことができる。
【0064】
段階S428で、欠陥検出部106はマルチクラスSVM204を用いて、複数の特徴ベクトルのそれぞれを用いて複数のパッチ303のそれぞれを分類する。マルチクラスSVM204による分類に基づいて、複数のパッチ303のそれぞれは欠陥を有しているか欠陥(例えば、ホワイトスポットムラ)がないものとしてラベリングされ得る。この例で、マルチクラスSVM204は、ホワイトスポットムラの分類のために訓練されていてもよい。他の例によれば、マルチクラスSVM204は、他のタイプのディスプレイパネルのムラ欠陥を識別するように訓練されてもよい。例えば、マルチクラスSVM204は、ブラックスポットムラ、領域ムラ(region Mura)、不純物ムラ(impurity Mura)、またはラインムラなどを識別するように訓練され得る。
【0065】
このように、本発明の実施形態は、欠陥検出だけでなく訓練目的のために、工場でディスプレイパネルの実際そのままの(即ち、シミュレーションされない)画像データを用いることができる効率的で精密な欠陥(例えば、ホワイトスポットのムラ欠陥)検出システムおよび方法を提供する。画像取得および欠陥検出システムは、人間の監督下に1度訓練されれば、自動および監督されない方式で動作して製造およびテスト中のディスプレイパネルの欠陥(例えば、ホワイトスポットのムラ欠陥)を検出することができる。したがって、このような自動化システムは、生産効率を向上させ人の肉眼検査の必要性を減らすか無くすことができる。また、一実施形態による欠陥検出システムは、いかなる欠陥でも位置を識別して欠陥の後続的な電子的補償を可能にし、これによってさらに高い生産収率およびさらに少ない全体的な生産費用が可能になる。
【0066】
“第1”、“第2”、“第3”などの用語は本明細書で多様な構成要素、領域、層および/またはセクションを説明するために使用され得るが、これら構成要素、領域、層および/またはセクションがこの用語によって制限されない。このような用語は一つの構成要素、領域、層またはセクションを他の構成要素、領域、層またはセクションと区別するのに使用され得る。したがって、上で議論された第1構成要素、第1領域、第1層または第1セクションなどは本発明の思想および範囲を逸脱せずに第2構成要素、第2領域、第2層または第2セクションなどと称され得る。
【0067】
本明細書で使用された用語は特定実施形態を説明するためのものであり、本発明の概念を制限しようとするのではない。本明細書で使用された単数形態は文脈上異なる指示をしない限り、複数形態を含むものとも意図される。本明細書で使用された“含む”の用語は、明示された特徴、整数、段階、動作および/または構成要素の存在を定義し、一つ以上の他の特徴、整数、段階、動作、構成要素および/またはこれらの組み合わせの存在または追加を排除しない。本明細書に使用されたような、“および/または”は一つ以上の関連して列挙された項目の任意および全ての組み合わせを含む。“少なくとも一つ”の表現が要素の目録の前に位置する時、要素の全体目録を修飾し、目録の個別要素を修飾しない。また、本発明の実施形態を記述する時、“できる”と言えば、“本発明概念の一つ以上の実施形態”を意味する。また、“例示的な”という用語は例または説明を意味する。
【0068】
要素または層が他の要素または層の“上に”、“接続された”、“結合された”または“隣接した”と言及される時、その要素または層は他の要素または層に対して直接“上に”、“接続された”、“結合された”または“隣接した”ものであり、または一つ以上の他の介在要素または層が存在してもよい。一つの要素または層が他の要素または層に対して“直接上に”、“直接的に接続された”、“直接結合された”または“直ぐ隣接した”と言及される時は、中間に介在する要素または層が存在しない。
【0069】
本明細書で使用された“実質的に”、“約”およびこれに類似の用語は近似の用語として用いられ、程度の用語として使用されず、当業者に認識される測定されるか計算された値に内在された変化を説明するものと意図される。
【0070】
本明細書に使用された“使用する。”、“使用する”および“使用された”の用語はそれぞれ“用いる”、“用いる”および“用いられた”の用語と同意語として見なされ得る。
【0071】
本発明の実施形態による欠陥検出システムおよび/または他の関連装置または構成要素は、適したハードウェア、ファームウェア(例えば、特殊用途の集積回路)、ソフトウェア、またはソフトウェア、ファームウェアおよびハードウェアの適切な組み合わせを用いて実現され得る。例えば、独立的なマルチソースディスプレイ装置の多様な構成要素は一つの集積回路(IC)チップまたは分離されたICチップ上に形成されてもよい。また、欠陥検出システムの多様な構成要素は可撓性印刷回路フィルム、テープキャリアパッケージ(TCP)、印刷回路基板(PCB)、または同一な基板上に実現され得る。また、欠陥検出システムの多様な構成要素は、一つ以上のプロセッサー上で実行され、一つ以上のコンピューティング装置で実行され、コンピュータプログラム命令を実行し、ここで説明された多様な機能を実行するための他のシステム構成要素と相互作用するプロセッサーまたはスレッド(thread)であり得る。コンピュータプログラム命令は、例えばランダムアクセスメモリ(RAM)のような標準メモリ装置を使用するコンピューティング装置で実現され得るメモリに保存されてもよい。コンピュータプログラム命令はまた、例えばCD−ROM、フラッシュドライブなどのような他の一時的でないコンピュータ読取可能媒体に保存されてもよい。また、当業者は多様なコンピューティング装置の機能が単一コンピューティング装置に結合されるか統合され、または特定コンピューティング装置の機能が本発明の例示的な実施形態の範囲から逸脱せず一つ以上の他のコンピューティング装置にかけて分散されていてもよい。
【0072】
本明細書で記載した画像モーメント(image moment)については、https://en.wikipedia.org/wiki/Image_momentの説明を参照することができ、その内容は次の通りである。
【0074】
本発明は、その例示的な実施形態に対する特定符号で具体的に説明されたが、ここに記述された実施形態はそれが全部であるとか発明を開示された正確な形態に本発明の権利範囲が制限されるわけではない。本発明の属する技術および技術分野の当業者は、説明された構造および組み立て方法の変形および変更が次の請求範囲に記述されたものとその均等範囲による本発明の原理、思想および範囲から有意味に逸脱せず実施され得るのを理解できる。
【符号の説明】
【0075】
100 欠陥検出システム
102 ディスプレイパネル
104 カメラ
106 欠陥検出部
108 プロセッサー
110 メモリ
112 操作者
200 画像分解部
202 特徴抽出部
204 サポートベクトルマシン
300、302、303、304、305、306、307、308、309 パッチ
301 画像
310 欠陥