ホーム > 特許ランキング > 株式会社ハイシンク創研
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-05
(45)【発行日】2022-12-13
(54)【発明の名称】機械学習を用いた画像検査方法および画像検査装置
(51)【国際特許分類】
G06T 7/00 20170101AFI20221206BHJP
G01N 21/88 20060101ALI20221206BHJP
【ＦＩ】
G06T7/00 350C
G06T7/00 610C
G01N21/88 J
【請求項の数】
13
(21)【出願番号】P 2018213622
(22)【出願日】2018-11-14
(65)【公開番号】P2020080092
(43)【公開日】2020-05-28
【審査請求日】2021-10-14
(73)【特許権者】
【識別番号】518405429
【氏名又は名称】株式会社ハイシンク創研
(74)【代理人】
【識別番号】100104695
【弁理士】
【氏名又は名称】島田 明宏
(74)【代理人】
【識別番号】100121348
【弁理士】
【氏名又は名称】川原 健児
(74)【代理人】
【識別番号】100114247
【氏名又は名称】奥田 邦廣
(74)【代理人】
【識別番号】100148459
【弁理士】
【氏名又は名称】河本 悟
(72)【発明者】
【氏名】趙 翹楚
(72)【発明者】
【氏名】生駒 孝夫
(72)【発明者】
【氏名】中村 眞
【審査官】新井 則和
(56)【参考文献】
【文献】特開平０８－２７２９７１（ＪＰ，Ａ）
【文献】特開２０１８－０２６６７９（ＪＰ，Ａ）
【文献】特開平０７－１５２８６２（ＪＰ，Ａ）
【文献】Phat Nguyen Kieu et al.，Applying Multi-CNNs model for detecting abnormal problem on chest x-ray images，2018 10th International Conference on Knowledge and Systems Engineering (KSE)，2018年11月03日，https://ieeexplore.ieee.org/document/8573404
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００－７／９０
Ｇ０１Ｎ ２１／８８
(57)【特許請求の範囲】
【請求項1】
機械学習を用いた画像検査方法であって、教師画像と被検査画像を２値化する２値化ステップと、
２値化後の前記教師画像から第１方向に長い複数の第１短冊画像を抽出し、２値化後の前記被検査画像から前記第１方向に長い複数の第２短冊画像を抽出する短冊画像抽出ステップと、
前記第１短冊画像を前記第１方向に並ぶ複数の第１部分画像に分割し、前記第１部分画像を並び順に従いリカレントニューラルネットワークに与えて、前記リカレントニューラルネットワークに学習させる学習ステップと、
前記第２短冊画像を前記第１方向に並ぶ複数の第２部分画像に分割し、前記第２部分画像を並び順に従い前記リカレントニューラルネットワークに与えて、前記第２短冊画像の良否を判別する判別ステップと、
前記第２短冊画像の良否の判別結果に基づき、前記被検査画像の良否を判別する画像判別ステップとを備えた、画像検査方法。
【請求項2】
前記リカレントニューラルネットワークは、第１および第２リカレントニューラルネットワークを含み、前記学習ステップは、前記第１部分画像を異なる並び順に従い前記第１および第２リカレントニューラルネットワークに与えて、前記第１および第２リカレントニューラルネットワークに学習させ、
前記判別ステップは、前記第２部分画像を異なる並び順に従い前記第１および第２リカレントニューラルネットワークに与えて、前記第１および第２リカレントニューラルネットワークの出力に基づき、前記第２短冊画像の良否を判別することを特徴とする、請求項１に記載の画像検査方法。
【請求項3】
前記短冊画像抽出ステップは、２値化後の前記教師画像から第２方向に長い複数の第３短冊画像を抽出し、２値化後の前記被検査画像から前記第２方向に長い複数の第４短冊画像を抽出し、前記学習ステップは、前記第３短冊画像を前記第２方向に並ぶ複数の第３部分画像に分割し、前記第３部分画像を並び順に従い前記リカレントニューラルネットワークに与えて、前記リカレントニューラルネットワークに学習させ、
前記判別ステップは、前記第４短冊画像を前記第２方向に並ぶ複数の第４部分画像に分割し、前記第４部分画像を並び順に従い前記リカレントニューラルネットワークに与えて、前記第４短冊画像の良否を判別し、
前記画像判別ステップは、前記第２および第４短冊画像の良否の判別結果に基づき、前記被検査画像の良否を判別することを特徴とする、請求項１に記載の画像検査方法。
【請求項4】
前記リカレントニューラルネットワークは、第１～第４リカレントニューラルネットワークを含み、前記学習ステップは、前記第１部分画像を異なる並び順に従い前記第１および第２リカレントニューラルネットワークに与え、前記第３部分画像を異なる並び順に従い前記第３および第４リカレントニューラルネットワークに与えて、前記第１～第４リカレントニューラルネットワークに学習させ、
前記判別ステップは、前記第２部分画像を異なる並び順に従い前記第１および第２リカレントニューラルネットワークに与えて、前記第１および第２リカレントニューラルネットワークの出力に基づき、前記第２短冊画像の良否を判別し、前記第４部分画像を異なる並び順に従い前記第３および第４リカレントニューラルネットワークに与えて、前記第３および第４リカレントニューラルネットワークの出力に基づき、前記第４短冊画像の良否を判別することを特徴とする、請求項３に記載の画像検査方法。
【請求項5】
前記２値化ステップは、対象画像に含まれる各画素について、短冊画像の短手方向に並ぶ所定範囲内の画素の画素値の統計量を閾値と比較することにより、前記対象画像を２値化することを特徴とする、請求項１～４のいずれかに記載の画像検査方法。
【請求項6】
前記短冊画像抽出ステップは、短手方向に重複する短冊画像を抽出することを特徴とする、請求項１～５のいずれかに記載の画像検査方法。
【請求項7】
前記短冊画像抽出ステップは、互いに重複しない短冊画像を抽出することを特徴とする、請求項１～５のいずれかに記載の画像検査方法。
【請求項8】
前記教師画像と前記被検査画像をグレースケール変換するステップをさらに備え、前記２値化ステップは、グレースケール変換後の前記教師画像とグレースケール変換後の前記被検査画像を２値化することを特徴とする、請求項１～７のいずれかに記載の画像検査方法。
【請求項9】
前記教師画像と前記被検査画像は、２次元状に繰り返し構造を有する画像であることを特徴とする、請求項１～８のいずれかに記載の画像検査方法。
【請求項10】
前記教師画像と前記被検査画像は、サーマルヘッドを用いて市松模様を印刷した結果を撮影した画像であることを特徴とする、請求項１、２、５、および、６のいずれかに記載の画像検査方法。
【請求項11】
前記教師画像と前記被検査画像は、市松模様を表示する液晶パネルの表示画面を撮影した画像であることを特徴とする、請求項１～６、および、８のいずれかに記載の画像検査方法。
【請求項12】
前記教師画像と前記被検査画像は、多連充填機の各ノズルからの単位時間あたりの充填量の測定結果を示す画像であることを特徴とする、請求項１、２、５、および、７のいずれかに記載の画像検査方法。
【請求項13】
機械学習を用いた画像検査装置であって、教師画像と被検査画像を２値化する２値化部と、
２値化後の前記教師画像から第１方向に長い複数の第１短冊画像を抽出し、２値化後の前記被検査画像から前記第１方向に長い複数の第２短冊画像を抽出する短冊画像抽出部と、
前記第１短冊画像が前記第１方向に並ぶ複数の第１部分画像に分割され、前記第１部分画像が並び順に従い与えられたときに学習を行い、前記第２短冊画像が前記第１方向に並ぶ複数の第２部分画像に分割され、前記第２部分画像が並び順に従い与えられたときに前記第２短冊画像の良否を判別するリカレントニューラルネットワークと、
前記第２短冊画像の良否の判別結果に基づき、前記被検査画像の良否を判別する画像判別部とを備えた、画像検査装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、機械学習を用いた情報処理に関し、特に、機械学習を用いた画像検査方法および画像検査装置に関する。
【背景技術】
【0002】
従来から、検査員が製品の外観や出力を目視で確認することにより、製品の欠陥の有無を判別する目視検査が広く行われている。近年では、目視検査を代替または補完する方法として、製品の外観や出力などを撮影した画像（以下、被検査画像という）の良否を判別することにより、製品の欠陥の有無を判別する画像検査も行われている。
【0003】
目視検査は、比較的導入しやすい検査方法である。しかし、目視検査には検査員が必要とされ、目視検査の精度を高くするためには熟練した検査員が必要とされる。このため、目視検査には検査員の分だけコストが高くなるという問題がある。また、目視検査には検査結果が検査員の主観的な判断に依存するという問題もある。
【0004】
画像検査は、目視検査において検査員が行う処理をコンピュータなどを用いて行うものである。従来の典型的な画像検査では、テンプレートマッチングが行われる。テンプレートマッチングでは、欠陥のない製品や欠陥のある製品の外観や出力などを撮影した画像がテンプレート画像として使用される。テンプレートマッチングによれば、被検査画像とテンプレート画像を比較することにより、被検査画像の良否を判別し、製品の欠陥の有無を判別することができる。
【0005】
近年では、機械学習を用いた画像検査も考案されている。例えば、特許文献１には、コンボリューショナル・ニューラルネットワークを用いた画像検査装置について記載されている。非特許文献１には、バリエーショナル・オートエンコーダと呼ばれるニューラルネットワークを用いて画像の特徴を分析し、分析結果を用いて画像の良否を判別する方法について記載されている。
【先行技術文献】
【特許文献】
【0006】
【文献】特開２０１８－５６４０号公報
【非特許文献】
【0007】
【文献】T. Kumarage 、他４名、“Anomaly Detection in Industrial Software Systems Using Variational Autoencoders ”、Proceedings of the 7th International Conference on Pattern Recognition Applications and Methods 、２０１８年、ｐｐ．４４０－４４７
【発明の概要】
【発明が解決しようとする課題】
【0008】
テンプレートマッチングを行う従来の画像検査には、検査精度が低いという問題がある。その原因として、被検査画像における欠陥の発生態様は無数にあるにもかかわらず、テンプレートマッチングでは被検査画像を限られた数のテンプレート画像とだけ比較することが挙げられる。
【0009】
また、微小かつ局所的で許容できる欠陥（以下、微小欠陥という）を製品が有する場合、従来の画像検査では製品に欠陥はないと判別される。しかし、微小欠陥が製造装置の不良に起因する場合には、画像検査によって微小欠陥も検出できることが好ましい。従来の画像検査では、製造装置の不良に起因する微小欠陥を検出することができない。
【0010】
それ故に、本発明は、高精度かつ容易に実行でき、製造装置の不良に起因する微小欠陥も検出できる画像検査方法および画像検査装置を提供することを目的とする。
【課題を解決するための手段】
【0011】
本発明の第１の局面は、機械学習を用いた画像検査方法であって、
教師画像と被検査画像を２値化する２値化ステップと、
２値化後の前記教師画像から第１方向に長い複数の第１短冊画像を抽出し、２値化後の前記被検査画像から前記第１方向に長い複数の第２短冊画像を抽出する短冊画像抽出ステップと、
前記第１短冊画像を前記第１方向に並ぶ複数の第１部分画像に分割し、前記第１部分画像を並び順に従いリカレントニューラルネットワークに与えて、前記リカレントニューラルネットワークに学習させる学習ステップと、
前記第２短冊画像を前記第１方向に並ぶ複数の第２部分画像に分割し、前記第２部分画像を並び順に従い前記リカレントニューラルネットワークに与えて、前記第２短冊画像の良否を判別する判別ステップと、
前記第２短冊画像の良否の判別結果に基づき、前記被検査画像の良否を判別する画像判別ステップとを備える。
教師画像と被検査画像を２値化する２値化ステップと、
２値化後の前記教師画像から第１方向に長い複数の第１短冊画像を抽出し、２値化後の前記被検査画像から前記第１方向に長い複数の第２短冊画像を抽出する短冊画像抽出ステップと、
前記第１短冊画像を前記第１方向に並ぶ複数の第１部分画像に分割し、前記第１部分画像を並び順に従いリカレントニューラルネットワークに与えて、前記リカレントニューラルネットワークに学習させる学習ステップと、
前記第２短冊画像を前記第１方向に並ぶ複数の第２部分画像に分割し、前記第２部分画像を並び順に従い前記リカレントニューラルネットワークに与えて、前記第２短冊画像の良否を判別する判別ステップと、
前記第２短冊画像の良否の判別結果に基づき、前記被検査画像の良否を判別する画像判別ステップとを備える。
【0012】
本発明の第２の局面は、本発明の第１の局面において、
前記リカレントニューラルネットワークは、第１および第２リカレントニューラルネットワークを含み、
前記学習ステップは、前記第１部分画像を異なる並び順に従い前記第１および第２リカレントニューラルネットワークに与えて、前記第１および第２リカレントニューラルネットワークに学習させ、
前記判別ステップは、前記第２部分画像を異なる並び順に従い前記第１および第２リカレントニューラルネットワークに与えて、前記第１および第２リカレントニューラルネットワークの出力に基づき、前記第２短冊画像の良否を判別することを特徴とする。
前記リカレントニューラルネットワークは、第１および第２リカレントニューラルネットワークを含み、
前記学習ステップは、前記第１部分画像を異なる並び順に従い前記第１および第２リカレントニューラルネットワークに与えて、前記第１および第２リカレントニューラルネットワークに学習させ、
前記判別ステップは、前記第２部分画像を異なる並び順に従い前記第１および第２リカレントニューラルネットワークに与えて、前記第１および第２リカレントニューラルネットワークの出力に基づき、前記第２短冊画像の良否を判別することを特徴とする。
【0013】
本発明の第３の局面は、本発明の第１の局面において、
前記短冊画像抽出ステップは、２値化後の前記教師画像から第２方向に長い複数の第３短冊画像を抽出し、２値化後の前記被検査画像から前記第２方向に長い複数の第４短冊画像を抽出し、
前記学習ステップは、前記第３短冊画像を前記第２方向に並ぶ複数の第３部分画像に分割し、前記第３部分画像を並び順に従い前記リカレントニューラルネットワークに与えて、前記リカレントニューラルネットワークに学習させ、
前記判別ステップは、前記第４短冊画像を前記第２方向に並ぶ複数の第４部分画像に分割し、前記第４部分画像を並び順に従い前記リカレントニューラルネットワークに与えて、前記第４短冊画像の良否を判別し、
前記画像判別ステップは、前記第２および第４短冊画像の良否の判別結果に基づき、前記被検査画像の良否を判別することを特徴とする。
前記短冊画像抽出ステップは、２値化後の前記教師画像から第２方向に長い複数の第３短冊画像を抽出し、２値化後の前記被検査画像から前記第２方向に長い複数の第４短冊画像を抽出し、
前記学習ステップは、前記第３短冊画像を前記第２方向に並ぶ複数の第３部分画像に分割し、前記第３部分画像を並び順に従い前記リカレントニューラルネットワークに与えて、前記リカレントニューラルネットワークに学習させ、
前記判別ステップは、前記第４短冊画像を前記第２方向に並ぶ複数の第４部分画像に分割し、前記第４部分画像を並び順に従い前記リカレントニューラルネットワークに与えて、前記第４短冊画像の良否を判別し、
前記画像判別ステップは、前記第２および第４短冊画像の良否の判別結果に基づき、前記被検査画像の良否を判別することを特徴とする。
【0014】
本発明の第４の局面は、本発明の第３の局面において、
前記リカレントニューラルネットワークは、第１～第４リカレントニューラルネットワークを含み、
前記学習ステップは、前記第１部分画像を異なる並び順に従い前記第１および第２リカレントニューラルネットワークに与え、前記第３部分画像を異なる並び順に従い前記第３および第４リカレントニューラルネットワークに与えて、前記第１～第４リカレントニューラルネットワークに学習させ、
前記判別ステップは、前記第２部分画像を異なる並び順に従い前記第１および第２リカレントニューラルネットワークに与えて、前記第１および第２リカレントニューラルネットワークの出力に基づき、前記第２短冊画像の良否を判別し、前記第４部分画像を異なる並び順に従い前記第３および第４リカレントニューラルネットワークに与えて、前記第３および第４リカレントニューラルネットワークの出力に基づき、前記第４短冊画像の良否を判別することを特徴とする。
前記リカレントニューラルネットワークは、第１～第４リカレントニューラルネットワークを含み、
前記学習ステップは、前記第１部分画像を異なる並び順に従い前記第１および第２リカレントニューラルネットワークに与え、前記第３部分画像を異なる並び順に従い前記第３および第４リカレントニューラルネットワークに与えて、前記第１～第４リカレントニューラルネットワークに学習させ、
前記判別ステップは、前記第２部分画像を異なる並び順に従い前記第１および第２リカレントニューラルネットワークに与えて、前記第１および第２リカレントニューラルネットワークの出力に基づき、前記第２短冊画像の良否を判別し、前記第４部分画像を異なる並び順に従い前記第３および第４リカレントニューラルネットワークに与えて、前記第３および第４リカレントニューラルネットワークの出力に基づき、前記第４短冊画像の良否を判別することを特徴とする。
【0015】
本発明の第５の局面は、本発明の第１～第４のいずれかの局面において、
前記２値化ステップは、対象画像に含まれる各画素について、短冊画像の短手方向に並ぶ所定範囲内の画素の画素値の統計量を閾値と比較することにより、前記対象画像を２値化することを特徴とする。
前記２値化ステップは、対象画像に含まれる各画素について、短冊画像の短手方向に並ぶ所定範囲内の画素の画素値の統計量を閾値と比較することにより、前記対象画像を２値化することを特徴とする。
【0016】
本発明の第６の局面は、本発明の第１～第５のいずれかの局面において、
前記短冊画像抽出ステップは、短手方向に重複する短冊画像を抽出することを特徴とする。
前記短冊画像抽出ステップは、短手方向に重複する短冊画像を抽出することを特徴とする。
【0017】
本発明の第７の局面は、本発明の第１～第５のいずれかの局面において、
前記短冊画像抽出ステップは、互いに重複しない短冊画像を抽出することを特徴とする。
前記短冊画像抽出ステップは、互いに重複しない短冊画像を抽出することを特徴とする。
【0018】
本発明の第８の局面は、本発明の第１～第７のいずれかの局面において、
前記教師画像と前記被検査画像をグレースケール変換するステップをさらに備え、
前記２値化ステップは、グレースケール変換後の前記教師画像とグレースケール変換後の前記被検査画像を２値化することを特徴とする。
前記教師画像と前記被検査画像をグレースケール変換するステップをさらに備え、
前記２値化ステップは、グレースケール変換後の前記教師画像とグレースケール変換後の前記被検査画像を２値化することを特徴とする。
【0019】
本発明の第９の局面は、本発明の第１～第８のいずれかの局面において、
前記教師画像と前記被検査画像は、２次元状に繰り返し構造を有する画像であることを特徴とする。
前記教師画像と前記被検査画像は、２次元状に繰り返し構造を有する画像であることを特徴とする。
【0020】
本発明の第１０の局面は、本発明の第１、第２、第５、および、第６のいずれかの局面において、
前記教師画像と前記被検査画像は、サーマルヘッドを用いて市松模様を印刷した結果を撮影した画像であることを特徴とする。
前記教師画像と前記被検査画像は、サーマルヘッドを用いて市松模様を印刷した結果を撮影した画像であることを特徴とする。
【0021】
本発明の第１１の局面は、本発明の第１～第６、および、第８のいずれかの局面において、
前記教師画像と前記被検査画像は、市松模様を表示する液晶パネルの表示画面を撮影した画像であることを特徴とする。
前記教師画像と前記被検査画像は、市松模様を表示する液晶パネルの表示画面を撮影した画像であることを特徴とする。
【0022】
本発明の第１２の局面は、本発明の第１、第２、第５、および、第７のいずれかの局面において、
前記教師画像と前記被検査画像は、多連充填機の各ノズルからの単位時間あたりの充填量の測定結果を示す画像であることを特徴とする。
前記教師画像と前記被検査画像は、多連充填機の各ノズルからの単位時間あたりの充填量の測定結果を示す画像であることを特徴とする。
【0023】
本発明の第１３の局面は、機械学習を用いた画像検査装置であって、
教師画像と被検査画像を２値化する２値化部と、
２値化後の前記教師画像から第１方向に長い複数の第１短冊画像を抽出し、２値化後の前記被検査画像から前記第１方向に長い複数の第２短冊画像を抽出する短冊画像抽出部と、
前記第１短冊画像が前記第１方向に並ぶ複数の第１部分画像に分割され、前記第１部分画像が並び順に従い与えられたときに学習を行い、前記第２短冊画像が前記第１方向に並ぶ複数の第２部分画像に分割され、前記第２部分画像が並び順に従い与えられたときに前記第２短冊画像の良否を判別するリカレントニューラルネットワークと、
前記第２短冊画像の良否の判別結果に基づき、前記被検査画像の良否を判別する画像判別部とを備える。
教師画像と被検査画像を２値化する２値化部と、
２値化後の前記教師画像から第１方向に長い複数の第１短冊画像を抽出し、２値化後の前記被検査画像から前記第１方向に長い複数の第２短冊画像を抽出する短冊画像抽出部と、
前記第１短冊画像が前記第１方向に並ぶ複数の第１部分画像に分割され、前記第１部分画像が並び順に従い与えられたときに学習を行い、前記第２短冊画像が前記第１方向に並ぶ複数の第２部分画像に分割され、前記第２部分画像が並び順に従い与えられたときに前記第２短冊画像の良否を判別するリカレントニューラルネットワークと、
前記第２短冊画像の良否の判別結果に基づき、前記被検査画像の良否を判別する画像判別部とを備える。
【発明の効果】
【0024】
上記第１または第１３の局面によれば、教師画像を複数の第１短冊画像に分割し、第１短冊画像を複数の第１部分画像に分割し、第１部分画像を並び順にリカレントニューラルネットワーク（Recurrent Neural Network：以下、ＲＮＮという）に与えることにより、教師画像の変化パターンをＲＮＮに学習させることができる。その後に、被検査画像を複数の第２短冊画像に分割し、第２短冊画像を複数の第２部分画像に分割し、第２部分画像を並び順に学習済みのＲＮＮに与えることにより、被検査画像が教師画像と同様の変化パターンを有するか否かを判別して、被検査画像の良否を判別することができる。また、短冊画像を用いて学習と判別を行うことにより、演算量を削減しながら検査精度を高くすることができる。また、ＲＮＮの学習が完了した後に、学習済みのＲＮＮを用いて画像検査を高速に行うことができる。また、第２短冊画像の良否の判別結果に基づき、被検査画像における欠陥の位置を特定することができる。また、製造装置の不良に起因して、被検査画像に第１方向に連続する微小欠陥が発生した場合に、この微小欠陥を検出することができる。したがって、高精度かつ容易に実行でき、製造装置の不良に起因する微小欠陥も検出できる画像検査方法または画像検査装置を提供することができる。
【0025】
上記第２の局面によれば、短冊画像を複数の部分画像に分割し、得られた部分画像を一端側から順に第１ＲＮＮに与え、他端側から順に第２ＲＮＮに与えることにより、２個のＲＮＮを用いて２種類の学習と判別を行い、検査精度を高くすることができる。
【0026】
上記第３の局面によれば、教師画像と被検査画像を第１方向に長い短冊画像に分割して学習と判別を行うと共に、教師画像と被検査画像を第２方向に長い短冊画像に分割して学習と判別を行うことにより、検査精度を高くすることができる。また、製造装置の不良に起因して、被検査画像に第１方向に連続した微小欠陥が発生する場合だけでなく、被検査画像に第２方向に連続する微小欠陥が発生した場合にも、これらの微小欠陥を検出することができる。
【0027】
上記第４の局面によれば、第１方向に長い短冊画像を複数の部分画像に分割し、得られた部分画像を一端側から順に第１ＲＮＮに与え、他端側から順に第２ＲＮＮに与えると共に、第２方向に長い短冊画像を複数の部分画像に分割し、得られた部分画像を一端側から順に第３ＲＮＮに与え、部分画像を他端側から順に第４ＲＮＮに与えることにより、４個のＲＮＮを用いて４種類の学習と判別を行い、検査精度を高くすることができる。
【0028】
上記第５の局面によれば、対象画像に含まれる各画素について、所定範囲内の画素の画素値の統計量を閾値と比較することにより、対象画像の特定の部分だけを考慮して、ノイズ耐性を高くしながら対象画像を２値化することができる。
【0029】
上記第６の局面によれば、対象画像から短手方向に重複する短冊画像を抽出することにより、短冊画像の良否の判別結果に基づき、被検査画像における欠陥の位置を高い精度で特定することができる。
【0030】
上記第７の局面によれば、対象画像から互いに重複しない短冊画像を抽出することにより、演算量を削減し、学習と判別を高速に行うことができる。
【0031】
上記第８の局面によれば、教師画像と被検査画像がカラー画像である場合に、これらの画像をグレースケール変換することにより、学習と判別を効果的に行うことができる。
【0032】
上記第９の局面によれば、教師画像と被検査画像が２次元状に繰り返し構造を有する画像である場合に、画像検査を高精度かつ容易に実行し、製造装置の不良に起因する微小欠陥も検出することができる。
【0033】
上記第１０の局面によれば、教師画像と被検査画像がサーマルヘッドを用いて市松模様を印刷した結果を撮影した画像である場合に、画像検査を高精度かつ容易に実行し、サーマルヘッドの欠陥の有無を判別することができる。
【0034】
上記第１１の局面によれば、教師画像と被検査画像が市松模様を表示する液晶パネルの表示画面を撮影した画像である場合に、画像検査を高精度かつ容易に実行し、液晶パネルの欠陥の有無を判別することができる。
【0035】
上記第１２の局面によれば、教師画像と被検査画像が多連充填機の各ノズルからの単位時間あたりの充填量を示す画像である場合に、画像検査を高精度かつ容易に実行し、多連充填機のノズルの欠陥の有無を判別することができる。
【図面の簡単な説明】
【0036】
【図1】本発明の第１の実施形態に係る画像検査装置の構成を示すブロック図である。
【図8】本発明の第２の実施形態に係る画像検査装置の構成を示すブロック図である。
【図13】本発明の第３の実施形態に係る画像検査装置に入力される被検査画像を示す図である。
【図14】本発明の第３の実施形態に係る画像検査装置における短冊画像の抽出方法を示す図である。
【発明を実施するための形態】
【0037】
以下、図面を参照して、本発明の各実施形態に係る画像検査方法および画像検査装置について説明する。画像検査装置には、複数の教師画像と１枚以上の被検査画像とが入力される。画像検査装置は、ＲＮＮ（Recurrent Neural Network）を備え、複数の教師画像を用いてＲＮＮを学習させた後に、学習済みのＲＮＮを用いて被検査画像の良否を判別する。ＲＮＮは、時系列データを扱うことができるニューラルネットワークの一種である。
【0038】
画像検査装置は、例えば、ＣＰＵ、メインメモリ、記憶部、入力部、表示部などを含むコンピュータを用いて構成することができる。コンピュータの記憶部に教師画像、被検査画像、および、画像検査プログラムが記憶されている場合に、画像検査プログラムを記憶部からメインメモリに複写転送し、ＣＰＵがメインメモリに記憶された画像検査プログラムを実行することにより、コンピュータを画像検査装置として機能させることができる。また、学習と判別を高速に行うために、ＲＮＮに関する処理を行う専用回路を含むコンピュータを用いて画像検査装置を構成してもよい。画像検査方法は、このような画像検査装置を用いて実行される。
【0039】
（第１の実施形態）
第１の実施形態では、サーマルヘッドによる印刷結果を撮影した画像を検査することにより、サーマルヘッドの欠陥の有無を判別する画像検査方法および画像検査装置について説明する。図１は、本発明の第１の実施形態に係る画像検査装置の構成を示すブロック図である。図１に示す画像検査装置１０は、２値化部１１、短冊画像抽出部１２、ＲＮＮ部１３、および、画像判別部１４を備えている。
第１の実施形態では、サーマルヘッドによる印刷結果を撮影した画像を検査することにより、サーマルヘッドの欠陥の有無を判別する画像検査方法および画像検査装置について説明する。図１は、本発明の第１の実施形態に係る画像検査装置の構成を示すブロック図である。図１に示す画像検査装置１０は、２値化部１１、短冊画像抽出部１２、ＲＮＮ部１３、および、画像判別部１４を備えている。
【0040】
サーマルヘッドは、用紙（感熱紙）に２値画像を印刷するサーマルヘッドプリンタに内蔵される。サーマルヘッドは、１次元状に配置された複数の発熱体を含んでいる。サーマルヘッドは、２値の画像データに含まれる１行分の画素データに応じて各発熱体の温度を切り替えることにより、白画素と黒画素を含む２値画像の１行分を用紙に印刷する。サーマルヘッドプリンタは、用紙を紙送りしながら２値画像の１行分を順に印刷することにより、用紙に２値画像を印刷する。
【0041】
図２および図３は、画像検査装置１０に入力される被検査画像を示す図である。本実施形態に係る被検査画像は、サーマルヘッドを用いて市松模様を印刷した結果を撮影したグレースケール画像である。図２および図３には、被検査画像の一部が拡大して記載されている。市松模様に含まれる白領域および黒領域のサイズは、サーマルヘッドによって印刷される１個の画素のサイズに等しい。教師画像は、被検査画像と同じ形式と同じ内容を有する。以下、サーマルヘッドの発熱体が並ぶ方向は図面の水平方向であり、サーマルヘッドプリンタの印刷順序の方向（紙送り方向）は図面の垂直方向であるとする。また、画像や矩形領域の長手方向が第１方向であるときに「第１方向に長い」という。
【0042】
サーマルヘッドの発熱体には、欠陥がランダムに発生する。欠陥のある発熱体は、固定的に低温または高温になるので、用紙に白画素または黒画素のいずれか一方しか印刷できない。このため、発熱体に欠陥が発生した場合、印刷結果には印刷順序の方向に延伸する白筋または黒筋が発生する。この場合、図３に示すように、被検査画像にも同様の白筋または黒筋が発生する。
【0043】
画像検査装置１０は、被検査画像が白筋または黒筋を含むか否かを含めて、被検査画像の良否を判別する。この判別を正しく行うために、被検査画像には印刷結果に含まれる画素が大きく写っている必要がある。以下の説明では、印刷結果に含まれる１個の画素は、被検査画像では被検査画像の（Ｌ×Ｌ）個の画素と同じサイズに写っているとする。
【0044】
図４は、画像検査装置１０の動作を示すフローチャートである。図４に示す処理を行う前に、教師画像の良否、および、教師画像に含まれる欠陥の位置は既知であるとする。画像検査装置１０は、ステップＳ１１１～Ｓ１１５において、複数の教師画像を用いてＲＮＮ部１３に含まれるＲＮＮに学習させる。これにより、学習済みのＲＮＮが得られる。画像検査装置１０は、ステップＳ１２１～Ｓ１２６において、学習済みのＲＮＮを用いて被検査画像の良否を判別する。これにより、サーマルヘッドの欠陥の有無を判別することができる。ＲＮＮ部１３は、２個のＲＮＮを含んでいる（詳細は後述）。ここでは、２個のＲＮＮを合わせてＲＮＮという。
【0045】
画像検査装置１０には、まず、１枚の教師画像が入力される（ステップＳ１１１）。次に、２値化部１１は、入力された教師画像を２値化する（ステップＳ１１２）。次に、短冊画像抽出部１２は、２値化後の教師画像から印刷順序の方向に長い複数の短冊画像を抽出する（ステップＳ１１３）。次に、画像検査装置１０は、ステップＳ１１３で抽出した複数の短冊画像を順にＲＮＮ部１３に含まれるＲＮＮに与えて、ＲＮＮに学習させる（ステップＳ１１４）。次に、画像検査装置１０は、すべての教師画像を入力済みか否かを判断し、Ｙｅｓの場合にはステップＳ１２１へ進み、Ｎｏの場合にはステップＳ１１１へ進む（ステップＳ１１５）。
【0046】
前者の場合、画像検査装置１０には、１枚の被検査画像が入力される（ステップＳ１２１）。次に、２値化部１１は、入力された被検査画像を２値化する（ステップＳ１２２）。次に、短冊画像抽出部１２は、２値化後の被検査画像から印刷順序の方向に長い複数の短冊画像を抽出する（ステップＳ１２３）。次に、画像検査装置１０は、ステップＳ１２３で抽出した複数の短冊画像を順に学習済みのＲＮＮに与えて、短冊画像の良否を個別に判別する（ステップＳ１２４）。次に、画像判別部１４は、短冊画像の判別結果に基づき、ステップＳ１２１で入力された被検査画像の良否を判別する（ステップＳ１２５）。次に、画像検査装置１０は、すべての被検査画像を入力済みか否を判断し、Ｙｅｓの場合は処理を終了し、Ｎｏの場合にはステップＳ１２１へ進む（ステップＳ１２６）。
【0047】
サーマルヘッドによる印刷結果において白画素と黒画素が隣接している場合、白画素と黒画素の境界付近において、印刷物の色は白と黒の間の中間色になる。この場合、教師画像と被検査画像にも、白領域と黒領域の境界付近に中間色の画素が含まれる。教師画像と被検査画像が中間色の画素を含む場合、白筋や黒筋を認識しにくくなり、ＲＮＮによる学習が妨げられる。このため、２値化部１１は、ステップＳ１１２、Ｓ１２２において教師画像または被検査画像（以下、対象画像という）を同じ方法で２値化する。
【0048】
２値化部１１は、対象画像に含まれる各画素について、短冊画像の短手方向に並ぶ所定範囲内の画素の画素値の統計量を閾値と比較することにより、対象画像を２値化する。より詳細には、２値化部１１は、対象画素を中心として発熱体が並ぶ方向に長い１次元のウインドウを設定し、ウインドウ内の画素の画素値の２乗平均値を求め、求めた２乗平均値を閾値と比較することにより、２値化後の対象画素の画素値を求める。ウインドウサイズをｗ、ウインドウ内の画素の画素値をＸ-w～Ｘw としたとき、ウインドウ内の画素の画素値の２乗平均値Ｘrms は次式（１）で与えられる。
２値化後の対象画素の画素値は、２乗平均値Ｘrms が予め定めた閾値ＴＨ以上のときには白に対応する値１に設定され、２乗平均値Ｘrms が閾値ＴＨ未満のときには黒に対応する値０に設定される。
【数1】
【0049】
従来の典型的な２値化では、対象画像の全体について画素値のヒストグラムを求め、求めたヒストグラムに基づき閾値を決定し、決定した閾値を対象画像の全体に適用する。しかし、サーマルヘッドによる印刷結果では、画素値が同じでも、画素値の局所的な変化によって正常である場合と異常である場合とがあるので、２値化の結果に歪みが生じる。そこで、２値化部１１は、ウインドウ内の画素の画素値だけを参照して２値化を行う。これにより、ノイズ耐性を高くしながら対象画像を２値化することができる。
【0050】
図５は、短冊画像抽出部１２による短冊画像の抽出方法を示す図である。短冊画像抽出部１２は、ステップＳ１１３、Ｓ１２３において対象画像から同じ方法で短冊画像を抽出する。図５において、Ａ１、Ａ３、Ａ５、…は、対象画像に写っている、印刷結果に含まれる画素の境界線を示す。Ａ２、Ａ４、Ａ６、…は、対象画像に写っている、印刷結果に含まれる画素の中心線を示す。
【0051】
図５に示す例では、境界線Ａ１と中心線Ａ４に挟まれた部分が、ｉ番目の短冊画像Ｓｉとして抽出される。次に、中心線Ａ２と境界線Ａ５に挟まれた部分が、（ｉ＋１）番目の短冊画像Ｓｉ＋１として抽出される。以下、同様に、境界線Ａ３と中心線Ａ６に挟まれた部分が（ｉ＋２）番目の短冊画像として抽出され、中心線Ａ４と境界線Ａ７に挟まれた部分が（ｉ＋３）番目の短冊画像として抽出される。
【0052】
短冊画像の高さは、対象画像の高さに等しい。短冊画像の幅は、対象画像に含まれる画素の幅の（１．５×Ｌ）倍に等しい。この幅は、印刷結果に含まれる画素の幅の１．５倍に相当する。短冊画像を抽出する間隔は、対象画像に含まれる画素の幅の（０．５×Ｌ）倍に等しい。この間隔は、印刷結果に含まれる画素の幅の０．５倍に相当する。このため、短冊画像は短手方向に重複し、短冊画像の境界線は印刷結果に含まれる画素の境界線または中央線に一致する。このように短冊画像抽出部１２は、対象画像から短手方向に重複する短冊画像を抽出する。なお、Ｌが整数でない場合には、短冊画像抽出部１２は短冊画像の抽出位置を微調整する。
【0053】
図６は、ＲＮＮ部１３の詳細を示すブロック図である。図６に示すように、ＲＮＮ部１３は、フォワードＲＮＮ１３１、バックワードＲＮＮ１３２、出力連結部１３３、全結合層１３４、および、パラメータ制御部１３５を含んでいる。フォワードＲＮＮ１３１とバックワードＲＮＮ１３２は、ニューラルネットワークのパラメータ（図示せず）を記憶する。フォワードＲＮＮ１３１とバックワードＲＮＮ１３２には、対象画像から抽出された短冊画像Ｓｉが入力される。フォワードＲＮＮ１３１とバックワードＲＮＮ１３２は、入力された短冊画像Ｓｉに対して演算を行う。
【0054】
図７は、ＲＮＮ部１３の動作を説明するための図である。図７には、短冊画像Ｓｉが、長手方向を図面の水平方向に一致させて記載されている。短冊画像Ｓｉは、ｍ個の行（斜線部）を含む。図７に示すＳＳ１～ＳＳｍは、それぞれ、短冊画像Ｓｉの１～ｍ行目である。このように短冊画像Ｓｉは、印刷順序の方向に並ぶ複数の部分画像に分割される。
【0055】
フォワードＲＮＮ１３１は、１つ前の時刻の出力と現在時刻の入力とに基づき、現在時刻の出力を求める。フォワードＲＮＮ１３１には、短冊画像Ｓｉの各行が行番号の昇順に入力される。フォワードＲＮＮ１３１は、行番号の昇順に入力された短冊画像Ｓｉの行と内部に記憶したパラメータとの間で行列演算を行う。バックワードＲＮＮ１３２は、１つ後の時刻の出力と現在時刻の入力とに基づき、現在時刻の出力を求める。バックワードＲＮＮ１３２には、短冊画像Ｓｉの各行が行番号の降順に入力される。バックワードＲＮＮ１３２は、行番号の降順に入力された短冊画像Ｓｉの行と内部に記憶したパラメータとの間で行列演算を行う。
【0056】
フォワードＲＮＮ１３１とバックワードＲＮＮ１３２は、短冊画像Ｓｉの入力が完了したときに、短冊画像Ｓｉに関する演算結果を出力する。出力連結部１３３は、フォワードＲＮＮ１３１から出力された演算結果とバックワードＲＮＮ１３２から出力された演算結果とを連結する。全結合層１３４は、出力連結部１３３の出力に基づき短冊画像Ｓｉの良否を判別し、判別結果Ｒｉを出力する。
【0057】
ステップＳ１１４では、パラメータ制御部１３５は、判別結果Ｒｉと教師画像の良否との間のクロスエントロピーを求め、求めたクロスエントロピーを用いてバックプロパゲーションを行うことにより、フォワードＲＮＮ１３１とバックワードＲＮＮ１３２に記憶されたパラメータを更新する。ステップＳ１２４では、ＲＮＮ部１３から画像判別部１４に判別結果Ｒｉが出力される。
【0058】
画像判別部１４は、ステップＳ１２５において、いずれかの短冊画像の判別結果が不良のときには「被検査画像は不良」と判別し、それ以外のときには「被検査画像は良品」と判別する。画像判別部１４は、ステップＳ１２５において、以下の方法で被検査画像に含まれる欠陥の位置を求める。
【0059】
ここでは、ｉ～（ｉ＋２）番目の短冊画像を、それぞれ、Ｓａ、Ｓｂ、Ｓｃという。短冊画像Ｓａ、Ｓｂは良品、短冊画像Ｓｃは不良と判別されたときには、画像判別部１４は「欠陥は短冊画像Ｓｃの右半分にある」と判別する。短冊画像Ｓｂ、Ｓｃは良品、短冊画像Ｓａは不良と判別されたときには、画像判別部１４は「欠陥は短冊画像Ｓａの左半分にある」と判別する。短冊画像Ｓａは良品、短冊画像Ｓｂ、Ｓｃは不良と判別されたときには、画像判別部１４は「欠陥は短冊画像Ｓｂ、Ｓｃの重複部分にある」と判別する。短冊画像Ｓｃは良品、短冊画像Ｓａ、Ｓｂは不良と判別されたときには、画像判別部１４は「欠陥は短冊画像Ｓａ、Ｓｂの重複部分にある」と判別する。短冊画像Ｓｂは良品、短冊画像Ｓａ、Ｓｃは不良と判別されたときには、画像判別部１４は「欠陥は短冊画像Ｓａの左半分または短冊画像Ｓｃの右半分にある」と判別する。短冊画像Ｓａ、Ｓｂ、Ｓｃはすべて不良と判別されたときには、画像判別部１４は「短冊画像Ｓｂには必ず欠陥がある」と判別する。この場合、画像判別部１４は、他の短冊画像の判別結果を参照して、短冊画像Ｓａ、Ｓｃの欠陥の有無を判別する。短冊画像Ｓａ、Ｓｃは良品、短冊画像Ｓｂは不良と判別されたときには、矛盾が発生している。この場合、画像判別部１４は、他の方法による検査結果を参照して、短冊画像Ｓａ、Ｓｂ、Ｓｃの欠陥の有無を判別する。
【0060】
以上に示すように、本実施形態に係る画像検査方法は、教師画像と被検査画像を２値化する２値化ステップ（Ｓ１１２、Ｓ１２２）と、２値化後の教師画像から第１方向（印刷順序の方向）に長い複数の第１短冊画像（短冊画像Ｓｉ）を抽出し、２値化後の被検査画像から第１方向に長い複数の第２短冊画像（短冊画像Ｓｉ）を抽出する短冊画像抽出ステップ（Ｓ１１３、Ｓ１２３）と、第１短冊画像を第１方向に並ぶ複数の第１部分画像（短冊画像Ｓｉの行）に分割し、第１部分画像を並び順に従いＲＮＮ（ＲＮＮ部１３）に与えて、ＲＮＮに学習させる学習ステップ（Ｓ１１４）と、第２短冊画像を第１方向に並ぶ複数の第２部分画像（短冊画像Ｓｉの行）に分割し、第２部分画像を並び順に従いＲＮＮに与えて、第２短冊画像の良否を判別する判別ステップ（Ｓ１２４）と、第２短冊画像の良否の判別結果に基づき、被検査画像の良否を判別する（判別結果Ｒｉを求める）画像判別ステップ（Ｓ１２５）とを備えている。本実施形態に係る画像検査方法は、同様の特徴を有する。
【0061】
したがって、本実施形態に係る画像検査方法および画像検査装置によれば、教師画像を複数の第１短冊画像に分割し、第１短冊画像を複数の第１部分画像に分割し、第１部分画像を並び順にＲＮＮに与えることにより、教師画像の変化パターンをＲＮＮに学習させることができる。その後に、被検査画像を複数の第２短冊画像に分割し、第２短冊画像を複数の第２部分画像に分割し、第２部分画像を並び順に学習済みのＲＮＮに与えることにより、被検査画像が教師画像と同様の変化パターンを有するか否かを判別して、被検査画像の良否を判別することができる。また、短冊画像を用いて学習と判別を行うことにより、演算量を削減しながら検査精度を高くすることができる。また、ＲＮＮの学習が完了した後に、学習済みのＲＮＮを用いて画像検査を高速に行うことができる。また、第２短冊画像の良否の判別結果に基づき、被検査画像における欠陥の位置を特定することができる。また、製造装置の不良に起因して、被検査画像に第１方向に連続する微小欠陥が発生した場合に、この微小欠陥を検出することができる。
【0062】
また、ＲＮＮは、第１および第２ＲＮＮ（フォワードＲＮＮ１３１とバックワードＲＮＮ１３２）を含み、学習ステップは、第１部分画像を異なる並び順（行番号の昇順と降順）に従い第１および第２ＲＮＮに与えて、第１および第２ＲＮＮに学習させ、判別ステップは、第２部分画像を異なる並び順に従い第１および第２ＲＮＮに与えて、第１および第２ＲＮＮの出力に基づき、第２短冊画像の良否を判別する。このように短冊画像を複数の部分画像に分割し、得られた部分画像を一端側から順に第１ＲＮＮに与え、他端側から順に第２ＲＮＮに与えることにより、２個のＲＮＮを用いて２種類の学習と判別を行い、検査精度を高くすることができる。
【0063】
また、２値化ステップは、対象画像に含まれる各画素について、短冊画像の短手方向に並ぶ所定範囲内の画素の画素値の統計量（ウインドウ内の画素の画素値の２乗平均値）を閾値と比較することにより、対象画像を２値化する。このように対象画像の特定の部分だけを考慮して、ノイズ耐性を高くしながら対象画像を２値化することができる。
【0064】
また、短冊画像抽出ステップは、短手方向に重複する短冊画像を抽出する。したがって、短冊画像の良否の判別結果に基づき、被検査画像における欠陥の位置を高い精度で特定することができる。また、教師画像と被検査画像は、２次元状に繰り返し構造を有する画像である。したがって、教師画像と被検査画像がこのような画像である場合に、画像検査を高精度かつ容易に実行し、製造装置の不良に起因する微小欠陥も検出することができる。また、教師画像と被検査画像は、サーマルヘッドを用いて市松模様を印刷した結果を撮影した画像である。したがって、教師画像と被検査画像がこのような画像である場合に、画像検査を高精度かつ容易に実行し、サーマルヘッドの欠陥の有無を判別することができる。
【0065】
（第２の実施形態）
第２の実施形態では、液晶パネルの表示画面を撮影した画像を検査することにより、液晶パネルの欠陥の有無を判別する画像検査方法および画像検査装置について説明する。図８は、本発明の第２の実施形態に係る画像検査装置の構成を示すブロック図である。図８に示す画像検査装置２０は、２値化部２１、短冊画像抽出部２２、ＲＮＮ部２３、画像判別部２４、および、グレースケール変換部２５を備えている。
第２の実施形態では、液晶パネルの表示画面を撮影した画像を検査することにより、液晶パネルの欠陥の有無を判別する画像検査方法および画像検査装置について説明する。図８は、本発明の第２の実施形態に係る画像検査装置の構成を示すブロック図である。図８に示す画像検査装置２０は、２値化部２１、短冊画像抽出部２２、ＲＮＮ部２３、画像判別部２４、および、グレースケール変換部２５を備えている。
【0066】
液晶パネルは、２次元状に配置された複数の画素を含んでいる。画素は、薄膜トランジスタ（Thin Film Transistor：以下、ＴＦＴという）と液晶容量を含んでいる。液晶パネルの駆動回路は、画素内のＴＦＴをオン状態に制御して、画像データに含まれる画素データ応じた電圧を画素に書き込む。画素の光透過率は、画素に書き込まれた電圧に応じて変化する。液晶パネル内のすべての画素に画像データに応じた電圧を書き込むことにより、液晶パネルに所望の画像を表示することができる。液晶パネルがカラーフィルタを有する場合には、カラー画像を表示することができる。
【0067】
本実施形態に係る被検査画像は、市松模様を表示する液晶パネルの表示画面を撮影したカラー画像である。液晶パネルのカラー画素は、赤サブ画素、緑サブ画素、および、青サブ画素を含む。市松模様に含まれる白領域および黒領域のサイズは、液晶パネルの１個のカラー画素のサイズに等しい。教師画像は、被検査画像と同じ形式と同じ内容を有する。
【0068】
画素内のＴＦＴには、欠陥がランダムに発生する。欠陥のあるＴＦＴを含む画素は、固定色の画素になる。また、液晶パネルの製造装置で不良が発生したときに、１次元状に並ぶ複数の画素内のＴＦＴに連続して欠陥が発生することがある。この場合、液晶パネルの表示画面には水平方向または垂直方向に延伸する固定色の筋が発生し、被検査画像にも同様の筋が発生する。
【0069】
画像検査装置２０は、被検査画像が固定色の筋を含むか否かを含めて、被検査画像の良否を判別する。この判別を正しく行うために、被検査画像には液晶パネルに含まれるカラー画素が大きく写っている必要がある。以下の説明では、液晶パネルに含まれる１個のカラー画素は、被検査画像では被検査画像の（Ｌ×Ｌ）個のカラー画素と同じサイズに写っているとする。
【0070】
図９は、画像検査装置２０の動作を示すフローチャートである。図９に示す処理を行う前に、教師画像の良否、および、教師画像に含まれる欠陥の位置は既知であるとする。画像検査装置２０は、ステップＳ２１１～Ｓ２１９において、複数の教師画像を用いてＲＮＮ部２３に含まれるＲＮＮに学習させる。これにより、学習済みのＲＮＮが得られる。画像検査装置２０は、ステップＳ２２１～Ｓ２３０において、学習済みのＲＮＮを用いて被検査画像の良否を判別する。これにより、液晶パネルの欠陥の有無を判別することができる。ＲＮＮ部２３は、４個のＲＮＮを含んでいる（詳細は後述）。ここでは、このうち２個のＲＮＮを合わせて第１ＲＮＮ、残りの２個のＲＮＮを合わせて第２ＲＮＮという。
【0071】
画像検査装置２０には、まず、１枚の教師画像が入力される（ステップＳ２１１）。次に、グレースケール変換部２５は、入力された教師画像をグレースケール画像に変換する（ステップＳ２１２）。次に、２値化部２１は、グレースケール変換後の教師画像を第１の方法で２値化する（ステップＳ２１３）。次に、短冊画像抽出部２２は、ステップＳ２１３で求めた２値化後の教師画像から垂直方向に長い複数の短冊画像（以下、縦長短冊画像という）を抽出する（ステップＳ２１４）。次に、画像検査装置２０は、ステップＳ２１４で抽出した複数の縦長短冊画像を順にＲＮＮ部２３に含まれる第１ＲＮＮに与えて、第１ＲＮＮに学習させる（ステップＳ２１５）。
【0072】
次に、２値化部２１は、グレースケール変換後の教師画像を第２の方法で２値化する（ステップＳ２１６）。次に、短冊画像抽出部２２は、ステップＳ２１６で求めた２値化後の教師画像から水平方向に長い複数の短冊画像（以下、横長短冊画像という）を抽出する（ステップＳ２１７）。次に、画像検査装置２０は、ステップＳ２１７で抽出した複数の横長短冊画像を順にＲＮＮ部２３に含まれる第２ＲＮＮに与えて、第２ＲＮＮに学習させる（ステップＳ２１８）。次に、画像検査装置２０は、すべての教師画像を入力済みか否かを判断し、Ｙｅｓの場合にはステップＳ２２１へ進み、Ｎｏの場合にはステップＳ２１１へ進む（ステップＳ２１９）。
【0073】
前者の場合、画像検査装置２０には、１枚の被検査画像が入力される（ステップＳ２２１）。次に、グレースケール変換部２５は、入力された被検査画像をグレースケール画像に変換する（ステップＳ２２２）。次に、２値化部２１は、グレースケール変換後の教師画像を第１の方法で２値化する（ステップＳ２２３）。次に、短冊画像抽出部２２は、ステップＳ２２３で求めた２値化後の被検査画像から複数の縦長短冊画像を抽出する（ステップＳ２２４）。次に、画像検査装置２０は、ステップＳ２２４で求めた複数の縦長短冊画像を順に学習済みの第１ＲＮＮに与えて、縦長短冊画像の良否を個別に判別する（ステップＳ２２５）。
【0074】
次に、２値化部２１は、グレースケール変換後の教師画像を第２の方法で２値化する（ステップＳ２２６）。次に、短冊画像抽出部２２は、ステップＳ２２６で求めた２値化後の被検査画像から複数の横長短冊画像を抽出する（ステップＳ２２７）。次に、画像検査装置２０は、ステップＳ２２７で求めた複数の横長短冊画像を順に学習済みの第２ＲＮＮに与えて、横長短冊画像の良否を個別に判別する（ステップＳ２２８）。次に、画像判別部２４は、２種類の短冊画像の判別結果に基づき、ステップＳ２２１で入力された被検査画像の良否を判別する（ステップＳ２２９）。次に、画像検査装置２０は、すべての被検査画像を入力済みか否を判断し、Ｙｅｓの場合は処理を終了し、Ｎｏの場合にはステップＳ２２１へ進む（ステップＳ２３０）。
【0075】
画像検査装置２０に入力される被検査画像はカラー画像であるが、画像検査装置２０はカラー情報を使用しない。そこで、グレースケール変換部２５は、ステップＳ２１２、２２２において対象画像を同じ方法でグレースケール画像に変換する。ステップＳ２１２、Ｓ２２２では、対象画像に対して、次式（２）を用いたグレースケール変換が行われる。
Ｐ＝０．２１Ｒ＋０．７２Ｇ＋０．０７Ｂ …（２）
ただし、式（２）において、Ｒ、Ｇ、および、Ｂは、それぞれ、変換前のカラー画像に含まれる赤サブ画素、緑サブ画素、および、青サブ画素の画素値、Ｐは変換後のグレースケール画像に含まれる画素の画素値である。
Ｐ＝０．２１Ｒ＋０．７２Ｇ＋０．０７Ｂ …（２）
ただし、式（２）において、Ｒ、Ｇ、および、Ｂは、それぞれ、変換前のカラー画像に含まれる赤サブ画素、緑サブ画素、および、青サブ画素の画素値、Ｐは変換後のグレースケール画像に含まれる画素の画素値である。
【0076】
液晶パネルの表示画面をＣＣＤを用いて撮影した場合、液晶パネルとＣＣＤの間の画素ピッチの差によって、撮影された画像にモアレ（縞模様）が発生することがある。モアレが発生すると、固定色の筋を認識しにくくなり、ＲＮＮによる学習が妨げられる。このため、２値化部２１は、ステップＳ２１３、Ｓ２１６において教師画像を２値化し、ステップＳ２２３、Ｓ２２６において被検査画像を２値化する。ステップＳ２１３、Ｓ２２３では、水平方向に長い１次元のウインドウが設定され、式（１）を用いた２値化が行われる。ステップＳ２１６、Ｓ２２６では、垂直方向に長い１次元のウインドウが設定され、式（１）を用いた２値化が行われる。ウインドウサイズｗと閾値ＴＨは、モアレの発生状況に応じて好適な値に調整される。
【0077】
図１０は、短冊画像抽出部２２による短冊画像の抽出方法を示す図である。短冊画像抽出部２２は、ステップＳ２１４、Ｓ２２４において対象画像から複数の縦長短冊画像を抽出し、ステップＳ２１７、Ｓ２２７において対象画像から複数の横長短冊画像を抽出する。図１０において、Ａ１、Ａ３、Ａ５、…は、対象画像に写っている、液晶パネルに含まれる画素間の垂直方向に延伸する境界線を示す。Ａ２、Ａ４、Ａ６、…は、対象画像に写っている、液晶パネルに含まれる画素の垂直方向に延伸する中心線を示す。Ｂ１、Ｂ３、Ｂ５、…は、対象画像に写っている、液晶パネルに含まれる画素間の水平方向に延伸する画素の境界線を示す。Ｂ２、Ｂ４、Ｂ６、…は、対象画像に写っている、液晶パネルに含まれる画素の水平方向に延伸する中心線を示す。
【0078】
図１０に示す例では、境界線Ａ１と中心線Ａ４に挟まれた部分が、ｉ番目の縦長短冊画像ＳＶｉとして抽出される。次に、中心線Ａ２と境界線Ａ５に挟まれた部分が、（ｉ＋１）番目の縦長短冊画像ＳＶｉ＋１として抽出される。以下、同様に、境界線Ａ３と中心線Ａ６に挟まれた部分が（ｉ＋２）番目の縦長短冊画像として抽出され、中心線Ａ４と境界線Ａ７に挟まれた部分が（ｉ＋３）番目の縦長短冊画像として抽出される。また、境界線Ｂ１と中心線Ｂ４に挟まれた部分が、ｊ番目の横長短冊画像ＳＨｊとして抽出される。次に、中心線Ｂ２と境界線Ｂ５に挟まれた部分が、（ｊ＋１）番目の横長短冊画像ＳＨｊ＋１として抽出される。以下、同様に、境界線Ｂ３と中心線Ｂ６に挟まれた部分が（ｊ＋２）番目の横長短冊画像として抽出され、中心線Ｂ４と境界線Ｂ７に挟まれた部分が（ｊ＋３）番目の横長短冊画像として抽出される。
【0079】
第１の実施形態における「印刷結果に含まれる画素」を本実施形態では「液晶パネルに含まれる画素」と読み替えたときに、短冊画像の高さおよび幅、並びに、短冊画像を抽出する間隔は、第１の実施形態と同じである。本実施形態でも、短冊画像抽出部２２は対象画像から短手方向に重複する短冊画像を抽出し、短冊画像の境界線は液晶パネルに含まれる画素の境界線または中央線に一致する。
【0080】
図１１は、ＲＮＮ部２３の詳細を示すブロック図である。図１１に示すように、ＲＮＮ部２３は、第１フォワードＲＮＮ２３１ａ、第２フォワードＲＮＮ２３１ｂ、第１バックワードＲＮＮ２３２ａ、第２バックワードＲＮＮ２３２ｂ、出力連結部２３３ａ、２３３ｂ、全結合層２３４ａ、２３４ｂ、および、パラメータ制御部２３５ａ、２３５ｂを含んでいる。第１フォワードＲＮＮ２３１ａと第１バックワードＲＮＮ２３２ａは第１ＲＮＮとして機能し、第２フォワードＲＮＮ２３１ｂと第２バックワードＲＮＮ２３２ｂは第２ＲＮＮとして機能する。
【0081】
第１フォワードＲＮＮ２３１ａと第１バックワードＲＮＮ２３２ａには、対象画像から抽出された縦長短冊画像ＳＶｉが入力される。第１フォワードＲＮＮ２３１ａ、第１バックワードＲＮＮ２３２ａ、出力連結部２３３ａ、全結合層２３４ａ、および、パラメータ制御部２３５ａは、縦長短冊画像ＳＶｉに対して第１の実施形態に係るＲＮＮ部１３と同じ処理を行う。第２フォワードＲＮＮ２３１ｂと第２バックワードＲＮＮ２３２ｂには、対象画像から抽出された横長短冊画像ＳＨｊが入力される。第２フォワードＲＮＮ２３１ｂ、第２バックワードＲＮＮ２３２ｂ、出力連結部２３３ｂ、全結合層２３４ｂ、および、パラメータ制御部２３５ｂは、横長短冊画像ＳＨｊに対してＲＮＮ部１３と同じ処理を行う。
【0082】
図１２は、ＲＮＮ部２３の動作を説明するための図である。図１２には、縦長短冊画像ＳＶｉと横長短冊画像ＳＨｊが、長手方向を図面の水平方向に一致させて記載されている。縦長短冊画像ＳＶｉはｍ個の行（左下り斜線部）を含み、横長短冊画像ＳＨｊはｎ個の列（右下がり斜線部）を含む。図１２において、ＳＳＶ１～ＳＳＶｍは、それぞれ、縦長短冊画像ＳＶｉの１～ｍ行目であり、ＳＳＨ１～ＳＳＨｎは、それぞれ、横長短冊画像ＳＨｊの１～ｎ列目である。このように縦長短冊画像ＳＶｉと横長短冊画像ＳＨｊは、長手方向に並ぶ複数の部分画像に分割される。
【0083】
第１フォワードＲＮＮ２３１ａと第１バックワードＲＮＮ２３２ａは、縦長短冊画像ＳＶｉの入力が完了したときに、縦長短冊画像ＳＶｉに関する演算結果を出力する。出力連結部２３３ａは、第１フォワードＲＮＮ２３１ａから出力された演算結果と第１バックワードＲＮＮ２３２ａから出力された演算結果とを連結する。全結合層２３４ａは、出力連結部２３３ａの出力に基づき縦長短冊画像ＳＶｉの良否を判別し、判別結果ＲＶｉを出力する。
【0084】
ステップＳ２１５では、パラメータ制御部２３５ａは、判別結果ＲＶｉと教師画像の良否との間のクロスエントロピーを求め、求めたクロスエントロピーを用いてバックプロパゲーションを行うことにより、第１フォワードＲＮＮ２３１ａと第１バックワードＲＮＮ２３２ａに記憶されたパラメータを更新する。ステップＳ２２５では、ＲＮＮ部２３から画像判別部２４に判別結果ＲＶｉが出力される。
【0085】
第２フォワードＲＮＮ２３１ｂと第２バックワードＲＮＮ２３２ｂは、横長短冊画像ＳＨｊの入力が完了したときに、横長短冊画像ＳＨｊに関する演算結果を出力する。出力連結部２３３ｂは、第２フォワードＲＮＮ２３１ｂから出力された演算結果と第２バックワードＲＮＮ２３２ｂから出力された演算結果とを連結する。全結合層２３４ｂは、出力連結部２３３ｂの出力に基づき横長短冊画像ＳＨｊの良否を判別し、判別結果ＲＨｊを出力する。
【0086】
ステップＳ２１８では、パラメータ制御部２３５ｂは、判別結果ＲＨｊと教師画像の良否との間のクロスエントロピーを求め、求めたクロスエントロピーを用いてバックプロパゲーションを行うことにより、第２フォワードＲＮＮ２３１ｂと第２バックワードＲＮＮ２３２ｂに記憶されたパラメータを更新する。ステップＳ２２８では、ＲＮＮ部２３から画像判別部２４に判別結果ＲＨｊが出力される。
【0087】
画像判別部２４は、ステップＳ２２９において、いずれかの短冊画像の判別結果が不良のときには「被検査画像は不良」と判別し、それ以外のときには「被検査画像は良品」と判別する。画像判別部２４は、ステップＳ２２９において、第１の実施形態で述べた方法を２次元に拡張して、被検査画像に含まれる欠陥の位置を求める。
【0088】
本実施形態に係る画像検査方法では、ステップＳ２１３、Ｓ２１６、Ｓ２２３、Ｓ２３６は２値化ステップに該当し、ステップＳ２１４、Ｓ２１７、Ｓ２２４、Ｓ２２７は短冊画像抽出ステップに該当し、ステップＳ２１５、Ｓ２１８は学習ステップに該当し、ステップＳ２２５、２２８は判別ステップに該当し、ステップＳ２２９は画像判別ステップに該当する。
【0089】
短冊画像抽出ステップは、２値化後の教師画像から第１方向（垂直方向）に長い複数の第１短冊画像（縦長短冊画像ＳＶｉ）を抽出し（Ｓ２１４）、２値化後の被検査画像から第１方向に長い複数の第２短冊画像（縦長短冊画像ＳＶｉ）を抽出する（Ｓ２１７）と共に、２値化後の教師画像から第２方向（水平方向）に長い複数の第３短冊画像（横長短冊画像ＳＨｊ）を抽出し（Ｓ２２４）、２値化後の被検査画像から第２方向に長い複数の第４短冊画像（横長短冊画像ＳＨｊ）を抽出する（Ｓ２２７）。学習ステップは、第１短冊画像を第１方向に並ぶ複数の第１部分画像（縦長短冊画像ＳＶｉの行）に分割し、第１部分画像を並び順に従いＲＮＮ（ＲＮＮ部１３）に与えて、ＲＮＮに学習させる（Ｓ２１５）と共に、第３短冊画像を第２方向に並ぶ複数の第３部分画像（横長短冊画像ＳＨｊの列）に分割し、第３部分画像を並び順に従いＲＮＮに与えて、ＲＮＮに学習させる（Ｓ２１８）。判別ステップは、第２短冊画像を第１方向に並ぶ複数の第２部分画像（縦長短冊画像ＳＶｉの行）に分割し、第２部分画像を並び順に従いＲＮＮに与えて、第２短冊画像の良否を判別する（判別結果ＲＶｉを求める）（Ｓ２２５）と共に、第４短冊画像を第２方向に並ぶ複数の第４部分画像（横長短冊画像ＳＨｊの列）に分割し、第４部分画像を並び順に従いＲＮＮに与えて、第４短冊画像の良否を判別する（判別結果ＲＨｊを求める）（Ｓ２２８）。画像判別ステップは、第２および第４短冊画像の良否の判別結果に基づき、被検査画像の良否を判別する。
【0090】
このように教師画像と被検査画像を第１方向に長い短冊画像に分割して学習と判別を行うと共に、教師画像と被検査画像を第２方向に長い短冊画像に分割して学習と判別を行うことにより、検査精度を高くすることができる。また、製造装置の不良に起因して、被検査画像に第１方向に連続する微小欠陥が発生する場合だけでなく、被検査画像に第２方向に連続する微小欠陥が発生する場合にも、これらの微小欠陥を検出することができる。
【0091】
また、ＲＮＮ（ＲＮＮ部２３）は、第１～第４ＲＮＮ（第１フォワードＲＮＮ２３１ａ、第１バックワードＲＮＮ２３２ａ、第２フォワードＲＮＮ２３１ｂ、第２バックワードＲＮＮ２３２ｂ）を含み、学習ステップは、第１部分画像を異なる並び順に従い（行番号の昇順と降順）第１および第２ＲＮＮに与え、第３部分画像を異なる並び順（列番号の昇順と降順）に従い第３および第４ＲＮＮに与えて、第１～第４ＲＮＮに学習させ、判別ステップは、第２部分画像を異なる並び順（行番号の昇順と降順）に従い第１および第２ＲＮＮに与えて、第１および第２ＲＮＮの出力に基づき、第２短冊画像の良否を判別し、第４部分画像を異なる並び順（列番号の昇順と降順）に従い第３および第４ＲＮＮに与えて、第３および第４ＲＮＮの出力に基づき、第４短冊画像の良否を判別する。このように第１方向に長い短冊画像を複数の部分画像に分割し、得られた部分画像を一端側から順に第１ＲＮＮに与え、他端側から順に第２ＲＮＮに与えると共に、第２方向に長い短冊画像を複数の部分画像に分割し、得られた部分画像を一端側から順に第３ＲＮＮに与え、部分画像を他端側から順に第４ＲＮＮに与えることにより、４個のＲＮＮを用いて４種類の学習と判別を行い、検査精度を高くすることができる。
【0092】
また、画像検査方法は、教師画像と被検査画像をグレースケール変換するステップ（Ｓ２１２、Ｓ２２２）をさらに備え、２値化ステップは、グレースケール変換後の教師画像とグレースケール変換後の被検査画像を２値化する。このように教師画像と被検査画像がカラー画像である場合に、これらの画像をグレースケール変換することにより、学習と判別を効果的に行うことができる。また、教師画像と被検査画像は、市松模様を表示する液晶パネルの表示画面を撮影した画像である。したがって、教師画像と被検査画像がこのような画像である場合に、画像検査を高精度かつ容易に実行し、液晶パネルの欠陥の有無を判別することができる。
【0093】
（第３の実施形態）
第３の実施形態では、多連充填機の各ノズルからの充填量を示す画像を検査することにより、多連充填機のノズルの欠陥の有無を判別する画像検査方法および画像検査装置について説明する。本発明の第３の実施形態に係る画像検査装置は、第１の実施形態に係る画像検査装置１０と同じ構成（図１）を有し、画像検査装置１０に類似した動作を行う。以下、第１の実施形態との差異を説明する。
第３の実施形態では、多連充填機の各ノズルからの充填量を示す画像を検査することにより、多連充填機のノズルの欠陥の有無を判別する画像検査方法および画像検査装置について説明する。本発明の第３の実施形態に係る画像検査装置は、第１の実施形態に係る画像検査装置１０と同じ構成（図１）を有し、画像検査装置１０に類似した動作を行う。以下、第１の実施形態との差異を説明する。
【0094】
充填機は、液体を瓶詰めするときや、粉末を袋詰めするときなどに使用される。充填を高速に行うために、複数のノズルを有する多連充填機が使用されることがある。また、充填機の中には、各ノズルからの充填量を時系列的に測定して記録する機能を有するものがある。以下、各ノズルからの充填量を時系列的に測定して記録する多連充填機について検討する。
【0095】
図１３は、本実施形態に係る画像検査装置に入力される被検査画像を示す図である。本実施形態に係る被検査画像は、多連充填機において各ノズルからの単位時間あたりの充填量の測定結果を示すグレースケール画像である。図１３において、横軸はノズル番号、縦軸は時間を示す。図１３に示す被検査画像は、８個のノズルからの単位時間あたりの充填量を１２回測定することにより得られる。被検査画像に含まれる小領域は、１個のノズルからの充填量を所定時間について測定した結果に応じた色を有する。画素の色は、充填量が少ないほど黒に近く、充填量が多いほど白に近い。なお、図面の記載の都合上、図１３では画素の色をパターンで表現している。教師画像は、被検査画像と同じ形式と同じ内容を有する。
【0096】
充填機では、ノズルからの充填量が一時的または固定的に増加または減少することがある。例えば、ノズルに物理的な欠陥が発生したときや、ノズルが一時的に詰まったときなどにノズルからの充填量は減少し、ノズルの詰まりが解消したときなどにノズルからの充填量は増加する。本実施形態では、充填量が低下したノズルを欠陥のあるノズルと考えて、被検査画像を検査することにより、多連充填機のノズルの欠陥の有無を判別する。
【0097】
本実施形態に係る画像検査装置は、図４に示すフローチャートに従い動作する。ただし、２値化部と短冊画像抽出部の動作は、第１の実施形態とは異なる。充填量の測定結果は、充填物の性質によって変化する。このため、充填量の測定結果をそのままＲＮＮに与えてＲＮＮに学習させても、ノズルの欠陥の有無を判別することは困難である。このため、本実施形態に係る２値化部は、教師画像と被検査画像を同じ方法で２値化する。
【0098】
２値化部は、対象画像に含まれる各画素について、短冊画像の短手方向に並ぶ所定範囲内の画素の画素値の統計量を閾値と比較することにより、対象画像を２値化する。より詳細には、２値化部は、対象画素を含む１行に１次元のウインドウを設定し、ウインドウ内の画素の画素値の平均値を求め、求めた平均値を閾値と比較することにより、２値化後の対象画素の画素値を求める。ウインドウ内の画素の画素値の平均値をＸm としたとき、２値化後の対象画素の画素値は、平均値Ｘm が予め定めた閾値ＴＨ以上のときには白に対応する値１に設定され、平均値Ｘm が閾値ＴＨ未満のときには黒に対応する値０に設定される。ノズルが正常のときには、２値化後の画素の画素値はランダムに０または１になる。ノズルに欠陥が発生したときには、２値化後の画素の画素値には時系列的に変化するパターンが現れる。
【0099】
図１４は、本実施形態に係る短冊画像抽出部による短冊画像の抽出方法を示す図である。短冊画像抽出部は、対象画像から同じ方法で短冊画像を抽出する。図１４において、Ａ１、Ａ２、Ａ３、…は、対象画像におけるノズル間の境界線を示す。図１４に示す例では、境界線Ａ１、Ａ２に挟まれた部分が、ｉ番目の短冊画像Ｓｉとして抽出される。次に、境界線Ａ２、Ａ３に挟まれた部分が、（ｉ＋１）番目の短冊画像Ｓｉ＋１として抽出される。以下、同様に、境界線Ａ３、Ａ４に挟まれた部分が（ｉ＋２）番目の短冊画像として抽出され、境界線Ａ４、Ａ５に挟まれた部分が（ｉ＋３）番目の短冊画像として抽出される。
【0100】
短冊画像の高さは、対象画像の高さに等しい。短冊画像の幅は、対象画像に含まれる画素の幅に等しい。短冊画像を抽出する間隔は、対象画像に含まれる画素の幅に等しい。このように短冊画像抽出部は、互いに重複しない複数の短冊画像を抽出する。
【0101】
本実施形態に係る画像検査方法では、短冊画像抽出ステップは、互いに重複しない短冊画像を抽出する。したがって、演算量を削減し、学習と判別を高速に行うことができる。また、教師画像と被検査画像は、多連充填機の各ノズルからの単位時間あたりの充填量の測定結果を示す画像である。したがって、教師画像と被検査画像がこのような画像である場合に、画像検査を高精度かつ容易に実行し、多連充填機のノズルの欠陥の有無を判別することができる。
【0102】
ここまで、各実施形態に係る画像検査方法および画像検査装置について説明してきたが、各実施形態に係る画像検査方法および画像検査装置の特徴をその性質に反しない限り任意に組み合わせて、各種の変形例に係る画像検査方法および画像検査装置を構成してもよい。また、教師画像と被検査画像は、以上に述べた画像には限定されず、製品の外観や出力などに基づく任意の画像でもよい。教師画像と被検査画像は、２値画像でも、グレースケール画像でも、カラー画像でも、マルチスペクトル画像でもよい。
【符号の説明】
【0103】
１０、２０…画像検査装置
１１、２１…２値化部
１２、２２…短冊画像抽出部
１３、２３…ＲＮＮ部
１４、２４…画像判別部
２５…グレースケール変換部
１３１、２３１…フォワードＲＮＮ
１３２、２３２…バックワードＲＮＮ
１３３、２３３…出力連結部
１３４、２３４…全結合層
１３５、２３５…パラメータ制御部
１１、２１…２値化部
１２、２２…短冊画像抽出部
１３、２３…ＲＮＮ部
１４、２４…画像判別部
２５…グレースケール変換部
１３１、２３１…フォワードＲＮＮ
１３２、２３２…バックワードＲＮＮ
１３３、２３３…出力連結部
１３４、２３４…全結合層
１３５、２３５…パラメータ制御部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】