特許 6616645 分類方法、検査方法、検査装置、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6616645

(24)【登録日】2019年11月15日

(45)【発行日】2019年12月4日

(54)【発明の名称】分類方法、検査方法、検査装置、およびプログラム

(51)【国際特許分類】

   G06F 16/55 20190101AFI20191125BHJP

【ＦＩ】

   G06F16/55

【請求項の数】16

【全頁数】15

(21)【出願番号】特願2015-199723(P2015-199723)

(22)【出願日】2015年10月7日

(65)【公開番号】特開2016-110626(P2016-110626A)

(43)【公開日】2016年6月20日

【審査請求日】2018年10月3日

(31)【優先権主張番号】特願2014-242306(P2014-242306)

(32)【優先日】2014年11月28日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100076428

【弁理士】

【氏名又は名称】大塚 康徳

(74)【代理人】

【識別番号】100115071

【弁理士】

【氏名又は名称】大塚 康弘

(74)【代理人】

【識別番号】100112508

【弁理士】

【氏名又は名称】高柳 司郎

(74)【代理人】

【識別番号】100116894

【弁理士】

【氏名又は名称】木村 秀二

(74)【代理人】

【識別番号】100130409

【弁理士】

【氏名又は名称】下山 治

(74)【代理人】

【識別番号】100134175

【弁理士】

【氏名又は名称】永川 行光

(72)【発明者】

【氏名】植村 卓典

(72)【発明者】

【氏名】奥田 洋志

【審査官】 鹿野 博嗣

(56)【参考文献】

【文献】 特開２０１０−１０２６９０（ＪＰ，Ａ）

【文献】 特開２００９−０８０５５６（ＪＰ，Ａ）

【文献】 特開平１０−２５４９０３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ １６／５５

(57)【特許請求の範囲】

【請求項1】

物品の画像についての評価値に基づいて前記物品を複数のグループのいずれかに分類する分類方法であって、
前記複数のグループのいずれかに既に分類された複数のサンプルの画像を用いて、前記評価値を取得するための評価方法を決定する決定工程と、
前記決定工程で決定した評価方法により前記複数のサンプルの画像についての評価値を取得する取得工程と、
前記複数のサンプルの画像についての評価値において前記複数のグループの各々で特異な評価値を有する少なくとも１つのサンプルの画像についての評価値を変化させ、且つ、サンプルの画像についての評価値の範囲が前記複数のグループにおいて互いに相違する度合が高まるように前記評価方法を変更する変更工程と、
前記変更工程で変更された後の評価方法を用いて前記物品の画像についての評価値を取得し、当該評価値に基づいて前記物品を前記複数のグループのいずれかに分類する分類工程と、
を含むことを特徴とする分類方法。

【請求項2】

前記変更工程では、前記少なくとも１つのサンプルの画像についての評価値の変化が、前記複数のサンプルの画像についての評価値の変化の平均に比べて大きくなるように評価方法を変更する、ことを特徴とする請求項１に記載の分類方法。

【請求項3】

前記複数のグループは、第１グループおよび第２グループを含み、
前記少なくとも１つのサンプルは、サンプルの画像についての評価値の範囲が前記第１グループと前記第２グループとで互いに重なり合っている部分におけるサンプル群から選択されている、ことを特徴とする請求項１又は２に記載の分類方法。

【請求項4】

前記変更工程では、前記度合が許容値を満たすように評価方法を変更する工程を繰り返すことにより前記分類工程で用いる評価方法についての複数の候補を取得し、前記複数の候補のうち前記度合が最も大きい候補を前記分類工程で用いる評価方法に決定する、ことを特徴とする請求項１乃至３のうちいずれか１項に記載の分類方法。

【請求項5】

前記変更工程では、前記度合が許容値を満たすように評価方法を変更する工程を、予め設定された回数だけ繰り返す、ことを特徴とする請求項４に記載の分類方法。

【請求項6】

前記取得工程では、パラメータとして前記複数のサンプルの画像から少なくとも１つの特徴量を抽出し、前記少なくとも１つの特徴量を評価方法に代入することにより前記複数のサンプルの画像についての評価値を取得する、ことを特徴とする請求項１乃至５のうちいずれか１項に記載の分類方法。

【請求項7】

前記変更工程では、変更した評価方法により前記複数のサンプルの画像についての評価値を取得し、当該複数のサンプルの画像についての評価値に基づいて前記物品を分類するための評価値の閾値を決定する、ことを特徴とする請求項１乃至６のうちいずれか１項に記載の分類方法。

【請求項8】

前記変更工程では、前記複数のグループのうち所定のグループに分類されるべきサンプルを当該所定のグループに分類させる比率に従って前記閾値を決定する、ことを特徴とする請求項７に記載の分類方法。

【請求項9】

前記変更工程は、前記複数のサンプルの画像についての評価値をグループごとに表した情報を表示する表示工程を含む、ことを特徴とする請求項１乃至８のうちいずれか１項に記載の分類方法。

【請求項10】

前記情報は、各グループにおける評価値のヒストグラムを含む、ことを特徴とする請求項９に記載の分類方法。

【請求項11】

前記複数のグループは、第１グループおよび第２グループを含み、
前記情報は、評価値でソートされた前記第１グループの各サンプルの画像と、前記第１グループの各サンプルの画像の評価値に対応する評価値を有する前記第２グループのサンプルの画像の数との関係を含む、ことを特徴とする請求項９に記載の分類方法。

【請求項12】

前記変更工程は、前記表示工程において表示された前記情報に基づいて、前記少なくとも１つのサンプルを特定する特定工程を含む、ことを特徴とする請求項９乃至１１のうちいずれか１項に記載の分類方法。

【請求項13】

前記決定工程では、前記複数のグループのいずれかに既に分類された前記複数のサンプルの画像を用いて、少なくとも１つの特徴量を含むリストを作成し、前記リストに含まれる前記少なくとも１つの特徴量をパラメータとして用いて前記評価方法を決定し、
前記変更工程では、前記リストに少なくとも１つの新しい特徴量を加えることによって前記評価方法を変更する、ことを特徴とする請求項１乃至１２のうちいずれか１項に記載の分類方法。

【請求項14】

請求項１乃至１３のうちいずれか１項に記載の分類方法の各工程を情報処理装置に実行させることを特徴とするプログラム。

【請求項15】

物品の検査を行う検査方法であって、
前記物品を撮像することにより前記物品の画像を取得する工程と、
請求項１乃至１３のうちいずれか１項に記載の分類方法を用いて前記物品を前記複数のグループのいずれかに分類する工程と、
を含むことを特徴とする検査方法。

【請求項16】

物品の検査を行う検査装置であって、
前記物品を撮像することにより前記物品の画像を得る撮像部と、
前記物品の画像についての評価値に基づいて前記物品を複数のグループのいずれかに分類する処理部と、
を含み、
前記処理部は、
前記複数のグループのいずれかに既に分類された複数のサンプルの画像を用いて、前記評価値を取得するための評価方法を決定し、
決定した評価方法により前記複数のサンプルの画像についての評価値を取得し、
前記複数のサンプルの画像についての評価値において前記複数のグループの各々で特異な評価値を有する少なくとも１つのサンプルの画像についての評価値を変化させ、且つ、サンプルの画像についての評価値の範囲が前記複数のグループにおいて互いに相違する度合が高まるように前記評価方法を変更し、
変更された後の評価方法を用いて前記物品の画像についての評価値を取得し、当該評価値に基づいて前記物品を前記複数のグループのいずれかに分類する、ことを特徴とする検査装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、物品を複数のグループのいずれかに分類する分類方法、検査方法、検査装置、およびプログラムに関する。

【背景技術】

【0002】

物品の外観検査や内部検査を行う装置として、撮像部で当該物品を撮像することによって得られた画像（対象画像）を用いて検査を行う検査装置がある。このような検査装置では、画像の評価値を求めるための評価方法を、複数のグループのいずれかに既に分類された複数のサンプルそれぞれの画像（学習用画像）を用いて決定する、いわゆる「学習」が行われる。そして、決定された評価方法に基づいて物品の画像についての評価値が求められ、その評価値に基づいて物品が複数のグループのいずれかに分類される。したがって、検査装置では、評価方法を、学習により、物品を分類する性能が向上するように決定することが好ましい。

【0003】

特許文献１には、複数の学習用画像を用いて、評価方法に使用される特徴量の組み合わせを決定する方法が提案されている。また、特許文献２には、装置とユーザとで分類したカテゴリが互いに異なるサンプルを特定し、当該サンプルについて装置とユーザとで同じカテゴリに分類されるように、評価方法をユーザに変更させる方法が提案されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１０−１０２６９０号公報

【特許文献2】特開２０１０−１５７１５４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に記載された方法では、例えば、複数の学習用画像の中に小さい欠陥や低コントラストの欠陥などを含む画像がある場合、当該画像に係るサンプルを本来分類すべきグループに分類させるように評価方法が決定されないことがある。この場合において、特許文献１には、物品を分類する性能を向上させるように評価方法を変更することについては記載されていない。

【0006】

特許文献２に記載された方法では、装置とユーザとで分類の異なるサンプルを特定するため、評価方法を変更するごとに、全てのサンプルについての分類を装置にも行わせる必要がある。そのため、物品の分類に使用される評価方法を決定する処理（学習処理）が煩雑化しうる。また、特許文献２に記載された方法では、装置およびユーザのそれぞれにより分類されたカテゴリの特徴量分布に基づいて、評価方法に使用される特徴量をユーザに変更させている。評価方法を変更することはユーザの技量が必要となり、選択可能な画像特徴の数が多くなるにつれてユーザの判断が困難になり、当該判断に相応の時間を要しうる。

【0007】

そこで、本発明は、学習処理の煩雑化を低減し、且つ物品を分類する性能を向上させるために有利な技術を提供することを目的とする。

【課題を解決するための手段】

【0008】

上記目的を達成するために、本発明の一側面としての分類方法は、物品の画像についての評価値に基づいて前記物品を複数のグループのいずれかに分類する分類方法であって、前記複数のグループのいずれかに既に分類された複数のサンプルの画像を用いて、前記評価値を取得するための評価方法を決定する決定工程と、前記決定工程で決定した評価方法により前記複数のサンプルの画像についての評価値を取得する取得工程と、前記複数のサンプルの画像についての評価値において前記複数のグループの各々で特異な評価値を有する少なくとも１つのサンプルの画像についての評価値を変化させ、且つ、サンプルの画像についての評価値の範囲が前記複数のグループにおいて互いに相違する度合が高まるように前記評価方法を変更する変更工程と、前記変更工程で変更された後の評価方法を用いて前記物品の画像についての評価値を取得し、当該評価値に基づいて前記物品を前記複数のグループのいずれかに分類する分類工程と、を含むことを特徴とする。

【0009】

本発明の更なる目的又はその他の側面は、以下、添付図面を参照して説明される好ましい実施形態によって明らかにされるであろう。

【発明の効果】

【0010】

本発明によれば、例えば、学習処理の煩雑化を低減し、且つ物品を分類する性能を向上させるために有利な技術を提供することができる。

【図面の簡単な説明】

【0011】

【図1】第１実施形態の検査装置を示す概略図である。

【図2】処理部における分類処理の方法を示すフローチャートである。

【図3】第１実施形態における分類情報を取得する方法（学習方法）を示すフローチャートである。

【図4】複数の学習用画像の各々について、特徴リストに含まれる各画像特徴についての特徴量を抽出した結果を示す図である。

【図5】表示部の画面における表示例を示す図である。

【図6】第２実施形態における分類情報を取得する方法（学習方法）を示すフローチャートである。

【図7】表示部に表示される累積数分布を示す図である。

【図8】累積数分布の比較例を示す図である。

【図9】累積数分布の変形例を示す図である。

【発明を実施するための形態】

【0012】

以下、添付図面を参照して、本発明の好適な実施の形態について説明する。なお、各図において、同一の部材ないし要素については同一の参照番号を付し、重複する説明は省略する。

【0013】

＜第１実施形態＞
本発明に係る第１実施形態の検査装置１について、図１を参照しながら説明する。図１は、第１実施形態の検査装置１を示す概略図である。検査装置１は、例えば、工業製品に利用される金属部品や樹脂部品などの物品２の外観検査を行う。物品２の表面には、キズやムラ（例えば色ムラ）、凹凸などの欠陥が生じていることがあり、検査装置１は、物品２の画像に基づいて物品２の表面に生じている欠陥を検出し、当該物品２を複数のグループのいずれかに分類する。第１実施形態では、複数のグループに良品グループ（第１グループ）および不良品グループ（第２グループ）が含まれ、検査装置１によって物品２を良品グループおよび不良品グループのいずれかに分類する例について説明する。また、第１実施形態は、検査装置１によって物品２の外観（物品２の表面）を検査する例について説明するが、Ｘ線などを用いて物品２の内部を検査する場合においても本実施形態を適用することができる。

【0014】

検査装置１は、撮像部１１と、処理部１２と、表示部１３と、入力部１４とを含みうる。撮像部１１は、例えば照明部やカメラなどを含み、物品２を撮像して物品２の画像（対象画像）を取得する。撮像部１１によって取得された物品２の画像は、処理部１２に転送される。処理部１２は、例えば、ＣＰＵ１２ａ（Central Processing Unit）、ＲＡＭ１２ｂ（Random AccessMemory）、およびＨＤＤ１２ｃ（Hard Disk Drive）を含む情報処理装置から成りうる。処理部１２は、撮像部１１によって取得された対象画像についての評価値を求め、求めた評価値と各グループにおける評価値の範囲（閾値）とに基づいて物品２を複数のグループのいずれかに分類する処理（分類処理）を実行する。ＣＰＵ１２ａは、物品２を複数のグループに分類するためのプログラムを実行し、ＲＡＭ１２ｂ、ＨＤＤ１２ｃは、当該プログラムやデータを格納する。表示部１３は、例えばモニタを含み、処理部１２によって実行された分類処理の結果を表示する。また、入力部１４は、例えばキーボードやマウスなどを含み、ユーザからの指示を処理部１２に送信する。

【0015】

［処理部１２における分類処理について］
次に、処理部１２における分類処理について、図２を参照しながら説明する。図２は、処理部１２における分類処理の方法を示すフローチャートである。Ｓ１では、処理部１２は、物品２の表面における欠陥の可視化された画像が取得されるように、物品２を撮像するときの撮像部１１の条件を設定する。当該条件は、例えば照明の角度やカメラの露光時間、フォーカスや絞りなどを含みうる。Ｓ２では、処理部１２は、複数のグループのいずれかに既に分類された複数のサンプルそれぞれの画像（学習用画像）を取得する。複数の学習用画像は、今までに撮像部１１によって撮像されて保存された画像であってもよいし、保存された画像が無い場合は、複数のサンプルそれぞれを撮像部１１に撮像させることによって新たに取得されてもよい。また、複数のサンプルそれぞれは、それらの学習用画像に基づいて、例えばユーザによって複数のグループ（良品グループおよび不良品グループ）のいずれかに分類されている。ここで、第１実施形態では、２つのグループ（良品グループおよび不良品グループ）のいずれかに分類されたサンプルの画像を学習用画像として用いているが、それに限られるものではない。例えば、不良品の種類（キズやムラなど）に応じて更に細かく分類されたサンプルの画像を学習用画像として用いてもよい。

【0016】

Ｓ３では、処理部１２は、Ｓ２で取得した複数の学習用画像の少なくとも一部を用いて、対象画像を分類するための情報（以下、分類情報）を取得する、いわゆる「学習」を行う。分類情報は、画像の評価値を求めるための評価方法、および物品を分類するための評価値の閾値を含みうる。評価方法は、例えば、画像の評価値を求めるための関数であり、画像における少なくとも１つの特徴量をパラメータとして使用する評価方法に当該少なくとも１つの特徴量を代入することにより画像の評価値を求めることができる。特徴量とは、画像における特徴（以下、画像特徴）の大きさを表す。Ｓ３において、処理部１２は、例えば、多数の画像特徴の中から、各学習用画像を良品グループおよび不良品グループのいずれかに分類するために用いられたと推定される複数の画像特徴を自動的に抽出して特徴リストを作成する。そして、当該特徴リストに含まれる複数の画像特徴の各々についての特徴量をパラメータとする評価方法を分類情報として決定する。分類情報を取得する方法の詳細については後述する。Ｓ４では、処理部１２は、撮像部１１に物品２を撮像させ、それにより得られた物品２の画像（対象画像）をＳ３で取得した分類情報に基づいて良品グループおよび不良品グループのいずれかに分類する。処理部１２は、例えば、Ｓ３で決定した評価方法を用いて対象画像の評価値を求め、当該評価値と閾値とを比較することによって物品を分類するグループを決定する。Ｓ５では、処理部１２は、検査結果を表示部１３に表示させる。処理部１２は、物品２に対する良品または不良品の判定だけでなく、例えば、物品２に生じている欠陥部分の画像や、特徴リストに含まれる各画像特徴についての特徴量および評価値などを検査結果として表示部１３に表示させてもよい。

【0017】

［分類情報の取得について］
図２のフローチャートにおけるＳ３の工程で行われる分類情報の取得（学習）について、図３を参照しながら説明する。図３は、分類情報を取得する方法（学習方法）を示すフローチャートである。

【0018】

Ｓ３−１１では、処理部１２は、Ｓ２で取得した複数の学習用画像を読み込む。Ｓ３−１２では、処理部１２は、複数の学習用画像の少なくとも一部を用いて特徴リストを作成し、当該特徴リストに含まれる複数の画像特徴の各々についての特徴量をパラメータとする評価方法を決定する。以下では、ｎ枚の学習用画像を用いて特徴リストを作成し、評価方法としてマハラノビス距離を用いる例について説明する。例えば、処理部１２は、複数の学習用画像の各々における欠陥を強調するため、各学習用画像に対し、周波数ドメインへの変換手法としてのウェーブレット変換のひとつであるハール・ウェーブレット変換を行う。ハール・ウェーブレット変換は、位置情報を保持したまま周波数変換を行うことが可能な処理である。まず、処理部１２は、複数の学習用画像の各々に対し、式（１）で示す第１フィルタから第４フィルタまでの４種類のフィルタを用いて内積演算を行う。式（１）において、第１フィルタは、縦方向の高周波成分を抽出するためのフィルタであり、第２フィルタは、対角方向の高周波成分を抽出するためのフィルタである。また、第３フィルタは横方向の高周波成分を抽出するためのフィルタであり、第４フィルタは低周波成分を抽出するためのフィルタである。

【0019】

【数1】

【0020】

これにより、処理部１２は、縦方向の高周波成分を抽出した画像、対角方向の高周波成分を抽出した画像、横方向の高周波成分を抽出した画像、および低周波成分を抽出した画像の４種類の画像を得ることができる。このように得られた４種類の画像はそれぞれ、変換前の画像と比べて解像度が２分の１になる。処理部１２は、低周波成分を抽出した画像に対してハール・ウェーブレット変換を行い、解像度を２分の１にした４種類の画像を更に得る工程を繰り返すことにより、階層的に周波数が低くなる複数の画像を得る。

【0021】

そして、処理部１２は、ハール・ウェーブレット変換により得られた各階層の画像および変換前の画像のそれぞれから、全画素値の最大値、平均値、分散値、尖度、歪度、相乗平均などのマクロな画像特徴を抽出する。処理部１２は、マクロな画像特徴として、コントラスト、最大値と最小値との差、標準偏差などの統計値を抽出してもよい。このような処理を行うことにより、処理部１２は、複数の学習用画像から多数の画像特徴を抽出することができる。ここで、本実施形態では、ハール・ウェーブレット変換を用いて多数の画像特徴を得たが、例えば、その他のウェーブレット変換やエッジ抽出、フーリエ変換、ガボール変換といったその他の変換手法を用いて多数の画像特徴を得てもよい。また、多数の画像特徴には、マクロな画像特徴だけでなく、フィルタリング処理によって算出された局所的な画像特徴が含まれてもよい。

【0022】

次に、処理部１２は、例えば、良品グループにおける学習用画像を用いて、抽出した画像特徴ごとにスコアを算出し、抽出された多数の画像特徴から分類処理に用いる画像特徴を選択して特徴リストを作成する。画像特徴を選択する方法としては、例えば、特許文献１に示すように、良品グループにおける学習用画像を用いて画像特徴の組み合わせの相性を評価する方法がある。本実施形態では、当該方法を用いて分類処理に用いる画像特徴を選択するが、例えば主成分分析法など他の方法を用いてもよい。主成分分析法は、複数の画像特徴における冗長性を省くため、固有分解によって固有値が高い画像特徴を選択する方法である。この方法を用いることにより、冗長な画像特徴が選択されることを防ぐことができる。ここで、上記では、良品グループにおける学習用画像を用いて画像特徴を選択する例を説明したが、それに限られるものではない。例えば、不良品グループにおける学習用画像を用いて画像特徴を選択してもよいし、双方における学習用画像を用いて画像特徴を選択してもよい。

【0023】

次に、作成された特徴リストに含まれる各画像特徴についての特徴量の重みを決定する方法について、図４を参照しながら説明する。図４は、複数の学習用画像の各々について、特徴リストに含まれる各画像特徴についての特徴量を抽出した結果を示す図である。図４では、複数の学習用画像の各々における各特徴量をＸ_ｉｊで表す。ｉは学習用画像の番号を示し（ｉ＝１，２，・・・，ｎ）、ｊは特徴リストに含まれる特徴の番号を示している（ｊ＝１，２，・・・，ｋ）。ｎは学習用画像の数であり、ｋは特徴リストに含まれている画像特徴の数である。ただし、ｎとｋとの関係はｎ≧ｋであることが好ましい。また、Ｍ_ｊは複数の学習用画像における特徴量Ｘ_ｉｊの平均値であり、σ_ｊは複数の学習用画像における特徴量Ｘ_ｉｊの標準偏差である。ここで、分類処理に用いる画像特徴として選択されなかった画像特徴についても、特徴量、平均値および標準偏差を求めておくことが好ましい。それらの結果を後述の工程（Ｓ３−１６）で用いるからである。

【0024】

処理部１２は、式（２）により、複数の学習用画像の各々における各特徴量Ｘ_ｉｊの正規化を行う。Ｙ_ｉｊは、正規化された各特徴量を表す。また、処理部１２は、式（３）により相関係数ｒ_ｐｑを求め、式（４）に示すように各相関係数ｒ_１１〜ｒ_ｋｋによって構成された相関行列Ｒの逆行列Ａを求める。この逆行列Ａが特徴リストに含まれる各画像特徴についての特徴量の重みに相当する。これにより、処理部１２は、評価方法を、特徴リストに含まれる各画像特徴についての特徴量（正規化された特徴量）をパラメータとした、例えば式（５）によって表されるマハラノビス距離ＭＤ_ｉに決定することができる。

【0025】

【数2】

【0026】

【数3】

【0027】

【数4】

【0028】

【数5】

【0029】

図３のフローチャートに戻り、Ｓ３−１３では、処理部１２は、Ｓ３−１２で決定した評価方法（マハラノビス距離ＭＤ_ｉ）により、複数の学習用画像の各々について評価値を求める。処理部１２は、特徴リストに従って複数の学習用画像の各々から複数の特徴量を抽出し、当該複数の特徴量を評価方法に代入することにより各学習用画像についての評価値を求める。第１実施形態では、各学習用画像の評価値として異常度を用いる例について説明する。本実施形態では、異常度（評価値）をマハラノビス距離ＭＤ_ｉによって求めたが、ユークリッド距離や部分空間法の一種である投影距離によって求めてもよい。

【0030】

Ｓ３−１４では、処理部１２は、複数の学習用画像の各々における異常度（評価値）の分布を各グループについて生成するとともに表示部１３に表示する。Ｓ３−１５では、処理部１２は、サンプルの画像についての評価値の範囲が複数のグループにおいて互いに相違する度合（以下、相違度）が許容値を満たしているか否かを判断する。相違度が許容値を満たしていない場合はＳ３−１６に進み、相違度が許容値を満たしている場合は分類情報の取得（学習）を終了する。許容値は、例えば、ユーザによって予め設定されうる。

【0031】

図５は、表示部１３の画面における表示例を示す図である。表示部１３の領域１３ａには、各学習用画像における異常度（評価値）の分布（ヒストグラム）が各グループについて表示されている。当該ヒストグラムにおいて、白い棒が良品グループにおける学習用画像の枚数を表し、黒い棒が不良品グループにおける学習用画像の枚数を表している。また、表示部１３の領域１３ｂには、対象画像を分類するための評価値の閾値を決定するための不良品検出率と、相違度としての直交率とが表示されている。

【0032】

不良品検出率とは、複数のグループのうち所定のグループの分類されるべきサンプルを当該所定のグループに分類させる比率のことであり、例えば、不良品を不良品として分類させる比率のことである。この不良品検出率に応じて閾値が決定されうる。不良品検出率は、ユーザによって任意に設定可能であるが、一般に、不良品が良品に分類されることがないように１００％に設定される。不良品検出率が１００％の場合、処理部１２は、不良品グループにおける学習用画像の異常度の最小値より小さい値に閾値を設定する。つまり、処理部１２は、図５に示すヒストグラムにおいて、不良品グループにおける学習用画像の全てが閾値より右側になるように閾値を設定する。図５に示す例では、不良品グループにおいて異常度が最小となる学習用画像１３ｈの異常度より小さい値になるように閾値１３ｃが処理部１２によって設定される。

【0033】

また、相違度としての直交率とは、良品グループにおける学習用画像の全てに対する、閾値より異常度の小さい学習用画像の割合のことである。直交率は一般に高い方が好ましく、直交率が１００％のときが、良品グループにおける学習用画像の全てが閾値より左側に配置され、不良品グループにおける学習用画像の全てが閾値より右側に配置される理想的な状態となる。

【0034】

ここで、本実施形態では、相違度が許容値を満たしているか否かの判断が処理部１２によって行われるが、例えばユーザによって行われてもよい。この場合、ユーザは、相違度（直交率）が許容値を満たしていないと判断したときには「追加学習」ボタン１３ｄを、相違度が許容値を満たしていると判断したときには「学習の終了」ボタン１３ｅを入力部１４を介して押す。処理部１２は、「追加学習」ボタン１３ｄがユーザによって押された場合にはＳ３−１６に進み、「学習の終了」ボタン１３ｅがユーザによって押された場合には分類情報の取得（学習）を終了する。

【0035】

Ｓ３−１６では、処理部１２は、複数の学習用画像の各々についての異常度（評価値）をグループごとに表した情報に基づいて、複数の学習用画像の各々についての異常度において特異な異常度を有する少なくとも１つのサンプルを特定する。第1実施形態では、当該情報として、各グループにおける異常度のヒストグラムが用いられる。処理部１２は、サンプルの画像についての評価値の範囲が良品グループと不良品グループとで互いに重なり合っている部分（以下、重複部分）に属するサンプルから、特異な評価値を有する少なくとも１つのサンプルを選択するとよい。重複部分とは、例えば、表示部１３の領域１３ａに表示されたヒストグラムにおける異常度の範囲１３ｆのことである。例えば、処理部１２は、不良品グループおよび重複部分の双方に含まれるサンプルのうち、異常度の低い方から順に少なくとも１つのサンプルを特定する。もしくは、処理部１２は、良品グループおよび重複部分の双方に含まれるサンプルのうち、異常度の高い方から順に少なくとも１つのサンプルを特定する。特定するサンプルの数は、例えば、ユーザによって予め設定されうる。また、処理部１２は、特定されたサンプルの学習用画像を表示部１３の領域１３ｇに表示させてもよい。ここで、本実施形態では、特異な評価値を有する少なくとも１つのサンプルの特定が処理部１２によって行われるが、例えばユーザによって行われてもよい。この場合、ユーザは、表示部１３の領域１３ａに表示されたヒストグラムにおいて、特異な評価値を有する学習用画像を入力部１４を介して選択することにより、当該少なくとも１つのサンプルを特定しうる。

【0036】

Ｓ３−１２において作成された特徴リストでは、例えば、小さい欠陥や低コントラストの欠陥などを含む画像を不良品グループに分類するように評価方法が決定されないことがある。そのため、Ｓ３−１３からＳ３−１５の工程において、相違度が許容値を満たしているか否かを判断し、Ｓ３−１６の工程において、複数の学習用画像の各々についての異常度（評価値）の分布から特異な評価値を有するサンプルを特定している。

【0037】

そして、Ｓ３−１７では、処理部１２は、Ｓ３−１６で特定された少なくとも１つのサンプルの学習用画像についての評価値を変化させて相違度（直交率）が高まるように（許容値を満たすように）、画像特徴を特徴リストに追加して、評価方法を変更する。このとき、処理部１２は、当該少なくとも１つのサンプルの学習用画像についての評価値の変化が、複数の学習用画像の各々についての評価値の変化の平均に比べて大きくなるように評価方法を変更するとよい。

【0038】

例えば、処理部１２は、Ｓ３−１６で特定された少なくとも１つのサンプルの学習用画像について、特徴リストに含まれていない画像特徴についての特徴量Ｘ_ｓを求める。ｓは特徴リストに含まれていない画像特徴の番号を示している（ｓ＝ｋ＋１，ｋ＋２，・・・，Ｎ）。Ｎは、Ｓ３−１２において複数の学習用画像から抽出された画像特徴の全数である。そして、処理部１２は、式（６）により特徴量Ｘ_ｓの正規化を行う。Ｙ_ｓは、正規化された特徴量を表す。式（６）において、Ｍ_ｓは複数の学習用画像における特徴量Ｘ_ｓの平均値であり、σ_ｓは複数の学習用画像における特徴量Ｘ_ｓの標準偏差である。平均値Ｍ_ｓおよび標準偏差σ_ｓは、Ｓ３−１１で読み込まれた複数の学習用画像を用いて算出されうる。

【0039】

【数6】

【0040】

この正規化された特徴量Ｙ_ｓは、平均値Ｍ_ｓおよび標準偏差σ_ｓを用いて正規化されている。そのため、正規化された特徴量Ｙ_ｓを、複数の学習用画像の各々と、Ｓ３−１６で特定された少なくとも１つのサンプルの学習用画像とで比較することで、当該少なくともの１つのサンプルの学習用画像への寄与率が大きい画像特徴を選択することができる。即ち、特徴リストに追加する画像特徴についての特徴量Ｙ_ｓが大きいほど、評価方法を変更したとき、Ｓ３−１６で特定された少なくとも１つのサンプルの学習用画像についての評価値を、各学習用画像についての評価値の平均より大きく変化させることができる。したがって、処理部１２は、特徴リストに含まれていない画像特徴のうち正規化された特徴量Ｙ_ｓが大きい画像特徴から順に特徴リストに追加して評価方法を変更することが好ましい。特徴リストに追加する画像特徴についての正規化された特徴量Ｙ_ｓは３以上であるとよい。ここで、処理部１２は、上述の方法により、特徴リストに含まれる各画像特徴についての特徴量の重みを再び決定しうる。また、処理部１２は、分類処理に要する時間が許容範囲に収まるように、特徴リストに含まれる複数の画像特徴のうち当該少なくとも１つのサンプルの学習用画像の評価値を変化させる寄与率（重み）が最も小さい画像特徴を特徴リストから外してもよい。

【0041】

Ｓ３−１８では、処理部１２は、Ｓ３−１３の工程と同様に、Ｓ３−１７で変更した評価方法により、複数の学習用画像の各々について評価値を求める。Ｓ３−１９では、処理部１２は、Ｓ３−１４の工程と同様に、複数の学習用画像の各々における異常度（評価値）の分布を各グループについて再び生成するとともに表示部１３に表示する。Ｓ３−２０では、処理部１２は、相違度（直交率）が許容値を満たしているか否かを判断する。相違度が許容値を満たしていない場合はＳ３−１６に進みＳ３−１６〜Ｓ３−１９の工程を繰り返し、相違度が許容値を満たしている場合は分類情報の取得（学習）を終了する。

【0042】

上述したように、第１実施形態の検査装置１では、相違度が高まるように（許容値を満たすように）評価方法の変更が処理部１２によって行われる。これにより、検査装置１は、高精度な学習を行うことができ、変更した評価方法を用いて対象画像についての評価値を求めることにより、当該物品を複数のグループのいずれかに精度よく分類することができる。

【0043】

＜第２実施形態＞
本発明の第２実施形態の検査装置について説明する。第２実施形態の検査装置は、第１実施形態の検査装置１と比べて、図２におけるＳ３の工程で行われる分類情報を取得する方法（学習方法）が異なる。以下に、第２実施形態の検査装置における分類情報の取得（学習）について、図６を参照しながら説明する。

【0044】

Ｓ３−２１〜Ｓ３−２９は、図３のフローチャートにおけるＳ３−１１〜Ｓ３−１９と同様である。Ｓ３−３０では、処理部１２は、ユーザにより予め設定された条件に従って、Ｓ３−２６〜Ｓ３−２９の工程を繰り返すか否かを判断する。Ｓ３−２６〜Ｓ３−２９の工程とは、相違度が高まるように（許容値を満たすように）評価方法を変更する工程のことである。処理部１２は、例えば、Ｓ３−２６〜Ｓ３−２９の工程を、予め設定された回数だけ繰り返す。このようにＳ３−２６〜Ｓ３−２９の工程を繰り返すことにより、処理部１２は、対象画像の評価値を求めるために用いられる評価方法について複数の候補を取得することができる。また、Ｓ３−３１では、処理部１２は、Ｓ３−３０において取得した複数の候補のうち相違度が最も大きい候補を選択し、選択した候補を、対象画像の評価値を求めるために用いられる評価方法に決定する。本実施形態では、処理部１２は、複数の候補のうち相違度が最も大きい候補を選択したが、例えば、分類処理に要する時間が最も短くなる候補を選択してもよいし、相違度および分類処理に要する時間を両立することができる候補を選択してもよい。

【0045】

＜第３実施形態＞
第１実施形態では、特異な異常度を有する少なくとも１つのサンプルを特定する際に、各グループにおける異常度のヒストグラムを、複数の学習用画像の各々についての異常度をグループごとに表した情報として用いる例について説明した。第３実施形態では、異常度（評価値）でソートされた良品グループの各学習用画像と、良品グループの各学習用画像の異常度に対応する異常度を有する不良品グループの学習用画像の数との関係を、当該情報として用いる例について説明する。以下では、当該関係を「累積数分布」と称する。

【0046】

図７は、累積数分布を示す図である。当該累積数分布は、Ｓ３−１４の工程において処理部１２によって生成され、表示部１３の領域１３ａに表示されうる。図７における横軸は、異常度が少ない順にソートさせた良品グループの各学習用画像の番号を示し、縦軸は、良品グループの各学習用画像の異常度に対応する異常度を有する不良品グループの学習用画像の数（累積数）を示している。

【0047】

例えば、図７では、良品グループの学習用画像の番号（横軸）が「３０」のところで、不良品グループの学習用画像の累積数（縦軸）が１枚目にカウントされている。これは、良品グループの３０枚目の学習用画像の異常度に対応する異常度を有する不良品グループの学習用画像が１枚あることを示している。具体的には、不良品グループにおける１枚の学習用画像の異常度が、良品グループにおける３０枚目の学習用画像の異常度と３１枚目の学習用画像の異常度との間にあることを示している。

【0048】

同様に、図７では、良品グループの学習用画像の番号（横軸）が「４０」のところで、不良品グループの学習用画像の累積数（縦軸）が２枚目にカウントされている。これは、良品グループの４０枚目の学習用画像の異常度に対応する異常度を有する不良品グループの学習用画像が１枚あることを示している。具体的には、不良品グループにおける１枚の学習用画像の異常度が、良品グループにおける４０枚目の学習用画像の異常度と４１枚目の学習用画像の異常度との間にあることを示している。

【0049】

次に、図７に示す累積数分布を用いる利点について説明する。累積数分布を用いる利点としては主に３点ある。１点目の利点としては、グラフ形状が一意的に決定されることである。例えば、異常度をグループごとに表した情報としてヒストグラムを用いる場合では、ビンの設定を行わないとグラフ形状を決定することができない。それに対し、図７に示す累積数分布を当該情報として用いる場合では、ビンなどを設定することなく、グラフ形状を一意的に決定することができる。

【0050】

２点目の利点としては、最も異常度が小さい不良品グループの学習用画像を容易に検知することができることである。一般に検査システムにおいては、最も良品に近い不良品を如何に早く且つ正確に検知することができるかが、高精度に画像を分類するうえで大きな課題となる。ヒストグラムを用いる場合では、良品グループおよび不良品グループの２つのヒストグラムを参照しないと、最も異常度が小さい不良品グループの学習用画像を検知することができない。それに対し、図７に示す累積数分布では、プロット線で表される１つのデータのみを参照することにより、最も異常度が小さい不良品グループの学習用画像を容易に且つ正確に検知することができる。

【0051】

３点目の利点としては、グラフ形状によって学習結果が妥当であるか否かを容易に判断することができることである。即ち、累積数分布では、グラフ形状（プロット線の傾き）から直交率（相違度）を容易に把握することができる。図８は、累積数分布についての比較例（３つの例）を示す。図８における実線７１は、不良品グループにおける全ての学習用画像の異常度が良品グループにおける学習画像の最大の異常度よりも大きく、良品グループと不良品グループとが完全に分離している場合を示している。また、図８における破線７２は、不良品グループにおける学習用画像の中に、良品グループにおける最大の異常度より小さい異常度を有する学習用画像があるが、良品グループと不良品グループとが十分に分離している場合を示している。さらに、図８における一点鎖線７３は、不良品グループにおける学習用画像の中に、良品グループにおける最大の異常度より特に小さい異常度を有する学習用画像があり、学習が不十分である場合を示している。一点鎖線７３に示すようなグラフ形状になる理由としては、例えば、本来は良品グループに分類されるべき学習用画像が不良品グループに分類されていることや、不良品グループを分類するために必要な画像特徴が抽出されていないことなどが挙げられる。

【0052】

ここで、累積数分布では、グラフ形状（プロット線の傾き）から直交率（相違度）が求められ、求められた直交率が許容値を満たしているか否かがＳ３−１５の工程において判断される。また、累積数分布は、累積数分布は、図７に示す例に限られるものではなく、例えば、図９に示すように、図７の縦軸と横軸とを逆にしたものであってもよい。

【0053】

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0054】

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されないことはいうまでもなく、その要旨の範囲内で種々の変形および変更が可能である。

【符号の説明】

【0055】

１：検査装置、１１：撮像部、１２：処理部、１３：表示部、１４：入力部、２：物品

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】