特許 7498890 画像検査装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-05

(45)【発行日】2024-06-13

(54)【発明の名称】画像検査装置

(51)【国際特許分類】

   G01N 21/88 20060101AFI20240606BHJP

   G06T 7/00 20170101ALI20240606BHJP

【ＦＩ】

G01N21/88 J

G06T7/00 350B

G06T7/00 610

【請求項の数】 6

(21)【出願番号】P 2020024531

(22)【出願日】2020-02-17

(65)【公開番号】P2021128130

(43)【公開日】2021-09-02

【審査請求日】2022-12-07

(73)【特許権者】

【識別番号】000002945

【氏名又は名称】オムロン株式会社

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100108213

【弁理士】

【氏名又は名称】阿部 豊隆

(72)【発明者】

【氏名】池田 泰之

【審査官】嶋田 行志

(56)【参考文献】

【文献】国際公開第２０１６／０９２６１４（ＷＯ，Ａ１）

【文献】国際公開第２０１１／１５５１２３（ＷＯ，Ａ１）

【文献】特開２００７－１１４８４３（ＪＰ，Ａ）

【文献】特開２００９－２６６８３９（ＪＰ，Ａ）

【文献】特開２００８－０８２８２１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２１／８４－Ｇ０１Ｎ ２１／９５８

Ｇ０１Ｎ ２３／００－Ｇ０１Ｎ ２３／２２７６

Ｇ０６Ｔ １／００－Ｇ０６Ｔ ７／９０

Ｇ０６Ｎ ３／００－Ｇ０６Ｎ ９９／００

ＪＳＴＰｌｕｓ／ＪＳＴ７５８０／ＪＳＴＣｈｉｎａ（ＪＤｒｅａｍＩＩＩ）

(57)【特許請求の範囲】

【請求項1】

対象物の画像を撮影する撮影部と、
前記画像から複数の特徴量を抽出する抽出部と、
前記複数の特徴量がそれぞれ閾値を越えるか否かによって、前記対象物が良品であるか欠陥品であるかの分類を行う分類部と、
前記良品であるか前記欠陥品であるかのラベル付けがされた複数の学習用画像から得られた複数の特徴量それぞれについて、前記複数の学習用画像に含まれる前記欠陥品のラベル付けがされた任意の学習用画像の対象物を前記分類部が前記良品であると分類することである前記欠陥品の見逃しを所定割合以下とし、前記複数の学習用画像に含まれる前記良品のラベル付けがされた任意の学習用画像の対象物を前記分類部が前記欠陥品であると分類することである前記欠陥品の誤検出が少なくなるように前記閾値を決定する決定部と、
を備え、
前記決定部は、前記複数の特徴量それぞれに関する前記閾値の初期値を、前記欠陥品の誤検出がなくなるように設定し、前記複数の特徴量いずれかについて、前記欠陥品の見逃しが減少し、前記欠陥品の誤検出の増加が小さくなるように、前記閾値を更新することを繰り返し、前記閾値を決定する、画像検査装置。

【請求項2】

前記決定部は、前記複数の特徴量それぞれについて、前記欠陥品の見逃しがなくなり、前記欠陥品の誤検出が最小となるように前記閾値を決定する、
請求項１に記載の画像検査装置。

【請求項3】

前記決定部は、前記閾値についての複数の候補について、前記欠陥品の見逃しをゼロとし且つ前記欠陥品の誤検出が最小となる組み合わせを探索する、 請求項２に記載の画像検査装置。

【請求項4】

ユーザ入力に基づいて、前記閾値を調整する調整部をさらに備え、
前記分類部は、調整前後の前記閾値を用いて前記対象物が前記良品であるか前記欠陥品であるかの分類を行い、
前記決定部は、ユーザ入力に基づいて、前記閾値を調整前の値とするか、前記閾値を調整後の値とするか決定する、
請求項１から３のいずれか一項に記載の画像検査装置。

【請求項5】

前記分類部は、調整前後の前記閾値を用いて、前記複数の学習用画像について前記対象物が前記良品であるか前記欠陥品であるかの分類を行い、前記欠陥品の見逃し及び前記欠陥品の誤検出の少なくともいずれかの数又は割合を算出する、
請求項４に記載の画像検査装置。

【請求項6】

調整前後の前記閾値を用いて前記対象物が前記良品であるか前記欠陥品であるかを前記分類部によって分類した結果を、前記複数の特徴量のうち少なくとも２つの特徴量を座標軸とする散布図として表示する表示部をさらに備える、
請求項４又は５に記載の画像検査装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像検査装置に関する。

【背景技術】

【0002】

従来、対象物が良品であるか欠陥品であるか検査するため、対象物の画像を撮影して、画像に基づいて検査を行う画像検査装置が用いられている。画像検査装置は、画像から特徴量を算出し、特徴量と閾値を比較することで、対象物の検査を行うことがある。

【0003】

例えば下記特許文献１には、異常の検知対象から収集されたデータを学習した学習結果と、テスト期間において異常の検知対象から観測されたデータとに基づいて異常度を算出し、当該異常度を閾値と比較することで異常の発生を検知し、異常の見逃し及び誤検知の有無に基づいて閾値を決定する閾値決定装置が記載されている。閾値決定装置は、誤検知が発生した場合には閾値を増加させ、見逃しが発生した場合には閾値を減少させる。

【0004】

また、下記特許文献２には、誤検出データの特徴ベクトルをクラスタリングして複数のクラスタに分類し、複数のクラスタの１つを分割する分割面を決定する分割面を決定し、その分割面に基づいて学習対象の分岐ノードにおけるパラメータを決定するパラメータ学習方法が記載されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１８－１４８３５０号公報

【文献】特開２００９－２８２６３１号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

例えば特許文献１に記載の技術では、単一の異常度と閾値とを比較しているが、対象物の画像から算出される複数の特徴量それぞれについて閾値を設定して、対象物が良品であるか欠陥品であるか検査する場合がある。その場合、特徴量の数が増えるに従って閾値の組み合わせが急激に増加し、適切な閾値を設定するために要する時間が増大する。また、時間をかけても適切な閾値が設定できない場合がある。

【0007】

そこで、本発明は、対象物の画像から算出される複数の特徴量について、より適切な閾値をより迅速に決定することができる画像検査装置を提供する。

【課題を解決するための手段】

【0008】

本発明の一態様に係る画像検査装置は、対象物の画像を撮影する撮影部と、画像から複数の特徴量を抽出する抽出部と、複数の特徴量がそれぞれ閾値を越えるか否かによって、対象物が良品であるか欠陥品であるかの分類を行う分類部と、良品であるか欠陥品であるかのラベル付けがされた複数の学習用画像から得られた複数の特徴量それぞれについて、欠陥品の見逃しを所定割合以下とし、欠陥品の誤検出が少なくなるように閾値を決定する決定部と、を備える。

【0009】

この態様によれば、画像から複数の特徴量を抽出する場合であっても、複数の特徴量について適切な閾値を迅速に決定することができ、欠陥品の見逃しを所定割合以下とすることができる。

【0010】

上記態様において、決定部は、複数の特徴量それぞれについて、欠陥品の見逃しがなくなり、欠陥品の誤検出が最小となるように閾値を決定してもよい。

【0011】

この態様によれば、欠陥品の見逃しをゼロとして、欠陥品の誤検出が最小となるように、複数の特徴量に関する閾値を決定することができる。

【0012】

上記態様において、決定部は、複数の特徴量それぞれに関する閾値の初期値を、欠陥品の誤検出がなくなるように設定し、複数の特徴量いずれかについて、見逃しが減少し、誤検出の増加が小さくなるように、閾値を更新することを繰り返し、閾値を決定してもよい。

【0013】

この態様によれば、欠陥品の見逃しを所定割合以下としつつ、欠陥品の誤検出ができるだけ少なくなるように閾値を決定することができる。

【0014】

上記態様において、ユーザ入力に基づいて、閾値を調整する調整部をさらに備え、分類部は、調整前後の閾値を用いて対象物が良品であるか欠陥品であるかの分類を行い、決定部は、ユーザ入力に基づいて、閾値を調整前の値とするか、閾値を調整後の値とするか決定してもよい。

【0015】

この態様によれば、複数の特徴量に関する閾値をユーザ入力に基づいて調整し、分類性能が向上するか否かを確認しながら、閾値を調整前の値とするか、調整後の値とするか決定することができる。

【0016】

上記態様において、分類部は、調整前後の閾値を用いて、複数の学習用画像について対象物が良品であるか欠陥品であるかの分類を行い、欠陥品の見逃し及び欠陥品の誤検出の少なくともいずれかの数又は割合を算出してもよい。

【0017】

この態様によれば、複数の特徴量に関する閾値をユーザ入力に基づいて調整した場合に、欠陥品の見逃し及び欠陥品の誤検出の少なくともいずれかの数又は割合を確認しながら、閾値を調整前の値とするか、調整後の値とするか決定することができる。

【0018】

上記態様において、調整前後の閾値を用いて対象物が良品であるか欠陥品であるかを分類部によって分類した結果を、複数の特徴量のうち少なくとも２つの特徴量を座標軸とする散布図として表示する表示部をさらに備えてもよい。

【0019】

この態様によれば、対象物が良品であるか欠陥品であるかを分類した結果を、視覚的に把握することができ、分類の妥当性が判断しやすくなる。

【発明の効果】

【0020】

本発明によれば、対象物の画像から算出される複数の特徴量について、より適切な閾値をより迅速に決定することができる画像検査装置を提供することができる。

【図面の簡単な説明】

【0021】

【図1】本発明の実施形態に係る画像検査装置の構成を示す図である。

【図2】本実施形態に係る画像検査装置の検査部の物理的構成を示す図である。

【図3】本実施形態に係る画像検査装置により設定された閾値の初期値を示す図である。

【図4】本実施形態に係る画像検査装置により更新された閾値を示す図である。

【図5】本実施形態に係る画像検査装置により決定された閾値を示す図である。

【図6】本実施形態に係る画像検査装置により実行される閾値決定処理のフローチャートである。

【図7】本実施形態に係る画像検査装置により実行される閾値調整処理のフローチャートである。

【図8】本実施形態に係る画像検査装置により設定された閾値の初期値を示す図である。

【図9】本実施形態に係る画像検査装置により決定された閾値を示す図である。

【図10】本実施形態に係る画像検査装置により摂動を加えた閾値を示す図である。

【図11】本実施形態に係る画像検査装置により決定された閾値を示す図である。

【図12】本実施形態に係る画像検査装置により実行される閾値決定処理のフローチャートである。

【発明を実施するための形態】

【0022】

添付図面を参照して、本発明の実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。

【0023】

図１は、本発明の実施形態に係る画像検査装置１００の構成を示す図である。画像検査装置１００は、検査部１０、照明２０及び撮影部３０を備える。

【0024】

照明２０は、対象物２００に光を照射する。照明２０は、拡散光を対象物２００に照射するものであってよく、リング状やドーム状の形状を有するものであってよい。

【0025】

撮影部３０は、照明２０によって照らされた対象物２００の画像を撮影する。撮影部３０は、可視光の画像を撮影してよいが、赤外線や紫外線等の画像を撮影してもよい。また、撮影部３０は、静止画を撮影するものであってよいが、動画を撮影するものであってもよい。

【0026】

検査部１０は、抽出部１１、分類部１２、決定部１３、調整部１４及び表示部を有する。抽出部１１は、画像から複数の特徴量を抽出する。特徴量は、画像に基づいて算出される任意の量を含んでよい。分類部１２は、複数の特徴量がそれぞれ閾値を越えるか否かによって、対象物２００が良品であるか欠陥品であるかの分類を行う。閾値は、１つの特徴量について上限閾値と下限閾値とが設定されてよい。分類部１２は、複数の特徴量それぞれが下限閾値以上、上限閾値以下である場合に良品であると分類し、複数の特徴量のいずれかが下限閾値未満であるか、上限閾値より大きい場合に欠陥品であると分類してよい。

【0027】

決定部１３は、対象物２００が良品であるか欠陥品であるかのラベル付けがされた複数の学習用画像から得られた複数の特徴量それぞれについて、欠陥品の見逃しを所定割合以下とし、欠陥品の誤検出が少なくなるように閾値を決定する。このように閾値を決定することで、画像から複数の特徴量を抽出する場合であっても、複数の特徴量について適切な閾値を迅速に決定することができ、欠陥品の見逃しを所定割合以下とすることができる。

【0028】

決定部１３は、複数の特徴量それぞれについて、欠陥品の見逃しがなくなり、欠陥品の誤検出が最小となるように閾値を決定してもよい。これにより、欠陥品の見逃しをゼロとして、欠陥品の誤検出が最小となるように、複数の特徴量に関する閾値を決定することができる。

【0029】

また、決定部１３は、複数の特徴量それぞれに関する閾値の初期値を、欠陥品の誤検出がなくなるように設定し、複数の特徴量いずれかについて、見逃しが減少し、誤検出の増加が小さくなるように、閾値を更新することを繰り返し、閾値を決定してもよい。これにより、欠陥品の見逃しを所定割合以下としつつ、欠陥品の誤検出ができるだけ少なくなるように閾値を決定することができる。

【0030】

調整部１４は、ユーザ入力に基づいて、閾値を調整する。その場合、分類部１２は、調整前後の閾値を用いて対象物２００が良品であるか欠陥品であるかの分類を行い、決定部１３は、ユーザ入力に基づいて、閾値を調整前の値とするか、閾値を調整後の値とするか決定する。このように、複数の特徴量に関する閾値をユーザ入力に基づいて調整し、分類性能が向上するか否かを確認しながら、閾値を調整前の値とするか、調整後の値とするか決定することができる。

【0031】

また、分類部１２は、調整前後の閾値を用いて、複数の学習用画像について対象物２００が良品であるか欠陥品であるかの分類を行い、欠陥品の見逃し及び欠陥品の誤検出の少なくともいずれかの数又は割合を算出してもよい。これにより、複数の特徴量に関する閾値をユーザ入力に基づいて調整した場合に、欠陥品の見逃し及び欠陥品の誤検出の少なくともいずれかの数又は割合を確認しながら、閾値を調整前の値とするか、調整後の値とするか決定することができる。

【0032】

表示部は、調整前後の閾値を用いて対象物２００が良品であるか欠陥品であるかを分類部１２によって分類した結果を、複数の特徴量のうち少なくとも２つの特徴量を座標軸とする散布図として表示する。なお、表示部は、調整部１４による調整が行われない場合であっても、分類部１２によって分類した結果を、複数の特徴量のうち少なくとも２つの特徴量を座標軸とする散布図として表示してよい。表示部によって、対象物２００が良品であるか欠陥品であるかを分類した結果を、視覚的に把握することができ、分類の妥当性が判断しやすくなる。

【0033】

図２は、本実施形態に係る検査部１０の物理的構成を示す図である。検査部１０は、演算部に相当するＣＰＵ（Central Processing Unit）１０ａと、記憶部に相当するＲＡＭ（Random Access Memory）１０ｂと、記憶部に相当するＲＯＭ（Read Only Memory）１０ｃと、通信部１０ｄと、入力部１０ｅと、表示部１０ｆと、を有する。これらの各構成は、バスを介して相互にデータ送受信可能に接続される。なお、本例では検査部１０が一台のコンピュータで構成される場合について説明するが、検査部１０は、複数のコンピュータが組み合わされて実現されてもよい。また、図２で示す構成は一例であり、検査部１０はこれら以外の構成を有してもよいし、これらの構成のうち一部を有さなくてもよい。

【0034】

ＣＰＵ１０ａは、ＲＡＭ１０ｂ又はＲＯＭ１０ｃに記憶されたプログラムの実行に関する制御やデータの演算、加工を行う制御部である。ＣＰＵ１０ａは、良品であるか欠陥品であるかのラベル付けがされた複数の学習用画像から得られた複数の特徴量それぞれについて、閾値を決定するプログラム（画像検査プログラム）を実行する演算部である。ＣＰＵ１０ａは、入力部１０ｅや通信部１０ｄから種々のデータを受け取り、データの演算結果を表示部１０ｆに表示したり、ＲＡＭ１０ｂに格納したりする。

【0035】

ＲＡＭ１０ｂは、記憶部のうちデータの書き換えが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＡＭ１０ｂは、ＣＰＵ１０ａが実行するプログラム、画像、画像から抽出された複数の特徴量及び閾値といったデータを記憶してよい。なお、これらは例示であって、ＲＡＭ１０ｂには、これら以外のデータが記憶されていてもよいし、これらの一部が記憶されていなくてもよい。

【0036】

ＲＯＭ１０ｃは、記憶部のうちデータの読み出しが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＯＭ１０ｃは、例えば画像検査プログラムや、書き換えが行われないデータを記憶してよい。

【0037】

通信部１０ｄは、検査部１０を他の機器に接続するインターフェースである。通信部１０ｄは、インターネット等の通信ネットワークに接続されてよい。

【0038】

入力部１０ｅは、ユーザからデータの入力を受け付けるものであり、例えば、キーボード及びタッチパネルを含んでよい。

【0039】

表示部１０ｆは、ＣＰＵ１０ａによる演算結果を視覚的に表示するものであり、例えば、ＬＣＤ（Liquid Crystal Display）により構成されてよい。表示部１０ｆは、例えば、対象物が良品であるか欠陥品であるかを分類した結果を、複数の特徴量のうち少なくとも２つの特徴量を座標軸とする散布図として表示してよい。

【0040】

画像検査プログラムは、ＲＡＭ１０ｂやＲＯＭ１０ｃ等のコンピュータによって読み取り可能な記憶媒体に記憶されて提供されてもよいし、通信部１０ｄにより接続される通信ネットワークを介して提供されてもよい。検査部１０では、ＣＰＵ１０ａが画像検査プログラムを実行することにより、図１を用いて説明した様々な動作が実現される。なお、これらの物理的な構成は例示であって、必ずしも独立した構成でなくてもよい。例えば、検査部１０は、ＣＰＵ１０ａとＲＡＭ１０ｂやＲＯＭ１０ｃが一体化したＬＳＩ（Large-Scale Integration）を備えていてもよい。

【0041】

図３は、本実施形態に係る画像検査装置１００により設定された閾値の初期値を示す図である。同図では、横軸に第１特徴量ｆ１を示し、縦軸に第２特徴量ｆ２を示している。同図は、複数の学習用画像から得られた第１特徴量ｆ１及び第２特徴量ｆ２に基づいて良品であるか欠陥品であるかを分類した結果を、第１特徴量ｆ１及び第２特徴量ｆ２を座標軸とする散布図として表示し、第１特徴量ｆ１及び第２特徴量ｆ２に関する閾値の初期値を表示した例である。なお、本明細書では、便宜上特徴量が２種類の場合を例にとって説明するが、特徴量が２種類より多い場合にも本実施形態に係る画像検査装置１００による処理を行うことができる。例えば、特徴量の１０種類あれば、１０次元の特徴量空間で処理を進めることになる。

【0042】

第１特徴量ｆ１の初期値は、下限閾値ｆ１＿ｍｉｎ＿ｔｈと、上限閾値ｆ１＿ｍａｘ＿ｔｈとを含む。また、第２特徴量ｆ２の初期値は、下限閾値ｆ２＿ｍｉｎ＿ｔｈと、上限閾値ｆ２＿ｍａｘ＿ｔｈとを含む。第１特徴量ｆ１及び第２特徴量ｆ２の初期値は、欠陥品の誤検出がなくなるように設定されている。

【0043】

同図では、良品に対応する点を白抜きの丸印で示し、欠陥品に対応する点を、ハッチングを含む丸印で示している。学習用画像は、１０の良品の画像と、７つの欠陥品の画像とを含み、第１点ｅ１から第７点ｅ７は、７つの欠陥品の第１特徴量ｆ１及び第２特徴量ｆ２に対応する。

【0044】

画像検査装置１００は、複数の特徴量それぞれが下限閾値以上、上限閾値以下である場合に良品であると分類し、複数の特徴量のいずれかが下限閾値未満であるか、上限閾値より大きい場合に欠陥品であると分類する。図３に示す初期値の場合、１０の良品の画像は、すべて良品であると正しく分類され、欠陥品の誤検出はゼロとなっている。一方、７つの欠陥品の画像のうち、第３点ｅ３、第５点ｅ５及び第７点ｅ７に対応する画像は、誤って良品であると分類されることになる。すなわち、図３に示す初期値の場合、欠陥品の見逃しが３つ生じることになる。

【0045】

画像検査装置１００は、複数の特徴量それぞれについて、欠陥品の見逃しがなくなり、欠陥品の誤検出が最小となるように閾値を決定する。

【0046】

図４は、本実施形態に係る画像検査装置１００により更新された閾値を示す図である。同図では、横軸に第１特徴量ｆ１を示し、縦軸に第２特徴量ｆ２を示して、第２特徴量ｆ２の下限閾値ｆ２＿ｍｉｎ＿ｔｈを更新した例である。

【0047】

画像検査装置１００は、複数の特徴量いずれかについて、欠陥品の見逃しが減少し、欠陥品の誤検出の増加が小さくなるように、閾値を更新することを繰り返す。同図に示す例の場合、第２特徴量ｆ２の下限閾値ｆ２＿ｍｉｎ＿ｔｈを更新することで、第５点ｅ５に関する欠陥品の見逃しが減少し、欠陥品の誤検出が１つ増加することになる。

【0048】

図５は、本実施形態に係る画像検査装置１００により決定された閾値を示す図である。同図では、横軸に第１特徴量ｆ１を示し、縦軸に第２特徴量ｆ２を示して、最終的に決定された第１特徴量ｆ１の下限閾値ｆ１＿ｍｉｎ＿ｔｈ及び上限閾値ｆ１＿ｍａｘ＿ｔｈ並びに第２特徴量ｆ２の下限閾値ｆ２＿ｍｉｎ＿ｔｈ及び上限閾値ｆ２＿ｍａｘ＿ｔｈを示している。

【0049】

画像検査装置１００は、複数の特徴量いずれかについて、欠陥品の見逃しが減少し、欠陥品の誤検出の増加が小さくなるように、閾値を更新することを、欠陥品の見逃しがなくなるまで繰り返す。その結果、本例の場合、図５に示す第１特徴量ｆ１の下限閾値ｆ１＿ｍｉｎ＿ｔｈ及び上限閾値ｆ１＿ｍａｘ＿ｔｈ並びに第２特徴量ｆ２の下限閾値ｆ２＿ｍｉｎ＿ｔｈ及び上限閾値ｆ２＿ｍａｘ＿ｔｈが最終的な閾値として決定される。この場合、欠陥品の見逃しがゼロであり、欠陥品の誤検出が５つで最小となる。

【0050】

図６は、本実施形態に係る画像検査装置１００により実行される閾値決定処理のフローチャートである。はじめに、画像検査装置１００は、学習用画像から複数の特徴量を抽出する（Ｓ１０）。

【0051】

画像検査装置１００は、閾値の初期値を、欠陥品の誤検出がなくなるように設定する（Ｓ１１）。なお、閾値の初期値は、画像検査装置１００のユーザからの入力に基づいて設定してもよい。また、画像検査装置１００は、複数の特徴量いずれかについて、欠陥品の見逃しが減少し、欠陥品の誤検出の増加が小さくなるように、閾値を更新する（Ｓ１２）。

【0052】

閾値を更新した後に、欠陥品の見逃しが残る場合（Ｓ１３：ＮＯ）、画像検査装置１００は、再び、複数の特徴量いずれかについて、欠陥品の見逃しが減少し、欠陥品の誤検出の増加が小さくなるように、閾値を更新する（Ｓ１２）。一方、欠陥品の見逃しがない場合（Ｓ１３：ＹＥＳ）、画像検査装置１００は、更新後の値で閾値を決定する（Ｓ１４）。

【0053】

図７は、本実施形態に係る画像検査装置１００により実行される閾値調整処理のフローチャートである。閾値調整処理は、画像検査装置１００によって閾値決定処理が行われた後に実行されてよい。

【0054】

はじめに、画像検査装置１００は、ユーザ入力に基づいて、閾値を調整する（Ｓ２０）。そして、画像検査装置１００は、調整前後の閾値を用いて、学習用画像について対象物が良品であるか欠陥品であるか分類する（Ｓ２１）。

【0055】

その後、画像検査装置１００は、欠陥品の見逃し及び欠陥品の誤検出の少なくともいずれかの数又は割合を算出する（Ｓ２２）。また、画像検査装置１００は、分類した結果を、複数の特徴量のうち少なくとも２つの特徴量を座標軸とする散布図として表示する（Ｓ２３）。ここで、画像検査装置１００は、算出した欠陥品の見逃し及び欠陥品の誤検出の少なくともいずれかの数又は割合をあわせて表示してもよい。また、画像検査装置１００は、散布図の座標軸として用いる特徴量の指定をユーザ入力に基づいて定めてもよい。例えば、１０種類の特徴量がある場合、そのまま表示すれば散布図の次元数は１０次元となるが、画像検査装置１００は、２つ又は３つの特徴量の選択を受け付け、２次元又は３次元の散布図を表示してもよい。また、画像検査装置１００は、欠陥品の見逃しや誤検出が発生している場合には、その発生原因となっている特徴量を自動的に選択して、それらを他の特徴量と異なる態様で表示してもよい。ユーザは、散布図や欠陥品の見逃し及び欠陥品の誤検出の少なくともいずれかの数又は割合を確認し、閾値を調整後の値とするか、調整前の値とするか判断する。なお、画像検査装置１００は、データ番号を横軸に示し、いずれか１つの特徴量を縦軸に示して、散布図又は折れ線図を表示してもよい。また、画像検査装置１００は、３種類の特徴をそれぞれ異なる軸に示し、３次元散布図を表示してもよい。

【0056】

画像検査装置１００は、ユーザ入力に基づいて、閾値を確定しない場合（Ｓ２４：ＮＯ）、処理Ｓ２０～Ｓ２３を再び実行する。一方、ユーザ入力に基づいて、閾値を確定する場合（Ｓ２４：ＹＥＳ）、画像検査装置１００は、調整後の値で閾値を決定する（Ｓ２５）。

【0057】

図８は、本実施形態に係る画像検査装置１００により設定された閾値の初期値を示す図である。同図では、横軸に第１特徴量ｆ１を示し、縦軸に第２特徴量ｆ２を示している。同図は、複数の学習用画像から得られた第１特徴量ｆ１及び第２特徴量ｆ２に基づいて良品であるか欠陥品であるかを分類した結果を、第１特徴量ｆ１及び第２特徴量ｆ２を座標軸とする散布図として表示し、第１特徴量ｆ１及び第２特徴量ｆ２に関する閾値の初期値を表示した例である。本例では、散布図とあわせて、欠陥品の見逃し及び欠陥品の誤検出の数及び割合を表として表示している。

【0058】

第１特徴量ｆ１の初期値は、下限閾値ｆ１＿ｍｉｎ＿ｔｈと、上限閾値ｆ１＿ｍａｘ＿ｔｈとを含む。また、第２特徴量ｆ２の初期値は、下限閾値ｆ２＿ｍｉｎ＿ｔｈと、上限閾値ｆ２＿ｍａｘ＿ｔｈとを含む。第１特徴量ｆ１及び第２特徴量ｆ２の初期値は、欠陥品の誤検出がなくなるように設定されている。

【0059】

同図では、良品に対応する点を白抜きの丸印で示し、欠陥品に対応する点を、ハッチングを含む丸印で示している。学習用画像は、１４の良品の画像と、６つの欠陥品の画像とを含み、第１点ｅ１から第６点ｅ６は、６つの欠陥品の第１特徴量ｆ１及び第２特徴量ｆ２に対応する。

【0060】

画像検査装置１００は、複数の特徴量それぞれが下限閾値以上、上限閾値以下である場合に良品であると分類し、複数の特徴量のいずれかが下限閾値未満であるか、上限閾値より大きい場合に欠陥品であると分類する。図８に示す初期値の場合、１４の良品の画像は、すべて良品であると正しく分類され、欠陥品の誤検出はゼロとなっている。一方、６つの欠陥品の画像のうち、第４点ｅ４及び第５点ｅ５に対応する画像は、誤って良品であると分類されることになる。すなわち、図８に示す初期値の場合、欠陥品の見逃しが２つ生じることになる。同図の表に示すとおり、本例の場合、欠陥品の見逃しの割合は１０％である。

【0061】

画像検査装置１００は、複数の特徴量それぞれについて、欠陥品の見逃しがなくなり、欠陥品の誤検出が最小となるように閾値を決定する。

【0062】

図９は、本実施形態に係る画像検査装置１００により決定された閾値を示す図である。同図では、横軸に第１特徴量ｆ１を示し、縦軸に第２特徴量ｆ２を示して、第２特徴量ｆ２の下限閾値ｆ２＿ｍｉｎ＿ｔｈを更新した例である。本例では、散布図とあわせて、更新後の欠陥品の見逃し及び欠陥品の誤検出の数及び割合を表として表示している。

【0063】

画像検査装置１００は、複数の特徴量いずれかについて、欠陥品の見逃しが減少し、欠陥品の誤検出の増加が小さくなるように、閾値を更新することを繰り返す。同図に示す例の場合、第２特徴量ｆ２の下限閾値ｆ２＿ｍｉｎ＿ｔｈを一度更新することで、第５点ｅ５に関する欠陥品の見逃しがなくなり、欠陥品の誤検出が２つ増加する。同図の表には、「欠陥品の見逃し（１）」の数が１であり、その割合が５％であることと、「欠陥品の誤検出（１）」の数が２であり、その割合が１０％であることが示されている。さらに、下限閾値ｆ２＿ｍｉｎ＿ｔｈをもう一度更新することで、第４点ｅ４に関する欠陥品の見逃しがなくなり、欠陥品の誤検出が２つ増加することになる。同図の表には、「欠陥品の見逃し（２）」の数が０であり、「欠陥品の誤検出（２）」の数が４であり、その割合が２０％であることが示されている。このように、更新前後で欠陥品の見逃し及び誤検出がどのように変化するか数値を示し、散布図とあわせて確認できるようにすることで、閾値の妥当性が判断しやすくなる。

【0064】

図９に示す最終的な閾値を用いることで、欠陥品の見逃しがゼロとなり、欠陥品の誤検出が４つになる。しかしながら、本例の場合、欠陥品の見逃しをゼロとしつつ、欠陥品の誤検出を４つ未満にする閾値の組み合わせが存在する。このように、必ずしも最適でない閾値が選択される場合があるため、画像検査装置１００は、閾値に摂動を加えて、欠陥品の見逃しをゼロに保ちつつ、欠陥品の誤検出をより少なくすることができる閾値の組み合わせが存在しないか試行する。

【0065】

図１０は、本実施形態に係る画像検査装置１００により摂動を加えた閾値を示す図である。同図では、横軸に第１特徴量ｆ１を示し、縦軸に第２特徴量ｆ２を示して、第１特徴量ｆ１に関する複数の閾値候補ｆ１＿ｍｉｎ＿ｔｈ，ｆ１＿ｍａｘ＿ｔｈ＿１，ｆ１＿ｍａｘ＿ｔｈ＿２と、第２特徴量ｆ２に関する複数の閾値候補ｆ２＿ｍｉｎ＿ｔｈ＿１，ｆ２＿ｍｉｎ＿ｔｈ＿２，ｆ２＿ｍｉｎ＿ｔｈ＿３，ｆ２＿ｍａｘ＿ｔｈ＿１，ｆ２＿ｍａｘ＿ｔｈ＿２とを示している。

【0066】

画像検査装置１００は、複数の閾値候補について、欠陥品の見逃しをゼロとして、欠陥品の誤検出が最小となる組み合わせを探索する。本例の場合、ｆ１＿ｍｉｎ＿ｔｈ，ｆ１＿ｍａｘ＿ｔｈ＿２，ｆ２＿ｍｉｎ＿ｔｈ＿１，ｆ２＿ｍａｘ＿ｔｈ＿１という組み合わせが最適となる。

【0067】

図１１は、本実施形態に係る画像検査装置１００により決定された閾値を示す図である。同図では、横軸に第１特徴量ｆ１を示し、縦軸に第２特徴量ｆ２を示して、第１特徴量ｆ２の上限閾値ｆ１＿ｍａｘ＿ｔｈを摂動後の値に更新した例である。本例では、散布図とあわせて、欠陥品の見逃し及び欠陥品の誤検出の数及び割合を表として表示している。

【0068】

図１１に示す閾値を用いることで、欠陥品の見逃しがゼロとなり、欠陥品の誤検出が３つになる。同図の表には、欠陥品の見逃しの数が０であり、欠陥品の誤検出の数が３であり、その割合が１５％であることが示されている。すなわち、図９に示す摂動前の閾値を用いる場合に比べて、欠陥品の誤検出を１つ減らすことができる。このように、画像検査装置１００は、決定された閾値が局所最適解になっている可能性を考慮して、より良い閾値を探索することができる。

【0069】

図１２は、本実施形態に係る画像検査装置１００により実行される閾値決定処理のフローチャートである。はじめに、画像検査装置１００は、学習用画像から複数の特徴量を抽出する（Ｓ３０）。

【0070】

画像検査装置１００は、閾値の初期値を、欠陥品の誤検出がなくなるように設定する（Ｓ３１）。また、画像検査装置１００は、複数の特徴量いずれかについて、欠陥品の見逃しが減少し、欠陥品の誤検出の増加が小さくなるように、閾値を更新する（Ｓ３２）。

【0071】

閾値を更新した後に、欠陥品の見逃しが残る場合（Ｓ３３：ＮＯ）、画像検査装置１００は、再び、複数の特徴量いずれかについて、欠陥品の見逃しが減少し、欠陥品の誤検出の増加が小さくなるように、閾値を更新する（Ｓ３２）。一方、欠陥品の見逃しがない場合（Ｓ３３：ＹＥＳ）、画像検査装置１００は、更新後の閾値の少なくともいずれかに摂動を加える（Ｓ３４）。

【0072】

欠陥品の見逃しがなく、誤検出が減少する閾値の組み合わせが存在する場合（Ｓ３５：ＹＥＳ）、画像検査装置１００は、摂動後の値で閾値を決定する（Ｓ３６）。一方、欠陥品の見逃しがなく、誤検出が減少する閾値の組み合わせが存在しない場合（Ｓ３５：ＮＯ）、画像検査装置１００は、摂動前の値で閾値を決定する（Ｓ３７）。

【0073】

以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。

【0074】

［附記］
対象物（２００）の画像を撮影する撮影部（３０）と、
前記画像から複数の特徴量を抽出する抽出部（１１）と、
前記複数の特徴量がそれぞれ閾値を越えるか否かによって、前記対象物（２００）が良品であるか欠陥品であるかの分類を行う分類部（１２）と、
前記良品であるか前記欠陥品であるかのラベル付けがされた複数の学習用画像から得られた複数の特徴量それぞれについて、前記欠陥品の見逃しを所定割合以下とし、前記欠陥品の誤検出が少なくなるように前記閾値を決定する決定部（１３）と、
を備える画像検査装置（１００）。

【符号の説明】

【0075】

１０…検査部、１０ａ…ＣＰＵ、１０ｂ…ＲＡＭ、１０ｃ…ＲＯＭ、１０ｄ…通信部、１０ｅ…入力部、１０ｆ…表示部、１１…抽出部、１２…分類部、１３…決定部、１４…調整部、２０…照明、３０…撮影部、１００…画像検査装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】