特許 7128107 画像検査器生成装置、画像検査装置、画像検査器生成プログラム、及び画像検査器生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-08-22

(45)【発行日】2022-08-30

(54)【発明の名称】画像検査器生成装置、画像検査装置、画像検査器生成プログラム、及び画像検査器生成方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220823BHJP

   G06N 3/04 20060101ALI20220823BHJP

【ＦＩ】

G06T7/00 350B

G06N3/04

【請求項の数】 7

(21)【出願番号】P 2018242918

(22)【出願日】2018-12-26

(65)【公開番号】P2020106935

(43)【公開日】2020-07-09

【審査請求日】2020-12-11

【審判番号】

【審判請求日】2021-11-22

(73)【特許権者】

【識別番号】000002945

【氏名又は名称】オムロン株式会社

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100108213

【弁理士】

【氏名又は名称】阿部 豊隆

(72)【発明者】

【氏名】加藤 豊

【合議体】

【審判長】千葉 輝久

【審判官】渡辺 努

【審判官】新井 寛

(56)【参考文献】

【文献】特開２０１８－２２２１６（ＪＰ，Ａ）

【文献】国際公開第２０１４／３８４０８（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

G06T7/00

G06N3/04

(57)【特許請求の範囲】

【請求項1】

検査オブジェクトに対する検査基準と学習用画像とに基づく機械学習によって、画像に含まれる前記検査オブジェクトを検査する画像検査器を生成する画像検査器生成部を備え、
前記検査基準は、前記検査オブジェクトの状態変数、該状態変数の状態値、及び検査オブジェクトが分類されるクラスの情報を含み、
前記画像検査器は、検出器と分類器とを含み、
前記画像検査器生成部は、前記画像に含まれる前記検査オブジェクトを検出する前記検出器を生成する検出器生成部と、前記画像において前記検出された検査オブジェクトの状態を分類する前記分類器を生成する分類器生成部と、を含み、
前記分類器生成部は、前記画像において前記検出された検査オブジェクトの部分画像であって、前記画像から切り出された部分画像を入力とする機械学習によって、前記分類器を生成する、
画像検査器生成装置。

【請求項2】

前記検査基準を入力するための入力部をさらに備える、
請求項１に記載の画像検査器生成装置。

【請求項3】

請求項１又は２に記載の画像検査器生成装置によって生成された前記画像検査器を備え、
前記画像検査器を用いて検査用画像を検査する、
画像検査装置。

【請求項4】

前記画像検査器は、複数の前記検査基準に基づく機械学習によって生成され、
前記画像検査器を用いて検査した結果、前記検査用画像に欠陥ありと判定されたときに、前記複数の検査基準のうち、欠陥ありと判定される原因となった検査基準を出力する出力部をさらに備える、
請求項３に記載の画像検査装置。

【請求項5】

コンピュータに実行させる画像検査器生成プログラムであって、
検査オブジェクトに対する検査基準と学習用画像とに基づく機械学習によって、画像に含まれる前記検査オブジェクトを検査する画像検査器を生成する画像検査器生成ステップ、を含み、
前記検査基準は、前記検査オブジェクトの状態変数、該状態変数の状態値、及び検査オブジェクトが分類されるクラスの情報を含み、
前記画像検査器は、検出器と分類器とを含み、
前記画像検査器生成ステップは、前記画像に含まれる前記検査オブジェクトを検出する前記検出器を生成する検出器生成ステップと、前記画像において前記検出された検査オブジェクトの状態を分類する前記分類器を生成する分類器生成ステップと、を含み、
前記分類器生成ステップは、前記画像において前記検出された検査オブジェクトの部分画像であって、前記画像から切り出された部分画像を入力とする機械学習によって、前記分類器を生成することを含む、
画像検査器生成プログラム。

【請求項6】

前記検査基準を入力するための入力ステップをさらに含む、
請求項５に記載の画像検査器生成プログラム。

【請求項7】

検査オブジェクトに対する検査基準と学習用画像とに基づく機械学習によって、画像に含まれる前記検査オブジェクトを検査する画像検査器を生成する画像検査器生成ステップ、を含み、
前記検査基準は、前記検査オブジェクトの状態変数、該状態変数の状態値、及び検査オブジェクトが分類されるクラスの情報を含み、
前記画像検査器は、検出器と分類器とを含み、
前記画像検査器生成ステップは、前記画像に含まれる前記検査オブジェクトを検出する前記検出器を生成する検出器生成ステップと、前記画像において前記検出された検査オブジェクトの状態を分類する前記分類器を生成する分類器生成ステップと、を含み、
前記分類器生成ステップは、前記画像において前記検出された検査オブジェクトの部分画像であって、前記画像から切り出された部分画像を入力とする機械学習によって、前記分類器を生成することを含む、
画像検査器生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像検査器生成装置、画像検査装置、画像検査器生成プログラム、及び画像検査器生成方法に関する。

【背景技術】

【0002】

従来、分類器生成装置として、欠陥が写った複数の第１画像を含む第１教師データに基づいて深層学習によりＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を生成するＣＮＮ生成手段と、ＣＮＮ生成手段により生成されたＣＮＮを構成する中間層に、欠陥が写った複数の第２画像それぞれを入力し、当該複数の第２画像それぞれについての複数種類の特徴量を取得する特徴量取得手段と、特徴量取得手段により取得された複数種類の特徴量の少なくとも一部の種類の特徴量を含む第２教師データに基づいて機械学習により分類器を生成する分類器生成手段と、を備えるものが知られている（特許文献１参照）。特許文献１には、この分類器生成装置により生成された分類器により、検査対象を撮像した画像であって欠陥が映った画像を分類することが記載されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１８－５６４０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載された分類器のように、深層学習により生成したＣＮＮに基づいて生成された分類器を用い、画像を検査する画像検査装置の場合、分類器による画像の分類及び検査の精度を高めるためには、多種多様な学習用画像を用意し、当該学習用画像の深層学習に基づいて分類器を生成する必要があった。このため、検査精度の高い画像検査装置では、大量の画像が必要であった。

【0005】

そこで、本発明は、大量の画像を必要とすることなく検査精度の高い画像検査器を生成することのできる画像検査器生成装置、画像検査器生成プログラム、及び画像検査器生成方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の一態様に係る画像検査器生成装置は、検査オブジェクトに対する検査基準と学習用画像とに基づく機械学習によって、画像に含まれる検査オブジェクトを検査する画像検査器を生成する画像検査器生成部を備え、検査基準は、検査オブジェクトの状態変数、当該状態変数の状態値、及び検査オブジェクトが分類されるクラスの情報を含む。

【0007】

この態様によれば、検査オブジェクトに対する検査基準と学習用画像とに基づく機械学習によって、画像に含まれる検査オブジェクトを検査する画像検査器が生成され、検査基準は、検査オブジェクトの状態変数、当該状態変数の状態値、及び検査オブジェクトが分類されるクラスの情報を含む。このように、論理情報である検査基準と学習用画像とに基づいて機械学習を行うことにより、学習用画像に基づいて機械学習を行う場合と比較して、機械学習の学習効率を向上させることが可能になる。従って、従来と比較して、大量の学習用画像を必要とせずに検査精度の高い画像検査器を生成することができる。

【0008】

前述した態様において、画像検査器は、検出器と分類器とを含み、画像検査器生成部は、画像に含まれる検査オブジェクトを検出する検出器を生成する検出器生成部と、画像において検出された検査オブジェクトの状態を分類する分類器を生成する分類器生成部と、を含んでもよい。

【0009】

この態様によれば、画像に含まれる検査オブジェクトを検出する検出器が生成され、画像において検出された検査オブジェクトの状態を分類する分類器が生成される。このように、画像に含まれる検査オブジェクトを検出する検出器と、検出された検査オブジェクトの状態を分類する分類器とを分けて生成することにより、機械学習による検出器の生成には、検査オブジェクトの状態の異なるバリエーションの学習用画像が不要である一方、機械学習による分類器の生成には、検査オブジェクトの数、位置、範囲等の異なるバリエーションの学習用画像が不要となる。

【0010】

前述した態様において、分類器生成部は、画像において検出された検査オブジェクトの部分画像に基づく機械学習によって、分類器を生成してもよい。

【0011】

この態様によれば、画像において検出された検査オブジェクトの部分画像に基づく機械学習によって、分類器が生成される。これにより、学習用画像における検査オブジェクトの数、位置、範囲等は捨象されるので、検査オブジェクトの状態の異なるバリエーションの部分画像に基づく機械学習によって分類器を生成することにより、大量の学習用画像を必要とせずに、分類器を生成する分類器生成部を容易に実現することができる。

【0012】

前述した態様において、検査基準を入力するための入力部をさらに備えてもよい。

【0013】

この態様によれば、検査基準を入力するための入力部をさらに備える。これにより、検査基準を簡易に設定することができる。

【0014】

また、本発明の他の態様に係る画像検査装置は、前述した画像検査器生成装置によって生成された画像検査器を備え、画像検査器を用いて検査用画像を検査する。

【0015】

この態様によれば、画像検査器を用いて検査用画像が検査される。これにより、検査精度の高い画像検査装置を容易に実現することができる。

【0016】

前述した態様において、画像検査器は、複数の検査基準に基づく機械学習によって生成され、画像検査器を用いて検査した結果、検査用画像に欠陥ありと判定されたときに、複数の検査基準のうち、欠陥ありと判定される原因となった検査基準を出力する出力部をさらに備えてもよい。

【0017】

この態様によれば、画像検査器を用いて検査した結果、検査用画像に欠陥ありと判定されたときに、複数の検査基準のうち、欠陥ありと判定される原因となった検査基準が出力される。これにより、欠陥ありと判定されたときに、その原因となった検査基準を出力しない場合と比較して、画像検査器を用いた検査結果は説明性を有する。

【0018】

また、本発明の他の態様に係る画像検査器生成プログラムは、コンピュータに実行させる画像検査器生成プログラムであって、検査オブジェクトに対する検査基準と学習用画像とに基づく機械学習によって、画像に含まれる検査オブジェクトを検査する画像検査器を生成する画像検査器生成ステップを含み、検査基準は、検査オブジェクトの状態変数、当該状態変数の状態値、及び検査オブジェクトが分類されるクラスの情報を含む。

【0019】

この態様によれば、検査オブジェクトに対する検査基準と学習用画像とに基づく機械学習によって、画像に含まれる検査オブジェクトを検査する画像検査器が生成され、検査基準は、検査オブジェクトの状態変数、当該状態変数の状態値、及び検査オブジェクトが分類されるクラスの情報を含む。このように、論理情報である検査基準と学習用画像とに基づいて機械学習を行うことにより、学習用画像に基づいて機械学習を行う場合と比較して、機械学習の学習効率を向上させることが可能になる。従って、従来と比較して、大量の学習用画像を必要とせずに検査精度の高い画像検査器を生成することができる。

【0020】

前述した態様において、画像検査器は、検出器と分類器とを含み、画像検査器生成ステップは、画像に含まれる検査オブジェクトを検出する検出器を生成する検出器生成ステップと、画像において検出された検査オブジェクトの状態を分類する分類器を生成する分類器生成ステップと、を含んでもよい。

【0021】

この態様によれば、画像に含まれる検査オブジェクトを検出する検出器が生成され、画像において検出された検査オブジェクトの状態を分類する分類器が生成される。このように、画像に含まれる検査オブジェクトを検出する検出器と、検出された検査オブジェクトの状態を分類する分類器とを分けて生成することにより、機械学習による検出器の生成には、検査オブジェクトの状態の異なるバリエーションの学習用画像が不要である一方、機械学習による分類器の生成には、検査オブジェクトの数、位置、範囲等の異なるバリエーションの学習用画像が不要となる。

【0022】

前述した態様において、分類器生成ステップは、画像において検出された検査オブジェクトの部分画像に基づく機械学習によって、分類器を生成することを含んでもよい。

【0023】

この態様によれば、画像において検出された検査オブジェクトの部分画像に基づく機械学習によって、分類器が生成される。これにより、学習用画像における検査オブジェクトの数、位置、範囲等は捨象されるので、検査オブジェクトの状態の異なるバリエーションの部分画像に基づく機械学習によって分類器を生成することにより、大量の学習用画像を必要とせずに、分類器を生成する分類器生成ステップを容易に実現することができる。

【0024】

前述した態様において、検査基準を入力するための入力ステップをさらに含んでもよい。

【0025】

この態様によれば、検査基準を入力するための入力ステップをさらに含む。これにより、検査基準を簡易に設定することができる。

【0026】

また、本発明の他の態様に係る画像検査器生成方法は、検査オブジェクトに対する検査基準と学習用画像とに基づく機械学習によって、画像に含まれる検査オブジェクトを検査する画像検査器を生成する画像検査器生成ステップを含み、検査基準は、検査オブジェクトの状態変数、当該状態変数の状態値、及び検査オブジェクトが分類されるクラスの情報を含む。

【0027】

この態様によれば、検査オブジェクトに対する検査基準と学習用画像とに基づく機械学習によって、画像に含まれる検査オブジェクトを検査する画像検査器が生成され、検査基準は、検査オブジェクトの状態変数、当該状態変数の状態値、及び検査オブジェクトが分類されるクラスの情報を含む。このように、論理情報である検査基準と学習用画像とに基づいて機械学習を行うことにより、学習用画像に基づいて機械学習を行う場合と比較して、機械学習の学習効率を向上させることが可能になる。従って、従来と比較して、大量の学習用画像を必要とせずに検査精度の高い画像検査器を生成することができる。

【発明の効果】

【0028】

本発明によれば、大量の画像を必要とすることなく検査精度の高い画像検査器を生成することができる。

【図面の簡単な説明】

【0029】

【図1】図１は、一実施形態に係る画像検査システムの概略構成を例示する構成図である。

【図2】図２は、図１に示した画像検査器を生成する概略構成を例示する図である。

【図3】図３は、機械学習による画像検査器の生成の第１実施例を例示する図である。

【図4】図４は、機械学習による画像検査器の生成の第２実施例を例示する図である。

【図5】図５は、機械学習による画像検査器３３の生成の第３実施例を例示する図である。

【図6】図６は、一実施形態に係る画像検査器生成装置の画像検査器を生成する概略動作を示すフローチャートである。

【発明を実施するための形態】

【0030】

以下に本発明の実施形態を説明する。以下の図面の記載において、同一または類似の部分には同一または類似の符号で表している。但し、図面は模式的なものである。従って、具体的な寸法等は以下の説明を照らし合わせて判断するべきものである。また、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることは勿論である。さらに、本発明の技術的範囲は、当該実施形態に限定して解するべきではない。

【0031】

まず、図１から図５を参照しつつ、本発明の一実施形態に係る画像検査器生成装置及び画像検査装置の構成の一例について説明する。図１は、一実施形態に係る画像検査システム１００の概略構成を例示する構成図である。図２は、図１に示した画像検査器３３を生成する概略構成を例示する図である。図３は、機械学習による画像検査器３３の生成の第１実施例を例示する図である。図４は、機械学習による画像検査器３３の生成の第２実施例を例示する図である。図５は、機械学習による画像検査器３３の生成の第３実施例を例示する図である。

【0032】

図１に示すように、画像検査システム１００は、ネットワークＮＷと、画像検査器生成装置５０と、画像検査装置９０と、を備える。

【0033】

画像検査器生成装置５０と画像検査装置９０とは、ネットワークＮＷを介して相互に通信可能に接続されている。ネットワークＮＷは、例えば、インターネット、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、専用線、電話回線、企業内ネットワーク、ブルートゥース（登録商標）、Ｗｉ－Ｆｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）、移動体通信網、その他の通信回線、またはこれらの組合せ等である。また、画像検査器生成装置５０及び画像検査装置９０とネットワークＮＷとの間の接続は、それぞれ、有線であるか無線であるかを問わない。

【0034】

本実施形態では、図１において画像検査システム１００に含まれるネットワークＮＷが１つである例を示したが、これに限定されるものではない。画像検査システム１００に含まれるネットワークは、例えば２つ以上であってもよい。

【0035】

画像検査器生成装置５０は、画像検査装置９０の上位コントローラの役割を果たすコンピュータである。画像検査器生成装置５０は、例えば、ＰＬＣ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｃｏｎｔｒｏｌｌｅｒ）等のコントローラを含んで構成される。

【0036】

画像検査器生成装置５０は、例えば、通信部１０と、入力部２０と、記憶部３０と、制御部４０と、を備える。また、画像検査器生成装置５０は、画像検査器生成装置５０の各部の間で信号やデータを伝送するように構成されたバス５１をさらに備える。

【0037】

通信部１０は、ネットワークＮＷを介してデータを通信（送受信）するように構成されている。より詳細には、通信部１０は、１つ又は複数の所定の通信方式に基づいて、ネットワークＮＷに接続される画像検査装置９０とネットワークＮＷを介して通信可能に構成されている。

【0038】

入力部２０は、後述する検査基準３２を入力するためのものである。より詳細には、入力部２０は、利用者（ユーザ）の操作によって、検査基準を画像検査器生成装置５０に入力できるように構成されている。入力部２０は、例えば、インターフェースと、外部の機器である入力装置と、を含んで構成される。インターフェースは、外部の機器との間でデータや信号をやり取りするように構成され、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）、ＩＥＥＥ１３９４等の規格化されたインターフェースの接続端子を含んでいる。入力装置は、例えば、キーボード、キーパッド、マウス、トラックボール、タッチパネル、マイク等の装置である。

【0039】

例えば、利用者が、キーボード、キーパッド、マウス、トラックボール、タッチパネル、マイク等の入力装置を操作（マイクを用いた音声操作を含む）したときに、入力部２０は、当該操作に対応するデータ又は信号を出力する。入力部２０が出力したデータ又は信号は、制御部４０に入力される。制御部４０がこのデータまた信号に基づいて検査基準３２を生成することで、画像検査器生成装置５０に検査基準を入力することが可能になる。このように、検査基準３２を入力するための入力部２０を備えることにより、検査基準３２を簡易に設定することができる。

【0040】

記憶部３０は、プログラムやデータ等を記憶するように構成されている。記憶部３０は、例えば、ハードディスクドライブ、ソリッドステートドライブ等を含んで構成される。記憶部３０は、制御部４０が実行する各種プログラムやプログラムの実行に必要なデータ等をあらかじめ記憶している。

【0041】

また、記憶部３０は、学習用データ３１、複数の検査基準３２、及び複数の画像検査器３３を記憶している。学習用データ３１は、複数の学習用画像と、それぞれが対応する学習用画像に付与される教師データとを含んでいる。各検査基準３２は、画像に含まれる検査オブジェクトに対するものである。検査基準３２は、検査オブジェクトごとに一つ又は複数が設定されている。

【0042】

制御部４０は、通信部１０、入力部２０、及び記憶部３０等、画像検査器生成装置５０の各部の動作を制御するように構成されている。また、制御部４０は、記憶部３０に記憶されたプログラムを実行する等によって、後述する各機能を実現するように構成されている。制御部４０は、例えば、ＣＰＵ(Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ)等のプロセッサ、ＲＯＭ(Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ)、ＲＡＭ(Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ)等のメモリ、及びバッファ等の緩衝記憶装置を含んで構成される。

【0043】

また、制御部４０は、その機能構成として、例えば、画像検査器生成部４５を備える。

【0044】

画像検査器生成部４５は、検査オブジェクトに対する検査基準３２と学習用データ３１に含まれる学習用画像とに基づく機械学習によって、画像に含まれる検査オブジェクトを検査する画像検査器３３を生成するように構成されている。より詳細には、画像検査器３３は、検出器３３ａと分類器３３ｂとを含んでおり、画像検査器生成部４５は、検出器生成部４１と分類器生成部４２とを含んでいる。

【0045】

検出器生成部４１は、検査基準３２と学習用データ３１に含まれる学習用画像とに基づく機械学習によって、画像に含まれる検査オブジェクトを検出する検出器３３ａを生成するように構成されている。

【0046】

分類器生成部４２は、検査基準３２と学習用データ３１に含まれる学習用画像とに基づく機械学習によって、検査用画像において検出された検査オブジェクトの状態を分類する分類器３３ｂを生成するように構成されている。

【0047】

このようにして、検出器３３ａと分類器３３ｂとを含む画像検査器３３が生成される。制御部４０は、検査オブジェクトごとに画像検査器３３を生成し、生成された画像検査器３３は、記憶部３０に記憶される。

【0048】

このように、画像に含まれる検査オブジェクトを検出する検出器３３ａと、検出された検査オブジェクトの状態を分類する分類器３３ｂとを分けて生成することにより、機械学習による検出器３３ａの生成には、検査オブジェクトの状態の異なるバリエーションの学習用画像が不要である一方、機械学習による分類器３３ｂの生成には、検査オブジェクトの数、位置、範囲等の異なるバリエーションの学習用画像が不要となる。従って、従来と比較して、大量の学習用画像を必要とせずに検査精度の高い画像検査器３３を生成することができる。

【0049】

ここで、図２から図５を用い、機械学習による画像検査器の生成について説明する。以下の説明において、「以外」を記号「￢」を用いて表記する場合がある。

【0050】

利用者（ユーザ）の操作によって検査基準の情報が入力されると、制御部４０は、検査オブジェクトに対する検査基準３２を生成する。生成された検査基準３２は、記憶部３０に記憶される。検査基準３２は、例えば、「検査オブジェクトＡの状態変数Ｘが状態値Ｘ１ならばＮＧ」や、「検査オブジェクトＢの状態変数Ｙが状態値Ｙ１ならばＮＧ」といった形式で記述される。なお、検査基準３２は、検査オブジェクトに対して一つである場合に限定されず、複数の検査基準３２が入力され、設定されていてもよい。

【0051】

検査基準３２は、「検査オブジェクト」、「状態変数」、当該状態変数の「状態値」、及び画像の分類されるクラスの情報を含んでいる。制御部４０は、例えば、利用者（ユーザ）によって入力された「検査オブジェクト」、「状態変数」、及び状態変数の「状態値」の情報を用いて、検査オブジェクトを「ＯＫ」クラス及び「ＮＧ」クラスの２つのクラスのうち、一方の「ＮＧ」クラスに分類する検査基準３２を生成するようにしてもよい。

【0052】

このように、論理情報である検査基準３２と学習用画像とに基づいて機械学習を行うことにより、学習用画像に基づいて機械学習を行う場合と比較して、機械学習の学習効率を向上させることが可能になる。従って、従来と比較して、大量の学習用画像を必要とせずに検査精度の高い画像検査器３３を生成することができる。

【0053】

検査オブジェクトは、画像に映る対象物の一部である。検査オブジェクトは、例えば、ねじ穴、ケーブル、針、容器、リング、電極、切削面、賞味期限印字等である。

【0054】

状態変数は、当該検査オブジェクトの変数である。状態変数は、例えば、幅、長さ、面積、大きさ、方向、数、色、形状、表面状態、日付等である。

【0055】

状態値は、当該状態変数の値である。状態値は、例えば、１００画素、平行、３０度、４個、赤、変数、バリあり、傷あり、汚れあり、曇りあり、１０月１７日等である。

【0056】

検出器３３ａ及び分類器３３ｂは、任意の機械学習モデルのアルゴリズムを用いて生成される。検出器３３ａは、例えば図２に示す第１ニューラルネットワークＮＮ１を用いて生成され、分類器３３ｂは例えば図２に示す第２ニューラルネットワークＮＮ２を用いて生成される。

【0057】

第１ニューラルネットワークＮＮ１は、学習用画像に含まれる検査オブジェクト、例えば「検査オブジェクトＡ」を検出するためのニューラルネットワークである。第１ニューラルネットワークＮＮ１は、あらかじめ学習して生成された物体認識ニューラルネットワークＯＲＮＮを転移学習することによって得る。物体認識ニューラルネットワークＯＲＮＮは、例えばＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ ｍｕｌｔｉｂｏｘ Ｄｅｔｅｃｔｏｒ）等の物体検出アルゴリズムを用い、「検査オブジェクトＡ」を含む一般物体を検出するように学習したものである。

【0058】

転移学習は、学習用データ３１に含まれる学習用画像ＬＧを第１ニューラルネットワークＮＮ１に入力し、第１ニューラルネットワークＮＮ１が「検査オブジェクトＡ」を検出するように学習することによって、行われる。

【0059】

具体的には、第１ニューラルネットワークＮＮ１の検出結果は、第１判定器ＤＤ１に入力される。第１判定器ＤＤ１において、第１ニューラルネットワークＮＮ１の検出結果と、学習用データ３１に含まれ、学習用画像ＬＧに対応する第１教師データＬＤ１とを比較し、一致するか否かが判定される。第１教師データＬＤ１は、学習用画像ＬＧに付与されたアノテーション、つまり、関連情報である。図２に示す例では、第１教師データＬＤ１として、「ＯＫ」又は「ＮＧ」のラベルが付与されている。そして、第１判定器ＤＤ１の判定結果を第１ニューラルネットワークＮＮ１にフィードバックすることで、第１ニューラルネットワークＮＮ１の重みが修正される。このような機械学習を複数の学習用画像ＬＧについて行うことによって、「検査オブジェクトＡ」を検出する第１ニューラルネットワークＮＮ１が生成される。

【0060】

一方、第２ニューラルネットワークＮＮ２は、検査オブジェクトの状態、例えば「検査オブジェクトＡ」の状態変数「Ｘ」の状態、を分類するためのニューラルネットワークである。第２ニューラルネットワークＮＮ２は、あらかじめ学習して生成された状態認識ニューラルネットワークＳＲＮＮを転移学習することによって得る。状態認識ニューラルネットワークＳＲＮＮは、所定の状態分類アルゴリズムを用い、「検査オブジェクトＡ」の状態変数「Ｘ」の状態を含む一般状態を分類するように学習したものである。

【0061】

転移学習は、学習用データ３１に含まれる学習用画像ＬＧを第２ニューラルネットワークＮＮ２に入力し、第２ニューラルネットワークＮＮ２が「検査オブジェクトＡ」の状態変数「Ｘ」の状態を分類するように学習することによって、行われる。あるいは、学習用画像ＬＧの入力に代えて、第１ニューラルネットワークＮＮ１の検出結果から学習用画像ＬＧにおける「検査オブジェクトＡ」の位置、個数等の情報が得られるので、この情報を用いて学習用画像ＬＧから「検査オブジェクトＡ」の部分画像ＰＬＧを切り出し、この部分画像ＰＬＧを第２ニューラルネットワークＮＮ２に入力してもよい。これにより、学習用画像ＬＧにおける検査オブジェクトの数、位置、範囲等は捨象されるので、検査オブジェクトの状態の異なるバリエーションの部分画像ＰＬＧに基づく機械学習によって分類器３３ｂを生成することにより、大量の学習用画像ＬＧを必要とせずに、分類器３３ｂを生成する分類器生成部４２を容易に実現することができる。

【0062】

第２ニューラルネットワークＮＮ２の分類結果は、第２判定器ＤＤ２に入力される。第２判定器ＤＤ２において、第２ニューラルネットワークＮＮ２の分類結果と、学習用データ３１に含まれ、学習用画像ＬＧに対応する第２教師データＬＤ２とを比較し、一致するか否かが判定される。第２教師データＬＤ２は、第１教師データＬＤ１と同様に、学習用画像ＬＧに付与された関連情報であり、図２に示す例では、第２教師データＬＤ２として、「Ｘ１」又は「￢Ｘ１」のラベルが付与されている。そして、第２判定器ＤＤ２の判定結果を第２ニューラルネットワークＮＮ２にフィードバックすることで、第２ニューラルネットワークＮＮ２の重みが修正される。このような機械学習を複数の学習用画像ＬＧについて行うことによって、「検査オブジェクトＡ」の状態変数「Ｘ」の状態を分類する第２ニューラルネットワークＮＮ２が生成される。

【0063】

図２に示す例では、第１ニューラルネットワークＮＮ１及び第２ニューラルネットワークＮＮ２を用いて検出器３３ａ及び分類器３３ｂを生成する例を示したが、これに限定されるものではない。検出器３３ａ及び分類器３３ｂを生成する機械学習モデルのアルゴリズムとして、例えば、サポートベクターマシン、ロジスティック回帰、ディープニューラルネットワーク等を用いるようにしてもよい。

【0064】

（第１実施例）
第１実施例では、対象物のねじ穴を検査する画像検査器３３を生成する場合について、説明する。図３に示すように、学習用画像ＬＧ１は、ねじ穴ＳＨ１，ＳＨ２，ＳＨ３の画像を含んでいる。検査基準として、例えば、「３つのねじ穴の位置が所定の位置になければＮＧ」及び「ねじ穴の形状が変形していたらＮＧ」が入力され、設定されている。この場合、図２に示す第１ニューラルネットワークＮＮ１は、学習用画像ＬＧ１に含まれるねじ穴ＳＨ１，ＳＨ２，ＳＨ３を検出する。学習用画像ＬＧ１に対応する第１教師データＬＤ１として「ＯＫ」又は「ＮＧ」のラベルが付与されている。第１ニューラルネットワークＮＮ１のねじ穴ＳＨ１，ＳＨ２，ＳＨ３の検出結果と、第１教師データＬＤ１のラベルとを比較した判定結果が、第１ニューラルネットワークＮＮ１にフィードバックされる。これにより、ねじ穴ＳＨ１，ＳＨ２，ＳＨ３の検出率を高めるとともに、ねじ穴ＳＨ１，ＳＨ２，ＳＨ３の所定位置の許容範囲を学習することができる。

【0065】

また、学習用画像ＬＧ１のねじ穴ＳＨ１，ＳＨ２，ＳＨ３の部分画像が、第２ニューラルネットワークＮＮ２に入力され、第２ニューラルネットワークＮＮ２は、ねじ穴ＳＨ１，ＳＨ２，ＳＨ３の形状を分類する。学習用画像ＬＧ１に対応する第２教師データＬＤ２として「変形」又は「￢変形」のラベルが付与されている。第２ニューラルネットワークＮＮ２のねじ穴ＳＨ１，ＳＨ２，ＳＨ３の形状の分類結果と、第２教師データＬＤ２のラベルとを比較した判定結果が、第２ニューラルネットワークＮＮ２にフィードバックされる。これにより、ねじ穴ＳＨ１，ＳＨ２，ＳＨ３の形状の変形有無の分類精度を高めるとともに、ねじ穴ＳＨ１，ＳＨ２，ＳＨ３の形状変形の許容範囲を学習することができる。

【0066】

（第２実施例）
第２実施例では、対象物の賞味期限印字を検査する画像検査器３３を生成する場合について、説明する。図４に示すように、学習用画像ＬＧ２は、賞味期限印字ＤＡ１の画像を含んでいる。検査基準として、例えば、「賞味期限印字の位置が所定の位置になければＮＧ」及び「賞味期限印字の文字列が“２０１８．１０．３０”でなければＮＧ」が入力され、設定されている。この場合、図２に示す第１ニューラルネットワークＮＮ１は、学習用画像ＬＧ２に含まれる賞味期限印字ＤＡ１を検出する。学習用画像ＬＧ２に対応する第１教師データＬＤ１として「ＯＫ」又は「ＮＧ」のラベルが付与されている。第１ニューラルネットワークＮＮ１の賞味期限印字ＤＡ１の検出結果と、第１教師データＬＤ１のラベルとを比較した判定結果が、第１ニューラルネットワークＮＮ１にフィードバックされる。これにより、例えば文字のようにも見える図柄の水滴と文字列とを区別し、賞味期限印字ＤＡ１の検出率を高めるとともに、賞味期限印字ＤＡ１の印字位置及び所定位置の許容範囲を学習することができる。

【0067】

また、学習用画像ＬＧ２の賞味期限印字ＤＡ１の部分画像が、第２ニューラルネットワークＮＮ２に入力され、第２ニューラルネットワークＮＮ２は、賞味期限印字ＤＡ１の文字列を分類する。学習用画像ＬＧ２に対応する第２教師データＬＤ２として「２０１８．１０．３０」又は「￢２０１８．１０．３０」のラベルが付与されている。第２ニューラルネットワークＮＮ２の賞味期限印字ＤＡ１の文字列の分類結果と、第２教師データＬＤ２のラベルとを比較した判定結果が、第２ニューラルネットワークＮＮ２にフィードバックされる。これにより、例えば“１”と“７”等の間違いやすい文字を識別し、賞味期限印字ＤＡ１の文字列の分類精度又は識別精度を高めるとともに、賞味期限印字ＤＡ１の文字列の文字パターンを学習することができる。

【0068】

（第３実施例）
第３実施例では、対象物の塗布材料ＡＰＰを検査する画像検査器３３を生成する場合について、説明する。図５に示すように、学習用画像ＬＧ３は、塗布材料ＡＰＰの画像を含んでいる。検査基準として、例えば、「塗布材料ＡＰＰの最小幅が所定の値ＶＡ１未満であればＮＧ」が入力され、設定されている。この場合、図２に示す第１ニューラルネットワークＮＮ１は、学習用画像ＬＧ３に含まれる塗布材料ＡＰＰを検出する。学習用画像ＬＧ３に対応する第１教師データＬＤ１として「ＯＫ」又は「ＮＧ」のラベルが付与されている。第１ニューラルネットワークＮＮ１の塗布材料ＡＰＰの検出結果と、第１教師データＬＤ１のラベルとを比較した判定結果が、第１ニューラルネットワークＮＮ１にフィードバックされる。これにより、例えば塗布材料ＡＰＰでない場所の誤検出、又は塗布材料ＡＰＰの検出漏れを防ぎ、塗布材料ＡＰＰの検出率を高めることができる。

【0069】

また、学習用画像ＬＧ３の塗布材料ＡＰＰの部分画像が、第２ニューラルネットワークＮＮ２に入力され、第２ニューラルネットワークＮＮ２は、塗布材料ＡＰＰの最小幅を分類する。学習用画像ＬＧ３に対応する第２教師データＬＤ２として「所定の値ＶＡ１以上」又は「所定の値ＶＡ１未満」のラベルが付与されている。第２ニューラルネットワークＮＮ２の塗布材料ＡＰＰの最小幅の分類結果又は推定結果と、第２教師データＬＤ２のラベルとを比較した判定結果が、第２ニューラルネットワークＮＮ２にフィードバックされる。これにより、塗布材料ＡＰＰの最小幅の適切な範囲を学習することができる。

【0070】

なお、学習用データ３１、検査基準３２、及び画像検査器３３の構造及び形式は、前述した例に限定されるものではない。例えば、学習用データ３１、検査基準３２、及び画像検査器３３は、それぞれ、単なるデータであってもよいし、データベースであってもよい。また、学習用データ３１、検査基準３２、及び画像検査器３３のうち、少なくとも一部がデータベースである場合、正規化を行い、データのグループ単位を細分化してもよい。

【0071】

図１の説明に戻り、画像検査装置９０は、通信部６０と、記憶部７０と、出力部８０と、制御部８５と、を備える。また、画像検査装置９０は、画像検査装置９０の各部の間で信号やデータを伝送するように構成されたバス９１をさらに備える。画像検査装置９０は、画像検査器生成装置５０によって生成された画像検査器３３を備え、画像検査器３３を用いて検査用画像７１を検査するように構成されている。

【0072】

通信部６０は、ネットワークＮＷを介してデータを通信（送受信）するように構成されている。より詳細には、通信部６０は、１つ又は複数の所定の通信方式に基づいて、ネットワークＮＷに接続される画像検査器生成装置５０とネットワークＮＷを介して通信可能に構成されている。

【0073】

記憶部７０は、プログラムやデータ等を記憶するように構成されている。記憶部７０は、例えば、ハードディスクドライブ、ソリッドステートドライブ等を含んで構成される。記憶部７０は、制御部８５が実行する各種プログラムやプログラムの実行に必要なデータ等をあらかじめ記憶している。

【0074】

また、記憶部７０は、複数の検査基準３２と、複数の画像検査器３３と、複数の検査用画像７１とを記憶している。検査基準３２及び画像検査器３３は、前述した画像検査器生成装置５０から送信されたものである。画像検査装置９０は、通信部６０を用い、ネットワークＮＷを介して画像検査器生成装置５０から検査基準３２及び画像検査器３３を受信し、受信した検査基準３２及び画像検査器３３を記憶部７０に記憶させる。

【0075】

出力部８０は、検査基準３２を出力するように構成されている。出力部８０は、例えば、インターフェースと、外部の機器である出力装置と、を含んで構成される。インターフェースは、外部の機器との間でデータや信号をやり取りするように構成され、例えば、ＵＳＢ、ＨＤＭＩ（登録商標）、ＩＥＥＥ１３９４等の規格化されたインターフェースの接続端子を含んでいる。出力装置は、例えば、液晶ディスプレイ、ＥＬ(Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ)ディスプレイ、プラズマディスプレイ等の表示装置と、スピーカー等の音声装置とを含んで構成される。出力装置は、制御部８５から入力される情報のうち、文字、数字、記号等のテキスト、画像、及び動画の情報を表示装置に表示し、音声の情報をスピーカーから出力することで、情報を出力することが可能になる。

【0076】

制御部８５は、通信部６０、記憶部７０、及び出力部８０等、画像検査装置９０の各部の動作を制御するように構成されている。また、制御部８５は、記憶部７０に記憶されたプログラムを実行する等によって、後述する画像検査の機能を実現するように構成されている。制御部８５は、例えば、ＣＰＵ等のプロセッサ、ＲＯＭ、ＲＡＭ等のメモリ、及びバッファ等の緩衝記憶装置を含んで構成される。

【0077】

また、制御部８５は、画像検査器３３を用いて検査用画像７１を検査する画像検査の機能を有している。例えば、対象物のねじ穴を検査する場合、制御部８５は、前述した第１実施例で生成された画像検査器３３を用い、検査用画像７１を検査する。この場合、検出器３３ａによって検査用画像７１からねじ穴を検出し、制御部８５は、検査基準３２、例えば「３つのねじ穴の位置が所定の位置になければＮＧ」と一致していたら欠陥あり、検査基準３２と不一致ならば欠陥なしと判定する。これにより、ねじ穴の数及び位置が検査される。

【0078】

このように、画像検査器３３を用いて検査用画像７１を検査することにより、検査精度の高い画像検査装置９０を容易に実現することができる。

【0079】

また、制御部８５は、分類器３３ｂによって当該ねじ穴の形状を分類し、検査基準３２、例えば「ねじ穴の形状が変形していたらＮＧ」と一致していたら欠陥あり、検査基準３２と不一致ならば欠陥なしと判定する。これにより、ねじ穴の形状変形の有無が検査される。さらに、判定の結果、検査用画像７１のねじ穴に欠陥ありと判定された場合、制御部８５は、欠陥ありと判定される原因となった検査基準３２を出力部８０に出力させる。これにより、欠陥ありと判定されたときに、その原因となった検査基準３２を出力しない場合と比較して、画像検査器３３を用いた検査結果は説明性を有する。この場合、例えばねじ穴が複数あるときに、どのねじ穴が変形していると判定されたのかが分かるように、制御部８５は、検査基準３２に添えて、変形しているねじ穴の場所、例えば、座標値、該当場所にマークを付した画像を出力してもよい。

【0080】

次に、図６を参照しつつ、一実施形態に係る画像検査器生成装置の動作について説明する。図６は、一実施形態に係る画像検査器生成装置５０の画像検査器３３を生成する概略動作を示すフローチャートである。

【0081】

例えば利用者（ユーザ）の操作によって画像検査器３３の生成が選択されると、画像検査器生成装置５０の制御部４０は、図６に示す画像検査器生成処理Ｓ２００を実行する。

【0082】

なお、以下の説明において、画像検査器生成装置５０の記憶部３０に、学習用データ３１及び検査基準３２があらかじめ記憶されているものとする。

【0083】

最初に、検出器生成部４１は、検査基準３２と学習用データ３１に含まれる学習用画像ＬＧとに基づく機械学習によって、画像に含まれる検査オブジェクトを検出する検出器３３ａを生成する（Ｓ２０１）。

【0084】

次に、分類器生成部４２は、検査基準３２と学習用画像ＬＧとに基づく機械学習によって、ステップＳ２０１で検出された検査オブジェクトの状態を分類する分類器３３ｂを生成する（Ｓ２０２）。

【0085】

なお、学習用画像ＬＧに対応する教師データは、学習用データ３１に含まれる態様の他に、例えば、利用者（ユーザ）が表示装置等に表示される学習用画像ＬＧを見ながら入力部２０を介して逐次入力し、当該学習用画像ＬＧに付与されてもよい。

【0086】

次に、制御部４０は、ステップＳ２０１において生成された検出器３３ａと、ステップＳ２０２において生成された分類器３３ｂとを含む画像検査器３３を生成し、当該画像検査器３３を記憶部３０に記憶させる（Ｓ２０３）。

【0087】

ステップＳ２０３の後、制御部４０は、画像検査器生成処理Ｓ２００を終了する。

【0088】

なお、検査すべき検査オブジェクトが複数存在する場合、制御部４０は、検査オブジェクトの個数に応じた回数分、ステップＳ２０１からステップＳ２０３を繰り返し、検査オブジェクトごとに画像検査器３３を生成する。

【0089】

また、ステップＳ２０３において記憶部３０に記憶された画像検査器３３は、ステップＳ２０３の後、すぐに画像検査装置９０に送信してもよいし、複数の画像検査器３３が生成されたときに、これらの画像検査器３３をまとめて画像検査装置９０に送信してもよい

【0090】

以上、本発明の例示的な実施形態について説明した。本発明の一実施形態に係る画像検査器生成装置５０、画像検査器生成プログラム、及び画像検査器生成方法によれば、検査オブジェクトに対する検査基準３２と学習用画像ＬＧとに基づく機械学習によって、画像に含まれる検査オブジェクトを検査する画像検査器３３が生成され、検査基準３２は、検査オブジェクトの状態変数、当該状態変数の状態値、及び検査オブジェクトが分類されるクラスの情報を含む。このように、論理情報である検査基準３２と学習用画像ＬＧとに基づいて機械学習を行うことにより、学習用画像に基づいて機械学習を行う場合と比較して、機械学習の学習効率を向上させることが可能になる。従って、従来と比較して、大量の学習用画像ＬＧを必要とせずに検査精度の高い画像検査器３３を生成することができる。

【0091】

以上説明した各実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。各実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。

【0092】

（附記）
１．検査オブジェクトに対する検査基準３３と学習用画像ＬＧとに基づく機械学習によって、画像に含まれる検査オブジェクトを検査する画像検査器３３を生成する画像検査器生成部４５を備え、
検査基準３２は、検査オブジェクトの状態変数、当該状態変数の状態値、及び検査オブジェクトが分類されるクラスの情報を含む、
画像検査器生成装置５０。
７．コンピュータに実行させる画像検査器生成プログラムであって、
検査オブジェクトに対する検査基準３２と学習用画像ＬＧとに基づく機械学習によって、画像に含まれる検査オブジェクトを検査する画像検査器３３を生成する画像検査器生成ステップを含み、
検査基準３２は、検査オブジェクトの状態変数、当該状態変数の状態値、及び検査オブジェクトが分類されるクラスの情報を含む、
画像検査器生成プログラム。
１１．検査オブジェクトに対する検査基準３２と学習用画像ＬＧとに基づく機械学習によって、画像に含まれる検査オブジェクトを検査する画像検査器３３を生成する画像検査器生成ステップを含み、
検査基準３２は、検査オブジェクトの状態変数、当該状態変数の状態値、及び検査オブジェクトが分類されるクラスの情報を含む、
画像検査器生成方法。

【符号の説明】

【0093】

１０…通信部、２０…入力部、３０…記憶部、３１…学習用データ、３２…検査基準、３３…画像検査器、３３ａ…検出器、３３ｂ…分類器、４０…制御部、４１…検出器生成部、４２…分類器生成部、４５…画像検査器生成部、５０…画像検査器生成装置、５１…バス、６０…通信部、７０…記憶部、７１…検査用画像、８０…出力部、８５…制御部、９０…画像検査装置、９１…バス、１００…画像検査システム、Ａ…検査オブジェクト、ＡＰＰ…塗布材料、Ｂ…検査オブジェクト、ＤＡ１…賞味期限印字、ＤＤ１…第１判定器、ＤＤ２…第２判定器、ＬＤ１…第１教師データ、ＬＤ２…第２教師データ、ＬＧ，ＬＧ１，ＬＧ２，ＬＧ３…学習用画像、ＮＮ１…第１ニューラルネットワーク、ＮＮ２…第２ニューラルネットワーク、ＮＷ…ネットワーク、ＯＲＮＮ…物体認識ニューラルネットワーク、ＰＬＧ…部分画像、Ｓ２００…画像検査器生成処理、ＳＨ１，ＳＨ２，ＳＨ３…ねじ穴、ＳＲＮＮ…状態認識ニューラルネットワーク、ＶＡ…値、Ｘ…状態変数、Ｘ１…状態値、Ｙ…状態変数、Ｙ１…状態値。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】