特許 7379574 疑似不良品データ生成装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-11-06

(45)【発行日】2023-11-14

(54)【発明の名称】疑似不良品データ生成装置

(51)【国際特許分類】

   G01N 21/88 20060101AFI20231107BHJP

   G06T 1/00 20060101ALI20231107BHJP

   G06T 7/00 20170101ALI20231107BHJP

【ＦＩ】

G01N21/88 Z

G06T1/00 280

G06T7/00 350B

【請求項の数】 4

(21)【出願番号】P 2022057226

(22)【出願日】2022-03-30

(65)【公開番号】P2023148931

(43)【公開日】2023-10-13

【審査請求日】2022-11-29

(73)【特許権者】

【識別番号】000005326

【氏名又は名称】本田技研工業株式会社

(74)【代理人】

【識別番号】100095566

【弁理士】

【氏名又は名称】高橋 友雄

(74)【代理人】

【識別番号】100114775

【弁理士】

【氏名又は名称】高岡 亮一

(74)【代理人】

【識別番号】100121511

【弁理士】

【氏名又は名称】小田 直

(72)【発明者】

【氏名】軽部 俊和

(72)【発明者】

【氏名】上村 正浩

(72)【発明者】

【氏名】福光 仁

【審査官】佐田 宏史

(56)【参考文献】

【文献】特開２０２１－１２０６３１（ＪＰ，Ａ）

【文献】特開２０２０－１２３０９７（ＪＰ，Ａ）

【文献】国際公開第２０２１／０３９５９１（ＷＯ，Ａ１）

【文献】Shuanlong Niu et al.，"Defect Image Sample Generation With GAN for Improving Defect Recognition"，IEEE Transactions on Automation Science and Engineering，米国，IEEE，2020年02月17日，Vol.17, No.3，pp.1611-1622

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２１／８８

Ｇ０６Ｔ １／００，７／００－７／９０

Ｇ０６Ｖ １０／００－１０／９８

(57)【特許請求の範囲】

【請求項1】

検査対象物が異常品とされる、当該検査対象物の外観画像である不良品データを、疑似的に多数生成するための疑似不良品データ生成装置であって、
実際に撮影された検査対象物の複数の不良品データを、それぞれ実不良品データとして複数取得する実不良品データ取得手段と、
前記取得された複数の実不良品データを、それぞれ特徴量に変換することにより、これらの特徴量を複数の実特徴量として取得する第１特徴量変換手段と、
前記取得された複数の実特徴量を、所定の特徴量生成モデルに学習させることにより、前記複数の実特徴量よりも多い予測特徴量である予測特徴量群を生成する予測特徴量生成手段と、
前記取得された複数の実不良品データを、所定の画像生成モデルに学習させることにより、前記複数の実不良品データよりも多い疑似不良品データである疑似不良品データ群を生成する疑似不良品データ生成手段と、
前記生成された疑似不良品データ群の各疑似不良品データを、それぞれ特徴量に変換することにより、これらの特徴量を疑似特徴量群として取得する第２特徴量変換手段と、
前記予測特徴量群と前記疑似特徴量群との分布を比較することにより、その残差としての特徴量誤差を算出する特徴量分布比較手段と、
前記算出された特徴量誤差に基づき、前記疑似不良品データ生成手段によって生成された前記疑似不良品データ群の品質を判定する疑似不良品データ品質判定手段と、
を備えていることを特徴とする疑似不良品データ生成装置。

【請求項2】

前記疑似不良品データ品質判定手段は、前記特徴量誤差が所定の基準値以下のときに、前記疑似不良品データ群が良質であると判定することを特徴とする請求項１に記載の疑似不良品データ生成装置。

【請求項3】

制御手段と、
前記画像生成モデルにおける所定のパラメータを変更するためのパラメータ変更手段と、
をさらに備えており、
前記制御手段は、前記特徴量誤差が前記基準値よりも大きいときに、前記特徴量誤差が前記基準値以下になるまで、前記パラメータ変更手段によって前記パラメータを変更しながら、前記疑似不良品データ群の生成を繰り返すように、前記疑似不良品データ生成手段を制御することを特徴とする請求項２に記載の疑似不良品データ生成装置。

【請求項4】

制御手段と、
前記取得された複数の実不良品データを、それぞれ特徴量に変換することにより、これらの特徴量を複数の実特徴量として取得する第３特徴量変換手段と、
前記複数の実特徴量をそれぞれ補正することにより、複数の補正済み特徴量を取得する特徴量補正手段と、
をさらに備えており、
前記制御手段は、前記特徴量誤差が前記基準値よりも大きいときに、前記特徴量誤差が前記基準値以下になるまで、前記特徴量分布比較手段によって算出された前記特徴量誤差をフィードバックすることにより、前記第３特徴量変換手段によって取得された前記複数の実特徴量を補正するよう、前記特徴量補正手段を制御するとともに、前記特徴量補正手段によって取得された前記複数の補正済み特徴量を、前記画像生成モデルに学習させることにより、前記疑似不良品データ群を生成するよう、前記疑似不良品データ生成手段を制御することを特徴とする請求項２に記載の疑似不良品データ生成装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ニューラルネットワークを用いた機械学習機能を有する検査装置などの学習に用いるために、その検査対象物の不良品データを疑似的に大量に生成する疑似不良品データ生成装置に関する。

【背景技術】

【0002】

近年、ニューラルネットワークを用いた機械学習機能を有する検査装置により、各種の工業製品や部品などの検査対象物について、正常品（良品）であるか、異常品（不良品）であるかを判定する検品作業の自動化技術の開発が進んでいる。上記のような検査装置では、良品と不良品に分類された検査対象物の外観の画像データを多数読み込ませることにより、学習が行われる。そして、分類基準を学習した検査装置により、カメラで撮影した新規の検査対象物を、良品と不良品に分類することが可能になる。

【0003】

上述したように、検査装置の学習には、良品及び不良品の画像データが用いられ、検査精度を高めるためには、良品及び不良品のいずれも、多数の画像データが必要である。しかし、工業製品などの製造現場では一般に、できるだけ不良品を出さないように製造が行われるため、良品の数は多いものの、不良品の数は非常に少ない。そのため、比較的容易に収集可能な良品の画像データ（以下「良品データ」という）に比べて、不良品の画像データ（以下「不良品データ」という）の収集が困難である。そこで、疑似的に不良品データを作成することが考えられ、その作成装置として、例えば特許文献１に記載のものが知られている。

【0004】

この疑似不良品データ作成装置ではまず、良品画像と不良品画像との差分データを抽出する。次いで、疑似不良品データを作成すべき数（作成数）を設定する。そして、単一の疑似不良品データの作成ごとに、乱数発生部から乱数値を取得し、その乱数値を用いて、差分データの書き込み位置を決定し、良品画像と差分データを合成する。このような合成処理を作成数分、繰り返すことにより、設定した作成数の疑似不良品データを作成している。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２００５－１５６３３４号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

上述した従来の疑似不良品データ作成装置では、互いに類似した不良品データが作成されることがある。このため、そのような不良品データを大量に学習させても、検査装置の判定精度を十分に高めることができないおそれがある。

【0007】

本発明は、以上のような課題を解決するためになされたものであり、少数の不良品データにより、判定精度の向上に寄与し得る多数の疑似不良品データを効率的に生成することができる疑似不良品データ生成装置を提供することを目的とする。

【課題を解決するための手段】

【0008】

上記の目的を達成するために、請求項１に係る発明は、検査対象物Ｇが異常品とされる、検査対象物の外観画像である不良品データを、疑似的に多数生成するための疑似不良品データ生成装置１１であって、実際に撮影された検査対象物の複数の不良品データを、それぞれ実不良品データとして複数取得する実不良品データ取得手段（実施形態における実不良品データ取得部１２（以下、本欄において同じ））と、取得された複数の実不良品データを、それぞれ特徴量に変換することにより、これらの特徴量を複数の実特徴量として取得する第１特徴量変換手段（第１特徴量変換部１３）と、取得された複数の実特徴量を、所定の特徴量生成モデルに学習させることにより、複数の実特徴量よりも多い予測特徴量である予測特徴量群を生成する予測特徴量生成手段（予測特徴量生成部１４）と、取得された複数の実不良品データを、所定の画像生成モデルに学習させることにより、複数の実不良品データよりも多い疑似不良品データである疑似不良品データ群を生成する疑似不良品データ生成手段（疑似不良品データ生成部１５）と、生成された疑似不良品データ群の各疑似不良品データを、それぞれ特徴量に変換することにより、これらの特徴量を疑似特徴量群として取得する第２特徴量変換手段（第２特徴量変換部１６）と、予測特徴量群と疑似特徴量群との分布を比較することにより、その残差としての特徴量誤差を算出する特徴量分布比較手段（特徴量分布比較部１７）と、算出された特徴量誤差に基づき、疑似不良品データ生成手段によって生成された疑似不良品データ群の品質を判定する疑似不良品データ品質判定手段（疑似不良品データ品質判定部１８）と、を備えていることを特徴とする。

【0009】

この構成によれば、実不良品データ取得部により、実際に撮影された検査対象物の複数の不良品データを、複数の実不良品データとして取得する。また、第１特徴量変換手段により、上記の複数の実不良品データを、それぞれ特徴量に変換し、これらの特徴量を複数の実特徴量として取得する。そして、予測特徴量生成手段により、上記の複数の実特徴量を、所定の特徴量生成モデルに学習させることにより、実特徴量よりも多い予測特徴量である予測特徴量群を生成する。

【0010】

一方、疑似不良品データ生成手段により、上記の複数の実不良品データを、所定の画像生成モデルに学習させることにより、実不良品データよりも多い疑似不良品データである疑似不良品データ群を生成する。また、第２特徴量変換手段により、上記疑似不良品データ群の各疑似不良品データを、それぞれ特徴量に変換することにより、これらの特徴量を疑似特徴量群として取得する。

【0011】

上記のようにして得られた予測特徴量群と疑似特徴量群との分布を、特徴量分布比較手段によって比較し、その残差としての特徴量誤差を算出する。そして、疑似不良品データ品質判定手段により、上記の特徴量誤差に基づいて、疑似不良品データ生成手段によって生成された疑似不良品データ群の品質を判定する。

【0012】

上記の予測特徴量群は、実不良品データによる実特徴量から生成されたものであるので、実不良品データとの相関性が高いものが得られる。一方、上記の疑似特徴量群は、疑似不良品データ生成手段によって生成された疑似不良品データ群による疑似特徴量から得られたものである。したがって、予測特徴量群と疑似特徴量群とを比較した場合、両者の分布の残差としての特徴量誤差が比較的小さいときには、疑似特徴量群が予測特徴量群に近似しており、したがって、疑似特徴量群の変換元である疑似不良品データ群が、実不良品データに対して相関性が高いと判定することができる。そして、疑似不良品データ群を、機械学習機能を有する検査装置の学習に用いることにより、検査対象物の良否を判定する検査装置の判定精度を高めることができる。

【0013】

請求項２に係る発明は、請求項１に記載の疑似不良品データ生成装置において、疑似不良品データ品質判定手段は、特徴量誤差が所定の基準値以下のときに、疑似不良品データ群が良質であると判定することを特徴とする。

【0014】

この構成によれば、上記の基準値を適切に設定することにより、特徴量誤差が基準値以下のとき、すなわち、特徴量誤差が比較的小さく、疑似特徴量群が予測特徴量群に近似しているときには、疑似不良品データ群が良質であること、すなわち、検査対象物の良否を判定する検査装置の判定精度の向上に寄与し得るものであると判定することができる。

【0015】

請求項３に係る発明は、請求項２に記載の疑似不良品データ生成装置において、制御手段（制御部１９）と、画像生成モデルにおける所定のパラメータを変更するためのパラメータ変更手段（パラメータ変更部２０）と、をさらに備えており、制御手段は、特徴量誤差が基準値よりも大きいときに、特徴量誤差が基準値以下になるまで、パラメータ変更手段によってパラメータを変更しながら、疑似不良品データ群の生成を繰り返すように、疑似不良品データ生成手段を制御することを特徴とする。

【0016】

この構成によれば、疑似不良品データ生成手段が制御手段で制御され、特徴量誤差が基準値よりも大きいときには、特徴量誤差が基準値以下になるまで、画像生成モデルにおけるパラメータが変更されながら、疑似不良品データ生成手段による疑似不良品データ群の生成が繰り返される。これにより、パラメータ変更手段によって、画像生成モデルにおけるパラメータを変更しながら、良質な疑似不良品データ群を生成することができる。

【0017】

請求項４に係る発明は、請求項２に記載の疑似不良品データ生成装置において、制御手段（制御部１９）と、取得された複数の実不良品データを、それぞれ特徴量に変換することにより、これらの特徴量を複数の実特徴量として取得する第３特徴量変換手段（第３特徴量変換部２１）と、複数の実特徴量をそれぞれ補正することにより、複数の補正済み特徴量を取得する特徴量補正手段（特徴量補正部２２）と、をさらに備えており、制御手段は、特徴量誤差が基準値よりも大きいときに、特徴量誤差が基準値以下になるまで、特徴量分布比較手段によって算出された特徴量誤差をフィードバックすることにより、第３特徴量変換手段によって取得された複数の実特徴量を補正するよう、特徴量補正手段を制御し、特徴量補正手段によって取得された複数の補正済み特徴量を、画像生成モデルに学習させることにより、疑似不良品データ群を生成するよう、疑似不良品データ生成手段を制御することを特徴とする。

【0018】

この構成によれば、第３特徴量変換手段により、複数の実不良品データを、それぞれ特徴量に変換し、これらの特徴量を複数の実特徴量として取得する。また、特徴量補正手段により、上記の複数の実特徴量をそれぞれ補正することにより、複数の補正済み特徴量を取得する。

【0019】

そして、特徴量補正手段及び疑似不良品データ生成手段が制御手段で制御され、特徴量誤差が基準値よりも大きいときには、特徴量誤差が基準値以下になるまで、算出された特徴量誤差を特徴量補正手段にフィードバックすることで、複数の実特徴量を補正し、得られた複数の補正済み特徴量を、疑似不良品データ生成手段により、画像生成モデルに学習させることで、疑似不良品データ群を生成する。このように、特徴量誤差が基準値以下になるまで、複数の実特徴量の補正及び疑似不良品データ群の生成が繰り返される。これにより、良質な疑似不良品データ群を自動的に生成することができる。

【図面の簡単な説明】

【0020】

【図1】本発明の一実施形態による疑似不良品データ生成装置によって生成された疑似不良品データが学習に利用される検査システムの概要を説明するための図である。

【図2】本発明の第１実施形態による疑似不良品データ生成装置を示すブロック図である。

【図3】疑似不良品データの再生成処理を示すフローチャートである。

【図4】本発明の第２実施形態による疑似不良品画像生成装置を示すブロック図である。

【図5】疑似不良品データの自動生成処理を示すフローチャートである。

【発明を実施するための形態】

【0021】

以下、図面を参照しながら、本発明の好ましい実施形態を詳細に説明する。図１は、後述する不良品画像生成装置によって生成された多数の不良品画像、及び多数の良品画像を用いて学習された学習モデルを備えた検査システムを示している。この検査システム１は、例えば車両部品の製造工場などに設置され、製造された車両部品（例えばシリンダブロック）が正常品（良品）であるか、異常品（不良品）であるかを、車両部品の外観を検査することによって自動で判別するものである。以下、検査すべき車両部品を、「検査対象物」というものとする。

【0022】

図１に示すように、検査システム１は、検査対象物Ｇを所定方向に所定速度で搬送する搬送機２と、検査対象物Ｇが所定の検査位置に到達したときに、その検査対象物Ｇの良否を判定する検査装置３とを備えている。なお、図示は省略するが、検査装置３によって不良品であると判定された検査対象物Ｇは、搬送機２から取り除かれたり、不良品専用の格納場所に搬送されたりするようになっている。

【0023】

検査装置３は、主にコンピュータから成る情報処理装置で構成されており、制御部４、画像取得部５、記憶部６、学習部７、入力部８、出力部９及びカメラ１０を備えている。

【0024】

制御部４は、ＣＰＵを備えており、検査装置３の上記各部５～９及びカメラ１０などを制御する。画像取得部５は、カメラ１０で撮影された検査対象物Ｇの外観画像を、デジタルデータとして取得する。記憶部６は、ＲＯＭ及びＲＡＭを有しており、検査装置３の制御で使用される各種のプログラムが記憶されているとともに、各種データが記憶される。学習部７は、検査対象物Ｇの良否を判別するための基準が学習された学習モデルを有している。入力部８は、作業者によって操作されるキーボードやマウスを有するとともに、外部からデータや信号が入力可能に構成されている。出力部９は、検査対象物Ｇの判定結果が表示されるディスプレイなどの表示器を有している。

【0025】

図２は、本発明の第１実施形態による疑似不良品データ生成装置１１の構成及び各データの流れをブロック図で示している。同図に示すように、この疑似不良品データ生成装置１１は、コンピュータによる情報処理装置から成り、実不良品データ取得部１２（実不良品データ取得手段）、第１特徴量変換部１３（第１特徴量変換手段）、予測特徴量生成部１４（予測特徴量生成手段）、疑似不良品データ生成部１５（疑似不良品データ生成手段）、第２特徴量変換部１６（第２特徴量変換手段）、特徴量分布比較部１７（特徴量分布比較手段）、疑似不良品データ品質判定部１８（疑似不良品データ品質判定手段）、制御部１９（制御手段）、及びパラメータ変更部２０（パラメータ変更手段）を備えている。なお、上記の制御部１９は、疑似不良品データ生成装置１１の上記各部１２～１８及び２０を制御する。

【0026】

実不良品データ取得部１２は、前述した検査装置３のカメラ１０と同様のカメラによって撮影された検査対象物Ｇの外観画像について、作業者などによって不良品であると判定されたものを、実不良品データとして取得するものである。そして、この実不良品データ取得部１２では、比較的少ない数（例えば２００個）の実不良品データが取得される。

【0027】

第１特徴量変換部１３は、実不良品データ取得部１２によって取得された少数の実不良品データをそれぞれ、所定の特徴量（以下「実特徴量」という）に変換する。この場合、第１特徴量変換部１３は、例えばＳＩＦＴ（Scale-Invariant Feature Transform）やＣＮＮ（Convolution Neural Network）を用いて、少数の実不良品データをそれぞれ変換することにより、各実不良品データにそれぞれ対応する少数の実特徴量を取得する。

【0028】

予測特徴量生成部１４は、第１徴量変換部１３による変換によって取得された少数の実特徴量から多数の特徴量（以下「予測特徴量」という）を生成する。具体的には、変分オートエンコーダ（ＶＡＥ：Variational Autoencoder）や、ＧＭＶＡＥ（Gaussian Mixture VAE）などの特徴量生成モデルを用い、少数の実特徴量から多数の予測特徴量（予測特徴量群）を生成する。

【0029】

また、疑似不良品データ生成部１５は、前述した実不良品データ取得部１２によって取得された少数の実不良品データから、多数の疑似不良品データを生成する。具体的には、ＶＡＥや、畳み込みニューラルネットワークによる敵対的生成ネットワーク（ＤＣＧＡＮ：Deep Convolutional Generative Adversarial Networks）などの画像生成モデルを用い、少数の実不良品データから多数の疑似不良品データ（疑似不良品データ群）を生成する。

【0030】

第２特徴量変換部１６は、疑似不良品データ生成部１５によって生成された多数の疑似不良品データをそれぞれ、所定の特徴量（以下「疑似特徴量」という）に変換する。この第２特徴量変換部１６は、前記第１特徴量変換部１３と同様、ＳＩＦＴやＣＮＮを用いて、多数の疑似不良品データをそれぞれ変換することにより、各疑似不良品データにそれぞれ対応する多数の疑似特徴量（疑似特徴量群）を取得する。

【0031】

特徴量分布比較部１７は、予測特徴量生成部１４で生成した多数の予測特徴量と、第２特徴量変換部１６による変換によって取得した多数の疑似特徴量との分布を比較し、その残差としての特徴量誤差を算出する。

【0032】

ここで、特徴量誤差の算出手順の一例としてＮ分位数毎の誤差を使用する方法を説明する。簡単のために予測特徴量と疑似特徴量の四分位数の場合を例にして説明する。なお、実際には例えば二十分位数などの高分位数で行われる。

【0033】

初めに、予測特徴量と疑似特徴量の第１四分位数、第２四分位数、第３四分位数、第４四分位数範囲に入るデータ（より具体的には０～２５％、２５～５０％、５０～７５％、７５～１００％）の平均値をそれぞれ求める。その結果を予測特徴量についてはY25,Y50,Y75,Y100、疑似特徴量についてはX25,X50,X75,X100と記すことにする。そして、（X25,Y25）、（X50,Y50）、 (X75,Y75）、（X100,Y100）の４組のデータから、Ｙを目的変数、Ｘを説明変数として回帰直線を引き、その回帰直線から疑似特徴量Ｘに対する予測特徴量Ｙを求め、ＹとＸの差分から特徴量誤差を算出する。当然ながら、疑似特徴量Ｘに対する予測特徴量Ｙの値が一致するときには誤差は０である。なお、一例として単回帰の場合を説明したが、それに限定されず、例えばガウス過程回帰などの回帰手法を用いても良い。

【0034】

疑似不良品データ品質判定部１８は、特徴量分布比較部１７において算出された特徴量誤差に基づき、前記疑似不良品データ生成部１５において生成された多数の疑似不良品データの品質の良否を判定する。

【0035】

具体的には、特徴量誤差が所定の基準値以下で、特徴量誤差が非常に小さいときには、多数の疑似特徴量の分布が多数の予測特徴量のそれに対して、同一性が高く、生成された多数の疑似不良品データの品質が良好であると判定される。このように、品質が良好であると判定された多数の疑似不良品データは、多数の良品データとともに、前述した検査装置３の学習部７における学習モデルの学習に利用される。これにより、その学習モデルとして、分類精度の高い分類モデルを得ることができ、検査システム１において、検査対象物Ｇの良否を精度良く判定することができる。

【0036】

一方、疑似不良品データ品質判定部１８において、特徴量誤差が基準値よりも大きく、特徴量誤差が十分に小さくなっていないときには、多数の疑似特徴量の分布が多数の予測特徴量のそれに対する同一性が低く、生成された多数の疑似不良品データの品質が不十分であると判定される。このように判定された場合には、疑似不良品データ生成装置１１において、次のような疑似不良品データの再生成処理が実行される。

【0037】

図３は、疑似不良品データの再生成処理を示している。本処理ではまず、ステップ１（「Ｓ１」と図示。以下同じ）において、疑似不良品データ生成部１５のパラメータを変更する。具体的には、パラメータ変更部２０により、手動又は自動で、疑似不良品データ生成部１５における画像生成モデルのパラメータを変更する。なお、このパラメータは、前記特徴量誤差が小さくなるように変更される。

【0038】

次いで、疑似不良品データを再生成する（ステップ２）。具体的には、疑似不良品データ生成部１５により、ステップ１でパラメータが変更された画像生成モデルを用いて、既に取得している小数の実不良品データから多数の疑似不良品データ（疑似不良品データ群）を再度、生成する。

【0039】

次いで、疑似不良品データを特徴量に変換する（ステップ３）。具体的には、第２特徴量変換部１６により、ステップ２で再生成された多数の疑似不良品データを多数の疑似特徴量（疑似特徴量群）に変換する。

【0040】

次いで、特徴量分布を比較し、特徴量誤差を算出する（ステップ４）。具体的には、特徴量分布比較部１７により、既に生成されている多数の予測特徴量（予測特徴量群）と、ステップ３で生成された多数の疑似特徴量（疑似特徴量群）との分布を比較し、特徴量誤差を算出する（ステップ４）。

【0041】

そして、ステップ５において、上記ステップ４で算出された特徴量誤差が、基準値以下であるか否かを判別する。この判別結果がＹＥＳで、特徴量誤差≦基準値のときには、再生成された多数の疑似不良品データの品質が良好であると判定され、本処理を終了する。

【0042】

一方、ステップ５の判別結果がＮＯで、特徴量誤差＞基準値のときには、再生成された多数の疑似不良品データの品質が不十分であると判定され、上述したステップ１～ステップ４が再度実行される。そして、特徴量誤差が基準値以下になるまで、ステップ１～ステップ４が繰り返され、最終的に、品質が良好な多数の疑似不良品データが生成される。

【0043】

以上のように、本実施形態によれば、実際に取得した少数の実不良品データに基づき、多数の疑似不良品データを生成するとともに、多数の予測特徴量を生成し、この多数の予測特徴量と、疑似不良品データから変換した多数の疑似特徴量との分布を比較し、その残差としての特徴量誤差を算出する。このような特徴量誤差に基づき、生成された多数の疑似不良品データの品質を適切に判定することができる。また、上記の特徴量誤差が所定の基準値よりも大きいときには、特徴量誤差が基準値以下になるまで、疑似不良品データ生成部１５の画像生成モデルのパラメータを変更しながら、疑似不良品データ生成部１５による疑似不良品データの生成が繰り返され、良質な多数の疑似不良品データを得ることができる。

【0044】

次に、図４及び図５を参照しながら、本発明の第２実施形態による疑似不良品データ生成装置１１Ａついて説明する。なお、本実施形態の疑似不良品データ生成装置１１Ａについて、上述した第１実施形態の疑似不良品データ生成装置１１と同一の構成部分については同一の符号を付し、その詳細な説明を省略するものとする。

【0045】

図４に示すように、疑似不良品データ生成装置１１Ａは、第１実施形態の疑似不良品データ生成装置１１と同様、実不良品データ取得部１２、第１特徴量変換部１３、予測特徴量生成部１４、疑似不良品データ生成部１５、第２特徴量変換部１６、特徴量分布比較部１７、疑似不良品データ品質判定部１８、及び制御部１９を備えている。また、疑似不良品データ生成装置１１Ａは、第３特徴量変換部２１（第３特徴量変換手段）、及び特徴量補正部２２（特徴量補正手段）を、さらに備えている。なお、上記の制御部１９は、上述した各部１２～１８と同様、疑似不良品データ生成装置１１Ａの第３特徴量変更部２１及び特徴量補正部２２を制御する。

【0046】

この疑似不良品データ生成装置１１Ａにおける第３特徴量変換部２１は、第１特徴量変換部１３と同様のものである。すなわち、第３特徴量変換部２１は、実不良品データ取得部１２によって取得された少数の実不良品データをそれぞれ、ＳＩＦＴやＣＮＮを用いて変換することにより、各実不良品データにそれぞれ対応する少数の実特徴量を取得する。

【0047】

特徴量補正部２２は、後述するように、特徴量誤差がフィードバックされたときに、その特徴量誤差に基づき、上記の第３特徴量変換部２１によって取得された実特徴量を補正する。そして、この補正が行われた場合には、疑似不良品データ生成部１５により、ＶＡＥやＤＣＧＡＮなどの画像生成モデルを用い、補正された少数の特徴量（補正済み特徴量）から多数の疑似不良品データ（疑似不良品データ群）を生成する。

【0048】

このように構成された疑似不良品データ生成装置１１Ａでは、第１実施形態の疑似不良品データ生成装置１１と同様、特徴量分布比較部１７により、予測特徴量生成部１４で生成した多数の予測特徴量と、第２特徴量変換部１６による変換によって取得した多数の疑似特徴量との分布を比較し、特徴量誤差を算出する。

【0049】

そして、疑似不良品データ品質判定部１８により、特徴量分布比較部１７において算出された特徴量誤差に基づき、前記疑似不良品データ生成部１５において生成された多数の疑似不良品データの品質の良否を判定する。

【0050】

この場合、第１実施形態の疑似不良品データ生成装置１１と同様、特徴量誤差が非常に小さいときには、生成された多数の疑似不良品データの品質が良好であると判定され、これらの多数の疑似不良品データが、多数の良品データとともに、検査装置３の学習部７における学習モデルの学習に利用される。

【0051】

一方、疑似不良品データ品質判定部１８において、特徴量誤差が基準値よりも大きく、特徴量誤差が十分に小さくなっていないときには、生成された多数の疑似不良品データの品質が不十分であると判定され、疑似不良品データ生成装置１１Ａにおいて、次のような疑似不良品データ自動生成処理が実行される。

【0052】

図５は、疑似不良品データの自動生成処理を示している。本処理ではまず、ステップ１１において、特徴量誤差を特徴量補正部２２にフィードバックする。具体的には、疑似不良品データ品質判定部１８による判定結果、すなわち、特徴量誤差が基準値よりも大きいことで、生成された疑似不良品データの品質が不良であると判定された場合には、特徴量誤差を特徴量補正部２２にフィードバックする。そして、その特徴量補正部２２において、第３特徴量変換部２１で変換により取得された少数の実特徴量を、フィードバックされた特徴量誤差に基づいて補正する（ステップ１２）。この補正は、特徴量誤差が小さくなるように実行される。

【0053】

次いで、疑似不良品データを再生成する（ステップ１３）。具体的には、疑似不良品データ生成部１５により、ステップ１２で補正された少数の特徴量（補正済み特徴量）から多数の疑似不良品データ（疑似不良品データ群）を生成する。

【0054】

次いで、疑似不良品データを特徴量に変換する（ステップ１４）。具体的には、第２特徴量変換部１６により、ステップ１３で再生成された多数の疑似不良品データを多数の疑似特徴量（疑似特徴量群）に変換する。

【0055】

次いで、特徴量分布を比較し、特徴量誤差を算出する（ステップ１５）。具体的には、特徴量分布比較部１７により、既に生成されている多数の予測特徴量（予測特徴量群）と、ステップ１４で生成された多数の疑似特徴量（疑似特徴量群）との分布を比較し、特徴量誤差を算出する。

【0056】

そして、ステップ１６において、上記ステップ１５で算出された特徴量誤差が、基準値以下であるか否かを判別する。この判別結果がＹＥＳで、特徴量誤差≦基準値のときには、再生成された多数の疑似不良品データの品質が良好であると判定され、本処理を終了する。

【0057】

一方、ステップ１６の判別結果がＮＯで、特徴量誤差＞基準値のときには、再生成された多数の疑似不良品データの品質が不十分であると判定され、上述したステップ１１～ステップ１５が再度実行される。そして、特徴量誤差が基準値以下になるまで、ステップ１１～ステップ１５が繰り返され、最終的に、品質が良好な多数の疑似不良品データが生成される。

【0058】

以上のように、本実施形態によれば、前述した第１実施形態と同様、多数の予測特徴量と多数の疑似特徴量との分布の比較による特徴量誤差に基づいて、生成された多数の疑似不良品データの品質を適切に判定することができる。また、上記の特徴量誤差が所定の基準値よりも大きいときには、特徴量誤差が基準値以下になるまで、算出された特徴量誤差を特徴量補正部２２にフィードバックすることで、少数の実特徴量を補正し、それらを用いて、多数の疑似不良品データを生成する。このように、特徴量誤差が基準値以下になるまで、実特徴量の補正及び疑似不良品データの生成が繰り返されることにより、良質な多数の疑似不良品データを自動的に生成することができる。

【0059】

なお、本発明は、説明した上記実施形態に限定されることなく、種々の態様で実施することができる。例えば、実施形態では、特徴量分布比較部１７により、多数の予測特徴量と多数の疑似特徴量との分布を比較し、その残差としての算出した特徴量誤差を用いて、生成した多数の疑似不良品データの品質を判定したが、その他の指標を用いて、生成された疑似不良品データの品質の判定を行うことも可能である。また、実施形態で示した疑似不良品データ生成装置１１、１１Ａの細部の構成などは、あくまで例示であり、本発明の趣旨の範囲内で適宜、変更することができる。

【符号の説明】

【0060】

１ 検査システム
２ 搬送機
３ 検査装置
４ 制御部
５ 画像取得部
６ 記憶部
７ 学習部
８ 入力部
９ 出力部
１０ カメラ
１１ 疑似不良品データ生成装置
１１Ａ 疑似不良品データ生成装置
１２ 実不良品データ取得部（実不良品データ取得手段）
１３ 第１特徴量変換部（第１特徴量変換手段）
１４ 予測特徴量生成部（予測特徴量生成手段）
１５ 疑似不良品データ生成部（疑似不良品データ生成手段）
１６ 第２特徴量変換部（第２特徴量変換手段）
１７ 特徴量分布比較部（特徴量分布比較手段）
１８ 疑似不良品データ品質判定部（疑似不良品データ品質判定手段）
１９ 制御部（制御手段）
２０ パラメータ変更部（パラメータ変更手段）
２１ 第３特徴量変換部（第３特徴量変換手段）
２２ 特徴量補正部（特徴量補正手段）

【図1】

【図2】

【図3】

【図4】

【図5】