ホーム > 特許ランキング > 本田技研工業株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024010338
(43)【公開日】2024-01-24
(54)【発明の名称】教師データ作成方法及び作成装置
(51)【国際特許分類】
G06T 7/00 20170101AFI20240117BHJP
G06V 10/82 20220101ALI20240117BHJP
G06N 20/00 20190101ALI20240117BHJP
G06N 3/08 20230101ALI20240117BHJP
【ＦＩ】
G06T7/00 350C
G06V10/82
G06T7/00 610Z
G06N20/00
G06N3/08
【審査請求】有
【請求項の数】4
【出願形態】ＯＬ
(21)【出願番号】P 2022111624
(22)【出願日】2022-07-12
(71)【出願人】
【識別番号】000005326
【氏名又は名称】本田技研工業株式会社
(74)【代理人】
【識別番号】100095566
【弁理士】
【氏名又は名称】高橋 友雄
(74)【代理人】
【識別番号】100114775
【弁理士】
【氏名又は名称】高岡 亮一
(74)【代理人】
【識別番号】100121511
【弁理士】
【氏名又は名称】小田 直
(72)【発明者】
【氏名】軽部 俊和
(72)【発明者】
【氏名】城島 昂佑
(72)【発明者】
【氏名】吉田 裕
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096BA03
5L096DA01
5L096GA30
5L096HA11
5L096JA11
5L096KA04
5L096KA13
5L096MA03
(57)【要約】
【課題】多数の良品画像と少数の不良品画像に基づき、十分な量と品質の教師データを作成することができる教師データの作成方法を提供する。
【解決手段】本発明に係る教師データ作成方法は、欠陥のない製品又は部品の画像である良品画像と、欠陥を有する製品又は部品の画像である不良品画像と、を用いて学習を行う欠陥分類モデルにおいて、良品教師データと不良品教師データとを作成する教師データ作成方法であって、多数の良品画像から、所定の第１の次元数の特徴量を抽出して得られた多数の良品特徴量データを良品教師データとして取得する工程と、良品画像の数よりも少ない数の不良品画像から、第１の次元数の特徴量を抽出して得られた少数の不良品特徴量データを用いて学習した生成モデルを用い、第１の次元数の特徴量を生成して得られた多数の生成不良品特徴量データを不良品教師データとして取得する工程と、を有することを特徴とする。
【選択図】図２
【解決手段】本発明に係る教師データ作成方法は、欠陥のない製品又は部品の画像である良品画像と、欠陥を有する製品又は部品の画像である不良品画像と、を用いて学習を行う欠陥分類モデルにおいて、良品教師データと不良品教師データとを作成する教師データ作成方法であって、多数の良品画像から、所定の第１の次元数の特徴量を抽出して得られた多数の良品特徴量データを良品教師データとして取得する工程と、良品画像の数よりも少ない数の不良品画像から、第１の次元数の特徴量を抽出して得られた少数の不良品特徴量データを用いて学習した生成モデルを用い、第１の次元数の特徴量を生成して得られた多数の生成不良品特徴量データを不良品教師データとして取得する工程と、を有することを特徴とする。
【選択図】図２
【特許請求の範囲】
【請求項1】
欠陥のない製品又は部品の画像である良品画像と、欠陥を有する製品又は部品の画像である不良品画像と、を用いて学習を行う欠陥分類モデルにおいて、良品教師データと不良品教師データとを作成する教師データ作成方法であって、
多数の前記良品画像から、所定の第１の次元数の特徴量を抽出して得られた多数の良品特徴量データを前記良品教師データとして取得する良品教師データ取得工程と、
前記良品画像の数よりも少ない数の前記不良品画像から、前記第１の次元数の特徴量を抽出して得られた不良品特徴量データを用いて学習した生成モデルを用い、前記第１の次元数の特徴量を生成して得られた多数の生成不良品特徴量データを前記不良品教師データとして取得する不良品教師データ取得工程と、
を有することを特徴とする、教師データ作成方法。
多数の前記良品画像から、所定の第１の次元数の特徴量を抽出して得られた多数の良品特徴量データを前記良品教師データとして取得する良品教師データ取得工程と、
前記良品画像の数よりも少ない数の前記不良品画像から、前記第１の次元数の特徴量を抽出して得られた不良品特徴量データを用いて学習した生成モデルを用い、前記第１の次元数の特徴量を生成して得られた多数の生成不良品特徴量データを前記不良品教師データとして取得する不良品教師データ取得工程と、
を有することを特徴とする、教師データ作成方法。
【請求項2】
前記不良品教師データ取得工程は、
前記不良品画像が元画像として入力されると、前記元画像から抽出した特徴量の次元を削減して所定の第２の次元数の潜在変数とその確率分布を算出するエンコーダと、前記潜在変数と前記確率分布から前記元画像を再構成して再構成画像を出力するデコーダと、を備える変分オートエンコーダ（ＶＡＥ）において、前記元画像と前記再構成画像の間の再構成誤差を最小化するように前記エンコーダ及び前記デコーダの重み付けを学習する第１学習工程と、
前記不良品画像から前記第１の次元数の特徴量を抽出し、第２学習用正解データとして取得する正解データ取得工程と、
学習済みの前記変分オートエンコーダの前記潜在変数の前記確率分布から、前記不良品画像に対応する前記第２の次元数の特徴量ベクトルを取得する特徴量ベクトル取得工程と、
前記取得した前記第２の次元数の前記特徴量ベクトルが入力されると、前記第１の次元数の前記生成不良品特徴量データを生成して出力するように構成された多層パーセプトロン（ＭＬＰ）デコーダにおいて、前記生成不良品特徴量データと前記第２学習用正解データの間の損失を最小化するように前記多層パーセプトロンデコーダの重み付けを学習する第２学習工程と、
学習済みの前記変分オートエンコーダの前記潜在変数の前記確率分布からランダムサンプリングにより取得した多数の前記第２の次元数の特徴量ベクトルを学習済みの前記多層パーセプトロンデコーダに入力し、多数の生成不良品特徴量データを生成する不良品特徴量データ生成工程と、
を含むことを特徴とする、請求項１に記載の教師データ作成方法。
前記不良品画像が元画像として入力されると、前記元画像から抽出した特徴量の次元を削減して所定の第２の次元数の潜在変数とその確率分布を算出するエンコーダと、前記潜在変数と前記確率分布から前記元画像を再構成して再構成画像を出力するデコーダと、を備える変分オートエンコーダ（ＶＡＥ）において、前記元画像と前記再構成画像の間の再構成誤差を最小化するように前記エンコーダ及び前記デコーダの重み付けを学習する第１学習工程と、
前記不良品画像から前記第１の次元数の特徴量を抽出し、第２学習用正解データとして取得する正解データ取得工程と、
学習済みの前記変分オートエンコーダの前記潜在変数の前記確率分布から、前記不良品画像に対応する前記第２の次元数の特徴量ベクトルを取得する特徴量ベクトル取得工程と、
前記取得した前記第２の次元数の前記特徴量ベクトルが入力されると、前記第１の次元数の前記生成不良品特徴量データを生成して出力するように構成された多層パーセプトロン（ＭＬＰ）デコーダにおいて、前記生成不良品特徴量データと前記第２学習用正解データの間の損失を最小化するように前記多層パーセプトロンデコーダの重み付けを学習する第２学習工程と、
学習済みの前記変分オートエンコーダの前記潜在変数の前記確率分布からランダムサンプリングにより取得した多数の前記第２の次元数の特徴量ベクトルを学習済みの前記多層パーセプトロンデコーダに入力し、多数の生成不良品特徴量データを生成する不良品特徴量データ生成工程と、
を含むことを特徴とする、請求項１に記載の教師データ作成方法。
【請求項3】
欠陥のない製品又は部品の画像である良品画像と、欠陥を有する製品又は部品の画像である不良品画像と、を用いて学習を行う欠陥分類モデルにおいて、良品教師データと不良品教師データとを作成する教師データ作成装置であって、
多数の前記良品画像から、所定の第１の次元数の特徴量を抽出して得られた多数の良品特徴量データを前記良品教師データとして取得する良品教師データ取得部と、
前記良品画像の数よりも少ない数の前記不良品画像から、前記第１の次元数の特徴量を抽出して得られた不良品特徴量データを用いて学習した生成モデルを用い、前記第１の次元数の特徴量を生成して得られた多数の生成不良品特徴量データを前記不良品教師データとして取得する不良品教師データ取得部と、
を備えることを特徴とする、教師データ作成装置。
多数の前記良品画像から、所定の第１の次元数の特徴量を抽出して得られた多数の良品特徴量データを前記良品教師データとして取得する良品教師データ取得部と、
前記良品画像の数よりも少ない数の前記不良品画像から、前記第１の次元数の特徴量を抽出して得られた不良品特徴量データを用いて学習した生成モデルを用い、前記第１の次元数の特徴量を生成して得られた多数の生成不良品特徴量データを前記不良品教師データとして取得する不良品教師データ取得部と、
を備えることを特徴とする、教師データ作成装置。
【請求項4】
前記不良品教師データ取得部は、
前記不良品画像が元画像として入力されると、前記元画像から抽出した特徴量の次元を削減して所定の第２の次元数の潜在変数とその確率分布を算出するエンコーダと、前記潜在変数と前記確率分布から前記元画像を再構成して再構成画像を出力するデコーダと、を備える変分オートエンコーダ（ＶＡＥ）において、前記元画像と前記再構成画像の間の再構成誤差を最小化するように前記エンコーダ及び前記デコーダの重み付けを学習する第１学習部と、
前記不良品画像から前記第１の次元数の特徴量を抽出し、第２学習用正解データとして取得する正解データ取得部と、
学習済みの前記変分オートエンコーダの前記潜在変数の前記確率分布から、前記不良品画像に対応する前記第２の次元数の特徴量ベクトルを取得する特徴量ベクトル取得部と、
前記取得した前記第２の次元数の前記特徴量ベクトルが入力されると、前記第１の次元数の前記生成不良品特徴量データを生成して出力するように構成された多層パーセプトロン（ＭＬＰ）デコーダにおいて、前記生成不良品特徴量データと前記第２学習用正解データの間の損失を最小化するように前記多層パーセプトロンデコーダの重み付けを学習する第２学習部と、
学習済みの前記変分オートエンコーダの前記潜在変数の前記確率分布からランダムサンプリングにより取得した多数の前記第２の次元数の特徴量ベクトルを学習済みの前記多層パーセプトロンデコーダに入力し、多数の生成不良品特徴量データを生成する不良品特徴量データ生成部と、
を備えることを特徴とする、請求項３に記載の教師データ作成装置。
前記不良品画像が元画像として入力されると、前記元画像から抽出した特徴量の次元を削減して所定の第２の次元数の潜在変数とその確率分布を算出するエンコーダと、前記潜在変数と前記確率分布から前記元画像を再構成して再構成画像を出力するデコーダと、を備える変分オートエンコーダ（ＶＡＥ）において、前記元画像と前記再構成画像の間の再構成誤差を最小化するように前記エンコーダ及び前記デコーダの重み付けを学習する第１学習部と、
前記不良品画像から前記第１の次元数の特徴量を抽出し、第２学習用正解データとして取得する正解データ取得部と、
学習済みの前記変分オートエンコーダの前記潜在変数の前記確率分布から、前記不良品画像に対応する前記第２の次元数の特徴量ベクトルを取得する特徴量ベクトル取得部と、
前記取得した前記第２の次元数の前記特徴量ベクトルが入力されると、前記第１の次元数の前記生成不良品特徴量データを生成して出力するように構成された多層パーセプトロン（ＭＬＰ）デコーダにおいて、前記生成不良品特徴量データと前記第２学習用正解データの間の損失を最小化するように前記多層パーセプトロンデコーダの重み付けを学習する第２学習部と、
学習済みの前記変分オートエンコーダの前記潜在変数の前記確率分布からランダムサンプリングにより取得した多数の前記第２の次元数の特徴量ベクトルを学習済みの前記多層パーセプトロンデコーダに入力し、多数の生成不良品特徴量データを生成する不良品特徴量データ生成部と、
を備えることを特徴とする、請求項３に記載の教師データ作成装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ニューラルネットワークを用いた機械学習機能を有する検査装置などに適用され、検査対象物の良否を判定するための分類モデルにおける教師データの作成方法及び作成装置に関する。
【背景技術】
【0002】
近年、ニューラルネットワークを用いた分類モデルを有する検査装置により、各種の工業製品や部品などの検査対象物について、正常品（良品）であるか、異常品（不良品）であるかを判定する検品作業の自動化技術の開発が進んでいる。こうした検査装置に用いられる分類モデルにおいては、一般に、良品と不良品に分類された検査対象物の外観の画像データを教師データとして多数読み込ませることにより、学習が行われる。そして、分類基準を学習した分類モデルにより、カメラで撮影した新規の検査対象物を、良品と不良品に分類することが可能になる。
【0003】
一般に、こうした検査装置の分類モデルの判定精度は、学習させるデータの質と量に依存する。従来、例えば特許文献１のように、良品の画像データのみを教師データとして分類モデルの学習を行う技術が提案されている。良品の画像データは入手しやすく、多数の画像を用意することが容易であるが、一方で、良品の画像データのみを学習に用いた場合、良品画像と不良品画像との差異を学習させることができないため、不良品の見逃し率を下げるために、良品を不良品と判定してしまう過検出が多くなるという問題がある。
【0004】
こうした問題を回避するためには、分類モデルの学習において、良品と不良品のいずれについても多数の教師データを用意し、それらを用いて学習を行うことが望ましい。ところが、工業製品などの製造現場では一般に、できるだけ不良品を出さないように製造が行われるため、良品の数に対して不良品の数は非常に少ないのが通常である。そのため、比較的容易に収集可能な良品の画像データに比べて、不良品の画像データの収集には困難が伴う。
【0005】
こうした問題に対し、不良品画像を用いて学習させた生成モデルを用いて疑似不良品画像を多数生成し、それを分類モデル学習用の教師データとして用いる技術が提案されている。例えば特許文献２では、不良品画像と、当該不良品画像のうち欠陥に対応した欠陥領域をマスクして作成した不良品マスク画像と、を用いて学習した復元器により、疑似不良品画像を量産し、それを分類モデルの学習に用いる技術が開示されている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開２０２１－１４４３１４号公報
【特許文献2】特開２０２１－０４３８１６号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
特許文献２のように、生成モデルにより疑似不良品画像を生成する場合、質の良い疑似不良品画像を生成するためには、生成モデルの学習を十分に行う必要があり、そのためには、通常、訓練データとなる不良品の画像データを多数用意する必要がある。しかしながら、上述のとおり、そもそも不良品の画像データを大量に収集することは困難である。そして、少量の不良品画像データのみで学習した分類モデルにより生成される疑似不良品画像では、分類モデルの学習用教師データとしての品質が不十分な場合がある。
【0008】
本発明は、このような課題を解決するためになされたものであり、多数の良品画像と少数の不良品画像に基づき、十分な量と品質の教師データを作成することができる教師データの作成方法を提供することを目的とする。
【課題を解決するための手段】
【0009】
この目的を達成するために、本発明の請求項１に係る発明は、欠陥のない製品又は部品の画像である良品画像と、欠陥を有する製品又は部品の画像である不良品画像と、を用いて学習を行う欠陥分類モデルにおいて、良品教師データと不良品教師データとを作成する教師データ作成方法であって、多数の良品画像から、所定の第１の次元数（実施形態における（以下、本項において同じ）ｐ次元）の特徴量を抽出して得られた多数の良品特徴量データを良品教師データとして取得する良品教師データ取得工程（図３のステップ３０２）と、良品画像の数よりも少ない数の不良品画像から、第１の次元数の特徴量を抽出して得られた不良品特徴量データを用いて学習した生成モデル（ＶＡＥ、ＭＬＰデコーダ）を用い、第１の次元数の特徴量を生成して得られた多数の生成不良品特徴量データを不良品教師データとして取得する不良品教師データ取得工程（図３のステップ３０３）と、を有することを特徴とする。
【0010】
この教師データ作成方法では、多数の良品画像から抽出した多数の所定次元数の良品特徴量データを直接、良品教師データとして取得する一方で、少数の不良品画像から抽出した少数の所定次元数の不良品特徴量データは、生成モデルの学習に用い、学習済みの生成モデルにより多数の所定次元数の生成不良品特徴量データを生成し、それを不良品教師データとして取得する。
【0011】
このように、本発明は、少数の不良品画像に基づき多数の疑似不良品画像を生成するのではなく、少数の不良品画像に基づき多数の所定次元数の生成不良品特徴量データを生成し、それを不良品教師データとすることを特徴としている。生成モデルは、疑似画像ではなく、教師データとして求められる所定次元数の特徴量データのみを生成すればよいので、疑似不良品画像を生成する場合と比較して、生成モデルが処理すべきパラメータ数を大幅に減少させることができる。これにより、生成モデルの学習に必要な不良品画像の数を大幅に減少させることができ、少数の不良品画像に基づき十分な品質の生成不良品特徴量データを生成することができる。したがって、本発明によれば、多数の良品画像と少数の不良品画像に基づき、十分な量と品質の教師データを作成することができる教師データの作成方法を提供することができる。
【0012】
本発明の請求項２に係る発明は、請求項１に記載の教師データ作成方法において、不良品教師データ取得工程は、不良品画像が元画像として入力されると、元画像から抽出した特徴量の次元を削減して所定の第２の次元数（ｋ次元）の潜在変数とその確率分布を算出するエンコーダと、潜在変数と確率分布から元画像を再構成して再構成画像を出力するデコーダと、を備える変分オートエンコーダ（ＶＡＥ）において、元画像と再構成画像の間の再構成誤差を最小化するようにエンコーダ及びデコーダの重み付けを学習する第１学習工程（図４のステップ４０１、図５のステップ５０１～５０３）と、不良品画像から第１の次元数の特徴量を抽出し、第２学習用正解データとして取得する正解データ取得工程（図６のステップ６０１、図７）と、学習済みの変分オートエンコーダの潜在変数の確率分布から第２の次元数の特徴量ベクトルを取得する特徴量ベクトル取得工程（図６のステップ６０２）と、取得した第２の次元数の特徴量ベクトルが入力されると、第１の次元数の生成不良品特徴量データを生成して出力するように構成された多層パーセプトロン（ＭＬＰ）デコーダにおいて、生成不良品特徴量データと第２学習用正解データの間の損失を最小化するように多層パーセプトロンデコーダの重み付けを学習する第２学習工程（図４のステップ４０２、図６のステップ６０３～６０５、図８）と、学習済みの変分オートエンコーダの潜在変数の確率分布からランダムサンプリングにより取得した多数の第２の次元数の特徴量ベクトルを学習済みの多層パーセプトロンデコーダに入力し、多数の生成不良品特徴量データを生成する不良品特徴量データ生成工程（図４のステップ４０３、図９のステップ９０１～９０３）と、を含むことを特徴とする。
【0013】
この構成によれば、第１学習工程において、元の不良品画像から再構成画像を精度よく出力できるように変分オートエンコーダ（以下、ＶＡＥという。）を学習させる。また、正解データ取得工程において、不良品画像から所定次元数の特徴量を抽出し第２学習用正解データとして取得し、特徴量ベクトル取得工程において、学習済みＶＡＥの潜在変数の確率分布から、不良品画像に対応する特徴量ベクトルを取得する。その後、第２学習工程において、取得した特徴量ベクトルから生成した生成不良品特徴量データが、第２学習用正解データに近いものとなるように多層パーセプトロンデコーダ（以下、ＭＬＰデコーダという。）を学習させる。このようにして事前学習を終了させたＶＡＥとＭＬＰデコーダからなる生成モデルを用い、不良品特徴量データ生成工程において、学習済みのＶＡＥの潜在変数の確率分布から、ランダムサンプリングにより多数の特徴量ベクトルを取得し、それを学習済みのＭＬＰデコーダに入力することで、多数の生成不良品特徴量データを生成する。
【0014】
例えば、生成モデルとしてＶＡＥを用い、不良品画像を入力として疑似不良品画像を生成するように学習を行う場合を考える。この場合、エンコーダにおいて、例えば２５６×２５６＝６５５３６ピクセルの不良品画像を、より低次元、例えば５００次元の潜在変数に圧縮したとすると、デコーダにおいては、５００次元の潜在変数から再び６５５３６ピクセルの画像にデコードする必要があり、これを処理するデコーダが扱うパラメータ数は膨大なものとなる。これに対し、本構成においては、疑似不良品画像を生成する必要はなく、教師データとして求められる所定次元数の特徴量データのみを生成すればよいので、例えば求められる特徴量の次元数が１０００次元の場合は、５００次元の潜在変数から１０００次元の特徴量データをデコードすれば足りることになる。
【0015】
これにより、生成モデルが処理すべきパラメータ数を大幅に減少させることができるので、生成モデルの学習に必要な不良品画像の数を大幅に減少させることができる。したがって、少数の不良品画像に基づき十分な品質の生成不良品特徴量データを生成することができる。このようにして、本構成によれば、多数の良品画像と少数の不良品画像に基づき、十分な量と品質の教師データを作成することができる教師データの作成方法を提供することができる。
【0016】
本発明の請求項３に係る発明は、欠陥のない製品又は部品の画像である良品画像と、欠陥を有する製品又は部品の画像である不良品画像と、を用いて学習を行う欠陥分類モデルにおいて、良品教師データと不良品教師データとを作成する教師データ作成装置１１であって、多数（Ｍ個）の良品画像から、所定の第１の次元数の特徴量を抽出して得られた多数の良品特徴量データを良品教師データとして取得する良品教師データ取得部１２と、良品画像の数よりも少ない数（Ｎ個）の不良品画像から、第１の次元数の特徴量を抽出して得られた不良品特徴量データを用いて学習した生成モデルを用い、第１の次元数の特徴量を生成して得られた多数の生成不良品特徴量データを不良品教師データとして取得する不良品教師データ取得部１３と、を備えることを特徴とする。
【0017】
この教師データ作成装置では、多数の良品画像から抽出した多数の所定次元数の良品特徴量データを直接、良品教師データとして取得する一方で、少数の不良品画像から抽出した少数の所定次元数の不良品特徴量データは、生成モデルの学習に用い、学習済みの生成モデルにより多数の所定次元数の生成不良品特徴量データを生成し、それを不良品教師データとして取得する。このように、本発明は、少数の不良品画像に基づき多数の疑似不良品画像を生成するのではなく、少数の不良品画像に基づき多数の所定次元数の生成不良品特徴量データを生成し、それを不良品教師データとすることを特徴としているので、疑似不良品画像を生成する場合と比較して、生成モデルが処理すべきパラメータ数を大幅に減少させることができる。これにより、生成モデルの学習に必要な不良品画像の数を大幅に減少させることができ、少数の不良品画像に基づき十分な品質の生成不良品特徴量データを生成することができるので、多数の良品画像と少数の不良品画像に基づき、十分な量と品質の教師データを作成することができる教師データの作成装置を提供することができる。
【0018】
本発明の請求項４に係る発明は、請求項３に記載の教師データ作成装置において、不良品教師データ取得部１３は、不良品画像が元画像として入力されると、元画像から抽出した特徴量の次元を削減して所定の第２の次元数の潜在変数とその確率分布を算出するエンコーダと、潜在変数と確率分布から元画像を再構成して再構成画像を出力するデコーダと、を備える変分オートエンコーダ（ＶＡＥ）において、元画像と再構成画像の間の再構成誤差を最小化するようにエンコーダ及びデコーダの重み付けを学習する第１学習部（ＶＡＥ事前学習部１４）と、不良品画像から第１の次元数の特徴量を抽出し、第２学習用正解データとして取得する正解データ取得部１５と、学習済みの変分オートエンコーダの潜在変数の確率分布から、不良品画像に対応する第２の次元数の特徴量ベクトルを取得する特徴量ベクトル取得部１６と、取得した第２の次元数の特徴量ベクトルが入力されると、第１の次元数の生成不良品特徴量データを生成して出力するように構成された多層パーセプトロン（ＭＬＰ）デコーダにおいて、生成不良品特徴量データと第２学習用正解データの間の損失を最小化するように前記多層パーセプトロンデコーダの重み付けを学習する第２学習部（ＭＬＰ事前学習部１７）と、学習済みの変分オートエンコーダの潜在変数の確率分布からランダムサンプリングにより取得した多数の第２の次元数の特徴量ベクトルを学習済みの多層パーセプトロンデコーダに入力し、多数の生成不良品特徴量データを生成する不良品特徴量データ生成部１８と、を備えることを特徴とする。
【0019】
この構成によれば、不良品画像を用いて事前学習を行ったＶＡＥとＭＬＰデコーダからなる生成モデルを用い、不良品特徴量データ生成部において、学習済みのＶＡＥの潜在変数の確率分布から、ランダムサンプリングにより多数の特徴量ベクトルを取得し、それを学習済みのＭＬＰデコーダに入力することで、多数の生成不良品特徴量データを生成する。本構成においては、ＶＡＥとＭＬＰデコーダからなる生成モデルは、疑似不良品画像を生成する必要はなく、教師データとして求められる所定次元数の特徴量データのみを生成すればよいので、生成モデルが処理すべきパラメータ数を大幅に減少させることができる。これにより、生成モデルの学習に必要な不良品画像の数を大幅に減少させることができるので、少数の不良品画像に基づき十分な品質の生成不良品特徴量データを生成することができる。このようにして、本構成によれば、多数の良品画像と少数の不良品画像に基づき、十分な量と品質の教師データを作成することができる教師データの作成装置を提供することができる。
【図面の簡単な説明】
【0020】
【図1】本発明の一実施形態による教師データ作成装置によって作成された教師データが学習に利用される検査システムの概要を説明するための図である。
【図2】本発明の一実施形態による教師データ作成装置を示すブロック図である。
【図3】教師データ作成装置による教師データ作成処理を示すフローチャートである。
【図4】教師データ作成装置による不良品教師データ取得処理を示すフローチャートである。
【図5】教師データ作成装置によるＶＡＥ学習処理を示すフローチャートである。
【図6】教師データ作成装置によるＭＬＰ学習処理を示すフローチャートである。
【図7】教師データ作成装置による正解データ取得処理を示す模式図である。
【図8】教師データ作成装置によるＭＬＰ学習処理を示す模式図である。
【図9】教師データ作成装置による不良品特徴量データ生成処理を示すフローチャートである。
【発明を実施するための形態】
【0021】
以下、図面を参照しながら、本発明の好ましい実施形態を詳細に説明する。図１は、後述する教師データ作成装置１１によって作成された多数の良品教師データ及び多数の不良品教師データを用いて学習を行った分類モデルを備えた検査システムを示している。この検査システム１は、例えば車両部品の製造工場などに設置され、製造された車両部品（例えばシリンダブロック）が正常品（良品）であるか、異常品（不良品）であるかを、車両部品の外観を検査することによって自動で判別するものである。以下、検査すべき車両部品を、「検査対象物」というものとする。
【0022】
図１に示すように、検査システム１は、検査対象物Ｇを所定方向に所定速度で搬送する搬送機２と、検査対象物Ｇが所定の検査位置に到達したときに、その検査対象物Ｇの良否を判定する検査装置３とを備えている。なお、図示は省略するが、検査装置３によって不良品であると判定された検査対象物Ｇは、搬送機２から取り除かれたり、不良品専用の格納場所に搬送されたりするようになっている。
【0023】
検査装置３は、主にコンピュータからなる情報処理装置で構成されており、制御部４、画像取得部５、記憶部６、学習部７、入力部８、出力部９及びカメラ１０を備えている。
【0024】
制御部４は、ＣＰＵを備えており、検査装置３の上記各部５～９及びカメラ１０などを制御する。画像取得部５は、カメラ１０で撮影された検査対象物Ｇの外観画像をデジタルデータとして取得するとともに、取得した画像から検査対象物Ｇの良否の判定に用いる所定の特徴量データを抽出する。記憶部６は、ＲＯＭ及びＲＡＭを有しており、検査装置３の制御で使用される各種のプログラムが記憶されているとともに、各種データが記憶される。学習部７は、検査対象物Ｇの良否を判別するための基準が学習された分類モデルを有している。入力部８は、作業者によって操作されるキーボードやマウスを有するとともに、外部からデータや信号が入力可能に構成されている。出力部９は、検査対象物Ｇの判定結果が表示されるディスプレイなどの表示器を有している。
【0025】
図２は、本発明の一実施形態による教師データ作成装置１１を示している。この教師データ作成装置１１は、検査対象物Ｇの検品作業を行う作業者によって操作されることにより、検査装置３の学習部７における分類モデルの学習に用いられる良品の教師データ（良品教師データ）及び不良品の教師データ（不良品教師データ）を作成するためのものである。教師データ作成装置１１は、前述した検査装置３と同様に、コンピュータからなる情報処理装置で構成されており、良品教師データ取得部１２及び不良品教師データ取得部１３を備えている。また、不良品教師データ取得部１３は、ＶＡＥ事前学習部１４、正解データ取得部１５、特徴量ベクトル取得部１６、ＭＬＰ事前学習部１７、不良品特徴量データ生成部１８を備えている。教師データ作成装置１１は、不図示のネットワークにより検査装置３と接続されている。
【0026】
良品教師データ取得部１２は、不図示の外部の記憶装置等から、前述した検査装置３のカメラ１０と同様のカメラによって撮影された検査対象物Ｇの外観画像の中で、作業者によって良品であると判定されたものを、良品画像データとして取得する。
【0027】
良品教師データ取得部１２は、取得した多数（Ｍ個）の良品画像データの各々に対し、例えばＳＩＦＴ（Scale-Invariant Feature Transform）やＨＯＧ（Histograms of Oriented Gradients）、ＣＮＮ（Convolutional Neural Network）などの、画像から特徴量を抽出する公知のアルゴリズムを用い、任意のｐ次元の良品特徴量データを抽出し、良品教師データとして検査装置３に送信する。
【0028】
不良品教師データ取得部１３は、不図示の外部の記憶装置等から、前述した検査装置３のカメラ１０と同様のカメラによって撮影された検査対象物Ｇの外観画像の中で、作業者によって不良品であると判定されたものを、不良品画像データとして取得する。なお、取得される不良品画像は、例えば熟練の作業者によって選定されること等により、発生し得る種々の欠陥形状のパターンを網羅的に含んだ画像データであることが望ましい。また、取得される不良品画像は、作業者によって選定された実際の不良品画像のほか、例えばＶＡＥ（Variational Auto Encoder：変分オートエンコーダ）やＧＡＮ（Generative Adversarial Network：敵対的生成ネットワーク）などの生成モデルを用いて生成された疑似不良品画像データを含んでいてもよい。
【0029】
不良品教師データ取得部１３は、後述するように、取得した少数（Ｎ個）の不良品画像データに対し、上記各部１４～１８による処理を実行することにより、上述した良品特徴量データと同じｐ次元の不良品特徴量データを多数（Ｍ個）、生成し、不良品教師データとして検査装置３に送信する。検査装置３は、受け取った良品教師データ及び不良品教師データを教師データとして、分類モデルの学習を行う。
【0030】
なお、良品特徴量データ及び不良品特徴量データの次元数ｐは、学習を行った分類モデルが高い分類性能を発揮することが可能となる任意の次元数とすることが可能であり、分類モデルの設計等に応じて任意に設定することができる。
【0031】
ＶＡＥ事前学習部１４は、生成モデルとしてのＶＡＥを有し、取得された不良品画像データを訓練データとして用いたＶＡＥの事前学習を行う。本実施形態のＶＡＥとしては、入力された少数の不良品画像データから、欠陥の特徴を捉えた任意のｋ次元の潜在変数とその確率分布（潜在確率分布）を算出することが可能な畳み込み混合正規分布ＶＡＥが用いられる。このＶＡＥにより、入力データｘに対し、ニューラルネットワークで圧縮されたｋ次元の特徴量ベクトルＶｋを、事後確率分布ｐ（ｖｋ｜ｘ）を取る確率変数のベクトルとして求めることができる。
【0032】
ＶＡＥの事前学習では、取得された不良品画像データを元画像として入力し、ＶＡＥのエンコーダにより、元画像から抽出した特徴量の次元を削減してｋ次元の潜在変数と潜在確率分布を作成した後、ＶＡＥのデコーダにより、ｋ次元の潜在変数と潜在確率分布から元画像を再構成した再構成画像を出力する。そして、元画像と再構成画像の間の誤差（再構成誤差）を最小化するように、エンコーダ及びデコーダにおける各パラメータの重み付けを学習する（第１学習工程）。この事前学習が完了すると、ＶＡＥは、入力された不良品画像に近似した再構成画像を出力できるようになると同時に、これに最適化された潜在変数及び潜在確率分布が得られる。
【0033】
正解データ取得部１５は、取得された不良品画像データの各々に対し、例えばＳＩＦＴ（Scale-Invariant Feature Transform）やＨＯＧ（Histograms of Oriented Gradients）、ＣＮＮ（Convolutional Neural Network）などの、画像から特徴量を抽出する公知のアルゴリズムを用い、ｐ次元の特徴量を抽出し、後述するＭＬＰ事前学習において用いられるｐ次元の学習用正解データ（第２学習用正解データ）として取得する（正解データ取得工程）。
【0034】
特徴量ベクトル取得部１６は、事前学習が完了したＶＡＥにおいて作成されたｋ次元の潜在変数及び潜在確率分布から、入力された不良品画像のそれぞれに対応するｋ次元の特徴量ベクトルＶｋ（ｖ０，ｖ１，ｖ２，…ｖｋ－１）を取得する（特徴量ベクトル取得工程）。
【0035】
ＭＬＰ事前学習部１７は、多層パーセプトロンデコーダ（以下、ＭＬＰデコーダという。）を有し、正解データ取得部１５が取得したｐ次元の学習用正解データを教師データとして用いたＭＬＰデコーダの事前学習を行う。このＭＬＰデコーダは、特徴量ベクトル取得部１６により取得されたｋ次元特徴量ベクトルＶｋが入力されると、それに対応するｐ次元の特徴量データ（生成不良品特徴量データ）を出力するように構成される。ＭＬＰデコーダの事前学習では、出力されたｐ次元の生成不良品特徴量データを、あらかじめ取得したｐ次元の学習用正解データと比較し、両者の間の損失を最小化するようにＭＬＰデコーダの各パラメータの重み付けを学習する（第２学習工程）。この事前学習が完了すると、ＭＬＰデコーダは、ｋ次元特徴量ベクトルＶｋの入力に対し、ｐ次元の学習用正解データに近似したｐ次元生成不良品特徴量データを出力できるようになる。
【0036】
不良品特徴量データ生成部１８は、学習済みのＶＡＥの潜在変数及び潜在確率分布から、ランダムサンプリングによりｋ次元特徴量ベクトルＶｋを取得し、それを学習済みのＭＬＰデコーダに入力する。この入力に対し、ＭＬＰデコーダは、ｋ次元特徴量ベクトルＶｋの各々に対応するp次元生成不良品特徴量データを出力する（不良品特徴量データ生成工程）。このようにして得られたｐ次元生成不良品特徴量データは、不良品教師データとして検査装置３に送信され、分類モデルの学習に用いられる。
【0037】
図３は、上述した教師データ作成装置１１による良品教師データ及び不良品教師データの作成処理を示している。本処理では、はじめにステップ３０１（「Ｓ３０１」と図示。以下同じ）において、教師データ作成装置１１とネットワークにより接続された外部の記憶装置等（不図示）から、Ｍ個の良品画像データと、Ｎ個の良品画像データを取得する。ここで、Ｍは、上述した検査装置３の学習部７における分類モデルが十分な学習を行うために必要とされる良品教師データ又は不良品教師データの数に対応した数であり、例えば、２０００程度とすることができる。一般に、製造ラインにおいて製造される検査対象物Ｇの大多数が良品であるため、Ｍ個の良品画像データは容易に取得可能であると想定される。また、Ｎは、上記Ｍよりも大幅に小さな数である。また、Ｎは、取得した不良品画像データから抽出した特徴量を正規分布に近似させる処理を行うのに十分な数であればよく、例えば２００程度とすることができる。
【0038】
次に、ステップ３０２において、ＳＩＦＴやＨＯＧ、ＣＮＮなどの公知の手法により、取得したＭ個の良品画像データの各々から任意のｐ次元の特徴量データ（良品特徴量データ）を抽出し、Ｍ個の良品教師データとして取得する。なお、上述のとおり、次元数ｐは、教師データを用いて学習を行う分類モデルの学習に適した任意の次元数とすることが可能である。本実施形態では、次元数ｐは、例えば１０００とすることができるが、これに限定されることはない。
【0039】
続いて、ステップ３０３において、取得したＮ個の不良品画像データの各々から抽出したＮ個のｐ次元の特徴量データ（不良品特徴量データ）を用いて学習した生成モデルを用い、Ｍ個のｐ次元の生成不良品特徴量データを生成し、これを不良品教師データとして取得する。この不良品教師データ取得処理について、以下に詳述する。
【0040】
図４は、上述の不良品教師データ取得処理の詳細を示す。はじめに、ステップ４０１において、本実施形態における生成モデルの一部となるＶＡＥの事前学習を行う。
【0041】
図５は、ＶＡＥ学習処理の詳細を示す。まず、ステップ５０１において、取得済みのＮ個の不良品画像データをＶＡＥに入力すると、ＶＡＥのエンコーダが、不良品画像から抽出した特徴量を圧縮し、ｋ次元の潜在変数と潜在確率分布を作成する。なお、次元数ｋは、不良品画像の特徴を適切に捉えるために必要な任意の次元数に設定することが可能である。本実施形態において、次元数ｋは、例えば５００に設定される。
【0042】
次に、ステップ５０２において、ＶＡＥのデコーダが、作成されたｋ次元の潜在変数及び潜在確率分布から、入力された不良品画像を再構成した再構成画像を出力する。そして、続くステップ５０３において、入力した不良品画像と、出力された再構成画像の間の再構成誤差を最小化するように、エンコーダ及びデコーダにおける各パラメータの重み付けを学習し、本処理を終了する。
【0043】
図４に戻り、ＶＡＥの事前学習を終えた後はステップ４０２に進む。ステップ４０２では、本実施形態における生成モデルの一部となるＭＬＰデコーダの事前学習を行う。
【0044】
図６は、ＭＬＰデコーダ学習処理の詳細を示す。まず、ステップ６０１において、取得済みのＮ個の不良品画像データから、本学習処理において用いられる学習用正解データを取得する。
【0045】
図７は、ステップ６０１における学習用正解データ取得処理を説明した模式図である。この処理では、Ｎ個の不良品画像データの各々（入力画像１～入力画像Ｎ）に対し、ＳＩＦＴやＨＯＧ、ＣＮＮなどの画像から特徴量を抽出するアルゴリズムを実行し、これにより、学習用正解データとして、Ｎ個の不良品画像データの各々に対応するＮ個のｐ次元の特徴量正解データ（入力画像特徴量１～入力画像特徴量Ｎ）を取得する。
【0046】
続くステップ６０２では、学習済みのＶＡＥにおいて作成されたｋ次元の潜在変数及び潜在確率分布から、取得済みのＮ個の不良品画像データのそれぞれに対応するＮ個のｋ次元の特徴量ベクトルＶｋ（ｖ０，ｖ１，ｖ２，…ｖｋ－１）を取得する。
【0047】
続いて、以降のステップ６０３～６０５において、ステップ６０１～６０２で取得したｐ次元の学習用正解データ及びｋ次元の特徴量ベクトルＶｋを用いて、ＭＬＰデコーダの学習を行う。図８は、ステップ６０３～６０５におけるＭＬＰデコーダの学習処理を説明した模式図である。
【0048】
まず、ステップ６０３において、ステップ６０２で取得されたＮ個のｋ次元の特徴量ベクトルＶｋをＭＬＰデコーダに入力すると、続くステップ６０４において、ＭＬＰデコーダは、Ｎ個のｋ次元の特徴量ベクトルＶｋの各々から、ｐ次元の特徴量をデコードしてＮ個のｐ次元生成不良品特徴量データを出力する。そして次のステップ６０５において、出力されたＮ個のｐ次元生成不良品特徴量データを、ステップ６０１で取得されたＮ個のｐ次元の特徴量正解データ（学習用正解データ）と比較し、両データ間の損失が最小となるようにＭＬＰデコーダの各パラメータの重み付けを学習し、本処理を終了する。
【0049】
再び図４に戻り、ＭＬＰデコーダの事前学習を終えた後は、ステップ４０３に進む。ステップ４０３では、学習済みのＶＡＥ及びＭＬＰデコーダを生成モデルとして用いることにより、多数の生成不良品特徴量データを生成する。
【0050】
図９は、不良品特徴量データ生成処理の詳細を示す。まず、ステップ９０１において、学習済みのＶＡＥのｋ次元の潜在変数及び潜在確率分布から、ランダムサンプリングにより、Ｍ個のｋ次元の特徴量ベクトルＶｋを生成して取得する。次いで、ステップ９０２において、取得したＭ個のｋ次元の特徴量ベクトルＶｋを、学習済みのＭＬＰデコーダに入力する。これにより、ステップ９０３において、ＭＬＰデコーダが、Ｍ個のｋ次元の特徴量ベクトルＶｋの各々に対応するＭ個のｐ次元の生成不良品特徴量データを出力し、本処理を終了する。
【0051】
このようにして生成されたＭ個のp次元の生成不良品特徴量データを、不良品教師データとして取得し、図４の不良品教師データ取得処理を終了する。また、こうして十分な数の良品教師データと不良品教師データを取得したことにより、図１の教師データ作成処理を終了する。
【0052】
なお、取得したＭ個の良品教師データ（ｐ次元の良品特徴量データ）とＭ個の不良品教師データ（ｐ次元の不良品特徴量データ）は、検査装置３へと送信され、検査装置３における分類モデルの学習用教師データとして用いられる。そして、学習が完了した分類モデルを備えた検査装置３により、検査対象物Ｇの良否の判定が行われる。
【0053】
以上のように、本実施形態によれば、取得した多数（Ｍ個）の良品画像データについては、所定の公知のアルゴリズムによりｐ次元の良品特徴量データを抽出することにより、多数（Ｍ個）の良品教師データを取得する。一方、取得した少数（Ｎ個）の不良品画像データについては、所定の公知のアルゴリズムによりｐ次元の不良品特徴量データを抽出した後、これを用いて生成モデルの学習を行い、学習済みの生成モデルにより多数（Ｍ個）のｐ次元の生成不良品特徴量データを生成することにより、多数（Ｍ個）の不良品教師データを取得する。これにより、生成モデルにより疑似不良品画像を生成する場合と比較して、生成モデルが処理すべきパラメータ数を大幅に減少させることができるので、生成モデルの学習に必要な不良品画像の数を減らすことができる。したがって、多数の良品画像と少数の不良品画像に基づき、十分な量と品質の教師データを作成することができる教師データの作成方法を提供することができる。
【0054】
より具体的には、本実施形態の生成モデルにおいて、ＭＬＰデコーダは、ｋ次元（例えば５００次元）の特徴量ベクトルから、ｐ次元（例えば１０００次元）の生成不良品特徴量データをデコードすればよいので、デコーダにおけるパラメータ数は、疑似不良品画像を生成する生成モデルのデコーダと比較して大幅に少なくなる。したがって、少数の不良品画像に基づき十分な品質の生成不良品特徴量データを生成することができる。
【0055】
なお、本発明は、説明した上記実施形態に限定されることなく、種々の態様で実施することができる。例えば、上述の実施形態では、便宜的に良品教師データの数と不良品教師データの数を共にＭ個としたが、良品教師データと不良品教師データは必ずしも同数である必要はなく、検査装置における分類モデルの学習に支障が生じない範囲で異なる数とすることが可能である。
【0056】
また、実施形態では、ＶＡＥの潜在変数をｋ次元（例えば５００次元）、良品特徴量データ及び不良品特徴量データをｐ次元（例えば１０００次元）としたが、必ずしも「ｋ＜ｐ」である必要はなく、教師データ作成装置や検査装置の分類モデル等の設計に応じて、「ｋ＝ｐ」又は「ｋ＞ｐ」となるように設定してもよい。また、実施形態で示した教師データ作成装置１１の細部の構成などは、あくまで例示であり、本発明の趣旨の範囲内で適宜、変更することができる。
【符号の説明】
【0057】
１ 検査システム
２ 搬送機
３ 検査装置
４ 制御部
５ 画像取得部
６ 記憶部
７ 学習部
８ 入力部
９ 出力部
１０ カメラ
１１ 教師データ作成装置
１２ 良品教師データ取得部
１３ 不良品教師データ取得部
１４ ＶＡＥ事前学習部
１５ 正解データ取得部
１６ 特徴量ベクトル取得部
１７ ＭＬＰ事前学習部
１８ 不良品特徴量データ生成部
Ｇ 検査対象物
２ 搬送機
３ 検査装置
４ 制御部
５ 画像取得部
６ 記憶部
７ 学習部
８ 入力部
９ 出力部
１０ カメラ
１１ 教師データ作成装置
１２ 良品教師データ取得部
１３ 不良品教師データ取得部
１４ ＶＡＥ事前学習部
１５ 正解データ取得部
１６ 特徴量ベクトル取得部
１７ ＭＬＰ事前学習部
１８ 不良品特徴量データ生成部
Ｇ 検査対象物
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【手続補正書】
【提出日】2023-09-11
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
欠陥のない製品又は部品の画像である良品画像と、欠陥を有する製品又は部品の画像である不良品画像と、を用いて学習を行う欠陥分類モデルにおいて、良品教師データと不良品教師データとを作成する教師データ作成方法であって、
多数の前記良品画像から、所定の第１の次元数の特徴量を抽出して得られた多数の良品特徴量データを前記良品教師データとして取得する良品教師データ取得工程と、
前記良品画像の数よりも少ない数の前記不良品画像から、前記第１の次元数の特徴量を抽出して得られた不良品特徴量データを用いて学習した生成モデルを用い、前記第１の次元数の特徴量を生成して得られた多数の生成不良品特徴量データを前記不良品教師データとして取得する不良品教師データ取得工程と、
を有することを特徴とする、教師データ作成方法。
多数の前記良品画像から、所定の第１の次元数の特徴量を抽出して得られた多数の良品特徴量データを前記良品教師データとして取得する良品教師データ取得工程と、
前記良品画像の数よりも少ない数の前記不良品画像から、前記第１の次元数の特徴量を抽出して得られた不良品特徴量データを用いて学習した生成モデルを用い、前記第１の次元数の特徴量を生成して得られた多数の生成不良品特徴量データを前記不良品教師データとして取得する不良品教師データ取得工程と、
を有することを特徴とする、教師データ作成方法。
【請求項2】
前記不良品教師データ取得工程は、
前記不良品画像が元画像として入力されると、前記元画像から抽出した特徴量の次元を削減して所定の第２の次元数の潜在変数とその確率分布を算出するエンコーダと、前記潜在変数と前記確率分布から前記元画像を再構成して再構成画像を出力するデコーダと、を備える変分オートエンコーダ（ＶＡＥ）において、前記元画像と前記再構成画像の間の再構成誤差を最小化するように前記エンコーダ及び前記デコーダの重み付けを学習する第１学習工程と、
前記不良品画像から前記第１の次元数の特徴量を抽出し、学習用正解データとして取得する正解データ取得工程と、
学習済みの前記変分オートエンコーダの前記潜在変数の前記確率分布から、前記不良品画像に対応する前記第２の次元数の特徴量ベクトルを取得する特徴量ベクトル取得工程と、
前記取得した前記第２の次元数の前記特徴量ベクトルが入力されると、前記第１の次元数の前記生成不良品特徴量データを生成して出力するように構成された多層パーセプトロン（ＭＬＰ）デコーダにおいて、前記生成不良品特徴量データと前記学習用正解データの間の損失を最小化するように前記多層パーセプトロンデコーダの重み付けを学習する第２学習工程と、
学習済みの前記変分オートエンコーダの前記潜在変数の前記確率分布からランダムサンプリングにより取得した多数の前記第２の次元数の特徴量ベクトルを学習済みの前記多層パーセプトロンデコーダに入力し、多数の生成不良品特徴量データを生成する不良品特徴量データ生成工程と、
を含むことを特徴とする、請求項１に記載の教師データ作成方法。
前記不良品画像が元画像として入力されると、前記元画像から抽出した特徴量の次元を削減して所定の第２の次元数の潜在変数とその確率分布を算出するエンコーダと、前記潜在変数と前記確率分布から前記元画像を再構成して再構成画像を出力するデコーダと、を備える変分オートエンコーダ（ＶＡＥ）において、前記元画像と前記再構成画像の間の再構成誤差を最小化するように前記エンコーダ及び前記デコーダの重み付けを学習する第１学習工程と、
前記不良品画像から前記第１の次元数の特徴量を抽出し、学習用正解データとして取得する正解データ取得工程と、
学習済みの前記変分オートエンコーダの前記潜在変数の前記確率分布から、前記不良品画像に対応する前記第２の次元数の特徴量ベクトルを取得する特徴量ベクトル取得工程と、
前記取得した前記第２の次元数の前記特徴量ベクトルが入力されると、前記第１の次元数の前記生成不良品特徴量データを生成して出力するように構成された多層パーセプトロン（ＭＬＰ）デコーダにおいて、前記生成不良品特徴量データと前記学習用正解データの間の損失を最小化するように前記多層パーセプトロンデコーダの重み付けを学習する第２学習工程と、
学習済みの前記変分オートエンコーダの前記潜在変数の前記確率分布からランダムサンプリングにより取得した多数の前記第２の次元数の特徴量ベクトルを学習済みの前記多層パーセプトロンデコーダに入力し、多数の生成不良品特徴量データを生成する不良品特徴量データ生成工程と、
を含むことを特徴とする、請求項１に記載の教師データ作成方法。
【請求項3】
欠陥のない製品又は部品の画像である良品画像と、欠陥を有する製品又は部品の画像である不良品画像と、を用いて学習を行う欠陥分類モデルにおいて、良品教師データと不良品教師データとを作成する教師データ作成装置であって、
多数の前記良品画像から、所定の第１の次元数の特徴量を抽出して得られた多数の良品特徴量データを前記良品教師データとして取得する良品教師データ取得部と、
前記良品画像の数よりも少ない数の前記不良品画像から、前記第１の次元数の特徴量を抽出して得られた不良品特徴量データを用いて学習した生成モデルを用い、前記第１の次元数の特徴量を生成して得られた多数の生成不良品特徴量データを前記不良品教師データとして取得する不良品教師データ取得部と、
を備えることを特徴とする、教師データ作成装置。
多数の前記良品画像から、所定の第１の次元数の特徴量を抽出して得られた多数の良品特徴量データを前記良品教師データとして取得する良品教師データ取得部と、
前記良品画像の数よりも少ない数の前記不良品画像から、前記第１の次元数の特徴量を抽出して得られた不良品特徴量データを用いて学習した生成モデルを用い、前記第１の次元数の特徴量を生成して得られた多数の生成不良品特徴量データを前記不良品教師データとして取得する不良品教師データ取得部と、
を備えることを特徴とする、教師データ作成装置。
【請求項4】
前記不良品教師データ取得部は、
前記不良品画像が元画像として入力されると、前記元画像から抽出した特徴量の次元を削減して所定の第２の次元数の潜在変数とその確率分布を算出するエンコーダと、前記潜在変数と前記確率分布から前記元画像を再構成して再構成画像を出力するデコーダと、を備える変分オートエンコーダ（ＶＡＥ）において、前記元画像と前記再構成画像の間の再構成誤差を最小化するように前記エンコーダ及び前記デコーダの重み付けを学習する第１学習部と、
前記不良品画像から前記第１の次元数の特徴量を抽出し、学習用正解データとして取得する正解データ取得部と、
学習済みの前記変分オートエンコーダの前記潜在変数の前記確率分布から、前記不良品画像に対応する前記第２の次元数の特徴量ベクトルを取得する特徴量ベクトル取得部と、
前記取得した前記第２の次元数の前記特徴量ベクトルが入力されると、前記第１の次元数の前記生成不良品特徴量データを生成して出力するように構成された多層パーセプトロン（ＭＬＰ）デコーダにおいて、前記生成不良品特徴量データと前記学習用正解データの間の損失を最小化するように前記多層パーセプトロンデコーダの重み付けを学習する第２学習部と、
学習済みの前記変分オートエンコーダの前記潜在変数の前記確率分布からランダムサンプリングにより取得した多数の前記第２の次元数の特徴量ベクトルを学習済みの前記多層パーセプトロンデコーダに入力し、多数の生成不良品特徴量データを生成する不良品特徴量データ生成部と、
を備えることを特徴とする、請求項３に記載の教師データ作成装置。
前記不良品画像が元画像として入力されると、前記元画像から抽出した特徴量の次元を削減して所定の第２の次元数の潜在変数とその確率分布を算出するエンコーダと、前記潜在変数と前記確率分布から前記元画像を再構成して再構成画像を出力するデコーダと、を備える変分オートエンコーダ（ＶＡＥ）において、前記元画像と前記再構成画像の間の再構成誤差を最小化するように前記エンコーダ及び前記デコーダの重み付けを学習する第１学習部と、
前記不良品画像から前記第１の次元数の特徴量を抽出し、学習用正解データとして取得する正解データ取得部と、
学習済みの前記変分オートエンコーダの前記潜在変数の前記確率分布から、前記不良品画像に対応する前記第２の次元数の特徴量ベクトルを取得する特徴量ベクトル取得部と、
前記取得した前記第２の次元数の前記特徴量ベクトルが入力されると、前記第１の次元数の前記生成不良品特徴量データを生成して出力するように構成された多層パーセプトロン（ＭＬＰ）デコーダにおいて、前記生成不良品特徴量データと前記学習用正解データの間の損失を最小化するように前記多層パーセプトロンデコーダの重み付けを学習する第２学習部と、
学習済みの前記変分オートエンコーダの前記潜在変数の前記確率分布からランダムサンプリングにより取得した多数の前記第２の次元数の特徴量ベクトルを学習済みの前記多層パーセプトロンデコーダに入力し、多数の生成不良品特徴量データを生成する不良品特徴量データ生成部と、
を備えることを特徴とする、請求項３に記載の教師データ作成装置。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【0012】
本発明の請求項２に係る発明は、請求項１に記載の教師データ作成方法において、不良品教師データ取得工程は、不良品画像が元画像として入力されると、元画像から抽出した特徴量の次元を削減して所定の第２の次元数（ｋ次元）の潜在変数とその確率分布を算出するエンコーダと、潜在変数と確率分布から元画像を再構成して再構成画像を出力するデコーダと、を備える変分オートエンコーダ（ＶＡＥ）において、元画像と再構成画像の間の再構成誤差を最小化するようにエンコーダ及びデコーダの重み付けを学習する第１学習工程（図４のステップ４０１、図５のステップ５０１～５０３）と、不良品画像から第１の次元数の特徴量を抽出し、学習用正解データとして取得する正解データ取得工程（図６のステップ６０１、図７）と、学習済みの変分オートエンコーダの潜在変数の確率分布から第２の次元数の特徴量ベクトルを取得する特徴量ベクトル取得工程（図６のステップ６０２）と、取得した第２の次元数の特徴量ベクトルが入力されると、第１の次元数の生成不良品特徴量データを生成して出力するように構成された多層パーセプトロン（ＭＬＰ）デコーダにおいて、生成不良品特徴量データと学習用正解データの間の損失を最小化するように多層パーセプトロンデコーダの重み付けを学習する第２学習工程（図４のステップ４０２、図６のステップ６０３～６０５、図８）と、学習済みの変分オートエンコーダの潜在変数の確率分布からランダムサンプリングにより取得した多数の第２の次元数の特徴量ベクトルを学習済みの多層パーセプトロンデコーダに入力し、多数の生成不良品特徴量データを生成する不良品特徴量データ生成工程（図４のステップ４０３、図９のステップ９０１～９０３）と、を含むことを特徴とする。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【0013】
この構成によれば、第１学習工程において、元の不良品画像から再構成画像を精度よく出力できるように変分オートエンコーダ（以下、ＶＡＥという。）を学習させる。また、正解データ取得工程において、不良品画像から所定次元数の特徴量を抽出し学習用正解データとして取得し、特徴量ベクトル取得工程において、学習済みＶＡＥの潜在変数の確率分布から、不良品画像に対応する特徴量ベクトルを取得する。その後、第２学習工程において、取得した特徴量ベクトルから生成した生成不良品特徴量データが、学習用正解データに近いものとなるように多層パーセプトロンデコーダ（以下、ＭＬＰデコーダという。）を学習させる。このようにして事前学習を終了させたＶＡＥとＭＬＰデコーダからなる生成モデルを用い、不良品特徴量データ生成工程において、学習済みのＶＡＥの潜在変数の確率分布から、ランダムサンプリングにより多数の特徴量ベクトルを取得し、それを学習済みのＭＬＰデコーダに入力することで、多数の生成不良品特徴量データを生成する。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】変更
【補正の内容】
【0018】
本発明の請求項４に係る発明は、請求項３に記載の教師データ作成装置において、不良品教師データ取得部１３は、不良品画像が元画像として入力されると、元画像から抽出した特徴量の次元を削減して所定の第２の次元数の潜在変数とその確率分布を算出するエンコーダと、潜在変数と確率分布から元画像を再構成して再構成画像を出力するデコーダと、を備える変分オートエンコーダ（ＶＡＥ）において、元画像と再構成画像の間の再構成誤差を最小化するようにエンコーダ及びデコーダの重み付けを学習する第１学習部（ＶＡＥ事前学習部１４）と、不良品画像から第１の次元数の特徴量を抽出し、学習用正解データとして取得する正解データ取得部１５と、学習済みの変分オートエンコーダの潜在変数の確率分布から、不良品画像に対応する第２の次元数の特徴量ベクトルを取得する特徴量ベクトル取得部１６と、取得した第２の次元数の特徴量ベクトルが入力されると、第１の次元数の生成不良品特徴量データを生成して出力するように構成された多層パーセプトロン（ＭＬＰ）デコーダにおいて、生成不良品特徴量データと学習用正解データの間の損失を最小化するように前記多層パーセプトロンデコーダの重み付けを学習する第２学習部（ＭＬＰ事前学習部１７）と、学習済みの変分オートエンコーダの潜在変数の確率分布からランダムサンプリングにより取得した多数の第２の次元数の特徴量ベクトルを学習済みの多層パーセプトロンデコーダに入力し、多数の生成不良品特徴量データを生成する不良品特徴量データ生成部１８と、を備えることを特徴とする。
【手続補正5】
【補正対象書類名】明細書
【補正対象項目名】００３３
【補正方法】変更
【補正の内容】
【0033】
正解データ取得部１５は、取得された不良品画像データの各々に対し、例えばＳＩＦＴ（Scale-Invariant Feature Transform）やＨＯＧ（Histograms of Oriented Gradients）、ＣＮＮ（Convolutional Neural Network）などの、画像から特徴量を抽出する公知のアルゴリズムを用い、ｐ次元の特徴量を抽出し、後述するＭＬＰ事前学習において用いられるｐ次元の学習用正解データ（学習用正解データ）として取得する（正解データ取得工程）。