特許 7320705 学習用データの評価方法、プログラム、学習用データの生成方法、学習済みモデルの生成方法、及び学習用データの評価システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-07-27

(45)【発行日】2023-08-04

(54)【発明の名称】学習用データの評価方法、プログラム、学習用データの生成方法、学習済みモデルの生成方法、及び学習用データの評価システム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230728BHJP

   G06V 10/774 20220101ALI20230728BHJP

   G06N 20/00 20190101ALI20230728BHJP

【ＦＩ】

G06T7/00 350B

G06V10/774

G06N20/00 130

【請求項の数】 22

(21)【出願番号】P 2021567367

(86)(22)【出願日】2020-12-17

(86)【国際出願番号】 JP2020047188

(87)【国際公開番号】W WO2021132024

(87)【国際公開日】2021-07-01

【審査請求日】2022-04-26

(31)【優先権主張番号】P 2019233422

(32)【優先日】2019-12-24

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】100106116

【弁理士】

【氏名又は名称】鎌田 健司

(74)【代理人】

【識別番号】100131495

【弁理士】

【氏名又は名称】前田 健児

(72)【発明者】

【氏名】佐藤 太一

(72)【発明者】

【氏名】本村 秀人

(72)【発明者】

【氏名】後藤 良介

【審査官】真木 健彦

(56)【参考文献】

【文献】国際公開第２０１９／０５３０５２（ＷＯ，Ａ１）

【文献】小林 賢一，農作物病害画像診断に向けたＤａｔａ Ａｕｇｍｅｎｔａｔｉｏｎの評価，一般社団法人 人工知能学会 第３２回全国大会論文集ＤＶＤ ［ＤＶＤ－ＲＯＭ］ ２０１８年度 人工知能学会全国大会（第３２回），日本，一般社団法人 人工知能学会，2018年06月08日，P.1-2

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｖ １０／７７４

Ｇ０６Ｎ ２０／００

Ｇ０６Ｎ ３／００ － ９９／００

(57)【特許請求の範囲】

【請求項1】

データ拡張処理により生成される学習用データを用いて機械学習された学習済みモデルの性能を評価する第１評価ステップと、
前記第１評価ステップでの評価と前記データ拡張処理のパラメータの取り得る範囲とに基づいて、前記パラメータを評価する第２評価ステップと、を有する、
学習用データの評価方法。

【請求項2】

前記第２評価ステップでの評価は、前記第１評価ステップでの性能の評価が高い程高く、
前記第２評価ステップでの評価は、前記パラメータの取り得る範囲が広い程高い、
請求項１記載の学習用データの評価方法。

【請求項3】

前記第２評価ステップでの評価に基づいて、前記パラメータを更新する更新ステップと、
前記更新ステップが実行される前に前記学習済みモデルを記憶する記憶ステップと、
前記更新ステップの実行後の前記学習済みモデルと、前記記憶ステップで記憶された前記学習済みモデルとを比較する比較ステップと、を更に有する、
請求項１又は２に記載の学習用データの評価方法。

【請求項4】

前記学習用データは、前記学習済みモデルの認識対象を含む画像データに対して、前記パラメータに基づく付加画像を追加することで生成される、
請求項１～３のいずれか１項に記載の学習用データの評価方法。

【請求項5】

前記第１評価ステップでの評価が目標に到達すると、前記第１評価ステップ及び前記第２評価ステップを停止する、
請求項１～４のいずれか１項に記載の学習用データの評価方法。

【請求項6】

前記第１評価ステップでの評価が一定値に収束すると、前記第１評価ステップ及び前記第２評価ステップを停止する、
請求項１～４のいずれか１項に記載の学習用データの評価方法。

【請求項7】

前記第１評価ステップは、前記学習済みモデルに入力される複数の評価用データの各々について、前記学習済みモデルの性能を評価する、
請求項１～６のいずれか１項に記載の学習用データの評価方法。

【請求項8】

前記第２評価ステップは、前記学習用データを用いて機械学習を行う過程で前記学習用データに対して実行される前処理に関する前処理パラメータに基づいて、前記パラメータを評価する、
請求項１～７のいずれか１項に記載の学習用データの評価方法。

【請求項9】

１以上のプロセッサに、
請求項１～８のいずれか１項に記載の学習用データの評価方法を実行させる、
プログラム。

【請求項10】

データ拡張処理により生成される学習用データを用いて機械学習された学習済みモデルの性能を評価する第１評価ステップと、
前記第１評価ステップでの評価と前記データ拡張処理のパラメータの取り得る範囲とに基づいて、前記パラメータを評価する第２評価ステップと、
前記第２評価ステップでの評価に基づいて、前記パラメータを更新する更新ステップと、
前記更新ステップで更新された前記パラメータに基づく前記データ拡張処理により、前記学習用データを生成するデータ生成ステップと、を有する、
学習用データの生成方法。

【請求項11】

データ拡張処理により生成される学習用データを用いて機械学習された学習済みモデルの性能を評価する第１評価ステップと、
前記第１評価ステップでの評価と前記データ拡張処理のパラメータの取り得る範囲とに基づいて、前記パラメータを評価する第２評価ステップと、
前記第２評価ステップでの評価に基づいて、前記パラメータを更新する更新ステップと、
前記更新ステップで更新された前記パラメータに基づく前記データ拡張処理により、前記学習用データを生成するデータ生成ステップと、
前記データ生成ステップで生成された前記学習用データを用いて機械学習することにより、前記学習済みモデルを生成するモデル生成ステップと、を有する、
学習済みモデルの生成方法。

【請求項12】

データ拡張処理により生成される学習用データを用いて機械学習された学習済みモデルの性能を評価する第１評価部と、
前記第１評価部での評価と前記データ拡張処理のパラメータの取り得る範囲とに基づいて、前記パラメータを評価する第２評価部と、を備える、
学習用データの評価システム。

【請求項13】

学習用データと評価用データの類似度を評価する第１評価ステップと、
前記第１評価ステップでの評価とデータ拡張処理のパラメータの取り得る範囲とに基づいて、前記パラメータを評価する第２評価ステップと、を有する、
学習用データの評価方法。

【請求項14】

前記類似度は、前記評価用データに含まれる要素に対して最も類似する学習用データの各々の類似度の累計である請求項１３に記載の学習用データの評価方法。

【請求項15】

データ拡張処理により生成される学習用データを用いて機械学習された学習済みモデルの性能を評価する第１評価ステップと、
前記第１評価ステップでの評価と前記学習用データのパラメータの多様度に基づいて、前記パラメータを評価する第２評価ステップと、を有する、
学習用データの評価方法。

【請求項16】

データ拡張処理により生成される学習用データを用いて学習された学習済みモデルの性能を評価し、
評価結果に基づいて前記学習用データの多様度を変化させることで前記学習用データを更新し、
更新された前記学習用データを用いて学習することにより、前記学習済みモデルを生成する、
学習済みモデルの生成方法。

【請求項17】

前記学習用データの多様度を変化させることは、前記データ拡張処理の度合いを変化させることである、
請求項１６に記載の学習済みモデルの生成方法。

【請求項18】

前記画像データに対してラベルを付与することで前記学習用データを生成し、
前記学習用データの多様度を変化させることは、前記ラベル毎の構成を変更することと、前記ラベル間で前記学習用データを入れ替えることと、いずれかの前記ラベルに含まれる前記学習用データを削除することとの少なくとも１つを含む、
請求項１７に記載の学習済みモデルの生成方法。

【請求項19】

前記データ拡張処理は、前記対象物の画像データに対して実行される平行移動、拡大・縮小、回転、反転、又はノイズの付与のうち少なくとも１つを含む処理である、
請求項１８に記載の学習済みモデルの生成方法。

【請求項20】

前記対象物の画像データと前記画像データに付与されるラベルとの組み合わせである評価用データを用いて前記評価を行う、
請求項１９に記載の学習済みモデルの生成方法。

【請求項21】

前記ラベルは、前記画像データに含まれる前記対象物が良品であるか不良品であるかの情報である、
請求項２０に記載の学習済みモデルの生成方法。

【請求項22】

前記評価結果に基づいて、前記データ拡張処理のパラメータの多様度を変化させる、
請求項２１に記載の学習済みモデルの生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、一般に学習用データの評価方法、プログラム、学習用データの生成方法、学習済みモデルの生成方法、及び学習用データの評価システムに関する。より詳細には、本開示は、モデルの機械学習に用いられる学習用データの評価方法、そのプログラム、学習用データの生成方法、学習済みモデルの生成方法、及び学習用データの評価システムに関する。

【背景技術】

【0002】

非特許文献１には、現代画像分類器の精度を改善するためのデータ拡張の手法が開示されている。

【先行技術文献】

【非特許文献】

【0003】

【文献】Ekin D. Cubuk et al., “AutoAugment: Learning Augmentation Strategies from Data”, arXiv:1805.09501v3[cs.CV], 11 Apr 2019

【発明の概要】

【0004】

本開示は、モデルの認識率の向上に寄与し得る学習用データを生成しやすい学習用データの評価方法、プログラム、学習用データの生成方法、学習済みモデルの生成方法、及び学習用データの評価システムを提供することを目的とする。

【0005】

本開示の一態様に係る学習用データの評価方法は、第１評価ステップと、第２評価ステップと、を有する。第１評価ステップは、データ拡張処理により生成される学習用データを用いて機械学習された学習済みモデルの性能を評価するステップである。第２評価ステップは、第１評価ステップでの評価とデータ拡張処理のパラメータの取り得る範囲とに基づいて、前記パラメータを評価するステップである。

【0006】

本開示の別の一態様に係るプログラムは、１以上のプロセッサに、上記の学習用データの評価方法を実行させる。

【0007】

本開示の別の一態様に係る学習用データの生成方法は、第１評価ステップと、第２評価ステップと、更新ステップと、データ生成ステップと、を有する。第１評価ステップは、データ拡張処理により生成される学習用データを用いて機械学習された学習済みモデルの性能を評価するステップである。第２評価ステップは、第１評価ステップでの評価とデータ拡張処理のパラメータの取り得る範囲とに基づいて、パラメータを評価するステップである。更新ステップは、第２評価ステップでの評価に基づいて、パラメータを更新するステップである。データ生成ステップは、更新ステップで更新されたパラメータに基づくデータ拡張処理により、学習用データを生成するステップである。

【0008】

本開示の別の一態様に係る学習済みモデルの生成方法は、第１評価ステップと、第２評価ステップと、更新ステップと、データ生成ステップと、モデル生成ステップと、を有する。第１評価ステップは、データ拡張処理により生成される学習用データを用いて機械学習された学習済みモデルの性能を評価するステップである。第２評価ステップは、第１評価ステップでの評価とデータ拡張処理のパラメータの取り得る範囲とに基づいて、パラメータを評価するステップである。更新ステップは、第２評価ステップでの評価に基づいて、パラメータを更新するステップである。データ生成ステップは、更新ステップで更新されたパラメータに基づくデータ拡張処理により、学習用データを生成するステップである。モデル生成ステップは、データ生成ステップで生成された学習用データを用いて機械学習することにより、学習済みモデルを生成するステップである。

【0009】

本開示の別の一態様に係る学習用データの評価システムは、第１評価部と、第２評価部と、を備える。第１評価部は、データ拡張処理により生成される学習用データを用いて機械学習された学習済みモデルの性能を評価する。第２評価部は、第１評価部での評価とデータ拡張処理のパラメータの取り得る範囲とに基づいて、パラメータを評価する。

【発明の効果】

【0010】

本開示は、モデルの認識率の向上に寄与し得る学習用データを生成しやすい、という利点がある。

【図面の簡単な説明】

【0011】

【図1】図１は、本開示の一実施形態に係る学習用データの評価システムを含むモデル生成システムを示すブロック図である。

【図2】図２は、同上のモデル生成システムにおいて、学習済みモデルの認識対象の一例の概要図である。

【図3A】図３Ａは、同上の認識対象の不良品の一例の説明図である。

【図3B】図３Ｂは、同上の認識対象の不良品の他の一例の説明図である。

【図3C】図３Ｃは、同上の認識対象の不良品の更に他の一例の説明図である。

【図4】図４は、同上のモデル生成システムにおいて、オリジナル学習用データに含まれる画像データの一例を示す概要図である。

【図5】図５は、同上のモデル生成システムにおいて、オリジナル学習用データに基づいて生成された学習用データに含まれる画像データの一例を示す概要図である。

【図6A】図６Ａは、同上のモデル生成システムにおいて、ビードの良品を撮像した画像データの一例を示す概要図である。

【図6B】図６Ｂは、図６Ａに示す画像データに付加画像を追加して生成された学習用データに含まれる画像データの一例を示す概要図である。

【図7】図７は、同上のモデル生成システムの動作を示すフローチャートである。

【発明を実施するための形態】

【0012】

（１）概要
本実施形態に係る学習用データの評価方法は、モデルを機械学習するために用いられる学習用データを評価するための方法である。本開示でいう「モデル」は、認識対象に関するデータが入力されると、認識対象がどのような状態にあるかを推定し、推定結果を出力するプログラムである。以下では、学習用データを用いた機械学習が完了したモデルを「学習済みモデル」という。また、本開示でいう「学習用データ」は、モデルに入力される入力情報（本実施形態では、画像データ）と、入力情報に付与されたラベルと、を組み合わせたデータセットであり、いわゆる教師データである。つまり、本実施形態では、学習済みモデルは、教師あり学習による機械学習が完了したモデルである。本実施形態では、学習用データの評価方法は、図１に示す学習用データの評価システム１０（以下、単に「評価システム１０」ともいう）により実現される。図１は、本開示の一実施形態に係る学習用データの評価システム１０を含むモデル生成システム１００を示すブロック図である。図２は、図１に示すモデル生成システム１００において、学習済みモデルの認識対象の一例の概要図である。

【0013】

本実施形態では、認識対象は、図２に示すように、２以上の部材（ここでは、第１板Ｂ１１及び第２板Ｂ１２）を溶接した際に溶接箇所に形成されるビードＢ１である。そして、学習済みモデルＭ１（図１参照）は、ビードＢ１を含む画像データが入力されると、ビードＢ１の状態を推定し、推定結果を出力する。具体的には、学習済みモデルＭ１は、推定結果として、ビードＢ１が良品であるか不良品であるか、不良品である場合は不良品の種類を出力する。つまり、学習済みモデルＭ１は、ビードＢ１が良品であるか否か、言い換えれば溶接が正しく行われたか否かを検査する溶接外観検査のために用いられる。

【0014】

ビードＢ１が良品であるか否かは、一例として、ビードＢ１の長さ、ビードＢ１の高さ、ビードＢ１の立ち上がりの角度、ビードＢ１ののど厚、ビードＢ１の余盛、及びビードＢ１の溶接箇所の位置ずれ（ビードＢ１の始端のずれを含む）が許容範囲に収まっているか否かにより判定される。例えば、上記に列挙した条件のうち１つでも許容範囲に収まっていなければ、ビードＢ１が不良品であると判定される。図３Ａ～図３Ｃは、認識対象であるビードＢ１の不良品の例の説明図である。図３Ａ～図３Ｃは、ビードＢ１を含む断面図である。ビードＢ１が良品であるか否かは、一例として、ビードＢ１のアンダーカットＢ２（図３Ａ参照）の有無、ビードＢ１のピットＢ３（図３Ｂ参照）の有無、ビードＢ１のスパッタＢ４（図３Ｃ参照）の有無、及びビードＢ１の突起の有無に基づいて判定される。例えば、上記に列挙した不良部分のうち１つでも発生した場合、ビードＢ１が不良品であると判定される。

【0015】

ここで、モデルの機械学習を行うためには、認識対象の不良品を含む多数の画像データを学習用データＤ１（図１参照）として用意する必要がある。しかしながら、認識対象の不良品が発生する頻度が少ない場合、認識率の高い学習済みモデルＭ１を生成するために必要な学習用データＤ１が不足しがちである。そこで、実際にビードＢ１を撮像装置により撮像することで得られる学習用データＤ１（以下、実際にビードＢ１を撮像装置により撮像することで得られる学習用データのことを「オリジナル学習用データ」ともいう）についてデータ拡張（Data Augmentation）処理を実行することにより、学習用データＤ１の数を増やしてモデルの機械学習を行うことが考えられる。ここでいう「データ拡張処理」は、学習用データＤ１に対して平行移動、拡大・縮小、回転、反転、又はノイズの付与等の処理を加えることで、学習用データを人為的に水増しする処理をいう。

【0016】

しかしながら、単にオリジナル学習用データとしての学習用データＤ１についてデータ拡張処理を行えばよいわけではなく、場合によっては新たに生成された学習用データＤ１を用いて機械学習を行うことで、学習済みモデルＭ１の認識率が低下する可能性もある。つまり、学習済みモデルＭ１の認識率の向上に寄与し得る、モデルの機械学習に適切な学習用データＤ１を生成できるようなデータ拡張を行うのが望ましい。

【0017】

そこで、本実施形態では、学習用データＤ１の評価方法により学習用データＤ１を評価することにより、モデルの機械学習に適切な学習用データＤ１をデータ拡張処理にて生成しやすくしている。図７は、モデル生成システム１００の動作を示すフローチャートである。本実施形態の学習用データＤ１の評価方法は、第１評価ステップＳＴ１（図７参照）と、第２評価ステップＳＴ２（図７参照）と、を有している。

【0018】

第１評価ステップＳＴ１は、データ拡張処理により生成される学習用データＤ１を用いて機械学習された学習済みモデルＭ１の性能を評価するステップである。本開示でいう「データ拡張処理」は、オリジナル学習用データに対して実行される処理の他、オリジナル学習用データを用いずに、データ拡張処理のパラメータに基づいて新たに学習用データＤ１を生成する処理を含み得る。例えば、データ拡張処理は、ＣＧ（Computer Graphics）技術により、オリジナル学習用データとしての学習用データＤ１を用いずに良品のビードＢ１を含む画像データ、又は不良品のビードＢ１を含む画像データを生成する処理を含んでいてもよい。

【0019】

第２評価ステップＳＴ２は、第１評価ステップＳＴ１での評価とデータ拡張処理のパラメータの取り得る範囲とに基づいて、（データ拡張処理の）パラメータを評価するステップである。本開示でいう「データ拡張処理のパラメータ」は、処理対象のデータの一部又は全部に対して実行される平行移動、拡大・縮小、回転、反転、又はノイズの付与等のデータ拡張処理の度合いをいう。例えば、表面に突起を有する不良品のビードＢ１の画像データを処理対象のデータとした場合、データ拡張処理のパラメータは、突起を移動させる移動量、突起の寸法、突起の回転量等を含み得る。

【0020】

ここで、データ拡張処理のパラメータは、処理の種類ごとに変更可能な範囲が設定されている。例えば、パラメータが突起を移動させる移動量の場合、移動量は、０～数十ｍｍの範囲で変更可能である。なお、データ拡張処理のパラメータは、１値すなわち所定の１つの値であってもよい。また、データ拡張処理のパラメータは、所定の処理における上限値と下限値との間で決定される。データ拡張を行う際、当該パラメータは、上限値、下限値の範囲内でランダムに値を決定されてもよい。また、データ拡張処理のパラメータは、データ拡張を行う際に移動量等の値がとる平均、分散などの統計値であってもよい。

【0021】

上述のように、本実施形態では、学習済みモデルＭ１の性能を評価し、その評価に基づいてデータ拡張処理のパラメータを評価する。このため、本実施形態では、データ拡張処理により生成された学習用データＤ１が、学習済みモデルＭ１の生成にあたって適切なデータであったか否かを間接的に評価することが可能である。その結果、本実施形態では、データ拡張処理のパラメータの評価に基づいて次回以降のデータ拡張処理のパラメータを更新する等して、モデルの認識率の向上に寄与し得る学習用データＤ１を生成しやすい、という利点がある。

【0022】

（２）詳細
以下、本実施形態の学習用データの評価方法を実現するための評価システム１０、及び評価システム１０を用いて学習済みモデルＭ１を生成するモデル生成システム１００について図１を参照して詳しく説明する。モデル生成システム１００は、図１に示すように、評価システム１０と、更新部３と、データ生成部４と、モデル生成部５と、記憶部６と、を備えている。また、評価システム１０は、第１評価部１と、第２評価部２と、を備えている。

【0023】

本実施形態では、モデル生成システム１００（評価システム１０を含む）は、記憶部６を除いて、１以上のプロセッサ及びメモリを有するコンピュータシステムを主構成とする。そのため、１以上のプロセッサがメモリに記録されているプログラムを実行することにより、第１評価部１、第２評価部２、更新部３、データ生成部４、及びモデル生成部５として機能する。プログラムはメモリに予め記録されていてもよいし、インターネット等の電気通信回線を通して提供されてもよく、メモリカード等の非一時的記録媒体に記録されて提供されてもよい。

【0024】

データ生成部４は、更新部３で更新されたパラメータに基づくデータ拡張処理により、学習用データＤ１を生成する。本開示でいう「学習用データの生成」は、既存の学習用データＤ１とは別に新しい学習用データＤ１を生成することの他に、既存の学習用データＤ１を更新することにより新しい学習用データＤ１を生成することを含み得る。また、データ生成部４は、更新部３によりパラメータを更新する前の初期時においては、あらかじめ設定された初期パラメータに基づくデータ拡張処理により、学習用データＤ１を生成する。

【0025】

本実施形態では、データ拡張処理のパラメータは、複数種類存在する。そして、複数種類のパラメータは、それぞれ変更可能な範囲が設定されている。ここで、一例として、データ生成部４が任意のオリジナル学習用データにデータ拡張処理を実行する、と仮定する。この場合、データ生成部４は、複数種類のパラメータのうち１以上のパラメータについて、変更可能な範囲内で処理量を変更させながら、このオリジナル学習用データに対してデータ拡張処理を順次実行する。これにより、データ生成部４は、１つのオリジナル学習用データを基にして、多数の学習用データＤ１を生成することが可能である。

【0026】

図４は、モデル生成システム１００において、オリジナル学習用データに含まれる画像データの一例を示す概要図である。図５は、モデル生成システム１００において、オリジナル学習用データに基づいて生成された学習用データに含まれる画像データの一例を示す概要図である。一例として、図４に示すような画像データを含むオリジナル学習用データが存在する、と仮定する。この画像データは、ビードＢ１の表面から突起Ｃ１が突出している、不良品のビードＢ１のデータである。したがって、このオリジナル学習用データのラベルは、「不良品：突起有り」である。データ生成部４は、この画像データに対して、例えば突起Ｃ１を平行移動させるデータ拡張処理を実行することで、図５に示すような画像データを生成することが可能である。図５に示す例では、データ拡張処理の実行前の突起Ｃ１を二点鎖線で表している。また、図５に示す例では、データ拡張処理の実行後の突起を「Ｃ２」で表している。

【0027】

そして、データ生成部４は、この画像データに対して、オリジナル学習用データと同じラベルである「不良品：突起有り」を付与することで、学習用データＤ１を生成する。ここで、データ生成部４は、突起Ｃ１を平行移動させる移動量を変更可能な範囲内で段階的に変更することで、突起Ｃ１の位置が互いに異なる多数の学習用データＤ１を生成する。

【0028】

本実施形態では、データ生成部４は、良品のビードＢ１の画像データを含むオリジナル学習用データに対して、不良品の特徴を表す画像（例えば、ビードＢ１の突起等の画像）を付加することで、不良品のビードＢ１の画像データを含む学習用データＤ１を生成している。つまり、学習用データＤ１は、学習済みモデルＭ１の認識対象（ここでは、ビードＢ１）を含む画像データに対して、（データ拡張処理の）パラメータに基づく付加画像Ｄ１１を追加することで生成される。

【0029】

図６Ａは、モデル生成システム１００において、ビードＢ１の良品を撮像した画像データの一例を示す概要図である。図６Ｂは、図６Ａに示す画像データに付加画像を追加して生成された学習用データに含まれる画像データの一例を示す概要図である。一例として、図６Ａに示すような画像データを含むオリジナル学習用データが存在する、と仮定する。この画像データは、良品のビードＢ１のデータである。したがって、このオリジナル学習用データのラベルは、「良品」である。データ生成部４は、この画像データに対して、例えば付加画像Ｄ１１として、ビードＢ１の表面から突出する突起Ｅ１を追加するデータ拡張処理を実行することで、図６Ｂに示すような画像データを生成することが可能である。そして、データ生成部４は、この画像データに対して、オリジナル学習用データと異なるラベルである「突起（不良品）」を付与することで、学習用データＤ１を生成する。なお、不良の位置と種別を認識するセマンティックセグメンテーションを学習の対象とする場合には、学習用データＤ１に対するラベルは、Ｅ１（Ｄ１１）の範囲と、不良種別「突起」の位置とする。

【0030】

モデル生成部５は、データ生成部４で生成された学習用データＤ１を用いて機械学習することにより、学習済みモデルＭ１を生成する。本開示でいう「学習済みモデルの生成」は、既存の学習済みモデルＭ１とは別に新しい学習済みモデルＭ１を生成することの他に、既存の学習済みモデルＭ１を更新することにより新しい学習済みモデルＭ１を生成することを含み得る。本実施形態では、モデル生成部５は、前者の方式にて学習済みモデルＭ１を生成している。

【0031】

モデル生成部５は、例えばＳＶＭ（Support Vector Machine）等の線形モデルの他、ニューラルネットワークを用いたモデル、又は多層ニューラルネットワークを用いた深層学習（ディープラーニング）によるモデル等を学習済みモデルＭ１として生成する。本実施形態では、モデル生成部５は、ニューラルネットワークを用いたモデルを、学習済みモデルＭ１として生成する。ニューラルネットワークは、例えばＣＮＮ（Convolutional Neural Network：畳み込みニューラルネットワーク）、又はＢＮＮ（Bayesian Neural Network：ベイズニューラルネットワーク）等を含み得る。

【0032】

記憶部６は、１以上の記憶装置を有している。記憶装置は、例えば、ＲＡＭ（Random Access Memory）、又はＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）等である。記憶部６は、後述するＱテーブルを記憶する。

【0033】

第１評価部１は、データ拡張処理により生成される学習用データＤ１を用いて機械学習された学習済みモデルＭ１の性能を評価する。つまり、第１評価部１は、第１評価ステップＳＴ１の実行主体である。第１評価部１は、評価用データＤ２を学習済みモデルＭ１に入力することで得られる、学習済みモデルＭ１の出力に基づいて、学習済みモデルＭ１の性能を評価する。

【0034】

評価用データＤ２は、学習済みモデルＭ１に入力される入力情報（本実施形態では、画像データ）と、入力情報に付与されたラベルと、を組み合わせたデータセットである。本実施形態では、評価用データＤ２は、例えばオリジナル学習用データ等、実際にビードＢ１を撮像することで得られる画像データと、この画像データに付与されるラベルと、の組み合わせである。ラベルは、一例として、画像データに含まれるビードＢ１が良品であるか不良品であるかの情報である。また、ラベルは、一例として、画像データに含まれるビードＢ１が不良品である場合は、どのような種類の不良（アンダーカットＢ２、ピットＢ３、又はスパッタＢ４を有する等）であるかの情報である。

【0035】

本実施形態では、第１評価部１は、複数の評価用データＤ２を学習済みモデルＭ１に順次入力し、学習済みモデルＭ１の推定結果と、入力した評価用データＤ２のラベルとが一致するか否かを判定する。そして、第１評価部１は、複数の評価用データＤ２に対する学習済みモデルＭ１の認識率（つまり、（正解数）／（全ての評価用データの数）×１００）を、学習済みモデルＭ１の性能の評価として出力する。

【0036】

第一評価値は、学習用データＤ１の中に、評価用データＤ２に類似するデータがあれば、認識対象に対する推定時の認識率が高くなる。そこで、第１評価を複数の評価用データＤ２に対する学習済みモデルＭ１の認識率とする代わりに、学習用データＤ１と評価用データＤ２との類似度を第一評価とする構成であっても良い。学習用データＤ１と評価用データＤ２との類似度は、学習用データＤ１の中に評価用データＤ２に類似するデータがあれば、認識対象に対する推定時の認識率が高くなる値である。すなわち、第１評価は評価用データＤ２を構成する各要素と学習データＤ１の類似度が高い程、高い値である。また、ここでの、評価用データＤ２を構成する要素と学習データＤ１の類似度とは、例えば、学習データＤ１に含まれるデータのうち、評価用データＤ２と最も類似するデータと、評価用データＤ２との類似度である。評価用データＤ２は複数のデータからなり、各要素とは評価用データＤ２を構成する１つのデータである。

【0037】

具体例を説明する。学習用データＤ１はＮ＋１個の画像データからなるとする。Ｎ＋１個の画像データを、それぞれ画像Ｄ１＿０、、、画像Ｄ１＿Ｎとする。同様に評価用データＤ２はＭ＋１個の画像データからなるとする。Ｍ＋１個の画像データを、それぞれ画像Ｄ２＿０、、、画像Ｄ２＿Ｍとする。学習用データＤ１の中で、画像Ｄ２＿０と最も類似する画像を画像Ｘとしたとき、第１評価は、画像Ｄ２＿０と画像Ｘの類似度をＨ＿０として計算する。同様に、第１評価部１は、Ｈ＿１、、、Ｈ＿Ｍを算出し、Ｈ＿０＋、、、＋Ｈ＿Ｍを第一評価とする。ここで、類似度の算出はＭＳＥ（Mean Squared Error）、ＳＳＩＭ（structural similarity）などを用いる。

【0038】

または、第１評価は、大量の一般物体画像で学習をおこなって作成したディープラーニングによって構築させる画像特徴量のベクトルの距離による評価であってもよい。このような構成を用いれば、学習用データＤ１を用いて毎回学習を行うよりも短い時間で第１評価を得る事ができる。

【0039】

上記は、学習用データＤ１と評価用データの類似度を評価する方法の一例である。他の類似度の評価方法であってもよい。

【0040】

第２評価部２は、第１評価部１での評価とデータ拡張処理のパラメータの取り得る範囲とに基づいて、（データ拡張処理の）パラメータを評価する。本実施形態では、第２評価部２は、強化学習の一種であるＱ学習を用いて、データ拡張処理のパラメータを評価する。第２評価部２は、第１評価部１での評価（つまり、学習済みモデルＭ１の認識率）を「状態」、データ拡張処理のパラメータを変更することを「行動」として、行動の選択による現在の状態から次状態への遷移に対して「報酬」を与える。例えば、第２評価部２は、データ拡張処理のパラメータの変更後の機械学習により、学習済みモデルＭ１の認識率が向上した場合に“＋α”（“α”は自然数）の報酬を与え、学習済みモデルＭ１の認識率が低下した場合に“－β”（“β”は自然数）の報酬を与える。

【0041】

本実施形態では、第２評価部２は、記憶部６に記憶されている以下の表１に示すＱテーブルの各セル（フィールド）の状態行動価値（Ｑ値）を更新することにより、データ拡張処理のパラメータを評価する。表１に示す例では、Ｑテーブルの全てのセルのＱ値は、初期値（零）である。

【0042】

【表1】

【0043】

表１に示す例では、“ｘ１”～“ｘ５”は、それぞれ状態を表している。具体的には、“ｘ１”は学習済みモデルＭ１の認識率が２５％未満である状態、“ｘ２”は学習済みモデルＭ１の認識率が２５％以上５０％未満である状態、“ｘ３”は学習済みモデルＭ１の認識率が５０％以上７５％未満である状態を表している。また、“ｘ４”は学習済みモデルＭ１の認識率が７５％以上９５％未満である状態、“ｘ５”は学習済みモデルＭ１の認識率が９５％以上である状態を表している。

【0044】

表１に示す例では、“ｙ１１＋”、“ｙ１１－”、“ｙ１２＋”、“ｙ１２－”、“ｙ２１＋”、“ｙ２１－”、“ｙ２２＋”，“ｙ２２－”は、それぞれ行動を表している。具体的には、“ｙ１１＋”は第１パラメータの上限値を上げる行動、“ｙ１１－”は第１パラメータの上限値を下げる行動、“ｙ１２＋”は第１パラメータの下限値を上げる行動、“ｙ１２－”は第１パラメータの下限値を下げる行動を表している。ここでは、第１パラメータは、ビードＢ１の表面から突出する突起Ｃ１の径寸法の変更可能な範囲である。また、“ｙ２１＋”は第２パラメータの上限値を上げる行動、“ｙ２１－”は第２パラメータの上限値を下げる行動、“ｙ２２＋”は第２パラメータの下限値を上げる行動、“ｙ２２－”は第２パラメータの下限値を下げる行動を表している。ここでは、第２パラメータは、突起Ｃ１を平行移動させる場合の移動量の変更可能な範囲である。

【0045】

例えば、状態“ｘ３”において行動“ｙ１２－”が選択されることで、状態“ｘ４”に遷移した、と仮定する。この場合、第２評価部２は、学習済みモデルＭ１の認識率が向上しているので、状態“ｘ３”から状態“ｘ４”への遷移に対して、“＋α”の報酬を与える。そして、第２評価部２は、状態“ｘ３”の行と、行動“ｙ１２－”の列とが交差するセルにおけるＱ値を、上記の報酬等を参照して更新する。

【0046】

更新部３は、第２評価部２での評価に基づいて、データ拡張処理のパラメータを更新する。言い換えれば、更新部３は、第２評価部２（第２評価ステップＳＴ２）での評価に基づいて、パラメータを更新する更新ステップＳＴ３の実行主体である。つまり、本実施形態の学習用データＤ１の評価方法は、更新ステップＳＴ３を更に有している。本実施形態では、更新部３は、Ｑテーブルにて所定のアルゴリズムに従って行動を選択することにより、データ拡張処理のパラメータを更新する。更新部３は、Ｑテーブルの初期状態においては、複数の行動のうちから任意の行動をランダムで選択する。その後、更新部３は、一例としてε－ｇｒｅｅｄｙ法に従って、複数の行動のうちから一の行動を選択する。つまり、更新部３は、行動を選択する際に０～１の間の乱数を生成し、生成した乱数が“ε”以下であればランダムに行動を選択し、生成した乱数が“ε”よりも大きければＱ値の大きい行動を選択する。これにより、Ｑ値の初期値に依存することなく、種々の行動に対する適切なＱ値の学習が進みやすい、という利点がある。

【0047】

（３）動作
以下、本実施形態のモデル生成システム１００（評価システム１０を含む）の動作の一例について、図７を用いて説明する。前提として、データ生成部４がオリジナル学習用データに基づいてデータ拡張処理を実行することにより、モデルを機械学習するのに十分な数の学習用データＤ１を用意している、と仮定する。そして、モデル生成部５が、用意された学習用データＤ１を用いて、あらかじめ学習済みモデルＭ１を生成している、と仮定する。また、第２評価部２で参照するＱテーブルにおいて、初期状態は“ｘ１”であると仮定する。

【0048】

まず、第１評価部１が、学習済みモデルＭ１の性能を評価する（Ｓ１）。処理Ｓ１は、第１評価ステップＳＴ１に相当する。具体的には、第１評価部１は、複数の評価用データＤ２を学習済みモデルＭ１に入力することにより、複数の評価用データＤ２に対する学習済みモデルＭ１の認識率を求める。

【0049】

ここで、学習済みモデルＭ１の認識率が目標（ここでは、１００％）に達していなければ（Ｓ２：Ｎｏ）、第２評価部２は、第１評価部１での学習済みモデルＭ１の性能の評価に基づいて、データ拡張処理のパラメータを評価する（Ｓ３）。処理Ｓ３は、第２評価ステップＳＴ２に相当する。具体的には、第２評価部２は、記憶部６に記憶されているＱテーブルにおいて、対応するセルのＱ値を更新する。

【0050】

一方、学習済みモデルＭ１の認識率が目標に達していれば（Ｓ２：Ｙｅｓ）、モデル生成システム１００（つまり、評価システム１０）は、その動作を停止する。言い換えれば、モデルの機械学習が完了する。つまり、評価システム１０は、第１評価部１での評価が目標（ここでは、全ての評価用データに対して正解すること）に到達すると、動作を停止する、言い換えれば第１評価部１及び第２評価部２を停止する。このように、本実施形態の学習用データＤ１の評価方法では、第１評価ステップＳＴ１での評価が目標に到達すると、第１評価ステップＳＴ１及び第２評価ステップＳＴ２を停止する。

【0051】

処理Ｓ３を経た場合、更新部３が、第２評価部２でのデータ拡張処理のパラメータの評価に基づいて、（データ拡張処理の）パラメータを更新する（Ｓ４）。処理Ｓ４は、更新ステップＳＴ３に相当する。具体的には、更新部３は、Ｑテーブルにて所定のアルゴリズムに従って行動を選択することにより、パラメータを更新する。

【0052】

そして、データ生成部４が、更新部３で更新されたパラメータに基づくデータ拡張処理により、学習用データＤ１を生成する（Ｓ５）。処理Ｓ５は、後述するデータ生成ステップＳＴ４に相当する。その後、モデル生成部５が、データ生成部４で生成された学習用データＤ１を用いて機械学習することにより、学習済みモデルＭ１を生成する（Ｓ６）。処理Ｓ６は、後述するモデル生成ステップＳＴ５に相当する。

【0053】

以下、処理Ｓ２にて学習済みモデルＭ１の認識率が目標に達するまで、処理Ｓ１～Ｓ６を繰り返す。

【0054】

（４）利点
上述のように、本実施形態では、学習済みモデルＭ１を評価し、その評価に基づいてデータ拡張処理のパラメータを評価する。このため、本実施形態では、データ拡張処理により生成された学習用データＤ１が、学習済みモデルＭ１の生成にあたって適切なデータであったか否かを間接的に評価することが可能である。その結果、本実施形態では、データ拡張処理のパラメータの評価に基づいて次回以降のデータ拡張処理のパラメータを更新する等して、モデルの認識率の向上に寄与し得る学習用データＤ１を生成しやすい、という利点がある。

【0055】

つまり、本実施形態では、コンピュータシステムにより試行錯誤を繰り返すことで、データ拡張処理の最適なパラメータを探索することが可能である。そして、本実施形態では、探索により得られたパラメータに基づいて、学習済みモデルの認識率の向上に寄与し得る学習用データＤ１を生成しやすくなる。その結果、本実施形態では、生成した学習用データＤ１を用いてモデルの機械学習を実行することで、所望の認識率を有する学習済みモデルＭ１を生成しやすくなる。

【0056】

（５）変形例
上述の実施形態は、本開示の様々な実施形態の一つに過ぎない。上述の実施形態は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。また、上述の実施形態に係る学習用データＤ１の評価システム１０と同様の機能は、学習用データＤ１の評価方法の他に、コンピュータプログラム、又はコンピュータプログラムを記録した非一時的記録媒体等で具現化されてもよい。一態様に係る（コンピュータ）プログラムは、１以上のプロセッサに、上記の学習用データＤ１の評価方法を実行させる。

【0057】

また、上述の実施形態に係るモデル生成システム１００と同様の機能は、学習済みモデルＭ１の生成方法、コンピュータプログラム、又はコンピュータプログラムを記録した非一時的記録媒体等で具現化されてもよい。さらに、上述の実施形態に係るモデル生成システム１００のうち学習用データＤ１を生成する構成と同様の機能は、学習用データＤ１の生成方法、コンピュータプログラム、又はコンピュータプログラムを記録した非一時的記録媒体等で具現化されてもよい。

【0058】

一態様に係る学習用データＤ１の生成方法は、第１評価ステップＳＴ１と、第２評価ステップＳＴ２と、更新ステップＳＴ３と、データ生成ステップＳＴ４と、を有する。第１評価ステップＳＴ１は、データ拡張処理により生成される学習用データＤ１を用いて機械学習された学習済みモデルＭ１の性能を評価するステップである。第２評価ステップＳＴ２は、第１評価ステップＳＴ１での評価とデータ拡張処理のパラメータの取り得る範囲とに基づいて、パラメータを評価するステップである。更新ステップＳＴ３は、第２評価ステップＳＴ２での評価に基づいて、パラメータを更新するステップである。データ生成ステップＳＴ４は、更新ステップＳＴ３で更新されたパラメータに基づくデータ拡張処理により、学習用データＤ１を生成するステップである。上述の実施形態では、データ生成ステップＳＴ４の実行主体は、データ生成部４である。

【0059】

一態様に係る学習済みモデルＭ１の生成方法は、第１評価ステップＳＴ１と、第２評価ステップＳＴ２と、更新ステップＳＴ３と、データ生成ステップＳＴ４と、モデル生成ステップＳＴ５と、を有する。第１評価ステップＳＴ１は、データ拡張処理により生成される学習用データＤ１を用いて機械学習された学習済みモデルＭ１の性能を評価するステップである。第２評価ステップＳＴ２は、第１評価ステップＳＴ１での評価とデータ拡張処理のパラメータの取り得る範囲とに基づいて、パラメータを評価するステップである。更新ステップＳＴ３は、第２評価ステップＳＴ２での評価に基づいて、パラメータを更新するステップである。データ生成ステップＳＴ４は、更新ステップＳＴ３で更新されたパラメータに基づくデータ拡張処理により、学習用データＤ１を生成するステップである。モデル生成ステップＳＴ５は、データ生成ステップＳＴ４で生成された学習用データＤ１を用いて機械学習することにより、学習済みモデルＭ１を生成するステップである。上述の実施形態では、モデル生成ステップＳＴ５の実行主体は、モデル生成部５である。

【0060】

以下、上述の実施形態の変形例を列挙する。以下に説明する変形例は、適宜組み合わせて適用可能である。

【0061】

本開示におけるモデル生成システム１００は、例えば、第１評価部１、第２評価部２、更新部３、データ生成部４、及びモデル生成部５等に、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしてのプロセッサ及びメモリを主構成とする。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、本開示におけるモデル生成システム１００としての機能が実現される。プログラムは、コンピュータシステムのメモリに予め記録されてもよく、電気通信回線を通じて提供されてもよく、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的記録媒体に記録されて提供されてもよい。コンピュータシステムのプロセッサは、半導体集積回路（ＩＣ）又は大規模集積回路（ＬＳＩ）を含む１または複数の電子回路で構成される。ここでいうＩＣ又はＬＳＩ等の集積回路は、集積の度合いによって呼び方が異なっており、システムＬＳＩ、ＶＬＳＩ（Very Large Scale Integration）、又はＵＬＳＩ（Ultra Large Scale Integration）と呼ばれる集積回路を含む。さらに、ＬＳＩの製造後にプログラムされる、ＦＰＧＡ（Field-Programmable Gate Array）、又はＬＳＩ内部の接合関係の再構成若しくはＬＳＩ内部の回路区画の再構成が可能な論理デバイスについても、プロセッサとして採用することができる。複数の電子回路は、１つのチップに集約されていてもよいし、複数のチップに分散して設けられていてもよい。複数のチップは、１つの装置に集約されていてもよいし、複数の装置に分散して設けられていてもよい。ここでいうコンピュータシステムは、１以上のプロセッサ及び１以上のメモリを有するマイクロコントローラを含む。したがって、マイクロコントローラについても、半導体集積回路又は大規模集積回路を含む１または複数の電子回路で構成される。

【0062】

また、モデル生成システム１００における複数の機能が、１つの筐体内に集約されていることはモデル生成システム１００に必須の構成ではなく、モデル生成システム１００の構成要素は、複数の筐体に分散して設けられていてもよい。さらに、モデル生成システム１００の少なくとも一部の機能がクラウド（クラウドコンピューティング）等によって実現されてもよい。

【0063】

上述の実施形態において、評価システム１０は、第１評価部１での評価が目標に到達しなくても、一定値に収束すると、動作を停止するように構成されていてもよい、言い換えれば第１評価部１及び第２評価部２を停止するように構成されていてもよい。言い換えれば、本実施形態の学習用データＤ１の評価方法では、第１評価ステップＳＴ１での評価が一定値に収束すると、第１評価ステップＳＴ１及び第２評価ステップＳＴ２を停止してもよい。

【0064】

上述の実施形態において、第１評価部１は、学習済みモデルＭ１に全ての評価用データＤ２を入力した場合の認識率を学習済みモデルＭ１の性能として評価しているが、これに限らない。例えば、第１評価部１は、学習済みモデルＭ１に入力される複数の評価用データＤ２の各々について、学習済みモデルＭ１の性能を評価してもよい。言い換えれば、本実施形態の学習用データＤ１の評価方法では、第１評価ステップＳＴ１は、学習済みモデルＭ１に入力される複数の評価用データＤ２の各々について、学習済みモデルＭ１の性能を評価してもよい。

【0065】

この態様では、第２評価部２は、記憶部６に記憶されている以下の表２に示すＱテーブルの各セル（フィールド）の状態行動価値（Ｑ値）を更新することにより、データ拡張処理のパラメータを評価する。表２に示す例では、Ｑテーブルの全てのセルのＱ値は、初期値（零）である。ここでは、説明を簡単にするために、複数の評価用データＤ２が第１評価用データ及び第２評価用データの２つのみである、と仮定する。

【0066】

【表2】

【0067】

表２に示す例では、“ｘ１０，ｘ２０”、“ｘ１０，ｘ２１”“ｘ１１，ｘ２０”、“ｘ１１，ｘ２１”は、それぞれ状態を表している。“ｘ１０”は第１評価用データに対する学習済みモデルＭ１の認識が正しいこと、“ｘ１１”は第１評価用データに対する学習済みモデルＭ１の認識が誤っていることを表している。また、“ｘ２０”は第２評価用データに対する学習済みモデルＭ１の認識が正しいこと、“ｘ２１”は第２評価用データに対する学習済みモデルＭ１の認識が誤っていることを表している。つまり、この態様では、Ｑテーブルにおける状態の数は、複数の評価用データＤ２の数を“ｎ（ｎは自然数）”とすると、“２^ｎ”となる。

【0068】

この態様では、複数の評価用データＤ２の各々について学習済みモデルＭ１の性能を評価することから、上述の実施形態と比較して、モデルの認識率の向上に寄与し得る学習用データＤ１を更に生成しやすくなる、という利点がある。

【0069】

上述の実施形態において、第２評価部２は、前処理に関する前処理パラメータに基づいて、データ拡張処理のパラメータを評価してもよい。前処理は、学習用データＤ１を用いて機械学習を行う過程で学習用データＤ１（ここでは、画像データ）に対して実行される処理である。一例として、前処理には、ホワイトノイズを除去する等のスムージング処理が含まれる。言い換えれば、本実施形態の学習用データＤ１の評価方法では、第２評価ステップＳＴ２は、前処理パラメータに基づいて、（データ拡張処理の）パラメータを評価してもよい。

【0070】

例えば、画像データにホワイトノイズを加えるという処理がデータ拡張処理に含まれている場合、前処理にてホワイトノイズを除去すると、データ拡張処理が無効化される可能性がある。このような場合に、上記のように前処理パラメータに基づいてデータ拡張処理のパラメータを評価すれば、データ拡張処理においてホワイトノイズを加えるという行動が選択されなくなり、データ拡張処理の無効化を回避しやすい、という利点がある。

【0071】

上述の実施形態において、表１に示すＱテーブルの例では、状態数が５つ（“ｘ１”～“ｘ５”）であるが、５つ未満であってもよいし、更に多数であってもよい。また、表１に示す例では、データ拡張処理のパラメータの種類の数が２つ（第１パラメータ及び第２パラメータ）であるが、１つであってもよいし、更に多数であってもよい。

【0072】

上述の実施形態では、第２評価部２は、Ｑテーブルの各セルのＱ値を更新することにより、データ拡張処理のパラメータを評価しているが、これに限らない。例えば、第２評価部２は、Ｑテーブルの代わりに、状態価値関数又は状態行動価値関数を更新することにより、データ拡張処理のパラメータを評価してもよい。ここで、状態価値関数は、ある状態にいることの価値を定義する関数である。また、状態行動価値関数は、ある状態において、ある行動を選択することの価値を定義する関数である。また、例えば、第２評価部２は、Ｑテーブルの代わりに、ＤＱＮ（Deep Q Network）を用いることにより、データ拡張処理のパラメータを評価してもよい。これらの態様は、状態の種類と行動の種類との組み合わせの数が膨大である場合に有効である。

【0073】

上述の実施形態において、第１評価部１は、認識率の代わりに、損失により学習済みモデルＭ１の性能を評価してもよい。本開示でいう「損失」は、学習済みモデルＭ１に評価用データＤ２を入力した場合における、評価用データＤ２のラベルと、学習済みモデルＭ１の推定結果とのずれの度合いをいう。例えば、スパッタＢ４を有するビードＢ１の画像データを含む評価用データＤ２を学習済みモデルＭ１に入力した場合に、８０％の確率でビードＢ１がスパッタＢ４を有する、という推定結果を学習済みモデルＭ１が出力された、と仮定する。この場合、第１評価部１は、この評価用データＤ２に対する学習済みモデルＭ１の損失は、２０％（＝１００％－８０％）であると評価する。この態様では、更新部３は、学習済みモデルＭ１の損失が最小化するように、データ拡張処理のパラメータを更新すればよい。

【0074】

上述の実施形態では、モデル生成システム１００は、更新部３にてデータ拡張処理のパラメータを更新するごとに、更新前の学習済みモデルＭ１を破棄して新たに学習済みモデルＭ１を生成している。しかしながら、この態様では、機械学習を完了するまでに要する時間が長くなりがちである。

【0075】

そこで、モデル生成システム１００は、更新部３にてデータ拡張処理のパラメータを更新するごとに、更新前の学習済みモデルＭ１を記憶部６に記憶しておき、更新前の学習済みモデルＭ１を再学習してもよい。この態様では、第１評価部１にて学習済みモデルＭ１の認識率が低下した場合、この学習済みモデルＭ１を破棄して、記憶部６に記憶されている学習済みモデルＭ１を用いて再学習を行えばよい。この態様では、データ拡張処理のパラメータを更新するごとに学習済みモデルＭ１を別途新たに生成する場合と比較して、機械学習を完了するまでに要する時間を短くしやすい、という利点がある。

【0076】

上述の実施形態において、学習用データＤ１は、良品のビードＢ１の画像データに対して、不良品の特徴を表す付加画像Ｄ１１を付加することで生成されているが、これに限らない。例えば、学習用データＤ１は、不良品のビードＢ１の画像データに対して、不良品の特徴を表す箇所を変更することで生成されてもよい。また、学習用データＤ１は、不良品のビードＢ１の画像データから不良品の特徴を表す箇所を除去することで生成されてもよい。

【0077】

上述の実施形態では、学習済みモデルＭ１は、ビードＢ１が良品であるか否か、言い換えれば溶接が正しく行われたか否かを検査する溶接外観検査のために用いられているが、これに限らない。つまり、評価システム１０は、データ拡張処理のパラメータを評価できる態様であれば、学習済みモデルＭ１の用途は問わない。

【0078】

上述の実施形態において、第１評価部１は、学習済みモデルＭ１に全ての評価用データＤ２を入力した場合の認識率を学習済みモデルＭ１の性能として評価しているが、これに限らない。以下、この点について詳細に説明する。

【0079】

上述の実施形態のように、データ拡張処理を行うのは、評価用データＤ２が少ない場合であり、そもそも評価用データＤ２を少数しか集められない場合が殆どである。この場合には、データ拡張処理のパラメータを多少変動させても、学習済みモデルＭ１の認識率は変化しないか、又は変化しても変化量が小さい。このため、パラメータの上限値又は下限値をどのように変化させても、第２評価部２での評価が変化しないか、又は変化しても変化量が小さいので、強化学習等の学習が進みにくくなる、という問題が生じ得る。

【0080】

そこで、上述の実施形態において、学習済みモデルＭ１の認識率が同じ場合（又は同程度である場合）には、パラメータの取り得る範囲が広い程、高い評価となるように第２評価部２で評価してもよい。具体的には、第２評価部２は、学習済みモデルＭ１の認識率と、データ拡張処理により生成するデータの多様度（言い換えれば、パラメータの多様度）と、で評価する。すなわち、第２評価部２の評価は、以下の式（１）で表される。式（１）において、“Ｅ１”は第２評価部２の評価、“Ｒ１”は学習済みモデルＭ１の認識率、“ＰＤ_１，ＰＤ_２，…，ＰＤ_ｎ”（“ｎ”は自然数）は各パラメータの多様度を表している。また、式（１）において、“γ_１，γ_２，…，γ_ｎ”は学習済みモデルＭ１の認識率とパラメータの多様度との相関係数であって、一例として、０．０１～０．００１の値を取り得る。

【0081】

【数1】

【0082】

ここで、例えば第ｋパラメータ（“ｋ”は“ｎ”以下の自然数）が、データ拡張処理を行う際の拡大率を示す値であり、その上限値、下限値がそれぞれ“Ｐ_ｋ_ｍａｘ”、“Ｐ_ｋ_ｍｉｎ”であると仮定する。この場合、第ｋパラメータの多様度ＰＤ_ｋは、“ＰＤ_ｋ＝Ｐ_ｋ_ｍａｘ／Ｐ_ｋ_ｍｉｎ”という式で表される。なお、第ｋパラメータがデータ拡張処理を行う際にノイズとして追加する粒のサイズを示す値であって、その上限値、下限値がそれぞれ“Ｐ_ｋ_ｍａｘ”、“Ｐ_ｋ_ｍｉｎ”である場合にも、このパラメータの多様度ＰＤ_ｋを上記の式で表すことができる。ここで、例えば第ｋパラメータ（“ｋ”は“ｎ”以下の自然数）が、データ拡張処理を行う際の拡大率を示す値であり、その分散が “σ”であると仮定する。この場合、第ｋパラメータの多様度ＰＤ_ｋは、“ＰＤ_ｋ＝σ”という式で表される。分散は一例であって、他の分布の多様性を示す統計値であってもよい。

【0083】

また、例えば第ｋパラメータが、データ拡張処理を行う際の回転角を示す値であり、その上限値、下限値がそれぞれ“Ｐ_ｋ_ｍａｘ”、“Ｐ_ｋ_ｍｉｎ”であると仮定する。この場合、第ｋパラメータの多様度ＰＤ_ｋは、“ＰＤ_ｋ＝｜Ｐ_ｋ_ｍａｘ－Ｐ_ｋ_ｍｉｎ｜”という式で表される。なお、第ｋパラメータがデータ拡張処理を行う際の平行移動のシフト量を示す値であって、その上限値、下限値がそれぞれ“Ｐ_ｋ_ｍａｘ”、“Ｐ_ｋ_ｍｉｎ”である場合にも、このパラメータの多様度ＰＤ_ｋを上記の式で表すことができる。

【0084】

また、強化学習で学習を行う場合には、パラメータの多様度が増える場合に正の報酬として、パラメータの多様度が減る場合には負の報酬とする。例えば、学習済みモデルＭ１の認識率が上がる場合の報酬を＋１、下がる場合の報酬を－１、認識率は変化しないがパラメータの多様度が増える場合の報酬を＋０．２、認識率は変化しないがパラメータの多様度が減る場合の報酬を－０．２とする。

【0085】

上述のように、第２評価部２は、学習済みモデルＭ１の認識率と、データ拡張処理により生成するデータの多様度（言い換えれば、パラメータの多様度）によって、データ拡張処理のパラメータの評価を行ってもよい。この態様では、評価用データＤ２が少ない場合においてもパラメータの最適化を図りやすい、という利点がある。特に、パラメータの多様度が高い程パラメータの評価を高く、パラメータの多様度が低い程パラメータの評価を低くすることで、評価用データＤ２とは似ていない学習用データＤ１を生成することが評価されるので、汎化性能が高い学習済みモデルＭ１を生成しやすい、という利点がある。

【0086】

（まとめ）
以上述べたように、第１の態様に係る学習用データの評価方法は、第１評価ステップ（ＳＴ１）と、第２評価ステップ（ＳＴ２）と、を有する。第１評価ステップ（ＳＴ１）は、データ拡張処理により生成される学習用データ（Ｄ１）を用いて機械学習された学習済みモデル（Ｍ１）の性能を評価するステップである。第２評価ステップ（ＳＴ２）は、第１評価ステップ（ＳＴ１）での評価とデータ拡張処理のパラメータの取り得る範囲とに基づいて、パラメータを評価するステップである。

【0087】

この態様によれば、モデルの認識率の向上に寄与し得る学習用データ（Ｄ１）を生成しやすい、という利点がある。

【0088】

第２の態様に係る学習用データの評価方法は、第１の態様において、第２評価ステップ（ＳＴ２）での評価は、第１評価ステップ（ＳＴ１）での性能の評価が高い程高い。第２評価ステップ（ＳＴ２）での評価は、パラメータの取り得る範囲が広い程高い。

【0089】

この態様によれば、学習済みモデル（Ｍ１）に入力される評価用データ（Ｄ２）の数が少ない場合であっても、パラメータの最適化を図りやすい、という利点がある。

【0090】

第３の態様に係る学習用データの評価方法は、第１又は第２の態様において、更新ステップ（ＳＴ３）と、記憶ステップと、比較ステップと、を更に有する。更新ステップ（ＳＴ３）は、第２評価ステップ（ＳＴ２）での評価に基づいて、パラメータを更新するステップである。記憶ステップは、更新ステップ（ＳＴ３）が実行される前に学習済みモデル（Ｍ１）を記憶するステップである。比較ステップは、更新ステップ（ＳＴ３）の実行後の学習済みモデル（Ｍ１）と、記憶ステップで記憶された学習済みモデル（Ｍ１）とを比較するステップである。

【0091】

この態様によれば、パラメータを更新するごとに学習済みモデル（Ｍ１）を別途新たに生成する場合と比較して、機械学習を完了するまでに要する時間を短くしやすい、という利点がある。

【0092】

第４の態様に係る学習用データの評価方法では、第１～第３のいずれかの態様において、学習用データ（Ｄ１）は、学習済みモデル（Ｍ１）の認識対象を含む画像データ（Ｄ１０）に対して、パラメータに基づく付加画像（Ｄ１１）を追加することで生成される。

【0093】

この態様によれば、既存の学習用データ（Ｄ１）には存在しない種類の学習用データ（Ｄ１）を用いてモデルを機械学習することが可能になる、という利点がある。

【0094】

第５の態様に係る学習用データの評価方法では、第１～第４のいずれかの態様において、第１評価ステップ（ＳＴ１）での評価が目標に到達すると、第１評価ステップ（ＳＴ１）及び第２評価ステップ（ＳＴ２）を停止する。

【0095】

この態様によれば、学習済みモデル（Ｍ１）の性能が目標に到達しても学習し続けることによる過学習を防ぎやすい、という利点がある。

【0096】

第６の態様に係る学習用データの評価方法では、第１～第４のいずれかの態様において、第１評価ステップ（ＳＴ１）での評価が一定値に収束すると、第１評価ステップ（ＳＴ１）及び第２評価ステップ（ＳＴ２）を停止する。

【0097】

この態様によれば、学習済みモデル（Ｍ１）の性能が飽和しても学習し続けることによる過学習を防ぎやすい、という利点がある。

【0098】

第７の態様に係る学習用データの評価方法では、第１～第６のいずれかの態様において、第１評価ステップ（ＳＴ１）は、学習済みモデル（Ｍ１）に入力される複数の評価用データ（Ｄ２）の各々について、学習済みモデル（Ｍ１）の性能を評価する。

【0099】

この態様によれば、モデルの認識率の向上に寄与し得る学習用データ（Ｄ１）を更に生成しやすい、という利点がある。

【0100】

第８の態様に係る学習用データの評価方法では、第１～第７のいずれかの態様において、第２評価ステップ（ＳＴ２）は、前処理に関する前処理パラメータに基づいて、パラメータを評価する。前処理は、学習用データ（Ｄ１）を用いて機械学習を行う過程で学習用データ（Ｄ１）に対して実行される処理である。

【0101】

この態様によれば、前処理によるデータ拡張処理の無効化を回避しやすい、という利点がある。

【0102】

第９の態様に係るプログラムは、１以上のプロセッサに、第１～第８のいずれかの態様の学習用データの評価方法を実行させる。

【0103】

この態様によれば、モデルの認識率の向上に寄与し得る学習用データ（Ｄ１）を生成しやすい、という利点がある。

【0104】

第１０の態様に係る学習用データの生成方法は、第１評価ステップ（ＳＴ１）と、第２評価ステップ（ＳＴ２）と、更新ステップ（ＳＴ３）と、データ生成ステップ（ＳＴ４）と、を有する。第１評価ステップ（ＳＴ１）は、データ拡張処理により生成される学習用データ（Ｄ１）を用いて機械学習された学習済みモデル（Ｍ１）の性能を評価するステップである。第２評価ステップ（ＳＴ２）は、第１評価ステップ（ＳＴ１）での評価とデータ拡張処理のパラメータの取り得る範囲とに基づいて、パラメータを評価するステップである。更新ステップ（ＳＴ３）は、第２評価ステップ（ＳＴ２）での評価に基づいて、パラメータを更新するステップである。データ生成ステップ（ＳＴ４）は、更新ステップ（ＳＴ３）で更新されたパラメータに基づくデータ拡張処理により、学習用データ（Ｄ１）を生成するステップである。

【0105】

この態様によれば、モデルの認識率の向上に寄与し得る学習用データ（Ｄ１）を生成しやすい、という利点がある。

【0106】

第１１の態様に係る学習済みモデルの生成方法は、第１評価ステップ（ＳＴ１）と、第２評価ステップ（ＳＴ２）と、更新ステップ（ＳＴ３）と、データ生成ステップ（ＳＴ４）と、モデル生成ステップ（ＳＴ５）と、を有する。第１評価ステップ（ＳＴ１）は、データ拡張処理により生成される学習用データ（Ｄ１）を用いて機械学習された学習済みモデル（Ｍ１）の性能を評価するステップである。第２評価ステップ（ＳＴ２）は、第１評価ステップ（ＳＴ１）での評価とデータ拡張処理のパラメータの取り得る範囲とに基づいて、パラメータを評価するステップである。更新ステップ（ＳＴ３）は、第２評価ステップ（ＳＴ２）での評価に基づいて、パラメータを更新するステップである。データ生成ステップ（ＳＴ４）は、更新ステップ（ＳＴ３）で更新されたパラメータに基づくデータ拡張処理により、学習用データ（Ｄ１）を生成するステップである。モデル生成ステップ（ＳＴ５）は、データ生成ステップ（ＳＴ４）で生成された学習用データ（Ｄ１）を用いて機械学習することにより、学習済みモデル（Ｍ１）を生成するステップである。

【0107】

この態様によれば、所望の認識率を有する学習済みモデル（Ｍ１）を生成しやすい、という利点がある。

【0108】

第１２の態様に係る学習用データの評価システム（１０）は、第１評価部（１）と、第２評価部（２）と、を備える。第１評価部（１）は、データ拡張処理により生成される学習用データ（Ｄ１）を用いて機械学習された学習済みモデル（Ｍ１）の性能を評価する。第２評価部（２）は、第１評価部（１）での評価とデータ拡張処理のパラメータの取り得る範囲とに基づいて、パラメータを評価する。

【0109】

この態様によれば、モデルの認識率の向上に寄与し得る学習用データ（Ｄ１）を生成しやすい、という利点がある。

【0110】

第２～第８の態様に係る方法については、学習用データの評価方法に必須の方法ではなく、適宜省略可能である。

【産業上の利用可能性】

【0111】

本開示にかかる学習用データの評価方法、プログラム、学習用データの生成方法、学習済みモデルの生成方法、及び学習用データの評価システムによれば、モデルの認識率の向上に寄与し得る学習用データを生成しやすい、という利点がある。そのため、本開示に係る発明は、不良品解析等の効率化に寄与し、産業上有用である。

【符号の説明】

【0112】

１０ 評価システム
１ 第１評価部
２ 第２評価部
ＳＴ１ 第１評価ステップ
ＳＴ２ 第２評価ステップ
ＳＴ３ 更新ステップ
ＳＴ４ データ生成ステップ
ＳＴ５ モデル生成ステップ
Ｄ１ 学習用データ
Ｄ１１ 付加画像
Ｄ２ 評価用データ
Ｍ１ 学習済みモデル

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図4】

【図5】

【図6A】

【図6B】

【図7】