特許 7380019 データ生成システム、学習装置、データ生成装置、データ生成方法及びデータ生成プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-11-07

(45)【発行日】2023-11-15

(54)【発明の名称】データ生成システム、学習装置、データ生成装置、データ生成方法及びデータ生成プログラム

(51)【国際特許分類】

   G06T 1/40 20060101AFI20231108BHJP

   G01N 21/88 20060101ALI20231108BHJP

   G06N 20/00 20190101ALI20231108BHJP

【ＦＩ】

G06T1/40

G01N21/88 Z

G06N20/00 130

【請求項の数】 23

(21)【出願番号】P 2019178001

(22)【出願日】2019-09-27

(65)【公開番号】P2021056677

(43)【公開日】2021-04-08

【審査請求日】2022-07-07

(73)【特許権者】

【識別番号】000002945

【氏名又は名称】オムロン株式会社

(74)【代理人】

【識別番号】100124039

【弁理士】

【氏名又は名称】立花 顕治

(74)【代理人】

【識別番号】100179213

【弁理士】

【氏名又は名称】山下 未知子

(74)【代理人】

【識別番号】100170542

【弁理士】

【氏名又は名称】桝田 剛

(72)【発明者】

【氏名】岡本 大和

(72)【発明者】

【氏名】米谷 竜

(72)【発明者】

【氏名】中田 雅博

(72)【発明者】

【氏名】宮田 佳昭

【審査官】三沢 岳志

(56)【参考文献】

【文献】米国特許出願公開第２０１８／０２９３７３４（ＵＳ，Ａ１）

【文献】Shashank TRIPATHI et al.，“Learning to Generate Synthetic Data via Compositing”，2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)，米国，IEEE，2019年06月20日，pp.461-470，DOI:10.1109/CVPR.2019.00055

【文献】Giovanni Mariani et al.，BAGAN: Data augmentation with balancing GAN，[online]，2018年06月05日，Internet: <URL:https://arxiv.org/pdf/1803.09655.pdf>，DOI:10.48550/arXiv.1803.09655

【文献】Max Jaderberg et al.，Spatial transformer networks，NIPS'15: Proceedings of the 28th International Conference on Neural Information Processing Systems - Volume 2，2016年02月04日，Internet: <URL:https://arxiv.org/pdf/1506.02025.pdf>，DOI:10.48550/arXiv.1506.02025

【文献】Donghoon Lee et al.，Context-Aware Synthesis and Placement of Object Instances，NIPS'18: Proceedings of the 32nd International Conference on Neural Information Processing Systems，2018年12月07日，Internet: <URL:https://arxiv.org/pdf/1812.02350.pdf>，DOI:10.48550/arXiv.1812.02350

【文献】Marc Braham et al.，Deep background subtraction with scene-specific convolutional neural networks，2016 International Conference on Systems, Signals and Image Processing (IWSSIP)，IEEE，2016年03月25日，DOI:10.1109/IWSSIP.2016.7502717

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／４０

Ｇ０１Ｎ ２１／８８

Ｇ０６Ｎ ２０／００

(57)【特許請求の範囲】

【請求項1】

所定種類のデータの第１サンプルであって、第１特徴を含む第１サンプル、及び前記第１特徴の種別を示す第１ラベルの組み合わせによりそれぞれ構成される複数の第１学習データセットを取得する第１取得部と、
前記所定種類のデータの第２サンプルであって、前記第１特徴とは異なる第２特徴を含む第２サンプル、及び前記第２特徴の種別を示す第２ラベルの組み合わせによりそれぞれ構成される複数の第２学習データセットを取得する第２取得部と、
取得された前記複数の第１学習データセットを使用して、第１生成器を含む第１学習モデルの機械学習を実施する第１訓練部であって、前記第１学習モデルの機械学習を実施することは、前記各第１学習データセットについて、前記第１生成器により前記第１ラベルから生成される疑似サンプルが前記第１サンプルに適合するように前記第１生成器を訓練することを含む、第１訓練部と、
取得された前記複数の第２学習データセットを使用して、第２生成器を含む第２学習モデルの機械学習を実施する第２訓練部であって、前記第２学習モデルの機械学習を実施することは、前記各第２学習データセットについて、前記第２生成器により前記第２ラベルから生成される疑似サンプルが前記第２サンプルに適合するように前記第２生成器を訓練することを含む、第２訓練部と、
前記第１ラベルに対応する第１入力値を訓練済みの前記第１生成器に与えることで、前記第１特徴を含む第１疑似サンプルを生成する第１生成部と、
前記第２ラベルに対応する第２入力値を訓練済みの前記第２生成器に与えることで、前記第２特徴を含む第２疑似サンプルを生成する第２生成部と、
生成された前記第１疑似サンプルに生成された前記第２疑似サンプルを合成することで、前記所定種類のデータの新たなサンプルを生成するデータ合成部と、
を備え、
前記第２特徴の属性のサンプル値、前記第２特徴を反映する程度を示す反映レベル、及び前記第２ラベルの組み合わせによりそれぞれ構成される複数の第３学習データセットを取得する第３取得部と、
取得された前記複数の第３学習データセットを使用して、第３生成器を含む第３学習モデルの機械学習を実施する第３訓練部であって、前記第３学習モデルの機械学習を実施することは、前記各第３学習データセットについて、前記反映レベル及び前記第２ラベルから前記第３生成器により生成される前記第２特徴の属性の疑似的な値が前記サンプル値に適合するように前記第３生成器を訓練することを含む、第３訓練部と、
を更に備え、
前記合成することは、
前記第２ラベルに対応する第２入力値並びに前記反映レベルに対応する第３入力値を訓練済みの前記第３生成器に与えることで、前記第２特徴の属性の疑似値を生成すること、及び
前記第２疑似サンプルに含まれる前記第２特徴の属性の値が生成された前記疑似値に適合するように前記第２疑似サンプルを変換すると共に、前記第１疑似サンプルに前記第２疑似サンプルを合成すること、
を含む、
データ生成システム。

【請求項2】

所定種類のデータの第１サンプルであって、第１特徴を含む第１サンプル、及び前記第１特徴の種別を示す第１ラベルの組み合わせによりそれぞれ構成される複数の第１学習データセットを取得する第１取得部と、
前記所定種類のデータの第２サンプルであって、前記第１特徴とは異なる第２特徴を含む第２サンプル、及び前記第２特徴の種別を示す第２ラベルの組み合わせによりそれぞれ構成される複数の第２学習データセットを取得する第２取得部と、
取得された前記複数の第１学習データセットを使用して、第１生成器を含む第１学習モデルの機械学習を実施する第１訓練部であって、前記第１学習モデルの機械学習を実施することは、前記各第１学習データセットについて、前記第１生成器により前記第１ラベルから生成される疑似サンプルが前記第１サンプルに適合するように前記第１生成器を訓練することを含む、第１訓練部と、
取得された前記複数の第２学習データセットを使用して、第２生成器を含む第２学習モデルの機械学習を実施する第２訓練部であって、前記第２学習モデルの機械学習を実施することは、前記各第２学習データセットについて、前記第２生成器により前記第２ラベルから生成される疑似サンプルが前記第２サンプルに適合するように前記第２生成器を訓練することを含む、第２訓練部と、
前記第１ラベルに対応する第１入力値を訓練済みの前記第１生成器に与えることで、前記第１特徴を含む第１疑似サンプルを生成する第１生成部と、
前記第２ラベルに対応する第２入力値を訓練済みの前記第２生成器に与えることで、前記第２特徴を含む第２疑似サンプルを生成する第２生成部と、
生成された前記第１疑似サンプルに生成された前記第２疑似サンプルを合成することで、前記所定種類のデータの新たなサンプルを生成するデータ合成部と、
を備え、
前記第２特徴の属性のサンプル値、前記第２特徴を反映する程度を示す反映レベル、及び前記第２ラベルの組み合わせによりそれぞれ構成される複数の第３学習データセットを取得する第３取得部と、
取得された前記複数の第３学習データセットを使用して、第３生成器を含む第３学習モデルの機械学習を実施する第３訓練部であって、前記第３学習モデルの機械学習を実施することは、前記各第３学習データセットについて、前記反映レベル及び前記第２ラベルから前記第３生成器により生成される前記第２特徴の属性の疑似的な値が前記サンプル値に適合するように前記第３生成器を訓練することを含む、第３訓練部と、
を更に備え、
前記所定種類のデータは、第１成分及び前記第１成分とは異なる第２成分であって、所定の推定の対象となる第２成分を含み、
前記第１特徴は、前記第１成分に関し、
前記第２特徴は、前記第２成分に関し、
前記所定の推定は、前記第２成分を検出することであり、
前記合成することは、
前記第２ラベルに対応する第２入力値、並びに前記反映レベルに対応する第３入力値であって、前記検出の限界に応じて与えられた第３入力値を訓練済みの前記第３生成器に与えることで、前記第２特徴の属性の疑似値を生成すること、及び
前記第２疑似サンプルに含まれる前記第２特徴の属性の値が生成された前記疑似値に適合するように前記第２疑似サンプルを変換すると共に、前記第１疑似サンプルに前記第２疑似サンプルを合成すること、
を含む、
データ生成システム。

【請求項3】

所定種類のデータの第１サンプルであって、第１特徴を含む第１サンプル、及び前記第１特徴の種別を示す第１ラベルの組み合わせによりそれぞれ構成される複数の第１学習データセットを取得する第１取得部と、
前記所定種類のデータの第２サンプルであって、前記第１特徴とは異なる第２特徴を含む第２サンプル、及び前記第２特徴の種別を示す第２ラベルの組み合わせによりそれぞれ構成される複数の第２学習データセットを取得する第２取得部と、
取得された前記複数の第１学習データセットを使用して、第１生成器を含む第１学習モデルの機械学習を実施する第１訓練部であって、前記第１学習モデルの機械学習を実施することは、前記各第１学習データセットについて、前記第１生成器により前記第１ラベルから生成される疑似サンプルが前記第１サンプルに適合するように前記第１生成器を訓練することを含む、第１訓練部と、
取得された前記複数の第２学習データセットを使用して、第２生成器を含む第２学習モデルの機械学習を実施する第２訓練部であって、前記第２学習モデルの機械学習を実施することは、前記各第２学習データセットについて、前記第２生成器により前記第２ラベルから生成される疑似サンプルが前記第２サンプルに適合するように前記第２生成器を訓練することを含む、第２訓練部と、
前記第１ラベルに対応する第１入力値を訓練済みの前記第１生成器に与えることで、前記第１特徴を含む第１疑似サンプルを生成する第１生成部と、
前記第２ラベルに対応する第２入力値を訓練済みの前記第２生成器に与えることで、前記第２特徴を含む第２疑似サンプルを生成する第２生成部と、
生成された前記第１疑似サンプルに生成された前記第２疑似サンプルを合成することで、前記所定種類のデータの新たなサンプルを生成するデータ合成部と、
を備え、
前記複数の第２学習データセットを取得することは、
前記所定種類のデータの第３サンプルであって、前記第１特徴及び前記第２特徴をそれぞれ含む複数の第３サンプルを取得するステップ、
訓練済みの前記第１生成器により生成された疑似サンプルから当該疑似サンプルを生成する際に前記第１生成器に与えられた入力を推定するように訓練された推定器に前記各第３サンプルを与えることで、前記各第３サンプルに対応する疑似サンプルを生成するために訓練済みの前記第１生成器に与える入力の推定値を推定するステップ、
推定された前記推定値を訓練済みの前記第１生成器に与えることで、前記第３サンプル毎に第３疑似サンプルを生成するステップ、並びに
前記各第３サンプルから前記第３疑似サンプルを差分することで、前記各第２学習データセットの前記第２サンプルを生成するステップ、
を含む、
データ生成システム。

【請求項4】

前記所定種類のデータは、第１成分及び前記第１成分とは異なる第２成分であって、所定の推定の対象となる第２成分を含み、
前記第１特徴は、前記第１成分に関し、
前記第２特徴は、前記第２成分に関する、
請求項１から３のいずれか１項に記載のデータ生成システム。

【請求項5】

前記第１学習モデルは、第１識別器を更に含み、
前記第１生成器を訓練することは、
前記第１識別器に入力された入力サンプルが、前記複数の第１学習データセットのいずれかから得られた前記第１サンプルか前記第１生成器により生成された疑似サンプルかを識別するように前記第１識別器を訓練するステップ、及び
前記第１識別器の前記識別の性能を低下させるような疑似サンプルを生成するように前記第１生成器を訓練するステップ、
を交互に繰り返し実行することにより構成される、
請求項１から４のいずれか１項に記載のデータ生成システム。

【請求項6】

前記第２学習モデルは、第２識別器を更に含み、
前記第２生成器を訓練することは、
前記第２識別器に入力された入力サンプルが、前記複数の第２学習データセットのいずれかから得られた前記第２サンプルか前記第２生成器により生成された疑似サンプルかを識別するように前記第２識別器を訓練するステップ、及び
前記第２識別器の前記識別の性能を低下させるような疑似サンプルを生成するように前記第２生成器を訓練するステップ、
を交互に繰り返し実行することにより構成される、
請求項１から５のいずれか１項に記載のデータ生成システム。

【請求項7】

前記第２特徴の属性のサンプル値、前記第２特徴を反映する程度を示す反映レベル、及び前記第２ラベルの組み合わせによりそれぞれ構成される複数の第３学習データセットを取得する第３取得部と、
取得された前記複数の第３学習データセットを使用して、第３生成器を含む第３学習モデルの機械学習を実施する第３訓練部であって、前記第３学習モデルの機械学習を実施することは、前記各第３学習データセットについて、前記反映レベル及び前記第２ラベルから前記第３生成器により生成される前記第２特徴の属性の疑似的な値が前記サンプル値に適合するように前記第３生成器を訓練することを含む、第３訓練部と、
を更に備え、
前記合成することは、
前記第２ラベルに対応する第２入力値並びに前記反映レベルに対応する第３入力値を訓練済みの前記第３生成器に与えることで、前記第２特徴の属性の疑似値を生成すること、及び
前記第２疑似サンプルに含まれる前記第２特徴の属性の値が生成された前記疑似値に適合するように前記第２疑似サンプルを変換すると共に、前記第１疑似サンプルに前記第２疑似サンプルを合成すること、
を含む、
請求項３に記載のデータ生成システム。

【請求項8】

前記第２特徴の属性のサンプル値、前記第２特徴を反映する程度を示す反映レベル、及び前記第２ラベルの組み合わせによりそれぞれ構成される複数の第３学習データセットを取得する第３取得部と、
取得された前記複数の第３学習データセットを使用して、第３生成器を含む第３学習モデルの機械学習を実施する第３訓練部であって、前記第３学習モデルの機械学習を実施することは、前記各第３学習データセットについて、前記反映レベル及び前記第２ラベルから前記第３生成器により生成される前記第２特徴の属性の疑似的な値が前記サンプル値に適合するように前記第３生成器を訓練することを含む、第３訓練部と、
を更に備え、
前記所定種類のデータは、第１成分及び前記第１成分とは異なる第２成分であって、所定の推定の対象となる第２成分を含み、
前記第１特徴は、前記第１成分に関し、
前記第２特徴は、前記第２成分に関し、
前記所定の推定は、前記第２成分を検出することであり、
前記合成することは、
前記第２ラベルに対応する第２入力値、並びに前記反映レベルに対応する第３入力値であって、前記検出の限界に応じて与えられた第３入力値を訓練済みの前記第３生成器に与えることで、前記第２特徴の属性の疑似値を生成すること、及び
前記第２疑似サンプルに含まれる前記第２特徴の属性の値が生成された前記疑似値に適合するように前記第２疑似サンプルを変換すると共に、前記第１疑似サンプルに前記第２疑似サンプルを合成すること、
を含む、
請求項３に記載のデータ生成システム。

【請求項9】

前記第３学習モデルは、第３識別器を更に含み、
前記第３生成器を訓練することは、
前記第３識別器に入力された入力値が、前記複数の第３学習データセットのいずれかから得られた前記サンプル値か前記第３生成器により生成された疑似的な値かを識別するように前記第３識別器を訓練するステップ、及び
前記第３識別器の前記識別の性能を低下させるような前記第２特徴の属性の疑似的な値を生成するように前記第３生成器を訓練するステップ、
を交互に繰り返し実行することにより構成される、
請求項１、２、７、８のいずれか１項に記載のデータ生成システム。

【請求項10】

前記各第３学習データセットは、前記第１ラベルを更に備え、
前記第３学習モデルの機械学習を実施することは、前記反映レベル、前記第２ラベル及び前記第１ラベルから前記第３生成器により生成される前記第２特徴の属性の疑似的な値が前記サンプル値に適合するように前記第３生成器を訓練することを含む、
請求項１、２、７、８、９のいずれか１項に記載のデータ生成システム。

【請求項11】

前記反映レベルは、連続値により構成される、
請求項１、２、７、８、９、１０のいずれか１項に記載のデータ生成システム。

【請求項12】

前記複数の第２学習データセットを取得することは、
前記所定種類のデータの第３サンプルであって、前記第１特徴及び前記第２特徴をそれぞれ含む複数の第３サンプルを取得するステップ、
訓練済みの前記第１生成器により生成された疑似サンプルから当該疑似サンプルを生成する際に前記第１生成器に与えられた入力を推定するように訓練された推定器に前記各第３サンプルを与えることで、前記各第３サンプルに対応する疑似サンプルを生成するために訓練済みの前記第１生成器に与える入力の推定値を推定するステップ、
推定された前記推定値を訓練済みの前記第１生成器に与えることで、前記第３サンプル毎に第３疑似サンプルを生成するステップ、並びに
前記各第３サンプルから前記第３疑似サンプルを差分することで、前記各第２学習データセットの前記第２サンプルを生成するステップ、
を含む、
請求項１、２、４から１１のいずれか１項に記載のデータ生成システム。

【請求項13】

訓練済みの前記第１生成器に与える入力のサンプル値、及び訓練済みの前記第１生成器に当該サンプル値を与えることで生成される第４疑似サンプルの組み合わせによりそれぞれ構成される複数の第４学習データセットを取得する第４取得部と、
取得された前記複数の第４学習データセットを使用して、前記推定器の機械学習を実施することで、訓練済みの前記推定器を構築する第４訓練部であって、前記推定器の機械学習を実施することは、前記各第４学習データセットについて、訓練済みの前記第１生成器に与えた入力を前記第４疑似サンプルから前記推定器により推定することで得られる推定値が前記サンプル値に適合するように前記推定器を訓練することを含む、第４訓練部と、
を更に備える、
請求項３または１２に記載のデータ生成システム。

【請求項14】

前記所定種類のデータは、背景及び前景を含む画像データであり、
前記第１特徴は、前記背景に関し、
前記第２特徴は、前記前景に関する、
請求項１から１３のいずれか１項に記載のデータ生成システム。

【請求項15】

前記所定種類のデータは、製品の写る画像データであり、
前記第１特徴は、前記製品を含む背景に関し、
前記第２特徴は、前記製品の欠陥に関する、
請求項１から１３のいずれか１項に記載のデータ生成システム。

【請求項16】

所定種類のデータの第１サンプルであって、第１特徴を含む第１サンプル、及び前記第１特徴の種別を示す第１ラベルの組み合わせによりそれぞれ構成される複数の第１学習データセットを取得する第１取得部と、
前記所定種類のデータの第２サンプルであって、前記第１特徴とは異なる第２特徴を含む第２サンプル、及び前記第２特徴の種別を示す第２ラベルの組み合わせによりそれぞれ構成される複数の第２学習データセットを取得する第２取得部と、
取得された前記複数の第１学習データセットを使用して、第１生成器を含む第１学習モデルの機械学習を実施する第１訓練部であって、前記第１学習モデルの機械学習を実施することは、前記各第１学習データセットについて、前記第１生成器により前記第１ラベルから生成される疑似サンプルが前記第１サンプルに適合するように前記第１生成器を訓練することを含む、第１訓練部と、
取得された前記複数の第２学習データセットを使用して、第２生成器を含む第２学習モデルの機械学習を実施する第２訓練部であって、前記第２学習モデルの機械学習を実施することは、前記各第２学習データセットについて、前記第２生成器により前記第２ラベルから生成される疑似サンプルが前記第２サンプルに適合するように前記第２生成器を訓練することを含む、第２訓練部と、
を備え、
前記第２特徴の属性のサンプル値、前記第２特徴を反映する程度を示す反映レベル、及び前記第２ラベルの組み合わせによりそれぞれ構成される複数の第３学習データセットを取得する第３取得部と、
取得された前記複数の第３学習データセットを使用して、第３生成器を含む第３学習モデルの機械学習を実施する第３訓練部であって、前記第３学習モデルの機械学習を実施することは、前記各第３学習データセットについて、前記反映レベル及び前記第２ラベルから前記第３生成器により生成される前記第２特徴の属性の疑似的な値が前記サンプル値に適合するように前記第３生成器を訓練することを含む、第３訓練部と、
を更に備える、
学習装置。

【請求項17】

所定種類のデータの第１サンプルであって、第１特徴を含む第１サンプル、及び前記第１特徴の種別を示す第１ラベルの組み合わせによりそれぞれ構成される複数の第１学習データセットを取得する第１取得部と、
前記所定種類のデータの第２サンプルであって、前記第１特徴とは異なる第２特徴を含む第２サンプル、及び前記第２特徴の種別を示す第２ラベルの組み合わせによりそれぞれ構成される複数の第２学習データセットを取得する第２取得部と、
取得された前記複数の第１学習データセットを使用して、第１生成器を含む第１学習モデルの機械学習を実施する第１訓練部であって、前記第１学習モデルの機械学習を実施することは、前記各第１学習データセットについて、前記第１生成器により前記第１ラベルから生成される疑似サンプルが前記第１サンプルに適合するように前記第１生成器を訓練することを含む、第１訓練部と、
取得された前記複数の第２学習データセットを使用して、第２生成器を含む第２学習モデルの機械学習を実施する第２訓練部であって、前記第２学習モデルの機械学習を実施することは、前記各第２学習データセットについて、前記第２生成器により前記第２ラベルから生成される疑似サンプルが前記第２サンプルに適合するように前記第２生成器を訓練することを含む、第２訓練部と、
を備え、
前記複数の第２学習データセットを取得することは、
前記所定種類のデータの第３サンプルであって、前記第１特徴及び前記第２特徴をそれぞれ含む複数の第３サンプルを取得するステップ、
訓練済みの前記第１生成器により生成された疑似サンプルから当該疑似サンプルを生成する際に前記第１生成器に与えられた入力を推定するように訓練された推定器に前記各第３サンプルを与えることで、前記各第３サンプルに対応する疑似サンプルを生成するために訓練済みの前記第１生成器に与える入力の推定値を推定するステップ、
推定された前記推定値を訓練済みの前記第１生成器に与えることで、前記第３サンプル毎に第３疑似サンプルを生成するステップ、並びに
前記各第３サンプルから前記第３疑似サンプルを差分することで、前記各第２学習データセットの前記第２サンプルを生成するステップ、
を含む、
学習装置。

【請求項18】

所定種類のデータの第１サンプルであって、第１特徴を含む第１サンプル、及び前記第１特徴の種別を示す第１ラベルの組み合わせによりそれぞれ構成される複数の第１学習データセットを使用した機械学習により構築された訓練済みの第１生成器を有する第１生成部であって、
前記機械学習により、前記第１生成器は、前記各第１学習データセットについて、前記第１生成器により前記第１ラベルから生成される疑似サンプルが前記第１サンプルに適合するように訓練され、
第１生成部は、前記第１ラベルに対応する第１入力値を訓練済みの前記第１生成器に与えることで、前記第１特徴を含む第１疑似サンプルを生成する、
第１生成部と、
前記所定種類のデータの第２サンプルであって、前記第１特徴とは異なる第２特徴を含む第２サンプル、及び前記第２特徴の種別を示す第２ラベルの組み合わせによりそれぞれ構成される複数の第２学習データセットを使用した機械学習により構築された訓練済みの第２生成器を有する第２生成部であって、
前記機械学習により、前記第２生成器は、前記各第２学習データセットについて、前記第２生成器により前記第２ラベルから生成される疑似サンプルが前記第２サンプルに適合するように訓練され、
前記第２生成部は、前記第２ラベルに対応する第２入力値を訓練済みの前記第２生成器に与えることで、前記第２特徴を含む第２疑似サンプルを生成する、
第２生成部と、
生成された前記第１疑似サンプルに生成された前記第２疑似サンプルを合成することで、前記所定種類のデータの新たなサンプルを生成するデータ合成部と、
を備え、
前記データ合成部は、
前記第２特徴の属性のサンプル値、前記第２特徴を反映する程度を示す反映レベル、及び前記第２ラベルの組み合わせによりそれぞれ構成される複数の第３学習データセットを使用した機械学習により構築された訓練済みの第３生成器を有し、
前記機械学習により、前記第３生成器は、前記各第３学習データセットについて、前記反映レベル及び前記第２ラベルから前記第３生成器により生成される前記第２特徴の属性の疑似的な値が前記サンプル値に適合するように訓練され、
前記合成することは、
前記第２ラベルに対応する第２入力値並びに前記反映レベルに対応する第３入力値を訓練済みの前記第３生成器に与えることで、前記第２特徴の属性の疑似値を生成すること、及び
前記第２疑似サンプルに含まれる前記第２特徴の属性の値が生成された前記疑似値に適合するように前記第２疑似サンプルを変換すると共に、前記第１疑似サンプルに前記第２疑似サンプルを合成すること、
を含む、
データ生成装置。

【請求項19】

所定種類のデータの第１サンプルであって、第１特徴を含む第１サンプル、及び前記第１特徴の種別を示す第１ラベルの組み合わせによりそれぞれ構成される複数の第１学習データセットを使用した機械学習により構築された訓練済みの第１生成器を有する第１生成部であって、
前記機械学習により、前記第１生成器は、前記各第１学習データセットについて、前記第１生成器により前記第１ラベルから生成される疑似サンプルが前記第１サンプルに適合するように訓練され、
第１生成部は、前記第１ラベルに対応する第１入力値を訓練済みの前記第１生成器に与えることで、前記第１特徴を含む第１疑似サンプルを生成する、
第１生成部と、
前記所定種類のデータの第２サンプルであって、前記第１特徴とは異なる第２特徴を含む第２サンプル、及び前記第２特徴の種別を示す第２ラベルの組み合わせによりそれぞれ構成される複数の第２学習データセットを使用した機械学習により構築された訓練済みの第２生成器を有する第２生成部であって、
前記機械学習により、前記第２生成器は、前記各第２学習データセットについて、前記第２生成器により前記第２ラベルから生成される疑似サンプルが前記第２サンプルに適合するように訓練され、
前記第２生成部は、前記第２ラベルに対応する第２入力値を訓練済みの前記第２生成器に与えることで、前記第２特徴を含む第２疑似サンプルを生成する、
第２生成部と、
生成された前記第１疑似サンプルに生成された前記第２疑似サンプルを合成することで、前記所定種類のデータの新たなサンプルを生成するデータ合成部と、
を備え、
前記データ合成部は、
前記第２特徴の属性のサンプル値、前記第２特徴を反映する程度を示す反映レベル、及び前記第２ラベルの組み合わせによりそれぞれ構成される複数の第３学習データセットを使用した機械学習により構築された訓練済みの第３生成器を有し、
前記機械学習により、前記第３生成器は、前記各第３学習データセットについて、前記反映レベル及び前記第２ラベルから前記第３生成器により生成される前記第２特徴の属性の疑似的な値が前記サンプル値に適合するように訓練され、
前記所定種類のデータは、第１成分及び前記第１成分とは異なる第２成分であって、所定の推定の対象となる第２成分を含み、
前記第１特徴は、前記第１成分に関し、
前記第２特徴は、前記第２成分に関し、
前記所定の推定は、前記第２成分を検出することであり、
前記合成することは、
前記第２ラベルに対応する第２入力値、並びに前記反映レベルに対応する第３入力値であって、前記検出の限界に応じて与えられた第３入力値を訓練済みの前記第３生成器に与えることで、前記第２特徴の属性の疑似値を生成すること、及び
前記第２疑似サンプルに含まれる前記第２特徴の属性の値が生成された前記疑似値に適合するように前記第２疑似サンプルを変換すると共に、前記第１疑似サンプルに前記第２疑似サンプルを合成すること、
を含む、
データ生成装置。

【請求項20】

コンピュータが、
訓練済みの第１生成器を利用して、第１特徴を含む第１疑似サンプルを生成するステップであって、
前記訓練済みの第１生成器は、所定種類のデータの第１サンプルであって、第１特徴を含む第１サンプル、及び前記第１特徴の種別を示す第１ラベルの組み合わせによりそれぞれ構成される複数の第１学習データセットを使用した機械学習により構築され、
前記機械学習では、前記第１生成器は、前記各第１学習データセットについて、前記第１生成器により前記第１ラベルから生成される疑似サンプルが前記第１サンプルに適合するように訓練され、
前記コンピュータは、前記第１ラベルに対応する第１入力値を前記訓練済みの前記第１生成器に与えることで、前記第１特徴を含む前記第１疑似サンプルを生成する、
ステップと、
訓練済みの第２生成器を利用して、第２特徴を含む第２疑似サンプルを生成するステップであって、
前記訓練済みの第２生成器は、前記所定種類のデータの第２サンプルであって、前記第１特徴とは異なる第２特徴を含む第２サンプル、及び前記第２特徴の種別を示す第２ラベルの組み合わせによりそれぞれ構成される複数の第２学習データセットを使用した機械学習により構築され
前記機械学習では、前記第２生成器は、前記各第２学習データセットについて、前記第２生成器により前記第２ラベルから生成される疑似サンプルが前記第２サンプルに適合するように訓練され、
前記コンピュータは、前記第２ラベルに対応する第２入力値を前記訓練済みの前記第２生成器に与えることで、前記第２特徴を含む第２疑似サンプルを生成する、
ステップと、
生成された前記第１疑似サンプルに生成された前記第２疑似サンプルを合成することで、前記所定種類のデータの新たなサンプルを生成するステップと、
を実行し、
前記新たなサンプルを生成するステップは、訓練済みの第３生成器を利用して、前記新たなサンプルを生成し、
前記訓練済みの第３生成器は、前記第２特徴の属性のサンプル値、前記第２特徴を反映する程度を示す反映レベル、及び前記第２ラベルの組み合わせによりそれぞれ構成される複数の第３学習データセットを使用した機械学習により構築され、
前記機械学習では、前記第３生成器は、前記各第３学習データセットについて、前記反映レベル及び前記第２ラベルから前記第３生成器により生成される前記第２特徴の属性の疑似的な値が前記サンプル値に適合するように訓練され、
前記合成することは、
前記第２ラベルに対応する第２入力値並びに前記反映レベルに対応する第３入力値を訓練済みの前記第３生成器に与えることで、前記第２特徴の属性の疑似値を生成すること、及び
前記第２疑似サンプルに含まれる前記第２特徴の属性の値が生成された前記疑似値に適合するように前記第２疑似サンプルを変換すると共に、前記第１疑似サンプルに前記第２疑似サンプルを合成すること、
を含む、
データ生成方法。

【請求項21】

コンピュータが、
訓練済みの第１生成器を利用して、第１特徴を含む第１疑似サンプルを生成するステップであって、
前記訓練済みの第１生成器は、所定種類のデータの第１サンプルであって、第１特徴を含む第１サンプル、及び前記第１特徴の種別を示す第１ラベルの組み合わせによりそれぞれ構成される複数の第１学習データセットを使用した機械学習により構築され、
前記機械学習では、前記第１生成器は、前記各第１学習データセットについて、前記第１生成器により前記第１ラベルから生成される疑似サンプルが前記第１サンプルに適合するように訓練され、
前記コンピュータは、前記第１ラベルに対応する第１入力値を前記訓練済みの前記第１生成器に与えることで、前記第１特徴を含む前記第１疑似サンプルを生成する、
ステップと、
訓練済みの第２生成器を利用して、第２特徴を含む第２疑似サンプルを生成するステップであって、
前記訓練済みの第２生成器は、前記所定種類のデータの第２サンプルであって、前記第１特徴とは異なる第２特徴を含む第２サンプル、及び前記第２特徴の種別を示す第２ラベルの組み合わせによりそれぞれ構成される複数の第２学習データセットを使用した機械学習により構築され
前記機械学習では、前記第２生成器は、前記各第２学習データセットについて、前記第２生成器により前記第２ラベルから生成される疑似サンプルが前記第２サンプルに適合するように訓練され、
前記コンピュータは、前記第２ラベルに対応する第２入力値を前記訓練済みの前記第２生成器に与えることで、前記第２特徴を含む第２疑似サンプルを生成する、
ステップと、
生成された前記第１疑似サンプルに生成された前記第２疑似サンプルを合成することで、前記所定種類のデータの新たなサンプルを生成するステップと、
を実行し、
前記新たなサンプルを生成するステップは、訓練済みの第３生成器を利用して、前記新たなサンプルを生成し、
前記訓練済みの第３生成器は、前記第２特徴の属性のサンプル値、前記第２特徴を反映する程度を示す反映レベル、及び前記第２ラベルの組み合わせによりそれぞれ構成される複数の第３学習データセットを使用した機械学習により構築され、
前記機械学習では、前記第３生成器は、前記各第３学習データセットについて、前記反映レベル及び前記第２ラベルから前記第３生成器により生成される前記第２特徴の属性の疑似的な値が前記サンプル値に適合するように訓練され、
前記所定種類のデータは、第１成分及び前記第１成分とは異なる第２成分であって、所定の推定の対象となる第２成分を含み、
前記第１特徴は、前記第１成分に関し、
前記第２特徴は、前記第２成分に関し、
前記所定の推定は、前記第２成分を検出することであり、
前記合成することは、
前記第２ラベルに対応する第２入力値、並びに前記反映レベルに対応する第３入力値であって、前記検出の限界に応じて与えられた第３入力値を訓練済みの前記第３生成器に与えることで、前記第２特徴の属性の疑似値を生成すること、及び
前記第２疑似サンプルに含まれる前記第２特徴の属性の値が生成された前記疑似値に適合するように前記第２疑似サンプルを変換すると共に、前記第１疑似サンプルに前記第２疑似サンプルを合成すること、
を含む、
データ生成方法。

【請求項22】

コンピュータに、
訓練済みの第１生成器を利用して、第１特徴を含む第１疑似サンプルを生成するステップであって、
前記訓練済みの第１生成器は、所定種類のデータの第１サンプルであって、第１特徴を含む第１サンプル、及び前記第１特徴の種別を示す第１ラベルの組み合わせによりそれぞれ構成される複数の第１学習データセットを使用した機械学習により構築され、
前記機械学習では、前記第１生成器は、前記各第１学習データセットについて、前記第１生成器により前記第１ラベルから生成される疑似サンプルが前記第１サンプルに適合するように訓練され、
前記コンピュータは、前記第１ラベルに対応する第１入力値を前記訓練済みの前記第１生成器に与えることで、前記第１特徴を含む前記第１疑似サンプルを生成する、
ステップと、
訓練済みの第２生成器を利用して、第２特徴を含む第２疑似サンプルを生成するステップであって、
前記訓練済みの第２生成器は、前記所定種類のデータの第２サンプルであって、前記第１特徴とは異なる第２特徴を含む第２サンプル、及び前記第２特徴の種別を示す第２ラベルの組み合わせによりそれぞれ構成される複数の第２学習データセットを使用した機械学習により構築され、
前記機械学習では、前記第２生成器は、前記各第２学習データセットについて、前記第２生成器により前記第２ラベルから生成される疑似サンプルが前記第２サンプルに適合するように訓練され、
前記コンピュータは、前記第２ラベルに対応する第２入力値を前記訓練済みの前記第２生成器に与えることで、前記第２特徴を含む第２疑似サンプルを生成する、
ステップと、
生成された前記第１疑似サンプルに生成された前記第２疑似サンプルを合成することで、前記所定種類のデータの新たなサンプルを生成するステップと、
を実行させ、
前記新たなサンプルを生成するステップにおいて前記コンピュータは、訓練済みの第３生成器を利用して、前記新たなサンプルを生成し、
前記訓練済みの第３生成器は、前記第２特徴の属性のサンプル値、前記第２特徴を反映する程度を示す反映レベル、及び前記第２ラベルの組み合わせによりそれぞれ構成される複数の第３学習データセットを使用した機械学習により構築され、
前記機械学習では、前記第３生成器は、前記各第３学習データセットについて、前記反映レベル及び前記第２ラベルから前記第３生成器により生成される前記第２特徴の属性の疑似的な値が前記サンプル値に適合するように訓練され、
前記合成することは、
前記第２ラベルに対応する第２入力値並びに前記反映レベルに対応する第３入力値を訓練済みの前記第３生成器に与えることで、前記第２特徴の属性の疑似値を生成すること、及び
前記第２疑似サンプルに含まれる前記第２特徴の属性の値が生成された前記疑似値に適合するように前記第２疑似サンプルを変換すると共に、前記第１疑似サンプルに前記第２疑似サンプルを合成すること、
を含む、
データ生成プログラム。

【請求項23】

コンピュータに、
訓練済みの第１生成器を利用して、第１特徴を含む第１疑似サンプルを生成するステップであって、
前記訓練済みの第１生成器は、所定種類のデータの第１サンプルであって、第１特徴を含む第１サンプル、及び前記第１特徴の種別を示す第１ラベルの組み合わせによりそれぞれ構成される複数の第１学習データセットを使用した機械学習により構築され、
前記機械学習では、前記第１生成器は、前記各第１学習データセットについて、前記第１生成器により前記第１ラベルから生成される疑似サンプルが前記第１サンプルに適合するように訓練され、
前記コンピュータは、前記第１ラベルに対応する第１入力値を前記訓練済みの前記第１生成器に与えることで、前記第１特徴を含む前記第１疑似サンプルを生成する、
ステップと、
訓練済みの第２生成器を利用して、第２特徴を含む第２疑似サンプルを生成するステップであって、
前記訓練済みの第２生成器は、前記所定種類のデータの第２サンプルであって、前記第１特徴とは異なる第２特徴を含む第２サンプル、及び前記第２特徴の種別を示す第２ラベルの組み合わせによりそれぞれ構成される複数の第２学習データセットを使用した機械学習により構築され、
前記機械学習では、前記第２生成器は、前記各第２学習データセットについて、前記第２生成器により前記第２ラベルから生成される疑似サンプルが前記第２サンプルに適合するように訓練され、
前記コンピュータは、前記第２ラベルに対応する第２入力値を前記訓練済みの前記第２生成器に与えることで、前記第２特徴を含む第２疑似サンプルを生成する、
ステップと、
生成された前記第１疑似サンプルに生成された前記第２疑似サンプルを合成することで、前記所定種類のデータの新たなサンプルを生成するステップと、
を実行させ、
前記新たなサンプルを生成するステップにおいて前記コンピュータは、訓練済みの第３生成器を利用して、前記新たなサンプルを生成し、
前記訓練済みの第３生成器は、前記第２特徴の属性のサンプル値、前記第２特徴を反映する程度を示す反映レベル、及び前記第２ラベルの組み合わせによりそれぞれ構成される複数の第３学習データセットを使用した機械学習により構築され、
前記機械学習では、前記第３生成器は、前記各第３学習データセットについて、前記反映レベル及び前記第２ラベルから前記第３生成器により生成される前記第２特徴の属性の疑似的な値が前記サンプル値に適合するように訓練され、
前記所定種類のデータは、第１成分及び前記第１成分とは異なる第２成分であって、所定の推定の対象となる第２成分を含み、
前記第１特徴は、前記第１成分に関し、
前記第２特徴は、前記第２成分に関し、
前記所定の推定は、前記第２成分を検出することであり、
前記合成することは、
前記第２ラベルに対応する第２入力値、並びに前記反映レベルに対応する第３入力値であって、前記検出の限界に応じて与えられた第３入力値を訓練済みの前記第３生成器に与えることで、前記第２特徴の属性の疑似値を生成すること、及び
前記第２疑似サンプルに含まれる前記第２特徴の属性の値が生成された前記疑似値に適合するように前記第２疑似サンプルを変換すると共に、前記第１疑似サンプルに前記第２疑似サンプルを合成すること、
を含む、
データ生成プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、データ生成システム、学習装置、データ生成装置、データ生成方法及びデータ生成プログラムに関する。

【背景技術】

【0002】

従来、製造ライン等の製品を製造する場面では、製造される製品を撮影装置により撮影し、得られた画像データに基づいて製品の良否を検査する技術が利用されている。例えば、特許文献１では、多関節ロボットにより光源を移動させながら、当該光源からの検査光が照射された検査対象物の外観を撮影し、得られた画像を分析することで検査対象物の外観検査を行う外観検査装置が提案されている。また、例えば、特許文献２では、学習済みの第１のニューラルネットワークに基づいて画像に写る検査対象物が正常であるか異常であるかを判定し、検査対象物が異常であると判定した場合に、学習済みの第２のニューラルネットワークに基づいて当該異常の種類を分類する検査装置が提案されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－０４５３３０号公報

【文献】特開２０１２－０２６９８２号公報

【文献】特開２０１８－１７５３４３号公報

【文献】特開２０１９－０７１０５０号公報

【文献】特開２０１８－０２４３４０号公報

【文献】特開２０１８－１８９５２２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来の方法によれば、撮影により得られた画像から製品の外観検査を実施することができる。また、特許文献２のような、ニューラルネットワーク等の機械学習モデルを利用する方法によれば、得られた画像に対する画像処理を詳細に規定しなくても（例えば、欠陥を検出するための検出パラメータの値を設定しなくても）、訓練済みの機械学習モデルの出力に基づいて製品の外観検査を実施することができる。そのため、外観検査の情報処理を簡略化し、検査プログラムを作成する手間を低減することができる。しかしながら、本件発明者らは、上記のような従来の検出方法には、次のような問題点があることを見出した。

【0005】

撮影画像に基づいて外観検査を実施する場合、事前に、欠陥を含む製品の写る画像を学習データとして収集する。画像処理により欠陥を検出するケースでは、収集された学習データは、欠陥を検出するための検出パラメータの値の設定に利用される。また、欠陥の検出に機械学習モデルを利用するケースでは、収集された学習データは、与えられた画像に写る欠陥を検出する能力を機械学習モデルに習得させるための機械学習に利用される。欠陥の検出は、欠陥の種別を識別することであってもよい。基本的には、収集される学習データが多岐にわたるほど、すなわち、学習データに表れる欠陥の状況が多様であるほど、外観検査の精度の向上を図ることができる。

【0006】

しかしながら、欠陥の種別、及び製品の外観を含む背景の種別が多くなればなるほど、欠陥の種別及び背景の種別の組み合わせが増加し、学習データとして収集されることが所望されるサンプルの件数（及び種類）も増加する。そのため、欠陥の種別及び背景の種別の各組み合わせの表れるサンプルを収集するのにコストがかかるという問題点があった。

【0007】

サンプルの得られていない組み合わせが存在する場合には、次のような問題が生じる可能性がある。すなわち、画像処理により欠陥を検出するケースでは、サンプルの得られていない欠陥の種別及び背景の種別の組み合わせに対して検出パラメータの値を設定するのが困難になり、当該組み合わせで表れる欠陥を検出する精度が低下してしまう可能性がある。同様に、欠陥の検出に機械学習モデルを利用するケースでも、サンプルの得られていない欠陥の種別及び背景の種別の組み合わせを機械学習に反映できないことで、その組み合わせに対する訓練済み機械学習モデルによる欠陥の検出に関する推定の精度が低下してしまう可能性がある。

【0008】

更に、機械学習モデルを利用するケースでは、次のような問題も生じる可能性がある。すなわち、サンプルに表れる欠陥の種別及び背景の種別の組み合わせが偏っている場合、特に、欠陥の種別及び背景の種別が同じ分布でサンプルに表れる場合、このサンプルの偏りが、機械学習により機械学習モデルに習得される能力に悪影響を及ぼす可能性がある。悪影響の一例として、サンプルに表れる欠陥の種別及び背景の種別の組み合わせが偏っていることで、このサンプルを使用した機械学習が、機械学習モデルに対して、種別に応じて欠陥を検出する能力ではなく、背景の種別を識別する能力を習得させてしまう可能性がある。

【0009】

具体例として、第１製品及び第２製品の２種類の製品に対して、第１欠陥及び第２欠陥の２種類の欠陥が発生すると仮定する。また、この例において、第１製品では第１欠陥が生じやすく、第２製品では第２欠陥が生じやすいと仮定する。更に、得られたサンプルが、第１欠陥を含む第１製品の写る画像、及び第２欠陥を含む第２製品の写る画像に偏っていると仮定する。すなわち、第２欠陥を含む第１製品の写る画像及び第１欠陥を含む第２製品の写る画像が機械学習のサンプルとして得られていないと仮定する。この仮定の下で得られたサンプルを使用して、種別に応じて欠陥を検出する能力を習得させることを意図して機械学習モデルの機械学習を実行したと想定する。この場合、得られるサンプルに上記偏りが生じていることで、当該機械学習により、機械学習モデルは、種別に応じて欠陥を検出識別する能力ではなく、背景の種別を識別する能力を習得してしまう可能性がある。すなわち、サンプルが偏っていることで、意図した能力とは別の能力を機械学習モデルに習得させてしまう可能性がある。背景の種別を識別する能力を習得してしまった場合には、第２欠陥を含む第１製品の写る画像が与えられたときに、訓練済みの機械学習モデルは、第１製品に第１欠陥が生じていると誤検出してしまう。

【0010】

したがって、いずれのケースにおいても、サンプルの得られていない組み合わせが存在する場合、その組み合わせに対する外観検査の精度が低下する（最悪の場合には、検査不能となる）という問題が生じ得る。よって、外観検査の精度の向上を図るためには、欠陥の種別及び背景の種別の組み合わせに漏れのないようにサンプルが収集されるのが望ましい。しかしながら、上記のとおり、そのように漏れなくサンプルを収集するのにはコストがかかるという問題点があった。特に、欠陥の種別及び背景の種別が多くなればなるほど、発生確率の極端に低い、欠陥の種別及び背景の種別の特定の組み合わせが存在し、これによって、漏れなくサンプルを収集するのに極めてコストがかかってしまう可能性がある。

【0011】

なお、この問題点は、撮影画像に基づいて製品の外観検査を実施する場面に特有の問題ではない。少なくとも２つ以上の特徴が表れ得る所定種類のデータについて、多様なサンプルを収集するあらゆる場面で生じ得る。所定種類のデータとは、上記画像データの他、例えば、音データ、数値データ、テキストデータ、その他センサにより得られる測定データ等である。複数の特徴が表れ得る所定種類のデータのサンプルを収集する場面とは、上記撮影画像に基づいて製品の外観検査を実施する場面の他、例えば、器官の写る医療用画像に基づいて患者の状態を推定する場面、撮影画像に写る移動体に関する属性を推定する場面、車両の備えるセンサにより得られた測定データに基づいて車両の運転状態を推定する場面、その他、機械の状態を観測するセンサにより得られた測定データに基づいて機械の状態を推定する場面、等である。移動体は、例えば、歩行者、車両等である。移動体に関する属性とは、例えば、移動体の移動状態（例えば、速度、経路等）、移動体の密集度合い（例えば、混雑度等）である。

【0012】

具体例として、特許文献３では、２つの推定器により、医療用画像から病変領域を検出することが提案されている。特許文献４では、訓練済みのニューラルネットワークを利用して、撮影画像に写る人物の密度分布及び移動ベクトルの分布を当該撮影画像から推定することが提案されている。特許文献５では、運転者が車両を運転している間に測定された加速度の測定データに基づいて、運転者の運転性向を判定することが提案されている。特許文献６では、音声及び振動の少なくとも一方の測定データを利用して、設備の故障の予兆を診断する方法が提案されている。

【0013】

これらの場面でも、サンプルの得られていない特徴の種別の組み合わせが存在する場合には、それぞれの推定の精度が低下するという問題が生じ得る。よって、推定の精度の向上を図るためには、各特徴の種別の組み合わせに漏れのないようにサンプルを収集するのが望ましい。しかしながら、漏れなくサンプルを収集するのにはコストがかかるという問題点が生じ得る。

【0014】

本発明は、一側面では、このような実情を鑑みてなされたものであり、その目的は、少なくとも２つ以上の特徴が表れ得る所定種類のデータについて多様なサンプルを収集するのにかかるコストを低減するための技術を提供することである。

【課題を解決するための手段】

【0015】

本発明は、上述した課題を解決するために、以下の構成を採用する。

【0016】

すなわち、本発明の一側面に係るデータ生成システムは、所定種類のデータの第１サンプルであって、第１特徴を含む第１サンプル、及び前記第１特徴の種別を示す第１ラベルの組み合わせによりそれぞれ構成される複数の第１学習データセットを取得する第１取得部と、前記所定種類のデータの第２サンプルであって、前記第１特徴とは異なる第２特徴を含む第２サンプル、及び前記第２特徴の種別を示す第２ラベルの組み合わせによりそれぞれ構成される複数の第２学習データセットを取得する第２取得部と、取得された前記複数の第１学習データセットを使用して、第１生成器を含む第１学習モデルの機械学習を実施する第１訓練部であって、前記第１学習モデルの機械学習を実施することは、前記各第１学習データセットについて、前記第１生成器により前記第１ラベルから生成される疑似サンプルが前記第１サンプルに適合するように前記第１生成器を訓練することを含む、第１訓練部と、取得された前記複数の第２学習データセットを使用して、第２生成器を含む第２学習モデルの機械学習を実施する第２訓練部であって、前記第２学習モデルの機械学習を実施することは、前記各第２学習データセットについて、前記第２生成器により前記第２ラベルから生成される疑似サンプルが前記第２サンプルに適合するように前記第２生成器を訓練することを含む、第２訓練部と、前記第１ラベルに対応する第１入力値を訓練済みの前記第１生成器に与えることで、前記第１特徴を含む第１疑似サンプルを生成する第１生成部と、前記第２ラベルに対応する第２入力値を訓練済みの前記第２生成器に与えることで、前記第２特徴を含む第２疑似サンプルを生成する第２生成部と、生成された前記第１疑似サンプルに生成された前記第２疑似サンプルを合成することで、前記所定種類のデータの新たなサンプルを生成するデータ合成部と、を備える。

【0017】

当該構成に係るデータ生成システムでは、複数の第１学習データセットを使用した機械学習により、第１生成器は、第１特徴を含む第１サンプルに適合する疑似サンプルを第１ラベルから生成するように訓練される。複数の第２学習データセットを使用した機械学習により、第２生成器は、第２特徴を含む第２サンプルに適合する疑似サンプルを第２ラベルから生成するように訓練される。各機械学習の結果、第１生成器は、与えられる入力値に対応する種別の第１特徴を含む疑似サンプルを生成する能力を習得し、第２生成器は、与えられる入力値に対応する種別の第２特徴を含む疑似サンプルを生成する能力を習得する。当該構成に係るデータ生成システムは、第１生成器及び第２生成器を利用して第１疑似サンプル及び第２疑似サンプルを生成し、生成された第１疑似サンプル及び第２疑似サンプルを合成することで、所定種類のデータの新たなサンプルを生成する。

【0018】

したがって、当該構成に係るデータ生成システムでは、それぞれ学習済み（以下、「訓練済み」とも記載する）の第１生成器及び第２生成器に与える入力に基づいて、生成される新たなサンプルに含まれる第１特徴及び第２特徴それぞれの種別を制御することができる。つまり、それぞれ学習済みの第１生成器及び第２生成器を利用することで、任意の種別の組み合わせの第１特徴及び第２特徴を含む新たなサンプルを生成することができる。サンプルが得られていない又はサンプル数の少ない、第１特徴及び第２特徴の種別の組み合わせが存在する場合には、その種別の組み合わせの第１特徴及び第２特徴を含む新たなサンプルを自在に生成することができる。加えて、それぞれ学習済みの第１生成器及び第２生成器を利用して、第１特徴及び第２特徴を含む新たなサンプルを生成する処理の多くの部分は自動化することができる。よって、当該構成によれば、多様な組み合わせのサンプルを自在かつ自動的に生成することができるため、少なくとも２つ以上の特徴が表れ得る所定種類のデータについて多様なサンプルを収集するのにかかるコストを低減することができる。

【0019】

なお、第１特徴及び第２特徴はそれぞれ、実施の形態に応じて適宜選択されてよい。例えば、第１特徴及び第２特徴はそれぞれ、データに直接的又は間接的に表れ得る成分（要素）に関するものであってよい。直接的に表れるとは、画像データに写る等のデータそのものに表れることを指す。間接的に表れるとは、画像データから推定される等のデータから導出されることを指す。第１特徴及び第２特徴のうちの少なくとも一方は、何らかの推定処理の対象となり得る成分に関するものであってよい。推定は、「推論」と読み替えられてもよい。推定することには、予測することが含まれてもよい。推定することは、例えば、グループ分け（分類、識別）により離散値（例えば、特定の特徴に対応するクラス）を導出すること、及び回帰により連続値（例えば、特定の特徴が出現している確率）を導出することのいずれかであってよい。推定することには、当該グループ分け又は回帰の結果に基づいて、検出、判定等の何らかの認定を行うことが含まれてもよい。音データを含む動画像データ等のように、所定種類のデータは、複数種類のデータにより構成されてよい。この場合、第１特徴及び第２特徴はそれぞれ、複数種類のうちの少なくともいずれかのデータに関するものであってよい。例えば、第１特徴は、画像データに関し、第２特徴は、音データに関する等のように、合成可能であれば、第１特徴及び第２特徴それぞれに関するデータの種類は異なっていてもよい。

【0020】

第１生成器及び第２生成器はそれぞれ、機械学習モデルにより構成される。各生成器の機械学習モデルは、各ラベルに対応する入力値の入力に応じて、データの各サンプルを模した疑似的なサンプル（疑似サンプル）を生成するように構成される。「疑似サンプル」は、各生成器により生成されたサンプルであることを指す。各生成器の機械学習モデルの種類は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。各生成器の機械学習モデルには、例えば、ニューラルネットワークが用いられてよい。ニューラルネットワークの種類は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。各生成器に対する入力値及び合成のパラメータはそれぞれ、手動的に決定されてもよいし、ランダム等の方法により自動的に決定されてもよい。第１生成器及び第２生成器の訓練に使用される第１サンプル及び第２サンプルは、現実世界から得られたものであってもよいし、シミュレーション、手動操作等により人工的に生成されたものであってもよい。

【0021】

上記一側面に係るデータ生成システムにおいて、前記所定種類のデータは、第１成分及び前記第１成分とは異なる第２成分であって、所定の推定の対象となる第２成分を含んでもよい。前記第１特徴は、前記第１成分に関するものであってよく、前記第２特徴は、前記第２成分に関するものであってよい。当該構成によれば、低コストで収集された多様なサンプルを所定の推定の実施に反映することで、当該推定の精度を高めることができる。

【0022】

上記一側面に係るデータ生成システムにおいて、前記第１学習モデルは、第１識別器を更に含んでもよい。前記第１生成器を訓練することは、前記第１識別器に入力された入力サンプルが、前記複数の第１学習データセットのいずれかから得られた前記第１サンプルか前記第１生成器により生成された疑似サンプルかを識別するように前記第１識別器を訓練するステップ、及び前記第１識別器の前記識別の性能を低下させるような疑似サンプルを生成するように前記第１生成器を訓練するステップ、を交互に繰り返し実行することにより構成されてよい。

【0023】

当該構成では、第１識別器の訓練と第１生成器の訓練とを交互に繰り返すことで、第１識別器の識別性能の向上に応じて、第１サンプルに適合する疑似サンプルを生成する第１生成器の性能の向上を図ることができる。したがって、当該構成によれば、第１特徴を含む適切な疑似サンプルを生成可能な学習済みの第１生成器を構築することができ、これによって、適切で多様なサンプルを収集するのにかかるコストを低減することができる。

【0024】

上記一側面に係るデータ生成システムにおいて、前記第２学習モデルは、第２識別器を更に含んでもよい。前記第２生成器を訓練することは、前記第２識別器に入力された入力サンプルが、前記複数の第２学習データセットのいずれかから得られた前記第２サンプルか前記第２生成器により生成された疑似サンプルかを識別するように前記第２識別器を訓練するステップ、及び前記第２識別器の前記識別の性能を低下させるような疑似サンプルを生成するように前記第２生成器を訓練するステップ、を交互に繰り返し実行することにより構成されてよい。

【0025】

当該構成では、第２識別器の訓練と第２生成器の訓練とを交互に繰り返すことで、第２識別器の識別性能の向上に応じて、第２サンプルに適合する疑似サンプルを生成する第２生成器の性能の向上を図ることができる。したがって、当該構成によれば、第２特徴を含む適切な疑似サンプルを生成可能な学習済みの第２生成器を構築することができ、これによって、適切で多様なサンプルを収集するのにかかるコストを低減することができる。

【0026】

上記一側面に係るデータ生成システムは、前記第２特徴の属性のサンプル値、前記第２特徴を反映する程度を示す反映レベル、及び前記第２ラベルの組み合わせによりそれぞれ構成される複数の第３学習データセットを取得する第３取得部と、取得された前記複数の第３学習データセットを使用して、第３生成器を含む第３学習モデルの機械学習を実施する第３訓練部であって、前記第３学習モデルの機械学習を実施することは、前記各第３学習データセットについて、前記反映レベル及び前記第２ラベルから前記第３生成器により生成される前記第２特徴の属性の疑似的な値が前記サンプル値に適合するように前記第３生成器を訓練することを含む、第３訓練部と、を更に備えてもよい。前記合成することは、前記第２ラベルに対応する第２入力値並びに前記反映レベルに対応する第３入力値を訓練済みの前記第３生成器に与えることで、前記第２特徴の属性の疑似値を生成すること、及び前記第２疑似サンプルに含まれる前記第２特徴の属性の値が生成された前記疑似値に適合するように前記第２疑似サンプルを変換すると共に、前記第１疑似サンプルに前記第２疑似サンプルを合成すること、を含んでよい。

【0027】

当該構成では、複数の第３学習セットを使用した機械学習により、第３生成器は、第２特徴の属性のサンプル値に適合する疑似的な値を反映レベル及び第２ラベルから生成するように訓練される。この機械学習の結果、第３生成器は、与えられる入力に対応する第２特徴の属性の疑似値を生成する能力を習得する。そのため、学習済みの第３生成器に与える入力に基づいて、生成される新たなサンプルに含まれる第２特徴の属性の値を制御することができる。つまり、学習済みの第３生成器を更に利用することで、任意の属性値を有する第２特徴を含む新たなサンプルを自在に生成することができる。したがって、当該構成によれば、少なくとも２つ以上の特徴が表れ得る所定種類のデータについて更に多様なサンプルを生成することができる。なお、「属性」は、例えば、大きさ、（時間的又は領域的）位置、明度、振幅、頻度（時間的又は領域的）等の特徴の有する性質の程度又は分類に関する。

【0028】

上記一側面に係るデータ生成システムは、前記第２特徴の属性のサンプル値、前記第２特徴を反映する程度を示す反映レベル、及び前記第２ラベルの組み合わせによりそれぞれ構成される複数の第３学習データセットを取得する第３取得部と、取得された前記複数の第３学習データセットを使用して、第３生成器を含む第３学習モデルの機械学習を実施する第３訓練部であって、前記第３学習モデルの機械学習を実施することは、前記各第３学習データセットについて、前記反映レベル及び前記第２ラベルから前記第３生成器により生成される前記第２特徴の属性の疑似的な値が前記サンプル値に適合するように前記第３生成器を訓練することを含む、第３訓練部と、を更に備えてもよい。前記所定種類のデータは、第１成分及び前記第１成分とは異なる第２成分であって、所定の推定の対象となる第２成分を含んでもよい。前記第１特徴は、前記第１成分に関するものであってよく、前記第２特徴は、前記第２成分に関するものであってよい。前記所定の推定は、前記第２成分を検出することであってよい。前記合成することは、前記第２ラベルに対応する第２入力値、並びに前記反映レベルに対応する第３入力値であって、前記検出の限界に応じて与えられた第３入力値を訓練済みの前記第３生成器に与えることで、前記第２特徴の属性の疑似値を生成すること、及び前記第２疑似サンプルに含まれる前記第２特徴の属性の値が生成された前記疑似値に適合するように前記第２疑似サンプルを変換すると共に、前記第１疑似サンプルに前記第２疑似サンプルを合成すること、を含んでもよい。当該構成によれば、少なくとも２つ以上の特徴が表れ得る所定種類のデータについて、検出の限界事例に対応する多様なサンプルを生成することができる。また、生成された多様なサンプルを所定の推定の実施に反映することで、当該推定の精度を高めることができる。

【0029】

上記一側面に係るデータ生成システムにおいて、前記第３学習モデルは、第３識別器を更に含んでもよい。前記第３生成器を訓練することは、前記第３識別器に入力された入力値が、前記複数の第３学習データセットのいずれかから得られた前記サンプル値か前記第３生成器により生成された疑似的な値かを識別するように前記第３識別器を訓練するステップ、及び前記第３識別器の前記識別の性能を低下させるような前記第２特徴の属性の疑似的な値を生成するように前記第３生成器を訓練するステップ、を交互に繰り返し実行することにより構成されてよい。

【0030】

当該構成では、第３識別器の訓練と第３生成器の訓練とを交互に繰り返すことで、第３識別器の識別性能の向上に応じて、第２特徴の属性のサンプル値に適合する疑似値を生成する第３生成器の性能の向上を図ることができる。したがって、当該構成によれば、第２特徴の属性の適切な疑似値を生成可能な学習済みの第３生成器を構築することができ、これによって、適切で多様なサンプルを収集するのにかかるコストを低減することができる。

【0031】

上記一側面に係るデータ生成システムにおいて、前記各第３学習データセットは、前記第１ラベルを更に備えてもよい。前記第３学習モデルの機械学習を実施することは、前記反映レベル、前記第２ラベル及び前記第１ラベルから前記第３生成器により生成される前記第２特徴の属性の疑似的な値が前記サンプル値に適合するように前記第３生成器を訓練することを含んでもよい。

【0032】

当該構成では、第３生成器は、第１ラベルに示される第１特徴の種別に更に対応して、第２特徴の属性の疑似値を生成するように訓練される。そのため、学習済みの第３生成器によれば、第１特徴の種別に応じて、第２特徴の属性の値を制御することができる。つまり、学習済みの第３生成器を利用することで、第１特徴の種別に適した属性値を有する第２特徴を含む新たなサンプルを自在に生成することができる。したがって、当該構成によれば、少なくとも２つ以上の特徴が表れ得る所定種類のデータについて更に多様で適切なサンプルを生成することができる。

【0033】

上記一側面に係るデータ生成システムにおいて、前記反映レベルは、連続値により構成されてよい。当該構成によれば、第２特徴の属性値を連続値により制御することができるため、少なくとも２つ以上の特徴が表れ得る所定種類のデータについて更に多様なサンプルを生成することができる。なお、反映レベルの構成は、このような例に限られなくてもよい。反映レベルは、離散値により構成されてもよい。

【0034】

上記一側面に係るデータ生成システムにおいて、前記複数の第２学習データセットを取得することは、前記所定種類のデータの第３サンプルであって、前記第１特徴及び前記第２特徴をそれぞれ含む複数の第３サンプルを取得するステップ、訓練済みの前記第１生成器により生成された疑似サンプルから当該疑似サンプルを生成する際に前記第１生成器に与えられた入力を推定するように訓練された推定器に前記各第３サンプルを与えることで、前記各第３サンプルに対応する疑似サンプルを生成するために訓練済みの前記第１生成器に与える入力の推定値を推定するステップ、推定された前記推定値を訓練済みの前記第１生成器に与えることで、前記第３サンプル毎に第３疑似サンプルを生成するステップ、並びに前記各第３サンプルから前記第３疑似サンプルを差分することで、前記各第２学習データセットの前記第２サンプルを生成するステップ、を含んでもよい。基本的には、学習済みの第１生成器は、第１特徴を含み、かつ第２特徴を含まない疑似サンプルを生成するように構成される。そのため、当該構成によれば、第１特徴を含まず、かつ第２特徴を含む第２サンプルを適切に生成することができる。また、当該構成によれば、第３サンプルから第２サンプルを自動的に生成可能であるため、第２サンプルを取得するコストを低減することができる。

【0035】

上記一側面に係るデータ生成システムは、訓練済みの前記第１生成器に与える入力のサンプル値、及び訓練済みの前記第１生成器に当該サンプル値を与えることで生成される第４疑似サンプルの組み合わせによりそれぞれ構成される複数の第４学習データセットを取得する第４取得部と、取得された前記複数の第４学習データセットを使用して、前記推定器の機械学習を実施することで、訓練済みの前記推定器を構築する第４訓練部であって、前記推定器の機械学習を実施することは、前記各第４学習データセットについて、訓練済みの前記第１生成器に与えた入力を前記第４疑似サンプルから前記推定器により推定することで得られる推定値が前記サンプル値に適合するように前記推定器を訓練することを含む、第４訓練部と、を更に備えてもよい。当該構成によれば、複数の第４学習データセットを使用した機械学習により、第３サンプルに対応し、第１特徴を含み、かつ第２特徴を含まない疑似サンプルを生成するのに学習済みの第１生成器に与える入力値を適切に推定可能な学習済みの推定器を生成することができる。よって、生成された学習済みの推定器を利用することで、第１特徴を含まず、かつ第２特徴を含む第２サンプルを第３サンプルから適切に生成することができる。

【0036】

上記一側面に係るデータ生成システムにおいて、前記所定種類のデータは、背景及び前景を含む画像データであってよい。前記第１特徴は、前記背景に関するものであってよく、前記第２特徴は、前記前景に関するものであってよい。当該構成によれば、画像データについて、様々な種別の背景及び前景の組み合わせのサンプルを収集するのにかかるコストを低減することができる。

【0037】

上記一側面に係るデータ生成システムにおいて、前記所定種類のデータは、製品の写る画像データであってよい。前記第１特徴は、前記製品を含む背景に関するものであってよく、前記第２特徴は、前記製品の欠陥に関するものであってよい。当該構成によれば、様々な種別の製品及び欠陥の組み合わせのサンプルを収集するのにかかるコストを低減することができる。また、生成された多様なサンプルを外観検査の実施に反映することで、外観検査の精度を高めることができる。

【0038】

本発明の形態は、上記データ生成システムに限られなくてもよい。上記データ生成システムの構成の少なくとも一部分を抽出することで、新たな形態に係る装置（又はシステム）を構成してもよい。例えば、本発明の一側面に係る学習装置は、上記各形態に係るデータ生成システムから、少なくともいずれかの生成器を機械学習により生成する部分を抽出することにより構成されてよい。また、例えば、本発明の一側面に係るデータ生成装置は、上記各形態に係るデータ生成システムから、学習済みの生成器を利用して、新たなサンプルを生成する部分を抽出することにより構成されてよい。

【0039】

一例として、本発明の一側面に係る学習装置は、所定種類のデータの第１サンプルであって、第１特徴を含む第１サンプル、及び前記第１特徴の種別を示す第１ラベルの組み合わせによりそれぞれ構成される複数の第１学習データセットを取得する第１取得部と、前記所定種類のデータの第２サンプルであって、前記第１特徴とは異なる第２特徴を含む第２サンプル、及び前記第２特徴の種別を示す第２ラベルの組み合わせによりそれぞれ構成される複数の第２学習データセットを取得する第２取得部と、取得された前記複数の第１学習データセットを使用して、第１生成器を含む第１学習モデルの機械学習を実施する第１訓練部であって、前記第１学習モデルの機械学習を実施することは、前記各第１学習データセットについて、前記第１生成器により前記第１ラベルから生成される疑似サンプルが前記第１サンプルに適合するように前記第１生成器を訓練することを含む、第１訓練部と、取得された前記複数の第２学習データセットを使用して、第２生成器を含む第２学習モデルの機械学習を実施する第２訓練部であって、前記第２学習モデルの機械学習を実施することは、前記各第２学習データセットについて、前記第２生成器により前記第２ラベルから生成される疑似サンプルが前記第２サンプルに適合するように前記第２生成器を訓練することを含む、第２訓練部と、を備える。

【0040】

なお、「学習装置」は、訓練済みの機械学習モデル（生成器）を生成するための「モデル生成装置」又は単に「生成装置」と読み替えられてよい。学習方法は、訓練済みの機械学習モデルを生成するためのモデル生成方法又は単に生成方法と読み替えられてよい。すなわち、学習方法は、訓練済みの機械学習モデルを生成（生産）する方法に相当する。

【0041】

その他の例として、本発明の一側面に係るデータ生成装置は、所定種類のデータの第１サンプルであって、第１特徴を含む第１サンプル、及び前記第１特徴の種別を示す第１ラベルの組み合わせによりそれぞれ構成される複数の第１学習データセットを使用した機械学習により構築された訓練済みの第１生成器を有する第１生成部であって、前記機械学習により、前記第１生成器は、前記各第１学習データセットについて、前記第１生成器により前記第１ラベルから生成される疑似サンプルが前記第１サンプルに適合するように訓練され、第１生成部は、前記第１ラベルに対応する第１入力値を訓練済みの前記第１生成器に与えることで、前記第１特徴を含む第１疑似サンプルを生成する、第１生成部と、前記所定種類のデータの第２サンプルであって、前記第１特徴とは異なる第２特徴を含む第２サンプル、及び前記第２特徴の種別を示す第２ラベルの組み合わせによりそれぞれ構成される複数の第２学習データセットを使用した機械学習により構築された訓練済みの第２生成器を有する第２生成部であって、前記機械学習により、前記第２生成器は、前記各第２学習データセットについて、前記第２生成器により前記第２ラベルから生成される疑似サンプルが前記第２サンプルに適合するように訓練され、前記第２生成部は、前記第２ラベルに対応する第２入力値を訓練済みの前記第２生成器に与えることで、前記第２特徴を含む第２疑似サンプルを生成する、第２生成部と、生成された前記第１疑似サンプルに生成された前記第２疑似サンプルを合成することで、前記所定種類のデータの新たなサンプルを生成するデータ合成部と、を備える。

【0042】

また、上記各形態に係るデータ生成システム、学習装置、及びデータ生成装置それぞれの別の態様として、本発明の一側面は、以上の各構成の全部又はその一部を実現する情報処理方法であってもよいし、プログラムであってもよいし、このようなプログラムを記憶した、コンピュータその他装置、機械等が読み取り可能な記憶媒体であってもよい。ここで、コンピュータ等が読み取り可能な記憶媒体とは、プログラム等の情報を、電気的、磁気的、光学的、機械的、又は、化学的作用によって蓄積する媒体である。

【0043】

例えば、本発明の一側面に係るデータ生成方法は、コンピュータが、所定種類のデータの第１サンプルであって、第１特徴を含む第１サンプル、及び前記第１特徴の種別を示す第１ラベルの組み合わせによりそれぞれ構成される複数の第１学習データセットを取得するステップと、前記所定種類のデータの第２サンプルであって、前記第１特徴とは異なる第２特徴を含む第２サンプル、及び前記第２特徴の種別を示す第２ラベルの組み合わせによりそれぞれ構成される複数の第２学習データセットを取得するステップと、取得された前記複数の第１学習データセットを使用して、第１生成器を含む第１学習モデルの機械学習を実施するステップであって、前記第１学習モデルの機械学習を実施することは、前記各第１学習データセットについて、前記第１生成器により前記第１ラベルから生成される疑似サンプルが前記第１サンプルに適合するように前記第１生成器を訓練することを含む、ステップと、取得された前記複数の第２学習データセットを使用して、第２生成器を含む第２学習モデルの機械学習を実施するステップであって、前記第２学習モデルの機械学習を実施することは、前記各第２学習データセットについて、前記第２生成器により前記第２ラベルから生成される疑似サンプルが前記第２サンプルに適合するように前記第２生成器を訓練することを含む、ステップと、前記第１ラベルに対応する第１入力値を訓練済みの前記第１生成器に与えることで、前記第１特徴を含む第１疑似サンプルを生成するステップと、前記第２ラベルに対応する第２入力値を訓練済みの前記第２生成器に与えることで、前記第２特徴を含む第２疑似サンプルを生成するステップと、生成された前記第１疑似サンプルに生成された前記第２疑似サンプルを合成することで、前記所定種類のデータの新たなサンプルを生成するステップと、を実行する、情報処理方法である。

【0044】

また、例えば、本発明の一側面に係るデータ生成方法は、コンピュータが、訓練済みの第１生成器を利用して、第１特徴を含む第１疑似サンプルを生成するステップであって、前記訓練済みの第１生成器は、所定種類のデータの第１サンプルであって、第１特徴を含む第１サンプル、及び前記第１特徴の種別を示す第１ラベルの組み合わせによりそれぞれ構成される複数の第１学習データセットを使用した機械学習により構築され、前記機械学習では、前記第１生成器は、前記各第１学習データセットについて、前記第１生成器により前記第１ラベルから生成される疑似サンプルが前記第１サンプルに適合するように訓練され、前記コンピュータは、前記第１ラベルに対応する第１入力値を前記訓練済みの前記第１生成器に与えることで、前記第１特徴を含む前記第１疑似サンプルを生成する、ステップと、訓練済みの第２生成器を利用して、第２特徴を含む第２疑似サンプルを生成するステップであって、前記訓練済みの第２生成器は、前記所定種類のデータの第２サンプルであって、前記第１特徴とは異なる第２特徴を含む第２サンプル、及び前記第２特徴の種別を示す第２ラベルの組み合わせによりそれぞれ構成される複数の第２学習データセットを使用した機械学習により構築され前記機械学習では、前記第２生成器は、前記各第２学習データセットについて、前記第２生成器により前記第２ラベルから生成される疑似サンプルが前記第２サンプルに適合するように訓練され、前記コンピュータは、前記第２ラベルに対応する第２入力値を前記訓練済みの前記第２生成器に与えることで、前記第２特徴を含む第２疑似サンプルを生成する、ステップと、生成された前記第１疑似サンプルに生成された前記第２疑似サンプルを合成することで、前記所定種類のデータの新たなサンプルを生成するステップと、を実行する、情報処理方法である。

【0045】

また、例えば、本発明の一側面に係るデータ生成プログラムは、コンピュータに、訓練済みの第１生成器を利用して、第１特徴を含む第１疑似サンプルを生成するステップであって、前記訓練済みの第１生成器は、所定種類のデータの第１サンプルであって、第１特徴を含む第１サンプル、及び前記第１特徴の種別を示す第１ラベルの組み合わせによりそれぞれ構成される複数の第１学習データセットを使用した機械学習により構築され、前記機械学習では、前記第１生成器は、前記各第１学習データセットについて、前記第１生成器により前記第１ラベルから生成される疑似サンプルが前記第１サンプルに適合するように訓練され、前記コンピュータは、前記第１ラベルに対応する第１入力値を前記訓練済みの前記第１生成器に与えることで、前記第１特徴を含む前記第１疑似サンプルを生成する、ステップと、訓練済みの第２生成器を利用して、第２特徴を含む第２疑似サンプルを生成するステップであって、前記訓練済みの第２生成器は、前記所定種類のデータの第２サンプルであって、前記第１特徴とは異なる第２特徴を含む第２サンプル、及び前記第２特徴の種別を示す第２ラベルの組み合わせによりそれぞれ構成される複数の第２学習データセットを使用した機械学習により構築され、前記機械学習では、前記第２生成器は、前記各第２学習データセットについて、前記第２生成器により前記第２ラベルから生成される疑似サンプルが前記第２サンプルに適合するように訓練され、前記コンピュータは、前記第２ラベルに対応する第２入力値を前記訓練済みの前記第２生成器に与えることで、前記第２特徴を含む第２疑似サンプルを生成する、ステップと、生成された前記第１疑似サンプルに生成された前記第２疑似サンプルを合成することで、前記所定種類のデータの新たなサンプルを生成するステップと、を実行させるための、プログラムである。

【発明の効果】

【0046】

本発明によれば、少なくとも２つ以上の特徴が表れ得る所定種類のデータについて多様なサンプルを収集するのにかかるコストを低減することができる。

【図面の簡単な説明】

【0047】

【図1】図１は、本発明が適用される場面の一例を模式的に例示する。

【図2A】図２Ａは、実施の形態に係る第１特徴及び第２特徴を含むサンプルの一例を模式的に例示する。

【図2B】図２Ｂは、実施の形態に係る第１特徴及び第２特徴を含むサンプルの一例を模式的に例示する。

【図3】図３は、実施の形態に係る学習装置のハードウェア構成の一例を模式的に例示する。

【図4】図４は、実施の形態に係るデータ生成装置のハードウェア構成の一例を模式的に例示する。

【図5】図５は、実施の形態に係る推定装置のハードウェア構成の一例を模式的に例示する。

【図6】図６は、実施の形態に係る学習装置のソフトウェア構成の一例を模式的に例示する。

【図7A】図７Ａは、実施の形態に係る学習装置による第１学習モデルの機械学習の過程を模式的に例示する。

【図7B】図７Ｂは、実施の形態に係る学習装置による第２学習モデルの機械学習の過程を模式的に例示する。

【図7C】図７Ｃは、実施の形態に係る学習装置による第３学習モデルの機械学習の過程を模式的に例示する。

【図7D】図７Ｄは、実施の形態に係る学習装置による推定器の機械学習の過程を模式的に例示する。

【図7E】図７Ｅは、実施の形態に係る学習装置による第２サンプルの生成過程を模式的に例示する。

【図8】図８は、実施の形態に係るデータ生成装置のソフトウェア構成の一例を模式的に例示する。

【図9】図９は、実施の形態に係る推定装置のソフトウェア構成の一例を模式的に例示する。

【図10A】図１０Ａは、実施の形態に係る学習装置による第１学習モデルの機械学習の処理手順の一例を例示する。

【図10B】図１０Ｂは、実施の形態に係る学習装置による第１学習モデルの機械学習に関するサブルーチンの処理手順の一例を例示する。

【図11A】図１１Ａは、実施の形態に係る学習装置による第２学習モデルの機械学習の処理手順の一例を例示する。

【図11B】図１１Ｂは、実施の形態に係る学習装置による第２学習モデルの機械学習に関するサブルーチンの処理手順の一例を例示する。

【図12A】図１２Ａは、実施の形態に係る学習装置による第３学習モデルの機械学習の処理手順の一例を例示する。

【図12B】図１２Ｂは、実施の形態に係る学習装置による第３学習モデルの機械学習に関するサブルーチンの処理手順の一例を例示する。

【図13】図１３は、実施の形態に係る学習装置による推定器の機械学習の処理手順の一例を例示する。

【図14】図１４は、実施の形態に係る学習装置による第２サンプルの生成に関する処理手順の一例を例示する。

【図15】図１５は、実施の形態に係るデータ生成装置の処理手順の一例を例示する。

【図16】図１６は、実施の形態に係るデータ生成装置の受付画面であって、各入力値の入力を受け付けるための受付画面の一例を模式的に例示する。

【図17A】図１７Ａは、実施の形態に係る推定装置の処理手順の一例を例示する。

【図17B】図１７Ｂは、実施の形態に係る第２特徴に関する推定処理の過程の一例を例示する。

【図18A】図１８Ａは、実施の形態に係るデータ群の出力画面の一例を例示する。

【図18B】図１８Ｂは、実施の形態に係るデータ群の出力画面の一例を例示する。

【図19】図１９は、本発明が適用される他の場面の一例を模式的に例示する。

【図20A】図２０Ａは、他の形態に係る検査装置のハードウェア構成の一例を模式的に例示する。

【図20B】図２０Ｂは、他の形態に係る検査装置のソフトウェア構成の一例を模式的に例示する。

【図21】図２１は、本発明が適用される他の場面の一例を模式的に例示する。

【図22】図２２は、本発明が適用される他の場面の一例を模式的に例示する。

【図23】図２３は、本発明が適用される他の場面の一例を模式的に例示する。

【図24A】図２４Ａは、他の形態に係る監視装置のハードウェア構成の一例を模式的に例示する。

【図24B】図２４Ｂは、他の形態に係る監視装置のソフトウェア構成の一例を模式的に例示する。

【図25】図２５は、本発明が適用される他の場面の一例を模式的に例示する。

【図26A】図２６Ａは、他の形態に係る異常検知装置のハードウェア構成の一例を模式的に例示する。

【図26B】図２６Ｂは、他の形態に係る異常検知装置のソフトウェア構成の一例を模式的に例示する。

【図27】図２７は、他の形態に係る生成器の構成の一例を模式的に例示する。

【図28】図２８は、本発明が適用される他の場面の一例を模式的に例示する。

【図29】図２９は、他の形態に係る他の学習装置のハードウェア構成の一例を模式的に例示する。

【図30】図３０は、他の形態に係る他の学習装置のソフトウェア構成の一例を模式的に例示する。

【図31】図３１は、他の形態に係る他の学習装置の処理手順の一例を例示する。

【図32A】図３２Ａは、他の形態に係る推定装置のハードウェア構成の一例を模式的に例示する。

【図32B】図３２Ｂは、他の形態に係る推定装置のソフトウェア構成の一例を模式的に例示する。

【発明を実施するための形態】

【0048】

以下、本発明の一側面に係る実施の形態（以下、「本実施形態」とも表記する）を、図面に基づいて説明する。ただし、以下で説明する本実施形態は、あらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。なお、本実施形態において登場するデータを自然言語により説明しているが、より具体的には、コンピュータが認識可能な疑似言語、コマンド、パラメータ、マシン語等で指定される。

【0049】

§１ 適用例
図１は、本発明を適用した場面の一例を模式的に例示する。図１に示されるとおり、本実施形態に係る推定システム１００は、学習装置１、データ生成装置２及び推定装置３を備えている。学習装置１及びデータ生成装置２は、学習済みの第１生成器４１１及び第２生成器４２１を生成し、生成された学習済みの第１生成器４１１及び第２生成器４２１を利用して、所定種類のデータの新たなサンプル６５を生成するためのデータ生成システムを構成する。

【0050】

本実施形態に係る学習装置１は、それぞれ機械学習を実施することで、学習済みの第１生成器４１１及び第２生成器４２１を生成するように構成されたコンピュータである。具体的に、本実施形態に係る学習装置１は、所定種類のデータの第１サンプル５１１及び第１ラベル５１２の組み合わせによりそれぞれ構成される複数の第１学習データセット５１を取得する。また、本実施形態に係る学習装置１は、所定種類のデータの第２サンプル５２１及び第２ラベル５２２の組み合わせによりそれぞれ構成される複数の第２学習データセット５２を取得する。

【0051】

各サンプル（５１１、５２１）について、所定種類のデータは、何らかの特徴が表れ得るデータであれば、データの種類は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。所定種類のデータは、例えば、画像データ、音データ、数値データ、テキストデータ、その他各種センサにより得られるセンシングデータ等であってよい。所定種類のデータは、例えば、何らかの対象をセンサにより観測することで得られるセンシングデータであってもよい。センサは、例えば、カメラ、マイクロフォン、エンコーダ、Lidarセンサ、医療検査装置、バイタルセンサ、人感センサ、環境センサ等であってよい。カメラは、例えば、ＲＧＢ画像を取得するよう構成された一般的なデジタルカメラ、深度画像を取得するように構成された深度カメラ、赤外線量を画像化するように構成された赤外線カメラ等であってよい。医療検査装置は、例えば、レントゲン装置、ＣＴ装置、ＭＲＩ装置等であってよい。バイタルセンサは、例えば、体温計、血圧計、脈拍計等であってよい。環境センサは、例えば、光度計、温度計、湿度計等であってよい。

【0052】

第１サンプル５１１は、所定種類のデータに表れる第１特徴を含み、第１ラベル５１２は、その第１特徴の種別を示す。一方、第２サンプル５２１は、第１特徴とは異なる第２特徴を含み、第２ラベル５２２は、その第２特徴の種別を示す。第１特徴及び第２特徴はそれぞれ、実施の形態に応じて適宜選択されてよい。例えば、第１特徴及び第２特徴はそれぞれ、所定種類のデータに直接的又は間接的に表れ得る成分（要素）に関するものであってよい。直接的に表れるとは、画像データに写る等のデータそのものに表れることを指す。間接的に表れるとは、画像データから推定される等のデータから導出されることを指す。第１特徴及び第２特徴のうちの少なくとも一方は、何らかの推定処理の対象となり得るものであってよい。なお、対象のサンプルが対象の特徴を含んでいることは、対象のサンプルに対象の特徴が表れていることに相当する。

【0053】

本実施形態では、所定種類のデータは、第１成分及び第１成分とは異なる第２成分を含み得る。第２成分は、所定の推定の対象となる。各第１サンプル５１１に含まれる第１特徴は第１成分に関し、各第２サンプル５２１に含まれる第２特徴は第２成分に関する。推定することには、予測することが含まれてもよい。推定することは、例えば、グループ分け（分類、識別）により離散値（例えば、特定の特徴に対応するクラス）を導出すること、及び回帰により連続値（例えば、特定の特徴が出現している確率）を導出することのいずれかであってよい。推定することには、当該グループ分け又は回帰の結果に基づいて、検出、判定等の何らかの認定を行うことが含まれてもよい。音データを含む動画像データ等のように、所定種類のデータは、複数種類のデータにより構成されてよい。この場合、第１特徴及び第２特徴はそれぞれ、複数種類のうちの少なくともいずれかのデータに関するものであってよい。例えば、第１特徴は、画像データに関し、第２特徴は、音データに関する等のように、合成可能であれば、第１特徴及び第２特徴それぞれに関するデータの種類は異なっていてもよい。

【0054】

次に、本実施形態に係る学習装置１は、取得された複数の第１学習データセット５１を使用して、第１生成器４１１を含む第１学習モデル４１の機械学習を実施する。第１学習モデル４１の機械学習を実施することは、各第１学習データセット５１について、第１生成器４１１により第１ラベル５１２から生成される疑似サンプルが第１サンプル５１１に適合するように第１生成器４１１を訓練することを含む。また、本実施形態に係る学習装置１は、取得された複数の第２学習データセット５２を使用して、第２生成器４２１を含む第２学習モデル４２の機械学習を実施する。第２学習モデル４２の機械学習を実施することは、各第２学習データセット５２について、第２生成器４２１により第２ラベル５２２から生成される疑似サンプルが第２サンプル５２１に適合するように第２生成器４２１を訓練することを含む。各機械学習の結果、学習済みの第１生成器４１１及び第２生成器４２１が生成される。

【0055】

各生成器（４１１、４２１）は、機械学習モデルにより構成される。各生成器（４１１、４２１）の機械学習モデルは、各ラベル（５１２、５２２）に対応する入力値の入力に応じて、データの各サンプル（５１１、５２１）を模した疑似的なサンプル（疑似サンプル）を生成するように構成される。疑似サンプルは、各生成器（４１１、４２１）により生成されたサンプルであることを指す。各生成器（４１１、４２１）の機械学習モデルの種類は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。本実施形態では、各生成器（４１１、４２１）の機械学習モデルには、ニューラルネットワークが用いられる。詳細は後述する。なお、本実施形態に係る学習装置１は、訓練済みの機械学習モデルを生成するための「モデル生成装置」又は単に「生成装置」と称されてよい。

【0056】

本実施形態に係るデータ生成装置２は、それぞれ学習済みの第１生成器４１１及び第２生成器４２１を利用して、所定種類のデータの新たなサンプル６５を生成するように構成されたコンピュータである。具体的に、本実施形態に係るデータ生成装置２は、第１ラベル５１２に対応する第１入力値２２１を訓練済みの第１生成器４１１に与えることで、第１特徴を含む第１疑似サンプル６１を生成する。また、本実施形態に係るデータ生成装置２は、第２ラベル５２２に対応する第２入力値２２３を訓練済みの第２生成器４２１に与えることで、第２特徴を含む第２疑似サンプル６２を生成する。そして、本実施形態に係るデータ生成装置２は、生成された第１疑似サンプル６１及び生成された第２疑似サンプル６２を合成することで、所定種類のデータの新たなサンプル６５を生成する。

【0057】

本実施形態に係る推定装置３は、第２特徴についての所定の推定処理を実行するように構成されたコンピュータである。本実施形態では、所定の推定は、第２成分を検出すること（換言すると、第２特徴の存在を検出すること）である。本実施形態に係る推定装置３は、対象サンプル３２５を取得し、取得した対象サンプル３２５に対して第２成分を検出するための処理を実行する。検出処理におけるパラメータは、データ群３２０に基づいて決定されてよい。データ群３２０は、所定種類のデータの複数のサンプル３２１により構成される。複数のサンプル３２１には、データ生成装置２により生成されたサンプル６５が含まれてもよい。

【0058】

以上のとおり、本実施形態では、それぞれ学習済みの第１生成器４１１及び第２生成器４２１に与える入力に基づいて、生成される新たなサンプル６５に含まれる第１特徴及び第２特徴それぞれの種別を制御することができる。つまり、本実施形態に係るデータ生成装置２は、それぞれ学習済みの第１生成器４１１及び第２生成器４２１を利用することで、任意の種別の組み合わせの第１特徴及び第２特徴を含む新たなサンプル６５を生成することができる。サンプルが得られていない又はサンプル数の少ない、第１特徴及び第２特徴の種別の組み合わせが存在する場合に、その種別の組み合わせの第１特徴及び第２特徴を含む新たなサンプル６５を自在に生成することができる。加えて、それぞれ学習済みの第１生成器４１１及び第２生成器４２１を利用することで、新たなサンプル６５を生成する処理の多くを自動化することができる。よって、本実施形態によれば、多様な組み合わせのサンプルを自在かつ自動的に生成することができるため、少なくとも２つ以上の特徴が表れる所定種類のデータについて多様なサンプルを収集するのにかかるコストを低減することができる。

【0059】

更に、本実施形態では、新たなサンプル６５をデータ群３２０に追加することで、データ群３２０に含まれるサンプル３２１の多様化を図ることができる。すなわち、データ群３２０において、得られていなかった又は数の少なかった組み合わせについてのサンプルの充実化を実現することができる。これにより、その組み合わせに対する推定の精度を高めることができる。したがって、本実施形態によれば、上記のように生成された新たなサンプル６５を推定装置３における推定処理の実施に反映することで、当該推定処理の精度の向上を図ることができる。

【0060】

なお、図１に示されるとおり、学習装置１、データ生成装置２及び推定装置３は、ネットワークを介して互いに接続されてよい。ネットワークの種類は、例えば、インターネット、無線通信網、移動通信網、電話網、専用網等から適宜選択されてよい。ただし、学習装置１、データ生成装置２及び推定装置３の間でデータをやりとりする方法は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、学習装置１、データ生成装置２及び推定装置３の間では、記憶媒体を利用して、データがやりとりされてよい。

【0061】

また、図１の例では、学習装置１、データ生成装置２及び推定装置３は、それぞれ別個のコンピュータである。しかしながら、本実施形態に係るシステムの構成は、このような例に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。例えば、学習装置１、データ生成装置２及び推定装置３のうちの少なくともいずれかのペアは一体のコンピュータであってよい。また、例えば、学習装置１、データ生成装置２及び推定装置３のうちの少なくともいずれかは、複数台のコンピュータにより構成されてよい。

【0062】

ここで、図２Ａ及び図２Ｂを更に用いて、上記推定システム１００において取り扱い可能な所定種類のデータの具体例について説明する。図２Ａは、製品Ｐ１の外観検査を実施する場面で得られる、第１特徴及び第２特徴を含むサンプルＰ１０の一例を模式的に例示する。図２Ｂは、機械の動作音に基づいて機械の状態検査を実施する場面で得られる、第１特徴及び第２特徴を含むサンプルＰ２０の一例を模式的に例示する。

【0063】

図２Ａでは、製品Ｐ１の写る画像データが、所定種類のデータの一例である。この例では、第１特徴は、製品Ｐ１を含む背景Ｐ１１に関し、第２特徴は、製品Ｐ１に発生し得る欠陥Ｐ１２に関する。すなわち、サンプルＰ１０における製品Ｐ１を含む背景Ｐ１１の画像は、第１成分の一例であり、欠陥Ｐ１２の画像は、第２成分の一例である。この場合、各第１学習データセット５１において、第１サンプル５１１は、製品Ｐ１の写る画像データのサンプルであってよく、第１ラベル５１２は製品Ｐ１の種別を示してよい。第２サンプル５２１は、欠陥Ｐ１２の写る画像データのサンプルであってよく、第２ラベル５２２は欠陥Ｐ１２の種別を示してよい。

【0064】

製品Ｐ１及び欠陥Ｐ１２の種類は任意に選択されてよい。製品Ｐ１は、例えば、電子機器、電子部品、自動車部品、薬品、食品等の製造ラインで搬送される製品であってよい。電子部品は、例えば、基盤、チップコンデンサ、液晶、リレーの巻線等であってよい。自動車部品は、例えば、コンロッド、シャフト、エンジンブロック、パワーウィンドウスイッチ、パネル等であってよい。薬品は、例えば、包装済みの錠剤、未包装の錠剤等であってよい。製品は、製造過程完了後に生成される最終品、製造過程の途中で生成される中間品、及び製造過程を経過する前に用意される初期品のいずれであってもよい。欠陥Ｐ１２は、例えば、傷、汚れ、クラック、打痕、バリ、色ムラ、異物混入等であってよい。

【0065】

この例では、本実施形態に係る学習装置１は、上記複数の第１学習データセット５１を使用した機械学習により、入力に応じた種別の製品Ｐ１を含む背景の写る疑似サンプルを生成するように訓練された第１生成器４１１を構築することができる。また、本実施形態に係る学習装置１は、上記複数の第２学習データセット５２を使用した機械学習により、入力に応じた種別の欠陥Ｐ１２を含む前景の写る疑似サンプルを生成するように訓練された第２生成器４２１を構築することができる。本実施形態に係るデータ生成装置２では、それぞれ学習済みの第１生成器４１１及び第２生成器４２１を利用することで、任意の種別の組み合わせの製品Ｐ１及び欠陥Ｐ１２の写る新たなサンプル６５を生成する処理の多くを自動化することができる。そのため、製品Ｐ１及び欠陥Ｐ１２の写る多様なサンプルを収集するのにかかるコストを低減することができる。更に、本実施形態に係る推定装置３では、生成された新たなサンプル６５の追加によりデータ群３２０に含まれるサンプル３２１を多様化することで、製品Ｐ１の外観検査の精度の向上を図ることができる。

【0066】

一方、図２Ｂでは、機械の動作音を含む音データが、所定種類のデータの一例である。この例では、第１特徴は、機械の通常運転時に生じる動作音、機械の周囲の雑音等の環境音Ｐ２１に関し、第２特徴は、機械の経年劣化、故障等の異常により生じる異常音Ｐ２２に関する。すなわち、サンプルＰ２０における環境音Ｐ２１の成分が第１成分の一例であり、異常音Ｐ２２の成分が第２成分の一例である。この場合、各第１学習データセット５１において、第１サンプル５１１は、環境音Ｐ２１を含む音データのサンプルであってよく、第１ラベル５１２は、機械及び周囲環境の種別を示してもよい。各第２学習データセット５２において、第２サンプル５２１は、異常音Ｐ２２を含む音データのサンプルであってよく、第２ラベル５２２は、異常の種別を示してもよい。

【0067】

機械及び異常の種類は任意に選択されてよい。機械は、例えば、コンベア装置、産業用ロボット等の製造ラインを構成する装置であってよい。機械は、装置全体であってもよいし、モータ等の装置の一部であってもよい。機械の周囲環境は、例えば、機械の駆動する場所、時間等により区別されてよい。異常は、例えば、故障、異物の混入、汚れの付着、構成部品の摩耗であってもよい。

【0068】

この例では、本実施形態に係る学習装置１は、上記複数の第１学習データセット５１を使用した機械学習により、入力に応じた種別の機械及び周囲環境の環境音Ｐ２１を含む疑似サンプルを生成するように訓練された第１生成器４１１を構築することができる。また、本実施形態に係る学習装置１は、上記複数の第２学習データセット５２を使用した機械学習により、入力に応じた種別の異常音Ｐ２２を含む疑似サンプルを生成するように訓練された第２生成器４２１を構築することができる。本実施形態に係るデータ生成装置２では、それぞれ学習済みの第１生成器４１１及び第２生成器４２１を利用することで、任意の種別の組み合わせの環境音Ｐ２１及び異常音Ｐ２２を含む新たなサンプル６５を生成する処理の多くを自動化することができる。そのため、環境音Ｐ２１及び異常音Ｐ２２を含む多様なサンプルを収集するのにかかるコストを低減することができる。更に、本実施形態に係る推定装置３では、生成された新たなサンプル６５の追加によりデータ群３２０に含まれるサンプル３２１を多様化することで、機械の異常を検知する精度の向上を図ることができる。

【0069】

なお、図２Ａ及び図２Ｂの例では、通常時及び異常時共に出現する等のように比較的に出現率の高い特徴が第１特徴に選択され、異常時にのみ出現する等のように比較的に出現率の低い特徴が第２特徴に選択されている。このように、単独でも出現し得る比較的に出現率の高い特徴が第１特徴に選択され、その特徴と共に出現し得る比較的に出現率の低い特徴が第２特徴に選択されてよい。この場合、第２成分を検出することは、異常発生等の比較的に出現率の低い事象を検出することに相当する。

【0070】

§２ 構成例
［ハードウェア構成］
＜学習装置＞
図３は、本実施形態に係る学習装置１のハードウェア構成の一例を模式的に例示する。図３に示されるとおり、本実施形態に係る学習装置１は、制御部１１、記憶部１２、通信インタフェース１３、外部インタフェース１４、入力装置１５、出力装置１６、及びドライブ１７が電気的に接続されたコンピュータである。なお、図３では、通信インタフェース及び外部インタフェースを「通信Ｉ／Ｆ」及び「外部Ｉ／Ｆ」と記載している。

【0071】

制御部１１は、ハードウェアプロセッサであるＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を含み、プログラム及び各種データに基づいて情報処理を実行するように構成される。記憶部１２は、メモリの一例であり、例えば、ハードディスクドライブ、ソリッドステートドライブ等で構成される。本実施形態では、記憶部１２は、学習プログラム８１、第１～第４学習データセット５１～５４、第１～第４学習結果データ１２１～１２４等の各種情報を記憶する。

【0072】

学習プログラム８１は、機械学習を実施することで各学習済みモデルを生成する後述の情報処理（図１０Ａ～図１４）を学習装置１に実行させるためのプログラムである。学習プログラム８１は、当該情報処理の一連の命令を含む。学習プログラム８１は、「モデル生成プログラム」又は単に「生成プログラム」と称されてよい。第１～第４学習データセット５１～５４はそれぞれ、各モデルの機械学習に使用される。第１～第４学習結果データ１２１～１２４はそれぞれ、機械学習により構築された各学習済みモデルに関する情報を示す。本実施形態では、第１～第４学習結果データ１２１～１２４はそれぞれ、学習プログラム８１を実行した結果として生成される。詳細は後述する。

【0073】

通信インタフェース１３は、例えば、有線ＬＡＮ（Local Area Network）モジュール、無線ＬＡＮモジュール等であり、ネットワークを介した有線又は無線通信を行うためのインタフェースである。外部インタフェース１４は、例えば、ＵＳＢ（Universal Serial Bus）ポート、専用ポート等であり、外部装置と接続するためのインタフェースである。外部インタフェース１４の種類及び数は任意に選択されてよい。学習装置１は、外部インタフェース１４を介して、第１サンプル５１１、第２サンプル５２１等のサンプルを得るためのセンサに接続されてよい。

【0074】

入力装置１５は、例えば、マウス、キーボード等の入力を行うための装置である。また、出力装置１６は、例えば、ディスプレイ、スピーカ等の出力を行うための装置である。ユーザ等のオペレータは、入力装置１５及び出力装置１６を利用することで、学習装置１を操作することができる。

【0075】

ドライブ１７は、例えば、ＣＤドライブ、ＤＶＤドライブ等であり、記憶媒体９１に記憶されたプログラム等の各種情報を読み込むためのドライブ装置である。ドライブ１７の種類は、記憶媒体９１の種類に応じて適宜選択されてよい。上記学習プログラム８１及び第１～第４学習データセット５１～５４の少なくともいずれかは、この記憶媒体９１に記憶されていてもよい。

【0076】

記憶媒体９１は、コンピュータその他装置、機械等が、記憶されたプログラム等の各種情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。学習装置１は、この記憶媒体９１から、上記学習プログラム８１及び第１～第４学習データセット５１～５４の少なくともいずれかを取得してもよい。

【0077】

ここで、図３では、記憶媒体９１の一例として、ＣＤ、ＤＶＤ等のディスク型の記憶媒体を例示している。しかしながら、記憶媒体９１の種類は、ディスク型に限定される訳ではなく、ディスク型以外であってもよい。ディスク型以外の記憶媒体として、例えば、フラッシュメモリ等の半導体メモリを挙げることができる。ドライブ１７の種類は、記憶媒体９１の種類に応じて適宜選択されてよい。

【0078】

なお、学習装置１の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。例えば、制御部１１は、複数のハードウェアプロセッサを含んでもよい。ハードウェアプロセッサは、マイクロプロセッサ、ＦＰＧＡ（field-programmable gate array）、ＤＳＰ（digital signal processor）等で構成されてよい。記憶部１２は、制御部１１に含まれるＲＡＭ及びＲＯＭにより構成されてもよい。通信インタフェース１３、外部インタフェース１４、入力装置１５、出力装置１６及びドライブ１７の少なくともいずれかは省略されてもよい。学習装置１は、複数台のコンピュータで構成されてもよい。この場合、各コンピュータのハードウェア構成は、一致していてもよいし、一致していなくてもよい。また、学習装置１は、提供されるサービス専用に設計された情報処理装置の他、汎用のサーバ装置、ＰＣ（Personal Computer）等であってもよい。

【0079】

＜データ生成装置＞
図４は、本実施形態に係るデータ生成装置２のハードウェア構成の一例を模式的に例示する。図４に示されるとおり、本実施形態に係るデータ生成装置２は、制御部２１、記憶部２２、通信インタフェース２３、外部インタフェース２４、入力装置２５、出力装置２６、及びドライブ２７が電気的に接続されたコンピュータである。

【0080】

データ生成装置２の制御部２１～ドライブ２７及び記憶媒体９２はそれぞれ、上記学習装置１の制御部１１～ドライブ１７及び記憶媒体９１それぞれと同様に構成されてよい。制御部２１は、ハードウェアプロセッサであるＣＰＵ、ＲＡＭ、ＲＯＭ等を含み、プログラム及びデータに基づいて各種情報処理を実行するように構成される。記憶部２２は、例えば、ハードディスクドライブ、ソリッドステートドライブ等で構成される。記憶部２２は、データ生成プログラム８２、第１～第３学習結果データ１２１～１２３等の各種情報を記憶する。データ生成プログラム８２は、新たなサンプル６５の生成に関する後述の情報処理（図１５）をデータ生成装置２に実行させるためのプログラムである。データ生成プログラム８２は、この情報処理の一連の命令を含む。データ生成プログラム８２及び第１～第３学習結果データ１２１～１２３のうちの少なくともいずれかは、記憶媒体９２に記憶されていてもよい。また、データ生成装置２は、記憶媒体９２から、上記データ生成プログラム８２及び第１～第３学習結果データ１２１～１２３のうちの少なくともいずれかを取得してもよい。

【0081】

なお、データ生成装置２の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。例えば、制御部２１は、複数のハードウェアプロセッサを含んでもよい。ハードウェアプロセッサは、マイクロプロセッサ、ＦＰＧＡ、ＤＳＰ等で構成されてよい。記憶部２２は、制御部２１に含まれるＲＡＭ及びＲＯＭにより構成されてもよい。通信インタフェース２３、外部インタフェース２４、入力装置２５、出力装置２６、及びドライブ２７の少なくともいずれかは省略されてもよい。データ生成装置２は、複数台のコンピュータで構成されてもよい。この場合、各コンピュータのハードウェア構成は、一致していてもよいし、一致していなくてもよい。また、データ生成装置２は、提供されるサービス専用に設計された情報処理装置の他、汎用のサーバ装置、汎用のＰＣ等であってもよい。

【0082】

＜推定装置＞
図５は、本実施形態に係る推定装置３のハードウェア構成の一例を模式的に例示する。図５に示されるとおり、本実施形態に係る推定装置３は、制御部３１、記憶部３２、通信インタフェース３３、外部インタフェース３４、入力装置３５、出力装置３６、及びドライブ３７が電気的に接続されたコンピュータである。

【0083】

推定装置３の制御部３１～ドライブ３７及び記憶媒体９３はそれぞれ、上記学習装置１の制御部１１～ドライブ１７及び記憶媒体９１それぞれと同様に構成されてよい。制御部３１は、ハードウェアプロセッサであるＣＰＵ、ＲＡＭ、ＲＯＭ等を含み、プログラム及びデータに基づいて各種情報処理を実行するように構成される。記憶部３２は、例えば、ハードディスクドライブ、ソリッドステートドライブ等で構成される。記憶部３２は、推定プログラム８３、データ群３２０、第１・第４学習結果データ（１２１、１２４）等の各種情報を記憶する。推定プログラム８３は、第２特徴についての所定の推定に関する後述の情報処理（図１７Ａ）を推定装置３に実行させるためのプログラムである。推定プログラム８３は、この情報処理の一連の命令を含む。データ群３２０は、所定の推定（本実施形態では、第２成分の検出）処理におけるパラメータの値を決定するのに利用されてよい。推定プログラム８３、データ群３２０及び第１・第４学習結果データ（１２１、１２４）のうちの少なくともいずれかは、記憶媒体９３に記憶されていてもよい。また、推定装置３は、記憶媒体９３から、上記推定プログラム８３、データ群３２０及び第１・第４学習結果データ（１２１、１２４）のうちの少なくともいずれかを取得してもよい。

【0084】

なお、推定装置３の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。例えば、制御部３１は、複数のハードウェアプロセッサを含んでもよい。ハードウェアプロセッサは、マイクロプロセッサ、ＦＰＧＡ、ＤＳＰ等で構成されてよい。記憶部３２は、制御部３１に含まれるＲＡＭ及びＲＯＭにより構成されてもよい。通信インタフェース３３、外部インタフェース３４、入力装置３５、出力装置３６、及びドライブ３７の少なくともいずれかは省略されてもよい。推定装置３は、複数台のコンピュータで構成されてもよい。この場合、各コンピュータのハードウェア構成は、一致していてもよいし、一致していなくてもよい。また、推定装置３は、提供されるサービス専用に設計された情報処理装置の他、汎用のサーバ装置、汎用のＰＣ、ＰＬＣ（programmable logic controller）等であってもよい。

【0085】

［ソフトウェア構成］
＜学習装置＞
図６は、本実施形態に係る学習装置１のソフトウェア構成の一例を模式的に例示する。学習装置１の制御部１１は、記憶部１２に記憶された学習プログラム８１をＲＡＭに展開する。そして、制御部１１は、ＲＡＭに展開された学習プログラム８１に含まれる命令をＣＰＵにより解釈及び実行して、各構成要素を制御する。これにより、図６に示されるとおり、本実施形態に係る学習装置１は、第１取得部１１１、第２取得部１１２、第３取得部１１３、第４取得部１１４、第１訓練部１１５、第２訓練部１１６、第３訓練部１１７、第４訓練部１１８、及び保存処理部１１９をソフトウェアモジュールとして備えるコンピュータとして動作する。すなわち、本実施形態では、学習装置１の各ソフトウェアモジュールは、制御部１１（ＣＰＵ）により実現される。

【0086】

第１取得部１１１は、所定種類のデータの第１サンプル５１１であって、第１特徴を含む第１サンプル５１１、及び第１特徴の種別を示す第１ラベル５１２の組み合わせによりそれぞれ構成される複数の第１学習データセット５１を取得する。第１訓練部１１５は、取得された複数の第１学習データセット５１を使用して、第１生成器４１１を含む第１学習モデル４１の機械学習を実施する。第１学習モデル４１の機械学習では、第１訓練部１１５は、各第１学習データセット５１について、第１生成器４１１により第１ラベル５１２から生成される疑似サンプルが第１サンプル５１１に適合するように第１生成器４１１を訓練する。

【0087】

第２取得部１１２は、所定種類のデータの第２サンプル５２１であって、第１特徴とは異なる第２特徴を含む第２サンプル５２１、及び第２特徴の種別を示す第２ラベル５２２の組み合わせによりそれぞれ構成される複数の第２学習データセット５２を取得する。第２訓練部１１６は、取得された複数の第２学習データセット５２を使用して、第２生成器４２１を含む第２学習モデル４２の機械学習を実施する。第２学習モデル４２の機械学習では、第２訓練部１１６は、各第２学習データセット５２について、第２生成器４２１により第２ラベル５２２から生成される疑似サンプルが第２サンプル５２１に適合するように第２生成器４２１を訓練する。

【0088】

第３取得部１１３は、第２特徴の属性のサンプル値５３１、第２特徴を反映する程度を示す反映レベル５３２、及び第２ラベル５２２の組み合わせによりそれぞれ構成される複数の第３学習データセット５３を取得する。サンプル値５３１は、属性サンプル値と称されてよい。属性は、例えば、大きさ、（時間的又は領域的）位置、明度、振幅、頻度（時間的又は領域的）等の第２特徴の有する性質の程度又は分類に関する。第３訓練部１１７は、取得された複数の第３学習データセット５３を使用して、第３生成器４３１を含む第３学習モデル４３の機械学習を実施する。第３学習モデル４３の機械学習では、第３訓練部１１７は、各第３学習データセット５３について、反映レベル５３２及び第２ラベル５２２から第３生成器４３１により生成される第２特徴の属性の疑似的な値がサンプル値５３１に適合するように第３生成器４３１を訓練する。なお、各第３学習データセット５３は、第１ラベル５１２を更に備えてもよい。この場合、第３学習モデル４３の機械学習では、第３訓練部１１７は、反映レベル５３２、第２ラベル５２２及び第１ラベル５１２から第３生成器４３１により生成される第２特徴の属性の疑似的な値がサンプル値５３１に適合するように第３生成器４３１を訓練してもよい。

【0089】

第４取得部１１４は、訓練済みの第１生成器４１１に与える入力のサンプル値５４１及び訓練済みの第１生成器４１１に当該サンプル値５４１を与えることで生成される疑似サンプル５４２の組み合わせによりそれぞれ構成される複数の第４学習データセット５４を取得する。疑似サンプル５４２は、本発明の「第４疑似サンプル」の一例である。第４訓練部１１８は、取得された複数の第４学習データセット５４を使用して、推定器４４の機械学習を実施する。推定器４４の機械学習では、第４訓練部１１８は、各第４学習データセット５４について、訓練済みの第１生成器４１１に与えた入力を疑似サンプル５４２から推定器４４により推定することで得られる推定値がサンプル値５４１に適合するように推定器４４を訓練する。

【0090】

保存処理部１１９は、各機械学習の結果に関する情報を生成し、生成された情報を所定の記憶領域に保存する。具体的に、保存処理部１１９は、訓練済みの各生成器（４１１、４２１、４３１）及び推定器４４それぞれに関する情報を第１～第４学習結果データ１２１～１２４として生成する。そして、保存処理部１１９は、生成された第１～第４学習結果データ１２１～１２４を所定の記憶領域に保存する。所定の記憶領域は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。所定の記憶領域は、例えば、制御部１１内のＲＡＭ、記憶部１２、記憶媒体９１、外部記憶装置又はこれらの組み合わせであってよい。

【0091】

（第１学習モデルの機械学習）
図７Ａは、本実施形態に係る第１学習モデル４１の機械学習の過程の一例を模式的に例示する。第１学習モデル４１の構成は、入力に応じた種別の第１特徴を含む疑似サンプルを生成するように第１生成器４１１を訓練可能であれば、特に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。本実施形態では、第１学習モデル４１は、第１識別器４１２を更に含んでいる。第１生成器４１１及び第１識別器４１２は、機械学習を実施可能な任意の機械学習モデルにより構成されてよい。

【0092】

本実施形態では、第１生成器４１１及び第１識別器４１２はそれぞれ、深層学習に用いられる多層構造のニューラルネットワークにより構成される。第１生成器４１１及び第１識別器４１２はそれぞれ、入力層（４１１１、４１２１）、中間（隠れ）層（４１１２、４１２２）、及び出力層（４１１３、４１２３）を備えている。ただし、第１生成器４１１及び第１識別器４１２それぞれの構造は、このような例に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。例えば、中間層（４１１２、４１２２）の数は、１つに限られなくてもよく、２つ以上であってもよい。或いは、中間層（４１１２、４１２２）は省略されてもよい。それぞれのニューラルネットワークを構成する層の数は、特に限られなくてもよく、任意に選択されてよい。また、第１生成器４１１及び第１識別器４１２の構造は、少なくとも部分的に一致していてもよいし、或いは一致していなくてもよい。

【0093】

各層（４１１１～４１１３、４１２１～４１２３）は、１又は複数のニューロン（ノード）を備えている。各層（４１１１～４１１３、４１２１～４１２３）に含まれるニューロン（ノード）の数は、特に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。隣接する層のニューロン同士は適宜結合される。図７Ａの例では、各ニューロンは、隣接する層の全てのニューロンと結合されている。しかしながら、各ニューロンの結合関係は、このような例に限定されなくてもよく、実施の形態に応じて適宜設定されてよい。

【0094】

各結合には、重み（結合荷重）が設定されている。各ニューロンには閾値が設定されており、基本的には、各入力と各重みとの積の和が閾値を超えているか否かによって各ニューロンの出力が決定される。閾値は、活性化関数により表現されてもよい。この場合、各入力と各重みとの積の和を活性化関数に入力し、活性化関数の演算を実行することで、各ニューロンの出力が決定される。活性化関数の種類は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。各層（４１１１～４１１３、４１２１～４１２３）に含まれる各ニューロン間の結合の重み及び各ニューロンの閾値は、第１生成器４１１及び第１識別器４１２それぞれの演算パラメータの一例である。

【0095】

本実施形態では、機械学習により第１生成器４１１を訓練することは、第１識別器４１２を訓練する第１訓練ステップ、及び第１生成器４１１を訓練する第２訓練ステップを交互に繰り返し実行することにより構成される。第１訓練ステップでは、第１訓練部１１５は、第１識別器４１２に入力された入力サンプルが、複数の第１学習データセット５１のいずれかから得られた第１サンプル５１１か第１生成器４１１により生成された疑似サンプル５１５かを識別するように第１識別器４１２を訓練する。換言すると、第１識別器４１２は、入力されたサンプルが複数の第１学習データセット５１（学習データ）由来か第１生成器４１１由来かを識別するように訓練される。なお、図７Ａの例では、学習データ由来であることを「真」と表現し、第１生成器４１１由来であることを「偽」と表現している。「真」は「１」に置き換えられてよく、「偽」は「０」に置き換えられてよい。ただし、各由来を表現する方法は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。一方、第２訓練ステップでは、第１訓練部１１５は、第１識別器４１２の識別の性能を低下させるような疑似サンプル５１５を生成するように第１生成器４１１を訓練する。すなわち、第１学習モデル４１の機械学習は、第１生成器４１１及び第１識別器４１２の間の敵対的学習により構成される。

【0096】

この機械学習の処理の一例として、第１訓練ステップでは、まず、第１訓練部１１５は、第１学習データセット５１毎に、所定の確率分布からノイズ５１０（潜在変数）を抽出する。所定の確率分布の種類は任意に選択されてよい。所定の確率分布は、例えば、ガウス分布等の公知の確率分布であってよい。続いて、第１訓練部１１５は、抽出されたノイズ５１０及び第１ラベル５１２を第１生成器４１１に与えることで、抽出されたノイズ５１０及び第１ラベル５１２から疑似サンプル５１５を生成する。具体的には、第１訓練部１１５は、抽出されたノイズ５１０及び第１ラベル５１２を第１生成器４１１の入力層４１１１に入力し、第１生成器４１１の演算処理を実行する。これにより、第１訓練部１１５は、ノイズ５１０及び第１ラベル５１２から疑似サンプルを生成した結果に対応する出力（すなわち、疑似サンプル５１５）を第１生成器４１１の出力層４１１３から取得する。

【0097】

次に、第１訓練部１１５は、生成された疑似サンプル５１５及び対応する第１ラベル５１２を第１識別器４１２の入力層４１２１に入力し、第１識別器４１２の演算処理を実行する。これにより、第１訓練部１１５は、入力された入力サンプルが学習データ由来か第１生成器４１１由来かを識別した結果に対応する出力値を第１識別器４１２の出力層４１２３から取得する。この場面では、入力された入力サンプルは疑似サンプル５１５であるため、第１識別器４１２は「偽」と識別するのが正解である。第１訓練部１１５は、第１生成器４１１により生成された各疑似サンプル５１５について、出力層４１２３から得られる出力値と当該正解との誤差を算出する。

【0098】

また、第１訓練部１１５は、各第１学習データセット５１（第１サンプル５１１及び第１ラベル５１２）を第１識別器４１２の入力層４１２１に入力し、第１識別器４１２の演算処理を実行する。これにより、第１訓練部１１５は、入力された入力サンプルが学習データ由来か第１生成器４１１由来かを識別した結果に対応する出力値を第１識別器４１２の出力層４１２３から取得する。この場面では、入力された入力サンプルは第１サンプル５１１であるため、第１識別器４１２は「真」と識別するのが正解である。第１訓練部１１５は、各第１学習データセット５１について、出力層４１２３から得られる出力値と当該正解との誤差を算出する。

【0099】

そして、第１訓練部１１５は、第１生成器４１１の演算パラメータの値を固定した上で、算出される誤差の和が小さくなるように、第１識別器４１２の演算パラメータの値を調節する。これにより、第１訓練部１１５は、第１識別器４１２に入力された入力サンプルが、複数の第１学習データセット５１のいずれかから得られた第１サンプル５１１か第１生成器４１１により生成された疑似サンプル５１５かを識別する能力を獲得するように第１識別器４１２を訓練することができる。

【0100】

一方、第２訓練ステップでは、まず、第１訓練部１１５は、第１学習データセット５１毎に、所定の確率分布からノイズ５１０（潜在変数）を抽出する。続いて、第１訓練部１１５は、抽出されたノイズ５１０及び第１ラベル５１２を第１生成器４１１の入力層４１１１に入力し、第１生成器４１１の演算処理を実行する。これにより、第１訓練部１１５は、ノイズ５１０及び第１ラベル５１２から疑似サンプルを生成した結果に対応する出力（すなわち、疑似サンプル５１５）を第１生成器４１１の出力層４１１３から取得する。なお、疑似サンプル５１５を生成する処理は、第１訓練ステップ及び第２訓練ステップで共通に実行されてよい。すなわち、第１訓練ステップで生成された疑似サンプル５１５が第２訓練ステップでも利用されてよい。

【0101】

次に、第１訓練部１１５は、生成された疑似サンプル５１５及び対応する第１ラベル５１２を第１識別器４１２の入力層４１２１に入力し、第１識別器４１２の演算処理を実行する。これにより、第１訓練部１１５は、入力された入力サンプルが学習データ由来か第１生成器４１１由来かを識別した結果に対応する出力値を第１識別器４１２の出力層４１２３から取得する。第１生成器４１１の訓練では、第１識別器４１２の識別性能を低下させる（すなわち、識別結果が誤りである）ことが正解である。つまり、出力層４１２３から得られる出力値が「真」に対応することが正解である。第１訓練部１１５は、各疑似サンプル５１５について、出力層４１２３から得られる出力値と当該正解との誤差を算出する。

【0102】

そして、第１訓練部１１５は、第１識別器４１２の演算パラメータの値を固定した上で、算出される誤差の和が小さくなるように、第１生成器４１１の演算パラメータの値を調節する。これにより、第１訓練部１１５は、第１識別器４１２の識別の性能を低下させるような疑似サンプル５１５を生成する能力を獲得するように第１生成器４１１を訓練することができる。

【0103】

第１訓練部１１５は、上記第１訓練ステップ及び第２訓練ステップを交互に繰り返し実施することで、第１識別器４１２及び第１生成器４１１の性能を交互に高めていくことができる。これにより、第１識別器４１２の識別性能の向上に応じて、第１サンプル５１１に適合する疑似サンプル５１５を生成する第１生成器４１１の性能の向上を図ることができる。したがって、本実施形態では、上記機械学習により、第１特徴を含む適切な疑似サンプルを生成可能な訓練済みの第１生成器４１１を構築することができる。なお、第１訓練ステップ及び第２訓練ステップの処理順序は任意であってよい。

【0104】

この機械学習が完了した後、保存処理部１１９は、構築された訓練済みの第１生成器４１１の構造及び演算パラメータを示す情報を第１学習結果データ１２１として生成する。そして、保存処理部１１９は、生成された第１学習結果データ１２１を所定の記憶領域に保存する。なお、第１学習結果データ１２１の内容は、訓練済みの第１生成器４１１を再生可能であれば、このような例に限定されなくてもよい。例えば、各装置間で第１生成器４１１の構造が共通化されている場合、第１学習結果データ１２１において第１生成器４１１の構造を示す情報は省略されてよい。また、第１学習結果データ１２１には、構築された訓練済みの第１識別器４１２の構造及び演算パラメータを示す情報が更に含まれてもよい。

【0105】

（第２学習モデルの機械学習）
図７Ｂは、本実施形態に係る第２学習モデル４２の機械学習の過程の一例を模式的に例示する。第２学習モデル４２の構成は、入力に応じた種別の第２特徴を含む疑似サンプルを生成するように第２生成器４２１を訓練可能であれば、特に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。本実施形態では、第２学習モデル４２は、第１学習モデル４１と同様に、第２識別器４２２を更に含んでいる。第２生成器４２１及び第２識別器４２２は、機械学習を実施可能な任意の機械学習モデルにより構成されてよい。

【0106】

本実施形態では、第２生成器４２１及び第２識別器４２２は、上記第１生成器４１１等と同様に、深層学習に用いられる多層構造のニューラルネットワークにより構成される。第２生成器４２１及び第２識別器４２２はそれぞれ、入力層（４２１１、４２２１）、中間（隠れ）層（４２１２、４２２２）、及び出力層（４２１３、４２２３）を備えている。ただし、第２生成器４２１及び第２識別器４２２それぞれの構造は、上記第１生成器４１１等と同様に、このような例に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。それぞれのニューラルネットワークを構成する層の数は、任意に選択されてよい。第２生成器４２１及び第２識別器４２２の構造は、少なくとも部分的に一致していてもよいし、或いは一致していなくてもよい。

【0107】

各層（４２１１～４２１３、４２２１～４２２３）は、１又は複数のニューロン（ノード）を備えている。各層（４２１１～４２１３、４２２１～４２２３）に含まれるニューロン（ノード）の数は、特に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。隣接する層のニューロン同士は適宜結合される。図７Ｂの例では、各ニューロンは、隣接する層の全てのニューロンと結合されている。しかしながら、各ニューロンの結合関係は、このような例に限定されなくてもよく、実施の形態に応じて適宜設定されてよい。各結合には、重みが設定されている。各ニューロンには閾値が設定されている。閾値は、活性化関数により表現されてもよい。活性化関数の種類は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。各層（４２１１～４２１３、４２２１～４２２３）に含まれる各ニューロン間の結合の重み及び各ニューロンの閾値は、第２生成器４２１及び第２識別器４２２それぞれの演算パラメータの一例である。

【0108】

本実施形態では、機械学習により第２生成器４２１を訓練することは、第２識別器４２２を訓練する第３訓練ステップ、及び第２生成器４２１を訓練する第４訓練ステップを交互に繰り返し実行することにより構成される。第３訓練ステップでは、第２訓練部１１６は、第２識別器４２２に入力された入力サンプルが、複数の第２学習データセット５２のいずれかから得られた第２サンプル５２１か第２生成器４２１により生成された疑似サンプル５２５かを識別するように第２識別器４２２を訓練する。換言すると、第２識別器４２２は、入力されたサンプルが複数の第２学習データセット５２（学習データ）由来か第２生成器４２１由来かを識別するように訓練される。なお、図７Ｂの例では、各由来は、上記図７Ａと同様の方法により表現されているが、各由来を表現する方法は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。一方、第４訓練ステップでは、第２訓練部１１６は、第２識別器４２２の識別の性能を低下させるような疑似サンプル５２５を生成するように第２生成器４２１を訓練する。すなわち、第２学習モデル４２の機械学習は、第２生成器４２１及び第２識別器４２２の間の敵対的学習により構成される。

【0109】

この第２学習モデル４２の機械学習の処理は、取り扱うデータが異なる点を除き、上記第１学習モデル４１の機械学習と同様であってよい。すなわち、第３訓練ステップでは、まず、第２訓練部１１６は、第２学習データセット５２毎に、所定の確率分布（例えば、ガウス分布等）からノイズ５２０（潜在変数）を抽出する。続いて、第２訓練部１１６は、抽出されたノイズ５２０及び第２ラベル５２２を第２生成器４２１の入力層４２１１に入力し、第２生成器４２１の演算処理を実行する。これにより、第２訓練部１１６は、ノイズ５２０及び第２ラベル５２２から疑似サンプルを生成した結果に対応する出力（すなわち、疑似サンプル５２５）を第２生成器４２１の出力層４２１３から取得する。

【0110】

次に、第２訓練部１１６は、生成された疑似サンプル５２５及び対応する第２ラベル５２２を第２識別器４２２の入力層４２２１に入力し、第２識別器４２２の演算処理を実行する。これにより、第２訓練部１１６は、入力サンプルに対する識別の結果に対応する出力値を第２識別器４２２の出力層４２２３から取得する。この場面では、入力サンプルは疑似サンプル５２５であるため、第２識別器４２２は「偽」と識別するのが正解である。第２訓練部１１６は、第２生成器４２１により生成された各疑似サンプル５２５について、出力層４２２３から得られる出力値と当該正解との誤差を算出する。

【0111】

また、第２訓練部１１６は、各第２学習データセット５２（第２サンプル５２１及び第２ラベル５２２）を第２識別器４２２の入力層４２２１に入力し、第２識別器４２２の演算処理を実行する。これにより、第２訓練部１１６は、入力サンプルに対する識別の結果に対応する出力値を第２識別器４２２の出力層４２２３から取得する。この場面では、入力サンプルは第２サンプル５２１であるため、第２識別器４２２は「真」と識別するのが正解である。第２訓練部１１６は、各第２学習データセット５２について、出力層４２２３から得られる出力値と当該正解との誤差を算出する。

【0112】

そして、第２訓練部１１６は、第２生成器４２１の演算パラメータの値を固定した上で、算出される誤差の和が小さくなるように、第２識別器４２２の演算パラメータの値を調節する。これにより、第２訓練部１１６は、第２識別器４２２に入力された入力サンプルが、複数の第２学習データセット５２のいずれかから得られた第２サンプル５２１か第２生成器４２１により生成された疑似サンプル５２５かを識別する能力を獲得するように第２識別器４２２を訓練することができる。

【0113】

一方、第４訓練ステップでは、まず、第２訓練部１１６は、第２学習データセット５２毎に、所定の確率分布からノイズ５２０（潜在変数）を抽出する。続いて、第２訓練部１１６は、抽出されたノイズ５２０及び第２ラベル５２２を第２生成器４２１の入力層４２１１に入力し、第２生成器４２１の演算処理を実行する。これにより、第２訓練部１１６は、ノイズ５２０及び第２ラベル５２２から疑似サンプルを生成した結果に対応する出力（すなわち、疑似サンプル５２５）を第２生成器４２１の出力層４２１３から取得する。なお、疑似サンプル５２５を生成する処理は、第３訓練ステップ及び第４訓練ステップで共通に実行されてよい。すなわち、第３訓練ステップで生成された疑似サンプル５２５が第４訓練ステップでも利用されてよい。

【0114】

次に、第２訓練部１１６は、生成された疑似サンプル５２５及び対応する第２ラベル５２２を第２識別器４２２の入力層４２２１に入力し、第２識別器４２２の演算処理を実行する。これにより、第２訓練部１１６は、入力サンプルに対する識別の結果に対応する出力値を第２識別器４２２の出力層４２２３から取得する。第２生成器４２１の訓練では、第２識別器４２２の識別性能を低下させる（すなわち、識別結果が誤りである）ことが正解である。つまり、出力層４２２３から得られる出力値が「真」に対応することが正解である。第２訓練部１１６は、各疑似サンプル５２５について、出力層４２２３から得られる出力値と当該正解との誤差を算出する。

【0115】

そして、第２訓練部１１６は、第２識別器４２２の演算パラメータの値を固定した上で、算出される誤差の和が小さくなるように、第２生成器４２１の演算パラメータの値を調節する。これにより、第２訓練部１１６は、第２識別器４２２の識別の性能を低下させるような疑似サンプル５２５を生成する能力を獲得するように第２生成器４２１を訓練することができる。

【0116】

第２訓練部１１６は、上記第３訓練ステップ及び第４訓練ステップを交互に繰り返し実行することで、第２識別器４２２及び第２生成器４２１の性能を交互に高めていくことができる。これにより、第２識別器４２２の識別性能の向上に応じて、第２サンプル５２１に適合する疑似サンプル５２５を生成する第２生成器４２１の性能の向上を図ることができる。したがって、本実施形態では、上記機械学習により、第２特徴を含む適切な疑似サンプルを生成可能な訓練済みの第２生成器４２１を構築することができる。なお、第３訓練ステップ及び第４訓練ステップの処理順序は任意であってよい。

【0117】

この機械学習が完了した後、保存処理部１１９は、構築された訓練済みの第２生成器４２１の構造及び演算パラメータを示す情報を第２学習結果データ１２２として生成する。そして、保存処理部１１９は、生成された第２学習結果データ１２２を所定の記憶領域に保存する。なお、第２学習結果データ１２２の内容は、訓練済みの第２生成器４２１を再生可能であれば、このような例に限定されなくてもよい。例えば、各装置間で第２生成器４２１の構造が共通化されている場合、第２学習結果データ１２２において第２生成器４２１の構造を示す情報は省略されてよい。また、第２学習結果データ１２２には、構築された訓練済みの第２識別器４２２の構造及び演算パラメータを示す情報が更に含まれてもよい。

【0118】

（第３学習モデルの機械学習）
図７Ｃは、本実施形態に係る第３学習モデル４３の機械学習の過程の一例を模式的に例示する。第３学習モデル４３の構成は、入力に応じた種別及び程度（反映レベル）の第２特徴の属性の疑似的な値（疑似値）を生成するように第３生成器４３１を訓練可能であれば、特に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。本実施形態では、第３学習モデル４３は、第１学習モデル４１等と同様に、第３識別器４３２を更に含んでいる。第３生成器４３１及び第３識別器４３２は、機械学習を実施可能な任意の機械学習モデルにより構成されてよい。

【0119】

本実施形態では、第３生成器４３１及び第３識別器４３２は、上記第１生成器４１１等と同様に、深層学習に用いられる多層構造のニューラルネットワークにより構成される。第３生成器４３１及び第３識別器４３２はそれぞれ、入力層（４３１１、４３２１）、中間（隠れ）層（４３１２、４３２２）、及び出力層（４３１３、４３２３）を備えている。ただし、第３生成器４３１及び第３識別器４３２それぞれの構造は、上記第１生成器４１１等と同様に、このような例に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。それぞれのニューラルネットワークを構成する層の数は、任意に選択されてよい。第３生成器４３１及び第３識別器４３２の構造は、少なくとも部分的に一致していてもよいし、或いは一致していなくてもよい。

【0120】

各層（４３１１～４３１３、４３２１～４３２３）は、１又は複数のニューロン（ノード）を備えている。各層（４３１１～４３１３、４３２１～４３２３）に含まれるニューロン（ノード）の数は、特に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。隣接する層のニューロン同士は適宜結合される。図７Ｃの例では、各ニューロンは、隣接する層の全てのニューロンと結合されている。しかしながら、各ニューロンの結合関係は、このような例に限定されなくてもよく、実施の形態に応じて適宜設定されてよい。各結合には、重みが設定されている。各ニューロンには閾値が設定されている。閾値は、活性化関数により表現されてもよい。活性化関数の種類は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。各層（４３１１～４３１３、４３２１～４３２３）に含まれる各ニューロン間の結合の重み及び各ニューロンの閾値は、第３生成器４３１及び第３識別器４３２それぞれの演算パラメータの一例である。

【0121】

本実施形態では、機械学習により第３生成器４３１を訓練することは、第３識別器４３２を訓練する第５訓練ステップ、及び第３生成器４３１を訓練する第６訓練ステップを交互に繰り返し実行することにより構成される。第５訓練ステップでは、第３訓練部１１７は、第３識別器４３２に入力された入力値が、複数の第３学習データセット５３のいずれかから得られたサンプル値５３１か第３生成器４３１により生成された疑似値５３５かを識別するように第３識別器４３２を訓練する。換言すると、第３識別器４３２は、入力された入力値が複数の第３学習データセット５３（学習データ）由来か第３生成器４３１由来かを識別するように訓練される。なお、図７Ｃの例では、各由来は、上記図７Ａ等と同様の方法により表現されているが、各由来を表現する方法は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。一方、第６訓練ステップでは、第３訓練部１１７は、第３識別器４３２の識別の性能を低下させるような第２特徴の属性の疑似値５３５を生成するように第３生成器４３１を訓練する。すなわち、第３学習モデル４３の機械学習は、第３生成器４３１及び第３識別器４３２の間の敵対的学習により構成される。

【0122】

この第３学習モデル４３の機械学習の処理は、取り扱うデータが異なる点を除き、上記第１学習モデル４１等の機械学習と同様であってよい。すなわち、第５訓練ステップでは、まず、第３訓練部１１７は、第３学習データセット５３毎に、所定の確率分布（例えば、ガウス分布等）からノイズ５３０（潜在変数）を抽出する。続いて、第３訓練部１１７は、抽出されたノイズ５３０、対応する反映レベル５３２及び対応する第２ラベル５２２を第３生成器４３１の入力層４３１１に入力し、第３生成器４３１の演算処理を実行する。これにより、第３訓練部１１７は、ノイズ５３０、反映レベル５３２、及び第２ラベル５２２から第２特徴の属性の疑似的な値を生成した結果に対応する出力（すなわち、疑似値５３５）を第３生成器４３１の出力層４３１３から取得する。各第３学習データセット５３が第１ラベル５１２を更に備える場合、第３訓練部１１７は、対応する第１ラベル５１２を第３生成器４３１の入力層４３１１に更に入力して、上記処理を実行してもよい。

【0123】

次に、第３訓練部１１７は、生成された疑似値５３５、対応する反映レベル５３２及び対応する第２ラベル５２２を第３識別器４３２の入力層４３２１に入力し、第３識別器４３２の演算処理を実行する。これにより、第３訓練部１１７は、入力値に対する識別の結果に対応する出力値を第３識別器４３２の出力層４３２３から取得する。この場面では、入力値は疑似値５３５であるため、第３識別器４３２は「偽」と識別するのが正解である。第３訓練部１１７は、第３生成器４３１により生成された各疑似値５３５について、出力層４３２３から得られる出力値と当該正解との誤差を算出する。

【0124】

また、第３訓練部１１７は、各第３学習データセット５３（サンプル値５３１、反映レベル５３２、及び第２ラベル５２２）を第３識別器４３２の入力層４３２１に入力し、第３識別器４３２の演算処理を実行する。これにより、第３訓練部１１７は、入力値に対する識別の結果に対応する出力値を第３識別器４３２の出力層４３２３から取得する。この場面では、入力値はサンプル値５３１であるため、第３識別器４３２は「真」と識別するのが正解である。第３訓練部１１７は、各第３学習データセット５３について、出力層４３２３から得られる出力値と当該正解との誤差を算出する。各第３学習データセット５３が第１ラベル５１２を更に備える場合、第３訓練部１１７は、対応する第１ラベル５１２を第３識別器４３２の入力層４３２１に更に入力して、上記処理を実行してもよい。

【0125】

そして、第３訓練部１１７は、第３生成器４３１の演算パラメータの値を固定した上で、算出される誤差の和が小さくなるように、第３識別器４３２の演算パラメータの値を調節する。これにより、第３訓練部１１７は、第３識別器４３２に入力された入力値が、複数の第３学習データセット５３のいずれかから得られたサンプル値５３１か第３生成器４３１により生成された疑似値５３５かを識別する能力を獲得するように第３識別器４３２を訓練することができる。

【0126】

一方、第６訓練ステップでは、まず、第３訓練部１１７は、第３学習データセット５３毎に、所定の確率分布からノイズ５３０（潜在変数）を抽出する。続いて、第３訓練部１１７は、抽出されたノイズ５３０、対応する反映レベル５３２及び対応する第２ラベル５２２を第３生成器４３１の入力層４３１１に入力し、第３生成器４３１の演算処理を実行する。これにより、第３訓練部１１７は、ノイズ５３０、反映レベル５３２、及び第２ラベル５２２から第２特徴の属性の疑似的な値を生成した結果に対応する出力（すなわち、疑似値５３５）を第３生成器４３１の出力層４３１３から取得する。各第３学習データセット５３が第１ラベル５１２を更に備える場合、第３訓練部１１７は、対応する第１ラベル５１２を第３生成器４３１の入力層４３１１に更に入力して、上記処理を実行してもよい。なお、疑似値５３５を生成する処理は、第５訓練ステップ及び第６訓練ステップで共通に実行されてよい。すなわち、第５訓練ステップで生成された疑似値５３５が第６訓練ステップでも利用されてよい。

【0127】

次に、第３訓練部１１７は、生成された疑似値５３５、対応する反映レベル５３２及び対応する第２ラベル５２２を第３識別器４３２の入力層４３２１に入力し、第３識別器４３２の演算処理を実行する。これにより、第３訓練部１１７は、入力値に対する識別の結果に対応する出力値を第３識別器４３２の出力層４３２３から取得する。第３生成器４３１の訓練では、第３識別器４３２の識別性能を低下させる（すなわち、識別結果が誤りである）ことが正解である。つまり、出力層４３２３から得られる出力値が「真」に対応することが正解である。第３訓練部１１７は、各疑似値５３５について、出力層４３２３から得られる出力値と当該正解との誤差を算出する。各第３学習データセット５３が第１ラベル５１２を更に備える場合、第３訓練部１１７は、対応する第１ラベル５１２を第３識別器４３２の入力層４３２１に更に入力して、上記処理を実行してもよい。

【0128】

そして、第３訓練部１１７は、第３識別器４３２の演算パラメータの値を固定した上で、算出される誤差の和が小さくなるように、第３生成器４３１の演算パラメータの値を調節する。これにより、第３訓練部１１７は、第３識別器４３２の識別の性能を低下させるような疑似値５３５を生成する能力を獲得するように第３生成器４３１を訓練することができる。

【0129】

第３訓練部１１７は、上記第５訓練ステップ及び第６訓練ステップを交互に繰り返し実行することで、第３識別器４３２及び第３生成器４３１の性能を交互に高めていくことができる。これにより、第３識別器４３２の識別性能の向上に応じて、サンプル値５３１に適合する疑似値５３５を生成する第３生成器４３１の性能の向上を図ることができる。したがって、本実施形態では、上記機械学習により、反映レベル５３２及び第２ラベル５２２それぞれに対応する入力値及びノイズに応じて、第２特徴の属性の適切な疑似値を生成可能な訓練済みの第３生成器４３１を構築することができる。上記各訓練ステップにおいて第１ラベル５１２を更に入力した場合には、反映レベル５３２、第２ラベル５２２及び第１ラベル５１２それぞれに対応する入力値及びノイズに応じて、第２特徴の属性の適切な疑似値を生成可能な訓練済みの第３生成器４３１を構築することができる。なお、第５訓練ステップ及び第６訓練ステップの処理順序は任意であってよい。

【0130】

この機械学習が完了した後、保存処理部１１９は、構築された訓練済みの第３生成器４３１の構造及び演算パラメータを示す情報を第３学習結果データ１２３として生成する。そして、保存処理部１１９は、生成された第３学習結果データ１２３を所定の記憶領域に保存する。なお、第３学習結果データ１２３の内容は、訓練済みの第３生成器４３１を再生可能であれば、このような例に限定されなくてもよい。例えば、各装置間で第３生成器４３１の構造が共通化されている場合、第３学習結果データ１２３において第３生成器４３１の構造を示す情報は省略されてよい。また、第３学習結果データ１２３には、構築された訓練済みの第３識別器４３２の構造及び演算パラメータを示す情報が更に含まれてもよい。

【0131】

（推定器の機械学習）
図７Ｄは、本実施形態に係る推定器４４の機械学習の過程の一例を模式的に例示する。推定器４４は、機械学習を実施可能な任意の機械学習モデルにより構成されてよい。本実施形態では、推定器４４は、上記第１生成器４１１等と同様に、深層学習に用いられる多層構造のニューラルネットワークにより構成される。推定器４４は、入力層４４１、中間（隠れ）層４４２、及び出力層４４３を備えている。ただし、推定器４４の構造は、上記第１生成器４１１等と同様に、このような例に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。推定器４４のニューラルネットワークを構成する層の数は、任意に選択されてよい。

【0132】

各層４４１～４４３は、１又は複数のニューロン（ノード）を備えている。各層４４１～４４３に含まれるニューロン（ノード）の数は、特に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。隣接する層のニューロン同士は適宜結合される。図７Ｄの例では、各ニューロンは、隣接する層の全てのニューロンと結合されている。しかしながら、各ニューロンの結合関係は、このような例に限定されなくてもよく、実施の形態に応じて適宜設定されてよい。各結合には、重みが設定されている。各ニューロンには閾値が設定されている。閾値は、活性化関数により表現されてもよい。活性化関数の種類は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。各層４４１～４４３に含まれる各ニューロン間の結合の重み及び各ニューロンの閾値は、推定器４４の演算パラメータの一例である。

【0133】

推定器４４は、機械学習により、訓練済みの第１生成器４１１により生成された疑似サンプルから、その疑似サンプルを生成する際に訓練済みの第１生成器４１１に与えられた入力を推定するように訓練される。この機械学習に使用される各第４学習データセット５４は、訓練済みの第１生成器４１１を利用することで適宜生成されてよい。一例として、訓練済みの第１生成器４１１に与える入力のサンプル値５４１を適宜決定する。サンプル値５４１は、オペレータの入力により手動的に決定されてもよいし、或いはランダム等の方法により自動的に決定されてもよい。サンプル値５４１は、第１特徴の種別を示す第１ラベル５１２に対応する。サンプル値５４１に対応して、所定の確率分布（例えば、ガウス分布等）からノイズ５４０（潜在変数）を抽出する。サンプル値５４１を決定する処理及びノイズ５４０を抽出する処理の順序は任意であってよい。抽出されたノイズ５４０及びサンプル値５４１を訓練済みの第１生成器４１１の入力層４１１１に入力し、訓練済みの第１生成器４１１の演算処理を実行する。これにより、ノイズ５４０及びサンプル値５４１から疑似サンプルを生成した結果に対応する出力（すなわち、疑似サンプル５４２）を訓練済みの第１生成器４１１の出力層４１１３から取得することができる。生成された疑似サンプル５４２を、対応するノイズ５４０及びサンプル値５４１に関連付ける。これにより、各第４学習データセット５４を生成することができる。

【0134】

本実施形態では、第４訓練部１１８は、複数の第４学習データセット５４を使用して、上記ニューラルネットワークにより構成された推定器４４の機械学習を実施する。この推定器４４の機械学習では、第４訓練部１１８は、各第４学習データセット５４における疑似サンプル５４２を訓練データ（入力データ）として使用し、ノイズ５４０及びサンプル値５４１を正解データ（教師信号）として使用する。

【0135】

具体的に、第４訓練部１１８は、推定器４４の入力層４４１に疑似サンプル５４２を入力し、推定器４４の演算処理を実行する。これにより、第４訓練部１１８は、疑似サンプル５４２を生成する際に訓練済みの第１生成器４１１に与えた入力を疑似サンプル５４２から推定した結果に対応する出力値を推定器４４の出力層４４３から取得する。得られる出力値には、訓練済みの第１生成器４１１に与えるノイズに対応する第１推定値及びサンプル値に対応する第２推定値が含まれる。第４訓練部１１８は、各第４学習データセット５４について、各推定値とノイズ５４０及びサンプル値５４１それぞれとの誤差を算出する。

【0136】

そして、第４訓練部１１８は、算出される誤差の和が小さくなるように、推定器４４の演算パラメータの値を調節する。これにより、第４訓練部１１８は、訓練済みの第１生成器４１１により生成された疑似サンプル５４２から、その疑似サンプル５４２を生成する際に訓練済みの第１生成器４１１に与えられた入力（ノイズ５４０及びサンプル値５４１）を推定する能力を獲得した訓練済みの推定器４４を構築することができる。

【0137】

この機械学習が完了した後、保存処理部１１９は、構築された訓練済みの推定器４４の構造及び演算パラメータを示す情報を第４学習結果データ１２４として生成する。そして、保存処理部１１９は、生成された第４学習結果データ１２４を所定の記憶領域に保存する。なお、第４学習結果データ１２４の内容は、訓練済みの推定器４４を再生可能であれば、このような例に限定されなくてもよい。例えば、各装置間で推定器４４の構造が共通化されている場合、第４学習結果データ１２４において推定器４４の構造を示す情報は省略されてよい。

【0138】

（第２サンプルの生成）
図７Ｅは、本実施形態に係る第２サンプル５２１の生成過程の一例を模式的に例示する。本実施形態では、上記機械学習により生成された訓練済みの第１生成器４１１及び推定器４４を利用することで、各第２学習データセット５２の第２サンプル５２１を生成することができる。

【0139】

具体的に、第２取得部１１２は、所定種類のデータの複数の第３サンプル５５１であって、第１特徴及び第２特徴をそれぞれ含む複数の第３サンプル５５１を取得する。続いて、第２取得部１１２は、訓練済みの推定器４４に各第３サンプル５５１を与えることで、各第３サンプル５５１に対応する疑似サンプルを生成するために訓練済みの第１生成器４１１に与える入力の各推定値を推定する。得られる推定値（第１推定値及び第２推定値）は、各第３サンプル５５１に対応する疑似サンプルを訓練済みの第１生成器４１１により生成するならば、訓練済みの第１生成器４１１に与えただろう入力（ノイズ及び入力値）に対応する。

【0140】

次に、第２取得部１１２は、推定された推定値（第１推定値及び第２推定値）を訓練済みの第１生成器４１１に与えることで、第３サンプル５５１毎に疑似サンプル５５５を生成する。疑似サンプル５５５は、本発明の「第３疑似サンプル」の一例である。そして、第２取得部１１２は、各第３サンプル５５１から疑似サンプル５５５を差分することで、各第２学習データセット５２の第２サンプル５２１を生成する。

【0141】

訓練済みの第１生成器４１１は、上記機械学習により、第１特徴を含む疑似サンプルを生成する能力を獲得しているものの、第２特徴を含む疑似サンプルを生成する能力を獲得していない。そのため、基本的には、得られる疑似サンプル５５５では、第１特徴は再現されるのに対して、第２特徴は再現されない。よって、上記第３サンプル５５１から疑似サンプル５５５を差分する処理により、第２サンプル５２１として利用可能な、第１特徴を含まず、かつ第２特徴を含むサンプルを適切に生成することができる。

【0142】

＜データ生成装置＞
図８は、本実施形態に係るデータ生成装置２のソフトウェア構成の一例を模式的に例示する。データ生成装置２の制御部２１は、記憶部２２に記憶されたデータ生成プログラム８２をＲＡＭに展開する。そして、制御部２１は、ＲＡＭに展開されたデータ生成プログラム８２に含まれる命令をＣＰＵにより解釈及び実行して、各構成要素を制御する。これにより、図８に示されるとおり、本実施形態に係るデータ生成装置２は、受付部２１１、第１生成部２１２、第２生成部２１３、及びデータ合成部２１４をソフトウェアモジュールとして備えるコンピュータとして動作する。すなわち、本実施形態では、学習装置１と同様に、データ生成装置２の各ソフトウェアモジュールも、制御部１１（ＣＰＵ）により実現される。

【0143】

受付部２１１は、第１入力値２２１及び第２入力値２２３の指定を受け付ける。第１入力値２２１は、第１特徴の種別を示す第１ラベル５１２に対応し、第２入力値２２３は、第２特徴の種別を示す第２ラベル５２２に対応する。

【0144】

第１生成部２１２は、第１学習結果データ１２１を保持することで、訓練済みの第１生成器４１１を備えている。第１生成部２１２は、所定の確率分布（例えば、ガウス分布等）からノイズ２２０（潜在変数）を抽出する。第１生成部２１２は、抽出されたノイズ２２０及び第１入力値２２１を訓練済みの第１生成器４１１に与えることで、第１特徴を含む第１疑似サンプル６１を生成する。

【0145】

第２生成部２１３は、第２学習結果データ１２２を保持することで、訓練済みの第２生成器４２１を備えている。第２生成部２１３は、所定の確率分布（例えば、ガウス分布等）からノイズ２２２（潜在変数）を抽出する。第２生成部２１３は、抽出されたノイズ２２２及び第２入力値２２３を訓練済みの第２生成器４２１に与えることで、第２特徴を含む第２疑似サンプル６２を生成する。

【0146】

データ合成部２１４は、生成された第１疑似サンプル６１及び生成された第２疑似サンプル６２を合成することで、所定種類のデータの新たなサンプル６５を生成する。第１疑似サンプル６１及び第２疑似サンプル６２を合成する方法は、特に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。本実施形態では、データ合成部２１４は、第３学習結果データ１２３を保持することで、第２特徴を反映する程度に応じて第２特徴の属性値を生成するための訓練済みの第３生成器４３１を備えている。そのため、第２特徴を反映する程度を調整しながら、第１疑似サンプル６１及び第２疑似サンプル６２を合成することができる。

【0147】

具体的に、受付部２１１は、第２特徴を反映する程度を示す反映レベル５３２に対応する第３入力値２２５の指定を受け付ける。第３入力値２２５は、第２成分の検出の限界に応じて与えられてもよい。データ合成部２１４は、所定の確率分布（例えば、ガウス分布等）からノイズ２２４を抽出する。データ合成部２１４は、抽出されたノイズ２２４、第２入力値２２３及び第３入力値２２５を訓練済みの第３生成器４３１に与えることで、第２特徴の属性の疑似値６３を生成する。なお、上記第３学習モデル４３の機械学習において、第１ラベル５１２が更に使用されている場合、第３生成器４３１は、第１ラベル５１２に対応する入力値を更に入力可能に構成されている。この場合には、データ合成部２１４は、抽出されたノイズ２２４、第１入力値２２１、第２入力値２２３及び第３入力値２２５を訓練済みの第３生成器４３１に与えることで、第２特徴の属性の疑似値６３を生成する。

【0148】

そして、データ合成部２１４は、第２疑似サンプル６２に含まれる第２特徴の属性の値が生成された疑似値６３に適合するように第２疑似サンプル６２を変換すると共に、第１疑似サンプル６１に第２疑似サンプル６２を合成する。変換及び合成それぞれの具体的な処理内容は、データの種類に応じて適宜決定されてよい。これにより、本実施形態に係るデータ合成部２１４は、所定種類のデータの新たなサンプル６５を生成する。

【0149】

＜推定装置＞
図９は、本実施形態に係る推定装置３のソフトウェア構成の一例を模式的に例示する。推定装置３の制御部３１は、記憶部３２に記憶された推定プログラム８３をＲＡＭに展開する。そして、制御部３１は、ＲＡＭに展開された推定プログラム８３に含まれる命令をＣＰＵにより解釈及び実行して、各構成要素を制御する。これにより、図９に示されるとおり、本実施形態に係る推定装置３は、取得部３１１、推定部３１２、出力部３１３、及び設定部３１４をソフトウェアモジュールとして備えるコンピュータとして動作する。すなわち、本実施形態では、学習装置１等と同様に、推定装置３の各ソフトウェアモジュールも、制御部１１（ＣＰＵ）により実現される。

【0150】

取得部３１１は、第２特徴についての所定の推定処理を実行する対象となる対象サンプル３２５を取得する。推定部３１２は、取得された対象サンプル３２５に対して所定の推定処理を実行する。本実施形態では、推定部３１２は、第１・第４学習結果データ（１２１、１２４）を保持することで、訓練済みの第１生成器４１１及び推定器４４を備えている。推定部３１２は、訓練済みの第１生成器４１１及び推定器４４を利用して、対象サンプル３２５に対して第２成分を検出する（換言すると、第２特徴が存在するか否かを判定する）処理を実行する。

【0151】

具体的に、推定部３１２は、訓練済みの推定器４４に対象サンプル３２５を与えることで、対象サンプル３２５に対応する疑似サンプルを生成するために訓練済みの第１生成器４１１に与える入力の各推定値を推定する。得られる推定値（第１推定値及び第２推定値）は、対象サンプル３２５に対応する疑似サンプルを訓練済みの第１生成器４１１により生成するならば、訓練済みの第１生成器４１１に与えただろう入力（ノイズ及び入力値）に対応する。推定部３１２は、推定された各推定値を訓練済みの第１生成器４１１に与えることで、疑似サンプル３２６を生成する。そして、推定部３１２は、対象サンプル３２５から疑似サンプル３２６を差分することで、差分サンプル３２７を生成する。推定部３１２は、差分サンプル３２７を利用して、第２成分を検出する。

【0152】

上記のとおり、訓練済みの第１生成器４１１は、第１特徴を含む疑似サンプルを生成する能力を獲得しているものの、第２特徴を含む疑似サンプルを生成する能力を獲得していない。そのため、対象サンプル３２５に第１特徴及び第２特徴の両方が表れている場合でも、基本的には、得られる疑似サンプル３２６では、第１特徴は再現されるのに対して、第２特徴は再現されない。よって、対象サンプル３２５に第２成分が含まれている（すなわち、第２特徴が表れている）場合には、差分サンプル３２７にも第２成分が含まれる。一方、対象サンプル３２５に第２成分が含まれていない（すなわち、第２特徴が表れていない）場合には、差分サンプル３２７にも第２成分が含まれない。したがって、推定部３１２は、差分サンプル３２７に第２成分が含まれている程度に基づいて、第２成分を検出することができる。

【0153】

出力部３１３は、推定部３１２による推定の結果（本実施形態では、上記第２成分の検出結果）に関する情報を出力する。設定部３１４は、データ群３２０に含まれるサンプル３２１に基づいて、上記推定処理におけるパラメータの値を設定する。第１特徴及び第２特徴の表れるサンプルが、データ群３２０のサンプル３２１として利用可能である。データ群３２０に含まれるサンプル３２１の少なくとも一部は、上記データ生成装置２により生成されたサンプル６５であってよい。

【0154】

＜その他＞
学習装置１、データ生成装置２及び推定装置３の各ソフトウェアモジュールに関しては後述する動作例で詳細に説明する。なお、本実施形態では、学習装置１、データ生成装置２及び推定装置３の各ソフトウェアモジュールがいずれも汎用のＣＰＵによって実現される例について説明している。しかしながら、以上のソフトウェアモジュールの一部又は全部が、１又は複数の専用のプロセッサにより実現されてもよい。また、学習装置１、データ生成装置２及び推定装置３それぞれのソフトウェア構成に関して、実施形態に応じて、適宜、ソフトウェアモジュールの省略、置換及び追加が行われてもよい。

【0155】

§３ 動作例
［学習装置］
（Ａ）第１学習モデルの機械学習
図１０Ａは、本実施形態に係る学習装置１による第１学習モデル４１の機械学習に関する処理手順の一例を示すフローチャートである。なお、以下で説明する処理手順は一例に過ぎず、各ステップは可能な限り変更されてよい。更に、以下で説明する各処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。

【0156】

（ステップＳ１０１）
ステップＳ１０１では、制御部１１は、第１取得部１１１として動作し、複数の第１学習データセット５１を取得する。各第１学習データセット５１は、第１特徴を含む第１サンプル５１１及び第１特徴の種別を示す第１ラベル５１２の組み合わせにより構成される。

【0157】

各第１学習データセット５１を生成する方法は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、実空間又は仮想空間において、第１特徴の表れるサンプルを取得する。サンプルの取得方法は、第１特徴及びデータの種類に応じて適宜決定されてよい。一例として、所定種類のデータがセンシングデータである場合、第２特徴が表れず、かつ第１特徴が表れる状況でセンサにより対象を観測することで、第２特徴が表れず、かつ第１特徴の表れるサンプルを取得することができる。上記図２Ａの例では、欠陥のない製品Ｐ１をカメラにより撮影することで、製品Ｐ１を含む背景Ｐ１１の写るサンプルを取得することができる。上記図２Ｂの例では、異常のない機械の動作音をマイクロフォンにより録音することで、環境音Ｐ２１を含むサンプルを取得することができる。或いは、そのような環境を仮想空間上でシミュレートしたり、データ加工したりすることにより、第１特徴の現れるサンプルを取得することができる。次に、取得されたサンプルに表れる第１特徴の種別を識別し、識別した結果を示す情報をラベルとしてサンプルに関連付ける。第１特徴の種別の識別は、ユーザ等のオペレータにより行われてもよい。或いは、第１特徴の種別の識別には、識別器が用いられてよい。識別器は、画像解析、音声解析等の公知の情報処理により第１特徴の種別を識別するように構成されてもよいし、又は対象のサンプルから第１特徴の種別を識別するように訓練された機械学習モデルにより構成されてもよい。そして、第１特徴の種別を識別した結果を示す情報をラベルとしてサンプルに関連付ける。これにより、各第１学習データセット５１を生成することができる。

【0158】

各第１学習データセット５１は、コンピュータの動作により自動的に生成されてもよいし、少なくとも部分的にオペレータの操作を含むことで手動的に生成されてもよい。また、各第１学習データセット５１の生成は、学習装置１により行われてもよいし、学習装置１以外の他のコンピュータにより行われてもよい。各第１学習データセット５１を学習装置１が生成する場合、制御部１１は、自動的に又は入力装置１５を介したオペレータの操作により手動的に上記一連の生成処理を実行することで、複数の第１学習データセット５１を取得する。一方、各第１学習データセット５１を他のコンピュータが生成する場合、制御部１１は、例えば、ネットワーク、記憶媒体９１等を介して、他のコンピュータにより生成された複数の第１学習データセット５１を取得する。一部の第１学習データセット５１が学習装置１により生成され、その他の第１学習データセット５１が１又は複数の他のコンピュータにより生成されてもよい。

【0159】

取得する第１学習データセット５１の件数は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。複数の第１学習データセット５１を取得すると、制御部１１は、次のステップＳ１０２に処理を進める。

【0160】

（ステップＳ１０２）
ステップＳ１０２では、制御部１１は、第１訓練部１１５として動作し、取得された複数の第１学習データセット５１を使用して、第１生成器４１１を含む第１学習モデル４１の機械学習を実施する。第１学習モデル４１の機械学習では、制御部１１は、各第１学習データセット５１について、第１ラベル５１２から第１サンプル５１１に適合する疑似サンプルを生成する能力を獲得するように第１生成器４１１を訓練する。このように訓練可能であれば、第１学習モデル４１の構成及び機械学習の方法はそれぞれ、特に限定されなくてよく、実施の形態に応じて適宜選択されてよい。本実施形態では、第１学習モデル４１は、第１識別器４１２を更に含んでいるため、第１学習モデル４１の機械学習は、以下の方法で実施することができる。

【0161】

図１０Ｂは、本実施形態に係る第１学習モデル４１における、ステップＳ１０２の機械学習に関するサブルーチンの処理手順の一例を示すフローチャートである。本実施形態に係るステップＳ１０２の処理は、以下のステップＳ１０２１～ステップＳ１０２３の処理を含む。ただし、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。

【0162】

なお、機械学習の処理対象となる第１生成器４１１及び第１識別器４１２を構成する機械学習モデルは適宜用意されてよい。用意する第１生成器４１１及び第１識別器４１２それぞれの構造（例えば、層の数、各層に含まれるニューロンの数、隣接する層のニューロン同士の結合関係等）、各ニューロン間の結合の重みの初期値、及び各ニューロンの閾値の初期値は、テンプレートにより与えられてもよいし、オペレータの入力により与えられてもよい。また、再学習を行う場合には、制御部１１は、過去の機械学習を行うことで得られた学習結果データに基づいて、第１生成器４１１及び第１識別器４１２それぞれを用意してもよい。

【0163】

（ステップＳ１０２１）
ステップＳ１０２１では、制御部１１は、第１学習データセット５１及び第１生成器４１１により生成された疑似サンプル５１５を使用して、入力サンプルの由来を識別するように第１識別器４１２を訓練する。この機械学習の訓練処理には、確率的勾配降下法、ミニバッチ勾配降下法等が用いられてよい。後述するステップＳ１０２２等の他の機械学習の処理についても同様である。

【0164】

一例として、まず、制御部１１は、各第１学習データセット５１について、所定の確率分布から抽出されたノイズ５１０及び第１ラベル５１２を第１生成器４１１に与えて、第１生成器４１１の演算処理を実行する。すなわち、制御部１１は、ノイズ５１０及び第１ラベル５１２を第１生成器４１１の入力層４１１１に入力し、入力側から順に各層４１１１～４１１３に含まれる各ニューロンの発火判定を行う（すなわち、順伝播の演算を行う）。この演算処理により、制御部１１は、各第１学習データセット５１について、ノイズ５１０及び第１ラベル５１２より生成した疑似サンプル５１５に対応する出力値を出力層４１１３から取得する。

【0165】

次に、制御部１１は、生成された疑似サンプル５１５及び対応する第１ラベル５１２を第１識別器４１２の入力層４１２１に入力し、入力側から順に各層４１２１～４１２３に含まれる各ニューロンの発火判定を行う。これにより、制御部１１は、入力サンプルの由来を識別した結果に対応する出力値を第１識別器４１２の出力層４１２３から取得する。この場面では、入力された入力サンプルは疑似サンプル５１５であるため、第１識別器４１２は「偽」と識別するのが正解である。制御部１１は、各疑似サンプル５１５について、出力層４１２３から得られる出力値と当該正解との誤差を算出する。

【0166】

また、制御部１１は、各第１学習データセット５１（第１サンプル５１１及び第１ラベル５１２）を第１識別器４１２の入力層４１２１に入力し、入力側から順に各層４１２１～４１２３に含まれる各ニューロンの発火判定を行う。これにより、制御部１１は、入力サンプルの由来を識別した結果に対応する出力値を第１識別器４１２の出力層４１２３から取得する。この場面では、入力された入力サンプルは第１サンプル５１１であるため、第１識別器４１２は「真」と識別するのが正解である。制御部１１は、各疑似サンプル５１５について、出力層４１２３から得られる出力値と当該正解との誤差を算出する。

【0167】

各誤差（損失）の算出には、損失関数が用いられてよい。損失関数は、機械学習モデルの出力と正解との差分（すなわち、相違の程度）を評価する関数であり、出力層４１２３から得られる出力値と当該正解との差分値が大きいほど、損失関数により算出される誤差の値は大きくなる。誤差の計算に利用する損失関数の種類は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。

【0168】

制御部１１は、誤差逆伝播（Back propagation）法により、算出された出力値の誤差の勾配を用いて、第１識別器４１２の各演算パラメータ（各ニューロン間の結合の重み、各ニューロンの閾値等）の値の誤差を算出する。制御部１１は、算出された各誤差に基づいて、第１識別器４１２の各演算パラメータの値を更新する。各演算パラメータの値を更新する程度は、学習率により調節されてよい。学習率は、オペレータの指定により与えられてもよいし、プログラム内の設定値として与えられてもよい。

【0169】

制御部１１は、第１生成器４１１の各演算パラメータの値を固定した上で、上記一連の更新処理により、算出される誤差の和が小さくなるように、第１識別器４１２の各演算パラメータの値を調節する。例えば、規定回数実行する、算出される誤差の和が閾値以下になる等の所定の条件を満たすまで、制御部１１は、上記一連の処理による第１識別器４１２の各演算パラメータの値の調節を繰り返してもよい。これにより、制御部１１は、入力された入力サンプルが、複数の第１学習データセット５１のいずれかから得られた第１サンプル５１１か第１生成器４１１により生成された疑似サンプル５１５かを識別するように訓練された第１識別器４１２を構築することができる。この第１識別器４１２の訓練処理が完了すると、制御部１１は、次のステップＳ１０２２に処理を進める。

【0170】

（ステップＳ１０２２）
ステップＳ１０２２では、制御部１１は、第１識別器４１２の識別性能を低下させるような疑似サンプル５１５を生成するように第１生成器４１１を訓練する。換言すると、制御部１１は、第１識別器４１２が「真」と識別する（すなわち、学習データ由来と識別する）ような疑似サンプル５１５を生成するように第１生成器４１１を訓練する。

【0171】

一例として、まず、制御部１１は、上記ステップＳ１０２１と同様に、各第１学習データセット５１について、所定の確率分布から抽出されたノイズ５１０及び第１ラベル５１２を第１生成器４１１に与えることで、疑似サンプル５１５を生成する。上記ステップＳ１０２１で生成された疑似サンプル５１５を本ステップＳ１０２２でも利用する場合、制御部１１は、本ステップＳ１０２２において、疑似サンプル５１５を生成する一連の処理を省略してよい。

【0172】

次に、制御部１１は、生成された疑似サンプル５１５及び対応する第１ラベル５１２を第１識別器４１２の入力層４１２１に入力し、入力側から順に各層４１２１～４１２３に含まれる各ニューロンの発火判定を行う。これにより、制御部１１は、入力サンプルの由来を識別した結果に対応する出力値を第１識別器４１２の出力層４１２３から取得する。この場面では、第１識別器４１２が入力サンプルは「真」である（すなわち、学習データ由来である）と誤った識別をすることが正解である。制御部１１は、各疑似サンプル５１５について、出力層４１２３から得られる出力値と当該正解との誤差を算出する。上記と同様に、当該誤差の算出には、損失関数が用いられてよい。

【0173】

制御部１１は、誤差逆伝播法により、算出した出力値の誤差の勾配を、第１識別器４１２を介して第１生成器４１１の各演算パラメータに逆伝播して、第１生成器４１１の各演算パラメータの値の誤差を算出する。制御部１１は、算出された各誤差に基づいて、第１生成器４１１の各演算パラメータの値を更新する。上記と同様に、各演算パラメータの値を更新する程度は、学習率により調節されてよい。

【0174】

制御部１１は、第１識別器４１２の各演算パラメータの値を固定した上で、上記一連の更新処理により、算出される誤差の和が小さくなるように、第１生成器４１１の各演算パラメータの値を調節する。上記第１識別器４１２の訓練と同様に、制御部１１は、所定の条件を満たすまで、上記一連の処理による第１生成器４１１の各演算パラメータの値の調節を繰り返してもよい。これにより、制御部１１は、第１識別器４１２の識別性能を低下させるような疑似サンプル５１５を生成するように訓練された第１生成器４１１を構築することができる。この第１生成器４１１の訓練処理が完了すると、制御部１１は、次のステップＳ１０２３に処理を進める。

【0175】

（ステップＳ１０２３）
ステップＳ１０２３では、制御部１１は、ステップＳ１０２１及びステップＳ１０２２の処理を繰り返すか否かを判定する。処理を繰り返す基準は、実施の形態に応じて適宜決定されてよい。例えば、処理を繰り返す規定回数が設定されていてもよい。規定回数は、例えば、オペレータの指定により与えられてもよいし、プログラム内の設定値として与えられてもよい。この場合、制御部１１は、ステップＳ１０２１及びステップＳ１０２２の処理を実行した回数が規定回数に到達したか否かを判定する。実行回数が規定回数に到達していないと判定した場合、制御部１１は、ステップＳ１０２１に処理を戻し、ステップＳ１０２１及びステップＳ１０２２の処理を再度実行する。一方、実行回数が規定回数に到達していると判定した場合には、制御部１１は、第１学習モデル４１の機械学習の処理を完了し、次のステップＳ１０３に処理を進める。

【0176】

以上により、制御部１１は、第１識別器４１２の訓練ステップ及び第１生成器４１１の訓練ステップを交互に繰り返し実行する。これにより、第１識別器４１２及び第１生成器４１１の性能を交互に高めていくことができる。その結果、各第１学習データセット５１について、第１ラベル５１２から第１サンプル５１１に適合する疑似サンプル（すなわち、入力値に対応する種別の第１特徴を含む疑似サンプル）を生成する能力を獲得した訓練済みの第１生成器４１１を構築することができる。

【0177】

（ステップＳ１０３）
図１０Ａに戻り、ステップＳ１０３では、制御部１１は、保存処理部１１９として動作し、機械学習により構築された訓練済みの第１生成器４１１に関する情報を第１学習結果データ１２１として生成する。そして、制御部１１は、生成された第１学習結果データ１２１を所定の記憶領域に保存する。

【0178】

所定の記憶領域は、例えば、制御部１１内のＲＡＭ、記憶部１２、外部記憶装置、記憶メディア又はこれらの組み合わせであってよい。記憶メディアは、例えば、ＣＤ、ＤＶＤ等であってよく、制御部１１は、ドライブ１７を介して記憶メディアに第１学習結果データ１２１を格納してもよい。外部記憶装置は、例えば、ＮＡＳ（Network Attached Storage）等のデータサーバであってよい。この場合、制御部１１は、通信インタフェース１３を利用して、ネットワークを介してデータサーバに第１学習結果データ１２１を格納してもよい。また、外部記憶装置は、例えば、外部インタフェース１４を介して学習装置１に接続された外付けの記憶装置であってもよい。

【0179】

これにより、第１学習結果データ１２１の保存が完了すると、制御部１１は、第１学習モデル４１の機械学習に関する一連の処理を終了する。

【0180】

なお、生成された第１学習結果データ１２１は、任意のタイミングでデータ生成装置２及び推定装置３に提供されてよい。例えば、制御部１１は、ステップＳ１０３の処理として又はステップＳ１０３の処理とは別に、データ生成装置２及び推定装置３それぞれに第１学習結果データ１２１を転送してもよい。データ生成装置２及び推定装置３はそれぞれ、この転送を受信することで、第１学習結果データ１２１を取得してもよい。また、例えば、データ生成装置２及び推定装置３はそれぞれ、通信インタフェース（２３、３３）を利用して、学習装置１又はデータサーバにネットワークを介してアクセスすることで、第１学習結果データ１２１を取得してもよい。また、例えば、データ生成装置２及び推定装置３はそれぞれ、記憶媒体（９２、９３）を介して、第１学習結果データ１２１を取得してもよい。また、例えば、第１学習結果データ１２１は、データ生成装置２及び推定装置３それぞれに予め組み込まれてもよい。

【0181】

更に、制御部１１は、上記ステップＳ１０１～ステップＳ１０３の処理を定期又は不定期に繰り返すことで、第１学習結果データ１２１を更新又は新たに生成してもよい。この繰り返しの際には、複数の第１学習データセット５１の少なくとも一部の変更、修正、追加、削除等が適宜実行されてよい。そして、制御部１１は、更新した又は新たに生成した第１学習結果データ１２１を任意の方法でデータ生成装置２及び推定装置３それぞれに提供することで、データ生成装置２及び推定装置３それぞれの保持する第１学習結果データ１２１を更新してもよい。

【0182】

（Ｂ）第２学習モデルの機械学習
図１１Ａは、本実施形態に係る学習装置１による第２学習モデル４２の機械学習に関する処理手順の一例を示すフローチャートである。なお、以下で説明する処理手順は一例に過ぎず、各ステップは可能な限り変更されてよい。更に、以下で説明する各処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。

【0183】

（ステップＳ１１１）
ステップＳ１１１では、制御部１１は、第２取得部１１２として動作し、複数の第２学習データセット５２を取得する。各第２学習データセット５２は、第１特徴とは異なる第２特徴を含む第２サンプル５２１及び第２特徴の種別を示す第２ラベル５２２の組み合わせにより構成される。

【0184】

各第２学習データセット５２の生成方法及び取得方法はそれぞれ、上記第１学習データセット５１と同様であってよい。ただし、上記図２Ａ及び図２Ｂの例のように、単独で出現し難い特徴が第２特徴に選択されている場合には、第２特徴のみを含むサンプルを取得するのが困難である可能性がある。この場合、第１特徴及び第２特徴を含むサンプルを取得し、取得されたサンプルを適宜加工することで、第２特徴のみを含むサンプルを生成してもよい。本実施形態では、訓練済みの第１生成器４１１及び推定器４４を利用することで、第２サンプル５２１を生成することができる。情報処理の詳細は後述する。

【0185】

取得する第２学習データセット５２の件数は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。複数の第２学習データセット５２を取得すると、制御部１１は、次のステップＳ１１２に処理を進める。

【0186】

（ステップＳ１１２）
ステップＳ１１２では、制御部１１は、第２訓練部１１６として動作し、取得された複数の第２学習データセット５２を使用して、第２生成器４２１を含む第２学習モデル４２の機械学習を実施する。第２学習モデル４２の機械学習では、制御部１１は、各第２学習データセット５２について、第２ラベル５２２から第２サンプル５２１に適合する疑似サンプルを生成する能力を獲得するように第２生成器４２１を訓練する。このように訓練可能であれば、第２学習モデル４２の構成及び機械学習の方法はそれぞれ、特に限定されなくてよく、実施の形態に応じて適宜選択されてよい。本実施形態では、第２学習モデル４２は、第２識別器４２２を更に含んでいるため、第２学習モデル４２の機械学習は、以下の方法で実施することができる。

【0187】

図１１Ｂは、本実施形態に係る第２学習モデル４２における、ステップＳ１１２の機械学習に関するサブルーチンの処理手順の一例を示すフローチャートである。本実施形態に係るステップＳ１１２の処理は、以下のステップＳ１１２１～ステップＳ１１２３の処理を含む。ただし、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。なお、上記第１学習モデル４１と同様に、機械学習の処理対象となる第２生成器４２１及び第２識別器４２２を構成する機械学習モデルは適宜用意されてよい。

【0188】

（ステップＳ１１２１）
ステップＳ１１２１では、制御部１１は、第２学習データセット５２及び第２生成器４２１により生成された疑似サンプル５２５を使用して、入力サンプルの由来を識別するように第２識別器４２２を訓練する。

【0189】

学習データが置き換わる点を除き、ステップＳ１１２１の処理は、上記ステップＳ１０２１と同様であってよい。すなわち、制御部１１は、各第２学習データセット５２について、所定の確率分布から抽出されたノイズ５２０及び第２ラベル５２２を第２生成器４２１に与えることで、疑似サンプル５２５を生成する。制御部１１は、生成された疑似サンプル５２５及び対応する第２ラベル５２２を第２識別器４２２に与えて、入力サンプルの由来を識別した結果に対応する出力値を取得し、取得される出力値と正解との誤差を算出する。また、制御部１１は、各第２学習データセット５２（第２サンプル５２１及び第２ラベル５２２）を第２識別器４２２に与えて、入力サンプルの由来を識別した結果に対応する出力値を取得し、取得される出力値と正解との誤差を算出する。制御部１１は、誤差逆伝播法により、算出された出力値の誤差の勾配を用いて、第２識別器４２２の各演算パラメータの値の誤差を算出する。制御部１１は、算出された各誤差に基づいて、第２識別器４２２の各演算パラメータの値を更新する。制御部１１は、第２生成器４２１の各演算パラメータの値を固定した上で、上記一連の更新処理により、算出される誤差の和が小さくなるように、第２識別器４２２の各演算パラメータの値を調節する。上記ステップＳ１０２１等と同様に、所定の条件を満たすまで、制御部１１は、上記一連の処理による第２識別器４２２の各演算パラメータの値の調節を繰り返してもよい。

【0190】

これにより、制御部１１は、入力された入力サンプルが、複数の第２学習データセット５２のいずれかから得られた第２サンプル５２１か第２生成器４２１により生成された疑似サンプル５２５かを識別するように訓練された第２識別器４２２を構築することができる。この第２識別器４２２の訓練処理が完了すると、制御部１１は、次のステップＳ１１２２に処理を進める。

【0191】

（ステップＳ１１２２）
ステップＳ１１２２では、制御部１１は、第２識別器４２２の識別性能を低下させるような疑似サンプル５２５を生成するように第２生成器４２１を訓練する。換言すると、制御部１１は、第２識別器４２２が「真」と識別する（すなわち、学習データ由来と識別する）ような疑似サンプル５２５を生成するように第２生成器４２１を訓練する。

【0192】

学習データが置き換わる点を除き、ステップＳ１１２２の処理は、上記ステップＳ１０２２と同様であってよい。すなわち、制御部１１は、生成された疑似サンプル５２５及び対応する第２ラベル５２２を第２識別器４２２に与えて、入力サンプルの由来を識別した結果に対応する出力値を取得し、取得される出力値と正解（学習データ由来であると識別する）との誤差を算出する。制御部１１は、誤差逆伝播法により、算出した出力値の誤差の勾配を、第２識別器４２２を介して第２生成器４２１の各演算パラメータに逆伝播して、第２生成器４２１の各演算パラメータの値の誤差を算出する。制御部１１は、制御部１１は、算出された各誤差に基づいて、第２生成器４２１の各演算パラメータの値を更新する。制御部１１は、第２識別器４２２の各演算パラメータの値を固定した上で、上記一連の更新処理により、算出される誤差の和が小さくなるように、第２生成器４２１の各演算パラメータの値を調節する。上記ステップＳ１０２１等と同様に、所定の条件を満たすまで、制御部１１は、上記一連の処理による第２生成器４２１の各演算パラメータの値の調節を繰り返してもよい。

【0193】

これにより、制御部１１は、第２識別器４２２の識別性能を低下させるような疑似サンプル５２５を生成するように訓練された第２生成器４２１を構築することができる。この第２生成器４２１の訓練処理が完了すると、制御部１１は、次のステップＳ１１２３に処理を進める。

【0194】

（ステップＳ１１２３）
ステップＳ１１２３では、制御部１１は、ステップＳ１１２１及びステップＳ１１２２の処理を繰り返すか否かを判定する。上記ステップＳ１０２３と同様に、処理を繰り返す基準は、実施の形態に応じて適宜決定されてよい。処理を繰り返すと判定した場合、制御部１１は、ステップＳ１１２１に処理を戻し、ステップＳ１１２１及びステップＳ１１２２の処理を再度実行する。一方、処理を繰り返さないと判定した場合、制御部１１は、第２学習モデル４２の機械学習の処理を完了し、次のステップＳ１１３に処理を進める。

【0195】

以上により、制御部１１は、第２識別器４２２の訓練ステップ及び第２生成器４２１の訓練ステップを交互に繰り返し実行する。これにより、第２識別器４２２及び第２生成器４２１の性能を交互に高めていくことができる。その結果、各第２学習データセット５２について、第２ラベル５２２から第２サンプル５２１に適合する疑似サンプル（すなわち、入力値に対応する種別の第２特徴を含む疑似サンプル）を生成する能力を獲得した訓練済みの第２生成器４２１を構築することができる。

【0196】

（ステップＳ１１３）
図１１Ａに戻り、ステップＳ１１３では、制御部１１は、保存処理部１１９として動作し、機械学習により構築された訓練済みの第２生成器４２１に関する情報を第２学習結果データ１２２として生成する。そして、制御部１１は、生成された第２学習結果データ１２２を所定の記憶領域に保存する。所定の記憶領域は、例えば、制御部１１内のＲＡＭ、記憶部１２、外部記憶装置、記憶メディア又はこれらの組み合わせであってよい。

【0197】

これにより、第２学習結果データ１２２の保存が完了すると、制御部１１は、第２学習モデル４２の機械学習に関する一連の処理を終了する。なお、上記第１学習結果データ１２１と同様に、生成された第２学習結果データ１２２は、任意のタイミングでデータ生成装置２に提供されてよい。また、上記ステップＳ１１１～ステップＳ１１３の処理が定期又は不定期に繰り返されてよい。そして、更新又は新たに生成された第２学習結果データ１２２が任意の方法でデータ生成装置２に提供されることで、データ生成装置２の保持する第２学習結果データ１２２が更新されてもよい。

【0198】

（Ｃ）第３学習モデル４３の機械学習
図１２Ａは、本実施形態に係る学習装置１による第３学習モデル４３の機械学習に関する処理手順の一例を示すフローチャートである。なお、以下で説明する処理手順は一例に過ぎず、各ステップは可能な限り変更されてよい。更に、以下で説明する各処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。

【0199】

（ステップＳ１２１）
ステップＳ１２１では、制御部１１は、第３取得部１１３として動作し、複数の第３学習データセット５３を取得する。各第３学習データセット５３は、第２特徴の属性のサンプル値５３１、第２特徴を反映する程度を示す反映レベル５３２、及び第２ラベル５２２の組み合わせにより構成される。各第３学習データセット５３には、第１ラベル５１２が更に含まれてもよい。

【0200】

各第３学習データセット５３の生成方法及び取得方法はそれぞれ、上記第１学習データセット５１等と同様であってよい。第２ラベル５２２は、第２学習データセット５２と共通であってもよいし、第２学習データセット５２とは別個に新たに生成されてもよい。第１ラベル５１２についても同様である。なお、第１特徴及び第２特徴を含むサンプルから第２特徴のみを含むサンプルを生成した場合、元のサンプルに含まれていた第１特徴の種別を示す情報が、対応する第２ラベル５２２と共に第３学習データセット５３に第１ラベル５１２として含まれてもよい。

【0201】

サンプル値５３１及び反映レベル５３２は適宜与えられてよい。サンプル値５３１及び反映レベル５３２は、第２特徴を含むサンプルから特定されてもよいし、オペレータにより指定されてもよい。反映レベル５３２は、第２特徴の属性を評価する指標に従って、属性のサンプル値５３１から特定されてよい。指標は適宜与えられてよい。具体例として、上記図２Ａの例において、属性のサンプル値５３１が欠陥の大きさに対応して与えられる場合、指標は、欠陥の大きさに応じて反映レベル５３２を決定するように構成されてよい。或いは、反映レベル５３２は、第２特徴の表れる事象に関連して設定されてもよい。具体例として、上記図２Ａの例では、反映レベル５３２は、欠陥の深刻度、製品の品質レベル等の欠陥の程度に関連して設定されてもよい。また、上記図２Ｂの例では、反映レベル５３２は、異常の深刻度、機械の正常度等の異常の程度に関連して設定されてもよい。また、反映レベル５３２は、離散値及び連続値のいずれにより構成されてもよい。ただし、第２特徴を反映する程度の表現を豊富にする観点から、反映レベル５３２は、連続値により構成されるのが好ましい。

【0202】

取得する第３学習データセット５３の件数は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。複数の第３学習データセット５３を取得すると、制御部１１は、次のステップＳ１２２に処理を進める。

【0203】

（ステップＳ１２２）
ステップＳ１２２では、制御部１１は、第３訓練部１１７として動作し、取得された複数の第３学習データセット５３を使用して、第３生成器４３１を含む第３学習モデル４３の機械学習を実施する。第３学習モデル４３の機械学習では、制御部１１は、各第３学習データセット５３について、反映レベル５３２及び第２ラベル５２２からサンプル値５３１に適合する第２特徴の属性の疑似値を生成する能力を獲得するように第３生成器４３１を訓練する。このように訓練可能であれば、第３学習モデル４３の構成及び機械学習の方法はそれぞれ、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。本実施形態では、第３学習モデル４３は、第３識別器４３２を更に含んでいるため、第３学習モデル４３の機械学習は、以下の方法で実施することができる。

【0204】

図１２Ｂは、本実施形態に係る第３学習モデル４３における、ステップＳ１２２の機械学習に関するサブルーチンの処理手順の一例を示すフローチャートである。本実施形態に係るステップＳ１２２の処理は、以下のステップＳ１２２１～ステップＳ１２２３の処理を含む。ただし、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。なお、上記第１学習モデル４１等と同様に、機械学習の処理対象となる第３生成器４３１及び第３識別器４３２を構成する機械学習モデルは適宜用意されてよい。

【0205】

（ステップＳ１２２１）
ステップＳ１２２１では、制御部１１は、第３学習データセット５３及び第３生成器４３１により生成された疑似値５３５を使用して、入力値の由来を識別するように第３識別器４３２を訓練する。

【0206】

学習データが置き換わる点を除き、ステップＳ１２２１の処理は、上記ステップＳ１０２１等と同様であってよい。すなわち、制御部１１は、各第３学習データセット５３について、所定の確率分布から抽出されたノイズ５３０、反映レベル５３２及び第２ラベル５２２を第３生成器４３１に与えることで、第２特徴の属性の疑似値５３５を生成する。制御部１１は、生成された疑似値５３５、対応する反映レベル５３２及び対応する第２ラベル５２２を第３識別器４３２に与えて、入力値の由来を識別した結果に対応する出力値を取得し、取得される出力値と正解との誤差を算出する。また、制御部１１は、各第３学習データセット５３（サンプル値５３１、反映レベル５３２、及び第２ラベル５２２）を第３識別器４３２に与えて、入力値の由来を識別した結果に対応する出力値を取得し、取得される出力値と正解との誤差を算出する。制御部１１は、誤差逆伝播法により、算出された出力値の誤差の勾配を用いて、第３識別器４３２の各演算パラメータの値の誤差を算出する。制御部１１は、算出された各誤差に基づいて、第３識別器４３２の各演算パラメータの値を更新する。制御部１１は、第３生成器４３１の各演算パラメータの値を固定した上で、上記一連の更新処理により、算出される誤差の和が小さくなるように、第３識別器４３２の各演算パラメータの値を調節する。上記ステップＳ１０２１等と同様に、所定の条件を満たすまで、制御部１１は、上記一連の処理による第３識別器４３２の各演算パラメータの値の調節を繰り返してもよい。

【0207】

これにより、制御部１１は、入力された入力値が、複数の第３学習データセット５３のいずれかから得られたサンプル値５３１か第３生成器４３１により生成された疑似値５３５かを識別するように訓練された第３識別器４３２を構築することができる。この第３識別器４３２の訓練処理が完了すると、制御部１１は、次のステップＳ１２２２に処理を進める。

【0208】

（ステップＳ１２２２）
ステップＳ１２２２では、制御部１１は、第３識別器４３２の識別性能を低下させるような疑似値５３５を生成するように第３生成器４３１を訓練する。換言すると、制御部１１は、第３識別器４３２が「真」と識別する（すなわち、学習データ由来と識別する）ような疑似値５３５を生成するように第３生成器４３１を訓練する。

【0209】

学習データが置き換わる点を除き、ステップＳ１２２２の処理は、上記ステップＳ１０２２等と同様であってよい。すなわち、制御部１１は、生成された疑似値５３５、対応する反映レベル５３２及び対応する第２ラベル５２２を第３識別器４３２に与えて、入力値の由来を識別した結果に対応する出力値を取得し、取得される出力値と正解（学習データ由来であると識別する）との誤差を算出する。制御部１１は、誤差逆伝播法により、算出した出力値の誤差の勾配を、第３識別器４３２を介して第３生成器４３１の各演算パラメータに逆伝播して、第３生成器４３１の各演算パラメータの値の誤差を算出する。制御部１１は、算出された各誤差に基づいて、第３生成器４３１の各演算パラメータの値を更新する。制御部１１は、第３識別器４３２の各演算パラメータの値を固定した上で、上記一連の更新処理により、算出される誤差の和が小さくなるように、第３生成器４３１の各演算パラメータの値を調節する。上記ステップＳ１０２１等と同様に、所定の条件を満たすまで、制御部１１は、上記一連の処理による第３生成器４３１の各演算パラメータの値の調節を繰り返してもよい。

【0210】

これにより、制御部１１は、第３識別器４３２の識別性能を低下させるような疑似値５３５を生成するように訓練された第３生成器４３１を構築することができる。この第３生成器４３１の訓練処理が完了すると、制御部１１は、次のステップＳ１２２３に処理を進める。

【0211】

（ステップＳ１２２３）
ステップＳ１２２３では、制御部１１は、ステップＳ１２２１及びステップＳ１２２２の処理を繰り返すか否かを判定する。上記ステップＳ１０２３等と同様に、処理を繰り返す基準は、実施の形態に応じて適宜決定されてよい。処理を繰り返すと判定した場合、制御部１１は、ステップＳ１２２１に処理を戻し、ステップＳ１２２１及びステップＳ１２２２の処理を再度実行する。一方、処理を繰り返さないと判定した場合、制御部１１は、第３学習モデル４３の機械学習の処理を完了し、次のステップＳ１２３に処理を進める。

【0212】

以上により、制御部１１は、第３識別器４３２の訓練ステップ及び第３生成器４３１の訓練ステップを交互に繰り返し実行する。これにより、第３識別器４３２及び第３生成器４３１の性能を交互に高めていくことができる。その結果、各第３学習データセット５３について、反映レベル５３２及び第２ラベル５２２からサンプル値５３１に適合する第２特徴の属性の疑似値（すなわち、入力値に対応する種別及び程度の第２特徴の属性の疑似値）を生成する能力を獲得した訓練済みの第３生成器４３１を構築することができる。

【0213】

なお、各第３学習データセット５３が第１ラベル５１２を更に備えている場合、上記各訓練ステップにおいて、第３生成器４３１及び第３識別器４３２それぞれの入力に第１ラベル５１２が更に追加されてよい。これにより、制御部１１は、各第３学習データセット５３について、反映レベル５３２、第１ラベル５１２及び第２ラベル５２２からサンプル値５３１に適合する第２特徴の属性の疑似値を生成する能力を獲得した訓練済みの第３生成器４３１を構築することができる。

【0214】

（ステップＳ１２３）
図１２Ａに戻り、ステップＳ１２３では、制御部１１は、保存処理部１１９として動作し、機械学習により構築された訓練済みの第３生成器４３１に関する情報を第３学習結果データ１２３として生成する。そして、制御部１１は、生成された第３学習結果データ１２３を所定の記憶領域に保存する。所定の記憶領域は、例えば、制御部１１内のＲＡＭ、記憶部１２、外部記憶装置、記憶メディア又はこれらの組み合わせであってよい。

【0215】

これにより、第３学習結果データ１２３の保存が完了すると、制御部１１は、第３学習モデル４３の機械学習に関する一連の処理を終了する。なお、上記第１学習結果データ１２１等と同様に、生成された第３学習結果データ１２３は、任意のタイミングでデータ生成装置２に提供されてよい。また、上記ステップＳ１２１～ステップＳ１２３の処理が定期又は不定期に繰り返されてよい。そして、更新又は新たに生成された第３学習結果データ１２３が任意の方法でデータ生成装置２に提供されることで、データ生成装置２の保持する第３学習結果データ１２３が更新されてもよい。

【0216】

（Ｄ）推定器の機械学習
図１３は、本実施形態に係る学習装置１による推定器４４の機械学習に関する処理手順の一例を示すフローチャートである。なお、以下で説明する処理手順は一例に過ぎず、各ステップは可能な限り変更されてよい。更に、以下で説明する各処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。

【0217】

（ステップＳ１３１）
ステップＳ１３１では、制御部１１は、第４取得部１１４として動作し、複数の第４学習データセット５４を取得する。各第４学習データセット５４は、訓練済みの第１生成器４１１に与える入力のサンプル、及び訓練済みの第１生成器４１１に当該サンプルを与えることで生成される疑似サンプル５４２の組み合わせにより構成される。本実施形態では、入力のサンプルは、ノイズ５４０及びサンプル値５４１により構成される。

【0218】

各第４学習データセット５４は、訓練済みの第１生成器４１１を利用することで適宜生成されてよい。また、上記第１学習データセット５１等と同様に、各第４学習データセット５４の生成は、学習装置１により行われてもよいし、学習装置１以外の他のコンピュータにより行われてもよい。一部の第４学習データセット５４が学習装置１により生成され、その他の第４学習データセット５４が１又は複数の他のコンピュータにより生成されてもよい。

【0219】

取得する第４学習データセット５４の件数は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。複数の第４学習データセット５４を取得すると、制御部１１は、次のステップＳ１３２に処理を進める。

【0220】

（ステップＳ１３２）
ステップＳ１３２では、制御部１１は、第４訓練部１１８として動作し、取得された複数の第４学習データセット５４を使用して、推定器４４の機械学習を実施する。当該機械学習では、制御部１１は、各第４学習データセット５４について、訓練済みの第１生成器４１１に与えた入力を疑似サンプル５４２から推定器４４により推定することで得られる各推定値が、対応するノイズ５４０及びサンプル値５４１それぞれに適合するように推定器４４を訓練する。

【0221】

一例として、まず、制御部１１は、各第４学習データセット５４について、推定器４４の入力層４４１に疑似サンプル５４２を入力し、入力側から順に各層４４１～４４３に含まれる各ニューロンの発火判定を行う。これにより、制御部１１は、疑似サンプル５４２を生成する際に訓練済みの第１生成器４１１に与えた入力の第１推定値及び第２推定値それぞれに対応する出力値を出力層４４３から取得する。制御部１１は、各推定値と対応するノイズ５４０及びサンプル値５４１それぞれとの誤差を算出する。上記ステップＳ１０２１等と同様に、誤差の算出には、損失関数が用いられてよい。

【0222】

制御部１１は、誤差逆伝播法により、算出された誤差の勾配を用いて、推定器４４の各演算パラメータの値の誤差を算出する。制御部１１は、算出された各誤差に基づいて、推定器４４の各演算パラメータの値を更新する。上記ステップＳ１０２１等と同様に、各演算パラメータの値を更新する程度は、学習率により調節されてよい。

【0223】

制御部１１は、上記一連の更新処理により、算出される誤差の和が小さくなるように、推定器４４の各演算パラメータの値を調節する。上記ステップＳ１０２１等と同様に、制御部１１は、所定の条件を満たすまで、上記一連の処理による推定器４４の演算パラメータの値の調節を繰り返してもよい。

【0224】

これにより、制御部１１は、各第４学習データセット５４について、訓練済みの第１生成器４１１により生成された疑似サンプル５４２から、その疑似サンプル５４２を生成する際に訓練済みの第１生成器４１１に与えられた入力（ノイズ５４０及びサンプル値５４１）を推定する能力を獲得した訓練済みの推定器４４を構築することができる。推定器４４の機械学習が完了すると、制御部１１は、次のステップＳ１３３に処理を進める。

【0225】

（ステップＳ１３３）
ステップＳ１３３では、制御部１１は、保存処理部１１９として動作し、機械学習により構築された訓練済みの推定器４４に関する情報を第４学習結果データ１２４として生成する。そして、制御部１１は、生成された第４学習結果データ１２４を所定の記憶領域に保存する。所定の記憶領域は、例えば、制御部１１内のＲＡＭ、記憶部１２、外部記憶装置、記憶メディア又はこれらの組み合わせであってよい。

【0226】

これにより、第４学習結果データ１２４の保存が完了すると、制御部１１は、推定器４４の機械学習に関する一連の処理を終了する。なお、上記第１学習結果データ１２１と同様に、生成された第４学習結果データ１２４は、任意のタイミングで推定装置３に提供されてよい。また、上記ステップＳ１３１～ステップＳ１３３の処理が定期又は不定期に繰り返されてよい。そして、更新又は新たに生成された第４学習結果データ１２４が任意の方法で推定装置３に提供されることで、推定装置３の保持する第４学習結果データ１２４が更新されてもよい。

【0227】

（Ｅ）第２サンプルの生成
図１４は、当該第２サンプル５２１の生成に関する処理手順の一例を示すフローチャートである。なお、以下で説明する処理手順は一例に過ぎず、各ステップは可能な限り変更されてよい。更に、以下で説明する各処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。以下のステップＳ１４１～ステップＳ１４４の処理は、上記ステップＳ１１１内で実行されてよい。

【0228】

（ステップＳ１４１）
ステップＳ１４１では、制御部１１は、第１特徴及び第２特徴をそれぞれ含む複数の第３サンプル５５１を取得する。

【0229】

各第３サンプル５５１の生成方法及び取得方法は、上記第１学習データセット５１の第１サンプル５１１の生成方法及び取得方法と同様であってよい。具体例として、上記図２Ａの例では、欠陥のある製品Ｐ１をカメラにより撮影することで、第３サンプル５５１を生成することができる。また、上記図２Ｂの例では、異常のある機械の動作音をマイクロフォンにより録音することで、第３サンプル５５１を生成することができる。

【0230】

取得する第３サンプル５５１の件数は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。複数の第３サンプル５５１を取得すると、制御部１１は、次のステップＳ１４２に処理を進める。なお、制御部１１は、１件の第３サンプル５５１を取得する度に、以下のステップＳ１４２の処理を実行してもよいし、或いは、複数の第３サンプル５５１を取得した後に、各第３サンプル５５１について以下のステップＳ１４２の処理を実行してもよい。

【0231】

（ステップＳ１４２）
ステップＳ１４２では、制御部１１は、訓練済みの推定器４４に各第３サンプル５５１を与えることで、各第３サンプル５５１に対応する疑似サンプルを生成するために訓練済みの第１生成器４１１に与える入力の各推定値を推定する。すなわち、制御部１１は、訓練済みの推定器４４の入力層４４１に各第３サンプル５５１を入力し、入力側から順に各層４４１～４４３に含まれる各ニューロンの発火判定を行う。これにより、制御部１１は、各第３サンプル５５１に対応する疑似サンプルを訓練済みの第１生成器４１１により生成するならば、訓練済みの第１生成器４１１に与えただろう入力の各推定値に対応する出力値を出力層４４３から取得する。各推定値を取得すると、制御部１１は、次のステップＳ１４３に処理を進める。

【0232】

（ステップＳ１４３）
ステップＳ１４３では、制御部１１は、得られた各推定値を訓練済みの第１生成器４１１に与えることで、第３サンプル５５１毎に疑似サンプル５５５を生成する。すなわち、制御部１１は、訓練済みの第１生成器４１１の入力層４１１１に各推定値を入力し、入力側から順に各層４１１１～４１１３に含まれる各ニューロンの発火判定を行う。これにより、制御部１１は、各推定値から生成した疑似サンプル５５５に対応する出力値を出力層４１１３より取得する。疑似サンプル５５５を取得すると、制御部１１は、次のステップＳ１４４に処理を進める。

【0233】

（ステップＳ１４４）
ステップＳ１４４では、制御部１１は、得られた疑似サンプル５５５と対応する第３サンプル５５１との差分を算出する。上記のとおり、この差分処理により、第２サンプル５２１として利用可能な、第１特徴を含まず、かつ第２特徴を含むサンプルを適切に生成することができる。これにより、第２サンプル５２１の生成が完了すると、制御部１１は、第２サンプル５２１の生成に関する一連の処理を終了する。この一連の処理によれば、第３サンプル５５１から第２サンプル５２１を自動的に生成可能であるため、第２サンプル５２１を低コストで取得することができる。

【0234】

なお、上記第１～第３学習モデル４１～４３の機械学習に関する処理手順、及び第２サンプル５２１の生成に関する処理手順は、本発明の「学習方法」の一例である。学習方法は、上記全ての処理を必ずしも含まなければならない訳ではなく、上記処理手順の各処理を適宜組み合わせることにより構成されてよい。学習方法は、各訓練済みの機械学習モデルを生成するためのモデル生成方法又は単に生成方法と称されてよい。

【0235】

［データ生成装置］
図１５は、本実施形態に係るデータ生成装置２の処理手順の一例を示すフローチャートである。以下で説明する処理手順は、本発明の「データ生成方法」の一例である。ただし、以下で説明する各処理手順は一例に過ぎず、各ステップは可能な限り変更されてよい。更に、以下で説明する各処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。

【0236】

（ステップＳ２０１）
ステップＳ２０１では、制御部２１は、受付部２１１として動作し、第１入力値２２１、第２入力値２２３、及び第３入力値２２５の指定を受け付ける。サンプルの生成パートにおける第１入力値２２１、第２入力値２２３、及び第３入力値２２５は、学習パートにおける第１ラベル５１２、第２ラベル５２２、及び反映レベル５３２に対応する。すなわち、第１入力値２２１、第２入力値２２３、及び第３入力値２２５は、生成を所望するサンプルに含まれる第１特徴の種別、第２特徴の種別、及び第２特徴を反映する程度に応じて指定される。

【0237】

図１６は、図２Ａに例示される画像データの新たなサンプル６５を生成する場面において、各入力値（２２１、２２３、２２５）の指定を受け付けるための受付画面の一例を模式的に例示する。当該受付画面は、各入力値（２２１、２２３、２２５）の入力を受け付けるためのユーザインタフェースの一例である。ディスプレイ等の表示装置が出力装置２６に含まれる場合に、ステップＳ２０１において、制御部２１は、当該受付画面を出力装置２６に出力してもよい。これにより、制御部２１は、オペレータによる入力装置２５を介した各入力値（２２１、２２３、２２５）の指定を受け付けてもよい。

【0238】

図１６に例示される受付画面は、第１入力欄２６１、第２入力欄２６２、スライドバー２６３、表示領域２６４、生成ボタン２６５、及び保存ボタン２６６を備えている。第１入力欄２６１は、第１入力値２２１を指定するために利用される。第１入力欄２６１では第１特徴の種別が指定され、これに応じて、制御部２１は、第１入力値２２１を取得してもよい。同様に、第２入力欄２６２は、第２入力値２２３を指定するために利用される。第２入力欄２６２では第２特徴の種別が指定され、これに応じて、制御部２１は、第２入力値２２３を取得してもよい。

【0239】

スライドバー２６３は、第３入力値２２５を指定するために利用される。第１特徴及び第２特徴の種別を指定する第１入力値２２１及び第２入力値２２３に比べて、第２特徴を反映する程度を指定する第３入力値２２５は頻繁に変更され得る。そのため、第３入力値２２５の指定にスライドバー形式のユーザインタフェースを利用することで、新たなサンプル６５を生成する際に入力値を指定する手間を低減することができる。なお、図１６の例では、スライドバー２６３は、第２特徴を反映する程度を０から１０までの範囲で設定可能に構成されているが、第２特徴を反映する程度の数値範囲は、このような例に限定されなくてもよく、任意に設定されてよい。

【0240】

表示領域２６４には、指定された各入力値（２２１、２２３、２２５）を使用することで、後述する処理により生成された新たなサンプル６５が表示される。表示領域２６４の形式は、生成するサンプル６５のデータの種類に応じて適宜決定されてよい。生成ボタン２６５は、各入力欄（２６１、２６２）及びスライドバー２６３により指定された各入力値（２２１、２２３、２２５）を使用して、新たなサンプル６５を生成するための処理の実行を開始するのに利用される。制御部２１は、生成ボタン２６５の操作に応じて、次のステップＳ２０２に処理を進めてもよい。保存ボタン２６６は、生成されたサンプル６５を保存するために利用される。

【0241】

なお、各入力値（２２１、２２３、２２５）の入力を受け付けるためのユーザインタフェースは、このような例に限られなくてもよく、実施の形態に応じて適宜決定されてよい。例えば、所定種類のデータが音データである場合、生成された新たなサンプル６５を再生するための再生ボタンが更に設けられてもよい。また、その他の一例として、各入力値（２２１、２２３、２２５）は、単純な数値入力により指定されてもよい。各入力値（２２１、２２３、２２５）の指定を受け付けると、制御部２１は、次のステップＳ２０２に処理を進める。

【0242】

（ステップＳ２０２）
ステップＳ２０２では、制御部２１は、第１生成部２１２として動作し、第１学習結果データ１２１を参照して、訓練済みの第１生成器４１１の設定を行う。制御部２１は、所定の確率分布からノイズ２２０を抽出する。次に、制御部２１は、抽出されたノイズ２２０及び取得された第１入力値２２１を訓練済みの第１生成器４１１の入力層４１１１に入力し、入力側から順に各層４１１１～４１１３に含まれる各ニューロンの発火判定を行う。これにより、制御部２１は、ノイズ２２０及び第１入力値２２１から生成された第１疑似サンプル６１であって、第１入力値２２１により指定される種別の第１特徴を含む第１疑似サンプル６１に対応する出力値を出力層４１１３より取得する。第１疑似サンプル６１を取得すると、制御部２１は、次のステップＳ２０３に処理を進める。

【0243】

（ステップＳ２０３）
ステップＳ２０３では、制御部２１は、第２生成部２１３として動作し、第２学習結果データ１２２を参照して、訓練済みの第２生成器４２１の設定を行う。制御部２１は、所定の確率分布からノイズ２２２を抽出する。次に、制御部２１は、抽出されたノイズ２２２及び取得された第２入力値２２３を訓練済みの第２生成器４２１の入力層４２１１に入力し、入力側から順に各層４２１１～４２１３に含まれる各ニューロンの発火判定を行う。これにより、制御部２１は、ノイズ２２２及び第２入力値２２３から生成された第２疑似サンプル６２であって、第２入力値２２３により指定される種別の第２特徴を含む第２疑似サンプル６２に対応する出力値を出力層４２１３より取得する。第２疑似サンプル６２を取得すると、制御部２１は、次のステップＳ２０４に処理を進める。

【0244】

（ステップＳ２０４）
ステップＳ２０４では、制御部２１は、データ合成部２１４として動作し、第３学習結果データ１２３を参照して、訓練済みの第３生成器４３１の設定を行う。制御部２１は、所定の確率分布からノイズ２２４を抽出する。次に、制御部２１は、抽出されたノイズ２２４、取得された第２入力値２２３、及び取得された第３入力値２２５を訓練済みの第３生成器４３１の入力層４３１１に入力し、入力側から順に各層４３１１～４３１３に含まれる各ニューロンの発火判定を行う。これにより、制御部２１は、ノイズ２２４、第２入力値２２３及び第３入力値２２５から生成された疑似値６３であって、第２入力値２２３及び第３入力値２２５により指定される種別及び程度の第２特徴の属性の疑似値６３に対応する出力値を出力層４３１３より取得する。

【0245】

第１ラベル５１２を更に用いて第３生成器４３１の機械学習を実施した場合には、制御部２１は、訓練済みの第３生成器４３１の入力層４３１１に取得された第１入力値２２１を更に入力し、訓練済みの第３生成器４３１の上記演算処理を実行する。これにより、制御部２１は、第１入力値２２１により指定される第１特徴において、第２入力値２２３及び第３入力値２２５により指定される種別及び程度で第２特徴を反映させるための疑似値６３を取得することができる。

【0246】

疑似値６３を取得すると、制御部２１は、次のステップＳ２０５に処理を進める。なお、ステップＳ２０２～ステップＳ２０４の処理順序は、このような例に限られなくてもよく、任意にであってよい。各ノイズ（２２０、２２２、２２４）は、共通及び別個のいずれで取得されてよい。また、ステップＳ２０２の後に、ステップＳ２０４が実行される場合、ステップＳ２０２及びステップＳ２０４の間で、学習装置１は、上記推定器４４の機械学習が実行されてよい。この場合、ステップＳ２０２において生成された第１疑似サンプル６１が、疑似サンプル５４２としても利用されてよい。或いは、上記ステップＳ１３１が、ステップＳ２０１を含んでいることで、生成された疑似サンプル５４２が、ステップＳ２０２における第１疑似サンプル６１としても利用されてもよい。

【0247】

（ステップＳ２０５）
ステップＳ２０５では、制御部２１は、データ合成部２１４として動作し、第２疑似サンプル６２に含まれる第２特徴の属性の値が生成された疑似値６３に適合するように第２疑似サンプル６２を変換すると共に、第１疑似サンプル６１に第２疑似サンプル６２を合成する。変換及び合成それぞれの具体的な処理内容は、データの種類に応じて適宜決定されてよい。例えば、所定種類のデータが画像データである場合、変換は、拡大縮小、平行移動、回転又はこれらの組み合わせにより構成されてよい。また、例えば、所定種類のデータが信号データである場合、変換は、振幅の増減、周波数の変更、出現頻度の増減又はこれらの組み合わせによって構成されてよい。合成は、例えば、重畳的に加算することにより構成されてよい。

【0248】

その他、合成には、第１特徴を含むサンプル、第２特徴を含むサンプル、及び反映する程度に応じた第２特徴の属性値の入力に対して、入力された属性値に適合するように両サンプルを合成した結果を出力する能力を獲得した訓練済みの機械学習モデルが用いられてよい。この訓練済みの機械学習モデルは、訓練データ（入力データ）及び正解データ（教師信号）の組み合わせによりそれぞれ構成される複数の学習データセットを使用した機械学習により構築されてよい。訓練データは、例えば、第１特徴を含む第１訓練用サンプル、第２特徴を含む第２訓練用サンプル、及び反映する程度に応じた第２特徴の属性のサンプル値により構成される。正解データは、例えば、対応する合成結果のサンプルにより構成される。

【0249】

この合成により、制御部２１は、所定種類のデータの新たなサンプル６５を生成する。新たなサンプル６５の生成が完了すると、制御部２１は、本動作例に係る処理手順を終了する。生成処理が完了した後、制御部２１は、生成された新たなサンプル６５を上記受付画面の表示領域２６４において表示してもよい。

【0250】

スライドバー２６３の操作による第３入力値２２５の変更に応じて、制御部２１は、上記一連の処理を実行して、新たなサンプル６５を生成し、生成された新たなサンプル６５を表示領域２６４に表示してもよい。これにより、オペレータは、スライドバー２６３の操作による第２特徴を反映する程度の調節に対応する、生成されるサンプル６５内で第２特徴が表れる具合の変動を確認することができる。

【0251】

また、制御部２１は、保存ボタン２６６の操作に応じて、生成された新たなサンプル６５を所定の記憶領域に保存してもよい。所定の記憶領域は、例えば、制御部２１内のＲＡＭ、記憶部２２、外部記憶装置、記憶メディア又はこれらの組み合わせであってよい。生成された新たなサンプル６５は、任意のタイミングで推定装置３に提供されてよい。

【0252】

更に、制御部２１は、同一の各入力値（２２１、２２３、２２５）に対して複数の各ノイズ（２２０、２２２、２２４）を抽出してもよい。これにより、制御部２１は、同一の各入力値（２２１、２２３、２２５）を使用して、複数の新たなサンプル６５を生成してもよい。生成された複数の新たなサンプル６５を表示領域２６４に表示して、これらのうちから保存するサンプル６５の選択を受け付けてもよい。この場合、制御部２１は、保存ボタン２６６の操作に応じて、生成された複数のサンプル６５のうち選択された１又は複数のサンプル６５を所定の記憶領域に保存してもよい。

【0253】

［推定装置］
図１７Ａは、本実施形態に係る推定装置３の処理手順の一例を示すフローチャートである。以下で説明する処理手順は、推定方法の一例である。ただし、以下で説明する各処理手順は一例に過ぎず、各ステップは可能な限り変更されてよい。更に、以下で説明する各処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。

【0254】

（ステップＳ３０１）
ステップＳ３０１では、制御部３１は、取得部３１１として動作し、対象サンプル３２５を取得する。対象サンプル３２５を取得する方法は、データの種類に応じて適宜決定されてよい。対象サンプル３２５がセンシングデータである場合、第２特徴に関する推定の対象をセンサにより観測することで、対象サンプル３２５を取得することができる。上記図２Ａの例では、検査対象の製品をカメラにより撮影することで、対象サンプル３２５を取得することができる。上記図２Ｂの例では、検査対象の機械の動作音をマイクロフォンにより録音することで、対象サンプル３２５を取得することができる。制御部３１は、センサから直接的又は間接的に対象サンプル３２５を取得してよい。対象サンプル３２５を取得すると、制御部３１は、次のステップＳ３０２に処理を進める。

【0255】

（ステップＳ３０２）
ステップＳ３０２では、制御部３１は、推定部３１２として動作し、データ群３２０を利用して対象サンプル３２５を分析することで、対象サンプル３２５に対して第２特徴に関する推定処理を実行する。本実施形態では、制御部３１は、当該推定処理として、訓練済みの第１生成器４１１及び推定器４４を利用して、対象サンプル３２５に対して第２成分を検出する処理を実行する。

【0256】

具体的には、制御部３１は、第１・第４学習結果データ（１２１、１２４）を参照して、訓練済みの第１生成器４１１及び推定器４４の設定を行う。制御部３１は、訓練済みの推定器４４の入力層４４１に対象サンプル３２５を入力し、入力側から順に各層４４１～４４３に含まれる各ニューロンの発火判定を行う。これにより、制御部３１は、対象サンプル３２５に対応する疑似サンプルを訓練済みの第１生成器４１１により生成するならば、訓練済みの第１生成器４１１に与えただろう入力の各推定値に対応する出力値を出力層４４３から取得する。次に、制御部３１は、取得された各推定値を訓練済みの第１生成器４１１の入力層４１１１に入力し、入力側から順に各層４１１１～４１１３に含まれる各ニューロンの発火判定を行う。これにより、制御部３１は、各推定値から生成された疑似サンプル３２６に対応する出力値を出力層４１１３より取得する。

【0257】

そして、制御部３１は、対象サンプル３２５から疑似サンプル３２６を差分することで、差分サンプル３２７を生成する。なお、差分処理を実行する前に、対象サンプル３２５及び疑似サンプル３２６には前処理が適用されてよい。例えば、対象サンプル３２５及び疑似サンプル３２６が時系列データであり、周波数領域で第２成分を検出する場合には、フーリエ変換等の時系列データを周波数データに変換する前処理が対象サンプル３２５及び疑似サンプル３２６に適用されてよい。制御部３１は、生成された差分サンプル３２７を利用して、第２成分を検出する。

【0258】

ここで、図１７Ｂを更に用いて、差分サンプル３２７を利用して、第２成分を検出する処理の一例を説明する。図１７Ｂは、上記図２Ａに例示される場面において、第２成分（すなわち、欠陥）を検出する処理過程の一例を模式的に例示する。制御部３１は、上記処理により、訓練済みの第１生成器４１１及び推定器４４を利用して、対象サンプルＩ１０に対応する疑似サンプルＩ１１を生成する。対象サンプルＩ１０は、上記対象サンプル３２５の一例であり、疑似サンプルＩ１１は、上記疑似サンプル３２６の一例である。

【0259】

制御部３１は、対象サンプルＩ１０及び疑似サンプルＩ１１の差分を算出することで、差分サンプルＩ１２を生成する。差分サンプルＩ１２は、上記差分サンプル３２７の一例である。対象サンプルＩ１０及び疑似サンプルＩ１１の間で差異が生じているほど、差分サンプルＩ１２における値が大きくなる。一方、対象サンプルＩ１０及び疑似サンプルＩ１１の間で差異がないほど、差分サンプルＩ１２における値が小さくなる。差異の表現方法は、データの種類に応じて適宜選択されてよい。一例として、図１７Ｂでは、所定種類のデータは画像データであり、差異の生じている画素ほど白色になっており、そうではない画素ほど黒色になっている。

【0260】

上記のとおり、基本的には、疑似サンプルＩ１１では、第１特徴が再現されるのに対して、第２特徴は再現されない。そのため、差分サンプルＩ１２において、対象サンプルＩ１０に第２成分が含まれる（第２特徴が表れる）部分に大きな差異が生じ得る。ただし、差分サンプルＩ１２において差異の生じる原因は、対象サンプルＩ１０に第２成分が含まれることに限られない。他の原因として、例えば、疑似サンプルＩ１１を生成する過程でノイズが発生すること等を挙げることができる。しかしながら、このノイズに起因する差異は、第２成分が含まれていることに起因する差異よりも程度が低い。そのため、差分サンプルＩ１２の値に基づいて、これらの差異を区別することができる。そこで、制御部３１は、閾値Ｔ１を利用して、ノイズに起因する差異を削除する。図１７Ｂの例では、制御部３１は、閾値Ｔ１により、差分サンプルＩ１２の各画素を二値化する。これにより、制御部３１は、ノイズの除外されたサンプルＩ１３を得ることができる。

【0261】

サンプルＩ１３には、主に、第２成分に起因する差異、及び更にその他の理由（例えば、第１生成器４１１及び推定器４４の少なくともいずれかの学習不足）に起因する差異が現れ得る。これらのうち第２成分に起因する差異は、例えば、大きさ、（時間的又は領域的）位置、明度、振幅、頻度（時間的又は領域的）等の第２特徴の属性に対応する状態で現れる。上記図２Ａの例では、欠陥は、面積、幅、高さ、周囲の長さ、縦横比、円形度等の形状に関する属性を有し得る。つまり、対象サンプルＩ１０に写る製品に欠陥が存在する場合、サンプルＩ１３の対応する位置に、白色の画素の集まった領域であって、形状と同等の形状に関する属性を有する領域が現れる。そこで、第２特徴の属性に対して閾値Ｔ２を設定することで、第２成分を検出することができる。

【0262】

処理の一例として、図１７Ｂの例では、制御部３１は、サンプルＩ１３内の連続する白色画素の領域を一つの領域と認定し、白色画素の各領域が閾値Ｔ２を満たしているか否かを判定する。そして、制御部３１は、閾値Ｔ２を満たしている領域をそのままにし、閾値Ｔ２を満たしていない領域を削除する。これにより、制御部３１は、第２特徴の属性を満たさない値がサンプルＩ１３から除外された検出サンプルＩ１４を得ることができる。

【0263】

制御部３１は、得られた検出サンプルＩ１４に基づいて、第２成分を検出する。図１７Ｂの例では、検出サンプルＩ１４において白色画素の領域が存在する場合、制御部３１は、対象サンプルＩ１０に写る製品に欠陥が存在すると判定する。一方、検出サンプルＩ１４において白色画素の領域が存在しない場合、制御部３１は、対象サンプルＩ１０に写る製品に欠陥が存在しないと判定する。これにより、第２成分の検出処理が完了すると、制御部３１は、次のステップＳ３０３に処理を進める。

【0264】

なお、上記各閾値（Ｔ１、Ｔ２）が、推定処理におけるパラメータの一例である。推定処理におけるパラメータは、推定の内容、データの種類等に応じて適宜設定されてよい。所定種類のデータが画像データであり、推定処理として画像に写る対象物を検出する処理を実行する場合には、上記欠陥検出の場面に限られず、上記各閾値（Ｔ１、Ｔ２）が推定処理のパラメータの一例として用いられてよい。その他の一例として、所定種類のデータが信号データであり、推定処理として信号に含まれる対象信号を検出する処理を実行する場合には、スペクトル強度の差分が推定処理のパラメータとして用いられてよい。

【0265】

制御部３１は、任意の時点で（例えば、ステップＳ３０１の処理を開始する前に）、設定部３１４として動作し、データ群３２０に含まれるサンプル３２１に基づいて、パラメータの値を設定してもよい。すなわち、本実施形態では、データ群３２０を利用して対象サンプル３２５を分析することは、データ群３２０に含まれるサンプル３２１に基づいて、第２成分を検出可能にパラメータの値を設定することに相当する。上記図１７Ｂの例では、制御部３１は、サンプル３２１に写る欠陥を検出可能なように各閾値（Ｔ１、Ｔ２）を適宜設定してもよい。

【0266】

ここで、図１８Ａ及び図１８Ｂを更に用いて、推定処理のパラメータを設定する方法の一例について説明する。図１８Ａ及び図１８Ｂはそれぞれ、上記図２Ａに例示される場面において、データ群３２０に含まれるサンプル３２１を表示するための出力画面の一例を模式的に例示する。ディスプレイ等の表示装置が出力装置３６に含まれる場合、制御部３１は、オペレータの操作に応じて、各出力画面を出力装置３６に出力してもよい。

【0267】

図１８Ａの出力画面では、データ群３２０に含まれるサンプル３２１が、各特徴の種別毎にテーブル形式で表示されている。オペレータは、この出力画面により、サンプル３２１の得られている及び得られていない第１特徴及び第２特徴の種別の組み合わせ（上記図２Ａの例では、欠陥及び製品の種別の組み合わせ）を確認することができる。

【0268】

上記データ生成装置２では、サンプル３２１の得られていない第１特徴及び第２特徴の種別に対応する第１入力値２２１及び第２入力値２２３が指定されることで、当該組み合わせの表れる新たなサンプル６５が生成されてよい。或いは、図１８Ａの出力画面等において、制御部３１は、サンプル３２１の得られていない第１特徴及び第２特徴の種別の組み合わせの指定を受け付けてもよい。そして、制御部３１は、上記データ生成装置２に対して、指定された組み合わせを通知することで、当該組み合わせの表れる新たなサンプル６５の生成を依頼してもよい。これにより、当該組み合わせの表れる新たなサンプル６５が生成されてよい。生成された新たなサンプル６５は、任意の方法で推定装置３に提供され、データ群３２０に追加されてよい。この新たなサンプル６５の追加により、データ群３２０に含まれるサンプル３２１の多様化を図ることができる。

【0269】

一方、図１８Ｂの出力画面では、対象の種別の第１特徴及び第２特徴を含む各サンプル３２１が、第２特徴の属性値に応じて並んで表示されている。程度の小さい第２成分を検出可能にパラメータの値を設定すると、第２成分を真には含んでいない対象サンプル３２５に対して第２成分を誤って検出してしまう可能性がある。具体例として、上記図１７Ｂの例では、欠陥のサイズが大きいほど当該欠陥の検出が容易であり、欠陥のサイズが小さいほど当該欠陥の検出が困難である。サイズの小さい欠陥を検出可能なように各閾値（Ｔ１、Ｔ２）を設定すると、他の要因で現れた差異を欠陥と誤る可能性がある。そのため、この誤検出の発生確率を低減することを一つの理由として、この出力画面において、制御部３１は、第２成分の検出の限界事例に対応するサンプル３２１の指定を受け付けてもよい。

【0270】

そして、制御部３１は、限界事例に指定されたサンプル３２１に含まれる第２成分を検出可能なようにパラメータの値を設定してもよい。上記図１７Ｂの例では、制御部３１は、限界事例に指定されたサンプル３２１に写る欠陥を検出可能なように各閾値（Ｔ１、Ｔ２）を設定してもよい。パラメータの値を設定する方法は、特に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。例えば、パラメータの値について、複数の候補が適宜用意されてよい。制御部３１は、各候補を利用して上記検出処理を実行することで、限界事例に指定されたサンプル３２１に含まれる第２成分の検出率の最も高い候補を特定し、特定された候補をパラメータの値として選択してもよい。

【0271】

上記データ生成装置２では、第３入力値２２５が、第２成分の検出の限界に応じて与えられることで、限界事例に設定可能な新たなサンプル６５が生成されてもよい。或いは、図１８Ｂの出力画面等において、制御部３１は、限界事例に所望する第２特徴の程度の指定を適宜受け付けてもよい。そして、制御部３１は、上記データ生成装置２に対して、第１特徴の種別、第２特徴の種別、及び指定された第２特徴の程度を通知することで、新たなサンプル６５の生成を依頼してもよい。これにより、限界事例に設定可能な新たなサンプル６５が生成されてよい。生成された新たなサンプル６５は、任意の方法で推定装置３に提供され、データ群３２０に追加されてよい。この新たなサンプル６５の追加により、データ群３２０に含まれるサンプル３２１に現れる第２特徴の程度を多様化し、適切な限界事例を設定することで、第２成分の検出精度の向上を図ることができる。

【0272】

なお、当該パラメータの値を設定する一連の処理は、上記データ生成装置２で実行されてもよい。この場合、データ生成装置２は、図１８Ａ及び図１８Ｂに例示される出力画面を出力装置２６に出力しながら、新たなサンプル６５を生成するための上記一連の処理を実行してもよい。また、データ生成装置２において、新たなサンプル６５を生成する際に、データ群３２０に含まれるサンプル３２１が上記各出力画面により閲覧可能であってよい。この場合、各出力画面は、各入力値（２２１、２２３、２２５）を指定する参考に利用されてよい。

【0273】

（ステップＳ３０３）
図１７Ａに戻り、ステップＳ３０３では、制御部１１は、出力部３１３として動作し、上記推定の結果（本実施形態では、上記第２成分の検出結果）に関する情報を出力する。

【0274】

出力先及び出力する情報の内容はそれぞれ、実施の形態に応じて適宜決定されてよい。例えば、制御部３１は、ステップＳ３０２により対象サンプル３２５に対して所定の推定を実行した結果をそのまま出力装置３６に出力してもよい。また、例えば、制御部３１は、所定の推定を実行した結果に基づいて、何らかの情報処理を実行してもよい。そして、制御部３１は、その情報処理を実行した結果を、推定の結果に関する情報として出力してもよい。この情報処理を実行した結果の出力には、推定結果に応じて特定のメッセージを出力すること、推定結果に応じて制御対象装置の動作を制御すること等が含まれてよい。出力先は、例えば、出力装置３６、他のコンピュータの出力装置、制御対象装置等であってよい。

【0275】

推定の結果に関する情報の出力が完了すると、制御部３１は、本動作例に係る処理手順を終了する。なお、所定の期間の間、制御部３１は、ステップＳ３０１～ステップＳ３０３の一連の情報処理を継続的に繰り返し実行してもよい。繰り返すタイミングは、任意であってよい。これにより、推定装置３は、所定の推定を継続的に実施してもよい。

【0276】

［特徴］
以上のとおり、本実施形態に係る学習装置１は、上記ステップＳ１０１～ステップＳ１０３の処理により、入力値により指定される種別の第１特徴を含む疑似サンプルを生成する能力を獲得した訓練済みの第１生成器４１１を構築することができる。また、本実施形態に係る学習装置１は、上記ステップＳ１１１～ステップＳ１１３の処理により、入力値により指定される種別の第２特徴を含む疑似サンプルを生成する能力を獲得した訓練済みの第２生成器４２１を構築することができる。本実施形態に係るデータ生成装置２では、それぞれ訓練済みの各生成器（４１１、４２１）に与える各入力値（２２１、２２３）に基づいて、生成される新たなサンプル６５に含まれる第１特徴及び第２特徴それぞれの種別を制御することができる。つまり、第１特徴及び第２特徴の異なる種別の組み合わせを含む新たなサンプル６５を自在に生成することができる。例えば、データ群３２０において、サンプル３２１が得られていない又はサンプル３２１の数の少ない組み合わせが存在する場合に、データ生成装置２により、その組み合わせを含む新たなサンプル６５を生成することができる。加えて、ステップＳ２０１～ステップＳ２０５の処理の多くの部分は自動化することができる。よって、本実施形態によれば、多様な組み合わせを含むサンプルを自在かつ自動的に生成可能であるため、少なくとも２つ以上の特徴が表れる所定種類のデータについて多様なサンプルを収集するのにかかるコストを低減することができる。

【0277】

また、本実施形態に係る推定装置３では、生成された新たなサンプル６５をデータ群３２０に追加することで、データ群３２０に含まれるサンプル３２１に表れる第１特徴及び第２特徴の組み合わせの多様化を図ることができる。すなわち、データ群３２０において、得られていなかった又は数の少なかった組み合わせを含むサンプル３２１を充実化することができる。これによって、生成された新たなサンプル６５を推定装置３の推定処理に反映することで、第２特徴に関する推定処理の制度の向上を図ることができる。

【0278】

また、本実施形態に係る学習装置１は、上記ステップＳ１２１～ステップＳ１２３の処理により、入力値により指定される種別及び程度の第２特徴の属性の疑似値を生成する能力を獲得した訓練済みの第３生成器４３１を構築することができる。本実施形態に係るデータ生成装置２では、訓練済みの第３生成器４３１に与える各入力値（２２３、２２５）に基づいて、生成される新たなサンプル６５に含まれる第２特徴の属性の値を制御することができる。つまり、訓練済みの第１生成器４１１及び第２生成器４２１の他に、訓練済みの第３生成器４３１を更に利用することで、任意の属性値を有する第２特徴を含む新たなサンプル６５を自在に生成することができる。よって、本実施形態によれば、少なくとも２つ以上の特徴が表れ得る所定種類のデータについて更に多様なサンプルを生成することができる。

【0279】

なお、第３入力値２２５を第２成分の検出の限界に応じて与えることで、検出の限界事例に対応する多様なサンプルを生成することができる。また、上記ステップＳ１２１～ステップＳ１２３の処理において、第１ラベル５１２を更に用いて第３生成器４３１の機械学習を実施した場合には、構築された訓練済みの第３生成器４３１は、更に第１特徴の種別に応じた第２特徴の属性の疑似値を生成する能力を獲得する。そのため、本実施形態に係るデータ生成装置２では、訓練済みの第３生成器４３１を利用することで、第１特徴の種別に適した属性値を有する第２特徴を含む新たなサンプル６５を生成することができる。

【0280】

§４ 変形例
以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良又は変形を行うことができることは言うまでもない。例えば、以下のような変更が可能である。なお、以下では、上記実施形態と同様の構成要素に関しては同様の符号を用い、上記実施形態と同様の点については、適宜説明を省略した。以下の変形例は適宜組み合わせ可能である。

【0281】

＜４．１＞
上記実施形態に係る学習装置１、データ生成装置２、及び推定装置３は、少なくとも２つ以上の特徴が表れ得る所定種類のデータについて、多様なサンプルを収集するあらゆる場面に適用されてよい。例えば、上記実施形態は、センサにより対象を観測することで得られるセンシングデータについて、多様なサンプルを収集する場面に適用可能である。以下、適用場面を限定した変形例を例示する。

【0282】

（Ａ）外観検査の場面
図１９は、第１変形例に係る検査システム１００Ａの適用場面の一例を模式的に例示する。本変形例は、図２Ａに例示される製品の写る画像データを利用して、製品の外観検査を実施する場面に上記実施形態を適用した例である。本変形例に係る検査システム１００Ａは、学習装置１、データ生成装置２、及び検査装置３Ａを備えている。上記実施形態と同様に、学習装置１、データ生成装置２、及び検査装置３Ａは、ネットワークを介して互いに接続されてよい。

【0283】

本変形例において取り扱われる所定種類のデータは、製品ＲＡの写る画像データである。当該画像データは、カメラＳＡで製品ＲＡを撮影することにより得られてよい。第１特徴は、製品ＲＡを含む背景に関し、第２特徴は、製品ＲＡの欠陥に関する。製品ＲＡ及び欠陥の種類は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。上記のとおり、製品ＲＡは、例えば、電子機器、電子部品、自動車部品、薬品、食品等の製造ラインで搬送される製品であってよい。欠陥は、例えば、傷、汚れ、クラック、打痕、バリ、色ムラ、異物混入等であってよい。これらの限定を除き、本変形例に係る検査システム１００Ａは、上記実施形態に係る推定システム１００と同様に構成されてよい。

【0284】

（学習装置）
本変形例では、第１学習データセット５１の第１サンプル５１１は、製品ＲＡの写る画像データのサンプルであってよく、第１ラベル５１２は、製品ＲＡの種別を示してよい。学習装置１は、上記ステップＳ１０１～ステップＳ１０３の処理を実行することで、入力値により指定される種別の製品ＲＡを含む背景の写る疑似サンプルを生成する能力を獲得した訓練済みの第１生成器４１１を構築することができる。

【0285】

本変形例では、第２学習データセット５２の第２サンプル５２１は、製品ＲＡの欠陥の写る画像データのサンプルであってよく、第２ラベル５２２は、欠陥の種別を示してよい。学習装置１は、上記ステップＳ１１１～ステップＳ１１３の処理を実行することで、入力値により指定される種別の欠陥の写る疑似サンプルを生成する能力を獲得した訓練済みの第２生成器４２１を構築することができる。

【0286】

本変形例では、第３学習データセット５３のサンプル値５３１は、欠陥の属性の度合を示してよい。欠陥の属性は、例えば、面積、幅、高さ、周囲の長さ、縦横比、円形度等の形状に関するものであってよい。反映レベル５３２は、欠陥を反映する程度を示してよい。反映レベル５３２は、欠陥の深刻度、製品の品質レベル等の欠陥の程度に関連して設定されてもよい。学習装置１は、上記ステップＳ１２１～ステップＳ１２３の処理を実行することで、入力値により指定される種別及び程度の欠陥の属性の疑似値を生成する能力を獲得した訓練済みの第３生成器４３１を構築することができる。

【0287】

本変形例では、学習装置１は、上記ステップＳ１３１～ステップＳ１３３の処理を実行することで、訓練済みの第１生成器４１１により生成された疑似サンプル５４２から、その疑似サンプル５４２を生成する際に訓練済みの第１生成器４１１に与えられた入力を推定する能力を獲得した訓練済みの推定器４４を構築することができる。また、本変形例では、学習装置１は、訓練済みの第１生成器４１１及び推定器４４を利用して、上記ステップＳ１４１～ステップＳ１４４の処理を実行することで、製品ＲＡ及び欠陥の写る第３サンプル５５１から第２サンプル５２１を生成することができる。

【0288】

（データ生成装置）
本変形例では、第１入力値２２１、第２入力値２２３、及び第３入力値２２５は、生成を所望するサンプルに写る製品ＲＡの種別、欠陥の種別、及び欠陥を反映する程度に応じて指定されてよい。データ生成装置２は、訓練済みの各生成器（４１１、４２１、４３１）を利用して、上記ステップＳ２０１～ステップＳ２０５の処理を実行することで、欠陥を反映する程度を制御しながら、指定された種別の欠陥及び製品ＲＡの写る新たなサンプル６５を生成することができる。

【0289】

（検査装置）
図２０Ａは、本変形例に係る検査装置３Ａのハードウェア構成の一例を模式的に例示する。図２０Ａに示されるとおり、本変形例に係る検査装置３Ａは、上記推定装置３と同様に、制御部３１、記憶部３２、通信インタフェース３３、外部インタフェース３４、入力装置３５、出力装置３６、及びドライブ３７が電気的に接続されたコンピュータにより構成されてよい。

【0290】

本変形例では、記憶部３２は、検査プログラム８３Ａ等の各種情報を記憶する。検査プログラム８３Ａは、上記実施形態に係る推定プログラム８３に対応する。また、本変形例では、検査装置３Ａは、外部インタフェース３４を介してカメラＳＡに接続される。カメラＳＡは、例えば、一般的なＲＧＢカメラ、深度カメラ、赤外線カメラ等であってよい。カメラＳＡは、製品ＲＡを撮影可能な場所に適宜配置されてよい。例えば、カメラＳＡは、製品ＲＡを搬送するコンベア装置の近傍に配置されてよい。

【0291】

なお、検査装置３Ａのハードウェア構成は、このような例に限定されなくてもよい。検査装置３Ａの具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。検査装置３Ａは、提供されるサービス専用に設計された情報処理装置の他、汎用のサーバ装置、汎用のＰＣ、ＰＬＣ等であってもよい。

【0292】

図２０Ｂは、本変形例に係る検査装置３Ａのソフトウェア構成の一例を模式的に例示する。上記実施形態と同様に、検査装置３Ａのソフトウェア構成は、制御部３１による検査プログラム８３Ａの実行により実現される。取り扱われるデータが上記のように限定される点を除き、検査装置３Ａのソフトウェア構成は、上記推定装置３と同様である。検査部３１２Ａは、上記推定部３１２に対応する。これにより、検査装置３Ａは、上記推定装置３の推定処理と同様に、外観検査に関する一連の処理を実行することができる。

【0293】

すなわち、ステップＳ３０１では、制御部３１は、検査対象の製品ＲＡの写る対象サンプル３２５をカメラＳＡから取得する。ステップＳ３０２では、制御部３１は、検査部３１２Ａとして動作し、データ群３２０を利用して対象サンプル３２５を分析することで、検査対象の製品ＲＡに欠陥が存在するか否かを判定する。データ群３２０に含まれるサンプル３２１には製品ＲＡ及び欠陥が写る。検出する欠陥の種別毎に限界事例のサンプル３２１が選択されてよい。検出のパラメータである各閾値（Ｔ１、Ｔ２）は、限界事例に選択されたサンプル３２１に基づいて設定されてよい。これにより、制御部３１は、製品ＲＡの状態を推定することができる。

【0294】

ステップＳ３０３では、制御部３１は、製品ＲＡの状態を推定した結果に関する情報を出力する。例えば、制御部３１は、製品ＲＡの状態を推定した結果をそのまま出力装置３６に出力してもよい。また、例えば、製品ＲＡに欠陥が含まれると判定した場合に、制御部３１は、そのことを知らせるための警告を出力装置３６に出力してもよい。また、例えば、製品ＲＡを搬送するコンベア装置に検査装置３Ａが接続される場合、製品ＲＡの状態を推定した結果に基づいて、欠陥のある製品ＲＡと欠陥のない製品ＲＡとを別のラインで搬送されるようにコンベア装置を制御してもよい。

【0295】

（特徴）
本変形例によれば、データ生成装置２において、製品ＲＡ及び欠陥の任意の組み合わせの写る新たなサンプル６５を自在かつ自動的に生成可能である。そのため、製品ＲＡ及び欠陥の種々の組み合わせの表れる多様なサンプルを収集するのにかかるコストを低減することができる。また、生成された新たなサンプル６５をデータ群３２０に追加することで、サンプル３２１の得られていない製品ＲＡ及び欠陥の組み合わせを低減又は無くすことができる。これにより、検査装置３Ａにおける外観検査の精度の向上を図ることができる。

【0296】

［その他の形態］
上記変形例において、製品ＲＡの欠陥は、前景の一例である。つまり、上記変形例における検査処理は、背景及び前景を含む画像データのサンプルから目的の前景を検出する処理の一例である。つまり、取り扱われる所定種類のデータは、背景及び前景を含む画像データであってよい。第１特徴は、背景に関してよく、第２特徴は、前景に関してもよい。背景及び前景の種類はそれぞれ、製品ＲＡ及び欠陥の例に限られなくてもよく、実施の形態に応じて適宜選択されてよい。

【0297】

（Ａ－１）画像診断の場面
図２１は、画像データから前景を検出する他の場面の一例を模式的に例示する。図２１に例示される診断システムは、学習装置１、データ生成装置２、及び画像診断装置３Ａ１を備えている。画像診断装置３Ａ１は、上記検査装置３Ａに対応する。画像診断装置３Ａ１の構成は、上記検査装置３Ａと同様であってよい。図２１の例において取り扱われる所定種類のデータは、器官の写る医療用の画像データ（以下、医療用画像とも記載する）であってよい。器官は、例えば、消化器系、循環器系、呼吸器系、泌尿器系、生殖器系、内分泌器系、感覚器系、神経系、運動器系（骨、関節、靭帯、筋肉）等であってよい。

【0298】

医療用画像の取得には、医療検査装置ＳＡ１が用いられてよい。医療検査装置ＳＡ１は、センサの一例である。医療検査装置ＳＡ１は、例えば、レントゲン装置、ＣＴ装置、ＭＲＩ装置等であってよい。これに応じて、得られる医療用画像は、例えば、レントゲン画像、ＣＴ画像、ＭＲＩ画像等であってよい。図２１の例では、画像診断装置３Ａ１は、医療検査装置ＳＡ１に接続されており、これにより、医療用画像の対象サンプル３２５を取得することができる。

【0299】

第１特徴は、器官に関してよく、第２特徴は、病変（例えば、病気により発生する影）に関してもよい。器官の像が、背景の一例であり、病変の像が、前景の一例である。病変の属性は、医療用画像に表れる影の形状に関するものであってよい。反映レベル５３２は、例えば、病気の深刻度、進行度等の病気の状態に応じて設定されてよい。画像診断装置３Ａ１は、上記検査装置３Ａと同様の手順により、医療用画像の対象サンプル３２５から病変を検出する処理を実行することができる。病変が存在すると判定した場合、画像診断装置３Ａ１は、ステップＳ３０３において、その病変の種別、位置等の診断結果を出力してもよい。

【0300】

（Ａ－２）道路状況を監視する場面
図２２は、画像データから前景を検出する更なる他の場面の一例を模式的に例示する。図２２に例示される監視システムは、学習装置１、データ生成装置２、及び監視装置３Ａ２を備えている。監視装置３Ａ２は、上記検査装置３Ａに対応する。監視装置３Ａ２の構成は、上記検査装置３Ａと同様であってよい。図２２の例において取り扱われる所定種類のデータは、監視対象の道路の写る画像データ（以下、監視画像とも記載する）であってよい。

【0301】

監視画像の取得には、監視対象の道路を撮影するように配置されたカメラＳＡ２が用いられてよい。監視装置３Ａ２は、例えば、ネットワーク等を介して、カメラＳＡ２に適宜接続されてよい。これにより、監視装置３Ａ２は、監視画像の対象サンプル３２５を取得することができる。

【0302】

第１特徴は、道路、建物等の背景に関してよく、第２特徴は、道路の状況に関してもよい。道路の状況は、例えば、移動体の混み具合（混雑度）、犯罪の危険度等により表現されてよい。移動体は、歩行者、車両等であってよい。犯罪の危険度は、例えば、歩行者の数が少ない暗い道路の画像は高く、歩行者の数が多く明るい道路の画像は低くなるように設定されてよい。道路の状況の属性は、例えば、移動体の属性、環境の属性等により表現されてよい。移動体の属性は、例えば、位置、数、速度等に関してもよい。これらの他に、移動体が人物である場合には、移動体の属性は、例えば、性別、体格等に関してもよい。環境の属性は、例えば、時刻、季節、街灯の有無等の明るさの要因に関してもよい。道路の状況に関する像は、前景の一例である。反映レベル５３２は、当該道路の状況に応じて設定されてよい。この場合、監視装置３Ａ２は、上記検査装置３Ａと同様の手順により、監視画像の対象サンプル３２５から対象の道路の状況（例えば、移動体の混み具合、犯罪の危険度）を推定することができる。

【0303】

上記各形態によれば、データ生成装置２において、背景及び前景の任意の組み合わせの写る新たなサンプル６５を自在かつ自動的に生成可能である。上記画像診断の場面では、それぞれ異なる人物から得られた器官の画像及び病変の画像に基づいて、種々の病気状態の表れる多様な医療用画像を得ることができる。上記道路状況を監視する場面では、異なる条件（場所、時間等）で得られた画像に基づいて、道路の種々の状況の表れる多様な監視画像を得ることができる。そのため、背景及び前景の種々の組み合わせるの表れる多様なサンプルを収集するのにかかるコストを低減することができる。また、生成された新たなサンプル６５をデータ群３２０に追加することで、サンプル３２１の得られていない背景及び前景の組み合わせを低減又は無くすことができる。これにより、各前景を検出する処理の精度の向上を図ることができる。

【0304】

（Ｂ）運転態様を監視する場面
図２３は、第２変形例に係る監視システム１００Ｂの適用場面の一例を模式的に例示する。本変形例では、車両に設けられた車載センサにより得られるセンシングデータを利用して、運転者による車両の運転態様を監視する場面に上記実施形態を適用した例である。本変形例に係る監視システム１００Ｂは、学習装置１、データ生成装置２、及び監視装置３Ｂを備えている。上記実施形態と同様に、学習装置１、データ生成装置２、及び監視装置３Ｂは、ネットワークを介して互いに接続されてよい。

【0305】

本変形例において取り扱われる所定種類のデータは、加速度センサＳＢにより得られる車両の加速度データ（センシングデータ）である。第１特徴は、通常の運転時に生じる加速度の変容に関し、第２特徴は、飛び出し等の突発的な事象により生じる加速度の変容に関する。これらの限定を除き、本変形例に係る監視システム１００Ｂは、上記実施形態に係る推定システム１００と同様に構成されてよい。

【0306】

（学習装置）
本変形例では、第１学習データセット５１の第１サンプル５１１は、通常の運転時に生じる加速度の変容の表れる加速度データのサンプルであってよく、第１ラベル５１２は、運転者のタイプ、車種等の通常運転に影響を与える因子（以下、影響因子）の種別を示してもよい。運転者のタイプは、例えば、慎重である、荒っぽい等の運転に表れる性格に応じて設定されてよい。学習装置１は、上記ステップＳ１０１～ステップＳ１０３の処理を実行することで、入力値により指定される種別の影響因子の通常運転時に生じる加速度の変容の表れる疑似サンプルを生成する能力を獲得した訓練済みの第１生成器４１１を構築することができる。

【0307】

本変形例では、第２学習データセット５２の第２サンプル５２１は、突発的な事象により生じる加速度の変容の表れる加速度データのサンプルであってよく、第２ラベル５２２は、突発的な事象の種別を示してよい。学習装置１は、上記ステップＳ１１１～ステップＳ１１３の処理を実行することで、入力値により指定される種別の事象により生じる加速度の変容の表れる疑似サンプルを生成する能力を獲得した訓練済みの第２生成器４２１を構築することができる。

【0308】

本変形例では、第３学習データセット５３のサンプル値５３１は、加速度の変容具合を示してよい。加速度の変容は、例えば、振幅、周波数等により表現されてよい。反映レベル５３２は、加速度の変容を反映する程度を示してよい。反映レベル５３２は、突発的な事象の深刻度等の事故が発生するおそれの程度に関連して設定されてもよい。学習装置１は、上記ステップＳ１２１～ステップＳ１２３の処理を実行することで、入力値により指定される種別の事象及び程度の加速度の変容具合の疑似値を生成する能力を獲得した訓練済みの第３生成器４３１を構築することができる。

【0309】

本変形例では、学習装置１は、上記ステップＳ１３１～ステップＳ１３３の処理を実行することで、訓練済みの第１生成器４１１により生成された疑似サンプル５４２から、その疑似サンプル５４２を生成する際に訓練済みの第１生成器４１１に与えられた入力を推定する能力を獲得した訓練済みの推定器４４を構築することができる。また、本変形例では、学習装置１は、訓練済みの第１生成器４１１及び推定器４４を利用して、上記ステップＳ１４１～ステップＳ１４４の処理を実行することで、通常の運転時に生じる加速度の変容及び突発的な事象により生じる加速度の変容を含む第３サンプル５５１から第２サンプル５２１を生成することができる。

【0310】

（データ生成装置）
本変形例では、第１入力値２２１、第２入力値２２３、及び第３入力値２２５は、生成を所望するサンプルにおける影響因子の種別、突発的な事象の種別、及び突発的な事象を反映する程度に応じて指定されてよい。データ生成装置２は、訓練済みの各生成器（４１１、４２１、４３１）を利用して、上記ステップＳ２０１～ステップＳ２０５の処理を実行することで、突発的な事象を反映する程度を制御しながら、通常の運転時に生じる加速度の変容及び突発的な事象により生じる加速度の変容を含む新たなサンプル６５を生成することができる。

【0311】

（監視装置）
図２４Ａは、本変形例に係る監視装置３Ｂのハードウェア構成の一例を模式的に例示する。図２４Ａに示されるとおり、本変形例に係る監視装置３Ｂは、上記推定装置３と同様に、制御部３１、記憶部３２、通信インタフェース３３、外部インタフェース３４、入力装置３５、出力装置３６、及びドライブ３７が電気的に接続されたコンピュータにより構成されてよい。

【0312】

本変形例では、記憶部３２は、監視プログラム８３Ｂ等の各種情報を記憶する。監視プログラム８３Ｂは、上記実施形態に係る推定プログラム８３に対応する。また、本変形例では、監視装置３Ｂは、外部インタフェース３４を介して加速度センサＳＢに接続される。加速度センサＳＢは、車両の走行における加速度を測定可能に適宜配置されてよい。

【0313】

なお、監視装置３Ｂのハードウェア構成は、このような例に限定されなくてもよい。監視装置３Ｂの具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。監視装置３Ｂは、提供されるサービス専用に設計された情報処理装置の他、汎用のコンピュータ、スマートフォンを含む携帯電話、車載装置等であってもよい。

【0314】

図２４Ｂは、本変形例に係る監視装置３Ｂのソフトウェア構成の一例を模式的に例示する。上記実施形態と同様に、監視装置３Ｂのソフトウェア構成は、制御部３１による監視プログラム８３Ｂの実行により実現される。取り扱われるデータが上記のように限定される点を除き、監視装置３Ｂのソフトウェア構成は、上記推定装置３と同様である。監視部３１２Ｂは、上記推定部３１２に対応する。これにより、監視装置３Ｂは、上記推定装置３の推定処理と同様に、運転者の運転態様の監視に関する一連の処理を実行することができる。

【0315】

すなわち、ステップＳ３０１では、制御部３１は、推定対象の加速度の変容の表れる加速度データの対象サンプル３２５を加速度センサＳＢから取得する。ステップＳ３０２では、制御部３１は、監視部３１２Ｂとして動作し、データ群３２０を利用して対象サンプル３２５を分析することで、対象サンプル３２５から突発的な事象により生じた加速度の変容を検出する。データ群３２０に含まれるサンプル３２１には、通常の運転時に生じる加速度の変容及び突発的な事象により生じる加速度の変容が含まれる。検出する突発的な事象毎に限界事例のサンプル３２１が選択されてよい。検出のパラメータは、限界事例に選択されたサンプル３２１に基づいて設定されてよい。これにより、制御部３１は、運転者の運転態様を推定することができる。なお、運転態様の推定は、リアルタイムに実施されてもよいし、過去の時刻の運転態様を評価するために実施されてもよい。

【0316】

ステップＳ３０３では、制御部３１は、運転者の運転態様を推定した結果に関する情報を出力する。例えば、制御部３１は、突発的な事象により生じた加速度の変容に関する履歴を作成し、作成された履歴を所定の記憶領域に保存してもよい。当該履歴は、ステップＳ３０２により得られた加速度の変容をそのまま示してもよいし、得られた加速度の変容に対して何らかの情報処理を実行した結果を示してもよい。一例として、制御部３１は、突発的な事象により生じた加速度の変容に基づいて、事故が発生するおそれの程度を評価し、評価した結果を示す履歴を作成してもよい。その他、制御部３１は、突発的な事象により生じた加速度の変容に基づいて、例えば、急ブレーキ、急加速、急ハンドル等の運転者の行動を識別し、識別した結果を示す履歴を作成してもよい。行動を識別する指標は、適宜設定されてよい。監視装置３Ｂは、運転者が車両を運転している間、ステップＳ３０１～ステップＳ３０３の処理を繰り返し実行することで、運転者の運転態様を継続的に監視することができる。

【0317】

（特徴）
本変形例によれば、データ生成装置２において、影響因子の種別及び突発的な事象の任意に組み合わせにより生じる加速度の変容の表れる新たなサンプル６５を自在かつ自動的に生成可能である。そのため、影響因子の種別及び突発的な事象の種々の組み合わせの表れる多様なサンプルを収集するのにかかるコストを低減することができる。また、生成された新たなサンプル６５をデータ群３２０に追加することで、サンプル３２１の得られていない影響因子の種別及び突発的な事象の組み合わせを低減又は無くすことができる。これにより、監視装置３Ｂにおける運転者の運転態様を推定する処理の精度の向上を図ることができる。

【0318】

［その他の形態］
なお、加速度センサＳＢは、車載センサの一例である。加速度センサＳＢの他、車載センサには、例えば、カメラ、Lidarセンサ、ミリ波レーダ、超音波センサ等が用いられてよい。これにより、運転者の運転態様に代えて又は運転態様と共に、車両外部の状況を推定してもよい。この場合も、上記と同様に、第１特徴は、通常運転時に生じる各種の変容に関し、第２特徴は、突発的な事象により生じる各種の変容に関してよい。第１特徴の種別は、通常運転の影響因子の種別により表現されてよく、第２特徴の種別は、突発的な事象の種別により表現されてよい。

【0319】

（Ｃ）機械の異常を検知する場面
図２５は、第３変形例に係る検知システム１００Ｃの適用場面の一例を模式的に例示する。本変形例では、図２Ｂに例示される機械の動作音を含む音データを利用して、機械の異常を検知する場面に上記実施形態を適用した例である。本変形例に係る検知システム１００Ｃは、学習装置１、データ生成装置２、及び異常検知装置３Ｃを備えている。上記実施形態と同様に、学習装置１、データ生成装置２、及び異常検知装置３Ｃは、ネットワークを介して互いに接続されてよい。

【0320】

本変形例において取り扱われる所定種類のデータは、機械ＲＣの動作音を含む音データである。当該音データは、マイクロフォンＳＣにより機械ＲＣの動作音を録音することで得られてよい。第１特徴は、機械ＲＣの通常運転時に生じる動作音、機械ＲＣの周囲の雑音等の環境音に関し、第２特徴は、機械ＲＣの経年劣化、故障等の異常により生じる異常音に関する。機械ＲＣ及び異常の種類は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。上記のとおり、機械ＲＣは、例えば、コンベア装置、産業用ロボット等の製造ラインを構成する装置であってよい。機械ＲＣは、装置全体であってもよいし、モータ等の装置の一部であってもよい。異常は、例えば、故障、異物の混入、汚れの付着、構成部品の摩耗であってもよい。これらの限定を除き、本変形例に係る検知システム１００Ｃは、上記実施形態に係る推定システム１００と同様に構成されてよい。

【0321】

（学習装置）
本変形例では、第１学習データセット５１の第１サンプル５１１は、環境音を含む音データのサンプルであってよく、第１ラベル５１２は、機械ＲＣ及び周囲環境の種別を示してもよい。上記のとおり、機械ＲＣの周囲環境は、例えば、機械ＲＣの駆動する場所、時間等により区別されてよい。学習装置１は、上記ステップＳ１０１～ステップＳ１０３の処理を実行することで、入力値により指定される種別の機械ＲＣ及び周囲環境の環境音を含む疑似サンプルを生成する能力を獲得した訓練済みの第１生成器４１１を構築することができる。

【0322】

本変形例では、第２学習データセット５２の第２サンプル５２１は、異常音を含む音データのサンプルであってよく、第２ラベル５２２は、異常の種別を示してもよい。学習装置１は、上記ステップＳ１１１～ステップＳ１１３の処理を実行することで、入力値により指定される種別の異常で生じる異常音を含む疑似サンプルを生成する能力を獲得した訓練済みの第２生成器４２１を構築することができる。

【0323】

本変形例では、第３学習データセット５３のサンプル値５３１は、異常音の属性の度合を示してよい。異常音の属性は、例えば、振幅、周波数等により表現されてよい。反映レベル５３２は、異常音を反映する程度を示してよい。反映レベル５３２は、異常の深刻度、機械ＲＣの正常度等の異常の程度に関連して設定されてもよい。学習装置１は、上記ステップＳ１２１～ステップＳ１２３の処理を実行することで、入力値により指定される種別及び程度の異常音の属性の疑似値を生成する能力を獲得した訓練済みの第３生成器４３１を構築することができる。

【0324】

本変形例では、学習装置１は、上記ステップＳ１３１～ステップＳ１３３の処理を実行することで、訓練済みの第１生成器４１１により生成された疑似サンプル５４２から、その疑似サンプル５４２を生成する際に訓練済みの第１生成器４１１に与えられた入力を推定する能力を獲得した訓練済みの推定器４４を構築することができる。また、本変形例では、学習装置１は、訓練済みの第１生成器４１１及び推定器４４を利用して、上記ステップＳ１４１～ステップＳ１４４の処理を実行することで、環境音及び異常音を含む第３サンプル５５１から第２サンプル５２１を生成することができる。

【0325】

（データ生成装置）
本変形例では、第１入力値２２１、第２入力値２２３、及び第３入力値２２５は、生成を所望するサンプルにおける機械及び周囲環境の種別、異常の種別、並びに異常音を反映する程度に応じて指定されてよい。データ生成装置２は、訓練済みの各生成器（４１１、４２１、４３１）を利用して、上記ステップＳ２０１～ステップＳ２０５の処理を実行することで、異常音を反映する程度を制御しながら、指定された種別の環境音及び異常音を含むあらたなサンプル６５を生成することができる。

【0326】

（異常検知装置）
図２６Ａは、本変形例に係る異常検知装置３Ｃのハードウェア構成の一例を模式的に例示する。図２６Ａに示されるとおり、本変形例に係る異常検知装置３Ｃは、上記推定装置３と同様に、制御部３１、記憶部３２、通信インタフェース３３、外部インタフェース３４、入力装置３５、出力装置３６、及びドライブ３７が電気的に接続されたコンピュータにより構成されてよい。

【0327】

本変形例では、記憶部３２は、異常検知プログラム８３Ｃ等の各種情報を記憶する。異常検知プログラム８３Ｃは、上記実施形態に係る推定プログラム８３に対応する。また、本変形例では、異常検知装置３Ｃは、外部インタフェース３４を介してマイクロフォンＳＣに接続される。マイクロフォンＳＣは、機械ＲＣの動作音を録音可能な場所に適宜配置されてよい。

【0328】

なお、異常検知装置３Ｃのハードウェア構成は、このような例に限定されなくてもよい。異常検知装置３Ｃの具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。異常検知装置３Ｃは、提供されるサービス専用に設計された情報処理装置の他、汎用のサーバ装置、汎用のＰＣ、ＰＬＣ等であってもよい。

【0329】

図２６Ｂは、本変形例に係る異常検知装置３Ｃのソフトウェア構成の一例を模式的に例示する。上記実施形態と同様に、異常検知装置３Ｃのソフトウェア構成は、制御部３１による異常検知プログラム８３Ｃの実行により実現される。取り扱われるデータが上記のように限定される点を除き、異常検知装置３Ｃのソフトウェア構成は、上記推定装置３と同様である。検知部３１２Ｃは、上記推定部３１２に対応する。これにより、異常検知装置３Ｃは、上記推定装置３の推定処理と同様に、機械ＲＣの異常の検知に関する一連の処理を実行することができる。

【0330】

すなわち、ステップＳ３０１では、制御部３１は、検査対象の機械ＲＣの動作音を含む対象サンプル３２５をマイクロフォンＳＣから取得する。ステップＳ３０２では、制御部３１は、検知部３１２Ｃとして動作し、データ群３２０を利用して対象サンプル３２５を分析することで、検査対象の機械ＲＣに異常が発生しているか否かを判定する。データ群３２０に含まれるサンプル３２１には、環境音及び異常音が含まれている。検出する異常の種別毎に限界事例のサンプル３２１が選択されてよい。検出のパラメータは、限界事例に選択されたサンプル３２１に基づいて設定されてよい。これにより、制御部３１は、機械ＲＣの動作状態を推定することができる。機械ＲＣの動作に異常が発生した場合には、制御部３１は、その異常を検知することができる。

【0331】

ステップＳ３０３では、制御部３１は、機械ＲＣの動作状態を推定した結果に関する情報を出力する。例えば、制御部３１は、機械ＲＣの動作状態を推定した結果をそのまま出力装置３６に出力してもよい。また、例えば、ステップＳ３０２の処理により異常の発生を検知した場合に、制御部３１は、その異常の発生を知らせるための警告を出力装置３６に出力してもよい。更に、異常検知装置３Ｃが機械ＲＣの動作を制御可能に構成されている場合、制御部３１は、異常の発生を検知したことに応じて、機械ＲＣの動作を停止させてもよい。加えて、制御部３１は、機械ＲＣに発生した異常の種別、及び異常に対処するためのメンテナンス方法の情報を出力装置３６に出力してもよい。異常に対処するためのメンテナンス方法を示す情報は、記憶部３２、記憶媒体９３、外部記憶装置、記憶メディア等の所定の記憶領域に保存されていてもよい。制御部３１は、異常に対処するためのメンテナンス方法を示す情報を所定の記憶領域から適宜取得してもよい。

【0332】

（特徴）
本変形例によれば、データ生成装置２において、任意の種別の環境音及び異常音の組み合わせを含む新たなサンプル６５を自在かつ自動的に生成可能である。そのため、環境音及び異常音の種々の組み合わせを含む多様なサンプルを収集するのにかかるコストを低減することができる。また、生成された新たなサンプル６５をデータ群３２０に追加することで、サンプル３２１の得られていない環境音及び異常音の組み合わせを低減又は無くすことができる。これにより、異常検知装置３Ｃにおける機械ＲＣの異常を検知する処理の精度の向上を図ることができる。

【0333】

［その他の形態］
なお、マイクロフォンＳＣは、機械ＲＣの状態を監視するためのセンサの一例である。センシングデータにより機械ＲＣの異常を検知する方法は、上記機械ＲＣの動作音を含む音データによる方法に限られなくてもよい。マイクロフォンＳＣの他、例えば、加速度センサ、振動センサ等の機械の振動を測定するセンサが、機械ＲＣの異常を検知するために利用されてよい。この場合、音（空気の振動）が機械ＲＣの物理的な振動に置き換わるに過ぎず、上記と同様の方法により、機械ＲＣの異常を検知することができる。

【0334】

＜４．２＞
上記実施形態では、各生成器（４１１、４２１、４３１）、各識別器（４１２、４２２、４３２）及び推定器４４には、全結合型のニューラルネットワークが用いられている。しかしながら、各生成器（４１１、４２１、４３１）、各識別器（４１２、４２２、４３２）及び推定器４４それぞれを構成するニューラルネットワークの種類は、このような例に限定されなくてもよい。各生成器（４１１、４２１、４３１）、各識別器（４１２、４２２、４３２）及び推定器４４には、畳み込みニューラルネットワーク、再帰型ニューラルネットワーク等が用いられてよい。

【0335】

また、上記実施形態において、各生成器（４１１、４２１、４３１）、各識別器（４１２、４２２、４３２）及び推定器４４それぞれを構成する機械学習モデルの種類は、ニューラルネットワークに限られなくてもよい。各識別器（４１２、４２２、４３２）及び推定器４４には、ニューラルネットワーク以外に、例えば、サポートベクタマシン、回帰モデル、決定木モデル等が用いられてよい。機械学習の方法は、それぞれの機械学習モデルの種類に応じて適宜選択されてよい。

【0336】

また、上記実施形態において、各生成器（４１１、４２１、４３１）、各識別器（４１２、４２２、４３２）及び推定器４４それぞれの入力及び出力の形式は、特に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。例えば、第１生成器４１１は、ノイズ及び第１特徴の種別以外の情報の入力を更に受け付けるように構成されてもよい。また、例えば、第１生成器４１１は、疑似サンプル以外の情報を出力するように構成されてもよい。その他についても同様である。

【0337】

＜４．３＞
上記実施形態では、各学習モデル４１～４３は、各生成器（４１１、４２１、４３１）及び各識別器（４１２、４２２、４３２）により構成されている。しかしながら、各学習モデル４１～４３の構成は、対応する疑似的なデータを生成する能力を獲得するように各生成器（４１１、４２１、４３１）を訓練可能であれば、このような例に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。

【0338】

図２７は、本変形例に係る第１学習モデル４１Ｄの構成の一例を模式的に例示する。本変形例に係る第１学習モデル４１Ｄは、エンコーダ４１５及びデコーダ４１１Ｄにより構成される。エンコーダ４１５は、第１特徴を含むサンプル及び第１特徴の種別を示す情報を特徴量に変換するように構成される。デコーダ４１１Ｄは、エンコーダ４１５により得られた特徴量及び対応する第１特徴の種別を示す情報から対応する第１特徴を含むサンプルを復元するように構成される。本変形例では、デコーダ４１１Ｄが、第１生成器４１１に対応する。エンコーダ４１５により得られる特徴量が、上記実施形態におけるノイズ（潜在変数）に対応する。

【0339】

エンコーダ４１５及びデコーダ４１１Ｄはそれぞれ、機械学習モデルにより構成される。エンコーダ４１５及びデコーダ４１１Ｄそれぞれを構成する機械学習モデルの種類は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。上記実施形態と同様に、エンコーダ４１５及びデコーダ４１１Ｄそれぞれを構成する機械学習モデルには、例えば、ニューラルネットワークが用いられてよい。エンコーダ４１５及びデコーダ４１１Ｄそれぞれがニューラルネットワークにより構成される場合、学習装置１は、上記ステップＳ１０２において、以下のとおり、第１学習モデル４１Ｄの機械学習を実施することができる。

【0340】

すなわち、制御部１１は、各第１学習データセット５１について、第１サンプル５１１及び第１ラベル５１２をエンコーダ４１５に入力し、エンコーダ４１５の演算処理を実行する。これにより、制御部１１は、第１サンプル５１１及び第１ラベル５１２を特徴量に変換した結果に対応する出力値をエンコーダ４１５から取得する。

【0341】

次に、制御部１１は、エンコーダ４１５から得られた特徴量及び対応する第１ラベル５１２をデコーダ４１１Ｄに入力し、デコーダ４１１Ｄの演算処理を実行する。これにより、制御部１１は、特徴量及び第１ラベル５１２から復元された復元サンプル５１５Ｄに対応する出力値をデコーダ４１１Ｄから取得する。

【0342】

制御部１１は、各第１学習データセット５１について、得られた復元サンプル５１５Ｄと第１サンプル５１１との誤差を算出する。制御部１１は、誤差逆伝播法により、算出された誤差の勾配を用いて、エンコーダ４１５及びデコーダ４１１Ｄそれぞれの演算パラメータの値の誤差を算出する。制御部１１は、算出された各誤差に基づいて、エンコーダ４１５及びデコーダ４１１Ｄそれぞれの演算パラメータの値を更新する。制御部１１は、当該一連の更新処理により、算出される誤差の和が小さくなるように、エンコーダ４１５及びデコーダ４１１Ｄそれぞれの演算パラメータの値を調節する。

【0343】

なお、上記更新処理の他に、制御部１１は、エンコーダ４１５から得られる特徴量と所定の確率分布（例えば、ガウス分布等）から得られる値との誤差を算出し、当該誤差の和が小さくなるようにエンコーダ４１５の演算パラメータの値を更に調節してもよい。これにより、制御部１１は、エンコーダ４１５の出力値を正規化してもよい。

【0344】

以上の機械学習により、第１特徴を含むサンプル及び第１特徴の種別を示す情報を適切な特徴量に変換する能力を獲得した訓練済みのエンコーダ４１５を構築することができる。これと共に、特徴量及び第１特徴の種別を示す情報から対応する第１特徴を含むサンプルを生成する能力を獲得した訓練済みのデコーダ４１１Ｄを構築することができる。

【0345】

特徴量は、上記ノイズに対応するため、訓練済みのデコーダ４１１Ｄは、上記訓練済みの第１生成器４１１と同じように取り扱うことができる。データ生成装置２は、上記実施形態と同様の処理手順により、訓練済みのデコーダ４１１Ｄを利用して、第１疑似サンプル６１を生成することができる。また、学習装置１は、上記実施形態と同様の処理手順により、訓練済みのデコーダ４１１Ｄ及び推定器４４を利用して、第３サンプル５５１から第２サンプル５２１を生成することができる。なお、第２学習モデル４２及び第３学習モデル４３もそれぞれ、本変形例に係る第１学習モデル４１Ｄのように構成されてよい。

【0346】

＜４．４＞
上記実施形態において、第３学習モデル４３は省略されてもよい。この場合、学習装置１のソフトウェア構成から第３取得部１１３及び第３訓練部１１７は省略されてよい。学習装置１の処理手順において、ステップＳ１２１～ステップＳ１２３の処理は省略されてよい。データ生成装置２の処理手順において、ステップＳ２０４の処理は省略されてよい。制御部２１は、ステップＳ２０５において、第１疑似サンプル６１及び第２疑似サンプル６２を適宜合成してもよい。制御部２１は、例えば、第１疑似サンプル６１及び第２疑似サンプル６２をそのまま重畳的に加算することで、第１疑似サンプル６１及び第２疑似サンプル６２を合成してもよい。或いは、合成のパラメータは、オペレータの入力等により適宜指定されてもよい。制御部２１は、指定されたパラメータに基づいて、第１疑似サンプル６１及び第２疑似サンプル６２を合成してもよい。

【0347】

＜４．５＞
上記実施形態において、推定器４４の機械学習は、学習装置１以外の他のコンピュータにより実行されてよい。或いは、第２サンプル５２１は、オペレータの操作によるデータ加工等の上記実施形態以外の方法で生成されてもよい。例えば、制御部１１は、第３サンプル５５１と予め与えられた第１特徴のみを含むサンプルとの差分を算出することで、第２サンプル５２１を生成してもよい。これらの場合、学習装置１のソフトウェア構成から第４取得部１１４及び第４訓練部１１８は省略されてよい。学習装置１の処理手順において、ステップＳ１３１～ステップＳ１３３及びステップＳ１４１～ステップＳ１４４の処理は省略されてよい。

【0348】

＜４．６＞
上記実施形態に係る推定装置３は、ステップＳ３０２における第２特徴に関する推定処理に、訓練済みの第１生成器４１１及び推定器４４を利用している。しかしながら、第２特徴に関する推定処理は、このような例に限定されなくてもよい。例えば、対象サンプル３２５に対応する第１特徴を含むサンプルが予め与えられてもよい。推定装置３は、疑似サンプル３２６の代わりに、この予め与えられたサンプルを利用してもよい。また、例えば、推定装置３は、部分空間法等の方法で生成された別のモデルにより、対象サンプル３２５に対応する第１特徴を含むサンプルを当該対象サンプル３２５から生成してもよい。なお、これらに例示されるように、訓練済みの第１生成器４１１及び推定器４４を推定処理に利用しない場合には、推定装置３の保持する情報から第１学習結果データ１２１及び第４学習結果データ１２４は省略されてよい。

【0349】

また、上記実施形態では、第２特徴に関する推定処理は、差分サンプル３２７に対するデータ解析により実現されている。新たなサンプル６５は、このデータ解析のパラメータに反映可能である。しかしながら、新たなサンプル６５を推定処理におけるパラメータに反映する形態は、このような例に限定されなくてもよい。その他の形態の一例として、第２特徴に関する推定処理には、当該推定処理を実施する能力を獲得した訓練済みの機械学習モデルが用いられてよい。新たなサンプル６５は、この機械学習モデルの機械学習に利用されることで、訓練済みの機械学習モデルの演算パラメータの値に反映されてよい。この形態では、訓練済みの機械学習モデルの演算パラメータが、推定処理におけるパラメータに相当する。

【0350】

図２８は、本変形例に係る推定システム１００Ｅの適用場面の一例を模式的に例示する。本変形例は、訓練済みの機械学習モデルを推定処理に利用する形態の一例である。本変形例に係る推定システム１００Ｅは、学習装置１、データ生成装置２、推定装置３Ｅ、及び他の学習装置７を備えている。推定装置３Ｅは、上記実施形態に係る推定装置３に対応する。他の学習装置７は、第２特徴に関する推定処理に利用可能な訓練済みの機械学習モデルを生成するように構成されたコンピュータである。上記実施形態と同様に、学習装置１、データ生成装置２、推定装置３Ｅ、及び他の学習装置７は、ネットワークを介して互いに接続されてよい。また、学習装置１、データ生成装置２、推定装置３Ｅ、及び他の学習装置７のうちの少なくともいずれかのペアは一体のコンピュータであってよい。

【0351】

［他の学習装置］
（ハードウェア構成）
図２９は、本変形例に係る他の学習装置７のハードウェア構成の一例を模式的に例示する。図２９に示されるとおり、本変形例に係る他の学習装置７は、制御部７１、記憶部７２、通信インタフェース７３、外部インタフェース７４、入力装置７５、出力装置７６、及びドライブ７７が電気的に接続されたコンピュータにより構成される。他の学習装置７の制御部７１～ドライブ７７及び記憶媒体９７はそれぞれ、上記学習装置１の制御部１１～ドライブ１７及び記憶媒体９１それぞれと同様に構成されてよい。

【0352】

本変形例では、記憶部７２は、学習プログラム８７、複数の学習データセット７２１、学習結果データ７２５等の各種情報を記憶する。学習プログラム８７は、推定処理に利用可能な訓練済みの機械学習モデルの生成に関する後述の情報処理（図３１）を他の学習装置７に実行させるためのプログラムである。学習プログラム８７は、この情報処理の一連の命令を含む。学習プログラム８７は、上記学習プログラム８１と同様に、「モデル生成プログラム」又は単に「生成プログラム」と称されてよい。複数の学習データセット７２１は、機械学習モデルの機械学習に使用される。学習結果データ７２５は、機械学習により構築された訓練済みの機械学習モデルに関する情報を示す。学習結果データ７２５は、学習プログラム８７を実行した結果として生成される。学習プログラム８７及び複数の学習データセット７２１のうちの少なくともいずれかは、記憶媒体９７に記憶されていてもよい。また、他の学習装置７は、記憶媒体９７から、学習プログラム８７及び複数の学習データセット７２１のうちの少なくともいずれかを取得してもよい。

【0353】

なお、他の学習装置７の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。例えば、制御部７１は、複数のハードウェアプロセッサを含んでもよい。ハードウェアプロセッサは、マイクロプロセッサ、ＦＰＧＡ、ＤＳＰ等で構成されてよい。記憶部７２は、制御部７１に含まれるＲＡＭ及びＲＯＭにより構成されてもよい。通信インタフェース７３、外部インタフェース７４、入力装置７５、出力装置７６、及びドライブ７７の少なくともいずれかは省略されてもよい。他の学習装置７は、複数台のコンピュータで構成されてもよい。この場合、各コンピュータのハードウェア構成は、一致していてもよいし、一致していなくてもよい。また、他の学習装置７は、提供されるサービス専用に設計された情報処理装置の他、汎用のサーバ装置、汎用のＰＣ等であってもよい。

【0354】

（ソフトウェア構成）
図３０は、本変形例に係る他の学習装置７のソフトウェア構成の一例を模式的に例示する。上記学習装置１等と同様に、制御部７１により学習プログラム８７が実行される。これにより、他の学習装置７は、取得部７１１、訓練部７１２、及び保存処理部７１３をソフトウェアモジュールとして備えるコンピュータとして動作する。すなわち、本変形例では、他の学習装置７の各ソフトウェアモジュールは、制御部７１（ＣＰＵ）により実現される。

【0355】

取得部７１１は、訓練サンプル７２１１及び正解データ７２１２の組み合わせによりそれぞれ構成された複数の学習データセット７２１を取得する。訓練サンプル７２１１は第１特徴を含んでいる。一方、訓練サンプル７２１１は、第２特徴を含む及び含まないのいずれであってもよい。新たなサンプル６５が、訓練サンプル７２１１として利用されてよい。正解データ７２１２は、訓練サンプル７２１１に対する第２特徴に関する所定の推定を実行した結果（正解）を示す。

【0356】

訓練部７１２は、取得された複数の学習データセット７２１を使用して、機械学習モデル４５の機械学習を実行する。機械学習では、訓練部７１２は、各学習データセット７２１について、訓練サンプル７２１１を入力すると、正解データ７２１２に適合する出力値を出力するように機械学習モデル４５を訓練する。これにより、第２特徴に関する推定処理を実行する能力を獲得した訓練済みの機械学習モデル４５を生成することができる。保存処理部７１３は、訓練済みの機械学習モデル４５に関する情報を学習結果データ７２５として生成し、生成された学習結果データ７２５を所定の記憶領域に保存する。

【0357】

機械学習モデル４５の種類は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。機械学習の方法は、機械学習モデル４５の種類に応じて選択されてよい。上記第１生成器４１１等と同様に、機械学習モデル４５は、例えば、ニューラルネットワークにより構成されてよい。以下では、説明の便宜のため、機械学習モデル４５は、ニューラルネットワークにより構成されると想定する。

【0358】

なお、本変形例では、上記学習装置１等と同様に、他の学習装置７の各ソフトウェアモジュールがいずれも汎用のＣＰＵによって実現される例について説明している。しかしながら、以上のソフトウェアモジュールの一部又は全部が、１又は複数の専用のプロセッサにより実現されてもよい。また、他の学習装置７のソフトウェア構成に関して、実施形態に応じて、適宜、ソフトウェアモジュールの省略、置換及び追加が行われてもよい。

【0359】

（動作例）
図３１は、本変形例に係る他の学習装置７による機械学習モデル４５の機械学習に関する処理手順の一例を示すフローチャートである。なお、以下で説明する処理手順は一例に過ぎず、各ステップは可能な限り変更されてよい。更に、以下で説明する各処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。

【0360】

ステップＳ７０１では、制御部７１は、取得部７１１として動作し、複数の学習データセット７２１を取得する。各学習データセット７２１は適宜生成されてよい。一例として、訓練サンプル７２１１を適宜取得する。訓練サンプル７２１１は、上記第１サンプル５１１又は第３サンプル５５１と同様の方法で取得されてよい。次に、取得された訓練サンプル７２１１に対して第２特徴に関する所定の推定を実行する。この場面では、所定の推定は、オペレータ等により手動的に行われてよい。そして、訓練サンプル７２１１に対して所定の推定を実行した結果（正解）を訓練サンプル７２１１に関連付ける。これにより、各学習データセット７２１を生成することができる。上記第１学習結果データ５１等と同様に、各学習データセット７２１は、コンピュータの動作により自動的に生成されてもよいし、オペレータの操作により手動的に生成されてもよい。また、各学習データセット７２１は、他の学習装置７により行われてもよいし、他の学習装置７以外の他のコンピュータにより行われてもよい。制御部７１は、生成された各学習データセット７２１を適宜取得してよい。

【0361】

また、新たなサンプル６５が、訓練サンプル７２１１として利用されてよい。例えば、学習データセット７２１の件数が不足する場合に、制御部７１は、上記推定装置３と同様の方法で、新たなサンプル６５の生成を依頼してもよい。この場合、各入力値（２２１、２２３、２２５）は、他の学習装置７において指定されてよい。或いは、データ生成装置２は、他の学習装置７からの依頼に依らず、新たなサンプル６５を生成してもよい。これにより、生成された新たなサンプル６５が任意の方法で他の学習装置７に提供されることで、他の学習装置７は、提供された新たなサンプル６５を訓練サンプル７２１１として取得してもよい。正解データ７２１２は、新たなサンプル６５を生成する際に指定された第２入力値２２３及び第３入力値２２５により与えられてよい。

【0362】

取得する学習データセット７２１の件数は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。複数の学習データセット７２１を取得すると、制御部７１は、次のステップＳ７０２に処理を進める。

【0363】

ステップＳ７０２では、制御部７１は、訓練部７１２として動作し、取得された複数の学習データセット７２１を使用して、機械学習モデル４５の機械学習を実施する。一例として、制御部７１は、各学習データセット７２１について、訓練サンプル７２１１を機械学習モデル４５に入力し、機械学習モデル４５の演算処理を実行する。これにより、訓練サンプル７２１１に対して第２特徴に関する所定の推定処理を実行した結果に対応する出力値を機械学習モデル４５から取得する。制御部７１は、各学習データセット７２１について、得られた出力値と正解データ７２１２との誤差を算出する。制御部７１は、誤差逆伝播法により、算出された誤差の勾配を用いて、機械学習モデル４５の演算パラメータの値の誤差を算出する。制御部７１は、算出された各誤差に基づいて、機械学習モデル４５の演算パラメータの値を更新する。制御部７１は、当該一連の更新処理により、算出される誤差の和が小さくなるように、機械学習モデル４５の演算パラメータの値を調節する。これにより、第２特徴に関する推定処理を実行する能力を獲得した訓練済みの機械学習モデル４５を生成することができる。また、データ生成装置２により生成された新たなサンプル６５をこの機械学習の処理に使用することで、訓練済みの機械学習モデル４５の演算パラメータの値に新たなサンプル６５を反映することができる。機械学習モデル４５の機械学習が完了すると、制御部７１は、次のステップＳ７０３に処理を進める。

【0364】

なお、上記実施形態において、限界事例のサンプル３２１が選択されたのと同様に、本変形例では、当該機械学習において優先する学習データセット７２１が選択されてよい。優先する学習データセット７２１は、データ生成装置２により生成された新たなサンプル６５を含むものから選択されてよい。例えば、図２Ａの例では、オペレータにより、複数の学習データセットのうち、検出の誤りの抑制を所望する欠陥の写るサンプルを含む学習データセットが優先的に機械学習されるように選択されてよい。この場合、上記一連の更新処理において、選択された学習データセット７２１のサンプリングレート又は学習率が他の学習データセット７２１よりも高く設定されてよい。これにより、上記機械学習において、選択された学習データセット７２１が優先的に訓練される。その結果、訓練済みの機械学習モデル４５において、選択された学習データセット７２１の訓練サンプル７２１１に対する第２特徴に関する推定処理（上記図２Ａの例では、欠陥検出）の精度の向上を図ることができる。

【0365】

ステップＳ７０３では、制御部７１は、訓練済みの機械学習モデル４５に関する情報を学習結果データ７２５として生成し、生成された学習結果データ７２５を所定の記憶領域に保存する。所定の記憶領域は、例えば、制御部７１内のＲＡＭ、記憶部７２、記憶媒体９７、外部記憶装置又はこれらの組み合わせであってよい。これにより、学習結果データ７２５の保存が完了すると、制御部７１は、本動作例に係る処理手順を終了する。

【0366】

［推定装置］
次に、図３２Ａ及び図３２Ｂを用いて、本変形例に係る推定装置３Ｅについて説明する。図３２Ａは、本変形例に係る推定装置３Ｅのハードウェア構成の一例を模式的に例示する。図３２Ｂは、本変形例に係る推定装置３Ｅのソフトウェア構成の一例を模式的に例示する。

【0367】

図３２Ａに示されるとおり、本変形例に係る推定装置３Ｅは、上記推定装置３と同様に、制御部３１、記憶部３２、通信インタフェース３３、外部インタフェース３４、入力装置３５、出力装置３６、及びドライブ３７が電気的に接続されたコンピュータにより構成されてよい。

【0368】

本変形例では、記憶部３２は、推定プログラム８３Ｅ、学習結果データ７２５等の各種情報を記憶する。推定プログラム８３Ｅは、上記実施形態に係る推定プログラム８３に対応する。推定プログラム８３Ｅ及び学習結果データ７２５のうちの少なくともいずれかは、記憶媒体９３に記憶されていてもよい。また、推定装置３Ｅは、記憶媒体９３から、推定プログラム８３Ｅ及び学習結果データ７２５のうちの少なくともいずれかを取得してもよい。

【0369】

なお、上記第１学習結果データ１２１等と同様に、他の学習装置７により生成された学習結果データ７２５は、任意のタイミングで推定装置３Ｅに適用されてよい。また、上記ステップＳ７０１～ステップＳ７０３の処理が定期又は不定期に繰り返されてよい。そして、更新又は新たに作成された学習結果データ７２５が任意の方法で推定装置３Ｅに提供されることで、推定装置３Ｅの保持する学習結果データ７２５が更新されてもよい。

【0370】

図３２Ｂに示されるとおり、上記実施形態と同様に、推定装置３Ｅのソフトウェア構成は、制御部３１による推定プログラム８３Ｅの実行により実現される。推定処理におけるパラメータの値は上記機械学習により決定されるため、設定部３１４が省略される点を除き、推定装置３Ｅのソフトウェア構成は、上記推定装置３と同様である。推定部３１２Ｅは、上記推定部３１２に対応する。本変形例では、推定部３１２Ｅは、学習結果データ７２５を保持していることで、訓練済みの機械学習モデル４５を備えている。これにより、推定装置３Ｅは、ステップＳ３０２において訓練済みの機械学習モデル４５を利用する点を除き、上記実施形態と同様の手順で、対象サンプル３２５に対する第２特徴に関する推定処理を実行することができる。

【0371】

上記ステップＳ３０２では、制御部３１は、推定部３１２Ｅとして動作し、学習結果データ７２５を参照して、訓練済みの機械学習モデル４５の設定を行う。制御部３１は、取得された対象サンプル３２５を訓練済みの機械学習モデル４５に入力し、訓練済みの機械学習モデル４５の演算処理を実行する。これにより、制御部３１は、対象サンプル３２５に対して第２特徴に関する推定処理を実行した結果に対応する出力値を訓練済みの機械学習モデル４５から取得することができる。上記図２Ａの例では、制御部３１は、対象サンプル３２５に写る製品に欠陥が含まれるか否かを判定した結果に対応する出力値を訓練済みの機械学習モデル４５から取得することができる。本変形例では、この処理により、第２特徴に関する推定処理が達成される。

【0372】

＜４．７＞
上記実施形態において、データ生成装置２により生成される新たなサンプル６５で合成される第１特徴及び第２特徴の数は、１つに限られなくてもよく、２つ以上であってもよい。制御部２１は、例えば、上記ステップＳ２０５において、１つの第１疑似サンプル６１に、それぞれ異なる種別の第２特徴を含む２つ以上の第２疑似サンプル６２を合成してもよい。これにより、２つ以上の第２特徴の表れる新たなサンプル６５を生成することができる。例えば、上記図２Ａの例では、製品Ｐ１に２つ以上の欠陥Ｐ１２が生じた事例に対応する新たなサンプル６５を生成することができる。

【0373】

＜４．８＞
上記実施形態において、各学習モデル４１～４３及び推定器４４はそれぞれ別々のコンピュータにより生成されてもよい。また、例えば、訓練済みの各生成器（４１１、４２１、４３１）及び推定器４４を暫定的に生成するケース等、各学習結果データ１２１～１２４の保存が不要な場合には、ステップＳ１０３、ステップＳ１１３、ステップＳ１２３、及びステップＳ１３３の処理は省略されてよい。この場合、学習装置１のソフトウェア構成から保存処理部１１９は省略されてよい。

【0374】

また、上記実施形態では、データ生成装置２は、ステップＳ２０１の処理により、各入力値（２２１、２２３、２２５）の指定を受け付けている。しかしながら、各入力値（２２１、２２３、２２５）を指定する方法は、このような例に限定されなくてもよい。例えば、各入力値（２２１、２２３、２２５）は、ランダム等の方法により機械的に決定されてよい。この場合、データ生成装置２の処理手順において、ステップＳ２０１の処理は省略されてよい。データ生成装置２のソフトウェア構成から受付部２１１は省略されてよい。

【符号の説明】

【0375】

１…学習装置、
１１…制御部、１２…記憶部、１３…通信インタフェース、
１４…外部インタフェース、
１５…入力装置、１６…出力装置、
１７…ドライブ、９１…記憶媒体、
８１…学習プログラム、
１１１…第１取得部、１１２…第２取得部、
１１３…第３取得部、１１４…第４取得部、
１１５…第１訓練部、１１６…第２訓練部、
１１７…第３訓練部、１１８…第４訓練部、
１１９…保存処理部、
１２１…第１学習結果データ、１２２…第２学習結果データ、
１２３…第３学習結果データ、１２４…第４学習結果データ、
２…データ生成装置、
２１…制御部、２２…記憶部、２３…通信インタフェース、
２４…外部インタフェース、
２５…入力装置、２６…出力装置、
２７…ドライブ、９２…記憶媒体、
８２…データ生成プログラム、
２１１…受付部、２１２…第１生成部、
２１３…第２生成部、２１４…データ合成部、
２２０・２２２・２２４…ノイズ、
２２１…第１入力値、２２３…第２入力値、
２２５…第３入力値、
３…推定装置、
３１…制御部、３２…記憶部、３３…通信インタフェース、
３４…外部インタフェース、
３５…入力装置、３６…出力装置、
３７…ドライブ、９３…記憶媒体、
８３…推定プログラム、
３１１…取得部、３１２…推定部、３１３…出力部、
３１４…設定部、
３２０…データ群、３２１…サンプル、
３２５…対象サンプル、３２６…疑似サンプル、
３２７…差分サンプル、
４１…第１学習モデル、
４１１…第１生成器、４１２…第１識別器、
４２…第２学習モデル、
４２１…第２生成器、４２２…第２識別器、
４３…第３学習モデル、
４３１…第３生成器、４３２…第３識別器、
４４…推定器、
５１…第１学習データセット、
５１１…第１サンプル、５１２…第１ラベル、
５２…第２学習データセット、
５２１…第２サンプル、５２２…第２ラベル、
５３…第３学習データセット、
５３１…サンプル値、５３２…反映レベル、
５４…第４学習データセット、
５４１…サンプル値、５４２…疑似サンプル（第４疑似サンプル）、
５５１…第３サンプル、５５５…疑似サンプル（第３疑似サンプル）、
６１…第１疑似サンプル、６２…第２疑似サンプル、
６３…疑似値

【図1】

【図2A】

【図2B】

【図3】

【図4】

【図5】

【図6】

【図7A】

【図7B】

【図7C】

【図7D】

【図7E】

【図8】

【図9】

【図10A】

【図10B】

【図11A】

【図11B】

【図12A】

【図12B】

【図13】

【図14】

【図15】

【図16】

【図17A】

【図17B】

【図18A】

【図18B】

【図19】

【図20A】

【図20B】

【図21】

【図22】

【図23】

【図24A】

【図24B】

【図25】

【図26A】

【図26B】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32A】

【図32B】