特許 7582290 機械学習方法、機械学習システム及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-05

(45)【発行日】2024-11-13

(54)【発明の名称】機械学習方法、機械学習システム及びプログラム

(51)【国際特許分類】

   G06N 3/08 20230101AFI20241106BHJP

【ＦＩ】

G06N3/08

【請求項の数】 3

(21)【出願番号】P 2022504874

(86)(22)【出願日】2020-03-05

(86)【国際出願番号】 JP2020009341

(87)【国際公開番号】W WO2021176639

(87)【国際公開日】2021-09-10

【審査請求日】2022-09-02

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100080816

【弁理士】

【氏名又は名称】加藤 朝道

(74)【代理人】

【識別番号】100098648

【弁理士】

【氏名又は名称】内田 潔人

(72)【発明者】

【氏名】寺西 勇

【審査官】渡辺 順哉

(56)【参考文献】

【文献】LI, Chongxuan ほか，Triple Generative Adversarial Nets，arXiv[online]，2017年11月05日，pp.1-15，[retrieved on 2020.07.08], Retrieved from the Internet: <URL: https://arxiv.org/pdf/1703.02291v4.pdf>

【文献】SHMELKOV, Konstantin ほか，How good is my GAN?，arXiv[online]，2018年07月25日，[retrieved on 2024.04.25], Retrieved from the Internet: <URL: https://arxiv.org/pdf/1807.09499.pdf>

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００－９９／００

(57)【特許請求の範囲】

【請求項1】

実在データを学習用データとして用いて作成され、入力されたラベルに対応する疑似実在データを出力する条件付生成モデルを用いた生成器Ｇと、
前記生成器から出力された疑似実在データのみを用いて、機械学習を行って作成された学習モデルによって、入力データに対する推論を行う推論部Ｆと、
入力されたデータが、実在データか疑似実在データかを識別する識別器Ｄと、
を用いた機械学習方法であって、
前記生成器Ｇにランダムなラベルを入力して得られる前記ラベルに対応する疑似実在データと、実在データを用いた学習用データとのいずれかを選択して、前記推論部Ｆに入力して推論結果を出力させ、
前記識別器Ｄに、前記推論部Ｆが推論を行ったデータと、前記学習モデルの推論結果と、を入力して、前記推論部Ｆが推論を行ったデータが、実在データか疑似実在データかを識別させる処理を繰り返し、
パラメータが更新された前記生成器Ｇから出力された疑似実在データを用いて、前記推論部Ｆの学習モデルのパラメータを更新し、
前記識別器Ｄの識別結果を用いて、前記識別器Ｄの識別がより困難になるように前記生成器Ｇの条件付生成モデルのパラメータを更新し、かつ、
前記識別器Ｄによる前記識別結果が正しいか否かに基づいて、前記識別器Ｄのパラメータを更新することにより、前記識別器Ｄの学習モデルを更新する、
機械学習方法。

【請求項2】

実在データを学習用データとして用いて作成され、入力されたラベルに対応する疑似実在データを出力する条件付生成モデルを用いた生成器Ｇと、
前記生成器から出力された疑似実在データのみを用いて、機械学習を行って作成された学習モデルによって、入力データに対する推論を行う推論部Ｆと、
入力されたデータが、実在データか疑似実在データかを識別する識別器Ｄと、のそれぞれとして動作可能であり、
前記生成器Ｇにランダムなラベルを入力して得られる前記ラベルに対応する疑似実在データと、実在データを用いた学習用データとのいずれかを選択して、前記推論部Ｆに入力して推論結果を出力させ、
前記識別器Ｄに、前記推論部Ｆが推論を行ったデータと、前記学習モデルの推論結果と、を入力して、前記推論部Ｆが推論を行ったデータが、実在データか疑似実在データかを識別させる処理を繰り返し、
パラメータが更新された前記生成器Ｇから出力された疑似実在データを用いて、前記推論部Ｆの学習モデルのパラメータを更新し、
前記識別器Ｄの識別結果を用いて、前記識別器Ｄの識別がより困難になるように前記生成器Ｇの条件付生成モデルのパラメータを更新し、かつ、
前記識別器Ｄによる前記識別結果が正しいか否かに基づいて、前記識別器Ｄのパラメータを更新することにより、前記識別器Ｄの学習モデルを更新する、
機械学習システム。

【請求項3】

実在データを学習用データとして用いて作成され、入力されたラベルに対応する疑似実在データを出力する条件付生成モデルを用いた生成器Ｇと、
前記生成器から出力された疑似実在データのみを用いて、機械学習を行って作成された学習モデルによって、入力データに対する推論を行う推論部Ｆと、
入力されたデータが、実在データか疑似実在データかを識別する識別器Ｄとのそれぞれとして動作可能なコンピュータに、
前記生成器Ｇにランダムなラベルを入力して得られる前記ラベルに対応する疑似実在データと、実在データを用いた学習用データとのいずれかを選択して、前記推論部Ｆに入力して推論結果を出力させる処理と、
前記識別器Ｄに、前記推論部Ｆが推論を行ったデータと、前記学習モデルの推論結果と、を入力して、前記推論部Ｆが推論を行ったデータが、実在データか疑似実在データかを識別させる処理とを繰り返させ、
パラメータが更新された前記生成器Ｇから出力された疑似実在データを用いて、前記推論部Ｆの学習モデルのパラメータを更新させ、前記識別器Ｄの識別結果を用いて、前記識別器Ｄの識別がより困難になるように前記生成器Ｇの条件付生成モデルのパラメータを更新させ、かつ、前記識別器Ｄによる前記識別結果が正しいか否かに基づいて、前記識別器Ｄのパラメータを更新することにより、前記識別器Ｄの学習モデルを更新する処理と、
を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、機械学習方法、機械学習システム及びプログラムに関する。

【背景技術】

【0002】

機械学習の学習済みパラメータから学習に用いた秘密情報（例：顧客情報、企業秘密など）を漏洩させるＭｅｍｂｅｒｓｈｉｐ Ｉｎｆｅｒｅｎｃｅ攻撃（ＭＩ攻撃）が知られている。例えば、非特許文献１には、推論アルゴリズムへのアクセスが可能であるとの条件下で、ＭＩ攻撃の方法が開示されている。ＭＩ攻撃は、機械学習の「過学習」という現象を利用して実行する。過学習とは学習に用いたデータに対して機械学習が過剰に適合してしまう現象の事で、これが原因となり推論アルゴリズムの入力に学習に用いたデータを入力した場合とそうでないデータを入力した場合の出力の傾向が異なってしまう。ＭＩ攻撃の攻撃者はこの傾向の違いを悪用する事で、手元にあるデータが学習に用いられたものなのかそうでないのかを判別する。

【0003】

非特許文献２は、ＭＩ攻撃に耐性のある学習アルゴリズムを提案する文献である。

【0004】

非特許文献３には、こうしたブラックボックス攻撃に対する対策として、攻撃者の分類器を誤解させる処理を行う、ＭｅｍＧｕａｒｄという方法が開示されている。非特許文献４には、攻撃者が推論アルゴリズムを知っているグレーボックスというべき攻撃に対する対策が開示されている。非特許文献５には、秘密情報を使って訓練済みの訓練済み学習器と、訓練したい秘密情報とは全く別の公開データとを利用して訓練を行う方法が開示されている。

【0005】

非特許文献６～９及び特許文献１は、推論器とは逆に、ラベルを指定するとそのラベルの架空のデータ（疑似実在データ）を生成する条件付きの生成モデル等を開示する文献である。非特許文献６は、ＣＧＡＮ、非特許文献７は、ＩｎｆｏＧＡＮ、非特許文献８は、ＡＣＧＡＮ、非特許文献９は、Ｃｏｎｄｉｔｉｏｎａｌ ＶＡＥと呼ばれる手法を開示している。また、特許文献２には、上記ＣＧＡＮ（Ｃ－ＧＡＮと表記）のほか、補助クラシファイアＣＧＡＮ（ＡＣ－ＧＮ）、準教師ありスタック型ＧＡＮ（ＳＳ－ＧＡＮ）が開示されている。また、特許文献２には、ＧＡＮの改良が提案されている。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２０１９－９１４４０号公報

【文献】特開２０１９－５６９７５号公報

【非特許文献】

【0007】

【文献】Reza Shokri, Marco Stronati, Congzheng Song, Vitaly Shmatikov: “Membership Inference Attacks Against Machine Learning Models” 、 IEEE Symposium on Security and Privacy 2017: 3-18、［online］、［令和2年2月24日検索］、インターネット〈URL：https://arxiv.org/pdf/1610.05820.pdf〉

【文献】Milad Nasr, Reza Shokri, Amir Houmansadr、“Machine Learning with Membership Privacy using Adversarial Regularization”、［online］、［令和2年2月24日検索］、インターネット〈URL：https://arxiv.org/pdf/1807.05852.pdf〉

【文献】Jinyuan Jia, Ahmed Salem, Michael Backes, Yang Zhang, Neil Zhenqiang Gong、"MemGuard：Defending against Black-Box Membership Inference Attacks via Adversarial Examples"、［online］、［令和2年2月24日検索］、インターネット〈URL：https://arxiv.org/pdf/1909.10594.pdf〉

【文献】N. Papernot, M. Abadi, U. Erlingsson, I. Goodfellow, and K. Talwar、"Semi-supervised knowledge transfer for deep learning from private training data", ［online］、［令和2年2月24日検索］、インターネット〈URL：https://arxiv.org/pdf/1610.05755.pdf〉

【文献】Sravanti Addepalli, Gaurav Kumar Nayak, Anirban Chakraborty, R. Venkatesh Babu、"DeGAN : Data-Enriching GAN for Retrieving Representative Samples from a Trained Classifier"、［online］、［令和2年2月24日検索］、インターネット〈URL：https://arxiv.org/pdf/1912.11960.pdf〉

【文献】Mehdi Mirza, Simon Osindero、 "Conditional Generative Adversarial Nets"、［online］、［令和2年2月24日検索］、インターネット〈URL：https://arxiv.org/pdf/1411.1784.pdf〉

【文献】X. Chen, Y. Duan, R. Houthooft, J. Schulman, I. Sutskever, and P. Abbeel、 "InfoGAN: Interpretable representation learning byinformation maximizing generative adversarial nets"、［online］、［令和2年2月24日検索］、インターネット〈URL：http://papers.nips.cc/paper/6399-infogan-interpretable-representation-learning-by-information-maximizing-generative-adversarial-nets.pdf〉

【文献】A. Odena, C. Olah, and J. Shlens、"Conditional image synthesis with auxiliary classifier GANs"、［online］、［令和2年2月24日検索］、インターネット〈URL：http://proceedings.mlr.press/v70/odena17a.html〉

【文献】Durk P. Kingma, Shakir Mohamed, Danilo Jimenez Rezende, Max Welling、 "Semi-supervised Learning with Deep Generative Models"［online］、［令和2年2月24日検索］、インターネット〈URL：http://papers.nips.cc/paper/5352-semi-supervised-learning-with-deep-generative-models〉

【発明の概要】

【発明が解決しようとする課題】

【0008】

以下の分析は、本発明者によって与えられたものである。機械学習が普及するにつれ、今後は、様々な所に、推論アルゴリズムや学習済みパラメータを搭載した機器やこれらにアクセスしうる端末等が配置されることになる。このため、上述したブラックボックス、さらにはグレーボックスに近い形態でのＭＩ攻撃が行われ、秘密情報が推測されてしまう可能性がある。

【0009】

本発明は、上記したＭＩ攻撃に対する安全性の向上に貢献することができる機械学習方法、機械学習システム及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0010】

第１の視点によれば、実在データを学習用データとして用いて作成され、入力されたラベルに対応する疑似実在データを出力する条件付生成モデルを用いた生成器Ｇに、ランダムなラベルを入力して、前記ラベルに対応する疑似実在データを生成し、前記生成器Ｇから出力されたラベル付き疑似実在データを用いて、機械学習を行って学習モデルを作成する、機械学習方法が提供される。

【0011】

第２の視点によれば、実在データを学習用データとして用いて作成され、入力されたラベルに対応する疑似実在データを出力する条件付生成モデルを用いた生成器Ｇと、前記生成器から出力された疑似実在データを用いて、機械学習を行って作成された学習モデルによって、入力データに対する推論を行う推論部Ｆと、入力されたデータが、実在データか疑似実在データかを識別する識別器Ｄと、を用いた機械学習方法が提供される。まず、前記生成器Ｇにランダムなラベルを入力して得られる前記ラベルに対応する疑似実在データと、実在データを用いた学習用データとのいずれかを選択して、前記推論部Ｆに入力して推論結果を出力させる。次に、前記識別器Ｄに、前記推論部Ｆが推論を行ったデータと、前記学習モデルの推論結果と、を入力して、前記推論部Ｆが推論を行ったデータが、実在データか疑似実在データかを識別させる処理を繰り返す。前記繰り返しの過程において、前記パラメータが更新された前記生成器Ｇから出力された疑似実在データを用いて、前記推論部Ｆの学習モデルのパラメータを更新する。前記推論部Ｆの学習モデルのパラメータの更新とは独立して、前記識別器Ｄの識別結果を用いて、前記識別器Ｄの識別がより困難になるように前記生成器Ｇの条件付生成モデルのパラメータを更新し、かつ、前記識別器Ｄによる前記識別結果が正しいか否かに基づいて、前記識別器Ｄのパラメータを更新することにより、前記識別器Ｄの学習モデルを更新する。上記した各方法は、訓練データを用いて、実在データとそのラベルを教師データとして機械学習を行うコンピュータという、特定の機械に結びつけられている。

【0012】

第３の視点によれば、上記した各方法を実施可能な機械学習システムが提供される。

【0013】

第４の視点によれば、上記したコンピュータの機能を実現するためのコンピュータプログラムが提供される。プログラムは、コンピュータ装置に入力装置又は外部から通信インターフェースを介して入力され、記憶装置に記憶されて、プロセッサを所定のステップないし処理に従って駆動させ、必要に応じ中間状態を含めその処理結果を段階毎に表示装置を介して表示することができ、あるいは通信インターフェースを介して、外部と交信することができる。そのためのコンピュータ装置は、一例として、典型的には互いにバスによって接続可能なプロセッサ、記憶装置、入力装置、通信インターフェース、及び必要に応じ表示装置を備える。また、このプログラムは、コンピュータが読み取り可能な（非トランジトリーな）記憶媒体に記録することができる。

【発明の効果】

【0014】

本発明によれば、上記したＭＩ攻撃に対する安全性の向上させた形態で機械学習を実施することが可能となる。

【図面の簡単な説明】

【0015】

【図1】本発明の第１の実施形態の機械学習方法を実施可能な装置構成を示す図である。

【図2】本発明の第２の実施形態の機械学習方法を実施可能な装置構成を示す図である。

【図3】本発明の端末装置又はサーバを構成するコンピュータの構成を示す図である。

【発明を実施するための形態】

【0016】

［第１の実施形態］
はじめに本発明の第１の実施形態について図面を参照して説明する。なお、以下の実施形態に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、本発明を図示の態様に限定することを意図するものではない。また、以降の説明で参照する図面等のブロック間の接続線は、双方向及び単方向の双方を含む。一方向矢印については、主たる信号（データ）の流れを模式的に示すものであり、双方向性を排除するものではない。プログラムはコンピュータ装置を介して実行され、コンピュータ装置は、例えば、プロセッサ、記憶装置、入力装置、通信インターフェース、及び必要に応じ表示装置を備える。また、このコンピュータ装置は、通信インターフェースを介して装置内又は外部の機器（コンピュータを含む）と、有線、無線を問わず、通信可能に構成される。また、図中の各ブロックの入出力の接続点には、ポート乃至インターフェースがあるが図示を省略する。また、以下の説明において、「Ａ及び／又はＢ」は、Ａ又はＢ、若しくは、Ａ及びＢという意味で用いる。

【0017】

第１の実施形態に係る機械学習方法は、図１に示すように、生成器Ｇと、パラメータ学習部１０と、を備えた機械学習システム１００にて実施できる。また、この機械学習システム１００は、生成器Ｇと、パラメータ学習部１０とのそれぞれとして動作可能なコンピュータを用いて構成することもできる。

【0018】

より具体的には、前記生成器Ｇは、実在データを用いた学習用データを用いて作成され、入力されたラベルに対応する疑似実在データを出力する条件付生成モデルを用いて構成される。このような生成器Ｇは、非特許文献６～９及び特許文献１に記載されている各種のＧＡＮを用いて構成することができる。

【0019】

前記パラメータ学習部１０は、入力されたラベル付きのデータを用いて機械学習を行って学習モデルを作成する。具体的には、図１のパラメータ学習部１０が出力する推論パラメータを、図１の下段の学習モデルＦ（推論部）にセットすることで学習モデルが作成される。そして、作成された学習モデルＦ（推論部）は、図１の下段に示すように、推論対象データの推論に用いられることになる。以下、ニューラルネットワークの重みに代表されるパラメータを、単に「パラメータ」と記す。

【0020】

本実施形態の機械学習システムでは、前記生成器ＧにランダムなラベルＲを入力して、前記ラベルに対応する疑似実在データを生成する。そして、前記パラメータ学習部１０が、前記生成器Ｇから出力されたラベル付き疑似実在データを用いて、機械学習を行って学習モデルを作成する。具体的には、図１のパラメータ学習部１０が出力する推論パラメータを、図１の下段の学習モデルＦ（推論部）にセットすることで学習モデルが作成される。

【0021】

例えば、実在データが人物の顔画像であり、ラベルが性別であるとした場合、生成器Ｇは、疑似実在データとして、男女いずれかの実在しない顔画像を生成する。そして、パラメータ学習部１０は、前記生成器Ｇから出力された男女いずれかがラベルとして設定された顔画像を用いて、機械学習を行って推論パラメータを計算することになる。

【0022】

上記のような第１の実施形態の機械学習方法によれば、実在データとは別の疑似実在データを使って機械学習が行われる。このため、仮に、図１の下段の学習モデルＦ（推論部）への繰り返しアクセスや、学習済みパラメータ（推論パラメータ）の漏洩が発生したとしても、ＭＩ攻撃を用いる攻撃者が得られるのは、疑似実在データの推定の結果に止まることになる。従って、実在データは、ＭＩ攻撃から守られることになる。

【0023】

［第２の実施形態］
続いて、上記第１の実施形態の構成に、いくつかの要素を追加してより精度の高い学習モデルを作成できるようにした第２の実施形態について図面を参照して詳細に説明する。

【0024】

図２は、本発明の第２の実施形態の機械学習方法を実施可能な装置構成を示す図である。図２を参照すると、生成器Ｇと、パラメータ学習部１０ａと、ランダム選択部１１と、学習モデルＦ（推論部）と、識別器Ｄと、第２パラメータ学習部１２と、を備えた構成が示されている。

【0025】

生成器Ｇは、第１の実施形態と同様に、実在データを学習用データとして用いて機械学習により作成され、入力されたラベルに対応する疑似実在データを出力する条件付生成モデルを用いて構成される。

【0026】

パラメータ学習部１０ａは、生成器Ｇにて生成された疑似実在データとその対応ラベルを用いて機械学習を行い、学習モデル（推論部）Ｆの推論パラメータを更新していく。

【0027】

ランダム選択部１１は、前記生成器Ｇにて生成された疑似実在データと実在データとのいずれかをランダムに選択する。ランダム選択部１１は、選択したデータを、学習モデルＦ（推論部）と、識別器Ｄとにそれぞれ入力する。

【0028】

学習モデルＦ（推論部）は、ランダム選択部１１から入力されたデータの推論を行う、推論結果を出力する。学習モデルＦ（推論部）による推論結果は、識別器Ｄに入力される。

【0029】

識別器Ｄは、ラベル（推論の正解データ）と、学習モデルＦ（推論部）の推論結果と、ランダム選択部１１から入力されたデータとを入力として、ランダム選択部１１から入力されたデータが、実在データか、疑似実在データかのいずれかを識別する。

【0030】

第２パラメータ学習部１２は、前記生成器Ｇにて生成された疑似実在データとその対応ラベルを用いて、生成器Ｇ及び識別器Ｄのパラメータを更新していく。

【0031】

ここで、上記第２の実施形態のパラメータ学習部１０ａ及び第２パラメータ学習部１２の詳細動作について説明する。

【0032】

以下、識別器Ｄ、生成器Ｇ、学習モデルＦ（推論部）の学習における損失関数をそれぞれ、Ｌ_Ｄ、Ｌ_Ｇ、Ｌ_Ｆとする。

【0033】

また、識別器Ｄ、生成器Ｇ、学習モデルＦ（推論部）のパラメータをそれぞれ、ω、 τ、θとする。

【0034】

また、後述する数式中の∇は、ナブラ（＝成分毎の微分）を表す。ｍ_Ｄ，ｍ_Ｇ，ｍ_Ｆ，ｋ_Ｄ，ｋ_Ｇ，ｋ_Ｆは事前に定められた定数を表す。

【0035】

パラメータ学習部１０ａ及び第２パラメータ学習部１２は、以下のアルゴリズムに従い学習をする。
（１）実在データ又は疑似実在データとそのラベルの組からなる集合Ｓを入力として受け取る。
（２）パラメータω、τ、θを初期化する。
（３）以下、ω、θ、τの学習を実行する。
（３－１）以下をｋ_Ｄ回繰り返す。
・集合Ｓから、データとそのラベルの組（ｘ_１，ｙ_１），・・・，（ｘ_ｍＤ，ｙ_ｍＤ）を、ランダムに選ぶ。この処理は、上記したランダム選択部１１の動作に相当する。
・乱数ｚ_１，…ｚ_ｍＤをランダムに選び、ｉ＝１，・・・，ｍ_Ｄに対し、ｘ^bar _ｉ＝Ｇ（τ，ｚ_ｉ，ｙ_ｉ）を計算する。即ち、現パラメータτを用いて、生成器Ｇに、ｚ_ｉ，ｙ_ｉを入力して疑似実在データｘ^bar _ｉを得る。なお、以下の数式中のｘに上付きバーを付けたものをｘ^barと記す。
・次式［数１］により、パラメータωの更新量Δωを計算する。この更新量Δωを用いて識別器Ｄのパラメータωを更新する。

【0036】

【数1】

（３－２）以下をｋ_Ｆ回繰り返す。
・乱数ｚ_１，…ｚ_ｍＦとラベルy_１，…y_ｍＦをランダムに選び、ｉ＝１，・・・，ｍ_Ｆに対し、ｘ^ｂａｒ _ｉ＝Ｇ（τ，ｚ_ｉ，ｙ_ｉ）を計算する。即ち、現パラメータτを用いて、生成器Ｇに、ｚ_ｉ，ｙ_ｉを入力して疑似実在データｘ^ｂａｒ _ｉを得る。
・次式［数２］により、パラメータθの更新量Δθを計算する。この更新量Δθを用いて学習モデルＦ（推論部）のパラメータθを更新する。

【0037】

【数2】

（３－３）以下をｋ_Ｇ回繰り返す。
・乱数ｚ_１，…ｚ_ｍＧとラベルy_１，…y_ｍＧをランダムに選び、ｉ＝１，・・・，ｍ_Ｇに対し、ｘ^bar _ｉ＝Ｇ（τ，ｚ_ｉ，ｙ_ｉ）を計算する。即ち、現パラメータτを用いて、生成器Ｇに、ｚ_ｉ，ｙ_ｉを入力して疑似実在データｘ^bar _ｉを得る。
・次式［数３］により、パラメータτの更新量Δτを計算する。この更新量Δτを用いて生成器Ｇのパラメータτを更新する。

【0038】

【数3】

（４）上記ステップ（３－１）～（３－３）の結果、得られた学習モデル（推論部）Ｆの学習済みパラメータθを出力する。このパラメータθが、学習モデル（推論部）Ｆにセットされて推論に用いられることになる。なお、上記（３－１）、（３－３）で得られる識別器Ｄと、生成器Ｇのパラメータω、τは、推論で使わないので出力しなくて良い。

【0039】

上記の［数２］から理解されるように、第２の実施形態の構成によれば、学習モデルＦ（推論部）のパラメータθの学習に用いられるのは、疑似実在データｘ^bar _ｉのみである。このため、学習モデルＦ（推論部）から実在データの情報が洩れることはあり得ない。

【0040】

加えて、第２の実施形態では、［数１］から明らかなとおり、識別器Ｄの学習には、学習モデル（推論部）Ｆの出力Ｆ（θ，ｘ^bar _ｉ）が用いられる。一方、生成器Ｇには、このような識別器Ｄの出力Ｄ（ω,ｘ^bar _ｉ,ｙ_ｉ，Ｆ（θ，ｘ^bar _ｉ））が用いられる。即ち、第２の実施形態の生成器Ｇは、Ｆの出力を受け取って識別を試みる強力な識別器Ｄであっても、実在データとの識別が困難となるような疑似実在データを生成するように強化される。

【0041】

第２の実施形態では、このような「より本物らしい」疑似実在データを用いた学習が行われ、学習モデルＦ（推論部）の学習済みパラメータθを得られることになる。この点が第１の実施形態との違いとなる。

【0042】

以上、本発明の各実施形態を説明したが、本発明は、上記した実施形態に限定されるものではなく、本発明の基本的技術的思想を逸脱しない範囲で、更なる変形・置換・調整を加えることができる。例えば、各図面に示したシステム構成、各要素の構成、データ等の表現形態は、本発明の理解を助けるための一例であり、これらの図面に示した構成に限定されるものではない。

【0043】

例えば、上記した実施形態では、実在データが人物の顔画像であり、推論器がその性別を識別する例を挙げて説明したが、上記した説明からも明らかなとおり、本発明の適用範囲はこれに限られない。例えば、ラベルを人物の年齢層とすることで、推論器が人物の年齢層を推論する構成にも当然に適用可能である。

【0044】

また上記した実施形態の学習モデル（推論部）Ｆの学習アルゴリズムについても同様に種々の方法を採用することができる。

【0045】

また、上記した実施形態に示した手順は、機械学習システムとして機能するコンピュータ（図３の９０００）に、同装置としての機能を実現させるプログラムにより実現可能である。このようなコンピュータは、図３のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１０、通信インターフェース９０２０、メモリ９０３０、補助記憶装置９０４０を備える構成に例示される。すなわち、図３のＣＰＵ９０１０にて、機械学習プログラムや暗復号プログラムを実行し、その補助記憶装置９０４０等に保持された各計算パラメータの更新処理を実施させればよい。

【0046】

即ち、上記した実施形態に示した機械学習システムの学習処理やこの学習によって得られた推論処理は、これらの装置に搭載されたプロセッサに、そのハードウェアを用いて、上記した各処理を実行させるコンピュータプログラムにより実現することができる。

【0047】

なお、上記の特許文献および非特許文献の各開示は、本書に引用をもって繰り込み記載されているものとし、必要に応じて本発明の基礎ないし一部として用いることが出来るものとする。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の開示の枠内において種々の開示要素（各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む）の多様な組み合わせ、ないし選択（部分的削除を含む）が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。さらに、上記引用した文献の各開示事項は、必要に応じ、本発明の趣旨に則り、本発明の開示の一部として、その一部又は全部を、本書の記載事項と組み合わせて用いることも、本願の開示事項に含まれるものと、みなされる。

【符号の説明】

【0048】

Ｇ 生成器
Ｆ 学習モデル（推論部）
Ｄ 識別器
１０、１０ａ パラメータ学習部
１２ 第２パラメータ学習部
１１ ランダム選択部
１００ 機械学習システム
９０００ コンピュータ
９０１０ ＣＰＵ
９０２０ 通信インターフェース
９０３０ メモリ
９０４０ 補助記憶装置

【図1】

【図2】

【図3】