知財求人 - 知財ポータルサイト「IP Force」
特許7563589推論装置、学習装置、機械学習システム、推論方法、学習方法、及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-30
(45)【発行日】2024-10-08
(54)【発明の名称】推論装置、学習装置、機械学習システム、推論方法、学習方法、及びプログラム
(51)【国際特許分類】
G06N 20/00 20190101AFI20241001BHJP
G06N 3/09 20230101ALI20241001BHJP
G06F 21/62 20130101ALI20241001BHJP
【ＦＩ】
G06N20/00 130
G06N3/09
G06F21/62 345
【請求項の数】
10
(21)【出願番号】P 2023520696
(86)(22)【出願日】2021-05-13
(86)【国際出願番号】 JP2021018267
(87)【国際公開番号】W WO2022239201
(87)【国際公開日】2022-11-17
【審査請求日】2023-10-31
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100103894
【弁理士】
【氏名又は名称】家入 健
(72)【発明者】
【氏名】森 隼基
(72)【発明者】
【氏名】寺西 勇
(72)【発明者】
【氏名】土田 光
(72)【発明者】
【氏名】エンケタイワン バトニヤマ
(72)【発明者】
【氏名】伊東 邦大
【審査官】新井 則和
(56)【参考文献】
【文献】中国特許出願公開第１１１９３１２１６（ＣＮ，Ａ）
【文献】NASR, MILAD et al.，Machine learning with membership privacy using adversarial regularization，Proceedings of the 2018 ACM SIGSAC Conference on Computer and Communications Security [online]，2018年10月，pp.634-646，[検索日 2024.06.18],インターネット：<URL：https://dl.acm.org/doi/pdf/10.1145/3243734.3243855>
【文献】SONG, LIWEI et al.，Systematic evaluation of privacy risks of machine learningmodels，arXiv.org [online]，2020年03月24日，pp.1-17，[検索日 2024.06.18],インターネット：<URL：https://arxiv.org/pdf/2003.10595v1>
【文献】高江洲 勲，機械学習モデルの学習データを推論する方法，三井物産セキュアディレクション [online]，2020年06月18日，[検索日 2024.06.18],インターネット：<URL：https://www.mbsd.jp/research/20200618/membership-inference-attacks/>
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ２０／００
Ｇ０６Ｎ ３／０９
Ｇ０６Ｆ ２１／６２
(57)【特許請求の範囲】
【請求項1】
第１学習データを用いた機械学習により生成され、入力データが前記第１学習データではない場合に推論を行う第１推論器と、
前記第１学習データと異なる第２学習データを用いた機械学習により生成され、入力データが前記第１学習データである場合に推論を行う第２推論器と、
前記第１学習データを用いた機械学習により生成され、前記第１推論器を生成するための機械学習よりも過学習することにより生成された第３推論器と
前記第３推論器の推論結果に基づいて、前記入力データが前記第１学習データであるか否かを判定する疑似攻撃器と、を備えた推論装置。
【請求項2】
前記入力データをｘ，前記入力データｘのラベルをｙ、前記第３推論器の出力結果をＧ（ｘ）とした場合に、前記疑似攻撃器が、以下の式（１）に基づいて、Ｍｅｎｔｒを算出し、
【数1】
【請求項3】
第１学習データを用いた機械学習により第１推論器を生成する第１学習部と、前記第１学習データをｎ（ｎは２以上の整数）分割することで、ｎセットの分割データを生成するデータ分割部と、
前記第１学習データから１セットの分割データを除いたデータを用いた機械学習によりｎ個の学習データ生成用推論器を生成する推論器生成部と、
前記推論器生成部の前記機械学習で除かれた前記１セットの前記分割データをｎ個の前記学習データ生成用推論器にそれぞれ入力することで、第２学習データを生成する学習データ生成部と、
前記第２学習データを用いた機械学習により第２推論器を生成する第２学習部と、を備えた学習装置。
【請求項4】
前記第１学習データを用いて、前記第１学習部よりも過学習を行うことで、第３推論器を生成する第３学習部と、を備えた請求項３に記載の学習装置。
【請求項5】
請求項４に記載の学習装置と、請求項１、又は２に記載の推論装置と、を備えた機械学習システム。
【請求項6】
第１学習データを用いた機械学習により生成された第１推論器が、入力データが前記第１学習データではない場合に推論を行い、
前記第１学習データと異なる第２学習データを用いた機械学習により生成された第２推論器が、入力データが前記第１学習データである場合に推論を行い、
前記第１学習データを用いた機械学習により生成され、前記第１推論器を生成するための機械学習よりも過学習することにより生成された第３推論器が、前記入力データに基づいて推論を行い、
疑似攻撃器が、前記第３推論器の推論結果に基づいて、前記入力データが前記第１学習データであるか否かを判定する、推論方法。
【請求項7】
前記入力データをｘ，前記入力データｘのラベルをｙ、前記第３推論器の出力結果をＧ（ｘ）とした場合に、前記疑似攻撃器が、
以下の式（１）に基づいて、Ｍｅｎｔｒを算出し、
【数2】
【請求項8】
第１学習データを用いた機械学習により第１推論器を生成し、前記第１学習データをｎ（ｎは２以上の整数）個に分割することで、ｎセットの分割データを生成し、
前記第１学習データから１セットの分割データを除いたデータを用いた機械学習によりｎ個の学習データ生成用推論器を生成し、
前記学習データ生成用推論器を生成する前記機械学習で除かれた前記１セットの前記分割データをｎ個の前記学習データ生成用推論器にそれぞれ入力することで、第２学習データを生成し、
前記第２学習データを用いた機械学習により第２推論器を生成する、学習方法。
【請求項9】
コンピュータに対して推論方法を実行させるためのプログラムであって、前記推論方法は、
第１学習データを用いた機械学習により生成された第１推論器が、入力データが前記第１学習データではない場合に推論を行い、
前記第１学習データと異なる第２学習データを用いた機械学習により生成された第２推論器が、入力データが前記第１学習データである場合に推論を行い、
前記第１学習データを用いた機械学習により生成され、前記第１推論器を生成するための機械学習よりも過学習することにより生成された第３推論器が、前記入力データに基づいて推論を行い、
疑似攻撃器が、前記第３推論器の推論結果に基づいて、前記入力データが前記第１学習データであるか否かを判定する
プログラム。
【請求項10】
コンピュータに対して学習方法を実行させるためのプログラムであって、前記学習方法は、
第１学習データを用いた機械学習により第１推論器を生成し、
前記第１学習データをｎ（ｎは２以上の整数）個に分割することで、ｎセットの分割データを生成し、
前記第１学習データから１セットの分割データを除いたデータを用いた機械学習によりｎ個の学習データ生成用推論器を生成し、
前記学習データ生成用推論器を生成する前記機械学習で除かれた前記１セットの前記分割データをｎ個の前記学習データ生成用推論器にそれぞれ入力することで、第２学習データを生成し、
前記第２学習データを用いた機械学習により第２推論器を生成する、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、機械学習に関する。
【背景技術】
【0002】
非特許文献１、２には、機械学習の学習済みパラメータから学習に用いた秘密情報（例：顧客情報、企業秘密など）を漏洩させるＭｅｍｂｅｒｓｈｉｐ Ｉｎｆｅｒｅｎｃｅ攻撃（ＭＩ攻撃）が知られている。例えば、非特許文献１には、推論アルゴリズムへのアクセスが可能であるとの条件下で、ＭＩ攻撃の方法が開示されている。ＭＩ攻撃は、機械学習の「過学習」という現象を利用して実行する。過学習とは学習に用いたデータに対して機械学習が過剰に適合してしまう現象の事である。過学習が原因となり推論アルゴリズムの入力に学習に用いたデータを入力した場合とそうでないデータを入力した場合の出力の傾向が異なってしまう。ＭＩ攻撃の攻撃者はこの傾向の違いを悪用する事で、手元にあるデータが学習に用いられたものなのかそうでないのかを判別する。
【0003】
非特許文献４には、ＭｅｍＧｕａｒｄという方法が開示されている。この方法では、攻撃対象の推論アルゴリズムの学習済みパラメータが知られていないとの条件下でのブラックボックス攻撃に対する対策として、攻撃者の分類器を誤解させる処理を行う。
【0004】
非特許文献５は、ＭＩ攻撃に耐性のある学習アルゴリズムを開示している。具体的には、非特許文献５では、任意の既知の機械学習の推論アルゴリズムｆと、ｆに入力されたデータがｆの学習に用いられたデータか否かを識別する識別器ｈを用いている。そして、それぞれのパラメータを敵対的に学習させ、推論アルゴリズムｆの推論精度と、ＭＩ攻撃に対する耐性を引き上げている。
【先行技術文献】
【非特許文献】
【0005】
【文献】Reza Shokri, Marco Stronati, Congzheng Song, Vitaly Shmatikov: “Membership Inference Attacks Against Machine Learning Models ” 、IEEE Symposium on Security and Privacy 2017: 3-18、［online］、［令和３年４月１９日検索］、インターネット〈URL：https://arxiv.org/pdf/1610.05820.pdf〉
【文献】Ahmed Salem, Yang Zhang, Mathias Humbert, Pascal Berrang, Mario Fritz, Michael Backes: “ML-Leaks: Model and Data Independent Membership Inference Attacks and Defenses onMachine Learning Models”、 Network and Distributed System Security Symposium 2019、［online］、［令和３年４月１９日検索］、インターネット〈URL：https://arxiv.org/abs/1806.01246〉
【文献】L. Song and P. Mittal. “Systematic Evaluation of Privacy Risks of Machine Learning Models”、USENIX Security Symposium 2021、［online］、［令和３年４月１９日検索］、インターネット〈URL：https://arxiv.org/abs/2003.10595〉
【文献】Jinyuan Jia, Ahmed Salem, Michael Backes, Yang Zhang, Neil Zhenqiang Gong、“MemGuard：Defending against Black-Box MembershipInference Attacks via Adversarial Examples”、ACM SIGSAC Conference on Computer and Communications Security 2019: 259-274、［online］、［令和３年４月１９日検索］、インターネット〈URL：https://arxiv.org/pdf/1909.10594.pdf〉
【文献】Milad Nasr, Reza Shokri, Amir Houmansadr、“Machine Learning with Membership Privacy using Adversarial Regularization”、ACM SIGSAC Conference on Computer and Communications Security 2018: 634-646、［online］、［令和３年４月１９日検索］、インターネット〈URL：https://arxiv.org/pdf/1807.05852.pdf〉
【発明の概要】
【発明が解決しようとする課題】
【0006】
機械学習では、学習に用いられるデータ（訓練データともいう）が顧客情報や企業秘密などの秘密情報を含んでいる場合がある。ＭＩ攻撃により、機械学習の学習済みパラメータから学習に用いた秘密情報が漏洩してしまうおそれがある。例えば、学習済みパラメータを不正に入手した攻撃者が、学習データを推測してしまうおそれがある。あるいは、学習済みパラメータが漏洩していない場合でも、攻撃者が推論アルゴリズムに何度もアクセスすることで、学習済みパラメータが予想できてしまう。そして、予想された学習済みパラメータから学習データが予測されてしまうことがある。
【0007】
また、非特許文献４の方式は、推論結果にノイズを載せることで防御している。このため、防御性能に関係なく、推論結果にノイズの影響が及んでしまうという問題点がある。
【0008】
非特許文献５では、精度と攻撃耐性がトレードオフとなっている。具体的には、精度と攻撃耐性のトレードオフ度合いを決めるパラメータが設定されている。したがって、精度と攻撃耐性の両方を向上することが困難であるという問題点がある。
【0009】
本開示の目的は、ＭＩ攻撃に対する耐性が高く、かつ精度の高い推論装置、学習装置、機械学習システム、推論方法、学習方法、及び記録媒体を提供することである。
【課題を解決するための手段】
【0010】
本開示にかかる推論装置は、第１学習データを用いた機械学習により生成され、入力データが前記第１学習データではない場合に推論を行う第１推論器と、前記第１学習データと異なる第２学習データを用いた機械学習により生成され、入力データが前記第１学習データである場合に推論を行う第２推論器と、前記第１学習データを用いた機械学習により生成され、前記第１推論器を生成するための機械学習よりも過学習することにより生成された第３推論器と、前記第３推論器の推論結果に基づいて、前記入力データが前記第１学習データであるか否かを判定する疑似攻撃器と、を備えている。
【0011】
本開示にかかる学習装置は、第１学習データを用いた機械学習により第１推論器を生成する第１学習部と、前記第１学習データをｎ（ｎは２以上の整数）分割することで、ｎセットの分割データを生成するデータ分割部と、前記第１学習データから１セットの分割データを除いたデータを用いた機械学習によりｎ個の学習データ生成用推論器を生成する推論器生成部と、前記推論器生成部の前記機械学習で除かれた前記１セットの前記分割データをｎ個の前記学習データ生成用推論器にそれぞれ入力することで、第２学習データを生成する学習データ生成部と、前記第２学習データを用いた機械学習により第２推論器を生成する第２学習部と、を備えている。
【0012】
本開示にかかる推論方法は、第１学習データを用いた機械学習により生成された第１推論器が、入力データが前記第１学習データではない場合に推論を行い、前記第１学習データと異なる第２学習データを用いた機械学習により生成された第２推論器が、入力データが前記第１学習データである場合に推論を行い、前記第１学習データを用いた機械学習により生成され、前記第１推論器を生成するための機械学習よりも過学習することにより生成された第３推論器が、前記入力データに基づいて推論を行い、疑似攻撃器が、前記第３推論器の推論結果に基づいて、前記入力データが前記第１学習データであるか否かを判定する。
【0013】
本開示にかかる学習方法は、第１学習データを用いた機械学習により第１推論器を生成し、前記第１学習データをｎ（ｎは２以上の整数）個に分割することで、ｎセットの分割データを生成し、前記第１学習データから１セットの分割データを除いたデータを用いた機械学習によりｎ個の学習データ生成用推論器を生成し、前記学習データ生成用推論器を生成する前記機械学習で除かれた前記１セットの前記分割データをｎ個の前記学習データ生成用推論器にそれぞれ入力することで、第２学習データを生成し、前記第２学習データを用いた機械学習により第２推論器を生成する。
【0014】
本開示にかかるコンピュータ可読媒体は、コンピュータに対して推論方法を実行させるためのプログラムが格納されたコンピュータ可読媒体であって、前記推論方法は、第１学習データを用いた機械学習により生成された第１推論器が、入力データが前記第１学習データではない場合に推論を行い、前記第１学習データと異なる第２学習データを用いた機械学習により生成された第２推論器が、入力データが前記第１学習データである場合に推論を行い、前記第１学習データを用いた機械学習により生成され、前記第１推論器を生成するための機械学習よりも過学習することにより生成された第３推論器が、前記入力データに基づいて推論を行い、疑似攻撃器が、前記第３推論器の推論結果に基づいて、前記入力データが前記第１学習データであるか否かを判定する。
【0015】
本開示にかかるコンピュータ可読媒体は、コンピュータに対して学習方法を実行させるためのプログラムが格納されたコンピュータ可読媒体であって、前記学習方法は、第１学習データを用いた機械学習により第１推論器を生成し、前記第１学習データをｎ（ｎは２以上の整数）個に分割することで、ｎセットの分割データを生成し、前記第１学習データから１セットの分割データを除いたデータを用いた機械学習によりｎ個の学習データ生成用推論器を生成し、前記学習データ生成用推論器を生成する前記機械学習で除かれた前記１セットの前記分割データをｎ個の前記学習データ生成用推論器にそれぞれ入力することで、第２学習データを生成し、前記第２学習データを用いた機械学習により第２推論器を生成する。
【発明の効果】
【0016】
本開示によれば、ＭＩ攻撃に対する耐性が高く、かつ精度の高い推論装置、学習装置、機械学習モデル、推論方法、学習方法、及びコンピュータ可読媒体を提供できる。
【図面の簡単な説明】
【0017】
【図1】本開示にかかる推論装置の構成を示すブロック図である。
【図2】推論装置の動作を示すフローチャートである。
【図3】学習装置を備えた機械学習システムの構成を示すブロック図である。
【図4】学習装置の動作を示すフローチャートである。
【図5】推論器Ｈの学習部の動作を示すフローチャートである。
【図6】その他の実施形態にかかる学習装置を示すブロック図である。
【図7】本実施の形態にかかる装置のハードウェア構成を示す図である。
【発明を実施するための形態】
【0018】
本実施の形態にかかる推論装置について、図１を用いて説明する。図１は、推論装置１０の構成を示すブロック図である。推論装置１０は、入力データ２０に対して推論を行うことで、出力データ２８又は出力データ２９を生成する。つまり、推論装置１０が入力データ２０に基づいて推論を行った時の推論結果が出力データ２８又は出力データ２９となる。例えば、推論装置１０は、画像分類を行う分類器とすることができる。この場合、推論装置１０が各クラスに該当する確率を示すスコアベクトルを出力する。
【0019】
推論装置１０は、推論器Ｇ、疑似攻撃器Ｉ、推論器Ｆ、推論器Ｈを備えている。推論器Ｇ、疑似攻撃器Ｉ、推論器Ｆ、推論器Ｈは、それぞれ機械学習により生成された機械学習モデルである。推論器Ｆ、推論器Ｈ、推論器Ｇは、畳み込みニューラルネットワーク(CNN)などを用いた機械学習アルゴリズムである。推論器Ｆ、推論器Ｈ、推論器Ｇのパラメータは、ＣＮＮの畳み込み層、プーリング層、及び全結合層の重み又はバイアス値に対応している。推論器Ｇ、推論器Ｆ、推論器Ｈは画像分類などを行う分類器である場合、推論装置１０と同様のスコアベクトルを出力する。
【0020】
同様に、疑似攻撃器Ｉは、畳み込みニューラルネットワーク(CNN)などを用いた機械学習アルゴリズムである。疑似攻撃器Ｉのパラメータは、ＣＮＮの畳み込み層、プーリング層、及び全結合層の重み又はバイアス値に対応している。
【0021】
推論器Ｆは、第１学習データ（以下、メンバデータともいう）を用いた機械学習により生成された機械学習モデルである。推論器Ｆは、入力データ２０に基づいて、推論を行う。推論器Ｆは、入力データ２０から推論された推論結果を出力データ２８として出力する。推論器Ｆを第１推論器とも称する。
【0022】
推論器Ｈは、第２学習データ（以下、第２訓練データともいう）を用いた機械学習により生成された機械学習モデルである。第２学習データは、推論器Ｆの機械学習に用いられた第１学習データではない非学習データ（ノンメンバデータともいう）である。つまり、推論器Ｈを生成するための機械学習で用いられた第２学習データは、推論器Ｆを生成するための機械学習で用いられた第１学習データと異なるデータである。第１学習データに含まれるデータは第２学習データに含まれるデータと重複していない。推論器Ｈを第２推論器とも称する。
【0023】
推論器Ｇは、第１学習データを用いた機械学習により生成された機械学習モデルである。つまり、推論器Ｇの機械学習に用いられたデータと、推論器Ｆの機械学習に用いられたデータは、一致している。推論器Ｇを第３推論器とも称する。推論器Ｆ、推論器Ｈ、推論器Ｇの学習方法については後述する。
【0024】
疑似攻撃器Ｉは、推論器Ｇから出力された推論結果に基づいて、入力データ２０が第１学習データか否かを識別する。疑似攻撃器Ｉは、入力データがメンバデータかノンメンバデータか否かを判別する。そして、識別結果を推論器Ｈ、及び推論器Ｆに出力する。
【0025】
さらに、疑似攻撃器Ｉは，非特許文献３におけるmodified entropyを用いた攻撃を用いることができる。この場合、データ（ｘ、ｙ）に対する推論器Ｇのmodified entropyは以下の式（１）で示される。
【数1】
【0026】
なお、Ｍｅｎｔｒがmodified emtropyである。ｘは疑似攻撃器Ｉに対する入力データであり、ｙはそのラベルである。Ｇ（ｘ）は、入力データｘに対する推論器Ｇの推論結果である。従って、各ラベルの確率を示すスコアベクトルに基づいて、識別する。Ｍｅｎｔｒが閾値τよりも大きければ、（ｘ，ｙ）は第１学習データ（メンバデータ）となる。Ｍｅｎｔｒが閾値τよりも小さければ、（ｘ，ｙ）は第１学習データではない非学習データ（ノンメンバデータ）となる。
【0027】
入力データ２０が第１学習データ（メンバデータ）である場合、推論器Ｈが入力データに基づいて推論を行う。つまり、推論器Ｈの推論結果が出力データ２９として出力される。入力データ２０が第１学習データ（メンバデータ）でない非学習データ（ノンメンバデータ）である場合、推論器Ｆが入力データに基づいて推論を行う。つまり、推論器Ｆの推論結果が出力データ２８として出力される。
【0028】
このように、疑似攻撃器Ｉの識別結果に応じて、推論器Ｆ又は推論器Ｈが推論を行う。なお、疑似攻撃を推論器Ｆに行う場合は、推論器Ｇは不要となる。この場合、疑似攻撃器Ｉは推論器Ｆの推論結果に基づいて、入力データ２０が第１学習データか否かを識別する。
【0029】
機械学習装置では、訓練（機械学習）に使用した訓練データ（学習データ）と使用していない非訓練データ（非学習データ）とで、推論器の出力の傾向が異なる。攻撃者は、この推論器の出力の傾向の違いを利用して、機械学習モデルに対して攻撃を行っている。例えば、訓練に使用された入力データについては、訓練に使用されていない入力データと比較して、推論器の推論精度が非常に高くなることが想定される。よって、攻撃者は、推論精度を比較することで、訓練データを推測することが可能となる。
【0030】
これに対して、本実施の形態では、訓練時（機械学習時）と推論時とで使用される推論器が異なっている。つまり、推論器Ｆの訓練に使った入力データ（第１学習データ）に関して、推論時に推論器Ｆの推論結果が出力されることはない。また、推論器Ｈの訓練に使った入力データ（第２学習データ）に関して、推論時に推論器Ｈの推論結果が出力されることはない。つまり、推論装置１０の入力データ２０がメンバデータの場合、推論器Ｈが推論結果を出力データ２９として出力する。推論装置１０の入力データ２０がノンメンバデータの場合、推論器Ｆが推論結果を出力データ２９として出力する。
【0031】
よって、ＭＩ攻撃に対する耐性を向上することができる。また、非特許文献５のように、ＭＩ攻撃耐性と、推論精度がトレードオフの関係となっていないため、推論精度を向上することができる。
【0032】
さらに、推論器Ｇの訓練に用いられた第１学習データと、推論器Ｆの訓練に用いた第１学習データとは完全に一致している。そして、推論器Ｇは第１学習データを用いて過学習された機械学習モデルとなっている。推論器Ｇは、第１学習データを用いた機械学習により生成され、推論器Ｆを生成するための機械学習よりも過学習することにより生成されている。
【0033】
これにより、疑似攻撃器Ｉは、入力データ２０が第１学習データであるか否かを適切に判別することできる。つまり、推論器Ｇは、ＭＩ攻撃に対する耐性が低いため、疑似攻撃器Ｉが高い識別精度で入力データ２０を識別することができる。上記のように、推論器Ｇは過学習された機械学習モデルである。従って、入力データ２０がメンバデータ（第１学習データ）である場合、推論器Ｇの推論精度が極めて高くなる。一方、入力データがノンメンバデータである場合、推論器Ｇの推論精度が低くなる。
【0034】
このように、入力データ２０がメンバデータかノンメンバデータであるかに応じて、推論器Ｇの推論精度が大きく変化する。入力データ２０がメンバデータである場合、推論器Ｇの推論精度は、推論器Ｆの推論精度よりも高くなる。反対に、入力データ２０がノンメンバデータである場合、推論器Ｇの推論精度は、推論器Ｆの推論精度よりも低くなる。よって、推論器Ｇの推論精度を比較することで、疑似攻撃器Ｉが適切に入力データ２０を識別することができる。
【0035】
【0036】
まず、推論器Ｇを使用するか否かを判定する（Ｓ２０１）。例えば、ユーザが推論器Ｇを使用するか否かを選択してもよい。推論装置１０がユーザの選択を受け付けると、その選択に応じて推論器Ｇを使用するか否かを決定する。あるいは、推論装置１０を実装するシステムに応じて、推論器Ｇを使用するか否かが決定されていてもよい。
【0037】
推論器Ｇを使用する場合（Ｓ２０１のＹｅｓ）、入力データ２０を推論器Ｇに入力する。つまり、推論器Ｇが入力データ２０に基づいて、推論を行う（Ｓ２０２）。推論器Ｇを使用しない場合（Ｓ２０１のＮｏ）、入力データ２０を推論器Ｆに入力する（Ｓ２０３）。つまり、推論器Ｆが入力データ２０に基づいて、推論を行う。
【0038】
次に、推論器Ｆ、又は推論器Ｇの出力が疑似攻撃器Ｉに入力される（Ｓ２０４）。すなわち、推論器Ｇを使用する場合（Ｓ２０１のＹｅｓ）、推論器Ｇの推論結果が疑似攻撃器Ｉに入力される。一方、推論器Ｇを使用しない場合（Ｓ２０１のＮｏ）、推論器Ｆの推論結果が疑似攻撃器Ｉに入力される。
【0039】
疑似攻撃器Ｉは、推論器Ｆ又は推論器Ｇの推論結果から、入力データ２０が第１学習データか否かを判定する（Ｓ２０５）。つまり、疑似攻撃器Ｉは推論器Ｆ又は推論器Ｇの推論結果を入力として、推論を行う。上記のように、疑似攻撃器Ｉは、推論器Ｆ又は推論器Ｇの推論精度やスコアベクトルに基づいて、推論を行うことができる。これにより疑似攻撃器Ｉは、入力データ２０が第１学習データ（メンバデータ）であるか否かを適切に判定することができる。
【0040】
入力データ２０が第１学習データである場合（Ｓ２０５のＹｅｓ）、推論器Ｈに入力データ２０を入力して、推論器Ｈが推論を行う（Ｓ２０６）。入力データ２０が第１学習データでない場合（Ｓ２０５のＮｏ）、推論器Ｆに入力データ２０を入力して、推論器Ｆが推論を行う（Ｓ２０７）。このようにして処理が終了する。
【0041】
このように、入力データ２０が第１学習データ（メンバデータ）である否かに応じて、推論装置１０が推論器Ｆ、推論器Ｈを使い分けている。つまり、入力データ２０がメンバデータである場合、推論器Ｈが入力データ２０に基づいて推論を行う。入力データ２０がノンメンバデータである場合、推論器Ｆが入力データ２０に基づいて、推論を行う。従って、推論装置１０が、ＭＩ攻撃に対する高い耐性を有し、かつ、高い推論精度で推論を行うことができる。
【0042】
次に、推論装置１０を生成するための機械学習（訓練）について、図３を用い説明する。図３は、学習装置１００を備えた機械学習システムの構成を示すブロック図である。学習装置１００は、データ生成部２００と、３つの学習部１２１～１２３とを備えている。データ生成部２００は、推論器Ｈの学習データを生成する。また、推論装置１０の機械学習には、予め学習データＴが用意されている。つまり、学習装置１００は、学習データＴに基づいて機械学習を行う。
【0043】
学習データＴは、上記した第１学習データであり、複数のデータを含むデータ群となっている。教師有り学習を行う場合、学習データＴは正解ラベル（教師データ）付きのデータ集合となる。学習データＴでは、複数の入力データを備え、それぞれの入力データには正解ラベルが対応付けられている。もちろん、機械学習は教師有り学習に限られるものはない。
【0044】
学習部１２１は、学習データＴを用いて、推論器Ｆを生成するための機械学習を行う。学習部１２１は学習データＴに基づいて、推論器Ｆを訓練する。学習部１２１における機械学習は、教師有り学習などの種々の手法を用いることができる。学習部１２１の機械学習については、公知の手法を用いることができるため、説明を省略する。学習部１２１は学習データＴに含まれる全てのデータを用いて機械学習を行う。機械学習では、例えば、ディープラーニングモデルにおける各層のパラメータの最適化を行う。これにより、推論器Ｆが生成される。
【0045】
学習部１２３は、学習データＴを用いて、推論器Ｇを生成するための機械学習を行う。学習部１２３は学習データＴに基づいて、推論器Ｇを訓練する。学習部１２３における機械学習は、教師有り学習などの種々の手法を用いることができる。学習部１２３の機械学習については、公知の手法を用いることができるため、説明を省略する。学習部１２３は学習データＴに含まれる全てのデータを用いて機械学習を行う。機械学習では、例えば、ディープラーニングモデルにおける各層のパラメータの最適化を行う。これにより、推論器Ｇが生成される。
【0046】
ここで、推論器Ｆと推論器Ｇは、同様のレイヤ構成を有する機械学習モデルとすることができる。そして、学習部１２３は、学習データＴを用いて、機械学習モデルを過学習することで、推論器Ｇを生成する。学習部１２３は、機械学習モデルを学習データＴについて過学習させることで、意図的にＭＩ攻撃に対する耐性の低い推論器Ｇを生成することができる。
【0047】
例えば、学習部１２３は、学習データＴに対する分類精度が十分横ばいになるエポック数で学習させる。学習部１２３は学習部１２１よりも高いエポック数で機械学習を行う。つまり、学習部１２３が、学習データＴに含まれるデータを繰り返し用いることで、過学習を行う。学習部１２３において、１つのデータのイタレーション数が学習部１２１のイタレーション数よりも多くなっている。学習部１２３は、学習部１２１のイタレーション数よりも多いイタレーション数で機械学習を行う。もちろん、推論器Ｆと推論器Ｇは異なるレイヤ構成の機械学習モデルであってもよい。
【0048】
データ生成部２００は、推論器Ｈの機械学習に用いられる第２学習データ（訓練データ）を生成する。データ生成部２００は、データ分割部２２０と、Ｆ１～Ｆｎの学習部２０２－１～２０２－ｎと、学習データ記憶部２５０と、を備えている。
【0049】
データ分割部２２０は、学習データＴをｎ（ｎは２以上の整数）分割する。ここで、ｎ分割された学習データを分割データＴ１～Ｔｎとする。つまり、データ分割部２２０は、学習データＴをｎ分割することで、ｎセットの分割データＴ１～Ｔｎを生成する。学習データＴを１つのデータセットとすると、分割データＴ１～Ｔｎのそれぞれがサブセットとなる。後述するように、分割データＴ１～Ｔｎのそれぞれは推論器Ｆ１～Ｆｎの入力データとなる。
【0050】
分割データＴ１～Ｔｎに含まれるデータセットは互いに重複していないことが好ましい。例えば、分割データＴ１に含まれるデータは、分割データＴ２～Ｔｎに含まれていないことが好ましい。また、分割データＴｎに含まれているデータは、分割データＴ１～Ｔｎ－１に含まれていないことが好ましい。
【0051】
分割データＴ１～Ｔｎに含まれるデータ数は均等にすることが好ましい。つまり、データ分割部２２０は、学習データＴを均等にｎ分割する。従って、分割データＴ１～Ｔｎには同じ数のデータが含まれる。分割データＴ１～Ｔｎに含まれるデータ数は均等に限らず、異なっていてもよい。データ分割部２２０は、学習データＴから抽出された一部の分割データを、学習部２０２－１～２０２－ｎに出力する。
【0052】
データ生成部２００は、分割データＴ１～Ｔｎから学習データＴ＼Ｔ１を抽出して、Ｆ１の学習部２０２－１に入力する。なお、学習データＴ＼Ｔ１は、学習データＴから分割データＴ１を除いた差集合となる。つまり、Ｆ１の学習データＴ＼Ｔ１は、Ｔ２～Ｔｎを含む。データ生成部２００は、学習データＴから分割データＴ１を取り除くことで、学習データＴ＼Ｔ１を生成する。
【0053】
Ｆ１の学習部２０２－１は、学習データＴ＼Ｔ１を用いて推論器Ｆ１を生成するための機械学習を行う。学習部２０２－１は学習データＴ＼Ｔ１に基づいて、推論器Ｆ１を訓練する。学習部２０２－１における機械学習は、教師有り学習などの種々の手法を用いることができる。学習部２０２－１の機械学習については、公知の手法を用いることができるため、説明を省略する。学習部２０２－１は学習データＴ＼Ｔ１に含まれる全てのデータを用いて機械学習を行う。機械学習では、例えば、ディープラーニングモデルにおける各層のパラメータの最適化を行う。これにより、推論器Ｆ１が生成される。
【0054】
データ生成部２００は、分割データＴ１を推論器Ｆ１に入力する。推論器Ｈの学習データ記憶部２５０は、推論器Ｆ１の出力をＨの学習データとして記憶する。つまり、推論器Ｆ１の推論結果が、推論器Ｈの学習データとして、メモリなどに格納される。推論器Ｈの学習データには、分割データＴ１を推論器Ｆ１に入力した時の推論器Ｆ１の推論結果が含まれる。このように、推論器Ｆ１の学習時に用いられる学習データと、推論時に用いられる入力データとが異なるデータとなっている。
【0055】
Ｆｎの学習部２０２－ｎは、学習データＴ＼Ｔｎを用いて推論器Ｆｎを生成するための機械学習を行う。学習部２０２－ｎは学習データＴ＼Ｔｎに基づいて、推論器Ｆｎを訓練する。学習部２０２－ｎにおける機械学習は、教師有り学習などの種々の手法を用いることができる。学習部２０２－ｎの機械学習については、公知の手法を用いることができるため、説明を省略する。学習部２０２－ｎは学習データＴ＼Ｔｎに含まれる全てのデータを用いて機械学習を行う。機械学習では、例えば、ディープラーニングモデルにおける各層のパラメータの最適化を行う。これにより、推論器Ｆｎが生成される。
【0056】
データ生成部２００は、分割データＴｎを推論器Ｆｎに入力する。推論器Ｈの学習データ記憶部２５０は、推論器Ｆｎの出力をＨの学習データとして記憶する。つまり、推論器Ｆｎの推論結果が、推論器Ｈの学習データとして、メモリなどに格納される。推論器Ｈの学習データには、分割データＴｎを推論器Ｆｎに入力した時の推論器Ｆｎの推論結果が含まれる。このように、推論器Ｆｎの学習時に用いられる学習データと、推論時に用いられる入力データとが異なるデータとなっている。
【0057】
なお、ｉ（ｉは１以上ｎ以下の任意の整数）を用いて、推論器Ｆ１～Ｆｎにおける機械学習を一般化すると、以下のようになる。データ生成部２００は、学習データＴの全体集合を受け取る。データ分割部２２０は、学習データＴをｎセット（ｎ個のサブセット）に分割して、分割データＴｉを生成する。データ生成部２００の学習部は、学習データＴ＼Ｔｉを用いて、推論器Ｆｉを機械学習する。推論器Ｆｉの機械学習に用いられる学習データは、Ｔ１～Ｔｉ－１，Ｔｉ＋１～Ｔｎとなる。推論器Ｆｉは、分割データＴｉに基づいて推論を行う。学習データ記憶部２５０は、推論器Ｆｉの推論結果を、学習データとして記憶する。
【0058】
このように、推論器Ｆ１～Ｆｎは第２学習データを生成する学習データ生成部となる。Ｆ１～Ｆｎの学習部２０２－１～２０２－ｎは推論器Ｆ１～Ｆｎを生成する学習データ生成用推論器生成部となる。なお、推論器Ｆ１～Ｆｎは同様のレイヤ構成を有する機械学習モデルとすることができる。つまり、推論器Ｆ１～Ｆｎはレイヤ、ノード、エッジ等の数が同じとなっている。そして、学習部２０２－１～２０２－ｎは、それぞれ異なる学習データを用いて推論器Ｆ１～Ｆｎを生成している。つまり、推論器Ｆ１～Ｆｎは異なる学習データを用いて生成された機械学習モデルである。推論器Ｆ１～Ｆｎは推論器Ｆ、推論器Ｇ、及び推論器Ｈなどと同様に、画像分類などを行う機械学習モデルである。この場合、推論器Ｆ１～Ｆｎは推論器Ｈ等と同様のスコアベクトルを出力する。
【0059】
推論器Ｈの学習データ記憶部２５０は、推論器Ｆ１、Ｆ２、・・・Ｆｉ、・・・Ｆｎ－１、Ｆｎの推論結果を学習データとして記憶する。学習データ記憶部２５０は、推論器Ｆ１～Ｆｎへの入力データとその推論結果を対応付けて記憶してもよい。推論器Ｈの学習データ記憶部２５０に記憶された学習データは、上記の通り、第２学習データとなる。よって、以下の説明では、推論器Ｈの学習データ記憶部２５０に記憶された学習データを単に第２学習データとも称する。第２学習データは以下の式（２）に示すデータ集合となる。
【数2】
【0060】
推論器Ｈの学習部１２２は、第２学習データを用いて推論器Ｈを生成するための機械学習を行う。学習部１２２は第２学習データに基づいて、推論器Ｈを訓練する。学習部１２２における機械学習は、教師有り学習などの種々の手法を用いることができる。学習部１２２の機械学習については、公知の手法を用いることができるため、説明を省略する。学習部１２２は第２学習データに含まれる全てのデータを用いて機械学習を行う。機械学習では、例えば、ディープラーニングモデルにおける各層のパラメータの最適化を行う。これにより、推論器Ｈが生成される。
【0061】
例えば、分割データＴｉに含まれる入力データｘについての推論結果Ｆｉ（ｘ）を正解ラベルとして、学習部１２２が、教師有り学習を行う。推論器Ｈに入力データｘを入力した場合、推論器Ｈから出力される推論結果は以下の式（３）で示される。
【数3】
【0062】
このように、本実施の形態では、データ生成部２００が、推論器Ｆ１～Ｆｎの出力に基づいて、推論器Ｈの学習データを生成している。推論器Ｈは、推論器Ｆ１～Ｆｎの出力を用いて生成された蒸留モデルとなる。つまり、推論器Ｆ１～Ｆｎは、学習データＴから一部の情報を取り出す。学習データ記憶部２５０は、推論器Ｆ１～Ｆｎで取り出された情報を学習データとして用いて、推論器Ｈを学習させる。よって、推論器Ｈはシンプルなモデルで高い精度を得ることができる。
【0063】
【0064】
まず、推論器Ｆの学習部１２１が推論器Ｆを学習させる（Ｓ４０１）。ここでは、推論器Ｆの学習部１２１が、学習データＴの全体集合を用いて、推論器Ｆを訓練する。これにより、推論器Ｆが生成される。つぎに、推論装置１０は、推論器Ｇを使用するか否かを判定する（Ｓ４０２）。ここでは、ステップＳ２０１と同様に、推論装置１０が、ユーザ等の選択入力を受け付けることで、判定を行う。
【0065】
推論器Ｇを使用する場合（Ｓ４０２のＹｅｓ）、学習部１２３が、推論器Ｇを推論器Ｆより過学習させて生成する（Ｓ４０３）。つまり、学習データＴの全体集合を用いて、推論器Ｇを訓練する。さらに、推論器Ｇの学習が、推論器Ｆの学習より過学習になるように、学習部１２３が推論器Ｇを学習させる。これにより、推論器Ｇが生成される。
【0066】
推論器Ｇを使用しない場合（Ｓ４０２のＮｏ）、又は推論器Ｇの機械学習が終了した場合、データ生成部２００が、推論器Ｈの学習データを生成する（Ｓ４０４）。ステップＳ４０４の処理について、図５を用いて詳細に説明する。図５は推論器Ｈの学習データを生成する処理を示すフローチャートである。
【0067】
データ分割部２２０が学習データＴをｎ分割する（Ｓ５０１）。つまり、データ分割部２２０は分割データＴ１～Ｔｎを生成する。学習部２０２－１～２０２－ｎが各分割データＴ１～Ｔｎを除いた学習データでｎ個の推論器Ｆ１～Ｆｎを学習させる（Ｓ５０２）。つまり、データ生成部２００の学習部は、Ｔ＼Ｔｉを用いて、推論器Ｆｉを機械学習する。
【0068】
データ生成部２００は、ｎ個の推論器Ｆ１～Ｆｎの学習に使用しなかった分割データをそれぞれの推論器Ｆ１～Ｆｎに入力する（Ｓ５０３）。つまり、データ生成部２００は、分割データＴｉを推論器Ｆｉに入力する。換言すると、推論器Ｆｉの学習時の入力データと推論時の入力データが異なるように、推論器Ｆｉに分割データＴｉが入力される。例えば、Ｆｉの学習部２０２－ｉでの機械学習で除かれた分割データＴｉを推論器Ｆｉに入力する。
【0069】
推論器Ｆ１～Ｆｎの出力を推論器Ｈの学習データとして、学習データ記憶部２５０が保存する（Ｓ５０４）。つまり、推論器Ｆｉは、推論器Ｆｉを生成する機械学習から除かれた分割データＴｉに基づいて推論を行う。学習データ記憶部２５０は、推論器Ｆｉの推論結果を、推論器Ｈの学習データとして記憶する。これにより、学習データの生成が終了する。
【0070】
図４の説明に戻る。学習部１２２が第２学習データを用いて推論器Ｈを学習させる（Ｓ４０５）。学習部１２２は、学習データ記憶部２５０に記憶されている学習データを読み出して、推論器Ｈの機械学習に使用する。これにより、推論器Ｈが生成される。このようにして、学習装置１００が推論器Ｆ、推論器Ｇ、及び推論器Ｈを生成する。なお、推論器Ｇを用いない場合、推論器Ｇの生成処理が省略される。
【0071】
推論器Ｆにノンメンバデータを入力した場合の出力と、推論器Ｈにメンバデータを入力した場合の出力は区別がつかないように設計されている。推論装置１０において、学習データに対する分類精度（推論精度）と非学習データに対する分類精度（推論精度）のギャップが小さくなる。このため、ＭＩ攻撃の攻撃者に学習データの情報が漏れることを防ぐことが可能となる。
【0072】
また、疑似攻撃器Ｉとしては、既知の最も攻撃力の高いものを使用すれば推論器Ｆと推論器Ｈとの振り分けミスを減らすことが出来る。また、疑似攻撃対象として別途過学習させて作った推論器Ｇを用いている。このようにすることで、入力データｘの振り分けミスをより減らすことが出来る。さらには、疑似攻撃器Ｉは、ブラックボックス設定の攻撃者と異なり、ホワイトボックス攻撃を行うことができるため、より強力な攻撃を行うことができる。つまり、疑似攻撃器Ｉは、推論器Ｆ，又は推論器Ｇのパラメータにアクセス可能であるため、メンバデータとノンメンバデータとを高い精度で識別できる。
【0073】
上記の方法によれば、ＭＩ攻撃に対する耐性が高く、かつ精度の高い推論装置１０を生成することができる。推論時に入力データｘがノンメンバデータと推論された場合には、そのまま推論結果Ｆ（ｘ）を出力するため精度劣化がほとんどない。
【0074】
その他の実施形態
図６はその他の実施形態にかかる学習装置６００を示すブロック図である。学習装置６００は、第１学習部６０１と、データ分割部６０２と、推論器生成部６０３と、学習データ生成部６０４と、第２学習部６０５とを備える。
図６はその他の実施形態にかかる学習装置６００を示すブロック図である。学習装置６００は、第１学習部６０１と、データ分割部６０２と、推論器生成部６０３と、学習データ生成部６０４と、第２学習部６０５とを備える。
【0075】
第１学習部６０１は、第１学習データを用いた機械学習により第１推論器を生成する。データ分割部６０２は、第１学習データをｎ（ｎは２以上の整数）分割することで、ｎセットの分割データを生成する。推論器生成部６０３は、第１学習データから１セットの分割データを除いたデータを用いた機械学習によりｎ個の学習データ生成用推論器を生成する。学習データ生成部６０４は、前記推論器生成部６０３の前記機械学習で除かれた１セットの分割データをｎ個の学習データ生成用推論器にそれぞれ入力することで、第２学習データを生成する。第２学習部６０５は、第２学習データを用いた機械学習により第２推論器を生成する。これにより、ＭＩ攻撃に対する耐性が高く、かつ、精度の高い機械学習モデルを実現することができる。
【0076】
上記の実施形態において、機械学習システムのそれぞれの要素はそれぞれコンピュータプログラムで実現可能である。つまり、推論器Ｆ、推論器Ｇ，推論器Ｈ、疑似攻撃器Ｉ、学習部１２１～１２３、データ生成部２００等はそれぞれコンピュータプログラムで実現可能である。また、推論器Ｆ、推論器Ｇ，推論器Ｈ、疑似攻撃器Ｉ、学習部１２１～１２３、データ生成部２００等は、物理的に単一な装置となっていなくてもよく、複数のコンピュータに分散されていてもよい。
【0077】
次に、実施の形態にかかる機械学習システムのハードウェア構成について説明する。図７は、機械学習システム７００のハードウェア構成の一例を示すブロック図である。図７に示すように、機械学習システム７００は例えば、少なくとも一つのメモリ７０１、少なくとも一つのプロセッサ７０２，及びネットワークインタフェース７０３を含む。
【0078】
ネットワークインタフェース７０３は、有線又は無線のネットワークを介して他の装置と通信するために使用される。ネットワークインタフェース７０３は、例えば、ネットワークインタフェースカード（ＮＩＣ）を含んでもよい。機械学習システム７００は、ネットワークインタフェース７０３を介して、データの送受信を行う。機械学習システム７００は、ネットワークインタフェースを介して、学習データＴを取得してもよい。
【0079】
メモリ７０１は、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。メモリ７０１は、プロセッサ７０２から離れて配置されたストレージを含んでもよい。この場合、プロセッサ７０２は、図示されていない入出力インタフェースを介してメモリ７０１にアクセスしてもよい。
【0080】
メモリ７０１は、プロセッサ７０２により実行される、１以上の命令を含むソフトウェア（コンピュータプログラム）などを格納するために使用される。機械学習システム７００が推論装置１０を有する場合、メモリ７０１は、推論器Ｆ、推論器Ｇ，推論器Ｈ、疑似攻撃器Ｉを格納していてもよい。また、機械学習システム７００が学習装置１００を有する場合、メモリ７０１は、学習部１２１～１２３、データ生成部２００等を格納していてもよい。
【0081】
プログラムは、コンピュータに読み込まれた場合に、実施形態で説明された１又はそれ以上の機能をコンピュータに行わせるための命令群（又はソフトウェアコード）を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory（RAM）、read-only memory（ROM）、フラッシュメモリ、solid-state drive（SSD）又はその他のメモリ技術、CD-ROM、digital versatile disc（DVD）、Blu-ray（登録商標）ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。
【0082】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
第１学習データを用いた機械学習により生成され、入力データが前記第１学習データではない場合に推論を行う第１推論器と、
前記第１学習データと異なる第２学習データを用いた機械学習により生成され、入力データが前記第１学習データである場合に推論を行う第２推論器と、
前記第１学習データを用いた機械学習により生成され、前記第１推論器を生成するための機械学習よりも過学習することにより生成された第３推論器と
前記第３推論器の推論結果に基づいて、前記入力データが前記第１学習データであるか否かを判定する疑似攻撃器と、を備えた推論装置。
（付記２）
前記入力データをｘ，前記入力データｘのラベルをｙ、前記第３推論器の出力結果をＧ（ｘ）とした場合に、前記疑似攻撃器が、
以下の式（１）に基づいて、Ｍｅｎｔｒを算出し、
前記Ｍｅｎｔｒに基づいて、前記第１学習データであるか否か判定する付記１に記載の推論装置。
（付記３）
第１学習データを用いた機械学習により第１推論器を生成する第１学習部と、
前記第１学習データをｎ（ｎは２以上の整数）分割することで、ｎセットの分割データを生成するデータ分割部と、
前記第１学習データから１セットの分割データを除いたデータを用いた機械学習によりｎ個の学習データ生成用推論器を生成する推論器生成部と、
前記推論器生成部の前記機械学習で除かれた前記１セットの前記分割データをｎ個の前記学習データ生成用推論器にそれぞれ入力することで、第２学習データを生成する学習データ生成部と、
前記第２学習データを用いた機械学習により第２推論器を生成する第２学習部と、を備えた学習装置。
（付記４）
前記第１学習データを用いて、前記第１学習部よりも過学習を行うことで、第３推論器を生成する第３学習部と、を備えた付記３に記載の学習装置。
（付記５）
付記４に記載の学習装置と、
付記１、又は２に記載の推論装置と、を備えた機械学習システム。
（付記６）
第１学習データを用いた機械学習により生成された第１推論器が、入力データが前記第１学習データではない場合に推論を行い、
前記第１学習データと異なる第２学習データを用いた機械学習により生成された第２推論器が、入力データが前記第１学習データである場合に推論を行い、
前記第１学習データを用いた機械学習により生成され、前記第１推論器を生成するための機械学習よりも過学習することにより生成された第３推論器が、前記入力データに基づいて推論を行い、
疑似攻撃器が、前記第３推論器の推論結果に基づいて、前記入力データが前記第１学習データであるか否かを判定する、推論方法。
（付記７）
前記入力データをｘ，前記入力データｘのラベルをｙ、前記第３推論器の出力結果をＧ（ｘ）とした場合に、前記疑似攻撃器が、
以下の式（１）に基づいて、Ｍｅｎｔｒを算出し、
前記Ｍｅｎｔｒに基づいて、前記第１学習データであるか否か判定する付記６に記載の推論方法。
（付記８）
第１学習データを用いた機械学習により第１推論器を生成し、
前記第１学習データをｎ（ｎは２以上の整数）個に分割することで、ｎセットの分割データを生成し、
前記第１学習データから１セットの分割データを除いたデータを用いた機械学習によりｎ個の学習データ生成用推論器を生成し、
前記学習データ生成用推論器を生成する前記機械学習で除かれた前記１セットの前記分割データをｎ個の前記学習データ生成用推論器にそれぞれ入力することで、第２学習データを生成し、
前記第２学習データを用いた機械学習により第２推論器を生成する、学習方法。
（付記９）
前記第１学習データを用いて、前記第１推論器の機械学習よりも過学習を行うことで、第３推論器を生成する、付記８に記載の学習方法。
（付記１０）
コンピュータに対して推論方法を実行させるためのプログラムが格納されたコンピュータ可読媒体であって、
前記推論方法は、
第１学習データを用いた機械学習により生成された第１推論器が、入力データが前記第１学習データではない場合に推論を行い、
前記第１学習データと異なる第２学習データを用いた機械学習により生成された第２推論器が、入力データが前記第１学習データである場合に推論を行い、
前記第１学習データを用いた機械学習により生成され、前記第１推論器を生成するための機械学習よりも過学習することにより生成された第３推論器が、前記入力データに基づいて推論を行い、
疑似攻撃器が、前記第３推論器の推論結果に基づいて、前記入力データが前記第１学習データであるか否かを判定する、
コンピュータ可読媒体。
（付記１１）
前記入力データをｘ，前記入力データｘのラベルをｙ、前記第３推論器の出力結果をＧ（ｘ）とした場合に、前記疑似攻撃器が、
以下の式（１）に基づいて、Ｍｅｎｔｒを算出し、
前記Ｍｅｎｔｒに基づいて、前記第１学習データであるか否か判定する付記１０に記載のコンピュータ可読媒体。
（付記１２）
コンピュータに対して学習方法を実行させるためのプログラムが格納されたコンピュータ可読媒体であって、
前記学習方法は、
第１学習データを用いた機械学習により第１推論器を生成し、
前記第１学習データをｎ（ｎは２以上の整数）個に分割することで、ｎセットの分割データを生成し、
前記第１学習データから１セットの分割データを除いたデータを用いた機械学習によりｎ個の学習データ生成用推論器を生成し、
前記学習データ生成用推論器を生成する前記機械学習で除かれた前記１セットの前記分割データをｎ個の前記学習データ生成用推論器にそれぞれ入力することで、第２学習データを生成し、
前記第２学習データを用いた機械学習により第２推論器を生成する、
非一時的なコンピュータ可読媒体。
（付記１３）
前記第１学習データを用いて、前記第１学習部よりも過学習を行うことで、第３推論器を生成する第３学習部と、を備えた付記１２に記載のコンピュータ可読媒体。
（付記１）
第１学習データを用いた機械学習により生成され、入力データが前記第１学習データではない場合に推論を行う第１推論器と、
前記第１学習データと異なる第２学習データを用いた機械学習により生成され、入力データが前記第１学習データである場合に推論を行う第２推論器と、
前記第１学習データを用いた機械学習により生成され、前記第１推論器を生成するための機械学習よりも過学習することにより生成された第３推論器と
前記第３推論器の推論結果に基づいて、前記入力データが前記第１学習データであるか否かを判定する疑似攻撃器と、を備えた推論装置。
（付記２）
前記入力データをｘ，前記入力データｘのラベルをｙ、前記第３推論器の出力結果をＧ（ｘ）とした場合に、前記疑似攻撃器が、
以下の式（１）に基づいて、Ｍｅｎｔｒを算出し、
【数4】
（付記３）
第１学習データを用いた機械学習により第１推論器を生成する第１学習部と、
前記第１学習データをｎ（ｎは２以上の整数）分割することで、ｎセットの分割データを生成するデータ分割部と、
前記第１学習データから１セットの分割データを除いたデータを用いた機械学習によりｎ個の学習データ生成用推論器を生成する推論器生成部と、
前記推論器生成部の前記機械学習で除かれた前記１セットの前記分割データをｎ個の前記学習データ生成用推論器にそれぞれ入力することで、第２学習データを生成する学習データ生成部と、
前記第２学習データを用いた機械学習により第２推論器を生成する第２学習部と、を備えた学習装置。
（付記４）
前記第１学習データを用いて、前記第１学習部よりも過学習を行うことで、第３推論器を生成する第３学習部と、を備えた付記３に記載の学習装置。
（付記５）
付記４に記載の学習装置と、
付記１、又は２に記載の推論装置と、を備えた機械学習システム。
（付記６）
第１学習データを用いた機械学習により生成された第１推論器が、入力データが前記第１学習データではない場合に推論を行い、
前記第１学習データと異なる第２学習データを用いた機械学習により生成された第２推論器が、入力データが前記第１学習データである場合に推論を行い、
前記第１学習データを用いた機械学習により生成され、前記第１推論器を生成するための機械学習よりも過学習することにより生成された第３推論器が、前記入力データに基づいて推論を行い、
疑似攻撃器が、前記第３推論器の推論結果に基づいて、前記入力データが前記第１学習データであるか否かを判定する、推論方法。
（付記７）
前記入力データをｘ，前記入力データｘのラベルをｙ、前記第３推論器の出力結果をＧ（ｘ）とした場合に、前記疑似攻撃器が、
以下の式（１）に基づいて、Ｍｅｎｔｒを算出し、
【数5】
（付記８）
第１学習データを用いた機械学習により第１推論器を生成し、
前記第１学習データをｎ（ｎは２以上の整数）個に分割することで、ｎセットの分割データを生成し、
前記第１学習データから１セットの分割データを除いたデータを用いた機械学習によりｎ個の学習データ生成用推論器を生成し、
前記学習データ生成用推論器を生成する前記機械学習で除かれた前記１セットの前記分割データをｎ個の前記学習データ生成用推論器にそれぞれ入力することで、第２学習データを生成し、
前記第２学習データを用いた機械学習により第２推論器を生成する、学習方法。
（付記９）
前記第１学習データを用いて、前記第１推論器の機械学習よりも過学習を行うことで、第３推論器を生成する、付記８に記載の学習方法。
（付記１０）
コンピュータに対して推論方法を実行させるためのプログラムが格納されたコンピュータ可読媒体であって、
前記推論方法は、
第１学習データを用いた機械学習により生成された第１推論器が、入力データが前記第１学習データではない場合に推論を行い、
前記第１学習データと異なる第２学習データを用いた機械学習により生成された第２推論器が、入力データが前記第１学習データである場合に推論を行い、
前記第１学習データを用いた機械学習により生成され、前記第１推論器を生成するための機械学習よりも過学習することにより生成された第３推論器が、前記入力データに基づいて推論を行い、
疑似攻撃器が、前記第３推論器の推論結果に基づいて、前記入力データが前記第１学習データであるか否かを判定する、
コンピュータ可読媒体。
（付記１１）
前記入力データをｘ，前記入力データｘのラベルをｙ、前記第３推論器の出力結果をＧ（ｘ）とした場合に、前記疑似攻撃器が、
以下の式（１）に基づいて、Ｍｅｎｔｒを算出し、
【数6】
（付記１２）
コンピュータに対して学習方法を実行させるためのプログラムが格納されたコンピュータ可読媒体であって、
前記学習方法は、
第１学習データを用いた機械学習により第１推論器を生成し、
前記第１学習データをｎ（ｎは２以上の整数）個に分割することで、ｎセットの分割データを生成し、
前記第１学習データから１セットの分割データを除いたデータを用いた機械学習によりｎ個の学習データ生成用推論器を生成し、
前記学習データ生成用推論器を生成する前記機械学習で除かれた前記１セットの前記分割データをｎ個の前記学習データ生成用推論器にそれぞれ入力することで、第２学習データを生成し、
前記第２学習データを用いた機械学習により第２推論器を生成する、
非一時的なコンピュータ可読媒体。
（付記１３）
前記第１学習データを用いて、前記第１学習部よりも過学習を行うことで、第３推論器を生成する第３学習部と、を備えた付記１２に記載のコンピュータ可読媒体。
【0083】
なお、本開示は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
【符号の説明】
【0084】
１０ 推論装置
２０ 入力データ
２８ 出力データ
２９ 出力データ
Ｔ 学習データ
Ｔ１～Ｔｎ 分割データ
１００ 学習装置
１２１ 学習部
１２２ 学習部
１２３ 学習部
２００ データ生成部
２２０ データ分割部
２０２－１ Ｆ１の学習部
２０２－ｎ Ｆｎの学習部
２５０ 学習データ記憶部
Ｆ 推論器
Ｈ 推論器
Ｇ 推論器
Ｉ 疑似攻撃器
２０ 入力データ
２８ 出力データ
２９ 出力データ
Ｔ 学習データ
Ｔ１～Ｔｎ 分割データ
１００ 学習装置
１２１ 学習部
１２２ 学習部
１２３ 学習部
２００ データ生成部
２２０ データ分割部
２０２－１ Ｆ１の学習部
２０２－ｎ Ｆｎの学習部
２５０ 学習データ記憶部
Ｆ 推論器
Ｈ 推論器
Ｇ 推論器
Ｉ 疑似攻撃器
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】