知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-30
(45)【発行日】2024-10-08
(54)【発明の名称】学習装置、推論装置、学習方法、及びプログラム
(51)【国際特許分類】
G06N 20/00 20190101AFI20241001BHJP
G06F 21/62 20130101ALI20241001BHJP
【ＦＩ】
G06N20/00 130
G06F21/62 345
【請求項の数】
10
(21)【出願番号】P 2023520695
(86)(22)【出願日】2021-05-13
(86)【国際出願番号】 JP2021018265
(87)【国際公開番号】W WO2022239200
(87)【国際公開日】2022-11-17
【審査請求日】2023-11-08
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100103894
【弁理士】
【氏名又は名称】家入 健
(72)【発明者】
【氏名】森 隼基
(72)【発明者】
【氏名】寺西 勇
(72)【発明者】
【氏名】土田 光
(72)【発明者】
【氏名】エンケタイワン バトニヤマ
(72)【発明者】
【氏名】伊東 邦大
【審査官】千葉 久博
(56)【参考文献】
【文献】米国特許出願公開第２０２０／０３１１５４０（ＵＳ，Ａ１）
【文献】中国特許出願公開第１１１９３１２１６（ＣＮ，Ａ）
【文献】高江洲 勲，機械学習モデルの学習データを推論する方法，三井物産セキュアディレクション [online]，2020年06月18日，[検索日 2021.07.02], インターネット：<URL：https://www.mbsd.jp/blog/20200618.html>
【文献】NASR, MILAD et al.，Machine learning with membership privacy using adversarial regularization，Proceedings of the 2018 ACM SIGSAC Conference on Computer and Communications Security [online]，2018年10月，pp.634-646，[検索日 2021.07.02], インターネット：<URL：https://dl.acm.org/doi/abs/10.1145/3243734.3243855>，<DOI: 10.1145/3243734.3243855>, ISBN: 978-1-4503-5693-0/18/10
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ２０／００
Ｇ０６Ｆ ２１／６２
(57)【特許請求の範囲】
【請求項1】
第１学習データをｎ（ｎは２以上の整数）分割することで、ｎセットの分割データを生成するデータ分割部と、前記第１学習データから１セットの分割データを除いたデータを用いた機械学習によりｎ個の学習データ生成用推論器を生成する推論器生成部と、
前記機械学習から除かれた前記１セットの前記分割データをｎ個の前記学習データ生成用推論器にそれぞれ入力することで、第２学習データを生成する学習データ生成部と、
前記第２学習データを用いた機械学習により推論器を生成する学習部と、を備えた学習装置。
【請求項2】
前記学習部が前記第１学習データを用いた機械学習により前記推論器を生成する請求項１に記載の学習装置。
【請求項3】
前記第１学習データでは、入力データと正解ラベルとが対応付けられており、前記学習部の機械学習において、前記第２学習データに対する前記第１学習データの割合が設定されている請求項２に記載の学習装置。
【請求項4】
前記第２学習データに対する前記第１学習データの割合を示すパラメータをαとし、前記第１学習データでの機械学習での損失関数をＬ１とし、
前記第２学習データでの機械学習での損失関数をＬ０とした場合、
前記学習部がパラメータα、損失関数Ｌ１、及び損失関数Ｌ０に基づいて前記推論器を生成している請求項３に記載の学習装置。
【請求項5】
前記学習部が、以下の式（３）に基づいて、損失関数Ｌαを算出し、
Ｌα＝（１－α）Ｌ０＋αＬ１ ・・・（３）
前記損失関数Ｌαに基づいて、前記推論器を算出している請求項４に記載の学習装置。
【請求項6】
請求項１～５のいずれか１項に記載の学習装置で生成された推論器を有する推論装置。
【請求項7】
第１学習データをｎ（ｎは２以上の整数）分割することで、ｎセットの分割データを生成し、前記第１学習データから１セットの分割データを除いたデータを用いた機械学習によりｎ個の学習データ生成用推論器を生成し、
前記機械学習から除かれた前記１セットの前記分割データをｎ個の前記学習データ生成用推論器にそれぞれ入力することで、第２学習データを生成し、
前記第２学習データを用いた機械学習により推論器を生成する、学習方法。
【請求項8】
前記第１学習データを用いた機械学習により前記推論器を生成する請求項７に記載の学習方法。
【請求項9】
コンピュータに対して学習方法を実行させるためのプログラムであって、前記学習方法は、
第１学習データをｎ（ｎは２以上の整数）分割することで、ｎセットの分割データを生成し、
前記第１学習データから１セットの分割データを除いたデータを用いた機械学習によりｎ個の学習データ生成用推論器を生成し、
前記機械学習から除かれた前記１セットの前記分割データをｎ個の前記学習データ生成用推論器にそれぞれ入力することで、第２学習データを生成し、
前記第２学習データを用いた機械学習により推論器を生成する、プログラム。
【請求項10】
前記学習方法では、前記第１学習データを用いた機械学習により前記推論器を生成する請求項９に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、機械学習に関する。
【背景技術】
【0002】
非特許文献１、２には、機械学習の学習済みパラメータから学習に用いた秘密情報（例：顧客情報、企業秘密など）を漏洩させるＭｅｍｂｅｒｓｈｉｐ Ｉｎｆｅｒｅｎｃｅ攻撃（ＭＩ攻撃）が知られている。例えば、非特許文献１には、推論アルゴリズムへのアクセスが可能であるとの条件下で、ＭＩ攻撃の方法が開示されている。ＭＩ攻撃は、機械学習の「過学習」という現象を利用して実行する。過学習とは学習に用いたデータに対して機械学習が過剰に適合してしまう現象の事である。過学習が原因となり推論アルゴリズムの入力に学習に用いたデータを入力した場合とそうでないデータを入力した場合の出力の傾向が異なってしまう。ＭＩ攻撃の攻撃者はこの傾向の違いを悪用する事で、手元にあるデータが学習に用いられたものなのかそうでないのかを判別する。
【0003】
非特許文献４には、ＭｅｍＧｕａｒｄという方法が開示されている。この方法では、攻撃対象の推論アルゴリズムの学習済みパラメータが知られていないとの条件下でのブラックボックス攻撃に対する対策として、攻撃者の分類器を誤解させる処理を行う。
【0004】
非特許文献５は、ＭＩ攻撃に耐性のある学習アルゴリズムを開示している。具体的には、非特許文献５では、任意の既知の機械学習の推論アルゴリズムｆと、ｆに入力されたデータがｆの学習に用いられたデータか否かを識別する識別器ｈを用いている。そして、それぞれのパラメータを敵対的に学習させ、推論アルゴリズムｆの推論精度と、ＭＩ攻撃に対する耐性を引き上げている。
【先行技術文献】
【非特許文献】
【0005】
【文献】Reza Shokri, Marco Stronati, Congzheng Song, Vitaly Shmatikov: “Membership Inference Attacks Against Machine Learning Models ” 、IEEE Symposium on Security and Privacy 2017: 3-18、［online］、［令和３年４月１９日検索］、インターネット〈URL：https://arxiv.org/pdf/1610.05820.pdf〉
【文献】Ahmed Salem, Yang Zhang, Mathias Humbert, Pascal Berrang, Mario Fritz, Michael Backes: “ML-Leaks: Model and Data Independent Membership Inference Attacks and Defenses onMachine Learning Models”、 Network and Distributed System Security Symposium 2019、［online］、［令和３年４月１９日検索］、インターネット〈URL：https://arxiv.org/abs/1806.01246〉
【文献】L. Song and P. Mittal. “Systematic Evaluation of Privacy Risks of Machine Learning Models”、 USENIX Security Symposium 2021、［online］、［令和３年４月１９日検索］、インターネット〈URL：https://arxiv.org/abs/2003.10595〉
【文献】Jinyuan Jia, Ahmed Salem, Michael Backes, Yang Zhang, Neil Zhenqiang Gong、“MemGuard：Defending against Black-Box Membership Inference Attacks via Adversarial Examples”、ACM SIGSAC Conference on Computer and Communications Security 2019: 259-274、［online］、［令和３年４月１９日検索］、インターネット〈URL：https://arxiv.org/pdf/1909.10594.pdf〉
【文献】Milad Nasr, Reza Shokri, Amir Houmansadr、“Machine Learning with Membership Privacy using Adversarial Regularization”、ACM SIGSAC Conference on Computer and Communications Security 2018: 634-646、［online］、［令和３年４月１９日検索］、インターネット〈URL：https://arxiv.org/pdf/1807.05852.pdf〉
【発明の概要】
【発明が解決しようとする課題】
【0006】
機械学習では、学習に用いられるデータ（訓練データともいう）が顧客情報や企業秘密などの秘密情報を含んでいる場合がある。ＭＩ攻撃により、機械学習の学習済みパラメータから学習に用いた秘密情報が漏洩してしまうおそれがある。例えば、学習済みパラメータを不正に入手した攻撃者が、学習データを推測してしまうおそれがある。あるいは、学習済みパラメータが漏洩していない場合でも、攻撃者が推論アルゴリズムに何度もアクセスすることで、学習済みパラメータが予想できてしまう。そして、予想された学習済みパラメータから学習データが予測されてしまうことがある。
【0007】
また、非特許文献４の方式は、推論結果にノイズを載せることで防御している。このため、防御性能に関係なく、推論結果にノイズの影響が及んでしまうという問題点がある。
【0008】
非特許文献５では、精度と攻撃耐性がトレードオフとなっている。具体的には、精度と攻撃耐性のトレードオフ度合いを決めるパラメータが設定されている。したがって、精度と攻撃耐性の両方を向上することが困難であるという問題点がある。
【0009】
本開示の目的は、ＭＩ攻撃に対する耐性が高く、かつ精度の高い推論装置、学習装置、学習方法、及び記録媒体を提供することである。
【課題を解決するための手段】
【0010】
本開示にかかる学習装置は、第１学習データをｎ（ｎは２以上の整数）分割することで、ｎセットの分割データを生成するデータ分割部と、前記第１学習データから１セットの分割データを除いたデータを用いた機械学習によりｎ個の学習データ生成用推論器を生成する推論器生成部と、前記機械学習から除かれた前記１セットの前記分割データをｎ個の前記学習データ生成用推論器にそれぞれ入力することで、第２学習データを生成する学習データ生成部と、前記第２学習データを用いた機械学習により推論器を生成する学習部と、を備えている。
【0011】
本開示にかかる学習方法は、第１学習データをｎ（ｎは２以上の整数）分割することで、ｎセットの分割データを生成し、前記第１学習データから１セットの分割データを除いたデータを用いた機械学習によりｎ個の学習データ生成用推論器を生成し、前記機械学習から除かれた前記１セットの前記分割データをｎ個の前記学習データ生成用推論器にそれぞれ入力することで、第２学習データを生成し、前記第２学習データを用いた機械学習により推論器を生成する。
【0012】
本開示にかかるコンピュータ可読媒体は、コンピュータに対して学習方法を実行させるためのプログラムが格納されたコンピュータ可読媒体であって、前記学習方法は、第１学習データをｎ（ｎは２以上の整数）分割することで、ｎセットの分割データを生成し、前記第１学習データから１セットの分割データを除いたデータを用いた機械学習によりｎ個の学習データ生成用推論器を生成し、前記機械学習から除かれた前記１セットの前記分割データをｎ個の前記学習データ生成用推論器にそれぞれ入力することで、第２学習データを生成し、前記第２学習データを用いた機械学習により推論器を生成する。
【発明の効果】
【0013】
本開示によれば、ＭＩ攻撃に対する耐性が高く、かつ精度の高い学習装置、推論装置、学習方法、及びコンピュータ可読媒体を提供できる。
【図面の簡単な説明】
【0014】
【図1】学習装置を備えた機械学習システムの構成を示すブロック図である。
【図2】学習装置の動作を示すフローチャートである。
【図3】推論器Ｈの学習部の動作を示すフローチャートである。
【図4】その他の実施形態にかかる学習装置の動作を示すブロック図である。
【図5】本実施の形態にかかる装置のハードウェア構成を示す図である。
【発明を実施するための形態】
【0015】
実施の形態１
本実施の形態にかかる機械学習（訓練）について、図１を用い説明する。図１は、学習装置１００を備えた機械学習システムの構成を示すブロック図である。学習装置１００は、データ生成部２００と、学習部１２２とを備えている。推論器Ｈの機械学習には、予め学習データＴが用意されている。学習データＴをメンバデータとも称し、学習データＴ以外のデータをノンメンバデータとも称する。
本実施の形態にかかる機械学習（訓練）について、図１を用い説明する。図１は、学習装置１００を備えた機械学習システムの構成を示すブロック図である。学習装置１００は、データ生成部２００と、学習部１２２とを備えている。推論器Ｈの機械学習には、予め学習データＴが用意されている。学習データＴをメンバデータとも称し、学習データＴ以外のデータをノンメンバデータとも称する。
【0016】
データ生成部２００は、学習データＴに基づいて、推論器Ｈの学習データを生成する。以下、予め用意された学習データＴを第１学習データとも称し、データ生成部２００で生成された学習データを第２学習データとも称する。学習部１２２がデータ生成部２００で生成された第２学習データに基づいて、機械学習を行う。これにより、推論器Ｈが生成される。
【0017】
推論器Ｈは、入力データに対して推論を行う機械学習モデルである。つまり、推論器Ｈが入力データに基づいて推論を行った時の推論結果を出力する。例えば、推論器Ｈは、画像分類を行う分類器とすることができる。この場合、推論器Ｈが各クラスに該当する確率を示すスコアベクトルを出力する。
【0018】
学習データＴは、第１学習データであり、複数のデータを含むデータ群となっている。教師有り学習を行う場合、学習データＴは正解ラベル（教師データ）付きのデータ集合となる。学習データＴでは、複数の入力データを備え、それぞれの入力データには正解ラベルが対応付けられている。もちろん、機械学習は教師有り学習に限られるものはない。
【0019】
データ生成部２００は、推論器Ｈの機械学習に用いられる第２学習データ（訓練データ）を生成する。データ生成部２００は、データ分割部２２０と、Ｆ１～Ｆｎの学習部２０２－１～２０２－ｎと、学習データ記憶部２５０と、を備えている。
【0020】
データ分割部２２０は、学習データＴをｎ（ｎは２以上の整数）分割する。ここで、ｎ分割された学習データを分割データＴ１～Ｔｎとする。つまり、データ分割部２２０は、学習データＴをｎ分割することで、ｎセットの分割データＴ１～Ｔｎを生成する。学習データＴを１つのデータセットとすると、分割データＴ１～Ｔｎのそれぞれがサブセットとなる。後述するように、分割データＴ１～Ｔｎのそれぞれは推論器Ｆ１～Ｆｎの入力データとなる。
【0021】
分割データＴ１～Ｔｎに含まれるデータセットは互いに重複していないことが好ましい。例えば、分割データＴ１に含まれるデータは、分割データＴ２～Ｔｎに含まれていないことが好ましい。また、分割データＴｎに含まれているデータは、分割データＴ１～Ｔｎ－１に含まれていないことが好ましい。
【0022】
分割データＴ１～Ｔｎに含まれるデータ数は均等にすることが好ましい。つまり、データ分割部２２０は、学習データＴを均等にｎ分割する。従って、分割データＴ１～Ｔｎには同じ数のデータが含まれる。分割データＴ１～Ｔｎに含まれるデータ数は均等に限らず、異なっていてもよい。データ分割部２２０は、学習データＴから抽出された一部の分割データを、学習部２０２－１～２０２－ｎに出力する。
【0023】
データ生成部２００は、分割データＴ１～Ｔｎから学習データＴ＼Ｔ１を抽出して、Ｆ１の学習部２０２－１に入力する。なお、学習データＴ＼Ｔ１は、学習データＴから分割データＴ１を除いた差集合となる。つまり、Ｆ１の学習データＴ＼Ｔ１は、Ｔ２～Ｔｎを含む。データ生成部２００は、学習データＴから分割データＴ１を取り除くことで、学習データＴ＼Ｔ１を生成する。
【0024】
Ｆ１の学習部２０２－１は、学習データＴ＼Ｔ１を用いて推論器Ｆ１を生成するための機械学習を行う。学習部２０２－１は学習データＴ＼Ｔ１に基づいて、推論器Ｆ１を訓練する。学習部２０２－１における機械学習は、教師有り学習などの種々の手法を用いることができる。学習部２０２－１の機械学習については、公知の手法を用いることができるため、説明を省略する。学習部２０２－１は学習データＴ＼Ｔ１に含まれる全てのデータを用いて機械学習を行う。機械学習では、例えば、ディープラーニングモデルにおける各層のパラメータの最適化を行う。これにより、推論器Ｆ１が生成される。
【0025】
データ生成部２００は、分割データＴ１を推論器Ｆ１に入力する。推論器Ｈの学習データ記憶部２５０は、推論器Ｆ１の出力をＨの学習データとして記憶する。つまり、推論器Ｆ１の推論結果が、推論器Ｈの学習データとして、メモリなどに格納される。推論器Ｈの学習データには、分割データＴ１を推論器Ｆ１に入力した時の推論器Ｆ１の推論結果が含まれる。このように、推論器Ｆ１の学習時に用いられる学習データと、推論時に用いられる入力データとが異なるデータとなっている。
【0026】
Ｆｎの学習部２０２－ｎは、学習データＴ＼Ｔｎを用いて推論器Ｆｎを生成するための機械学習を行う。学習部２０２－ｎは学習データＴ＼Ｔｎに基づいて、推論器Ｆｎを訓練する。学習部２０２－ｎにおける機械学習は、教師有り学習などの種々の手法を用いることができる。学習部２０２－ｎの機械学習については、公知の手法を用いることができるため、説明を省略する。学習部２０２－ｎは学習データＴ＼Ｔｎに含まれる全てのデータを用いて機械学習を行う。機械学習では、例えば、ディープラーニングモデルにおける各層のパラメータの最適化を行う。これにより、推論器Ｆｎが生成される。
【0027】
データ生成部２００は、分割データＴｎを推論器Ｆｎに入力する。推論器Ｈの学習データ記憶部２５０は、推論器Ｆｎの出力をＨの学習データとして記憶する。つまり、推論器Ｆｎの推論結果が、推論器Ｈの学習データとして、メモリなどに格納される。推論器Ｈの学習データには、分割データＴｎを推論器Ｆｎに入力した時の推論器Ｆｎの推論結果が含まれる。このように、推論器Ｆｎの学習時に用いられる学習データと、推論時に用いられる入力データとが異なるデータとなっている。
【0028】
なお、ｉ（ｉは１以上ｎ以下の任意の整数）を用いて、推論器Ｆ１～Ｆｎにおける機械学習を一般化すると、以下のようになる。データ生成部２００は、学習データＴの全体集合を受け取る。データ分割部２２０は、学習データＴをｎセット（ｎ個のサブセット）に分割して、分割データＴｉを生成する。データ生成部２００の学習部は、学習データＴ＼Ｔｉを用いて、推論器Ｆｉを機械学習する。推論器Ｆｉの機械学習に用いられる学習データは、Ｔ１～Ｔｉ－１，Ｔｉ＋１～Ｔｎとなる。推論器Ｆｉは、分割データＴｉに基づいて推論を行う。学習データ記憶部２５０は、推論器Ｆｉの推論結果を、学習データとして記憶する。
【0029】
このように、推論器Ｆ１～Ｆｎは第２学習データを生成する学習データ生成部となる。Ｆ１～Ｆｎの学習部２０２－１～２０２－ｎは推論器Ｆ１～Ｆｎを生成する学習データ生成用推論器生成部となる。なお、推論器Ｆ１～Ｆｎは同様のレイヤ構成を有する機械学習モデルとすることができる。つまり、推論器Ｆ１～Ｆｎはレイヤ、ノード、エッジ等の数が同じとなっている。そして、学習部２０２－１～２０２－ｎは、それぞれ異なる学習データを用いて推論器Ｆ１～Ｆｎを生成している。つまり、推論器Ｆ１～Ｆｎは異なる学習データを用いて生成された機械学習モデルである。推論器Ｆ１～Ｆｎは推論器Ｈと同様に、画像分類などを行う機械学習モデルである。この場合、推論器Ｆ１～Ｆｎは推論器Ｈと同様のスコアベクトルを出力する。
【0030】
推論器Ｈの学習データ記憶部２５０は、推論器Ｆ１、Ｆ２、・・・Ｆｉ、・・・Ｆｎ－１、Ｆｎの推論結果を学習データとして記憶する。学習データ記憶部２５０は、推論器Ｆ１～Ｆｎへの入力データとその推論結果を対応付けて記憶してもよい。推論器Ｈの学習データ記憶部２５０に記憶された学習データは、上記の通り、第２学習データとなる。よって、以下の説明では、推論器Ｈの学習データ記憶部２５０に記憶された学習データを単に第２学習データとも称する。第２学習データは以下の式（１）に示すデータ集合となる。
【数1】
【0031】
推論器Ｈの学習部１２２は、第２学習データを用いて推論器Ｈを生成するための機械学習を行う。学習部１２２は第２学習データに基づいて、推論器Ｈを訓練する。学習部１２２における機械学習は、教師有り学習などの種々の手法を用いることができる。学習部１２２の機械学習については、公知の手法を用いることができるため、説明を省略する。学習部１２２は第２学習データに含まれる全てのデータを用いて機械学習を行う。機械学習では、例えば、ディープラーニングモデルにおける各層のパラメータの最適化を行う。これにより、推論器Ｈが生成される。
【0032】
例えば、分割データＴｉに含まれる入力データｘについての推論結果Ｆｉ（ｘ）を正解ラベルとして、学習部１２２が、教師有り学習を行う。推論器Ｈに入力データｘを入力した場合、推論器Ｈから出力される推論結果は以下の式（２）で示される。
【数2】
【0033】
このように、本実施の形態では、データ生成部２００が、推論器Ｆ１～Ｆｎの出力に基づいて、推論器Ｈの学習データを生成している。推論器Ｈは、推論器Ｆ１～Ｆｎの出力を用いて生成された蒸留モデルとなる。つまり、推論器Ｆ１～Ｆｎは、学習データＴから一部の情報を取り出す。学習データ記憶部２５０は、推論器Ｆ１～Ｆｎで取り出された情報を学習データとして用いて、推論器Ｈを学習させる。よって、推論器Ｈはシンプルなモデルで高い推定精度を得ることができる。
【0034】
【0035】
まず、データ生成部２００が、推論器Ｈの学習データを生成する（Ｓ２０１）。ステップＳ２０１の処理について、図３を用いて詳細に説明する。図３は推論器Ｈの学習データを生成する処理を示すフローチャートである。
【0036】
データ分割部２２０が学習データＴをｎ分割する（Ｓ５０１）。つまり、データ分割部２２０は分割データＴ１～Ｔｎを生成する。学習部２０２－１～２０２－ｎが各分割データＴ１～Ｔｎを除いた学習データでｎ個の推論器Ｆ１～Ｆｎを学習させる（Ｓ５０２）。つまり、データ生成部２００の学習部は、Ｔ＼Ｔｉを用いて、推論器Ｆｉを機械学習する。
【0037】
データ生成部２００は、ｎ個の推論器Ｆ１～Ｆｎの学習に使用しなかった分割データをそれぞれの推論器Ｆ１～Ｆｎに入力する（Ｓ５０３）。つまり、データ生成部２００は、分割データＴｉを推論器Ｆｉに入力する。換言すると、推論器Ｆｉの学習時の入力データと推論時の入力データが異なるように、推論器Ｆｉに分割データＴｉが入力される。例えば、Ｆｉの学習部２０２－１での機械学習で除かれた分割データＴｉを推論器Ｆｉに入力する。
【0038】
推論器Ｆ１～Ｆｎの出力を推論器Ｈの学習データとして、学習データ記憶部２５０が保存する（Ｓ５０４）。つまり、推論器Ｆｉは、推論器Ｆｉを生成する機械学習から除かれた分割データＴｉに基づいて推論を行う。学習データ記憶部２５０は、推論器Ｆｉの推論結果を、推論器Ｈの学習データとして記憶する。これにより、学習データの生成が終了する。
【0039】
図２の説明に戻る。学習部１２２が第２学習データを用いて推論器Ｈを学習させる（Ｓ２０２）。学習部１２２は、学習データ記憶部２５０に記憶されている学習データを読み出して、推論器Ｈの機械学習に使用する。これにより、推論器Ｈが生成される。このようにして、データ生成部２００が推論器Ｈを生成する。
【0040】
このようにすることで、ＭＩ攻撃に対する耐性が高く、精度の高い推論器Ｈを生成することが可能となる。つまり、入力データとして、学習データＴに含まれるデータが推論器Ｈに入力されると、入力データを除いた機械学習で生成された推論器Ｆｉが推論を行う。よって、推論器Ｈのみで十分な安全性を得ることができる。
推論器Ｈは、メンバデータに対する分類精度がノンメンバデータに対する分類精度まで低下する。よって、より高い安全性を得ることができる。また、学習部１２２は、推論器Ｆｉで得られた推論結果を正解ラベルとして教師有り学習している。推論器Ｈにメンバデータを入力すると、あたかもメンバデータを除いたノンメンバデータで学習した推論器Ｆｉの推論結果が出力される。よって、推論器Ｈ単体で十分な安全性を得ることができる。
推論器Ｈは、メンバデータに対する分類精度がノンメンバデータに対する分類精度まで低下する。よって、より高い安全性を得ることができる。また、学習部１２２は、推論器Ｆｉで得られた推論結果を正解ラベルとして教師有り学習している。推論器Ｈにメンバデータを入力すると、あたかもメンバデータを除いたノンメンバデータで学習した推論器Ｆｉの推論結果が出力される。よって、推論器Ｈ単体で十分な安全性を得ることができる。
【0041】
本実施の形態では、データ生成部２００が、推論器Ｆ１～Ｆｎの出力に基づいて、推論器Ｈの学習データを生成している。推論器Ｈは、推論器Ｆ１～Ｆｎの出力を用いて生成された蒸留モデルとなる。つまり、推論器Ｆ１～Ｆｎは、学習データＴから一部の情報を取り出す。学習データ記憶部２５０は、推論器Ｆ１～Ｆｎで取り出された情報を学習データとして用いて、推論器Ｈを学習させる。よって、推論器Ｈはシンプルなモデルで高い精度を得ることができる。
【0042】
変形例
変形例では、学習部１２２が、第２学習データだけでなく、第１学習データを用いている。つまり、学習部１２２が学習データＴの少なくとも一部を用いて機械学習を行っている。学習データＴでは、入力データｘに対する真の正解ラベルｙが対応付けられている。変形例では、学習部１２２が第２学習データに混ぜ合わせる真の正解ラベルｙの割合を調整することができる。
変形例では、学習部１２２が、第２学習データだけでなく、第１学習データを用いている。つまり、学習部１２２が学習データＴの少なくとも一部を用いて機械学習を行っている。学習データＴでは、入力データｘに対する真の正解ラベルｙが対応付けられている。変形例では、学習部１２２が第２学習データに混ぜ合わせる真の正解ラベルｙの割合を調整することができる。
【0043】
ここで、第２学習データは、上記の式（１）に示すデータ集合となる。上記の式（１）に示したデータ集合を使って学習させる際の損失関数をＬ０とする。また、第１学習データである学習データＴを使って学習させる際の損失関数をＬ１とする。また、ＭＩ攻撃に対する安全性と精度を調整するパラメータをαとする。αは０以上１以下の実数である。
【0044】
例えば、パラメータαは、第２学習データに対する第１学習データの割合を示す。学習部１２２がパラメータα、損失関数Ｌ１、及び損失関数Ｌ０に基づいて推論器Ｈを生成する。例えば、学習部１２２は、以下の式（３）に示す損失関数Ｌαを算出する。
Ｌα＝（１－α）Ｌ０＋αＬ１ ・・・（３）
Ｌα＝（１－α）Ｌ０＋αＬ１ ・・・（３）
【0045】
学習部１２２は、損失関数Ｌαに基づいて、機械学習を行う。学習部１２２は損失関数Ｌαを小さくするように機械学習を行う。αが大きい場合、安全性は低下するが、精度が向上する。α＝１の場合、損失関数Ｌ０が考慮されなくなるので、従来の学習と同じとなる。αの値を小さい場合、精度は低下するが、安全性が向上する。α＝０の場合、実施の形態１の推論器Ｈの学習と同じとなる。よって、推論器Ｈの精度を高めたい場合、ユーザがαの値を大きくする。推論器Ｈの安全性を高めたい場合、ユーザがαの値を小さくする。このように、学習部１２２の機械学習にパラメータαを導入することで、安全性と精度を簡便に調整することができる。
【0046】
その他の実施形態
図４はその他の実施形態にかかる学習装置６００を示すブロック図である。学習装置６００は、データ分割部６０２と、推論器生成部６０３と、学習データ生成部６０４と、学習部６０５とを備える。
図４はその他の実施形態にかかる学習装置６００を示すブロック図である。学習装置６００は、データ分割部６０２と、推論器生成部６０３と、学習データ生成部６０４と、学習部６０５とを備える。
【0047】
データ分割部６０２は、第１学習データをｎ（ｎは２以上の整数）分割することで、ｎセットの分割データを生成する。推論器生成部６０３は、第１学習データから１セットの分割データを除いたデータを用いた機械学習によりｎ個の学習データ生成用推論器を生成する。学習データ生成部６０４は、前記機械学習から除かれた１セットの分割データをｎ個の学習データ生成用推論器にそれぞれ入力することで、第２学習データを生成する。学習部６０５は、第２学習データを用いた機械学習により推論器を生成する。これにより、ＭＩ攻撃に対する耐性が高く、かつ、精度の高い機械学習モデルを実現することができる。
【0048】
上記の実施形態において、機械学習システムのそれぞれの要素はそれぞれコンピュータプログラムで実現可能である。つまり、推論器Ｈ、学習部１２２、データ生成部２００等はそれぞれコンピュータプログラムで実現可能である。また、推論器Ｈ、学習部１２２、データ生成部２００等は、物理的に単一な装置となっていなくてもよく、複数のコンピュータに分散されていてもよい。
【0049】
次に、実施の形態にかかる機械学習システムのハードウェア構成について説明する。図５は、機械学習システム７００のハードウェア構成の一例を示すブロック図である。図５に示すように、機械学習システム７００は例えば、少なくとも一つのメモリ７０１、少なくとも一つのプロセッサ７０２，及びネットワークインタフェース７０３を含む。
【0050】
ネットワークインタフェース７０３は、有線又は無線のネットワークを介して他の装置と通信するために使用される。ネットワークインタフェース７０３は、例えば、ネットワークインタフェースカード（ＮＩＣ）を含んでもよい。機械学習システム７００は、ネットワークインタフェース７０３を介して、データの送受信を行う。機械学習システム７００は、ネットワークインタフェースを介して、学習データＴを取得してもよい。
【0051】
メモリ７０１は、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。メモリ７０１は、プロセッサ７０２から離れて配置されたストレージを含んでもよい。この場合、プロセッサ７０２は、図示されていない入出力インタフェースを介してメモリ７０１にアクセスしてもよい。
【0052】
メモリ７０１は、プロセッサ７０２により実行される、１以上の命令を含むソフトウェア（コンピュータプログラム）などを格納するために使用される。また、機械学習システム７００が学習装置１００を有する場合、メモリ７０１は、推論器Ｈ，学習部１２１～１２３、データ生成部２００等を格納していてもよい。
【0053】
プログラムは、コンピュータに読み込まれた場合に、実施形態で説明された１又はそれ以上の機能をコンピュータに行わせるための命令群（又はソフトウェアコード）を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory（RAM）、read-only memory（ROM）、フラッシュメモリ、solid-state drive（SSD）又はその他のメモリ技術、CD-ROM、digital versatile disc（DVD）、Blu-ray（登録商標）ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。
【0054】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
第１学習データをｎ（ｎは２以上の整数）分割することで、ｎセットの分割データを生成するデータ分割部と、
前記第１学習データから１セットの分割データを除いたデータを用いた機械学習によりｎ個の学習データ生成用推論器を生成する推論器生成部と、
前記機械学習から除かれた前記１セットの前記分割データをｎ個の前記学習データ生成用推論器にそれぞれ入力することで、第２学習データを生成する学習データ生成部と、
前記第２学習データを用いた機械学習により推論器を生成する学習部と、を備えた学習装置。
（付記２）
前記学習部が前記第１学習データを用いた機械学習により前記推論器を生成する付記１に記載の学習装置。
（付記３）
前記第１学習データでは、入力データと正解ラベルとが対応付けられており、
前記学習部の機械学習において、前記第２学習データに対する前記第１学習データの割合が設定されている付記２に記載の学習装置。
（付記４）
前記第２学習データに対する前記第１学習データの割合を示すパラメータをαとし、
前記第１学習データでの機械学習での損失関数をＬ１とし、
前記第２学習データでの機械学習での損失関数をＬ０とした場合、
前記学習部がパラメータα、損失関数Ｌ１、及び損失関数Ｌ０に基づいて前記推論器を生成している付記３に記載の学習装置。
（付記５）
前記学習部が、
以下の式（３）に基づいて、損失関数Ｌαを算出し、
Ｌα＝（１－α）Ｌ０＋αＬ １ ・・・（３）
前記損失関数Ｌαに基づいて、前記推論器を算出している付記４に記載の学習装置。
（付記６）
付記１～５のいずれか１項に記載の学習装置で生成された推論装置。
（付記７）
第１学習データをｎ（ｎは２以上の整数）分割することで、ｎセットの分割データを生成し、
前記第１学習データから１セットの分割データを除いたデータを用いた機械学習によりｎ個の学習データ生成用推論器を生成し、
前記機械学習から除かれた前記１セットの前記分割データをｎ個の前記学習データ生成用推論器にそれぞれ入力することで、第２学習データを生成し、
前記第２学習データを用いた機械学習により推論器を生成する、学習方法。
（付記８）
前記第１学習データを用いた機械学習により前記推論器を生成する付記７に記載の学習方法。
（付記９）
前記第１学習データでは、入力データと正解ラベルとが対応付けられており、
前記学習部の機械学習において、前記第２学習データに対する前記第１学習データの割合が設定されている付記８に記載の学習方法。
（付記１０）
前記第２学習データに対する前記第１学習データの割合を示すパラメータをαとし、
前記第１学習データでの機械学習での損失関数をＬ１とし、
前記第２学習データでの機械学習での損失関数をＬ０とした場合、
前記学習部がパラメータα、損失関数Ｌ１、及び損失関数Ｌ０に基づいて前記推論器を生成している付記９に記載の学習方法。
（付記１１）
前記学習部が、
以下の式（３）に基づいて、損失関数Ｌαを算出し、
Ｌα＝（１－α）Ｌ０＋αＬ １ ・・・（３）
前記損失関数Ｌαに基づいて、前記推論器を算出している付記１０に記載の学習方法。
（付記１２）
コンピュータに対して学習方法を実行させるためのプログラムが格納されたコンピュータ可読媒体であって、
前記学習方法は、
第１学習データをｎ（ｎは２以上の整数）分割することで、ｎセットの分割データを生成し、
前記第１学習データから１セットの分割データを除いたデータを用いた機械学習によりｎ個の学習データ生成用推論器を生成し、
前記機械学習から除かれた前記１セットの前記分割データをｎ個の前記学習データ生成用推論器にそれぞれ入力することで、第２学習データを生成し、
前記第２学習データを用いた機械学習により推論器を生成する、コンピュータ可読媒体。
（付記１３）
前記学習方法では、
前記第１学習データを用いた機械学習により前記推論器を生成する付記１２に記載のコンピュータ可読媒体。
（付記１４）
前記第１学習データでは、入力データと正解ラベルとが対応付けられており、
前記学習部の機械学習において、前記第２学習データに対する前記第１学習データの割合が設定されている付記１３に記載のコンピュータ可読媒体。
（付記１５）
前記第２学習データに対する前記第１学習データの割合を示すパラメータをαとし、
前記第１学習データでの機械学習での損失関数をＬ１とし、
前記第２学習データでの機械学習での損失関数をＬ０とした場合、
前記学習部がパラメータα、損失関数Ｌ１、及び損失関数Ｌ０に基づいて前記推論器を生成している付記１４に記載のコンピュータ可読媒体。
（付記１６）
前記学習部が、
以下の式（３）に基づいて、損失関数Ｌαを算出し、
Ｌα＝（１－α）Ｌ０＋αＬ １ ・・・（３）
前記損失関数Ｌαに基づいて、前記推論器を算出している付記１５に記載のコンピュータ可読媒体。
（付記１）
第１学習データをｎ（ｎは２以上の整数）分割することで、ｎセットの分割データを生成するデータ分割部と、
前記第１学習データから１セットの分割データを除いたデータを用いた機械学習によりｎ個の学習データ生成用推論器を生成する推論器生成部と、
前記機械学習から除かれた前記１セットの前記分割データをｎ個の前記学習データ生成用推論器にそれぞれ入力することで、第２学習データを生成する学習データ生成部と、
前記第２学習データを用いた機械学習により推論器を生成する学習部と、を備えた学習装置。
（付記２）
前記学習部が前記第１学習データを用いた機械学習により前記推論器を生成する付記１に記載の学習装置。
（付記３）
前記第１学習データでは、入力データと正解ラベルとが対応付けられており、
前記学習部の機械学習において、前記第２学習データに対する前記第１学習データの割合が設定されている付記２に記載の学習装置。
（付記４）
前記第２学習データに対する前記第１学習データの割合を示すパラメータをαとし、
前記第１学習データでの機械学習での損失関数をＬ１とし、
前記第２学習データでの機械学習での損失関数をＬ０とした場合、
前記学習部がパラメータα、損失関数Ｌ１、及び損失関数Ｌ０に基づいて前記推論器を生成している付記３に記載の学習装置。
（付記５）
前記学習部が、
以下の式（３）に基づいて、損失関数Ｌαを算出し、
Ｌα＝（１－α）Ｌ０＋αＬ １ ・・・（３）
前記損失関数Ｌαに基づいて、前記推論器を算出している付記４に記載の学習装置。
（付記６）
付記１～５のいずれか１項に記載の学習装置で生成された推論装置。
（付記７）
第１学習データをｎ（ｎは２以上の整数）分割することで、ｎセットの分割データを生成し、
前記第１学習データから１セットの分割データを除いたデータを用いた機械学習によりｎ個の学習データ生成用推論器を生成し、
前記機械学習から除かれた前記１セットの前記分割データをｎ個の前記学習データ生成用推論器にそれぞれ入力することで、第２学習データを生成し、
前記第２学習データを用いた機械学習により推論器を生成する、学習方法。
（付記８）
前記第１学習データを用いた機械学習により前記推論器を生成する付記７に記載の学習方法。
（付記９）
前記第１学習データでは、入力データと正解ラベルとが対応付けられており、
前記学習部の機械学習において、前記第２学習データに対する前記第１学習データの割合が設定されている付記８に記載の学習方法。
（付記１０）
前記第２学習データに対する前記第１学習データの割合を示すパラメータをαとし、
前記第１学習データでの機械学習での損失関数をＬ１とし、
前記第２学習データでの機械学習での損失関数をＬ０とした場合、
前記学習部がパラメータα、損失関数Ｌ１、及び損失関数Ｌ０に基づいて前記推論器を生成している付記９に記載の学習方法。
（付記１１）
前記学習部が、
以下の式（３）に基づいて、損失関数Ｌαを算出し、
Ｌα＝（１－α）Ｌ０＋αＬ １ ・・・（３）
前記損失関数Ｌαに基づいて、前記推論器を算出している付記１０に記載の学習方法。
（付記１２）
コンピュータに対して学習方法を実行させるためのプログラムが格納されたコンピュータ可読媒体であって、
前記学習方法は、
第１学習データをｎ（ｎは２以上の整数）分割することで、ｎセットの分割データを生成し、
前記第１学習データから１セットの分割データを除いたデータを用いた機械学習によりｎ個の学習データ生成用推論器を生成し、
前記機械学習から除かれた前記１セットの前記分割データをｎ個の前記学習データ生成用推論器にそれぞれ入力することで、第２学習データを生成し、
前記第２学習データを用いた機械学習により推論器を生成する、コンピュータ可読媒体。
（付記１３）
前記学習方法では、
前記第１学習データを用いた機械学習により前記推論器を生成する付記１２に記載のコンピュータ可読媒体。
（付記１４）
前記第１学習データでは、入力データと正解ラベルとが対応付けられており、
前記学習部の機械学習において、前記第２学習データに対する前記第１学習データの割合が設定されている付記１３に記載のコンピュータ可読媒体。
（付記１５）
前記第２学習データに対する前記第１学習データの割合を示すパラメータをαとし、
前記第１学習データでの機械学習での損失関数をＬ１とし、
前記第２学習データでの機械学習での損失関数をＬ０とした場合、
前記学習部がパラメータα、損失関数Ｌ１、及び損失関数Ｌ０に基づいて前記推論器を生成している付記１４に記載のコンピュータ可読媒体。
（付記１６）
前記学習部が、
以下の式（３）に基づいて、損失関数Ｌαを算出し、
Ｌα＝（１－α）Ｌ０＋αＬ １ ・・・（３）
前記損失関数Ｌαに基づいて、前記推論器を算出している付記１５に記載のコンピュータ可読媒体。
【0055】
なお、本開示は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
【符号の説明】
【0056】
Ｔ 学習データ
Ｔ１～Ｔｎ 分割データ
１２１ 学習部
１２２ 学習部
１２３ 学習部
２００ データ生成部
２２０ データ分割部
２０２－１ Ｆ１の学習部
２０２－ｎ Ｆｎの学習部
２５０ 学習データ記憶部
Ｆ１ 推論器
Ｆｎ 推論器
Ｈ 推論器
Ｔ１～Ｔｎ 分割データ
１２１ 学習部
１２２ 学習部
１２３ 学習部
２００ データ生成部
２２０ データ分割部
２０２－１ Ｆ１の学習部
２０２－ｎ Ｆｎの学習部
２５０ 学習データ記憶部
Ｆ１ 推論器
Ｆｎ 推論器
Ｈ 推論器
【図1】
【図2】
【図3】
【図4】
【図5】