知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-04-30
(45)【発行日】2024-05-10
(54)【発明の名称】機械学習システム、機械学習方法、推論装置、及びプログラム
(51)【国際特許分類】
G06N 20/00 20190101AFI20240501BHJP
【ＦＩ】
G06N20/00 130
【請求項の数】
10
(21)【出願番号】P 2023507534
(86)(22)【出願日】2020-08-19
(65)【公表番号】
(43)【公表日】2023-08-30
(86)【国際出願番号】 JP2020031237
(87)【国際公開番号】W WO2022038704
(87)【国際公開日】2022-02-24
【審査請求日】2023-02-02
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100103894
【弁理士】
【氏名又は名称】家入 健
(72)【発明者】
【氏名】寺西 勇
【審査官】牛丸 太希
(56)【参考文献】
【文献】米国特許出願公開第２０２０／０１４３０７９（ＵＳ，Ａ１）
【文献】米国特許第１０２２５２７７（ＵＳ，Ｂ１）
【文献】Milad Nasr ほか，Machine Learning with Membership Privacy using Adversarial Regularization，ACM DIGITAL LIBRARY [online]，2018年，頁634-646，[検索日 2023.12.25], インターネット＜URL:https://dl.acm.org/doi/10.1145/3243734.3243855＞
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ２０／００
(57)【特許請求の範囲】
【請求項1】
正解ラベル付きの第１のデータ集合を訓練データとして用いて機械学習を行うことで、学習モデルのパラメータθを学習する第１学習フェーズと、
前記第１のデータ集合に含まれるメンバデータ、及び第２のデータ集合に含まれるノン
メンバデータを用いて機械学習を行うことで、防御器のパラメータτと、識別器のパラメ
ータωを学習する第２学習フェーズとを備え、
前記第２学習フェーズにおいて、
前記メンバデータ又は前記ノンメンバデータがランダムに入力データとして選択され、
前記メンバデータ又は前記ノンメンバデータが前記入力データとして前記学習モデルに
入力されたときに、前記学習モデルは第１出力結果を出力し、
前記防御器は前記第１出力結果を修正して、第２出力結果を出力し、
前記識別器は、前記第１出力結果又は前記第２出力結果に基づいて、前記入力データが
メンバデータであるか前記ノンメンバデータであるかを識別した識別結果を出力し、
前記第２学習フェーズは、
前記第１出力結果と前記第２出力結果を前記識別器に入力した時の前記識別結果とを用
いて、前記識別器の前記パラメータωを更新する第１ステップと、
前記第１出力結果と前記第２出力結果と前記識別結果とを用いて、前記防御器ｕの前記
パラメータτを更新する第２ステップと、
を交互に行う、機械学習方法。
【請求項2】
前記第１ステップでは、前記入力データが前記ノンメンバデータであるときに、前記入力データ、前記正解ラベ
ル、及び前記第１出力結果に基づいて、前記識別器が前記識別結果を出力し、
前記入力データが前記メンバデータであるときに、前記入力データ、前記正解ラベル、
及び前記第２出力結果に基づいて、前記識別器が前記識別結果を出力する請求項１に記載
の機械学習方法。
【請求項3】
前記第１ステップでは、前記識別器が、前記入力データが前記ノンメンバデータであるときの前記第１出力結果及び前記入力データが前記メンバデータであるときの前記第２出
力結果から正しい識別結果を出力するように前記パラメータωが更新され、
前記第２ステップでは、前記入力データが前記ノンメンバデータである時の前記第１出
力結果と前記第２出力結果との損失関数に基づいて、前記パラメータτが更新される請求
項１、又は２に記載の機械学習方法。
【請求項4】
前記第２ステップでは、前記入力データが前記メンバデータである時に、前記識別器が、前記入力データが前記ノンメンバデータであると識別するように、前記パラメータτを
更新する請求項３に記載の機械学習方法。
【請求項5】
第１学習フェーズにおいて、正解ラベル付きの第１のデータ集合を訓練データとして用いて機械学習を行うことで、学習モデルのパラメータθを学習するパラメータ学習部と、
第２学習フェーズにおいて、前記第１のデータ集合に含まれるメンバデータ、及び第２
のデータ集合に含まれるノンメンバデータを用いて機械学習を行うことで、防御器ｕのパ
ラメータτの第１パラメータ更新部と、
前記第２学習フェーズにおいて、前記第１のデータ集合に含まれるメンバデータ、及び
第２のデータ集合に含まれるノンメンバデータを用いて機械学習を行うことで、識別器の
パラメータωを学習する第２パラメータ更新部と、を備え、
前記第２学習フェーズにおいて、
前記メンバデータ又は前記ノンメンバデータがランダムに入力データとして選択され、
前記メンバデータ又は前記ノンメンバデータが前記入力データとして前記学習モデルに
入力されたときに、前記学習モデルは第１出力結果を出力し、
前記防御器は前記第１出力結果を修正して、第２出力結果を出力し、
前記識別器は、前記第１出力結果又は前記第２出力結果に基づいて、前記入力データが
メンバデータであるか前記ノンメンバデータであるかを識別した識別結果を出力し、
前記第２学習フェーズは、
前記第１出力結果と前記第２出力結果を前記識別器に入力した時の前記識別結果とを用
いて、前記識別器の前記パラメータωを更新する第１ステップと、
前記第１出力結果と前記第２出力結果と前記識別結果とを用いて、前記防御器ｕの前記
パラメータτを更新する第２ステップと、
を交互に行う、機械学習システム。
【請求項6】
前記第１ステップでは、前記入力データが前記ノンメンバデータであるときに、前記入力データ、前記正解ラベ
ル、及び前記第１出力結果に基づいて、前記識別器が前記識別結果を出力し、
前記入力データが前記メンバデータであるときに、前記入力データ、前記正解ラベル、
及び前記第２出力結果に基づいて、前記識別器が前記識別結果を出力する請求項５に記載
の機械学習システム。
【請求項7】
前記第１ステップでは、前記識別器が、前記入力データが前記ノンメンバデータであるときの前記第１出力結果及び前記入力データが前記メンバデータであるときの前記第２出
力結果から正しい識別結果を出力するように前記パラメータωが更新され、
前記第２ステップでは、前記入力データが前記ノンメンバデータである時の前記第１出
力結果と前記第２出力結果との損失関数に基づいて、前記パラメータτが更新される請求
項５、又は６に記載の機械学習システム。
【請求項8】
前記第２ステップでは、前記入力データが前記メンバデータである時に、前記識別器が、前記入力データが前記ノンメンバデータであると識別するように、前記パラメータτを
更新する請求項７に記載の機械学習システム。
【請求項9】
コンピュータに対して機械学習方法を実行させるためのプログラムであって、前記機械学習方法は、
正解ラベル付きの第１のデータ集合を訓練データとして用いて機械学習を行うことで、
学習モデルのパラメータθを学習する第１学習フェーズと、
前記第１のデータ集合に含まれるメンバデータ、及び第２のデータ集合に含まれるノン
メンバデータを用いて機械学習を行うことで、防御器のパラメータτと、識別器のパラメ
ータωを学習する第２学習フェーズとを備え、
前記第２学習フェーズにおいて、
前記メンバデータ又は前記ノンメンバデータがランダムに入力データとして選択され、
前記メンバデータ又は前記ノンメンバデータが前記入力データとして前記学習モデルに
入力されたときに、前記学習モデルは第１出力結果を出力し、
前記防御器は前記第１出力結果を修正して、第２出力結果を出力し、
前記識別器は、前記第１出力結果又は前記第２出力結果に基づいて、前記入力データが
メンバデータであるか前記ノンメンバデータであるかを識別した識別結果を出力し、
前記第２学習フェーズは、
前記第１出力結果と前記第２出力結果を前記識別器に入力した時の前記識別結果とを用
いて、前記識別器の前記パラメータωを更新する第１ステップと、
前記第１出力結果と前記第２出力結果と前記識別結果とを用いて、前記防御器ｕの前記
パラメータτを更新する第２ステップと、
を交互に行う、プログラム。
【請求項10】
パラメータθを用いて推論を行う機械学習モデルである推論器と、パラメータτを用いて、前記推論器の推論結果を示す第１出力結果を修正して、第２出
力結果を出力する機械学習モデルである防御器と、を備えた推論装置であって、
前記推論器のパラメータは、正解ラベル付きの第１のデータ集合を訓練データとして用
いて機械学習を行う第１学習フェーズで学習されており、
前記防御器ｕのパラメータτと識別器ｈのパラメータωは、前記第１のデータ集合に含
まれるメンバデータ、及び第２のデータ集合に含まれるノンメンバデータを用いて機械学
習を行う第２学習フェーズで学習されており、
前記第２学習フェーズにおいて、
前記メンバデータ又は前記ノンメンバデータがランダムに入力データとして選択され、
前記メンバデータ又は前記ノンメンバデータが前記入力データとして前記学習モデルに
入力されたときに、前記学習モデルは第１出力結果を出力し、
前記防御器は前記第１出力結果を修正して、第２出力結果を出力し、
前記識別器は、前記第１出力結果又は前記第２出力結果に基づいて、前記入力データが
メンバデータであるか前記ノンメンバデータであるかを識別した識別結果を出力し、
前記第２学習フェーズでは、
前記第１出力結果と前記第２出力結果を前記識別器に入力した時の前記識別結果とを用
いて、前記識別器の前記パラメータωを更新する第１ステップと、
前記第１出力結果と前記第２出力結果と前記識別結果とを用いて、前記防御器ｕの前記
パラメータτを更新する第２ステップと、
が交互に行われている、推論装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、機械学習に関する。
【背景技術】
【0002】
非特許文献１、２には、機械学習の学習済みパラメータから学習に用いた秘密情報（例：顧客情報、企業秘密など）を漏洩させるＭｅｍｂｅｒｓｈｉｐ Ｉｎｆｅｒｅｎｃｅ攻撃（ＭＩ攻撃）が知られている。例えば、非特許文献１には、推論アルゴリズムへのアクセスが可能であるとの条件下で、ＭＩ攻撃の方法が開示されている。ＭＩ攻撃は、機械学習の「過学習」という現象を利用して実行する。過学習とは学習に用いたデータに対して機械学習が過剰に適合してしまう現象の事である。過学習が原因となり推論アルゴリズムの入力に学習に用いたデータを入力した場合とそうでないデータを入力した場合の出力の傾向が異なってしまう。ＭＩ攻撃の攻撃者はこの傾向の違いを悪用する事で、手元にあるデータが学習に用いられたものなのかそうでないのかを判別する。
【0003】
非特許文献３は、ＭＩ攻撃に耐性のある学習アルゴリズムを開示している。具体的には、非特許文献３では、任意の既知の機械学習の推論アルゴリズムｆと、ｆに入力されたデータがｆの学習に用いられたデータか否かを識別する識別器ｈを用いている。そして、それぞれのパラメータを敵対的に学習させ、推論アルゴリズムｆの推論精度と、ＭＩ攻撃に対する耐性を引き上げている。
【0004】
非特許文献４には、ＭｅｍＧｕａｒｄという方法が開示されている。この方法では、攻撃対象の推論アルゴリズムの学習済みパラメータが知られていないとの条件下でのブラックボックス攻撃に対する対策として、攻撃者の分類器を誤解させる処理を行う。
【先行技術文献】
【非特許文献】
【0005】
【文献】Reza Shokri, Marco Stronati, Congzheng Song, Vitaly Shmatikov: “Membership Inference Attacks Against Machine Learning Models ” 、IEEE Symposium on Security and Privacy 2017: 3-18、［online］、［令和2年4月9日検索］、インターネット〈URL：https://arxiv.org/pdf/1610.05820.pdf〉
【文献】Ahmed Salem, Yang Zhang, Mathias Humbert, Pascal Berrang, Mario Fritz, Michael Backes: “ML-Leaks: Model and Data Independent Membership Inference Attacks and Defenses on Machine Learning Models”、［online］、［令和2年4月9日検索］、インターネット〈URL：https://arxiv.org/abs/1806.01246〉
【文献】Milad Nasr, Reza Shokri, Amir Houmansadr、“Machine Learning with Membership Privacy using Adversarial Regularization”、［online］、［令和2年4月9日検索］、インターネット〈URL：https://arxiv.org/pdf/1807.05852.pdf〉
【文献】Jinyuan Jia, Ahmed Salem, Michael Backes, Yang Zhang, Neil Zhenqiang Gong、“MemGuard： Defending against Black-Box Membership Inference Attacks via Adversarial Examples”、［online］、［令和2年4月9日検索］、インターネット〈URL：https://arxiv.org/pdf/1909.10594.pdf〉
【発明の概要】
【発明が解決しようとする課題】
【0006】
機械学習では、学習に用いられるデータ（訓練データともいう）が顧客情報や企業秘密などの秘密情報を含んでいる場合がある。ＭＩ攻撃により、機械学習の学習済みパラメータから学習に用いた秘密情報が漏洩してしまうおそれがある。例えば、学習済みパラメータを不正に入手した攻撃者が、学習データを推測してしまうおそれがある。あるいは、学習済みパラメータが漏洩していない場合でも、攻撃者が推論アルゴリズムに何度もアクセスすることで、学習済みパラメータが予想できてしまう。そして、予想された学習済みパラメータから学習データが予測されてしまうことがある。
【0007】
非特許文献３では、精度と攻撃耐性がトレードオフとなっている。具体的には、精度と攻撃耐性のトレードオフ度合いを決めるパラメータが設定されている。したがって、精度と攻撃耐性の両方を向上することが困難であるという問題点がある。
【0008】
また、非特許文献４の方式は、推論結果にノイズを載せることで防御している。このため、防御性能に関係なく、推論結果にノイズの影響が及んでしまうという問題点がある。
【0009】
本開示の目的は、ＭＩ攻撃に対する耐性が高く、かつ精度の高い機械学習システム、機械学習方法、及び記録媒体を提供することである。
【課題を解決するための手段】
【0010】
本開示にかかる機械学習方法は、正解ラベル付きの第１のデータ集合を訓練データとして用いて機械学習を行うことで、学習モデルのパラメータθを学習する第１学習フェーズと、前記第１のデータ集合に含まれるメンバデータ、及び第２のデータ集合に含まれるノンメンバデータを用いて機械学習を行うことで、防御器のパラメータτと、識別器のパラメータωを学習する第２学習フェーズとを備え、前記第２学習フェーズにおいて、前記メンバデータ又は前記ノンメンバデータがランダムに前記入力データとして選択され、前記メンバデータ又は前記ノンメンバデータが前記入力データとして前記学習モデルに入力されたときに、前記学習モデルは第１出力結果を出力し、前記防御器は前記第１出力結果を修正して、第２出力結果を出力し、前記識別器は、前記第１出力結果又は前記第２出力結果に基づいて、前記入力データがメンバデータであるか前記ノンメンバデータであるかを識別した識別結果を出力し、前記第２学習フェーズは、前記第１出力結果と前記第２出力結果を前記識別器に入力した時の前記識別結果とを用いて、前記識別器の前記パラメータωを更新する第１ステップと、前記第１出力結果と前記第２出力結果と前記識別結果とを用いて、前記防御器ｕの前記パラメータτを更新する第２ステップと、を交互に行う。
【0011】
本開示にかかる機械学習システムは、第１学習フェーズにおいて、第１のデータ集合を訓練データとして用いて機械学習を行うことで、学習モデルのパラメータθを学習するパラメータ学習部と、第２学習フェーズにおいて、前記第１のデータ集合に含まれるメンバデータ、及び第２のデータ集合に含まれるノンメンバデータを用いて機械学習を行うことで、防御器ｕのパラメータτの第１パラメータ更新部と、前記第２学習フェーズにおいて、前記第１のデータ集合に含まれるメンバデータ、及び第２のデータ集合に含まれるノンメンバデータを用いて機械学習を行うことで、識別器のパラメータωを学習する第２パラメータ更新部と、を備え、前記第２学習フェーズにおいて、前記メンバデータ又は前記ノンメンバデータがランダムに前記入力データとして選択され、前記メンバデータ又は前記ノンメンバデータが前記入力データとして前記学習モデルに入力されたときに、前記学習モデルは第１出力結果を出力し、前記防御器は前記第１出力結果を修正して、第２出力結果を出力し、前記識別器は、前記第１出力結果又は前記第２出力結果に基づいて、前記入力データがメンバデータであるか前記ノンメンバデータであるかを識別した識別結果を出力し、前記第２学習フェーズは、前記第１出力結果と前記第２出力結果を前記識別器に入力した時の前記識別結果とを用いて、前記識別器の前記パラメータωを更新する第１ステップと、前記第１出力結果と前記第２出力結果と前記識別結果とを用いて、前記防御器ｕの前記パラメータτを更新する第２ステップと、を交互に行う。
【0012】
本開示にかかるコンピュータ可読媒体は、コンピュータに対して機械学習方法を実行させるためのプログラムが格納された非一時的なコンピュータ可読媒体であって、前記機械学習方法は、正解ラベル付きの第１のデータ集合を訓練データとして用いて機械学習を行うことで、学習モデルのパラメータθを学習する第１学習フェーズと、前記第１のデータ集合に含まれるメンバデータ、及び第２のデータ集合に含まれるノンメンバデータを用いて機械学習を行うことで、防御器のパラメータτと、識別器のパラメータωを学習する第２学習フェーズとを備え、前記第２学習フェーズにおいて、前記メンバデータ又は前記ノンメンバデータがランダムに前記入力データとして選択され、前記メンバデータ又は前記ノンメンバデータが前記入力データとして前記学習モデルに入力されたときに、前記学習モデルは第１出力結果を出力し、前記防御器は前記第１出力結果を修正して、第２出力結果を出力し、前記識別器は、前記第１出力結果又は前記第２出力結果に基づいて、前記入力データがメンバデータであるか前記ノンメンバデータであるかを識別した識別結果を出力し、前記第２学習フェーズは、前記第１出力結果と前記第２出力結果を前記識別器に入力した時の前記識別結果とを用いて、前記識別器の前記パラメータωを更新する第１ステップと、前記第１出力結果と前記第２出力結果と前記識別結果とを用いて、前記防御器ｕの前記パラメータτを更新する第２ステップと、を交互に行う。
【0013】
本開示にかかる推論装置は、パラメータθを用いて推論を行う機械学習モデルである推論器と、パラメータτを用いて、前記推論器の推論結果を示す第１出力結果を修正して、第２出力結果を出力する機械学習モデルである防御器と、を備えた推論装置であって、前記推論器のパラメータは、正解ラベル付きの第１のデータ集合を訓練データとして用いて機械学習を行う第１学習フェーズで学習されており、前記防御器ｕのパラメータτと識別器ｈのパラメータωは、前記第１のデータ集合に含まれるメンバデータ、及び第２のデータ集合に含まれるノンメンバデータを用いて機械学習を行う第２学習フェーズで学習されており、前記第２学習フェーズにおいて、前記メンバデータ又は前記ノンメンバデータがランダムに前記入力データとして選択され、前記メンバデータ又は前記ノンメンバデータが前記入力データとして前記学習モデルに入力されたときに、前記学習モデルは第１出力結果を出力し、前記防御器は前記第１出力結果を修正して、第２出力結果を出力し、前記識別器は、前記第１出力結果又は前記第２出力結果に基づいて、前記入力データがメンバデータであるか前記ノンメンバデータであるかを識別した識別結果を出力し、前記第２学習フェーズでは、前記第１出力結果と前記第２出力結果を前記識別器に入力した時の前記識別結果とを用いて、前記識別器の前記パラメータωを更新する第１ステップと、前記第１出力結果と前記第２出力結果と前記識別結果とを用いて、前記防御器ｕの前記パラメータτを更新する第２ステップと、が交互に行われている。
【発明の効果】
【0014】
本開示によれば、ＭＩ攻撃に対する耐性が高く、かつ精度の高い機械学習システム、機械学習方法、機械学習モデル、及び記録媒体を提供できる。
【図面の簡単な説明】
【0015】
【図1】本開示にかかる機械学習方法を示すフローチャートである。
【図2】本開示にかかる機械学習方法の第２学習フェーズを示すフローチャートである。
【図3】本実施の形態１にかかる機械学習システムでの推論時の処理を説明するための図である。
【図4】本実施の形態１にかかる機械学習方法の学習時の処理を説明するための図である。
【図5】推論器による推論精度を説明するための図である。
【図6】防御器処理が行われた場合の推論精度を説明するための図である。
【図7】本実施の形態にかかる装置のハードウェア構成を示す図である。
【発明を実施するための形態】
【0016】
【0017】
まず、第１の学習フェーズとして、正解ラベル付きの第１のデータ集合を学習用データとして用いて機械学習を行うことで、学習モデルｆのパラメータθを学習する（Ｓ１０１）。次に、第２の学習フェーズとして、第１のデータ集合に含まれるメンバデータ、及び第２のデータ集合に含まれるノンメンバデータを用いて機械学習を行うことで、防御器ｕのパラメータτと、識別器ｈのパラメータωを学習する（Ｓ１０２）。
【0018】
第２学習フェーズにおいて、前記メンバデータ又は前記ノンメンバデータを入力データとして前記学習モデルｆに入力したときに、前記学習モデルｆは第１出力結果を出力する。前記防御器ｕは前記第１出力結果を修正して、第２出力結果を出力する。前記識別器ｈは、前記第１出力結果又は前記第２出力結果に基づいて、前記入力データがメンバデータであるか前記ノンメンバデータであるかを識別した識別結果を出力する。
【0019】
前記第２学習フェーズは、第１ステップＳ２０１と第２ステップＳ２０２とを有している。第２学習フェーズでは、機械学習が完了するまで、第１ステップＳ２０１と第２ステップＳ２０２、を交互に行う（Ｓ２０３）。
【0020】
第１ステップＳ２０１では、前記第１出力結果と前記第２出力結果を前記識別器ｈに入力した時の前記識別結果とを用いて、前記識別器の前記パラメータωが更新される。第２ステップＳ２０２では、前記第１出力結果と前記第２出力結果と前記識別結果とを用いて、前記防御器ｕの前記パラメータτが更新される。
【0021】
上記の方法によれば、ＭＩ攻撃に対する耐性が高く、かつ精度の高い機械学習を実現することができる。
【0022】
実施の形態１．
実施の形態１にかかる機械学習について、図３を参照して説明する。図３は、学習モデルｆ、及び防御器ｕを用いた推論フェーズを示す図である。学習モデルｆ，及び防御器ｕは、本実施の形態にかかる機械学習により生成された機械学習モデルである。学習モデルｆ，及び防御器ｕは、機械学習モデルを用いた推論装置として機能する。
実施の形態１にかかる機械学習について、図３を参照して説明する。図３は、学習モデルｆ、及び防御器ｕを用いた推論フェーズを示す図である。学習モデルｆ，及び防御器ｕは、本実施の形態にかかる機械学習により生成された機械学習モデルである。学習モデルｆ，及び防御器ｕは、機械学習モデルを用いた推論装置として機能する。
【0023】
推論フェーズに先立って、学習モデルｆのパラメータθ、及び防御器ｕのパラメータτが，機械学習により学習されている。学習モデルｆの訓練に用いられた訓練データをメンバデータとする。学習モデルｆの訓練に用いられていないデータをノンメンバデータとする。学習モデルｆのパラメータθ、及び防御器ｕのパラメータτの機械学習については後述する。
【0024】
学習モデルｆは対象データに基づいて推論を行う推論器である。学習モデルｆには、推論の対象データが入力されると、対象データに関する推論結果を出力する。学習モデルｆの推論結果を第１出力結果Ｆともいう。学習モデルｆは例えば、画像分類を行う分類器とすることができる。この場合、学習モデルｆが各クラスに該当する確率を示すスコアベクトルを出力する。学習モデルｆから出力された第１出力結果Ｆは、防御器ｕに入力される。また、防御器ｕには、対象データが入力されていてもよい。
【0025】
防御器ｕは、第１出力結果Ｆを修正して、修正結果を第２出力結果Ｐとして出力する。防御器ｕは、メンバデータに対する学習モデルｆの第１出力結果Ｆと、ノンメンバデータに対する学習モデルｆの第１出力結果Ｆと、の区別がつかないように、第１出力結果Ｆを修正する。つまり、防御器ｕは第１出力結果Ｆに対して、防御処理を施す。防御器ｕは防御処理済みの推論結果を第２出力結果Ｐとして出力する。
【0026】
上記の通り、防御器ｕから出力される第２出力結果Ｐは、防御処理が施された推論結果となっている。ＭＩ攻撃の攻撃者が学習モデルｆに任意のデータを入力したとしても、秘密情報が漏洩することを防ぐことができる。学習モデルｆのパラメータθを推測する形態の攻撃を行う攻撃者にとって、任意データから訓練データに関する有意な情報を取り出すことは困難となる。最終的には、攻撃者による学習モデルｆのパラメータθやメンバデータ（訓練データ）の推測を困難化させることができる。よって、ＭＩ攻撃に対する耐性を向上することができる。
【0027】
図４を参照して、機械学習システムにより機械学習方法について説明する。図４は、機械学習システム４００による機械学習方法を説明するための図である。機械学習システム４００は、学習モデルｆのパラメータθ、防御器ｕのパラメータτ、識別器ｈのパラメータωを学習する。機械学習システム４００は、学習モデルｆ、パラメータ学習部４０１、データ選択部４０２，防御器ｕ更新部４０３，及び識別器ｈ更新部４０４を備えている。
【0028】
学習モデルｆは、畳み込みニューラルネットワーク(CNN)などを用いた機械学習アルゴリズムである。学習モデルｆのパラメータθは、ＣＮＮの畳み込み層、プーリング層、及び全結合層の重み又はバイアス値に対応している。同様に、防御器ｕ、識別器ｈは、それぞれ畳み込みニューラルネットワーク(CNN)などを用いた機械学習アルゴリズムである。防御器ｕのパラメータτ、識別器ｈのパラメータωは、ＣＮＮの畳み込み層、プーリング層、及び全結合層の重み又はバイアス値に対応している。
【0029】
【0030】
［第１学習フェーズ］
第１学習フェーズでは、図４に示すように、パラメータ学習部４０１が、訓練データＳ１を用いて、学習モデルｆのパラメータθの機械学習を行う。上記の通り、訓練データＳ１が学習モデルｆの訓練に用いられたメンバデータとなる。
第１学習フェーズでは、図４に示すように、パラメータ学習部４０１が、訓練データＳ１を用いて、学習モデルｆのパラメータθの機械学習を行う。上記の通り、訓練データＳ１が学習モデルｆの訓練に用いられたメンバデータとなる。
【0031】
ここでは、パラメータ学習部４０１が、学習モデルｆに対して教師有り学習を行っている。訓練データＳ１には、正解ラベル（教師ラベル、教師信号、教師データともいう）が対応付けられている。つまり、訓練データＳ１には、事前に正解ラベル（以下単に、ラベルともいう）が付されている。例えば、学習モデルｆが画像分類を行う分類器の場合、ラベルは分類結果を示すデータとなる。ここでの学習モデルｆのパラメータθの学習では、ＭＩ攻撃に対する防御性能は考慮しなくてよい。このため、訓練データＳ１を用いた精度を追求することができる。よって、推論精度を向上することができる。
【0032】
具体的には、第１学習フェーズにおいては、ラベルを用いて、学習モデルｆに教師有り学習が施される。学習モデルｆの推論結果がラベルに一致するように、パラメータ学習部４０１がパラメータθを最適化する。例えば、推論結果を示す第１出力結果Ｆと、ラベルyとの損失関数を小さくするように機械学習が行われる。学習モデルｆの学習が終了すると、パラメータ学習部４０１は、学習モデルｆのパラメータθをメモリなどに格納する。
【0033】
［第２学習フェーズ］
学習第２フェーズでは、データ選択部４０２が、訓練データＳ１と、訓練データＳ０とのいずれかからランダムな選択を行う。訓練データＳ０は訓練データＳ１とは異なるデータである。訓練データＳ１は、学習モデルｆの訓練に用いられたメンバデータとなる。訓練データＳ０は、学習モデルｆの訓練に用いられていないノンメンバデータとなる。
学習第２フェーズでは、データ選択部４０２が、訓練データＳ１と、訓練データＳ０とのいずれかからランダムな選択を行う。訓練データＳ０は訓練データＳ１とは異なるデータである。訓練データＳ１は、学習モデルｆの訓練に用いられたメンバデータとなる。訓練データＳ０は、学習モデルｆの訓練に用いられていないノンメンバデータとなる。
【0034】
複数の訓練データＳ１のデータ集合を第１データ集合Ｍとし、複数の訓練データＳ０のデータ集合を第２データ集合Ｎとする。第１データ集合Ｍは，複数の訓練データＳ１を含んでいる。第２データ集合Ｎは、複数の訓練データＳ０を含んでいる。データ選択部４０２は、第１データ集合Ｍ、及び第２データ集合Ｎの中から、データをランダムに選択する。データ選択部４０２で選択されたデータｘ（以下、選択データｘともいう）が第２学習フェーズでの学習に用いられる。つまり、第２学習フェーズにおいて、選択データｘが学習モデルｆに入力される入力データとなる。
【0035】
機械学習システム４００は２つの学習モデルｆを備えている。学習モデルｆは、第１学習フェーズで生成された機械学習モデルである。学習モデルｆには、第１学習フェーズで学習されたパラメータθが設定されている。したがって、２つの学習モデルｆは、同一の機械学習モデルであり、同じパラメータθを有している。
【0036】
２つの学習モデルｆには、選択データｘが入力される。それぞれの学習モデルｆは選択データｘに基づいて推論を行う。それぞれの学習モデルｆは推論結果を第１出力結果として出力する。選択データｘを学習モデルｆに入力した時のそれぞれの学習モデルｆの出力を第１出力結果Ｆ（ｘ）と示す。
【0037】
一方の学習モデルｆからの第１出力結果Ｆ（ｘ）が防御器ｕ更新部４０３に入力される。防御器ｕ更新部４０３は、防御器ｕのパラメータτを更新する。また、防御器ｕ更新部４０３は、第２出力結果を識別器ｈ更新部４０４に出力する。選択データｘ、及び第１出力結果Ｆ（ｘ）を防御器ｕに入力した時の防御器ｕの出力を第２出力結果Ｐ（ｘ，Ｆ（ｘ））として示す。防御器ｕは、選択データｘに基づいて第１出力結果Ｆ（ｘ）を修正して、第２出力結果Ｐ（ｘ，Ｆ（ｘ））を算出する。第２出力結果Ｐ（ｘ，Ｆ（ｘ））は防御器ｕによる防御処理済みの推論結果である。
【0038】
他方の学習モデルｆからの第１出力結果Ｆ（ｘ）は、識別器ｈ更新部４０４に入力される。識別器ｈ更新部４０４は、識別器ｈのパラメータωを更新する。データ選択部４０２は、選択データｘ、及びラベルｙを識別器ｈ更新部４０４に出力する。ラベルｙは上記の通り、選択データｘに付された正解ラベルで有る。
【0039】
識別器ｈ更新部４０４は、識別器ｈの識別結果Ｄを防御器ｕ更新部４０３に出力する。識別結果Ｄは、選択データｘ、ラベルｙ、第１出力結果Ｆ（ｘ）、及び第２出力結果Ｐ（ｘ，Ｆ（ｘ））に基づいて算出される。識別結果Ｄは選択データｘが訓練データＳ１か訓練データＳ０かを示すデータであり、０～１の値を取る。例えば、選択データｘが訓練データＳ１の場合、識別結果Ｄは０に近くなり、選択データｘが訓練データＳ０の場合、識別結果Ｄは１に近くなる。
【0040】
識別器ｈ更新部４０４は、選択データｘ、ラベルｙ、第１出力結果Ｆ（ｘ）、第２出力結果Ｐ（ｘ，Ｆ（ｘ））、識別結果Ｄに基づいて、識別器ｈのパラメータωを更新する。防御器ｕ更新部４０３は、識別結果Ｄ、選択データｘ、第１出力結果Ｆ（ｘ）、第２出力結果Ｐ（ｘ，Ｆ（ｘ））に基づいて、防御器ｕのパラメータτを更新する。
【0041】
第２学習フェーズでは以下の第１ステップＳＴ１と第２ステップＳＴ２とが交互に実行される。なお、第１ステップＳＴ１、及び第２ステップＳＴ２において、データ選択部４０２は、訓練データＳ１又は訓練データＳ０がランダムに選択データｘを選択する。選択データｘが学習モデルｆに入力される。
【0042】
（第１ステップＳＴ１）
第１ステップＳＴ１は図２の第１ステップＳ２０１に対応している。データ選択部４０２が、第２データ集合Ｎの中からｍ（ｍは１以上の整数）個の選択データｘとそのラベルｙの組（ｘ１’，ｙ１’），・・・（ｘｍ’，ｙｍ’）をランダムに選択する。
第１ステップＳＴ１は図２の第１ステップＳ２０１に対応している。データ選択部４０２が、第２データ集合Ｎの中からｍ（ｍは１以上の整数）個の選択データｘとそのラベルｙの組（ｘ１’，ｙ１’），・・・（ｘｍ’，ｙｍ’）をランダムに選択する。
【0043】
次に、データ選択部４０２が第１データ集合Ｍからｍ個の選択データとそのラベルｙの組（ｘ１，ｙ１），・・・（ｘｍ，ｙｍ）をランダム選択する。第１ステップＳＴ１では、データ選択部４０２が、第１データ集合Ｍ、及び第２データ集合Ｎの中から同数のデータを選択する。
【0044】
以下の式（１）が大きくなる方向に、識別器ｈ更新部４０４が識別器ｈのパラメータωを更新する。識別器ｈ更新部４０４が確率的勾配を上昇させることで、パラメータωを更新する。なお、以下の式（１）、及び式（２）の∇（ナブラ）は成分毎の微分を表す。
【数1】
【0045】
このように、識別器ｈ更新部４０４が、選択データｘが訓練データＳ１である場合の識別結果Ｄと選択データｘが訓練データＳ１である場合の識別結果Ｄとの違いが大きくなるように、識別器ｈのパラメータωを更新する。識別器ｈ更新部４０４は、識別器ｈが正しい識別結果Ｄを出力するように、パラメータωを更新する。
【0046】
具体的には、識別器ｈ更新部４０４は第１出力結果と第２出力結果と正解ラベルｙとを用いて、識別器ｈのパラメータωを更新する。選択データｘが訓練データＳ０であるときの第１出力結果Ｆ（ｘｉ’）、及び、選択データｘが訓練データＳ１であるときの第２出力結果Ｐ（ｘｉ，Ｆ（ｘｉ））から識別器ｈが正しい識別結果を出力するように、識別器ｈ更新部４０４はパラメータωを更新する。
【0047】
（第２ステップＳＴ１）
第２ステップＳＴ２は図２の第２ステップＳ２０２に対応している。データ選択部４０２が、第２データ集合Ｎの中からｎ（ｎは１以上の整数）個の選択データｘとそのラベルｙの組（ｘ１’，ｙ１’），・・・（ｘｎ’，ｙｎ’）をランダムに選択する。
第２ステップＳＴ２は図２の第２ステップＳ２０２に対応している。データ選択部４０２が、第２データ集合Ｎの中からｎ（ｎは１以上の整数）個の選択データｘとそのラベルｙの組（ｘ１’，ｙ１’），・・・（ｘｎ’，ｙｎ’）をランダムに選択する。
【0048】
次に、データ選択部４０２が第１データ集合Ｍからｔ（ｔは１以上の整数）個の選択データとそのラベルｙの組（ｘ１，ｙ１），・・・（ｘｔ，ｙｔ）をランダム選択する。ここで、ｔとｎは等しい値であってもよく、異なる値であってもよい。
【0049】
以下の式（２）が小さくなる方向に、防御器ｕ更新部４０３が防御器ｕのパラメータτを更新する。防御器ｕ更新部４０３が確率的勾配を下降させることで、パラメータτを更新する。
【数2】
【0050】
なお、Ｌは第２出力結果Ｐ（ｘｊ’，Ｆ（ｘｊ’）と第１出力結果Ｆ（ｘｊ’）との間の損失関数である。ξは事前に設定されたパラメータであるが、非特許文献３のλと異なり精度及び安全性のトレードオフではない。
【0051】
選択データｘが訓練データＳ０である場合に、第２出力結果Ｐ（ｘｊ’，Ｆ（ｘｊ’）と第１出力結果Ｆ（ｘｊ’）との違いが小さくなるように、防御器ｕ更新部４０３がパラメータτを更新する。具体的には、選択データｘが訓練データＳ０である時の第２出力結果Ｐ（ｘｊ’，Ｆ（ｘｊ’））と第１出力結果Ｆ（ｘｊ’）との損失関数Lに基づいて、防御器ｕ更新部４０３がパラメータτを更新する。
【0052】
防御器ｕ更新部４０３は、識別器ｈが誤った識別結果を出力するように、パラメータτを更新する。具体的には、選択データｘが訓練データＳ１である時に、識別器ｈが、選択データｘが訓練データＳ０であると識別するように、防御器ｕ更新部４０３がパラメータτを更新する。
【0053】
そして、第１ステップＳＴ１と第２ステップＳＴ２とが繰り返し行われる。つまり、機械学習システム４００は、第１ステップＳＴ１と第２ステップＳＴ２とを交互に実行する。ここでは、第１ステップＳＴ１と第２ステップＳＴ２がバッチ処理となっている。機械学習システム４００は、第１ステップＳＴ１と第２ステップＳＴ２とをそれぞれ所定の回数だけ繰り返し行って、パラメータωとパラメータτを交互に更新する。
【0054】
防御器ｕ更新部４０３と識別器ｈ更新部４０４とは、パラメータτ、及びパラメータωを交互に更新する。パラメータωとパラメータτのそれぞれの更新が収束すると機械学習が終了する。そして、機械学習が終了すると、識別器ｈと防御器ｕが生成される。このようにして生成された防御器ｕが図３に示す防御器ｕとなり、推論フェーズで用いられる。
【0055】
実施の形態では、防御器ｕ更新部４０３と識別器ｈ更新部４０４とは、いわゆる敵対的学習を行って、それぞれパラメータτ、及びパラメータωを更新する。ステップＳＴ１とステップＳＴ２を繰り返し交互に行うことで、識別器ｈの識別性能と防御器ｕの防御性能が徐々に向上していく。防御器ｕ経由の第２出力結果Ｐと、防御器ｕを経由しない第１出力結果Ｆとの区別を困難とするような高い防御性能を持つ防御器ｕが得られる。すなわち、識別器ｈが、選択データｘが訓練データＳ１か訓練データＳ０かを識別することが困難になるように、防御器ｕが第１出力結果Ｆに対して防御処理を行う。よって、ＭＩ攻撃に対する耐性を向上することができる。
【0056】
さらに、防御器ｕを設けた場合でも、高い推論精度を維持することができる。この点について図５，図６を用いて説明する．図５は、学習モデルｆでの推論結果の推論精度を示す図である。図６は防御器ｕ経由の推論結果の推論精度を示す図である。
【0057】
第１学習フェーズでは、学習モデルｆが教師有り学習で構築されている。よって、図５に示すように、訓練データＳ１に対する推論精度を高くすることができる。換言すると、過学習により、入力データが訓練データＳ１の時の推論精度は、入力データが訓練データＳ１以外のデータの時の推論精度に比べて極めて高くなる。したがって、学習モデルｆでは、推論精度とＭＩ攻撃に対する耐性がトレードオフの関係となる。
【0058】
第２学習フェーズでは、訓練データＳ０に対する推論精度は維持したまま、訓練データＳ１に対する推論精度を下げるように、防御器ｕのパラメータτが更新される。従って、図６に示すように、過学習により極めて高くなった推論精度を下げることができる。また、訓練データＳ０は訓練データＳ１とは異なるデータであるため、推論精度とＭＩ攻撃に対する耐性がトレードオフの関係とならない。
【0059】
第１ステップでは、入力データがノンメンバデータである場合、識別器ｈが入力データ、正解ラベル、及び第１出力結果に基づいて、識別結果を出力する。第１ステップでは、入力データがメンバデータである場合、識別器ｈが入力データ、正解ラベル、及び第２出力結果に基づいて、識別結果を出力する。従って、効率よく機械学習を実行することができる。
【0060】
第１ステップでは、入力データがノンメンバデータであるとき、識別器ｈが第１出力結果から正しい識別結果を出力し、かつ、入力データがメンバデータであるとき、第２の結果から識別結果を出力するように、パラメータωが更新される。第２ステップでは、入力データがノンメンバデータであるとき、パラメータτが、第１出力結果と第２出力結果との間の損失関数に基づいて更新される。従って、効率よく機械学習を実行することができる。
【0061】
第２ステップでは、入力データがメンバデータであるとき、識別器が入力データをノンメンバデータと識別するように、パラメータτが更新される。従って、効率よく機械学習を実行することができる。
【0062】
防御器ｕを敵対的学習により生成している。防御器ｕ付きの学習モデルｆを機械学習モデルとしても用いることができる。推論精度が高く、かつＭＩ攻撃に対する耐性の高い機械学習モデルを実現することができる。
【0063】
上記の実施形態において、機械学習システムのそれぞれの要素はそれぞれコンピュータプログラムで実現可能である。つまり、学習モデルｆ、防御器ｕ、識別器ｈ、更新部等はそれぞれコンピュータプログラムで実現可能である。また、学習モデルｆ、防御器ｕ、識別器ｈ、更新部は、物理的に単一な装置となっていなくてもよく、複数のコンピュータに分散されていてもよい。
【0064】
次に、実施の形態にかかる機械学習システムのハードウェア構成について説明する。図７は、機械学習システム７００のハードウェア構成の一例を示すブロック図である。図６に示すように、機械学習システム７００は例えば、少なくとも一つのメモリ７０１、少なくとも一つのプロセッサ７０２，及びネットワークインタフェース７０３を含む。
【0065】
ネットワークインタフェース７０３は、有線又は無線のネットワークを介して他の装置と通信するために使用される。ネットワークインタフェース７０３は、例えば、ネットワークインタフェースカード（ＮＩＣ）を含んでもよい。機械学習システム７００は、ネットワークインタフェース７０３を介して、データの送受信を行う。機械学習システム７００は、ネットワークインタフェースを介して、選択データｘ及びラベルｙを取得してもよい。
【0066】
メモリ７０１は、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。メモリ７０１は、プロセッサ７０２から離れて配置されたストレージを含んでもよい。この場合、プロセッサ７０２は、図示されていない入出力インタフェースを介してメモリ７０１にアクセスしてもよい。
【0067】
メモリ７０１は、プロセッサ７０２により実行される、１以上の命令を含むソフトウェア（コンピュータプログラム）などを格納するために使用される。メモリ７０１は、学習モデルｆや防御器ｕを格納していてもよい。つまり、メモリ７０１は学習モデルｆと防御器ｕとを備えた機械学習モデルを格納していてもよい。
【0068】
上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【0069】
なお、本開示は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
【符号の説明】
【0070】
ｆ 学習モデル
ｕ 防御器
ｈ 識別器
４０１ パラメータ学習部
４０２ データ選択部
４０３ 防御器ｕ更新部
４０４ 識別器ｈ更新部
７０１ メモリ
７０２ プロセッサ
７０３ ネットワークインタフェース
ｕ 防御器
ｈ 識別器
４０１ パラメータ学習部
４０２ データ選択部
４０３ 防御器ｕ更新部
４０４ 識別器ｈ更新部
７０１ メモリ
７０２ プロセッサ
７０３ ネットワークインタフェース
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】