知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-04
(45)【発行日】2024-03-12
(54)【発明の名称】推論装置、推論方法、及びプログラム
(51)【国際特許分類】
G06F 21/50 20130101AFI20240305BHJP
G06N 20/00 20190101ALI20240305BHJP
【ＦＩ】
G06F21/50
G06N20/00
【請求項の数】
10
(21)【出願番号】P 2023503248
(86)(22)【出願日】2020-07-22
(65)【公表番号】
(43)【公表日】2023-08-09
(86)【国際出願番号】 JP2020028498
(87)【国際公開番号】W WO2022018867
(87)【国際公開日】2022-01-27
【審査請求日】2023-01-17
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100103894
【弁理士】
【氏名又は名称】家入 健
(72)【発明者】
【氏名】土田 光
(72)【発明者】
【氏名】寺西 勇
【審査官】宮司 卓佳
(56)【参考文献】
【文献】米国特許出願公開第２０２０／００９７７６３（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０２０／００８２２７２（ＵＳ，Ａ１）
【文献】Lucas Tindall，Membership Inference Attacks On Neural Networks，Medium，2018年11月10日，https://gab41.lab41.org/membership-inference-attacks-on-neural-networks-c9dee3db67da
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ ２１／５０
Ｇ０６Ｎ ２０／００
(57)【特許請求の範囲】
【請求項1】
訓練データを用いて訓練された機械学習モデルであり、入力データに基づいて推論を行う推論器と、前記推論器に前記入力データが入力された時の推論結果を示す推論データに基づいて、前記入力データが前記訓練データであるか否かを判定する判定器と、
前記判定器において前記入力データが前記訓練データでないと判定された場合、前記推論データを出力データとして出力し、前記判定器において前記入力データが前記訓練データであると判定された場合、前記推論データと異なる代替データを出力データとして出力する出力器と、を備えた推論装置。
【請求項2】
前記推論データが複数のスコアを含むスコアベクトルで有り、前記代替データが、前記推論データと同じ次元数のスコアベクトルであり、
前記推論データと前記代替データとで、トップスコアの成分の次数が一致している請求項１に記載の推論装置。
【請求項3】
前記推論データと前記代替データとで、スコアの大小関係が維持されている請求項２に記載の推論装置。
【請求項4】
前記代替データでは、トップスコアに対して上限値が設定されている請求項２、又は３に記載の推論装置。
【請求項5】
前記代替データの成分が、乱数により得られている請求項１～４のいずれか１項に記載の推論装置。
【請求項6】
前記出力器が、前記訓練データと異なるノンメンバデータを用いて訓練された機械学習モデルを備えている請求項１～５のいずれか１項に記載の推論装置。
【請求項7】
前記判定器が、前記訓練データ、及び前記訓練データと異なるノンメンバデータを用いて訓練された機械学習モデルを備えている請求項１～６のいずれか１項に記載の推論装置。
【請求項8】
コンピュータが
訓練データを用いて訓練された機械学習モデルである推論器に入力データを入力するステップと、
前記推論器による推論結果を示す推論データを出力するように、前記推論器によって推論を行うステップと、
前記推論データに基づいて、前記入力データが前記訓練データであるか否かを判定するステップと、
前記入力データが前記訓練データでないと判定された場合、前記推論データを出力データとして出力し、前記入力データが前記訓練データであると判定された場合、前記推論データと異なる代替データを出力データとして出力するステップと、を備えた推論方法。
【請求項9】
前記推論データが複数のスコアを含むスコアベクトルで有り、前記代替データが、前記推論データと同じ次元数のスコアベクトルであり、
前記推論データと前記代替データとで、トップスコアの成分の次数が一致している請求項８に記載の推論方法。
【請求項10】
コンピュータに対して推論方法を実行させるためのプログラムであって、前記推論方法は、
訓練データを用いて訓練された機械学習モデルを用いて、入力データに基づいて推論を行うステップと、
前記機械学習モデルに前記入力データが入力された時の推論結果を示す推論データに基づいて、前記入力データが前記訓練データであるか否かを判定するステップと、
前記入力データが前記訓練データでないと判定された場合、前記推論データを出力データとして出力し、前記入力データが前記訓練データであると判定された場合、前記推論データと異なる代替データを出力データとして出力するステップと、を備えたプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、機械学習モデルを用いた推論に関する。
【背景技術】
【0002】
非特許文献１、２には、機械学習の学習済みパラメータから学習に用いた秘密情報（例：顧客情報、企業秘密など）を漏洩させるＭｅｍｂｅｒｓｈｉｐ Ｉｎｆｅｒｅｎｃｅ攻撃（ＭＩ攻撃）が知られている。例えば、非特許文献１には、推論アルゴリズムへのアクセスが可能であるとの条件下で、ＭＩ攻撃の方法が開示されている。ＭＩ攻撃は、機械学習の「過学習」という現象を利用して実行する。過学習とは学習に用いたデータに対して機械学習が過剰に適合してしまう現象の事である。過学習が原因となり推論アルゴリズムに学習に用いたデータを入力した場合とそうでないデータを入力した場合の出力の傾向が異なってしまう。ＭＩ攻撃の攻撃者はこの傾向の違いを悪用する事で、手元にあるデータが学習に用いられたものなのかそうでないのかを判別する。
【0003】
非特許文献３は、ＭＩ攻撃に耐性のある学習アルゴリズムを開示している。具体的には、非特許文献３では、任意の既知の機械学習の推論アルゴリズムｆと、ｆに入力されたデータがｆの学習に用いられたデータか否かを識別する識別器ｈを用いている。そして、それぞれのパラメータを敵対的に学習させ、推論アルゴリズムｆの推論精度と、ＭＩ攻撃に対する耐性を引き上げている。
【0004】
非特許文献４には、ＭｅｍＧｕａｒｄという方法が開示されている。この方法では、攻撃対象の推論アルゴリズムの学習済みパラメータが知られていないとの条件下でのブラックボックス攻撃に対する対策として、攻撃者の分類器を誤解させる処理を行う。
【先行技術文献】
【非特許文献】
【0005】
【文献】Reza Shokri, Marco Stronati, Congzheng Song, Vitaly Shmatikov: “Membership Inference Attacks Against Machine Learning Models ” 、IEEE Symposium on Security and Privacy 2017: 3-18、［online］、［令和2年4月9日検索］、インターネット〈URL：https://arxiv.org/pdf/1610.05820.pdf〉
【文献】Ahmed Salem, Yang Zhang, Mathias Humbert, Pascal Berrang, Mario Fritz, Michael Backes: “ML-Leaks: Model and Data Independent Membership Inference Attacks and Defenses on Machine Learning Models”、［online］、［令和2年4月9日検索］、インターネット〈URL：https://arxiv.org/abs/1806.01246〉
【文献】Milad Nasr, Reza Shokri, Amir Houmansadr、“Machine Learning with Membership Privacy using Adversarial Regularization”、［online］、［令和2年4月9日検索］、インターネット〈URL：https://arxiv.org/pdf/1807.05852.pdf〉
【文献】Jinyuan Jia, Ahmed Salem, Michael Backes, Yang Zhang, Neil Zhenqiang Gong、“MemGuard：Defending against Black-Box Membership Inference Attacks via Adversarial Examples”、［online］、［令和2年4月9日検索］、インターネット〈URL：https://arxiv.org/pdf/1909.10594.pdf〉
【発明の概要】
【発明が解決しようとする課題】
【0006】
機械学習では、学習に用いられるデータ（訓練データともいう）が顧客情報や企業秘密などの秘密情報を含んでいる場合がある。ＭＩ攻撃により、機械学習の学習済みパラメータから学習に用いた秘密情報が漏洩してしまうおそれがある。例えば、学習済みパラメータを不正に入手した攻撃者が、学習データを推測してしまうおそれがある。あるいは、学習済みパラメータが漏洩していない場合でも、攻撃者が推論アルゴリズムに何度もアクセスすることで、学習済みパラメータが予想できてしまう。そして、予想された学習済みパラメータから学習データが予測されてしまうことがある。
【0007】
非特許文献３では、精度と攻撃耐性がトレードオフとなっている。具体的には、精度と攻撃耐性のトレードオフ度合いを決めるパラメータが設定されている。したがって、精度と攻撃耐性の両方を向上することが困難であるという問題点がある。
【0008】
また、非特許文献４の方式は、推論結果にノイズを載せることで防御している。このため、防御性能に関係なく、推論結果にノイズの影響が及んでしまうという問題点がある。
【0009】
本開示の目的は、ＭＩ攻撃に対する耐性が高く、かつ推論精度の高い機械学習装置、機械学習方法、及び記録媒体を提供することである。
【課題を解決するための手段】
【0010】
本開示にかかる推論装置は、訓練データを用いて訓練された機械学習モデルであり、入力データに基づいて推論を行う推論器と、前記推論器に前記入力データが入力された時の推論結果を示す推論データに基づいて、前記入力データが前記訓練データであるか否かを判定する判定器と、前記判定器において前記入力データが前記訓練データでないと判定された場合、前記推論データを出力データとして出力し、前記判定器において前記入力データが前記訓練データであると判定された場合、前記推論データと異なる代替データを出力データとして出力する出力器と、を備えている。
【0011】
本開示にかかる推論方法は、訓練データを用いて訓練された機械学習モデルである推論器に入力データを入力するステップと、前前記推論器による推論結果を示す推論データを出力するように、前記推論器によって推論を行うステップと、前記推論データに基づいて、前記入力データが前記訓練データであるか否かを判定するステップと、前記入力データが前記訓練データでないと判定された場合、前記推論データを出力データとして出力し、前記入力データが前記訓練データであると判定された場合、前記推論データと異なる代替データを出力データとして出力するステップと、を備えている。
【0012】
本開示にかかるコンピュータ可読媒体は、コンピュータに対して推論方法を実行させるためのプログラムを格納したコンピュータ可読媒体であって、前記推論方法は、訓練データを用いて訓練された機械学習モデルを用いて、入力データに基づいて推論を行うステップと、前記機械学習モデルに前記入力データが入力された時の推論結果を示す推論データに基づいて、前記入力データが前記訓練データであるか否かを判定するステップと、前記入力データが前記訓練データでないと判定された場合、前記推論データを出力データとして出力し、前記入力データが前記訓練データであると判定された場合、前記推論データと異なる代替データを出力データとして出力するステップと、を備えている。
【発明の効果】
【0013】
本開示によれば、ＭＩ攻撃に対する耐性が高い機械学習システム、機械学習方法、及びプログラムを提供できる。
【図面の簡単な説明】
【0014】
【図1】本開示にかかる推論装置を示すブロック図である。
【図2】本実施の形態１にかかる推論装置の処理を示す図である。
【図3】本実施の形態１にかかる方法を示すフローチャートである。
【図4】手法３における推論装置の処理を説明するための図である。
【図5】手法３における機械学習方法を示すフローチャートである。
【図6】本実施の形態にかかる装置のハードウェア構成を示す図である。
【発明を実施するための形態】
【0015】
【0016】
推論器１０１は、訓練データを用いて訓練された機械学習モデルであり、入力データに基づいて推論を行う。判定器１０２は、推論器１０１に入力データが入力された時の推論結果を示す推論データに基づいて、入力データが訓練データであるか否かを判定する。判定器１０２において入力データが訓練データでないと判定された場合、出力器１０３は、推論データを出力データとして出力する。判定器１０２において入力データが訓練データであると判定された場合、出力器１０３は、推論データと異なる代替データを出力データとして出力する。
【0017】
この構成によれば、ＭＩ攻撃に対する耐性が高く、かつ推定精度の高い機械学習装置を実現することができる。
【0018】
【0019】
ユーザＵがターゲットモデルｆに入力データｘを入力して、推論装置にクエリする。ターゲットモデルｆは、入力データｘに基づいて推論を行う推論器である。ターゲットモデルｆは図１の推論器１０１に対応する。ターゲットモデルｆは、例えば、画像を分類する分類器である。入力データｘがターゲットモデルｆに入力された場合、ターゲットモデルｆは画像の分類結果を出力する。
【0020】
ターゲットモデルｆは、ＤＮＮ（Deep Neural Network）等のニューラルネットワークモデルである。ターゲットモデルｆは、畳み込みニューラルネットワーク(CNN)などを用いた推論アルゴリズムである。ターゲットモデルｆは機械学習により生成されている。つまり、ターゲットモデルｆのパラメータは、訓練データを用いた機械学習による最適化されている。ターゲットモデルｆのパラメータは、ＣＮＮの畳み込み層、プーリング層、及び全結合層の重み又はバイアス値に対応している。
【0021】
ターゲットモデルｆに入力データｘが入力された場合の出力を推論データｆ（ｘ）として示す。推論データｆ（ｘ）は、ターゲットモデルｆによる推論結果を示す。例えば、ｆ（ｘ）は、複数のスコアを含むスコアベクトルである。例えば、ｎクラス分類の場合、ｆ（ｘ）はｎ次元のベクトルとなる。ｎは２以上の整数である。なお、明細書本文中において、推論データｆ（ｘ）や後述する代替データｒ’及び出力データｓがベクトルであることを示す矢印を適宜省略する。
【0022】
推論データｆ（ｘ）のベクトル成分は、各分類結果に該当する確率（スコア）を示し、０～１の値を取る。なお、スコアベクトルであるｆ（ｘ）に含まれるｎ個の成分（要素）の中で最も大きい値の成分がトップスコアとなる。
【0023】
検知器ｄには推論データｆ（ｘ）が入力される。検知器ｄは、推論データｆ（ｘ）に基づいて、入力データｘが、訓練データであるか否かを検知する。検知器ｄは検知結果に応じた出力データｓをユーザＵに出力する。検知器ｄは、図１の判定器１０２及び出力器１０３に相当する。
【0024】
検知器ｄは、推論データｆ（ｘ）から、入力データｘが訓練データであるか否かを検知する。具体的には、検知器ｄは推論データｆ（ｘ）を入力として、検知データｄ（ｆ（ｘ））を算出する機械学習モデルとなっている。例えば、検知器ｄは、ＤＮＮ等のニューラルネットワークを用いた機械学習モデルである。検知器ｄは２値分類するモデルであれば特に限定されるものではない。
【0025】
検知器ｄは、検知結果に基づいて、出力データｓを出力する。入力データｘが訓練データでない場合、検知器ｄは、出力データｓとして推論データｆ（ｘ）を出力する。入力データｘが訓練データである場合、検知器ｄは、出力データｓとして、推論データｆ（ｘ）と異なる代替データを出力する。
【0026】
以下、本実施の形態にかかる方法について、図２とともに図３を用いて説明する。図３は、機械学習方法、及び推論方法を示すフローチャートである。ステップＳ３０１及びステップＳ３０２が機械学習方法に対応し、ステップＳ３０３～Ｓ３０６が推論方法に対応する。
【0027】
ターゲットモデルｆによる推論に先立ち、ターゲットモデルｆと検知器ｄの機械学習が行われる。まず、訓練データを用いて、ターゲットモデルｆが訓練される（Ｓ３０１）。ここでは、例えば、訓練データを用いた教師有り学習が行われる。訓練データには、正解ラベル（教師信号、教師データともいう）が対応付けられている。推論結果が正解ラベルに一致するように、ターゲットモデルｆのパラメータが最適化されていく。
【0028】
次に、検知器ｄが訓練される（Ｓ３０２）。例えば、ターゲットモデルｆと、メンバデータと、ノンメンバデータとを用いて、検知器ｄの機械学習が行われる。メンバデータはＳ３０１において、ターゲットモデルｆに訓練に用いられた訓練データである。ノンメンバデータは、ターゲットモデルｆの訓練に用いられていないデータである。
【0029】
検知器ｄは、入力された信頼度（confidence score）に基づいて、２値分類を行う。検知器ｄは、メンバデータに対するスコアなのか、ノンメンバデータに対するスコアなのかを分類する。例えば、メンバデータでは、過学習の結果、ｆ（ｘ）のトップスコアが極めて１に近くなる。ノンメンバデータでは、メンバデータでの場合と比べて、ｆ（ｘ）のトップスコアが小さくなる。よって、検知器ｄは、推論データｆ（ｘ）のトップスコアが極めて１に近いとき、入力データｘをメンバデータとして検知することができる。具体的には、非特許文献３のＡｔｔａｃｋ Ｃｌａｓｓｉｆｉｅｒの訓練手法と同様の方法を用いて、検知器ｄの訓練を行うことができる。
【0030】
検知器ｄの訓練では、メンバデータ及びノンメンバデータが無作為に選択されて、ターゲットモデルｆに入力される。ターゲットモデルｆの推論データｆ（ｘ）が、検知器ｄに入力される。検知器ｄの機械学習は、教師有り学習とすることができる。推論データｆ（ｘ）には、正解ラベルが対応付けている。正解ラベルは、ｘがメンバデータかノンメンバデータかを示す２値とすることができる。具体的には、ｘがメンバデータの場合、正解ラベルは０となり、ｘがノンメンバデータの場合、正解ラベルが１となる。検知器ｄの検知結果が正解ラベルに一致するように、検知器ｄのパラメータが最適化されていく。
【0031】
このように、検知器ｄは機械学習により生成された機械学習モデルとなる。検知器ｄのパラメータは、メンバデータ及びノンメンバデータを用いた教師有り学習に学習されている。検知器ｄのパラメータは、ＣＮＮの畳み込み層、プーリング層、及び全結合層の重み又はバイアス値に対応している。ターゲットモデルｆのパラメータはステップＳ３０１で決定されているため、ステップＳ３０２での検知器ｄの機械学習では、変化しない。つまり、ターゲットモデルｆのパラメータを固定したまま、検知器ｄの機械学習が行われる。
【0032】
上記のようにして、ターゲットモデルｆと検知器ｄに対する機械学習方法が実施される。ターゲットモデルｆと検知器ｄに対する機械学習が完了したら、ターゲットモデルｆを用いた推論を行う。
【0033】
ユーザＵは、入力データｘを推論装置１００に入力する（Ｓ３０３）。推論装置１００のユーザＵからは、ターゲットモデルｆ、及び検知器ｄは認識できなくなっている。つまり、入力データｘをクエリしたユーザＵは、出力データｓのみを受けとる。
【0034】
クエリされた入力データｘは、ターゲットモデルｆに入力される。ターゲットモデルｆは入力データｘに基づいて、推論を行う（Ｓ３０４）。ターゲットモデルｆは、推論結果を示す推論データｆ（ｘ）を、検知器ｄに出力する。
【0035】
検知器ｄは推論データｆ（ｘ）に基づいて、入力データｘが訓練データであるか否かを検知する（Ｓ３０５）。訓練データは、上記の通り、ターゲットモデルｆの訓練に用いられたメンバデータである。
【0036】
検知器ｄに推論データｆ（ｘ）を入力した時の出力を検知データｄ（ｆ（ｘ））とする。検知器ｄは検知データｄ（ｆ（ｘ））を算出する。検知器ｄは検知データｄ（ｆ（ｘ））に基づいて、推論データｆ（ｘ）から入力データｘがメンバデータであるか、ノンメンバデータであるかを推論する。検知データｄ（ｆ（ｘ））は、以下の式（１）のように０～１の値を取る。
【数1】
【0037】
検知データｄ（ｆ（ｘ））が１に近いほど、ｘがノンメンバデータである可能性が高い。検知データｄ（ｆ（ｘ））が０に近いほど、ｘがメンバデータである可能性が高い。入力データｘが訓練データ（メンバデータ）である否かを判定するための閾値をｋとする。ｋは例えばハイパーパラメータである。検知器ｄは、ｄ（ｆ（ｘ））がｋ以上の場合、ｘがノンメンバデータであると判定する。検知器ｄは、ｄ（ｆ（ｘ））がｋ未満の場合、ｘがメンバデータであると判定する。このように、検知器ｄは、閾値ｋを用いて２値分類を行っている。
【0038】
検知器ｄは、判定結果に基づいて、出力データｓを出力する（Ｓ３０６）。ｘがノンメンバデータである場合、検知器ｄは、出力データｓとして推論データｆ（ｘ）を出力する。ｘがメンバデータである場合、検知器ｄは、出力データｓとして代替データｒ’を出力する。検知器ｄは検知結果に応じて、出力データｓをユーザに返す。出力データｓは以下の式（２）で示される。
【数2】
【0039】
（手法１）
代替データｒ’を求める手法１について説明する。ターゲットモデルｆがｎクラス分類を行う推論モデルであると仮定する。推論データｆ（ｘ）がスコアベクトルとすると、推論データｆ（ｘ）を以下の（３）のように示される。
代替データｒ’を求める手法１について説明する。ターゲットモデルｆがｎクラス分類を行う推論モデルであると仮定する。推論データｆ（ｘ）がスコアベクトルとすると、推論データｆ（ｘ）を以下の（３）のように示される。
【数3】
【0040】
ｉは１以上ｎ以下の任意の整数である。スコアｆｉは、０～１の値を取る。式（３）のように、スコアｆｉの総和が１となる。以下、推論データｆ（ｘ）において、ｆ１をベクトルの第１成分、ｆｎをベクトルの第ｎ成分とする。スコアｆｉが大きい順に添え字をｉ１，ｉ２，・・・ｉｎとする。つまり、以下の式（４）が成り立つ。
【数4】
【0041】
推論データｆ（ｘ）において、ｆｉ１が最も大きいスコアを有する成分となる、ｆｉ２が２番目に大きいスコアを有する成分となる。ｆｉｎがｎ番目に大きいスコアを有する成分となる。つまり、ｆｉｎは最も小さいスコアを有する成分となる。
【0042】
検知器ｄは、ｎ個の乱数ｒ１、・・・ｒｎを生成する。なお、乱数ｒ１、・・・ｒｎはランダムに生成された非負の値となる。式（５）のように、ｎ個の乱数ｒ１、・・・ｒｎの総和をｍとする。
【数5】
【0043】
代替データｒ’は、推論データｆ（ｘ）と同じ次元数のベクトルである。つまり、代替データｒ’は推論データｆ（ｘ）と同様に、ｎ次元ベクトルとなっている。代替データｒ’のベクトルを（ｒ’１、・・・ｒ’ｎ）と示す場合、代替データｒ’の成分ｒ’１～ｒ’ｎは以下の式（６）で示すことができる。
【数6】
【0044】
検知器ｄは、推論データｆ（ｘ）のスコアの大小関係に応じて、ｎ個の乱数（ｒ１，・・・，ｒｎ）を並び替えている。代替データｒ’のスコアの大小関係が、推論データｆ（ｘ）のスコアの大小関係と一致するように具体的には、検知器ｄは、ｉｊによって、スコアの大小関係を維持しつつ、ｍによってスコアの総和が１となるようにしている。推論データｆ（ｘ）と、代替データｒ’とは、同じ次元数のスコアベクトルとなっている。代替データｒ’の各成分は各クラスの信頼度(スコア)を示す。
【0045】
推論データｆ（ｘ）と、代替データｒ’とで、ｎ個の全成分のスコアの大小関係が維持されている。推論データｆ（ｘ）のベクトルのスコアの大きさの順番が、代替データｒ’のベクトルのスコアの大きさの順番と同じとなっている。つまり、推論データｆ（ｘ）に含まれる成分ｆ１～ｆｎの大きさの順番が、代替データｒ’に含まれる成分ｒ’１～ｒ’ｎの大きさの順番と同じとなっている。
【0046】
例えば、推論データｆ（ｘ）の全成分のうち、最もスコアが大きい成分が第ｌ成分（ｌは１以上ｎ以下の任意の整数）の場合、代替データｒ’の全成分のうち最もスコアが大きい成分が第ｌ成分となる。一般化すると、推論データｆ（ｘ）の全成分のうち、ｐ（ｐは１以上ｎ以下の任意の整数）番目に大きいスコアの成分が第ｌ成分の場合、代替データｒ’の全成分のうちｐ番目に大きいスコアの成分が第ｌ成分となる。
【0047】
入力データｘが訓練データである場合、検知器ｄが代替データｒ’を出力データｓとして出力している。したがって、ターゲットモデルｆのパラメータを推測する形態のＭＩ攻撃を行う攻撃者にとって、任意データから訓練データに関する有意な情報を取り出すことは困難となる。その結果、攻撃者によるターゲットモデルｆのパラメータの推測を困難化させることができる。ＭＩ攻撃に対する耐性を改善することができる。
【0048】
さらに、推論装置１００が高い精度で推論を行うことができる。入力データｘがノンメンバデータである場合、推論装置１００は、推論データｆ（ｘ）を出力データｓとして出力する。入力データｘがメンバデータである場合、推論装置１００は、代替データｒ’を出力データｓとして出力する。推論データｆ（ｘ）と、代替データｒ’との間、スコアの大小関係が維持されている。このため、入力データｘがメンバデータであっても、スコアのひずみやラベルロスを抑制することができる。したがって、推論精度の低下を抑制することができる。
【0049】
上記の説明では、推論データｆ（ｘ）と代替データｒ’において、ｎ個全ての成分の大小関係が維持されているが、本実施の形態は、これに限られるものではない。例えば、推論データｆ（ｘ）と代替データｒ’において、ｎ個のうちの一部の成分の大小関係が維持されていればよい。例えば、推論データｆ（ｘ）と代替データｒ’において、トップスコアの成分の次数（次元）が一致していればよい。推論データｆ（ｘ）、及び代替データｒ’においても、最もスコアが大きい成分が第ｌ成分となっていればよい。
【0050】
また、代替データｒ’において、スコアに上限が定められていてもよい。例えば、乱数により得られた代替データｒ’の成分ｒ’ｉ１が所定の上限値よりも大きい場合、異なる乱数を発生させて代替データｒ’の成分とすれば良い。
【0051】
ターゲットモデルｆ及び検知器ｄは敵対的正則化に用いられるわけではない。よって、簡便にターゲットモデルｆと検知器ｄのパラメータを機械学習により得ることができる。機械学習は、さらに、ターゲットモデルｆのパラメータを求めるステップＳ３０１と、検知器ｄのパラメータを求めるステップＳ３０２のみでよいため、推論装置１００を簡便に生成することができる。例えば、ノンメンバデータが入力された場合の出力データと、メンバデータが入力された場合の出力データとを識別できなくなるようにする防御器を機械学習で生成する必要がなくなる。よって、本実施の形態の方法により、簡便に推論装置を生成することができる。
【0052】
また、上記の説明では、検知器ｄが機械学習モデルとなっていたが、検知器ｄは機械学習モデルに限られるものではない。つまり、上記の実施の形態では、機械学習モデルを用いて、入力データｘが訓練データか否かを判定していたが、この判定は機械学習モデルを用いる方法に限定されるものではない。例えば、メンバデータでは、推論データｆ（ｘ）のトップスコアが極めて１に近くなるので、検知器ｄが単にトップスコアと閾値とを比較することで、判定を行うことができる。この場合、全ての訓練データを用いて、ターゲットモデルｆを訓練することができる。よって、ターゲットモデルｆの推論精度を高くすることができる。
【0053】
上記の手法１では、代替データｒ’が乱数により求められているが、他の手法により求めることも可能である。以下、代替データｒ’を求める他の手法について説明する。
【0054】
（手法２）
手法２は、ターゲットモデルｆに対して敵対的正則化（Adversarial Regularization）を行った代替データ計算モデルｆ’を用いる方法である。具体的には、敵対的サンプルを用いて、ターゲットモデルｆを正則化することで、代替データ計算モデルｆ’を生成する。代替データ計算モデルｆ’は機械学習により生成された機械学習モデルである。ｘを代替データ計算モデルｆ’に入力すると、代替データ計算モデルｆ’は代替データｆ’（ｘ）を出力する。ｘがメンバデータである場合、検知器ｄは、代替データｆ’（ｘ）をｒ’として返す。
手法２は、ターゲットモデルｆに対して敵対的正則化（Adversarial Regularization）を行った代替データ計算モデルｆ’を用いる方法である。具体的には、敵対的サンプルを用いて、ターゲットモデルｆを正則化することで、代替データ計算モデルｆ’を生成する。代替データ計算モデルｆ’は機械学習により生成された機械学習モデルである。ｘを代替データ計算モデルｆ’に入力すると、代替データ計算モデルｆ’は代替データｆ’（ｘ）を出力する。ｘがメンバデータである場合、検知器ｄは、代替データｆ’（ｘ）をｒ’として返す。
【0055】
敵対的正則化により過学習を防ぐことができる。よって、推論時に推論装置１００に訓練データが入力された場合、代替データ計算モデルｆ’で算出された代替データｆ’（ｘ）が出力データｓとして出力される。これにより、ターゲットモデルｆのパラメータを推測する形態のＭＩ攻撃を行う攻撃者が、任意データから訓練データに関する有意な情報を取り出すことは困難となる。
【0056】
代替データ計算モデルｆ’は、ターゲットモデルｆの訓練に用いられていないノンメンバデータを用いて訓練されていてもよい。代替データ計算モデルｆ’は、ターゲットモデルｆの訓練に用いられたメンバデータを用いて訓練されていてもよい。さらに、代替データ計算モデルｆ’はノンメンバデータとメンバデータの両方を用いて訓練されていてもよい。なお、代替データ計算モデルｆ’は図１の出力器１０３に格納されていてもよい。
【0057】
（手法３）
手法３では、非特許文献４に開示されたＭｅｍＧｕａｒｄという方法が用いられる。ＭｅｍＧｕａｒｄをターゲットモデルｆに対して実現する。具体的には、ターゲットモデルｆの推論データｆ（ｘ）に対してノイズが加えられる。スコアベクトルに対してノイズベクトルが加えられる。ノイズについては、非特許文献４に詳述してるため、説明を省略する。
手法３では、非特許文献４に開示されたＭｅｍＧｕａｒｄという方法が用いられる。ＭｅｍＧｕａｒｄをターゲットモデルｆに対して実現する。具体的には、ターゲットモデルｆの推論データｆ（ｘ）に対してノイズが加えられる。スコアベクトルに対してノイズベクトルが加えられる。ノイズについては、非特許文献４に詳述してるため、説明を省略する。
【0058】
（手法４）
手法４では、代替データ計算モデルＨが代替データｒ’を生成している。図４に示すように、推論装置１００は、ターゲットモデルｆと代替データ計算モデルＨを有している。ターゲットモデルｆと代替データ計算モデルＨがそれぞれ推論器となる。代替データ計算モデルＨはターゲットモデルｆと異なる機械学習モデルである。例えば、代替データ計算モデルＨには、ターゲットモデルｆと異なるパラメータなどが設定されている。
手法４では、代替データ計算モデルＨが代替データｒ’を生成している。図４に示すように、推論装置１００は、ターゲットモデルｆと代替データ計算モデルＨを有している。ターゲットモデルｆと代替データ計算モデルＨがそれぞれ推論器となる。代替データ計算モデルＨはターゲットモデルｆと異なる機械学習モデルである。例えば、代替データ計算モデルＨには、ターゲットモデルｆと異なるパラメータなどが設定されている。
【0059】
代替データ計算モデルＨは、入力データｘに基づいて推論を行う推論アルゴリズムである。代替データ計算モデルＨに入力データｘが入力されると、代替データ計算モデルＨは推論結果を示す推論データＨ（ｘ）を出力する。推論データＨ（ｘ）は上記の代替データｒ’に対応する。
【0060】
代替データ計算モデルＨは、ターゲットモデルｆの訓練に用いられていないノンメンバデータを用いて訓練されていてもよい。代替データ計算モデルＨは、モデルｆの訓練に用いられたメンバデータを用いて訓練されていてもよい。さらに、モデルＨはノンメンバデータとメンバデータの両方を用いて訓練されていてもよい。
【0061】
検知器ｄは、ターゲットモデルｆの推論データｆ（ｘ）から、入力データｘがメンバデータかノンメンバデータであるかを検知する。入力データｘがノンメンバデータである場合、検知器ｄは、推論データｆ（ｘ）を出力データｓとして出力する。入力データｘがメンバデータである場合、検知器ｄは、推論データＨ（ｘ）を出力データｓとして出力する。このように、検知器ｄの検知結果に応じて、推論器を切替えることが可能である。なお、代替データ計算モデルＨは図１の出力器１０３に格納されていてもよい。
【0062】
手法４における機械学習方法について、図５を用い説明する。図５は、機械学習方法を示すフローチャートである。まず、機械学習によって、ターゲットモデルｆが訓練される（Ｓ５０１）。ここでは、ステップＳ３０１と同様に訓練データを用いて教師有り学習を行うことができる。これにより、ターゲットモデルｆのパラメータが最適化される。
【0063】
次に、機械学習によって、代替データ計算モデルＨが訓練される（Ｓ５０２）。ここでは、Ｓ５０１の訓練データと異なるデータを用いて、代替データ計算モデルＨのパラメータが最適化される。つまり、代替データ計算モデルＨはノンメンバデータを用いて訓練される。Ｓ５０１と同様に教師有り学習によって、代替データ計算モデルＨが生成される。
【0064】
機械学習によって、検知器ｄが訓練される（Ｓ５０３）。例えば、ターゲットモデルｆと、メンバデータと、ノンメンバデータとを用いて、検知器ｄの機械学習が行われる。検知器ｄは図１の判定器１０２に格納されていてもよい。このステップＳ５０３は、ステップＳ３０２と同様であるため説明を省略する。これにより、図４に示す推論装置１００が生成される。
【0065】
（手法５）
手法５では、ｆ（ｘ）の成分について上限値を決めている。そして、上限値を超える成分については、検知器ｄが成分の値を修正している。例えば、上限値を０．９とすることができる。推論データｆ（ｚ）が上限値を超える成分ｆｉ１を含む場合、検知器ｄは、成分ｆｉ１を上限値を超えない値に修正する。手法５は、上記の手法と組み合わせ用いることも可能である。例えば、検知器ｄは、乱数により成分ｆｉ１を決定することができる。
手法５では、ｆ（ｘ）の成分について上限値を決めている。そして、上限値を超える成分については、検知器ｄが成分の値を修正している。例えば、上限値を０．９とすることができる。推論データｆ（ｚ）が上限値を超える成分ｆｉ１を含む場合、検知器ｄは、成分ｆｉ１を上限値を超えない値に修正する。手法５は、上記の手法と組み合わせ用いることも可能である。例えば、検知器ｄは、乱数により成分ｆｉ１を決定することができる。
【0066】
また、代替データｒ’を求める手法については、上記の手法を適宜組み合わせても良い。代替データｒ’を求める手法については上記の手法に限られるものではない。既存の防御手法と検知器ｄとを適宜組み合わせて用いることが可能である。
【0067】
上記の実施形態において、推論装置はそれぞれコンピュータプログラムで実現可能である。つまり、推論器、判定器、出力器、ターゲットモデル、検知器などはそれぞれコンピュータプログラムで実現可能である。また、推論器、判定器、出力器は、物理的に単一な装置となっていなくてもよく、複数のコンピュータに分散されていてもよい。
【0068】
次に、実施の形態にかかる推論装置や機械学習装置のハードウェア構成について説明する。図６は、装置６００のハードウェア構成の一例を示すブロック図である。図６に示すように、装置６００は例えば、少なくとも一つのメモリ６０１、少なくとも一つのプロセッサ６０２，及びネットワークインタフェース６０３を含む。
【0069】
ネットワークインタフェース６０３は、有線又は無線のネットワークを介して他の装置と通信するために使用される。ネットワークインタフェース６０３は、例えば、ネットワークインタフェースカード（ＮＩＣ）を含んでもよい。装置６００は、ネットワークインタフェース６０３を介して、データの送受信を行う。装置６００は、ネットワークインタフェースを介して、入力データｘを取得してもよい。
【0070】
メモリ６０１は、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。メモリ６０１は、プロセッサ６０２から離れて配置されたストレージを含んでもよい。この場合、プロセッサ６０２は、図示されていない入出力インタフェースを介してメモリ６０１にアクセスしてもよい。
【0071】
メモリ６０１は、プロセッサ６０２により実行される、１以上の命令を含むソフトウェア（コンピュータプログラム）などを格納するために使用される。メモリ６０１は、機械学習モデルである推論器１０１やターゲットモデルｆを格納していてもよい。メモリ６０１は、判定器１０２、出力器１０３、検知器ｄ等を格納していてもよい。
【0072】
また、装置６００が機械学習モデルを生成する機械学習装置として機能することもできる。この場合、装置６００は、訓練前の機械学習モデルをメモリ６０１に格納している。そして、装置６００は、機械学習モデルに訓練データを入力して機械学習を行うことで、機械学習モデルのパラメータを更新する。装置６００は、機械学習モデルのパラメータなどをメモリ６０１に格納する。
【0073】
上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【0074】
なお、本開示は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
【符号の説明】
【0075】
１００ 推論装置
１０１ 推論器
１０２ 判定器
１０３ 出力器
６００ 装置
６０１ メモリ
６０２ プロセッサ
６０３ ネットワークインタフェース
ｆ ターゲットモデル
ｄ 検知器
１０１ 推論器
１０２ 判定器
１０３ 出力器
６００ 装置
６０１ メモリ
６０２ プロセッサ
６０３ ネットワークインタフェース
ｆ ターゲットモデル
ｄ 検知器
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】