知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-04-22
(45)【発行日】2024-05-01
(54)【発明の名称】機械学習システム、クライアント、機械学習方法及びプログラム
(51)【国際特許分類】
G06N 20/00 20190101AFI20240423BHJP
【ＦＩ】
G06N20/00
【請求項の数】
8
(21)【出願番号】P 2022530388
(86)(22)【出願日】2020-06-09
(86)【国際出願番号】 JP2020022633
(87)【国際公開番号】W WO2021250767
(87)【国際公開日】2021-12-16
【審査請求日】2022-12-08
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100080816
【弁理士】
【氏名又は名称】加藤 朝道
(74)【代理人】
【識別番号】100098648
【弁理士】
【氏名又は名称】内田 潔人
(72)【発明者】
【氏名】土田 光
【審査官】北川 純次
(56)【参考文献】
【文献】米国特許出願公開第２０１９／０２２８３３８（ＵＳ，Ａ１）
【文献】MELIS, Luca et al.，Exploiting Unintended Feature Leakage in Collaborative Learning，arXiv [online]，v3，2018年11月01日，pp. 1-16，[検索日 2023.12.19], インターネット<URL: https://arxiv.org/pdf/1805.04049.pdf>
【文献】JIA, Jinyuan et al.，AttriGuard: A Practical Defense Against Attribute Inference Attacks via Adversarial Machine Learning，arXiv [online]，v2，2020年04月13日，pp. 1-17，[検索日 2023.12.19], インターネット<URL: https://arxiv.org/pdf/1805.04810.pdf>
【文献】NASR, Milad et al.，Machine Learning with Membership Privacy using Adversarial Regularization，arXiv [online]，v1，2018年07月16日，pp. 1-14，[検索日 2023.12.19], インターネット<URL: https://arxiv.org/pdf/1807.05852.pdf>
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ２０／００
Ｇ０６Ｎ ３／０２ － ３／１０
(57)【特許請求の範囲】
【請求項1】
協調学習によってクライアントと、勾配情報を含むモデル更新パラメータを授受し、対象モデルを訓練する協調学習部を備えるサーバと接続可能であり、入力データの性質に関する教師ラベルを付した第２の訓練データにおける前記対象モデルの勾配情報を計算し、該勾配情報を用いて、前記勾配情報から入力データの性質を推論する分類モデルを訓練する性質分類モデル訓練部と、
前記対象モデルに対応する損失関数に、訓練後の前記分類モデルに前記勾配情報を入力して得られた推論結果を正則化項として加算した目的関数を減少する勾配を計算して、前記対象モデルの前記勾配情報を計算し、前記サーバに前記勾配情報を送信する対象モデル訓練部と、を備え、
前記分類モデルが推論する入力データの性質は、クライアント毎に設定可能であることを特徴とするクライアント。
【請求項2】
前記対象モデル訓練部は、前記対象モデルに対応する損失関数と、前記分類モデルに前記勾配情報を入力して得られたゲインを用いた正則化項とにより、勾配情報を計算する請求項１のクライアント。
【請求項3】
前記対象モデル訓練部は、前記分類モデルの出力から、前記勾配情報に対応するデータが、前記クライアント毎に設定可能な性質を持つデータであるか否かを判定する識別器を備え、前記識別器の出力を最大化するよう前記識別器を訓練し、前記訓練後の前記識別器の出力を正則化項に用いて対象モデルを訓練する請求項１又は２のクライアント。
【請求項4】
さらに、入力データが対象モデルのパラメータに与える感度を表す影響関数を計算する影響関数計算部を備え、前記対象モデル訓練部は、前記影響関数を正則化項に用いて対象モデルを訓練する請求項１ないし３いずれか一のクライアント。
【請求項5】
前記影響関数は、前記対象モデルのパラメータをθ、前記対象モデルの学習に入力データｘを用いなかったときのパラメータをθ－ｘとしたとき、次式（４）で規定される、請求項４のクライアント。
【数1】
【請求項6】
協調学習によってクライアントと勾配情報を含むモデル更新パラメータを授受し、対象モデルを訓練する協調学習部を備えるサーバと、入力データの性質に関する教師ラベルを付した第２の訓練データにおける前記対象モデルの勾配情報を計算し、該勾配情報を用いて、前記勾配情報から入力データの性質を推論する分類モデルを訓練する性質分類モデル訓練部と、
前記対象モデルに対応する損失関数に、訓練後の前記分類モデルに前記勾配情報を入力して得られた推論結果を正則化項として加算した目的関数を減少する勾配を計算して、前記対象モデルの前記勾配情報を計算し、前記サーバに前記勾配情報を送信する対象モデル訓練部と、を備え、
前記分類モデルが推論する入力データの性質は、クライアント毎に設定可能である複数のクライアントと、を含む、
機械学習システム。
【請求項7】
協調学習によってクライアントと、勾配情報を含むモデル更新パラメータを授受し、対象モデルを訓練する協調学習部を備えるサーバと接続可能なクライアントが、入力データの性質に関する教師ラベルを付した第２の訓練データにおける前記対象モデルの勾配情報を計算し、該勾配情報を用いて、前記勾配情報から入力データの性質を推論する分類モデルを訓練し、
前記対象モデルに対応する損失関数に、訓練後の前記分類モデルに前記勾配情報を入力して得られた推論結果を正則化項として加算した目的関数を減少する勾配を計算して、前記対象モデルの前記勾配情報を計算し、前記サーバに前記勾配情報を送信し、
前記分類モデルが推論する入力データの性質は、クライアント毎に設定可能であることを特徴とする、
機械学習方法。
【請求項8】
協調学習によってクライアントと、勾配情報を含むモデル更新パラメータを授受し、対象モデルを訓練する協調学習部を備えるサーバと接続可能なクライアントを構成するコンピュータに、入力データの性質に関する教師ラベルを付した第２の訓練データにおける前記対象モデルの勾配情報を計算し、該勾配情報を用いて、前記勾配情報から入力データの性質を推論する分類モデルを訓練する処理と、
前記対象モデルに対応する損失関数に、訓練後の前記分類モデルに前記勾配情報を入力して得られた推論結果を正則化項として加算した目的関数を減少する勾配を計算して、前記対象モデルの前記勾配情報を計算し、前記サーバに前記勾配情報を送信する処理とを、前記コンピュータに実行させるプログラムであって、
前記分類モデルが推論する入力データの性質は、クライアント毎に設定可能であるプログラムを記録したコンピュータ記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、機械学習システム、クライアント、機械学習方法及びプログラムに関する。
【背景技術】
【0002】
近年、クライアント側で機械学習を行って、サーバがこれらのクライアントからモデル更新パラメータを受け取ってニューラルネットワークのモデルを更新するＦｅｄｅｒａｔｅｄ Ｌｅａｒｎｉｎｇ（以下、「協調学習」）という機械学習の形態が注目されている。協調学習は、単一のノードに、訓練データを集める必要がないため、プライバシーの保護やデータ通信量の削減を図ることができるとされている。ここで、モデル更新パラメータは、ニューラルネットワークのモデル（以下、「対象モデル」）を更新するためのパラメータであり、以下、勾配情報と呼ぶ。
【0003】
特許文献１には、上記した協調学習型の機械学習を行う構成が開示されている。ここで、特許文献１の「更新量」が上記したモデル更新パラメータ（勾配情報）に相当する。また特許文献２には、同一の構成を有する一群の動作装置を適切に制御することが可能な汎用的学習済モデルを生成することができるという汎用学習済モデルの生成方法が開示されている。
【0004】
非特許文献１には、上記した協調学習において、学習モデル（対象モデル）が各クライアントに戻った際に、悪意のあるクライアントが差分を計算して、勾配を利用することで、他のクライアントに対し攻撃を行い、意図せぬプライバシー侵害が生じうることが指摘されている。非特許文献１では、上記攻撃に対する防御手法として、共有する勾配を減らす（Ｓｈａｒｉｎｇ ｆｅｗｅｒ ｇｒａｄｉｅｎｔｓ）、次元削減（Ｄｉｍｅｎｓｉｏｎａｌｉｔｙ ｒｅｄｕｃｔｉｏｎ）、Ｄｒｏｐｏｕｔ、ＤＰ－ｎｏｉｓｅ（Ｐａｒｔｉｃｉｐａｎｔ－ｌｅｖｅｌ ｄｉｆｆｅｒｅｎｔｉａｌ ｐｒｉｖａｃｙ）を提案している（非特許文献１の８ Ｄｅｆｅｎｓｅｓの項参照）。
【0005】
その他、学習モデル（対象モデル）に対するＭＩ（Ｍｅｍｂｅｒｓｈｉｐ Ｉｎｆｅｒｅｎｃｅ）攻撃に対する有力な防御手法として、非特許文献２のＡｄｖｅｒｓａｒｉａｌ Ｒｅｇｕｌａｒｉｚａｔｉｏｎが注目されている。具体的には、非特許文献２の方法は、訓練時に、仮想的にＭＩ攻撃を行う二値分類器を用いて、そのゲインを正則化項として加えるアルゴリズムを用いている。これにより、（１）損失関数＋二値分類器のゲインを最小化（２）二値分類器のゲインを最大化、というｍｉｎ－ｍａｘを繰り返すことでＭＩ攻撃への耐性を向上させる方法を採用している。
【先行技術文献】
【特許文献】
【0006】
【文献】特開２０１９－２８６５６号公報
【文献】国際公開第２０１９／１３１５２７号
【非特許文献】
【0007】
【文献】Melis, Luca, et al.、 “Exploiting unintended feature leakage in collaborative learning. “、2019 IEEE Symposium on Security and Privacy (SP)、2019.、［online］、［令和2年5月12日検索］、インターネット〈URL：https://arxiv.org/pdf/1805.04049.pdf〉
【文献】Milad Nasr, Reza Shokri, Amir Houmansadr、“Machine Learning with Membership Privacy using Adversarial Regularization”、［online］、［令和2年5月12日検索］、インターネット〈URL：https://arxiv.org/pdf/1807.05852.pdf〉
【発明の概要】
【発明が解決しようとする課題】
【0008】
以下の分析は、本発明者によって与えられたものである。協調学習の利点の１つがプライバシーの保護にある以上、対象モデルから、学習に用いたデータの任意の属性を割り出すことを困難化したいという要請がある。この点、非特許文献１で提案されている防御手法は、画一的な防御であり、クライアントごとの学習に用いたデータの性質に応じた防御をなしうるものとはなっていない。
【0009】
また、非特許文献２の方法も、あるデータが学習に用いたデータ（Ｍｅｍｂｅｒデータ）であるか否かの推論を困難化することに特化しており、クライアントごとの学習に用いたデータの性質に応じた防御策とはなり得ない。
【0010】
本発明は、協調学習に参加する各クライアントがそれぞれの対象モデルの学習に用いたデータの任意の性質（属性）の推論を困難化することに貢献することのできる機械学習システム、クライアント、機械学習方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0011】
第１の視点によれば、他のクライアントとともにサーバとの対象モデルに関する協調学習を実施可能なクライアントが提供される。このクライアントは、前記勾配情報から入力データの性質を推論する分類モデルを訓練する性質分類モデル訓練部と、訓練データと、前記対象モデルと、前記分類モデルと、を用いて、前記対象モデルの前記勾配情報を計算し、前記サーバに前記勾配情報を送信する対象モデル訓練部と、を備える。前記分類モデルが推論する入力データの性質は、クライアント毎に設定可能であり、前記性質分類モデル訓練部は、前記対象モデルと、前記入力データの性質に関する教師ラベルを付した第２の訓練データと、を用いて、前記分類モデルを訓練する。
【0012】
第２の視点によれば、協調学習によってクライアントとモデル更新パラメータを授受し、対象モデルを訓練する協調学習部を備えるサーバと上記したクライアント装置と、を含む機械学習システムが提供される。
【0013】
第３の視点によれば、協調学習によってクライアントと、勾配情報を含むモデル更新パラメータを授受し、対象モデルを訓練する協調学習部を備えるサーバと接続可能なクライアントが、前記勾配情報から入力データの性質を推論する分類モデルを訓練し、訓練データと、前記対象モデルと、前記分類モデルと、を用いて、前記対象モデルの前記勾配情報を計算し、前記サーバに前記勾配情報を送信する機械学習方法が提供される。そして、前記分類モデルが推論する入力データの性質は、クライアント毎に設定可能であり、前記分類モデルは、前記対象モデルと、前記入力データの性質に関する教師ラベルを付した第２の訓練データと、を用いて、訓練される。
【0014】
第４の視点によれば、上記したコンピュータの機能を実現するためのコンピュータプログラムが提供される。このプログラムは、コンピュータ装置に入力装置又は外部から通信インターフェースを介して入力され、記憶装置に記憶されて、プロセッサを所定のステップないし処理に従って駆動させ、必要に応じ中間状態を含めその処理結果を段階毎に表示装置を介して表示することができ、あるいは通信インターフェースを介して、外部と交信することができる。そのためのコンピュータ装置は、一例として、典型的には互いにバスによって接続可能なプロセッサ、記憶装置、入力装置、通信インターフェース、及び必要に応じ表示装置を備える。また、このプログラムは、コンピュータが読み取り可能な（非トランジトリーな）記憶媒体に記録することができる。
【発明の効果】
【0015】
本発明によれば、協調学習に参加する各クライアントがそれぞれの対象モデルの学習に用いたデータの任意の属性の推論を困難化することに貢献することが可能となる。
【図面の簡単な説明】
【0016】
【図1】本発明の一実施形態の構成を表したブロック図である。
【図2】本発明の第１の実施形態の構成を表したブロック図である。
【図3】本発明の第１の実施形態の全体動作を説明するための図である。
【図4】本発明の第１の実施形態のクライアントにおける勾配情報の計算手順を説明するための図である。
【図5】本発明の第２の実施形態の構成を表したブロック図である。
【図6】本発明の第３の実施形態の構成を表したブロック図である。
【図7】本発明の機械学習装置を構成するコンピュータの構成を示す図である。
【発明を実施するための形態】
【0017】
はじめに本発明の一実施形態の概要について図面を参照して説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、本発明を図示の態様に限定することを意図するものではない。また、以降の説明で参照する図面等のブロック間の接続線は、双方向及び単方向の双方を含む。一方向矢印については、主たる信号（データ）の流れを模式的に示すものであり、双方向性を排除するものではない。プログラムはコンピュータ装置を介して実行され、コンピュータ装置は、例えば、プロセッサ、記憶装置、入力装置、通信インターフェース、及び必要に応じ表示装置を備える。また、このコンピュータ装置は、通信インターフェースを介して装置内又は外部の機器（コンピュータを含む）と、有線、無線を問わず、通信可能に構成される。また、図中の各ブロックの入出力の接続点には、ポート乃至インターフェースがあるが図示を省略する。また、以下の説明において、「Ａ及び／又はＢ」は、Ａ又はＢ、若しくは、Ａ及びＢという意味で用いる。
【0018】
本発明は、その一実施形態において、図１に示すように、１台以上のクライアント１００と、サーバ２００とを含む機械学習システムにて実現できる。より具体的には、サーバ２００は、協調学習によってクライアント１００とモデル更新パラメータを授受し、対象モデルを訓練する協調学習部２０１を備える。
【0019】
クライアント１００は、性質分類モデル訓練部１０１と、対象モデル訓練部１０２と、を備える。そして、性質分類モデル訓練部１０１は、勾配情報から入力データの性質を推論する分類モデルを訓練する。
【0020】
対象モデル訓練部１０２は、訓練データと、前記対象モデルと、前記性質分類モデル訓練部１０１によって作成された分類モデルと、を用いて、前記対象モデルの前記勾配情報を計算し、前記サーバに前記勾配情報を送信する。そして、前記分類モデルが推論する入力データの性質は、クライアント毎に設定可能であり、前記性質分類モデル訓練部１０１は、前記対象モデルと、前記入力データの性質に関する教師ラベルを付した第２の訓練データと、を用いて、前記分類モデルを訓練する。
【0021】
上記のような構成によれば、訓練データと、対象モデルとに加えて、勾配情報から入力データの性質を推論する分類モデルを用いて、協調学習のための勾配情報を計算することが可能となる。そして、入力データの性質は、クライアント毎に設定可能であり、これを用いて分類モデルが訓練される。これにより、該当するクライアントが計算した勾配情報から、前記入力データの性質を推論することを困難化することができる。
【0022】
［第１の実施形態］
続いて、本発明の第１の実施形態について図面を参照して詳細に説明する。図２は、本発明の第１の実施形態の機械学習システムの構成を表したブロック図である。図２を参照すると、複数のクライアント１００と、サーバ２００とがネットワークを介して接続された構成が示されている。
続いて、本発明の第１の実施形態について図面を参照して詳細に説明する。図２は、本発明の第１の実施形態の機械学習システムの構成を表したブロック図である。図２を参照すると、複数のクライアント１００と、サーバ２００とがネットワークを介して接続された構成が示されている。
【0023】
サーバ２００は、クライアント１００から受信した勾配情報に基づいて、対象モデルを更新し、更新後の対象モデルの更新パラメータをクライアントに配布する協調学習部２０１を備える。以下、勾配情報及び対象モデルの更新パラメータを総称する場合、「モデル更新パラメータ」と記す。
【0024】
クライアント１００は、それぞれ性質分類モデル訓練部１０１と、対象モデル訓練部１０２と、を備える。対象モデル訓練部１０２は、サーバ２００から対象モデルの更新パラメータを受信すると、対象モデルを更新する。対象モデル訓練部１０２は、前記更新後の対象モデルと、クライアント１００側で発生した訓練データとを用いて、対象モデルの更新パラメータとなる勾配情報を計算する。さらに、本実施形態の対象モデル訓練部１０２は、前記勾配情報を計算する際に、勾配情報から入力データの性質を推論する分類モデルを正則化項に用いてその推論を困難化するような勾配情報を計算する。
【0025】
性質分類モデル訓練部１０１は、事前に準備された第２の訓練データを用いて、勾配情報から入力データの性質を推論する分類モデルを、その分類精度が向上するように訓練する。
【0026】
続いて、第１の実施形態の機械学習システムにおける協調学習の全体動作について説明する。図３は、本発明の第１の実施形態の機械学習システムの全体動作を説明するための図である。以下、ｋ台のクライアントＣ１～ＣｋがサーバＳと協調学習を行う例を挙げて説明する。以下、対象モデルのパラメータは、初期状態のθ０からバッチサイズ上限値ＴのθＴまで順次更新されるものとする。また、ｉ番目のクライアントの訓練データをＤｉと記す。さらに、訓練データＤｉを、ｉ番目のクライアントが保護したい性質（属性）が、ある状態を満たす訓練データＤｐｒｏｐ＿ｉ、それ以外の訓練データＤｎｏｎｐｒｏｐ＿ｉに分け、第２の訓練データとして用意しておく。このｉ番目のクライアントが保護したい性質（属性）としては、種々のものが考えられる。例えば、訓練データＤｉが顔画像データであり、対象モデルがその性別を推論するものとした場合においても、この「保護したい性質」は、顔画像データに表れた目の色、肌の色、年齢（世代）等が考えられる。また、これらの例からも明らかなとおり、「保護したい性質」の値は、二値である必要はなく、「保護したい性質」に応じて多値をとる場合もある。
【0027】
また、サーバＳ側は、図３に示すとおり、初期状態において、対象モデルのパラメータθ０と、協調学習の際の重み付けを表すハイパーパラメータηが設定されているものとする。
【0028】
上記構成において、各クライアントＣｉとサーバＳとは、次のように動作する。
（ＳＴ１）クライアントＣｉは、パラメータθ０をセットした対象モデル、訓練データＤｉ、第２の訓練データＤｐｒｏｐ＿ｉ、訓練データＤｎｏｎｐｒｏｐ＿ｉを用いて勾配情報ｇ１ ｉを計算する。ここでの勾配情報ｇ１ ｉを計算する際に、各クライアントＣｉは、第２の訓練データＤｐｒｏｐ＿ｉ、訓練データＤｎｏｎｐｒｏｐ＿ｉを用いて、それぞれが保持する分類モデルの訓練を行う。そして、各クライアントＣｉは、対象モデルに加えて、訓練後の分類モデルを用いて、勾配情報ｇ１ ｉを計算する。その詳細は、後に図４を用いて説明する。
（ＳＴ２）各クライアントＣｉは、サーバＳに対し、ＳＴ１で計算した勾配情報ｇ１ ｉを送信する。
（ＳＴ３）サーバＳは、各クライアントＣｉから受信した勾配情報ｇ１ ｉ、パラメータθ０をセットした対象モデル、ハイパーパラメータηを用いて、対象モデルの更新後のパラメータθ１を計算する。パラメータθ１の計算は、例えば、次式（１）により求めることができる。
・・・（１）
（ＳＴ４）サーバＳは、各クライアントＣｉに対し、対象モデルの更新後のパラメータθ１を送信する。
（ＳＴ５）各クライアントＣｉは、サーバＳから受信した対象モデルの更新後のパラメータθ１を記憶する。以降、各クライアントＣｉは、更新後のパラメータθ１を用いて、勾配情報を計算する。
（ＳＴ１）クライアントＣｉは、パラメータθ０をセットした対象モデル、訓練データＤｉ、第２の訓練データＤｐｒｏｐ＿ｉ、訓練データＤｎｏｎｐｒｏｐ＿ｉを用いて勾配情報ｇ１ ｉを計算する。ここでの勾配情報ｇ１ ｉを計算する際に、各クライアントＣｉは、第２の訓練データＤｐｒｏｐ＿ｉ、訓練データＤｎｏｎｐｒｏｐ＿ｉを用いて、それぞれが保持する分類モデルの訓練を行う。そして、各クライアントＣｉは、対象モデルに加えて、訓練後の分類モデルを用いて、勾配情報ｇ１ ｉを計算する。その詳細は、後に図４を用いて説明する。
（ＳＴ２）各クライアントＣｉは、サーバＳに対し、ＳＴ１で計算した勾配情報ｇ１ ｉを送信する。
（ＳＴ３）サーバＳは、各クライアントＣｉから受信した勾配情報ｇ１ ｉ、パラメータθ０をセットした対象モデル、ハイパーパラメータηを用いて、対象モデルの更新後のパラメータθ１を計算する。パラメータθ１の計算は、例えば、次式（１）により求めることができる。
【数1】
（ＳＴ４）サーバＳは、各クライアントＣｉに対し、対象モデルの更新後のパラメータθ１を送信する。
（ＳＴ５）各クライアントＣｉは、サーバＳから受信した対象モデルの更新後のパラメータθ１を記憶する。以降、各クライアントＣｉは、更新後のパラメータθ１を用いて、勾配情報を計算する。
【0029】
以上のような処理を所定のバッチサイズＴ回分繰り返すことで、対象モデルのパラメータの学習が完了する。なお、図３の例では、ＳＴ３においてサーバＳが、パラメータθ１を計算しているが、ＳＴ３において、サーバＳが、パラメータの更新量θ１－θ０を計算してもよい。この場合、ＳＴ４において、サーバＳが、パラメータの更新量θ１－θ０を送信し、各クライアントＣｉは保持しているθ０に、θ１－θ０を加算すればよい。
【0030】
【0031】
（ＳＴ１１）分類モデルの訓練
各クライアントＣｉは、パラメータθ０をセットした対象モデル、訓練データＤｉ、第２の訓練データＤｐｒｏｐ＿ｉ、訓練データＤｎｏｎｐｒｏｐ＿ｉを用いて分類モデルを訓練する。この分類モデルの訓練は、非特許文献１のＡｌｇｏｒｉｔｈｍ ３ Ｂａｔｃｈ Ｐｒｏｐｅｒｔｙ Ｃｌａｓｓｉｆｉｅｒとして開示されている二値分類器の訓練アルゴリズムと同等のアルゴリズムで実現することができる。なお、非特許文献１のＡｌｇｏｒｉｔｈｍ ３では、Ｔ回分の勾配情報ｇｐｒｏｐ、ｇｎｏｎｐｒｏｐを計算した後に、二値分類器ｂｉｎａｒｙ Ｃｌａｓｓｉｆｉｅｒ ｆｐｒｏｐの訓練を行っているが、訓練データＤｐｒｏｐ＿ｉ、訓練データＤｎｏｎｐｒｏｐ＿ｉについて、勾配情報を計算する度に、分類モデルを訓練してもよい。
各クライアントＣｉは、パラメータθ０をセットした対象モデル、訓練データＤｉ、第２の訓練データＤｐｒｏｐ＿ｉ、訓練データＤｎｏｎｐｒｏｐ＿ｉを用いて分類モデルを訓練する。この分類モデルの訓練は、非特許文献１のＡｌｇｏｒｉｔｈｍ ３ Ｂａｔｃｈ Ｐｒｏｐｅｒｔｙ Ｃｌａｓｓｉｆｉｅｒとして開示されている二値分類器の訓練アルゴリズムと同等のアルゴリズムで実現することができる。なお、非特許文献１のＡｌｇｏｒｉｔｈｍ ３では、Ｔ回分の勾配情報ｇｐｒｏｐ、ｇｎｏｎｐｒｏｐを計算した後に、二値分類器ｂｉｎａｒｙ Ｃｌａｓｓｉｆｉｅｒ ｆｐｒｏｐの訓練を行っているが、訓練データＤｐｒｏｐ＿ｉ、訓練データＤｎｏｎｐｒｏｐ＿ｉについて、勾配情報を計算する度に、分類モデルを訓練してもよい。
【0032】
（ＳＴ１２）対象モデルを用いた分類モデル入力用の勾配情報の計算
上記ＳＴ１１と独立して、各クライアントＣｉは、分類モデル入力用の勾配情報を計算する。具体的には、各クライアントＣｉは、パラメータθ０をセットした対象モデルに、訓練データＤｉを入力して訓練を行い、勾配情報ｇ’ｉ 1を計算する。
上記ＳＴ１１と独立して、各クライアントＣｉは、分類モデル入力用の勾配情報を計算する。具体的には、各クライアントＣｉは、パラメータθ０をセットした対象モデルに、訓練データＤｉを入力して訓練を行い、勾配情報ｇ’ｉ 1を計算する。
【0033】
（ＳＴ１３）分類モデルによる推論
各クライアントＣｉは、ＳＴ１１で訓練した分類モデルにＳＴ１２で計算した勾配情報ｇ’ｉ 1を入力し、推論結果ＧＤｉを得る。
（ＳＴ１４）勾配情報の再計算
各クライアントＣｉは、訓練データＤｉ、パラメータθ０をセットした対象モデルに加え、正則化項に前記推論結果ＧＤｉを用いて、勾配情報ｇｉ 1を計算する。この勾配情報ｇｉ 1の計算は、例えば、対象モデルｆの損失関数をＬθ０、推論結果をＧＤｉ、ハイパーパラメータをλとしたとき、次式（２）により求めることができる。
・・・（２）
最終的に、各クライアントＣｉは、計算した勾配情報ｇｉ 1をサーバＳに送る（図３の（ＳＴ２）参照）
各クライアントＣｉは、ＳＴ１１で訓練した分類モデルにＳＴ１２で計算した勾配情報ｇ’ｉ 1を入力し、推論結果ＧＤｉを得る。
（ＳＴ１４）勾配情報の再計算
各クライアントＣｉは、訓練データＤｉ、パラメータθ０をセットした対象モデルに加え、正則化項に前記推論結果ＧＤｉを用いて、勾配情報ｇｉ 1を計算する。この勾配情報ｇｉ 1の計算は、例えば、対象モデルｆの損失関数をＬθ０、推論結果をＧＤｉ、ハイパーパラメータをλとしたとき、次式（２）により求めることができる。
【数2】
最終的に、各クライアントＣｉは、計算した勾配情報ｇｉ 1をサーバＳに送る（図３の（ＳＴ２）参照）
【0034】
なお、分類モデルは、多値分類モデル、即ち、ｎクラス分類モデルであってもよく、その場合、上式（２）の正則化項ＧＤｉは、次式（３）で表される。ここで、ｆθは、パラメータθを持つ対象モデル、Ｄｉは、性質（クラス）ｉに関するデータセット、ｈｉは、分類モデルのクラスｉのスコアを表す。
・・・（３）
【数3】
【0035】
以上のような、本実施形態の方法によれば、各クライアントＣｉが「保護したい性質」を設定し、異なる分類モデルを用いて、その分類モデルの出力を加味してコストを最小化する勾配情報ｇｉ
1を計算することができる。これにより、本実施形態の方法によれば、各クライアントの勾配情報を入力とする攻撃に対する耐性を向上させることが可能となる。例えば、本実施形態の方法によれば、クライアントＡは、訓練に使った人物の画像の肌の色の推論が困難となるような勾配情報を計算することができる。また、本実施形態の方法によれば、クライアントＡと同一のサーバと協調学習を行うクライアントＢが、訓練に使った人物の年齢（世代）の推論が困難となるような勾配情報を計算することができる。このように、本実施形態によれば、プライバシーの保護に資するという協調学習の利点を損なうことなく、勾配情報から訓練データの性質を推論しようとする攻撃手法に対する耐性を向上させることが可能となっている。
【0036】
［第２の実施形態］
第１の実施形態では、ゲイン項に、分類モデルの出力を用いた例を挙げて説明したが、本発明は、種々の変更を加えて実施することができる。例えば、非特許文献２で提案されている敵対的なニューラルネットワークを用いて、勾配情報を計算する方法を採用することも可能である。この場合、第１の実施形態の構成に、対象モデルの出力に対しＭＩＡを実行するＭＩＡ実行部１０２１を追加することで実現できる（図５参照）。そして、本実施形態の対象モデル訓練部１０２ａは、前記ＭＩＡ実行部１０２１の出力を用いて対象モデルを訓練する。具体的には、前記ＭＩＡ実行部１０２１内の識別器の出力を最大化するよう前記識別器を訓練する一方、訓練後の識別器の出力を正則化項に用いて対象モデルを訓練することで、勾配情報を計算することができる。
第１の実施形態では、ゲイン項に、分類モデルの出力を用いた例を挙げて説明したが、本発明は、種々の変更を加えて実施することができる。例えば、非特許文献２で提案されている敵対的なニューラルネットワークを用いて、勾配情報を計算する方法を採用することも可能である。この場合、第１の実施形態の構成に、対象モデルの出力に対しＭＩＡを実行するＭＩＡ実行部１０２１を追加することで実現できる（図５参照）。そして、本実施形態の対象モデル訓練部１０２ａは、前記ＭＩＡ実行部１０２１の出力を用いて対象モデルを訓練する。具体的には、前記ＭＩＡ実行部１０２１内の識別器の出力を最大化するよう前記識別器を訓練する一方、訓練後の識別器の出力を正則化項に用いて対象モデルを訓練することで、勾配情報を計算することができる。
【0037】
［第３の実施形態］
前記対象モデルのパラメータをθ、前記対象モデルの学習に訓練データｘを用いなかったときのパラメータをθ－ｘとしたとき、次式（４）で規定される影響関数を用いて勾配情報を計算する構成も採用可能である。
・・・（４）
前記対象モデルのパラメータをθ、前記対象モデルの学習に訓練データｘを用いなかったときのパラメータをθ－ｘとしたとき、次式（４）で規定される影響関数を用いて勾配情報を計算する構成も採用可能である。
【数4】
【0038】
具体的には、第１の実施形態の構成に、上記のような影響関数を計算する影響関数計算部１０２２を追加する（図６参照）。そして、本実施形態の対象モデル訓練部１０２ｂは、このような影響関数を正則化項に用いて対象モデルを訓練することで、勾配情報を計算する。
【0039】
このような対象モデルの訓練アルゴリズムは、次式（５）で表すことができる。ここで、ＬＤｉ（ｆ）は訓練データＤｉを入力とする対象モデルｆの損失関数、λはハイパーパラメータを示す。次式（５）では、正則化項として、訓練データｘｉの影響関数Ｉｆ（ｘｉ，ｘｉ）の絶対値を用いている。
・・・（５）
【数5】
【0040】
上記式（５）により計算される勾配情報は、「保護したい性質」の特定を困難化するものとなっている。その理由は、上記した影響関数を用いることにより、あるデータを訓練に用いたか否かによる推論結果の変動と、推論結果そのものの誤差の２つを最小化する方向に対象モデルｆを訓練するものとなっているからである。
【0041】
以上、本発明の各実施形態を説明したが、本発明は、上記した実施形態に限定されるものではなく、本発明の基本的技術的思想を逸脱しない範囲で、更なる変形・置換・調整を加えることができる。例えば、各図面に示したシステム構成、各要素の構成、データ等の表現形態は、本発明の理解を助けるための一例であり、これらの図面に示した構成に限定されるものではない。
【0042】
上記した実施形態に示した手順は、クライアントとして機能するコンピュータ（図７の９０００）に、これらの装置としての機能を実現させるプログラムにより実現可能である。このようなコンピュータは、図７のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１０、通信インターフェース９０２０、メモリ９０３０、補助記憶装置９０４０を備える構成に例示される。すなわち、図７のＣＰＵ９０１０にて、分類モデル訓練プログラムや対象モデル訓練プログラムを実行し、その補助記憶装置９０４０等に保持された各計算パラメータの更新処理を実施させればよい。
【0043】
なお、上記の特許文献および非特許文献の各開示は、本書に引用をもって繰り込み記載されているものとし、必要に応じて本発明の基礎ないし一部として用いることが出来るものとする。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の開示の枠内において種々の開示要素（各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む）の多様な組み合わせ、ないし選択（部分的削除を含む）が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。さらに、上記引用した文献の各開示事項は、必要に応じ、本発明の趣旨に則り、本発明の開示の一部として、その一部又は全部を、本書の記載事項と組み合わせて用いることも、本願の開示事項に含まれるものと、みなされる。
【符号の説明】
【0044】
１００、１００ａ、１００ｂ クライアント
１０１ 性質分類モデル訓練部
１０２、１０２ａ、１０２ｂ 対象モデル訓練部
２００ サーバ
２０１ 協調学習部
１０２１ ＭＩＡ実行部
１０２２ 影響関数計算部
９０００ コンピュータ
９０１０ ＣＰＵ
９０２０ 通信インターフェース
９０３０ メモリ
９０４０ 補助記憶装置
１０１ 性質分類モデル訓練部
１０２、１０２ａ、１０２ｂ 対象モデル訓練部
２００ サーバ
２０１ 協調学習部
１０２１ ＭＩＡ実行部
１０２２ 影響関数計算部
９０００ コンピュータ
９０１０ ＣＰＵ
９０２０ 通信インターフェース
９０３０ メモリ
９０４０ 補助記憶装置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】