特許 7442696 投票に基づく差分プライベート連合学習のためのアプローチ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-22

(45)【発行日】2024-03-04

(54)【発明の名称】投票に基づく差分プライベート連合学習のためのアプローチ

(51)【国際特許分類】

   G06N 3/098 20230101AFI20240226BHJP

   G06N 20/20 20190101ALI20240226BHJP

   G06F 21/62 20130101ALI20240226BHJP

【ＦＩ】

G06N3/098

G06N20/20

G06F21/62 345

【請求項の数】 20

(21)【出願番号】P 2022578819

(86)(22)【出願日】2021-10-01

(65)【公表番号】

(43)【公表日】2023-09-07

(86)【国際出願番号】 US2021053086

(87)【国際公開番号】W WO2022072776

(87)【国際公開日】2022-04-07

【審査請求日】2023-02-14

(31)【優先権主張番号】17/491,663

(32)【優先日】2021-10-01

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】63/086,245

(32)【優先日】2020-10-01

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】504080663

【氏名又は名称】エヌイーシー ラボラトリーズ アメリカ インク

【氏名又は名称原語表記】ＮＥＣ Ｌａｂｏｒａｔｏｒｉｅｓ Ａｍｅｒｉｃａ， Ｉｎｃ．

(74)【代理人】

【識別番号】100123788

【弁理士】

【氏名又は名称】宮崎 昭夫

(74)【代理人】

【識別番号】100127454

【弁理士】

【氏名又は名称】緒方 雅昭

(72)【発明者】

【氏名】ユ、 シアン

(72)【発明者】

【氏名】ツァイ、 イ－シューアン

(72)【発明者】

【氏名】ピッタルガ、 フランチェスコ

(72)【発明者】

【氏名】ファラキ、 マスード

(72)【発明者】

【氏名】チャンドラカー、 マンモハン

(72)【発明者】

【氏名】ズ、 ユチン

【審査官】青木 重徳

(56)【参考文献】

【文献】特開２０１２－１３３３２０（ＪＰ，Ａ）

【文献】国際公開第２０２０／１４２１１０（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１９／０２２７９８０（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０２０／０３１１３００（ＵＳ，Ａ１）

【文献】Yuqing Zhu et al.，VOTING-BASED APROACHES FOR DIFFERENTIALLY PRIVATE FEDERATED LEARNING，arXiv:2010.04851v1，［オンライン］，2020年10月09日，pp. 1-16，（２０２４年２月１日 検索）、インターネット，<URL: https://arxiv.org/pdf/2010.04851v1.pdf>

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／０９８

Ｇ０６Ｎ ２０／２０

Ｇ０６Ｆ ２１／６２

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

一般的なラベル空間投票に基づく差分プライベート連合学習（ＤＰＦＬ）フレームワークを採用する方法であって、
第１の疑似ラベル付けデータを生成するために、各エージェントがエージェントに関連するプライベートローカルデータを使用してローカルエージェントモデルを訓練する第１の投票に基づくＤＰＦＬ計算を採用することによって、第１のグローバルサーバからのラベル付けされていないデータの第１のサブセットをラベル付けすること（１０１０）と、
第２の疑似ラベル付けデータを生成するために、各エージェントがデータに依存しない特徴抽出器を保持する第２の投票に基づくＤＰＦＬ計算を採用することによって、第２のグローバルサーバからのラベル付けされていないデータの第２のサブセットをラベル付けすること（１０２０）と、
インスタンスレベルとエージェントレベルとの両方のプライバシー体制について証明可能な差分プライバシー（ＤＰ）保証を提供するために、前記第１の疑似ラベル付けデータと前記第２の疑似ラベル付けデータとを用いてグローバルモデルを訓練すること（１０３０）とを含む方法。

【請求項2】

請求項１に記載の方法において、
前記第１の投票に基づくＤＰＦＬ計算は、集計アンサンブルＤＰＦＬ（ＡＥ－ＤＰＦＬ）であり、前記第２の投票に基づくＤＰＦＬ計算は、ｋ近傍法ＤＰＦＬ（ｋＮＮ－ＤＰＦＬ）である方法。

【請求項3】

請求項１に記載の方法において、
前記第１の投票に基づくＤＰＦＬ計算の各エージェントは、前記ラベル付けされていないデータの前記第１のサブセットに対する予測にＧａｕｓｓｉａｎノイズを加える方法。

【請求項4】

請求項３に記載の方法において、
前記第１の疑似ラベル付けデータは、前記第１の投票に基づくＤＰＦＬ計算において各エージェントからのノイズの多い予測を集計することによって返される多数決で生成される方法。

【請求項5】

請求項１に記載の方法において、
前記第２の投票に基づくＤＰＦＬ計算における各エージェントは、特徴空間におけるＥｕｃｌｉｄｅａｎ距離を測定することによって、ラベル付けされていないクエリのｋ最近傍を見つける方法。

【請求項6】

請求項５に記載の方法において、
前記最近傍からの投票の頻度ベクトルが出力される方法。

【請求項7】

請求項１に記載の方法において、
前記第１および第２の投票に基づくＤＰＦＬ計算における投票集計は、マルチパーティ計算（ＭＰＣ）により行われる方法。

【請求項8】

請求項１に記載の方法において、
前記第１および第２の投票に基づくＤＰＦＬ計算における投票集計は、パラメータ空間の代わりに潜在空間における投票数を解放することを含む方法。

【請求項9】

一般的なラベル空間投票に基づく差分プライベート連合学習（ＤＰＦＬ）フレームワークを採用するためのコンピュータ可読プログラムを含む非一時的なコンピュータ可読記憶媒体であって、前記コンピュータ可読プログラムは、コンピュータ上で実行されると、コンピュータに、
第１の疑似ラベル付けデータを生成するために、各エージェントがエージェントに関連するプライベートローカルデータを使用してローカルエージェントモデルを訓練する第１の投票に基づくＤＰＦＬ計算を採用することによって、第１のグローバルサーバからのラベル付けされていないデータの第１のサブセットをラベル付けするステップ（１０１０）と、
第２の疑似ラベル付けデータを生成するために、各エージェントがデータに依存しない特徴抽出器を保持する第２の投票に基づくＤＰＦＬ計算を採用することによって、第２のグローバルサーバからのラベル付けされていないデータの第２のサブセットをラベル付けするステップ（１０２０）と、
インスタンスレベルとエージェントレベルとの両方のプライバシー体制について証明可能な差分プライバシー（ＤＰ）保証を提供するために、前記第１の疑似ラベル付けデータと前記第２の疑似ラベル付けデータとを用いてグローバルモデルを訓練するステップ（１０３０）とを実行させる非一時的なコンピュータ可読記憶媒体。

【請求項10】

請求項９に記載の非一時的なコンピュータ可読記憶媒体において、
前記第１の投票に基づくＤＰＦＬ計算は、集計アンサンブルＤＰＦＬ（ＡＥ－ＤＰＦＬ）であり、前記第２の投票に基づくＤＰＦＬ計算は、ｋ近傍法ＤＰＦＬ（ｋＮＮ－ＤＰＦＬ）である非一時的なコンピュータ可読記憶媒体。

【請求項11】

請求項９に記載の非一時的なコンピュータ可読記憶媒体において、
前記第１の投票に基づくＤＰＦＬ計算の各エージェントは、前記ラベル付けされていないデータの前記第１のサブセットに対する予測にＧａｕｓｓｉａｎノイズを加える非一時的なコンピュータ可読記憶媒体。

【請求項12】

請求項１１に記載の非一時的なコンピュータ可読記憶媒体において、
前記第１の疑似ラベル付けデータは、前記第１の投票に基づくＤＰＦＬ計算において各エージェントからのノイズの多い予測を集計することによって返される多数決で生成される非一時的なコンピュータ可読記憶媒体。

【請求項13】

請求項９に記載の非一時的なコンピュータ可読記憶媒体において、
前記第２の投票に基づくＤＰＦＬ計算における各エージェントは、特徴空間におけるＥｕｃｌｉｄｅａｎ距離を測定することによって、ラベル付けされていないクエリのｋ最近傍を見つける非一時的なコンピュータ可読記憶媒体。

【請求項14】

請求項１３に記載の非一時的なコンピュータ可読記憶媒体において、
前記最近傍からの投票の頻度ベクトルが出力される非一時的なコンピュータ可読記憶媒体。

【請求項15】

請求項９に記載の非一時的なコンピュータ可読記憶媒体において、
前記第１および第２の投票に基づくＤＰＦＬ計算における投票集計は、マルチパーティ計算（ＭＰＣ）により行われる非一時的なコンピュータ可読記憶媒体。

【請求項16】

請求項９に記載の非一時的なコンピュータ可読記憶媒体において、
前記第１および第２の投票に基づくＤＰＦＬ計算における投票集計は、パラメータ空間の代わりに潜在空間における投票数を解放することを含む非一時的なコンピュータ可読記憶媒体。

【請求項17】

一般的なラベル空間投票に基づく差分プライベート連合学習（ＤＰＦＬ）フレームワークを採用するためのシステムであって、
メモリと、
前記メモリと通信する１つ以上のプロセッサとを有し、該プロセッサは、
第１の疑似ラベル付けデータを生成するために、各エージェントがエージェントに関連するプライベートローカルデータを使用してローカルエージェントモデルを訓練する第１の投票に基づくＤＰＦＬ計算を採用することによって、第１のグローバルサーバからのラベル付けされていないデータの第１のサブセットをラベル付けし（１０１０）、
第２の疑似ラベル付けデータを生成するために、各エージェントがデータに依存しない特徴抽出器を保持する第２の投票に基づくＤＰＦＬ計算を採用することによって、第２のグローバルサーバからのラベル付けされていないデータの第２のサブセットをラベル付けし（１０２０）、
インスタンスレベルとエージェントレベルとの両方のプライバシー体制について証明可能な差分プライバシー（ＤＰ）保証を提供するために、前記第１の疑似ラベル付けデータと前記第２の疑似ラベル付けデータとを用いてグローバルモデルを訓練する（１０３０）ように構成されたシステム。

【請求項18】

請求項１７に記載のシステムにおいて、
前記第１の投票に基づくＤＰＦＬ計算は、集計アンサンブルＤＰＦＬ（ＡＥ－ＤＰＦＬ）であり、前記第２の投票に基づくＤＰＦＬ計算は、ｋ近傍法ＤＰＦＬ（ｋＮＮ－ＤＰＦＬ）であるシステム。

【請求項19】

請求項１７に記載のシステムにおいて、
前記第１の投票に基づくＤＰＦＬ計算の各エージェントは、前記ラベル付けされていないデータの前記第１のサブセットに対する予測にＧａｕｓｓｉａｎノイズを加えるシステム。

【請求項20】

請求項１９に記載のシステムにおいて、
前記第１の疑似ラベル付けデータは、前記第１の投票に基づくＤＰＦＬ計算において各エージェントからのノイズの多い予測を集計することによって返される多数決で生成され、
前記第２の投票に基づくＤＰＦＬ計算における各エージェントは、特徴空間におけるＥｕｃｌｉｄｅａｎ距離を測定することによって、ラベル付けされていないクエリのｋ最近傍を見つけるシステム。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願情報
本出願は、２０２０年１０月１日に出願された仮出願第６３／０８６，２４５号および２０２１年１０月１日に出願された米国特許出願第１７／４９１，６６３号の優先権を主張し、各々はその全体が参照により本明細書に組み込まれるものとする。

【背景技術】

【0002】

本発明は、連合学習（ＦＬ）に関し、より詳細には、差分プライベート連合学習（ＤＰＦＬ）のための投票に基づくアプローチに関するものである。
関連技術の説明

【0003】

Ｄｉｆｆｅｒｅｎｔｉａｌｌｙ Ｐｒｉｖａｔｅ Ｆｅｄｅｒａｔｅｄ Ｌｅａｒｎｉｎｇ（ＤＰＦＬ）は、多くのアプリケーションを持つ新しい分野である。勾配平均法に基づくＤＰＦＬ法は、付加されるノイズに明示的な次元依存性があるため、コストのかかる通信ラウンドを必要とし、大容量モデルにはほとんど対応できない。

【発明の概要】

【0004】

一般的なラベル空間投票に基づく差分プライベート連合学習（ＤＰＦＬ）フレームワークを採用する方法が提示される。この方法は、第１の疑似ラベル付けデータを生成するために、各エージェントがエージェントに関連するプライベートローカルデータを使用してローカルエージェントモデルを訓練する第１の投票に基づくＤＰＦＬ計算を採用することによって、第１のグローバルサーバからのラベル付けされていないデータの第１のサブセットをラベル付けすることと、第２の疑似ラベル付けデータを生成するために、各エージェントがデータに依存しない特徴抽出器を保持する第２の投票に基づくＤＰＦＬ計算を採用することによって、第２のグローバルサーバからのラベル付けされていないデータの第２のサブセットをラベル付けすることと、インスタンスレベルとエージェントレベルとの両方のプライバシー体制について証明可能な差分プライバシー（ＤＰ）保証を提供するために、前記第１の疑似ラベル付けデータと前記第２の疑似ラベル付けデータとを用いてグローバルモデルを訓練すること（１０３０）とを含む。

【0005】

一般的なラベル空間投票に基づく差分プライベート連合学習（ＤＰＦＬ）フレームワークを採用するためのコンピュータ可読プログラムを含む非一時的なコンピュータ可読記憶媒体が提示される。このコンピュータ可読プログラムは、コンピュータ上で実行されると、コンピュータに、第１の疑似ラベル付けデータを生成するために、各エージェントがエージェントに関連するプライベートローカルデータを使用してローカルエージェントモデルを訓練する第１の投票に基づくＤＰＦＬ計算を採用することによって、第１のグローバルサーバからのラベル付けされていないデータの第１のサブセットをラベル付けするステップと、第２の疑似ラベル付けデータを生成するために、各エージェントがデータに依存しない特徴抽出器を保持する第２の投票に基づくＤＰＦＬ計算を採用することによって、第２のグローバルサーバからのラベル付けされていないデータの第２のサブセットをラベル付けするステップと、インスタンスレベルとエージェントレベルとの両方のプライバシー体制について証明可能な差分プライバシー（ＤＰ）保証を提供するために、前記第１の疑似ラベル付けデータと前記第２の疑似ラベル付けデータとを用いてグローバルモデルを訓練するステップ（１０３０）とを実行させる。

【0006】

一般的なラベル空間投票に基づく差分プライベート連合学習（ＤＰＦＬ）フレームワークを採用するためのシステムが提示される。このシステムは、メモリと、前記メモリと通信する１つ以上のプロセッサとを有し、該プロセッサは、第１の疑似ラベル付けデータを生成するために、各エージェントがエージェントに関連するプライベートローカルデータを使用してローカルエージェントモデルを訓練する第１の投票に基づくＤＰＦＬ計算を採用することによって、第１のグローバルサーバからのラベル付けされていないデータの第１のサブセットをラベル付けし、第２の疑似ラベル付けデータを生成するために、各エージェントがデータに依存しない特徴抽出器を保持する第２の投票に基づくＤＰＦＬ計算を採用することによって、第２のグローバルサーバからのラベル付けされていないデータの第２のサブセットをラベル付けし、インスタンスレベルとエージェントレベルとの両方のプライバシー体制について証明可能な差分プライバシー（ＤＰ）保証を提供するために、前記第１の疑似ラベル付けデータと前記第２の疑似ラベル付けデータとを用いてグローバルモデルを訓練する（１０３０）ように構成されている。

【0007】

これらおよび他の特徴および利点は、添付の図面と関連して読まれる、その例示的な実施形態の以下の詳細な説明から明らかになるであろう。

【図面の簡単な説明】

【0008】

本開示は、以下の図を参照して、好ましい実施形態の以下の説明において詳細を提供する。

【0009】

【図1】本発明の実施形態による、例示的な一般的ラベル空間投票に基づく差分プライベート連合学習（ＤＰＦＬ）フレームワークのブロック／フロー図である。

【0010】

【図2】本発明の実施形態による、一般的なラベル空間投票に基づくＤＰＦＬフレームワークの例示的な処理フローを示すブロック／フロー図である。

【0011】

【図3】本発明の実施形態による、例示的な集計アンサンブルＤＰＦＬ（ＡＥ－ＤＰＦＬ）アーキテクチャおよびｋ近傍法ＤＰＦＬ（ｋＮＮ－ＤＰＦＬ）アーキテクチャのブロック／フロー図である。

【0012】

【図4】本発明の実施形態による、一般的なラベル空間投票に基づくＤＰＦＬフレームワークを採用するための例示的な実用例である。

【0013】

【図5】本発明の実施形態による、一般的なラベル空間投票に基づくＤＰＦＬフレームワークを採用するための例示的な処理システム図である。

【0014】

【図6】本発明の実施形態による、一般的なラベル空間投票に基づくＤＰＦＬフレームワークを採用するための例示的な方法のブロック／フロー図である。

【発明を実施するための形態】

【0015】

連合学習（ＦＬ）は、幅広い用途を持つ分散型機械学習の新たなパラダイムである。ＦＬは、分散したエージェントがそれぞれのローカルデータを共有することなく、中央の機械学習モデルを共同で学習することを可能にする。これにより、機械学習に基づく製品やサービスを構築する目的で、個人ユーザのデータを収集する際に生じる倫理的・法的問題を回避することができる。

【0016】

ＦＬのワークフローは、通信プロトコルにおける様々な脅威モデルを扱うように、安全なマルチパーティ計算（ＭＰＣ）によってしばしば強化され、これは、エージェントが計算の出力（例えば、勾配の合計）を受け取ることができるがその間のもの（例えば、他のエージェントの勾配）は受け取れないことを証明的に保証するものである。

【0017】

しかし、ＭＰＣだけでは、出力のみを使用したり、出力を補助情報と組み合わせたりする推論攻撃から、エージェントやそのユーザを保護することはできない。広範な研究により、これらの攻撃は、専有データセットの露骨な再構築、高信頼性の個人識別（参加エージェントの法的責任）、あるいは社会保障番号の補完につながる可能性があることが実証されている。このような課題に動機づけられ、最近では、このような攻撃を証明可能に防ぐプライバシーの定義として確立された差分プライバシー（ＤＰ）を持つ連合学習法の開発が盛んに行われている。

【0018】

差分プライベート連合学習（ＤＰＦＬ）における既存の方法、例えばＤＰ－ＦｅｄＡｖｇおよびＤＰ－ＦｅｄＳＧＤは、主にノイジー勾配に基づく方法であり、（非連合）ＤＰ学習における古典的アルゴリズムであるＮｏｉｓｙＳＧＤ法を基に構築されるものである。これは、個々のエージェントからの（多）勾配更新を差分的にプライベートなメカニズムで反復的に集計することで機能する。このようなアプローチでは、勾配のｌ₂倍を閾値Ｓでクリッピングし、共有されたグローバルモデルからの高次元パラメータの各座標にＳに比例したノイズを加える必要があることが顕著な制限となる。クリッピングと摂動のステップは、大きなバイアス（Ｓが小さい場合）または大きな分散（Ｓが大きい場合）をもたらし、ＳＧＤの収束を妨害するため、大容量モデルへのスケーリングが困難となります。例示的な方法は、ＦｅｄＡｖｇが勾配クリッピングを使用して損失関数を減少させることに失敗する可能性があり、ＤＰ－ＦｅｄＡｖｇが差分プライバシーの下で収束するために多くの外側ループ反復（例えば、モデルパラメータの同期のための多くのラウンドの通信）を必要とすることを説明する。

【0019】

それに鑑み、例示的な実施形態は、Ｋｎｏｗｌｅｄｇｅ Ｔｒａｎｓｆｅｒモデル（Ｍｏｄｅｌ－Ａｇｎｏｓｔｉｃ Ｐｒｉｖａｔｅ学習モデルとも呼ばれる）として知られる根本的に異なるＤＰ学習設定を導入する。このモデルでは、ラベルのないデータセットがクリアに利用できることが必要であり、この設定はやや制限されることになる。しかし、そのような公開データセットが実際に利用できる場合（ドメイン適応を伴う連合学習ではしばしばそうなる）、ＤＰ学習におけるプライバシーと実用性のトレードオフを大幅に改善できる可能性がある。

【0020】

目的は、知識移転モデルの下でＤＰＦＬアルゴリズムを開発することであり、そのために、非分散型Ｐｒｉｖａｔｅ－Ａｇｇｒｅｇａｔｉｏｎ－ｏｆ－Ｔｅａｃｈｅｒ－Ｅｎｓｅｍｂｌｅｓ（ＰＡＴＥ）およびＰｒｉｖａｔｅ－ｋＮＮからＦＬ設定へとさらに発展する２つのアルゴリズムまたは計算（ＡＥ－ＤＰＦＬおよびｋＮＮ－ＤＰＦＬ）が導入されている。例示的な手法は、これらのアルゴリズムの特徴的な特性により、ＤＰＦＬのタスクに自然で非常に望ましいものであることを発見している。具体的には、パラメータ（勾配）空間ではなく、（一発）ラベル空間での「投票数」を非公開で集計することになった。これにより、前述した高次元の問題や勾配のクリッピングを自然に回避することができる。勾配の更新を送信する代わりに、「投票数」の投票を送信することで、通信コストを削減することができる。さらに、ＳＧＤを用いたノイズ付加によるモデル更新を何度も繰り返すと、プライバシーの保証が甘くなるが、本手法はこの状況を回避し、ラベルに対する投票を用いているため、従来のＤＰＦＬ手法を大きく上回る性能を実現している。

【0021】

貢献度をまとめると、以下のようになる。

【0022】

例示的な方法は、ＤＰＦｅｄＡｖｇが勾配クリッピングにより失敗する可能性があり、多くのラウンドの通信を必要とすることを示すために例を構築するが、例示的な方法は、両方の制限を当然回避することが可能である。

【0023】

例示的な方法は、エージェントレベルおよび（各エージェントの）インスタンスレベルの粒度の両方において証明可能なＤＰ保証を提供する２つの投票ベースの分散アルゴリズムまたは計算を設計し、これは、ＦＬのよく研究された体制、すなわち、オンデバイスデータからの分散学習および少数の大規模組織のコラボレーションの両方にそれらを適するようにさせる。

【0024】

例示的な方法は、新しいＭＰＣ技術による「ＡｒｇＭａｘによるプライバシー増幅」を示し、提案された私的投票メカニズムは、「勝者」が大差で勝利したときに指数関数的に強い（データ依存の）プライバシー保証を享受している。

【0025】

広範な評価により、例示的な方法は、ＤＰ－ＦｅｄＡｖｇおよびＤＰ－ＦｅｄＳＧＤよりもプライバシー有用性のトレードオフを系統的に改善し、例示的な方法は、エージェント間の分散シフトに対してより堅牢であることが実証される。

【0026】

ＡＥ－ＤＰＦＬおよびｋＮＮ－ＤＰＦＬは、アルゴリズム的には元のＰＡＴＥおよびＰｒｉｖａｔｅ－ＫＮＮに似ているが、新しい分野、すなわち連合学習に適用されるため、同じではない。ファシリテーションそのものは自明ではなく、かなりの技術革新が必要である。

【0027】

例示的な方法は、以下の課題を浮き彫りにする。

【0028】

そもそも、標準的な設定におけるＰＡＴＥおよびＰｒｉｖａｔｅ－ｋＮＮの成功に寄与するいくつかの重要なＤＰ技術は、もはや適用できない（例えば、サンプリングによるプライバシー増幅およびノイジースクリーニング）。これは、標準的なプライベート学習では、攻撃者は最終的なモデルしか見ないが、ＦＬでは、攻撃者はすべてのネットワークトラフィックを盗聴でき、エージェント自身のサブセットである可能性もあるためである。

【0029】

さらに、ＰＡＴＥとＰｒｉｖａｔｅ－ｋＮＮは、インスタンスレベルのＤＰを提供するだけである。その代わり、ＡＥ－ＤＰＦＬとｋＮＮ－ＤＰＦＬはより強いエージェントレベルＤＰを満たす。ＡＥ－ＤＰＦＬのエージェントレベルのＤＰパラメータは、インスタンスレベルのＤＰパラメータよりも２倍優れているのが興味深い。ｋＮＮ－ＤＰＦＬは、さらにインスタンスレベルのＤＰをｋ倍に増幅することができる。

【0030】

最後に、ＦＬの課題は、個々のエージェントのデータの不均一性である。ＰＡＴＥのような方法は、各教師が同一分布になるようにデータセットをランダムに分割するが、異質なエージェントではこの仮定が破られる。同様に、Ｐｒｉｖａｔｅ－ｋＮＮのような手法も、均質な環境下でのみ実証されている。一方、例示的な手法（ＡＥ－ＤＰＦＬおよびｋＮＮ－ＤＰＦＬ）は、データの不均一性やドメインシフトに対して頑健性を示す。

【0031】

例示的な方法は、連合学習および差分プライバシーの表記を導入することから始める。次に、２つの異なるレベルのＤＰ定義を導入することで、ＤＰＦＬの背景として、ＤＰ－ＦｅｄＡｖｇとＤＰ－ＦｅｄＳＧＤという２つのランダムな勾配ベースのベースラインを導入する。

【0032】

まず始めに、連合学習に関して、例示的な方法は、Ｎ個のエージェントを考慮し、各エージェントｉは、ｎ_i個の、当事者特有のドメイン分布Ｄ_i∈Ｘ×Ｙからローカルかつプライベートに保たれたデータを持つ。ここで、Ｘは特徴空間を表し、Ｙ＝｛０，．．．，Ｃ－１｝はラベルを表す。

【0033】

問題設定について、目的は、ローカルエージェントデータを集中化することなく、サーバ分布Ｄ_G上で良好な性能を発揮するプライバシー保護グローバルモデルを訓練することである。例示的な実施形態は、サーバ分布Ｄ_Gからの独立かつ同一に分布する（Ｉ．Ｉ．Ｄ）サンプルを含むラベル付けされていないデータセットへのアクセスを想定している。これは「不可知論的連合学習」の文献にある標準的な仮定であり、Ｄ_Gを全エージェントの連合に対する均一なユーザ分布に固定するよりも柔軟である。Ｄ_Gの選択はアプリケーションに依存し、正確さ、公平さ、個人化の必要性など、学習目的に対する様々な配慮を表している。この設定は、マルチソース領域適応問題に密接に関連しているが、ソース（ローカル）データへのアクセスが制限されているため、より困難である。

【0034】

ＦＬベースラインについて、ＦｅｄＡｖｇはＤＰ保証のない何も操作されていない連合学習アルゴリズムである。各通信ラウンドでは、確率qでエージェントの一部がサンプリングされる。選択された各エージェントは共有されたグローバルモデルをダウンロードし、確率的勾配降下法（ＳＧＤ）を用いてＥ回繰り返し、ローカルデータで微調整を行う。この局所的な更新処理を内側ループと表記する。そして、勾配のみがサーバに送られ、選択されたすべてのエージェントで平均化され、グローバルモデルが改善される。Ｔ回の通信ラウンドを経て、グローバルモデルが学習される。各通信ラウンドは１つの外側ループと表記する。

【0035】

連合学習における差分プライバシーについて、差分プライバシーとは、プライベートデータセットにおける個人の特定に対して証明可能な保証を提供するプライバシーの定量化可能な定義である。

【0036】

差分プライバシーに関する最初の定義は、次のように与えられる：領域Ｄおよび範囲Ｒを有するランダム化メカニズムＭ：Ｄ→Ｒは、任意の２つの隣接するデータセットＤ，Ｄ’∈Ｄおよび出力の任意の部分集合Ｏ⊆Ｒに対して、Ｐｒ［Ｍ（Ｄ）∈Ｏ］≦ｅ^εＰｒ［Ｍ（Ｄ’）∈Ｏ］＋δが成り立つ場合、（ε，δ）差分プライバシーを満足させる。

【0037】

この定義によれば、人はＤとＤ’とを区別することができないため、Ｄ，Ｄ’の間の「差分」が保護されることになる。隣接の定義によって、この「差分」は異なる意味を持ってくる。例示的な方法は、２つのレベルの粒度を考慮する。

【0038】

エージェントレベルＤＰのための第２の定義は、次のように与えられる：Ｄ’がＤからエージェントを追加または削除することによって構築されるとき（そのエージェントからのすべてのデータ点を有する）。

【0039】

第３の定義として、インスタンスレベルＤＰの場合、次のように与えられる：Ｄ’がエージェントのいずれかから１つのデータ点を追加または削除することによって構築されるとき。

【0040】

上記の２つの定義は、それぞれ特定の状況において重要である。例えば、スマートフォンのアプリがユーザのテキストメッセージを共同で学習する場合、各ユーザを単位として保護することが適切であり、これはエージェントレベルのＤＰである。また、複数の病院が連携して連合学習を用いて患者研究を行う場合、１つの病院のデータセット全体を難読化しても意味がないため、患者個人が特定されないようにするためには、インスタンスレベルのＤＰが適していると考えられる。

【0041】

ＤＰＦＬのベースラインについて、代表的なＤＰＦＬアルゴリズムであるＤＰ－ＦｅｄＡｖｇ（以下に再現するアルゴリズム１）は、ＦｅｄＡｖｇと比較すると、ＤＰ－ＦｅｄＡｖｇはエージェント毎のモデルの勾配の閾値Ｓへのクリッピング（アルゴリズム１のステップ３；ＮｏｉｓｙＵｐｄａｔｅ）とサーバで平均化する前にスケーリングした勾配にノイズを加えること、それによりエージェントレベルのＤＰを確保することを実施するものである。ＤＰ－ＦｅｄＳＧＤ、インスタンスレベルのＤＰにフォーカスする。ＤＰ－ＦｅｄＳＧＤは、各エージェントにおいて一定の反復回数でＮｏｉｓｙＳＧＤを実行する。勾配の更新は、サーバでの通信ラウンドごとに平均化される。

【数1】

【0042】

マルチパーティ計算（ＭＰＣ）については、ＭＰＣはサーバが受信する前にローカルアップデートを安全に集計する暗号技術である。ＭＰＣは差分プライバシー保証を持たないが、ＤＰと組み合わせることで、プライバシー保証を増幅することができる。具体的には、各当事者が貢献した部分に独立した小さなノイズを加えれば、攻撃者がネットワークメッセージを盗聴してサーバをハッキングしたとしても、その合計値しか観測できないことをＭＰＣは保証する。例示した方法は、投票された勝者のみを公開し、投票スコアを完全に隠蔽する新しいＭＰＣ技術を考慮したものである。これにより、例示した方法は、ＤＰ保証をさらに増幅させることができる。

【0043】

差分プライバシーにおける知識移転モデルについては、モデル不可知プライベート訓練のための知識移転モデルとして、ＰＡＴＥとＰｒｉｖａｔｅ－ｋＮＮがある。ラベル付きプライベートデータセットＤｐｒｉｖａｔｅとラベル付けされていないパブリックデータセットＤ_Gとを想定している。その目的は、プライベートデータセットの不連続なパーティションで学習した教師モデルのアンサンブルを活用し（ＰＡＴＥ参照）、またはｋ－ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒのプライベートリリースを活用して（プライベートｋＮＮ参照）、ラベル付けされていないパブリックデータのシーケンスをラベル付けすることである。

【0044】

ノイズの多いスクリーニングとサブサンプリング（以下に再現するアルゴリズム２）は、ＰＡＴＥとＰｒｉｖａｔｅ－ｋＮＮのプライバシーとユーティリティとのトレードオフを改善する２つの基本的な技術である。サブサンプリング処理により、Ｐｒｉｖａｔｅ－ｋＮＮのプライバシー保証は増幅される。ノイズの多いスクリーニングステップでは、より大規模なガウスノイズ（アルゴリズム２ではσ₀＞σ₁）を追加し、クエリがスクリーニングに合格した場合に、より信頼性の高いノイジー予測をリリースする。しかし、より脅威的な敵のモデルや新しいＤＰ設定（エージェントレベルおよびインスタンスレベルのＤＰ）のため、ＤＰＦＬの設定ではもはや適用できない。例えば、各クライアントのローカルデータをサブサンプリングしても、インスタンスレベルのＤＰは素直に増幅されないし、ノイズの多いスクリーニングは通信コストを２倍にする可能性がある。

【数2】

【0045】

例示的なアプローチを紹介する前に、勾配推定、収束、およびデータの不均一性の観点から、従来のＤＰＦＬ法における課題を明らかにすることによって、その背後にある動機を強調する。

【0046】

第１の課題は、偏った勾配推定に関するものである。最近の研究では、ＦｅｄＡｖｇはデータの不均一性の下ではうまく収束しない可能性があることが示されている。ＤＰＦｅｄＡｖｇのクリッピングステップが問題を悪化させる可能性があることを示す例を紹介する。

【0047】

Ｎ＝２とすると、各エージェントｉのローカル更新は、Δ_i（ＳＧＤのＥ反復）である。エージェント毎の更新Δ_iのクリッピングは、

【数3】

を実行することで強制される。ここで、Ｓはクリッピング閾値である。

【数4】

である場合の特殊なケースを考える。そうすると、グローバルアップデートは、偏ったもの

【数5】

になる。

【0048】

ＦｅｄＡｖｇの更新

【数6】

と比較すると、偏った更新は０（動いていない）または反対方向を向いている可能性がある。このような単純な例は、より現実的な問題に埋め込まれ、収束しないことにつながる実質的なバイアスを引き起こす可能性がある。

【0049】

第２の課題は、収束の遅さに関するものである。ＦＬの収束解析に続き、ＤＰ－ＦｅｄＡｖｇの収束解析を行い、外側ループの反復回数（Ｔ）を多くすると、差分プライバシーで同様の収束問題が発生することを示した。

【0050】

ＦｅｄＡｖｇの魅力は、Ｅを大きく設定することで、各エージェントがＥ回の反復を行い、グローバルモデルへのパラメータ同期前に自身のパラメータを更新し、その結果、通信のラウンド数を削減することである。Ｅを増加させる効果は、断片的な線形目的関数を持つ最適化問題の大家族に対して、本質的に学習率を増加させることであり、収束率は変わらないことが示された。具体的には、Ｂ－境界領域に支持されたＧ－Ｌｉｐｓｃｈｉｔｚ関数族に対して、任意のＫｒｙｌｏｖ空間法はΩ(ＢＧ/√Ｔ)で下限される収束率を有することが知られている。これは、ＦｅｄＡｖｇの変形がαの定常点に収束するためには、Ω(１／α²)回の外側ループ（通信）を必要とすること、つまり、ノイズを加えない場合でも、Ｅを増加させても意味がないことを示している。

【0051】

また、ＤＰ－ＦｅｄＡｖｇは、勾配ノイズがＮ（０，σ²／Ｎ Ｉ_d）であるピースワイズ線形目的関数のほぼ全ての位置において、確率的サブ勾配法と本質的に同じであることを示している。ＤＰ－ＦｅｄＡｖｇでは、ノイズが加わることで、収束にさらなる困難が生じる。Ｔラウンドを実行し、（ε，δ）－ＤＰを達成する場合、

【数7】

となる。

【0052】

その結果、収束率上限は、以下のようになる。

【数8】

【0053】

【数9】

【0054】

これは、学習率Ｅηの最適な選択についてのものである。

【0055】

上記の境界は、確率的サブ勾配法ではタイトであり、また情報理論的に最適である。上限のＧＢ√Ｔの部分は、確率的サブ勾配オラクルのＴ回呼び出しを持つ全ての手法の情報理論的下界に一致する。一方、後者はエージェントレベルでは全ての（ε，δ）差分プライベート法に対する情報理論的な下界に一致する。つまり、第１項は通信のラウンド数が多いことを示し、第２項はＤＰ－ＦｅｄＡｖｇでは周囲の次元ｄの依存性が避けられないことを示している。また、例示した方法は、最悪の場合、このような依存性を持つ。しかし、データに存在する構造（例えば、投票間の高いコンセンサス）に適応するのは、例示的なアプローチの方が簡単である。一方、ＤＰ－ＦｅｄＡｖｇでは、分散Ω(ｄ)のノイズを明示的に加える必要があるため、影響が大きくなる。また、Ｎが小さい場合、ε，δパラメータが妥当なＤＰ手法では、エージェントレベルＤＰの精度を高くすることができないという観察結果もある。

【0056】

第３の課題は、データの不均一性に関するものである。領域適応を伴うＦＬが研究されており、各ソース（エージェント）からの寄与を協調的に調整する動的注意モデルが提案されている。しかし、ほとんどのマルチソース領域適応アルゴリズムでは、ターゲット領域に対してローカル特徴ベクトルを共有する必要があり、ＤＰの設定と相性が悪い。ＤＰ－ＦｅｄＡｖｇを効果的なドメイン適応技術で強化することは、未解決の課題である。

【0057】

上記の課題を軽減するために、例示的な実施形態は、「ＡＥ－ＤＰＦＬ」および「ｋＮＮ－ＤＰＦＬ」という２つの投票に基づくアルゴリズムまたは計算を提案する。各アルゴリズムは、まずサーバからのデータのサブセットを非公開でラベル付けし、次に疑似ラベル付けされたデータを用いてグローバルモデルを学習する。

【0058】

ＡＥ－ＤＰＦＬ（以下に再現するアルゴリズム３）において、各エージェントｉは、自身のプライベートなローカルデータを用いてローカルエージェントモデルｆ_iを訓練する。ローカルモデルはサーバには公開されず、ラベルのないデータ（クエリー）に対する予測にのみ使用される。各クエリｘ_tについて、各エージェントｉは予測にＧａｕｓｓｉａｎ Ｎｏｉｓｅを加える（例えば、バイナリデータが１であるｆ_i（ｘ_t）番目を除いて、各バイナリデータが０となるＣ次元のヒストグラム）。「疑似ラベル」は、ローカルエージェントからのノイズの多い予測を集計して返される多数決で実現される。

【数10】

【0059】

インスタンスレベルＤＰについては、１つのインスタンスを追加または削除することによって、最大でも１つのエージェントの予測を変更することができるという側面において、例示的な方法の精神はＰＡＴＥと共通である。また、１つのエージェントを追加したり削除したりする場合にも、当然同じ論法が適用される。実際、例示的な方法は、模範的なアプローチでは感度が小さいため、より強いエージェントレベルのＤＰでは２倍程度になる。

【0060】

別の重要な違いは、元のＰＡＴＥでは、教師モデルはＩ.Ｉ.Ｄデータ（全プライベートデータのランダムな分割）上で訓練されるが、現在の例示的なケースでは、エージェントは異なる分布で自然に存在することである。例示的な方法は、エージェントを訓練する際に、これらの差異を緩和するために領域適応技術をオプションで使用することを提案する。

【0061】

第２および第３の定義から、エージェントレベルＤＰの保存は、一般にインスタンスレベルＤＰよりも困難である。ＡＥ－ＤＰＦＬでは、インスタンスレベルのＤＰのプライバシー保証はエージェントレベルのＤＰの保証より弱いことがわかった。インスタンスレベルのＤＰを増幅するために、ｋＮＮ－ＤＰＦＬを導入する。

【0062】

以下に再現するアルゴリズム４では、各エージェントはデータに依存しない特徴抽出器φ、すなわち分類器層を除いたＩｍａｇｅＮｅｔ事前学習済みネットワークを保持している。各ラベルなしクエリｘ_tに対して、エージェントｉはまず、特徴空間

【数11】

におけるＥｕｃｌｉｄｅａｎ距離を測定することによって、そのローカルデータからｘ_tに対するｋ_i個の最近傍を見つける。次に、ｆ_i（ｘ_t）は、

【数12】

に等しい、最近傍から投票の頻度ベクトルを出力する。ここで、ｙ_j∈Ｒ^Cは真実のラベルのワンホットベクトルを示す。その後、すべてのエージェントからのｆ_i（ｘ_i）がサーバに返されたノイズの多い投票スコアのａｒｇｍａｘと非公開で集計される。

【数13】

【0063】

アルゴリズム２との強調された違いの他に、ｋＮＮ－ＤＰＦＬは、例示的な実施形態が、プライベートデータセット全体ではなく各エージェントのローカルデータに対してｋＮＮを適用するという点で、プライベートｋＮＮと異なっている。この区別とＭＰＣにより、例示的な方法は、個々のエージェントの寄与をｋで制限しながら、最大ｋＮ個の隣接を受信することができる。ＡＥ－ＤＰＦＬと比較すると、１つのインスタンスの追加や削除による感度がエージェントレベルの感度のｋ／２倍未満と小さいため、より強いインスタンスレベルのＤＰ保証を享受することができる。

【0064】

プライバシー解析については、Ｒｅｎｙｉ差分プライバシー（ＲＤＰ）に基づくプライバシー解析を行っている。

【0065】

Ｒｅｎｙｉ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｐｒｉｖａｃｙ（ＲＤＰ）の定義５に関して、ランダム化アルゴリズムＭは、隣接するデータセットＤ，Ｄ’に対して、順序α≧１の（α，ε（α））のＲＤＰである。

【数14】

【0066】

ＲＤＰはＤＰの情報理論的性質を継承および一般化したものであり、ＤＰ－ＦｅｄＡｖｇおよびＤＰ－ＦｅｄＳＧＤでプライバシー解析に利用されているものである。注目すべきは、ＲＤＰが自然に構成され、すべてのδ＞０に対して標準的な（ε，δ）のＤＰを含意していることである。

【0067】

レンマ６、ＲＤＰの構成特性について、Ｍがε_M（・）のＲＤＰに従うなら

【0068】

【数15】

である。

【0069】

この合成規則では、強い合成定理よりも、合成された機構の（ε，δ）のＤＰの計算を厳しくできることが多い。さらに、ＲＤＰは、任意のδ＞０を用いて、（ε，δ）のＤＰに変換することができる。

【0070】

レンマ７について、ＲＤＰからＤＰへ、ランダム化アルゴリズムＭが（α，ε（α））のＲＤＰを満たす場合、Ｍはまた任意のδ∈（０，１）について

【数16】

のＤＰを満たす。

【0071】

定理８、プライバシー保証について、ＡＥ－ＤＰＦＬとｋＮＮ－ＤＰＦＬがノイズスケールσでＱクエリに回答するとする。エージェントレベルの保護については、両アルゴリズムとも、すべてのα≧１について

【数17】

のＲＤＰを保証する。インスタンスレベルの保護では、ＡＥ－ＤＰＦＬとｋＮＮ－ＤＰＦＬとが

【数18】

と

【数19】

のＲＤＰのそれぞれに従う。

【0072】

証明は以下の通りである：ＡＥ－ＤＰＦＬにおいて、クエリxに対して、付加されるノイズの独立性により、ノイズ和は、

【数20】

に同一に分散される。

【0073】

データインスタンスを１つ追加または削除することは、Ｌ２において最も大きな√２よって

【数21】

を変更する。これは、ｆ_i（ｘ）がクラスａからクラスｂへ変わることで、総和のａ番目とｂ番目のバイナリデータが同時に変化する可能性があるためである。したがって、Ｇａｕｓｓｉａｎメカニズムは、Ｌ２感度ｓ＝√２で、すべてのα≧１について、インスタンスレベルで（α，αｓ²／２σ²）のＲＤＰを満たすことになる。

【0074】

エージェントレベルでは、１つのエージェントを追加または削除した場合、Ｌ２およびＬ１の感度は共に１となる。これは、１つのエージェントを追加または削除しても、総和のｆ_i（ｘ）番目のバイナリデータを１つ追加または削除するだけだからである。

【0075】

ｋＮＮ－ＤＰＦＬでは、ノイズの多い総和は、

【数22】

に同一に分散される。

【0076】

このことは、ＡＥ－ＤＰＦＬと同じＬ２感度であり、同じエージェントレベルの保護機能を持つことを意味する。一方、１つのインスタンスの追加または削除によるＬ２感度は、そのインスタンスが別のインスタンスに置き換わることにより、Ｌ２における

【数23】

によってスコアが変化し、これは、

【数24】

の要素によってεを削減するインスタンスレベルＤＰの改良による。

【0077】

全体的なＲＤＰ保証は、Ｑクエリに対する構成に従う。近似ＤＰ保証は、標準的なＲＤＰからＤＰへの変換式

【数25】

および最適に選択するαに従う。

【0078】

定理８は、両アルゴリズムがエージェントレベルおよびインスタンスレベルの差分プライバシーを達成することを示唆する。エージェントの出力に同じノイズを注入した場合、ｋＮＮ－ＤＰＦＬはエージェントレベルの保証に比べてインスタンスレベルＤＰの保証が強く（ｋ／２倍）、ＡＥ－ＤＰＦＬのインスタンスレベルＤＰの保証は２倍弱くなる。ＡＥ－ＤＰＦＬは領域適応技術による拡張が容易であるため、実験ではエージェントレベルＤＰにＡＥ－ＤＰＦＬを、インスタンスレベルＤＰにｋＮＮ－ＤＰＦＬを適用することを選択した。

【0079】

また、精度やプライバシーが大きく向上している。

【0080】

ｆ₁，．．．，ｆ_N：Ｘ→Δ^C-1とすると、Δ^C-1は、確率シンプレックス、すなわち、ソフトラベル空間を表す。なお、両方の例示的なアルゴリズムは、Δ^C-1の確率分布を出力するこれらのローカルエージェントの投票と見なすことができることに注意されたい。まず、最大座標と２番目に大きな座標との差を測定するマージンパラメータγ（ｘ）を次のように定義する。

【0081】

【数26】

【0082】

レンマ９に関して、ローカルエージェントの条件付けでは、各サーバデータ点ｘについて、

【数27】

の各座標に付加されるノイズがＮ（０，σ²／Ｎ²）から引き出され、確率≧

【数28】

で私的にリリースされたラベルがノイズなしで多数決に一致する。

【0083】

この証明は、Ｇａｕｓｓｉａｎ尾部境界およびＣ座標上の組合わせ境界をそのまま適用したものである。このレンマは、

【数29】

のようなすべての公開データ点ｘに対して、出力ラベルは少なくとも１－δの確率でノイズのない多数決に一致することを意味する。

【0084】

次に、例示的な方法は、γ（ｘ）が大きいようなそれらのデータ点xについて、

【数30】

を解放するためのプライバシー損失が指数関数的に小さくなることを示している。この結果は、以下のプライバシー増幅のレンマに基づくものである。

【0085】

レンマ１０について、Ｍが（２α，ε）のＲＤＰを満たすとする。そして、ＤにＭが適用されると、確率１－ｑで起こるシングルトン出力が存在する。その結果、Ｄに隣接する任意のＤ’に対して、Ｒｅｎｙｉ発散は次のように与えられる。

【数31】

【0086】

証明は以下のように行われる。Ｐ，ＱをそれぞれＭ（Ｄ）およびＭ（Ｄ’）の分布とし，Ｅをシングルトン出力が選択される事象とする。

【数32】

【0087】

２行目の前半は、事象ＥがＱのもとで１－ｑより大きな確率でシングルトンであり、Ｐのもとではその確率が常に１よりも小さいことを利用したものである。２行目の後半は、ＣａｕｃｈｙＳｃｈｗａｒｔｚの不等式から導かれる。３行目は（２α，ε）のＲＤＰの定義を代入しています。最後に、Ｒｅｎｙｉ発散の定義により、前述の結果が得られる。

【0088】

定理１１について、各公開データ点ｘについて、

【数33】

を解放する機構が（α，ε）データ従属ＲＤＰに従う。ここで、

【数34】

である。

【0089】

ここで、エージェントレベルのＤＰを用いたＡＥ－ＤＰＦＬの場合はｓ＝１、インスタンスレベルのＤＰを用いたＫＮＮ－ＤＰＦＬの場合はｓ＝２／ｋとする。

【0090】

証明は、レンマ９から

【数35】

をレンマ１０に代入し、ＲＤＰの後処理レンマからＭがＧａｕｓｓｉａｎ機構のＲＤＰを満たすという事実を利用する。境界式は読みやすくするために簡略化されており、すべてのｘ＞－０．５および（１－ｑ）^α-1≦１に対して－ｌｏｇ（１－ｘ）＜２ｘを使用している。

【0091】

この境界は、投票スコアのマージンが大きいとき、エージェントはエージェントレベルとインスタンスレベルとの両方で指数関数的に強いＲＤＰ保証を享受することを意味する。つまり、例示的な方法は、ＤＰ－ＦｅｄＡｖｇとは異なり、モデル次元ｄへの明示的な依存を回避し、ローカルエージェントからの投票が高いコンセンサスを得たときに「簡単なデータ」の恩恵を受けられる可能性があるのだ。

【0092】

ＭＰＣ－ｖｏｔｅは、すべての当事者（ローカルエージェント、サーバー、攻撃者）がａｒｇｍａｘのみを観察し、ノイズの多い投票スコア自体を観察しないことを保証するため、定理１１が可能である。最後に、各エージェントは同期を取らずに独立して動作する。全体として、例示的な方法は、（エージェントごとの）アップストリーム通信コストをｄ・Ｔフロート（モデルサイズ×Ｔラウンド）からＣ・Ｑに削除する。ここでＣはクラス数、Ｑはデータ点数である。

【0093】

図１について、アーキテクチャ１００では、フレームワークがＰＡＴＥ－ＦＬであれば、それぞれがローカルデータを持つ多数のローカルエージェントを用いて各ローカルモデルを学習し、フレームワークがＰｒｉｖａｔｅ－ｋＮＮ－ＦＬであれば、すべてのローカルエージェントがグローバルモデルを共有する。すなわち、エージェントの数が限られている場合はＰｒｉｖａｔｅ－ｋＮＮ－ＦＬを、エージェントの数が十分な場合はＰＡＴＥ－ＦＬを実行するという、異なる状況に対応する２つのパイプラインを提示する。グローバルサーバのラベル付けされていないデータは、疑似ラベル化のために各ローカルエージェントに供給される。グローバルサーバーモデルの学習は、グローバルデータと全エージェントのラベル集計による疑似ラベルのフィードバックを活用する。

【0094】

図２について、投票に基づくＤＰＦＬ２００は、グローバルサーバーモデル２１０とローカルエージェントモデル２２０とを含む。ローカルエージェントモデル２２０は、インスタンスレベル２２２とエージェントレベル２２４とを含む。半教師ありグローバルモデル学習２３０の結果、ＤＰＦＬモデル出力２４０が得られる。

【0095】

図３について、ＡＥ－ＤＰＦＬ３０２とｋＮＮ－ＤＰＦＬ３０４とのアーキテクチャが示されている。

【0096】

要約すると、本発明の例示的な実施形態は、プライバシーを保護することができる連合学習フレームワークに焦点を当て、これは、差分プライバシー技術を適用して、プライバシー保存のための理論的かつ証明可能な保証を提供することによって達成される。従来の連合学習フレームワークでは、プライバシーを保護することができない。これは、ローカルデータがグローバルモデルの学習に完全に投入されているため、プライベートな情報がグローバルモデルの学習に注入されているためである。例示的な実施形態は、大規模または限られた量のエージェントに関して、２つの概念、すなわち、エージェントレベルの差分プライバシーおよびインスタンスレベルの差分プライバシーの下で、一般的なラベル空間投票に基づく差分プライベートＦＬフレームワークを紹介する。その範囲内で、例示的な方法は、インスタンスレベルおよびエージェントレベルの両方のプライバシー体制に対して証明可能なＤＰ保証を提供する２つのＤＰＦＬアルゴリズムまたは計算（ＡＥ－ＤＰＦＬおよびｋＮＮ－ＤＰＦＬ）を導入する。勾配を平均化するのではなく、各ローカルモデルから返されたデータラベルの間で投票を行うことで、例示したアルゴリズムや計算機は次元依存性を回避し、通信コストを大幅に削減する。理論的には、セキュアなマルチパーティ計算を適用することにより、例示的な実施形態は、投票スコアのマージンが特徴的である場合に、（データ依存の）プライバシー保証を指数関数的に増幅することができる。

【0097】

従来の勾配集計の代わりに、例示的な実施形態は、ラベル空間にわたって集計することを提案し、これは、勾配クリッピングによってもたらされる感度の問題だけでなく、連合学習における通信コストも大きく低減する。例示的な実施形態は、従来のＤＰＦＬ勾配ベースのアプローチよりもプライバシーとユーティリティとのトレードオフを改善する、実用的なＤＰＦＬソリューションを提供するものである。

【0098】

図４は、本発明の実施形態による、一般的なラベル空間投票に基づく差分プライベート連合学習（ＤＰＦＬ）フレームワークを採用するための実用的なアプリケーションのブロック／フロー図４００である。

【0099】

１つの実用的な例では、１つ以上のカメラ４０２は、処理されるデータ４０４を収集することができる。例示的な方法は、ＡＥ－ＤＰＦＬ３０２およびｋＮＮ－ＤＰＦＬ３０４を含む連合学習技術３００を採用する。結果４１０は、ユーザ４１４によって扱われるユーザインタフェース４１２に提供または表示することができる。

【0100】

図５は、本発明の実施形態による、一般的なラベル空間投票に基づく差分プライベート連合学習（ＤＰＦＬ）フレームワークを採用するための例示的な処理システムを示す図である。

【0101】

処理システムは、システムバス９０２を介して他の構成要素に動作可能に結合された少なくとも1つのプロセッサ（ＣＰＵ）９０４を含む。システムバス９０２には、ＧＰＵ９０５、キャッシュ９０６、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）９０８、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）９１０、入出力（Ｉ／Ｏ）アダプタ９２０、ネットワークアダプタ９３０、ユーザインタフェースアダプタ９４０、およびディスプレイアダプタ９５０が動作可能に結合されている。さらに、例示的な実施形態は、ＡＥ－ＤＰＦＬ３０２およびｋＮＮ－ＤＰＦＬ３０４を含む連合学習技術３００を採用する。

【0102】

記憶装置９２２は、Ｉ／Ｏアダプタ９２０によってシステムバス９０２に動作可能に結合される。記憶装置９２２は、ディスク記憶装置（例えば、磁気ディスク記憶装置、光ディスク記憶装置）、固体磁気装置等のいずれでも良い。

【0103】

トランシーバ９３２は、ネットワークアダプタ９３０によってシステムバス９０２に動作可能に結合される。

【0104】

ユーザ入力装置９４２は、ユーザインタフェースアダプタ９４０によってシステムバス９０２に動作可能に結合される。ユーザ入力装置９４２は、キーボード、マウス、キーパッド、画像キャプチャ装置、動作感知装置、マイク、先行する装置のうち少なくとも２つの機能を組み込んだ装置などのいずれであっても良い。もちろん、本発明の精神を維持しつつ、他のタイプの入力デバイスを使用することも可能である。ユーザ入力装置９４２は、同じ種類のユーザ入力装置であっても良いし、異なる種類のユーザ入力装置であっても良い。ユーザ入力装置９４２は、処理システムとの間で情報を入出力するために使用される。

【0105】

表示装置９５２は、表示アダプタ９５０によってシステムバス９０２に動作可能に結合される。

【0106】

もちろん、処理システムは、当業者が容易に思いつくように、他の要素（図示せず）を含むこともでき、また、特定の要素を省略することもできる。例えば、当業者であれば容易に理解できるように、その特定の実施態様に応じて、様々な他の入力装置および／または出力装置をシステムに含めることができる。例えば、様々なタイプの無線および／または有線の入力および／または出力装置を使用することができる。さらに、当業者であれば容易に理解できるように、様々な構成の追加のプロセッサ、コントローラ、メモリなどを利用することも可能である。処理システムのこれらおよび他の変形は、本明細書に提供される本発明の教示を考慮すれば、当業者によって容易に企図されるものである。

【0107】

図６は、本発明の実施形態による、一般的なラベル空間投票に基づく差分プライベート連合学習（ＤＰＦＬ）フレームワークを採用するための例示的な方法のブロック／フロー図である。

【0108】

ブロック１０１０において、第１の疑似ラベル付けされたデータを生成するために、各エージェントがエージェントに関連するプライベートローカルデータを使用してローカルエージェントモデルを訓練する第１の投票に基づくＤＰＦＬ計算を採用することによって、第１のグローバルサーバからのラベル付けされていないデータの第１のサブセットをラベル付けする。

【0109】

ブロック１０２０において、第２の疑似ラベル付けデータを生成するために、各エージェントがデータに依存しない特徴抽出器を保持する第２の投票に基づくＤＰＦＬ計算を採用することによって、第２のグローバルサーバからのラベル付けされていないデータの第２のサブセットをラベル付けする。

【0110】

ブロック１０３０において、インスタンスレベルとエージェントレベルとの両方のプライバシー体制について証明可能な差分プライベート（ＤＰ）保証を提供するために、第１および第２の疑似ラベル付けデータを使用してグローバルモデルを訓練する。

【0111】

本明細書で使用される場合、「データ」、「コンテンツ」、「情報」および同様の用語は、様々な例示的実施形態に従って捕捉、送信、受信、表示および／または保存することができるデータを指すために交換可能に使用することができる。したがって、このような用語の使用は、本開示の精神および範囲を制限するものと解釈されるべきではない。さらに、本明細書において、計算装置が別の計算装置からデータを受信することが記載されている場合、データは、別の計算装置から直接受信することができ、または例えば、１つまたは複数のサーバ、中継器、ルータ、ネットワークアクセスポイント、基地局、および／または同様のものなど、１つまたは複数の仲介計算装置を介して間接的に受信することができる。同様に、計算装置が別の計算装置へデータを送信することが本明細書に記載されている場合、データは、別の計算装置へ直接送信することができ、または例えば、１つまたは複数のサーバ、中継器、ルータ、ネットワークアクセスポイント、基地局、および／または同様のものなど、１つまたは複数の仲介計算装置を介して間接的に送信することができる。

【0112】

当業者には理解されるように、本発明の態様は、システム、方法またはコンピュータプログラム製品として具現化することができる。したがって、本発明の態様は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）、またはソフトウェアとハードウェアの態様を組み合わせた実施形態の形態をとることができ、これらはすべて、本明細書において一般に「回路」、「モジュール」、「計算機」、「装置」、「システム」として言及されることがある。さらに、本発明の態様は、その上に具現化されたコンピュータ可読プログラムコードを有する１つまたは複数のコンピュータ可読媒体に具現化されたコンピュータプログラム製品の形態をとることができる。

【0113】

１つ以上のコンピュータ可読媒体の任意の組合せを利用することができる。コンピュータ可読媒体は、コンピュータ可読信号媒体であっても良いし、コンピュータ可読記憶媒体であっても良い。コンピュータ可読記憶媒体は、例えば、電子、磁気、光学、電磁、赤外線、または半導体のシステム、装置、またはデバイス、またはこれらの任意の適切な組み合わせであっても良いが、これらに限定されるものではない。コンピュータ可読記憶媒体のより具体的な例（非網羅的なリスト）としては、１本以上のワイヤを有する電気接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラム可能読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光学データ記憶装置、磁気データ記憶装置、または前述の任意の適切な組み合わせなどがあるであろう。本書では、コンピュータ可読記憶媒体は、命令実行システム、装置、またはデバイスによって、またはそれらに関連して使用するためのプログラムを含む、または格納することができる任意の有形媒体とすることができる。

【0114】

コンピュータ可読信号媒体は、例えばベースバンドで、または搬送波の一部として、コンピュータ可読プログラムコードがそこに具現化された伝搬データ信号を含むことができる。このような伝搬信号は、電磁波、光学、またはそれらの任意の適切な組み合わせなど、様々な形態のいずれかを取ることができるが、これらに限定されるものではない。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体ではなく、命令実行システム、装置、またはデバイスで使用するためのプログラムを通信、伝播、または伝送することができる任意のコンピュータ可読媒体であって良い。

【0115】

コンピュータ可読媒体に具現化されたプログラムコードは、無線、有線、光ファイバーケーブル、ＲＦなど、または前述の任意の適切な組み合わせを含むがこれに限定されない任意の適切な媒体を使用して伝送することができる。

【0116】

本発明の態様のための動作を実行するためのコンピュータプログラムコードは、Ｊａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語などの従来の手続き型プログラミング言語などの１つまたは複数のプログラミング言語の任意の組み合わせで記述することができる。プログラムコードは、ユーザのコンピュータ上で完全に実行しても良いし、ユーザのコンピュータ上で部分的に、スタンドアロンソフトウェアパッケージとして実行しても良いし、ユーザのコンピュータ上で部分的におよびリモートコンピュータ上で部分的に、またはリモートコンピュータまたはサーバ上で完全に実行しても良い。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介してユーザのコンピュータに接続されても良く、または接続は（例えば、インターネットサービスプロバイダを使用してインターネットを介して）外部のコンピュータになされても良い。

【0117】

本発明の態様は、本発明の実施形態による方法、装置（システム）およびコンピュータプログラム製品のフローチャート図および／またはブロック図を参照して、以下に説明される。フローチャート図および／またはブロック図の各ブロック、並びにフローチャート図および／またはブロック図のブロックの組み合わせは、コンピュータプログラム命令によって実施できることが理解されるであろう。これらのコンピュータプログラム命令は、汎用コンピュータ、特殊用途コンピュータ、または他のプログラム可能なデータ処理装置のプロセッサに提供され、コンピュータまたは他のプログラム可能なデータ処理装置のプロセッサを介して実行される命令が、フローチャートおよび／またはブロック図のブロックまたはモジュールで指定された機能／動作を実施する手段を作り出すように、機械を製造することができる。

【0118】

これらのコンピュータプログラム命令は、コンピュータ、他のプログラム可能なデータ処理装置、または他の装置が特定の方法で機能するように指示することができるコンピュータ可読媒体に格納することもでき、コンピュータ可読媒体に格納された命令が、フローチャートおよび／またはブロック図のブロックまたはブロックまたはモジュールで指定される機能／動作を実施する命令を含む製造物品を製造するようにすることができる。

【0119】

コンピュータプログラム命令は、コンピュータ、他のプログラム可能なデータ処理装置、または他の装置にロードされて、コンピュータまたは他のプログラム可能な装置上で実行される命令が、フローチャートおよび／またはブロック図のブロックまたはブロックまたはモジュールで指定された機能／動作を実施するためのプロセスを提供するように、一連の動作ステップをコンピュータ実装プロセスを生成するために行わせることも可能である。

【0120】

本明細書で使用する「プロセッサ」という用語は、例えば、ＣＰＵ（中央処理装置）および／または他の処理回路を含むものなど、任意の処理装置を含むことを意図していることが理解される。また、「プロセッサ」という用語は、複数の処理装置を指す場合があり、処理装置に関連する様々な要素が他の処理装置で共有される場合があることも理解されたい。

【0121】

本明細書で使用する「メモリ」という用語は、例えば、ＲＡＭ、ＲＯＭ、固定メモリ装置（例えば、ハードドライブ）、取り外し可能なメモリ装置（例えば、ディスケット）、フラッシュメモリなどのプロセッサまたはＣＰＵに関連するメモリを含むことを意図している。このようなメモリは、コンピュータ読み取り可能な記憶媒体とみなすことができる。

【0122】

さらに、本明細書で使用される「入力／出力装置」または「Ｉ／Ｏ装置」という語句は、例えば、処理ユニットにデータを入力するための１つ以上の入力装置（例えば、キーボード、マウス、スキャナなど）、および／または処理ユニットに関連する結果を提示するための１つ以上の出力装置（例えば、スピーカー、ディスプレイ、プリンタなど）を含むことを意図するものである。

【0123】

上記は、あらゆる点で例示的かつ模範的であると理解されるが、制限的なものではなく、本明細書に開示された発明の範囲は、詳細な説明からではなく、特許法によって許される全幅に従って解釈される請求項から決定されるものである。本明細書に示され、説明された実施形態は、本発明の原理を例示するに過ぎず、当業者は、本発明の範囲および精神から逸脱することなく、様々な修正を実施することができることを理解されたい。当業者であれば、本発明の範囲と精神から逸脱することなく、様々な他の特徴の組み合わせを実施することができる。このように、特許法が要求する詳細さと特殊性をもって本発明の側面を説明したが、特許状によって請求され、保護されることを望むものは、添付の特許請求の範囲に記載されているとおりである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】