特開 2023-184198 連合学習システム及び連合学習方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023184198

(43)【公開日】2023-12-28

(54)【発明の名称】連合学習システム及び連合学習方法

(51)【国際特許分類】

   G09C 1/00 20060101AFI20231221BHJP

   H04L 9/30 20060101ALI20231221BHJP

   G06N 20/00 20190101ALI20231221BHJP

【ＦＩ】

G09C1/00 650Z

H04L9/30 A

G06N20/00

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2022098213

(22)【出願日】2022-06-17

(71)【出願人】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110002365

【氏名又は名称】弁理士法人サンネクスト国際特許事務所

(72)【発明者】

【氏名】山本 恭平

(72)【発明者】

【氏名】吉野 雅之

(72)【発明者】

【氏名】横張 由美子

(72)【発明者】

【氏名】佐藤 尚宜

(57)【要約】

【課題】
複数の特徴量を多重に暗号化し、多重に暗号化された暗号化特徴量を異なるサーバで多段階に分けて復号化すること。
【解決手段】
学習モデルと複数の学習データから複数の特徴量を算出し、複数の特徴量を多重に暗号化して複数の暗号化特徴量を送信情報として生成する１又は複数のデータ送信装置と、データ送信装置の生成による送信情報を入力し、入力した複数の暗号化特徴量を集約して暗号化集約特徴量を生成する特徴量集約サーバと、特徴量集約サーバから受信した情報を基に学習モデルを更新する学習モデル更新サーバとを備え、特徴量集約サーバは、暗号化集約特徴量を多段階に分けて復号化する複数の復号化処理のうち最初の復号化処理を実行し、学習モデル更新サーバは、複数の復号化処理のうち最後の復号化処理を実行する。
【選択図】図２

【特許請求の範囲】

【請求項1】

学習モデルと複数の学習データの各々とから複数の特徴量の各々を算出し、算出した前記複数の特徴量の各々を多重に暗号化して複数の暗号化特徴量をそれぞれ送信情報として生成する１又は複数のデータ送信装置と、
前記データ送信装置の生成による前記送信情報を、それぞれ通信ネットワークを介して入力し、入力した前記送信情報に属する前記複数の暗号化特徴量の各々をそれぞれ集約して暗号化集約特徴量を生成する特徴量集約サーバと、
前記特徴量集約サーバと前記通信ネットワークを介して情報の送受信を行い、前記特徴量集約サーバから受信した情報を基に前記学習モデルを更新する学習モデル更新サーバと、を備え、
前記特徴量集約サーバは、
前記暗号化集約特徴量を多段階に分けて復号化する複数の復号化処理のうち最初の復号化処理を実行し、
前記学習モデル更新サーバは、
前記複数の復号化処理のうち最後の復号化処理を実行することを特徴とする連合学習システム。

【請求項2】

請求項１に記載の連合学習システムにおいて、
前記特徴量集約サーバは、
前記暗号化集約特徴量を一次復号化して一次復号済暗号化集約特徴量を生成し、
前記学習モデル更新サーバは、
前記特徴量集約サーバの生成による前記一次復号済暗号化集約特徴量を二次復号化して集約特徴量を生成し、生成した前記集約特徴量で前記学習モデルを更新することを特徴とする連合学習システム。

【請求項3】

請求項２に記載の連合学習システムにおいて、
前記特徴量集約サーバは、
前記データ送信装置の暗号化で用いる暗号化方式に関する情報を基に一次公開鍵と一次秘密鍵の情報をそれぞれ生成し、生成した前記一次公開鍵の情報を、前記通信ネットワークを介して前記データ送信装置に送信し、生成した前記一次秘密鍵で前記暗号化集約特徴量を一次復号化し、
前記学習モデル更新サーバは、
前記データ送信装置の暗号化で用いる前記暗号化方式に関する情報を基に二次公開鍵と二次秘密鍵の情報をそれぞれ生成し、生成した前記二次公開鍵の情報を、前記通信ネットワークを介して前記データ送信装置に送信し、生成した前記二次秘密鍵で前記一次復号済暗号化集約特徴量を二次復号化することを特徴とする連合学習システム。

【請求項4】

請求項３に記載の連合学習システムにおいて、
前記データ送信装置は、
前記特徴量集約サーバから受信した前記一次公開鍵で前記特徴量を一重暗号化し、前記学習モデル更新サーバから受信した前記二次公開鍵で前記特徴量を二重暗号化することを特徴とする連合学習システム。

【請求項5】

請求項１に記載の連合学習システムにおいて、
前記データ送信装置は、
前記複数の特徴量の各々を複数の公開鍵で多重に暗号化して前記暗号化特徴量を生成する第１の暗号化処理、又は前記複数の公開鍵を加算して加算公開鍵を生成し、生成した前記加算公開鍵で前記複数の特徴量の各々を暗号化して前記暗号化特徴量を生成する第２の暗号化処理を実行することを特徴とする連合学習システム。

【請求項6】

請求項３に記載の連合学習システムにおいて、
前記特徴量集約サーバは、
前記データ送信装置のうち２以上のデータ送信装置から前記暗号化特徴量をそれぞれ入力し、入力した前記暗号化特徴量をそれぞれ集約して１層目暗号化集約特徴量を生成する複数の１層目特徴量集約サーバと、
前記複数の１層目特徴量集約サーバの各々の生成による前記１層目暗号化集約特徴量をそれぞれ入力し、入力した前記１層目暗号化集約特徴量をそれぞれ集約して前記暗号化集約特徴量を生成する２層目特徴量集約サーバと、を含むことを特徴とする連合学習システム。

【請求項7】

請求項６に記載の連合学習システムにおいて、
前記２層目特徴量集約サーバは、
前記暗号化集約特徴量を前記一次秘密鍵で一次復号化して前記一次復号済暗号化集約特徴量を生成し、
前記学習モデル更新サーバは、
前記２層目特徴量集約サーバから前記一次復号済暗号化集約特徴量の情報を受信した場合、受信した前記一次復号済暗号化集約特徴量を前記二次秘密鍵で二次復号化して前記集約特徴量を生成することを特徴とする連合学習システム。

【請求項8】

請求項１に記載の連合学習システムにおいて、
前記特徴量集約サーバは、
前記データ送信装置のうち２以上のデータ送信装置から前記暗号化特徴量を順次入力し、入力した前記暗号化特徴量が設定数に達したときの第１タイミングと、前記データ送信装置から前記暗号化特徴量を入力する入力開始時間から設定時間経過したときの第２タイミングをそれぞれ監視し、少なくとも前記第１タイミング又は前記第２タイミングで、入力した前記暗号化特徴量をそれぞれ集約することを特徴とする連合学習システム。

【請求項9】

１又は複数のデータ送信装置と、特徴量集約サーバと、学習モデル更新サーバと、を備えた連合学習システムにおける方法であって、
前記データ送信装置が、学習モデルと複数の学習データの各々とから複数の特徴量の各々を算出し、算出した前記複数の特徴量の各々を多重に暗号化して複数の暗号化特徴量をそれぞれ送信情報として生成する送信情報生成ステップと、
前記特徴量集約サーバが、前記データ送信装置の生成による前記送信情報を、それぞれ通信ネットワークを介して入力し、入力した前記送信情報に属する前記複数の暗号化特徴量の各々をそれぞれ集約して暗号化集約特徴量を生成する暗号化集約特徴量生成ステップと、
前記学習モデル更新サーバが、前記特徴量集約サーバと前記通信ネットワークを介して情報の送受信を行い、前記特徴量集約サーバから受信した情報を基に前記学習モデルを更新する学習モデル更新ステップと、
前記特徴量集約サーバが、前記暗号化集約特徴量を多段階に分けて復号化する複数の復号化処理のうち最初の復号化処理を実行する第１の復号化ステップと、
前記学習モデル更新サーバが、前記複数の復号化処理のうち最後の復号化処理を実行する第２の復号化ステップと、を備えることを特徴とする連合学習方法。

【請求項10】

請求項９に記載の連合学習方法において、
前記特徴量集約サーバは、
前記第１の復号化ステップでは、前記暗号化集約特徴量を一次復号化して一次復号済暗号化集約特徴量を生成し、
前記学習モデル更新サーバは、
前記第２の復号化ステップでは、前記特徴量集約サーバの生成による前記一次復号済暗号化集約特徴量を二次復号化して集約特徴量を生成し、生成した前記集約特徴量で前記学習モデルを更新することを特徴とする連合学習方法。

【請求項11】

請求項１０に記載の連合学習方法において、
前記特徴量集約サーバは、
前記第１の復号化ステップでは、前記データ送信装置の暗号化で用いる暗号化方式に関する情報を基に一次公開鍵と一次秘密鍵の情報をそれぞれ生成し、生成した前記一次公開鍵の情報を、前記通信ネットワークを介して前記データ送信装置に送信し、生成した前記一次秘密鍵で前記暗号化集約特徴量を一次復号化し、
前記学習モデル更新サーバは、
前記第２の復号化ステップでは、前記データ送信装置の暗号化で用いる前記暗号化方式に関する情報を基に二次公開鍵と二次秘密鍵の情報をそれぞれ生成し、生成した前記二次公開鍵の情報を、前記通信ネットワークを介して前記データ送信装置に送信し、生成した前記二次秘密鍵で前記一次復号済暗号化集約特徴量を二次復号化することを特徴とする連合学習方法。

【請求項12】

請求項１１に記載の連合学習方法において、
前記データ送信装置は、
前記送信情報生成ステップでは、前記特徴量集約サーバから受信した前記一次公開鍵で前記複数の特徴量の各々を一重暗号化し、前記学習モデル更新サーバから受信した前記二次公開鍵で前記複数の特徴量の各々を二重暗号化することを特徴とする連合学習方法。

【請求項13】

請求項９に記載の連合学習方法において、
前記データ送信装置は、
前記送信情報生成ステップでは、前記複数の特徴量の各々を複数の公開鍵で多重に暗号化して前記暗号化特徴量を生成する第１の暗号化処理、又は前記複数の公開鍵を加算して加算公開鍵を生成し、生成した前記加算公開鍵で前記複数の特徴量の各々を暗号化して前記暗号化特徴量を生成する第２の暗号化処理を実行することを特徴とする連合学習方法。

【請求項14】

請求項１１に記載の連合学習方法において、
前記特徴量集約サーバは、
前記第１の復号化ステップで前記データ送信装置のうち２以上のデータ送信装置から前記暗号化特徴量をそれぞれ入力し、入力した前記暗号化特徴量をそれぞれ集約して１層目暗号化集約特徴量を生成する複数の１層目特徴量集約サーバと、
前記第１の復号化ステップで前記複数の１層目特徴量集約サーバの各々の生成による前記１層目暗号化集約特徴量をそれぞれ入力し、入力した前記１層目暗号化集約特徴量をそれぞれ集約して前記暗号化集約特徴量を生成する２層目特徴量集約サーバと、を含むことを特徴とする連合学習方法。

【請求項15】

請求項１４に記載の連合学習方法において、
前記２層目特徴量集約サーバは、
前記第１の復号化ステップでは、前記暗号化集約特徴量を前記一次秘密鍵で一次復号化して前記一次復号済暗号化集約特徴量を生成し、
前記学習モデル更新サーバは、
前記第２の復号化ステップでは、前記２層目特徴量集約サーバから前記一次復号済暗号化集約特徴量の情報を受信した場合、受信した前記一次復号済暗号化集約特徴量を前記二次秘密鍵で二次復号化して前記集約特徴量を生成することを特徴とする連合学習方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、連合学習システム及び連合学習方法に関する。

【背景技術】

【0002】

金融、医療、及び製造などの様々な分野でＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）の普及が進んでいる。その中で、より高精度なＡＩを開発するため、複数組織で連携する動きがある。しかしながら、各組織が保有するデータを直接共有することは、情報漏洩のリスクが高まるため望ましくない。そこで、各組織が保有するデータを直接共有することなく、共同のＡＩを開発する手法として連合学習が提案されている。

【0003】

連合学習とは、複数のデータ送信装置と中央サーバとを含むシステムで実行される情報処理方法である。各データ送信装置は、中央サーバから配布された共通の学習モデルと自身が保有するデータを用いて、学習モデルの更新に必要な特徴量を計算する。その後、各データ送信装置から中央サーバへ特徴量が送られ、中央サーバは、各データ送信装置から受信した特徴量をそれぞれ集約して学習モデルを更新する。連合学習を採用したシステムでは、各データ送信装置が特徴量のみを中央サーバと共有するため、プライバシ保護性能が高いと考えられているが、近年特徴量から学習に用いたデータを復元する攻撃が報告されている。

【0004】

特徴量からデータを復元する攻撃への対策として、暗号技術を用いて特徴量を秘匿する手法が提案されている。暗号技術を連合学習に適用する技術として、非特許文献１、非特許文献２がある。非特許文献１に記載の技術は、共通鍵暗号技術と秘密分散技術を連合学習に適用した手法であり、非特許文献２に記載の技術は、公開鍵暗号技術を連合学習に適用した手法である。

【先行技術文献】

【非特許文献】

【0005】

【非特許文献1】Ｋｅｉｔｈ Ｂｏｎａｗｉｔｚ，外８名， “Ｐｒａｃｔｉｃａｌ Ｓｅｃｕｒｅ Ａｇｇｒｅｇａｔｉｏｎ ｆｏｒ Ｐｒｉｖａｃｙ－Ｐｒｅｓｅｒｖｉｎｇ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ．”， ＡＣＭ ＳＩＧＳＡＣ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｓｅｃｕｒｉｔｙ， Ｐａｇｅｓ：１１７５－１１９１、２０１７年１０月３０日

【非特許文献2】Ｌｅ Ｔｒｉｅｕ Ｐｈｏｎｇ,外４名, “Ｐｒｉｖａｃｙ－Ｐｒｅｓｅｒｖｉｎｇ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ ｖｉａ Ａｄｄｉｔｉｖｅｌｙ Ｈｏｍｏｍｏｒｐｈｉｃ Ｅｎｃｒｙｐｔｉｏｎ”、２０１７年１２月２９日、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｆｏｒｍａｔｉｏｎ Ｆｏｒｅｎｓｉｃｓ ａｎｄ Ｓｅｃｕｒｉｔｙ（Ｖｏｌｕｍｅ：１３，Ｉｓｓｕｅ：５，ｐａｇｅｓ：１３３３－１３４５）

【発明の概要】

【発明が解決しようとする課題】

【0006】

非特許文献１の連合学習では、鍵共有処理や秘密分散処理の影響で、各データ送信装置の計算コスト及び通信コストがデータ送信装置数に依存するため、データ送信装置数が多い大規模なシステムでは効率が低下するおそれがある。一方、非特許文献２の連合学習では、各データ送信装置の計算コスト及び通信コストがデータ送信装置数に非依存であるが、データ送信装置が集約特徴量を入手する構成となっており、中央サーバが集約特徴量を入手するシステムに適用することは困難である。

【0007】

このため、中央サーバが、各データ送信装置で暗号化された特徴量を集約する機能と、集約された特徴量を復号化して学習モデルを更新する機能とを有するシステムに、非特許文献２の方法を適用しても、中央サーバが、集約した特徴量を復号化することが可能であり、特徴量を集約する中央サーバで特徴量が復号化されるリスクが生じる。

【0008】

そこで、本発明の目的は、中央サーバで集約特徴量を入手可能でかつ、大規模なシステムに適用可能な、セキュアな連合学習システムを実現することにある。

【課題を解決するための手段】

【0009】

上記課題を解決するために、本発明は、学習モデルと複数の学習データの各々とから複数の特徴量の各々を算出し、算出した前記複数の特徴量の各々を多重に暗号化して複数の暗号化特徴量をそれぞれ送信情報として生成する１又は複数のデータ送信装置と、前記データ送信装置の生成による前記送信情報を、それぞれ通信ネットワークを介して入力し、入力した前記送信情報に属する前記複数の暗号化特徴量の各々をそれぞれ集約して暗号化集約特徴量を生成する特徴量集約サーバと、前記特徴量集約サーバと前記通信ネットワークを介して情報の送受信を行い、前記特徴量集約サーバから受信した情報を基に前記学習モデルを更新する学習モデル更新サーバと、を備え、前記特徴量集約サーバは、前記暗号化集約特徴量を多段階に分けて復号化する複数の復号化処理のうち最初の復号化処理を実行し、前記学習モデル更新サーバは、前記複数の復号化処理のうち最後の復号化処理を実行することを特徴とする。

【発明の効果】

【0010】

本発明によれば、中央サーバで集約特徴量を入手可能でかつ、大規模なシステムに適用可能な、セキュアな連合学習システムを実現することができる。

【0011】

上記した以外の課題、構成及び効果は、以下の実施の形態の説明により明らかにされる。

【図面の簡単な説明】

【0012】

【図1】本発明の実施例１に係る連合学習システムの構成例を示すブロック図である。

【図2】本発明の実施例１に係る連合学習システムの処理の概要を示す模式図である。

【図3】本発明の実施例１に係る特徴量集約サーバのハードウェア構成例を示すブロック図である。

【図4】本発明の実施例１に係る学習モデル更新サーバのハードウェア構成例を示すブロック図である。

【図5】本発明の実施例１に係るデータ送信装置のハードウェア構成例を示すブロック図である。

【図6】本発明の実施例１に係るデータ受信装置のハードウェア構成例を示すブロック図である。

【図7】本発明の実施例１に係る連合学習システムの処理の一例を示すシーケンス図である。

【図8】本発明の実施例１に係るデータ送信装置の処理の一例を示すフローチャートである。

【図9】本発明の実施例２に係る連合学習システムの処理の概要を示す模式図である。

【図10】本発明の実施例２に係る連合学習システムの処理の一例を示すシーケンス図である。

【発明を実施するための形態】

【0013】

以下、添付図面を参照して本発明の実施の形態を説明する。本実施の形態において、同一の構成には原則として同一の符号を付け、繰り返しの説明は省略する。なお、本実施の形態は、本発明を実現するための一例に過ぎず、本発明の技術的範囲を限定するものではないことに注意すべきである。本実施の形態では、データ送信装置が保有する学習データの安全性を保護したまま、学習データから得られた特徴量を基に学習モデルを更新するシステムについて説明する。

【実施例0014】

図１は、本発明の実施例１に係る連合学習システムの構成例を示すブロック図である。図１において、連合学習システム１０は、特徴量集約サーバ１００と、学習モデル更新サーバ２００と、データ送信装置３００と、データ受信装置４００と、通信ネットワーク５００と、を備える。データ送信装置３００は、例えば、複数の学習データ（学習用データ）を保持し、複数の学習データと学習モデルとを用いて複数の特徴量を算出し、算出した各特徴量を暗号化して複数の暗号化特徴量をそれぞれ送信情報として生成する。学習データとしては、例えば、動物の写真やレントゲン写真などの画像データ、株の売買データを含むログデータ等が用いられる。学習モデルとしては、例えば、ＤｅｅｐＬｅａｒｎｉｎｇで用いられるＤｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋやランダムフォレスト等が用いられる。特徴量としては、学習モデルをＤｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋとした場合、Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋのパラメータ数分の実数値が算出される。

【0015】

特徴量集約サーバ１００は、データ送信装置３００で生成された複数の暗号化特徴量を受信した場合、受信した複数の暗号化特徴量をそれぞれ集約して暗号化集約特徴量を生成し、生成された暗号化集約特徴量の一次復号化を行う。学習モデル更新サーバ２００は、特徴量集約サーバ１００で一次復号化された暗号化集約特徴量の二次復号化を行い、二次復号化された集約特徴量を基に学習モデルを更新する。データ受信装置４００は、学習モデル更新サーバ２００で更新された学習モデルを学習モデル更新サーバ２００から受信する。

【0016】

特徴量集約サーバ１００と、学習モデル更新サーバ２００と、データ送信装置３００及びデータ受信装置４００は、インターネット等の通信ネットワーク５００を介して相互に情報を送受信する。なお、特徴量集約サーバ１００、学習モデル更新サーバ２００、データ送信装置３００、及びデータ受信装置４００の詳細な構成については後述する。また、連合学習システム１０に含まれる装置の一部又は全部が一体化されていてもよい。例えば、特徴量集約サーバ１００と、学習モデル更新サーバ２００と、が一体化されていてもよいし、データ送信装置３００とデータ受信装置４００とが一体化されていてもよい。

【0017】

図２は、本発明の実施例１に係る連合学習システムの処理の概要を示す模式図である。図２において、データ送信装置３００は、例えば、複数台又は複数の情報処理系統（暗号化処理系統）で構成される。データ送信装置３００が複数台で構成された場合、各データ送信装置３００は、例えば、学習モデル更新サーバ２００から送信された学習モデル３２０と、各データ送信装置３００が学習モデル３２０を用いた学習で得られた学習データ３２１を保持し、学習モデル３２０と学習データ３２１とを基に各データ送信装置３００特有の特徴量３２２をそれぞれ生成する。この後、各データ送信装置３００は、生成した各特徴量３２２を多重に暗号化する。この際、各データ送信装置３００は、各特徴量３２２を一次公開鍵３２３と二次公開鍵３２４でそれぞれ暗号化し、二重暗号化された各暗号化特徴量３２５を生成し、生成した各暗号化特徴量３２５の情報を特徴量集約サーバ１００に送信する。また、データ送信装置３００が、複数の情報処理系統（暗号化処理系統）で構成された場合、データ送信装置３００では、複数の情報処理系統（暗号化処理系統）の処理により、開発対象の学習モデル３２０と複数の学習データ３２１とから複数の特徴量３２２が生成され、生成された各特徴量３２２から複数の暗号化特徴量３２４が生成される。

【0018】

特徴量集約サーバ１００は、各データ送信装置３００から各暗号化特徴量３２５の情報を受信した場合、受信した各暗号化特徴量３２５をそれぞれ集約して、暗号化集約特徴量１２０を生成し、生成した暗号化集約特徴量１２０を、一次秘密鍵１２１を用いて復号化して、一次復号済暗号化集約特徴量１２２を生成し、生成した一次復号済暗号化集約特徴量１２２の情報を学習モデル更新サーバ２００に送信する特徴量集約装置として構成される。すなわち、特徴量集約サーバ１００には、各暗号化特徴量３２５を集約する機能と、各暗号化特徴量３２５をそれぞれ集約して得られた暗号化集約特徴量１２０を、一次秘密鍵１２１を用いて復号化する機能が付与されている。この際、特徴量集約サーバ１００は、暗号化集約特徴量３２５を多段階に分けて復号化する複数の復号化処理のうち最初の復号化処理（１段目の復号化処理）を実行する。

【0019】

学習モデル更新サーバ２００は、特徴量集約サーバ１００から一次復号済暗号化集約特徴量１２２の情報を受信した場合、受信した一次復号済暗号化集約特徴量１２２を、二次秘密鍵２２０を用いて復号化して、集約特徴量２２１を生成し、生成した集約特徴量２２１を基に学習モデル２２３（学習モデル３２０に相当する学習モデル）を更新し、更新された学習モデル２２３の情報をデータ受信装置４００に送信する学習モデル更新装置として構成される。すなわち、学習モデル更新サーバ２００には、特徴量集約サーバ１００から受信した一次復号済暗号化集約特徴量１２２を、二次秘密鍵２２０を用いて復号化して、集約特徴量２２１を生成し、生成した集約特徴量２２１を基に学習モデル２２３を更新する機能が付与されている。この際、学習モデル更新サーバ２００は、暗号化集約特徴量３２５を多段階に分けて復号化する複数の復号化処理のうち最後の復号化処理（２段目の復号化処理）を実行する。データ受信装置４００は、更新された学習モデル２２３の情報を学習モデル更新サーバ２００から受信した場合、受信した学習モデル２２３の情報をメモリ等に格納する。

【0020】

図３は、本発明の実施例１に係る特徴量集約サーバのハードウェア構成例を示すブロック図である。図３において、特徴量集約サーバ１００は、例えば、プロセッサ（ＣＰＵ）１０１、補助記憶装置１０２、メモリ１０３、表示装置１０５、入出力インターフェース１０６、及び通信インターフェース１０７を有する計算機によって構成され、各装置が、バス等の内部信号線１０４を介して互いに接続される。

【0021】

プロセッサ１０１は、メモリ１０３に格納されたプログラムを実行し、各装置を統括制御する処理装置である。メモリ１０３は、不揮発性の非一時的な記憶素子であるＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及び揮発性の記憶素子であるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含む。ＲＯＭは、不変なプログラム（たとえばＢＩＯＳ）などを格納する。ＲＡＭは、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）のような高速かつ揮発性の記憶素子であり、プロセッサ１０１が実行するプログラム及びプログラムの実行時に使用されるデータを一時的に格納する。

【0022】

補助記憶装置１０２は、例えば、磁気記憶装置（ＨＤＤ）、フラッシュメモリ（ＳＳＤ）等の大容量かつ不揮発性の非一時的な記憶装置であり、プロセッサ１０１が実行するプログラム及びプログラムの実行時に使用されるデータを格納する。すなわち、プログラムは、補助記憶装置１０２から読み出されて、メモリ１０３にロードされ、その後、プロセッサ１０１によって実行される。

【0023】

入出力インターフェース（Ｉ／Ｆ）１０６は、キーボードやマウスなどの入力装置に接続され、オペレータの操作による情報を入力するインターフェースである。また、入出力インターフェース１０６は、表示装置１０５やプリンタなどの出力装置に接続され、プログラムの実行結果を、オペレータが視認可能な形式の情報に変換して出力するインターフェースでもある。表示装置１０５は、入出力インターフェース１０６から出力されたプログラムの実行結果を表示する。

【0024】

通信インターフェース（Ｉ／Ｆ）１０７は、所定のプロトコルに従って、通信ネットワーク５００を介して他の装置との通信を制御するネットワークインターフェースである。また、通信インターフェース１０７は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等のシリアルインターフェースを含んでもよい。

【0025】

プロセッサ１０１が実行するプログラムの一部又は全部は、非一時的記憶媒体であるリムーバブルメディア（ＣＤ－ＲＯＭ、フラッシュメモリなど）、又は非一時的記憶装置を備える外部計算機から通信ネットワーク５００を介して特徴量集約サーバ１００に提供され、非一時的記憶媒体である不揮発性の補助記憶装置１０２に格納されてもよい。このため、特徴量集約サーバ１００は、リムーバブルメディアからデータを読み込むインターフェースを有する構成とすることができる。これは、学習モデル更新サーバ２００、データ送信装置３００、及びデータ受信装置４００についても同様である。

【0026】

特徴量集約サーバ１００は、物理的に一つの計算機上で、又は、論理的又は物理的に構成された複数の計算機上で構成される計算機システムであり、同一の計算機上で別個のスレッドで動作してもよく、複数の物理的計算機資源上に構築された仮想計算機上で動作してもよい。これは、学習モデル更新サーバ２００、データ送信装置３００、及びデータ受信装置４００についても同様である。

【0027】

プロセッサ１０１は、ソフトウェア資源として、例えば、鍵生成部１１１、特徴量集約部１１２、及び復号処理部１１３を備える。例えば、プロセッサ１０１は、メモリ１０３にロードされた鍵生成プログラムに従って動作することで、鍵生成部１１１として機能し、メモリ１０３にロードされた特徴量集約プログラムに従って動作することで、特徴量集約部１１２として機能し、メモリ１０３にロードされた復号処理プログラムに従って動作することで、復号処理部１１３として機能する。

【0028】

鍵生成部１１１は、例えば、各データ送信装置３００の暗号化で用いる暗号化方式に関する情報を基に、特徴量を暗号化するための一次公開鍵と、特徴量を復号化するための一次秘密鍵を生成する。この際、鍵生成部１１１は、暗号技術として、例えば、加法準同型暗号を用いる。加法準同型暗号とは、暗号化された状態のまま暗号文同士の加算を行うことができる技術である。

【0029】

以下、加法準同型暗号について数式を用いて説明する。Ｍ１,Ｍ２を任意の値とし、暗号鍵をｐｋ、暗号化関数をＥｎｃとする。例えば、Ｅｎｃ（Ｍ，ｐｋ）は、値Ｍを暗号鍵ｐｋで暗号化して得られた暗号文を指す。さらに、暗号化した状態のまま加算を行うための演算を＊とする。このとき、加法準同型性より次の（１）式が成り立つ。

【0030】

Ｅｎｃ（Ｍ１，ｐｋ）＊Ｅｎｃ（Ｍ２，ｐｋ）＝Ｅｎｃ（Ｍ１+Ｍ２，ｐｋ）・・・（１）

【0031】

上記（１）式より、Ｍ１の暗号文とＭ２の暗号文から、加算した値Ｍ１＋Ｍ２の暗号文を生成できる。また、加法準同型暗号の中には、公開鍵の加算が可能な暗号方式が存在する。ｐｋ１とｐｋ２を公開鍵とし、Ｍを任意の値とし、＊を公開鍵加算のための演算とした場合に、公開鍵の加算を数式で表現すると、次の（２）式のようになる。

【0032】

Ｅｎｃ(Ｍ，ｐｋ１)＊Ｅｎｃ（Ｍ，ｐｋ２）＝Ｅｎｃ（Ｍ，ｐｋ１＋ｐｋ２）・・・（２）

【0033】

公開鍵の加法性を用いることで、暗号処理の計算コストを削減できる。ここで、連合学習システム１０に適用する暗号技術として、例えば、上記公開鍵の加法性を有する加法準同型暗号方式である、楕円ＥｌＧａｍａｌ暗号の適用等が考えられる。

【0034】

この際、特徴量集約部１１２は、例えば、各データ送信装置３００から受信した暗号化特徴量３２５に対する集約として加算や平均を行い、暗号化集約特徴量１２０を生成する。復号処理部１１３は、鍵生成部１１１で生成した秘密鍵１２１を用いて、特徴量集約部１１２で生成した暗号化集約特徴量１２０を復号化して、一次復号済暗号化集約特徴量１２２を生成する。

【0035】

図４は、本発明の実施例１に係る学習モデル更新サーバのハードウェア構成例を示すブロック図である。図４において、学習モデル更新サーバ２００は、例えば、プロセッサ（ＣＰＵ）２０１、補助記憶装置２０２、メモリ２０３、表示装置２０５、入出力インターフェース２０６、及び通信インターフェース２０７を有する計算機によって構成され、各装置が、バス等の内部信号線２０４を介して互いに接続される。

【0036】

プロセッサ２０１、補助記憶装置２０２、メモリ２０３、内部信号線２０４、表示装置２０５、入出力インターフェース２０６、及び通信インターフェース２０７のハードウェアとしての構成は、プロセッサ１０１、補助記憶装置１０２、メモリ１０３、内部信号線１０４、表示装置１０５、入出力インターフェース１０６、及び通信インターフェース１０７のハードウェアとしての構成と同様であるため、これらの説明を省略する。

【0037】

プロセッサ２０１は、ソフトウェア資源として、鍵生成部２１１、学習モデル更新部２１２、及び復号処理部２１３を備える。この際、例えば、プロセッサ２０１は、メモリ２０３にロードされた鍵生成プログラムに従って動作することで、鍵生成部２１１として機能し、メモリ２０３にロードされた学習モデル更新プログラムに従って動作することで、学習モデル更新部２１２として機能し、メモリ１０３にロードされた復号処理プログラムに従って動作することで、復号処理部２１３として機能する。

【0038】

鍵生成部２１１は、例えば、各データ送信装置３００の暗号化で用いる暗号化方式に関する情報を基に、特徴量を暗号化するための二次公開鍵と、特徴量を復号化するための二次秘密鍵を生成する。この際、鍵生成部１１１は、暗号技術として、例えば、加法準同型暗号を用いる。復号処理部２１３は、特徴量集約サーバ１００から受信した一次復号済暗号化集約特徴量１２２を、鍵生成部２１１で生成した二次秘密鍵を用いて復号化して、集約特徴量２２１を生成する。学習モデル更新部２１２は、復号処理部２１３で生成した集約特徴量２２１と学習モデル２２３を用いて、例えば、加算や平均により学習モデル２２３の更新を行う。

【0039】

図５は、本発明の実施例１に係るデータ送信装置のハードウェア構成例を示すブロック図である。図５において、データ送信装置３００は、例えば、プロセッサ（ＣＰＵ）３０１、補助記憶装置３０２、メモリ３０３、表示装置３０５、入出力インターフェース３０６、及び通信インターフェース３０７を有する計算機によって構成され、各装置が、バス等の内部信号線３０４を介して互いに接続される。

【0040】

プロセッサ３０１、補助記憶装置３０２、メモリ３０３、内部信号線３０４、表示装置３０５、入出力インターフェース３０６、及び通信インターフェース３０７のハードウェアとしての構成は、プロセッサ１０１、補助記憶装置１０２、メモリ１０３、内部信号線１０４、表示装置１０５、入出力インターフェース１０６、及び通信インターフェース１０７のハードウェアとしての構成と同様であるため、これらの説明を省略する。

【0041】

プロセッサ３０１は、ソフトウェア資源として、例えば、特徴量計算部３１１と暗号処理部３１２を備える。この際、例えば、プロセッサ３０１は、メモリ３０３にロードされた特徴量計算プログラムに従って動作することで、特徴量計算部３１１として機能し、メモリ３０３にロードされた暗号処理プログラムに従って動作することで、暗号処理部３１２として機能する。

【0042】

データ送信装置３００の補助記憶装置３０２は、プロセッサ３０１が、開発対象の学習モデル３２０を用いて学習して得られた学習データ３２１と学習モデル３２０を保持する。なお、学習モデル３２０と学習データ３２１は、データ送信装置３００のメモリ３０３に格納されていてもよい。

【0043】

特徴量計算部３１１は、学習データ３２１と学習モデル３２０を用いて特徴量３２２の算出を行う。暗号処理部３１２は、例えば、特徴量集約サーバ１００の鍵生成部１１１で生成された一次公開鍵３２３と、学習モデル更新サーバ２００の鍵生成部２１１で生成された二次公開鍵３２４を用いて特徴量３２２を暗号化して、暗号化特徴量３２５を生成する。この際、データ送信装置３００は、特徴量集約サーバ１００及び学習モデル更新サーバ２００と情報の送受信を行うことで、学習モデル３２０、一次公開鍵３２３、及び二次公開鍵３２４に関する情報を入力することができる。なお、データ送信装置３００が、複数台で構成された場合、複数のデータ送信装置３００の処理により、開発対象の学習モデル３２０と複数の学習データ３２１とから複数の特徴量３２２が生成され、生成された各特徴量３２２から複数の暗号化特徴量３２５が生成される。また、データ送信装置３００が、複数の情報処理系統（暗号化処理系統）で構成された場合、特徴量計算部３１１と暗号処理部３１２により複数の情報処理系統（暗号化処理系統）が構成される。

【0044】

図６は、本発明の実施例１に係るデータ受信装置のハードウェア構成例を示すブロック図である。図６において、データ受信装置４００は、例えば、プロセッサ（ＣＰＵ）４０１、補助記憶装置４０２、メモリ４０３、表示装置４０５、入出力インターフェース４０６、及び通信インターフェース４０７を有する計算機によって構成され、各装置が、バス等の内部信号線４０４を介して互いに接続される。

【0045】

プロセッサ４０１、補助記憶装置４０２、メモリ４０３、内部信号線４０４、表示装置４０５、入出力インターフェース４０６、及び通信インターフェース４０７のハードウェアとしての構成は、プロセッサ１０１、補助記憶装置１０２、メモリ１０３、内部信号線１０４、表示装置１０５、入出力インターフェース１０６、及び通信インターフェース１０７のハードウェアとしての構成と同様であるため、これらの説明を省略する。

【0046】

なお、プロセッサ４０１は、通信インターフェース４０７が、学習モデル更新サーバ２００から、更新された学習モデル２２３の情報を受信した場合、受信した情報を補助記憶装置４０２に格納すると共に、表示装置４０５の画面上に表示する。

【0047】

図７は、本発明の実施例１に係る連合学習システムの処理の一例を示すシーケンス図である。図７において、学習モデル更新サーバ２００は、まず、初期フェーズＰ７０１の処理として、二次公開鍵３２４の鍵生成を行い（Ｓ７０１）、開発対象の学習モデル３２０と生成した二次公開鍵３２４及び暗号パラメータの情報を、通信ネットワーク５００を介してデータ送信装置３００に送信し（Ｓ７０２）、さらに、暗号パラメータの情報を、通信ネットワーク５００を介して特徴量集約サーバ１００に送信する（Ｓ７０３）。特徴量集約サーバ１００は、受信した暗号パラメータの情報を基に一次公開鍵３２３の鍵生成を行い（Ｓ７０４）、生成した一次公開鍵３２３の情報を、通信ネットワーク５００を介して複数のデータ送信装置３００へ送信する（Ｓ７０５）。

【0048】

学習モデル更新サーバ２００による鍵生成処理（Ｓ７０１）と、特徴量集約サーバ１００による鍵生成処理（Ｓ７０４）では、例えば、加法準同型暗号の一つである、楕円Ｅｌｇａｍａｌ暗号を用いる。この場合、ステップＳ７０２やステップＳ７０３で送信される暗号パラメータは、例えば、楕円Ｅｌｇａｍａｌ暗号を利用するという情報や、使用する楕円曲線、基点の情報などを含む。なお、暗号パラメータの設定は、学習モデル更新サーバ２００が行ってもよいし、特徴量集約サーバ１００が行ってもよい。開発対象の学習モデル３２０としては、例えば、決定木やＤｅｅｐＬｅａｒｎｉｎｇなどの機械学習モデルが使用される。

【0049】

各データ送信装置３００は、保有する学習データ３２１と学習モデル更新サーバ２００から受信した学習モデル３２０を用いて特徴量３２２をそれぞれ算出する（Ｓ７０６）。ここで、各データ送信装置３００では、各特徴量３２２を算出する前に、ｅｐｏｃｈ数と呼ばれる学習をローカルで行う回数を定める必要がある。Ｅｐｏｃｈ数は、各データ送信装置３００が個別に定めても良いし、特徴量集約サーバ１００や、学習モデル更新サーバ２００が事前に定めておいてもよい。各特徴量３２２の算出方法は、例えば、決定木の場合は、線形回帰やロジスティック回帰があり、ＤｅｅｐＬｅａｒｎｉｎｇの場合は、統計的勾配降下法などがある。

【0050】

次に、各データ送信装置３００は、ステップＳ７０２で受信した二次公開鍵３２４と、ステップＳ７０５で受信した一次公開鍵３２３を用いて特徴量３２２の暗号化を行い、暗号化特徴量３２５を生成する（Ｓ７０７）。特徴量３２２を暗号化するに際して、例えば、公開鍵の数だけ特徴量を暗号化する方法や、公開鍵を先に加算し、算出された加算公開鍵を用いて一度だけ暗号化を行う方法が考えられる。

【0051】

各データ送信装置３００は、ステップＳ７０７で生成した暗号化特徴量３２５の情報を、通信ネットワーク５００を介して特徴量集約サーバ１００へ送信する（Ｓ７０８）。

【0052】

特徴量集約サーバ１００は、各データ送信装置３００から暗号化特徴量３２５の情報を受信した場合、各暗号化特徴量３２５の情報を集約して、暗号化集約特徴量１２０を生成する（Ｓ７０９）。各暗号化特徴量３２５の情報の集約方法として、例えば、加算や平均が考えられる。加法準同型暗号を用いることにより、暗号化した状態のまま加算を行うことが可能となる。集約を行うタイミングについては、全てのデータ送信装置３００から暗号化特徴量３２５を受信してから集約を行ってもよいし、時間や暗号化特徴量３２５の数に関する閾値を定めて、一定時間経過もしくは一定個数以上の暗号化特徴量３２５を受信したら集約を行ってもよい。

【0053】

例えば、特徴量集約サーバ１００は、複数のデータ送信装置３００の各々から暗号化特徴量３２５を順次入力し、入力した暗号化特徴量３２５が設定数に達したときの第１タイミング（第１時間）と、複数のデータ送信装置３００の各々から暗号化特徴量３２５を入力する入力開始時時間から設定時間経過したときの第２タイミング（第２時間）をそれぞれ監視し、少なくとも第１タイミング又は第２タイミングで、入力した暗号化特徴量３２５をそれぞれ集約する。これにより、特徴量集約サーバ１００は、設定した第１タイミング又は第２タイミングから、入力した暗号化特徴量３２５をそれぞれ集約する処理を開始することができる。

【0054】

特徴量集約サーバ１００は、ステップＳ７０４で生成した一次秘密鍵１２１を用いて、ステップＳ７０９で生成した暗号化集約特徴量１２０の復号化を行い、一次復号済暗号化集約特徴量１２２を生成する（Ｓ７１０）。ここで、特徴量集約サーバ１００は、ステップＳ７０１で学習モデル更新サーバ２００により生成された二次秘密鍵２２０を保有していないため、暗号化集約特徴量１２０を完全に復号することはできない。このように、特徴量集約サーバ１００において集約後に一次復号化を行うので、万一、集約前の暗号化特徴量３２５が漏えいしたとしても多重に暗号化されているため、二次秘密鍵２２０しか持たない学習モデル更新サーバ２００は完全には復号できず元の特徴量３２２の安全性は確保できる。

【0055】

この後、特徴量集約サーバ１００は、ステップＳ７１０で生成した一次復号済暗号化集約特徴量１２２の情報を、通信ネットワーク５００を介して学習モデル更新サーバ２００へ送信する（Ｓ７１１）。

【0056】

学習モデル更新サーバ２００は、一次復号済暗号化集約特徴量１２２の情報を受信した場合、ステップＳ７０１で生成した二次秘密鍵２２０を用いて、一次復号済暗号化集約特徴量１２２を復号化して、集約特徴量２２１を生成する（Ｓ７１２）。

【0057】

次に、学習モデル更新サーバ２００は、ステップＳ７１２で生成した集約特徴量２２１を用いて学習モデル２２３を更新する（Ｓ７１３）。学習モデル２２３を更新する際は、例えば、集約特徴量２２１を学習モデル２２３に加算する方法や、集約特徴量２２１をデータ送信装置３００の数で除算するなどの処理を行ったうえで加算する方法等が考えられる。

【0058】

この後、学習モデル更新サーバ２００は、更新された学習モデル２２３の情報を、通信ネットワーク５００を介してデータ受信装置４００へ送信する（Ｓ７１４）。

【0059】

ステップＳ７０１～ステップＳ７０５を初期フェーズＰ７０１とし、ステップＳ７０６～ステップＳ７１４を繰り返しフェーズＰ７０２とした場合、初期フェーズＰ７０１の処理を終えた後、繰り返しフェーズＰ７０２の処理を繰り返し行っても良い。すなわち、ステップＳ７１４の後、再びステップＳ７０６から同様の手順で処理を行っても良い。また、ステップＳ７１３の後、ステップＳ７１４の処理を行わずに、ステップＳ７０６から同様の手順で処理を行っても良い。

【0060】

ここで、ステップＳ７０７～ステップＳ７１２の具体的な処理として、例えば、暗号方式として楕円ＥｌＧａｍａｌ暗号を用いた場合について説明する。この際、暗号パラメータの一つである楕円曲線上の基点をＧ、一次秘密鍵である整数値をａ、二次秘密鍵である整数値をｂ、一次公開鍵をａＧ、二次公開鍵をｂＧとする。暗号化する２つの楕円曲線上の点をＭ１、Ｍ２とする。また、暗号化において、一次公開鍵ａＧと二次公開鍵ｂＧを先に加算して加算公開鍵（ａ＋ｂ）Ｇを算出し、上記加算公開鍵を用いて暗号化する場合を考える。このとき、楕円曲線上の点Ｍ１、Ｍ２の暗号文は、それぞれランダムな整数値ｒ１、ｒ２を乱数として用いて、（ｒ１Ｇ，ｒ１（ａ＋ｂ）Ｇ＋Ｍ１），（ｒ２Ｇ，ｒ２（ａ＋ｂ）Ｇ＋Ｍ２）となり（Ｓ７０７）、これらの暗号文は、暗号化特徴量３２５として、各データ送信装置３００から特徴量集約サーバ１００へ送られる（Ｓ７０８）。なお、整数値ｒ１、ｒ２を乱数として用いない場合、同じデータは、同じ暗号文に変換されるので、整数値ｒ１、ｒ２は毎回生成される。

【0061】

特徴量集約サーバ１００は、各暗号文の集約を行うことで、暗号化集約特徴量１２０として、（（ｒ１＋ｒ２）Ｇ，（ｒ１＋ｒ２）（ａ＋ｂ）Ｇ＋Ｍ１＋Ｍ２）を算出し（Ｓ７０９）、更に一次秘密鍵ａと暗号化集約特徴量１２０を用いて、以下の計算を行う（Ｓ７１０）。
（（ｒ１＋ｒ２）（ａ＋ｂ）Ｇ＋Ｍ１＋Ｍ２）―ａ（（ｒ１＋ｒ２）Ｇ）＝ｂ（ｒ１＋ｒ２）Ｇ＋Ｍ１＋Ｍ２・・・（３）

【0062】

この際、特徴量集約サーバ１００は、算出した（（ｒ１＋ｒ２）Ｇ，ｂ（ｒ１＋ｒ２）Ｇ＋Ｍ１＋Ｍ２）を一次復号済暗号化集約特徴量１２２として、学習モデル更新サーバ２００へ送信する（Ｓ７１１）。

【0063】

学習モデル更新サーバ２００は、一次復号済暗号化集約特徴量１２２を受信した場合、二次秘密鍵ｂと一次復号済暗号化集約特徴量１２２を用いて以下の計算を行う（Ｓ７１２）。
（ｂ（ｒ１＋ｒ２）Ｇ＋Ｍ１＋Ｍ２）―ｂ（（ｒ１＋ｒ２）Ｇ）＝Ｍ１＋Ｍ２・・・（４）

【0064】

上記計算により、学習モデル更新サーバ２００は、（４）式による復号化処理により集約特徴量２２１として、Ｍ１＋Ｍ２を生成する。ただし、連合学習システム１０では、ステップＳ７０７において、特徴量３２２を暗号化する必要がある。この際、特徴量３２２は、実数値、楕円曲線上の点は整数値であるため、楕円ＥｌＧａｍａｌ暗号を用いる場合、特徴量３２２と楕円曲線上の点を変換する仕組みが必要になる。変換する方法として、例えば、事前にｎｂｉｔと楕円曲線上の点の変換表を作成しておき、特徴量をｂｉｔ数ｎの２進数表現に変換したのち、上記変換表を用いて楕円曲線上の点へ変換する方法が考えられる。

【0065】

また、特徴量３２２を暗号化するに際しては、暗号化と復号化を効率的に行うために、特徴量３２２を丸める方法を採用することができる。特徴量３２２を丸める方法としては、例えば、値ｎを設定し、特徴量３２２に対して、切り上げ又は切り下げ処理を実行し、ｎビット表現に統一する方法を採用することができる。すなわち、特徴量３２２を丸めずに暗号化すると、暗号化集約特徴量を復号化する際に参照するルックアップテーブル（対応表）の情報量が多くなり、復号化に時間がかかるので、特徴量３２２を丸める方法が採用される。この際、各データ送信装置３００は、特徴量３２２を多重に暗号化する前に、特徴量３２２に対して切り上げ処理又は切り下げ処理を実行し、特徴量３２２の値を設定されたビット情報に統一する。これにより、特徴量集約サーバ１００や学習モデル更新サーバ２００は、特徴量の復号化を効率的に行うことができる。

【0066】

ここで、具体例として、例えば、特徴量（ｆｅａｔｕｒｅ）を、０＜又は＝ｆｅａｔｕｒｅ＜又は＝１を満たす実数値とし、特徴量を丸めた後の値を、ｆとすると、ｎ＝２の場合、２ビットなので、次の４通りの値に特徴量を丸めることができる。この際、特徴量を丸める方法としては、以下の方法が採用される。

【0067】

ｆ＝０ ｉｆ ０＜又は＝ｆｅａｔｕｒｅ＜０．２５ ・・・（ａ）
ｆ＝０．３３ ｉｆ ０．２５＜又は＝ｆｅａｔｕｒｅ＜０．５ ・・・（ｂ）
ｆ＝０．６７ ｉｆ ０．５＜又は＝ｆｅａｔｕｒｅ＜０．７５ ・・・（ｃ）
ｆ＝１ ｉｆ ０．７５＜又は＝ｆｅａｔｕｒｅ＜又は＝１ ・・・（ｄ）
なお、ｎ＝４の場合、４ビットなので、１６通りの値に特徴量を丸めることができる。

【0068】

図８は、本発明の実施例１に係るデータ送信装置の処理の一例を示すフローチャートである。この処理は、図７のステップＳ７０６、Ｓ７０８の詳細である。この際、ｅｐｏｃｈ数は、データ送信装置３００が定める場合を想定している。

【0069】

図８において、各データ送信装置３００は、学習データ３２１を入力し（Ｓ８０１）、その後、ｅｐｏｃｈ数（一つの学習デー３２１タを何回繰り返して学習させるかを示す数）を指定する（Ｓ８０２）。

【0070】

次に、各データ送信装置３００は、入力した学習データ３２１が、指定のｅｐｏｃｈ数を満たす場合、学習データ３２１と学習モデル３２０とから特徴量３２２を算出して出力し（Ｓ８０３）、算出した特徴量３２２を暗号化し、暗号化された特徴量３２２を、暗号化特徴量３２５として特徴量集約サーバ１００に送信するか否かを判定する（Ｓ８０４）。

【0071】

この後、各データ送信装置３００は、ステップＳ８０４で肯定（Ｙｅｓ）の判定結果を得た場合、暗号化特徴量３２５を特徴量集約サーバ１００に送信し（Ｓ８０５）、その後、このルーチンでの処理を終了する。一方、各データ送信装置３００は、ステップＳ８０４で否定（Ｎｏ）の判定結果を得た場合、その後、このルーチンでの処理を終了する。

【0072】

本実施例において、特徴量集約サーバ１００は、暗号化集約特徴量１２０の復号化を、暗号化特徴量３２５の集約後に行っているが、暗号化特徴量３２５の集約前に暗号化集約特徴量１２０の復号化を行うことも可能である。

【0073】

本実施例においては、学習モデル更新サーバ２００が二次秘密鍵２２０の生成をする代わりに、データ送信装置３００が二次秘密鍵２２０の生成を実施し、データ送信装置３００で生成した二次秘密鍵２２０を、学習モデル更新サーバ２００が、データ送信装置３００から受信しても良い。すなわち、特徴量集約サーバ１００に学習モデル更新サーバ２００の二次秘密鍵２２０が漏洩しない限り、特徴量集約サーバ１００は、一次復号済暗号化集約特徴量１２０を復号化することはできない。

【0074】

本実施例においては、データ送信装置３００が秘密鍵の生成を実施する場合、複数のデータ送信装置３００がそれぞれ秘密鍵を生成し、各データ送信装置３００で生成された秘密鍵から導出される値を二次秘密鍵２２０としても良い。例えば、ｎ個の秘密鍵の合計を二次秘密鍵２２０としても良い。

【0075】

さらに、本実施例においては、２種類（一次と二次）の秘密鍵と公開鍵のペアを用いたが、暗号化と復号化の種類数に限定は無く、例えば、各データ送信装置３００がそれぞれ特徴量を５重に暗号化し、特徴量集約サーバ１００が暗号化特徴量を２重に復号化し、モデル更新サーバ２００が暗号化特徴量を３重に復号化しても良い。

【0076】

本実施例によれば、複数の特徴量を多重に暗号化し、多重に暗号化された複数の暗号化特徴量を集約して異なる装置で多段階に分けて復号化することができる。結果として、暗号化特徴量を多段階に分けて復号化する過程で、特徴量が復号化されるリスクを低減することができ、高い情報セキュリティを確保することが可能になる。

【0077】

また、本実施例によれば、各データ送信装置３００は、一次公開鍵３２３と二次公開鍵３２４を用いる公開鍵暗号方式で特徴量３２２を多重（二重）に暗号化しているので、各データ送信装置３００の計算量と通信量が、各データ送信装置３００の数に依存することはなく、データ送信装置数の多い大規模なシステムに連合学習システム１０を適用することができる。

【0078】

さらに、本実施例によれば、各データ送信装置３００が、加法準同型暗号方式を用いて特徴量３２２を暗号化しているので、特徴量集約サーバ１００は、各データ送信装置３００からの暗号化特徴量３２５を任意のタイミングで集約することができる。すなわち、特徴量集約サーバ１００の権限で、一次復号済暗号化集約特徴量１２２を生成し学習モデル更新サーバ２００へ送信することが可能になる。この結果、例えば、いずれかのデータ送信装置３００との通信が途絶えた場合でも他のデータ送信装置３００から正常に受信した暗号化特徴量３２５を集約して一次復号済暗号化集約特徴量１２２を生成し学習モデル更新サーバ２００へ送信することで、連合学習システム１０として連合学習を継続することが可能になる。

【0079】

また、本実施例によれば、学習モデル更新サーバ２００が二次秘密鍵２２０を保有しているため、学習モデル更新サーバ２００で二次秘密鍵２２０を用いて一次復号済暗号化集約特徴量１２２を復号化して集約特徴量２２１を生成することができる。

【0080】

なお、特徴量集約サーバ１００が特徴量３２２を漏洩しないこと、及び学習モデル更新サーバ２００が一次復号済暗号化集約特徴量以外を復号化しないことを条件に、特徴量３２２を一重暗号化（一次公開鍵のみを用いた暗号化）するだけで、特徴量３２２を二重暗号化（一次公開鍵と二次公開鍵を用いた暗号化）する場合と同等のセキュリティを確保することは可能である。

【実施例0081】

実施例２は、特徴量集約サーバを多層的に配置し、集約処理を複数の特徴量集約サーバに分散することで、各特徴量集約サーバの計算量と通信量を削減するものである。この際、連合学習システムを階層構造になっている組織構成に適用可能となる。

【0082】

図９は、本発明の実施例２に係る連合学習システムの処理の概要を示す模式図である。図９において、実施例２に係る連合学習システム２０は、複数台、例えば、４台以上のデータ装置３００と、２台以上の１層目特徴量集約サーバ６００と、１台の２層目特徴量集約サーバ７００と、学習モデル更新サーバ２００と、データ受信装置４００を備える。この際、２層目特徴量集約サーバ７００が一次秘密鍵７０１を保有し、学習モデル更新サーバ２００が二次秘密鍵２２０を保有する。

【0083】

各データ送信装置３００は、例えば、学習モデル更新サーバ２００から送信された学習モデル３２０と、各データ送信装置３００が学習モデル３２０を用いた学習で得られた学習データ３２１を保持し、学習モデル３２０と学習データ３２１とを基に各データ送信装置３００特有の特徴量をそれぞれ生成する。この後、各データ送信装置３００は、生成した各特徴量を一次公開鍵３２３と二次公開鍵３２４でそれぞれ暗号化して各暗号化特徴量３２５を生成し、生成した各暗号化特徴量３２５の情報を、複数の１層目特徴量集約サーバ６００のうち通信対象となる指定の１層目特徴量集約サーバ６００に送信する。

【0084】

各１層目特徴量集約サーバ６００は、２以上のデータ送信装置３００から暗号化特徴量３２５の情報をそれぞれ受信した場合、受信した各暗号化特徴量３２５をそれぞれ集約して、暗号化集約特徴量６０１を１層目暗号化集約特徴量として生成し、生成した暗号化集約特徴量６０１の情報を２層目特徴量集約サーバ７００に送信する。

【0085】

２層目特徴量集約サーバ７００は、複数の1層目特徴量集約サーバ６００から暗号化集約特徴量６０１の情報を受信した場合、受信した暗号化集約特徴量６０１をそれぞれ集約して、暗号化集約特徴量７０１を生成し、生成した暗号化集約特徴量７０１を、一次秘密鍵７０２（一次秘密鍵１２１に相当する秘密鍵）を用いて復号化して、一次復号済暗号化集約特徴量７０３（一次復号済暗号化集約特徴量１２２に相当する一次復号済暗号化集約特徴量）を生成し、生成した一次復号済暗号化集約特徴量７０３の情報を学習モデル更新サーバ２００に送信する。

【0086】

学習モデル更新サーバ２００は、２層目特徴量集約サーバ７００から一次復号済暗号化集約特徴量７０３の情報を受信した場合、受信した一次復号済暗号化集約特徴量７０３を、二次秘密鍵２２０を用いて復号化して、集約特徴量２２１を生成し、生成した集約特徴量２２１を基に学習モデル２２３を更新し、更新された学習モデル２２３の情報をデータ受信装置４００に送信する。

【0087】

データ受信装置４００は、更新された学習モデル２２３の情報を学習モデル更新サーバ２００から受信した場合、受信した学習モデル２２３の情報をメモリ等に格納する。

【0088】

図１０は、実施例２に係る連合学習システムの処理の一例を示すシーケンス図である。図１０において、学習モデル更新サーバ２００は、まず、初期フェーズＰ７０１の処理として、二次公開鍵３２４の鍵生成を行い（Ｓ７０１）、開発対象の学習モデル３２０と生成した二次公開鍵３２４及び暗号パラメータの情報を、通信ネットワーク５００を介してデータ送信装置３００に送信し（Ｓ７０２）、さらに、暗号パラメータの情報を、通信ネットワーク５００を介して２層目特徴量集約サーバ７００に送信する（Ｓ７０３）。２層目特徴量集約サーバ７００は、受信した暗号パラメータの情報を基に一次公開鍵３２３の鍵生成を行い（Ｓ７０４）、生成した一次公開鍵３２３の情報を、通信ネットワーク５００を介して複数のデータ送信装置３００へ送信する（Ｓ７０５）。

【0089】

学習モデル更新サーバ２００による鍵生成処理（Ｓ７０１）と、２層目特徴量集約サーバ７００による鍵生成処理（Ｓ７０４）では、例えば、加法準同型暗号の一つである、楕円Ｅｌｇａｍａｌ暗号を用いる。この場合、ステップＳ７０２やステップＳ７０３で送信される暗号パラメータは、例えば、楕円Ｅｌｇａｍａｌ暗号を利用するという情報や、使用する楕円曲線、基点の情報などを含む。なお、暗号パラメータの設定は、学習モデル更新サーバ２００が行ってもよいし、２層目特徴量集約サーバ７００が行ってもよい。開発対象の学習モデル３２０としては、例えば、決定木やＤｅｅｐＬｅａｒｎｉｎｇなどの機械学習モデルが使用される。

【0090】

各データ送信装置３００は、保有する学習データ３２１と学習モデル更新サーバ２００から受信した学習モデル３２０を用いて特徴量３２２をそれぞれ算出する（Ｓ７０６）。ここで、各データ送信装置３００では、各特徴量３２２を算出する前に、ｅｐｏｃｈ数と呼ばれる学習をローカルで行う回数を定める必要がある。Ｅｐｏｃｈ数は、各データ送信装置３００が個別に定めても良いし、特徴量集約サーバ１００や、学習モデル更新サーバ２００が事前に定めておいてもよい。各特徴量の算出方法は、例えば、決定木の場合は、線形回帰やロジスティック回帰があり、ＤｅｅｐＬｅａｒｎｉｎｇの場合は、統計的勾配降下法などがある。

【0091】

次に、各データ送信装置３００は、ステップＳ７０２で受信した二次公開鍵３２４と、ステップＳ７０５で受信した一次公開鍵３２３を用いて特徴量３２２の暗号化を行い、暗号化特徴量３２５を生成する（Ｓ７０７）。特徴量３２２を暗号化するに際して、例えば、公開鍵の数だけ特徴量を暗号化する方法や、公開鍵を先に加算し、算出された加算公開鍵を用いて一度だけ暗号化を行う方法が考えられる。

【0092】

各データ送信装置３００は、ステップＳ７０７で生成した暗号化特徴量３２５の情報を、通信ネットワーク５００を介して、通信対象となる１層目特徴量集約サーバ６００へ送信する（Ｓ７０８）。

【0093】

各１層目特徴量集約サーバ６００は、複数のデータ送信装置３００から暗号化特徴量３２５の情報を受信した場合、受信した各暗号化特徴量３２５の情報を集約して、暗号化集約特徴量６０１を生成し（Ｓ７０９）、生成した暗号化集約特徴量６０１の情報を、通信ネットワーク５００を介して、２層目特徴量集約サーバ７００へ送信する（Ｓ１００１）。

【0094】

各暗号化特徴量３２５の情報の集約方法として、例えば、加算や平均が考えられる。加法準同型暗号を用いることにより、暗号化した状態のまま加算を行うことが可能となる。集約を行うタイミングについては、全てのデータ送信装置３００から暗号化特徴量３２５を受信してから集約を行ってもよいし、時間や暗号化特徴量３２５の数に関する閾値を定めて、一定時間経過もしくは一定個数以上の暗号化特徴量３２５を受信したら集約を行ってもよい。

【0095】

２層目特徴量集約サーバ７００は、複数の１層目特徴量集約サーバ６００から暗号化集約特徴量６０１の情報を受信した場合、受信した各暗号化集約特徴量６０１を集約して、暗号化集約特徴量７０１を生成し（Ｓ１００２）、生成した暗号化集約特徴量７０１を、一次秘密鍵７０２を用いて一次復号化して、一次復号済暗号化特徴量７０３を生成し（Ｓ７１０）、生成した一次復号済暗号化特徴量７０３の情報を、通信ネットワーク５００を介して、学習モデル更新サーバ２００へ送信する（Ｓ７１１）。

【0096】

ここで、２層目特徴量集約サーバ７００は、学習モデル更新サーバ２００により生成された二次秘密鍵２２０を保有していないため、暗号化集約特徴量７０１を完全に復号することはできない。

【0097】

学習モデル更新サーバ２００は、一次復号済暗号化集約特徴量７０３の情報を受信した場合、二次秘密鍵２２０を用いて、一次復号済暗号化集約特徴量７０３を復号化して、集約特徴量２２１を生成する（Ｓ７１２）。

【0098】

次に、学習モデル更新サーバ２００は、ステップＳ７１２で生成した集約特徴量２２１を用いて学習モデル２２３を更新する（Ｓ７１３）。学習モデル２２３を更新する際は、例えば、集約特徴量を学習モデルに加算する方法や、集約特徴量を送信装置の数で除算するなどの処理を行ったうえで加算する方法等が考えられる。

【0099】

この後、学習モデル更新サーバ２００は、更新された学習モデル２２３の情報を、通信ネットワーク５００を介してデータ受信装置４００へ送信する（Ｓ７１４）。

【0100】

ステップＳ７０１～Ｓ７０５を初期フェーズＰ７０１とし、ステップＳ７０６～７１４を繰り返しフェーズＰ７０２とした場合、初期フェーズＰ７０１の処理を終えた後、繰り返しフェーズＰ７０２の処理を繰り返し行っても良い。すなわち、ステップＳ７１４の後、再びステップＳ７０６から同様の手順で処理を行っても良い。また、ステップＳ７１３の後、ステップＳ７１４の処理を行わずに、ステップＳ７０６から同様の手順で処理を行っても良い。

【0101】

本実施例においては、特徴量集約サーバを２層に配置しているが、特徴量集約サーバを３層、４層など多層に配置することも可能である。また本実施例において、鍵生成は、２層目特徴量集約サーバ７００と学習モデル更新サーバ２００が行っているが、任意の１層目特徴量集約サーバ６００、２層目特徴量集約サーバ７００、学習モデル更新サーバ２００のうちいずれかが鍵生成を行っても良い。この際、鍵生成を行う特徴量集約サーバ６００又は７００、或いは学習モデル更新サーバ２００は、生成した秘密鍵を保持し、保持した秘密鍵で復号化処理を行う。

【0102】

本実施例においては、暗号化特徴量３２５を復号化するための２つの秘密鍵７０２、２２０を、２層目特徴量集約サーバ７００と学習モデル更新サーバ２００がそれぞれ保有する構成を説明したが、３次秘密鍵を１層目特徴量集約サーバ６００が生成し、データ送信装置３００がさらに３次公開鍵で暗号化しても良い。さらに、特徴量集約サーバを多層化した場合は、多層化した分だけ公開鍵と秘密鍵のペアを増やしても良いし、少数の秘密鍵を特徴量集約サーバが共有して使っても良い。

【0103】

さらに、本実施例においては、鍵生成は、任意の特徴量集約サーバと学習モデル更新サーバ２００が実行可能である。この際、鍵生成を行わない特徴量集約サーバが存在してもよい。その場合、鍵生成を実行しない特徴量集約サーバが、暗号化集約特徴量を暗号化する場合、鍵生成を実行する特徴量集約サーバから秘密鍵の情報を受信することになる。

【0104】

本実施例によれば、実施例１と同様の効果を奏することができる。また、本実施例によれば、特徴量集約サーバ６００、７００を多層的に配置して、集約処理を複数の特徴量集約サーバ６００、７００に分散するようにしたので、各特徴量集約サーバ当たりの計算量と通信量を削減することができる。さらに、本実施例によれば、階層構造になっている組織構成に連合学習システム２０を適用することが可能になる。また、本実施例によれば、各データ送信装置３００が、加法準同型暗号方式を用いて特徴量３２２を暗号化しているので、各１層目特徴量集約サーバ６００は、各データ送信装置３００からの暗号化特徴量３２５を任意のタイミングで集約することができる。すなわち、各１層目特徴量集約サーバ６００の権限で、暗号化特徴量３２５を集約して暗号化集約特徴量６０１を生成し、２層目特徴量集約サーバ７００の権限で、暗号化集約特徴量６０１を集約して一次復号済暗号化集約特徴量７０３を生成し、生成した一次復号済暗号化集約特徴量７０３を学習モデル更新サーバ２００へ送信することが可能になる。この結果、例えば、いずれかのデータ送信装置３００との通信が途絶えた場合でも他のデータ送信装置３００から正常に受信した暗号化特徴量３２５を集約して生成された一次復号済暗号化集約特徴量７０３を学習モデル更新サーバ２００へ送信することで、連合学習システム１０として連合学習を継続することが可能になる。

【0105】

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることも可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加や削除、置換をすることが可能である。

【0106】

また、上記の各構成、機能手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

【0107】

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。