知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024018058
(43)【公開日】2024-02-08
(54)【発明の名称】機械学習システム
(51)【国際特許分類】
G09C 1/00 20060101AFI20240201BHJP
H04L 9/32 20060101ALI20240201BHJP
G06N 20/00 20190101ALI20240201BHJP
【ＦＩ】
G09C1/00 650Z
H04L9/32 200B
G06N20/00
【審査請求】未請求
【請求項の数】4
【出願形態】ＯＬ
(21)【出願番号】P 2022121118
(22)【出願日】2022-07-29
(71)【出願人】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】大竹 剛
(57)【要約】
【課題】ユーザの匿名性を保証し、プライバシーを保護できる機械学習システムを提供する。
【解決手段】機械学習システム１は、学習データを管理する学習データ管理装置１０と、推論データを管理する推論データ管理装置３０と、マルチパーティ計算により学習及び推論を行う複数のクラウドサーバ２０とを備え、学習データ管理装置１０、推論データ管理装置３０、及び、複数のクラウドサーバ２０が同一のリング署名方式を用いる。
【選択図】図１
【解決手段】機械学習システム１は、学習データを管理する学習データ管理装置１０と、推論データを管理する推論データ管理装置３０と、マルチパーティ計算により学習及び推論を行う複数のクラウドサーバ２０とを備え、学習データ管理装置１０、推論データ管理装置３０、及び、複数のクラウドサーバ２０が同一のリング署名方式を用いる。
【選択図】図１
【特許請求の範囲】
【請求項1】
学習データを管理する学習データ管理装置と、推論データを管理する推論データ管理装置と、マルチパーティ計算により学習及び推論を行う複数の学習推論装置と、を備える機械学習システムであって、
前記学習データ管理装置は、
リング署名方式の鍵生成アルゴリズムにより、前記学習データ管理装置の第１公開鍵及び第１秘密鍵を生成する鍵生成部と、
前記学習データを前記学習推論装置毎の第１シェアに秘密分散する秘密分散部と、
前記第１公開鍵と他の前記学習データ管理装置又は前記推論データ管理装置の公開鍵とが含まれる第１公開鍵リストを生成し、前記第１秘密鍵及び前記第１公開鍵リストを用いたリング署名方式の署名生成アルゴリズムにより前記第１シェアから署名を生成し、生成した当該署名を前記第１シェアに付加する匿名署名生成部と、を備え、
前記学習推論装置は、
前記第１公開鍵リストを用いたリング署名方式の署名検証アルゴリズムにより、前記第１シェアに付加された署名を検証する第１匿名署名検証部と、
他の前記学習推論装置との秘密計算により、署名検証済みの前記第１シェアから学習モデルを生成する第１秘密計算部と、
前記推論データ管理装置で生成された第２公開鍵リストを用いたリング署名の署名検証アルゴリズムにより、前記推論データ管理装置で秘密分散された第２シェアに付加された署名を検証する第２匿名署名検証部と、
前記学習モデルを用いた他の前記学習推論装置との秘密計算により、署名検証済みの前記第２シェアから前記学習推論装置毎の推論結果である第３シェアを求める第２秘密計算部と、
前記リング署名の鍵生成アルゴリズムにより、前記学習推論装置の第３公開鍵及び第３秘密鍵を生成する鍵生成部と、
前記第３公開鍵のみが含まれる第３公開鍵リストを生成し、前記第３秘密鍵及び前記第３公開鍵リストを用いたリング署名方式の署名生成アルゴリズムにより前記第３シェアから署名を生成し、生成した当該署名を前記第３シェアに付加する署名生成部と、を備え、
前記推論データ管理装置は、
リング署名方式の鍵生成アルゴリズムにより、前記推論データ管理装置の第２公開鍵及び第２秘密鍵を生成する鍵生成部と、
前記推論データを前記学習推論装置毎の前記第２シェアに秘密分散する秘密分散部と、
前記第２公開鍵と他の前記学習データ管理装置又は前記推論データ管理装置の公開鍵とが含まれる第２公開鍵リストを生成し、前記第２秘密鍵及び前記第２公開鍵リストを用いたリング署名方式の署名生成アルゴリズムにより前記第２シェアから署名を生成し、生成した当該署名を前記第２シェアに付加する匿名署名生成部と、
前記第３公開鍵リストを用いたリング署名方式の署名検証アルゴリズムにより、前記第３シェアに付加された署名を検証する署名検証部と、
前記学習推論装置毎に署名検証済みの第３シェアを合成することで、前記機械学習システムの推論結果を生成する推論結果合成部と、
を備えることを特徴とする機械学習システム。
前記学習データ管理装置は、
リング署名方式の鍵生成アルゴリズムにより、前記学習データ管理装置の第１公開鍵及び第１秘密鍵を生成する鍵生成部と、
前記学習データを前記学習推論装置毎の第１シェアに秘密分散する秘密分散部と、
前記第１公開鍵と他の前記学習データ管理装置又は前記推論データ管理装置の公開鍵とが含まれる第１公開鍵リストを生成し、前記第１秘密鍵及び前記第１公開鍵リストを用いたリング署名方式の署名生成アルゴリズムにより前記第１シェアから署名を生成し、生成した当該署名を前記第１シェアに付加する匿名署名生成部と、を備え、
前記学習推論装置は、
前記第１公開鍵リストを用いたリング署名方式の署名検証アルゴリズムにより、前記第１シェアに付加された署名を検証する第１匿名署名検証部と、
他の前記学習推論装置との秘密計算により、署名検証済みの前記第１シェアから学習モデルを生成する第１秘密計算部と、
前記推論データ管理装置で生成された第２公開鍵リストを用いたリング署名の署名検証アルゴリズムにより、前記推論データ管理装置で秘密分散された第２シェアに付加された署名を検証する第２匿名署名検証部と、
前記学習モデルを用いた他の前記学習推論装置との秘密計算により、署名検証済みの前記第２シェアから前記学習推論装置毎の推論結果である第３シェアを求める第２秘密計算部と、
前記リング署名の鍵生成アルゴリズムにより、前記学習推論装置の第３公開鍵及び第３秘密鍵を生成する鍵生成部と、
前記第３公開鍵のみが含まれる第３公開鍵リストを生成し、前記第３秘密鍵及び前記第３公開鍵リストを用いたリング署名方式の署名生成アルゴリズムにより前記第３シェアから署名を生成し、生成した当該署名を前記第３シェアに付加する署名生成部と、を備え、
前記推論データ管理装置は、
リング署名方式の鍵生成アルゴリズムにより、前記推論データ管理装置の第２公開鍵及び第２秘密鍵を生成する鍵生成部と、
前記推論データを前記学習推論装置毎の前記第２シェアに秘密分散する秘密分散部と、
前記第２公開鍵と他の前記学習データ管理装置又は前記推論データ管理装置の公開鍵とが含まれる第２公開鍵リストを生成し、前記第２秘密鍵及び前記第２公開鍵リストを用いたリング署名方式の署名生成アルゴリズムにより前記第２シェアから署名を生成し、生成した当該署名を前記第２シェアに付加する匿名署名生成部と、
前記第３公開鍵リストを用いたリング署名方式の署名検証アルゴリズムにより、前記第３シェアに付加された署名を検証する署名検証部と、
前記学習推論装置毎に署名検証済みの第３シェアを合成することで、前記機械学習システムの推論結果を生成する推論結果合成部と、
を備えることを特徴とする機械学習システム。
【請求項2】
前記学習データ管理装置、前記推論データ管理装置、及び、前記複数の学習推論装置は、同一の前記リング署名方式を用いることを特徴とする請求項１に記載の機械学習システム。
【請求項3】
前記マルチパーティ計算は、３パーティー方式であり、
前記学習推論装置は、３台であることを特徴とする請求項１に記載の機械学習システム。
前記学習推論装置は、３台であることを特徴とする請求項１に記載の機械学習システム。
【請求項4】
前記学習データ管理装置は、複数であり、
前記推論データ管理装置は、複数であることを特徴とする請求項１から請求項３の何れか一項に記載の機械学習システム。
前記推論データ管理装置は、複数であることを特徴とする請求項１から請求項３の何れか一項に記載の機械学習システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、マルチパーティ計算により学習及び推論を行う機械学習システムに関する。
【背景技術】
【0002】
近年、機械学習があらゆる分野で利用されている。学習や推論を行う際にユーザのプライバシーが漏洩する問題が指摘されており、ユーザのプライバシーを保護したまま機械学習を行う手法が提案されている。例えば、非特許文献１では、３台のクラウドサーバを利用したマルチパーティ計算により、学習や推論を暗号化したまま行うことが可能なプライバシー保護機械学習システムが提案されている。
【0003】
非特許文献１に記載の技術（以下、「第１従来技術」）では、学習を行う際、データ保有者が保有する学習データを、秘密分散を用いて「シェア」と呼ばれる３つのデータに分割し、各シェアを３台のクラウドサーバにそれぞれ送信する。そして、３台のクラウドサーバは、受信したシェアを用いて、データを暗号化したまま計算を行う秘密計算を実施し、学習モデル（重みやバイアスなどのパラメータ）を生成する。推論を行う際、データ利用者が生成した推論データ（クエリ）を、秘密分散を用いて３つのシェアに分割し、各シェアを３台のクラウドサーバにそれぞれ送信する。そして、３台のクラウドサーバは、受信したシェアおよび学習モデルを用いて秘密計算（推論）を実施し、推論結果のシェアをデータ利用者に送信する。データ利用者は、受信したシェアを合成し推論結果を得る。このように、第１従来技術では、秘密分散をベースとするマルチパーティ計算を用いることにより、クラウド又はネットワーク上におけるプライバシー漏洩を防止することができる。
【0004】
ところで、第１従来技術では、データ保有者が学習データをクラウドサーバに送信する際、１つのシェアのみから学習データを復元することは情報理論的に困難である。このため、第１従来技術では、学習データからユーザのプライバシーが漏洩する危険性はない。しかし、第１従来技術では、ネットワーク上に流れるシェアを攻撃者が改ざんすることは可能であるため、３台のクラウドサーバによって生成された学習モデルが所望の性能を達成できなくなる恐れがある。
【0005】
この問題に対処するためには、ＲＳＡ署名やＤＳＡ署名などのデジタル署名をプライバシー保護機械学習システムに適用する手法（以下、「第２従来技術」）が考えられる。すなわち、第２従来技術では、シェアにデータ保有者の署名を付加し、クラウドサーバが署名の検証を行うことにより、シェアが通信途中で改ざんされていないこと、及び、データ保有者によって送信されたシェアであることをクラウドサーバが確認できる。推論の場合も同様、第２従来技術では、シェアにデータ利用者の署名を付加し、クラウドサーバが署名の検証を行うことにより、シェアが通信途中で改ざんされていないこと、及び、データ利用者によって送信されたシェアであることをクラウドサーバが確認できる。さらに、第２従来技術では、各クラウドサーバが推論結果のシェアをデータ利用者に送信する際も、シェアにクラウドサーバの署名を付加し、データ利用者が署名の検証を行う。これにより、第２従来技術では、シェアが通信途中で改ざんされていないこと、及び、クラウドサーバによって送信されたシェアであることをデータ利用者が確認できる。
【先行技術文献】
【非特許文献】
【0006】
【非特許文献1】S. Wagh, S. Tople, F. Benhamouda, E. Kushilevitz, P. Mittal, and T. Rabin “Falcon: Honest-Majority Maliciously Secure Framework for Private Deep Learning”, PETS 2021, pp. 188-208, 2021．
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかし、前記した第２従来技術では、以下で説明するような問題がある。すなわち、第２従来技術では、学習データを提供するデータ保有者、及び、推論結果を利用するデータ利用者が誰であるか、署名の検証によって署名検証者（クラウドサーバ）に知られてしまう。以後、データ保有者及びデータ利用者をユーザと記載する場合がある。このため、第２従来技術では、ユーザが学習データを提供していることや推論サービスを利用していることすらも隠したい、というプライバシー保護の強い要請には対応が困難である。
【0008】
そこで、本発明は、ユーザの匿名性を保証し、プライバシーを保護できる機械学習システムを提供することを課題とする。
【課題を解決するための手段】
【0009】
前記課題を解決するため、本発明に係る機械学習システムは、学習データを管理する学習データ管理装置と、推論データを管理する推論データ管理装置と、マルチパーティ計算により学習及び推論を行う複数の学習推論装置と、を備える構成とした。
【0010】
学習データ管理装置は、リング署名方式の鍵生成アルゴリズムにより、学習データ管理装置の第１公開鍵及び第１秘密鍵を生成する鍵生成部と、学習データを学習推論装置毎の第１シェアに秘密分散する秘密分散部と、第１公開鍵と他の学習データ管理装置又は推論データ管理装置の公開鍵とが含まれる第１公開鍵リストを生成し、第１秘密鍵及び第１公開鍵リストを用いたリング署名方式の署名生成アルゴリズムにより第１シェアから署名を生成し、生成した署名を第１シェアに付加する匿名署名生成部と、を備える。
【0011】
学習推論装置は、第１公開鍵リストを用いたリング署名方式の署名検証アルゴリズムにより、第１シェアに付加された署名を検証する第１匿名署名検証部と、他の学習推論装置との秘密計算により、署名検証済みの第１シェアから学習モデルを生成する第１秘密計算部と、推論データ管理装置で生成された第２公開鍵リストを用いたリング署名の署名検証アルゴリズムにより、推論データ管理装置で秘密分散された第２シェアに付加された署名を検証する第２匿名署名検証部と、学習モデルを用いた他の学習推論装置との秘密計算により、署名検証済みの第２シェアから学習推論装置毎の推論結果である第３シェアを求める第２秘密計算部と、リング署名の鍵生成アルゴリズムにより、学習推論装置の第３公開鍵及び第３秘密鍵を生成する鍵生成部と、第３公開鍵のみが含まれる第３公開鍵リストを生成し、第３秘密鍵及び第３公開鍵リストを用いたリング署名方式の署名生成アルゴリズムにより第３シェアから署名を生成し、生成した署名を第３シェアに付加する署名生成部と、を備える。
【0012】
推論データ管理装置は、リング署名方式の鍵生成アルゴリズムにより、推論データ管理装置の第２公開鍵及び第２秘密鍵を生成する鍵生成部と、推論データを学習推論装置毎の第２シェアに秘密分散する秘密分散部と、第２公開鍵と他の学習データ管理装置又は推論データ管理装置の公開鍵とが含まれる第２公開鍵リストを生成し、第２秘密鍵及び第２公開鍵リストを用いたリング署名方式の署名生成アルゴリズムにより第２シェアから署名を生成し、生成した署名を第２シェアに付加する匿名署名生成部と、第３公開鍵リストを用いたリング署名方式の署名検証アルゴリズムにより、第３シェアに付加された署名を検証する署名検証部と、学習推論装置毎に署名検証済みの第３シェアを合成することで、機械学習システムの推論結果を生成する推論結果合成部と、を備える。
【0013】
ここで、リング署名では、署名生成時に自身の公開鍵に加えて他ユーザの公開鍵を公開鍵リストに含めることで、署名を生成したユーザを署名検証者（学習推論装置）が把握できないという性質を有する。そこで、機械学習システムでは、匿名性を有するリング署名方式で学習データおよび推論データに署名を付加するので、ユーザの匿名性を保証し、プライバシーを保護できる。
【0014】
また、リング署名では、自身の公開鍵のみを公開鍵リストに含める場合（他ユーザの公開鍵を公開鍵リストに含めない場合）、一般的な署名と同様に匿名性が無くなるという性質を有する。この性質を利用し、機械学習システムでは、学習推論装置が自身の公開鍵のみを第３公開鍵リストに含めることで、正規な学習推論装置から受信した推論結果（第３シェア）であることを推論データ管理装置が容易に確認できる。
【0015】
さらに、機械学習システムでは、学習データ管理装置、推論データ管理装置及び学習推論装置の全装置でリング署名方式を採用するので、簡易な構成を実現できる。
【発明の効果】
【0016】
本発明によれば、ユーザの匿名性を保証し、プライバシーを保護することができる。
【図面の簡単な説明】
【0017】
【図1】実施形態に係る機械学習システムの概要構成図である。
【図2】実施形態に係る機械学習システムにおいて、学習に関連した構成を示すブロック図である。
【図3】実施形態に係る機械学習システムにおいて、推論に関連した構成を示すブロック図である。
【図4】実施形態において、複製秘密分散法によるシェアの合成例を説明する説明図である。
【図5】実施形態において、学習データ管理装置の動作を示すフローチャートである。
【図6】実施形態において、学習時のクラウドサーバの動作を示すフローチャートである。
【図7】実施形態において、推論データ管理装置の動作を示すフローチャートである。
【図8】実施形態において、推論時のクラウドサーバの動作を示すフローチャートである。
【図9】実施形態において、推論データ管理装置の動作を示すフローチャートである。
【発明を実施するための形態】
【0018】
以下、本発明の実施形態について図面を参照して説明する。但し、以下に説明する実施形態は、本発明の技術思想を具体化するためのものであって、特定的な記載がない限り、本発明を以下のものに限定しない。また、同一の手段には同一の符号を付し、説明を省略する場合がある。
【0019】
（実施形態）
［機械学習システムの概要］
図１を参照し、実施形態に係る機械学習システム１の概要について説明する。
機械学習システム１は、学習データを管理する学習データ管理装置１０と、マルチパーティ計算により学習及び推論を行う複数のクラウドサーバ（学習推論装置）２０と、推論データを管理する推論データ管理装置３０とを備える。
［機械学習システムの概要］
図１を参照し、実施形態に係る機械学習システム１の概要について説明する。
機械学習システム１は、学習データを管理する学習データ管理装置１０と、マルチパーティ計算により学習及び推論を行う複数のクラウドサーバ（学習推論装置）２０と、推論データを管理する推論データ管理装置３０とを備える。
【0020】
ここで、データ保有者が学習データ管理装置１０を利用し、データ利用者が推論データ管理装置３０を利用する。また、学習推論装置がクラウドサーバ２０として実装されている。
また、マルチパーティ計算が３パーティー方式であり、クラウドサーバ２０が３台である。本実施形態では、機械学習システム１は、ａ台の学習データ管理装置１０１，…，１０ａと、３台のクラウドサーバ２０１，２０２，２０３と、ｂ台の推論データ管理装置３０１，…，３０ｂとを備える（但し、ａ及びｂは２以上の整数）。
また、マルチパーティ計算が３パーティー方式であり、クラウドサーバ２０が３台である。本実施形態では、機械学習システム１は、ａ台の学習データ管理装置１０１，…，１０ａと、３台のクラウドサーバ２０１，２０２，２０３と、ｂ台の推論データ管理装置３０１，…，３０ｂとを備える（但し、ａ及びｂは２以上の整数）。
【0021】
なお、学習データ管理装置１０１，…，１０ａは同一構成であり、３台のクラウドサーバ２０１，２０２，２０３は同一構成であり、推論データ管理装置３０１，…，３０ｂは同一構成である。以後、個別の説明が必要でない限り、単に学習データ管理装置１０、クラウドサーバ２０及び推論データ管理装置３０と記載する。
【0022】
学習を行う際、学習データ管理装置１０は、データ保有者が保有する学習データを秘密分散により３つの第１シェアに分割し、各第１シェアを３台のクラウドサーバ２０にそれぞれ送信する。そして、３台のクラウドサーバ２０は、受信した第１シェアを用いて秘密計算（学習）を実施し、学習モデルを生成する。
【0023】
推論を行う際、推論データ管理装置３０は、データ利用者が生成した推論データを秘密分散により３つの第２シェアに分割し、各第２シェアを３台のクラウドサーバ２０にそれぞれ送信する。そして、３台のクラウドサーバ２０は、受信した第２シェア及び学習モデルを用いて秘密計算（推論）を実施し、各クラウドサーバ２０の推論結果である第３シェアをデータ利用者に送信する。そして、推論データ管理装置３０は、受信した第３シェアを合成し、最終的な機械学習システム１の推論結果を得る。
【0024】
なお、秘密計算とは、データを暗号化したまま計算することである。
また、マルチパーティ計算とは、秘密分散をベースとして、複数の装置が予め定められた手順に従って暗号化データの演算及び交換を行うことで、暗号化したままデータの計算を行う。このマルチパーティ計算は、秘密計算の一種である。
また、秘密分散とは、秘密情報（例えば、学習データや推論データ）をシェアとよばれる乱数の断片に分割して秘匿することである。
また、マルチパーティ計算とは、秘密分散をベースとして、複数の装置が予め定められた手順に従って暗号化データの演算及び交換を行うことで、暗号化したままデータの計算を行う。このマルチパーティ計算は、秘密計算の一種である。
また、秘密分散とは、秘密情報（例えば、学習データや推論データ）をシェアとよばれる乱数の断片に分割して秘匿することである。
【0025】
また、学習データは、その種類や内容が特に制限されない。例えば、学習データとしては、正解ラベル付きの教師データがあげられる。
また、推論データは、学習データと同様、その種類や内容が特に制限されない。
また、推論データは、学習データと同様、その種類や内容が特に制限されない。
【0026】
ここで、機械学習システム１は、学習データ及び推論データにリング署名を付加することとする。本実施形態では、機械学習システム１は、任意のリング署名方式を用いることができる。例えば、機械学習システム１は、以下参考文献１に記載のリング署名方式を用いる。
参考文献１： M. Abe, M. Ohkubo, and K. Suzuki, “1-out-of-n signatures from a variety of keys”, Asiacrypt 2002, pp. 415-432, 2002.
参考文献１： M. Abe, M. Ohkubo, and K. Suzuki, “1-out-of-n signatures from a variety of keys”, Asiacrypt 2002, pp. 415-432, 2002.
【0027】
リング署名方式は、以下の３つのアルゴリズムで構成されている。
鍵生成アルゴリズムは、セキュリティパラメータを入力し、秘密鍵及び公開鍵を出力するアルゴリズムである。なお、セキュリティパラメータは、鍵の長さを決定するパラメータであり、機械学習システム１全体で同じ値に設定する。
鍵生成アルゴリズムは、セキュリティパラメータを入力し、秘密鍵及び公開鍵を出力するアルゴリズムである。なお、セキュリティパラメータは、鍵の長さを決定するパラメータであり、機械学習システム１全体で同じ値に設定する。
【0028】
署名生成アルゴリズムは、メッセージ、秘密鍵、及び公開鍵リストを入力し、署名を出力するアルゴリズムである。公開鍵リストには、署名者の秘密鍵に対応する公開鍵を含め、１以上の公開鍵が含まれている。
【0029】
署名検証アルゴリズムは、メッセージ、署名及び公開鍵リストを入力し、検証成功（１：ａｃｃｅｐｔ）、又は、検証失敗（０：ｒｅｊｅｃｔ）を出力するアルゴリズムである。
【0030】
【0031】
図２に示すように、学習データ管理装置１０は、学習データ管理部１１と、鍵管理部１２と、学習データ送信部１３とを備える。
学習データ管理部１１は、後記する学習モデルの生成に必要な学習データを管理するものであり、学習データ記憶部１１０を備える。
学習データ記憶部１１０は、学習データを記憶するメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）などの記憶装置である。なお、データ保有者が、学習データを学習データ記憶部１１０に予め記憶させておくこととする。
学習データ管理部１１は、後記する学習モデルの生成に必要な学習データを管理するものであり、学習データ記憶部１１０を備える。
学習データ記憶部１１０は、学習データを記憶するメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）などの記憶装置である。なお、データ保有者が、学習データを学習データ記憶部１１０に予め記憶させておくこととする。
【0032】
鍵管理部１２は、学習データ管理装置１０の第１公開鍵及び第１秘密鍵からなる鍵ペアを管理するものであり、鍵生成部１２０と、鍵記憶部１２１とを備える。
【0033】
鍵生成部１２０は、リング署名方式の鍵生成アルゴリズムにより、学習データ管理装置１０の第１公開鍵及び第１秘密鍵を生成するものである。そして、鍵生成部１２０は、第１公開鍵及び第１秘密鍵を鍵記憶部１２１に記憶させると共に、第１公開鍵を外部（例えば、インターネット上のクラウドサーバ）に公開する。
鍵記憶部１２１は、学習データ管理装置１０の第１公開鍵及び第１秘密鍵を記憶する記憶装置である。
鍵記憶部１２１は、学習データ管理装置１０の第１公開鍵及び第１秘密鍵を記憶する記憶装置である。
【0034】
学習データ送信部１３は、学習データの第１シェアを各クラウドサーバ２０に送信するものであり、秘密分散部１３０と、匿名署名生成部１３１と、シェア送信部１３２とを備える。
【0035】
秘密分散部１３０は、学習データをクラウドサーバ２０毎の第１シェアＭｉに秘密分散するものである。なお、ｉは、各クラウドサーバ２０の識別番号を表す整数である（本実施形態では、ｉ＝１，２，３）。本実施形態では、秘密分散部１３０は、学習データ記憶部１１０から学習データを読み出し、秘密分散を用いて、その学習データを３つの第１シェアＭ１，Ｍ２，Ｍ３に分割する。
【0036】
匿名署名生成部１３１は、第１公開鍵と他の学習データ管理装置１０又は推論データ管理装置３０の公開鍵とが含まれる第１公開鍵リストＬを生成するものである。本実施形態では、匿名署名生成部１３１は、鍵記憶部１２１から自身の第１公開鍵及び第１秘密鍵を読み出すと共に、外部（例えば、インターネット上のクラウドサーバ）に公開されている他ユーザの公開鍵を１つ以上取得し、自身の第１公開鍵を含む公開鍵リストＬを生成する。このように、第１公開鍵リストＬには、自身の第１公開鍵に加えて他ユーザの公開鍵が含まれているので、署名を生成したユーザ（つまり、学習データを提供したデータ保有者）をクラウドサーバ２０が把握できない。
【0037】
なお、匿名署名生成部１３１は、機械学習システム１の全ユーザの公開鍵を第１公開鍵リストＬに含める必要はない。例えば、匿名署名生成部１３１は、自身の第１公開鍵に加え、他ユーザの公開鍵を１０個程度、第１公開鍵リストＬに含めればよい。このとき、第１公開鍵リストＬには、データ保有者又はデータ利用者一方の公開鍵のみを含めてもよく、データ保有者及びデータ利用者両方の公開鍵を含めてもよい。
【0038】
次に、匿名署名生成部１３１は、第１秘密鍵及び第１公開鍵リストＬを用いたリング署名方式の署名生成アルゴリズムにより第１シェアＭｉから署名Σｉを生成し、生成した署名Σｉを第１シェアＭｉに付加する。本実施形態では、匿名署名生成部１３１は、リング署名方式の署名生成アルゴリズムを用いて、第１シェアＭ１，Ｍ２，Ｍ３のそれぞれをメッセージとして署名Σ１，Σ２，Σ３を生成し、署名Σ１，Σ２，Σ３のそれぞれを第１シェアＭ１，Ｍ２，Ｍ３に付加する。以後、署名が付加された第１シェアを署名付き第１シェアと記載する場合がある。
【0039】
シェア送信部１３２は、署名付き第１シェア及び第１公開鍵リスト（Ｍｉ，Σｉ，Ｌ）をクラウドサーバ２０に送信するものである。本実施形態では、シェア送信部１３２は、署名付き第１シェア及び第１公開鍵リスト（Ｍ１，Σ１，Ｌ）をクラウドサーバ２０１に送信し、署名付き第１シェア及び第１公開鍵リスト（Ｍ２，Σ２，Ｌ）をクラウドサーバ２０２に送信し、署名付き第１シェア及び第１公開鍵リスト（Ｍ３，Σ３，Ｌ）をクラウドサーバ２０３に送信する。
【0040】
＜クラウドサーバ＞
図２及び図３に示すように、クラウドサーバ２０は、学習データ受信部２１と、学習部２２と、推論データ受信部２３と、鍵管理部２４と、推論部２５とを備える。なお、図面を見やすくするため、図２には、クラウドサーバ２０の各手段のうち、学習に関連した手段のみを図示し、図３には、推論に関連した手段のみを図示した。
図２及び図３に示すように、クラウドサーバ２０は、学習データ受信部２１と、学習部２２と、推論データ受信部２３と、鍵管理部２４と、推論部２５とを備える。なお、図面を見やすくするため、図２には、クラウドサーバ２０の各手段のうち、学習に関連した手段のみを図示し、図３には、推論に関連した手段のみを図示した。
【0041】
図２に示すように、学習データ受信部２１は、学習データの第１シェアＭｉを学習データ管理装置１０から受信するものであり、シェア受信部２１０と、匿名署名検証部（第１匿名署名検証部）２１１とを備える。
【0042】
シェア受信部２１０は、署名付き第１シェア及び第１公開鍵リスト（Ｍｉ，Σｉ，Ｌ）を学習データ管理装置１０から受信するものである。例えば、クラウドサーバ２０１のシェア受信部２１０は、署名付き第１シェア及び第１公開鍵リスト（Ｍ１，Σ１，Ｌ）を学習データ管理装置１０から受信する。また、クラウドサーバ２０２のシェア受信部２１０は、署名付き第１シェア及び第１公開鍵リスト（Ｍ２，Σ２，Ｌ）を学習データ管理装置１０から受信する。また、クラウドサーバ２０３のシェア受信部２１０は、署名付き第１シェア及び第１公開鍵リスト（Ｍ３，Σ３，Ｌ）を学習データ管理装置１０から受信する。
【0043】
匿名署名検証部２１１は、第１公開鍵リストＬを用いたリング署名方式の署名検証アルゴリズムにより、第１シェアＭｉに付加された署名Σｉを検証するものである。本実施形態では、クラウドサーバ２０１の匿名署名検証部２１１は、第１シェアＭ１をメッセージとして、署名Σ１を検証する。また、クラウドサーバ２０２の匿名署名検証部２１１は、第１シェアＭ２をメッセージとして、署名Σ２を検証する。また、クラウドサーバ２０３の匿名署名検証部２１１は、第１シェアＭ３をメッセージとして、署名Σ３を検証する。
【0044】
署名Σｉが検証成功の場合、匿名署名検証部２１１は、第１シェアＭｉを秘密計算部２２０に出力する。一方、署名Σｉが検証失敗の場合、匿名署名検証部２１１は、第１シェアＭｉが改竄されているとみなし、エラーメッセージを出力して処理を終了する。
【0045】
学習部２２は、学習データの第１シェアＭｉを用いて学習を行うものであり、秘密計算部（第１秘密計算部）２２０と、学習モデル記憶部２２１とを備える。
【0046】
秘密計算部２２０は、他のクラウドサーバ２０との秘密計算により、署名検証済みのシェアＭｉから学習モデルを生成するものである。例えば、クラウドサーバ２０１，２０２，２０３の秘密計算部２２０は、互いに協調して秘密計算（学習）を行い、学習モデルを生成する。本実施形態では、秘密計算部２２０は、深層学習（ディープラーニング）を行うこととするが、サポートベクターマシンのような機械学習を行ってもよい。そして、秘密計算部２２０は、生成した学習モデルを学習モデル記憶部２２１に記憶させる。
【0047】
学習モデル記憶部２２１は、学習モデルを記憶する記憶装置である。なお、３台のクラウドサーバ２０１～２０３の学習モデル記憶部２２１は、同一の学習モデルを記憶する。つまり、クラウドサーバ２０１～２０３が記憶する３つの学習モデルは、重みやバイアスなどのパラメータが同一である。
【0048】
以上のように、機械学習システム１は、データ保有者（学習データ管理装置１０）の匿名性を保証した状態で学習を行うことができる。
【0049】
［機械学習システムの構成：推論時］
＜推論データ管理装置＞
図３を参照し、機械学習システム１のうち、推論に関連した構成を説明する。
推論データ管理装置３０は、鍵管理部３１と、推論データ送信部３２と、推論結果出力部３３とを備える。
＜推論データ管理装置＞
図３を参照し、機械学習システム１のうち、推論に関連した構成を説明する。
推論データ管理装置３０は、鍵管理部３１と、推論データ送信部３２と、推論結果出力部３３とを備える。
【0050】
鍵管理部３１は、推論データ管理装置３０の第２公開鍵及び第２秘密鍵からなる鍵ペアを管理するものであり、鍵生成部３１０と、鍵記憶部３１１とを備える。
【0051】
鍵生成部３１０は、リング署名方式の鍵生成アルゴリズムにより、推論データ管理装置３０の第２公開鍵及び第２秘密鍵を生成するものである。そして、鍵生成部３１０は、第２公開鍵及び第２秘密鍵を鍵記憶部３１１に記憶させると共に、第２公開鍵を外部（例えば、インターネット上のクラウドサーバ）に公開する。
鍵記憶部３１１は、推論データ管理装置３０の第２公開鍵及び第２秘密鍵を記憶する記憶装置である。
鍵記憶部３１１は、推論データ管理装置３０の第２公開鍵及び第２秘密鍵を記憶する記憶装置である。
【0052】
推論データ送信部３２は、推論データの第２シェアｍｉを各クラウドサーバ２０に送信するものであり、推論データ生成部３２０と、秘密分散部３２１と、匿名署名生成部３２２と、シェア送信部３２３とを備える。
【0053】
推論データ生成部３２０は、推論データ（クエリ）を生成するものである。なお、推論データを生成する手法は、特に制限されず、一般的なものであればよい。また、推論データ生成部３２０を備える代わりに、データ利用者が、予め生成した推論データを推論データ送信部３２に入力してもよい。
【0054】
秘密分散部３２１は、推論データをクラウドサーバ２０毎の第２シェアｍｉに秘密分散するものである。本実施形態では、秘密分散部３２１は、推論データ生成部３２０から推論データが入力され、秘密分散を用いて、その推論データを３つのシェアｍ１，ｍ２，ｍ３に分割する。
【0055】
匿名署名生成部３２２は、第２公開鍵と他の学習データ管理装置１０又は推論データ管理装置３０の公開鍵とが含まれる第２公開鍵リストｌを生成するものである。本実施形態では、匿名署名生成部３２２は、鍵記憶部３１１から自身の第２公開鍵及び第２秘密鍵を読み出すと共に、外部に公開されている他ユーザの公開鍵を１つ以上取得し、自身の第２公開鍵を含む公開鍵リストｌを生成する。このように、第２公開鍵リストｌには、自身の第２公開鍵に加えて他ユーザの公開鍵が含まれているので、署名を生成したユーザ（推論サービスを利用するデータ利用者）をクラウドサーバ２０が知ることができない。
【0056】
なお、匿名署名生成部３２２は、匿名署名生成部１３１と同様、機械学習システム１の全ユーザの公開鍵を第２公開鍵リストｌに含める必要はない。例えば、匿名署名生成部３２２は、自身の第２公開鍵に加え、他ユーザの公開鍵を１０個程度、第２公開鍵リストｌに含めればよい。
【0057】
次に、匿名署名生成部３２２は、第２秘密鍵及び第２公開鍵リストｌを用いたリング署名方式の署名生成アルゴリズムにより第２シェアｍｉから署名σｉを生成し、生成した署名σｉを第２シェアｍｉに付加する。本実施形態では、匿名署名生成部３２２は、リング署名方式の署名生成アルゴリズムを用いて、第２シェアｍ１，ｍ２，ｍ３のそれぞれをメッセージとして署名σ１，σ２，σ３を生成し、署名σ１，σ２，σ３のそれぞれを第２シェアｍ１，ｍ２，ｍ３に付加する。
【0058】
シェア送信部３２３は、署名付き第２シェア及び第２公開鍵リスト（ｍｉ，σｉ，ｌ）をクラウドサーバ２０に送信するものである。本実施形態では、シェア送信部３２３は、署名付き第２シェア及び第２公開鍵リスト（ｍ１，σ１，ｌ）をクラウドサーバ２０１に送信し、署名付き第２シェア及び第２公開鍵リスト（ｍ２，σ２，ｌ）をクラウドサーバ２０２に送信し、署名付き第２シェア及び第２公開鍵リスト（ｍ３，σ３，ｌ）をクラウドサーバ２０３に送信する。
【0059】
推論結果出力部３３は、機械学習システム１の最終的な推論結果を出力するものであり、シェア受信部３３０と、署名検証部３３１と、推論結果合成部３３２とを備える。
【0060】
シェア受信部３３０は、後記する署名付き第３シェア及び第３公開鍵リスト（ｍｉ´，σｉ´，ｌ´）をクラウドサーバ２０から受信するものである。本実施形態では、シェア受信部３３０は、署名付き第３シェア及び第３公開鍵リスト（ｍ１´，σ１´，ｌ´）をクラウドサーバ２０１から受信し、署名付き第３シェア及び第３公開鍵リスト（ｍ２´，σ２´，ｌ´）をクラウドサーバ２０２から受信し、署名付き第３シェア及び第３公開鍵リスト（ｍ３´，σ３´，ｌ´）をクラウドサーバ２０３から受信する。
【0061】
なお、署名付き第３シェアｍｉ´は、各クラウドサーバ２０の推論結果を表す第３シェアｍｉ´に、各クラウドサーバ２０の署名σｉ´が付加されたものである。また、第３公開鍵リストｌ´は、クラウドサーバ２０の第３公開鍵のみが含まれている公開鍵リストである。
【0062】
署名検証部３３１は、第３公開鍵リストｌ´を用いたリング署名方式の署名検証アルゴリズムにより、第３シェアｍｉ´に付加された署名σｉ´を検証するものである。本実施形態では、署名検証部３３１は、クラウドサーバ２０１の第３シェアｍ１´をメッセージとして署名σ１´を検証し、クラウドサーバ２０２の第３シェアｍ２´をメッセージとして署名σ２´を検証し、クラウドサーバ２０３の第３シェアｍ３´をメッセージとして署名σ３´を検証する。
【0063】
全ての署名σｉ´が検証成功の場合、署名検証部３３１は、第３シェアｍｉ´を推論結果合成部３３２に出力する。一方、何れかの署名σｉ´が検証失敗の場合、署名検証部３３１は、第３シェアｍｉ´が改竄されているとみなし、エラーメッセージを出力して処理を終了する。
【0064】
推論結果合成部３３２は、クラウドサーバ２０毎に署名検証済みの第３シェアｍｉ´を合成することで、機械学習システム１の推論結果を生成するものである。本実施形態では、推論結果合成部３３２は、非特許文献１に記載の複製秘密分散法により、第３シェアｍ１´，ｍ２´，ｍ３´を合成する。その後、推論結果合成部３３２は、合成した機械学習システム１の推論結果をディスプレイに出力（表示）する。
【0065】
＜＜複製秘密分散法による合成＞＞
図４を参照し、複製秘密分散法によるシェアの合成例を説明する。
図４に示すように、あるデータｒを３つのシェアｒ１，ｒ２，ｒ３に秘密分散した場合を考える。この場合、複製秘密分散法では、３つのシェアｒ１，ｒ２，ｒ３をシェア（ｒ１，ｒ２）、シェア（ｒ２，ｒ３）、シェア（ｒ３，ｒ１）の組に変更する。すると、シェア（ｒ１，ｒ２），（ｒ２，ｒ３）のうち２組を合成すれば、元のデータｒを復元できる。図４の例において、シェアｒ１，ｒ２，ｒ３のそれぞれを第３シェアｍ１´，ｍ２´，ｍ３´に置き換えて合成すれば、最終的な推論結果が得られる。
図４を参照し、複製秘密分散法によるシェアの合成例を説明する。
図４に示すように、あるデータｒを３つのシェアｒ１，ｒ２，ｒ３に秘密分散した場合を考える。この場合、複製秘密分散法では、３つのシェアｒ１，ｒ２，ｒ３をシェア（ｒ１，ｒ２）、シェア（ｒ２，ｒ３）、シェア（ｒ３，ｒ１）の組に変更する。すると、シェア（ｒ１，ｒ２），（ｒ２，ｒ３）のうち２組を合成すれば、元のデータｒを復元できる。図４の例において、シェアｒ１，ｒ２，ｒ３のそれぞれを第３シェアｍ１´，ｍ２´，ｍ３´に置き換えて合成すれば、最終的な推論結果が得られる。
【0066】
＜クラウドサーバ＞
図３に戻り、クラウドサーバ２０の構成を説明する。
推論データ受信部２３は、推論データの第２シェアｍｉを推論データ管理装置３０から受信するものであり、シェア受信部２３０と、匿名署名検証部（第２匿名署名検証部）２３１とを備える。
図３に戻り、クラウドサーバ２０の構成を説明する。
推論データ受信部２３は、推論データの第２シェアｍｉを推論データ管理装置３０から受信するものであり、シェア受信部２３０と、匿名署名検証部（第２匿名署名検証部）２３１とを備える。
【0067】
シェア受信部２３０は、署名付き第２シェア及び第２公開鍵リスト（ｍｉ，σｉ，ｌ）を推論データ管理装置３０から受信するものである。本実施形態では、クラウドサーバ２０１のシェア受信部２３０は、署名付き第２シェア及び第２公開鍵リスト（ｍ１，σ１，ｌ）を推論データ管理装置３０から受信する。また、クラウドサーバ２０２のシェア受信部２３０は、署名付き第２シェア及び第２公開鍵リスト（ｍ２，σ２，ｌ）を推論データ管理装置３０から受信する。また、クラウドサーバ２０３のシェア受信部２３０は、署名付き第２シェア及び第２公開鍵リスト（ｍ３，σ３，ｌ）を推論データ管理装置３０から受信する。
【0068】
匿名署名検証部２３１は、推論データ管理装置３０で生成された第２公開鍵リストｌを用いたリング署名の署名検証アルゴリズムにより、推論データ管理装置３０で秘密分散された第２シェアｍｉに付加された署名σｉを検証するものである。本実施形態では、クラウドサーバ２０１の匿名署名検証部２３１は、第２シェアｍ１をメッセージとして署名σ１を検証する。また、クラウドサーバ２０２の匿名署名検証部２３１は、第２シェアｍ２をメッセージとして署名σ２を検証する。また、クラウドサーバ２０３の匿名署名検証部２３１は、第２シェアｍ３をメッセージとして署名σ３を検証する。
【0069】
署名σｉが検証成功の場合、匿名署名検証部２３１は、第２シェアｍｉを秘密計算部２５０に出力する。一方、署名σｉが検証失敗の場合、匿名署名検証部２３１は、第２シェアｍｉが改竄されているとみなし、エラーメッセージを出力して処理を終了する。
【0070】
鍵管理部２４は、クラウドサーバ２０の第３公開鍵及び第３秘密鍵からなる鍵ペアを管理するものであり、鍵生成部２４０と、鍵記憶部２４１とを備える。
【0071】
鍵生成部２４０は、リング署名方式の鍵生成アルゴリズムにより、クラウドサーバ２０の第３公開鍵及び第３秘密鍵を生成するものである。そして、鍵生成部２４０は、第３公開鍵及び第３秘密鍵を鍵記憶部２４１に記憶させる。
鍵記憶部２４１は、クラウドサーバ２０の第３公開鍵及び第３秘密鍵を記憶する記憶装置である。
鍵記憶部２４１は、クラウドサーバ２０の第３公開鍵及び第３秘密鍵を記憶する記憶装置である。
【0072】
推論部２５は、推論データの第２シェアｍｉを用いて推論を行うものであり、秘密計算部（第２秘密計算部）２５０と、署名生成部２５１と、シェア送信部２５２とを備える。
【0073】
秘密計算部２５０は、学習モデルを用いた他のクラウドサーバ２０との秘密計算により、署名検証済みの第２シェアｍｉからクラウドサーバ２０毎の推論結果である第３シェアｍｉ´を求めるものである。例えば、クラウドサーバ２０１，２０２，２０３の秘密計算部２５０は、学習モデル記憶部２２１の学習モデルを参照し、互いに協調して秘密計算（推論）を行い、第３シェアｍ１´，ｍ２´，ｍ３´をそれぞれ生成する。
【0074】
署名生成部２５１は、第３公開鍵のみが含まれる第３公開鍵リストｌ´を生成するものである。本実施形態では、署名生成部２５１は、鍵記憶部２４１から自身の第３公開鍵及び第３秘密鍵を読み出し、自身の第３公開鍵のみを含む公開鍵リストｌ´を生成する。このように、公開鍵リストｌ´にはクラウドサーバ２０の第３公開鍵のみが含まれているので、正規なクラウドサーバ２０から受信した第３シェアであることを推論データ管理装置３０が確認できる。
【0075】
次に、署名生成部２５１は、第３秘密鍵及び第３公開鍵リストｌ´を用いたリング署名方式の署名生成アルゴリズムにより第３シェアｍｉ´から署名σｉ´を生成し、生成した署名σｉ´を第３シェアｍｉ´に付加する。本実施形態では、クラウドサーバ２０１の署名生成部２５１は、リング署名方式の署名生成アルゴリズムを用いて、第３シェアｍ１´をメッセージとして署名σ１´を生成し、署名σ１´を第３シェアｍ１´に付加する。また、クラウドサーバ２０２の署名生成部２５１は、リング署名方式の署名生成アルゴリズムを用いて、第３シェアｍ２´をメッセージとして署名σ２´を生成し、署名σ２´を第３シェアｍ２´に付加する。また、クラウドサーバ２０３の署名生成部２５１は、リング署名方式の署名生成アルゴリズムを用いて、第３シェアｍ３´をメッセージとして署名σ３´を生成し、署名σ３´を第３シェアｍ３´に付加する。
【0076】
シェア送信部２５２は、署名付き第３シェア及び第３公開鍵リスト（ｍｉ´，σｉ´，ｌ´）を推論データ管理装置３０に送信するものである。本実施形態では、クラウドサーバ２０１のシェア送信部２５２は、署名付き第３シェア及び第３公開鍵リスト（ｍ１´，σ１´，ｌ´）を推論データ管理装置３０に送信する。また、クラウドサーバ２０２のシェア送信部２５２は、署名付き第３シェア及び第３公開鍵リスト（ｍ２´，σ２´，ｌ´）を推論データ管理装置３０に送信する。また、クラウドサーバ２０３のシェア送信部２５２は、署名付き第３シェア及び第３公開鍵リスト（ｍ３´，σ３´，ｌ´）を推論データ管理装置３０に送信する。
【0077】
以上のように、機械学習システム１は、データ利用者（推論データ管理装置３０）の匿名性を保証した状態で推論を行うことができる。
【0078】
［機械学習システムの動作：学習時］
＜学習データ管理装置＞
図５及び図６を参照し、機械学習システム１の学習時の動作について説明する。
図５に示すように、ステップＳ１において、鍵生成部１２０は、リング署名方式の鍵生成アルゴリズムにより、学習データ管理装置１０の第１公開鍵及び第１秘密鍵を生成する。
ステップＳ２において、鍵生成部１２０は、第１公開鍵及び第１秘密鍵を鍵記憶部１２１に記憶させると共に、第１公開鍵を外部に公開する。
＜学習データ管理装置＞
図５及び図６を参照し、機械学習システム１の学習時の動作について説明する。
図５に示すように、ステップＳ１において、鍵生成部１２０は、リング署名方式の鍵生成アルゴリズムにより、学習データ管理装置１０の第１公開鍵及び第１秘密鍵を生成する。
ステップＳ２において、鍵生成部１２０は、第１公開鍵及び第１秘密鍵を鍵記憶部１２１に記憶させると共に、第１公開鍵を外部に公開する。
【0079】
ステップＳ３において、秘密分散部１３０は、学習データ記憶部１１０から学習データを読み出す。
ステップＳ４において、秘密分散部１３０は、秘密分散を用いて、学習データを３つの第１シェアＭｉに分割する。
ステップＳ４において、秘密分散部１３０は、秘密分散を用いて、学習データを３つの第１シェアＭｉに分割する。
【0080】
ステップＳ５において、匿名署名生成部１３１は、鍵記憶部１２１から自身の第１公開鍵及び第１秘密鍵を読み出す。
ステップＳ６において、匿名署名生成部１３１は、外部に公開されている他ユーザの公開鍵を１つ以上取得する。
ステップＳ７において、匿名署名生成部１３１は、ステップＳ５で読み出した自身の第１公開鍵、及び、ステップＳ６で取得した他ユーザの公開鍵を含む第１公開鍵リストＬを生成する。
ステップＳ６において、匿名署名生成部１３１は、外部に公開されている他ユーザの公開鍵を１つ以上取得する。
ステップＳ７において、匿名署名生成部１３１は、ステップＳ５で読み出した自身の第１公開鍵、及び、ステップＳ６で取得した他ユーザの公開鍵を含む第１公開鍵リストＬを生成する。
【0081】
ステップＳ８において、匿名署名生成部１３１は、リング署名方式の署名生成アルゴリズムを用いて、署名Σｉを生成し、署名Σｉを第１シェアＭｉに付加する。
ステップＳ９において、シェア送信部１３２は、署名付き第１シェア及び第１公開鍵リスト（Ｍｉ，Σｉ，Ｌ）をクラウドサーバ２０に送信する。
ステップＳ９において、シェア送信部１３２は、署名付き第１シェア及び第１公開鍵リスト（Ｍｉ，Σｉ，Ｌ）をクラウドサーバ２０に送信する。
【0082】
＜クラウドサーバ＞
図６に示すように、ステップＳ１０において、シェア受信部２１０は、署名付き第１シェア及び第１公開鍵リスト（Ｍｉ，Σｉ，Ｌ）を学習データ管理装置１０から受信する。
ステップＳ１１において、匿名署名検証部２１１は、第１公開鍵リストＬを用いたリング署名方式の署名検証アルゴリズムにより、第１シェアＭｉに付加された署名Σｉを検証する。
図６に示すように、ステップＳ１０において、シェア受信部２１０は、署名付き第１シェア及び第１公開鍵リスト（Ｍｉ，Σｉ，Ｌ）を学習データ管理装置１０から受信する。
ステップＳ１１において、匿名署名検証部２１１は、第１公開鍵リストＬを用いたリング署名方式の署名検証アルゴリズムにより、第１シェアＭｉに付加された署名Σｉを検証する。
【0083】
ステップＳ１２において、匿名署名検証部２１１は、署名Σｉの検証成功又は検証失敗を判定する。
検証成功の場合（ステップＳ１２でＹｅｓ）、匿名署名検証部２１１は、ステップＳ１３の処理に進む。
検証失敗の場合（ステップＳ１２でＮｏ）、匿名署名検証部２１１は、ステップＳ１５の処理に進む。
検証成功の場合（ステップＳ１２でＹｅｓ）、匿名署名検証部２１１は、ステップＳ１３の処理に進む。
検証失敗の場合（ステップＳ１２でＮｏ）、匿名署名検証部２１１は、ステップＳ１５の処理に進む。
【0084】
ステップＳ１３において、秘密計算部２２０は、他のクラウドサーバ２０との秘密計算により、署名検証済みの第１シェアＭｉから学習モデルを生成する。
ステップＳ１４において、秘密計算部２２０は、生成した学習モデルを学習モデル記憶部２２１に記憶させる。
ステップＳ１５において、匿名署名検証部２１１は、第１シェアＭｉが改竄されているとみなし、エラーメッセージを出力して処理を終了する。
ステップＳ１４において、秘密計算部２２０は、生成した学習モデルを学習モデル記憶部２２１に記憶させる。
ステップＳ１５において、匿名署名検証部２１１は、第１シェアＭｉが改竄されているとみなし、エラーメッセージを出力して処理を終了する。
【0085】
［機械学習システムの動作：推論時］
＜推論データ管理装置＞
図７～図９を参照し、機械学習システム１の推論時の動作について説明する。
図７に示すように、ステップＳ２０において、鍵生成部３１０は、リング署名方式の鍵生成アルゴリズムにより、推論データ管理装置３０の第２公開鍵及び第２秘密鍵を生成する。
ステップＳ２１において、鍵生成部３１０は、第２公開鍵及び第２秘密鍵を鍵記憶部３１１に記憶させると共に、第２公開鍵を外部に公開する。
＜推論データ管理装置＞
図７～図９を参照し、機械学習システム１の推論時の動作について説明する。
図７に示すように、ステップＳ２０において、鍵生成部３１０は、リング署名方式の鍵生成アルゴリズムにより、推論データ管理装置３０の第２公開鍵及び第２秘密鍵を生成する。
ステップＳ２１において、鍵生成部３１０は、第２公開鍵及び第２秘密鍵を鍵記憶部３１１に記憶させると共に、第２公開鍵を外部に公開する。
【0086】
ステップＳ２２において、推論データ生成部３２０は、推論データ（クエリ）を生成する。
ステップＳ２３において、秘密分散部３２１は、秘密分散を用いて、推論データを３つのシェアｍｉに分割する。
ステップＳ２３において、秘密分散部３２１は、秘密分散を用いて、推論データを３つのシェアｍｉに分割する。
【0087】
ステップＳ２４において、匿名署名生成部３２２は、鍵記憶部３１１から自身の第２公開鍵及び第２秘密鍵を読み出す。
ステップＳ２５において、匿名署名生成部３２２は、外部に公開されている他ユーザの公開鍵を１つ以上取得する。
ステップＳ２５において、匿名署名生成部３２２は、外部に公開されている他ユーザの公開鍵を１つ以上取得する。
【0088】
ステップＳ２６において、匿名署名生成部３２２は、ステップＳ２４で読み出した自身の第２公開鍵、及び、ステップＳ２５で取得した他ユーザの公開鍵を含む第２公開鍵リストｌを生成する。
【0089】
ステップＳ２７において、匿名署名生成部３２２は、リング署名方式の署名生成アルゴリズムを用いて、署名σｉを生成し、署名σｉを第２シェアｍｉに付加する。
ステップＳ２８において、シェア送信部３２３は、署名付き第２シェア及び第２公開鍵リスト（ｍｉ，σｉ，ｌ）をクラウドサーバ２０に送信する。
ステップＳ２８において、シェア送信部３２３は、署名付き第２シェア及び第２公開鍵リスト（ｍｉ，σｉ，ｌ）をクラウドサーバ２０に送信する。
【0090】
＜クラウドサーバ＞
図８に示すように、ステップＳ３０において、シェア受信部２３０は、署名付き第２シェア及び第２公開鍵リスト（ｍｉ，σｉ，ｌ）を学習データ管理装置１０から受信する。
ステップＳ３１において、匿名署名検証部２３１は、第２公開鍵リストｌを用いたリング署名方式の署名検証アルゴリズムにより、第２シェアｍｉに付加された署名σｉを検証する。
図８に示すように、ステップＳ３０において、シェア受信部２３０は、署名付き第２シェア及び第２公開鍵リスト（ｍｉ，σｉ，ｌ）を学習データ管理装置１０から受信する。
ステップＳ３１において、匿名署名検証部２３１は、第２公開鍵リストｌを用いたリング署名方式の署名検証アルゴリズムにより、第２シェアｍｉに付加された署名σｉを検証する。
【0091】
ステップＳ３２において、匿名署名検証部２３１は、署名σｉの検証成功又は検証失敗を判定する。
検証成功の場合（ステップＳ３２でＹｅｓ）、匿名署名検証部２３１は、ステップＳ３３の処理に進む。
検証失敗の場合（ステップＳ３２でＮｏ）、匿名署名検証部２３１は、ステップＳ３８の処理に進む。
ステップＳ３３において、秘密計算部２５０は、学習モデルを用いた他のクラウドサーバ２０との秘密計算により、署名検証済みの第２シェアｍｉから第３シェアｍｉ´を求める。
検証成功の場合（ステップＳ３２でＹｅｓ）、匿名署名検証部２３１は、ステップＳ３３の処理に進む。
検証失敗の場合（ステップＳ３２でＮｏ）、匿名署名検証部２３１は、ステップＳ３８の処理に進む。
ステップＳ３３において、秘密計算部２５０は、学習モデルを用いた他のクラウドサーバ２０との秘密計算により、署名検証済みの第２シェアｍｉから第３シェアｍｉ´を求める。
【0092】
ステップＳ３４において、鍵生成部２４０は、リング署名方式の鍵生成アルゴリズムにより、クラウドサーバ２０の第３公開鍵及び第３秘密鍵を生成し、第３公開鍵及び第３秘密を鍵記憶部２４１に記憶させる。そして、署名生成部２５１は、鍵記憶部２４１から自身の第３公開鍵及び第３秘密鍵を読み出す。
【0093】
ステップＳ３５において、署名生成部２５１は、自身の第３公開鍵のみを含む第３公開鍵リストｌ´を生成する。
ステップＳ３６において、署名生成部２５１は、リング署名方式の署名生成アルゴリズムを用いて、署名σｉ´を生成し、署名σｉ´を第３シェアｍｉ´に付加する。
ステップＳ３６において、署名生成部２５１は、リング署名方式の署名生成アルゴリズムを用いて、署名σｉ´を生成し、署名σｉ´を第３シェアｍｉ´に付加する。
【0094】
ステップＳ３７において、シェア送信部２５２は、署名付き第３シェア及び第３公開鍵リスト（ｍｉ´，σｉ´，ｌ´）を推論データ管理装置３０に送信する。
ステップＳ３８において、匿名署名検証部２３１は、第２シェアｍｉが改竄されているとみなし、エラーメッセージを出力して処理を終了する。
ステップＳ３８において、匿名署名検証部２３１は、第２シェアｍｉが改竄されているとみなし、エラーメッセージを出力して処理を終了する。
【0095】
＜推論データ管理装置＞
図９に示すように、ステップＳ４０において、シェア受信部３３０は、署名付き第３シェア及び第３公開鍵リスト（ｍｉ´，σｉ´，ｌ´）をクラウドサーバ２０から受信する。
ステップＳ４１において、署名検証部３３１は、第３公開鍵リストｌ´を用いたリング署名方式の署名検証アルゴリズムにより、第３シェアｍｉ´に付加された署名σｉ´を検証する。
図９に示すように、ステップＳ４０において、シェア受信部３３０は、署名付き第３シェア及び第３公開鍵リスト（ｍｉ´，σｉ´，ｌ´）をクラウドサーバ２０から受信する。
ステップＳ４１において、署名検証部３３１は、第３公開鍵リストｌ´を用いたリング署名方式の署名検証アルゴリズムにより、第３シェアｍｉ´に付加された署名σｉ´を検証する。
【0096】
ステップＳ４２において、署名検証部３３１は、署名σｉ´の検証成功又は検証失敗を判定する。
検証成功の場合（ステップＳ４２でＹｅｓ）、署名検証部３３１は、ステップＳ４３の処理に進む。
検証失敗の場合（ステップＳ４２でＮｏ）、署名検証部３３１は、は、ステップＳ４５の処理に進む。
検証成功の場合（ステップＳ４２でＹｅｓ）、署名検証部３３１は、ステップＳ４３の処理に進む。
検証失敗の場合（ステップＳ４２でＮｏ）、署名検証部３３１は、は、ステップＳ４５の処理に進む。
【0097】
ステップＳ４３において、推論結果合成部３３２は、署名検証済みの各クラウドサーバ２０の第３シェアｍｉ´を合成する。
ステップＳ４４において、推論結果合成部３３２は、合成した機械学習システム１の推論結果をディスプレイに出力（表示）する。
ステップＳ４５において、署名検証部３３１は、第３シェアｍｉ´が改竄されているとみなし、エラーメッセージを出力して処理を終了する。
ステップＳ４４において、推論結果合成部３３２は、合成した機械学習システム１の推論結果をディスプレイに出力（表示）する。
ステップＳ４５において、署名検証部３３１は、第３シェアｍｉ´が改竄されているとみなし、エラーメッセージを出力して処理を終了する。
【0098】
［作用・効果］
以上のように、機械学習システム１では、匿名性を有するリング署名方式により学習データおよび推論データに署名を付加するので、ユーザの匿名性を保証し、プライバシーを保護できる。
以上のように、機械学習システム１では、匿名性を有するリング署名方式により学習データおよび推論データに署名を付加するので、ユーザの匿名性を保証し、プライバシーを保護できる。
【0099】
ここで、リング署名では、自身の公開鍵のみを公開鍵リストに含める場合（他ユーザの公開鍵を公開鍵リストに含めない場合）、一般的な署名と同様に匿名性が無くなるという性質を有する。この性質を利用し、機械学習システム１では、クラウドサーバ２０が自身の公開鍵のみを第３公開鍵リストに含めることで、正規な学習推論装置から受信した推論結果（第３シェア）であることを推論データ管理装置３０が容易に確認できる。
【0100】
さらに、機械学習システム１では、学習データ管理装置１０、推論データ管理装置３０及びクラウドサーバ２０の全てでリング署名方式を採用するので、簡易な構成を実現できる。すなわち、機械学習システム１では、匿名性の有無によらず、同一のリング署名方式のみを用いて全ての署名を生成・検証できるため、実装に必要なリソース（ＣＰＵやメモリなど）を最小限にすることができる。
【0101】
以上、実施形態を詳述してきたが、本発明は前記した実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
前記した実施形態では、学習推論装置がクラウドサーバに実装されていることとして説明したが、これに限定されない。
前記した実施形態では、マルチパーティ計算が３パーティー方式であることとして説明したが、これに限定されない。つまり、マルチパーティ計算は、２パーティー方式又は、４以上のパーティー方式であってもよい。
前記した実施形態では、学習推論装置がクラウドサーバに実装されていることとして説明したが、これに限定されない。
前記した実施形態では、マルチパーティ計算が３パーティー方式であることとして説明したが、これに限定されない。つまり、マルチパーティ計算は、２パーティー方式又は、４以上のパーティー方式であってもよい。
【符号の説明】
【0102】
１ 機械学習システム
１０ 学習データ管理装置
１１ 学習データ管理部
１１０ 学習データ記憶部
１２ 鍵管理部
１２０ 鍵生成部
１２１ 鍵記憶部
１３ 学習データ送信部
１３０ 秘密分散部
１３１ 匿名署名生成部
１３２ シェア送信部
２０ クラウドサーバ（学習推論装置）
２１ 学習データ受信部
２１０ シェア受信部
２１１ 匿名署名検証部（第１匿名署名検証部）
２２ 学習部
２２０ 秘密計算部（第１秘密計算部）
２２１ 学習モデル記憶部
２３ 推論データ受信部
２３０ シェア受信部
２３１ 匿名署名検証部（第２匿名署名検証部）
２４ 鍵管理部
２４０ 鍵生成部
２４１ 鍵記憶部
２５ 推論部
２５０ 秘密計算部（第２秘密計算部）
２５１ 署名生成部
２５２ シェア送信部
３０ 推論データ管理装置
３１ 鍵管理部
３１０ 鍵生成部
３１１ 鍵記憶部
３２ 推論データ送信部
３２０ 推論データ生成部
３２１ 秘密分散部
３２２ 匿名署名生成部
３２３ シェア送信部
３３ 推論結果出力部
３３０シェア受信部
３３１ 署名検証部
３３２ 推論結果合成部
１０ 学習データ管理装置
１１ 学習データ管理部
１１０ 学習データ記憶部
１２ 鍵管理部
１２０ 鍵生成部
１２１ 鍵記憶部
１３ 学習データ送信部
１３０ 秘密分散部
１３１ 匿名署名生成部
１３２ シェア送信部
２０ クラウドサーバ（学習推論装置）
２１ 学習データ受信部
２１０ シェア受信部
２１１ 匿名署名検証部（第１匿名署名検証部）
２２ 学習部
２２０ 秘密計算部（第１秘密計算部）
２２１ 学習モデル記憶部
２３ 推論データ受信部
２３０ シェア受信部
２３１ 匿名署名検証部（第２匿名署名検証部）
２４ 鍵管理部
２４０ 鍵生成部
２４１ 鍵記憶部
２５ 推論部
２５０ 秘密計算部（第２秘密計算部）
２５１ 署名生成部
２５２ シェア送信部
３０ 推論データ管理装置
３１ 鍵管理部
３１０ 鍵生成部
３１１ 鍵記憶部
３２ 推論データ送信部
３２０ 推論データ生成部
３２１ 秘密分散部
３２２ 匿名署名生成部
３２３ シェア送信部
３３ 推論結果出力部
３３０シェア受信部
３３１ 署名検証部
３３２ 推論結果合成部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】