(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023177836
(43)【公開日】2023-12-14
(54)【発明の名称】機械学習システム及び方法
(51)【国際特許分類】
G09C 1/00 20060101AFI20231207BHJP
G06N 20/00 20190101ALI20231207BHJP
【ＦＩ】
G09C1/00 650Z
G06N20/00
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2022090740
(22)【出願日】2022-06-03
(71)【出願人】
【識別番号】000003078
【氏名又は名称】株式会社東芝
(74)【代理人】
【識別番号】110001737
【氏名又は名称】弁理士法人スズエ国際特許事務所
(72)【発明者】
【氏名】松本 麻里
(72)【発明者】
【氏名】古田 雅則
(57)【要約】
【課題】機械学習における高い安全性を確保することが可能な機械学習システム及び方法を提供することにある。
【解決手段】実施形態によれば、複数のクライアント端末の各々は、学習処理が実行された機械学習モデルから第１パラメータ列を抽出し、第１パラメータ列の配列を変更し、配列が変更された第１パラメータ列に対して秘密分散を実施することによって第１断片パラメータ列を生成し、第１断片パラメータ列を複数の統合サーバ装置に送信する。複数の統合サーバ装置の各々は、複数のクライアント端末から受信された複数の第１断片パラメータ列の各々の配列を変更し、配列が変更された複数の第１断片パラメータ列に対して統合処理を実行することによって第２断片パラメータ列を生成する。機械学習モデルは、複数の第２断片パラメータ列から復号される第２パラメータ列に基づいて更新される。
【選択図】図５
【解決手段】実施形態によれば、複数のクライアント端末の各々は、学習処理が実行された機械学習モデルから第１パラメータ列を抽出し、第１パラメータ列の配列を変更し、配列が変更された第１パラメータ列に対して秘密分散を実施することによって第１断片パラメータ列を生成し、第１断片パラメータ列を複数の統合サーバ装置に送信する。複数の統合サーバ装置の各々は、複数のクライアント端末から受信された複数の第１断片パラメータ列の各々の配列を変更し、配列が変更された複数の第１断片パラメータ列に対して統合処理を実行することによって第２断片パラメータ列を生成する。機械学習モデルは、複数の第２断片パラメータ列から復号される第２パラメータ列に基づいて更新される。
【選択図】図５
【特許請求の範囲】
【請求項1】
複数のクライアント端末と、当該複数のクライアント端末と通信可能に接続される複数の統合サーバ装置とを備える機械学習システムにおいて、
前記複数のクライアント端末の各々は、
当該クライアント端末において管理されている学習データを用いて機械学習モデルの学習処理を実行する学習処理手段と、
前記学習処理が実行された機械学習モデルから複数のパラメータが配列された第１パラメータ列を抽出する抽出手段と、
前記抽出された第１パラメータ列における複数のパラメータの配列を変更する第１変更手段と、
前記複数のパラメータの配列が変更された第１パラメータ列に対して秘密分散を実施することによって、前記複数の統合サーバ装置の各々に対応する第１断片パラメータ列を生成する第１生成手段と、
前記生成された第１断片パラメータ列を前記複数の統合サーバ装置の各々に送信する送信手段と
を含み、
前記複数の統合サーバ装置の各々は、
前記複数のクライアント端末の各々に含まれる送信手段によって送信された複数の第１断片パラメータ列を受信する受信手段と、
前記受信された複数の第１断片パラメータ列の各々における複数の断片パラメータの配列を変更する第２変更手段と、
前記複数の断片パラメータの配列が変更された複数の第１断片パラメータ列に対して統合処理を実行することによって第２断片パラメータ列を生成する第２生成手段と
を含み、
前記機械学習モデルは、前記複数の統合サーバ装置の各々に含まれる第２生成手段によって生成された複数の第２断片パラメータ列から復号される第２パラメータ列における複数のパラメータに基づいて更新される
機械学習システム。
前記複数のクライアント端末の各々は、
当該クライアント端末において管理されている学習データを用いて機械学習モデルの学習処理を実行する学習処理手段と、
前記学習処理が実行された機械学習モデルから複数のパラメータが配列された第１パラメータ列を抽出する抽出手段と、
前記抽出された第１パラメータ列における複数のパラメータの配列を変更する第１変更手段と、
前記複数のパラメータの配列が変更された第１パラメータ列に対して秘密分散を実施することによって、前記複数の統合サーバ装置の各々に対応する第１断片パラメータ列を生成する第１生成手段と、
前記生成された第１断片パラメータ列を前記複数の統合サーバ装置の各々に送信する送信手段と
を含み、
前記複数の統合サーバ装置の各々は、
前記複数のクライアント端末の各々に含まれる送信手段によって送信された複数の第１断片パラメータ列を受信する受信手段と、
前記受信された複数の第１断片パラメータ列の各々における複数の断片パラメータの配列を変更する第２変更手段と、
前記複数の断片パラメータの配列が変更された複数の第１断片パラメータ列に対して統合処理を実行することによって第２断片パラメータ列を生成する第２生成手段と
を含み、
前記機械学習モデルは、前記複数の統合サーバ装置の各々に含まれる第２生成手段によって生成された複数の第２断片パラメータ列から復号される第２パラメータ列における複数のパラメータに基づいて更新される
機械学習システム。
【請求項2】
前記第１生成手段は、前記複数の統合サーバ装置の数がＮ（Ｎは、２以上の整数）である場合に、ｋ－１（ｋは、２以上、かつ、Ｎ以下の整数）個のランダムな整数環Ｑの元である第１係数ｒ１，…，ｒｋ－１と、Ｎ台の統合サーバ装置の各々に対応するＮ個のランダムな前記整数環Ｑの元である第２係数Ｐ１，…，ＰＮとを決定し、前記第１パラメータ列における複数のパラメータの各々を切片ａとするｋ－１次多項式
に基づいて、前記Ｎ台の統合サーバ装置の各々に対応するＮ個の第１断片パラメータ列を生成し、
前記送信手段は、前記生成されたＮ個の第１断片パラメータ列の各々を、当該第１断片パラメータ列に対応する統合サーバ装置に送信する
請求項１記載の機械学習システム。
【数3】
に基づいて、前記Ｎ台の統合サーバ装置の各々に対応するＮ個の第１断片パラメータ列を生成し、
前記送信手段は、前記生成されたＮ個の第１断片パラメータ列の各々を、当該第１断片パラメータ列に対応する統合サーバ装置に送信する
請求項１記載の機械学習システム。
【請求項3】
前記統合処理は、秘密計算により実行される請求項１記載の機械学習システム。
【請求項4】
前記第１生成手段は、前記抽出された第１パラメータ列における複数のパラメータの第１配列と当該第１配列から変更された当該複数のパラメータの第２配列との対応関係を示すインデックス列に対して秘密分散を実施することによって、前記複数の統合サーバ装置の各々に対応する断片インデックス列を生成し、
前記送信手段は、前記生成された断片インデックス列を前記複数の統合サーバ装置の各々に送信し、
前記受信手段は、前記複数のクライアント端末の各々に含まれる送信手段によって送信された複数の断片インデックス列を受信し、
前記第２変更手段は、前記受信された複数の断片インデックス列の各々に基づいて、前記受信された複数の第１断片パラメータ列の各々における複数の断片パラメータの配列を変更する
請求項１記載の機械学習システム。
前記送信手段は、前記生成された断片インデックス列を前記複数の統合サーバ装置の各々に送信し、
前記受信手段は、前記複数のクライアント端末の各々に含まれる送信手段によって送信された複数の断片インデックス列を受信し、
前記第２変更手段は、前記受信された複数の断片インデックス列の各々に基づいて、前記受信された複数の第１断片パラメータ列の各々における複数の断片パラメータの配列を変更する
請求項１記載の機械学習システム。
【請求項5】
前記断片インデックス列は、前記第１断片パラメータ列とは異なるファイルで送信される請求項４記載の機械学習システム。
【請求項6】
前記複数のクライアント端末の各々は、予め用意されている評価用データを用いて前記更新された後の機械学習モデルを評価する評価手段を更に含み、
前記複数のクライアント端末の各々に含まれる学習処理手段は、当該クライアント端末に含まれる評価手段による評価結果に基づいて、前記更新された後の機械学習モデルまたは前記更新される前の機械学習モデルの学習処理を実行する
請求項１記載の機械学習システム。
前記複数のクライアント端末の各々に含まれる学習処理手段は、当該クライアント端末に含まれる評価手段による評価結果に基づいて、前記更新された後の機械学習モデルまたは前記更新される前の機械学習モデルの学習処理を実行する
請求項１記載の機械学習システム。
【請求項7】
前記第１生成手段は、前記抽出された第１パラメータ列における複数のパラメータの第１配列と当該第１配列から変更された当該複数のパラメータの第２配列との対応関係を示す第１インデックス列に対して秘密分散を実施することによって前記複数の統合サーバ装置の各々に対応する第１断片インデックス列を生成し、前記第１インデックス列とは異なる第２インデックス列に対して秘密分散を実施することによって前記複数の統合サーバ装置の各々に対応する第２断片インデックス列を生成し、
前記送信手段は、前記生成された第１及び第２断片インデックス列を前記複数の統合サーバ装置の各々に送信し、
前記受信手段は、前記複数のクライアント端末の各々に含まれる送信手段によって送信された複数の第１断片インデックス列及び複数の第２断片インデックス列を受信し、
前記第２変更手段は、前記受信された複数の第１断片インデックス列及び複数の第２断片インデックス列のうちの予め指定されている複数の第１断片インデックス列の各々に基づいて、前記受信された複数の第１断片パラメータ列の各々における複数の断片パラメータの配列を変更する
請求項１記載の機械学習システム。
前記送信手段は、前記生成された第１及び第２断片インデックス列を前記複数の統合サーバ装置の各々に送信し、
前記受信手段は、前記複数のクライアント端末の各々に含まれる送信手段によって送信された複数の第１断片インデックス列及び複数の第２断片インデックス列を受信し、
前記第２変更手段は、前記受信された複数の第１断片インデックス列及び複数の第２断片インデックス列のうちの予め指定されている複数の第１断片インデックス列の各々に基づいて、前記受信された複数の第１断片パラメータ列の各々における複数の断片パラメータの配列を変更する
請求項１記載の機械学習システム。
【請求項8】
前記第１及び第２断片インデックス列は、前記第１断片パラメータ列とは異なるファイルで送信される請求項７記載の機械学習システム。
【請求項9】
前記受信された複数の第１断片パラメータ列の各々における複数の断片パラメータの配列の変更は、秘密計算により行われる請求項４または７記載の機械学習システム。
【請求項10】
複数のクライアント端末と、当該複数のクライアント端末と通信可能に接続される複数の統合サーバ装置とを備える機械学習システムが実行する方法であって、
前記複数のクライアント端末の各々が、当該クライアント端末において管理されている学習データを用いて機械学習モデルの学習処理を実行するステップと、
前記クライアント端末の各々が、前記学習処理が実行された機械学習モデルから複数のパラメータが配列された第１パラメータ列を抽出するステップと、
前記クライアント端末の各々が、前記抽出された第１パラメータ列における複数のパラメータの配列を変更するステップと、
前記クライアント端末の各々が、前記複数のパラメータの配列が変更された第１パラメータ列に対して秘密分散を実施することによって、前記複数の統合サーバ装置の各々に対応する第１断片パラメータ列を生成するステップと、
前記クライアント端末の各々が、前記生成された第１断片パラメータ列を前記複数の統合サーバ装置の各々に送信するステップと、
前記複数の統合サーバ装置の各々が、前記複数のクライアント端末の各々に含まれる送信手段によって送信された複数の第１断片パラメータを受信するステップと、
前記複数の統合サーバ装置の各々が、前記受信された複数の第１断片パラメータ列の各々における複数の断片パラメータの配列を変更するステップと、
前記複数の統合サーバ装置の各々が、前記複数の断片パラメータの配列が変更された複数の第１断片パラメータ列に対して統合処理を実行することによって第２断片パラメータ列を生成するステップと
を具備し、
前記機械学習モデルは、前記複数の統合サーバ装置の各々において生成された第２断片パラメータ列から復号される第２パラメータ列における複数のパラメータに基づいて更新される
方法。
前記複数のクライアント端末の各々が、当該クライアント端末において管理されている学習データを用いて機械学習モデルの学習処理を実行するステップと、
前記クライアント端末の各々が、前記学習処理が実行された機械学習モデルから複数のパラメータが配列された第１パラメータ列を抽出するステップと、
前記クライアント端末の各々が、前記抽出された第１パラメータ列における複数のパラメータの配列を変更するステップと、
前記クライアント端末の各々が、前記複数のパラメータの配列が変更された第１パラメータ列に対して秘密分散を実施することによって、前記複数の統合サーバ装置の各々に対応する第１断片パラメータ列を生成するステップと、
前記クライアント端末の各々が、前記生成された第１断片パラメータ列を前記複数の統合サーバ装置の各々に送信するステップと、
前記複数の統合サーバ装置の各々が、前記複数のクライアント端末の各々に含まれる送信手段によって送信された複数の第１断片パラメータを受信するステップと、
前記複数の統合サーバ装置の各々が、前記受信された複数の第１断片パラメータ列の各々における複数の断片パラメータの配列を変更するステップと、
前記複数の統合サーバ装置の各々が、前記複数の断片パラメータの配列が変更された複数の第１断片パラメータ列に対して統合処理を実行することによって第２断片パラメータ列を生成するステップと
を具備し、
前記機械学習モデルは、前記複数の統合サーバ装置の各々において生成された第２断片パラメータ列から復号される第２パラメータ列における複数のパラメータに基づいて更新される
方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、機械学習システム及び方法に関する。
【背景技術】
【0002】
近年では、デジタル化されたデータ（情報）を利用した高度な電気通信サービスが提供されている。このような電気通信サービスによれば、様々なデータに基づく環境に合わせた情報提供等を実現することができる。
【0003】
ところで、上記した電気通信サービスの提供を実現するために機械学習（により生成された学習モデル）を用いることが考えられる。機械学習の規模は拡大化する傾向にあり、近年ではクラウドコンピューティングサービスを提供する事業者（以下、クラウド事業者と表記）に当該機械学習に関する演算（計算）を委託し、大規模な機械学習を実現することが行われている。
【0004】
しかしながら、機械学習に用いる学習データには個人情報等が含まれる場合があり、クラウド事業者に機械学習に関する演算を委託した場合には、当該学習データが漏洩するリスクが生じる。具体的には、例えば複数の組織の各々が保有する学習データを収集（集約）して機械学習を行うような場合には、当該複数の組織から学習データを収集する際に当該学習データが漏洩することが考えられるし、当該統合サーバ装置から当該学習データが漏洩する可能性もある。
【0005】
このような学習データの漏洩を抑制するための技術として連合学習が知られている。連合学習は複数の組織に跨る学習データを用いて機械学習を行うための技術であり、当該連合学習においては、例えば当該複数の組織の各々にマスターモデル（グローバルモデル）が配布され、当該複数の組織の各々に分散して保有されている学習データを用いたマスターモデルの学習が当該複数の組織の各々で行われる。このような複数の組織の各々で行われた学習の結果（更新前のマスターモデルと更新後のマスターモデルとの差分）は統合サーバ装置によって収集され、当該収集された学習の結果を用いてマスターモデルが更新される。
【0006】
すなわち、連合学習においては、複数の組織の各々において保有されている学習データを収集することなく、当該学習データが分散された状態で学習が行われる（つまり、学習の結果のみが統合サーバ装置に提供される）ため、学習データの収集時に当該学習データが漏洩するまたは統合サーバ装置が収集した学習データが当該統合サーバから漏洩するようなことを防止することができる。
【0007】
更に、連合学習においては、更新前のマスターモデルと更新後のマスターモデルとの差分（例えば、更新後のマスターモデルのパラメータ）のみが統合サーバ装置によって収集されるため、機械学習を行う際の通信データ量の削減という利点を更に有する。
【0008】
しかしながら、連合学習を適用したとしても統合サーバ装置が収集する情報（学習の過程で得られるパラメータ等）から学習データが推測される脅威を排除することはできないため、当該情報が漏洩した場合には十分な安全性を確保することができない場合がある。
【先行技術文献】
【特許文献】
【0009】
【特許文献1】国際公開第２０２１／０５９６０４号
【発明の概要】
【発明が解決しようとする課題】
【0010】
そこで、本発明が解決しようとする課題は、機械学習における高い安全性を確保することが可能な機械学習システム及び方法を提供することにある。
【課題を解決するための手段】
【0011】
実施形態によれば、複数のクライアント端末と、当該複数のクライアント端末と通信可能に接続される複数の統合サーバ装置とを備える機械学習システムが提供される。前記複数のクライアント端末の各々は、当該クライアント端末において管理されている学習データを用いて機械学習モデルの学習処理を実行する学習処理手段と、前記学習処理が実行された機械学習モデルから複数のパラメータが配列された第１パラメータ列を抽出する抽出手段と、前記抽出された第１パラメータ列における複数のパラメータの配列を変更する第１変更手段と、前記複数のパラメータの配列が変更された第１パラメータ列に対して秘密分散を実施することによって、前記複数の統合サーバ装置の各々に対応する第１断片パラメータ列を生成する第１生成手段と、前記生成された第１断片パラメータ列を前記複数の統合サーバ装置の各々に送信する送信手段とを含む。前記複数の統合サーバ装置の各々は、前記複数のクライアント端末の各々に含まれる送信手段によって送信された複数の第１断片パラメータを受信する受信手段と、前記受信された複数の第１断片パラメータ列の各々における複数の断片パラメータの配列を変更する第２変更手段と、前記複数の断片パラメータの配列が変更された複数の第１断片パラメータ列に対して統合処理を実行することによって第２断片パラメータ列を生成する第２生成手段とを含む。前記機械学習モデルは、前記複数の統合サーバ装置の各々に含まれる第２生成手段によって生成された複数の第２断片パラメータ列から復号される第２パラメータ列における複数のパラメータに基づいて更新される。
【図面の簡単な説明】
【0012】
【図1】第１実施形態に係る機械学習システムのネットワーク構成の一例を示す図。
【図2】クライアント端末のハードウェア構成の一例を示す図。
【図3】クライアント端末の機能構成の一例を示す図。
【図4】統合サーバ装置の機能構成の一例を示す図。
【図5】機械学習システムの処理手順の一例を示すシーケンスチャート。
【図6】配列変更処理の一例を説明するための図。
【図7】機械学習システムの第１適用例を説明するための図。
【図8】機械学習システムの第２適用例を説明するための図。
【図9】第２実施形態におけるクライアント端末の機能構成の一例を示す図。
【図10】機械学習システムの処理手順の一例を示すシーケンスチャート。
【図11】第３実施形態における配列変更処理の一例を説明するための図。
【発明を実施するための形態】
【0013】
【0014】
本実施形態に係る機械学習システム１は、複数のクライアント端末及び複数の統合サーバ装置を備え、各種サービス（電気通信サービス）を提供するために利用される機械学習モデルの機械学習を行う（つまり、機械学習によって機械学習モデルを生成する）ために利用される。
【0015】
なお、本実施形態において、複数のクライアント端末はクライアント端末１０－１～１０－Ｍ（Ｍは、２以上の整数）を含み、複数の統合サーバ装置は統合サーバ装置２０－１～２０－Ｎ（Ｎは、２以上の整数）を含む。
【0016】
クライアント端末１０－１～１０－Ｍ及び統合サーバ装置２０－１～２０－Ｎの各々は、例えばパーソナルコンピュータのような電子機器（計算機）等によって実現される。また、クライアント端末１０－１～１０－Ｍと統合サーバ装置２０－１～２０－Ｎとは、例えばインターネットのようなネットワーク３０を介して通信可能に接続される。
【0017】
クライアント端末１０－１～１０－Ｍはそれぞれ対応する組織（クライアント）が保有するデータを管理する（または当該データにアクセスする）ことができるように構成されており、本実施形態においては、当該データを学習データとして用いることによって機械学習モデルの機械学習を行う場合を想定している。なお、クライアント端末１０－１～１０－Ｍの各々においては、それぞれ異なる学習データが管理されているものとする。
【0018】
また、統合サーバ装置２０－１～２０－Ｎの各々は、上記したクライアント端末１０－１～１０－Ｍに対してクラウドコンピューティングサービスを提供するクラウドサーバ装置として実現されていてもよい。
【0019】
なお、本実施形態においてクライアント端末１０－１～１０－Ｍの数と統合サーバ装置２０－１～２０－Ｎの数とは、同一であってもよいし、異なっていてもよい。
【0020】
ここで、例えばクライアント端末１０－１～１０－Ｍの各々において管理されているデータ（学習データ）を収集し、当該収集された学習データを用いて機械学習を行うことが考えられるが、このような構成の場合には、当該クライアント端末１０－１～１０－Ｍから学習データを収集する際に当該学習データが漏洩する可能性がある。
【0021】
これに対して、例えば連合学習と称される技術を適用することによって、上記した学習データの漏洩を抑制することができる可能性がある。
【0022】
しかしながら、連合学習においては機械学習を行うことによって得られた機械学習モデル（更新された機械学習モデル）のパラメータを学習の結果として収集する必要がある。この機械学習モデルのパラメータの収集時に当該パラメータが漏洩した場合には、当該パラメータから学習データが推測される可能性があるため、当該学習データの漏洩に対する安全性が十分であるということはできない。
【0023】
このため、本実施形態においては、クライアント端末１０－１～１０－Ｍの各々において管理されている学習データを用いて機械学習を行う際に、上記したパラメータを秘匿化（暗号化）する構成を採用する。
【0024】
ところで、上記したような秘匿化を実現する技術（秘匿演算技術）には、準同型暗号と秘密分散法とがあるが、一般的に、準同型暗号は、秘密分散法と比較して、演算量（計算量）が多くなる。このため、本実施形態において適用する秘匿演算技術としては、秘密分散法を用いる。
【0025】
秘密分散法は秘匿化されるデータ（秘匿情報）をシェアと称される複数の断片データに変換する方法であり、当該秘密分散法の一例としてはＳｈａｍｉｒの秘密分散法等が知られている。
【0026】
以下、Ｓｈａｍｉｒの秘密分散法の概要について説明する。ここでは、秘匿化されるデータａの保有者が当該データａをｎ個に安全に分散する場合を考える。
【0027】
このような場合、Ｓｈａｍｉｒの秘密分散法によれば、データ保有者はａ∈Ｑとなる体（整数環）Ｑを選択し、秘密分散を実施する。
【0028】
具体的には、ｋ－１（ｋは、２以上、かつ、ｎ以下の整数）個のランダムな体Ｑの元であるｒ１，…，ｒｋ－１を選択（決定）し、秘匿化されるデータａを切片とするｋ－１次多項式である以下の式（１）を構成する。
【数1】
【0029】
また、ｎ個の体Ｑの元であるＰ１，…，Ｐｎを選択（決定）し、当該Ｐ１，…，Ｐｎをそれぞれ上記した式（１）のＰに適用することによって、Ｗ（Ｐ１），…，Ｗ（Ｐｎ）を計算する。なお、上記したｒ１，…，ｒｋ－１及びＰ１，…，Ｐｎは、式（１）における係数に相当する。また、Ｐ１，…，Ｐｎはそれぞれ異なる値である。換言すれば、Ｐｔ（ｔ＝１，２，…，ｎ）はＰｔ´（ｔ´＝１，２，…，ｎ、かつ、ｔ≠ｔ´）とは異なる。
【0030】
上記したように計算されたＷ（Ｐ１），…，Ｗ（Ｐｎ）は、秘匿化されるデータａのシェア（断片データ）であり、例えば異なるｎ台のサーバ装置等に送信される。
【0031】
これにより、秘匿化されるデータａをｎ台のサーバ装置に分散することができる。なお、ｎ台のサーバ装置をサーバ装置Ｓ１，…，Ｓｎとし、サーバ装置Ｓｔ（ｔ＝１，２，…，ｎ）に送信されたシェアをＷ（Ｐｔ）とすると、当該Ｗ（Ｐｔ）は、例えば［ａ］ｔ：＝Ｗ（Ｐｔ）と表される。
【0032】
次に、上記したように分散されたｎ個のシェアからデータａを復元する場合を考える。この場合、上記したｎ台のサーバ装置Ｓ１，…，Ｓｎのうちのｋ台のサーバ装置（以下、サーバ装置Ｓｔ１，…，Ｓｔｋと表記）を選択し、当該選択されたサーバ装置Ｓｔ１，…，Ｓｔｋの各々からシェアを受け取る。なお、サーバ装置Ｓｔ１，…，Ｓｔｋから受け取られたシェアを［ａ］ｔ１，…，［ａ］ｔｋとする。
【0033】
この場合、データａは、ｋ個のシェア［ａ］ｔ１，…，［ａ］ｔｋから以下の式（２）により復元することができる。
【数2】
【0034】
なお、式（２）におけるλｔｊは、Ｌａｇｒａｎｇｅ補間法におけるＬａｇｒａｎｇｅ係数である。
【0035】
上記したＳｈａｍｉｒの秘密分散法によれば、１つの秘匿化されるデータａからｎ個のシェア（断片データ）を生成（計算）し、当該ｎ個のシェアをｎ台のサーバ装置に分散することができるとともに、当該分散されたｎ個のシェアから予め定められたｋ個のシェアを集めて元のデータａ（秘匿情報）を復元することができる。すなわち、Ｓｈａｍｉｒの秘密分散法は、ｋ≦ｎを満たすような２以上の整数ｎ及びｋについて、ｎ－ｋ個のシェアが消失したとしても元のデータａを復元することができる耐消失性と、ｋ個未満のシェアからは元のデータａを復元することができない機密性を併せ持つ。
【0036】
本実施形態においては、クライアント端末１０－１～１０－Ｍの各々において機械学習モデルの学習処理を実行し、上記したＳｈａｍｉｒの秘密分散法をベースとした秘密分散法を使用することによって、当該学習処理の結果（つまり、更新された機械学習モデルのパラメータ）に対する暗号化（秘匿化）を行うものとする。
【0037】
なお、本実施形態における秘密分散法においては、複数の統合サーバ装置２０－１～２０－Ｎが上記したサーバ装置Ｓ１，…，Ｓｎに相当する。
【0038】
以下、本実施形態に係る機械学習システム１について詳細に説明する。まず、図２を参照して、機械学習システム１に備えられるクライアント端末１０－１～１０－Ｍのうちのクライアント端末１０－１のハードウェア構成の一例について説明する。ここでは便宜的にクライアント端末１０－１のハードウェア構成について説明するが、他のクライアント端末１０－２～１０－Ｍの各々についても図２と同様のハードウェア構成を有している。
【0039】
図２に示すように、クライアント端末１０－１は、ＣＰＵ１１、不揮発性メモリ１２、ＲＡＭ１３及び通信デバイス１４等を備える。
【0040】
ＣＰＵ１１は、クライアント端末１０－１内の様々なコンポーネントの動作を制御するためのプロセッサである。ＣＰＵ１１は、単一のプロセッサであってもよいし、複数のプロセッサで構成されていてもよい。ＣＰＵ１１は、不揮発性メモリ１２からＲＡＭ１３にロードされる様々ンプログラムを実行する。これらのプログラムは、オペレーティングシステム（ＯＳ）や様々なアプリケーションプログラムを含む。このようにＣＰＵ１１によって実行されるアプリケーションプログラムには、機械学習システム１におけるクライアント端末として動作するためのプログラム（以下、クライアントプログラムと表記）が含まれる。
【0041】
不揮発性メモリ１２は、補助記憶装置として用いられる記憶媒体である。ＲＡＭ１３は、主記憶装置として用いられる記憶媒体である。図２においては不揮発性メモリ１２及びＲＡＭ１３のみが示されているが、クライアント端末１０－１は、例えばＨＤＤ（Hard Disk Drive）及びＳＳＤ（Solid State Drive）等の他の記憶装置を備えていてもよい。
【0042】
通信デバイス１４は、クライアント端末１０－１の外部の装置（例えば、複数の統合サーバ装置２０－１～２０－Ｎ）との通信を実行するように構成されたデバイスである。
【0043】
ここではクライアント端末１０－１～１０－Ｍの各々が図２に示すハードウェア構成を有するものとして説明したが、機械学習システム１に備えられる複数の統合サーバ装置２０－１～２０－Ｎの各々についても当該クライアント端末１０－１～１０－Ｍと同様のハードウェア構成を有するものとする。
【0044】
なお、クライアント端末１０－１～１０－Ｍの各々においてはＣＰＵ１１がクライアントプログラムを実行するものとして説明したが、統合サーバ装置２０－１～２０－Ｎの各々においてはＣＰＵがサーバプログラム（機械学習システム１における統合サーバ装置２０－１～２０－Ｎとして動作するためのプログラム）を実行するものとする。
【0045】
次に、図３を参照して、クライアント端末１０－１～１０－Ｍのうちのクライアント端末１０－１の機能構成の一例について説明する。ここでは便宜的にクライアント端末１０－１の機能構成について説明するが、他のクライアント端末１０－２～１０－Ｍの各々についても図３と同様の機能構成を有している。
【0046】
図３に示すように、クライアント端末１０－１は、格納部１０１、学習処理部１０２、パラメータ抽出部１０３、配列変更部１０４、暗号化部１０５、復号化部１０６及び更新部１０７を含む。
【0047】
本実施形態において、クライアント端末１０－１に含まれる格納部１０１は、図２に示す不揮発性メモリ１２または他の記憶装置によって実現される。
【0048】
また、クライアント端末１０－１に含まれる学習処理部１０２、パラメータ抽出部１０３、配列変更部１０４、暗号化部１０５、復号化部１０６及び更新部１０７の一部または全ては、図２に示すＣＰＵ１１（つまり、クライアント端末１０－１のコンピュータ）に上記したクライアントプログラムを実行させること、すなわち、ソフトウェアによって実現されるものとする。なお、このＣＰＵ１１によって実行されるクライアントプログラムは、コンピュータ読み取り可能な記憶媒体に格納して頒布されてもよいし、ネットワークを通じてクライアント端末１０－１にダウンロードされてもよい。
【0049】
ここではＣＰＵ１１にクライアントプログラムを実行させることによって各部１０２～１０７が実現されるものとして説明したが、当該各部１０２～１０７の一部または全ては、例えばＩＣ（Integrated Circuit）等のハードウェアによって実現されてもよいし、ソフトウェア及びハードウェアの組み合わせによって実現されてもよい。
【0050】
格納部１０１には、上記した学習データ（クライアント端末１０－１に対応する組織が保有するデータ）が格納されているものとする。
【0051】
なお、格納部１０１に格納されている学習データは、クライアント端末１０－１において管理されているデータであればよく、例えば当該クライアント端末１０－１がアクセスすることができるデータベース等から取得されたデータであっても構わない。ただし、本実施形態におけるクライアント端末１０－１は、当該クライアント端末１０－１において管理される学習データにアクセスすることができるのであって、他のクライアント端末１０－２～１０－Ｍにおいて管理されている学習データにはアクセスすることができないようなネットワーク構成に配置されているものとする。すなわち、本実施形態においては、クライアント端末１０－１～１０－Ｍの各々に含まれる格納部１０１に、それぞれ異なる学習データが格納されているものとする。
【0052】
学習処理部１０２は、格納部１０１に格納されている学習データを用いて機械学習モデルに対する学習処理を実行する（つまり、機械学習を行う）。なお、学習処理部１０２によって学習処理が実行される機械学習モデルは、例えばマスターモデルとして外部装置において予め管理されており、当該外部装置からクライアント端末１０－１に配布されるものとする。このように配布された機械学習モデルはローカルモデルとしてクライアント端末１０－１内に保持され、学習処理部１０２は、当該機械学習モデル（ローカルモデル）に対して学習処理を実行する。
【0053】
なお、本実施形態における学習アルゴリズムとしては、例えばニューラルネットワークを使用するものとする。ニューラルネットワークにおいては、入力層、出力層及び１つ以上の中間層（隠れ層）が構成され、当該各層に含まれる複数のノードは、隣接する層に含まれる複数のノードと相互接続される。本実施形態において使用されるニューラルネットワークは、例えば畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）及び再帰型ニューラルネットワーク（ＲＮＮ：Recurrent Neural Network）等であってもよい。
【0054】
ここで、本実施形態における機械学習モデルは各種サービスを提供するために例えば所定のデータが入力された場合に当該データに基づく予測結果または分析結果等を出力するように構築されており、このような機械学習モデルに対する学習処理が実行されると、当該機械学習モデルを構成するパラメータ（ネットワークパラメータ）が更新される。なお、機械学習モデルを構成するパラメータは、複数存在し、例えば重み係数やバイアス等を含む。
【0055】
パラメータ抽出部１０３は、学習処理が実行された機械学習モデルを構成する複数のパラメータ（つまり、学習処理が実行されることによって更新された複数パラメータ）が所定の順に配列されたパラメータ列を、当該機械学習モデルから抽出する。
【0056】
配列変更部１０４は、パラメータ抽出部１０３によって抽出されたパラメータ列における複数のパラメータの配列を変更する。なお、「パラメータ列における複数のパラメータの配列を変更する」とは、当該複数のパラメータを並び替えることを含む。
【0057】
暗号化部１０５は、配列変更部１０４によって配列が変更されたパラメータ列に対して秘密分散を実施することによって当該パラメータ列を暗号化する。これによれば、パラメータ列における複数のパラメータの各々のシェアが配列されたシェア列（断片パラメータ列）が生成される。なお、上記したように機械学習システム１が複数の統合サーバ装置２０－１～２０－Ｎを備える（つまり、統合サーバ装置の数がＮである）場合、暗号化部１０５は、当該統合サーバ装置２０－１～２０－Ｎの各々に対応するＮ個のシェア列を生成する。このように暗号化部１０５によって生成されたＮ個のシェア列の各々は、統合サーバ装置２０－１～２０－Ｎのうちの当該シェア列に対応する統合サーバ装置に送信される。
【0058】
復号化部１０６は、後述するように統合サーバ装置２０－１～２０－Ｎの各々から送信されたシェア列を受信し、当該受信されたシェア列からパラメータ列（機械学習モデルを構成する複数のパラメータ）を復号（復元）する。この場合、クライアント端末１０－１においては統合サーバ装置２０－１～２０－ＮからＮ個のシェア列が受信されるが、上記したＳｈａｍｉｒの秘密分散法によればデータの復元に必要なシェアの数はｋ個であるため、復号化部１０６は、当該受信されたＮのシェア列のうちのｋ個のシェア列を用いてパラメータ列を復号する。なお、この場合におけるｋは、２以上、かつ、Ｎ以下（１＜ｋ≦Ｎ）を満たす整数である。
【0059】
更新部１０７は、復号化部１０６によって復号されたパラメータ列における複数のパラメータをクライアント端末１０－１の内部に保持されているローカルモデルに適用する（つまり、当該ローカルモデルを構成する複数のパラメータを当該復号されたパラメータ列における複数のパラメータに更新する）ことによって当該ローカルモデル（機械学習モデル）を更新する。
【0060】
次に、図４を参照して、統合サーバ装置２０－１～２０－Ｎのうちの統合サーバ装置２０－１の機能構成の一例について説明する。ここでは便宜的に統合サーバ装置２０－１について説明するが、他の統合サーバ装置２０－２～２０－Ｎの各々についても図４と同様の機能構成を有している。
【0061】
図４に示すように、統合サーバ装置２０－１は、配列変更部２０１、統合処理部２０２及び更新部２０３を含む。
【0062】
本実施形態において、統合サーバ装置２０－１に含まれる配列変更部２０１、統合処理部２０２及び更新部２０３の一部または全ては、当該統合サーバ装置２０－１に備えられるＣＰＵ（つまり、統合サーバ装置２０－１のコンピュータ）に上記したサーバプログラムを実行させること、すなわち、ソフトウェアによって実現されるものとする。なお、このＣＰＵによって実行されるサーバプログラムは、コンピュータ読み取り可能な記憶媒体に格納して頒布されてもよいし、ネットワークを通じて統合サーバ装置２０－１にダウンロードされてもよい。
【0063】
ここではＣＰＵにサーバプログラムを実行させることによって各部２０１～２０３が実現されるものとして説明したが、当該各部２０１～２０３の一部または全ては、例えばＩＣ等のハードウェアによって実現されてもよいし、ソフトウェア及びハードウェアの組み合わせによって実現されてもよい。
【0064】
配列変更部２０１は、クライアント端末１０－１～１０－Ｍの各々から送信されたＭ個のシェア列を受信する。ここで、上記したようにクライアント端末１０－１～１０－Ｍの各々から送信されるＭ個のシェア列は、当該クライアント端末１０－１～１０－Ｍにおいて配列が変更されたパラメータ列に対して秘密分散が実施されることによって暗号化されたデータであり、当該配列が変更された複数のパラメータの各々のシェアが、当該複数のパラメータと同じ順に配列されている。
【0065】
このため、配列変更部２０１は、受信されたシェア列毎に、当該シェア列における複数のパラメータのシェアの配列を変更する。具体的には、配列変更部２０１は、受信されたＭ個のシェア列の各々における複数のパラメータのシェアを、機械学習モデルから抽出された時点でのパラメータ列における複数のパラメータの配列（つまり、配列変更部１０４によって配列が変更される前の複数のパラメータの並び順）と同じになるように並び替える。これにより、同一のパラメータのシェアが同一の位置（順番）に配置されたＭ個のシェア列を得ることができる。
【0066】
統合処理部２０２は、配列変更部２０１によって配列が変更されたＭ個のシェア列に対して統合処理を実行する。これにより、統合処理部２０２は、Ｍ個のシェア列が統合された１つのシェア列を生成する。なお、このようなＭ個のシェア列を用いて統合されたシェア列は複数の統合サーバ装置２０－１～２０－Ｎの各々において生成されるが、当該シェア列は、機械学習が行われることによって得られるマスターモデルのパラメータ列（当該マスターモデルを構成する複数のパラメータが順に配列されたパラメータ列）に対して秘密分散を実施することによって生成されるシェア列（つまり、マスターモデルのパラメータのシェア列）に相当するということができる。
【0067】
更新部２０３は、機械学習システム１において機械学習が行われることによって得られる機械学習モデル（つまり、マスターモデル）と、クライアント端末１０－１～１０－Ｍの内部に保持されている機械学習モデル（つまり、ローカルモデル）とを同期させる処理を実行する。この場合、更新部２０３は、統合処理部２０２によって生成されたシェア列（マスターモデルのパラメータのシェア列）をクライアント端末１０－１～１０－Ｍの各々に送信する。これにより、クライアント端末１０－１～１０－Ｍの各々においては、統合サーバ装置２０－１～２０－Ｎ（更新部２０３）の各々から送信されたＮ個のシェア列のうちのｋ個のシェア列からパラメータ列を復号し、当該復号されたパラメータ列における複数のパラメータに基づいてローカルモデルを更新することができる。
【0068】
以下、図５のシーケンスチャートを参照して、本実施形態に係る機械学習システム１の処理手順の一例について説明する。図５においてはクライアント端末１０－１及び統合サーバ装置２０－１において実行される処理についてのみが示されているが、他のクライアント端末１０－２～１０－Ｍの各々は図５に示すクライアント端末１０－１の処理と同様の処理を実行し、他の統合サーバ装置２０－２～２０－Ｎの各々は図５に示す統合サーバ装置２０－１の処理と同様の処理を実行する。
【0069】
なお、機械学習システム１において機械学習が行われる場合（つまり、図５に示す処理が実行される前）にはマスターモデルがクライアント端末１０－１～１０－Ｍに予め配布されており、当該マスターモデルはローカルモデルとして当該クライアント端末１０－１～１０－Ｍの内部に保持されているものとする。
【0070】
また、クライアント端末１０－１～１０－Ｍの各々に含まれる格納部１０１には、当該クライアント端末に対応する組織が保有する学習データ（当該クライアント端末において管理されている学習データ）が格納されているものとする。
【0071】
まず、クライアント端末１０－１に含まれる学習処理部１０２は、当該クライアント端末１０－１に含まれている格納部１０１に格納されている学習データを用いてローカルモデルの学習処理を実行する（ステップＳ１）。
【0072】
以下、ステップＳ１の処理について説明する。本実施形態において、クライアント端末１０－１に含まれる格納部１０１には複数の学習データが格納されており、当該学習データの各々は、機械学習モデルに入力される入力データと当該入力データが機械学習モデルに入力された際に当該機械学習モデルから出力されるべきデータ（正解データ）とを含む。ステップＳ１においては、このような学習データの各々を用いた学習処理が繰り返し実行される。なお、学習処理においては、学習データに含まれる入力データが機械学習モデル（ローカルモデル）に入力されることによって当該機械学習モデルから出力される出力データと当該学習データに含まれる正解データとを比較し、当該出力データと正解データとの誤差が小さくなるように当該機械学習モデルを構成するパラメータを更新するような処理が実行される。
【0073】
上記したステップＳ１における学習処理は、例えば機械学習モデルの精度が目標値を満たす場合に終了される（つまり、学習処理の終了タイミングは、機械学習モデルの学習精度に応じて調整される）ものとする。なお、機械学習モデルの精度は、例えば予め用意されている評価用データ（入力データと正解データとの組）を用いて、当該入力データが機械学習モデルに入力されることによって当該機械学習モデルから出力される出力データと当該評価用データに含まれる正解データとの誤差に基づいて算出されるものとする。このように算出された機械学習モデルの精度が目標値以上である場合にはステップＳ１の処理（学習処理）は終了され、当該機械学習モデルの精度が目標値未満である場合には当該学習処理が再度実行される。
【0074】
ここでは評価用データを用いて機械学習モデルの精度が算出されるものとして説明したが、例えば格納部１０１に格納されている複数の学習データのうちの一部を用いて当該機械学習モデルの精度を算出するようにしてもよい。
【0075】
また、ここでは機械学習モデルの精度が目標値を満たす場合にステップＳ１の処理が終了されるものとして説明したが、当該ステップＳ１の処理は、予め定められた回数（つまり、予め指定されたエポック数分）の学習処理が実行された場合に終了されるようにしてもよい。
【0076】
次に、パラメータ抽出部１０３は、ステップＳ１において学習処理が実行されたローカルモデルからパラメータ列を抽出する（ステップＳ２）。
【0077】
ここで、本実施形態における学習アルゴリズムとしてニューラルネットワークが使用される場合、ローカルモデル（機械学習モデル）は例えば重み係数及びバイアス（情報）等の複数のパラメータから構成されている。ステップＳ２においては、このような複数のパラメータが所定の順に配列されたパラメータ列が当該ローカルモデルから抽出される。具体的には、例えばローカルモデルを構成する複数のパラメータの数がＬであり、当該Ｌ個のパラメータをｐ１，ｐ２，…，ｐＬと表すものとすると、ステップＳ２においては、当該複数のパラメータの一次元配列である［ｐ１，ｐ２，…，ｐＬ］がパラメータ列として抽出される。以下の説明においては、ステップＳ２において抽出されたパラメータ列を便宜的に第１パラメータ列と称する。
【0078】
なお、ステップＳ２の処理はクライアント端末１０－１～１０－Ｍの各々において実行されるが、当該クライアント端末１０－１～１０－Ｍの各々において抽出されるパラメータ列においては、同一（同種）のパラメータが同じ位置（順番）に配置されているものとする。
【0079】
ステップＳ２の処理が実行されると、配列変更部１０４は、上記した第１パラメータ列における複数のパラメータの各々に対応するインデックスが配列されたインデックス列を生成する（ステップＳ３）。なお、ステップＳ３において生成されるインデックス列としては例えばパラメータ列における複数のパラメータの各々の順番を表す整数が配列された整数列等を想定しており、上記したステップＳ２において第１パラメータ列［ｐ１，ｐ２，…，ｐＬ］が抽出されている場合、ステップＳ３においてはインデックス列［１，２，…，Ｌ］が生成される。すなわち、このインデックス列［１，２，…，Ｌ］は、第１パラメータ列［ｐ１，ｐ２，…，ｐＬ］におけるパラメータ「ｐ１」の順番が１番目であり、パラメータ「ｐ２」の順番が２番目であり、パラメータ「ｐＬ」の順番がＬ番目であることを示している。なお、パラメータ「ｐ１」、「ｐ２」及び「ｐＬ」以外のパラメータについても同様である。
【0080】
ステップＳ３の処理が実行されると、配列変更部１０４は、ステップＳ２において抽出された第１パラメータ列と当該ステップＳ３において生成されたインデックス列とを結合する。上記したようにステップＳ２において第１パラメータ列［ｐ１，ｐ２，…，ｐＬ］が抽出され、ステップＳ３においてインデックス列［１，２，…，Ｌ］が生成されている場合、当該第１パラメータ列と当該インデックス列とを結合することによって、［［１，２，…，Ｌ］，［ｐ１，ｐ２，…，ｐＬ］］のような２×Ｌの２次元配列が生成される。
【0081】
次に、配列変更部１０４は、上記したように生成された２次元配列における列をランダムに入れ替えることにより、第１パラメータ列における複数のパラメータの配列（モデルパラメータ配列）及びインデックス列における複数のインデックスの配列を変更する（ステップＳ４）。
【0082】
ここで、図６は、上記したステップＳ４の処理（第１パラメータ列及びインデックス列に対する配列変更処理）の一例について説明するための図である。図６においては、上記したステップＳ２において抽出された第１パラメータ列が［ｐ１，ｐ２，ｐ３，ｐ４，ｐ５］であり、インデックス列が［１，２，３，４，５］である場合を想定している。
【0083】
この場合、ステップＳ４においては、図６の上段に示す２次元配列（第１パラメータ列とインデックス列とを結合することによって生成された２次元配列）における列をランダムに入れ替えることにより、当該２次元配列が図６の下段に示す２次元配列に変換される。
【0084】
このような図６の下段に示す２次元配列から第１パラメータ列とインデックス列とを分離することによって、第１パラメータ列［ｐ１，ｐ２，ｐ３，ｐ４，ｐ５］における複数のパラメータの配列が変更された第１パラメータ列［ｐ４，ｐ１，ｐ２，ｐ５，ｐ３］と、インデックス列［１，２，３，４，５］における複数のインデックスの配列が変更されたインデックス列［４，１，２，５，３］とが取得される。
【0085】
本実施形態においては第１パラメータ列における複数のパラメータとインデックス列における複数のインデックス（当該第１パラメータ列における複数のパラメータの各々の順番を表す整数）とが互いに対応づけられた状態で並び替えられる（つまり、配列が変更される）ため、配列が変更されたインデックス列は、第１パラメータ列における複数のパラメータの変更前の配列と、当該複数のパラメータの変更後の配列との対応関係を示す情報（パラメータの並び替え情報）であるといえる。
【0086】
なお、配列変更部１０４は、例えば乱数生成部を含み、当該乱数生成部によって生成される乱数を利用して上記したステップＳ４の処理を実行する構成であってもよい。
【0087】
また、本実施形態においてはインデックス列がパラメータ列における複数のパラメータの各々の順番を表す整数が要素として配列された整数列であるものとして説明したが、当該インデックス列は、上記した複数のパラメータの変更前の配列と変更後の配列との対応関係を示すことができるものであれば、他の要素が配列されたものであってもよい。
【0088】
次に、暗号化部１０５は、ステップＳ４の処理が実行されることによって取得された第１パラメータ列（以下、配列変更後の第１パラメータ列と表記）及びインデックス列（以下、配列変更後のインデックス列と表記）を暗号化する（ステップＳ５）。なお、ステップＳ５における暗号化においては、上記した秘密分散が実施される。
【0089】
以下、ステップＳ５において配列変更後の第１パラメータ列を暗号化する場合について説明する。例えば配列変更後の第１パラメータ列においては複数のパラメータが配列されているが、ステップＳ５においては、秘密分散が実施される（つまり、上記した式（１）を利用する）ことによって当該複数のパラメータの各々からＮ個のシェアが生成される。具体的には、例えば配列変更後の第１パラメータ列が上記した図６に示す［ｐ４，ｐ１，ｐ２，ｐ５，ｐ３］である場合、例えば当該第１パラメータ列における１つのパラメータ「ｐ４」に対して秘密分散が実施されることによって、Ｎ個のシェア「ｐ４１´，ｐ４２´，…，ｐ４Ｎ´」が生成される。このＮ個のシェア「ｐ４１´，ｐ４２´，…，ｐ４Ｎ´」は、上記したＷ（Ｐ１），…，Ｗ（Ｐｎ）に相当する。配列変更後の第１パラメータ列における他のパラメータ「ｐ１」、「ｐ２」、「ｐ５」及び「ｐ３」についても同様にそれぞれＮ個のシェアが生成される。秘密分散が実施されることによって生成されるシェアについては上記した通りであるため、ここでは詳しい説明を省略する。
【0090】
なお、配列変更後の第１パラメータ列における複数のパラメータの各々から生成されるシェアの数は、当該統合サーバ装置２０－１～２０－Ｎの数と同一である。
【0091】
ステップＳ５において、暗号化部１０５は、上記したように配列変更後の第１パラメータ列における複数のパラメータの各々から生成されたＮ個のシェアに基づいて、統合サーバ装置２０－１～２０－Ｎの各々に対応するＮ個のシェア列（以下、第１パラメータシェア列と表記）を生成する。
【0092】
具体的には、上記したように第１パラメータ列が［ｐ４，ｐ１，ｐ２，ｐ５，ｐ３］である場合、統合サーバ装置２０－１～２０－Ｎの各々に対応するＮ個の第１パラメータシェア列として、［ｐ４１´，ｐ１１´，ｐ２１´，ｐ５１´，ｐ３１´］，［ｐ４２´，ｐ１２´，ｐ２２´，ｐ５２´，ｐ３２´］，…，［ｐ４Ｎ´，ｐ１Ｎ´，ｐ２Ｎ´，ｐ５Ｎ´，ｐ３Ｎ´］が生成される。
【0093】
なお、「ｐ１１´，ｐ１２´，…，ｐ４Ｎ´」は「ｐ１」に対して秘密分散が実施されることによって生成されたＮ個のシェアであり、「ｐ２１´，ｐ２２´，…，ｐ２Ｎ´」は「ｐ２」に対して秘密分散が実施されることによって生成されたＮ個のシェアであり、「ｐ５１´，ｐ５２´，…，ｐ５Ｎ´」は「ｐ５」に対して秘密分散が実施されることによって生成されたＮ個のシェアであり、「ｐ３１´，ｐ３２´，…，ｐ３Ｎ´」は「ｐ３」に対して秘密分散が実施されることによって生成されたＮ個のシェアである。
【0094】
ここでは配列変更後の第１パラメータ列を暗号化する場合について説明したが、配列変更後のインデックス列についても同様に暗号化される。具体的には、配列変更後のインデックス列における複数のインデックス「４」、「１」、「２」、「５」及び「３」の各々からＮ個のシェアが生成されることにより、統合サーバ装置２０－１～２０－Ｎの各々に対応するＮ個のシェア列（以下、インデックスシェア列と表記）が生成される。この場合、統合サーバ装置２０－１～２０－Ｎの各々に対応するインデックスシェア列として、［４１´，１１´，２１´，５１´，３１´］，［４２´，１２´，２２´，５２´，３´］，…，［４Ｎ´，１Ｎ´，２Ｎ´，５Ｎ´，３Ｎ´］が生成される。なお、インデックスシェア列における「４１´，４２´，…，４N´」は、配列変更後のインデックス列におけるインデックス「４」に対して秘密分散を実施することによって生成されたＮ個のシェアを表している。詳しい説明については省略するが、インデックスのシェア列における「１１´，１２´，…，１N´」、「２１´，２２´，…，２N´」、「５１´，５２´，…，５N´」及び「３１´，３２´，…，３N´」についても同様である。
【0095】
ステップＳ５の処理が実行されることによって生成されたＮ個の第１パラメータシェア列及びＮ個のインデックスシェア列は、統合サーバ装置２０－１～２０－Ｎに送信される（ステップＳ６）。
【0096】
この場合、ステップＳ６においては、１つの統合サーバ装置に対して１つの第１パラメータのシェア列が送信（分配）される。具体的には、例えば統合サーバ装置２０－１～２０－Ｎのうちの統合サーバ装置２０－１に対しては第１パラメータシェア列［ｐ４１´，ｐ１１´，ｐ２１´，ｐ５１´，ｐ３１´］が送信される。他の統合サーバ装置２０－２～２０－Ｎについても同様に、対応する１つの第１パラメータシェア列が送信される。
【0097】
ここでは第１パラメータシェア列について説明したが、インデックスシェア列についても同様である。すなわち、統合サーバ装置２０－１～２０－Ｎのうちの統合サーバ装置２０－１に対してはインデックスシェア列［４１´，１１´，２１´，５１´，３１´］が送信される。他の統合サーバ装置２０－２～２０－Ｎについても同様に、対応する１つのインデックスシェア列が送信される。
【0098】
なお、本実施形態において、第１パラメータシェア列及びインデックスシェア列は、それぞれ異なるファイルで送信される。
【0099】
統合サーバ装置２０－１に含まれる配列変更部２０１は、ステップＳ６においてクライアント端末１０－１から送信されたパラメータのシェア列及びインデックスのシェア列を受信する。なお、上記したステップＳ１～Ｓ６の処理は他のクライアント端末１０－２～１０－Ｍの各々においても実行されるため、結果として、配列変更部２０１は、クライアント端末１０－１～１０－Ｍの各々から送信されたＭ個の第１パラメータシェア列及びＭ個のインデックスシェア列を受信する。
【0100】
ここで、例えばクライアント端末１０－１から受信された第１パラメータシェア列においては複数のパラメータのシェアが配列されているが、当該第１パラメータシェア列を生成するために用いられた第１パラメータ列における複数のパラメータの配列（並び順）は、当該クライアント端末１０－１においてステップＳ４の処理が実行されることによって変更されている。なお、この配列の変更（複数のパラメータの並び替え）はクライアント端末１０－１～１０－Ｍの各々においてランダムに行われているため、当該複数のパラメータ（のシェア）の配列（つまり、並び替え順序）はクライアント端末１０－１～１０－Ｍによって異なる。換言すれば、例えばクライアント端末１０－１から受信された第１パラメータシェア列における複数のパラメータのシェア（の配列）は、他のクライアント端末１０－２～１０－Ｍから受信された第１パラメータシェア列における複数のパラメータのシェア（の配列）と対応していない。
【0101】
このため、配列変更部２０１は、クライアント端末１０－１～１０－Ｍ毎に、インデックスシェア列に基づいて第１パラメータシェア列における複数のパラメータのシェアの配列を変更する（ステップＳ７）。
【0102】
ここで、例えばクライアント端末１０－１から第１パラメータシェア列［ｐ４１´，ｐ１１´，ｐ２１´，ｐ５１´，ｐ３１´］及びインデックスシェア列［４１´，１１´，２１´，５１´，３１´］が受信されたものとする。なお、上記したように第１パラメータシェア列及びインデックスシェア列はそれぞれ異なるファイルで送信されるが、当該第１パラメータシェア列が格納されているファイル及び当該インデックスシェア列が格納されているファイルにはそれぞれ当該ファイルの送信元となるクライアント端末を識別（特定）するための情報（例えば、端末ＩＤ等）が付されているものとする。配列変更部２０１は、このようなファイルに付されている情報を参照することにより、統合サーバ装置２０－１において受信されたＭ個のパラメータシェア列及びＭ個のインデックスシェア列の中から、同一のクライアント端末（例えば、クライアント端末１０－１）から送信された第１パラメータシェア列及びインデックスシェア列を判別（特定）することができる。
【0103】
この場合、配列変更部２０１は、第１パラメータシェア列［ｐ４１´，ｐ１１´，ｐ２１´，ｐ５１´，ｐ３１´］とインデックスシェア列［４１´，１１´，２１´，５１´，３１´］とが結合された２×５の２次元配列［［４１´，１１´，２１´，５１´，３１´］，［ｐ４１´，ｐ１１´，ｐ２１´，ｐ５１´，ｐ３１´］］における列を、インデックスシェア列（における複数のインデックスのシェアの配列）に基づいて並べ替える。これによれば、上記した２次元配列［［４１´，１１´，２１´，５１´，３１´］，［ｐ４１´，ｐ１１´，ｐ２１´，ｐ５１´，ｐ３１´］］が２次元配列［［１１´，２１´，３１´，４１´，５１´］，［ｐ１１´，ｐ２１´，ｐ３１´，ｐ４１´，ｐ５１´］］に変換される（つまり、上記した図６とは逆の変換が行われ、データを暗号化したままインデックス列に基づいて昇順を実行する）。このように変換された２次元配列［［１１´，２１´，３１´，４１´，５１´］，［ｐ１１´，ｐ２１´，ｐ３１´，ｐ４１´，ｐ５１´］］から第１パラメータシェア列［ｐ１１´，ｐ２１´，ｐ３１´，ｐ４１´，ｐ５１´］が取得される。
【0104】
ステップＳ７においては、上記したようにインデックスシェア列における複数のインデックスのシェアの配列に従って第１パラメータシェア列における複数のパラメータのシェアが並べ替えられる（つまり、ソートされる）ことによって、配列変更前の正しい順序で複数のパラメータのシェアが配列された第１パラメータシェア列を取得することができる。
【0105】
ここではクライアント端末１０－１から受信された第１パラメータシェア列における複数のパラメータのシェアの配列を変更する場合について説明したが、配列変更部２０１は、他のクライアント端末１０－２～１０－Ｍ（から受信された第１パラメータ列）についても同様に、当該第１パラメータシェア列における複数のパラメータのシェアの配列を変更する。これによれば、統合サーバ装置２０－１に含まれる配列変更部２０１は、クライアント端末１０－１～１０－Ｍの各々に対応するＭ個の第１パラメータシェア列［ｐ１１´，ｐ２１´，ｐ３１´，ｐ４１´，ｐ５１´］を取得する。なお、クライアント端末１０－１～１０－Ｍの各々においては異なる学習データを用いた学習処理が実行されているため、当該クライアント端末１０－１～１０－Ｍの各々に対応する第１パラメータシェア列［ｐ１１´，ｐ２１´，ｐ３１´，ｐ４１´，ｐ５１´］における各パラメータのシェアの値（つまり、ローカルモデルを構成するパラメータ）はクライアント端末１０－１～１０－Ｍ毎に異なる。
【0106】
ところで、第１パラメータシェア列における複数のパラメータのシェアの配列を変更するためにはインデックスシェア列（における複数のインデックスのシェアの配列）を参照する必要があるが、当該インデックスのシェアは、上記したようにインデックス列における複数のインデックスの各々を暗号化したデータである。このため、上記したステップＳ７の処理（第１パラメータシェア列における複数のパラメータのシェアを並び替えるための演算）は、秘密計算と称されるデータを暗号化したまま計算することが可能な技術により実行されるものとする。すなわち、本実施形態においては秘密計算により、インデックスシェア列を復号することなく、第１パラメータシェア列における複数のパラメータのシェアの並び替え（つまり、配列の変更）を実現することができる。
【0107】
次に、統合処理部２０２は、ステップＳ７の処理が実行されることによって取得されたクライアント端末１０－１～１０－Ｍの各々に対応するＭ個の第１パラメータシェア列に対する統合処理を実行する（ステップＳ８）。なお、統合処理は、例えばＭ個の第１パラメータシェア列の各々における同一の位置（順番）に配置されているパラメータのシェアを統合することによって、当該Ｍ個の第１パラメータシェア列から１つのパラメータシェア列（以下、第２パラメータシェア列と表記）を生成するような処理に相当する。
【0108】
具体的には、例えば統合サーバ装置２０－１においてクライアント端末１０－１～１０－Ｍの各々に対応するＭ個の第１パラメータシェア列［ｐ１１´，ｐ２１´，ｐ３１´，ｐ４１´，ｐ５１´］が取得されている場合には、当該第１パラメータシェア列の各々におけるパラメータのシェア「ｐ１１´」同士を統合し、当該パラメータのシェア列の各々におけるパラメータのシェア「ｐ２１´」同士を統合し、当該パラメータのシェア列の各々におけるパラメータのシェア「ｐ３１´」同士を統合し、当該パラメータのシェア列の各々におけるパラメータのシェア「ｐ４１´」同士を統合し、当該パラメータのシェア列の各々におけるパラメータのシェア「ｐ５１´」同士を統合する。これにより、パラメータのシェア「ｐ１１´」同士が統合された結果、パラメータのシェア「ｐ２１´」同士が統合された結果、パラメータのシェア「ｐ３１´」同士が統合された結果、パラメータのシェア「ｐ４１´」同士が統合された結果及びパラメータのシェア「ｐ５１´」同士が統合された結果が配列された第２パラメータシェア列が生成される。
【0109】
なお、本実施形態における「統合（処理）」とは、複数のデータ（シェア）を１つのデータに集約するような処理であればよく、例えば平均化等の処理であってもよい。
【0110】
また、ステップＳ８において実行される統合処理において統合されるパラメータのシェアは、上記したように第１パラメータ列における複数のパラメータの各々を暗号化したデータである。このため、ステップＳ８の処理（統合処理）は、上記した秘密計算により実行されるものとする。
【0111】
ステップＳ８の処理が実行されると、配列変更部２０１は、当該ステップＳ８の処理が実行されることによって生成された第２パラメータシェア列における複数のパラメータのシェアの配列を変更する（ステップＳ９）。ステップＳ９においては、ステップ６でクライアント端末１０－１～１０－Ｍの各々から受信されたインデックスシェア列（つまり、インデックスの並び順）に基づいて当該クライアント端末１０－１～１０－Ｍ毎に複数のパラメータのシェアの配列を変更する（並び替えを行う）ことにより、当該クライアント端末１０－１～１０－Ｍの各々に対応する第２パラメータシェア列が取得される。
【0112】
具体的には、例えばステップＳ８の処理が実行されることによって生成された第２パラメータシェア列が［Ｐ１１´，Ｐ２１´，Ｐ３１´，Ｐ４１´，Ｐ５１´］であり、クライアント端末１０－１～１０－Ｍのうちのクライアント端末１０－１から受信されたインデックスシェア列が［４１´，１１´，２１´，５１´，３１´］であるものとすると、配列変更部２０１は、当該クライアント端末１０－１に対応する第２パラメータシェア列［Ｐ４１´，Ｐ１１´，Ｐ２１´，Ｐ５１´，Ｐ３１´］を取得する。また、クライアント端末１０－２から受信されたインデックスシェア列が［２１´，５１´，１１´，４１´，３１´］であるものとすると、配列変更部２０１は、当該クライアント端末１０－２に対応する第２パラメータシェア列［Ｐ２１´，Ｐ５１´，Ｐ１１´，Ｐ４１´，Ｐ３１´］を取得する。ここではクライアント端末１０－１及び１０－２の各々に対応する第２パラメータシェア列について説明したが、他のクライアント端末１０－３～１０－Ｍの各々に対応する第２パラメータシェア列についても同様に取得される。
【0113】
更新部２０３は、上記したステップＳ９の処理が実行されることによって取得された第２パラメータシェア列をクライアント端末１０－１～１０－Ｍに送信する（ステップＳ１０）。この場合、上記したようにステップＳ９の処理が実行されることによって取得されたクライアント端末１０－１～１０－Ｍの各々に対応するＭ個の第２パラメータシェア列のうち、例えばクライアント端末１０－１に対応する第２パラメータシェア列［Ｐ４１´，Ｐ１１´，Ｐ２１´，Ｐ５１´，Ｐ３１´］は、当該クライアント端末１０－１に送信される。同様に、クライアント端末１０－２に対応する第２パラメータシェア列［Ｐ２１´，Ｐ５１´，Ｐ１１´，Ｐ４１´，Ｐ３１´］は、当該クライアント端末１０－２に送信される。ここではクライアント端末１０－１及び１０－２に送信される第２パラメータのシェア列について説明したが、他のクライアント端末１０－３～１０－Ｍに対しても同様に第２パラメータシェア列が送信される。
【0114】
クライアント端末１０－１はステップＳ１０において送信された第２パラメータシェア列を受信し、当該クライアント端末１０－１に含まれる配列変更部１０４は、当該第２パラメータシェア列における複数のパラメータのシェアの配列を変更する（ステップＳ１１）。
【0115】
例えばクライアント端末１０－１において第２パラメータシェア列［Ｐ４１´，Ｐ１１´，Ｐ２１´，Ｐ５１´，Ｐ３１´］が受信された場合、配列変更部２０１は、上記したステップＳ４の処理が実行されることによって取得されたインデックス列［４，１，２，５，３］（つまり、クライアント端末１０－１において保持されている平文のパラメータの並び替え情報）に基づいて当該第２パラメータシェア列における複数のパラメータのシェアの配列を変更する（複数のパラメータのシェアを並び替える）ことによって、第２パラメータシェア列［Ｐ１１´，Ｐ２１´，Ｐ３１´，Ｐ４１´，Ｐ５１´］を取得する。
【0116】
ここで、上記したステップＳ１０の処理は例えば統合サーバ装置２０－１～２０－Ｎの各々によって実行されるため、クライアント端末１０－１においては、当該統合サーバ装置２０－１～２０－Ｎの各々から送信されたＮ個の第２パラメータシェア列が受信される。ステップＳ１１の処理は、このＮ個の第２パラメータシェア列の各々に対して実行される。
【0117】
この場合、ステップＳ１１の処理が実行されることによって取得されたＮ個の第２パラメータシェア列の各々は平文のマスターモデルに対するシェア値（つまり、マスターモデルのパラメータのシェア列）ということができるため、復号化部１０６は、当該Ｎ個の第２パラメータシェア列からパラメータ列（以下、第２パラメータ列と表記）を復号する（ステップＳ１２）。
【0118】
なお、ステップＳ１２においては、上記した式（２）を利用することによって、ステップＳ１１の処理が実行されることによって取得されたＮ個の第２パラメータシェア列の中から選択されたｋ個の第２パラメータシェア列の各々において同一の位置（順番）に配置されているｋ個のパラメータのシェアから１つのパラメータを復号する処理が順次実行されることによって、当該復号されたパラメータが順に配列された第２パラメータ列が生成される。
【0119】
ステップＳ１２の処理が実行されると、更新部１０７は、当該ステップＳ１２の処理が実行されることによって生成された第２パラメータ列における複数のパラメータをクライアント端末１０－１の内部において保持されているローカルモデルに適用することによって、当該ローカルモデルを更新する（ステップＳ１３）。
【0120】
なお、上記したステップＳ１０において送信される第２パラメータシェア列におけるパラメータのシェアの配列（並び順）は異なるものの、ステップＳ１１～Ｓ１３の処理は、クライアント端末１０－１～１０－Ｍの各々において実行される。このため、クライアント端末１０－１～１０－Ｍの各々においてステップＳ１３の処理が実行された後のローカルモデル（機械学習モデル）は同一となる。
【0121】
すなわち、本実施形態においては、上記したステップＳ１３の処理がクライアント端末１０－１～１０－Ｍの各々において実行されることにより、機械学習システム１全体において機械学習が行われることによって得られる機械学習モデル（マスターモデル）と、クライアント端末１０－１～１０－Ｍの各々の内部に保持されている機械学習モデル（当該ステップＳ１３において更新されたローカルモデル）とが同期した状態となる。
【0122】
本実施形態においては、このような図５に示す処理が繰り返し実行されることにより、クライアント端末１０－１～１０－Ｍの各々において分散して管理されている学習データを用いた機械学習を行うことができる。
【0123】
なお、図５に示す例ではステップＳ１１の処理が実行された後にステップＳ１２の処理が実行されるものとして説明したが、図５に示す処理においては、例えばステップＳ１１の処理が実行される前にステップＳ１２の処理が実行される（つまり、図５に示すステップＳ１１の処理とステップＳ１２の処理との順番を入れ替える）ようにしても構わない。
【0124】
また、図５に示す例では機械学習システム１において継続的に機械学習を行うためにステップＳ１１～Ｓ１３の処理がクライアント端末１０－１～１０－Ｍにおいて実行されるものとして説明したが、当該ステップＳ１１～Ｓ１３に相当する処理は、クライアント端末１０－１～１０－Ｍとは異なる装置において実行されてもよい。具体的には、ステップＳ１１～Ｓ１３に相当する処理は、例えば機械学習システム１の外部に配置された装置（機械学習モデルを利用してサービスを提供する装置等）によって実行されてもよい。すなわち、機械学習を終了するような場合には、機械学習モデルの更新に関する処理をクライアント端末１０－１～１０－Ｍ以外の装置で実行するようにしても構わない。
【0125】
上記したように本実施形態において、クライアント端末１０－１～１０－Ｍの各々は、当該クライアント端末において管理されている学習データを用いて機械学習モデルの学習処理を実行し、当該学習処理が実行された機械学習モデルから複数のパラメータが配列された第１パラメータ列を抽出し、当該抽出された第１パラメータ列における複数のパラメータの配列を変更し、当該複数のパラメータの配列が変更された第１パラメータ列に対して秘密分散を実施することによって、統合サーバ装置２０－１～２０－Ｎの各々に対応する第１パラメータシェア列（第１断片パラメータ列）を生成し、当該生成された第１パラメータシェア列を統合サーバ装置２０－１～２０－Ｎの各々に送信する。また、本実施形態において、統合サーバ装置２０－１～２０－Ｎの各々は、クライアント端末１０－１～１０－Ｍの各々から送信されたＭ個の第１パラメータシェア列を受信し、当該受信されたＭ個の第１パラメータシェア列の各々における複数のパラメータのシェアの配列を変更し、複数のパラメータのシェアの配列が変更されたＭ個の第１パラメータシェア列に対して統合処理を実行することによって第２パラメータシェア列（第２断片パラメータ列）を生成する。本実施形態において、機械学習モデルは、統合サーバ装置２０－１～２０－Ｎの各々において生成されたＮ個の第２パラメータシェア列から復号される第２パラメータ列における複数のパラメータに基づいて更新される。
【0126】
本実施形態においては、上記した構成により、機械学習（連合学習）における高い安全性を確保することが可能となる。
【0127】
具体的には、本実施形態においては、秘密分散を実施することによって生成された第１パラメータシェア列がクライアント端末１０－１～１０－Ｍから統合サーバ装置２０－１～２０－Ｎに送信されるため、当該クライアント端末１０－１～１０－Ｍと統合サーバ装置２０－１～２０－Ｎとの間の通信においてパラメータ（列）が第三者によって取得され、当該パラメータから学習データが推測される（つまり、学習データが漏洩する）ような事態の発生を抑制することができる。
【0128】
なお、本実施形態における秘密分散は、ｋ－１個のランダムな整数環Ｑの元である第１係数ｒ１，…，ｒｋ－１と、統合サーバ装置２０－１～２０－Ｎの各々に対応するＮ個のランダムな整数環Ｑの元である第２係数Ｐ１，…，ＰＮとを決定し、第１パラメータ列における複数のパラメータの各々を切片ａとするｋ－１次多項式（上記した式（１））に基づいて、統合サーバ装置２０－１～２０－Ｎの各々に対応するＮ個の第１パラメータシェア列を生成し、当該生成されたＮ個の第１パラメータシェア列の各々を当該シェア列に対応する統合サーバ装置に送信することによって実現される。
【0129】
ところで、上記したように秘密分散が実施される構成であっても、例えばＮ個の第１パラメータシェア列のうちのｋ個の第１パラメータシェア列が第三者によって取得された場合には、当該ｋ個の第１パラメータシェア列からパラメータ列が復号され、当該パラメータ列（における複数のパラメータ）から学習データが推測される可能性がある。
【0130】
しかしながら、本実施形態においては複数のパラメータの配列を変更した上で秘密分散を実施する構成であるため、上記したようにｋ個の第１パラメータシェア列からパラメータ列が復号されたとしても、当該パラメータ列における複数のパラメータの正しい並び順が不明であるため、当該複数のパラメータ（復号データ）は正しいモデル情報として機能しない（つまり、機械学習モデルを構成する複数のパラメータとして使用することができない）。すなわち、本実施形態においては、各クライアント端末１０－１～１０－Ｍから第１パラメータシェア列とその配列順を示すインデックスシェア列との正しい組み合わせを入手した上でソート処理を実行する必要があるため、上記した学習データの推測の困難性が向上すると考えられる。
【0131】
すなわち、本実施形態においては、上記したように連合学習において秘密分散及びパラメータ列における複数のパラメータの配列の変更を適用することにより、学習データの漏洩等に対する高い安全性を実現することができる。
【0132】
なお、本実施形態においては、秘密計算により統合処理が実行される構成により、クライアント端末１０－１～１０－Ｍの各々から送信された第１パラメータシェア列から第１パラメータ列を復号することなく当該第１パラメータシェア列を統合することが可能であるため、安全性を更に向上させることが可能となる。
【0133】
また、本実施形態において、クライアント端末１０－１～１０－Ｍの各々は、第１パラメータ列における複数のパラメータの配列（第１配列）と当該配列から変更された当該複数のパラメータの配列（第２配列）との対応関係を示すインデックス列（つまり、配列変更後のインデックス列）に対して秘密分散を実施することによって統合サーバ装置２０－１～２０－Ｎの各々に対応するインデックスシェア列（断片インデックス列）を生成し、当該生成されたインデックスシェア列を統合サーバ装置２０－１～２０－Ｎの各々に送信する。また、本実施形態において、統合サーバ装置２０－１～２０－Ｎの各々は、クライアント端末１０－１～１０－Ｍの各々から送信されたＭ個のインデックスシェア列を受信し、当該受信されたＭ個のインデックスシェア列の各々に基づいて、Ｍ個の第１パラメータシェア列の各々における複数のパラメータのシェアの配列を変更する。
【0134】
本実施形態においては、このような構成により、クライアント端末１０－１～１０－Ｍの各々においてランダムに並べ替えられた（配列が変更された）Ｍ個の第１パラメータシェア列における複数のパラメータの並び順を統一し、当該Ｍ個の第１パラメータシェア列を適切に統合することが可能となる。
【0135】
なお、本実施形態においては、例えば第１パラメータシェア列及びインデックスシェア列がそれぞれ異なるファイルでクライアント端末１０－１～１０－Ｍから統合サーバ装置２０－１～２０－Ｎに送信される構成を採用することにより、当該第１パラメータシェア列とともにインデックスシェア列が取得され、当該第１パラメータシェア列から復号されたパラメータ列における複数のパラメータ（の配列）が正しい順番に並べ替えられることを抑制することができる。
【0136】
また、本実施形態において、上記したインデックスシェア列に基づく第１パラメータシェア列における複数のパラメータのシェアの配列の変更（つまり、並び替えの演算）は、秘密計算により行われるものとする。これによれば、インデックスシェア列からインデックス列を復号する処理が不要であるため、統合サーバ装置２０－１～２０－Ｎの各々における処理量を低減することができる。
【0137】
また、本実施形態においては、第２パラメータシェア列が統合サーバ装置２０－１～２０－Ｎからクライアント端末１０－１～１０－Ｍに送信されるが、当該第２パラメータシェア列における複数のパラメータのシェアの配列の変更は各クライアント端末１０－１～１０－Ｍにおいて保持されているインデックス列（平文のパラメータの並び替え情報）に基づいて行われるため、インデックスシェア列は当該統合サーバ装置２０－１～２０－Ｎからクライアント端末１０－１～１０－Ｍに送信される必要はない。このような構成によれば、仮に第２パラメータシェア列が第三者によって取得されて当該第２パラメータシェア列から第２パラメータ列が復号されたとしても、当該第２パラメータ列における複数のパラメータの並び替えを行うことができない（インデックスシェア列を取得することができない）ため、上記した学習データの漏洩のリスクを低減することができる。なお、上記した平文のパラメータの並び替え情報がクライアント端末１０－１～１０－Ｍにおいて破棄されている（保持されていない）場合には、統合サーバ装置２０－１～２０－Ｎは、第２パラメータシェア列とともにクライアント端末１０－１～１０－Ｍの各々に対応するインデックスシェア列を当該クライアント端末１０－１～１０－Ｍに送信するようにしてもよい。この場合、第２パラメータシェア列とインデックスシェア列とはそれぞれ異なるファイルで送信されるものとする。
【0138】
なお、本実施形態においては秘密分散及びパラメータ列における複数のパラメータの配列の変更の両方を適用するものとして説明したが、本実施形態は、秘密分散のみを適用し、パラメータ列における複数のパラメータの配列の変更については省略する構成を採用してもよい。この場合、図５に示すステップＳ３、Ｓ４、Ｓ７、Ｓ９及びＳ１１の処理を省略することができる。
【0139】
以下、本実施形態に係る機械学習システム１の適用例について簡単に説明する。ここでは、機械学習システム１の第１及び第２適用例について説明する。
【0140】
第１適用例としては、図７に示すように、例えばクライアント端末１０－１～１０－Ｍの各々がコンビニエンスストア等の店舗に設置されるＰＯＳレジである場合を想定している。このような第１適用例においては、ＰＯＳレジが設置されている店舗に関する情報及び当該ＰＯＳレジにおいて収集された購買情報等を学習データとして用いて機械学習を行うことによって、例えば新規に出店される店舗の売上を予測（分析）するまたは新商品を購入する客層を予測（分析）するようなサービスを提供することが可能な機械学習モデルを得ることができると考えられる。
【0141】
更に、第２適用例としては、図８に示すように、例えばクライアント端末１０－１～１０－Ｍの各々が病院等の医療機関に配置され、医師等によって使用されるパーソナルコンピュータのような端末装置（以下、医師端末と表記）である場合を想定している。このような第２適用例においては、医師端末に入力された患者に関する情報（電子カルテの情報）等を学習データとして用いて機械学習を行うことによって、例えば患者に生じるリスク（将来発症する病状等）を予測（分析）するようなサービスを提供することが可能な機械学習モデルを得ることができると考えられる。
【0142】
なお、ここで説明した第１及び第２適用例は一例であり、本実施形態に係る機械学習システム１は、クライアント端末１０－１～１０－Ｍの各々に分散して管理されている学習データを用いて機械学習を行う態様であれば、様々な分野に適用することが可能である。
【0143】
（第２実施形態）
次に、第２実施形態について説明する。なお、本実施形態に係る機械学習システムのネットワーク構成、当該機械学習システムに備えられるクライアント端末及び統合サーバ装置のハードウェア構成については、前述した第１実施形態と同様であるため、ここではその詳しい説明を省略し、適宜、図１及び図２を用いて説明する。また、本実施形態においては、前述した第１実施形態と異なる点について主に述べる。
次に、第２実施形態について説明する。なお、本実施形態に係る機械学習システムのネットワーク構成、当該機械学習システムに備えられるクライアント端末及び統合サーバ装置のハードウェア構成については、前述した第１実施形態と同様であるため、ここではその詳しい説明を省略し、適宜、図１及び図２を用いて説明する。また、本実施形態においては、前述した第１実施形態と異なる点について主に述べる。
【0144】
本実施形態は、機械学習が行われることによって得られる機械学習モデル（の精度）を評価する構成を有する点で、前述した第１実施形態とは異なる。
【0145】
ここで、図９を参照して、本実施形態におけるクライアント端末１０－１の機能構成の一例について説明する。ここでは便宜的にクライアント端末１０－１の機能構成について説明するが、他のクライアント端末１０－２～１０－Ｍの各々についても図９と同様の機能構成を有している。
【0146】
図９に示すように、クライアント端末１０－１は、前述した図３に示す格納部１０１、学習処理部１０２、パラメータ抽出部１０３、配列変更部１０４、暗号化部１０５、復号化部１０６及び更新部１０７に加えて、評価部１０８を更に含む。
【0147】
なお、評価部１０８の一部または全ては、ソフトウェアによって実現されてもよいし、ハードウェアによって実現されてもよいし、ソフトウェア及びハードウェアの組み合わせによって実現されてもよい。
【0148】
評価部１０８は、更新部１０７によって更新された機械学習モデルを評価する。本実施形態に係る機械学習システム１においては、評価部１０８による機械学習モデルの評価結果に基づいて、機械学習モデルの学習処理が再度実行される（つまり、機械学習が繰り返し行われる）。
【0149】
なお、統合サーバ装置２０－１～２０－Ｎの機能構成については、前述した第１実施形態と同様であるため、ここではその詳しい説明を省略し、適宜、図４を用いて説明する。
【0150】
以下、図１０のシーケンスチャートを参照して、本実施形態に係る機械学習システム１の処理手順の一例について説明する。図１０においては、クライアント端末１０－１及び統合サーバ装置２０－１において実行される処理についてのみが示されているが、他のクライアント端末１０－２～１０－Ｍは図９に示すクライアント端末１０－１の処理と同様の処理を実行し、他の統合サーバ装置２０－２～２０－Ｎの各々は図９に示す統合サーバ装置２０－１の処理と同様の処理を実行する。
【0151】
まず、前述した図５に示すステップＳ１～Ｓ１３の処理に相当するステップＳ２１～Ｓ３３の処理が実行される。なお、ステップＳ３３において更新されたローカルモデルは、機械学習システム１全体において機械学習が行われることによって得られる機械学習モデル（以下、第１マスターモデルと表記）に相当する。
【0152】
なお、図１０に示す処理は、前述した図５に示す処理と同様に、予め配布されているマスターモデルがローカルモデルとしてクライアント端末１０－１（～１０－Ｍ）の内部に保持された状態で実行されるが、当該マスターモデル（つまり、図１０に示す処理が実行される前のマスターモデル）を便宜的に第２マスターモデルと称する。
【0153】
ここで、クライアント端末１０－１に含まれる評価部１０８は、上記した第１マスターモデル（クライアント端末１０－１において更新されたローカルモデル）を評価する処理（以下、評価処理と表記）を実行する（ステップＳ３４）。
【0154】
具体的には、ステップＳ３４においては、第１マスターモデルの精度が算出される。なお、第１マスターモデル（機械学習モデル）の精度は、前述した第１実施形態において説明したように、例えば予め用意されている評価用データ（入力データと正解データとの組）を用いて、当該入力データが第１マスターモデルに入力されることによって当該第１マスターモデルから出力される出力データと当該正解データとの誤差に基づいて算出されるものとする。なお、複数の入力データと正解データとの組を用いることによって、出力データと正解データとの誤差が予め定められた範囲内にある場合を正解としたときの正解率を第１マスターモデルの精度として算出してもよい。
【0155】
ステップＳ３４の処理が実行されると、評価部１０８は、当該ステップＳ３４の処理の結果（つまり、評価結果）に基づいて上記した第１及び第２マスターモデルの一方を選択し、クライアント端末１０－１の内部に保持されているローカルモデルを当該選択されたマスターモデルと同期させる（ステップＳ３５）。
【0156】
この場合、評価部１０８は、ステップＳ３４の処理が実行されることによって算出された第１マスターモデルの精度を目標値と比較し、当該第１マスターモデルの精度が当該目標値以上であるか否かを判定する。
【0157】
第１マスターモデルの精度が目標値以上であると判定された場合、評価部１０８は、第１マスターモデル（つまり、ステップＳ３３において更新された新たな機械学習モデル）を選択し、ローカルモデルを当該第１マスターモデルと同期させる（つまり、当該第１マスターモデルをローカルモデルとしてクライアント端末１０－１の内部に保持させる）。
【0158】
一方、第１マスターモデルの精度が目標値以上でない（つまり、目標値未満である）と判定された場合、評価部１０８は、第２マスターモデル（つまり、図１０に示す処理が実行される時点でのマスターモデル）を選択し、ローカルモデルを当該第２マスターモデルと同期させる（つまり、第２マスターモデルをローカルモデルとして維持する）。
【0159】
すなわち、本実施形態に係る機械学習システム１において繰り返し行われる機械学習では、第１マスターモデルの評価結果（精度）が目標値以上である場合には前述した第１実施形態と同様に当該第１マスターモデル（更新された後の機械学習モデル）の学習処理が実行されるが、当該第１マスターモデルの評価結果（精度）が目標値以上でない場合には第２マスターモデル（更新される前の機械学習モデル）の学習処理が再度実行される。なお、この場合に実行される学習処理においては、既に実行された学習処理に用いられた学習データとは異なる学習データが用いられるものとする。
【0160】
また、上記した第１マスターモデルの精度を算出するために用いられる評価用データは、クライアント端末１０－１～１０－Ｍ毎に異なっている（つまり、個々に用意されている）ものとする。また、評価用データとして、各クライアント端末１０－１～１０－Ｍの各々に含まれる格納部１０１に格納されている学習データの一部を利用してもよい。更に、上記した第１または第２マスターモデルを選択する際に用いられる目標値は、クライアント端末１０－１～１０－Ｍに共通の値であってもよいし、当該クライアント端末１０－１～１０－Ｍ毎に異なる値であってもよい。すなわち、本実施形態においては、クライアント端末１０－１～１０－Ｍのうちの一部のクライアント端末においてはローカルモデルを第１マスターモデルと同期させ、他のクライアント端末においてはローカルモデルを第２マスターモデルと同期させても構わない。
【0161】
上記したように本実施形態においては、例えば予め用意されている評価用データを用いて第１マスターモデル（更新された後の機械学習モデル）を評価し、当該評価結果に基づいて、第１マスターモデルまたは第２マスターモデル（更新される前の機械学習モデル）の学習処理が実行される。本実施形態においては、このような構成により、第１マスターモデルの精度が低い場合には当該第１マスターモデルを採用しない（更新された機械学習モデルを使用しない）ため、結果として、機械学習システム１において機械学習が行われることによって得られる機械学習モデル（マスターモデル）の精度を向上させることが可能となる。
【0162】
（第３実施形態）
次に、第３実施形態について説明する。なお、本実施形態に係る機械学習システムのネットワーク構成、当該機械学習システムに備えられるクライアント端末及び統合サーバ装置のハードウェア構成及び機能構成については、前述した第１実施形態と同様であるため、ここではその詳しい説明を省略し、適宜、図１～図４を用いて説明する。また、本実施形態においては、前述した第１実施形態と異なる点について主に述べる。
次に、第３実施形態について説明する。なお、本実施形態に係る機械学習システムのネットワーク構成、当該機械学習システムに備えられるクライアント端末及び統合サーバ装置のハードウェア構成及び機能構成については、前述した第１実施形態と同様であるため、ここではその詳しい説明を省略し、適宜、図１～図４を用いて説明する。また、本実施形態においては、前述した第１実施形態と異なる点について主に述べる。
【0163】
ここで、前述した第１実施形態においてはクライアント端末１０－１～１０－Ｍから統合サーバ装置２０－１～２０－Ｎに第１パラメータシェア列及びインデックスシェア列が送信されるものとして説明したが、例えば当該クライアント端末１０－１～１０－Ｍの各々から統合サーバ装置２０－１～２０－Ｎに送信されるＮ個の第１パラメータシェア列のうちのｋ個の第１パラメータのシェア列が第三者によって取得され、かつ、Ｎ個のインデックスシェア列のうちのｋ個のインデックスシェア列が第三者によって取得された場合には、当該ｋ個の第１パラメータのシェア列及びｋ個のインデックスシェア列から複数のパラメータが正しい順番に並び変えられた第１パラメータ列が復号される場合があり、当該第１パラメータ列が抽出された機械学習モデル（ローカルモデル）の学習処理に用いられた学習データが推測される可能性がある。
【0164】
これに対して、本実施形態は、前述した第１実施形態におけるインデックス列（インデックスシェア列）に加えてダミーのインデックス列を用意（生成）する点で、前述した第１実施形態とは異なる。
【0165】
以下、本実施形態に係る機械学習システム１の処理手順の一例について説明する。ここでは、便宜的に、前述した図５を用いて説明する。
【0166】
まず、前述したステップＳ１及びＳ２の処理が実行される。次に、前述した第１実施形態においては第１パラメータ列における複数のパラメータの各々に対応するインデックスが配列された１つのインデックス列が生成されるが、本実施形態において、配列変更部１０４は、複数のインデックス列（以下、第１及び第２インデックス列と表記）を生成する（ステップＳ３）。具体的には、例えば前述した第１実施形態において説明したように第１パラメータ列における複数のパラメータの数がＬである場合、本実施形態において配列変更部１０４は、例えば第１インデックス列［１，２，…，Ｌ］及び第２インデックス列［１，２，…，Ｌ］を結合した２×Ｌの２次元配列を生成する。なお、ここでは第１及び第２インデックス列が同一のインデックス列であるものとしているが、当該第１及び第２インデックス列は、それぞれ異なる複数のインデックスが配列されたものであってもよい。
【0167】
ステップＳ３の処理が実行されると、配列変更部１０４は、ステップＳ２において抽出された第１パラメータ列における複数のパラメータの配列と当該ステップＳ３において生成された第１及び第２インデックス列における複数のインデックスの配列を変更する（ステップＳ４）。
【0168】
ここで、図１１は、上記したステップＳ４の処理（第１パラメータ列と第１及び第２インデックス列とに対する配列変更処理）の一例について説明するための図である。図１１においては、上記したステップＳ２において抽出された第１パラメータ列が［ｐ１，ｐ２，ｐ３，ｐ４，ｐ５］であり、第１及び第２インデックス列が［１，２，３，４，５］である場合を想定している。
【0169】
この場合、ステップＳ４においては、図１１の上段に示す２次元配列（第１パラメータ列と第１及び第２インデックス列とを結合することによって生成された２次元配列）における列をランダムに入れ替えることにより、当該２次元配列が図１１の中段に示す２次元配列に変換される。
【0170】
更に、ステップＳ４においては、図１１の中段に示す２次元配列における第２インデックス列における複数のインデックス（の列）のみを更にランダムに入れ替えることにより、当該２次元配列が図１１の下段に示す２次元配列に変換される。
【0171】
このような図１１の下段に示す２次元配列から第１パラメータ列と第１インデックス列と第２インデックス列とを分離することによって、第１パラメータ列［ｐ１，ｐ２，ｐ３，ｐ４，ｐ５］における複数のパラメータの配列が変更された第１パラメータ列［ｐ４，ｐ１，ｐ２，ｐ５，ｐ３］と、第１インデックス列［１，２，３，４，５］における複数のインデックスの配列が変更された第１インデックス列［４，１，２，５，３］と、第２インデックス列［１，２，３，４，５］における複数のインデックスの配列が変更された第２インデックス列［１，５，２，４，３］とが取得される。
【0172】
このようにステップＳ４において配列が変更された第１インデックス列は、前述した第１実施形態におけるインデックス列と同様に、第１パラメータ列における複数のパラメータの変更前の配列と、当該複数のパラメータの変更後の配列との対応関係を示す情報（パラメータの並び替え情報）に相当する。一方、ステップＳ４において配列が変更された第２インデックス列は、第１パラメータ列における複数のパラメータの変更前の配列と、当該複数のパラメータの変更後の配列とは異なる配列との対応関係を示す情報に相当し、ダミーのインデックス列（ダミーの並び替え情報）であるといえる。
【0173】
なお、上記した図１１を用いて説明したステップＳ４の処理は一例であり、ステップＳ４においては、前述した第１実施形態におけるインデックス列と同様に第１インデックス列における複数のインデックスの配列を変更するとともに、当該配列とは異なる配列に第２インデックス列における複数のインデックスの配列を変更するような処理が実行されればよい。
【0174】
次に、暗号化部１０５は、ステップＳ４の処理が実行されることによって取得された第１パラメータ列、第１インデックス列及び第２インデックス列を暗号化する（ステップＳ５）。なお、詳しい説明については省略するが、このステップＳ５においては、前述した第１実施形態において説明したインデックス列を暗号化する処理に代えて、第１及び第２インデックス列の各々を暗号化する処理が実行されればよい。第１パラメータ列を暗号化する処理については、前述した第１実施形態と同様である。すなわち、本実施形態においてステップＳ５の処理が実行された場合には、Ｎ個の第１パラメータシェア列、Ｎ個の第１インデックスシェア列及びＮ個の第２インデックスシェア列が生成される。
【0175】
ステップＳ５の処理が実行されると、当該ステップＳ５の処理が実行されることによって生成されたＮ個の第１パラメータシェア列、Ｎ個の第１インデックスシェア列及びＮ個の第２インデックスシェア列々が、統合サーバ装置２０－１～２０－Ｎに送信される（ステップＳ６）。この場合、１つの統合サーバ装置に対して１つの第１パラメータシェア列、１つの第１インデックスシェア列及び１つの第２インデックスシェア列が送信される。
【0176】
なお、本実施形態において、第１パラメータシェア列と第１及び第２インデックスシェア列とは、それぞれ異なるファイルで送信されるものとする。更に、第１及び第２インデックスシェア列がそれぞれ異なるファイルで送信されてもよい。
【0177】
ここで、前述した第１実施形態においては例えば統合サーバ装置２０－１に含まれる配列変更部２０１がクライアント端末１０－１～１０－Ｍの各々から送信されたインデックスシェア列に基づいて第１パラメータシェア列における複数のパラメータのシェアの配列を変更する（当該複数のパラメータのシェアを並び替える）ものとして説明したが、本実施形態においては第１及び第２インデックスシェア列のうちの第１インデックスシェア列に基づいて第１パラメータシェア列における複数のパラメータのシェアの配列を変更する必要がある。すなわち、統合サーバ装置２０－１は、第１パラメータ列における複数のパラメータの配列を変更する際に第１インデックスシェア列を参照すべきことを把握しておく必要がある。
【0178】
具体的には、繰り返し行われる機械学習において参照すべきインデックスシェア列（つまり、第１インデックス列を参照すべきこと）が固定されている場合には、当該第１インデックス列を参照すべきことが統合サーバ装置２０－１（～２０－Ｎ）において予め設定（指定）されていればよい。
【0179】
一方、繰り返し行われる機械学習毎に参照すべきインデックスシェア列が変更される構成であってもよく、この場合には、当該インデックスシェア列を各クライアント端末１０－１～１０－Ｍにおいて指定する必要がある。このようにクライアント端末１０－１～１０－Ｍにおいて指定されたインデックスシェア列（配列を変更する際の指標）は統合サーバ装置２０－１～２０－Ｎと共有する（つまり、統合サーバ装置２０－１～２０－Ｎに指示される）必要があるが、例えば第１及び第２インデックスシェア列が２次元配列の形式でクライアント端末１０－１～１０－Ｍから送信される場合には、当該指定されたインデックス列を示す当該２次元配列の行番号が格納されたファイルを別途送信するようにしてもよいし、当該２次元配列中（例えば、固定の配列座標番号）に当該インデックスシェア列を示す数値等を挿入するようにしてもよい。
【0180】
なお、本実施形態においては第１及び第２インデックスシェア列のうちの参照すべきインデックスシェア列を統合サーバ装置２０－１～２０－Ｎが把握することができるように構成されていればよく、当該インデックスシェア列を指定（共有）するための手法については限定されない。
【0181】
上記した図１１においては第１インデックスシェア列が配列を変更する際の指標である場合にについて説明したが、第２インデックスシェア列が配列を変更する際の指標として指定される場合には、当該図１１の中段に示す２次元配列における第１インデックス列における複数のインデックス（の列）のみを更にランダムに入れ替えるようにすればよい。
【0182】
以下、前述した第１実施形態において説明したステップＳ８～Ｓ１３の処理が実行される。なお、上記したようにステップＳ７において第１インデックスシェア列に基づいて第１パラメータシェア列における複数のパラメータのシェアの配列が変更されている場合、ステップＳ９においては、当該第１インデックスシェア列に基づいて第２パラメータシェア列における複数のパラメータのシェアの配列が変更される。また、ステップＳ１１においては平文のパラメータの並び替え情報（第１インデックス列）に基づいて第２パラメータシェア列における複数のパラメータのシェアの配列が変更されるため、ステップＳ１０においては第１インデックスシェア列を送信する必要はないが、前述した第１実施形態と同様に、当該平文のパラメータの並び替え情報がクライアント端末１０－１～１０－Ｍにおいて破棄されている場合には、ステップＳ１０において第２パラメータシェア列とともに第１インデックスシェア列がクライアント端末１０－１～１０－Ｍに送信されてもよい。ただし、この場合には第１インデックスシェア列とともに第２インデックスシェア列を送信することが好ましい。
【0183】
上記したように本実施形態において、クライアント端末１０－１～１０－Ｍの各々は、第１パラメータ列における複数のパラメータの配列（第１配列）と当該配列から変更された複数のパラメータの配列（第２配列）との対応関係を示す第１インデックス列に対して秘密分散を実施することによって統合サーバ装置２０－１～２０－Ｎの各々に対応する第１インデックスシェア列（第１断片インデックス列）を生成するとともに、第１インデックス列とは異なる第２インデックス列に対して秘密分散を実施することによって統合サーバ装置２０－１～２０－Ｎの各々に対応する第２インデックスシェア列（第２断片インデックス列）を生成し、当該第１及び第２インデックスシェア列を統合サーバ装置２０－１～２０－Ｎの各々に送信する。
【0184】
本実施形態においては、このような構成により、例えばＮ個の第１パラメータシェア列のうちのｋ個の第１パラメータシェア列が第三者によって取得され、かつ、Ｎ個の第１及び第２インデックスシェア列のうちのｋ個の第１及び第２インデックスシェア列が第三者によって取得されたとしても、当該ｋ個の第１パラメータシェア列（第１パラメータ列における複数のパラメータ）を第１及び第２インデックス列のいずれを参照して並び替えればよいかを当該第三者は把握することができないため、当該複数のパラメータから学習データが推測される可能性を低減する（すなわち、機械学習における安全性を向上させる）ことができる。
【0185】
更に、本実施形態において、統合サーバ装置２０－１～２０－Ｎの各々は、クライアント端末１０－１～１０－Ｍの各々から送信されたＭ個の第１インデックスシェア列及びＭ個の第２インデックスシェア列を受信し、当該受信されたＭ個の第１インデックスシェア列及びＭ個の第２インデックスシェア列のうちの予め指定されているＭ個の第１インデックスシェア列の各々に基づいてＭ個の第１パラメータシェア列の各々における複数のパラメータのシェアの配列を変更する。
【0186】
本実施形態においては、このような構成により、上記したように第１インデックスシェア列に加えて第２インデックスシェア列（ダミーのインデックス列）がクライアント端末１０－１～１０－Ｍから送信された場合であっても、統合サーバ装置２０－１～２０－Ｎの各々において当該クライアント端末１０－１～１０－Ｍの各々から送信された第１パラメータシェア列を適切に統合することができる。
【0187】
また、本実施形態においては、例えば第１パラメータシェア列と第１及び第２インデックスシェア列とがそれぞれ異なるファイルでクライアント端末１０－１～１０－Ｍから統合サーバ装置２０－１～２０－Ｎに送信される構成を採用することにより、当該第１パラメータシェア列とともに第１及び第２インデックスシェア列が取得され、当該第１パラメータシェア列から復号されたパラメータ列における複数のパラメータ（の配列）が正しい順番に並べ替えられることを抑制することができる。
【0188】
また、本実施形態においては第１インデックスシェア列に基づく第１パラメータシェア列における複数のパラメータのシェアの配列の変更（つまり、並び替えの演算）を秘密計算により行うことにより、当該インデックスシェア列からインデックス列を復号する処理を実行する必要がないため、統合サーバ装置２０－１～２０－Ｎの各々における処理量を低減することができる。
【0189】
なお、本実施形態においては、ダミーのインデックス列として第２インデックス列を用意（生成）するものとして説明したが、当該第２インデックス列は複数であっても構わない。この場合、複数の第２インデックス列は、それぞれ異なる配列に変更されるものとする。具体的には、例えば図１１に示すように配列が変更された第１パラメータ列が［ｐ４，ｐ１，ｐ２，ｐ５，ｐ３］であり、当該配列が変更された第１インデックス列が［４，１，２，５，３］である場合には、配列が変更された複数の第２インデックス列は、例えば［１，５，２，４，３］及び［３，４，５，２，１］等とすることができる。ここでは第２インデックス列の数が２つである場合について説明したが、当該第２インデックス列の数は３以上であってもよい。
【0190】
更に、本実施形態においては前述した第１実施形態において説明した構成においてダミーとなるインデックス列（第２インデックス列）を用意するものとして説明したが、本実施形態は、前述した第２実施形態に適用されても構わない（つまり、第２実施形態において説明した構成においてダミーとなるインデックス列を用意する構成であってもよい）。
【0191】
以上述べた少なくとも１つの実施形態によれば、機械学習における高い安全性を確保することが可能な機械学習システム及び方法を提供することができる。
【0192】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0193】
１…機械学習システム、１０－１～１０－Ｍ…クライアント端末、１１…ＣＰＵ、１２…不揮発性メモリ、１３…ＲＡＭ、１４…通信デバイス、２０－１～２０－Ｎ…統合サーバ装置、３０…ネットワーク、１０１…格納部、１０２…学習処理部、１０３…パラメータ抽出部、１０４…配列変更部、１０５…暗号化部、１０６…復号化部、１０７…更新部、１０８…評価部、２０１…配列変更部、２０２…統合処理部、２０３…更新部。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】