特開 2025-11054 連合学習における寄与度の計算方法及び連合学習における寄与度計算・利益分配システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025011054

(43)【公開日】2025-01-23

(54)【発明の名称】連合学習における寄与度の計算方法及び連合学習における寄与度計算・利益分配システム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20250116BHJP

   G06N 3/098 20230101ALI20250116BHJP

【ＦＩ】

G06N20/00

G06N3/098

【審査請求】有

【請求項の数】11

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2024109321

(22)【出願日】2024-07-08

(31)【優先権主張番号】63/525,786

(32)【優先日】2023-07-10

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】524257993

【氏名又は名称】三顧股▲ふん▼有限公司

(74)【代理人】

【識別番号】100091683

【弁理士】

【氏名又は名称】▲吉▼川 俊雄

(74)【代理人】

【識別番号】100179316

【弁理士】

【氏名又は名称】市川 寛奈

(72)【発明者】

【氏名】楊▲いん▼臻

(72)【発明者】

【氏名】孫子龍

(72)【発明者】

【氏名】林永松

(72)【発明者】

【氏名】陳宗基

(57)【要約】      （修正有）

【課題】連合学習における寄与度の計算方法及びシステム並びに算出した寄与度に基づいて利益分配をするシステムを提供する。
【解決手段】方法は、全ての連合学習の参加者が、それぞれのローカルデータセットを用いて、連合学習により連合集約モデルを共同で開発するステップと、全ての連合学習の参加者のうちの少なくとも１つの第１メンバーの参加を除外してから、連合学習方法により、当該少なくとも１つの第１メンバーの参加を除外した第１寄与度モデルを共同で開発するステップと、第１寄与度モデルの価値と連合集約モデルの価値を比較することで第１メンバーの寄与度を算出するステップ、を含む。本発明で提供する方法によれば、少量の追加の情報と少量の追加の計算によって、連合学習における全ての各メンバーの寄与度又は一部のメンバーの集団寄与度を近似的に計算可能である。また、これにより、寄与度に基づいて利益分配の機能が達成される。
【選択図】図２

【特許請求の範囲】

【請求項1】

中央サーバが複数の訓練済みモデルパラメータを受け付け、前記訓練済みモデルパラメータは、複数のローカルデータセットをそれぞれ機械学習することで生成されるステップと、
前記中央サーバが、前記訓練済みモデルパラメータについて集約アルゴリズムを実行することで連合モデルを生成するとともに、前記連合モデルを保存するステップと、
前記中央サーバが、少なくとも１つの第１訓練済みモデルパラメータを除外又はシミュレーション的に除外した前記訓練済みモデルパラメータについて前記集約アルゴリズムを実行することで、第１寄与度モデルを生成するステップと、
前記中央サーバが、前記第１寄与度モデルの価値と前記連合モデルの価値を比較して、前記第１訓練済みモデルパラメータの寄与度を生成するステップ、を含む連合学習における寄与度の計算方法。

【請求項2】

前記訓練済みモデルパラメータは、前記ローカルデータセットについて複数回の機械学習の訓練をそれぞれ行うことで生成され、前記中央サーバは、各回の機械学習の訓練において生成される前記訓練済みモデルパラメータについて集約アルゴリズムを実行することで前記連合モデルを生成し、前記中央サーバは、最後の機械学習の訓練における前記少なくとも１つの第１訓練済みモデルパラメータを除外した前記訓練済みモデルパラメータについて前記集約アルゴリズムを実行することで、前記第１寄与度モデルを生成する請求項１に記載の方法。

【請求項3】

前記訓練済みモデルパラメータは、前記ローカルデータセットについて複数回の機械学習の訓練をそれぞれ行うことで生成され、前記中央サーバは、各回の機械学習の訓練において前記集約アルゴリズムを実行することで前記連合モデルを生成し、前記中央サーバは、各回の機械学習の訓練における前記少なくとも１つの第１訓練済みモデルパラメータをシミュレーション的に除外した前記訓練済みモデルパラメータについて前記集約アルゴリズムを実行することで、前記第１寄与度モデルを生成する請求項１に記載の方法。

【請求項4】

前記訓練済みモデルパラメータは、前記ローカルデータセットについて複数回の機械学習の訓練をそれぞれ行うことで生成され、前記中央サーバは、各回の機械学習の訓練において前記集約アルゴリズムをそれぞれ実行することで、各回の機械学習に対応する前記連合モデルを生成し、前記中央サーバは、各回の機械学習の訓練における前記少なくとも１つの第１訓練済みモデルパラメータを除外した前記訓練済みモデルパラメータについて前記集約アルゴリズムを実行することで、各回の機械学習に対応する前記第１寄与度モデルをそれぞれ生成し、前記中央サーバは、各回の機械学習における前記第１寄与度モデルの価値と、前記連合モデルの価値をそれぞれ比較するとともに、平均又は加重平均を行うことで、平均寄与度を前記第１訓練済みモデルパラメータの前記寄与度として生成する請求項１に記載の方法。

【請求項5】

前記訓練済みモデルパラメータは、前記ローカルデータセットについて複数回の機械学習の訓練をそれぞれ行うことで生成され、前記中央サーバは、各回の機械学習の訓練において前記集約アルゴリズムを実行することで前記連合モデルを生成し、前記中央サーバは、最後から、カウントダウンしてｋ回目までの機械学習の訓練における前記少なくとも１つの第１訓練済みモデルパラメータをシミュレーション的に除外した前記訓練済みモデルパラメータについて前記集約アルゴリズムを実行することで、前記第１寄与度モデルを生成し、ｋは、１と、前記第１訓練済みモデルパラメータが前記連合モデルの集約アルゴリズムに参加した回数との間の整数である請求項１に記載の方法。

【請求項6】

前記中央サーバが、前記第１訓練済みモデルパラメータの前記寄与度が正の値か負の値かを判断するステップと、
前記寄与度が負の値の場合、前記中央サーバが、前記連合モデルを前記第１寄与度モデルに置き換えて、更新後の前記連合モデルとするステップ、を含む請求項１に記載の方法。

【請求項7】

複数のローカルデータセットをそれぞれ機械学習することで複数の訓練済みモデルパラメータを生成する複数の人工知能モデル訓練装置と、
前記人工知能モデル訓練装置に接続されて、前記訓練済みモデルパラメータを受け付ける中央サーバ、を含み、
前記中央サーバは、
前記訓練済みモデルパラメータについて集約アルゴリズムを実行することで連合モデルを生成する計算モジュールと、
前記計算モジュールに接続されて、少なくとも１つの第１訓練済みモデルパラメータを除外又はシミュレーション的に除外した前記訓練済みモデルパラメータについて前記集約アルゴリズムを実行することで第１寄与度モデルを生成し、前記第１寄与度モデルの価値と前記連合モデルの価値を比較して、前記第１訓練済みモデルパラメータの寄与度を生成する寄与度計算モジュールと、
前記寄与度計算モジュールに接続されて前記寄与度を受け付け、前記寄与度に基づき、前記連合モデルにおける前記第１訓練済みモデルパラメータの利益分配比率を計算する利益分配モジュール、を含む連合学習における寄与度計算・利益分配システム。

【請求項8】

前記人工知能モデル訓練装置は、前記ローカルデータセットについて複数回の機械学習の訓練をそれぞれ行い、前記計算モジュールは、各回の機械学習の訓練において集約アルゴリズムを実行することで前記連合モデルを生成し、前記寄与度計算モジュールは、最後の機械学習の訓練における前記少なくとも１つの第１訓練済みモデルパラメータを除外した前記訓練済みモデルパラメータについて前記集約アルゴリズムを実行することで、前記第１寄与度モデルを生成する請求項７に記載のシステム。

【請求項9】

前記人工知能モデル訓練装置は、前記ローカルデータセットについて複数回の機械学習の訓練をそれぞれ行い、前記計算モジュールは、各回の機械学習の訓練において集約アルゴリズムを実行することで前記連合モデルを生成し、前記寄与度計算モジュールは、各回の機械学習の訓練における前記少なくとも１つの第１訓練済みモデルパラメータをシミュレーション的に除外した前記訓練済みモデルパラメータについて前記集約アルゴリズムを実行することで、前記第１寄与度モデルを生成する請求項７に記載のシステム。

【請求項10】

前記人工知能モデル訓練装置は、前記ローカルデータセットについて複数回の機械学習の訓練をそれぞれ行い、前記計算モジュールは、各回の機械学習の訓練において集約アルゴリズムを実行することで前記連合モデルを生成し、前記寄与度計算モジュールは、最後から、カウントダウンしてｋ回目までの機械学習の訓練における前記少なくとも１つの第１訓練済みモデルパラメータをシミュレーション的に除外した前記訓練済みモデルパラメータについて前記集約アルゴリズムを実行することで、前記第１寄与度モデルを生成し、ｋは、１と、前記第１訓練済みモデルパラメータが前記連合モデルの集約アルゴリズムに参加した回数との間の整数である請求項７に記載のシステム。

【請求項11】

前記人工知能モデル訓練装置は、前記ローカルデータセットについて複数回の機械学習の訓練をそれぞれ行い、前記計算モジュールは、各回の機械学習の訓練において前記集約アルゴリズムを実行することで、各回の機械学習に対応する前記連合モデルをそれぞれ生成し、前記寄与度計算モジュールは、各回の機械学習の訓練における前記少なくとも１つの第１訓練済みモデルパラメータを除外した前記訓練済みモデルパラメータについて前記集約アルゴリズムを実行することで、各回の機械学習に対応する前記第１寄与度モデルをそれぞれ生成し、かつ、各回の機械学習における前記第１寄与度モデルの価値と、前記連合モデルの価値をそれぞれ比較するとともに、平均又は加重平均を行うことで、平均寄与度を前記第１訓練済みモデルパラメータの前記寄与度として生成する請求項７に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、連合学習における寄与度の計算方法及び連合学習における寄与度計算・利益分配システムに関し、特に、連合学習における各メンバーの寄与度を計算可能とする方法及びシステムと、算出した寄与度に基づいて利益分配を可能とするシステムに関する。

【背景技術】

【0002】

医用工学技術の進歩に伴って、現在、疾病の臨床治療における再生医療の応用はいっそう多様化しており、その研究及び応用はますます各界からの注目を浴びている。現在、再生医療は、主に、器官の修復、免疫細胞治療及び幹細胞療法に応用されている。細胞治療とは、人体の細胞を体外で培養又は加工する手順を経たあと、培養したそれらの細胞を個々の体内に移植して使用するものである。したがって、細胞を如何に効果的に培養するかは再生医療における極めて重要な要素となる。従来の研究より、各人の体内の細胞は独自の特徴を有しており、それぞれの状況に応じて治療に適した細胞をカスタイマイズする必要があるため、細胞プロセスの複雑度及び難度が増すことが分かっている。一方、大量の細胞データ及びバイオプロセスデータが存在する場合には、機械学習により、それぞれの細胞培養の条件やプロセスパラメータの効果を評価する予測モデルを生成可能である。よって、機械学習を用いれば、細胞プロセスをカスタイマイズする際の複雑度及び難度を低下させられる。しかしながら、これらの細胞データ及びバイオプロセスデータの大部分は、例えば、様々な病院又は実験室における患者の細胞データといった非常にデリケートで秘匿性の高い個人データに属する。従来の集約型機械学習方法を用いる場合には、全てのバイオプロセスデータを中央サーバに集約して分析及び訓練を行う必要があるため、法規やプライバシー保護及び商業的見地等の制約から実施不可能な場合がある。また、医用工学に限らず、データが非常にデリケートで秘匿性のあるどのような技術分野においても、集約型機械学習方法は同様の問題に直面し得る。

【0003】

連合学習（ｆｅｄｅｒａｔｅｄ ｌｅａｒｎｉｎｇ）とは、協調学習（ｃｏｌｌａｂｏｒａｔｉｖｅ ｌｅａｒｎｉｎｇ）とも称される機械学習技術の一種であり、具体的には、ローカルデータサンプルを有する複数の分散型エッジデバイス又はサーバでアルゴリズムを訓練するものである。このような方法は、従来の集約型機械学習技術とは著しく異なっている。従来の集約型機械学習技術では、全てのローカルデータセットを１つのサーバにアップロードして機械学習の訓練を実施する。一方、連合学習は複数のメンバーで構成される。各メンバーは、それぞれが、自身の保有するデータセットにつき機械学習の訓練を実施して各々の訓練済みモデルを生成し、訓練済みモデルパラメータを中央サーバにアップロードする。中央サーバは、全ての訓練済みモデルパラメータに重みを付与して集約し、連合モデルを形成する。また、この連合モデルは、各メンバーに再配布して使用することが可能である。中央サーバは、訓練済みモデルパラメータを集約するだけであり、各メンバーのデータセットについて機械学習における分析や処理を直接行うことはない。よって、各メンバーのデータセット内における非常にデリケートで秘匿性の高いデータサンプルや情報が外部に流出することはなく、データの秘匿性が保護される。

【0004】

連合学習によって最終的に生成される連合モデルは、各メンバーがそれぞれ訓練して提供するモデルにより完成させられる。そのため、各メンバーは、連合モデルに対してそれぞれの寄与度を有している。また、連合モデルが、自身の信頼性や予測精度を理由として商用利用され、利益を獲得可能な場合には、各メンバーがそれぞれの寄与度に応じて一定の利益分配を獲得しようとする可能性がある。そのほか、各メンバーの寄与度は、連合モデルに対するそれぞれの影響も表すため、連合モデルにおける各メンバーの重みが適切か否かを評価するために使用可能である。しかしながら、現在のところ、連合学習には、メンバーの寄与度を計算可能とするいかなる方法も存在しない。

【0005】

よって、メンバーへの利益分配や寄与度を基準とするその他の機能に応用するために、連合学習における各メンバーの寄与度を効率よく計算可能とする方法及びシステムを開発する必要がある。

【発明の概要】

【発明が解決しようとする課題】

【0006】

以上に鑑みて、上述した従来の課題を解決するために、本発明は、連合学習における寄与度の計算方法を提供する。

【課題を解決するための手段】

【0007】

本発明の具体的実施例によれば、連合学習における寄与度の計算方法は、中央サーバが複数の訓練済みモデルパラメータを受け付け、前記訓練済みモデルパラメータは、複数のローカルデータセットをそれぞれ機械学習することで生成されるステップと、中央サーバが、前記訓練済みモデルパラメータについて集約アルゴリズムを実行することで連合モデルを生成するとともに、当該連合モデルを保存するステップと、中央サーバが、少なくとも１つの第１訓練済みモデルパラメータを除外又はシミュレーション的に除外した前記訓練済みモデルパラメータについて集約アルゴリズムを実行することで、第１寄与度モデルを生成するステップと、中央サーバが、第１寄与度モデルの価値と連合モデルの価値を比較して、第１訓練済みモデルパラメータの寄与度を生成するステップ、を含む。

【0008】

前記訓練済みモデルパラメータは、前記ローカルデータセットについて複数回の機械学習の訓練をそれぞれ行うことで生成される。中央サーバは、各回の機械学習の訓練において集約アルゴリズムを実行することで連合モデルを生成する。かつ、中央サーバは、最後の機械学習の訓練における少なくとも１つの第１訓練済みモデルパラメータを除外した前記訓練済みモデルパラメータについて集約アルゴリズムを実行することで、第１寄与度モデルを生成する。

【0009】

前記訓練済みモデルパラメータは、前記ローカルデータセットについて複数回の機械学習の訓練をそれぞれ行うことで生成される。中央サーバは、各回の機械学習の訓練において集約アルゴリズムを実行することで連合モデルを生成する。かつ、中央サーバは、各回の機械学習の訓練における少なくとも１つの第１訓練済みモデルパラメータをシミュレーション的に除外した前記訓練済みモデルパラメータについて集約アルゴリズムを実行することで、第１寄与度モデルを生成する。

【0010】

前記訓練済みモデルパラメータは、前記ローカルデータセットについて複数回の機械学習の訓練をそれぞれ行うことで生成される。中央サーバは、各回の機械学習の訓練において前記集約アルゴリズムを実行することで連合モデルを生成する。かつ、中央サーバは、最後から、カウントダウンしてｋ回目までの機械学習の訓練における少なくとも１つの第１訓練済みモデルパラメータをシミュレーション的に除外した前記訓練済みモデルパラメータについて集約アルゴリズムを実行することで、第１寄与度モデルを生成する。ｋは、１と、第１訓練済みモデルパラメータが連合モデルの集約アルゴリズムに参加した回数との間の整数である。

【0011】

前記訓練済みモデルパラメータは、前記ローカルデータセットについて複数回の機械学習の訓練をそれぞれ行うことで生成される。中央サーバは、各回の機械学習の訓練において集約アルゴリズムをそれぞれ実行することで、各回の機械学習に対応する連合モデルを生成する。かつ、各回の機械学習の訓練における少なくとも１つの第１訓練済みモデルパラメータを除外した前記訓練済みモデルパラメータについて集約アルゴリズムを実行することで、各回の機械学習に対応する第１寄与度モデルをそれぞれ生成する。また、各回の機械学習における第１寄与度モデルの価値と、連合モデルの価値をそれぞれ比較するとともに、平均又は加重平均を行うことで、平均寄与度を前記第１訓練済みモデルパラメータの寄与度として生成する。

【0012】

本方法は、更に、中央サーバが、少なくとも１つの第１訓練済みモデルパラメータの寄与度が正の値か負の値かを判断するステップと、寄与度が負の値の場合、中央サーバが、連合モデルを第１寄与度モデルに置き換えて、更新後の連合モデルとするステップ、を含む。

【0013】

そのほか、本発明は、更に、上述した従来の課題を解決するとともに、連合学習におけるメンバーの利益分配に応用可能な連合学習における寄与度計算・利益分配システムを提供する。

【0014】

本発明の具体的実施例によれば、連合学習における寄与度計算・利益分配システムは、複数の人工知能モデル訓練装置及び中央サーバを含む。また、中央サーバは、更に、計算モジュール、寄与度計算モジュール及び利益分配モジュールを含む。複数の人工知能モデル訓練装置は、複数のローカルデータセットをそれぞれ機械学習することで、複数の訓練済みモデルパラメータを生成する。中央サーバは、各人工知能モデル訓練装置に接続されて、前記訓練済みモデルパラメータを受け付ける。中央サーバの計算モジュールは、受け付けた訓練済みモデルパラメータについて集約アルゴリズムを実行することで連合モデルを生成する。寄与度計算モジュールは、少なくとも１つの第１訓練済みモデルパラメータを除外又はシミュレーション的に除外した前記訓練済みモデルパラメータについて集約アルゴリズムを実行することで、第１寄与度モデルを生成する。そして、第１寄与度モデルの価値と連合モデルの価値を比較して、第１訓練済みモデルパラメータの寄与度を生成する。利益分配モジュールは、寄与度計算モジュールに接続されて第１訓練済みモデルパラメータの寄与度を受け付け、寄与度に基づき、連合モデルにおける第１訓練済みモデルパラメータの利益分配比率を計算する。

【0015】

前記人工知能モデル訓練装置は、前記ローカルデータセットについて複数回の機械学習の訓練をそれぞれ行う。計算モジュールは、各回の機械学習の訓練において集約アルゴリズムを実行することで連合モデルを生成する。また、寄与度計算モジュールは、最後の機械学習の訓練における少なくとも１つの第１訓練済みモデルパラメータを除外した前記訓練済みモデルパラメータについて集約アルゴリズムを実行することで、第１寄与度モデルを生成する。

【0016】

前記人工知能モデル訓練装置は、前記ローカルデータセットについて複数回の機械学習の訓練をそれぞれ行う。計算モジュールは、各回の機械学習の訓練において集約アルゴリズムを実行することで連合モデルを生成する。また、寄与度計算モジュールは、各回の機械学習の訓練における少なくとも１つの第１訓練済みモデルパラメータをシミュレーション的に除外した前記訓練済みモデルパラメータについて集約アルゴリズムを実行することで、第１寄与度モデルを生成する。

【0017】

前記人工知能モデル訓練装置は、前記ローカルデータセットについて複数回の機械学習の訓練をそれぞれ行う。計算モジュールは、各回の機械学習の訓練において集約アルゴリズムを実行することで前記連合モデルを生成する。また、寄与度計算モジュールは、最後から、カウントダウンしてｋ回目までの機械学習の訓練における少なくとも１つの第１訓練済みモデルパラメータをシミュレーション的に除外した前記訓練済みモデルパラメータについて集約アルゴリズムを実行することで、第１寄与度モデルを生成する。ｋは、１と、第１訓練済みモデルパラメータが連合モデルの集約アルゴリズムに参加した回数との間の整数である。

【0018】

前記人工知能モデル訓練装置は、前記ローカルデータセットについて複数回の機械学習の訓練をそれぞれ行う。計算モジュールは、各回の機械学習の訓練において前記集約アルゴリズムを実行することで、各回の機械学習に対応する連合モデルをそれぞれ生成する。また、寄与度計算モジュールは、各回の機械学習の訓練における少なくとも１つの第１訓練済みモデルパラメータをシミュレーション的に除外した前記訓練済みモデルパラメータについて集約アルゴリズムを実行することで、各回の機械学習に対応する第１寄与度モデルをそれぞれ生成する。かつ、各回の機械学習における第１寄与度モデルの価値と、連合モデルの価値をそれぞれ比較するとともに、平均又は加重平均を行うことで、平均寄与度を第１訓練済みモデルパラメータの寄与度として生成する。

【発明の効果】

【0019】

総括すると、本発明の連合学習における寄与度の計算方法及びシステムは、連合学習に参加するメンバーが訓練したモデルについて、連合モデルにおける寄与度を計算可能である。また、これにより、メンバーへの利益分配の機能を達成し得る。或いは、各メンバーの寄与度に基づき、連合モデルにおける当該モデルの重みを調整することで、連合学習によって生成される連合モデルに更に正確な予測効果を持たせることが可能である。

【図面の簡単な説明】

【0020】

【図1】図１は、本発明の具体的実施例に基づく連合学習における寄与度の計算方法のステップのフローチャートを示す。

【図2】図２は、本発明の別の具体的実施例に基づく連合学習における寄与度計算・利益分配システムの概略図を示す。

【図3】図３は、本発明の別の具体的実施例に基づく連合学習における寄与度の計算方法のステップのフローチャートを示す。

【図4】図４は、本発明の別の具体的実施例に基づく連合学習における寄与度の計算方法のステップのフローチャートを示す。

【図5】図５は、本発明の別の具体的実施例に基づく連合学習における寄与度の計算方法のステップのフローチャートを示す。

【図6】図６は、本発明の別の具体的実施例に基づく連合学習における寄与度の計算方法のステップのフローチャートを示す。

【図7】図７は、本発明の別の具体的実施例に基づく連合学習における寄与度の計算方法のステップのフローチャートを示す。

【図8】図８は、本発明の別の具体的実施例に基づく連合学習における寄与度の計算方法のステップのフローチャートを示す。

【発明を実施するための形態】

【0021】

本発明の利点、精神及び特徴をより容易かつ明確に理解可能となるよう、続いて、具体的実施例を用いるとともに、図面を参照して、詳述及び検討する。注意すべき点として、これらの具体的実施例は本発明の代表的な具体的実施例にすぎず、例示する特定の方法、装置、条件、材質等は本発明又は対応する具体的実施例を限定するものではない。かつ、図中の各構成要素は、それらの相対的位置を表すためにのみ用いられ、実際の比率に基づき記載されてもいない。また、本発明のステップ番号は異なるステップを区別するためのものにすぎず、ステップの順序を表してはいない。以上について予め説明しておく。

【0022】

図１及び図２を参照する。図１は、本発明の具体的実施例に基づく連合学習における寄与度の計算方法のステップのフローチャートを示す。図２は、本発明の別の具体的実施例に基づく連合学習における寄与度計算・利益分配システム２の概略図を示す。注意すべき点として、図１の方法の各ステップは、図２のシステムの異なるユニットにより実行可能である。したがって、以下では、図１の方法の各ステップについて、図２のシステムを用いて記載する。

【0023】

図２に示すように、本具体的実施例の連合学習における寄与度計算・利益分配システム２は、複数の人工知能モデル訓練装置２０と、これらの人工知能モデル訓練装置２０に接続される中央サーバ２２を含む。各人工知能モデル訓練装置２０は、それぞれのローカルデータセットを機械学習してそれぞれの訓練済みモデルを生成する。実用において、人工知能モデル訓練装置２０は、完全な機械学習アルゴリズムを独立して実行可能な分散ノードであり、例えば、上述した再生医療の分野では、各病院又は実験室において機械学習アルゴリズムを実行可能なコンピュータ機器とすることができる。また、ローカルデータセットとは、各病院又は実験室が保有する訓練、検証、テスト用のサンプルデータセットである。各人工知能モデル訓練装置２０は、それぞれが訓練したあとのモデルパラメータを中央サーバに伝送可能である。なお、図２には、２つの人工知能モデル訓練装置２２のみを図示しているが、実用においてはこれに限らず、どのような数の人工知能モデル訓練装置、及び、当該装置が訓練して生成した訓練済みモデルパラメータであっても本発明に使用可能である。中央サーバ２２は、これらの人工知能モデル訓練装置２０が訓練した訓練済みモデルパラメータを受け付け可能であるとともに、計算モジュール２２０、寄与度計算モジュール２２２及び利益分配モジュール２２４を含む。寄与度計算モジュール２２２は計算モジュール２２０に接続され、利益分配モジュール２２４は寄与度計算モジュール２２２に接続される。実用において、計算モジュール２２０、寄与度計算モジュール２２２及び利益分配モジュール２２４は、例えば、コンピュータ機器、又はサーバの中央処理装置、又はコンピューティングチップといった中央サーバ２２のコンピューティングユニット内に合わせて構築される。或いは、互いに接続される異なるコンピューティングユニットによって、計算モジュール２２０、寄与度計算モジュール２２２及び利益分配モジュール２２４の機能をそれぞれ実行してもよい。

【0024】

計算モジュール２２０は、受け付けた全ての訓練済みモデルパラメータについて集約アルゴリズム（ａｇｇｒｅｇａｔｉｏｎ ａｌｇｏｒｉｔｈｍ）を実行することで、連合モデルを生成可能である。集約アルゴリズムの実際の動作では、計算モジュール２２０が各訓練済みモデルパラメータに対し重みを付与したあとに集約可能となる。なお、連合学習の集約アルゴリズムは当該分野における通常の知識であるため、ここではこれ以上詳述しない。注意すべき点として、連合モデルを生成するためのどのような集約アルゴリズムであっても本発明に適用可能である。寄与度計算モジュール２２２は、まず、全ての訓練済みモデルパラメータから、訓練済みモデルパラメータのうちの少なくとも１つである少なくとも１つの第１訓練済みモデルパラメータをシミュレーション的に除外してから、上記の少なくとも１つの第１訓練済みモデルパラメータを除外又はシミュレーション的に除外したあとのその他の訓練済みモデルパラメータについて同様の集約アルゴリズムを実行することで、第１寄与度モデルを取得する。続いて、第１寄与度モデルの価値と連合モデルの価値を比較することで、連合モデルに対する第１訓練済みモデルパラメータの寄与度を知ることができる。詳述すると、第１訓練済みモデルパラメータが連合モデルに対し寄与するのであれば、全ての訓練済みモデルパラメータから第１訓練済みモデルパラメータを除外した場合、同様の集約アルゴリズムで生成される第１寄与度モデルの価値は、連合モデルよりも減少するはずである。よって、減少した価値から第１訓練済みモデルパラメータの寄与度を推定することが可能である。上記の第１寄与度モデル及び連合モデルの価値は、各モデルの精度（Ａｃｃｕｒａｃｙ）から推計可能である。例えば、価値と前記モデルの精度との関係が線形をなす価値関数を定義した場合には、モデルの精度が高いほど価値が高くなることが示される。実用において、価値関数は、全ての連合メンバーにより共同で決定可能であり、上述した線形の関係に限らない。

【0025】

利益分配モジュール２２４は、少なくとも１つの第１訓練済みモデルパラメータの寄与度又は集団寄与度に基づいて、第１訓練済みモデルを提供した人工知能モデル訓練装置の利益分配比率を決定可能である。よって、連合モデルが利益や収益を生じた場合、第１訓練済みモデルパラメータを生成した人工知能モデル訓練装置のメンバーは、利益分配比率に基づいて利益を獲得可能となる。実用において、利益分配モジュール２２４は、公平性の基準であるシャープレイ値又は限界寄与度に基づく利益分配比率計算のアルゴリズムを利用して、寄与度に基づき、第１訓練済みモデルパラメータ又は全ての訓練済みモデルパラメータの利益分配比率を決定する。

【0026】

上述したように、寄与度計算モジュール２２２は、少なくとも１つの第１訓練済みモデルパラメータを除外するか、シミュレーション的に除外する。少なくとも１つの第１訓練済みモデルパラメータが１組の第１訓練済みモデルパラメータである場合、即ち、１つの連合メンバーの参加をシミュレーション的に除外する場合には、生成される第１寄与度モデルと連合モデルの価値を比較したあとに算出されるのは除外された連合メンバーの個別の寄与度となる。これに対し、少なくとも１つの第１訓練済みモデルパラメータが複数組の第１訓練済みモデルパラメータである場合、即ち、複数の連合メンバーの参加を同時に除外又はシミュレーション的に除外する場合には、生成される第１寄与度モデルと連合モデルの価値を比較したあとに算出されるのは除外された複数の連合メンバーの集団寄与度となる。注意すべき点として、複数の連合メンバーを同時に除外することで算出される集団寄与度は、実用においては、必ずしもそれらの連合メンバーを個別にシミュレーション的に除外した場合に算出される個別の寄与度の合計と等しくはならない。

【0027】

上述した連合学習における寄与度計算・利益分配システム２の寄与度の計算方法は、図１に示す通りである。図１の具体的実施例において、連合学習における寄与度の計算方法は、以下のステップを含む。

【0028】

ステップＳ１０：中央サーバ２２は複数の訓練済みモデルパラメータを受け付ける。これらの訓練済みモデルパラメータは、複数のローカルデータセットをそれぞれ機械学習することで生成される。

【0029】

ステップＳ１２：中央サーバ２２は、全ての訓練済みモデルパラメータについて集約アルゴリズムを実行することで、連合モデルを生成して保存する。

【0030】

ステップＳ１４：中央サーバ２２は、少なくとも１つの第１訓練済みモデルパラメータを除外又はシミュレーション的に除外したその他の訓練済みモデルパラメータについて集約アルゴリズムを実行することで、第１寄与度モデルを生成する。

【0031】

ステップＳ１６：中央サーバ２２は、第１寄与度モデルの価値と連合モデルの価値を比較して、少なくとも１つの第１訓練済みモデルパラメータの寄与度を生成する（つまり、少なくとも１つの第１訓練済みモデルパラメータの連合メンバーの寄与度を生成する）。

【0032】

ステップＳ１０において、中央サーバ２２は、図２のような複数の人工知能モデル訓練装置２０から訓練済みモデルパラメータを受け付け可能である。また、ステップＳ１２において、中央サーバ２２は、計算モジュール２２０によって、集約アルゴリズムを用いて各訓練済みモデルパラメータに重みを付与し、集約することで、連合モデルを生成可能である。ステップＳ１４において、中央サーバ２２の寄与度計算モジュール２２２は、まず、全ての訓練済みモデルパラメータのうちの少なくとも１つの第１訓練済みモデルパラメータをシミュレーション的に除外可能である。次に、少なくとも１つの第１訓練済みモデルパラメータをシミュレーション的に除外したその他の訓練済みモデルパラメータについて集約アルゴリズムを実行することで、第１寄与度モデルを取得する。ステップＳ１６において、寄与度計算モジュール２２２は、第１寄与度モデルの価値と連合モデルの価値を比較し、価値の減少度合いに基づいて、少なくとも１つの第１訓練済みモデルパラメータの個別の寄与度又は集団寄与度を逆推定可能である。

【0033】

注意すべき点として、上述した具体的実施例では、連合学習における各メンバーから提供される訓練済みモデルパラメータを中央処理装置によって集約するとしたが、中央処理装置は、本発明における連合モデル及び第１寄与度モデルを集約して生成するための代表的なコンピューティングデバイスにすぎず、狭義における中央処理装置に限定するとの意味ではない。換言すれば、実用において、中央処理装置はクラウドサーバとしてもよい。この場合、インターネットを通じて連合メンバーの訓練済みモデルパラメータを受け付けて、連合モデル及び第１寄与度モデルに集約したあと、インターネットを通じて各連合メンバーに連合モデルを再配布する。そして、上述した計算を行うことで、各連合メンバーの寄与度を取得する。

【0034】

図２の連合学習における寄与度計算・利益分配システム２は、図１の連合学習における寄与度の計算方法によって、連合学習における各メンバー又は複数のメンバーが生成した訓練済みモデルの個別の寄与度又は集団寄与度を計算可能なため、寄与度に基づいて、各メンバー又は複数のメンバーの利益分配比率を決定できる。しかしながら、算出される各訓練済みモデルの寄与度は、利益分配の機能にのみ使用可能なわけではない。ここで、図３を参照する。図３は、本発明の別の具体的実施例に基づく連合学習における寄与度の計算方法のステップのフローチャートを示す。図３の方法の各ステップも同様に、図２のシステムの異なるユニットにより実行可能である。したがって、以下では、図３の方法の各ステップについて、図２のシステムを用いて記載する。図３に示すように、本具体的実施例は、上述した具体的実施例と以下の点において異なっている。即ち、本具体的実施例の方法は、更に、以下のステップを含む。

【0035】

ステップＳ１７：中央サーバ２２は、第１訓練済みモデルパラメータの寄与度に基づいて、連合モデルにおける第１訓練済みモデルパラメータの重みを調整する。

【0036】

寄与度は、連合モデルに対する訓練済みモデルパラメータの価値によって決定され、寄与度が高いものは連合モデルの価値に及ぼす影響が大きいが、逆の場合には、価値に及ぼす影響が小さい。そのため、各訓練済みモデルパラメータの寄与度に基づき重みを再調整することで、連合モデルをより正確にすることができる。注意すべき点として、本具体的実施例におけるその他のステップは、上述した具体的実施例の対応するステップとほぼ同じであるため、ここでは改めて詳述しない。

【0037】

そのほか、訓練済みモデルについて、寄与度が負の値であることが算出された場合には、当該訓練済みモデルは連合モデルに対し悪影響を及ぼすことを意味するため、除外すべきである。ここで、図４を参照する。図４は、本発明の別の具体的実施例に基づく連合学習における寄与度の計算方法のステップのフローチャートを示す。図４の方法の各ステップは、図２のシステムの異なるユニットにより実行可能である。したがって、以下では、図４の方法の各ステップについて、図２のシステムを用いて記載する。図４に示すように、本具体的実施例の方法は、更に、以下のステップを含む。

【0038】

ステップＳ１８０：中央サーバ２２は、第１訓練済みモデルパラメータの寄与度が正の値か負の値かを判断する。

【0039】

ステップＳ１８２：寄与度が負の値の場合、中央サーバは、連合モデルを第１寄与度モデルに置き換えて、更新後の連合モデルとする。

【0040】

上述したように、中央サーバ２２の寄与度計算モジュール２２２が、少なくとも１つの第１訓練済みモデルパラメータの個別の寄与度又は集団寄与度が負の値であることを算出した場合には、当該少なくとも１つの第１訓練済みモデルパラメータを連合モデルに加えると連合モデルの価値が却って減少することを意味する。そのため、中央サーバ２２は、少なくとも１つの第１訓練済みモデルパラメータを除外したあとのその他の訓練済みモデルパラメータから集約アルゴリズムにより取得した第１寄与度モデルを新たな連合モデルとすることで、連合モデルがより高い価値及びより高い精度を持ち得るようにする。

【0041】

通常、人工知能モデルは、継続的に更新を行うために、古いデータと新しいデータを含むデータセットについて定期的に機械学習の訓練を行うが、連合学習でも同様である。実用において、各人工知能モデル訓練装置は、それぞれ、ローカルデータセットについて複数回の機械学習を行うことで訓練済みモデルを更新可能であるとともに、各回の機械学習で完成する訓練済みモデルパラメータを全て中央サーバに伝送可能である。そして、中央サーバは、各回の機械学習の訓練後の全ての訓練済みモデルパラメータについて集約アルゴリズムを実行することで、その回の連合モデルを生成する。例えば、各人工知能モデル訓練装置（連合学習のメンバー）が数か月ごとに訓練済みモデルの更新を１回実施すると設定してもよい。この場合、全ての人工知能モデル訓練装置がその回に更新した訓練済みモデルパラメータを中央サーバにアップロードし、集約アルゴリズムが実行されることで、その回の連合モデルが生成される。よって、上記の方法で算出される各訓練済みモデルパラメータの寄与度に基づいて、次の集約アルゴリズムの実行時に各訓練済みモデルパラメータの重みを調整することで、より最適化され、かつより正確な連合モデルを生成可能となる。また、新たなメンバーが連合学習に加わる場合には、次の機械学習の訓練及び集約アルゴリズムの段階から直接加わることが可能である。

【0042】

実用において、１回の機械学習段階で生成された訓練済みモデルパラメータから集約アルゴリズムにより連合モデルが生成されたあと、連合モデルは各連合メンバー（人工知能モデル訓練装置）に再配布される。そのため、次の機械学習段階では、各連合メンバーがそれぞれのローカルデータセットを用いて機械学習の訓練を行うとしても、完成された連合モデルのパラメータに基づいて更新が行われる場合がある。そのため、第１訓練済みモデルパラメータの寄与度を算出する際には、各回の機械学習及び集約アルゴリズム段階を考慮せねばならない。ここで、図５を参照する。図５は、本発明の別の具体的実施例に基づく連合学習における寄与度の計算方法のステップのフローチャートを示す。図５の方法の各ステップは、図２のシステムの異なるユニットにより実行可能である。したがって、以下では、図５の方法の各ステップについて、図２のシステムを用いて記載する。

【0043】

図５に示すように、本具体的実施例の方法は、以下のステップを含む。

【0044】

ステップＳ３０：中央サーバ２２は複数の訓練済みモデルパラメータを受け付ける。これらの訓練済みモデルパラメータは、複数のローカルデータセットについて、複数回の機械学習をそれぞれ行うことで生成される（例えば、ｒ回）。

【0045】

ステップＳ３２：中央サーバ２２は、各回の機械学習の訓練における全ての訓練済みモデルパラメータについて集約アルゴリズムを実行することで、連合モデルを生成して保存する。

【0046】

ステップＳ３４０：中央サーバ２２は、各回の機械学習の訓練における第１訓練済みモデルパラメータをシミュレーション的に除外したその他の訓練済みモデルパラメータについて集約アルゴリズムを実行することで、第１寄与度モデルを生成する。

【0047】

ステップＳ３６：中央サーバ２２は、第１寄与度モデルの価値と連合モデルの価値を比較して、第１訓練済みモデルパラメータの寄与度を生成する。

【0048】

本具体的実施例の方法では、第１寄与度モデルを構築するにあたり、最初から、第１訓練済みモデルパラメータを生成した連合メンバーを除外して、残りの連合メンバーが完全に全回数（ｒ回）のローカル計算及びグローバル計算を行う。よって、最終的な第１寄与度モデルは、第１訓練済みモデルパラメータが連合学習に全く参加しない場合となり、生成される連合モデルとの価値の差が第１訓練済みモデルパラメータの寄与度となる。実用において、仮に、第１寄与度モデルを構築するにあたり、人工知能モデル訓練装置２０及び中央サーバ２２がいずれも初期の状態に遡ってから全てのローカル及びグローバル計算を完全に実施することで実際の寄与度に最も近付けようとする場合には、計算資源及びコストが倍増してしまう。よって、本具体的実施例では、シミュレーション的に除外する方式（つまり、シミュレーション的に遡る方式）で実行するが、それでも相当程度の計算資源及びコストを消費する可能性がある。これは、特に、各連合メンバーについて個々の寄与度を計算する場合にいっそう顕著となる。

【0049】

上述したように、最初から第１訓練済みモデルパラメータをシミュレーション的に除外する場合には、得られる寄与度が実際の状況に最も近くはなるが、やはり計算資源及びコストを大幅に消費する。そこで、実用においては、効率及び計算パフォーマンスに基づいて、適切なシミュレーション的遡りを決定可能とする。ここで、図６を参照する。図６は、本発明の別の具体的実施例に基づく連合学習における寄与度の計算方法のステップのフローチャートを示す。図６の方法の各ステップは、図２のシステムの異なるユニットにより実行可能である。したがって、以下では、図６の方法の各ステップについて、図２のシステムを用いて記載する。図６に示すように、本具体的実施例は、上記の具体的実施例と以下の点において異なっている。即ち、本具体的実施例の方法は、更に、以下を含む。

【0050】

ステップＳ３４２：中央サーバ２２は、最後の機械学習の訓練における第１訓練済みモデルパラメータを除外したその他の訓練済みモデルパラメータについて集約アルゴリズムを実行することで、第１寄与度モデルを生成する。

【0051】

本具体的実施例において、中央サーバ２２は、最後に受け付けた全ての訓練済みモデルパラメータから第１訓練済みモデルパラメータを除外したあと集約アルゴリズムを実行するだけで、第１寄与度モデルを取得可能である。この場合、連合メンバーは、シミュレーション的に遡る必要も、余分な機械学習プロセスを行う必要もない。つまり、本具体的実施例の方法では、中央サーバ２２が集約アルゴリズムを１回多く実行するだけでよく、消費される計算資源及びコストが極めて小さくなる。しかしながら、各連合メンバーは、各回の機械学習段階において、やはり前回の連合モデルのパラメータをベースとするため、最後だけ第１訓練済みモデルパラメータを除外して算出される寄与度は実際の寄与度からやや解離する。

【0052】

また、図７を参照する。図７は、本発明の別の具体的実施例に基づく連合学習における寄与度の計算方法のステップのフローチャートを示す。図７に示すように、本具体的実施例は、上記の具体的実施例と以下の点において異なっている。即ち、本具体的実施例の方法は、更に、以下を含む。

【0053】

ステップＳ３４４：中央サーバ２２は、最後から、カウントダウンしてｋ回目までの機械学習の訓練における第１訓練済みモデルパラメータをシミュレーション的に除外したその他の訓練済みモデルパラメータについて集約アルゴリズムを実行することで、第１寄与度モデルを生成する。なお、ｋは、１と、第１訓練済みモデルパラメータが連合モデルの集約アルゴリズムに参加した回数との間の整数である。

【0054】

したがって、第１寄与度モデルは、最後の機械学習段階から、カウントダウンしてｋ回目の機械学習段階までの第１訓練済みモデルパラメータをシミュレーション的に除外したその他の訓練済みモデルパラメータについて集約アルゴリズムを実行することで生成可能である。つまり、最後の機械学習及び集約アルゴリズム段階から、カウントダウンしてｋ回目の機械学習及び集約アルゴリズム段階までシミュレーション的に遡る。そして、第１訓練済みモデルパラメータを生成した連合メンバーを除く残りの連合メンバーと中央サーバ２２によって、引き続き、残りｋ回分の機械学習及び集約アルゴリズムを完了することで、最終的に、最後のｋ回分の機械学習段階における第１訓練済みモデルパラメータを除外した第１寄与度モデルを生成する。ｋは必要に応じて自身で定義可能である。詳述すると、ｋの値が第１訓練済みモデルパラメータの機械学習段階の総回数に近いほど、計算により得られる寄与度は実際の寄与度に近付くが、消費する計算資源及びコストは多くなることを意味する。反対に、ｋの値が１に近いほど、消費する計算資源及びコストは少なくなるが、計算により得られる寄与度は実際の寄与度から逸脱することを意味する。注意すべき点として、本具体的実施例の方法におけるその他のステップは、上述した具体的実施例の対応するステップとほぼ同じであるため、ここでは改めて詳述しない。

【0055】

上述した具体的実施例では、第１訓練済みモデルパラメータをシミュレーション的に除外する各種の方法を提示したが、これらは実際の必要性に応じて選択すればよい。簡単に言うと、初期の機械学習段階から第１訓練済みモデルパラメータを除外する方法で得られる寄与度は、実際の寄与度に近付くが、消費する計算資源及びコストは多くなる。しかしながら、寄与度を計算する際には、平均又は加重平均によって実際の寄与度に近付けつつ、計算資源及びコストの消費を低下させることも可能である。ここで、図８を参照する。図８は、本発明の別の具体的実施例に基づく連合学習における寄与度の計算方法のステップのフローチャートを示す。図８の方法の各ステップは、図２のシステムの異なるユニットにより実行可能である。したがって、以下では、図８の方法の各ステップについて、図２のシステムを用いて記載する。図８に示すように、本具体的実施例の方法は、以下を含む。

【0056】

ステップＳ３０：中央サーバ２２は複数の訓練済みモデルパラメータを受け付ける。これらの訓練済みモデルパラメータは、複数のローカルデータセットについて、複数回の機械学習をそれぞれ行うことで生成される（例えば、ｒ回）。

【0057】

ステップＳ３２０：中央サーバ２２は、各回の機械学習の訓練における全ての訓練済みモデルパラメータについて集約アルゴリズムを実行することで、複数の連合モデルを生成して保存する。

【0058】

ステップＳ３４６：中央サーバ２２は、各回の機械学習の訓練において、第１訓練済みモデルパラメータをそれぞれ除外したあと、残りの訓練済みモデルパラメータについて集約アルゴリズムを実行することで、複数の第１寄与度モデルを生成する。

【0059】

ステップＳ３６０：中央サーバ２２は、各回の機械学習の集約後に生成された第１寄与度モデルの価値と、各回の集約により生成された連合モデルの価値をそれぞれ比較して、複数の第１訓練済みモデルパラメータの寄与度を生成する。

【0060】

ステップＳ３６２：全ての第１訓練済みモデルパラメータの寄与度を平均又は加重平均して平均寄与度を取得し、第１訓練済みモデルパラメータの寄与度とする。

【0061】

本具体的実施例において、中央サーバ２２は、各回の機械学習段階のあとに集約アルゴリズムを実行することで生成される連合モデルを受け付けて、次の機械学習のパラメータの基礎として連合メンバーに再配布するだけでなく、中央サーバ２２内にも保存する。また、中央サーバ２２は、各回の機械学習段階の全ての連合メンバーから伝送される訓練済みモデルパラメータを受け付けたあと、その回の第１訓練済みモデルパラメータを直接除外して、残りの訓練済みモデルパラメータにつき集約アルゴリズムを実行することで、その回の機械学習段階における第１寄与度モデルを生成可能である。よって、各回の機械学習段階で集約アルゴリズムを２回実行することでその回の第１訓練済みモデルパラメータの寄与度を算出し、算出した全ての寄与度を平均又は加重平均することで平均寄与度を取得可能である。この平均寄与度は、連合モデルに対する各回の機械学習段階における第１訓練済みモデルパラメータの寄与度を考慮しているため、実際の寄与度に近い。また、本具体的実施例において、全ての連合メンバーは、遡る必要も、機械学習を再び実行する必要もなく、各機械学習段階において中央サーバ２２が集約アルゴリズムを１回多く実行するだけでよい。よって、余分に消費される計算資源及びコストが極めて低くなる。また、シミュレーション的に遡る方式で、各回の機械学習の訓練における第１訓練済みモデルパラメータが参加しない状況をシミュレーションする必要もない。

【0062】

実用において、上述した連合メンバーの寄与度を計算するステップは、以下の具体的実施例のアルゴリズムで達成可能である。具体的実施例によれば、連合学習における寄与度の計算方法は、ＦｅｄＡｖｇアルゴリズムによって、各機械学習後の訓練済みモデル（ローカルモデル）のパラメータを更に最適化することで連合モデル（グローバルモデル）を取得可能である。本具体的実施例において、連合メンバーの寄与度を計算するアルゴリズムは、以下のステップを有する。

【0063】

１．多くの参加者で形成される集合Ｎを定義し、ｒ回の計算によって集合Ｎのグローバルモデルの価値を取得して、

【0064】

【数1】

【0065】

と称する。

【0066】

２．集合Ｎの参加者から集合Ｍの参加者を除外して、ｒ－ｋ回の計算により得られるモデルの価値を

【0067】

【数2】

【0068】

と設定する。

【0069】

３．全てのｉ∈Ｎについて、

【0070】

【数3】

【0071】

を計算する。なお、ｉはＮ内の各参加者を表す。これにより、グローバルモデルに対する各参加者の限界寄与度（つまり、

【0072】

【数4】

【0073】

）を算出できる。

【0074】

注意すべき点として、本具体的実施例では、ＦｅｄＡｖｇによって計算したが、実用においては、例えば、ＦｅｄＯｐｔ、ＦｅｄＰｒｏｘ及びＳＣＡＦＦＯＬＤ等のＦｅｄＡｖｇに関連する変形を本発明に応用してもよい。

【0075】

本具体的実施例において、

【0076】

【数5】

【0077】

は集合Ｎについて計算して取得したモデルの価値であるため、全ての参加者が連合学習に参加する場合を表す。一方、

【0078】

【数6】

【0079】

は、全ての参加者が共同でｒ－ｋ回の連合学習の計算に参加したあと、集合Ｍの参加者を除外してから、残りの参加者により最後のｋ回分の連合学習の計算を完了する場合を表す。

【0080】

【数7】

【0081】

は、参加者ｉが欠けたときのモデルの価値の変化を表すため、参加者ｉの限界寄与度と定義可能である。上記の計算では、１つの参加者又は１組の参加者（｜Ｍ｜個）を除外してｒ回の連合学習のうちのｋ回に参加させた場合を、全過程における限界寄与度（ｒ回の連合学習に全く参加しない場合）の推定値とする。なお、ｋ値は必要に応じて決定可能である。一般的には、ｋ値が大きいかｒに近いほど、算出される限界寄与度は実際に除外したあとの結果に近付くが、それに応じて計算コストも高くなる。

【0082】

本具体的実施例において、参加者ｉの限界寄与度

【0083】

【数8】

【0084】

は、ｒ回の連合学習のうちの最後の１回のみを除外した場合を表す。即ち、ｋが１の場合を表す。計算パフォーマンスが許すならば、ｋは自由に調整してもよく、最大でｒとしてもよい。即ち、全工程から参加者ｉを除外してもよい。したがって、ｋ回分を除外して算出される参加者ｉの限界寄与度は、

【0085】

【数9】

【0086】

となる。また、参加者ｉは集合Ｎ内の１つである。即ち、上記の限界寄与度のアルゴリズムでは、１つの参加者のみを除外する場合を考慮している。仮に、集合Ｍ内の参加者を同時に除外することを考慮する場合には、限界寄与度は、

【0087】

【数10】

【0088】

となる。

【0089】

【数11】

【0090】

の計算は、ＦｅｄＡｖｇのｒ－ｋ回目の計算まで遡って初期値とし、続いて、Ｎ－Ｍの参加者のみがその後のｋ回分のＦｅｄＡｖｇ計算を行う。そのため、ｋ値が大きくなるほど、計算に必要なコストは高くなる。

【0091】

また、１つの参加者又は複数の参加者について、上述したｋ回分の参加を除外して最終限界寄与度を計算する方法以外にも、各回の連合学習（合計ｒ回）において、前記参加者又は前記複数の参加者を除外したモデルの価値を計算し、各回の連合学習で算出したモデルの価値を平均又は加重平均してもよい。各回の連合学習において前記参加者又は前記複数の参加者を除外したモデルの価値は、

【0092】

【数12】

【0093】

と定義される。続いて、ｒ回の連合学習において前記参加者又は前記複数の参加者を除外したモデルの価値の平均値は、

【0094】

【数13】

【0095】

となるか、更に一般化されて、

【0096】

【数14】

【0097】

となる。なお、ｗｊは重み係数であり、例えば、

【0098】

【数15】

【0099】

や、増加、減少、部分的に０に設定する等のその他の特定の配列である。このように定義することで、異なる角度から各参加者の寄与度をより全方位的に把握可能となる。

【0100】

総括すると、本発明の連合学習における寄与度の計算方法及び連合学習における寄与度計算・利益分配システムは、連合学習に参加するメンバーについて、連合モデルに対する寄与度を計算可能である。詳述すると、メンバーが訓練した訓練済みモデルパラメータを除外し、除外後のその他の訓練済みモデルパラメータを集約することで寄与度モデルとする。そして、寄与度モデルと連合モデルの価値を比較することで、当該メンバー及びその訓練済みモデルパラメータの寄与度を推定可能である。また、本発明におけるシステム及び方法により算出されるメンバーの寄与度に基づき、当該メンバーの利益分配比率を決定可能である。或いは、寄与度に基づき、連合モデルにおける当該メンバーの訓練済みモデルパラメータの重みを調整することで、連合モデルをより正確にする。更に、当該メンバーの訓練済みモデルパラメータが連合モデルに対し悪影響を及ぼす場合には、本発明における方法及びシステムで算出される寄与度からそれを把握し、処理することも可能である。例えば、連合モデルに対するメンバーの訓練済みモデルパラメータの寄与度が負の値であることが算出された場合、本発明の方法及びシステムは、当該メンバー及び当該訓練済みモデルパラメータを除外して連合モデルを生成し直すことで、当該メンバーの悪影響を排除することも可能である。

【0101】

以上の好ましい具体的実施例の詳細な記載は、本発明の特徴及び精神をより明瞭に記載可能とすることを意図しており、上記で開示した好ましい具体的実施例によって本発明の範囲を制限するものではない。むしろ、各種の変更及び均等性を有する構成が本発明で請求しようとする特許請求の範囲内に網羅されることを意図している。よって、本発明で請求しようとする特許請求の範囲は、全ての可能な変更及び均等性を有する構成を網羅すべく、上記の説明に基づき最も広く解釈すべきである。

【符号の説明】

【0102】

２ 連合学習における寄与度計算・利益分配システム
２０ 人工知能モデル訓練装置
２２ 中央サーバ
２２０ 計算モジュール
２２２ 寄与度計算モジュール
２２４ 利益分配モジュール
Ｓ１０～Ｓ１６，Ｓ１７，Ｓ１８０～Ｓ１８２，Ｓ３０～Ｓ３６，Ｓ３４０～Ｓ３４６，Ｓ３６０～Ｓ３６２ プロセスのステップ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【外国語明細書】