特許 7598510 分散型機械学習モデルのトレーニング方法及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-12-03

(45)【発行日】2024-12-11

(54)【発明の名称】分散型機械学習モデルのトレーニング方法及びシステム

(51)【国際特許分類】

   G06N 3/098 20230101AFI20241204BHJP

   G06N 20/00 20190101ALI20241204BHJP

   G09C 1/00 20060101ALI20241204BHJP

【ＦＩ】

G06N3/098

G06N20/00

G09C1/00 650Z

【請求項の数】 8

(21)【出願番号】P 2024116686

(22)【出願日】2024-07-22

【審査請求日】2024-07-22

(31)【優先権主張番号】202311204903.7

(32)【優先日】2023-09-18

(33)【優先権主張国・地域又は機関】CN

【早期審査対象出願】

(73)【特許権者】

【識別番号】524275425

【氏名又は名称】泉城省実験室

【氏名又は名称原語表記】ＱＵＡＮＣＨＥＮＧ ＬＡＢＯＲＡＴＯＲＹ

【住所又は居所原語表記】Ｎｏ．３ Ｂｕｉｌｄｉｎｇ，Ｎｏ．２８６６６，Ｅａｓｔ Ｊｉｎｇｓｈｉ Ｒｏａｄ，Ｌｉｃｈｅｎｇ Ｄｉｓｔｒｉｃｔ，Ｊｉｎａｎ，Ｓｈａｎｄｏｎｇ Ｐｒｏｖｉｎｃｅ ２５０１０３，Ｃｈｉｎａ

(74)【代理人】

【識別番号】110000291

【氏名又は名称】弁理士法人コスモス国際特許商標事務所

(72)【発明者】

【氏名】趙 川

(72)【発明者】

【氏名】呉 昊

(72)【発明者】

【氏名】趙 聖楠

(72)【発明者】

【氏名】陳 貞翔

(72)【発明者】

【氏名】▲ジン▼ 山

(72)【発明者】

【氏名】徐 俊

(72)【発明者】

【氏名】▲ジュー▼ 雷

【審査官】今城 朋彬

(56)【参考文献】

【文献】米国特許出願公開第２０２３／０２６９０９０（ＵＳ，Ａ１）

【文献】特開２０２３－００８３９５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／０９８

Ｇ０６Ｎ ２０／００

Ｇ０９Ｃ １／００

Ｈ０４Ｌ ９／３２

(57)【特許請求の範囲】

【請求項1】

クライアントに適用され、
全ての参加者をグループ化するステップであって、各グループに一般参加者と再構築参加者が含まれるステップと、
再構築参加者がブロックチェーンから配布されたグローバルモデルを受信し、グループ内の一般参加者に送信するステップと、
一般参加者がグローバルモデルを初期モデルとしてローカルモデルのトレーニングを行い、トレーニング後のローカルモデルをシェアの形態に分割してグループ内で分配し、これにより、各一般参加者がグループ内の他の一般参加者のモデルシェアを受信してから集約し、集約結果を再構築参加者に送信するステップと、
再構築参加者がグループ内の集約結果を再構築し、得られたグループモデルをブロックチェーンにアップロードし、これにより、ブロックチェーンが各グループのグループモデルを再び集約し、得られた現在のラウンドのグローバルモデルを再構築参加者に配布して次のラウンドのトレーニングの初期モデルとするステップと、を含み、
前記のローカルモデルをシェアの形態に分割することは、一般参加者が秘密分散の分散アルゴリズムによってローカルモデルをシェアの形態に分割することであり、分割シェアの数はｎ－１であり、ｎは一般参加者の総数であり、
前記の各一般参加者がグループ内の他の一般参加者のモデルシェアを集約することの後に、グループモデルシェア

【数20】

が得られ、式中、ｎは一般参加者の総数であり、ｇはグループであることを特徴とする、分散型機械学習モデルのトレーニング方法。

【請求項2】

グループ内でモデルシェアを分配する時、各一般参加者はモデルシェアのうちの１つのみを受信することを特徴とする、請求項１に記載の分散型機械学習モデルのトレーニング方法。

【請求項3】

前記グループモデルは平文の形態であることを特徴とする、請求項１に記載の分散型機械学習モデルのトレーニング方法。

【請求項4】

ブロックチェーン機器に適用され、
現在のラウンドにおける各トレーニンググループのグループモデルを受信するステップと、
各トレーニンググループのグループモデルを集約するステップと、
集約した現在のラウンドのグローバルモデルを再構築参加者に配布し、再構築参加者を通じてグループ内の一般参加者に送信するステップと、を含み、
前記グループモデルは、再構築参加者がグループ内の集約結果を再構築して得られたものであり、前記集約結果は、グループ内の一般参加者がグローバルモデルを初期モデルとしてローカルモデルのトレーニングを行った後に、ローカルモデルをシェアの形態に分割してグループ内で分配し、そして各一般参加者がグループ内の他の一般参加者のモデルシェアを受信してから集約して得られたものであり、
前記のローカルモデルをシェアの形態に分割することは、一般参加者が秘密分散の分散アルゴリズムによってローカルモデルをシェアの形態に分割することであり、分割シェアの数はｎ－１であり、ｎは一般参加者の総数であり、
前記の各一般参加者がグループ内の他の一般参加者のモデルシェアを集約することの後に、グループモデルシェア

【数21】

が得られ、式中、ｎは一般参加者の総数であり、ｇはグループであることを特徴とする、分散型機械学習モデルのトレーニング方法。

【請求項5】

前記ブロックチェーン機器にスマートコントラクトがデプロイされ、受信したグループモデルの数が設定閾値に達すると、スマートコントラクトはグループモデルを自動的に呼び出して集約し、現在のラウンドのグローバルモデルを得て、現在のラウンドのグローバルモデルをブロックチェーン機器にアップロードして、次のラウンドのトレーニングの初期モデルとすることを特徴とする、請求項４に記載の分散型機械学習モデルのトレーニング方法。

【請求項6】

全ての参加者をグループ化するように配置されるグループ化モジュールであって、各グループに一般参加者と再構築参加者が含まれるグループ化モジュールと、
再構築参加者がブロックチェーンから配布されたグローバルモデルを受信し、グループ内の一般参加者に送信するように配置される受信モジュールと、
一般参加者がグローバルモデルを初期モデルとしてローカルモデルのトレーニングを行い、トレーニング後のローカルモデルをシェアの形態に分割してグループ内で分配し、これにより、各一般参加者がグループ内の他の一般参加者のモデルシェアを受信してから集約し、集約結果を再構築参加者に送信するように配置されるローカルトレーニングモジュールと、
前記のローカルモデルをシェアの形態に分割することは、一般参加者が秘密分散の分散アルゴリズムによってローカルモデルをシェアの形態に分割することであり、分割シェアの数はｎ－１であり、ｎは一般参加者の総数であり、
前記の各一般参加者がグループ内の他の一般参加者のモデルシェアを集約することの後に、グループモデルシェア

【数22】

が得られ、式中、ｎは一般参加者の総数であり、ｇはグループであり、そして
再構築参加者がグループ内の集約結果を再構築し、得られたグループモデルをブロックチェーンにアップロードし、これにより、ブロックチェーンが各グループのグループモデルを再び集約し、得られた現在のラウンドのグローバルモデルを再構築参加者に配布して次のラウンドのトレーニングの初期モデルとするように配置される再構築モジュールと、を含むことを特徴とする、クライアント。

【請求項7】

現在のラウンドにおける各トレーニンググループのグループモデルを受信するように配置される受信モジュールと、
各トレーニンググループのグループモデルを集約するように配置される集約モジュールと、
集約した現在のラウンドのグローバルモデルを再構築参加者に配布し、再構築参加者を通じてグループ内の一般参加者に送信するように配置される送信モジュールと、を含み、
前記グループモデルは、再構築参加者がグループ内の集約結果を再構築して得られたものであり、前記集約結果は、グループ内の一般参加者がグローバルモデルを初期モデルとしてローカルモデルのトレーニングを行った後に、ローカルモデルをシェアの形態に分割してグループ内で分配し、そして各一般参加者がグループ内の他の一般参加者のモデルシェアを受信してから集約して得られたものであり、
前記のローカルモデルをシェアの形態に分割することは、一般参加者が秘密分散の分散アルゴリズムによってローカルモデルをシェアの形態に分割することであり、分割シェアの数はｎ－１であり、ｎは一般参加者の総数であり、
前記の各一般参加者がグループ内の他の一般参加者のモデルシェアを集約することの後に、グループモデルシェア

【数23】

が得られ、式中、ｎは一般参加者の総数であり、ｇはグループであることを特徴とする、ブロックチェーン機器。

【請求項8】

クライアント及びブロックチェーン機器を含み、
前記クライアントは、全ての参加者をグループ化するステップであって、各グループに一般参加者と再構築参加者が含まれるステップと、再構築参加者がブロックチェーンから配布されたグローバルモデルを受信し、グループ内の一般参加者に送信するステップと、一般参加者がグローバルモデルを初期モデルとしてローカルモデルのトレーニングを行い、トレーニング後のローカルモデルをシェアの形態に分割してグループ内で分配し、これにより、各一般参加者がグループ内の他の一般参加者のモデルシェアを受信してから集約し、集約結果を再構築参加者に送信するステップと、再構築参加者がグループ内の集約結果を再構築し、得られたグループモデルをブロックチェーンにアップロードするステップと、に用いられ、
前記のローカルモデルをシェアの形態に分割することは、一般参加者が秘密分散の分散アルゴリズムによってローカルモデルをシェアの形態に分割することであり、分割シェアの数はｎ－１であり、ｎは一般参加者の総数であり、
前記の各一般参加者がグループ内の他の一般参加者のモデルシェアを集約することの後に、グループモデルシェア

【数24】

が得られ、式中、ｎは一般参加者の総数であり、ｇはグループであり、
前記ブロックチェーン機器は、各グループのグループモデルを再び集約し、得られた現在のラウンドのグローバルモデルを再構築参加者に配布して次のラウンドのトレーニングの初期モデルとするために用いられることを特徴とする、分散型機械学習モデルのトレーニングシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明はブロックチェーンの技術分野に関し、特に、分散型機械学習モデルのトレーニング方法及びシステムに関する。

【背景技術】

【0002】

この部分の記述は、本発明に関連する背景技術情報を提供するだけであり、必ずしも先行技術を構成するものではない。

【0003】

機械学習は、統計学、確率論、コンピュータ科学などの多学科知識を総合し、コンピュータシステムの自動学習と経験改善を通じていくつかの特定のタスクを達成する学科である。機械学習モデルは大量のトレーニングデータから規則とモードを学習し、最終的に新しいデータの予測と決定能力を得る。機械学習は典型的なデータ駆動型タスクであり、モデルの最終的性能はトレーニングデータの数量及び品質と密接に関連している。従来の機械学習解決手段では、通常、モデルトレーニングのためにトレーニング者が大量のデータを収集する必要があり、これらのデータには各データ提供者の機密情報が含まれていることが多く、複数の当事者からのデータの集中記憶は機密データのプライバシー漏洩リスクをもたらしている。

【0004】

関連研究者は上記問題に対して一連の深い研究を行い、データプライバシーが保護される前提で各参加者がデータ分析とモデリングタスクに参加できるように取り組んだ。ＭｃＭａｈａｎらは初めて連合学習フレームワークを提案し、複数の当事者が一緒に機械学習モデルの共同トレーニングを行うことを可能にし、トレーニング中、各参加者はサーバにプライベートな生データを送信する必要がなく、パラメータ交換だけで機械学習モデルのトレーニングを実現することができる。トレーニングタスクに参加する各クライアントはローカルデータに基づいてローカルモデルのトレーニングを行い、センターサーバはローカルモデルの重み付けを担当し、それによって、グローバルモデルを得て、複数回の反復トレーニングを経て、最終的に集中型機械学習の結果に近いモデルを得ることができる。

【0005】

上記方法は、従来のトレーニング方式におけるデータ集積によるプライバシー漏洩リスクを効果的に低減させるが、依然としていくつかの欠点が存在する。

【0006】

１、連合学習のトレーニングプロセスには、各パラメータの受信、集約及びグローバルモデルの分配を担当するセンターサーバの参加が必要であり、アーキテクチャ全体でセンターサーバが不可欠である。そのため、従来の解決手段は、単一障害点とセンターサーバの不正行為のリスクに直面していた。センターサーバに障害が発生したり、センターサーバが不正行為により何らかの手段でグローバルモデルを歪めたりすると、予測せぬ損失が発生する。

【0007】

２、連合学習はパラメータ交換の方式でモデルの共同トレーニングを行い、各参加者の生のトレーニングデータがローカルにあることを保証するが、関連研究によると、悪意のある参加者はサイドチャネル攻撃などの手段を通じて平文モデルから一部の機密情報を推定することができ、この解決手段は依然として機密データのプライバシー漏洩リスクに直面している。

【発明の概要】

【0008】

上記問題を解決するために、本発明は、秘密分散とスマートコントラクト技術に基づいて、各参加者の機密データがローカルにあることを保証し、モデル集約の関連操作を通じて、より高レベルの機密データのプライバシー保護を実現し、複数の参加者が協力して機械学習モデルの共同トレーニングを行うシナリオに適用する、分散型機械学習モデルのトレーニング方法及びシステムを提供する。

【0009】

上記目的を実現するために、本発明は以下の技術的解決手段を採用する。

【0010】

第１側面では、本発明は、
全ての参加者をグループ化するステップであって、各グループに一般参加者と再構築参加者が含まれるステップと、
再構築参加者がブロックチェーンから配布されたグローバルモデルを受信し、グループ内の一般参加者に送信するステップと、
一般参加者がグローバルモデルを初期モデルとしてローカルモデルのトレーニングを行い、トレーニング後のローカルモデルをシェアの形態に分割してグループ内で分配し、これにより、各一般参加者がグループ内の他の一般参加者のモデルシェアを受信してから集約し、集約結果を再構築参加者に送信するステップと、
再構築参加者がグループ内の集約結果を再構築し、得られたグループモデルをブロックチェーンにアップロードし、これにより、ブロックチェーンが各グループのグループモデルを再び集約し、得られた現在のラウンドのグローバルモデルを再構築参加者に配布して次のラウンドのトレーニングの初期モデルとするステップと、を含む、分散型機械学習モデルのトレーニング方法を提供する。

【0011】

選択的な実施形態としては、グループ内でモデルシェアを分配する時、各一般参加者はモデルシェアのうちの１つのみを受信する。

【0012】

選択的な実施形態としては、一般参加者は秘密分散の分散アルゴリズムによってローカルモデルをシェアの形態に分割し、分割シェアの数はｎ－１であり、ｎは一般参加者の総数である。

【0013】

選択的な実施形態としては、各一般参加者はグループ内の他の一般参加者のモデルシェアを集約した後に、グループモデルシェア

【数1】

が得られ、式中、ｎは一般参加者の総数であり、

【数2】

はモデルシェアであり、ｇはグループである。

【0014】

選択的な実施形態としては、前記グループモデルは平文の形態である。

【0015】

第２側面では、本発明は、ブロックチェーンノードに適用され、
現在のラウンドにおける各トレーニンググループのグループモデルを受信するステップと、
各トレーニンググループのグループモデルを集約するステップと、
集約した現在のラウンドのグローバルモデルを再構築参加者に配布し、再構築参加者を通じてグループ内の一般参加者に送信するステップと、を含み、
前記グループモデルは、再構築参加者がグループ内の集約結果を再構築して得られたものであり、前記集約結果は、グループ内の一般参加者がグローバルモデルを初期モデルとしてローカルモデルのトレーニングを行った後に、ローカルモデルをシェアの形態に分割してグループ内で分配し、そして各一般参加者がグループ内の他の一般参加者のモデルシェアを受信してから集約して得られたものである。

【0016】

選択的な実施形態としては、前記ブロックチェーンノードにスマートコントラクトがデプロイされ、受信したグループモデルの数が設定閾値に達すると、スマートコントラクトはグループモデルを自動的に呼び出して集約し、現在のラウンドのグローバルモデルを得て、現在のラウンドのグローバルモデルをブロックチェーンノードにアップロードして、次のラウンドのトレーニングの初期モデルとする。

【0017】

第３側面では、本発明は、
全ての参加者をグループ化するように配置されるグループ化モジュールであって、各グループに一般参加者と再構築参加者が含まれるグループ化モジュールと、
再構築参加者がブロックチェーンから配布されたグローバルモデルを受信し、グループ内の一般参加者に送信するように配置される受信モジュールと、
一般参加者がグローバルモデルを初期モデルとしてローカルモデルのトレーニングを行い、トレーニング後のローカルモデルをシェアの形態に分割してグループ内で分配し、これにより、各一般参加者がグループ内の他の一般参加者のモデルシェアを受信してから集約し、集約結果を再構築参加者に送信するように配置されるローカルトレーニングモジュールと、
再構築参加者がグループ内の集約結果を再構築し、得られたグループモデルをブロックチェーンにアップロードし、これにより、ブロックチェーンが各グループのグループモデルを再び集約し、得られた現在のラウンドのグローバルモデルを再構築参加者に配布して次のラウンドのトレーニングの初期モデルとするように配置される再構築モジュールと、を含む、クライアントを提供する。

【0018】

第４側面では、本発明は、
現在のラウンドにおける各トレーニンググループのグループモデルを受信するように配置される受信モジュールと、
各トレーニンググループのグループモデルを集約するように配置される集約モジュールと、
集約した現在のラウンドのグローバルモデルを再構築参加者に配布し、再構築参加者を通じてグループ内の一般参加者に送信するように配置される送信モジュールと、を含み、
前記グループモデルは、再構築参加者がグループ内の集約結果を再構築して得られたものであり、前記集約結果は、グループ内の一般参加者がグローバルモデルを初期モデルとしてローカルモデルのトレーニングを行った後に、ローカルモデルをシェアの形態に分割してグループ内で分配し、そして各一般参加者がグループ内の他の一般参加者のモデルシェアを受信してから集約して得られたものである、ブロックチェーンノードを提供する。

【0019】

第５側面では、本発明は、クライアント及びブロックチェーンノードを含み、
前記クライアントは、全ての参加者をグループ化するステップであって、各グループに一般参加者と再構築参加者が含まれるステップと、再構築参加者がブロックチェーンから配布されたグローバルモデルを受信し、グループ内の一般参加者に送信するステップと、一般参加者がグローバルモデルを初期モデルとしてローカルモデルのトレーニングを行い、トレーニング後のローカルモデルをシェアの形態に分割してグループ内で分配し、これにより、各一般参加者がグループ内の他の一般参加者のモデルシェアを受信してから集約し、集約結果を再構築参加者に送信するステップと、再構築参加者がグループ内の集約結果を再構築し、得られたグループモデルをブロックチェーンにアップロードするステップと、に用いられ、
前記ブロックチェーンノードは、各グループのグループモデルを再び集約し、得られた現在のラウンドのグローバルモデルを再構築参加者に配布して次のラウンドのトレーニングの初期モデルとするために用いられる、分散型機械学習モデルのトレーニングシステムを提供する。

【0020】

従来技術と比較して、本発明の有益な効果は、以下のとおりである。

【0021】

本発明は秘密分散とスマートコントラクトに基づいて分散型機械学習モデルのトレーニングを実現し、各参加者の機密データがローカルにあることを保証するとともに、連合学習解決手段におけるセンターサーバに代わって、スマートコントラクトの方法を導入してモデル集約の関連操作を実現し、より高レベルの機密データのプライバシー保護を実現し、複数の参加者が協力して機械学習モデルの共同トレーニングを行うシナリオに適用する。

【0022】

本発明は秘密分散の方式を通じてモデルシェアの分配を行い、いかなる参加者も他の任意の単一参加者の平文モデルを得ることができず、各参加者はローカルトレーニングデータを公開する必要もなく、中間パラメータ交換の方式だけで機械学習モデルの共同トレーニングを実現でき、各参加者のモデルデータの安全及び機密情報のプライバシー保護を効果的に保証し、差分プライバシー、準同型暗号などの技術を通じてモデルパラメータを保護することによるモデル性能の低下及び計算量の過大などの諸問題が回避される。

【0023】

本発明は参加者を複数の連合学習トレーニンググループに分け、シェア分割の数を効果的に減らすことができるとともに、各参加者間の情報交換による通信コストを減らすことができ、次に、プロセス全体にわたっていずれの参加者の平文モデルも再構築されず、再構築されたのはグループモデル又はグローバルモデルだけであり、単一参加者のモデルに対する効果的な保護が実現される。

【0024】

本発明は、従来の連合学習におけるセンターサーバに代わって、ブロックチェーンとスマートコントラクトを導入し、分散型の機械学習モデルトレーニングを実現し、集中型サーバによるサーバの単一障害点及び悪意のあるサーバの不正行為という問題を効果的に解決する。

【0025】

本発明の追加的態様の利点は、一部が以下の説明において示され、一部が以下の説明から明らかになるか、又は本発明の実践によって理解される。

【0026】

本発明の一部を構成する明細書の図面は本発明を更に理解させるためのものであり、本発明の例示的実施例及びその説明は本発明を解釈するためのものであり、本発明を不適切に限定する意図がない。

【図面の簡単な説明】

【0027】

【図1】本発明の実施例１により提供される分散型機械学習モデルのトレーニング方法のフローチャートである。

【図2】本発明の実施例１により提供されるグループ内のモデルシェア分配模式図である。

【発明を実施するための形態】

【0028】

以下において、図面と実施例を関連付けて、本発明をさらに説明する。

【0029】

以下の詳細な説明は全て例示的であり、本発明のさらなる説明を提供するためのものであることを指摘すべきである。特に指定がない限り、本明細書で使用される全ての技術用語及び科学用語は、当業者が一般的に理解するのと同じ意味を有する。

【0030】

本明細書で使用される用語は具体的な実施形態を記述するためのものに過ぎず、本発明による例示的実施形態を限定する意図がないことに注意されたい。例えば、文脈に別に明記しない限り、本明細書で使用される単数形態に複数形態をも含む意図があり、なお、「含む」及び「含有する」という用語及びそれらのいかなる変形も、非排他的に含むことを意図し、例えば、一連のステップ又はユニットを含むプロセス、方法、システム、製品又は機器は、必ず明確に挙げられたステップ又はユニットに限定されるものではなく、さらに挙げられていない又はこれらのプロセス、方法、製品又は機器に固有の他のステップ又はユニットを含んでもよいことも理解されたい。

【0031】

矛盾しない場合、本発明の実施例及び実施例にある特徴は、互いに組み合わせることができる。

【実施例1】

【0032】

本実施例は、クライアントに適用され、
全ての参加者をグループ化するステップであって、各グループに一般参加者と再構築参加者が含まれるステップと、
再構築参加者がブロックチェーンから配布されたグローバルモデルを受信し、グループ内の一般参加者に送信するステップと、
一般参加者がグローバルモデルを初期モデルとしてローカルモデルのトレーニングを行い、トレーニング後のローカルモデルをシェアの形態に分割してグループ内で分配し、これにより、各一般参加者がグループ内の他の一般参加者のモデルシェアを受信してから集約し、集約結果を再構築参加者に送信するステップと、
再構築参加者がグループ内の集約結果を再構築し、得られたグループモデルをブロックチェーンにアップロードし、これにより、ブロックチェーンが各グループのグループモデルを再び集約し、得られた現在のラウンドのグローバルモデルを再構築参加者に配布して次のラウンドのトレーニングの初期モデルとし、グローバルモデルが収束するまで行うステップと、を含む、分散型機械学習モデルのトレーニング方法を提案する。

【0033】

以下において、図１を参照しながら、本実施例の解決手段を詳しく説明する。

【0034】

（１）全ての各参加者をｋ個の異なるトレーニンググループｇに分け、各トレーニンググループはｇをインデックスとし、

【数3】

であり、各トレーニンググループｇには、トレーニングに参加する一般参加者

【数4】

であり、ｎは一般参加者の総数である。

【0035】

（２）各トレーニンググループｇ内の一般参加者

【数5】

をトレーニングし、
ここで、ローカルモデルトレーニングを行う前に、再構築参加者

【数6】

を初期モデルとしてローカルモデルのトレーニングを行う。

【0036】

（３）１ラウンドあたりのトレーニングが終了した後、トレーニンググループ内の一般参加者

【数7】

をシェアの形態に分割し、そしてグループ内の他の一般参加者に送信する。

【0037】

具体的には、図２に示すように、トレーニンググループ内の一般参加者

【数8】

は秘密分散の分散アルゴリズムＳｈａｒｅ（）によって自分のローカルモデル

【数9】

をシェアの形態に分割し、

【数10】

であり、分割シェアの数はｎ－１であり、これらのシェアをグループ内の他の一般参加者に分配し、各一般参加者はモデルシェアのうちの１つのみを受信し、図２に示すように、４つの一般参加者を例とする。

【0038】

秘密分散（Ｓｅｃｒｅｔ Ｓｈａｒｉｎｇ，ＳＳ）は、秘密ｘをｎ個の秘密シェアに分けることであり、ｔ個の秘密シェアより少ないと、秘密ｘに関するいかなる情報も明らかにならず、合計ｔ個の秘密シェア以上となってから、初めて秘密ｘを再構築することができ、ここで、ｔ≦ｎである。

【0039】

本実施例において、使用される解決手段はｔ＝ｎの加算秘密分散アルゴリズムであり、該アルゴリズムは、分散アルゴリズムＳｈａｒｅ（）と再構築アルゴリズムＲｅｃｏｎｓｔｒｕｃｔ（）からなり、その秘密空間とシェア空間はいずれもＧＦ（２^Ｌ）である。Ｓｈａｒｅ（）アルゴリズムは秘密ｘ及びシェア数ｎを入力とし、秘密ｘをｎ個のシェアに分割する。［０，２^Ｌ］からｎ－１個の乱数をランダムに選択してｎ－１個の秘密シェアとすると、ｎ番目の秘密シェアｘ_ｎは以下のように示される。

【数11】

【0040】

Ｒｅｃｏｎｓｔｒｕｃｔ（）アルゴリズムは秘密ｘを回復するためにｎ個の秘密シェアを受信する。

【数12】

【0041】

また、秘密分散は加算準同型性を持ち、秘密ｘと秘密ｙに対して分散アルゴリズムを適用し、
Ｓｈａｒｅ（ｘ，ｎ）＝｛ｘ_１，ｘ_２，…，ｘ_ｎ｝とＳｈａｒｅ（ｙ，ｎ）＝｛ｙ_１，ｙ_２，…，ｙ_ｎ｝を得た後、ｚ_ｉ＝（ｘ_ｉ＋ｙ_ｉ） ｍｏｄ ２^Ｌを計算することができ、最終的に２つの秘密の加算結果ｚを得ることができる。

【数13】

【0042】

（４）各一般参加者

【数14】

は同じグループの他の一般参加者からのｎ－１個のモデルシェアを受信した後、受信したモデルシェアを集約し、所在するグループのグループモデルシェア

【数15】

を得る。具体的なモデルシェア分配方式及びグループモデルシェア結果を表１に示す。

【0043】

【表1】

【0044】

（５）各一般参加者

【数16】

は各グループモデルシェアを受信して再構築し、平文形態でのグループモデルＭ_ｇを得て、

【数17】

である。

【0045】

上記のようにして、モデルトレーニング過程において、各一般参加者のモデル参数は全てシェアの形態で現れ、中間パラメータを分析することによるプライバシー漏洩問題が回避される。

【0046】

（６）各トレーニンググループｇにおける再構築参加者

【数18】

はグループモデルＭ_ｇをブロックチェーンにアップロードし、ブロックチェーンでは、ブロックチェーン上でのグループモデルＭ_ｇの数が設定閾値ｔに達すると、スマートコントラクトは各グループモデルを自動的に呼び出し、集約し、現在のラウンドのグローバルモデルＭ_{ｇｌｏｂａｌ}を得て、

【数19】

である。

【0047】

ブロックチェーン（Ｂｌｏｃｋｃｈａｉｎ）とは、分散型の、改ざん不可能な分散型台帳技術であり、本質的にはチェーンのように記憶されるデータ構造であり、安全で透明で検証可能な取引と情報記憶を実現することを目的としている。ブロックチェーンの中核理念は、単一の機関やサーバに依存する集中記憶ではなく、取引とデータをネットワーク上の複数のノードに分散して保存することである。各ノードは完全な台帳コピーを維持し、コンセンサスアルゴリズムを通じて調和し、取引の正当性を検証する。ブロックチェーンの基本的なユニットはブロックであり、各ブロックは一連の取引やデータの情報を含み、暗号学ハッシュ関数によって前のブロックとリンクされ、変更できないチェーン構造を形成し、このようなデータ構造は、前のブロックに対するいかなる修正も後続のブロックのハッシュ値を失効させ、改ざんの痕跡を明らかにするため、データの安全性を大幅に増強する。したがって、ブロックチェーンは高度な改ざん不可性を備え、データの完全性と信頼性を確保している。

【0048】

スマートコントラクトとは、自動的に実行できるコードセグメントであり、従来のコントラクトで規定されている「いくつかの特定の条件が満たされると、対応する戦略を実行する」という機能を実現する。スマートコントラクトは、他のプログラムコードとは異なり、設計者の意図に従って実行することができ、且つ言語の不確定点が存在しないため、議論の可能性が減少する。スマートコントラクトはデプロイされると変更できないため、コントラクトの改ざん不可性と安全性が確保される。事前に設定された条件が満たされると、スマートコントラクトは自動的に実行され、外部ノードはその実行プロセスに介入できず、スマートコントラクトは、このような自動実行特性により、高度な信頼性と効率が与えられ、人為的なエラーと遅延が大幅に減少する。

【0049】

（７）スマートコントラクトは集約して得られた現在のラウンドのグローバルモデルＭ_{ｇｌｏｂａｌ}をブロックチェーンにアップロードし、ブロックチェーンは現在のラウンドのグローバルモデルＭ_{ｇｌｏｂａｌ}を再構築参加者に配布して次のラウンドのトレーニングの初期モデルとし、一般参加者はＭ_{ｇｌｏｂａｌ}に基づいて次のラウンドのトレーニングタスクを継続し、グローバルモデルが収束するまで行う。

【実施例2】

【0050】

本実施例は、ブロックチェーンノードに適用され、
現在のラウンドにおける各トレーニンググループのグループモデルを受信するステップと、
各トレーニンググループのグループモデルを集約するステップと、
集約した現在のラウンドのグローバルモデルを再構築参加者に配布し、再構築参加者を通じてグループ内の一般参加者に送信するステップと、を含み、
前記グループモデルは、再構築参加者がグループ内の集約結果を再構築して得られたものであり、前記集約結果は、グループ内の一般参加者がグローバルモデルを初期モデルとしてローカルモデルのトレーニングを行った後に、ローカルモデルをシェアの形態に分割してグループ内で分配し、そして各一般参加者がグループ内の他の一般参加者のモデルシェアを受信してから集約して得られたものである、分散型機械学習モデルのトレーニング方法を提供する。

【0051】

本実施例において、前記ブロックチェーンノードにスマートコントラクトがデプロイされ、受信したグループモデルの数が設定閾値に達すると、スマートコントラクトはグループモデルを自動的に呼び出して集約し、これにより現在のラウンドのグローバルモデルを得て、現在のラウンドのグローバルモデルをブロックチェーンノードにアップロードして、次のラウンドのトレーニングの初期モデルとする。

【実施例3】

【0052】

本実施例は、
全ての参加者をグループ化するように配置されるグループ化モジュールであって、各グループに一般参加者と再構築参加者が含まれるグループ化モジュールと、
再構築参加者がブロックチェーンから配布されたグローバルモデルを受信し、グループ内の一般参加者に送信するように配置される受信モジュールと、
一般参加者がグローバルモデルを初期モデルとしてローカルモデルのトレーニングを行い、トレーニング後のローカルモデルをシェアの形態に分割してグループ内で分配し、これにより、各一般参加者がグループ内の他の一般参加者のモデルシェアを受信してから集約し、集約結果を再構築参加者に送信するように配置されるローカルトレーニングモジュールと、
再構築参加者がグループ内の集約結果を再構築し、得られたグループモデルをブロックチェーンにアップロードし、これにより、ブロックチェーンが各グループのグループモデルを再び集約し、得られた現在のラウンドのグローバルモデルを再構築参加者に配布して次のラウンドのトレーニングの初期モデルとするように配置される再構築モジュールと、を含む、クライアントを提供する。

【実施例4】

【0053】

本実施例は、
現在のラウンドにおける各トレーニンググループのグループモデルを受信するように配置される受信モジュールと、
各トレーニンググループのグループモデルを集約するように配置される集約モジュールと、
集約した現在のラウンドのグローバルモデルを再構築参加者に配布し、再構築参加者を通じてグループ内の一般参加者に送信するように配置される送信モジュールと、を含み、
前記グループモデルは、再構築参加者がグループ内の集約結果を再構築して得られたものであり、前記集約結果は、グループ内の一般参加者がグローバルモデルを初期モデルとしてローカルモデルのトレーニングを行った後に、ローカルモデルをシェアの形態に分割してグループ内で分配し、そして各一般参加者がグループ内の他の一般参加者のモデルシェアを受信してから集約して得られたものである、ブロックチェーンノードを提供する。

【実施例5】

【0054】

本実施例は、クライアント及びブロックチェーンノードを含み、
前記クライアントは、全ての参加者をグループ化するステップであって、各グループに一般参加者と再構築参加者が含まれるステップと、再構築参加者がブロックチェーンから配布されたグローバルモデルを受信し、グループ内の一般参加者に送信するステップと、一般参加者がグローバルモデルを初期モデルとしてローカルモデルのトレーニングを行い、トレーニング後のローカルモデルをシェアの形態に分割してグループ内で分配し、これにより、各一般参加者がグループ内の他の一般参加者のモデルシェアを受信してから集約し、集約結果を再構築参加者に送信するステップと、再構築参加者がグループ内の集約結果を再構築し、得られたグループモデルをブロックチェーンにアップロードするステップと、に用いられ、
前記ブロックチェーンノードは、各グループのグループモデルを再び集約し、得られた現在のラウンドのグローバルモデルを再構築参加者に配布して次のラウンドのトレーニングの初期モデルとするために用いられる、分散型機械学習モデルのトレーニングシステムを提供する。

【0055】

ここで説明すべきこととして、上記モジュールは、実施例１に記載のステップに対応し、上記モジュール及び対応するステップが実現する例と適用シナリオは同じであるが、上記実施例１に開示された内容に限定されない。説明すべきことは、上記モジュールはシステムの一部として、１組のコンピュータ実行可能命令のようなコンピュータシステムにおいて実行することができる点である。

【0056】

以上は図面を参照しながら本発明の具体的な実施形態を説明したが、本発明の保護範囲に対する制限ではなく、当業者であれば、本発明の技術的解決手段をもとに、当業者が創造的な労力を要することなくなし得る様々な修正又は変形が依然として本発明の保護範囲内にあることを理解すべきである。

【要約】      （修正有）

【課題】高レベルの機密データのプライバシー保護を実現する分散型機械学習モデルのトレーニング方法及びシステムを提供する。
【解決手段】方法は、参加者をグループ化し、再構築参加者がブロックチェーンから配布されたグローバルモデルＭ_{ｇｌｏｂａｌ}を受信し、グループ内の一般参加者に送信し、一般参加者がグローバルモデルを初期モデルとしてローカルモデルのトレーニングを行い、ローカルモデルをシェアの形態に分割してグループ内で分配し、これにより、各一般参加者がグループ内の他の一般参加者のモデルシェアを受信してから集約し、集約結果を再構築参加者に送信し、再構築参加者がグループ内の集約結果を再構築し、得られたグループモデルをブロックチェーンにアップロードし、ブロックチェーンがグループモデルを再び集約し、現在のラウンドのグローバルモデルを再構築参加者に配布して次のラウンドのトレーニングの初期モデルとする。
【選択図】図１

【図1】

【図2】