特開 2024-77950 情報処理装置、ノード、情報処理方法、プログラムおよび情報処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024077950

(43)【公開日】2024-06-10

(54)【発明の名称】情報処理装置、ノード、情報処理方法、プログラムおよび情報処理システム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20240603BHJP

【ＦＩ】

G06N20/00

【審査請求】未請求

【請求項の数】16

【出願形態】ＯＬ

(21)【出願番号】P 2022190207

(22)【出願日】2022-11-29

(71)【出願人】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】相崎 友保

(57)【要約】

【課題】学習モデルの実用化を促進すること
【解決手段】サーバ５は、複数の通信装置３に対して、グローバルモデルを示す情報を送信するとともに、通信装置３が処理するローカルデータによってグローバルモデルを基に学習したローカルモデルを示す情報またはローカルモデルに対して共有データを入力して得られた出力データを、複数の通信装置３のそれぞれから受信する送受信部５１と、複数の通信装置３から受信した複数のローカルモデルを示す情報または複数の出力データに基づいて、グローバルモデルを更新する更新部５２と、更新後のグローバルモデルに対する、複数のローカルモデルまたは複数の出力データのそれぞれの貢献度を算出する算出部５７と、を備える。
【選択図】図４

【特許請求の範囲】

【請求項1】

ノードが処理するローカルデータによってグローバルモデルを基に学習したローカルモデルを示す情報または前記ローカルモデルに対して共有データを入力して得られた出力データを、複数のノードのそれぞれから受信する受信手段と、
前記複数のノードから受信した複数の前記ローカルモデルを示す情報または複数の前記出力データに基づいて、前記グローバルモデルを更新する更新手段と、
前記更新されたグローバルモデルに対する、前記複数のローカルモデルまたは前記複数の出力データのそれぞれの貢献度を算出する算出手段と、を備えた情報処理装置。

【請求項2】

前記複数のローカルモデルまたは前記複数の出力データのそれぞれの前記貢献度に基づき、前記複数のノードのそれぞれに対するインセンティブを決定する決定手段をさらに備えた請求項１記載の情報処理装置。

【請求項3】

前記複数のノードに対して、前記グローバルモデルを示す情報を送信する送信手段をさらに備えた請求項１記載の情報処理装置。

【請求項4】

前記受信手段は、さらに、前記ローカルモデルを学習するときに用いられた前記ローカルデータのデータ量を受信し、
前記算出手段は、前記複数のノードのそれぞれの前記データ量に基づき、前記貢献度を算出する請求項１記載の情報処理装置。

【請求項5】

前記更新手段は、
特定のノードを含む前記複数のノードのそれぞれから受信した複数の前記ローカルモデルを示す情報または前記出力データに基づいて、前記グローバルモデルを第１のグローバルモデルに更新するとともに、
前記複数のノードから前記特定のノードを除いたノードまたは前記特定のノードから受信した前記ローカルモデルまたは前記出力データに基づいて、前記グローバルモデルを第２のグローバルモデルに更新し、
前記算出手段は、
前記第１のグローバルモデルの評価と、前記第２のグローバルモデルの評価に基づき、前記特定のノードの前記ローカルモデルまたは前記出力データの前記貢献度を算出する請求項１記載の情報処理装置。

【請求項6】

評価データに基づき前記第１のグローバルモデルおよび前記第２のグローバルモデルをそれぞれ評価する評価手段をさらに備えた請求項５記載の情報処理装置。

【請求項7】

前記受信手段は、さらに、前記ローカルデータに基づく前記第１のグローバルモデルの評価と、前記ローカルデータに基づく前記第２のグローバルモデルの評価を受信する請求項５記載の情報処理装置。

【請求項8】

ノードが処理するローカルデータによってグローバルモデルを基に学習したローカルモデルを示す情報または前記ローカルモデルに対して共有データを入力して得られた出力データを、複数のノードのそれぞれから受信する受信手段と、
前記複数のノードから受信した複数の前記ローカルモデルを示す情報または複数の前記出力データに基づいて、前記グローバルモデルを更新する更新手段と、
評価データに基づき、前記更新されたグローバルモデルを評価する評価手段と、を備えた情報処理装置。

【請求項9】

ローカルデータによってグローバルモデルを基に学習したローカルモデルを得る学習処理手段と、
複数のノードの前記ローカルモデルまたは前記ローカルモデルに対して共有データを入力して得られた前記複数のノードの出力データに基づき更新された前記グローバルモデルを、前記ローカルデータに基づき評価する評価手段と、
を備えたノード。

【請求項10】

複数のノードに対して、グローバルモデルを示す情報を送信する送信ステップと、
前記ノードが処理するローカルデータによって前記グローバルモデルを基に学習したローカルモデルを示す情報または前記ローカルモデルに対して共有データを入力して得られた出力データを、前記複数のノードのそれぞれから受信する受信ステップと、
前記複数のノードから受信した複数の前記ローカルモデルを示す情報または複数の前記出力データに基づいて、前記グローバルモデルを更新する更新ステップと、
前記更新されたグローバルモデルに対する、前記複数のローカルモデルまたは前記複数の出力データのそれぞれの貢献度を算出する算出ステップと、を実行する情報処理方法。

【請求項11】

ノードが処理するローカルデータによってグローバルモデルを基に学習したローカルモデルを示す情報または前記ローカルモデルに対して共有データを入力して得られた出力データを、複数のノードのそれぞれから受信する受信ステップと、
前記複数のノードから受信した複数の前記ローカルモデルを示す情報または複数の前記出力データに基づいて、前記グローバルモデルを更新する更新ステップと、
評価データに基づき、前記更新されたグローバルモデルを評価する評価ステップと、を備えた情報処理方法。

【請求項12】

ローカルデータによってグローバルモデルを基に学習したローカルモデルを得る学習処理ステップと、
複数のノードの前記ローカルモデルまたは前記ローカルモデルに対して共有データを入力して得られた前記複数のノードの出力データに基づき更新された前記グローバルモデルを、前記ローカルデータに基づき評価する評価ステップと、
を実行する情報処理方法。

【請求項13】

コンピュータに、請求項９または１０記載の情報処理方法を実行させるプログラム。

【請求項14】

情報処理装置と、前記情報処理装置と通信可能な複数のノードを備える情報処理システムであって、
前記複数のノードのそれぞれは、
前記情報処理装置に対して、ローカルデータによってグローバルモデルを基に学習したローカルモデルを示す情報または前記ローカルモデルに対して共有データを入力して得られた出力データを送信する送信手段を備え、
前記情報処理装置は、
前記ローカルモデルを示す情報または前記出力データを、前記複数のノードのそれぞれから受信する受信手段と、
前記複数のノードから受信した複数の前記ローカルモデルを示す情報または複数の前記出力データに基づいて、前記グローバルモデルを更新する更新手段と、
前記更新されたグローバルモデルに対する、前記複数のローカルモデルまたは前記複数の出力データのそれぞれの貢献度を算出する算出手段と、
を備えた情報処理システム。

【請求項15】

情報処理装置と、前記情報処理装置と通信可能な複数のノードを備える情報処理システムであって、
前記複数のノードのそれぞれは、
前記情報処理装置に対して、ローカルデータによってグローバルモデルを基に学習したローカルモデルを示す情報または前記ローカルモデルに対して共有データを入力して得られた出力データを送信する送信手段を備え、
前記情報処理装置は、
前記ローカルモデルを示す情報または前記出力データを、前記複数のノードのそれぞれから受信する受信手段と、
前記複数のノードから受信した複数の前記ローカルモデルを示す情報または複数の前記出力データに基づいて、前記グローバルモデルを更新する更新手段と、
評価データに基づき、前記更新されたグローバルモデルを評価する評価手段と、を備えた情報処理システム。

【請求項16】

情報処理装置と、前記情報処理装置と通信可能な複数のノードを備える情報処理システムであって、
前記複数のノードのそれぞれは、
ローカルデータによってグローバルモデルを基に学習したローカルモデルを得る学習処理手段と、
前記情報処理装置に対して、前記ローカルモデルを示す情報または前記ローカルモデルに対して共有データを入力して得られた出力データを送信する送信手段と、を備え、
前記情報処理装置は、
前記ローカルモデルを示す情報または前記出力データを、前記複数のノードのそれぞれから受信する受信手段と、
前記複数のノードから受信した複数の前記ローカルモデルを示す情報または複数の前記出力データに基づいて、前記グローバルモデルを更新する更新手段と、
前記複数のノードに対して、前記更新された前記グローバルモデルを送信する送信手段と、を備え、
前記複数のノードのそれぞれは、さらに、
前記更新された前記グローバルモデルを、前記情報処理手段から受信する受信手段と、
前記更新された前記グローバルモデルを、前記ローカルデータに基づき評価する評価手段と、
を備えた情報処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、ノード、情報処理方法、プログラムおよび情報処理システムに関する。

【背景技術】

【0002】

特許文献１には、第１の学習用データの入力をユーザから受け付ける受付部と、前記第１の学習用データと判別器を作成するために用いられた第２の学習用データとの比較結果と、前記第１の学習用データを前記判別器に入力して得られる出力と前記第１の学習用データに対応する正解データとの比較結果の少なくとも一方に基づいて、前記第１の学習用データの前記判別器の学習に対する貢献度を、前記ユーザごとに算出する算出部と、前記ユーザごとに算出された貢献度に基づいて、前記ユーザへのサービスを設定するサービス設定部を備える学習システムが記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】ＷＯ２０１９／１４６３５８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明は、学習モデルの実用化を促進することを課題とする。

【課題を解決するための手段】

【0005】

本発明に係る情報処理装置は、ノードが処理するローカルデータによってグローバルモデルを基に学習したローカルモデルを示す情報またはローカルモデルに対して共有データを入力して得られた出力データを、複数のノードのそれぞれから受信する受信手段と、複数のノードから受信した複数のローカルモデルを示す情報または複数の出力データに基づいて、グローバルモデルを更新する更新手段と、更新されたグローバルモデルに対する、複数のローカルモデルまたは複数の出力データのそれぞれの貢献度を算出する算出手段と、を備える。

【発明の効果】

【0006】

本発明によれば、学習モデルの実用化を促進することができる。

【図面の簡単な説明】

【0007】

【図1】本発明の実施形態に係る情報処理システムの全体構成図である。

【図2】本実施形態に係る通信装置、サーバのハードウエア構成図である。

【図3】本実施形態に係る情報処理システムの機能ブロック図である。

【図4】本実施形態に係る処理の第１実施例を示すシーケンス図である。

【図5】第１実施例に係るサーバの処理を示すフローチャートである。

【図6】第１実施例に係る通信装置の処理を示すフローチャートである。

【図7】本実施形態に係る処理の第２実施例を示す第１のシーケンス図である。

【図8】本実施形態に係る処理の第２実施例を示す第２のシーケンス図である。

【図9】第２実施例に係るサーバの全体的な処理を示すフローチャートである。

【図10】第２実施例に係るサーバの詳細な処理を示すフローチャートである。

【図11】本実施形態に係る処理の第３実施例を示す第１のシーケンス図である。

【図12】本実施形態に係る処理の第３実施例を示す第２のシーケンス図である。

【図13】第３実施例に係るサーバの処理を示すフローチャートである。

【図14】第３実施例に係る通信装置の処理を示すフローチャートである。

【図15】本実施形態に係る処理の第４実施例を示すシーケンス図である。

【図16】図１５に示した第４実施例に係るサーバの処理を示すフローチャートである。

【図17】第４実施例に係る通信装置の処理を示すフローチャートである。

【図18】本実施形態に係る処理の第５実施例を示す第１のシーケンス図である。

【図19】本実施形態に係る処理の第５実施例を示す第２のシーケンス図である。

【図20】本実施形態に係る処理の第６実施例を示す第１のシーケンス図である。

【図21】本実施形態に係る処理の第６実施例を示す第２のシーケンス図である。

【発明を実施するための形態】

【0008】

連合学習（Ｆｅｄｅｒａｔｅｄ ｌｅａｒｎｉｎｇ）は、データを集約せず分散した状態のまま、学習を行う機械学習の手法であり、プライバシーやセキュリティを担保しながらあたかもデータ連携をしたかのように、複数クライアント間のデータを活かしたモデルの構築を可能にする技術である。

【0009】

今までの連合学習では、連合学習に参加するクライアントのメリットは、連合学習によって構築した高精度なモデルが使用できる点であるが、連合学習モデルの高精度化に大きく貢献した場合でも、まったく貢献していない場合でも、クライアントが得られるメリットは同じであるという点が課題であった。

【0010】

本実施形態は、プライバシーやセキュリティを担保しながら、連合学習モデルへの貢献度に応じて、クライアントへインセンティブを付与することを目的とする。

【0011】

図１は、本発明の実施形態に係る情報処理システムの全体構成図である。本実施形態の情報処理システム１は、複数の通信装置３Ａ、３Ｂ～３Ｎ、３ａ、外部ストレージ４、及びサーバ５によって構築されている。

【0012】

サーバ５は、連合学習に用いられるグローバルモデル等を管理する情報処理装置の一例である。ここで、グローバルモデルは、サーバ５側、つまりはセントラル側で管理される学習モデルでもあるため、セントラルモデルとして言い換えてもよい。

【0013】

複数の通信装置３Ａ、３Ｂ～３Ｎは、連合学習に参加するクライアントが使用するノードの一例であり、通信装置３ａは、連合学習には参加しないが、サーバ５から学習済みのグローバルモデルの配布を受けるクライアントが使用するノードの一例である。なお、複数の通信装置３Ａ、３Ｂ～３Ｎは、それぞれを区別する必要がない場合は、単に通信装置３として説明する。

【0014】

外部ストレージ４は、サーバ５や、複数の通信装置３Ａ、３Ｂ…３Ｎで用いられる共有データを記憶して管理する。

【0015】

複数の通信装置３Ａ、３Ｂ～３Ｎ、３ａ、外部ストレージ４及びサーバ５は、通信ネットワーク１００を介して通信することができる。通信ネットワーク１００は、インターネット、移動体通信網、ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）等によって構築されている。通信ネットワーク１００には、有線通信だけでなく、３Ｇ（３ｒｄＧｅｎｅｒａｔｉｏｎ）、ＷｉＭＡＸ（ＷｏｒｌｄｗｉｄｅＩｎｔｅｒｏｐｅｒａｂｉｌｉｔｙｆｏｒＭｉｃｒｏｗａｖｅＡｃｃｅｓｓ）、ＬＴＥ（ＬｏｎｇＴｅｒｍＥｖｏｌｕｔｉｏｎ）等の無線通信によるネットワークが含まれてもよい。

【0016】

また、情報処理システム１は、複数の通信装置３Ａ、３Ｂ…３Ｎ、３ａ、外部ストレージ４、及びサーバ５の全てまたは一部をクラウドコンピューティングにより構成しても良い。その場合、複数の通信装置３Ａ、３Ｂ…３Ｎ、３ａ、外部ストレージ４、及びサーバ５は、通信ネットワーク１００を介することなく、高速に相互に通信することができる。

【0017】

＜ハードウエア構成＞
図２は、本実施形態に係る通信装置、サーバのハードウエア構成図である。通信装置３の各ハードウエア構成は、３００番台の符号で示されている。サーバ５の各ハードウエア構成は、括弧内の５００番台の符号で示されている。

【0018】

通信装置３は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）３０１、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）３０２、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）３０３、ＨＤ（ＨａｒｄＤｉｓｋ）３０４、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）３０５、記録メディア３０６、メディアＩ／Ｆ３０７、ディスプレイ３０８、ネットワークＩ／Ｆ３０９、キーボード３１１、マウス３１２、ＣＤ－ＲＷ（ＣｏｍｐａｃｔＤｉｓｃ－ＲｅＷｒｉｔａｂｌｅ）ドライブ３１４、及び、バスライン３１０を備えている。

【0019】

これらのうち、ＣＰＵ３０１は、通信装置３全体の動作を制御する。ＲＯＭ３０２は、ＣＰＵ３０１の駆動に用いられるプログラムを記憶する。ＲＡＭ３０３は、ＣＰＵ３０１のワークエリアとして使用される。ＨＤ３０４は、プログラム等の各種データを記憶する。ＨＤＤ３０５は、ＣＰＵ３０１の制御にしたがってＨＤ３０４に対する各種データの読み出し又は書き込みを制御する。メディアＩ／Ｆ３０７は、フラッシュメモリ等の記録メディア３０６に対するデータの読み出し又は書き込み（記憶）を制御する。ディスプレイ３０８は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。ネットワークＩ／Ｆ３０９は、通信ネットワーク１００を利用してデータ通信をするためのインターフェースである。キーボード３１１は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。マウス３１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。ＣＤ－ＲＷドライブ３１４は、着脱可能な記録媒体の一例としてのＣＤ－ＲＷ５１３に対する各種データの読み出し又は書き込みを制御する。通信装置３は、さらに、有線やＷｉｆｉ等の無線により接続される外部ＰＣや外部デバイスに対するデータの読み出し又は書き込み（記憶）を制御する構成を備えていても良い。

【0020】

また、サーバ５は、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、ＨＤ５０４、ＨＤＤ５０５、記録メディア５０６、メディアＩ／Ｆ５０７、ディスプレイ５０８、ネットワークＩ／Ｆ５０９、キーボード５１１、マウス５１２、ＣＤ－ＲＷドライブ５１４、及び、バスライン５１０を備えている。これらは、それぞれ上述の構成（ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、ＨＤ３０４、ＨＤＤ３０５、記録メディア３０６、メディアＩ／Ｆ３０７、ディスプレイ３０８、ネットワークＩ／Ｆ３０９、キーボード３１１、マウス３１２、ＣＤ－ＲＷドライブ３１４、及び、バスライン３１０）と同様の構成であるため、これらの説明を省略する。

【0021】

なお、ＣＤ－ＲＷドライブ３１４（５１４）ではなく、ＣＤ－Ｒドライブ等であってもよい。また、通信装置３、及びサーバ５は、それぞれ単一のコンピュータによって構築されてもよいし、各部（機能、手段、又は記憶部）を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。

【0022】

図３は、本実施形態に係る情報処理システムの機能ブロック図である。

【0023】

＜通信装置の機能構成＞
図３に示されているように、通信装置３は、送受信部３１、受付部３２、表示制御部３３、選定部３４、判断部３５、評価部３６、算出部３７、学習処理部３８、および記憶・読出部３９を有している。これら各部は、図２に示されている各構成要素のいずれかが、ＨＤ３０４からＲＡＭ３０３上に展開されたプログラムに従ったＣＰＵ３０１からの命令によって動作することで実現される機能、又は機能する手段である。また、通信装置３は、図２に示されているＲＡＭ３０３及びＨＤ３０４によって構築される記憶部３０００を有している。記憶部３０００は、記憶手段の一例である。

【0024】

（通信装置の各機能構成）
次に、通信装置３の各構成要素について説明する。

【0025】

送受信部３１は、受信手段の一例であり、図２に示されているＣＰＵ３０１からの命令、並びにネットワークＩ／Ｆ３０９によって実現され、通信ネットワーク１００を介して他の端末、装置又はシステムと各種データ（または情報）の送受信を行う。

【0026】

受付部３２は、受付手段の一例であり、主に、図２に示されているＣＰＵ３０１からの命令、並びにキーボード３１１及びマウス３１２によって実現され、利用者による各種入力を受け付ける。

【0027】

表示制御部３３は、表示制御手段の一例であり、図２に示されているＣＰＵ３０１からの命令によって実現され、表示部の一例であるディスプレイ３０８に、各種画像や画面を表示させる。

【0028】

選定部３４は、図２に示されているＣＰＵ３０１からの命令によって実現され、データを選定する処理等を実行する。選定部３４は、選定手段の一例である。

【0029】

判断部３５は、図２に示されているＣＰＵ３０１からの命令によって実現され、各種判断処理を実行する。判断部３５は、判断手段の一例である。

【0030】

評価部３６は、図２に示されているＣＰＵ３０１からの命令によって実現され、後述するグローバルモデルを評価する処理等を実行する。評価部３６は、評価手段の一例である。

【0031】

算出部３７は、図２に示されているＣＰＵ３０１からの命令によって実現され、データ数を算出する処理等を実行する。算出部３７は、算出手段の一例である。

【0032】

学習処理部３８は、図２に示されているＣＰＵ３０１からの命令によって実現され、学習処理を実行する。学習処理部３８は、学習処理手段の一例である。

【0033】

記憶・読出部３９は、記憶制御手段の一例であり、図２に示されているＣＰＵ３０１からの命令、並びに、ＨＤＤ３０５、メディアＩ／Ｆ３０７、ＣＤ－ＲＷドライブ３１４および外部ＰＣや外部デバイスによって実行され、記憶部３０００、記録メディア３０６、ＣＤ－ＲＷ３１３および外部ＰＣや外部デバイスに各種データを記憶したり、記憶部３０００、記録メディア３０６、ＣＤ－ＲＷ３１３、および外部ＰＣや外部デバイスから各種データを読み出したりする処理を行う。

【0034】

記憶部３０００には、ローカルデータ管理ＤＢ３００１、ローカルモデル管理ＤＢ３００２が構築されている。

【0035】

ローカルデータ管理ＤＢ３００１は、学習処理部３８が学習処理を実行するときに入力されるローカルデータを記憶、管理し、ローカルモデル管理ＤＢ３００２は、学習処理部３８が学習処理を実行して得られたローカルモデルを記憶、管理する。

【0036】

＜サーバの機能構成＞
サーバ５は、送受信部５１、更新部５２、決定部５３、選定部５４、判断部５５、評価部５６、算出部５７、及び記憶・読出部５９を有している。これら各部は、図２に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３上に展開されたプログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能又は機能する手段である。また、サーバ５は、図２に示されているＨＤ５０４により構築される記憶部５０００を有している。記憶部５０００は、記憶手段の一例である。

【0037】

（サーバの各機能構成）
次に、サーバ５の各構成要素について説明する。サーバ５は、複数のコンピュータに各機能を分散させて実現させる構成であってもよい。さらに、サーバ５は、クラウド環境に存在するサーバコンピュータであるものとして説明するが、オンプレミス環境に存在するサーバであってもよい。

【0038】

送受信部５１は、送信手段の一例であり、図２に示されているＣＰＵ５０１からの命令、並びにネットワークＩ／Ｆ５０９によって実現され、通信ネットワーク１００を介して他の端末、装置又はシステムと各種データ（または情報）の送受信を行う。

【0039】

更新部５２は、図２に示されているＣＰＵ５０１からの命令によって実現され、後述するグローバルモデルを更新する処理等を実行する。更新部５２は、選定手段の一例である。

【0040】

決定部５３は、図２に示されているＣＰＵ５０１からの命令によって実現され、後述するインセンティブを決定する処理等を行なう。決定部５３は、決定手段の一例である。

【0041】

選定部５４は、図２に示されているＣＰＵ５０１からの命令によって実現され、モデル、データおよび連合学習に参加する通信端末３を選定する処理等を実行する。選定部５４は、選定手段の一例である。

【0042】

判断部５５は、図２に示されているＣＰＵ５０１からの命令によって実現され、各種判断処理を行なう。

【0043】

評価部５６は、図２に示されているＣＰＵ５０１からの命令によって実現され、グローバルモデルを評価する処理等を実行する。評価部５６は、評価手段の一例である。

【0044】

算出部５７は、図２に示されているＣＰＵ５０１からの命令によって実現され、貢献度を算出する処理等を実行する。算出部５７は、算出手段の一例である。

【0045】

記憶・読出部５９は、記憶制御手段の一例であり、図２に示されているＣＰＵ５０１からの命令、並びに、ＨＤＤ５０５、メディアＩ／Ｆ５０７、ＣＤ－ＲＷドライブ５１４および外部ＰＣや外部デバイスによって実行され、記憶部５０００、記録メディア５０６、ＣＤ－ＲＷ５１３および外部ＰＣや外部デバイスに各種データを記憶したり、記憶部５０００、記録メディア５０６、ＣＤ－ＲＷ５１３および外部ＰＣや外部デバイスから各種データを読み出したりする処理を行う。記憶部５０００、記録メディア５０６、ＣＤ－ＲＷ５１３、および外部ＰＣや外部デバイスは、記憶手段の例である。

【0046】

記憶部５０００には、グローバルモデル管理ＤＢ５００１、およびセントラルデータ管理ＤＢ５００２が構築されている。

【0047】

グローバルモデル管理ＤＢ５００１は、通信装置３に配布するグローバルモデルを記憶、管理し、セントラルデータ管理ＤＢ５００２は、グローバルモデルを評価するための評価データを含むセントラルデータを記憶、管理する。

【0048】

以上説明した通信装置３の機能構成、およびサーバ５の機能構成の全てまたは一部は、クラウドコンピューティングにより構成されても良い。その場合、通信装置３の送受信部３１、およびサーバ５の送受信部５１は、通信ネットワーク１００を介することなく、高速に通信することができる。

【0049】

図４は、本実施形態に係る処理の第１実施例を示すシーケンス図である。

【0050】

サーバ５の選定部５４は、連合学習に参加するクライアントの通信装置３を選定し（ステップＳ１）、記憶・読出部５９がグローバルモデル管理ＤＢ５００１から読み出したグローバルモデルから、各通信装置３に配布するグローバルモデルを選定する（ステップＳ２）。図４に示す第１実施例では、選定部５４は、連合学習に参加する全ての通信装置３に対して同一のグローバルモデルを選定する。

【0051】

送受信部５１は、各通信装置３に対して、ステップＳ２で選定したグローバルモデルを送信して、各通信装置３の送受信部３１は、サーバ５から送信されたグローバルモデルを受信する（ステップＳ３）。

【0052】

選定部３４は、記憶・読出部３９がローカルデータ管理ＤＢ３００１から読み出したローカルデータから、学習処理に用いる学習データを選定し（ステップＳ４）、算出部３７は、ステップＳ４で選定した学習データのデータ数を算出する（ステップＳ５）。

【0053】

学習処理部３８は、ステップＳ３で受信したグローバルモデルに対して、ステップＳ４で選定した学習データを用いて学習処理を実行し、学習処理が終了すると、記憶・読出部５９は、学習データを用いて学習処理を実行したグローバルモデルをローカルモデルとしてローカルモデル管理ＤＢ３００２に記憶させる（ステップＳ６）。

【0054】

送受信部３１は、サーバ５に対して、ステップＳ５で算出したデータ数と、ステップＳ６で得られたローカルモデルを送信し、サーバ５の送受信部５１は、各通信装置３から送信されたデータ数とローカルモデルを受信する（ステップＳ７）。

【0055】

更新部５２は、ステップＳ７で受信した各通信装置３におけるデータ数とローカルモデルに基づき、ステップＳ２で選定したグローバルモデルを更新する（ステップＳ８）。

【0056】

算出部５７は、ステップＳ７で受信した各通信装置３におけるデータ数に基づき、ステップＳ８で更新したグローバルモデルに対する各通信装置３のローカルモデルの貢献度を算出し（ステップＳ９）、決定部５３は、ステップＳ９で算出された各通信装置３のローカルモデルの貢献度に基づき、各通信装置３のクライアントのインセンティブを決定する（ステップＳ１０）。

【0057】

送受信部５１は、各通信装置３に対して、ステップＳ１０で決定したインセンティブを送信して、各通信装置３の送受信部３１は、サーバ５から送信されたインセンティブを受信する（ステップＳ１１）。

【0058】

図５は、図４に示した第１実施例に係るサーバの処理を示すフローチャートである。

【0059】

サーバ５の選定部５４は、記憶・読出部５９がグローバルモデル管理ＤＢ５００１から読み出したグローバルモデルから、各通信装置３に配布するグローバルモデルを選択する（ステップＳ１２）。図５に示す第１実施例では、選定部５４は、連合学習に参加する全ての通信装置３に対して同一のグローバルモデルを選定する。

【0060】

選定部５４は、以前用いたグローバルモデルを選定してもよく、特定のクライアントで学習されたクライアントモデルに基づくグローバルモデルを選定してもよく、汎用のデータセットで事前に学習させたグローバルモデルを選定してもよい。

【0061】

送受信部５１は、各通信装置３に対して、ステップＳ１２で選定したグローバルモデルを送信する（ステップＳ１３）。

【0062】

送受信部５１は、各通信装置３から送信されたデータ数とローカルモデルを受信する（ステップＳ１４）。

【0063】

更新部５２は、ステップＳ１４で受信した各通信装置３におけるデータ数とローカルモデルに基づき、ステップＳ２で選定したグローバルモデルを更新する（ステップＳ１５）。

【0064】

更新部５２は、ＦｅｄＡｖｇ［１］、ＦｅｄＰｒｏｘ［２］、ＦｅｄＡｖｇＭ［３］等の公知の技術を用いてグローバルモデルを更新することができるが、ローカルモデルをもとに更新できるものであれば上記に限定するものではない。

【0065】

－ｅｆｆｉｃｉｅｎｔ ｌｅａｒｎｉｎｇ ｏｆ ｄｅｅｐ ｎｅｔｗｏｒｋＳ ｆｒｏｍ ｄｅｃｅｎｔｒａｌｉｚｅｄ ｄａｔａ． ＰｒｏｃｅｅｄｉｎｇＳ ｏｆ ｔｈｅ ２０ ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ ａｎｄ ＳｔａｔｉＳｔｉｃＳ （ＡＩＳＴＡＴＳ）， Ｖｏｌ． ５４， ， ２０１７。

【0066】

［２］ Ｔｉａｎ Ｌｉ， Ａｎｉｔ Ｋｕｍａｒ Ｓａｈｕ， Ｍａｎｚｉｌ Ｚａｈｅｅｒ， Ｍａｚｉａｒ Ｓａｎｊａｂｉ， Ａｍｅｅｔ Ｔａｌｗａｌｋａｒ， ａｎｄ Ｖｉｒｇｉｎｉａ Ｓｍｉｔｈ． Ｆｅｄｅｒａｔｅｄ ｏｐｔｉｍｉｚａｔｉｏｎ ｉｎ ｈｅｔｅｒｏｇｅｎｅｏｕＳ ｎｅｔｗｏｒｋＳ． Ｉｎ ＰｒｏｃｅｅｄｉｎｇＳ ｏｆ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ ａｎｄ ＳｙＳｔｅｍＳ， Ｖｏｌ． ２， ｐｐ． ４２９-４５０， ２０２０。

【0067】

［３］ ＨＳｕ， Ｔ．Ｍ．Ｈ．， Ｑｉ， Ｈ．， Ｂｒｏｗｎ， Ｍ．： ＭｅａＳｕｒｉｎｇ ｔｈｅ ｅｆｆｅｃｔＳ ｏｆ ｎｏｎ－ｉｄｅｎｔｉｃａｌ ｄａｔａ ｄｉＳｔｒｉｂｕｔｉｏｎ ｆｏｒ ｆｅｄｅｒａｔｅｄ ｖｉＳｕａｌ ｃｌａＳＳｉｆｉｃａｔｉｏｎ． ａｒＸｉｖ ｐｒｅｐｒｉｎｔ ａｒＸｉｖ：１９０９．０６３３５ （２０１９）。

【0068】

更新部５２は、一例として、ＦｅｄＡｖｇ［１］では、各通信装置３のローカルモデルの重みを、各通信装置３のデータ数で加重平均してグローバルモデルを更新する。

【0069】

判断部５５は、更新終了条件を満たしているか判断し、満たしていない場合は、ステップＳ１３に戻る（ステップＳ１６）。

【0070】

判断部５５は、更新終了条件として、グローバルモデルの更新回数が所定の回数に到達したか否かを判断してもよく、更新が進んで精度の向上がこれ以上見込めないことを判断しても良い。

【0071】

ここで、更新時に「更新を止めるかということを判断するバリデーション用のデータ」を用意しておき、判断部５５は、そのデータに基づき、更新を止めるかどうかを判断してもよい。

【0072】

ステップＳ１６で更新終了条件を満たしている場合には、算出部５７は、ステップＳ７で受信した各通信装置３におけるデータ数に基づき、ステップＳ８で更新したグローバルモデルに対する各通信装置３のクライアントの貢献度を算出する（ステップＳ１７）。

【0073】

算出部５７は、一例として、次式のように各通信装置３の学習データ数の比を用いて各通信装置３のクライアントの貢献度を算出する。

【0074】

【数1】

【0075】

ここで、 ｎ はクライアント数を、 Ｄｉ は ｉ 番目のクライアントの学習に使用したローカルデータ数を、 Ｃｉ は ｉ 番目のクライアントの貢献度を表す。なお、貢献度算出方法は上記に限定するものではなく、各クライアントの学習データ数を基に算出できるものであればいかなるものでも良い。

【0076】

決定部５３は、ステップＳ１７で算出された貢献度に基づき、各通信装置３のクライアントのインセンティブを決定する（ステップＳ１８）。

【0077】

ここで、インセンティブとは、例えば、各クライアントが連合学習を使用した際に発生する使用料金の割引などがあげられる。インセンティブは、クーポン、ポイント、キャッシュバック、仮想通貨等の特典や、所定のレベルやランクを上げることを含んでも良い。また、インセンティブを付与する対象は、クライアントに関連付けられたユーザであってもよい。

【0078】

インセンティブの付与によって、連合学習に参加するクライアントが、連合学習モデルの学習に貢献するモチベーションに繋げることやモチベーションを維持することを図ることができる。なお、インセンティブは上記に限定するものではなく、連合学習モデルの学習に貢献するモチベーションに繋げることやモチベーションを維持できるものであればいかなるものでも良い。

【0079】

図６は、図４に示した第１実施例に係る通信装置の処理を示すフローチャートである。

【0080】

通信装置３の送受信部３１は、サーバ５から送信して配布されたグローバルモデルを受信して取得する（ステップＳ２１）。

【0081】

記憶・読出部３９は、ローカルデータ管理ＤＢ３００１からローカルデータを読み出して取得する（ステップＳ２２）。

【0082】

選定部３４は、ステップＳ２２で取得したローカルデータから学習処理に用いる学習データを選定し、算出部３７は、選定した学習データのデータ数を算出する（ステップＳ２３）。

【0083】

学習処理部３８は、ステップＳ２１で受信したグローバルモデルに対して、ステップＳ５で選定した学習データを用いて学習処理を実行する（ステップＳ２４）。

【0084】

判断部３５は、学習終了条件を満たしているか判断し、満たしていない場合は、ステップＳ２４に戻る（ステップＳ２５）。

【0085】

判断部３５は、学習終了条件として、エポック数やＥａｒｌｙ Ｓｔｏｐｐｉｎｇを用いても良い。

【0086】

エポック数とは、「一つの学習データを何回繰り返して学習させるか」の数のことである。Ｅａｒｌｙ Ｓｔｏｐｐｉｎｇとは、「学習が進んで精度の向上がこれ以上見込めないとなったら、そこで学習を止める」という方法であり、学習時に「学習用のデータ」と「学習を止めるかということを判断するバリデーション用のデータ」に分けておき、そのデータを用いて学習を止めるかどうかという判断を行う方法のことである。

【0087】

ステップＳ２５で学習終了条件を満たしている場合には、記憶・読出部５９は、学習データを用いて学習処理を実行したグローバルモデルをローカルモデルとしてローカルモデル管理ＤＢ３００２に記憶させ、送受信部３１は、サーバ５に対して、学習処理を実行して得られたローカルモデルと、ステップＳ２３で算出したデータ数を送信する（ステップＳ２６）。

【0088】

以上説明したように、通信装置３は、サーバ５に対してローカルモデルやデータ数を送信するが、ローカルデータを送信していないので、ローカルデータを分散した状態のまま、図５に示したように、ローカルモデルとデータ数に基づきグローバルモデルを更新することができる。

【0089】

また、ローカルデータを分散した状態のまま、連合学習モデルへの貢献度に応じて、パートナーへインセンティブを付与することにより、クライアントのプライバシーやセキュリティを担保しながら、連合学習モデルのモデルに貢献するモチベーションを与えることができる。

【0090】

さらに、実施例１では、算出部５７は、複数の通信装置３のそれぞれのデータ数に基づき、貢献度を算出するため、貢献度を容易に算出することができる。

【0091】

図７は、本実施形態に係る処理の第２実施例を示す第１のシーケンス図である。

【0092】

第２実施例は、モデル精度への貢献度に応じて、各クライアントの貢献度を算出し、算出した各クライアントのインセンティブを決定する。

【0093】

具体的には、全クライアントが参加してできた連合学習モデルの精度と、貢献度算出対象のクライアントを連合学習から除外した際にできた連合学習モデルの精度を用いて、モデル精度への貢献度を算出する。

【0094】

図７は、第２実施例における全クライアントが参加する処理を示す。

【0095】

サーバ５の選定部５４は、連合学習に参加する全てのクライアントの通信装置３を選定し（ステップＳ３１）、記憶・読出部５９がグローバルモデル管理ＤＢ５００１から読み出したグローバルモデルから、各通信装置３に配布するグローバルモデルを選定する（ステップＳ３２）。図７に示す第２実施例では、図４で説明した第１実施例と同様に、選定部５４は、連合学習に参加する全ての通信装置３に対して同一のグローバルモデルを選定する。

【0096】

選定部５４は、記憶・読出部５９がセントラルデータ管理ＤＢ５００２から読み出したセントラルデータから、グローバルモデルの精度の評価に用いる評価データを選定する（ステップＳ３３）。

【0097】

送受信部５１は、各通信装置３に対して、ステップＳ３２で選定したグローバルモデルを送信して、各通信装置３の送受信部３１は、サーバ５から送信されたグローバルモデルを受信する（ステップＳ３４）。

【0098】

選定部３４は、記憶・読出部３９がローカルデータ管理ＤＢ３００１から読み出したローカルデータから、学習処理に用いる学習データを選定し（ステップＳ３５）、算出部３７は、ステップＳ３５で選定した学習データのデータ数を算出する（ステップＳ３６）。

【0099】

学習処理部３８は、ステップＳ３４で受信したグローバルモデルに対して、ステップＳ３５で選定した学習データを用いて学習処理を実行し、学習処理が終了すると、記憶・読出部５９は、学習データを用いて学習処理を実行したグローバルモデルをローカルモデルとしてローカルモデル管理ＤＢ３００２に記憶させる（ステップＳ３７）。

【0100】

送受信部３１は、サーバ５に対して、ステップＳ３６で算出したデータ数と、ステップＳ３７で得られたローカルモデルを送信し、サーバ５の送受信部５１は、各通信装置３から送信されたデータ数とローカルモデルを受信する（ステップＳ３８）。

【0101】

更新部５２は、ステップＳ３８で受信した各通信装置３におけるデータ数とローカルモデルに基づき、ステップＳ３２で選定したグローバルモデルを更新する（ステップＳ３９）。

【0102】

評価部５６は、ステップＳ３３で選定した評価データに基づき、ステップＳ３９で更新したグローバルモデルの精度の評価値を算出する（ステップＳ４０）。

【0103】

図８は、本実施形態に係る処理の第２実施例を示す第２のシーケンス図である。

【0104】

図８は、第２実施例における対象のクライアントを連合学習から除外したときの処理、および対象のクライアントの貢献度を算出する処理を示す。

【0105】

サーバ５の選定部５４は、連合学習に参加する全てのクライアントから貢献度算出対象のクライアントを除いたクライアントの通信装置３を選定し（ステップＳ２３１）、サーバ５および通信装置３は、図７のステップＳ３２～Ｓ４０と同様に、ステップＳ２３２～Ｓ２４０を実行する。

【0106】

算出部５７は、ステップＳ４０で算出したグローバルモデルの評価値と、ステップＳ２４０で算出したグローバルモデルの評価値に基づき、ステップＳ３９で更新したグローバルモデルに対する対象の通信装置３のローカルモデルの貢献度を算出し（ステップＳ２４１）、決定部５３は、ステップＳ２４１で算出された対象の通信装置３のローカルモデルの貢献度に基づき、対象の通信装置３のクライアントのインセンティブを決定する（ステップＳ２４２）。

【0107】

送受信部５１は、対象の通信装置３に対して、ステップＳ２４２で決定したインセンティブを送信して、対象の通信装置３の送受信部３１は、サーバ５から送信されたインセンティブを受信する（ステップＳ２４３）。

【0108】

そして、サーバ５および通信装置３が、対象の通信装置３毎にステップＳ２３１～Ｓ２４３を実行することにより、全ての通信装置３が、インセンティブを受信する。

【0109】

図９は、図７および図８に示した第２実施例に係るサーバの全体的な処理を示すフローチャートである。

【0110】

選定部５４は、連合学習に参加する全てのクライアントの通信装置３を選定し（ステップＳ５１）、サーバ５は、図７のステップＳ３２～Ｓ４０に示したように、通信装置３とともに連合学習を実行し、更新したグローバルモデルの精度を評価する（ステップＳ５２）。

【0111】

選定部５４は、連合学習に参加する全てのクライアントから貢献度算出対象のクライアントを除いたクライアントの通信装置３を選定し（ステップＳ５３）、サーバ５は、図８のステップＳ２３２～Ｓ２４０に示したように、通信装置３とともに連合学習を実行し、更新したグローバルモデルの精度を評価する（ステップＳ５５）。

【0112】

算出部５７は、ステップＳ５２で得られたグローバルモデルの評価値と、ステップＳ５４で得られたグローバルモデルの評価値に基づき、ステップＳ５２で更新したグローバルモデルに対する対象の通信装置３のローカルモデルの貢献度を算出する（ステップＳ５５）。

【0113】

算出部５７は、一例として、次式を用いて対象の通信装置３のローカルモデルの貢献度を算出する。

【0114】

【数2】

【0115】

ここで、Ｅｉは、ステップＳ５４で得られたｉ番目のクライアントを除外して連合学習を行ったときのグローバルモデルの評価値を示し、ＥＡｌｌは、ステップＳ５４で得られた全クライアントが参加して連合学習を行ったときのグローバルモデルの評価値を表し、Ｋｉは、ｉ番目のクライアントの貢献度を表す。ここでの評価値Ｅは、ａｃｃｕｒａｃｙ，ｐｒｅｃｉｓｉｏｎ，ｒｅｃａｌｌ，ｆ１などのように値の範囲は０～１で、１に近づくほど高精度である場合の例を示しているが、例えば評価値Ｅが、ｌｏｓｓなどのように０に近づくほど高精度である場合には、算出部５７は、次式を用いて貢献度を算出してもよい。

【0116】

【数3】

【0117】

なお、貢献度算出方法は上記に限定するものではなく、ステップＳ５２で得られたグローバルモデルの評価値と、ステップＳ５４で得られたグローバルモデルの評価値に基づき算出できるものであればいかなるものでも良い。

【0118】

さらに、算出部５７は、上記で算出した各クライアントの貢献度に基づき、次式を用いて貢献率を算出しても良い。

【0119】

【数4】

【0120】

ここで、 ｎはクライアント数を、Ｋｉはｉ番目のクライアントの貢献度を、Ｃｉはｉ番目のクライアントの貢献率を表す。なお、貢献率算出方法は上記に限定するものではなく、上記で算出した各クライアントの貢献度を基に算出できるものであればいかなるものでも良い。

【0121】

判断部５５は、全てのクライアントの通信装置３のローカルモデルの貢献度を算出したか判断し、ローカルモデルの貢献度を算出していないクライアントの通信装置３が残っている場合には、ステップＳ５３に戻って、貢献度を未算出のクライアントの通信装置３に対する処理を実行する（ステップＳ５６）。

【0122】

ステップＳ５６で全てのクライアントの通信装置３のローカルモデルの貢献度を算出したと判断した場合には、決定部５３は、ステップＳ５５で算出された各クライアントの通信装置３のローカルモデルの貢献度に基づき、各クライアントのインセンティブを決定し、送受信部５１は、各クライアントの通信装置３に対して、決定したインセンティブを送信する（ステップＳ５７）。

【0123】

図１０は、図９に示した処理のステップＳ５２およびＳ５４の詳細を示すフローチャートである。

【0124】

サーバ５の選定部５４は、記憶・読出部５９がグローバルモデル管理ＤＢ５００１から読み出したグローバルモデルから、各通信装置３に配布するグローバルモデルを選定する（ステップＳ６１）。図９に示す第２実施例では、図５で説明した第１実施例と同様に、選定部５４は、連合学習に参加する全ての通信装置３に対して同一のグローバルモデルを選定する。

【0125】

選定部５４は、以前用いたグローバルモデルを選定してもよく、特定のクライアントで学習されたクライアントモデルに基づくグローバルモデルを選定してもよく、汎用のデータセットで事前に学習させたグローバルモデルを選定してもよい。

【0126】

記憶・読出部５９は、セントラルデータ管理ＤＢ５００２からセントラルデータを読み出して取得し（ステップＳ６２）、選定部５４は、ステップＳ６２で取得したセントラルデータからグローバルモデルの精度の評価に用いる評価データを選定する（ステップＳ６３）。

【0127】

ここで、選定部５４は、ステップＳ６２で取得したセントラルデータのすべてを評価データに選定したり、ランダムに評価データを選定したりしてもよいが、層化抽出法により評価データを選定することが好ましい。層化抽出法は、保有するデータ分布と同じになるように評価データを選定する方法である。

【0128】

送受信部５１は、各通信装置３に対して、ステップＳ６１で選定したグローバルモデルを送信する（ステップＳ６４）。

【0129】

送受信部５１は、各通信装置３から送信されたデータ数とローカルモデルを受信する（ステップＳ６５）。

【0130】

更新部５２は、ステップＳ６５で受信した各通信装置３におけるデータ数とローカルモデルに基づき、図５のステップＳ１４と同様に、ステップＳ６１で選定したグローバルモデルを更新する（ステップＳ６６）。

【0131】

評価部５６は、ステップＳ６３で選定した評価データに基づき、ステップＳ６６で更新したグローバルモデルの精度の評価値を算出する（ステップＳ６７）。ここで、評価値の例としては、ａｃｃｕｒａｃｙ，ｐｒｅｃｉｓｉｏｎ，ｒｅｃａｌｌ，ｆ１，ｌｏｓｓなどがあげられるが、評価値はこれらに限定するものではなく、機械学習モデルの性能を評価可能な値であればいかなる値でも良い。

【0132】

判断部５５は、図５のステップＳ１５と同様に、更新終了条件を満たしているか判断し、満たしていない場合は、ステップＳ６４に戻る（ステップＳ６８）。判断部５５は、ステップＳ６７で算出した評価値を用いて、更新終了条件を満たしているかを判断しても良い。

【0133】

以上、第２実施例に係るサーバの処理を示すフローチャートを説明したが、第２実施例に係る通信装置の処理を示すフローチャートは、図６で説明した第１実施例に係る通信装置の処理を示すフローチャートと同様であるため、説明を省略する。

【0134】

第２実施例では、算出部５７は、全クライアントが参加してできた連合学習モデルの精度と、貢献度算出対象のクライアントを連合学習から除外した際にできた連合学習モデルの精度を用いて、モデル精度への貢献度を算出するため、貢献度を精度良く算出することができる。

【0135】

そして、第２実施例では、サーバ５の評価部５６が、セントラルデータに基づきグローバルモデルを評価するため、グローバルモデルの汎用的な性能を精度良く評価できる。

【0136】

ここで、第２実施例の変形例として、全クライアントが参加してできた連合学習モデルの精度と、貢献度算出対象のクライアントのみ参加した連合学習モデルの精度を用いて、モデル精度への貢献度を算出してもよい。

【0137】

第２実施例の変形例では、図８のステップＳ２３１において、サーバ５の選定部５４は、貢献度算出対象のクライアントの通信装置３のみを選定し、ステップＳ２３９において、更新部５２は、ステップＳ２３８で受信した対象の通信装置３におけるデータ数とローカルモデルのみに基づき、グローバルモデルを更新する。このため、算出部５７は、実質的に、グローバルモデルの評価値と、ローカルモデルの評価値に基づき、対象の通信装置３のローカルモデルの貢献度を算出することになる。

【0138】

第２実施例の第２変形例は、第１実施例に比べて、貢献度を精度良く算出できるとともに、図７および図８に示した第２実施例に比べて、貢献度を容易に算出できる。

【0139】

図１１は、本実施形態に係る処理の第３実施例を示す第１のシーケンス図である。

【0140】

第２実施例は、第３実施例と同様に、モデル精度への貢献度に応じて、各クライアントの貢献度を算出し、算出した各クライアントのインセンティブを決定する。

【0141】

第２実施例は、セントラルデータに基づきグローバルモデルの精度を評価したが、第３実施例は、各クライアントのローカルデータに基づきグローバルモデルの精度を評価する。

【0142】

図１１は、第３実施例における全クライアントが参加する処理を示す。

【0143】

サーバ５の選定部５４は、連合学習に参加する全てのクライアントの通信装置３を選定し（ステップＳ７１）、記憶・読出部５９がグローバルモデル管理ＤＢ５００１から読み出したグローバルモデルから、各通信装置３に配布するグローバルモデルを選定する（ステップＳ７２）。図１１に示す第３実施例では、図４で説明した第１実施例や図７で説明した第２実施例と同様に、選定部５４は、連合学習に参加する全ての通信装置３に対して同一のグローバルモデルを選定する。

【0144】

第３実施例では、後段で選定部５４により選定されたグローバルモデルの精度を評価するため、選定部５４は、過去に貢献度の算出対象のクライアントが参加して更新されたグローバルモデルを選定する。

【0145】

送受信部５１は、各通信装置３に対して、ステップＳ７２で選定したグローバルモデルを送信して、各通信装置３の送受信部３１は、サーバ５から送信されたグローバルモデルを受信する（ステップＳ７３）。

【0146】

選定部３４は、記憶・読出部３９がローカルデータ管理ＤＢ３００１から読み出したローカルデータから、学習処理に用いる学習データを選定し（ステップＳ７４）、算出部３７は、ステップＳ７４で選定した学習データのデータ数を算出する（ステップＳ７５）。

【0147】

学習処理部３８は、ステップＳ７３で受信したグローバルモデルに対して、ステップＳ７４で選定した学習データを用いて学習処理を実行し、学習処理が終了すると、記憶・読出部５９は、学習データを用いて学習処理を実行したグローバルモデルをローカルモデルとしてローカルモデル管理ＤＢ３００２に記憶させる（ステップＳ７６）。

【0148】

選定部３４は、記憶・読出部５９がローカルデータ管理ＤＢ３００１から読み出したローカルデータから、グローバルモデルの精度の評価に用いる評価データを選定する（ステップＳ７７）。

【0149】

評価部３６は、ステップＳ７７で選定した評価データに基づき、ステップＳ７３で受信したグローバルモデルの精度の評価値を算出する（ステップＳ７８）。

【0150】

送受信部３１は、サーバ５に対して、ステップＳ７４で算出したデータ数と、ステップＳ７６で得られたローカルモデルと、ステップＳ７８で算出した評価値を送信し、サーバ５の送受信部５１は、各通信装置３から送信されたデータ数、ローカルモデルおよび評価値を受信する（ステップＳ７９）。

【0151】

更新部５２は、ステップＳ７９で受信した各通信装置３におけるデータ数とローカルモデルに基づき、ステップＳ７２で選定したグローバルモデルを更新する（ステップＳ８０）。

【0152】

評価部５６は、ステップＳ７９で受信した各通信装置３による評価値に基づき、ステップＳ７２で選定したグローバルモデルの精度の評価値を算出する（ステップＳ８１）。

【0153】

図１２は、本実施形態に係る処理の第３実施例を示す第２のシーケンス図である。

【0154】

図１２は、第３実施例における対象のクライアントを連合学習から除外したときの処理、および対象のクライアントの貢献度を算出する処理を示す。

【0155】

サーバ５の選定部５４は、連合学習に参加する全てのクライアントから貢献度算出対象のクライアントを除いたクライアントの通信装置３を選定し（ステップＳ２７１）、サーバ５および通信装置３は、図１１のステップＳ７２～Ｓ８１と同様に、ステップＳ２７２～Ｓ２８１を実行する。

【0156】

算出部５７は、ステップＳ８１で算出したグローバルモデルの評価値と、ステップＳ２８１で算出したグローバルモデルの評価値に基づき、ステップＳ７２で選定したグローバルモデルに対する対象の通信装置３のローカルモデルの貢献度を算出し（ステップＳ２８２）、決定部５３は、ステップＳ２８２で算出された対象の通信装置３のローカルモデルの貢献度に基づき、対象の通信装置３のクライアントのインセンティブを決定する（ステップＳ２８３）。

【0157】

送受信部５１は、対象の通信装置３に対して、ステップＳ２８３で決定したインセンティブを送信して、対象の通信装置３の送受信部３１は、サーバ５から送信されたインセンティブを受信する（ステップＳ２８４）。

【0158】

そして、サーバ５および通信装置３が、対象の通信装置３毎にステップＳ２７１～Ｓ２８４を実行することにより、全ての通信装置３が、インセンティブを受信する。

【0159】

図１３は、図１１および図１２に示した第３実施例に係るサーバの処理を示すフローチャートである。なお、第３実施例に係るサーバの全体的な処理は、図９に示した第２実施例のフローチャートと同様である。

【0160】

サーバ５の選定部５４は、記憶・読出部５９がグローバルモデル管理ＤＢ５００１から読み出したグローバルモデルから、各通信装置３に配布するグローバルモデルを選定する（ステップＳ９１）。図１３に示す第３実施例では、図５で説明した第１実施例や図９で説明した第２実施例と同様に、選定部５４は、連合学習に参加する全ての通信装置３に対して同一のグローバルモデルを選定する。

【0161】

第３実施例では、後段で選定部５４により選定されたグローバルモデルの精度を評価するため、選定部５４は、過去に貢献度の算出対象のクライアントが参加して更新されたグローバルモデルを選定する。

【0162】

送受信部５１は、各通信装置３に対して、ステップＳ９１で選定したグローバルモデルを送信する（ステップＳ９２）。

【0163】

送受信部５１は、各通信装置３から送信されたデータ数、ローカルモデルおよび評価値を受信する（ステップＳ９３）。

【0164】

更新部５２は、ステップＳ９３で受信した各通信装置３におけるデータ数とローカルモデルに基づき、図５のステップＳ１４と同様に、ステップＳ９１で選定したグローバルモデルを更新する（ステップＳ９４）。

【0165】

評価部５６は、ステップＳ９３で受信した各通信装置３による評価値に基づき、ステップＳ９１で選定したグローバルモデルの精度の評価値を算出する（ステップＳ９５）。

【0166】

評価部５６は、ステップＳ９３で受信した各通信装置３による評価値の平均値や、ステップＳ７９で受信したデータ数に応じて荷重平均した値等により、連合学習に参加する全ての通信装置３による評価値を算出する。

【0167】

また、過去に取得した各クライアントでの評価値と今回取得した各クライアントでの評価値を平均して算出しても良い。なお、評価値は上記に限定するものではなく、ステップＳ９３で受信した各通信装置３による評価値に基づいて、機械学習モデルの性能を評価可能な値であればいかなる値でも良い。

【0168】

判断部５５は、図５のステップＳ１５と同様に、更新終了条件を満たしているか判断し、満たしていない場合は、ステップＳ９２に戻る（ステップＳ９６）。判断部５５は、ステップＳ９５で算出した評価値を用いて、更新終了条件を満たしているかを判断しても良い。

【0169】

図１４は、図１１および図１２に示した第３実施例に係る通信装置の処理を示すフローチャートである。

【0170】

通信装置３の送受信部３１は、サーバ５から送信して配布されたグローバルモデルを受信して取得する（ステップＳ１０１）。

【0171】

記憶・読出部３９は、ローカルデータ管理ＤＢ３００１からローカルデータを読み出して取得する（ステップＳ１０２）。

【0172】

選定部３４は、ステップＳ１０２で取得したローカルデータから学習処理に用いる学習データを選定し、算出部３７は、選定した学習データのデータ数を算出する（ステップＳ１０３）。

【0173】

選定部３４は、記憶・読出部５９がローカルデータ管理ＤＢ３００１から読み出したローカルデータから、図１０のステップＳ６３と同様に、グローバルモデルの精度の評価に用いる評価データを選定する（ステップＳ１０４）。

【0174】

評価部３６は、ステップＳ１０４で選定した評価データに基づき、図１０のステップＳ６７と同様に、ステップＳ１０１で受信したグローバルモデルの精度の評価値を算出する（ステップＳ１０５）。

【0175】

学習処理部３８は、ステップＳ１０１で受信したグローバルモデルに対して、ステップＳ１０３で選定した学習データを用いて学習処理を実行する（ステップＳ１０６）。

【0176】

判断部３５は、図６のステップＳ２５と同様に、学習終了条件を満たしているか判断し、満たしていない場合は、ステップＳ１０６に戻る（ステップＳ１０７）。

【0177】

ステップＳ１０７で学習終了条件を満たしている場合には、記憶・読出部５９は、学習データを用いて学習処理を実行したグローバルモデルをローカルモデルとしてローカルモデル管理ＤＢ３００２に記憶させ、送受信部３１は、サーバ５に対して、学習処理を実行して得られたローカルモデルと、ステップＳ２３で算出したデータ数と、ステップＳ７８で算出した評価値を送信する（ステップＳ１０８）。

【0178】

以上説明した第３実施例では、第２実施例と同様に、算出部５７は、全クライアントが参加してできた連合学習モデルの精度と、貢献度算出対象のクライアントを連合学習から除外した際にできた連合学習モデルの精度を用いて、モデル精度への貢献度を算出するため、貢献度を精度良く算出することができる。

【0179】

また、第３実施例においても、第２実施例と同様に、変形例として、全クライアントが参加してできた連合学習モデルの精度と、貢献度算出対象のクライアントのみ参加した連合学習モデルの精度を用いて、モデル精度への貢献度を算出してもよい。

【0180】

そして、第３実施例では、通信装置３の評価部３６が、ローカルデータに基づきグローバルモデルを評価するため、グローバルモデルの特定の通信端末３に特化した性能を精度良く評価できる。

【0181】

図１５は、本実施形態に係る処理の第４実施例を示すシーケンス図である。

【0182】

実施例４は、実施例１～３のようにローカルモデルに基づきグローバルモデルを更新するのではなく、ローカルモデルに共有データを入力して得られた出力データに基づきグローバルモデルを更新する連合蒸留に係る処理を実行する。

【0183】

サーバ５の選定部５４は、連合学習に参加するクライアントの通信装置３を選定し（ステップＳ１１１）、記憶・読出部５９がグローバルモデル管理ＤＢ５００１から読み出したグローバルモデルから、各通信装置３に配布するグローバルモデルを選定する（ステップＳ１１２）。図１５に示す第４実施例では、選定部５４は、連合学習に参加する全ての通信装置３に対して同一のグローバルモデルを選定してもよく、通信装置３毎に異なる構造のグローバルモデルを選定しても良い。

【0184】

送受信部５１は、外部ストレージ４に対して、共有データを要求する情報を送信し（ステップＳ１１３）、外部ストレージ４から送信された共有データを受信する（ステップＳ１１４）。

【0185】

送受信部５１は、各通信装置３に対して、ステップＳ１１２で選定したグローバルモデルを送信して、各通信装置３の送受信部３１は、サーバ５から送信されたグローバルモデルを受信する（ステップＳ１１５）。

【0186】

選定部３４は、記憶・読出部３９がローカルデータ管理ＤＢ３００１から読み出したローカルデータから、学習処理に用いる学習データを選定し（ステップＳ１１６）、算出部３７は、ステップＳ１１６で選定した学習データのデータ数を算出する（ステップＳ１１７）。

【0187】

学習処理部３８は、ステップＳ１１５で受信したグローバルモデルに対して、ステップＳ１１６で選定した学習データを用いて学習処理を実行し、学習処理が終了すると、記憶・読出部５９は、学習データを用いて学習処理を実行したグローバルモデルをローカルモデルとしてローカルモデル管理ＤＢ３００２に記憶させる（ステップＳ１１８）。

【0188】

送受信部３１は、外部ストレージ４に対して、共有データを要求する情報を送信し（ステップＳ１１９）、外部ストレージ４から送信された共有データを受信する（ステップＳ１２０）。

【0189】

算出部３７は、ステップＳ１１８で得られたローカルモデルに、ステップＳ１２０で受信した共有データを入力して得られる出力データを算出する（ステップＳ１２１）。

【0190】

送受信部３１は、サーバ５に対して、ステップＳ１１７で算出したデータ数と、ステップＳ１２１で算出された出力データを送信し、サーバ５の送受信部５１は、各通信装置３から送信されたデータ数と出力データを受信する（ステップＳ１２２）。

【0191】

更新部５２は、ステップＳ１１４で受信した共有データ、ステップＳ１２２で受信した各通信装置３におけるデータ数および出力データに基づき、ステップＳ１１２で選定したグローバルモデルを更新する（ステップＳ１２３）。

【0192】

算出部５７は、ステップＳ１２２で受信した各通信装置３におけるデータ数に基づき、ステップＳ１２３で更新したグローバルモデルに対する各通信装置３のローカルモデルの貢献度を算出し（ステップＳ１２４）、決定部５３は、ステップＳ１２４で算出された各通信装置３のローカルモデルの貢献度に基づき、各通信装置３のクライアントのインセンティブを決定する（ステップＳ１２５）。

【0193】

送受信部５１は、各通信装置３に対して、ステップＳ１２５で決定したインセンティブを送信して、各通信装置３の送受信部３１は、サーバ５から送信されたインセンティブを受信する（ステップＳ１２６）。

【0194】

図１６は、図１５に示した第４実施例に係るサーバの処理を示すフローチャートである。

【0195】

サーバ５の記憶・読出部５９は、グローバルモデル管理ＤＢ５００１からグローバルモデルを読み出して取得する（ステップＳ１３１）。取得するグローバルモデルは、以前用いたグローバルモデルでもよく、特定のクライアントで学習されたクライアントモデルに基づくグローバルモデルでもよく、汎用のデータセットで事前に学習させたグローバルモデルでもよい。

【0196】

選定部５４は、各通信装置３に配布するグローバルモデルを選択する（ステップＳ１３２）。図１６に示す第４実施例では、選定部５４は、連合学習に参加する全ての通信装置３に対して同一のグローバルモデルを選定してもよく、通信装置３毎に異なる構造のグローバルモデルを選定しても良い。ここで、異なる構造とは、Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋを例にすると、Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋの層構成や、各層のチャネル数などの、Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋの構造が異なる事を指す。

【0197】

選定部５４は、さらに、グローバルモデルをランダムに選定したり、各クライアントのデータ数に応じて選定したり、各クライアントでよく使用しているモデルを選定したり、クライアント側で所望するモデルを選定したり、してもよい。

【0198】

送受信部３１は、外部ストレージ４に対して、共有データを要求する情報を送信し、外部ストレージ４から送信された共有データを受信して取得する（ステップＳ１３３）。ここで共有データとは、サーバ５と通信端末３の両方に共有可能なデータであり、ラベルが不要なデータセットの事を指す。共有データは、ラベルが不要であるため、アノテーション作業も必要ない。

【0199】

送受信部５１は、各通信装置３に対して、ステップＳ１３１で選定したグローバルモデルを送信する（ステップＳ１３４）。

【0200】

送受信部５１は、各通信装置３から送信されたデータ数と、学習後のローカルモデルに共有データを入力して得られた出力データを受信して取得する（ステップＳ１３５）。

【0201】

更新部５２は、ステップＳ１３３で取得した共有データ、ステップＳ１３５で受信した各通信装置３におけるデータ数および出力データに基づき、グローバルモデルを更新する（ステップＳ１３６）。

【0202】

更新部５２は、各通信装置３における出力データを平均した値に基づき、グローバルモデルを更新してもよく、各クライアントの出力データを単純に平均するだけでなく、各通信装置３におけるデータ数に応じて荷重平均した値に基づき、グローバルモデルを更新してもよい。

【0203】

グローバルモデルを更新する方法は、公知の技術である知識の蒸留（Ｋｎｏｗｌｅｄｇｅ Ｄｉｓｔｉｌｌａｔｉｏｎ）を用いればよい。実施例４では、知識の蒸留（Ｋｎｏｗｌｅｄｇｅ Ｄｉｓｔｉｌｌａｔｉｏｎ）における教師モデルは、各クライアントから取得した出力データを平均した値を表し、生徒モデルは、グローバルモデルを表す。なお、教師モデルから生徒モデルを生成する方法は広く知られており、ここでは詳細な説明は省略する。

【0204】

判断部５５は、図５のステップＳ１５と同様に、更新終了条件を満たしているか判断し、満たしていない場合は、ステップＳ１３４に戻る（ステップＳ１３７）。

【0205】

ステップＳ１３７で更新終了条件を満たしている場合には、算出部５７は、図５のステップＳ１６と同様に、ステップＳ１３５で受信した各通信装置３におけるデータ数に基づき、ステップＳ１３６で更新したグローバルモデルに対する各通信装置３のクライアントの貢献度を算出する（ステップＳ１３８）。

【0206】

決定部５３は、ステップＳ１３８で算出された貢献度に基づき、図５のステップＳ１７と同様に、各通信装置３のクライアントのインセンティブを決定する（ステップＳ１３９）。

【0207】

図１７は、図１５に示した第４実施例に係る通信装置の処理を示すフローチャートである。

【0208】

通信装置３の送受信部３１は、サーバ５から送信して配布されたグローバルモデルを受信して取得する（ステップＳ１４１）。

【0209】

記憶・読出部３９は、ローカルデータ管理ＤＢ３００１からローカルデータを読み出して取得する（ステップＳ１４２）。

【0210】

選定部３４は、ステップＳ２２で取得したローカルデータから学習処理に用いる学習データを選定し、算出部３７は、選定した学習データのデータ数を算出する（ステップＳ１４３）。

【0211】

学習処理部３８は、ステップＳ２１で受信したグローバルモデルに対して、ステップＳ５で選定した学習データを用いて学習処理を実行する（ステップＳ１４４）。

【0212】

判断部３５は、図６のステップＳ２５と同様に、学習終了条件を満たしているか判断し、満たしていない場合はステップＳ２４に戻り、学習終了条件を満たしている場合には、記憶・読出部５９は、学習データを用いて学習処理を実行したグローバルモデルをローカルモデルとしてローカルモデル管理ＤＢ３００２に記憶させる（ステップＳ１４５）。

【0213】

送受信部３１は、外部ストレージ４に対して、共有データを要求する情報を送信し、外部ストレージ４から送信された共有データを受信して取得する（ステップＳ１４６）。

【0214】

算出部３７は、ステップＳ１４５で得られたローカルモデルに、ステップＳ１４６で受信した共有データを入力して得られる出力データを算出する（ステップＳ１４７）
送受信部３１は、サーバ５に対して、ステップＳ２３で算出したデータ数と、ステップＳ１４７で算出された出力データを送信する（ステップＳ２６）。

【0215】

以上説明した実施例４は、実施例１と同様の効果を奏することができる。また、実施例４は、実施例１～３のようにローカルモデルに基づきグローバルモデルを更新するのではなく、ローカルモデルに共有データを入力して得られた出力データに基づきグローバルモデルを更新する連合蒸留に係る処理を実行する。

【0216】

この場合、実施例４は、実施例１～３のようにクライアントで使用されるローカルモデルがすべて同じである必要がなく、各クライアントで異なる構造のローカルモデルを使用可能である。

【0217】

これにより、データ数や、データ分布、よく使用しているモデル構造等の各クライアントの状況に応じてより適切なモデル構造を選定する事が可能となり、精度向上につながると考えられる。例えば、データ数が少ないクライアントには、Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋの層数が少ない、小さいモデルを選定し、データ数が多いクライアントには、Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋの層数が多い、大きなモデルを選定することが可能である。

【0218】

図１８は、本実施形態に係る処理の第５実施例を示す第１のシーケンス図である。

【0219】

第５実施例は、連合蒸留により得られるモデル精度への貢献度に応じて、各クライアントの貢献度を算出し、算出した各クライアントのインセンティブを決定する。

【0220】

具体的には、全クライアントが参加してできた連合学習モデルの精度と、貢献度算出対象のクライアントを連合学習から除外した際にできた連合学習モデルの精度を用いて、モデル精度への貢献度を算出する。

【0221】

図１８は、第５実施例における全クライアントが参加する処理を示す。

【0222】

サーバ５の選定部５４は、連合学習に参加する全てのクライアントの通信装置３を選定し（ステップＳ１５１）、記憶・読出部５９がグローバルモデル管理ＤＢ５００１から読み出したグローバルモデルから、各通信装置３に配布するグローバルモデルを選定する（ステップＳ１５２）。図１８に示す第５実施例では、選定部５４は、連合学習に参加する全ての通信装置３に対して同一のグローバルモデルを選定してもよく、通信装置３毎に異なる構造のグローバルモデルを選定しても良い。

【0223】

送受信部５１は、外部ストレージ４に対して、共有データを要求する情報を送信し（ステップＳ１５３）、外部ストレージ４から送信された共有データを受信する（ステップＳ１５４）。

【0224】

選定部５４は、記憶・読出部５９がセントラルデータ管理ＤＢ５００２から読み出したセントラルデータから、図１０のステップＳ６３と同様に、グローバルモデルの精度の評価に用いる評価データを選定する（ステップＳ１５５）。

【0225】

送受信部５１は、各通信装置３に対して、ステップＳ３２で選定したグローバルモデルを送信して、各通信装置３の送受信部３１は、サーバ５から送信されたグローバルモデルを受信する（ステップＳ１５６）。

【0226】

選定部３４は、記憶・読出部３９がローカルデータ管理ＤＢ３００１から読み出したローカルデータから、学習処理に用いる学習データを選定し（ステップＳ１５７）、算出部３７は、ステップＳ１５７で選定した学習データのデータ数を算出する（ステップＳ１５８）。

【0227】

学習処理部３８は、ステップＳ１５６で受信したグローバルモデルに対して、ステップＳ１５７で選定した学習データを用いて学習処理を実行し、学習処理が終了すると、記憶・読出部５９は、学習データを用いて学習処理を実行したグローバルモデルをローカルモデルとしてローカルモデル管理ＤＢ３００２に記憶させる（ステップＳ１５９）。

【0228】

送受信部３１は、外部ストレージ４に対して、共有データを要求する情報を送信し（ステップＳ１６０）、外部ストレージ４から送信された共有データを受信する（ステップＳ１６１）。

【0229】

算出部３７は、ステップＳ１５９で得られたローカルモデルに、ステップＳ１６１で受信した共有データを入力して得られる出力データを算出する（ステップＳ１６２）。

【0230】

送受信部３１は、サーバ５に対して、ステップＳ１５８で算出したデータ数と、ステップＳ１６２で算出された出力データを送信し、サーバ５の送受信部５１は、各通信装置３から送信されたデータ数と出力データを受信する（ステップＳ１６３）。

【0231】

更新部５２は、ステップＳ１５４で受信した共有データ、ステップＳ１６３で受信した各通信装置３におけるデータ数および出力データに基づき、ステップＳ１２２で選定したグローバルモデルを更新する（ステップＳ１６４）。

【0232】

評価部５６は、ステップＳ１５５で選定した評価データに基づき、ステップＳ１６４で更新したグローバルモデルの精度の評価値を算出する（ステップＳ１６５）。

【0233】

図１９は、本実施形態に係る処理の第５実施例を示す第２のシーケンス図である。

【0234】

図１９は、第５実施例における対象のクライアントを連合学習から除外したときの処理、および対象のクライアントの貢献度を算出する処理を示す。

【0235】

サーバ５の選定部５４は、連合学習に参加する全てのクライアントから貢献度算出対象のクライアントを除いたクライアントの通信装置３を選定し（ステップＳ３５１）、サーバ５および通信装置３は、図１８のステップＳ１５２～Ｓ１６５と同様に、ステップＳ３５２～Ｓ３６５を実行する。

【0236】

算出部５７は、ステップＳ１６５で算出したグローバルモデルの評価値と、ステップＳ３６５で算出したグローバルモデルの評価値に基づき、ステップＳ１６５で更新したグローバルモデルに対する対象の通信装置３のローカルモデルの貢献度を算出し（ステップＳ３６６）、決定部５３は、ステップＳ３６６で算出された対象の通信装置３のローカルモデルの貢献度に基づき、対象の通信装置３のクライアントのインセンティブを決定する（ステップＳ３６７）。

【0237】

送受信部５１は、対象の通信装置３に対して、ステップＳ３６７で決定したインセンティブを送信して、対象の通信装置３の送受信部３１は、サーバ５から送信されたインセンティブを受信する（ステップＳ３６８）。

【0238】

そして、サーバ５および通信装置３が、対象の通信装置３毎にステップＳ３５１～Ｓ３６８を実行することにより、全ての通信装置３が、インセンティブを受信する。

【0239】

以上説明した第５実施例においても、第２実施例と同様に、変形例として、全クライアントが参加してできた連合学習モデルの精度と、貢献度算出対象のクライアントのみ参加した連合学習モデルの精度を用いて、モデル精度への貢献度を算出してもよい。

【0240】

以上説明した実施例５は、実施例２と同様の効果、かつ実施例４と同様の効果を奏することができる。

【0241】

図２０は、本実施形態に係る処理の第６実施例を示す第１のシーケンス図である。

【0242】

第６実施例は、第５実施例と同様に、連合蒸留により得られるモデル精度への貢献度に応じて、各クライアントの貢献度を算出し、算出した各クライアントのインセンティブを決定する。

【0243】

第５実施例は、セントラルデータに基づきグローバルモデルの精度を評価したが、第６実施例は、各クライアントのローカルデータに基づきグローバルモデルの精度を評価する。

【0244】

図２０は、第６実施例における全クライアントが参加する処理を示す。

【0245】

サーバ５の選定部５４は、連合学習に参加する全てのクライアントの通信装置３を選定し（ステップＳ１７１）、記憶・読出部５９がグローバルモデル管理ＤＢ５００１から読み出したグローバルモデルから、各通信装置３に配布するグローバルモデルを選定する（ステップＳ１７２）。図２０に示す第６実施例では、選定部５４は、連合学習に参加する全ての通信装置３に対して同一のグローバルモデルを選定してもよく、通信装置３毎に異なる構造のグローバルモデルを選定しても良い。

【0246】

送受信部５１は、外部ストレージ４に対して、共有データを要求する情報を送信し（ステップＳ１７３）、外部ストレージ４から送信された共有データを受信する（ステップＳ１７４）。

【0247】

第６実施例では、後段で選定部５４により選定されたグローバルモデルの精度を評価するため、選定部５４は、過去に貢献度の算出対象のクライアントが参加して更新されたグローバルモデルを選定する。

【0248】

送受信部５１は、各通信装置３に対して、ステップＳ７２で選定したグローバルモデルを送信して、各通信装置３の送受信部３１は、サーバ５から送信されたグローバルモデルを受信する（ステップＳ１７５）。

【0249】

選定部３４は、記憶・読出部３９がローカルデータ管理ＤＢ３００１から読み出したローカルデータから、学習処理に用いる学習データを選定し（ステップＳ１７６）、算出部３７は、ステップＳ１７６で選定した学習データのデータ数を算出する（ステップＳ１７７）。

【0250】

学習処理部３８は、ステップＳ１７５で受信したグローバルモデルに対して、ステップＳ１７６で選定した学習データを用いて学習処理を実行し、学習処理が終了すると、記憶・読出部５９は、学習データを用いて学習処理を実行したグローバルモデルをローカルモデルとしてローカルモデル管理ＤＢ３００２に記憶させる（ステップＳ１７８）。

【0251】

送受信部３１は、外部ストレージ４に対して、共有データを要求する情報を送信し（ステップＳ１７９）、外部ストレージ４から送信された共有データを受信する（ステップＳ１８０）。

【0252】

算出部３７は、ステップＳ１７８で得られたローカルモデルに、ステップＳ１８０で受信した共有データを入力して得られる出力データを算出する（ステップＳ１８１）。

【0253】

選定部３４は、記憶・読出部５９がローカルデータ管理ＤＢ３００１から読み出したローカルデータから、図１０のステップＳ６３と同様に、グローバルモデルの精度の評価に用いる評価データを選定する（ステップＳ１８２）。

【0254】

評価部３６は、ステップＳ１８２で選定した評価データに基づき、ステップＳ１７５で受信したグローバルモデルの精度の評価値を算出する（ステップＳ１８３）。

【0255】

送受信部３１は、サーバ５に対して、ステップＳ１７７で算出したデータ数と、ステップＳ１８１で算出された出力データと、ステップＳ１８３で算出した評価値を送信し、サーバ５の送受信部５１は、各通信装置３から送信されたデータ数、出力データおよび評価値を受信する（ステップＳ１８４）。

【0256】

更新部５２は、ステップＳ１７４で受信した共有データ、ステップＳ１８４で受信した各通信装置３におけるデータ数および出力データに基づき、ステップＳ１７２で選定したグローバルモデルを更新する（ステップＳ１８５）。

【0257】

評価部５６は、ステップＳ１８４で受信した各通信装置３による評価値に基づき、ステップＳ１７２で選定したグローバルモデルの精度の評価値を算出する（ステップＳ１８６）。

【0258】

図２１は、本実施形態に係る処理の第６実施例を示す第２のシーケンス図である。

【0259】

図２１は、第６実施例における対象のクライアントを連合学習から除外したときの処理、および対象のクライアントの貢献度を算出する処理を示す。

【0260】

サーバ５の選定部５４は、連合学習に参加する全てのクライアントから貢献度算出対象のクライアントを除いたクライアントの通信装置３を選定し（ステップＳ３７１）、サーバ５および通信装置３は、図２０のステップＳ１７２～Ｓ１８６と同様に、ステップＳ３７２～Ｓ３８６を実行する。

【0261】

算出部５７は、ステップＳ１８６で算出したグローバルモデルの評価値と、ステップＳ３８６で算出したグローバルモデルの評価値に基づき、ステップＳ１７２で選定したグローバルモデルに対する対象の通信装置３のローカルモデルの貢献度を算出し（ステップＳ３８７）、決定部５３は、ステップＳ３８７で算出された対象の通信装置３のローカルモデルの貢献度に基づき、対象の通信装置３のクライアントのインセンティブを決定する（ステップＳ３８８）。

【0262】

送受信部５１は、対象の通信装置３に対して、ステップＳ３８８で決定したインセンティブを送信して、対象の通信装置３の送受信部３１は、サーバ５から送信されたインセンティブを受信する（ステップＳ３８９）。

【0263】

そして、サーバ５および通信装置３が、対象の通信装置３毎にステップＳ３７１～Ｓ３８９を実行することにより、全ての通信装置３が、インセンティブを受信する。

【0264】

以上説明した第６実施例においても、第２実施例と同様に、変形例として、全クライアントが参加してできた連合学習モデルの精度と、貢献度算出対象のクライアントのみ参加した連合学習モデルの精度を用いて、モデル精度への貢献度を算出してもよい。

【0265】

以上説明した実施例６は、実施例３と同様の効果、かつ実施例４と同様の効果を奏することができる。

【0266】

●まとめ●
［第１態様］
以上説明したように、本発明の一実施形態に係るサーバ５は、複数の通信装置３に対して、グローバルモデルを示す情報を送信するとともに、通信装置３が処理するローカルデータによってグローバルモデルを基に学習したローカルモデルを示す情報またはローカルモデルに対して共有データを入力して得られた出力データを、複数の通信装置３のそれぞれから受信する送受信部５１と、複数の通信装置３から受信した複数のローカルモデルを示す情報または複数の出力データに基づいて、グローバルモデルを更新する更新部５２と、更新後のグローバルモデルに対する、複数のローカルモデルまたは複数の出力データのそれぞれの貢献度を算出する算出部５７と、を備える。ここで、サーバ５はサーバ５の一例であり、通信装置３は通信装置３の一例である。

【0267】

これにより、各クライアントの通信装置３にローカルデータを分散した状態のまま、グローバルモデルに対する各クライアントの貢献度を算出できるため、クライアントのプライバシーやセキュリティを担保しながら、グローバルモデルの更新に貢献するクライアントのモチベーションを与えることができる。

【0268】

［第２態様］
第１態様において、サーバ５は、複数のローカルモデルまたは複数の出力データのそれぞれの貢献度に基づき、複数の通信装置３のそれぞれに対するインセンティブを決定する決定部５３をさらに備える。

【0269】

これにより、クライアントのプライバシーやセキュリティを担保しながら、グローバルモデルの更新に対するインセンティブをクライアントに与えることができる。

【0270】

［第３態様］
第１態様または第２態様において、サーバ５は、複数の通信装置３に対して、グローバルモデルを示す情報を送信する送受信部５１をさらに備える。なお、他の形態として、グローバルモデルを示す情報は、サーバ５以外の外部ストレージ４等から複数の通信装置３へ配布されても良い。

【0271】

［第４態様］
第１態様～第３態様の何れかにおいて、送受信部５１は、さらに、ローカルモデルを学習するときに用いられたローカルデータのデータ量を受信し、算出部５７は、複数の通信装置３のそれぞれのデータ量の一例であるデータ数に基づき、貢献度を算出する。これにより、貢献度を容易に算出することができる。

【0272】

［第５態様］
第１態様～第４態様の何れかにおいて、更新部５２は、特定の通信装置３を含む複数の通信装置３のそれぞれから受信した複数のローカルモデルを示す情報または出力データに基づいて、グローバルモデルを第１のグローバルモデルに更新するとともに、複数の通信装置３から特定の通信装置３を除いた通信装置３または特定の通信装置３から受信したローカルモデルまたは出力データに基づいて、グローバルモデルを第２のグローバルモデルに更新し、算出部５７は、第１のグローバルモデルの評価と、第２のグローバルモデルの評価に基づき、特定の通信装置３のローカルモデルまたは出力データの貢献度を算出する。

【0273】

これにより、貢献度を精度良く算出することができる。ここで、更新部５２が、複数の通信装置３から特定の通信装置３を除いた通信装置３から受信したローカルモデルまたは出力データに基づいて、グローバルモデルを第２のグローバルモデルに更新する場合には、特定の通信装置３を除いた場合の影響度合いを精度よく評価できるため、貢献度をより精度良く算出することができる。

【0274】

［第６態様］
第５態様において、サーバ５は、評価データに基づき第１のグローバルモデルおよび第２のグローバルモデルをそれぞれ評価する評価部５６をさらに備える。これにより、第１のグローバルモデルおよび第２のグローバルモデルの汎用的な性能を精度良く評価できる。

【0275】

［第７態様］
第５態様において、送受信部５１は、さらに、ローカルデータに基づく第１のグローバルモデルの評価と、ローカルデータに基づく第２のグローバルモデルの評価を受信する。これにより、第１のグローバルモデルおよび第２のグローバルモデルの特定の通信端末３に特化した性能を評価することができる。

【0276】

［第８態様］
本発明の一実施形態に係るサーバ５は、通信装置３が処理するローカルデータによってグローバルモデルを基に学習したローカルモデルを示す情報またはローカルモデルに対して共有データを入力して得られた出力データを、複数の通信装置３のそれぞれから受信する送受信部５１と、複数の通信装置３から受信した複数のローカルモデルを示す情報または複数の出力データに基づいて、グローバルモデルを更新する更新部５２と、評価データに基づき、更新されたグローバルモデルを評価する評価部５６と、を備える。これにより、グローバルモデルの汎用的な性能を精度良く評価できる。

【0277】

［第９態様］
本発明の一実施形態に係る通信装置３は、ローカルデータによってグローバルモデルを基に学習したローカルモデルを得る学習処理部３８と、複数の通信装置３のローカルモデルまたはローカルモデルに対して共有データを入力して得られた複数の通信装置３の出力データに基づき更新されたグローバルモデルを、ローカルデータに基づき評価する評価部３６と、を備える。これにより、グローバルモデルの特定の通信端末３に特化した性能を評価することができる。

【0278】

［第１０態様］
本発明の一実施形態に係る情報処理方法は、複数の通信装置３に対して、グローバルモデルを示す情報を送信する送信ステップと、通信装置３が処理するローカルデータによってグローバルモデルを基に学習したローカルモデルを示す情報またはローカルモデルに対して共有データを入力して得られた出力データを、複数の通信装置３のそれぞれから受信する受信ステップと、複数の通信装置３から受信した複数のローカルモデルを示す情報または複数の出力データに基づいて、グローバルモデルを更新する更新ステップと、更新後のグローバルモデルに対する、複数のローカルモデルまたは複数の出力データのそれぞれの貢献度を算出する算出ステップと、を実行する。

【0279】

［第１１態様］
本発明の一実施形態に係る情報処理方法は、通信装置３が処理するローカルデータによってグローバルモデルを基に学習したローカルモデルを示す情報またはローカルモデルに対して共有データを入力して得られた出力データを、複数の通信装置３のそれぞれから受信する受信ステップと、複数の通信装置３から受信した複数のローカルモデルを示す情報または複数の出力データに基づいて、グローバルモデルを更新する更新ステップと、評価データに基づき、更新されたグローバルモデルを評価する評価ステップと、を実行する。

【0280】

［第１２態様］
本発明の一実施形態に係る情報処理方法は、ローカルデータによってグローバルモデルを基に学習したローカルモデルを得る学習処理ステップと、複数の通信装置３のローカルモデルまたはローカルモデルに対して共有データを入力して得られた複数の通信装置３の出力データに基づき更新されたグローバルモデルを、ローカルデータに基づき評価する評価ステップと、を実行する。

【0281】

［第１３態様］
本発明の一実施形態に係るプログラムは、コンピュータに、第１０態様～第１２態様の何れかの情報処理方法を実行させる。

【0282】

［第１４態様］
本発明の一実施形態に係る情報処理システム１は、サーバ５と、サーバ５と通信可能な複数の通信装置３を備え、複数の通信装置３のそれぞれは、サーバ５に対して、ローカルデータによってグローバルモデルを基に学習したローカルモデルを示す情報またはローカルモデルに対して共有データを入力して得られた出力データを送信する送受信部３１を備え、サーバ５は、ローカルモデルを示す情報または出力データを、複数の通信装置３のそれぞれから受信する送受信部５１と、複数の通信装置３から受信した複数のローカルモデルを示す情報または複数の出力データに基づいて、グローバルモデルを更新する更新部５２と、更新後のグローバルモデルに対する、複数のローカルモデルまたは複数の出力データのそれぞれの貢献度を算出する算出部５７と、を備える。

【0283】

［第１５態様］
本発明の一実施形態に係る情報処理システム１は、サーバ５と、サーバ５と通信可能な複数の通信装置３を備え、複数の通信装置３のそれぞれは、サーバ５に対して、ローカルデータによってグローバルモデルを基に学習したローカルモデルを示す情報またはローカルモデルに対して共有データを入力して得られた出力データを送信する送受信部３１を備え、サーバ５は、ローカルモデルを示す情報または出力データを、複数の通信装置３のそれぞれから受信する送受信部５１と、複数の通信装置３から受信した複数のローカルモデルを示す情報または複数の出力データに基づいて、グローバルモデルを更新する更新部５２と、評価データに基づき、更新されたグローバルモデルを評価する評価部５６と、を備える。

【0284】

［第１６態様］
本発明の一実施形態に係る情報処理システム１は、サーバ５と、サーバ５と通信可能な複数の通信装置３を備え、複数の通信装置３のそれぞれは、
ローカルデータによってグローバルモデルを基に学習したローカルモデルを得る学習処理部３８と、サーバ５に対して、ローカルモデルを示す情報またはローカルモデルに対して共有データを入力して得られた出力データを送信する送受信部３１と、を備え、サーバ５は、ローカルモデルを示す情報または出力データを、複数の通信装置３のそれぞれから受信する送受信部５１と、複数の通信装置３から受信した複数のローカルモデルを示す情報または複数の出力データに基づいて、グローバルモデルを更新する更新部５２と、複数の通信装置３に対して、更新されたグローバルモデルを送信する送受信部５１と、を備え、複数の通信装置３のそれぞれは、さらに、更新されたグローバルモデルを、情報処理手段から受信する送受信部３１と、更新されたグローバルモデルを、ローカルデータに基づき評価する評価部３６と、を備える。

【符号の説明】

【0285】

１ 情報処理システム
１００ 通信ネットワーク
３ 通信装置（ノードの一例）
３１ 送受信部（受信手段の一例）
３２ 受付部（受付手段の一例）
３３ 表示制御部（表示制御手段の一例）
３４ 選定部（選定手段の一例）
３５ 判断部（判断手段の一例）
３６ 評価部（評価手段の一例）
３７ 算出部（算出手段の一例）
３８ 学習処理部（学習処理手段の一例）
３９ 記憶・読出部（記憶制御手段の一例）
３０８ ディスプレイ（表示部の一例）
３０００ 記憶部
３００１ ローカルデータ管理ＤＢ（ローカルデータ管理手段の一例）
５００２ ローカルモデル管理ＤＢ（ローカルモデル管理手段の一例）
５ サーバ（情報処理装置の一例）
５１ 送受信部（送信手段の一例）
５３ 決定部（決定手段の一例）
５４ 選定部（選定手段の一例）
５５ 判断部（判断手段の一例）
５６ 評価部（評価手段の一例）
５７ 算出部（算出手段の一例）
５９ 記憶・読出部（記憶制御手段の一例）
５０００ 記憶部
５００１ グローバルモデル管理ＤＢ（グローバルモデル管理手段の一例）
５００２ セントラルデータ管理ＤＢ（セントラルデータ管理手段の一例）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】