特開 2024-173659 安全なモデリング交換に基づくデータ学習システムのための機器及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024173659

(43)【公開日】2024-12-12

(54)【発明の名称】安全なモデリング交換に基づくデータ学習システムのための機器及び方法

(51)【国際特許分類】

   G06N 3/098 20230101AFI20241205BHJP

【ＦＩ】

G06N3/098

【審査請求】有

【請求項の数】20

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2024036097

(22)【出願日】2024-03-08

(31)【優先権主張番号】63/470,108

(32)【優先日】2023-05-31

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】18/597,648

(32)【優先日】2024-03-06

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】392026693

【氏名又は名称】株式会社ＮＴＴドコモ

(74)【代理人】

【識別番号】100088155

【弁理士】

【氏名又は名称】長谷川 芳樹

(74)【代理人】

【識別番号】100113435

【弁理士】

【氏名又は名称】黒木 義樹

(74)【代理人】

【識別番号】100121980

【弁理士】

【氏名又は名称】沖山 隆

(74)【代理人】

【識別番号】100128107

【弁理士】

【氏名又は名称】深石 賢治

(74)【代理人】

【識別番号】100123995

【弁理士】

【氏名又は名称】野田 雅一

(72)【発明者】

【氏名】守屋 裕樹

(72)【発明者】

【氏名】井上 義隆

(57)【要約】

【課題】データ学習システム（たとえば、機械学習（ＭＬ）システムなど）を構築するためのアーキテクチャ、機器、及び方法を提供する。
【解決手段】アーキテクチャは、クライアントのグループを識別して、連合学習によってグローバルモデルを構築するためのプラットフォームを含み、該プラットフォームは、グローバルモデルでのモデル定義をグループに供給し、そのグループから受信されたモデルパラメータを集約してグローバルモデルを構築することによって、グローバルモデルを構築するためのグループマネージャと、該グループマネージャに通信可能に接続されて、各クライアントの寄与に基づいて、プラットフォームに通信可能に接続された各クライアントへのインセンティブを計算してグローバルモデルを訓練するインセンティブ計算機と、含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

グローバル機械学習（ＭＬ）モデルを構築するためのアーキテクチャであって、
クライアントのグループを識別して、連合学習によってグローバルモデルを構築するためのプラットフォーム、
を備え、
前記プラットフォームが、
前記グローバルモデルでのモデル定義を前記グループに供給し、前記グループから受信されたモデルパラメータを集約して前記グローバルモデルを構築することによって、前記グローバルモデルを構築するためのグループマネージャであって、前記クライアントが、前記クライアントのそれぞれのクライアントサイトにおいてローカルデータを使用して、前記それぞれのクライアントサイトにおいてローカルＭＬモデルを訓練することによって、前記モデルパラメータが生成される、当該グループマネージャと、
前記グループマネージャに通信可能に接続されて、各クライアントの寄与に基づいて、前記プラットフォームに通信可能に接続された各クライアントへのインセンティブを計算して、前記グローバルモデルを訓練するインセンティブ計算機であって、各クライアントの寄与が、ローカルデータを用いて、前記モデルパラメータのローカルＭＬモデルを訓練する結果として生成される１つ又は複数のモデルパラメータを含む、当該インセンティブ計算機と、
を含む、
アーキテクチャ。

【請求項2】

前記グローバルモデルでのモデルフォーマット及び特徴フォーマットを記憶するためのレジストリと、
前記モデル定義の一部分として、前記モデルフォーマット及び特徴フォーマットを前記グループに提供するためのサーバと、
をさらに備える、請求項１に記載のアーキテクチャ。

【請求項3】

前記グループマネージャが訓練の要求を前記クライアントに送信して、前記クライアントが前記訓練の要求に応答して前記グループに参加した後に、
前記サーバは、前記モデル定義の一部分として前記モデル及び特徴のフォーマットを前記グループに提供する、請求項２に記載のアーキテクチャ。

【請求項4】

前記サーバは、
前記ローカルＭＬモデルを訓練するときに使用するために、前記モデルフォーマット及び特徴フォーマットを前記各クライアントに提供する、請求項２に記載のアーキテクチャ。

【請求項5】

前記グループマネージャは、
前記クライアントそれぞれのローカルＭＬモデルを訓練するのに使用されるデータのクライアントデータセットのサイズ、及び、前記クライアントのローカルＭＬモデルの確度、のうち少なくとも１つに基づいて、前記クライアントからの前記モデルパラメータを集約するように動作する、請求項１に記載のアーキテクチャ。

【請求項6】

前記インセンティブ計算機は、
各クライアントの寄与の量に基づいて前記インセンティブを計算するように動作する、請求項１に記載のアーキテクチャ。

【請求項7】

前記各クライアントの寄与は、
前記クライアントそれぞれのローカルＭＬモデルを訓練するのに使用されるデータのクライアントデータセットのサイズ、及び、前記クライアントのローカルＭＬモデルの確度、のうち少なくとも１つに基づいて定まる、請求項６に記載のアーキテクチャ。

【請求項8】

前記インセンティブ計算機は、
記憶された訓練履歴及び取引履歴に基づいて前記インセンティブを計算する、請求項６に記載のアーキテクチャ。

【請求項9】

前記クライアントによって訓練される前記ローカルＭＬモデルは、同一の特徴セットを有する、請求項１に記載のアーキテクチャ。

【請求項10】

前記プラットフォームは、
前記グローバルモデルの１人又は複数人のユーザからの要求に応えて、前記グループを識別してグローバルモデルを構築するように動作する、請求項１に記載のアーキテクチャ。

【請求項11】

１人又は複数人のユーザによる前記グローバルモデルを使用する要求に応答した推論サービス部、
をさらに含む、請求項１に記載のアーキテクチャ。

【請求項12】

前記推論サービス部は、
ＡＰＩ要求の一部分として受信された、ユーザからの特徴データを使用して、前記グローバルモデルを使用する前記ＡＰＩ要求を受信し、
前記特徴データに基づいて前記グローバルモデルによって生成される推論を前記ユーザに送信する、
ように動作する、請求項１１に記載のアーキテクチャ。

【請求項13】

前記推論サービス部は、
前記グローバルモデルを使用するためのユーザからの要求を受信し、
前記ユーザがダウンロードするために、前記グローバルモデルへのアクセス権を提供する、
ように動作する、請求項１１に記載のアーキテクチャ。

【請求項14】

グローバル機械学習（ＭＬ）モデルを構築する方法であって、
クライアントのグループを識別して、連合学習によってグローバルモデルを構築するステップと、
前記グローバルモデルでのモデル定義を前記グループに供給するステップと、
前記グループから受信されたモデルパラメータを集約して前記グローバルモデルを構築するステップであって、前記クライアントが、前記クライアントのそれぞれのクライアントサイトにおいてローカルデータを使用して前記それぞれのクライアントサイトにおいてローカルＭＬモデルを訓練することによって、前記モデルパラメータが生成される、当該ステップと、
各クライアントの寄与に基づいて、プラットフォームに通信可能に接続された各クライアントへのインセンティブを計算して前記グローバルモデルを訓練するステップであって、各クライアントの寄与が、ローカルデータを用いて前記モデルパラメータのローカルＭＬモデルを訓練する結果として生成される１つ又は複数のモデルパラメータを含む、当該ステップと、
を含む、方法。

【請求項15】

前記グローバルモデルを訓練する要求を、前記グループの前記クライアントに送信するステップと、
前記訓練の要求に応答して、前記クライアントが前記グループに参加したいと思う表示を前記クライアントから受信するステップと、
前記グローバルモデルでのモデルフォーマット及び特徴フォーマットを含むレジストリを記憶するステップと、
前記クライアントのそれぞれが前記クライアントのローカルＭＬモデルを訓練する際に使用するための前記モデル定義の一部分として、前記モデルフォーマット及び特徴フォーマットを前記グループのクライアントに送信するステップと、
をさらに含む、請求項１４に記載の方法。

【請求項16】

前記クライアントそれぞれのローカルＭＬモデルを訓練するのに使用されるデータのクライアントデータセットのサイズ、及び、前記ローカルＭＬモデルの確度、のうち少なくとも１つに基づいて、前記クライアントからの前記モデルパラメータを集約するステップ、
をさらに含む、請求項１４に記載の方法。

【請求項17】

前記インセンティブを計算して前記グローバルモデルを訓練するステップは、
各クライアントの寄与の量に基づいて行われる、請求項１４に記載の方法。

【請求項18】

コンピューティングシステムのプロセッサによって実行可能な命令であって、グローバル機械学習（ＭＬ）モデルを構築するための動作を前記コンピューティングシステムのプロセッサに実行させる当該命令、を記憶したコンピュータ読取り可能な記憶媒体であって、
前記動作は、
クライアントのグループを識別して、連合学習によってグローバルモデルを構築することと、
前記グローバルモデルでのモデル定義を前記グループに供給することと、
前記グループから受信されたモデルパラメータを集約して、前記グローバルモデルを構築することであって、前記クライアントが、前記クライアントのそれぞれのクライアントサイトにおいてローカルデータを使用してそれぞれのクライアントサイトにおいてローカルＭＬモデルを訓練することによって、前記モデルパラメータが生成される、当該グローバルモデルを構築することと、
各クライアントの寄与に基づいて、プラットフォームに通信可能に接続された各クライアントへのインセンティブを計算して前記グローバルモデルを訓練することであって、各クライアントの寄与が、ローカルデータを用いて、モデルパラメータのローカルＭＬモデルを訓練する結果として生成される１つ又は複数のモデルパラメータを含む、当該インセンティブを計算して前記グローバルモデルを訓練することと、
を含む、
コンピュータ読取り可能な記憶媒体。

【請求項19】

前記動作は、
前記グローバルモデルを訓練する要求を、前記グループの前記クライアントに送信することと、
訓練の前記要求に応答して、前記クライアントが前記グループに参加したいと思う表示を前記クライアントから受信することと、
前記グローバルモデルでのモデルフォーマット及び特徴フォーマットを含むレジストリを記憶することと、
前記クライアントのそれぞれが前記クライアントのローカルＭＬモデルを訓練する際に使用するための前記モデル定義の一部分として、前記モデルフォーマット及び特徴フォーマットを前記グループのクライアントに送信することと、
前記クライアントそれぞれのローカルＭＬモデルを訓練するのに使用されるデータのクライアントデータセットのサイズ、及び、前記クライアントのローカルＭＬモデルの確度、のうち少なくとも１つに基づいて、前記クライアントからの前記モデルパラメータを集約することと、
をさらに含む、請求項１８に記載のコンピュータ読取り可能な記憶媒体。

【請求項20】

前記インセンティブを計算して前記グローバルモデルを訓練することが、
各クライアントの寄与の量に基づいて行われる、請求項１８に記載のコンピュータ読取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

[0001]本出願は、２０２３年５月３１日出願の「ＡＰＰＡＲＡＴＵＳ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＤＡＴＡ ＬＥＡＲＮＩＮＧ ＳＹＳＴＥＭ ＢＡＳＥＤ ＯＮ Ａ ＳＥＣＵＲＥＤ ＭＯＤＥＬＩＮＧ ＥＸＣＨＡＮＧＥ」と題する米国特許仮出願第６３／４７０，１０８号の非仮出願であって、その仮出願の利益を主張するものであり、これを参考としてそっくりそのまま援用する。

【0002】

[0002]本開示の実施形態は、機械学習（ＭＬ）に関し、より詳細には、本明細書に開示される実施形態は、ＭＬモデルの訓練及び交換に関する。

【背景技術】

【0003】

[0003]今日では、機械学習（ＭＬ）モデルがさらに普及してきている。機械学習モデルは、予測すること、及び作業の自動化に役立つ。これらのＭＬモデルは、入力データ及びそのデータへの応答の既知のセットを取得し、各ＭＬモデルを訓練して、新規のデータへの応答の予測を生成することによって作成される。すなわち、ＭＬモデルは、このモデルを訓練して、データに基づく予測又は決定を実行するためのプロセスを経る。

【0004】

[0004]ＭＬの訓練は入力データに依存するので、ＭＬモデルを訓練するのに利用可能なデータが多いほど、ＭＬモデルは、予測をより正確に実行することができるようになる可能性が高くなる。しかし、ＭＬモデルを訓練する際に有用となるすべての入力データを得るのは難しい場合が多い。この難しさは、データの特定のセットが、そのセットを有する人にとって価値があるので、特定のデータを他者と共有することに気が進まないことに起因する場合があり、又はそのようなデータを共有することは、その内容が原因で制限される場合がある。たとえば、団体によっては、データプライバシーの制限に起因して、特定のデータを法的に共有することができない場合もある。したがって、ＭＬモデルの現在の訓練は、訓練データの可用性によって制約される場合がある。

【発明の概要】

【0005】

[0005]データ学習システム（たとえば、機械学習（ＭＬ）システムなど）を構築するためのアーキテクチャ、機器、及び方法。いくつかの実施形態では、グローバル機械学習（ＭＬ）モデルを構築するためのアーキテクチャは、クライアントのグループを識別して、連合学習によってグローバルモデルを構築するためのプラットフォームを含む。いくつかの実施形態では、このプラットフォームは、グローバルモデルでのモデル定義をグループに供給し、そのグループから受信されたモデルパラメータを集約してグローバルモデルを構築することによって、グローバルモデルを構築するためのグループマネージャであって、クライアントが、そのそれぞれのクライアントサイトにおいてローカルデータを使用して、それぞれのクライアントサイトにおいてローカルＭＬモデルを訓練することによって、モデルパラメータが生成される、グループマネージャと、このグループマネージャに通信可能に接続されて、前記各クライアントの寄与に基づいて、プラットフォームに通信可能に接続された各クライアントへのインセンティブを計算して、グローバルモデルを訓練するインセンティブ計算機であって、各クライアントの寄与が、ローカルデータを用いて、モデルパラメータのローカルＭＬモデルを訓練する結果として生成される１つ又は複数のモデルパラメータを含む、インセンティブ計算機とを含む。

【0006】

[0006]記載された実施形態及びその利点は、添付図面とともになされる以下の説明を参照することによって、最もよく理解することができる。これらの図面は、記載された実施形態の精神及び範囲から逸脱することなく、記載されたこの実施形態に当業者が加えてもよい、形態及び詳細のいかなる変更をも決して制限するものではない。

【図面の簡単な説明】

【0007】

【図1】水平連合学習（ＨＦＬ）のフレームワークの、いくつかの実施形態を示す図である。

【図2】データ学習システムのアーキテクチャの、いくつかの実施形態を示す図である。

【図3】連合学習（ＦＬ）ハブの、いくつかの実施形態を示す図である。

【図4A】データ学習アーキテクチャによって実行されるプロセスの、いくつかの実施形態のデータ流れ図である。

【図4B】データ学習アーキテクチャによって実行されるプロセスの、いくつかの実施形態のデータ流れ図である。

【図4C】データ学習アーキテクチャによって実行されるプロセスの、いくつかの実施形態のデータ流れ図である。

【図4D】データ学習アーキテクチャによって実行されるプロセスの、いくつかの実施形態のデータ流れ図である。

【図4E】データ学習アーキテクチャによって実行されるプロセスの、いくつかの実施形態のデータ流れ図である。

【図5A】グループと、ローカルＭＬモデルの訓練を実行するＦＬクライアントとの間でインセンティブを生成するためのプロセスの、いくつかの実施形態を示す図である。

【図5B】グループと、ローカルＭＬモデルの訓練を実行するＦＬクライアントとの間でインセンティブを生成するためのプロセスの、いくつかの実施形態を示す図である。

【図5C】グループと、ローカルＭＬモデルの訓練を実行するＦＬクライアントとの間でインセンティブを生成するためのプロセスの、いくつかの実施形態を示す図である。

【図5D】グループと、ローカルＭＬモデルの訓練を実行するＦＬクライアントとの間でインセンティブを生成するためのプロセスの、いくつかの実施形態を示す図である。

【図5E】グループと、ローカルＭＬモデルの訓練を実行するＦＬクライアントとの間でインセンティブを生成するためのプロセスの、いくつかの実施形態を示す図である。

【図6】ＦＬハブと、１つ又は複数のＦＬモデルユーザ及びＦＬモデルクライアントとの間の構成を示す図である。

【図7】ローカルＭＬモデルの訓練を実行するＦＬクライアントと、グローバルモデルを作成及び更新するＦＬハブとの間の階層関係の、いくつかの実施形態を示す図である。

【図8】機械学習モデルを訓練するのに使用される、例示の機械学習アーキテクチャを表す図である。

【図9】畳み込みニューラルネットワーク（ＣＮＮ）を使用して入力画像を処理する、例示のモデルのいくつかの実施形態を表す図である。

【図10】コンピューティング装置のいくつかの実施形態のブロック図を示す図である。

【発明を実施するための形態】

【0008】

[0007]以下の説明では、本開示をより完全に説明するために、数多くの詳細について述べる。しかし、これらの具体的な詳細がなくても本開示を実施してもよいことが、当業者には明らかになろう。他の例では、本開示を曖昧にすることを避けるために、よく知られた構造体及び装置を、詳細に示すのではなくて、ブロック図の形で示す。

【0009】

[0008]本明細書に開示される実施形態は、機械学習（ＭＬ）モデルを作成するためのプラットフォーム、及びその機械学習モデルを使用する方法を含む。いくつかの実施形態では、このプラットフォームは、ユーザが、連合学習技法を使用して、ＭＬモデルをともに結合及び構築できるようにする。すなわち、いくつかの実施形態では、このプラットフォームは、連合学習を活用してＭＬモデルを構築する。いくつかの実施形態では、プラットフォームのユーザには、開発者及び／又はデータサイエンティストが含まれる。

【0010】

[0009]いくつかの実施形態では、プラットフォームは、ユーザが、任意のグループメンバがグローバルＭＬモデルの構築に寄与することのできるグループを作成できるようにする。グローバルモデルを構築することへのこれらの寄与は、クライアントがローカルの生データを使用して、ローカルサイトの下でローカルＭＬモデルを訓練することによって作成される。いくつかの実施形態では、ローカルデータをプラットフォームと共有する必要はない。すなわち、寄与者は、自分自身のバージョンのＭＬモデルの訓練を実行し、次いで、その訓練の結果をプラットフォームと共有することによって、グローバルモデルを構築することに寄与することができる。いくつかの実施形態では、プラットフォームは、グローバルＭＬモデルを構築することに向けてユーザがおこなった寄与の量に基づいてインセンティブを生成する。これらのインセンティブは、モデル構築プロセスへの寄与に動機づけする。

【0011】

[0010]連合学習によって構築されるＭＬモデルの性能は、クライアントの数が増えるにつれて良好になるが、訓練するためのデータを有する十分なクライアントを集めることは困難になる場合が多い。本発明の実施形態は、連合学習（ＦＬ）ハブと呼ばれるプラットフォームを設けることによってこの問題を解決して、モデルユーザのコミュニティが使用するようにＭＬモデルを構築できるようにする。いくつかの実施形態では、ＦＬハブは、ユーザが、連合学習を介してＭＬモデルを構築するために公開リクエストをおこない、次いで、構築されたモデルにアクセスすることができるようにする。

【0012】

[0011]ＦＬハブは、連合学習に参加し、モデルの構築に寄与するよう、クライアントに促す。これは、データサイエンティスト又は開発者が、クライアントを見つけ、連合学習に参加するようそのクライアントに依頼する必要があった過去とは対照的である。いくつかの実施形態では、この寄与には、本明細書においてＦＬクライアントと呼ばれるクライアントが、ローカルデータを用いてローカルＭＬモデルを訓練し、次いで、そうした結果をＦＬハブに提供して、より良好な性能を達成するためのグローバルモデルを構築及び／又は改善できるようにする結果が含まれる。いくつかの実施形態では、ＦＬクライアントは、グループに参加して、クライアントデータによって構築されたこの実施形態のローカルＦＬモデルのパラメータを提供することによって、グローバルＦＬモデルを構築することに寄与し、このグローバルモデルの構築への寄与の量に基づくインセンティブを獲得する。いくつかの実施形態では、ＦＬクライアントは、寄与の量及びこの実施形態のモデルの確度によって評される。

【0013】

[0012]いくつかの実施形態では、プラットフォームは、グループマネージャ及びインセンティブ計算機を含む。グループマネージャは、グローバルモデルを結合及び構築する、本明細書においてＦＬクライアントと呼ばれるクライアントのグループを管理する。グループマネージャは、モデル定義を記憶するためのレジストリを含む。いくつかの実施形態では、このモデル定義には、モデルのモデルフォーマット及び特徴フォーマットが含まれる。いくつかの実施形態では、インセンティブ計算機は、グローバルモデルの構築へのＦＬクライアントの寄与に基づいて、このＦＬクライアントに対するインセンティブを計算する。いくつかの実施形態では、インセンティブ計算機は、訓練履歴／取引履歴を記憶するためのデータベース及び／又は他のレジストリを有する。

【0014】

[0013]いくつかの実施形態では、モデルユーザは、生成されたグローバルモデルを使用することができる。これらのモデルユーザは、グローバルモデルを構築するよう要求したユーザとすることができる。いくつかの実施形態では、モデルユーザは、推論ＡＰＩを介してグローバルモデルにアクセスし、又はＦＬハブからグローバルモデルをダウンロードすることができる。

【0015】

[0014]したがって、本明細書に記載のプラットフォームのいくつかの実施形態によって、分散機械学習技法と、（たとえば、互いにデータを共有することなく）各クライアントに記憶されたプライベートデータを保存しながらＭＬモデルを訓練する方式とが可能になる。これは、今日においてＭＬを開発する際の２つの主要な課題を克服するものである。まず、本明細書に記載のプラットフォームを使用することによって、ユーザは、たとえば、ＧＤＰＲ、ＣＣＰＡなどのプライバシーポリシーの順守を維持しながら、また機械学習用の大量の生データを転送しなければならないことを回避しながら、モデルを作成できるようになる。

【0016】

[0015]図１は、水平連合学習（ＨＦＬ）フレームワークのいくつかの実施形態を示す。ＨＦＬでは、各クライアントが同じ特徴セットを有し、クライアントの多くが、モデルを訓練するための小さいデータセットを有する。いくつかの実施形態では、クライアントは、モバイル装置（たとえば、携帯電話、ポータブルコンピュータなど）を備える。図１を参照すると、モバイル装置１０２Ａ～１０４Ａは、それぞれローカルＭＬモデル１０２Ｂ～１０４Ｂを含み、データ１０２Ｃ～１０４Ｃを使用して、そのモバイル装置に関連するローカルＭＬモデルを訓練する。ローカルＭＬモデルを訓練した後、その訓練の結果がサーバ装置１１０に送られて、グローバルモデル１０１を作成及び／又は改善する。このような場合には、サーバ装置１１０は、連合学習ハブとして動作する。

【0017】

[0016]図２は、データ学習システムのアーキテクチャの、いくつかの実施形態を示す。図２を参照すると、このアーキテクチャは、ＦＬモデルユーザ及びＦＬクライアントとともに、ＦＬハブ２００を含む。図に示すように、このアーキテクチャは、ＦＬモデルユーザ１～３及びＦＬクライアントＡ～Ｃを含む。しかし、このアーキテクチャは、３人のＦＬモデルユーザ及び３人のＦＬクライアントに限定されない。いくつかの他の実施形態では、このアーキテクチャは、任意の数のモデルユーザ及び任意の数のＦＬクライアントを含んでもよい。

【0018】

[0017]いくつかの実施形態では、ＦＬモデルユーザは、ＦＬハブ２００によってグループを作成させて、１つ又は複数のグローバルモデルを作成する要求を送信する。いくつかの実施形態では、ＦＬハブ２００は、ＦＬモデルユーザ１～２など、１人又は複数人のＦＬモデルユーザからのグループ作成要求を受信する。図２に示すように、グループ作成要求のそれぞれに応答して、ＦＬハブ２００は、ＦＬモデルユーザ１からのグループ作成要求に応答してＦＬグループ１とＦＬモデルユーザ２からのグループ作成要求に応答してＦＬグループ２などのグループを作成する。

【0019】

[0018]ＦＬグループ１及び２のそれぞれは、ＦＬクライアントＡ～Ｃのうちの１つ又は複数によって訓練されることになるグローバルモデルを作成するためのものである。たとえば、ＦＬグループ１は、グローバルモデル１を構築するために作成され、ＦＬグループ２は、グローバルモデル２を構築するために作成される。いくつかの実施形態では、ＦＬグループ１や２など、ＦＬグループのそれぞれは、グループのモデルを構築することを容易にするためのＦＬサーバ、並びに、ＦＬモデルユーザが、グループ用に作成されるグローバルモデルにアクセスし、それを利用することを可能にする推論ＡＰＩを含む。たとえば、ＦＬグループ１は、ＦＬサーバ、グローバルモデル１、及び推論ＡＰＩを含み、ＦＬグループ２は、ＦＬサーバ、グローバルモデル２、及び推論ＡＰＩを含む。

【0020】

[0019]グループが設定されると、ＦＬハブ２００は、ＦＬクライアントＡ～Ｃによるアクセスを可能にして、ＦＬグループ１のグローバルモデル１やＦＬグループ２のグローバルモデル２など、グローバルモデルのうちの１つ又は複数の作成及び訓練に寄与する。たとえば、ＦＬクライアントＡ及びＢは、ＦＬグループ１のグローバルモデル１の構築に寄与し、ＦＬクライアントＣは、ＦＬグループ２のグローバルモデル２の構築に寄与する。いくつかの実施形態では、ＦＬクライアントＡ～Ｃからの寄与は、その関連付けられたグローバルモデルのパラメータの形である。これらのパラメータは、ＦＬクライアントによって、そのローカル（生）データを用いてローカルＭＬモデルを訓練する結果として生成される。たとえば、ＦＬクライアントＡは、ローカルデータを用いてローカルＭＬモデル１（グローバルモデル１のローカルバージョン）を訓練して、グローバルモデル１の構築に寄与するパラメータを生成し、ＦＬクライアントＢは、ローカルデータを用いてローカルＭＬモデル１（グローバルモデル１のローカルバージョン）を訓練して、ＦＬグループ１に寄与するパラメータを生成して、グローバルモデル１を構築し、ＦＬクライアントＣは、ローカルデータを用いてローカルＭＬモデル２（グローバルモデル２のローカルバージョン）を訓練して、ＦＬグループ２のグローバルモデル２を作成するのに寄与するパラメータを生成する。

【0021】

[0020]寄与に応答して、ＦＬハブは、この寄与を集約してグローバルモデルを作成する。たとえば、ＦＬグループ１のＦＬサーバは、ＦＬクライアントＡ及びＦＬクライアントＢの寄与を受信し、これらの寄与を使用してグローバルモデル１を作成する。同様にして、ＦＬグループ２のＦＬサーバは、ＦＬクライアントＣからの寄与を受信して、グローバルモデル２を作成する。寄与を受信することに応答して、ＦＬハブ２００は、ＦＬクライアントＡ～Ｃにインセンティブを提供する。たとえば、ＦＬグループ１のＦＬサーバは、グローバルモデル１の作成に寄与したことに対してＦＬクライアントＡとＢの両方にインセンティブを提供し、ＦＬグループ２のＦＬサーバは、グローバルモデル２の作成に寄与したことに対してＦＬクライアントＣにインセンティブを提供する。

【0022】

[0021]グローバルモデルは、ＦＬハブ２００によって作成された後、たとえばＦＬモデルユーザ１～３などのＦＬモデルユーザにアクセスできるようになる。たとえば、ＦＬモデルユーザ１は、構築後のグローバルモデル１にアクセスし、グローバルモデル１を使用することができる。同様に、ＦＬモデルユーザ２は、構築後のＦＬグループ２のグローバルモデル２にアクセスしてもよい。

【0023】

[0022]いくつかの実施形態では、ＦＬモデルユーザによるグローバルモデルへのアクセスは、使用するためにグローバルモデルをダウンロードすることによる。いくつかの実施形態では、ＦＬモデルユーザは、モデルを使用するためのＦＬハブ２００へのローカルデータをＡＰＩに提出し、このローカルデータに応答して自分の推論を更新することによってアクセス権を得る。より詳細には、いくつかの実施形態では、ＦＬモデルユーザ１～３などのＦＬモデルユーザによるアクセスは、グループの推論ＡＰＩを介したものである。たとえば、ＦＬモデルユーザ１は、ＦＬグループ１の推論ＡＰＩのＡＰＩ公開を使用して、グローバルモデル１にアクセスし、ローカルデータを使用して、グローバルモデル１を使用する推論を生成する。同様にして、ＦＬモデルユーザ２及び３は、ＦＬグループ２の推論ＡＰＩを利用し、この推論ＡＰＩは、モデルユーザ２及び３にＡＰＩ公開を提供して、グローバルモデル２にアクセスし、グローバルモデル２を使用するローカルデータを用いて推論を生成することができる。

【0024】

[0023]いくつかの実施形態では、ＦＬモデルユーザは、グローバルモデルへのアクセスに対価を支払う。この支払いは、ＡＰＩの使用に対して、及び／又はグローバルモデル自体のダウンロードに対してのものとすることができる。

【0025】

[0024]図３は、ＦＬハブの、いくつかの実施形態を示す。図３を参照すると、ＦＬハブ２００は、ＦＬサーバ３０１、グループマネージャ３０２、インセンティブ計算機３０３、推論サービス３０４、及び共通サービスモジュール３０５を含む。これらの構成要素は、ＦＬクライアント及びＦＬモデルユーザと対話して、ローカルデータを有するローカルＭＬモデルに対してＦＬクライアントによっておこなわれるローカル訓練を介してグローバルモデルを作成することに対する、またＦＬハブ２００によってグローバルモデルが構築された後に、ＦＬモデルユーザによるグローバルモデルへのアクセスを可能にすることに対する、動作を実行する１つ又は複数のプロセッサを備える。

【0026】

[0025]グループマネージャ３０２は、ＦＬクライアントからの寄与を使用してグローバルモデルを訓練した後に、ＦＬモデルユーザが使用するためのグローバルモデルを作成するように設定及び要求されるグループを、作成及び管理する役割を担う。インセンティブ計算機３０３は、グローバルモデルを作成するために使用されるモデルのローカルバージョンをＦＬクライアントが訓練した結果に対する報酬として、そのＦＬクライアントに提供されるインセンティブを管理する役割を担う。推論サービス３０４は、ＦＬハブ３００によって作成されるグローバルモデルに、ＦＬモデルユーザがアクセスできるようにする役割を担う。共通サービスモジュール３０５は、モデルユーザ及びＦＬクライアントを認証するための認証サービス、ＦＬクライアント及びＦＬモデルユーザによる１つ又は複数のアクション及びアクセスを許可するための許可サービス、会計機能を処理するための会計モジュール、並びにユーザ情報を記憶するためのユーザデータベースなど、いくつかのサービスを含む。

【0027】

[0026]動作にあたっては、ＦＬハブ３００は、ＦＬモデルユーザ３２０などのＦＬモデルユーザからのグループ作成要求３５０に応答して、グローバルモデルを生成するためのグループを作成する。いくつかの実施形態では、グループ作成要求３５０は、グループを作成する要求を含み、グローバルモデルを作成及び試験することの一部分として、ＦＬハブ３００によって使用されてもよい試験データとともに、モデル及び特徴セットのフォーマットを登録するための情報を含む。いくつかの実施形態では、グループ作成要求３５０がグループマネージャ３０２に送信され、グループマネージャ３０２によって受信される。グループマネージャ３０２は、グループを作成し、そのグループをグループデータベース３０２Ａに記憶し、試験データを試験データベース３０２Ｃに記憶し、モデルフォーマットをモデルフォーマットレジストリ３０２Ｄに記憶し、特徴セットフォーマットをレジストリ３０２Ｅに記憶する。

【0028】

[0027]グループマネージャ３０２によってグループが作成されると、グループマネージャ３０２は、ＦＬサーバ３０１にサーバ作成要求３００を送信することに応答して、ＦＬサーバ３０１（サーバリソース）を作成する。ＦＬサーバ３０１が作成された後、ＦＬサーバ３０１は、ローカルデータを使用してローカルＭＬモデル訓練を実行して、グローバルモデルを構築するのに使用されることになるパラメータを作成するよう、ＦＬクライアント３００などのＦＬクライアントに要求する。いくつかの実施形態では、ＦＬサーバ３０１は、要求訓練要求３０１などの要求訓練要求をＦＬクライアント３３０に送信することによって、ＦＬクライアントによるローカルＭＬモデルの訓練を要求する。要求訓練要求３０１は、ＦＬクライアント３３０が、グループのグローバルモデルを訓練するためにグループに参加する前に送信されてもよいことに留意されたい。いくつかの実施形態では、グループが作成された後、グループマネージャ３０２は、構築される必要のあるグローバルモデルが存在し、そのグローバルモデルを構築するのを支援しようと望むＦＬクライアントがグループに参加してもよいという表示を提供する。この表示は、ウェブを介して提供される表示（たとえば、ウェブベースの表示）、又はグループマネージャ３０２からの直接の要請とすることができる。いくつかの実施形態では、グループマネージャ３０２及びＦＬクライアント３３０は、グループに参加する前にメッセージを交換して、訓練する際にＦＬクライアント３３０が有用になるグローバルモデルがどれかについて、通知された決定をグループマネージャ３０２がおこなうことができ、その後、特定のモデルを訓練するようにグループがいつ設定されているかを通知できるようにするために、どのデータを有するか、又はどのデータへのアクセス権を有するかについて、ＦＬクライアント３３０がグループマネージャ３０２に通知できるようにする。

【0029】

[0028]いくつかの実施形態では、ＦＬクライアント３３０は、グループ参加要求３０２をグループマネージャ３０２に送信してグループに参加して、ＦＬクライアント３３０が、グローバルモデルのローカルバージョンを訓練して、そのグローバルモデルを構築するのを支援できるようにする。グループに参加することに応答して、ＦＬクライアント３３０の訓練アプリケーション３３３が、ＡＰＩ公開通信３０３を使用して、レジストリ３０２Ｄからのモデルからのモデルフォーマット、及び特徴フォーマットレジストリ３０２Ｅでの特徴フォーマットを取得する。このモデルフォーマット及び特徴フォーマットは、ローカルデータ３３２とともに訓練アプリケーション３３３によって使用されて、グローバルモデルのローカルバージョンであるローカルＭＬモデル３３１を訓練する。いくつかの実施形態では、ローカルＭＬモデル３３１を訓練した後、ＦＬクライアント３３０は、そのローカルＭＬモデルを訓練した結果として生成された１つ又は複数のパラメータを、パラメータ通信３０５を介してＦＬサーバ３０１に送信し、このＦＬサーバ３０１は、受信したパラメータを使用して、グループに関連付けられたグローバルモデルを作成及び／又は改善する。いくつかの実施形態では、このパラメータは、ローカルＭＬモデルの重み及びバイアスを含み、これらがＦＬサービス３０１に送信され、このＦＬサービス３０１が、クライアントからのパラメータを集約する。

【0030】

[0029]このプロセスの一部分として、インセンティブ計算機３０３は、計算機３０３Ａを用いてインセンティブを計算する。このインセンティブは、グローバルモデルを構築するのを支援するためにローカルＭＬモデルを訓練したＦＬクライアントに対して、ＦＬハブ３００から提供される。インセンティブ計算機３０３は、率通知通信３０４を使用して、ＦＬクライアントにそのインセンティブ（たとえば、率）を通知する。

【0031】

[0030]ＦＬクライアントのローカルＭＬモデルを訓練することによって開発された、ＦＬクライアントによって送信される（１つ又は複数の）パラメータを受信した後、ＦＬサーバ３０１は、インセンティブ計算機３０３の集約／訓練履歴データベース３０３Ｂ、並びに取引履歴３０３Ｃに訓練ログ（３１０）を記憶する。ＦＬサーバ３０１はさらに、生成されたグローバルモデルを推論サービス３０４のグローバルモデルレジストリ３０４Ｂに送信して、グローバルモデルへのアクセスを可能にする。続いて、ＦＬモデルユーザ３０２などのＦＬモデルユーザは、推論ＡＰＩ３０４Ａと通信することによって、ローカルデータとともに推論アプリケーション３２１を使用して、グローバルモデルを使用する。

【0032】

[0031]図４Ａ～図４Ｅは、データ学習アーキテクチャによって実行されるプロセスの、いくつかの実施形態の流れ図である。より詳細には、図４Ａは、連合学習（ＦＬ）環境を初期化するためのプロセスのデータ流れ図を示す。図４Ａを参照すると、このプロセスは、ＦＬモデルユーザ４０１が、グローバルモデルを作成するためのグループを作成するための要求を、グループマネージャ４０２に送信することによって開始する（処理ブロック４１０）。いくつかの実施形態では、この要求は、作成されることになるモデルの定義、このモデルに関連付けられた特徴セット、及び作成後にこのモデルの確度を検証するのに使用することのできる試験データを含む。

【0033】

[0032]この要求を受信することに応答して、グループマネージャ４０２は、生成されることになる新規のモデルの定義、特徴セットの定義、及び試験データをそれぞれのレジストリに記憶し、新規のモデルを作成するためにグループマネージャ４０２が設定したグループを識別するグループ識別子（ＩＤ）を発行する（処理ブロック４１１）。その後、グループマネージャ４０２は、サーバを設定するための要求を、ＦＬサーバ４０３に送信する（処理ブロック４１２）。いくつかの実施形態では、サーバを設定するための要求は、グループＩＤ及びモデル定義を含む。この要求に応答して、ＦＬサーバ４０３は、ＦＬサーバ環境を設定して、グループＩＤに関連付けられたグループをサポートする（処理ブロック４１３）。

【0034】

[0033]グループを設定する時点の前、又はその間に、ＦＬクライアント４０４は、ローカルＭＬモデルを訓練するためのデータを収集する（処理ブロック４０９）。グループが設定された後、ＦＬクライアント４０４は、クライアントとして登録するための要求を、グループマネージャ４０２に送信する（処理ブロック４１４）。この要求に応答して、グループマネージャ４０２は、ＦＬクライアント４０４についてのクライアント情報を記憶し（処理ブロック４１５）、クライアントＩＤをＦＬクライアント４０４に送信し（処理ブロック４１６）、並びにグループに関するグループ情報をＦＬクライアント４０４に送信する（処理ブロック４１７）。いくつかの実施形態では、記憶されるクライアント情報には、クライアントＩＤ、クライアント装置情報（たとえば、装置のタイプ、中央処理装置（ＣＰＵ）のアーキテクチャ、オペレーティングシステム（ＯＳ））、及び状況（たとえば、接続、切断）が含まれ、このクライアント情報がグループマネージャに登録される。いくつかの実施形態では、送信されるグループ情報には、グループＩＤ、並びにモデル定義及び特徴定義が含まれる。このグループ情報に応答して、ＦＬクライアント４０４は、ローカルＭＬモデルを訓練するためのモデル及び特徴を設定する（処理ブロック４１８）。その後、ＦＬクライアント４０４は、ＦＬサーバ４０３をサービス利用して、グローバルモデルを作成するための環境の初期化が完了したことを示す（処理ブロック４１９）。いくつかの実施形態では、このサービス利用要求は、ＦＬクライアント４０４のクライアントＩＤを含む。

【0035】

[0034]図４Ｂは、ＦＬ訓練プロセスの、いくつかの実施形態のデータ流れ図を示す。図４Ｂを参照すると、このプロセスは、ＦＬモデルユーザ４０１が、訓練を開始するための要求をグループマネージャ４０２に送信することによって開始する（処理ブロック４２０）。いくつかの実施形態では、訓練を開始するためのこの要求は、グループマネージャ４０２に対して、ＦＬモデルユーザ４０１が、グローバルモデルを訓練することに寄与したいと望むグループを識別するグループＩＤを含む。訓練を開始するための要求を受信することに応答して、グループマネージャ４０２は、ＦＬサーバ４０３に要求を送信することによって、ＦＬ訓練をトリガする（処理ブロック４２１）。この要求を受信することに応答して、ＦＬサーバ４０３は、モデル定義をロードし、グローバルモデルを初期化する（処理ブロック４２２）。いくつかの実施形態では、グローバルモデルを初期化することの一部分として、サーバは、モデル定義に基づいて初期グローバルモデルを作成する。ランダムなパラメータ（たとえば、重み及びバイアス）、又は訓練の前に事前訓練若しくは事前定義されたパラメータを用いて、このモデルを初期化することができる。

【0036】

[0035]モデル定義をロードし、グローバルモデルを初期化した後に、ＦＬサーバ４０３は、ＦＬクライアント４０４、並びにグループのグローバルモデルの作成に寄与するためにローカルデータを用いて自分のローカルＭＬモデルを訓練しようとする他の任意のクライアントに、訓練の要求を送信する（処理ブロック４２３）。いくつかの実施形態では、訓練を実行するための要求は、グローバルモデルのパラメータを含み、ＦＬクライアント４０４による寄与は、ＦＬクライアント４０４がローカルデータを用いてローカルＭＬモデルを訓練することによって生成される、グローバルモデル用のパラメータである。

【0037】

[0036]ＦＬサーバ４０３から受信した訓練の要求に応答して、ＦＬクライアント４０４（及び、グローバルモデル用のパラメータを生成するその他のＦＬクライアント）は、そのローカルデータを用いてそのローカルＭＬモデルを訓練し（処理ブロック４２４）、モデルを訓練した結果として生成されるローカルＭＬモデルのパラメータを、ＦＬサーバ４０３に送信する（処理ブロック４３２）。ＦＬクライアント４０４、及びグループでのローカルＭＬモデルのローカル訓練を実行する他の任意のクライアントから、ローカルＭＬモデルのパラメータを受信した後、ＦＬサーバ４０３は、ローカルＭＬモデルのパラメータを集約し、グローバルモデルを更新する（処理ブロック４２５）。いくつかの実施形態では、グローバルモデルは、パラメータ（たとえば、重み及びバイアス）から構成され、モデルを更新するために、サーバは、クライアントから送信されるローカルＭＬモデルパラメータを集約し、その集約結果が、新規のグローバルモデルパラメータである。クライアントから送信されるローカルＭＬモデルパラメータを集約するためにサーバが使用することのできる、集約技法がいくつか存在する。たとえば、いくつかの実施形態では、サーバは、重み付き平均を使用することによってローカルＭＬモデルパラメータを集約し、この重み付けは、各クライアントがモデルを訓練するために有するデータの量、及び／又はデータの確度に基づく。サーバは、新規のパラメータを取得すると、既存のグローバルモデルパラメータを新規のパラータに置き換える。

【0038】

[0037]次いで、ＦＬサーバ４０３は、訓練が終了したかどうか判定する（処理ブロック４２６）。いくつかの実施形態では、訓練の終了は、訓練が完了する予定だった時点を含む訓練期間の満了に基づく。いくつかの他の実施形態では、訓練の終了は、ＦＬモデルユーザ４０１など、１人又は複数人のＦＬモデルユーザによって合図又は提供される。さらにいくつかの他の実施形態では、訓練の終了は、エポックとして定義されるイテレーションの数に基づく。いくつかの実施形態では、モデルユーザは、イテレーションの数に達した場合に訓練を完了することができるように、エポックを設定することもできる。いくつかの実施形態では、各イテレーションの後に、ＦＬクライアントは、グローバルモデルを更新するためにＦＬサーバ４０３が集約する、更新済みのローカルＭＬモデルパラメータを送信する。

【0039】

[0038]訓練が終了していない場合、このプロセスは処理ブロック４２３に戻り、ここでＦＬサーバ４０３は、グループ用に登録されたＦＬクライアントによって実行されることになる追加の訓練を要求することができる。訓練が終了した場合、ＦＬサーバ４０３の処理ロジックは、グローバルモデルのパラメータを推論サービス４０５に送信し（処理ブロック４２７）、この推論サービス４０５は、グローバルモデルをレジストリに保存する（処理ブロック４２８）。ＦＬサーバ４０３はさらに、インセンティブ計算機４０６に訓練ログを送信し（処理ブロック４２９）、このインセンティブ計算機４０６は、訓練ログを訓練履歴に保存する（処理ブロック４３０）。

【0040】

[0039]続いて、ＦＬサーバ４０３はさらに、訓練状況をグループマネージャに送信して、グローバルモデルが現在置かれている訓練の状態を示す（処理ブロック４３１）。このような状況は、訓練が終了し、グローバルモデルが使用できることを示すことができる。いくつかの実施形態では、訓練状況は、訓練が進行中であること、及び／又は訓練がまだ開始されていないことを示してもよい。

【0041】

[0040]図４Ｃは、推論アプリケーションプログラミングインターフェース（ＡＰＩ）を使用するためのプロセスの、いくつかの実施形態のデータ流れ図である。このプロセスは、グローバルモデルが、ＦＬモデルユーザ４０４などのＦＬモデルユーザによって利用可能であるときに使用される。図４Ｃを参照すると、ＦＬモデルユーザ４０４が、グローバルモデルを使用する結果として生成されることになる推論を、推論サービス４０５に要求することによって、このプロセスが開始する（処理ブロック４４０）。いくつかの実施形態では、推論の要求は、推論を生成又は他の方法で取得するときに、グローバルモデルによって使用されることになる特徴データを含む。この要求は、ＦＬサーバが、グローバルモデルによって使用されることになる特徴データにアクセスできる場所（たとえば、データベースなど）を示す、ポインタ又はリソースロケータ（たとえば、ＵＲＬなど）を含むことができる。推論の要求に応答して、推論サービス４０５は、グローバルモデルをレジストリからロードし（処理ブロック４４１）、特徴データを使用してグローバルモデルを用いた推論を生成し（処理ブロック４４２）、ＡＰＩコールログを取引履歴データベースに保存して、ＦＬモデルユーザ４０４がグローバルモデルを使用したことを記録する（処理ブロック４４３）。その後、推論サービス４０５は、ＦＬモデルユーザ４０４に推論結果を送り返す（処理ブロック４４４）。

【0042】

[0041]図４Ｄは、ＦＬモデルユーザがグローバルモデルをダウンロードするプロセスの、いくつかの実施形態の流れ図である。図４Ｄを参照すると、このプロセスは、ＦＬモデルユーザ４０４が、推論サービス４０５からグローバルモデルをダウンロードする要求を送信することによって開始する（処理ブロック４５１）。いくつかの実施形態では、このダウンロードの要求は、どのグローバルモデルをＦＬモデルユーザ４０４に提供すべきかを推論サービス４０５が知るように、グローバルモデルに関連付けられたグループを識別するためのグループＩＤを含む。ダウンロードの要求を受信することに応答して、推論サービス４０５は、グローバルモデルをレジストリからロードし（処理ブロック４５２）、ＦＬモデルユーザ４０４がグローバルモデルのダウンロードを要求し、このダウンロードが送信されたことを示すために、ＡＰＩコールログを訓練履歴データベースに保存し（処理ブロック４５３）、グローバルモデルをＦＬモデルユーザ４０４に送信する（処理ブロック４５４）。いくつかの他の実施形態では、グローバルモデルをＦＬモデルユーザ４０４に送信する代わりに、推論サービス４０５がＦＬモデルユーザ４０４にグローバルモデルへのアクセス権を提供して、ＦＬモデルユーザ４０４がモデルをダウンロードできるようにする。

【0043】

[0042]図４Ｅは、モデル訓練をおこなうＦＬクライアントに提供されるインセンティブ（率）を計算するためのプロセスの、いくつかの実施形態のデータ流れ図を示す。図４Ｅを参照すると、このプロセスは、ＦＬクライアント４０４が、グループに参加する要求をグループマネージャ４０２に送信することによって開始する（処理ブロック４６１）。グループマネージャ４０２がグループに参加する要求を受信している間、インセンティブ計算機４０６は、訓練履歴及び訓練データをデータベースからロードし（処理ブロック４６２）、ＦＬクライアントに対するインセンティブ率を計算する（処理ブロック４６３）。いくつかの実施形態では、このインセンティブ率は、ＦＬクライアントが自分のローカル訓練を実行し、グローバルモデルの作成及び／又は更新に寄与することに対して補償する金額又は他の報酬である。インセンティブ計算機４０６は、ＦＬクライアント４０４にインセンティブ率を通知する（処理ブロック４６４）。

【0044】

[0043]続いて、ＦＬクライアント４０４は、ローカルデータを用いてローカルＭＬモデルを訓練し、この訓練の結果（たとえば、１つ又は複数のパラメータ）を、ＦＬサーバ４２３に寄与する（処理ブロック４６５）。いくつかの実施形態では、この寄与は、モデルパラメータ、サンプルの数、及び確度の表示を含む。いくつかの実施形態では、確度の表示は、訓練する前に提供されたモデル定義／特徴定義の一部分として、グループマネージャ４０２によって提供された試験データと一致する結果を、ローカルＭＬモデルがどの程度良好に生成したのかの表示である。

【0045】

[0044]ＦＬクライアント４０４によって実行された訓練に起因した寄与を受信することに応答して、ＦＬサーバ４０３は、クライアント寄与データをインセンティブ計算機４０６に送信する（処理ブロック４６６）。いくつかの実施形態では、このクライアント寄与データは、ＦＬクライアント４０４によって提供されるデータのサンプルの数、並びにその確度表示を示す。

【0046】

[0045]その後、ＦＬモデルユーザ４０１は、推論を生成するためにグローバルモデルを使用すること、又はグローバルモデルをダウンロードすることを要求する（処理ブロック４６７）。いくつかの実施形態では、要求が推論サービス４０５に送信され、この推論サービス４０５は、訓練履歴をインセンティブ計算機４０６に送信することによって、その要求に応答して訓練履歴を保存する（処理ブロック４６８）。取引履歴を受信することに応答して、インセンティブ計算機４０６は、取引履歴及び訓練データをデータベースに保存し（処理ブロック４６９）、ＦＬクライアントの寄与に対する報酬として、そのＦＬクライアントへのインセンティブを計算する（処理ブロック４７０）。計算されたインセンティブは、グループマネージャ４０２によって開発されている同じモデル及び／又は異なるモデルを訓練することになる、将来のＦＬクライアントに使用することができる。

【0047】

[0046]図５Ａ～図５Ｅは、ローカルデータを使用してローカルＭＬモデルの訓練を実行するグループ及びＦＬクライアントと、グローバルモデルの作成及び訓練が完了した後にグローバルモデルの使用を要求するＦＬモデルユーザとの間のインセンティブを生成するためのプロセスを示す。より詳細には、図５Ａは、ローカル訓練を実行してグローバルモデルを作成するＦＬクライアントと、グループマネージャとの間の対話の総合的な枠組みを示す。図５Ａを参照すると、ローカルデータを使用してローカルＭＬモデル訓練を実行するＦＬクライアントＡ及びＢは、ＦＬハブのグループマネージャのＦＬグループ１に報告を送信する。いくつかの実施形態では、これらの報告は、クライアントのデータセットのサンプルの数、並びにクライアントの試験データに基づく評価結果を示してもよい。この評価結果は、ＦＬクライアントＡやＢなど、ＦＬクライアントのそれぞれによって訓練されているローカルＭＬモデルの確度の表示を含んでもよい。

【0048】

[0047]この情報を報告した後、ＦＬグループ１は、ＦＬクライアントＡ及びＢのそれぞれにインセンティブを提供する。いくつかの実施形態では、このインセンティブは、サンプルの数及び確度に基づいている。インセンティブ計算機によって計算されるインセンティブ計算の例を以下に示す。

【0049】

[0048]ＦＬクライアントＡ及びＢからのサンプル及び確度では、以下の通りである。
クライアントＡ ＃サンプル＝１０ｋ、確度＝９０％
クライアントＢ ＃サンプル＝２０ｋ、確度＝８０％
次いで、インセンティブ率は、インセンティブ計算機によって次のように計算される。
クライアントＡ （１０ｋ＊９０％）／（１０ｋ＊９０％＋２０ｋ＊８０％）＝３６％
クライアントＢ （２０ｋ＊８０％）／（１０ｋ＊９０％＋２０ｋ＊８０％）＝６４％

【0050】

[0049]いくつかの実施形態では、ＦＬクライアントが、様々な時点において訓練プロセスを開始してもよいか、又は開始すると予想される場合には、ＦＬサーバは、インセンティブ率を決定する前に、ある特定の数のクライアントの初期グループ、又はクライアントの閾値（たとえば、５０％、８０％、９０％など）が利用可能であるか、及び／又は訓練プロセスを開始する準備ができるまで待つことができ、これらは、インセンティブ率の閾値量（たとえば、５０％、８０％、９０％など）を共有することになる。その後、初期グループの後に訓練プロセスを開始するその他のＦＬクライアントは、残りのインセンティブ率を等しく共有するか、又は前述の通り、そのサンプルの数及び確度に基づいて共有することができる。

【0051】

[0050]ＦＬクライアントが、モデルに関しての不正確な情報又は悪質な情報を報告するのを防止するために、いくつかの実施形態では、グループマネージャが、ＭＬソフトウェアをクライアントに送信する。より詳細には、これが発生すると、グループから送信されたＭＬソフトウェアは、クライアントにおいてＭＬ訓練プロセスを自動的に実行し、次いで、この訓練プロセスに基づいて情報（サンプルの数及び確度）を自動的に計算し、このソフトウェアは、この情報をグループへ自動的に送信する。このワークフローでは、クライアントは、介入することができず、情報を変更することもできない。いくつかの実施形態では、妥当性検査データを使用して、又は試験データの使用及びモデルデータとの比較を通して、確度が決定されることに留意されたい。

【0052】

[0051]図５Ｂは、ＦＬモデルユーザによってグローバルモデルをダウンロードすることができない状況におけるインセンティブを生成するためのプロセスを示し、ＦＬモデルユーザは、確度を決定するためのラベルが付いたユーザの試験データを送信することができる（しかし、このグループは確度を計算することができる）。図５Ｂを参照すると、ＦＬモデルユーザ１や２などのＦＬモデルユーザは、ラベルが付いた自分の試験データをＦＬグループ１などのＦＬグループに送信する。ＦＬグループ１は、グローバルモデルに関連付けられており、このグローバルモデルを用いてＦＬモデルユーザからのデータを使用することからの推論を報告する。ＦＬモデルユーザ１及び２は、モデルの使用の確度を判定することができる。より詳細には、グループでのマネージャは、データセットで使用したサンプルの数、及び使用状況試験データセットに基づく評価結果を知っており、これらをＦＬモデルユーザ１及び２に提供する。その後、報告を受信することに応答して、ＦＬモデルユーザは、ＡＰＩの使用に対価を支払う。

【0053】

[0052]モデルの使用に関連付けられたインセンティブ計算の一例が、インセンティブ計算機によって以下に示すように計算される。

【0054】

[0053]以下の通りである。
モデルユーザ１ ＃サンプル＝５ｋ、確度＝７０％
モデルユーザ２ ＃サンプル＝１ｋ、確度＝８０％
次いで、インセンティブ率は、インセンティブ計算機によって次のように計算される。
モデルユーザ１ （５ｋ＊７０％）／（５ｋ＊７０％＋１ｋ＊８０％）＝８１％
モデルユーザ２ （１ｋ＊８０％）／（５ｋ＊７０％＋１ｋ＊８０％）＝１９％

【0055】

[0054]図５Ｃは、グローバルモデルがダウンロード可能ではなく、推論の結果が提供される場合に、グループからＦＬモデルユーザにインセンティブを提供するためのプロセスの、いくつかの実施形態を示す。この場合、ＦＬモデルユーザは、結果の確度を判定することができず、ＦＬグループ１は、ユーザの試験データからサンプルの数を知っている（また、ＦＬモデルユーザが確度を判定できないことを知っている）。ＦＬグループ１は、ＦＬモデルユーザＩ～ＩＩＩのそれぞれに報告を提供し、ＦＬモデルユーザは、グローバルモデルの使用に対するインセンティブを支払う。いくつかの実施形態では、このインセンティブは、以下に示す例に従って判定される。ＦＬモデルユーザの試験データでのサンプルの数が以下の場合、
モデルユーザ１ ＃サンプル＝５ｋ
モデルユーザ２ ＃サンプル＝３ｋ
モデルユーザ３ ＃サンプル＝８ｋ
次いで、インセンティブ率は、インセンティブ計算機によって次のように計算される。
モデルユーザ１ ５ｋ／（５ｋ＋３ｋ＋８ｋ）＝３１％
モデルユーザ２ ３ｋ／（５ｋ＋３ｋ＋８ｋ）＝１９％
モデルユーザ３ ８ｋ／（５ｋ＋３ｋ＋８ｋ）＝５０％

【0056】

[0055]この状況では、ＦＬグループＩは、モデルユーザの確度を気に掛けないことに留意されたい。

【0057】

[0056]図５Ｄは、グループマネージャとＦＬモデルユーザとの間でインセンティブを生成するプロセスでの、いくつかの実施形態を示す。この状況では、モデルはダウンロード可能であり、ユーザはラベルが付いた自分のデータセットを所有しており、したがって、ＦＬモデルユーザはその確度を知っており、ＦＬモデルユーザは、ユーザの試験データのサンプルの数、及びユーザの試験データセットに基づく評価結果をグループに報告する。

【0058】

[0057]ＦＬグループマネージャは、ＦＬモデルユーザのそれぞれに、インセンティブを有する報告を送信する。

【0059】

[0058]いくつかの実施形態では、ＦＬグループＩから報告を受信した後、ＦＬモデルユーザＩ～ＩＩＩは、モデルをダウンロードするためのＡＰＩの使用に対価を支払う。いくつかの実施形態では、モデルユーザの支払いのそれぞれでのインセンティブは、以下の例に従って計算される。以下の場合、
モデルユーザ１ ＃サンプル＝５ｋ、確度＝７０％
モデルユーザ２ ＃サンプル＝３ｋ、確度＝８０％
モデルユーザ３ ＃サンプル＝８ｋ、確度＝９０％
次いで、インセンティブ率は、次のように計算される。
モデルユーザ１ （５ｋ＊７０％）／（５ｋ＊７０％＋３ｋ＊８０％＋８ｋ＊９０％）＝２７％
モデルユーザ２ （３ｋ＊８０％）／（５ｋ＊７０％＋３ｋ＊８０％＋８ｋ＊９０％）＝１８％
モデルユーザ３ （８ｋ＊９０％）／（５ｋ＊７０％＋３ｋ＊８０％＋８ｋ＊９０％）＝５５％

【0060】

[0059]不正確な情報（たとえば、グローバルモデルには欠陥がある）をユーザが報告するのを防止するために、ＦＬグループＩマネージャは、モデルがどれくらい正確であるか独自に判定することができるように、データセットをハブに提供するようモデルユーザに求めることができる。

【0061】

[0060]図５Ｅは、グローバルモデルがダウンロード可能であり、ＦＬモデルユーザがモデルの確度を判定することができない場合に、グループとモデルユーザとの間でインセンティブを生成するためのプロセスの、いくつかの実施形態を示す。図５Ｅを参照すると、ＦＬグループグループＩマネージャは、ＦＬモデルユーザ１～３のそれぞれに報告する。いくつかの実施形態では、この報告はインセンティブを含む。ＦＬモデルユーザＩ～ＩＩＩは、ユーザのデータセットのサンプルの数及び率を、ＦＬグループ１に報告する。いくつかの実施形態では、この率は、以下の例に従って判定される。この率が、（１）非常に悪い、（２）悪い、（３）平均的、（４）よい、（５）非常によい、を含む場合、以下の場合には、
モデルユーザ１ ＃サンプル＝５ｋ、率＝４／５
モデルユーザ２ ＃サンプル＝３ｋ、率＝３／５
モデルユーザ３ ＃サンプル＝８ｋ、率＝１／５
次いで、インセンティブ率は、インセンティブ計算機によって次のように計算される。
モデルユーザ１ ５ｋ＊４／（５ｋ＊４＋３ｋ＊３＋８ｋ＊１）＝５４％
モデルユーザ２ ３ｋ＊３／（５ｋ＊４＋３ｋ＊３＋８ｋ＊１）＝２４％
モデルユーザ３ ８ｋ＊１／（５ｋ＊４＋３ｋ＊３＋８ｋ＊１）＝２２％

【0062】

[0061]グローバルモデルの使用に関して、不正確な情報をユーザが報告するのを防止するために、ＦＬグループＩマネージャは、モデルユーザ間での率を比較し、モデルユーザが過度に低い率を与える場合には、平均率をブラックリストに載せることができる。いくつかの実施形態では、ＦＬグループＩマネージャは、モデルがどれくらい良好であるか独自に判定することができるように、モデルユーザが、データセットをハブに提供することができるかどうかを尋ねることができる。

【0063】

[0062]図６は、ＦＬハブと、１人又は複数人のＦＬモデルユーザ及びＦＬモデルクライアントとの間の構成を示す。図６を参照すると、ＡＰＩを介して互いに動作することのできる、３つのＦＬハブ６０１～６０３が存在する。このようにして、これらのハブは、単一のグローバルモデル又は複数のグローバルモデルの生成を別々にサポートすることができる。ともに機能することのできるＦＬハブの数は、３つより少なくすることができ、又は３つより多くすることもできることに留意されたい。いくつかの実施形態では、ＦＬモデルユーザ６０４などのＦＬモデルユーザ、及びＦＬクライアント６０５などのＦＬモデルクライアントは、ＡＰＩを介して、ＦＬハブ６０３のうちの１つ又は複数と対話することができる。たとえば、いくつかの実施形態では、ＦＬモデルユーザ６０４などのＦＬモデルユーザ、及びＦＬモデルクライアント６０５などのＦＬクライアントは、ＡＰＩを介して、ＦＬハブ６０２だけと対話することができ、さらに、ＡＰＩを介して、ＦＬハブ６０２と直接対話するＦＬハブ６０１及び６０３の動作の利益を得ることができる。

【0064】

[0063]図７は、ローカルＭＬモデルの訓練を実行するＦＬクライアントと、グローバルモデルを作成及び更新するＦＬハブとの間の階層関係の、いくつかの実施形態を示す。図７を参照すると、ＦＬクライアントＡ－１及びＦＬクライアントＡ－２はそれぞれ、ローカルＭＬモデルＡ－１及びＡ－２をそれぞれ含み、ローカルデータを用いてこれらのローカルＭＬモデルを訓練する。ＦＬクライアントＡ－１及びＦＬクライアントＡ－２によって実行されたローカルＭＬモデル訓練の結果は、ＦＬクライアントＡへの寄与（たとえば、パラメータ）として提供され、ＦＬクライアントＡはさらに、ローカルデータと、ＦＬクライアントＡ－１及びＡ－２からの寄与とを使用して、ローカルＭＬモデル１を訓練する。したがって、ＦＬクライアントＡ－１及びＦＬクライアントＡ－２は、ＦＬクライアントＡと階層関係にあるので、ＦＬクライアントＡは、ＦＬクライアントＡ－１及びＡ－２から提供された結果を集約して、ローカルＭＬモデル１を訓練するのを支援する。いくつかの実施形態では、ＦＬクライアントＡは、グローバルモデルに対して集約が実行されるのと同様にして集約を実行する。

【0065】

[0064]続いて、ＦＬクライアントＡは、ローカルＭＬモデル１を訓練した後、ＦＬハブＡに寄与を提供して、グローバルモデル１を更新及び／又は作成する。その寄与に応答して、ＦＬハブＡは、ＦＬクライアントＡにインセンティブを提供する。いくつかの実施形態では、ＦＬハブＡは、たとえばＦＬハブＢなど別のハブと関係しており、この別のハブは、グローバルモデル１のそのバージョンをも更新していることに留意されたい。ＦＬハブＢは、グローバルモデル１を更新するのに使用されることになる寄与を、ＦＬハブＡに提供することができる。この寄与に応答して、ＦＬハブＡは、ＦＬハブＢにインセンティブを提供してもよい。

【0066】

[0065]図８は、機械学習されたモデル８０２を訓練するのに使用される、例示の機械学習アーキテクチャ８００を表す。入力モジュール８０４は、メンバ

【数1】

～

【数2】

を有する配列とすることのできる入力

【数3】

を受け取る。入力

【数4】

が、訓練モジュール８０８に送り込まれ、このモジュールが、機械学習アーキテクチャ９００に基づいて入力

【数5】

を処理する。たとえば、機械学習アーキテクチャ８００が多層パーセプトロン（ＭＬＰ）モデル８１０を使用する場合、訓練モジュール８０８は、パーセプトロンの１つ又は複数の層を介して、重み及びバイアスを入力

【数6】

に適用し、各パーセプトロンは、その所与の関数形式に従って、それ自体の重み及びバイアスを使用して適合を実行する。ＭＬＰの重み及びバイアスは、最小平均２乗、ｌｏｇｃｏｓｈ、又は当技術分野で知られている他の最適化関数（たとえば、損失関数）に対して最適化されるように調整することができる。一例として、ここではＭＬＰモデル８１０を説明するが、任意の適切な機械学習技法を利用することができ、そのいくつかの例には、ｋ平均法８１２、畳み込みニューラルネットワーク（ＣＮＮ）８１４、ボルツマンマシン８１６、ガウス混合モデル（ＧＭＭ）、及び長短期記憶（ＬＳＴＭ）が含まれるが、これらには限定されない。訓練モジュール８０８は、出力モジュール８１８に入力を供給する。出力モジュール８１８は、訓練モジュール８０８からの入力を分析し、メンバ

【数7】

～

【数8】

を有する配列とすることのできる

【数9】

の形式で出力を供給する。この出力８２０は、たとえば、オブジェクトの識別、セグメンテーション、及び／又は分類など、入力

【数10】

との既知の相関関係を表すことができる。

【0067】

[0066]いくつかの実施形態では、入力

【数11】

は、既知の出力相関値でラベル付けされた訓練入力とすることができ、これら既知の値を使用して、最適化／損失関数に対する訓練において、出力

【数12】

を最適化することができる。他の実施形態では、機械学習アーキテクチャ８００は、入力

【数13】

に対する既知の相関値を与えられることなく、出力

【数14】

の値を分類することができる。いくつかの実施形態では、機械学習アーキテクチャ８００は、複数の機械学習アーキテクチャの組合せとすることができる。一例として、第１のネットワークは入力

【数15】

を使用し、入力

【数16】

として出力

【数17】

を第２の機械学習アーキテクチャに提供し、この第２の機械学習アーキテクチャが、最終出力

【数18】

を提供する。別の実施形態では、訓練モジュール８０８全体を通した様々なポイントで、１つ又は複数の機械学習アーキテクチャを実施することができる。

【0068】

[0067]いくつかの機械学習モデルでは、モデルのすべての層が完全に接続されている。たとえば、ＭＬＰモデルでのすべてのパーセプトロンが、

【数19】

のあらゆるメンバに作用する。１００×１００の画素からなる画像を入力とするＭＬＰモデルでは、各パーセプトロンは、１０，０００個の入力に重み／バイアスを提供する。大規模で密集した層状モデルの場合、これは結果として、処理がより遅くなり、並びに／又は勾配消失及び／若しくは勾配爆発についての問題が生じる場合がある。ＣＮＮは、全結合モデルでなくてもよく、５×５のタイル状領域を使用して同じ画像を処理することができ、重みを共有したパーセプトロンを２５個しか必要とせず、全結合のＭＬＰモデルよりもはるかに効率的になる。

【0069】

[0068]図９は、ＣＮＮを使用して入力画像９０２を処理する例示のモデル９００のいくつかの実施形態を表し、この入力画像は、人若しくは自動車（又は図１～７に関連して説明されているもの）など、オブジェクト認識を介して識別することのできるオブジェクトの表現を含む。畳み込みＡ９０４を実行して、特徴マップの第１のセット（たとえば、特徴マップＡ９０６）を作成することができる。特徴マップは、ＣＮＮのフィルタ要素によって与えられる、入力画像９０２の態様のマッピングとすることができる。特徴マップＡ９０６を使用してこのプロセスを繰り返して、畳み込みＢ９１４、畳み込みＣ９１６、及び畳み込みＤ９１８を使用して、それぞれ、さらなる特徴マップＢ９０８、特徴マップＣ９１０、及び特徴マップＤ９１２を生成することができる。この例では、特徴マップＤ９１２は、全結合ネットワーク層９２０での入力となる。このようにして、機械学習モデルを訓練して、人、自動車などのような、画像の特定の要素を認識し、たとえば、認識された要素を識別する出力９２２をもたらすことができる。いくつかの実施形態では、超音波システムを用いて生成される推論は、ニューラルネットワーク（たとえば、ＣＮＮ）によって生成される特徴マップ（たとえば、特徴マップＢ９０８）に付加することができる。このようにして、ニューラルネットワークへの２次的な／条件付きの入力として、特徴ベクトル及び／又は推論を使用することができる。

【0070】

[0069]図９の例は、全結合ネットワークの一部分としてのＣＮＮを示すが、他のアーキテクチャも可能であり、この例を限定的なものと理解すべきではない。ＣＮＮでは、層は、さらに多くてもよく、又はさらに少なくてもよい。モデルでのＣＮＮ構成要素を異なる順番で配置することができ、又は、モデルは追加の構成要素若しくはモデルを含むことができる。完全畳み込みネットワークなど、全結合の構成要素が存在しなくてもよい。プーリング、ダウンサンプリング、アップサンプリングなどＣＮＮの追加の態様、又は当業者に知られている他の態様をも利用することができる。

【0071】

例示の装置
[0070]図１０は、本明細書に記載の動作のうちの１つ又は複数を実行することができる、コンピューティング装置１０００のいくつかの実施形態のブロック図を示す。ローカルエリアネットワーク（ＬＡＮ）、イントラネット、エクストラネット、及び／又はインターネットにおいて、このコンピューティング装置１０００を他のコンピューティング装置に接続することができる。コンピューティング装置は、クライアントサーバネットワーク環境ではサーバマシンの能力で、又はピアツーピアネットワーク環境ではクライアントの能力で動作することができる。コンピューティング装置は、パーソナルコンピュータ（ＰＣ）、サーバコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、スマートフォン、超音波装置、又はその装置がとるべき作用を指定する１組の（シーケンシャル、又は他の方法で）命令を実行することのできる任意の装置によって実現することができる。さらに、単一のコンピューティング装置のみが図示されているが、「コンピューティング装置」という用語は、本明細書において述べる方法を実行するための命令の１つのセット（又は複数のセット）を、別々に又は共同して実行する、コンピューティング装置の任意の一群も含むものと解釈されるべきである。いくつかの実施形態では、コンピューティング装置１０００は、超音波装置、超音波スキャナ、アクセスポイント、及びパケット転送構成要素のうちの１つ又は複数である。

【0072】

[0071]例示のコンピューティング装置１０００は、処理装置１００２（たとえば、汎用プロセッサ、プログラマブル論理デバイス（ＰＬＤ）など）、メインメモリ１００４（たとえば、同期ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、リードオンリメモリ（ＲＯＭ）など）、及びスタティックメモリ１００６（たとえば、フラッシュメモリ、データ記憶装置１００８など）を備えることができ、これらは、バス１０１０を介して互いに通信することができる。処理装置１００２は、マイクロプロセッサ、中央処理装置などのような、１つ又は複数の汎用処理装置によって実現することができる。いくつかの実施形態では、処理装置１００２は、複雑命令セットコンピューティング（ＣＩＳＣ）マイクロプロセッサ、縮小命令セットコンピューティング（ＲＩＳＣ）マイクロプロセッサ、超長命令語（ＶＬＩＷ）マイクロプロセッサ、又は、他の命令セットを実施するプロセッサ若しくは命令セットの組合せを実施するプロセッサを備える。処理装置１００２は、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、ネットワークプロセッサなどのような、１つ又は複数の専用処理装置を備えることもできる。本明細書において述べる動作及びステップを実行するために、本開示の１つ又は複数の態様に従って、本明細書に記載の動作を実行するように、処理装置１００２を構成することができる。

【0073】

[0072]コンピューティング装置１０００は、ネットワーク１０１４と通信することのできる、ネットワークインターフェース装置１０１２をさらに備えることができる。コンピューティング装置１０００はさらに、ビデオ表示装置１０１６（たとえば、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）、陰極線管（ＣＲＴ）など）、英数字入力装置１０１８（たとえば、キーボード）、カーソル制御装置１０２０（たとえば、マウス）、及び音響信号生成装置１０２２（たとえば、スピーカ、マイクロフォンなど）を備えることができる。一実施形態では、ビデオ表示装置１０１６、英数字入力装置１０１８、及びカーソル制御装置１０２０を、単一の構成要素又は装置（たとえば、ＬＣＤタッチスクリーン）に組み合わせることができる。

【0074】

[0073]データ記憶装置１００８は、１組又は複数組の命令１０２６（たとえば、本開示の１つ又は複数の態様に従って、本明細書に記載の動作を実行するための命令）を記憶することのできる、コンピュータ読取り可能な記憶媒体１０２４を備えることができる。命令１０２６はさらに、コンピューティング装置１０００によるその実行中に、メインメモリ１００４内及び／又は処理装置１００２内に、完全に又は少なくとも部分的に存在することができ、ここで、メインメモリ１００４及び処理装置１００２も、コンピュータ読取り可能な媒体を構成する。ネットワークインターフェース装置１０１２を介して、ネットワーク１０１４を経て、命令をさらに送信又は受信することができる。

【0075】

[0074]ソフトウェア、ハードウェア要素、又はプログラムモジュールの一般的背景において、様々な技法を説明する。一般に、このようなモジュールには、ルーチン、プログラム、オブジェクト、要素、構成要素、データ構造などが含まれており、これらは、特定のタスクを実行し、又は特定の抽象データ型を実装する。本明細書で使用されるように「モジュール」、「機能性」、及び「構成要素」という用語は、ソフトウェア、ファームウェア、ハードウェア、又はそれらの組合せを全体として表す。いくつかの態様では、本明細書に記載のモジュールは、実行可能な命令又はコードとして、コンピューティング装置１０００のデータ記憶装置１００８において実施される。説明されているモジュールは、ソフトウェア実装形態として表されているが、コンピューティング装置１０００にインストールされた制御アプリケーション、ソフトウェアアプリケーション、信号処理及び制御のモジュール、ハードウェア、又はファームウェアの任意の形式として実装することができる。

【0076】

[0075]例示的な例では、コンピュータ読取り可能な記憶媒体１０２４が単一の媒体として示してあるが、「コンピュータ読取り可能な記憶媒体」という用語は、１つ又は複数の命令セットを記憶する、単一の媒体又は複数の媒体（たとえば、集中データベース若しくは分散データベース、並びに／又は関連するキャッシュ及びサーバ）を含むものと考えるべきである。「コンピュータ読取り可能な記憶媒体」という用語はさらに、装置が実行するための１組の命令を記憶し、符号化し、又は運ぶことができ、本明細書に記載の方法を装置に実行させる、任意の媒体を含むものと考えるべきである。したがって、「コンピュータ読取り可能な記憶媒体」という用語は、ソリッドステートメモリ、光媒体、及び磁気媒体を含むが、これらに限定されるものではないと考えるべきである。

【0077】

[0076]本明細書に記載の例示の実施形態が数多く存在する。

【0078】

[0077]実施例１は、グローバル機械学習（ＭＬ）モデルを構築するためのアーキテクチャであって、クライアントのグループを識別して、連合学習によってグローバルモデルを構築するためのプラットフォームを含み、このプラットフォームが、グローバルモデルでのモデル定義をグループに供給し、そのグループから受信されたモデルパラメータを集約してグローバルモデルを構築することによって、グローバルモデルを構築するためのグループマネージャであり、クライアントが、そのそれぞれのクライアントサイトにおいてローカルデータを使用して、それぞれのクライアントサイトにおいてローカルＭＬモデルを訓練することによって、モデルパラメータが生成される、グループマネージャと、このグループマネージャに通信可能に接続されて、前記各クライアントの寄与に基づいて、プラットフォームに通信可能に接続された各クライアントへのインセンティブを計算して、グローバルモデルを訓練するインセンティブ計算機であり、各クライアントの寄与が、ローカルデータを用いて、モデルパラメータのローカルＭＬモデルを訓練する結果として生成される１つ又は複数のモデルパラメータを含む、インセンティブ計算機とを含む、アーキテクチャである。

【0079】

[0078]実施例２は、グローバルモデルでのモデルフォーマット及び特徴フォーマットを記憶するためのレジストリと、モデル定義の一部分として、このモデルフォーマット及び特徴フォーマットをグループに提供するためのサーバとを任意選択で含んでもよい、実施例１のアーキテクチャである。

【0080】

[0079]実施例３は、グループマネージャが、訓練の要求をクライアントに送信し、このクライアントが、訓練の要求に応答してグループに参加した後に、サーバが、モデル定義の一部分としてモデル及び特徴のフォーマットをグループに提供することを任意選択で含んでもよい、実施例２のアーキテクチャである。

【0081】

[0080]実施例４は、サーバが、ローカルＭＬモデルを訓練するときに使用するために、モデルフォーマット及び特徴フォーマットを前記各クライアントに提供することを任意選択で含んでもよい、実施例２のアーキテクチャである。

【0082】

[0081]実施例５は、グループマネージャが、クライアントそれぞれのローカルＭＬモデルを訓練するのに使用されるデータのクライアントデータセットのサイズ、及びそのローカルＭＬモデルの確度のうちの少なくとも１つに基づいて、クライアントからのモデルパラメータを集約するように動作することができることを任意選択で含んでもよい、実施例１のアーキテクチャである。

【0083】

[0082]実施例６は、インセンティブ計算機が、各クライアントの寄与の量に基づいてインセンティブを計算するように動作することができることを任意選択で含んでもよい、実施例１のアーキテクチャである。

【0084】

[0083]実施例７は、各クライアントの寄与が、クライアントそれぞれのローカルＭＬモデルを訓練するのに使用されるデータのクライアントデータセットのサイズ、及びそのローカルＭＬモデルの確度のうちの少なくとも１つに基づくことを任意選択で含んでもよい、実施例６のアーキテクチャである。

【0085】

[0084]実施例８は、インセンティブ計算機が、記憶された訓練履歴及び取引履歴に基づいてインセンティブを計算することを任意選択で含んでもよい、実施例６のアーキテクチャである。

【0086】

[0085]実施例９は、クライアントによって訓練されるローカルＭＬモデルが、同一の特徴セットを有することを任意選択で含んでもよい、実施例１のアーキテクチャである。

【0087】

[0086]実施例１０は、プラットフォームが、グローバルモデルの１人又は複数人のユーザからの要求に応答して、グループを識別して、グローバルモデルを構築するように動作することができることを任意選択で含んでもよい、実施例１のアーキテクチャである。

【0088】

[0087]実施例１１は、１人又は複数人のユーザによるグローバルモデルを使用する要求に応答した推論サービスを任意選択で含んでもよい、実施例１のアーキテクチャである。

【0089】

[0088]実施例１２は、推論サービスが、ＡＰＩ要求の一部分として受信された、ユーザからの特徴データを使用して、グローバルモデルを使用するＡＰＩ要求を受信し、この特徴データに基づいてグローバルモデルによって生成される推論をユーザに送信するように動作することができることを任意選択で含んでもよい、実施例１１のアーキテクチャである。

【0090】

[0089]実施例１３は、推論サービスが、グローバルモデルを使用するためのユーザからの要求を受信し、このユーザがダウンロードするために、グローバルモデルへのアクセス権を提供するように動作することができることを任意選択で含んでもよい、実施例１のアーキテクチャである。

【0091】

[0090]実施例１４は、グローバル機械学習（ＭＬ）モデルを構築する方法であって、クライアントのグループを識別して、連合学習によってグローバルモデルを構築することと、グローバルモデルでのモデル定義をグループに供給することと、そのグループから受信されたモデルパラメータを集約してグローバルモデルを構築することであり、クライアントが、そのそれぞれのクライアントサイトにおいてローカルデータを使用して、そのそれぞれのクライアントサイトにおいてローカルＭＬモデルを訓練することによって、モデルパラメータが生成される、グローバルモデルを構築することと、前記各クライアントの寄与に基づいて、プラットフォームに通信可能に接続された各クライアントへのインセンティブを計算して、グローバルモデルを訓練することであり、各クライアントの寄与が、ローカルデータを用いて、モデルパラメータのローカルＭＬモデルを訓練する結果として生成される１つ又は複数のモデルパラメータを含む、グローバルモデルを訓練することとを含む、方法である。

【0092】

[0091]実施例１５は、グローバルモデルを訓練する要求を、グループのクライアントに送信することと、このクライアントから、訓練の要求に応答して、クライアントがグループに参加したいと思う表示を受信することと、グローバルモデルでのモデルフォーマット及び特徴フォーマットを含むレジストリを記憶することと、クライアントのそれぞれがそのローカルＭＬモデルを訓練する際に使用するためのモデル定義の一部分として、モデルフォーマット及び特徴フォーマットをグループのクライアントに送信することとを任意選択で含んでもよい、実施例１４の方法である。

【0093】

[0092]実施例１６は、クライアントそれぞれのローカルＭＬモデルを訓練するのに使用されるデータのクライアントデータセットのサイズ、及びそのローカルＭＬモデルの確度のうちの少なくとも１つに基づいて、クライアントからのモデルパラメータを集約することを任意選択で含んでもよい、実施例１４の方法である。

【0094】

[0093]実施例１７は、各クライアントの寄与の量に基づいて、インセンティブを計算することを任意選択で含んでもよい、実施例１４の方法である。

【0095】

[0094]実施例１８は、コンピューティングシステムのプロセッサによって実行されると、グローバル機械学習（ＭＬ）モデルを構築するための動作をコンピューティングシステムに実行させる命令を記憶した、持続的でコンピュータ読取り可能な記憶媒体であって、上記の動作が、クライアントのグループを識別して、連合学習によってグローバルモデルを構築することと、グローバルモデルでのモデル定義をグループに供給することと、そのグループから受信されたモデルパラメータを集約してグローバルモデルを構築することであり、クライアントが、そのそれぞれのクライアントサイトにおいてローカルデータを使用して、それぞれのクライアントサイトにおいてローカルＭＬモデルを訓練することによって、モデルパラメータが生成される、グローバルモデルを構築することと、前記各クライアントの寄与に基づいて、プラットフォームに通信可能に接続された各クライアントへのインセンティブを計算して、グローバルモデルを訓練することであり、各クライアントの寄与が、ローカルデータを用いて、モデルパラメータのローカルＭＬモデルを訓練する結果として生成される１つ又は複数のモデルパラメータを含む、グローバルモデルを訓練することとを含む、持続的でコンピュータ読取り可能な記憶媒体である。

【0096】

[0095]実施例１９は、各動作が、グローバルモデルを訓練する要求を、グループのクライアントに送信することと、このクライアントから、訓練の要求に応答して、クライアントがグループに参加したいと思う表示を受信することと、グローバルモデルでのモデルフォーマット及び特徴フォーマットを含むレジストリを記憶することと、クライアントのそれぞれがそのローカルＭＬモデルを訓練する際に使用するためのモデル定義の一部分として、モデルフォーマット及び特徴フォーマットをグループのクライアントに送信することと、クライアントそれぞれのローカルＭＬモデルを訓練するのに使用されるデータのクライアントデータセットのサイズ、及びそのローカルＭＬモデルの確度のうちの少なくとも１つに基づいて、クライアントからのモデルパラメータを集約することとをさらに含むことを任意選択で含んでもよい、実施例１８の持続的でコンピュータ読取り可能な記憶媒体である。

【0097】

[0096]実施例２０は、インセンティブを計算することが、各クライアントの寄与の量に基づいていることを含んでもよい、実施例１８の持続的でコンピュータ読取り可能な記憶媒体である。

【0098】

[0097]コンピュータメモリ内のデータビットへの動作のアルゴリズム及び記号式表現の観点から、上記詳細な説明の一部分を提示する。これらアルゴリズムの説明及び表現は、データ処理技術の当業者によって使用されて、その仕事の本質を他の当業者に最も効果的に伝える手段である。アルゴリズムは、ここでは、また一般に、所望の結果に至る首尾一貫した一連のステップであると考えられる。ステップは、物理量の物理的操作を必要とするものである。通常、必ずしもそうではないが、これらの量は、記憶、転送、結合、比較、及び他の方法で操作が可能な、電気信号又は磁気信号の形をとる。ビット、値、要素、記号、文字、用語、数字などとして、これらの信号に言及することは、主に一般的な使用法上の理由から、時として好都合であることが証明されてきている。

【0099】

[0098]しかし、これら及び同様の用語のすべては、適切な物理量と関連付けられることになり、これらの量に適用される単に好都合なラベルであることに留意すべきである。別段の具体的な言及がない限り、以下の議論から明らかなように、説明全体を通して、「処理（ｐｒｏｃｅｓｓｉｎｇ）」又は「コンピューティング（ｃｏｍｐｕｔｉｎｇ）」又は「計算（ｃａｌｃｕｌａｔｉｎｇ）」又は「判定（ｄｅｔｅｒｍｉｎｉｎｇ）」又は「表示（ｄｉｓｐｌａｙｉｎｇ）」などのような用語を利用する議論では、コンピュータシステム又は同様の電子コンピューティング装置の動作及びプロセスを指しており、これらの装置が、コンピュータシステムのレジスタ及びメモリ内の物理的な（電子的な）量として表されたデータを操作し、コンピュータシステムのメモリ若しくはレジスタ、又は他のこのような情報の記憶装置、伝送装置、若しくは表示装置内の物理量として同様に表される他のデータに変換すると理解される。

【0100】

[0099]本開示は、本明細書における動作を実行するための機器にも関する。この機器は、要求された目的のために特別に構成されてもよく、又は、コンピュータに記憶されたコンピュータプログラムによって選択的にアクティブにされ、若しくは再構成された汎用のコンピュータを備えてもよい。このようなコンピュータプログラムは、フロッピーディスク、光ディスク、ＣＤ－ＲＯＭ、及び光磁気ディスクを含む任意のタイプのディスク、リードオンリメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気カード若しくは光カード、又は電子的な命令を記憶するのに適した任意のタイプの媒体などだが、これらに限定されないコンピュータ読取り可能な記憶媒体に記憶されてもよく、こうした記憶媒体は、それぞれコンピュータシステムバスに結合されている。

【0101】

[00100]本明細書において提示されるアルゴリズム及び表示装置は、いかなる特定のコンピュータ又は他の機器にも本質的に関連するものではない。本明細書における教示によるプログラムとともに、様々な汎用システムが使用されてもよく、又は、さらに専用の機器を構築して、必要とされる方法ステップを実行することが好都合であると分かる場合がある。様々なこれらのシステムに必要とされる構造は、以下の説明から明らかになろう。さらに、本開示は、いかなる特定のプログラミング言語にも関連して説明されるものではない。本明細書に記載の通り、様々なプログラミング言語を使用して、この開示の教示を実施してもよいことが理解されよう。

【0102】

[00101]機械読取り可能な媒体には、機械（たとえば、コンピュータ）によって読取り可能な形式で情報を記憶又は伝送するための、任意のメカニズムが含まれる。たとえば、機械読取り可能な媒体には、リードオンリメモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリデバイス、電気的、光学的、音響的、又は他の形式の伝搬信号（たとえば、搬送波、赤外線信号、デジタル信号など）などが含まれる。

【0103】

[00102]本開示の数多くの改変形態及び修正形態が、前述の説明を読んだ後には間違いなく当業者に明らかになるが、例として図示及び説明されたいかなる特定の実施形態も、限定的なものと解釈されるものでは決してないことを理解されたい。したがって、様々な実施形態の詳細への言及は、特許請求の範囲自体において、本開示に不可欠と解釈される特徴のみを列挙する特許請求の範囲に記載の範囲を限定することを意図するものではない。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図4C】

【図4D】

【図4E】

【図5A】

【図5B】

【図5C】

【図5D】

【図5E】

【図6】

【図7】

【図8】

【図9】

【図10】

【外国語明細書】