特許 7483929 共同トレーニングモデルを評価するための方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-07

(45)【発行日】2024-05-15

(54)【発明の名称】共同トレーニングモデルを評価するための方法及び装置

(51)【国際特許分類】

   G06N 20/00 20190101AFI20240508BHJP

【ＦＩ】

G06N20/00 130

【請求項の数】 9

(21)【出願番号】P 2022561404

(86)(22)【出願日】2021-03-15

(65)【公表番号】

(43)【公表日】2023-05-23

(86)【国際出願番号】 CN2021080878

(87)【国際公開番号】W WO2021203919

(87)【国際公開日】2021-10-14

【審査請求日】2022-10-07

(31)【優先権主張番号】202010272019.7

(32)【優先日】2020-04-08

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】520476341

【氏名又は名称】北京字節跳動網絡技術有限公司

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｂｙｔｅｄａｎｃｅ Ｎｅｔｗｏｒｋ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．

【住所又は居所原語表記】Ｒｏｏｍ Ｂ－００３５， ２／Ｆ， Ｎｏ．３ Ｂｕｉｌｄｉｎｇ， Ｎｏ．３０， Ｓｈｉｘｉｎｇ Ｒｏａｄ， Ｓｈｉｊｉｎｇｓｈａｎ Ｄｉｓｔｒｉｃｔ Ｂｅｉｊｉｎｇ １０００４１ Ｃｈｉｎａ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】李 ▲竜▼一佳

(72)【発明者】

【氏名】▲呉▼ 迪

(72)【発明者】

【氏名】▲陳▼ 程

(72)【発明者】

【氏名】方 晨廖▲暉▼

(72)【発明者】

【氏名】▲趙▼ ▲鵬▼

(72)【発明者】

【氏名】解 浚源

(72)【発明者】

【氏名】▲陳▼ 逸翔

(72)【発明者】

【氏名】▲呉▼ 良超

(72)【発明者】

【氏名】常 ▲竜▼

(72)【発明者】

【氏名】▲劉▼ 小兵

【審査官】北川 純次

(56)【参考文献】

【文献】米国特許出願公開第２０１９／００４２９３７（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０２０／００３４６６５（ＵＳ，Ａ１）

【文献】特表２０１７－５２４１８２（ＪＰ，Ａ）

【文献】特開２０１９－１６８８９５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ２０／００

Ｇ０６Ｎ ３／０２ － ３／１０

(57)【特許請求の範囲】

【請求項1】

共同トレーニングモデルを評価するための方法であって、前記方法は、サーバによって実施されるものであり、前記方法は、
目標機器から送信されるモデル評価データ要求を受信するステップと、
前記モデル評価データ要求に一致するサンプル集合を取得するステップであり、前記一致するサンプル集合は前記共同トレーニングモデルに関連付けられるラベル有りデータに属する、ステップと、
前記一致するサンプル集合に基づいて、前記共同トレーニングモデルのモデル評価データを生成するステップと、を含み、
暗号化された特徴およびモデルの中間結果は、各関与者によってトレーニングされたモデルのパラメータを調整するために、前記共同トレーニングモデルの関与者間で伝送され、
ターゲットデバイスは、機械学習モデルの共同トレーニングの第１関与者であり、前記サーバは、機械学習モデルの共同トレーニングの第２関与者であり、
前記モデル評価データ要求は、前記第２関与者によってトレーニングされた後の前記共同トレーニングモデルの効果指標に対する要求であり、
前記モデル評価データ要求は、サンプルの識別情報を示すデータ分割情報を含み、かつ、前記データ分割情報は、サンプルの分割方法を指示し、
前記モデル評価データ要求に一致するサンプル集合を取得する前記ステップは、
前記共同トレーニングモデルをトレーニングするためのサンプル集合を取得するステップと、
前記モデル評価データ要求に含まれる前記データ分割情報と一致するサンプル集合を形成するために、前記データ分割情報に従って、前記サンプル集合からサンプルを選択するステップと、を含む、
方法。

【請求項2】

前記一致するサンプル集合に基づいて、前記共同トレーニングモデルのモデル評価データを生成する前記ステップは、
前記一致するサンプル集合を、トレーニングサンプル集合およびテストサンプル集合に分割するステップと、
前記一致するサンプル集合を使用することにより、前記共同トレーニングモデルの指標変化情報を生成するステップであり、前記共同トレーニングモデルの前記指標変化情報は、前記共同トレーニングモデルのモデル評価データの時間経過による変化を示すために使用される、ステップと、
を含む、請求項１に記載の方法。

【請求項3】

前記モデル評価データ要求は、さらに、前記指標変化情報の少なくとも１つの次元を指示するためのデータ照会権限情報を含み、
前記方法は、さらに、
前記データ照会権限情報に基づいて、前記指標変化情報から前記データ照会権限情報に一致するモデル評価データを抽出するステップと、
前記一致するモデル評価データを前記目標機器に送信するステップと、
を含む、請求項２に記載の方法。

【請求項4】

共同トレーニングモデルを評価するための装置であって、
目標機器から送信されるモデル評価データ要求を受信するように構成される受信ユニットであって、前記目標機器は共同トレーニングモデルの関与者を含む受信ユニットと、
前記モデル評価データ要求に一致するサンプル集合を取得するように構成される取得ユニットであって、前記一致するサンプル集合は前記共同トレーニングモデルに関連付けられるラベル有りデータに属する取得ユニットと、
前記一致するサンプル集合に基づいて、前記共同トレーニングモデルのモデル評価データを生成するように構成される生成ユニットと、を備え、
暗号化された特徴およびモデルの中間結果は、各関与者によってトレーニングされたモデルのパラメータを調整するために、前記共同トレーニングモデルの関与者間で伝送され、
ターゲットデバイスは、機械学習モデルの共同トレーニングの第１関与者であり、サーバは、機械学習モデルの共同トレーニングの第２関与者であり、
前記モデル評価データ要求は、前記第２関与者によってトレーニングされた後の前記共同トレーニングモデルの効果指標に対する要求であり、
前記モデル評価データ要求は、サンプルの識別情報を示すデータ分割情報を含み、かつ、前記データ分割情報は、サンプルの分割方法を指示し、
前記モデル評価データ要求に一致するサンプル集合を取得することは、
前記共同トレーニングモデルをトレーニングするためのサンプル集合を取得すること、および、
前記モデル評価データ要求に含まれる前記データ分割情報と一致するサンプル集合を形成するために、前記データ分割情報に従って、前記サンプル集合からサンプルを選択すること、を含む、
装置。

【請求項5】

共同トレーニングモデルを評価するためのシステムであって、
第１関与側と第２関与側を備え、
第１関与側は、
ローカルサンプル集合を取得し、
前記ローカルサンプル集合内のローカルサンプルは、共同トレーニングモデルをトレーニングするためのラベル無しデータに属し、
前記ローカルサンプル集合に関連付けられる共同トレーニングモデルのモデル評価データ要求を生成し、かつ、
前記モデル評価データ要求を前記共同トレーニングモデルの第２関与側に送信する、
ように構成されており、
前記第２関与側と前記第１関与側が、共同で前記共同トレーニングモデルをトレーニングし、
前記第２関与側は、
前記第１関与側から送信されるモデル評価データ要求を受信し、
前記モデル評価データ要求に一致するサンプル集合を取得し、
前記一致するサンプル集合は、前記共同トレーニングモデルに関連付けられるラベル有りデータに属し、かつ、
前記一致するサンプル集合に基づいて、前記共同トレーニングモデルのモデル評価データを生成する、
ように構成されており、
暗号化された特徴およびモデルの中間結果は、各関与側によってトレーニングされたモデルのパラメータを調整するために、前記共同トレーニングモデルの関与側間で伝送される、
システム。

【請求項6】

前記モデル評価データ要求は、データ分割情報を含み、
前記第１関与側は、さらに、
前記ローカルサンプル集合内のサンプルの特徴次元に基づいて、サンプルの分割方法を指示するためのデータ分割情報を生成する、
ように構成されている、請求項５に記載のシステム。

【請求項7】

前記第１関与側は、さらに、
前記第２関与側から前記共同トレーニングモデルのモデル評価データを取得し、かち、
前記モデル評価データに基づいて、前記共同トレーニングモデルを調整する、
ように構成されている、請求項５又は６に記載のシステム。

【請求項8】

１つ又は複数のプロセッサと、
１つ又は複数のプログラムが記憶されている記憶装置と、を備え、
前記１つ又は複数のプログラムが、前記１つ又は複数のプロセッサによって実行されると、前記１つ又は複数のプロセッサに、請求項１乃至３のいずれか一項に記載の方法を実施させる、
サーバ。

【請求項9】

複数の命令を含むコンピュータプログラムが記憶されており、
前記命令が、プロセッサによって実行されると、請求項１乃至３のいずれか一項に記載の方法を実施させる、
コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、コンピュータ技術分野に関し、特には、共同トレーニングモデルを評価するための方法及び装置に関する。

【0002】

(関連出願の相互参照)
本願は、２０２０年０４月０８日に提出された、出願番号が２０２０１０２７２０１９．７であり、発明の名称が「共同トレーニングモデルを評価するための方法及び装置」である、中国特許出願について優先権を主張するものであり、該出願の全てが参照によって本願に組み込まれている。

【背景技術】

【0003】

人工知能技術の発展に伴い、機械学習の応用範囲はますます広がっている。近年、データ孤島とデータプライバシーの問題を解決するために、関連の方法としては、通常、共同トレーニングモデルによって、生データを暴露せずに、機械学習モデルの構築を完了する。上記共同トレーニングモデルのトレーニングは、通常、複数のモデルトレーニング関与者間で伝達されるモデル勾配によってモデルパラメータを調整することで実現される。

【発明の概要】

【0004】

本願の実施例は、共同トレーニングモデルを評価するための方法及び装置を提供する。

【0005】

第１側面において、本願の実施例は、共同トレーニングモデルを評価するための方法を提供する。該方法は、目標機器から送信されるモデル評価データ要求を受信するステップであり、目標機器は共同トレーニングモデルの関与者を含むステップと、モデル評価データ要求に一致するサンプル集合を取得するステップであり、一致するサンプル集合は共同トレーニングモデルに関連付けられるラベル有りデータに属するステップと、一致するサンプル集合に基づいて、共同トレーニングモデルのモデル評価データを生成するステップと、を含む。

【0006】

いくつかの実施例において、上記モデル評価データ要求は、サンプルの分割方法を指示するためのデータ分割情報を含み、モデル評価データ要求に一致するサンプル集合を取得する上記ステップは、共同トレーニングモデルをトレーニングするためのサンプル集合を取得するステップと、データ分割情報に基づいてサンプル集合からサンプルを選択し、モデル評価データ要求に一致するサンプル集合を構成するステップと、を含む。

【0007】

いくつかの実施例において、一致するサンプル集合に基づいて、共同トレーニングモデルのモデル評価データを生成する上記ステップは、一致するサンプル集合をトレーニングサンプル集合およびテストサンプル集合に分割するステップと、一致するサンプル集合を用いて、共同トレーニングモデルのモデル評価データの時間次元に伴う変化を指示するための共同トレーニングモデルの指標変化情報を生成するステップと、を含む。

【0008】

いくつかの実施例において、上記モデル評価データ要求は、指標変化情報の少なくとも１つの次元を指示するためのデータ照会権限情報をさらに含み、該方法は、データ照会権限情報に基づいて、指標変化情報からデータ照会権限情報に一致するモデル評価データを抽出するステップと、一致するモデル評価データを目標機器に送信するステップと、をさらに含む。

【0009】

第２側面において、本願の実施例は、共同トレーニングモデルを評価するための装置を提供する。該装置は、目標機器から送信されるモデル評価データ要求を受信するように構成される受信ユニットであり、目標機器は共同トレーニングモデルの関与者を含む受信ユニットと、モデル評価データ要求に一致するサンプル集合を取得するように構成される取得ユニットであり、一致するサンプル集合は共同トレーニングモデルに関連付けられるラベル有りデータに属する取得ユニットと、一致するサンプル集合に基づいて、共同トレーニングモデルのモデル評価データを生成するように構成される生成ユニットと、を備える。

【0010】

いくつかの実施例において、上記モデル評価データ要求は、サンプルの分割方法を指示するためのデータ分割情報を含む。上記取得ユニットは、共同トレーニングモデルをトレーニングするためのサンプル集合を取得するように構成される取得モジュールと、データ分割情報に基づいて、サンプル集合からサンプルを選択し、モデル評価データ要求に一致するサンプル集合を構成するように構成される第１生成モジュールと、を備える。

【0011】

いくつかの実施例において、上記生成ユニットは、一致するサンプル集合をトレーニングサンプル集合およびテストサンプル集合に分割するように構成される分割モジュールと、一致するサンプル集合を用いて、共同トレーニングモデルのモデル評価データの時間次元に伴う変化を指示するための共同トレーニングモデルの指標変化情報を生成するように構成される第２生成モジュールと、を備える。

【0012】

いくつかの実施例において、上記モデル評価データ要求は、指標変化情報の少なくとも１つの次元を指示するためのデータ照会権限情報をさらに含み、該装置は、データ照会権限情報に基づいて、指標変化情報からデータ照会権限情報に一致するモデル評価データを抽出するように構成される抽出ユニットと、一致するモデル評価データを目標機器に送信するように構成される送信ユニットと、をさらに備える。

【0013】

第３側面において、本願の実施例は、共同トレーニングモデルを評価するためのシステムを提供する。該システムは、第１関与側と第２関与側を備える。前記第１関与側は、ローカルサンプル集合を取得し、ローカルサンプル集合内のローカルサンプルは共同トレーニングモデルをトレーニングするためのラベル無しデータに属し、ローカルサンプル集合に関連付けられる共同トレーニングモデルのモデル評価データ要求を生成し、そして、モデル評価データ要求を共同トレーニングモデルの第２関与側に送信するように構成されている。第２関与側と第１関与側は、共同で共同トレーニングモデルをトレーニングする。第２関与側は、第１関与側から送信されるモデル評価データ要求を受信し、モデル評価データ要求に一致するサンプル集合を取得し、一致するサンプル集合は共同トレーニングモデルに関連付けられるラベル有りデータに属し、そして、一致するサンプル集合に基づいて、共同トレーニングモデルのモデル評価データを生成するように構成されている。

【0014】

いくつかの実施例において、上記モデル評価データ要求は、データ分割情報を含み、上記第１関与側は、さらに、ローカルサンプル集合内のサンプルの特徴次元に基づいて、サンプルの分割方法を指示するためのデータ分割情報を生成するように構成されている。

【0015】

いくつかの実施例において、上記第１関与側は、さらに、第２関与側から共同トレーニングモデルのモデル評価データを取得し、そして、モデル評価データに基づいて、共同トレーニングモデルを調整するように構成されている。

【0016】

第４側面において、本願の実施例は、サーバを提供する。該サーバは、１つ又は複数のプロセッサと、１つ又は複数のプログラムが記憶されている記憶装置とを備え、１つ又は複数のプログラムが１つ又は複数のプロセッサによって実行されると、１つ又は複数のプロセッサに、第１側面のいずれかの実施形態に記載の方法を実施させる。

【0017】

第５側面において、本願の実施例は、コンピュータ可読媒体を提供する。該コンピュータ可読媒体には、複数の命令を含むコンピュータプログラムが記憶されており、前記命令がプロセッサによって実行されると、第１側面のいずれかの実施形態に記載の方法を実施させる。

【0018】

本願の実施例で提供される共同トレーニングモデルを評価するための方法及び装置は、まず、目標機器から送信されるモデル評価データ要求を受信する。ここで、目標機器は共同トレーニングモデルの関与者を含む。その後、モデル評価データ要求に一致するサンプル集合を取得する。ここで、一致するサンプル集合は共同トレーニングモデルに関連付けられるラベル有りデータに属する。最後に、一致するサンプル集合に基づいて、共同トレーニングモデルのモデル評価データを生成する。これにより、生サンプルデータを暴露することなく、共同トレーニングモデルの効果指標を共有することを可能にする。これによって、共同トレーニングモデルの最適化と改善のためにタイムリーで効果的なデータ参照基盤を提供する。

【図面の簡単な説明】

【0019】

以下の図面を参照して、非限定的な実施例に関する詳細な記述を読むことにより、本願の他の特徴、目的、及び利点が、より明確になる。

【図1】本願の一実施例に従った、適用可能な例示的なシステムアーキテクチャ図である。

【図2】本願の一実施例に従った、共同トレーニングモデルを評価するための方法に係るフローチャートである。

【図3】本願の一実施例に従った、共同トレーニングモデルを評価するための方法に係る応用シーンの模式図である。

【図4】本願の一実施例に従った、共同トレーニングモデルを評価するための別の方法に係るフローチャートである。

【図5】本願の一実施例に従った、共同トレーニングモデルを評価するための装置に係る構造模式図である。

【図6】本願の一実施例に従った、共同トレーニングモデルを評価するためのシステムに係る各機器間のやり取りを示すシーケンス図である。

【図7】本願の一実施例を実現するのに適する電子機器の構造模式図である。

【発明を実施するための形態】

【0020】

以下において、図面と実施例を参照しながら、本願をさらに詳細に説明する。ここで説明する具体的な実施例は、本願発明を解釈するためのものに過ぎず、該発明を限定するものではないことが理解されよう。また、説明すべきは、記述上の便宜のために、図面では、本願発明と関係する部分のみを示している点である。

【0021】

説明すべきは、相互に違反しない限り、本願における実施例及び実施例における特徴を互いに組み合わせてもよい点である。以下において、図面を参照しながら、実施例に基づいて、本願発明を詳細に説明する。

【0022】

図１は、本願に係る共同トレーニングモデルを評価するための方法又は共同トレーニングモデルを評価するための装置を応用可能な、例示的なアーキテクチャ１００を示す。

【0023】

図１に示すように、システムアーキテクチャ１００は、端末機器１０１、１０２、ネットワーク１０３、１０４、及び、サーバ１０５、サーバ１０６を含んでもよい。ネットワーク１０３は、端末機器１０１、１０２とサーバ１０５、１０６との間に通信リンクを提供するための媒体である。ネットワーク１０４は、サーバ１０５とサーバ１０６との間に通信リンクを提供するための媒体である。ネットワーク１０３、１０４は、例えば、有線、無線通信リンク、又は光ファイバケーブル、等の様々な接続タイプを含んでもよい。

【0024】

端末機器１０１、１０２は、ネットワーク１０３を介してサーバ１０５、１０６とやり取りして、メッセージの送受信などをすることができる。端末機器１０１、１０２には、例えば、ウェブブラウザアプリケーション、ショッピングアプリケーション、検索アプリケーション、即時通信ツール、メールクライアント、ソーシャルプラットフォームソフトウェア、テキスト編集アプリケーション、等の様々な通信クライアントアプリケーションをインストールすることができる。

【0025】

端末機器１０１、１０２は、ハードウェアであってもよいし、または、ソフトウェアであってもよい。端末機器１０１、１０２は、ハードウェアである場合、ディスプレイスクリーンを有し、且つデータ伝送をサポートする様々な電子機器であってもよく、スマートフォン、タブレットコンピュータ、電子書リーダー、ラップトップコンピュータ、及びデスクトップコンピュータ、等を含むが、これらに限定されない。端末機器１０１、１０２は、ソフトウェアである場合、上記に列挙した電子機器にインストールすることができる。端末機器は、複数のソフトウェア又はソフトウェアモジュール（例えば、分散サービスを提供するためのソフトウェア又はソフトウェアモジュール）として実施されてもよく、または、単一のソフトウェア又はソフトウェアモジュールとして実施されてもよいが、ここでは具体的に限定しない。

【0026】

サーバ１０５、１０６は、様々なサービスを提供するサーバ、例えば、端末機器１０１、１０２にインストールされている様々な通信クライアントアプリケーションをサポートするバックグランドサーバであってもよい。バックグランドサーバは、受信したデータ要求に対して解析等の処理を実行して、処理の結果（例えば、推薦されるウェブページ内容）を端末機器にフィードバックすることができる。サーバ１０５、１０６は、ネットワーク１０４を介して中間データの伝送を行って、機械学習モデルを共同でトレーニングすることができる。

【0027】

説明すべきは、サーバは、ハードウェアであってもよいし、または、ソフトウェアであってもよい点である。サーバは、ハードウェアである場合、複数のサーバからなる分散型サーバ群として実施されてもよく、または、単一のサーバとして実施されてもよい。サーバは、ソフトウェアである場合、複数のソフトウェア又はソフトウェアモジュール（例えば、分散サービスを提供するためのソフトウェア又はソフトウェアモジュール）として実施されてもよく、または、単一のソフトウェア又はソフトウェアモジュールとして実施されてもよい。ここでは具体的に限定しない。

【0028】

説明すべきは、本願の実施例で提供される共同トレーニングモデルを評価するための方法は、一般的に、サーバ１０５又はサーバ１０６によって実行され、それに応じて、共同トレーニングモデルを評価するための装置は、一般的に、サーバ１０５又はサーバ１０６に設けられる点である。

【0029】

なお、図１の端末機器、ネットワーク、及びサーバの数は、単なる例示であることを理解すべきである。現実のニーズに応じて、任意の数の端末機器、ネットワーク、及びサーバを有し得る。

【0030】

次に、図２を参照すると、図２には、本願の一実施例に係る共同トレーニングモデルを評価するための方法のフロー２００が示される。該共同トレーニングモデルを評価するための方法は、以下のステップを含む。

【0031】

ステップ２０１では、目標機器から送信されるモデル評価データ要求を受信する。

【0032】

本実施例において、共同トレーニングモデルを評価するための方法の実行主体（図１に示すサーバ１０５又はサーバ１０６）は、目標機器から送信されるモデル評価データ要求を有線接続方式又は無線接続方式によって受信することができる。上記目標機器は、共同トレーニングモデルの関与者を含んでもよい。上記共同トレーニングモデルは、生データを暴露することなく、複数の関与者によって共同でトレーニングされ得る、様々なモデルを含んでもよい。上記共同トレーニングモデルに関与する関与者の間は、暗号化された特徴とモデル中間結果（例えば、勾配）を伝送して、各関与者によってトレーニングされるサブモデルのモデルパラメータを調整することができる。上記モデル評価データ要求は、上記実行主体および上記目標機器によって、共同でトレーニングされる共同トレーニングモデルのモデル評価データの取得に用いられ得る。上記モデル評価データは、適合率、再現率、ＡＵＣ（ａｒｅａ ｕｎｄｅｒ ｃｕｒｖｅ、ＲＯＣ曲線下面積）、ＰＳＩ（Ｐｏｐｕｌａｔｉｏｎ Ｓｔａｂｉｌｉｔｙ Ｉｎｄｅｘ、モデル安定度指標）、対数損失（Ｌｏｇ Ｌｏｓｓ）の少なくとも１つを含んでもよいが、これらに限定されない。

【0033】

説明すべきは、一例として、関与者が２つである共同トレーニングモデルの応用シーンでは、各関与者には、それぞれサンプルセットが格納されており、両方のサンプルセットは、通常、一定の交差を有する点である。一般的に、２つの関与者のうち、一方のサンプルセット内のサンプルはラベルだけを有し、他方のサンプルセット内のサンプルは特徴だけを含む。また、トレーニング前には、通常、２つの関与者のサンプルをアライメントする必要がある。

【0034】

本実施例のいくつかの選択可能な実施形態において、上記モデル評価データ要求は、データ照会権限情報を含んでもよく、上記データ照会権限情報は、上記モデル評価データの少なくとも１つの次元を指示するために用いられ得る。当該次元は、モデル評価データの識別子（ｋｅｙ）、サンプリング粒度、所定期間のうち少なくとも１つを含んでもよいが、これらに限定されない。

【0035】

ステップ２０２では、モデル評価データ要求に一致するサンプル集合を取得する。

【0036】

本実施例において、上記実行主体は、有線接続方式又は無線接続方式によって、上記モデル評価データ要求に一致するサンプル集合を取得してもよい。上記一致するサンプル集合は、通常、上記共同トレーニングモデルに関連付けられるラベル有りデータに属し、つまり、上記サンプル集合内のサンプルは、特徴及び特徴に対応するラベルを含んでもよい。

【0037】

一例として、上記実行主体は、通常、ローカルに予め記憶されている、上記モデル評価データ要求が指示する共同トレーニングモデルをトレーニングするためのサンプル集合を取得してもよい。別の例として、上記実行主体は、通信接続される電子機器（例えば、記憶サーバ）から、上記一致するサンプル集合を取得してもよい。説明すべきは、データセキュリティを保証するために、生のサンプルデータは、上記通信接続される電子機器と上記共同トレーニングモデルの他の関与者との間で直接的に共有されない点である。

【0038】

本実施例のいくつかの選択可能な実施形態において、上記モデル評価データ要求は、データ分割情報を含んでもよい。上記データ分割情報は、サンプルの分割方法を指示するために用いられ得る。上記サンプル識別子は、例えば、ネットワーク接続における要求識別子（Ｒｅｑｕｅｓｔ ＩＤ）を含んでもよい。上記実行主体は、以下のステップで、モデル評価データ要求に一致するサンプル集合を取得してもよい。

【0039】

第１ステップでは、共同トレーニングモデルをトレーニングするためのサンプル集合を取得する。

【0040】

このような実施形態において、上記実行主体は、ローカル又は通信接続される電子機器から、上記共同トレーニングモデルをトレーニングするためのサンプル集合を取得してもよい。通常、上記共同トレーニングモデルをトレーニングするための上記サンプル集合は、サンプルアライメントをしたサンプルを含んでもよい。説明すべきは、データセキュリティを保証するために、生のサンプルデータは、上記通信接続される電子機器と上記共同トレーニングモデルの他の関与者との間で直接的に共有されない点である。

【0041】

第２ステップでは、データ分割情報に基づいて、サンプル集合からサンプルを選択し、モデル評価データ要求に一致するサンプル集合を構成する。

【0042】

このような実施形態において、上記実行主体は、データ分割情報が指示するサンプル分割方法に基づいて、上記第１ステップで取得されたサンプル集合から、サンプルを選択し、上記モデル評価データ要求に一致するサンプル集合を構成してもよい。一例として、上記データ分割情報は、ホワイトリスト形式のサンプル識別子リストを含んでもよい。上記実行主体は、上記第１ステップで取得されたサンプル集合から、上記サンプル識別子リスト内の識別子に一致するサンプルを選択してもよい。上記サンプル識別子は、例えば、シリアル番号又はサンプル特徴、等のサンプルを一意に識別できる、様々な文字列を含んでもよい。

【0043】

上記選択可能な実施形態によれば、上記実行主体は、上記データ分割情報に一致する特定のサンプル集合を選択し、後続の共同トレーニングモデルのトレーニング及びモデル評価データの生成のためにデータ基盤を提供することができる。

【0044】

ステップ２０３では、一致するサンプル集合に基づいて、共同トレーニングモデルのモデル評価データを生成する。

【0045】

本実施例において、上記実行主体は、上記ステップ２０２で取得された一致するサンプル集合に基づいて、様々な方式によって、上記共同トレーニングモデルのモデル評価データを生成することができる。一例として、上記実行主体は、上記モデル評価データ要求が指示する共同トレーニングモデルをトレーニングするための上記サンプル集合を用いてモデルをトレーニングすることで、上記モデル評価データ要求に一致するモデル評価データを生成することができる。例えば、上記モデル評価データ要求がモデル適合率のデータの取得を指示するために用いられるとき、上記実行主体は、上記モデルトレーニング完了後のテスト結果に基づいて、上記モデルの適合率指標を生成することができる。選択的に、上記実行主体は、上記モデルトレーニング完了後に、上記モデルの各種のモデル評価データの集合を生成してもよい。その後、上記実行主体は、上記モデル評価データ集合から、上記モデル評価データ要求が指示するデータに一致するモデル評価データを選択することができる。

【0046】

本実施例のいくつかの選択可能な実施形態において、上記実行主体は、上記モデル評価データ要求に対する応答情報として、生成された共同トレーニングモデルのモデル評価データを、上記目標機器に送信してもよい。

【0047】

引き続き、図３を参照すると、図３は、本願の一実施例に従った、共同トレーニングモデルを評価するための方法に係る応用シーンの模式図である。図３の応用シーンにおいて、情報系アプリケーションのバックグランドサーバ３０１およびショッピングアプリケーションのバックグランドサーバ３０２は、それぞれサンプル集合Ａ３０３およびサンプル集合Ｂ３０４を用いて、共同トレーニングモデル３０５を共同でトレーニングしてもよい。上記サンプル集合Ａ３０３内のサンプルは、様々なユーザ属性情報（例えば、性別、年齢、嗜好、等）を含んでもよい。上記サンプル集合Ｂ３０４内のサンプルは、ユーザ識別子およびユーザのショッピング行為（例えば、商品をカートに入れる）の有無を含んでもよい。通常、バックグランドサーバ３０１およびバックグランドサーバ３０２は、相手のサンプルデータを直接的に取得することができない。ユーザが、端末３０６で情報系アプリケーション使用すると、バックグランドサーバ３０１は、上記トレーニングされた共同トレーニングモデル３０５を用いて、対応する商品リンクを取得して、端末３０６に送信することができる。これにより、端末３０６は、商品リンクをユーザに提示することができる。バックグランドサーバ３０１は、上記共同トレーニングモデル３０５の効果指標（例えば、適合率）を取得するように、バックグランドサーバ３０２にモデル評価データ要求３０７を送信してもよい。バックグランドサーバ３０２は、上記モデル評価データ要求３０７に一致するサンプル集合Ｂ３０４を取得することができる。上記サンプル集合Ｂ３０４に基づいて、バックグランドサーバ３０２は、上記モデル評価データとして、上記サンプル集合Ｂ３０４によってトレーニングされた共同トレーニングモデル３０５の効果指標（例えば、適合率）を生成することができる。選択的に、バックグランドサーバ３０２は、さらに、上記モデル評価データを含む応答情報３０８をバックグランドサーバ３０１に送信してもよい。

【0048】

現在、従来技術の１つとしては、通常、分散型トレーニングの方式によって、大規模なモデルトレーニングの効率を向上させるが、この場合、ラベルサンプルを有さない一方にとって、データセキュリティを保証しつつ、モデルのトレーニング効果を知ることが困難である。本願の上記実施例で提供される方法では、ラベルサンプルを有さない一方から送信されるモデル評価データ要求に基づいて、対応する共同トレーニングモデルのモデル評価データを生成することで、生サンプルデータを暴露することなく、共同トレーニングモデルの効果指標を共有することを可能にする。これによって、共同トレーニングモデルの最適化と改善のためにタイムリーで効果的なデータ参照基盤を提供する。

【0049】

さらに、図４を参照すると、図４には、共同トレーニングモデルを評価するための方法に係る別の実施例のフロー４００が示される。該共同トレーニングモデルを評価するための方法のフロー４００は、以下のステップを含む。

【0050】

ステップ４０１では、目標機器から送信されるモデル評価データ要求を受信する。

【0051】

本実施例において、上記モデル評価データ要求は、データ分割情報を含んでもよい。上記データ分割情報は、サンプルの分割方法を指示するために用いられ得る。

【0052】

本実施例のいくつかの選択可能な実施形態において、上記モデル評価データ要求は、データ照会権限情報を含んでもよい。上記データ照会権限情報は、上記指標変化情報の少なくとも１つの次元を指示するために用いられ得る。

【0053】

ステップ４０２では、共同トレーニングモデルをトレーニングするためのサンプル集合を取得する。

【0054】

ステップ４０３では、データ分割情報に基づいて、サンプル集合からサンプルを選択し、モデル評価データ要求に一致するサンプル集合を構成する。

【0055】

上記ステップ４０１、ステップ４０２、ステップ４０３は、それぞれ、前述した実施例のステップ２０１及びステップ２０２の選択可能な実施形態と同様であり、ステップ２０１及びステップ２０２の選択可能な実施形態についての上記説明は、ステップ４０１、ステップ４０２、及びステップ４０３にも適用される。ここでは詳細な説明を省略する。

【0056】

ステップ４０４では、一致するサンプル集合をトレーニングサンプル集合とテストサンプル集合に分割する。

【0057】

本実施例において、共同トレーニングモデルを評価するための方法の実行主体（例えば、図１に示すサーバ１０５又はサーバ１０６）は、様々な方式によって、上記ステップ４０３で取得された一致するサンプル集合をトレーニングサンプル集合とテストサンプル集合に分割することができる。上記サンプル集合分割の方式は、ホールドアウト（ｈｏｌｄ－ｏｕｔ）、交差検証法（ｃｒｏｓｓ ｖａｌｉｄａｔｉｏｎ）、ブートストラップ法（ｂｏｏｔｓｔｒａｐｐｉｎｇ）の少なくとも１つを含んでもよいが、これらに限定されない。

【0058】

ステップ４０５では、一致するサンプル集合を用いて、共同トレーニングモデルの指標変化情報を生成する。

【0059】

本実施例において、上記実行主体は、一致するサンプル集合を用いて、様々な方式によって、共同トレーニングモデルの指標変化情報を生成することができる。上記共同トレーニングモデルの指標変化情報は、上記共同トレーニングモデルのモデル評価データの時間次元に伴う変化を指示するために用いられ得る。上記時間次元は、時間、グローバルステップ数（ｇｌｏｂａｌ ｓｔｅｐ）の少なくとも１つを含んでもよいが、これらに限定されない。一例として、上記実行主体は、上記時間次元に基づき、上記一致するサンプル集合におけるトレーニングサンプル集合を用いて、共同トレーニングモデルのパラメータを調整し、その後、上記一致するサンプル集合におけるテストサンプル集合を用いて、上記調整された共同トレーニングモデルの各種のモデル評価データを生成することができる。上記モデル評価データは、適合率、再現率、ＡＵＣの少なくとも１つを含んでもよいが、これらに限定されない。これにより、上記実行主体は、共同トレーニングモデルの指標変化情報として、上記各種のモデル評価データの経時変化を示すグラフを生成することができる。

【0060】

本実施例のいくつかの選択可能な実施形態において、上記実行主体は、上記モデル評価データ要求に含まれるデータ照会権限情報に基づいて、引き続き、以下のステップを実行してもよい。

【0061】

第１ステップでは、データ照会権限情報に基づいて、指標変化情報からデータ照会権限情報に一致するモデル評価データを抽出する。

【0062】

このような実施形態において、上記実行主体は、上記モデル評価データ要求に含まれるデータ照会権限情報に基づいて、生成された指標変化情報から上記データ照会権限情報に一致するモデル評価データを抽出することができる。上記データ照会権限情報は、上記指標変化情報の少なくとも１つの次元を指示するために用いられ得る。上記次元は、時間、モデル評価データの識別子（例えば、名称）、サンプリング粒度の少なくとも１つを含んでもよいが、これらに限定されない。

【0063】

第２ステップでは、一致するモデル評価データを目標機器に送信する。

【0064】

このような実施形態において、上記実行主体は、上記第１ステップで抽出された一致するモデル評価データを上記目標機器に送信してもよい。

【0065】

上記選択可能な実施形態によれば、上記目標機器は、データ照会権限情報を用いて、時間、モデル評価データの名称（例えば、適合率、ＡＵＣ）、等の次元に応じて、必要なモデル評価データを取得することができる。

【0066】

図４から分かるように、本実施例における共同トレーニングモデルを評価するための方法のフロー４００には、分割後の一致するサンプル集合を用いて、共同トレーニングモデルの指標変化情報を生成するステップが示される。これにより、本実施例に記載の解決手段は、分割されたサンプル集合を用いて、共同トレーニングモデルをトレーニングし、モデルトレーニング過程中のモデル評価データの時間次元に伴う変化情報を生成し、これにより、データセキュリティを保証しつつ、共同トレーニングモデル間のモデル評価指標の共有を実現する。

【0067】

さらに、図５を参照すると、上記各図に示す方法の実施形態として、本願発明は、共同トレーニングモデルを評価するための装置の一実施例を提供する。該装置の実施例は、図２に示す方法の実施例に対応し、該装置は、具体的に、様々な電子機器に適用することができる。

【0068】

図５に示すように、本実施例で提供される共同トレーニングモデルを評価するための装置５００は、受信ユニット５０１、取得ユニット５０２、及び生成ユニット５０３を備える。そのうち、受信ユニット５０１は、目標機器から送信されるモデル評価データ要求を受信するように構成されており、目標機器は、共同トレーニングモデルの関与者を含む。取得ユニット５０２は、モデル評価データ要求に一致するサンプル集合を取得するように構成されており、一致するサンプル集合は、共同トレーニングモデルに関連付けられるラベル有りデータに属する。生成ユニット５０３は、一致するサンプル集合に基づいて、共同トレーニングモデルのモデル評価データを生成するように構成されている。

【0069】

本実施例において、共同トレーニングモデルを評価するための装置５００において、受信ユニット５０１、取得ユニット５０２、及び生成ユニット５０３の具体的な処理及びそれらの技術的効果は、それぞれ、図２の対応する実施例におけるステップ２０１、ステップ２０２、ステップ２０３、又は、図４の対応する実施例におけるステップ４０１～ステップ４０５の関連する説明を参照すればよく、ここでは詳細な説明を省略する。

【0070】

本実施例のいくつかの選択可能な実施形態において、上記モデル評価データ要求は、データ分割情報を含んでもよい。上記データ分割情報は、サンプルの分割方法を指示するために用いられ得る。上記取得ユニット５０２は、取得モジュール（図示せず）および第１生成モジュール（図示せず）を含んでもよい。そのうち、上記取得モジュールは、共同トレーニングモデルをトレーニングするためのサンプル集合を取得するように構成されてもよい。上記第１生成モジュールは、データ分割情報に基づいて、サンプル集合からサンプルを選択し、モデル評価データ要求に一致するサンプル集合を構成するように構成されてもよい。

【0071】

本実施例のいくつかの選択可能な実施形態において、上記生成ユニット５０３は、分割モジュール（図示せず）および第２生成モジュール（図示せず）を含んでもよい。そのうち、上記分割モジュールは、一致するサンプル集合をトレーニングサンプル集合とテストサンプル集合に分割するように構成されてもよい。上記第２生成モジュールは、一致するサンプル集合を用いて、共同トレーニングモデルの指標変化情報を生成するように構成されてもよい。上記共同トレーニングモデルの指標変化情報は、共同トレーニングモデルのモデル評価データの時間次元に伴う変化を指示するために用いられ得る。

【0072】

本実施例のいくつかの選択可能な実施形態において、上記モデル評価データ要求は、データ照会権限情報を含んでもよい。上記データ照会権限情報は、指標変化情報の少なくとも１つの次元を指示するために用いられ得る。該共同トレーニングモデルを評価するための装置５００は、抽出ユニット（図示せず）および送信ユニット（図示せず）を、さらに含んでもよい。そのうち、上記抽出ユニットは、データ照会権限情報に基づいて、指標変化情報からデータ照会権限情報に一致するモデル評価データを抽出するように構成されてもよい。上記送信ユニットは、一致するモデル評価データを目標機器に送信するように構成されてもよい。

【0073】

本願の上記実施例で提供される装置は、目標機器から送信されるモデル評価データ要求を受信ユニット５０１によって受信する。ここで、目標機器は、共同トレーニングモデルの関与者を含む。その後、取得ユニット５０２は、モデル評価データ要求に一致するサンプル集合を取する。ここで、一致するサンプル集合は、共同トレーニングモデルに関連付けられるラベル有りデータに属する。最後に、生成ユニット５０３は、一致するサンプル集合に基づいて、共同トレーニングモデルのモデル評価データを生成する。これにより、生サンプルデータを暴露することなく、共同トレーニングモデルの効果指標を共有することを可能にする。これによって、共同トレーニングモデルの最適化と改善のためにタイムリーで効果的なデータ参照基盤を提供する。

【0074】

さらに、図６を参照すると、図６には、共同トレーニングモデルを評価するための方法の一実施例における各機器間のやり取りのシーケンス６００が示される。該共同トレーニングモデルを評価するためのシステムは、第１関与側（例えば、図１に示すサーバ１０５）および第２関与側（例えば、図１に示すサーバ１０６）を含んでもよい。そのうち、上記第１関与側は、ローカルサンプル集合を取得する。ここで、上記ローカルサンプル集合内のローカルサンプルは、共同トレーニングモデルをトレーニングするためのラベル無しデータに属し、上記ローカルサンプル集合に関連付けられる共同トレーニングモデルのモデル評価データ要求を生成し、そして、上記モデル評価データ要求を上記共同トレーニングモデルの第２関与側に送信するように構成されてもよく、上記第２関与側および上記第１関与側が、共同で上記共同トレーニングモデルをトレーニングする。上記第２関与側は、上記第１関与側から送信されるモデル評価データ要求を受信し、上記モデル評価データ要求に一致するサンプル集合を取得する。ここで、上記一致するサンプル集合は、上記共同トレーニングモデルに関連付けられるラベル有りデータに属し、そして、上記一致するサンプル集合に基づいて、上記共同トレーニングモデルのモデル評価データを生成するように構成されてもよい。

【0075】

本実施例のいくつかの選択可能な実施形態において、上記モデル評価データ要求、はデータ分割情報を含んでもよい。上記第１関与側は、さらに、上記ローカルサンプル集合内のサンプルの特徴次元に基づいて、サンプルの分割方法を指示するためのデータ分割情報を生成するように構成されてもよい。

【0076】

本実施例のいくつかの選択可能な実施形態において、上記第１関与側は、さらに、上記第２関与側から上記共同トレーニングモデルのモデル評価データを取得し、そして、上記モデル評価データに基づいて、上記共同トレーニングモデルを調整するように構成されてもよい。

【0077】

図６に示すように、ステップ６０１において、第１関与側は、ローカルサンプル集合を取得する。

【0078】

本実施例において、上記第１関与側は、ローカルサンプル集合を取得してもよい。上記ローカルサンプル集合内のローカルサンプルは、通常、共同トレーニングモデルをトレーニングするために用いられ得るラベル無しデータに属する。つまり、上記サンプル集合内のサンプルは、通常、特徴のみを含む。また、上記ローカルサンプル集合内のローカルサンプルに含まれる特徴は、通常、対応するラベル有りデータのサンプルに含まれる特徴よりも多い。一例として、上記ラベル無しデータのサンプルに含まれる特徴は、性別、年齢、地域、嗜好、閲覧履歴情報を含んでもよく、上記ラベル無しデータのサンプルに含まれる特徴は、アカウントを含んでもよい。

【0079】

ステップ６０２において、第１関与側は、ローカルサンプル集合に関連付けられる共同トレーニングモデルのモデル評価データ要求を生成する。

【0080】

本実施例において、上記第１関与側は、様々な方式によって、上記ステップ６０１で取得されたローカルサンプル集合に関連付けられる共同トレーニングモデルのモデル評価データ要求を生成することができる。上記モデル評価データ要求は、上記共同トレーニングモデルのモデル評価データの取得に用いられ得る。上記第１関与側は、所定のモデル指標リストに基づいて、上記モデル評価データ要求を生成してもよい。上記モデル指標リストは、適合率、再現率、ＡＵＣ、ＰＳＩ、対数損失の少なくとも１つを含んでもよい。一例として、上記第１関与側は、上記モデル指標リストから少なくとも１つの指標をランダムに選択してもよい。別の例として、上記第１関与側は、技術者が使用する端末から送信される、モデル指標を指示するための情報に基づいて、該モデル指標を取得するためのモデル評価データ要求を生成してもよい。

【0081】

本実施例のいくつかの選択可能な実施形態において、上記第１関与側は、上記ステップ６０１で取得されたローカルサンプル集合内のサンプルの特徴次元に基づいて、データ分割情報を生成してもよい。上記データ分割情報は、サンプルの分割方法を指示するために用いられ得る。上記特徴次元は、例えば、ユーザ次元（例えば、ＩＤ）とユーザ特徴次元（例えば、オンライン時間、等）を含んでもよい。一例として、上記データ分割情報は、例えば、ホワイトリスト形式のネットワーク接続の要求識別子リストを含んでもよい。選択的に、上記データ分割情報は、所定のハッシュ関数であってもよい。上記所定のハッシュ関数は、様々な暗号化方法によって生成されたセキュリティポリシ関数であってもよく、上記セキュリティポリシ関数は、生データを逆算することができず、これにより、共同トレーニングモデルのデータセキュリティをさらに保証する。

【0082】

ステップ６０３において、第１関与側は、モデル評価データ要求を共同トレーニングモデルの第２関与側に送信する。

【0083】

本実施例において、上記第２関与側および上記第１関与側が、共同で上記共同トレーニングモデルをトレーニングする。

【0084】

ステップ６０４において、第２関与側は、第１関与側から送信されるモデル評価データ要求を受信する。

【0085】

ステップ６０５において、第２関与側は、モデル評価データ要求に一致するサンプル集合を取得する。

【0086】

ステップ６０６において、第２関与側は、一致するサンプル集合に基づいて、共同トレーニングモデルのモデル評価データを生成する。

【0087】

上記ステップ６０４、ステップ６０５、及びステップ６０６は、それぞれ、前述した実施例におけるステップ２０１、ステップ２０２、ステップ２０３、又は、ステップ４０１～ステップ４０５、及びその選択可能な実施形態と同様であり、ステップ２０１、ステップ２０２、ステップ２０３、又は、ステップ４０１～ステップ４０５、及びその選択可能な実施形態についての上記説明は、ステップ６０４、ステップ６０５、及びステップ６０６にも適用され、ここでは詳細な説明を省略する。

【0088】

本実施例のいくつかの選択可能な実施形態において、上記第１関与側は、引き続き、以下のステップを実行してもよい。

【0089】

ステップ６０７では、第２関与側から共同トレーニングモデルのモデル評価データを取得する。

【0090】

ステップ６０８では、モデル評価データに基づいて、共同トレーニングモデルを調整する。

【0091】

このような選択可能な実施形態において、上記第１関与側は、モデル評価データに基づいて、様々な方式によって上記共同トレーニングモデルを調整することができる。一例として、上記第１関与側は、まず、上記モデル評価データが所定のモデル調整条件に適合するか否かを判定してもよい。上記所定のモデル調整条件は、例えば、モデル適合率が所定閾値よりも小さいことを含んでもよい。その後、上記モデル評価データが所定のモデル調整条件に適合するとの判定に応答して、上記実行主体は、様々な方式によって、上記共同トレーニングモデルを調整することができる。例えば、上記実行主体は、トレーニングに使用されていないサンプルを用いて、引き続き、上記共同トレーニングモデルをトレーニングしてもよい。また、例えば、上記実行主体は、サンプルのモデル出力に敏感ではない特徴（例えば、地域を年齢によって置き換える）を調整してもよい。

【0092】

本願の上記実施例で提供される共同トレーニングモデルを評価するためのシステムにおいて、まず、上記第１関与側は、ローカルサンプル集合を取得する。ここで、上記ローカルサンプル集合内のローカルサンプルは、共同トレーニングモデルをトレーニングするためのラベル無しデータに属する。次に、上記第１関与側は、上記ローカルサンプル集合に関連付けられる共同トレーニングモデルのモデル評価データ要求を生成する。その後、上記第１関与側は、上記モデル評価データ要求を上記共同トレーニングモデルの第２関与側に送信し、上記第２関与側および上記第１関与側が、共同で上記共同トレーニングモデルをトレーニングする。続いて、上記第２関与側は、上記第１関与側から送信されるモデル評価データ要求を受信する。その後、上記第２関与側は、上記モデル評価データ要求に一致するサンプル集合を取得する。ここで、上記一致するサンプル集合は、上記共同トレーニングモデルに関連付けられるラベル有りデータに属する。最後に、上記第２関与側は、上記一致するサンプル集合に基づいて、上記共同トレーニングモデルのモデル評価データを生成する。これにより、ラベルサンプルを有さない共同トレーニングモデル関与者は、モデル評価データ要求を生成して、送信し、ラベルサンプルを有する他方の関与者は、それに基づいて、対応する共同トレーニングモデルのモデル評価データを生成し、それによって、生サンプルデータを暴露することなく、共同トレーニングモデルの効果指標を共有することを可能にし、さらに、共同トレーニングモデルの最適化と改善のためにタイムリーで効果的なデータ参照基盤を提供する。

【0093】

以下において、図７を参照すると、図７には、本願の実施例を実現するのに適する電子機器７００（例えば、図１におけるサーバ１０５）の構造模式図が示される。図７に示すサーバは一例に過ぎず、本願の実施例の機能及び使用範囲にいかなる限定も与えるものではない。

【0094】

図７に示すように、電子機器７００は、読み取り専用メモリ（ＲＯＭ）７０２に記憶されたプログラム、又は、記憶装置７０８からランダムアクセスメモリ（ＲＡＭ）７０３にロードされたプログラムに従って、様々な適切な動作及び処理を実行することができる処理装置７０１（例えば、中央処理装置、グラフィックプロセッサ、等）を備えることができる。ＲＡＭ ７０３には、また、電子機器７００の動作に必要な様々なプログラム及びデータが記憶されている。処理装置７０１、ＲＯＭ ７０２、及びＲＡＭ ７０３は、バス７０４を介して、相互に接続されている。入力／出力（Ｉ／Ｏ）インタフェース７０５も、また、バス７０４に接続されている。

【0095】

Ｉ／Ｏインタフェース７０５には、通常、例えば、タッチパネル、タッチパッド、キーボード、マウス、等を含む入力装置７０６、例えば、液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ、ＬＣＤ）、スピーカ、バイブレータ、等を含む出力装置７０７、例えば、磁気テープ、ハードディスク、等を含む記憶装置７０８、及び、通信装置７０９が接続されてもよい。通信装置７０９は、電子機器７００が他の機器と無線又は有線で通信してデータを交換することを可能にすることができる。図７では、様々な装置を有する電子機器７００を示しているが、図示した全ての装置を実施又は備えることが要求されないことを理解すべきである。代わりに、より多く又はより少ない装置を実施又は備えることができる。図７に示す各ブロックは、１つの装置を代表してもよいし、または、必要に応じて複数の装置を代表してもよい。

【0096】

特に、本願の実施例によれば、フローチャートを参照しながら説明された上記プロセスは、コンピュータソフトウェアプログラムとして実現されてもよい。例えば、本願の実施例は、コンピュータ可読媒体に具現化されたコンピュータプログラムを含むコンピュータプログラム製品を含み、該コンピュータプログラムは、フローチャートで示される方法を実行するためのプログラムコードを含む。このような実施例では、該コンピュータプログラムは、通信装置７０９を介してネットワークからダウンロード及びインストールされることが可能であり、又は、記憶装置７０８もしくはＲＯＭ ７０２からインストールされることが可能である。該コンピュータプログラムが処理装置７０１によって実行されると、本願の実施例の方法で示された上記機能が実行される。

【0097】

説明すべきは、本願の実施例に記載のコンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読記憶媒体、又は、その２つの任意の組み合わせであってもよい点である。コンピュータ可読記憶媒体は、例えば、電気、磁気、光学、電磁気、赤外線、又は、半導体のシステム、装置、又はデバイス、もしくは、これらの任意の組み合わせであってもよいが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例としては、１本又は複数の導線による電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭもしくはフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光メモリ、磁気メモリ、又は、これらの任意の適切な組み合わせを含んでもよいが、これらに限定されない。本願の実施例において、コンピュータ可読記憶媒体は、命令実行システム、装置、又はデバイスによって使用可能な、もしくは、それらに組み込まれて使用可能なプログラムを包含又は格納する任意の有形の媒体であってもよい。本願の実施例において、コンピュータ可読信号媒体は、ベースバンド内で伝播されるデータ信号、又は、搬送波の一部として伝播されるデータ信号を含んでもよく、その中にコンピュータ可読プログラムコードが担持されている。そうした伝播されるデータ信号は、様々な形態をとることができ、電磁信号、光信号、又は、これらの任意の適切な組み合わせを含むが、これらに限定されない。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体以外の任意のコンピュータ可読媒体であってもよい。当該コンピュータ可読信号媒体は、命令実行システム、装置、又はデバイスによって使用されるか、もしくは、それらに組み込まれて使用されるプログラムを、送信、伝播、又は伝送することができる。コンピュータ可読媒体に含まれるプログラムコードは、任意の適切な媒体で伝送することができ、当該任意の適切な媒体は、電線、光ケーブル、ＲＦ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ、高周波）等、又は、これらの任意の適切な組み合わせを含むが、これらに限定されない。

【0098】

上記コンピュータ可読媒体は、上記電子機器に含まれていてもよいが、該サーバに組み込まれず、単独で存在してもよい。上記コンピュータ可読媒体には、１つ又は複数のプログラムが格納されており、上記１つ又は複数のプログラムが該サーバによって実行されると、該サーバは、目標機器から送信されるモデル評価データ要求を受信する。ここで、目標機器は、共同トレーニングモデルの関与者を含み、モデル評価データ要求に一致するサンプル集合を取得する。ここで、一致するサンプル集合は、共同トレーニングモデルに関連付けられるラベル有りデータに属し、そして、一致するサンプル集合に基づいて、共同トレーニングモデルのモデル評価データを生成する。

【0099】

本願の実施例の動作を実行するためのコンピュータプログラムコードは、１種以上のプログラミング言語、又は、それらの組み合わせで作成されてもよく、前記プログラミング言語は、Ｊａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ（登録商標）、Ｃ＋＋などのオブジェクト指向プログラミング言語、および、「Ｃ」言語又は類似のプログラミング言語などの従来の手続き型プログラミング言語を含む。プログラムコードは、完全にユーザコンピュータで実行されることも、部分的にユーザコンピュータで実行されることも、単独のソフトウェアパッケージとして実行されることも、部分的にユーザコンピュータで実行されながら部分的にリモートコンピュータで実行されることも、又は、完全にリモートコンピュータもしくはサーバで実行されることも可能である。リモートコンピュータの場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）又はワイドエリアネットワーク（ＷＡＮ）を含む任意の種類のネットワークを介してユーザコンピュータに接続することができ、又は、（例えば、インターネットサービスプロバイダによるインターネットサービスを介して）外部のコンピュータに接続することができる。

【0100】

図中のフローチャート及びブロック図は、本願の様々な実施例に係るシステム、方法、及びコンピュータプログラム製品によって実現可能なアーキテクチャ、機能、及び動作を図示している。これについて、フローチャート又はブロック図における各ブロックは、１つのモジュール、プログラムセグメント、又はコードの一部を表すことができる。当該モジュール、プログラムセグメント、又はコードの一部には、所定のロジック機能を実現するための１つ又は複数の実行可能命令が含まれている。さらに、一部の代替となる実施形態においては、ブロックに示されている機能が、図面に示されているものとは異なる順序で起こってもよいことに注意すべきである。例えば、連続して示された２つのブロックは、実際には、係る機能に応じて、ほぼ並行して実行されてもよく、時には、逆の順序で実行されてもよい。なお、ブロック図及び／又はフローチャートにおける各ブロック、並びに、ブロック図及び／又はフローチャートにおけるブロックの組み合わせは、所定の機能又は動作を実行する専用のハードウェアベースのシステムで実現してもよいし、又は、専用のハードウェアとコンピュータ命令との組み合わせで実現してもよいことにも注意されたい。

【0101】

本願に記載の実施例において言及されたユニットは、ソフトウェアで実現されてもよく、または、ハードウェアで実現されてもよい。記載されたユニットは、プロセッサに設置されてもよく、例えば、「受信ユニットと、取得ユニットと、生成ユニットとを備えるプロセッサ」として記載されてもよい。これらのユニットの名称は、ある場合において、当該ユニットそれ自体を限定するものではなく、例えば、受信ユニットは、「目標機器から送信されるモデル評価データ要求を受信するユニットであって、目標機器は共同トレーニングモデルの関与者を含むユニット」として記載されてもよい。

【0102】

以上の説明は、本願の好ましい実施例及び使用された技術的原理に関する説明に過ぎない。当業者であれば、本願の実施例に係る発明の範囲は、上記の技術的特徴の特定の組み合わせからなる技術的解決手段に限定されず、上記の発明構想から逸脱しない範囲内で、上記の技術的特徴又はそれらの同等の特徴を任意に組み合わせて構成される他の技術的解決手段をも含むことが理解されるだろう。例えば、上記の特徴と本願の実施例に開示された類似の機能を有する技術的特徴（それらに限られない）とが相互に置き換えられて構成される技術的解決手段をも含む。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】