特開 2024-161786 学習システム、学習装置及び学習プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024161786

(43)【公開日】2024-11-20

(54)【発明の名称】学習システム、学習装置及び学習プログラム

(51)【国際特許分類】

   G06N 3/098 20230101AFI20241113BHJP

【ＦＩ】

G06N3/098

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2023076809

(22)【出願日】2023-05-08

(71)【出願人】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(71)【出願人】

【識別番号】304023318

【氏名又は名称】国立大学法人静岡大学

(74)【代理人】

【氏名又は名称】矢作 和行

(74)【代理人】

【識別番号】100121991

【弁理士】

【氏名又は名称】野々部 泰平

(74)【代理人】

【識別番号】100145595

【弁理士】

【氏名又は名称】久保 貴則

(72)【発明者】

【氏名】梶 大介

(72)【発明者】

【氏名】山本 泰生

(72)【発明者】

【氏名】河野 駿介

(57)【要約】

【課題】連合学習において、プライバシーの保護等の特性を損なうことなく、高い推定精度を実現可能な学習システムの提供。
【解決手段】サーバ１０と、サーバ１０とそれぞれ通信可能に接続された複数のクライアント２０と、を備える学習システム１は、複数のクライアント２０がそれぞれ保有するデータ２３ａ，２３ｂを用いた連合学習機能を有する。クライアント２０は、サーバ１０が有するサーバモデル１１のパラメータを用いて構成される一般モデル２１と、一般モデル２１及びクライアント２０が保有するデータ２３ａ，２３ｂを用いて学習可能に構成される個別モデル２２と、一般モデル２１に対するクライアント２０が保有するデータ２３ａ，２３ｂの独自性を定量化する独自性定量化部２４と、独自性に応じて一般モデルの影響力を変化させて、個別モデル２２を学習させるモデル学習部２５と、を有する。
【選択図】図１

【特許請求の範囲】

【請求項1】

サーバ（１０）と、前記サーバとそれぞれ通信可能に接続された複数のクライアント（２０）と、を備え、複数の前記クライアントがそれぞれ保有するデータ（２３ａ，２３ｂ）を用いた連合学習機能を有する学習システムであって、
前記サーバは、各前記クライアントから収集した情報に基づいて学習可能に構成されるサーバモデル（１１）を有し、
前記クライアントは、
前記サーバモデルのパラメータを用いて構成される一般モデル（２１）と、
前記一般モデル及び前記クライアントが保有するデータを用いて学習可能に構成される個別モデル（２２）と、
前記一般モデルに対する前記クライアントが保有するデータの独自性を定量化する独自性定量化部（２４）と、
定量化された前記独自性に応じて前記一般モデルの影響力を変化させて、前記個別モデルを学習させるモデル学習部（２５）と、を有する学習システム。

【請求項2】

前記独自性定量化部は、前記クライアントが保有するデータの前記一般モデルによる説明可能性、及び前記個別モデルと前記一般モデルとの予測解離性を用いて、前記独自性を定量化する請求項１に記載の学習システム。

【請求項3】

前記説明可能性は、前記サーバモデルの予測精度に基づいて算出される請求項２に記載の学習システム。

【請求項4】

前記予測解離性は、前記個別モデルと前記一般モデルとの予測結果の差異に基づいて算出される請求項２に記載の学習システム。

【請求項5】

前記サーバ及び各前記クライアントのうち少なくとも１つは、前記独自性に関する情報を表示する表示部（２７）を、さらに有する請求項１に記載の学習システム。

【請求項6】

前記モデル学習部は、さらに、定量化された前記独自性に応じて、前記個別モデルの影響力を変化させて、前記一般モデルを学習させ、
前記サーバは、各前記クライアントにおいて学習済みの前記一般モデルのパラメータに基づいて、前記サーバモデルを学習させる請求項１に記載の学習システム。

【請求項7】

サーバ（１０）と、前記サーバとそれぞれ通信可能に接続された複数のクライアント（２０）と、を備え、複数の前記クライアントがそれぞれ保有するデータを用いた連合学習機能を有する学習システム（１）において、複数の前記クライアントのうち１つの自クライアント（２０ａ）を構成するための学習装置であって、
前記サーバに設けられたサーバモデル（１１）のパラメータを取得し、前記サーバモデルのパラメータを用いて構成される一般モデル（２１）と、
前記サーバモデルのパラメータ及び前記自クライアントが保有するデータ（２３ａ，２３ｂ）を用いて学習可能に構成される個別モデル（２２）と、
前記一般モデルに対する前記自クライアントが保有するデータの独自性を定量化する独自性定量化部（２４）と、
定量化された前記独自性に応じて前記一般モデルの影響力を変化させて、前記個別モデルを学習させるモデル学習部（２５）と、を備える学習装置。

【請求項8】

サーバ（１０）と通信可能に接続された自クライアント（２０ａ）において、前記サーバを介した他クライアント（２０ｂ）との連合学習をするために構成された学習プログラムであって、
少なくとも１つのプロセッサに、
前記サーバに設けられたサーバモデル（１１）のパラメータを取得し、前記サーバモデルのパラメータを用いて構成される一般モデル（２１）と、前記サーバモデルのパラメータ及び前記自クライアントが保有するデータ（２３ａ，２３ｂ）を用いて学習可能に構成される個別モデル（２２）と、を生成することと、
前記一般モデルに対する前記自クライアントが保有するデータの独自性を定量化することと、
定量化された前記独自性に応じて前記一般モデルの影響力を変化させて、前記個別モデルを学習させることと、を実行させるように構成される学習プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この明細書による開示は、複数のクライアントがそれぞれ所有する独自データを用いた連合学習をするための技術に関する。

【背景技術】

【0002】

特許文献１に開示の学習システムでは、連合学習において、プライバシーを保護するため、クライアントが有する固有モデルの深層学習ネットワークの一部が、共通モデルとして、複数のクライアント及びサーバで共有される。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－７８９７３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１のように、深層学習ネットワークの一部が共通モデルとして共有される場合、共通モデル部分を共有するための特殊な構造や管理が必要となる。また、データサイズが大きなモデル自体を共有するため、高い通信負荷が発生する。このように、特許文献１の学習システムは連合学習において煩雑さが生じ得る。そして、連合学習において、プライバシーの保護等の特性を損なうことなく、高い推定精度を実現することが求められていると同時にパラメータのみをサーバとクライアントで交換し、データを直接交換しないため各クライアントのデータの特徴の把握が困難であり、さらにデータ特徴を利用した精度改善も行えないという課題があった。

【0005】

この明細書の開示による目的のひとつは、連合学習において、プライバシーの保護等の特性を損なうことなく、各クライアントの持つデータの特徴を取り出すこと、及び取り出した分布特徴を用いて高い推定精度を実現可能な学習システム、学習装置及び学習プログラムを提供することにある。

【課題を解決するための手段】

【0006】

ここに開示された態様のひとつは、サーバ（１０）と、サーバとそれぞれ通信可能に接続された複数のクライアント（２０）と、を備え、複数のクライアントがそれぞれ保有するデータ（２３ａ，２３ｂ）を用いた連合学習機能を有する学習システムであって、
サーバは、各クライアントから収集した情報に基づいて学習可能に構成されるサーバモデル（１１）を有し、
クライアントは、
サーバモデルのパラメータを用いて構成される一般モデル（２１）と、
一般モデル及びクライアントが保有するデータを用いて学習可能に構成される個別モデル（２２）と、
一般モデルに対するクライアントが保有するデータの独自性を定量化する独自性定量化部（２４）と、
定量化された独自性に応じて一般モデルの影響力を変化させて、個別モデルを学習させるモデル学習部（２５）と、を有する。

【0007】

また、開示された態様の他のひとつは、サーバ（１０）と、サーバとそれぞれ通信可能に接続された複数のクライアント（２０）と、を備え、複数のクライアントがそれぞれ保有するデータを用いた連合学習機能を有する学習システム（１）において、複数のクライアントのうち１つの自クライアント（２０ａ）を構成するための学習装置であって、
サーバに設けられたサーバモデル（１１）のパラメータを取得し、サーバモデルのパラメータを用いて構成される一般モデル（２１）と、
サーバモデルのパラメータ及び自クライアントが保有するデータ（２３ａ，２３ｂ）を用いて学習可能に構成される個別モデル（２２）と、
一般モデルに対する自クライアントが保有するデータの独自性を定量化する独自性定量化部（２４）と、
定量化された独自性に応じて一般モデルの影響力を変化させて、個別モデルを学習させるモデル学習部（２５）と、を備える。

【0008】

また、開示された態様の他のひとつは、サーバ（１０）と通信可能に接続された自クライアント（２０ａ）において、サーバを介した他クライアント（２０ｂ）との連合学習をするために構成された学習プログラムであって、
少なくとも１つのプロセッサに、
サーバに設けられたサーバモデル（１１）のパラメータを取得し、サーバモデルのパラメータを用いて構成される一般モデル（２１）と、サーバモデルのパラメータ及び自クライアントが保有するデータ（２３ａ，２３ｂ）を用いて学習可能に構成される個別モデル（２２）と、を生成することと、
一般モデルに対する自クライアントが保有するデータの独自性を定量化することと、
定量化された独自性に応じて一般モデルの影響力を変化させて、個別モデルを学習させることと、を実行させるように構成される。

【0009】

これらの態様によると、クライアントにおいて、そのクライアントが保有するデータの独自性が定量化されることにより、プライバシーを配慮すべき個々のデータを直接的に共有及び解析しなくても、クライアントが保有するデータの特徴を理解することが可能となる。故に、連合学習において、プライバシーの保護等の特性を損なうことなく、高い推定精度を実現可能となる。

【0010】

なお、特許請求の範囲等に含まれる括弧内の符号は、後述する実施形態の部分との対応関係を例示的に示すものであって、技術的範囲を限定することを意図するものではない。

【図面の簡単な説明】

【0011】

【図1】学習システムの概略構成を示す図。

【図2】学習システムによる処理の例を示す図。

【発明を実施するための形態】

【0012】

一実施形態を図面に基づいて説明する。

【0013】

（第１実施形態）
第１実施形態による学習システム１は、図１に示すように、サーバ１０及び複数のクライアント２０を含む構成である。学習システム１は、複数のクライアント２０がそれぞれ保有するデータ２３ａ，２３ｂを用いた連合学習機能を有する。連合学習では、例えば各クライアント２０が保有するデータ２３ａ，２３ｂ自体を、サーバ１０が収集して、サーバ１０側で学習を実行することも考えられる。しかしながら、クライアント２０が所有するデータ２３ａ，２３ｂには、個人情報、顧客情報、機密情報等が含まれ、プライバシーの権利が存在する場合がある。このため、学習システム１において、サーバ１０と各クライアント２０との間では、データ２３ａ，２３ｂ自体は通信されずに、学習モデルを定義するパラメータが通信対象となっている。

【0014】

学習モデルは、所定のデータに基づき学習可能なパラメータを備えるモデルである。学習モデルには、例えばニューラルネットワークが採用されてよい。ニューラルネットワークは、畳み込みニューラルネットワークであってもよく、その他の種々のニューラルネットワークであってもよい。例えば学習モデルとして畳み込みニューラルネットワークが採用される場合、学習モデルを定義するパラメータは、畳み込み層に適用される局所的なフィルタに設定されるパラメータであってよい。学習モデルには、ニューラルネットワーク以外のモデル、例えばリカレントニューラルネットワークモデル、Random Forestなどの木構造型／アンサンブル学習型モデル、回帰モデル等が採用されてもよい。学習システム１内で採用される学習モデルは、パラメータの適用において互換性が生じるように、共通の構造をもつモデルが採用されてもよい。

【0015】

サーバ１０は、コンピュータを主体として構成されており、メモリ及びプロセッサを、少なくとも１つずつ有している。メモリは、プロセッサにより読み取り可能なプログラム及びデータ等を非一時的に記憶する、例えば半導体メモリ、磁気媒体、及び光学媒体等のうち、少なくとも１種類の非遷移的実体的記憶媒体であってよい。さらにメモリとして、例えばＲＡＭ（Random Access Memory）等の書き換え可能な揮発性の記憶媒体が設けられていてもよい。プロセッサは、例えばＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、及びＲＩＳＣ（Reduced Instruction Set Computer）－ＣＰＵ等のうち、少なくとも１種類をコアとして含む。

【0016】

サーバ１０は、プロセッサによるプログラムの実行により、連合学習機能を実現するための、複数の機能部等を有する。具体的にサーバ１０は、サーバモデル１１、通信部１２及びモデル更新部１３を含む構成である。

【0017】

サーバモデル１１は、クライアント２０間で共通に出現する共通データ２３ａに対して最適化される学習モデルである。

【0018】

通信部１２は、通信ネットワークを通じて、サーバモデル１１のパラメータを各クライアント２０へ向けて送信可能に構成されている。また、通信部１２は、ネットワーク回線を通じて、各クライアント２０からサーバモデル１１の更新に必要なパラメータを受信可能に構成されている。さらに通信部１２は、サーバモデル１１の更新に必要なパラメータと関連付けて、後述するデータの独自性に関する情報を受信可能に構成されているとよい。通信ネットワークは、有線によるネットワークであってもよく、無線によるネットワークであってもよい。

【0019】

モデル更新部１３は、各クライアント２０から受信したサーバモデル１１の更新に必要なパラメータを用いて、サーバモデル１１を最新の状態に更新可能に構成されている。モデル更新部１３は、サーバモデル１１の更新において、各クライアント２０が保有するデータ２３ａ，２３ｂの独自性を考慮してもよい。

【0020】

複数のクライアント２０は、以下に説明する範囲において、互いに共通の機能及び構造を備えている。このため以下では、複数のクライアント２０のうち、クライアント２０ａについて代表して説明する。

【0021】

クライアント２０ａは、コンピュータを主体として構成された学習装置を含むシステムである。以下に説明するクライアント２０ａの構成は、クライアント２０ａに設けられた学習装置の構成として読み替え可能である。クライアント２０ａは、メモリ及びプロセッサを、少なくとも１つずつ有している。メモリは、プロセッサにより読み取り可能なプログラム及びデータ等を非一時的に記憶する、例えば半導体メモリ、磁気媒体、及び光学媒体等のうち、少なくとも１種類の非遷移的実体的記憶媒体であってよい。さらにメモリとして、例えばＲＡＭ（Random Access Memory）等の書き換え可能な揮発性の記憶媒体が設けられていてもよい。プロセッサは、例えばＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、及びＲＩＳＣ（Reduced Instruction Set Computer）－ＣＰＵ等のうち、少なくとも１種類をコアとして含む。

【0022】

クライアント２０ａは、プロセッサによるプログラム（例えば学習プログラム）の実行により、連合学習機能を実現するための、複数の機能部等を有する。具体的にクライアント２０ａは、一般モデル２１、個別モデル２２、独自性定量化部２４、モデル学習部２５、通信部２６及び表示部２７を含む構成である。

【0023】

また、クライアント２０ａは、連合学習に用いられる教師データとなり得るデータ２３ａ，２３ｂを保有している。クライアント２０ａが保有するデータ２３ａ，２３ｂは、複数のクライアント２０間で共通に出現する共通データ２３ａと、特定のクライアントで独自に出現する独自データ２３ｂとに分類され得る。但し、本学習システム１においては、サーバ１０及び複数のクライアント２０間でデータ自体を共有することは不要とされている。このため、後述する個別モデル２２の独自性が定量化されることにより、データ２３ａ，２３ｂの全体傾向が分析されていればよく、学習システム１が実際のデータを共通データ２３ａと独自データ２３ｂとに個別に区別していなくてもよい。

【0024】

一般モデル２１は、サーバモデル１１を更新するために設けられている。一般モデル２１は、サーバモデル１１から取得したサーバ側パラメータを用いて構成されたモデルである。

【0025】

個別モデル２２は、クライアント２０ａに独自に設けられているモデルである。個別モデル２２は、一般モデル２１及びクライアント２０ａが保有するデータ２３ａ，２３ｂを用いて学習可能に構成される。個別モデル２２は、クライアント２０ａで個別に学習されるため、個別モデル２２のパラメータは、サーバモデル１１のパラメータ及び一般モデル２１のパラメータとは異なるものとなる。

【0026】

独自性定量化部２４は、クライアント２０ａが保有するデータ２３ａ，２３ｂの独自性を定量化する。データ２３ａ，２３ｂの独自性を表す指標として、一般モデル２１による説明可能性（以下、単に説明可能性と表記する）及び個別モデル２２と一般モデル２１との予測乖離性（以下、単に予測乖離性と表記する）が採用されている。独自性定量化部２４は、説明可能性及び予測乖離性を算出する。

【0027】

説明可能性は、データ２３ａ，２３ｂが一般モデル２１で判別できるか否か（説明できるか否か）を示す指標である。説明可能性は、一例として、クロスエントロピー誤差を用いた以下の数１に記載の数式で示される。

【0028】

【数1】

ここで、クライアント２０ａが保有するデータの集合は、以下の数２で表される。

【0029】

【数2】

この集合に対応するクラスラベルの集合は、以下の数３で表される。

【0030】

【数3】

クラスラベルの真値は、以下の数４のように記載する。すなわち、ｙ_ｉは、ワンホットベクトルである。

【0031】

【数4】

また、数１に記載の数式において、ｆは一般モデル２１の尤度ベクトルである。すなわち、ｙ_ｉｊはｙ_ｉのｊ番目の要素であり、一般モデル２１がクラスラベルｃをｊ番目の要素であると予測する尤度は、ｆ_ｊとされる。θは一般モデル２１のパラメータである。

【0032】

予測乖離性は、クライアント２０ａが保有するデータ２３ａ，２３ｂを個別モデル２２及び一般モデル２１でそれぞれ評価した場合に、予測値が同じであるか否かを示す指標である。独自性定量化部２４は、指標の定量化のため、個別モデル２２の予測値と一般モデル２１の予測値との差を、一例として、ＫＬ情報量（KL divergence）を用いた以下の数５に記載の数式によって算出する。ＫＬ情報量は、確率分布の差異を計測する尺度である。

【0033】

【数5】

ここで数５に記載の数式を詳細に説明する。以下の数６に記載の確率は、個別モデル２２がｘ_ｉをクラスｋと予測する確率である。すなわち、数７に記載の数式が成立する。

【0034】

【数6】

【0035】

【数7】

以下の数８に記載の確率は、一般モデル２１がｘ_ｉをクラスｋと予測する確率である。すなわち、数９に記載の数式が成立する。

【0036】

【数8】

【0037】

【数9】

ここで、独自性定量化部２４は、数１に記載の数式で示されたＥを、Ｅの標準偏差σ_Ｅを用いて標準化する。さらに、データ２３ａ，２３ｂの独自性の区別を明確化するために、独自性定量化部２４は、標準化のための単調関数Ｒを用いて、Ｅ’＝Ｒ（Ｅ＿ｉ）を計算する。独自性定量化部２４は、例えば、標準化後の指標に２を乗じた値を、ネイピア数の累乗とし、数１０に示される、右辺がＲに相当する数式を演算する。

【0038】

【数10】

また、独自性定量化部２４は、数５に記載の数式で示されたＫＬを、ＫＬについての標準偏差σ_ＫＬを用いて標準化する。さらに、データ２３ａ，２３ｂの独自性の区別を明確化するために、独自性定量化部２４は、独自性定量化部２４は、標準化のための単調関数Ｒを用いて、ＫＬ’＝Ｒ（ＫＬ＿ｉ）を計算する。独自性定量化部２４は、例えば、標準化後の指標に２を乗じた値を、ネイピア数の累乗とし、数１１に示される、右辺がＲに相当する数式を演算する。

【0039】

【数11】

そして、独自性定量化部２４は、独自性ｍを、以下の数１２に示される数式に基づき算出する。ただし、ＡＶＧ（Ｘ，Ｙ）は、ＸとＹの平均を求める演算であり、例えば幾何平均と定義される。また、Ｇは活性化関数であり、例えばシグモイド関数で与えられる。ｍの取りうる範囲は［０，１］である。このｍが大きくなる程、クライアント２０ａが保有するデータ２３ａ，２３ｂの独自性が大きい。すなわち、データ２３ａ，２３ｂのうち独自データ２３ｂの割合又は影響が大きいことが示唆される。ｍが小さくなる程、クライアント２０ａが保有するデータ２３ａ，２３ｂの独自性が小さい。すなわち、データ２３ａ，２３ｂのうち共通データ２３ａの割合又は影響が大きいことを示す。

【0040】

【数12】

モデル学習部２５は、一般モデル２１及びクライアント２０ａが保有するデータ２３ａ，２３ｂを用いて、個別モデル２２の蒸留学習を実行する。モデル学習部２５は、上述の独自性に応じて、学習における一般モデル２１の影響力を変化させる。モデル学習部２５は、独自性が大きい程、学習における一般モデル２１の影響を漸次小さくする。モデル学習部２５は、独自性が小さい程、学習における一般モデル２１の影響を漸次大きくする。換言すると、独自性に応じて、学習時の重み付けが変更される。

【0041】

ここで、モデル学習部２５は、２つの損失関数として、分類損失（classification loss）及び互換性損失（compatibility loss）を定義する。分類損失の損失関数は、クロスエントロピー誤差を用いた以下の数１３に記載の数式で表される。分類損失は、各データ２３ａ，２３ｂに独自性ｍ_ｉを乗じたことにより、共通データ２３ａの学習時に大きくなり、独自データ２３ｂの学習時に小さくなる。

【0042】

【数13】

互換性損失の損失関数は、ＫＬ情報量を用いた以下の数１４に記載の数式で表される。互換性損失は、各データに（１－ｍ_ｉ）を乗じたことにより、共通データ２３ａの学習時に大きくなり、独自データ２３ｂの学習時に小さくなる。

【0043】

【数14】

このように、独自データ２３ｂの学習時には、一般モデルとの相互作用が減少するようにする。そして、個別モデル２２の損失関数Ｌは、以下の数１５に記載の数式で表される。

【0044】

【数15】

モデル学習部２５は、損失関数Ｌを最小化できるようなパラメータを、勾配降下法等の方法により探索する。モデル学習部２５は、探索の結果得られたパラメータにより、個別モデル２２を更新する。

【0045】

さらに、モデル学習部２５は、一般モデル２１を学習させる機能を有していてもよい。一般モデル２１の学習に採用される損失関数は、クロスエントロピー誤差を用いた以下の数１６に記載の数式で表されてよい。

【0046】

【数16】

数１６に記載の数式におけるＹは、数１７に示される集合である。

【0047】

【数17】

また、一般モデル２１の学習に採用される損失関数として、以下の数１８に記載の数式が用いられてもよい。このように、（１－ｍ_ｉ）の重みをつけることで、共通データ２３ａに対する誤りにペナルティを課すことが考えられる。

【0048】

【数18】

通信部２６は、通信ネットワークを通じて、サーバモデル１１のパラメータを受信可能に構成されている。通信部２６は、サーバモデル１１の更新に必要なパラメータをサーバ１０へ向けて送信可能に構成されていてもよい。さらに通信部２６は、サーバモデル１１の更新に必要なパラメータと関連付けて、独自性に関する情報をサーバ１０へ向けて送信可能に構成されていてもよい。サーバモデル１１の更新に必要なパラメータは、学習済みの一般モデル２１のパラメータであってよい。サーバモデル１１の更新に必要なパラメータは、学習済みの個別モデル２２のパラメータをさらに含んでいてもよい。

【0049】

表示部２７は、クライアント２０ａが保有するデータの独自性に関する情報を表示する機能を有する。この機能は、クライアント２０ａに設けられた液晶表示装置等の表示デバイスに表示する機能であってもよく、クライアント２０ａと通信可能に接続されたスマートフォン等の端末に独自性に関する情報を送信し、当該端末の表示画面に当該情報を表示させる機能であってもよい。

【0050】

独自性に関する情報は、独自性定量化部２４が算出する独自性等の定量化された数値そのものを含んでいてもよい。独自性に関する情報は、定量化された数値を可視化したグラフを含んでいてもよい。独自性に関する情報は、定量化された数値に基に人工知能等を用いて自動生成された文章を含んでいてもよい。

【0051】

なお、クライアント２０ａを自クライアントとした場合に他クライアントに位置付けられるクライアント２０ｂは、クライアント２０ａと共通の機能及び構造を備えている。但し、クライアント２０ｂが保有しているデータ２３ａ，２３ｂ、及びそれを用いて更新された個別モデル２２のパラメータには、クライアント２０ａとの差異が存在する。

【0052】

次に、学習システム１による連合学習の方法の一例を、図２のフローチャートを用いて説明する。なお、独自性を用いた連合学習の方法は、この方法に限られず、本開示の趣旨を逸脱しない範囲で種々の方法を採用することができる。

【0053】

図２におけるＳ１では、サーバ１０が、サーバモデル１１のパラメータを各クライアント２０へ送信する。Ｓ１の処理後、Ｓ２へ進む。

【0054】

Ｓ２では、各クライアント２０が受信したサーバモデル１１のパラメータを用いて、各クライアント２０が一般モデル２１を生成する。Ｓ２の処理後、Ｓ３へ進む。

【0055】

Ｓ３では、各クライアント２０が、それぞれ保有するデータ２３ａ，２３ｂを用いて、それぞれの個別モデル２２を生成する。Ｓ３の処理後、Ｓ４へ進む。

【0056】

Ｓ４では、各クライアント２０（特に独自性定量化部２４）が、一般モデル２１及び個別モデル２２を用いて、それぞれ保有するデータ２３ａ，２３ｂの独自性を定量化する。Ｓ４の処理後、Ｓ５へ進む。

【0057】

Ｓ５では、各クライアント２０（特にモデル学習部２５）が、一般モデル２１及び定量化された独自性を用いて学習を実行し、それぞれの個別モデル２２を更新する。Ｓ５の処理後、Ｓ６へ進む。

【0058】

Ｓ６では、各クライアント２０が、サーバモデル１１の更新に必要なパラメータ等をサーバ１０へ送信する。Ｓ６の処理後、Ｓ７へ進む。

【0059】

Ｓ７では、サーバ１０が、各クライアント２０から受信したデータを用いてサーバモデル１１を更新する。Ｓ７を以って一連の処理を終了する。

【0060】

なお、Ｓ１～６の処理は、クライアント毎で異なるタイミングで実行されてもよい。

【0061】

以上説明した第１実施形態によると、クライアント２０ａにおいて、そのクライアント２０ａが保有するデータ２３ａ，２３ｂの独自性が定量化されることにより、プライバシーを配慮すべきデータ２３ａ，２３ｂを直接的に共有しなくても、クライアント２０ａが保有するデータ２３ａ，２３ｂの特徴を理解することが可能となる。故に、連合学習において、プライバシーの保護等の特性を損なうことなく、高い推定精度を実現可能となる。

【0062】

また、第１実施形態によると、一般モデル２１及びクライアント２０ａが保有するデータ２３ａ，２３ｂを用いた個別モデル２２の学習において、独自性に応じて、学習における一般モデル２１の影響力が変化するように構成されている。個別モデル２２の特徴に応じて一般モデル２１の影響力を適正化し、個別モデル２２へ反映させることができるので、クライアント２０ａ側の個別モデル２２の予測精度ないし個別モデル２２を利用した処理の精度を向上させることができる。

【0063】

また、第１実施形態によると、クライアント２０ａが保有するデータ２３ａ，２３ｂの一般モデル２１による説明可能性、及び個別モデル２２と一般モデル２１との予測解離性を用いて、独自性が定量化される。２種類の指標を用いて独自性が評価されるので、連合学習の精度をより向上させることができる。

【0064】

また、第１実施形態によると、クライアント２０ａが保有するデータ２３ａ，２３ｂの一般モデル２１による説明可能性は、一般モデル２１はサーバモデル１１のパラメータを用いて構成されるので、サーバモデル１１の予測精度に基づいて算出されていることとなる。すなわち、複数のクライアント２０間に共通の共通データ２３ａに対するクライアント２０ａが保有するデータ２３ａ，２３ｂの独自性を適切に推定することができる。

【0065】

また、第１実施形態によると、個別モデル２２と一般モデル２１との予測解離性は、個別モデル２２と一般モデル２１との予測結果の差異に基づいて算出される。すなわち、クライアント２０ａが保有するデータ２３ａ，２３ｂの独自性を適切に推定することができる。

【0066】

このように、第１実施形態では、クライアント個々が保有するデータ２３ａ，２３ｂについて、独自データ２３ｂであるか共通データ２３ａであるかを定量化できる。さらに独自性の指標を用いることで、クライアント２０側の個別モデル２２と、サーバ１０側のサーバモデル１１双方の学習効率（換言すると収束速度）と予測性能を改善することが期待できる。

【0067】

（他の実施形態）
以上、一実施形態について説明したが、本開示は、当該実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態に適用することができる。

【0068】

例えば、サーバ１０に独自性に関する情報を表示する表示部が設けられていてもよい。この場合、表示部は、各クライアントの独自性を一覧で表示することが可能に構成されていてもよい。

【0069】

また例えば、サーバ１０に接続された連合学習の対象となる全てのクライアント２０に独自性を定量化する機能が設けられていることが好ましいが、例外的に一部のクライアントに独自性を定量化する機能が設けられていなくてもよい。

【0070】

また例えば、独自性を用いた連合学習は、クライアント２０を車両ないし車載装置とした車載ネットワークソリューションや、クライアント２０を医療機関に設けられた端末とした医療ネットワークソリューション等に活用することができる。

【0071】

本開示に記載の制御部及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサを構成する専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の装置及びその手法は、専用ハードウエア論理回路により、実現されてもよい。もしくは、本開示に記載の装置及びその手法は、コンピュータプログラムを実行するプロセッサと一つ以上のハードウエア論理回路との組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。

【符号の説明】

【0072】

１：学習システム、１０：サーバ、１１：サーバモデル、２０，２０ａ，２０ｂ：クライアント、２１：一般モデル、２２：個別モデル、２３ａ，２３ｂ：データ、２４：独自性定量化部

【図1】

【図2】