特開 2023-173559 分析装置、分析方法、および分析プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023173559

(43)【公開日】2023-12-07

(54)【発明の名称】分析装置、分析方法、および分析プログラム

(51)【国際特許分類】

   G06N 20/20 20190101AFI20231130BHJP

   G06N 3/08 20230101ALI20231130BHJP

【ＦＩ】

G06N20/20

G06N3/08

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2022085893

(22)【出願日】2022-05-26

(71)【出願人】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110001678

【氏名又は名称】藤央弁理士法人

(72)【発明者】

【氏名】鈴木 麻由美

(72)【発明者】

【氏名】垂水 信二

(57)【要約】

【課題】複数の拠点にあるデータを拠点外に移動させることなく、各拠点に適切な予測モデルの生成を実現可能にすること。
【解決手段】
複数の学習装置と通信可能な分析装置は、前記複数の学習装置の各々の学習装置が有する学習データに含まれる特徴量を所定のルールで変換した変換特徴量を受信する受信部と、前記受信部によって受信された前記学習装置ごとの前記変換特徴量に基づいて、前記複数の学習装置の複数の前記特徴量の分布を解析する分布解析部と、前記分布解析部によって解析された分布解析結果を出力する出力部と、を有する。
【選択図】図３

【特許請求の範囲】

【請求項1】

複数の学習装置と通信可能な分析装置であって、
前記複数の学習装置の各々の学習装置が有する学習データに含まれる特徴量を所定のルールで変換した変換特徴量を受信する受信部と、
前記受信部によって受信された前記学習装置ごとの前記変換特徴量に基づいて、前記複数の学習装置の複数の前記特徴量の分布を解析する分布解析部と、
前記分布解析部によって解析された分布解析結果を出力する出力部と、
を有することを特徴とする分析装置。

【請求項2】

請求項１に記載の分析装置であって、
前記出力部は、前記分布解析結果として、前記学習装置間の前記特徴量の類似性に関する情報を出力する、
ことを特徴とする分析装置。

【請求項3】

請求項１に記載の分析装置であって、
前記学習装置間の前記特徴量の類似性に関する情報は、前記複数の学習装置のうち２つの前記学習装置の組み合わせごとに、当該組み合わせ間の特徴量の類似性を示すマップ情報である、
ことを特徴とする分析装置。

【請求項4】

請求項１に記載の分析装置であって、
前記学習装置間の前記特徴量の類似性に関する情報は、前記複数の学習装置間の前記特徴量の類似性を示すデンドログラムである、
ことを特徴とする分析装置。

【請求項5】

請求項１に記載の分析装置であって、
前記分布解析部は、前記分布解析結果に基づいて、前記複数の学習装置の各々に適用する学習方法を、前記学習装置が有する前記学習データを用いて予測モデルを生成する第１学習方法、他の学習装置との間で連合学習により統合した１つの予測モデルを生成する第２学習方法、および、前記学習装置の前記特徴量と類似する他の学習装置との間で連合学習により統合した１つ以上の予測モデルを生成する第３学習方法のうちいずれかの学習方法に決定し、
前記出力部は、前記複数の学習装置の各々の学習装置に、前記分布解析部によって前記複数の学習装置の各々について決定された学習方法を送信する、
ことを特徴とする分析装置。

【請求項6】

請求項５に記載の分析装置であって、
前記分布解析部は、前記複数の学習装置の各々に適用する学習方法を、前記分布解析結果に基づいて、前記第１学習方法、前記第２学習方法、および前記第３学習方法のうちいずれかの学習方法に決定する、
ことを特徴とする分析装置。

【請求項7】

請求項６に記載の分析装置であって、
前記分布解析部は、前記複数の学習装置の各々に適用する学習方法を、前記複数の学習装置の前記変換特徴量間の距離に基づいて、前記第１学習方法、前記第２学習方法、および前記第３学習方法のうちいずれかの学習方法に決定する、
ことを特徴とする分析装置。

【請求項8】

請求項６に記載の分析装置であって、
前記分布解析部は、前記複数の学習装置の各々に適用する学習方法を、前記変換特徴量としきい値とに基づいて、前記第１学習方法、前記第２学習方法、および前記第３学習方法のうちいずれかの学習方法に決定する、
ことを特徴とする分析装置。

【請求項9】

請求項８に記載の分析装置であって、
前記分布解析部は、前記複数の学習装置の各々に適用する学習方法を、前記変換特徴量としきい値と制約条件とに基づいて、前記第１学習方法、前記第２学習方法、および前記第３学習方法のうちいずれかの学習方法に決定する、
ことを特徴とする分析装置。

【請求項10】

請求項９に記載の分析装置であって、
前記制約条件は、前記特徴量が類似しあう前記学習装置の数である、
ことを特徴とする分析装置。

【請求項11】

請求項９に記載の分析装置であって、
前記制約条件は、前記特徴量が類似しあう前記学習装置の集合の数である、
ことを特徴とする分析装置。

【請求項12】

請求項１に記載の分析装置であって、
前記受信部は、前記複数の学習装置の各々が有する前記学習データを学習させることで生成した前記学習装置を識別する識別器のモデルパラメータを受信し、
前記分布解析部は、前記受信部によって受信された前記学習装置の識別器のモデルパラメータに基づいて、前記学習装置の識別器を統合して、統合識別器を生成し、
前記送信部は、前記生成部によって生成された統合識別器のモデルパラメータを前記複数の学習装置の各々に送信し、
前記受信部は、前記統合識別器による識別結果を前記複数の学習装置の各々から受信し、
前記分布解析部は、前記受信部によって受信された前記学習装置の各々からの前記識別結果に基づいて、前記複数の学習装置の各々に適用する学習方法を、前記学習装置が有する前記学習データを用いて予測モデルを生成する第１学習方法、前記学習装置の前記特徴量と類似する他の学習装置との間で連合学習により統合した１つの予測モデルを生成する連合学習方法、および、前記学習装置の前記特徴量と類似する他の学習装置との間で連合学習により統合した１以上の予測モデルを生成する第３学習方法のうちいずれかの学習方法に決定し、
前記出力部は、前記複数の学習装置の各々の学習装置に、前記分布解析部によって前記複数の学習装置の各々について決定された学習方法を送信する、
ことを特徴とする分析装置。

【請求項13】

請求項５に記載の分析装置であって、
前記受信部は、前記分布解析部によって決定された学習方法に基づいて前記学習装置が生成した予測モデルのモデルパラメータを前記学習装置から受信し、
前記受信部によって受信された前記学習装置からの前記モデルパラメータに基づいて、予測モデルを生成する生成部と、
を有することを特徴とする分析装置。

【請求項14】

複数の学習装置と通信可能な分析装置による分析方法であって、
前記分析装置は、
前記複数の学習装置の各々の学習装置が有する学習データに含まれる特徴量を所定のルールで変換した変換特徴量を受信する受信処理と、
前記受信処理によって受信された前記学習装置ごとの前記変換特徴量に基づいて、前記複数の学習装置の複数の前記特徴量の分布を解析する分布解析処理と、
前記分布解析処理によって解析された分布解析結果を出力する出力処理と、
を実行することを特徴とする分析方法。

【請求項15】

複数の学習装置と通信可能な分析装置のプロセッサに、
前記複数の学習装置の各々の学習装置が有する学習データに含まれる特徴量を所定のルールで変換した変換特徴量を受信する受信処理と、
前記受信処理によって受信された前記学習装置ごとの前記変換特徴量に基づいて、前記複数の学習装置の複数の前記特徴量の分布を解析する分布解析処理と、
前記分布解析処理によって解析された分布解析結果を出力する出力処理と、
を実行させることを特徴とする分析プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、データを分析する分析装置、分析方法、および分析プログラムに関する。

【背景技術】

【0002】

機械学習は、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）を実現する技術の１つである。機械学習技術は、学習のプロセスと予測のプロセスにより構成される。まず、学習のプロセスは、入力となる特徴量ベクトルから得られた予測値と実際の値（真値）との誤差が最小となるように、学習パラメータを計算する。続いで、予測のプロセスは、学習に用いなかったデータ（以降、テストデータと呼ぶ）から新しい予測値を計算する。

【0003】

これまで、予測値の予測精度が最大となるような学習パラメータの算出方法や演算方法が考案されてきた。たとえば、パーセプトロンと呼ばれる手法は、入力となる特徴量ベクトルと、重みベクトルの線形結合の演算結果と、により予測値を出力する。ニューラルネットワークは、別名、マルチパーセプトロンとも呼ばれ、複数のパーセプトロンを多層的に重ねることで、線形分離不可能問題を解く能力をもつ。ｄｅｅｐ ｌｅａｒｎｉｎｇは、ニューラルネットワークにドロップアウト等の新しい技術を導入した手法であり、高い予測精度を達成できる手法として、脚光を浴びた。このように、これまで、予測精度を向上させることを目的として機械学習技術の開発が行われ、その予測精度は人間以上の能力を示しつつある。

【0004】

機械学習技術を社会実装する際、予測精度以外にも課題がある。たとえば、セキュリティや納品後のモデルの更新方法、メモリ等の有限な資源の利用制限などである。

【0005】

セキュリティに関する課題として、データの秘匿性が挙げられる。医療分野や金融分野など、個人情報を含むデータを用いて予測モデルを作成する場合、データの秘匿性の高さから、データを保管している拠点外へのデータの移動が難しいことがある。一般的に、機械学習では、学習に大量のデータを用いることで、高い予測精度を達成可能である。

【0006】

１つの拠点で取得されたデータのみを用いて学習を行う場合、データのサンプル数の少なさや、データが採取された地域の特徴などにより、非常に局所的な範囲でのみ活用可能なモデルとなりうる。つまり、拠点からデータを持ち出すことなく、各拠点のバリエーション豊かなデータにおいて高い予測を実現する予測モデルの作成を可能とする機械学習技術が必要である。

【0007】

下記特許文献１は、ヘルスケアアプリケーションのための連合学習モデルを備えた方法およびシステムを開示する。この連合学習システムは、エンドユーザの複数のエッジデバイス、１つ以上の連合学習者更新リポジトリ、および１つ以上のクラウドで構成される。各エッジデバイスは、テンソルを連合学習者更新リポジトリに送信するように構成されたフェデレーション学習者モデルを有する。クラウドは、テンソルをフェデレーション学習者更新リポジトリに送信するように構成されたフェデレーション学習者モデルを有する。連合学習者更新リポジトリは、エッジデバイスとクラウドにモデル更新を送信するように構成されたバックエンド構成を有する。

【0008】

下記特許文献２は、フェデレーテッドラーニングを実行する機械学習システムを開示する。この機械学習システムは、複数のクライアント端末のそれぞれが学習を開始する前に、各クライアント端末側の学習モデルと統合サーバのマスターモデルとを同期させる。各クライアント端末は医療機関に保存されているデータを用いて学習モデルの機械学習を実行し、学習結果を統合サーバに送信する。統合サーバは複数のクライアント端末を複数のクライアントクラスタに分けてクライアントクラスタごとに学習結果を統合してマスターモデル候補を作成する。統合サーバは各マスターモデル候補の推論精度を評価し、精度閾値を下回っているマスターモデル候補を検出したら、そのマスターモデル候補の作成に用いたクライアントクラスタの中から精度悪化要因となっているクライアント端末を抽出する。

【0009】

非特許文献１は、反復モデル平均化に基づくディープネットワークの連合学習の実用的な方法を開示する。この連合学習は、１つの共通のモデルを初期値として、各拠点の各データで学習を行い、予測モデルを生成する。生成した予測モデルのモデルパラメータ情報はサーバに送信される。サーバで学習したデータの量に応じた係数を用いて、予測モデルのモデルパラメータ情報からグローバル予測モデルを生成する処理が繰り返し実行される。最終的に、すべての拠点のデータに対して高い予測精度を達成するグローバル予測モデルが生成される。

【先行技術文献】

【特許文献】

【0010】

【特許文献1】米国特許公開２０２０／０２９３８８７号

【特許文献2】国際公開第２０２１／０５９６０７号

【非特許文献】

【0011】

【非特許文献1】H. Brendan McMahan, Eider Moore, Daniel Ramage, Seth Hampson and Blaise Aguera y Arcas, “Communication-efficient learning of deep networks from decentralized data”, In Artificial Intelligence and Statistics, pp. 1273-1282, 2017.

【発明の概要】

【発明が解決しようとする課題】

【0012】

特許文献１の方法およびシステムは、エンドユーザ毎の集団的バイアスを平滑化するため、エンドユーザ毎の特性を鑑み、予測モデルを生成することは考慮されていない。

【0013】

特許文献２の機械学習システムは、所望の予測精度を達成できない拠点を特定し、その拠点を除いた拠点で再度連合学習を実行するが、連合学習を繰り返し実行することは、１度学習したデータを何度も学習し直すことを意味し、冗長である。

【0014】

非特許文献１のような連合学習技術では、各拠点におけるデータのサンプル数の少なさや、データが採取された地域の特徴などデータの特徴のばらつきによっては、どの拠点のデータに対しても予測性能が劣化したグローバル予測モデルが生成され得る。

【0015】

本発明は、複数の拠点にあるデータを拠点外に移動させることなく、各拠点に適切な予測モデルの生成を実現可能にすることを目的とする。

【課題を解決するための手段】

【0016】

本願において開示される発明の一側面となる分析装置は、複数の学習装置と通信可能な分析装置であって、前記複数の学習装置の各々の学習装置が有する学習データに含まれる特徴量を所定のルールで変換した変換特徴量を受信する受信部と、前記受信部によって受信された前記学習装置ごとの前記変換特徴量に基づいて、前記複数の学習装置の複数の前記特徴量の分布を解析する分布解析部と、前記分布解析部によって解析された分布解析結果を出力する出力部と、を有することを特徴とする。

【発明の効果】

【0017】

本発明の代表的な実施の形態によれば、複数の拠点にあるデータを拠点外に移動させることなく、各拠点に適切な予測モデルの生成を実現可能にする。前述した以外の課題、構成および効果は、以下の実施例の説明により明らかにされる。

【図面の簡単な説明】

【0018】

【図1】図１は、連合学習の一例を示す説明図である。

【図2】図２は、コンピュータのハードウェア構成例を示すブロック図である。

【図3】図３は、実施例１にかかるサーバの機能的構成例を示すブロック図である。

【図4】図４は、実施例１にかかる拠点の機能的構成例を示すブロック図である。

【図5】図５は、分布解析部による変換特徴量の類似性解析例１を示す説明図である。

【図6】図６は、分布解析部による変換特徴量の類似性解析例２を示す説明図である。

【図7】図７は、サーバと拠点とによる学習例１を示す説明図である。

【図8】図８は、サーバと拠点とによる学習例２を示す説明図である。

【図9】図９は、サーバによる統合学習前処理手順例を示すフローチャートである。

【図10】図１０は、拠点による学習前処理手順例を示すフローチャートである。

【図11】図１１は、表示画面の表示例１を示す説明図である。

【図12】図１２は、表示画面の表示例２を示す説明図である。

【図13】図１３は、学習データを拠点外に出すことができない複数の拠点で、各拠点に適切な学習を実現する連合学習方法１を示す説明図である。

【図14】図１４は、学習データを拠点外に出すことができない複数の拠点で、各拠点に適切な学習を実現する連合学習方法２を示す説明図である。

【図15】図１５は、計算機の機能的構成例を示すブロック図である。

【発明を実施するための形態】

【0019】

分析装置は、複数の拠点にあるデータを拠点外に移動させることなく、各拠点のデータ特性を変換し、拠点外へ移動させ、各拠点のデータの特性の解析を実行する。これにより、分析装置は、各拠点に適切なモデル構築方法やグルーピングの提示過程のうち、
（Ａ）各拠点の学習データに含まれる特徴量を変換した変換特徴量間の距離を用いたクラスタリング結果の表示を実行したり、
（Ｂ）連合学習を用いたスコア算出によりクラスタリング結果の表示を実行したりする。

【0020】

（Ａ）については、実施例１で説明し、（Ｂ）については、実施例２で説明する。

【実施例0021】

＜連合学習＞
図１は、連合学習の一例を示す説明図である。学習装置である複数の拠点（図１では、例として、１０個の拠点Ｓ１～Ｓ１０）の各々は、それぞれ学習データＤ１～Ｄ１０（これらを区別しない場合は、単に学習データＤとする）を保持し、拠点Ｓ１～Ｓ１０外に学習データＤ１～Ｄ１０を出すことが禁止されているものとする。

【0022】

サーバ１００は、拠点Ｓ１～Ｓ１０（これらを区別しない場合は、単に拠点Ｓとする）で生成された予測モデルＭ１～Ｍ１０（これらを区別しない場合は、単に予測モデルＭとする）を統合する分析装置である。サーバ１００は、ベースとなる予測モデル（以下、ベース予測モデル）Ｍ０を有する。ベース予測モデルＭ０は、未学習のニューラルネットワークでもよく、重みやバイアスといったモデルパラメータが設定された学習済みのニューラルネットワークでもよい。

【0023】

拠点Ｓ１～Ｓ１０は、学習データＤ１～Ｄ１０を有し、学習データＤ１～Ｄ１０で予測モデルＭ１～Ｍ１０を生成するコンピュータである。学習データＤ１～Ｄ１０はそれぞれ、入力となる教師データと正解データとの組み合わせである。

【0024】

まず、サーバ１００は、ベース予測モデルＭ０を拠点Ｓ１～拠点Ｓ１０に送信する。拠点Ｓ１～拠点Ｓ１０はそれぞれ、ベース予測モデルＭ０とそれぞれの学習データＤ１～Ｄ１０とを用いて学習し、予測モデルＭ１～Ｍ１０を生成する。

【0025】

拠点Ｓ１～拠点Ｓ１０はそれぞれ、予測モデルＭ１～Ｍ１０の重みやバイアスといったモデルパラメータθ１～θ１０（これらを区別しない場合は、単にモデルパラメータθとする）をサーバ１００に送信する。サーバ１００は、受信したモデルパラメータθ１～θ１０の統合処理を実行し、統合予測モデルＭ１００を生成する。

【0026】

サーバ１００は、生成した統合予測モデルＭ１００が所望の予測精度を達成するまで統合予測モデルＭ１００の更新プロセスを繰り返す。なお、拠点Ｓ１～拠点Ｓ１０は、予測モデルＭ１～Ｍ１０のモデルパラメータθ１～θ１０の勾配をサーバ１００に送信してもよい。拠点Ｓ１～拠点Ｓ１０はそれぞれ、予測モデルＭ１～Ｍ１０の重みやバイアスといったモデルパラメータθ１～θ１０をサーバ１００に送信する。

【0027】

統合処理とは、モデルパラメータθ１～θ１０の平均値を算出する処理である。学習データＤ１～Ｄ１０のサンプル数が異なる場合は、学習データＤ１～Ｄ１０のサンプル数に基づいて重み付け平均を算出してもよい。また、統合処理では、モデルパラメータθ１～θ１０の代わりに各拠点Ｓ１～Ｓ１０から送信された、モデルパラメータθ１～θ１０の各勾配の平均値を算出する処理であってもよい。

【0028】

統合予測モデルＭ１００の更新プロセスとは、サーバ１００が統合予測モデルＭ１００を拠点Ｓ１～拠点Ｓ１０に送信し、拠点Ｓ１～拠点Ｓ１０がそれぞれ統合予測モデルＭ１００に学習データＤ１～Ｄ１０を入力して学習を行い、再生成した予測モデルＭ１～Ｍ１０のモデルパラメータθ１～θ１０をサーバ１００に送信し、サーバ１００が統合予測モデルＭ１００を再生成する、というプロセスである。生成した統合予測モデルＭ１００が所望の予測精度を達成した場合、連合学習は終了となる。また、所望の予測精度ではなく、所定の更新回数としてもよい。

【0029】

＜非独立同一分布＞
一般的に、機械学習で与えるデータは独立同分布（ｉｎｄｅｐｅｎｄｅｎｔｌｙ ａｎｄ ｉｄｅｎｔｉｃａｌｌｙ ｄｉｓｔｒｉｂｕｔｅｄ：ｉｉｄ）であることが前提とされている。独立同分布とは、たとえば、１～６までのサイコロを投げた時にある目が出る確率は同一であり、このサイコロを複数回投げた際に、何回目にどの目が出たかに関わらず独立に結果が得られることを意味する。この定義が崩れた状態が非独立同分布（ｎｏｎ－ｉｉｄ）である。

【0030】

ｎｏｎ－ｉｉｄ条件下のデータは、データシフトやデータスキューが発生しているデータまたはｎｏｎ－ｉｉｄデータと呼ばれている。たとえば、日本にある病院のデータと米国にある病院のデータでは、保険制度の違いから来る受診者の身体状態や人種、収入などの分布が大きく異なることが予想される。このようなデータはｎｏｎ－ｉｉｄデータであると言える。

【0031】

このような特性のばらつきがあるｎｏｎ－ｉｉｄデータは、そのばらつき方に応じて主に４種類に分類される。共変量シフト（ｃｏｖａｒｉａｔｅ ｓｈｉｆｔやｆｅａｔｕｒｅ ｄｉｓｔｒｉｂｕｔｉｏｎ ｓｋｅｗ）、ｃｏｎｃｅｐｔ ｓｈｉｆｔ（ｓａｍｅ ｆｅａｔｕｒｅｓやｄｉｆｆｅｒｅｎｔ ｆｅａｔｕｒｅｓなど）、ｌａｂｅｌ ｓｈｉｆｔ（ｔａｒｇｅｔ ｓｈｉｆｔやｌａｂｅｌ ｄｉｓｔｒｉｂｕｔｉｏｎ ｓｋｅｗ、ｐｒｉｏｒ ｐｒｏｂａｂｉｌｉｔｙ ｓｈｉｆｔなど）、ｃｏｎｃｅｐｔ ｄｒｉｆｔ（ｓａｍｅ ｌａｂｅｌやｄｉｆｆｅｒｅｎｔ ｌａｂｅｌなど）である。

【0032】

これらは、特徴量の分布の違い、目的変数の分布の違い、これら２つの条件付確率の違いなどで定義されている。ｎｏｎ－ｉｉｄデータの種類は統計的に定義づけられてはいるものの、実際のデータでは複数種類が発生していることもあり、どの種類がどれほどの強度で発生しているかを評価することは難しい。

【0033】

１つの拠点において、学習とテスト用のデータがｎｏｎ－ｉｉｄデータとなるよう分けられている場合、学習した際に高精度な予測を達成可能な予測モデルを、検証用データに適用しても分布が異なるので、同様に高精度な予測結果とならず、予測モデルの精度検証を適切に実施できなくなる。そのため、学習と検証用のデータを共通のデータからランダムにサンプリングすることで設定するなどの手法が行われてきた。

【0034】

１つの拠点内ではｉｉｄデータであっても、各拠点のデータは互いにｎｏｎ－ｉｉｄデータとなっている可能性が高い。各拠点のデータがｎｏｎ－ｉｉｄデータである場合、各拠点における適切な予測モデルＭ１～Ｍ１０のモデルパラメータθ１～θ１０が大きく異なることが予想される。つまり、統合処理における更新を複数回行っても、統合予測モデルＭ１００のモデルパラメータが適切な値に収束しない可能性が高くなる。

【0035】

ｎｏｎ－ｉｉｄデータかどうかの判別方法は、たとえば、データ分布を特徴量ひとつずつ比較することが考えられる。また、拠点Ｓ１の学習データＤ１を用いて生成した予測モデルＭ１を、拠点Ｓ２の学習データＤ２に適用した際に、予測モデルＭ１の生成時より明らかに予測精度が低下すれば、拠点Ｓ１の学習データＤ１と拠点２の学習データＤ２の分布は異なることを確認することも可能である。また、拠点Ｓ１、Ｓ２の学習データＤ１、Ｄ２であるかどうかを判断する予測モデルを生成した際に、予測精度が高いほど学習データＤ１、Ｄ２のデータ分布は異なると推定することも可能である。

【0036】

しかし、連合学習の環境下では、拠点Ｓの外に学習データＤを出すことができない。そのため、拠点Ｓ間のデータ分布を直接比較することはできない。そのため、連合学習後に、特許文献２で示したような所望の予測精度を達成できない拠点を特定し、その拠点を除いた拠点で再度連合学習をする方法などが考えられているものの、連合学習を繰り返し実施することは、１度学習したデータを何度も学習し直すことを意味し、冗長である。以下、連合学習前に、各拠点Ｓの学習データＤの特性に応じて、適切な予測モデルを生成する生成方法について具体的に説明する。

【0037】

＜コンピュータ（サーバ１００、拠点Ｓ）のハードウェア構成例＞
図２は、コンピュータのハードウェア構成例を示すブロック図である。コンピュータ２００は、プロセッサ２０１と、記憶デバイス２０２と、入力デバイス２０３と、出力デバイス２０４と、通信インタフェース（通信ＩＦ）２０５と、を有する。プロセッサ２０１、記憶デバイス２０２、入力デバイス２０３、出力デバイス２０４、および通信ＩＦ２０５は、バス２０６により接続される。プロセッサ２０１は、コンピュータ２００を制御する。記憶デバイス２０２は、プロセッサ２０１の作業エリアとなる。また、記憶デバイス２０２は、各種プログラムやデータを記憶する非一時的なまたは一時的な記録媒体である。記憶デバイス２０２としては、たとえば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、フラッシュメモリがある。入力デバイス２０３は、データを入力する。入力デバイス２０３としては、たとえば、キーボード、マウス、タッチパネル、テンキー、スキャナがある。出力デバイス２０４は、データを出力する。出力デバイス２０４としては、たとえば、ディスプレイ、プリンタがある。通信ＩＦ２０５は、ネットワークと接続し、データを送受信する。

【0038】

＜コンピュータ２００の機能的構成例＞
図３は、実施例１にかかるサーバ１００の機能的構成例を示すブロック図である。サーバ１００は、受信部３０１と、分布解析部３０２と、生成部３０３と、出力部３０４（送信部３４１および表示部３４２）と、を有する。受信部３０１、分布解析部３０２、生成部３０３、および出力部３０４は、具体的には、たとえば、図２に示した記憶デバイスに記憶されたプログラムをプロセッサ２０１に実行させることにより、または、通信ＩＦ２０５により、その機能を実現する。

【0039】

受信部３０１は、通信ＩＦ２０５により、拠点Ｓ１～Ｓ１０の変換特徴量ＴＦ１～ＴＦ１０（これらを区別しない場合は、単に変換特徴量ＴＦとする）と、拠点Ｓ１～Ｓ１０が学習したモデルパラメータθ１～θ１０と、統合予測モデルＭ１００の精度検証結果と、を受信する。変換特徴量ＴＦとは、学習データＤに含まれる訓練データである複数の特徴量を、あらかじめ設定されたルールに従って変換した変換後のデータである。

【0040】

分布解析部３０２は、受信部３０１によって受信された変換特徴量ＴＦ１～ＴＦ１０を用いて、学習データＤの類似性の解析を実行する。図１の例では、１０個の拠点Ｓ１～Ｓ１０が存在するため、分布解析部３０２は、２個ずつ４５通りの拠点Ｓの組み合わせごとに、学習データＤの類似性の計算を実行する。

【0041】

学習データＤの類似性の計算方法としては、たとえば、変換特徴量ＴＦ間のユークリッド距離やコサイン距離、Ｊｅｎｓｅｎ－ｓｈａｎｎｏｎ ｄｉｖｅｒｇｅｎｃｅなどによる分布の違いを表す指標、ｔ－ＳＮＥやＰＣＡなどの次元圧縮を行いベクトルを３次元以下に変換する手法、ウォード法などの階層クラスタリング手法、Ｋ－Ｍｅａｎｓ法などの非階層クラスタリング手法などが適用可能である。

【0042】

生成部３０３は、１以上の拠点Ｓから送信された予測モデルＭのモデルパラメータθに基づいて、１以上の予測モデルを生成する。具体的には、たとえば、生成部３０３は、１つの拠点Ｓのみを含むクラスタについては、そのモデルパラメータθに基づいて予測モデルＭを生成する（ローカル学習方法）。または、サーバ１００に送付せず、拠点Ｓのみで予測モデルＭを運用する。また、生成部３０３は、複数の拠点Ｓを含むクラスタについては、それらのモデルパラメータθに基づいて１または複数の統合予測モデルを生成する統合処理を実行する。

【0043】

出力部３０４は、送信部３４１と表示部３４２とを有する。

【0044】

送信部３４１は、単一の拠点Ｓの学習データＤで１つの予測モデルＭを生成するローカル学習方法、複数の拠点Ｓの学習データＤで１つの統合予測モデルＭ１００を生成する連合学習方法、および、複数の拠点Ｓの学習データＤで１以上の統合予測モデルを生成する個別化連合学習方法の中から選択された学習方法の実行通知と、ベース予測モデルＭ０と、を拠点Ｓ１～Ｓ１０に送信する。

【0045】

なお、個別化連合学習（Ｐｅｒｓｏｎａｌｉｚｅｄ Ｆｅｄｅｒａｔｅｄ Ｌｅａｒｎｉｎｇ）には様々な学習方法がある。たとえば、複数の拠点Ｓの複数の学習データＤ間の統計的不均一性を平滑化して統合予測モデルの収束を改善することに重点を置き、複数の学習データＤに基づいて、１つの統合予測モデルを生成する学習方法がある。また、各拠点Ｓやクラスタリングした拠点Ｓなどいずれかのレベルの下で、統合予測モデルのパフォーマンスを向上させることに重点を置き、複数の予測モデルに基づいて、複数の統合予測モデルを生成する学習方法がある。

【0046】

なお、個別化連合学習は連合学習に含まれる学習方法であるため、連合学習のうち、個別化連合学習ではない連合学習を、「非個別化連合学習」と称し、連合学習方法のうち、個別化連合学習の方法ではない連合学習方法を、「非個別化連合学習方法」と称す。

【0047】

また、送信部３４１は、生成部３０３によって生成された統合予測モデルＭ１００を、統合予測モデルの生成に使用された予測モデルＭを生成した拠点Ｓに送信する。また、送信部３４１は、各拠点Ｓで実行された精度検証結果に基づいて、連合学習の繰り返しを継続するか、終了とするかを示す継続指示を各拠点Ｓに送信する。

【0048】

表示部３４２は、出力デバイス２０４の一例であるディスプレイにデータを表示する。たとえば、表示部３４２は、分布解析部３０２による分布解析結果を表示する。

【0049】

図４は、実施例１にかかる拠点Ｓの機能的構成例を示すブロック図である。拠点Ｓは、受信部４０１と、学習部４０２と、分布変換部４０３と、送信部４０４と、を有する。受信部４０１、学習部４０２、分布変換部４０３、および送信部４０４は、具体的には、たとえば、図２に示した記憶デバイスに記憶されたプログラムをプロセッサ２０１に実行させることにより、または、通信ＩＦ２０５により、その機能を実現する。

【0050】

受信部４０１は、単一の拠点Ｓで１つの予測モデルＭを生成するローカル学習方法、複数の拠点Ｓで１つの統合予測モデルＭ１００を生成する連合学習方法、複数の拠点Ｓで複数の統合予測モデルを生成する個別化連合学習方法から選択された学習方法の実行通知と、ベース予測モデルＭ０と、を受信する。

【0051】

また、受信部４０１は、予測モデルＭの生成後においては、連合学習時において、生成部３０３によって生成された統合予測モデルを受信する。また、受信部４０１は、連合学習の繰り返しを継続するか、終了とするかを示す継続指示をサーバ１００から受信する。

【0052】

学習部４０２は、ランダムな初期値により決定したパラメータから構成される予測モデルまたはベース予測モデルＭ０に学習データＤを与えて、予測モデルＭを生成する。具体的には、たとえば、学習部４０２は、サーバ１００からベース予測モデルＭ０を取得して、ベース予測モデルＭ０に学習データＤを与える。学習部４０２は、学習データＤ１は、教師データと正解データとの組み合わせである。したがって、教師データをベース予測モデルＭ０に入力した結果出力される予測データと正解データとに基づいて、２乗和誤差または交差エントロピー誤差が最小となるように損失関数を計算することで、モデルパラメータθおよび予測モデルＭを生成する。

【0053】

学習データＤ内の教師データである特徴量ベクトルｘを学習した予測モデルＭは、下記式（１）に示すように予測データである出力ｙ、モデルパラメータθ、および関数ｈにより表現される。また、下記式（１）によりベース予測モデルＭ０を作成することも可能である。

【0054】

【数1】

【0055】

分布変換部４０３は、拠点Ｓの学習データＤを変換し、拠点Ｓ外へ移動しても問題がない状態までデータを変質させる変換処理を実行し、変換特徴量ＴＦを生成する。たとえば、学習データＤ内の教師データが５個の特徴量を有する１００個のサンプルである場合、分布変換部４０３は、サンプル方向に平均を取り、５個の特徴量ごとの平均値からなる特徴量ベクトルに変換し、変換特徴量ＴＦとする。平均値だけでなく、最大値や最小値、分散などの統計量でもよい。

【0056】

また、教師データが画像データである場合、分布変換部４０３は、画像データを、あらかじめ定義づけておいた変換ルールで複数の特徴量を数値化することで、画像データを特徴量ベクトルに変換してもよい。あらかじめ定義づけておいた複数の特徴量とは、たとえば、画像データが動物の画像データであれば、その動物の耳の数、手足の数、目の数である。このような変換ルールは、共通のルールとしてサーバ１００および拠点Ｓに保持される。

【0057】

送信部４０４は、分布変換部４０３により生成された変換特徴量ＴＦと、モデルパラメータθと、統合予測モデルの精度検証結果と、を、サーバ１００に送信する。

【0058】

なお、受信部３０１，４０１、送信部３４１、４０４で送受信されるデータは、セキュリティの観点から暗号化等により変換され保護される。これにより、予測モデルＭから学習に使用されたデータの解析を困難にする。

【0059】

＜分布解析部３０２による変換特徴量ＴＦの類似性解析＞
図５は、分布解析部３０２による変換特徴量ＴＦの類似性解析例１を示す説明図である。図５は、サーバ１００が、拠点Ｓから受信した変換特徴量ＴＦ間のユークリッド距離により、拠点Ｓ１～Ｓ１０の類似度を解析する例である。ユークリッド距離のヒートマップ５００では、色が濃いほど距離が近い、つまり、変換特徴量ＴＦの分布の類似性が高いことを示す。

【0060】

本例では、拠点Ｓ１、拠点Ｓ３、拠点Ｓ５、および拠点Ｓ９についての変換特徴量ＴＦの分布が類似していることが読み取れる。また、拠点Ｓ４および拠点Ｓ１０についての変換特徴量ＴＦの分布も類似していると読み取れる。また、拠点Ｓ６および拠点Ｓ８についての変換特徴量ＴＦの分布も類似していることが読み取れる。この変換特徴量ＴＦの分布の類似性により、サーバ１００は、たとえば、拠点Ｓ１、拠点Ｓ３、拠点Ｓ５、および拠点Ｓ９を、変換特徴量ＴＦの分布が類似するクラスタに決定し、拠点Ｓ６および拠点Ｓ８を、変換特徴量ＴＦの分布が類似するクラスタに決定する。

【0061】

なお、図５では、ヒートマップ５００で表現、すなわち距離を色の濃淡としたが、距離を数値で表現してもよい。これらのマップ情報は、拠点Ｓ間の特徴量の類似性に関する情報の一例である。

【0062】

図６は、分布解析部３０２による変換特徴量ＴＦの類似性解析例２を示す説明図である。図６は、サーバ１００が、拠点Ｓから受信した変換特徴量ＴＦの階層クラスタリングにより、拠点Ｓ１～Ｓ１０の類似度を解析する例である。

【0063】

デンドログラム６００は、変換特徴量ＴＦの階層クラスタリングにより作成される。デンドログラム６００の横軸は、階層クラスタリングに応じた拠点Ｓの配列であり、縦軸は、変換特徴量ＴＦから算出された距離である。距離の算出方法は階層クラスタリングにおけるクラスタ間の距離測定方法により異なる。デンドログラム６００も、拠点Ｓ間の特徴量の類似性に関する情報の一例である。

【0064】

デンドログラム６００によれば、拠点Ｓ１、拠点Ｓ３、拠点Ｓ５および拠点Ｓ９は、早い段階で同じクラスタに所属する（クラスタＣ１）。拠点Ｓ４および拠点Ｓ１０も早い段階で同じクラスタに所属する（クラスタＣ２）。拠点Ｓ６および拠点Ｓ８も早い段階で同じクラスタに所属する。

【0065】

また、デンドログラム６００は、ヒートマップ５００からではわかりにくい拠点Ｓ６、拠点Ｓ７、および拠点Ｓ８についての学習データＤの分布の類似性をクラスタＣ３として、拠点Ｓ１、拠点Ｓ３、拠点Ｓ４、拠点Ｓ５、拠点Ｓ９、および拠点Ｓ１０についての学習データＤの分布の類似性をクラスタＣ１２として把握できる。なお、拠点Ｓ２のみのクラスタをクラスタＣ４とする。

【0066】

ここで、学習データＤの分布の類似性の閾値を１．０とすると、１０個の拠点Ｓ１～Ｓ１０を３つのクラスタＣ１２、Ｃ３、Ｃ４に分けることができる。３つのクラスタＣ１２、Ｃ３、Ｃ４のうち、１つの拠点Ｓ２のみ含むクラスタＣ４は、学習データＤの分布の類似性から、連合学習により生成した統合予測モデルＭ１００と比較して、単独で予測モデルＭ２を作成した予測モデルＭ２の精度がよくなると考えられる。２以上の拠点Ｓを含むクラスタＣ１２、Ｃ３では、連合学習の適用が適切であると考えられる。

【0067】

ただし、そのうち、学習データＤの類似性に応じて、適切な連合学習方法があると考えられる。拠点Ｓ６～Ｓ８では、閾値１．０に余裕をもって０．８程度でひとつのクラスタを形成していることから、連合学習により精度のよい予測モデルＭを生成できると考えられる。また、拠点Ｓ１、拠点Ｓ３～Ｓ５，拠点Ｓ９、拠点Ｓ１０の６つは、１つのクラスタＣ１２になっているものの、拠点Ｓ１、拠点Ｓ３、拠点Ｓ５，拠点Ｓ９を含むクラスタＣ２と、拠点Ｓ４および拠点Ｓ１０を含むクラスタＣ１と、に分けられる。このように、学習データＤの分布の違いが大きい場合、連合学習のなかでも、個別化連合学習を適用することも考えられる。

【0068】

分布解析部３０２は、ユークリッド距離や階層クラスタリングの結果から、単一の拠点Ｓで１つの予測モデルＭを生成するローカル学習方法、複数の拠点Ｓで１つの統合予測モデルＭ１００を生成する非個別化連合学習方法、複数の拠点Ｓで複数の統合予測モデルを生成する個別化連合学習方法のうちいずれかを選択する。

【0069】

この選択方法は、たとえば、サーバ１００のユーザが、画面表示されたヒートマップ５００やデンドログラム６００を参照したうえで、選択する方法でもよいし、サーバ１００のユーザが事前にしきい値を設定しておき、分布解析部３０２がしきい値に基づいて、ローカル学習方法、非個別化連合学習方法、および個別化連合学習方法のいずれかを選択してもよい。

【0070】

たとえば、図６において、しきい値が１．０に設定された場合、拠点Ｓ１～Ｓ１０は、クラスタＣ１２、Ｃ３、Ｃ４に分類される。この場合、クラスタＣ４は１つの拠点Ｓ２しか所属していないため、分布解析部３０２は、クラスタＣ４内の拠点Ｓ２における学習方法をローカル学習方法に決定する。

【0071】

また、クラスタＣ３は、複数の拠点Ｓ６～Ｓ８を含み、かつ、閾値１．０に余裕をもって０．８程度でひとつのクラスタを形成している。したがって、分布解析部３０２は、クラスタＣ３内の拠点Ｓ６～Ｓ８における学習方法を非個別化連合学習方法に決定する。

【0072】

また、クラスタＣ１２は、複数の拠点Ｓ１、Ｓ３、Ｓ４、Ｓ５、Ｓ９、およびＳ１０を含み、かつ、クラスタＣ１２内において複数の拠点を含むクラスタが複数存在する（クラスタＣ１，Ｃ２）。クラスタＣ１とＣ２は、閾値１．０付近で１つのクラスタとなっているため学習データＤの分布の違いが大きいといえる。したがって、分布解析部３０２は、クラスタＣ１２内の拠点Ｓ１、Ｓ３、Ｓ４、Ｓ５、Ｓ９、およびＳ１０における学習方法を個別化連合学習方法に決定する。

【0073】

また、分布解析部３０２は、しきい値以外にも制約条件を設定して、学習方法を選択してもよい。たとえば、分布解析部３０２は、しきい値を変動させ、あらかじめ設定されたクラスタ数やクラスタ内の所属拠点数に到達した場合に、しきい値の変動を終了し、その時点でのクラスタについて学習方法を決定してもよい。

【0074】

たとえば、分布解析部３０２は、デンドログラム６００において、しきい値の初期値を最大値（たとえば、２．０）に設定し、最大値から所定量（たとえば、０．１）減少させていく。設定クラスタ数が「３」という制約条件であれば、しきい値が１．４に到達した時点でのクラスタは、クラスタＣ４と、拠点Ｓ１、Ｓ３～Ｓ１０からなるクラスタの２つであり、クラスタ数は「２」である。したがって、しきい値の減少が継続される。しきい値が１．２に到達した時点でのクラスタは、クラスタＣ１２、Ｃ３、Ｃ４となる。クラスタ数が「３」に到達したため、しきい値の減少は終了し、分布解析部３０２は、この時点でのクラスタＣ１２、Ｃ３、Ｃ４の各々について、学習方法を決定する。

【0075】

また、１クラスタ内の拠点数が「４以下」という制約条件であれば、しきい値が１．４に到達した時点でのクラスタは、クラスタＣ４と、拠点Ｓ１、Ｓ３～Ｓ１０からなるクラスタの２つであり、後者のクラスタの拠点数は「９」となる。しきい値の減少が継続される。しきい値が１．２に到達した時点でのクラスタは、クラスタＣ３、Ｃ４、Ｃ１２となる。

【0076】

クラスタＣ３、Ｃ４、Ｃ１２の後者の所属拠点数は「６」となる。しきい値の減少が継続される。しきい値が０．９に到達した時点でのクラスタは、クラスタＣ１、Ｃ２、Ｃ３、Ｃ４となる。クラスタＣ１の所属クラスタ数は「４」であるため、しきい値の減少は終了し、分布解析部３０２は、この時点でのクラスタＣ１、Ｃ２、Ｃ３、Ｃ４の各々について、学習方法を決定する。

【0077】

なお、上記の例は、一例であり、設定クラスタ数は、「ｎ」（ｎは１以上の整数）、「ｎ以上」、「ｎより多い」、「ｎ以下」、「ｎよりも少ない」など各種設定可能である。また、１クラスタ内の拠点数についても、「ｍ」（ｍは１以上の整数）、「ｍ以上」、「ｍより多い」、「ｍ以下」、「ｍよりも少ない」など各種設定可能である。

【0078】

また、上述した例では、設定クラスタ数についての例と、１クラスタ内の拠点数の例とに分けて説明したが、たとえば、設定クラスタ数は「ｎ」でかつ１クラスタ内の拠点数は「ｍ」のように、設定クラスタ数および１クラスタ内の拠点数の両方を制約条件として設定してもよい。また、上述した例では、分布解析部３０２は、しきい値を最大値から減少させたが、しきい値を最小値（たとえば、０．０）から所定量増加させてもよい。

【0079】

＜学習例＞
図７は、サーバ１００と拠点Ｓとによる学習例１を示す説明図である。図７では、クラスタＣ１２が学習方法の決定対象クラスタである場合に、拠点Ｓ１、Ｓ３、Ｓ５、およびＳ９からなるクラスタＣ１と、拠点Ｓ４および拠点Ｓ１０からなるクラスタＣ２との学習データＤ１、Ｄ３～Ｄ５、Ｄ９、Ｄ１０を用いて、１つの統合予測モデルＭ７００を生成する個別化連合学習を実行する例を示す。

【0080】

拠点Ｓ１、Ｓ３～Ｓ５、Ｓ９およびＳ１０の各々は、受信部４０１により、個別化連合学習が選択されたことを示す通知をサーバ１００から受信する。拠点Ｓ１、Ｓ３～Ｓ５、Ｓ９およびＳ１０の各々は、学習部４０２により、それぞれの学習データＤ１、Ｄ３～Ｄ５、Ｄ９およびＤ１０を用いて、予測モデルＭ１、Ｍ３～Ｍ５、Ｍ９、Ｍ１０を生成する。その後、拠点Ｓ１、Ｓ３～Ｓ５、Ｓ９およびＳ１０の各々は、生成した予測モデルＭ１、Ｍ３～Ｍ５、Ｍ９、Ｍ１０のモデルパラメータθ１、θ３～θ５、θ９およびθ１０を送信部４０４からサーバ１００へ送信する。

【0081】

サーバ１００は、受信部３０１により、モデルパラメータθ１、θ３～θ５、θ９およびθ１０を受信する。サーバ１００は、生成部３０３により、モデルパラメータθ１、θ３～θ５、θ９およびθ１０を用いて、統合処理を実行し、統合予測モデルＭ７００を生成する。サーバ１００は、生成した統合予測モデルＭ７００が所望の予測精度を達成するまで統合予測モデルＭ７００の更新プロセスを繰り返す。

【0082】

なお、図７では、クラスタＣ１２が学習方法の決定対象クラスタである場合に、クラスタＣ１、Ｃ２の学習データＤ１、Ｄ３～Ｄ５、Ｄ９、Ｄ１０を用いて１つの統合予測モデルＭ７００を生成する個別化連合学習を実行する例を示したが、クラスタＣ１の学習データＤ１、Ｄ３、Ｄ５、Ｄ９を用いて１つの統合予測モデルを生成し、クラスタＣ２の学習データＤ４、Ｄ１０を用いて１つの統合予測モデルを生成するという個別化連合学習を実行してもよい。

【0083】

図８は、サーバ１００と拠点Ｓとによる学習例２を示す説明図である。図８では、クラスタＣ３が学習方法の決定対象クラスタである場合に、拠点Ｓ６～Ｓ８からなるクラスタＣ３の学習データＤ３を用いて１つの統合予測モデルを生成する非個別化連合学習を実行する例を示す。

【0084】

拠点Ｓ６～Ｓ８の各々は、受信部４０１により、非個別化連合学習が選択されたことを示す通知をサーバ１００から受信する。拠点Ｓ６～Ｓ８の各々は、学習部４０２により、それぞれの学習データＤ６～Ｄ８を用いて、予測モデルＭ６～Ｍ８を生成する。その後、拠点Ｓ６～Ｓ８の各々は、送信部４０４により、生成した予測モデルＭ６～Ｍ８をサーバ１００に送信する。

【0085】

サーバ１００は、受信部３０１により、予測モデルＭ６～Ｍ８のモデルパラメータθ６～θ８を受信する。サーバ１００は、生成部３０３により、モデルパラメータθ６～θ８を用いて統合処理を実行し、統合予測モデルＭ８００を生成する。サーバ１００は、生成した統合予測モデルＭ８００が所望の予測精度を達成するまで統合予測モデルＭ８００の更新プロセスを繰り返す。

【0086】

なお、図７および図８では、サーバ１００がデンドログラム６００を参照して学習方法を決定し、予測モデルＭまたは統合予測モデルを生成する例について説明したが、サーバ１００は、ヒートマップ５００を参照して複数の拠点Ｓをクラスタ化して学習方法を決定し、予測モデルＭまたは統合予測モデルを生成してもよい。

【0087】

＜予測モデルＭの統合処理＞
つぎに、生成部３０３による予測モデルＭの統合処理について具体的に説明する。予測モデルＭの統合処理では、Ｋ個（Ｋは１以上の整数）の拠点Ｓにおける学習で、ベース予測モデルＭ０にモデルパラメータθ^ｔ（ｔは統合予測モデルＭ１００の更新回数）を適用した統合予測モデルＭ１００を初期値として、Ｋ個の拠点Ｓの各々が、各々の学習データＤで学習する。

【0088】

そして、生成部３０３は、Ｋ個の拠点Ｓの各々が、それぞれ生成したＫ個の予測モデルＭのモデルパラメータθ_ｋに関する勾配ｇ_ｋを取得し、勾配ｇ_ｋの平均の和を用いて、下記式（２）に示すように、ｔ＋１回目の更新となる統合予測モデルＭ１００のモデルパラメータθ^ｔ＋１を生成する。ＮはＫ個の拠点Ｓで学習に用いた全学習データＤの総サンプル数、Ｎ_ｋは拠点ｋにおける学習データＤのサンプル数である。

【0089】

【数2】

【0090】

ここで、上記式（２）では、モデルパラメータθ_ｋに関する勾配ｇ_ｋを使用したが、これはモデルパラメータθ_ｋから学習データＤを解析できないようにセキュリティに配慮した方法であり、モデルパラメータθ_ｋや符号化、暗号化などを使用してもよい。また、生成部３０３は、全結合層や畳み込み層など予測モデルの構造に応じて、上記式（２）とは異なる方法で予測モデルＭ１～Ｍ１０を統合してもよい。

【0091】

たとえば、下記式（３）に示すように、各モデルパラメータθ_ｋの学習に用いた学習データＤのサンプル数で正規化した平均値としてもよいし、予測モデルＭの学習過程におけるバッチ単位やエポック単位でのモデルパラメータθ_ｋやその勾配ｇ_ｋを用いてもよい。

【0092】

【数3】

【0093】

＜サーバ１００による統合学習前処理＞
図９は、サーバ１００による統合学習前処理手順例を示すフローチャートである。サーバ１００は、連合学習に参加希望の拠点Ｓとの通信が可能になっているものとする。サーバ１００は、受信部３０１により、変換特徴量ＴＦを各拠点Ｓか受信する（ステップＳ９０１）。つぎに、サーバ１００は、分布解析部３０２により、受信した変換特徴量ＴＦを用いて、学習データＤの類似性の解析を実行する（ステップＳ９０２）。

【0094】

そして、サーバ１００は、分布解析部３０２により、図５および図６に示したように、学習データＤの分布の類似性に基づいて、拠点Ｓごとに、学習方法を決定する（ステップＳ９０３）。このあと、サーバ１００は、出力部３０４により、分布解析部３０２による分布解析結果を出力する（ステップＳ９０４）。

【0095】

具体的には、たとえば、サーバ１００は、表示部３４２により、分布解析結果として、ヒートマップ５００、デンドログラム６００、ステップＳ９０３で決定した連合予測モデルＭの学習方法、つまり統合予測モデルＭ１００の生成方法および予測モデルＭの学習方法を表示する。また、サーバ１００は、送信部３４１により、ステップＳ９０３で決定した学習方法を各拠点Ｓに通知する。これにより、統合学習前処理が終了する。

【0096】

＜拠点Ｓによる学習前処理＞
図１０は、拠点Ｓによる学習前処理手順例を示すフローチャートである。拠点Ｓは、学習データＤ内の教師データである特徴量の変換方法やツールをサーバ１００から取得済みとする。

【0097】

拠点Ｓは、特徴量の変換方法およびツールを用いて、学習データＤ内の教師データである特徴量を変換し、変換特徴量ＴＦを生成する（ステップＳ１００１）。つぎに、拠点Ｓは、変換特徴量ＴＦをサーバ１００に送信する（ステップＳ１００２）。このあと、拠点Ｓは、ステップＳ９０４の通知をサーバ１００から送信する（ステップＳ１００３）。これにより、学習前処理が終了する。

【0098】

このように、上述したデータ分析処理システムによれば、複数の拠点Ｓ１～Ｓ１０にある学習データＤ１～Ｄ１０を拠点Ｓ外に移動させることなく、各拠点Ｓのバリエーション豊かな学習データＤ１～Ｄ１０に対して、各拠点Ｓに適切な予測モデルＭの学習方法を決定可能となり、拠点Ｓごとに適切な予測モデルＭまたは統合予測モデルＭ１００，Ｍ７００、Ｍ８００を生成することができる。

【0099】

＜表示画面例＞
つぎに、コンピュータ２００の出力デバイス２０４の一例であるディスプレイに表示される表示画面例について説明する。

【0100】

図１１は、表示画面の表示例１を示す説明図である。表示画面１１００は、たとえば、サーバ１００のディスプレイに表示される。表示画面１１００は、Ｖｉｅｗ ｃｌｉｅｎｔｓボタン１１０１と、Ｖｉｅｗ ｒｅｓｕｌｔｓボタン１１０２と、ｍｏｄｅ欄１１０３と、拠点リスト１１１１と、拠点分析結果１１１２と、拠点分類開始ボタン１１１３と、拠点分類結果確認ボタン１１１４と、を含む。

【0101】

サーバ１００は、ユーザの操作により、ｍｏｄｅ欄１１０３で「Ａｎａｌｙｓｉｓ」の選択を受け付け、Ｖｉｅｗ ｃｌｉｅｎｔｓボタン１１０１の押下を受け付ける。これにより、サーバ１００は、拠点リスト１１１１に、連合学習参加希望の拠点リスト１１１１を表示する。サーバ１００は、ユーザの操作により、拠点分類開始ボタン１１１３の押下を受け付けると、サーバ１００は、変換特徴量の生成に必要な方法やツールを各拠点Ｓに送信する。

【0102】

各拠点Ｓで変換特徴量が生成されるとサーバ１００に送信され、サーバ１００は、分布変換部４０３により、受信した変換特徴量の解析を実行する。このあと、サーバ１００は、ユーザの操作により、Ｖｉｅｗ ｒｅｓｕｌｔｓボタン１１０２の押下を受け付けると、サーバ１００は、拠点分析結果１１１２を表示する。そのとき、同時に、各拠点Ｓにどの学習方法の割り当てが拠点リスト１１１１にも反映される。

【0103】

ユーザが拠点リスト１１１１および拠点分析結果１１１２を確認し、サーバ１００が、拠点分類結果確認ボタン１１１４の押下を受け付けると、各拠点Ｓに割り当てられた学習方法の通知を送信する。ここで、拠点リスト１１１１の各拠点Ｓの学習方法を、ユーザの操作により、個別に直接編集可能であってもよい。

【0104】

図１２は、表示画面の表示例２を示す説明図である。表示画面１２００は、たとえば、サーバ１００のディスプレイに表示される。表示画面１２００は、Ｖｉｅｗ ｃｌｉｅｎｔｓボタン１１０１と、Ｖｉｅｗ ｒｅｓｕｌｔｓボタン１１０２と、ｍｏｄｅ欄１１０３と、拠点リスト１１１１と、グループ選択欄１２１１と、連合学習結果１２１２と、連合学習結果確認ボタン１２１３と、を含む。

【0105】

サーバ１００は、ユーザの操作により、ｍｏｄｅ欄１１０３でＦｅｓｅｒａｔｉｏｎの選択を受け付け、Ｖｉｅｗ ｒｅｓｕｌｔｓボタン１１０２の押下を受け付けることで、連合学習結果１２１２を表示する。また、サーバ１００は、ユーザの操作により、グループ選択欄１２１１において学習グループの選択を受け付けることで、拠点リスト１１１１に表示されている学習グループに属する拠点Ｓの連合学習結果１２１２を表示する。連合学習における繰り返し処理が規定回数または、所望の予測精度を達成したことで終了している場合、サーバ１００は、ユーザの操作により、連合学習結果確認ボタン１２１３を押下することで、連合学習処理が終了する。連合学習結果を受けて、拠点の選定のやり直しや学習のやり直しを行いたい場合は、ｍｏｄｅ欄１１０３を「Ａｎａｌｙｓｉｓ」に変更し、表示画面１１００に戻って、変換特徴量ＴＦの生成、学習方法の決定、連合学習を再度実施することも可能である。

【0106】

このように、実施例１によれば、複数の拠点Ｓにある学習データＤを拠点Ｓ外に移動させることなく、各拠点Ｓのバリエーション豊かな学習データＤに対して、各拠点Ｓに適切な統合予測モデルＭ１００を生成することができる。また、実施例１では、拠点数を１０としたが、２以上であれば、９以下でも１１以上としてもよい。

【実施例0107】

実施例２について説明する。実施例１では、各拠点Ｓの変換特徴量を用いて解析することで、各拠点Ｓに適切な学習方法を決定した。実施例２は、分布解析部３０２により、各拠点Ｓに適切な学習方法を、連合学習を用いて決定する例である。なお、実施例２で説明する統合予測モデルは、実施例１の生成部３０３が生成する統合予測モデルではなく、学習方法を決定するための統合予測モデルである。実施例２では、実施例１との相違点を中心に説明するため、実施例１との共通点については説明を省略する。

【0108】

たとえば、各拠点Ｓの学習データＤが、各病院におけるがん患者のステージ分類である場合、最終的に生成する統合予測モデルの出力は、同様にステージ分類となる。実施例２において、各拠点Ｓに適切な学習方法を連合学習により決定する場合、最終的に生成する統合予測モデルの出力は、どの拠点Ｓの学習データＤであるか（すなわち、学習データＤが所属する拠点Ｓ）とする。

【0109】

図１３は、学習データＤを拠点Ｓ外に出すことができない複数の拠点Ｓで、各拠点Ｓに適切な学習を実現する連合学習方法１を示す説明図である。複数の拠点Ｓが拠点Ｓ１、Ｓ２のみである場合、拠点Ｓ１は、ベース予測モデルＭ０と学習データＤ１とを用いて予測モデルＭ１である識別器を生成し、この識別器のモデルパラメータθ１をサーバ１００に送信する。同様に、拠点Ｓ２は、ベース予測モデルＭ０と学習データＤ２とを用いて予測モデルＭ２である識別器を生成し、この識別器のモデルパラメータθ２をサーバ１００に送信する。サーバ１００は、学習データＤが拠点Ｓ１であるクラスを０、学習データＤが拠点Ｓ２であるクラスを１として生成された予測モデルＭ１、Ｍ２のモデルパラメータθ１、θ２に基づいて、統合予測モデルＭ１００である２クラス分類識別器（以下、統合識別器）を、連合学習により生成する。

【0110】

拠点Ｓ１、Ｓ２は、生成された統合識別器（２クラス分類識別器である統合予測モデルＭ１００）をサーバ１００から受信して適用し、予測確率を算出する。拠点Ｓ１、Ｓ２は、算出した予測確率、または、予測確率を傾向スコア（Ｐｒｏｐｅｎｃｉｔｙ Ｓｃｏｒｅ）に変換した値を、変換特徴量としてサーバ１００に送信する。図１３では、傾向スコアとしている。

【0111】

サーバ１００は、図１３のグラフ１３００に示すように、拠点Ｓ１の傾向スコアの箱ひげ図１３０１と、拠点Ｓ２の傾向スコアの箱ひげ図１３０２と、を比較する。たとえば、拠点Ｓ１において、拠点Ｓ１である確率が高く、拠点Ｓ２において、拠点Ｓ１である確率が低い場合、２つの拠点Ｓ１、Ｓ２の学習データＤ１、Ｄ２は区別がつきやすい、つまりデータ分布の類似性が低いことを意味する。この場合、箱ひげ図１３０１、１３０２の重複範囲１３１２は狭くなる、または含まれるサンプル数が少なくなる。

【0112】

逆に、拠点Ｓ１において、拠点Ｓ１である確率と拠点Ｓ２において、拠点Ｓ１である確率が同程度である場合、２つの拠点Ｓ１、Ｓ２の学習データＤ１、Ｄ２は区別がつきにくい、つまりデータ分布の類似性が高いことを意味する。この場合、箱ひげ図１３０１、１３０２の重複範囲１３１２は広くなる、または含まれるサンプル数が多くなる。サーバ１００が、拠点Ｓ１、Ｓ２における拠点分類用統合予測モデルを適用した際の予測確率の分布を比較することで、両拠点Ｓ１、Ｓ２の学習データＤ１、Ｄ２の類似性を評価することが可能となる。

【0113】

ここで、傾向スコアとは、無作為割付が難しく様々な交絡が生じやすい観察研究において、共変量を調整して因果効果を推定するために用いられるバランス調整の統計手法または統計手法によって得られた値である。実施例２において、各拠点Ｓの学習データＤの特性解析において、予測確率をそのまま用いてもよいし、傾向スコアを用いた重み付け手法であるＩＰＷ（Ｉｎｖｅｒｓｅ Ｐｒｏｂａｂｉｌｉｔｙ Ｗｅｉｇｈｔｉｎｇ）推定量、２重ロバスト推定量などを用いてもよい。

【0114】

図１３に示した例では、サーバ１００は、箱ひげ図１３０１、１３０２の重複範囲１３１２の大きさにより、学習データＤ１、Ｄ２の類似性を判断する。たとえば、サーバ１００は、重複範囲１３１２がしきい値以上であれば、学習データＤ１、Ｄ２はデータ分布が類似すると判断する。類似すると判断された場合、サーバ１００は、拠点Ｓ１，Ｓ２を同一クラスタに所属させる。また、類似性の判断は重複範囲１３０２の大きさ以外にも、重複範囲１３０２に含まれるサンプル数などを用いて学習データＤ１、Ｄ２の類似性を判断してもよい。

【0115】

また、図１３では、拠点数が２の場合を例に示したが、拠点数が少ないほど、サーバ１００は、統合予測モデルのモデルパラメータから、他の拠点Ｓの学習データＤを推定しやすくなる。このため、拠点Ｓには参加している拠点数を知らせない、使用を参加する拠点数が一定数以上の場合に限定する、Ｄｉｆｆｅｒｅｎｔｉａｌ Ｐｒｉｖａｃｙ Ｓｔｏｃｈａｓｔｉｃ Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ ＳＧＤ（ＤＰＳＧＤ）やＰｒｉｖａｔｅ Ａｇｇｒｅｇａｔｉｏｎ ｏｆ Ｔｅａｃｈｅｒ Ｅｎｓｅｍｂｌｅｓ（ＰＡＴＥ）などのプライバシー保護手法を使用する、といった対応をすればよい。

【0116】

図１４は、学習データＤを拠点Ｓ外に出すことができない複数の拠点Ｓで、各拠点Ｓに適切な学習を実現する連合学習方法２を示す説明図である。図１４は、特に、拠点数が３以上の場合のグラフ１４００である。複数の拠点Ｓが拠点Ｓ１、Ｓ２、Ｓ３である場合、拠点Ｓ１は、ベース予測モデルＭ０と学習データＤ１とを用いて予測モデルＭ１である識別器を生成し、この識別器のモデルパラメータθ１をサーバ１００に送信する。同様に、拠点Ｓ２は、ベース予測モデルＭ０と学習データＤ２とを用いて予測モデルＭ２である識別器を生成し、この識別器のモデルパラメータθ２をサーバ１００に送信する。同様に、拠点Ｓ３は、ベース予測モデルＭ０と学習データＤ３とを用いて予測モデルＭ３である識別器を生成し、この識別器のモデルパラメータθ３をサーバ１００に送信する。

【0117】

サーバ１００は、学習データＤが拠点Ｓ１であるクラスを０、学習データＤが拠点Ｓ２であるクラスを１、学習データＤが拠点Ｓ３であるクラスを２として生成された予測モデルＭ１～Ｍ３のモデルパラメータθ１～θ３に基づいて、統合予測モデルＭ１００である３クラス分類識別器（統合分類器）を連合学習により生成する。一般的に、傾向スコアは２群に分けられている場合に使用される手法であり、群が３以上の場合、一般化傾向スコア（Ｇｅｎｅｒａｌｉｚｅｄ Ｐｒｏｐｅｎｃｉｔｙ Ｓｃｏｒｅ）が使用される。

【0118】

一般化傾向スコアは、下記式（４）に示すように、Ｋ個の拠点ＳにおいてＫ個の異なる学習データＤに対して、Ｋ個の拠点Ｓ内のｋ番目の拠点Ｓである拠点ｋにおける傾向スコアＰＳ（ｋ｜ｘ）を用いて表すことができる。下記式（４）では、Ｋ個の一般化傾向スコアを足すと、１となるように設計されている。

【0119】

【数4】

【0120】

図１４に示した例では、サーバ１００は、箱ひげ図１４０１、１４０２の重複範囲１４１２の大きさにより、学習データＤ１、Ｄ２の類似性を判断し、箱ひげ図１４０２、１４０３の重複範囲１４２３の大きさにより、学習データＤ２、Ｄ３の類似性を判断し、箱ひげ図１４０１、１４０３の重複範囲１３１３の大きさにより、学習データＤ１、Ｄ３の類似性を判断する。

【0121】

たとえば、サーバ１００は、重複範囲１４１２がしきい値以上であれば、学習データＤ１、Ｄ２はデータ分布が類似すると判断する。類似すると判断された場合、サーバ１００は、拠点Ｓ１，Ｓ２を同一クラスタに所属させる。他の重複範囲１４２３，１４１３についても同様に判断される。連合学習方法１と同様に、類似性の判断は重複範囲１４１２，１４２３、１４１３の大きさ以外にも、重複範囲１４１２，１４２３、１４１３に含まれるサンプル数などを用いて学習データＤ１～Ｄ３の類似性を判断してもよい。

【0122】

本実施例では、あらかじめ連合学習により生成した２クラスおよび３クラス分類識別器を用いて算出した傾向スコアを用いた。２クラスおよび３クラス分類識別器を連合学習で生成する際、各拠点Ｓは、予測モデルＭを学習データＤを用いて生成する。拠点Ｓは自分の学習データＤのみを用いて予測モデルＭを生成するため、予測モデルＭは局所解に陥りやすい。サーバ１００において、学習データＤのみを予測可能な予測モデルＭのモデルパラメータθに対して、統合処理を行うと、連合学習に参加した拠点Ｓが有する学習データＤに対して発散する方向に統合予測モデルのモデルパラメータが変移する。つまり、低い予測精度の統合予測モデルを生成することとなる。

【0123】

これを回避するために、まず、最終的に生成する統合予測モデルの出力（たとえば、がんのステージ）として、サーバ１００は、連合学習における統合予測モデル生成プロセスを実行する。ただし、更新回数は不十分な状態でもよい。続いて、生成した統合予測モデルの中間層のモデルパラメータθを不変とし、ベース予測モデルＭ０の出力を拠点Ｓの個数として、サーバ１００は、クラス分類識別器を連合学習を用いて生成する。このような転移学習を基本とした連合学習を行うことで、各拠点Ｓの学習データＤの特徴を抽出可能な中間層の出力を使用することが可能となり、各拠点Ｓにおいて予測モデルＭを生成する際に１つの拠点Ｓの学習データＤのみが含まれることにより局所解に陥ることを回避できる。

【0124】

このように、実施例２によれば、算出された一般化傾向スコアの分布を比較することで、拠点Ｓの学習データＤの類似性を評価することが可能となる。