特開 2022-191762 統合装置、学習装置、および統合方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022191762

(43)【公開日】2022-12-28

(54)【発明の名称】統合装置、学習装置、および統合方法

(51)【国際特許分類】

   G06N 20/00 20190101AFI20221221BHJP

【ＦＩ】

G06N20/00

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2021100197

(22)【出願日】2021-06-16

(71)【出願人】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110001678

【氏名又は名称】藤央弁理士法人

(72)【発明者】

【氏名】鈴木 麻由美

(72)【発明者】

【氏名】吉田 英恵

(72)【発明者】

【氏名】李 云

(57)【要約】

【課題】連合学習の効率化を図ること。
【解決手段】統合装置は、第１学習装置から、前記第１学習装置の第１予測モデルにおける第１学習データに関する知識係数を受信する受信処理と、複数の第２学習装置の各々に、前記第１予測モデルと、前記受信処理によって受信された前記第１学習データの知識係数に関するデータと、を送信する送信処理と、前記送信処理によって送信した結果、前記複数の第２学習装置の各々が第２学習データおよび前記知識係数に関するデータを前記第１予測モデルに学習させて生成した第２予測モデルにおけるモデルパラメータを統合することにより、統合予測モデルを生成する統合処理と、を実行する。
【選択図】図２

【特許請求の範囲】

【請求項1】

プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有する統合装置であって、
前記プロセッサは、
第１学習装置から、前記第１学習装置の第１予測モデルにおける第１学習データに関する知識係数を受信する受信処理と、
複数の第２学習装置の各々に、前記第１予測モデルと、前記受信処理によって受信された前記第１学習データの知識係数に関するデータと、を送信する送信処理と、
前記送信処理によって送信した結果、前記複数の第２学習装置の各々が第２学習データおよび前記知識係数に関するデータを前記第１予測モデルに学習させて生成した第２予測モデルにおけるモデルパラメータを統合することにより、統合予測モデルを生成する統合処理と、
を実行することを特徴とする統合装置。

【請求項2】

請求項１に記載の統合装置であって、
複数の前記第１学習装置と通信可能であり、
前記プロセッサは、
前記複数の第１学習装置の各々が各々の前記第１学習データを第１学習対象モデルに学習させて生成した第１予測モデルにおけるモデルパラメータを統合することにより、先行統合予測モデルを生成する先行統合処理を実行し、
前記送信処理では、前記プロセッサは、前記複数の第１学習装置の各々から、前記第１学習データに関する知識係数を受信し、
前記送信処理では、前記プロセッサは、前記複数の第２学習装置の各々に、前記先行統合処理によって生成された先行統合予測モデルと、前記受信処理によって受信された前記第１学習データごとの知識係数に関するデータと、を送信し、
前記統合処理では、前記プロセッサは、前記送信処理によって送信した結果、前記複数の第２学習装置の各々が各々の前記第２学習データおよび前記知識係数に関するデータを第２学習対象モデルに学習させて生成した第２予測モデルにおけるモデルパラメータを統合することにより、前記統合予測モデルを生成する、
ことを特徴とする統合装置。

【請求項3】

請求項２に記載の統合装置であって、
前記先行統合処理では、前記プロセッサは、前記複数の第１予測モデルの各々の予測精度が第１しきい値以上になるまで前記先行統合予測モデルを生成し、かつ、前記第１学習対象モデルとして前記複数の第１学習装置の各々に送信する処理を繰り返す、
ことを特徴とする統合装置。

【請求項4】

請求項２に記載の統合装置であって、
前記受信処理では、前記プロセッサは、前記複数の第１予測モデルの各々の予測精度が第１しきい値以上になった場合、前記複数の第１学習装置の各々から、前記第１学習データに関する知識係数を受信する、
ことを特徴とする統合装置。

【請求項5】

請求項１に記載の統合装置であって、
前記送信処理では、前記プロセッサは、前記複数の第２学習装置の各々に、前記第１予測モデルと、前記第１学習データの知識係数と、を送信する、
ことを特徴とする統合装置。

【請求項6】

請求項２に記載の統合装置であって、
前記プロセッサは、
前記第１学習データごとの知識係数を合成して合成知識係数を生成する合成処理を実行し、
前記送信処理では、前記プロセッサは、前記複数の第２学習装置の各々に、前記先行統合予測モデルと、前記合成処理によって合成された合成知識係数と、を送信する、
ことを特徴とする統合装置。

【請求項7】

請求項２に記載の統合装置であって、
前記送信処理では、前記プロセッサは、複数の前記第２予測モデルの各々の予測精度が第２しきい値以上になるまで前記統合予測モデルを生成し、かつ、前記第２学習対象モデルとして前記複数の第２学習装置の各々に送信する処理を繰り返す、
ことを特徴とする統合装置。

【請求項8】

プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有する学習装置であって、
前記プロセッサは、
第１学習データを学習対象モデルに学習させて第１予測モデルを生成する学習処理と、
前記学習処理によって生成された第１予測モデルにおけるモデルパラメータをコンピュータに送信する第１送信処理と、
前記コンピュータから、前記コンピュータが前記モデルパラメータおよび他の学習装置の他の第１予測モデルにおける他のモデルパラメータを統合することにより生成した統合予測モデルを、前記学習対象モデルとして受信する受信処理と、
前記受信処理によって前記統合予測モデルが受信された場合、前記第１学習データの知識係数を算出する知識係数算出処理と、
前記知識係数算出処理によって算出された前記知識係数を前記コンピュータに送信する第２送信処理と、
を実行することを特徴とする学習装置。

【請求項9】

請求項８に記載の学習装置であって、
前記学習処理では、前記プロセッサは、前記受信処理によって前記統合予測モデルが受信されなくなるまで、前記第１学習データを前記統合予測モデルに学習させて前記第１予測モデルを生成する処理を繰り返す、
ことを特徴とする学習装置。

【請求項10】

請求項８に記載の学習装置であって、
前記プロセッサは、
前記学習処理によって前記第１学習データを前記統合予測モデルに学習させることにより生成された第１予測モデルの予測精度を算出する予測精度算出処理を実行し、
前記知識係数算出処理では、前記プロセッサは、前記予測精度算出処理によって算出された予測精度および他の学習装置で算出された予測精度が第１しきい値以上になったときの前記第１予測モデルにおける前記知識係数を算出する、
ことを特徴とする学習装置。

【請求項11】

プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有する学習装置であって、
前記プロセッサは、
第１予測モデルと、前記第１予測モデルの学習に用いられた第１学習データの知識係数に関するデータとを、コンピュータから受信する第１受信処理と、
第２学習データおよび前記第１受信処理によって受信された知識係数に関するデータを、学習対象モデルとして前記第１受信処理によって受信された第１予測モデルに学習させて第２予測モデルを生成する学習処理と、
前記学習処理によって生成された第２予測モデルにおけるモデルパラメータを前記コンピュータに送信する送信処理と、
を実行することを特徴とする学習装置。

【請求項12】

請求項１１に記載の学習装置であって、
前記コンピュータが前記第２予測モデルにおけるモデルパラメータおよび他の学習装置によって学習された他の第２予測モデルにおける他のモデルパラメータを統合することにより生成した第２統合予測モデルを、前記学習対象モデルとして、前記コンピュータから受信する第２受信処理を実行し、
前記学習処理では、前記プロセッサは、前記コンピュータから、前記第２受信処理によって前記第２統合予測モデルが受信されなくなるまで、前記第２予測モデルを生成する処理を繰り返す、
ことを特徴とする学習装置。

【請求項13】

請求項１１に記載の学習装置であって、
前記プロセッサは、
前記コンピュータが前記第２予測モデルにおけるモデルパラメータおよび他の学習装置によって学習された他の第２予測モデルにおける他のモデルパラメータを統合することにより生成した第２統合予測モデルを、前記学習対象モデルとして、前記コンピュータから受信する第２受信処理と、
前記学習処理によって前記第２学習データおよび前記知識係数に関するデータを前記第２受信処理によって受信された第２統合予測モデルに学習させることにより生成された第２予測モデルの予測精度を算出する予測精度算出処理と、を実行し、
前記学習処理では、前記プロセッサは、前記予測精度算出処理によって算出された予測精度および前記他の学習装置で算出された予測精度が第２しきい値以上になるまで、前記第２予測モデルを生成する処理を繰り返す、
ことを特徴とする学習装置。

【請求項14】

請求項１１に記載の学習装置であって、
前記第１受信処理では、前記プロセッサは、複数の前記第１予測モデルを統合した第１統合予測モデルと、前記第１予測モデルの各々の学習に用いられた前記第１学習データごとの知識係数に関するデータとを、前記コンピュータから受信し、
前記プロセッサは、
前記第１学習データごとの知識係数を合成して合成知識係数を生成する合成処理を実行し、
前記学習処理では、前記プロセッサは、前記第２学習データおよび前記合成処理によって生成された合成知識係数を、前記学習対象モデルに学習させて第２予測モデルを生成する、
ことを特徴とする学習装置。

【請求項15】

プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有する統合装置による統合方法であって、
前記プロセッサは、
第１学習装置から、前記第１学習装置の第１予測モデルにおける第１学習データに関する知識係数を受信する受信処理と、
複数の第２学習装置の各々に、前記第１予測モデルと、前記受信処理によって受信された前記第１学習データの知識係数に関するデータと、を送信する送信処理と、
前記送信処理によって送信した結果、前記複数の第２学習装置の各々が第２学習データおよび前記知識係数に関するデータを前記第１予測モデルに学習させて生成した第２予測モデルにおけるモデルパラメータを統合することにより、統合予測モデルを生成する統合処理と、
を実行することを特徴とする統合方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、統合装置、学習装置、および統合方法に関する。

【背景技術】

【0002】

機械学習は、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）を実現する技術の１つである。機械学習技術は、学習のプロセスと予測のプロセスにより構成される。まず、学習のプロセスは、入力となる特徴量ベクトルから得られた予測値と実際の値（真値）との誤差が最小となるように、学習パラメータを計算する。続いて、予測のプロセスは、学習に用いなかったデータ（以降、テストデータと呼ぶ）から新しい予測値を計算する。

【0003】

これまで、予測値の予測精度が最大となるような学習パラメータの算出方法や演算方法が考案されてきた。たとえば、パーセプトロンと呼ばれる手法は、入力となる特徴量ベクトルと、重みベクトルの線形結合の演算結果と、により予測値を出力する。ニューラルネットワークは、別名、マルチパーセプトロンとも呼ばれ、複数のパーセプトロンを多層的に重ねることで、線形分離不可能問題を解く能力をもつ。ｄｅｅｐ ｌｅａｒｎｉｎｇは、ニューラルネットワークにドロップアウト等の新しい技術を導入した手法であり、高い予測精度を達成できる手法として、脚光を浴びた。このように、これまで、予測精度を向上させることを目的として機械学習技術の開発が行われ、その予測精度は人間以上の能力を示しつつある。

【0004】

機械学習技術を社会実装する際、予測精度以外にも課題がある。たとえば、セキュリティや納品後のモデルの更新方法、メモリ等の有限な資源の利用制限などである。

【0005】

セキュリティに関する課題として、データの秘匿性が挙げられる。医療分野や金融分野など、個人情報を含むデータを用いて予測モデルを作成する場合、データの秘匿性の高さから、データを保管している拠点外へのデータの移動が難しいことがある。一般的に、機械学習では、学習に大量のデータを用いることで、高い予測精度を達成可能である。

【0006】

１つの拠点で取得されたデータのみを用いて学習を行う場合、データのサンプル数の少なさや、地域の特徴などにより、非常に局所的な範囲でのみ活用可能なモデルとなりうる。つまり、拠点からデータを持ち出すことなく、各拠点のバリエーション豊かなデータすべてにおいて高い予測を実現する予測モデルの作成を可能とする機械学習技術が必要である。

【0007】

非特許文献１では、連合学習技術により上記データの秘匿性の課題を克服している。1つの共通のモデルを初期値として、各拠点の各データで学習を行い、予測モデルを生成する。生成した予測モデルのモデルパラメータをサーバに送信し、サーバで学習したデータの量に応じた係数を用いて、前記予測モデルのモデルパラメータからグローバル予測モデルを生成する処理を繰り返す。最終的に、すべての拠点のデータに対して高い予測精度を達成するグローバル予測モデルを生成している。また、非特許文献２は、継続学習を開示する。

【先行技術文献】

【特許文献】

【0008】

【特許文献1】特開２０２０－１４９６５６号公報

【非特許文献】

【0009】

【非特許文献1】H. Brendan McMahan, Eider Moore, Daniel Ramage, Seth Hampson and Blaise Aguera y Arcas, “Communication-efficient learning of deep networks from decentralized data”, In Artificial Intelligence and Statistics, pp. 1273-1282, 2017.

【非特許文献2】De Lange, M., Aljundi, R., Masana, M., Parisot, S., Jia, X., Leonardis, A., Slabaugh, G. and Tuytelaars, T., “Continual learning: A comparative study on how to defy forgetting in classification tasks”, arXiv preprint arXiv:1909.08383 2019.

【発明の概要】

【発明が解決しようとする課題】

【0010】

非特許文献１のような連合学習技術では、各拠点における予測モデルの生成とサーバにおけるグローバル予測モデルの生成の繰り返しが多いほど、グローバル予測モデルが決定するまでに、時間も拠点とサーバ間の通信量も増加する。

【0011】

また、新たなデータが拠点に増えた際や、異なる拠点が登場した際には、一度学んだデータを持つ拠点も含めて、統合予測モデルの生成を初めからやり直す必要がある。これは、一般的に、機械学習では、新しいデータを学習すると以前に学習したデータの知識を失う，破滅的忘却（ｃａｔａｓｔｒｏｐｈｉｃ ｆｏｒｇｅｔｔｉｎｇ）が発生するためである。これらの場合、一度学んだデータを再度学ぶ冗長性の高さおよびデータを保存し続ける必要がある。

【0012】

つまり、データは日常的に蓄積されていくことから、非特許文献２のように継続学習により随時予測モデルを更新し、過去の知見だけでなく新しい知見にも対応できる予測モデルとすることは、機械学習を用いたサービスにおいて高い需要がある。

【0013】

本発明は、連合学習の効率化を図ることを目的とする。

【課題を解決するための手段】

【0014】

本願において開示される発明の一側面となる統合装置は、プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有する統合装置であって、前記プロセッサは、第１学習装置から、前記第１学習装置の第１予測モデルにおける第１学習データに関する知識係数を受信する受信処理と、複数の第２学習装置の各々に、前記第１予測モデルと、前記受信処理によって受信された前記第１学習データの知識係数に関するデータと、を送信する送信処理と、前記送信処理によって送信した結果、前記複数の第２学習装置の各々が第２学習データおよび前記知識係数に関するデータを前記第１予測モデルに学習させて生成した第２予測モデルにおけるモデルパラメータを統合することにより、統合予測モデルを生成する統合処理と、を実行することを特徴とする。

【0015】

本願において開示される発明の一側面となる学習装置は、プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有する学習装置であって、前記プロセッサは、第１学習データを学習対象モデルに学習させて第１予測モデルを生成する学習処理と、前記学習処理によって生成された第１予測モデルにおけるモデルパラメータをコンピュータに送信する第１送信処理と、前記コンピュータから、前記コンピュータが前記モデルパラメータおよび他の学習装置の他の第１予測モデルにおける他のモデルパラメータを統合することにより生成した統合予測モデルを、前記学習対象モデルとして受信する受信処理と、前記受信処理によって前記統合予測モデルが受信された場合、前記第１予測モデルにおける前記第１学習データの知識係数を算出する知識係数算出処理と、前記知識係数算出処理によって算出された前記知識係数を前記コンピュータに送信する第２送信処理と、を実行することを特徴とする。

【0016】

本願において開示される発明の他の側面となる学習装置は、プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有する学習装置であって、前記プロセッサは、複数の第１予測モデルを統合した第１統合予測モデルと、前記第１予測モデルの各々の学習に用いられた第１学習データごとの知識係数に関するデータとを、コンピュータから受信する第１受信処理と、第２学習データおよび前記第１受信処理によって受信された知識係数に関するデータを、学習対象モデルとして前記第１受信処理によって受信された第１統合予測モデルに学習させて第２予測モデルを生成する学習処理と、前記学習処理によって生成された第２予測モデルにおけるモデルパラメータを前記コンピュータに送信する送信処理と、を実行することを特徴とする。

【発明の効果】

【0017】

本発明の代表的な実施の形態によれば、連合学習の効率化を図ることができる。前述した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。

【図面の簡単な説明】

【0018】

【図1】図１は、連合学習の一例を示す説明図である。

【図2】図２は、実施例１にかかる破滅的忘却を抑制する連合学習例を示す説明図である。

【図3】図３は、コンピュータのハードウェア構成例を示すブロック図である。

【図4】図４は、実施例１にかかるコンピュータの機能的構成例を示すブロック図である。

【図5】図５は、学習部４１２の機能的構成例を示すブロック図である。

【図6】図６は、実施例１にかかるサーバによる統合処理手順例を示すフローチャートである。

【図7】図７は、実施例１にかかる拠点による学習処理手順例を示すフローチャートである。

【図8】図８は、図６に示したサーバによる第１統合処理（ステップＳ６０１）の詳細な処理手順例を示すフローチャートである。

【図9】図９は、図６に示したサーバによる第２統合処理（ステップＳ６０２）の詳細な処理手順例を示すフローチャートである。

【図10】図１０は、図７に示した拠点による第１学習処理（ステップＳ７０１）の詳細な処理手順例を示すフローチャートである。

【図11】図１１は、図７に示した拠点による第２学習処理（ステップＳ７０２）の詳細な処理手順例を示すフローチャートである。

【図12】図１２は、表示画面の表示例１を示す説明図である。

【図13】図１３は、表示画面の表示例２を示す説明図である。

【図14】図１４は、表示画面の表示例３を示す説明図である。

【図15】図１５は、表示画面の表示例４を示す説明図である。

【図16】図１６は、実施例２にかかるサーバの機能的構成例を示すブロック図である。

【図17】図１７は、実施例２にかかる拠点の機能的構成例を示すブロック図である。

【発明を実施するための形態】

【0019】

本発明の実施形態を、図面を用いて説明する。以下、本発明の実施形態を説明するための全図において、基本的に同一機能を有するものは同一符号を付し、その繰り返しの説明は省略する。

【実施例0020】

＜破滅的忘却＞
一般的に、機械学習では、現在の学習データを学習すると以前に学習した学習データの知識を失う破滅的忘却（ｃａｔａｓｔｒｏｐｈｉｃ ｆｏｒｇｅｔｔｉｎｇ）が発生する。たとえば、フェーズ１として、りんごとオレンジの画像データを学習させ、フェーズ２として、りんごとオレンジの画像を識別できる予測モデルにぶどうとももの画像データを学習させたとする。すると、予測モデルは、ぶどうとももの画像を識別できるが、りんごとオレンジの画像を識別できなくなる。

【0021】

解決方法として、フェーズ２として、りんごとオレンジの画像を識別できる予測モデルをベースに、りんごとオレンジとぶどうとももの画像データを学習させると、４種類すべての画像を識別可能な予測モデルが生成される。しかし、この方法では、フェーズ１で学習したりんごとオレンジの画像データをフェーズ２で保存しておく必要がある。また、フェーズ２のぶどうとももの画像データのみを用いて学習する場合と比べて、フェーズ１およびフェーズ２の画像データ両方を用いて学習する場合では、学習するデータ数が多くなるため、学習により長い時間を要する。

【0022】

機械学習技術を社会実装する際に想定される破滅的忘却として、医療分野や金融分野が考えられる。がん診療分野では、新たな治療薬の開発や陽子線照射技術の向上など、治療法の進化が速い。最新の医療技術に追従した治療効果予測を実施するためには、治療法の進化に合わせた予測モデルの更新が必要となる。投資分野では、目まぐるしく変わる社会情勢を反映した損益予測を実施するためには、直近の取引の学習データだけでなく、重要な要素である雇用統計や景況指数による影響や天災などの影響を受けた長年にわたる過去の学習データも加味した予測モデルの更新が必要となる。

【0023】

特に、医療分野や金融分野では、個人情報を含む学習データを用いて予測モデルを作成する場合、学習データの秘匿性の高さから、学習データを保管している拠点の外への当該学習データの移動が難しいことがある。解決方法として、連合学習を用いる方法が考えられる。

【0024】

連合学習は、１つの共通の予測モデルを初期値として、各拠点の各学習データで学習を行い、拠点ごとに予測モデルを生成する学習方法である。連合学習では、時間経過とともに発生した新しい学習データと過去に学習した学習データの両方を予測可能とする。生成された拠点ごとの予測モデルのモデルパラメータの各々はサーバに送信される。サーバは、各拠点のモデルパラメータを統合し、統合予測モデルを生成する。このような処理を繰り返すことで、統合予測モデルは所望の予測精度を達成する。

【0025】

＜連合学習＞
図１は、連合学習の一例を示す説明図である。図１で学習装置となる複数の拠点（図１では、例として、４つの拠点１０１～１０４）の各々は、それぞれ学習データＴ１～Ｔ４（これらを区別しない場合は、単に学習データＴとする）を保持し、拠点１０１～１０４外に学習データＴ１～Ｔ４を出すことが禁止されているものとする。

【0026】

サーバ１００は、拠点１０１～１０４で生成された予測モデルＭ１～Ｍ４を統合する統合装置である。サーバ１００は、ベースとなる予測モデル（以下、ベース予測モデル）Ｍ０を有する。ベース予測モデルＭ０は、未学習のニューラルネットワークでもよく、重みやバイアスといったモデルパラメータが設定された学習済みのニューラルネットワークでもよい。

【0027】

拠点１０１～１０４は、学習データＴ１～Ｔ４を有し、学習データＴ１～Ｔ４で予測モデルＭ１～Ｍ４を生成するコンピュータである。学習データＴ１～Ｔ４はそれぞれ、入力となる学習データと正解データとの組み合わせである。

【0028】

フェーズ１では、拠点１０１の学習データＴ１と拠点１０２の学習データＴ２とが用いられ、フェーズ２では、フェーズ１で用いられた拠点１０１の学習データＴ１と拠点１０２の学習データＴ２に加え、拠点１０３の学習データＴ３と拠点１０４の学習データＴ４とが用いられるものとする。

【0029】

［フェーズ１］
フェーズ１では、サーバ１００は、ベース予測モデルＭ０を拠点１０１と拠点１０２に送信する。拠点１０１および拠点１０２はそれぞれ、ベース予測モデルＭ０とそれぞれの学習データＴ１，Ｔ２とを用いて学習し、予測モデルＭ１，Ｍ２を生成する。

【0030】

拠点１０１および拠点１０２はそれぞれ、予測モデルＭ１，Ｍ２の重みやバイアスといったモデルパラメータθ１，θ２をサーバ１００に送信する。サーバ１００は、受信したモデルパラメータθ１，θ２の統合処理を実行し、統合予測モデルＭ１０を生成する。サーバ１００は、生成した統合予測モデルＭ１０が所望の予測精度を達成するまで統合予測モデルＭ１０の更新プロセスを繰り返す。なお、拠点１０１および拠点１０２は、予測モデルＭ１，Ｍ２のモデルパラメータθ１，θ２の勾配等をサーバ１００に送信してもよい。

【0031】

統合処理とは、モデルパラメータθ１，θ２の平均値を算出する処理である。学習データＴ１，Ｔ２のサンプル数が異なる場合は、学習データＴ１，Ｔ２のサンプル数に基づいて重み付け平均を算出してもよい。また、統合処理では、モデルパラメータθ１，θ２の代わりに各拠点１０１，１０２から送信されたモデルパラメータθ１，θ２の各勾配の平均値を算出する処理であってもよい。

【0032】

統合予測モデルＭ１０の更新プロセスとは、サーバ１００が統合予測モデルＭ１０を拠点１０１および拠点１０２に送信し、拠点１０１および拠点１０２がそれぞれ統合予測モデルＭ１０に学習データＴ１，Ｔ２を入力して学習を行い、再生成した予測モデルＭ１，Ｍ２のモデルパラメータθ１，θ２をサーバ１００に送信し、サーバ１００が統合予測モデルＭ１０を再生成する、というプロセスである。生成した統合予測モデルＭ１０が所望の予測精度を達成した場合、フェーズ１は終了となる。

【0033】

［フェーズ２］
フェーズ２では、サーバ１００は、フェーズ１で生成した統合予測モデルＭ１０を拠点１０１～拠点１０４に送信する。拠点１０１～拠点１０４はそれぞれ、統合予測モデルＭ１０に学習データＴ１～Ｔ４を入力して学習を行い、予測モデルＭ１～Ｍ４を生成する。そして、拠点１０１～拠点１０４はそれぞれ、生成した予測モデルＭ１～Ｍ４のモデルパラメータθ１～θ４をサーバ１００に送信する。なお、拠点１０１～拠点１０４は、予測モデルＭ１～Ｍ４のモデルパラメータθ１～θ４の勾配等をサーバ１００に送信してもよい。

【0034】

サーバ１００は、受信したモデルパラメータθ１～θ４の統合処理を実行し、統合予測モデルＭ２０を生成する。サーバ１００は、生成した統合予測モデルＭ２０が所望の予測精度を達成するまで統合予測モデルＭ２０の更新プロセスを繰り返す。

【0035】

フェーズ２での統合処理は、モデルパラメータθ１～θ４の平均値を算出する。学習データＴ１～Ｔ４のデータ数が異なる場合は、学習データＴ１～Ｔ４のデータ数に基づいて重み付け平均を算出してもよい。また、統合処理では、モデルパラメータθ１～θ４の代わりに各拠点１０１～１０４から送信されたモデルパラメータθ１～θ４の各勾配の平均値を算出する処理であってもよい。

【0036】

フェーズ２での統合予測モデルＭ２０の更新プロセスは、サーバ１００が統合予測モデルＭ２０を拠点１０１～拠点１０４に送信し、拠点１０１～拠点１０４がそれぞれ統合予測モデルＭ２０に学習データＴ１～Ｔ４を入力して学習を行い、再生成した予測モデルＭ１～Ｍ４のモデルパラメータθ１～θ４をサーバ１００に送信し、サーバ１００が統合予測モデルＭ２０を再生成する。生成した統合予測モデルＭ２０が所望の予測精度を達成した場合、フェーズ２は終了となる。

【0037】

サーバ１００と拠点１０１～拠点１０４と間の送受信は、更新プロセスの繰り返しを無視すると、フェーズ１では４回、フェーズ２では８回（矢印の本数）の計１２回であり、更新プロセスの繰り返しを加味すると、フェーズ１での繰り返し数を４倍、フェーズ２での繰り返し数を８倍した回数がさらに必要となる。

【0038】

なお、フェーズ１およびフェーズ２での予測精度については、各拠点は、学習データＴ１～Ｔ４以外のテストデータを統合予測モデルＭ１０，Ｍ２０に適用することにより算出する。具体的には、たとえば、統合予測モデルＭ１０，Ｍ２０が回帰モデルであれば、予測精度は、平均二乗誤差、二乗平均平方根誤差、または決定係数として算出され、分類モデルあれば、正解率、適合率、再現率、またはＦ値として算出される。または、サーバ１００に保存してある統合予測モデルの精度算出用データなどを使用してもよい。

【0039】

＜破滅的忘却を抑制する連合学習＞
図２は、実施例１にかかる破滅的忘却を抑制する連合学習例を示す説明図である。図２では、図１との相違点を中心に説明する。フェーズ１は、図１に示した連合学習とほぼ同様である。図１に示した連合学習と異なる点は、生成した統合予測モデルＭ１０が所望の予測精度を達成した場合、拠点１０１および拠点１０２が、予測モデルＭ１についての学習データＴ１の知識係数Ｉ１および予測モデルＭ２についての学習データＴ２の知識係数Ｉ２を算出し、サーバ１００に送信する点である。知識係数Ｉ１，Ｉ２は、学習データＴ１，Ｔ２の知識を蓄えた、損失関数を構成する正則化項の係数である。

【0040】

また、各知識係数の算出には統合予測モデルＭ１０を用いてもよいし、知識係数Ｉ１の算出に予測モデルＭ１と統合予測モデルＭ１０、知識係数Ｉ２の算出に予測モデルＭ２と統合予測モデルＭ１０を用いてもよい。

【0041】

フェーズ２では、サーバ１００は、フェーズ１で生成した統合予測モデルＭ１０および知識係数Ｉ１，Ｉ２を拠点１０３および拠点１０４の各々に送信する。拠点１０３および拠点１０４はそれぞれ、統合予測モデルＭ１０に学習データＴ３，Ｔ４を入力して学習を行い、知識係数Ｉ１，Ｉ２を加味した予測モデルＭ３Ｉ，Ｍ４Ｉを生成する。そして、拠点１０３および拠点１０４はそれぞれ、生成した予測モデルＭ３Ｉ，Ｍ４Ｉのモデルパラメータθ３Ｉ，θ４Ｉをサーバ１００に送信する。なお、拠点１０３および拠点１０４は、予測モデルＭ３Ｉ，Ｍ４Ｉのモデルパラメータθ３Ｉ，θ４Ｉの勾配等をサーバ１００に送信してもよい。

【0042】

サーバ１００は、受信したモデルパラメータθ３Ｉ，θ４Ｉの統合処理を実行し、統合予測モデルＭ２０Ｉを生成する。サーバ１００は、生成した統合予測モデルＭ２０Ｉが所望の予測精度を達成するまで統合予測モデルＭ２０Ｉの更新プロセスを繰り返す。

【0043】

フェーズ２での統合処理は、モデルパラメータθ３Ｉ，θ４Ｉの平均値を算出する。学習データＴ３，Ｔ４のデータ数が異なる場合は、学習データＴ３，Ｔ４のデータ数に基づいて重み付け平均を算出してもよい。また、統合処理は、モデルパラメータθ３Ｉ，θ４Ｉの代わりに各拠点から送信されたモデルパラメータθ３Ｉ，θ４Ｉの各勾配の平均値を算出する処理であってもよい。

【0044】

フェーズ２での統合予測モデルＭ２０Ｉの更新プロセスは、サーバ１００が統合予測モデルＭ２０Ｉを拠点１０３および拠点１０４に送信し、拠点１０３および拠点１０４がそれぞれ統合予測モデルＭ２０Ｉに学習データＴ３，Ｔ４を入力して学習を行い、知識係数Ｉ１，Ｉ２を加味して再生成した予測モデルＭ３Ｉ，Ｍ４Ｉのモデルパラメータθ３Ｉ，θ４Ｉをサーバ１００に送信し、サーバ１００が統合予測モデルＭ２０Ｉを再生成する。生成した統合予測モデルＭ２０Ｉが所望の予測精度を達成した場合、フェーズ２は終了となる。

【0045】

拠点１０３および拠点１０４の各々は、拠点１０１の学習データＴ１の知識係数Ｉ１と拠点１０２の学習データＴ２の知識係数Ｉ２とを学習時に用いる。これにより、拠点１０３および拠点１０４の各々が、拠点１０１の学習データＴ１と拠点１０２の学習データＴ２とを再度使用することなく、サーバ１００は、拠点１０１の学習データＴ１と拠点１０２の学習データＴ２と拠点１０３の学習データＴ３と拠点１０４の学習データＴ４とを予測可能な統合予測モデルＭ２０Ｉを生成できる。

【0046】

サーバ１００と拠点１０１～１０４と間の送受信は、更新プロセスの繰り返しを無視すると、フェーズ１では４回、フェーズ２では４回（矢印の本数）の計８回であり、図１と比較すると２／３に抑制できている。

【0047】

また、更新プロセスの繰り返しを加味するとフェーズ１での繰り返し数を４倍、フェーズ２での繰り返し数を４倍した回数がさらに必要となる。こちらも、フェーズ２での繰り返し数が半減する分、総合的な送受信回数が抑制可能である。また、フェーズ２の学習において、拠点１０１の学習データＴ１と拠点１０２の学習データＴ２は学習に用いないため、保存しておく必要がなく、その分、サーバ１００の記憶デバイスの容量を他の処理やデータの保管に用いるなど運用効率化を実現可能である。

【0048】

なお、フェーズ１では、拠点１０１，１０２が存在するが、拠点１０１のみでもよい。この場合、サーバ１００は、統合予測モデルＭ１０を生成する必要はなく、知識係数Ｉ１の算出元となる予測モデルＭ１および知識係数Ｉ１を拠点１０３，１０４に送信すればよい。以下、図２に示した破滅的忘却を抑制する連合学習について具体的に説明する。

【0049】

＜コンピュータ（サーバ１００、拠点１０１～拠点１０４）のハードウェア構成例＞
図３は、コンピュータのハードウェア構成例を示すブロック図である。コンピュータ３００は、プロセッサ３０１と、記憶デバイス３０２と、入力デバイス３０３と、出力デバイス３０４と、通信インタフェース（通信ＩＦ）３０５と、を有する。プロセッサ３０１、記憶デバイス３０２、入力デバイス３０３、出力デバイス３０４、および通信ＩＦ３０５は、バス３０６により接続される。プロセッサ３０１は、コンピュータ３００を制御する。記憶デバイス３０２は、プロセッサ３０１の作業エリアとなる。また、記憶デバイス３０２は、各種プログラムやデータを記憶する非一時的なまたは一時的な記録媒体である。記憶デバイス３０２としては、たとえば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、フラッシュメモリがある。入力デバイス３０３は、データを入力する。入力デバイス３０３としては、たとえば、キーボード、マウス、タッチパネル、テンキー、スキャナがある。出力デバイス３０４は、データを出力する。出力デバイス３０４としては、たとえば、ディスプレイ、プリンタがある。通信ＩＦ３０５は、ネットワークと接続し、データを送受信する。

【0050】

＜コンピュータ３００の機能的構成例＞
図４は、実施例１にかかるコンピュータ３００の機能的構成例を示すブロック図である。コンピュータ３００は、予測モデル統合部４１１と学習部４１２とを含む演算部４１０と、送信部４２１と受信部４２２とを含む通信ＩＦ３０５と、記憶デバイス３０２と、出力部４３１と、を有する。

【0051】

図５は、学習部４１２の機能的構成例を示すブロック図である。学習部４１２は、知識係数生成部５０１と、学習部５０２と、知識係数合成部５０３と、を有する。演算部４１０および出力部４３１は、具体的には、たとえば、図３に示した記憶デバイス３０２に記憶されたプログラムをプロセッサ３０１に実行させることにより実現される。

【0052】

予測モデル統合部４１１は、複数の拠点１０１～１０４から送信された各々の予測モデル（Ｍ１，Ｍ２），（Ｍ３，Ｍ４）のモデルパラメータ（θ１，θ２），（θ３，θ４）に基づいて、１つの統合予測モデルＭ１０，Ｍ２０Ｉを生成する統合処理を実行する。たとえば、学習データＴ内の特徴量ベクトルｘを学習した予測モデルは、下記式（１）に示すようにモデルの出力ｙ、モデルパラメータθ、関数ｈを用いて表現される。

【0053】

【数1】

【0054】

サーバ１００は、フェーズ２において、各拠点（図２では、拠点１０１，１０２）における学習により生成されたモデルパラメータθ^ｔで構成される統合予測モデルＭ１０に対して、Ｋ個（図２では、フェーズ２の各々でＫ＝２）の拠点（図２では、拠点１０３，１０４）におけるＫ個の異なる学習データ（図２では、Ｔ３，Ｔ４）での学習によりそれぞれ生成されたＫ個の予測モデル（図２では、予測モデルＭ３Ｉ、Ｍ４Ｉ）のモデルパラメータθ_kに関する勾配ｇｋの平均の和を用いて、下記式（２）に示すように、統合予測モデルＭ２０Ｉのモデルパラメータθ^ｔ＋１を生成する。下記式（２）において、ηは学習率、ＮはＫ個の拠点で学習に用いた全学習データ（図２では、Ｔ３，Ｔ４）の全サンプル数、Ｎｋは拠点ｋにおいて学習に用いたデータのサンプル数である。

【0055】

【数2】

【0056】

ここで、上記式（２）では、ｋ個の拠点においてｋ個の異なる学習データＴｋの学習によりそれぞれ生成された予測モデル（図２では、予測モデルＭ３Ｉ、Ｍ４Ｉ）のモデルパラメータθ_ｋ（図２では、モデルパラメータθ３Ｉ、θ４Ｉ）に関する勾配ｇｋを使用したが、これは学習データ（図２では、Ｔ３，Ｔ４）を解析できないようにセキュリティに配慮した方法であり、モデルパラメータθ_ｋや符号化、暗号化などを使用してもよい。また、全結合層や畳み込み層など予測モデル（図２では、予測モデルＭ３Ｉ，Ｍ４Ｉ）の構造や損失関数の設計などに応じて、上記式（２）とは異なる方法で予測モデルＭ３Ｉ，Ｍ４Ｉを統合してもよい。

【0057】

学習部４１２は、ランダムな初期値により決定したモデルパラメータから構成される予測モデルまたはベース予測モデルＭ０から開始して、学習データＴを用いて学習することにより、予測モデルを生成し、知識係数合成部５０３で知識係数を合成する。また、学習部４１２は、知識係数合成部５０３で合成した合成知識係数と、学習データＴとを用いて学習することにより、予測モデルを生成する。

【0058】

具体的には、たとえば、コンピュータ３００が拠点１０１，１０２の場合、学習部４１２は、サーバ１００からベース予測モデルＭ０を取得して、学習データＴ１を用いて学習し、予測モデルＭ１を生成し、知識係数生成部５０１で知識係数Ｉ１を生成する。拠点１０２についても同様に、学習データＴ２を用いて予測モデルＭ２を生成し、知識係数生成部５０１で知識係数Ｉ２を生成する。

【0059】

また、コンピュータ３００が拠点１０３の場合、学習部４１２は、サーバ１００から拠点１０１，１０２の知識係数Ｉ１，Ｉ２を取得した場合、知識係数合成部５０３で合成する。拠点１０４についても同様に、学習部４１２は、サーバ１００から拠点１０１，１０２の知識係数Ｉ１，Ｉ２を取得した場合、知識係数合成部５０３で合成する。また、拠点１０３，１０４において、知識係数生成部５０１は、今後の拠点の増加に備えて、知識係数Ｉ３，Ｉ４を生成してもよい。

【0060】

また、拠点１０３，１０４において、学習部４１２は、サーバ１００の知識係数合成部５０３で生成された合成知識係数と、拠点１０３の学習データＴ３と、を用いて、予測モデルＭ３Ｉを生成してもよい。拠点１０４についても同様に、学習部４１２は、サーバ１００の知識係数合成部５０３で合成された合成知識係数と、拠点１０４の学習データＴ４と、を用いて、予測モデルＭ４Ｉを生成する。

【0061】

学習部５０２は、上記式（１）を用いて、入力となる学習データＴ_ｍの特徴量ベクトルｘ_ｍから得られた予測値ｙ_ｍと実際の値や識別クラス番号である正解ラベルｔ_ｍとの誤差が最小となるようにモデルパラメータθ_ｍを計算する損失関数Ｌ（θ_ｍ）を設定する。ｍは学習データＴを識別する番号である。

【0062】

具体的には、たとえば、学習部５０２は、知識係数生成部５０１で生成した過去に学習した学習データＴごとの知識係数のうち考慮したい過去の学習データＴ_ｍに関して、知識係数合成部５０３において合成された合成知識係数を用いた過去知識項Ｒ（θ_ｍ）を設定する。

【0063】

損失関数Ｌ（θ_ｍ）は、下記式（３）に示すように、誤差関数Ｅ（θ_ｍ）と過去知識項Ｒ（θ_ｍ）との和で表現される。

【0064】

【数3】

【0065】

過去知識項Ｒ（θ_ｍ）は、たとえば、下記式（４）に示すように、正則化項の係数λと、知識係数合成部５０３にて生成される合成知識係数Ω^ｉｊと、学習により得られたモデルパラメータθ_ｍと、ベース予測モデルＭ０のモデルパラメータθ_Ｂと、で表現される。なお、ｉおよびｊは、予測モデルＭにおける第ｉ層のｊ番目のユニットを示す。

【0066】

【数4】

【0067】

知識係数生成部５０１は、学習データＴと、その学習データＴを用いて学習し生成した予測モデルＭと、を用いて、知識係数Ｉを算出することにより、その学習データＴの知識を抽出する。具体的には、たとえば、正則化項に知識係数Ｉを使用することで知識を抽出する方法がある。

【0068】

下記式（５）に示すように、知識係数Ｉ^ｉｊ（ｘ_ｍ；θ_ｍ）は、学習データＴ_ｍを用いて学習し生成したモデルパラメータθ_ｍにて構成される予測モデルＭの出力のモデルパラメータθ_ｉｊによる微分で生成される。学習データＴ_ｍに関する知識係数Ｉ^ｉｊ（ｘ_ｍ；θ_ｍ）は、学習データＴ_ｍと学習データＴ_ｍを用いて生成された予測モデルＭのみを使用して生成するため、過去の学習データＴや予測モデルＭ（たとえば、図２の学習データＴ１，Ｔ２、予測モデルＭ１、Ｍ２）を保存しておく必要がない。また、過去の学習データＴや予測モデルＭを、将来、学習データＴ_ｍに関する知識係数Ｉ^ｉｊ（ｘ_ｍ；θ_ｍ）や、学習データＴ_ｍを学習した時点より未来の学習データＴ_ｍ+1を用いて学習し生成したモデルパラメータθ_ｍ+1を用いて生成される知識係数Ｉ^ｉｊ（ｘ_ｍ；θ_ｍ+1）などを生成するために保存しておく必要もない。

【0069】

【数5】

【0070】

知識係数合成部５０３は、知識係数生成部５０１によって生成された知識係数群のうち、導入したい学習データＴを用いて生成された複数の知識係数を合成し、合成知識係数を生成する。具体的には、たとえば、サーバ１００または拠点１０３，１０４の知識係数合成部５０３は、学習データＴ１，Ｔ２を用いて生成された複数の知識係数Ｉ１，Ｉ２を合成し、合成知識係数Ω（Ｉ１，Ｉ２）を生成する。

【0071】

また、知識係数合成部５０３は、下記式（６）に示すように、導入したい知識係数Ｉの識別番号が格納されたＵに基づき、学習データＴ_ｍの特徴量ベクトルｘ_ｍにおけるサンプルｐ方向に、各導入したい知識係数Ｉの和を算出し、全サンプル数で正規化を実行する。本例では、Ｌ２ノルム型の正則化項を用いて特定のデータの知識を導入および保存する手法としたが、Ｌ１ノルム型やＥｌａｓｔｉｃ ｎｅｔなどとしてもよいし、Ｒｅｐｌａｙ－ｂａｓｅｄ ｍｅｔｈｏｄやＰａｒａｍｅｔｅｒ ｉｓｏｌａｔｉｏｎ－ｂａｓｅｄ ｍｅｔｈｏｄなどのようにデータを変換することで保存しておいた知識を使用してもよいし、ベース予測モデルＭ０にこれから学習する学習データＴ_ｍを適用した結果やネットワークパスを使用してもよい。

【0072】

【数6】

【0073】

送信部４２１は、各種データを送信する。具体的には、たとえば、コンピュータ３００がサーバ１００であれば、送信部４２１は、各拠点での学習時（フェーズ１）において、ベース予測モデルＭ０、第１統合予測モデルＭ１０を拠点１０１，１０２に送信する。また、送信部４２１は、各拠点での学習時（フェーズ２）において、予測モデル統合部で生成した統合予測モデルＭ１０、Ｍ２０Ｉと、知識係数Ｉ１、Ｉ２（または合成知識係数Ω（Ｉ１，Ｉ２））とを、拠点１０３，１０４に送信する。また、送信部４２１は、各拠点で実行された精度検証結果から、連合学習の繰り返しを継続するか、終了とするかを各拠点に送信する。

【0074】

また、コンピュータ３００が拠点１０１，１０２であれば、送信部４２１は、各拠点１０１，１０２での学習時（フェーズ１）において、学習したモデルパラメータθ１、θ２と、これまでのすべての知識係数Ｉ１，Ｉ２または各拠点１０１，１０２で学習に用いるようオペレータから入力があった知識係数Ｉ１，Ｉ２と、予測モデルＭ１，Ｍ２の精度検証結果と、をサーバ１００に送信する。

【0075】

また、コンピュータ３００が拠点１０３，１０４であれば、送信部４２１は、各拠点１０３，１０４での学習時（フェーズ２）において、学習したモデルパラメータθ３Ｉ，θ４Ｉと、予測モデルＭ３Ｉ，Ｍ４Ｉの精度検証結果と、をサーバ１００に送信する。

【0076】

受信部４２２は、各種データを受信する。具体的には、たとえば、コンピュータ３００がサーバ１００であれば、予測モデル統合時（フェーズ１）において、拠点１０１，１０２からモデルパラメータθ１，θ２や知識係数Ｉ１，Ｉ２、予測モデルＭ１，Ｍ２の予測精度検証結果を受信する。また、受信部４２２は、予測モデル統合時（フェーズ２）において、拠点１０３，１０４からモデルパラメータθ３Ｉ，θ４Ｉや予測モデルＭ３Ｉ，Ｍ４Ｉの精度検証結果を受信する。

【0077】

また、コンピュータ３００が拠点１０１，１０２であれば、受信部４２２は、各拠点１０１，１０２での学習時（フェーズ１）において、ベース予測モデルＭ０、第１統合予測モデルＭ１０を受信する。また、コンピュータ３００が拠点１０３，１０４であれば、受信部４２２は、各拠点１０３，１０４での学習時（フェーズ２）において、統合予測モデルＭ１０，Ｍ２０Ｉや知識係数Ｉ１，Ｉ２（または合成知識係数Ω）を受信する。

【0078】

なお、送受信されるデータは、セキュリティの観点から暗号化等により変換される。これにより、予測モデルＭから学習に使用されたデータの解析を困難にする。

【0079】

＜統合処理手順例＞
図６は、実施例１にかかるサーバ１００による統合処理手順例を示すフローチャートである。サーバ１００は、知識係数Ｉを拠点に送付するか否かを判断する（ステップＳ６００）。知識係数Ｉを拠点に送付しない場合（ステップＳ６００：Ｎｏ）、フェーズ１の開始を意味することになる。したがって、サーバ１００は、複数の予測モデルＭ１，Ｍ２を統合する第１統合処理を実行する（ステップＳ６０１）。

【0080】

一方、知識係数Ｉを拠点に送付する場合（ステップＳ６００：Ｙｅｓ）、フェーズ１が完了していることになる。したがって、サーバ１００は、複数の予測モデルＭ３，Ｍ４を統合する第２統合処理を実行する（ステップＳ６０２）。なお、第１統合処理（ステップＳ６０１）の詳細については図８で、第２統合処理（ステップＳ６０２）の詳細については図９で、後述する。また、知識係数Ｉを送信していない場合でも、ベース予測モデルＭ０またはベース予測モデルＭ０として使用される統合予測モデルと共にフェーズ１であるかフェーズ２であるかの識別符号を送信し、それにより、ステップＳ６０１とステップＳ６０２のどちらかを実行するのか判断していてもよい。

【0081】

＜学習処理手順例＞
図７は、実施例１にかかる拠点による学習処理手順例を示すフローチャートである。拠点は、サーバ１００から知識係数Ｉを受信したか否かを判断する（ステップＳ７００）。知識係数Ｉを受信しなかった場合（ステップＳ７００：Ｎｏ）、当該拠点は、知識係数Ｉを用いずに学習を行う拠点（たとえば、拠点１０１，１０２）である。したがって、当該拠点１０１，１０２は、第１学習処理を実行する（ステップＳ７０１）。

【0082】

一方、知識係数Ｉを受信した場合（ステップＳ７００：Ｙｅｓ）、当該拠点は、知識係数Ｉを用いて連合学習する拠点（たとえば、拠点１０３，１０４）である。当該拠点１０３，１０４は、第２学習処理を実行する（ステップＳ７０２）。なお、第１学習処理（ステップＳ７０１）の詳細については図１０で、第２学習処理（ステップＳ７０２）の詳細については図１１で、後述する。また、知識係数を受信していない場合でも、ベース予測モデルＭ０またはベース予測モデルＭ０として使用される統合予測モデルＭと共にフェーズ１であるかフェーズ２であるかの識別符号を受信しそれにより、ステップＳ７０１とステップＳ７０２のどちらかを実行するのか判断していてもよい。

【0083】

＜第１統合処理（ステップＳ６０１）＞
図８は、図６に示したサーバ１００による第１統合処理（ステップＳ６０１）の詳細な処理手順例を示すフローチャートである。サーバ１００は、ステップＳ６００：Ｎｏにより、送信先に決められている拠点１０１，１０２への送信対象モデルを設定する（ステップＳ８０１）。具体的には、たとえば、サーバ１００は、まだベース予測モデルＭ０を送信していない場合には、ベース予測モデルＭ０を送信対象に設定し、過去に送信済みでありその際に生成した統合予測モデルＭ１０をベース予測モデルとするようステップＳ８０１において送信対象モデル設定時に指示があった場合、統合予測モデルＭ１０を送信対象に設定する。後者の場合、過去に学習したデータの過去知識に関する知識係数Ｉをともに送信していないので、過去に学習したデータの知識は新しく生成する予測モデルＭでは忘却される。そして、サーバ１００は、送信対象モデルを各拠点１０１，１０２に送信する（ステップＳ８０２）。

【0084】

つぎに、サーバ１００は、各拠点１０１，１０２から予測モデルＭ１，Ｍ２のモデルパラメータθ１，θ２を受信する（ステップＳ８０３）。そして、サーバ１００は、受信したモデルパラメータθ１，θ２を用いて統合予測モデルＭ１０を生成する（ステップＳ８０４）。そして、サーバ１００は、生成した統合予測モデルＭ１０を各拠点１０１，１０２に送信する（ステップＳ８０５）。

【0085】

つぎに、サーバ１００は、各拠点１０１，１０２から統合予測モデルＭ１０による予測精度を受信する（ステップＳ８０６）。そして、サーバ１００は、各予測精度を検証する（ステップＳ８０８）。具体的には、たとえば、サーバ１００は、各予測精度がしきい値以上であるか否かを判断する。なお、各拠点１０１、１０２のデータに対する統合予測モデルＭ１０による予測精度を各拠点で算出したが、サーバ１００に評価用データがある場合はその評価用データに対する統合予測モデルＭ１０による予測精度を用いてもよい。このあと、サーバ１００は、検証結果を、各拠点１０１，１０２に送信する（ステップＳ８０８）。

【0086】

サーバ１００は、検証結果において、全予測精度がしきい値以上であるか否かを判断する（ステップＳ８０９）。全予測精度がしきい値以上でなければ（ステップＳ８０９：Ｎｏ）、すなわち、１つでもしきい値未満の予測精度があれば、ステップＳ８０３に戻り、サーバ１００は、各拠点１０１，１０２から再度更新した予測モデルＭ１，Ｍ２のモデルパラメータθ１，θ２を待ち受ける。

【0087】

一方、全予測精度がしきい値以上であれば（ステップＳ８０９：Ｙｅｓ）、各拠点１０１，１０２は、統合予測モデルＭ１０に対する知識係数Ｉ１，Ｉ２を算出し送信してくるため、サーバ１００は、各拠点１０１，１０２から統合予測モデルＭ１０に対する知識係数Ｉ１，Ｉ２を受信する（ステップＳ８１０）。そして、サーバ１００は、統合予測モデルＭ１０と知識係数Ｉ１，Ｉ２を記憶デバイス３０２に保存する（ステップＳ８１１）。これにより、第１統合処理（ステップＳ６０１）が終了する。

【0088】

＜第２統合処理（ステップＳ６０２）＞
図９は、図６に示したサーバ１００による第２統合処理（ステップＳ６０２）の詳細な処理手順例を示すフローチャートである。サーバ１００は、ステップＳ６００：Ｙｅｓにより、送信先に決められている拠点１０３，１０４への送信対象モデルおよび知識係数を設定する（ステップＳ９０１）。送信先に決められている拠点１０３，１０４へ統合予測モデルＭ１０および知識係数Ｉ１，Ｉ２を送信する（ステップＳ９０２）。なお、知識係数はサーバ１００にて予め生成した合成知識係数Ωを送信してもよい。

【0089】

つぎに、サーバ１００は、各拠点１０３，１０４から統合予測モデルＭ１０（統合予測モデルＭ２０Ｉが受信済みであれば統合予測モデルＭ２０Ｉ）のモデルパラメータθ３Ｉ，θ４Ｉを受信する（ステップＳ９０３）。そして、サーバ１００は、受信したモデルパラメータθ３Ｉ，θ４Ｉを用いて統合予測モデルＭ２０Ｉを生成する（ステップＳ９０４）。そして、サーバ１００は、生成した統合予測モデルＭ２０Ｉを各拠点１０３，１０４に送信する（ステップＳ９０５）。

【0090】

つぎに、サーバ１００は、各拠点１０３，１０４から統合予測モデルＭ２０Ｉによる予測精度を受信する（ステップＳ９０６）。そして、サーバ１００は、各予測精度を検証する（ステップＳ９０７）。具体的には、たとえば、サーバ１００は、各予測精度がしきい値以上であるか否かを判断する。なお、各拠点１０３、１０４のデータに対する統合予測モデルＭ２０１による予測精度を各拠点で算出したが、サーバに評価用データがある場合はその評価用データに対する統合予測モデルＭ２０１による予測精度を用いてもよい。このあと、サーバ１００は、検証結果を、各拠点１０３，１０４に送信する（ステップＳ９０８）。

【0091】

サーバ１００は、検証結果において、全予測精度がしきい値以上であるか否かを判断する（ステップＳ９０９）。全予測精度がしきい値以上でなければ（ステップＳ９０９：Ｎｏ）、すなわち、１つでもしきい値未満の予測精度があれば、ステップＳ９０３に戻り、サーバ１００は、各拠点１０３，１０４から再度更新した予測モデルＭ２０Ｉのモデルパラメータθ３Ｉ，θ４Ｉを待ち受ける。

【0092】

一方、全予測精度がしきい値以上であれば（ステップＳ９０９：Ｙｅｓ）、各拠点１０３，１０４は、統合予測モデルＭ２０１に対する知識係数Ｉ３，Ｉ４を算出し送信してくるため、サーバ１００は、各拠点１０３，１０４から統合予測モデルＭ２０１に対する知識係数Ｉ３，Ｉ４を受信する（ステップＳ９１０）。そして、サーバ１００は、統合予測モデルＭ２０Ｉと知識係数Ｉ３，Ｉ４を記憶デバイス３０２に保存する（ステップＳ９１１）。これにより、第２統合処理（ステップＳ６０２）が終了する。

【0093】

＜第１学習処理（ステップＳ７０１）＞
図１０は、図７に示した拠点１０１，１０２による第１学習処理（ステップＳ７０１）の詳細な処理手順例を示すフローチャートである。各拠点１０１，１０２は、ステップＳ７００：Ｎｏにより、サーバ１００からのベース予測モデルＭ０を記憶デバイス３０２に保存する（ステップＳ１００１）。なお、ベース予測モデルＭ０が統合予測モデルＭ１０であった場合、過去に学習したデータの過去知識に関する知識係数Ｉをともに送信していないので、過去に学習したデータの知識は新しく生成する予測モデルＭでは忘却される。

【0094】

つぎに、各拠点１０１，１０２は、学習データＴ１，Ｔ２を用いてベース予測モデルＭ０を学習し、予測モデルＭ１，Ｍ２を生成する（ステップＳ１００２）。そして、各拠点１０１，１０２は、予測モデルＭ１，Ｍ２のモデルパラメータθ１、θ２をサーバ１００に送信する（ステップＳ１００３）。これにより、サーバ１００では、統合予測モデルＭ１０が生成される（ステップＳ８０４）。

【0095】

このあと、各拠点１０１，１０２は、サーバ１００から統合予測モデルＭ１０を受信する（ステップＳ１００４）。そして、各拠点１０１，１０２は、統合予測モデルＭ１０の予測精度を算出し（ステップＳ１００５）、サーバ１００に送信する（ステップＳ１００６）。これにより、サーバ１００では、各予測精度の検証が実行される（ステップＳ８０７）。

【0096】

このあと、各拠点１０１，１０２は、サーバ１００から検証結果を受信する（ステップＳ１００７）。そして、各拠点１０１，１０２は、検証結果において、全予測精度がしきい値以上であるか否かを判断する（ステップＳ１００８）。全予測精度がしきい値以上でなければ（ステップＳ１００８：Ｎｏ）、すなわち、１つでもしきい値未満の予測精度があれば、各拠点１０１，１０２は、学習データＴ１，Ｔ２を用いて統合予測モデルＭ１０をベース予測モデルとして再度学習し（ステップＳ１００９）、サーバ１００に再度学習し生成した予測モデルＭ１、Ｍ２のモデルパラメータθ１、θ２を送信する（ステップＳ１０１０）。そして、ステップＳ１００４に戻り、各拠点１０１，１０２は、サーバ１００から統合予測モデルＭ１０を待ち受ける。

【0097】

一方、全予測精度がしきい値以上であれば（ステップＳ１００８：Ｙｅｓ）、各拠点１０１，１０２は、予測モデルＭ１，Ｍ２に対する知識係数Ｉ１，Ｉ２を算出し（ステップＳ１０１１）、サーバ１００に送信する（ステップＳ１０１２）。これにより、第１学習処理（ステップＳ７０１）が終了する。

【0098】

＜第２学習処理（ステップＳ７０２）＞
図１１は、図７に示した拠点１０１，１０２による第２学習処理（ステップＳ７０２）の詳細な処理手順例を示すフローチャートである。ステップＳ７００：Ｙｅｓに遷移した各拠点１０３，１０４は、サーバ１００からの統合予測モデルＭ１０および知識係数Ｉ１，Ｉ２を記憶デバイス３０２に保存する（ステップＳ１１０１）。

【0099】

つぎに、各拠点１０３，１０４は、学習データＴ３，Ｔ４および知識係数Ｉ１，Ｉ２を合成して合成知識係数Ωを生成し（ステップＳ１１０２）、合成知識係数Ωを用いて統合予測モデルＭ１０を学習し、予測モデルＭ３Ｉ、Ｍ４Ｉを生成する（ステップＳ１１０３）。なお、知識係数はサーバ１００にて予め生成した合成知識係数Ωを受信する場合、拠点で知識係数Ｉから合成知識係数を生成するステップS１１０２を実施しなくてもよい。

【0100】

そして、各拠点１０３，１０４は、予測モデルＭ３Ｉ、Ｍ４Ｉのモデルパラメータθ３Ｉ，θ４Ｉをサーバ１００に送信する（ステップＳ１１０４）。これにより、サーバ１００では、統合予測モデルＭ２０Ｉが生成される（ステップＳ９０４）。

【0101】

つぎに、各拠点１０３，１０４は、サーバ１００から統合予測モデルＭ２０Ｉを受信する（ステップＳ１１０５）。そして、各拠点１０３，１０４は、統合予測モデルＭ２０Ｉの予測精度を算出し（ステップＳ１１０６）、サーバ１００に送信する（ステップＳ１１０７）。これにより、サーバ１００では、各予測精度の検証が実行される（ステップＳ９０７）。

【0102】

このあと、各拠点１０３，１０４は、サーバ１００から検証結果を受信する（ステップＳ１１０８）。そして、各拠点１０３，１０４は、検証結果において、全予測精度がしきい値以上であるか否かを判断する（ステップＳ１１０９）。全予測精度がしきい値以上でなければ（ステップＳ１１０９：Ｎｏ）、すなわち、１つでもしきい値未満の予測精度があれば、各拠点１０３，１０４は、知識係数Ｉ１，Ｉ２を合成して合成知識係数Ωを生成する（ステップＳ１１１０）。ステップＳ１１０２で生成した合成知識係数Ωをメモリに一時保存しておき用いてもよい。

【0103】

そして、各拠点１０３，１０４は、学習データＴ３，Ｔ４および合成知識係数Ωを用いて予測モデルＭ２０Ｉをベース予測モデルとして再度学習し（ステップＳ１１１０）、サーバ１００に再度学習し生成した予測モデルＭ３Ｉ、Ｍ４Ｉのモデルパラメータθ３Ｉ，θ４Ｉを送信する（ステップＳ１１１１）。そして、ステップＳ１１０５に戻り、各拠点１０３，１０４は、サーバ１００から再度更新した統合予測モデルＭ２０Ｉを待ち受ける。

【0104】

一方、全予測精度がしきい値以上であれば（ステップＳ１１０９：Ｙｅｓ）、各拠点１０３，１０４は、予測モデルＭ３，Ｍ４に対する知識係数Ｉ３，Ｉ４を算出し（ステップＳ１１１２）、サーバ１００に送信する（ステップＳ１１１３）。これにより、第２学習処理（ステップＳ７０２）が終了する。

【0105】

このように、上述した学習システムによれば、複数の拠点１０１～１０４にある学習データＴ１～Ｔ４を拠点外に移動させることなく、過去に学習した複数の学習データＴ１，Ｔ２の知識係数Ｉ１，Ｉ２を用いることで過去に学習した学習データＴ１，Ｔ２を再度学習に用いずに、複数の拠点１０１～１０４にある学習データＴ１～Ｔ４を予測可能な予測モデルＭ２０を生成することができる。各拠点１０３，１０４での学習とサーバ１００でのモデル統合との繰り返しにより生成された複数の拠点１０１～１０４にある学習データＴ１～Ｔ４を予測可能な統合予測モデルＭ２０Ｉを生成することができる。

【0106】

統合予測モデルＭ２０Ｉに対して、拠点１０３，１０４において、継続学習技術を適用すると、学習データＴ３，Ｔ４と、過去に学習した複数の学習データＴ１，Ｔ２の知識係数Ｉ１，Ｉ２を用いることで過去に学習した学習データＴ１，Ｔ２を再度学習に用いずに、複数の拠点１０１～１０４にある学習データＴ１～Ｔ４を予測可能な予測モデルを生成可能である。これにより、拠点１０１～１０４にある学習データＴ１～Ｔ４を予測可能な予測モデルＭ２０を生成することができる。

【0107】

＜表示画面例＞
つぎに、コンピュータ３００の出力デバイス３０４の一例であるディスプレイ、または、出力部４３１からの出力先のコンピュータ３００のディスプレイに表示される表示画面例について説明する。

【0108】

図１２は、表示画面の表示例１を示す説明図である。表示画面１２００は、たとえば、拠点１０３，１０４のディスプレイに表示される。

【0109】

表示画面１２００は、Ｓｅｌｅｃｔ ｔｒａｉｎ ｄａｔａボタン１２０１と、Ｓｅｌｅｃｔ ｋｎｏｗｌｅｄｇｅボタン１２０２と、Ｔｒａｉｎボタン１２０３と、ｍｏｄｅ ｎａｍｅ欄１２０４と、ｄａｔａ ｎａｍｅ欄１２０５と、選択画面８１０と、チェックボックス８１１と、を含む。

【0110】

各拠点１０３，１０４のユーザは、学習を行いたい場合に、ｍｏｄｅ ｎａｍｅ欄１２０４において、「Ｔｒａｉｎ」を選択する。続いて、各拠点１０３，１０４のユーザは、Ｓｅｌｅｃｔ ｔｒａｉｎ ｄａｔａボタン１２０１を押下し、学習データＴ３，Ｔ４を選択する。選択された学習データＴ３，Ｔ４は、ｄａｔａ ｎａｍｅ欄１２０５に表示される。

【0111】

さらに、各拠点１０３，１０４のユーザは、予測モデルに組み込みたい過去の知識を示す知識係数を、たとえばチェックボックス１２１１にチェックを付けることで選択する。各拠点１０３，１０４の知識係数合成部５０３は、チェックされた知識係数Ｉ１，Ｉ２を合成する。合成により生成された合成知識係数Ωは、各拠点１０３，１０４のユーザによるＴｒａｉｎボタン１２０３の押下により、学習で使用される（ステップＳ１１０３）。なお、サーバ１００からの要請により、選択する知識係数が予め提示または決定されていてもよい。

【0112】

図１３は、表示画面の表示例２を示す説明図である。表示画面１３００は、サーバ１００が統合予測モデルを生成する際に表示される画面である。表示画面１３００は、Ｓｅｌｅｃｔ ｃｌｉｅｎｔボタン１３０１と、Ｓｔａｒｔボタン１３０２と、ｍｏｄｅ ｎａｍｅ欄１２０４と、ｄａｔａ ｎａｍｅ欄１２０５と、選択画面１３１０と、チェックボックス１３１１と、を含む。

【0113】

サーバ１００のユーザは、予測モデルの統合を行う予測モデル生成をしたい場合に、ｍｏｄｅ ｎａｍｅ欄１２０４において、Ｆｅｄｅｒａｔｉｏｎを選択する。続いて、サーバ１００のユーザは、Ｓｅｌｅｃｔ ｃｌｉｅｎｔボタン１３０１を押下し、統合する予測モデル生成する拠点を、たとえばチェックボックス１３１１にチェックを付けることで選択する。

【0114】

サーバ１００の予測モデル統合部４１１は、チェックされたｃｌｉｅｎｔ ｎａｍｅを持つ拠点からの予測モデルを、式（２）を用いて統合する（ステップＳ８０４、Ｓ９０４）。なお、選択画面１３１０では、たとえば、新しく学習したい学習データが貯まっているとのアラートをサーバ１００にあげた拠点や、最新のベース予測モデルＭ０を送信した拠点に対して、Ｔｒａｉｎ ｑｕｅｒｙ欄に「１」などの表示がされていてもよい。その後、Ｓｔａｒｔボタン１３０２を押下により、予測モデルの生成と統合が行われ、統合予測モデルが生成される（ステップＳ８０４、Ｓ９０４）。

【0115】

図１４は、表示画面の表示例３を示す説明図である。表示画面１４００は、サーバ１００で予測精度を確認するための画面である。具体的には、たとえば、サーバ１００が最初に１つの学習データＴ１で学習する。その後、学習データＴ１で学習した際の知識係数Ｉ１を用いて拠点１０１が学習データＴ２で、学習データＴ１で学習した際の知識係数Ｉ１を用いて拠点１０２が学習データＴ３で学習する。サーバ１００は、拠点１０１が学習データＴ２で学習した予測モデルと、拠点１０２が学習データＴ３で学習した予測モデルとを、統合する。表示画面１４００は、その統合処理を行った際の繰り返し回数が「１」であった場合の結果表示例である。具体的には、拠点１０１、１０２における予測精度がしきい値以上か判断する（ステップＳ９０９）ための、サーバ１００における予測精度検証（ステップＳ９０７）の際に表示される。

【0116】

表示画面１４００は、Ｖｉｅｗ ｒｅｓｕｌｔｓボタン１４０１と、Ｖｉｅｗ ｓｔａｔｕｓボタン１４０２と、ｍｏｄｅ ｎａｍｅ欄１２０４と、ｄａｔａ ｎａｍｅ欄１２０５と、連合学習結果表示画面１４１１と、データステータス画面１４１２と、を含む。

【0117】

サーバ１００のユーザは、統合予測モデルの予測精度を確認したい場合に、ｍｏｄｅ ｎａｍｅ欄１２０４において、Ｆｅｄｅｒａｔｉｏｎを選択する。図１３で指示した連合学習処理が終了または予測精度の検証（ステップＳ８０７、ステップＳ９０７）をしている場合、Ｖｉｅｗ ｒｅｓｕｌｔｓボタン１４０１と、Ｖｉｅｗ ｓｔａｔｕｓボタン１４０２が表示される。Ｖｉｅｗ ｒｅｓｕｌｔｓボタン１４０１を押下すると、連合学習結果表示画面１４１１にあるような、統合予測モデルの各学習データＴ１～Ｔ３による予測精度が表示される。

【0118】

Ｖｉｅｗ ｓｔａｔｕｓボタン１４０２を押下すると、データステータス画面１４１２にあるような、各学習データＴ１～Ｔ３がどこの拠点で得られ学習されたデータかが一覧で表示される。

【0119】

連合学習結果表示画面１４１１に表示されているように、予めサーバ１００で学習した学習データＴ１の知識係数Ｉ１を用いて、拠点１０１の学習データＴ２を学習した予測モデルと拠点１０２の学習データＴ３を学習した予測モデルとの連合学習により生成された統合予測モデルにおいて、拠点１０１の学習データＴ２による予測精度（Ｐ（Ｔ２）＝９２．１９％）と拠点１０２の学習データＴ３による予測精度（Ｐ（Ｔ３）＝９４．３９％）だけでなく、予めサーバ１００で学習した学習データＴ１による予測精度（Ｐ（Ｔ１）＝９８．４４％）も高く保つことができていることがわかる。

【0120】

図１５は、表示画面の表示例４を示す説明図である。表示画面１５００は、サーバ１００で予測モデルに関する結果を表示する画面である。具体的には、たとえば、図１４の場合と同様、サーバ１００が最初に１つの学習データＴ１で学習する。その後、学習データＴ１で学習した際の知識係数Ｉ１を用いて拠点１０１が学習データＴ２で、学習データＴ１で学習した際の知識係数Ｉ１を用いて拠点１０２が学習データＴ３で学習する。サーバ１００は、拠点１０１が学習データＴ２で学習した予測モデルと、拠点１０２が学習データＴ３で学習した予測モデルとを、統合する。

【0121】

さらに、図１５では、サーバ１００は、統合予測モデルに対してサーバ１００の新しい学習データＴ４を、学習データＴ１で学習した際の知識係数Ｉ１と統合予測モデルに対する学習データＴ２の知識係数Ｉ２と学習データＴ３の知識係数Ｉ３とを用いて学習して生成した統合予測モデルに関する結果を表示する。

【0122】

表示画面１５００は、Ｖｉｅｗ ｒｅｓｕｌｔｓボタン１４０１と、Ｖｉｅｗ ｓｔａｔｕｓボタン１４０２と、ｍｏｄｅ ｎａｍｅ欄１２０４と、ｄａｔａ ｎａｍｅ欄１２０５と、学習結果画面１５１１と、データステータス画面１４１２と、を含む。

【0123】

サーバ１００のユーザは、予測モデルの予測精度を確認したい場合に、ｍｏｄｅ ｎａｍｅ欄１２０４において、Ｔｒａｉｎを選択する。図１２で指示した学習処理が終了している場合、Ｖｉｅｗ ｒｅｓｕｌｔｓボタン１４０１と、Ｖｉｅｗ ｓｔａｔｕｓボタン１４０２が表示される。

【0124】

Ｖｉｅｗ ｒｅｓｕｌｔｓボタン１４０１を押下すると、学習結果画面１５１１にあるような、最終的な予測モデルによる各学習データによる予測精度が表示される。Ｖｉｅｗ ｓｔａｔｕｓボタン１４０２を押下すると、データステータス画面１４１２にあるような、各学習データがどこの拠点で得られ、学習されたデータかが一覧で表示される。

【0125】

学習結果画面１５１１に表示されているように、予めサーバ１００で学習した学習データＴ１の知識係数Ｉ１を用いて、拠点１０１の学習データＴ２で学習した予測モデルと拠点１０２の学習データＴ３で学習した予測モデルとの連合学習により生成された統合予測モデルをベース予測モデルＭ０とする。

【0126】

さらに、ベース予測モデルＭ０と学習データＴ４と、学習データＴ１の知識係数Ｉ１、学習データＴ２の知識係数Ｉ２，学習データＴ３の知識係数Ｉ３を用いて継続学習により予測モデルＭ４を生成する。この場合、拠点１０１の学習データＴ２による予測精度（Ｐ（Ｔ２）＝９１．８４％）と拠点１０２の学習データＴ３による予測精度（Ｐ（Ｔ３）＝９２．１５％）だけでなく、予めサーバ１００で学習した学習データＴ１による予測精度（Ｐ（Ｔ１）＝９８．２７％）と、今回学習したサーバ１００の学習データＴ４による予測精度（Ｐ（Ｔ４）＝９６．３１％）も、高く保つことができていることがわかる。

【0127】

実施例１では、連合学習の対象となる予測モデルＭ１，Ｍ２，Ｍ３Ｉ，Ｍ４Ｉを生成する場所は拠点１０１～１０４のみとしたが、サーバ１００で生成した予測モデルを連合学習の対象としてもよい。また、拠点１０１～１０４のいずれかがサーバ１００の役割を担ってもよい。

【0128】

また、拠点１０１～１０４が過去の学習データＴの知識係数Ｉを用いずに予測モデルを生成してもよい。この場合、拠点１０１～１０４は、サーバ１００からの検証結果で合格（予測精度がしきい値以上）した予測モデルを生成した拠点において、知識係数Ｉを用いた学習により予測モデルを生成する。そして、サーバ１００が、検証結果に基づいて拠点１０１～１０４のうちいくつかに限定された拠点にて生成された予測モデルを統合して最終的な統合予測モデルを生成してもよい。なお、検証結果ではなくデータの分布特性などから予め拠点をグループに分けてグループごとの統合予測モデルを生成してもよい。

【0129】

このように、図１５に示した例によれば、複数の拠点１０１～１０４にある学習データＴ１～Ｔ４を拠点外に移動させることなく、過去に学習した複数の学習データＴ１，Ｔ２の知識係数Ｉ１，Ｉ２を用いることで過去に学習した学習データＴ１，Ｔ２を再度学習に用いずに、複数の拠点１０１～１０４にある学習データＴ１～Ｔ４を予測可能な予測モデルＭ２０を生成することができる。各拠点１０３，１０４での学習とサーバ１００でのモデル統合との繰り返しにより生成された複数の拠点１０１～１０３にある学習データＴ１～Ｔ３を予測可能な統合予測モデルＭ２０Ｉを生成することができる。

【0130】

統合予測モデルＭ２０Ｉに対して、拠点１０４において、継続学習技術を適用すると、学習データＴ４と、過去に学習した複数の学習データＴ１，Ｔ２，Ｔ３の知識係数Ｉ１，Ｉ２、Ｉ３を用いることで過去に学習した学習データＴ１，Ｔ２，Ｔ３を再度学習に用いずに、複数の拠点１０１～１０４にある学習データＴ１～Ｔ４を予測可能な予測モデルを生成可能である。これにより、拠点１０１～１０４にある学習データＴ１～Ｔ４を予測可能な予測モデルＭ２０を生成することができる。

【0131】

したがって、学習データ量の減少による予測モデルの更新時間短縮と、通信する拠点数および通信回数の減少による通信量の抑制と、過去のデータ保存を不要とする記憶デバイス３０２の使用量抑制と、を実現できる。

【0132】

また、実施例１では、どのコンピュータ３００も予測モデル統合部４１１および学習部４１２を有しているため、いずれのコンピュータ３００もサーバ１００および拠点１０１～１０４として実行可能である。また、実施例１では、フェーズ１の拠点数を２としたが、フェーズ１の拠点数を３以上としてもよい。同様に、フェーズ２の拠点数を２としたが、フェーズ２の拠点数も３以上としてもよい。

【0133】

また、拠点１０１～１０４が知識係数Ｉ１～Ｉ４をサーバ１００に送信した後は、拠点１０１～１０４では学習データＴ１～Ｔ４は不要となる。したがって、拠点１０１～１０４は学習データＴ１～Ｔ４を削除してもよい。これにより、拠点１０１～１０４の記憶デバイス３０２の省メモリ化を図ることができる。

【実施例0134】

実施例２について説明する。実施例２は、実施例１よりも、サーバ１００および拠点１０１～１０４において、それぞれの役割を単一化し、装置構成を最小限にした例である。サーバ１００は、学習データで予測モデルを生成しない。拠点１０１～１０４は、予測モデルを統合しない。なお、実施例１と同一構成には同一符号を付し、その説明を省略する。

【0135】

図１６は、実施例２にかかるサーバ１００の機能的構成例を示すブロック図である。図４と比較して、サーバ１００は、学習部４１２を有していない。

【0136】

図１７は、実施例２にかかる拠点の機能的構成例を示すブロック図である。図４と比較して、拠点１０１～１０４は、予測モデル統合部４１１を有していない。

【0137】

このように、実施例２によれば、実施例１と同様、学習データ量の減少による予測モデルの更新時間短縮と、通信する拠点数および通信回数の減少による通信量の抑制と、過去のデータ保存を不要とする記憶デバイス３０２の使用量抑制と、を実現できる。

【0138】

なお、本発明は前述した実施例に限定されるものではなく、添付した特許請求の範囲の趣旨内における様々な変形例及び同等の構成が含まれる。たとえば、前述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに本発明は限定されない。また、ある実施例の構成の一部を他の実施例の構成に置き換えてもよい。また、ある実施例の構成に他の実施例の構成を加えてもよい。また、各実施例の構成の一部について、他の構成の追加、削除、または置換をしてもよい。

【0139】

また、前述した各構成、機能、処理部、処理手段等は、それらの一部又は全部を、たとえば集積回路で設計する等により、ハードウェアで実現してもよく、プロセッサがそれぞれの機能を実現するプログラムを解釈し実行することにより、ソフトウェアで実現してもよい。

【0140】

各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置、又は、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）カード、ＳＤカード、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）の記録媒体に格納することができる。

【0141】

また、制御線や情報線は説明上必要と考えられるものを示しており、実装上必要な全ての制御線や情報線を示しているとは限らない。実際には、ほとんど全ての構成が相互に接続されていると考えてよい。