特開 2022-76274 モデル学習方法、モデル学習システム、サーバ装置、及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022076274

(43)【公開日】2022-05-19

(54)【発明の名称】モデル学習方法、モデル学習システム、サーバ装置、及びコンピュータプログラム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20220512BHJP

【ＦＩ】

G06N20/00

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2020186617

(22)【出願日】2020-11-09

(71)【出願人】

【識別番号】507228172

【氏名又は名称】株式会社ＪＳＯＬ

(71)【出願人】

【識別番号】518148973

【氏名又は名称】株式会社シンクアウト

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】松崎 健一

(72)【発明者】

【氏名】石川 淳也

(72)【発明者】

【氏名】鈴木 悠哉

(72)【発明者】

【氏名】田淵 仁志

(57)【要約】

【課題】分散学習に基づく学習モデルの実用化を促進するモデル学習方法、モデル学習システム、サーバ装置、及びコンピュータプログラムを提供する。
【解決手段】モデル学習方法は、サーバに記憶するグローバルモデルのデータを複数のノードに対して配布し、前記複数のノードで処理するローカルデータによって前記グローバルモデルを基に学習したローカルモデルのデータを取得し、前記複数のノード夫々から取得した複数のローカルモデルのデータに基づいて、グローバルモデルのデータを更新する処理を含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

サーバに記憶するグローバルモデルのデータを複数のノードに対して配布し、
前記複数のノードで処理するローカルデータによって前記グローバルモデルを基に学習したローカルモデルのデータを取得し、
前記複数のノード夫々から取得した複数のローカルモデルのデータに基づいて、グローバルモデルのデータを更新する
処理を含むモデル学習方法。

【請求項2】

更新後のグローバルモデルのデータを前記複数のノードへ再分配する
処理を含む請求項１に記載のモデル学習方法。

【請求項3】

前記サーバは、前記複数のノードから取得したローカルモデルのデータを統計処理して前記グローバルモデルのデータを更新する
請求項１又は２に記載のモデル学習方法。

【請求項4】

前記グローバルモデルのデータの更新の都度、前記複数のノード夫々のローカルデータで前記グローバルモデルの精度の評価値を各算出させ、
前記複数のノードで算出された異なる評価値に基づいて前記グローバルモデルの総評価値を算出し、
算出された総評価値と対応付けて前記グローバルモデルのデータを記憶する
処理を含む請求項１から請求項３のいずれか１項に記載のモデル学習方法。

【請求項5】

前記総評価値に基づいて学習が所定の基準を満たすまで前記グローバルモデルのデータの更新を継続し、
前記所定の基準を満たした学習結果に対応するグローバルモデルのデータの前記複数のノード及び他の装置への提供を許可する
処理を含む請求項４に記載のモデル学習方法。

【請求項6】

前記グローバルモデルのデータの更新の都度、
更新後のグローバルモデルに対して算出された総評価値を記憶し、
総評価に基づいて再分配するグローバルモデルを決定する
処理を含む請求項４又は５に記載のモデル学習方法。

【請求項7】

更新後のグローバルモデルに対して算出された総評価値と、前回の更新後のグローバルモデルに対する総評価値とを比較し、
比較の結果、評価がより高いグローバルモデルを、再分配するグローバルモデルとして決定する
処理を含む請求項６に記載のモデル学習方法。

【請求項8】

前記複数のノードは、ローカルモデルの学習に用いたローカルデータのデータ量、又はローカルモデルの学習量を逐次記憶し、
前記サーバは、前記複数のノードから集約したローカルモデルのデータ夫々に、前記データ量又は学習量に対応する重みを付与して前記グローバルモデルのデータの更新に使用する
処理を含む請求項１から請求項７のいずれか１項に記載のモデル学習方法。

【請求項9】

前記複数のノードは、ローカルデータの特性を記憶しており、
前記サーバは、前記複数のノードから集約したローカルモデルのデータ夫々に、各ノードのローカルデータの特性に対応する重みを付与して前記グローバルモデルのデータの更新に使用する
処理を含む請求項１から請求項７のいずれか１項に記載のモデル学習方法。

【請求項10】

前記ローカルデータの特性は、各ノードによるローカルデータの取得方法、前記ローカルデータを出力する機器の仕様、又は、前記ローカルデータの精度評価である
請求項９に記載のモデル学習方法。

【請求項11】

前記複数のノードに、前記サーバで更新された後のグローバルモデルに対して、ローカルデータに基づき評価値を算出させる都度に前記評価値及び前記グローバルモデルのデータを記憶し、
最も評価値が高い更新後のグローバルモデルを選択する
請求項４に記載のモデル学習方法。

【請求項12】

ローカルデータを各々処理する複数のノードと、該複数のノードから通信接続されるサーバとを含み、
前記サーバは、前記複数のノードへグローバルモデルのデータを配布し、
前記複数のノードは夫々、処理対象のローカルデータによって前記グローバルモデルからローカルモデルの学習を各々進め、
前記サーバは、
学習後のローカルモデルのデータを前記複数のノードから取得し、
取得した複数のローカルモデルのデータに基づいてグローバルモデルのデータを更新する
モデル学習システム。

【請求項13】

複数のノードと通信接続する通信部と、
記憶するグローバルモデルのデータに対する処理部と
を備え、
前記処理部により、
前記グローバルモデルのデータを複数のノードに対して配布し、
前記複数のノードで処理するローカルデータによって前記グローバルモデルのデータを基に学習したローカルモデルのデータを前記通信部から取得し、
前記複数のノード夫々から取得した複数のローカルモデルのデータに基づいて、グローバルモデルのデータを更新する
サーバ装置。

【請求項14】

複数のノードに通信接続が可能なコンピュータに、
記憶するグローバルモデルのデータを前記複数のノードに対して配布し、
前記複数のノードで処理するローカルデータによって前記グローバルモデルを基に学習したローカルモデルのデータを取得し、
前記複数のノード夫々から取得した複数のローカルモデルのデータに基づいて、グローバルモデルのデータを更新する
処理を実行させるコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、分散学習の実用化のためのモデル学習方法、モデル学習システム、サーバ装置、及びコンピュータプログラムに関する。

【背景技術】

【0002】

深層学習に基づく学習モデルを用いた判定、認識等が実用化されている。学習モデルは多様な技術分野で活用できることが確認されている。学習モデルの精度を各種分野で実用化できる程度に向上するために膨大なトレーニングデータを用いたとしてもパラメータの収束に長時間を要し、精度が良くなるとも限らない。

【0003】

特許文献１には、学習対象の学習モデルのレプリカを複数用意し、それらの複数のモデルレプリカが、非同期で独自に学習する方法が開示されている。特許文献１では、パラメータサーバが複数に断片化されており、学習モデルの複数のレプリカが夫々、非同期で、断片化されたパラメータサーバからパラメータを取得して学習し、パラメータを各パラメータサーバへ返すことを繰り返す。このような分散処理により、学習モデルのパラメータが早期に収束するとされている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】米国特許第８７６８８７０号明細書

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に開示されているような分散処理による深層学習の方法であっても、トレーニングデータは集約している。しかしながら、医療、金融、認証といった分野のデータは個人データであって機密性が高い。モデルの精度を高めるためにトレーニングデータとしてデータを集約するためには、データの提供に各個人の同意が必要である上、同意が得られたとしてもデータ管理の安全性に対するリスクが常につきまとう。

【0006】

本発明は、斯かる事情に鑑みてなされたものであり、分散学習に基づく学習モデルの実用化を促進するモデル学習方法、モデル学習システム、サーバ装置、及びコンピュータプログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本開示の一実施形態のモデル学習方法は、サーバに記憶するグローバルモデルのデータを複数のノードに対して配布し、前記複数のノードで処理するローカルデータによって前記グローバルモデルを基に学習したローカルモデルのデータを取得し、前記複数のノード夫々から取得した複数のローカルモデルのデータに基づいて、グローバルモデルのデータを更新する処理を含む。

【0008】

本開示の一実施形態のモデル学習システムは、ローカルデータを各々処理する複数のノードと、該複数のノードから通信接続されるサーバとを含み、前記サーバは、前記複数のノードへグローバルモデルのデータを配布し、前記複数のノードは夫々、処理対象のローカルデータによって前記グローバルモデルからローカルモデルの学習を各々進め、前記サーバは、学習後のローカルモデルのデータを前記複数のノードから取得し、取得した複数のローカルモデルのデータに基づいてグローバルモデルのデータを更新する。

【0009】

本開示の一実施形態のサーバ装置は、複数のノードと通信接続する通信部と、記憶するグローバルモデルのデータに対する処理部とを備え、前記処理部により、前記グローバルモデルのデータを複数のノードに対して配布し、前記複数のノードで処理するローカルデータによって前記グローバルモデルのデータを基に学習したローカルモデルのデータを前記通信部から取得し、前記複数のノード夫々から取得した複数のローカルモデルのデータに基づいて、グローバルモデルのデータを更新する。

【0010】

本開示の一実施形態のコンピュータプログラムは、複数のノードに通信接続が可能なコンピュータに、記憶するグローバルモデルのデータを前記複数のノードに対して配布し、前記複数のノードで処理するローカルデータによって前記グローバルモデルを基に学習したローカルモデルのデータを取得し、前記複数のノード夫々から取得した複数のローカルモデルのデータに基づいて、グローバルモデルのデータを更新する処理を実行させる。

【0011】

本開示のモデル学習方法、モデル学習システム、サーバ装置、及びコンピュータプログラムでは、配布されたグローバルモデルのデータに対し、複数のノードがアクセス可能なローカルデータで学習を実行し、ローカルモデルを作成し、そのデータをサーバへ送信する。サーバにローカルデータを集約せずとも、複数のノード夫々でアクセス可能なローカルデータを用いた学習が可能となる。

【0012】

本開示の一実施形態のモデル学習方法では、更新後のグローバルモデルのデータを前記複数のノードへ再分配してもよい。

【0013】

更新後のグローバルモデルを、ローカルデータで再学習し、更にこれを集約することでグローバルモデルの精度を向上させることが期待できる。

【0014】

本開示の一実施形態のモデル学習方法では、前記サーバは、前記複数のノードから取得したローカルモデルのデータを統計処理して前記グローバルモデルのデータを更新する。

【0015】

グローバルモデルは、ローカルモデルの平均、加重平均等の統計処理によって求めることができる。各ノードがアクセス可能なローカルデータはデータ量が少量であっても、複数のノードからのローカルモデルを統計処理することによって、各ローカルデータによる学習が反映されたグローバルモデルが作成される。

【0016】

本開示の一実施形態のモデル学習方法は、前記グローバルモデルのデータの更新の都度、前記複数のノード夫々のローカルデータで前記グローバルモデルの精度の評価値を各算出させ、前記複数のノードで算出された異なる評価値に基づいて前記グローバルモデルの総評価値を算出し、算出された総評価値と対応付けて前記グローバルモデルのデータを記憶する処理を含んでもよい。

【0017】

総評価値は、各ノードでのローカルデータを用いた精度に基づいて算出される。総評価値は、精度の平均でもよいし、ローカルデータのデータ量に基づく加重平均であってもよい。

【0018】

本開示の一実施形態のモデル学習方法は、前記総評価値に基づいて学習が所定の基準を満たすまで前記グローバルモデルのデータの更新を継続し、前記所定の基準を満たした学習結果に対応するグローバルモデルのデータの前記複数のノード及び他の装置への提供を許可する処理を含んでもよい。

【0019】

総評価値に基づいて学習が所定の基準を満たしてノード以外の他の装置への配布が可能と判断される程度まで学習が完了した段階で、学習に協力したノードのみならず他の装置への提供がされる。複数のノードのローカルデータに基づく集合知的な学習モデルを広く利用することが可能になる。所定の基準とは、総評価値に基づき学習の精度が向上しなくなること、総評価値が所定値以上となること等として設定されてよい。

【0020】

本開示の一実施形態のモデル学習方法は、前記グローバルモデルのデータの更新の都度、更新後のグローバルモデルに対して算出された総評価値を記憶し、総評価に基づいて再分配するグローバルモデルを決定する処理を含んでもよい。

【0021】

グローバルモデルのデータの配布、ローカルモデルの学習、学習されたローカルモデルのデータに基づくグローバルモデルのデータの更新の繰り返しの中では、１つ前の更新におけるグローバルモデルの方が、評価が高いことがあり得る。ローカルデータが逐次追記されていく環境では、繰り返しの中で時折、過去のグローバルモデルを基に再度学習を進めることで、精度を向上させることが期待できる。

【0022】

本開示の一実施形態のモデル学習方法は、更新後のグローバルモデルに対して算出された総評価値と、前回の更新後のグローバルモデルに対する総評価値とを比較し、比較の結果、評価がより高いグローバルモデルを、再分配するグローバルモデルとして決定する処理を含んでもよい。

【0023】

過去のグローバルモデルを選択する場合は、総評価値を基準として選択するとよい。

【0024】

本開示の一実施形態のモデル学習方法では、前記複数のノードは、ローカルモデルの学習に用いたローカルデータのデータ量、又はローカルモデルの学習量を逐次記憶し、前記サーバは、前記複数のノードから集約したローカルモデルのデータ夫々に、前記データ量又は学習量に対応する重みを付与して前記グローバルモデルのデータの更新に使用する処理を含んでもよい。

【0025】

本開示の一実施形態のモデル学習方法では、前記複数のノードは、ローカルデータの特性を記憶しており、前記サーバは、前記複数のノードから集約したローカルモデルのデータ夫々に、各ノードのローカルデータの特性に対応する重みを付与して前記グローバルモデルのデータの更新に使用する処理を含んでもよい。

【0026】

本開示の一実施形態のモデル学習方法では、前記ローカルデータの特性は、各ノードによるローカルデータの取得方法、前記ローカルデータを出力する機器の仕様、又は、前記ローカルデータの精度評価であってもよい。

【0027】

ローカルモデルに基づくグローバルモデルのデータは、各ローカルモデルの基になったデータ量、又は、ローカルモデルにおける学習量に応じて、加重平均で算出される。グローバルモデルは、ローカルデータの特性に応じて加重平均で算出されてもよい。ローカルデータの規模又は品質は、各所で多様であり、それらを均等に統計処理するよりも、精度の向上が期待できる。ローカルモデルは、ローカルデータを取得するための方法、ローカルデータを出力する機器の仕様、ローカルデータをトレーニングデータとして使用する場合のアノテーション精度等に影響される。これらの影響に対応する重みで加重平均することによって、グローバルモデルのデータの更新が適切に行なわれることが期待できる。

【0028】

本開示の一実施形態のモデル学習方法では、前記複数のノードに、前記サーバで更新された後のグローバルモデルに対して、ローカルデータに基づき評価値を算出させる都度に前記評価値及び前記グローバルモデルのデータを記憶し、最も評価値が高い更新後のグローバルモデルを選択してもよい。

【0029】

前回の更新のみならず、過去のグローバルモデルから最も評価値が高いグローバルモデルを選択してもよい。過去のグローバルモデルを基に再度学習を進めることで、精度を向上させることが期待できる。

【発明の効果】

【0030】

本開示のモデル学習方法によれば、学習用にデータを集約せずとも、その多数のデータに基づくモデル学習が可能になる。本開示のモデル学習方法は、データの機密性が高い場合でも、モデル学習を実用的にすることができる。

【図面の簡単な説明】

【0031】

【図1】第１の実施形態のモデル学習システムの概要図である。

【図2】ノードの構成を示すブロック図である。

【図3】サーバの構成を示すブロック図である。

【図4】モデル学習システムにおける学習処理手順の一例を示すフローチャートである。

【図5】配布されたグローバルモデルに基づくローカルモデルの学習処理手順の一例を示すフローチャートである。

【図6】サーバにおけるグローバルモデルの更新処理の一例を示すフローチャートである。

【図7】ノードで表示される画面例を示す。

【図8】第２の実施形態のモデル学習システムにおける学習処理手順の一例を示すフローチャートである。

【図9】第３の実施形態のモデル学習システムにおける学習処理手順の一例を示すフローチャートである。

【図10】第３の実施形態のモデル学習システムにおける学習処理手順の一例を示すフローチャートである。

【図11】第３の実施形態におけるモデル学習の概要図である。

【図12】第４の実施形態のノードにおけるローカルモデルの学習処理手順の一例を示すフローチャートである。

【図13】第４の実施形態のサーバにおけるグローバルモデルの更新処理の一例を示すフローチャートである。

【図14】第５の実施形態のモデル学習システムの概要図である。

【図15】第５の実施形態のモデル学習システムにおける学習処理手順の一例を示すフローチャートである。

【図16】第５の実施形態におけるローカルモデルの学習処理手順の一例を示すフローチャートである。

【図17】第５の実施形態のサーバにおけるグローバルモデルの更新処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0032】

本開示をその実施の形態を示す図面を参照して具体的に説明する。

【0033】

（第１の実施形態）
図１は、第１の実施形態のモデル学習システム１００の概要図である。モデル学習システム１００は、データを記憶する記憶装置２に対して１又は複数設けられたノード１と、サーバ３と、ノード１及びサーバ３間を通信接続する通信網Ｎとを含む。

【0034】

記憶装置２は、物理量を測定するセンサ、画像を撮影するカメラ等、学習対象のデータを入出力する機器との間でデータの入出力が可能であり、それらのデータを蓄積する。記憶装置２は、操作によって入力されるデータに応じて出力する特定用途の計算機に接続されてもよい。記憶装置２は、ユーザが用いる情報端末の記憶装置であってもよい。記憶装置２は、クライアント装置からデータを収集するサーバ装置に使用される記憶装置であってもよい。

【0035】

ノード１は、記憶装置２が記憶しているデータと同種のデータが入力された場合に、データに基づいて認識結果、判定結果、又は新たなデータを出力するように、モデルの深層学習を実行する。サーバ３は、ノード１に対してモデルを提供するコンピュータであると共に、ノード１と協働してモデルを学習するモデル学習システム１００を実現する。記憶装置２が記憶しているデータ（以下、ローカルデータという）をトレーニングデータとしてモデルの学習を実行するには、これらにアクセスできる必要がある。本実施の形態のモデル学習システム１００は、サーバ３からのローカルデータへのアクセスを不可とした状態で、学習を進行させることができる。

【0036】

サーバ３は、初期的に、第０次グローバルモデル５１を得る。サーバ３は、第０次グローバルモデル５１を、通信網Ｎを介してノード１へ配布する。サーバ３からノード１へ配布されるグローバルモデルモデル５１の実体（データ）は、学習済みのパラメータのみ、又は、学習済みのパラメータとプログラムとの両方である。グローバルモデル５１は、モデルの構成を定義する定義データ（ネットワーク定義、損失や予め設定されるハイパーパラメータを含む）と、学習対象の重み係数等のパラメータとであってもよい。

【0037】

学習対象のモデルは、深層学習と呼ばれる学習の対象であればアーキテクチャは問わない。深層学習のモデルの種類は、入力データ及び出力データの内容に応じて適切に選択されるべきである。以下説明する学習対象のモデルは、畳み込み層を含むＣＮＮ（Convolutional Neural Network）を用いた分類系、検出系、又は生成系等のいずれでもよいし、時系列要素を加味して学習するＲＮＮ（Recurrent Neural Network）であってもよい。

【0038】

通信網Ｎは、所謂インターネットである公衆通信網、キャリアネットワークを含む。通信網Ｎは、モデル学習システム１００用の専用回線であってもよい。

【0039】

ノード１は、記憶装置２との間のローカルネットワークＬＮに基づいて、記憶装置２に蓄積されたローカルデータにアクセス可能である。ノード１は、アクセス可能なローカルデータを用いて深層学習を実行する。ローカルデータに対しては既に、ノード１が設置されている場所のオペレータによってアノテーションが実施済であるとよい。ノード１は、サーバ３から配布される第０次グローバルモデル５１を取得する。ノード１は、第０次グローバルモデル５１を基に、ローカルデータをトレーニングデータとして学習を進行し、第１次ローカルモデル５２を得る。

【0040】

ノード１は、第１次ローカルモデル５２を、サーバ３へ送信する。ローカルデータはサーバ３へ送信されないから、ローカルデータの抽象化、匿名化等の処理は不要である。

【0041】

サーバ３は、複数のノード１夫々から第１次ローカルモデル５２を複数受信し、受信した複数の第１次ローカルモデル５２に対して統計処理を実行して第１次グローバルモデル５１を作成する。サーバ３は、第１次グローバルモデル５１を、複数のノード１へ再配布する。再配布されるグローバルモデル５１は、重み係数のみであってもよい。再配布される重み係数は学習対象であってもよいし、全体であってもよい。再配布するグローバルモデル５１は、前回の更新からの差分に対応するものであってもよい。

【0042】

モデル学習システム１００は、サーバ３からノード１への第ｎ次グローバルモデル５１の配布、第ｎ次グローバルモデル５１のノード１におけるローカルデータを用いた学習、学習によって得られる第（ｎ＋１）次ローカルモデル５２のサーバ３への送信、サーバ３での第（ｎ＋１）次ローカルモデル５２の収集及び第（ｎ＋１）次グローバルモデル５１の作成（更新）を繰り返す。「ｎ」は予め上限を設定してもよいし、更新の途上でサーバ３のオペレータによって更新を手動で停止させるようにしてもよい。オペレータからのサーバ３に対する操作指示は、サーバ３と同一のローカルなネットワーク内のみから可能であってもよいし（オンプレミス型）、通信網Ｎ経由で例えばノード１から可能であってもよい（クラウド型）。

【0043】

これにより、サーバ３からローカルデータへのアクセスを許可することなく、分散学習が可能になる。

【0044】

分散学習によってノード１以外へも配布可能な精度までに学習されたグローバルモデル５１は、各ノード１に加え、ローカルモデル５２の作成に参加しない情報処理装置４へも配布され、使用される。

【0045】

このような学習方法を実現するためのモデル学習システム１００の構成について詳細に説明する。

【0046】

図２は、ノード１の構成を示すブロック図である。ノード１は、パーソナルコンピュータ又はサーバコンピュータである。ノード１は、処理部１０、記憶部１１、通信部１２、表示部１３及び操作部１４を備える。

【0047】

処理部１０は、ＣＰＵ（Central Processing Unit ）及び／又はＧＰＵ（Graphics Processing Unit）を用いたプロセッサである。処理部１０は、記憶部１１に記憶されているノードプログラム１Ｐに基づき、記憶装置２からのデータの読み出し、サーバ３との間でのモデルの送受信、及びモデル学習を含む処理を実行する。

【0048】

記憶部１１は、例えばハードディスク、フラッシュメモリ、ＳＳＤ（Solid State Drive）等の不揮発性メモリを用いる。記憶部１１は、処理部１０が参照するデータを記憶する。記憶部１１は、ノードプログラム１Ｐを記憶する。記憶部１１は、深層学習用のライブラリ１Ｌを記憶する。ノードプログラム１Ｐ及び／又は深層学習用のライブラリ１Ｌは、記録媒体８に記憶してあるノードプログラム８Ｐ及び／又は深層学習用のライブラリ８Ｌを処理部１０が読み出して記憶部１１に複製したものであってもよい。記憶部１１は、サーバ３から取得するグローバルモデル５１、及び、ローカルデータによって学習されるローカルモデル５２夫々を記憶する。

【0049】

通信部１２は、通信網Ｎを介したデータ通信、及び、ローカルネットワークＬＮを介した記憶装置２との通信を各々実現する。通信部１２は具体的には、例えばネットワークカードである。処理部１０は、通信部１２によって記憶装置２からデータを読み出し、サーバ３との間でデータを送受信する。

【0050】

表示部１３は、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等のディスプレイである。表示部１３は、記憶部１１に記憶されているデータに基づく情報、又はサーバ３から提供されるデータを含む画面を表示する。表示部１３は、タッチパネル内蔵型ディスプレイであってもよい。

【0051】

操作部１４は、処理部１０との間で入出力が可能なキーボード及びポインティングデバイス等のユーザインタフェースである。操作部１４は、音声入力部であってもよい。操作部１４は、表示部１３のタッチパネルであってもよい。操作部１４は、物理ボタンであってもよい。操作部１４は、ノード１のオペレータによる操作データを処理部１０へ通知する。

【0052】

図３は、サーバ３の構成を示すブロック図である。サーバ３は、サーバコンピュータである。サーバ３は、処理部３０、記憶部３１及び通信部３２を備える。サーバ３は、以下の説明においては１台のサーバコンピュータによって構成されるものとして説明するが、複数台のサーバコンピュータをネットワークで通信接続して分散処理させる態様であってもよい。サーバ３は、通信網Ｎを介して各ノード１から通信接続が可能なクラウド型であってもよいし、仮想的なプライベートネットワークを介して各ノード１と通信接続するオンプレミス型であってもよい。

【0053】

処理部３０は、ＣＰＵ及び／又はＧＰＵを用いたプロセッサである。処理部３０は、記憶部３１に記憶されているサーバ用プログラム３Ｐに基づき、グローバルモデル５１の学習処理を実行する。

【0054】

記憶部３１は、例えばハードディスク、ＳＳＤ等の不揮発性メモリを用いる。記憶部３１は、処理部３０が参照するデータを記憶する。記憶部３１は、サーバ用プログラム３Ｐを記憶する。記憶部３１は、学習対象のグローバルモデル５１、複数のノード１から送信されるローカルモデル５２を記憶する。サーバ用プログラム３Ｐは、記録媒体９に記憶してあるサーバ用プログラム９Ｐを処理部３０が読み出して記憶部３１に複製したものであってもよい。

【0055】

通信部３２は、通信網Ｎを介したデータ通信を実現する。通信部３２は具体的には、例えばネットワークカードである。処理部３０は、通信部３２によって複数のノード１との間でデータを送受信する。

【0056】

このように構成されるモデル学習システム１００における学習処理手順について説明する。図４は、モデル学習システム１００における学習処理手順の一例を示すフローチャートである。

【0057】

サーバ３は、予め用意された初期的な（第０次）グローバルモデル５１を取得する（ステップＳ１）。初期的なグローバルモデル５１は、特定のノード１で第０次モデルとして作成されたモデルであってもよいし、ノード１ではなく特定の場所で学習されたモデルであってもよく、予め記憶部３１に記憶してあるとよい。ステップＳ１の取得は、予め記憶部３１に記憶されているグローバルモデル５１の読み出しを含む。

【0058】

サーバ３は、取得した第０次グローバルモデル５１をノード１へ配布する（ステップＳ２）。

【0059】

サーバ３は、ノード１へ配布したグローバルモデル５１を基に、ノード１で学習されるローカルモデル５２を取得する（ステップＳ３）。

【0060】

サーバ３は、取得したローカルモデル５２に対して統計処理を実行し、次世代のグローバルモデル５１に更新する（ステップＳ４）。ステップＳ４においてサーバ３は、更新（ラウンド）の回数を加算するとよい。

【0061】

サーバ３は、更新したグローバルモデル５１が学習完了条件を満たすか否か判断する（ステップＳ５）。

【0062】

ステップＳ５についてサーバ３は例えば、学習回数が所定回数に到達したか否かで判断する。サーバ３は、特定のノード１又は特定の場所におけるトレーニングデータの入力データをグローバルモデル５１に入力した場合に、対応する出力データを出力する精度が所定の条件（所定値以上、向上が見られない等）を満たすか否かで判断してもよい。またサーバ３は、後述する方法によって学習完了条件を満たすか否かを判断してもよい。ステップＳ５においてサーバ３は、オペレータの操作によって学習回数が所定回数に到達していなくとも学習停止が指示されたか否かを判断し、指示された場合にはステップＳ５において条件を満たすと判断してもよい。

【0063】

学習完了条件を満たさないと判断された場合（Ｓ５：ＮＯ）、サーバ３は、更新後のグローバルモデル５１を複数のノード１へ再分配し（ステップＳ６）、処理をステップＳ３へ戻す。

【0064】

ステップＳ６においてサーバ３は、グローバルモデル５１をそのまま再配布するのではなく、重み係数等のパラメータのみを再配布してもよい。

【0065】

ステップＳ６においてサーバ３は、何回目の更新後のグローバルモデル５１であるのか、即ち第ｎ次グローバルモデル５１の「ｎ」を示すデータを共に送信するとよい。ステップＳ６においてサーバ３は、後述するように学習のラウンド情報を得られる場合にはそのラウンド情報を、グローバルモデル５１に対応付けて送信するとよい。ラウンド情報は、学習完了条件を満たすと判断されるまでに、ノード１への分配及び統計処理の実行した回数を示す情報である。サーバ３は、グローバルモデル５１の種類、例えばどのようなアーキテクチャの深層学習がされたのか、を示すデータを共にノード１へ送信してもよい。

【0066】

学習完了条件を満たすと判断された場合（Ｓ５：ＹＥＳ）、サーバ３は、更新後のグローバルモデル５１を、ノード１以外の装置へも配布可能なグローバルモデル５１として記憶する（ステップＳ７）。

【0067】

サーバ３は、記憶したグローバルモデル５１を複数のノード１又は他の情報処理装置へ送信し（ステップＳ８）、処理を終了する。他の情報処理装置とは、ノード１同様に、学習対象と同種のデータを用いるが、ローカルデータをトレーニング用に提供しない装置である。

【0068】

サーバ３は、図４のフローチャートに示した処理手順を、複数、例えば月に一度といった周期で実行してもよい。その都度、グローバルモデルのバージョンが上昇し、より実用的なモデルとなる。

【0069】

図５は、配布されたグローバルモデル５１に基づくローカルモデル５２の学習処理手順の一例を示すフローチャートである。図５のフローチャートに示す処理は、サーバ３がステップＳ２又はステップＳ６でグローバルモデル５１を配布した場合に、複数のノード１夫々で実行する処理である。

【0070】

ノード１の処理部１０は、配布されたグローバルモデル５１を受信し、記憶部１１に記憶する（ステップＳ３０１）。

【0071】

ノード１の処理部１０は、記憶したグローバルモデル５１をインスタンスとしてロードする（ステップＳ３０２）。処理部１０は、記憶装置２に記憶してあるローカルデータをトレーニングデータとして取得し（ステップＳ３０３）、これをグローバルモデル５１に与えて学習を実行する（ステップＳ３０４）。

【0072】

ステップＳ３０４において処理部１０は、ロードしたグローバルモデル５１に対してローカルデータに含まれる入力データを入力する。処理部１０は、出力されたデータと、ローカルデータに含まれる前記入力データに対応する結果データとに対する損失関数を算出する。処理部は、出力されたデータと、ローカルデータに含まれる前記入力データに対応する結果データとの合致率、合致しているか否かの正誤によって学習を進めてもよい。処理部１０は、算出した損失関数に基づいて配布されたグローバルモデル５１における重み係数を含むパラメータを学習する。

【0073】

ノード１の処理部１０は、学習完了条件を満たすか否かを判断する（ステップＳ３０５）。ステップＳ３０５において処理部１０は、学習回数が所定回数（１回以上）を満たすことを学習完了条件としてよい。処理部１０は、学習後のグローバルモデル５１の出力精度が記憶してある所定値以上である場合に、学習完了条件を満たすと判断してもよい。処理部１０は、精度の変化が所定範囲内に収まり、収束していると判断できる場合に学習完了条件を満たすと判断してもよい。

【0074】

学習完了条件を満たさないと判断された場合（Ｓ３０５：ＮＯ）、処理部１０は処理をステップＳ３０４へ戻す。これにより、学習が続行される。

【0075】

学習完了条件を満たすと判断された場合（Ｓ３０５：ＹＥＳ）、処理部１０は学習を終了し、パラメータが更新されたグローバルモデル５１を、ローカルモデル５２として記憶する（ステップＳ３０６）。

【0076】

ノード１の処理部１０は、記憶したローカルモデル５２を、サーバ３へ送信し（ステップＳ３０７）、処理を終了する。これにより、サーバ３は、複数のノード１夫々から、ローカルデータで学習されたローカルモデル５２を取得することができる。

【0077】

ステップＳ３０７において処理部１０は、第ｎ次のローカルモデル５２なのか、又は元となるグローバルモデル５１が第ｎ次なのかの「ｎ」を示すデータを共に送信するとよい。ステップＳ３０７においてノード１は、後述するように１回の学習完了までのラウンド情報を得られる場合にはそのラウンド情報を、ローカルモデル５２に対応付けて送信してもよい。

【0078】

図５のフローチャートに示した処理によってノード１からは、ローカルデータがサーバ３へ送信されることがない点が、着目されるべきである。ローカルデータの匿名化も実行されない。ノード１から送信されるデータは、モデルそのものである。ローカルデータの特性は反映されているが、データの送信はされない。

【0079】

図６は、サーバ３におけるグローバルモデル５１の更新処理の一例を示すフローチャートである。図６のフローチャートに示す処理手順は、図４のフローチャートに示す処理手順の内のステップＳ４の詳細に対応する。

【0080】

サーバ３の処理部３０は、ノード１から送信されるローカルモデル５２を取得し（ステップＳ４０１）、ノード１の識別データと対応付けてローカルモデル５２を記憶する（ステップＳ４０２）。ステップＳ４０１においてサーバ３の処理部３０は、非同期に各ノード１から送信されるローカルモデル５２を取得する。

【0081】

処理部３０は、取得したローカルモデル５２でグローバルモデル５１を更新すべきか否かを判断する（ステップＳ４０３）。ステップＳ４０３において処理部３０は、グローバルモデル５１を配布した配布先のノード１全てからローカルモデル５２を取得できた場合に更新すべきであると判断してもよい。ステップＳ４０３において処理部３０は、予め決定しておいた代表的の複数のノード１からローカルモデル５２を取得できた場合に更新すべきであると判断してもよい。

【0082】

更新すべきでないと判断された場合（Ｓ４０３：ＮＯ）、サーバ３の処理部３０は処理をステップＳ４０１へ戻す。更新すべきであると判断されるまで、各ノード１から送信されるローカルモデル５２を取得し、集約する。

【0083】

更新すべきであると判断された場合（Ｓ４０３：ＹＥＳ）、サーバ３の処理部３０は、複数のノード１からのローカルモデル５２の平均を求める（ステップＳ４０４）。処理部３０は、平均を新たなグローバルモデル５１として更新する（ステップＳ４０５）。

【0084】

処理部３０は、更新後のグローバルモデル５１を、ラウンド数（第ｎ次）を示すデータと対応付けて記憶し（ステップＳ４０６）、グローバルモデル５１の更新処理を終了する。これにより、第ｎ－１次グローバルモデル５１は、第ｎ次グローバルモデル５１に更新される。

【0085】

更新が完了したグローバルモデル５１は、各ノード１及び情報処理装置４から利用可能になる。図７は、ノード１で表示される画面例を示す。図７の更新結果画面４３１は、サーバ３から提供されるＷｅｂページに基づいてノード１の表示部１３に表示される。更新結果画面４３１には、配布可能なモデルとして記憶されたグローバルモデル５１の一覧が表示されている。更新結果画面４３１は、ノード１へサーバ３から自動的に配布された最新のグローバルモデル５１のモデル名及び更新日時を示す。

【0086】

サーバ３で更新が完了したグローバルモデル５１は、各ノード１及び情報処理装置４から、選択的に利用されてもよい。更新結果画面４３１は、グローバルモデル５１を識別するモデル名を表すテキストに、ダウンロードへのリンクを含んで選択可能にしてもよい。各々のグローバルモデル５１を識別するテキストにダウンロードのアイコン等のインタフェースが含まれていてもよい。更新結果画面４３１に対し、ノード１又は情報処理装置４のオペレータが、モデルのいずれかを選択することによって初めて、選択されたモデルがノード１に記憶されるようにしてもよい。この場合、配布可能なモデルとして提供されるグローバルモデル５１がノード１又は情報処理装置４でダウンロードされ、利用可能となる。なおこの場合、各モデルには、オペレータが選択するか否かを判断する基準となる評価や精度の情報が表示されていることが好ましい。

【0087】

上述したように第１の実施形態のモデル学習システム１００では、ローカルデータはサーバ３へ送信されることなしに、各所に記憶されているローカルデータを用いた学習結果に基づいてグローバルモデル５１が実用化される。各所のローカルデータのみでは、データ量が不足するような場合であっても、１箇所に集約させた大量のデータによる学習よりも精度よく、且つ早期に実用可能なモデルを提供することが可能になる。

【0088】

（第２の実施形態）
第２の実施形態におけるモデル学習システム１００は、学習完了条件を満たすための判断処理が、第１の実施形態と異なる。第２の実施形態におけるモデル学習システム１００の構成は、上述の判断処理の詳細を除いて第１の実施形態のモデル学習システム１００と同様の構成であるから、共通する構成については同一の符号を付して詳細な説明を省略する。

【0089】

図８は、第２の実施形態のモデル学習システム１００における学習処理手順の一例を示すフローチャートである。図８のフローチャートに示す処理手順の内、図４のフローチャートに示した処理手順と共通する手順については同一のステップ番号を付して詳細な説明を省略する。

【0090】

ステップＳ４でグローバルモデル５１を更新すると（Ｓ４）、サーバ３の処理部３０は、更新後のグローバルモデル５１を、複数のノード１へ送信する（ステップＳ５０１）。

【0091】

更新後のグローバルモデル５１を受信した複数のノード１は夫々、送信されたグローバルモデル５１を用いて、記憶装置２からローカルデータを読み出し、入力データに対する精度評価を実行する。ノード１の処理部１０は、ローカルデータの入力データを入力した場合の精度を算出し、サーバ３へ送信する。処理部１０は、精度として、ローカルデータにおける入力データをグローバルモデル５１に入力した場合の出力データと、ローカルデータにおいて入力データに対応する出力データとの合致率を算出してもよい。処理部１０は、ノード１のオペレータから操作部１４を介して精度評価を受け付けてもよい。

【0092】

サーバ３の処理部３０は、各ノード１から送信される評価値を取得し（ステップＳ５０２）、複数のノード１から取得した評価値から総評価値を算出する（ステップＳ５０３）。ステップＳ５０３において処理部３０は、精度の平均値を算出してもよいし、合致率の平均でもよいし、オペレータから受けた評価の平均を求めてもよい。

【0093】

処理部３０は、算出した総評価値が所定の基準を満たすか否かを判断し（ステップＳ５０４）、所定の基準を満たすと判断された場合（Ｓ５０４：ＹＥＳ）、処理をステップＳ７へ進める。ステップＳ５０４において処理部３０は、グローバルモデル５１の更新を停止するか否かを判断してもよい。

【0094】

所定の基準を満たさないと判断された場合（Ｓ５０４：ＮＯ）、処理部３０は処理をステップＳ６へ進める。

【0095】

ステップＳ５０４において所定の基準とは例えば、評価値が精度であって、評価値がその平均の場合、その値に対する閾値であることである。その他、所定の条件は、評価がＡ，Ｂ，Ｃ評価である場合にはＢ以上であることであってもよいし、評価に対する良／可／不可等の条件であってもよい。また所定の条件は、精度が安定することであってもよい。評価値の変化が学習の進行に応じて小さくなった場合に、所定の条件を満たすとしてもよい。

【0096】

評価をノード１におけるローカルデータを用いた有用性に基づいて導出し、各ノード１で精度が認められる場合に配布可能なモデルとして提供することができる。

【0097】

（第３の実施形態）
第３の実施形態では、サーバ３が、過去の更新後のグローバルモデル５１と比較して、分配するグローバルモデル５１を決定する。第３の実施形態のモデル学習システム１００の構成は、第１の実施形態のモデル学習システム１００の構成と同様であるから、共通する構成については同一の符号を付して詳細な説明を省略する。

【0098】

図９及び図１０は、第３の実施形態のモデル学習システム１００における学習処理手順の一例を示すフローチャートである。図９及び図１０のフローチャートに示す処理手順の内、第２の実施形態の図８のフローチャートに示した処理手順と共通する手順については同一のステップ番号を付して詳細な説明を省略する。

【0099】

サーバ３は、ステップＳ４で更新した後のグローバルモデル５１と、更新前のグローバルモデル５１とを各ノード１へ送信する（ステップＳ５１１）。

【0100】

サーバ３は、送信先の複数のノード１から、各々のグローバルモデル５１の評価値を取得し（ステップＳ５１２）、総評価値を算出する（ステップＳ５１３）。サーバ３は、ラウンド情報と対応付けて、更新後のグローバルモデル５１、及び総評価値を、記憶部３１に記憶する（ステップＳ５１４）。ラウンド情報は、１回の学習（バージョン）が完了するまでの間に何度目に更新されたグローバルモデル５１であるかを示すデータであり、第ｎ次の「ｎ」の情報である。

【0101】

サーバ３は、ステップＳ５１３で算出した、更新後のグローバルモデル５１に対して算出した総評価値と、更新前のグローバルモデル５１に対する総評価値とを比較する（ステップＳ５１５）。

【0102】

ステップＳ５１５においてサーバ３は、総評価値が数値である場合には値同士を比較してもよいし、総評価値が、複数段階の評価である場合には評価内容同士を比較してもよい。ステップＳ５１５においてサーバ３は、過去の更新後のグローバルモデル５１を廃棄せずに記憶している場合、３つ以上のグローバルモデル５１に対する総評価値を比較してもよい。

【0103】

サーバ３は、評価が高い方のグローバルモデル５１を、分配対象の最新のグローバルモデル５１として決定する（ステップＳ５１６）。サーバ３は、評価が低い方のグローバルモデル５１を、記憶部３１から削除（廃棄）してもよい。

【0104】

サーバ３は、決定したグローバルモデル５１に対してステップＳ５１３で算出した総評価値が所定の基準を満たすか否かを判断する（ステップＳ５１７）。所定の基準は、評価値が精度であって、総評価値がその平均である場合、その値に対する閾値であることである。その他、所定の条件は、評価がＡ，Ｂ，Ｃ評価である場合にはＢ以上であることであってもよいし、評価に対する良／可／不可等の条件であってもよい。また所定の条件は、精度が安定することであってもよい。評価値の変化が学習の進行に応じて小さくなった場合に、所定の条件を満たすとしてもよい

【0105】

所定の基準を満たさないと判断された場合（Ｓ５１７：ＮＯ）、サーバ３は、分配対象のグローバルモデル５１を各ノード１へ再配布し（ステップＳ５１８）、処理をステップＳ３へ戻す。

【0106】

所定の基準を満たすと判断された場合（Ｓ５１７：ＹＥＳ）、サーバ３は、決定したグローバルモデル５１を他の装置へも配布可能なモデルとして記憶部３１に記憶し（ステップＳ５１９）、処理をステップＳ８へ進める。

【0107】

図１１は、第３の実施形態のモデル学習の概要図である。図１１の概要図では、サーバ３が、グローバルモデルの更新時に、前回の更新後の第ｎ次グローバルモデルモデル５１が、今回の更新後の第ｎ＋１次グローバルモデル５１よりも評価が高い場合に、前回の第ｎ次グローバルモデル５１を選択することを示している。図１のモデル学習システムの概要図と比較して、グローバルモデル５１が常に、更新されるものが連綿と採用されるのではないことが示されている。

【0108】

１回のグローバルモデル５１の更新の間に、各ノード１ではローカルデータが増加している、又は、更新されている。前回更新された第ｎ次グローバルモデル５１が採用され続けたとしても、各ノード１でアクセス可能なローカルデータに基づく評価が変化し得る。同一のグローバルモデル５１でも、評価が高くなるグローバルモデル５１が得られる。

【0109】

これにより、精度が良くなるように分散学習を進めることが可能になる。

【0110】

（第４の実施形態）
第４の実施形態では、各ノード１で学習されたローカルモデル５２に基づくグローバルモデル５１の更新方法が第１～第３の実施形態で説明した方法と異なる。第４の実施形態におけるモデル学習システム１００の構成は、グローバルモデル５１の更新処理の詳細を除いて第１の実施形態のモデル学習システム１００と同様の構成であるから、共通する構成については同一の符号を付して詳細な説明を省略する。

【0111】

第４の実施形態のモデル学習システム１００では、サーバ３は第１の実施形態の図４のフローチャートに示した処理手順、第２の実施形態の図８のフローチャートに示した処理手順、第３の実施形態の図９及び図１０のフローチャートに示した処理手順のいずれかの学習処理手順を実行する。第４の実施形態では、それらの処理手順の内、ステップＳ４の更新処理が異なる。また、更新処理が異なることに対応して、ノード１から送信されるデータ内容も第１の実施形態での説明と異なる。

【0112】

図１２は、第４の実施形態のノード１におけるローカルモデル５２の学習処理手順の一例を示すフローチャートである。図１２のフローチャートに示す処理手順の内、第１の実施形態における図６のフローチャートに示した処理手順と共通する手順については同一のステップ番号を付して詳細な説明を省略する。

【0113】

ノード１の処理部１０は、記憶装置２からその時点で記憶されているローカルデータを取得し（Ｓ３０３）、ローカルデータのデータ量（データ件数）を算出し（ステップＳ３１３）、処理をステップＳ３０４へ進める。

【0114】

ノード１の処理部１０は、学習を実行する都度（Ｓ３０４）、学習量を算出し（ステップＳ３１４）、学習完了条件を満たすか否かを判断する（Ｓ３０５）。

【0115】

ステップＳ３１４において処理部１０は、学習の繰り返し回数を学習量として算出してもよいし、前回のラウンドにおけるローカルモデル５２からの精度の向上度合いを学習量として算出してもよいし、ローカルモデル５２の変化量を学習量として算出してもよい。

【0116】

ステップＳ３０５において処理部１０は、学習の結果、ローカルデータに対するニューラルネットワークからの出力データの精度が所定の条件を満たす、例えば精度が所定値以上である場合に、学習完了条件を満たすと判断してもよい。処理部１０は、学習量（学習回数）が所定量（所定回数）以上である場合に学習完了条件を満たすと判断してもよい。

【0117】

ノード１の処理部１０は、学習したローカルモデル５２と共に、ステップＳ３１３で算出したデータ量、又は、カウントされている学習量をサーバ３へ送信し（ステップＳ３１５）、処理を終了する。これにより、サーバ３は、複数のノード１夫々から、ローカルデータで学習されたローカルモデル５２と共に、元となるローカルデータのデータ量、又は、学習量を取得することができる。

【0118】

第４の実施形態においても、ノード１からは、ローカルデータのデータ量は送信されても、データ自体がサーバ３へ送信されることがない。

【0119】

図１３は、第４の実施形態のサーバ３におけるグローバルモデル５１の更新処理の一例を示すフローチャートである。図１３のフローチャートに示す処理手順の内、第１の実施形態の図７のフローチャートに示した処理手順と共通する手順については同一のステップ番号を付して詳細な説明を省略する。

【0120】

サーバ３の処理部３０は、各ノード１から送信されるローカルモデル５２、及びデータ量又は学習量を取得し（ステップＳ４１１）、ノード１の識別データと対応付けてローカルモデル５２、及びデータ量又は学習量を記憶する（ステップＳ４１２）。ステップＳ４１１においてサーバ３の処理部３０は、非同期に、各ノード１から送信されるローカルモデル５２を取得する。

【0121】

処理部３０は、更新すべきであると判断された場合（Ｓ４０３：ＹＥＳ）、サーバ３の処理部３０は、複数のノード１からのローカルモデル５２に、データ量又は学習量の重みを付与した加重平均を求める（ステップＳ４１４）。処理部３０は、ローカルモデル５２の加重平均を、新たなグローバルモデル５１として更新する（ステップＳ４１５）。

【0122】

処理部３０は、更新後のグローバルモデル５１を、ラウンド情報を示すデータと対応付けて記憶し（Ｓ４０６）、グローバルモデル５１の更新処理を終了する。

【0123】

更新後のグローバルモデル５１の精度が所定の基準を満たすまで、図１３のフローチャートに示した更新処理を継続する。

【0124】

第４の実施形態における更新方法によって、データ量が異なるローカルデータによって学習されたモデルを、データ量に応じて扱い、適切に評価することが可能になる。また、異なる学習量のローカルモデル５２を単純平均するよりも、グローバルモデル５１の性能の向上が期待できる。

【0125】

（第５の実施形態）
モデル学習システム１００は、ニューラルネットワークを始めとする深層学習のモデルに適用できる。例えば、入力データは画像データであり、出力データは画像データの画像に写っている被写体の検出結果、又は被写体に対する判定結果である。他の例では、入力データは、入出金データであり、出力データは評価等の判定結果、あるいは企業業況変化（成長または劣化）に関する予測値や経済予測に関する予測値である。他の例では、入力データは、工場、生産設備に設けられた各種センサからの測定データであり、出力データは異常／正常を含む生産管理に関するデータである。他の例では、入力データはテキストデータであり、出力データは判定結果、または予測データである。

【0126】

第５の実施形態では、モデル学習システム１００を、医療施設にて患者に関して得られる医療データから、患者に特定の病気の症状が発生しているか否かの診断を支援するデータを出力するモデルの学習に適用させた例を挙げて説明する。以下の説明では、医療データは、例えば検査で撮影された眼底写真の画像データである。

【0127】

図１４は、第５の実施形態のモデル学習システム１００の概要図である。第５の実施形態におけるモデル学習システム１００の構成は基本的に、第１の実施形態のモデル学習システム１００と同様である。第５の実施形態のモデル学習システム１００の内、第１の実施形態のモデル学習システム１００と共通する構成については同一の符号を付して詳細な説明を省略する。

【0128】

第５の実施形態においてノード１及び情報処理装置は、医療施設に設けられている。ノード１及び情報処理装置は、患者の眼底写真を撮影する撮影装置から得られる画像データを取得できる。ノード１が設けられている医療施設では、撮影装置は記憶装置２に対して画像データを出力する。撮影装置は、異なる種類の装置を含む。

【0129】

第５の実施形態においてグローバルモデル５１、ローカルモデル５２及び配布可として記憶されるモデルは、画像データが入力された場合に、緑内障の診断を支援するデータ及び精度を出力するように学習されるモデルである。トレーニングデータとして用いられるローカルデータは、入力データとして画像データと、出力データとして眼底写真におけるDisc部分とCup部分とをセグメンテーションした結果の画像データである。出力データはその他、症状がみられるか否かを医師又は技師が判定した判定結果を含むデータセットであってもよい。ローカルデータの入力データである画像データは、撮影装置の種類を示す装置データと対応付けられている。装置データは型番でもよいし、装置メーカを識別するデータであってもよい。

【0130】

第５の実施形態においてモデル学習システム１００では、サーバ３が予め特定の医療施設で複数の異なるアーキテクチャで作成された初期的なグローバルモデル（第０次グローバルモデル）５１を取得する。サーバ３は、異なるアーキテクチャの第０次グローバルモデル５１を、トレーニングに協力する医療施設のノード１へ各配布する。

【0131】

各ノード１は、配布された複数の第０次グローバルモデル５１を受信し、異なる第０次グローバルモデル５１に基づいてそれぞれ、ローカルデータをトレーニングデータとして学習を進行し、複数の第１次ローカルモデル５２を得る。ノード１は、異なるアーキテクチャで学習された第１次ローカルモデル５２をサーバ３へ送信する。

【0132】

サーバ３は、各ノード１から取得したローカルモデル５２を、異なるアーキテクチャ毎に、加重平均して第１次グローバルモデル５１を作成する。作成された第１次グローバルモデル５１を、サーバ３は、複数のノード１へ再配布する。

【0133】

サーバ３は、配布した第ｎ次グローバルモデル５１から作成される第（ｎ＋１）次ローカルモデル５２の取得、第（ｎ＋１）次ローカルモデル５２からの第（ｎ＋１）次グローバルモデル５１の更新を、異なるアーキテクチャ毎に繰り返す。

【0134】

サーバ３は、異なるアーキテクチャ毎に繰り返して得られたグローバルモデル５１を、相互に比較し、精度がより高いアーキテクチャのグローバルモデル５１を選択し、配布可能なモデルとしてノード１及び情報処理装置へ提供する。

【0135】

これにより、個人情報そのものである検査結果の画像データが、サーバ３へ集約されることなく、且つ、異なる医療施設に亘って多くのデータを用いて学習することが可能になる。

【0136】

図１５は、第５の実施形態のモデル学習システム１００における学習処理手順の一例を示すフローチャートである。

【0137】

サーバ３は、特定の医療施設にて、異なるアーキテクチャで作成された初期的な（第０次）グローバルモデル５１を取得する（ステップＳ２０１）。ステップＳ２０１の取得は、予め記憶部３１に記憶されているグローバルモデル５１の読み出しを含む。

【0138】

サーバ３は、取得した複数の第０次グローバルモデル５１を各ノード１へ配布する（ステップＳ２０２）。

【0139】

サーバ３は、ノード１へ配布したグローバルモデル５１を基に、異なるアーキテクチャ毎に、ノード１で学習されるローカルモデル５２を取得する（ステップＳ２０３）。

【0140】

サーバ３は、取得したローカルモデル５２に対し、異なるアーキテクチャ毎に、統計処理を実行し、次世代のグローバルモデル５１に更新する（ステップＳ２０４）。ステップＳ２０４においてサーバ３は、更新の回数を加算するとよい。

【0141】

サーバ３は、学習完了条件を満たすか否かを判断する（ステップＳ２０５）。

【0142】

ステップＳ２０５についてサーバ３は例えば、更新回数（ラウンド数）が所定回数に到達したか否かで判断する。サーバ３は、特定のノード１におけるローカルデータの入力データを異なるアーキテクチャのグローバルモデル５１に入力した場合に、いずれか複数のグローバルモデル５１において、対応する出力データを出力する精度が所定の条件を満たすか否かで判断してもよい。学習完了条件は、第２から第４の実施形態で示したように、各ノード１へ送信したグローバルモデル５１に対する評価値から総評価値を算出し、総評価値が所定の基準を満たすことであってもよい。

【0143】

学習完了条件を満たさないと判断された場合（Ｓ２０５：ＮＯ）、サーバ３は、更新後の各アーキテクチャのグローバルモデル５１を複数のノード１へ再分配し（ステップＳ２０６）、処理をステップＳ２０３へ戻す。

【0144】

学習完了条件を満たすと判断された場合（Ｓ２０５：ＹＥＳ）、サーバ３は、更新後の各アーキテクチャのグローバルモデル５１から、１又は複数、配布可能なグローバルモデル５１として選択する（ステップＳ２０７）。ステップＳ２０７においてサーバ３は例えば、精度が比較的高い１又は複数のグローバルモデル５１を選択する。

【0145】

サーバ３は、記憶したグローバルモデル５１を複数のノード１又は他の情報処理装置へ送信し（ステップＳ２０８）、処理を終了する。

【0146】

これにより、各医療施設の画像データに対しての精度が高く、実用性が高いアーキテクチャのモデルを、各医療施設で使用することができる。一旦配布可能なモデルとして送信されるグローバルモデル５１についても、サーバ３は以後、図１５のフローチャートに示した処理を実行してバージョンを更新するとよい。

【0147】

図１６は、第５の実施形態におけるローカルモデル５２の学習処理手順の一例を示すフローチャートである。図１６のフローチャートに示す処理は、サーバ３がステップＳ２０２又はステップＳ２０６でグローバルモデル５１を配布した場合に、複数のノード１夫々で実行する処理である。図１６のフローチャートに示す処理手順の内、第１の実施形態の図６のフローチャートに示した処理手順と共通する手順については同一の符号を付して詳細な説明を省略する。

【0148】

ノード１の処理部１０は、配布されたグローバルモデル５１を受信及び記憶すると（Ｓ３０１）、アーキテクチャ毎に、Ｓ３０２からＳ３０５の処理を実行する。処理部１０は、学習後のグローバルモデル５１を、ローカルモデル５２として、アーキテクチャを識別するデータと対応付けて記憶する（ステップＳ３１６）。

【0149】

処理部１０は、学習を完了させた時点における前記ローカルモデル５２の出力精度の評価を、ローカルデータに基づいて算出する（ステップＳ３１７）。ステップＳ３１７で処理部１０は、ローカルモデル５２にローカルデータの入力データを与えた場合に出力される精度の平均を精度評価として算出してよい。処理部１０は、ローカルデータをローカルモデル５２に入力した場合の出力データがトレーニングデータの出力データと合致する合致率を、精度評価として算出してもよい。処理部１０は、精度評価を操作部１４にて受け付けてもよい。

【0150】

処理部１０は、全てのアーキテクチャについて学習を完了したか否か判断する（ステップＳ３１８）。

【0151】

学習が完了していないと判断された場合（Ｓ３１８：ＮＯ）、処理部１０は処理をステップＳ３０２へ戻し、次のアーキテクチャについてステップＳ３０２からＳ３１７の処理を実行する。

【0152】

全てのアーキテクチャについて学習が完了したと判断された場合（Ｓ３１８：ＹＥＳ）、ノード１の処理部１０は、記憶したローカルモデル５２及びその精度の評価を、ローカルデータの特性である装置データと対応付けてサーバ３へ送信する（ステップＳ３１９）。そして処理部１０はノード１における第ｎ次の学習処理を終了する。

【0153】

これにより、サーバ３は、複数のノード１夫々から、ローカルデータで学習されたローカルモデル５２を取得することができる。ローカルデータそのものはサーバ３へ送信されないが、ローカルデータの品質が、サーバ３で区別できるようになる。

【0154】

図１７は、第５の実施形態のサーバ３におけるグローバルモデル５１の更新処理の一例を示すフローチャートである。図１７のフローチャートに示す処理手順は、図１５のフローチャートに示した処理手順の内のステップＳ２０４の詳細に対応する。図１７のフローチャートに示す処理手順の内、第１の実施形態の図６のフローチャートに示した処理手順と共通する手順については同一のステップ番号を付して詳細な説明を省略する。

【0155】

サーバ３の処理部３０は、ノード１から送信されるアーキテクチャ毎のローカルモデル５２及び精度評価、並びに装置データを取得する（ステップＳ４２１）。処理部３０は、取得したアーキテクチャ毎のローカルモデル５２及びノード１における精度評価、並びに装置データを、ノード１の識別コードと対応付けて記憶する（ステップＳ４２２）。

【0156】

更新すべきであると判断された場合（Ｓ４０３：ＹＥＳ）、サーバ３の処理部３０は、複数のノード１からのローカルモデル５２の内、精度評価が所定の評価よりも低いローカルモデル５２を除外する（ステップＳ４２３）。処理部３０は、除外後のローカルモデル５２に対して装置データに対応付けられている重みを付与した加重平均を、アーキテクチャ毎に求める（ステップＳ４２４）。処理部３０は、ローカルモデル５２の加重平均を、アーキテクチャ毎に、新たなグローバルモデル５１として更新する（ステップＳ４２５）。

【0157】

ステップＳ４２４において装置データに対応付けられている重みは、予め記憶部３１に記憶されている。装置が新しく、品質が高い画像データのローカルデータから学習されたローカルモデル５２については、重みを大きくし、古い装置から得られる画像データのローカルデータから学習されたローカルモデル５２については、重みを小さくしてあってもよい。装置の医療施設への普及量が大きいほど、重みが大きくしてあり、汎用性の高いモデルが作成されるようにしてあってもよい。異なる品質で集められているローカルデータから学習されたローカルモデル５２を、そのまま平均した場合よりも、ローカルデータの品質に応じた重みをローカルモデル５２に付与して加重平均を算出する場合の精度の向上が期待できる。

【0158】

ステップＳ４２４では、精度評価が所定の評価よりも低いローカルモデル５２を除外することによって、評価に応じた重みを考慮したグローバルモデル５１を作成することができる。なお所定の評価については、予めサーバ３のオペレータによって閾値が設定されてもよい。ノード１経由で、サーバ３のオペレータからのアクセスを許可して、ローカルモデル５２の評価を受け付けてもよい。

【0159】

ステップＳ４２４において、上述の例では、重みは、装置データに対応付けられているデータが採用された。これに限られず、ローカルデータに対するアノテーションの正確性についての評価を、各ノード１で記憶しておき、サーバ３は、その評価の高低に応じた重みによって加重平均を算出してもよい。アノテーションの正確性についての評価は、ノード１の管理者によって実行されてもよい。

【0160】

処理部３０は、ステップＳ４２５で更新したグローバルモデル５１を、アーキテクチャ毎に、記憶部３１に記憶し（ステップＳ４２６）、処理を終了する。

【0161】

第５の実施形態では、ローカルデータは医療データであるから、ステップＳ４２４の加重平均で用いられる重みは、医療データの属性に応じて付与されてもよい。例えば、患者の男女比、年齢分布、又は地域性等に応じた重みが付与されてもよい。これらの抽象化されたデータについてはローカルモデル５２に反映されてもよい。

【0162】

第５の実施形態では、更新後のグローバルモデル５１が学習完了条件を満たすまで、図１７のフローチャートに示した更新処理を継続する。

【0163】

第５の実施形態における更新方法によって、品質が異なるローカルデータによって学習されたモデルを、データの品質に応じて重みを変えて統合することができる。異なる品質のローカルモデル５２を単純平均するよりも、グローバルモデル５１の性能の向上が期待できる。

【0164】

第５の実施形態における更新方法によって、異なるアーキテクチャのＣＮＮのいずれを用いたグローバルモデル５１が最も適切であるかが評価されて実用可能となる。

【0165】

上述のように開示された実施の形態は全ての点で例示であって、制限的なものではない。本発明の範囲は、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての変更が含まれる。

【符号の説明】

【0166】

１ ノード
１０ 処理部
２ 記憶装置
３ サーバ
３０ 処理部
５１ グローバルモデル
５２ ローカルモデル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】