ホーム > 特許ランキング > 日本電信電話株式会社
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-12
(45)【発行日】2022-12-20
(54)【発明の名称】分散処理システムおよび分散処理方法
(51)【国際特許分類】
G06N 3/08 20060101AFI20221213BHJP
【ＦＩ】
G06N3/08
【請求項の数】
4
(21)【出願番号】P 2021524503
(86)(22)【出願日】2019-06-03
(86)【国際出願番号】 JP2019021943
(87)【国際公開番号】W WO2020245864
(87)【国際公開日】2020-12-10
【審査請求日】2021-10-18
(73)【特許権者】
【識別番号】000004226
【氏名又は名称】日本電信電話株式会社
(74)【代理人】
【識別番号】100098394
【弁理士】
【氏名又は名称】山川 茂樹
(74)【代理人】
【識別番号】100153006
【弁理士】
【氏名又は名称】小池 勇三
(74)【代理人】
【識別番号】100064621
【弁理士】
【氏名又は名称】山川 政樹
(74)【代理人】
【識別番号】100121669
【弁理士】
【氏名又は名称】本山 泰
(72)【発明者】
【氏名】川合 健治
(72)【発明者】
【氏名】加藤 順一
(72)【発明者】
【氏名】ゴー フィクー
(72)【発明者】
【氏名】有川 勇輝
(72)【発明者】
【氏名】伊藤 猛
(72)【発明者】
【氏名】坂本 健
【審査官】福西 章人
(56)【参考文献】
【文献】特開２０１８－３６７７９（ＪＰ，Ａ）
【文献】特開２０１９－８０２３２（ＪＰ，Ａ）
【文献】特開平５－１０８５９５（ＪＰ，Ａ）
【文献】特開２０１８－１８２２０（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ３／００－９９／００
Ｇ０６Ｆ １５／１７３
(57)【特許請求の範囲】
【請求項1】
リング状に配置され、隣接するノードと通信路を介して互いに接続されたＮ個（Ｎは２以上の整数）の分散処理ノードを備え、ｎ番目（ｎ＝１，・・・，Ｎ）の分散処理ノードは、それぞれｎ+番目（ｎ+＝ｎ＋１、ただしｎ＝Ｎの場合はｎ+＝１）の分散処理ノード、ｎ-番目（ｎ-＝ｎ－１、ただしｎ＝１の場合はｎ-＝Ｎ）の分散処理ノードと双方向の通信が同時に可能なＭ個（Ｍは２以上の整数）の通信部を備え、
各分散処理ノードは、学習対象のニューラルネットワークの重み毎の分散データをＭグループ分生成し、
Ｎ個の分散処理ノードのうち、予め指定された１番目の分散処理ノードは、自ノードで生成されたＭグループ分の分散データを第１の集計データとして、これらの第１の集計データを自ノードのグループ毎の前記通信部からグループ毎の前記通信路を介して２番目の分散処理ノードに向けて送信し、
Ｎ個の分散処理ノードのうち、前記１番目を除くｋ番目（ｋ＝２，・・・，Ｎ）の分散処理ノードは、（ｋ－１）番目の分散処理ノードから自ノードの前記Ｍ個の通信部を介して受信したグループ毎の第１の集計データと自ノードで生成されたグループ毎の分散データとの和を、重み毎およびグループ毎に求めて更新後の第１の集計データを生成し、これらの第１の集計データを自ノードのグループ毎の前記通信部からグループ毎の前記通信路を介してｋ+番目（ｋ+＝ｋ＋１、ただしｋ＝Ｎの場合はｋ+＝１）の分散処理ノードに向けて送信し、
前記１番目の分散処理ノードは、Ｎ番目の分散処理ノードから自ノードの前記Ｍ個の通信部を介して受信したグループ毎の第１の集計データを第２の集計データとして、これらの第２の集計データを自ノードのグループ毎の前記通信部からグループ毎の前記通信路を介して前記Ｎ番目の分散処理ノードに向けて送信し、
前記ｋ番目の分散処理ノードは、ｋ+番目の分散処理ノードから自ノードの前記Ｍ個の通信部を介して受信したグループ毎の第２の集計データを自ノードのグループ毎の前記通信部からグループ毎の前記通信路を介して（ｋ－１）番目の分散処理ノードに向けて送信し、
前記１番目の分散処理ノードは、２番目の分散処理ノードから自ノードの前記Ｍ個の通信部を介して第２の集計データを受信し、
各分散処理ノードは、受信した前記第２の集計データに基づいて前記ニューラルネットワークの重みを更新することを特徴とする分散処理システム。
【請求項2】
請求項１記載の分散処理システムにおいて、各分散処理ノードは、
前記Ｍ個の通信部と、
前記重み毎の分散データを生成するように構成されたノード内集計処理部と、
前記ノード内集計処理部によって生成された分散データをＭグループ分に分割するように構成されたデータ分割部と、
自ノードが前記ｋ番目の分散処理ノードとして機能する場合に、前記更新後の第１の集計データを生成するように構成された集計データ生成部と、
受信した前記第２の集計データに基づいて前記ニューラルネットワークの重みを更新するように構成された重み更新処理部とを備えることを特徴とする分散処理システム。
【請求項3】
請求項１記載の分散処理システムにおいて、各分散処理ノードは、
前記Ｍ個の通信部と、
内部通信路を介して前記Ｍ個の通信部と接続されたＭ個の分散データ生成部とを備え、
各分散データ生成部は、
グループ毎の前記分散データを生成するように構成されたノード内集計処理部と、
自ノードが前記ｋ番目の分散処理ノードとして機能する場合に、前記更新後の第１の集計データをグループ毎に生成するように構成された集計データ生成部と、
受信した前記第２の集計データに基づいて前記ニューラルネットワークの重みを更新するように構成された重み更新処理部とを備え、
各分散データ生成部は、グループ毎の前記分散データを前記内部通信路を介して対応する前記通信部に転送し、
各通信部は、グループ毎の前記第１、第２の集計データを前記内部通信路を介して対応する前記分散データ生成部に転送することを特徴とする分散処理システム。
【請求項4】
リング状に配置され、隣接するノードと通信路を介して互いに接続されたＮ個（Ｎは２以上の整数）の分散処理ノードを備え、ｎ番目（ｎ＝１，・・・，Ｎ）の分散処理ノードが、それぞれｎ+番目（ｎ+＝ｎ＋１、ただしｎ＝Ｎの場合はｎ+＝１）の分散処理ノード、ｎ-番目（ｎ-＝ｎ－１、ただしｎ＝１の場合はｎ-＝Ｎ）の分散処理ノードと双方向の通信が同時に可能なＭ個（Ｍは２以上の整数）の通信部を備えたシステムにおける分散処理方法であって、各分散処理ノードが、学習対象のニューラルネットワークの重み毎の分散データをＭグループ分生成する第１のステップと、
Ｎ個の分散処理ノードのうち、予め指定された１番目の分散処理ノードが、自ノードで生成されたＭグループ分の分散データを第１の集計データとして、これらの第１の集計データを自ノードのグループ毎の前記通信部からグループ毎の前記通信路を介して２番目の分散処理ノードに向けて送信する第２のステップと、
Ｎ個の分散処理ノードのうち、前記１番目を除くｋ番目（ｋ＝２，・・・，Ｎ）の分散処理ノードが、（ｋ－１）番目の分散処理ノードから自ノードの前記Ｍ個の通信部を介して受信したグループ毎の第１の集計データと自ノードで生成されたグループ毎の分散データとの和を、重み毎およびグループ毎に求めて更新後の第１の集計データを生成し、これらの第１の集計データを自ノードのグループ毎の前記通信部からグループ毎の前記通信路を介してｋ+番目（ｋ+＝ｋ＋１、ただしｋ＝Ｎの場合はｋ+＝１）の分散処理ノードに向けて送信する第３のステップと、
前記１番目の分散処理ノードが、Ｎ番目の分散処理ノードから自ノードの前記Ｍ個の通信部を介して受信したグループ毎の第１の集計データを第２の集計データとして、これらの第２の集計データを自ノードのグループ毎の前記通信部からグループ毎の前記通信路を介して前記Ｎ番目の分散処理ノードに向けて送信する第４のステップと、
前記ｋ番目の分散処理ノードが、ｋ+番目の分散処理ノードから自ノードの前記Ｍ個の通信部を介して受信したグループ毎の第２の集計データを自ノードのグループ毎の前記通信部からグループ毎の前記通信路を介して（ｋ－１）番目の分散処理ノードに向けて送信する第５のステップと、
前記１番目の分散処理ノードが、２番目の分散処理ノードから自ノードの前記Ｍ個の通信部を介して第２の集計データを受信する第６のステップと、
各分散処理ノードが、受信した前記第２の集計データに基づいて前記ニューラルネットワークの重みを更新する第７のステップとを含むことを特徴とする分散処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、複数の分散処理ノードを備える分散処理システムに係り、特に、各分散処理ノードから数値データを集計して集計データを生成し、各分散処理ノードに集計データを分配する分散処理システムおよび分散処理方法に関するものである。
【背景技術】
【0002】
深層学習では、多層のニューロンモデルからなる学習対象について、各ニューロンモデルの重み（前段のニューロンモデルが出力した値に乗じる係数）を、入力したサンプルデータに基づいて更新することにより、推論精度を改善する。
【0003】
通常、推論精度を改善する手法には、ミニバッチ法が用いられている。ミニバッチ法では、サンプルデータ毎に前記重みに対する勾配を計算する勾配計算処理と、複数の異なるサンプルデータについて前記勾配を集計する（サンプルデータ毎に得られた勾配を重み別に合算する）集計処理と、各重みを前記集計された勾配に基づいて更新する重み更新処理と、を繰り返す。
【0004】
これらの処理、特に勾配計算処理は、多数回の演算を必要とするが、推論精度を向上させるために、重みの個数や入力するサンプルデータの個数が増加すると、深層学習に要する時間が増大するという、課題がある。
【0005】
勾配計算処理を高速化するため、分散処理の手法が用いられている。具体的には、複数の分散処理ノードを設け、各ノードは、各々異なるサンプルデータについて勾配計算処理を行う。これにより、ノード数に比例して単位時間に処理できるサンプルデータ数を増加させることが可能となるため、勾配計算処理を高速化できる（非特許文献１参照）。
【0006】
深層学習の分散処理において、集計処理を行うためには、各分散処理ノードがサンプルデータ毎に重みに対する勾配を計算する勾配計算処理およびサンプルデータ毎に得られた勾配を重み別に合算するノード内集計処理と、各重みを前記集計された勾配に基づいて更新する重み更新処理との間に、分散処理ノード毎に得られたデータ（分散データ）を、集計処理を行うノードに転送するための通信（集約通信）と、集約通信により取得したデータに基づいて集計する処理（ノード間集計処理）と、各分散処理ノードから取得した集計したデータ（集計データ）を各分散処理ノードに分配するための通信（分配通信）と、が必要となる。
【0007】
上記の集約通信や分配通信に要する時間は、深層学習を単一ノードで実施するシステムでは不要であり、深層学習の分散処理を行う上で、処理速度を低下させる要因となっている。
近年、深層学習がより複雑な問題に適用されるようになってきており、重みの総数が増加する傾向にある。このため、分散データや集計データのデータ量が増大し、集約通信時間と分配通信時間が増大している。
近年、深層学習がより複雑な問題に適用されるようになってきており、重みの総数が増加する傾向にある。このため、分散データや集計データのデータ量が増大し、集約通信時間と分配通信時間が増大している。
【0008】
このように、深層学習の分散処理システムでは、集約通信時間と分配通信時間の増大によって、分散処理ノード数を増加させることにより、深層学習の高速化の効果が低下するという問題があった。
【0009】
図１３は、従来の分散処理システムにおける分散処理ノード数と深層学習の処理性能との関係を示しており、２００は分散処理ノード数と処理性能の理想的な関係（性能∝ノード数）を示し、２０１は分散処理ノード数と処理性能の実際の関係を示している。分散処理ノード数に比例してノード間集計処理の入力である分散データの総量は増大するが、実際の処理性能が分散処理ノード数に比例して向上しない理由は、集計処理ノードの通信速度が、このノードの通信ポートの物理速度以下に制限されるため、集約通信に要する時間が増大するためである。
【先行技術文献】
【非特許文献】
【0010】
【文献】秋葉 拓哉，“分散深層学習パッケージ ChainerMN 公開”，プリファードインフラストラクチャー（Preferred Infrastructure），２０１７年，インターネット＜https://research.preferred.jp/2017/05/chainermn-beta-release/＞
【発明の概要】
【発明が解決しようとする課題】
【0011】
本発明は、上記のような事情を考慮してなされたものであり、その目的は、複数の分散処理ノードを備える分散処理システムおいて、深層学習に適用した場合に効果的な分散処理を行うことができる分散処理システムおよび分散処理方法を提供することにある。
【課題を解決するための手段】
【0012】
本発明の分散処理システムは、リング状に配置され、隣接するノードと通信路を介して互いに接続されたＮ個（Ｎは２以上の整数）の分散処理ノードを備え、ｎ番目（ｎ＝１，・・・，Ｎ）の分散処理ノードは、それぞれｎ+番目（ｎ+＝ｎ＋１、ただしｎ＝Ｎの場合はｎ+＝１）の分散処理ノード、ｎ-番目（ｎ-＝ｎ－１、ただしｎ＝１の場合はｎ-＝Ｎ）の分散処理ノードと双方向の通信が同時に可能なＭ個（Ｍは２以上の整数）の通信部を備え、各分散処理ノードは、学習対象のニューラルネットワークの重み毎の分散データをＭグループ分生成し、Ｎ個の分散処理ノードのうち、予め指定された１番目の分散処理ノードは、自ノードで生成されたＭグループ分の分散データを第１の集計データとして、これらの第１の集計データを自ノードのグループ毎の前記通信部からグループ毎の前記通信路を介して２番目の分散処理ノードに向けて送信し、Ｎ個の分散処理ノードのうち、前記１番目を除くｋ番目（ｋ＝２，・・・，Ｎ）の分散処理ノードは、（ｋ－１）番目の分散処理ノードから自ノードの前記Ｍ個の通信部を介して受信したグループ毎の第１の集計データと自ノードで生成されたグループ毎の分散データとの和を、重み毎およびグループ毎に求めて更新後の第１の集計データを生成し、これらの第１の集計データを自ノードのグループ毎の前記通信部からグループ毎の前記通信路を介してｋ+番目（ｋ+＝ｋ＋１、ただしｋ＝Ｎの場合はｋ+＝１）の分散処理ノードに向けて送信し、前記１番目の分散処理ノードは、Ｎ番目の分散処理ノードから自ノードの前記Ｍ個の通信部を介して受信したグループ毎の第１の集計データを第２の集計データとして、これらの第２の集計データを自ノードのグループ毎の前記通信部からグループ毎の前記通信路を介して前記Ｎ番目の分散処理ノードに向けて送信し、前記ｋ番目の分散処理ノードは、ｋ+番目の分散処理ノードから自ノードの前記Ｍ個の通信部を介して受信したグループ毎の第２の集計データを自ノードのグループ毎の前記通信部からグループ毎の前記通信路を介して（ｋ－１）番目の分散処理ノードに向けて送信し、前記１番目の分散処理ノードは、２番目の分散処理ノードから自ノードの前記Ｍ個の通信部を介して第２の集計データを受信し、各分散処理ノードは、受信した前記第２の集計データに基づいて前記ニューラルネットワークの重みを更新することを特徴とするものである。
【0013】
また、本発明は、リング状に配置され、隣接するノードと通信路を介して互いに接続されたＮ個（Ｎは２以上の整数）の分散処理ノードを備え、ｎ番目（ｎ＝１，・・・，Ｎ）の分散処理ノードが、それぞれｎ+番目（ｎ+＝ｎ＋１、ただしｎ＝Ｎの場合はｎ+＝１）の分散処理ノード、ｎ-番目（ｎ-＝ｎ－１、ただしｎ＝１の場合はｎ-＝Ｎ）の分散処理ノードと双方向の通信が同時に可能なＭ個（Ｍは２以上の整数）の通信部を備えたシステムにおける分散処理方法であって、各分散処理ノードが、学習対象のニューラルネットワークの重み毎の分散データをＭグループ分生成する第１のステップと、Ｎ個の分散処理ノードのうち、予め指定された１番目の分散処理ノードが、自ノードで生成されたＭグループ分の分散データを第１の集計データとして、これらの第１の集計データを自ノードのグループ毎の前記通信部からグループ毎の前記通信路を介して２番目の分散処理ノードに向けて送信する第２のステップと、Ｎ個の分散処理ノードのうち、前記１番目を除くｋ番目（ｋ＝２，・・・，Ｎ）の分散処理ノードが、（ｋ－１）番目の分散処理ノードから自ノードの前記Ｍ個の通信部を介して受信したグループ毎の第１の集計データと自ノードで生成されたグループ毎の分散データとの和を、重み毎およびグループ毎に求めて更新後の第１の集計データを生成し、これらの第１の集計データを自ノードのグループ毎の前記通信部からグループ毎の前記通信路を介してｋ+番目（ｋ+＝ｋ＋１、ただしｋ＝Ｎの場合はｋ+＝１）の分散処理ノードに向けて送信する第３のステップと、前記１番目の分散処理ノードが、Ｎ番目の分散処理ノードから自ノードの前記Ｍ個の通信部を介して受信したグループ毎の第１の集計データを第２の集計データとして、これらの第２の集計データを自ノードのグループ毎の前記通信部からグループ毎の前記通信路を介して前記Ｎ番目の分散処理ノードに向けて送信する第４のステップと、前記ｋ番目の分散処理ノードが、ｋ+番目の分散処理ノードから自ノードの前記Ｍ個の通信部を介して受信したグループ毎の第２の集計データを自ノードのグループ毎の前記通信部からグループ毎の前記通信路を介して（ｋ－１）番目の分散処理ノードに向けて送信する第５のステップと、前記１番目の分散処理ノードが、２番目の分散処理ノードから自ノードの前記Ｍ個の通信部を介して第２の集計データを受信する第６のステップと、各分散処理ノードが、受信した前記第２の集計データに基づいて前記ニューラルネットワークの重みを更新する第７のステップとを含むことを特徴とするものである。
【発明の効果】
【0014】
本発明によれば、集約通信（第１の集計データをｎ番目の分散処理ノードからｎ+番目の分散処理ノードに送信する処理）が完了するまで分配通信（第２の集計データをｎ番目の分散処理ノードからｎ-番目の各分散処理ノードに分配する処理）の開始を待つ必要がない。本発明では、集約通信中であっても、集計を終えたデータの一部から分配通信を開始することが可能であるため、集約通信を完了してから分配通信を開始するという従来技術と比較して、集約通信の開始から分配通信の完了までの時間を短縮することが可能であるため、より高速な深層学習の分散システムを提供することが可能である。また、本発明では、分散処理ノード間をＭ本の通信路で接続し、各分散処理ノードが備えるＭ個の通信部が各々集約通信と分配通信とを行う。このため、本発明では、各分散処理ノードが備える１個の通信部で集約通信と分配通信とを行う分散システムと比較すると、各通信路と各通信部とが転送するデータ量を１／Ｍに削減することができる。その結果、本発明では、データの転送に要する時間を大幅に短縮することが可能である。また、本発明では、１番目の分散処理ノードが第２の集計データの取得を完了した時点で他の分散処理ノードが第２の集計データの取得を完了したことが保証されるため、信頼性の高い深層学習の分散処理システムを提供することが可能である。
【図面の簡単な説明】
【0015】
【発明を実施するための形態】
【0016】
［第１の実施例］
以下、本発明の実施例について図面を参照して説明する。図１は本発明の第１の実施例に係る深層学習用分散処理システムの構成例を示すブロック図である。図１の分散処理システムは、Ｎ個（Ｎは２以上の整数）の分散処理ノード１［ｎ］（ｎ＝１，・・・，Ｎ）と、番号ｎの分散処理ノード１［ｎ］が次の番号ｎ+（ｎ+＝ｎ＋１、ただしｎ＝Ｎの場合はｎ+＝１）の分散処理ノード１［ｎ+］と互いに双方向に通信するためのＭ本（Ｍは２以上の整数）の通信路２［ｎ，ｍ］（ｎ＝１，・・・，Ｎ、ｍ＝１，・・・，Ｍ）とを備える。なお、任意の通信路２［ｎ，ｍ］には、伝送路の他に、通信を中継する中継処理ノードが任意に介在することも可能である。
以下、本発明の実施例について図面を参照して説明する。図１は本発明の第１の実施例に係る深層学習用分散処理システムの構成例を示すブロック図である。図１の分散処理システムは、Ｎ個（Ｎは２以上の整数）の分散処理ノード１［ｎ］（ｎ＝１，・・・，Ｎ）と、番号ｎの分散処理ノード１［ｎ］が次の番号ｎ+（ｎ+＝ｎ＋１、ただしｎ＝Ｎの場合はｎ+＝１）の分散処理ノード１［ｎ+］と互いに双方向に通信するためのＭ本（Ｍは２以上の整数）の通信路２［ｎ，ｍ］（ｎ＝１，・・・，Ｎ、ｍ＝１，・・・，Ｍ）とを備える。なお、任意の通信路２［ｎ，ｍ］には、伝送路の他に、通信を中継する中継処理ノードが任意に介在することも可能である。
【0017】
図２は分散処理ノード１［１］の構成例を示すブロック図である。分散処理ノード１［１］は、グループ毎に設けられ、双方向の通信が同時に可能なＭ個の通信部１０［１，ｍ］（ｎ＝１，・・・，Ｎ、ｍ＝１，・・・，Ｍ）と、図示しないデータ収集ノードから学習用のサンプルデータを受け取るサンプル入力部１６と、サンプルデータが入力されたときに、ニューラルネットワークの重みｗ［ｚ］の各々について、ニューラルネットワークの損失関数の勾配Ｇ［ｚ，１，ｓ］をサンプルデータ毎に計算する勾配計算処理部１７と、サンプルデータ毎の勾配Ｇ［ｚ，１，ｓ］を集計した数値である分散データＤ［ｚ，１］を重みｗ［ｚ］毎に生成して保持するノード内集計処理部１８と、集計データに基づいてニューラルネットワークの重みを更新する重み更新処理部２０と、ソフトウェア的に構築された数学モデルであるニューラルネットワーク２１と、ノード内集計処理部１８によって生成された分散データＤ［ｚ，１］をＭグループ分に分割するデータ分割部２２とを備えている。
【0018】
図３は分散処理ノード１［ｋ］（ｋ＝２，・・・，Ｎ）の構成例を示すブロック図である。分散処理ノード１［ｋ］は、グループ毎に設けられ、双方向の通信が同時に可能なＭ個の通信部１０［ｋ，ｍ］と、サンプル入力部１６と、サンプルデータが入力されたときに、ニューラルネットワークの重みｗ［ｚ］の各々について、ニューラルネットワークの損失関数の勾配Ｇ［ｚ，ｋ，ｓ］をサンプルデータ毎に計算する勾配計算処理部１７と、サンプルデータ毎の勾配Ｇ［ｚ，ｋ，ｓ］を集計した数値である分散データＤ［ｚ，ｋ］を重みｗ［ｚ］毎に生成して保持するノード内集計処理部１８と、受信した中間集計データと自ノードで生成された分散データＤ［ｚ，ｋ］との和を、重み毎およびグループ毎に求めて更新後の中間集計データを生成する集計データ生成部１９と、重み更新処理部２０と、ニューラルネットワーク２１と、ノード内集計処理部１８によって生成された分散データＤ［ｚ，ｋ］をＭグループ分に分割するデータ分割部２２とを備えている。
【0019】
各分散処理ノード１［ｎ］の通信部１０［ｎ，ｍ］は、それぞれ双方向の通信が同時に可能な通信ポート１００［ｎ，ｍ］と通信ポート１０１［ｎ，ｍ］とを備える。通信ポート１００［ｎ，ｍ］は、分散処理ノード１［ｎ］が分散処理ノード１［ｎ+］（ｎ+＝ｎ＋１、ただしｎ＝Ｎの場合はｎ+＝１）と双方向の通信を行うための通信ポートであり、通信路２［ｎ，ｍ］と接続される。また、通信ポート１０１［ｎ，ｍ］は、分散処理ノード１［ｎ］が分散処理ノード［ｎ-］（ｎ-＝ｎ－１、ただしｎ＝１の場合はｎ-＝Ｎ）と双方向の通信を行うための通信ポートであり、通信路２［ｎ-，ｍ］と接続される。
【0020】
図４は分散処理ノード１［ｎ］のサンプルデータ入力処理と勾配計算処理とノード内集計処理とを説明するフローチャートである。
各分散処理ノード１［ｎ］のサンプル入力部１６は、図示しないデータ収集ノードから異なるＳ個（Ｓは２以上の整数）のサンプルデータｘ［ｎ，ｓ］（ｓ＝１，・・・，Ｓ）をミニバッチ毎に入力する（図４ステップＳ１００）。
各分散処理ノード１［ｎ］のサンプル入力部１６は、図示しないデータ収集ノードから異なるＳ個（Ｓは２以上の整数）のサンプルデータｘ［ｎ，ｓ］（ｓ＝１，・・・，Ｓ）をミニバッチ毎に入力する（図４ステップＳ１００）。
【0021】
なお、本発明は、データ収集ノードによるサンプルデータの収集方法、および収集したサンプルデータをＮ個の集合に振り分けて各分散処理ノード１［ｎ］へ分配する方法に限定されるものではなく、これらの方法の如何を問わず適用が可能である。
【0022】
各分散処理ノード１［ｎ］の勾配計算処理部１７は、サンプルデータｘ［ｎ，ｓ］が入力されたとき、学習対象のニューラルネットワーク２１のｚ個（Ｚは２以上の整数）の重みｗ［ｚ］（ｚ＝１，・・・，Ｚ）の各々について、ニューラルネットワーク２１の損失関数の勾配Ｇ［ｚ，ｎ，ｓ］をサンプルデータｘ［ｎ，ｓ］毎に計算する（図４ステップＳ１０１）。
【0023】
ニューラルネットワーク２１を各分散処理ノード１［ｎ］にソフトウェアで構築する方法、ニューラルネットワーク２１の重みｗ［ｚ］、ニューラルネットワーク２１の性能の悪さを示す指標である損失関数、および損失関数の勾配Ｇ［ｚ，ｎ，ｓ］については周知の技術であるので、詳細な説明は省略する。
【0024】
続いて、各分散処理ノード１［ｎ］のノード内集計処理部１８は、サンプルデータ毎の勾配Ｇ［ｚ，ｎ，ｓ］を集計した数値である分散データＤ［ｚ，ｎ］（ｚ＝１，・・・，Ｚ）を、重みｗ［ｚ］毎に生成して保持する（図４ステップＳ１０２）。分散データＤ［ｚ，ｎ］の計算式は以下のとおりである。
【0025】
【数1】
【0026】
なお、ステップＳ１０１の勾配計算処理とステップＳ１０２のノード内集計処理とは、サンプルデータ単位でパイプライン化する（あるサンプルデータに対して勾配計算処理を行うと同時にその一つ前のサンプルデータから得た勾配を集計するノード内集計処理とを同時に実行する）ことができる。
【0027】
各分散処理ノード１［ｎ］のデータ分割部２２は、ノード内集計処理部１８によって生成されたＺ個の分散データＤ［ｚ，ｎ］をＭ個に分割する（図４ステップＳ１０３）。
【0028】
各通信部１０［ｎ，ｍ］（ｎ＝１，・・・，Ｎ、ｍ＝１，・・・，Ｍ）のデータ転送速度が全て同じである場合、データ分割部２２は、分散データのデータ量が均等になるよう分割（グループ分け）することが、以後に説明するノード間集計処理の高速化のために望ましい。このような分割の方法としては、例えば、Ｚ個の分散データＤ［ｚ，ｎ］を番号ｚの順にＺ／Ｍ個ずつに分割する方法がある。すなわち、Ｍ個のグループの各要素を、Ｄ［ｊ，ｎ］（ｊ＝Ｚ／Ｍ×（ｍ－１）＋１，・・・，Ｚ／Ｍ×ｍ，ｎ＝１，・・・，Ｎ、ｍ＝１，・・・，Ｍ）とすることにより、各グループのデータ量を均等化できる。
【0029】
ただし、この分割方法が成立するのはＺ／Ｍが整数の場合である。データ分割部２２は、Ｚ／Ｍが整数ではない場合、各グループに属する分散データの個数ができるだけＺ／Ｍに近い値となるよう配分する。
上記の説明から明らかなように、番号ｊは、重みの番号ｚのうち、各分散処理ノード１［ｎ］内のグループ毎（通信部毎）に異なる範囲の数値をとる。
上記の説明から明らかなように、番号ｊは、重みの番号ｚのうち、各分散処理ノード１［ｎ］内のグループ毎（通信部毎）に異なる範囲の数値をとる。
【0030】
さらに、各分散処理ノード１［ｎ］は、分散データＤ［ｊ，ｎ］を生成した後、分散処理ノード間の集約通信を行い、集計データを生成するためのノード間集計処理を行う。
図５～図７に、各分散処理ノード１［ｎ］の集約通信処理とノード間集計処理と分配通信処理のシーケンスを示す。なお、図６は、図５の８０の一部の処理を示している。また、８１は分散処理ノード１［１］におけるノード間集計処理を示している。同様に、図６の９０，９１，９２は分散処理ノード１［Ｎ－２］，１［Ｎ－１］、１［Ｎ］におけるノード間集計処理を示している。図７は、図５の８２の一部の処理、すなわち分散処理ノード１［Ｎ］，１［Ｎ－１］、１［Ｎ－２］の分配通信処理を示している。
図５～図７に、各分散処理ノード１［ｎ］の集約通信処理とノード間集計処理と分配通信処理のシーケンスを示す。なお、図６は、図５の８０の一部の処理を示している。また、８１は分散処理ノード１［１］におけるノード間集計処理を示している。同様に、図６の９０，９１，９２は分散処理ノード１［Ｎ－２］，１［Ｎ－１］、１［Ｎ］におけるノード間集計処理を示している。図７は、図５の８２の一部の処理、すなわち分散処理ノード１［Ｎ］，１［Ｎ－１］、１［Ｎ－２］の分配通信処理を示している。
【0031】
まず、複数の分散処理ノード１［ｎ］のうち、予め定められた１番目の分散処理ノード１［１］の各通信部１０［１，ｍ］は、自ノードのデータ分割部２２によって生成された分散データＤ［ｊ，１］を中間集計データＲｔｍ［ｊ，１］として、この中間集計データＲｔｍ［ｊ，１］をパケット化し、生成した集約通信パケットＳＰ［ｐ，１，ｍ］（ｐ＝１，・・・，Ｐ、Ｐは２以上の整数）を通信ポート１００［１，ｍ］に出力する。このＭ個のグループの集約通信パケットＳＰ［ｐ，１，ｍ］は、それぞれ通信ポート１０［１，ｍ］から通信路２［１，ｍ］を介して次の番号の分散処理ノード１［２］に送信される（図５ステップＳ１０４）。このときの中間集計データ中間集計データＲｔｍ［ｊ，１］は、分散データＤ［ｊ，１］と同じである。
Ｒｔｍ［ｊ，１］＝Ｄ［ｊ，１］ ・・・（２）
Ｒｔｍ［ｊ，１］＝Ｄ［ｊ，１］ ・・・（２）
【0032】
次に、複数の分散処理ノード１［ｎ］のうち、１番目とＮ番目とを除く、予め定められた中間の分散処理ノード１［ｉ］（ｉ＝２，・・・，Ｎ－１）の各通信部１０［ｉ，ｍ］は、それぞれ分散処理ノード１［ｉ－１］から集約通信パケットＳＰ［ｐ，ｉ－１，ｍ］（ｐ＝１，・・・，Ｐ）を通信路２［ｉ－１，ｍ］および通信ポート１０１［ｉ，ｍ］を介して受信し、受信した集約通信パケットＳＰ［ｐ，ｉ－１，ｍ］から中間集計データＲｔｍ［ｊ，ｉ－１］を取得する（図５ステップＳ１０５）。
【0033】
中間の分散処理ノード１［ｉ］（ｉ＝２，・・・，Ｎ－１）の集計データ生成部１９は、自ノードの通信部１０［ｉ，ｍ］によって取得された中間集計データＲｔｍ［ｊ，ｉ－１］と自ノードのデータ分割部２２によって生成されたＤ［ｊ，ｉ］との和を、対応する重みｗ［ｊ］毎（番号ｊ毎）およびグループ毎に求めることにより、中間集計データＲｔｍ［ｊ，ｉ］をグループ毎に生成する（図５ステップＳ１０６）。中間集計データＲｔｍ［ｊ，ｉ］の計算式は以下のとおりである。
Ｒｔｍ［ｊ，ｉ］＝Ｒｔｍ［ｊ，ｉ－１］＋Ｄ［ｊ，ｉ］・・・（３）
Ｒｔｍ［ｊ，ｉ］＝Ｒｔｍ［ｊ，ｉ－１］＋Ｄ［ｊ，ｉ］・・・（３）
【0034】
そして、中間の分散処理ノード１［ｉ］（ｉ＝２，・・・，Ｎ－１）の各通信部１０［ｉ，ｍ］は、自ノードの集計データ生成部１９によって生成された中間集計データＲｔｍ［ｊ，ｉ］をパケット化し、生成した集約通信パケットＳＰ［ｐ，ｉ，ｍ］（ｐ＝１，・・・，Ｐ）を通信ポート１００［ｉ，ｍ］に出力する。この集約通信パケットＳＰ［ｐ，ｉ，ｍ］は、それぞれ通信ポート１００［ｉ，ｍ］から通信路２［ｉ，ｍ］を介して次の番号の分散処理ノード１［ｉ＋１］に送信される（図５ステップＳ１０７）。
【0035】
複数の分散処理ノード１［ｎ］のうち、予め定められたＮ番目の分散処理ノード１［Ｎ］の各通信部１０［Ｎ，ｍ］は、それぞれ分散処理ノード１［Ｎ－１］から集約通信パケットＳＰ［ｐ，Ｎ－１，ｍ］（ｐ＝１，・・・，Ｐ）を通信路２［Ｎ－１，ｍ］および通信ポート１０１［Ｎ，ｍ］を介して受信し、受信した集約通信パケットＳＰ［ｐ，Ｎ－１，ｍ］から中間集計データＲｔｍ［ｊ，Ｎ－１］を取得する（図５ステップＳ１０８）。
【0036】
Ｎ番目の分散処理ノード１［Ｎ］の集計データ生成部１９は、自ノードの通信部１０［Ｎ，ｍ］（ｍ＝１，・・・，Ｍ）によって取得された中間集計データＲｔｍ［ｊ，Ｎ－１］と自ノードのデータ分割部２２によって生成されたＤ［ｊ，Ｎ］との和を、対応する重みｗ［ｊ］毎（番号ｊ毎）およびグループ毎に求めることにより、中間集計データＲｔｍ［ｊ，Ｎ］をグループ毎に生成する（図５ステップＳ１０９）。中間集計データＲｔｍ［ｊ，Ｎ］の計算式は以下のとおりである。
Ｒｔｍ［ｊ，Ｎ］＝Ｒｔｍ［ｊ，Ｎ－１］＋Ｄ［ｊ，Ｎ］・・・（４）
Ｒｔｍ［ｊ，Ｎ］＝Ｒｔｍ［ｊ，Ｎ－１］＋Ｄ［ｊ，Ｎ］・・・（４）
【0037】
そして、Ｎ番目の分散処理ノード１［Ｎ］の各通信部１０［Ｎ，ｍ］は、自ノードの集計データ生成部１９によって生成された中間集計データＲｔｍ［ｊ，Ｎ］をパケット化し、生成した集約通信パケットＳＰ［ｐ，Ｎ，ｍ］（ｐ＝１，・・・，Ｐ）を通信ポート１００［Ｎ，ｍ］に出力する。この集約通信パケットＳＰ［ｐ，Ｎ，ｍ］は、それぞれ通信ポート１００［Ｎ，ｍ］から通信路２［Ｎ，ｍ］を介して１番目の分散処理ノード１［１］に送信される（図５ステップＳ１１０）。
【0038】
このように、式（２）、式（３）、式（４）により計算された中間集計データＲｔｍ［ｊ，Ｎ］は、各分散処理ノード１［ｎ］で生成されたＤ［ｊ，Ｎ］に基づいて計算される。中間集計データＲｔｍ［ｊ，Ｎ］の値は以下の式により表すことができる。
【0039】
【数2】
【0040】
次に、中間集計データＲｔｍ［ｊ，Ｎ］を集計データＲｍ［ｊ］として、各分散処理ノード１［ｎ］に分配する分配通信を行う。
【0041】
１番目の分散処理ノード１［１］の各通信部１０［１，ｍ］は、分散処理ノード１［Ｎ］から集約通信パケットＳＰ［ｐ，Ｎ，ｍ］（ｐ＝１，・・・，Ｐ）を通信路２［Ｎ，ｍ］および自ノードの通信ポート１０１［１，ｍ］を介して受信し、受信した集約通信パケットＳＰ［ｐ，Ｎ，ｍ］から中間集計データＲｔｍ［ｊ，Ｎ］を取得する（図５ステップＳ１１１）。
【0042】
１番目の分散処理ノード１［１］の各通信部１０［１，ｍ］は、受信した中間集計データＲｔｍ［ｊ，Ｎ］を集計データＲｍ［ｊ］として、この集計データＲｍ［ｊ］をパケット化し、生成した分配通信パケットＤＰ［ｐ，１，ｍ］（ｐ＝１，・・・，Ｐ）を自ノードの通信ポート１０１［１，ｍ］に出力する。この分配通信パケットＤＰ［ｐ，１，ｍ］は、それぞれ通信ポート１０１［１，ｍ］から通信路２［Ｎ，ｍ］を介してＮ番目の分散処理ノード１［Ｎ］に送信される（図５ステップＳ１１２）。すなわち、分散処理ノード１［１］は、分散処理ノード１［Ｎ］からの中間集計データＲｔｍ［ｊ，Ｎ］を集計データＲｍ［ｊ］として分散処理ノード１［Ｎ］に戻すことになる。集計データＲｍ［ｊ］は、中間集計データＲｔｍ［ｊ，Ｎ］と同じである。
【0043】
【数3】
【0044】
続いて、複数の分散処理ノード１［ｎ］のうち、１番目を除く分散処理ノード１［ｋ］（ｋ＝Ｎ，・・・，２）の各通信部１０［ｋ，ｍ］は、次の番号の分散処理ノード１［ｋ+］（ｋ+＝ｋ＋１、ただしｋ＝Ｎの場合はｋ+＝１）から分配通信パケットＤＰ［ｐ，ｋ+，ｍ]（ｐ＝１，・・・，Ｐ）を通信路２［ｋ，ｍ］および自ノードの通信ポート１００［ｋ，ｍ］を介して受信し、受信した分配通信パケットＤＰ［ｐ，ｋ+，ｍ］から集計データＲｍ［ｊ］を取得する（図５ステップＳ１１３）。
【0045】
分散処理ノード１［ｋ］（ｋ＝Ｎ，・・・，２）の各通信部１０［ｋ，ｍ］は、受信した集計データＲｍ［ｊ］をパケット化し、生成した分配通信パケットＤＰ［ｐ，ｋ，ｍ］（ｐ＝１，・・・，Ｐ）を自ノードの通信ポート１０１［ｋ，ｍ］に出力する。この分配通信パケットＤＰ［ｐ，ｋ，ｍ］は、それぞれ通信ポート１０１［ｋ，ｍ］から通信路２［ｋ－１，ｍ］を介して分散処理ノード１［ｋ－１］に送信される（図５ステップＳ１１４）。
【0046】
１番目の分散処理ノード１［１］の各通信部１０［１，ｍ］は、分散処理ノード１［２］から分配通信パケットＤＰ［ｐ，２，ｍ］（ｐ＝１，・・・，Ｐ）を通信路２［１，ｍ］および自ノードの通信ポート１００［１，ｍ］を介して受信し、受信した分配通信パケットＤＰ［ｐ，２，ｍ］から集計データＲｍ［ｊ］を取得する（図５ステップＳ１１５）。
【0047】
ここで、１番目の分散処理ノード１［１］が、集計データＲｍ［ｊ］を正常に受信するためには、他の分散処理ノード１［ｋ］（ｋ＝Ｎ，・・・，２）が集計データＲｍ［ｊ］を正常に受信することが必要である。通信路２［ｎ，ｍ］（ｎ＝１，・・・，Ｎ）や通信部１０［ｎ，ｍ］は、集計データＲｍ［ｊ］のエラーを正常に戻す機能を有していない。
【0048】
したがって、分散処理ノード１［１］が備えるＭ個の通信部１０［１，ｍ］が集計データＲｍ［ｊ］を正常に受信した場合、全ての分散処理ノード１［ｎ］が正常に集計データＲｍ［ｊ］を受信できたことが保証される。分散処理ノード１［１］の各通信部１０［１，ｍ］のうち少なくとも１つが集計データＲｍ［ｊ］を正常に受信できなかった場合は、ステップＳ１０４に戻って集約通信からやり直すようにすればよい。
【0049】
なお、分散処理ノード１［１］の各通信部１０［１，ｍ］が集計データＲｍ［ｊ］を正常に受信できたかどうかは、例えばステップＳ１１２で送信した集計データＲｍ［ｊ］とステップＳ１１５で受信した集計データＲｍ［ｊ］とを比較することにより、判定することができる。すなわち、送信した集計データＲｍ［ｊ］と受信した集計データＲｍ［ｊ］とが一致すれば、集計データＲｍ［ｊ］を正常に受信できたと判定できる。
【0050】
以上の分配通信により、全ての分散処理ノード１［ｎ］は、同一の集計データＲｍ［ｊ］を取得することができる。
集約通信は、分散処理ノード１［１］→分散処理ノード１［２］→・・・→分散処理ノード１［Ｎ］→分散処理ノード１［１］という経路で行われる。分配通信は、分散処理ノード１［１］→分散処理ノード１［Ｎ］→・・・→分散処理ノード１［２］→分散処理ノード１［１］という経路で行われる。
集約通信は、分散処理ノード１［１］→分散処理ノード１［２］→・・・→分散処理ノード１［Ｎ］→分散処理ノード１［１］という経路で行われる。分配通信は、分散処理ノード１［１］→分散処理ノード１［Ｎ］→・・・→分散処理ノード１［２］→分散処理ノード１［１］という経路で行われる。
【0051】
つまり、集約通信と分配通信とは、互いに通信の方向が逆になる。集約通信と分配通信とは、双方向の通信を同時に行うことが可能な通信ポート１００［ｎ，ｍ］，１０１［ｎ，ｍ］と通信路２［ｎ，ｍ］とを介して行わるため、集約通信が完了するまで分配通信の開始を待つ必要がない。
【0052】
すなわち、分散処理ノード１［１］が中間集計データＲｔｍ［ｊ，１］の送信を完了する前に、分散処理ノード１［１］が中間集計データＲｔｍ［ｊ，Ｎ］を受信開始した場合は、この中間集計データ中間集計データＲｔｍ［ｊ，Ｎ］を集計データＲｍ［ｊ］とした分配通信を開始できる。
【0053】
図８は分散処理ノード１［ｎ］の重み更新処理を説明するフローチャートである。各分散処理ノード１［ｎ］の重み更新処理部２０は、自ノードの通信部１０［ｎ，ｍ］によって取得された集計データＲｍ［ｊ］を受信すると（図８ステップＳ１２２においてＹＥＳ）、受信した集計データＲｍ［ｊ］に基づいて、自ノード内のニューラルネットワーク２１の重みｗ［ｊ］を更新する重み更新処理を行う（図８ステップＳ１２３）。重み更新処理においては、集計データＲｍ［ｊ］が示す、損失関数の勾配に基づいて損失関数が最小になるように重みｗ［ｊ］を番号ｊ毎に更新すればよい。重みｗ［ｊ］の更新は周知の技術であるので、詳細な説明は省略する。
【0054】
このように、重み更新処理は、重みｗ［ｊ］の番号ｊの順番に取得した集計データＲｍ［ｊ］に基づいて、重みｗ［ｊ］を更新する処理である。このため、各分散処理ノード１［ｎ］は、重みｗ［ｊ］に対する重み更新処理を、番号ｊの順番に行うことができる。
【0055】
重み更新処理の終了により、１回のミニバッチ学習が終了し、各分散処理ノード１［ｎ］（ｎ＝１，・・・，Ｎ）は、更新された重みに基づき、次のミニバッチ学習の処理を継続して行う。すなわち、各分散処理ノード１［ｎ］は、次のミニバッチ学習用のサンプルデータを図示しないデータ収集ノードから受け取り、上記で説明したミニバッチ学習の処理を繰り返すことにより、自ノードのニューラルネットワークの推論精度を向上させる。
【0056】
本実施例で示したように、集約通信が完了するまで分配通信の開始を待つ必要がなく、集約通信中であっても、集計を終えたデータの一部から分配通信を開始することが可能であるため、集約通信を完了してから分配通信を開始するという従来技術と比較して、集約通信の開始から分配通信の完了までの時間を短縮することが可能であるため、より高速な深層学習の分散システムを提供することが可能である。
【0057】
また、本実施例では、分散処理ノード間をＭ本の通信路２［ｎ，ｍ］で接続し、各分散処理ノード１［ｎ］が備えるＭ個の通信部１０［ｎ，ｍ］が各々集約通信と分配通信とを行う。このため、本実施例では、各分散処理ノードが備える１個の通信部で集約通信と分配通信とを行う分散システムと比較すると、各通信路２［ｎ，ｍ］と各通信部１０［ｎ，ｍ］とが転送するデータ量を１／Ｍに削減することができる。その結果、本実施例では、データの転送に要する時間が集約通信と分配通信にかかる時間の大半を占める分散処理システムにおいて、データの転送に要する時間を大幅に短縮することが可能である。
【0058】
また、本実施例では、分散処理ノード１［１］が集計データＲｍ［ｊ］の取得を完了した時点で他の分散処理ノード１［ｋ］（ｋ＝２，・・・，Ｎ）が集計データＲｍ［ｊ］の取得を完了したことが保証されるため、信頼性の高い深層学習の分散処理システムを提供することが可能である。
【0059】
［第２の実施例］
次に、本発明の第２の実施例について説明する。図９は本発明の第２の実施例に係る深層学習用分散処理システムの構成例を示すブロック図である。図９の分散処理システムは、Ｎ個の分散処理ノード１ａ［ｎ］（ｎ＝１，・・・，Ｎ）と、Ｍ本の通信路２［ｎ，ｍ］（ｎ＝１，・・・，Ｎ、ｍ＝１，・・・，Ｍ）とを備える。なお、任意の通信路２［ｎ，ｍ］には、伝送路の他に、通信を中継する中継処理ノードが任意に介在することも可能である。
次に、本発明の第２の実施例について説明する。図９は本発明の第２の実施例に係る深層学習用分散処理システムの構成例を示すブロック図である。図９の分散処理システムは、Ｎ個の分散処理ノード１ａ［ｎ］（ｎ＝１，・・・，Ｎ）と、Ｍ本の通信路２［ｎ，ｍ］（ｎ＝１，・・・，Ｎ、ｍ＝１，・・・，Ｍ）とを備える。なお、任意の通信路２［ｎ，ｍ］には、伝送路の他に、通信を中継する中継処理ノードが任意に介在することも可能である。
【0060】
図１０は分散処理ノード１ａ［１］の構成例を示すブロック図である。分散処理ノード１ａ［１］は、Ｍ個の通信部１０［１，ｍ］と、Ｍ個の分散データ生成部１１［１，ｍ］と、ニューラルネットワーク２１とを備える。通信部１０［１，ｍ］と分散データ生成部１１［１，ｍ］との間は、内部通信路１２［１］によって接続されている。
各分散データ生成部１１［１，ｍ］は、それぞれサンプル入力部１６ａと、勾配計算処理部１７ａと、ノード内集計処理部１８ａと、重み更新処理部２０ａとを備えている。
各分散データ生成部１１［１，ｍ］は、それぞれサンプル入力部１６ａと、勾配計算処理部１７ａと、ノード内集計処理部１８ａと、重み更新処理部２０ａとを備えている。
【0061】
図１１は分散処理ノード１ａ［ｋ］（ｋ＝２，・・・，Ｎ）の構成例を示すブロック図である。分散処理ノード１ａ［ｋ］は、Ｍ個の通信部１０［ｋ，ｍ］と、Ｍ個の分散データ生成部１１［ｋ，ｍ］と、ニューラルネットワーク２１とを備える。通信部１０［ｋ，ｍ］と分散データ生成部１１［ｋ，ｍ］との間は、内部通信路１２［ｋ］によって接続されている。
各分散データ生成部１１［ｋ，ｍ］は、それぞれサンプル入力部１６ａと、勾配計算処理部１７ａと、ノード内集計処理部１８ａと、集計データ生成部１９ａと、重み更新処理部２０ａとを備えている。
各分散データ生成部１１［ｋ，ｍ］は、それぞれサンプル入力部１６ａと、勾配計算処理部１７ａと、ノード内集計処理部１８ａと、集計データ生成部１９ａと、重み更新処理部２０ａとを備えている。
【0062】
各分散処理ノード１ａ［ｎ］の通信部１０［ｎ，ｍ］は、それぞれ双方向の通信が同時に可能な通信ポート１００［ｎ，ｍ］と通信ポート１０１［ｎ，ｍ］とを備える。通信ポート１００［ｎ，ｍ］は、分散処理ノード１ａ［ｎ］が分散処理ノード１ａ［ｎ+］（ｎ+＝ｎ＋１、ただしｎ＝Ｎの場合はｎ+＝１）と双方向の通信を行うための通信ポートであり、通信路２［ｎ，ｍ］と接続される。また、通信ポート１０１［ｎ，ｍ］は、分散処理ノード１ａ［ｎ］が分散処理ノード［ｎ-］（ｎ-＝ｎ－１、ただしｎ＝１の場合はｎ-＝Ｎ）と双方向の通信を行うための通信ポートであり、通信路２［ｎ-，ｍ］と接続される。
【0063】
本実施例においても、分散処理ノード１ａ［ｎ］のサンプルデータ入力処理と勾配計算処理とノード内集計処理の流れは第１の実施例と同様である。
各分散処理ノード１ａ［ｎ］の各分散データ生成部１１［ｎ，ｍ］内のサンプル入力部１６ａは、それぞれ図示しないデータ収集ノードから異なるＳ個（Ｓは２以上の整数）のサンプルデータｘ［ｎ，ｍ，ｓ］（ｓ＝１，・・・，Ｓ）をミニバッチ毎に入力する（図４ステップＳ１００）。
各分散処理ノード１ａ［ｎ］の各分散データ生成部１１［ｎ，ｍ］内のサンプル入力部１６ａは、それぞれ図示しないデータ収集ノードから異なるＳ個（Ｓは２以上の整数）のサンプルデータｘ［ｎ，ｍ，ｓ］（ｓ＝１，・・・，Ｓ）をミニバッチ毎に入力する（図４ステップＳ１００）。
【0064】
各分散処理ノード１ａ［ｎ］の各分散データ生成部１１［ｎ，ｍ］内の勾配計算処理部１７ａは、サンプルデータｘ［ｎ，ｍ，ｓ］が入力されたとき、学習対象のニューラルネットワーク２１のＺ個（Ｚは２以上の整数）の重みｗ［ｚ］（ｚ＝１，・・・，Ｚ）の各々について、ニューラルネットワーク２１の損失関数の勾配Ｇ［ｚ，ｎ，ｍ，ｓ］をサンプルデータｘ［ｎ，ｍ，ｓ］毎に計算する（図４ステップＳ１０１）。
【0065】
続いて、各分散処理ノード１ａ［ｎ］の各分散データ生成部１１［ｎ，ｍ］内のノード内集計処理部１８ａは、ノード内集計処理を行う（図４ステップＳ１０２）。本実施例におけるノード内集計処理は、分散処理ノード１［ｎ］が計算したサンプルデータｘ毎の勾配Ｇ［ｚ，ｎ，ｍ，ｓ］を内部通信路１２［ｎ］を介して集計し、分散データＤ［ｊ，ｎ］を生成する処理である。ノード内集計処理によって、各分散データ生成部１１［ｎ，ｍ］内のノード内集計処理部１８ａは、それぞれ重みの番号ｊの範囲が異なる分散データＤ［ｊ，ｎ］を取得する。分散データＤ［ｊ，ｎ］の計算式は、以下の通りである。
【0066】
【数4】
【0067】
第１の実施例と同様に、番号ｊは、重みの番号ｚのうち、各分散処理ノード１ａ［ｎ］内のグループ毎（分散データ生成部毎）に異なる範囲の数値をとる。
上記のノード内集計処理の例として、ring all reduceと呼ばれる処理がある（文献「kfukuda，上野裕一郎，“分散深層学習を支える技術：AllReduceアルゴリズム”，２０１８年，インターネット＜https://research.preferred.jp/2018/07/prototype-allreduce-library/＞」）。本実施例では、各分散データ生成部１１［ｎ，ｍ］に全ての分散データＤ［ｚ，ｎ］が格納されているのではなく、分散データＤ［ｊ，ｍ］を構成する数値のみ、すなわち全ての分散データＤ［ｚ，ｍ］をＭ個のグループに分けたときの１個のグループを構成する数値のみがこのグループに対応する分散データ生成部１１に格納された状態となる。したがって、各分散データ生成部１１［ｎ，ｍ］は、上記の例に示されたような効率的なノード内集計処理を行うのみで、分散データＤ［ｊ，ｍ］を取得することができる。
上記のノード内集計処理の例として、ring all reduceと呼ばれる処理がある（文献「kfukuda，上野裕一郎，“分散深層学習を支える技術：AllReduceアルゴリズム”，２０１８年，インターネット＜https://research.preferred.jp/2018/07/prototype-allreduce-library/＞」）。本実施例では、各分散データ生成部１１［ｎ，ｍ］に全ての分散データＤ［ｚ，ｎ］が格納されているのではなく、分散データＤ［ｊ，ｍ］を構成する数値のみ、すなわち全ての分散データＤ［ｚ，ｍ］をＭ個のグループに分けたときの１個のグループを構成する数値のみがこのグループに対応する分散データ生成部１１に格納された状態となる。したがって、各分散データ生成部１１［ｎ，ｍ］は、上記の例に示されたような効率的なノード内集計処理を行うのみで、分散データＤ［ｊ，ｍ］を取得することができる。
【0068】
さらに、各分散処理ノード１ａ［ｎ］は、分散データ［ｊ，ｎ］を、各分散データ生成部１１［ｎ，ｍ］から、内部通信路１２［ｎ］を介して通信部１０［ｎ，ｍ］に転送し、分散処理ノード間の集約通信を行い、集計データを生成するためのノード間集計処理を行う。
【0069】
本実施例においても、分散処理ノード１ａ［ｎ］の集約通信処理とノード間集計処理と分配通信処理の流れは第１の実施例と同様である。
まず、複数の分散処理ノード１ａ［ｎ］のうち、予め定められた１番目の分散処理ノード１ａ［１］の各通信部１０［１，ｍ］は、それぞれ対応する分散データ生成部１１［１，ｍ］から転送された分散データＤ［ｊ，１］を中間集計データＲｔｍ［ｊ，１］として、この中間集計データＲｔｍ［ｊ，１］をパケット化し、生成した集約通信パケットＳＰ［ｐ，１，ｍ］（ｐ＝１，・・・，Ｐ）を通信ポート１００［１，ｍ］に出力する。この集約通信パケットＳＰ［ｐ，１，ｍ］は、それぞれ通信ポート１００［１，ｍ］から通信路２［１，ｍ］を介して次の番号の分散処理ノード１ａ［２］に送信される（図５ステップＳ１０４）。
まず、複数の分散処理ノード１ａ［ｎ］のうち、予め定められた１番目の分散処理ノード１ａ［１］の各通信部１０［１，ｍ］は、それぞれ対応する分散データ生成部１１［１，ｍ］から転送された分散データＤ［ｊ，１］を中間集計データＲｔｍ［ｊ，１］として、この中間集計データＲｔｍ［ｊ，１］をパケット化し、生成した集約通信パケットＳＰ［ｐ，１，ｍ］（ｐ＝１，・・・，Ｐ）を通信ポート１００［１，ｍ］に出力する。この集約通信パケットＳＰ［ｐ，１，ｍ］は、それぞれ通信ポート１００［１，ｍ］から通信路２［１，ｍ］を介して次の番号の分散処理ノード１ａ［２］に送信される（図５ステップＳ１０４）。
【0070】
次に、複数の分散処理ノード１ａ［ｎ］のうち、１番目とＮ番目とを除く、予め定められた中間の分散処理ノード１ａ［ｉ］（ｉ＝２，・・・，Ｎ－１）の各通信部１０［ｉ，ｍ］は、それぞれ分散処理ノード１ａ［ｉ－１］から集約通信パケットＳＰ［ｐ，ｉ－１，ｍ］を通信路２［ｉ－１，ｍ］および通信ポート１０１［ｉ，ｍ］を介して受信し、受信した集約通信パケットＳＰ［ｐ，ｉ－１，ｍ］から中間集計データＲｔｍ［ｊ，ｉ－１］を取得する（図５ステップＳ１０５）。
【0071】
分散処理ノード１ａ［ｉ］の各分散データ生成部１１［ｉ，ｍ］内の集計データ生成部１９ａは、それぞれ対応する通信部１０［ｉ，ｍ］によって取得された中間集計データＲｔｍ［ｊ，ｉ－１］と各分散データ生成部１１［ｉ，ｍ］内のノード内集計処理部１８ａによって生成された分散データＤ［ｊ，ｉ］との和を、対応する重みｗ［ｊ］毎（番号ｊ毎）およびグループ毎に求めることにより、中間集計データＲｔｍ［ｊ，ｉ］をグループ毎に生成する（図５ステップＳ１０６）。
【0072】
そして、分散処理ノード１ａ［ｉ］の各通信部１０［ｉ，ｍ］は、それぞれ対応する分散データ生成部１１［ｉ，ｍ］の集計データ生成部１９ａによって生成された中間集計データＲｔｍ［ｊ，ｉ］をパケット化し、生成した集約通信パケットＳＰ［ｐ，ｉ，ｍ］（ｐ＝１，・・・，Ｐ）を通信ポート１００［ｉ，ｍ］に出力する。この集約通信パケットＳＰ［ｐ，ｉ，ｍ］は、それぞれ通信ポート１００［ｉ，ｍ］から通信路２［ｉ，ｍ］を介して次の番号の分散処理ノード１ａ［ｉ＋１］に送信される（図５ステップＳ１０７）。
【0073】
複数の分散処理ノード１ａ［ｎ］のうち、予め定められたＮ番目の分散処理ノード１ａ［Ｎ］の各通信部１０［Ｎ，ｍ］は、それぞれ分散処理ノード１ａ［Ｎ－１］から集約通信パケットＳＰ［ｐ，Ｎ－１，ｍ］を通信路２［Ｎ－１，ｍ］および通信ポート１０１［Ｎ，ｍ］を介して受信し、受信した集約通信パケットＳＰ［ｐ，Ｎ－１，ｍ］から中間集計データＲｔｍ［ｊ，Ｎ－１］を取得する（図５ステップＳ１０８）。
【0074】
Ｎ番目の分散処理ノード１ａ［Ｎ］の各分散データ生成部１１［Ｎ，ｍ］内の集計データ生成部１９ａは、それぞれ対応する通信部１０［Ｎ，ｍ］によって取得された中間集計データＲｔｍ［ｊ，Ｎ－１］と各分散データ生成部１１［Ｎ，ｍ］内のノード内集計処理部１８ａによって生成された分散データＤ［ｊ，Ｎ］との和を、対応する重みｗ［ｊ］毎（番号ｊ毎）およびグループ毎に求めることにより、中間集計データＲｔｍ［ｊ，Ｎ］をグループ毎に生成する（図５ステップＳ１０９）。
【0075】
そして、Ｎ番目の分散処理ノード１ａ［Ｎ］の各通信部１０［Ｎ，ｍ］は、それぞれ対応する分散データ生成部１１［Ｎ，ｍ］の集計データ生成部１９ａによって生成された中間集計データＲｔｍ［ｊ，Ｎ］をパケット化し、生成した集約通信パケットＳＰ［ｐ，Ｎ，ｍ］を通信ポート１００［Ｎ，ｍ］に出力する。この集約通信パケットＳＰ［ｐ，Ｎ，ｍ］は、それぞれ通信ポート１００［Ｎ，ｍ］から通信路２［Ｎ，ｍ］を介して１番目の分散処理ノード１ａ［１］に送信される（図５ステップＳ１１０）。
【0076】
次に、中間集計データＲｔｍ［ｊ，Ｎ］を集計データＲｍ［ｊ］として、各分散処理ノード１ａ［ｎ］に分配する分配通信を行う。
１番目の分散処理ノード１ａ［１］の各通信部１０［１，ｍ］は、分散処理ノード１ａ［Ｎ］から集約通信パケットＳＰ［ｐ，Ｎ，ｍ］を通信路２［Ｎ，ｍ］および自ノードの通信ポート１０１［１，ｍ］を介して受信し、受信した集約通信パケットＳＰ［ｐ，Ｎ，ｍ］から中間集計データＲｔｍ［ｊ，Ｎ］を取得する（図５ステップＳ１１１）。
１番目の分散処理ノード１ａ［１］の各通信部１０［１，ｍ］は、分散処理ノード１ａ［Ｎ］から集約通信パケットＳＰ［ｐ，Ｎ，ｍ］を通信路２［Ｎ，ｍ］および自ノードの通信ポート１０１［１，ｍ］を介して受信し、受信した集約通信パケットＳＰ［ｐ，Ｎ，ｍ］から中間集計データＲｔｍ［ｊ，Ｎ］を取得する（図５ステップＳ１１１）。
【0077】
１番目の分散処理ノード１ａ［１］の各通信部１０［１，ｍ］は、受信した中間集計データＲｔｍ［ｊ，Ｎ］を集計データＲｍ［ｊ］として、この集計データＲｍ［ｊ］をパケット化し、生成した分配通信パケットＤＰ［ｐ，１，ｍ］を自ノードの通信ポート１０１［１，ｍ］に出力する。この分配通信パケットＤＰ［ｐ，１，ｍ］は、それぞれ通信ポート１０１［１，ｍ］から通信路２［Ｎ，ｍ］を介してＮ番目の分散処理ノード１ａ［Ｎ］に送信される（図５ステップＳ１１２）。
【0078】
続いて、複数の分散処理ノード１ａ［ｎ］のうち、１番目を除く分散処理ノード１ａ［ｋ］（ｋ＝Ｎ，・・・，２）の各通信部１０［ｋ，ｍ］は、次の番号の分散処理ノード１ａ［ｋ+］（ｋ+＝ｋ＋１、ただしｋ＝Ｎの場合はｋ+＝１）から分配通信パケットＤＰ［ｐ，ｋ+，ｍ]を通信路２［ｋ，ｍ］および自ノードの通信ポート１００［ｋ，ｍ］を介して受信し、受信した分配通信パケットＤＰ［ｐ，ｋ+，ｍ］から集計データＲｍ［ｊ］を取得する（図５ステップＳ１１３）。
【0079】
分散処理ノード１ａ［ｋ］の各通信部１０［ｋ，ｍ］は、受信した集計データＲｍ［ｊ］をパケット化し、生成した分配通信パケットＤＰ［ｐ，ｋ，ｍ］を自ノードの通信ポート１０１［ｋ，ｍ］に出力する。この分配通信パケットＤＰ［ｐ，ｋ，ｍ］は、それぞれ通信ポート１０１［ｋ，ｍ］から通信路２［ｋ－１，ｍ］を介して分散処理ノード１ａ［ｋ－１］に送信される（図５ステップＳ１１４）。
【0080】
１番目の分散処理ノード１ａ［１］の各通信部１０［１，ｍ］は、分散処理ノード１ａ［２］から分配通信パケットＤＰ［ｐ，２，ｍ］を通信路２［１，ｍ］および自ノードの通信ポート１００［１，ｍ］を介して受信し、受信した分配通信パケットＤＰ［ｐ，２，ｍ］から集計データＲｍ［ｊ］を取得する（図５ステップＳ１１５）。集計データＲｍ［ｊ］の計算式は以下のとおりである。
【0081】
【数5】
【0082】
さらに、各分散処理ノード１ａ［ｎ］は、取得した集計データＲｍ［ｊ］を、各通信部１０［ｎ，ｍ］から内部通信路１２［ｎ］を介して分散データ生成部１１［ｎ，ｍ］に転送する。
さらに、各分散処理ノード１ａ［ｎ］の各分散データ生成部１１［ｎ，ｍ］は、ノード内分配処理を行う。ノード内分配処理は、各分散データ生成部１１［ｎ，ｍ］が取得した集計データＲｍ［ｊ］を、内部通信路１２［ｎ］を介して、分散処理ノード１ａ［ｎ］が備える他の分散データ生成部［ｎ，ｍ’］（ｍ’＝１，・・・，Ｍ，ｍ’≠ｍ）に分配することにより、分散処理ノード１ａ［ｎ］が備える全ての分散データ生成部１１［ｎ，ｍ］が、全ての集計データＲｍ［ｊ］を取得する処理である。
さらに、各分散処理ノード１ａ［ｎ］の各分散データ生成部１１［ｎ，ｍ］は、ノード内分配処理を行う。ノード内分配処理は、各分散データ生成部１１［ｎ，ｍ］が取得した集計データＲｍ［ｊ］を、内部通信路１２［ｎ］を介して、分散処理ノード１ａ［ｎ］が備える他の分散データ生成部［ｎ，ｍ’］（ｍ’＝１，・・・，Ｍ，ｍ’≠ｍ）に分配することにより、分散処理ノード１ａ［ｎ］が備える全ての分散データ生成部１１［ｎ，ｍ］が、全ての集計データＲｍ［ｊ］を取得する処理である。
【0083】
本実施例においても、分散処理ノード１ａ［ｎ］の重み更新処理の流れは第１の実施例と同様である。
各分散処理ノード１ａ［ｎ］の各分散データ生成部１１［ｎ，ｍ］内の重み更新処理部２０ａは、集計データＲｍ［ｊ］を受信すると（図８ステップＳ１２２においてＹＥＳ）、受信した集計データＲｍ［ｊ］に基づいて、自ノード内のニューラルネットワーク２１の重みｗ［ｊ］を更新する重み更新処理を行う（図８ステップＳ１２３）。
各分散処理ノード１ａ［ｎ］の各分散データ生成部１１［ｎ，ｍ］内の重み更新処理部２０ａは、集計データＲｍ［ｊ］を受信すると（図８ステップＳ１２２においてＹＥＳ）、受信した集計データＲｍ［ｊ］に基づいて、自ノード内のニューラルネットワーク２１の重みｗ［ｊ］を更新する重み更新処理を行う（図８ステップＳ１２３）。
【0084】
重み更新処理の終了により、１回のミニバッチ学習が終了し、各分散処理ノード１ａ［ｎ］は、更新された重みに基づき、次のミニバッチ学習の処理を継続して行う。すなわち、各分散処理ノード１ａ［ｎ］は、次のミニバッチ学習用のサンプルデータを図示しないデータ収集ノードから受け取り、上記で説明したミニバッチ学習の処理を繰り返すことにより、自ノードのニューラルネットワークの推論精度を向上させる。
【0085】
上述したように、分散データＤ［ｊ，ｎ］（式（７））を計算するノード内集計処理は、重みの番号ｊ別の処理である。同様に、集計データＲｍ［ｊ］（式（８））を計算する集約通信処理も、重みの番号ｊ別の処理と単純なデータ送受信（重みの番号ｊ別の数値の通信）の組み合わせである。さらに、重み更新処理も、重みの番号ｊ別の処理である。また、分散データ生成部１１［ｎ，ｍ］から通信部１０［ｎ，ｍ］への分散データＤ［ｊ，ｎ］の転送と、分配通信と、通信部１０［ｎ，ｍ］から分散データ生成部１１［ｎ，ｍ］への集計データＲｍ［ｊ］の転送と、ノード内分配処理とは、単純なデータ転送（重みの番号ｊ別の数値の転送）あるいはデータ送受信（重みの番号ｊ別の数値の通信）であるため、重みの番号ｊ別の処理である。
【0086】
したがって、サンプルデータ毎の勾配計算処理を終えた後の処理（ノード内集計処理と、分散データ生成部１１［ｎ，ｍ］から通信部１０［ｎ，ｍ］への分散データＤ［ｊ，ｎ］の転送と、集約通信処理と、分配通信処理と、通信部１０［ｎ，ｍ］から分散データ生成部１１［ｎ，ｍ］への集計データＲｍ［ｊ］の転送処理と、ノード内分配処理と、重み更新処理）については、重みの番号ｚ単位で、パイプライン化が可能である。
【0087】
このように、ノード内集計処理から重み更新処理までの処理をほほ同時に（数値を単位としたパイプライン処理で）行うことが可能であり、各通信や各処理が終了するまで、次の処理を開始できなかった従来技術と比較したとき、処理時間の大幅な短縮が可能となる。なお、データ転送やデータ送受信の最小単位は、複数の数値をカプセル化したパケット単位で行うことが一般的であり、このようなシステムでは、パケット単位でのパイプライン処理となる。
【0088】
また、第１の実施例と同様に、本実施例では、分散処理ノード間をＭ本の通信路２［ｎ，ｍ］で接続し、各分散処理ノード１ａ［ｎ］が備えるＭ個の通信部１０［ｎ，ｍ］が各々集約通信と分配通信とを行う。集約通信と分配通信とを各々Ｍ並列化しているため、本実施例では、各分散処理ノードが備える１個の通信部で集約通信と分配通信とを行う分散システムと比較すると、各通信路２［ｎ，ｍ］と各通信部１０［ｎ，ｍ］とが転送するデータ量を１／Ｍに削減することができる。その結果、本実施例では、データの転送に要する時間が集約通信と分配通信にかかる時間の大半を占める分散処理システムにおいて、データの転送に要する時間を大幅に短縮することが可能である。
【0089】
また、本実施例では、各分散処理ノード１ａ［ｎ］が通信部１０［ｎ，ｍ］と同数の分散データ生成部１１［ｎ，ｍ］を備えることによって、一般的には処理負荷の大きい勾配計算処理をＭ並列化しているため、深層学習処理の大幅な時間短縮が可能である。
【0090】
また、各分散処理ノード１ａ［ｎ］では、データ量を１／Ｍに分割したデータの各々を、通信部１０［ｎ，ｍ］と対応する分散データ生成部１１［ｎ，ｍ］との間で転送する処理を行う（データ転送をＭ並列化している）。この転送処理では、番号ｍ毎（グループ毎）に異なる経路が使用されるため、各転送が同時に行われても経路の共用が原因の転送速度の劣化は生じない。
【0091】
また、内部通信路１２［ｎ］の例としては、ＰＣＩ Ｅｘｐｒｅｓｓ規格に準拠した通信路がある。このような内部通信路１２［ｎ］では、複数デバイス（本実施例では通信部や分散データ生成部）間でデータ転送を可能するためのスイッチが存在する。また、通常は番号ｍ後のデータ転送において同一のスイッチが共用されるが、一般的にはスイッチ内の転送処理はノンブロッキングで行われる（転送元と転送先が異なる複数の転送を同時に行っても各転送の速度が劣化しないことが保証される）。このため、スイッチの共用が原因の転送速度の劣化は生じない。
【0092】
このように、本実施例では、深層学習処理にかかる時間うち大半を占める、勾配計算処理と集約通信処理と分配通信処理とをＭ並列化することで高速化する。さらに、本実施例では、ノード内集計処理からノード内分配処理までの全処理をＭ並列化することにより、重みの番号ｚ単位でこれらの処理をパイプライン化したときに、ノード内でのデータ転送の帯域制約による律速を防止することができる。
【0093】
なお、本実施例では、ノード内分配処理の後に、分散データ生成部１１［ｎ，ｍ］の各々が、全ての重みｗ［ｚ］に対する重み更新処理を行っていた。この順序を逆転させることにより、重み更新処理を含めてＭ並列化することも可能である。すなわち、分散データ生成部１１［ｎ，ｍ］は、通信部１０［ｎ，ｍ］から転送された集計データＲｍ［ｊ］（ｊ＝Ｚ／Ｍ×（ｍ－１）＋１，・・・，Ｚ／Ｍ×ｍ）を用いて重みｗ［ｊ］を更新した後に、更新された重みｗ［ｊ］を、他の分散データ生成部［ｎ，ｍ’］（ｍ’＝１，・・・，Ｍ，ｍ’≠ｍ）に分配する。これにより、重み更新処理において各分散データ生成部１１［ｎ，ｍ］が扱う重みの個数を１／Ｍに削減できる。
【0094】
第１、第２の実施例で説明した各分散処理ノード１［ｎ］，１ａ［ｎ］は、ＣＰＵ（Central Processing Unit）、記憶装置及びインタフェースを備えたコンピュータと、これらのハードウェア資源を制御するプログラムによって実現することができる。
【0095】
このコンピュータの構成例を図１２に示す。コンピュータは、ＣＰＵ３００と、記憶装置３０１と、インターフェース装置（以下、Ｉ／Ｆと略する）３０２とを備えている。Ｉ／Ｆ３０２には、例えば通信ポート１００，１０１を含む通信回路が接続される。ＣＰＵ３００は、記憶装置３０１に格納されたプログラムに従って第１、第２の実施例で説明した処理を実行し、本発明の分散処理システムおよび分散処理方法を実現する。
【産業上の利用可能性】
【0096】
本発明は、ニューラルネットワークの機械学習を行う技術に適用することができる。
【符号の説明】
【0097】
１，１ａ…分散処理ノード、２…通信路、１１…分散データ生成部、１２…内部通信路、１６，１６ａ…サンプルデータ入力部、１７，１７ａ…勾配計算処理部、１８，１８ａ…ノード内集計処理部、１９，１９ａ…集計データ生成部、２０，２０ａ…重み更新処理部、２１，２１ａ…ニューラルネットワーク、２２…データ分割部、１００，１０１…通信ポート。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】