ホーム > 特許ランキング > 日本電信電話株式会社
▶ 日本電信電話株式会社の特許一覧 ▶ 学校法人 東洋大学の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023183849
(43)【公開日】2023-12-28
(54)【発明の名称】通信システム、及び分散処理学習方法
(51)【国際特許分類】
G06N 20/00 20190101AFI20231221BHJP
G06N 3/063 20230101ALI20231221BHJP
【ＦＩ】
G06N20/00
G06N3/063
【審査請求】未請求
【請求項の数】6
【出願形態】ＯＬ
(21)【出願番号】P 2022097622
(22)【出願日】2022-06-16
(71)【出願人】
【識別番号】000004226
【氏名又は名称】日本電信電話株式会社
(71)【出願人】
【識別番号】501061319
【氏名又は名称】学校法人 東洋大学
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100124844
【弁理士】
【氏名又は名称】石原 隆治
(72)【発明者】
【氏名】田尻 兼悟
(72)【発明者】
【氏名】川原 亮一
(57)【要約】
【課題】本開示の目的は、federated learningの機械学習時間を最小にするようにデータを転送することである。
【解決手段】本開示は、分散処理学習を行う通信システム１において、各ルータ３０ａ等からのデータの転送先のサーバ１０ａ，１０ｂや転送ルートの選択、及び各サーバ１０ａ，１０ｂの機械学習用のモデルパラメータの転送ルートの選択を行うことで、学習時間の削減につながる最適な分散処理学習を実現することが可能になる。これにより、機械学習モデル２０ａ，２０ｂの学習時間の削減ができるようになり、より直近の状況を加味した深層学習モデルでの推論が可能となる。
【選択図】図１
【解決手段】本開示は、分散処理学習を行う通信システム１において、各ルータ３０ａ等からのデータの転送先のサーバ１０ａ，１０ｂや転送ルートの選択、及び各サーバ１０ａ，１０ｂの機械学習用のモデルパラメータの転送ルートの選択を行うことで、学習時間の削減につながる最適な分散処理学習を実現することが可能になる。これにより、機械学習モデル２０ａ，２０ｂの学習時間の削減ができるようになり、より直近の状況を加味した深層学習モデルでの推論が可能となる。
【選択図】図１
【特許請求の範囲】
【請求項1】
第１の取得部、第１の転送部、第１の機械学習部、及び第１の機械学習モデルを有する第１のサーバと、第２の取得部、第２の転送部、第２の機械学習部、及び第２の機械学習モデルを有する第２のサーバと、計算部とによって構築されたネットワークを利用して、分散処理学習を行う通信システムであって、
前記計算部は、前記第１の転送部から前記第２のサーバへのデータの第１の転送比率、及び前記第１の転送部から前記第１のサーバへのデータの第２の転送比率を計算し、
前記第１の転送部は、第１の取得部によって取得した第１のデータを前記計算部による計算結果に基づいて転送すると共に、前記第２の転送部は、第２の取得部によって取得した第２のデータを前記計算部による計算結果に基づいて転送し、
前記第１の機械学習部は、前記第１の取得部によって取得した前記第１のデータを用いて、前記第１の機械学習モデルを機械学習させると共に、前記第２の機械学習部は、前記第２の取得部によって取得した前記第２のデータを用いて、第２の機械学習モデルを機械学習させ、
前記計算部は、計算により、前記第１の機械学習部による機械学習用の第１のモデルパラメータの第１の経路、及び前記第２の機械学習部による機械学習用の第２のモデルパラメータの第２の経路を探索し、
前記第１の転送部は、１エポックごとに前記計算部によって計算された第１の経路に基づいて、前記第２のサーバに前記第１のモデルパラメータを転送すると共に、前記第２の転送部は、１エポックごとに前記計算部によって計算された第２の経路に基づいて、前記第１のサーバに前記第２のモデルパラメータを転送し、
前記第１の取得部が前記第２のモデルパラメータを取得して、前記第１の機械学習部が前記第１及び第２のモデルパラメータを統合すると共に、前記第２の取得部が前記第１のモデルパラメータを取得して、前記第２の機械学習部が前記第１及び第２のモデルパラメータを統合する、
ことを特徴とする通信システム。
前記計算部は、前記第１の転送部から前記第２のサーバへのデータの第１の転送比率、及び前記第１の転送部から前記第１のサーバへのデータの第２の転送比率を計算し、
前記第１の転送部は、第１の取得部によって取得した第１のデータを前記計算部による計算結果に基づいて転送すると共に、前記第２の転送部は、第２の取得部によって取得した第２のデータを前記計算部による計算結果に基づいて転送し、
前記第１の機械学習部は、前記第１の取得部によって取得した前記第１のデータを用いて、前記第１の機械学習モデルを機械学習させると共に、前記第２の機械学習部は、前記第２の取得部によって取得した前記第２のデータを用いて、第２の機械学習モデルを機械学習させ、
前記計算部は、計算により、前記第１の機械学習部による機械学習用の第１のモデルパラメータの第１の経路、及び前記第２の機械学習部による機械学習用の第２のモデルパラメータの第２の経路を探索し、
前記第１の転送部は、１エポックごとに前記計算部によって計算された第１の経路に基づいて、前記第２のサーバに前記第１のモデルパラメータを転送すると共に、前記第２の転送部は、１エポックごとに前記計算部によって計算された第２の経路に基づいて、前記第１のサーバに前記第２のモデルパラメータを転送し、
前記第１の取得部が前記第２のモデルパラメータを取得して、前記第１の機械学習部が前記第１及び第２のモデルパラメータを統合すると共に、前記第２の取得部が前記第１のモデルパラメータを取得して、前記第２の機械学習部が前記第１及び第２のモデルパラメータを統合する、
ことを特徴とする通信システム。
【請求項2】
前記計算部は、前記第１の転送比率を計算することに替えて、前記第１の転送部から前記第２のサーバへのデータが最短経路で転送される場合の経由リンクの方向に流れるデータ量の比率を計算すると共に、前記第２の転送比率を計算することに替えて、前記第２の転送部から前記第１のサーバへのデータが最短経路で転送される場合の経由リンクの方向に流れるデータ量の比率を計算することを特徴とする請求項１に記載の通信システム。
【請求項3】
前記第１のサーバは、前記計算部を有することを特徴とする、請求項１又は２に記載の通信システム。
【請求項4】
複数のルータを含む、請求項１又は２に記載の通信システムであって、
前記計算部は、前記複数のルータのそれぞれから前記第１のサーバ又は前記第２のサーバへの各データの転送比率を計算し、
前記複数のルータのそれぞれは、取得した各データを前記計算部による計算結果に基づいて転送すること、
ことを特徴とする通信システム。
前記計算部は、前記複数のルータのそれぞれから前記第１のサーバ又は前記第２のサーバへの各データの転送比率を計算し、
前記複数のルータのそれぞれは、取得した各データを前記計算部による計算結果に基づいて転送すること、
ことを特徴とする通信システム。
【請求項5】
第１の取得部、第１の転送部、第１の機械学習部、及び第１の機械学習モデルを有する第１のサーバと、第２の取得部、第２の転送部、第２の機械学習部、及び第２の機械学習モデルを有する第２のサーバと、計算部とによって構築されたネットワークを利用して、分散処理学習を行う通信システムが実行する分散処理学習方法であって、
前記計算部は、前記第１の転送部から前記第２のサーバへのデータの第１の転送比率、及び前記第１の転送部から前記第１のサーバへのデータの第２の転送比率を計算し、
前記第１の転送部は、第１の取得部によって取得した第１のデータを前記計算部による計算結果に基づいて転送すると共に、前記第２の転送部は、第２の取得部によって取得した第２のデータを前記計算部による計算結果に基づいて転送し、
前記第１の機械学習部は、前記第１の取得部によって取得した前記第１のデータを用いて、前記第１の機械学習モデルを機械学習させると共に、前記第２の機械学習部は、前記第２の取得部によって取得した前記第２のデータを用いて、第２の機械学習モデルを機械学習させ、
前記計算部は、計算により、前記第１の機械学習部による機械学習用の第１のモデルパラメータの第１の経路、及び前記第２の機械学習部による機械学習用の第２のモデルパラメータの第２の経路を探索し、
前記第１の転送部は、１エポックごとに前記計算部によって計算された第１の経路に基づいて、前記第２のサーバに前記第１のモデルパラメータを転送すると共に、前記第２の転送部は、１エポックごとに前記計算部によって計算された第２の経路に基づいて、前記第１のサーバに前記第２のモデルパラメータを転送し、
前記第１の取得部が前記第２のモデルパラメータを取得して、前記第１の機械学習部が前記第１及び第２のモデルパラメータを統合すると共に、前記第２の取得部が前記第１のモデルパラメータを取得して、前記第２の機械学習部が前記第１及び第２のモデルパラメータを統合する、
ことを特徴とする分散処理学習方法。
前記計算部は、前記第１の転送部から前記第２のサーバへのデータの第１の転送比率、及び前記第１の転送部から前記第１のサーバへのデータの第２の転送比率を計算し、
前記第１の転送部は、第１の取得部によって取得した第１のデータを前記計算部による計算結果に基づいて転送すると共に、前記第２の転送部は、第２の取得部によって取得した第２のデータを前記計算部による計算結果に基づいて転送し、
前記第１の機械学習部は、前記第１の取得部によって取得した前記第１のデータを用いて、前記第１の機械学習モデルを機械学習させると共に、前記第２の機械学習部は、前記第２の取得部によって取得した前記第２のデータを用いて、第２の機械学習モデルを機械学習させ、
前記計算部は、計算により、前記第１の機械学習部による機械学習用の第１のモデルパラメータの第１の経路、及び前記第２の機械学習部による機械学習用の第２のモデルパラメータの第２の経路を探索し、
前記第１の転送部は、１エポックごとに前記計算部によって計算された第１の経路に基づいて、前記第２のサーバに前記第１のモデルパラメータを転送すると共に、前記第２の転送部は、１エポックごとに前記計算部によって計算された第２の経路に基づいて、前記第１のサーバに前記第２のモデルパラメータを転送し、
前記第１の取得部が前記第２のモデルパラメータを取得して、前記第１の機械学習部が前記第１及び第２のモデルパラメータを統合すると共に、前記第２の取得部が前記第１のモデルパラメータを取得して、前記第２の機械学習部が前記第１及び第２のモデルパラメータを統合する、
ことを特徴とする分散処理学習方法。
【請求項6】
前記計算部は、前記第１の転送比率を計算することに替えて、前記第１の転送部から前記第２のサーバへのデータが最短経路で転送される場合の経由リンクの方向に流れるデータ量の比率を計算すると共に、前記第２の転送比率を計算することに替えて、前記第２の転送部から前記第１のサーバへのデータが最短経路で転送される場合の経由リンクの方向に流れるデータ量の比率を計算することを特徴とする請求項５に記載の分散処理学習方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示内容は、ネットワークを利用して分散処理学習を行う技術、即ち、ネットワーク上で分散して取得されるデータを用いて、いくつかの拠点で機械学習モデル（深層学習モデル）を協調的に学習する技術に関し、特に、ネットワーク上で収集されたデータをどの拠点に転送するべきかという問題を解決する技術に関する。
【背景技術】
【0002】
近年、分散的に深層学習モデルを学習する手法として、モデルパラメータを各拠点で個別に学習して定期的にモデルパラメータの同期を行うことで学習を進めるfederated learning（非勅許文献１）が提案されている。federated learningによる学習では、モデルパラメータの転送時間及び各拠点で学習にかかる時間が、全体の学習時間に影響を与える。このうち、前者はネットワークの有効帯域に依存し、後者は各拠点で学習に用いられるデータ量に依存する。さらに、これらはネットワーク上で生成されたデータをどの拠点に転送するのかということに依存する。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】WYB Lim et al., "Federated learning in mobile edge networks: A comprehensive survey" IEEE Communications Surveys & Tutorials, 2020.
【発明の概要】
【発明が解決しようとする課題】
【0004】
そのため、ネットワーク上で分散して取得されるデータを用いて、いくつかの拠点で深層学習モデルを協調的に学習する際に、どの拠点でどのデータを使用するのかを、機械学習時間を最小になるように決定する問題が生じる。
【0005】
本発明は、上述の事情に鑑みてなされたもので、federated learningの機械学習時間を最小にするようにデータを転送することを目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するため、請求項１に係る発明は、第１の取得部、第１の転送部、第１の機械学習部、及び第１の機械学習モデルを有する第１のサーバと、第２の取得部、第２の転送部、第２の機械学習部、及び第２の機械学習モデルを有する第２のサーバと、計算部とによって構築されたネットワークを利用して、分散処理学習を行う通信システムであって、前記計算部は、前記第１の転送部から前記第２のサーバへのデータの第１の転送比率、及び前記第１の転送部から前記第１のサーバへのデータの第２の転送比率を計算し、前記第１の転送部は、第１の取得部によって取得した第１のデータを前記計算部による計算結果に基づいて転送すると共に、前記第２の転送部は、第２の取得部によって取得した第２のデータを前記計算部による計算結果に基づいて転送し、前記第１の機械学習部は、前記第１の取得部によって取得した前記第１のデータを用いて、前記第１の機械学習モデルを機械学習させると共に、前記第２の機械学習部は、前記第２の取得部によって取得した前記第２のデータを用いて、第２の機械学習モデルを機械学習させ、前記計算部は、計算により、前記第１の機械学習部による機械学習用の第１のモデルパラメータの第１の経路、及び前記第２の機械学習部による機械学習用の第２のモデルパラメータの第２の経路を探索し、前記第１の転送部は、１エポックごとに前記計算部によって計算された第１の経路に基づいて、前記第２のサーバに前記第１のモデルパラメータを転送すると共に、前記第２の転送部は、１エポックごとに前記計算部によって計算された第２の経路に基づいて、前記第１のサーバに前記第２のモデルパラメータを転送し、前記第１の取得部が前記第２のモデルパラメータを取得して、前記第１の機械学習部が前記第１及び第２のモデルパラメータを統合すると共に、前記第２の取得部が前記第１のモデルパラメータを取得して、前記第２の機械学習部が前記第１及び第２のモデルパラメータを統合する、ことを特徴とする通信システムである。
【発明の効果】
【0007】
以上説明したように本発明によれば、federated learningの機械学習時間を最小にするようにデータを転送することができるという効果を奏する。
【図面の簡単な説明】
【0008】
【図1】実施形態に係る通信システムの全体構成図である。
【図2】統合制御システムの電気的なハードウェア構成図である。
【図3】通信システムの処理を示すフローチャートである。
【図4】通信システムの処理を示すフローチャートである。
【図5】記号の定義を示す図である。
【図6】各式を示す図である。
【図7】各式を示す図である。
【図8】各式を示す図である。
【図9】各式を示す図である。
【発明を実施するための形態】
【0009】
以下、図面を用いて本発明の実施形態を説明する。
【0010】
【0011】
図１に示されているように、通信システム１は、複数の転送装置によって構築されている。図１では、複数の転送装置として、サーバ１０ａ，１０ｂ、ルータ３０ａ，３０ｂ，３０ｃ，３０ｄが、ネットワーク上で接続されている。なお、以降、サーバ１０ａ，１０ｂの総称を「サーバ１０」と示す。また、ルータ３０ａ，３０ｂ，３０ｃ，３０ｄの総称を「ルータ３０」と示す。図１では、図面の紙面の都合上、２つのサーバ１０、４つのルータが示されているが、これらの数はいくつであってもよい。
【0012】
＜サーバの機能構成＞
図１に示されているように、サーバ１０ａは、転送機能として、取得部１１ａ及び転送部１２ａを有している。また、サーバ１０ａは、機械学習機能として、機械学習部１３ａ、推論部１４ａ、データベース１５ａ、及び機械学習モデル２０ａを有している。更に、サーバ１０ａは、計算部１６を有している。各機能部（取得部１１ａ、転送部１２ａ、機械学習部１３ａ、推論部１４ａ）は、後述の図２に示すＲＡＭ１０３上に展開されたプログラムに従ったＣＰＵ１０１からの命令によって動作することで実現される機能、又は機能する手段である。
図１に示されているように、サーバ１０ａは、転送機能として、取得部１１ａ及び転送部１２ａを有している。また、サーバ１０ａは、機械学習機能として、機械学習部１３ａ、推論部１４ａ、データベース１５ａ、及び機械学習モデル２０ａを有している。更に、サーバ１０ａは、計算部１６を有している。各機能部（取得部１１ａ、転送部１２ａ、機械学習部１３ａ、推論部１４ａ）は、後述の図２に示すＲＡＭ１０３上に展開されたプログラムに従ったＣＰＵ１０１からの命令によって動作することで実現される機能、又は機能する手段である。
【0013】
これらのうち、取得部１１ａは、他の転送装置からデータを取得する。
【0014】
転送部１２ａは、他の転送装置にデータを転送する。
【0015】
機械学習部１３ａは、ニューラルネットワーク等の機械学習アルゴリズムを用いた深層学習等によって機械学習モデル２０ａを機械学習させて、学習済みの機械学習モデル２０ａを生成する。
【0016】
推論部１４ａは、学習済みの機械学習モデル２０ａを用い、所定タスクに対する推論を行う。推論部１４ａは、学習済みの機械学習モデル２０ａが分類モデルであれば入力データに対する分類結果を推論したり、学習済みの機械学習モデル２０ａが将来予測モデルであれば入力データから次の時刻の値を推論したりする。
【0017】
データベース１５ａは、検索や蓄積が容易にできるよう整理された情報の集まりであり、サーバとしての機能を実現するために用いられる。
【0018】
計算部１６は、機械学習機能とは独立に負荷分散を最適化するための計算を行う機能である。なお、計算部１６は、通信システム１内で、サーバ１０ａ，１０ｂ以外のサーバ等が有していてもよい。
【0019】
サーバ１０ｂは、取得部１１ｂ、転送部１２ｂ、機械学習部１３ｂ、推論部１４ｂ、データベース１５ｂ、及び機械学習モデル２０ｂを有している。取得部１１ｂ、転送部１２ｂ、機械学習部１３ｂ、推論部１４ｂ、データベース１５ｂ、及び機械学習モデル２０ｂは、それぞれ、取得部１１ａ、転送部１２ａ、機械学習部１３ａ、推論部１４ａ、データベース１５ａ、及び機械学習モデル２０ａと同様の機能を有するため、これらの説明を省略する。
【0020】
なお、以降、機械学習モデル２０ａ，２０ｂの総称を「機械学習モデル２０」と示す。また、サーバ１０ａ、サーバ１０ｂの総称を「サーバ１０」と示す。
【0021】
＜ルータ＞
ルータ３０ａは、転送機能として、取得部３１ａ及び転送部３２ａを有している。ルータ３０ｂは、転送機能として、取得部３１ｂ及び転送部３２ｂを有している。ルータ３０ｃは、転送機能として、取得部３１ｃ及び転送部３２ｃを有している。ルータ３０ｄは、転送機能として、取得部３１ｄ及び転送部３２ｄを有している。
ルータ３０ａは、転送機能として、取得部３１ａ及び転送部３２ａを有している。ルータ３０ｂは、転送機能として、取得部３１ｂ及び転送部３２ｂを有している。ルータ３０ｃは、転送機能として、取得部３１ｃ及び転送部３２ｃを有している。ルータ３０ｄは、転送機能として、取得部３１ｄ及び転送部３２ｄを有している。
【0022】
取得部３１ａ，３１ｂ，３１ｃ，３１ｄは、上述の取得部１１ａと同様の機能を有するため、これらの説明を省略する。転送部３２ａ，３２ｂ，３２ｃ，３２ｄは、上述の転送部１２ａと同様の機能を有するため、これらの説明を省略する。
【0023】
なお、以降、ルータ３０ａ，３０ｂ，３０ｃ，３０ｄの総称を「ルータ３０」と示す。また、取得部３１ａ，３１ｂ，３１ｃ，３１ｄの総称を「取得部３１」と示す。転送部３２ａ，３２ｂ，３２ｃ，３２ｄの総称を「転送部３２」と示す。
【0024】
また、以降の定式化の簡略化のため、サーバ１０については、ルータ３０に無限大帯域のリンクで接続されているとする。
【0025】
【0026】
サーバ１０、コンピュータとして、図２に示されているように、ＣＰＵ(Central Processing Unit)１０１、ＲＯＭ(Read Only Memory)１０２、ＲＡＭ(Random Access Memory)１０３、ＳＳＤ(Solid State Drive)１０４、外部機器接続Ｉ／Ｆ(Interface)１０５、ネットワークＩ／Ｆ１０６、メディアＩ／Ｆ１０９、及びバスライン１１０を備えている。
【0027】
これらのうち、ＣＰＵ１０１は、サーバ１０全体の動作を制御する。ＲＯＭ１０２は、ＩＰＬ(Initial Program Loader)等のＣＰＵ１０１の駆動に用いられるプログラムを記憶する。ＲＡＭ１０３は、ＣＰＵ１０１のワークエリアとして使用される。
【0028】
ＳＳＤ１０４は、ＣＰＵ１０１の制御に従って各種データの読み出し又は書き込みを行う。なお、ＳＤＤ１０４の代わりに、ＨＤＤ(Hard Disk Drive)を用いても良い。
【0029】
外部機器接続Ｉ／Ｆ１０５は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、ディスプレイ、スピーカ、キーボード、マウス、ＵＳＢ(Universal Serial Bus)メモリ、及びプリンタ等である。
【0030】
ネットワークＩ／Ｆ１０６は、物理ネットワーク３００等の通信ネットワークを介してデータ通信をするためのインターフェースである。
【0031】
メディアＩ／Ｆ１０９は、フラッシュメモリ等の記録メディア１０９ｍに対するデータの読み出し又は書き込み（記憶）を制御する。記録メディア１０９ｍには、ＤＶＤ(Digital Versatile Disc)やＢｌｕ-ｒａｙ Ｄｉｓｃ（登録商標）等も含まれる。
【0032】
バスライン１１０は、図２に示されているＣＰＵ１０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【0033】
なお、ルータ３０は、サーバ１０と同じ構成か、又は、ＳＳＤ１０４、外部機器接続Ｉ／Ｆ１０５及びメディアＩ／Ｆ１０９のうち少なくとも１つが省略されているだけであるため、説明を省略する。
【0034】
以降では機械学習にかかる時間を最小化するための定式化を行っていく。
【0035】
〔記号の定義〕
まず初めに、初めに以降で用いる記号の定義を行う。各定義は図５に示されている通りである。
まず初めに、初めに以降で用いる記号の定義を行う。各定義は図５に示されている通りである。
【0036】
〔パラメータの決定要件〕
本実施形態は、(i)pij or pi[ab]の決定、(ii)パラメータ転送の経路選択、により２段階で実施される。以降、これらのパラメータの決定要件について詳しく述べる。
本実施形態は、(i)pij or pi[ab]の決定、(ii)パラメータ転送の経路選択、により２段階で実施される。以降、これらのパラメータの決定要件について詳しく述べる。
【0037】
●(i)pij or pi[ab]の決定
各ルータ３０(又は各サーバ１０のルータ機能)i で単位時間あたりにλiのデータが生成されるとする。本実施形態においては各サーバ１０のマシンパワーは一律であるとし、また機械学習モデル２０のパラメータの同期が全サーバ１０で１エポックの学習が終わるごとに行われるとする。この場合、１エポックの学習にかかる時間は各サーバ１０が保持している学習用データの量に依存する。またすべてのサーバ１０で学習が終わらないとパラメータの同期が行われないため、そのパラメータの同期間隔は最も１エポックの学習に時間がかかるサーバ１０、すなわち最も学習用データを多く持っているサーバ１０に依存する。よって、学習時間を短くするためには学習データが最も多いサーバ１０の学習データ量を少なくする必要がある。またfederated learningの学習時のパラメータ転送速度はネットワーク帯域の使用状況に影響を受けるので、(1)各リンクの帯域使用率、又は(2)各リンクの残存帯域も考慮する。データの転送においては、(a)最短経路を用いる場合、(b)経路選択の最適化を行う場合が考えられる。以降では(1)、(2)および(a)、(b)について定式化を行っていく。以降、(a)、(b)についてそれぞれ定式化を行う。
各ルータ３０(又は各サーバ１０のルータ機能)i で単位時間あたりにλiのデータが生成されるとする。本実施形態においては各サーバ１０のマシンパワーは一律であるとし、また機械学習モデル２０のパラメータの同期が全サーバ１０で１エポックの学習が終わるごとに行われるとする。この場合、１エポックの学習にかかる時間は各サーバ１０が保持している学習用データの量に依存する。またすべてのサーバ１０で学習が終わらないとパラメータの同期が行われないため、そのパラメータの同期間隔は最も１エポックの学習に時間がかかるサーバ１０、すなわち最も学習用データを多く持っているサーバ１０に依存する。よって、学習時間を短くするためには学習データが最も多いサーバ１０の学習データ量を少なくする必要がある。またfederated learningの学習時のパラメータ転送速度はネットワーク帯域の使用状況に影響を受けるので、(1)各リンクの帯域使用率、又は(2)各リンクの残存帯域も考慮する。データの転送においては、(a)最短経路を用いる場合、(b)経路選択の最適化を行う場合が考えられる。以降では(1)、(2)および(a)、(b)について定式化を行っていく。以降、(a)、(b)についてそれぞれ定式化を行う。
【0038】
(a)(1)最短経路かつ帯域使用率を考慮
この場合は、ルータi∈Nからサーバj∈NSへの転送ルートは一意に定まるので最適化するパラメータは転送比率pijである。
この場合は、ルータi∈Nからサーバj∈NSへの転送ルートは一意に定まるので最適化するパラメータは転送比率pijである。
【0039】
この時満たされるべき式は、図６の（式１）乃至（式３）のようになる。
【0040】
ここで(式１)は各サーバ１０に送られるデータ量に対する制約、(式２)は各リンクの帯域利用比率に対する制約である。δはパラメータ転送を行う際に輻輳が起きないようにするためのマージンであり、あらかじめ与えておく。(式３)は流量保存条件である。最適化の行い方としてはrcを固定したうえでrを最小化する、又はrを固定したうえでrcを最小化するの２パターンが考えられる。
【0041】
(a)(2)最短経路かつ残存帯域を考慮
(1)の場合との相違点は(式２)であり、（式２）は図７の（式４）のように変更される。
(1)の場合との相違点は(式２)であり、（式２）は図７の（式４）のように変更される。
【0042】
最適化の方針としてはrcを固定したうえでrを最小化する、又はrを固定したうえでrcを最大化するの２パターンが考えられる。
【0043】
【0044】
ここで、（式５）、(式６)は、(a)の場合と同様の最適化パラメータを含む不等式であり、(式７)はルータ３０と切り離されたサーバ１０はデータを生成しないという制約、(式７)はサーバ１０に送られたデータはすべてそのサーバで処理されるという制約、(式９)はサーバ機能をもつルータはサーバとルータが無限大帯域のリンクで接続されているという仮定を表している。(式１０)～(式１２)は、それぞれ生成、処理、及び経由点における流量保存の式である。この場合の処理は、(a)(1)の時と同様に、rとrcの片方（一方）を固定化し、もう片方（他方）を最小化するようにpi[ab]を最適化する。
【0045】
(b)(2)経路選択を行いかつ残存帯域を考慮
(式６)を図８の（式１３）のように変更する。
(式６)を図８の（式１３）のように変更する。
【0046】
こちらの処理も、(a)(2)の場合と同様に、rとrcの片方（一方）を固定化し、もう片方（他方）を最小化(又は最大化)するようにpi[ab]を最適化する。
【0047】
以上の最適化問題は線形計画問題に落とし込まれているので、既存のソルバー等を用いて解くことができる。
【0048】
●(ii)パラメータ転送の経路選択
学習速度を最大にするために、機械学習モデル２０のパラメータ転送を最速で行う必要がある。パラメータ転送の方式として全てのサーバ１０が自サーバ１０以外のすべてのサーバにパラメータを転送する場合を考える。経路選択の最適化としてパラメータの転送遅延を考慮するが、転送遅延の考え方として(ア)有効帯域からキューイング遅延を求める、(イ)有効帯域のボトルネックリンクのみを考慮する、(ウ)有効帯域に対する最大最小公平性に基づく制御の３通りの方式が考えられる。
学習速度を最大にするために、機械学習モデル２０のパラメータ転送を最速で行う必要がある。パラメータ転送の方式として全てのサーバ１０が自サーバ１０以外のすべてのサーバにパラメータを転送する場合を考える。経路選択の最適化としてパラメータの転送遅延を考慮するが、転送遅延の考え方として(ア)有効帯域からキューイング遅延を求める、(イ)有効帯域のボトルネックリンクのみを考慮する、(ウ)有効帯域に対する最大最小公平性に基づく制御の３通りの方式が考えられる。
【0049】
初めに(i)で求めたデータ転送方式に基づき各リンクabを流れるトラヒック量vabは、(a)の場合は図９の（式１４）、(b)の場合は（式１５）のようにあらわされる。
【0050】
(ア)有効帯域からキューイング遅延を求める
各リンクの有効帯域
各リンクの有効帯域
【0051】
【0052】
各リンクをトラヒックが流れる時の遅延はキューイング遅延Tabと伝播遅延dabの和であらわされるとする。ここで、パラメータ転送に起因するトラヒック量はデータ転送のトラヒック量に比べて小さく無視できると仮定する。この場合、キューイング遅延Tabは、図９の（式１７）によりあらわされる。
【0053】
伝播遅延dabは、リンク長などによって与えられる定数量である。
【0054】
よって、パラメータ転送においてリンクabを経由するのにかかる時間Tabは、図９の（式１８）によりあらわされる。
【0055】
よって、最適化は(式１８)を各リンクのコストと考えて各サーバの組ごとに最短経路問題を解くことで実現される。厳密解を求める場合はダイクストラ法、大規模なネットワークの場合は遺伝的アルゴリズムや強化学習を用いた近似手段を用いることになる。
【0056】
(イ)有効帯域のボトルネックリンクのみを考慮
この場合は、(ア)の(式１６)参照して各リンクのコストを決定し、経路の中のリンク集合のうちコスト最大であるリンクのコストが最も小さくなるような経路を選択する。
この場合は、(ア)の(式１６)参照して各リンクのコストを決定し、経路の中のリンク集合のうちコスト最大であるリンクのコストが最も小さくなるような経路を選択する。
【0057】
これは、ベルマンフォード法で厳密解を求めることが可能である。
【0058】
(ウ)有効帯域に対する最大最小公平性に基づく制御
別のsrc-dstの組が1つのリンクを共有する場合が存在するような通信制御では最大最小公平性（参考文献１）が用いられることがある。
別のsrc-dstの組が1つのリンクを共有する場合が存在するような通信制御では最大最小公平性（参考文献１）が用いられることがある。
【0059】
＜参考文献１＞Marbach, Peter. "Priority service and max-min fairness." Proceedings. Twenty-First Annual Joint Conference of the IEEE Computer and Communications Societies. Vol. 1. IEEE, 2002.
最大最小公平性を最大にするための経路選択手法の一案として、以下のようなものを考える。
１．全てのnabを0に初期化しておく。
２．まだ経路の決まっていないsrc-dstの組を１つ選び、有効帯域
最大最小公平性を最大にするための経路選択手法の一案として、以下のようなものを考える。
１．全てのnabを0に初期化しておく。
２．まだ経路の決まっていないsrc-dstの組を１つ選び、有効帯域
【0060】
【数2】
３．ここで経由することになったリンクabに対して
【0061】
【数3】
４．nabが変化したリンクabに対して
【0062】
【数4】
５．上記２．から先を全ての組の経路が確定するまで繰り返す。
【0063】
この方式ではsrc-dstの組が選ばれる順番によって決定される経路に差が出てくるので組の選ぶ順番をランダムに変化させつつ複数回の検証を行い、最大最小公平性が最大になった経路を選択するという手段が考えられる。
【0064】
【0065】
Ｓ１１：サーバ１０ａの計算部１６は、上記(i)により、各ルータ３０（各サーバ１０の転送部１２ａ，１２ｂを含む）から各サーバ１０へのデータの転送比率pij、又は各ルータ３０（各サーバ１０の転送部１２ａ，１２ｂを含む）から各サーバ１０へのデータが最短経路で転送される場合の経由リンクの方向に流れるデータの転送比率pi[ab]を計算する。この場合、計算部１６は、各サーバ１０（サーバ１０ａを含む）及び各ルータ３０に対して、それぞれに応じたデータの転送比率を含む計算結果の情報を送る。
【0066】
Ｓ１２：サーバ１０ａの転送部１２ａは、取得部１１ａによって取得した第１のデータを計算部１６による計算結果に基づいて転送すると共に、サーバ１０ｂの転送部１２ｂは、取得部１１ｂによって取得した第２のデータを計算部１６による計算結果に基づいて転送する。この際、各ルータ３０も、計算部１６から得た各計算結果に基づいて、サーバ１０ａ，１０ｂに各データを転送する。
【0067】
Ｓ１３：サーバ１０ａの機械学習部１３ａは、取得部１１ａによって取得した第１のデータを用いて、機械学習モデル２０ａを機械学習させると共に、サーバ１０ｂの機械学習部１３ｂは、取得部１１ｂによって取得した第２のデータを用いて、機械学習モデル２０ｂを機械学習させる。
【0068】
Ｓ１４：計算部１６は、上記(ii)の計算により、サーバ１０ａの機械学習部１３ａによる機械学習用の第１のモデルパラメータ（のデータ）の第１の経路、及びサーバ１０ｂの機械学習部１３ｂによる機械学習用の第２のモデルパラメータ（のデータ）の第２の経路を探索する。
【0069】
Ｓ１５：サーバ１０ａの転送部１２ａは、1epoch(１エポック)ごとに計算部１６によって計算された第１の経路に基づいて、サーバ１０ｂに第１のモデルパラメータを転送すると共に、サーバ１０ｂの転送部１２ｂは、1epochごとに計算部１６によって計算された第２の経路に基づいて、第１のサーバに第２のモデルパラメータを転送する。なお、サーバ１０が３つ以上存在する場合、サーバ１０ａは、サーバ１０ｂ以外の全てのサーバに対しても第１のモデルパラメータを転送する。同様に、サーバ１０ｂは、サーバ１０ａ以外の全てのサーバに対しても第２のモデルパラメータを転送する。そして、サーバ１０ａ、１０ｂ以外の所定のサーバも、同様に、この所定のサーバ以外のサーバ（サーバ１０ａ，１０ｂを含む）に対しても独自のモデルパラメータを転送する。
【0070】
Ｓ１６：サーバ１０ａの取得部１１ａが第２のモデルパラメータを取得して、機械学習部１３ａが第１及び第２のモデルパラメータを統合すると共に、サーバ１０ｂの取得部１１ｂが第１のモデルパラメータを取得して、機械学習部１３ｂが第１及び第２のモデルパラメータを統合する。
【0071】
Ｓ１７：機械学習を終了しない合には（ＮＯ）、Ｓ１３に戻り、次の1epochの機械学習が行われる。また、機械学習を終了する場合には（ＹＥＳ）、Ｓ１８に進む。
【0072】
Ｓ１８：サーバ１０ａの推論部１４ａは、学習済みの機械学習モデル２０ａを用いて、第１のタスクに対する推論を行うと共に、サーバ１０ｂの推論部１４ｂは、学習済みの機械学習モデル２０ｂａを用いて、第２のタスクに対する推論を行う。
【0073】
〔実施形態の効果〕
以上説明したように、本実施形態の通信システム１は、ネットワーク上で生成されたデータをどの拠点に転送すべきかについて定式化を行うことで、federated learningの機械学習時間を最小にするようにデータを転送することができる。具体的には、ルータ３０からのデータの転送先のサーバ１０や転送ルートの選択、及び各サーバ１０の機械学習用のモデルパラメータの転送ルートの選択を行うことで、学習時間の削減につながる最適な分散処理学習を実現することが可能になる。これにより、機械学習モデル２０ａ，２０ｂの学習時間の削減ができるようになり、より直近の状況を加味した深層学習モデルでの推論が可能となる。
以上説明したように、本実施形態の通信システム１は、ネットワーク上で生成されたデータをどの拠点に転送すべきかについて定式化を行うことで、federated learningの機械学習時間を最小にするようにデータを転送することができる。具体的には、ルータ３０からのデータの転送先のサーバ１０や転送ルートの選択、及び各サーバ１０の機械学習用のモデルパラメータの転送ルートの選択を行うことで、学習時間の削減につながる最適な分散処理学習を実現することが可能になる。これにより、機械学習モデル２０ａ，２０ｂの学習時間の削減ができるようになり、より直近の状況を加味した深層学習モデルでの推論が可能となる。
【0074】
〔補足〕
以上、本発明は、上記の実施形態に限定されることなく、例えば以下に示すように、種々の変更及び応用が可能である。
以上、本発明は、上記の実施形態に限定されることなく、例えば以下に示すように、種々の変更及び応用が可能である。
【0075】
（１）各転送装置は、コンピュータとプログラムによって実現できるが、このプログラムを（非一時的）記録媒体に記録することも、インターネット等の通信ネットワークを介して提供することも可能である。
【0076】
（２）ＣＰＵ１０１は、単一だけでなく、複数であってもよい。
【符号の説明】
【0077】
１ 通信システム
１０，１０ａ，１０ｂ サーバ（転送装置の一例）
１１ａ 取得部（第１の取得部の一例）
１１ｂ 取得部（第２の取得部の一例）
３１ａ，３１ｂ，３１ｃ，３１ｄ 取得部
１２ａ 転送部（第１の転送部の一例）
１２ｂ 転送部（第２の転送部の一例）
３２ａ，３２ｂ，３２ｃ，３２ｄ 転送部
１３ａ 機械学習部（第１の機械学習部の一例）
１３ｂ 機械学習部（第２の機械学習部の一例）
１４ａ 推論部（第１の推論部の一例）
１４ｂ 推論部（第２の推論部の一例）
１５ａ，１５ｂ データベース
１６ 計算部
２０ａ 機械学習モデル（第１の機械学習モデルの一例）
２０ｂ 機械学習モデル（第２の機械学習モデルの一例）
３０ａ，３０ｂ，３０ｃ，３０ｄ ルータ（転送装置の一例）
１０，１０ａ，１０ｂ サーバ（転送装置の一例）
１１ａ 取得部（第１の取得部の一例）
１１ｂ 取得部（第２の取得部の一例）
３１ａ，３１ｂ，３１ｃ，３１ｄ 取得部
１２ａ 転送部（第１の転送部の一例）
１２ｂ 転送部（第２の転送部の一例）
３２ａ，３２ｂ，３２ｃ，３２ｄ 転送部
１３ａ 機械学習部（第１の機械学習部の一例）
１３ｂ 機械学習部（第２の機械学習部の一例）
１４ａ 推論部（第１の推論部の一例）
１４ｂ 推論部（第２の推論部の一例）
１５ａ，１５ｂ データベース
１６ 計算部
２０ａ 機械学習モデル（第１の機械学習モデルの一例）
２０ｂ 機械学習モデル（第２の機械学習モデルの一例）
３０ａ，３０ｂ，３０ｃ，３０ｄ ルータ（転送装置の一例）
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】