ホーム > 特許ランキング > 日本電信電話株式会社
▶ 日本電信電話株式会社の特許一覧 ▶ 学校法人 東洋大学の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024075343
(43)【公開日】2024-06-03
(54)【発明の名称】通信システム、及び分散処理学習方法
(51)【国際特許分類】
G06N 3/08 20230101AFI20240527BHJP
G06N 3/063 20230101ALI20240527BHJP
【ＦＩ】
G06N3/08
G06N3/063
【審査請求】未請求
【請求項の数】6
【出願形態】ＯＬ
(21)【出願番号】P 2022186725
(22)【出願日】2022-11-22
(71)【出願人】
【識別番号】000004226
【氏名又は名称】日本電信電話株式会社
(71)【出願人】
【識別番号】501061319
【氏名又は名称】学校法人 東洋大学
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100124844
【弁理士】
【氏名又は名称】石原 隆治
(72)【発明者】
【氏名】田尻 兼悟
(72)【発明者】
【氏名】川原 亮一
(57)【要約】
【課題】本開示の目的は、ネットワーク上で生成されたデータの端末への分配、及び学習時のモデルパラメータの転送経路という二つの問題についてfederated learning の精度を担保した上で、通信システム全体の学習時間が最小になるように最適化することである。
【解決手段】本開示は、分散処理学習を行う通信システム１において、転送するデータ量の比率を均等に分散すべく、各ルータ３０ａ等からのデータの転送先のサーバ１０ａ，１０ｂや転送ルートの選択、及び各サーバ１０ａ，１０ｂの機械学習用のモデルパラメータの転送ルートの選択を行うことで、学習時間の削減につながる最適な分散処理学習を実現することが可能になる。これにより、通信システム全体での学習時間の削減ができるようになり、より直近の状況を加味した機械学習モデルでの推論が可能となる。
【選択図】図１
【解決手段】本開示は、分散処理学習を行う通信システム１において、転送するデータ量の比率を均等に分散すべく、各ルータ３０ａ等からのデータの転送先のサーバ１０ａ，１０ｂや転送ルートの選択、及び各サーバ１０ａ，１０ｂの機械学習用のモデルパラメータの転送ルートの選択を行うことで、学習時間の削減につながる最適な分散処理学習を実現することが可能になる。これにより、通信システム全体での学習時間の削減ができるようになり、より直近の状況を加味した機械学習モデルでの推論が可能となる。
【選択図】図１
【特許請求の範囲】
【請求項1】
第１の取得部、第１の転送部、第１の機械学習部、及び第１の機械学習モデルを有する第１のサーバと、第２の取得部、第２の転送部、第２の機械学習部、及び第２の機械学習モデルを有する第２のサーバと、計算部とによって構築されたネットワークを利用して、分散処理学習を行う通信システムであって、
前記計算部は、転送するデータ量の比率を均等に分散すべく、前記第１の転送部から前記第２のサーバへのデータの第１の転送比率及び前記第１の機械学習部による機械学習用の第１のモデルパラメータの転送に使用すべき第１の転送経路、並びに前記第２の転送部から前記第１のサーバへのデータの第２の転送比率及び前記第２の機械学習部による機械学習用の第２のモデルパラメータの転送に使用すべき第２の転送経路を計算し、
前記第１の転送部は、第１の取得部によって取得した第１のデータを前記計算部による計算結果に基づいて均等に分散して転送すると共に、前記第２の転送部は、第２の取得部によって取得した第２のデータを前記計算部による計算結果に基づいて均等に分散して転送し、
前記第１の機械学習部は、前記第１の取得部によって取得した前記第１のデータを用いて、前記第１の機械学習モデルを機械学習させると共に、前記第２の機械学習部は、前記第２の取得部によって取得した前記第２のデータを用いて、第２の機械学習モデルを機械学習させ、
前記第１の転送部は、所定回数の機械学習毎に前記計算部によって計算された第１の経路に基づいて、前記第２のサーバに前記第１のモデルパラメータを転送すると共に、前記第２の転送部は、所定回数の機械学習毎に前記計算部によって計算された第２の経路に基づいて、前記第１のサーバに前記第２のモデルパラメータを転送する、
ことを特徴とする通信システム。
前記計算部は、転送するデータ量の比率を均等に分散すべく、前記第１の転送部から前記第２のサーバへのデータの第１の転送比率及び前記第１の機械学習部による機械学習用の第１のモデルパラメータの転送に使用すべき第１の転送経路、並びに前記第２の転送部から前記第１のサーバへのデータの第２の転送比率及び前記第２の機械学習部による機械学習用の第２のモデルパラメータの転送に使用すべき第２の転送経路を計算し、
前記第１の転送部は、第１の取得部によって取得した第１のデータを前記計算部による計算結果に基づいて均等に分散して転送すると共に、前記第２の転送部は、第２の取得部によって取得した第２のデータを前記計算部による計算結果に基づいて均等に分散して転送し、
前記第１の機械学習部は、前記第１の取得部によって取得した前記第１のデータを用いて、前記第１の機械学習モデルを機械学習させると共に、前記第２の機械学習部は、前記第２の取得部によって取得した前記第２のデータを用いて、第２の機械学習モデルを機械学習させ、
前記第１の転送部は、所定回数の機械学習毎に前記計算部によって計算された第１の経路に基づいて、前記第２のサーバに前記第１のモデルパラメータを転送すると共に、前記第２の転送部は、所定回数の機械学習毎に前記計算部によって計算された第２の経路に基づいて、前記第１のサーバに前記第２のモデルパラメータを転送する、
ことを特徴とする通信システム。
【請求項2】
第１の取得部、第１の転送部、第１の機械学習部、及び第１の機械学習モデルを有する第１のサーバと、第２の取得部、第２の転送部、第２の機械学習部、及び第２の機械学習モデルを有する第２のサーバと、計算部とによって構築されたネットワークを利用して、分散処理学習を行う通信システムであって、
前記計算部は、前記第１の転送部から前記第２のサーバの前記第２の取得部へのデータの第１の転送比率、及び前記第１の機械学習部による機械学習用の第１のモデルパラメータの第１の転送経路が制約条件を満たすかを判断すると共に、前記第２の転送部から前記第１のサーバの前記第１の取得部へのデータの第２の転送比率、及び前記第２の機械学習部による機械学習用の第２のモデルパラメータの第２の転送経路が前記制約条件を満たすかを判断し、
前記第１の転送比率、前記第１の転送経路、前記第２の転送比率、及び前記第２の転送経路が前記制約条件を満たす場合に、前記計算部は、federated learningの機械学習を行い、
前記第１の機械学習部は、前記federated learningの機械学習の度に前記第１の機械学習モデルの第１のモデルパラメータを更新すると共に、前記第２の機械学習部は、前記federated learningの機械学習の度に前記第２の機械学習モデルの第２のモデルパラメータを更新し、
前記計算部は、前記federated learningの機械学習に基づいて、当該計算部が実行するアルゴリズムのパラメータを更新する、
ことを特徴とする通信システム。
前記計算部は、前記第１の転送部から前記第２のサーバの前記第２の取得部へのデータの第１の転送比率、及び前記第１の機械学習部による機械学習用の第１のモデルパラメータの第１の転送経路が制約条件を満たすかを判断すると共に、前記第２の転送部から前記第１のサーバの前記第１の取得部へのデータの第２の転送比率、及び前記第２の機械学習部による機械学習用の第２のモデルパラメータの第２の転送経路が前記制約条件を満たすかを判断し、
前記第１の転送比率、前記第１の転送経路、前記第２の転送比率、及び前記第２の転送経路が前記制約条件を満たす場合に、前記計算部は、federated learningの機械学習を行い、
前記第１の機械学習部は、前記federated learningの機械学習の度に前記第１の機械学習モデルの第１のモデルパラメータを更新すると共に、前記第２の機械学習部は、前記federated learningの機械学習の度に前記第２の機械学習モデルの第２のモデルパラメータを更新し、
前記計算部は、前記federated learningの機械学習に基づいて、当該計算部が実行するアルゴリズムのパラメータを更新する、
ことを特徴とする通信システム。
【請求項3】
第１の取得部、第１の転送部、第１の機械学習部、及び第１の機械学習モデルを有する第１のサーバと、第２の取得部、第２の転送部、第２の機械学習部、及び第２の機械学習モデルを有する第２のサーバと、計算部とによって構築されたネットワークを利用して、分散処理学習を行う通信システムであって、
前記計算部は、前記第１の転送部から前記第２のサーバの前記第２の取得部へのデータの第１の転送比率、及び前記第１の機械学習部による機械学習用の第１のモデルパラメータの第１の転送経路が制約条件を満たすかを判断すると共に、前記第２の転送部から前記第１のサーバの前記第１の取得部へのデータの第２の転送比率、及び前記第２の機械学習部による機械学習用の第２のモデルパラメータの第２の転送経路が前記制約条件を満たすかを判断し、
前記第１の機械学習部は、federated learningの機械学習に基づいて前記第１の機械学習モデルの第１のモデルパラメータの更新内容を確定すると共に、前記第２の機械学習部は、前記federated learningの機械学習に基づいて前記第２の機械学習モデルの第２のモデルパラメータの更新内容を確定し、
前記計算部は、前記federated learningの機械学習に基づいて、当該計算部が実行するアルゴリズムのパラメータの更新を確定する、
ことを特徴とする通信システム。
前記計算部は、前記第１の転送部から前記第２のサーバの前記第２の取得部へのデータの第１の転送比率、及び前記第１の機械学習部による機械学習用の第１のモデルパラメータの第１の転送経路が制約条件を満たすかを判断すると共に、前記第２の転送部から前記第１のサーバの前記第１の取得部へのデータの第２の転送比率、及び前記第２の機械学習部による機械学習用の第２のモデルパラメータの第２の転送経路が前記制約条件を満たすかを判断し、
前記第１の機械学習部は、federated learningの機械学習に基づいて前記第１の機械学習モデルの第１のモデルパラメータの更新内容を確定すると共に、前記第２の機械学習部は、前記federated learningの機械学習に基づいて前記第２の機械学習モデルの第２のモデルパラメータの更新内容を確定し、
前記計算部は、前記federated learningの機械学習に基づいて、当該計算部が実行するアルゴリズムのパラメータの更新を確定する、
ことを特徴とする通信システム。
【請求項4】
第１の取得部、第１の転送部、第１の機械学習部、及び第１の機械学習モデルを有する第１のサーバと、第２の取得部、第２の転送部、第２の機械学習部、及び第２の機械学習モデルを有する第２のサーバと、計算部とによって構築されたネットワークを利用して、分散処理学習を行う通信システムが実行する分散処理学習方法であって、
前記計算部は、転送するデータ量の比率を均等に分散すべく、前記第１の転送部から前記第２のサーバへのデータの第１の転送比率及び前記第１の機械学習部による機械学習用の第１のモデルパラメータの転送に使用すべき第１の転送経路、及び前記第２の転送部から前記第１のサーバへのデータの第２の転送比率及び前記第２の機械学習部による機械学習用の第２のモデルパラメータの転送に使用すべき第２の転送経路を計算し、
前記第１の転送部は、第１の取得部によって取得した第１のデータを前記計算部による計算結果に基づいて均等に分散して転送すると共に、前記第２の転送部は、第２の取得部によって取得した第２のデータを前記計算部による計算結果に基づいて均等に分散して転送し、
前記第１の機械学習部は、前記第１の取得部によって取得した前記第１のデータを用いて、前記第１の機械学習モデルを機械学習させると共に、前記第２の機械学習部は、前記第２の取得部によって取得した前記第２のデータを用いて、第２の機械学習モデルを機械学習し、
前記第１の転送部は、所定回数の機械学習毎に前記計算部によって計算された第１の経路に基づいて、前記第２のサーバに前記第１のモデルパラメータを転送すると共に、前記第２の転送部は、所定回数の機械学習毎に前記計算部によって計算された第２の経路に基づいて、前記第１のサーバに前記第２のモデルパラメータを転送する、
ことを特徴とする分散処理学習方法。
前記計算部は、転送するデータ量の比率を均等に分散すべく、前記第１の転送部から前記第２のサーバへのデータの第１の転送比率及び前記第１の機械学習部による機械学習用の第１のモデルパラメータの転送に使用すべき第１の転送経路、及び前記第２の転送部から前記第１のサーバへのデータの第２の転送比率及び前記第２の機械学習部による機械学習用の第２のモデルパラメータの転送に使用すべき第２の転送経路を計算し、
前記第１の転送部は、第１の取得部によって取得した第１のデータを前記計算部による計算結果に基づいて均等に分散して転送すると共に、前記第２の転送部は、第２の取得部によって取得した第２のデータを前記計算部による計算結果に基づいて均等に分散して転送し、
前記第１の機械学習部は、前記第１の取得部によって取得した前記第１のデータを用いて、前記第１の機械学習モデルを機械学習させると共に、前記第２の機械学習部は、前記第２の取得部によって取得した前記第２のデータを用いて、第２の機械学習モデルを機械学習し、
前記第１の転送部は、所定回数の機械学習毎に前記計算部によって計算された第１の経路に基づいて、前記第２のサーバに前記第１のモデルパラメータを転送すると共に、前記第２の転送部は、所定回数の機械学習毎に前記計算部によって計算された第２の経路に基づいて、前記第１のサーバに前記第２のモデルパラメータを転送する、
ことを特徴とする分散処理学習方法。
【請求項5】
第１の取得部、第１の転送部、第１の機械学習部、及び第１の機械学習モデルを有する第１のサーバと、第２の取得部、第２の転送部、第２の機械学習部、及び第２の機械学習モデルを有する第２のサーバと、計算部とによって構築されたネットワークを利用して、分散処理学習を行う通信システムが実行する分散処理学習方法であって、
前記計算部は、前記第１の転送部から前記第２のサーバの前記第２の取得部へのデータの第１の転送比率、及び前記第１の機械学習部による機械学習用の第１のモデルパラメータの第１の転送経路が制約条件を満たすかを判断すると共に、前記第２の転送部から前記第１のサーバの前記第１の取得部へのデータの第２の転送比率、及び前記第２の機械学習部による機械学習用の第２のモデルパラメータの第２の転送経路が前記制約条件を満たすかを判断し、
前記第１の転送比率、前記第１の転送経路、前記第２の転送比率、及び前記第２の転送経路が前記制約条件を満たす場合に、前記計算部は、federated learningの機械学習を行い、
前記第１の機械学習部は、前記federated learningの機械学習の度に前記第１の機械学習モデルの第１のモデルパラメータを更新すると共に、前記第２の機械学習部は、前記federated learningの機械学習の度に前記第２の機械学習モデルの第２のモデルパラメータを更新し、
前記計算部は、前記federated learningの機械学習に基づいて、当該計算部が実行するアルゴリズムのパラメータを更新する、
ことを特徴とする分散処理学習方法。
前記計算部は、前記第１の転送部から前記第２のサーバの前記第２の取得部へのデータの第１の転送比率、及び前記第１の機械学習部による機械学習用の第１のモデルパラメータの第１の転送経路が制約条件を満たすかを判断すると共に、前記第２の転送部から前記第１のサーバの前記第１の取得部へのデータの第２の転送比率、及び前記第２の機械学習部による機械学習用の第２のモデルパラメータの第２の転送経路が前記制約条件を満たすかを判断し、
前記第１の転送比率、前記第１の転送経路、前記第２の転送比率、及び前記第２の転送経路が前記制約条件を満たす場合に、前記計算部は、federated learningの機械学習を行い、
前記第１の機械学習部は、前記federated learningの機械学習の度に前記第１の機械学習モデルの第１のモデルパラメータを更新すると共に、前記第２の機械学習部は、前記federated learningの機械学習の度に前記第２の機械学習モデルの第２のモデルパラメータを更新し、
前記計算部は、前記federated learningの機械学習に基づいて、当該計算部が実行するアルゴリズムのパラメータを更新する、
ことを特徴とする分散処理学習方法。
【請求項6】
第１の取得部、第１の転送部、第１の機械学習部、及び第１の機械学習モデルを有する第１のサーバと、第２の取得部、第２の転送部、第２の機械学習部、及び第２の機械学習モデルを有する第２のサーバと、計算部とによって構築されたネットワークを利用して、分散処理学習を行う通信システムが実行する分散処理学習方法であって、
前記計算部は、前記第１の転送部から前記第２のサーバの前記第２の取得部へのデータの第１の転送比率、及び前記第１の機械学習部による機械学習用の第１のモデルパラメータの第１の転送経路が制約条件を満たすかを判断すると共に、前記第２の転送部から前記第１のサーバの前記第１の取得部へのデータの第２の転送比率、及び前記第２の機械学習部による機械学習用の第２のモデルパラメータの第２の転送経路が前記制約条件を満たすかを判断し、
前記第１の機械学習部は、federated learningの機械学習に基づいて前記第１の機械学習モデルの第１のモデルパラメータの更新内容を確定すると共に、前記第２の機械学習部は、前記federated learningの機械学習に基づいて前記第２の機械学習モデルの第２のモデルパラメータの更新内容を確定し、
前記計算部は、前記federated learningの機械学習に基づいて、当該計算部が実行するアルゴリズムのパラメータの更新を確定する、
ことを特徴とする分散処理学習方法。
前記計算部は、前記第１の転送部から前記第２のサーバの前記第２の取得部へのデータの第１の転送比率、及び前記第１の機械学習部による機械学習用の第１のモデルパラメータの第１の転送経路が制約条件を満たすかを判断すると共に、前記第２の転送部から前記第１のサーバの前記第１の取得部へのデータの第２の転送比率、及び前記第２の機械学習部による機械学習用の第２のモデルパラメータの第２の転送経路が前記制約条件を満たすかを判断し、
前記第１の機械学習部は、federated learningの機械学習に基づいて前記第１の機械学習モデルの第１のモデルパラメータの更新内容を確定すると共に、前記第２の機械学習部は、前記federated learningの機械学習に基づいて前記第２の機械学習モデルの第２のモデルパラメータの更新内容を確定し、
前記計算部は、前記federated learningの機械学習に基づいて、当該計算部が実行するアルゴリズムのパラメータの更新を確定する、
ことを特徴とする分散処理学習方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、ネットワーク上で分散して取得されるデータを用いて、いくつかの拠点で機械学習モデル（深層学習モデル）を協調的に学習する技術に関し、特に学習時間の削減に関する。
【背景技術】
【0002】
近年、分散的な機械（深層）学習モデルの訓練手法としてfederated learning が提案されている（非特許文献１参照）。federated learning では機械学習モデルの訓練を行うことが可能な端末に対して共通のモデルパラメータを分配し、各端末で個別に自身の保有する訓練用データのみを用いて訓練を行いつつ、定期的に各端末で学習されたモデルパラメータの同期を行うことで学習を進める。Federated learning による学習では、モデルパラメータの転送時間及び各拠点で学習にかかる時間がシステム全体の学習時間に影響を与える。このうち、前者はモデルパラメータの転送経路及び経路上の各リンクの有効帯域、後者は各端末の処理能力及び訓練に用いられるデータの量に依存する。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】WYB Lim et al., "Federated learning in mobile edge networks: A comprehensive survey" IEEE Communications Surveys & Tutorials, 2020.
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、ネットワーク上で分散して取得されるデータを用いて、ネットワーク上に存在するいくつかの端末にて機械学習モデルを協調的に学習する際に、機械学習に用いるデータの端末への分配、及びモデルパラメータの転送経路の最適化問題がある。
【0005】
本開示は、上述の事情に鑑みてなされたもので、ネットワーク上で生成されたデータの端末への分配、及び学習時のモデルパラメータの転送経路という二つの問題についてfederated learning の精度を担保した上で、通信システム全体の学習時間が最小になるように最適化することを目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するため、請求項１に係る発明は、第１の取得部、第１の転送部、第１の機械学習部、及び第１の機械学習モデルを有する第１のサーバと、第２の取得部、第２の転送部、第２の機械学習部、及び第２の機械学習モデルを有する第２のサーバと、計算部とによって構築されたネットワークを利用して、分散処理学習を行う通信システムであって、前記計算部は、転送するデータ量の比率を均等に分散すべく、前記第１の転送部から前記第２のサーバへのデータの第１の転送比率及び前記第１の機械学習部による機械学習用の第１のモデルパラメータの転送に使用すべき第１の転送経路、及び前記第１の転送部から前記第１のサーバへのデータの第２の転送比率及び前記第２の機械学習部による機械学習用の第２のモデルパラメータの転送に使用すべき第２の転送経路を計算し、前記第１の転送部は、第１の取得部によって取得した第１のデータを前記計算部による計算結果に基づいて均等に分散して転送すると共に、前記第２の転送部は、第２の取得部によって取得した第２のデータを前記計算部による計算結果に基づいて均等に分散して転送し、前記第１の機械学習部は、前記第１の取得部によって取得した前記第１のデータを用いて、前記第１の機械学習モデルを機械学習させると共に、前記第２の機械学習部は、前記第２の取得部によって取得した前記第２のデータを用いて、第２の機械学習モデルを機械学習し、前記第１の転送部は、所定回数の機械学習毎に前記計算部によって計算された第１の経路に基づいて、前記第２のサーバに前記第１のモデルパラメータを転送すると共に、前記第２の転送部は、所定回数の機械学習毎に前記計算部によって計算された第２の経路に基づいて、前記第１のサーバに前記第２のモデルパラメータを転送する、ことを特徴とする通信システムである。
【発明の効果】
【0007】
以上説明したように本発明によれば、federated learning の精度を担保した上で、通信システム全体の学習時間が最小になるように最適化することができるという効果を奏する。
【図面の簡単な説明】
【0008】
【図1】実施形態に係る通信システムの全体構成図である。
【図2】統合制御システムの電気的なハードウェア構成図である。
【図3】記号の定義を示す図である。
【図4】記号の定義を示す図である。
【図5】各式を示す図である。
【図6】各式を示す図である。
【図7】各式を示す図である。
【図8】各式を示す図である。
【図9】モデルパラメータ転送における可用帯域の最大化の場合の処理を示すフローチャートである。
【図10】学習時間の最小化の場合の処理を示すフローチャートである。
【図11】モデルパラメータ転送における可用帯域の最大化の場合に（式１１）を用いる簡便な処理を示すフローチャートである。
【図12】学習時間の最小化の場合に、本番環境中でストリーミング的に実施する処理を示すフローチャートである。
【図13】学習時間の最小化の場合に、ある期間で本アルゴリズムを用いた学習を行い、そこで決まったモデルパラメータでデータ転送やモデルパラメータ転送を実施する処理を示すフローチャートである。
【発明を実施するための形態】
【0009】
以下、図面を用いて本発明の実施形態を説明する。
【0010】
【0011】
図１に示されているように、通信システム１は、複数の転送装置によって構築されている。図１では、複数の転送装置として、サーバ１０ａ，１０ｂ、ルータ３０ａ，３０ｂ，３０ｃ，３０ｄが、ネットワーク上で接続されている。なお、以降、サーバ１０ａ，１０ｂの総称を「サーバ１０」と示す。また、ルータ３０ａ，３０ｂ，３０ｃ，３０ｄの総称を「ルータ３０」と示す。図１では、図面の紙面の都合上、２つのサーバ１０、及び４つのルータが示されているが、これらの数はいくつであってもよい。
【0012】
＜サーバの機能構成＞
図１に示されているように、サーバ１０ａは、転送機能（ルータ部４０ａ）として、取得部１１ａ及び転送部１２ａを有している。また、サーバ１０ａは、機械学習機能として、機械学習部１３ａ、推論部１４ａ、データベース１５ａ、及び機械学習モデル２０ａを有している。更に、サーバ１０ａは、計算部１６を有している。各機能部（取得部１１ａ、転送部１２ａ、機械学習部１３ａ、推論部１４ａ）は、後述の図２に示すＲＡＭ１０３上に展開されたプログラムに従ったＣＰＵ１０１からの命令によって動作することで実現される機能、又は機能する手段である。
図１に示されているように、サーバ１０ａは、転送機能（ルータ部４０ａ）として、取得部１１ａ及び転送部１２ａを有している。また、サーバ１０ａは、機械学習機能として、機械学習部１３ａ、推論部１４ａ、データベース１５ａ、及び機械学習モデル２０ａを有している。更に、サーバ１０ａは、計算部１６を有している。各機能部（取得部１１ａ、転送部１２ａ、機械学習部１３ａ、推論部１４ａ）は、後述の図２に示すＲＡＭ１０３上に展開されたプログラムに従ったＣＰＵ１０１からの命令によって動作することで実現される機能、又は機能する手段である。
【0013】
これらのうち、取得部１１ａは、他の転送装置からデータを取得する。
【0014】
転送部１２ａは、他の転送装置にデータを転送する。
【0015】
機械学習部１３ａは、ニューラルネットワーク等の機械学習アルゴリズムを用いた深層学習等によって機械学習モデル２０ａを機械学習させて、学習済みの機械学習モデル２０ａを生成する。
【0016】
推論部１４ａは、学習済みの機械学習モデル２０ａを用い、所定タスクに対する推論を行う。推論部１４ａは、学習済みの機械学習モデル２０ａが分類モデルであれば入力データに対する分類結果を推論したり、学習済みの機械学習モデル２０ａが将来予測モデルであれば入力データから次の時刻の値を推論したりする。
【0017】
データベース１５ａは、検索や蓄積が容易にできるよう整理された情報の集まりであり、サーバとしての機能を実現するために用いられる。
【0018】
計算部１６は、機械学習機能とは独立に負荷分散を最適化するための計算を行う機能である。なお、計算部１６は、通信システム１内で、サーバ１０ａ，１０ｂ以外のサーバ等が有していてもよい。
【0019】
サーバ１０ｂは、ルータ部４０ｂ（取得部１１ｂ、転送部１２ｂ）、機械学習部１３ｂ、推論部１４ｂ、データベース１５ｂ、及び機械学習モデル２０ｂを有している。ルータ部４０ｂ（取得部１１ｂ、転送部１２ｂ）、機械学習部１３ｂ、推論部１４ｂ、データベース１５ｂ、及び機械学習モデル２０ｂは、それぞれ、ルータ部４０ａ（取得部１１ａ、転送部１２ａ）、機械学習部１３ａ、推論部１４ａ、データベース１５ａ、及び機械学習モデル２０ａと同様の機能を有するため、これらの説明を省略する。
【0020】
なお、以降、機械学習モデル２０ａ，２０ｂの総称を「機械学習モデル２０」と示す。また、ルータ部４０ａ，４０ｂの総称を「ルータ部４０」と示す。更に、取得部１１ａ，１１ｂの総称を「取得部１１」と示す。転送部１２ａ，１２ｂの総称を「転送部１２」と示す。機械学習部１３ａ，１３ｂの総称を「機械学習部１３」と示す。推論部１４ａ，１４ｂの総称を「推論部１４」と示す。データベース１５ａ，１５ｂの総称を「データベース１５」と示す。
【0021】
＜ルータ＞
ルータ３０ａは、転送機能として、取得部３１ａ及び転送部３２ａを有している。ルータ３０ｂは、転送機能として、取得部３１ｂ及び転送部３２ｂを有している。ルータ３０ｃは、転送機能として、取得部３１ｃ及び転送部３２ｃを有している。ルータ３０ｄは、転送機能として、取得部３１ｄ及び転送部３２ｄを有している。
ルータ３０ａは、転送機能として、取得部３１ａ及び転送部３２ａを有している。ルータ３０ｂは、転送機能として、取得部３１ｂ及び転送部３２ｂを有している。ルータ３０ｃは、転送機能として、取得部３１ｃ及び転送部３２ｃを有している。ルータ３０ｄは、転送機能として、取得部３１ｄ及び転送部３２ｄを有している。
【0022】
取得部３１ａ，３１ｂ，３１ｃ，３１ｄは、上述の取得部１１ａと同様の機能を有するため、これらの説明を省略する。転送部３２ａ，３２ｂ，３２ｃ，３２ｄは、上述の転送部１２ａと同様の機能を有するため、これらの説明を省略する。
【0023】
なお、以降、ルータ３０ａ，３０ｂ，３０ｃ，３０ｄの総称を「ルータ３０」と示す。また、取得部３１ａ，３１ｂ，３１ｃ，３１ｄの総称を「取得部３１」と示す。転送部３２ａ，３２ｂ，３２ｃ，３２ｄの総称を「転送部３２」と示す。
【0024】
また、以降の定式化の簡略化のため、サーバ１０については、ルータ３０に無限大帯域のリンクで接続されているとする。
【0025】
【0026】
サーバ１０、コンピュータとして、図２に示されているように、ＣＰＵ(Central Processing Unit)１０１、ＲＯＭ(Read Only Memory)１０２、ＲＡＭ(Random Access Memory)１０３、ＳＳＤ(Solid State Drive)１０４、外部機器接続Ｉ／Ｆ(Interface)１０５、ネットワークＩ／Ｆ１０６、メディアＩ／Ｆ１０９、及びバスライン１１０を備えている。
【0027】
これらのうち、ＣＰＵ１０１は、サーバ１０全体の動作を制御する。ＲＯＭ１０２は、ＩＰＬ(Initial Program Loader)等のＣＰＵ１０１の駆動に用いられるプログラムを記憶する。ＲＡＭ１０３は、ＣＰＵ１０１のワークエリアとして使用される。
【0028】
ＳＳＤ１０４は、ＣＰＵ１０１の制御に従って各種データの読み出し又は書き込みを行う。なお、ＳＤＤ１０４の代わりに、ＨＤＤ(Hard Disk Drive)を用いても良い。
【0029】
外部機器接続Ｉ／Ｆ１０５は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、ディスプレイ、スピーカ、キーボード、マウス、ＵＳＢ(Universal Serial Bus)メモリ、及びプリンタ等である。
【0030】
ネットワークＩ／Ｆ１０６は、物理ネットワーク３００等の通信ネットワークを介してデータ通信をするためのインターフェースである。
【0031】
メディアＩ／Ｆ１０９は、フラッシュメモリ等の記録メディア１０９ｍに対するデータの読み出し又は書き込み（記憶）を制御する。記録メディア１０９ｍには、ＤＶＤ(Digital Versatile Disc)やＢｌｕ-ｒａｙ Ｄｉｓｃ（登録商標）等も含まれる。
【0032】
バスライン１１０は、図２に示されているＣＰＵ１０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【0033】
なお、ルータ３０は、サーバ１０と同じ構成か、又は、ＳＳＤ１０４、外部機器接続Ｉ／Ｆ１０５及びメディアＩ／Ｆ１０９のうち少なくとも１つが省略されているだけであるため、説明を省略する。
【0034】
以降では機械学習にかかる時間を最小化するための定式化を行っていく。
【0035】
【0036】
〔モデルパラメータの決定法〕
本実施形態では、モデルパラメータpi[ab]及びr[ab]を最適化する。最適化の方針として、(i)モデルパラメータ転送における可用帯域の最大化、(ii)学習時間の最小化の二つを提案する。(i)の場合、E、Gは予め与えられたものとして扱い、(ii)の場合、Eは追加の最適化モデルパラメータとして扱うと共にGとしてはその上限値Gmaxを用意する。
本実施形態では、モデルパラメータpi[ab]及びr[ab]を最適化する。最適化の方針として、(i)モデルパラメータ転送における可用帯域の最大化、(ii)学習時間の最小化の二つを提案する。(i)の場合、E、Gは予め与えられたものとして扱い、(ii)の場合、Eは追加の最適化モデルパラメータとして扱うと共にGとしてはその上限値Gmaxを用意する。
【0037】
(i)モデルパラメータ転送における可用帯域の最大化
この最適化において、学習速度はモデルパラメータ転送時の転送経路の可用帯域Aabに依存し、また学習時の精度はモデルパラメータの転送（分散）比率pi[ab]に依存すると考える。ここで、図５及び図６を用いて最適化式を提示する。
この最適化において、学習速度はモデルパラメータ転送時の転送経路の可用帯域Aabに依存し、また学習時の精度はモデルパラメータの転送（分散）比率pi[ab]に依存すると考える。ここで、図５及び図６を用いて最適化式を提示する。
【0038】
ここで、（式３）はマスクを掛けられた帯域をデータ転送量が超えないという輻輳回避の制約、（式４）はルータ３０と切り離されたサーバ１０はデータを生成しないという制約、（式５）はサーバ１０に送られたデータは全てそのサーバ１０で処理されるという制約、（式６）はサーバ１０におけるルータ部４０はサーバ１０とルータ部４０が無限大帯域のリンクで接続されているという仮定を表している。
【0039】
図６において、（式７)～（式９）は、それぞれ、生成、処理、及び経由点における流量保存の式である。（式１０）は検証用データ(各サーバ１０が各サーバ１０に送られたデータの一部を機械学習に使わずに保存しておいたデータ)に対する学習済みモデル２０の損失に対する制約であり、pi[ab]、E、Gに依存する。
【0040】
また、図５の（式１）は最適化式であるが、これはモデルパラメータの転送において、あるサーバセットjとkを考え、このうち取り得るモデルパラメータ転送経路の中で１モデルパラメータ転送あたりの可用帯域Aabの最小値が最大であるということを
【0041】
【数1】
【0042】
可用帯域Aabとしては、
(a)各リンクの帯域からデータ転送量を引いた有効帯域
(a)各リンクの帯域からデータ転送量を引いた有効帯域
【0043】
【数2】
【0044】
【数3】
＜参考文献１＞Marbach, Peter. "Priority service and max-min fairness." Proceedings. Twenty-First Annual Joint Conference of the IEEE Computer and Communications Societies. Vol. 1. IEEE, 2002.
即ち、（式１）は、全てのサーバセットのうちの前記可用帯域の最小値が最大になるように、データの転送（分散）比率Pとモデルパラメータの転送に使用すべき転送経路Rを最大化するということを意味している。
【0045】
（式２）は各サーバ１０に分配（分散）されるデータ量が均等になるべきという条件でデータが均等に分配されていると（式１０）の収束が早くなるという仮定に基づいている。
【0046】
次に、図９を用いて、本最適化を実現するアルゴリズムについて説明する。本実施形態では、本最適化を遺伝的アルゴリズムによって近似的に実現する。
【0047】
Ｓ１１：計算部１６は、Rを複数パターン入力する。なお、各Rを個体とみなす。
【0048】
Ｓ１２：計算部１６は、各個体の適合度を以下の手順で計算する。
【0049】
Ｓ１２－１：計算部１６は、各個体に対して（式２）を（式３）～（式９）の制約を満たしたうえで解く(線形計画問題なので各種ソルバーが利用可能)。
【0050】
Ｓ１２－２：計算部１６は、上記Ｓ１２－１で求めたPを用いて各リンクの残帯域を算出し、モデルパラメータの転送経路を
【0051】
【数4】
【0052】
Ｓ１２－３：計算部１６は、実際の機械学習を行い、（式１０）が成り立っているか否かを調べる。
【0053】
Ｓ１２－４：もしも、（式１０）が成り立っていない場合は（Ｓ１２－３；ＮＯ）、計算部１６は、適合度にペナルティーを導入して、処理Ｓ１３に進む。（式１０）が成り立っている場合は（Ｓ１２－３；ＹＥＳ）、処理Ｓ１３に進む。なお、本実施形態では、遺伝的アルゴリズムが適合度を各個体に対して算出し、適合度の高い個体が優先的に残り、適合度の低い個体が破棄されやすいことを繰り返しながら、最終的に良い個体を探す。ペナルティーを導入するということは、最終的に、その個体が破棄されやすくなるという意味を示す。
【0054】
Ｓ１３：計算部１６は、適合度をもとに個体の選択更新を行い、処理Ｓ１２－１に戻る。
【0055】
続いて、学習時と（式１０）の評価において使用するデータを分けるために、サーバ１０は、サーバ１０に送られてきたデータを学習用データと（式１０）の評価用データに分けておき、学習時には学習用データを用い、（式１０）の評価時には（式１０）の評価用データを用いる。
【0056】
上述のアルゴリズムでは遺伝的アルゴリズムの処理Ｓ１２－１～Ｓ１２－４及び処理Ｓ３を繰り返すたびに、federated learning の学習を行う必要があるが、各ルータ３０及びルータ部４０で生成されるデータがi.i.d、かつ各ルータ３０及びルータ部４０から各サーバ１０へのデータの転送がランダムの場合、各サーバ１０に集まるデータの量が均一な方が、精度がよくなりやすいと考えられる。そのため（式１０）を（式１１）に置き換える方式が考えられ、この場合、処理Ｓ１２－１で求められたPが（式１１）を満たすかどうかを処理Ｓ１２－３で確認することになる。この（式１１）は、人為的（形式的）に決められており、転送するデータ量の比率を均等にするための式であるため、（式１１）を使う場合はfederatedlearning の機械学習は必要ではない。
【0057】
(ii)学習時間の最小化
この場合は、予め与えられた要求損失εに至るまでの時間を最小にするための最適化になる。最適化モデルパラメータは、データの転送比率P、モデルパラメータの転送経路X、及び同期間隔中のローカル学習回数Eである。初めに、（式１２）～（式２０）により最適化式を提示する。
この場合は、予め与えられた要求損失εに至るまでの時間を最小にするための最適化になる。最適化モデルパラメータは、データの転送比率P、モデルパラメータの転送経路X、及び同期間隔中のローカル学習回数Eである。初めに、（式１２）～（式２０）により最適化式を提示する。
【0058】
ここで、(i)と異なる箇所は、（式１１）及び（式１２）である。（式１２）は今回の提案の最適化式であり、（式１３）はモデルパラメータの転送も含めた輻輳回避要件である。また、（式２０）のEの依存性を（式１２）で明記しておいた。
【0059】
次に、本最適化を実現するアルゴリズムについて述べる。この場合も最適化を遺伝的アルゴリズムによって近似的に実現する。
【0060】
Ｓ２１：計算部１６は、P,X,Eを複数パターン入力する。なお、ここでは、P,X,Eのセットを個体とみなす。
【0061】
Ｓ２２－１：計算部１６は、各P,Xが（式１３）～（式１５）、（式１７）～（式１９）の制約条件を満たすか否かを判断する。即ち、計算部１６は、転送部１２ａからサーバ１０ｂの取得部１１ｂへのデータの転送比率（第１の転送比率）、及び機械学習部１３ａによる機械学習用のモデルパラメータの転送経路（第１の転送経路）が制約条件を満たすかを判断すると共に、転送部１２ｂからサーバ１０ａの取得部１１ａへのデータの転送比率（第２の転送比率）、及び機械学習部１３ｂによる機械学習用のモデルパラメータの転送経路（第２の転送経路）が制約条件を満たすかを判断する。
【0062】
Ｓ２２－２：もしも、各P，Xが上記の制約条件を満たさない場合は（Ｓ２２－１；ＮＯ）、計算部１６は、適合度にペナルティーを導入して、処理Ｓ２４に進む。各種P,Xが上記の制約条件を満たしている場合は（Ｓ２２－１；ＹＥＳ）、処理Ｓ２３－１に進む。
【0063】
Ｓ２３－１：計算部１６は、上記処理Ｓ２２－１の条件を満たしたもので、実際に機械学習モデル２０を用いて機械学習を行い、（式２０）が満たされる時間Tを計測し、（式２０）が満たされる時間Tがあるか否かを判断する。なお、機械学習時にはモデルパラメータEが使用される。このように、上記(i)において（式１１）は人為的に定められるのに対して、(ii)では、機械学習を行うことで（式２０）を導出している。また、この（式２０）が満たされる時間Tがあるか否かの判断が推論（検証）に相当する。即ち、処理２３－１において、機械学習と推論の両方が行われいる。
【0064】
Ｓ２３－２：（式２０）が満たされる時間Tがない場合（Ｓ２３－１；ＮＯ）、計算部１６は、Gmaxまで機械学習を繰り返したかを判断する。Gmaxまで機械学習を繰り返していない場合には（Ｓ２３－２；ＮＯ）、処理Ｓ２３－１に戻る。一方、Gmaxまで機械学習を繰り返している場合には（Ｓ２３－２；ＹＥＳ）、処理Ｓ２２－２に進み、その後、処理Ｓ２４に進む。
【0065】
Ｓ２４：計算部１６は、Tが小さい個体の適合度が大きくなるように定義し(例えばTの逆数など)、適合度をもとに個体の選択更新を行い、処理Ｓ２２－１に戻る。
【0066】
【0067】
なお、本実施形態の処理は、大きく分けて２つあり、〔１〕上記(i)によりfederated learningの学習を行わずに人為的に定められた（式１１）を用いる簡便な処理と、〔２〕上記(ii)により（式２０）を用いて遺伝的アルゴリズムの中でfederated learningの機械学習を複数回行う処理がある。更に、後者の〔２〕には、federated learningの学習の方法として２種類ある。１種類目として、〔２－１〕ストリーミング的にデータが常に流れて来ている状態において、１番目に入力されたデータを用いて遺伝的アルゴリズムで１周する処理を行う。そのときの初期のモデルパラメータで学習した機械学習モデル２０を次の時間の推論に使う。その推論のときに２番目の新しいデータが流れて来るため、この新しいデータを機械学習に使うときには、遺伝的アルゴリズムを１周だけ処理させて、機械学習モデル２０を更新し、この更新した機械学習モデルを使って３番目以降の新しいデータを機械学習に使うということを繰り返すことで、遺伝的アルゴリズムを継続的に行って、機械学習モデル２０を更新していく。
【0068】
また、２種類目として、〔２－２〕同じデータで遺伝的アルゴリズムを規定回数処理することで、最適化された機械学習モデル２０を使い続ける。即ち、機械学習が完了した機械学習モデル２０を生成し、それ以降は機械学習しないで、そのまま機械学習モデル２０を使い続ける。
【0069】
そこで、以下に、〔１〕、〔２－１〕、〔２－２〕の順に処理を説明する。
【0070】
〔１〕（式１１）を用いる簡便な処理
Ｓ３１：サーバ１０ａの計算部１６は、（式１１）を用いる簡便な方式の場合、PおよびRを計算する。即ち、計算部１６は、転送するデータ量の比率を均等に分散すべく、転送部１２ａからサーバ１０ｂへのデータの転送比率（第１の転送比率の一例）及び機械学習部１３ａによる機械学習用の第１のモデルパラメータの転送に使用すべき転送経路（第１の転送経路の一例）、並びに転送部１２ｂからサーバ１０ａへのデータの転送比率（第２の転送比率の一例）及び機械学習部１３ｂによる機械学習用の第２のモデルパラメータの転送に使用すべき転送経路（第２の転送経路の一例）を計算する。なお、（式１１）により、federated learning の精度を担保することは可能である。
Ｓ３１：サーバ１０ａの計算部１６は、（式１１）を用いる簡便な方式の場合、PおよびRを計算する。即ち、計算部１６は、転送するデータ量の比率を均等に分散すべく、転送部１２ａからサーバ１０ｂへのデータの転送比率（第１の転送比率の一例）及び機械学習部１３ａによる機械学習用の第１のモデルパラメータの転送に使用すべき転送経路（第１の転送経路の一例）、並びに転送部１２ｂからサーバ１０ａへのデータの転送比率（第２の転送比率の一例）及び機械学習部１３ｂによる機械学習用の第２のモデルパラメータの転送に使用すべき転送経路（第２の転送経路の一例）を計算する。なお、（式１１）により、federated learning の精度を担保することは可能である。
【0071】
Ｓ３２：各サーバ１０のルータ部４０の転送部１２は、取得部１１によって取得されたデータを各サーバ(自サーバを含む)に分配すると共に、各ルータ３０の転送部３２は、取得部３１によって取得されたデータを各サーバ１０に分配する。即ち、転送部１２ａは、取得部１１ａによって取得したデータを計算部１６による計算結果に基づいて均等に分散して転送すると共に、転送部１２ｂは、取得部１１ｂによって取得したデータを計算部１６による計算結果に基づいて均等に分散して転送する。
【0072】
Ｓ３３：各サーバ１０の機械学習部１３は、取得部１１によって取得されたデータを用いて、機械学習モデル２０を機械学習させると共に、各サーバ１０の転送部１２は、E 回の機械学習毎に最終的な処理Ｓ１２－２で決定された転送経路に基づいて、自身以外のサーバと機械学習モデル２０のモデルパラメータをやり取りして学習を進める。即ち、機械学習部１３ａは、取得部１１ａによって取得したデータを用いて、機械学習モデル２０ａを機械学習させると共に、機械学習部１３ｂは、取得部１１ｂによって取得したデータを用いて、機械学習モデル２０ｂを機械学習させる。また、転送部１２ａは、所定回数の機械学習毎に計算部１６によって計算された経路（第１の経路）に基づいて、サーバ１０ｂに第１のモデルパラメータを転送すると共に、転送部１２ｂは、所定回数の機械学習毎に計算部１６によって計算された経路（第２の経路）に基づいて、サーバ１０ａに第２のモデルパラメータを転送する。
【0073】
Ｓ３４：各サーバ１０の推論部１４は、学習済みの機械学習モデル２０を用いて、以降、各サーバ１０のルータ部４０の転送部１２又は各ルータ３０の転送部３２から送られてくるデータに対して推論を行う。
【0074】
〔２－１〕（式２０）を用いて機械学習モデルを更新しながら進める処理
Ｓ４１：計算部１６は、ある期間毎に、取得部１１よって、各サーバ１０のルータ部４０の転送部１２又は各ルータ３０の転送部３２から取得されたデータに関して、処理Ｓ２２，Ｓ２３を１度だけ実行する（初回実行時のみ処理Ｓ２１も行う)。即ち、転送部１２ａからサーバ１０ｂへのデータの転送比率（第１の転送比率）及び機械学習部１３ａによる機械学習用のモデルパラメータの転送に使用すべき転送経路（第１の転送経路）、並びに転送部１２ｂからサーバ１０ａへのデータの転送比率（第２の転送比率）及び機械学習部１３ｂによる機械学習用のモデルパラメータの転送に使用すべき転送経路（第２の転送経路）が制約条件を満たす場合に、計算部１６は、federated learningの機械学習を行う。
Ｓ４１：計算部１６は、ある期間毎に、取得部１１よって、各サーバ１０のルータ部４０の転送部１２又は各ルータ３０の転送部３２から取得されたデータに関して、処理Ｓ２２，Ｓ２３を１度だけ実行する（初回実行時のみ処理Ｓ２１も行う)。即ち、転送部１２ａからサーバ１０ｂへのデータの転送比率（第１の転送比率）及び機械学習部１３ａによる機械学習用のモデルパラメータの転送に使用すべき転送経路（第１の転送経路）、並びに転送部１２ｂからサーバ１０ａへのデータの転送比率（第２の転送比率）及び機械学習部１３ｂによる機械学習用のモデルパラメータの転送に使用すべき転送経路（第２の転送経路）が制約条件を満たす場合に、計算部１６は、federated learningの機械学習を行う。
【0075】
Ｓ４２：各機械学習部１８は、federated learningの機械学習の度に、機械学習モデル２０のパラメータの更新、及び、計算部１６は本アルゴリズムのモデルパラメータの更新を行う。即ち、機械学習部１３ａは、federated learningの機械学習の度に機械学習モデルの２０ａモデルパラメータを更新すると共に、機械学習部１３ｂは、federated learningの機械学習の度に機械学習モデル２０ｂのモデルパラメータを更新する。また、計算部１６は、federated learningの機械学習に基づいて、計算部１６が実行するアルゴリズムのパラメータを更新する。
【0076】
Ｓ４３：各サーバ１０の推論部１４は、処理Ｓ２２，Ｓ２３で学習された最新の機械学習モデル２０を用いて、各サーバ１０のルータ部４０の転送部１２又は各ルータ３０の転送部３２から送られてくるデータに対して推論を行う。次のタイミングでのアルゴリズム実行において、前回実行時に遺伝的アルゴリズムで更新されたP,R もしくはP,X,E が用いられる。
【0077】
〔２－２〕（式２０）を用いた学習済みの機械学習モデルで進める処理
Ｓ５１：機械学習部１８及び計算部１６は、ある期間で取得部１１よって、サーバ１０のルータ部４０の転送部１２又は各ルータ３０の転送部３２から取得されたデータに関して、本アルゴリズムを繰り返し行い、P,R又はP,X,Eを確定させる。即ち、機械学習部１３ａは、federated learningの機械学習に基づいて機械学習モデル２０ａのモデルパラメータの更新内容を確定すると共に、機械学習部１３ｂは、federated learningの機械学習に基づいて機械学習モデル２０ｂのモデルパラメータの更新内容を確定する。また、計算部１６は、federated learningの機械学習に基づいて、計算部１６が実行するアルゴリズムのパラメータの更新を確定する。
Ｓ５１：機械学習部１８及び計算部１６は、ある期間で取得部１１よって、サーバ１０のルータ部４０の転送部１２又は各ルータ３０の転送部３２から取得されたデータに関して、本アルゴリズムを繰り返し行い、P,R又はP,X,Eを確定させる。即ち、機械学習部１３ａは、federated learningの機械学習に基づいて機械学習モデル２０ａのモデルパラメータの更新内容を確定すると共に、機械学習部１３ｂは、federated learningの機械学習に基づいて機械学習モデル２０ｂのモデルパラメータの更新内容を確定する。また、計算部１６は、federated learningの機械学習に基づいて、計算部１６が実行するアルゴリズムのパラメータの更新を確定する。
【0078】
Ｓ５２：機械学習の完了後、以降の機械学習モデル２０の学習時及び推論用のデータの転送においては、転送部１２は既に決定されたパラメータを用いてデータやモデルパラメータの転送を行い、機械学習部１３が機械学習を行う。
【0079】
〔実施形態の効果〕
以上説明したように、本実施形態の通信システム１は、federated learning の精度を担保した上で、通信システム１全体の学習時間が最小になるように最適化することができるという効果を奏する。これにより、深層学習モデルの学習時間の削減ができるようになり、より直近の状況を加味した深層学習モデルでの推論が可能となる。これにより、通信システム全体での学習時間の削減ができるようになり、より直近の状況を加味した機械学習モデルでの推論が可能となる。
以上説明したように、本実施形態の通信システム１は、federated learning の精度を担保した上で、通信システム１全体の学習時間が最小になるように最適化することができるという効果を奏する。これにより、深層学習モデルの学習時間の削減ができるようになり、より直近の状況を加味した深層学習モデルでの推論が可能となる。これにより、通信システム全体での学習時間の削減ができるようになり、より直近の状況を加味した機械学習モデルでの推論が可能となる。
【0080】
〔補足〕
以上、本発明は、上記の実施形態に限定されることなく、例えば以下に示すように、種々の変更及び応用が可能である。
以上、本発明は、上記の実施形態に限定されることなく、例えば以下に示すように、種々の変更及び応用が可能である。
【0081】
（１）各転送装置は、コンピュータとプログラムによって実現できるが、このプログラムを（非一時的）記録媒体に記録することも、インターネット等の通信ネットワークを介して提供することも可能である。
【0082】
（２）ＣＰＵ１０１は、単一だけでなく、複数であってもよい。
【符号の説明】
【0083】
１ 通信システム
１０，１０ａ，１０ｂ サーバ（転送装置の一例）
１１ａ 取得部（第１の取得部の一例）
１１ｂ 取得部（第２の取得部の一例）
３１ａ，３１ｂ，３１ｃ，３１ｄ 取得部
１２ａ 転送部（第１の転送部の一例）
１２ｂ 転送部（第２の転送部の一例）
３２ａ，３２ｂ，３２ｃ，３２ｄ 転送部
１３ａ 機械学習部（第１の機械学習部の一例）
１３ｂ 機械学習部（第２の機械学習部の一例）
１４ａ 推論部（第１の推論部の一例）
１４ｂ 推論部（第２の推論部の一例）
１５ａ，１５ｂ データベース
１６ 計算部
２０ａ 機械学習モデル（第１の機械学習モデルの一例）
２０ｂ 機械学習モデル（第２の機械学習モデルの一例）
３０ａ，３０ｂ，３０ｃ，３０ｄ ルータ（転送装置の一例）
３１ａ，３１ｂ，３１ｃ，３１ｄ 取得部
３２ａ，３２ｂ，３２ｃ，３２ｄ 転送部
４０ａ，４０ｂ：ルータ部
１０，１０ａ，１０ｂ サーバ（転送装置の一例）
１１ａ 取得部（第１の取得部の一例）
１１ｂ 取得部（第２の取得部の一例）
３１ａ，３１ｂ，３１ｃ，３１ｄ 取得部
１２ａ 転送部（第１の転送部の一例）
１２ｂ 転送部（第２の転送部の一例）
３２ａ，３２ｂ，３２ｃ，３２ｄ 転送部
１３ａ 機械学習部（第１の機械学習部の一例）
１３ｂ 機械学習部（第２の機械学習部の一例）
１４ａ 推論部（第１の推論部の一例）
１４ｂ 推論部（第２の推論部の一例）
１５ａ，１５ｂ データベース
１６ 計算部
２０ａ 機械学習モデル（第１の機械学習モデルの一例）
２０ｂ 機械学習モデル（第２の機械学習モデルの一例）
３０ａ，３０ｂ，３０ｃ，３０ｄ ルータ（転送装置の一例）
３１ａ，３１ｂ，３１ｃ，３１ｄ 取得部
３２ａ，３２ｂ，３２ｃ，３２ｄ 転送部
４０ａ，４０ｂ：ルータ部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】