特開 2023-39500 計算機システム及びデータ送信制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023039500

(43)【公開日】2023-03-22

(54)【発明の名称】計算機システム及びデータ送信制御方法

(51)【国際特許分類】

   G06F 13/00 20060101AFI20230314BHJP

   G06F 13/14 20060101ALI20230314BHJP

【ＦＩ】

G06F13/00 357Z

G06F13/14 330B

G06F13/14 330G

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2021146630

(22)【出願日】2021-09-09

(71)【出願人】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110001678

【氏名又は名称】藤央弁理士法人

(72)【発明者】

【氏名】羽原 拓哉

(72)【発明者】

【氏名】齊藤 信一郎

【テーマコード（参考）】

5B089

【Ｆターム（参考）】

5B089GA11

5B089GB03

5B089GB10

5B089JA11

5B089KA05

5B089KC60

5B089MA03

5B089MA07

5B089MC06

(57)【要約】      （修正有）

【課題】データ処理の性能を向上させる、データフロー型アプリケーションに対するデータの割り振りを実現する計算機システム及びデータ送信制御方法を提供する。
【解決手段】計算機システムは、ソースオブジェクトからデータを取得し、当該データに対して所定の処理を実行して、ディスティネーションオブジェクトに送信する、複数の処理アプリケーションの各々から、処理アプリケーションのデータの送受信性能を評価する通信指標を取得し、通信指標に基づいて、複数の処理アプリケーションの各々の処理性能を表すリンク許容値を算出し、リンク許容値に基づいて、複数の処理アプリケーションに割り当てるデータ量に関する送信計画を生成し、送信計画に基づいて、複数の処理アプリケーションに対するデータの送信を制御する。
【選択図】図１

【特許請求の範囲】

【請求項1】

計算機システムであって、
プロセッサ、前記プロセッサに接続される記憶装置、及び前記プロセッサに接続されるネットワークインタフェースを有する、少なくとも一つの計算機を備え、
前記プロセッサは、
ソースオブジェクトからデータを取得し、当該データに対して所定の処理を実行して、ディスティネーションオブジェクトに送信する、複数の処理アプリケーションの各々から、前記処理アプリケーションのデータの送受信性能を評価する通信指標を取得し、
前記通信指標に基づいて、前記複数の処理アプリケーションの各々の処理性能を表すリンク許容値を算出し、
前記リンク許容値に基づいて、前記複数の処理アプリケーションに割り当てるデータ量に関する送信計画を生成し、
前記送信計画に基づいて、前記複数の処理アプリケーションに対するデータの送信を制御することを特徴とする計算機システム。

【請求項2】

請求項１に記載の計算機システムであって、
前記プロセッサは、
前記複数の処理アプリケーションの各々の前記リンク許容値を用いて、前記複数の処理アプリケーションの各々に送信するデータ量の比率を算出し、
前記複数の処理アプリケーションの各々に送信するデータ量の比率を含む前記送信計画を生成することを特徴とする計算機システム。

【請求項3】

請求項２に記載の計算機システムであって、
前記プロセッサは、
前記複数の処理アプリケーションの各々について、データ量が異なるテストデータを複数回送信することによって、前記ソースオブジェクトと前記処理アプリケーションとの間の第１データ転送量、及び前記処理アプリケーションと前記ディスティネーションオブジェクトとの間の第２データ転送量を、前記通信指標として取得し、
前記第２データ転送量以下であり、かつ、最も大きい前記第１データ転送量を前記リンク許容値として算出することを特徴とする計算機システム。

【請求項4】

請求項２に記載の計算機システムであって、
前記プロセッサは、
前記複数の処理アプリケーションの各々について、データ量が異なるテストデータを複数回送信することによって、前記処理アプリケーションが、前記ソースオブジェクトからデータを受信し、前記ディスティネーションオブジェクトへデータを送信するまでの転送時間を、前記通信指標として取得し、
前記転送時間の変化量が所定の範囲内であり、かつ、最も長い前記転送時間を前記リンク許容値として算出することを特徴とする計算機システム。

【請求項5】

請求項２に記載の計算機システムであって、
前記プロセッサは、前記送信計画を用いた、前記複数の処理アプリケーションに対するデータの送信の制御中に、前記通信指標が前記リンク許容値より大きいターゲット処理アプリケーションを検知した場合、前記ターゲット処理アプリケーション以外の前記複数の処理アプリケーションの前記リンク許容値に基づいて、前記送信計画を変更することを特徴とする計算機システム。

【請求項6】

請求項２に記載の計算機システムであって、
前記プロセッサは、
前記送信計画を用いた、前記複数の処理アプリケーションに対するデータの送信の制御中に、前記送信計画の再生成契機を監視し、
前記送信計画の再生成契機が検知された場合、前記送信計画を再度生成することを特徴とする計算機システム。

【請求項7】

請求項２に記載の計算機システムであって、
前記プロセッサは、取得する前記通信指標の指定を受け付けるためのインタフェース、及び前記送信計画を用いた、前記複数の処理アプリケーションに対するデータの送信の制御の状況を表示するためのインタフェースを提供することを特徴とする計算機システム。

【請求項8】

計算機システムが実行するデータ送信制御方法であって、
前記計算機システムは、プロセッサ、前記プロセッサに接続される記憶装置、及び前記プロセッサに接続されるネットワークインタフェースを有する、少なくとも一つの計算機を含み、
前記データ送信制御方法は、
前記プロセッサが、ソースオブジェクトからデータを取得し、当該データに対して所定の処理を実行して、ディスティネーションオブジェクトに送信する、複数の処理アプリケーションの各々から、前記処理アプリケーションのデータの送受信性能を評価する通信指標を取得する第１のステップと、
前記プロセッサが、前記通信指標に基づいて、前記複数の処理アプリケーションの各々の処理性能を表すリンク許容値を算出する第２のステップと、
前記プロセッサが、前記リンク許容値に基づいて、前記複数の処理アプリケーションに割り当てるデータ量に関する送信計画を生成する第３のステップと、
前記プロセッサが、前記送信計画に基づいて、前記複数の処理アプリケーションに対するデータの送信を制御する第４のステップと、を含むことを特徴とするデータ送信制御方法。

【請求項9】

請求項８に記載のデータ送信制御方法であって、
前記第３のステップは、
前記プロセッサが、前記複数の処理アプリケーションの各々の前記リンク許容値を用いて、前記複数の処理アプリケーションの各々に送信するデータ量の比率を算出するステップと、
前記プロセッサが、前記複数の処理アプリケーションの各々に送信するデータ量の比率を含む前記送信計画を生成するステップと、を含むことを特徴とするデータ送信制御方法。

【請求項10】

請求項９に記載のデータ送信制御方法であって、
前記第１のステップは、前記プロセッサが、前記複数の処理アプリケーションの各々について、データ量が異なるテストデータを複数回送信することによって、前記ソースオブジェクトと前記処理アプリケーションとの間の第１データ転送量、及び前記処理アプリケーションと前記ディスティネーションオブジェクトとの間の第２データ転送量を、前記通信指標として取得するステップを含み、
前記第２のステップは、前記プロセッサが、前記第２データ転送量以下であり、かつ、最も大きい前記第１データ転送量を前記リンク許容値として算出するステップを含むことを特徴とするデータ送信制御方法。

【請求項11】

請求項９に記載のデータ送信制御方法であって、
前記第１のステップは、前記プロセッサが、前記複数の処理アプリケーションの各々について、データ量が異なるテストデータを複数回送信することによって、前記処理アプリケーションが、前記ソースオブジェクトからデータを受信し、前記ディスティネーションオブジェクトへデータを送信するまでの転送時間を、前記通信指標として取得するステップを含み、
前記第２のステップは、前記プロセッサが、前記転送時間の変化量が所定の範囲内であり、かつ、最も長い前記転送時間を前記リンク許容値として算出するステップを含むことを特徴とするデータ送信制御方法。

【請求項12】

請求項９に記載のデータ送信制御方法であって、
前記プロセッサが、前記送信計画を用いた、前記複数の処理アプリケーションに対するデータの送信の制御中に、前記通信指標が前記リンク許容値より大きいターゲット処理アプリケーションを検知した場合、前記ターゲット処理アプリケーション以外の前記複数の処理アプリケーションの前記リンク許容値に基づいて、前記送信計画を変更するステップを含むことを特徴とするデータ送信制御方法。

【請求項13】

請求項９に記載のデータ送信制御方法であって、
前記プロセッサが、前記送信計画を用いた、前記複数の処理アプリケーションに対するデータの送信の制御中に、前記送信計画の再生成契機を監視するステップと、
前記送信計画の再生成契機が検知された場合、前記プロセッサが、前記送信計画を再度生成するステップと、を含むことを特徴とするデータ送信制御方法。

【請求項14】

請求項９に記載のデータ送信制御方法であって、
前記プロセッサが、取得する前記通信指標の指定を受け付けるためのインタフェースを提供するステップと、
前記プロセッサが、前記送信計画を用いた、前記複数の処理アプリケーションに対するデータの送信の制御の状況を表示するためのインタフェースを提供するステップと、を含むことを特徴とするデータ送信制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、多重化されたデータフロー型アプリケーションの負荷分散技術に関する。

【背景技術】

【0002】

ＩｏＴ（Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ）の活用方法として、クラウドサービス上のマシンから、工場の現場等のエッジに配置された機器に至るまで様々な部位でデータ処理を行う分散コンピューティングの形態がある。近年、モノリシックなアプリケーションをデータ処理の機能ごとに細分化してパッケージ化するマイクロサービス化の動きが加速している。パッケージ化することによってハードウェア及びＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）の制限がなくなるため、様々な環境で細分化されたアプリケーションを稼働させることができる。以下の説明では、細分化されたアプリケーションを単にアプリケーションとも記載する。

【0003】

アプリケーションは計算資源が豊富なクラウドサービス上で動作するとは限らず、エッジに存在する計算資源の乏しい機器で動作する可能性がある。計算資源の乏しい機器でアプリケーションを動作させる場合、アプリケーションの単位時間当たりに処理可能なデータ量が低下する。そこで、スケールアウトという技術が存在する。スケールアウトではアプリケーションのレプリカを生成し、複数で複数のアプリケーション並列で処理を実行させる。マイクロサービスアーキテクチャを採用するシステムの場合、実行負荷が高く、単位時間当たりに処理可能なデータ量が低下するアプリケーションのみ、レプリカを作成すればよい。レプリカを含む複数のアプリケーションに並列で処理を実行させることによって、単一のアプリケーションを動作させる場合より、システム全体のデータ処理のスループットを向上させることができる。

【0004】

アプリケーション及びそのレプリカは、クラウドサービス及びエッジ上の機器に限らず、Ｍｕｌｔｉ－ａｃｃｅｓｓ Ｅｄｇｅ Ｃｏｍｐｕｔｉｎｇサーバ等の通信のレイヤに位置づけられる機器にも配置できる。また、ソフトウェア的に通信の制御が可能となることで、通信の帯域及び経路が容易に変更可能となる。

【0005】

このように、アプリケーションを配置する選択肢が多様な状況下では、アプリケーションの通信環境が時々刻々と変化する。マイクロサービスを構成するアプリケーション全体のデータ処理のスループットを向上させるためには、各アプリケーションが配置される環境の変化に追従する必要が生じる。

【0006】

環境変化へ追従するために、多重化され、かつ、分散配置されたアプリケーションの選択方法を工夫することが一案である。多重化されたアプリケーションが分散配置されるシステムでは、処理を実行するアプリケーションを選択する必要がある。データ処理の結果はいずれのアプリケーションを使用しても変わらないが、計算資源及び通信環境次第ではデータ処理のスループットが異なる。また、データフロー型アプリケーションではサーバ／クライアントの区別が明確なアプリケーションとは異なり、データフローの接続を意識してデータの格納及び取り出し双方で計算資源及び通信環境を考慮したアプリケーションの選択を行う必要がある。

【0007】

分散配置されたアプリケーションの中からデータ処理を行うアプリケーションを選択する技術として特許文献１及び特許文献２に記載の技術が知られている。

【0008】

特許文献１には、「データおよび当該データに対するアクセスログ情報を記憶する記憶部を備える複数のエッジサーバとの間で通信可能なストレージ管理装置にあって、各エッジサーバからアクセスログ情報を取得し、取得したアクセスログ情報に基づいて、各エッジサーバのデータ記憶部に記憶されたデータに対するアクセスの状況があらかじめ設定された基準を満たすか否かを判定し、アクセス状況が上記基準を満たさないと判定されたデータを転送対象として選択して、当該データが記憶されていた記憶部とは異なる他の記憶部に転送させるように制御する」ことが記載されている。

【0009】

特許文献２には、「受信したリクエストの転送先サーバが複数候補ある場合は、そのうち応答待ちリクエストの数が閾値に達していないサーバに対してリクエストを送信する。転送先サーバの全候補が応答待ちリクエスト数の閾値に達している場合は、そのリクエストをバッファに格納し、いずれかのサーバで応答待ちリクエスト数の閾値が下回るまで転送を待ち合わせる。さらに、リクエストまたはレスポンス単位で細粒度に個々のサーバへのリクエスト転送の可否を判定する。さらに、応答待ちリクエスト数が閾値に達していないサーバが複数ある場合は、各サーバの応答待ちリクエスト数に基づいてサーバを選択する」ことが記載されている。

【先行技術文献】

【特許文献】

【0010】

【特許文献1】特開２０２０－９１７０６号公報

【特許文献2】特開２００８－４０７１８号公報

【発明の概要】

【発明が解決しようとする課題】

【0011】

特許文献１に記載の技術は、データ取り出しの効率向上とストレージの有効利用を実現できる。しかし、データフロー型のアプリケーションの場合、格納したデータは均等に取り出すことが想定され、使用頻度の多寡が生じないため、特許文献１に記載の技術は効果を奏さない。特許文献２に記載の技術は、データ格納時のデータあふれを防ぐことができる。しかし、データ出力時の負荷については考慮されていないため、アプリケーションが分散配置されるシステムでは必ずしも効果を奏さない。

【0012】

本発明は、データ処理の性能を向上させる、多重化されたデータフロー型アプリケーションに対するデータの割当てを実現する技術を提供することを目的とする。

【課題を解決するための手段】

【0013】

本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、計算機システムであって、プロセッサ、前記プロセッサに接続される記憶装置、及び前記プロセッサに接続されるネットワークインタフェースを有する、少なくとも一つの計算機を備え、前記プロセッサは、ソースオブジェクトからデータを取得し、当該データに対して所定の処理を実行して、ディスティネーションオブジェクトに送信する、複数の処理アプリケーションの各々から、前記処理アプリケーションのデータの送受信性能を評価する通信指標を取得し、前記通信指標に基づいて、前記複数の処理アプリケーションの各々の処理性能を表すリンク許容値を算出し、前記リンク許容値に基づいて、前記複数の処理アプリケーションに割り当てるデータ量に関する送信計画を生成し、前記送信計画に基づいて、前記複数の処理アプリケーションに対するデータの送信を制御する。

【発明の効果】

【0014】

本発明によれば、システム全体のデータ処理のスループットを向上させる、多重化されたデータフロー型アプリケーションに対するデータの割当てを実現できる。上記した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。

【図面の簡単な説明】

【0015】

【図1】実施例１のシステムの構成の一例を示す図である。

【図2】実施例１の制御システムを構成する計算機の一例を示す図である。

【図3】実施例１のユーザ入力部によって提示されるインタフェースの一例を示す図である。

【図4】実施例１のユーザ出力部によって提示されるインタフェースの一例を示す図である。

【図5】実施例１の制御システムの動作状態の遷移を示す図である。

【図6】実施例１の計測結果情報のデータ構造の一例を示す図である。

【図7】実施例１のリンク許容値情報のデータ構造の一例を示す図である。

【図8】実施例１の制御システムがトレーニング状態で実行する処理を説明するフローチャートである。

【図9】実施例１の制御システムが安定状態で実行する処理を説明するフローチャートである。

【図10】実施例１の制御システムが高負荷状態で実行する処理を説明するフローチャートである。

【図11】実施例１のシステムの制御対象のアプリケーションの構成例を示す図である。

【図12A】実施例１の制御システムの通信指標の計測方法を説明する図である。

【図12B】実施例１の制御システムの通信指標の計測方法を説明する図である。

【図12C】実施例１の制御システムの通信指標の計測方法を説明する図である。

【図13A】実施例１の計測結果情報の具体例を示す図である。

【図13B】実施例１の計測結果情報の具体例を示す図である。

【図13C】実施例１の計測結果情報の具体例を示す図である。

【図14】実施例１のリンク許容値情報の具体例を示す図である。

【図15A】実施例１の制御対象のアプリケーションの通信状態の一例を示す図である。

【図15B】実施例１の制御対象のアプリケーションの通信状態の一例を示す図である。

【図16】実施例２の計測結果情報のデータ構造の一例を示す図である。

【図17A】実施例２の計測結果情報の具体例を示す図である。

【図17B】実施例２の計測結果情報の具体例を示す図である。

【図17C】実施例２の計測結果情報の具体例を示す図である。

【図18】実施例２のリンク許容値情報の具体例を示す図である。

【図19A】実施例２の制御対象のアプリケーションの通信状態の一例を示す図である。

【図19B】実施例２の制御対象のアプリケーションの通信状態の一例を示す図である。

【図19C】実施例２の制御対象のアプリケーションの通信状態の一例を示す図である。

【図20】実施例２の制御対象のアプリケーションの通信状態の一例を示す図である。

【発明を実施するための形態】

【0016】

以下、本発明の実施例を、図面を用いて説明する。ただし、本発明は以下に示す実施例の記載内容に限定して解釈されるものではない。本発明の思想ないし趣旨から逸脱しない範囲で、その具体的構成を変更し得ることは当業者であれば容易に理解される。

【0017】

以下に説明する発明の構成において、同一又は類似する構成又は機能には同一の符号を付し、重複する説明は省略する。

【0018】

図面等において示す各構成の位置、大きさ、形状、及び範囲等は、発明の理解を容易にするため、実際の位置、大きさ、形状、及び範囲等を表していない場合がある。したがって、本発明では、図面等に開示された位置、大きさ、形状、及び範囲等に限定されない。

【実施例0019】

図１は、実施例１のシステムの構成の一例を示す図である。図２は、実施例１の制御システムを構成する計算機の一例を示す図である。

【0020】

システムは、制御システム１、送信アプリケーション２、処理アプリケーション３、及び受信アプリケーション４から構成される。送信アプリケーション２、処理アプリケーション３、及び受信アプリケーション４は、システムのデータの利用方法に応じて、送信アプリケーション２、処理アプリケーション３、受信アプリケーション４の内、複数の役割を兼ねる可能性がある。例えば、送信アプリケーション２が受信アプリケーション４として機能してもよい。

【0021】

本明細書では、送信アプリケーション２、処理アプリケーション３、及び受信アプリケーション４を区別しない場合、アプリケーションと記載する。また、データが流れる経路上の送信アプリケーション２、処理アプリケーション３、及び受信アプリケーション４の組をリンクと記載する。

【0022】

制御システム１は、図２に示すような計算機２００から構成される。なお、制御システム１は、ストレージシステム及びネットワークスイッチ等を含んでもよい。

【0023】

計算機２００は、プロセッサ２０１、主記憶装置２０２、副記憶装置２０３、及びネットワークインタフェース２０４を有する。なお、計算機２００は、入力装置及び出力装置を有してもよい。

【0024】

プロセッサ２０１は、主記憶装置２０２に格納されるプログラムを実行する。プロセッサ２０１がプログラムにしたがって処理を実行することによって、特定の機能を実現する機能部（モジュール）として動作する。以下の説明では、機能部を主語に処理を説明する場合、プロセッサ２０１が当該機能部を実現するプログラムを実行していることを示す。主記憶装置２０２は、メモリ等であり、プロセッサ２０１が実行するプログラム及びプログラムが使用するデータを格納する。副記憶装置２０３は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）及びＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等であり、データを永続的に格納する。主記憶装置２０２に格納されるプログラム及びデータは、副記憶装置２０３に格納されてもよい。この場合、プロセッサ２０１が副記憶装置２０３からプログラム及びデータを読み出し、主記憶装置２０２にロードする。ネットワークインタフェース２０４は、ネットワークを介して他の装置と通信する。

【0025】

制御システム１は、機能構成として、負荷分散制御部１１、負荷分散評価部１２、ユーザ入力部１３、ユーザ出力部１４、及び記憶部１５を含む。

【0026】

負荷分散制御部１１は、分散制御計画部１１１及び分散制御実行部１１２を含む。分散制御計画部１１１は、処理アプリケーション３に対する送信アプリケーション２から受信したデータの送信を制御するための送信計画を生成する。分散制御実行部１１２は、分散制御計画部１１１が生成した送信計画に基づいて、送信アプリケーション２から受信したデータを処理アプリケーション３へ送信する。

【0027】

負荷分散評価部１２は、計測部１２１、１２２及びフィードバック部１２３を含む。計測部１２１は、送信アプリケーション２と処理アプリケーション３との間の通信に関する指標（通信指標）を取得し、計測部１２２は、処理アプリケーション３と受信アプリケーション４との間の通信に関する指標（通信指標）を取得する。通信指標の一例として、単位時間当たりの転送メッセージ数、単位時間当たりの転送データサイズ、転送時間、Ｒｏｕｎｄ Ｔｒｉｐ Ｔｉｍｅ、及びホップ数等が考えられる。ただし、通信指標は上記に限定されない。また、計測部１２１、１２２はアプリケーションのレプリカ数及びアプリケーション同士の接続状態を取得する。

【0028】

ユーザ入力部１３は、トレーニング実行スケジュール指定部１３１、状態確認スケジュール指定部１３２、指標指定部１３３、及び終了コマンド実行部１３４を含む。トレーニング実行スケジュール指定部１３１は、送信計画を生成するためのトレーニングのスケジュールの入力を受け付ける。状態確認スケジュール指定部１３２は、状態確認のスケジュールの入力を受け付ける。ここで、状態確認とは、分散制御計画部１１１によって生成された送信計画が適切であるか、すなわち、安定状態Ｓ３（図５参照）を継続できるか否かを確認することを意味する。指標指定部１３３は、送信計画を生成するために用いる通信指標の入力を受け付ける。終了コマンド実行部１３４は、制御システム１の停止指示を受け付け、制御システム１を停止させるコマンドを実行する。

【0029】

ユーザ出力部１４は、トポロジ表示部１４１及び分散制御状況表示部１４２を含む。トポロジ表示部１４１は、アプリケーション間のつながりを示すトポロジをユーザに表示する。分散制御状況表示部１４２は、分散制御計画部１１１及び分散制御実行部１１２の動作状況をユーザに表示する。

【0030】

記憶部１５は、ユーザ設定情報１５１、計測結果情報１５２、リンク許容値情報１５３を管理する。ユーザ設定情報１５１は、ユーザ入力部１３により入力された設定値を格納する。計測結果情報１５２は、計測部１２１によって計測された通信指標を格納する。リンク許容値情報１５３は、指標指定部１３３を介して指定された通信指標の許容値を格納する。

【0031】

図３は、実施例１のユーザ入力部１３によって提示されるインタフェースの一例を示す図である。

【0032】

ユーザ入力部１３は、図３に示すような入力画面３００を提示する。入力画面３００は、操作欄３１０、操作欄３２０、操作欄３３０、及び、停止ボタン３４０を含む。

【0033】

操作欄３１０は、入力欄３１１及び適用ボタン３１２を含む。入力欄３１１は、トレーニング実行スケジュール指定部１３１に対して、トレーニングのスケジュールを入力するための欄である。ユーザが適用ボタン３１２を押下した場合、入力欄３１１に入力されたスケジュールがトレーニング実行スケジュール指定部１３１を介して分散制御実行部１１２へ伝達される。分散制御実行部１１２は、後述するようにスケジュールにしたがってトレーニングを行う。

【0034】

操作欄３２０は、入力欄３２１及び適用ボタン３１２を含む。入力欄３２１は、状態確認スケジュール指定部１３２に対して、状態確認のスケジュールを入力するための欄である。ユーザが適用ボタン３２２を押下した場合、入力欄３２１に入力されたスケジュールが状態確認スケジュール指定部１３２を介して分散制御実行部１１２へ伝達される。分散制御実行部１１２は、後述するようにスケジュールに状態確認を行う。

【0035】

操作欄３３０は、入力欄３３１及び適用ボタン３３２を含む。入力欄３３１は分散制御計画部１１１が使用する通信指標、すなわち、処理アプリケーション３のデータの送受信性能を評価する通信指標の種別を入力するための欄である。ユーザが適用ボタン３３２を押下した場合、入力欄３３１に入力された通信指標の種別が指標指定部１３３を介して分散制御計画部１１１に伝達される。

【0036】

実施例１では、処理アプリケーション３が送信アプリケーション２から受信するデータ量（データ転送量）と、処理アプリケーション３が受信アプリケーション４に送信するデータ量（データ転送量）とを、処理アプリケーション３のデータの送受信性能を評価する通信指標として用いる。

【0037】

停止ボタン３４０は、制御システム１の停止を指示するためのボタンであり、ユーザが停止ボタン３４０を押下した場合、終了コマンド実行部１３４が制御システム１を停止させる。

【0038】

図４は、実施例１のユーザ出力部１４によって提示されるインタフェースの一例を示す図である。

【0039】

ユーザ出力部１４は、図４に示すような出力画面４００を提示する。出力画面４００は、表示欄４１０及び表示欄４２０を含む。

【0040】

表示欄４１０は、トポロジ表示部１４１が生成した情報を表示する欄である。トポロジ表示部１４１は、制御システム１が管理するアプリケーション間のつながりと、計測部１２１によって計測された通信指標とを表示欄４１０に表示する。

【0041】

表示欄４２０は、分散制御状況表示部１４２が生成した情報を表示する欄である。分散制御状況表示部１４２は、指標指定部１３３を介して指定された通信指標の種別、分散制御実行部１１２の実行ログ、及びユーザへの指示等を表示欄４２０に表示する。

【0042】

図５は、実施例１の制御システム１の動作状態の遷移を示す図である。

【0043】

制御システム１の初期状態は停止状態Ｓ１である。制御システム１は、起動した場合、トレーニング状態Ｓ２に遷移する。

【0044】

トレーニング状態Ｓ２では、制御システム１はトレーニング処理を実行する。制御システム１は、トレーニング処理が完了した場合、安定状態Ｓ３に遷移する。

【0045】

安定状態Ｓ３では、制御システム１は、周期的に、状態確認及びトレーニングの実行契機を確認する。

【0046】

状態確認及びトレーニングの実行契機が検知されなかった場合、制御システム１は安定状態Ｓ３を維持する。トレーニングの実行契機を検知した場合、制御システム１はトレーニング状態Ｓ２に遷移する。状態確認の実行契機を検知した場合、制御システム１は、送信計画の適否を判定する。当該判定の結果、送信計画を変更する必要がない場合、制御システム１は安定状態Ｓ３を維持する。当該判定の結果、送信計画を変更する必要がある場合、制御システム１は高負荷状態Ｓ４に遷移する。

【0047】

高負荷状態Ｓ４では、制御システム１は送信計画を変更する。送信計画の変更が成功した場合、制御システム１は安定状態Ｓ３に遷移する。送信計画の変更が成功しなかった場合、制御システム１は警告状態Ｓ５に遷移する。

【0048】

警告状態Ｓ５では、制御システム１は、分散制御状況表示部１４２を介して、条件を満たす分散制御が不可能である旨をユーザに提示する。

【0049】

なお、警告状態Ｓ５であっても、制御システム１は、送信計画にしたがってデータの送受信を実行してもよい。ただし、データ処理の滞留が発生する可能性があるため、ユーザはレプリカ数の増加、送信アプリケーション２から送信するデータ量の削減等を行う必要がある。

【0050】

トレーニング状態Ｓ２、安定状態Ｓ３、高負荷状態Ｓ４、及び警告状態Ｓ５において、停止ボタン３４０が押下された場合、終了コマンド実行部１３４によって終了コマンドが実行され、制御システム１は停止状態Ｓ１に遷移する。

【0051】

図６は、実施例１の計測結果情報１５２のデータ構造の一例を示す図である。

【0052】

計測結果情報１５２は、テーブル形式の情報であり、送信アプリケーションＴ１０１、処理アプリケーションＴ１０２、受信アプリケーションＴ１０３、データ転送量（１）Ｔ１０４、及びデータ転送量（２）Ｔ１０５を含むエントリを格納する。一つのリンクの計測結果に対して一つのエントリが存在する。なお、エントリに含まれるフィールドは前述したものに限定されない。

【0053】

送信アプリケーションＴ１０１は、送信アプリケーション２の識別情報を格納するフィールドである。処理アプリケーションＴ１０２は、処理アプリケーション３の識別情報を格納するフィールドである。受信アプリケーションＴ１０３は、受信アプリケーション４の識別情報を格納するフィールドである。データ転送量（１）Ｔ１０４は、送信アプリケーション２と処理アプリケーション３との間のデータ転送量を格納するフィールドである。データ転送量（２）Ｔ１０５は、処理アプリケーション３と受信アプリケーション４との間のデータ転送量を格納するフィールドである。

【0054】

なお、計測結果情報１５２は、テーブル形式に限定されず、ＣＳＶ及びＸＭＬ形等でもよい。

【0055】

図７は、実施例１のリンク許容値情報１５３のデータ構造の一例を示す図である。

【0056】

リンク許容値情報１５３は、テーブル形式の情報であり、送信アプリケーションＴ２０１、処理アプリケーションＴ２０２、及びリンク許容値Ｔ２０３を含むエントリを格納する。一つのリンクに対して一つのエントリが存在する。なお、エントリに含まれるフィールドは前述したものに限定されない。

【0057】

送信アプリケーションＴ２０１は、送信アプリケーション２の識別情報を格納するフィールドである。処理アプリケーションＴ２０２は、処理アプリケーション３の識別情報を格納するフィールドである。リンク許容値Ｔ２０３は、リンクにおけるデータ転送量の許容値（最大値）を格納するフィールドである。本実施例では、送信アプリケーション２と処理アプリケーション３との間のデータ転送量の最大値が格納される。

【0058】

なお、リンク許容値情報１５３は、テーブル形式に限定されず、ＣＳＶ形式及びＸＭＬ形等でもよい。

【0059】

図８は、実施例１の制御システム１がトレーニング状態Ｓ２で実行する処理を説明するフローチャートである。

【0060】

制御システム１の分散制御実行部１１２は、監視対象の処理アプリケーション３の中から一つの処理アプリケーション３を選択する（ステップＳ２１）。

【0061】

分散制御実行部１１２はデータの送信量を設定する（ステップＳ２２）。データの送信量を初めて設定する場合、分散制御実行部１１２は初期値を設定し、データ送信量が設定されている場合、分散制御実行部１１２は、現在の値に増加量を追加する。初期値及び増加量は予め設定されているものとする。なお、初期値及び増加量を更新できるようにしてよい。

【0062】

分散制御実行部１１２は、送信アプリケーション２に設定したデータ量のトレーニングパケットの送信を指示し、選択した処理アプリケーション３に受信したトレーニングパケットを送信する（ステップＳ２３）。トレーニングパケットは処理アプリケーション３を経由して受信アプリケーション４に到達する。

【0063】

負荷分散評価部１２の計測部１２１、１２２は、トレーニングパケットの送信期間において、指標指定部１３３を介して指定された通信指標の値を計測し、フィードバック部１２３を介して分散制御計画部１１１に計測結果を出力する。分散制御計画部１１１は、計測結果情報１５２に計測結果を格納する（ステップＳ２４）。なお、分散制御計画部１１１は、トレーニングパケットに含まれるＩＰアドレス等に基づいて各アプリケーションを特定できる。

【0064】

分散制御実行部１１２は、計測部１２１、１２２による計測が完了した後、計測を完了するか否かを判定する（ステップＳ２５）。

【0065】

例えば、分散制御実行部１１２は、処理アプリケーション３と受信アプリケーション４との間のデータ転送量が、送信アプリケーション２と処理アプリケーション３との間のデータ転送量より小さい場合、分散制御実行部１１２は計測を完了する。

【0066】

計測を完了しない場合、分散制御実行部１１２は、ステップＳ２２に戻り、同様の処理を実行する。

【0067】

計測を完了する場合、分散制御実行部１１２は、全ての処理アプリケーション３の計測が完了したか否かを判定する（ステップＳ２６）。

【0068】

全ての処理アプリケーション３の計測が完了していない場合、分散制御実行部１１２は、ステップＳ２１に戻り、同様の処理を実行する。

【0069】

全ての処理アプリケーション３の計測が完了した場合、分散制御実行部１１２は、送信計画の生成を分散制御計画部１１１に指示する。分散制御計画部１１１は、計測結果に基づいて、各リンクのリンク許容値を算出する（ステップＳ２７）。例えば、以下のような処理が実行される。

【0070】

分散制御計画部１１１は、リンクを選択し、選択したリンクの計測結果のデータ転送量（１）Ｔ１０４及びデータ転送量（２）Ｔ１０５の値を参照し、データ転送量（１）Ｔ１０４の値が、データ転送量（２）の値以下で、かつ、最大となる値をリンク許容値として算出する。分散制御計画部１１１は、各リンクについて同様の処理を実行する。なお、許容値の算出方法は一例であってこれに限定されない。

【0071】

データ転送量（１）Ｔ１０４の値がデータ転送量（２）の値以下の状態は、データの滞留が発生していないことを表す。したがって、データの滞留が発生しないデータ転送量（１）の最大値は、処理アプリケーション３の入力、データ処理、及び出力の一連の処理性能を評価するための指標として用いることができる。

【0072】

分散制御計画部１１１は、リンク許容値に基づいて、各リンクのデータ量の割当比率を算出する（ステップＳ２８）。その後、分散制御計画部１１１は、各リンクのデータ量の割当比率を送信計画として分散制御実行部１１２に出力する。

【0073】

実施例１では、分散制御計画部１１１は、各リンクのリンク許容値の逆数の比を割当比率として算出する。なお、割当比率の算出方法は一例であってこれに限定されない。

【0074】

分散制御実行部１１２は、分散制御計画部１１１から送信計画を受け付けた後、安定状態Ｓ３に遷移する（ステップＳ２９）。

【0075】

分散制御実行部１１２は、送信計画に基づいて、各処理アプリケーション３に対して、送信アプリケーション２から受信したデータを振り分ける。

【0076】

図９は、実施例１の制御システム１が安定状態Ｓ３で実行する処理を説明するフローチャートである。制御システム１は、安定状態Ｓ３において以下で説明する処理を周期的に実行する。

【0077】

制御システム１の分散制御実行部１１２は、状態確認の実行契機を検知していたか否かを判定する（ステップＳ３１）。例えば、分散制御実行部１１２は、安定状態Ｓ３の遷移後、又は、前回の処理後からの一定時間の経過を、状態確認の実行契機として検知する。

【0078】

状態確認の実行契機を検知した場合、分散制御実行部１１２は、計測部１２１及び計測部１２２から各リンクのデータ転送量を取得し、全てのリンクのデータ転送量がリンク許容値以下であるか否かを判定する（ステップＳ３２）。

【0079】

少なくとも一つのリンクのデータ転送量がリンク許容値より大きい場合、分散制御実行部１１２は高負荷状態Ｓ４に遷移する（ステップＳ３３）。

【0080】

全てのリンクのデータ転送量がリンク許容値以下である場合、分散制御実行部１１２は安定状態Ｓ３を維持する（ステップＳ３４）。

【0081】

ステップＳ３１において、状態確認の実行契機を検知していない場合、分散制御実行部１１２は、トレーニングの実行契機を検知したか否かを判定する（ステップＳ３５）。例えば、分散制御実行部１１２は、前回の処理後からの一定時間の経過、又は、アプリケーションのレプリカ数及びアプリケーションの接続状態の変化を、トレーニングの実行契機として検知する。アプリケーションのレプリカ数及びアプリケーションの接続状態の変化は、計測部１２１、１２２を介して検知できる。

【0082】

トレーニングの実行契機を検知していない場合、分散制御実行部１１２は安定状態Ｓ３を維持する（ステップＳ３４）。

【0083】

トレーニングの実行契機を検知した場合、分散制御実行部１１２はトレーニング状態Ｓ２に遷移する（ステップＳ３６）。

【0084】

なお、分散制御実行部１１２は、上記処理とは別に、送信計画にしたがって、処理アプリケーション３に送信するデータ量の制御を行っている。

【0085】

図１０は、実施例１の制御システム１が高負荷状態Ｓ４で実行する処理を説明するフローチャートである。

【0086】

分散制御実行部１１２は、計測部１２１、１２２から各リンクのデータ転送量を取得し、全てのリンクのデータ転送量がリンク許容値以下であるか否かを判定する（ステップＳ４１）。

【0087】

全てのリンクのデータ転送量がリンク許容値以下である場合、分散制御実行部１１２は安定状態Ｓ３に遷移する（ステップＳ４４）。

【0088】

少なくとも一つのリンクのデータ転送量がリンク許容値より大きい場合、分散制御実行部１１２は、データ転送量を変更可能なリンクが存在するか否かを判定する（ステップＳ４２）。具体的には、分散制御実行部１１２は、計測部１２１から取得した各リンクのデータ転送量を参照し、データ量がリンク許容値より小さいリンクが存在するか否かを判定する。

【0089】

データ転送量を変更可能なリンクが存在する場合、分散制御実行部１１２は、分散制御計画部１１１に送信計画の変更を指示する。分散制御計画部１１１は、当該指示を受け付けた場合、送信計画を変更する（ステップＳ４３）。

【0090】

具体的には、分散制御計画部１１１は、データ転送量を変更可能なリンクのデータ転送量を変更し、変更されたデータ転送量及び他のリンクの現在のデータ転送量に基づいて、各リンクのデータ量の割当比率を算出する。分散制御計画部１１１は、算出された割当比率を送信計画として分散制御実行部１１２に出力する。分散制御実行部１１２は、送信計画を受け付けた場合、当該送信計画に基づいてデータ量の制御を行う。分散制御実行部１１２は、一定時間経過した後、ステップＳ４１に戻る。

【0091】

データ転送量を変更可能なリンクが存在しない場合、分散制御実行部１１２は警告状態Ｓ５に遷移する（ステップＳ４５）。

【0092】

以上で説明したように、実施例１によれば、制御システム１は、データフロー型アプリケーションである処理アプリケーション３における、データの入力、処理、及び出力の一連の処理性能を評価し、各処理アプリケーション３が処理するデータのデータ量を制御する。これによって、システム全体の処理のスループットが、特定の処理アプリケーション３の処理性能に律速されることを防ぐことができる。したがって、システム全体の処理のスループットを向上させることができる。

【0093】

次に、具体例を用いて制御システム１の動作及び制御について説明する。

【0094】

まず、トレーニング状態Ｓ２について説明する。図１１は、実施例１のシステムの制御対象のアプリケーションの構成例を示す図である。図１２Ａ、図１２Ｂ、及び図１２Ｃは、実施例１の制御システム１の通信指標の計測方法を説明する図である。図１３Ａ、図１３Ｂ、及び図１３Ｃは、実施例１の計測結果情報１５２の具体例を示す図である。図１４は、実施例１のリンク許容値情報１５３の具体例を示す図である。

【0095】

以下では、図１１に示すようなアプリケーション構成のサービスを想定する。具体的には、サービスは、一つの送信アプリケーション（Ｄａｔａ Ｓｏｕｒｃｅ Ａ）２、処理アプリケーション（１）（Ａｐｐ（１））３－１、処理アプリケーション（２）（Ａｐｐ（２））３－２、処理アプリケーション（３）（Ａｐｐ（３））３－３、及び受信アプリケーション（Ｄａｔａ Ｓｉｎｋ Ａ）４から構成される。なお、本発明は、図１１に示すようなアプリケーション構成以外の構成でも同様の効果を奏する。

【0096】

以下の説明では、送信アプリケーション２、処理アプリケーション（１）３－１、及び受信アプリケーション４の組をリンク（１）と記載し、送信アプリケーション２、処理アプリケーション（２）３－２、及び受信アプリケーション４の組をリンク（２）と記載し、送信アプリケーション２、処理アプリケーション（３）３－３、及び受信アプリケーション４の組をリンク（３）と記載する。

【0097】

トレーニング状態Ｓ２では、以下のような手順で通信指標（データ転送量）が計測される。まず、分散制御実行部１１２は、送信アプリケーション２に、処理アプリケーション（１）３－１へのトレーニングパケットの送信を指示する（図１２Ａ）。処理アプリケーション（１）３－１は、トレーニングパケットを受信アプリケーション４に送信する。データ送信量が異なるトレーニングパケットが複数回送信される。計測部１２１、１２２は、アプリケーション間のデータ送信量を計測する。その結果、図１３Ａのような測定結果が計測結果情報１５２に格納される。

【0098】

分散制御実行部１１２は、送信アプリケーション２に、処理アプリケーション（２）３－２へのトレーニングパケットの送信を指示する（図１２Ｂ）。処理アプリケーション（２）３－２は、トレーニングパケットを受信アプリケーション４に送信する。データ送信量が異なるトレーニングパケットが複数回送信される。計測部１２１、１２２は、アプリケーション間のデータ送信量を計測する。その結果、図１３Ｂのような測定結果が計測結果情報１５２に格納される。

【0099】

分散制御実行部１１２は、送信アプリケーション２に、処理アプリケーション（３）３－３へのトレーニングパケットの送信を指示する（図１２Ｃ）。処理アプリケーション（３）３－３は、トレーニングパケットを受信アプリケーション４に送信する。データ送信量が異なるトレーニングパケットが複数回送信される。計測部１２１、１２２は、アプリケーション間のデータ送信量を計測する。その結果、図１３Ｃのような測定結果が計測結果情報１５２に格納される。

【0100】

図１３Ａから図１３Ｃに示すような計測結果が計測結果情報１５２に格納されている場合、ステップＳ２７では、分散制御計画部１１１は、リンク（１）のリンク許容値を「１０ｔｏｐｉｃ／ｓｅｃ」、リンク（２）のリンク許容値を「２０ｔｏｐｉｃ／ｓｅｃ」、リンク（３）のリンク許容値を「１１ｔｏｐｉｃ／ｓｅｃ」と算出する。その結果、図１４に示すようなリンク許容値情報１５３が生成される。

【0101】

次に、安定状態Ｓ３及び高負荷状態Ｓ４について説明する。図１５Ａ及び図１５Ｂは、実施例１の制御対象のアプリケーションの通信状態の一例を示す図である。

【0102】

状態確認の実行契機を検知した場合、分散制御実行部１１２は、計測部１２１及び計測部１２２から各リンクのデータ転送量を取得する。

【0103】

図１５Ａに示すような計測結果の場合、各リンク（１）、リンク（２）、リンク（３）のデータ転送量はリンク許容値以下である。したがって、分散制御実行部１１２は安定状態Ｓ３を維持する（ステップＳ３４）。

【0104】

図１５Ｂに示すような計測結果の場合、リンク（３）の送信アプリケーション２と処理アプリケーション３との間のデータ転送量がリンク許容値より大きい。したがって、分散制御実行部１１２は高負荷状態Ｓ４に遷移する（ステップＳ３３）。リンク（１）及びリンク（２）の送信アプリケーション２と処理アプリケーション３との間のデータ送信量はリンク許容値に達しているため、転送量を変更可能なリンクが存在しない。したがって、分散制御実行部１１２は警告状態Ｓ５に遷移する（ステップＳ４５）。

【実施例0105】

実施例２は、送信アプリケーション２から処理アプリケーション３を経由し、受信アプリケーション４へ到達するまでの転送時間を、処理アプリケーション３のデータの送受信性能を評価する通信指標として用いる。以下、実施例１等の差異を中心に実施例２について説明する。

【0106】

実施例２のシステム構成は実施例１と同一である。実施例２の制御システム１の構成は実施例１と同一である。

【0107】

実施例２では、計測結果情報１５２のデータ構造が一部異なる。図１６は、実施例２の計測結果情報１５２のデータ構造の一例を示す図である。

【0108】

実施例２では、計測結果情報１５２に格納されるエントリは、送信アプリケーションＴ１０１、処理アプリケーションＴ１０２、受信アプリケーションＴ１０３、データ転送量Ｔ１１１、及び転送時間Ｔ１１２を含む。データ転送量Ｔ１１１は、データ転送量（１）Ｔ１０４と同一のフィールドである。転送時間Ｔ１１２は、送信アプリケーション２から処理アプリケーション３を経由し、受信アプリケーション４へデータが到達するまでの転送時間を格納するフィールドである。

【0109】

実施例２のリンク許容値情報１５３のデータ構造は実施例１と同一である。ただし、リンク許容値Ｔ２０３には転送時間が格納される。

【0110】

実施例２の制御システム１がトレーニング状態Ｓ２で実行する処理は実施例１と同一である。ただし、実施例２では、ステップＳ２５及びステップＳ２７の処理内容が実施例１と異なる。

【0111】

ステップＳ２５では、分散制御実行部１１２は、転送時間が急激に増加した場合、計測完了と判定する。転送時間の急激な増加は、例えば、転送時間の平均値、転送時間の変化量、及び転送時間変化率等を用いる方法が考えられる。なお、判定方法はこれに限定されない。実施例２では、転送時間が前回より１割以上変動した場合、転送時間の急激な増加があったものと判定する。

【0112】

ステップＳ２７では、分散制御実行部１１２は、急激に転送時間が増加した時点の転送時間の次に大きい転送時間をリンク許容値として算出する。なお、他の方法でリンク許容値を算出してもよい。当該転送時間は、処理アプリケーション３の入力、データ処理、及び出力の一連の処理性能を評価するための指標として用いることができる。

【0113】

実施例２の制御システム１が安定状態Ｓ３及び高負荷状態Ｓ４で実行する処理は実施例と同一である。

【0114】

次に、具体例を用いて制御システム１の動作及び制御について説明する。

【0115】

まず、トレーニング状態Ｓ２について説明する。システムの制御対象のアプリケーションの構成は図１１に示す構成であるものとする。図１７Ａ、図１７Ｂ、及び図１７Ｃは、実施例２の計測結果情報１５２の具体例を示す図である。図１８は、実施例２のリンク許容値情報１５３の具体例を示す図である。

【0116】

トレーニング状態Ｓ２では、以下のような手順で通信指標（転送時間）が計測される。まず、分散制御実行部１１２は、送信アプリケーション２に、処理アプリケーション（１）３－１へのトレーニングパケットの送信を指示する（図１２Ａ）。処理アプリケーション（１）３－１は、トレーニングパケットを受信アプリケーション４に送信する。データ送信量が異なるトレーニングパケットが複数回送信される。計測部１２１、１２２はデータの転送時間を計測する。その結果、図１７Ａのような測定結果が計測結果情報１５２に格納される。

【0117】

分散制御実行部１１２は、送信アプリケーション２に、処理アプリケーション（２）３－２へのトレーニングパケットの送信を指示する（図１２Ｂ）。処理アプリケーション（２）３－２は、トレーニングパケットを受信アプリケーション４に送信する。データ送信量が異なるトレーニングパケットが複数回送信される。計測部１２１、１２２はデータの転送時間を計測する。その結果、図１７Ｂのような測定結果が計測結果情報１５２に格納される。

【0118】

分散制御実行部１１２は、送信アプリケーション２に、処理アプリケーション（３）３－３へのトレーニングパケットの送信を指示する（図１２Ｃ）。処理アプリケーション（３）３－３は、トレーニングパケットを受信アプリケーション４に送信する。データ送信量が異なるトレーニングパケットが複数回送信される。計測部１２１、１２２はデータの転送時間を計測する。その結果、図１７Ｃのような測定結果が計測結果情報１５２に格納される。

【0119】

図１７Ａから図１７Ｃに示すような計測結果が計測結果情報１５２に格納されている場合、ステップＳ２７では、分散制御計画部１１１は、リンク（１）のリンク許容値を「０．９３ｓｅｃ」、リンク（２）のリンク許容値を「０．６７ｓｅｃ」、リンク（３）のリンク許容値を「１．０１ｓｅｃ」と算出する。その結果、図１８に示すようなリンク許容値情報１５３が生成される。

【0120】

次に、安定状態Ｓ３及び高負荷状態Ｓ４について説明する。図１９Ａ、図１９Ｂ、及び図１９Ｃは、実施例２の制御対象のアプリケーションの通信状態の一例を示す図である。図２０は、実施例２の制御対象のアプリケーションの通信状態の一例を示す図である。

【0121】

状態確認の実行契機を検知した場合、分散制御実行部１１２は、計測部１２１及び計測部１２２から各リンクのデータ転送量を取得する。

【0122】

図１９Ａに示すような計測結果の場合、各リンク（１）、リンク（２）、リンク（３）の転送時間はリンク許容値以下である。したがって、分散制御実行部１１２は安定状態Ｓ３を維持する（ステップＳ３４）。

【0123】

図１９Ｂに示すような計測結果の場合、リンク（３）の転送時間がリンク許容値より大きい。したがって、分散制御実行部１１２は高負荷状態Ｓ４に遷移する（ステップＳ３３）。リンク（１）及びリンク（２）の転送時間はリンク許容値以下であるため、転送量を変更可能なリンクが存在する。したがって、分散制御実行部１１２は送信計画を変更する（ステップＳ４３）。

【0124】

例えば、分散制御計画部１１１は、リンク（３）のデータの一部をリンク（１）及びリンク（２）の少なくともいずれかに送信するように送信計画を変更する。

【0125】

送信計画を変更した結果、図２０のような通信状態になった場合、分散制御実行部１１２は安定状態Ｓ３に遷移する（ステップＳ４４）。

【0126】

図１９Ｃに示すような計測結果の場合、リンク（１）の転送時間がリンク許容値より大きい。したがって、分散制御実行部１１２は高負荷状態Ｓ４に遷移する（ステップＳ３３）。リンク（２）及びリンク（３）の転送時間はリンク許容値に達しているため、転送量を変更可能なリンクが存在しない。したがって、分散制御実行部１１２は警告状態Ｓ５に遷移する（ステップＳ４５）。