知財求人 - 知財ポータルサイト「IP Force」
特開2023-88212情報基盤管理方法、情報基盤の管理サーバ、及び情報基盤管理プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023088212
(43)【公開日】2023-06-26
(54)【発明の名称】情報基盤管理方法、情報基盤の管理サーバ、及び情報基盤管理プログラム
(51)【国際特許分類】
G06F 9/50 20060101AFI20230619BHJP
【ＦＩ】
G06F9/50 150B
【審査請求】有
【請求項の数】15
【出願形態】ＯＬ
(21)【出願番号】P 2021202916
(22)【出願日】2021-12-14
(71)【出願人】
【識別番号】000005108
【氏名又は名称】株式会社日立製作所
(74)【代理人】
【識別番号】110002365
【氏名又は名称】弁理士法人サンネクスト国際特許事務所
(72)【発明者】
【氏名】長崎 英紀
(72)【発明者】
【氏名】神原 康之
(72)【発明者】
【氏名】菅内 公徳
(72)【発明者】
【氏名】二階堂 旭
(57)【要約】
【課題】情報基盤におけるリソースの配置を適切に行う。
【解決手段】ワークフローを実行する計算リソースを有する計算機と、記憶リソースとを管理する情報基盤管理方法における管理サーバは、アプリケーション毎の処理速度と計算リソースモデルからアプリケーションを実行するために必要な計算リソースの必要量を算出する。ワークフローの実行期限内における計算リソースの使用率が上限を超過する場合に、計算リソースモデルを用いて、計算リソースの空き容量からアプリケーションを実行可能な第１の実行可能時間を算出する。ワークフローを実行する際のアプリケーションの目標実行時間を第１の実行可能時間とし、第１の実行可能時間による目標実行時間の延長時間を、計算リソース上限を超過しない他のアプリケーションの目標実行時間へ加算して、アプリケーションの終了時刻を遅らせ、他のアプリケーションの開始時刻を早める調整を行う。
【選択図】図５２
【解決手段】ワークフローを実行する計算リソースを有する計算機と、記憶リソースとを管理する情報基盤管理方法における管理サーバは、アプリケーション毎の処理速度と計算リソースモデルからアプリケーションを実行するために必要な計算リソースの必要量を算出する。ワークフローの実行期限内における計算リソースの使用率が上限を超過する場合に、計算リソースモデルを用いて、計算リソースの空き容量からアプリケーションを実行可能な第１の実行可能時間を算出する。ワークフローを実行する際のアプリケーションの目標実行時間を第１の実行可能時間とし、第１の実行可能時間による目標実行時間の延長時間を、計算リソース上限を超過しない他のアプリケーションの目標実行時間へ加算して、アプリケーションの終了時刻を遅らせ、他のアプリケーションの開始時刻を早める調整を行う。
【選択図】図５２
【特許請求の範囲】
【請求項1】
ワークフローを実行する計算リソースを有する計算機と、前記計算機と通信可能に接続された記憶リソースとを管理する情報基盤管理方法であって、
プロセッサ及びメモリを有する管理サーバは、
前記ワークフローにおいて実行されるアプリケーションの実行順序及び実行回数、該アプリケーションによる前記記憶リソースに格納されるデータへのデータアクセスの実行順序及び実行回数、並びに、前記ワークフローの実行期限のユーザによる編集結果に基づいて前記ワークフローを作成するワークフロー編集機能を有し、
前記管理サーバが、
前記ワークフロー編集機能から前記アプリケーションの実行順序及び実行回数、並びに、該アプリケーションによるデータアクセスの実行順序及び実行回数を取得し、
前記アプリケーション毎に、
前記データアクセスによるデータサイズの合計を前記アプリケーションの処理時間で除算した前記アプリケーションの処理速度を算出し、
前記処理速度と前記計算リソースの使用量との関係をモデル化した計算リソースモデルに対して、算出した前記処理速度を入力として、前記アプリケーションを実行するために必要な前記計算リソースの必要量を算出し、
前記実行期限内における前記必要量と前記計算リソースの既存負荷とに基づく前記計算リソースの使用率が計算リソース上限を超過する場合に、前記計算リソースモデルに対して、前記計算リソースの上限量から該既存負荷を減算した前記計算リソースの空き容量を入力として、前記計算リソースの空き容量に基づく前記アプリケーションを実行可能な第１の実行可能時間を算出し、
前記ワークフローを実行する際の前記アプリケーションの目標実行時間を前記第１の実行可能時間とし、前記第１の実行可能時間による該目標実行時間の延長時間を、前記計算リソース上限を超過しない他の前記アプリケーションの目標実行時間へ加算して、前記アプリケーションの終了時刻を遅らせ、他の前記アプリケーションの開始時刻を遅らせる調整を行う
各処理を含んだことを特徴とする情報基盤管理方法。
プロセッサ及びメモリを有する管理サーバは、
前記ワークフローにおいて実行されるアプリケーションの実行順序及び実行回数、該アプリケーションによる前記記憶リソースに格納されるデータへのデータアクセスの実行順序及び実行回数、並びに、前記ワークフローの実行期限のユーザによる編集結果に基づいて前記ワークフローを作成するワークフロー編集機能を有し、
前記管理サーバが、
前記ワークフロー編集機能から前記アプリケーションの実行順序及び実行回数、並びに、該アプリケーションによるデータアクセスの実行順序及び実行回数を取得し、
前記アプリケーション毎に、
前記データアクセスによるデータサイズの合計を前記アプリケーションの処理時間で除算した前記アプリケーションの処理速度を算出し、
前記処理速度と前記計算リソースの使用量との関係をモデル化した計算リソースモデルに対して、算出した前記処理速度を入力として、前記アプリケーションを実行するために必要な前記計算リソースの必要量を算出し、
前記実行期限内における前記必要量と前記計算リソースの既存負荷とに基づく前記計算リソースの使用率が計算リソース上限を超過する場合に、前記計算リソースモデルに対して、前記計算リソースの上限量から該既存負荷を減算した前記計算リソースの空き容量を入力として、前記計算リソースの空き容量に基づく前記アプリケーションを実行可能な第１の実行可能時間を算出し、
前記ワークフローを実行する際の前記アプリケーションの目標実行時間を前記第１の実行可能時間とし、前記第１の実行可能時間による該目標実行時間の延長時間を、前記計算リソース上限を超過しない他の前記アプリケーションの目標実行時間へ加算して、前記アプリケーションの終了時刻を遅らせ、他の前記アプリケーションの開始時刻を遅らせる調整を行う
各処理を含んだことを特徴とする情報基盤管理方法。
【請求項2】
請求項１に記載の情報基盤管理方法であって、
前記管理サーバが、
前記アプリケーション毎に、
前記処理速度と前記記憶リソースのアクセス性能との関係をモデル化したアクセス特性モデルに対して、算出した前記処理速度を入力として、前記アプリケーションを実行するために必要な前記記憶リソースの必要アクセス性能を算出し、
前記実行期限内における前記必要アクセス性能と前記記憶リソースの既存負荷とに基づく前記記憶リソースの使用率が記憶リソース上限を超過する場合に、前記アクセス特性モデルに対して、前記記憶リソースの上限量から該既存負荷を減算した前記記憶リソースの空き容量を入力として、前記記憶リソースの実現可能なアクセス性能に基づく前記アプリケーションを実行可能な第２の実行可能時間を算出し、
前記ワークフローを実行する際の前記アプリケーションの目標実行時間を前記第２の実行可能時間とし、前記第２の実行可能時間による該目標実行時間の延長時間を、前記記憶リソース上限を超過しない他の前記アプリケーションの目標実行時間へ加算して、前記終了時刻を遅らせ、前記開始時刻を遅らせる調整を行う
各処理を含んだことを特徴とする情報基盤管理方法。
前記管理サーバが、
前記アプリケーション毎に、
前記処理速度と前記記憶リソースのアクセス性能との関係をモデル化したアクセス特性モデルに対して、算出した前記処理速度を入力として、前記アプリケーションを実行するために必要な前記記憶リソースの必要アクセス性能を算出し、
前記実行期限内における前記必要アクセス性能と前記記憶リソースの既存負荷とに基づく前記記憶リソースの使用率が記憶リソース上限を超過する場合に、前記アクセス特性モデルに対して、前記記憶リソースの上限量から該既存負荷を減算した前記記憶リソースの空き容量を入力として、前記記憶リソースの実現可能なアクセス性能に基づく前記アプリケーションを実行可能な第２の実行可能時間を算出し、
前記ワークフローを実行する際の前記アプリケーションの目標実行時間を前記第２の実行可能時間とし、前記第２の実行可能時間による該目標実行時間の延長時間を、前記記憶リソース上限を超過しない他の前記アプリケーションの目標実行時間へ加算して、前記終了時刻を遅らせ、前記開始時刻を遅らせる調整を行う
各処理を含んだことを特徴とする情報基盤管理方法。
【請求項3】
請求項２に記載の情報基盤管理方法であって、
複数の前記計算機が、複数の拠点に配置され、各拠点の前記記憶リソースがネットワークを介して接続され、
前記管理サーバが、
前記ワークフローにおいて実行されるアプリケーションが配置される前記計算リソースと該アプリケーションがアクセスするデータが配置される前記記憶リソースの拠点情報を取得し、
前記アプリケーションの実行順序及び実行回数、前記データアクセスの実行順序及び実行回数、並びに、前記拠点情報に基づいて、前記データを各拠点の前記記憶リソースへ配置する複数の配置パターンを作成し、
前記実行期限内に前記ワークフローを実行完了可能な全ての前記複数の配置パターンについて、
前記拠点毎及び前記記憶リソース毎に、
前記ネットワークを介した２つの前記拠点間の前記記憶リソースのアクセス性能と該拠点間の前記ネットワークのネットワーク帯域及び前記記憶リソースのノード数のそれぞれとの関係をモデル化した記憶リソース性能モデルに対して、前記必要アクセス性能、前記アプリケーションの前記拠点情報、及び前記データが格納される前記記憶リソースの前記拠点情報を入力として、前記アプリケーションを実行するために必要な前記拠点間の前記ネットワークの必要帯域及び前記記憶リソースの必要ノード数を算出し、
前記実行期限内における前記必要帯域と前記記憶リソースの既存負荷とに基づく前記記憶リソースのネットワーク帯域の使用率が帯域上限を超過する場合に、前記記憶リソース性能モデルに対して、前記ネットワーク帯域の上限量から該既存負荷を減算した前記ネットワーク帯域の空き容量を入力として、前記ネットワークの実現可能なアクセス性能に基づく前記アプリケーションを実行可能な第３の実行可能時間を算出し、
前記ワークフローを実行する際の前記アプリケーションの目標実行時間を前記第３の実行可能時間とし、前記第３の実行可能時間による該目標実行時間の延長時間を、前記帯域上限を超過しない他の前記アプリケーションの目標実行時間へ加算して、前記終了時刻を遅らせ、前記開始時刻を遅らせる調整を行う
各処理を含んだことを特徴とする情報基盤管理方法。
複数の前記計算機が、複数の拠点に配置され、各拠点の前記記憶リソースがネットワークを介して接続され、
前記管理サーバが、
前記ワークフローにおいて実行されるアプリケーションが配置される前記計算リソースと該アプリケーションがアクセスするデータが配置される前記記憶リソースの拠点情報を取得し、
前記アプリケーションの実行順序及び実行回数、前記データアクセスの実行順序及び実行回数、並びに、前記拠点情報に基づいて、前記データを各拠点の前記記憶リソースへ配置する複数の配置パターンを作成し、
前記実行期限内に前記ワークフローを実行完了可能な全ての前記複数の配置パターンについて、
前記拠点毎及び前記記憶リソース毎に、
前記ネットワークを介した２つの前記拠点間の前記記憶リソースのアクセス性能と該拠点間の前記ネットワークのネットワーク帯域及び前記記憶リソースのノード数のそれぞれとの関係をモデル化した記憶リソース性能モデルに対して、前記必要アクセス性能、前記アプリケーションの前記拠点情報、及び前記データが格納される前記記憶リソースの前記拠点情報を入力として、前記アプリケーションを実行するために必要な前記拠点間の前記ネットワークの必要帯域及び前記記憶リソースの必要ノード数を算出し、
前記実行期限内における前記必要帯域と前記記憶リソースの既存負荷とに基づく前記記憶リソースのネットワーク帯域の使用率が帯域上限を超過する場合に、前記記憶リソース性能モデルに対して、前記ネットワーク帯域の上限量から該既存負荷を減算した前記ネットワーク帯域の空き容量を入力として、前記ネットワークの実現可能なアクセス性能に基づく前記アプリケーションを実行可能な第３の実行可能時間を算出し、
前記ワークフローを実行する際の前記アプリケーションの目標実行時間を前記第３の実行可能時間とし、前記第３の実行可能時間による該目標実行時間の延長時間を、前記帯域上限を超過しない他の前記アプリケーションの目標実行時間へ加算して、前記終了時刻を遅らせ、前記開始時刻を遅らせる調整を行う
各処理を含んだことを特徴とする情報基盤管理方法。
【請求項4】
請求項３に記載の情報基盤管理方法であって、
前記ワークフローは、複数のワークフローを含み、
前記管理サーバが、
前記複数のワークフローの各々について最短のデータのアクセス実行時間を単位として実行開始時刻を遅らせ、遅らせた実行開始時刻だけ各ワークフローの実行時間を短縮する処理を繰返し、前記複数のワークフローの実行時の前記計算リソース、前記記憶リソース、及び前記ネットワークのうちの少なくとも何れかを含むリソースの全ての使用率の平均が最も低くなる前記実行時間を選択する
処理を含んだことを特徴とする情報基盤管理方法。
前記ワークフローは、複数のワークフローを含み、
前記管理サーバが、
前記複数のワークフローの各々について最短のデータのアクセス実行時間を単位として実行開始時刻を遅らせ、遅らせた実行開始時刻だけ各ワークフローの実行時間を短縮する処理を繰返し、前記複数のワークフローの実行時の前記計算リソース、前記記憶リソース、及び前記ネットワークのうちの少なくとも何れかを含むリソースの全ての使用率の平均が最も低くなる前記実行時間を選択する
処理を含んだことを特徴とする情報基盤管理方法。
【請求項5】
請求項４に記載の情報基盤管理方法であって、
前記管理サーバが、
前記複数の配置パターン毎に、
前記配置パターンに従って再配置開始時刻から再配置終了時刻までの再配置時間で前記ネットワークを介して２つの前記拠点間で前記データの再配置を実行させた場合の前記ネットワーク帯域の使用率を算出し、
前記使用率が上限を超過する場合に、前記複数のワークフローにおいて実行される前記アプリケーションによる前記データへの最短のアクセス時間を単位として前記再配置終了時刻を遅らせ、遅らせた前記再配置終了時刻だけ前記再配置時間を延長する処理を繰返し、前記データの再配置の実行時及び前記複数のワークフローを実行時の前記リソースの全ての使用率の平均が最も低くなる前記再配置時間を選択する
処理を含んだことを特徴とする情報基盤管理方法。
前記管理サーバが、
前記複数の配置パターン毎に、
前記配置パターンに従って再配置開始時刻から再配置終了時刻までの再配置時間で前記ネットワークを介して２つの前記拠点間で前記データの再配置を実行させた場合の前記ネットワーク帯域の使用率を算出し、
前記使用率が上限を超過する場合に、前記複数のワークフローにおいて実行される前記アプリケーションによる前記データへの最短のアクセス時間を単位として前記再配置終了時刻を遅らせ、遅らせた前記再配置終了時刻だけ前記再配置時間を延長する処理を繰返し、前記データの再配置の実行時及び前記複数のワークフローを実行時の前記リソースの全ての使用率の平均が最も低くなる前記再配置時間を選択する
処理を含んだことを特徴とする情報基盤管理方法。
【請求項6】
請求項５に記載の情報基盤管理方法であって、
前記管理サーバが、
前記複数の配置パターンの中から、前記リソースの全ての使用率の平均が最も低くなる所定配置パターンを選択する
処理を含んだことを特徴とする情報基盤管理方法。
前記管理サーバが、
前記複数の配置パターンの中から、前記リソースの全ての使用率の平均が最も低くなる所定配置パターンを選択する
処理を含んだことを特徴とする情報基盤管理方法。
【請求項7】
請求項６に記載の情報基盤管理方法であって、
前記管理サーバは、
前記ネットワークを介して接続された各拠点の前記記憶リソースにおけるデータの仮想化を行う前記計算機の仮想化機能と、
前記リソースを管理する管理機能と、を有し、
前記管理サーバが、
前記管理機能に対して、前記データの再配置に際して前記リソースにＱｏＳ（Quality of Service）の設定を行うように指示し、
前記リソースへのＱｏＳの設定完了後に、前記仮想化機能に対して、前記所定配置パターンに従って前記データの再配置を実行するように指示する
処理を含んだことを特徴とする情報基盤管理方法。
前記管理サーバは、
前記ネットワークを介して接続された各拠点の前記記憶リソースにおけるデータの仮想化を行う前記計算機の仮想化機能と、
前記リソースを管理する管理機能と、を有し、
前記管理サーバが、
前記管理機能に対して、前記データの再配置に際して前記リソースにＱｏＳ（Quality of Service）の設定を行うように指示し、
前記リソースへのＱｏＳの設定完了後に、前記仮想化機能に対して、前記所定配置パターンに従って前記データの再配置を実行するように指示する
処理を含んだことを特徴とする情報基盤管理方法。
【請求項8】
請求項７に記載の情報基盤管理方法であって、
前記管理サーバは、
前記所定配置パターンに従って前記データの再配置が完了後に、前記管理機能に対して、前記リソースに前記複数のワークフロー毎のＱｏＳの設定を行うように指示し、
前記リソースに前記複数のワークフロー毎のＱｏＳの設定完了後に、前記ワークフローの実行を開始する
処理を含んだことを特徴とする情報基盤管理方法。
前記管理サーバは、
前記所定配置パターンに従って前記データの再配置が完了後に、前記管理機能に対して、前記リソースに前記複数のワークフロー毎のＱｏＳの設定を行うように指示し、
前記リソースに前記複数のワークフロー毎のＱｏＳの設定完了後に、前記ワークフローの実行を開始する
処理を含んだことを特徴とする情報基盤管理方法。
【請求項9】
ワークフローを実行する計算リソースを有する計算機と、前記計算機と通信可能に接続された記憶リソースとを管理する情報基盤の管理サーバであって、
前記ワークフローにおいて実行されるアプリケーションの実行順序及び実行回数、該アプリケーションによる前記記憶リソースに格納されるデータへのデータアクセスの実行順序及び実行回数、並びに、前記ワークフローの実行期限のユーザによる編集結果に基づいて前記ワークフローを作成するワークフロー編集機能部と、
前記ワークフロー編集機能部から前記アプリケーションの実行順序及び実行回数、並びに、該アプリケーションによるデータアクセスの実行順序及び実行回数を取得し、
前記アプリケーション毎に、
前記データアクセスによるデータサイズの合計を前記アプリケーションの処理時間で除算した前記アプリケーションの処理速度を算出し、
前記処理速度と前記計算リソースの使用量との関係をモデル化した計算リソースモデルに対して、算出した前記処理速度を入力として、前記アプリケーションを実行するために必要な前記計算リソースの必要量を算出し、
前記実行期限内における前記必要量と前記計算リソースの既存負荷とに基づく前記計算リソースの使用率が計算リソース上限を超過する場合に、前記計算リソースモデルに対して、前記計算リソースの上限量から該既存負荷を減算した前記計算リソースの空き容量を入力として、前記計算リソースの空き容量に基づく前記アプリケーションを実行可能な第１の実行可能時間を算出し、
前記ワークフローを実行する際の前記アプリケーションの目標実行時間を前記第１の実行可能時間とし、前記第１の実行可能時間による該目標実行時間の延長時間を、前記計算リソース上限を超過しない他の前記アプリケーションの目標実行時間へ加算して、前記アプリケーションの終了時刻を遅らせ、他の前記アプリケーションの開始時刻を遅らせる調整を行う
各処理を実行するアプリ処理・データアクセス実行時間計算部と、
を有することを特徴とする管理サーバ。
前記ワークフローにおいて実行されるアプリケーションの実行順序及び実行回数、該アプリケーションによる前記記憶リソースに格納されるデータへのデータアクセスの実行順序及び実行回数、並びに、前記ワークフローの実行期限のユーザによる編集結果に基づいて前記ワークフローを作成するワークフロー編集機能部と、
前記ワークフロー編集機能部から前記アプリケーションの実行順序及び実行回数、並びに、該アプリケーションによるデータアクセスの実行順序及び実行回数を取得し、
前記アプリケーション毎に、
前記データアクセスによるデータサイズの合計を前記アプリケーションの処理時間で除算した前記アプリケーションの処理速度を算出し、
前記処理速度と前記計算リソースの使用量との関係をモデル化した計算リソースモデルに対して、算出した前記処理速度を入力として、前記アプリケーションを実行するために必要な前記計算リソースの必要量を算出し、
前記実行期限内における前記必要量と前記計算リソースの既存負荷とに基づく前記計算リソースの使用率が計算リソース上限を超過する場合に、前記計算リソースモデルに対して、前記計算リソースの上限量から該既存負荷を減算した前記計算リソースの空き容量を入力として、前記計算リソースの空き容量に基づく前記アプリケーションを実行可能な第１の実行可能時間を算出し、
前記ワークフローを実行する際の前記アプリケーションの目標実行時間を前記第１の実行可能時間とし、前記第１の実行可能時間による該目標実行時間の延長時間を、前記計算リソース上限を超過しない他の前記アプリケーションの目標実行時間へ加算して、前記アプリケーションの終了時刻を遅らせ、他の前記アプリケーションの開始時刻を遅らせる調整を行う
各処理を実行するアプリ処理・データアクセス実行時間計算部と、
を有することを特徴とする管理サーバ。
【請求項10】
請求項９に記載の管理サーバであって、
前記アプリ処理・データアクセス実行時間計算部は、
前記アプリケーション毎に、
前記処理速度と前記記憶リソースのアクセス性能との関係をモデル化したアクセス特性モデルに対して、算出した前記処理速度を入力として、前記アプリケーションを実行するために必要な前記記憶リソースの必要アクセス性能を算出し、
前記実行期限内における前記必要アクセス性能と前記記憶リソースの既存負荷とに基づく前記記憶リソースの使用率が記憶リソース上限を超過する場合に、前記アクセス特性モデルに対して、前記記憶リソースの上限量から該既存負荷を減算した前記記憶リソースの空き容量を入力として、前記記憶リソースの実現可能なアクセス性能に基づく前記アプリケーションを実行可能な第２の実行可能時間を算出し、
前記ワークフローを実行する際の前記アプリケーションの目標実行時間を前記第２の実行可能時間とし、前記第２の実行可能時間による該目標実行時間の延長時間を、前記記憶リソース上限を超過しない他の前記アプリケーションの目標実行時間へ加算して、前記終了時刻を遅らせ、前記開始時刻を遅らせる調整を行う
各処理を実行する
ことを特徴とする管理サーバ。
前記アプリ処理・データアクセス実行時間計算部は、
前記アプリケーション毎に、
前記処理速度と前記記憶リソースのアクセス性能との関係をモデル化したアクセス特性モデルに対して、算出した前記処理速度を入力として、前記アプリケーションを実行するために必要な前記記憶リソースの必要アクセス性能を算出し、
前記実行期限内における前記必要アクセス性能と前記記憶リソースの既存負荷とに基づく前記記憶リソースの使用率が記憶リソース上限を超過する場合に、前記アクセス特性モデルに対して、前記記憶リソースの上限量から該既存負荷を減算した前記記憶リソースの空き容量を入力として、前記記憶リソースの実現可能なアクセス性能に基づく前記アプリケーションを実行可能な第２の実行可能時間を算出し、
前記ワークフローを実行する際の前記アプリケーションの目標実行時間を前記第２の実行可能時間とし、前記第２の実行可能時間による該目標実行時間の延長時間を、前記記憶リソース上限を超過しない他の前記アプリケーションの目標実行時間へ加算して、前記終了時刻を遅らせ、前記開始時刻を遅らせる調整を行う
各処理を実行する
ことを特徴とする管理サーバ。
【請求項11】
請求項１０に記載の管理サーバであって、
複数の前記計算機が、複数の拠点に配置され、各拠点の前記記憶リソースがネットワークを介して接続され、
前記ワークフローにおいて実行されるアプリケーションが配置される前記計算リソースと該アプリケーションがアクセスするデータが配置される前記記憶リソースの拠点情報を取得し、前記アプリケーションの実行順序及び実行回数、前記データアクセスの実行順序及び実行回数、並びに、前記拠点情報に基づいて、前記データを各拠点の前記記憶リソースへ配置する複数の配置パターンを作成するデータ配置組合せ計算部を有し、
前記アプリ処理・データアクセス実行時間計算部は、
前記実行期限内に前記ワークフローを実行完了可能な全ての前記複数の配置パターンについて、
前記拠点毎及び前記記憶リソース毎に、
前記ネットワークを介した２つの前記拠点間の前記記憶リソースのアクセス性能と該拠点間の前記ネットワークのネットワーク帯域及び前記記憶リソースのノード数のそれぞれとの関係をモデル化した記憶リソース性能モデルに対して、前記必要アクセス性能、前記アプリケーションの前記拠点情報、及び前記データが格納される前記記憶リソースの前記拠点情報を入力として、前記アプリケーションを実行するために必要な前記拠点間の前記ネットワークの必要帯域及び前記記憶リソースの必要ノード数を算出し、
前記実行期限内における前記必要帯域と前記記憶リソースの既存負荷とに基づく前記記憶リソースのネットワーク帯域の使用率が帯域上限を超過する場合に、前記記憶リソース性能モデルに対して、前記ネットワーク帯域の上限量から該既存負荷を減算した前記ネットワーク帯域の空き容量を入力として、前記ネットワークの実現可能なアクセス性能に基づく前記アプリケーションを実行可能な第３の実行可能時間を算出し、
前記ワークフローを実行する際の前記アプリケーションの目標実行時間を前記第３の実行可能時間とし、前記第３の実行可能時間による該目標実行時間の延長時間を、前記帯域上限を超過しない他の前記アプリケーションの目標実行時間へ加算して、前記終了時刻を遅らせ、前記開始時刻を遅らせる調整を行う
各処理を実行することを特徴とする管理サーバ。
複数の前記計算機が、複数の拠点に配置され、各拠点の前記記憶リソースがネットワークを介して接続され、
前記ワークフローにおいて実行されるアプリケーションが配置される前記計算リソースと該アプリケーションがアクセスするデータが配置される前記記憶リソースの拠点情報を取得し、前記アプリケーションの実行順序及び実行回数、前記データアクセスの実行順序及び実行回数、並びに、前記拠点情報に基づいて、前記データを各拠点の前記記憶リソースへ配置する複数の配置パターンを作成するデータ配置組合せ計算部を有し、
前記アプリ処理・データアクセス実行時間計算部は、
前記実行期限内に前記ワークフローを実行完了可能な全ての前記複数の配置パターンについて、
前記拠点毎及び前記記憶リソース毎に、
前記ネットワークを介した２つの前記拠点間の前記記憶リソースのアクセス性能と該拠点間の前記ネットワークのネットワーク帯域及び前記記憶リソースのノード数のそれぞれとの関係をモデル化した記憶リソース性能モデルに対して、前記必要アクセス性能、前記アプリケーションの前記拠点情報、及び前記データが格納される前記記憶リソースの前記拠点情報を入力として、前記アプリケーションを実行するために必要な前記拠点間の前記ネットワークの必要帯域及び前記記憶リソースの必要ノード数を算出し、
前記実行期限内における前記必要帯域と前記記憶リソースの既存負荷とに基づく前記記憶リソースのネットワーク帯域の使用率が帯域上限を超過する場合に、前記記憶リソース性能モデルに対して、前記ネットワーク帯域の上限量から該既存負荷を減算した前記ネットワーク帯域の空き容量を入力として、前記ネットワークの実現可能なアクセス性能に基づく前記アプリケーションを実行可能な第３の実行可能時間を算出し、
前記ワークフローを実行する際の前記アプリケーションの目標実行時間を前記第３の実行可能時間とし、前記第３の実行可能時間による該目標実行時間の延長時間を、前記帯域上限を超過しない他の前記アプリケーションの目標実行時間へ加算して、前記終了時刻を遅らせ、前記開始時刻を遅らせる調整を行う
各処理を実行することを特徴とする管理サーバ。
【請求項12】
請求項１１に記載の管理サーバであって、
前記ワークフローは、複数のワークフローを含み、
前記アプリ処理・データアクセス実行時間計算部は、
前記複数のワークフローの各々について最短のデータのアクセス実行時間を単位として実行開始時刻を遅らせ、遅らせた実行開始時刻だけ各ワークフローの実行時間を短縮する処理を繰返し、
前記複数のワークフローの実行時の前記計算リソース、前記記憶リソース、及び前記ネットワークのうちの少なくとも何れかを含むリソースの全ての使用率の平均が最も低くなる前記実行時間を選択する
処理を実行することを特徴とする管理サーバ。
前記ワークフローは、複数のワークフローを含み、
前記アプリ処理・データアクセス実行時間計算部は、
前記複数のワークフローの各々について最短のデータのアクセス実行時間を単位として実行開始時刻を遅らせ、遅らせた実行開始時刻だけ各ワークフローの実行時間を短縮する処理を繰返し、
前記複数のワークフローの実行時の前記計算リソース、前記記憶リソース、及び前記ネットワークのうちの少なくとも何れかを含むリソースの全ての使用率の平均が最も低くなる前記実行時間を選択する
処理を実行することを特徴とする管理サーバ。
【請求項13】
請求項１２に記載の管理サーバであって、
前記アプリ処理・データアクセス実行時間計算部は、
前記複数の配置パターン毎に、
前記配置パターンに従って再配置開始時刻から再配置終了時刻までの再配置時間で前記ネットワークを介して２つの前記拠点間で前記データの再配置を実行させた場合の前記ネットワーク帯域の使用率を算出し、
前記使用率が上限を超過する場合に、前記複数のワークフローにおいて実行される前記アプリケーションによる前記データへの最短のアクセス時間を単位として前記再配置終了時刻を遅らせ、遅らせた前記再配置終了時刻だけ前記再配置時間を延長する処理を繰返し、
前記データの再配置の実行時及び前記複数のワークフローを実行時の前記リソースの全ての使用率の平均が最も低くなる前記再配置時間を選択する
処理を実行することを特徴とする管理サーバ。
前記アプリ処理・データアクセス実行時間計算部は、
前記複数の配置パターン毎に、
前記配置パターンに従って再配置開始時刻から再配置終了時刻までの再配置時間で前記ネットワークを介して２つの前記拠点間で前記データの再配置を実行させた場合の前記ネットワーク帯域の使用率を算出し、
前記使用率が上限を超過する場合に、前記複数のワークフローにおいて実行される前記アプリケーションによる前記データへの最短のアクセス時間を単位として前記再配置終了時刻を遅らせ、遅らせた前記再配置終了時刻だけ前記再配置時間を延長する処理を繰返し、
前記データの再配置の実行時及び前記複数のワークフローを実行時の前記リソースの全ての使用率の平均が最も低くなる前記再配置時間を選択する
処理を実行することを特徴とする管理サーバ。
【請求項14】
請求項１３に記載の管理サーバであって、
前記データ配置組合せ計算部は、
前記複数の配置パターンの中から、前記リソースの全ての使用率の平均が最も低くなる所定配置パターンを選択する
処理を実行することを特徴とする管理サーバ。
前記データ配置組合せ計算部は、
前記複数の配置パターンの中から、前記リソースの全ての使用率の平均が最も低くなる所定配置パターンを選択する
処理を実行することを特徴とする管理サーバ。
【請求項15】
請求項９～１４の何れか１項に記載の管理サーバとしてコンピュータを機能させるための情報基盤管理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報基盤管理方法、情報基盤の管理サーバ、及び情報基盤管理プログラムに関する。
【背景技術】
【0002】
近年、ハイブリッドクラウドやマルチクラウドといった複数の拠点（オンプレミスやパブリッククラウドなど）が連携する連携システムをターゲットにしたデータ管理市場が急成長してきている。例えばハイブリッドクラウド環境では、コスト、パフォーマンス、セキュリティ等を踏まえて、各拠点に、利用アプリケーション（利用アプリケーションで稼働するソフトウェア）のデプロイ、及び、利用アプリケーションが利用するデータの配置（データ移行、データコピーなどによるデータ利活用）が行われる。例えば特許文献１では、メタデータを手掛かりにデータセット単位でデータの配置が行われている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】米国特許第９６３２７０９号明細書
【発明の概要】
【発明が解決しようとする課題】
【0004】
一般的に情報基盤上で分析ワークフロー（アプリケーションとデータを組合せた一連の分析処理）を実行するには、処理時間がかかる。情報基盤上で、分析者の指定時間内に、全ての分析ワークフローの実行を完了させるためには、アプリケーションの実行順序から実行時間を正確に予測し、情報基盤の割当て（リソースの配置）を適切に行うことが求められる。
【0005】
しかし、従来のコンピュートやストレージといった情報基盤のスケジューリング機能は、分析アプリケーションがいつ実行開始され、終了するかを知る術が無く、アプリケーションの実行時間を予測し得なかった。具体的には、従来の情報基盤のスケジューリング機能は、起動中のアプリケーションや使用データに対して、ＣＰＵ（Central Processing Unit）使用率やＩＯＰＳ（Input/Output Per Second）といった単位時間あたりのリソース消費頻度の指標だけを頼りに、リソースを配置するしかなかった。また、ある特定の処理がリソースを大量消費していても、それが妥当なのか妥当ではないのかを判断する情報がなかった。
【0006】
すなわち、上述の従来技術では、データの準備から分析ワークフローの完了までの合計時間を考慮していないため、アプリケーションの実行時間を正確に予測し得ず、リソースの配置を適切に行うことができなかった。
【0007】
本発明は、上記に鑑みてなされたものであり、情報基盤におけるリソースの配置を適切に行うことを一つの目的とする。
【課題を解決するための手段】
【0008】
上述した課題を解決するため、本発明の一態様では、ワークフローを実行する計算リソースを有する計算機と、前記計算機と通信可能に接続された記憶リソースとを管理する情報基盤管理方法であって、プロセッサ及びメモリを有する管理サーバは、前記ワークフローにおいて実行されるアプリケーションの実行順序及び実行回数、該アプリケーションによる前記記憶リソースに格納されるデータへのデータアクセスの実行順序及び実行回数、並びに、前記ワークフローの実行期限のユーザによる編集結果に基づいて前記ワークフローを作成するワークフロー編集機能を有し、前記管理サーバが、前記ワークフロー編集機能から前記アプリケーションの実行順序及び実行回数、並びに、該アプリケーションによるデータアクセスの実行順序及び実行回数を取得し、前記アプリケーション毎に、前記データアクセスによるデータサイズの合計を前記アプリケーションの処理時間で除算した前記アプリケーションの処理速度を算出し、前記処理速度と前記計算リソースの使用量との関係をモデル化した計算リソースモデルに対して、算出した前記処理速度を入力として、前記アプリケーションを実行するために必要な前記計算リソースの必要量を算出し、前記実行期限内における前記必要量と前記計算リソースの既存負荷とに基づく前記計算リソースの使用率が計算リソース上限を超過する場合に、前記計算リソースモデルに対して、前記計算リソースの上限量から該既存負荷を減算した前記計算リソースの空き容量を入力として、前記計算リソースの空き容量に基づく前記アプリケーションを実行可能な第１の実行可能時間を算出し、前記ワークフローを実行する際の前記アプリケーションの目標実行時間を前記第１の実行可能時間とし、前記第１の実行可能時間による該目標実行時間の延長時間を、前記計算リソース上限を超過しない他の前記アプリケーションの目標実行時間へ加算して、前記アプリケーションの終了時刻を遅らせ、他の前記アプリケーションの開始時刻を早める調整を行う各処理を含んだことを特徴とする。
【発明の効果】
【0009】
本発明の一態様によれば、例えば、情報基盤におけるリソースの配置を適切に行うことができる。
【図面の簡単な説明】
【0010】
【図1】実施形態に係る全体システムの構成例を示す図。
【図2】ストレージデバイスの構成例を示す図。
【図3】アロケーション制御部の構成例を示す図。
【図4】分析ワークフロー情報管理表の構成例を示す図。
【図5】アプリ・データ特性情報管理表の構成例を示す図。
【図6】リソースモデル管理表の構成例を示す図。
【図7】構成情報管理表の構成例を示す図。
【図8】稼働情報管理表の構成例を示す図。
【図9】データ配置組合せ表の構成例を示す図。
【図10】計算用ＷＦ変数管理表の構成例を示す図。
【図11】計算用再配置変数管理表の構成例を示す図。
【図12】計算用インフラ情報管理表の構成例を示す図。
【図13】実施形態に係るデータ最適配置処理の全体処理例を示すシーケンス図。
【図14】学習フェーズの処理例を示すフローチャート。
【図15】リソース稼働情報を実測する際のアプリの種別ごとのアプリとデータの配置パターンの組合せ例を示す図。
【図16】アプリ・計算リソースモデルの例を示す図。
【図17】アプリ・データアクセス特性モデルの例を示す図。
【図18】ストレージ性能モデル（拠点内コンピュート-ストレージ間）の例を示す図。
【図19】ストレージ性能モデル（拠点間-ストレージ間）の例を示す図。
【図20】ストレージ性能モデル（ストレージノード数）の例を示す図。
【図21】推論フェーズの処理概要を説明するための図。
【図22】推論フェーズの処理例を示すフローチャート。
【図23】データ配置組合せ計算の詳細処理例を示すフローチャート。
【図24】分析ワークフロー・アプリ・データ情報取得の詳細処理例を示すフローチャート。
【図25】データ配置パターン作成の詳細処理例を示すフローチャート。
【図26】アプリ処理・データアクセス実行時間計算の処理概要を説明するための図。
【図27】アプリ処理・データアクセス実行時間計算の詳細処理例を示すフローチャート。
【図28】各種実行時刻_初期値決めの詳細処理例を示すフローチャート。
【図29】データ再配置_初期値設定の処理概要を説明するための図。
【図30】データ再配置_初期値設定の詳細処理例を示すフローチャート。
【図31】ワークフロー_初期値設定の処理概要を説明するための図。
【図32】ワークフロー_初期値設定の詳細処理例を示すフローチャート。
【図33】複数ワークフロー_初期値設定の処理概要を説明するための図。
【図34】複数ワークフロー_初期値設定の詳細処理例を示すフローチャート。
【図35】アプリ・データ_初期値設定の処理概要を説明するための図。
【図36】アプリ・データ_初期値設定の詳細処理例を示すフローチャート。
【図37】アプリ・データアクセス実行時刻計算の詳細処理例を示すフローチャート。
【図38】データアクセス実行時刻計算の詳細処理例を示すフローチャート。
【図39】複数アプリ間配分調整の処理概要を説明するための図。
【図40】複数アプリ間配分調整の詳細処理例を示すフローチャート。
【図41】１つのアプリ実行におけるリソース消費量計算の詳細処理例を示すフローチャート。
【図42】アプリケーションの要求処理速度算出の詳細処理例を示すフローチャート。
【図43】コンピュートのハードウェアリソース量算出の詳細処理例を示すフローチャート。
【図44】ストレージの必要性能算出の詳細処理例を示すフローチャート。
【図45】ストレージ・ネットワークのハードウェアリソース量算出の詳細処理例を示すフローチャート。
【図46】１つのワークフロー実行におけるリソース消費量計算の詳細処理例を示すフローチャート。
【図47】拠点内（クラスタ内）のコンピュート消費量計算の詳細処理例を示すフローチャート。
【図48】拠点内（クラスタ内）のストレージ消費量計算の詳細処理例を示すフローチャート。
【図49】消費ＩＯ量及びストレージノード数換算の詳細処理例を示すフローチャート。
【図50】拠点間のストレージ・ネットワーク消費量計算の詳細処理例を示すフローチャート。
【図51】アプリ時間調整必要性確認の詳細処理例を示すフローチャート。
【図52】ＷＦ内アプリ目標実行時間調整の詳細処理例を示すフローチャート。
【図53】複数ワークフロー間配分調整の処理概要を説明するための図。
【図54】複数ワークフロー間配分調整の詳細処理例を示すフローチャート。
【図55】複数ＷＦリソース消費量計算の詳細処理例を示すフローチャート。
【図56】複数ＷＦコンピュート／ストレージ消費量計算の詳細処理例を示すフローチャート。
【図57】複数ＷＦストレージ・ネットワーク消費量計算の詳細処理例を示すフローチャート。
【図58】データ再配置・ワークフロー配分調整の処理概要を説明するための図。
【図59】データ再配置・ワークフロー配分調整の詳細処理例を示すフローチャート。
【図60】データ再配置のリソース使用量計算の詳細処理例を示すフローチャート。
【図61】データ再配置の時間調整の詳細処理例を示すフローチャート。
【図62】データ再配置・ワークフローの時間配分選択の詳細処理例を示すフローチャート。
【図63】配置変更実行の詳細処理例を示すフローチャート。
【図64】分析ワークフロー実行の詳細処理例を示すフローチャート。
【発明を実施するための形態】
【0011】
以下、本発明の実施形態について、図面を参照して説明する。なお、以下に説明する実施形態は、図面を含めて例示に過ぎず、特許請求の範囲に係る発明を限定するものではない。また、実施形態の中で説明されている諸要素及びその組合せの全てが、発明の解決手段に必須であるとは限らない。また、発明の構成に必須だが周知である構成については、図示及び説明を省略する場合がある。
【0012】
以下の説明において、プログラムは、計算機のような装置にインストールされてもよいし、例えば、プログラム配布サーバ又は計算機が読取り可能な（例えば非一時的な）記録媒体にあってもよい。また、以下の説明において、２以上のプログラムが１つのプログラムとして実現されてもよいし、１つのプログラムが２以上のプログラムとして実現されてもよい。
【0013】
また、以下の説明において、ＣＰＵ（Central Processing Unit）は、１又は複数である。ＣＰＵに代表されるマイクロプロセッサに限らず、ＧＰＵ（Graphics Processing Unit）のような他種のプロセッサでもよい。また、ＣＰＵは、シングルコアでもよいしマルチコアでもよい。また、ＣＰＵは、処理の一部又は全部を行うハードウェア回路（例えばＦＰＧＡ（Field-Programmable Gate Array）又はＡＳＩＣ（Application Specific Integrated Circuit））といった広義のプロセッサでも代替できる。
【0014】
また、以下の説明において、「ｘｘｘ表」のように情報をテーブル形式で説明するが、情報はどのような構造のデータでもよい。従って、「ｘｘｘ表」は「ｘｘｘ情報」と言うことができる。また、以下の説明において、各表の構成は一例であり、一つの表は、二つ以上の表に分割されてもよいし、二つ以上の表の全部又は一部が一つの表にまとめられてもよい。
【0015】
また、以下の説明において、種々の対象の識別情報として、識別番号が使用されるが、識別番号以外の種類の識別情報（例えば、英字や符号を含んだ識別子）が採用されてもよい。以下の説明において、“＃Ｙ”は番号Ｙを表し、例えば“ＸＸＸ＃Ｙ”は、番号Ｙで識別されるＸＸＸを表す。
【0016】
また、以下の説明において、同種の要素を区別しないで説明する場合には、参照符号（または、参照符号のうちの共通符号）を使用し、同種の要素を区別して説明する場合は、要素の識別番号（または参照符号）を使用することがある。また、各図に示す各要素の数は一例であって、図示に限られるものではない。
【0017】
また、以下の説明において、連携システムは、ハイブリッドクラウドであるが、分析ワークフローを実行する情報基盤の一例を示すに過ぎない。すなわち、分析ワークフローを実行する情報基盤は、単独拠点のシステム及び複数拠点が連携する連携システムの何れであってもよい。また、各拠点のコンピュート（計算リソース）は、オンプレミスサーバ及び仮想マシンの何れであってもよい。例えば、連携システムは、ハイブリッドクラウドに限らず、マルチクラウドであってもよい。
【0018】
また、以下の説明において、データＤｘとファイルＦＬｘは、同義である。
【0019】
（全体システムＳの構成）
図１は、実施形態に係る全体システムＳの構成例を示す図である。全体システムＳは、管理サイト１、１以上のオンプレミスサイト２、及び、１以上のクラウドサイト３の各拠点を含んで構成される。管理サイト１には、管理サーバ１０、及び、ＮＷ－ＳＷ（ネットワークスイッチ）１００が配置される。
図１は、実施形態に係る全体システムＳの構成例を示す図である。全体システムＳは、管理サイト１、１以上のオンプレミスサイト２、及び、１以上のクラウドサイト３の各拠点を含んで構成される。管理サイト１には、管理サーバ１０、及び、ＮＷ－ＳＷ（ネットワークスイッチ）１００が配置される。
【0020】
オンプレミスサイト２には、１以上のオンプレミスのサーバ２０、１以上のストレージデバイス２０１、ＮＷ－ＳＷ２００ａ、及び、ストレージＮＷ－ＳＷ２００ｂが配置される。同一拠点内の複数のサーバ２０全体が１つのクラスタであり、個々のサーバ２０がノードである。
【0021】
クラウドサイト３には、物理マシン上に構築された１以上の仮想マシン３０、及び、ストレージの仮想化によるストレージサービスとして提供されるストレージデバイス３０１が配置される。同一拠点内の複数の仮想マシン３０全体が１つのクラスタであり、個々の仮想マシン３０がノードである。
【0022】
管理サーバ１０、サーバ２０、及び、仮想マシン３０は、ＮＷ－ＳＷ１００、２００ａ及びネットワークを介して接続される。また、ストレージデバイス２０１、３０１は、ストレージＮＷ－ＳＷ２００ｂ及びネットワークを介して接続される。
【0023】
管理サーバ１０は、サーバ２０及び仮想マシン３０を含んで構成される連携システムＣＳを管理する。管理サーバ１０は、ＣＰＵ１１、メモリ１２、及び、ネットワークＩ／Ｆ（Inter Face）１３を含んで構成される。ＣＰＵ１１は、メモリ１２と協働してプログラムを実行することで各種の機能部を実現する。メモリ１２には、ＣＰＵ１１によって実現される機能部として、アロケーション制御部１２１、フローベースプログラミング機能部１２２、及び、ＩＴインフラ管理部１２３が格納されている。
【0024】
アロケーション制御部１２１は、連携システムＣＳ上で実行する分析ワークフローの各データを配置する拠点（オンプレミスサイト２、クラウドサイト３）を決定する計算を行い、計算した配置先へ各データの配置の実行指示を出力する。
【0025】
フローベースプログラミング機能部１２２は、ユーザがＵＩ（User Interface）上でアプリケーションやデータを接続し、分析ワークフローを定義するための機能を有するFlow-Based Programming Functionと呼ばれるワークフローエディタを提供する。ＩＴインフラ管理部１２３は、オンプレミスサイト２及びクラウドサイト３の遠隔の拠点に配置される情報基盤を構成する各種情報機器を、一元的に管理及び監視する。
【0026】
サーバ２０は、ＣＰＵ２１、メモリ２２、及び、ネットワークＩ／Ｆ２３を含んで構成される。ＣＰＵ２１は、メモリ２２と協働してプログラムを実行することで各種の機能部を実現する。メモリ２２には、ＣＰＵ２１によって実現される機能部として、モニタリング機能部２２１、コンテナ管理部２２２、及び、データ仮想化機能部２２３が格納されている。
【0027】
モニタリング機能部２２１は、コンテナアプリケーション（以下、「アプリ」と略称する）とＩＴインフラなどの稼働情報を紐づけ、監視可能にする。コンテナ管理部２２２は、アプリの実行基盤である。データ仮想化機能部２２３は、他のデータ仮想化機能部２２３、３２３と連携してストレージ・ネットワークを構築し、異なるストレージデバイス２０１、３０１間で、データの配置実行を行う。また、データ仮想化機能部２２３は、他のデータ仮想化機能部２２３、３２３と連携し、ファイル又はボリュームのスタブ化（仮想化）を行い、バックグラウンドでデータの実体を転送する。また、データ仮想化機能部２２３は、ストレージデバイス２０１、３０１とデータの配置位置との関係を管理する。
【0028】
仮想マシン３０は、ＣＰＵ３１、及び、メモリ３２を含んで構成される。ＣＰＵ３１は、メモリ３２と協働してプログラムを実行することで各種の機能部を実現する。メモリ３２には、ＣＰＵ３１によって実現される機能部として、モニタリング機能部３２１、コンテナ管理部３２２、及び、データ仮想化機能部３２３が格納されている。モニタリング機能部３２１、コンテナ管理部３２２、及び、データ仮想化機能部３２３は、それぞれ、モニタリング機能部２２１、コンテナ管理部２２２、及び、データ仮想化機能部２２３と同様の機能を有する。
【0029】
なお、仮想マシン３０は、コンテナ型仮想サーバに限らず、ハイパーバイザ型仮想サーバでもよく、サーバ２０及び仮想マシン３０上で動作するアプリは、コンテナアプリに限られない。
【0030】
（ストレージデバイス２０１の構成）
図２は、ストレージデバイス２０１の構成例を示す図である。ストレージデバイス２０１は、通信可能に接続された１以上のストレージノード２０１０を含んで構成される。ストレージノード２０１０は、ＣＰＵ２０１１、メモリ２０１２、ディスク２０１３、及び、ネットワークＩ／Ｆ２０１４を含んで構成される。ＣＰＵ２０１１は、単独で又は他のストレージノード２０１０のＣＰＵ２０１１と共に、メモリ２０１２の協働により、物理的な記憶媒体であるディスク２０１３を管理し、サーバ２０に対して記憶領域を提供する。
図２は、ストレージデバイス２０１の構成例を示す図である。ストレージデバイス２０１は、通信可能に接続された１以上のストレージノード２０１０を含んで構成される。ストレージノード２０１０は、ＣＰＵ２０１１、メモリ２０１２、ディスク２０１３、及び、ネットワークＩ／Ｆ２０１４を含んで構成される。ＣＰＵ２０１１は、単独で又は他のストレージノード２０１０のＣＰＵ２０１１と共に、メモリ２０１２の協働により、物理的な記憶媒体であるディスク２０１３を管理し、サーバ２０に対して記憶領域を提供する。
【0031】
なお、ストレージデバイス３０１は、ストレージの仮想化によって、ストレージデバイス２０１と同様の機能を提供する。
【0032】
（アロケーション制御部１２１の構成）
図３は、アロケーション制御部１２１の構成例を示す図である。アロケーション制御部１２１は、ＣＰＵ１１のプログラム実行により実現される機能部として、リソースモデル作成部１２１１、データ配置組合せ計算部１２１２、アプリ処理・データアクセス実行時間計算部１２１３、配置変更実行部１２１４、及び、分析ワークフロー実行部１２１５を有する。
図３は、アロケーション制御部１２１の構成例を示す図である。アロケーション制御部１２１は、ＣＰＵ１１のプログラム実行により実現される機能部として、リソースモデル作成部１２１１、データ配置組合せ計算部１２１２、アプリ処理・データアクセス実行時間計算部１２１３、配置変更実行部１２１４、及び、分析ワークフロー実行部１２１５を有する。
【0033】
また、アロケーション制御部１２１は、各種情報として、分析ワークフロー情報管理表１２１６、アプリ・データ特性情報管理表１２１７、リソースモデル管理表１２１８、構成情報管理表１２１９、稼働情報管理表１２２０、データ配置組合せ表１２２１、計算用ＷＦ（Work Flow）変数管理表１２２２、計算用再配置変数管理表１２２３、及び、計算用インフラ情報管理表１２２４を格納している。
【0034】
（分析ワークフロー情報管理表１２１６の構成）
図４は、分析ワークフロー情報管理表１２１６の構成例を示す図である。分析ワークフロー情報管理表１２１６は、連携システムＣＳ上で実行する分析ワークフローの情報を管理する表である。分析ワークフロー情報管理表１２１６は、「対象」「項目」「値」「ソース」の項目を有する。「対象」は、対象の分析ワークフロー、該当の分析ワークフローで実行されるアプリ（アプリ（コンテナ））、及び、該当の分析ワークフローで使用するデータ（データ（ファイル））に関する情報を管理する。
図４は、分析ワークフロー情報管理表１２１６の構成例を示す図である。分析ワークフロー情報管理表１２１６は、連携システムＣＳ上で実行する分析ワークフローの情報を管理する表である。分析ワークフロー情報管理表１２１６は、「対象」「項目」「値」「ソース」の項目を有する。「対象」は、対象の分析ワークフロー、該当の分析ワークフローで実行されるアプリ（アプリ（コンテナ））、及び、該当の分析ワークフローで使用するデータ（データ（ファイル））に関する情報を管理する。
【0035】
例えば分析ワークフロー情報管理表１２１６の＃１～＃４の行では、“ワークフロー１”の「項目」、その「値」、及び、情報の出力元である「ソース」として、“ワークフロー識別子”“ワークフローの実行期限（ｍｉｎ（分））”“アプリの実行順序／回数”“ファイルアクセスの実行順序／回数”に対応する各値とソースがそれぞれ格納されている。＃１～＃４の行では、“ＷＦ１”で識別されるワークフロー１は、１２０分の実行期限であり、アプリ“Ａｐｐ－ａ”と“Ａｐｐ－ｂ”を１回ずつ並列実行後、アプリ“Ａｐｐ－ｃ”が１回実行され、アプリ“Ａｐｐ－ａ”がファイル“ＦＬ０”に１回アクセス後にファイル“ＦＬ１”に１回アクセスし、これらの情報の出力元は“Flow-Based Programing Function”（フローベースプログラミング機能部１２２）であることを表す。
【0036】
（アプリ・データ特性情報管理表１２１７の構成）
図５は、アプリ・データ特性情報管理表１２１７の構成例を示す図である。アプリ・データ特性情報管理表１２１７は、連携システムＣＳ上で実行する分析ワークフローのアプリ及びデータの属性情報を管理する表である。アプリ・データ特性情報管理表１２１７は、「分類」「項目」「詳細」「値」「ソース」「取得対象」の項目を有する。
図５は、アプリ・データ特性情報管理表１２１７の構成例を示す図である。アプリ・データ特性情報管理表１２１７は、連携システムＣＳ上で実行する分析ワークフローのアプリ及びデータの属性情報を管理する表である。アプリ・データ特性情報管理表１２１７は、「分類」「項目」「詳細」「値」「ソース」「取得対象」の項目を有する。
【0037】
「分類」は、対象がコンテナアプリ（アプリ（コンテナ））か、データファイル（データ（ファイル））か、あるいはこれらの両方（共通）であるかを示す。「項目」は、「分類」に示される対象のＩＤや種類といった識別情報や、アプリが行うデータのＩＯ量やＣＰＵコア数といったアプリ実行に関する特性情報の具体的項目を列挙する。「詳細」は、各「項目」の説明である。「値」は、各「項目」が取る具体値である。「ソース」は、各「項目」の値の出力元である。「取得対象」は、各「項目」が取得されるのが、後述の「学習フェーズ」「推論フェーズ」の何れか又は両方であるかを示す。
【0038】
例えばアプリ・データ特性情報管理表１２１７の＃３の行では、“アプリ（コンテナ）”の「項目」、その「値」、「ソース」、及び、「取得対象」として、“アプリの場所”“オンプレミスサイト（（On-premise Site）＃１）”“Monitoring Function（学習時）／Flow-Based Programming Function（推論時）”“学習・推論”の各値がそれぞれ格納されている。＃３の行では、“アプリ（コンテナ）”の“アプリの場所”は、学習フェーズ時及び推論フェーズ時に取得及び出力される情報であり、学習フェーズ時には“Monitoring Function”によって取得及び出力され、推論フェーズ時には“Flow-Based Programming Function”によって取得及び出力されることを表す。
【0039】
（リソースモデル管理表１２１８の構成）
図６は、リソースモデル管理表１２１８の構成例を示す図である。リソースモデル管理表１２１８は、後述の学習フェーズによって作成されたリソースモデルを管理する表である。リソースモデル管理表１２１８は、「分類」「モデル名」「対象リソース（ｘ）」「対象要件・指標（ｙ）」「アプリ種別」「配置パターン」「モデル式」の項目を有する。また、「配置パターン」は、「アプリ（スタブデータ）」「データ（オリジナルデータ）」の項目を有する。
図６は、リソースモデル管理表１２１８の構成例を示す図である。リソースモデル管理表１２１８は、後述の学習フェーズによって作成されたリソースモデルを管理する表である。リソースモデル管理表１２１８は、「分類」「モデル名」「対象リソース（ｘ）」「対象要件・指標（ｙ）」「アプリ種別」「配置パターン」「モデル式」の項目を有する。また、「配置パターン」は、「アプリ（スタブデータ）」「データ（オリジナルデータ）」の項目を有する。
【0040】
「分類」は、該当のリソースモデルの分類を表す。「モデル名」は、該当のリソースモデルの名称である。「対象リソース（ｘ）」は、該当のリソースモデルの対象であり、該当のリソースモデルの説明変数ｘを与えるリソースを表す。「対象要件・指標（ｙ）」は、該当のリソースの評価指標であり、該当のリソースモデルの目的変数ｙである。「アプリ種別」は、該当のリソースモデルが適用されるアプリケーションの種別を表す。
【0041】
「配置パターン」の「アプリ（スタブデータ）」は、該当のアプリケーションが配置される拠点を表す。「配置パターン」の「データ（オリジナルデータ）」は、該当のアプリケーションが入出力するデータが配置される拠点を表す。「アプリ（スタブデータ）」と「データ（オリジナルデータ）」の拠点が異なる場合は、「データ（オリジナルデータ）」の拠点のオリジナルデータは、「アプリ（スタブデータ）」の拠点ではスタブ化されたスタブデータとなる。
【0042】
「モデル式」は、該当のリソースモデルの表現式を表す。
【0043】
例えばリソースモデル管理表１２１８の第１行目では、“アプリ・計算リソースモデル”の“ＣＰＵコア数モデル”というリソースモデルは、「対象リソース（ｘ）」を“ＣＰＵ［Ｃｏｒｅｓ］（ＣＰＵのコア数ｘ）とし、“アプリ処理速度［ＭＢ／ｓ］”を「対象要件・指標（ｙ）」とし、“MachineLearningX”というアプリ種別のアプリに適用される“ｙ＝ｆ１（ｘ）”のモデル式で表されるリソースモデルであることを表す。
【0044】
（構成情報管理表１２１９の構成）
図７は、構成情報管理表１２１９の構成例を示す図である。構成情報管理表１２１９は、ＩＴインフラモデルとして収集した構成情報＝対象環境ハードウェアのスペック情報を管理する表である。
図７は、構成情報管理表１２１９の構成例を示す図である。構成情報管理表１２１９は、ＩＴインフラモデルとして収集した構成情報＝対象環境ハードウェアのスペック情報を管理する表である。
【0045】
構成情報管理表１２１９は、「対象」「モデル化項目」「詳細」「値」の項目を有する。「対象」は、“ストレージ”（記憶リソース）又は“コンピュート”（計算リソース）の種別と共に、該当のリソースの適用箇所を表す。「モデル化項目」は、「詳細」で説明が示されるスペック情報を示す項目を表し、「値」にその具体値が格納される。例えば構成情報管理表１２１９の＃１の行では、ストレージ全体を対象として、システム全体のクラスタ数（拠点数）として“ストレージクラスタ数”が“３”であることを表す。
【0046】
（稼働情報管理表１２２０の構成）
図８は、稼働情報管理表１２２０の構成例を示す図である。稼働情報管理表１２２０は、ＩＴインフラモデルとして収集した稼働情報＝対象環境ハードウェアの使用状況のログ情報を管理する表である。
図８は、稼働情報管理表１２２０の構成例を示す図である。稼働情報管理表１２２０は、ＩＴインフラモデルとして収集した稼働情報＝対象環境ハードウェアの使用状況のログ情報を管理する表である。
【0047】
稼働情報管理表１２２０は、「対象」「モデル化項目」「詳細」「値」の項目を有する。「値」はさらに、「各時間（時：分：秒）あたりのリソース使用量」に分かれる。「対象」は、“ストレージ”（記憶リソース）又は“コンピュート”（計算リソース）の種別と共に、該当のリソースの適用箇所を表す。「モデル化項目」は、「詳細」で説明が示される稼動情報を示す項目を表し、「値」にその具体値が格納される。例えば稼働情報管理表１２２０の＃１の行では、拠点１のストレージを対象として、利用容量（１クラスタ内）が“４０ＴＢ”であることを表す。また、稼働情報管理表１２２０の＃２の行によれば、拠点１のストレージを対象として、各時間におけるＲｎｄ（ランダム）／Ｓｅｑ（シーケンシャル）のリード・ライトの書込み量（スピード）及び読込み量（スピード）が示されている。
【0048】
（データ配置組合せ表１２２１の構成）
図９は、データ配置組合せ表１２２１の構成例を示す図である。データ配置組合せ表１２２１は、対象の分析ワークフローで使用するデータを各拠点へ配置する配置パターンの組合せを管理するための表である。データ配置組合せ表１２２１は、対象の分析ワークフローでは、データ１～データ６の６つのデータを使用し、これらのデータを連携システムＣＳを構成する各拠点に配置するパターンとその配置可否を管理している。例えばデータ配置組合せ表１２２１の＃１の行では、データ１～データ６を全てＯｎ-Ｐｒｅｍ１（オンプレミスサイト＃１）に配置するパターンは配置可（Ｙｅｓ）であることを表す。
図９は、データ配置組合せ表１２２１の構成例を示す図である。データ配置組合せ表１２２１は、対象の分析ワークフローで使用するデータを各拠点へ配置する配置パターンの組合せを管理するための表である。データ配置組合せ表１２２１は、対象の分析ワークフローでは、データ１～データ６の６つのデータを使用し、これらのデータを連携システムＣＳを構成する各拠点に配置するパターンとその配置可否を管理している。例えばデータ配置組合せ表１２２１の＃１の行では、データ１～データ６を全てＯｎ-Ｐｒｅｍ１（オンプレミスサイト＃１）に配置するパターンは配置可（Ｙｅｓ）であることを表す。
【0049】
（その他の表）
図１０は、計算用ＷＦ変数管理表１２２２の構成例を示す図である。図１１は、計算用再配置変数管理表１２２３の構成例を示す図である。図１２は、計算用インフラ情報管理表１２２４の構成例を示す図である。計算用ＷＦ変数管理表１２２２は、ワークフローのワーク変数を一時的に管理するための表である。計算用再配置変数管理表１２２３は、データ配置変数のワーク変数を一時的に管理するための表である。計算用インフラ情報管理表１２２４は、インフラ情報を一時的に管理するための表である。
図１０は、計算用ＷＦ変数管理表１２２２の構成例を示す図である。図１１は、計算用再配置変数管理表１２２３の構成例を示す図である。図１２は、計算用インフラ情報管理表１２２４の構成例を示す図である。計算用ＷＦ変数管理表１２２２は、ワークフローのワーク変数を一時的に管理するための表である。計算用再配置変数管理表１２２３は、データ配置変数のワーク変数を一時的に管理するための表である。計算用インフラ情報管理表１２２４は、インフラ情報を一時的に管理するための表である。
【0050】
（分析ワークフローに関する仮想データセットの最適分散配置処理）
以下、本実施形態に係る分析ワークフローに関する仮想データセットの最適分散配置処理を説明する。以下では、分析ワークフローで登場するアプリケーションが拠点（サイト）を跨いで動作し、使用するデータがData Virtualization Function（データ仮想化機能部２２３、３２３）を介してサイト間で相互参照可能であることを前提とする。
以下、本実施形態に係る分析ワークフローに関する仮想データセットの最適分散配置処理を説明する。以下では、分析ワークフローで登場するアプリケーションが拠点（サイト）を跨いで動作し、使用するデータがData Virtualization Function（データ仮想化機能部２２３、３２３）を介してサイト間で相互参照可能であることを前提とする。
【0051】
（データ最適配置処理の全体処理）
図１３は、実施形態に係るデータ最適配置処理の全体処理例を示すシーケンス図である。データ最適配置処理は、大きく分けて各種リソースモデルを作成する学習フェーズＦ１と、学習フェーズＦ１で作成された各種リソースモデルを用いて各種リソースの稼働状況を推論し、推論結果に基づいて、分析ワークフローで使用するデータの配置を決定する推論フェーズＦ２とに分かれる。
図１３は、実施形態に係るデータ最適配置処理の全体処理例を示すシーケンス図である。データ最適配置処理は、大きく分けて各種リソースモデルを作成する学習フェーズＦ１と、学習フェーズＦ１で作成された各種リソースモデルを用いて各種リソースの稼働状況を推論し、推論結果に基づいて、分析ワークフローで使用するデータの配置を決定する推論フェーズＦ２とに分かれる。
【0052】
学習フェーズＦ１は、各種リソースモデル作成Ｓ１を含む。各種リソースモデル作成Ｓ１では、アロケーション制御部１２１は、コンテナ管理部２２２、３２２からアプリの種類を収集し（Ｓ１ａ）、モニタリング機能部２２１、３２１からアプリの場所、データのｒ／ｗ量、アプリ・データのレスポンスタイム、データサイズ、アプリが使用しているＣＰＵ、メモリなどのコンピュートリソース及びストレージリソースの稼働状況を収集し（Ｓ１ｂ）、ＩＴインフラ管理部１２３からサイト間のＮＷ（Network）帯域やレイテンシなどのネットワークリソースの稼働状況を収集し（Ｓ１ｃ）、データ仮想化機能部２２３、３２３からデータの配置場所の情報を収集し（Ｓ１ｄ）、フローベースプログラミング機能部１２２から各処理の実行回数や実行時間などの情報を収集する（Ｓ１ｅ）。そして、アロケーション制御部１２１は、Ｓ１ａ～Ｓ１ｅで収集した各種情報を学習して各種リソースモデルを作成する（Ｓ１ｆ）。
【0053】
また、推論フェーズＦ２は、データ配置組合せ計算Ｓ２、アプリ処理・データアクセス実行時間計算Ｓ３、データ再配置実行Ｓ４、及び、分析ワークフロー実行Ｓ５を含む。
【0054】
アプリ処理・データアクセス実行時間計算Ｓ３では、フローベースプログラミング機能部１２２は、データ配置組合せ計算Ｓ２で計算された拠点配置の組合せでのデータのデプロイを、アロケーション制御部１２１に対して指示する（Ｓ３ｘ）。そして、アロケーション制御部１２１は、Ｓ１ａ～Ｓ１ｅと同様の情報を収集する。すなわち、アロケーション制御部１２１は、コンテナ管理部２２２、３２２からアプリの種類を収集し（Ｓ３ａ）、モニタリング機能部２２１、３２１からアプリの場所、データのｒ／ｗ量、アプリ・データのレスポンスタイム、データサイズ、アプリが使用しているＣＰＵ、メモリなどのコンピュートリソース及びストレージリソースの稼働状況を収集し（Ｓ３ｂ）、ＩＴインフラ管理部１２３からサイト間のＮＷ帯域やレイテンシなどのネットワークリソースの稼働状況を収集し（Ｓ３ｃ）、データ仮想化機能部２２３、３２３からデータの配置場所の情報を収集し（Ｓ３ｄ）、フローベースプログラミング機能部１２２から各処理の実行回数や実行時間などの情報を収集する（Ｓ３ｅ）。そして、アロケーション制御部１２１は、Ｓ３ａ～Ｓ３ｅで収集した各種情報を、Ｓ１ｆで作成した各種リソースモデルを用いてアプリ処理・データアクセス実行時間を計算する（Ｓ３ｆ）。
【0055】
（学習フェーズの処理）
次に学習フェーズを説明する。図１４は、学習フェーズの処理例を示すフローチャートである。図１４に示す学習フェーズのＳ１１～Ｓ１３は、各種リソースモデル作成Ｓ１（図１３）に該当する。リソースモデルとは、アプリの実行に必要とする処理速度を達成するために、必要となるハードウェアリソース量を求めるためのモデルである。リソースモデルは、管理サーバ１０のアロケーション制御部１２１によって作成される。
次に学習フェーズを説明する。図１４は、学習フェーズの処理例を示すフローチャートである。図１４に示す学習フェーズのＳ１１～Ｓ１３は、各種リソースモデル作成Ｓ１（図１３）に該当する。リソースモデルとは、アプリの実行に必要とする処理速度を達成するために、必要となるハードウェアリソース量を求めるためのモデルである。リソースモデルは、管理サーバ１０のアロケーション制御部１２１によって作成される。
【0056】
各種リソースモデル作成Ｓ１では、アロケーション制御部１２１は、ユーザが分析ワークフローの本番処理を実施する前に、少量のデータを用いて対象アプリを事前に実行し、モデルを作成する。アプリの種別毎に、アプリとデータの配置パターンの組合せで、処理速度及びリソース稼働情報を実測した結果を基にモデルを作成する。各種リソースモデル作成Ｓ１では、モデル作成の際に統計回帰式や機械学習など、周知技術を用いる。
【0057】
先ずＳ１１では、アロケーション制御部１２１のリソースモデル作成部１２１１（図３）は、ユーザ環境の性能・稼働情報実測を実行する。リソースモデル作成部１２１１は、各種リソースモデル作成に必要なリソース稼働情報を各種ソースから収集し、アプリ・データ特性情報管理表１２１７（図５）に登録する。ここで収集する情報のうち、各種リソースの使用量は、例えば単位時間毎に取得したものを平均する。各種リソースモデル作成に必要な情報の収集を行う際のアプリ種別とデータの配置パターンの組合せは、例えば図１５に示すようになる。
【0058】
次にＳ１２では、リソースモデル作成部１２１１は、アプリの要求処理速度を算出する。アプリの要求処理速度とは、アプリが特定のデータにアクセスし、一連の分析処理を所定の時間内に実行するために必要な速度のことを指す。アプリの要求処理速度の実測値は、下記式（１）のように「アプリの実行時間（分析処理時間）」と「アプリが行うデータのＩＯ量」を基に算出する。
アプリ要求処理速度（の実測値）（ｂｙｔｅ／ｓｅｃ）
＝アプリが行うデータのＩＯ量（ｂｙｔｅ）／アプリの実行時間（ｓｅｃ）
・・・（１）
アプリ要求処理速度（の実測値）（ｂｙｔｅ／ｓｅｃ）
＝アプリが行うデータのＩＯ量（ｂｙｔｅ）／アプリの実行時間（ｓｅｃ）
・・・（１）
【0059】
次にＳ１３では、リソースモデル作成部１２１１は、アプリの要求処理速度と必要リソース量の関係を推定し、関係モデルを作成する。例えば、統計的にモデルを作成する例では、アプリの要求処理速度（ｙ）と、リソースの使用量（ｘ）をＸＹ平面にプロットし、最小二乗法などによる線形又は非線形の回帰式を作成する。Ｓ１３での作成対象のリソースモデルは、アプリの実行性能及びアプリからデータへのアクセス性能とハードウェアリソースとの相関モデルであり、「アプリ・計算リソースモデル」、「アプリ・データアクセス特性モデル」、及び、「ストレージ性能モデル」を含む。リソースモデル作成部１２１１は、作成した各モデルを、リソースモデル管理表１２１８（図６）に登録する。
【0060】
「アプリ・計算リソースモデル」は、アプリの計算処理に必要な要求性能に対する必要ＣＰＵ及びメモリの量をモデル化したものである。「アプリ・計算リソースモデル」は、アプリ毎に、アプリの処理速度と、アプリが消費するＣＰＵ、及び、メモリの関係を学習することで生成される。
【0061】
図１６（ａ）に示す「ＣＰＵコア数モデル」は、アプリ処理速度からコンテナの割当リソース量（ＣＰＵコア数）を推論するモデル・回帰式である。例えばアプリ処理速度をｙ、ＣＰＵコア数をｘとしてｙ＝ｈ１（ｘ）と表される。
【0062】
図１６（ｂ）に示す「メモリ容量モデル」は、アプリ処理速度からコンテナの割当リソース量（メモリ容量）を推論するモデル・回帰式である。例えばアプリ処理速度をｙ、メモリ容量をｘとしてｙ＝ｈ２（ｘ）と表される。
【0063】
図１６（ｃ）に示す「拠点内コンピュートＮＷ帯域モデル」は、アプリ処理速度からコンテナの拠点内コンピュートＮＷ帯域を推論するモデル・回帰式である。例えばアプリ処理速度をｙ、コンテナの拠点内コンピュートＮＷ帯域をｘとしてｙ＝ｈ３（ｘ）と表される。
【0064】
「アプリ・データアクセス特性モデル」は、アプリからデータへのアクセス処理速度に対して必要なストレージのＩＯ性能（要求ストレージ性能）をモデル化したものである。「アプリ・データアクセス特性モデル」は、アプリ毎に、アプリの処理速度と、アプリが必要とするストレージ性能の関係を学習することで生成される。
【0065】
図１７（ａ）に示す「ストレージＩＯ性能（Ｓｅｑ．Ｒｅａｄ）（順次読込み速度）」は、アプリ処理速度からストレージＩＯ性能（順次読込み速度）を推論するモデル・回帰式である。例えばアプリ処理速度をｙ、ストレージＩＯ性能（順次読込み速度）をｘとしてｙ＝ｇ１（ｘ）と表される。
【0066】
図１７（ｂ）に示す「ストレージＩＯ性能（Ｓｅｑ．Ｗｉｔｅ）（順次書込み速度）」は、アプリ処理速度からストレージＩＯ性能（順次書込み速度）を推論するモデル・回帰式である。例えばアプリ処理速度をｙ、ストレージＩＯ性能（順次書込み速度）をｘとしてｙ＝ｇ２（ｘ）と表される。
【0067】
図１７（ｃ）に示す「ストレージＩＯ性能（Ｒａｎｄ．Ｒｅａｄ／Ｗｉｔｅ）（ランダム読み書き速度）モデル」は、アプリ処理速度からストレージＩＯ性能（ランダム読み書き速度）を推論するモデル・回帰式である。例えばアプリ処理速度をｙ、ストレージＩＯ性能（ランダム読み書き速度）をｘとしてｙ＝ｇ３（ｘ）と表される。
【0068】
図１７（ｄ）に示す「ストレージＩＯＰＳ（Ｓｅｑ．Ｒｅａｄ）（順次読込み速度）モデル」は、アプリ処理速度からストレージＩＯＰＳ（順次読込み速度）を推論するモデル・回帰式である。例えばアプリ処理速度をｙ、ストレージＩＯＰＳ（順次読込み速度）をｘとしてｙ＝ｇ４（ｘ）と表される。
【0069】
図１７（ｅ）に示す「ストレージＩＯＰＳ（Ｓｅｑ．Ｗｉｔｅ）（順次書込み速度）モデル」は、アプリ処理速度からストレージＩＯＰＳ（順次書込み速度）を推論するモデル・回帰式である。例えばアプリ処理速度をｙ、ストレージＩＯＰＳ（順次書込み速度）をｘとしてｙ＝ｇ５（ｘ）と表される。
【0070】
図１７（ｆ）に示す「ストレージＩＯＰＳ（Ｒａｎｄ．Ｒｅａｄ／Ｗｉｔｅ）（ランダム読み書き速度）モデル」は、アプリ処理速度からストレージＩＯＰＳ（ランダム読み書き速度）を推論するモデル・回帰式である。例えばアプリ処理速度をｙ、ストレージＩＯＰＳ（ランダム読み書き速度）をｘとしてｙ＝ｇ６（ｘ）と表される。
【0071】
「ストレージ性能モデル」は、求められるストレージＩＯ性能（要求ストレージ性能）に対して必要なハードウェアリソース量をモデル化したものである。「ストレージ性能モデル」は、拠点又は拠点間毎に、求められるストレージのＩＯ性能（要求ストレージ性能）に対して必要なストレージのハードウェアリソース量の関係を学習することで生成される。
【0072】
図１８（ａ）に示す「拠点内ＮＷ帯域（コンピュート-ストレージ間）モデル」は、ストレージのＩＯ性能（Ｓｅｑ．Ｒｅａｄ）から拠点内ＮＷ帯域（コンピュート-ストレージ間）を推論するモデル・回帰式である。例えばストレージのＩＯ性能（Ｓｅｑ．Ｒｅａｄ）をｙ、拠点内ＮＷ帯域（コンピュート-ストレージ間）をｘとしてｙ＝ｆ１（ｘ）と表される。
【0073】
図１８（ｂ）に示す「拠点内ＮＷ帯域（コンピュート-ストレージ間）モデル」は、ストレージのＩＯ性能（Ｓｅｑ．Ｗｉｔｅ）から拠点内ＮＷ帯域（コンピュート-ストレージ間）を推論するモデル・回帰式である。例えばストレージのＩＯ性能（Ｓｅｑ．Ｗｉｔｅ）をｙ、拠点内ＮＷ帯域（コンピュート-ストレージ間）をｘとしてｙ＝ｆ２（ｘ）と表される。
【0074】
図１８（ｃ）に示す「拠点内ＮＷ帯域（コンピュート-ストレージ間）モデル」は、ストレージのＩＯ性能（Ｒａｎｄ．Ｒｅａｄ／Ｗｉｔｅ）から拠点内ＮＷ帯域（コンピュート-ストレージ間）を推論するモデル・回帰式である。例えばストレージのＩＯ性能（Ｒａｎｄ．Ｒｅａｄ／Ｗｉｔｅ）をｙ、拠点内ＮＷ帯域（コンピュート-ストレージ間）をｘとしてｙ＝ｆ３（ｘ）と表される。
【0075】
図１８（ａ）～（ｃ）に示す「拠点内ＮＷ帯域（コンピュート-ストレージ間）モデル」は、拠点ごとに作成される。
【0076】
図１９（ａ）に示す「拠点内ＮＷ帯域（ストレージ-ストレージ間）モデル」は、ストレージのＩＯ性能（Ｓｅｑ．Ｒｅａｄ）から拠点内ＮＷ帯域（ストレージ-ストレージ間）を推論するモデル・回帰式である。例えばストレージのＩＯ性能（Ｓｅｑ．Ｒｅａｄ）をｙ、拠点内ＮＷ帯域（ストレージ-ストレージ間）をｘとしてｙ＝ｆ４（ｘ）と表される。
【0077】
図１９（ｂ）に示す「拠点内ＮＷ帯域（ストレージ-ストレージ間）モデル」は、ストレージのＩＯ性能（Ｓｅｑ．Ｗｉｔｅ）から拠点内ＮＷ帯域（ストレージ-ストレージ間）を推論するモデル・回帰式である。例えばストレージのＩＯ性能（Ｓｅｑ．Ｗｉｔｅ）をｙ、拠点内ＮＷ帯域（ストレージ-ストレージ間）をｘとしてｙ＝ｆ５（ｘ）と表される。図１９（ｂ）に示す「拠点内ＮＷ帯域（ストレージ-ストレージ間）モデル」は、拠点間ごとに作成される。
【0078】
図１９（ｃ）に示す「拠点内ＮＷ帯域（ストレージ-ストレージ間）モデル」は、ストレージのＩＯ性能（Ｒａｎｄ．Ｒｅａｄ／Ｗｉｔｅ）から拠点内ＮＷ帯域（ストレージ-ストレージ間）を推論するモデル・回帰式である。例えばストレージのＩＯ性能（Ｒａｎｄ．Ｒｅａｄ／Ｗｉｔｅ）をｙ、拠点内ＮＷ帯域（ストレージ-ストレージ間）をｘとしてｙ＝ｆ６（ｘ）と表される。
【0079】
図１９（ａ）～（ｃ）に示す「拠点内ＮＷ帯域（ストレージ-ストレージ間）モデル」は、拠点間ごとに作成される。
【0080】
図２０（ａ）に示す「ストレージノード数モデル」は、ストレージのＩＯ性能（Ｓｅｑ．Ｒｅａｄ）からストレージノード数を推論するモデル・回帰式である。例えばストレージのＩＯ性能（Ｓｅｑ．Ｒｅａｄ）をｙ、ストレージノード数をｘとしてｙ＝ｆ７（ｘ）と表される。
【0081】
図２０（ｂ）に示す「ストレージノード数モデル」は、ストレージのＩＯ性能（Ｓｅｑ．Ｗｉｔｅ）からストレージノード数を推論するモデル・回帰式である。例えばストレージのＩＯ性能（Ｓｅｑ．Ｗｉｔｅ）をｙ、ストレージノード数をｘとしてｙ＝ｆ８（ｘ）と表される。
【0082】
図２０（ｃ）に示す「ストレージノード数モデル」は、ストレージのＩＯ性能（Ｒａｎｄ．Ｒｅａｄ／Ｗｉｔｅ）からストレージノード数を推論するモデル・回帰式である。例えばストレージのＩＯ性能（Ｒａｎｄ．Ｒｅａｄ／Ｗｉｔｅ）をｙ、ストレージノード数をｘとしてｙ＝ｆ９（ｘ）と表される。
【0083】
図２０（ａ）～（ｃ）に示す「ストレージノード数モデル」は、ストレージデバイスごとに作成される。
【0084】
次にＳ１４では、リソースモデル作成部１２１１は、構成情報管理表１２１９及び稼働情報管理表１２２０（これらを「ＩＴインフラモデル」と総称する）を作成する。構成情報管理表１２１９及び稼働情報管理表１２２０は、Ｓ１３で作成したリソースモデル作成の基礎となる、収集した実測値をまとめたしたものである。
【0085】
（推論フェーズ）
次に推論フェーズを説明する。
次に推論フェーズを説明する。
【0086】
（推論フェーズの処理概要）
推論フェーズの処理フローの説明に先立ち、処理概要を説明する。図２１は、推論フェーズの処理概要を説明するための図である。図２１は、推論フェーズ内のアプリ処理・データアクセス実行時間計算の概要を説明するための図である。
推論フェーズの処理フローの説明に先立ち、処理概要を説明する。図２１は、推論フェーズの処理概要を説明するための図である。図２１は、推論フェーズ内のアプリ処理・データアクセス実行時間計算の概要を説明するための図である。
【0087】
例えば、図２１の上方に示すように、フローベースプログラミング機能部１２２が、ＷＦ（Work Flow（分析ワークフロー））１、ＷＦ２、及び、ＷＦ３の３つのワークフローを実行する場合を考える。また、拠点は、オンプレミスサイト＃１、＃２、クラウドサイトの３つとする。
【0088】
ＷＦ１は、処理開始から終了までの実行期限が３時間以内である。ＷＦ１では、アプリケーションａ（App-a）がＦＬ（ファイル）０を使用して処理を実行して実行結果をＦＬ１へ出力し、並行してアプリケーションｃ（App-ｃ）がＦＬａを使用して処理を実行して実行結果をＦＬｂへ出力する。そして、アプリケーションｂ（App-b）がＦＬ１及びＦＬｂを使用して処理を実行して実行結果をＦＬ２へ出力して処理が終了する。
【0089】
ＷＦ２は、処理開始から終了までの実行期限が１時間以内である。ＷＦ２では、アプリケーションｃ（App-c）がＦＬａを使用して処理を実行して実行結果をＦＬｂへ出力する。そして、アプリケーションｂ（App-b）がＦＬｂを使用して処理を実行して実行結果をＦＬ２へ出力する。
【0090】
ＷＦ３は、処理開始から終了までの実行期限が３時間以内である。ＷＦ３では、アプリケーションａ（App-a）がＦＬ１を使用して処理を実行して実行結果をＦＬ１へ出力し、並行してアプリケーションｃ（App-ｃ）がＦＬｂを使用して処理を実行して実行結果をＦＬｃへ出力する。そして、アプリケーションｂ（App-b）がＦＬ１及びＦＬｃを使用して処理を実行して実行結果をＦＬ２へ出力して処理が終了する。
【0091】
アロケーション制御部１２１は、３つのワークフローＷＦ１～ＷＦ３を同時に実行する場合の実行時間を見積るために、大別して次の（１）～（５）の処理を行う。
【0092】
（１）アプリ・ファイルアクセスの実行順序及び実行回数等を取得
アロケーション制御部１２１は、フローベースプログラミング機能部１２２から、アプリ及びファイルアクセスの実行順序及び実行回数等の分析ワークフロー情報（図４の「項目」参照）、アプリ・データ特性情報（図５の「取得対象」“推論”に対応する「項目」参照）を取得する。
アロケーション制御部１２１は、フローベースプログラミング機能部１２２から、アプリ及びファイルアクセスの実行順序及び実行回数等の分析ワークフロー情報（図４の「項目」参照）、アプリ・データ特性情報（図５の「取得対象」“推論”に対応する「項目」参照）を取得する。
【0093】
（２）データ配置パターン作成
次に、アロケーション制御部１２１は、各アプリケーション及びデータファイルを、オンプレミスサイト＃１、オンプレミスサイト＃２、及び、クラウドサイトに配置する全てのデータ配置組合せのパターンを作成する。図２１では、各拠点に配置されるファイルＦＬｘのうち、破線表示がスタブファイルであり、実線表示がマスタファイル（オリジナルデータ）である。拠点内のアプリがスタブファイルに対して入出力する場合には、他の拠点に存在するオリジナルファイルのキャッシュデータの転送が発生するため、スタブファイルへのアクセスが多いほどキャッシュデータの転送量が大きくなる。
次に、アロケーション制御部１２１は、各アプリケーション及びデータファイルを、オンプレミスサイト＃１、オンプレミスサイト＃２、及び、クラウドサイトに配置する全てのデータ配置組合せのパターンを作成する。図２１では、各拠点に配置されるファイルＦＬｘのうち、破線表示がスタブファイルであり、実線表示がマスタファイル（オリジナルデータ）である。拠点内のアプリがスタブファイルに対して入出力する場合には、他の拠点に存在するオリジナルファイルのキャッシュデータの転送が発生するため、スタブファイルへのアクセスが多いほどキャッシュデータの転送量が大きくなる。
【0094】
例えば図２１に示すパターンＡでは、アプリケーションｃ、ＦＬ０、及びＦＬａをオンプレミスサイト＃１に配置し、アプリケーションａ、ＦＬ１、及びＦＬｂをオンプレミスサイト＃２に配置し、アプリケーションｂ、ＦＬ２、及びＦＬｃをクラウドサイトに配置する。また、パターンＢでは、アプリケーションｃ、ＦＬ０、ＦＬ１、ＦＬａ、及びＦＬｂをオンプレミスサイト＃１に配置し、アプリケーションａをオンプレミスサイト＃２に配置し、アプリケーションｂ、ＦＬ２、及びＦＬｃをクラウドサイトに配置する。
【0095】
（３）必要リソース量算出
次に、アロケーション制御部１２１は、アプリ毎の処理時間やデータサイズといったＫＰＩ（Key Performance Indicator）から必要なアプリ処理速度等の指標値を算出する。そして、このアプリ毎の指標値を、学習フェーズで生成した各種リソースモデルに適用して、ＣＰＵコア数やストレージの必要ＩＯ性能といったアプリ毎のコンピュート、ストレージ、及びネットワークの必要リソース量を推論する。
次に、アロケーション制御部１２１は、アプリ毎の処理時間やデータサイズといったＫＰＩ（Key Performance Indicator）から必要なアプリ処理速度等の指標値を算出する。そして、このアプリ毎の指標値を、学習フェーズで生成した各種リソースモデルに適用して、ＣＰＵコア数やストレージの必要ＩＯ性能といったアプリ毎のコンピュート、ストレージ、及びネットワークの必要リソース量を推論する。
【0096】
（４）アプリ及びファイルアクセスの実行時間推測
次に、アロケーション制御部１２１は、推論したアプリ毎の必要リソース量と、各アプリのリソース消費率と、実行回数及び実行順序とから、データ配置パターン毎に、ワークフロー毎の各アプリの実行時間（開始時刻及び終了時刻）及びファイルアクセスの実行時間（開始時刻及び終了時刻）を算出する。
次に、アロケーション制御部１２１は、推論したアプリ毎の必要リソース量と、各アプリのリソース消費率と、実行回数及び実行順序とから、データ配置パターン毎に、ワークフロー毎の各アプリの実行時間（開始時刻及び終了時刻）及びファイルアクセスの実行時間（開始時刻及び終了時刻）を算出する。
【0097】
（５）ワークフロー実行時間算出
そして、アロケーション制御部１２１は、推測したワークフロー毎の各アプリの実行時間（開始時刻及び終了時刻）及びファイルアクセスの実行時間を基に、全ワークフローＷＦ１～ＷＦ３を並列実行した場合の実行時間を推測する。例えば図２１では、アロケーション制御部１２１は、全ワークフローの実行時間をパターンＡでは４時間と推測し、パターンＢでは５時間と推測している。
そして、アロケーション制御部１２１は、推測したワークフロー毎の各アプリの実行時間（開始時刻及び終了時刻）及びファイルアクセスの実行時間を基に、全ワークフローＷＦ１～ＷＦ３を並列実行した場合の実行時間を推測する。例えば図２１では、アロケーション制御部１２１は、全ワークフローの実行時間をパターンＡでは４時間と推測し、パターンＢでは５時間と推測している。
【0098】
例えばパターンＡとパターンＢを比較すると、パターンＢでは、オンプレミスサイト＃２に配置されたアプリケーションａがアクセスするファイルが何れも他の拠点であるオンプレミスサイト＃１に存在する。このため、パターンＢでは、パターンＡと比較して、キャッシュデータの転送量が大きくなり、同じアプリ処理速度（６０ＭＢ／ｓ）を達成するためには、より高いＩＯ性能が要求されることになる（パターンＡのデータストア目標性能が１００ＭＢ／ｓに対し、パターンＢが１５０ＭＢ／ｓ）。よって、ＩＯ性能が同一であれば、パターンＡでは、ＷＦ１、ＷＦ２、及びＷＦ３の３つのワークフローが４時間で実行可終了するのに対し、パターンＢでは、全てのワークフローが実行可終了するまでに５時間かかることが分かる。
【0099】
（６）データ配置パターン決定
最後に、アロケーション制御部１２１は、推定したデータ配置パターン毎の全ワークフロー実行時間のうち、ユーザの実行期限を超過するものについては、各ワークフロー、各ワークフロー内の各アプリ、各アプリのデータアクセスの実行開始及び終了時刻を、リソース利用率が１００％を超えないように調整する。そして、アロケーション制御部１２１は、調整後にリソース利用率が１００％を超えないデータ配置パターンのうち、全ての拠点の全てのリソースの使用率の平均が最小となるデータ配置パターンを選択する。このときデータ配置パターンの選択に付随して、全ワークフロー実行時間、並びに、各アプリ及び各アプリのデータアクセスの実行開始及び終了時刻も決まる。
最後に、アロケーション制御部１２１は、推定したデータ配置パターン毎の全ワークフロー実行時間のうち、ユーザの実行期限を超過するものについては、各ワークフロー、各ワークフロー内の各アプリ、各アプリのデータアクセスの実行開始及び終了時刻を、リソース利用率が１００％を超えないように調整する。そして、アロケーション制御部１２１は、調整後にリソース利用率が１００％を超えないデータ配置パターンのうち、全ての拠点の全てのリソースの使用率の平均が最小となるデータ配置パターンを選択する。このときデータ配置パターンの選択に付随して、全ワークフロー実行時間、並びに、各アプリ及び各アプリのデータアクセスの実行開始及び終了時刻も決まる。
【0100】
（推論フェーズの処理）
以下、推論フェーズの処理フローを説明する。図２２は、推論フェーズの処理例を示すフローチャートである。図２２に示す推論フェーズのＳ２２は、データ配置組合せ計算Ｓ２及びアプリ処理・データアクセス実行時間計算Ｓ３（図１３）に該当する。また、推論フェーズのＳ２６は、データ再配置実行Ｓ４（図１３）に該当する。また、推論フェーズのＳ２７は、分析ワークフロー実行Ｓ５（図１３）に該当する。
以下、推論フェーズの処理フローを説明する。図２２は、推論フェーズの処理例を示すフローチャートである。図２２に示す推論フェーズのＳ２２は、データ配置組合せ計算Ｓ２及びアプリ処理・データアクセス実行時間計算Ｓ３（図１３）に該当する。また、推論フェーズのＳ２６は、データ再配置実行Ｓ４（図１３）に該当する。また、推論フェーズのＳ２７は、分析ワークフロー実行Ｓ５（図１３）に該当する。
【0101】
先ずＳ２１では、アロケーション制御部１２１は、ユーザによるフロー実行時間見積り指示を受付ける。次にＳ２２では、アロケーション制御部１２１のデータ配置組合せ計算部１２１２（図３）がデータ配置組合せの全パターンを計算し、アプリ処理・データアクセス実行時間計算部１２１３（図３）がデータ配置組合せの各パターンで分析ワークフローの実行時間を推定する。
【0102】
データ配置組合せの計算では、アプリの配置及びマスタファイルの配置が決められる。ここで、サイト間のキャッシュ転送が頻繁に起きると、アプリからのデータアクセス性能が遅くなるという問題が発生する。そこで、マスタファイルを配置する位置を調節して、指定時間内に処理が終わるようにする。データ配置組合せ計算の詳細処理例は、図２３を参照して後述する。
【0103】
次にＳ２３では、アロケーション制御部１２１は、Ｓ２２で選択されたデータ配置の組合せでの推定フロー実行時間がユーザの指定時間以下か否かを判定する。アロケーション制御部１２１は、Ｓ２２で選択されたデータ配置の組合せでの推定フロー実行時間がユーザの指定時間以下である場合（Ｓ２３ＹＥＳ）にステップＳ２５へ処理を移し、推定フロー実行時間がユーザの指定時間を超過する場合（Ｓ２３ＹＥＳ）にステップＳ２４へ処理を移す。
【0104】
Ｓ２４では、アロケーション制御部１２１は、出力装置（不図示）を介してユーザに対して指定時間内に実行処理が終わらないことを通知する。Ｓ２５では、アロケーション制御部１２１は、ユーザによるフロー実行を受付ける。
【0105】
Ｓ２６では、配置変更実行部１２１４は、配置変更実行を行う。配置変更実行の詳細処理例は、図６３を参照して後述する。次にＳ２７では、分析ワークフロー実行部１２１５は、分析ワークフロー実行を行う。分析ワークフロー実行の詳細処理例は、図６４を参照して後述する。
【0106】
【0107】
先ずＳ２２ａでは、データ配置組合せ計算部１２１２（図３）は、分析ワークフロー・アプリ・データ情報取得を実行する。分析ワークフロー・アプリ・データ情報取得では、アロケーション制御部１２１は、各ワークフローのアプリの実行予定場所と、データの配置場所を取得する。Ｓ２２ａの詳細処理は、図２４を参照して後述する。
【0108】
次にＳ２２ｂでは、データ配置組合せ計算部１２１２は、データ配置パターン作成を実行する。データ配置パターン作成では、アロケーション制御部１２１は、各データの配置場所の全ての組合せを作成する。Ｓ２２ｂの詳細処理は、図２５を参照して後述する。
【0109】
次に、データ配置組合せ計算部１２１２は、Ｓ２２ｃ～Ｓ２２ｄのループ処理を、Ｓ２２ｂで作成された全てのデータ配置パターンについて実行する。Ｓ２２ｃでは、アロケーション制御部１２１は、現在のループ処理対象のデータ配置パターンの配置可否を判定する。データ配置組合せ計算部１２１２は、現在のループ処理対象のデータ配置パターンが「配置可（Ｙｅｓ）」である場合にはＳ２２ｄへ処理を移し、「配置不可（Ｎｏ）」である場合には、次のデータ配置パターンについてループ処理を継続する、又は全てのデータ配置パターンについてループ処理が終了した場合にＳ２２ｅへ処理を移す。
【0110】
Ｓ２２ｄでは、アプリ処理・データアクセス実行時間計算部１２１３（図３）は、アプリ処理・データアクセス実行時間計算を実行する。Ｓ２２ｄでは、アプリ処理・データアクセス実行時間計算部１２１３は、Ｓ２２ｃで「配置可（Ｙｅｓ）」と判定されたデータ配置パターンでのワークフローの実行時間をシミュレーションする。Ｓ２２ｄの詳細処理は、図２７を参照して後述する。
【0111】
全てのデータ配置パターンについてＳ２２ｃ～Ｓ２２ｄのループ処理が終了すると、Ｓ２２ｅでは、データ配置組合せ計算部１２１２は、全てのデータ配置組合せの実行時間の計算終了後、計算用ＷＦ変数管理表１２２２（図１０）、計算用再配置変数管理表１２２３（図１１）、及び計算用インフラ情報管理表１２２４（図１２）に格納される情報及びこの情報から導き出される全てのデータ配置のパターンのリソース使用率の平均（平均リソース使用率）のうち、最も使用率が低くなるデータ配置のパターンを選択する。
【0112】
【0113】
先ずＳ２２ａ１では、データ配置組合せ計算部１２１２（図３）は、ワークフローエディタ（フローベースプログラミング機能部１２２）から、分析ワークフローにおけるアプリ及びこのアプリによるファイルアクセスの実行順序及び回数等を含む分析ワークフロー情報を取得する。次にＳ２２ａ２では、データ配置組合せ計算部１２１２は、Ｓ２２ａ１での取得データを分析ワークフロー情報管理表１２１６（図４）に登録する。
【0114】
次にＳ２２ａ３では、データ配置組合せ計算部１２１２は、推論に必要なアプリ・データ特性情報を、ワークフローエディタ以外の各種ソース（図５参照）から取得する。Ｓ２２ａ３では、アプリ・データ特性情報管理表１２１７（図５）において「取得対象」が“推論”である「分類」及び「項目」に対応する値が、各拠点の「ソース」から取得される。次にＳ２２ａ４では、データ配置組合せ計算部１２１２は、Ｓ２２ａ３での取得データをアプリ・データ特性情報管理表１２１７（図５）に登録する。また、データ配置組合せ計算部１２１２は、ワークフローの実行開始時刻を０：００（デプロイ実行時刻）、終了時刻を開始時刻＋実行期限として、計算用ＷＦ変数管理表１２２２（図１０）に登録する。
【0115】
（データ配置パターン作成Ｓ２２ｂ（図２３）の詳細処理）
図２５は、データ配置パターン作成Ｓ２２ｂの詳細処理例を示すフローチャートである。Ｓ２２ｂでは、各拠点に配置するファイルデータの全ての配置組合せ（配置パターン）の作成を行う。そして、配置組合せのうち、データ容量が拠点のストレージ容量を超えてしまうものを、配置不可な組合せとする。
図２５は、データ配置パターン作成Ｓ２２ｂの詳細処理例を示すフローチャートである。Ｓ２２ｂでは、各拠点に配置するファイルデータの全ての配置組合せ（配置パターン）の作成を行う。そして、配置組合せのうち、データ容量が拠点のストレージ容量を超えてしまうものを、配置不可な組合せとする。
【0116】
先ずＳ２２ｂ１では、データ配置組合せ計算部１２１２は、全てのデータＤｘ（ｘ＝１～ｎ）を、全ての拠点Ｓｙ（ｙ＝１～ｍ）のうちの何れかへ配置する全ての組合せ（データ配置パターンＰｚ（ｚ＝１～ｃ））を作成し、データ配置組合せ表１２２１（図９）へ登録する。
【0117】
次に、データ配置組合せ計算部１２１２は、Ｓ２２ｂ２～Ｓ２２ｂ３のループ処理を、全ての拠点Ｓｙ（ｙ＝１～ｍ）について繰り返し実行する。Ｓ２２ｂ２では、データ配置組合せ計算部１２１２は、構成情報管理表１２１９（図７）から、拠点Ｓｙのストレージの「１クラスタ最大容量」の値を取得する。次にＳ２２ｂ３では、データ配置組合せ計算部１２１２は、稼働情報管理表１２２０（図８）から、拠点Ｓｙのストレージの「利用容量（１クラスタ内）」の値を取得する。
【0118】
Ｓ２２ｂ２～Ｓ２２ｂ３のループ処理が終了すると、Ｓ２２ｂ４では、データ配置組合せ計算部１２１２は、アプリ・データ特性情報管理表１２１７から、全てのデータＤｘ（ｘ＝１～ｎ）の「データのサイズ」の値を取得する。次にＳ２２ｂ５では、データ配置組合せ計算部１２１２は、Ｓ２２ｂ５～Ｓ２２ｂ１０のループ処理を、全てのデータ配置パターンＰｚ（ｚ＝１～ｃ）について繰り返し実行する。
【0119】
Ｓ２２ｂ５では、データ配置組合せ計算部１２１２は、拠点Ｓｙのストレージ消費容量小計＝拠点Ｓｙのストレージの利用容量（１クラスタ内）とする。次にＳ２２ｂ６では、データ配置組合せ計算部１２１２は、処理対象のデータ配置パターンＰｚにおける全てのデータＤｘの配置拠点を確認する。次にＳ２２ｂ７では、データ配置組合せ計算部１２１２は、各拠点Ｓｙのストレージの消費容量小計にＳ２２ｂ６で配置が確認されたデータＤｘのデータサイズを加算する。
【0120】
次にＳ２２ｂ８では、データ配置組合せ計算部１２１２は、拠点Ｓｙのストレージの［１クラスタ最大容量］≧[拠点Ｓｙストレージ消費容量小計]であるか否かを判定する。データ配置組合せ計算部１２１２は、拠点Ｓｙのストレージの［１クラスタ最大容量］≧[拠点Ｓｙストレージ消費容量小計]である場合（すなわちデータ容量が拠点のストレージ容量以下）にＳ２２ｂ９へ処理を移し、拠点ストレージの［１クラスタ最大容量］＜[拠点Ｓｙストレージ消費容量小計]である場合にS２２ｂ１０へ処理を移す。
【0121】
Ｓ２２ｂ９では、データ配置組合せ計算部１２１２は、データ配置組合せ表１２２１（図９）の該当データ配置の［配置可否］を“Ｙｅｓ（配置可）”にする。一方Ｓ２２ｂ１０では、データ配置組合せ計算部１２１２は、データ配置組合せ表１２２１の該当データ配置の［配置可否］を“Ｎｏ（配置不可）”にする。
【0122】
（アプリ処理・データアクセス実行時間計算の処理概要）
アプリ処理・データアクセス実行時間計算Ｓ２２ｄ（図２３）の詳細処理の説明に先立ち、処理概要を説明する。図２６は、アプリ処理・データアクセス実行時間計算Ｓ２２ｄの処理概要を説明するための図である。
アプリ処理・データアクセス実行時間計算Ｓ２２ｄ（図２３）の詳細処理の説明に先立ち、処理概要を説明する。図２６は、アプリ処理・データアクセス実行時間計算Ｓ２２ｄの処理概要を説明するための図である。
【0123】
図２６人示すように、分析ワークフローの実行時間の配分を調整する要素が複数階層あるため、以下の（手順１）～（手順４）の順序で実行時間を調整していく。分析ワークフローでは、先ず拠点へのデータの再配置を実行後、分析ワークフロー内のアプリ及びファイルアクセス実行を行う。時間配分調整の各要素を、データ再配置Ｘ１、複数ワークフローＸ２、複数ワークフローＸ２内のワークフローＸ３、ワークフローＸ３内のアプリＸ４、及びアプリＸ４がアクセスするデータＸ５とする。
【0124】
（手順１）初期値決め
データ再配置Ｘ１の実行時間を、分析ワークフローの実行環境のリソース量と転送量から算出される最短時間とする。ワークフローＸ３の実行時間を、ユーザから指定されたワークフローＸ３の実行期限とする。複数ワークフローＸ２の実行時間を、最長のワークフローＸ３の実行時間とする。アプリＸ４及びデータＸ５の実行時間を、ワークフローＸ３の実行時間をアプリＸ４及びデータＸ５で均等割した時間とする。
データ再配置Ｘ１の実行時間を、分析ワークフローの実行環境のリソース量と転送量から算出される最短時間とする。ワークフローＸ３の実行時間を、ユーザから指定されたワークフローＸ３の実行期限とする。複数ワークフローＸ２の実行時間を、最長のワークフローＸ３の実行時間とする。アプリＸ４及びデータＸ５の実行時間を、ワークフローＸ３の実行時間をアプリＸ４及びデータＸ５で均等割した時間とする。
【0125】
（手順２）複数アプリ間配分調整
アプリＸ４及びデータＸ５の実行時間を、１つのワークフローＸ３の実行時間内で、リソース使用率が１００％を超えないように調整する。１つのワークフローの実行時間中（全アプリ及びデータアクセスの実行時間中）、何れかのリソース使用率が一度でも１００％を超える場合、指定された実行期限内に終わらないため、１００％を超えたアプリの目標実行時間を延ばし、その代わりにリソース使用率が最も低いアプリの目標実行時間を縮めて、再度リソース使用量を計算する。詳細は図４０を参照して後述する。
アプリＸ４及びデータＸ５の実行時間を、１つのワークフローＸ３の実行時間内で、リソース使用率が１００％を超えないように調整する。１つのワークフローの実行時間中（全アプリ及びデータアクセスの実行時間中）、何れかのリソース使用率が一度でも１００％を超える場合、指定された実行期限内に終わらないため、１００％を超えたアプリの目標実行時間を延ばし、その代わりにリソース使用率が最も低いアプリの目標実行時間を縮めて、再度リソース使用量を計算する。詳細は図４０を参照して後述する。
【0126】
（手順３）複数ワークフロー間配分調整
データ再配置と複数ワークフローの時間配分を固定とする。ワークフローＸ３同士の並列実行数を減らすために、何れかのワークフローＸ３の実行開始時刻を後ろに遅らせる（実行時間を短くする）。アプリＸ４及びデータＸ５の実行時間を、ワークフローＸ３の実行時間の変更を受けて、リソース使用率が１００％を超えないように調整する。
データ再配置と複数ワークフローの時間配分を固定とする。ワークフローＸ３同士の並列実行数を減らすために、何れかのワークフローＸ３の実行開始時刻を後ろに遅らせる（実行時間を短くする）。アプリＸ４及びデータＸ５の実行時間を、ワークフローＸ３の実行時間の変更を受けて、リソース使用率が１００％を超えないように調整する。
【0127】
（手順４）データ再配置・ワークフロー配分調整
データ再配置Ｘ１は、リソース使用率を減らすために、実行終了時刻を後ろに遅らせる（実行時間を長くする）。複数ワークフローＸ２は、データ再配置Ｘ１の実行時間の変更を受けて、実行開始時刻を後ろに遅らせる（実行時間を短くする）。ワークフローＸ３は、複数ワークフローＸ２の実行時間の変更を受け、実行開始時刻を後ろに遅らせる（実行時間を短くする）。アプリＸ４及びデータＸ５は、ワークフローＸ３の実行時間の変更を受けて、リソース使用率が１００％を超えないよう調整する。
データ再配置Ｘ１は、リソース使用率を減らすために、実行終了時刻を後ろに遅らせる（実行時間を長くする）。複数ワークフローＸ２は、データ再配置Ｘ１の実行時間の変更を受けて、実行開始時刻を後ろに遅らせる（実行時間を短くする）。ワークフローＸ３は、複数ワークフローＸ２の実行時間の変更を受け、実行開始時刻を後ろに遅らせる（実行時間を短くする）。アプリＸ４及びデータＸ５は、ワークフローＸ３の実行時間の変更を受けて、リソース使用率が１００％を超えないよう調整する。
【0128】
【0129】
先ずＳ２２ｄ１では、アプリ処理・データアクセス実行時間計算部１２１３（図３）は、各種実行時刻_初期値決めを行う。Ｓ２２ｄ１の詳細処理は、図２８を参照して後述する。次にＳ２２ｄ２では、アプリ処理・データアクセス実行時間計算部１２１３は、複数アプリ間配分調整を行う。Ｓ２２ｄ２の詳細処理は、図４０を参照して後述する。
【0130】
次にＳ２２ｄ３では、アプリ処理・データアクセス実行時間計算部１２１３は、複数ワークフロー間配分調整を行う。Ｓ２２ｄ３の詳細処理は、図５４を参照して後述する。次にＳ２２ｄ４では、アプリ処理・データアクセス実行時間計算部１２１３は、データ再配置・ワークフロー配分調整を行う。Ｓ２２ｄ４の詳細処理は、図５９を参照して後述する。
【0131】
【0132】
先ずＳ３１では、アプリ処理・データアクセス実行時間計算部１２１３（図３）は、データ再配置_初期値設定を行う。Ｓ３１の詳細処理は、図３０を参照して後述する。次にＳ３２では、アプリ処理・データアクセス実行時間計算部１２１３は、ワークフロー_初期値設定を行う。Ｓ３２の詳細処理は、図４０を参照して後述する。次にＳ３３では、アプリ処理・データアクセス実行時間計算部１２１３は、複数ワークフロー_初期値設定を行う。Ｓ３３の詳細処理は、図３４を参照して後述する。次にＳ３４では、アプリ処理・データアクセス実行時間計算部１２１３は、アプリ・データ_初期値設定を行う。Ｓ３４の詳細処理は、図３６を参照して後述する。
【0133】
（データ再配置_初期値設定Ｓ３１（図２８）の処理概要）
データ再配置_初期値設定Ｓ３１の詳細処理の説明に先立ち、処理概要を説明する。図２９は、データ再配置_初期値設定Ｓ３１の処理概要を説明するための図である。
データ再配置_初期値設定Ｓ３１の詳細処理の説明に先立ち、処理概要を説明する。図２９は、データ再配置_初期値設定Ｓ３１の処理概要を説明するための図である。
【0134】
実行時間計算対象のデータが現在において実際に配置されている拠点と、最適配置を検討するデータ配置組合せのパターンとが異なる場合に、データの再配置が必要となり、拠点間でデータ転送を行うデータ再配置Ｘ１の実行時間を要する。データ再配置Ｘ１の実行時間は、図２９に示すように、データの再配置のデータ転送の開始時刻から終了時刻までである。既述のように、データ再配置Ｘ１の実行時間は、分析ワークフローの実行環境のリソース量と転送量から算出される最短時間である。
【0135】
【0136】
先ずＳ３１ａでは、アプリ処理・データアクセス実行時間計算部１２１３は、次の情報を取得する。すなわち、アプリ処理・データアクセス実行時間計算部１２１３は、データ配置組合せ表１２２１（図９）から該当の組合せの全データ配置場所を、アプリ・データ特性情報管理表１２１７（図５）から［現在の全データの配置場所］と［全データのサイズ］を、構成情報管理表１２１９（図７）から[拠点間ネットワーク帯域]を、稼働情報管理表１２２０から[既存拠点間ネットワーク利用量]をそれぞれ取得する。
【0137】
次に、アプリ処理・データアクセス実行時間計算部１２１３は、Ｓ３１ｂ～Ｓ３１ｄのループ処理を、全データＤｘ（ｘ＝１～ｎ）について実行する。Ｓ３１ｂ～Ｓ３１ｄのループ処理では、［現在のデータ配置場所］からデータ配置組合せ表１２２１（図９）の［該当組合せのデータ配置場所］へ全てのデータを再配置する場合の転送データ量を算出する。
【0138】
Ｓ３１ｂでは、アプリ処理・データアクセス実行時間計算部１２１３は、［現在のデータ配置場所］≠［該当組合せのデータ配置場所］であるかを判定する。アプリ処理・データアクセス実行時間計算部１２１３は、［現在のデータ配置場所］≠［該当組合せのデータ配置場所］である場合（Ｓ３１ｂＹＥＳ）に、Ｓ３１ｃへ処理を移す。一方、アプリ処理・データアクセス実行時間計算部１２１３は、［現在のデータ配置場所］＝［該当組合せのデータ配置場所］である場合（Ｓ３１ｂＮＯ）には、Ｓ３１ｃ、Ｓ３１ｄをスキップして次のデータＤｘを対象にループ処理を行うか、全てのデータＤｘについてループ処理が終了した場合にはループ処理を終了する。
【0139】
Ｓ３１ｃでは、アプリ処理・データアクセス実行時間計算部１２１３は、［現在のデータ配置場所］から［該当組合せのデータ配置場所］へ全てのデータを転送するＮＷ経路を求める。次にＳ３１ｄでは、アプリ処理・データアクセス実行時間計算部１２１３は、Ｓ３１ｃで求めた［該当ＮＷ経路の再配置転送量］に転送対象の［データのサイズ］を追加する。
【0140】
Ｓ３１ｂ～Ｓ３１ｄのループ処理が終了すると、アプリ処理・データアクセス実行時間計算部１２１３は、Ｓ３１ｅ～Ｓ３１ｆのループ処理を、全拠点間のＮＷ経路について実行する。Ｓ３１ｅ～Ｓ３１ｆのループ処理では、［現在のデータ配置場所］からデータ配置組合せ表１２２１（図９）の［該当組合せのデータ配置場所］へ全てのデータを再配置する場合の転送時間（再配置時間）を算出する。
【0141】
Ｓ３１ｅでは、アプリ処理・データアクセス実行時間計算部１２１３は、使用可能な拠点間ＮＷ帯域＝［拠点間ネットワーク帯域］-［既存拠点間ネットワーク利用量］を算出する。Ｓ３１ｅでは、拠点間のネットワークの帯域のうち現在使用可能な帯域を計算する。
【0142】
次にＳ３１ｆでは、アプリ処理・データアクセス実行時間計算部１２１３は、該当ＮＷ経路の再配置時間＝［該当ＮＷ経路の再配置転送量］／［使用可能な拠点間ＮＷ帯域］を計算する。［該当ＮＷ経路の再配置転送量］はＳ３１ｂ～Ｓ３１ｄのループ処理で算出されたものである。［使用可能な拠点間ＮＷ帯域］は、Ｓ３１ｅで算出されたものである。
【0143】
Ｓ３１ｅ～Ｓ３１ｆのループ処理が終了すると、Ｓ３１ｇでは、アプリ処理・データアクセス実行時間計算部１２１３は、全ＮＷ経路のうち最大の再配置時間を全体の［データ再配置時間］とする。次に、Ｓ３１ｈでは、アプリ処理・データアクセス実行時間計算部１２１３は、［データ再配置開始時刻］=0:00、［データ再配置終了時刻］＝［データ再配置開始時刻］＋［データ再配置時間］とする。
【0144】
次に、Ｓ３１ｉでは、アプリ処理・データアクセス実行時間計算部１２１３は、次の情報を計算用再配置変数管理表１２２３（図１１）に登録する。すなわちアプリ処理・データアクセス実行時間計算部１２１３は、［データ再配置時間］（Ｓ３１ｇで算出）、［データ再配置開始時刻］（Ｓ３１ｈで設定）、［データ再配置終了時刻］（Ｓ３１ｈで設定）、各ＮＷ経路の［再配置転送量］（Ｓ３１ｂ～Ｓ１ｄのループ処理で算出）、［拠点間ネットワーク帯域］（Ｓ３１ａで取得）、［既存拠点間ネットワーク利用量］（Ｓ３１ａで取得）を計算用再配置変数管理表１２２３に登録する。
【0145】
（ワークフロー_初期値設定Ｓ３２（図２８）の処理概要）
ワークフロー_初期値設定Ｓ３２の詳細処理の説明に先立ち、処理概要を説明する。図３１は、ワークフロー_初期値設定Ｓ３１の処理概要を説明するための図である。
ワークフロー_初期値設定Ｓ３２の詳細処理の説明に先立ち、処理概要を説明する。図３１は、ワークフロー_初期値設定Ｓ３１の処理概要を説明するための図である。
【0146】
各ワークフローＸ３のそれぞれは、ユーザ指定の実行期限があるため、その実行開始時刻に関わらず、図３１に示すように、分析ワークフロー全体のデプロイ開始時刻から実行期限までの実行終了時刻が決まる。
【0147】
【0148】
先ず、Ｓ３２ａでは、アプリ処理・データアクセス実行時間計算部１２１３は、次の情報を取得する。すなわちアプリ処理・データアクセス実行時間計算部１２１３は、分析ワークフロー情報管理表１２１６（図４）から［ワークフローの実行期限］を、計算用再配置変数管理表１２２３（図１１）から［データ再配置終了時刻］をそれぞれ取得する。
【0149】
次に、アプリ処理・データアクセス実行時間計算部１２１３は、Ｓ３２ｂのループ処理を、全てのワークフローについて実行する。Ｓ３２ｂでは、アプリ処理・データアクセス実行時間計算部１２１３は、次の情報を計算用ＷＦ変数管理表１２２２（図１０）に登録する。すなわちアプリ処理・データアクセス実行時間計算部１２１３は、［ワークフロー終了時刻］＝［ワークフローの実行期限］、［ワークフロー開始時刻］＝［データ再配置終了時刻］、［ワークフロー実行時間］＝［ワークフロー終了時刻］－［ワークフロー開始時刻］を計算用ＷＦ変数管理表１２２２に登録する。
【0150】
（複数ワークフロー_初期値設定Ｓ３３（図２８）の処理概要）
複数ワークフロー_初期値設定Ｓ３３の詳細処理の説明に先立ち、処理概要を説明する。図３３は、複数ワークフロー_初期値設定Ｓ３３の処理概要を説明するための図である。
複数ワークフロー_初期値設定Ｓ３３の詳細処理の説明に先立ち、処理概要を説明する。図３３は、複数ワークフロー_初期値設定Ｓ３３の処理概要を説明するための図である。
【0151】
図３３に示すように、ユーザ指定の実行期限が最長である最後のワークフローＸ３の実行終了時刻が、複数ワークフローＸ２の実行終了時刻となるように、複数ワークフローＸ２の実行時間を定める。すなわち、複数ワークフローＸ２の実行開始時刻＝データ再配置Ｘ１の実行終了時刻、複数ワークフローＸ２の実行終了時刻＝最後のワークフローＸ３の実行終了時刻、複数ワークフローＸ２の実行時間＝複数ワークフローＸ２の実行終了時刻－複数ワークフローＸ２の実行開始時刻とする。
【0152】
【0153】
Ｓ３３ａでは、アプリ処理・データアクセス実行時間計算部１２１３は、次の情報を計算用ＷＦ変数管理表１２２２に登録する。すなわちアプリ処理・データアクセス実行時間計算部１２１３は、［複数ワークフロー開始時刻］＝［データ再配置終了時刻］、［複数ワークフロー終了時刻］＝［最後のワークフロー終了時刻］、［複数ワークフロー実行時間］＝［複数ワークフロー終了時刻］－［複数ワークフロー開始時刻］を計算用ＷＦ変数管理表１２２２に登録する。
【0154】
（アプリ・データ_初期値設定Ｓ３４（図２８）の処理概要）
アプリ・データ_初期値設定Ｓ３４の詳細処理の説明に先立ち、処理概要を説明する。図３５は、アプリ・データ_初期値設定Ｓ３４の処理概要を説明するための図である。
アプリ・データ_初期値設定Ｓ３４の詳細処理の説明に先立ち、処理概要を説明する。図３５は、アプリ・データ_初期値設定Ｓ３４の処理概要を説明するための図である。
【0155】
各アプリＸ４の実行時間は、複数ワークフローＸ２の実行期限（複数ワークフローＸ２の実行終了時刻）から割り出す。初回は、複数ワークフローＸ２の実行時間をアプリの数で除算した結果を各アプリＸ４の目標実行時間とする。このとき並列に同時実行できるアプリは、同じ実行時間帯を割当てる。アプリからデータへの目標アクセス時間は、アプリがどのタイミングでデータへアクセスするかを予測できないため、アプリの目標実行時間と同じとする。
【0156】
【0157】
Ｓ３４ａでは、アプリ処理・データアクセス実行時間計算部１２１３は、分析ワークフロー情報管理表１２１６（図４）の「アプリの実行順序／回数」が等しいアプリの数（ParaAppNum）をカウントする。
【0158】
次にＳ２４ｂでは、アプリ処理・データアクセス実行時間計算部１２１３は、各［アプリの目標実行時間］＝ワークフローの実行時間／｛全アプリの数－（ParaAppNum－１）｝を計算する。ワークフローの実行時間は、計算用ＷＦ変数管理表１２２２（図１０）に既に格納されている値を用いる。
【0159】
Ｓ２４ｂでは、同時実行できるアプリは、同じ実行時間帯を割当てるとし、分析ワークフローの実行期限から、各アプリの実行時間を割り出す。
【0160】
次にＳ３４ｃでは、アプリ処理・データアクセス実行時間計算部１２１３は、各アプリからのファイルへの目標アクセス時間＝各アプリの目標実行時間とする。各アプリの目標実行時間は、Ｓ２３ｂで算出された情報である。Ｓ３４ｃでは、アプリがどのタイミングでデータをオープン、クローズするか予測するのが難しいため、アプリからデータへの目標アクセス時間は、アプリの目標実行時間と同じとしている。
【0161】
次にＳ３４ｄでは、アプリ処理・データアクセス実行時間計算部１２１３は、計算用ＷＦ変数管理表１２２２（図１０）に、各［アプリの目標実行時間］と［ファイル目標アクセス時間］を登録する。
【0162】
次にＳ３４ｅでは、アプリ処理・データアクセス実行時間計算部１２１３は、アプリ・データアクセス実行時刻計算を行う。Ｓ３４ｅの詳細処理は、図３７を参照して後述する。
【0163】
（アプリ・データアクセス実行時刻計算３４ｅ（図３６）の詳細処理）
図３７は、アプリ・データアクセス実行時刻計算３４ｅの詳細処理例を示すフローチャートである。アプリ・データアクセス実行時刻計算３４ｅでは、次の方針でアプリ及びデータアクセス実行時刻を計算する。時間軸上、同じ実行順序のアプリは並列に実行し、その他は実行順序に従ってアプリを実行する。実行順序が最も早いアプリの開始時刻は、そのアプリが含まれるワークフローの開始時刻と同一に設定する。実行順序が次に早いアプリの開始時刻は、前のアプリの終了時刻にする。アプリを並列に実行する場合は、実行開始時刻及び実行終了時刻のそれぞれを同一にする。データのアクセス開始時刻及び終了時刻は、データアクセスのタイミングを把握できないため、アプリの実行開始時刻及び実行終了時刻と同一とする。
図３７は、アプリ・データアクセス実行時刻計算３４ｅの詳細処理例を示すフローチャートである。アプリ・データアクセス実行時刻計算３４ｅでは、次の方針でアプリ及びデータアクセス実行時刻を計算する。時間軸上、同じ実行順序のアプリは並列に実行し、その他は実行順序に従ってアプリを実行する。実行順序が最も早いアプリの開始時刻は、そのアプリが含まれるワークフローの開始時刻と同一に設定する。実行順序が次に早いアプリの開始時刻は、前のアプリの終了時刻にする。アプリを並列に実行する場合は、実行開始時刻及び実行終了時刻のそれぞれを同一にする。データのアクセス開始時刻及び終了時刻は、データアクセスのタイミングを把握できないため、アプリの実行開始時刻及び実行終了時刻と同一とする。
【0164】
先ずＳ３４ｅ１では、アプリ処理・データアクセス実行時間計算部１２１３は、分析ワークフロー情報管理表１２１６（図４）から「アプリの実行順序／回数」及び「ファイルアクセスの実行順序／回数」を取得する。
【0165】
次にＳ３４ｅ２では、アプリ処理・データアクセス実行時間計算部１２１３は、計算用ＷＦ変数管理表１２２２（図１０）から、各「アプリの目標実行時間」を取得する。次にＳ３４ｅ３では、アプリ処理・データアクセス実行時間計算部１２１３は、最も実行順序の早いアプリＸ１の実行開始時刻＝［ワークフローの開始時刻］とする。
【0166】
次にＳ３４ｅ４では、アプリ処理・データアクセス実行時間計算部１２１３は、最も実行順序の早いアプリＸ１の実行終了時刻＝アプリＸ１の実行開始時刻＋（アプリＸ１の目標実行時間×実行回数）を計算する。
【0167】
次にアプリ処理・データアクセス実行時間計算部１２１３は、Ｓ３４ｅ５～Ｓ３４ｅ１１のループ処理を、ワークフロー内の全てのアプリのペアＸ，Ｙについて実行する。
【0168】
Ｓ３４ｅ５では、アプリ処理・データアクセス実行時間計算部１２１３は、アプリＹの実行順序＝アプリＸの実行順序か否かを判定する。アプリ処理・データアクセス実行時間計算部１２１３は、アプリＹの実行順序＝アプリＸの実行順序の場合（Ｓ３４ｅ５ＹＥＳ）にＳ３４ｅ６へ処理を移し、アプリＹの実行順序≠アプリＸの実行順序の場合（Ｓ３４ｅ５ＮＯ）にＳ３４ｅ８へ処理を移す。
【0169】
Ｓ３４ｅ６では、アプリ処理・データアクセス実行時間計算部１２１３は、アプリＹの実行開始時刻＝アプリＸの実行開始時刻とする。次にＳ３４ｅ７では、アプリ処理・データアクセス実行時間計算部１２１３は、アプリＹの実行終了時刻＝アプリＸの実行終了時刻とする。Ｓ３４ｅ７が終了すると、アプリ処理・データアクセス実行時間計算部１２１３は、Ｓ３４ｅ１１へ処理を移す。
【0170】
一方、Ｓ３４ｅ８では、アプリ処理・データアクセス実行時間計算部１２１３は、アプリＹの実行順序＝アプリＸの実行順序＋１か否かを判定する。アプリ処理・データアクセス実行時間計算部１２１３は、アプリＹの実行順序＝アプリＸの実行順序＋１の場合（Ｓ３４ｅ８ＹＥＳ）にＳ３４ｅ９へ処理を移し、アプリＹの実行順序≠アプリＸの実行順序＋１の場合（Ｓ３４ｅ８ＮＯ）にＳ３４ｅ１１へ処理を移す。
【0171】
Ｓ３４ｅ９では、アプリ処理・データアクセス実行時間計算部１２１３は、アプリＹの実行開始時刻＝アプリＸの実行終了時刻とする。次にＳ３４ｅ１０では、アプリ処理・データアクセス実行時間計算部１２１３は、アプリＹの実行開始時刻＝アプリＹの実行開始時刻＋（アプリＹの目標実行時間×実行回数）とする。Ｓ３４ｅ１０が終了すると、アプリ処理・データアクセス実行時間計算部１２１３は、Ｓ３４ｅ１１へ処理を移す。
【0172】
Ｓ３４ｅ１１では、アプリ処理・データアクセス実行時間計算部１２１３は、データアクセス時刻計算処理を実行する。データアクセス時刻計算処理の詳細は、図３８を参照して後述する。
【0173】
【0174】
アプリ処理・データアクセス実行時間計算部１２１３は、Ｓ３４ｅ１１ａ～Ｓ３４ａ１１ｂのループ処理を、アプリ内のアクセス対象ファイルＦＬｘ（ｘ＝１～ｎ）に関して繰返す。
【0175】
Ｓ３４ｅ１１ａでは、アプリ処理・データアクセス実行時間計算部１２１３は、ファイルＦＬｘの目標アクセス開始時刻＝アプリの実行開始時刻とする。次にＳ３４ｅ１１ｂでは、アプリ処理・データアクセス実行時間計算部１２１３は、ファイルＦＬｘの目標アクセス終了時刻＝アプリの実行終了時刻とする。
【0176】
（複数アプリ間配分調整Ｓ２２ｄ２（図２７）の処理概要）
複数アプリ間配分調整Ｓ２２ｄ２の詳細処理の説明に先立ち、処理概要を説明する。図３９は、複数アプリ間配分調整Ｓ２２ｄ２の処理概要を説明するための図である。
複数アプリ間配分調整Ｓ２２ｄ２の詳細処理の説明に先立ち、処理概要を説明する。図３９は、複数アプリ間配分調整Ｓ２２ｄ２の処理概要を説明するための図である。
【0177】
図３９の例では、ワークフローＸ３＃１に含まれるアプリＸ４＃１～＃４は、アプリＸ４＃１、＃２の並列実行時にリソース使用率が１００％を超えてしまう。そこで、並列実行するアプリＸ４＃１、＃２の実行時間を延長して実行終了時刻を遅らせることでリソース使用率を１００％未満に下げ、最後に実行されるアプリＸ４＃４の実行時間を短くして実行開始時刻を遅らせる。この際、ワークフローＸ３＃１の実行時間は、変えないように、アプリＸ４＃１、＃２の実行時間の延長時間と、アプリＸ４＃４の実行時間の短縮時間とを同一にする。
【0178】
【0179】
先ずＳ４１では、アプリ処理・データアクセス実行時間計算部１２１３（図３）は、１つのアプリ実行におけるリソース消費量計算を行う。Ｓ４１の詳細処理は、図４１を参照して後述する。次にＳ４２では、アプリ処理・データアクセス実行時間計算部１２１３は、１つのワークフローにおけるリソース消費量計算を行う。Ｓ４２の詳細処理は、図４６を参照して後述する。
【0180】
次にＳ４３では、アプリ処理・データアクセス実行時間計算部１２１３は、アプリ時間調整必要性確認を行う。アプリ処理・データアクセス実行時間計算部１２１３は、アプリ時間の調整必要の場合はＳ４４へ処理を移し、アプリ時間の調整不要の場合は複数アプリ間配分調整Ｓ２２ｄ２を終了する。Ｓ４３の詳細処理は、図５１を参照して後述する。
【0181】
Ｓ４４では、アプリ処理・データアクセス実行時間計算部１２１３は、ＷＦ内アプリ目標実行時間の調整を行う。Ｓ４４が終了すると、アプリ処理・データアクセス実行時間計算部１２１３は、Ｓ４１へ処理を戻す。Ｓ４４の詳細処理は、図５２を参照して後述する。
【0182】
【0183】
先ず、アプリ処理・データアクセス実行時間計算部１２１３は、以下の情報を取得する。アプリ・データ特性情報管理表１２１７から［アプリの種類］、［データのサイズ］、［アプリの場所］を取得する。また、計算用ＷＦ変数管理表１２２２（図１０）から［アプリの目標実行時間］を取得する。また、データ配置組合せ表１２２１（図９）から［データ配置］を取得する。
【0184】
次にＳ４１ｂでは、アプリ処理・データアクセス実行時間計算部１２１３は、アプリケーションの要求処理速度算出を実行する。アプリケーションの要求処理速度算出の詳細は、図４２を参照して後述する。
【0185】
次にＳ４１ｃでは、アプリ処理・データアクセス実行時間計算部１２１３は、コンピュートのハードウェアリソース量算出を実行する。コンピュートのハードウェアリソース量算出の詳細は、図４３を参照して後述する。
【0186】
次にＳ４１ｄでは、アプリ処理・データアクセス実行時間計算部１２１３は、ストレージの必要性能算出を実行する。ストレージの必要性能算出の詳細は、図４４を参照して後述する。
【0187】
次にＳ４１ｅでは、アプリ処理・データアクセス実行時間計算部１２１３は、ストレージ・ネットワークのハードウェアリソース量算出を実行する。ストレージ・ネットワークのハードウェアリソース量算出の詳細は、図４５を参照して後述する。
【0188】
次にＳ４１ｆでは、アプリ処理・データアクセス実行時間計算部１２１３は、計算用ＷＦ変数管理表１２２２に、Ｓ４１ｂ～Ｓ４１ｅで取得した各リソース消費量を登録する。
【0189】
【0190】
先ずＳ４１ｂ１では、アプリ処理・データアクセス実行時間計算部１２１３は、アプリ・データ特性情報管理表（図５）を参照し、データサイズ（ｂｙｔｅ）＝アプリからアクセスする全ファイルサイズの合計を計算する。次にＳ４１ｂ２では、アプリ処理・データアクセス実行時間計算部１２１３は、アプリ処理速度（ｂｙｔｅ／ｓｅｃ）＝データサイズ（ｂｙｔｅ）／処理時間（ｓｅｃ）を計算する。
【0191】
【0192】
先ずＳ４１ｃ１では、アプリ処理・データアクセス実行時間計算部１２１３は、リソースモデル管理表１２１８（図６）を参照し、アプリ・計算リソースモデルに分類されるモデルに対して、［アプリ処理速度］及び［アプリ種別］を入力する。次にＳ４１ｃ２では、アプリ処理・データアクセス実行時間計算部１２１３は、Ｓ４１ｃ１の入力に対して、［ＣＰＵ(ｃｏｒｅｓ)]（ＣＰＵコア数）、［メモリ（ＧＢ）］（メモリ容量）、［拠点内コンピュートＮＷ帯域（ＭＢ／ｓ）］をリソース消費量として得る。
【0193】
【0194】
先ずＳ４１ｄ１では、アプリ処理・データアクセス実行時間計算部１２１３は、リソースモデル管理表１２１８（図６）を参照し、アプリ・データアクセス特性モデルに分類されるモデルに対して、［アプリ処理速度］及び［アプリ種別］を入力する。次にＳ４１ｄ２では、アプリ処理・データアクセス実行時間計算部１２１３は、Ｓ４１ｄ１の入力に対して、Sequential Read、Sequential Write、Random Read/Writeの各［ストレージＩＯ性能（ＩＯＰＳ，ＭＢ／ｓ）］を取得する。
【0195】
【0196】
先ずＳ４１ｅ１では、アプリ処理・データアクセス実行時間計算部１２１３は、リソースモデル管理表１２１８（図６）を参照し、ストレージ性能モデルに分類されるモデルに対して、［（ストレージ）ＩＯ性能］（Ｓ４１ｄ１で取得）、配置パターンの［アプリ（スタブデータ）］、及び［データ（オリジナルデータ）］を入力する。次にＳ４１ｅ２では、アプリ処理・データアクセス実行時間計算部１２１３は、Ｓ４１e１の入力に対して、拠点内コンピュート－ストレージ間ネットワーク帯域［ＭＢ／ｓ］、拠点間ストレージ－ネットワーク帯域［ＭＢ／ｓ］、ストレージノード数をリソース消費量として得る。
【0197】
【0198】
先ずＳ４２ａでは、アプリ処理・データアクセス実行時間計算部１２１３は、拠点内（クラスタ内）のコンピュート消費量計算を実行する。拠点内（クラスタ内）のコンピュート消費量計算の詳細は、図４７を参照して後述する。
【0199】
次にＳ４２ｂでは、アプリ処理・データアクセス実行時間計算部１２１３は、拠点内（クラスタ内）のストレージ消費量計算を実行する。拠点内（クラスタ内）のストレージ消費量計算の詳細は、図４８を参照して後述する。
【0200】
次にＳ４２ｃでは、アプリ処理・データアクセス実行時間計算部１２１３は、拠点間のストレージ・ネットワーク消費量計算を実行する。アプリが自拠点内のスタブファイルへアクセス要求すると、データ仮想化機能部２２３は、他拠点にあるスタブファイルのオリジナルファイルから、アクセス元のスタブファイルの拠点へ、キャッシュを自動転送する。拠点間のストレージ・ネットワーク消費量計算では、このキャッシュ転送で発生する拠点間のストレージ・ネットワーク消費量を計算する。拠点間のストレージ・ネットワーク消費量計算の詳細は、図５０を参照して後述する。
【0201】
【0202】
先ずＳ４２ａ１では、アプリ処理・データアクセス実行時間計算部１２１３は、計算用ＷＦ変数管理表１２２２（図１０）から、ワークフロー実行開始時刻とワークフロー実行終了時刻を取得する。
【0203】
次に、アプリ処理・データアクセス実行時間計算部１２１３は、Ｓ４２ａ２～Ｓ４２ａ７のループ処理を、全拠点Ｓｙ（ｙ＝１～ｍ）に関して実行する。
【0204】
Ｓ４２ａ２では、アプリ処理・データアクセス実行時間計算部１２１３は、稼働情報管理表１２２０（図８）から、既存ワークロードのＣＰＵ利用量、メモリ利用量、及びＮＷ利用量を取得する。次にＳ４２ａ３では、アプリ処理・データアクセス実行時間計算部１２１３は、ワークフローの実行開始時刻～実行終了時刻において、拠点Ｓｙのコンピュート消費量＝既存ワークロードのコンピュート消費量（ＣＰＵ利用量、メモリ利用量、及びＮＷ利用量）とする。
【0205】
次に、アプリ処理・データアクセス実行時間計算部１２１３は、Ｓ４２ａ４～Ｓ４２ａ５のループ処理を、全拠点Ｓｙで実行されるＷＦ内の全アプリＡｋ（ｋ＝１～ａ）に関して実行する。
【0206】
Ｓ４２ａ４では、アプリ処理・データアクセス実行時間計算部１２１３は、計算用ＷＦ変数管理表１２２２から、アプリＡｋの実行開始時刻と実行終了時刻を取得する。次にＳ４２ａ５では、アプリ処理・データアクセス実行時間計算部１２１３は、アプリＡｋの実行開始時刻～実行終了時刻において、拠点Ｓｙのコンピュート消費量＝拠点Ｓｙのコンピュート消費量＋アプリＡｋのコンピュート消費量（ＣＰＵ利用量、メモリ利用量、及びＮＷ利用量)とする。
【0207】
Ｓ４２ａ４～Ｓ４２ａ５のループ処理が終了すると、Ｓ４２ａ６では、アプリ処理・データアクセス実行時間計算部１２１３は、構成情報管理表１２１９から、拠点Ｓｙのコンピュートリソース量（ＣＰＵコア数、メモリ搭載量、及びＮＷ帯域）を取得する。
【0208】
次にＳ４２ａ７では、アプリ処理・データアクセス実行時間計算部１２１３は、拠点Ｓｙのコンピュートリソース使用率（％）＝拠点Ｓｙのコンピュート消費量／拠点Ｓｙのコンピュートリソース量を計算する。
【0209】
Ｓ４２ａ２～Ｓ４２ａ７のループ処理が終了すると、Ｓ４２ａ８では、アプリ処理・データアクセス実行時間計算部１２１３は、Ｓ４２ａ３、Ｓ４２ａ５、及びＳ４２ａ７の計算結果を、計算時刻と共に計算用インフラ情報管理表１２２４（図１２）に登録する。
【0210】
【0211】
先ずＳ４２ｂ１では、アプリ処理・データアクセス実行時間計算部１２１３は、計算用ＷＦ変数管理表１２２２（図１０）から、ワークフロー実行開始時刻とワークフロー実行終了時刻を取得する。
【0212】
次に、アプリ処理・データアクセス実行時間計算部１２１３は、Ｓ４２ｂ２～Ｓ４２ｂ４のループ処理を、全拠点Ｓｙ（ｙ＝１～ｍ）に関して実行する。
【0213】
Ｓ４２ｂ２では、アプリ処理・データアクセス実行時間計算部１２１３は、稼働情報管理表１２２０（図８）から、既存ワークロードのストレージ消費量（ＩＯ量、拠点内コンピュート・ストレージ間ネットワーク利用量）を取得する。
【0214】
次にＳ４２ｂ３では、アプリ処理・データアクセス実行時間計算部１２１３は、消費ＩＯ量及びストレージノード数換算処理を実行する。消費ＩＯ量及びストレージノード数換算処理の詳細は、図４９を参照して後述する。
【0215】
次にＳ４２ｂ４では、アプリ処理・データアクセス実行時間計算部１２１３は、ワークフローの実行開始時刻～実行終了時刻において、拠点Ｓｙのストレージ消費量＝既存ワークロードのストレージ消費量（ＩＯ用ストレージノード数、ＩＯ性能利用量、拠点内コンピュート・ストレージ間ネットワーク利用量）とする。
【0216】
Ｓ４２ｂ２～Ｓ４２ｂ４のループ処理が終了すると、アプリ処理・データアクセス実行時間計算部１２１３は、Ｓ４２ｂ５～Ｓ４２ｂ６のループ処理を、拠点Ｓｙで実行されるＷＦ内の全アプリＡｋ(ｋ＝１～ａ)、アプリＡｋからアクセスされるファイルＦＬｘ（ｘ=１～ｎ)に関して繰返す。
【0217】
Ｓ４２ｂ５では、アプリ処理・データアクセス実行時間計算部１２１３は、計算用ＷＦ変数管理表１２２２（図１０）から、ファイルＦＬｘの次の情報を取得する。すなわち、［アプリからの目標アクセス開始時刻］、［アプリからの目標アクセス終了時刻］、［必要ストレージノード数］、及び［必要拠点内コンピュート-ストレージ間ネットワーク帯域］を取得する。
【0218】
次にＳ４２ｂ６では、アプリ処理・データアクセス実行時間計算部１２１３は、ファイルＦＬｘの目標アクセス開始時刻～終了時刻において、拠点Ｓｙのストレージ消費量＝拠点Ｓｙのストレージ消費量＋ファイルＦＬｘのストレージ消費量を計算する。
【0219】
Ｓ４２ｂ５～Ｓ４２ｂ６のループ処理が終了すると、Ｓ４２ｂ７では、アプリ処理・データアクセス実行時間計算部１２１３は、構成情報管理表１２１９（図７）から、拠点Ｓｙのストレージリソース量（クラスタ内ノード数、及び拠点内コンピュート・ストレージ間ネットワーク帯域）を取得する。
【0220】
次にＳ４２ｂ８では、アプリ処理・データアクセス実行時間計算部１２１３は、拠点Ｓｙのストレージリソース使用率（％）＝拠点Ｓｙのストレージ消費量／拠点Ｓｙのストレージリソース量を計算する。最後にＳ４２ｂ９では、アプリ処理・データアクセス実行時間計算部１２１３は、Ｓ４２ｂ４、Ｓ４２ｂ６、及びＳ４２ｂ８の計算結果を、計算時刻と共に計算用インフラ情報管理表１２２４に登録する。
【0221】
【0222】
先ずＳ４２ｂ３ａでは、アプリ処理・データアクセス実行時間計算部１２１３は、稼働情報管理表１２２０（図８）から、拠点Ｓｙの既存ワークロードのストレージの［ＩＯ量（１クラスタ内）］を取得する。次にＳ４２ｂ３ｂでは、アプリ処理・データアクセス実行時間計算部１２１３は、構成情報管理表１２１９（図７）から、拠点Ｓｙの［１クラスタ最大ＩＯ量］を取得する。
【0223】
次にＳ４２ｂ３ｃでは、アプリ処理・データアクセス実行時間計算部１２１３は、ワークフローの実行開始時刻～実行終了時刻において、既存ワークロードのストレージ消費量（ＩＯ用ストレージノード数）＝（［既存ワークロードのストレージＩＯ量］／［１クラスタ最大ＩＯ量］）×［クラスタ内ノード数］とする。
【0224】
【0225】
先ずＳ４２ｃ１では、アプリ処理・データアクセス実行時間計算部１２１３は、計算用ＷＦ変数管理表１２２２（図１０）から、ワークフローの実行開始時刻とワークフロー実行終了時刻を取得する。
【0226】
次に、アプリ処理・データアクセス実行時間計算部１２１３は、Ｓ４２ｃ２～Ｓ４２ｃ８のループ処理を、全拠点Ｓｙのうちの全ての２つの拠点間のネットワークＮｚ（ｚ＝１～ｂ）に関して繰返し実行する。
【0227】
Ｓ４２ｃ２では、アプリ処理・データアクセス実行時間計算部１２１３は、稼働情報管理表１２２０（図８）から、既存ワークロードの［拠点間ネットワーク利用量］を取得する。次にＳ４２ｃ３では、アプリ処理・データアクセス実行時間計算部１２１３は、ワークフローの実行開始時刻～ワークフロー実行終了時刻において、ネットワークＮｚの［拠点間ストレージ用ネットワーク利用量］＝既存ワークロードの拠点間ネットワーク利用量とする。
【0228】
次に、アプリ処理・データアクセス実行時間計算部１２１３は、Ｓ４２ｃ４～Ｓ４２ｃ６のループ処理を、拠点Ｓｙで実行されるＷＦ内の全アプリＡｋ（ｋ＝１～ａ)、及び、アプリＡｋからアクセスされるファイルＦＬｘ（ｘ=１～ｎ）に関して実行する。
【0229】
Ｓ４２ｃ４では、アプリ処理・データアクセス実行時間計算部１２１３は、アプリＡｋが拠点Ｓｙで実行され、ファイルＦＬｘが拠点Ｓｙに配置されているか否かを判定する。アプリ処理・データアクセス実行時間計算部１２１３は、アプリＡｋが拠点Ｓｙで実行され、ファイルＦＬｘが拠点Ｓｙに配置されている場合（Ｓ４２ｃ４ＹＥＳ）にＳ４２ｃ５へ処理を移す。一方、アプリＡｋが拠点Ｓｙで実行されたがファイルＦＬｘが拠点Ｓｙに配置されていない場合（Ｓ４２ｃ４ＮＯ）に、次のファイルＦＬｘもしくはアプリＡｋについてループ処理を継続する、又は、全てのファイルＦＬｘ及びアプリＡｋについてループ処理が終了した場合にＳ４２ｃ７へ処理を移す。
【0230】
Ｓ４２ｃ５では、アプリ処理・データアクセス実行時間計算部１２１３は、計算用ＷＦ変数管理表１２２２（図１０）から、ファイルＦＬｘの次の情報を取得する。すなわち、［アプリからの目標アクセス開始時刻］、［アプリからの目標アクセス終了時刻］、及び［必要拠点間ストレージ用ネットワーク帯域］を取得する。
【0231】
Ｓ４２ｃ６では、アプリ処理・データアクセス実行時間計算部１２１３は、ファイルＦＬｘの目標アクセス開始時刻～終了時刻において、ネットワークＮｚの［拠点間ストレージ用ネットワーク利用量］＝ネットワークＮｚの［拠点間ストレージ用ネットワーク利用量］＋ファイルＦＬｘの［必要拠点間ストレージ用ネットワーク帯域］を計算する。
【0232】
Ｓ４２ｃ４～Ｓ４２ｃ６のループ処理が終了すると、Ｓ４２ｃ７では、アプリ処理・データアクセス実行時間計算部１２１３は、構成情報管理表１２１９（図７）から、ネットワークＮｚの［拠点間ネットワーク帯域］を取得する。
【0233】
次にＳ４２ｃ８では、アプリ処理・データアクセス実行時間計算部１２１３は、ネットワークＮｚのリソース使用率(％)=ネットワークＮｚの利用量／ネットワークＮｚの拠点間ネットワーク帯域を計算する。
【0234】
Ｓ４２ｃ２～Ｓ４２ｃ８のループ処理が終了すると、Ｓ４２ｃ９では、アプリ処理・データアクセス実行時間計算部１２１３は、Ｓ４２ｃ３、Ｓ４２ｃ６、及び、Ｓ４２ｃ８の計算結果を、計算時刻と共に計算用インフラ情報管理表１２２４（図１２）に登録する。
【0235】
【0236】
先ず、アプリ処理・データアクセス実行時間計算部１２１３は、Ｓ４３ａ～Ｓ４３ｂのループ処理を、全拠点Ｓｙ（ｙ=１～ｎ)及びワークフローの実行開始時刻Ｔｓ～実行終了時刻Ｔｅの全ての時刻Ｔｘについて実行する。時刻Ｔｘは、単位時間（例えば１秒）の時刻である。
【0237】
Ｓ４３ａでは、アプリ処理・データアクセス実行時間計算部１２１３は、時刻Ｔｘのリソース使用率＞最大リソース使用率であるか否かを判定する。ただし、拠点内（クラスタ内）のコンピュート消費量、拠点内（クラスタ内）のストレージ消費量、及び拠点間のストレージ・ネットワーク消費量について、拠点Ｓｙの全てのリソースについて比較する。アプリ処理・データアクセス実行時間計算部１２１３は、時刻Ｔｘのリソース使用率＞最大リソース使用率となるリソースがある場合（Ｓ４３ａＹＥＳ）にＳ４３ｂへ処理を移す。一方、アプリ処理・データアクセス実行時間計算部１２１３は、全てのリソースについて時刻Ｔｘのリソース使用率≦最大リソース使用率である場合（Ｓ４３ａＮＯ）に、次の拠点Ｓｙ又は時刻Ｔｘについてループ処理を継続する、又は全ての拠点Ｓｙ及び時刻Ｔｘについてループ処理が終了した場合にＳ４３ｃへ処理を移す。
【0238】
Ｓ４３ｂでは、アプリ処理・データアクセス実行時間計算部１２１３は、最大リソース使用率＝時刻Ｔｘのリソース使用率とする。
【0239】
Ｓ４３ａ～Ｓ４３ｂのループ処理が終了すると、Ｓ４３ｃでは、アプリ処理・データアクセス実行時間計算部１２１３は、最大リソース使用率が１００％を超えているか否かを判定する。アプリ処理・データアクセス実行時間計算部１２１３は、最大リソース使用率が１００％を超えている場合（Ｓ４３ｃＹＥＳ）にＳ４３ｄへ処理を移し、最大リソース使用率が１００％以下の場合（Ｓ４３ｃＮＯ）にアプリ時間調整必要性確認Ｓ４３を終了する。
【0240】
Ｓ４３ｄでは、アプリ処理・データアクセス実行時間計算部１２１３は、アプリの時間調整が必要であるとする。
【0241】
（ＷＦ内アプリ目標実行時間調整Ｓ４４（図４０）の詳細処理）
図５２は、ＷＦ内アプリ目標実行時間調整Ｓ４４の詳細処理例を示すフローチャートである。ＷＦ内アプリ目標実行時間調整Ｓ４４では、リソース使用率が高い（１００％を超える）アプリの実行時間を延ばし、その分をリソース使用率が低い（１００％未満）アプリの実行時間を短くする。具体的には、リソース使用率が最大のアプリをリソース使用率１００％以下で実行した場合の実行可能時間を計算し、この実行可能時間をリソース使用率が最小のアプリの実行可能時間に加算する。同様に、リソース使用率がｉ番目に大きいアプリをリソース使用率１００％以下で実行した場合の実行可能時間を計算し、この実行可能時間をリソース使用率がｉ番目に小さいアプリの実行可能時間に加算する処理を、リソース使用率が１００％を超える全てのアプリについて実行する。なお、実行可能時間は、リソース使用率が最も高いリソースのリソースモデルに基づいて計算する。
図５２は、ＷＦ内アプリ目標実行時間調整Ｓ４４の詳細処理例を示すフローチャートである。ＷＦ内アプリ目標実行時間調整Ｓ４４では、リソース使用率が高い（１００％を超える）アプリの実行時間を延ばし、その分をリソース使用率が低い（１００％未満）アプリの実行時間を短くする。具体的には、リソース使用率が最大のアプリをリソース使用率１００％以下で実行した場合の実行可能時間を計算し、この実行可能時間をリソース使用率が最小のアプリの実行可能時間に加算する。同様に、リソース使用率がｉ番目に大きいアプリをリソース使用率１００％以下で実行した場合の実行可能時間を計算し、この実行可能時間をリソース使用率がｉ番目に小さいアプリの実行可能時間に加算する処理を、リソース使用率が１００％を超える全てのアプリについて実行する。なお、実行可能時間は、リソース使用率が最も高いリソースのリソースモデルに基づいて計算する。
【0242】
先ずＳ４４ａでは、アプリ処理・データアクセス実行時間計算部１２１３は、リソース使用率が１００％を超えるアプリをリソース使用率が高い順に並べ替える。リソース使用率が高い順に並べ替えたアプリをＶｘ（ｘ＝1～ｐ）とする。
【0243】
次にＳ４４ｂでは、アプリ処理・データアクセス実行時間計算部１２１３は、リソース使用率が１００％を下回るアプリをリソース使用率が低い順に並べ替える。リソース使用率が低い順に並べ替えたアプリをＵｘ（ｘ＝1～ｑ）とする。
【0244】
次に、アプリ処理・データアクセス実行時間計算部１２１３は、Ｓ４４ｃ～Ｓ４４ｆのループ処理を、リソース使用率が１００％を超えるアプリＶｘ（ｘ＝１～ｐ）について実行する。
【0245】
Ｓ４４ｃでは、アプリ処理・データアクセス実行時間計算部１２１３は、リソース使用率が最も高いリソースについて、該当リソースのリソースモデルを使用してアプリＶｘの「実行可能速度」を、リソースの種類によって、以下の（Ａ）～（Ｃ）のように計算する。
【0246】
（Ａ）リソースが拠点内（クラスタ内）のコンピュートの場合：
・構成情報管理表１２１９（図７）から、該当拠点のコンピュートリソース量（ＣＰＵコア数、メモリ容量、及びクラスタ内ネットワーク帯域）を取得する。
・稼働情報管理表１２２０（図８）から、既存ワークロードのコンピュート消費量（ＣＰＵ利用量、メモリ利用量、及びクラスタ内ネットワーク利用量）を取得する。
・空きコンピュートリソース量＝拠点内のコンピュートリソース量－既存ワークロードのコンピュート消費量を計算する。
・空きコンピュートリソース量（コンピュートのリソース量（ＣＰＵ［ｃｏｒｅ］、メモリ［ｂｙｔｅ］、及び拠点内コンピュートネットワーク帯域［ｂｙｔｅ／ｓｅｃ］））を入力として、「アプリ・計算リソースモデル」の各モデル（リソースモデル管理表１２１８（図６）参照）から、実行可能なアプリ処理速度（「実行可能速度」）（ｂｙｔｅ／ｓｅｃ）を算出する。
・構成情報管理表１２１９（図７）から、該当拠点のコンピュートリソース量（ＣＰＵコア数、メモリ容量、及びクラスタ内ネットワーク帯域）を取得する。
・稼働情報管理表１２２０（図８）から、既存ワークロードのコンピュート消費量（ＣＰＵ利用量、メモリ利用量、及びクラスタ内ネットワーク利用量）を取得する。
・空きコンピュートリソース量＝拠点内のコンピュートリソース量－既存ワークロードのコンピュート消費量を計算する。
・空きコンピュートリソース量（コンピュートのリソース量（ＣＰＵ［ｃｏｒｅ］、メモリ［ｂｙｔｅ］、及び拠点内コンピュートネットワーク帯域［ｂｙｔｅ／ｓｅｃ］））を入力として、「アプリ・計算リソースモデル」の各モデル（リソースモデル管理表１２１８（図６）参照）から、実行可能なアプリ処理速度（「実行可能速度」）（ｂｙｔｅ／ｓｅｃ）を算出する。
【0247】
（Ｂ）リソースが拠点内（クラスタ内）のストレージの場合：
・構成情報管理表１２１９（図７）から、該当拠点のストレージリソース量（クラスタ内ノード数、拠点内コンピュート・ストレージ間ネットワーク帯域）を取得する。
・稼働情報管理表１２２０（図８）から、既存ワークロードのストレージ消費量（ＩＯ量、拠点内コンピュート・ストレージ間ネットワーク利用量）を取得する。
・空きストレージリソース量＝拠点内のストレージリソース量－既存ワークロードのストレージ消費量を算出する。
・空きストレージリソース量（ストレージリソース量（ストレージノード数、拠点内コンピュート-ストレージ間ネットワーク帯域（ｂｙｔｅ／ｓｅｃ）））を入力として、「ストレージ性能モデル」の各モデル（リソースモデル管理表１２１８（図６参照））から、実現可能なストレージＩＯ性能(ｂｙｔｅ／ｓｅｃ，ＩＯＰＳ)を算出する。
・実現可能なストレージＩＯ性能を入力として、「アプリ・データアクセス特性モデル」の各モデル（リソースモデル管理表１２１８（図６）参照）から、実行可能なアプリ処理速度（「実行可能速度」）（ｂｙｔｅ／ｓｅｃ）を算出する。
・構成情報管理表１２１９（図７）から、該当拠点のストレージリソース量（クラスタ内ノード数、拠点内コンピュート・ストレージ間ネットワーク帯域）を取得する。
・稼働情報管理表１２２０（図８）から、既存ワークロードのストレージ消費量（ＩＯ量、拠点内コンピュート・ストレージ間ネットワーク利用量）を取得する。
・空きストレージリソース量＝拠点内のストレージリソース量－既存ワークロードのストレージ消費量を算出する。
・空きストレージリソース量（ストレージリソース量（ストレージノード数、拠点内コンピュート-ストレージ間ネットワーク帯域（ｂｙｔｅ／ｓｅｃ）））を入力として、「ストレージ性能モデル」の各モデル（リソースモデル管理表１２１８（図６参照））から、実現可能なストレージＩＯ性能(ｂｙｔｅ／ｓｅｃ，ＩＯＰＳ)を算出する。
・実現可能なストレージＩＯ性能を入力として、「アプリ・データアクセス特性モデル」の各モデル（リソースモデル管理表１２１８（図６）参照）から、実行可能なアプリ処理速度（「実行可能速度」）（ｂｙｔｅ／ｓｅｃ）を算出する。
【0248】
（Ｃ）リソースが拠点間のストレージ・ネットワークの場合：
・構成情報管理表１２１９（図７）から、対象ネットワークの［拠点間ネットワーク帯域］を取得する。
・稼働情報管理表１２２０（図８）から、既存ワークロードの［拠点間ネットワーク利用量］を取得する。
・空きネットワークリソース量＝対象ネットワークの［拠点間ネットワーク帯域］－既存ワークロードの［拠点間ネットワーク利用量］を計算する。
・空きネットワークリソース量（拠点間ネットワーク帯域（ｂｙｔｅ／ｓｅｃ））を入力として、「ストレージ性能モデル」の各モデル（リソースモデル管理表１２１８（図６）参照）から、実現可能なストレージＩＯ性能を算出する。
・実現可能なストレージＩＯ性能から、実現可能なストレージ性能（ｂｙｔｅ／ｓｅｃ，ＩＯＰＳ）を入力として、実行可能なアプリ処理速度（「実行可能速度」）（ｂｙｔｅ／ｓｅｃ）を算出する。
・構成情報管理表１２１９（図７）から、対象ネットワークの［拠点間ネットワーク帯域］を取得する。
・稼働情報管理表１２２０（図８）から、既存ワークロードの［拠点間ネットワーク利用量］を取得する。
・空きネットワークリソース量＝対象ネットワークの［拠点間ネットワーク帯域］－既存ワークロードの［拠点間ネットワーク利用量］を計算する。
・空きネットワークリソース量（拠点間ネットワーク帯域（ｂｙｔｅ／ｓｅｃ））を入力として、「ストレージ性能モデル」の各モデル（リソースモデル管理表１２１８（図６）参照）から、実現可能なストレージＩＯ性能を算出する。
・実現可能なストレージＩＯ性能から、実現可能なストレージ性能（ｂｙｔｅ／ｓｅｃ，ＩＯＰＳ）を入力として、実行可能なアプリ処理速度（「実行可能速度」）（ｂｙｔｅ／ｓｅｃ）を算出する。
【0249】
次にＳ４４ｄでは、アプリ処理・データアクセス実行時間計算部１２１３は、Ｓ４４ｃで計算したアプリＶｘの実行可能速度を基に、下記式（２）を用いて、アプリＶｘの実行可能時間を計算する。
実行可能時間（ｓｅｃ）＝データサイズ（ｂｙｔｅ）／実行可能速度（ｂｙｔｅ／ｓｅｃ）・・・（２）
ただし、データサイズ（ｂｙｔｅ）は、アプリＶｘがアクセスするファイルのデータサイズの合計である。
実行可能時間（ｓｅｃ）＝データサイズ（ｂｙｔｅ）／実行可能速度（ｂｙｔｅ／ｓｅｃ）・・・（２）
ただし、データサイズ（ｂｙｔｅ）は、アプリＶｘがアクセスするファイルのデータサイズの合計である。
【0250】
次にＳ４４ｅでは、アプリ処理・データアクセス実行時間計算部１２１３は、アプリＶｘの変更後の新実行可能時間を、Ｓ４４ｅで計算された実行可能時間として設定する（新実行可能時間＝実行可能時間）。次にＳ４４ｆでは、アプリ処理・データアクセス実行時間計算部１２１３は、アプリＶｘの変更前の旧実行可能時間と、新実行可能時間との差分を、アプリＵｘの実行可能時間に加算する。
【0251】
このように、ワークフロー内でアプリの実行時間を最小単位として、各アプリの実行開始時刻を調節することで、例えば分単位でアプリの実行開始時刻をずらして計算する場合に比べ計算量を抑制できる。
【0252】
（複数ワークフロー間配分調整Ｓ２２ｄ３（図２７）の処理概要）
複数ワークフロー間配分調整Ｓ２２ｄ３の詳細処理の説明に先立ち、処理概要を説明する。図５３は、複数ワークフロー間配分調整Ｓ２２ｄ３の処理概要を説明するための図である。
複数ワークフロー間配分調整Ｓ２２ｄ３の詳細処理の説明に先立ち、処理概要を説明する。図５３は、複数ワークフロー間配分調整Ｓ２２ｄ３の処理概要を説明するための図である。
【0253】
複数ワークフロー間配分調整Ｓ２２ｄ３では、リソース使用率を下げるために、ワークフロー同士の並列実行を減らし、実行開始時刻を後ろにずらす（時間を短くする）。図５３に示すように、複数ワークフローＸ２＃１内では、実行開始初期においてワークフローＸ３＃１～＃３が並列実行されており、リソース使用率が１００％を超過している。そこで、ワークフローＸ３＃３の実行開始時刻を後ろへ遅らせて実行時間を短縮する。このとき、複数ワークフローＸ２＃１全体の実行時間は不変とする。すると、ワークフローＸ３＃３の実行時のリソース使用率は上昇するものの１００％未満であり、かつ複数ワークフローＸ２＃１の実行開始初期でのリソース使用率が１００％を超過する状態が解消されている。
【0254】
（複数ワークフロー間配分調整Ｓ２２ｄ３の詳細処理）
図５４は、複数ワークフロー間配分調整Ｓ２２ｄ３（図２７、Ｓ６２（図５９）も同様）の詳細処理例を示すフローチャートである。複数ワークフロー間配分調整Ｓ２２ｄ３では、複数のワークフロー全体の実行時間の配分は不変として、個別のワークフローの開始時刻を後ろに遅らせる（ワークフローの実行時間を短くする）ことで、ワークフロー同士の並列を減らす。ワークフローの開始時刻の変更を受け、ワークフロー内のアプリの実行時間及びデータのアクセス時間を調整することで、リソース使用率が１００％を超えないようにする。
図５４は、複数ワークフロー間配分調整Ｓ２２ｄ３（図２７、Ｓ６２（図５９）も同様）の詳細処理例を示すフローチャートである。複数ワークフロー間配分調整Ｓ２２ｄ３では、複数のワークフロー全体の実行時間の配分は不変として、個別のワークフローの開始時刻を後ろに遅らせる（ワークフローの実行時間を短くする）ことで、ワークフロー同士の並列を減らす。ワークフローの開始時刻の変更を受け、ワークフロー内のアプリの実行時間及びデータのアクセス時間を調整することで、リソース使用率が１００％を超えないようにする。
【0255】
複数ワークフロー間配分調整Ｓ２２ｄ３では、複数のワークフローが実行期限内に終わる配置パターンの中で、最も平均リソース使用率が低くなるワークフローの実行開始時間の組合せを選択することで、複数のワークフローの実行期間中の各リソース使用率を平準化している。実行開始時刻を遅らせるワークフローの中で、最もリソース使用率が低くなる時刻が発見されると、そのワークフローの実行開始時刻は決定したとする。次のワークフローの実行開始時刻を遅らせるとき、実行開始時刻を決定済みのワークフローは実行開始時刻を動かさない。
【0256】
先ずアプリ処理・データアクセス実行時間計算部１２１３は、Ｓ５１～Ｓ５６のループ処理を、実行時間が長い順のワークフローＷｘ（ｘ=１～ｗ）について繰り返す。
【0257】
Ｓ５１では、アプリ処理・データアクセス実行時間計算部１２１３は、複数ＷＦリソース消費量計算を実行する。複数ＷＦリソース消費量計算の詳細は、図５５を参照して後述する。
【0258】
次にＳ５２では、アプリ処理・データアクセス実行時間計算部１２１３は、ワークフローＷｘ内のアクセス対象ファイルのうち、アクセス時間が最も短いファイルのアクセス時間を単位として、ワークフローＷｘの実行開始時刻を後ろに遅らせる。
【0259】
次にＳ５３では、アプリ処理・データアクセス実行時間計算部１２１３は、ワークフローＷｘの実行開始時刻を遅らせた分だけ、ワークフローＷｘの実行時間を短縮する。次にＳ５４では、アプリ処理・データアクセス実行時間計算部１２１３は、ワークフローＷｘの実行時間≦０か否かを判定する。アプリ処理・データアクセス実行時間計算部１２１３は、ワークフローＷｘの実行時間≦０である場合（Ｓ５４ＹＥＳ）にＳ５５へ処理を移し、ワークフローＷｘの実行時間＞０である場合（Ｓ５４ＮＯ）にＳ５６へ処理を移す。
【0260】
Ｓ５５では、アプリ処理・データアクセス実行時間計算部１２１３は、下記式（３）で表される各拠点の平均リソース使用率が最も短くなる時刻を、ワークフローＷｘの実行開始時刻として選択する。
平均リソース使用率＝Σリソース使用率／（リソース種別数×拠点数)・・・（３）
ただし、Σリソース使用率は、全拠点における全リソース種別のリソース使用率の和である。
平均リソース使用率＝Σリソース使用率／（リソース種別数×拠点数)・・・（３）
ただし、Σリソース使用率は、全拠点における全リソース種別のリソース使用率の和である。
【0261】
一方Ｓ５６では、アプリ処理・データアクセス実行時間計算部１２１３は、複数アプリ間配分調整（図４０）を実行する。Ｓ５６が終了すると、アプリ処理・データアクセス実行時間計算部１２１３は、Ｓ５１へ処理を移す。
【0262】
Ｓ５１～Ｓ５６のループ処理が終了すると、Ｓ５７では、アプリ処理・データアクセス実行時間計算部１２１３は、全てのワークフローの実行開始時刻の組合せにおいて、全ワークフロー合計リソース使用率＞１００％か否かを判定する。全ワークフロー合計リソース使用率は、下記式（４）で表される。
全ワークフロー合計リソース使用率＝Σリソース使用量／全リソース量・・・（４）
ただし、Σは、該当拠点における全てのワークフローＷｘ（ｘ＝１～ｗ）の該当リソース種別のリソース使用量の和であり、全リソース量は該当拠点の全てのリソース量である。
全ワークフロー合計リソース使用率＝Σリソース使用量／全リソース量・・・（４）
ただし、Σは、該当拠点における全てのワークフローＷｘ（ｘ＝１～ｗ）の該当リソース種別のリソース使用量の和であり、全リソース量は該当拠点の全てのリソース量である。
【0263】
アプリ処理・データアクセス実行時間計算部１２１３は、全ワークフロー合計リソース使用率＞１００％である場合（Ｓ５７ＹＥＳ）にＳ５８へ処理を移し、全ワークフロー合計リソース使用率≦１００％である場合（Ｓ５７ＮＯ）に複数ワークフロー間配分調整Ｓ２２ｄ３を終了する。
【0264】
Ｓ５８では、アプリ処理・データアクセス実行時間計算部１２１３は、該当のデータ配置では、指定された実行時間内に全ＷＦを完了できない旨の通知を出力する。
【0265】
このように、ワークフロー内でリソース消費量を変えることができるファイルアクセスの実行時間を最小単位として、各ワークフローの実行開始時刻を調節することで、例えば分単位でワークフローの実行開始時刻をずらして計算する場合に比べ計算量を抑制できる。
【0266】
（複数ＷＦリソース消費量計算Ｓ５１（図５４）の詳細処理）
図５５は、複数ＷＦリソース消費量計算Ｓ５１の詳細処理例を示すフローチャートである。複数ＷＦリソース消費量計算Ｓ５１では、各ワークフローの実行開始時刻と実行終了時刻に沿って、リソース消費量を算出する。初回計算時は、全ワークフローを同時に並列実行する前提で算出する。
図５５は、複数ＷＦリソース消費量計算Ｓ５１の詳細処理例を示すフローチャートである。複数ＷＦリソース消費量計算Ｓ５１では、各ワークフローの実行開始時刻と実行終了時刻に沿って、リソース消費量を算出する。初回計算時は、全ワークフローを同時に並列実行する前提で算出する。
【0267】
先ずＳ５１ａでは、アプリ処理・データアクセス実行時間計算部１２１３は、複数ＷＦコンピュート／ストレージ消費量計算を実行する。複数ＷＦコンピュート／ストレージ消費量計算の詳細は、図５６を参照して後述する。
【0268】
次にＳ５１ｂでは、アプリ処理・データアクセス実行時間計算部１２１３は、複数ＷＦストレージ・ネットワーク消費量計算を実行する。複数ＷＦストレージ・ネットワーク消費量計算の詳細は、図５７を参照して後述する。
【0269】
【0270】
先ず、アプリ処理・データアクセス実行時間計算部１２１３は、Ｓ５１ａ１～Ｓ５１ａ５のループ処理を、全拠点Ｓｙ（ｙ＝１～ｎ）に関して繰返す。
【0271】
Ｓ５１ａ１では、アプリ処理・データアクセス実行時間計算部１２１３は、計算用インフラ情報管理表１２２４（図１２）から、既存ワークロードの次の情報を取得する。すなわち、コンピュート消費量（ＣＰＵ利用量、メモリ利用量、及びＮＷ利用量）、ストレージ消費量（ＩＯ用ストレージノード数、ＩＯ性能利用量、及び拠点内コンピュート・ストレージ間ネットワーク利用量）を取得する。
【0272】
次にＳ５１ａ２では、アプリ処理・データアクセス実行時間計算部１２１３は、ワークフローの実行開始時刻～実行終了時刻において次のようにする。すなわち、拠点Ｓｙのコンピュート消費量＝既存ワークロードのコンピュート消費量、拠点Ｓｙのストレージ消費量＝既存ワークロードのストレージ消費量とする。
【0273】
次にアプリ処理・データアクセス実行時間計算部１２１３は、Ｓ５１ａ３～Ｓ５１ａ５のループ処理を、全ワークフローＷｘ（ｘ＝１～ｗ）に関して繰返す。
【0274】
Ｓ５１ａ３では、アプリ処理・データアクセス実行時間計算部１２１３は、計算用ＷＦ変数管理表１２２２（図１０）からワークフローＷｘの開始時刻と終了時刻の情報を取得する。次にＳ５１ａ４では、アプリ処理・データアクセス実行時間計算部１２１３は、計算用インフラ情報管理表１２２４（図１２）からワークフローＷｘの次の情報を取得する。すなわち、コンピュート消費量（ＣＰＵ利用量、メモリ利用量、及びＮＷ利用量）、ストレージ消費量（ＩＯ用ストレージノード数、ＩＯ性能利用量、及び拠点内コンピュート・ストレージ間ネットワーク利用量）を取得する。
【0275】
次にＳ５１ａ５では、アプリ処理・データアクセス実行時間計算部１２１３は、ワークフローＷｘの実行開始時刻～実行終了時刻において、拠点Ｓｙのコンピュート消費量＝拠点ｓｙのコンピュート消費量＋ワークフローＷｘのコンピュート消費量、拠点Ｓｙのストレージ消費量＝拠点Ｓｙのストレージ消費量＋ワークフローＷｘのストレージ消費量とする。
【0276】
【0277】
先ず、アプリ処理・データアクセス実行時間計算部１２１３は、Ｓ５１ｂ１～Ｓ５１ｂ５のループ処理を、全拠点Ｓｙ（ｙ＝１～ｎ）のうちの全ての２拠点間のネットワークＮｚ（ｚ＝１～ｂ）に関して繰返す。
【0278】
Ｓ５１ｂ１では、アプリ処理・データアクセス実行時間計算部１２１３は、計算用インフラ情報管理表１２２４（図１２）から、現在の処理対象の２拠点間の既存ワークロードの［拠点間ネットワーク利用量］を取得する。
【0279】
次にＳ５１ｂ２では、アプリ処理・データアクセス実行時間計算部１２１３は、ワークフローの実行開始時刻～実行終了時刻において、ネットワークＮｚの利用量＝既存ワークロードの拠点間ネットワーク利用量とする。
【0280】
次に、アプリ処理・データアクセス実行時間計算部１２１３は、Ｓ５１ｂ３～Ｓ５１ｂ５のループ処理を、全ワークフローＷｘ（ｘ＝１～ｗ）に関して繰返す。
【0281】
Ｓ５１ｂ３では、アプリ処理・データアクセス実行時間計算部１２１３は、計算用ＷＦ変数管理表１２２２（図１０）からワークフローＷｘのワークフロー開始時刻とワークフロー終了時刻を取得する。次にＳ５１ｂ４では、アプリ処理・データアクセス実行時間計算部１２１３は、計算用インフラ情報管理表１２２４（図１２）からワークフローＷｘの拠点間ストレージ用ネットワーク利用量を取得する。
【0282】
次にＳ５１ｂ５では、アプリ処理・データアクセス実行時間計算部１２１３は、ワークフローＷｘの実行開始時刻～実行終了時刻において、ネットワークＮｚの利用量＝ネットワークＮｚの利用量＋ワークフローＷｘの拠点間ストレージ用ネットワーク利用量とする。
【0283】
（データ再配置・ワークフロー配分調整Ｓ２２ｄ４（図２７）の処理概要）
データ再配置・ワークフロー配分調整Ｓ２２ｄ４の詳細処理の説明に先立ち、処理概要を説明する。図５８は、データ再配置・ワークフロー配分調整Ｓ２２ｄ４の処理概要を説明するための図である。
データ再配置・ワークフロー配分調整Ｓ２２ｄ４の詳細処理の説明に先立ち、処理概要を説明する。図５８は、データ再配置・ワークフロー配分調整Ｓ２２ｄ４の処理概要を説明するための図である。
【0284】
データ再配置・ワークフロー配分調整Ｓ２２ｄ４では、リソース使用率を下げるために、データ再配置Ｘ１の実行終了時刻を後ろに遅らせる（実行時間を長くする）。図５８に示すように、分析ワークフロー全体では、データ再配置Ｘ１の実行によってリソース使用率が１００％近くと高い状態になっている。そこで、データ再配置Ｘ１の実行終了時刻を後ろへ遅らせて実行時間を短縮し、それに合せて複数ワークフローＸ２の実行開始時刻もデータ再配置Ｘ１の実行終了時刻と同様に後ろへ遅らせる。このとき、分析ワークフロー全体の実行期限は遵守するものとする。すると、複数ワークフローＸ２の実行時のリソース使用率は上昇するものの１００％未満であり、かつデータ再配置Ｘ１の実行時のリソース使用率が１００％近くの高い状態から低下し、分析ワークフローの実行期限内でリソース使用率の平準化が図られている。
【0285】
【0286】
先ずＳ６１では、アプリ処理・データアクセス実行時間計算部１２１３は、データ再配置のリソース使用量計算を実行する。データ再配置のリソース使用量計算の詳細は、図６０を参照して後述する。次にＳ６２では、アプリ処理・データアクセス実行時間計算部１２１３は、複数ワークフロー間配分調整を実行する。複数ワークフロー間配分調整の詳細は、図５４を参照して説明している。次にＳ６３では、アプリ処理・データアクセス実行時間計算部１２１３は、データ再配置の時間調整を実行する。データ再配置の時間調整の詳細は、図６１を参照して後述する。
【0287】
次にＳ６４では、アプリ処理・データアクセス実行時間計算部１２１３は、全ワークフローの実行開始時刻の組合せにおいてＷＦ合計リソース使用率≦１００％か否かを判定する。アプリ処理・データアクセス実行時間計算部１２１３は、全ワークフローの実行開始時刻の組合せにおいて、ＷＦ合計リソース使用率≦１００％である場合（Ｓ６４ＹＥＳ）にＳ６５へ処理を移し、ＷＦ合計リソース使用率＞１００％である場合（Ｓ６４ＮＯ）にＳ６１へ処理を戻す。
【0288】
Ｓ６５では、アプリ処理・データアクセス実行時間計算部１２１３は、データ再配置・ワークフローの時間配分選択を実行する。データ再配置・ワークフローの時間配分選択の詳細は、図６２を参照して後述する。
【0289】
【0290】
先ずＳ６１ａでは、アプリ処理・データアクセス実行時間計算部１２１３は、計算用再配置変数管理表１２２３（図１１）から［データ再配置時間］、［再配置転送量］、［拠点間ネットワーク帯域］、及び［既存拠点間ネットワーク利用量］の情報を取得する。
【0291】
次にアプリ処理・データアクセス実行時間計算部１２１３は、Ｓ６２ｂ～Ｓ６１ｃのループ処理を、全ての拠点間ストレージＮＷ経路に関して繰返す。Ｓ６１ｂでは、アプリ処理・データアクセス実行時間計算部１２１３は、該当のネットワークＮｚについて、ＮＷ使用量＝［再配置転送量］／［再配置時間］を計算する。次にＳ６１ｃでは、アプリ処理・データアクセス実行時間計算部１２１３は、該当のネットワークＮｚについて、ＮＷリソース使用率＝（［ＮＷ使用量］＋［既存拠点間ネットワーク利用量]］／［拠点間ネットワーク帯域］を計算する。
【0292】
Ｓ６２ｂ～Ｓ６１ｃのループ処理が終了すると、Ｓ６１ｄでは、アプリ処理・データアクセス実行時間計算部１２１３は、拠点間ストレージＮＷ経路毎の［再配置ＮＷ使用量］（Ｓ６１ａで算出）及び［ＮＷリソース使用率］（Ｓ６１ｃで算出）を、計算用再配置変数管理表１２２３（図１１）に登録する。
【0293】
【0294】
先ずＳ６３ａでは、アプリ処理・データアクセス実行時間計算部１２１３は、次の情報を取得する。すなわち、計算用再配置変数管理表１２２３（図１１）から［データ再配置時間］、［データ再配置開始時刻］、及び［データ再配置終了時刻］を、計算用ＷＦ変数管理表１２２２（図１０）から［複数ワークフロー実行時間］、［複数ワークフロー開始時刻］、［複数ワークフロー終了時刻］、［ワークフロー実行時間］、［ワークフロー開始時刻］、［ワークフロー終了時刻］、及びデータ（ファイル）の［アプリからの目標アクセス時間］を取得する。
【0295】
次にＳ６３ｂでは、アプリ処理・データアクセス実行時間計算部１２１３は、計算用WF変数管理表１２２２（図１０）を参照し、全ワークフロー内のアクセス対象ファイルのうち、［アプリからの目標アクセス時間］が最も短いファイルのアクセス時間を選択する。次にＳ６３ｃでは、アプリ処理・データアクセス実行時間計算部１２１３は、Ｓ６３ｂで選択したファイルの最短のアクセス時間を単位としてデータ再配置の終了時刻を後ろに遅らせ、データ再配置時間を延長する。すなわち、［データ再配置時間］＝［データ再配置時間］＋［アプリからの目標アクセス時間］とした上で、［データ再配置終了時刻］＝［データ再配置開始時刻］＋［データ再配置時間］とする。
【0296】
次にＳ６３ｄでは、アプリ処理・データアクセス実行時間計算部１２１３は、全ワークフローのうちの先頭のワークフロー開始時刻をデータ再配置終了時刻に合わせ、先頭のワークフロー実行時間を短縮する。すなわち、［（先頭の）ワークフロー開始時刻］＝［データ再配置終了時刻］とした上で、［（先頭の）ワークフロー実行時間］＝［ワークフロー終了時刻］－［ワークフロー開始時刻］、［複数ワークフロー開始時刻］＝［（先頭の）ワークフロー開始時刻］、［複数ワークフロー実行時間］＝［複数ワークフロー終了時刻］－［複数ワークフロー開始時刻］とする。
【0297】
次にＳ６３ｅでは、アプリ処理・データアクセス実行時間計算部１２１３は、Ｓ６３ｃの計算結果を計算用再配置変数管理表１２２３（図１１）に登録し、Ｓ６３ｄの計算結果を計算用ＷＦ変数管理表１２２２（図１０）に登録する。
【0298】
【0299】
先ずＳ６５ａでは、アプリ処理・データアクセス実行時間計算部１２１３は、データ再配置の実行時間配分の全パターンにおいてＷＦ合計リソース使用率＞１００％か否かを判定する。アプリ処理・データアクセス実行時間計算部１２１３は、データ再配置の実行時間配分の全パターンにおいてＷＦ合計リソース使用率＞１００％である場合（Ｓ６５ａＹＥＳ）にＳ６５ｄへ処理を移し、少なくともあるデータ再配置の実行時間配分のパターンにおいてはＷＦ合計リソース使用率≦１００％である場合（Ｓ６５ａＮＯ）にＳ６５ｂへ処理を移す。
【0300】
Ｓ６５ｂでは、アプリ処理・データアクセス実行時間計算部１２１３は、下記式（５）のように全リソースの平均使用率を計算する。
全リソースの平均使用率＝Σ（Ｒ１ｊ＋ΣＲ２ｊ）／（全リソース数×２）
・・・（５）
ただし、Σは、全てのリソースｊのリソース使用率の和であり、Ｒ１ｊはデータ再配置時のリソースｊのリソース使用率、Ｒ２ｊはワークフロー実行時のリソースｊのリソース使用率である。
全リソースの平均使用率＝Σ（Ｒ１ｊ＋ΣＲ２ｊ）／（全リソース数×２）
・・・（５）
ただし、Σは、全てのリソースｊのリソース使用率の和であり、Ｒ１ｊはデータ再配置時のリソースｊのリソース使用率、Ｒ２ｊはワークフロー実行時のリソースｊのリソース使用率である。
【0301】
次にＳ６５ｃでは、アプリ処理・データアクセス実行時間計算部１２１３は、データ再配置の実行時間配分のうち、Ｓ６５ｂで計算した全リソースの平均使用率が最も低い時間配分を選択する。
【0302】
一方Ｓ６５ｄでは、アプリ処理・データアクセス実行時間計算部１２１３は、該当のデータ配置では、指定された実行時間内に全てのワークフローを完了できない旨の通知を出力する。
【0303】
【0304】
先ずＳ２６ａでは、アロケーション制御部１２１の配置変更実行部１２１４（図３）は、各テーブルから必要な情報を取得する。すなわち、計算用再配置変数管理表１２２３（図１１）から［データ再配置開始時刻］及び［データ再配置終了時刻］、及び［再配置ＮＷ使用量］を、データ配置組合せ表１２２１（図９）からデータ配置組合せ計算（図２３）のＳ２２ｅで選択されたデータ配置に該当する［データ配置組合せ］を取得する。
【0305】
次にＳ２６ｂでは、配置変更実行部１２１４は、管理サーバ１０のＩＴインフラ管理部１２３（図１）に対して、Ｓ２６ａで計算用再配置変数管理表１２２３（図１１）から取得した［再配置ＮＷ使用量］に従って拠点間ストレージ・ネットワークのＱｏＳ（Quality of Service）制御を行うように指示する。次にＳ２６ｃでは、ＩＴインフラ管理部１２３は、Ｓ２６ｂの指示に従って、データ再配置に関係するデータ転送元の拠点内のネットワーク機器（ストレージＮＷ-ＳＷ２００ｂなど）に対して、ＱｏＳ制御の設定を行う。
【0306】
次にＳ２６ｄでは、配置変更実行部１２１４は、ＱｏＳの設定完了後に、データ再配置に関係する拠点のデータ仮想化機能部２２３、３２３に対して、Ｓ２６ａでデータ配置組合せ表１２２１（図９）から取得した［データ配置組合せ］に従ってデータの配置変更を行うように指示する。次にＳ２６ｅでは、データ再配置に関係する拠点のデータ仮想化機能部２２３、３２３は、Ｓ２６ｄの指示に従って、拠点間で配置変更対象データを転送する。
【0307】
【0308】
先ずＳ２７ａでは、アロケーション制御部１２１の分析ワークフロー実行部１２１５（図３）は、計算用再配置変数管理表１２２３（図１１）、計算用ＷＦ変数管理表１２２２（図１０）、及び計算用インフラ情報管理表１２２４（図１２）から分析ワークフローの実行に必要なリソース情報、ワークフロー及びアプリの開始時刻を取得する。
【0309】
次にＳ２７ｂでは、分析ワークフロー実行部１２１５は、ＩＴインフラ管理部１２３に対して、ワークフロー毎に各リソースのＱｏＳ機能に上限値を設定するように指示する。すなわち、コンピュート（コンテナ毎の［必要ＣＰＵ］及び［必要メモリ］）に関しては、コンテナ管理部２２２、３２２に対してＱｏＳの上限値を設定する。拠点内コンピュートＮＷ（［（コンピュート）クラスタ内ネットワーク利用量］（ワークフロー毎）（図８、図１２参照））に関しては、ＩＴインフラ管理部１２３を介してＮＷ-ＳＷ２００ａに対してＱｏＳの上限値を設定する。拠点内コンピュート・ストレージ間ＮＷ（［拠点内コンピュート・ストレージ間ネットワーク利用量]（ワークフロー毎)（図８、図１２参照））に関しては、ＩＴインフラ管理部１２３を介してストレージＮＷ－ＳＷ２００ｂに対してＱｏＳの上限値を設定する。ストレージ（［ＩＯ性能利用量（ＩＯＰＳ，ＭＢ／ｓ）］（ワークフロー毎）（図１０、図１２参照））に関しては、ＩＴインフラ管理部１２３を介してデータ仮想化機能部２２３、３２３に対してＱｏＳの上限値を設定する。拠点間ストレージＮＷに関しては、ＩＴインフラ管理部１２３を介してストレージＮＷ－ＳＷ２００ｂに対してＱｏＳの上限値を設定する。
【0310】
次にＳ２７ｃでは、アロケーション制御部１２１は、ＱｏＳの設定完了後に、Ｓ２７ａで取得したワークフロー及びアプリの開始時刻に従って、コンテナ管理部２２２、３２２に対してコンテナのデプロイ指示を出力する。
【0311】
上述の実施形態では、ワークフローエディタ（フローベースプログラミング機能部１２２）から取得した各アプリ及びデータアクセスの実行順序と実行回数を基に、各アプリ及びデータアクセスの実行時間を算出する。全ワークフローが指定時間内に実行完了する各拠点へのデータの全データ配置組合せパターンのうちで、全ての拠点の全てのリソース利用率の平均が最も低くなるデータの配置を決定する。また、個々のアプリ及びデータアクセスが過剰に特定リソースを消費しないように、ＱｏＳ制御（最高性能や最小性能の指定）を行う。これらを前提として全ワークフローの実行時間を推測する。
【0312】
従来、アプリとインフラ(オンプレミス、クラウド)とでアプリ及びデータアクセスの実行開始、終了、及び実行時間の情報共有がなく、複数アプリをインフラ上で動作させる際の実行時間の予測ができなかった。このような不都合は、マルチクラウドやハイブリッドクラウドのように複数インフラを跨いでアプリが実行される状況下ではより顕著になる。上述の実施形態では、この点を考慮し、インフラ側でアプリの情報を取得し、ワークフローの実行時間を予測し、効率的にアプリ及びデータを各インフラにデプロイし、リソース処理効率化を迅速に行う。
【0313】
よって、上述の実施形態によれば、データの配置が分析ワークフローに最適化されるので、ユーザの指定時間内に分析が終わると共に、インフラリソースの利用状況に空きが生まれ、別のワークロードのために、インフラを有効活用できるという効果を奏する。
【0314】
本発明は上述の実施形態に限定されるものではなく、様々な変形例を含む。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、矛盾しない限りにおいて、ある実施形態の構成の一部を他の実施形態の構成で置き換え、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、構成の追加、削除、置換、統合、又は分散をすることが可能である。また、実施形態で示した構成及び処理は、処理効率又は実装効率に基づいて適宜分散、統合、又は入れ替えることが可能である。
【符号の説明】
【0315】
１：管理サイト、２：オンプレミスサイト、３：クラウドサイト、１０：管理サーバ、１２１：アロケーション制御部、１２２：フローベースプログラミング機能部、１２３：ＩＴインフラ管理部、１２１２：データ配置組合せ計算部、１２１３：アプリ処理・データアクセス実行時間計算部、２０：サーバ、２０１，３０１：ストレージデバイス、２２３，３２３：データ仮想化機能部、３０：仮想マシン。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【図38】
【図39】
【図40】
【図41】
【図42】
【図43】
【図44】
【図45】
【図46】
【図47】
【図48】
【図49】
【図50】
【図51】
【図52】
【図53】
【図54】
【図55】
【図56】
【図57】
【図58】
【図59】
【図60】
【図61】
【図62】
【図63】
【図64】