知財求人 - 知財ポータルサイト「IP Force」
特開2023-87589管理システム、データリバランス管理方法、及びデータリバランス管理プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023087589
(43)【公開日】2023-06-23
(54)【発明の名称】管理システム、データリバランス管理方法、及びデータリバランス管理プログラム
(51)【国際特許分類】
G06F 3/06 20060101AFI20230616BHJP
G06F 13/10 20060101ALI20230616BHJP
G06F 11/34 20060101ALI20230616BHJP
G06F 11/30 20060101ALI20230616BHJP
G06F 9/50 20060101ALI20230616BHJP
【ＦＩ】
G06F3/06 301X
G06F13/10 340A
G06F3/06 301E
G06F11/34 133
G06F11/30 140M
G06F9/50 150Z
【審査請求】有
【請求項の数】11
【出願形態】ＯＬ
(21)【出願番号】P 2021202067
(22)【出願日】2021-12-13
(71)【出願人】
【識別番号】000005108
【氏名又は名称】株式会社日立製作所
(74)【代理人】
【識別番号】110000279
【氏名又は名称】弁理士法人ウィルフォート国際特許事務所
(72)【発明者】
【氏名】片平（岩崎） 華子
(72)【発明者】
【氏名】堀江 俊洋
【テーマコード（参考）】
5B042
【Ｆターム（参考）】
5B042GA22
5B042MA08
5B042MA14
5B042MC29
(57)【要約】
【課題】データのリバランスを適切に行うことができるようにする。
【解決手段】制御対象の記憶デバイス２１０に対するデータの入出力を制御する複数のノード２２０を有し、所定のデータ単位を複数の記憶デバイスに冗長格納して管理するストレージシステム２０におけるデータのリバランスを管理する管理システム１００において、プロセッサ部を有し、プロセッサ部は、複数のノード２１０のデータを送信する経路についての負荷情報を取得し、所定のリバランス対象のデータ単位の送信元として、リバランス対象のデータ単位を格納している記憶デバイス２１０を制御対象とする複数のノード２２０の中から、データを送信する経路の負荷が所定の閾値以下のすべてのノード２２０を決定し、複数のノード２２０が決定された場合に、リバランス対象のデータ単位の異なる部分を複数のノード２２０から所定の転送先のノード２２０に並行して送信させるように構成する。
【選択図】図１
【解決手段】制御対象の記憶デバイス２１０に対するデータの入出力を制御する複数のノード２２０を有し、所定のデータ単位を複数の記憶デバイスに冗長格納して管理するストレージシステム２０におけるデータのリバランスを管理する管理システム１００において、プロセッサ部を有し、プロセッサ部は、複数のノード２１０のデータを送信する経路についての負荷情報を取得し、所定のリバランス対象のデータ単位の送信元として、リバランス対象のデータ単位を格納している記憶デバイス２１０を制御対象とする複数のノード２２０の中から、データを送信する経路の負荷が所定の閾値以下のすべてのノード２２０を決定し、複数のノード２２０が決定された場合に、リバランス対象のデータ単位の異なる部分を複数のノード２２０から所定の転送先のノード２２０に並行して送信させるように構成する。
【選択図】図１
【特許請求の範囲】
【請求項1】
制御対象の記憶デバイスに対するデータの入出力を制御する複数のノードを有し、所定のデータ単位を複数の記憶デバイスに冗長格納して管理するストレージシステムにおけるデータのリバランスを管理する管理システムであって、
前記管理システムは、プロセッサ部を有し、
前記プロセッサ部は、
複数の前記ノードのデータを送信する経路についての負荷情報を取得し、
所定のリバランス対象のデータ単位の送信元として、前記リバランス対象のデータ単位を格納している記憶デバイスを制御対象とする複数のノードの中から、前記ノードのデータを送信する経路の負荷が所定の閾値以下のすべてのノードを決定し、
所定のリバランス対象のデータ単位の送信元として複数のノードが決定された場合に、前記リバランス対象のデータ単位の異なる部分を前記複数のノードから所定の転送先のノードに並行して送信させる
管理システム。
前記管理システムは、プロセッサ部を有し、
前記プロセッサ部は、
複数の前記ノードのデータを送信する経路についての負荷情報を取得し、
所定のリバランス対象のデータ単位の送信元として、前記リバランス対象のデータ単位を格納している記憶デバイスを制御対象とする複数のノードの中から、前記ノードのデータを送信する経路の負荷が所定の閾値以下のすべてのノードを決定し、
所定のリバランス対象のデータ単位の送信元として複数のノードが決定された場合に、前記リバランス対象のデータ単位の異なる部分を前記複数のノードから所定の転送先のノードに並行して送信させる
管理システム。
【請求項2】
前記管理システムは、記憶部を有し、
前記記憶部は、前記ノードが制御する記憶デバイスに配置させておくべきデータ単位である配置指定データ単位を特定する配置指定情報を記憶し、
前記プロセッサ部は、
前記リバランス対象のデータ単位から前記配置指定データ単位を除く
請求項１に記載の管理システム。
前記記憶部は、前記ノードが制御する記憶デバイスに配置させておくべきデータ単位である配置指定データ単位を特定する配置指定情報を記憶し、
前記プロセッサ部は、
前記リバランス対象のデータ単位から前記配置指定データ単位を除く
請求項１に記載の管理システム。
【請求項3】
前記ストレージシステムに格納されているデータ単位について所定の時点のデータ単位のデータが所定のバックアップ装置に格納されており、
前記プロセッサ部は、前記バックアップ装置に格納されているデータ単位を示すバックアップ情報を取得し、
所定のリバランス対象のデータ単位の所定時点のデータがバックアップ装置に格納されている場合に、前記所定のリバランス対象のデータ単位の送信元として、前記ノードのデータを送信する経路の負荷と、前記バックアップ装置のデータを送信する経路の負荷とに基づいて、前記複数のノードと前記バックアップ装置との中からデータを送信する経路の負荷が所定の閾値以下のもののすべてを決定し、
送信元として前記バックアップ装置が決定された場合に、前記バックアップ装置から前記データ単位のデータを読み出して前記転送先のノードが制御する記憶デバイスに格納させるとともに、前記格納されたデータに対して前記所定の時点からの前記データ単位の変更差分を反映させる
請求項１に記載の管理システム。
前記プロセッサ部は、前記バックアップ装置に格納されているデータ単位を示すバックアップ情報を取得し、
所定のリバランス対象のデータ単位の所定時点のデータがバックアップ装置に格納されている場合に、前記所定のリバランス対象のデータ単位の送信元として、前記ノードのデータを送信する経路の負荷と、前記バックアップ装置のデータを送信する経路の負荷とに基づいて、前記複数のノードと前記バックアップ装置との中からデータを送信する経路の負荷が所定の閾値以下のもののすべてを決定し、
送信元として前記バックアップ装置が決定された場合に、前記バックアップ装置から前記データ単位のデータを読み出して前記転送先のノードが制御する記憶デバイスに格納させるとともに、前記格納されたデータに対して前記所定の時点からの前記データ単位の変更差分を反映させる
請求項１に記載の管理システム。
【請求項4】
前記プロセッサ部は、
１以上の前記所定のリバランス対象のデータ単位に対するデータの送信を開始してからの処理時間が所定のタイムアウト時間が経過した場合に、前記１以上の前記所定のリバランス対象のデータ単位についてのデータの送信を終了する
請求項１に記載の管理システム。
１以上の前記所定のリバランス対象のデータ単位に対するデータの送信を開始してからの処理時間が所定のタイムアウト時間が経過した場合に、前記１以上の前記所定のリバランス対象のデータ単位についてのデータの送信を終了する
請求項１に記載の管理システム。
【請求項5】
前記プロセッサ部は、
前記１以上の前記所定のリバランス対象のデータ単位に対するデータの送信を開始してから前記１以上の前記所定のリバランス対象のデータ単位の前記転送先のノードへの送信が完了するまでの完了予測時間を推定し、
前記タイムアウト時間を、前記完了予測時間に基づいて決定する
請求項４に記載の管理システム。
前記１以上の前記所定のリバランス対象のデータ単位に対するデータの送信を開始してから前記１以上の前記所定のリバランス対象のデータ単位の前記転送先のノードへの送信が完了するまでの完了予測時間を推定し、
前記タイムアウト時間を、前記完了予測時間に基づいて決定する
請求項４に記載の管理システム。
【請求項6】
前記プロセッサ部は、
１以上の前記所定のリバランス対象のデータ単位に対するデータの送信を開始してから前記１以上の前記所定のリバランス対象のデータ単位の前記転送先のノードへの送信が完了するまでの完了予測時間を推定し、
推定した前記完了予測時間を表示出力させる
請求項１に記載の管理システム。
１以上の前記所定のリバランス対象のデータ単位に対するデータの送信を開始してから前記１以上の前記所定のリバランス対象のデータ単位の前記転送先のノードへの送信が完了するまでの完了予測時間を推定し、
推定した前記完了予測時間を表示出力させる
請求項１に記載の管理システム。
【請求項7】
前記プロセッサ部は、
決定した前記複数のノードに対して、前記複数のノードのデータを送信する経路における負荷が所定の負荷以下となるように、制御させる指示を送信する
請求項１に記載の管理システム。
決定した前記複数のノードに対して、前記複数のノードのデータを送信する経路における負荷が所定の負荷以下となるように、制御させる指示を送信する
請求項１に記載の管理システム。
【請求項8】
前記プロセッサ部は、
複数の前記ノードが制御する記憶デバイスについての記憶デバイス負荷情報を取得し、
前記記憶デバイス負荷情報に基づいて、前記記憶デバイスの負荷が最も高いノードが格納しているデータ単位であって、前記記憶デバイスの負荷が最も低いノードが格納していないデータ単位の少なくとも１つを前記所定のリバランス対象のデータ単位に決定する
請求項１に記載の管理システム。
複数の前記ノードが制御する記憶デバイスについての記憶デバイス負荷情報を取得し、
前記記憶デバイス負荷情報に基づいて、前記記憶デバイスの負荷が最も高いノードが格納しているデータ単位であって、前記記憶デバイスの負荷が最も低いノードが格納していないデータ単位の少なくとも１つを前記所定のリバランス対象のデータ単位に決定する
請求項１に記載の管理システム。
【請求項9】
前記プロセッサ部は、
リバランス対象のデータ単位の送信に対して、各ストレージノードの性能維持を重視する第１設定と、前記データ単位の転送処理効率を重視する第２設定と、前記ストレージノードの性能低下を許容範囲内とさせた状態で前記データ単位の転送処理効率を向上させる第３設定とのいずれかの設定を受け付け、
前記第１設定を受け付けている場合に、所定のリバランス対象のデータ単位の送信元として、前記負荷情報に基づいて、前記複数のノードの中から１つのノードを決定し、
前記第２設定を受け付けている場合に、所定のリバランス対象のデータ単位の送信元として、前記リバランス対象のデータ単位を格納している記憶デバイスに接続された複数のノードの中の複数のノードを決定し、
前記第３設定を受け付けている場合に、所定のリバランス対象のデータ単位の送信元として、前記リバランス対象のデータ単位を格納している記憶デバイスを制御対象とする複数のノードの中から、前記ノードのデータを送信する経路の負荷が所定の閾値以下のすべてのノードを決定し、
前記リバランス対象のデータ単位を決定された前記ノードから所定の転送先のノードに送信させる
請求項１に記載の管理システム。
リバランス対象のデータ単位の送信に対して、各ストレージノードの性能維持を重視する第１設定と、前記データ単位の転送処理効率を重視する第２設定と、前記ストレージノードの性能低下を許容範囲内とさせた状態で前記データ単位の転送処理効率を向上させる第３設定とのいずれかの設定を受け付け、
前記第１設定を受け付けている場合に、所定のリバランス対象のデータ単位の送信元として、前記負荷情報に基づいて、前記複数のノードの中から１つのノードを決定し、
前記第２設定を受け付けている場合に、所定のリバランス対象のデータ単位の送信元として、前記リバランス対象のデータ単位を格納している記憶デバイスに接続された複数のノードの中の複数のノードを決定し、
前記第３設定を受け付けている場合に、所定のリバランス対象のデータ単位の送信元として、前記リバランス対象のデータ単位を格納している記憶デバイスを制御対象とする複数のノードの中から、前記ノードのデータを送信する経路の負荷が所定の閾値以下のすべてのノードを決定し、
前記リバランス対象のデータ単位を決定された前記ノードから所定の転送先のノードに送信させる
請求項１に記載の管理システム。
【請求項10】
制御対象の記憶デバイスに対するデータの入出力を制御する複数のノードを有し、所定のデータ単位を複数の記憶デバイスに冗長格納して管理するストレージシステムにおけるデータのリバランスを管理する管理システムによるデータリバランス管理方法であって、
前記管理システムは、
複数の前記ノードのデータを送信する経路についての負荷情報を取得し、
所定のリバランス対象のデータ単位の送信元として、前記リバランス対象のデータ単位を格納している記憶デバイスを制御対象とする複数のノードの中から、前記ノードのデータを送信する経路の負荷が所定の閾値以下のすべてのノードを決定し、
所定のリバランス対象のデータ単位の送信元として複数のノードが決定された場合に、前記リバランス対象のデータ単位の異なる部分を前記複数のノードから所定の転送先のノードに並行して送信させる
データリバランス管理方法。
前記管理システムは、
複数の前記ノードのデータを送信する経路についての負荷情報を取得し、
所定のリバランス対象のデータ単位の送信元として、前記リバランス対象のデータ単位を格納している記憶デバイスを制御対象とする複数のノードの中から、前記ノードのデータを送信する経路の負荷が所定の閾値以下のすべてのノードを決定し、
所定のリバランス対象のデータ単位の送信元として複数のノードが決定された場合に、前記リバランス対象のデータ単位の異なる部分を前記複数のノードから所定の転送先のノードに並行して送信させる
データリバランス管理方法。
【請求項11】
制御対象の記憶デバイスに対するデータの入出力を制御する複数のノードを有し、所定のデータ単位を複数の記憶デバイスに冗長格納して管理するストレージシステムにおけるデータのリバランスを管理するコンピュータに実行されるデータリバランス管理プログラムであって、
前記コンピュータに、
複数の前記ノードのデータを送信する経路についての負荷情報を取得させ、
所定のリバランス対象のデータ単位の送信元として、前記リバランス対象のデータ単位を格納している記憶デバイスを制御対象とする複数のノードの中から、前記ノードのデータを送信する経路の負荷が所定の閾値以下のすべてのノードを決定させ、
所定のリバランス対象のデータ単位の送信元として複数のノードが決定された場合に、前記リバランス対象のデータ単位の異なる部分を前記複数のノードから所定の転送先のノードに並行して送信させる
データリバランス管理プログラム。
前記コンピュータに、
複数の前記ノードのデータを送信する経路についての負荷情報を取得させ、
所定のリバランス対象のデータ単位の送信元として、前記リバランス対象のデータ単位を格納している記憶デバイスを制御対象とする複数のノードの中から、前記ノードのデータを送信する経路の負荷が所定の閾値以下のすべてのノードを決定させ、
所定のリバランス対象のデータ単位の送信元として複数のノードが決定された場合に、前記リバランス対象のデータ単位の異なる部分を前記複数のノードから所定の転送先のノードに並行して送信させる
データリバランス管理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、複数のノードにより構成されるストレージシステムにおけるデータのリバランスの技術に関する。
【背景技術】
【0002】
複数台のサーバに搭載された記憶デバイスをソフトウェア機能によって統合し、サーバ上で仮想的なストレージが構成されたＨＣＩ（Ｈｙｐｅｒ―Ｃｏｎｖｅｒｇｅｄ Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）システムが知られている。
【0003】
ＨＣＩシステムにおいては、各ノードのＩ／Ｏ負荷が不均等になったり、ノードや記憶デバイスを増設したり、交換したりした場合には、データのリバランス処理を実行することが行われる。
【0004】
リバランス処理によると、使用率の高い記憶デバイスのデータが使用率の低い記憶デバイスに移動される。
【0005】
関連する技術として、例えば、特許文献１には、計算機システムに含まれる１以上の計算機に接続され圧縮機能を有する記憶デバイスを少なくとも１つ含んだ複数の記憶デバイスに対応した複数の物理容量を示す情報を含んだ容量情報を基に、リバランス機能を有するエンティティに対する論理容量配分に関する定義を含む指示内容を決定する技術が開示されている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】国際公開第２０１８／１０９８１６号
【発明の概要】
【発明が解決しようとする課題】
【0007】
例えば、リバランス処理中は、各ノードのＩ／Ｏ性能が低下し、各ノード上で稼働するシステムの性能へ影響を与えてしまう。このようなリバランス処理による稼働するシステムの性能への影響を回避するために、リバランス処理を、夜間や休日などのシステム停止時にユーザが手動実行することが多く、ユーザの運用負荷を高めている。
【0008】
本発明は、上記事情に鑑みなされたものであり、その目的は、データのリバランスを適切に行うことのできる技術を提供することにある。
【課題を解決するための手段】
【0009】
上記目的を達成するため、一観点に係る管理システムは、制御対象の記憶デバイスに対するデータの入出力を制御する複数のノードを有し、所定のデータ単位を複数の記憶デバイスに冗長格納して管理するストレージシステムにおけるデータのリバランスを管理する管理システムであって、前記管理システムは、プロセッサ部を有し、前記プロセッサ部は、複数の前記ノードのデータを送信する経路についての負荷情報を取得し、所定のリバランス対象のデータ単位の送信元として、前記リバランス対象のデータ単位を格納している記憶デバイスを制御対象とする複数のノードの中から、前記ノードのデータを送信する経路の負荷が所定の閾値以下のすべてのノードを決定し、所定のリバランス対象のデータ単位の送信元として複数のノードが決定された場合に、前記リバランス対象のデータ単位の異なる部分を前記複数のノードから所定の転送先のノードに並行して送信させる。
【発明の効果】
【0010】
本発明によれば、データのリバランスを適切に行うことができる。
【図面の簡単な説明】
【0011】
【発明を実施するための形態】
【0012】
実施形態について、図面を参照して説明する。なお、以下に説明する実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている諸要素及びその組み合わせの全てが発明の解決手段に必須であるとは限らない。
【0013】
以下の説明では、同種の要素を区別しないで説明する場合には、参照符号を使用し、同種の要素を区別する場合は、要素のＩＤを使用することがある。例えば、ノードを区別しない場合には、「ノード２２０」と言い、ノードを区別する場合には、「ノードｎ１」、「ノードｎ２」、「ノードｎ３」のようにいう。
【0014】
また、以下の説明では、「インターフェース部」は、１以上のインターフェースを含む。１以上のインターフェースは、１以上の同種のインターフェースデバイス（例えば１以上のＮＩＣ（Network Interface Card））であってもよいし２以上の異種のインターフェースデバイス（例えばＮＩＣとＨＢＡ（Host Bus Adapter））であってもよい。
【0015】
また、以下の説明では、「記憶部」は、１以上のメモリを含む。少なくとも１つのメモリは、揮発性メモリであってもよいし不揮発性メモリであってもよい。記憶部は、主に、プロセッサ部による処理の際に使用される。
【0016】
また、以下の説明では、「プロセッサ部」は、１以上のプロセッサを含む。少なくとも１つのプロセッサは、典型的には、ＣＰＵ（Central Processing Unit）のようなマイクロプロセッサである。１以上のプロセッサの各々は、シングルコアでもよいしマルチコアでもよい。プロセッサは、処理の一部または全部を行うハードウェア回路を含んでもよい。
【0017】
また、以下の説明では、「ＡＡＡテーブル」といった表現にて情報を説明することがあるが、情報は、どのようなデータ構造で表現されていてもよい。すなわち、情報がデータ構造に依存しないことを示すために、「ＡＡＡテーブル」を「ＡＡＡ情報」ということができる。また、以下の説明において、各テーブルの構成は一例であり、１つのテーブルは、２以上のテーブルに分割されてもよいし、２以上のテーブルの全部または一部が１つのテーブルであってもよい。
【0018】
また、以下の説明では、「ｋｋｋ部」の表現にて処理部（機能）を説明することがあるが、処理部は、１以上のコンピュータプログラムがプロセッサ部によって実行されることで実現されてもよいし、１以上のハードウェア回路（例えばＦＰＧＡまたはＡＳＩＣ（Application Specific Integrated Circuit））によって実現されてもよい。プログラムがプロセッサ部によって処理部が実現される場合、定められた処理が、適宜に記憶資源（例えばメモリ）及び／または通信インターフェースデバイス（例えば通信ポート）等を用いながら行われるため、処理部はプロセッサ部の少なくとも一部とされてもよい。処理部を動作主体として説明された処理は、プロセッサ部あるいはそのプロセッサ部を有する装置が行う処理としてもよい。また、プロセッサ部は、処理の一部または全部を行うハードウェア回路を含んでもよい。プログラムは、プログラムソースからプロセッサにインストールされてもよい。プログラムソースは、例えば、プログラム配布計算機または計算機が読み取り可能な記録媒体（例えば非一時的な記録媒体）であってもよい。各処理部の説明は一例であり、複数の処理部が１つの処理部にまとめられたり、１つの処理部が複数の処理部に分割されたりしてもよい。
【0019】
また、以下の説明では、「プログラム」を動作主体として処理を説明する場合があるが、プログラムは、プロセッサ部によって実行されることで、定められた処理を、適宜に記憶部及びインターフェース部のうちの少なくとも１つを用いながら行うため、処理の動作主体が、プロセッサ部（或いは、プロセッサ部を有する計算機）とされてもよい。プログラムは、プログラムソースから計算機にインストールされてもよい。プログラムソースは、例えば、プログラム配布サーバまたは計算機が読み取り可能な記憶メディアであってもよい。また、以下の説明において、２以上のプログラムが１つのプログラムとして実現されてもよいし、１つのプログラムが２以上のプログラムとして実現されてもよい。
【0020】
図１は、一実施形態に係る計算機システムの全体構成図である。
【0021】
計算機システム１は、ストレージシステム２０と、管理システム１００と、バックアップシステム３００と、バックアップ装置の一例としてのバックアップ保存装置４００と、仮想化環境管理システム５００と、コンテナ環境管理システム６００と、を含む。ストレージシステム２０と、管理システム１００と、バックアップシステム３００と、バックアップ保存装置４００と、仮想化環境管理システム５００と、コンテナ環境管理システム６００と、は、ネットワーク１０を介して通信可能に接続されている。ネットワーク１０は、例えばＩＰ（Internet Protocol）ネットワークである。なお、バックアップ保存装置４００は、バックアップシステム３００上に構成されてもよく、要は、ネットワーク１０を介してバックアップデータにアクセスできる装置であればよい。
【0022】
管理システム１００は、マネージャ１１０を実行する。
【0023】
バックアップシステム３００は、バックアップマネージャ３１０を実行する。バックアップ保存装置４００は、バックアップシステム３００によりバックアップされたストレージシステム２０のボリュームのデータ（バックアップデータ）４１０を格納する。
【0024】
ストレージシステム２０は、１以上の計算機２００（例えば計算機Ａ及びＢ）を含み、複数のノード２２０を含む。計算機２００は、１以上のノード２２０と、１以上の記憶デバイス２１０とを含む。ノード２２０は、計算機２００において実行されるコンピュータプログラムによって構成される。計算機２００のノード２２０と、記憶デバイス２１０とは、同数であり、１対１で対応している。図１においては、ノードｎ１～ｎ３は、それぞれ、記憶デバイスＡ～Ｃに対応している。ストレージシステム２０においては、同一のボリューム（データ単位の一例）が冗長性を確保するために、複数のノード２２０に対応する複数の記憶デバイス２１０に格納されている。ノード２２０においては、各種業務処理を実行するＶＭ（仮想マシン）やコンテナが構成される。
【0025】
仮想化環境管理システム５００は、仮想化環境管理マネージャ５１０を実行する。仮想化環境管理マネージャ５１０は、ノード２２０に構築するＶＭを管理する。コンテナ環境管理システム６００は、コンテナ環境管理マネージャ６１０を実行する。コンテナ環境管理マネージャ６１０は、ノード２２０に構築するコンテナを管理する。
【0026】
図２は、一実施形態に係る計算機の構成図である。
【0027】
計算機２００は、記憶デバイス２１０と、プロセッサ２１１と、メモリ２１２と、ネットワークＩ／Ｆ（ネットワークインターフェイス）２１３と、を有する。
【0028】
記憶デバイス２１０は、典型的には、物理的な不揮発性の記憶デバイスであり、例えば、１台以上のＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）である。記憶デバイス２１０は、各種データを記憶する。
【0029】
ネットワークＩ／Ｆ２１３は、例えば、有線ＬＡＮカードや無線ＬＡＮカードなどのインターフェースであり、ネットワーク１０を介して他の装置（例えば、管理システム１００、バックアップシステム３００）と通信する。
【0030】
プロセッサ２１１は、メモリ２１２及び／または記憶デバイス２１０に格納されているプログラムに従って各種処理を実行する。
【0031】
メモリ２１２は、記憶部の一例であり、ノード２２０を格納する。ノード２２０は、プロセッサ２１１によって実行される。
【0032】
ノード２２０は、そのノード２２０に対応した記憶デバイス２１０の論理記憶空間を、例えば、計算機２００内のＶＭで実行されるアプリケーションや、計算機２００外のアプリケーションに提供する。ノード２２０は、論理記憶空間に対するＩ／Ｏ要求を受け付け、そのＩ／Ｏ要求に従い、そのノード２２０に対応する記憶デバイス２１０に対してデータのライトまたはリードを実行する（Ｉ／Ｏコマンドを記憶デバイス２１０に送信する）。ノード２２０は、その対応する記憶デバイス２１０に対するライト対象のデータ（ライト対象データのＩ／Ｏ要求）を、例えばデータの冗長性維持のために、他の記憶デバイス２１０に接続されているノード２２０（例えば、他の計算機２００内のノード２２０）に転送することができる。ノード２２０は、例えばＳＤＳ（Software Defined Storage）でよい。ノード２２０は、ストレージサービス２２１を有する。
【0033】
ストレージサービス２２１は、Ｉ／Ｏ要求を受け付け、そのＩ／Ｏ要求に従い記憶デバイス２１０に対してデータのライトまたはリードを実行する仮想的なストレージコントローラに相当する。ストレージサービス２２１は、容量監視部２２２と、容量通知部２２３と、Ｉ／Ｏ監視部２２４と、Ｉ／Ｏ通知部２２５と、Ｉ／Ｏ制御部２２６と、リバランス部２２７と、データ差分管理部２２８と、バックアップ情報通知部２２９と、バックアップ情報監視部２３０とを有する。
【0034】
容量監視部２２２は、自身が属するノード２２０（自ノードという）に対応する記憶デバイス２１０の容量を監視する（例えば定期的にチェックする）。容量通知部２２３は、容量監視部２２２により特定された容量の情報をマネージャ１１０に通知する。
【0035】
Ｉ／Ｏ監視部２２４は、自ノード２２０のＩ／Ｏ負荷を監視する。本実施形態では、Ｉ／Ｏ監視部２２４の監視するＩ／Ｏ負荷としては、自ノードの記憶デバイス２１０の使用率や、自ノード２２０のネットワークＩ／Ｆ２１３を介しての通信経路（通信パス）の使用率（パス使用率）がある。Ｉ／Ｏ通知部２２５は、Ｉ／Ｏ監視部２２４により特定されたＩ／Ｏ負荷をマネージャ１１０に通知する。Ｉ／Ｏ制御部２２６は、自ノード２２０のネットワークＩ／Ｆ２１３を介しての通信経路の使用率を制御する。例えば、Ｉ／Ｏ制御部２２６は、自ノード２２０のネットワークＩ／Ｆ２１３を介しての通信経路の使用率が所定の閾値を超えないように制御することができる。リバランス部２２７は、マネージャ１１０からの指示に従ってデータを転送するリバランス処理を実行する。データ差分管理部２２８は、所定の時点のデータ（ボリューム）からの差分断面を示す情報（差分断面情報）を管理する。バックアップ情報通知部２２９は、バックアップ情報監視部２３０により特定されたバックアップの情報をマネージャ１１０に通知する。バックアップ情報監視部２３０は、自ノードの記憶デバイス２１０のデータのバックアップを監視する。
【0036】
図３は、一実施形態に係る管理システムの構成図である。
【0037】
管理システム１００は、プロセッサ１０１と、メモリ１０２と、入力デバイス１０３と、出力デバイス１０４と、ネットワークＩ／Ｆ１０５と、を有する。
【0038】
入力デバイス１０３は、例えばキーボード及びポインティングデバイスであり、各種入力を受け付ける。出力デバイス１０４は、例えば液晶ディスプレイ等の表示デバイスであり、各種情報を表示出力する。入力デバイス１０３及び出力デバイス１０４を、例えばタッチパネルのような一体構成としてもよい。
【0039】
プロセッサ１０１は、メモリ１０２に格納されているプログラムに従って各種処理を実行する。
【0040】
メモリ１０２は、記憶部の一例であり、マネージャ１１０を格納する。マネージャ１１０は、プロセッサ１０１によって実行される。
【0041】
マネージャ１１０は、データマネージメントサービス１１１を有する。
【0042】
データマネージメントサービス１１１は、ノード２２０から各種情報を取得し、各種情報に基づいて、リバランスするデータ単位の送信経路（少なくとも送信元のノード）を決定し、決定した内容に対応するデータのリバランス処理の指示（リバランス指示）をノード２２０に送信する処理を実行する。データマネージメントサービス１１１は、ノード情報取得部１２１と、バックアップ情報取得部１２２と、仮想化環境情報取得部１２３と、コンテナ環境情報取得部１２４と、リバランス選択部１２５と、リバランス指示部１２６と、リバランス利用リソース計算部１２７と、完了予測時間計算部１２８とを有する。また、データマネージメントサービス１１１は、ユーザ設定テーブル１１２と、リバランス経路テーブル１１３と、ノード情報テーブル１１４と、ボリューム情報テーブル１１５と、通信経路情報テーブル１１６と、バックアップ情報テーブル１１７と、仮想化環境情報テーブル１１８と、コンテナ環境情報テーブル１１９と、リバランス時間管理テーブル１２０とを管理する。
【0043】
ノード情報取得部１２１は、各ノード２２０から記憶デバイス２１０の容量情報、ノード２２０のＩ／Ｏ情報を受信し、ノード情報テーブル１１４、ボリューム情報テーブル１１５、及び通信経路情報テーブル１１６に登録する。バックアップ情報取得部１２２は、データのバックアップデータが存在するか否かを検知し、バックアップシステム３００からバックアップしたデータのバックアップ情報を受信し、バックアップ情報テーブル１１７に登録する。仮想化環境情報取得部１２３は、仮想化環境管理システム５００から各ノード２２０におけるＶＭに関する情報を受信し、仮想化環境情報テーブル１１８に登録する。コンテナ環境情報取得部１２４は、コンテナ環境管理システム６００から各ノード２２０におけるコンテナに関する情報を受信し、コンテナ環境情報テーブル１１９に登録する。
【0044】
リバランス選択部１２５は、リバランス対象のボリュームのデータを転送する経路を選択する処理を行う。リバランス指示部１２６は、リバランス選択部１２５により選択された経路でボリュームを転送させる指示（リバランス指示）をノード２２０のリバランス部２２７に送信する。リバランス利用リソース計算部１２７は、各ノード２２０の記憶デバイス２１０の容量枯渇を検知する。完了予測時間計算部１２８は、リバランス選択部１２５により選択されたリバランスが完了すると予測される時間を計算する。
【0045】
図４は、一実施形態に係るバックアップシステムの構成図である。
【0046】
バックアップシステム３００は、プロセッサ３０１と、メモリ３０２と、入力デバイス３０３と、出力デバイス３０４と、ネットワークＩ／Ｆ３０５と、を有する。
【0047】
入力デバイス３０３は、例えばキーボード及びポインティングデバイスであり、各種入力を受け付ける。出力デバイス３０４は、例えば液晶ディスプレイ等の表示デバイスであり、各種情報を表示出力する。入力デバイス３０３及び出力デバイス３０４を、例えばタッチパネルのような一体構成としてもよい。
【0048】
ネットワークＩ／Ｆ３０５は、例えば、有線ＬＡＮカードや無線ＬＡＮカードなどのインターフェースであり、ネットワーク１０を介して他の装置（例えば、計算機２００、バックアップ保存装置４００）と通信する。
【0049】
プロセッサ３０１は、メモリ３０２に格納されているプログラムに従って各種処理を実行する。
【0050】
メモリ３０２は、記憶部の一例であり、バックアップマネージャ３１０を格納する。バックアップマネージャ３１０は、プロセッサ３０１によって実行される。
【0051】
バックアップマネージャ３１０は、バックアップサービス３２０を有する。
【0052】
バックアップサービス３２０は、ストレージシステム２０の記憶デバイス２１０に格納されているデータのバックアップデータを、バックアップ保存装置４００に格納させる処理を行う。データのバックアップは、例えば、ボリューム（データ単位の一例）を単位として行われる。バックアップサービス３２０は、バックアップ情報通知部３２１を有する。バックアップ情報通知部３２１は、記憶デバイス２１０に格納されているデータのバックアップに関する情報（バックアップ情報）を計算機２００に送信する。バックアップ情報は、例えば、バックアップしたボリュームの識別子（ボリュームＩＤ）と、バックアップしたデータのバックアップ時のデータ差分断面情報と、バックアップハッシュとを含む。
【0053】
図５は、一実施形態に係る仮想化環境管理システムの構成図である。
【0054】
仮想化環境管理システム５００は、プロセッサ５０１と、メモリ５０２と、入力デバイス５０３と、出力デバイス５０４と、ネットワークＩ／Ｆ５０５と、を有する。
【0055】
入力デバイス５０３は、例えばキーボード及びポインティングデバイスであり、各種入力を受け付ける。出力デバイス５０４は、例えば液晶ディスプレイ等の表示デバイスであり、各種情報を表示出力する。入力デバイス５０３及び出力デバイス５０４を、例えばタッチパネルのような一体構成としてもよい。
【0056】
ネットワークＩ／Ｆ５０５は、例えば、有線ＬＡＮカードや無線ＬＡＮカードなどのインターフェースであり、ネットワーク１０を介して他の装置（例えば、計算機２００、管理システム１００）と通信する。
【0057】
プロセッサ５０１は、メモリ５０２に格納されているプログラムに従って各種処理を実行する。
【0058】
メモリ５０２は、記憶部の一例であり、仮想化環境管理マネージャ５１０を格納する。仮想化環境管理マネージャ５１０は、プロセッサ５０１によって実行される。
【0059】
仮想化環境管理マネージャ５１０は、仮想化環境管理サービス５２０を有する。
【0060】
仮想化環境管理サービス５２０は、ストレージシステム２０のノード２２０にＶＭを生成して、ＶＭを管理する処理を行う。仮想化環境管理サービス５２０は、仮想化環境情報通知部５２１を有する。仮想化環境情報通知部５２１は、ノード２２０に配置されたＶＭの情報（仮想化環境情報）を管理システム１００に送信する。仮想化環境情報は、例えば、ＶＭを配置しているノード、ＶＭが使用しているボリューム、ＶＭのボリュームのデータローカリティ、ＨＡ（High Availability）クラスタを構成しているＶＭ群の情報等を含む。
【0061】
図６は、一実施形態に係るコンテナ環境管理システムの構成図である。
【0062】
コンテナ環境管理システム６００は、プロセッサ６０１と、メモリ６０２と、入力デバイス６０３と、出力デバイス６０４と、ネットワークＩ／Ｆ６０５と、を有する。
【0063】
入力デバイス６０３は、例えばキーボード及びポインティングデバイスであり、各種入力を受け付ける。出力デバイス６０４は、例えば液晶ディスプレイ等の表示デバイスであり、各種情報を表示出力する。入力デバイス６０３及び出力デバイス６０４を、例えばタッチパネルのような一体構成としてもよい。
【0064】
ネットワークＩ／Ｆ６０５は、例えば、有線ＬＡＮカードや無線ＬＡＮカードなどのインターフェースであり、ネットワーク１０を介して他の装置（例えば、計算機２００、管理システム１００）と通信する。
【0065】
プロセッサ６０１は、メモリ６０２に格納されているプログラムに従って各種処理を実行する。
【0066】
メモリ６０２は、記憶部の一例であり、コンテナ環境管理マネージャ６１０を格納する。コンテナ環境管理マネージャ６１０は、プロセッサ６０１によって実行される。
【0067】
コンテナ環境管理マネージャ６１０は、コンテナ環境管理サービス６２０を有する。
【0068】
コンテナ環境管理サービス６２０は、ストレージシステム２０のノード２２０にコンテナを生成して、コンテナを管理する処理を行う。コンテナ環境管理サービス６２０は、コンテナ環境情報通知部６２１を有する。コンテナ環境情報通知部６２１は、ノード２２０に配置されたコンテナの情報（コンテナ環境情報）を管理システム１００に送信する。コンテナ環境情報は、例えば、コンテナを配置しているノード、コンテナが使用しているボリューム、コンテナのボリュームのデータローカリティの情報等を含む。
【0069】
次に、管理システム１００の各種テーブルを説明する。
【0070】
図７は、一実施形態に係るユーザ設定テーブルの構成図である。
【0071】
ユーザ設定テーブル１１２は、管理システム１００において、例えば、入力デバイス１０３を介して、ユーザにより設定された各種情報を格納する。ユーザ設定テーブル１１２は、リバランス実行１１２ａと、自動実行トリガー１１２ｂと、リバランス方式１１２ｃと、バランス方式の閾値１１２ｄと、バックアップ利用１１２ｅと、連携するバックアップシステム１１２ｆと、データローカリティ考慮１１２ｇと、連携する仮想化システム１１２ｈと、データローカリティ対象ＶＭ１１２ｉと、クラスタ考慮対象ＶＭ１１２ｊと、連携するコンテナシステム１１２ｋと、データローカリティ対象コンテナ１１２ｌと、クラスタ考慮対象コンテナ１１２ｍとの項目を含む。
【0072】
リバランス実行１１２ａには、リバランスを自動で実行するか、手動で実行するかの設定が格納される。自動実行トリガー１１２ｂには、リバランスを自動で実行する場合のトリガーとなる条件が格納される。本実施形態では、条件は、例えば、ノード間のデータ容量の差異のしきい値であり、ノード間のデータ容量の差異がしきい値以上である場合に、リバランス（具体的にリバランス準備処理等）が実行される。リバランス方式１１２ｃには、実行するリバランスの方式が格納される。リバランスの方式としては、ストレージシステム２０（各ノード２２０）の性能維持を重視する性能優先（第１設定）と、データ単位の転送処理効率を重視する速度優先（第２設定）と、ノード２２０の性能低下を許容範囲内とさせた状態でデータ単位の転送処理効率を向上させるバランス（第３設定）とがある。リバランス方式の閾値１１２ｄには、リバランスの方式としてバランスを設定した場合の経路（パス）の帯域についての使用率（パス使用率）の上限が格納される。したがって、バランス設定の場合には、各ノード２２０のパス使用率が設定値以下となるように制御されることとなる。
【0073】
バックアップ利用１１２ｅには、リバランスにおいてボリュームをバックアップしたバックデータを使用するか否かの設定が格納される。バックアップ利用１１２ｅには、例えば、バックアップデータを使用する場合には、ＯＮが格納され、使用しない場合には、ＯＦＦが格納される。連携するバックアップシステム１１２ｆには、連携するバックアップシステム３００を示すホスト名が格納される。
【0074】
データローカリティ考慮１１２ｇには、リバランスにおいて、データローカリティ、すなわち、データがローカルに存在することを考慮する必要があるか否かの設定が格納される。ここで、データローカリティは、データをそのノードに配置しておくべきことを意味している。連携する仮想化システム１１２ｈには、連携する仮想化環境管理システム５００を示すホスト名が格納される。データローカリティ対象ＶＭ１１２ｉには、データローカリティの対象となるＶＭを示す識別情報（仮想マシンＩＤ）が格納される。クラスタ考慮対象ＶＭ１１２ｊには、クラスタを考慮する必要があるＶＭを示す識別情報が格納される。連携するコンテナシステム１１２ｋには、連携するコンテナ環境管理システム６００を示すホスト名が格納される。データローカリティ対象コンテナ１１２ｌには、データローカリティの対象となるコンテナを示す識別情報（コンテナＩＤ）が格納される。クラスタ考慮対象コンテナ１１２ｍには、クラスタを考慮する必要があるコンテナを示す識別情報が格納される。
【0075】
図８は、一実施形態に係るリバランス経路テーブルの構成図である。
【0076】
リバランス経路テーブル１１３は、リバランスにおけるデータを転送する経路を管理するテーブルであり、経路毎のエントリを格納する。経路は、少なくともノードを含み、ケーブルや、通信Ｉ／Ｆの物理的なポートや、仮想的ポートを含んでもよい。リバランス経路テーブル１１３のエントリは、ボリュームＩＤ１１３ａと、ノードＩＤ１１３ａｂ、経路ＩＤ１１３ｃとのカラムを有する。
【0077】
ボリュームＩＤ１１３ａには、エントリに対応する経路でリバランス（転送）できるボリュームのストレージシステム２０内で一意に識別する識別子（ボリュームＩＤ）が格納される。ノードＩＤ１１３ｂには、エントリに対応するボリュームを管理するノード２２０のストレージシステム２０内で一意に識別する識別子（ノードＩＤ）が格納される。なお、本実施形態では、ノードＩＤ１１３ｂには、ノード２２０ではないが、バックアップ保存装置４００を示すＩＤも格納されることもある。図８では、ｂ１のように、ｂが含まれるノードＩＤがバックアップ保存装置４００のＩＤを示している。なお、便宜的にバックアップ保存装置４００をノードという場合もある。経路ＩＤ１１３ｃには、エントリに対応する経路のＩＤ（経路ＩＤ）が格納される。
【0078】
図９は、一実施形態に係るノード情報テーブルの構成図である。
【0079】
ノード情報テーブル１１４は、ノード２２０に対応する記憶デバイス２１０に関する情報を格納する。ノード情報テーブル１１４は、ノード毎のエントリを格納する。ノード情報テーブル１１４のエントリは、ノードＩＤ１１４ａと、ノード識別子１１４ｂと、ディスク最大容量１１４ｃと、ディスク使用率１１４ｄと、ディスクＩ／Ｏ最大性能１１４ｅと、ディスクＩ／Ｏ使用率１１４ｆとのカラムを有する。
【0080】
ノードＩＤ１１４ａには、エントリに対応するノード２２０のノードＩＤが格納される。ノード識別子１１４ｂには、エントリに対応するノード２２０の識別子（ノード識別子）が格納される。ノード識別子は、ノードＩＤよりも広い範囲において一意である識別子である。ディスク最大容量１１４ｃには、エントリに対応するノード２２０の全ての記憶デバイス２１０の最大容量が格納される。ディスク使用率１１４ｄには、エントリに対応するノード２２の記憶デバイス２１０の記憶領域の使用率が格納される。ディスクＩ／Ｏ最大性能１１４ｅには、エントリに対応するノード２２０の記憶デバイス２１０のＩ／Ｏについての最大性能が格納される。Ｉ／Ｏについての性能は、例えば、ＩＯＰＳ（Input/output per second）で表される。ディスクＩ／Ｏ使用率１１４ｆには、エントリに対応するノード２２０の記憶デバイス２１０のＩ／Ｏについての使用率が格納される。
【0081】
図１０は、一実施形態に係るボリューム情報テーブルの構成図である。
【0082】
ボリューム情報テーブル１１５は、ボリュームに関する情報を格納する。ボリューム情報テーブル１１５は、ボリューム毎のエントリを格納する。ボリューム情報テーブル１１５のエントリは、ボリュームＩＤ１１５ａと、ボリューム識別子１１５ｂと、ノードＩＤ１１５ｃと、ボリュームサイズ１１５ｄとのカラムを有する。
【0083】
ボリュームＩＤ１１５ａには、エントリに対応するボリュームのボリュームＩＤが格納される。ボリューム識別子１１５ｂには、エントリに対応するボリュームの識別子（ボリューム識別子）が格納される。ボリューム識別子は、ボリュームＩＤよりも広い範囲において一意である識別子である。ノードＩＤ１１５ｃには、エントリに対応するボリュームを格納する記憶デバイス２１０に接続されているノード２２０のノードＩＤが格納される。ボリュームサイズ１１５ｄには、エントリに対応するボリュームのサイズが格納される。
【0084】
図１１は、一実施形態に係る通信経路情報テーブルの構成図である。
【0085】
通信経路情報テーブル１１６は、ノード２２０のデータ通信を行う経路（パス）に関する情報を格納する。通信経路情報テーブル１１６は、経路毎のエントリを格納する。通信経路情報テーブル１１６のエントリは、経路ＩＤ１１６ａと、経路識別子１１６ｂと、ノードＩＤ１１６ｃと、通信パス最大帯域１１６ｄと、通信パス使用率１１６ｅとのカラムを有する。
【0086】
経路ＩＤ１１６ａには、エントリに対応する経路の管理システム１００の管理範囲内で一意のＩＤ（経路ＩＤ）が格納される。経路識別子１１６ｂには、エントリに対応する経路の識別子（経路識別子）が格納される。経路識別子は、経路ＩＤよりも広い範囲において一意である識別子であり、例えば、ネットワークＩ／ＦのＷＷＮ（World Wide Name）であってもよい。ノードＩＤ１１６ｃは、エントリに対応する経路の送信元となるノード２２０のノードＩＤが格納される。通信パス最大帯域１１６ｄには、エントリに対応する経路における最大帯域の値が格納される。通信パス使用率１１６ｅには、エントリに対応する経路の帯域の使用率（パス使用率、Ｉ／Ｏ負荷の一例）が格納される。
【0087】
図１２は、一実施形態に係るバックアップ情報テーブルの構成図である。
【0088】
バックアップ情報テーブル１１７は、バックアップシステム３００によりバックアップされたボリュームの情報（バックアップ情報）を格納する。バックアップ情報テーブル１１７は、ボリュームのバックアップ処理毎のエントリを格納する。バックアップ情報テーブル１１７のエントリは、バックアップＩＤ１１７ａと、ボリュームＩＤ１１７ｂと、データ差分断面情報１１７ｃと、バックアップハッシュ１１７ｄとのカラムを有する。
【0089】
バックアップＩＤ１１７ａには、エントリに対応するバックアップ処理に対応する識別子（バックアップＩＤ）が格納される。ボリュームＩＤ１１７ｂには、エントリに対応するバックアップ処理の対象のボリュームのボリュームＩＤが格納される。データ差分断面情報１１７ｃには、エントリに対応するボリュームの所定の時点の状態との差分部分を特定可能な情報（データ差分断面情報）を示す情報が格納される。このデータ差分断面情報を比較することにより、同一のボリュームに対して差分がある部分を把握することができる。バックアップハッシュ１１７ｄには、エントリに対応するボリュームについてのハッシュ値が格納される。
【0090】
例えば、１番目の行によれば、バックアップＩＤがｂ１のバックアップ処理では、ボリュームＩＤがｖ２のボリュームをバックアップし、そのボリュームのデータ差分断面情報が２０２００１０５＿ｖ０００２＿１０９２１３１のデータであり、ボリュームのハッシュ値が７８ｔｆｆａ９７８ｓ３ｊであることを示している。
【0091】
図１３は、一実施形態に係る仮想化環境情報テーブルの構成図である。
【0092】
仮想化環境情報テーブル１１８は、ストレージシステム２０における仮想化環境の情報を格納する。仮想化環境情報テーブル１１８は、ストレージシステム２０のＶＭ毎のエントリを格納する。仮想化環境情報テーブル１１８のエントリは、仮想マシンＩＤ１１８ａと、仮想マシン名１１８ｂと、ノードＩＤ１１８ｃと、ホスト名１１８ｄと、ボリュームＩＤ１１８ｅと、データローカリティ１１８ｆと、ＨＡクラスタ１１８ｇとのカラムを有する。
【0093】
仮想マシンＩＤ１１８ａには、エントリに対応するＶＭの仮想マシンＩＤが格納される。仮想マシン名１１８ｂには、エントリに対応するＶＭの名前（仮想マシン名）が格納される。ノードＩＤ１１８ｃには、エントリに対応するＶＭが構成されるノード２２０のノードＩＤが格納される。ホスト名１１８ｄには、エントリに対応するＶＭに割り当てられたノードのホスト名が格納される。ボリュームＩＤ１１８ｅには、エントリに対応するＶＭが使用するボリュームのボリュームＩＤが格納される。データローカリティ１１８ｆには、エントリに対応するＶＭが使用するボリュームについてのデータローカリティが必要であるか否かの設定（配置指定情報）が格納される。ここで、データローカリティが必要であると設定されているボリュームは、配置指定データ単位に相当する。ＨＡクラスタ１１８ｇには、エントリに対応するＶＭが構成するＨＡクラスタのクラスタ名が格納される。ＨＡクラスタ１１８ｇのクラスタ名によると、同一のクラスタ名を有する複数のエントリのＶＭによりＨＡクラスタが構成されることがわかる。
【0094】
図１４は、一実施形態に係るコンテナ環境情報テーブルの構成図である。
【0095】
コンテナ環境情報テーブル１１９は、ストレージシステム２０におけるコンテナ環境の情報を格納する。コンテナ環境情報テーブル１１９は、ストレージシステム２０のコンテナ毎のエントリを格納する。コンテナ環境情報テーブル１１９のエントリは、コンテナＩＤ１１９ａと、ノードＩＤ１１９ｂと、ホスト名１１９ｃと、コンテナ名１１９ｄと、データローカリティ１１９ｅと、ボリュームＩＤ１１９ｆとのカラムを有する。
【0096】
コンテナＩＤ１１９ａには、エントリに対応するコンテナの識別子（コンテナＩＤ）が格納される。ノードＩＤ１１９ｂには、エントリに対応するコンテナが構成されるノード２２０のノードＩＤが格納される。ホスト名１１９ｃには、エントリに対応するコンテナが割り当てられたノードのホスト名が格納される。コンテナ名１１９ｄには、エントリに対応するコンテナの名前（コンテナ名）が格納される。データローカリティ１１９ｅには、エントリに対応するコンテナが使用するボリュームについてのデータローカリティが必要であるか否かの設定が格納される。ボリュームＩＤ１１９ｆには、エントリに対応するコンテナが使用するボリュームのボリュームＩＤが格納される。
【0097】
図１５は、一実施形態に係るリバランス時間管理テーブルの構成図である。
【0098】
リバランス時間管理テーブル１２０は、リバランス経路テーブル１１３の経路に従うリバランス処理の時間に関する情報を格納する。リバランス時間管理テーブル１２０は、完了予測時間１２０ａと、タイムアウト時間１２０ｂと、リバランス指示時刻１２０ｃと、リバランス処理経過時間１２０ｄとのカラムを有する。
【0099】
完了予測時間１２０ａには、リバランス処理の完了予測時間が格納される。タイムアウト時間１２０ｂには、リバランス処理をタイムアウトする時間（タイムアウト時間）が格納される。リバランス指示時刻１２０ｃには、リバランス処理の実行を指示した時刻（指示時刻）が格納される。リバランス処理経過時間１２０ｄには、リバランス処理を実行してからの経過時間が格納される。
【0100】
次に、計算機システム１の処理動作について説明する。
【0101】
まず、計算機システム１におけるリバランス準備処理について説明する。
【0102】
図１６は、一実施形態に係るリバランス準備処理のフローチャートである。
【0103】
リバランス準備処理は、例えば、リバランスを実行する条件が満たされた場合、又はユーザにより指定された場合に実行される。
【0104】
管理システム１００のノード情報取得部１２１は、予め設定された管理対象のノード２２０に対して、ノード情報を要求し、ノード情報を取得する（ステップＳ１１）。なお、ノード情報の要求を受け付けた各ノード２２０は、ノード情報通知処理（図２４参照）を実行することにより、ノード情報をノード情報取得部１２１に通知する。ここで、ノード情報は、例えば、記憶デバイス２１０のディスク情報、ノード２２０のＩ／Ｏ情報、ボリューム情報を含む。ディスク情報は、例えば、記憶デバイス２１０のディスク最大容量、ディスク使用率、ディスクＩ／Ｏ最大性能、ディスクＩ／Ｏ使用率等を含んでもよい。Ｉ／Ｏ情報は、ノード２２０の通信経路の情報、例えば、経路識別子、ノードＩＤ、通信パス最大帯域、通信パス使用率等を含んでもよい。ボリューム情報は、例えば、ボリュームＩＤ、ボリューム識別子、ノードＩＤ、ボリュームサイズ等を含んでもよい。
【0105】
次いで、ノード情報取得部１２１は、取得したディスク情報に基づいて、ノード情報テーブル１１４を更新し（ステップＳ１２）、Ｉ／Ｏ情報に基づいて、通信経路情報テーブル１１６を更新し（ステップＳ１３）、ボリューム情報に基づいて、ボリューム情報テーブル１１５を更新する（ステップＳ１４）。
【0106】
次いで、仮想化環境情報取得部１２３は、仮想化環境情報取得処理（図１７参照）の実行を開始する（ステップＳ１５）。この仮想化環境情報取得処理によると、仮想化環境情報テーブル１１８が更新される。
【0107】
仮想化環境情報処理の終了後、バックアップ情報取得部１２２はユーザ設定テーブル１１２からユーザの設定した情報を取得する（ステップＳ１６）。本実施形態では、バックアップ情報取得部１２２は、リバランス方式の設定、バックアップ利用設定、仮想化環境管理システムとの連携の設定、コンテナ環境管理システムとの連携の設定等を取得する。なお、仮想化環境情報処理の終了後において、管理システム１００は、ユーザ設定テーブル１１２の一部の情報（例えば、データローカリティ対象ＶＭの対象とするＶＭ等）に対するユーザの設定を受け付けて、ユーザ設定テーブル１１２に格納するようにしてもよい。
【0108】
次いで、バックアップ情報取得部１２２は、バックアップ情報取得処理（図１８参照）の実行を開始する（ステップＳ１７）。このバックアップ情報取得処理によると、バックアップデータを使用する設定の場合にバックアップ情報テーブル１１７が更新される。
【0109】
次いで、コンテナ環境情報取得部１２４は、コンテナ環境情報取得処理（図１９参照）の実行を開始する（ステップＳ１８）。このコンテナ環境情報取得処理によると、コンテナ環境情報テーブル１１９が更新される。
【0110】
コンテナ環境情報取得処理の終了後、リバランス選択部１２５は、リバランス優先度及びリバランス経路選択処理を実行する（ステップＳ１９）。このリバランス優先度及びリバランス経路選択処理によると、リバランス経路テーブル１１３には、リバランスに使用する経路が登録される。
【0111】
次いで、完了予測時間計算部１２８は、完了予測時間計算処理（図２３参照）を実行し（ステップＳ２０）、リバランス準備処理を終了する。完了予測時間計算処理によると、リバランス経路テーブル１１３に登録されている経路を使用したリバランス処理が完了するまでの予測時間（完了予測時間）が算出されて、リバランス時間管理テーブル１２０に登録されることとなる。なお、完了予測時間計算部１２８は、リバランス時間管理テーブル１２０に登録されている完了予測時間をユーザに対して通知（例えば、ユーザの端末への表示出力）するようにしてもよい。
【0112】
次に、仮想化環境情報取得処理（ステップＳ１５）について説明する。
【0113】
図１７は、一実施形態に係る仮想化環境情報取得処理のフローチャートである。
【0114】
仮想化環境情報取得部１２３は、仮想化環境管理システム５００から仮想化環境情報（ＶＭに関する仮想マシンＩＤ、仮想マシン名、ノードＩＤ、ホスト名、ボリュームＩＤ、データローカリティ、ＨＡクラスタ）を取得する（ステップＳ３１）。
【0115】
次いで、仮想化環境情報取得部１２３は、取得した仮想化環境情報に基づいて、仮想化環境情報テーブル１１８を更新し（ステップＳ３２）、仮想化環境情報取得処理を終了する。
【0116】
次に、バックアップ情報取得処理（ステップＳ１７）について説明する。
【0117】
図１８は、一実施形態に係るバックアップ情報取得処理のフローチャートである。
【0118】
バックアップ情報取得部１２２は、ユーザ設定テーブル１１２にバックアップ利用の設定がされているか否を判定し（ステップＳ４１）、バックアップ利用が設定されていない場合（ステップＳ４１：Ｎｏ）には、バックアップ情報取得処理を終了する。
【0119】
一方、バックアップ利用が設定されている場合（ステップＳ４１：Ｙｅｓ）には、バックアップ情報取得部１２２は、バックアップシステム３００からバックアップ情報を取得する（ステップＳ４２）。具体的には、バックアップ情報取得部１２２は、各ノード２２０のバックアップ情報監視部２３０にバックアップ情報を取得する要求を行い、要求を受けたバックアップ情報監視部２３０は、バックアップシステム３００にバックアップ情報を要求してバックアップシステム３００のバックアップマネージャ３１０からバックアップ情報として、バックアップしたボリュームに対応するバックアップＩＤと、データ差分断面情報、及びバックアップハッシュを受信し、バックアップ情報通知部２２９は、バックアップ情報監視部２３０が受信したバックアップ情報に対応するボリュームＩＤを対応付けてバックアップ情報取得部１２２に通知する。
【0120】
次いで、バックアップ情報取得部１２２は、取得した情報を、バックアップ情報テーブル１１７に登録する（ステップＳ４３）。これにより、バックアップ情報テーブル１１７には、バックアップシステム３００でバックアップされたボリュームについての最新の状態が反映されることとなる。次いで、バックアップ情報取得部１２２は、バックアップ保管先（本実施形態では、バックアップ保存装置４００）に格納されているボリュームについての経路をリバランス経路テーブル１１３に追加し（ステップＳ４４）、処理を終了する。
【0121】
次に、コンテナ環境情報取得処理（ステップＳ１８）について説明する。
【0122】
図１９は、一実施形態に係るコンテナ環境情報取得処理のフローチャートである。
【0123】
コンテナ環境情報取得部１２４は、ユーザ設定テーブル１１２にデータローカリティを考慮する設定がされているか否を判定し（ステップＳ５１）、データローカリティを考慮する設定されていない場合（ステップＳ５１：Ｎｏ）には、コンテナ環境情報取得処理を終了する。
【0124】
一方、データローカリティを考慮する設定されている場合（ステップＳ５１：Ｙｅｓ）には、コンテナ環境情報取得部１２４は、コンテナ環境管理システム６００からコンテナ環境情報（コンテナに対応するコンテナＩＤ、ノードＩＤ、ホスト名、コンテナ名、データローカリティ、ボリュームＩＤ）を取得する（ステップＳ５２）。
【0125】
次いで、コンテナ環境情報取得部１２４は、取得したコンテナ環境情報に基づいて、コンテナ環境情報テーブル１１９を更新し（ステップＳ５３）、コンテナ環境情報取得処理を終了する。
【0126】
次に、リバランス優先度およびリバランス経路選択処理（ステップＳ１９）について説明する。
【0127】
図２０は、一実施形態に係るリバランス優先度およびリバランス経路選択処理のフローチャートである。
【0128】
管理システム１００のリバランス選択部１２５は、ノード情報テーブル１１４及びボリューム情報テーブル１１５を参照し、ストレージシステム２０の複数のノード２２０の記憶デバイス２１０のディスク使用率が均等になるように、再配置（リバランス）を行うボリュームを選定する（ステップＳ６１）。具体的には、例えば、リバランス選択部１２５は、ノード情報テーブル１１４のディスク使用率１１４ｄのディスク使用率を参照し、ディスク使用率が最も高いノード２２０と、ディスク使用率が最も低いノード２２０とを特定し、ディスク使用率が最も高いノード２２０（リバランス対象ノード）に存在するボリュームであって、ディスク使用率が最も低いノード２２０に同一のボリュームが存在しないボリュームの中から１以上のボリュームをリバランス対象ボリュームに選定する。リバランス対象ボリュームに選定するボリュームは、ディスク使用率が最も高いノード２２０からディスク使用率が最も低いノード２２０に移動した場合に、これらのノード２２０のディスク使用率が所定のディスク使用率以下となるようなデータサイズのボリュームが好ましい。ここで、選定されたディスク使用率が最も低いノード２２０がリバランスによりボリュームを送信させる転送先のノードとなる。
【0129】
次いで、リバランス選択部１２５は、選定された各ボリュームが格納されている記憶デバイス２１０を有する各ノード（バックアップ保存装置４００も含む）からのすべての通信経路のエントリをリバランス経路テーブル１１３に登録する（ステップＳ６２）。
【0130】
次いで、リバランス選択部１２５は、リバランス処理においてデータローカリティを考慮する設定であるか否かを判定する（ステップＳ６３）。ここで、データローカリティを考慮する設定であるか否かは、ユーザ設定テーブル１１２のデータローカリティ考慮１１２ｇの値によって判定することができる。
【0131】
この結果、リバランス処理においてデータローカリティを考慮する設定でない場合（ステップＳ６３：Ｎｏ）には、リバランス選択部１２５は、処理をステップＳ６５に進める。一方、リバランス処理においてデータローカリティを考慮する設定である場合（ステップＳ６３：Ｙｅｓ）には、リバランス選択部１２５は、データローカリティ対象のボリュームについての経路のエントリをリバランス経路テーブル１１３から削除し（ステップＳ６４）、処理をステップＳ６５に進める。なお、本処理では、ステップＳ６１で選択されたボリュームについての経路をリバランス経路テーブル１１３に登録した後に、データローカリティ対象のボリュームの経路をリバランス経路テーブル１１３から削除するようにして、最終的にデータローカリティ対象のボリュームがリバランスで転送されないようにしているが、これに限られず、例えば、ステップＳ６１において、データローカリティ対象のボリュームを選定しないようにしてもよい。
【0132】
ステップＳ６５では、リバランス選択部１２５は、リバランス方式の設定が、性能優先、速度優先、バランスのいずれであるかを判定する。ここで、リバランス方式の設定は、ユーザ設定テーブル１１２のリバランス方式１１２ｃの値によって判定することができる。
【0133】
ステップＳ６５でリバランス方式が性能優先であると判定した場合（ステップＳ６５：性能優先）には、リバランス選択部１２５は、リバランス経路テーブル１１３から、各ボリュームについて、パス使用率が最も低い１つの経路を使用する経路として選定し（ステップＳ６６）、処理をステップＳ６９に進める。
【0134】
また、ステップＳ６５でリバランス方式が速度優先であると判定した場合（ステップＳ６５：速度優先）には、リバランス選択部１２５は、リバランス経路テーブル１１３から、各ボリュームについて、利用可能な経路を使用する経路として選定し、この際に、利用可能な経路が複数ある場合には複数の経路を使用する経路として選定し（ステップＳ６７）、処理をステップＳ６９に進める。なお、本実施形態では、速度優先の場合には、バックアップ保存装置４００からの経路については、使用する経路として選定しなくてもよい。
【0135】
また、ステップＳ６５でリバランス方式がバランスであると判定した場合（ステップＳ６５：バランス）には、リバランス選択部１２５は、リバランス経路テーブル１１３から、各ボリュームについて、利用可能な経路のうち、パス使用率が設定された閾値（ユーザ設定テーブル１１２のバランス方式の閾値１１２ｄの値）以下のすべての経路を使用する経路として選定し（ステップＳ６８）、処理をステップＳ６９に進める。
【0136】
ステップＳ６９では、リバランス選択部１２５は、リバランス経路テーブル１１３を、ステップＳ６６，６７，６８において選定された経路のエントリのみに更新する（ステップ６９）。
【0137】
この時点のリバランス経路テーブル１１３は、リバランス処理で実際に使用する経路を示しており、以降において、リバランス経路テーブル１１３に登録されている経路を用いてリバランス処理が行われることとなる。したがって、性能優先の設定がされている場合においては、パス使用率が最も少ない１つの経路を用いて、対象ボリュームが転送されることとなる。これにより、ストレージシステム２０におけるリバランス処理による性能の低下の影響を低減することができる。また、ノード２２０でなく、バックアップ保存装置４００を含む経路により対象ボリュームを転送する場合には、ストレージシステム２０の性能の低下を防止することができる。
【0138】
また、速度優先の設定がされている場合においては、複数のノード２２０を含む複数の経路により対象ボリュームの異なる部分が並行して転送されることとなる。これにより、転送先のノード２２０に対して早期に対象ボリュームを転送させることができ、転送先のノード２２０の対象ボリュームを早期に利用可能にすることができる。
【0139】
また、バランスの設定がされている場合においては、パス使用率が所定の閾値以下の複数の経路により対象ボリュームの異なる部分が並行して転送されることとなる。これにより、ストレージシステム２０の経路に対する負荷を抑制しつつ、比較的早期に対象ボリュームを転送させることができ、転送先のノード２２０の対象ボリュームを早期に利用可能にすることができる。
【0140】
次に、リバランス優先度およびリバランス経路選択処理におけるリバランス経路テーブルの生成について具体例を挙げて説明する。
【0141】
図２１は、一実施形態に係るノード及びバックアップ保存装置の状態の一例を示す図であり、図２２は、一実施形態に係るリバランス経路テーブルの生成を説明する図である。図２１は、リバランス優先度およびリバランス経路選択処理を実行する前のノード及びバックアップ保存装置の状態を示し、図２２は、リバランス優先度およびリバランス経路選択処理の各時点におけるリバランス経路テーブル１１３を示している。なお、図９のノード情報テーブル１１４、図１０のボリューム情報テーブル１１５、図１１の通信経路情報テーブル１１６は、図２１の状態に対応する内容となっており、以下の説明で適宜使用する。
【0142】
リバランス優先度およびリバランス経路選択処理を実行する前においては、ノードｎ１は、接続された記憶デバイス２１０にボリュームｖ１，ｖ２，ｖ５等を格納して管理し、ノードｎ２は、接続された記憶デバイス２１０にボリュームｖ１，ｖ３を格納して管理し、ノードｎ３は、接続された記憶デバイス２１０にボリュームｖ３，ｖ４を格納して管理し、ノードｎ４は、接続された記憶デバイス２１０にボリュームｖ２，ｖ４，ｖ５を格納して管理し、バックアップ保存装置４００（バックアップ保存装置ｂ１）は、ボリュームｖ１，ｖ５を格納している。また、図９のノード情報テーブル１１４に示すように、ノードｎ１のディスク使用率は８０％であり、ノードｎ２のディスク使用率は７０％であり、ノードｎ３のディスク使用率は２０％であり、ノードｎ４のディスク使用率は３０％である。
【0143】
また、図１１の通信経路情報テーブル１１６に示すように、ノードｎ１の経路ｅ１のパス使用率は４０％であり、ノードｎ２の経路ｅ２のパス使用率は７０％であり、ノードｎ３の経路ｅ３のパス使用率は２０％であり、ノードｎ４の経路ｅ４のパス使用率は２０％であり、バックアップ保存装置ｂ１の経路ｅｂ１のパス使用率は１０％である。
【0144】
この状態において、バランス優先度およびリバランス経路選択処理のステップＳ６１においては、ディスク使用率が最も高いノード２２０としてノードｎ１が特定され、ディスク使用率が最も低いノード２２０としてノードｎ３が特定される。次いで、ノードｎ１に存在するボリュームであって、ノードｎ３に同一のボリュームが存在しないボリュームであるボリュームｖ１，ｖ２，ｖ５の中から１以上のボリュームがリバランス対象ボリュームに選定される。ここでは、ボリュームｖ１，ｖ２，ｖ５がリバランス対象ボリュームに選定されたものとして以下の説明をする。
【0145】
次いで、ステップＳ６２においては、ボリュームｖ１，ｖ２，ｖ５が格納されている全てのパスの経路がリバランス経路テーブル１１３に登録される。この例では、リバランス経路テーブル１１３は、図２２（１）に示す状態となる。具体的には、リバランス経路テーブル１１３には、ボリュームｖ１について、ノードｎ１、ノードｎ２、バックアップ保存装置ｂ１からの３つのパスが登録され、ボリュームｖ２については、ノードｎ１、ノードｎ４からのパスが登録され、ボリュームｖ５については、ノードｎ１、ノードｎ４、バックアップ保存装置ｂ１からのパスが登録される。
【0146】
次いで、ステップＳ６４において、データローカリティを考慮するように設定され、ボリュームｖ２がデータローカリティ対象のボリュームである場合には、図２２（１）に示すリバランス経路テーブル１１３から、ボリュームｖ２の経路のエントリが削除されることとなり、リバランス経路テーブル１１３は、図２２（２）に示す状態となる。
【0147】
リバランス経路テーブル１１３が図２２（２）に示す状態において、リバランス方式が性能優先である場合には、リバランス経路テーブル１１３から、ボリュームｖ１，ｖ５について、それぞれ最もパス使用率の低い１つの経路（ｅｂ１，ｅｂ１）を使用する経路として選定する。この結果、ステップＳ６９では、リバランス経路テーブル１１３は、図２２（３）に示す状態に更新される。
【0148】
また、リバランス経路テーブル１１３が図２２（２）に示す状態において、リバランス方式が性能優先である場合には、リバランス経路テーブル１１３から、ボリュームｖ１，ｖ５について、利用可能な経路の複数（ボリュームｖ１について経路ｅ１，ｅ２、ボリュームｖ５について経路ｅ１，ｅ４）を使用する経路として選定する。なお、本実施形態では、バックアップ保存装置４００からの経路ｅｂ１については、使用する経路として選定していないが、使用する経路として選定してもよい。この結果、ステップＳ６９では、リバランス経路テーブル１１３は、図２２（４）に示す状態に更新される。
【0149】
また、リバランス経路テーブル１１３が図２２（２）に示す状態において、リバランス方式がバランスである場合には、リバランス経路テーブル１１３から、ボリュームｖ１，ｖ５について、利用可能な経路（ボリュームｖ１について経路ｅ１，ｅ２，ｅｂ１、ボリュームｖ５について経路ｅ１，ｅ４，ｅｂ１）のうち、パス使用率が設定された閾値（この例では、５０％）以下のすべての経路（ボリュームｖ１について経路ｅ１，ｅｂ１、ボリュームｖ５について経路ｅ１，ｅ４，ｅｂ１）を使用する経路として選定する。この結果、ステップＳ６９では、リバランス経路テーブル１１３は、図２２（５）に示す状態に更新される。
【0150】
次に、完了予測時間計算処理（ステップＳ２０）について説明する。
【0151】
図２３は、一実施形態に係る完了予測時間計算処理のフローチャートである。
【0152】
管理システム１００の完了予測時間計算部１２８は、リバランス方式の設定が、性能優先、速度優先、バランスのいずれであるかを判定する（ステップＳ７１）。ここで、リバランス方式の設定は、ユーザ設定テーブル１１２のリバランス方式１１２ｃの値によって判定することができる。
【0153】
ステップＳ７１でリバランス方式が性能優先であると判定した場合（ステップＳ７１：性能優先）には、完了予測時間計算部１２８は、リバランス経路テーブル１１３を参照してリバランス対象の各ボリューム（対象ボリューム）を取得し、ボリューム情報テーブル１１５を参照して対象ボリュームのサイズを取得し、通信経路情報テーブル１１６を参照して各対象ボリュームの経路の残帯域を特定し、各対象ボリュームのボリュームサイズを各残帯域で除算することにより、各対象ボリュームのデータコピー想定時間を計算する（ステップＳ７２）。
【0154】
ステップＳ７１でリバランス方式が速度優先又はバランスであると判定した場合（ステップＳ７１：性能優先又はバランス）には、完了予測時間計算部１２８は、リバランス経路テーブル１１３を参照してリバランス対象の各ボリューム（対象ボリューム）を取得し、ボリューム情報テーブル１１５を参照して対象ボリュームのサイズを取得し、通信経路情報テーブル１１６を参照して各対象ボリュームの経路の残帯域を特定する。次いで、完了予測時間計算部１２８は、同一の対象ボリュームについて複数の経路がある場合は、各経路の残帯域比率に合わせて対象ボリュームのサイズを分割する。次いで、完了予測時間計算部１２８は、同一の対象ボリュームについて複数の経路がある場合は、各経路に割り振ったサイズを、経路の残帯域で除算することにより、この対象ボリュームのデータコピー想定時間を計算する一方、同一の対象ボリュームについて複数の経路がない場合は、対象ボリュームのサイズを、経路の残帯域で除算することにより、この対象ボリュームのデータコピー想定時間を計算する（ステップＳ７３）。
【0155】
次いで、完了予測時間計算部１２８は、各対象ボリュームに対して計算されたデータコピー想定時間を加算することにより、リバランス全体の完了予測時間を算出する（ステップＳ７４）。次いで、完了予測時間計算部１２８は、算出した完了予測時間をリバランス時間管理テーブル１２０の完了予測時間１２０ａに格納し、完了予測時間に基づいてタイムアウト時間を算出し、算出したタイムアウト時間をリバランス時間管理テーブル１２０のタイムアウト時間１２０ｂに格納する（ステップＳ７５）。なお、タイムアウト時間は、完了予測時間の所定倍（例えば、１．５倍）としてもよい。
【0156】
次に、各ノード２２０におけるノード情報通知処理について説明する。
【0157】
図２４は、一実施形態に係るノード情報通知処理のフローチャートである。
【0158】
ノード情報通知処理は、管理システム１００からノード情報の要求を受け付けた各ノード２２０によって実行される。
【0159】
ノード２２０の容量監視部２２２は、ノード２２０に接続された管理対象の記憶デバイス２１０（対象記憶デバイスという）に容量情報を要求し（ステップＳ８１）、対象記憶デバイス２１０から容量情報を受信する（ステップＳ８２）。ここで、容量情報は、例えば、対象記憶デバイス２１０のディスク最大容量、ディスク使用率、ディスクＩ／Ｏ最大性能、ディスクＩ／Ｏ使用率等を示す情報を含む。
【0160】
次いで、Ｉ／Ｏ監視部２２４は、自身のノード２２０を含む計算機２００にＩ／Ｏ情報及びボリューム情報を要求し（ステップＳ８３）、計算機２００からＩ／Ｏ情報及びボリューム情報を取得する（ステップＳ８４）。ここで、Ｉ／Ｏ情報は、計算機２００のノード２２０の通信経路の情報、例えば、経路識別子、ノードＩＤ、通信パス最大帯域、通信パス使用率等を含む。また、ボリューム情報は、例えば、ボリュームＩＤ、ボリューム識別子、ノードＩＤ、ボリュームサイズ等を含む。
【0161】
次いで、容量通知部２２３及びＩ／Ｏ通知部２２５は、ステップＳ８２で容量監視部２２２が受信した容量情報と、ステップＳ８３でＩ／Ｏ監視部２２４が取得したＩ／Ｏ情報及びボリューム情報とを管理システム１００のマネージャ１１０に通知する（ステップＳ８５）。
【0162】
次に、リバランス対象のボリュームのデータを転送先に転送させるリバランス処理を制御するリバランス制御処理について説明する。
【0163】
図２５は、一実施形態に係るリバランス制御処理のフローチャートである。
【0164】
リバランス制御処理は、例えば、定期的に実行されてもよいし、リバランス準備処理が実施された後に実行されてもよいし、リバランス処理を実行してもよい所定の時間に実行されてもよい。リバランス利用リソース計算部１２７は、リバランス時間管理テーブル１２０を参照し、未実施のリバランス処理、すなわち、指示時刻が設定されていないエントリがあるか否かを判定する（ステップＳ９１）。この結果、未実施のリバランス処理がない場合（ステップＳ９１：ＮＯ）には、リバランス利用リソース計算部１２７は、リバランス制御処理を終了する。
【0165】
一方、未実施のリバランス処理がある場合（ステップＳ９１：Ｙｅｓ）には、リバランス利用リソース計算部１２７は、リバランス指示処理（図２６参照）を実行する（ステップＳ９２）。リバランス指示処理によると、リバランスに関与するノード２２０に対してリバランスするボリュームを転送先のノード２２０に送信させるリバランス指示が送信され、リバランス指示を受け取ったノード２２０がリバランス処理を実行することとなる。
【0166】
リバランス利用リソース計算部１２７は、リバランス処理を開始してからの時間がタイムアウト時間を超過したか否かを判定する（ステップＳ９３）。この結果、タイムアウト時間を超過していない場合（ステップＳ９３：Ｎｏ）には、リバランス利用リソース計算部１２７は、ノード２２０からリバランス終了を受信したか否かを判定する（ステップＳ９４）。
【0167】
この結果、ノード２２０からリバランス終了を受信していない場合（ステップＳ９４：Ｎｏ）には、リバランス利用リソース計算部１２７は、処理をステップＳ９３に進める一方、ノード２２０からリバランス終了を受信した場合（ステップＳ９４：Ｙｅｓ）には、リバランス利用リソース計算部１２７は、リバランス制御処理を終了する。なお、リバランス終了を受領した後においては、転送が終了したボリュームについてリバランス対象ノードから削除してもよい。
【0168】
一方、リバランス処理を開始してからの時間がタイムアウト時間を超過している場合（ステップＳ９３：Ｙｅｓ）には、リバランス処理を中止したほうがよいことを意味しているので、リバランス利用リソース計算部１２７は、リバランス処理を中止させる処理（リバランス中止処理）を実行し（ステップＳ９５）、リバランス制御処理を終了する。これにより、リバランス処理がタイムアウト時間を超過して継続して実行されることを適切に防止することができる。なお、リバランス処理を終了するまでに転送が終了したボリュームについては、リバランス対象ノードから削除してもよい。
【0169】
次に、リバランス指示処理（ステップＳ９２）について説明する。
【0170】
図２６は、一実施形態に係るリバランス指示処理のフローチャートである。
【0171】
リバランス指示部１２６は、リバランス経路テーブル１１３に登録されているボリュームの送信元となるノードの１つを処理対象として、ループ１の処理（ステップＳ１０１～Ｓ１０７）を実行する。ここで、ループ１の処理で処理対象とされているノードを対象ノードということとする。
【0172】
リバランス指示部１２６は、リバランス経路テーブル１１３から対象ノードに関するエントリを全て抽出する（ステップＳ１０１）。
【0173】
次いで、リバランス指示部１２６は、各エントリに対応するボリュームを転送先に送信させる指示内容を作成する（ステップＳ１０２）。ここで、同一のボリュームについて複数の経路によりリバランスする場合には、経路毎に同一のボリュームの異なる範囲を並行して転送させる指示内容とする。
【0174】
次いで、リバランス指示部１２６は、指示内容にバックアップデータを利用する内容が含まれているか否かを判定する（ステップＳ１０３）。
【0175】
この結果、指示内容にバックアップデータを利用する内容が含まれていない場合（ステップＳ１０３：ＮＯ）には、リバランス指示部１２６は、処理をステップＳ１０５に進める一方、指示内容にバックアップデータを利用する内容が含まれている場合（ステップＳ１０３：ＹＥＳ）には、リバランス指示部１２６は、指示内容に対して、バックアップデータに対して、現在のデータとの差分を解消させるための指示（差分追い付き指示：例えば、バックアップデータのデータ差分断面情報）を含め（ステップＳ１０４）、処理をステップＳ１０５に進める。
【0176】
ステップＳ１０５では、リバランス指示部１２６は、ユーザ設定テーブル１１２からリバランス方式の閾値１１２ｄの閾値（Ｉ／Ｏ閾値情報）を取得し（ステップＳ１０５）、対象ノードへの最終的な指示内容を決定する（ステップＳ１０６）。具体的には、リバランス指示部１２６は、リバランス方式がバランスである場合には、ステップＳ１０５で取得したＩ／Ｏ閾値情報を含めた指示内容とする。ここで、指示内容にＩ／Ｏ閾値情報が含まれている場合には、ノード２２０のＩ／Ｏ制御部２２６は、リバランスの指示内容のボリュームのデータ転送においては、パス使用率がＩ／Ｏ閾値情報の閾値以下となるように通信を制御することとなる。したがって、経路に対する負荷を抑制した状態でリバランスすることができる。
【0177】
次いで、リバランス指示部１２６は、決定した指示内容のリバランスを実行させるリバランス指示を対象ノード２２０に送信し（ステップＳ１０７）、対象ノードに対するループ１の処理を終了する。
【0178】
リバランス指示部１２６は、対象ノードに対するループ１の処理を終了した場合には、ループ１の処理を実行していない他のノードを新たな対象ノードとして、ループ１の処理を実行し、リバランス経路テーブル１１３に含まれるすべてのノードに対してループ１の処理を実行した後に、リバランス時間管理テーブル１２０のリバランス指示時刻１２０ｃに、リバランス指示を行った時刻（リバランス指示時刻）を格納し（ステップＳ１０８）、リバランス指示処理を終了する。
【0179】
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で、適宜変形して実施することが可能である。
【0180】
例えば、上記実施形態では、計算機システム１に、バックアップシステム３００及びバックアップ保存装置４００を備えるようにしていたが、バックアップシステム３００及びバックアップ保存装置４００を備えていなくてもよい。
【0181】
例えば、上記実施形態では、ノード２２０が制御対象とする記憶デバイスを計算機２００内の記憶デバイス２１０としていたが、本発明はこれに限られず、計算機２００に外部接続された記憶デバイスであってもよい。
【0182】
また、上記実施形態では、リバランス処理の設定として、性能優先と、速度優先と、バランスのいずれかを選択して設定可能であったが、本発明はこれに限られず、性能優先、速度性能、または、バランスのいずれかに固定的に設定されていてもよい。
【符号の説明】
【0183】
１…計算機システム、１０…ネットワーク、２０…ストレージシステム、１００…管理システム、１０１…プロセッサ、１１０…マネージャ、２００…計算機、２１０…記憶デバイス、２２０…ノード、３００…バックアップシステム、４００…バックアップ保存装置、５００…仮想化環境管理システム、６００…コンテナ環境管理システム
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
