特開 2023-119489 計算機システム、ボリューム配置管理装置、及びボリューム配置管理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023119489

(43)【公開日】2023-08-28

(54)【発明の名称】計算機システム、ボリューム配置管理装置、及びボリューム配置管理方法

(51)【国際特許分類】

   G06F 16/182 20190101AFI20230821BHJP

   G06F 16/11 20190101ALI20230821BHJP

【ＦＩ】

G06F16/182

G06F16/11

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022022423

(22)【出願日】2022-02-16

(71)【出願人】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110000279

【氏名又は名称】弁理士法人ウィルフォート国際特許事務所

(72)【発明者】

【氏名】▲高▼田 昌忠

(72)【発明者】

【氏名】早坂 光雄

(57)【要約】

【課題】上位ストレージクラスタで冗長化されたボリュームのデータが使用不可となる状況を適切に抑制できるようにする。
【解決手段】分散ファイルシステムクラスタ３０と、ブロックＳＤＳクラスタ４０とを備える計算機システム１において、分散ファイルシステムクラスタ３０は、複数の分散ファイルシステムノード３００を有し、管理すべきファイルを複数の分散ファイルシステムノード３００が管理する複数のボリュームに冗長化させて格納させ、ブロックＳＤＳクラスタ４０は、複数のブロックＳＤＳノード４００を有し、ブロックＳＤＳノード４００の記憶装置の記憶領域に基づいて複数のボリュームを提供し、管理サーバ２０のＣＰＵは、分散ファイルシステムクラスタ３０におけるファイルを冗長化のために格納する複数のボリュームが、１つのブロックＳＤＳノード４００の記憶装置の記憶領域に基づくボリュームとならないように制御するように構成する。
【選択図】図１

【特許請求の範囲】

【請求項1】

上位クラスタと、下位クラスタとを備える計算機システムであって、
前記上位クラスタは、複数の第１ノードを有し、管理すべきデータ単位を複数の第１ノードが管理する複数のボリュームに冗長化させて格納させ、
前記下位クラスタは、複数の第２ノードを有し、前記第２ノードの記憶装置の記憶領域に基づいて複数の前記ボリュームを提供し、
前記計算機システムのプロセッサは、
前記上位クラスタにおける前記データ単位を冗長化のために格納する複数の前記ボリュームが、１つの前記第２ノードの前記記憶装置の記憶領域に基づくボリュームとならないように制御する
計算機システム。

【請求項2】

前記計算機システムのプロセッサは、
前記データ単位を冗長化のために格納する複数の前記ボリュームのすべてが異なる前記第２ノードの前記記憶装置の記憶領域に基づくボリュームとなるように制御する
請求項１に記載の計算機システム。

【請求項3】

前記冗長化は、前記データ単位の多重化である
請求項２に記載の計算機システム。

【請求項4】

前記冗長化は、イレイジャーコーディングである
請求項２に記載の計算機システム。

【請求項5】

前記計算機システムのプロセッサは、
前記データ単位を冗長化のために格納させている複数の前記ボリュームのそれぞれが基づいている前記記憶領域を有する第２ノードを特定し、
前記特定された第２ノードが重複している場合に、重複している前記第２ノードの記憶領域に基づいている複数の前記ボリュームの一部のボリュームを、前記特定された第２ノード以外の第２ノードに移動させる
請求項１に記載の計算機システム。

【請求項6】

前記計算機システムは、
管理装置をさらに備え、
前記管理装置のプロセッサは、
前記データ単位を冗長化のために格納させている複数の前記ボリュームのそれぞれが基づいている前記記憶領域を有する第２ノードを特定し、
前記特定された第２ノードが重複している場合に、重複している前記第２ノードの記憶領域に基づいている複数の前記ボリュームの一部のボリュームを、前記特定された第２ノード以外の第２ノードに移動させるように前記下位クラスタのいずれかの第２ノードのプロセッサに指示する
請求項５に記載の計算機システム。

【請求項7】

前記計算機システムは、
管理装置をさらに備え、
前記管理装置のプロセッサは、
前記データ単位を冗長化のために格納させている複数の前記ボリュームを特定可能な冗長化ボリューム情報を前記下位クラスタに送信し、
前記下位クラスタの前記第２ノードのプロセッサは、
前記冗長化ボリューム情報を受信し、
前記冗長化ボリューム情報に対応する複数のボリュームについて、前記複数の前記ボリュームのそれぞれが基づいている前記記憶領域を有する第２ノードを特定し、
前記特定された第２ノードが重複している場合に、重複している前記第２ノードの記憶領域に基づいている複数の前記ボリュームの一部のボリュームを、前記特定された第２ノード以外の第２ノードに移動させる
請求項５に記載の計算機システム。

【請求項8】

前記計算機システムのプロセッサは、
前記データ単位を冗長化のために格納する複数の前記ボリュームを特定可能な冗長化ボリューム情報を受け付け、
前記冗長化ボリューム情報に対応する複数のボリュームを、異なる前記第２ノードの前記記憶装置の記憶領域に基づくボリュームとなるように生成する
請求項２に記載の計算機システム。

【請求項9】

上位クラスタと、下位クラスタとを備える計算機システムにおけるボリュームの移動を管理するボリューム配置管理装置であって、
前記上位クラスタは、複数の第１ノードを有し、管理すべきデータ単位を複数の第１ノードが管理する複数のボリュームに冗長化させて格納させ、
前記下位クラスタは、複数の第２ノードを有し、前記第２ノードの記憶装置の記憶領域に基づいて複数の前記ボリュームを提供し、
前記管理装置のプロセッサは、
前記上位クラスタにおける前記データ単位を冗長化のために格納する複数の前記ボリュームが、１つの前記第２ノードの前記記憶装置の記憶領域に基づくボリュームとならないように制御する
ボリューム配置管理装置。

【請求項10】

上位クラスタと、下位クラスタとを備える計算機システムによるボリューム配置管理方法であって、
前記上位クラスタは、複数の第１ノードを有し、管理すべきデータ単位を複数の第１ノードが管理する複数のボリュームに冗長化させて格納させ、
前記下位クラスタは、複数の第２ノードを有し、前記第２ノードの記憶装置の記憶領域に基づいて複数の前記ボリュームを提供し、
前記計算機システムは、
前記上位クラスタにおける前記データ単位を冗長化のために格納する複数の前記ボリュームが、１つの前記第２ノードの前記記憶装置の記憶領域に基づくボリュームとならないように制御する
ボリューム配置管理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数のノード（計算機）で構成されるストレージクラスタにおけるボリュームの配置を管理する技術に関する。

【背景技術】

【0002】

複数のノードで構成するスケールアウト型のストレージシステムが知られている。スケールアウト型のストレージシステムは、ノードとして汎用サーバを用いるのが一般的である。汎用サーバは信頼性が低いため、ストレージシステムでは、複数のサーバを並べて冗長構成にし、一部のサーバに障害が発生しても別のサーバでサービスを継続する。

【0003】

ＡＩやデータ分析が扱うデータはファイルデータやＮｏＳＱＬ格納データであり、これらを一元的に保存するストレージがデータレイクである。データレイクには、ファイル／オブジェクトやＮｏＳＱＬのインタフェースを提供するスケールアウトストレージが用いられる。スケールアウトストレージには、分散ファイルシステムクラスタやＮｏＳＱＬクラスタの技術が用いられる。分散ファイルシステムクラスタやＮｏＳＱＬクラスタは、複数のサーバで構成されており、サーバ障害等からデータを保護するため、クライアントが入力したデータを複数の分散ファイルシステムノード／ＮｏＳＱＬノードのボリュームに冗長化して分散して格納する。例えば、データの冗長化の方法は、レプリケーションによる２重化や３重化や、Ｅｒａｓｕｒｅ Ｃｏｄｉｎｇ（イレイジャーコーディング）がある。

【0004】

一方、ブロックストレージをＳＤＳ（Ｓｏｆｔｗａｒｅ Ｄｅｆｉｎｅｄ Ｓｔｏｒａｇｅ）化したブロックＳＤＳが知られている。ブロックＳＤＳは、複数のノードによりストレージクラスタを構成し、ｉＳＣＳＩなどのインタフェースを提供する。ブロックＳＤＳは、サーバ障害等からデータを保護するため、ｉＳＣＳＩのクライアントが入力したデータを複数のノードに冗長化して分散して格納する。例えば、データの冗長化の方法は、レプリケーションによる２重化や３重化や、イレイジャーコーディングがある。

【0005】

また、ストレージシステムとしては、ｄＨＣＩ（Ｄｉｓａｇｇｒｅｇａｔｅｄ Ｈｙｐｅｒ Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）が知られている。ｄＨＣＩでは，コンピュートクラスタとストレージクラスタとが物理的に分離したサーバで動作し、各クラスタは独立してスケールできる。ｄＨＣＩの考え方を分散ファイルシステムクラスタ／ＮｏＳＱＬクラスタとブロックＳＤＳクラスタとに適用することで、分散ファイルシステムクラスタ／ＮｏＳＱＬクラスタと、ブロックＳＤＳクラスタとを独立してスケールできる。

【0006】

複数のノードにデータを格納する際に、データの冗長度を保つため、データの冗長化を考慮して冗長化したデータが同じストレージノードに配置されないように制御する技術がある。特許文献１には、ブロックＳＤＳにおいて、冗長化したデータのペアが同じストレージノードに格納されないようにストレージノードを選択する方式が開示されている。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特許第６６６８３０９号明細書

【発明の概要】

【発明が解決しようとする課題】

【0008】

例えば、分散ファイルシステムクラスタ／ＮｏＳＱＬクラスタと、ブロックＳＤＳクラスタとを備えるｄＨＣＩ構成の計算機システムにおいては、分散ファイルシステムクラスタ／ＮｏＳＱＬクラスタがデータを３重化するボリューム（データの格納先）が、ブロックＳＤＳクラスタの１つのノードに配置されてしまう虞がある。この場合、ブロックＳＤＳクラスタのノードに障害が発生した際には、分散ファイルシステムクラスタ／ＮｏＳＱＬクラスタがデータを３重化しているすべてのボリューム（データ）がその障害が発生したノードである場合には、それらのボリュームが同時に使用不可となってしまう。これに対して、特許文献１による技術では、ブロックＳＤＳ内部の情報を用いて内部で制御する技術であり、分散ファイルシステムクラスタ／ＮｏＳＱＬクラスタとブロックＳＤＳクラスタとを備えるｄＨＣＩ構成のシステムに適用できない。

【0009】

本発明は、上記事情に鑑みなされたものであり、その目的は、複数のストレージクラスタを階層化して構成される計算機システムにおいて、上位ストレージクラスタで冗長化されたボリュームのデータが使用不可となる状況を適切に抑制することのできる技術を提供することにある。

【課題を解決するための手段】

【0010】

上記目的を達成するため、一観点に係る計算機システムは、上位クラスタと、下位クラスタとを備える計算機システムであって、前記上位クラスタは、複数の第１ノードを有し、管理すべきデータ単位を複数の第１ノードが管理する複数のボリュームに冗長化させて格納させ、前記下位クラスタは、複数の第２ノードを有し、前記第２ノードの記憶装置の記憶領域に基づいて複数の前記ボリュームを提供し、前記計算機システムのプロセッサは、前記上位クラスタにおける前記データ単位を冗長化のために格納する複数の前記ボリュームが、１つの前記第２ノードの前記記憶装置の記憶領域に基づくボリュームとならないように制御する。

【発明の効果】

【0011】

本発明によれば、複数のストレージクラスタを階層化して構成される計算機システムにおいて、上位ストレージクラスタで冗長化されたボリュームのデータが使用不可となる状況を適切に抑制することができる。

【図面の簡単な説明】

【0012】

【図1】図１は、第１実施例に係る計算機システムの全体構成図である。

【図2】図２は、第１実施例の概要を説明する図である。

【図3】図３は、第１実施例に係る管理サーバの構成図である。

【図4】図４は、第１実施例に係るボリュームリバランス管理情報の構成図である。

【図5】図５は、第１実施例に係る分散ファイルシステムノードの構成図である。

【図6】図６は、第１実施例に係るブロックＳＤＳノードの構成図である。

【図7】図７は、第１実施例に係る分散ファイルシステム作成処理のフローチャートである。

【図8】図８は、第１実施例に係る分散ファイルシステム拡張処理のフローチャートである。

【図9】図９は、第１実施例に係るボリューム移動処理のフローチャートである。

【図10】図１０は、第２実施例に係るボリューム移動処理のフローチャートである。

【図11】図１１は、第３実施例に係る分散ファイルシステム作成処理のフローチャートである。

【図12】図１２は、第３実施例に係る分散ファイルシステム拡張処理のフローチャートである。

【発明を実施するための形態】

【0013】

実施形態について、図面を参照して説明する。なお、以下に説明する実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている諸要素及びその組み合わせの全てが発明の解決手段に必須であるとは限らない。

【0014】

なお、以下の説明では「ａａａテーブル」の表現にて各種情報を説明することがあるが、各種情報は、テーブル以外のデータ構造で表現されていてもよい。各種情報は、データ構造に依存しないことを示すために「ａａａテーブル」を「ａａａ情報」と呼ぶことができる。

【0015】

また、以下の説明では、「プログラム」を動作の主体として処理を説明する場合があるが、プログラムは、プロセッサによって実行されることで、定められた処理を、適宜に記憶資源（例えば、メモリ）及び／または通信インターフェイスデバイス（例えば、通信ポート）を用いながら行うため、処理の動作の主体がプロセッサとされてもよい。逆に、プロセッサが主語となっている処理は、１以上のプログラムを実行することにより行われると解釈することができる。プロセッサは、典型的には、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）のようなマイクロプロセッサであるが、処理の一部（例えば、暗号化／復号化、圧縮／伸張）を実行するハードウェア回路を含んでもよい。

【0016】

また、各情報の内容を説明する際に、識別情報について「識別子」、「名」、「ＩＤ」等の表現を用いるが、これらはお互いが置換可能である。これらのうちの少なくとも１つに代えて、多種の識別情報が使用されてよい。

【0017】

また、以下の説明では、同種の要素を区別しないで説明する場合には、参照符号を使用し、同種の要素を区別して説明する場合には、その要素の参照符号に代えて、その要素に割り振られた識別子（例えば番号及び符号のうちの少なくとも１つ）を使用することがある。

【実施例0018】

図１は、第１実施例に係る計算機システムの全体構成図である。

【0019】

計算機システム１は、１以上のクライアント１０、ボリューム配置管理装置の一例としての管理サーバ２０、上位クラスタの一例としても分散ファイルシステムクラスタ３０、及び下位クラスタの一例としてのブロックＳＤＳクラスタ４０を有する。分散ファイルシステムクラスタ３０と、ブロックＳＤＳクラスタ４０とは、ネットワーク５０を介して接続されている。ネットワーク５０は、拠点内ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等のネットワークである。

【0020】

また、クライアント１０と、分散ファイルシステムクラスタ３０と、管理サーバ２０とは、例えば、拠点内ＬＡＮ等のネットワーク５１で接続されている。また、管理サーバ２０と、ブロックＳＤＳクラスタ４０とは、例えば、拠点内ＬＡＮ等のネットワーク５２で接続されている。なお、ネットワーク５０，５１，５２の種類は上記に限定されず、種々のネットワークを利用可能である。

【0021】

クライアント１０は、例えば、計算機であり、例えば、ＮＦＳ（Ｎｅｔｗｏｒｋ Ｆｉｌｅ Ｓｙｓｔｅｍ）やＣＩＦＳ（Ｃｏｍｍｏｎ Ｉｎｔｅｒｎｅｔ Ｆｉｌｅ Ｓｙｓｔｅｍ）などのファイル共有プロトコルを用いて分散ファイルシステムクラスタ３０が提供するファイル共有サービスを利用する。

【0022】

管理サーバ２０は、一以上の計算機であり、分散ファイルシステムクラスタ３０と、ブロックＳＤＳクラスタ４０とを管理するサーバである。

【0023】

分散ファイルシステムクラスタ３０は、クライアント１０に対してファイル（データ単位の一例）を共有可能に分散して管理するファイル共有サービスを提供する。分散ファイルシステムクラスタ３０は、複数の分散ファイルシステムノード３００（第１ノードの一例）から構成される。なお、図１の例では、分散ファイルシステムクラスタ３０が３つの分散ファイルシステムノード３００（３００－１，３００－２，３００－３）で構成される例を示しているが、本発明はこれに限られず、分散ファイルシステムクラスタ３０を構成する分散ファイルシステムノード３００の数はいくつでもよい。

【0024】

ブロックＳＤＳクラスタ４０は、分散ファイルシステムクラスタ３０にブロックストレージを提供する。ブロックＳＤＳクラスタ４０は、複数のブロックＳＤＳノード４００（第２ノードの一例）から構成される。なお、図１の例では、ブロックＳＤＳクラスタ４０が３つのブロックＳＤＳノード４００（４００－１，４００－２，４００－３）で構成される例を示しているが、本発明はこれに限られず、ブロックＳＤＳクラスタ４０を構成するブロックＳＤＳノード４００の数はいくつでもよい。

【0025】

また、図１の例では、計算機システム１に分散ファイルシステムクラスタ３０を備えた例を示しているが、本発明はこれに限られず、分散ファイルシステムクラスタ３０に代えて、データベースシステムのクラスタでもよい。データベースシステムは、ＲＤＢＭＳであってもよく、ＮｏＳＱＬ格納データ（データ単位の一例）を管理するＮｏＳＱＬであってもよい。ＮｏＳＱＬは、ＫＶＳ（Ｋｅｙ－Ｖａｌｕｅ Ｓｔｏｒｅ）型のデータベースサービスをクライアント１０に提供する。

【0026】

図２は、第１実施例の概要を説明する図である。

【0027】

管理サーバ２０は、ボリュームリバランス指示プログラム２０６と、ボリュームリバランス管理情報２１０とを有する。ボリュームリバランス指示プログラム２０６は、定期的に、管理者がボリュームリバランス要求をした時に、管理者が分散ファイルシステム作成要求をした時に、または、管理者が分散ファイルシステム拡張要求をした時に以下の処理を実行する。

【0028】

ボリュームリバランス指示プログラム２０６は、分散ファイルシステムクラスタ３０から分散ファイルシステム６０の冗長化構成情報を取得する（図２（１））。ここで、分散ファイルシステム６０の冗長化構成情報とは、データがどのボリュームによって冗長化（例えば、多重化）されているかを示す情報である。なお、ボリュームリバランス指示プログラム２０６が分散ファイルシステム６０の冗長化構成情報を取得するインタフェースは、例えば、ＲＥＳＴ ＡＰＩを用いるが、これに限定されない。

【0029】

ここで、分散ファイルシステム６０は、障害等からデータを保護するため、クライアント１０が入力したデータを、複数の分散ファイルシステムノード３００に冗長化して分散して格納する。分散ファイルシステム６０でのデータの冗長化の方法は、例えば、レプリケーションによる多重化（２重化，３重化等）や、イレイジャーコーディングであってよい。なお、本実施例では、冗長化として、レプリケーションによる３重化を例を中心に説明する。レプリケーションによる３重化を実行する場合、クライアント１０が入力したデータは、異なる分散ファイルシステムノード３００が管理する３つのボリュームにコピーされて格納される。

【0030】

次に、ボリュームリバランス指示プログラム２０６は、ブロックＳＤＳクラスタ４０からブロックＳＤＳノード４００のノード情報と、ブロックＳＤＳクラスタ４０に管理されているボリュームのボリューム情報を取得する（図２（２））。ここで、ブロックＳＤＳノード４００のノード情報は、ブロックＳＤＳノード４００のノード識別子、及びフォールトセットや、ブロックＳＤＳノード４００が保有するボリュームのボリューム識別子を含む。また、ブロックＳＤＳクラスタ４０で管理されているボリュームのボリューム情報は、ボリューム識別子、ボリューム名、ボリュームのサイズ、及びボリュームが格納されているノードのノード識別子を含む。なお、ノード情報とボリューム情報とを取得するインタフェースは、例えば、ＲＥＳＴ ＡＰＩを用いるが、これに限定されない。

【0031】

次に、ボリュームリバランス指示プログラム２０６は、分散ファイルシステム６０がデータを３重化しているボリュームが、同じブロックＳＤＳノード４００に配置されているか否かをチェックする（図２（３））。このチェックの結果、分散ファイルシステム６０がデータを３重化しているボリュームが、同じブロックＳＤＳノード４００に配置されている場合は、ボリュームリバランス指示プログラム２０６は、図２（４）の処理に進め、そうでない場合は処理を終了する。

【0032】

次に、ボリュームリバランス指示プログラム２０６は、同じブロックＳＤＳノード４００に格納されている一部のボリュームを新たに配置させる配置先のブロックＳＤＳノード４００を指定して、ブロックＳＤＳクラスタ４０にボリュームの移動を指示する（図２（４））。ボリュームリバランス指示プログラム２０６が、この指示を行うインタフェースは、例えばＲＥＳＴ ＡＰＩを用いるが、これに限定されない。ここで、ボリュームの移動は、例えば、２つのボリュームが同じブロックＳＤＳノード４００に配置されている場合、そのうちのいずれか一方のボリュームを別のブロックＳＤＳノード４００を配置先として移動するように指定する。また、例えば３つのボリュームが同じブロックＳＤＳノード４００に配置されている場合、そのうちのいずれか２つのボリュームを、それぞれ別のブロックＳＤＳノード４００を配置先として移動するように指定する。

【0033】

次に、ブロックＳＤＳノード４００内のボリュームリバランスプログラム４１２は、ボリュームリバランス指示プログラム２０６からの指示を受理し、指示で指定されたボリュームを、指定された配置先のブロックＳＤＳノード４００に移動する（図２（５））。

【0034】

上記処理によると、分散ファイルシステム６０がデータを３重化しているボリュームを、異なるブロックＳＤＳノード４００に配置されるようにすることができる。これにより、いずれかのブロックＳＤＳノード４００に障害が発生した際に、３重化しているすべてのボリュームが使用不可となることを抑制できる。

【0035】

なお、上記した例では、管理サーバ２０がボリュームリバランス指示プログラム２０６を実行する例を示したが、本発明はこれに限定されず、例えば、分散ファイルシステムクラスタ３０の分散ファイルシステムノード３００がボリュームリバランス指示プログラム２０６を実行してもよい。

【0036】

図３は、第１実施例に係る管理サーバの構成図である。

【0037】

管理サーバ２０は、メモリ２０２、ＣＰＵ２０１、ネットワークＩ／Ｆ２０３，２０４、及びドライブ２０５を有する。メモリ２０２、ＣＰＵ２０１、ネットワークＩ／Ｆ２０３，２０４、及びドライブ２０５は、例えばバス等の通信路により相互に接続される。

【0038】

ＣＰＵ２０１は、メモリ２０２に格納されたプログラムを実行する。ネットワークＩ／Ｆ２０３は、ネットワーク５１を介してクライアント１０及び分散ファイルシステムノード３００と通信するインタフェースである。ネットワークＩ／Ｆ２０４は、ネットワーク５２を介してブロックＳＤＳクラスタノード４００と通信するインタフェースである。これらのネットワークＩ／Ｆ２０３，２０４は、共通のインタフェースとしてもよく、独立したインタフェースとしてもよい。

【0039】

ドライブ２０５は、例えば、ＨＤＤ（ハードディスクドライブ）や、ＳＳＤ（ソリッドステートドライブ）であり、管理サーバ２０を制御するプログラム及び情報を格納する。

【0040】

メモリ２０２は、例えば、ＲＡＭ（ＲＡＮＤＯＭ ＡＣＣＥＳＳ ＭＥＭＯＲＹ）であり、管理サーバ２０を制御するプログラム及び情報を格納する。具体的には、メモリ２０２は、例えば、ボリュームリバランス指示プログラム２０６と、オペレーティングシステム２０７と、ボリュームリバランス管理情報２１０とを格納する。なお、メモリ２０２に格納されている各プログラム及び情報は、ＣＰＵ２０１によってドライブ２０５からメモリ２０２に読み出されてもよい。

【0041】

ボリュームリバランス指示プログラム２０６は、ブロックＳＤＳクラスタ４０により提供されるボリュームのリバランスを指示するプログラムである。オペレーティングシステム２０７は、管理サーバ２０の全体を制御するプログラムである。ボリュームリバランス管理情報２１０は、ブロックＳＤＳクラスタ４０により提供されるボリュームのリバランス処理を管理する情報である。

【0042】

図４は、第１実施例に係るボリュームリバランス管理情報の構成図である。

【0043】

ボリュームリバランス管理情報２１０は、分散ファイルシステムノード情報テーブル２５０と、分散ファイルシステム情報テーブル２２０と、ブロックＳＤＳノード情報テーブル２３０と、ブロックＳＤＳボリューム情報テーブル２４０とを有する。

【0044】

分散ファイルシステムノード情報テーブル２５０は、分散ファイルシステムクラスタ３０を構成する分散ファイルシステムノード３００の情報を管理する。分散ファイルシステムノード情報テーブル２５０は、分散ファイルシステムノード３００ごとにエントリを有する。分散ファイルシステムノード情報テーブル２５０のエントリは、ノード（Ｎｏｄｅ）２５００と、フォールトセット（Ｆａｕｌｔ Ｓｅｔ）２５０１とのフィールドを有する。ノード２５００には、エントリに対応する分散ファイルシステムノード３００の識別子（ノード識別子）が格納される。フォールトセット２５０１には、エントリに対応する分散ファイルシステムノード３００が属するフォールトセットの識別子が格納される。ここで、フォールトセットは、電源やネットワークスイッチの障害に対して冗長化構成とされた計算機システム１において、障害が他のセットに影響を及ぼさないように構成されている構成のセットである。

【0045】

分散ファイルシステム情報テーブル２２０は、分散ファイルシステムクラスタ３０により構成される１以上の分散ファイルシステム６０の情報を管理する。分散ファイルシステム情報テーブル２２０は、分散ファイルシステム６０ごとにエントリを有する。分散ファイルシステム情報テーブル２２０のエントリは、ファイルシステム（Ｆｉｌｅ Ｓｙｓｔｅｍ）２２００と、データ保護タイプ（Ｄａｔａ Ｐｒｏｔｅｃｔｉｏｎ ｔｙｐｅ）２２０１と、ボリューム（Ｖｏｌｕｍｅ）２２０２とのフィールドを有する。

【0046】

ファイルシステム２２００には、エントリに対応する分散ファイルシステムの識別子が格納される。データ保護タイプ２２０１には、エントリに対応する分散ファイルシステムにおけるデータ保護（冗長化）の方法のタイプが格納される。データ冗長化の方法としては、例えば、データの３重化や、イレイジャーコーディング等がある。ボリューム２２０２には、エントリに対応する冗長化方法の対象となるボリュームの組が格納される。

【0047】

図４に示す分散ファイルシステム情報テーブル２２０は、例えば、ＦＳ００の分散ファイルシステムは、レプリケーションによる３重化の方法により、Ｖｏｌ０３，Ｖｏｌ０４，及びＶｏｌ０５のボリュームによりデータが３重化され、Ｖｏｌ０６，Ｖｏｌ０７，及びＶｏｌ０８のボリュームによりデータが３重化されていることを示し、また、ＦＳ０１の分散ファイルシステムは、データが、Ｖｏｌ０９，Ｖｏｌ１０，Ｖｏｌ１１にイレイジャーコーディングによって格納されていることを示している。

【0048】

ブロックＳＤＳノード情報テーブル２３０は、ブロックＳＤＳクラスタ４０を構成するブロックＳＤＳノード４００の情報を管理する。ブロックＳＤＳノード情報テーブル２３０は、ブロックＳＤＳノード４００ごとにエントリを有する。ブロックＳＤＳノード情報テーブル２３０のエントリは、ノード（Ｎｏｄｅ）２３００と、フォールトセット２３０１と、ボリューム（Ｖｏｌｕｍｅ）２３０２とのフィールドを有する。

【0049】

ノード２３００には、エントリに対応するブロックＳＤＳノード４００の識別子が格納される。フォールトセット２３０１には、エントリに対応するブロックＳＤＳノード４００が属するフォールトセットの識別子が格納される。ボリューム２３０２には、エントリに対応するブロックＳＤＳノード４００が保有するボリュームの識別子が格納される。

【0050】

ブロックＳＤＳボリューム情報テーブル２４０は、ブロックＳＤＳクラスタ４０におけるボリュームの情報を管理する。ブロックＳＤＳボリューム情報テーブル２４０は、ボリュームごとのエントリを有する。ブロックＳＤＳボリューム情報テーブル２４０のエントリは、ボリューム（Ｖｏｌｕｍｅ）２４００と、ボリューム名（Ｖｏｌｕｍｅ Ｎａｍｅ）２４０１と、サイズ（Ｓｉｚｅ）２４０２と、ノード２４０３と、のフィールドを含む。ボリューム２４００には、エントリに対応するボリュームの識別子（ボリューム識別子）が格納される。ボリューム名２４０１には、エントリに対応するボリュームの名前（ボリューム名）が格納される。ボリューム名は、例えば、ボリューム作成者がボリュームの作成時にボリューム対して指定する任意の名前である。サイズ２４０２には、エントリに対応するボリュームのサイズが格納される。ノード２４０３には、エントリに対応するボリュームが保持されているノードの識別子が格納される。

【0051】

図５は、第１実施例に係る分散ファイルシステムノードの構成図である。

【0052】

分散ファイルシステムノード３００は、コントローラ３０１を有する。コントローラ３０１は、メモリ３０３、ＣＰＵ３０２、ネットワークＩ／Ｆ３０４，３０５を有する。メモリ３０３、ＣＰＵ３０２、及びネットワークＩ／Ｆ３０４，３０５は、例えばバス等の通信路により相互に接続される。

【0053】

ＣＰＵ３０２は、メモリ３０３に格納されたプログラムを実行する。ネットワークＩ／Ｆ３０４は、ネットワーク５１を介してクライアント１０及び他の分散ファイルシステムノード３００と通信するインタフェースである。ネットワークＩ／Ｆ３０５は、ネットワーク５０を介してブロックＳＤＳクラスタ４０と通信するインタフェースである。これらのネットワークＩ／Ｆ３０４，３０５は、共通のインタフェースとしてもよく、独立したインタフェースとしてもよい。

【0054】

メモリ３０３は、分散ファイルシステムノード３００を制御するプログラム及び情報を格納する。具体的には、メモリ３０３は、例えば、ファイル共有プログラム３１０と、分散ファイルシステムプログラム３１１と、分散ファイルシステム作成プログラム３１２と、分散ファイルシステム拡張プログラム３１３と、分散ファイルシステム単位ボリューム管理プログラム３１４と、ノード単位ボリューム管理プログラム３１５と、オペレーティングシステム（ＯＳ）３１６と、冗長化構成情報３１７とを格納する。なお、メモリ３０３に格納されている各プログラム及び情報は、分散ファイルシステムノード３００の記憶装置（図示せず）に格納されてもよい。この場合、これらはＣＰＵ３０２によってメモリ３０３に読み出されて実行される。

【0055】

ファイル共有プログラム３１０は、クライアント１０との間で、ファイル共有プロトコルを用いたインタフェースを提供するプログラムである。分散ファイルシステムプログラム３１１は、複数の分散ファイルシステムノード３００間で構成される分散ファイルシステム６０をクライアント１０に提供するプログラムである。分散ファイルシステム作成プログラム３１２は、管理者による管理サーバ２０からの分散ファイルシステム６０の作成要求（分散ファイルシステム作成要求）を受理し、分散ファイルシステム６０を作成するプログラムである。分散ファイルシステム拡張プログラム３１３は、管理者による管理サーバ２０からの分散ファイルシステム６０の拡張要求（分散ファイルシステム拡張要求）を受理し、分散ファイルシステム６０を拡張するプログラムである。分散ファイルシステム単位ボリューム管理プログラム３１４は、分散ファイルシステム作成プログラム３１２または分散ファイルシステム拡張プログラム３１３からのボリューム作成要求を受理し、ブロックＳＤＳクラスタ４０に対してボリューム作成を要求するプログラムである。ノード単位ボリューム管理プログラム３１５は、分散ファイルシステム単位ボリューム管理プログラム３１４からの、分散ファイルシステムノード３００に対するボリュームの割り当て要求を受理し、分散ファイルシステムノード３００にボリュームを割り当てるプログラムである。分散ファイルシステム単位ボリューム管理プログラム３１４及びノード単位ボリューム管理プログラム３１５は、例えば、Ｋｕｂｅｒｎｅｔｅｓ等のコンテナ環境におけるＣＳＩ（Ｃｏｎｔａｉｎｅｒ Ｓｔｏｒａｇｅ Ｉｎｔｅｒｆａｃｅ）ドライバでもよい。オペレーティングシステム３１６は、分散ファイルシステムノード３００の全体を制御するプログラムである。

【0056】

冗長化構成情報３１７は、分散ファイルシステムクラスタ３０におけるデータを冗長化して管理しているボリュームの情報を格納する。具体的には、冗長化構成情報３１７は、分散ファイルシステム情報テーブル２２０と同様な情報であってもよい。なお、冗長化構成情報３１７は、分散ファイルシステムクラスタ３０の代表となる分散ファイルシステムノード３００のメモリ３０３のみに格納されていてもよい。

【0057】

図６は、第１実施例に係るブロックＳＤＳノードの構成図である。

【0058】

ブロックＳＤＳノード４００は、コントローラ４０１と、記憶装置４０２とを有する。コントローラ４０１は、メモリ４０３、ＣＰＵ４０５、ネットワークＩ／Ｆ４０６，４０７、及びＩ／Ｆ４０４を有する。メモリ４０３、ＣＰＵ４０５、ネットワークＩ／Ｆ４０６，４０７、及びＩ／Ｆ４０４は、例えばバス等の通信路により相互に接続される。

【0059】

ＣＰＵ４０５は、メモリ４０３に格納されたプログラムを実行する。ネットワークＩ／Ｆ４０６は、ネットワーク５０を介して分散ファイルシステムクラスタ３０（分散ファイルシステムノード３００）と通信するインタフェースである。Ｉ／Ｆ４０４は、記憶装置４０２と通信するインタフェースであり、記憶装置４０２の後述するＩ／Ｆ４２０に接続される。ネットワークＩ／Ｆ４０７は、ネットワーク５２を介して他のブロックＳＤＳノード４００、または管理サーバ２０と通信するインタフェースである。

【0060】

メモリ４０３は、ブロックＳＤＳノード４００を制御するプログラム及び情報を格納する。具体的には、メモリ４０３は、例えば、ブロックＩＯ制御プログラム４１０と、ボリューム作成プログラム４１１と、ボリュームリバランスプログラム４１２と、オペレーティングシステム４１３と、を格納する。なお、メモリ４０３に格納されている各プログラム及び情報は、記憶装置４０２に格納されてもよい。この場合、各プログラム及び情報は、ＣＰＵ４０５によって記憶装置４０２からメモリ４０３に読み出される。

【0061】

ブロックＩＯ制御プログラム４１０は、分散ファイルシステムクラスタ３０からのＩＯ要求を処理するプログラムである。ＩＯ要求は、例えば、ｉＳＣＳＩやＦＣ（Ｆｉｂｒｅ Ｃｈａｎｎｅｌ）のプロトコルを使用したＳＣＳＩコマンドである。ボリューム作成プログラム４１１は、分散ファイルシステムクラスタ３０からのボリューム作成要求を受理し、ボリュームを作成するプログラムである。ボリュームリバランスプログラム４１２は、管理サーバ２０からのボリュームリバランス要求を受けて、または、ブロックＳＤＳクラスタ４０内部の処理に応じてボリュームのリバランスを実行するプログラムである。具体的には、ボリュームリバランスプログラム４１２は、ブロックＳＤＳノード４００間の空き容量や性能の偏りを解消するためにボリュームをブロックＳＤＳノード４００間で移動する。オペレーティングシステム４１３は、ブロックＳＤＳノード４０の全体を制御するプログラムである。

【0062】

記憶装置４０２は、メモリ４２１、ＣＰＵ４２２、１台以上のディスク４２３、及びＩ／Ｆ４２０を有する。メモリ４２１、ＣＰＵ４２２、ディスク４２３、及びＩ／Ｆ４２０は、例えばバス等の通信路により相互に接続される。Ｉ／Ｆ４２０は、コントローラ４０１と通信するインタフェースである。メモリ４２１及びディスク４２３は、プログラムやデータを格納する。ＣＰＵ４２２は、コントローラ４０１からの命令に基づき、メモリ４２１内のプログラムを実行する。記憶装置４０２は、ＦＣ－ＳＡＮ等のブロック形式のストレージ機能をコントローラ４０１に提供してよい。

【0063】

次に、第１実施例に係る計算機システム１による処理動作について詳細に説明する。

【0064】

次に、分散ファイルシステム作成処理６０００について説明する。

【0065】

図７は、第１実施例に係る分散ファイルシステム作成処理のフローチャートである。

【0066】

分散ファイルシステム作成処理６０００は、例えば、分散ファイルシステム作成プログラム３１２が、管理サーバ２０から管理者による分散ファイルシステムの作成要求を受理した場合に実行される。分散ファイルシステム作成処理６０００は、ＣＰＵ３０２が分散ファイルシステム作成プログラム３１２を実行することにより行われる処理である。

【0067】

分散ファイルシステム作成プログラム３１２（厳密には、分散ファイルシステム作成プログラム３１２を実行するＣＰＵ３０２）は、管理サーバ２０からの分散ファイルシステム作成要求を受理し、分散ファイルシステム単位ボリューム管理プログラム３１４に、分散ファイルシステムに使用するための複数のボリュームの作成を要求する（Ｓ６００１）。

【0068】

分散ファイルシステム単位ボリューム管理プログラム３１４は、ボリュームの作成の要求を受理し、ブロックＳＤＳクラスタ４０にボリューム作成を要求する（Ｓ６００２）。

【0069】

ブロックＳＤＳクラスタ４０（ブロックＳＤＳクラスタ４０のいずれかのブロックＳＤＳノード４００）のボリューム作成プログラム４１１は、ボリューム作成要求を受理し、ブロックＳＤＳノード４００の記憶装置４０２の記憶領域により複数のボリュームを作成し、ボリュームの作成要求に対する応答を行う（Ｓ６００３）。

【0070】

分散ファイルシステム作成プログラム３１２は、ボリューム作成要求に対する応答を受け、分散ファイルシステムノード３００への、作成された複数のボリュームの割り当てを分散ファイルシステム単位ボリューム管理プログラム３１４に要求する（Ｓ６００４）。

【0071】

分散ファイルシステム単位ボリューム管理プログラム３１４は、分散ファイルシステムクラスタ３０を構成するそれぞれの分散ファイルシステムノード３００のノード単位ボリューム管理プログラム３１５に、生成されたボリュームのいずれかについてのその分散ファイルシステムノード３００への割り当てを要求する（Ｓ６００５）。

【0072】

ノード単位ボリューム管理プログラム３１５は、ボリュームの分散ファイルシステムノード３００への割り当て要求を受理し、割り当て要求で指定されたボリュームに分散ファイルシステムノード３００を接続する（Ｓ６００６）。

【0073】

分散ファイルシステム作成プログラム３１２は、分散ファイルシステムノード３００に接続された複数のボリューム上に分散ファイルシステム６０を作成し（Ｓ６００７）、分散ファイルシステム作成処理６０００を終了する。

【0074】

上記した分散ファイルシステム作成処理６０００によると、分散ファイルシステムクラスタ３０上に分散ファイルシステム６０が作成され、ファイル共有プログラム３１０によってファイル共有サービスがクライアント１０に提供され、クライアント１０は分散ファイルシステム６０にファイルを読み書きできるようになる。

【0075】

次に、分散ファイルシステム拡張処理７０００について説明する。

【0076】

図８は、第１実施例に係る分散ファイルシステム拡張処理のフローチャートである。

【0077】

分散ファイルシステム拡張処理７０００は、分散ファイルシステム６０の容量が足りなくなった場合などに実行される処理であり、例えば、分散ファイルシステム拡張プログラム３１３が、管理サーバ２０から管理者による分散ファイルシステムの拡張の要求を受理した場合に実行される。分散ファイルシステム拡張処理７０００は、ＣＰＵ３０２が分散ファイルシステム拡張プログラム３１３を実行することにより行われる処理である。

【0078】

分散ファイルシステム拡張プログラム３１３（厳密には、分散ファイルシステム拡張プログラム３１３を実行するＣＰＵ３０２）は、管理サーバ２０からの分散ファイルシステム拡張要求を受理し、分散ファイルシステム単位ボリューム管理プログラム３１４に、分散ファイルシステムに使用するための複数のボリュームの作成を要求する（Ｓ７００１）。

【0079】

分散ファイルシステム単位ボリューム管理プログラム３１４は、ボリュームの作成の要求を受理し、ブロックＳＤＳクラスタ４０にボリューム作成を要求する（Ｓ７００２）。

【0080】

ブロックＳＤＳクラスタ４０（ブロックＳＤＳクラスタ４０のいずれかのブロックＳＤＳノード４００）のボリューム作成プログラム４１１は、ボリューム作成要求を受理し、ブロックＳＤＳノード４００の記憶装置４０２の記憶領域により複数のボリュームを作成し、ボリュームの拡張要求に対する応答を行う（Ｓ７００３）。

【0081】

分散ファイルシステム拡張プログラム３１３は、ボリューム作成要求に対する応答を受け、分散ファイルシステムノード３００への、作成された複数のボリュームの割り当てを分散ファイルシステム単位ボリューム管理プログラム３１４に要求する（Ｓ７００４）。

【0082】

分散ファイルシステム単位ボリューム管理プログラム３１４は、分散ファイルシステムクラスタ３０を構成するそれぞれの分散ファイルシステムノード３００のノード単位ボリューム管理プログラム３１５に、生成されたボリュームのいずれかについてのその分散ファイルシステムノード３００への割り当てを要求する（Ｓ７００５）。

【0083】

ノード単位ボリューム管理プログラム３１５は、ボリュームの分散ファイルシステムノード３００への割り当て要求を受理し、割り当て要求で指定されたボリュームに分散ファイルシステムノード３００を接続する（Ｓ７００６）。

【0084】

分散ファイルシステム拡張プログラム３１３は、追加されたボリュームを利用して分散ファイルシステム６０を拡張し（Ｓ７００７）、分散ファイルシステム拡張処理７０００を終了する。

【0085】

次に、ボリューム移動処理８０００について説明する。

【0086】

図９は、第１実施例に係るボリューム移動処理のフローチャートである。

【0087】

ボリューム移動処理８０００は、例えば、定期的に、または、管理者によってボリュームリバランスが要求されたときに、管理サーバ２０のボリュームリバランス指示プログラム２０６により実行される。なお、ボリューム移動処理８０００は、分散ファイルシステム作成処理６０００または分散ファイルシステム拡張処理７０００が完了した後にその延長で呼び出されて実行されてもよい。

【0088】

ボリュームリバランス指示プログラム２０６（厳密には、ボリュームリバランス指示プログラム２０６を実行するＣＰＵ２０１）は、分散ファイルシステム６０から冗長化構成情報を取得する（Ｓ８００１）。ここで、冗長化構成情報は、例えば、分散ファイルシステム６０の識別子と、分散ファイルシステム６０におけるデータ保護（冗長化）の方法のタイプと、冗長化方法の対象となるボリュームの組とを含む。

【0089】

ボリュームリバランス指示プログラム２０６は、取得した冗長化構成情報と、ボリュームリバランス管理情報２１０の分散ファイルシステム情報テーブル２２０に格納されている情報とを比較し、情報の更新があるか否かをチェックする（Ｓ８００２）。

【0090】

この結果、情報の更新がない場合（Ｓ８００２：Ｎｏ）、ボリュームリバランス指示プログラム２０６は、処理をＳ８００４に進める。

【0091】

一方、情報の更新がある場合（Ｓ８００２：Ｙｅｓ）、ボリュームリバランス指示プログラム２０６は、冗長化構成情報に基づいて、分散ファイルシステム情報テーブル２２０を更新し（Ｓ８００３）、処理をＳ８００４に進める。

【0092】

ステップＳ８００４では、ボリュームリバランス指示プログラム２０６は、ブロックＳＤＳクラスタ４０からノード情報とボリューム情報とを取得する。ここで、ノード情報には、例えば、ブロックＳＤＳノード４００の識別子と、ブロックＳＤＳノード４００が属するフォールトセットの識別子と、ブロックＳＤＳノード４００が保有するボリュームの識別子とが含まれる。また、ボリューム情報には、例えば、ボリュームの識別子と、ボリューム名と、ボリュームのサイズと、ボリュームが保持されているノードの識別子とが含まれる。

【0093】

ボリュームリバランス指示プログラム２０６は、ブロックＳＤＳクラスタ４０のノード情報及びボリューム情報と、ブロックＳＤＳノード情報テーブル２３０及びブロックＳＤＳボリューム情報テーブル２４０に格納されている情報とを比較し、情報の更新があるか否かをチェックする（Ｓ８００５）。

【0094】

この結果、情報の更新がない場合（Ｓ８００５：Ｎｏ）、ボリュームリバランス指示プログラム２０６は、処理をＳ８００７に進める。一方、情報の更新がある場合（Ｓ８００５：Ｙｅｓ）、ボリュームリバランス指示プログラム２０６は、ブロックＳＤＳノード情報テーブル２３０及びブロックＳＤＳボリューム情報テーブル２４０を更新する（Ｓ８００６）。

【0095】

ステップＳ８００７では、ボリュームリバランス指示プログラム２０６は、ボリュームリバランス管理情報２１０を参照し、分散ファイルシステム６０がデータを冗長化している複数のボリュームが配置されているブロックＳＤＳノード４００をチェックする。

【0096】

ボリュームリバランス指示プログラム２０６は、分散ファイルシステム６０がデータを冗長化（例えば、３重化、イレイジャーコーディング）している複数のボリュームのすべてが異なるブロックＳＤＳノード４００に配置されているか否かをチェックする（Ｓ８００８）。

【0097】

この結果、冗長化しているボリュームがすべて異なるブロックＳＤＳノード４００に配置されている場合（Ｓ８００８：Ｙｅｓ）、１つのブロックＳＤＳノード４００が故障しても、他のブロックＳＤＳノード４００のデータによりデータを取得または復元できることを意味しているので、ボリュームリバランス指示プログラム２０６は、ボリューム移動処理８０００を終了する。

【0098】

一方、冗長化しているボリュームがすべて異なるブロックＳＤＳノード４００に配置されていない場合（Ｓ８００８：Ｎｏ）、いずれか複数のボリュームが同じブロックＳＤＳノード４００に配置されていることを意味しているので、ボリュームリバランス指示プログラム２０６は、すべてのボリュームの配置先が異なるブロックＳＤＳノード４００となるように、ボリュームの配置先を決定し、決定した配置先のブロックＳＤＳノード４００を指定してブロックＳＤＳクラスタ４０にボリューム移動を指示する（Ｓ８００９）。

【0099】

ブロックＳＤＳクラスタ４０のボリュームリバランスプログラム４１２は、ボリューム移動指示を受理し、指示されたボリュームを指示された配置先のブロックＳＤＳノード４００に移動し（Ｓ８０１０）、ボリューム移動処理８０００を終了する。

【0100】

上記したボリューム移動処理８０００によると、分散ファイルシステム６０がデータを冗長化している複数のボリュームが、異なるブロックＳＤＳノード４００に配置されるようになる。これにより、ブロックＳＤＳノード４００の障害時に、冗長化しているすべてのボリュームが使用不可となることを抑制できる。

【実施例0101】

次に、第２実施例に係る計算機システムについて説明する。

【0102】

ここで、第２実施例に係る計算機システムの基本的な構成は、第１実施例に係る計算機システム１と同様であるので、同様な構成については、便宜的に第１実施例に係る計算機システム１と同一の符号を用いる。

【0103】

第２実施例に係る計算機システムは、第１実施例に係る計算機システムにおけるボリューム移動処理８０００に代えて、ボリューム移動処理９０００を行う。

【0104】

次に、ボリューム移動処理９０００について説明する。

【0105】

図１０は、第２実施例に係るボリューム移動処理のフローチャートである。

【0106】

ボリューム移動処理９０００は、例えば、定期的に、または、管理者によってボリュームリバランスが要求されたときに、管理サーバ２０のボリュームリバランス指示プログラム２０６により実行される。なお、ボリューム移動処理９０００は、分散ファイルシステム作成処理６０００または分散ファイルシステム拡張処理７０００が完了した後にその延長で呼び出されて実行されてもよい。

【0107】

ボリュームリバランス指示プログラム２０６（厳密には、ボリュームリバランス指示プログラム２０６を実行するＣＰＵ２０１）は、分散ファイルシステム６０から冗長化構成情報を取得する（Ｓ９００１）。ここで、冗長化構成情報は、例えば、分散ファイルシステム６０の識別子と、分散ファイルシステム６０におけるデータ保護（冗長化）の方法のタイプと、冗長化方法の対象となるボリュームの組とを含む。

【0108】

ボリュームリバランス指示プログラム２０６は、取得した冗長化構成情報と、ボリュームリバランス管理情報２１０の分散ファイルシステム情報テーブル２２０に格納されている情報とを比較し、情報の更新があるか否かをチェックする（Ｓ９００２）。

【0109】

この結果、情報の更新がない場合（Ｓ９００２：Ｎｏ）、ボリュームリバランス指示プログラム２０６は、処理をＳ９００４に進める。

【0110】

一方、情報の更新がある場合（Ｓ９００２：Ｙｅｓ）、ボリュームリバランス指示プログラム２０６は、冗長化構成情報に基づいて、分散ファイルシステム情報テーブル２２０を更新し（Ｓ９００３）、処理をＳ９００４に進める。

【0111】

ステップＳ９００４では、ボリュームリバランス指示プログラム２０６は、ボリュームリバランス管理情報２１０を参照し、分散ファイルシステム６０がデータを冗長化しているボリュームが同じブロックＳＤＳノード４００に配置されないよう、ブロックＳＤＳクラスタ４０に、冗長化しているボリュームの同一ノード配置禁止を指定する（Ｓ９００４）。ここで、同一ノード配置禁止には、冗長化している複数のボリュームを識別する情報（冗長化ボリューム情報の一例）が含まれている。

【0112】

ブロックＳＤＳクラスタ４０（ブロックＳＤＳクラスタ４０のいずれかのブロックＳＤＳノード４００）のボリュームリバランスプログラム４１２は、同一ノード配置禁止の指定を受理し、同一ノード配置禁止として指定されたボリュームが配置されているブロックＳＤＳノード４００をチェックする（Ｓ９００５）。

【0113】

ボリュームリバランスプログラム４１２は、同一ノード配置禁止として指定された複数のボリュームのすべてが異なるブロックＳＤＳノード４００に配置されているか否かをチェックする（Ｓ９００６）。

【0114】

この結果、指定された複数のボリュームのすべてが異なるブロックＳＤＳノード４００に配置されている場合（Ｓ９００６：Ｙｅｓ）、１つのブロックＳＤＳノード４００が故障しても、他のブロックＳＤＳノード４００のデータによりデータを取得または復元できることを意味しているので、ブロックＳＤＳのボリュームリバランスプログラム４１２はボリューム移動処理９０００を終了する。

【0115】

一方、指定されたボリュームの全てが異なるブロックＳＤＳノード４００に配置されていない場合（Ｓ９００６：Ｎｏ）、ボリュームリバランスプログラム４１２は、指定されたボリュームが異なるブロックＳＤＳノード４００に配置されるように、移動対象のボリューム及びその移動先のブロックＳＤＳノード４００を計算する（Ｓ９００７）。

【0116】

ブロックＳＤＳクラスタ４０のボリュームリバランスプログラム４１２は、計算した移動先のブロックＳＤＳノード４００に移動対象のボリュームを移動し（Ｓ９００８）、ボリューム移動処理９０００を終了する。

【0117】

上記したボリューム移動処理９０００によると、分散ファイルシステム６０がデータを冗長化している複数のボリュームが、異なるブロックＳＤＳノード４００に配置されるようになる。これにより、ブロックＳＤＳノード４００の障害時に、冗長化しているすべてのボリュームが使用不可となることを抑制できる。