特開 2023-103850 ストレージシステム、連携方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023103850

(43)【公開日】2023-07-27

(54)【発明の名称】ストレージシステム、連携方法、およびプログラム

(51)【国際特許分類】

   G06F 11/20 20060101AFI20230720BHJP

   G06F 3/06 20060101ALI20230720BHJP

   G06F 16/11 20190101ALI20230720BHJP

   G06F 16/28 20190101ALI20230720BHJP

【ＦＩ】

G06F11/20 623

G06F3/06 301Z

G06F16/11

G06F16/28

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2022004614

(22)【出願日】2022-01-14

(71)【出願人】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110002365

【氏名又は名称】弁理士法人サンネクスト国際特許事務所

(72)【発明者】

【氏名】三輪 昂寛

(72)【発明者】

【氏名】三輪 周作

【テーマコード（参考）】

5B034

5B175

【Ｆターム（参考）】

5B034BB02

5B034CC04

5B175AA02

(57)【要約】

【課題】ファイルサービスとブロックサービスとの連携においてノード間の通信が増加することを回避し得るストレージシステムを提供する。
【解決手段】現用系のノードのファイル処理部と待機系のノードのファイル処理部とをペアとして管理し、現用系のノードのファイル処理部を動作可能に設定し、現用系のノードのブロック処理部と待機系のノードのブロック処理部とをペアとして管理し、現用系のノードのブロック処理部を動作可能に設定する管理部を設けるようにした。
【選択図】図１

【特許請求の範囲】

【請求項1】

ファイル単位のＩ／Ｏ（Input / Output）を行うためのファイルサービスと、ブロック単位のＩ／Ｏを行うためのブロックサービスとを提供する複数のノードがネットワークを介して接続されているストレージシステムであって、
前記複数のノードの各々は、データを記憶する記憶装置と、前記ファイルサービスにおいて、ファイルクライアントからのファイルＩ／Ｏ要求を受け付け、前記ファイルＩ／Ｏ要求をブロックＩ／Ｏ要求に変換するファイル処理部と、前記ブロックサービスにおいて、前記ブロックＩ／Ｏ要求をもとに前記記憶装置に対するＩ／Ｏを実行するための処理を行うブロック処理部とを含んで構成され、
前記複数のノードには、現用系のノードと待機系のノードとが含まれ、
前記現用系のノードのファイル処理部と前記待機系のノードのファイル処理部とをペアとして管理し、前記現用系のノードのファイル処理部を動作可能に設定し、前記現用系のノードのブロック処理部と前記待機系のノードのブロック処理部とをペアとして管理し、前記現用系のノードのブロック処理部を動作可能に設定する管理部を備える、
ストレージシステム。

【請求項2】

前記現用系のノードは、複数あり、
前記待機系のノードには、前記複数の現用系のノードの各々のファイル処理部およびブロック処理部とペアであるファイル処理部およびブロック処理部が設けられている、
請求項１に記載のストレージシステム。

【請求項3】

前記待機系のノードのハードウェア資源は、前記複数の現用系の何れのノードのハードウェア資源よりも多い、
請求項２に記載のストレージシステム。

【請求項4】

前記待機系のノードでは、前記複数の現用系のノードの何れかのノードに障害が発生した場合、前記ノードのファイル処理部とペアであるファイル処理部にメモリが割り当てられる、
請求項２に記載のストレージシステム。

【請求項5】

前記管理部は、ノードの状態を示すノード状態情報を管理し、前記複数の現用系のノードの何れかのノードに障害が発生した場合、前記ノードが閉塞したことを示す情報を前記ノード状態情報に格納し、前記ノード状態情報を参照し、障害が発生しているノード数が１つであるときは、前記ノードのファイル処理部とペアである前記待機系のノードのファイル制御部を動作可能に設定し、前記ノードのブロック処理部とペアである前記待機系のノードのブロック制御部を動作可能に設定する、
請求項２に記載のストレージシステム。

【請求項6】

前記管理部は、前記ノード状態情報を参照し、障害が発生しているノード数が２つであるときは、前記複数の現用系のノードのうち、障害が発生していないノードのファイル処理部およびブロック処理部に処理を実行しないように指示し、前記待機系のノードの動作しているファイル処理部およびブロック処理部に処理を実行しないように指示する、
請求項５に記載のストレージシステム。

【請求項7】

前記現用系のノードのファイル処理部は、ファイルクライアントからのファイルＩ／Ｏ要求を受け付けた場合、前記ファイルＩ／Ｏ要求をブロックＩ／Ｏ要求に変換し、
前記現用系のノードのブロック処理部は、前記ブロックＩ／Ｏ要求をもとに前記現用系のノードの記憶装置に対するＩ／Ｏを実行するための処理を行い、前記ブロック処理部とペアである前記待機系のノードのブロック処理部に前記ブロックＩ／Ｏ要求をもとに前記待機系のノードの記憶装置に対するＩ／Ｏを実行するようにデータの冗長化を指示し、
前記管理部は、前記待機系のノードに障害が発生した場合、前記現用系のノードのブロック処理部にデータの冗長化を停止するように指示する、
請求項１に記載のストレージシステム。

【請求項8】

ファイル単位のＩ／Ｏ（Input / Output）を行うためのファイルサービスと、ブロック単位のＩ／Ｏを行うためのブロックサービスとを提供する複数のノードがネットワークを介して接続されているストレージシステムにおいて、前記ファイルサービスと前記ブロックサービスとを連携するための連携方法であって、
前記複数のノードの各々は、データを記憶する記憶装置と、前記ファイルサービスにおいて、ファイルクライアントからのファイルＩ／Ｏ要求を受け付け、前記ファイルＩ／Ｏ要求をブロックＩ／Ｏ要求に変換するファイル処理部と、前記ブロックサービスにおいて、前記ブロックＩ／Ｏ要求をもとに前記記憶装置に対するＩ／Ｏを実行するための処理を行うブロック処理部とを含んで構成され、
前記複数のノードには、現用系のノードと待機系のノードとが含まれ、
管理部が、
前記現用系のノードのファイル処理部と前記待機系のノードのファイル処理部とをペアとして管理することと、
前記現用系のノードのファイル処理部を動作可能に設定することと、
前記現用系のノードのブロック処理部と前記待機系のノードのブロック処理部とをペアとして管理することと、
前記現用系のノードのブロック処理部を動作可能に設定することと、
を含む連携方法。

【請求項9】

ファイル単位のＩ／Ｏ（Input / Output）を行うためのファイルサービスと、ブロック単位のＩ／Ｏを行うためのブロックサービスとを提供する複数のノードがネットワークを介して接続されているストレージシステムにおいて、前記ファイルサービスと前記ブロックサービスとを提供するためのプログラムであって、
前記複数のノードの各々は、データを記憶する記憶装置と、前記ファイルサービスにおいて、ファイルクライアントからのファイルＩ／Ｏ要求を受け付け、前記ファイルＩ／Ｏ要求をブロックＩ／Ｏ要求に変換するファイル処理部と、前記ブロックサービスにおいて、前記ブロックＩ／Ｏ要求をもとに前記記憶装置に対するＩ／Ｏを実行するための処理を行うブロック処理部とを含んで構成され、
前記複数のノードには、現用系のノードと待機系のノードとが含まれ、
前記現用系のノードのファイル処理部と前記待機系のノードのファイル処理部とをペアとして管理し、前記現用系のノードのファイル処理部を動作可能に設定し、前記現用系のノードのブロック処理部と前記待機系のノードのブロック処理部とをペアとして管理し、前記現用系のノードのブロック処理部を動作可能に設定する処理をコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、概して、ストレージシステムにおけるノード間の通信に関する。

【背景技術】

【0002】

従来、ファイルサービスを提供するためのＶＭ（ＦＳＶＭ：File Server Virtual Machine）を各物理サーバ上に配置し、ＦＳＶＭが仮想的なスケールアウトファイルサーバを構築するストレージシステムが知られている。更に、ＦＳＶＭのバックエンドとして、ブロックサービスを提供するためのＣＶＭ（Controller Virtual Machine）を各物理サーバ上に配置し、仮想的なスケールアウトブロックストレージを構築するストレージシステムが知られている（特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】米国特許第１００９５５０６号明細書

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載のストレージシステムでは、ＦＳＶＭを備える物理サーバと当該ＦＳＶＭのバックエンドとなるＣＶＭを備える物理サーバとが異なることがあり、その場合、物理サーバ間の通信オーバヘッドが増加し、ファイル単位のアクセス（以下、「ファイルアクセス」と記す）の性能が劣化してしまう。この点、物理サーバ間のネットワークに高速ネットワークを採用することで性能劣化を回避することが考えられるが、このような高速ネットワークは、一般的に高価である。

【0005】

本発明は、以上の点を考慮してなされたもので、ファイルサービスとブロックサービスとの連携においてノード間の通信が増加することを回避し得るストレージシステム等を提案しようとするものである。

【課題を解決するための手段】

【0006】

かかる課題を解決するため本発明においては、ファイル単位のＩ／Ｏ（Input / Output）を行うためのファイルサービスと、ブロック単位のＩ／Ｏを行うためのブロックサービスとを提供する複数のノードがネットワークを介して接続されているストレージシステムであって、前記複数のノードの各々は、データを記憶する記憶装置と、前記ファイルサービスにおいて、ファイルクライアントからのファイルＩ／Ｏ要求を受け付け、前記ファイルＩ／Ｏ要求をブロックＩ／Ｏ要求に変換するファイル処理部と、前記ブロックサービスにおいて、前記ブロックＩ／Ｏ要求をもとに前記記憶装置に対するＩ／Ｏを実行するための処理を行うブロック処理部とを含んで構成され、前記複数のノードには、現用系のノードと待機系のノードとが含まれ、前記現用系のノードのファイル処理部と前記待機系のノードのファイル処理部とをペアとして管理し、前記現用系のノードのファイル処理部を動作可能に設定し、前記現用系のノードのブロック処理部と前記待機系のノードのブロック処理部とをペアとして管理し、前記現用系のノードのブロック処理部を動作可能に設定する管理部を設けるようにした。

【0007】

上記構成では、例えば、ファイル処理部およびブロック処理部をそれぞれペアとし、同じ物理ノードに配置することで、ファイル処理部およびブロック処理部間では内部通信が行われ、ファイルサービスとブロックサービスとの連携において、ノード間の通信回数を抑えることができる。また、上記構成では、例えば、現用系のノードと、待機系のノードとが別々に設けられているので、現用系のノードのハードウェア資源を待機系のために割り当てる必要がなく、現用系のノードの処理性能を高めることができる。

【発明の効果】

【0008】

本発明によれば、処理性能が高いストレージシステムを実現することができる。上記した以外の課題、構成および効果は、以下の発明を実施するための形態の説明により明らかにされる。

【図面の簡単な説明】

【0009】

【図1】第１の実施の形態によるストレージシステムに係る構成の一例を示す図である。

【図2】第１の実施の形態によるノードのハードウェア構成の一例を示す図である。

【図3】第１の実施の形態によるノードのソフトウェア構成の一例を示す図である。

【図4】第１の実施の形態によるクラスタ間ＤＢの一例を示す図である。

【図5】第１の実施の形態による管理部用情報の一例を示す図である。

【図6】第１の実施の形態によるストレージ制御部用情報の一例を示す図である。

【図7】第１の実施の形態によるファイル制御部用情報の一例を示す図である。

【図8】第１の実施の形態によるファイル制御部ペアとストレージＯＳ部ペアとの配置の一例を示す図である。

【図9】第１の実施の形態による正常時のＩ／Ｏ処理の一例を示す図である。

【図10】第１の実施の形態による障害時のＩ／Ｏ処理の一例を示す図である。

【図11】第１の実施の形態による制御フローの一例を示す図である。

【図12】第１の実施の形態による制御フローの一例を示す図である。

【図13】第１の実施の形態による制御フローの一例を示す図である。

【図14】第１の実施の形態による制御フローの一例を示す図である。

【図15】第１の実施の形態による制御フローの一例を示す図である。

【図16】第１の実施の形態による制御フローの一例を示す図である。

【図17】第１の実施の形態による制御フローの一例を示す図である。

【図18】第１の実施の形態による制御フローの一例を示す図である。

【図19】第１の実施の形態による制御フローの一例を示す図である。

【図20】第１の実施の形態によるプログラムが提供される態様の一例を示す図である。

【発明を実施するための形態】

【0010】

（１）第１の実施の形態
本実施の形態では、上述した課題を解決するための構成、方法等について説明する。更に、本実施の形態では、例えば、下記のようなストレージシステムの処理性能の向上に関する構成、方法等についても説明する。

【0011】

上記特許文献１に記載のストレージシステムでは、例えば、正常運用時、あるＦＳＶＭが担当するファイルのデータは、同一物理ノード上に存在するＣＶＭがアクセスするローカルストレージに存在し、ファイルに対するリードのアクセスに対して物理ネットワークを介したアクセスを回避できる。

【0012】

ここで、ＣＶＭを利用したデータ保護方式では、冗長データを他の物理サーバに適宜分散して配置する。そのため、あるＣＶＭのローカルストレージに保存されるデータの全体を見れば、冗長データは、多数の物理サーバに配置される形となる。

【0013】

この状況で、ある物理ノードが閉塞すると、正常な物理ノードのみでファイルサービスおよびブロックサービスが引き継がれる。しかしながら、冗長データを異なる物理サーバに分散して配置していることにより、障害後のＦＳＶＭからのＩ／Ｏリクエストに対して、別の物理ノードにＩ／Ｏ処理を依頼する必要が生じ、ファイルアクセスの性能が劣化してしまう。

【0014】

この点、現用系のノードのＦＳＶＭおよび待機系のノードのＦＳＶＭと現用系のノードのＣＶＭおよび待機系のノードのＣＶＭとをそれぞれペアとし、同じ物理ノードに配置することで、現用系でも待機系でも、ＦＳＶＭおよびＣＶＭでは内部通信が行われ、ファイルサービスとブロックサービスとの連携において、物理ノード間の通信回数を抑えることができる。ただし、一のペアの現用系のノードのＦＳＶＭおよびＣＶＭと他のペアの待機系のノードのＦＳＶＭおよびＣＶＭとが同じ物理ノードに設けられる場合、待機系のためのハードウェア資源を現用系のノードに確保しなければならないため、ハードウェア資源を有効に活用できなくなってしまう。

【0015】

以下、図面を参照して、上述の問題を解決するするための一実施の形態を詳述する。以下の記載および図面は、本発明を説明するための例示であって、説明の明確化のため、適宜、省略および簡略化がなされている。また、実施の形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。本発明が実施の形態に制限されることはなく、本発明の思想に合致するあらゆる応用例が本発明の技術的範囲に含まれる。本発明は、当業者であれば本発明の範囲内で様々な追加、変更等を行うことができる。本発明は、他の種々の形態でも実施することが可能である。特に限定しない限り、各構成要素は、複数でも単数でも構わない。

【0016】

以下の説明では、「テーブル」、「表」、「リスト」、「キュー」等の表現にて各種情報を説明することがあるが、各種情報は、これら以外のデータ構造で表現されていてもよい。データ構造に依存しないことを示すために「ＸＸテーブル」、「ＸＸリスト」等を「ＸＸ情報」と呼ぶことがある。各情報の内容を説明する際に、「識別情報」、「識別子」、「名」、「ＩＤ」、「番号」等の表現を用いるが、これらについてはお互いに置換が可能である。

【0017】

また、以下の説明では、プログラムを実行して行う処理を説明する場合があるが、プログラムは、少なくとも１以上のプロセッサ（例えば、ＣＰＵ（Central Processing Unit））によって実行されることで、定められた処理を、適宜に記憶資源（例えば、メモリ）および／またはインタフェースデバイス（例えば、通信ポート）等を用いながら行うため、処理の主体がプロセッサとされてもよい。同様に、プログラムを実行して行う処理の主体が、プロセッサを有するコントローラ、装置、システム、計算機、ノード、ストレージシステム、ストレージ装置、サーバ、管理計算機、クライアント、またはホストであってもよい。プログラムを実行して行う処理の主体（例えば、プロセッサ）は、処理の一部または全部を行うハードウェア回路を含んでもよい。例えば、プログラムを実行して行う処理の主体は、暗号化および復号化、または圧縮および伸張を実行するハードウェア回路を含んでもよい。プロセッサは、プログラムに従って動作することによって、所定の機能を実現する機能部として動作する。プロセッサを含む装置およびシステムは、これらの機能部を含む装置およびシステムである。

【0018】

プログラムは、プログラムソースから計算機のような装置にインストールされてもよい。プログラムソースは、例えば、プログラム配布サーバまたは計算機が読み取り可能な記憶メディアであってもよい。プログラムソースがプログラム配布サーバの場合、プログラム配布サーバは、プロセッサ（例えば、ＣＰＵ）と記憶資源を含み、記憶資源は、さらに配布プログラムと配布対象であるプログラムとを記憶してよい。そして、プログラム配布サーバのプロセッサが配布プログラムを実行することで、プログラム配布サーバのプロセッサは、配布対象のプログラムを他の計算機に配布してよい。また、以下の説明において、２以上のプログラムが１つのプログラムとして実現されてもよいし、１つのプログラムが２以上のプログラムとして実現されてもよい。

【0019】

なお、以下の説明では、図面において同一要素については、同じ番号を付し、説明を適宜省略する。また、同種の要素を区別しないで説明する場合には、枝番を含む参照符号のうちの共通部分（枝番を除く部分）を使用し、同種の要素を区別して説明する場合は、枝番を含む参照符号を使用することがある。例えば、ファイルクライアントを特に区別しないで説明する場合には、「ファイルクライアント１１０」と記し、個々のファイルクライアントを区別して説明する場合には、「ファイルクライアント１１０－１」、「ファイルクライアント１１０－２」のように記すことがある。また、同種の要素を区別して説明する場合は、その要素の参照符号を使用または参照符号に代えてその要素に割り振られたＩＤを使用することがある。

【0020】

図１は、本実施の形態によるストレージシステム１００に係る構成の一例を示す図である。ストレージシステム１００は、１つ以上のファイルクライアント１１０と、複数のノード１２０とを備える。

【0021】

ファイルクライアント１１０およびノード１２０間は、ネットワークスイッチ１３０を介して接続されている。ネットワークスイッチ１３０は、例えば、ファイバーチャネル（ＦＣ：Fibre Channel）、イーサネット（登録商標）、InfiniBand、無線ＬＡＮ（Local Area Network）等から構成されるネットワークの一例であり、以下では、「ファイルサービスネットワーク」と記す。各ノード１２０間は、ネットワーク１４０を介して接続されている。ネットワーク１４０は、イーサネット（登録商標）、InfiniBand、無線ＬＡＮ等から構成されるネットワークの一例であり、以下では、「バックエンドネットワーク」と記す。

【0022】

ただし、ファイルサービスネットワークおよびバックエンドネットワークは、同一のネットワークにより構成されていてもよい。また、各ファイルクライアント１１０および各ノード１２０は、ファイルサービスネットワークおよびバックエンドネットワーク以外の管理用ネットワークに接続されていてもよい。

【0023】

ストレージシステム１００では、図１に示すように、フェイルオーバの対象のノード１２０が含まれる範囲を規定するためのクラスタ１５０が構成されている。クラスタ１５０には、複数のノード１２０が属している。クラスタ１５０に属する一のノード１２０に障害が発生した場合、クラスタ１５０に属する他のノード１２０に処理が引き継がれる。他のノード１２０は、処理が引き継がれる専用のノード１２０であり、１つ以上のノード１２０が定められている。以下では、処理が引き継がれる専用のノード１２０がノード１２０－４である場合を例に挙げて説明する。なお、実行系として起動するノード１２０－１～ノード１２０－３を現用系のノード１２０と記し、待機系として起動するノード１２０－４を待機系のノード１２０と記すことがある。また、図１の例では、クラスタ１５０が１つのみ設定された場合について例示しているが、ストレージシステム１００内に複数のクラスタ１５０を設定するようにしてもよい。

【0024】

ファイルクライアント１１０は、ノード１２０に対してホスト（上位装置）として機能する汎用のコンピュータである。ファイルクライアント１１０は、仮想マシンのような仮想的なコンピュータであってもよく、ノード１２０に設けられていてもよい。

【0025】

ファイルクライアント１１０は、ユーザ操作、実装されたアプリケーションプログラム等からの要求に応じて、ノード１２０に対して、ファイル単位のリード要求またはファイル単位のライト要求（以下、「ファイルＩ／Ｏ要求」と記す）を送信する。ファイルＩ／Ｏ要求は、ＣＩＦＳ（Common Internet File System）、ＮＦＳ（Network File System）等のプロトコルに従い、アクセス先のファイルを指定する要求であってよい。

【0026】

ノード１２０は、データを読み書きするための記憶領域をファイルクライアント１１０に対して提供する汎用のコンピュータである。

【0027】

図２は、ノード１２０のハードウェア構成の一例を示す図である。

【0028】

ノード１２０は、構成要素として、ＣＰＵ２１０と、メモリ２２０と、複数の記憶装置２３０と、第１の通信装置２４０と、第２の通信装置２５０とを備える。各構成要素は、内部ネットワーク２６０を介して接続されている。各ノード１２０は、各構成要素を１以上備える。

【0029】

ＣＰＵ２１０は、ノード１２０全体の動作制御を司るプロセッサである。メモリ２２０は、ＳＲＡＭ（Static RAM(Random Access Memory)）、ＤＲＡＭ（Dynamic RAM）等の揮発性の半導体メモリから構成され、ＣＰＵ２１０のワークメモリとして各種プログラムおよび必要なデータを一時的に保持するために利用される。メモリ２２０に格納されたプログラムを、少なくとも１以上のＣＰＵ２１０が実行することにより、後述のようなノード１２０全体としての各種処理が実行される。

【0030】

記憶装置２３０は、ＮＶＭｅ（Non-Volatile Memory）ドライブ、ＳＡＳ（Serial Attached SCSI(Small Computer System Interface)）ドライブ、ＳＡＴＡ（Serial ATA(Advanced Technology Attachment)）、ＳＳＤ（Solid State Drive）またはＳＣＭ（Storage Class Memory）等の大容量の不揮発性の記憶装置から構成され、ファイルクライアント１１０に対してデータを読み書きするための記憶領域を提供する。

【0031】

第１の通信装置２４０は、ノード１２０がファイルサービスネットワークを介してファイルクライアント１１０と通信を行うためのインタフェースである。第１の通信装置２４０は、例えば、ＮＩＣ（Network Interface Card）、ＦＣカード、無線ＬＡＮカード等から構成される。第１の通信装置２４０は、ファイルクライアント１１０との通信時におけるプロトコル制御を行う。ファイルサービスネットワークを介する通信プロトコルとして、ＣＩＦＳ、ＮＦＳ等がある。

【0032】

第２の通信装置２５０は、ノード１２０がバックエンドネットワークを介して他のノード１２０と通信を行うためのインタフェースである。第２の通信装置２５０は、例えば、ＮＩＣ、無線ＬＡＮカード等から構成される。第２の通信装置２５０は、他のノード１２０との通信時におけるプロトコル制御を行う。

【0033】

ここで、ストレージシステム１００における各ノード１２０のハードウェア構成は、各ノード１２０の機能（後述のファイル制御部３１０、ストレージ制御部３２０等）を実現できるハードウェア資源を満たしている。この場合、各ノード１２０のハードウェア構成は、同じであってもよいし、異なっていてもよい。なお、ハードウェア資源は、ＣＰＵ２１０の処理速度、メモリ２２０の容量等である。

【0034】

なお、ストレージシステム１００では、ストレージシステム１００の管理者（以下、「システム管理者」と記す）が、ストレージシステム１００の構成管理、各種設定等を行うために利用するノード１２０（以下、「管理ノード」と記す）が設けられていてもよい。管理ノードは、システム管理者の操作に応じて、ファイルクライアント１１０およびノード１２０に対して必要な指示を与える。

【0035】

図３は、ノード１２０のソフトウェア構成の一例を示す図である。

【0036】

ノード１２０は、ファイル制御部３１０と、ストレージ制御部３２０と、管理部３３０と、ハイパーバイザ３４０とを備える。

【0037】

ファイル制御部３１０は、例えば、ファイルサービスを提供するＶＭである。ファイル制御部３１０は、他のノード１２０のファイル制御部３１０とクラスタを構成（仮想的なスケールアウトファイルサーバを構築）し、ファイルサービスに係る処理を行うソフトウェアである。なお、ファイルサービスのクラスタに属するノード１２０とクラスタ１５０に属するノード１２０とは、全部または一部が一致している。

【0038】

より具体的には、ファイル制御部３１０は、ファイルシステム制御３１０Ａ、ファイル制御部構成情報管理３１０Ｂ、ブロックボリュームアクセス制御３１０Ｃ等を行う。

【0039】

ファイルシステム制御３１０Ａでは、ファイル制御部３１０は、ファイルクライアント１１０にどのようなファイルシステムを提供するか等、ファイルシステムとしてやり取りを行うための制御を行う。例えば、ファイル制御部３１０は、第１の通信装置２４０を介して、ファイルクライアント１１０からのファイルＩ／Ｏ要求を受信する。また、例えば、ファイル制御部３１０は、第１の通信装置２４０を介して、ファイルＩ／Ｏ要求に対応する応答（以下、「ファイルＩ／Ｏ応答」と記す）をファイルクライアント１１０に送信する。

【0040】

ファイル制御部構成情報管理３１０Ｂでは、ファイル制御部３１０は、どのようなファイルシステムをファイル制御部３１０が所有しているか、どのようなブロックボリューム（論理ボリューム）をファイル制御部３１０が認識しているかといった構成情報（例えば、後述のファイル制御部用情報４３０）を管理する。例えば、ファイル制御部３１０は、管理部３３０から指定されたパラメータ等の情報を設定する。

【0041】

ブロックボリュームアクセス制御３１０Ｃでは、ファイル制御部３１０は、ファイルＩ／Ｏ要求をもとにブロックボリュームにアクセスする。例えば、ファイル制御部３１０は、ファイルＩ／Ｏ要求を、ブロックボリュームに対するブロック単位のリード要求またはブロックボリュームに対するブロック単位のライト要求（以下、「ブロックＩ／Ｏ要求」と記す）に変換する。ファイル制御部３１０は、ブロックＩ／Ｏ要求を自ノード１２０内のストレージ制御部３２０に通知する。また、例えば、ファイル制御部３１０は、ブロックＩ／Ｏ要求に対応する応答（以下、「ブロックＩ／Ｏ応答」と記す）をストレージ制御部３２０から受け取る。

【0042】

ここで、ストレージシステム１００では、現用系のノード１２０（本実施の形態では、ノード１２０－１～ノード１２０－３）に実装された各ファイル制御部３１０は、管理部３３０により、待機系の専用のノード１２０（本実施の形態では、ノード１２０－４）に配置された他のファイル制御部３１０と共に冗長化を構成するペアに設定される。以下では、当該ペアを「ファイル制御部ペア」と記す。

【0043】

ファイル制御部ペアでは、現用系のノード１２０のファイル制御部３１０は、ファイルクライアント１１０からのファイルＩ／Ｏ要求を受け付けて処理することができる状態（現用系の状態であり、以下、「アクティブ型」と記す）に設定されている。待機系のノード１２０のファイル制御部３１０は、現用系のノード１２０（アクティブ型のファイル制御部３１０を有するノード１２０）が正常に動作しているときはファイルクライアント１１０からのファイルＩ／Ｏ要求を受け付けない状態であり、現用系のノード１２０が正常に動作していないときはファイルクライアント１１０からのファイルＩ／Ｏ要求を受け付けて処理することができる状態（待機系の状態であり、以下、「スタンバイ型」と記す）に設定される。

【0044】

ストレージシステム１００では、アクティブ型のファイル制御部３１０がアクセスするデータと、アクティブ型のファイル制御部３１０のＯＳディスクのデータ（ＯＳのデータ、ログのデータ等、ＯＳとして必要なデータであり、以下、「ＯＳディスクデータ」と記す）とがスタンバイ型のファイル制御部３１０を備えるノード１２０に冗長化されている。そして、ストレージシステム１００では、アクティブ型のファイル制御部３１０、アクティブ型のファイル制御部３１０が配置されたノード１２０等に障害が発生した場合に、スタンバイ型のファイル制御部３１０がファイルＩ／Ｏ要求を受け付けて処理することができる状態に切り替えられる。これにより、アクティブ型のファイル制御部３１０が稼働し得なくなった場合に、当該アクティブ型のファイル制御部３１０が提供していたファイルサービスに係る処理を、同じファイル制御部ペアを構成するスタンバイ型のファイル制御部３１０が引き継ぐことができる。

【0045】

ストレージ制御部３２０は、ブロックサービスを提供するＶＭである。ストレージ制御部３２０は、他のノード１２０のストレージ制御部３２０とクラスタを構成（仮想的なスケールアウトブロックストレージを構築）し、ブロックサービスに係る処理を行うソフトウェアである。ストレージ制御部３２０は、ＳＤＳ（Software Defined Storage）のコントローラとして機能するソフトウェアであってもよい。また、ストレージ制御部３２０は、ブロックボリュームに対するストレージ機能を有してよい。ストレージ機能の典型例としては、ストレージシステム１００内で複製を作成して管理するローカルコピー機能、格納するデータ量を削減する圧縮および重複排除機能、ＳＳＤ、ＨＤＤといったＩ／Ｏ性能および特性の異なる記憶装置２３０の間でデータを動的に移動させる階層制御機能、等がある。

【0046】

より具体的には、ストレージ制御部３２０は、フロントエンド制御部３２１と、ストレージＯＳ部３２２と、ノード間データ保護制御部３２３と、ストレージ制御部構成情報管理部３２４とを備える。

【0047】

フロントエンド制御部３２１は、ファイル制御部３１０からブロックＩ／Ｏ要求が与えられた場合に、当該ブロックＩ／Ｏ要求を、当該ブロックＩ／Ｏ要求を実行すべき自ノード１２０内のストレージＯＳ部３２２に通知する。

【0048】

ストレージＯＳ部３２２は、ブロックＩ／Ｏ要求に対応するＩ／Ｏコマンドを生成し、記憶装置２３０に対してデータの読み書きを実行する。より具体的には、ストレージＯＳ部３２２は、Ｉ／Ｏコマンドをノード間データ保護制御部３２３に通知する。

【0049】

ここで、ストレージシステム１００では、現用系のノード１２０に実装された各ストレージＯＳ部３２２は、管理部３３０により、待機系のノード１２０に配置された他のストレージＯＳ部３２２と共に冗長化を構成するペアに設定される。以下では、当該ペアを「ストレージＯＳ部ペア」と記す。

【0050】

ストレージＯＳ部ペアでは、現用系のノード１２０のストレージＯＳ部３２２は、ファイル制御部３１０からのブロックＩ／Ｏ要求を受け付けて処理することができる状態（現用系の状態であり、以下、「アクティブ型」と記す）に設定されている。待機系のノード１２０のストレージＯＳ部３２２は、現用系のノード１２０（アクティブ型のストレージＯＳ部３２２を有するノード１２０）が正常に動作しているときは待機系のノード１２０のファイル制御部３１０からのブロックＩ／Ｏ要求を受け付けない状態であり、現用系のノード１２０が正常に動作していないときは待機系のノード１２０のファイル制御部３１０からのブロックＩ／Ｏ要求を受け付けて処理することができる状態（待機系の状態であり、以下、「スタンバイ型」と記す）に設定される。

【0051】

ストレージシステム１００では、アクティブ型のストレージＯＳ部３２２、アクティブ型のストレージＯＳ部３２２が配置されたノード１２０等に障害が発生した場合に、スタンバイ型のストレージＯＳ部３２２がブロックＩ／Ｏ要求を受け付けて処理することができる状態に切り替えられる。これにより、アクティブ型のストレージＯＳ部３２２が稼働し得なくなった場合に、当該アクティブ型のストレージＯＳ部３２２が実行していたブロックサービスに係る処理を、同じストレージＯＳ部ペアを構成するスタンバイ型のストレージＯＳ部３２２が引き継ぐことができる。

【0052】

ストレージＯＳ部３２２は、プール制御３２２Ａと、ブロックボリューム制御３２２Ｂと、プール構成ボリュームアクセス制御３２２Ｃとを行う。

【0053】

プール制御３２２Ａでは、ストレージＯＳ部３２２は、複数のプール構成ボリュームを組み合わせてプール（論理ボリューム）を生成し、当該プールを管理する。プール構成ボリュームは、自ノード１２０の記憶装置２３０における物理チャンク（所定のサイズの記憶領域）に対応した論理ボリューム（論理チャンク）である。

【0054】

ブロックボリューム制御３２２Ｂでは、ストレージＯＳ部３２２は、プールから複数のページを切り出し、１つ以上のページを割り当てたブロックボリュームを生成し、当該ブロックボリュームを管理する。ブロックボリュームは、シンプロビジョニングに従う仮想的な論理ボリュームである。

【0055】

プール構成ボリュームアクセス制御３２２Ｃでは、ストレージＯＳ部３２２は、ブロックＩ／Ｏ要求をもとにプール構成ボリュームにアクセスする。プール構成ボリュームに対するアクセスを行うために、ストレージＯＳ部３２２は、ブロックＩ／Ｏ要求からプール構成ボリューム単位のＩ／Ｏコマンドを生成（ブロックボリュームのアドレスをプール構成ボリュームのアドレスに変換）し、当該Ｉ／Ｏコマンドをノード間データ保護制御部３２３に通知する。なお、Ｉ／Ｏコマンドでは、例えば、Ｉ／Ｏ先のプール構成ボリュームおよび当該プール構成ボリューム内のアドレスが指定されている。

【0056】

ノード間データ保護制御部３２３は、Ｉ／Ｏコマンドをもとに、記憶装置２３０にデータの読み書きを行う。より具体的には、ノード間データ保護制御部３２３は、プール構成ボリューム制御３２３Ａと、データ冗長化管理３２３Ｂと、ディスクアクセス制御３２３Ｃと、ノード間通信制御３２３Ｄとを行う。

【0057】

プール構成ボリューム制御３２３Ａでは、ノード間データ保護制御部３２３は、プール構成ボリュームを生成し、当該プール構成ボリュームを管理する。ノード間データ保護制御部３２３は、自ノード１２０内に配置されたストレージＯＳ部３２２に対して、自ノード１２０内の記憶装置２３０が提供する物理的な記憶領域を割り当てる。

【0058】

データ冗長化管理３２３Ｂでは、ノード間データ保護制御部３２３は、ノード１２０間でデータを冗長化する。例えば、ノード間データ保護制御部３２３は、ファイルＩ／Ｏ要求がファイル単位のライト要求であった場合、待機系のノード１２０にデータを冗長化する。また、例えば、ノード間データ保護制御部３２３は、ファイルＩ／Ｏ要求がファイル単位のリード要求であった場合、自ノード１２０の記憶装置２３０にアクセスできないときは、待機系のノード１２０からデータを読み込む。

【0059】

ディスクアクセス制御３２３Ｃでは、ノード間データ保護制御部３２３は、Ｉ／Ｏの対象のデータがどの物理チャンクにあるか判断し、記憶装置２３０に対するデータの読み書きを行う。例えば、ノード間データ保護制御部３２３は、Ｉ／ＯコマンドをストレージＯＳ部３２２から受け取ると、図示しない管理テーブルを参照して、当該Ｉ／Ｏコマンドにおいて指定されたプール構成ボリュームに対応付けた各物理チャンクの中から１つの物理チャンクを提供する記憶装置２３０を特定する。そして、ノード間データ保護制御部３２３は、特定した記憶装置２３０内の、Ｉ／Ｏコマンドで指定されたプール構成ボリュームおよび当該プール構成ボリューム内のアドレスに対応する物理チャンクのアドレスに格納されているデータに対してＩ／Ｏを実行する。

【0060】

ノード間通信制御３２３Ｄでは、ノード間データ保護制御部３２３は、ノード１２０間の通信を制御する。例えば、ノード間データ保護制御部３２３は、ストレージＯＳ部３２２から受け取ったＩ／Ｏコマンドが記憶装置２３０に対する書き込みを指示するライトコマンドであった場合、待機系のノード１２０のノード間データ保護制御部３２３にライトコマンドを送信する。ライトコマンドを受信したノード間データ保護制御部３２３が含まれるストレージ制御部３２０は、当該ライトコマンドをもとに、自ノード１２０の記憶装置２３０にデータの書き込みを行う。

【0061】

ストレージ制御部構成情報管理部３２４は、冗長データの配置、記憶装置２３０へのアクセス可否、記憶装置２３０がどのような物理チャンクを持っているか、物理チャンクがどのプール構成ボリュームに割り当てられているか、プールがどのようなプール構成ボリュームを持っているか、プールから切り出されたページがどのブロックボリュームに割り当てられているか等の構成情報（例えば、後述のストレージ制御部用情報４２０）を管理する。なお、プール、ブロックボリューム等の構成情報は、ストレージＯＳペア単位で管理されている。つまり、現用系のノード１２０にプール、ブロックボリューム等を作成し、その構成情報をクラスタ間ＤＢ４００に登録することで、待機系のノード１２０にもフェイルオーバ時に反映できるように構成されている。

【0062】

管理部３３０は、クラスタ１５０全体に関する制御処理、クラスタ１５０のスケールアウトに関する制御処理等を実行する機能を有するソフトウェアである。ストレージシステム１００では、クラスタ１５０内の各ノード１２０にそれぞれ実装された管理部３３０のうちの１つの管理部３３０がマスタに設定され、マスタに設定された管理部３３０のみが、クラスタ１５０全体の整合性を保ちながら各種の制御処理を実行する。

【0063】

マスタの管理部３３０以外の管理部３３０は、マスタの管理部３３０の障害に備えて、ホットスタンバイ（Hot stand-by）モードまたワームスタンバイ（Warm stand-by）モードのいずれかの動作モードに設定される。

【0064】

ホットスタンバイモードは、マスタの管理部３３０、当該マスタの管理部３３０が実装されたノード１２０等に障害が発生した場合に、マスタの管理部３３０が実行していた処理を直ちに引き継げるよう起動したスタンバイ状態を維持する動作モードである。

【0065】

ホットスタンバイモードの管理部３３０は、マスタの管理部３３０が実行していた処理を直ちに引き継げるよう、後述のファイル制御部ペアテーブル５１０、ストレージＯＳ部ペアテーブル５２０等のマスタの管理部３３０が管理する全ての管理情報（例えば、後述のクラスタ間ＤＢ４００）と同じ内容の管理情報を保持している。

【0066】

そして、マスタの管理部３３０が保持する管理情報が更新された場合には、その更新前後の差分が差分データとしてマスタの管理部３３０からバックエンドネットワークを介して全てのホットスタンバイモードの管理部３３０に与えられ、当該差分データに基づいて、その管理部３３０が保持する管理情報が当該管理部３３０によりマスタの管理部３３０が保持する管理情報と同様に更新される。

【0067】

このようにホットスタンバイモードの管理部３３０がマスタの管理部３３０と常に同一の管理情報を保持することにより、マスタの管理部３３０等に障害が発生し、それまでホットスタンバイモードであった管理部３３０を「マスタ」に切り替えた場合にも、元のマスタの管理部３３０が実行していた制御処理を「マスタ」に切り替えられたマスタの管理部３３０により引き継ぐことが可能となる。

【0068】

また、ワームスタンバイ型は、起動を停止したスタンバイ状態にある動作モードである。ホットスタンバイモードに設定されたマスタの管理部３３０の数が予め設定された閾値以下となった場合に、ワームスタンバイ型に設定されたいずれかの管理部３３０の状態がホットスタンバイモードに切り替えられる。

【0069】

なお、マスタの管理部３３０は、２つ以上のマスタの管理部３３０が存在する状態を防ぐため、３つ以上の管理部３３０を稼働させ、稼働させた管理部３３０の中から多数決により選定される。そして、稼働させた残りの管理部３３０がホットスタンバイモードに設定される。

【0070】

より具体的には、管理部３３０は、ファイル制御部ストレージ制御部間ブロックボリューム割り当て制御３３０Ａと、ファイル制御部およびストレージＯＳ部構成管理制御３３０Ｂと、フェイルオーバ制御３３０Ｃとを行う。

【0071】

ファイル制御部ストレージ制御部間ブロックボリューム割り当て制御３３０Ａでは、管理部３３０は、どのブロックボリュームをどのファイル制御部３１０に割り当てるか等を制御する。

【0072】

ファイル制御部およびストレージＯＳ部構成管理制御３３０Ｂでは、管理部３３０は、ファイル制御部ペアとストレージＯＳ部ペアとに係る制御を行う。

【0073】

例えば、管理部３３０は、管理ノードからの指示に応じてクラスタ１５０内にファイル制御部ペアを設定し、設定したファイル制御部ペアを後述のファイル制御部ペアテーブル５１０に登録して管理する。また、例えば、管理部３３０は、管理ノードからの指示に応じてクラスタ１５０内にストレージＯＳ部ペアを設定し、設定したストレージＯＳ部ペアを後述のストレージＯＳ部ペアテーブル５２０に登録して管理する。

【0074】

また、例えば、管理部３３０は、アクティブ型のファイル制御部３１０およびアクティブ型のストレージＯＳ部３２２が同一の現用系のノード１２０に配置され、スタンバイ型のファイル制御部３１０およびスタンバイ型のストレージＯＳ部３２２が同一の待機系のノード１２０に配置されるように、ファイル制御部ペアとストレージＯＳ部ペアとの組合せ（以下、「冗長化グループ」と記す）を決定する。

【0075】

フェイルオーバ制御３３０Ｃでは、管理部３３０は、ノード１２０に障害が発生したときに、ファイル制御部３１０およびストレージ制御部３２０をフェイルオーバさせる。例えば、管理部３３０は、スタンバイ型のストレージＯＳ部３２２にアクティブ型のストレージＯＳ部３２２からの引継ぎを指示した後に、スタンバイ型のファイル制御部３１０にアクティブ型のファイル制御部３１０からの引継ぎを指示する。

【0076】

なお、管理部３３０は、管理ノードに設けられていてもよいし、ファイル制御部３１０に含まれていてもよいし、ストレージ制御部３２０に含まれていてもよい。

【0077】

ハイパーバイザ３４０は、ファイル制御部３１０、ストレージ制御部３２０、管理部３３０等を動作させるソフトウェアである。

【0078】

図４は、クラスタ間ＤＢ４００の一例を示す図である。クラスタ間ＤＢ４００は、クラスタ１５０単位に必要となる情報を記憶する。クラスタ間ＤＢ４００は、全てのノード１２０に複製して設けられていてもよいし、１つ以上の管理ノードに設けられていてもよい。

【0079】

クラスタ間ＤＢ４００には、管理部用情報４１０と、ストレージ制御部用情報４２０と、ファイル制御部用情報４３０とが記憶されている。

【0080】

管理部用情報４１０には、ファイル制御部ペア情報と、ストレージＯＳ部ペア情報と、ファイル制御部ストレージＯＳ部対応情報と、ノード状態情報とが含まれる。管理部用情報４１０については、図５を用いて後述する。

【0081】

ストレージ制御部用情報４２０には、ブロックボリューム情報と、接続先ファイル制御部情報と、冗長データ配置情報と、冗長データアクセス可否情報とが含まれる。ストレージ制御部用情報４２０については、図６を用いて後述する。

【0082】

ファイル制御部用情報４３０には、ファイルシステム情報と、認識ブロックボリューム情報とが含まれる。ファイル制御部用情報４３０については、図７を用いて後述する。

【0083】

図５は、管理部用情報４１０の一例を示す図である。

【0084】

管理部用情報４１０には、ファイル制御部ペアテーブル５１０と、ストレージＯＳ部ペアテーブル５２０と、ファイル制御部ストレージＯＳ部対応テーブル５３０と、ノード状態テーブル５４０とが含まれる。

【0085】

ファイル制御部ペアテーブル５１０は、ファイル制御部ペア情報の一例であり、ファイル制御部ペアをどのノード１２０で構成しているかを示す情報を記憶する。換言するならば、ファイル制御部ペアテーブル５１０は、アクティブ型のファイル制御部３１０がどのノード１２０に配置され、スタンバイ型のファイル制御部３１０がどのノード１２０に配置されているかを示す配置情報を記憶する。より具体的には、ファイル制御部ペアテーブル５１０は、ファイル制御部ＩＤ５１１と、アクティブノード５１２と、スタンバイノード５１３とが対応付けられた情報を記憶する。

【0086】

ファイル制御部ＩＤ５１１は、ファイル制御部ペアを識別するための情報である。アクティブノード５１２は、当該ファイル制御部ペアのアクティブ型のファイル制御部３１０がどのノード１２０に設けられているかを示す情報である。スタンバイノード５１３は、当該ファイル制御部ペアのスタンバイ型のファイル制御部３１０がどのノード１２０に設けられているかを示す情報である。

【0087】

ストレージＯＳ部ペアテーブル５２０は、ストレージＯＳ部ペア情報の一例であり、ストレージＯＳ部ペアをどのノード１２０で構成しているかを示す情報を記憶する。換言するならば、ストレージＯＳ部ペアテーブル５２０は、アクティブ型のストレージＯＳ部３２２がどのノード１２０に配置され、スタンバイ型のストレージＯＳ部３２２がどのノード１２０に配置されているかを示す配置情報を記憶する。より具体的には、ストレージＯＳ部ペアテーブル５２０は、ストレージＯＳ部ＩＤ５２１と、アクティブノード５２２と、スタンバイノード５２３とが対応付けられた情報を記憶する。

【0088】

ストレージＯＳ部ＩＤ５２１は、ストレージＯＳ部ペアを識別するための情報である。アクティブノード５２２は、当該ストレージＯＳ部ペアのアクティブ型のストレージＯＳ部３２２がどのノード１２０に設けられているかを示す情報である。スタンバイノード５２３は、当該ストレージＯＳ部ペアのスタンバイ型のストレージＯＳ部３２２がどのノード１２０に設けられているかを示す情報である。

【0089】

ファイル制御部ストレージＯＳ部対応テーブル５３０は、ファイル制御部ストレージＯＳ部対応情報の一例であり、ファイル制御部３１０とストレージＯＳ部３２２との対応関係を示す情報を記憶する。より具体的には、ファイル制御部ストレージＯＳ部対応テーブル５３０は、ファイル制御部ＩＤ５３１とストレージＯＳ部ＩＤ５３２とが対応付けられた情報を記憶する。

【0090】

ファイル制御部ＩＤ５３１は、ファイル制御部３１０を識別するための情報である。ストレージＯＳ部ＩＤ５３２は、当該ファイル制御部３１０とペアであるストレージＯＳ部３２２を識別するための情報である。

【0091】

ノード状態テーブル５４０は、ノード状態情報の一例であり、ノード１２０の状態を示す情報を記憶する。より具体的には、ノード状態テーブル５４０は、ノードＩＤ５４１と状態５４２とが対応付けられた情報を記憶する。

【0092】

ノードＩＤ５４１は、ノード１２０を識別するための情報である。状態５４２は、当該ノード１２０の状態（「正常」または「閉塞」）を示す情報である。

【0093】

図６は、ストレージ制御部用情報４２０の一例を示す図である。

【0094】

ストレージ制御部用情報４２０には、ブロックボリュームテーブル６１０と、接続先ファイル制御部テーブル６２０と、冗長データアクセス可否テーブル６３０とが含まれる。

【0095】

ブロックボリュームテーブル６１０は、ブロックボリューム情報の一例であり、ストレージ制御部３２０が提供するブロックボリュームに係る情報を記憶する。より具体的には、ブロックボリュームテーブル６１０は、ブロックボリュームＩＤ６１１と、ストレージＯＳ部ＩＤ６１２と、ＷＷＩＤ（World Wide ID）６１３と、容量６１４と、アクセスファイル制御部ＩＤ６１５とが対応付けられた情報を記憶する。

【0096】

ブロックボリュームＩＤ６１１は、ブロックボリュームを識別するための情報である。ストレージＯＳ部ＩＤ６１２は、当該ブロックボリュームを所有するストレージＯＳ部３２２を識別するための情報である。ＷＷＩＤ６１３は、ファイルＩ／Ｏ要求をもとに当該ブロックボリュームにアクセスする際に必要な情報であり、当該ブロックボリュームを一意に特定するための情報である。容量６１４は、当該ブロックボリュームの容量を示す情報である。アクセスファイル制御部ＩＤ６１５は、当該ブロックボリュームにアクセスするファイル制御部３１０を識別するための情報である。

【0097】

接続先ファイル制御部テーブル６２０は、接続先ファイル制御部情報の一例であり、ストレージ制御部３２０のクライアントとして接続されているファイル制御部３１０の情報を記憶する。接続先ファイル制御部テーブル６２０は、ファイル制御部ＩＤ６２１と、ストレージＯＳ部ＩＤ６２２と、イニシエータ６２３とが対応付けられた情報を記憶する。

【0098】

ファイル制御部ＩＤ６２１は、ファイル制御部３１０を識別するための情報である。ストレージＯＳ部ＩＤ６２２は、当該ファイル制御部３１０にブロックサービスを提供するストレージＯＳ部３２２を識別するための情報である。イニシエータ６２３は、ブロックＩ／Ｏパスの接続先、つまりＩ／Ｏ要求の発行元のモジュール（例えば、第１の通信装置２４０であり、ハードウェアモジュールおよびプログラムモジュールの何れでもよい。）を識別するための情報である。例えば、イニシエータ６２３は、ファイル制御部３１０およびストレージ制御部３２０間の通信を、ｉＳＣＳＩ（Internet Small Computer System Interface）を用いて行う場合に用いられる。

【0099】

冗長データアクセス可否テーブル６３０は、冗長データアクセス可否情報の一例であり、冗長データに対するアクセス（Ｉ／Ｏ）が可能であるか否かを示す情報を記憶する。より具体的には、冗長データアクセス可否テーブル６３０は、冗長化グループＩＤ６３１と、第１の構成要素６３２と、第２の構成要素６３３とが対応付けられた情報を記憶する。

【0100】

冗長化グループＩＤ６３１は、冗長化グループを識別するための情報である。第１の構成要素６３２は、当該冗長化グループの第１の構成要素を示す情報である。第１の構成要素６３２は、例えば、当該冗長化グループの第１の構成要素である記憶装置２３０を識別するための情報と、当該記憶装置２３０へのアクセスが可能であるか否かを示す情報を含む。第２の構成要素６３３は、当該冗長化グループの第２の構成要素を示す情報である。第２の構成要素６３３は、例えば、当該冗長化グループの第２の構成要素である記憶装置２３０を識別するための情報と、当該記憶装置２３０へのアクセスが可能であるか否かを示す情報を含む。

【0101】

図７は、ファイル制御部用情報４３０の一例を示す図である。

【0102】

ファイル制御部用情報４３０には、ファイルシステムテーブル７１０と、認識ブロックボリュームテーブル７２０とが含まれる。

【0103】

ファイルシステムテーブル７１０は、ファイルシステム情報の一例であり、ファイル制御部３１０が提供するファイルサービス（ファイルシステム）に係る情報を記憶する。より具体的には、ファイルシステムテーブル７１０は、ファイルシステムＩＤ７１１と、所有ファイル制御部ＩＤ７１２と、メタデータ７１３とが対応付けられた情報を記憶する。

【0104】

ファイルシステムＩＤ７１１は、ファイルシステムを識別するための情報である。所有ファイル制御部ＩＤ７１２は、当該ファイルシステムを所有するファイル制御部３１０を識別するための情報である。メタデータ７１３は、当該ファイルシステムのファイルシステムタイプ等の情報である。

【0105】

認識ブロックボリュームテーブル７２０は、認識ブロックボリューム情報の一例であり、ファイル制御部３１０がどのようなブロックボリュームを認識しているかを示す情報を記憶する。より具体的には、認識ブロックボリュームテーブル７２０は、認識ブロックボリュームＩＤ７２１と、所有ファイル制御部ＩＤ７２２と、関連ファイルシステムＩＤ７２３と、デバイス名７２４と、ＷＷＩＤ７２５とが対応付けられた情報を記憶する。

【0106】

認識ブロックボリュームＩＤ７２１は、ファイル制御部３１０が認識したブロックボリュームを識別するための情報である。所有ファイル制御部ＩＤ７２２は、当該ブロックボリュームを所有するファイル制御部３１０を識別するための情報である。関連ファイルシステムＩＤ７２３は、当該ブロックボリュームに関連付けられているファイルシステムを識別するための情報である。デバイス名７２４は、ファイル制御部３１０のＯＳにより付与されるデバイス名であって、当該ブロックボリュームに対して使用されるデバイス名である。ＷＷＩＤ７２５は、当該ブロックボリュームを一意に特定するための情報である。なお、デバイス名とＷＷＩＤとは、認識ブロックボリュームテーブル７２０により紐付けられている。

【0107】

図８は、ファイル制御部ペアとストレージＯＳ部ペアとの配置の一例を示す図である。

【0108】

ファイルサービスのクラスタ８０１では、アクティブ型のファイル制御部３１０とスタンバイ型のファイル制御部３１０とがペアとして、各々が異なるノード１２０に設けられている。

【0109】

図８の例では、第１のファイル制御部３１０については、アクティブ型の第１のファイル制御部３１０－１（以下、「アクティブファイル制御部」と記す）とスタンバイ型の第１のファイル制御部３１０－４１（以下、「スタンバイファイル制御部」と記す）とがペアとして、アクティブファイル制御部が第１のノード１２０－１に設けられ、スタンバイファイル制御部が第４のノード１２０－４に設けられている。

【0110】

また、第２のファイル制御部３１０については、アクティブ型の第２のファイル制御部３１０－２とスタンバイ型の第２のファイル制御部３１０－４２とがペアとして、アクティブ型の第２のファイル制御部３１０－２が第２のノード１２０－２に設けられ、スタンバイ型の第２のファイル制御部３１０－４２が第４のノード１２０－４に設けられている。

【0111】

また、第３のファイル制御部３１０については、アクティブ型の第３のファイル制御部３１０－３とスタンバイ型の第３のファイル制御部３１０－４３とがペアとして、アクティブ型の第３のファイル制御部３１０－３が第３のノード１２０－３に設けられ、スタンバイ型の第３のファイル制御部３１０－４３が第４のノード１２０－４に設けられている。

【0112】

ブロックサービスのクラスタ８０２では、アクティブ型のストレージＯＳ部３２２とスタンバイ型のストレージＯＳ部３２２とがペアとして、各々が異なるノード１２０にファイル制御部ペアに対応して設けられている。

【0113】

図８の例では、第１のストレージＯＳ部３２２については、アクティブファイル制御部とスタンバイファイル制御部とのペアに対応して、アクティブ型の第１のストレージＯＳ部３２２－１（以下、「アクティブストレージＯＳ部」と記す）とスタンバイ型の第１のストレージＯＳ部３２２－４１（以下、「スタンバイストレージＯＳ部」と記す）とがペアとして、アクティブストレージＯＳ部が第１のノード１２０－１に設けられ、スタンバイストレージＯＳ部が第４のノード１２０－４に設けられている。

【0114】

また、第２のストレージＯＳ部３２２については、アクティブ型の第２のファイル制御部３１０－２とスタンバイ型の第２のファイル制御部３１０－４２とのペアに対応して、アクティブ型の第２のストレージＯＳ部３２２－２とスタンバイ型の第２のストレージＯＳ部３２２－４２とがペアとして、アクティブ型の第２のストレージＯＳ部３２２－２が第２のノード１２０－２に設けられ、スタンバイ型の第２のストレージＯＳ部３２２－４２が第４のノード１２０－４に設けられている。

【0115】

また、第３のストレージＯＳ部３２２については、アクティブ型の第３のファイル制御部３１０－３とスタンバイ型の第３のファイル制御部３１０－４３とのペアに対応して、アクティブ型の第３のストレージＯＳ部３２２－３とスタンバイ型の第３のストレージＯＳ部３２２－４３とがペアとして、アクティブ型の第３のストレージＯＳ部３２２－３が第３のノード１２０－３に設けられ、スタンバイ型の第３のストレージＯＳ部３２２－４３が第４のノード１２０－４に設けられている。

【0116】

このように、ストレージシステム１００では、ファイル制御部３１０とストレージＯＳ部３２２とが共にペアの構成であり、ノード１２０が合わせて配置されている。ファイル制御部ペアとストレージＯＳ部ペアとにおいて、それぞれのアクティブ型を同一のノード１２０に配置し、それぞれのスタンバイ型を同一のノード１２０に配置することにより、正常時のみならず、フェイルオーバ時にもストレート構成を維持できるようになる。

【0117】

ここで、ストレージシステム１００では、ストレージ制御部３２０に専用に割り当てる記憶装置２３０（ディスク制御をストレージ制御部３２０に任せる記憶装置２３０であり、例えば、記憶装置２３０－１１，２３０－２１，２３０－３１，２３０－４１）と、ハイパーバイザ３４０がアクセス制御する記憶装置２３０（システムディスク、データストア等であり、例えば、記憶装置２３０－１２，２３０－２２，２３０－３２，２３０－４２）と、が設けられている。

【0118】

ストレージシステム１００では、ファイル制御部３１０のＯＳディスクデータ８１１は、ストレージ制御部３２０に割り当てられた記憶装置２３０からストレージ制御部３２０により提供されていて、ストレージ制御部３２０用のＯＳディスクデータ８２１は、ハイパーバイザ３４０により提供されている。

【0119】

例えば、アクティブファイル制御部のＯＳディスクデータ８１１と、アクティブファイル制御部が提供するファイル単位のデータ８１２，８１３とは、同じ第１のノード１２０－１の第１の記憶装置２３０－１１内に存在し、スタンバイファイル制御部がある第４のノード１２０－４に冗長化される。なお、図示は省略するが、他のノード１２０のＯＳディスクデータ８１１およびファイル単位のデータ８１２，８１３についても同様である。付言するならば、スタンバイ型のファイル制御部３１０は、アクティブ型のファイル制御部３１０と同等のＶＭとして動作することができる。

【0120】

また、例えば、第１のストレージ制御部３２０－１のＯＳディスクデータ８２１およびクラスタ間ＤＢ４００は、第１のファイル制御部３１０－１に提供する第１の記憶装置２３０－１１とは別に、各ノード１２０に専用の第２の記憶装置２３０－１２に記憶されている。なお、図示は省略するが、他のノードのストレージ制御部３２０のＯＳディスクデータ８２１およびクラスタ間ＤＢ４００についても同様である。付言するならば、スタンバイ型のストレージＯＳ部３２２は、クラスタ間ＤＢ４００の情報を用いてアクティブ型のストレージＯＳ部３２２と同様のストレージ制御部３２０の処理部として動作することができる。

【0121】

図９は、正常時のＩ／Ｏ処理の一例を示す図である。図９では、ファイルクライアント１１０から、アクティブファイル制御部にファイルアクセスの要求（ファイルＩ／Ｏ要求）が行われるケースを例に挙げてＩ／Ｏ処理について説明する。

【0122】

アクティブファイル制御部は、ペアの構成が一致しているアクティブストレージＯＳ部を有する第１のストレージ制御部３２０－１にメモリアクセス（内部アクセス）でブロックＩ／Ｏ要求を通知する。

【0123】

アクティブストレージＯＳ部は、ノード間データ保護制御部３２３を介して、自ノード１２０－１の第１の記憶装置２３０－１１にブロックアクセス（内部アクセス）を行う。ブロックＩ／Ｏ要求がブロック単位のリード要求である場合は、ノード間データ保護制御部３２３は、自ノード１２０－１の第１の記憶装置２３０－１１からデータの読み込みを行う。ブロックＩ／Ｏ要求がブロック単位のライト要求である場合は、ノード間データ保護制御部３２３は、自ノード１２０－１の第１の記憶装置２３０－１１にデータの書き込みを行うと共に、バックエンドネットワークを介して、スタンバイストレージＯＳ部を有する第４のストレージ制御部３２０－４にデータの書き込みを指示する。

【0124】

図１０は、障害時（フェイルオーバ後）のＩ／Ｏ処理の一例を示す図である。図１０では、ファイルクライアント１１０から、スタンバイファイル制御部にファイルアクセスの要求（ファイルＩ／Ｏ要求）が行われるケースを例に挙げてＩ／Ｏ処理について説明する。なお、スタンバイファイル制御部がＩＰアドレスを有効化して動作を開始することで、ファイルアクセスのアクセス先がアクティブファイル制御部からスタンバイファイル制御部に移る。

【0125】

スタンバイファイル制御部がファイルサービスに係る処理を引き継ぎ、スタンバイストレージＯＳ部がストレージサービスに係る処理を引き継ぐと、配下の第７の記憶装置２３０－４１に対してアクセス（Ｉ／Ｏ）が行われるようになる。

【0126】

図１１は、ファイル制御部ペアとストレージＯＳ部ペアとの組合せ（冗長化グループ）を作成する制御フローの一例を示す図である。

【0127】

Ｓ１１０１では、管理部３３０は、ストレージシステム１００のインストール時に、どのような冗長化グループを組めるかを決定し、決定した冗長化グループの情報をクラスタ間ＤＢ４００に記憶する。より具体的には、管理部３３０は、冗長化グループとして決定したファイル制御部ペアとストレージ制御部ペアとの情報から、ストレージＯＳ部ペア情報と、ファイル制御部ペア情報と、ファイル制御部ストレージＯＳ部対応情報とをクラスタ間ＤＢ４００に記憶する。

【0128】

例えば、システム管理者によりクラスタ１５０に属するノード１２０が指定されると、管理部３３０は、現用系のノード数が３つであり、待機系のノード数が１つであったときは、現用系の３つのノード１２０の各々にアクティブ型のファイル制御部３１０およびアクティブ型のストレージＯＳ部３２２のペアが１つずつ設けられ、待機系に指定された１つのノード１２０にスタンバイ型のファイル制御部３１０およびスタンバイ型のストレージＯＳ部３２２のペアが３つ設けられるように、冗長化グループを決定する。

【0129】

ここで、クラスタ１５０に属するノード１２０のハードウェア資源が異なる場合、管理部３３０は、ノード１２０のハードウェア資源が最も多いノード１２０を待機系のノード１２０として決定してもよい。また、管理部３３０は、現用系のノード数「Ｎ（予め指定された自然数）」ごとに待機系のノード数「Ｍ（予め指定されたＮ以下の自然数）」を設ける等、クラスタ１５０に属するノード１２０の数に応じて現用系のノード１２０の数と待機系のノード１２０の数とを決定してもよい。

【0130】

Ｓ１１０２では、管理部３３０は、ファイル制御部ペア情報をファイル制御部３１０に設定する。これにより、ファイル制御部３１０は、自ファイル制御部３１０に割り当てられたＩＤを認識すると共に、ファイル制御部ペアの相手方のファイル制御部３１０を認識することができる。

【0131】

Ｓ１１０３では、ファイル制御部３１０は、ファイル制御部ペア情報の設定を完了したことを管理部３３０に通知（応答）する。

【0132】

Ｓ１１０４では、管理部３３０は、ストレージＯＳ部ペア情報をストレージ制御部３２０に設定する。これにより、ストレージ制御部３２０は、自ストレージ制御部３２０に割り当てられたＩＤを認識すると共に、ストレージＯＳ部ペアの相手方のストレージＯＳ部３２２を認識することができる。

【0133】

Ｓ１１０５では、ファイル制御部３１０は、ストレージＯＳ部ペア情報の設定を完了したことを管理部３３０に通知（応答）する。

【0134】

図１２は、ファイルシステムを作成する制御フローの一例を示す図である。当該制御フローでは、例えば、各ストレージ制御部３２０のプールの容量が取得され、プールの空き容量が均等になるようにブロックボリュームが割り当てられる。なお、当該制御フローは、システム管理者からのユーザ指示を契機に開始する。ユーザ指示には、こういうファイルシステムを作成したいといった情報が含まれていてもよいし、処理対象のファイル制御部ペアおよびストレージＯＳ部ペア（ストレージ制御部３２０のペア）を特定可能な情報も含まれていてもよい。

【0135】

Ｓ１２０１では、管理部３３０は、プールとしてどれくらいの容量があるかを、各ストレージ制御部３２０に問い合わせ、空き容量を取得する。なお、ストレージ制御部３２０は、どういう記憶装置２３０が接続されているから、どれくらいのプールを組めるかといった、プールの情報を有している。

【0136】

Ｓ１２０２では、管理部３３０は、ブロックボリュームをいくつ作成できるかを判定し、各ストレージ制御部３２０にブロックボリュームの作成指示を出す。

【0137】

Ｓ１２０３では、アクティブ型のストレージＯＳ部３２２を有するストレージ制御部３２０は、ブロックボリュームを作成する。

【0138】

Ｓ１２０４では、アクティブ型のストレージＯＳ部３２２を有するストレージ制御部３２０は、クラスタ間ＤＢ４００に、作成したブロックボリュームに係る情報（ブロックボリューム情報）を設定する。

【0139】

Ｓ１２０５では、アクティブ型のストレージＯＳ部３２２を有するストレージ制御部３２０は、ブロックボリュームを作成したことを管理部３３０に通知（応答）する。

【0140】

Ｓ１２０６では、管理部３３０は、アクティブ型のストレージＯＳ部３２２を有するストレージ制御部３２０に対して、ファイル制御部ストレージＯＳ部対応情報を通知すると共に、接続先ファイル制御部情報を設定するように指示を出す。つまり、ブロックボリュームをどのファイル制御部３１０に割り当てるべきかというのは、ファイル制御部ストレージＯＳ部対応情報から判断できるので、管理部３３０は、ストレージ制御部３２０に対して、当該ストレージ制御部３２０のクライアントとなるアクティブ型のファイル制御部３１０にブロックボリュームを割り当てるように指示を出す。

【0141】

Ｓ１２０７では、アクティブ型のストレージＯＳ部３２２を有するストレージ制御部３２０は、ファイル制御部ストレージＯＳ部対応情報をもとに接続先ファイル制御部情報を生成し、接続先ファイル制御部情報をクラスタ間ＤＢ４００に設定する。

【0142】

Ｓ１２０８では、アクティブ型のストレージＯＳ部３２２を有するストレージ制御部３２０は、接続先ファイル制御部情報の設定が完了したことを管理部３３０に通知（応答）する。

【0143】

Ｓ１２０９では、管理部３３０は、アクティブ型のストレージＯＳ部３２２を有するストレージ制御部３２０に対して、新規に作成されたブロックボリュームにパスを設定するように指示を出す。

【0144】

Ｓ１２１０では、アクティブ型のストレージＯＳ部３２２を有するストレージ制御部３２０は、当該ストレージ制御部３２０が提供する新規のブロックボリュームにパスを張るために、ブロックボリュームと当該ブロックボリュームにアクセスするファイル制御部３１０とを対応付け、当該ブロックボリュームのブロックボリュームＩＤと当該ファイル制御部３１０のアクセスファイル制御部ＩＤとを指定したブロックボリューム情報を生成し、生成したブロックボリューム情報をクラスタ間ＤＢ４００に設定する。

【0145】

Ｓ１２１１では、アクティブ型のストレージＯＳ部３２２を有するストレージ制御部３２０は、パスを設定したことを管理部３３０に通知（応答）する。

【0146】

以上の処理により、アクティブ型のストレージＯＳ部３２２を有するストレージ制御部３２０が提供するブロックボリュームが作成され、当該ストレージ制御部３２０が提供するブロックボリュームにパスが張られることにより、当該ストレージ制御部３２０が動作可能な状態になる。なお、ブロックボリュームへのパスが設定されることで、ブロックボリュームごとに設定されているアクセスファイル制御部ＩＤに対応するファイル制御部３１０（イニシエータ）からのアクセスが許可される。

【0147】

Ｓ１２１２では、管理部３３０は、作成されたブロックボリュームを認識するようにアクティブ型のファイル制御部３１０に指示を出す。

【0148】

Ｓ１２１３では、アクティブ型のファイル制御部３１０は、作成されたブロックボリュームを認識（検出）する。これにより、ストレージ制御部３２０が提供しているブロックボリュームがファイル制御部３１０のボリュームとしてＯＳ上で見えるようになる。

【0149】

Ｓ１２１４では、アクティブ型のファイル制御部３１０は、認識ブロックボリューム情報をクラスタ間ＤＢ４００に設定する。

【0150】

Ｓ１２１５では、アクティブ型のファイル制御部３１０は、認識ブロックボリューム情報の設定が完了したことを管理部３３０に通知（応答）する。

【0151】

Ｓ１２１６では、管理部３３０は、認識したブロックボリューム上にユーザ指示で指定されているファイルシステムを作るようにアクティブ型のファイル制御部３１０に指示を出す。

【0152】

Ｓ１２１７では、アクティブ型のファイル制御部３１０は、所定のコマンドを実行して、認識したブロックボリューム上にファイルシステムを作成する。

【0153】

Ｓ１２１８では、アクティブ型のファイル制御部３１０は、作成したファイルシステムのファイルシステム情報をクラスタ間ＤＢ４００に設定する。

【0154】

Ｓ１２１９では、アクティブ型のファイル制御部３１０は、ファイルシステム情報の設定が完了したことを管理部３３０に通知（応答）する。

【0155】

以上の処理により、アクティブ型のストレージＯＳ部３２２を有するストレージ制御部３２０が提供するブロックボリュームが認識され、当該ブロックボリュームにファイルシステムが作成されることにより、当該ファイル制御部３１０が動作可能な状態になる。

【0156】

図１３は、正常時のリード処理の制御フローの一例を示す図である。図１３では、ファイルクライアント１１０から、アクティブファイル制御部にファイル単位のリード要求が行われるケースを例に挙げてリード処理について説明する。

【0157】

Ｓ１３０１では、アクティブファイル制御部は、ファイルクライアント１１０からファイル単位のリード要求を受信する。

【0158】

Ｓ１３０２では、アクティブファイル制御部は、リクエスト変換を行う。例えば、アクティブファイル制御部は、ファイルとブロックボリューム内のブロック（格納位置）とを対応付けたテーブル（図示は省略）を参照して、当該ファイルがどのブロックに対応しているのかを特定し、ファイル単位のリード要求を、ブロック単位のリード要求に変換する。

【0159】

Ｓ１３０３では、アクティブファイル制御部は、ブロック単位のリード要求を、アクティブストレージＯＳ部を有するストレージ制御部３２０－１に通知する。

【0160】

Ｓ１３０４では、ストレージ制御部３２０－１は、アクセス可否判定を行う。より具体的には、ストレージ制御部３２０－１は、冗長データアクセス可否テーブル６３０を用いて、アクティブファイル制御部およびアクティブストレージＯＳ部が属する冗長化グループに対応するレコードを参照し、当該レコードの第１の構成要素のアクセス可否を判定する。ストレージ制御部３２０－１は、当該レコードの第１の構成要素のアクセス可否が「可」である場合、第１の構成要素に規定されている記憶装置２３０を特定し、アクセス「可」と判定する。当該レコードの第１の構成要素のアクセス可否が「不可」である場合は、ストレージ制御部３２０－１は、第２の構成要素のアクセス可否を判定する。ストレージ制御部３２０－１は、第２の構成要素のアクセス可否が「可」である場合は、第２の構成要素に規定されている記憶装置２３０を特定し、アクセス「可」と判定する。ストレージ制御部３２０－１は、第２の構成要素のアクセス可否が「不可」である場合は、アクセス（リード）できる記憶装置２３０がない（エラー）と特定し、アクセス「不可」と判定してよい。

【0161】

例えば、アクティブファイル制御部およびアクティブストレージＯＳ部が「冗長化グループ１」に属している場合、ストレージ制御部３２０－１は、冗長データアクセス可否テーブル６３０を参照して、記憶装置２３０－１１にアクセスが可能であると判定する。

【0162】

Ｓ１３０５では、ストレージ制御部３２０－１は、アクセスが「可」であると判定した記憶装置２３０に対してデータの読み込みを行う。本例では、記憶装置２３０－１１へのアクセスが「可」であるので、ストレージ制御部３２０－１は、記憶装置２３０－１１に対してデータの読み込み（ローカルリード）を行う。

【0163】

Ｓ１３０６では、ストレージ制御部３２０－１は、読み込んだブロック単位のデータ（以下、「ブロックデータ」と記す）と、読み込みが完了したこととを、アクティブファイル制御部に通知（ブロックＩ／Ｏ応答）する。

【0164】

Ｓ１３０７では、アクティブファイル制御部は、データ変換を行う。データ変換では、ブロックデータがファイル単位のデータ（以下、「ファイルデータ」と記す）に変換される。

【0165】

Ｓ１３０８では、アクティブファイル制御部は、ファイルデータと、読み込みが完了したことをファイルクライアント１１０に通知（ファイルＩ／Ｏ応答）する。

【0166】

図１４は、正常時のライト処理の制御フローの一例を示す図である。図１４では、ファイルクライアント１１０から、アクティブファイル制御部にファイル単位のライト要求が行われるケースを例に挙げてライト処理について説明する。

【0167】

Ｓ１４０１では、アクティブファイル制御部は、ファイルクライアント１１０からファイル単位のライト要求を受信する。

【0168】

Ｓ１４０２では、アクティブファイル制御部は、リクエスト変換を行う。例えば、アクティブファイル制御部は、ファイルとブロックボリューム内のブロック（格納位置）とを対応付けたテーブル（図示は省略）を参照して、当該ファイルがどのブロックに対応しているのかを特定し、ファイル単位のライト要求を、ブロック単位のライト要求に変換する。

【0169】

Ｓ１４０３では、アクティブファイル制御部は、ブロック単位のライト要求を、アクティブストレージＯＳ部を有するストレージ制御部３２０－１に通知する。

【0170】

Ｓ１４０４では、ストレージ制御部３２０－１は、アクセス可否判定を行う。より具体的には、ストレージ制御部３２０－１は、冗長データアクセス可否テーブル６３０を用いて、アクティブファイル制御部およびアクティブストレージＯＳ部が属する冗長化グループに対応するレコードを参照し、第１の構成要素のアクセス可否を判定する。ストレージ制御部３２０－１は、当該レコードの第１の構成要素のアクセス可否が「可」である場合は、第１の構成要素に規定されている記憶装置２３０を特定し、アクセス「可」と判定する。また、ストレージ制御部３２０－１は、第２の構成要素のアクセス可否を判定する。ストレージ制御部３２０－１は、第２の構成要素のアクセス可否が「可」である場合、第２の構成要素に規定されている記憶装置２３０を特定し、アクセス「可」と判定する。ストレージ制御部３２０－１は、第１の構成要素のアクセス可否および第２の構成要素のアクセス可否の両方が「不可」であるときは、アクセス（ライト）できる記憶装置２３０がない（エラー）と特定し、アクセス「不可」と判定してよい。

【0171】

例えば、アクティブファイル制御部およびアクティブストレージＯＳ部が「冗長化グループ１」に属している場合、ストレージ制御部３２０－１は、冗長データアクセス可否テーブル６３０を参照して、記憶装置２３０－１１および記憶装置２３０－４１にアクセスが可能であると判定する。

【0172】

Ｓ１４０５およびＳ１４０６では、ストレージ制御部３２０－１は、アクセスが「可」であると判定した記憶装置２３０に対してデータの書き込みを行う。本例では、記憶装置２３０－１１へのアクセスが「可」であるので、ストレージ制御部３２０－１は、記憶装置２３０－１１に対してデータの書き込み（ローカルライト）を行う（Ｓ１４０５）。また、記憶装置２３０－４１へのアクセスが「可」であるので、ストレージ制御部３２０－１は、ノード１２０－４の記憶装置２３０－４１に対してデータの書き込み（冗長ライト）を行うために、プール構成ボリューム単位のライトコマンドを、スタンバイストレージＯＳ部を有するストレージ制御部３２０－４に送信する（Ｓ１４０６）。

【0173】

Ｓ１４０７では、ストレージ制御部３２０－４は、記憶装置２３０－４１に対してデータの書き込み（ローカルライト）を行う。

【0174】

Ｓ１４０８では、ストレージ制御部３２０－４は、記憶装置２３０－４１への書き込みが完了したことを、アクティブストレージＯＳ部を有するストレージ制御部３２０－１に送信（応答）する。

【0175】

Ｓ１４０９では、ストレージ制御部３２０－１は、ブロック単位のデータの書き込みが完了したことをアクティブファイル制御部に通知（ブロックＩ／Ｏ応答）する。

【0176】

Ｓ１４１０では、アクティブファイル制御部は、ファイル単位のデータの書き込みが完了したことをファイルクライアント１１０に送信（ファイルＩ／Ｏ応答）する。

【0177】

図１５は、ノード１２０－１に障害が発生したときのフェイルオーバの制御フローの一例を示す図である。なお、障害が発生したノード１２０を検出する主体については限定しない。自ノード１２０が障害を検出してもよいし、他ノード１２０が障害を検出してもよいし、管理ノードが障害を検出してもよいし、その他の手段により障害を検出してもよい。

【0178】

Ｓ１５０１では、管理部３３０は、クラスタ間ＤＢ４００の管理部用情報４１０を更新する。より具体的には、管理部３３０は、ノード状態テーブル５４０のノードＩＤ５４１が「Ｎｏｄｅ１」であるレコードの状態５４２を「正常」から「閉塞」に変更する。

【0179】

Ｓ１５０２およびＳ１５０３では、管理部３３０は、障害が発生しているノード１２０の数（フェイルオーバ数）を確認する。例えば、管理部３３０は、管理部用情報４１０（例えば、ノード状態テーブル５４０）を参照し、フェイルオーバ数が「１」である場合、Ｓ１５０４に処理を移し、フェイルオーバ数が「２」以上である場合、処理を終了する。

【0180】

Ｓ１５０４およびＳ１５０５では、管理部３３０は、フェイルオーバ対象のファイル制御部３１０およびストレージ制御部３２０を特定する。

【0181】

より具体的には、管理部３３０は、ストレージＯＳ部ペアテーブル５２０を参照し、アクティブノード５２２が「Ｎｏｄｅ１」のレコードを検索し、当該レコードのストレージＯＳ部ＩＤ５２１「ストレージＯＳ部１」およびスタンバイノード５２３「Ｎｏｄｅ４」（スタンバイストレージＯＳ部）を特定する。また、管理部３３０は、ファイル制御部ペアテーブル５１０を参照し、アクティブノード５１２が「Ｎｏｄｅ１」のレコードを検索し、当該レコードのファイル制御部ＩＤ５１１「ファイル制御部１」およびスタンバイノード５１３「Ｎｏｄｅ４」（スタンバイファイル制御部）を特定する。

【0182】

Ｓ１５０６では、管理部３３０は、スタンバイストレージＯＳ部を有するストレージ制御部３２０－４にフェイルオーバの指示を通知する。

【0183】

Ｓ１５０７およびＳ１５０８では、ストレージ制御部３２０－４は、アクティブストレージＯＳ部が用いていたブロックボリューム情報および接続ファイル制御部情報をストレージ制御部用情報４２０から取得し、アクティブストレージＯＳ部と同じようにブロックボリュームを作成し、ブロックサービスに係る処理を実行できるようにＩ／Ｏできる状態に設定する。

【0184】

Ｓ１５０９では、ストレージ制御部３２０－４は、ストレージ制御部用情報４２０を更新する。より具体的には、ストレージ制御部３２０－４は、ストレージ制御部用情報４２０の冗長データアクセス可否テーブル６３０を参照し、第１の構成要素６３２または第２の構成要素６３３の記憶装置２３０にノード１２０－１の記憶装置２３０－１１が含まれているレコードを特定する。本例では、ストレージ制御部３２０－４は、冗長化グループＩＤ６３１が「冗長化グループ１」であるレコードを特定する。この場合、ストレージ制御部３２０－４は、「冗長化グループ１」であるレコードの第１の構成要素６３２のアクセス可否を「不可」に設定する。

【0185】

Ｓ１５１０では、ストレージ制御部３２０－４は、ストレージ制御部３２０－４のフェイルオーバを完了したことを管理部３３０に通知（応答）する。

【0186】

Ｓ１５１１では、管理部３３０は、スタンバイファイル制御部にフェイルオーバの指示を通知する。

【0187】

Ｓ１５１２およびＳ１５１３では、スタンバイファイル制御部は、アクティブファイル制御部が持っていたファイルシステム情報をファイル制御部用情報４３０から取得し、作成されたブロックボリュームを検出したり、作成されたブロックボリュームにファイルシステムを作成したりする等して、ファイルサービスに係る処理を実行できるようにＩ／Ｏできる状態に設定する。

【0188】

Ｓ１５１４では、スタンバイファイル制御部は、スタンバイファイル制御部のフェイルオーバを完了したことを管理部３３０に通知（応答）する。

【0189】

図１６は、ノード１２０－２に障害が発生している場合に、ノード１２０－１に障害が発生したときのフェイルオーバ（２台目のフェイルオーバ）の制御フローの一例を示す図である。

【0190】

Ｓ１６０１では、管理部３３０は、クラスタ間ＤＢ４００の管理部用情報４１０を更新する。より具体的には、管理部３３０は、ノード状態テーブル５４０のノードＩＤ５４１が「Ｎｏｄｅ１」であるレコードの状態５４２を「正常」から「閉塞」に変更する。

【0191】

Ｓ１６０２およびＳ１６０３では、管理部３３０は、フェイルオーバ数を確認する。例えば、管理部３３０は、管理部用情報４１０（例えば、ノード状態テーブル５４０）を参照し、フェイルオーバ数が「２」である場合、Ｓ１６０４に処理を移し、フェイルオーバ数が「２」でない場合、処理を終了する。

【0192】

Ｓ１６０４では、管理部３３０は、ファイルサービスのクラスタ８０１を閉塞する指示を、当該クラスタ８０１に属するアクティブ型のファイル制御部３１０と、当該クラスタ８０１に属する動作しているスタンバイ型のファイル制御部３１０とに通知する。

【0193】

Ｓ１６０５では、Ｓ１６０４において通知を受けたファイル制御部３１０は、クラスタ８０１の閉塞を完了したこと（例えば、ファイルクライアント１１０からのファイルＩ／Ｏ要求を受け付けなくしたこと）を管理部３３０に通知（応答）する。

【0194】

Ｓ１６０６では、管理部３３０は、ブロックサービスのクラスタ８０２を閉塞する指示を、当該クラスタ８０２に属するアクティブ型のストレージＯＳ部３２２を有するストレージ制御部３２０と、当該クラスタ８０２に属する動作しているスタンバイ型のストレージＯＳ部３２２を有するストレージ制御部３２０と、に通知する。

【0195】

Ｓ１６０７では、Ｓ１６０６において通知を受けたストレージ制御部３２０は、クラスタ８０２の閉塞を完了したこと（例えば、記憶装置２３０へのアクセスを不可にしたこと）を管理部３３０に通知（応答）する。

【0196】

図１７は、待機系のノード１２０（例えば、ノード１２０－４）に障害が発生したときのフェイルオーバの制御フローの一例を示す図である。

【0197】

Ｓ１７０１では、管理部３３０は、クラスタ間ＤＢ４００の管理部用情報４１０を更新する。より具体的には、管理部３３０は、ノード状態テーブル５４０のノードＩＤ５４１が「Ｎｏｄｅ４」であるレコードの状態５４２を「正常」から「閉塞」に変更する。

【0198】

Ｓ１７０２およびＳ１７０３では、管理部３３０は、障害が発生しているノード１２０－４が待機系のノード１２０であるかを確認する。例えば、管理部３３０は、管理部用情報４１０（例えば、ファイル制御部ペアテーブル５１０、ストレージＯＳ部ペアテーブル５２０）を参照し、障害が発生しているノード１２０－４が待機系のノード１２０であると判定した場合、Ｓ１７０４に処理を移し、障害が発生しているノード１２０－４が待機系のノード１２０でないと判定した場合、処理を終了する。

【0199】

Ｓ１７０４では、管理部３３０は、冗長化を停止する指示を、アクティブ型のストレージＯＳ部３２２を有するストレージ制御部３２０に指示する。

【0200】

Ｓ１７０５では、Ｓ１７０４において指示を受けたストレージ制御部３２０は、ストレージ制御部用情報４２０を更新する。例えば、当該ストレージ制御部３２０は、冗長データアクセス可否テーブル６３０を参照し、当該ストレージ制御部３２０が属する冗長化グループのレコードの第２の構成要素６３３のアクセス可否を「可」から「不可」に変更する。

【0201】

Ｓ１７０６では、Ｓ１７０４において指示を受けたストレージ制御部３２０は、ストレージ制御部用情報４２０を更新したこと（例えば、冗長化を停止したこと）を管理部３３０に通知（応答）する。

【0202】

なお、待機系のノード１２０では、全てのスタンバイ型のファイル制御部３１０にメモリ２２０が割り当てられてもよいし、複数の現用系のノード１２０の何れかのノード１２０に障害が発生した場合、障害が発生したノード１２０のアクティブ型のファイル制御部３１０とペアであるスタンバイ型のファイル制御部３１０にメモリ２２０が割り当てられてもよい。

【0203】

図１８は、フェイルオーバ後のリード処理の制御フローの一例を示す図である。図１８では、ファイルクライアント１１０から、スタンバイファイル制御部にファイル単位のリード要求が行われるケースを例に挙げてリード処理について説明する。

【0204】

Ｓ１８０１では、スタンバイファイル制御部は、ファイルクライアント１１０からファイル単位のリード要求を受信する。

【0205】

Ｓ１８０２では、スタンバイファイル制御部は、リクエスト変換を行う。なお、リクエスト変換については、Ｓ１３０２と同様であるので、その説明を省略する。

【0206】

Ｓ１８０３では、スタンバイファイル制御部は、ブロック単位のリード要求を、スタンバイストレージＯＳ部を有するストレージ制御部３２０－４に通知する。

【0207】

Ｓ１８０４では、ストレージ制御部３２０－４は、アクセス可否判定を行う。なお、アクセス可否判定については、Ｓ１３０４と同様であるので、その説明を省略する。

【0208】

Ｓ１８０５では、ストレージ制御部３２０－４は、アクセスが「可」であると判定した記憶装置２３０に対してデータの読み込みを行う。本例では、記憶装置２３０－４１へのアクセスが「可」であるので、ストレージ制御部３２０－４は、記憶装置２３０－４１に対してデータの読み込み（ローカルリード）を行う。

【0209】

Ｓ１８０６では、ストレージ制御部３２０－４は、ブロックデータと、読み込みが完了したこととを、スタンバイファイル制御部に通知（ブロックＩ／Ｏ応答）する。

【0210】

Ｓ１８０７では、スタンバイファイル制御部は、データ変換を行う。データ変換では、ブロックデータがファイルデータに変換される。

【0211】

Ｓ１８０８では、スタンバイファイル制御部は、ファイルデータと、読み込みが完了したことをファイルクライアント１１０に通知（ファイルＩ／Ｏ応答）する。

【0212】

図１９は、フェイルオーバ後のライト処理の制御フローの一例を示す図である。図１９では、ファイルクライアント１１０から、スタンバイファイル制御部にファイル単位のライト要求が行われるケースを例に挙げてライト処理について説明する。

【0213】

Ｓ１９０１では、スタンバイファイル制御部は、ファイルクライアント１１０からファイル単位のライト要求を受信する。

【0214】

Ｓ１９０２では、スタンバイファイル制御部は、リクエスト変換を行う。なお、リクエスト変換については、Ｓ１４０２と同様であるので、その説明を省略する。

【0215】

Ｓ１９０３では、スタンバイファイル制御部は、ブロック単位のライト要求を、スタンバイストレージＯＳ部を有するストレージ制御部３２０－４に通知する。

【0216】

Ｓ１９０４では、ストレージ制御部３２０－４は、アクセス可否判定を行う。なお、アクセス可否判定については、Ｓ１４０４と同様であるので、その説明を省略する。本例では、記憶装置２３０－１１へのアクセスが「不可」であり、記憶装置２３０－４１へのアクセスが「可」であるので、ストレージ制御部３２０－４は、記憶装置２３０－４１に対してデータの書き込み（ローカルライト）を行う。

【0217】

Ｓ１９０５では、ストレージ制御部３２０－４は、アクセスが「可」であると判定した記憶装置２３０に対してデータの書き込みを行う。

【0218】

Ｓ１９０６では、ストレージ制御部３２０－４は、ブロック単位のデータの書き込みが完了したことをスタンバイファイル制御部に通知（ブロックＩ／Ｏ応答）する。

【0219】

Ｓ１９０７では、スタンバイファイル制御部は、ファイル単位のデータの書き込みが完了したことをファイルクライアント１１０に送信（ファイルＩ／Ｏ応答）する。

【0220】

本実施の形態では、ファイル制御部ペアおよびストレージＯＳ部ペアを同一ノード１２０上で揃えることにより、ノード１２０に障害が発生したときに、それぞれのフェイルオーバ先が同一ノード１２０となり、ストレート構成を維持できる。

【0221】

また、本実施の形態では、ノード１２０をパーソナルコンピュータ等に適用する場合、上述した制御に関するプログラムは、ＣＤ－ＲＯＭ等の記録媒体、インターネット等のデータ信号を通じて提供することができる。

【0222】

図２０は、プログラムが提供される態様の一例を示す図である。

【0223】

パーソナルコンピュータ２０００は、ＣＤ－ＲＯＭ２０４０を介してプログラムの提供を受ける。また、パーソナルコンピュータ２０００は、通信回線２０１０との接続機能を有する。コンピュータ２０２０は、上記プログラムを提供するサーバーコンピュータであり、ハードディスク２０３０等の記録媒体にプログラムを格納する。通信回線２０１０は、インターネット、パソコン通信等の通信回線、専用通信回線等である。コンピュータ２０２０は、ハードディスク２０３０を使用してプログラムを読み出し、通信回線２０１０を介してプログラムをパーソナルコンピュータ２０００に送信する。すなわち、プログラムをデータ信号として搬送波を介して、通信回線２０１０を介して送信する。このように、プログラムは、記録媒体、データ信号（搬送波）等の種々の形態のコンピュータ読み込み可能なコンピュータプログラム製品として供給できる。

【0224】

（２）付記
上述の実施の形態には、例えば、以下のような内容が含まれる。

【0225】

上述の実施の形態においては、本発明をシステムに適用するようにした場合について述べたが、本発明はこれに限らず、この他種々のシステム、装置、方法、プログラムに広く適用することができる。

【0226】

また、上述の実施の形態において、例えば、ノード１２０の１つの機能（ファイル制御部３１０、ストレージ制御部３２０等）は、複数の機能に分けられていてもよいし、複数の機能は、１つの機能にまとめられていてもよい。また、ノード１２０の機能の一部は、別の機能として設けられてもよいし、他の機能に含められていてもよい。また、ノード１２０の機能の一部は、ノード１２０と通信可能な他のコンピュータにより実現されてもよい。

【0227】

また、上述の実施の形態において、各テーブルの構成は一例であり、１つのテーブルは、２以上のテーブルに分割されてもよいし、２以上のテーブルの全部または一部が１つのテーブルであってもよい。

【0228】

また、上記の説明において、各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記憶装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

【0229】

上述した実施の形態は、例えば、以下の特徴的な構成を有する。

【0230】

（１）
ファイル単位のＩ／Ｏを行うためのファイルサービスと、ブロック単位のＩ／Ｏを行うためのブロックサービスとを提供する複数のノード（例えば、ノード１２０）がネットワークを介して接続されているストレージシステム（例えば、ストレージシステム１００）であって、上記複数のノードの各々は、データを記憶する記憶装置（例えば、記憶装置２３０）と、上記ファイルサービスにおいて、ファイルクライアント（例えば、ファイルクライアント１１０）からのファイルＩ／Ｏ要求を受け付け、上記ファイルＩ／Ｏ要求をブロックＩ／Ｏ要求に変換するファイル処理部（ファイル制御部３１０、ＶＭ、回路等）と、上記ブロックサービスにおいて、上記ブロックＩ／Ｏ要求をもとに上記記憶装置に対するＩ／Ｏを実行するための処理を行うブロック処理部（ストレージ制御部３２０、ストレージＯＳ部３２２、ＶＭ、回路等）とを含んで構成され、上記複数のノードには、現用系のノード（例えば、ノード１２０－１）と待機系のノード（例えば、ノード１２０－４）とが含まれ、上記現用系のノードのファイル処理部と上記待機系のノードのファイル処理部とをペアとして管理し、上記現用系のノードのファイル処理部を動作可能に設定し、上記現用系のノードのブロック処理部と上記待機系のノードのブロック処理部とをペアとして管理し、上記現用系のノードのブロック処理部を動作可能に設定する管理部（管理部３３０、ＶＭ、回路、管理ノード等）を備える。

【0231】

上記構成では、例えば、ファイル処理部およびブロック処理部をそれぞれペアとし、同じ物理ノードに配置することで、ファイル処理部およびブロック処理部間では内部通信が行われ、ファイルサービスとブロックサービスとの連携において、ノード間の通信回数を抑えることができる。また、上記構成では、例えば、現用系のノードと、待機系のノードとが別々に設けられているので、現用系のノードのハードウェア資源を待機系のために割り当てる必要がなく、現用系のノードの処理性能を高めることができる。例えば、現用系のノードと待機系のノードとを分けることで、従来待機系に使用していたリソース分を現用系のファイル処理部に割り当てることができ、ＩＯ処理の性能が向上する。また、例えば、現用系の３台のノードに他の現用系のノードに対応する待機系のファイル処理部およびブロック処理部を設ける場合、６台分のハードウェア資源が必要であるが、待機系専用のノードを設けることで、４台分で済むので、コストを抑えることができる。

【0232】

（２）
上記現用系のノードは、複数あり（例えば、ノード１２０－１～ノード１２０－３）、上記待機系のノードには、上記複数の現用系のノードの各々のファイル処理部およびブロック処理部とペアであるファイル処理部（例えば、ファイル制御部３１０－４１～ファイル制御部３１０－４３）およびブロック処理部（例えば、ストレージＯＳ部３２２－４１～ストレージＯＳ部３２２－４３）が設けられている（例えば、図８参照）。

【0233】

上記構成では、現用系のペアであるファイル処理部およびブロック処理部が待機系のノードにまとめて設けられているので、例えば、複数の現用系のノードに対応して複数の待機系のノードを設ける場合と比べて、コストを抑えることができる。例えば、現用系の３台のノードの各々に対応して待機系のノードを設ける場合、６台分のハードウェア資源が必要であるが、待機系専用のノードを設けることで、４台分で済むので、コストを抑えることができる。

【0234】

（３）
上記待機系のノードのハードウェア資源は、上記複数の現用系の何れのノードのハードウェア資源よりも多い。

【0235】

ここで、待機系のノードには、フェイルオーバにより待機系のファイル処理部およびブロック処理部が現用系として動作する場合でも、待機系の他のブロック処理部が担うデータの冗長化などを実行可能なハードウェア資源が必要になる。上記構成によれば、現用系のノードのハードウェア資源を待機系のノードのハードウェア資源よりも少なくすることができるので、ハードウェア資源を有効に使用したり、コストを抑えたりすることができる。

【0236】

（４）
上記待機系のノードでは、上記複数の現用系のノードの何れかのノードに障害が発生した場合、上記ノードのファイル処理部とペアであるファイル処理部にメモリ（例えば、メモリ２２０）が割り当てられる。

【0237】

上記構成によれば、例えば、将来を見越して過剰にメモリの容量が割り当てられるオーバープロビジョニングを不要にすることができる。

【0238】

（５）
上記管理部は、ノードの状態を示すノード状態情報（例えば、ノード状態テーブル５４０）を管理し、上記複数の現用系のノードの何れかのノードに障害が発生した場合、上記ノードが閉塞したことを示す情報を上記ノード状態情報に格納し、上記ノード状態情報を参照し、障害が発生しているノード数が１つであるときは、上記ノードのファイル処理部とペアである上記待機系のノードのファイル制御部を動作可能に設定し、上記ノードのブロック処理部とペアである上記待機系のノードのブロック制御部を動作可能に設定する（例えば、図１５参照）。

【0239】

上記構成によれば、例えば、フェイルオーバが行われた場合、待機系のノードのファイル処理部およびブロック処理部間では内部通信が行われるので、ファイルサービスとブロックサービスとの連携において、ノード間の通信回数を抑えることができる。

【0240】

（６）
上記待機系のノードには、ファイル処理部およびブロック処理部の１つのペアを動作可能なハードウェア資源が設けられ、上記管理部は、上記ノード状態情報を参照し、障害が発生しているノード数が２つであるときは、上記複数の現用系のノードのうち、障害が発生していないノードのファイル処理部およびブロック処理部に処理を実行しないように指示し、上記待機系のノードの動作しているファイル処理部およびブロック処理部に処理を実行しないように指示する（例えば、図１６参照）。

【0241】

上記構成によれば、例えば、待機系のノードのファイル制御部およびブロック処理部のペアが２つ以上動作することにより、待機系のノードのハードウェア資源が不足し、データの整合性が保たれなくなること、レスポンスが悪化すること等を回避することができる。

【0242】

（７）
上記現用系のノードのファイル処理部は、ファイルクライアントからのファイルＩ／Ｏ要求を受け付けた場合、上記ファイルＩ／Ｏ要求をブロックＩ／Ｏ要求に変換し（例えば、Ｓ１４０２参照）、上記現用系のノードのブロック処理部は、上記ブロックＩ／Ｏ要求をもとに上記現用系のノードの記憶装置に対するＩ／Ｏを実行するための処理を行い（例えば、Ｓ１４０５）、上記ブロック処理部とペアである上記待機系のノードのブロック処理部に上記ブロックＩ／Ｏ要求をもとに上記待機系のノードの記憶装置に対するＩ／Ｏを実行するようにデータの冗長化を指示し（例えば、Ｓ１４０６）、上記管理部は、上記待機系のノードに障害が発生した場合、上記現用系のノードのブロック処理部にデータの冗長化を停止するように指示する（例えば、図１７参照）。

【0243】

上記構成によれば、例えば、待機系のノードに障害が発生してデータの冗長化ができない場合に、現用系のノードのブロック処理部から待機系のノードのブロック処理部にデータの冗長化が指示されなくなるので、ノード間の通信回数を低減することができる。

【0244】

また上述した構成については、本発明の要旨を超えない範囲において、適宜に、変更したり、組み替えたり、組み合わせたり、省略したりしてもよい。

【0245】

「Ａ、Ｂ、およびＣのうちの少なくとも１つ」という形式におけるリストに含まれる項目は、（Ａ）、（Ｂ）、（Ｃ）、（ＡおよびＢ）、（ＡおよびＣ）、（ＢおよびＣ）または（Ａ、Ｂ、およびＣ）を意味することができると理解されたい。同様に、「Ａ、Ｂ、またはＣのうちの少なくとも１つ」の形式においてリストされた項目は、（Ａ）、（Ｂ）、（Ｃ）、（ＡおよびＢ）、（ＡおよびＣ）、（ＢおよびＣ）または（Ａ、Ｂ、およびＣ）を意味することができる。

【符号の説明】

【0246】

１００……ストレージシステム、１１０……ファイルクライアント、１２０……ノード。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】