特許 7552969 ストレージシステムおよび制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-09

(45)【発行日】2024-09-18

(54)【発明の名称】ストレージシステムおよび制御方法

(51)【国際特許分類】

   G06F 3/06 20060101AFI20240910BHJP

【ＦＩ】

G06F3/06 301S

G06F3/06 301Z

【請求項の数】 6

(21)【出願番号】P 2022118839

(22)【出願日】2022-07-26

(65)【公開番号】P2024016596

(43)【公開日】2024-02-07

【審査請求日】2023-01-11

(73)【特許権者】

【識別番号】524132520

【氏名又は名称】日立ヴァンタラ株式会社

(74)【代理人】

【識別番号】110002365

【氏名又は名称】弁理士法人サンネクスト国際特許事務所

(72)【発明者】

【氏名】杉原 啓太

(72)【発明者】

【氏名】松元 計典

(72)【発明者】

【氏名】松田 元輝

【審査官】田名網 忠雄

(56)【参考文献】

【文献】特開２０２０－０９５５４７（ＪＰ，Ａ）

【文献】米国特許第１１１０６３７１（ＵＳ，Ｂ１）

【文献】特表２０１５－５３１０９１（ＪＰ，Ａ）

【文献】特開２０１９－１８５３２８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０６－３／０８

Ｇ０６Ｆ １３／１０－１３／１４

Ｇ０６Ｆ ９／４５５

(57)【特許請求の範囲】

【請求項1】

複数のサイトの各々に設けられているノードであってコンテナを稼動可能なノードであるコンピュートノードを含んで構成されるクラスタを管理するストレージシステムであり、コンテナが利用可能なボリュームを提供するストレージ装置が前記複数のサイトの各々に設けられているストレージシステムであって、
２つ以上のサイトから指定された複数のストレージ装置の各々において作成され、同期された各ボリュームの情報をもとに、前記各ボリュームを仮想的に一つのボリュームとして関連付けた関連付けボリュームの情報を生成し、前記同期された各ボリュームの情報と前記関連付けボリュームの情報を一つのレコードとしてボリューム管理テーブルに格納する生成部と、
前記生成部により生成された関連付けボリュームの情報が指定されたコンテナの起動が要求されたことに基づいて、前記関連付けボリュームに関連付けられている各ボリュームと前記コンテナを稼動するコンピュートノードとを接続することを前記各ボリュームが作成された各ストレージ装置に指示する指示部と、
を備えるストレージシステム。

【請求項2】

前記生成部により生成された関連付けボリュームの情報が指定されたコンテナの起動が要求されたことに基づいて、前記関連付けボリュームに関連付けられている各ボリュームについて、ボリュームが作成されたストレージ装置と前記コンテナを稼動するコンピュートノードとが同じサイトに設けられているか否かを判定し、同じサイトに設けられていると判定したストレージ装置において作成されたボリュームが優先して利用されるための設定を行う設定部を備える、
請求項１に記載のストレージシステム。

【請求項3】

コンピュートノードの障害を検出する検出部を備え、
前記設定部は、前記検出部によりコンピュートノードに障害が検出された場合、前記コンピュートノードから他のコンピュートノードに再配置されるコンテナにおいて指定されている関連付けボリュームに関連付けられている各ボリュームについて、ボリュームが作成されたストレージ装置と前記他のコンピュートノードとが同じサイトに設けられているか否かを判定し、同じサイトに設けられていると判定したストレージ装置において作成されたボリュームが優先して利用されるための設定を行う、
請求項２に記載のストレージシステム。

【請求項4】

コンピュートノードは、
情報を管理する管理部と、
前記コンピュートノードと接続されているストレージ装置の障害を検出する検出部と、
前記管理部により管理されている情報と前記検出部により検出された結果とに基づいて情報を出力する出力部と、
を備え、
前記設定部は、同じサイトに設けられていると判定したストレージ装置において作成されたボリュームが優先して利用されるための設定を行った場合、前記サイトのコンピュートノードに、前記ボリュームの情報と前記ストレージ装置の情報と前記ボリュームが優先して利用されるための設定を行ったこととを示す情報とが対応付けられた管理情報を通知し、
前記コンピュートノードの管理部は、前記設定部より通知された管理情報を管理し、
前記コンピュートノードの出力部は、前記検出部によりストレージ装置の障害が検出された場合、前記管理部により管理されている管理情報に基づいて、前記コンピュートノードにおいて優先して利用される設定が行われているボリュームがあるか否かを判定することで当該ボリュームへの情報の入力および／または出力が可能であるか否かをチェックし、優先して利用される設定が行われているボリュームがあると判定したとき、前記コンピュータノードと同じサイトにあるストレージ装置に障害が起きていると判断し、前記コンピュートノードで稼動している前記ボリュームを利用するコンテナの再配置を指示する情報を出力する、
請求項２に記載のストレージシステム。

【請求項5】

２つ以上のサイトから指定された複数のストレージ装置の情報の入力を受け付け、前記複数のストレージ装置が指定されたボリュームの作成の要求を受け付ける受付部を備え、
前記指示部は、前記受付部により２つ以上のサイトから指定された複数のストレージ装置が指定されたボリュームの作成の要求が受け付けられた場合、前記複数のストレージ装置の各々にボリュームの作成を指示し、作成されたボリュームの情報を前記複数のストレージ装置の各々から受け取り、作成されたボリュームの同期処理を前記複数のストレージ装置の各々に指示する、
請求項１に記載のストレージシステム。

【請求項6】

複数のサイトの各々に設けられているノードであってコンテナを稼動可能なノードであるコンピュートノードを含んで構成されるクラスタを管理するストレージシステムであり、コンテナが利用可能なボリュームを提供するストレージ装置が前記複数のサイトの各々に設けられているストレージシステムにおける制御方法であって、
生成部が、２つ以上のサイトから指定された複数のストレージ装置の各々において作成され、同期された各ボリュームの情報をもとに、前記各ボリュームを仮想的に一つのボリュームとして関連付けた関連付けボリュームの情報を生成し、前記同期された各ボリュームの情報と前記関連付けボリュームの情報を一つのレコードとしてボリューム管理テーブルに格納することと、
指示部が、前記生成部により生成された関連付けボリュームの情報が指定されたコンテナの起動が要求されたことに基づいて、前記関連付けボリュームに関連付けられている各ボリュームと前記コンテナを稼動するコンピュートノードとを接続することを前記各ボリュームが作成された各ストレージ装置に指示することと、
を含む制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、概して、ストレージシステムの可用性を高める技術に関する。

【背景技術】

【0002】

コンテナを用いるストレージシステムにおいては、可用性を高める方法として、クラスタを構成するサーバ装置を、複数のサイトに分散させる方法がある。クラスタに複数のサイトが存在する場合、サイト毎にストレージ装置を配置し、ストレージ装置の可用性も高める必要がある。

【0003】

ストレージ装置自体の可用性は、サイト毎にストレージ装置を配置し、それぞれのストレージ装置から作成したボリュームを同期させることで冗長性を担保し、ストレージ装置の可用性を高めることができる。コンテナに関しては、コンテナの提供にかかる時間を短縮し得るコンテナ提供支援システムが開示されている（特許文献１参照）。

【0004】

特許文献１に記載のコンテナ提供支援システムでは、管理情報により、第１のサイトの第１のボリュームと、第２のサイトにおいてコンテナの起動に必要なコンテナイメージと、当該コンテナ上で実行されるアプリケーションプログラム（以下、ＡＰＰ）で用いられる第２のボリュームとが紐づけられている。したがって、第２のサイトにおいてコンテナの起動に必要なコンテナイメージとボリュームとを容易に特定でき、第２のサイトにおいてコンテナを短時間で起動することができる。

【先行技術文献】

【特許文献】

【0005】

【文献】特許第６７５９３１７号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

上記特許文献１に記載の技術では、現用系のサイトにおいて障害が発生した場合に、待機系のサイトに短時間で切り替えることができるが、現用系のサイトと待機系のサイトとの間でコンテナを自由に移動させることができないため、コンテナの可用性を高めることが困難である。

【0007】

ここで、コンテナ管理ソフトウェア（以下、コンテナ管理ソフト）では、１つのボリュームを１つのデータとして、コンテナ管理ソフトが持つ記憶領域に保存している。例えば、ユーザが複数のボリュームについて同期設定を実施した場合でも、コンテナ管理ソフトは、それぞれのボリュームを個別のボリュームとして認識したままである。つまり、コンテナ管理ソフトにより立ち上げられたコンテナは、１つのボリュームと接続されているので、例えば、コンテナの再配置を伴わない障害が当該ボリュームを提供するストレージ装置に発生した場合に、ＩＯが切断されることになり、ユーザは、業務を継続できなくなってしまう。

【0008】

本発明は、以上の点を考慮してなされたもので、可用性の高いストレージシステム等を提案しようとするものである。

【課題を解決するための手段】

【0009】

かかる課題を解決するため本発明においては、複数のサイトの各々に設けられているノードであってコンテナを稼動可能なノードであるコンピュートノードを含んで構成されるクラスタを管理するストレージシステムであり、コンテナが利用可能なボリュームを提供するストレージ装置が前記複数のサイトの各々に設けられているストレージシステムであって、２つ以上のサイトから指定された複数のストレージ装置の各々において作成された各ボリュームの情報をもとに、前記各ボリュームを関連付けた関連付けボリュームの情報を生成する生成部と、前記生成部により生成された関連付けボリュームの情報が指定されたコンテナの起動が要求されたことに基づいて、前記関連付けボリュームに関連付けられている各ボリュームと前記コンテナを稼動するコンピュートノードとを接続することを前記各ボリュームが作成された各ストレージ装置に指示する指示部と、を設けるようにした。

【0010】

上記構成では、関連付けボリュームに関連付けられている２つのボリュームとコンテナを稼動するコンピュートノードとが接続されるので、例えば、コンテナは、２つのボリュームが同期されているときに一方のストレージ装置が障害により利用できなくなった場合でも、他方のストレージ装置のボリュームを利用することができる。上記構成によれば、ユーザは、ＩＯが切断されることなく、業務を継続できる。

【発明の効果】

【0011】

本発明によれば、ストレージシステムの可用性を高めることができる。上記以外の課題、構成、および効果は、以下の実施の形態の説明により明らかにされる。

【図面の簡単な説明】

【0012】

【図1】第１の実施の形態によるストレージシステムに係る構成の一例を示す図である。

【図2】第１の実施の形態によるネットワーク構成の一例を示す図である。

【図3】第１の実施の形態による関連付けボリュームの一例を示す図である。

【図4】第１の実施の形態によるノード管理テーブルの一例を示す図である。

【図5】第１の実施の形態によるストレージ管理テーブルの一例を示す図である。

【図6】第１の実施の形態によるボリューム管理テーブルの一例を示す図である。

【図7】第１の実施の形態による接続ボリューム管理テーブルの一例を示す図である。

【図8】第１の実施の形態によるストレージ情報入力処理を示す処理フローの一例を示す図である。

【図9】第１の実施の形態によるボリューム作成関連処理を示す処理フローの一例を示す図である。

【図10】第１の実施の形態によるコンテナ起動処理を示す処理フローの一例を示す図である。

【図11】第１の実施の形態によるボリューム作成処理の一例を示す図である。

【図12】第１の実施の形態による接続処理の一例を示す図である。

【図13】第１の実施の形態による接続解除処理の一例を示す図である。

【図14】第１の実施の形態によるストレージ障害検出処理の一例を示す図である。

【図15】第１の実施の形態によるノード障害関連処理の一例を示す図である。

【発明を実施するための形態】

【0013】

（Ｉ）第１の実施の形態
以下、本発明の一実施の形態を詳述する。ただし、本発明は、実施の形態に限定されるものではない。

【0014】

（Ａ）
従前の技術では、コンテナ管理ソフトが、複数の同期されたボリュームを、それぞれ個別に（独立に）認識する。

【0015】

（Ａ－１）
個別に認識されたボリュームが、それぞれ同時に、別々のＡＰＰからＩＯ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）がかけられた場合、データが破壊されるおそれがある。
この点、本実施の形態では、複数の同期されたボリュームを単一のボリュームとして扱うことで、上記のようなデータ破壊の危険性を排除できる。
例えば、複数の同期されたボリュームを、仮想的に１つのボリューム（関連付けボリューム）としてコンテナ管理ソフトに認識させる。
これにより、コンテナ管理ソフトが、複数の同期されたボリュームを１つのボリュームとして認識するため、複数の異なるＡＰＰから同時に接続されてしまう事態を回避することができる。

【0016】

（Ａ－２）
個別に認識されたボリュームを、コンテナの配置サイトによって使い分けしようとした場合、コンテナの再配置が起きる度に、手動で接続するボリュームを、切り替える必要がある。しかしながら、コンテナの再配置は自動で発生する場合があるので、手動操作が伴うことは、望ましくない。
この点、本実施の形態では、関連付けボリュームを用いることで、手動で切り替える必要がなくなる。
例えば、コンテナは、他のサイトへの再配置が発生しても、自身に元々紐づいているボリュームを参照し続ける。
つまり、関連付けボリュームを紐づけておくことにより、コンテナがどのサイトにあったとしても、手動でのボリュームの切り替えは必要ではない。

【0017】

（Ｂ）
従前の技術では、ボリュームとコンテナ（コンピュートノード）との接続が複数存在する場合、使用されるＩＯの経路をＯＳ（Operating System）が制御する。

【0018】

（Ｂ－１）
同期された複数のボリュームが、コンテナに接続された場合、コンテナと同じサイトにあるストレージ装置との接続経路またはコンテナと異なるサイトにあるストレージ装置との接続経路の両方が利用できるが、コンテナと異なるサイトにあるストレージ装置との接続経路が利用されてしまう可能性がある（ＩＯ性能が前者と比べると悪い）。
この点、本実施の形態では、サイト識別ラベルを、事前にコンピュートノードとストレージ装置との両方に付与しておくことで、コンテナが起動しようとしているノードのサイトに合致するストレージ装置の接続の優先度を上げることができる。
これにより、サイト識別ラベルが合致する（同じサイト内の）通信が優先されるため、ＩＯ性能の劣化を防ぐことができる。

【0019】

（Ｃ）
従前の技術では、コンテナ管理ソフトは、ストレージ装置の障害を検出しないため、ストレージ装置に障害が発生したときに、コンテナの再配置が行われない。

【0020】

（Ｃ－１）
コンテナが配置されたサイトにあるストレージ装置に障害が発生した場合、コンテナのＩＯが停止または性能劣化してしまう。
ここで、同期された複数のボリュームが存在する場合、障害が発生していないストレージ装置への接続を利用することができるが、障害が発生していないストレージ装置が配置されているサイトと、コンテナが配置されているサイトとが異なる場合、ＩＯの性能が劣化してしまう。
この点、本実施の形態では、ノードで稼動しているプラグインにより、接続されているボリュームの状態を監視し、接続の優先度が上げられたボリューム（接続の優先設定がされたボリューム）へのＩＯが可能であるかをチェックする。当該プラグインは、ＩＯできないボリューム（例えば、通信不可能なストレージ装置）があった場合、ノードと同じサイトにあるストレージ装置に障害が起きていると判断し、コンテナ管理ソフトに対してコンテナの再配置を促す。
コンテナ管理ソフトによりコンテナの再配置が行われることで、ＩＯの性能が劣化してしまう事態を回避することができる。

【0021】

次に、本発明の実施の形態を図面に基づいて説明する。以下の記載および図面は、本発明を説明するための例示であって、説明の明確化のため、適宜、省略および簡略化がなされている。本発明は、他の種々の形態でも実施することが可能である。特に限定しない限り、各構成要素は、単数でも複数でも構わない。

【0022】

なお、以下の説明では、図面において同一要素については、同じ番号を付し、説明を適宜省略する。また、同種の要素を区別しないで説明する場合には、枝番を含む参照符号のうちの共通部分（枝番を除く部分）を使用し、同種の要素を区別して説明する場合は、枝番を含む参照符号を使用することがある。例えば、サイトを特に区別しないで説明する場合には、「サイト１０１」と記載し、個々のサイトを区別して説明する場合には、「サイトＡ１０１－１」、「サイトＢ１０１－２」のように記載することがある。

【0023】

本明細書等における「第１」、「第２」、「第３」等の表記は、構成要素を識別するために付するものであり、必ずしも、数または順序を限定するものではない。また、構成要素の識別のための番号は、文脈毎に用いられ、１つの文脈で用いた番号が、他の文脈で必ずしも同一の構成を示すとは限らない。また、ある番号で識別された構成要素が、他の番号で識別された構成要素の機能を兼ねることを妨げるものではない。

【0024】

図１において、１００は、全体として第１の実施の形態によるストレージシステムを示す。

【0025】

ストレージシステム１００には、複数のサイト１０１と、クラスタ１０２とが設けられている。サイト１０１は、ユーザの業務に係るデータを扱うデータセンタ等であり、１つ以上のコンピュートノード１１０と、１つ以上のストレージ装置１２０とを含んで構成されている。本実施の形態では、サイト１０１として、第１のサイト１０１（サイトＡ１０１－１）と、第２のサイト１０１（サイトＢ１０１－２）とを例に挙げて説明するが、第３のサイト１０１等、その他のサイト１０１が設けられていてもよい。

【0026】

また、ストレージシステム１００は、クラスタ１０２を管理するためのコントローラノード１３０（コントロールプレーン）と、ユーザが操作するためのユーザ端末１４０とを含んで構成されている。なお、ストレージシステム１００には、ユーザ端末１４０が含まれていてもよいし、ユーザ端末１４０が含まれていなくてもよい。また、クラスタ１０２には、ユーザ端末１４０が含まれていてもよいし、ユーザ端末１４０が含まれていなくてもよい。

【0027】

ここで、「ノード」とは、ソフトウェアを実行するハードウェア、仮想マシン、コンテナ等に相当するものであり、典型的には、ＯＳの動作単位に対応するものである。なお、以下では、コンピュートノード１１０とコントローラノード１３０とを区別しないときは、ノードと記すことがある。

【0028】

コンピュートノード１１０は、接続ボリューム管理テーブル１１１と、コンテナ１１２（ユーザＡＰＰ）と、プラグイン（コンピュート）１１３と、コンテナ管理ソフト（コンピュート）１１４と、ＯＳ１１５とを含んで構成されている。なお、コンピュートノード１１０は、物理的な装置であってもよく、例えば、サーバ装置であり、インターフェース部、記憶部、それらに接続されたプロセッサ部等を備える。

【0029】

コンピュートノード１１０の機能（コンテナ１１２、プラグイン（コンピュート）１１３、コンテナ管理ソフト（コンピュート）１１４、ＯＳ１１５等）は、例えば、プロセッサ部がプログラムを記憶部に読み出して実行すること（ソフトウェア）により実現されてもよいし、専用の回路等のハードウェアにより実現されてもよいし、ソフトウェアとハードウェアとが組み合わされて実現されてもよい。なお、コンピュートノード１１０の１つの機能は、複数の機能に分けられていてもよいし、複数の機能は、１つの機能にまとめられていてもよい。例えば、プラグイン（コンピュート）１１３は、後述の管理部と後述の検出部と後述の出力部とに分けられていてもよい。また、コンピュートノード１１０の機能の一部は、別の機能として設けられてもよいし、他の機能に含められていてもよい。また、コンピュートノード１１０の機能の一部は、コンピュートノード１１０と通信可能な他のノード、図示しないコンピュータ等により実現されてもよい。

【0030】

ストレージ装置１２０は、コンテナ１１２が利用可能なボリューム１２１と、当該ストレージ装置１２０が設けられているサイト１０１を識別可能なサイト識別ラベル１２２とを含んで構成されている。なお、ストレージ装置１２０は、ＰＤＥＶ部、ＰＤＥＶ部に接続されたストレージコントローラ等を備える。

【0031】

コントローラノード１３０は、ノード管理テーブル１３１と、ストレージ管理テーブル１３２と、ボリューム管理テーブル１３３と、プラグイン（コントローラ）１３４と、コンテナ管理ソフト（コントローラ）１３５と、ＯＳ１３６とを含んで構成されている。なお、コントローラノード１３０は、物理的な装置であってもよく、例えば、サーバ装置であり、インターフェース部、記憶部、それらに接続されたプロセッサ部等を備える。

【0032】

コントローラノード１３０の機能（プラグイン（コントローラ）１３４、コンテナ管理ソフト（コントローラ）１３５、ＯＳ１３６等）は、例えば、プロセッサ部がプログラムを記憶部に読み出して実行すること（ソフトウェア）により実現されてもよいし、専用の回路等のハードウェアにより実現されてもよいし、ソフトウェアとハードウェアとが組み合わされて実現されてもよい。なお、コントローラノード１３０の１つの機能は、複数の機能に分けられていてもよいし、複数の機能は、１つの機能にまとめられていてもよい。例えば、プラグイン（コントローラ）１３４は、後述の生成部と後述の指示部と後述の設定部とに分けられていてもよい。また、例えば、コンテナ管理ソフト（コントローラ）１３５は、後述の検出部と後述の受付部とに分けられていてもよい。また、コントローラノード１３０の機能の一部は、別の機能として設けられてもよいし、他の機能に含められていてもよい。また、コントローラノード１３０の機能の一部は、コントローラノード１３０と通信可能なコンピュートノード、図示しないコンピュータ等により実現されてもよい。

【0033】

なお、以下では、説明の便宜上、プラグイン（コンピュート）１１３をサイト側プラグイン１１３と記し、プラグイン（コントローラ）１３４をプラグイン１３４と記し、コンテナ管理ソフト（コンピュート）１１４をサイト側コンテナ管理ソフト１１４と記し、コンテナ管理ソフト（コントローラ）１３５をコンテナ管理ソフト１３５と記すことがある。

【0034】

図２は、ストレージシステム１００に係るネットワーク構成の一例を示す図である。

【0035】

第１のネットワーク２０１（ネットワークＡ２０１－１）は、例えば、ＬＡＮ（Local Area Network）であり、クラスタ１０２を構成するコンピュートノード１１０およびコントローラノード１３０間の通信用のネットワークである。コンピュートノード１１０とコントローラノード１３０とユーザ端末１４０とは、第１のネットワーク２０１を介して通信可能に接続されている。例えば、コントローラノード１３０は、第１のネットワーク２０１を介して、ユーザ端末１４０からの要求に応じて、各コンピュートノード１１０に指示を出す。

【0036】

第２のネットワーク２０１（ネットワークＢ２０１－２）は、ＦＣ（Fibre Channel）ネットワーク、ＳＣＳＩ（Small Computer System Interface）ネットワーク等であり、コンピュートノード１１０がストレージ装置１２０のボリューム１２１に対してデータのＩＯを行うための通信用のネットワークである。コンピュートノード１１０とストレージ装置１２０とは、第２のネットワーク２０１を介して通信可能に接続されている。通信には、ＦＣまたはｉＳＣＳＩというＳＣＳＩの通信の規格が用いられる。なお、何れのコンピュートノード１１０も全てのストレージ装置１２０にアクセスすることができる。

【0037】

第３のネットワーク２０１（ネットワークＣ２０１－３）は、例えば、ＬＡＮであり、ＲＥＳＴ ＡＰＩ（Representational State Transfer Application Programming Interface）を利用するための通信用のネットワークである。コントローラノード１３０とストレージ装置１２０とは、第３のネットワーク２０１を介して通信可能に接続されている。例えば、コントローラノード１３０のプラグイン１３４は、第３のネットワーク２０１を介して、ストレージ装置１２０に対して命令（各ストレージ装置１２０に対する操作を行うための指示）を出す。

【0038】

第４のネットワーク２０１（ネットワークＤ２０１－４）は、例えば、ＦＣネットワークであり、ストレージ装置１２０同士を接続するネットワークである。ストレージ装置１２０間は、第４のネットワーク２０１を介して通信可能に接続されている。例えば、各ストレージ装置１２０は、第４のネットワーク２０１を介して、データの同期を行う。

【0039】

上述したネットワーク構成は、一例であり、他のネットワーク構成を採用してもよい。

【0040】

図３は、関連付けボリューム１２１の一例を示す図である。図３では、サイト側コンテナ管理ソフト１１４によって認識されるボリューム１２１が関連付けボリューム１２１である場合、実際には、複数のボリューム１２１が関連付けられていることを表している。

【0041】

ストレージシステム１００では、同期状態のボリューム１２１は、ボリューム管理テーブル１３３により関連付けボリューム１２１として関連付けられる。例えば、サイト側コンテナ管理ソフト１１４は、同期状態のボリュームＡ１２１－Ａ１およびボリュームＡ１２１－Ａ２を、関連付けボリューム１２１－Ａとして認識し、同期状態のボリュームＢ１２１－Ｂ１およびボリュームＢ１２１－Ｂ２を、関連付けボリューム１２１－Ｂとして認識する。

【0042】

なお、本実施の形態では、同期状態のボリューム１２１が２つである場合を例に挙げて説明するが、同期状態のボリューム１２１は、３つ以上であってもよい。

【0043】

図４は、ノード管理テーブル１３１の一例を示す図である。

【0044】

ノード管理テーブル１３１は、コンテナ管理ソフト１３５が管理するテーブルであり、クラスタ１０２を構成する各ノードの情報を管理（蓄積）するためのテーブルである。なお、ノードの情報には、コンピュートノード１１０およびコントローラノード１３０の両方の情報が含まれている。

【0045】

より具体的には、ノード管理テーブル１３１は、ノード識別ＩＤ４０１とサイト識別ラベル４０２とロール４０３とノード状態４０４との情報が対応付けられたレコードを記憶する。

【0046】

ノード識別ＩＤ４０１は、ノードを識別するためのＩＤ（一意の文字列）である。サイト識別ラベル４０２は、ノードが何れのサイト１０１に属するかを示すラベル情報（一意の文字列）である。ロール４０３は、ノードが持つ役割を示す情報（文字列）である。コンピュートノード１１０であるか否かは、このロール４０３の情報によって判別することができる。例えば、ロール４０３が「無し」である場合、コンピュートノード１１０であることを示す。ノード状態４０４は、ノードが利用可能であるか否かを示す情報である。例えば、障害が発生したノードは、ノード状態４０４が「利用不可」となる。

【0047】

図５は、ストレージ管理テーブル１３２の一例を示す図である。

【0048】

ストレージ管理テーブル１３２は、コンテナ管理ソフト１３５が管理するテーブルであり、ボリューム１２１の作成時に利用されるストレージ装置１２０の情報を管理するためのテーブルである。ストレージ管理テーブル１３２へのストレージ装置１２０の情報の格納は、例えば、ユーザ端末１４０を介してユーザにより行われる。

【0049】

より具体的には、ストレージ管理テーブル１３２は、ストレージ識別ＩＤ５０１とストレージシリアル５０２とストレージ認証情報５０３とストレージＵＲＬ５０４との情報が対応付けられたレコードを記憶する。なお、従前の技術では、１つのレコードには１つのストレージ装置１２０の情報が格納されていたが、本実施の形態では、１つのレコードに同期対象の複数のボリューム１２１に係る複数のストレージ装置１２０の情報が格納されるように拡張されている。

【0050】

付言するならば、同期対象の複数のボリューム１２１の各々を提供するストレージ装置１２０の数に応じて、ストレージシリアル５０２とストレージ認証情報５０３とストレージＵＲＬ５０４との情報がストレージ識別ＩＤ５０１に対応付けられる。例えば、サイトＡ１０１－１のストレージ装置１２０－１が提供するボリューム１２１－１とサイトＢ１０１－２のストレージ装置１２０－２が提供するボリューム１２１－２とが同期対象である場合、ストレージ管理テーブル１３２は、ストレージ識別ＩＤ５０１とストレージＡシリアル５０２－１とストレージＡ認証情報５０３－１とストレージＡ ＵＲＬ５０４－１とストレージＢシリアル５０２－２とストレージＢ認証情報５０３－２とストレージＢ ＵＲＬ５０４－２との情報が対応付けられたレコードを記憶する。

【0051】

ストレージ識別ＩＤ５０１は、同期対象の複数のボリューム１２１を提供する各ストレージ装置１２０を１つのストレージ装置１２０として識別するためのＩＤである。このＩＤ（文字列）は、ユーザがストレージ管理テーブル１３２に、ストレージ装置１２０の情報を登録する際に決めることができてもよい。なお、ユーザは、ボリューム１２１を作成する際は、ユーザ端末１４０を介して、ストレージ識別ＩＤ５０１を指定し、コンテナ管理ソフト１３５に対して要求を送信する。ストレージシリアル５０２は、ストレージ装置１２０のシリアル番号である。ストレージ認証情報５０３は、ストレージ装置１２０の認証情報（認証に用いられるＩＤ、パスワード等）である。ストレージＵＲＬ５０４は、ストレージ装置１２０の場所を示すストレージ装置１２０のＵＲＬ（Uniform Resource Locator）である。なお、ストレージ管理テーブル１３２に格納される情報は、後述のＳ８０２の処理によって生成される。

【0052】

図６は、ボリューム管理テーブル１３３の一例を示す図である。

【0053】

ボリューム管理テーブル１３３は、コンテナ管理ソフト１３５が管理するテーブルであり、ストレージ装置１２０において作成されたボリューム１２１の情報を管理するためのテーブルである。

【0054】

より具体的には、ボリューム管理テーブル１３３は、ボリューム識別ＩＤ６０１とストレージ識別ＩＤ６０２とＮＡＡ（Network Address Authority）６０３とストレージシリアル６０４とストレージボリュームＩＤ６０５との情報が対応付けられたレコードを記憶する。

【0055】

従前の技術では、１つのレコードには１つのボリューム１２１の情報が格納されていたが、本実施の形態では、１つのレコードに同期設定された複数のボリューム１２１の情報が格納されるように拡張されている。付言するならば、同期設定されたボリューム１２１の数に応じて、ストレージシリアル６０４とストレージボリュームＩＤ６０５との情報がボリューム識別ＩＤ６０１に対応付けられる。例えば、サイトＡ１０１－１のボリューム１２１―１とサイトＢ１０１－２のボリューム１２１－２とが同期設定された場合、ボリューム管理テーブル１３３は、ボリューム識別ＩＤ６０１とストレージ識別ＩＤ６０２とＮＡＡ６０３とストレージＡシリアル６０４－１とストレージＡボリュームＩＤ６０５－１とストレージＢシリアル６０４－２とストレージＢボリュームＩＤ６０５－２との情報が対応付けられたレコードを記憶する。

【0056】

ボリューム識別ＩＤ６０１は、ボリューム１２１を識別するためのＩＤ（一意の文字列）である。この文字列は、例えば、ボリューム１２１が作成された際にコンテナ管理ソフト１３５によって生成され、それ以降、当該ボリューム１２１を識別するためのユニークなＩＤとして利用される。なお、サイト側コンテナ管理ソフト１１４からは、ボリューム識別ＩＤ６０１により識別されるボリューム１２１が関連付けボリューム１２１であるかどうかはわからない。付言するならば、図示は省略するが、ボリューム管理テーブル１３３には、同期設定されていないボリューム１２１の情報が格納されていてもよい。

【0057】

ストレージ識別ＩＤ６０２は、ボリューム１２１の作成に使用されたストレージ装置１２０を識別するためのＩＤ（ストレージ管理テーブル１３２のストレージ識別ＩＤ５０１）である。ＮＡＡ６０３は、ＯＳ１１５がストレージ装置１２０のボリューム１２１をデバイスとして認識する際に使用されるボリューム１２１の識別情報である。ストレージシリアル６０４は、ストレージ識別ＩＤ６０２（ストレージ識別ＩＤ５０１）により対応付けられているストレージ装置１２０のシリアル番号である。ストレージボリュームＩＤ６０５は、当該ストレージ装置１２０内部で作成されたボリューム１２１のＩＤである。なお、ボリューム管理テーブル１３３に格納される情報は、後述のＳ９０４の処理によって生成される。

【0058】

図７は、接続ボリューム管理テーブル１１１の一例を示す図である。

【0059】

接続ボリューム管理テーブル１１１は、コンピュートノード１１０毎に独立して設けられている。接続ボリューム管理テーブル１１１は、サイト側プラグイン１１３が管理するテーブルであり、コンピュートノード１１０に接続されたボリューム１２１の情報を管理するためのテーブルである。ボリューム１２１とコンテナ１１２が起動されようとしているコンピュートノード１１０とを接続する処理をプラグイン１３４が行う際に、当該コンピュートノード１１０上の接続ボリューム管理テーブル１１１に、当該ボリューム１２１に関する情報が書き込まれる。

【0060】

より具体的には、接続ボリューム管理テーブル１１１は、ＮＡＡ７０１とストレージボリュームＩＤ７０２とストレージシリアル７０３と優先設定有無７０４との情報が対応付けられたレコードを記憶する。

【0061】

ＮＡＡ７０１は、接続ボリューム管理テーブル１１１が設けられているコンピュートノード１１０のＯＳ１１５がストレージ装置１２０のボリューム１２１をデバイスとして認識する際に使用されるボリューム１２１の識別情報である。ストレージボリュームＩＤ７０２は、当該ストレージ装置１２０内部で作成されたボリューム１２１のＩＤである。ストレージシリアル７０３は、当該ストレージ装置１２０のシリアル番号である。優先設定有無７０４は、当該ボリューム１２１と当該コンピュートノード１１０との接続の優先設定の有無である。なお、接続ボリューム管理テーブル１１１に格納される情報は、後述のＳ１００４の処理によって生成される。付言するならば、従前の技術では、接続ボリューム管理テーブル１１１は、設けられていない。

【0062】

図８は、同期に係るストレージ装置１２０の情報を入力する際の処理（ストレージ情報入力処理）を示す処理フローの一例を示す図である。なお、ストレージ情報入力処理は、後述のボリューム作成関連処理の前処理である。

【0063】

Ｓ８０１では、ユーザ端末１４０は、同期に係るストレージ装置１２０の情報を入力する。当該情報は、ストレージ管理テーブル１３２に登録するレコードに必要な情報を含んで構成され、例えば、同期対象の複数のボリューム１２１を提供する各ストレージ装置１２０のストレージシリアル５０２とストレージ認証情報５０３とストレージＵＲＬ５０４との情報を含む。

【0064】

Ｓ８０２では、コンテナ管理ソフト１３５は、ユーザ端末１４０を介して入力されたストレージ装置１２０の情報をストレージ管理テーブル１３２に格納する。

【0065】

図９は、同期対象のボリューム１２１を作成する際の処理（ボリューム作成関連処理）を示す処理フローの一例を示す図である。

【0066】

Ｓ９０１では、ユーザ端末１４０は、ボリューム１２１の作成を要求する。より具体的には、ユーザ端末１４０は、ユーザによる操作に応じて、ボリューム１２１の作成に必要な情報（例えば、ボリュームの容量）と、ストレージ管理テーブル１３２の１つのレコード（例えば、ストレージ識別ＩＤ５０１）とを指定して、ボリューム１２１の作成をコンテナ管理ソフト１３５に要求する。

【0067】

Ｓ９０２では、コンテナ管理ソフト１３５は、指定されたレコード（同期に係るストレージ装置１２０の情報）をストレージ管理テーブル１３２から取得する。

【0068】

Ｓ９０３では、コンテナ管理ソフト１３５は、ボリューム１２１の作成をプラグイン１３４に指示する。なお、Ｓ９０３では、Ｓ９０２において取得されたストレージ装置１２０の情報がプラグイン１３４に渡される。

【0069】

Ｓ９０４では、プラグイン１３４は、ボリューム作成処理を行う。ボリューム作成処理では、プラグイン１３４は、同期に係るストレージ装置１２０に対して、ボリューム１２１の作成を指示したり、作成したボリューム１２１の同期をとったりし、その際に得られた情報を関連付けボリューム１２１の情報としてボリューム管理テーブル１３３に追加する。なお、ボリューム作成処理の詳細については、図１１を用いて後述する。

【0070】

Ｓ９０５では、コンテナ管理ソフト１３５は、ボリューム１２１の作成が完了したことを示す情報をユーザ端末１４０に送信（応答）する。

【0071】

図１０は、コンテナ１１２を起動する際の処理（コンテナ起動処理）を示す処理フローの一例を示す図である。

【0072】

Ｓ１００１では、ユーザ端末１４０は、コンテナ１１２（ユーザＡＰＰ）の起動を要求する。例えば、ユーザは、ユーザ端末１４０を介して、ボリューム１２１（例えば、ボリューム識別ＩＤ６０１）を指定してコマンドを入力する。

【0073】

Ｓ１００２では、コンテナ管理ソフト１３５は、指定されたボリューム１２１の情報をボリューム管理テーブル１３３から取得し、当該ボリューム１２１を提供するストレージ装置１２０の情報をストレージ管理テーブル１３２から取得する。

【0074】

Ｓ１００３では、コンテナ管理ソフト１３５は、コンテナ１１２を配置（起動）するコンピュートノード１１０を決定し、当該コンテナ１１２に設定するボリューム１２１と当該コンピュートノード１１０との接続をプラグイン１３４に指示する。なお、Ｓ１００３では、Ｓ１００２において取得されたボリューム１２１の情報とストレージ装置１２０の情報とコンテナ１１２が配置されるコンピュートノード１１０（コンテナ配置先ノード）の識別子とがプラグイン１３４に渡される。

【0075】

Ｓ１００４では、プラグイン１３４は、接続処理を実行する。接続処理では、ボリューム１２１とコンテナ配置先ノードとが接続され、接続に係る情報が接続ボリューム管理テーブル１１１に追加される。なお、接続処理の詳細については、図１２を用いて後述する。

【0076】

Ｓ１００５では、コンテナ管理ソフト１３５は、コンテナ１１２を起動する。なお、コンテナ管理ソフト１３５は、適宜のタイミングで、コンテナ１１２にボリューム識別ＩＤを設定する。

【0077】

図１１は、ボリューム作成処理の一例を示す図である。

【0078】

Ｓ１１０１では、プラグイン１３４は、コンテナ管理ソフト１３５からボリューム１２１を作成する指示を受け取る。当該指示には、例えば、ボリューム１２１の容量、同期に係るストレージ装置１２０の情報等が含まれている。

【0079】

続いて、プラグイン１３４は、同期に係るストレージ装置１２０毎にＳ１１０２およびＳ１１０３の処理を実行する。

【0080】

Ｓ１１０２では、プラグイン１３４は、処理対象のストレージ装置１２０に対してボリューム１２１の作成を指示する。

【0081】

Ｓ１１０３では、プラグイン１３４は、処理対象のストレージ装置１２０からボリューム１２１の作成が完了したことを示す通知と、作成されたボリューム１２１のＩＤ（ストレージボリュームＩＤ）とを受け取る。

【0082】

Ｓ１１０４では、プラグイン１３４は、同期に係るストレージ装置１２０に対して、Ｓ１１０３において作成されたボリューム１２１の同期処理を指示する。

【0083】

Ｓ１１０５では、プラグイン１３４は、Ｓ１１０４において同期されたボリューム１２１の情報を関連付けてボリューム管理テーブル１３３に格納する。例えば、プラグイン１３４は、ＮＡＡを生成し、生成したＮＡＡと、Ｓ１１０１において受け取ったストレージ識別ＩＤおよびストレージシリアルと、Ｓ１１０３において受け取った複数のストレージボリュームＩＤとを１つのレコードとしてボリューム管理テーブル１３３に格納する。なお、ＮＡＡは、適宜のタイミングで生成されてよい。また、ＮＡＡは、他の構成要素により生成されてもよい。

【0084】

Ｓ１１０６では、プラグイン１３４は、ボリューム１２１の作成が完了したことを示す情報をコンテナ管理ソフト１３５に通知（応答）する。

【0085】

従前のコンテナ管理ソフトでは、ボリュームの作成時に１つのボリュームを作成し、それを１つのレコードとしてボリューム管理テーブルに格納していた。この点、本実施の形態では、複数のボリューム１２１を作成し、かつ、同期設定を行い、当該複数のボリューム１２１の情報を１つのレコードとしてボリューム管理テーブル１３３に格納する。

【0086】

図１２は、接続処理の一例を示す図である。

【0087】

Ｓ１２０１では、プラグイン１３４は、ボリューム１２１と当該ボリューム１２１を利用するコンテナ１１２が配置されるコンピュートノード１１０とを接続する指示（接続指示）をコンテナ管理ソフト１３５から受け取る。例えば、接続指示には、ボリューム識別ＩＤと、ボリューム識別ＩＤに紐づく複数のボリューム１２１の情報と、コンテナ配置先ノードの識別子（例えば、ノード識別ＩＤ）とが含まれている。プラグイン１３４は、接続指示をもとに、同期設定されたボリューム１２１と当該ボリューム１２１を提供するストレージ装置１２０とを特定（指定）する。

【0088】

付言するならば、ユーザは、基本的には、コンテナ１１２をどのサイト１０１で起動するかを指定しない。コンテナ管理ソフト１３５がどのサイト１０１でコンテナ１１２を起動するかを決定し、その情報（コンテナ配置先ノードの識別子）が接続指示の際にプラグイン１３４に渡される。

【0089】

続いて、プラグイン１３４は、Ｓ１２０１において特定されたストレージ装置１２０およびボリューム１２１毎にＳ１２０２の処理を実行する。

【0090】

Ｓ１２０２では、プラグイン１３４は、処理対象のストレージ装置１２０に対する通信可否を記録する。例えば、プラグイン１３４は、処理対象のストレージ装置１２０との通信を確認するためのＡＰＩをコールし（呼び出し）、処理対象のストレージ装置１２０と通信可能であるか否かを判定し、通信可能であると判定した場合、通信可能なストレージ装置１２０およびボリューム１２１として記録（通信可能数を計数）する。

【0091】

Ｓ１２０３では、プラグイン１３４は、通信可能数が「０（ゼロ）」であるか否かを判定する。プラグイン１３４は、通信可能数が「０」であると判定した場合、Ｓ１２０４に処理を移し、通信可能数が「０」でないと判定（通信可能数が「１」以上であると判定）した場合、Ｓ１２０５に処理を移す。

【0092】

Ｓ１２０４では、プラグイン１３４は、コンテナ管理ソフト１３５に処理の失敗を通知し、接続処理を終了する。

【0093】

Ｓ１２０５では、プラグイン１３４は、コンテナ配置先ノードの識別子を用いて、コンテナ配置先ノードのサイト識別ラベルをノード管理テーブル１３１から取得する。

【0094】

続いて、プラグイン１３４は、通信可能なストレージ装置１２０およびボリューム１２１毎にＳ１２０６～Ｓ１２０８の処理を実行する。

【0095】

Ｓ１２０６では、プラグイン１３４は、処理対象のストレージ装置１２０に対して、ボリューム１２１とコンテナ配置先ノードとの接続を指示する。例えば、プラグイン１３４は、ボリューム１２１とコンテナ配置先ノードとの接続をするためのＡＰＩをコールする。これにより、ボリューム１２１とコンテナ配置先ノードとが接続された状態になる。

【0096】

本実施の形態では、コンピュートノード１１０にストレージ装置１２０のボリューム１２１が接続されると、ＯＳ１１５からはデバイスファイルとして自動的に認識される。付言するならば、ボリューム１２１を利用するために、ＯＳ１１５に認識されたデバイスファイルの中から接続したボリューム１２１が特定され、特定されたボリューム１２１は、ＯＳ１１５の持つファイルシステムにマウントされる。なお、ボリューム１２１の特定は、プラグイン１３４、コンテナ管理ソフト１３５、サイト側プラグイン１１３の順に渡されるＮＡＡ（ストレージ装置１２０のボリューム１２１をＯＳ１１５が特定するための識別子）を用いて行われる。

【0097】

より具体的には、コンピュートノード１１０にストレージ装置１２０のボリューム１２１を接続すると、自動的に認識され、ＯＳ１１５からはデバイスファイルとして認識される。当該デバイスファイルは、コンピュートノード１１０とストレージ装置１２０との経路の数だけ作られる。例えば、接続されたボリューム１２１が関連付けボリューム１２１である場合、１つのボリューム１２１に対して、最小で２つのデバイスファイルがコンピュートノード１１０に認識されることになる。つまり、ストレージ装置１２０およびコンピュートノード１１０間の接続が冗長化されていた場合、冗長化されている分だけ認識されるデバイスファイルも多くなる。

【0098】

また、認識された複数のデバイスファイルは、ＯＳ１１５の持つマルチパスと呼ばれる機能によって、１つのマルチパス用デバイスファイルに束ねられる。ＯＳ１１５上のコンテナ１１２（ユーザＡＰＰ）からボリューム１２１を利用する際は、このマルチパス用デバイスファイルがマウントされる。コンテナ１１２としては、マウントは１つであるので（１つのマルチパス用デバイスファイルを、１つのマウントポイントにマウントしただけなので）、ボリューム１２１への物理的な経路を意識することなく、ボリューム１２１を利用することができる。

【0099】

Ｓ１２０７では、プラグイン１３４は、サイト識別ラベルに基づいて、接続の優先設定をストレージ装置１２０に指示する。例えば、プラグイン１３４は、処理対象のストレージ装置１２０に対してサイト識別ラベルの問い合わせを実施し、コンテナ配置先ノードのサイト識別ラベルと一致するか否かを判定する。プラグイン１３４は、一致すると判定したと場合、接続の優先設定をストレージ装置１２０に指示（接続の優先設定をするためのＡＰＩをコール）する。

【0100】

本実施の形態では、ストレージ装置１２０とコンピュートノード１１０との間の最適化されたパスを特定するためのプロトコルの一例として、ストレージ装置１２０とコンピュートノード１１０との接続の優先設定が可能なＡＬＵＡ（Asymmetric Logical Unit Access）を採用し、Ｓ１２０７では、ＡＬＵＡの優先設定が「優先する」に更新される。

【0101】

コンテナ１１２（ユーザＡＰＰ）からボリューム１２１にＩＯする際は、ＯＳ１１５の持つマルチパス機能が、自動的にＩＯの経路を選択する。ここで、マルチパス機能は、ＡＬＵＡに対応しているため、マルチパス用デバイスファイルによって束ねられた複数の経路から、ＡＬＵＡの優先設定がされた経路がある場合、これを検出し、優先度の高い経路をＩＯの経路として選択する。つまり、ストレージ装置１２０側でＡＬＵＡの優先設定を行うことで、ＯＳ１１５側がこれを自動的に検出し、結果的には優先度の高いＩＯの経路が使用されることになる。付言するならば、プラグイン１３４は、ＡＬＵＡの優先設定を行うことで、パスに対する優先度を上げることができる。

【0102】

Ｓ１２０８では、プラグイン１３４は、サイト側プラグイン１１３を介して、接続ボリューム管理テーブル１１１に、接続したボリューム１２１およびストレージ装置１２０の情報（ＮＡＡ、ストレージボリュームＩＤ、ストレージシリアル、および優先設定有無）を書き込む。なお、サイト側プラグイン１１３は、プラグイン１３４より通知された情報を接続ボリューム管理テーブル１１１に記憶する。

【0103】

Ｓ１２０９では、プラグイン１３４は、コンテナ管理ソフト１３５に処理の成功を通知し、接続処理を終了する。

【0104】

ここで、例えば、同期されたボリュームＡとボリュームＢがあったとする。従前の技術では、ボリュームＡとボリュームＢは、それぞれ独立してコンテナ管理ソフトに認識される。コンテナからボリュームを利用したい場合は、コンテナの作成時に、利用したいボリュームを指定する。コンテナの作成時に指定したパラメータは、コンテナが削除されるまで、設定として残り続ける。そのため、ボリュームＡを指定して作成されたコンテナが、サイトＡからサイトＢに移動したとしても、当該コンテナは、そのままボリュームＡを継続して利用する。コンテナが参照しようとするボリュームを変更したい場合、ユーザは、手作業で、コンテナを再設定し、一度コンテナを再起動させる必要がある。コンテナの再配置は、自動で行われるものなので、ユーザの手作業を必要とするのは、望ましくない。

【0105】

なお、最初からボリュームＡとボリュームＢとの両方をコンテナ起動時に指定することも考えらえるが、コンテナ管理ソフトからは、それぞれ独立したボリュームとして認識されており、コンテナ（ユーザＡＰＰ）からも、別物として認識されてしまうので、冗長化のメリットが生かせない。

【0106】

この点、本実施の形態では、関連付けボリューム１２１を導入して使用することで、ボリュームＡとボリュームＢとの両方が、コンテナに最初から接続されることになるので、コンテナの再配置の際に、ユーザの手作業は必要なくなる。

【0107】

図１３は、接続を解除する処理（接続解除処理）の一例を示す図である。接続解除処理では、例えば、接続ボリューム管理テーブル１１１に格納された情報が削除される。接続解除処理は、コンピュートノード１１０に障害が発生したとき、コンテナ１１２の再配置が行われるとき、ボリューム１２１を使い終わったとき等の適宜のタイミングで実行される。

【0108】

Ｓ１３０１では、プラグイン１３４は、コンテナ管理ソフト１３５からボリューム１２１とコンピュートノード１１０との接続解除指示を受け取る。例えば、接続解除指示には、ボリューム識別ＩＤと、ボリューム識別ＩＤに紐づく複数のボリューム１２１の情報とが含まれている。プラグイン１３４は、接続解除指示をもとに、同期状態のボリューム１２１と当該ボリューム１２１を提供するストレージ装置１２０とを特定（指定）する。

【0109】

続いて、プラグイン１３４は、Ｓ１３０１において特定されたストレージ装置１２０およびボリューム１２１毎にＳ１３０２の処理を実行する。

【0110】

Ｓ１３０２では、プラグイン１３４は、処理対象のストレージ装置１２０に対する通信可否を記録する。例えば、プラグイン１３４は、通信可能であると判定した場合、通信可能なストレージ装置１２０およびボリューム１２１として記録（通信可能数を計数）する。なお、通信可否の判定方法については、Ｓ１２０２と同じ方法であってもよく、その説明を省略する。

【0111】

Ｓ１３０３では、プラグイン１３４は、通信可能数が「０」であるか否かを判定する。プラグイン１３４は、通信可能数が「０」であると判定した場合、Ｓ１３０４に処理を移し、通信可能数が「０」でないと判定した場合、Ｓ１３０６に処理を移す。

【0112】

Ｓ１３０４では、プラグイン１３４は、サイト側プラグイン１１３を介して、接続ボリューム管理テーブル１１１から接続解除が指示されたボリューム１２１の情報を削除する。

【0113】

Ｓ１３０５では、プラグイン１３４は、プラグイン１３４は、コンテナ管理ソフト１３５に処理の失敗を通知し、接続解除処理を終了する。

【0114】

また、プラグイン１３４は、通信可能数が「０」でないと判定した場合、通信可能なストレージ装置１２０およびボリューム１２１毎にＳ１３０６の処理を実行する。

【0115】

Ｓ１３０６では、プラグイン１３４は、処理対象のストレージ装置１２０に対して、処理対象のボリューム１２１と、当該ボリューム１２１を利用しているコンテナ１１２が配置されているコンピュートノード１１０（コンテナ配置済ノード）との接続解除を指示する。例えば、プラグイン１３４は、ボリューム１２１とコンテナ配置済ノードとの接続を解除するためのＡＰＩをコールする。これにより、ボリューム１２１とコンテナ配置済ノードとは、接続が解除された状態になる。

【0116】

Ｓ１３０７では、プラグイン１３４は、サイト側プラグイン１１３を介して、接続ボリューム管理テーブル１１１から接続解除が指示されたボリューム１２１の情報を削除する。

【0117】

Ｓ１３０８では、プラグイン１３４は、コンテナ管理ソフト１３５に処理の成功を通知し、接続解除処理を終了する。

【0118】

図１４は、ストレージ装置１２０の障害の検出に係る処理（ストレージ障害検出処理）の一例を示す図である。ストレージ障害検出処理は、各コンピュートノード１１０において独立して定期的に行われる。

【0119】

Ｓ１４０１では、サイト側プラグイン１１３は、プラグイン１３４を介して、ノード管理テーブル１３１から全てのノードの情報を取得する。

【0120】

Ｓ１４０２では、サイト側プラグイン１１３は、自コンピュートノード１１０とサイト識別ラベルが異なる利用可能なコンピュートノード１１０があるか否かを判定する。サイト側プラグイン１１３は、利用可能なコンピュートノード１１０があると判定した場合、Ｓ１４０３に処理を移し、利用可能なコンピュートノード１１０がないと判定した場合、ストレージ障害検出処理を終了する。

【0121】

サイト側プラグイン１１３は、利用可能なコンピュートノード１１０があると判定した場合、ＯＳ１１５に認識されているボリューム１２１毎にＳ１４０３～Ｓ１４０７の処理を実行する。

【0122】

Ｓ１４０３では、サイト側プラグイン１１３は、ＳＣＳＩコマンド（例えば、ＩＮＱＵＩＲＹコマンド）により、処理対象のボリューム１２１を提供するストレージ装置１２０からの応答の有無を確認する。なお、処理対象のボリューム１２１が関連付けボリューム１２１である場合、サイト側プラグイン１１３は、自サイト１０１のストレージ装置１２０だけではなく、関連付けボリューム１２１により関連付けられているボリューム１２１を提供する他サイト１０１のストレージ装置１２０に対してもＳＣＳＩコマンドを発行する。

【0123】

Ｓ１４０４では、サイト側プラグイン１１３は、応答があったか否かを判定する。サイト側プラグイン１１３は、応答があった（ストレージ装置１２０に障害が発生していない）と判定した場合、処理対象を次のボリューム１２１に設定してＳ１４０３に処理を移し、応答がなかった（ストレージ装置１２０に障害が発生した）と判定した場合、Ｓ１４０５に処理を移す。

【0124】

Ｓ１４０５では、サイト側プラグイン１１３は、接続ボリューム管理テーブル１１１より、応答がなかったストレージ装置１２０が提供するボリューム１２１の優先設定の有無を確認する。例えば、サイト側プラグイン１１３は、応答がなかったストレージ装置１２０が提供するボリューム１２１に対応するレコードが接続ボリューム管理テーブル１１１に含まれ、当該レコードの優先設定有無７０４が「有り」であるか否かを判定する。

【0125】

Ｓ１４０６では、サイト側プラグイン１１３は、優先設定があると判定した場合、Ｓ１４０７に処理を移し、優先設定がないと判定した場合、処理対象を次のボリューム１２１に設定してＳ１４０３に処理を移す。

【0126】

Ｓ１４０７では、サイト側プラグイン１１３は、コンテナ管理ソフト１３５に対して、処理対象のボリューム１２１を利用する自コンピュートノード１１０で稼動しているコンテナ１１２の再配置を指示し、ループを抜けてストレージ障害検出処理を終了する。

【0127】

ストレージ障害検出処理では、サイト側プラグイン１１３は、ＳＣＳＩコマンドに対する応答がないストレージ装置１２０（ボリューム１２１）については障害が発生していると判断し、かつ、接続ボリューム管理テーブル１１１の優先設定の有無より、当該ボリューム１２１が優先されているか（つまりコンピュートノード１１０と同じサイト１０１にあるボリューム１２１であるか）を判断する。サイト側プラグイン１１３は、同じサイト１０１にあるボリューム１２１を提供するストレージ装置１２０に障害が起きていると判断した場合、当該ボリューム１２１を利用するコンテナ１１２を別サイト１０１に再配置させることを示す情報をコンテナ管理ソフト１３５に通知する。

【0128】

図１５は、コンピュートノード１１０に障害が発生した際の処理（ノード障害関連処理）の一例を示す図である。

【0129】

Ｓ１５０１では、コンテナ管理ソフト１３５は、クラスタ１０２に所属するコンピュートノード１１０の障害を検出する。

【0130】

Ｓ１５０２では、コンテナ管理ソフト１３５は、障害が発生したコンピュートノード１１０で稼動している全てのコンテナ１１２について、ボリューム１２１と、障害が発生したコンピュートノード１１０との接続解除をプラグイン１３４に指示する。なお、プラグイン１３４は、当該指示に基づいて上述の接続解除処理を実行する。

【0131】

Ｓ１５０３では、コンテナ管理ソフト１３５は、障害が発生したコンピュートノード１１０で稼動している全てのコンテナ１１２について、別の正常稼動しているコンピュートノード１１０を割り当て、ボリューム１２１と、割り当てたコンピュートノード１１０との接続をプラグイン１３４に指示する。なお、プラグイン１３４は、当該指示に基づいて上述の接続処理を実行する。

【0132】

当該接続処理によれば、障害が発生したコンピュートノード１１０から別の正常稼動している他のコンピュートノードに再配置されるコンテナ１１２において指定されている関連付けボリューム１２１に関連付けられている各ボリューム１２１について、ボリューム１２１が作成されたストレージ装置１２０と他のコンピュートノード１１０とが同じサイト１０１に設けられているか否かが判定され、同じサイト１０１に設けられていると判定されたストレージ装置１２０において作成されたボリューム１２１が優先して利用されるための設定が行われる。

【0133】

本実施の形態によれば、ストレージシステムの可用性を高めることができる。

【0134】

（ＩＩ）付記
上述の実施の形態には、例えば、以下のような内容が含まれる。

【0135】

上述の実施の形態においては、本発明をストレージシステムに適用するようにした場合について述べたが、本発明はこれに限らず、この他種々のシステム、装置、方法、プログラムに広く適用することができる。

【0136】

また、上述の実施の形態において、「インターフェース部」は、１以上のインターフェースでよい。当該１以上のインターフェースは、１以上の同種の通信インターフェースデバイス（例えば、１以上のＮＩＣ（Network Interface Card））であってもよいし２以上の異種の通信インターフェースデバイス（例えば、ＮＩＣとＨＢＡ（Host Bus Adapter））であってもよい。

【0137】

また、上述の実施の形態において、「記憶部」は、メモリ部とＰＤＥＶ部とのうちの少なくとも１つ（典型的には少なくともメモリ部）である。

【0138】

また、上述の実施の形態において、「メモリ部」は、１以上のメモリであり、典型的には主記憶デバイスでよい。メモリ部における少なくとも１つのメモリは、揮発性メモリであってもよいし不揮発性メモリであってもよい。

【0139】

また、上述の実施の形態において、「ＰＤＥＶ部」は、１以上のＰＤＥＶであり、典型的には補助記憶デバイスでよい。「ＰＤＥＶ」は、物理的な記憶デバイス（Physical storage DEVice）を意味し、典型的には、不揮発性の記憶デバイス、例えばＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）である。

【0140】

また、上述の実施の形態において、「プロセッサ部」は、１以上のプロセッサである。少なくとも１つのプロセッサは、典型的には、ＣＰＵ（Central Processing Unit）のようなマイクロプロセッサであるが、ＧＰＵ（Graphics Processing Unit）のような他種のプロセッサでもよい。少なくとも１つのプロセッサは、シングルコアでもよいしマルチコアでもよい。少なくとも１つのプロセッサは、処理の一部または全部を行うハードウェア回路（例えばＦＰＧＡ（Field-Programmable Gate Array）またはＡＳＩＣ（Application Specific Integrated Circuit））といった広義のプロセッサでもよい。

【0141】

また、上述の実施の形態において、「プログラム」を主語として処理を説明する場合があるが、プログラムは、プロセッサ部によって実行されることで、定められた処理を、適宜に記憶部（例えば、メモリ）および／またはインターフェース部（例えば、通信ポート）等を用いながら行うため、処理の主語がプロセッサとされてもよい。プログラムを主語として説明された処理は、プロセッサ部あるいはそのプロセッサ部を有する装置が行う処理としてもよい。また、プロセッサ部は、処理の一部または全部を行うハードウェア回路（例えば、ＦＰＧＡ（Field-Programmable Gate Array）またはＡＳＩＣ（Application Specific Integrated Circuit））を含んでもよい。

【0142】

また、上述の実施の形態において、プログラムの一部またはすべては、プログラムソースから、ノードを実現するコンピュータのような装置にインストールされてもよい。プログラムソースは、例えば、ネットワークで接続されたプログラム配布サーバまたはコンピュータが読み取り可能な記録媒体（例えば、非一時的な記録媒体）であってもよい。また、上述の説明において、２以上のプログラムが１つのプログラムとして実現されてもよいし、１つのプログラムが２以上のプログラムとして実現されてもよい。

【0143】

また、上述の実施の形態において、各テーブルの構成は一例であり、１つのテーブルは、２以上のテーブルに分割されてもよいし、２以上のテーブルの全部または一部が１つのテーブルであってもよい。

【0144】

また、上述の実施の形態において、説明の便宜上、ストレージシステムに係る情報を、テーブルを用いて説明したが、データ構造はテーブルに限定されるものではない。ストレージシステムに係る情報は、ＸＭＬ（Extensible Markup Language）、ＹＡＭＬ（YAML Ain't a Markup Language)、ハッシュテーブル、木構造等、テーブル以外のデータ構造によって表現されてもよい。

【0145】

また、上記の説明において、各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記憶装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

【0146】

上述した実施の形態は、例えば、以下の特徴的な構成を有する。

【0147】

（１）
複数のサイト（例えば、サイト１０１）の各々に設けられているノードであってコンテナ（例えば、コンテナ１１２）を稼動可能なノードであるコンピュートノード（例えば、コンピュートノード１１０）を含んで構成されるクラスタ（例えば、クラスタ１０２）を管理するストレージシステムであり、コンテナが利用可能なボリューム（例えば、ボリューム１２１）を提供するストレージ装置（例えば、ストレージ装置１２０）が上記複数のサイトの各々に設けられているストレージシステム（例えば、ストレージシステム１００）は、２つ以上のサイトから指定された複数のストレージ装置の各々において作成された各ボリュームの情報をもとに、上記各ボリュームを関連付けた関連付けボリュームの情報（例えば、ボリューム管理テーブル１３３のレコード）を生成する生成部（例えば、コントローラノード１３０、プラグイン１３４、回路等）と、上記生成部により生成された関連付けボリュームの情報が指定されたコンテナの起動が要求されたことに基づいて、上記関連付けボリュームに関連付けられている各ボリュームと上記コンテナを稼動するコンピュートノードとを接続することを上記各ボリュームが作成された各ストレージ装置に指示する指示部（例えば、コントローラノード１３０、プラグイン１３４、回路等）と、を備える。

【0148】

上記構成では、関連付けボリュームに関連付けられている２つのボリュームとコンテナを稼動するコンピュートノードとが接続されるので、例えば、コンテナは、２つのボリュームが同期されているときに一方のストレージ装置が障害により利用できなくなった場合でも、他方のストレージ装置のボリュームを利用することができる。上記構成によれば、ユーザは、ＩＯが切断されることなく、業務を継続できる。

【0149】

（２）
コンテナが第１のサイトから第２のサイトに移動した際、コンテナが利用するボリュームが第１のサイトのボリュームのままである場合、ＩＯ性能が劣化するおそれがある。

【0150】

この点、上記ストレージシステムは、上記生成部により生成された関連付けボリュームの情報が指定されたコンテナの起動が要求されたことに基づいて、上記関連付けボリュームに関連付けられている各ボリュームについて、ボリュームが作成されたストレージ装置と上記コンテナを稼動するコンピュートノードとが同じサイトに設けられているか否かを判定し、同じサイトに設けられていると判定したストレージ装置において作成されたボリュームが優先して利用されるための設定を行う設定部（例えば、コントローラノード１３０、プラグイン１３４、回路等）を備える。

【0151】

上記構成では、例えば、コンテナが起動されるたびに、同期されている複数のボリュームのうち、コンテナを稼動するコンピュートノードが配置されているサイトと同じサイトに配置されているストレージ装置において作成されたボリュームを当該コンテナが利用できるように設定が行われる。上記構成によれば、コンテナが第１のサイトから第２のサイトに移動したとしても、コンテナが起動されるときに当該コンテナが利用するボリュームが第２のサイトのボリュームに割り当てられるので、コンテナが利用するボリュームが第１のサイトのボリュームのままとなる事態を回避でき、ＩＯ性能の劣化を回避することができる。

【0152】

（３）
第１のサイトのコンピュートノードに障害が発生した際、コンテナは、コンテナ管理ソフトにより第２のサイトに自動で移動される。第２のサイトに移動したコンテナに対して、接続対象のボリュームを第２のサイトのストレージ装置のボリュームに切り替えるためには、ユーザの手作業を要する。コンテナの移動は、コンテナ管理ソフトが自動で行うものであり、ストレージ装置の切り替えも自動で行われることが期待される。

【0153】

この点、上記ストレージシステムは、コンピュートノードの障害を検出する検出部（例えば、コントローラノード１３０、コンテナ管理ソフト１３５、回路等）を備え、上記設定部は、上記検出部によりコンピュートノードに障害が検出された場合、上記コンピュートノードから他のコンピュートノードに再配置されるコンテナにおいて指定されている関連付けボリュームに関連付けられている各ボリュームについて、ボリュームが作成されたストレージ装置と上記他のコンピュートノードとが同じサイトに設けられているか否かを判定し、同じサイトに設けられていると判定したストレージ装置において作成されたボリュームが優先して利用されるための設定を行う（例えば、図１５および図１２参照）。

【0154】

上記構成では、例えば、稼動中のコンテナがある第１のサイトのコンピュートノードに障害が発生し、コンテナ管理ソフトにより当該コンテナが第２のサイトのコンピュートノードに再配置されたことが検出された場合、再配置されたコンテナのサイトと同じサイトにあるボリュームが利用されるように設定される。上記構成によれば、再配置されたコンテナと同じサイトにあるボリュームが利用されるようになるので、コンピュートノードの障害に対するコンテナの再配置に合わせてユーザが手作業でボリュームを切り替えることなく、ＩＯ性能の劣化を回避することができる。

【0155】

（４）
コンテナを稼動している第１のサイトにあるストレージ装置に障害が発生した際、稼動中のコンテナが利用する同期された複数のボリュームのうち障害が発生していない第２のサイトのストレージ装置のボリュームに接続対象が切り替えられた場合、コンテナは第１のサイトにあるため、ＩＯ性能が劣化するおそれがある。

【0156】

この点、コンピュートノードは、情報を管理する管理部（例えば、コンピュートノード１１０、サイト側プラグイン１１３、回路等）と、上記コンピュートノードと接続されているストレージ装置の障害を検出する検出部（例えば、コンピュートノード１１０、サイト側プラグイン１１３、回路等）と、上記管理部により管理されている情報と上記検出部により検出された結果とに基づいて情報を出力する出力部（例えば、コンピュートノード１１０、サイト側プラグイン１１３、回路等）と、を備え、上記設定部は、同じサイトに設けられていると判定したストレージ装置において作成されたボリュームが優先して利用されるための設定を行った場合、上記サイトのコンピュートノードに、上記ボリュームの情報（例えば、ＮＡＡ）と上記ストレージ装置の情報（例えば、ストレージボリュームＩＤ、ストレージシリアル）と上記ボリュームが優先して利用されるための設定を行ったこととを示す情報（例えば、優先設定有無）とが対応付けられた管理情報（例えば、接続ボリューム管理テーブル１１１に記憶する情報）を通知し（例えば、Ｓ１２０８）、上記コンピュートノードの管理部は、上記設定部より通知された管理情報を管理し、上記コンピュートノードの出力部は、上記検出部によりストレージ装置の障害が検出された場合、上記管理部により管理されている管理情報に基づいて、上記コンピュートノードにおいて優先して利用される設定が行われているボリュームがあるか否かを判定し、優先して利用される設定が行われているボリュームがあると判定したとき、上記コンピュートノードで稼動している上記ボリュームを利用するコンテナの再配置を促す情報を出力する（例えば、Ｓ１４０７）。

【0157】

上記構成によれば、例えば、コンテナを稼動している第１のサイトにあるストレージ装置に障害が発生した際、障害の発生していないストレージ装置のボリュームに接続対象が切り替えられた場合、コンテナの移動を促す情報が出力される。かかる情報に従ってコンテナ管理ソフトによりコンテナの移動が行われることで、ＩＯ性能が劣化する事態を回避することができる。

【0158】

（５）
第１のサイトのストレージ装置の第１のボリュームと第２のサイトのストレージ装置の第２のボリュームとが、個別に管理される場合、第１のボリュームを第１のコンテナ、第２のボリュームを第２のコンテナというように、別々の用途で参照させることができる。しかしながら、第１のボリュームと第２のボリュームとが同期されている場合に、別々のコンテナから同時に接続されてしまうと、データが破壊されてしまう。

【0159】

この点、上記ストレージシステムは、２つ以上のサイトから指定された複数のストレージ装置の情報の入力を受け付け、上記複数のストレージ装置が指定されたボリュームの作成の要求を受け付ける受付部（例えば、コントローラノード１３０、コンテナ管理ソフト１３５、回路等）を備え、上記指示部は、上記受付部により２つ以上のサイトから指定された複数のストレージ装置が指定されたボリュームの作成の要求が受け付けられた場合、上記複数のストレージ装置の各々にボリュームの作成を指示し、作成されたボリュームの情報を上記複数のストレージ装置の各々から受け取り、作成されたボリュームの同期処理を上記複数のストレージ装置の各々に指示する（例えば、図１１参照）。

【0160】

上記構成では、複数のストレージ装置において複数のボリュームの作成が行われ、作成されたボリュームの同期処理が行われ、同期されている複数のボリュームが関連付けられた関連付けボリュームがコンテナに割り当てられる。上記構成によれば、例えば、別々のコンテナから同期されているボリュームに同時にアクセスされることがなく、データが破壊される事態を回避することができる。

【0161】

また上述した構成については、本発明の要旨を超えない範囲において、適宜に、変更したり、組み替えたり、組み合わせたり、省略したりしてもよい。

【0162】

「Ａ、Ｂ、およびＣのうちの少なくとも１つ」という形式におけるリストに含まれる項目は、（Ａ）、（Ｂ）、（Ｃ）、（ＡおよびＢ）、（ＡおよびＣ）、（ＢおよびＣ）または（Ａ、Ｂ、およびＣ）を意味することができると理解されたい。同様に、「Ａ、Ｂ、またはＣのうちの少なくとも１つ」の形式においてリストされた項目は、（Ａ）、（Ｂ）、（Ｃ）、（ＡおよびＢ）、（ＡおよびＣ）、（ＢおよびＣ）または（Ａ、Ｂ、およびＣ）を意味することができる。

【符号の説明】

【0163】

１００……ストレージシステム、１１０……コンピュートノード、１２０……ストレージ装置、１３０……コントローラノード。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】