特開 2024-172229 ストレージシステム及びストレージシステムの管理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024172229

(43)【公開日】2024-12-12

(54)【発明の名称】ストレージシステム及びストレージシステムの管理方法

(51)【国際特許分類】

   G06F 3/06 20060101AFI20241205BHJP

   G06F 13/10 20060101ALI20241205BHJP

   G06F 16/11 20190101ALI20241205BHJP

   H04L 67/1097 20220101ALI20241205BHJP

   G06F 11/14 20060101ALN20241205BHJP

【ＦＩ】

G06F3/06 301Z

G06F3/06 304F

G06F13/10 340A

G06F16/11

H04L67/1097

G06F11/14 656

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023089804

(22)【出願日】2023-05-31

(71)【出願人】

【識別番号】524132520

【氏名又は名称】日立ヴァンタラ株式会社

(74)【代理人】

【識別番号】110002365

【氏名又は名称】弁理士法人サンネクスト国際特許事務所

(72)【発明者】

【氏名】東郷 一輝

(72)【発明者】

【氏名】出口 彰

(72)【発明者】

【氏名】小関 英通

(72)【発明者】

【氏名】藤井 裕大

(72)【発明者】

【氏名】原 彬大

(57)【要約】

【課題】ボリュームの二次利用の利便性を向上する。
【解決手段】それぞれプロセッサを有する複数のノードを備えたストレージシステムにおいて、前記ストレージシステムに接続された複製元ストレージシステムが有する複製元ボリュームを、前記ストレージシステムの複数のノードに複製する場合に、いずれかの前記プロセッサは、前記複製元ストレージシステムの複製元ボリュームを、前記複数のノードの内の第１のノードに複製した第１の複製ボリュームを作成し、前記複数のノードの内の第２のノードに、前記第１の複製ボリュームにマッピングした第２の複製ボリュームを作成する。
【選択図】図４

【特許請求の範囲】

【請求項1】

それぞれプロセッサを有する複数のノードを備えたストレージシステムにおいて、
前記ストレージシステムに接続された複製元ストレージシステムが有する複製元ボリュームを、前記ストレージシステムの複数のノードに複製する場合に、
いずれかの前記プロセッサは、
前記複製元ストレージシステムの複製元ボリュームを、前記複数のノードの内の第１のノードに複製した第１の複製ボリュームを作成し、
前記複数のノードの内の第２のノードに、前記第１の複製ボリュームにマッピングした第２の複製ボリュームを作成する
ことを特徴とするストレージシステム。

【請求項2】

前記第２のノードは、前記第２の複製ボリュームのスナップショットを生成して、ホストに提供し、
前記ホストから前記第２の複製ボリュームのスナップショットへのリード要求を受信した場合に、前記第２のノードのプロセッサは、前記第２の複製ボリュームを介して、マッピング先の前記第１のノードの第１の複製ボリュームへアクセスしてデータを読み出し、
前記ホストから前記第２の複製ボリュームのスナップショットへのライト要求を受信した場合に、前記第１の複製ボリュームへアクセスすることなく、前記第２のノード内に格納する
ことを特徴とする請求項１に記載のストレージシステム。

【請求項3】

さらに、複数のノードに属する第３のノードを備え、
前記複製元ストレージシステムが有する複製元ボリュームを、前記第３のノードに複製する場合に、
前記複数のノードの内の第３のノードに、前記第１の複製ボリュームにマッピングした第３の複製ボリュームを作成する
ことを特徴とする請求項２に記載のストレージシステム。

【請求項4】

前記第１の複製ボリュームを作成する場合に、
前記複製元ストレージシステムは、前記複製元ボリュームのスナップショットを作成し、
前記第１のノードは、前記第１のノードに、前記複製元ボリュームのスナップショットにマッピングした前記第１の複製ボリュームを作成する
ことを特徴とする請求項１に記載のストレージシステム。

【請求項5】

前記第１のノードは、前記第２の複製ボリュームのスナップショットを生成して、ホストに提供し、
前記ホストから前記第１の複製ボリュームのスナップショットへのリード要求を受信した場合、及び、前記第２のノードから前記第２の複製ボリュームのスナップショットへのリード要求の転送を受けた場合に、前記第１のノードのプロセッサは、前記第１の複製ボリュームを介して、マッピング先の前記複製元ボリュームのスナップショットへアクセスしてデータを読み出し、
前記ホストから前記第１の複製ボリュームのスナップショットへのライト要求を受信した場合に、前記複製元ストレージシステムへアクセスすることなく、前記第１のノード内に格納する
ことを特徴とする請求項４に記載のストレージシステム。

【請求項6】

前記複製元ボリュームは、業務としてデータの入出力が行われ、
前記第１のノード及び第２のノードは、前記複製元ボリュームのデータの二次利用としてデータ入出力が行われ、
前記第１及び第２の複製ボリュームは、作成後は、前記複製元ボリュームのスナップショットによって、前記複製元ボリュームへのデータの入出力の影響を受けない
ことを特徴とする請求項１に記載のストレージシステム。

【請求項7】

前記第１及び第２のノードは、クラウドストレージである
ことを特徴とする請求項１に記載のストレージシステム。

【請求項8】

前記第１のノード及び第２のノードは同じ拠点に配置され、
前記複製元ストレージシステムは、オンプレまたはクラウドストレージであり、前記第１のノード及び第２のノードとは異なる拠点に配置されている
ことを特徴とする請求項７に記載のストレージシステム。

【請求項9】

前記第１のノードと前記第２のノードとのネットワークにおける距離は、前記複製元ストレージシステムと前記第２のノードとのネットワークにおける距離よりも小さい
ことを特徴とする請求項７に記載のストレージシステム。

【請求項10】

それぞれプロセッサを有する複数のノードを備えたストレージシステムの管理方法において、
前記ストレージシステムに接続された複製元ストレージシステムが有する複製元ボリュームを、前記ストレージシステムの複数のノードに複製する場合に、
いずれかの前記プロセッサが、
前記複製元ストレージシステムの複製元ボリュームを、前記複数のノードの内の第１のノードに複製した第１の複製ボリュームを作成し、
前記複数のノードの内の第２のノードに、前記第１の複製ボリュームにマッピングした第２の複製ボリュームを作成する
ことを特徴とするストレージシステムの管理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ストレージシステム及びストレージシステムの管理方法に関する。

【背景技術】

【0002】

本番業務のデータを複製し、様々なアプリでバッチ、分析などの二次利用するユーザが増加している。これらの二次利用は、単一拠点内のシステムで実現されるだけでなく、パブリッククラウドの柔軟かつ迅速に拡張できるリソースを活かすために、オンプレミス上の本番業務データをクラウド上へ複製し、二次利用するというハイブリッドクラウドでのユースケースも存在する。データ二次利用は、ユーザのビジネスを改善、拡張するために重要であり、ストレージシステムでは、二次利用データの格納先のボリュームを迅速に本番業務データから複製し、スケールアウトさせることが求められる。
疎結合スケールアウトストレージアーキテクチャ上で、ボリュームをスケールアウトさせる技術として、例えば、特許文献１には、ストレージシステムにストレージノードを追加することにより、各ストレージノードの負荷を軽減して、ストレージシステムの性能を向上する技術（スケールアウト技術）が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９－１０１７０３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来技術であるスケールアウト技術の場合、ストレージノードを追加した後に、過負荷のノードからボリュームを、追加したストレージノードへ移動するという処理が必要となる。その際、ボリュームのデータは全て移動する必要がある。スケールアウト技術を二次利用目的で行う場合、二次利用の開始は、本番業務のデータを他のストレージノード上へフルコピーした後になり、迅速な二次利用ができない。
そこで、本発明では、ボリュームのスケールアウトまでの時間を短縮して、迅速な二次利用の開始を可能とすることで、ボリュームの二次利用の利便性を向上することを目的とする。

【課題を解決するための手段】

【0005】

上記目的を達成するために、代表的な本発明のストレージシステムの一つは、それぞれプロセッサを有する複数のノードを備えたストレージシステムにおいて、前記ストレージシステムに接続された複製元ストレージシステムが有する複製元ボリュームを、前記ストレージシステムの複数のノードに複製する場合に、いずれかの前記プロセッサは、前記複製元ストレージシステムの複製元ボリュームを、前記複数のノードの内の第１のノードに複製した第１の複製ボリュームを作成し、前記複数のノードの内の第２のノードに、前記第１の複製ボリュームにマッピングした第２の複製ボリュームを作成することを特徴とする。
また、代表的な本発明のストレージシステムの管理方法の一つは、それぞれプロセッサを有する複数のノードを備えたストレージシステムの管理方法において、前記ストレージシステムに接続された複製元ストレージシステムが有する複製元ボリュームを、前記ストレージシステムの複数のノードに複製する場合に、いずれかの前記プロセッサが、前記複製元ストレージシステムの複製元ボリュームを、前記複数のノードの内の第１のノードに複製した第１の複製ボリュームを作成し、前記複数のノードの内の第２のノードに、前記第１の複製ボリュームにマッピングした第２の複製ボリュームを作成することを特徴とする。

【発明の効果】

【0006】

本発明によれば、ボリュームの二次利用の利便性を向上できる。上記した以外の課題、構成及び効果は以下の実施の形態の説明により明らかにされる。

【図面の簡単な説明】

【0007】

【図1】第１の実施形態に係る情報処理システムの全体構成図である。

【図2】一実施形態に係るストレージノードの構成図である。

【図3】一実施形態に係る管理装置の構成図である。

【図4】第１の実施形態に係る情報処理システムのスケールアウト処理の概要を説明する図である。

【図5】一実施形態に係る管理装置のメモリの構成図である。

【図6】一実施形態に係るストレージノードのメモリの構成図である。

【図7】一実施形態に係るスケールアウト管理テーブルの構成図である。

【図8】一実施形態に係るストレージノード管理テーブルの構成図である。

【図9】一実施形態に係るスケールアウト対象ＶＯＬ管理テーブルの構成図である。

【図10】一実施形態に係るＥ－ＶＯＬ管理テーブルの構成図である。

【図11】一実施形態に係るＳＳ－ＶＯＬ管理テーブルの構成図である。

【図12】一実施形態に係るスケールアウト処理全体のフローチャートである。

【図13】一実施形態に係るスケールアウトに必要な情報確認処理のフローチャートである。

【図14】一実施形態に係る展開用ＶＯＬ作成処理のフローチャートである。

【図15】一実施形態に係るＥ－ＶＯＬ作成処理のフローチャートである。

【図16】一実施形態に係るＳＳ－ＶＯＬ作成処理のフローチャートである。

【図17】一実施形態に係るパス変更処理のフローチャートである。

【図18】第２と第３の実施形態に係る情報処理システムの全体構成図である。

【図19】第２の実施形態に係る情報処理システムのスケールアウト処理の概要を説明する図である。

【図20】第３の実施形態に係る情報処理システムのスケールアウト処理の概要を説明する図である。

【発明を実施するための形態】

【0008】

実施形態について、図面を参照して説明する。なお、以下に説明する実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている諸要素及びその組み合わせの全てが発明の解決手段に必須であるとは限らない。

【0009】

以下の説明では、「ＡＡＡテーブル」の表現にて情報を説明することがあるが、情報は、どのようなデータ構造で表現されていてもよい。すなわち、情報がデータ構造に依存しないことを示すために、「ＡＡＡテーブル」を「ＡＡＡ情報」と呼ぶことができる。

【0010】

また、以下の説明では、プログラムを動作の主体として処理を説明する場合があるが、プログラムは、プロセッサ（例えばＣＰＵ）によって実行されることで、定められた処理を、適宜に記憶資源（例えばメモリ）及び／又は通信インターフェースデバイス（例えばＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ））を用いながら行うため、処理の主体がプロセッサとされてもよい。プログラムを動作の主体として説明された処理は、プロセッサ或いはそのプロセッサを有する計算機（システム）が行う処理としてもよい。

【0011】

また、以下の説明において、２以上のプログラムが１つのプログラムとして実現されてもよいし、１つのプログラムが２以上のプログラムとして実現されてもよい。
また、以下の説明において、「ＶＯＬ」は、論理ボリュームの略であり、論理的な記憶デバイスでよい。ＶＯＬは、実体的なボリューム（物理的な記憶デバイスに基づくボリューム）でもよいし、仮想的なボリュームであってもよい。

【実施例0012】

図１は、第１の実施形態に係る情報処理システムの全体構成図である。
情報処理システム１は、ストレージクラスタ１０００と、管理装置２００と、１以上のホスト計算機３００とを備える。ストレージクラスタ１０００は、１以上のストレージノード１００を備える。ストレージクラスタ１０００は、ストレージシステムや分散ストレージシステムと呼ばれてもよい。本実施形態では、ストレージクラスタ１０００は、拠点１０に設けられる。拠点１０は、例えば、オンプレミスやクラウドであってよい。

【0013】

ストレージノード１００と、管理装置２００と、ホスト計算機３００とは、ネットワーク４００を介して接続されている。ネットワーク４００は、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等であってよい。

【0014】

ストレージノード１００は、ホスト計算機３００に対してデータを読み書きするための記憶領域を提供する装置である。ストレージノード１００は、物理計算機であってもよいし、仮想計算機であってもよい。

【0015】

管理装置２００は、システム管理者が本情報処理システム１全体を管理するために利用するコンピュータである。管理装置２００は、物理計算機であってもよいし、仮想計算機であってもよい。管理装置２００は、プログラムによってストレージクラスタ１０００全体や、ストレージノード１００や、ホスト計算機３００から情報を取得し、ユーザインターフェース（ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｆａｃｅ）、ＣＬＩ（Ｃｏｍｍａｎｄ Ｌｉｎｅ Ｉｎｔｅｒｆａｃｅ））を介して情報を表示する。管理装置２００は、ユーザインターフェースを介して、システム管理者によって入力された指示をストレージクラスタ１０００全体や、ストレージノード１００や、ホスト計算機３００に送信する機能を有する。管理装置２００は、ストレージクラスタ１０００や、ストレージノード１００や、ホスト計算機３００から取得した情報に基づき、システム管理者による指示を介さずに、自動的に最適な指示をストレージクラスタ１０００や、ストレージノード１００や、ホスト計算機３００に送信する機能を有してもよい。管理装置２００は、オンプレミス上の装置であってもよいし、クラウド上の装置であってもよい。なお、管理装置２００の機能は、ストレージノード１００のいずれかにて実現されてもよい。

【0016】

ホスト計算機３００は、ユーザ操作やアプリケーションプログラム（例えば、ファイルサーバプログラム、データベースサーバプログラム）からの要求に応じてストレージクラスタ１０００に対してリード／ライト要求（以下、適宜、これらをＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）要求と呼ぶ）を送信するコンピュータである。ホスト計算機３００は、物理計算機であってもよいし、仮想計算機であってもよい。ホスト計算機３００は、例えば、複数のストレージノード１００がクラスタを構成している場合には、クラスタを構成しているストレージノードとの間でマルチパスが設定される。なお、マルチパスの設定は、例えば、Ｌｉｎｕｘ（登録商標）を用いている場合にはｍｕｌｔｉｐａｔｈ－ｔｏｏｌｓを用いることができ、ホスト計算機３００がＷｉｎｄｏｗｓ（登録商標） ｓｅｒｖｅｒである場合には、ＭＰＩＯサービスを用いることができる。ホスト計算機３００は、オンプレミス上の装置であってもよいし、クラウド上の装置であってもよい。

【0017】

次に、ストレージノード１００について詳細に説明する。
図２は、一実施形態に係るストレージノードの構成図である。
ストレージノード１００は、内部ネットワーク１５０を介して相互に接続されたＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１０と、メモリ１２０と、複数のストレージデバイス１３０と、通信Ｉ／Ｆ１４０とを含む。各ストレージノード１００が備えるＣＰＵ１１０と、メモリ１２０と、ストレージデバイス１３０と、通信Ｉ／Ｆ１４０は、それぞれ１以上であってよい。

【0018】

ＣＰＵ１１０は、ストレージノード１００全体の動作制御を司るプロセッサである。ＣＰＵ１１０は、メモリ１２０に格納されたプログラムや管理情報に基づいて、各種処理を実行する。ＣＰＵ１１０は、物理計算機の物理的なＣＰＵであってもよいし、クラウドの仮想化機能を用いて物理計算機の物理的なＣＰＵを仮想的に割り当てた仮想的なＣＰＵであってもよい。

【0019】

メモリ１２０は、ＳＲＡＭ（Ｓｔａｔｉｃ ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））やＤＲＡＭ（Ｄｙｎａｍｉｃ ＲＡＭ）などの揮発性の半導体メモリから構成され、ＣＰＵ１１０により実行される各種プログラムと、ＣＰＵ１１０により参照または更新される管理情報とを格納する。メモリ１２０は、物理的なメモリであってもよいし、クラウドの仮想化機能を用いて物理的なメモリを仮想的に割り当てた仮想的なメモリであってもよい。

【0020】

ストレージデバイス１３０は、ホスト計算機３００が利用するユーザデータを格納する記憶デバイスである。典型的には、不揮発性の記憶デバイスでよい。ストレージデバイス１３０は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）またはＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）でよい。ストレージデバイス１３０は、物理的なストレージデバイスであってもよいし、クラウドの仮想化機能を用いて物理的なストレージデバイスを仮想的に割り当てた仮想的なストレージデバイスであってもよい。

【0021】

通信Ｉ／Ｆ１４０は、ストレージノード１００がネットワーク４００を介してホスト計算機３００や、他のストレージノード１００や、管理装置２００と通信を行うためのインターフェースであり、例えば、ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）やＦＣ（Ｆｉｂｒｅ Ｃｈａｎｎｅｌ）カードなどから構成される。通信Ｉ／Ｆ１４０は、物理的な通信Ｉ／Ｆであってもよいし、クラウドの仮想化機能を用いて物理的な通信Ｉ／Ｆを仮想的な割り当てた仮想的な通信Ｉ／Ｆであってもよい。

【0022】

次に、管理装置２００について詳細に説明する。
図３は、一実施形態に係る管理装置の構成図である。
管理装置２００は、ＣＰＵ２１０と、メモリ２２０と、通信Ｉ／Ｆ２３０とを含む。ＣＰＵ２１０は、メモリ２２０に格納されたプログラムや管理情報に基づいて、ホスト計算機３００や、ストレージノード１００や、ストレージクラスタ１０００全体を制御する処理を行う。メモリ２２０は、ＣＰＵ２１０により実行されるプログラムと、ＣＰＵ２１０により参照または更新される管理情報とを格納する。通信Ｉ／Ｆ２３０は、ネットワーク４００を介して、ストレージノード１００、ホスト計算機３００と通信するためのインターフェースである。

【0023】

次に、情報処理システム１のスケールアウトの概要について説明する。
図４は、第１の実施形態に係る情報処理システムのスケールアウト処理の概要を説明する図である。

【0024】

ストレージクラスタ１０００は、ストレージノード１００ａとストレージノード１００ｂとストレージノード１００ｃとを含む。
スケールアウト前は、ストレージノード１００ａには、ボリューム（ＶＯＬ）５００ａが定義されている。また、ストレージノード１００ａには、ホスト計算機３００ａとＶＯＬ５００ａの間の通信経路としてパス５３０ａが定義されており、ホスト計算機３００ａからＶＯＬ５００ａに対してリード／ライトが可能となっている。ホスト計算機３００ａでは、アプリケーションプログラム（Ａｐｐ）３１０ａが動作している。Ａｐｐ３１０ａは、ＶＯＬ５００ａのデータを参照／更新することでＡｐｐ３１０ａの機能（例えば、業務アプリ、データベース、ファイルサーバなど）を実現している。

【0025】

スケールアウト後は、ストレージノード１００ａには、ＶＯＬ５００ａと、ＶＯＬ５００ａのスナップショットとして提供されるスナップショットボリューム（ＳＳ－ＶＯＬ）５１０ａが定義されている。また、ストレージノード１００ａには、ホスト計算機３００ａとＶＯＬ５００ａの間のパス５３０ａが定義されており、ホスト計算機３００ａで動作しているＡｐｐ３１０ａがＶＯＬ５００ａのデータを参照／更新することができる。

【0026】

ストレージノード１００ｂには、ＳＳ－ＶＯＬ５１０ａを外部接続することで提供される外部接続ボリューム５２０ａ（Ｅ－ＶＯＬ）と、Ｅ－ＶＯＬ５２０ａのスナップショットとして提供されるＳＳ－ＶＯＬ５１０ｂが定義されている。また、ストレージノード１００ｂには、ホスト計算機３００ｂとＳＳ－ＶＯＬ５１０ｂの間のパス５３０ｂが定義されており、ホスト計算機３００ｂで動作しているＡｐｐ３１０ｂがＳＳ－ＶＯＬ５１０ｂのデータを参照／更新することができる。

【0027】

ストレージノード１００ｃには、ＳＳ－ＶＯＬ５１０ａを外部接続することで提供されるＥ－ＶＯＬ５２０ｂと、Ｅ－ＶＯＬ５２０ｂのスナップショットとして提供されるＳＳ－ＶＯＬ５１０ｃが定義されている。また、ストレージノード１００ｃには、ホスト計算機３００ｃとＳＳ－ＶＯＬ５１０ｃの間のパス５３０ｃが定義されており、ホスト計算機３００ｃで動作しているＡｐｐ３１０ｃがＳＳ－ＶＯＬ５１０ｃのデータを参照／更新することができる。

【0028】

外部接続とは、第１のストレージノード（図４に示す例によれば、ストレージノード１００ａ）に接続された第２のストレージノード（図４に示す例によれば、ストレージノード１００ｂおよびストレージノード１００ｃ）が、第１のストレージノードが提供するボリューム（図４に示す例によれば、ＳＳ－ＶＯＬ５１０ａ）を、第２のストレージノードが提供する仮想的なボリューム（図４に示す例によれば、Ｅ－ＶＯＬ５２０ａおよびＥ－ＶＯＬ５２０ｂ）として対応付ける（マッピングする）機能である。マッピングとは、Ｅ－ＶＯＬに、第２のストレージノードから操作するために必要な管理番号を割り当てることである。Ｅ－ＶＯＬをマッピングすることで、第２のストレージノードは、Ｅ－ＶＯＬに対して、第２のストレージノード自身が作成したボリュームと同等の管理操作（例えば、ＧＵＩ、ＣＬＩからの管理や、スナップショット、リモートレプリケーションなどの機能適用）を行うことができるようになる。第２のストレージノードは、第２のストレージノードが提供するＥ－ＶＯＬに対して、ホスト計算機や当該Ｅ－ＶＯＬに基づくボリュームからリード／ライト要求があった場合、当該Ｅ－ＶＯＬに対応する第１のストレージノード上のＶＯＬへリード／ライト要求を転送することができる。

【0029】

これにより、第２のストレージノードが、第１のストレージノード上のＶＯＬと同じデータを持つボリュームを提供したい場合であっても、第２のストレージノードは、第１のストレージノード上のＶＯＬと同じ種別のＶＯＬの定義および、その定義に必要な記憶デバイスや容量仮想化技術（例えば、Ｔｈｉｎ Ｐｒｏｖｉｓｉｏｎｉｎｇ）の容量の提供が不要になる。また、第２のストレージノードで提供するＥ－ＶＯＬに対してリード／ライト要求があった場合、Ｅ－ＶＯＬに対してリード／ライト要求があったデータブロックのみを、リード／ライト要求の度に、第１のストレージノードと第２のストレージノードの間で転送すればよい。そのため、第２のストレージノード上で第１のストレージ上のＶＯＬと同じデータを持つボリュームを提供するにあたり、外部接続機能を用いれば、その提供開始時点で、第１のストレージノード上のＶＯＬの中にある全てのデータを、第２のストレージノードへ転送する必要はなく、外部接続の設定が完了した時点で、第２のストレージノードは、ホスト計算機や当該Ｅ－ＶＯＬに基づくボリュームから、Ｅ－ＶＯＬに対するリード／ライト要求を受けつけることができる。

【0030】

第２のストレージノードがＥ－ＶＯＬを提供する場合、Ｅ－ＶＯＬを提供する第２のストレージノード上に、キャッシュを用意し、そのキャッシュ上に、第１のストレージノードから転送されてきた、Ｅ－ＶＯＬに対応するＶＯＬのデータブロックを格納し、そのキャッシュされたデータブロックをリード／ライト要求をするホスト計算機や当該Ｅ－ＶＯＬに基づくボリュームのリード／ライト要求による参照／更新先としてもよい。キャッシュは、典型的にはメモリ１２０で実現されてよい。

【0031】

ＳＳ－ＶＯＬは、スナップショット対象のボリュームの複製として提供されるボリュームでよく、ＳＳ－ＶＯＬおよびスナップショット対象ボリュームに対するライトにより更新されたことによる差分データ（スナップショットデータ）のみを、記憶デバイスや複数の記憶デバイスで構成された記憶領域（典型的には、プールなど）に保存すればよい。

【0032】

次に、管理装置２００のメモリ２２０の構成について説明する。
図５は、一実施形態に係る管理装置のメモリの構成図である。
管理装置２００のメモリ２２０は、プログラム２２００と、管理テーブル２３００とを格納する。

【0033】

プログラム２２００は、管理Ｉ／Ｆプログラム２２１０と、スケールアウトプログラム２２２０とを含む。管理Ｉ／Ｆプログラム２２１０は、情報処理システム１の管理者が操作する管理クライアントから送信されてきた指示内容を、その指示内容に対する処理をするプログラムへ受け渡しを行うとともに、指示内容に対する処理をするプログラムの実行結果を、情報処理システム１の管理クライアントへ送信するためのプログラムである。スケールアウトプログラム２２２０は、管理クライアントからのスケールアウト指示内容に基づき、スケールアウト処理を行うためのプログラムである。

【0034】

管理テーブル２３００は、スケールアウト管理テーブル２３１０と、ストレージノード管理テーブル２３２０と、スケールアウト対象ＶＯＬ管理テーブル２３３０と、Ｅ－ＶＯＬ管理テーブル２３４０と、ＳＳ－ＶＯＬ管理テーブル２３５０とを含む。スケールアウト管理テーブル２３１０は、管理クライアントからのスケールアウト指示内容と、スケールアウト処理の現在の状態を管理するための情報である。ストレージノード管理テーブル２３２０は、ストレージクラスタ１０００が有するストレージノード１００の現在の状態を管理するための情報である。スケールアウト対象ＶＯＬ管理テーブル２３３０は、スケールアウト処理で、スケールアウト対象となるＶＯＬ５００を管理するための情報である。Ｅ－ＶＯＬ管理テーブル２３４０は、スケールアウト処理で、作成されるＥ－ＶＯＬ５２０を管理するための情報である。ＳＳ－ＶＯＬ管理テーブル２３５０は、スケールアウト処理で、作成されるＳＳ－ＶＯＬ５１０を管理するための情報である。

【0035】

次に、ストレージノード１００のメモリ１２０の構成について説明する。
図６は、一実施形態に係るストレージノードのメモリの構成図である。
ストレージノード１００のメモリ１２０は、プログラム１２００を格納する。
プログラム１２００は、Ｉ／Ｏプログラム１２１０と、パス管理プログラム１２２０と、ボリューム管理プログラム１２３０と、スナップショットプログラム１２４０と、外部接続プログラム１２５０とを含む。Ｉ／Ｏプログラム１２１０は、ホスト計算機３００からのＩ／Ｏ要求を処理するためのプログラムである。パス管理プログラム１２２０は、パスの作成、削除やパス情報の管理、パス定義に基づいたホスト計算機３００とボリュームとの経路制御を行うためのプログラムである。ボリューム管理プログラム１２３０は、ボリュームの作成、削除やボリューム情報の管理を行うためのプログラムである。スナップショットプログラム１２４０は、ＳＳ－ＶＯＬの作成、削除やＳＳ－ＶＯＬ情報の管理、ＳＳ－ＶＯＬに対するリード／ライト時のデータ処理を行うためのプログラムである。外部接続プログラム１２５０は、Ｅ－ＶＯＬの作成、削除やＥ－ＶＯＬ情報の管理、Ｅ－ＶＯＬに対するリード／ライト時のデータ処理を行うためのプログラムである。

【0036】

次に、スケールアウト管理テーブル２３１０について説明する。
図７は、一実施形態に係るスケールアウト管理テーブルの構成図である。
スケールアウト管理テーブル２３１０は、スケールアウト指示内容と、スケールアウト処理の現在の状態の情報を管理するテーブルである。スケールアウト管理テーブル２３１０は、スケールアウト処理毎のエントリーを格納する。スケールアウト管理テーブル２３１０のエントリーは、スケールアウトＩＤ２３１１と、スケールアウト対象ＶＯＬ ＩＤ２３１２と、スケールアウトＶＯＬ数２３１３と、スケールアウト結果ＶＯＬ ＩＤ２３１４と、接続先ホストＩＤ２３１５と、スケールアウト処理状態２３１６とのフィールドを含む。

【0037】

スケールアウトＩＤ２３１１には、エントリーに対応するスケールアウト処理の識別番号が格納される。スケールアウト対象ＶＯＬ ＩＤ２３１２には、エントリーに対応するスケールアウト処理でのスケールアウト対象のＶＯＬ５００の識別番号（ＶＯＬ ＩＤ）が格納される。スケールアウトＶＯＬ数２３１３には、エントリーに対応するスケールアウト処理で指示されたスケールアウト対象ＶＯＬ５００の必要な複製数が格納される。スケールアウト結果ＶＯＬ ＩＤ２３１４には、エントリーに対応するスケールアウト処理によって作成されたＳＳ－ＶＯＬ５１０の識別番号（ＳＳ－ＶＯＬ ＩＤ）が格納される。接続先ホストＩＤ２３１５には、エントリーに対応するスケールアウト処理で指示されたスケールアウト結果ＶＯＬとのパス定義を行うホスト識別番号が格納される。接続先ホストＩＤは、典型的には、ＷＷＮやＩＳＣＳＩイニシエータ名であってよい。スケールアウト処理状態２３１６には、エントリーに対応するスケールアウト処理の現在の状態が格納される。スケールアウト処理状態は、例えば、「完了」と「Ｅ－ＶＯＬ作成済」、「未実行」などスケールアウト処理の進捗状態を格納すればよく、後述のフローチャートでの各処理の実行後に、スケールアウト処理状態２３１６を更新してよい。

【0038】

次に、ストレージノード管理テーブル２３２０について説明する。
図８は、一実施形態に係るストレージノード管理テーブルの構成図である。
ストレージノード管理テーブル２３２０は、ストレージクラスタ１０００が有するストレージノード１００の現在の状態の情報を管理するためのテーブルである。ストレージノード管理テーブル２３２０は、ストレージノード１００毎のエントリーを格納する。ストレージノード管理テーブル２３２０のエントリーは、ノードＩＤ２３２１と、ノード状態２３２２と、空き容量２３２３と、ＣＰＵ使用率２３２４と、メモリ使用率２３２５と、通信帯域使用率２３２６とのフィールドを含む。

【0039】

ノードＩＤ２３２１には、エントリーに対応するストレージノード１００の識別番号（ノードＩＤ）が格納される。ノード状態２３２２には、エントリーに対応するストレージノード１００の状態が格納される。ノード状態２３２２は、例えば、「正常」、「異常」といった情報でよい。空き容量２３２３には、エントリーに対応するストレージノード１００のストレージデバイス１３０の空き容量の合計が格納される。ＣＰＵ使用率２３２４には、エントリーに対応するストレージノード１００のＣＰＵ１１０の使用率が格納される。メモリ使用率２３２５には、エントリーに対応するストレージノード１００のメモリ１２０の使用率が格納される。通信帯域使用率２３２６には、エントリーに対応するストレージノード１００の通信Ｉ／Ｆ１４０での通信帯域の使用率が格納される。

【0040】

次に、スケールアウト対象ＶＯＬ管理テーブル２３３０について説明する。
図９は、一実施形態に係るスケールアウト対象ＶＯＬ管理テーブルの構成図である。
スケールアウト対象ＶＯＬ管理テーブル２３３０は、スケールアウト処理で、スケールアウト対象となるＶＯＬの情報を管理するためのテーブルである。スケールアウト対象ＶＯＬ管理テーブル２３３０は、スケールアウト処理毎のエントリーを格納する。スケールアウト対象ＶＯＬ管理テーブル２３３０のエントリーは、スケールアウトＩＤ２３３１と、スケールアウト対象ＶＯＬ ＩＤ２３３２と、展開用ボリュームＩＤ２３３３と、配置先ノードＩＤ２３３４とのフィールドを含む。

【0041】

スケールアウトＩＤ２３３１には、エントリーに対応するスケールアウト処理の識別番号が格納される。スケールアウト対象ＶＯＬ ＩＤ２３３２には、エントリーに対応するスケールアウト処理でのスケールアウト対象のＶＯＬ５００の識別番号（ＶＯＬ ＩＤ）が格納される。展開用ボリュームＩＤ２３３３には、エントリーに対応するスケールアウト処理での、展開用のボリュームとして使用するボリュームの識別番号が格納され、例えば、Ｅ－ＶＯＬ５２０の外部接続先として使用するボリュームＩＤ（ＳＳ－ＶＯＬ ＩＤ）が格納される。配置先ノードＩＤ２３３４は、エントリーに対応するスケールアウト処理での、スケールアウト対象ＶＯＬが配置されているノードの識別番号（ノードＩＤ）が格納される。

【0042】

次に、Ｅ－ＶＯＬ管理テーブル２３４０について説明する。
図１０は、一実施形態に係るＥ－ＶＯＬ管理テーブルの構成図である。
Ｅ－ＶＯＬ管理テーブル２３４０は、スケールアウト処理で、作成されるＥ－ＶＯＬ５２０の情報を管理するためのテーブルである。Ｅ－ＶＯＬ管理テーブル２３４０は、Ｅ－ＶＯＬ５２０毎のエントリーを格納する。Ｅ－ＶＯＬ管理テーブル２３４０のエントリーは、Ｅ－ＶＯＬ ＩＤ２３４１と、Ｅ－ＶＯＬ提供元ＶＯＬ ＩＤ２３４２と、配置先ノードＩＤ２３４３と、スケールアウトＩＤ２３４４とのフィールドを含む。
Ｅ－ＶＯＬ ＩＤ２３４１には、エントリーに対応するＥ－ＶＯＬ５２０の識別番号（Ｅ－ＶＯＬ ＩＤ）が格納される。Ｅ－ＶＯＬ提供元ＶＯＬ ＩＤ２３４２には、エントリーに対応するＥ－ＶＯＬ５２０が外部接続するボリュームの識別番号（ＳＳ－ＶＯＬ ＩＤ）が格納される。配置先ノードＩＤ２３４３には、エントリーに対応するＥ－ＶＯＬ５２０の配置先であるストレージノード１００の識別番号（ノードＩＤ）が格納される。スケールアウトＩＤ２３４４には、エントリーに対応するＥ－ＶＯＬ５２０を作成したスケールアウト処理の識別番号（スケールアウトＩＤ）が格納される。

【0043】

次に、ＳＳ－ＶＯＬ管理テーブル２３５０について説明する。
図１１は、一実施形態に係るＳＳ－ＶＯＬ管理テーブルの構成図である。
ＳＳ－ＶＯＬ管理テーブル２３５０は、スケールアウト処理で、作成されるＳＳ－ＶＯＬ５１０の情報を管理するためのテーブルである。ＳＳ－ＶＯＬ管理テーブル２３５０は、ＳＳ－ＶＯＬ５１０毎のエントリーを格納する。ＳＳ－ＶＯＬ管理テーブル２３５０のエントリーは、ＳＳ－ＶＯＬ ＩＤ２３５１と、ＳＳ－ＶＯＬ提供元ＶＯＬ ＩＤ２３５２と、配置先ノードＩＤ２３５３と、スケールアウトＩＤ２３５４と、展開用ＶＯＬ属性２３５５とのフィールドを含む。

【0044】

ＳＳ－ＶＯＬ ＩＤ２３５１には、エントリーに対応するＳＳ－ＶＯＬ５１０の識別番号（ＳＳ－ＶＯＬ ＩＤ）が格納される。ＳＳ－ＶＯＬ提供元ＶＯＬ ＩＤ２３５２には、エントリーに対応するＳＳ－ＶＯＬ５１０のスナップショット元となるボリュームの識別番号が格納される。ＳＳ－ＶＯＬ提供元ＶＯＬ ＩＤ２３５２は、例えば、ＶＯＬ５００の識別番号（ＶＯＬ ＩＤ）や、Ｅ－ＶＯＬ５２０の識別番号（Ｅ－ＶＯＬ ＩＤ）でよい。配置先ノードＩＤ２３５３には、エントリーに対応するＳＳ－ＶＯＬ５１０の配置先であるストレージノード１００の識別番号（ノードＩＤ）が格納される。スケールアウトＩＤ２３５４には、エントリーに対応するＳＳ－ＶＯＬ５１０を作成したスケールアウト処理の識別番号（スケールアウトＩＤ）が格納される。展開用ＶＯＬ属性２３５５には、エントリーに対応するＳＳ－ＶＯＬ５１０が、他ノードへの外部接続用に作成されたＳＳ－ＶＯＬ５１０であるかどうかを識別する属性の情報が格納される。本実施形態では、エントリーに対応するＳＳ－ＶＯＬ５１０が他ノードへの外部接続用に作成されたＳＳ－ＶＯＬ５１０である場合、Ｔｒｕｅが格納され、ホストからの接続用として作成されたＳＳ－ＶＯＬ５１０である場合、Ｆａｌｓｅが格納される。

【0045】

次に、管理装置２００によるスケールアウト処理全体のフローについて説明する。
図１２は、一実施形態に係るスケールアウト処理全体のフローチャートである。
本実施形態では、情報処理システム１の管理クライアントからの要求を契機に、スケールアウト処理を実行しているが、その他の契機でスケールアウト処理が実行されてもよい。例えば、管理装置２００が、ストレージノード１００の稼働情報を定期的に収集・分析を行い、ストレージノード１００上のボリューム５００のＩ／Ｏ性能が、予め設定された顧客要求の性能に達しないとき、管理装置２００がスケールアウトの必要性を自ら判断し、自動的に管理装置２００がスケールアウト処理の契機を発行してもよい。

【0046】

情報処理システム１の管理クライアントは、管理装置２００の管理Ｉ／Ｆプログラム２２１０に対して、スケールアウト要求を送信する（ステップＳ３０００）。ここで、管理クライアントは、スケールアウト対象ＶＯＬ ＩＤ、スケールアウトＶＯＬ数、接続先ホストＩＤなどを入力パラメータとして送信する。接続先ホストＩＤは、スケールアウト処理でのパス設定に使用されるパラメータであるが、必ずしも送信する必要はなく、スケールアウト処理後に、管理クライアントが自らの操作で接続先ホストＩＤに対するパスを設定してもよい。また、入力パラメータは、上記のパラメータに限らなくてもよく、それ以外の入力パラメータを採用してもよい。例えば、入力パラメータとして、スケールアウト処理実行時刻を送信してもよく、そのスケールアウト処理実行時刻のパラメータに基づいて、スケールアウトプログラムは、スケールアウト実行タイミングを制御してもよい。なお、スケールアウト要求は、１回の入力や１回の通信で送信してもよいし、複数回の入力や複数回の通信で送信してもよい。

【0047】

次いで、管理Ｉ／Ｆプログラム２２１０は、管理クライアントから送信されるスケールアウト要求を受信し、その内容をスケールアウトプログラム２２２０に対して送信する（ステップＳ３１００）。なお、スケールアウト要求内容は、１回の通信で送信してもよいし、複数回の通信で送信してもよい。

【0048】

次いで、スケールアウトプログラム２２２０は、管理Ｉ／Ｆプログラム２２１０から送信されてきたスケールアウト要求内容を受信し、そのスケールアウト要求内容（スケールアウト対象ＶＯＬ ＩＤ、スケールアウトＶＯＬ数、接続先ホストＩＤ）を、スケールアウト管理テーブル２３１０に格納する（ステップＳ３２００）。この際、スケールアウトプログラム２２２０は、スケールアウトＩＤを、スケールアウト管理テーブル２３１０内に既に格納されているエントリーのスケールアウトＩＤと被らないように採番してから、スケールアウト要求内容をスケールアウト管理テーブル２３１０に格納する。

【0049】

スケールアウトプログラム２２２０は、スケールアウト管理テーブル２３１０に格納されたスケールアウト要求内容に基づき、スケールアウト処理に必要な情報を収集、確認する（ステップＳ３３００）。ここで、スケールアウト処理の判断に必要な、スケールアウト対象ＶＯＬの情報や、ストレージノード１００の情報の取得、管理テーブルへの格納を行う。

【0050】

次いで、スケールアウトプログラム２２２０は、展開用ＶＯＬ作成処理を実行する（ステップＳ３４００）。ここで、スケールアウト対象ＶＯＬの配置先ノード以外のノードがＥ－ＶＯＬ５２０を作成するときの外部接続先となる展開用ＶＯＬの作成を行う。次いで、スケールアウトプログラム２２２０は、Ｅ－ＶＯＬ作成処理を実行する（ステップＳ３５００）。ここで、展開用ＶＯＬ作成処理によって作成された展開用ＶＯＬに外部接続するＥ－ＶＯＬ５２０を作成する。

【0051】

次いで、スケールアウトプログラム２２２０は、ＳＳ－ＶＯＬ作成処理を実行する（ステップＳ３６００）。ここで、展開用ＶＯＬ作成処理（ステップＳ３４００）によって作成された展開用ＶＯＬもしくはＥ－ＶＯＬ作成処理（ステップＳ３５００）によって作成されたＥ－ＶＯＬ５２０をスナップショット元にしたＳＳ－ＶＯＬ５１０を作成する。

【0052】

次いで、スケールアウトプログラム２２２０は、パス変更処理Ｓ３７００を実行する。ここで、ＳＳ－ＶＯＬ作成処理（ステップＳ３６００）で作成されたＳＳ－ＶＯＬ５１０と、スケールアウト要求内容格納処理（ステップＳ３２００）でスケールアウト管理テーブル２３１０に格納された接続先ホストＩＤが示すホストとのパスを作成する。スケールアウトプログラム２２２０は、ステップＳ３２００～ステップＳ３７００の処理が完了した後、管理Ｉ／Ｆプログラムに対して、スケールアウト処理の完了およびその結果を通知する。

【0053】

次いで、管理Ｉ／Ｆプログラム２２１０は、スケールアウトプログラム２２２０から通知された実行結果を管理クライアントへ送信する（ステップＳ３８００）。この実行結果の送信方法は、制限されるものではなく、ＧＵＩで画面表示することで送信してもよいし、ＣＬＩやＡＰＩによるコマンドレスポンスとして送信でもよい。

【0054】

最後に、管理クライアントは、管理Ｉ／Ｆプログラム２２１０によって送信されたスケールアウト実行結果を確認する（ステップＳ３９００）。ここで、管理クライアントは、スケールアウトの成否、スケールアウト結果によって複製されたボリュームＩＤ、数、配置先ノードＩＤなどの情報を確認できる。

【0055】

次に、スケールアウトに必要な情報確認処理（ステップＳ３３００）について詳細に説明する。
図１３は、一実施形態に係るスケールアウトに必要な情報確認処理のフローチャートである。

【0056】

管理装置２００のスケールアウトプログラム２２２０は、各ストレージノード１００からノード情報を取得する（ステップＳ３３０１）。ここで取得するノード情報は、ストレージノード管理テーブル２３２０のフィールド情報である。そして、スケールアウトプログラム２２２０は、取得したノード情報をストレージノード管理テーブル２３２０に格納する（ステップＳ３３０２）。なお、ステップＳ３３０１～Ｓ３３０２の処理は、スケールアウト処理以外の契機で定期実行により処理実行されてよく、もし、定期実行により、ストレージノード管理テーブル２３２０にストレージノード情報の最新情報が格納されている場合は、必ずしも、スケールアウト処理のフローの中で、ステップＳ３３０１～Ｓ３３０２を実行しなくてもよい。

【0057】

次いで、スケールアウトプログラム２２２０は、スケールアウト対象ＶＯＬの配置先ノードからスケールアウト対象ＶＯＬ情報を取得する（ステップＳ３３０３）。管理装置２００がスケールアウト対象ＶＯＬの配置先ノードを知る方法としては、スケールアウト処理以前の運用管理において対象ＶＯＬを作成したタイミングで、予め管理装置２００上の管理テーブル上にボリューム情報と配置先ノード情報を対応づける情報を格納しておいてもよいし、管理装置２００が各ストレージノード１００に対して、対象ＶＯＬがノード上に配置されているか問い合わせてもよい。スケールアウトプログラム２２２０は、取得したスケールアウト対象ＶＯＬ情報をスケールアウト対象ＶＯＬ管理テーブル２３３０に格納する（ステップＳ３３０４）。その際、スケールアウトＩＤは、ステップＳ３２００で採番したものを格納する。この時点では、展開用ボリュームＩＤ２３３３のフィールドには情報を格納しなくてよい。

【0058】

次に、展開用ＶＯＬ作成処理（ステップＳ３４００）について詳細に説明する。
図１４は、一実施形態に係る展開用ＶＯＬ作成処理のフローチャートである。
管理装置２００のスケールアウトプログラム２２２０は、ステップＳ３３０３で確認したスケールアウト対象ＶＯＬ配置先ノード上に、スケールアウト対象ＶＯＬ５００のＳＳ－ＶＯＬ５１０を作成する（ステップＳ３４０１）。具体的には、管理装置２００は、スケールアウト対象ＶＯＬ配置先ノードに対して、スケールアウト対象ＶＯＬ５００をスナップショット元としてＳＳ－ＶＯＬ作成依頼を送信し、ＳＳ－ＶＯＬ作成依頼を受け取ったストレージノード１００のスナップショットプログラム１２４０が、スケールアウト対象ＶＯＬ５００をスナップショット元としてＳＳ－ＶＯＬ５１０を作成し、その結果（ＳＳ－ＶＯＬ作成成否、ＳＳ－ＶＯＬ ＩＤなど）を管理装置２００に送信する。

【0059】

次いで、スケールアウトプログラム２２２０は、ステップＳ３４０１で作成したＳＳ－ＶＯＬ５１０を展開用ＶＯＬとしてスケールアウト対象ＶＯＬ管理テーブル２３３０を更新する。具体的には、ステップＳ３３０４で格納したエントリーの展開用ボリュームＩＤフィールド２３３３に、ＳＳ－ＶＯＬ５１０のＩＤを格納する。また、ＳＳ－ＶＯＬ管理テーブル２３５０を更新する。具体的には、ステップＳ３４０１で作成したＳＳ－ＶＯＬ５１０のＩＤをＳＳ－ＶＯＬ ＩＤ２３５１に格納し、スケールアウト対象ＶＯＬ５００のＩＤをＳＳ－ＶＯＬ提供元ＶＯＬ ＩＤ２３５２に格納し、ＳＳ－ＶＯＬ５１０作成先ノードを配置先ノードＩＤ２３５３に格納し、ステップＳ３２００で採番したスケールアウトＩＤをスケールアウトＩＤ２３５４に格納し、展開用ＶＯＬ属性にはＴｒｕｅを格納する（ステップＳ３４０２）。

【0060】

次に、Ｅ－ＶＯＬ作成処理（ステップＳ３５００）について詳細に説明する。
図１５は、一実施形態に係るＥ－ＶＯＬ作成処理のフローチャートである。
管理装置２００のスケールアウトプログラム２２２０は、「スケールアウト対象ＶＯＬの配置先ノードでない」かつ「ノード状態が正常」であるストレージノード１００を（スケールアウトＶＯＬ数－１）個以下かつ（全ノード数－１）だけ選択する（ステップＳ３５０１）。スケールアウト対象ＶＯＬの配置先ノードでないかどうかは、スケールアウト対象ＶＯＬ管理テーブル２３３０の配置先ノードＩＤ２３３４と、ストレージノード１００のノードＩＤを比較すればよい。ノード状態が正常であるかどうかは、ストレージノード管理テーブル２３２０のノード状態２３２２を参照すればよい。スケールアウトＶＯＬ数は、スケールアウト管理テーブル２３１０のスケールアウトＶＯＬ数２３１３を参照すればよい。全ノード数は、例えば、ストレージノード管理テーブル２３２０の有効なエントリー数を数えて確認してもよく、その他の管理テーブルを用意し、その上で管理してもよい。

【0061】

次いで、スケールアウトプログラム２２２０は、ステップＳ３５０１で選択したストレージノード１００上に、展開用ＶＯＬ（ＳＳ－ＶＯＬ５１０）を外部接続するＥ－ＶＯＬ５２０を作成する（ステップＳ３５０２）。具体的には、管理装置２００は、ステップＳ３５０１で選択したストレージノード１００に対して、Ｓ３４０１で作成した展開用ＶＯＬ（ＳＳ－ＶＯＬ５１０）を外部接続するＥ－ＶＯＬ作成依頼を送信し、Ｅ－ＶＯＬ作成依頼を受け取ったストレージノード１００の外部接続プログラム１２５０が、展開用ＶＯＬ（ＳＳ－ＶＯＬ５１０）を外部接続するＥ－ＶＯＬ５２０を作成し、その結果（Ｅ－ＶＯＬ作成成否、Ｅ－ＶＯＬ ＩＤなど）を管理装置２００に送信する。
ステップＳ３５０２でのＥ－ＶＯＬ作成結果をもとに、Ｅ－ＶＯＬ管理テーブル２３４０を更新する（ステップＳ３５０３）。具体的には、ステップＳ３５０２で作成したＥ－ＶＯＬ５２０のＩＤをＥ－ＶＯＬ ＩＤ２３４１に格納し、ステップＳ３５０２で作成したＥ－ＶＯＬ５２０のスナップショット元であるボリュームのＩＤをＥ－ＶＯＬ提供元ＶＯＬ ＩＤ２３４２に格納し、ステップＳ３５０２で作成したＥ－ＶＯＬ５２０の作成先のストレージノード１００のノードＩＤを配置先ノードＩＤ２３４３に格納し、ステップＳ３２００で採番したスケールアウトＩＤをスケールアウトＩＤ２３４４に格納する。

【0062】

次に、ＳＳ－ＶＯＬ作成処理（ステップＳ３６００）について詳細に説明する。
図１６は、一実施形態に係るＳＳ－ＶＯＬ作成処理のフローチャートである。
管理装置２００のスケールアウトプログラム２２２０は、（スケールアウトＶＯＬ数－展開用ＶＯＬとして作成されたＳＳ－ＶＯＬ以外の作成済みＳＳ－ＶＯＬの数）＞０かどうか判断し、条件を満たす場合、ステップＳ３６０２に進み、条件を満たさない場合、ステップＳ３６０６に進む（ステップＳ３６０１）。ステップＳ３６０１は、具体的には、スケールアウトプログラム２２２０が、展開用ＶＯＬとして作成されたＳＳ－ＶＯＬ以外の作成済みＳＳ－ＶＯＬ５１０の数が、スケールアウトＶＯＬ数に達したかどうか判断している。スケールアウトＶＯＬ数は、スケールアウト管理テーブル２３１０のスケールアウトＶＯＬ数２３１３を参照すればよい。展開用ＶＯＬとして作成されたＳＳ－ＶＯＬ以外の作成済みＳＳ－ＶＯＬの数は、ＳＳ－ＶＯＬ管理テーブル２３５０のスケールアウトＩＤ２３５４が、ステップＳ３２００で採番したスケールアウトＩＤかつ、展開用ＶＯＬ属性２３５５がＦａｌｓｅであるエントリーの数を数えればよい。

【0063】

（スケールアウトＶＯＬ数－展開用ＶＯＬとして作成されたＳＳ－ＶＯＬ以外の作成済みＳＳ－ＶＯＬの数）＞０である場合（ステップＳ３６０１；Ｙｅｓ）、スケールアウトプログラム２２２０は、「展開用ＶＯＬもしくは作成済Ｅ－ＶＯＬをもつ」かつ「ノード上の作成済ＳＳ－ＶＯＬ数が他ノード以下」であるストレージノード１００を選択する（ステップＳ３６０２）。ステップＳ３６０２は、スケールアウト処理において、ホスト計算機３００に提供するＳＳ－ＶＯＬ５２０を各ストレージノード１００に可能な限り均等に配置するために実行する。展開用ＶＯＬをもつストレージノード１００であるかは、スケールアウト対象ＶＯＬ管理テーブル２３３０を参照し、判断すればよい。作成済Ｅ－ＶＯＬを持つストレージノード１００であるかは、Ｅ－ＶＯＬ管理テーブル２３４０を参照し、判断すればよい。ノード上の作成済ＳＳ－ＶＯＬ数が他ノード以下であるかどうかは、ＳＳ－ＶＯＬ管理テーブル２３５０を参照し、判断すればよい。

【0064】

スケールアウトプログラム２２２０は、ステップＳ３６０２で選択したストレージノード１００の数が複数存在するか判断する（ステップＳ３６０３）。条件を満たした場合は、ステップＳ３６０４に進み、条件を満たさない場合は、ステップＳ３６０５へ進む。もし、ステップＳ３６０２で、複数のストレージノードが選択された場合、スケールアウトプログラム２２２０は、ストレージノード１００の情報をもとに、ストレージノード１００を一つ選択する（ステップＳ３６０４）。具体的には、ストレージノード管理テーブル２３２０のＣＰＵ使用率２３２４、メモリ使用率２３２５、通信帯域使用率２３２６を参照し、他ストレージノード１００より、これらの使用率が低いストレージノード１００を優先して、一つ選択する。ここで、どのストレージノード１００のリソースの使用率に重みを置いて判断するかは、ストレージシステムの特性や、現時点のストレージシステムの使用状況に応じて、適宜重みづけしてよい。

【0065】

スケールアウトプログラム２２２０は、ステップＳ３６０４もしくは、ステップＳ３６０２で選択したストレージノード１００上に、展開用ＶＯＬもしくは作成済Ｅ－ＶＯＬをもとにした、ＳＳ－ＶＯＬ５１０を１個作成する（ステップＳ３６０５）。具体的には、スケールアウトプログラム２２２０は、スケールアウト対象ＶＯＬ管理テーブル２３３０を参照し、選択したストレージノード１００上に、展開用ＶＯＬが配置されていることを確認した場合は、展開用ＶＯＬをもとにＳＳ－ＶＯＬ５１０を作成する。また、スケールアウトプログラム２２２０は、Ｅ－ＶＯＬ管理テーブル２３４０を参照し、選択したストレージノード１００上に、Ｅ－ＶＯＬ５２０が配置されていることを確認した場合は、Ｅ－ＶＯＬ５２０をもとにＳＳ－ＶＯＬ５１０を作成する。ＳＳ－ＶＯＬ作成処理は、管理装置２００が、選択したストレージノード１００に対して、スナップショット作成元ＶＯＬ ＩＤと、作成個数１個をパラメータとしてＳＳ－ＶＯＬ作成依頼を送信し、ＳＳ－ＶＯＬ作成依頼を受信したストレージノード１００のスナップショットプログラム１２４０が、スナップショット作成元ＶＯＬ ＩＤで指定されたＶＯＬをもとに、ＳＳ－ＶＯＬ５１０を１個作成し、その結果（ＳＳ－ＶＯＬ作成成否、ＳＳ－ＶＯＬ ＩＤ等）を管理装置２００に送信する。

【0066】

次いで、スケールアウトプログラム２２２０は、ステップＳ３６０１に戻り、スケールアウトに必要な個数までＳＳ－ＶＯＬ５２０が作成されたかどうか再度判断する。
ステップＳ３６０１～Ｓ３６０５を繰り返すことで、スケールアウト要求で指定されたスケールアウトＶＯＬ数の数までＳＳ－ＶＯＬ５２０を作成する。スケールアウト要求で指定されたスケールアウトＶＯＬ数の数までＳＳ－ＶＯＬ５２０が作成された後は（ステップＳ３６０１；Ｎｏ）、ステップＳ３６０６に進み、ステップＳ３６０５で作成したＳＳ－ＶＯＬ５２０の作成結果をもとに、ＳＳ－ＶＯＬ管理テーブル２３５０を更新する（ステップＳ３６０６）。具体的には、ステップＳ３６０５で作成したＳＳ－ＶＯＬ５２０のＩＤをＳＳ－ＶＯＬ ＩＤ２３５１に格納し、ステップＳ３６０５で作成したＳＳ－ＶＯＬ５２０のスナップショット元となったボリュームのＩＤをＳＳ－ＶＯＬ提供元ＶＯＬ ＩＤ２３５２に格納し、ステップＳ３６０５で作成したＳＳ－ＶＯＬ５２０の作成先ストレージノード１００のノードＩＤを配置先ノードＩＤ２３５３に格納し、ステップＳ３２００で採番したスケールアウトＩＤをスケールアウトＩＤ２３５４に格納し、展開用ＶＯＬ属性２３５５にはＦａｌｓｅを格納すればよい。ステップＳ３６０６は、本実施形態のように、ステップＳ３６０１～Ｓ３６０５のループから抜けた後にまとめて処理実行を行ってもよいし、別の方法として、例えば、ステップＳ３６０５実行後の度に、処理実行してもよい。

【0067】

図１６では、負荷が少ないノードに対して優先的にＳＳ－ＶＯＬ５１０を生成することで、負荷の均一化を図っている。この他、ノードの性能や用途に応じて、ＳＳ－ＶＯＬ５１０を生成するノードを選択してもよい。例えば、ノードの性能が高く、処理に余裕のあるノードを選択してもよいし、高い性能を要求されない用途に用いるノードを選択してもよい。

【0068】

次に、パス変更処理（ステップＳ３７００）について詳細に説明する。
図１７は、一実施形態に係るパス変更処理のフローチャートである。
管理装置２００のスケールアウトプログラム２２２０は、ステップＳ３６００で作成されたＳＳ－ＶＯＬ５２０の数が１個以上か判断する（ステップＳ３７０１）。具体的には、ＳＳ－ＶＯＬ管理テーブル２３５０のスケールアウトＩＤ２３５４がステップＳ３２００で採番したスケールアウトＩＤかつ、展開用ＶＯＬ属性２３５５がＦａｌｓｅであるエントリー数を数えればよい。ステップＳ３７０１の条件を満たした場合、ステップＳ３７０２に進み、条件を満たさない場合、パス変更処理Ｓ３７００は終了する。

【0069】

ステップＳ３７０２に進んだ場合、スケールアウトプログラム２２２０は、スケールアウト管理テーブル２３１０の接続先ホストＩＤ２３１５を参照し、スケールアウト要求内容に接続先ホストＩＤが含まれるか判断する。ステップＳ３７０２の条件を満たした場合、ステップＳ３７０３に進み、条件を満たさない場合、パス変更処理Ｓ３７００は終了する。

【0070】

ステップＳ３７０３に進んだ場合、ステップＳ３６００で作成された各ＳＳ－ＶＯＬ５２０とステップＳ３２００でスケールアウト管理テーブル２３１０に格納された接続先ホストＩＤ２３１５が示す各ホスト計算機３００とが１対１となるようにパス５３０を作成する。具体的には、管理装置２００が、ステップＳ３６００で作成されたＳＳ－ＶＯＬ５２０のＩＤと、スケールアウト管理テーブル２３１０に格納された接続先ホストＩＤ２３１５をパラメータとして、ストレージノード１００に対して、パス作成依頼を送信し、パス作成依頼を受け取ったストレージノード１００上のパス管理プログラム１２２０は、パラメータとして指定されたＳＳ－ＶＯＬ５２０とホスト計算機３００とのパスを作成し、その結果（パス作成処理成否、パスＩＤ、ホスト計算機３００がパス５３０でボリュームをアクセスしたときのボリューム識別番号（典型的には、ＬＵＮ ＩＤ））を管理装置２００に送信する。

【0071】

以上説明したように本実施例では、ストレージノード１００上でＶＯＬ５００をもとにしたＳＳ－ＶＯＬ５１０ａを作成し、ＶＯＬ５００が配置されているストレージノード１００以外のストレージノード１００が、ＳＳ－ＶＯＬ５１０ａに対して外部接続するＥ－ＶＯＬ５２０を作成し、ＳＳ－ＶＯＬ５１０ａもしくは、Ｅ－ＶＯＬ５２０をもとにしたＳＳ－ＶＯＬ５１０ｂを作成し、作成したＳＳ－ＶＯＬ５１０ｂと、ホスト計算機３００とのパスを作成することで、ＶＯＬ５００の複製を、複数ストレージノード１００上から、複数ホスト計算機３００に提供する。これにより、ストレージノード１００上のＶＯＬ５００を他ストレージノード１００にスケールアウトさせる場合、ＶＯＬ５００内のデータを他ストレージノード１００にフルコピーする時間が不要となり、迅速にスケールアウトさせることが可能となる。

【実施例0072】

実施例１では、ある一拠点１０上のストレージクラスタ１０００のＶＯＬ５００をストレージクラスタ１０００内でスケールアウトさせていたが、本実施例では、ハイブリッドクラウド環境でのスケールアウトを行う。具体的には、オンプレミス上のストレージシステムのＶＯＬ５００を、クラウド上のストレージクラスタ１０００でスケールアウトさせる。

【0073】

図１８は、第２と第３の実施形態に係る情報処理システムの全体構成図である。
図１８に示すように、第２と第３の実施形態は、図１のような一拠点での情報処理システムではなく、オンプレミス２０とクラウド３０のハイブリッドクラウド環境での情報処理システムである。オンプレミス２０上のストレージシステム１００１は、ストレージクラスタ１０００のような複数のストレージノード１００を束ね、ＬＡＮやＷＡＮで互いに接続されたクラスタシステムであってもよいし、それ以外のストレージシステム（例えば、複数のストレージコントローラが高速な通信Ｉ／Ｆ（ＰＣＩｅ等）で接続され、共有メモリを持つ、密結合な冗長化ストレージシステム）であってもよい。ストレージシステム１００１と、ストレージクラスタ１０００は、ＷＡＮ４００で接続される。管理装置２００は、オンプレミス２０と、クラウド３０のそれぞれに存在してもよいし、どちらか片方にしか存在せずに、オンプレミス２０とクラウド３０の拠点を跨いで、ストレージシステム１００１やストレージクラスタ１０００を管理できてもよい。

【0074】

次に、第２の実施形態における情報処理システムのスケールアウトの概要について説明する。
図１９は、第２の実施形態に係る情報処理システムのスケールアウト処理の概要を説明する図である。
スケールアウト前は、オンプレミス２０上のストレージシステム１００１にあるＶＯＬ５００ａと、ホスト計算機３００ａとのパス５３０ａが定義されており、Ａｐｐ３１０ａがＶＯＬ５００ａのデータをリード／ライト可能な状態となっている。クラウド３０上には、ストレージクラスタ１０００が存在する。

【0075】

スケールアウト後は、ストレージクラスタ１０００のストレージノード１００ａ上には、ストレージシステム１００１からデータコピーによって作成されたＶＯＬ５００ｂが配置されている。ＶＯＬ５００ｂは、スケールアウト対象ＶＯＬとして、各ストレージノードにスケールアウト処理で展開され、最終的に、ＳＳ－ＶＯＬ５１０ａ、ＳＳ－ＶＯＬ５１０ｂ、ＳＳ－ＶＯＬ５１０ｃとして、ホスト計算機に提供される。スケールアウト処理は、ＶＯＬ５００ｂをスケールアウト対象ＶＯＬとして、第１の実施例で説明したスケールアウト処理を行えばよい。ただし、スケールアウト対象ＶＯＬ５００ｂは、オンプレミス２０からのコピーの後、どのホスト計算機ともパスが作成されておらず、Ｉ／Ｏ処理される可能性がない場合、図１９のように、ＶＯＬ５００ｂのスナップショットとしてＳＳ－ＶＯＬ５１０を作成して、それを展開用ＶＯＬとして提供する必要はなく、直接ＶＯＬ５００ｂを展開用ＶＯＬとして、他のストレージノード１００のＥ－ＶＯＬ５２０の外部接続先として提供してよい。
これらにより、ハイブリッドクラウド環境のように、拠点をまたがった情報処理システムにおいても、クラウド上で迅速なスケールアウトさせることが可能になる。