特許 7599525 ストレージシステム及びストレージシステムにおけるデータ複製方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-05

(45)【発行日】2024-12-13

(54)【発明の名称】ストレージシステム及びストレージシステムにおけるデータ複製方法

(51)【国際特許分類】

   G06F 3/06 20060101AFI20241206BHJP

   G06F 11/14 20060101ALI20241206BHJP

【ＦＩ】

G06F3/06 304F

G06F3/06 301Z

G06F11/14 648

【請求項の数】 9

(21)【出願番号】P 2023110267

(22)【出願日】2023-07-04

(62)【分割の表示】P 2022124525の分割

【原出願日】2020-07-31

(65)【公開番号】P2023118859

(43)【公開日】2023-08-25

【審査請求日】2023-07-04

(73)【特許権者】

【識別番号】524132520

【氏名又は名称】日立ヴァンタラ株式会社

(74)【代理人】

【識別番号】110002365

【氏名又は名称】弁理士法人サンネクスト国際特許事務所

(72)【発明者】

【氏名】松下 貴記

(72)【発明者】

【氏名】山賀 祐典

(72)【発明者】

【氏名】出口 彰

【審査官】松平 英

(56)【参考文献】

【文献】特開２０２０－０８０１３０（ＪＰ，Ａ）

【文献】特開２００４－３６２５７０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０６－３／０８

１１／１４

１３／００－１３／１４

１６／００－１６／９５８

(57)【特許請求の範囲】

【請求項1】

記憶装置に格納するデータを処理するコントローラを備えたストレージシステムにおいて、
前記記憶装置に格納するデータを格納する追記領域を有し、
前記コントローラは、ホストがＩＯを行うボリュームを提供し、
前記ボリュームから前記追記領域のデータを参照するためのメタ情報を有し、
前記コントローラは、
前記ボリュームにデータを更新するライトを行う場合に、前記追記領域内の更新前のデータを残して、新規領域に更新後のデータを格納し、前記更新後のデータを参照するように前記メタ情報を書き換え、
スナップショットを作成する場合に、前記ボリュームのためのメタ情報をコピーすることで、スナップショットボリュームを作成し、
前記ボリューム及び前記スナップショットボリュームがマッピングテーブルを参照し、前記マッピングテーブルが前記追記領域を参照することにより、前記メタ情報により前記追記領域のデータを参照し、
前記メタ情報は、前記ボリューム及びスナップショットがそれぞれ有して前記マッピングテーブルを参照するための第１のメタ情報と、前記マッピングテーブルが有して前記追記領域を参照するための第２のメタ情報と、を有する
ことを特徴とするストレージシステム。

【請求項2】

前記第１のメタ情報は、ディレクトリテーブルにある
ことを特徴とする請求項１に記載のストレージシステム。

【請求項3】

スナップショットを作成する場合に、前記コントローラは、前記ボリュームのための第１のメタ情報をコピーして、スナップショットボリュームのための第１のメタ情報にする
ことを特徴とする請求項１に記載のストレージシステム。

【請求項4】

データを圧縮して前記記憶装置へ格納する圧縮機能を有し、
前記マッピングテーブルは、前記データの圧縮にかかる情報を格納する
ことを特徴とする請求項１に記載のストレージシステム。

【請求項5】

前記スナップショットボリュームを作成後に、前記ボリュームにホストからデータを更新するライトがあった場合に、
前記追記領域内の更新前のデータを上書きせずに、新規領域に更新後のデータを格納し、前記更新後のデータのための第２のメタ情報を作成し、前記更新後のデータにかかる第２のメタ情報を参照するように前記ボリュームのための第１のメタ情報を書き換え、
前記スナップショットボリュームにかかる前記更新前のデータへアクセスするための第１のメタ情報は書き換えない
ことを特徴とする請求項１に記載のストレージシステム。

【請求項6】

前記記憶装置に格納されたデータを読み出す場合、
前記ボリュームに格納されたデータを読み出す場合には、前記ボリュームのための前記第１のメタ情報と、前記第２のメタ情報と、を用い、
前記スナップショットボリュームに格納されたデータを読み出す場合には、前記スナップショットのための前記第１のメタ情報と、前記第２のメタ情報と、を用いる
ことを特徴とする請求項１に記載のストレージシステム。

【請求項7】

前記ボリュームと同期していないスナップショットをリシンクさせる場合に、前記コントローラは、前記ボリュームのための第１のメタ情報をコピーして、スナップショットボリュームのための第１のメタ情報にする
ことを特徴とする請求項１に記載のストレージシステム。

【請求項8】

前記ボリュームまたはスナップショットボリュームを削除する場合に、削除する前記ボリュームまたはスナップショットボリュームのための第１のメタ情報を削除し、前記削除する前記ボリュームまたはスナップショットボリュームが参照する第２のメタ情報を削除可能か判断し、削除可能な第２のメタ情報を削除する
ことを特徴とする請求項１に記載のストレージシステム。

【請求項9】

記憶装置に格納するデータを処理するコントローラを備えたストレージシステムが行うストレージシステムにおけるデータ複製方法において、
前記ストレージシステムは、前記記憶装置に格納するデータを格納する追記領域を有し、
前記コントローラは、ホストがＩＯを行うボリュームを提供し、
前記ストレージシステムは、前記ボリュームから前記追記領域のデータを参照するためのメタ情報を有し、
前記コントローラが、
前記ボリュームにデータを更新するライトを行う場合に、前記追記領域内の更新前のデータを残して、新規領域に更新後のデータを格納し、前記更新後のデータを参照するように前記メタ情報を書き換え、
スナップショットを作成する場合に、前記ボリュームのためのメタ情報をコピーすることで、スナップショットボリュームを作成し、
前記ボリューム及び前記スナップショットボリュームがマッピングテーブルを参照し、前記マッピングテーブルが前記追記領域を参照することにより、前記メタ情報により前記追記領域のデータを参照する
各処理を有し、
前記メタ情報は、前記ボリューム及びスナップショットがそれぞれ有して前記マッピングテーブルを参照するための第１のメタ情報と、前記マッピングテーブルが有して前記追記領域を参照するための第２のメタ情報と、を有する
ことを特徴とするデータ複製方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ストレージシステム及びストレージシステムにおけるデータ複製方法に関する。

【背景技術】

【0002】

近年、データ利活用ニーズが高まり、データ複製の機会が増えている。これに伴い、ストレージシステムにおいて、Snapshot機能がますます重要になっている。従来から、Snapshotの代表的な実現手段にRedirect on Write（ＲｏＷ）方式がある（例えば特許文献１参照）。ＲｏＷ方式には、データやメタ情報のコピーがないため、Snapshot作成時のＩ／Ｏ性能に対する影響が小さいという利点がある。ＲｏＷ方式は、ＡＦＡ（All Flash Array）装置で多く採用されている。

【0003】

ＲｏＷ方式は、データを追い書きする方式である。追い書きとは、ストレージシステムにデータをライトする際、ライト前に格納されていたデータを上書きせず、新規領域にライトデータを格納し、新規領域に格納したデータを参照するようにメタ情報を書き換えるデータ格納方式のことである。メタ情報はツリー構造で管理される。ある複製元ボリュームのSnapshotを取得すると、その時点の複製元ボリュームのメタ情報ツリーのRootをSnapshotのメタ情報ツリーのRootから参照する。この時点で、複製元ボリュームのRootはSnapshotから参照されているため、書き換え不可能になりリードのみ許可される。又、複製元ボリュームへのライトに伴い複製元に新たなRootが用意され、更新データの格納場所を参照する新たなメタ情報を作成し新Root配下に接続する。さらに、ライトされていない領域のデータ格納位置を特定できるように新Rootから旧Rootを参照する。すなわち、Snapshot取得に伴いメタ情報を直接書き換えることはできず、メタ情報も追い書きされる。

【先行技術文献】

【特許文献】

【0004】

【文献】米国特許第９６４６０３９号明細書

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら従来技術のＲｏＷ方式では、リード時にメタ情報のツリーから所望のデータ及びメタ情報を探索する必要があり、リード性能（特にレスポンス）が悪いという問題がある。また、ライトが増えるとツリー階層が深くなり、ツリー段数を減らす非同期処理が動作し、Ｉ／Ｏ性能に影響が出てくるという問題がある。

【0006】

また、ツリーのRoot以外のメタ情報は、複数のボリューム及びSnapshotで共有される。しかし、Rootのメタ情報はボリューム及びSnapshot毎の情報である。このため、特定ボリュームやSnapshotに負荷が偏った場合、各ボリューム及び各Snapshotをそれぞれ制御する複数のコントローラのうち特定のコントローラに負荷が集中し、マルチコントローラの資源を使い切れないという問題がある。

【0007】

本発明は上記の課題に鑑みてなされたもので、ストレージシステムにおいてSnapshotの操作性能とＩ／Ｏ性能を両立することを目的とする。

【課題を解決するための手段】

【0008】

上記目的を達成するために、記憶装置に格納するデータを処理するコントローラを備えたストレージシステムにおいて、前記記憶装置に格納するデータを格納する追記領域を有し、前記コントローラは、ホストがＩＯを行うボリュームを提供し、前記ボリュームから前記追記領域のデータを参照するためのメタ情報を有し、前記コントローラは、前記ボリュームにデータを更新するライトを行う場合に、前記追記領域内の更新前のデータを残して、新規領域に更新後のデータを格納し、前記更新後のデータを参照するように前記メタ情報を書き換え、スナップショットを作成する場合に、前記ボリュームのためのメタ情報をコピーすることで、スナップショットボリュームを作成することを特徴とする。

【発明の効果】

【0009】

本発明によれば、ストレージシステムにおいてSnapshotの操作性能とＩ／Ｏ性能を両立できる。

【図面の簡単な説明】

【0010】

【図1】実施例に係るストレージシステムの論理構成の概要の説明図。

【図2】実施例１に係る計算機システムのハードウェア構成の説明図。

【図3】ストレージシステムが使用するプログラム及び情報の説明図。

【図4】ディレクトリテーブルの構成の説明図。

【図5】マッピングテーブルの構成の説明図。

【図6】ボリューム管理テーブルの構成の説明図。

【図7】ディレクトリ領域管理テーブルの構成の説明図。

【図8】マッピング領域管理テーブルの構成の説明図。

【図9】ディレクトリ領域割り当てテーブルの構成の説明図。

【図10】マッピング領域割り当てテーブルの構成の説明図。

【図11】Snapshot世代管理テーブルの構成の説明図。

【図12】ＶＯＬ作成処理の処理手順を示すフローチャート。

【図13】Snapshot作成処理の処理手順を示すフローチャート。

【図14】追記処理の処理手順を示すフローチャート。

【図15】リード処理の処理手順を示すフローチャート。

【図16】フロントエンドライト処理（PVOL/Snapshot共通）の処理手順を示すフローチャート。

【図17】バックエンドライト処理の処理手順を示すフローチャート。

【図18】実施例１のリストア処理の処理手順を示すフローチャート。

【図19】実施例１のリシンク処理の処理手順を示すフローチャート。

【図20】PVOL/Snapshot削除処理の処理手順を示すフローチャート。

【図21】実施例１の効果を説明するための図（その１）。

【図22】実施例１の効果を説明するための図（その２）。

【図23】実施例２のリストア処理の処理手順を示すフローチャート。

【図24】実施例２のリシンク処理の処理手順を示すフローチャート。

【発明を実施するための形態】

【0011】

以下、本発明の実施形態について、図面を参照して説明する。なお、以下に説明する実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている諸要素及びその組み合わせの全てが発明の解決手段に必須であるとは限らない。また、発明の構成に必須だが周知である構成については、図示及び説明を省略する場合がある。

【0012】

以下の説明において、「ｘｘｘテーブル」といった表現により、入力に対して出力が得られる情報を説明することがあるが、この情報は、どのような構造のデータでもよい。従って、「ｘｘｘテーブル」を「ｘｘｘ情報」と言うことができる。

【0013】

また、以下の説明において、各テーブルの構成は一例であり、１つのテーブルは、２以上のテーブルに分割されてもよいし、２以上のテーブルの全部又は一部が１つのテーブルであってもよい。

【0014】

また、以下の説明において、「プログラム」を主語として処理を説明する場合がある。プログラムは、プロセッサ部によって実行されることで、定められた処理を、適宜に記憶部及び／又はインターフェース部などを用いながら行うため、処理の主語が、プロセッサ部（或いは、そのプロセッサ部を有するコントローラのようなデバイス）とされてもよい。

【0015】

プログラムは、計算機のような装置にインストールされてもよいし、例えば、プログラム配布サーバ又は計算機が読み取り可能な（例えば非一時的な）記録媒体にあってもよい。また、以下の説明において、２以上のプログラムが１つのプログラムとして実現されてもよいし、１つのプログラムが２以上のプログラムとして実現されてもよい。

【0016】

また、「プロセッサ部」は、１又は複数のプロセッサである。プロセッサは、典型的には、ＣＰＵ（Central Processing Unit）のようなマイクロプロセッサであるが、ＧＰＵ（Graphics Processing Unit）のような他種のプロセッサでもよい。また、プロセッサは、シングルコアでもよいしマルチコアでもよい。また、プロセッサは、処理の一部又は全部を行うハードウェア回路（例えばＦＰＧＡ（Field-Programmable Gate Array）又はＡＳＩＣ（Application Specific Integrated Circuit））といった広義のプロセッサでもよい。

【0017】

また、以下の説明において、種々の対象の識別情報として、識別番号が使用されるが、識別番号以外の種類の識別情報（例えば、英字や符号を含んだ識別子）が採用されてもよい。以下の説明において、“＃”は番号を表し、例えば“ｘｘｘ＃”は、番号で識別されるｘｘｘを表す。

【0018】

また、以下の説明において、同種の要素を区別しないで説明する場合には、参照符号（又は、参照符号のうちの共通符号）を使用し、同種の要素を区別して説明する場合は、要素の識別番号（又は参照符号）を使用することがある。また各図に示す各要素の数は一例であって、図示に限られるものではない。

【実施例1】

【0019】

図１は、実施例に係るストレージシステム２０１の論理構成の概要の説明図である。ストレージシステム２０１は、Snapshotを作成する際、ＲｏＷ（Redirect on Write）方式を用いるストレージシステムである。図１に示すように、ストレージシステム２０１は、論理構成として、ＰＶＯＬ（Primary Volume）１００、Snapshot１０１、ＤＳＶＯＬ（Data Store Volume）１０２、及びＰｏｏｌ１０７を有する。

【0020】

ＰＶＯＬ１００は、ホスト装置に提供される論理ボリュームである。Snapshot１０１は、ＲｏＷ方式により作成されたＰＶＯＬ１００の複製ボリュームであり、ホスト装置に提供される。

【0021】

Ｐｏｏｌ１０７は、物理ドライブ（不図示）から物理記憶領域が割り当てられている。ＤＳＶＯＬ１０２は、Ｐｏｏｌ１０７から切り出される論理記憶領域で、複数のＤＳＶＯＬ１０２－ｉ（ｉ＝０，１，・・・，ｎ－１（ｎはＰｏｏｌ１０７毎に固定のＤＳＶＯＬ数））を含む論理記憶領域である。ＤＳＶＯＬ１０２－ｉは、全て同一容量である。

【0022】

ＤＳＶＯＬ１０２には、ＰＶＯＬ１００の管理情報（メタ情報）を保存するＰＶＯＬ用のディレクトリテーブル１０３が、ＤＳＶＯＬ１０２－ｉのそれぞれに、ディレクトリテーブル１０３－ｉ（ｉ＝０，１，・・・，ｎ－１）として分散配置される。ＰＶＯＬ１００の管理情報は、２段階層のツリー構成のマッピング情報であり、ＰＶＯＬ用のディレクトリテーブル１０３は第１階層のマッピング情報に該当する。

【0023】

ＰＶＯＬ用のディレクトリテーブル１０３は、ディレクトリテーブル１０３－ｉ（ｉ＝０，１，・・・，ｎ－１）のグループであり、ＰＶＯＬ１００毎に設けられる。ディレクトリテーブル１０３にはディレクトリ＃が付与される。ＰＶＯＬの容量によって複数のディレクトリテーブル１０３が１つのＰＶＯＬに割り当てられることがある。その場合、ディレクトリ＃も複数割り当てられる。

【0024】

ＰＶＯＬ用のディレクトリテーブル１０３は、ＰＶＯＬ１００上のデータ１１１－ｊ（ｊ＝０，１，２）のＰＶＯＬ内アドレスを、マッピングテーブル１０５が格納されるＤＳＶＯＬ１０２内のアドレスへ変換するテーブルである。

【0025】

またＤＳＶＯＬ１０２には、Snapshot１０１の管理情報（メタ情報）を保存するＳＳ（SnapShot）用のディレクトリテーブル１０４が、ＤＳＶＯＬ１０２－ｉのそれぞれに、ディレクトリテーブル１０４－ｉ（ｉ＝０，１，・・・，ｎ－１）として分散配置される。ＳＳ用のディレクトリテーブル１０４のうちのディレクトリテーブル１０４－ｉは、ＰＶＯＬ用のディレクトリテーブル１０３のうちのディレクトリテーブル１０３－ｉのコピーである。

【0026】

ＳＳ用のディレクトリテーブル１０４は、ディレクトリテーブル１０４－ｉ（ｉ＝０，１，・・・，ｎ－１）のグループであり、Snapshot１０１毎に設けられる。ディレクトリテーブル１０４にはディレクトリ＃が付与される。Snapshotの容量によって複数のディレクトリテーブル１０４が１つのSnapshotに割り当てられることがある。その場合、ディレクトリ＃も複数割り当てられる。ＳＳ用のディレクトリテーブル１０４は、ＰＶＯＬ用のディレクトリテーブル１０３と同一のテーブル構成である。

【0027】

ＳＳ用のディレクトリテーブル１０４は、Snapshot１０１上のデータ１１１－ｊ（ｊ＝１，２，３）のSnapshot内アドレスを、マッピングテーブル１０５が格納されるＤＳＶＯＬ１０２内のアドレスへ変換するテーブルである。

【0028】

またＤＳＶＯＬ１０２には、ＰＶＯＬ１００及びSnapshot１０１の管理情報（メタ情報）を保存するマッピングテーブル１０５が、ＤＳＶＯＬ１０２－ｉのそれぞれに、マッピングテーブル１０５－ｉ（ｉ＝０，１，・・・，ｎ－１）として分散配置される。マッピングテーブル１０５は、上述の２段階層のツリー構成のマッピング情報のうちの第２階層のマッピング情報に該当する。

【0029】

マッピングテーブル１０５は、マッピングテーブル１０５－ｉ（ｉ＝０，１，・・・，ｎ－１）のグループであり、ＰＶＯＬ１００毎に設けられる。複数のマッピングテーブル１０５を、マッピング＃のように番号で区別する。マッピング＃は、Snapshotツリー（あるＰＶＯＬをＲｏｏｔとしたSnapshotのグループ）毎に割り当てられ、ＰＶＯＬ又はSnapshotへのライトによるデータ容量の増加に応じて増える。

【0030】

マッピングテーブル１０５は、データ１１１－ｊ（ｊ＝０，１，２，３）のPVOL/Snapshot内アドレスを、追記領域１０６内アドレスへ変換するテーブルである。

【0031】

またＤＳＶＯＬ１０２には、ＰＶＯＬ１００及びSnapshot１０１のデータを格納する追記領域１０６が、ＤＳＶＯＬ１０２－ｉのそれぞれに、追記領域１０６－ｉ（ｉ＝０，１，・・・，ｎ－１）として分散配置される。

【0032】

以上のように、各ＤＳＶＯＬ１０２－ｉには、１つ以上の（ＰＶＯＬ用の）ディレクトリテーブル１０３－ｉ、１つ以上の（ＳＳ用の）ディレクトリテーブル１０４－ｉ、１つ以上のマッピングテーブル１０５－ｉ、及び追記領域１０６－ｉが配置される。

【0033】

図２は、実施例１に係る計算機システム１００のハードウェア構成の説明図である。計算機システム１００は、ストレージシステム２０１、サーバシステム２０２、及び管理システム２０３を備える。ストレージシステム２０１とサーバシステム２０２とは、ＦＣ（Fiber Channel）ネットワーク２０４を介して接続される。ストレージシステム２０１と管理システム２０３とは、ＩＰ（Internet Protocol）ネットワーク２０５を介して接続される。なお、ＦＣネットワーク２０４及びＩＰネットワーク２０５は、同一の通信ネットワークであってもよい。

【0034】

ストレージシステム２０１は、複数のストレージコントローラ２１０と、複数のＰＤＥＶ２２０とを備える。ストレージコントローラ２１０には、物理ドライブであるＰＤＥＶ２２０が接続されている。１つのストレージコントローラ２１０に対して、１又は複数のＤＳＶＯＬ１０２－ｉ（ｉ＝０，１，・・・，ｎ－１）が割り当てられている。

【0035】

ストレージコントローラ２１０は、１つ以上のプロセッサ２１１と、１つ以上のメモリ２１２と、Ｐ－Ｉ／Ｆ２１３と、Ｓ－Ｉ／Ｆ２１４と、Ｍ－Ｉ／Ｆ２１５とを備える。

【0036】

プロセッサ２１１は、プロセッサ部の一例である。プロセッサ２１１は、圧縮及び伸張を行うハードウェア回路を含んでいてもよい。本実施例では、プロセッサ２１１は、Snapshot作成、リストア、リシンク、圧縮、及び伸張に係る制御等を行う。

【0037】

メモリ２１２は、記憶部の一例である。メモリ２１２は、プロセッサ２１１が実行するプログラム、プロセッサ２１１が使用するデータ等を記憶する。プロセッサ２１１は、メモリ２１２に格納されているプログラムを実行する。なお、本実施例では、例えば、メモリ２１２及びプロセッサ２１１の組でメモリが二重化されている。

【0038】

Ｐ－Ｉ／Ｆ２１３、Ｓ－Ｉ／Ｆ２１４及びＭ－Ｉ／Ｆ２１５は、インターフェース部の一例である。

【0039】

Ｐ－Ｉ／Ｆ２１３は、ＰＤＥＶ２２０とストレージコントローラ２１０との間のデータのやり取りを仲介する通信インターフェースデバイスである。Ｐ－Ｉ／Ｆ２１３には、複数のＰＤＥＶ２２０が接続される。

【0040】

Ｓ－Ｉ／Ｆ２１４は、サーバシステム２０２とストレージコントローラ２１０との間のデータのやり取りを仲介する通信インターフェースデバイスである。Ｓ－Ｉ／Ｆ２１４に、ＦＣネットワーク２０４を介して、サーバシステム２０２が接続される。

【0041】

Ｍ－Ｉ／Ｆ２１５は、管理システム２０３とストレージコントローラ２１０の間のデータのやり取りを仲介する通信インターフェースデバイスである。Ｍ－Ｉ／Ｆ２１５に、ＩＰネットワーク２０５を介して、管理システム２０３が接続される。

【0042】

サーバシステム２０２は、１つ以上のホスト装置を含んで構成される。サーバシステム２０２は、ストレージコントローラ２１０に対して、Ｉ／Ｏ先を指定したＩ／Ｏ要求（ライト要求又はリード要求）を送信する。Ｉ／Ｏ先は、例えば、ＬＵＮ（Logical Unit Number）のような論理ボリューム番号、ＬＢＡ（Logical Block Address）のような論理アドレス等である。

【0043】

管理システム２０３は、１つ以上の管理装置を含んで構成される。管理システム２０３は、ストレージシステム２０１を管理する。

【0044】

図３は、ストレージシステム２０１が使用するプログラム及び情報の説明図である。メモリ２１２は、ローカルメモリ３００、キャッシュメモリ３０１、共有メモリ３０２等のメモリ領域を含む。これらのメモリ領域のうちの少なくとも１つは、独立したメモリであってもよい。ローカルメモリ３００は、このローカルメモリ３００を含むメモリ２１２と同一組に属するプロセッサ２１１により使用される。

【0045】

ローカルメモリ３００には、ボリューム作成プログラム３０３、Snapshot作成プログラム３０４、リードプログラム３０５、フロントエンドライトプログラム３０６、バックエンドライトプログラム３０７、リストアプログラム３０８、リシンクプログラム３０９、及びPVOL/Snapshot削除プログラム３１０が格納される。これらのプログラムは、複数のストレージコントローラ２１０毎に設けられ、互いに協働して目的の処理を行う。これらのプログラムについては後述する。

【0046】

キャッシュメモリ３０１には、ＰＤＥＶ２２０に対してライト又はリードされるデータセットが一時的に格納される。

【0047】

共有メモリ３０２は、この共有メモリ３０２を含むメモリ２１２と同一組に属するプロセッサ２１１、及び異なる組に属するプロセッサ２１１の両方により使用される。共有メモリ３０２には、管理情報が格納される。

【0048】

管理情報は、ボリューム管理テーブル３１１、ディレクトリ領域管理テーブル３１２、マッピング領域管理テーブル３１３、ディレクトリ領域割り当てテーブル３１４、マッピング領域割り当てテーブル３１５、及びSnapshot世代管理テーブル３１６を含む。これらのテーブルについては、図を参照して後述する。

【0049】

図４は、ディレクトリテーブル１０３－ｉ，１０４－ｉ（ｉ＝０，１，・・・，ｎ－１）の構成の説明図である。ＰＶＯＬ用のディレクトリテーブル１０３－ｉとＳＳ用のディレクトリテーブル１０４－ｉは同一構成かつ同一データサイズであり、それぞれＤＳＶＯＬ１０２－ｉに分散配置される。各ディレクトリテーブル１０３－ｉ，１０４－ｉの１つのエントリは、ＰＶＯＬ１００の論理データの粒度（例えば２５６ＫＢ）単位のデータに対応する。すなわちディレクトリテーブル１０３，１０４は、ＰＶＯＬ１００の論理データの粒度を単位として、複数のＤＳＶＯＬ１０２－ｉに分散配置される。ディレクトリテーブル１０４－ｉ（ｉ＝０，１，・・・，ｎ－１）は、ＤＳＶＯＬ１０２－ｉのストレージコントローラ２１０の制御により、ディレクトリテーブル１０３－ｉ（ｉ＝０，１，・・・，ｎ－１）がコピーされたテーブルである。

【0050】

ディレクトリテーブル１０３－ｉ，１０４－ｉは、PVOL/Snapshot内アドレス４００及び参照先アドレス（マッピング領域内アドレス）４０１を有する。PVOL/Snapshot内アドレス４００は、ディレクトリテーブル１０３－ｉの場合はＰＶＯＬ１００内での対象データの格納論理アドレスであり、ディレクトリテーブル１０４－ｉの場合はSnapshot１０１内での対象データの格納論理アドレスである。参照先アドレス（マッピング領域内アドレス）４０１は、マッピングテーブル１０５－ｉへのポインタ情報である。PVOL/Snapshot内アドレス４００には上限値（図４の例では1000000）があり、上限値を超過すると新たなグループ（ディレクトリ＃）のディレクトリテーブルが作成される。

【0051】

またアクセスしたPVOL/Snapshot内アドレス４００と参照先アドレス（マッピング領域内アドレス）４０１の対応関係を格納しているテーブルが、該当のディレクトリ＃の何れのディレクトリテーブル１０３－ｉ，１０４－ｉであるかは、PVOL/Snapshot内アドレス４００をＤＳＶＯＬの数ｎで割った剰余で求められる。

【0052】

参照先アドレス（マッピング領域内アドレス）４０１は、当該ディレクトリテーブル１０３－ｉ，１０４－ｉに対応付けられたマッピングテーブル１０５－ｉのマッピング領域内アドレス５００に対応する。

【0053】

図５は、マッピングテーブル１０５－ｉ（ｉ＝０，１，・・・，ｎ－１）の構成の説明図である。マッピングテーブル１０５－ｉは、マッピング領域内アドレス５００、参照先アドレス（追記領域内アドレス）５０１、及び圧縮後容量５０２を有する。

【0054】

マッピング領域内アドレス５００は、当該マッピングテーブル１０５－ｉに対応付けられたディレクトリテーブル１０３－ｉ，１０４－ｉの参照先アドレス（マッピング領域内アドレス）４０１である。参照先アドレス（追記領域内アドレス）５０１は、対象データが格納される追記領域１０６内のアドレスである。圧縮後容量５０２は、ＰＶＯＬ１００又はSnapshot１０１の対象データが、追記領域１０６－ｉに格納される際の圧縮後のデータ量である。

【0055】

図６は、ボリューム管理テーブル３１１の構成の説明図である。ボリューム管理テーブル３１１は、ＰＶＯＬ１００、Snapshot１０１、及びＤＳＶＯＬ１０２等のボリュームを管理するテーブルである。ボリューム管理テーブル３１１は、ＶＯＬ＃６００、属性６０１、ディレクトリ＃６０２、マッピング＃６０３、容量６０４、及びＰｏｏｌ＃６０５を有する。

【0056】

ＶＯＬ＃６００は、ボリュームを識別する番号である。属性６０１は、ＶＯＬ＃６００で識別されるボリュームの種別であり、ＰＶＯＬ、Snapshot、ＤＳＶＯＬ等がある。ディレクトリ＃は、ＶＯＬ＃６００で識別されるボリュームに割り当てられたディレクトリテーブルのグループの番号である。

【0057】

ディレクトリ＃として、当該ボリュームの容量に応じて、ＤＳＶＯＬ１０２上の領域が複数割り当てられる。例えば図６では、ＶＯＬ＃が０のＰＶＯＬには、ディレクトリ＃が０，１０，２００のＰＶＯＬ用のディレクトリテーブルのグループが割り当てられる。またＶＯＬ＃が１のSnapshotには、ディレクトリ＃が１，５，２０のSnapshot用のディレクトリテーブルのグループが割り当てられる。ＤＳＶＯＬ１０２のディレクトリ＃６０２は、ＮＵＬＬである。

【0058】

マッピング＃６０３は、ＶＯＬ＃６００で識別されるボリュームに割り当てられるマッピングテーブルのグループの番号である。ＰＶＯＬ１００をコピーしたSnapshot１０１のマッピング＃は、複写元のＰＶＯＬと共通である。例えば図６では、ＶＯＬ＃が０，１の各ボリュームには、マッピング＃が２，５，１０のマッピングテーブルのグループが割り当てられる。ＤＳＶＯＬ１０２のマッピング＃６０３は、ＮＵＬＬである。

【0059】

容量６０４は、ＶＯＬ＃６００で識別されるボリュームの容量である。Ｐｏｏｌ＃６０５は、ＶＯＬ＃６００で識別されるボリュームが切り出されるＰｏｏｌの番号である。

【0060】

図７は、ディレクトリ領域管理テーブル３１２の構成の説明図である。ディレクトリ領域管理テーブル３１２は、ＤＳＶＯＬ１０２上における各ディレクトリ＃の先頭アドレスを管理するテーブルである。ディレクトリ領域管理テーブル３１２は、ディレクトリ＃７００及びディレクトリ領域先頭アドレス７０１を有する。例えばディレクトリ＃が０のディレクトリには、同一のＤＳＶＯＬ１０２上のアドレス５０を先頭アドレスとする領域が確保されている。

【0061】

対象データのPVOL/Snapshot内アドレスを、１つのディレクトリテーブルの管理可能容量で除算した商から、当該VOL/Snapshot内のディレクトリ＃の通番が求まる。ディレクトリ＃７００は、図６のディレクトリ＃６０２を参照し、ディレクトリ＃の通番から求められる。

【0062】

図８は、マッピング領域管理テーブル３１３の構成の説明図である。マッピング領域管理テーブル３１３は、ＤＳＶＯＬ１０２上における各マッピング＃の先頭アドレスを管理するテーブルである。マッピング領域管理テーブル３１３は、マッピング＃８００及びマッピング領域先頭アドレス８０１を有する。

【0063】

図９は、ディレクトリ領域割り当てテーブル３１４の構成の説明図である。ディレクトリ領域割り当てテーブル３１４は、ＤＳＶＯＬ１０２上のディレクトリ領域先頭アドレス９００に割り当てられている各ディレクトリ＃を管理するテーブルであり、ディレクトリ領域管理テーブル３１２の逆引きテーブルである。ディレクトリ領域割り当てテーブル３１４は、ディレクトリ領域先頭アドレス９００及び割り当てディレクトリ＃９０１を有する。

【0064】

図１０は、マッピング領域割り当てテーブル３１５の構成の説明図である。マッピング領域割り当てテーブル３１５は、ＤＳＶＯＬ１０２上のマッピング領域先頭アドレス１０００に割り当てられている各マッピング＃を管理するテーブルであり、マッピング領域管理テーブル３１３の逆引きテーブルである。マッピング領域割り当てテーブル３１５は、マッピング領域先頭アドレス１０００及び割り当てマッピング＃１００１を有する。

【0065】

図１１は、Snapshot世代管理テーブル３１６の構成の説明図である。Snapshot世代管理テーブル３１６では、複製元であるＰＶＯＬ１００のＰＶＯＬ＃毎に、Snapshotの最新世代が管理される。Snapshot世代管理テーブル３１６は、ＰＶＯＬ＃１１００、最新世代＃１１０１、世代＃１１０２、Snapshot作成時刻１１０３、Snapshot＃１１０４、及び状態１１０５を有する。Snapshot世代管理テーブル３１６は、ＰＶＯＬ＃毎に例えば１０２４個の世代を管理する（世代＃＝０～１０２３）。

【0066】

Snapshot世代管理テーブル３１６では、各ＰＶＯＬ＃のSnapshot作成毎に最新世代＃がインクリメントされ、最新世代＃１１０１に該当するSnapshot作成時刻１１０３、Snapshot＃１１０４、及び状態１１０５が更新される。状態１１０５には、ＰＶＯＬのSnapshot作成後に、Snapshotに対するＩ／Ｏを不可としつつＰＶＯＬとSnapshotのデータを同期させるＰＡＩＲがある。また状態１１０５には、ＰＶＯＬとSnapshotのデータを同期させないＳＵＳＰＥＮＤ（分割）がある。

【0067】

図１２は、ＶＯＬ作成処理の処理手順を示すフローチャートである。ＶＯＬ作成処理は、管理システム２０３からの指示に応じて、ボリューム作成プログラム３０３によって実行される。

【0068】

先ずＳ１２００では、ボリューム作成プログラム３０３は、指定条件（ボリュームの容量等）を充足するＰＶＯＬのディレクトリ領域及びマッピング領域の確保が各ＤＳＶＯＬ１０２－ｉで可能かを、各ＤＳＶＯＬ１０２－ｉを制御する全てのストレージコントローラ２１０により確認する。ボリューム作成プログラム３０３は、Ｓ１２００で領域確保が可能と判定された場合（Ｓ１２０１Ｙｅｓ）にＳ１２０２へ処理を移し、Ｓ１２００で領域確保が不可能と判定された場合（Ｓ１２０１Ｎｏ）にＶＯＬ作成処理を終了する。

【0069】

Ｓ１２０２では、ボリューム作成プログラム３０３は、Ｓ１２０１で割り当て可能とされた当該ＰＶＯＬに割り当てるディレクトリ領域の先頭アドレス及び割り当てディレクトリ＃を決定する。ボリューム作成プログラム３０３は、決定したディレクトリ領域の先頭アドレス及び割り当てディレクトリ＃を追記してディレクトリ領域割り当てテーブル３１４を更新する。

【0070】

次にＳ１２０３では、ボリューム作成プログラム３０３は、Ｓ１２０１で割り当て可能とされた当該ＰＶＯＬに割り当てるマッピング領域の先頭アドレス及び割り当てマッピング＃を決定する。ボリューム作成プログラム３０３は、決定したマッピング領域の先頭アドレス及び割り当てマッピング＃を追記してマッピング領域割り当てテーブル３１５を更新する。

【0071】

次にＳ１２０４では、ボリューム作成プログラム３０３は、Ｓ１２０２で更新したディレクトリ領域割り当てテーブル３１４のディレクトリ領域先頭アドレス９００の値をディレクトリ領域先頭アドレス７０１の値とし、割り当てディレクトリ＃９０１の値をディレクトリ＃７００の値として、ディレクトリ領域管理テーブル３１２を更新する。

【0072】

次にＳ１２０５では、ボリューム作成プログラム３０３は、Ｓ１２０３で更新したマッピング領域割り当てテーブル３１５のマッピング領域先頭アドレス１０００の値をマッピング領域先頭アドレス８０１の値とし、割り当てマッピング＃１００１の値をマッピング＃８００の値として、マッピング領域管理テーブル３１３を更新する。

【0073】

次にＳ１２０５では、ボリューム作成プログラム３０３は、本ＶＯＬ作成処理で作成された属性＝ＰＶＯＬのディレクトリ＃、マッピング＃、容量、及びＰｏｏｌ＃を含むボリューム情報をボリューム管理テーブル３１１に追記して更新する。

【0074】

図１３は、Snapshot作成処理の処理手順を示すフローチャートである。Snapshot作成処理は、管理システム２０３からの指示に応じて、Snapshot作成プログラム３０４によって実行される。

【0075】

先ずＳ１３００では、Snapshot作成プログラム３０４は、Snapshot作成対象のＰＶＯＬである複製元ＶＯＬのＶＯＬ＃を受領する。次にＳ１３０１では、Snapshot作成プログラム３０４は、Ｓ１３００で受領した複製元ＶＯＬへデステージされていないダーティデータがキャッシュメモリ３０１にあるかを判定する。Snapshot作成プログラム３０４は、複製元ＶＯＬへデステージされていないダーティデータがある場合（Ｓ１３０１Ｙｅｓ）にＳ１３０２へ処理を移し、ダーティデータがない場合（Ｓ１３０１Ｎｏ）にＳ１３０３へ処理を移す。Ｓ１３０２では、Snapshot作成プログラム３０４は、ダーティデータの追記処理を行うが、詳細は図１４を参照して後述する。

【0076】

Ｓ１３０３では、Snapshot作成プログラム３０４は、ボリューム管理テーブル３１１から、複製元ＶＯＬの容量及びディレクトリ＃を取得する。次にＳ１３０４では、Snapshot作成プログラム３０４は、複製元ＶＯＬの複製であるSnapshot（複製先）のディレクトリ領域がＤＳＶＯＬ１０２で確保可能か確認する。Snapshot作成プログラム３０４は、Snapshot（複製先）のディレクトリ領域が確保可能の場合（Ｓ１３０５Ｙｅｓ）にＳ１３０６へ処理を移し、確保不可能の場合（Ｓ１３０５Ｎｏ）に本Snapshot作成処理を終了する。

【0077】

Ｓ１３０６では、Snapshot作成プログラム３０４は、本Snapshot作成処理で作成された属性＝Snapshotのディレクトリ＃、マッピング＃、容量、及びＰｏｏｌ＃を含むボリューム情報をボリューム管理テーブル３１１に追記して更新する。Snapshotのマッピング＃６０３の値は、複製元ＰＶＯＬのマッピング＃の値のコピーである。

【0078】

次にＳ１３０７では、Snapshot作成プログラム３０４は、作成したSnapshotの最新世代＃１１０１を＋１インクリメントし、Snapshot作成時刻１１０３、Snapshot＃１１０４（ボリューム管理テーブル３１１のＶＯＬ＃に該当）、状態１１０５＝ＳＵＳＰＥＮＤを設定してSnapshot世代管理テーブル３１６を更新する。

【0079】

次にＳ１３０８では、Snapshot作成プログラム３０４は、Ｓ１３０５で割り当て可能とされた当該Snapshotに割り当てるディレクトリ領域の先頭アドレス及び割り当てディレクトリ＃を追記してディレクトリ領域割り当てテーブル３１４を更新する。

【0080】

次にＳ１３０９では、Snapshot作成プログラム３０４は、Ｓ１３０８で更新したディレクトリ領域割り当てテーブル３１４のディレクトリ領域先頭アドレス９００の値をディレクトリ領域先頭アドレス７０１の値とし、割り当てディレクトリ＃９０１の値をディレクトリ＃７００の値として、ディレクトリ領域管理テーブル３１２を更新する。

【0081】

次にＳ１３１０では、Snapshot作成プログラム３０４は、複数のＤＳＶＯＬ１０２－ｉの各ストレージコントローラ２１０に対してディレクトリコピーを指示する。次に１３１１では、Snapshot作成プログラム３０４は、Ｓ１３１０のディレクトリコピーの指示を受け、複数のＤＳＶＯＬ１０２－ｉの各ストレージコントローラ２１０を制御し、複製元ＶＯＬであるＰＶＯＬのディレクトリテーブル１０３－ｉを、Ｓ１３０８，Ｓ１３０９で確保した各ＤＳＶＯＬ１０２－ｉのディレクトリ領域へ並列処理でコピーする。コピーにより作成されたディレクトリテーブル１０４－ｉには、新しいディレクトリ＃が付与される。

【0082】

図１４は、追記処理の処理手順を示すフローチャートである。図１４は、図１３のＳ１３０２、図１６のＳ１６０４、図１７のＳ１７０１、図１８のＳ１８０２、図１９のＳ１９０２、図２３のＳ２１０２、図２４のＳ２２０２で実行される各追記処理の詳細を示す。以下、図１３のＳ１３０２で実行される追記処理として、Snapshot作成プログラム３０４を処理主体として説明する。

【0083】

なお図１６のＳ１６０４ではフロントエンドライトプログラム３０６、図１７のＳ１７０１ではバックエンドライトプログラム３０７、図１８のＳ１８０２ではリストアプログラム３０８、図１９のＳ１９０２ではリシンクプログラム３０９、図２３のＳ２１０２ではリストアプログラム３０８、図２４のＳ２２０２ではリシンクプログラム３０９のそれぞれが処理主体になる。

【0084】

先ずＳ１４００では、Snapshot作成プログラム３０４は、ダーティデータを特定する。次にＳ１４０１では、Snapshot作成プログラム３０４は、Snapshot世代管理テーブル３１６を参照し、ＰＶＯＬがＳＵＳＰＥＮＤ状態のSnapshotを有しているかを判定する。Snapshot作成プログラム３０４は、ＳＵＳＰＥＮＤ状態のSnapshotが存在しない場合（Ｓ１４０１Ｎｏ）、Ｓ１４０４に処理を移し、ＳＵＳＰＥＮＤ状態のSnapshotが存在する場合（Ｓ１４０１Ｙｅｓ）、Ｓ１４０２に処理を移す。

【0085】

Ｓ１４０２では、Snapshot作成プログラム３０４は、追記処理対象のダーティデータの論理アドレス（ＬＢＡ）に対応するディレクトリコピーが完了しているかを判定する。Snapshot作成プログラム３０４は、ディレクトリコピーが完了している場合（Ｓ１４０２Ｙｅｓ）、Ｓ１４０４に処理を移し、ディレクトリコピーが完了していない場合（Ｓ１４０２Ｎｏ）、当該領域のディレクトリ情報を追出しコピーする。追出しコピーとは、図１３のＳ１３１１でのコピー処理で未コピーの領域を追記処理する場合に、追記処理対象の領域のディレクトリ情報のみをピンポイントでコピーする処理である。

【0086】

次にＳ１４０４では、Snapshot作成プログラム３０４は、Ｓ１４００で特定したダーティデータを圧縮する。次にＳ１４０５では、Snapshot作成プログラム３０４は、Ｓ１４０４で圧縮した圧縮データセットを複製元ＶＯＬの追記領域にコピーする。

【0087】

次にＳ１４０６では、Snapshot作成プログラム３０４は、マッピングテーブル１０５の各エントリのうち、参照先アドレス（追記領域内アドレス）５０１が設定されていない未使用のエントリに、Ｓ１４０４で圧縮したデータの追記領域内の格納位置を保持する。すなわち圧縮データのコピー先アドレスを参照先アドレス（追記領域内アドレス）５０１に設定する。

【0088】

次にＳ１４０７では、Snapshot作成プログラム３０４は、ディレクトリテーブル１０３の各エントリのうち、当該データの論理アドレス（ホストからアクセス可能なＬＢＡ）に対応するエントリに、Ｓ１４０６で作成したマッピング情報のマッピング領域内アドレス５００を参照先アドレス（マッピング領域内アドレス）４０１に設定する。

【0089】

次にＳ１４０８では、Snapshot作成プログラム３０４は、Ｓ１４０５で追記領域にコピーされたダーティデータをデステージする。

【0090】

図１５は、リード処理の処理手順を示すフローチャートである。リード処理は、ホスト装置からのリード要求に応じて、リードプログラム３０５によって実行される。

【0091】

先ずＳ１５００では、リードプログラム３０５は、サーバシステム２０２からのリード要求が対象とするデータのＰＶＯＬ又はSnapshot内でのアドレスを取得する。次にＳ１５０１では、リードプログラム３０５は、リード要求の対象データがキャッシュヒットするかを判定する。リードプログラム３０５は、リード要求の対象データがキャッシュヒットする場合（Ｓ１５０１Ｙｅｓ）にＳ１５０５へ処理を移し、キャッシュヒットしない場合（Ｓ１５０１Ｎｏ）にＳ１５０２へ処理を移す。

【0092】

Ｓ１５０２では、リードプログラム３０５は、ディレクトリテーブル１０３，１０４を参照して、Ｓ１５００で取得したPVOL/Snapshot内アドレスを基に、参照先アドレス（マッピング領域内アドレス）４０１を取得する。リードプログラム３０５は、リード要求の対象データが、ＰＶＯＬ１００内のデータである場合にはPVOL用のディレクトリテーブル１０３を参照し、Snapshot１０１内のデータである場合にはSnapshot用のディレクトリテーブル１０４を参照する。

【0093】

次にＳ１５０３では、リードプログラム３０５は、マッピングテーブル１０５を参照し、Ｓ１５０２で取得した参照先アドレス（マッピング領域内アドレス）を基に参照先アドレス（追記領域内アドレス）５０１を取得する。次にＳ１５０４では、リードプログラム３０５は、Ｓ１５０３で特定した追記領域内アドレスに格納されているデータを伸長しつつキャッシュメモリにステージングする。

【0094】

次にＳ１５０５では、リードプログラム３０５は、Ｓ１５０１でキャッシュヒットしたデータ又はＳ１５０４でステージングしたデータをホスト装置に転送する。

【0095】

図１６は、フロントエンドライト処理（PVOL/Snapshot共通）の処理手順を示すフローチャートである。フロントエンドライト処理は、ホスト装置から、ＰＶＯＬ１００又はSnapshot１０１に対するライト要求を受け付けた場合に、フロントエンドライトプログラム３０６によって実行される。

【0096】

先ずＳ１６００では、フロントエンドライトプログラム３０６は、ホスト装置からのライト要求の対象データがキャッシュヒットするかを判定する。フロントエンドライトプログラム３０６は、ライト要求の対象データがキャッシュヒットする場合（Ｓ１６００Ｙｅｓ）にＳ１６０２へ処理を移し、キャッシュヒットしない場合（Ｓ１６００Ｎｏ）にＳ１６０１へ処理を移す。Ｓ１６０１では、フロントエンドライトプログラム３０６は、キャッシュメモリ３０１においてキャッシュ領域を確保する。

【0097】

Ｓ１６０２では、フロントエンドライトプログラム３０６は、Ｓ１６００でキャッシュヒットした対象データがダーティデータであるかを判定する。フロントエンドライトプログラム３０６は、Ｓ１６００でキャッシュヒットした対象データがダーティデータである場合（Ｓ１６０２Ｙｅｓ）にＳ１６０３へ処理を移し、ダーティデータでない場合（Ｓ１６０２Ｎｏ）にＳ１６０５へ処理を移す。

【0098】

Ｓ１６０３では、フロントエンドライトプログラム３０６は、Ｓ１６０２で判定されたダーティデータのＷＲ（WRight）世代＃と、当該ライト要求の対象データの世代＃が一致するかを判定する。ＷＲ世代＃はキャッシュデータの管理情報（不図示）に保持される。又、当該ライト要求の対象データの世代＃は図１１の最新世代＃１１０１から取得される。Ｓ１６０３は、直前に取得されたスナップショットの対象データ（ダーティデータ）の追記処理がされていないうちに、当該ライト要求の対象データでダーティデータを更新してしまい、スナップショットのデータを書きつぶしてしまうことを防ぐ。フロントエンドライトプログラム３０６は、ＷＲ世代＃と最新世代＃が一致する場合（Ｓ１６０３Ｙｅｓ）にＳ１６０５へ処理を移し、ＷＲ世代＃と最新世代＃が一致しない場合（Ｓ１６０３Ｎｏ）にＳ１６０４へ処理を移す。

【0099】

Ｓ１６０４では、フロントエンドライトプログラム３０６は、図１４を参照して説明した追記処理を実行する。Ｓ１６０４により、最新世代＃と一致しないＷＲ世代＃のダーティデータを追記領域へ書き込み、キャッシュメモリ３０１からデステージする。

【0100】

Ｓ１６０５では、フロントエンドライトプログラム３０６は、Ｓ１６０１で確保したキャッシュ領域、又は、追記処理が必要なダーティデータを追記処理して再度ダーティデータを生成可能になったキャッシュ領域へ、ライト要求の対象データを書き込む。

【0101】

Ｓ１６０６では、フロントエンドライトプログラム３０６は、Ｓ１６０５でキャッシュメモリ３０１へ書き込んだキャッシュデータのＷＲ世代＃を、Ｓ１６０３で比較した最新世代＃に設定する。Ｓ１６０７では、フロントエンドライトプログラム３０６は、ホスト装置へ正常応答（Good応答）を返却する。

【0102】

図１７は、バックエンドライト処理の処理手順を示すフローチャートである。バックエンドライト処理は、ＤＳＶＯＬ１０２の追記領域１０６に未反映のデータ（ダーティデータ）がキャッシュメモリ３０１上にある場合、未反映のデータを追記領域１０６に書き込む処理である。バックエンドライト処理は、フロントエンド処理と同期又は非同期で行われる。バックエンドライト処理は、バックエンドライトプログラム３０７により実行される。

【0103】

先ずＳ１７００では、バックエンドライトプログラム３０７は、キャッシュメモリ３０１上にダーティデータが有るかを判定する。バックエンドライトプログラム３０７は、キャッシュメモリ３０１上にダーティデータが有る場合（Ｓ１７００Ｙｅｓ）にＳ１７０１へ処理を移し、ダーティデータが無い場合（Ｓ１７００Ｎｏ）に本バックエンドライト処理を終了する。Ｓ１７０１では、バックエンドライトプログラム３０７は、図１４で説明した追記処理を実行する。

【0104】

図１８は、実施例１のリストア処理の処理手順を示すフローチャートである。リストア処理は、管理システム２０３からのリストア（データ復元）の指示に応じて、リストアプログラム３０８によって実行される。

【0105】

先ずＳ１８００では、リストアプログラム３０８は、管理システム２０３から、リストア先のＰＶＯＬ＃及びリストア元のSnapshot＃を受領する。次にＳ１８０１では、リストアプログラム３０８は、Ｓ１８００でSnapshot＃を受領したリストア元Snapshotにダーティデータが有るかを判定する。リストアプログラム３０８は、リストア元Snapshotにダーティデータが有る場合（Ｓ１８０１Ｙｅｓ）にＳ１８０２へ処理を移し、ダーティデータが無い場合（Ｓ１８０１Ｎｏ）にＳ１８０３へ処理を移す。

【0106】

Ｓ１８０２では、リストアプログラム３０８は、図１４で説明した追記処理を実行する。

【0107】

Ｓ１８０３では、リストアプログラム３０８は、ボリューム管理テーブル３１１からリストア元Snapshotのディレクトリ＃及びリストア先ＰＶＯＬのディレクトリ＃を取得する。次にＳ１８０４では、リストアプログラム３０８は、複数のＤＳＶＯＬ１０２－ｉの各ストレージコントローラ２１０に対して、Ｓ１８０３で取得されたリストア元／先のディレクトリコピーを指示する。

【0108】

次にＳ１８０５では、リストアプログラム３０８は、各ストレージコントローラ２１０の並列処理によって、Ｓ１８０３で取得したリストア元のSnapshotのディレクトリ＃のディレクトリテーブル１０４－ｉを、リストア先のＰＶＯＬのディレクトリ＃のディレクトリテーブル１０３－ｉへそれぞれコピーする。

【0109】

図１９は、実施例１のリシンク処理の処理手順を示すフローチャートである。リシンク処理は、管理システム２０３からのリシンク（データ再同期）の指示に応じて、リシンクプログラム３０９によって実行される。

【0110】

先ずＳ１９００では、リシンクプログラム３０９は、管理システム２０３から、リシンク先Snapshot＃及びリシンク元ＰＶＯＬ＃を受領する。次にＳ１９０１では、リシンクプログラム３０９は、リシンク元ＰＶＯＬにダーティデータが有るかを判定する。リシンクプログラム３０９は、リシンク元ＰＶＯＬにダーティデータが有る場合（Ｓ１９０１Ｙｅｓ）にＳ１９０２へ処理を移し、ダーティデータが無い場合（Ｓ１９０１Ｎｏ）にＳ１９０３へ処理を移す。

【0111】

Ｓ１９０２では、リシンクプログラム３０９は、図１４で説明した追記処理を実行する。

【0112】

Ｓ１９０３では、リシンクプログラム３０９は、ボリューム管理テーブル３１１からリシンク元ＰＶＯＬのディレクトリ＃及びリシンク先Snapshotのディレクトリ＃を取得する。次にＳ１９０４では、リシンクプログラム３０９は、複数のＤＳＶＯＬ１０２－ｉの各ストレージコントローラ２１０に対して、Ｓ１９０３で取得されたディレクトリコピーを指示する。

【0113】

次にＳ１９０５では、リシンクプログラム３０９は、各ストレージコントローラ２１０の並列処理によって、Ｓ１９０３で取得したリシンク元のＰＶＯＬのディレクトリ＃のディレクトリテーブル１０３－ｉを、リシンク先のSnapshotのディレクトリ＃のディレクトリテーブル１０４－ｉへそれぞれコピーする。

【0114】

図２０は、PVOL/Snapshot削除処理の処理手順を示すフローチャートである。PVOL/Snapshot削除処理は、管理システム２０３からのボリューム削除又はSnapshot削除の指示に応じて、PVOL/Snapshot削除プログラム３１０によって実行される。

【0115】

先ずＳ２０００では、PVOL/Snapshot削除プログラム３１０は、削除対象のＰＶＯＬ＃又はSnapshot＃を受領する。次にＳ２００１では、PVOL/Snapshot削除プログラム３１０は、ボリューム管理テーブル３１１から、削除対象のＰＶＯＬ又はSnapshotのディレクトリ＃及びマッピング＃を取得する。

【0116】

次にＳ２００２では、PVOL/Snapshot削除プログラム３１０は、削除対象のＰＶＯＬ又はSnapshotのディレクトリテーブルの削除を、各ディレクトリテーブルが分散配置されている各ＤＳＶＯＬ１０２を制御する各ストレージコントローラ２１０に対して指示する。

【0117】

次にＳ２００３では、PVOL/Snapshot削除プログラム３１０は、ディレクトリ領域管理テーブル３１２から、Ｓ２００２で削除されたディレクトリテーブルに該当するレコードを削除する。次にＳ２００４では、PVOL/Snapshot削除プログラム３１０は、Ｓ２００３でディレクトリ領域管理テーブル３１２から削除したレコードに対応するディレクトリ領域先頭アドレス９００のレコードを、ディレクトリ領域割り当てテーブル３１４から削除する。

【0118】

次にＳ２００５では、PVOL/Snapshot削除プログラム３１０は、マッピング領域削除可能（つまり削除対象が、SnapshotがないＰＶＯＬ、又は、SnapshotがあるＰＶＯＬ単体）であるかを判定する。PVOL/Snapshot削除プログラム３１０は、マッピング領域削除可能の場合（Ｓ２００５Ｙｅｓ）にＳ２００６へ処理を移し、マッピング領域削除不可能の場合（Ｓ２００５Ｎｏ）にＳ２００９へ処理を移す。

【0119】

Ｓ２００６では、PVOL/Snapshot削除プログラム３１０は、削除対象のＰＶＯＬのマッピングテーブルの削除を、各マッピングデーブルが分散配置されている各ＤＳＶＯＬ１０２を制御する各ストレージコントローラ２１０に対して指示する。

【0120】

次にＳ２００７では、PVOL/Snapshot削除プログラム３１０は、マッピング領域管理テーブル３１３から、削除されたマッピングテーブルに該当するレコードを削除する。次にＳ２００８では、PVOL/Snapshot削除プログラム３１０は、Ｓ２００７でマッピング領域管理テーブル３１３から削除したレコードに対応するマッピング領域先頭アドレス１０００のレコードを、マッピング領域割り当てテーブル３１５から削除する。

【0121】

次にＳ２００９では、PVOL/Snapshot削除プログラム３１０は、削除したＰＶＯＬ又はSnapshotに該当するボリュームのレコードをボリューム管理テーブル３１１から削除する。

【0122】

次にＳ２０１０では、PVOL/Snapshot削除プログラム３１０は、削除したボリュームはSnapshotかを判定する。PVOL/Snapshot削除プログラム３１０は、削除したボリュームがSnapshotである場合（Ｓ２０１０Ｙｅｓ）にＳ２０１１へ処理を移し、削除したボリュームがＰＶＯＬである場合（Ｓ２０１０Ｎｏ）に本PVOL/Snapshot削除処理を終了する。

【0123】

Ｓ２０１１では、PVOL/Snapshot削除プログラム３１０は、削除したSnapshotのレコードをSnapshot世代管理テーブル３１６から削除する。この際、Snapshot世代管理テーブル３１６において、削除したSnapshotが最新世代である場合には、最新世代を削除したSnapshotの次に新しい世代のSnapshotを最新世代とする。

【0124】

次に図２１及び図２２を参照して、実施例１の効果を説明する。

【0125】

本実施例では、図２１に示すように、メタ情報のツリーを、第１階層のメタ情報であるＰＶＯＬ用のディレクトリテーブル１０３と、第２階層のメタ情報であるＰＶＯＬとSnapshot共用のマッピングテーブル１０５の２段構成とする。ＰＶＯＬ用のディレクトリテーブル１０３は、データを参照するメタ情報へのポインタを管理するテーブルである。

【0126】

そしてSnapshot取得時には、１段目のＰＶＯＬ用のディレクトリテーブル１０３のみをコピーし、Snapshot用のディレクトリテーブル１０４を作成する。ＰＶＯＬ１００からのリード及びライトは、ディレクトリテーブル１０３及びマッピングテーブル１０５に基づいてデータにアクセスされる。またSnapshot１０１からのリード及びライトは、ディレクトリテーブル１０４及びマッピングテーブル１０５に基づいてデータにアクセスされる。これにより、データアクセス時の探索のオーバーヘッドを低減できる。

【0127】

また本実施例では、図２２に示すように、各ストレージコントローラ２１０により制御される複数のＤＳＶＯＬ１０２へ、ＰＶＯＬ用のディレクトリテーブル１０３を、細粒度で分散配置する。そして、Snapshot取得時は、複数のストレージコントローラ２１０がそれぞれのＤＳＶＯＬ１０２内に分散配置されているＰＶＯＬ用のディレクトリテーブル１０３単位でテーブルコピーを行う。この並列処理によるコピーのため、Snapshot作成時間を短縮できる。さらに、特定のＰＶＯＬ/SnapshotにＩ／Ｏ負荷が偏って高負荷になっても、複数のストレージコントローラ２１０に負荷分散するため、複数のストレージコントローラ資源を有効活用することができる。

【0128】

よって本実施例によれば、ストレージシステムに求められる機能の性能を損ねず、Ｉ／Ｏ性能と、ストレージシステム操作性能の両立を図ることができる。またＩ／Ｏ負荷の偏りがあっても、１つのストレージコントローラの性能に律速されることなく、マルチコントローラのメリットを十分に享受できる。またストレージシステムの性能低下や容量を気にすることなく、オンデマンドにボリュームの複製を作成することができる。

【実施例2】

【0129】

実施例２は実施例１と比較して、リストア処理及びリシンク処理が異なる。実施例２のリストア処理では、ディレクトリテーブルをコピーせず、リストア先のディレクトリ＃をリストア元のディレクトリ＃と共通となるようにボリューム管理テーブル（図６）を更新し、リストア元/先で同じディレクトリ領域を参照する。

【0130】

また実施例２のリシンク処理では、ディレクトリテーブルをコピーせず、リシンク先のディレクトリ＃をリシンク元のディレクトリ＃と共通となるようにボリューム管理テーブル（図６）を更新し、リストア元/先で同じディレクトリ領域を参照する。

【0131】

図２３は、実施例２のリストア処理の処理手順を示すフローチャートである。図２３におけるＳ２１００，Ｓ２１０１，Ｓ２１０２，Ｓ２１０３は、図１８におけるＳ１８００，Ｓ１８０１，Ｓ１８０２，Ｓ１８０３のそれぞれと同じである。

【0132】

Ｓ２１０３に続きＳ２１０４では、リストアプログラム３０８は、ボリューム管理テーブル３１１において、リストア先ＰＶＯＬのディレクトリ＃をリストア元Snapshotのディレクトリ＃で更新する。図６の例では、リストア元のＶＯＬ＃＝１の属性＝Snapshotのディレクトリ＃（１，５，２０）で、リストア先のＶＯＬ＃＝０の属性＝ＰＶＯＬのディレクトリ＃６０２を更新する。次にＳ２１０５では、リストアプログラム３０８は、Snapshot世代管理テーブル３１６のリストア元Snapshotの状態１１０５をＰＡＩＲに変更する。

【0133】

図２４は、実施例２のリシンク処理の処理手順を示すフローチャートである。図２４におけるＳ２２００，Ｓ２２０１，Ｓ２２０２，Ｓ２２０３は、図１９におけるＳ１９００，Ｓ１９０１，Ｓ１９０２，Ｓ１９０３のそれぞれと同じである。

【0134】

Ｓ２２０３に続きＳ２２０４では、リシンクプログラム３０９は、ボリューム管理テーブル３１１において、リシンク先Snapshotのディレクトリ＃をリシンク元ＰＶＯＬのディレクトリ＃で更新する。図６の例では、リシンク元のＶＯＬ＃＝０の属性＝ＰＶＯＬのディレクトリ＃（０，１０，２００）で、リシンク先のＶＯＬ＃＝１の属性＝Snapshotのディレクトリ＃６０２を更新する。次にＳ２２０５では、リシンクプログラム３０９は、Snapshot世代管理テーブル３１６のリシンク先Snapshotの状態１１０５をＰＡＩＲに変更する。

【0135】

このように実施例２では、実施例１のリストア処理及びリシンク処理と比較して、ディレクトリテーブルのコピーを行わず、参照先の変更のみであるので、処理量が少ないという利点がある。

【0136】

なお、本発明は上述の実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、かかる構成の削除に限らず、構成の置き換えや追加も可能である。

【0137】

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、本発明は、実施例の機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記録媒体をコンピュータに提供し、そのコンピュータが備えるプロセッサが記録媒体に格納されたプログラムコードを読み出す。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記録媒体は本発明を構成することになる。このようなプログラムコードを供給するための記録媒体としては、例えば、フレキシブルディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ハードディスク、ＳＳＤ（Solid State Drive）、光ディスク、光磁気ディスク、ＣＤ－Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどが用いられる。

【0138】

また、本実施例に記載の機能を実現するプログラムコードは、例えば、アセンブラ、Ｃ／Ｃ＋＋、ｐｅｒｌ、Ｓｈｅｌｌ、ＰＨＰ、Ｊａｖａ（登録商標）等の広範囲のプログラム又はスクリプト言語で実装できる。

【0139】

上述の実施例において、制御線や情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていてもよい。

【符号の説明】

【0140】

１００：計算機システム、１０３，１０３－ｉ，１０４，１０４－ｉ：ディレクトリテーブル、１０５，１０５－ｉ：マッピングテーブル、１０６，１０６－ｉ：追記領域、２０１：ストレージシステム、２０２：サーバシステム、２０３：管理システム、２１０：ストレージコントローラ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】