知財求人 - 知財ポータルサイト「IP Force」
特開2023-181818ストレージシステムおよびストレージシステムにおけるデータレイアウト変換方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023181818
(43)【公開日】2023-12-25
(54)【発明の名称】ストレージシステムおよびストレージシステムにおけるデータレイアウト変換方法
(51)【国際特許分類】
G06F 3/06 20060101AFI20231218BHJP
【ＦＩ】
G06F3/06 540
【審査請求】未請求
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2022095168
(22)【出願日】2022-06-13
(71)【出願人】
【識別番号】000005108
【氏名又は名称】株式会社日立製作所
(74)【代理人】
【識別番号】110002365
【氏名又は名称】弁理士法人サンネクスト国際特許事務所
(72)【発明者】
【氏名】田島 幸恵
(72)【発明者】
【氏名】斎藤 秀雄
(72)【発明者】
【氏名】中村 隆喜
(72)【発明者】
【氏名】伊藤 晋太郎
(72)【発明者】
【氏名】倉田 成己
(72)【発明者】
【氏名】山本 貴大
(57)【要約】
【課題】ストレージシステムにおいて、ＩＯを継続しながら、ドライブデータレイアウト変更を伴う性能や品質向上および機能追加を実現する。
【解決手段】ストレージシステム１は、記憶ドライブ１１３に格納されるデータの冗長構成を構成する冗長化グループを作成し、冗長化グループのデータを複数の記憶ドライブ１１３に格納する。ストレージノード１１０のプロセッサは、単位記憶領域に格納されているデータを破棄し、破棄したデータを変更後のデータフォーマットに従って復元して記憶ドライブに再格納する。ストレージノード１１０のプロセッサは、データフォーマットを変更している間の破棄するデータに対するＩ／Ｏ処理を、データフォーマットの変更を行う単位記憶領域以外に格納された冗長化グループのデータに基づいて復元して行う。
【選択図】図６Ａ
【解決手段】ストレージシステム１は、記憶ドライブ１１３に格納されるデータの冗長構成を構成する冗長化グループを作成し、冗長化グループのデータを複数の記憶ドライブ１１３に格納する。ストレージノード１１０のプロセッサは、単位記憶領域に格納されているデータを破棄し、破棄したデータを変更後のデータフォーマットに従って復元して記憶ドライブに再格納する。ストレージノード１１０のプロセッサは、データフォーマットを変更している間の破棄するデータに対するＩ／Ｏ処理を、データフォーマットの変更を行う単位記憶領域以外に格納された冗長化グループのデータに基づいて復元して行う。
【選択図】図６Ａ
【特許請求の範囲】
【請求項1】
複数のノードを有するストレージシステムであって、
前記ノードは、
記憶ドライブと、
ホストからのＩ／Ｏ要求に応じて前記記憶ドライブに格納するデータの処理を行うプロセッサと、
を有し、
前記ノードのプロセッサは、
前記記憶ドライブに格納されるデータの冗長構成を構成する冗長化グループを作成し、前記冗長化グループのデータを複数の前記記憶ドライブに格納し、
単位記憶領域のデータフォーマットを変更する場合に、
前記冗長化グループの一部のデータが格納されている前記単位記憶領域に格納されているデータを破棄し、
前記データフォーマットの変更を行う単位記憶領域以外に格納された前記冗長化グループのデータに基づいて、前記破棄したデータを変更後の前記データフォーマットに従って復元して前記記憶ドライブに再格納し、
前記データフォーマットを変更している間の前記破棄するデータに対するＩ／Ｏ処理を、前記データフォーマットの変更を行う単位記憶領域以外に格納された前記冗長化グループのデータに基づいて復元して行う
ことを特徴とするストレージシステム。
前記ノードは、
記憶ドライブと、
ホストからのＩ／Ｏ要求に応じて前記記憶ドライブに格納するデータの処理を行うプロセッサと、
を有し、
前記ノードのプロセッサは、
前記記憶ドライブに格納されるデータの冗長構成を構成する冗長化グループを作成し、前記冗長化グループのデータを複数の前記記憶ドライブに格納し、
単位記憶領域のデータフォーマットを変更する場合に、
前記冗長化グループの一部のデータが格納されている前記単位記憶領域に格納されているデータを破棄し、
前記データフォーマットの変更を行う単位記憶領域以外に格納された前記冗長化グループのデータに基づいて、前記破棄したデータを変更後の前記データフォーマットに従って復元して前記記憶ドライブに再格納し、
前記データフォーマットを変更している間の前記破棄するデータに対するＩ／Ｏ処理を、前記データフォーマットの変更を行う単位記憶領域以外に格納された前記冗長化グループのデータに基づいて復元して行う
ことを特徴とするストレージシステム。
【請求項2】
請求項１に記載のストレージシステムであって、
前記データフォーマットの変更後に、前記単位記憶領域へ前記Ｉ／Ｏ処理の処理先を変更する
ことを特徴とするストレージシステム。
前記データフォーマットの変更後に、前記単位記憶領域へ前記Ｉ／Ｏ処理の処理先を変更する
ことを特徴とするストレージシステム。
【請求項3】
請求項１に記載のストレージシステムであって、
前記ノードのプロセッサは、
前記データフォーマットの変更対象の前記単位記憶領域に格納されている前記データの破棄前に、前記冗長化グループの冗長度を上げる
ことを特徴とするストレージシステム。
前記ノードのプロセッサは、
前記データフォーマットの変更対象の前記単位記憶領域に格納されている前記データの破棄前に、前記冗長化グループの冗長度を上げる
ことを特徴とするストレージシステム。
【請求項4】
請求項３に記載のストレージシステムであって、
前記ノードのプロセッサは、
前記破棄するデータのコピーを作成することにより、前記冗長化グループの冗長度を上げ、
前記コピーしたデータに基づいて、変更後の前記データフォーマットのデータを復元して前記記憶ドライブに再格納し、
前記コピーしたデータに基づいて、前記データフォーマットを変更している間の前記破棄するデータに対する前記Ｉ／Ｏ処理を行う
ことを特徴とするストレージシステム。
前記ノードのプロセッサは、
前記破棄するデータのコピーを作成することにより、前記冗長化グループの冗長度を上げ、
前記コピーしたデータに基づいて、変更後の前記データフォーマットのデータを復元して前記記憶ドライブに再格納し、
前記コピーしたデータに基づいて、前記データフォーマットを変更している間の前記破棄するデータに対する前記Ｉ／Ｏ処理を行う
ことを特徴とするストレージシステム。
【請求項5】
請求項３に記載のストレージシステムであって、
前記冗長化グループは、前記データと、前記データに基づいて作成された冗長データとが含まれており、
前記ノードのプロセッサは、
前記データに対する冗長データの数を増やすことで前記冗長化グループの冗長度を上げる
ことを特徴とするストレージシステム。
前記冗長化グループは、前記データと、前記データに基づいて作成された冗長データとが含まれており、
前記ノードのプロセッサは、
前記データに対する冗長データの数を増やすことで前記冗長化グループの冗長度を上げる
ことを特徴とするストレージシステム。
【請求項6】
請求項２に記載のストレージシステムであって、
前記ノードのプロセッサは、
前記データフォーマット変更前及び変更中のＩ／Ｏ処理を、変更前の前記データフォーマットに基づいてデータのＩ／Ｏ処理を行うプログラムを実行して行い、
前記データフォーマット変更後のＩ／Ｏ処理を、変更後の前記データフォーマットに基づいてデータのＩ／Ｏ処理を行うプログラムを実行して行う
ことを特徴とするストレージシステム。
前記ノードのプロセッサは、
前記データフォーマット変更前及び変更中のＩ／Ｏ処理を、変更前の前記データフォーマットに基づいてデータのＩ／Ｏ処理を行うプログラムを実行して行い、
前記データフォーマット変更後のＩ／Ｏ処理を、変更後の前記データフォーマットに基づいてデータのＩ／Ｏ処理を行うプログラムを実行して行う
ことを特徴とするストレージシステム。
【請求項7】
請求項１に記載のストレージシステムであって、
前記単位記憶領域は、前記記憶ドライブまたは前記ノードに対して設定され、
前記ノードのプロセッサは、
前記データフォーマットを変更する前に、該データフォーマットの変更対象の単位記憶領域にかかる前記記憶ドライブまたは前記ノードを前記ストレージシステムから切り離し、
前記データフォーマットの変更が完了すると、切り離した前記記憶ドライブまたは前記ノードを前記ストレージシステムに接続する
ことを特徴とするストレージシステム。
前記単位記憶領域は、前記記憶ドライブまたは前記ノードに対して設定され、
前記ノードのプロセッサは、
前記データフォーマットを変更する前に、該データフォーマットの変更対象の単位記憶領域にかかる前記記憶ドライブまたは前記ノードを前記ストレージシステムから切り離し、
前記データフォーマットの変更が完了すると、切り離した前記記憶ドライブまたは前記ノードを前記ストレージシステムに接続する
ことを特徴とするストレージシステム。
【請求項8】
請求項１に記載のストレージシステムであって、
前記単位記憶領域は、前記ノードまたは前記記憶ドライブに対して設定され、
前記ノードのプロセッサは、
前記データフォーマットを変更する際に、該データフォーマットの変更対象の前記ノードまたは前記記憶ドライブに対する前記Ｉ／Ｏ処理を停止し、
前記データフォーマットの変更が完了すると、前記Ｉ／Ｏ処理を再開する
ことを特徴とするストレージシステム。
前記単位記憶領域は、前記ノードまたは前記記憶ドライブに対して設定され、
前記ノードのプロセッサは、
前記データフォーマットを変更する際に、該データフォーマットの変更対象の前記ノードまたは前記記憶ドライブに対する前記Ｉ／Ｏ処理を停止し、
前記データフォーマットの変更が完了すると、前記Ｉ／Ｏ処理を再開する
ことを特徴とするストレージシステム。
【請求項9】
複数のノードを有するストレージシステムが実行するストレージシステムにおけるデータレイアウト変換方法であって、
前記ノードは、
記憶ドライブと、
ホストからのＩ／Ｏ要求に応じて前記記憶ドライブに格納するデータの処理を行うプロセッサと、
を有し、
前記ノードのプロセッサが、
前記記憶ドライブに格納されるデータの冗長構成を構成する冗長化グループを作成し、前記冗長化グループのデータを複数の前記記憶ドライブに格納し、
単位記憶領域のデータフォーマットを変更する場合に、
前記冗長化グループの一部のデータが格納されている前記単位記憶領域に格納されているデータを破棄し、
前記データフォーマットの変更を行う単位記憶領域以外に格納された前記冗長化グループのデータに基づいて、前記破棄したデータを変更した前記データフォーマットに従って復元して前記記憶ドライブに再格納し、
前記データフォーマットを変更している間の前記破棄するデータに対するＩ／Ｏ処理を、前記データフォーマットの変更を行う単位記憶領域以外に格納された前記冗長化グループのデータに基づいて復元して行う
ことを特徴とするデータレイアウト変換方法。
前記ノードは、
記憶ドライブと、
ホストからのＩ／Ｏ要求に応じて前記記憶ドライブに格納するデータの処理を行うプロセッサと、
を有し、
前記ノードのプロセッサが、
前記記憶ドライブに格納されるデータの冗長構成を構成する冗長化グループを作成し、前記冗長化グループのデータを複数の前記記憶ドライブに格納し、
単位記憶領域のデータフォーマットを変更する場合に、
前記冗長化グループの一部のデータが格納されている前記単位記憶領域に格納されているデータを破棄し、
前記データフォーマットの変更を行う単位記憶領域以外に格納された前記冗長化グループのデータに基づいて、前記破棄したデータを変更した前記データフォーマットに従って復元して前記記憶ドライブに再格納し、
前記データフォーマットを変更している間の前記破棄するデータに対するＩ／Ｏ処理を、前記データフォーマットの変更を行う単位記憶領域以外に格納された前記冗長化グループのデータに基づいて復元して行う
ことを特徴とするデータレイアウト変換方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ストレージシステムおよびストレージシステムにおけるデータレイアウト変換方法に関する。
【背景技術】
【0002】
特許文献１に示すように、ストレージ装置であるＳＤＳ（Software Defined Storage）内で動作するストレージプログラムは、自身が認識するドライブ内にユーザデータを格納する際に用いるドライブ内のデータレイアウト情報を有している。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２２－５５１０２号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ストレージプログラムが新規機能を使用する場合にドライブデータレイアウトのフォーマット変更を伴うことがある。一方、ＳＤＳにおいては、ユーザからの明示的な停止指示がない限り、ＩＯ機能を提供し続ける必要がある。そのため、ドライブデータレイアウトのフォーマット変換を伴う機能追加をした場合であっても、ユーザに対してＩＯ機能を提供し続ける必要がある。
【0005】
ストレージプログラムがユーザデータ格納先のドライブを認識した時点でドライブデータレイアウトが決定する。その後ドライブデータレイアウトのフォーマット変更が発生した場合、旧フォーマットに基づいたレイアウトで格納済のユーザデータへのアクセスを維持しながら変更に追従することが求められる。
【0006】
本発明は以上の点を考慮してなされたもので、ストレージシステムにおいて、ＩＯを継続しながら、ドライブデータレイアウト変更を伴う性能や品質向上および機能追加を実現することを目的とする。
【課題を解決するための手段】
【0007】
上述した課題を解決するため、本発明の一態様では、複数のノードを有するストレージシステムであって、前記ノードは、記憶ドライブと、ホストからのＩ／Ｏ要求に応じて前記記憶ドライブに格納するデータの処理を行うプロセッサと、を有し、前記ノードのプロセッサは、前記記憶ドライブに格納されるデータの冗長構成を構成する冗長化グループを作成し、前記冗長化グループのデータを複数の前記記憶ドライブに格納し、単位記憶領域のデータフォーマットを変更する場合に、前記冗長化グループの一部のデータが格納されている前記単位記憶領域に格納されているデータを破棄し、前記データフォーマットの変更を行う単位記憶領域以外に格納された前記冗長化グループのデータに基づいて、前記破棄したデータを変更後の前記データフォーマットに従って復元して前記記憶ドライブに再格納し、前記データフォーマットを変更している間の前記破棄するデータに対するＩ／Ｏ処理を、前記データフォーマットの変更を行う単位記憶領域以外に格納された前記冗長化グループのデータに基づいて復元して行うことを特徴とする。
【発明の効果】
【0008】
本発明によれば、例えば、ストレージシステムにおいて、ＩＯを継続しながら、データレイアウト変更を伴う性能や品質向上および機能追加を実現できる。
【図面の簡単な説明】
【0009】
【図1】実施形態１に係るストレージシステムを示す構成図。
【図2】実施形態１に係るストレージノードのメモリに格納されているソフトウェア構成図。
【図3A】実施形態１に係るストレージシステムのデータ格納を示す図。
【図3B】実施形態１に係るマッピングテーブルを示す図。
【図4】実施形態１に係るドライブデータレイアウト変換が必要となるフォーマット変換を示す図。
【図5】実施形態１に係るチャンク状態管理テーブルを示す図。
【図6A】実施形態１に係るチャンク単位でのドライブデータレイアウト変換を示す図。
【図6B】実施形態１に係るチャンク単位でのドライブデータレイアウト変換の際のマッピングテーブルを示す図。
【図7】実施形態１に係るチャンク単位でのドライブデータレイアウト変換処理フローを示す図。
【図8A】実施形態２に係るドライブ単位でのドライブデータレイアウト変換を示す図。
【図8B】実施形態２に係るドライブ単位でのドライブデータレイアウト変換の際のマッピングテーブルを示す図。
【図8C】実施形態２に係るドライブ単位でのドライブデータレイアウト変換の際のチャンク状態管理テーブルを示す図。
【図9】変形例に係る状態管理テーブルを示す図。
【図10】実施形態２に係るドライブ単位でのドライブデータレイアウト変換処理フローを示す図。
【図11】実施形態３に係るストレージノード単位でのドライブデータレイアウト変換を示す図。
【図12】変形例に係る状態管理テーブルを示す図。
【図13】実施形態３に係るストレージノード単位でのドライブデータレイアウト変換処理フローを示す図。
【発明を実施するための形態】
【0010】
以下、図面を参照して本願の実施形態を説明する。実施形態は、図面も含めて本願を説明するための例示であって、説明の明確化のため、適宜、省略および簡略化がなされている。本願は、他の種々の実施形態でもよい。特に限定しない限り、実施形態の各構成要素は単数でも複数でもよい。
【0011】
同一あるいは同様の機能を有する構成要素が複数ある場合には、同一の符号に異なる添字を付して説明する場合がある。また、これらの複数の構成要素を区別する必要がない場合には、添字を省略して説明する場合がある。
【0012】
また、既出の実施形態もしくは変形例と同一または類似の構成要素には、説明を省略すし、差分を中心に説明する場合がある。また、既出の実施形態もしくは変形例と同一または類似の構成要素に同一の符号を付与して説明を省略する場合がある。
【0013】
実施形態において、プログラムを実行して行う処理について説明する場合がある。ここで、コンピュータは、プロセッサ（例えばＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit））により、記憶資源（例えばメモリ）やインターフェースデバイス（例えば通信ポート）等を用いながら、プログラムで定められた処理を行う。そのため、プログラムを実行して行う処理の主体を、プロセッサとしてもよい。同様に、プログラムを実行して行う処理の主体が、プロセッサを有するコントローラ、装置、システム、計算機、ノードであってもよい。プログラムを実行して行う処理の主体は、演算部であればよく、特定の処理を行う専用回路を含んでいてもよい。ここで、専用回路とは、例えばＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）、ＣＰＬＤ（Complex Programmable Logic Device）等である。
【0014】
プログラムは、プログラムソースから計算機にインストールされてもよい。プログラムソースは、例えば、プログラム配布サーバまたは計算機が読取り可能な非一時的な記憶メディアであってもよい。プログラムソースがプログラム配布サーバの場合、プログラム配布サーバはプロセッサと配布対象のプログラムを記憶する記憶資源を含み、プログラム配布サーバのプロセッサが配布対象のプログラムを他の計算機に配布してもよい。また、実施形態において、２以上のプログラムが１つのプログラムとして実現されてもよいし、１つのプログラムが２以上のプログラムとして実現されてもよい。
【0015】
以下の実施形態で、テーブル形式で各種情報を説明するが、各種情報はテーブル以外の形式であってもよい。
【0016】
［実施形態１］
（ストレージシステム１の構成）
図１は、実施形態１のストレージシステム１を示す構成図である。ストレージシステム１は、３台以上のストレージノード１１０と、１台以上のコンピュートノード１２０と、１台のコントロールノード１３０とを有する。またストレージシステム１は、ストレージノード１１０同士を接続するバックエンドネットワーク１４０と、ストレージノード１１０とコンピュートノード１２０を接続するストレージサービスネットワーク１５０と、コントロールノード１３０とコンピュートノード１２０とストレージノード１１０を接続する管理ネットワーク１６０とを有する。
（ストレージシステム１の構成）
図１は、実施形態１のストレージシステム１を示す構成図である。ストレージシステム１は、３台以上のストレージノード１１０と、１台以上のコンピュートノード１２０と、１台のコントロールノード１３０とを有する。またストレージシステム１は、ストレージノード１１０同士を接続するバックエンドネットワーク１４０と、ストレージノード１１０とコンピュートノード１２０を接続するストレージサービスネットワーク１５０と、コントロールノード１３０とコンピュートノード１２０とストレージノード１１０を接続する管理ネットワーク１６０とを有する。
【0017】
ストレージノード１１０とコンピュートノード１２０とコントロールノード１３０は、一部またはすべてが同一のコンピュータ装置であってもよい。バックエンドネットワーク１４０とストレージサービスネットワーク１５０と管理ネットワーク１６０は、一部またはすべてが同一のネットワークであってもよい。
【0018】
ストレージノード１１０は、１つ以上のＣＰＵ１１１と、メモリ１１２と、１台以上のドライブ１１３とを有する。
【0019】
コントロールノード１３０は、システム管理者がストレージシステム１を管理するために使用するコンピュータ装置である。コントロールノード１３０は、複数のストレージノード１１０を束ねてクラスタと呼ぶグループとして管理することができる。図１ではクラスタが１つ設けられた例を示しているが、ストレージシステム１内に複数のクラスタを設けてもよい。
【0020】
（ストレージノード１１０のメモリ１１２の構成）
図２は、ストレージノード１１０のメモリ１１２に格納されているソフトウェアの構成図である。ストレージノード１１０のメモリ１１２は、フロントエンドドライバ２１０と、バックエンドドライバ２４０と、ストレージ制御プログラム２２０と、容量制御プログラム２３０とを格納している。容量制御プログラム２３０は、旧フォーマット用制御機構２３１と、新フォーマット用制御機構２３２とを有する。以降、フォーマットをＦＭＴと記載する。
図２は、ストレージノード１１０のメモリ１１２に格納されているソフトウェアの構成図である。ストレージノード１１０のメモリ１１２は、フロントエンドドライバ２１０と、バックエンドドライバ２４０と、ストレージ制御プログラム２２０と、容量制御プログラム２３０とを格納している。容量制御プログラム２３０は、旧フォーマット用制御機構２３１と、新フォーマット用制御機構２３２とを有する。以降、フォーマットをＦＭＴと記載する。
【0021】
また、メモリ１１２は、マッピングテーブル２５０と、チャンク状態管理テーブル２６０とを有する。
【0022】
ストレージ制御プログラム２２０は、他のストレージノード１１０に配置された他のストレージ制御プログラム２２０と共に、冗長構成を構成する冗長化グループとして管理される。
【0023】
冗長化グループでは、１個のストレージ制御プログラム２２０がコンピュートノード１２０からのＩＯを受け付ける状態に設定され、残りのストレージ制御プログラム２２０がＩＯを受け付けない状態に設定される。以降、ＩＯを受け付ける状態をアクティブ、受け付けない状態をスタンバイと記載する。また、アクティブに設定されたストレージ制御プログラム２２０をアクティブストレージ制御プログラム、スタンバイに設定されたストレージ制御プログラム２２０をスタンバイストレージ制御プログラムと記載する。
【0024】
冗長化グループでは、アクティブストレージ制御プログラムに障害が発生した場合に、アクティブストレージ制御プログラムの設定がスタンバイに切り替えられ、スタンバイストレージ制御プログラムの設定がアクティブに切り替えられる。この他、アクティブストレージ制御プログラムが配置されたストレージノード１１０に障害が発生した場合などでも、アクティブストレージ制御プログラムとスタンバイストレージ制御プログラムのアクティブとスタンバイの設定が切り替えられる。
【0025】
これにより、アクティブストレージ制御プログラムを有する冗長化グループにおいて、アクティブストレージ制御プログラムからスタンバイストレージ制御プログラムへのフェイルオーバが行われる。すなわち、障害が発生したアクティブストレージ制御プログラムが実行していたＩＯ処理は、スタンバイからアクティブに設定変更されたストレージ制御プログラム２２０に引き継がれる。
【0026】
容量制御プログラム２３０は、ストレージノード１１０が有するドライブ１１３の物理的な記憶領域を冗長化グループに対して割り当てる。容量制御プログラム２３０は、ドライブ１１３の物理的な記憶領域を冗長化グループに対して割り当てると、冗長化グループに属する他のストレージノード１１０の他の容量制御プログラム２３０と、バックエンドネットワーク１４０を介してデータをやり取りする。アクティブストレージ制御プログラムは、容量制御プログラム２３０を介することで、ＩＯコマンドに従って冗長化グループに属する記憶領域へのＩＯを実行する。
【0027】
（実施形態１のデータ格納とマッピングテーブル２５０）
図３Ａは、実施形態１のストレージシステム１のデータ格納を示す図である。図３Ｂは、実施形態１のストレージシステム１のマッピングテーブル２５０を示す図である。
図３Ａは、実施形態１のストレージシステム１のデータ格納を示す図である。図３Ｂは、実施形態１のストレージシステム１のマッピングテーブル２５０を示す図である。
【0028】
容量制御プログラム２３０は、ストレージノード１１０が有するドライブ１１３が提供する物理的な記憶領域を所定の大きさの物理記憶領域に分割して管理する。以降、所定の大きさの物理記憶領域を物理チャンク３１０と呼ぶ。
【0029】
例えば、図３Ａでは、各ストレージノード１１０（ストレージノードＮ１～Ｎ６）が有するドライブ１１３（ドライブＤ１～Ｄ６）のそれぞれが提供する記憶領域を３つに分割した物理記憶領域が物理チャンク３１０である。
【0030】
容量制御プログラム２３０は、冗長化グループ毎に容量プール３２０を作成する。容量プール３２０に、物理チャンク３１０と同じ大きさの論理的な記憶領域が割り当てられる。以降、論理的な記憶領域を論理チャンク３３０と呼ぶ。論理チャンク３３０に対して、冗長度に応じた物理チャンク３１０が対応付けられる。容量プール３２０に冗長化グループで使用可能なドライブ１１３を割り当てた際に、容量制御プログラム２３０によって物理チャンク３１０と論理チャンク３３０の紐付けが決定される。
【0031】
例えば、容量制御プログラム２３０は、冗長化グループ毎に紐付く容量プール３２０を作成する。容量プール３２０には、物理チャンク３１０と同じ大きさの論理チャンク３３０が割り当てられている。物理チャンク３１０と論理チャンク３３０の紐付けは、マッピングテーブル２５０で管理される。
【0032】
図３Ｂに示すように、マッピングテーブル２５０には、容量プール３２０に割り当てられたドライブ１１３を識別する情報３５０と、ドライブ１１３内の位置を識別する情報３６０とで識別される物理チャンク３１０が紐付けられる論理チャンク３３０の識別情報が格納される。
【0033】
以降、例えば「Ｄ１で識別されるドライブ１１３」を、「ドライブＤ１」のように記載する。また、例えば「Ｌ１１で識別される論理チャンク３３０」を、「論理チャンクＬ１１」のように記載する。また、例えば「ドライブ１１３内のＰ１で識別される位置に格納された物理チャンク３１０」を、「物理チャンクＰ１」のように記載する。
【0034】
例えば、マッピングテーブル２５０に格納された情報３７１から、論理チャンクＬ１１は、ドライブＤ１内の物理チャンクＰ１に紐付くことがわかる。また、情報３７２から、論理チャンクＬ１１は、ドライブＤ４内の物理チャンクＰ２にも紐付くことがわかる。
【0035】
容量プール３２０に対しては論理チャンク３３０を有する１個以上の仮想的な論理ボリューム（以降仮想ボリューム３４０と記載する）が定義される。この仮想ボリューム３４０がコンピュートノード１２０に提供される。
【0036】
コンピュートノード１２０から仮想ボリューム３４０にデータライトする処理フローを説明する。コンピュートノード１２０は、データのライト先の仮想ボリューム３４０の識別子と仮想ボリューム３４０におけるライト先を特定するアドレス情報を指定したライト要求とライトデータを、クラスタ内のストレージノード１１０の何れかに送信する。
【0037】
ライト要求とライトデータを受信したストレージノード１１０のフロントエンドドライバ２１０は、ライト要求で指定されたライト対象の仮想ボリューム３４０と対応付けられたアクティブストレージ制御プログラムが配置されているストレージノード１１０のフロントエンドドライバ２１０に対して、ライト要求とライトデータを転送する。
【0038】
転送されたライト要求とライトデータを受信したフロントエンドドライバ２１０は、ライト要求で指定されたライト対象の仮想ボリューム３４０と容量プール３２０を介して対応付けられたストレージ制御プログラム２２０に、ライト要求とライトデータを送信する。
【0039】
ライト要求とライトデータを受信したストレージ制御プログラム２２０のうちのアクティブストレージ制御プログラムは、ライト対象の仮想ボリューム３４０内のライト先領域に対して、仮想ボリューム３４０と対応付けられた容量プール３２０を構成する論理チャンク３３０の中から、必要に応じて論理チャンク３３０を割り当てる。
【0040】
また、アクティブストレージ制御プログラムは、ライト要求で指定されたライト対象の仮想ボリューム３４０内のライト先領域のアドレスを、ライト先領域に割り当てた論理チャンク３３０を識別するチャンク番号とオフセット位置とに変換する。アクティブストレージ制御プログラムは、変換した情報を用いてＩＯコマンドを生成し、生成したＩＯコマンドとライトデータを自ストレージノード１１０内の容量制御プログラム２３０に送信する。
【0041】
容量制御プログラム２３０は、ＩＯコマンドとライトデータを受信すると、ＩＯコマンドで指定された論理チャンク３３０に対応付けられた物理チャンク３１０と対応するドライブ１１３のオフセット位置にデータを格納する。
【0042】
ストレージシステム１では、コンピュートノード１２０からのライトデータは、対応する論理チャンク３３０に割り当てられた複数の物理チャンク３１０に冗長化されて格納される。論理チャンク３３０に割り当てる物理チャンク３１０の数は冗長化方式の設定内容によって決定される。冗長化方式にはミラーリング（ユーザデータの複製）やErasure-Coding（消失訂正符号）、ＭＥＣ（Multi-stage Erasure Coding）等種々の方式があり、選択された冗長化方式を実現するために必要な数の物理チャンク３１０が一つの論理チャンク３３０に対応付けられる。
【0043】
なお、一つの論理チャンク３３０に複数の物理チャンク３１０が対応付けられると、これら複数の物理チャンク３１０にデータが多重化して格納される。この時、複数の物理チャンク３１０の中から一つの物理チャンク３１０がマスタとして設定され、それ以外の物理チャンク３１０はミラーに設定される。コンピュートノード１２０からリード要求が発行された場合は、マスタ設定された物理チャンク３１０からデータを読み込む。またErasure-CodingやＭＥＣを用いて冗長化する場合は、一つの論理チャンク３３０に複数の物理チャンク３１０が対応付けられ、複数の物理チャンク３１０にはマスタデータと所定パターンの冗長データが格納される。
【0044】
（ドライブデータレイアウト変換が必要となるフォーマット変換）
図４は、ドライブデータレイアウト変換が必要となるフォーマット変換を示す図である。ストレージシステム１では、ドライブ内の物理チャンク３１０のレイアウト変更を伴うドライブデータのフォーマットを変更することがある。レイアウト変更を伴うフォーマット変更の例として、保証コードの持ち方（格納形式）が変更される例を説明する。
図４は、ドライブデータレイアウト変換が必要となるフォーマット変換を示す図である。ストレージシステム１では、ドライブ内の物理チャンク３１０のレイアウト変更を伴うドライブデータのフォーマットを変更することがある。レイアウト変更を伴うフォーマット変更の例として、保証コードの持ち方（格納形式）が変更される例を説明する。
【0045】
ＳＤＳでは、ドライブに格納されているユーザデータを保護するためにユーザデータから生成した保証コードをドライブ１１３に格納することがある。ユーザデータと保証コードは、物理チャンク３１０以上のサイズあるいは物理チャンク３１０以下のサイズにまとめた上で分離して格納する（図４の（ａ））ことも、物理チャンク３１０毎に連続格納する（図４の（ｂ））ことも可能である。保証コードの有無や格納方法によりＳＤＳのＩＯ性能やデータ保全性の強度などの得失が異なる。ユーザの要求を契機として、使用中のＳＤＳの保証コードの有無や格納方式を変更するとドライブ１１３内のデータフォーマットが変更されるため、この変更に伴ってドライブ内の物理チャンク３１０のレイアウトが変更される。
【0046】
あるいは、ストレージシステム１のアップデートにより新機能が提供されることや、システムの設定を変更することで使用していなかった機能を新規に利用することがある。当該新規使用の機能がＳＤＳ内のプログラムが使用するメタデータをドライブに格納することを必要とする場合、機能の使用を開始するためにドライブ内のデータフォーマットが変更される。例えば、機能の新規利用や拡張により、ユーザデータの書き込みログが新規に必要となったり格納形式（ログサイズ、ログフォーマット）が変更されたりした場合にもドライブ内のデータのフォーマットが変更される。
【0047】
あるいは、物理チャンクの大きさを変更することや、ドライブの一部領域を他のプログラムのために解放すること（システムファイルとユーザデータの共存／分離の切り替え）、メモリデータの退避領域の確保、サイズ変更および解放がある。この場合も、ドライブ内のデータのフォーマットは変更される。
【0048】
一方で、ストレージシステム１では、ストレージノード１１０の有するドライブ１１３を容量プール３２０に割り当てた時点で論理チャンク３３０と物理チャンク３１０の対応付けが決定している。本対応付けはマッピングテーブル２５０に格納されている。そこで、ドライブ１１３内の物理チャンク３１０のレイアウト変更する場合は、ユーザデータへのアクセスは維持しながらマッピングテーブル２５０を変更する。
【0049】
（実施形態１に係るチャンク状態管理テーブル２６０）
図５は、実施形態１に係るチャンク状態管理テーブル２６０を示す図である。
図５は、実施形態１に係るチャンク状態管理テーブル２６０を示す図である。
【0050】
チャンク状態管理テーブル２６０は、容量プール３２０に割り当てられたドライブ１１３のドライブ情報４１０と当該ドライブ１１３の物理チャンク３１０の位置を識別する位置情報４２０により識別される物理チャンク３１０の使用状態を格納する。
【0051】
設定可能な物理チャンク３１０の使用状態は、該当領域を使用していない「未使用」、旧フォーマットで使用している「旧」、新フォーマットで使用している「新」、旧フォーマットから新フォーマットに変換中の変換元の「旧・変換中」と変換先の「新・変換中」の５つの状態である。ドライブ情報４１０の列数は、マッピングテーブル２５０と連動する。マッピングテーブル２５０にマップ情報が追加された場合は同領域のマップ情報を追加し、マップ情報が削除された場合は同領域のマップ情報を削除する。
【0052】
例えば、図５に示すように、ドライブＤ６内の物理チャンク３１０のレイアウト変換に伴うマップ変換中では、マッピングテーブル２５０とチャンク状態管理テーブル２６０は、旧レイアウトに基づく情報４３１と新レイアウトに基づく情報４３２を有する。
【0053】
（チャンク単位でのドライブデータレイアウト変換）
図６Ａは、実施形態１に係るチャンク単位でのドライブデータレイアウト変換を示す図である。図６Ｂは、実施形態１に係るチャンク単位でのドライブデータレイアウト変換の際のマッピングテーブル２５０を示す図である。
図６Ａは、実施形態１に係るチャンク単位でのドライブデータレイアウト変換を示す図である。図６Ｂは、実施形態１に係るチャンク単位でのドライブデータレイアウト変換の際のマッピングテーブル２５０を示す図である。
【0054】
図６Ａに示すように、ドライブＤ６のレイアウトを変更する際に、チャンク状態管理テーブル２６０（図５）のドライブＤ６の情報４３１を参照し、ドライブ内の使用済領域と未使用領域の情報を取得する。図５の例の場合、ドライブＤ６では、物理チャンクＰ１が使用済領域であり、物理チャンクＰ２，Ｐ３が未使用領域である。
【0055】
ドライブＤ６に対して新フォーマットに基づく新レイアウト５１２を作成し、マッピングテーブル２５０（図６Ｂ）に追加する。この時、ドライブＤ６によって論理チャンク３３０に提供される物理チャンク３１０は、ドライブＤ６全体では変更前後で同一であるが、使用済領域に対して割り当てられる領域は異なる。
【0056】
具体的には、マッピングテーブル２５０（図６Ｂ）に示すように、旧フォーマットに基づく旧レイアウト５１１では、論理チャンクＬ３１，Ｌ２３，Ｌ３２のそれぞれに物理チャンクＰ１，Ｐ２，Ｐ３が提供されている。新レイアウト５１２でも、旧レイアウト５１１と同様に、論理チャンクＬ３１，Ｌ２３，Ｌ３３に物理チャンクＰ１，Ｐ２，Ｐ３が提供される。しかし、使用済領域である論理チャンクＬ３１のマッピングは変更される。すなわち、論理チャンクＬ２３，Ｌ３１，Ｌ３２のそれぞれに物理チャンクＰ１，Ｐ２，Ｐ３が提供される。
【0057】
そして、図６Ａに示すように、ドライブＤ６の旧レイアウト５１１の物理チャンクＰ１に格納されたデータが、新レイアウト５１２の未使用領域である物理チャンクＰ２にコピーされる（コピー処理５２０）。なお、コピー先の新レイアウト５１２の物理チャンク３１０に用いられる記憶領域が旧レイアウト５１１において使用済である場合は、コピー先の記憶領域のデータを他の記憶領域に移行して未使用にした上でコピー処理５２０が実施される。コピー処理５２０によって、データを他の領域にコピーすることで冗長化グループの冗長度を上げるので、ドライブＤ６の旧レイアウト５１１の物理チャンクＰ１に格納されたデータが破棄されても、元々の冗長データと共にデータの冗長度を維持できる。なお、冗長化グループの冗長度は、データのコピーによって上げることに限らず、データに基づく冗長データの数を増やすことで上げてもよい。
【0058】
コピー処理が開始されると、チャンク状態管理テーブル２６０（図５）のコピー元領域を「旧・変換中」に更新し、コピー先領域を「新・変換中」に更新する。
【0059】
旧レイアウト５１１の物理チャンクＰ１に格納されたデータのコピー処理が完了すると、チャンク状態管理テーブル２６０のコピー元領域を「未使用」に変更し、コピー先領域を「新」に変更する。
【0060】
そして、ドライブＤ６の旧レイアウト５１１のすべての領域が未使用領域になると、マッピングテーブル２５０およびチャンク状態管理テーブル２６０から旧フォーマットに基づく旧レイアウト５１１を削除する。
【0061】
チャンク単位でのドライブデータレイアウト変換処理により、新レイアウトと旧レイアウトではストレージノード１１０内のドライブ１１３に格納されるデータは同じだが、格納位置が変更された状態となる。冗長データは別のストレージノード１１０内のドライブ１１３に格納される。
【0062】
例えば、図６Ａおよび図６Ｂに示すように、新旧レイアウトでは、論理チャンクＬ３１対応するデータＦは、ストレージノードＮ３においてドライブＤ６の旧レイアウトの物理チャンクＰ１からドライブＤ６の新レイアウトの物理チャンクＰ２に移動されている。しかし、データＦは、ストレージノードＮ３に障害が発生した際には、何れの物理チャンクに格納されていたとしても、ストレージノード１１０のドライブＤ２の物理チャンクＰ２からアクセスすることができる。
【0063】
（チャンク単位でのドライブデータレイアウト変換処理フロー）
図７は、チャンク単位でのドライブデータレイアウト変換処理フローを示す図である。チャンク単位でのドライブデータレイアウト変換処理は、同一の冗長グループに属する複数のストレージノード１１０に配置された複数のストレージ制御プログラム２２０（図２）のうちの何れかによって実行される。ステップＳ１０１－Ｓ１０２の処理は、フォーマット変換指示を受信したストレージノード１１０のストレージ制御プログラム２２０によって実行される。ステップＳ１０３－Ｓ１１２の処理は、フォーマット更新指示を受信したストレージ制御プログラム２２０によって実行される。
図７は、チャンク単位でのドライブデータレイアウト変換処理フローを示す図である。チャンク単位でのドライブデータレイアウト変換処理は、同一の冗長グループに属する複数のストレージノード１１０に配置された複数のストレージ制御プログラム２２０（図２）のうちの何れかによって実行される。ステップＳ１０１－Ｓ１０２の処理は、フォーマット変換指示を受信したストレージノード１１０のストレージ制御プログラム２２０によって実行される。ステップＳ１０３－Ｓ１１２の処理は、フォーマット更新指示を受信したストレージ制御プログラム２２０によって実行される。
【0064】
先ずステップＳ１０１では、ストレージ制御プログラム２２０は、フォーマット変換を実施する冗長グループに旧フォーマットを用いる物理チャンク３１０を有するストレージノード１１０が存在するかを確認する。ストレージ制御プログラム２２０は、該当のストレージノード１１０が存在する場合（ステップＳ１０１ＹＥＳ）にステップＳ１０２に処理を移し、存在しない場合（ステップＳ１０１ＮＯ）にチャンク単位でのドライブデータレイアウト変換処理を終了する。
【0065】
ステップＳ１０２では、ストレージ制御プログラム２２０は、旧フォーマットを用いる物理チャンク３１０を有するストレージノード１１０の１台に容量プールを指定してフォーマットの更新指示を送信する。更新指示の送信元と送信先のストレージノード１１０（ストレージ制御プログラム２２０）は、同一の場合も異なる場合もある。
【0066】
次にステップＳ１０３では、更新指示を受信したストレージ制御プログラム２２０は、旧フォーマットを用いるドライブ１１３が更新指示で指定される容量プールに存在するかを確認する。ストレージ制御プログラム２２０は、該当のドライブ１１３が存在する場合（ステップＳ１０３ＹＥＳ）にステップＳ１０４に処理を移し、存在しない場合（ステップＳ１０３ＮＯ）にステップＳ１０１に処理を戻す。
【0067】
ステップＳ１０４では、ストレージ制御プログラム２２０は、チャンク状態管理テーブル２６０を参照し、旧フォーマットを用いる該当のドライブ１１３のドライブ使用状況を確認する。次にステップＳ１０５では、ストレージ制御プログラム２２０は、旧フォーマットを用いるドライブ１１３を１台選択し、選択したドライブ１１３の新フォーマットに基づく新レイアウトをマッピングテーブル２５０に追加し、新フォーマットに基づく使用状況をチャンク状態管理テーブル２６０に追加する。
【0068】
ここで、マッピングテーブル２５０に追加される新レイアウトは、冗長度を維持すると共に、旧レイアウトで使用済の物理チャンクが対応する論理チャンクを、旧レイアウトにおいて未使用の記憶領域に対応する物理チャンクに割り当てるレイアウトである。
【0069】
次にステップＳ１０６では、ストレージ制御プログラム２２０は、ステップＳ１０３ＹＥＳに該当のドライブ１１３に旧レイアウトの使用済の物理チャンクが存在するかを確認する。ストレージ制御プログラム２２０は、使用済みの物理チャンクが存在する場合に、旧レイアウトで該当の使用済みの物理チャンクと対応する論理チャンクを確認する。そして、ストレージ制御プログラム２２０は、新レイアウトで該当の論理チャンクと対応する物理チャンクを確認する。そして、ストレージ制御プログラム２２０は、該当の物理チャンクが旧レイアウトにおいて使用されているかを確認する。ストレージ制御プログラム２２０は、該当の物理チャンクが旧レイアウトにおいて使用されている場合（ステップＳ１０６ＹＥＳ）にステップＳ１０７に処理を移し、旧レイアウトにおいて使用されていない場合（ステップＳ１０６ＮＯ）にステップＳ１１２に処理を移す。
【0070】
ステップＳ１０７では、ストレージ制御プログラム２２０は、旧レイアウトにおいて使用されている物理チャンクのデータを他の領域に移動して空き領域を確保する。この際、ストレージ制御プログラム２２０は、物理チャンクと論理チャンクのマッピングも、データの移動に合わせて変更する。
【0071】
次にステップＳ１０８では、ストレージ制御プログラム２２０は、旧レイアウトの使用済の物理チャンクと対応する論理チャンクが新レイアウトで対応する物理チャンクへ、該当の使用済の物理チャンクのデータをコピー処理することを開始する。コピー処理の際、ストレージ制御プログラム２２０は、コピー先に新フォーマットでデータを書き込む。次にステップＳ１０９では、ストレージ制御プログラム２２０は、チャンク状態管理テーブル２６０のコピー元領域を「旧・変換中」に更新し、コピー先領域を「新・変換中」に更新する。
【0072】
次にステップＳ１１０では、ストレージ制御プログラム２２０は、データのコピー処理を完了する。
【0073】
次にステップＳ１１１では、ストレージ制御プログラム２２０は、チャンク状態管理テーブル２６０のコピー元領域を「未使用」に変更し、コピー先領域を「新」に変更する。チャンク状態管理テーブル２６０のコピー元領域を「未使用」に更新することが、コピー元領域に格納されているデータを破棄することに相当する。ストレージ制御プログラム２２０は、ステップＳ１１１が終了すると、ステップＳ１０６に処理を移し、前回のステップＳ１０６の実行で確認した使用済の物理チャンクとは別の使用済の物理チャンクが存在するかを確認する。
【0074】
ステップＳ１１２では、ストレージ制御プログラム２２０は、該当のドライブ１１３の旧フォーマットに基づくマッピングテーブル２５０とチャンク状態管理テーブル２６０の情報を削除する。ストレージ制御プログラム２２０は、ステップＳ１１２が終了すると、ステップＳ１０３に処理を移す。
【0075】
ここで、フォーマット変更中のＩＯ処理について説明する。
【0076】
容量制御プログラム２３０（図２）は、フォーマット変更中にＩＯを実施する際、チャンク状態管理テーブル２６０（図５）を参照する。この際、チャンク状態管理テーブル２６０に、ＩＯ先のドライブ１１３に対して旧レイアウトの情報４３１と新レイアウトの情報４３２が存在する場合は、旧レイアウトの情報４３１を参照する。
【0077】
【0078】
容量制御プログラム２３０は、ＩＯを、ＩＯ実施先の物理チャンク３１０の状態が「未使用」または「旧」の場合には旧フォーマット用制御機構２３１を用い、「新」の場合には新フォーマット用制御機構２３２を用いて実施する。
【0079】
また、容量制御プログラム２３０は、コピー処理（ステップＳ１０８－Ｓ１１０（図７））中では、ライトＩＯかリードＩＯかに応じて旧フォーマット用制御機構２３１と新フォーマット用制御機構２３２を使い分ける。
【0080】
すなわち、容量制御プログラム２３０は、ＩＯ実施先の物理チャンク３１０の状態が「旧・変換中」の場合のライトＩＯを、コピー元の物理チャンク３１０に対して、旧フォーマット用制御機構２３１を用いて実施する。また、容量制御プログラム２３０は、同様に、ＩＯ実施先の物理チャンク３１０の状態が「旧・変換中」の場合のライトＩＯを、コピー先の物理チャンク３１０に対して、新フォーマット用制御機構２３２を用いて実施する。
【0081】
一方、容量制御プログラム２３０は、ＩＯ実施先の物理チャンク３１０の状態が「旧・変換中」の場合のリードＩＯを、コピー元の物理チャンク３１０に対して旧フォーマット用制御機構２３１を用いて実施する。
【0082】
このように、マッピングテーブル２５０に旧フォーマットに基づく旧レイアウト情報と新フォーマットに基づく新レイアウト情報を持たせ、旧フォーマット用制御機構２３１と新フォーマット用制御機構２３２を使い分けることで、データフォーマットの変換中に、旧フォーマットと新フォーマットの領域が混在する場合でも、何れの領域にもアクセスすることができる。
【0083】
新レイアウトでコピー先となる記憶領域には、旧レイアウトにおける未使用領域が割り当てられている。フォーマット変更中に、旧レイアウトにおける未使用領域の物理チャンク３１０が対応する論理チャンク３３０が仮想ボリューム３４０に割り当てられてライトＩＯが発生する場合、該当の論理チャンク３３０に対応する物理チャンク３１０が変更される。すなわち、論理チャンク３３０に対応する物理チャンク３１０が、同一ストレージノード１１０内の別の未使用の物理チャンク３１０に変更される。そして、マッピングテーブル２５０とチャンク状態管理テーブル２６０における物理チャンク３１０に対する論理チャンク３３０のマップ情報が変更される。
【0084】
なお、フォーマット変更のために破棄されるデータに対するフォーマット変更中のＩ／Ｏ処理は、破棄データを他の物理チャンクへコピーする場合には、この破棄データのコピーに対して行なわれる。また、破棄データを他の物理チャンクへコピーしない場合には、フォーマット変更を行う物理チャンク以外に格納されている破棄データの冗長データに基づいて破棄データを復元したデータに対して行われる。
【0085】
（実施形態１の効果）
ドライブデータレイアウトのフォーマットを変更すると、ストレージ制御プログラム２２０は、旧フォーマットに基づくレイアウトに従って格納されているデータにアクセスできなくなる。そこで、旧フォーマットに基づくレイアウトで格納されているデータを別の領域（物理チャンク３１０、記憶ドライブ１１３など）に移行した上で新フォーマットに基づくレイアウトに変更し、新レイアウトに従ってデータを格納し直す。
ドライブデータレイアウトのフォーマットを変更すると、ストレージ制御プログラム２２０は、旧フォーマットに基づくレイアウトに従って格納されているデータにアクセスできなくなる。そこで、旧フォーマットに基づくレイアウトで格納されているデータを別の領域（物理チャンク３１０、記憶ドライブ１１３など）に移行した上で新フォーマットに基づくレイアウトに変更し、新レイアウトに従ってデータを格納し直す。
【0086】
また、レイアウト変換中は、データ格納先のレイアウトの新旧情報（マッピングテーブル２５０）を管理する。Ｉ／Ｏ要求を受信した際、ストレージ制御プログラム２２０は、レイアウトの新旧情報を参照し、Ｉ／Ｏ要求のアクセス先のデータ格納領域のレイアウトに応じたＩＯ処理によりＩ／Ｏ要求を実施する。
【0087】
よって、実施形態１によれば、ホストからのＩ／Ｏ処理を継続しながら、データレイアウト変更を伴うストレージシステム１の性能及び品質向上、機能追加のアップデートを実現できる。例えばＤＩＦ格納方式をセパレート方式から連続格納方式に変更することで、ランダムリード性能が向上する。
【0088】
［実施形態２］
実施形態２では、フォーマット変更対象のドライブ１１３を一時的にストレージシステム１から切り離し、フォーマット変換の上で再接続することで、ドライブ単位でのレイアウト変更を実現する。
実施形態２では、フォーマット変更対象のドライブ１１３を一時的にストレージシステム１から切り離し、フォーマット変換の上で再接続することで、ドライブ単位でのレイアウト変更を実現する。
【0089】
（ドライブ単位でのドライブデータレイアウト変換）
図８Ａは、ドライブ単位でのドライブデータレイアウト変換を示す図である。図８Ｂは、実施形態２に係るドライブ単位でのドライブデータレイアウト変換の際のマッピングテーブル２５０を示す図である。図８Ｃは、実施形態２に係るドライブ単位でのドライブデータレイアウト変換の際のチャンク状態管理テーブル２６０を示す図である。図８Ａ、図８Ｂ、および図８Ｃでは、ドライブＤ５のレイアウト変換例を示す。
図８Ａは、ドライブ単位でのドライブデータレイアウト変換を示す図である。図８Ｂは、実施形態２に係るドライブ単位でのドライブデータレイアウト変換の際のマッピングテーブル２５０を示す図である。図８Ｃは、実施形態２に係るドライブ単位でのドライブデータレイアウト変換の際のチャンク状態管理テーブル２６０を示す図である。図８Ａ、図８Ｂ、および図８Ｃでは、ドライブＤ５のレイアウト変換例を示す。
【0090】
変換対象であるドライブ１１３内の使用済の物理チャンク３１０のデータを、ドライブ１１３と同一のストレージノードＮ３内の別のドライブ１１３内の未使用の物理チャンク３１０に移動させる。移動先のドライブ１１３では、新フォーマットを用いても旧フォーマットを用いてもよい。また、移動先のドライブ１１３は、１台でも複数台でもよい。
【0091】
例えば図８Ａでは、実施形態２に係るストレージシステム１ＢにおけるドライブＤ５の物理チャンクＰ１に格納されているデータＣが、ドライブＤ６の物理チャンクＰ２にコピー（コピー処理６１１）される。また、ドライブＤ５の物理チャンクＰ２に格納されているデータＤが、ドライブＤ６の物理チャンクＰ３にコピー（コピー処理６１２）される。
【0092】
【0093】
例えば、マッピングテーブル２５０（図８Ｂ）において、コピー前はドライブＤ５の物理チャンクＰ１には論理チャンクＬ１３が対応しており、ドライブＤ６の物理チャンクＰ２には論理チャンクＬ２３が対応している。コピー完了後は、この対応を入れ替える。
【0094】
また、チャンク状態管理テーブル２６０（図８Ｃ）において、ドライブＤ５の物理チャンクＰ１，Ｐ２の状態が「旧」から「未使用」に変更される。また、チャンク状態管理テーブル２６０において、ドライブＤ６の物理チャンクＰ２，Ｐ３の状態がドライブ１１３（ドライブＤ６）のフォーマットに基づき「未使用」から「旧」もしくは「新」に変更される。コピーする全ての物理チャンク３１０について、同様にマッピングテーブル２５０が変更される。
【0095】
ドライブＤ５に格納されていた全てのデータを同一のストレージノードＮ３内の他のドライブＤ６にコピーし終えると、ドライブＤ５に対して新フォーマットに基づく新レイアウトが生成され、マッピングテーブル２５０が変更される。
【0096】
そして、ストレージノード１１０（ストレージノードＮ３）内の全てのドライブ１１３が新フォーマットに基づく新レイアウトになるまで、ドライブ単位でのドライブデータレイアウト変換が継続される。
【0097】
ドライブ単位でのドライブデータレイアウト変換により、フォーマット変換前と比較して、データの格納領域が同一のストレージノード１１０内の別のドライブ１１３に変更される。格納領域が変更されたデータは、別のストレージノード１１０内のドライブ１１３に冗長データが格納されており、データの冗長性は維持されている。
【0098】
ドライブデータレイアウト変換中のＩＯ処理は、実施形態１と同様に行われる。
【0099】
また、ドライブ１１３単位でフォーマットが変換されるため、チャンク状態管理テーブル２６０に代えて、図９に変形例として示すような、チャンク単位ではなくドライブ単位を管理単位をとした状態管理テーブル２６０Ｂを採用してもよい。
【0100】
（ドライブ単位でのデータレイアウト変換のフローチャート）
図１０は、実施形態２に係るドライブ単位でのデータレイアウト変換処理フローを示す図である。ドライブ単位でのデータレイアウト変換処理は、同一の冗長グループに属する複数のストレージノード１１０に配置された複数のストレージ制御プログラム２２０（図２）のうちの何れかによって実行される。実施形態１と同一のステップＳ１０１－Ｓ１０２の処理は、フォーマット変換指示を受信したストレージ制御プログラム２２０によって実行される。ステップＳ２０３－Ｓ１１２の処理は、フォーマット更新指示を受信したストレージ制御プログラム２２０によって実行される。
図１０は、実施形態２に係るドライブ単位でのデータレイアウト変換処理フローを示す図である。ドライブ単位でのデータレイアウト変換処理は、同一の冗長グループに属する複数のストレージノード１１０に配置された複数のストレージ制御プログラム２２０（図２）のうちの何れかによって実行される。実施形態１と同一のステップＳ１０１－Ｓ１０２の処理は、フォーマット変換指示を受信したストレージ制御プログラム２２０によって実行される。ステップＳ２０３－Ｓ１１２の処理は、フォーマット更新指示を受信したストレージ制御プログラム２２０によって実行される。
【0101】
ステップＳ１０１－Ｓ１０２、Ｓ２０３は、実施形態１と同様である。
【0102】
ステップＳ２０４では、ストレージ制御プログラム２２０は、更新指示で指定された容量プールに属する旧フォーマットを使用するドライブ１１３内の物理チャンクが使用中かを確認する。ストレージ制御プログラム２２０は、該当の物理チャンクが使用中である場合（ステップＳ２０４ＹＥＳ）にステップＳ２０５に処理を移し、使用中でない場合（ステップＳ２０４ＮＯ）にステップＳ２０７に処理を移す。
【0103】
ステップＳ２０５では、ストレージ制御プログラム２２０は、ステップＳ２０４で使用中と判定された物理チャンクのデータを同一のストレージノード１１０内の別のドライブ１１３にコピー処理する。コピー処理の際、ストレージ制御プログラム２２０は、コピー先に新フォーマットでデータを書き込む。次にステップＳ２０６では、ストレージ制御プログラム２２０は、物理チャンクのコピーが完了すると、マッピングテーブル２５０とチャンク状態管理テーブル２６０をコピー後の構成に合わせて変更する。この際、チャンク状態管理テーブル２６０において、コピー後の構成に合せてコピー元領域が「未使用」に更新することが、コピー元領域に格納されているデータを破棄することに相当する。ストレージ制御プログラム２２０は、ステップＳ２０６が終了すると、ステップＳ２０４へ処理を戻す。
【0104】
ステップＳ２０７では、ストレージ制御プログラム２２０は、マッピングテーブル２５０とチャンク状態管理テーブル２６０を新フォーマットに基づいて変更する。ストレージ制御プログラム２２０は、ステップＳ２０７が終了すると、ステップＳ２０３に処理を戻す。
【0105】
（実施形態２の効果）
データフォーマットを変更する前に、データフォーマットの変更対象の記憶ドライブ１１３またはストレージノード１１０をストレージシステム１Ｂから切り離し、データフォーマットの変更が完了すると、切り離した記憶ドライブ１１３またはストレージノード１１０をストレージシステム１Ｂに接続する。よって、記憶ドライブ１１３やストレージノード１１０といったまとまった単位でデータフォーマット変換を効率よく実施できる。
データフォーマットを変更する前に、データフォーマットの変更対象の記憶ドライブ１１３またはストレージノード１１０をストレージシステム１Ｂから切り離し、データフォーマットの変更が完了すると、切り離した記憶ドライブ１１３またはストレージノード１１０をストレージシステム１Ｂに接続する。よって、記憶ドライブ１１３やストレージノード１１０といったまとまった単位でデータフォーマット変換を効率よく実施できる。
【0106】
（実施形態２の変形例）
実施形態２の変形例では、ドライブではなくストレージノードを一時的にストレージシステム１から切り離し、フォーマット変換の上で再接続することで、レイアウト変更を実現する。この場合には、該当のストレージノードが有する指定された冗長度の容量プールに属する全てのドライブに格納されたデータをこの容量プールに属する別のストレージノードのドライブにコピーされた上でマッピングが変更される。
実施形態２の変形例では、ドライブではなくストレージノードを一時的にストレージシステム１から切り離し、フォーマット変換の上で再接続することで、レイアウト変更を実現する。この場合には、該当のストレージノードが有する指定された冗長度の容量プールに属する全てのドライブに格納されたデータをこの容量プールに属する別のストレージノードのドライブにコピーされた上でマッピングが変更される。
【0107】
［実施形態３］
実施形態３では、一時的にＩＯの受け付けを停止した上で、ストレージノード単位でフォーマット変換することで、ストレージノード単位でのレイアウト変更を実現する。
実施形態３では、一時的にＩＯの受け付けを停止した上で、ストレージノード単位でフォーマット変換することで、ストレージノード単位でのレイアウト変更を実現する。
【0108】
図１１は、実施形態３に係るストレージノード単位でのデータレイアウト変換例を示す図である。実施形態３のストレージシステム１Ｃでは、クラスタ内のストレージノード１１０が停止すると、このストレージノード１１０内のドライブ１１３と同じ冗長化グループに属する別のストレージノード１１０内のドライブ１１３内の物理チャンクに対してＩＯ処理が行われる。
【0109】
例えば、停止したストレージノード１１０内のドライブ１１３に存在するマスタの物理チャンク３１０に対応する論理チャンク３３０にＩＯが発行された場合、停止していないストレージノード１１０内のドライブ１１３に存在するミラーの物理チャンク３１０に対してＩＯが実施される。停止していたストレージノード１１０がクラスタに復帰すると、ＩＯ先はマスタの物理チャンク３１０に切り替えられる。
【0110】
その際、マスタとミラーのそれぞれの物理チャンク３１０に格納されるデータを一致させるために、停止していたストレージノード１１０のマスタの物理チャンク３１０には、対応するミラーの物理チャンク３１０からデータをコピーする。一方で、停止していたストレージノード１１０のミラーの物理チャンクには対応する別のストレージノード１１０のマスタの物理チャンク３１０からデータをコピーする。本機能をリビルド機能と呼ぶ。
【0111】
あるいは、停止してから復帰するまでのデータ差分を、停止していたストレージノード１１０の物理チャンク３１０にコピーする。本機能を差分リビルド機能と呼ぶ。
【0112】
本実施形態では、ストレージノード１１０のＩＯ受け付けを停止した上で、リビルド機能（もしくは差分リビルド機能）を用いることで、ストレージノード単位のレイアウト変換を行う。
【0113】
図１１は、ストレージノードＮ３のレイアウト変換例を示す。
【0114】
先ず変換対象であるストレージノードＮ３のＩＯ受け付けを停止する。レイアウト変換中にストレージノードＮ３内のドライブ１１３にマスタが存在する物理チャンク３１０へのＩＯが発行された場合は、ストレージノードＮ３の停止時の挙動に基づき、ミラーの物理チャンク３１０に対してＩＯが実施される。
【0115】
ストレージノードＮ３のＩＯ受け付けを停止すると、対象の冗長グループに属するドライブ１１３が用いるフォーマットを変換し、マッピングテーブル２５０のレイアウトを更新する。マッピングテーブル２５０のレイアウト更新が完了すると、ストレージノードＮ３のＩＯを再開する。ストレージノードＮ３の再開時の挙動に基づき、ＩＯ先が新フォーマットであるストレージノードＮ３のマスタの物理チャンク３１０に切り替わる。
【0116】
また、ＩＯ再開時に、ミラーの物理チャンク３１０の全データを新レイアウトのストレージノードＮ３のマスタの物理チャンク３１０に反映する。
【0117】
例えば、ＩＯ停止前には、ストレージノードＮ３にマスタのデータＣ，Ｄ，Ｆが格納されていた（図１１の５３０参照）場合、ＩＯ再開時に、ミラーの物理チャンク３１０のデータＣ，Ｄ，Ｆをストレージノード１１０（ストレージノードＮ３）にコピーする（コピー処理７１１，７１２，７１３）。
【0118】
なお、本実施形態でも、チャンク状態管理テーブル２６０に代えて、チャンクではなくドライブを管理単位とする状態管理テーブル２６０Ｂ（図９）を用いてもよい。また、チャンク状態管理テーブル２６０に代えて、ドライブではなくノードを管理単位とする状態管理テーブル２６０Ｃ（図１２）を用いてもよい。
【0119】
（ストレージノード単位でのデータレイアウト変換のフローチャート）
図１３は、実施形態３に係るストレージノード単位でのデータレイアウト変換処理フローを示す図である。ストレージノード単位でのデータレイアウト変換処理は、同一の冗長グループに属する複数のストレージノード１１０に配置された複数のストレージ制御プログラム２２０（図２）のうちの何れかによって実行される。実施形態１および２と同一のステップＳ１０１－Ｓ１０２の処理は、フォーマット変換指示を受信したストレージ制御プログラム２２０によって実行される。ステップＳ３０３－Ｓ３０８の処理は、フォーマット更新指示を受信したストレージ制御プログラム２２０によって実行される。
図１３は、実施形態３に係るストレージノード単位でのデータレイアウト変換処理フローを示す図である。ストレージノード単位でのデータレイアウト変換処理は、同一の冗長グループに属する複数のストレージノード１１０に配置された複数のストレージ制御プログラム２２０（図２）のうちの何れかによって実行される。実施形態１および２と同一のステップＳ１０１－Ｓ１０２の処理は、フォーマット変換指示を受信したストレージ制御プログラム２２０によって実行される。ステップＳ３０３－Ｓ３０８の処理は、フォーマット更新指示を受信したストレージ制御プログラム２２０によって実行される。
【0120】
ステップＳ１０１－Ｓ１０２は、実施形態１および２と同様である。
【0121】
ステップＳ３０３では、更新指示を受信したストレージ制御プログラム２２０は、フォーマット更新指示で指定された容量プールへのＩＯ受け付けを停止する。次にステップＳ３０４では、ストレージ制御プログラム２２０は、フォーマット更新指示で指定された容量プールのマッピングテーブル２５０を変更する。例えば、ストレージノード１１０がドライブＤ５とドライブＤ６を有する場合、この２つのドライブ１１３のレイアウトが新フォーマットに基づく新レイアウトに変更される。
【0122】
次にステップＳ３０５では、ストレージ制御プログラム２２０は、更新指示で指定された容量プールのチャンク状態管理テーブル２６０を更新する。例えば、ストレージノード１１０がドライブＤ５とドライブＤ６を有する場合、この２つのドライブ１１３の物理チャンクの状態情報が「旧」から「新」に更新される。この際、チャンク状態管理テーブル２６０において、コピー後の構成に合せてコピー元領域が「新」に更新することが、コピー元領域に格納されている「旧」のデータを破棄することに相当する。
【0123】
次にステップＳ３０６では、ストレージ制御プログラム２２０は、マッピングテーブル２５０とチャンク状態管理テーブル２６０の更新内容を、更新指示で指定された容量プールと同一の冗長化グループに属する他のストレージノード１１０に通知する。次にステップＳ３０７では、ストレージ制御プログラム２２０は、ステップＳ３０３で停止したＩＯ受け付けを再開する。
【0124】
次にステップＳ３０８では、ストレージ制御プログラム２２０は、リビルド処理を実施する。具体的には、他のストレージノード１１０内のミラーの物理チャンク３１０のデータが、フォーマット変更対象のストレージノード１１０内のマスタの物理チャンク３１０にコピー処理される。コピー処理の際、ストレージ制御プログラム２２０は、コピー先に新フォーマットでデータを書き込む。また、他のストレージノード１１０内のマスタの物理チャンク３１０が、フォーマット変更対象のストレージノード１１０内のミラーの物理チャンク３１０にコピーされる。ストレージ制御プログラム２２０は、ステップＳ３０８が終了すると、ステップＳ１０１に処理を戻す。
【0125】
（実施形態３の効果）
データフォーマットを変更する際に、データフォーマットの変更対象のストレージノード１１０または記憶ドライブ１１３に対するＩ／Ｏ要求の受け付けを停止し、変更後のデータフォーマットに従ってマッピングテーブル２５０を更新する。そして、マッピングテーブル２５０の更新が完了すると、Ｉ／Ｏ要求の受け付けを再開する。また、データフォーマットを変更のために、データフォーマット変更対象の記憶領域から破棄したデータを、データのリビルド機能を用いて復元する。よって、記憶ドライブ１１３やストレージノード１１０といったまとまった単位でフォーマット変換を行い、リビルド機能を用いて元々存在する冗長化データを利用してデータ復旧を行うので、簡易な構成で効率よくデータフォーマット変換を実施できる。
データフォーマットを変更する際に、データフォーマットの変更対象のストレージノード１１０または記憶ドライブ１１３に対するＩ／Ｏ要求の受け付けを停止し、変更後のデータフォーマットに従ってマッピングテーブル２５０を更新する。そして、マッピングテーブル２５０の更新が完了すると、Ｉ／Ｏ要求の受け付けを再開する。また、データフォーマットを変更のために、データフォーマット変更対象の記憶領域から破棄したデータを、データのリビルド機能を用いて復元する。よって、記憶ドライブ１１３やストレージノード１１０といったまとまった単位でフォーマット変換を行い、リビルド機能を用いて元々存在する冗長化データを利用してデータ復旧を行うので、簡易な構成で効率よくデータフォーマット変換を実施できる。
【0126】
（実施形態３の変形例）
実施形態３の変形例では、ノード単位ではなくドライブ単位でＩＯ受け付けを停止し、ドライブ単位でレイアウトの変更をすることも可能である。この場合でも、ドライブの復帰後はリビルド機能もしくは差分リビルド機能によりデータが復旧される。
実施形態３の変形例では、ノード単位ではなくドライブ単位でＩＯ受け付けを停止し、ドライブ単位でレイアウトの変更をすることも可能である。この場合でも、ドライブの復帰後はリビルド機能もしくは差分リビルド機能によりデータが復旧される。
【0127】
本開示は上述の実施形態に限定されるものではなく、様々な変形例を含む。例えば、上記した実施形態は本開示を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、矛盾しない限りにおいて、ある実施形態の構成の一部を他の実施形態の構成で置き換え、ある実施形態の一部または全部の構成に他の実施形態の一部または全部の構成を加えることも可能である。また、各実施形態の構成の一部について、構成の追加、削除、置換、統合、または分散をすることが可能である。また、実施形態で示した構成および処理は、処理効率または実装効率に基づいて適宜分散、統合、または入れ替えることが可能である。
【符号の説明】
【0128】
１，１Ｂ，１Ｃ：ストレージシステム、１１０：ストレージノード、１１２：プロセッサ、１１３：記憶ドライブ、２５０：マッピングテーブル、２６０：チャンク状態管理テーブル、ストレージ制御プログラム、２３０：容量制御プログラム、２３１：旧ＦＭＴ用制御機構、２３２：新ＦＭＴ用制御機構、３１０：物理チャンク、３３０：論理チャンク
【図1】
【図2】
【図3A】
【図3B】
【図4】
【図5】
【図6A】
【図6B】
【図7】
【図8A】
【図8B】
【図8C】
【図9】
【図10】
【図11】
【図12】
【図13】