特開 2023-111360 ストレージシステム、ドライブ移動方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023111360

(43)【公開日】2023-08-10

(54)【発明の名称】ストレージシステム、ドライブ移動方法、及びプログラム

(51)【国際特許分類】

   G06F 3/06 20060101AFI20230803BHJP

   G06F 13/10 20060101ALI20230803BHJP

【ＦＩ】

G06F3/06 304F

G06F3/06 301M

G06F3/06 301Z

G06F3/06 305C

G06F3/06 540

G06F13/10 340A

【審査請求】有

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022013175

(22)【出願日】2022-01-31

(71)【出願人】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110001678

【氏名又は名称】藤央弁理士法人

(72)【発明者】

【氏名】花房 諒

(72)【発明者】

【氏名】吉原 朋宏

(72)【発明者】

【氏名】達見 良介

(72)【発明者】

【氏名】藤井 裕大

(57)【要約】

【課題】既存のドライブを活用し、運用を止めることなく、ストレージシステム内の構成を変更する。
【解決手段】複数のノード及び複数のドライブを有するストレージシステムであって、複数のドライブを格納する少なくとも一つの格納領域を含み、ノードは、二つ以上のドライブから構成されるパリティグループを管理し、第１格納領域に格納され、かつ、第１パリティグループに属するターゲットドライブを第２格納領域に移動させる場合、第１格納領域から第２格納領域へのターゲットドライブの移動期間中に、ターゲットドライブに対するデータ書き込みが行われた記憶領域に関する差分情報を生成し、差分情報に基づいて、第１パリティグループに属するターゲットドライブ以外のドライブに格納されるデータから記憶領域に対して書き込まれたデータを復元し、第２格納領域に移動したターゲットドライブに書き込む。
【選択図】図６Ｃ

【特許請求の範囲】

【請求項1】

複数のノード及び複数のドライブを有するストレージシステムであって、
複数のドライブを格納する少なくとも一つの格納領域を含み、
前記ノードは、
二つ以上の前記ドライブから構成されるパリティグループを管理し、
前記複数のドライブに対するデータの読み出し及びデータの書き込みを制御し、
第１格納領域に格納され、かつ、第１パリティグループに属するターゲットドライブを第２格納領域に移動させる場合、前記第１格納領域から前記第２格納領域への前記ターゲットドライブの移動期間中に、前記ターゲットドライブに対するデータ書き込みが行われた記憶領域に関する差分情報を生成する第１処理と、
前記差分情報に基づいて、前記第１パリティグループに属する前記ターゲットドライブ以外の前記ドライブに格納されるデータから前記記憶領域に対して書き込まれたデータを復元し、前記第２格納領域に移動した前記ターゲットドライブに書き込む第２処理と、を実行することを特徴とするストレージシステム。

【請求項2】

請求項１に記載のストレージシステムであって、
前記ノードは、
前記複数のドライブの各々の前記格納領域間の移動状態を示す状態値を管理し、
前記ノードは、
前記ターゲットドライブの移動指示を受け付けた場合、前記ターゲットドライブの前記状態値として、前記第１格納領域から前記第２格納領域への移動が開始されたことを示す第１値を設定し、
前記ターゲットドライブの前記状態値として前記第１値が設定された後、前記第１処理を実行し、
前記ターゲットドライブが前記第２格納領域に設置されたことを検知した場合、前記ターゲットドライブの前記状態値として、前記ターゲットドライブへのデータのリビルド開始を示す第２値を設定し、
前記ターゲットドライブの前記状態値として前記第２値が設定された後、前記第２処理を実行し、
前記第２処理が終了した後、前記ターゲットドライブの前記状態値として、前記第１格納領域から前記第２格納領域への移動が終了したことを示す第３値を設定することを特徴とするストレージシステム。

【請求項3】

請求項２に記載のストレージシステムであって、
前記ノードは、
前記ターゲットドライブからのデータを読み出す場合、前記ターゲットドライブの前記状態値が前記第３値であるか否かを判定し、
前記ターゲットドライブの前記状態値が前記第３値ではないと判定された場合、前記差分情報を参照して、読み出し対象のデータが格納される記憶領域が、前記データ書き込みが行われた記憶領域であるか否かを判定し、
前記読み出し対象のデータが格納される記憶領域が、前記データ書き込みが行われた記憶領域である場合、前記第１パリティグループに属する前記状態値が前記第３値の前記ドライブに格納されるデータを用いて前記読み出し対象のデータを復元し、要求元に送信することを特徴とするストレージシステム。

【請求項4】

請求項２に記載のストレージシステムであって、
前記ノードは、
前記ターゲットドライブにデータを書き込む場合、前記ターゲットドライブの前記状態値が前記第１値であるか否かを判定し、
前記ターゲットドライブの前記状態値が前記第１値であると判定された場合、書き込み対象のデータ及び前記第１パリティグループに属する前記状態値が前記第３値の前記ドライブに格納されるデータを用いてパリティを生成し、
前記第１パリティグループに属する前記状態値が前記第２値又は前記第３値の前記ドライブに、前記書き込み対象のデータ及び前記パリティを格納し、
前記差分情報に、前記書き込み対象のデータの書き込み先の記憶領域を記録することを特徴とするストレージシステム。

【請求項5】

請求項１に記載のストレージシステムであって、
前記ノードは、
キャッシュを有し、
前記キャッシュにダーティデータが存在する場合、書き込み先の前記ドライブが前記ターゲットドライブである前記ダーティデータの書き込みを抑止するようにキャッシュ制御を行うことを特徴とするストレージシステム。

【請求項6】

請求項１に記載のストレージシステムであって、
前記差分情報は、前記ターゲットドライブの所定のサイズの記憶領域を１ビットとするビットマップであって、
前記ターゲットドライブに対するデータ書き込みが行われた記憶領域に対応するビットにはフラグが設定されることを特徴とするストレージシステム。

【請求項7】

複数のノード及び複数のドライブを有するストレージシステムが実行するドライブ移動方法であって、
前記ストレージシステムは、複数のドライブを格納する少なくとも一つの格納領域を含み、
前記ノードは、
二つ以上の前記ドライブから構成されるパリティグループを管理し、
前記複数のドライブに対するデータの読み出し及びデータの書き込みを制御し、
前記ドライブ移動方法は、
前記ノードが、第１格納領域に格納され、かつ、第１パリティグループに属するターゲットドライブを第２格納領域に移動させる場合、前記第１格納領域から前記第２格納領域への前記ターゲットドライブの移動期間中に、前記ターゲットドライブに対するデータ書き込みが行われた記憶領域に関する差分情報を生成する第１のステップと、
前記ノードが、前記差分情報に基づいて、前記第１パリティグループに属する前記ターゲットドライブ以外の前記ドライブに格納されるデータから前記記憶領域に対して書き込まれたデータを復元し、前記第２格納領域に移動した前記ターゲットドライブに書き込む第２のステップと、を含むことを特徴とするドライブ移動方法。

【請求項8】

複数のノード及び複数のドライブを有するストレージシステムに実行させるためのプログラムであって、
前記ストレージシステムは、複数のドライブを格納する少なくとも一つの格納領域を含み、
前記ノードは、
二つ以上の前記ドライブから構成されるパリティグループを管理し、
前記複数のドライブに対するデータの読み出し及びデータの書き込みを制御し、
前記プログラムは、
第１格納領域に格納され、かつ、第１パリティグループに属するターゲットドライブを第２格納領域に移動させる場合、前記第１格納領域から前記第２格納領域への前記ターゲットドライブの移動期間中に、前記ターゲットドライブに対するデータ書き込みが行われた記憶領域に関する差分情報を生成する第１の手順と、
前記差分情報に基づいて、前記第１パリティグループに属する前記ターゲットドライブ以外の前記ドライブに格納されるデータから前記記憶領域に対して書き込まれたデータを復元し、前記第２格納領域に移動した前記ターゲットドライブに書き込む第２の手順と、を前記ノードに実行させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ストレージシステムにおけるドライブの移動方法に関する。

【背景技術】

【0002】

ストレージシステムでは、保守及び性能改善を目的にドライブ、コントローラ、及びノード等の構成要素の交換が行われる。このとき、現在の稼働状態を維持したまま構成要素の交換を実現することが望まれる。ストレージシステムの構成変更に関する技術としては特許文献１及び特許文献２に記載の技術が知られている。

【0003】

特許文献１には「ストレージ制御部と、記憶媒体を有するストレージドライブと、を備えたストレージシステムにおいて、ストレージ制御部は、ストレージドライブに格納されたデータへアクセスするためのデータ管理情報を有し、第１のストレージ制御部は、ストレージドライブに格納されたデータについてのデータ管理情報を第２のストレージ制御部にコピーし、データ管理情報のコピー開始後にホストからライト要求を受けた場合、第１のストレージ制御部と、第２のストレージ制御部とが、それぞれ、ライト要求にかかるライトデータをストレージドライブの別々の記憶領域に格納する。」ことが記載されている。

【0004】

特許文献２には「ストレージ制御装置は、受付部、決定部、及び、移行部を含む。受付部は、複数のストレージに分散して配置された複数の分割データを含む複数のボリュームのうち、移行元のストレージから移行先のストレージへ移行する対象ボリュームの指定を受け付ける。決定部は、移行元のストレージ内に配置可能な分割データの数と、対象ボリュームの分割データの数とに基づいて、移行元のストレージ内に配置する対象ボリュームの分割データのレイアウトを決定する。移行部は、決定したレイアウトに基づいて、対象ボリュームの分割データを移行元のストレージに配置して、配置した複数の分割データを一括して移行先のストレージへ移行する制御を行う。」ことが記載されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０２１－１４０４０２号公報

【特許文献2】特開２０１６－１９２１７０号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１に記載の手法では、ドライブを搭載する構成要素の交換については言及されていない。特許文献２に記載の手法では、新たなノードは記憶装置を有している必要があり、交換するノードの全てのデータを新規ノードにコピーするため負荷が大きく、また、時間がかかるという問題もある。

【0007】

本発明は、既存のドライブを有効に活用し、運用を止めることなく、ストレージシステム内の構成を変更するための技術を実現する。

【課題を解決するための手段】

【0008】

本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、複数のノード及び複数のドライブを有するストレージシステムであって、複数のドライブを格納する少なくとも一つの格納領域を含み、前記ノードは、二つ以上の前記ドライブから構成されるパリティグループを管理し、前記複数のドライブに対するデータの読み出し及びデータの書き込みを制御し、第１格納領域に格納され、かつ、第１パリティグループに属するターゲットドライブを第２格納領域に移動させる場合、前記第１格納領域から前記第２格納領域への前記ターゲットドライブの移動期間中に、前記ターゲットドライブに対するデータ書き込みが行われた記憶領域に関する差分情報を生成する第１処理と、前記差分情報に基づいて、前記第１パリティグループに属する前記ターゲットドライブ以外の前記ドライブに格納されるデータから前記記憶領域に対して書き込まれたデータを復元し、前記第２格納領域に移動した前記ターゲットドライブに書き込む第２処理と、を実行する。

【発明の効果】

【0009】

本発明によれば、既存のドライブを有効に活用し、運用を止めることなく、ストレージシステム内の構成を変更できる。上記した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。

【図面の簡単な説明】

【0010】

【図1】実施例１のシステムの構成例を示す図である。

【図2】実施例１のＰＧ管理情報のデータ構造の一例を示す図である。

【図3】実施例１のドライブ管理情報のデータ構造の一例を示す図である。

【図4】実施例１の差分管理情報のデータ構造の一例を示す図である。

【図5A】実施例１のストレージシステムのドライブの移動例を示す図である。

【図5B】実施例１のストレージシステムのドライブの移動例を示す図である。

【図6A】実施例１のストレージシステムのドライブ移動処理の一例を説明するフローチャートである。

【図6B】実施例１のストレージシステムのドライブ移動処理の一例を説明するフローチャートである。

【図6C】実施例１のストレージシステムのドライブ移動処理の一例を説明するフローチャートである。

【図7】実施例１のストレージシステムが実行するリード処理の一例を説明するフローチャートである。

【図8】実施例１のストレージシステムが実行するライト処理の一例を説明するフローチャートである。

【図9】実施例１のストレージシステムのキャッシュ制御の一例を説明するフローチャートである。

【図10A】実施例２のストレージシステムのドライブの移動例を示す図である。

【図10B】実施例２のストレージシステムのドライブの移動例を示す図である。

【図11A】実施例２のストレージシステムのドライブの移動例を示す図である。

【図11B】実施例２のストレージシステムのドライブの移動例を示す図である。

【図11C】実施例２のストレージシステムのドライブの移動例を示す図である。

【発明を実施するための形態】

【0011】

以下、本発明の実施例を、図面を用いて説明する。ただし、本発明は以下に示す実施例の記載内容に限定して解釈されるものではない。本発明の思想ないし趣旨から逸脱しない範囲で、その具体的構成を変更し得ることは当業者であれば容易に理解される。

【0012】

以下に説明する発明の構成において、同一又は類似する構成又は機能には同一の符号を付し、重複する説明は省略する。

【0013】

本明細書等における「第１」、「第２」、「第３」等の表記は、構成要素を識別するために付するものであり、必ずしも、数又は順序を限定するものではない。

【0014】

図面等において示す各構成の位置、大きさ、形状、及び範囲等は、発明の理解を容易にするため、実際の位置、大きさ、形状、及び範囲等を表していない場合がある。したがって、本発明では、図面等に開示された位置、大きさ、形状、及び範囲等に限定されない。

【実施例0015】

図１は、実施例１のシステムの構成例を示す図である。

【0016】

図１のシステムは、ストレージシステム１００、管理用端末１０１、及びホスト端末１０２から構成される。管理用端末１０１及びホスト端末１０２は、ネットワーク１０５を介してストレージシステム１００と接続する。ネットワーク１０５は、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＳＡＮ（Ｓｔｏｒａｇｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等である。ネットワーク１０５の接続方式は有線及び無線のいずれでもよい。なお、管理用端末１０１とストレージシステム１００との間のネットワークと、ホスト端末１０２とストレージシステム１００との間のネットワークは異なっていてもよい。

【0017】

管理用端末１０１は、ストレージシステム１００を管理するための計算機である。ストレージシステム１００の管理者は、管理用端末１０１を用いてストレージシステム１００の設定及び制御を行う。

【0018】

ホスト端末１０２は、ストレージシステム１００を利用する計算機である。ホスト端末１０２は、ストレージシステム１００に対してユーザデータを書き込み、また、ストレージシステム１００からユーザデータを読み出す。

【0019】

ストレージシステム１００は、ホスト端末１０２に対してボリュームを提供する。ストレージシステム１００は、複数のドライブ１２１からＲＡＩＤ（Ｒｅｄｕｎｄａｎｔ Ａｒｒａｙｓ ｏｆ Ｉｎｅｘｐｅｎｓｉｖｅ Ｄｉｓｋｓ）を構成するＰＧ（パリティグループ）１４０を生成し、ＰＧ１４０からボリュームを生成する。ドライブ１２１は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）及びＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等である。ボリュームは、例えば、ＬＤＥＶである。

【0020】

ストレージシステム１００は、複数のノード１１０を備える。複数のノード１１０は、図示しないスイッチ等から構成される内部ネットワークを介して接続される。

【0021】

ノード１１０は、ホスト端末１０２とドライブ１２１との間のユーザデータの送受信を制御し、また、ドライブ１２１に対するユーザデータの読み出し及び書き込みを制御する。ノード１１０は、一つ以上のＣＴＬ（ストレージコントローラ）１２０を有する。また、ノード１１０は、ドライブ１２１を搭載するためのインタフェース（図示省略）を有する。

【0022】

以下の説明では、ノード１１０及びＣＴＬ１２０を区別する場合、ノード（ｉ）１１０及びＣＴＬ（ｉ）１２０と記載する。ｉは１以上の整数である。

【0023】

ＣＴＬ１２０は、ハードウェア構成として、図示しない、ＣＰＵ、メモリ、ＣＨＢ（ＣＨａｎｎｅｌ Ｂｏａｒｄ）、及びＤＫＢ（ＤｉｓＫ Ｂｏａｒｄ）等を有する。また、ＣＴＬ１２０は、機能構成として、ユーザデータの送受信、読み出し、及び書き込み等を制御する処理部１５０を有する。また、ノード１１０内のＣＴＬ１２０は、差分管理情報１５３を管理する。差分管理情報１５３は、ドライブ１２１の搭載場所の移動に伴うデータコピーを制御するための情報である。差分管理情報１５３の詳細は図４を用いて説明する。

【0024】

ストレージシステム１００内の各ノード１１０は共有メモリ１３０を構成する。共有メモリ１３０には、ＰＧ管理情報１５１及びドライブ管理情報１５２が格納される。ＰＧ管理情報１５１は、ＰＧ１４０を管理するための情報である。ＰＧ管理情報１５１の詳細は図２を用いて説明する。ドライブ管理情報１５２は、ストレージシステム１００に搭載されるドライブ１２１を管理するための情報である。ドライブ管理情報１５２の詳細は図３を用いて説明する。

【0025】

実施例１では、ノード１１０内にドライブ１２１が搭載され、一つ以上のノード１１０のドライブ１２１群からＰＧ１４０が構成されているものとする。

【0026】

図２は、実施例１のＰＧ管理情報１５１のデータ構造の一例を示す図である。

【0027】

ＰＧ管理情報１５１は、ＰＧ番号２０１及びドライブリスト２０２を含むエントリを格納する。一つのエントリは一つのＰＧ１４０に対応する。なお、エントリに含まれるフィールドは前述したものに限定されない。

【0028】

ＰＧ番号２０１は、ＰＧ１４０の識別番号を格納するフィールドである。ドライブリスト２０２は、ＰＧ１４０を構成するドライブ１２１の情報を格納するフィールドである。ドライブリスト２０２には、ストレージシステム１００内のドライブ１２１を識別するためのドライブ番号のリストが格納される。

【0029】

図３は、実施例１のドライブ管理情報１５２のデータ構造の一例を示す図である。

【0030】

ドライブ管理情報１５２は、ドライブ番号３０１、ドライブ識別情報３０２、移動状態３０３、ロケーション３０４、及び所属ＰＧ番号３０５を含むエントリを格納する。一つのエントリは一つのドライブ１２１に対応する。なお、エントリに含まれるフィールドは前述したものに限定されない。

【0031】

ドライブ番号３０１は、ドライブ番号を格納するフィールドである。ドライブ識別情報３０２は、ドライブ１２１そのものを一意に識別するための識別情報を格納するフィールドである。移動状態３０３は、ドライブ１２１の移動に関する状態を示す値を格納するフィールドである。移動状態３０３には、ドライブ１２１の搭載場所の移動が完了していることを示す「移動済」、ドライブ１２１の搭載場所が変更され、かつ、認識がされていない状態を示す「移動中」、ドライブ１２１の搭載場所が変更され、かつ、リビルドが完了していない状態を示す「リビルド待ち」のいずれかが格納される。ロケーション３０４は、ドライブ１２１の搭載場所を格納するフィールドである。所属ＰＧ番号３０５は、ドライブ１２１が属するＰＧ１４０の識別番号を格納するフィールドである。

【0032】

図４は、実施例１の差分管理情報１５３のデータ構造の一例を示す図である。

【0033】

差分管理情報１５３は、ドライブ番号４０１及び更新ビットマップ４０２を含むエントリを格納する。一つのエントリは搭載場所が変更されたドライブ１２１に対応する。

【0034】

ドライブ番号４０１は、搭載場所が変更されたドライブ１２１のドライブ番号を格納するフィールドである。更新ビットマップ４０２は、搭載場所の移動中に、当該ドライブ１２１の更新されたデータの位置を特定するための更新ビットマップを格納するフィールドである。更新ビットマップは、例えば、５１２ＭＢの記憶領域を１ビットとして扱うビットマップが考えられる。１ビットあたりの記憶領域の大きさは任意に設定できる。

【0035】

図５Ａ及び図５Ｂは、実施例１のストレージシステム１００のドライブ１２１の移動例を示す図である。図６Ａ、図６Ｂ、及び図６Ｃは、実施例１のストレージシステム１００のドライブ移動処理の一例を説明するフローチャートである。

【0036】

実施例１では、ストレージシステム１００にノード（３）１１０が追加され、ノード（２）１１０に搭載され、かつ、ＰＧ１４０を構成するドライブ１２１群を、ノード（３）１１０に移動させる場合のストレージシステム１００の制御について説明する。まず、管理者等は、ストレージシステム１００にノード（３）を追加する。

【0037】

管理者等は、搭載位置を移動させたいドライブ１２１があるか否かを確認する。移動させたいドライブ１２１がある場合、管理者等は、管理用端末１０１を用いて、ドライブ移動指示を送信する。なお、ドライブ移動指示には移動対象のドライブ１２１を指定するドライブ番号が含まれるものとする。

【0038】

以下の説明では、搭載位置を移動させるドライブ１２１をターゲットドライブ１２１と記載する。

【0039】

ドライブ移動指示を受信すると、ノード（２）１１０の処理部１５０は、ドライブ管理情報１５２及び差分管理情報１５３を更新する（ステップＳ１０１）。

【0040】

具体的には、処理部１５０は、ドライブ管理情報１５２からターゲットドライブ１２１のエントリを検索し、当該エントリの移動状態３０３に「移動中」を設定する。また、処理部１５０は、差分管理情報１５３にエントリを追加し、追加されたエントリのドライブ番号４０１にターゲットドライブ１２１のドライブ番号を設定し、更新ビットマップ４０２に初期化されたビットマップを設定する。ここで初期化されたビットマップとは、全てのビットのフラグが削除された状態を示す。

【0041】

ステップＳ１０１の処理の後、管理者等は、ノード（２）１１０から冗長度の範囲内で所定の数のドライブ１２１を取り出し、ノード（３）１１０にドライブ１２１を搭載する。

【0042】

移動したいドライブをすべて移動した後、管理者等は、ホスト端末１０２との間のパス及びＬＤＥＶのオーナ権をノード（３）１１０に変更する。

【0043】

ノード（３）１１０の処理部１５０は、搭載されたドライブ１２１を認識し（ステップＳ２０１）、当該ドライブ１２１から識別情報等を取得する。

【0044】

ノード（３）１１０の処理部１５０は、ドライブ管理情報１５２を更新し（ステップＳ２０２）、その後、処理を終了する。

【0045】

具体的には、処理部１５０は、ドライブ管理情報１５２から認識されたドライブ１２１のエントリを検索し、当該エントリの移動状態３０３の値を取得する。移動状態３０３の値が「移動中」である場合、処理部１５０は、当該エントリのロケーション３０４に現在の搭載位置を設定し、また、移動状態３０３に「リビルド待ち」を設定する。

【0046】

リビルド実行ノード１１０が図６Ｃの処理を実行する。リビルド実行ノード１１０は、ドライブ１２１の移動元又は移動先のいずれかのノード１１０でもよいし、ストレージシステム１００内で負荷が低いノード１１０でもよい。

【0047】

リビルド実行ノード１１０の処理部１５０は、ドライブ管理情報１５２を参照して、移動状態３０３が「リビルド待ち」のドライブ１２１を特定する（ステップＳ３０１）。

【0048】

リビルド実行ノード１１０の処理部１５０は、特定されたドライブ１２１のドライブ識別情報を含む、差分管理情報１５３の問合せを各ノード１１０に送信することによって、更新ビットマップを取得する（ステップＳ３０２）。

【0049】

リビルド実行ノード１１０の処理部１５０は、更新ビットマップのフラグが設定されているビットの中から一つのビットを選択する（ステップＳ３０３）。

【0050】

リビルド実行ノード１１０の処理部１５０は、選択したビットに対応するターゲットドライブ１２１の記憶領域に対して、ＰＧ１４０を構成するドライブ１２１を用いてコレクションコピーを実行する（ステップＳ３０４）。なお、コレクションコピーに使用するドライブ１２１にはターゲットドライブ１２１は含まれない。

【0051】

本実施例では、ドライブ１２１全体のコレクションコピーは行われず、移動中に更新された領域についてのみコレクションコピーが行われる。

【0052】

リビルド実行ノード１１０の処理部１５０は、選択したビットのフラグを削除する（ステップＳ３０５）。

【0053】

リビルド実行ノード１１０の処理部１５０は、フラグが設定された全てのビットの処理が完了したか否かを判定する（ステップＳ３０６）。

【0054】

フラグが設定された全てのビットの処理が完了していない場合、リビルド実行ノード１１０の処理部１５０は、ステップＳ３０３に戻り、同様の処理を実行する。

【0055】

フラグが設定された全てのビットの処理が完了した場合、リビルド実行ノード１１０の処理部１５０は、ドライブ管理情報１５２を更新し（ステップＳ３０７）、その後、処理を終了する。

【0056】

具体的には、処理部１５０は、ドライブ管理情報１５２の特定されたドライブ１２１のエントリの移動状態３０３に「移動済」を設定する。

【0057】

なお、ステップＳ３０１において複数のドライブ１２１が特定された場合、各ドライブ１２１に対してステップＳ３０２からステップＳ３０７の処理が実行される。

【0058】

さらに、ドライブ１２１を移動させる場合、管理者は、管理用端末１０１を用いてドライブ１２１の移動を指示する。これによって、図６Ａ、図６Ｂ、及び図６Ｃの処理が実行される。

【0059】

図７は、実施例１のストレージシステム１００が実行するリード処理の一例を説明するフローチャートである。

【0060】

処理部１５０は、リード要求を受信した場合、アクセス先のドライブ１２１を特定し、ドライブ管理情報１５２を参照して、当該ドライブ１２１に対応するエントリの移動状態３０３が「移動済」であるか否かを判定する（ステップＳ４０１）。

【0061】

ドライブ１２１に対応するエントリの移動状態３０３が「移動済」である場合、処理部１５０は、当該ドライブ１２１からデータを読み出し、要求元に送信する（ステップＳ４０２）。

【0062】

ドライブ１２１に対応するエントリの移動状態３０３が「移動済」でない場合、処理部１５０は、当該ドライブ１２１の更新ビットマップを取得し（ステップＳ４０３）、読み出し先のアドレスを含む記憶領域に対応するビットにフラグが設定されているか否かを判定する（ステップＳ４０４）。

【0063】

読み出し先のアドレスを含む記憶領域に対応するビットにフラグが設定されていない場合、処理部１５０は、当該ドライブ１２１からデータを読み出し、要求元に送信する（ステップＳ４０２）。

【0064】

読み出し先のアドレスを含む記憶領域に対応するビットにフラグが設定されている場合、処理部１５０は、当該ドライブ１２１が属するＰＧ１４０の他のドライブ１２１からデータを取得してデータを復元し、要求元に送信する（ステップＳ４０５）。

【0065】

図８は、実施例１のストレージシステム１００が実行するライト処理の一例を説明するフローチャートである。

【0066】

処理部１５０は、ライト要求を受信した場合、キャッシュにデータを書き込み、キャッシュの空き容量が閾値より小さくなった場合、処理部１５０は、ドライブ１２１へデータを書き込む。まず、処理部１５０は、書き込み先のドライブ１２１を特定し、ドライブ管理情報１５２を参照して、当該ドライブ１２１に対応するエントリの移動状態３０３が「移動中」であるか否かを判定する（ステップＳ５０１）。

【0067】

以下の説明では書き込み先のドライブ１２１をターゲットドライブ１２１と記載する。

【0068】

ターゲットドライブ１２１に対応するエントリの移動状態３０３が「移動中」でない場合、処理部１５０は、ターゲットドライブ１２１にデータを書き込む（ステップＳ５０２）。

【0069】

ターゲットドライブ１２１に対応するエントリの移動状態３０３が「移動中」である場合、処理部１５０は、ターゲットドライブ１２１が属するＰＧ１４０を構成するドライブ１２１からデータを読み出す（ステップＳ５０３）。このとき、移動状態３０３が「移動中」又は「リビルド待ち」のドライブ１２１は除外される。すなわち、処理部１５０は、ＰＧ１４０を構成し、かつ、移動状態３０３が「移動済」のドライブ１２１からデータを読み出す。

【0070】

処理部１５０は、書き込むデータ及び読み出されたデータを用いてパリティを生成する（ステップＳ５０４）。

【0071】

処理部１５０は、書き込み対象のドライブ１２１が属するＰＧ１４０を構成するドライブ１２１に書き込みデータ及びパリティを書き込む（ステップＳ５０５）。このとき、移動状態３０３が「移動中」のドライブ１２１は除外される。すなわち、処理部１５０は、ＰＧ１４０を構成し、かつ、移動状態３０３が「移動中」ではないドライブ１２１にデータを書き込む。

【0072】

処理部１５０は、ターゲットドライブ１２１の更新ビットマップを参照し、書き込み先のアドレスを含む記憶領域に対応するビットにフラグを設定する（ステップＳ５０６）。

【0073】

図９は、実施例１のストレージシステム１００のキャッシュ制御の一例を説明するフローチャートである。

【0074】

各ノード１１０の処理部１５０は、周期的に、又は、実行指示を受け付けた場合、以下で説明するキャッシュ制御を実行する。本実施例では、ＬＲＵ（Ｌｅａｓｔ Ｒｅｃｅｎｔｌｙ Ｕｓｅｄ）方式でキャッシュの制御が行われているものとする。

【0075】

ノード１１０の処理部１５０は、キャッシュにダーティデータが存在するか否かを判定する（ステップＳ６０１）。

【0076】

キャッシュにダーティデータが存在しない場合、処理部１５０は処理を終了する。

【0077】

キャッシュにダーティデータが存在する場合、処理部１５０は、ダーティデータを管理するキューからダーティデータを選択する（ステップＳ６０２）。キューにはアクセス時間が古い順にダーティデータが登録されており、処理部１５０は、最もアクセス時間が古いダーティデータを選択する。

【0078】

処理部１５０は、選択したダーティデータのデータ量が閾値以下であるか否かを判定する（ステップＳ６０３）。

【0079】

選択したダーティデータのデータ量が閾値より大きい場合、処理部１５０は処理を終了する。

【0080】

選択したダーティデータのデータ量が閾値以下の場合、処理部１５０は、選択したダーティデータの書き込み先のドライブ１２１を特定し、ドライブ管理情報１５２を参照して、当該ドライブ１２１に対応するエントリの移動状態３０３が「移動中」であるか否かを判定する（ステップＳ６０４）。

【0081】

選択したダーティデータの書き込み先のドライブ１２１に対応するエントリの移動状態３０３が「移動中」ではない場合、処理部１５０は処理を終了する。

【0082】

選択したダーティデータの書き込み先のドライブ１２１に対応するエントリの移動状態３０３が「移動中」である場合、処理部１５０は、選択したダーティデータをキューの末尾に登録し（ステップＳ６０５）、その後、ステップＳ６０１に戻る。

【0083】

図９に示す制御によって、移動状態３０３が「移動中」であるドライブ１２１へのデータの書き込みを抑制できる。これによって、当該ドライブ１２１に対するコレクションコピーの回数を抑えることができる。

【0084】

実施例１では、ＰＧ１４０を構成する全てのドライブ１２１を移動させていたが、一部のドライブ１２１のみを移動させてもよい。

【0085】

実施例１によれば、ノード１１０間でデータを保持したままドライブ１２１を移動させることができる。すなわち、既存のドライブ１２１を流用できる。応用として、新しく追加した移動先のノード１１０へのドライブ１２１移動の完了後、移動元のノード１１０を撤去することにより、ノード１１０の交換に伴うストレージシステムのアップグレードが無停止で容易に実現できる。また、ドライブ１２１の移動中にデータの書き込みが行われた場合、データ書き込みが行われた記憶領域についてコレクションコピーを実行することによって、短時間で最新の状態を復元できる。

【0086】

実施例１のユースケースとしては、ストレージシステム１００におけるノード１１０の入換及びスケールアウトが考えられる。いずれのユースケースでも、新規ノード１１０にドライブ１２１を用意する必要がなく、また、ホスト端末１０２のＩＯを止める必要がない。

【実施例0087】

実施例２のストレージシステム１００はドライブボックス１１１を備える。以下、実施例１との差異を中心に実施例２について説明する。

【0088】

実施例２のノード１１０の機能構成及びノード１１０が管理する情報は、実施例１と同一である。

【0089】

図１０Ａ、図１０Ｂ、図１１Ａ、図１１Ｂ、及び図１１Ｃは、実施例２のストレージシステム１００のドライブ１２１の移動例を示す図である。

【0090】

図１０Ａ及び図１０Ｂは、ドライブボックス１１１の交換にあたり、ドライブボックス１１１間でドライブ１２１を移動させ、古いドライブボックス１１１を撤去する様子を示す。

【0091】

管理者は、ストレージシステム１００に新規ドライブボックス（２）１１１を追加し、ドライブボックス（１）１１１に搭載され、かつ、ＰＧ１４０を構成するドライブ１２１群を、ドライブボックス（２）１１１に移動させる。ドライブボックス（１）１１１の全てのドライブ１２１の移動が完了した後、管理者は、ドライブボックス（１）１１１を撤去する。

【0092】

図１１Ａ、図１１Ｂ、及び図１１Ｃは、ドライブボックス１１１の交換に当たり、ドライブボックス１１１及びノード１１０の間でドライブ１２１を移動させ、さらに、新しいドライブボックス１１１にドライブ１２１を移動させる様子を示す。

【0093】

管理者は、少なくとも一つのノード１１０に、ドライブボックス（１）１１１に搭載され、かつ、ＰＧ１４０を構成するドライブ１２１群を移動させ、ドライブボックス（１）１１１をドライブボックス（２）１１１に入れ替えた後、ドライブ１２１をドライブボックス（２）１１１に移動させる。

【0094】

移動に伴う処理は実施例１と同様の処理であるため説明を省略する。なお、図６Ａ、図６Ｂ、及び図６Ｃの処理は、一つのノード１１０の処理部１５０が実行してもよい。

【0095】

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。また、例えば、上記した実施例は本発明を分かりやすく説明するために構成を詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、各実施例の構成の一部について、他の構成に追加、削除、置換することが可能である。

【0096】

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、本発明は、実施例の機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をコンピュータに提供し、そのコンピュータが備えるプロセッサが記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、光ディスク、光磁気ディスク、ＣＤ－Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどが用いられる。

【0097】

また、本実施例に記載の機能を実現するプログラムコードは、例えば、アセンブラ、Ｃ／Ｃ＋＋、ｐｅｒｌ、Ｓｈｅｌｌ、ＰＨＰ、Ｐｙｔｈｏｎ、Ｊａｖａ（登録商標）等の広範囲のプログラム又はスクリプト言語で実装できる。

【0098】

さらに、実施例の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することによって、それをコンピュータのハードディスクやメモリ等の記憶手段又はＣＤ－ＲＷ、ＣＤ－Ｒ等の記憶媒体に格納し、コンピュータが備えるプロセッサが当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしてもよい。

【0099】

上述の実施例において、制御線や情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていてもよい。