(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-21
(45)【発行日】2023-11-30
(54)【発明の名称】ストレージ制御システム
(51)【国際特許分類】
G06F 3/06 20060101AFI20231122BHJP
【ＦＩ】
G06F3/06 302E
G06F3/06 301F
G06F3/06 301J
G06F3/06 304R
G06F3/06 304Z
【請求項の数】
6
(21)【出願番号】P 2019220131
(22)【出願日】2019-12-05
(65)【公開番号】P2021089625
(43)【公開日】2021-06-10
【審査請求日】2022-08-09
(73)【特許権者】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】110002918
【氏名又は名称】弁理士法人扶桑国際特許事務所
(72)【発明者】
【氏名】菊地 安仁
(72)【発明者】
【氏名】村田 聖
(72)【発明者】
【氏名】村上 順一
(72)【発明者】
【氏名】山本 徹
(72)【発明者】
【氏名】大多和 章秀
【審査官】田中 啓介
(56)【参考文献】
【文献】特開２００８－２１７５７５（ＪＰ，Ａ）
【文献】特開２０１９－０７４８９７（ＪＰ，Ａ）
【文献】特開２０１５－１０３１９５（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ３／０６－３／０８
Ｇ０６Ｆ１３／１０－１３／１４
Ｇ０６Ｆ１６／００－１６／９５８
Ｈ０４Ｌ５１／００－５１／５８
Ｈ０４Ｌ６７／００－６７／７５
(57)【特許請求の範囲】
【請求項1】
１以上の第１の記憶装置に対して１以上の第２の記憶装置が増設されたときに、前記１以上の第１の記憶装置および前記１以上の第２の記憶装置に含まれる記憶装置の間で負荷のバランスが平準化されるように前記１以上の第１の記憶装置の中から選択された１以上の第１のデータを前記１以上の第２の記憶装置に移動させるデータ移動処理であって、前記１以上の第１のデータを移動先の記憶装置にコピーし、コピーが完了したデータを移動元の記憶装置から削除する処理を含む前記データ移動処理を実行させるデータ移動制御部と、
前記データ移動処理の過程において、前記１以上の第１の記憶装置のうち第３の記憶装置に記憶された移動対象の１以上の第１のデータの移動が完了した後に、前記第３の記憶装置から前記１以上の第１のデータを削除する処理を開始する際に、前記１以上の第１の記憶装置および前記１以上の第２の記憶装置を含む複数の記憶装置のうち前記第３の記憶装置以外の各記憶装置の負荷の検出結果を取得し、前記検出結果に基づいて前記各記憶装置の中から第４の記憶装置を退避先として決定し、前記１以上の第１のデータの削除処理を開始させるデータ削除制御部と、
前記１以上の第１のデータの削除処理の実行中に、前記第３の記憶装置に記憶されたデータのうち前記１以上の第１のデータ以外の第２のデータの更新が要求された場合、前記第２のデータを更新する更新データが前記第４の記憶装置に格納されるように制御するアクセス先制御部と、
を有し、
前記データ削除制御部は、前記１以上の第１のデータすべての削除処理が完了すると、前記第４の記憶装置に格納された前記更新データを前記第３の記憶装置に移動させて前記第２のデータを更新させる、
ストレージ制御システム。
【請求項2】
前記データ削除制御部は、前記第４の記憶装置を退避先として決定すると、前記複数の記憶装置に記憶された各データの格納位置を示す格納位置情報について、前記第３の記憶装置に記憶されたデータのうち少なくとも前記１以上の第１のデータを除く他のすべてのデータの格納位置が前記第４の記憶装置を示すように更新し、前記アクセス先制御部は、前記第２のデータの更新が要求された場合、前記格納位置情報に基づいて前記更新データの格納先を判定する、
請求項１記載のストレージ制御システム。
【請求項3】
前記データ削除制御部は、前記更新データを前記第３の記憶装置に移動させる処理が完了すると、前記格納位置情報について、前記第２のデータの格納位置が前記第３の記憶装置を示すように更新する、請求項２記載のストレージ制御システム。
【請求項4】
前記第２のデータの読み出しを要求したとき、前記１以上の第１のデータの削除処理が実行中である場合には、前記複数の記憶装置のうち前記第３の記憶装置以外の記憶装置に記憶されたデータのうち、前記第２のデータに冗長性を持たせるために生成されたデータを読み出すアクセス処理部をさらに有する請求項１乃至３のいずれか１項に記載のストレージ制御システム。
【請求項5】
前記データ削除制御部は、前記データ移動処理の過程において、前記データ移動処理の対象データを前記移動先の記憶装置にコピーする処理が完了したことを示す完了通知をコピー元の記憶装置ごとに受け付け、
前記完了通知を受け付けた前記コピー元の記憶装置を前記第３の記憶装置として１つずつ選択しながら、前記第４の記憶装置を決定し、前記１以上の第１のデータの削除処理を開始させ、当該削除処理の完了後に前記更新データを前記第４の記憶装置から前記第３の記憶装置に移動させることで、前記コピー元の記憶装置のうちの１つだけで前記１以上の第１のデータの削除処理が実行されるように制御する、
請求項１乃至４のいずれか１項に記載のストレージ制御システム。
【請求項6】
前記複数の記憶装置は複数のグループに分類されており、前記複数のグループのそれぞれの中ではデータが２以上の記憶装置に冗長化されて記憶されており、前記データ削除制御部は、前記複数のグループのうち前記第３の記憶装置が含まれるグループ以外の他のグループに含まれる記憶装置の中から、前記第４の記憶装置を選択して決定する、
請求項１乃至５のいずれか１項に記載のストレージ制御システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ストレージ制御システムに関する。
【背景技術】
【0002】
分散型のストレージシステムは、複数の記憶装置と、これら複数の記憶装置に対するアクセスを制御する制御装置とをそれぞれ含む複数のストレージノードをクラスタ化することによって実現される。分散型のストレージシステムは、格納するデータの増加に応じたシステムの拡張性が高いという特徴を有する。
【0003】
このような分散型ストレージシステムの一種として、データをオブジェクトとして取り扱うオブジェクトストレージシステムが広く利用されている。オブジェクトストレージシステムは、データの格納場所の管理が容易であるという特徴を有する。そのため、例えば、ストレージノードの増設や、その増設に伴う記憶装置間の負荷バランス平準化といった目的で、データを記憶装置間で移動させることが頻繁に行われる。
【0004】
また、ストレージシステムに関して次のような提案がある。例えば、システム全体の消費電力やフラッシュメモリの寿命管理の最適化を目的として、ＨＤＤ（Hard Disk Drive）からフラッシュメモリに対して、あるいはフラッシュメモリからＨＤＤに対してデータを移行させるストレージシステムが提案されている。このストレージシステムでは、移行作業中のデータに関してホストコンピュータからライトが要求されると、ライトが要求されたデータは一時記憶領域に書き込まれる。
【0005】
また、サーバ装置のデータをＨＤＤにバックアップする次のようなシステムが提案されている。このシステムでは、あるバックアップジョブを起動したとき、他のバックアップジョブが終了しておらず、バックアップ装置数が不足している場合には、１次バックアップ用ＨＤＤにバックアップデータが保存される。
【先行技術文献】
【特許文献】
【0006】
【文献】特開２００７－１１５２３２号公報
【文献】特開２００４－２５２８２９号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
ところで、上記のような負荷バランス平準化などを目的として記憶装置間でデータが移動される場合、まず記憶装置間でデータがコピーされた後、元のデータが削除される。近年、記憶されるデータ量の増加に伴って記憶装置の容量も大きくなっており、１つの記憶装置から他の記憶装置に対して大量のデータが移動されるケースが発生している。この場合、移動元の記憶装置では、データコピーの完了後に大量のデータの削除処理が実行される。大量のデータの削除処理を実行中に同一の記憶装置に対して書き込みや読み出しのＩＯ（Input／Output）アクセスが発生した場合、削除処理の負荷によってＩＯ性能の低下や応答遅延が生じるという問題がある。
【0008】
１つの側面では、本発明は、データ削除処理中における記憶装置への書き込み速度の低下を抑制することが可能なストレージ制御システムを提供することを目的とする。
【課題を解決するための手段】
【0009】
１つの案では、次のようなデータ削除制御部とアクセス先制御部とを有するストレージ制御システムが提供される。このストレージ制御システムにおいて、データ削除制御部は、複数の記憶装置に含まれる第１の記憶装置に記憶されたデータのうち１以上の第１のデータを削除する処理を開始する際に、複数の記憶装置のうち第１の記憶装置以外の各記憶装置の負荷の検出結果を取得し、検出結果に基づいて各記憶装置の中から第２の記憶装置を退避先として決定し、１以上の第１のデータの削除処理を開始させる。アクセス先制御部は、１以上の第１のデータの削除処理の実行中に、第１の記憶装置に記憶されたデータのうち１以上の第１のデータ以外の第２のデータの更新が要求された場合、第２のデータを更新する更新データが第２の記憶装置に格納されるように制御する。また、データ削除制御部は、１以上の第１のデータすべての削除処理が完了すると、第２の記憶装置に格納された更新データを第１の記憶装置に移動させて第２のデータを更新させる。
【発明の効果】
【0011】
１つの側面では、データ削除処理中における記憶装置への書き込み速度の低下を抑制できる。
【図面の簡単な説明】
【0012】
【図1】第１の実施の形態に係るストレージ制御システムの構成例および処理例を示す図である。
【図2】第２の実施の形態に係るストレージシステムの構成例を示す図である。
【図3】管理ノードのハードウェア構成例を示す図である。
【図4】管理ノード、監視ノードおよびゲートウェイノードが備える処理機能の構成例を示すブロック図である。
【図5】マップ情報の構成例を示す図である。
【図6】削除待ちリストの構成例を示す図である。
【図7】退避データリストの構成例を示す図である。
【図8】ストレージプールの構成例を示す図である。
【図9】ストレージノード増設に伴うリバランス処理の例を示す図である。
【図10】データの削除処理の比較例を示す図である。
【図11】データ退避の比較例を示す図である。
【図12】削除待ちリストに対する登録処理の例を示す図である。
【図13】ドライブリストの例を示す図である。
【図14】データ削除および書き込みデータの退避の処理例を示す図である。
【図15】データ削除処理の実行中における読み出し処理例を示す図である。
【図16】退避データの復旧処理例を示す図である。
【図17】ストレージノードの故障に伴うデータ復元の処理例を示す比較例である。
【図18】ストレージノード故障後のリバランス処理の例を示す比較例である。
【図19】データ削除処理の実行中における書き込みデータの退避処理例を示す図である。
【図20】退避データの復旧処理例を示す図である。
【図21】ストレージノードが増設された場合の処理例を示すシーケンス図である。
【図22】データ削除処理の実行が開始される際の処理例を示すシーケンス図である。
【図23】データ削除処理の実行中における書き込み処理例を示すシーケンス図である。
【図24】データ削除処理の実行中における読み出し処理例を示すシーケンス図である。
【図25】データ削除処理の実行が完了した際の処理例を示すシーケンス図である。
【図26】ストレージノードが故障した場合の処理例を示すシーケンス図である。
【発明を実施するための形態】
【0013】
以下、本発明の実施の形態について図面を参照して説明する。
〔第１の実施の形態〕
図１は、第１の実施の形態に係るストレージ制御システムの構成例および処理例を示す図である。図１に示すストレージ制御システムは、情報処理装置１～３を含む。また、ストレージ制御システムには、記憶装置４ａ～４ｆが接続されている。
〔第１の実施の形態〕
図１は、第１の実施の形態に係るストレージ制御システムの構成例および処理例を示す図である。図１に示すストレージ制御システムは、情報処理装置１～３を含む。また、ストレージ制御システムには、記憶装置４ａ～４ｆが接続されている。
【0014】
情報処理装置１は、データ削除制御部１ａを有する。データ削除制御部１ａの処理は、例えば、情報処理装置１が備える図示しないプロセッサがプログラムを実行することで実現される。データ削除制御部１ａは、記憶装置４ａ～４ｆで実行されるデータ削除処理に関する制御を行う。
【0015】
情報処理装置２は、アクセス先制御部２ａを有する。アクセス先制御部２ａの処理は、例えば、情報処理装置２が備える図示しないプロセッサがプログラムを実行することで実現される。アクセス先制御部２ａは、記憶装置４ａ～４ｆに対する書き込み（更新を含む）が要求された際に、書き込みデータの格納先に関する制御を行う。例えば、アクセス先制御部２ａは、記憶装置４ａ～４ｆに記憶されたデータと、その格納先を示す情報（記憶装置の識別情報）とが対応付けられた格納位置情報５に基づいて、書き込みデータの格納先に関する制御を行う。
【0016】
なお、データ削除制御部１ａとアクセス先制御部２ａは、同一の装置に備えられてもよい。
アクセス処理部３ａは、記憶装置４ａ～４ｆに対する書き込み要求（更新要求を含む）が発生したとき、その書き込み処理を実行する。図１では例として、アクセス処理部３ａは、書き込み要求が発生したとき、書き込みデータの格納先をアクセス先制御部２ａに問い合わせ、返信された格納先に対して書き込み処理を実行する。したがって図１の例では、アクセス先制御部２ａは、アクセス処理部３ａによる書き込み処理における書き込みデータの格納先に関する制御を行う。
アクセス処理部３ａは、記憶装置４ａ～４ｆに対する書き込み要求（更新要求を含む）が発生したとき、その書き込み処理を実行する。図１では例として、アクセス処理部３ａは、書き込み要求が発生したとき、書き込みデータの格納先をアクセス先制御部２ａに問い合わせ、返信された格納先に対して書き込み処理を実行する。したがって図１の例では、アクセス先制御部２ａは、アクセス処理部３ａによる書き込み処理における書き込みデータの格納先に関する制御を行う。
【0017】
記憶装置４ａ～４ｆは、ＨＤＤやＳＳＤ（Solid State Drive）などの不揮発性の記憶装置である。記憶装置４ａ～４ｆは、例えば、分散型ストレージシステムの記憶領域を実現する。
【0018】
以下、例として、記憶装置４ｃに記憶されているデータＤＴ１，ＤＴ２の削除処理が行われる場合について説明する。このデータ削除処理は、例えば、データＤＴ１，ＤＴ２を記憶装置４ｆに移動させる処理に伴って実行される。この場合、データＤＴ１，ＤＴ２が記憶装置４ｃから記憶装置４ｆにコピーされた後、記憶装置４ｃからデータＤＴ１，ＤＴ２を削除する処理が実行される。また、このようなデータＤＴ１，ＤＴ２の移動は、記憶装置４ｆが増設されたことに伴って行われるものであってもよい。この場合、例えば、記憶装置４ｆの増設に伴い、記憶装置４ａ～４ｆの間で負荷のバランスが平準化されるようにデータの移動が行われる。データＤＴ１，ＤＴ２は、移動対象として選択されたデータの少なくとも一部である。
【0019】
データ削除制御部１ａは、データＤＴ１，ＤＴ２を削除する処理を開始する際に、次のような処理を実行する。データ削除制御部１ａは、記憶装置４ａ～４ｆのうち、データＤＴ１，ＤＴ２が記憶されている記憶装置４ｃ以外の記憶装置４ａ，４ｂ，４ｄ～４ｆの負荷の検出結果を取得する（ステップＳ１）。データ削除制御部１ａは、例えば、他の情報処理装置（例えば情報処理装置２）によって検出された負荷の検出結果を取得してもよい。
【0020】
次に、データ削除制御部１ａは、負荷の検出結果に基づいて、記憶装置４ａ，４ｂ，４ｄ～４ｆの中から退避先の記憶装置を決定する（ステップＳ２）。例えば、データ削除制御部１ａは、記憶装置４ａ，４ｂ，４ｄ～４ｆの中から、負荷が最も低い記憶装置を退避先として決定する。図１の例では、記憶装置４ａが退避先として決定されたものとする。
【0021】
データ削除制御部１ａは、例えば、退避先として決定された記憶装置４ａの識別情報を、アクセス先制御部２ａに通知する。アクセス先制御部２ａが格納位置情報５を参照する場合、データ削除制御部１ａは、格納位置情報５に登録されたデータのうち、記憶装置４ｃに格納されている各データの格納位置を、退避先の記憶装置４ａを示すように更新する。
【0022】
データ削除制御部１ａは、以上のステップＳ２の処理を終了すると、データＤＴ１，ＤＴ２の削除処理を開始させる（ステップＳ３）。データＤＴ１，ＤＴ２の削除処理が開始されることで、記憶装置４ｃの負荷が高まる。
【0023】
次に、データＤＴ１，ＤＴ２の削除処理の実行中に、記憶装置４ｃに記憶されたデータＤＴ３をデータＤＴ３’に更新する処理が要求されたとする（ステップＳ４）。すると、アクセス先制御部２ａは、データＤＴ３’が退避先の記憶装置４ａに格納されるように制御する（ステップＳ５）。
【0024】
図１の例では、アクセス処理部３ａは、データＤＴ３の更新要求に応じて、データＤＴ３の格納位置をアクセス先制御部２ａに問い合わせる。アクセス先制御部２ａは、格納位置情報５を参照して、データＤＴ３に対応付けられている格納位置の情報をアクセス処理部３ａに通知する。格納位置情報５では、ステップＳ２での上記処理によりデータＤＴ３の格納位置が記憶装置４ｃから退避先の記憶装置４ａに変更されている。このため、アクセス処理部３ａには、データＤＴ３の格納位置として退避先の記憶装置４ａを示す情報が通知され、アクセス処理部３ａは、更新データであるデータＤＴ３’を記憶装置４ａに格納する（ステップＳ６）。このようにして、記憶装置４ｃに記憶されたデータに対応する更新データは、記憶装置４ａに退避される。
【0025】
その後、データＤＴ１，ＤＴ２の削除処理が完了すると、データ削除制御部１ａは、記憶装置４ａに退避されていたデータＤＴ３’を記憶装置４ｃに移動させて、データＤＴ３’によってデータＤＴ３を更新させる（ステップＳ７）。
【0026】
ここで、データＤＴ１，ＤＴ２の削除処理の実行中では、その処理負荷によって記憶装置４ｃの負荷が高まる。このため、削除処理の実行中において記憶装置４ｃ上の他の処理を更新しようとした場合、その更新処理速度が低下する可能性がある。これに対して、本実施の形態では、記憶装置４ａ，４ｂ，４ｄ～４ｆの負荷の検出結果に基づいて退避先の記憶装置４ａが選択される。そして、記憶装置４ｃでのデータＤＴ１，ＤＴ２の削除処理の実行中では、記憶装置４ｃに対する書き込みデータ（更新データ）が記憶装置４ａに退避して書き込まれる。これにより、書き込みデータを記憶装置４ｃに書き込む場合よりも高速な書き込みを実行できる可能性が高まる。したがって、データ削除処理中における記憶装置への書き込み速度の低下を抑制できる。
【0027】
特に、記憶装置の増設に応じて、記憶装置間で負荷のバランスが平準化されるようにデータの移動が行われた場合、同一の記憶装置上の多数のデータが移動対象となり、その記憶装置において多数のデータの削除処理が実行される可能性がある。この場合、削除処理の実行中における記憶装置の負荷が増大し、その記憶装置に対する書き込み性能が大きく低下し得る。本実施の形態の処理により、このような書き込み性能の低下を抑制できる。
【0028】
【0029】
図２に示すストレージシステムは、ストレージノード１０ａ，１０ｂ，１０ｃ，・・・、管理ノード２０、監視ノード３０およびゲートウェイノード４０を含む。ストレージノード１０ａ，１０ｂ，１０ｃ，・・・は、ネットワーク６１に接続されており、これらはネットワーク６１を介して相互に通信可能となっている。また、ストレージノード１０ａ，１０ｂ，１０ｃ，・・・、管理ノード２０、監視ノード３０およびゲートウェイノード４０は、ネットワーク６２に接続されている。ストレージノード１０ａ，１０ｂ，１０ｃ，・・・と、管理ノード２０、監視ノード３０およびゲートウェイノード４０との間は、ネットワーク６２を介して通信可能になっている。また、管理ノード２０、監視ノード３０およびゲートウェイノード４０は、ネットワーク６２を介して相互に通信可能になっている。さらに、ゲートウェイノード４０には、ネットワーク６３を介してクライアント装置５０ａ，５０ｂ，５０ｃ，・・・が接続されている。
【0030】
【0031】
このストレージシステムでは、ストレージノード１０ａ，１０ｂ，１０ｃ，・・・に含まれるストレージを記憶領域として用いたオブジェクトストレージシステムが構築されている。オブジェクトストレージシステムでは、データは、ＵＲＩ（Uniform Resource Identifier）などの固有の識別情報（オブジェクトＩＤ）がそれぞれ付与されたオブジェクトとして管理される。また、オブジェクトは、アクセス負荷が平準化するようにシステム内で分散配置される。
【0032】
ストレージノード１０ａ，１０ｂ，１０ｃ，・・・は、それぞれコントローラと１台以上のドライブとを備える。コントローラは、ゲートウェイノード４０からの指示にしたがってドライブに対するアクセスを制御するストレージ制御サーバである。ドライブは、オブジェクトストレージシステムのストレージを実現する記憶装置であり、例えば、ＨＤＤ、ＳＳＤとして実現される。
【0033】
例えば、ストレージノード１０ａは、コントローラ１１ａとドライブ１２ａ１，１２ａ２，１２ａ３，１２ａ４，・・・を備える。コントローラ１１ａは、ゲートウェイノード４０からの指示にしたがって、ドライブ１２ａ１，１２ａ２，１２ａ３，１２ａ４，・・・に対するアクセスを制御する。同様に、ストレージノード１０ｂは、コントローラ１１ｂとドライブ１２ｂ１，１２ｂ２，１２ｂ３，１２ｂ４，・・・を備える。また、ストレージノード１０ｃは、コントローラ１１ｃとドライブ１２ｃ１，１２ｃ２，１２ｃ３，１２ｃ４，・・・を備える。
【0034】
このオブジェクトストレージシステムは、ストレージノードを増設可能なスケールアウト型のストレージシステムとなっている。ストレージノード単位の増設により、記憶容量の拡大だけでなく、コントローラの増設によるアクセス性能の拡張も可能となっている。
【0035】
ゲートウェイノード４０は、オブジェクトストレージシステム全体のストレージアクセスを制御するストレージ制御サーバである。また、ゲートウェイノード４０は、クライアント装置５０ａ，５０ｂ，５０ｃ，・・・がオブジェクトストレージシステムを利用するためのゲートウェイ装置（インタフェース装置）として動作する。例えば、ゲートウェイノード４０は、クライアント装置５０ａ，５０ｂ，５０ｃ，・・・からオブジェクトＩＤの指定を受けることで、オブジェクトストレージシステム内のストレージとの間での対応するオブジェクトの読み書きを制御する。あるいは、ゲートウェイノード４０は、クライアント装置５０ａ，５０ｂ，５０ｃ，・・・からファイル単位でデータの読み書きの要求を受けてもよい。この場合、ゲートウェイノード４０は、ファイル単位で読み書きが要求されたデータをオブジェクトに変換して、ストレージとの間での読み書きを制御する。例えば、ゲートウェイノード４０は、ファイル単位で書き込みが要求されたデータの重複を排除し、重複が排除されたデータをオブジェクトにまとめてストレージに書き込む。
【0036】
クライアント装置５０ａ，５０ｂ，５０ｃ，・・・は、例えば、データバックアップアプリケーション、業務アプリケーションなど、ストレージアクセスを含む各種処理用のアプリケーションを実行するコンピュータ装置である。
【0037】
管理ノード２０は、オブジェクトストレージシステムの運用を管理するサーバコンピュータである。管理ノード２０は、管理者が操作する管理端末に対するＧＵＩ（Graphical User Interface）の提供や、システム全体の管理を行う。例えば、管理ノード２０は、ストレージノードが増設された場合や、ストレージノードの故障が発生した場合に、その事象に応じた処理を実行する。
【0038】
監視ノード３０は、ストレージノード１０ａ，１０ｂ，１０ｃ，・・・の動作の監視や、データ格納位置の管理を行うサーバコンピュータである。例えば、監視ノード３０は、オブジェクトＩＤと格納位置情報との対応関係を示すマップ情報を保持する。ゲートウェイノード４０は、オブジェクトにアクセスする際、そのオブジェクトの格納位置を監視ノード３０に問い合わせ、通知された情報に基づいてオブジェクトにアクセスする。また、監視ノード３０は、ストレージノード１０ａ，１０ｂ，１０ｃ，・・・に含まれる各ドライブについて、アクセス負荷の状況や残容量を監視する。監視ノード３０は、それらの監視結果に基づいて、アクセス負荷や残容量がドライブ間やストレージノード間で平準化するようにオブジェクトの格納位置を変更するリバランス処理を実行する。
【0039】
図３は、管理ノードのハードウェア構成例を示す図である。管理ノード２０は、例えば、図３に示すようなコンピュータとして実現される。図３に示す管理ノード２０は、プロセッサ２０１、ＲＡＭ（Random Access Memory）２０２、ＨＤＤ２０３、グラフィックインタフェース（Ｉ／Ｆ）２０４、入力インタフェース（Ｉ／Ｆ）２０５、読み取り装置２０６および通信インタフェース（Ｉ／Ｆ）２０７を備える。
【0040】
プロセッサ２０１は、管理ノード２０全体を統括的に制御する。プロセッサ２０１は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）またはＰＬＤ（Programmable Logic Device）である。また、プロセッサ２０１は、ＣＰＵ、ＭＰＵ、ＤＳＰ、ＡＳＩＣ、ＰＬＤのうちの２以上の要素の組み合わせであってもよい。
【0041】
ＲＡＭ２０２は、管理ノード２０の主記憶装置として使用される。ＲＡＭ２０２には、プロセッサ２０１に実行させるＯＳ（Operating System）プログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、ＲＡＭ２０２には、プロセッサ２０１による処理に必要な各種データが格納される。
【0042】
ＨＤＤ２０３は、管理ノード２０の補助記憶装置として使用される。ＨＤＤ２０３には、ＯＳプログラム、アプリケーションプログラム、および各種データが格納される。なお、補助記憶装置としては、ＳＳＤなどの他の種類の不揮発性記憶装置を使用することもできる。
【0043】
グラフィックインタフェース２０４には、表示装置２０４ａが接続されている。グラフィックインタフェース２０４は、プロセッサ２０１からの命令にしたがって、画像を表示装置２０４ａに表示させる。表示装置としては、液晶ディスプレイや有機ＥＬ（Electroluminescence）ディスプレイなどがある。
【0044】
入力インタフェース２０５には、入力装置２０５ａが接続されている。入力インタフェース２０５は、入力装置２０５ａから出力される信号をプロセッサ２０１に送信する。入力装置２０５ａとしては、キーボードやポインティングデバイスなどがある。ポインティングデバイスとしては、マウス、タッチパネル、タブレット、タッチパッド、トラックボールなどがある。
【0045】
読み取り装置２０６には、可搬型記録媒体２０６ａが脱着される。読み取り装置２０６は、可搬型記録媒体２０６ａに記録されたデータを読み取ってプロセッサ２０１に送信する。可搬型記録媒体２０６ａとしては、光ディスク、半導体メモリなどがある。
【0046】
通信インタフェース２０７は、ネットワーク６２を介して他の装置との間でデータの送受信を行う。
以上のようなハードウェア構成によって、管理ノード２０の処理機能を実現することができる。なお、コントローラ１１ａ，１１ｂ，１１ｃ，・・・、監視ノード３０、ゲートウェイノード４０、クライアント装置５０ａ，５０ｂ，５０ｃ，・・・も、図３に示すような構成のコンピュータとして実現可能である。
以上のようなハードウェア構成によって、管理ノード２０の処理機能を実現することができる。なお、コントローラ１１ａ，１１ｂ，１１ｃ，・・・、監視ノード３０、ゲートウェイノード４０、クライアント装置５０ａ，５０ｂ，５０ｃ，・・・も、図３に示すような構成のコンピュータとして実現可能である。
【0047】
図４は、管理ノード、監視ノードおよびゲートウェイノードが備える処理機能の構成例を示すブロック図である。
まず、監視ノード３０は、記憶部３１０、システム監視部３２０、リバランス処理部３３０およびマップデータ処理部３４０を備える。記憶部３１０は、例えば、監視ノード３０が備える図示しない記憶装置によって実現される。システム監視部３２０、リバランス処理部３３０およびマップデータ処理部３４０の処理は、例えば、監視ノード３０が備える図示しないプロセッサが所定のプログラムを実行することで実現される。
まず、監視ノード３０は、記憶部３１０、システム監視部３２０、リバランス処理部３３０およびマップデータ処理部３４０を備える。記憶部３１０は、例えば、監視ノード３０が備える図示しない記憶装置によって実現される。システム監視部３２０、リバランス処理部３３０およびマップデータ処理部３４０の処理は、例えば、監視ノード３０が備える図示しないプロセッサが所定のプログラムを実行することで実現される。
【0048】
記憶部３１０は、構成情報３１１とマップ情報３１２を記憶する。
構成情報３１１は、ストレージノード１０ａ，１０ｂ，１０ｃ，・・・に含まれるコントローラやドライブを示す情報を含む。このような情報には、各コントローラの位置情報（アドレス情報）や、各ドライブについての位置情報（アドレス情報）、アクセス性能を示す性能情報、記憶容量を示す情報などが含まれる。また、構成情報３１１は、ストレージプールの構成を示す情報を含む。ストレージプールとは、記憶領域の管理単位であり、それぞれ複数のドライブを含む。例えば、１つまたは複数のストレージノードに含まれるドライブが１つのストレージプールとして管理される。構成情報３１１は、例えば、どのストレージプールにどのドライブが含まれるかを示す設定情報を含む。
構成情報３１１は、ストレージノード１０ａ，１０ｂ，１０ｃ，・・・に含まれるコントローラやドライブを示す情報を含む。このような情報には、各コントローラの位置情報（アドレス情報）や、各ドライブについての位置情報（アドレス情報）、アクセス性能を示す性能情報、記憶容量を示す情報などが含まれる。また、構成情報３１１は、ストレージプールの構成を示す情報を含む。ストレージプールとは、記憶領域の管理単位であり、それぞれ複数のドライブを含む。例えば、１つまたは複数のストレージノードに含まれるドライブが１つのストレージプールとして管理される。構成情報３１１は、例えば、どのストレージプールにどのドライブが含まれるかを示す設定情報を含む。
【0049】
マップ情報３１２は、オブジェクトごとに、オブジェクトストレージシステムにおける格納場所が対応付けて登録された情報である。格納場所は、ストレージノードを識別するノードＩＤと、ドライブを識別するドライブＩＤとによって表される。なお、マップ情報３１２は、図１の格納位置情報５の一例である。
【0050】
システム監視部３２０は、ストレージノード１０ａ，１０ｂ，１０ｃ，・・・や、それらに含まれるドライブの動作を監視する。また、システム監視部３２０は、各ドライブのアクセス負荷や残容量を監視する。
【0051】
リバランス処理部３３０は、システム監視部３２０による監視結果に基づいて、アクセス負荷や残容量がドライブ間やストレージノード間で平準化するようにオブジェクトの格納位置を変更するリバランス処理を実行する。リバランス処理では、リバランス処理部３３０は、格納位置を変更すべきオブジェクトを特定すると、そのオブジェクトが現在格納されているドライブを配下に備えるコントローラに対して、そのオブジェクトの格納位置の変更（再配置）を指示する。コントローラは、この指示に応じて該当オブジェクトを変更後の格納位置にコピーした後、元のオブジェクトを削除する。ただし、後述するように、オブジェクトの削除の実行タイミングは、管理ノード２０からの指示に応じて決定される。
【0052】
マップデータ処理部３４０は、ゲートウェイノード４０からの問い合わせに応じて、指定されたオブジェクトの格納位置を示す情報をマップ情報３１２から読み出し、返信する。また、マップデータ処理部３４０は、管理ノード２０からの指示に応じてマップ情報３１２を更新する。なお、マップデータ処理部３４０は、図１のアクセス先制御部２ａの一例である。
【0053】
ここで、図５は、マップ情報の構成例を示す図である。図５に示すように、マップ情報３１２には、オブジェクトを識別するオブジェクトＩＤに対して、その格納先を示すノードＩＤおよびドライブＩＤが対応付けて登録されている。これに加えて、マップ情報３１２には、オブジェクトＩＤごとに退避フラグが対応付けて登録される。
【0054】
退避フラグは、書き込みデータ（オブジェクト）を退避すべき状態か否かを示すフラグ情報である。退避フラグは、退避すべき状態でない場合は「０」に設定され、退避すべき状態である場合は「１」に設定されるものとする。書き込みデータの退避とは、リバランス処理に伴うデータ削除が実行されているドライブに対するデータの書き込みが発生した場合に、そのデータを他の格納場所に退避することを示す。また、ストレージノードの故障が発生した場合にも、そのストレージノードに含まれるドライブに対する書き込みが発生したときに、書き込みデータが退避される。退避フラグが「１」のとき、ノードＩＤおよびドライブＩＤには退避先を示す情報が登録されている。
【0055】
以下、図４を用いて説明を続ける。
ゲートウェイノード４０は、アクセス制御部４１０を備える。アクセス制御部４１０の処理は、例えば、ゲートウェイノード４０が備える図示しないプロセッサが所定のプログラムを実行することで実現される。なお、アクセス制御部４１０は、図１のアクセス処理部３ａの一例である。
ゲートウェイノード４０は、アクセス制御部４１０を備える。アクセス制御部４１０の処理は、例えば、ゲートウェイノード４０が備える図示しないプロセッサが所定のプログラムを実行することで実現される。なお、アクセス制御部４１０は、図１のアクセス処理部３ａの一例である。
【0056】
アクセス制御部４１０は、オブジェクトストレージシステム内のドライブに対するオブジェクトの書き込みや、ドライブからのオブジェクトの読み出しを実行する。アクセス制御部４１０は、オブジェクトの書き込みまたは読み出しが要求されると、そのオブジェクトの格納位置を監視ノード３０に問い合わせる。この問い合わせに応じて、監視ノード３０のマップデータ処理部３４０から、マップ情報３１２において該当オブジェクトに対応付けられたノードＩＤおよびドライブＩＤが送信される。アクセス制御部４１０は、このようにして取得したノードＩＤおよびドライブＩＤを用いて、オブジェクトの読み書きを実行する。
【0057】
次に、管理ノード２０は、記憶部２１０、システム管理部２２０、データ削除制御部２３０および故障対応制御部２４０を備える。記憶部２１０は、例えば、ＲＡＭ２０２、ＨＤＤ２０３など、管理ノード２０が備える記憶装置によって実現される。システム管理部２２０、データ削除制御部２３０および故障対応制御部２４０の処理は、例えば、プロセッサ２０１が所定のプログラムを実行することで実現される。
【0058】
記憶部２１０は、構成情報２１１、削除待ちリスト２１２および退避データリスト２１３を記憶する。
構成情報２１１は、ストレージノード１０ａ，１０ｂ，１０ｃ，・・・に含まれるコントローラやドライブを示す情報を含む。このような情報には、各コントローラや各ドライブの位置情報（アドレス情報）が含まれる。また、構成情報３１１は、ストレージプールの構成を示す情報を含む。これらの情報は、監視ノード３０の構成情報３１１と同期される。
構成情報２１１は、ストレージノード１０ａ，１０ｂ，１０ｃ，・・・に含まれるコントローラやドライブを示す情報を含む。このような情報には、各コントローラや各ドライブの位置情報（アドレス情報）が含まれる。また、構成情報３１１は、ストレージプールの構成を示す情報を含む。これらの情報は、監視ノード３０の構成情報３１１と同期される。
【0059】
削除待ちリスト２１２については、図６を用いて説明する。
図６は、削除待ちリストの構成例を示す図である。削除待ちリスト２１２は、ストレージノードが追加されたとき、その追加に応じて実行されるリバランス処理の制御のために生成される。削除待ちリスト２１２は、ノードＩＤ、ドライブＩＤおよびステータスの各項目を含む。
図６は、削除待ちリストの構成例を示す図である。削除待ちリスト２１２は、ストレージノードが追加されたとき、その追加に応じて実行されるリバランス処理の制御のために生成される。削除待ちリスト２１２は、ノードＩＤ、ドライブＩＤおよびステータスの各項目を含む。
【0060】
ノードＩＤおよびドライブＩＤは、リバランス処理に伴うデータ削除の実行許諾が要求されたストレージノードおよびドライブを識別する情報である。すなわち、あるドライブにおけるデータ削除の実行許諾が該当するコントローラから要求されたとき、そのドライブを識別するためのノードＩＤおよびドライブＩＤが削除待ちリスト２１２に登録される。そして、削除待ちリスト２１２は、データ削除の実行許諾が要求されたドライブを順に選択するための、ＦＩＦＯ（First In／First Out）方式のキューとして使用される。ステータスは、対応するドライブにおいてデータ削除を実行中か否かを示すフラグ情報である。ステータスは、データ削除を未実行の場合には「０」に設定され、データ削除を実行中の場合には「１」に設定される。
【0061】
次に、退避データリスト２１３について、図７を用いて説明する。
図７は、退避データリストの構成例を示す図である。退避データリスト２１３は、ストレージノードの追加や、ストレージノードの故障が発生したとき、退避された書き込みデータ（オブジェクト）を管理するために生成される。退避データリスト２１３には、オブジェクトが退避された（退避先に書き込まれた）場合に、そのオブジェクトを示すオブジェクトＩＤが登録される。また、ストレージノードが故障した場合には、オブジェクトＩＤに対して、対応するオブジェクトの退避先を示すノードＩＤおよびドライブＩＤが対応付けて登録される。
図７は、退避データリストの構成例を示す図である。退避データリスト２１３は、ストレージノードの追加や、ストレージノードの故障が発生したとき、退避された書き込みデータ（オブジェクト）を管理するために生成される。退避データリスト２１３には、オブジェクトが退避された（退避先に書き込まれた）場合に、そのオブジェクトを示すオブジェクトＩＤが登録される。また、ストレージノードが故障した場合には、オブジェクトＩＤに対して、対応するオブジェクトの退避先を示すノードＩＤおよびドライブＩＤが対応付けて登録される。
【0062】
以下、図４を用いて説明を続ける。
システム管理部２２０は、オブジェクトストレージシステム全体の管理処理を行う。例えば、システム管理部２２０は、システムに関する設定変更を図示しない管理端末から受け付け、設定の変更処理を実行する。また、システム管理部２２０は、ストレージノードの追加や故障が発生した場合に、その事象に応じた処理をデータ削除制御部２３０に実行させる。
システム管理部２２０は、オブジェクトストレージシステム全体の管理処理を行う。例えば、システム管理部２２０は、システムに関する設定変更を図示しない管理端末から受け付け、設定の変更処理を実行する。また、システム管理部２２０は、ストレージノードの追加や故障が発生した場合に、その事象に応じた処理をデータ削除制御部２３０に実行させる。
【0063】
データ削除制御部２３０は、削除待ちリスト２１２を用いて、リバランス処理に伴うデータ削除の実行を制御する。また、データ削除制御部２３０は、ストレージノードの追加やストレージノードの故障発生に伴い、書き込みデータの退避先を決定して、監視ノード３０のマップ情報３１２を変更する。データ削除制御部２３０は、書き込みデータの退避が発生したとき、その書き込みデータを示す情報を退避データリスト２１３に登録する。そして、データ削除制御部２３０は、退避が不要な状態になると、退避データリスト２１３に基づいて、退避されたデータを元の位置に復旧するための復旧処理を実行する。なお、データ削除制御部２３０は、図１のデータ削除制御部１ａの一例である。
【0064】
故障対応制御部２４０は、ストレージノードの故障が発生した場合に、故障ノードに対する書き込みデータを退避させる制御を行う。
次に、図８は、ストレージプールの構成例を示す図である。
次に、図８は、ストレージプールの構成例を示す図である。
【0065】
本実施の形態のオブジェクトストレージシステムでは、複数のドライブがまとめられてストレージプールとして管理される。本実施の形態では、ストレージプールはストレージノードを単位として生成され、１つのストレージプールは、１つまたは複数のストレージノードに含まれるドライブによって実現される。
【0066】
また、１つのストレージプールは同じアクセス性能のドライブによって実現される。これにより、ストレージプールはそれぞれ固有のアクセス性能を備える論理的な記憶装置として利用される。そして、アクセス性能が異なるストレージプールは、アクセス頻度が高いデータを高速なストレージプールに保存し、アクセス頻度が低いデータを低速なストレージプールに保存する、といった目的で使い分けられる。なお、１つのストレージプールに含まれるドライブは、アクセス性能が同じだけでなく、記憶容量が同じであってもよい。
【0067】
図８の上側に示す例では、ストレージノード１０ａ～１０ｃに含まれるドライブによって高速なストレージプール１３ａが構築され、ストレージノード１０ｄ～１０ｆに含まれるドライブによって低速なストレージプール１３ｂが構築されているとする。すなわち、ストレージノード１０ａ～１０ｃに含まれるドライブより、ストレージノード１０ｄ～１０ｆに含まれるドライブのアクセス性能が低くなっている。
【0068】
なお、これ以後、説明を簡単にするために、ストレージノード１０ａ～１０ｆは次のような構成であるものとする。ストレージノード１０ａは、コントローラ１１ａとドライブ１２ａ１，１２ａ２を備えている。ストレージノード１０ｂは、コントローラ１１ｂとドライブ１２ｂ１，１２ｂ２を備えている。ストレージノード１０ｃは、コントローラ１１ｃとドライブ１２ｃ１，１２ｃ２を備えている。ストレージノード１０ｄは、コントローラ１１ｄとドライブ１２ｄ１，１２ｄ２を備えている。ストレージノード１０ｅは、コントローラ１１ｅとドライブ１２ｅ１，１２ｅ２を備えている。ストレージノード１０ｆは、コントローラ１１ｆとドライブ１２ｆ１，１２ｆ２を備えている。
【0069】
ところで、前述のように、このオブジェクトストレージシステムは、ストレージノードを増設可能なスケールアウト型のストレージシステムとなっている。このとき、増設したストレージノードを既存のストレージプールに組み込むことで、ストレージプールの記憶容量を拡大することができる。そして、記憶容量が拡大されたストレージプールにおいては、コントローラ間のアクセス制御負荷やドライブ間のアクセス負荷が平準化するようにデータを再配置すること（リバランス処理）が可能になっている。
【0070】
オブジェクトストレージシステムでは、データがディレクトリ構造で管理されるファイル型のストレージシステムと比較して、データの格納場所の管理が容易であり、データの移動や複製、分散配置をしやすくなっている。このため、ストレージ増設による記憶容量の拡大やリバランス処理が容易であり、一定のアクセス性能を維持しつつ、高い拡張性を実現できる。このような特性から、オブジェクトストレージシステムは、大容量データの保存に適している。近年、保存されるデータ量は増大しており、それに伴ってオブジェクトストレージシステムのスケールアウトが頻繁に行われている。
【0071】
図８の下側では、ストレージノード１０ｇが増設され、低速のストレージプール１３ｂに組み込まれたとする。ストレージノード１０ｇは、コントローラ１１ｇとドライブ１２ｇ１，１２ｇ２を備えているとする。以下、図８のようにストレージノード１０ｇが増設されたことに伴うリバランス処理を例示して説明する。
【0072】
図９は、ストレージノード増設に伴うリバランス処理の例を示す図である。
図９の上側に示すように、ストレージプール１３ａには、データＡに対応するデータＡ１～Ａ３と、データＢに対応するデータＢ１～Ｂ３と、データＣに対応するデータＣ１～Ｃ３が格納されている。また、ストレージプール１３ｂには、データＤに対応するデータＤ１～Ｄ３と、データＥに対応するデータＥ１～Ｅ３と、データＦに対応するデータＦ１～Ｆ３が格納されている。データＡ１～Ａ３，Ｂ１～Ｂ３，Ｃ１～Ｃ３，Ｄ１～Ｄ３，Ｅ１～Ｅ３，Ｆ１～Ｆ３は、それぞれオブジェクトである。
図９の上側に示すように、ストレージプール１３ａには、データＡに対応するデータＡ１～Ａ３と、データＢに対応するデータＢ１～Ｂ３と、データＣに対応するデータＣ１～Ｃ３が格納されている。また、ストレージプール１３ｂには、データＤに対応するデータＤ１～Ｄ３と、データＥに対応するデータＥ１～Ｅ３と、データＦに対応するデータＦ１～Ｆ３が格納されている。データＡ１～Ａ３，Ｂ１～Ｂ３，Ｃ１～Ｃ３，Ｄ１～Ｄ３，Ｅ１～Ｅ３，Ｆ１～Ｆ３は、それぞれオブジェクトである。
【0073】
本実施の形態のオブジェクトストレージシステムでは、データは複数のドライブに冗長化されて記憶される。冗長化の方法としては、例えば、レプリケーションやイレージャコーディングが利用される。データＡ１～Ａ３は、データＡを冗長化するために生成されたデータ（オブジェクト）を示す。
【0074】
例えば、レプリケーションが利用される場合、データＡはオブジェクトであり、データＡ１はデータＡそのものであり、データＡ２，Ａ３はデータＡ１をコピーしたコピーデータ（バックアップデータ）である。ゲートウェイノード４０がデータＡを書き込む場合、監視ノード３０は、データＡ１～Ａ３の格納場所をゲートウェイノード４０に通知して、データＡをそれらの３カ所に書き込むように指示する。また、ゲートウェイノード４０がデータＡを読み出す場合、監視ノード３０は通常、データＡ１の格納場所をゲートウェイノード４０に通知して、データＡ１を読み出すように指示する。
【0075】
また、イレージャコーディングが利用される場合、データＡ１～Ａ３は、データＡにパリティを付加したビット列を分割することで生成されたデータである。ゲートウェイノード４０がデータＡを書き込む場合、監視ノード３０は、データＡ１～Ａ３の格納場所をゲートウェイノード４０に通知し、データＡを基にデータＡ１～Ａ３を生成して該当する格納場所に書き込むように指示する。また、ゲートウェイノード４０がデータＡを読み出す場合、監視ノード３０は例えば、データＡ１，Ａ２の格納場所をゲートウェイノード４０に通知し、データＡ１，Ａ２を読み出してデータＡを復元するように指示する。この例では、データＡ１～Ａ３のうちの１つが失われても、残りの２つのデータから元のデータＡを復元できる。なお、実際には、分割したデータ列のうち少なくとも２つが失われた場合でも残りのデータから元のデータを復元できるようにデータ列の分割数が決定される。
【0076】
データＢとデータＢ１～Ｂ３との関係、データＣとデータＣ１～Ｃ３との関係、データＤデータとＤ１～Ｄ３との関係、データＥとデータＥ１～Ｅ３との関係、データＦとデータＦ１～Ｆ３との関係も、データＡとデータＡ１～Ａ３との関係と同様である。
【0077】
データＡ１～Ａ３は、ストレージプール１３ａに属するストレージノード１０ａ～１０ｃのうち互いに異なるストレージノードに含まれるドライブに格納される。これにより、ドライブの故障だけでなく、コントローラの故障などストレージノード単位の故障が発生した場合におけるデータの消失を防止する。データＢ１～Ｂ３、およびデータＣ１～Ｃ３についても同様である。
【0078】
図９の例では、データＡ１はドライブ１２ａ１に格納され、データＡ２はドライブ１２ｂ１に格納され、データＡ３はドライブ１２ｃ１に格納されている。データＢ１はドライブ１２ａ１に格納され、データＢ２はドライブ１２ｂ１に格納され、データＢ３はドライブ１２ｃ１に格納されている。データＣ１はドライブ１２ａ２に格納され、データＣ２はドライブ１２ｂ２に格納され、データＣ３はドライブ１２ｃ２に格納されている。
【0079】
また、データＤ１～Ｄ３は、ストレージプール１３ｂに属するストレージノード１０ｄ～１０ｆのうち互いに異なるストレージノードに含まれるドライブに格納される。データＥ１～Ｅ３、およびデータＦ１～Ｆ３についても同様である。図９の例では、データＤ１はドライブ１２ｄ１に格納され、データＤ２はドライブ１２ｅ１に格納され、データＤ３はドライブ１２ｆ１に格納されている。データＥ１はドライブ１２ｄ１に格納され、データＥ２はドライブ１２ｅ１に格納され、データＥ３はドライブ１２ｆ１に格納されている。データＦ１はドライブ１２ｄ２に格納され、データＦ２はドライブ１２ｅ２に格納され、データＦ３はドライブ１２ｆ２に格納されている。
【0080】
以上の状態から、ストレージノード１０ｇが増設され、ストレージプール１３ｂに組み込まれたとする。このとき、監視ノード３０のリバランス処理部３３０は、ストレージノード１０ｄ～１０ｆに格納されたデータについて、拡張後のストレージプール１３ｂ内のドライブ間のアクセス負荷やコントローラ間の制御負荷を平準化させるリバランス処理を実行する。リバランス処理は、ストレージノード１０ｄ～１０ｆに格納されたデータのうち再配置すべきデータを、新たな配置先にコピーするコピー処理と、コピー済みの元のデータを削除する削除処理とに大別される。
【0081】
図９の下側に示す例では、データＤ１，Ｅ２，Ｆ３が再配置の対象データとして特定されたとする。そして、データＤ１，Ｅ２はストレージノード１０ｇのドライブ１２ｇ１にコピーされ、データＦ３はストレージノード１０ｇのドライブ１２ｇ２にコピーされたとする。このとき、データＤ１は、コントローラ１１ｄによってドライブ１２ｄ１から読み出されてネットワーク６２を介してコントローラ１１ｇに転送され、コントローラ１１ｇによってドライブ１２ｇ１に書き込まれる。また、データＥ２は、コントローラ１１ｅによってドライブ１２ｅ１から読み出されてネットワーク６２を介してコントローラ１１ｇに転送され、コントローラ１１ｇによってドライブ１２ｇ１に書き込まれる。データＦ３は、コントローラ１１ｆによってドライブ１２ｆ２から読み出されてネットワーク６２を介してコントローラ１１ｇに転送され、コントローラ１１ｇによってドライブ１２ｇ２に書き込まれる。
【0082】
図１０は、データの削除処理の比較例を示す図である。図１０では、図９の下側に示したようにデータＤ１，Ｅ２，Ｆ３のコピー処理が実行された後、すぐにコピー元のデータＤ１，Ｅ２，Ｆ３の削除処理が実行されたとする。なお、ドライブ１２ｄ１内のデータＤ１の削除処理は、コントローラ１１ｄによって実行される。また、ドライブ１２ｅ１内のデータＥ２の削除処理は、コントローラ１１ｅによって実行される。ドライブ１２ｆ２内のデータＦ３の削除処理は、コントローラ１１ｆによって実行される。
【0083】
ここで、削除処理の実行中でも、ゲートウェイノード４０からのストレージプール１３ｂに対するアクセスが継続しているとする。この場合、データＤ１の削除処理が行われているドライブ１２ｄ１に対するアクセスが行われると、削除処理の負荷のためにそのアクセス速度が低下する可能性がある。データＥ２，Ｆ３の削除処理が行われているドライブ１２ｅ１，１２ｆ２についても同様である。
【0084】
実際には、ストレージノードの増設に伴う再配置および削除処理の対象データ数は膨大な数になり得る。このため、１つのドライブにおいて大量のデータについての削除処理が実行され得るので、このドライブに対するアクセス負荷や、このドライブを配下に備えるコントローラのアクセス制御負荷は過負荷になり、アクセス性能が大きく低下してしまう。前述のようにオブジェクトストレージシステムは大容量データの格納に向いており、その格納データ量は増大する傾向にある。このため、上記のようなデータの削除処理に伴うアクセス性能低下という問題の発生頻度は高まっている。
【0085】
そこで、本実施の形態では、管理ノード２０が、データの削除処理を実行中のドライブに対するゲートウェイノード４０からのアクセスを抑止するように制御する。そして、管理ノード２０は、ゲートウェイノード４０からそのドライブに対するデータの書き込みが発生した場合には、そのデータを他のドライブに書き込む（書き込みデータを他のドライブに退避させる）ように制御する。このように、負荷の小さいドライブの空き領域を書き込みデータの退避領域として有効活用することで、ゲートウェイノード４０のアクセス性能の低下を抑制する。その結果として、クライアント装置５０ａ，５０ｂ，５０ｃ，・・・からのゲートウェイノード４０を介したストレージアクセス性能を可能な限り維持できるようにする。
【0086】
図１１は、データ退避の比較例を示す図である。書き込みデータの退避先の選択方法としては、例えば、アクセス負荷が十分低く、空き容量も十分大きいドライブを選択する方法が考えられる。図１１では例として、このような方法により退避先として１つのドライブ１２ａ２が選択され、データの削除処理を実行中のドライブに対する書き込みデータが、ドライブ１２ａ２に退避されるとする。
【0087】
また、図１１の例では、データＧに対応するデータＧ１，Ｇ２，Ｇ３がそれぞれドライブ１２ｄ１，１２ｅ１，１２ｆ２に記憶されていたとする。そして、ゲートウェイノード４０においてデータＧの更新が発生し、データＧ１，Ｇ２，Ｇ３をそれぞれデータＧ１’，Ｇ２’，Ｇ３’に更新する処理が要求されたとする。この場合、データＧ１’～Ｇ３’はドライブ１２ａ２に退避されることになる。しかしこのケースでは、データＧ１’～Ｇ３’は同一のドライブ１２ａ２に格納されてしまい、冗長性がなくなってしまうという問題がある。
【0088】
そこで、管理ノード２０は、データの削除処理が複数のドライブで同時に実行されず、ドライブ単位で順番に実行されるように制御して、削除処理が実行させるドライブごとに、データの冗長性が保たれるような書き込みデータの適切な退避先を決定する。このような制御の実現のために、削除待ちリスト２１２が利用される。ストレージノードのコントローラは、リバランス処理に伴う、配下のドライブから他のストレージノードへのデータコピーを実行した後、削除処理の実行許諾を要求するための実行許諾要求を管理ノード２０に送信して、実行が許諾されるのを待つ。管理ノード２０のデータ削除制御部２３０は、実行許諾が要求されたドライブを示すレコードを削除待ちリスト２１２に登録する。そして、データ削除制御部２３０は、削除待ちリスト２１２の先頭からレコードを順次取り出し、取り出したレコードが示すドライブについて最適な退避先ドライブを設定した上で、取り出したレコードが示すドライブにおけるデータの削除処理の実行を許諾する。
【0089】
図１２は、削除待ちリストに対する登録処理の例を示す図である。本実施の形態では、図９に示したようにストレージノード１０ｇが増設されてストレージプール１３ｂに組み込まれると、監視ノード３０のリバランス処理部３３０によりリバランス処理が開始される。リバランス処理部３３０は、ストレージノード１０ｄ～１０ｆのドライブに格納されたデータの中からストレージノード１０ｇのドライブに再配置すべきデータを特定する。そして、リバランス処理部３３０は、ストレージノード１０ｄ～１０ｆのコントローラ１１ｄ～１１ｆに対して、再配置の対象データとその格納先ドライブのリストを通知する。
【0090】
コントローラ１１ｄ～１１ｆは、通知されたリストにしたがって再配置の対象データを格納先ドライブにコピーする。このとき、コントローラ１１ｄ～１１ｆは、再配置の対象データが格納されているドライブを単位としてコピー処理を実行する。そして、コントローラ１１ｄ～１１ｆは、１つのドライブについてのコピー処理が完了すると、そのドライブについてのデータ削除処理の実行許諾を要求するための実行許諾要求を管理ノード２０に送信する。そのドライブについてのデータ削除処理は実行許諾の待ち状態になり、その実行が抑止される。
【0091】
図１２の例では、まず、ドライブ１２ｄ１からの再配置の対象データのコピー処理が完了し、コントローラ１１ｄから管理ノード２０に対して、ドライブ１２ｄ１を指定した削除処理の実行許諾要求が送信される。管理ノード２０のデータ削除制御部２３０は、この実行許諾要求に応じて、ストレージノード１０ｄを識別するノードＩＤとドライブ１２ｄ１を識別するドライブＩＤを含むレコード２１２ａを、削除待ちリスト２１２に登録する。
【0092】
また、図１２の例では次に、ドライブ１２ｅ１からの再配置の対象データのコピー処理が完了し、コントローラ１１ｅから管理ノード２０に対して、ドライブ１２ｅ１を指定した削除処理の実行許諾要求が送信される。管理ノード２０のデータ削除制御部２３０は、この実行許諾要求に応じて、ストレージノード１０ｅを識別するノードＩＤとドライブ１２ｅ１を識別するドライブＩＤとを含むレコード２１２ｂを、削除待ちリスト２１２に登録する。
【0093】
さらに、図１２の例では次に、ドライブ１２ｆ２からの再配置の対象データのコピー処理が完了し、コントローラ１１ｆから管理ノード２０に対して、ドライブ１２ｆ２を指定した削除処理の実行許諾要求が送信される。管理ノード２０のデータ削除制御部２３０は、この実行許諾要求に応じて、ストレージノード１０ｆを識別するノードＩＤとドライブ１２ｆ２を識別するドライブＩＤを含むレコード２１２ｃを、削除待ちリスト２１２に登録する。
【0094】
管理ノード２０のデータ削除制御部２３０は、オブジェクトストレージシステム上の各ドライブについての現在の状況を示す情報を、例えば定期的に、あるいは削除待ちリスト２１２からレコードを選択するたびに、監視ノード３０から収集する。データ削除制御部２３０は、収集された情報に基づいて書き込みデータの退避先ドライブを決定する。
【0095】
図１３は、ドライブリストの例を示す図である。データ削除制御部２３０は、例えば、各ドライブについて収集された情報をドライブごとにリスト化したドライブリスト２１４を生成する。ドライブリスト２１４には、ノードＩＤおよびドライブＩＤによって識別されるドライブごとにレコードが登録される。
【0096】
本実施の形態では、ドライブのアクセス性能と、ドライブの現在のアクセス負荷と、ドライブの現在の残容量とが収集される。アクセス性能は、例えば書き込み速度（スループット）で表される。アクセス負荷は、例えば、アクティブな時間の割合を示すディスク使用率で表される。これらのアクセス性能、アクセス負荷および残容量の各情報は、監視ノード３０のシステム監視部３２０によって収集され、管理ノード２０のデータ削除制御部２３０に受け渡される。ただし、アクセス性能は事前にわかる情報であるので、管理ノード２０の記憶部２１０にあらかじめ記憶されていてもよい。
【0097】
データ削除制御部２３０は、例えば、（１）ドライブのアクセス性能が高い、（２）ドライブのアクセス負荷が低い、（３）ドライブの残容量が大きい、という優先順で、書き込みデータの退避先ドライブを選択する。例えば、データ削除制御部２３０は、ドライブリスト２１４のレコードを、まず、アクセス性能の高い順にソートする。次に、データ削除制御部２３０は、アクセス性能が最高であり、同じ値を有するレコードが複数存在した場合、それらのレコードをアクセス負荷が低い順にソートする。次に、データ削除制御部２３０は、アクセス負荷が最低であり、同じ値を有するレコードが複数存在した場合、それらのレコードを残容量が大きい順にソートする。このようにして、最も順位の高いレコードが示すドライブが書き込みデータの退避先に決定される。
【0098】
ただし、データ削除制御部２３０は、データの冗長性が失われないように書き込みデータの退避先ドライブを決定する。そのために、データ削除制御部２３０は少なくとも、システム内のドライブのうち、データの削除処理が実行されるドライブ内のデータと冗長関係にある他のデータが格納されているドライブを除く他のドライブの中から、退避先ドライブを選択する。
【0099】
本実施の形態では、次のような方法を採用することで、データの冗長性が失われないように書き込みデータの退避先ドライブが決定される。冗長関係にあるデータは、同じストレージプール内の別のドライブに分散して配置される。そこで、データ削除制御部２３０は、データ削除処理の実行を許諾するドライブと同じストレージプールに含まれているドライブを、書き込みデータの退避先ドライブの候補から除外する。これにより、データ削除処理の実行を許諾するドライブとは別のストレージプールに含まれるドライブが、書き込みデータの退避先として決定されるようにする。
【0100】
図１４は、データ削除および書き込みデータの退避の処理例を示す図である。図１４の例では、図１２に示した削除待ちリスト２１２から、ドライブ１２ｄ１を示すレコード２１２ａがデータ削除制御部２３０によって選択されたとする。このとき、選択されたレコード２１２ａのステータスは「０」から「１」に更新される。また、データ削除制御部２３０により、書き込みデータの退避先がドライブ１２ａ２に決定されたとする。
【0101】
データ削除制御部２３０は、監視ノード３０に対して、マップ情報３１２において格納位置がドライブ１２ｄ１となっているすべてのオブジェクトについて、格納位置をドライブ１２ａ２に変更するように指示する。監視ノード３０のマップデータ処理部３４０は、該当するオブジェクトについて、ノードＩＤおよびドライブＩＤを退避先ドライブを示すように更新する。また、マップデータ処理部３４０は、該当するオブジェクトについて、退避フラグを「０」から「１」に更新し、更新前の元のノードＩＤおよびドライブＩＤを変更前ノードＩＤおよび変更前ドライブＩＤの各項目に登録する。
【0102】
データ削除制御部２３０は、マップ情報３１２の更新が完了すると、ストレージノード１０ｄのコントローラ１１ｄに対して、データ削除処理の実行を許諾する許諾通知を送信する。コントローラ１１ｄはこの許諾通知に応じて、ドライブ１２ｄ１に含まれる再配置の対象データの削除処理を開始する。
【0103】
ここで、ドライブ１２ｄ１でのデータ削除処理の実行中に、ゲートウェイノード４０においてデータＧの更新が発生し、データＧ１，Ｇ２，Ｇ３をそれぞれデータＧ１’，Ｇ２’，Ｇ３’に更新する処理が要求されたとする。このとき、監視ノード３０のマップデータ処理部３４０は、マップ情報３１２に基づいて、データＧ１’，Ｇ２’の書き込み先としてそれぞれドライブ１２ｅ１，１２ｆ２をゲートウェイノード４０に通知する。ゲートウェイノード４０のアクセス制御部４１０は、ドライブ１２ｅ１，１２ｆ２にアクセスしてデータＧ２，Ｇ３をデータＧ２’，Ｇ３’に更新する。
【0104】
しかし、マップデータ処理部３４０は、上記手順で更新されたマップ情報３１２に基づき、データＧ１’の書き込み先としてドライブ１２ｄ１ではなく、退避先のドライブ１２ａ２を通知する。これにより、アクセス制御部４１０は、データＧ１’を退避先のドライブ１２ａ２に書き込む。このようにして、ドライブ１２ｄ１でデータの削除処理が実行されている間、ドライブ１２ｄ１に対する書き込みデータはドライブ１２ａ２に退避される。このように、データの削除処理によってアクセス負荷が増大しているドライブ１２ｄ１でなく、高速かつ低負荷のドライブ１２ｄ１にデータＧ１’が書き込まれることで、書き込み速度の低下を抑制できる。
【0105】
また、管理ノード２０のデータ削除制御部２３０は、データＧ１’が退避されると、データＧ１’を示すオブジェクトＩＤを退避データリスト２１３に登録する。この登録処理は、監視ノード３０のマップデータ処理部３４０が、マップ情報３１２において退避フラグが「１」になっているデータＧ１’の格納位置の問い合わせをゲートウェイノード４０から受けたときに、データＧ１’を示すオブジェクトＩＤを管理ノード２０に通知することで行われる。退避データリスト２１３は、ドライブ１２ｄ１でのデータの削除処理が完了したときに、退避された書き込みデータをドライブ１２ｄ１内に書き戻す（退避データを復旧する）ために利用される。
【0106】
なお、以上の図１４では、データ削除処理が実行されているドライブ１２ｄ１に対する書き込みが要求された場合にのみ、書き込みデータが退避先ドライブに退避されるものとした。しかし、他の例として、データ削除処理が実行されているドライブ１２ｄ１が含まれるストレージノード１０ｄ内のすべてのドライブについて、書き込みが要求された場合に、書き込みデータが退避先ドライブに退避されるようにしてもよい。この場合、マップ情報３１２の更新では、格納位置としてストレージノード１０ｄのノードＩＤが登録されているすべてのオブジェクトについて、格納位置がドライブ１２ａ２に変更される。
【0107】
図１５は、データ削除処理の実行中における読み出し処理例を示す図である。ドライブ１２ｄ１でのデータ削除処理の実行中に、ゲートウェイノード４０においてデータＥの読み出しが発生したとする。この場合、通常であればデータＥに対応するデータＥ１～Ｅ３のうち、少なくとも、ドライブ１２ｄ１に格納されているデータＥ１が読み出される。しかし、ドライブ１２ｄ１でのデータ削除処理の実行中では、データＥ１が格納されているドライブ１２ｄ１が故障している場合と同様の読み出し制御が行われる。
【0108】
例えば、レプリケーションによりデータＥが冗長化されている場合、通常はデータＥ１が読み出されるが、ドライブ１２ｄ１でのデータ削除処理の実行中では、ドライブ１２ｇ１からバックアップデータであるデータＥ２が読み出される。この制御は、次のように行われる。
【0109】
監視ノード３０のマップデータ処理部３４０は、ゲートウェイノード４０のアクセス制御部４１０からデータＥ１の格納位置の問い合わせを受けたとき、マップ情報３１２を参照し、データＥ１を示すオブジェクトＩＤに対応付けられた退避フラグを読み出す。退避フラグが「１」の場合、マップデータ処理部３４０は、データＥ１の読み出しが不可能であることをアクセス制御部４１０に通知する。すると、アクセス制御部４１０は、データＥ２の格納位置を問い合わせる。データＥ２のオブジェクトＩＤに対応する退避フラグは「０」であるので、マップデータ処理部３４０は、マップ情報３１２においてデータＥ２のオブジェクトＩＤに対応付けられたノードＩＤおよびドライブＩＤをアクセス制御部４１０に通知する。これにより、アクセス制御部４１０はデータＥ２の読み出しを実行する。
【0110】
また、イレージャコーディングによりデータＥが冗長化されている場合、例えば、通常はデータＥ１，Ｅ２が読み出される。しかし、ドライブ１２ｄ１でのデータ削除処理の実行中では、データＥ２，Ｅ３が読み出されてデータＥが復元される。この制御は、次のように行われる。
【0111】
監視ノード３０のマップデータ処理部３４０は、ゲートウェイノード４０のアクセス制御部４１０からデータＥ１，Ｅ２の格納位置の問い合わせを受けたとき、マップ情報３１２から、データＥ１，Ｅ２を示すオブジェクトＩＤに対応付けられた退避フラグを読み出す。データＥ１，Ｅ２に対応する退避フラグがそれぞれ「１」、「０」の場合、マップデータ処理部３４０は、データＥ２の格納位置をアクセス制御部４１０に通知するとともに、データＥ１の読み出しが不可能であることを通知する。すると、アクセス制御部４１０は、データＥ３の格納位置を問い合わせる。データＥ３のオブジェクトＩＤに対応する退避フラグは「０」であるので、マップデータ処理部３４０は、データＥ３の格納位置をアクセス制御部４１０に通知する。これにより、アクセス制御部４１０はデータＥ２，Ｅ３の読み出しを実行してデータＥを復元する。
【0112】
このように、データの削除処理によってアクセス負荷が増大しているドライブ１２ｄ１に格納されているデータを読み出さず、それ以外のドライブに格納されているデータを読み出すことで、読み出し速度の低下を抑制できる。
【0113】
図１６は、退避データの復旧処理例を示す図である。ドライブ１２ｄ１におけるすべてのコピー済みデータの削除処理が完了すると、ストレージノード１０ｄのコントローラ１１ｄは、削除処理が完了したことを示す完了通知を管理ノード２０に送信する。管理ノード２０のデータ削除制御部２３０は、退避データリスト２１３から退避されたデータのオブジェクトＩＤを取得し、そのオブジェクトＩＤに対応するデータの復旧処理を実行させる。
【0114】
図１６の例では、退避データリスト２１３からデータＧ１’のオブジェクトＩＤが取得される。このオブジェクトＩＤは、データＧ１のオブジェクトＩＤと同一である。データ削除制御部２３０は、ストレージノード１０ａのコントローラ１１ａに対して、取得したオブジェクトＩＤを指定して、データＧ１’をドライブ１２ｄ１に移動させるように指示する。コントローラ１１ａはこの指示に応じて、ドライブ１２ａ１からデータＧ１’を読み出し、このデータＧ１’をドライブ１２ｄ１に書き込むようにコントローラ１１ｄに要求する。これにより、ドライブ１２ｄ１のデータＧ１がデータＧ１’に更新される。コントローラ１１ａは、書き込みが完了するとドライブ１２ａ２内のデータＧ１’を削除して、復旧の完了通知を管理ノード２０に送信する。
【0115】
管理ノード２０のデータ削除制御部２３０は、監視ノード３０に対してマップ情報３１２の復旧を指示する。この復旧指示では、ドライブ１２ｄ１に格納されていた各データの格納位置を、退避先のドライブ１２ａ２から元のドライブ１２ｄ１に戻すように指示される。
【0116】
監視ノード３０のマップデータ処理部３４０は、この指示にしたがい、マップ情報３１２における該当するオブジェクトに対応付けられたノードＩＤおよびドライブＩＤを、元のドライブ１２ｄ１を示すように更新する。この更新処理では、マップ情報３１２において退避フラグが「１」となっているレコードについて、ノードＩＤおよびドライブＩＤがそれぞれストレージノード１０ｄおよびドライブ１２ｄのＩＤに変更される。また、マップデータ処理部３４０は、該当するオブジェクトについて、退避フラグを「１」から「０」に更新する。
【0117】
以上の処理が完了すると、管理ノード２０のデータ削除制御部２３０は、ドライブ１２ｄ１を示すレコード２１２ａを削除待ちリスト２１２から削除する。これにより、ドライブ１２ｄ１についてのリバランス処理が完了し、ゲートウェイノード４０からドライブ１２ｄ１に対する通常のアクセスが再開される。
【0118】
また、データ削除制御部２３０は、削除待ちリスト２１２から次のレコード２１２ｂを選択し、レコード２１２ｂが示すドライブ１２ｅ１におけるデータ削除処理が開始させる。このとき、その時点での最新のドライブリスト２１４の内容から、書き込みデータの退避先ドライブが決定される。
【0119】
以上の図１２～図１６に示した処理により、ドライブごとにデータ削除処理が実行されるとともに、書き込みデータの退避先ドライブが決定されて書き込みデータが退避される。そして、データ削除処理が完了すると、退避されていた書き込みデータが本来のドライブに移動されて復旧される。このような処理により、ゲートウェイノード４０からのデータのアクセス性能を維持し、かつ書き込みデータの安全性を維持した状態で、ストレージノードの増設およびストレージプールの拡張を行うことができる。
【0120】
また、削除待ちリスト２１２を用いてデータ削除処理をドライブ単位で実行させ、複数のドライブでのデータ削除処理を同時に実行させないことで、データ削除処理を実行中の１つのドライブに対して、１つの退避先ドライブが決定される。このため、データ削除処理中の１つのドライブ内のデータに対応する更新データが１つの退避先ドライブに格納されるようになる。その結果、冗長関係にある複数のデータが同一の退避先ドライブに格納されることがなく、データの冗長性を低下させないようにすることができる。
【0121】
さらに、削除待ちリスト２１２を用いてデータ削除処理をドライブ単位で実行させ、複数のドライブでのデータ削除処理を同時に実行させないことで、書き込みデータの退避先の管理や、退避されていた書き込みデータを復旧させるための処理を簡易化できる。すなわち、書き込みデータの退避や退避されていた書き込みデータの復旧を、複雑な制御を行うことなく確実に実行できる。特に、書き込みデータの冗長性を低下させないような退避先ドライブを、簡易な処理によって確実に選択できる。
【0122】
次に、ストレージノードが故障した場合について説明する。
図１７は、ストレージノードの故障に伴うデータ復元の処理例を示す比較例である。図１７では、上側に示すようにストレージノード１０ｄ～１０ｇによってストレージプール１３ｂが構築されている状態から、ストレージノード１０ｄの故障が発生した場合を例示している。この場合、図１７の下側に示すように、ストレージノード１０ｄのドライブ１２ｄ１，１２ｄ２に格納されていたデータの復元が行われる。
図１７は、ストレージノードの故障に伴うデータ復元の処理例を示す比較例である。図１７では、上側に示すようにストレージノード１０ｄ～１０ｇによってストレージプール１３ｂが構築されている状態から、ストレージノード１０ｄの故障が発生した場合を例示している。この場合、図１７の下側に示すように、ストレージノード１０ｄのドライブ１２ｄ１，１２ｄ２に格納されていたデータの復元が行われる。
【0123】
図１７の下側では例として、イレージャコーディングによりデータが冗長化されているものとし、データＥ２，Ｅ３に基づいてデータＥ１が復元され、データＦ２，Ｆ３に基づいてデータＦ１が復元されている。なお、レプリケーションによりデータが冗長化されている場合には、データＥ１はデータＥ２，Ｅ３のいずれかのコピーによって復元され、データＦ１はデータＦ２，Ｆ３のいずれかのコピーによって復元される。
【0124】
また、図１７の下側では例として、復元されたデータＥ１，Ｆ１はドライブ１２ｅ１に格納されたとする。この後、ストレージノード１０ｅ～１０ｇにおいてコントローラ間の制御負荷やドライブ間のアクセス負荷を平準化するためのリバランス処理が実行される。
【0125】
図１８は、ストレージノード故障後のリバランス処理の例を示す比較例である。図１８の例では、リバランス処理により、ドライブ１２ｅ１に格納されていたデータＥ１，Ｆ１が、それぞれドライブ１２ｆ２，１２ｅ２に再配置されるとする。この場合、コントローラ１１ｅによって、データＥ１，Ｆ１がドライブ１２ｆ２，１２ｅ２にコピーされた後、データＥ１，Ｆ１を元のドライブ１２ｅ１から削除する削除処理が実行される。
【0126】
ここで、削除処理の実行中でも、ゲートウェイノード４０からのストレージプール１３ｂに対するアクセスが継続しているとする。この場合、データＥ１，Ｆ１の削除処理が行われているドライブ１２ｅ１に対するアクセスが行われると、削除処理の負荷のためにそのアクセス速度が低下する可能性がある。
【0127】
前述のストレージノードの増設の場合と同様、実際には、ストレージノードの故障に伴う再配置および削除処理の対象データ数は膨大な数になり得る。このため、１つのドライブにおいて大量のデータについての削除処理が実行され得る。その結果、このドライブに対するアクセス負荷や、このドライブを配下に備えるコントローラのアクセス制御負荷は過負荷になり、アクセス性能が大きく低下してしまう。
【0128】
そこで、本実施の形態では、次の図１９、図２０に示すような処理が実行される。
図１９は、データ削除処理の実行中における書き込みデータの退避処理例を示す図である。なお、ここでは、レプリケーションまたはイレージャコーディングによるデータの多重度が３以上であるとする。例えば、レプリケーションが利用される場合、元のデータ（オブジェクト）に対応するバックアップデータが２以上生成されて分散配置される。また、イレージャコーディングが利用され、元のデータにパリティを付加したデータ列からｍ個のデータ（オブジェクト）が生成されて分散配置される場合、ｍ個のデータのうち（ｍ－２）個以下のデータを用いて元のデータを復元できるものとする。
図１９は、データ削除処理の実行中における書き込みデータの退避処理例を示す図である。なお、ここでは、レプリケーションまたはイレージャコーディングによるデータの多重度が３以上であるとする。例えば、レプリケーションが利用される場合、元のデータ（オブジェクト）に対応するバックアップデータが２以上生成されて分散配置される。また、イレージャコーディングが利用され、元のデータにパリティを付加したデータ列からｍ個のデータ（オブジェクト）が生成されて分散配置される場合、ｍ個のデータのうち（ｍ－２）個以下のデータを用いて元のデータを復元できるものとする。
【0129】
本実施の形態では、例えば図１９に示すようにストレージノード１０ｄの故障が検知された場合、ストレージノード１０ｄがいずれ復旧すると考えて、ストレージノード１０ｄ内のデータの復旧や、ストレージノード１０ｅ～１０ｇでのリバランス処理を実行しない。管理ノード２０の故障対応制御部２４０は、ストレージノード１０ｄの故障が検知された場合、最新のドライブリスト２１４の内容を基に、ストレージノード１０ｄ内のドライブに対応する書き込みデータの退避先ドライブを決定する。
【0130】
このとき、故障対応制御部２４０は、退避先ドライブを１台のみ決定してもよいが、例えばクライアント装置上のアプリケーションの性質により多数の書き込み要求が発生し得る場合、退避先ドライブを複数台決定してもよい。例えば、故障対応制御部２４０は、ドライブリスト２１４の上位から順に退避先ドライブを選択することで、ストレージノード１０ｄ内のドライブごとに異なる退避先ドライブを決定する。ただし、前述のストレージノードの増設時と同様に、退避先ドライブは、ストレージノード１０ｄが属するストレージプール１３ｂに含まれないドライブの中から選択される。
【0131】
以下の説明では、ストレージノード１０ｄ内のドライブごとにそれぞれ個別の退避先ドライブが割り当てられるものとする。また、退避先ドライブを示すノードＩＤおよびドライブＩＤと、退避元ドライブを示すノードＩＤおよびドライブＩＤとの対応関係が、退避ドライブリスト２１５に登録されるものとする。このように退避先ドライブと退避元ドライブとが一対一で対応付けられることで、特にストレージノードが復旧した際のマップ情報３１２における格納位置の変更処理を単純化できる。なお、退避ドライブリスト２１５は、記憶部２１０に記憶される。
【0132】
故障対応制御部２４０は、このような退避先ドライブの決定結果に基づき、マップ情報３１２においてストレージノード１０ｄのノードＩＤが対応付けられているすべてのオブジェクトについて、格納位置を退避先ドライブに変更するように監視ノード３０に指示する。監視ノード３０のマップデータ処理部３４０は、ストレージノードの増設の場合と同様に、該当するオブジェクトについて、ノードＩＤおよびドライブＩＤを退避先ドライブを示すように更新する。また、マップデータ処理部３４０は、該当するオブジェクトについて、退避フラグを「０」から「１」に更新する。
【0133】
これにより、ストレージノード１０ｄ内のドライブに格納されているデータに対する書き込み（更新）が要求された場合、書き込みデータは退避先ドライブに格納されるようになる。例えば図１９に示すように、ゲートウェイノード４０においてデータＥの更新が発生し、データＥ１，Ｅ２，Ｅ３をそれぞれデータＥ１’，Ｅ２’，Ｅ３’に更新する処理が要求されたとする。このとき、監視ノード３０のマップデータ処理部３４０は、マップ情報３１２に基づいて、データＥ２’，Ｅ３’の書き込み先としてそれぞれドライブ１２ｇ１，１２ｆ１をゲートウェイノード４０に通知する。ゲートウェイノード４０のアクセス制御部４１０は、ドライブ１２ｇ１，１２ｆ１にアクセスしてデータＥ２，Ｅ３をデータＥ２’，Ｅ３’に更新する。
【0134】
しかし、マップデータ処理部３４０は、上記手順で更新されたマップ情報３１２に基づき、データＥ１’の書き込み先としてドライブ１２ｄ１ではなく、退避先のドライブ１２ａ２を通知する。これにより、アクセス制御部４１０は、データＥ１’を退避先のドライブ１２ａ２に書き込む。このようにして、ストレージノード１０ｄの動作が停止している間、ドライブ１２ｄ１に対する書き込みデータはドライブ１２ａ２に退避される。
【0135】
また、管理ノード２０の故障対応制御部２４０は、データＥ１’が退避されると、監視ノード３０からの通知に応じて、データＥ１’を示すオブジェクトＩＤを退避データリスト２１３に登録する。このとき、退避先を示すストレージノード１０ａのノードＩＤおよびドライブ１２ａ２のドライブＩＤも退避データリスト２１３に登録される。
【0136】
図２０は、退避データの復旧処理例を示す図である。ストレージノード１０ｄが故障から復旧すると、管理ノード２０の故障対応制御部２４０は、退避データリスト２１３から退避されたデータのオブジェクトＩＤを取得し、そのオブジェクトＩＤに対応するデータの復旧処理を実行させる。
【0137】
図２０の例では、退避データリスト２１３からデータＥ１’のオブジェクトＩＤが登録されたレコードが取り出される。故障対応制御部２４０は、取り出したレコードのノードＩＤおよびドライブＩＤから、データＥ１’の現在の格納場所（退避先ドライブ）を判定する。また、故障対応制御部２４０は、退避ドライブリスト２１５を参照して、当該退避先ドライブに対応付けられた退避元ドライブを判定する。図２０の例では、ドライブ１２ａ２が退避先ドライブと判定され、ドライブ１２ｄ１が退避元ドライブと判定される。故障対応制御部２４０は、ストレージノード１０ａのコントローラ１１ａに対して、ドライブ１２ａ２内のデータＥ１’をドライブ１２ｄ１に移動させるように指示する。これにより、データＥ１’が本来の格納位置であるドライブ１２ｄ１に移動される。
【0138】
このようにして、退避データリスト２１３に登録されたすべてのオブジェクトＩＤについてのデータ移動が完了すると、故障対応制御部２４０は、監視ノード３０に対してマップ情報３１２の更新を指示する。この更新処理では、マップ情報３１２のレコードのうち、退避フラグが「１」であり、かつ、ノードＩＤおよびドライブＩＤが退避ドライブリスト２１５に登録された退避先ドライブを示しているレコードについて、退避元ドライブを示すようにノードＩＤおよびドライブＩＤが変更される。また、該当レコードについて、退避フラグが「１」から「０」に更新される。以上の処理が完了すると、ストレージノード１０ｄへのアクセスが再開される。
【0139】
以上の図１９、図２０に示したように、ストレージノードの故障が発生した場合には、リバランス処理が行われないように制御することで、データ削除処理の負荷に起因するアクセス速度の低下という問題を発生させないようにすることができる。なお、ストレージノードの故障中における読み出し処理の手順は、図１５で説明した、データ削除処理中における読み出し処理の手順と同様である。
【0140】
次に、オブジェクトストレージシステムにおける処理についてシーケンス図を用いて説明する。まず、ストレージノードが増設された場合の処理について、図２１～図２５を用いて説明する。なお、図２１、図２２、図２５では、図８の下側に示したように、ストレージノード１０ｇが増設され、ストレージプール１３ｂに組み込まれた場合について例示する。
【0141】
図２１は、ストレージノードが増設された場合の処理例を示すシーケンス図である。
［ステップＳ１１］管理ノード２０のシステム管理部２２０は、ストレージノード１０ｇが増設されたことを検知する。このとき、増設されたストレージノード１０ｇに含まれるコントローラ１１ｇやドライブの情報が構成情報２１１，３１１に設定される。また、システム管理部２２０は、ストレージプール１３ｂに関する設定の入力を受け付け、増設されたストレージノード１０ｇにストレージプール１３ｂを割り当てる設定情報を構成情報２１１に登録する。
［ステップＳ１１］管理ノード２０のシステム管理部２２０は、ストレージノード１０ｇが増設されたことを検知する。このとき、増設されたストレージノード１０ｇに含まれるコントローラ１１ｇやドライブの情報が構成情報２１１，３１１に設定される。また、システム管理部２２０は、ストレージプール１３ｂに関する設定の入力を受け付け、増設されたストレージノード１０ｇにストレージプール１３ｂを割り当てる設定情報を構成情報２１１に登録する。
【0142】
［ステップＳ１２］システム管理部２２０は、ストレージノード１０ｄ～１０ｇについてのリバランス処理の実行を、監視ノード３０に依頼する。
［ステップＳ１３］監視ノード３０のリバランス処理部３３０は、コントローラ１１ｄ～１１ｇ間のアクセス制御負荷や、ストレージノード１０ｄ～１０ｇに含まれるドライブ間のアクセス負荷が平準化するように、データ配置を再計算する。リバランス処理部３３０は、再計算の結果、ストレージノード１０ｄ～１０ｆに含まれるドライブに格納されたデータ（オブジェクト）のうち再配置の対象データと、それらの移動先ドライブとを特定する。
［ステップＳ１３］監視ノード３０のリバランス処理部３３０は、コントローラ１１ｄ～１１ｇ間のアクセス制御負荷や、ストレージノード１０ｄ～１０ｇに含まれるドライブ間のアクセス負荷が平準化するように、データ配置を再計算する。リバランス処理部３３０は、再計算の結果、ストレージノード１０ｄ～１０ｆに含まれるドライブに格納されたデータ（オブジェクト）のうち再配置の対象データと、それらの移動先ドライブとを特定する。
【0143】
例えば、システム監視部３２０により、各ドライブのアクセス負荷と残容量とが定期的に検出される。アクセス負荷の指標としては、前述のディスク使用率や、アクセス頻度を用いることができる。リバランス処理部３３０は、最新のアクセス負荷および残容量の検出結果に基づいて、ドライブ間でアクセス負荷と残容量が平準化するようにデータ配置を再計算する。例えば、リバランス処理部３３０は、アクセス負荷の指標が所定の上限閾値以上であり、残容量が所定の下限閾値以下であるドライブから再配置の対象データを選択する。そして、リバランス処理部３３０は、選択したデータの移動先ドライブとして、アクセス頻度の指標が所定の下限閾値以下であり、残容量が所定の上限閾値以上である他のドライブを選択する。
【0144】
［ステップＳ１４］リバランス処理部３３０は、ストレージノード１０ｄ～１０ｆのコントローラ１１ｄ～１１ｆに対して、再配置の対象データの移動を指示する。
すなわち、リバランス処理部３３０は、ストレージノード１０ｄに含まれるドライブに格納された、再配置の対象データを示すオブジェクトＩＤと、そのデータが現在格納されているドライブのドライブＩＤと、そのデータの移動先ドライブを識別するためのノードＩＤおよびドライブＩＤとをコントローラ１１ｄに通知して、データ移動を指示する。また、リバランス処理部３３０は、ストレージノード１０ｅに含まれるドライブに格納された、再配置の対象データを示すオブジェクトＩＤと、そのデータが現在格納されているドライブのドライブＩＤと、そのデータの移動先ドライブを識別するためのノードＩＤおよびドライブＩＤとをコントローラ１１ｅに通知して、データ移動を指示する。また、リバランス処理部３３０は、ストレージノード１０ｆに含まれるドライブに格納された、再配置の対象データを示すオブジェクトＩＤと、そのデータが現在格納されているドライブのドライブＩＤと、そのデータの移動先ドライブを識別するためのノードＩＤおよびドライブＩＤとをコントローラ１１ｆに通知して、データ移動を指示する。
すなわち、リバランス処理部３３０は、ストレージノード１０ｄに含まれるドライブに格納された、再配置の対象データを示すオブジェクトＩＤと、そのデータが現在格納されているドライブのドライブＩＤと、そのデータの移動先ドライブを識別するためのノードＩＤおよびドライブＩＤとをコントローラ１１ｄに通知して、データ移動を指示する。また、リバランス処理部３３０は、ストレージノード１０ｅに含まれるドライブに格納された、再配置の対象データを示すオブジェクトＩＤと、そのデータが現在格納されているドライブのドライブＩＤと、そのデータの移動先ドライブを識別するためのノードＩＤおよびドライブＩＤとをコントローラ１１ｅに通知して、データ移動を指示する。また、リバランス処理部３３０は、ストレージノード１０ｆに含まれるドライブに格納された、再配置の対象データを示すオブジェクトＩＤと、そのデータが現在格納されているドライブのドライブＩＤと、そのデータの移動先ドライブを識別するためのノードＩＤおよびドライブＩＤとをコントローラ１１ｆに通知して、データ移動を指示する。
【0145】
［ステップＳ１５ａ～Ｓ１９ａ］ストレージノード１０ｄのコントローラ１１ｄは、データ移動の指示に応じて、再配置の対象データを移動先ドライブにコピーする処理を実行する（ステップＳ１５ａ）。すなわち、コントローラ１１ｄは、再配置の対象データを該当するドライブから読み出し、移動先ドライブを配下に有するコントローラ（ここではコントローラ１１ｇ）に対して移動先ドライブへのデータの格納を依頼する。
【0146】
コントローラ１１ｄは、対象データのコピー処理が完了すると、監視ノード３０に対してマップ情報３１２の変更を指示する（ステップＳ１６ａ）。この処理では、対象データの格納位置が移動先ドライブを示すように変更する指示が送信される。監視ノード３０のマップデータ処理部３４０は、マップ情報３１２において対象データのオブジェクトＩＤに対応付けられたノードＩＤおよびドライブＩＤを、移動先ドライブを示すように変更する（ステップＳ１７ａ）。これによりこの時点から、ゲートウェイノード４０が対象データにアクセスする際、移動先ドライブ上の対象データにアクセスされるようになる。
【0147】
また、ストレージノード１０ｄのコントローラ１１ｄは、コピー処理が完了したドライブを識別するノードＩＤおよびドライブＩＤを指定して、そのドライブについてのデータ削除処理の実行許諾要求を管理ノード２０に送信する（ステップＳ１８ａ）。管理ノード２０のデータ削除制御部２３０は、実行許諾要求を受信すると、指定されたノードＩＤおよびドライブＩＤを含むレコードを削除待ちリスト２１２に登録する（ステップＳ１９ａ）。このとき、このレコードのステータスは「０」に設定される。
【0148】
以上のステップＳ１５ａ～Ｓ１９ａの処理は、ストレージノード１０ｄに含まれるドライブのうち、再配置の対象データが格納されているドライブ（対象ドライブ）のそれぞれについて実行される。例えば、コントローラ１１ｄは、ステップＳ１４でデータ移動の指示を受けると、再配置の対象データの情報を対象ドライブごとにリスト化する。コントローラ１１ｄは、対象ドライブを１つ選択し、その対象ドライブに対応するリストに基づき、対象ドライブから再配置の対象データすべてについてのコピー処理を実行する。コントローラ１１ｄは、コピー処理が完了すると、マップ情報３１２の更新を監視ノード３０に指示するとともに、実行許諾要求を管理ノード２０に送信し、当該対象ドライブでのデータ削除処理を実行待ち状態にする。また、このとき、コピー処理済みでない対象ドライブがある場合には、コントローラ１１ｄはその対象ドライブを１つ選択して、同様の処理を実行する。これにより、対象ドライブでのコピー処理が完了するたびに実行許諾要求が送信され、それらの実行許諾要求に対応するレコードが削除待ちリスト２１２に登録される。
【0149】
［ステップＳ１５ｂ～Ｓ１９ｂ］ストレージノード１０ｅのコントローラ１１ｅは、ステップＳ１４でデータ移動指示を受けると、再配置の対象データを移動先ドライブにコピーする処理を実行する（ステップＳ１５ｂ）。コントローラ１１ｅは、対象データのコピー処理が完了すると、監視ノード３０に対してマップ情報３１２の変更を指示する（ステップＳ１６ｂ）。この処理では、対象データの格納位置が移動先ドライブを示すように変更する指示が送信される。監視ノード３０のマップデータ処理部３４０は、マップ情報３１２において対象データのオブジェクトＩＤに対応付けられたノードＩＤおよびドライブＩＤを、移動先ドライブを示すように変更する（ステップＳ１７ｂ）。これによりこの時点から、ゲートウェイノード４０が対象データにアクセスする際、移動先ドライブ上の対象データにアクセスされるようになる。
【0150】
ストレージノード１０ｅのコントローラ１１ｅは、コピー処理が完了したドライブを識別するノードＩＤおよびドライブＩＤを指定して、そのドライブについてのデータ削除処理の実行許諾要求を管理ノード２０に送信する（ステップＳ１８ｂ）。管理ノード２０のデータ削除制御部２３０は、実行許諾要求を受信すると、指定されたノードＩＤおよびドライブＩＤを含み、ステータスが「０」に設定されたレコードを削除待ちリスト２１２に登録する（ステップＳ１９ｂ）。
【0151】
以上のステップＳ１５ｂ～Ｓ１９ｂの処理も、ストレージノード１０ｅに含まれるドライブのうち、再配置の対象データが格納されているドライブのそれぞれについて実行される。
【0152】
［ステップＳ１５ｃ～Ｓ１９ｃ］ストレージノード１０ｆのコントローラ１１ｆは、ステップＳ１４でデータ移動指示を受けると、再配置の対象データを移動先ドライブにコピーする処理を実行する（ステップＳ１５ｃ）。コントローラ１１ｆは、対象データのコピー処理が完了すると、監視ノード３０に対してマップ情報３１２の変更を指示する（ステップＳ１６ｃ）。この処理では、対象データの格納位置が移動先ドライブを示すように変更する指示が送信される。監視ノード３０のマップデータ処理部３４０は、マップ情報３１２において対象データのオブジェクトＩＤに対応付けられたノードＩＤおよびドライブＩＤを、移動先ドライブを示すように変更する（ステップＳ１７ｃ）。これによりこの時点から、ゲートウェイノード４０が対象データにアクセスする際、移動先ドライブ上の対象データにアクセスされるようになる。
【0153】
ストレージノード１０ｅのコントローラ１１ｅは、対象データのコピー処理が完了すると、コピー処理が完了したドライブを識別するノードＩＤおよびドライブＩＤを指定して、そのドライブについてのデータ削除処理の実行許諾要求を管理ノード２０に送信する（ステップＳ１８ｃ）。管理ノード２０のデータ削除制御部２３０は、実行許諾要求を受信すると、指定されたノードＩＤおよびドライブＩＤを含み、ステータスが「０」に設定されたレコードを削除待ちリスト２１２に登録する（ステップＳ１９ｃ）。
【0154】
以上のステップＳ１５ｃ～Ｓ１９ｃの処理も、ストレージノード１０ｆに含まれるドライブのうち、再配置の対象データが格納されているドライブのそれぞれについて実行される。
【0155】
なお、図２１の処理では、再配置の対象データのコピー処理が完了すると、その対象データについてのマップ情報３１２の格納位置が変更される（ステップＳ１７ａ～１７ｃ）。これにより、ゲートウェイノード４０は、コピー元データの削除を待たずに、より負荷の低いドライブ上に移動された対象データに対してアクセスできるようになり、そのアクセス性能が向上する。また、コピーが完了しているコピー元データの更新が行われなくなるため、データの整合性を容易に維持できる。ただし、マップ情報３１２の変更は、対象データの移動元ドライブにおけるデータ削除処理が完了した後に行われてもよい。
【0156】
図２２は、データ削除処理の実行が開始される際の処理例を示すシーケンス図である。
［ステップＳ２１］図２１のステップＳ１１でストレージノード１０ｇの増設が検知されると、管理ノード２０のデータ削除制御部２３０は、図２１の処理と並行して、削除待ちリスト２１２を一定時間間隔で参照する。データ削除制御部２３０は、削除待ちリスト２１２を参照したとき、レコードが１つ以上存在し、かつ全レコードのステータスが「０」の場合に、それらのレコードのうち先頭のレコードを選択する。このとき、データ削除制御部２３０は、選択したレコードのステータスを「１」に更新する。
［ステップＳ２１］図２１のステップＳ１１でストレージノード１０ｇの増設が検知されると、管理ノード２０のデータ削除制御部２３０は、図２１の処理と並行して、削除待ちリスト２１２を一定時間間隔で参照する。データ削除制御部２３０は、削除待ちリスト２１２を参照したとき、レコードが１つ以上存在し、かつ全レコードのステータスが「０」の場合に、それらのレコードのうち先頭のレコードを選択する。このとき、データ削除制御部２３０は、選択したレコードのステータスを「１」に更新する。
【0157】
以下、ストレージノード１０ｄのノードＩＤとドライブ１２ｄ１のドライブＩＤが登録されたレコードが選択されたものとして説明を続ける。
［ステップＳ２２］データ削除制御部２３０は、ストレージプール１３ｂを除く他のストレージプールに属する各ドライブについての状況を監視ノード３０に問い合わせる。
［ステップＳ２２］データ削除制御部２３０は、ストレージプール１３ｂを除く他のストレージプールに属する各ドライブについての状況を監視ノード３０に問い合わせる。
【0158】
［ステップＳ２３］監視ノード３０のシステム監視部３２０は、該当する各ドライブについてのアクセス性能、アクセス負荷および残容量を収集する。アクセス負荷および残容量については、現在の検出値が収集される。
【0159】
［ステップＳ２４］システム監視部３２０は、収集された各ドライブについてのアクセス性能、アクセス負荷および残容量を、管理ノード２０に送信する。
［ステップＳ２５］管理ノード２０のデータ削除制御部２３０は、送信された情報をリスト化してドライブリスト２１４を生成し、ドライブリスト２１４に基づいて書き込みデータの退避先ドライブを決定する。この決定では前述のように、（１）アクセス性能が高い、（２）アクセス負荷が低い、（３）残容量が大きい、という優先順で退避先ドライブが決定される。ただし、ステップＳ２２でストレージプール１３ｂを除く他のストレージプールに属するドライブの状況を問い合わせているので、退避先ドライブはストレージプール１３ｂ以外のストレージプールに属するドライブの中から決定される。これにより、書き込みデータを退避したときに、その書き込みデータの冗長性（多重度）を維持して、データの安全性を維持できる。
［ステップＳ２５］管理ノード２０のデータ削除制御部２３０は、送信された情報をリスト化してドライブリスト２１４を生成し、ドライブリスト２１４に基づいて書き込みデータの退避先ドライブを決定する。この決定では前述のように、（１）アクセス性能が高い、（２）アクセス負荷が低い、（３）残容量が大きい、という優先順で退避先ドライブが決定される。ただし、ステップＳ２２でストレージプール１３ｂを除く他のストレージプールに属するドライブの状況を問い合わせているので、退避先ドライブはストレージプール１３ｂ以外のストレージプールに属するドライブの中から決定される。これにより、書き込みデータを退避したときに、その書き込みデータの冗長性（多重度）を維持して、データの安全性を維持できる。
【0160】
なお、以上のステップＳ２１～Ｓ２４の例では、削除待ちリスト２１２からのレコード選択を契機としてドライブの状況を収集したが、例えば、レコード選択のタイミングとは関係なく、定期的にドライブの状況が収集されてもよい。例えば、管理ノード２０のデータ削除制御部２３０は、一定時間間隔で、全ストレージノードに含まれる全ドライブの状況を監視ノード３０に問い合わせ、監視ノード３０から送信された情報をリスト化してドライブリスト２１４を生成する。また、データ削除制御部２３０は、ステップＳ２１でレコードを選択すると、最新のドライブリスト２１４のレコードのうち、ストレージプール１３ｂ以外のストレージプールに属するドライブについてのレコードに基づいて、退避先ドライブを決定する（ステップＳ２５に対応）。
【0161】
以下、ストレージノード１０ａのドライブ１２ａ２が退避先ドライブに決定されたものとして説明を続ける。
［ステップＳ２６］データ削除制御部２３０は、監視ノード３０に対してマップ情報３１２の変更を指示する。このとき、データ削除制御部２３０は、変更前の格納位置としてストレージノード１０ｄのノードＩＤとドライブ１２ｄ１のドライブＩＤとを送信するとともに、変更後の格納位置としてストレージノード１０ａのノードＩＤとドライブ１２ａ２のドライブＩＤを送信する。
［ステップＳ２６］データ削除制御部２３０は、監視ノード３０に対してマップ情報３１２の変更を指示する。このとき、データ削除制御部２３０は、変更前の格納位置としてストレージノード１０ｄのノードＩＤとドライブ１２ｄ１のドライブＩＤとを送信するとともに、変更後の格納位置としてストレージノード１０ａのノードＩＤとドライブ１２ａ２のドライブＩＤを送信する。
【0162】
［ステップＳ２７］監視ノード３０のマップデータ処理部３４０は、マップ情報３１２を参照し、ストレージノード１０ｄのノードＩＤとドライブ１２ｄ１のドライブＩＤとが格納位置として登録されたレコードを特定する。マップデータ処理部３４０は、特定されたすべてのレコードについて、ノードＩＤおよびドライブＩＤを、退避先であるストレージノード１０ａのノードＩＤおよびドライブ１２ａ２のドライブＩＤに更新する。また、マップデータ処理部３４０は、特定されたすべてのレコードにおける退避フラグを「０」から「１」に更新する。
【0163】
なお、以上のステップＳ２６，Ｓ２７の処理によれば、データ削除処理が実行されているドライブ１２ｄ１に対する書き込みが要求された場合にのみ、書き込みデータが退避先ドライブに退避されるようになる。しかし、他の例として次のような処理が実行されてもよい。
【0164】
ステップＳ２６において、データ削除制御部２３０は、変更前の格納位置としてストレージノード１０ｄのノードＩＤのみ送信するとともに、変更後の格納位置としてストレージノード１０ａのノードＩＤとドライブ１２ａ２のドライブＩＤを送信する。ステップＳ２７において、マップデータ処理部３４０は、マップ情報３１２から、ノードＩＤの項目にストレージノード１０ｄのノードＩＤが登録されているレコードを特定する。マップデータ処理部３４０は、特定されたすべてのレコードについて、ノードＩＤおよびドライブＩＤの項目に登録されているＩＤを、変更前ノードＩＤおよび変更前ドライブＩＤの項目にそれぞれ登録する。また、マップデータ処理部３４０は、特定されたすべてのレコードについて、ノードＩＤおよびドライブＩＤを、退避先であるストレージノード１０ａのノードＩＤおよびドライブ１２ａ２のドライブＩＤに更新する。さらに、マップデータ処理部３４０は、特定されたすべてのレコードにおける退避フラグを「０」から「１」に更新する。
【0165】
このような更新処理により、データ削除処理が実行されているドライブ１２ｄ１が含まれるストレージノード１０ｄ内のすべてのドライブについて、書き込みが要求された場合に、書き込みデータが退避先ドライブに退避されるようになる。
【0166】
［ステップＳ２８］マップデータ処理部３４０は、マップ情報３１２の更新処理が完了すると、完了通知を管理ノード２０に送信する。
［ステップＳ２９］管理ノード２０のデータ削除制御部２３０は、ストレージノード１０ｄのコントローラ１１ｄに対して、ドライブ１２ｄ１でのデータ削除処理の実行を許諾する許諾通知を送信する。データ削除制御部２３０は、後述する図２５のステップＳ６２においてドライブ１２ｄ１でのデータ削除処理の完了通知が送信されるのを待つ待ち状態となる。
［ステップＳ２９］管理ノード２０のデータ削除制御部２３０は、ストレージノード１０ｄのコントローラ１１ｄに対して、ドライブ１２ｄ１でのデータ削除処理の実行を許諾する許諾通知を送信する。データ削除制御部２３０は、後述する図２５のステップＳ６２においてドライブ１２ｄ１でのデータ削除処理の完了通知が送信されるのを待つ待ち状態となる。
【0167】
［ステップＳ３０］ストレージノード１０ｄのコントローラ１１ｄは、ドライブ１２ｄ１に含まれる再配置の対象データの削除処理を開始する。
図２３は、データ削除処理の実行中における書き込み処理例を示すシーケンス図である。
図２３は、データ削除処理の実行中における書き込み処理例を示すシーケンス図である。
【0168】
［ステップＳ４１］ゲートウェイノード４０のアクセス制御部４１０において、データ（オブジェクト）の書き込み要求が発生する。
［ステップＳ４２］アクセス制御部４１０は、書き込みが要求されたデータ（書き込みデータ）のオブジェクトＩＤを監視ノード３０に送信して、その格納位置を問い合わせる。
［ステップＳ４２］アクセス制御部４１０は、書き込みが要求されたデータ（書き込みデータ）のオブジェクトＩＤを監視ノード３０に送信して、その格納位置を問い合わせる。
【0169】
［ステップＳ４３］監視ノード３０のマップデータ処理部３４０は、マップ情報３１２のレコードのうち、アクセス制御部４１０から受信したオブジェクトＩＤが登録されたレコードを参照する。
【0170】
［ステップＳ４４］マップデータ処理部３４０は、参照先のレコードから退避フラグを読み出す。退避フラグが「１」の場合、ステップＳ４５の処理が実行され、退避フラグが「０」の場合、ステップＳ４７の処理が実行される。
【0171】
［ステップＳ４５］マップデータ処理部３４０は、アクセス制御部４１０から受信したオブジェクトＩＤを管理ノード２０に送信する。これにより、データ削除処理が実行されているドライブ（または当該ドライブを含むストレージノード内のいずれかのドライブ）に対して書き込み（更新）が要求されたデータの識別情報が管理ノード２０に通知される。
【0172】
［ステップＳ４６］管理ノード２０のデータ削除制御部２３０は、アクセス制御部４１０から送信されたオブジェクトＩＤを退避データリスト２１３に登録する。
［ステップＳ４７］監視ノード３０のマップデータ処理部３４０は、ステップＳ４３での参照先のレコードにおいてノードＩＤおよびドライブＩＤの各項目に登録されているＩＤを、ゲートウェイノード４０に通知する。この処理では、ステップＳ４４で「Ｙｅｓ」と判定された場合、退避先ドライブを示すノードＩＤおよびドライブＩＤが格納位置として通知される。
［ステップＳ４７］監視ノード３０のマップデータ処理部３４０は、ステップＳ４３での参照先のレコードにおいてノードＩＤおよびドライブＩＤの各項目に登録されているＩＤを、ゲートウェイノード４０に通知する。この処理では、ステップＳ４４で「Ｙｅｓ」と判定された場合、退避先ドライブを示すノードＩＤおよびドライブＩＤが格納位置として通知される。
【0173】
［ステップＳ４８］ゲートウェイノード４０のアクセス制御部４１０は、マップデータ処理部３４０から通知された格納位置に対する書き込み処理を実行する。すなわち、アクセス制御部４１０は、通知されたノードＩＤに対応するストレージノードに対して、通知されたドライブＩＤに書き込みデータを書き込むように要求する。
【0174】
図２４は、データ削除処理の実行中における読み出し処理例を示すシーケンス図である。
［ステップＳ５１］ゲートウェイノード４０のアクセス制御部４１０において、データ（オブジェクト）の読み出し要求が発生する。
［ステップＳ５１］ゲートウェイノード４０のアクセス制御部４１０において、データ（オブジェクト）の読み出し要求が発生する。
【0175】
［ステップＳ５２］アクセス制御部４１０は、読み出しが要求されたデータ（読み出しデータ）のオブジェクトＩＤを監視ノード３０に送信して、その格納位置を問い合わせる。
【0176】
［ステップＳ５３］監視ノード３０のマップデータ処理部３４０は、マップ情報３１２のレコードのうち、アクセス制御部４１０から受信したオブジェクトＩＤが登録されたレコードを参照する。
【0177】
［ステップＳ５４］マップデータ処理部３４０は、参照先のレコードから退避フラグを読み出す。退避フラグが「０」の場合、ステップＳ５５ａの処理が実行され、退避フラグが「１」の場合、ステップＳ５５ｂの処理が実行される。
【0178】
［ステップＳ５５ａ］マップデータ処理部３４０は、ステップＳ５４での参照先のレコードにおいてノードＩＤおよびドライブＩＤの各項目に登録されているＩＤを、ゲートウェイノード４０に通知する。
【0179】
［ステップＳ５６ａ］ゲートウェイノード４０のアクセス制御部４１０は、マップデータ処理部３４０から通知された格納位置からのデータ読み出し処理を実行する。
［ステップＳ５５ｂ，５６ｂ］このケースでは、読み出しデータが格納されているドライブが故障した場合の読み出し制御が行われる。
［ステップＳ５５ｂ，５６ｂ］このケースでは、読み出しデータが格納されているドライブが故障した場合の読み出し制御が行われる。
【0180】
監視ノード３０のマップデータ処理部３４０は、指定されたデータの読み出しが不可能であることをゲートウェイノード４０に通知する（ステップＳ５５ｂ）。ゲートウェイノード４０のアクセス制御部４１０は、読み出し不可能とされたデータに対応する冗長データの格納位置を、監視ノード３０に問い合わせる（ステップＳ５６ｂ）。
【0181】
前述した図１５の例において、ステップＳ５２でデータＥ１のオブジェクトＩＤが送信されたとすると、次のような処理が実行される。レプリケーションが用いられている場合、ステップＳ５６ｂにおいて、アクセス制御部４１０はデータＥ２（またはデータＥ３）の格納位置を問い合わせる。アクセス制御部４１０は、問い合わせに応じて通知された格納位置からデータＥ２（またはデータＥ３）を読み出す。一方、イレージャコーディングが用いられている場合、ステップＳ５６ｂにおいて、アクセス制御部４１０はデータＥ３の格納位置を問い合わせる。アクセス制御部４１０は、問い合わせに応じて通知された格納位置からデータＥ３を読み出す。実際には、アクセス制御部４１０は、データＥ３とともにデータＥ２も読み出してデータＥを復元する。
【0182】
なお、本実施の形態では図２１のステップＳ１７ａ～Ｓ１７ｃに示したように、再配置の対象データのコピーが完了すると、元のデータの削除を待つことなく、マップ情報３１２における対象データの格納位置がコピー先ディスクを示すように変更される。この場合、図２３での書き込み対象データや図２４での読み出し対象データ（ただし、退避フラグが「１」となっているデータ）は、削除処理の対象となっていないデータとなる。
【0183】
一方、再配置の対象データについて、コピー元のデータを削除した後にマップ情報３１２の格納位置を変更するように変形することもできる。この場合には、図２３での書き込み対象データや図２４での読み出し対象データ（ただし、退避フラグが「１」となっているデータ）には、削除処理対象のデータも含み得る。しかし、削除処理対象のデータが書き込み対象となった場合には、コピー済みのデータとの整合性を保つための処理が必要となる。
【0184】
図２５は、データ削除処理の実行が完了した際の処理例を示すシーケンス図である。この図２５では、図２２のステップＳ３０において実行が開始された、ドライブ１２ｄ１でのデータ削除処理が完了した場合について例示する。
【0185】
［ステップＳ６１］ストレージノード１０ｄのコントローラ１１ｄは、ドライブ１２ｄ１に格納されている、再配置の対象データすべてについての削除処理の実行を完了する。
［ステップＳ６２］コントローラ１１ｄは、データ削除処理の完了通知を管理ノード２０に送信する。
［ステップＳ６２］コントローラ１１ｄは、データ削除処理の完了通知を管理ノード２０に送信する。
【0186】
［ステップＳ６３］管理ノード２０のデータ削除制御部２３０は、退避データリスト２１３を参照して、登録されているオブジェクトＩＤを取得する。
［ステップＳ６４］データ削除制御部２３０は、取得したオブジェクトＩＤのそれぞれに対応する退避データ（オブジェクト）の復旧処理を実行する。すなわち、データ削除制御部２３０は、退避先のドライブ１２ａ１を配下に備えるコントローラ１１ａに対して、退避データを元のドライブ１２ｄ１に移動させるように指示する。これにより、ドライブ１２ａ１に退避されたすべての書き込みデータによって、ドライブ１２ｄ１内の対応する旧データが更新される。ドライブ１２ａ１に退避されていた書き込みデータは、削除される。
［ステップＳ６４］データ削除制御部２３０は、取得したオブジェクトＩＤのそれぞれに対応する退避データ（オブジェクト）の復旧処理を実行する。すなわち、データ削除制御部２３０は、退避先のドライブ１２ａ１を配下に備えるコントローラ１１ａに対して、退避データを元のドライブ１２ｄ１に移動させるように指示する。これにより、ドライブ１２ａ１に退避されたすべての書き込みデータによって、ドライブ１２ｄ１内の対応する旧データが更新される。ドライブ１２ａ１に退避されていた書き込みデータは、削除される。
【0187】
［ステップＳ６５］データ削除制御部２３０は、監視ノード３０に対してマップ情報３１２の復旧を指示する。具体的には、データ削除制御部２３０は、マップ情報３１２において退避フラグが「１」となっているレコードについて、ノードＩＤおよびドライブＩＤをそれぞれストレージノード１０ｄおよびドライブ１２ｄ１のＩＤに変更するように、監視ノード３０に指示する。
【0188】
［ステップＳ６６］監視ノード３０のマップデータ処理部３４０は、指示にしたがい、マップ情報３１２において退避フラグが「１」となっているレコードについて、ノードＩＤおよびドライブＩＤをそれぞれストレージノード１０ｄおよびドライブ１２ｄ１に変更する。また、マップデータ処理部３４０は、ノードＩＤおよびドライブＩＤを変更した各レコードの退避フラグを「０」に更新する。退避フラグが「０」になることで、ゲートウェイノード４０からドライブ１２ｄ１に対するアクセスの抑止状態が解除され、そのアクセス処理が再開される。
【0189】
［ステップＳ６７］マップデータ処理部３４０は、マップ情報３１２の変更が完了したことを管理ノード２０に通知する。
［ステップＳ６８］管理ノード２０のデータ削除制御部２３０は、削除待ちリスト２１２から、データ削除処理が完了したドライブに対応するレコード（図２２のステップＳ２１で選択したレコード）を削除する。
［ステップＳ６８］管理ノード２０のデータ削除制御部２３０は、削除待ちリスト２１２から、データ削除処理が完了したドライブに対応するレコード（図２２のステップＳ２１で選択したレコード）を削除する。
【0190】
この後、データ削除制御部２３０は、削除待ちリスト２１２を参照し、レコードが存在する場合には、それらのうち先頭のレコードを選択し、そのレコードに対応するデータ削除処理の制御を開始する（図２２のステップＳ２１）。また、削除待ちリスト２１２にレコードが存在しない場合、データ削除制御部２３０は一定時間後に削除待ちリスト２１２を再度参照する。
【0191】
次に、図２６は、ストレージノードが故障した場合の処理例を示すシーケンス図である。
［ステップＳ７１］監視ノード３０のシステム監視部３２０は、ストレージノードの故障を検出する。ここでは例として、図１９に示したようにストレージノード１０ｄが故障したとする。システム監視部３２０は、ストレージノードが故障したことを管理ノード２０に通知する。
［ステップＳ７１］監視ノード３０のシステム監視部３２０は、ストレージノードの故障を検出する。ここでは例として、図１９に示したようにストレージノード１０ｄが故障したとする。システム監視部３２０は、ストレージノードが故障したことを管理ノード２０に通知する。
【0192】
［ステップＳ７２］管理ノード２０の故障対応制御部２４０は、通知の受信によりストレージノード１０ｄが故障したことを認識する。
［ステップＳ７３］故障対応制御部２４０は、ストレージプール１３ｂを除く他のストレージプールに属する各ドライブについての状況を監視ノード３０に問い合わせる。
［ステップＳ７３］故障対応制御部２４０は、ストレージプール１３ｂを除く他のストレージプールに属する各ドライブについての状況を監視ノード３０に問い合わせる。
【0193】
［ステップＳ７４］監視ノード３０のシステム監視部３２０は、該当する各ドライブについてのアクセス性能、アクセス負荷および残容量を収集する。アクセス負荷および残容量については、現在の検出値が収集される。
【0194】
［ステップＳ７５］システム監視部３２０は、収集された各ドライブについてのアクセス性能、アクセス負荷および残容量を、管理ノード２０に送信する。
［ステップＳ７６］管理ノード２０の故障対応制御部２４０は、送信された情報をリスト化してドライブリスト２１４を生成し、ドライブリスト２１４に基づいて書き込みデータの退避先ドライブを決定する。この決定では、故障対応制御部２４０は、（１）アクセス性能が高い、（２）アクセス負荷が低い、（３）残容量が大きい、という優先順で、ドライブリスト２１４内のレコードをソートする。故障対応制御部２４０は、ソート後のドライブリスト２１４のレコードを先頭から順に選択しながら、故障したストレージノード１０ｄに含まれるドライブ（退避元ドライブ）のそれぞれに対して退避先ドライブを割り当てる。故障対応制御部２４０は、退避元ドライブと退避先ドライブとの対応関係を退避ドライブリスト２１５に登録する。
［ステップＳ７６］管理ノード２０の故障対応制御部２４０は、送信された情報をリスト化してドライブリスト２１４を生成し、ドライブリスト２１４に基づいて書き込みデータの退避先ドライブを決定する。この決定では、故障対応制御部２４０は、（１）アクセス性能が高い、（２）アクセス負荷が低い、（３）残容量が大きい、という優先順で、ドライブリスト２１４内のレコードをソートする。故障対応制御部２４０は、ソート後のドライブリスト２１４のレコードを先頭から順に選択しながら、故障したストレージノード１０ｄに含まれるドライブ（退避元ドライブ）のそれぞれに対して退避先ドライブを割り当てる。故障対応制御部２４０は、退避元ドライブと退避先ドライブとの対応関係を退避ドライブリスト２１５に登録する。
【0195】
［ステップＳ７７］故障対応制御部２４０は、監視ノード３０に対してマップ情報３１２の変更を指示する。このとき、故障対応制御部２４０は、退避ドライブリスト２１５に基づき、退避先ドライブを示す格納位置を、対応する退避元ドライブを示す格納位置に変更するように指示する。
【0196】
［ステップＳ７８］監視ノード３０のマップデータ処理部３４０は、マップ情報３１２のレコードのうち、退避フラグが「１」であり、かつ、ノードＩＤおよびドライブＩＤが退避先ドライブを示しているレコードについて、対応する退避元ドライブを示すようにノードＩＤおよびドライブＩＤを変更する。また、マップデータ処理部３４０は、該当するすべてのレコードにおける退避フラグを「０」から「１」に更新する。
【0197】
この後、ストレージノード１０ｄの復旧が検出されるまでの期間では、ゲートウェイノード４０においてストレージノード１０ｄ内のデータに対する書き込みが発生すると、書き込みデータは退避先ドライブに退避されるようになる。このような書き込み発生時の処理は、基本的に図２３と同様である。ただし、図２３におけるデータ削除制御部２３０の処理は、故障対応制御部２４０によって実行される。また、図２３のステップＳ４５では、オブジェクトＩＤとともに、ステップＳ４７で通知される格納位置（ノードＩＤとドライブＩＤ）も管理ノード２０に通知される。そして、ステップＳ４６では、通知されたノードＩＤとドライブＩＤが、オブジェクトＩＤとともに退避データリスト２１３に登録される。また、ゲートウェイノード４０においてストレージノード１０ｄ内のデータの読み出しが発生した場合には、図２４と同様の処理が行われる。
【0198】
次に、ストレージノード１０ｄが復旧した場合について説明する。
［ステップＳ８１］管理ノード２０のシステム管理部２２０は、ストレージノード１０ｄが復旧したことを検知する。
［ステップＳ８１］管理ノード２０のシステム管理部２２０は、ストレージノード１０ｄが復旧したことを検知する。
【0199】
［ステップＳ８２］管理ノード２０の故障対応制御部２４０は、退避データリスト２１３を参照して、レコードの情報を取得する。
［ステップＳ８３］故障対応制御部２４０は、取得したレコードのそれぞれに対応する退避データ（オブジェクト）の復旧処理を実行する。この復旧処理では、故障対応制御部２４０は、取得したレコードのノードＩＤおよびドライブＩＤから、退避データの現在の格納場所（退避先ドライブ）を判定する。また、故障対応制御部２４０は、退避ドライブリスト２１５を参照して、当該退避先ドライブに対応付けられた退避元ドライブを判定する。故障対応制御部２４０は、退避先ドライブを配下に備えるコントローラに対して、退避データを退避先ドライブから退避元ドライブに移動させるように指示する。故障対応制御部２４０は、以上の処理を退避データリスト２１３のレコードそれぞれについて実行する。
［ステップＳ８３］故障対応制御部２４０は、取得したレコードのそれぞれに対応する退避データ（オブジェクト）の復旧処理を実行する。この復旧処理では、故障対応制御部２４０は、取得したレコードのノードＩＤおよびドライブＩＤから、退避データの現在の格納場所（退避先ドライブ）を判定する。また、故障対応制御部２４０は、退避ドライブリスト２１５を参照して、当該退避先ドライブに対応付けられた退避元ドライブを判定する。故障対応制御部２４０は、退避先ドライブを配下に備えるコントローラに対して、退避データを退避先ドライブから退避元ドライブに移動させるように指示する。故障対応制御部２４０は、以上の処理を退避データリスト２１３のレコードそれぞれについて実行する。
【0200】
［ステップＳ８４］故障対応制御部２４０は、退避ドライブリスト２１５に基づき、監視ノード３０に対してマップ情報３１２の復旧を指示する。具体的には、故障対応制御部２４０は、マップ情報３１２のレコードのうち、ノードＩＤおよびドライブＩＤが退避先ドライブを示しているレコードについて、退避元ドライブを示すようにノードＩＤおよびドライブＩＤを更新するように指示する。
【0201】
［ステップＳ８５］監視ノード３０のマップデータ処理部３４０は、マップ情報３１２のレコードのうち、退避フラグが「１」のレコードについて、ノードＩＤおよびドライブＩＤを指示の通りに変更する。また、マップデータ処理部３４０は、ノードＩＤおよびドライブＩＤを変更したレコードの退避フラグを「１」から「０」に更新する。退避フラグが「０」になることで、復旧したストレージノード１０ｄ内のドライブに対するゲートウェイノード４０からのアクセスの抑止状態が解除され、そのアクセス処理が再開される。
【0202】
なお、上記の各実施の形態に示した装置（例えば、情報処理装置１～３、コントローラ１１ａ～１１ｇ、管理ノード２０、監視ノード３０、ゲートウェイノード４０、クライアント装置５０ａ～５０ｃ）の処理機能は、コンピュータによって実現することができる。その場合、各装置が有すべき機能の処理内容を記述したプログラムが提供され、そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記憶装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記憶装置には、ハードディスク装置（ＨＤＤ）、磁気テープなどがある。光ディスクには、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ブルーレイディスク（Blu-ray Disc：ＢＤ、登録商標）などがある。光磁気記録媒体には、ＭＯ（Magneto-Optical disk）などがある。
【0203】
プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ、ＣＤなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。
【0204】
プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムにしたがった処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムにしたがった処理を実行することもできる。また、コンピュータは、ネットワークを介して接続されたサーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムにしたがった処理を実行することもできる。
【符号の説明】
【0205】
１～３ 情報処理装置
１ａ データ削除制御部
２ａ アクセス先制御部
３ａ アクセス処理部
４ａ～４ｆ 記憶装置
５ 格納位置情報
ＤＴ１～ＤＴ３，ＤＴ３’ データ
Ｓ１～Ｓ７ ステップ
１ａ データ削除制御部
２ａ アクセス先制御部
３ａ アクセス処理部
４ａ～４ｆ 記憶装置
５ 格納位置情報
ＤＴ１～ＤＴ３，ＤＴ３’ データ
Ｓ１～Ｓ７ ステップ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】