特許 7277754 ストレージシステム、ストレージ制御装置およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-05-11

(45)【発行日】2023-05-19

(54)【発明の名称】ストレージシステム、ストレージ制御装置およびプログラム

(51)【国際特許分類】

   G06F 16/174 20190101AFI20230512BHJP

   G06F 3/06 20060101ALI20230512BHJP

   G06F 13/10 20060101ALI20230512BHJP

   G06F 11/20 20060101ALI20230512BHJP

【ＦＩ】

G06F16/174

G06F3/06 301W

G06F3/06 540

G06F13/10 340A

G06F11/20 694

【請求項の数】 8

(21)【出願番号】P 2019138868

(22)【出願日】2019-07-29

(65)【公開番号】P2021022213

(43)【公開日】2021-02-18

【審査請求日】2022-04-07

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110002918

【氏名又は名称】弁理士法人扶桑国際特許事務所

(72)【発明者】

【氏名】松村 振一郎

【審査官】甲斐 哲雄

(56)【参考文献】

【文献】特開２０１７－０４９８０６（ＪＰ，Ａ）

【文献】特開２０１４－２０３３６２（ＪＰ，Ａ）

【文献】特開２０１９－０３６１３０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １６／１０－１６／１８８

Ｇ０６Ｆ ３／０６

Ｇ０６Ｆ １３／１０

Ｇ０６Ｆ １１／２０

(57)【特許請求の範囲】

【請求項1】

データのハッシュ値と記憶装置における前記データの格納先のアドレスとの対応を示し、前記データの重複排除に用いられる第１のハッシュキャッシュを記憶する第１の記憶部と、前記第１のハッシュキャッシュが消失した場合に、前記記憶装置における所定の管理単位に属する第１のデータの第１のハッシュ値を計算して前記第１のハッシュキャッシュを復元する第１の処理部と、を備える第１のストレージ制御装置と、
第２のハッシュキャッシュを記憶する第２の記憶部と、前記第１のハッシュ値と前記第１のデータの格納先の第１のアドレスとを前記第１のストレージ制御装置から取得し、前記第１のハッシュ値と同じ第２のハッシュ値である第２のデータを前記第２のハッシュキャッシュに基づいて検出すると、前記第２のハッシュキャッシュから前記第２のハッシュ値のレコードを削除し、データ参照に用いられるマップ情報に含まれる、前記第２のデータの格納先の第２のアドレスを前記第１のアドレスに変更する第２の処理部と、を備える第２のストレージ制御装置と、
を有するストレージシステム。

【請求項2】

前記第２の処理部は、非参照データを削除するガベージコレクションに用いられる、各データの参照数を保持する参照数カウンタのうち、前記第１のデータの第１の参照数に、前記第２のデータの第２の参照数を加算し、前記第２の参照数を０に設定する、
請求項１記載のストレージシステム。

【請求項3】

前記第１の処理部は、前記第１のハッシュ値と同じ第３のハッシュ値が前記第１のハッシュキャッシュに登録済の場合、非参照データを削除するガベージコレクションに用いられる、各データの参照数を保持する参照数カウンタのうち、前記第１のデータの第１の参照数と前記第３のハッシュ値に対応する第３のデータの第３の参照数とを比較し、当該比較に応じて、前記第１のデータを削除対象とするか、または、前記第３のデータを削除対象とするかを決定する、
請求項１記載のストレージシステム。

【請求項4】

前記第１の処理部は、
前記第１の参照数が前記第３の参照数以下の場合、前記マップ情報に含まれる、前記第１のアドレスを前記第３のデータの格納先の第３のアドレスに変更し、前記第３の参照数に前記第１の参照数を加算し、前記第１の参照数を０に設定することで、前記第１のデータを前記ガベージコレクションによる削除対象とし、
前記第１の参照数が前記第３の参照数よりも大きい場合、前記マップ情報に含まれる、前記第３のアドレスを前記第１のアドレスに変更し、前記第１の参照数に前記第３の参照数を加算し、前記第３の参照数を０に設定することで、前記第３のデータを前記ガベージコレクションによる削除対象とする、
請求項３記載のストレージシステム。

【請求項5】

複数のストレージ制御装置により複数のデータの重複排除を分担して実行し、何れかのストレージ制御装置がダウンすると、他のストレージ制御装置により当該ストレージ制御装置による重複排除を代行するストレージシステムに用いられるストレージ制御装置であって、
データのハッシュ値と記憶装置における前記データの格納先のアドレスとの対応を示し、前記データの重複排除に用いられるハッシュキャッシュを記憶する記憶部と、
前記ハッシュキャッシュが消失した場合に、前記記憶装置における所定の管理単位に属する前記データの前記ハッシュ値を計算して前記ハッシュキャッシュを復元し、前記ハッシュキャッシュに復元した前記ハッシュ値と前記ハッシュ値に対応する前記データの格納先のアドレスとを前記他のストレージ制御装置に送信する処理部と、
を有するストレージ制御装置。

【請求項6】

複数のストレージ制御装置により複数のデータの重複排除を分担して実行し、何れかのストレージ制御装置がダウンすると、他のストレージ制御装置により当該ストレージ制御装置による重複排除を代行するストレージシステムに用いられるコンピュータに、
データのハッシュ値と記憶装置における前記データの格納先のアドレスとの対応を示し、前記データの重複排除に用いられるハッシュキャッシュを記憶する記憶部における前記ハッシュキャッシュが消失した場合に、前記記憶装置における所定の管理単位に属する前記データの前記ハッシュ値を計算して前記ハッシュキャッシュを復元し、
前記ハッシュキャッシュに復元した前記ハッシュ値と前記ハッシュ値に対応する前記データの格納先のアドレスとを前記他のストレージ制御装置に送信する、
処理を実行させるプログラム。

【請求項7】

データのハッシュ値と記憶装置における前記データの格納先のアドレスとの対応を示し、前記データの重複排除に用いられるハッシュキャッシュを記憶する記憶部と、
他のストレージ制御装置により前記他のストレージ制御装置が保持する他のハッシュキャッシュに復元された第１のハッシュ値と前記第１のハッシュ値に対応する第１のデータの格納先の第１のアドレスとを前記他のストレージ制御装置から取得し、前記第１のハッシュ値と同じ第２のハッシュ値である第２のデータを前記ハッシュキャッシュに基づいて検出すると、前記ハッシュキャッシュから前記第２のハッシュ値のレコードを削除し、データ参照に用いられるマップ情報に含まれる、前記第２のデータの格納先の第２のアドレスを前記第１のアドレスに変更する処理部と、
を有するストレージ制御装置。

【請求項8】

コンピュータに、
記憶部に記憶されるハッシュキャッシュであって、データのハッシュ値と記憶装置における前記データの格納先のアドレスとの対応を示す前記ハッシュキャッシュを用いて前記データの重複排除を行い、
他のストレージ制御装置により前記他のストレージ制御装置が保持する他のハッシュキャッシュに復元された第１のハッシュ値と前記第１のハッシュ値に対応する第１のデータの格納先の第１のアドレスとを前記他のストレージ制御装置から取得し、
前記第１のハッシュ値と同じ第２のハッシュ値である第２のデータを前記ハッシュキャッシュに基づいて検出すると、前記ハッシュキャッシュから前記第２のハッシュ値のレコードを削除し、データ参照に用いられるマップ情報に含まれる、前記第２のデータの格納先の第２のアドレスを前記第１のアドレスに変更する、
処理を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明はストレージシステム、ストレージ制御装置およびプログラムに関する。

【背景技術】

【0002】

データの保存にストレージシステムが利用されている。ストレージシステムは、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などの記憶デバイスを複数搭載可能であり、大容量の記憶領域を提供する。ストレージシステムは、例えば記憶デバイスに対するデータの書き込みや読み出しのアクセス制御を行うストレージ制御装置を内蔵する。

【0003】

記憶デバイスの記憶領域を効率的に利用するため、ストレージ制御装置により重複排除が行われることがある。重複排除では、新規データの書き込みの際、記憶デバイスに書き込み済である単位データの書き込みを行わないようにし、新規データにおける当該単位データの部分については、既存の単位データを参照することで、記憶容量を節約する。書き込み済の単位データの管理には、単位データから計算されるハッシュ値が用いられる。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１０－２２４８４５号公報

【文献】特開２０１５－２１２９７１号公報

【文献】特開２０１９－１６２９３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ストレージシステムでは、複数のストレージ制御装置により各データの重複排除を分担することがある。この場合、複数のストレージ制御装置の各々は、自装置が担当する書き込み済のデータのハッシュ値を、比較的高速にアクセス可能な揮発性メモリ上のハッシュキャッシュに保持して、データ書き込みの応答性能を高めることが考えられる。

【0006】

あるストレージ制御装置が障害などでダウンした場合には、他のストレージ制御装置により、ダウンしたストレージ制御装置が担当していたデータの重複排除を代行し得る。ダウンしたストレージ制御装置が保持していたハッシュキャッシュは消失する。他のストレージ制御装置は、重複排除の代行対象のデータの書き込みの際、当該データのハッシュ値を計算して、自装置のハッシュキャッシュに登録し、記憶装置に当該データを書き込む。

【0007】

このとき、ダウンしたストレージ制御装置によって当該データと同じデータが過去に記憶装置に書き込み済であったとしても、消失したハッシュキャッシュの情報は失われており、書き込み済を検出できない。このため、他のストレージ制御装置により、書き込み済のデータとは別個に、当該データが記憶装置に重複して書き込まれることになる。

【0008】

その後、ダウンしたストレージ制御装置が復旧すると、復旧したストレージ制御装置を含む複数のストレージ制御装置により各データの重複排除を再度分担し得る。復旧したストレージ制御装置は、記憶装置に記憶された、自装置が担当するデータのハッシュ値を計算することでハッシュキャッシュを復元し得る。しかし、ストレージ制御装置のダウン中に重複して書き込まれたデータに対する参照が残ると、当該重複して書き込まれたデータを削除対象にできないという問題がある。

【0009】

１つの側面では、本発明は、重複して書き込まれたデータを削除可能にできるストレージシステム、ストレージ制御装置およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0010】

１つの態様では、ストレージシステムが提供される。このストレージシステムは、第１のストレージ制御装置と第２のストレージ制御装置とを有する。第１のストレージ制御装置は、データのハッシュ値と記憶装置におけるデータの格納先のアドレスとの対応を示し、データの重複排除に用いられる第１のハッシュキャッシュを記憶する第１の記憶部と、第１のハッシュキャッシュが消失した場合に、記憶装置における所定の管理単位に属する第１のデータの第１のハッシュ値を計算して第１のハッシュキャッシュを復元する第１の処理部と、を備える。第２のストレージ制御装置は、第２のハッシュキャッシュを記憶する第２の記憶部と、第１のハッシュ値と第１のデータの格納先の第１のアドレスとを第１のストレージ制御装置から取得し、第１のハッシュ値と同じ第２のハッシュ値である第２のデータを第２のハッシュキャッシュに基づいて検出すると、第２のハッシュキャッシュから第２のハッシュ値のレコードを削除し、データ参照に用いられるマップ情報に含まれる、第２のデータの格納先の第２のアドレスを第１のアドレスに変更する第２の処理部と、を備える。

【0011】

また、１つの態様では、複数のストレージ制御装置により複数のデータの重複排除を分担して実行し、何れかのストレージ制御装置がダウンすると、他のストレージ制御装置により当該ストレージ制御装置による重複排除を代行するストレージシステムに用いられるストレージ制御装置が提供される。このストレージ制御装置は、記憶部と処理部とを有する。記憶部は、データのハッシュ値と記憶装置におけるデータの格納先のアドレスとの対応を示し、データの重複排除に用いられるハッシュキャッシュを記憶する。処理部は、ハッシュキャッシュが消失した場合に、記憶装置における所定の管理単位に属するデータのハッシュ値を計算してハッシュキャッシュを復元し、ハッシュキャッシュに復元したハッシュ値と当該ハッシュ値に対応するデータの格納先のアドレスとを他のストレージ制御装置に送信する。

【0012】

また、１つの態様では、プログラムが提供される。このプログラムは、複数のストレージ制御装置により複数のデータの重複排除を分担して実行し、何れかのストレージ制御装置がダウンすると、他のストレージ制御装置により当該ストレージ制御装置による重複排除を代行するストレージシステムに用いられるコンピュータに、データのハッシュ値と記憶装置におけるデータの格納先のアドレスとの対応を示し、データの重複排除に用いられるハッシュキャッシュを記憶する記憶部におけるハッシュキャッシュが消失した場合に、記憶装置における所定の管理単位に属するデータのハッシュ値を計算してハッシュキャッシュを復元し、ハッシュキャッシュに復元したハッシュ値と当該ハッシュ値に対応するデータの格納先のアドレスとを他のストレージ制御装置に送信する、処理を実行させる。

【0013】

また、１つの態様では、ストレージ制御装置が提供される。このストレージ制御装置は、記憶部と処理部とを有する。記憶部は、データのハッシュ値と記憶装置におけるデータの格納先のアドレスとの対応を示し、データの重複排除に用いられるハッシュキャッシュを記憶する。処理部は、他のストレージ制御装置により他のストレージ制御装置が保持する他のハッシュキャッシュに復元された第１のハッシュ値と第１のハッシュ値に対応する第１のデータの格納先の第１のアドレスとを他のストレージ制御装置から取得し、第１のハッシュ値と同じ第２のハッシュ値である第２のデータをハッシュキャッシュに基づいて検出すると、ハッシュキャッシュから第２のハッシュ値のレコードを削除し、データ参照に用いられるマップ情報に含まれる、第２のデータの格納先の第２のアドレスを第１のアドレスに変更する。

【0014】

また、１つの態様では、プログラムが提供される。このプログラムは、コンピュータに、記憶部に記憶されるハッシュキャッシュであって、データのハッシュ値と記憶装置におけるデータの格納先のアドレスとの対応を示すハッシュキャッシュを用いてデータの重複排除を行い、他のストレージ制御装置により他のストレージ制御装置が保持する他のハッシュキャッシュに復元された第１のハッシュ値と第１のハッシュ値に対応する第１のデータの格納先の第１のアドレスとを他のストレージ制御装置から取得し、第１のハッシュ値と同じ第２のハッシュ値である第２のデータをハッシュキャッシュに基づいて検出すると、ハッシュキャッシュから第２のハッシュ値のレコードを削除し、データ参照に用いられるマップ情報に含まれる、第２のデータの格納先の第２のアドレスを第１のアドレスに変更する、処理を実行させる。

【発明の効果】

【0015】

１つの側面では、重複して書き込まれたデータを削除可能にできる。

【図面の簡単な説明】

【0016】

【図1】第１の実施の形態のストレージシステムを示す図である。

【図2】第２の実施の形態のストレージシステムの例を示す図である。

【図3】ＣＭのハードウェア例を示す図である。

【図4】ストレージシステムの機能例を示す図である。

【図5】重複排除の例を示す図である。

【図6】ハッシュテーブル消失時の重複書き込みの例を示す図である。

【図7】コンテナおよびスロットの例を示す図である。

【図8】コンテナに格納される情報の例を示す図である。

【図9】ハッシュテーブルの例を示す図である。

【図10】ブロックマップの例を示す図である。

【図11】ハッシュテーブルの復元時の処理例を示す図である。

【図12】参照数の比較の例を示す図である。

【図13】ブロックマップおよび参照数の更新例を示す図である。

【図14】初期化処理の例を示すフローチャートである。

【図15】ハッシュ値統合処理の例を示すフローチャートである。

【図16】他ＣＭハッシュ値統合処理の例を示すフローチャートである。

【図17】ストレージシステムの他の構成例を示す図である。

【発明を実施するための形態】

【0017】

以下、本実施の形態について図面を参照して説明する。
［第１の実施の形態］
第１の実施の形態を説明する。

【0018】

図１は、第１の実施の形態のストレージシステムを示す図である。
ストレージシステム１は、情報処理装置２に接続され、情報処理装置２の処理に用いられるデータを記憶する。ストレージシステム１は、ストレージ制御装置１０，２０および記憶装置３０を有する。

【0019】

ストレージ制御装置１０，２０は、情報処理装置２によるデータに対するアクセス要求に応じて、記憶装置３０に対するデータの書き込みや、データの読み出しを制御する。記憶装置３０は、ＨＤＤやＳＳＤなどの複数の記憶デバイスを内蔵し、ストレージ制御装置１０，２０により書き込まれたデータを記憶する。

【0020】

ストレージ制御装置１０，２０は、書き込み対象の各データに対する重複排除の制御を分担する。例えば、データのハッシュ値を、稼働中のストレージ制御装置１０，２０の数（例えば、２）で割った剰余に基づいて、当該データの担当を決めることが考えられる。一例では、剰余が０であればストレージ制御装置１０を担当とし、剰余が１であればストレージ制御装置２０を担当とする。担当のストレージ制御装置は、ストレージ制御装置１０，２０の何れかにより決定されてもよいし、ストレージ制御装置１０，２０の各々により決定されてもよい（例えば、自装置が担当でなければ、該当データへのアクセス要求を担当のストレージ制御装置に転送する）。

【0021】

あるいは、ストレージシステム１は、情報処理装置２からデータの書き込み要求を受け付け、当該データの重複排除を何れのストレージ制御装置が担当するかを判定し、担当のストレージ制御装置に当該書き込み要求を転送する判定装置を更に有してもよい。更に、ストレージシステム１は、ストレージシステム１の外部に存在する当該判定装置に接続されて、判定装置を介して、情報処理装置２からデータの書き込み要求を、当該データの書き込みを担当するストレージ制御装置により受け付けてもよい。

【0022】

ストレージ制御装置１０，２０のうちの何れかが障害などによりダウン（停止）すると、正常稼働している残りのストレージ制御装置は、ダウンしたストレージ制御装置が担当すべきデータの重複排除を代行する。

【0023】

記憶部１１，２１は、ＲＡＭ（Random Access Memory）などの揮発性記憶装置である。記憶部１１は、ハッシュキャッシュ１１ａを記憶する。記憶部２１は、ハッシュキャッシュ２１ａを記憶する。ここで、ハッシュキャッシュは、データのハッシュ値と、記憶装置３０における該当のデータの格納先のアドレスとの対応を示す情報である。ハッシュキャッシュは、データの重複排除に用いられる。データの書き込みの要求に関して、当該データに対するハッシュ値がハッシュキャッシュに登録済の場合、同じデータが記憶装置３０に既に書き込まれているので、記憶装置３０に対する当該データの書き込みは行われない。

【0024】

処理部１２，２２は、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）などを含み得る。処理部１２はプログラムを実行するプロセッサであってもよい。ここでいう「プロセッサ」には、複数のプロセッサの集合（マルチプロセッサ）も含まれ得る。

【0025】

処理部１２は、記憶部１１に記憶されたハッシュキャッシュ１１ａに基づいて、データの重複排除を制御する。
処理部２２は、記憶部２１に記憶されたハッシュキャッシュ２１ａに基づいて、データの重複排除を制御する。

【0026】

記憶装置３０は、マップ情報３１、実データ記憶領域３２および参照数カウンタ３３を有する。
マップ情報３１は、データ参照に用いられる情報であり、参照先データの論理アドレスに対して、実データ記憶領域３２の物理アドレス（単に「アドレス」と称することがある）を対応付ける。図１の例では、マップ情報３１に格納された、実データ記憶領域３２のアドレスを、アンパサンド（＆）記号とデータ名（「ａ」など）とを組み合わせた表記（「＆ａ」など）により表している（同じデータ名のデータのデータ内容は、同じであるとする）。

【0027】

実データ記憶領域３２は、データの本体が格納される記憶領域である。実データ記憶領域３２における単位領域のサイズは、例えば、重複排除におけるハッシュ化対象のデータサイズに相当する。当該データサイズは、例えば、４ＫＢや８ＫＢなどである。ハッシュ値のサイズは、例えば、２０Ｂｙｔｅｓである。

【0028】

参照数カウンタ３３は、実データ記憶領域３２の各単位領域に対する、マップ情報３１による参照数を保持する。参照数カウンタ３３は、マップ情報３１から参照されていない非参照データを削除するガベージコレクションと呼ばれる処理に用いられる。ただし、参照数カウンタ３３は、ガベージコレクションを効率的に実行するための情報であり、存在していなくてもよい。

【0029】

ここで、ストレージ制御装置１０が障害によりダウンする場合を考える。ダウン前の段階では、実データ記憶領域３２のアドレス（物理アドレス）「＃１」にデータ「ａ」が格納され、アドレス「＃３」にデータ「ｂ」が格納され、アドレス「＃１０」にデータ「ｃ」が格納されていたとする。なお、図１では、各データに対して計算されるハッシュ値を、「ｈ」とデータ名（「ａ」など）を組み合せた表記（「ｈ（ａ）」など）により表している。

【0030】

ダウン前の段階では、データ「ａ」、「ｂ」の重複排除の担当は、ストレージ制御装置１０である。したがって、ダウン前の段階では、データ「ａ」のハッシュ値「ｈ（ａ）」とアドレス「＃１」とを含むレコード、および、データ「ｂ」のハッシュ値「ｈ（ｂ）」とアドレス「＃３」とを含むレコードがハッシュキャッシュ１１ａに登録されている。データ「ｃ」の重複排除の担当は、ストレージ制御装置２０である。したがって、ダウン前の段階では、データ「ｃ」のハッシュ値「ｈ（ｃ）」とアドレス「＃１０」とを含むレコードがハッシュキャッシュ２１ａに登録されている。

【0031】

ダウン前の段階では、マップ情報３１におけるアドレス「＃１」の参照数は「１」であり、アドレス「＃３」の参照数は「１」であり、アドレス「＃１０」の参照数は「２」であるとする。

【0032】

ストレージ制御装置１０がダウンすると、記憶部１１に保持されているハッシュキャッシュ１１ａは消失する。処理部２２は、ダウンしたストレージ制御装置１０が担当していたデータ「ａ」、「ｂ」の重複排除を代行する。例えば、処理部２２は、ストレージ制御装置１０のダウン中に、データ「ｂ」の書き込み要求を受け付けると、データ「ｂ」のハッシュ値ｈ（ｂ）を計算する。処理部２２は、ハッシュキャッシュ２１ａにハッシュ値ｈ（ｂ）が登録されていないことを確認する。

【0033】

すると、処理部２２は、データ「ｂ」を、例えば、実データ記憶領域３２のアドレス「＃７」に書き込み、書き込み先に指定された論理アドレスに対する物理アドレス「＃７」をマップ情報３１に登録する。処理部２２は、参照数カウンタ３３におけるアドレス「＃７」の参照数を「１」に設定する。また、処理部２２は、ハッシュ値「ｈ（ｂ）」とアドレス「＃７」とを含むレコードをハッシュキャッシュ２１ａに登録する。

【0034】

この段階で、データ「ｂ」が、実データ記憶領域３２に重複して書き込まれたことになる。
その後、ストレージ制御装置１０が復旧した場合を考える。復旧後、データ「ａ」、「ｂ」の重複排除の担当はストレージ制御装置１０であり、データ「ｃ」の重複排除の担当はストレージ制御装置２０であるとする。ストレージ制御装置１０，２０は協働して、次のように、ハッシュキャッシュ１１ａを復元する初期化処理を実行する。

【0035】

処理部１２は、実データ記憶領域３２から各データを読み出し、記憶装置３０における所定の管理単位（すなわち、ストレージ制御装置１０が重複排除を担当するデータのグループ）に属するデータのハッシュ値を計算してハッシュキャッシュ１１ａを復元する。

【0036】

例えば、処理部１２は、実データ記憶領域３２のアドレス「＃１」に記憶されたデータ「ａ」を読み出し、ハッシュ値「ｈ（ａ）」とアドレス「＃１」とを含むレコードをハッシュキャッシュ１１ａに追加する。処理部１２は、ハッシュ値「ｈ（ａ）」とアドレス「＃１」とをストレージ制御装置２０に送信する。これにより、重複して書き込まれた可能性のあるデータのハッシュ値を、ストレージ制御装置２０に適切に通知できる。また、ストレージ制御装置２０による、重複したデータ（削除対象とすべきデータ）の検索を促せる。

【0037】

処理部２２は、ハッシュ値「ｈ（ａ）」とアドレス「＃１」とをストレージ制御装置１０から取得すると、ハッシュキャッシュ２１ａを参照して、ハッシュ値「ｈ（ａ）」を検索する。ハッシュキャッシュ２１ａにはハッシュ値「ｈ（ａ）」が登録されていないので、処理部２２は何もしない。

【0038】

また、例えば、処理部１２は、実データ記憶領域３２のアドレス「＃３」に記憶されたデータ「ｂ」を読み出し、ハッシュ値「ｈ（ｂ）」とアドレス「＃３」とを含むレコードをハッシュキャッシュ１１ａに追加する。処理部１２は、ハッシュ値「ｈ（ｂ）」とアドレス「＃３」とをストレージ制御装置２０に送信する。

【0039】

処理部２２は、ハッシュ値「ｈ（ｂ）」とアドレス「＃３」とをストレージ制御装置２０から取得すると、ハッシュキャッシュ２１ａを参照して、ハッシュ値「ｈ（ｂ）」を検索する。ハッシュキャッシュ２１ａにはハッシュ値「ｈ（ｂ）」が登録されているので、処理部２２は、次の統合処理を実行する。

【0040】

すなわち、処理部２２は、ハッシュ値「ｈ（ｂ）」と同じハッシュ値である、アドレス「＃７」に格納されたデータｂを、ハッシュキャッシュ２１ａに基づいて検出する。すると、処理部２２は、ハッシュキャッシュ２１ａからハッシュ値「ｈ（ｂ）」のレコードを削除するとともに、マップ情報３１に含まれる、データ「ｂ」の格納先のアドレス「＃７」を、アドレス「＃３」に変更する。

【0041】

これにより、実データ記憶領域３２のアドレス「＃７」の単位領域は、マップ情報３１から参照されなくなる。このため、アドレス「＃７」に重複して書き込まれたデータ「ｂ」が削除可能になる。

【0042】

例えば、処理部２２は、アドレス「＃７」における重複データであるデータ「ｂ」を記憶装置３０から削除してもよい。あるいは、処理部２２は、参照数カウンタ３３におけるアドレス「＃７」の参照数「１」を、アドレス「＃３」の参照数「１」に加算して、アドレス「＃３」の参照数を「２」とし、アドレス「＃７」の参照数を「０」としてもよい。参照数「０」である実データ記憶領域３２の単位領域のデータは、上記の初期化処理および統合処理とは非同期で実行されるガベージコレクションによる削除対象とされる。例えば、処理部１２または処理部２２は、ガベージコレクションを実行することで、アドレス「＃７」における重複データであるデータ「ｂ」を削除してもよい。

【0043】

このように、ストレージシステム１によれば、ストレージ制御装置１０（あるいはストレージ制御装置２０）のダウン中などに重複して書き込まれたデータに対する参照を解除し、当該データを適切に削除可能にすることができる。例えば、ガベージコレクションにより重複データを削除することもできる。これにより、記憶装置３０の記憶容量を節約でき、記憶容量の利用効率の向上を図れる。

【0044】

［第２の実施の形態］
次に、第２の実施の形態を説明する。
図２は、第２の実施の形態のストレージシステムの例を示す図である。

【0045】

ストレージシステム１００は、ホスト装置２００に接続される。ストレージシステム１００は、ホスト装置２００を利用するユーザのデータを記憶する。例えば、ストレージシステム１００は、ホスト装置２００とケーブルによって直接接続されてもよいし、ＳＡＮ（Storage Area Network）などのネットワークを介して接続されてもよい。

【0046】

ストレージシステム１００は、コントローラモジュール（ＣＭ：Controller Module）１１０，１２０およびドライブ収納部１３０を有する。
ＣＭ１１０，１２０は、ドライブ収納部１３０に収納されたＨＤＤやＳＳＤなどの複数の記憶デバイスに対するデータの書き込みや読み出しなどのアクセスを制御する。ＣＭ１１０，１２０は、データの書き込みや読み出しのアクセス要求をホスト装置２００から受け付け、アクセス要求に応じて、記憶デバイスに対するデータの書き込みや読み出しのアクセスを行い、アクセス結果をホスト装置２００に応答する。

【0047】

ＣＭ１１０，１２０は、冗長化されており、データアクセスの高可用性が図られている。すなわち、ＣＭ１１０，１２０が正常に稼働している場合には、データに対するアクセスを分担する。また、一方のＣＭが停止しても、他方のＣＭにより、データに対するアクセスを継続できる。また、ＣＭ１１０，１２０は、データ書き込みの際、重複排除の制御を行うことで、ドライブ収納部１３０における複数のドライブの記憶容量を効率的に利用する。ＣＭ１１０，１２０は、第１の実施の形態のストレージ制御装置１０，２０の一例である。

【0048】

ドライブ収納部１３０は、ＨＤＤやＳＳＤなどの複数の記憶デバイスを収容し、当該複数の記憶デバイスによる大容量の記憶領域を提供する。例えば、ドライブ収納部１３０は、ＨＤＤ１３１，１３２，…を有する。ドライブ収納部１３０は、第１の実施の形態の記憶装置３０の一例である。あるいは、ＨＤＤ１３１などの記憶デバイスを、第１の実施の形態の記憶装置３０の一例と考えてもよい。

【0049】

ホスト装置２００は、アプリケーションを実行し、アプリケーションの処理に用いられるデータを、ストレージシステム１００から読み出したり、書き込んだりする。ホスト装置２００は、例えば、サーバコンピュータである。ホスト装置２００は、第１の実施の形態の情報処理装置２の一例である。

【0050】

図３は、ＣＭのハードウェア例を示す図である。
ＣＭ１１０は、ＣＰＵ１１１、ＲＡＭ１１２、ＮＶＲＡＭ（Non-Volatile RAM）１１３、媒体リーダ１１４、ＤＩ（Drive Interface）１１５、ＮＡ（Network Adapter）１１６およびＣＡ（Channel Adapter）１１７，１１８を有する。これらのハードウェアがＣＭ１１０のバスに接続されている。ＣＰＵ１１１は、第１の実施の形態の処理部１２，２２の一例である。ＲＡＭ１１２は、第１の実施の形態の記憶部１１，２１の一例である。

【0051】

ＣＰＵ１１１は、ＣＭ１１０の全体を制御するプロセッサである。ＣＰＵ１１１は、ＮＶＲＡＭ１１３に記憶されたファームウェアのプログラムやデータの少なくとも一部をＲＡＭ１１２にロードし、ファームウェアのプログラムを実行する。

【0052】

ＲＡＭ１１２は、ＣＭ１１０の主記憶装置である。ＲＡＭ１１２は、ＣＰＵ１１１により実行されるファームウェアのプログラムや、ＣＰＵ１１１の処理に用いられる各種のデータを記憶する。ＲＡＭ１１２は、揮発性記憶装置である。

【0053】

ＮＶＲＡＭ１１３は、ＣＭ１１０の補助記憶装置である。ＮＶＲＡＭ１１３は、ＲＡＭ１１２にロードされるファームウェアのプログラムやＣＰＵ１１１の処理に用いられる各種のデータを記憶する。

【0054】

媒体リーダ１１４は、記録媒体５１に記録されたファームウェアなどのプログラムやデータを読み取る読み取り装置である。記録媒体５１として、例えば、ＵＳＢ（Universal Serial Bus）フラッシュドライブ（ＵＳＢメモリとも呼ばれる）などの半導体メモリなどを使用できる。記録媒体５１を、コンピュータ読み取り可能な記録媒体と言うことがある。媒体リーダ１１４は、例えば、記録媒体５１から読み取ったプログラムやデータを、ＲＡＭ１１２やＮＶＲＡＭ１１３などの他の記録媒体にコピーする。読み取られたプログラムは、例えば、ＣＰＵ１１１によって実行される。

【0055】

なお、記録媒体５１は可搬型記録媒体であってもよく、プログラムやデータの配布に用いられることがある。可搬型記録媒体として用いられる記録媒体５１の例として、磁気ディスク、光ディスク、光磁気ディスク（ＭＯ：Magneto-Optical disk）、半導体メモリなどが挙げられる。磁気ディスクには、フレキシブルディスク（ＦＤ：Flexible Disk）やＨＤＤが含まれる。光ディスクには、ＣＤ（Compact Disc）やＤＶＤ（Digital Versatile Disc）が含まれる。

【0056】

ＤＩ１１５は、ドライブ収納部１３０に収納されたＨＤＤ１３１，１３２，…にアクセスするためのインタフェースである。
ＮＡ１１６は、運用管理用のＬＡＮ（Local Area Network）５０に接続され、ＬＡＮ５０を介して他のサーバコンピュータと通信する通信インタフェースである。例えば、ＣＭ１１０は、ＬＡＮ５０を介して、他のサーバコンピュータからファームウェアのプログラムをダウンロードし、ＲＡＭ１１２、ＮＶＲＡＭ１１３あるいは記録媒体５１に格納することもできる。

【0057】

ＣＡ１１７，１１８は、ホスト装置２００に接続される通信インタフェースである。ＣＡ１１７，１１８における通信インタフェースの規格には、例えば、ＦＣ（Fibre Channel）、ｉＳＣＳＩ（Internet Small Computer System Interface）、ＳＡＳ（Serial Attached SCSI）などが用いられる。

【0058】

ＣＭ１２０もＣＭ１１０と同様のハードウェアにより実現される。ＣＭ１１０，１２０は、ＣＭ間の所定のインタフェースにより接続され、冗長構成となっている（例えば、何れか一方のＣＭが故障しても他方のＣＭでデータアクセスを継続可能である）。

【0059】

図４は、ストレージシステムの機能例を示す図である。
ＣＭ１１０は、記憶部１４０および重複排除制御部１５０を有する。ＣＭ１２０は、記憶部１６０および重複排除制御部１７０を有する。

【0060】

記憶部１４０は、ＲＡＭ１１２の記憶領域により実現される。重複排除制御部１５０は、ＲＡＭ１１２に記憶されたプログラムがＣＰＵ１１１により実行されることで実現される。記憶部１６０は、ＣＭ１２０が有するＲＡＭの記憶領域により実現される。重複排除制御部１７０は、ＣＭ１２０が有するＲＡＭに記憶されたプログラムが、ＣＭ１２０が有するＣＰＵにより実行されることで実現される。

【0061】

記憶部１４０は、重複排除制御部１５０の重複排除の制御に用いられるハッシュテーブルを記憶する。ハッシュテーブルは、単位サイズのデータ（便宜的にデータブロックと称してもよい）のハッシュ値と、当該データの格納先の物理アドレスとの対応関係を示す。ここで、単位サイズは、例えば、４ＫＢである。ただし、単位サイズは、他のサイズ（例えば、８ＫＢなど）でもよい。また、ハッシュ値のサイズは、例えば、２０Ｂｙｔｅｓである（ハッシュ値についても、他のサイズでもよい）。

【0062】

重複排除制御部１５０は、記憶部１４０に記憶されたハッシュテーブルに基づいて、ＨＤＤ１３１，１３２，…に格納するデータの重複排除を行う。重複排除制御部１５０は、重複排除制御部１７０と重複排除の処理を分散して実行する。

【0063】

例えば、データのハッシュ値を稼働中のＣＭ数（本例では「２」）で割った剰余が「０」の場合、当該データの重複排除をＣＭ１１０の重複排除制御部１５０が担当する。また、データのハッシュ値を稼働中のＣＭ数（本例では「２」）で割った剰余が「１」の場合、当該データの重複排除をＣＭ１２０の重複排除制御部１７０が担当する。このように、例えば、データのハッシュ値の剰余によって、ある担当ＣＭが重複排除を担当するデータの管理単位が定められる。例えば、ストレージシステム１００は、ホスト装置２００からデータの書き込み要求を受け付け、当該データの重複排除を何れのＣＭが担当するかを判定し、担当のＣＭに当該書き込み要求を転送する判定装置を更に有してもよい。当該判定装置は、ストレージシステム１００とホスト装置２００との間に設けられてもよい。この場合、ストレージシステム１００は、判定装置を介して、ホスト装置２００からのデータの書き込み要求を、当該データの書き込みを担当するＣＭにより受信する。あるいは、ＣＭ１１０，１２０のうちの代表のＣＭ（例えば、ＣＭ１１０）がホスト装置２００からデータの書き込み要求を受け付け、当該データの重複排除を担当するＣＭを判定して、担当のＣＭに当該書き込み要求を転送してもよい。この場合、代表のＣＭがダウンした場合には、代表のＣＭの役割を、他のＣＭが引き継ぐ。

【0064】

記憶部１６０は、記憶部１４０と同様に、重複排除制御部１７０の重複排除の制御に用いられるハッシュテーブルを記憶する。ハッシュテーブルは、第１の実施の形態のハッシュキャッシュ１１ａ（あるいは、ハッシュキャッシュ２１ａ）の一例である。

【0065】

重複排除制御部１７０は、記憶部１６０に記憶されたハッシュテーブルに基づいて、ＨＤＤ１３１，１３２，…に格納するデータの重複排除を行う。
ここで、ＣＭ１１０，１２０の何れかがダウンすると、ダウンしたＣＭにおける記憶部（揮発性記憶装置であるＲＡＭ）に格納されたハッシュテーブルは消失する。このため、当該ハッシュテーブルに登録されたハッシュ値に対応するデータに関して実行されていた重複排除は一時的に実行できなくなる。

【0066】

ＣＭのダウン中には他のＣＭでデータの書き込みを継続できるし、ダウンしたＣＭが正常にリブートした後には当該ＣＭでデータの書き込みが再開される。ＣＭのリブート後、当該ＣＭでハッシュテーブルが復元される。しかし、ダウンしたＣＭによりハッシュテーブルが復元されるまでに、当該ＣＭまたは他のＣＭにより重複したデータの書き込みが生じる可能性がある。具体的には次の通りである。

【0067】

まず、重複排除の制御の例を説明する。
図５は、重複排除の例を示す図である。
図５（Ａ）は、新規の書き込みデータｗ１の書き込み時の制御例を示す。書き込みデータｗ１は、それぞれが単位サイズであるデータ「１」、「２」、「３」を含む。データ「１」、「２」、「３」の重複排除の担当ＣＭは、ＣＭ１１０であるとする。重複排除制御部１５０は、データ「１」、「２」、「３」のそれぞれに対するハッシュ値が、ハッシュテーブル１４１に登録されていないことを検出する。すると、重複排除制御部１５０は、データ「１」、「２」、「３」それぞれに対するハッシュ値「ｈ１」、「ｈ２」、「ｈ３」を計算し、ハッシュテーブル１４１に登録し、データ「１」、「２」、「３」をＨＤＤ１３１に書き込む。

【0068】

図５（Ｂ）は、図５（Ａ）の書き込みの後であって、書き込みデータｗ１を含む書き込みデータｗ２の書き込み時の制御例を示す。書き込みデータｗ２は、データ「１」、「２」、「３」を含む。重複排除制御部１５０は、データ「１」、「２」、「３」のそれぞれに対するハッシュ値が、ハッシュテーブル１４１に登録されていることを検出する。すると、重複排除制御部１５０は、書き込みデータｗ２のうち、データ「１」、「２」、「３」の部分を、ＨＤＤ１３１，１３２，…に書き込まない。重複排除制御部１５０は、書き込みデータｗ２に対する参照先アドレスとして、書き込みデータｗ１の書き込みの際に書き込んだ物理アドレスを設定する。

【0069】

図６は、ハッシュテーブル消失時の重複書き込みの例を示す図である。
図６（Ａ）は、図５（Ｂ）の時点よりも後に、ＣＭ１１０の異常により、ハッシュテーブル１４１の内容が消失した場合を例示する。

【0070】

図６（Ｂ）は、図６（Ａ）の時点よりも後に、ＣＭ１１０が正常にリブートされた時の書き込みデータｗ３の書き込み時の制御例を示す。書き込みデータｗ３は、データ「１」、「２」、「３」を含む。重複排除制御部１５０は、データ「１」、「２」、「３」のそれぞれに対するハッシュ値が、ハッシュテーブル１４１に登録されていないことを検出する。すると、重複排除制御部１５０は、データ「１」、「２」、「３」それぞれに対するハッシュ値「ｈ１」、「ｈ２」、「ｈ３」を計算し、ハッシュテーブル１４１に登録し、データ「１」、「２」、「３」をＨＤＤ１３１（あるいは、他のＨＤＤでもよい）に書き込む。その結果、データ「１」、「２」、「３」が重複して（二重に）、書き込まれる。

【0071】

なお、上記の例では、ＣＭ１１０に着目して説明したが、ＣＭ１１０のダウン中に、ＣＭ１２０がデータ「１」、「２」、「３」の書き込みを行う場合にも同様に重複した書き込みが行われる。

【0072】

そこで、重複排除制御部１５０，１７０は、ダウンしたＣＭが復旧して、当該ＣＭによりハッシュテーブルが復元される際、それまでに重複して書き込まれたデータを判別して削除可能にする機能を提供する。

【0073】

次に、ＨＤＤ１３１，１３２，…における記憶領域の単位例を説明する。
図７は、コンテナおよびスロットの例を示す図である。
ドライブ群１３０ａは、ＨＤＤ１３１，１３２，…の集合である。ドライブ群１３０ａの記憶領域は、コンテナと呼ばれる所定サイズの単位領域に分割されている。１つのコンテナのサイズは、例えば、４ＧＢである（１つのコンテナのサイズは、１６ＧＢなどの他のサイズでもよい）。例えば、ドライブ群１３０ａの記憶領域は、コンテナＣ１，Ｃ２，Ｃ３に分割されている。コンテナＣ１の識別番号（コンテナ番号）は、「コンテナ＃１」である。コンテナＣ２のコンテナ番号は、「コンテナ＃２」である。コンテナＣ３のコンテナ番号は、「コンテナ＃３」である。

【0074】

各コンテナは、スロットと呼ばれる単位領域に更に分割されている。１つのスロットのサイズは、重複排除の対象となるデータの単位サイズに相当し、前述のように、例えば、４ＫＢである。各コンテナのスロットは、スロットの識別番号（スロット番号）により区別される。各コンテナは、スロット番号「スロット＃１」、「スロット＃２」、…のスロットを含む。

【0075】

ここで、図７では、参照数が１以上のデータが格納されているスロットに、「使用中」の文字列を付している。「使用中」の文字列が付されていないスロットは、参照数が０のデータが格納されているか、あるいは、データが削除済のスロットとなる。各コンテナ上の参照数が０のデータは、ガベージコレクションの処理による削除対象のデータとなる。ガベージコレクションは、重複排除制御部１５０，１７０により所定のタイミング（例えば、所定の周期やＣＭ１１０，１２０の負荷が低いときなど）で実行される。

【0076】

図８は、コンテナに格納される情報の例を示す図である。
コンテナＣ１はリファレンスカウンタ部Ｃ１１および実データ記憶部Ｃ１２を有する。
リファレンスカウンタ部Ｃ１１は、実データ記憶部Ｃ１２の各スロットに格納されたデータの参照数を保持する。参照数のデータサイズは、実データ記憶部Ｃ１２に格納されるデータのサイズよりも小さい。

【0077】

実データ記憶部Ｃ１２は、実データを格納するための複数のスロットに相当する記憶領域である。例えば、リファレンスカウンタ部Ｃ１１は、コンテナＣ１のうちの先頭の所定範囲の部分の記憶領域により実現される。実データ記憶部Ｃ１２は、コンテナＣ１のうちの、リファレンスカウンタ部Ｃ１１の後ろの部分の記憶領域により実現される。

【0078】

図８の例では、実データ記憶部Ｃ１２における各スロットが、２行８列の矩形によって図示されている。行番号は図８の上から下へ順に数え、列番号は図８の左から右へ順に数えるものとする。リファレンスカウンタ部Ｃ１１でも各スロットに対応する参照数が記載された矩形が、実データ記憶部Ｃ１２における対応するスロットの矩形と同じ位置に図示されている。

【0079】

例えば、リファレンスカウンタ部Ｃ１１の１行１列目の参照数「４」は、実データ記憶部Ｃ１２の１行１列目のスロットのデータ「Ａ」の参照数である。参照数「０」に対応するスロットについて、実データ記憶部Ｃ１２ではハイフン記号「－」を表記している。

【0080】

コンテナＣ２，Ｃ３も、コンテナＣ１と同様に、リファレンスカウンタ部および実データ記憶部を有する。
図９は、ハッシュテーブルの例を示す図である。

【0081】

ハッシュテーブル１４１は、記憶部１４０に記憶される。ハッシュテーブル１４１は、ハッシュ値、コンテナ番号およびスロット番号の項目を含む。
ハッシュ値の項目には、データに対して計算されたハッシュ値が登録される。コンテナ番号の項目には、該当のデータが格納されているコンテナのコンテナ番号が登録される。スロット番号の項目には、該当のデータが格納されているコンテナにおけるスロットのスロット番号が登録される。

【0082】

例えば、ハッシュテーブル１４１には、ハッシュ値が「ｈ（Ｂ）」、コンテナ番号が「コンテナ＃３」、スロット番号が「スロット＃５」のレコードが登録されている。このレコードは、ハッシュ値「ｈ（Ｂ）」を取得済であり、当該ハッシュ値「ｈ（Ｂ）」の計算に用いられたデータ「Ｂ」が、コンテナ番号「コンテナ＃３」のコンテナのスロット番号「スロット＃５」のスロットに格納されていることを示す。

【0083】

ハッシュテーブル１４１には、他のハッシュ値についても同様のレコードが登録される。
図１０は、ブロックマップの例を示す図である。

【0084】

ブロックマップＭ１は、ドライブ群１３０ａの記憶領域のうちの所定の領域に格納される。ブロックマップＭ１は、データの参照先の論理アドレスを、ドライブ群１３０ａにおける物理的なデータ格納位置である物理アドレスに対応付ける情報である。ブロックマップＭ１は、第１の実施の形態のマップ情報３１の一例である。

【0085】

ブロックマップＭ１には、論理アドレスの順に、論理アドレスに対応する物理アドレスが登録されている。例えば、ブロックマップＭ１には、ＬＢＡ（Logical Block Addressing）の方式における論理アドレス「０ｘ００００」に対して、物理アドレス「コンテナ＃３ スロット＃５」が登録されている。これは、データの参照先の論理アドレス「０ｘ００００」が、ドライブ群１３０ａにおけるコンテナ番号「コンテナ＃３」のコンテナのスロット番号「スロット＃５」のスロットに対応することを示す。

【0086】

ブロックマップＭ１には、他の論理アドレスについても同様に物理アドレスが対応付けられている。また、ブロックマップＭ１では、重複排除の制御によって、複数の論理アドレスに対して、１つの物理アドレスが対応付けられることもある。例えば、ブロックマップＭ１の例では、論理アドレス「０ｘ００００」および「０ｘ００５０」に対して、同一の物理アドレス「コンテナ＃３ スロット＃５」が対応付けられている。ブロックマップＭ１に基づいて論理アドレスから参照される数（物理アドレスに対応付けられる論理アドレスの数）が、該当の物理アドレスにおけるスロットの参照数に相当する。

【0087】

次に、重複排除制御部１５０によるハッシュテーブルの復元時の処理例を説明する。重複排除制御部１７０がハッシュテーブルを復元する場合も、重複排除制御部１５０と同様の処理を実行する。

【0088】

図１１は、ハッシュテーブルの復元時の処理例を示す図である。
ＣＭ１１０が障害などでダウンした後、ＣＭ１１０が正常にリブートされると、重複排除制御部１５０は、初期化処理を行うことで、ハッシュテーブル１４１を復元する。重複排除制御部１５０は、コンテナリストを順番に検査して、ドライブ群１３０ａにおける処理対象のコンテナを１つ決定する。ここで、コンテナリストは、ドライブ群１３０ａに存在するコンテナの情報をリンクで接続したコンテナのリストである。例えば、コンテナリストは、ドライブ群１３０ａの記憶領域に格納される。重複排除制御部１５０は、当該リンクに接続されたコンテナを順に検査することで、ドライブ群１３０ａにおける全てのデータをチェック可能である。

【0089】

図１１（Ａ）は、新規ハッシュ値の登録例を示す。図１１（Ａ）の例では、重複排除制御部１５０の復元処理によって、ハッシュテーブル１４１に、ハッシュ値「ｈ（Ｂ）」、「ｈ（Ｚ）」、「ｈ（Ｐ）」のレコードが既に復元され、登録されている。重複排除制御部１５０は、処理対象のコンテナ内の使用中データ（参照数が１以上のデータ）を全て読み込む。重複排除制御部１５０は、先頭の使用中データから処理する。例えば、使用中データ「Ａ」について、重複排除制御部１５０は、ハッシュ値「ｈ（Ａ）」を計算する。

【0090】

重複排除制御部１５０は、計算したハッシュ値「ｈ（Ａ）」から所定の計算式に基づいて、担当ＣＭを求める。前述のように、例えば、重複排除制御部１５０は、ハッシュ値を稼働中のＣＭ数で割り、その余りによって、担当ＣＭを求めることができる（余りの値が担当ＣＭの識別番号に相当する）。重複排除制御部１５０は、担当ＣＭが自ＣＭでない場合、次の使用中データの処理に進む。

【0091】

重複排除制御部１５０は、担当ＣＭが自ＣＭである場合、ハッシュテーブル１４１を参照して、計算したハッシュ値「ｈ（Ａ）」と同一のハッシュ値がハッシュテーブル１４１に登録済であるか否かを判定する。

【0092】

計算したハッシュ値「ｈ（Ａ）」がハッシュテーブル１４１に登録済でない場合、重複排除制御部１５０は、計算したハッシュ値「ｈ（Ａ）」、使用中データ「Ａ」が格納されたコンテナ番号およびスロット番号を含むレコードをハッシュテーブル１４１に登録する。そして、重複排除制御部１５０は、次の使用中データの処理に進む。

【0093】

計算したハッシュ値「ｈ（Ａ）」がハッシュテーブル１４１に登録済である場合、重複排除制御部１５０は、下記に示すハッシュ値統合処理を行って、次の使用中データの処理に進む。

【0094】

図１１（Ｂ）は、既登録ハッシュ値の検出例を示す。図１１（Ｂ）の例では、重複排除制御部１５０の復元処理によって、ハッシュテーブル１４１に、ハッシュ値「ｈ（Ａ）」、「ｈ（Ｚ）」、「ｈ（Ｐ）」のレコードが既に復元され、登録されている。この段階から、重複排除制御部１５０は、次の使用中データ「Ａ」について、ハッシュ値「ｈ（Ａ）」を計算する。重複排除制御部１５０は、ハッシュ値「ｈ（Ａ）」に基づいて、担当ＣＭが自ＣＭであることを検出する。重複排除制御部１５０は、ハッシュテーブル１４１を参照して、計算したハッシュ値「ｈ（Ａ）」と同一のハッシュ値がハッシュテーブル１４１に登録済であることを検出する。すると、重複排除制御部１５０は、リファレンスカウンタ部Ｃ１１に基づいて、既登録ハッシュ値に対応するデータの参照数と、処理対象の使用中データの参照数とを比較し、比較に応じてハッシュ値を統合するハッシュ値統合処理を行う。

【0095】

図１２は、参照数の比較の例を示す図である。
重複排除制御部１５０は、ハッシュテーブル１４１の復元において、コンテナＣ１におけるデータ（使用中データ）「Ａ」を処理対象としているとする。重複排除制御部１５０は、データ「Ａ」に対するハッシュ値「ｈ（Ａ）」を計算する。重複排除制御部１５０は、ハッシュテーブル１４１には、コンテナＣ３におけるデータ「Ａ」に対して計算されたハッシュ値「ｈ（Ａ）」が既に登録されている。

【0096】

すると、重複排除制御部１５０は、ハッシュテーブル１４１に基づいて、コンテナＣ３におけるデータ「Ａ」の格納位置を特定し、リファレンスカウンタ部Ｃ１１を参照して、該当の格納位置のデータ「Ａ」に対する参照数を得る。コンテナＣ３におけるデータ「Ａ」の参照数（ブロックマップＭ１から参照されている数）は、「２」である。

【0097】

また、重複排除制御部１５０は、リファレンスカウンタ部Ｃ１１を参照して、コンテナＣ１における処理対象のデータ「Ａ」の参照数を得る。コンテナＣ１における処理対象のデータ「Ａ」の参照数は、「１」である。

【0098】

重複排除制御部１５０は、既に登録されているコンテナＣ３のデータ「Ａ」の参照数Ｎ＝「２」と、今回復元処理を行っているコンテナＣ１のデータ「Ａ」の参照数Ｍ＝「１」とを比較する。

【0099】

重複排除制御部１５０は、既に登録されているデータの参照数Ｎが、今回復元処理を行っているデータの参照数Ｍ以上の場合、今回復元処理を行っているデータのハッシュ値のレコードをハッシュテーブル１４１に登録しない。この場合、重複排除制御部１５０は、ブロックマップＭ１において、既に登録されているデータに対し、今回復元処理を行っているデータの参照先アドレスを統合した上でリファレンスカウンタ部Ｃ１１における参照数を合算する。

【0100】

一方、重複排除制御部１５０は、既に登録されているデータの参照数Ｎが、今回復元処理を行っているデータの参照数Ｍ未満の場合、今回復元処理を行っているデータのハッシュ値のレコードをハッシュテーブル１４１に登録する。この場合、重複排除制御部１５０は、既に登録されているデータについては、当該データに対するハッシュ値のレコードをハッシュテーブル１４１から破棄し、今回復元処理を行っているデータに対して、既に登録されているデータの参照先アドレスを統合する。また、重複排除制御部１５０は、今回復元処理を行っているデータの参照数に、既に登録されているデータの参照数を合算する。

【0101】

リファレンスカウンタ部Ｃ１１において、結果的に参照数が「０」になったデータは、非同期でガベージコレクションが動作することにより、ドライブ群１３０ａから破棄される。これによって、ドライブ群１３０ａに重複して記録されていたデータが１つのデータに集約され、適切に重複排除される。特に、参照数が多い方のデータに統合することで、参照数が少ない方のデータに統合するよりも、ブロックマップＭ１の参照先アドレスの更新ステップ数を少なくすることができ、統合処理に伴う処理負荷を軽減できる。

【0102】

例えば、図１２の例では、既に登録されているデータの参照数Ｎ＝「２」は、今回復元処理を行っているデータの参照数Ｍ＝「１」よりも大きい。したがって、重複排除制御部１５０は、今回復元処理を行っているコンテナＣ１のデータ「Ａ」を、既に登録されているコンテナＣ３のデータ「Ａ」に統合する。

【0103】

図１３は、ブロックマップおよび参照数の更新例を示す図である。
重複排除制御部１５０は、ブロックマップＭ１における、コンテナＣ１のデータ「Ａ」への参照先アドレスを、コンテナＣ３のデータ「Ａ」への参照先アドレスに更新する。すると、ブロックマップＭ１からコンテナＣ３のデータ「Ａ」への参照数は「２＋１＝３」になる。重複排除制御部１５０は、リファレンスカウンタ部Ｃ１１における、コンテナＣ３のデータ「Ａ」に対する参照数を「３」に更新し、コンテナＣ１のデータ「Ａ」に対する参照数を「０」に更新する。コンテナＣ１のデータ「Ａ」は、参照数が「０」になるので、ガベージコレクションによる削除対象になる。

【0104】

次に、ストレージシステム１００の処理手順を説明する。下記に示す初期化処理は、例えば、ＣＭ１１０の異常により、ハッシュテーブルがロストされた後に、保守員によるリブートや、自動リブートなどでＣＭ１１０が正常起動した後に実行される。ＣＭ１２０に異常が発生して、ＣＭ１２０がリブートされた場合も、ＣＭ１１０とＣＭ１２０との役割を入れ替えて、下記の手順が実行される。

【0105】

図１４は、初期化処理の例を示すフローチャートである。
（Ｓ１０）重複排除制御部１５０は、コンテナリストに次の処理対象コンテナがあるか否かを判定する。次の処理対象コンテナがある場合、ステップＳ１１に処理が進む。次の処理対象コンテナがない場合（すなわち、全てのコンテナを処理済の場合）、初期化処理が終了する。例えば、重複排除制御部１５０は、コンテナリストにおけるコンテナの情報のリンクを順に辿ることで、次の処理対象コンテナを検出することができる。

【0106】

（Ｓ１１）重複排除制御部１５０は、コンテナリストに基づいて、次の処理対象コンテナを決定する。例えば、次の処理対象コンテナがコンテナＣ１であるとする。
（Ｓ１２）重複排除制御部１５０は、処理対象コンテナにチェック対象の使用中データがあるか否かを判定する。チェック対象の使用中データがある場合、ステップＳ１３に処理が進む。チェック対象の使用中データがない場合、ステップＳ１０に処理が進む。例えば、重複排除制御部１５０は、処理対象コンテナであるコンテナＣ１に格納されたリファレンスカウンタ部Ｃ１１を参照することで、チェック対象の使用中データがあるか否かを判定することができる。使用中データは、リファレンスカウンタ部Ｃ１１における参照数が１以上のデータである。例えば、重複排除制御部１５０は、コンテナＣ１の実データ記憶部Ｃ１２の記憶領域の先頭から順に、チェック対象の使用中データを抽出する。

【0107】

（Ｓ１３）重複排除制御部１５０は、チェック対象の使用中データを決定し、当該使用中データからハッシュ値を計算する。
（Ｓ１４）重複排除制御部１５０は、ステップＳ１３で計算したハッシュ値から担当ＣＭを算出する。

【0108】

（Ｓ１５）重複排除制御部１５０は、担当ＣＭが自ＣＭ（ＣＭ１１０）であるか否かを判定する。担当ＣＭが自ＣＭである場合、ステップＳ１６に処理が進む。担当ＣＭが自ＣＭでない場合、ステップＳ２２に処理が進む。

【0109】

（Ｓ１６）重複排除制御部１５０は、ハッシュテーブル１４１に、ステップＳ１３で計算したハッシュ値と同一のハッシュ値があるか否かを判定する。ハッシュテーブル１４１に同一のハッシュ値がない場合、ステップＳ１７に処理が進む。ハッシュテーブル１４１に同一のハッシュ値がある場合、ステップＳ１８に処理が進む。

【0110】

（Ｓ１７）重複排除制御部１５０は、ハッシュテーブル１４１にステップＳ１３で計算したハッシュ値、該当の使用中データのコンテナ番号、および、スロット番号を新規登録する。そして、ステップＳ２１に処理が進む。

【0111】

（Ｓ１８）重複排除制御部１５０は、ステップＳ１６の判定においてハッシュテーブル１４１から検出されたハッシュ値に対応するコンテナ番号とスロット番号とを参照する。
（Ｓ１９）重複排除制御部１５０は、ステップＳ１８で参照されたコンテナ番号とスロット番号とがチェック対象の使用中データのものと一致するか否かを判定する。一致する場合、ステップＳ２２に処理が進む。一致しない場合、ステップＳ２０に処理が進む。

【0112】

（Ｓ２０）重複排除制御部１５０は、ハッシュ値統合処理を実行する。ハッシュ値統合処理の詳細は後述される。
（Ｓ２１）ＣＭ１２０の重複排除制御部１７０は、他ＣＭハッシュ値統合処理を実行する。他ＣＭハッシュ値統合処理の詳細は後述される。重複排除制御部１５０は、チェック対象の使用中データに対して計算したハッシュ値と、当該使用中データの格納先のコンテナ番号とスロット番号とをＣＭ１２０に送信する。このとき、ステップＳ２０のハッシュ値統合処理で、チェック対象の使用中データを他のデータに統合した場合、重複排除制御部１５０は、統合先のデータのコンテナ番号とスロット番号とをＣＭ１２０に送信する。ＣＭ１２０の重複排除制御部１７０は、重複排除制御部１５０により送信されたハッシュ値とコンテナ番号とスロット番号とを受信すると、他ＣＭハッシュ値統合処理を実行する。

【0113】

（Ｓ２２）重複排除制御部１５０は、ＣＰＵ１１１のＣＰＵ負荷（例えば、Ｂｕｓｙ率）が閾値を超過しているか否かを判定する。ＣＰＵ１１１のＣＰＵ負荷が閾値を超過している場合、ステップＳ２３に処理が進む。ＣＰＵ１１１のＣＰＵ負荷が閾値を超過していない場合、ステップＳ１２に処理が進む。

【0114】

（Ｓ２３）重複排除制御部１５０は、一定時間待機する。そして、ステップＳ１０に処理が進む。例えば、重複排除制御部１５０は、初期化処理を一時停止し、一定時間後に初期化処理を再開するための処理再開用タイマーを開始させる。重複排除制御部１５０は、処理再開用タイマーにより一定時間が経過したことを検出すると、初期化処理を再開する（ステップＳ１０に進む）。

【0115】

ここで、重複排除制御部１５０は、ステップＳ２１で示したように、ハッシュテーブル１４１に復元したハッシュ値とデータの格納先のアドレスとをＣＭ１２０（他のＣＭ）に送信する。これにより、ＣＭ１２０に対して、重複している可能性のあるデータのハッシュ値を適切に通知できる。また、重複排除制御部１５０は、ＣＭ１２０による、重複データの検索および当該重複データの削除対象としての設定を促すことができる。

【0116】

更に、重複排除制御部１５０は、ステップＳ１４で例示したように、ドライブ群１３０ａに記憶されたデータのハッシュ値を稼働中のＣＭ数で割ったときの剰余に基づいて、ＣＭ１１０が重複排除を担当する管理単位に属する使用中データを特定する。これにより、重複排除制御部１５０は、自ＣＭ（ＣＭ１１０）が担当する使用中データを高速に識別できる。また、各データの重複排除の制御を各ＣＭに対して、ほぼ均一に分散できる。

【0117】

図１５は、ハッシュ値統合処理の例を示すフローチャートである。
ハッシュ値統合処理は、ステップＳ２０に相当する。
（Ｓ３０）重複排除制御部１５０は、チェック対象の使用中データの参照数Ｍと既登録の同一ハッシュ値データの参照数Ｎとを比較する。図１５における「既登録の同一ハッシュ値データ」とは、チェック対象の使用中データとハッシュ値が同じであるが、チェック対象の使用中データとは異なる物理アドレスに格納されたデータであって、当該データのハッシュ値がハッシュテーブル１４１に登録済のものを示す。例えば、重複排除制御部１５０は、処理対象コンテナであるコンテナＣ１のリファレンスカウンタ部Ｃ１１を参照して、チェック対象の使用中データの参照数Ｍを得る。また、重複排除制御部１５０は、ステップＳ１８で参照されたコンテナ番号に対応するコンテナのリファレンスカウンタ部から、ステップＳ１８で参照されたコンテナ番号およびスロット番号に対応する参照数Ｎを得る。

【0118】

（Ｓ３１）重複排除制御部１５０は、Ｎ≧Ｍ（ＮがＭ以上）であるか否かを判定する。Ｎ≧Ｍの場合、ステップＳ３２に処理が進む。Ｎ＜Ｍの場合、ステップＳ３５に処理が進む。

【0119】

（Ｓ３２）重複排除制御部１５０は、チェック対象の使用中データを参照しているブロックマップＭ１のデータ位置が全て、既登録の同一ハッシュ値データを指すようにアドレス（コンテナ番号とスロット番号）を変更する。

【0120】

（Ｓ３３）重複排除制御部１５０は、チェック対象の使用中データの参照数Ｍを、既登録の同一ハッシュ値データの参照数Ｎに加算する。すなわち、重複排除制御部１５０は、参照数Ｎを保持するリファレンスカウンタ部において、Ｎ＝Ｎ＋Ｍに更新する。

【0121】

（Ｓ３４）重複排除制御部１５０は、チェック対象の使用中データの参照数Ｍを、０に設定する。すなわち、重複排除制御部１５０は、参照数Ｍを保持するリファレンスカウンタ部Ｃ１１において、Ｍ＝０に更新する。そして、ハッシュ値統合処理が終了する。

【0122】

（Ｓ３５）重複排除制御部１５０は、既登録の同一ハッシュ値データを参照しているブロックマップＭ１のデータ位置が全て、チェック対象の使用中データを指すようにアドレス（コンテナ番号とスロット番号）を変更する。

【0123】

（Ｓ３６）重複排除制御部１５０は、既登録の同一ハッシュ値データの参照数Ｎを、使用中データの参照数Ｍに加算する。すなわち、重複排除制御部１５０は、参照数Ｍを保持するリファレンスカウンタ部Ｃ１１において、Ｍ＝Ｍ＋Ｎに更新する。

【0124】

（Ｓ３７）重複排除制御部１５０は、既登録の同一ハッシュ値データの参照数Ｎを０に設定する。すなわち、重複排除制御部１５０は、参照数Ｎを保持するリファレンスカウンタ部において、Ｎ＝０に更新する。

【0125】

（Ｓ３８）重複排除制御部１５０は、既登録の同一ハッシュ値のレコードを、ハッシュテーブル１４１から削除して、チェック対象の使用中データのハッシュ値のレコード（当該使用中データのコンテナ番号とスロット番号を含む）をハッシュテーブル１４１に登録する。そして、ハッシュ値統合処理が終了する。

【0126】

このように、重複排除制御部１５０は、チェック対象の使用中データのハッシュ値と同じハッシュ値がハッシュテーブル１４１に登録済の場合、リファレンスカウンタ部のうち、チェック対象の使用中データの参照数Ｍと登録済の同一ハッシュ値に対応する他のデータの参照数Ｎとを比較し、当該比較に応じて、チェック対象の使用中データを削除対象とするか、または、他のデータを削除対象とするかを決定する。

【0127】

例えば、重複排除制御部１５０は、参照数Ｍが参照数Ｎ以下の場合、ブロックマップＭ１に含まれる、チェック対象の使用中データのアドレスを他のデータの格納先のアドレスに変更し、参照数Ｎに参照数Ｍを加算し、参照数Ｍを０に設定することで、チェック対象の使用中データをガベージコレクションによる削除対象とする。

【0128】

また、重複排除制御部１５０は、参照数Ｍが参照数Ｎよりも大きい場合、ブロックマップＭ１に含まれる、他のデータの格納先のアドレスをチェック対象の使用中データのアドレスに変更し、参照数Ｍに参照数Ｎを加算し、参照数Ｎを０に設定することで、他のデータをガベージコレクションによる削除対象とする。

【0129】

このように、重複排除制御部１５０は、ブロックマップＭ１におけるチェック対象の使用中データ、または、既登録の同一ハッシュ値データへの参照を、全て解除することで、ＣＭ１１０により書き込まれた重複データを削除可能にできる。更に、重複データの参照数を、統合先のデータの参照数に合算し、重複データの参照数を０に設定することで、重複データをガベージコレクションによる削除対象にすることができる。

【0130】

例えば、重複排除制御部１５０または重複排除制御部１７０は、リファレンスカウンタ部の参照数に基づいてガベージコレクションを非同期に実行することで、重複データを削除する。すなわち、ドライブ群１３０ａに重複して記録されていたデータが１つのデータに集約され、適切に重複排除される。これにより、ドライブ群１３０ａの記憶容量を節約でき、記憶容量の利用効率の向上を図れる。

【0131】

また、参照数が多い方のデータに統合することで、参照数が少ない方のデータに統合するよりも、ブロックマップＭ１の参照先アドレスの更新ステップ数を少なくすることができ、統合処理に伴う処理負荷を軽減できる。

【0132】

図１６は、他ＣＭハッシュ値統合処理の例を示すフローチャートである。
他ＣＭハッシュ値統合処理は、ステップＳ２１に相当する。
（Ｓ４０）重複排除制御部１７０は、チェック対象の使用中データのハッシュ値と同一のハッシュ値を、記憶部１６０に記憶されたハッシュテーブルから検索する。

【0133】

（Ｓ４１）重複排除制御部１７０は、ステップＳ４０の検索の結果、記憶部１６０に記憶されたハッシュテーブルに同一のハッシュ値があるか否かを判定する。同一のハッシュ値がある場合、ステップＳ４２に処理が進む。同一のハッシュ値がない場合、他ＣＭハッシュ値統合処理が終了する。

【0134】

（Ｓ４２）重複排除制御部１７０は、既登録の同一ハッシュ値データを参照しているブロックマップＭ１のデータ位置が全て、該当の使用中データを指すようにアドレス（コンテナ番号とスロット番号）を変更する。図１６における「既登録の同一ハッシュ値データ」とは、チェック対象の使用中データとハッシュ値が同じであるが、チェック対象の使用中データとは異なる物理アドレスに格納されたデータであって、当該データのハッシュ値が記憶部１６０に記憶されたハッシュテーブルに登録済のものを示す。また、「該当の使用中データ」とは、チェック対象の使用中データまたはステップＳ３２～Ｓ３４による統合先の使用中データである。該当の使用中データのアドレス（コンテナ番号とスロット番号）は、重複排除制御部１５０から取得される。

【0135】

（Ｓ４３）重複排除制御部１７０は、既登録の同一ハッシュ値データの参照数Ｎを、該当の使用中データの参照数Ｍに加算する。すなわち、重複排除制御部１７０は、参照数Ｍを保持するリファレンスカウンタ部において、Ｍ＝Ｍ＋Ｎに更新する。

【0136】

（Ｓ４４）重複排除制御部１７０は、既登録の同一ハッシュ値データの参照数Ｎを０に設定する。すなわち、重複排除制御部１７０は、参照数Ｎを保持するリファレンスカウンタ部において、Ｎ＝０に更新する。

【0137】

（Ｓ４５）重複排除制御部１７０は、既登録の同一ハッシュ値のレコードを、記憶部１６０に記憶されたハッシュテーブルから削除する。そして、他ＣＭハッシュ値統合処理が終了する。

【0138】

ここで、ステップＳ４２～Ｓ４４は、ステップＳ４５の後に実行されてもよい。その場合、重複排除制御部１７０は、記憶部１６０に記憶されたハッシュテーブルから、削除対象のハッシュ値に対応するアドレス（コンテナ番号およびスロット番号）を読み出して、ＣＭ１２０のＲＡＭ上に一時的に保持する。そして、重複排除制御部１７０は、ＲＡＭ上に一時的に保持されている当該アドレスを基に、ステップＳ４２～Ｓ４４に相当する処理を行う。

【0139】

こうして、重複排除制御部１７０は、ブロックマップＭ１における既登録の同一ハッシュ値データへの参照を全て解除することで、ＣＭ１２０により書き込まれた重複データを削除可能にできる。更に、重複排除制御部１７０は、非参照データを削除するガベージコレクションに用いられるリファレンスカウンタ部のうち、該当の使用中データの参照数Ｍに、既登録の同一ハッシュ値データの参照数Ｎを加算し、参照数Ｎを０に設定する。これにより、既登録の同一ハッシュ値データ（重複データ）をガベージコレクションによる削除対象にできる。

【0140】

例えば、重複排除制御部１５０または重複排除制御部１７０は、リファレンスカウンタ部の参照数に基づいてガベージコレクションを非同期に実行することで、当該重複データを削除する。すなわち、ドライブ群１３０ａに重複して記録されていたデータが１つのデータに集約され、適切に重複排除される。これにより、ドライブ群１３０ａの記憶容量を節約でき、記憶容量の利用効率の向上を図れる。

【0141】

なお、ストレージシステム１００では、ＣＭの数が２の場合を例示したが、ＣＭの数は３以上でもよい。
図１７は、ストレージシステムの他の構成例を示す図である。

【0142】

ストレージシステム１００ａは、ＣＭ１１０，１２０，１１０ａ，１２０ａ，…およびドライブ収納部１３０を有する。ＣＭ１１０ａ，１２０ａ，…は、ＣＭ１１０，１２０と同様の機能を有し、ＣＭ１１０，１２０，１１０ａ，１２０ａ，…により、各データの重複排除が分散して実行される。前述のように、あるデータの重複排除を担当する担当ＣＭは、例えば、当該データのハッシュ値を、ストレージシステム１００ａにおいて稼働中のＣＭ数で割ったときの剰余に基づいて決定される。ＣＭの数が多い程、１つのＣＭが保持するハッシュテーブルのサイズを低減できる利点がある。

【0143】

なお、第１の実施の形態の情報処理は、処理部１２にプログラムを実行させることで実現できる。また、第２の実施の形態の情報処理は、ＣＰＵ１１１にプログラムを実行させることで実現できる。プログラムは、コンピュータ読み取り可能な記録媒体５１に記録できる。

【0144】

例えば、プログラムを記録した記録媒体５１を配布することで、プログラムを流通させることができる。また、プログラムを他のコンピュータに格納しておき、ネットワーク経由でプログラムを配布してもよい。コンピュータは、例えば、記録媒体５１に記録されたプログラムまたは他のコンピュータから受信したプログラムを、ＲＡＭ１１２やＮＶＲＡＭ１１３などの記憶装置に格納し（インストールし）、当該記憶装置からプログラムを読み込んで実行してもよい。

【0145】

以上の第１，第２の実施の形態を含む実施形態に関し、更に以下の付記を開示する。
（付記１） データのハッシュ値と記憶装置における前記データの格納先のアドレスとの対応を示し、前記データの重複排除に用いられる第１のハッシュキャッシュを記憶する第１の記憶部と、前記第１のハッシュキャッシュが消失した場合に、前記記憶装置における所定の管理単位に属する第１のデータの第１のハッシュ値を計算して前記第１のハッシュキャッシュを復元する第１の処理部と、を備える第１のストレージ制御装置と、
第２のハッシュキャッシュを記憶する第２の記憶部と、前記第１のハッシュ値と前記第１のデータの格納先の第１のアドレスとを前記第１のストレージ制御装置から取得し、前記第１のハッシュ値と同じ第２のハッシュ値である第２のデータを前記第２のハッシュキャッシュに基づいて検出すると、前記第２のハッシュキャッシュから前記第２のハッシュ値のレコードを削除し、データ参照に用いられるマップ情報に含まれる、前記第２のデータの格納先の第２のアドレスを前記第１のアドレスに変更する第２の処理部と、を備える第２のストレージ制御装置と、
を有するストレージシステム。

【0146】

（付記２） 前記第２の処理部は、非参照データを削除するガベージコレクションに用いられる、各データの参照数を保持する参照数カウンタのうち、前記第１のデータの第１の参照数に、前記第２のデータの第２の参照数を加算し、前記第２の参照数を０に設定する、
付記１記載のストレージシステム。

【0147】

（付記３） 前記第１の処理部は、前記第１のハッシュ値と同じ第３のハッシュ値が前記第１のハッシュキャッシュに登録済の場合、非参照データを削除するガベージコレクションに用いられる、各データの参照数を保持する参照数カウンタのうち、前記第１のデータの第１の参照数と前記第３のハッシュ値に対応する第３のデータの第３の参照数とを比較し、当該比較に応じて、前記第１のデータを削除対象とするか、または、前記第３のデータを削除対象とするかを決定する、
付記１記載のストレージシステム。

【0148】

（付記４） 前記第１の処理部は、
前記第１の参照数が前記第３の参照数以下の場合、前記マップ情報に含まれる、前記第１のアドレスを前記第３のデータの格納先の第３のアドレスに変更し、前記第３の参照数に前記第１の参照数を加算し、前記第１の参照数を０に設定することで、前記第１のデータを前記ガベージコレクションによる削除対象とし、
前記第１の参照数が前記第３の参照数よりも大きい場合、前記マップ情報に含まれる、前記第３のアドレスを前記第１のアドレスに変更し、前記第１の参照数に前記第３の参照数を加算し、前記第３の参照数を０に設定することで、前記第３のデータを前記ガベージコレクションによる削除対象とする、
付記３記載のストレージシステム。

【0149】

（付記５） 前記第１の処理部または前記第２の処理部は、前記マップ情報により参照されていない前記第２のデータを前記記憶装置から削除する、
付記１記載のストレージシステム。

【0150】

（付記６） 前記第１の処理部は、前記記憶装置に記憶された前記データのハッシュ値を前記ストレージシステムに属するストレージ制御装置の数で割ったときの剰余に基づいて、前記第１のストレージ制御装置が前記重複排除を担当する前記管理単位に属する前記第１のデータを特定する、
付記１記載のストレージシステム。

【0151】

（付記７） データのハッシュ値と記憶装置における前記データの格納先のアドレスとの対応を示し、前記データの重複排除に用いられるハッシュキャッシュを記憶する記憶部と、
前記ハッシュキャッシュが消失した場合に、前記記憶装置における所定の管理単位に属する前記データの前記ハッシュ値を計算して前記ハッシュキャッシュを復元し、前記ハッシュキャッシュに復元した前記ハッシュ値と前記ハッシュ値に対応する前記データの格納先のアドレスとを他のストレージ制御装置に送信する処理部と、
を有するストレージ制御装置。

【0152】

（付記８） コンピュータに、
データのハッシュ値と記憶装置における前記データの格納先のアドレスとの対応を示し、前記データの重複排除に用いられるハッシュキャッシュを記憶する記憶部における前記ハッシュキャッシュが消失した場合に、前記記憶装置における所定の管理単位に属する前記データの前記ハッシュ値を計算して前記ハッシュキャッシュを復元し、
前記ハッシュキャッシュに復元した前記ハッシュ値と前記ハッシュ値に対応する前記データの格納先のアドレスとを他のストレージ制御装置に送信する、
処理を実行させるプログラム。

【0153】

（付記９） データのハッシュ値と記憶装置における前記データの格納先のアドレスとの対応を示し、前記データの重複排除に用いられるハッシュキャッシュを記憶する記憶部と、
他のストレージ制御装置により前記他のストレージ制御装置が保持する他のハッシュキャッシュに復元された第１のハッシュ値と前記第１のハッシュ値に対応する第１のデータの格納先の第１のアドレスとを前記他のストレージ制御装置から取得し、前記第１のハッシュ値と同じ第２のハッシュ値である第２のデータを前記ハッシュキャッシュに基づいて検出すると、前記ハッシュキャッシュから前記第２のハッシュ値のレコードを削除し、データ参照に用いられるマップ情報に含まれる、前記第２のデータの格納先の第２のアドレスを前記第１のアドレスに変更する処理部と、
を有するストレージ制御装置。

【0154】

（付記１０） コンピュータに、
記憶部に記憶されるハッシュキャッシュであって、データのハッシュ値と記憶装置における前記データの格納先のアドレスとの対応を示す前記ハッシュキャッシュを用いて前記データの重複排除を行い、
他のストレージ制御装置により前記他のストレージ制御装置が保持する他のハッシュキャッシュに復元された第１のハッシュ値と前記第１のハッシュ値に対応する第１のデータの格納先の第１のアドレスとを前記他のストレージ制御装置から取得し、
前記第１のハッシュ値と同じ第２のハッシュ値である第２のデータを前記ハッシュキャッシュに基づいて検出すると、前記ハッシュキャッシュから前記第２のハッシュ値のレコードを削除し、データ参照に用いられるマップ情報に含まれる、前記第２のデータの格納先の第２のアドレスを前記第１のアドレスに変更する、
処理を実行させるプログラム。

【符号の説明】

【0155】

１ ストレージシステム
２ 情報処理装置
１０，２０ ストレージ制御装置
１１，２１ 記憶部
１１ａ，２１ａ ハッシュキャッシュ
１２，２２ 処理部
３０ 記憶装置
３１ マップ情報
３２ 実データ記憶領域
３３ 参照数カウンタ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】