特許 7532524 ストレージシステムにおけるデータ記憶方法、データ読み出し方法、データ記憶装置、データ読み出し装置、ストレージデバイス、およびシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-02

(45)【発行日】2024-08-13

(54)【発明の名称】ストレージシステムにおけるデータ記憶方法、データ読み出し方法、データ記憶装置、データ読み出し装置、ストレージデバイス、およびシステム

(51)【国際特許分類】

   G06F 3/06 20060101AFI20240805BHJP

   G06F 16/182 20190101ALI20240805BHJP

【ＦＩ】

G06F3/06 540

G06F16/182

【請求項の数】 13

(21)【出願番号】P 2022536646

(86)(22)【出願日】2020-12-29

(65)【公表番号】

(43)【公表日】2023-03-14

(86)【国際出願番号】 CN2020141063

(87)【国際公開番号】W WO2021139571

(87)【国際公開日】2021-07-15

【審査請求日】2022-07-20

(31)【優先権主張番号】202010018706.6

(32)【優先日】2020-01-08

(33)【優先権主張国・地域又は機関】CN

(31)【優先権主張番号】202010096222.3

(32)【優先日】2020-02-17

(33)【優先権主張国・地域又は機関】CN

【前置審査】

(73)【特許権者】

【識別番号】504161984

【氏名又は名称】ホアウェイ・テクノロジーズ・カンパニー・リミテッド

(74)【代理人】

【識別番号】110000877

【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所

(72)【発明者】

【氏名】チェン、キャン

(72)【発明者】

【氏名】チェン、ミン

(72)【発明者】

【氏名】タン、チュンイ

【審査官】田中 啓介

(56)【参考文献】

【文献】米国特許出願公開第２０１９／０１２９６４９（ＵＳ，Ａ１）

【文献】特開２０１９－０３６１３６（ＪＰ，Ａ）

【文献】特開２０１７－２２８０７８（ＪＰ，Ａ）

【文献】特開２０１８－１８１３２５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ３／０６－３／０８

Ｇ０６Ｆ１１／０８－１１／１０

Ｇ０６Ｆ１１／１６－１１／２０

Ｇ０６Ｆ１３／１０－１３／１４

Ｇ０６Ｆ１６／００－１６／９５８

Ｈ０４Ｌ５１／００－５１／５８

Ｈ０４Ｌ６７／００－６７／７５

(57)【特許請求の範囲】

【請求項1】

ストレージシステムにおけるデータ記憶方法であって、
第１デバイスがＭ個のデータユニット用にＮ個のチェックユニットを生成する段階であって、ＭおよびＮが両方とも正の整数であり、Ｍ＋Ｎ＝Ｋである、生成する段階と、
前記第１デバイスが前記ストレージシステム内にあるＫ個のハードディスクモジュールに前記Ｋ個のユニットを格納する段階であって、前記Ｋ個のユニットが前記Ｍ個のデータユニットおよび前記Ｎ個のチェックユニットを有し、前記Ｋ個のハードディスクモジュールのそれぞれが前記Ｋ個のユニットのうちの１つを格納し、それぞれのハードディスクモジュールがインタフェースモジュールおよびハードディスクを有し、前記インタフェースモジュールが前記ハードディスクとやり取りする、格納する段階と
を備え、
前記Ｋ個のハードディスクモジュールが複数のストレージノードとやり取りし、前記Ｋ個のハードディスクモジュールのうちの少なくとも２つが、前記複数のストレージノードのうちの同じ１つのストレージノードとやり取りし、前記ハードディスクモジュールの量が前記ストレージノードの量より多く、
前記複数のストレージノードは、第１ストレージノードと第２ストレージノードとを含み、前記Ｋ個のハードディスクモジュールは、前記第１ストレージノードに対応するＫ１個の第１ハードディスクモジュールと、前記第２ストレージノードに対応するＫ２個の第２ハードディスクモジュールとを含み、Ｋ１およびＫ２は正の整数であり、
（ｉ）前記第１デバイスが前記第１ストレージノードであり、前記第１デバイスがＭ個のデータユニット用にＮ個のチェックユニットを生成する前記段階は、前記第１ストレージノードが、前記ストレージシステムのクライアントから受信した格納対象データを前記Ｍ個のデータユニットに分割する段階と、前記Ｍ個のデータユニットに対して前記Ｎ個のチェックユニットを生成する段階とを含む、または、（ｉｉ）前記第１デバイスが前記ストレージシステムのクライアントであり、前記第１デバイスが前記ストレージシステム内にあるＫ個のハードディスクモジュールに前記Ｋ個のユニットを格納する前記段階は、前記クライアントが、前記第１ストレージノードに前記Ｋ個のユニットを送信する段階を含み、
前記第１デバイスが前記ストレージシステム内にあるＫ個のハードディスクモジュールに前記Ｋ個のユニットを格納する前記段階は、
前記第１ストレージノードが、前記Ｋ個のユニットのうちのＫ１個のユニットを前記Ｋ１個の第１ハードディスクモジュールに格納する段階と、
前記第１ストレージノードが、前記Ｋ個のユニットのうちのＫ２個のユニットを含む第１ストレージコマンドを、前記第２ストレージノードに送信する段階と、
前記第２ストレージノードが、前記第１ストレージコマンドを受信する段階と、
前記第２ストレージノードが、前記Ｋ２個のユニットを前記Ｋ２個の第２のハードディスクモジュールに格納する段階と
を備える、方法。

【請求項2】

前記ストレージシステムが前記複数のストレージノードを備えており、それぞれのストレージノードが前記Ｋ個のハードディスクモジュールのインタフェースモジュールとやり取りする、請求項１に記載の方法。

【請求項3】

前記ストレージシステムが第２デバイスを備えており、前記第２デバイスと前記第１デバイスとの間には、相互バックアップ関係またはプライマリ／セカンダリ関係がある、請求項１または２に記載の方法。

【請求項4】

Ｋ１は２に等しいまたは２より大きく、Ｋ２は１に等しいまたは１より大きく、
前記第１ストレージノードは、第１バスを通じて、前記Ｋ１個の第１ハードディスクモジュールおよび前記Ｋ２個の第２ハードディスクモジュールに接続され、
前記第２ストレージノードは、前記第１バスとは異なる第２バスを通じて、前記Ｋ１個の第１ハードディスクモジュールおよび前記Ｋ２個の第２ハードディスクモジュールに接続される、請求項１から３のいずれか一項に記載の方法。

【請求項5】

ストレージシステムにおけるデータ記憶装置であって、
Ｍ個のデータユニット用にＮ個のチェックユニットを生成するように構成された生成ユニットであって、ＭおよびＮが両方とも正の整数であり、Ｍ＋Ｎ＝Ｋである、生成ユニットと、
前記ストレージシステム内にあるＫ個のハードディスクモジュールに前記Ｋ個のユニットを格納するように構成されたストレージユニットであって、前記Ｋ個のユニットがＭ個のデータユニットおよびＮ個のチェックユニットを含み、前記Ｋ個のハードディスクモジュールのそれぞれが前記Ｋ個のユニットのうちの１つを格納し、それぞれのハードディスクモジュールがインタフェースモジュールおよびハードディスクを有し、前記インタフェースモジュールが前記ハードディスクとやり取りする、ストレージユニットと
を備え、
前記Ｋ個のハードディスクモジュールが複数のストレージノードとやり取りし、前記Ｋ個のハードディスクモジュールのうちの少なくとも２つが、前記複数のストレージノードのうちの同じ１つのストレージノードとやり取りし、前記ハードディスクモジュールの量が前記ストレージノードの量より多く、
前記複数のストレージノードは、第１ストレージノードと第２ストレージノードとを含み、前記Ｋ個のハードディスクモジュールは、前記第１ストレージノードに対応するＫ１個の第１ハードディスクモジュールと、前記第２ストレージノードに対応するＫ２個の第２ハードディスクモジュールとを含み、Ｋ１およびＫ２は正の整数であり、
前記データ記憶装置が前記第１ストレージノードであり、前記生成ユニットは、前記ストレージシステムのクライアントから受信した格納対象データを前記Ｍ個のデータユニットに分割し、前記Ｍ個のデータユニットに対して前記Ｎ個のチェックユニットを生成するように構成され、
前記ストレージユニットは、前記Ｋ個のユニットのうちのＫ１個のユニットを前記Ｋ１個の第１ハードディスクモジュールに格納し、前記第２ストレージノードが前記Ｋ２個のユニットを前記Ｋ２個の第２のハードディスクモジュールに格納するよう前記Ｋ個のユニットのうちのＫ２個のユニットを含む第１ストレージコマンドを前記第２ストレージノードに送信する、
データ記憶装置。

【請求項6】

前記ストレージシステムが前記複数のストレージノードを備えており、それぞれのストレージノードが前記Ｋ個のハードディスクモジュールのうちの少なくとも１つのインタフェースモジュールとやり取りする、請求項５に記載のデータ記憶装置。

【請求項7】

前記インタフェースモジュールが、ホストバスアダプタ、冗長独立ディスクアレイ、エクスパンダカード、またはネットワークインタフェースカードである、請求項５または６に記載のデータ記憶装置。

【請求項8】

前記ストレージシステムが第２デバイスを備えており、前記第２デバイスと前記データ記憶装置との間には、相互バックアップ関係またはプライマリ／セカンダリ関係がある、請求項５から７のいずれか一項に記載のデータ記憶装置。

【請求項9】

Ｋ１は２に等しいまたは２より大きく、Ｋ２は１に等しいまたは１より大きく、
前記第１ストレージノードは、第１バスを通じて、前記Ｋ１個の第１ハードディスクモジュールおよび前記Ｋ２個の第２ハードディスクモジュールに接続され、
前記第２ストレージノードは、前記第１バスとは異なる第２バスを通じて、前記Ｋ１個の第１ハードディスクモジュールおよび前記Ｋ２個の第２ハードディスクモジュールに接続される、請求項５、６、及び８のいずれか一項に記載のデータ記憶装置。

【請求項10】

ストレージシステムであって、前記ストレージシステムがストレージデバイスとＫ個のハードディスクモジュールとを備えており、
前記ストレージデバイスが、
Ｍ個のデータユニット用にＮ個のチェックユニットを生成することであって、ＭおよびＮが両方とも正の整数であり、Ｍ＋Ｎ＝Ｋである、生成することと、
前記Ｋ個のユニットをＫ個のハードディスクモジュールに格納することであって、前記Ｋ個のユニットがＭ個のデータユニットおよびＮ個のチェックユニットを含み、前記Ｋ個のハードディスクモジュールのそれぞれが前記Ｋ個のユニットのうちの１つを格納し、それぞれのハードディスクモジュールがインタフェースモジュールおよびハードディスクを有し、前記インタフェースモジュールが前記ハードディスクとやり取りする、格納することと
を行うように構成されており、
前記Ｋ個のハードディスクモジュールが複数のストレージノードとやり取りし、前記Ｋ個のハードディスクモジュールのうちの少なくとも２つが、前記複数のストレージノードのうちの同じ１つのストレージノードとやり取りし、前記ハードディスクモジュールの量が前記ストレージノードの量より多く、
前記複数のストレージノードは、第１ストレージノードと第２ストレージノードとを含み、前記Ｋ個のハードディスクモジュールは、前記第１ストレージノードに対応するＫ１個の第１ハードディスクモジュールと、前記第２ストレージノードに対応するＫ２個の第２ハードディスクモジュールとを含み、Ｋ１およびＫ２は正の整数であり、
（ｉ）前記ストレージデバイスが前記第１ストレージノードであり、前記ストレージデバイスは、前記ストレージシステムのクライアントから受信した格納対象データを前記Ｍ個のデータユニットに分割し、前記Ｍ個のデータユニットに対して前記Ｎ個のチェックユニットを生成するように構成されている、または、（ｉｉ）前記ストレージデバイスが前記ストレージシステムのクライアントであり、前記Ｋ個のユニットをＫ個のハードディスクモジュールに前記格納することは、前記クライアントが、前記第１ストレージノードに前記Ｋ個のユニットを送信することを含み、
前記Ｋ個のユニットをＫ個のハードディスクモジュールに前記格納することは、
前記第１ストレージノードが、前記Ｋ個のユニットのうちのＫ１個のユニットを前記Ｋ１個の第１ハードディスクモジュールに格納することと、
前記第１ストレージノードが、前記Ｋ個のユニットのうちのＫ２個のユニットを含む第１ストレージコマンドを、前記第２ストレージノードに送信することと、
前記第２ストレージノードが、前記第１ストレージコマンドを受信することと、
前記第２ストレージノードが、前記Ｋ２個のユニットを前記Ｋ２個の第２のハードディスクモジュールに格納することと
を含む、ストレージシステム。

【請求項11】

前記ストレージシステムがさらに前記複数のストレージノードを備えており、それぞれのストレージノードが前記Ｋ個のハードディスクモジュールのインタフェースモジュールとやり取りする、請求項１０に記載のストレージシステム。

【請求項12】

Ｋ１は２または２より大きく、Ｋ２は１または１より大きく、
前記第１ストレージノードは、第１バスを通じて、前記Ｋ１個の第１ハードディスクモジュールおよび前記Ｋ２個の第２ハードディスクモジュールに接続され、
前記第２ストレージノードは、前記第１バスとは異なる第２バスを通じて、前記Ｋ１個の第１ハードディスクモジュールおよび前記Ｋ２個の第２ハードディスクモジュールに接続される、請求項１０または１１に記載のストレージシステム。

【請求項13】

コンピュータに、請求項１から４のいずれか一項に記載の方法を実行させるためのコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、２０２０年１月８日に出願した「ストレージシステムにおけるデータ記憶方法およびストレージシステム（ＤＡＴＡ ＳＴＯＲＡＧＥ ＭＥＴＨＯＤ ＩＮ ＳＴＯＲＡＧＥ ＳＹＳＴＥＭ ＡＮＤ ＳＴＯＲＡＧＥ ＳＹＳＴＥＭ）」と題する中国特許出願第２０２０１００１８７０６．６号に基づく優先権を主張し、また２０２０年２月１７日に出願した「ストレージシステムにおけるデータ記憶方法、データ読み出し方法、および装置、ならびにシステム（ＤＡＴＡ ＳＴＯＲＡＧＥ ＭＥＴＨＯＤ， ＤＡＴＡ ＲＥＡＤＩＮＧ ＭＥＴＨＯＤ， ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＩＮ ＳＴＯＲＡＧＥ ＳＹＳＴＥＭ， ＡＮＤ ＳＹＳＴＥＭ）」と題する中国特許出願第２０２０１００９６２２２．３号に基づく優先権を主張する。これら両方の中国特許出願はその全体が参照により明細書に組み込まれる。

【0002】

本願は情報技術の分野に関し、具体的には、ストレージシステムにおけるデータ記憶方法、データ読み出し方法、および装置、ならびにシステムに関する。

【背景技術】

【0003】

分散型ストレージシステムには、複数のストレージノードが含まれ得る。これらのストレージノードはストレージサーバであり、各ストレージサーバにはストレージリソース、例えば、複数のハードディスクが含まれている。分散型ストレージシステムは、ストレージノード上のストレージリソースを編成して、ストレージサービスを提供する。

【0004】

分散型ストレージシステムにデータを格納する場合、通常、クライアントがデータをＭ個のデータユニットに分割し、イレージャーコーディング（ＥＣ）アルゴリズムに従って、これらのデータユニットのＮ個のチェックユニットを取得する。クライアントは、Ｍ個のデータユニットおよびＮ個のチェックユニットを［Ｍ＋Ｎ］個のストレージノードに格納する、すなわち、［Ｍ＋Ｎ］個のストレージノードのうちの１つが、１つの対応するユニット（データユニットまたはチェックユニット）を格納する。

【0005】

ハードディスクの容量が増加し、ストレージノードにはより多くのハードディスクを搭載することができるが、それでもクライアントは、データを格納するときに、ＥＣアルゴリズムベースのストレージ粒度としてストレージノードを用いる。その結果、ハードディスクのストレージリソースを十分に利用することができない。

【発明の概要】

【0006】

本願は、ストレージシステムにおけるデータ記憶方法、データ読み出し方法、および装置、ならびに本システムを提供して、ストレージシステム内にあるストレージリソースを十分に利用する。その技術的解決手段は、以下の通りである。

【0007】

第１態様によれば、本願の一実施形態がストレージシステムにおけるデータ記憶方法を提供する。本方法は、第１デバイスがＭ個のデータユニット用にＮ個のチェックユニットを生成する段階を含み、ＭおよびＮは両方とも正の整数であり、Ｍ＋Ｎ＝Ｋである。第１デバイスは、ストレージシステム内にあるＫ個のハードディスクモジュールにＫ個のユニットを格納し、Ｋ個のユニットはＭ個のデータユニットおよびＮ個のチェックユニットを含む。Ｋ個のハードディスクモジュールのそれぞれは、Ｋ個のユニットのうちの１つを格納する。それぞれのハードディスクモジュールはインタフェースモジュールおよびハードディスクを含み、インタフェースモジュールはハードディスクとやり取りする。

【0008】

このように、ストレージシステム内にあるハードディスクモジュールの粒度で記憶が行われる。すなわち、Ｋ個のハードディスクモジュールを用いて、Ｋ個の対応するユニットを格納する。これにより、ストレージノードの粒度で記憶が行われる従来の技術と比較すると、ハードディスクモジュールの量がストレージノードの量より多いため、ストレージシステム内にあるストレージリソースを十分に利用することができる。

【0009】

実現可能な一実装例では、ストレージシステムは複数のストレージノードを含み、それぞれのストレージノードはＫ個のハードディスクモジュールのインタフェースモジュールとやり取りする。それぞれのストレージノードが複数のハードディスクモジュールのインタフェースモジュールとやり取りするので、ストレージノードのコンピューティングリソースを十分に利用することができ、またストレージノードのＣＰＵの計算能力が十分に利用される。これにより、コンピューティングリソースの無駄が削減される。

【0010】

別の実現可能な実装例では、第１デバイスはストレージシステムのクライアントである。クライアントは、複数のストレージノードのうちの対象ストレージノードにＫ個のユニットを送信し、対象ストレージノードはストレージシステム内にあるＫ個のハードディスクモジュールにＫ個のユニットを格納する。このように、ストレージシステム内にあるハードディスクモジュールの粒度で記憶が行われることにより、ストレージシステム内にあるストレージリソースを十分に利用することができるようになる。

【0011】

別の実現可能な実装例では、第１デバイスは複数のストレージノードのうちの１つである。

【0012】

別の実現可能な実装例では、インタフェースモジュールは、ホストバスアダプタ、冗長独立ディスクアレイ、エクスパンダカード、またはネットワークインタフェースカードである。

【0013】

別の実現可能な実装例では、ストレージシステムは第２デバイスを含み、第２デバイスと第１デバイスとの間には、相互バックアップ関係またはプライマリ／セカンダリ関係がある。このようにして、第１デバイスが故障している場合には、第２デバイスが、第１デバイスに対応するハードディスクモジュールに取って代わることができる。このように、第１デバイスに対応するハードディスクモジュールに格納されたデータを復元する必要はないので、ストレージシステムの信頼性が向上する。

【0014】

第２態様によれば、本願の一実施形態がストレージシステムにおけるデータ読み出し方法を提供する。本方法では、第１デバイスが読み出し要求を受信し、読み出し要求は読み出し対象データのデータ識別子を含む。第１デバイスは、ストレージシステム内にあるＫ個のハードディスクモジュールからデータ識別子に基づいて、読み出し対象データを格納するハードディスクモジュールを決定する。第１デバイスは、読み出し対象データを格納するハードディスクモジュールから読み出し対象データを読み出し、読み出し対象データは、Ｍ個のデータユニット内にあるデータに属する。ストレージシステムはさらに、Ｍ個のデータユニットのＮ個のチェックユニットを含む。ＭおよびＮは両方とも正の整数であり、Ｍ＋Ｎ＝Ｋである。Ｋ個のハードディスクモジュールのそれぞれは、Ｋ個のユニットのうちの１つを格納する。Ｋ個のユニットは、Ｍ個のデータユニットおよびＮ個のチェックユニットを含む。それぞれのハードディスクモジュールは、インタフェースモジュールとハードディスクとを含み、インタフェースモジュールはハードディスクとやり取りする。Ｋ個のハードディスクモジュールのそれぞれがＫ個のユニットのうちの１つを格納するので、ストレージシステム内にあるハードディスクモジュールの粒度で記憶が行われる。これにより、ストレージノードの粒度で記憶が行われる従来の技術と比較すると、ハードディスクモジュールの量がストレージノードの量より多いため、ストレージシステム内にあるストレージリソースを十分に利用することができる。

【0015】

実現可能な一実装例では、ストレージシステムは複数のストレージノードを含み、それぞれのストレージノードはＫ個のハードディスクモジュールのインタフェースモジュールとやり取りする。それぞれのストレージノードが複数のハードディスクモジュールとやり取りするので、ストレージノードのコンピューティングリソースを十分に利用することができ、またストレージノードのＣＰＵの計算能力が十分に利用される。これにより、コンピューティングリソースの無駄が削減される。

【0016】

別の実現可能な実装例では、第１デバイスはストレージシステムのクライアントである。クライアントは、複数のストレージノードのうちの対象ストレージノードにデータ読み出し要求を送信し、データ読み出し要求はデータ識別子を搬送する。対象ストレージノードは、データ識別子に基づいて、読み出し対象データを格納するハードディスクモジュールから読み出し対象データを読み出す。対象ストレージノードは、データ識別子に基づいて、読み出し対象データを格納するハードディスクモジュールから読み出し対象データを読み出すことができるため、データは、ストレージシステム内にあるハードディスクモジュールの粒度で格納されてよい。

【0017】

別の実現可能な実装例では、第１デバイスは複数のストレージノードのうちの１つである。

【0018】

別の実現可能な実装例では、インタフェースモジュールは、ホストバスアダプタ、冗長独立ディスクアレイ、エクスパンダカード、またはネットワークインタフェースカードである。

【0019】

別の実現可能な実装例では、ストレージシステムは第２デバイスを含み、第２デバイスと第１デバイスとの間には、相互バックアップ関係またはプライマリ／セカンダリ関係がある。このようにして、第１デバイスが故障している場合には、第２デバイスが、第１デバイスに対応するハードディスクモジュールに取って代わることができる。このように、第１デバイスに対応するハードディスクモジュールに格納されたデータを復元する必要はないので、ストレージシステムの信頼性が向上する。

【0020】

第３態様によれば、本願は、第１態様または第１態様の実現可能な実装例のうちのいずれか１つにおける方法を行うように構成された、ストレージシステムにおけるデータ記憶装置を提供する。具体的には、本装置は、第１態様または第１態様の実現可能な実装例のうちのいずれか１つにおける方法を行うように構成された複数のユニットを含む。

【0021】

第４態様によれば、本願は、第２態様または第２態様の実現可能な実装例のうちのいずれか１つにおける方法を行うように構成された、ストレージシステムにおけるデータ読み出し装置を提供する。具体的には、本装置は、第２態様または第２態様の実現可能な実装例のうちのいずれか１つにおける方法を行うように構成された複数のユニットを含む。

【0022】

第５態様によれば、本願は、ストレージシステムにおけるデータ記憶装置を提供する。本装置は、プロセッサと、通信インタフェースとを含む。プロセッサは、通信インタフェースとやり取りする。プロセッサおよび通信インタフェースは、第１態様または第１態様の実現可能な実装例のうちのいずれか１つにおける方法において、対応する段階を行うように構成されている。

【0023】

第６態様によれば、本願は、ストレージシステムにおけるデータ読み出し装置を提供する。本装置は、プロセッサと、通信インタフェースとを含む。プロセッサは、通信インタフェースとやり取りする。プロセッサおよび通信インタフェースは、第２態様または第２態様の実現可能な実装例のうちのいずれか１つにおける方法において、対応する段階を行うように構成されている。

【0024】

第７態様によれば、本願はコンピュータ可読記憶媒体を提供する。コンピュータ可読記憶媒体は、プログラムコードを格納する。プログラムコードがコンピュータで実行されると、コンピュータは、第１態様、第２態様、第１態様の実現可能な実装例、または第２態様の実現可能な実装例のうちのいずれか１つにおける方法を行うことができる。

【0025】

第８態様によれば、本願は、プログラムコードを含むコンピュータプログラム製品を提供する。コンピュータプログラム製品がコンピュータで作動すると、コンピュータは、第１態様、第２態様、第１態様の実現可能な実装例、または第２態様の実現可能な実装例のうちのいずれか１つにおける方法を行うことができる。

【0026】

第９態様によれば、本願はストレージシステムを提供する。ストレージシステムは、ストレージデバイスと、Ｋ個のハードディスクモジュールとを含む。本ストレージデバイスは、第１態様、第１態様の実現可能な実装例、第２態様、または第２態様の実現可能な実装例のうちのいずれか１つにおける方法を行うように構成されている。

【図面の簡単な説明】

【0027】

【図1】本願の一実施形態によるストレージシステムの概略構造図である。

【0028】

【図2】本願の一実施形態による別のストレージシステムの概略構造図である。

【0029】

【図3】本願の一実施形態による別のストレージシステムの概略構造図である。

【0030】

【図4】本願の一実施形態による別のストレージシステムの概略構造図である。

【0031】

【図5】本願の一実施形態による別のストレージシステムの概略構造図である。

【0032】

【図6】本願の一実施形態によるストレージシステムにおけるデータ記憶方法のフローチャートである。

【0033】

【図7】本願の一実施形態によるストレージシステムにおける別のデータ記憶方法のフローチャートである。

【0034】

【図8】本願の一実施形態によるストレージシステムにおけるデータ記憶装置の概略構造図である。

【0035】

【図9】本願の一実施形態によるストレージシステムにおけるデータ読み出し装置の概略構造図である。

【0036】

【図10】本願の一実施形態によるストレージシステムにおける別のデータ記憶装置の概略構造図である。

【0037】

【図11】本願の一実施形態によるストレージシステムにおける別のデータ読み出し装置の概略構造図である。

【発明を実施するための形態】

【0038】

以下ではさらに、添付図面を参照して本願の実施形態を詳細に説明する。

【0039】

図１を参照されたい。本願の一実施形態がストレージシステムを提供する。ストレージシステムは複数のストレージノードを含み、それぞれのストレージノードは複数のハードディスクモジュールに対応しており、ストレージノードは複数のハードディスクモジュール内のハードディスクにアクセスする。ハードディスクモジュールは、インタフェースモジュールと、複数のハードディスクとを含む。ハードディスクは、機械的ディスク、ソリッドステートドライブ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ：ＳＳＤ）などであってよい。インタフェースモジュールは、ホストバスアダプタ（Ｈｏｓｔ Ｂｕｓ Ａｄａｐｔｅｒ：ＨＢＡ）、冗長独立ディスクアレイ（Ｒｅｄｕｎｄａｎｔ Ａｒｒａｙ ｏｆ Ｉｎｄｅｐｅｎｄｅｎｔ Ｄｉｓｋｓ：ＲＡＩＤ）、エクスパンダ（Ｅｘｐａｎｄｅｒ）カード、ネットワークインタフェースコントローラ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃｏｎｔｒｏｌｌｅｒ：ＮＩＣ）などであってよい。これについては、本発明の本実施形態において限定しない。ハードディスクモジュール内にあるインタフェースモジュールは、ハードディスクとやり取りする。ストレージノードは、ハードディスクモジュールのインタフェースモジュールとやり取りして、ハードディスクモジュール内にあるハードディスクにアクセスする。

【0040】

インタフェースモジュールはカードとして実装されてよい、すなわち、インタフェースモジュールはインタフェースカードであってよい。

【0041】

ハードディスクのインタフェースが、シリアル接続スモールコンピュータシステムインタフェース（Ｓｅｒｉａｌ Ａｔｔａｃｈｅｄ Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ：ＳＡＳ）、シリアルアドバンスドテクノロジアタッチメント（Ｓｅｒｉａｌ Ａｄｖａｎｃｅｄ Ｔｅｃｈｎｏｌｏｇｙ Ａｔｔａｃｈｍｅｎｔ：ＳＡＴＡ）、高速シリアルコンピュータ拡張バス規格（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ ｅｘｐｒｅｓｓ：ＰＣＩｅ）などであってよい。

【0042】

ストレージノードは、バス、例えばＰＣＩｅバスを通じてハードディスクモジュールとやり取りしてよい。ストレージノードは代替的に、ネットワーク、例えばイーサネット（登録商標）を通じてハードディスクモジュールとやり取りしてよい。これについては、本発明の本実施形態において限定しない。

【0043】

本発明の本実施形態では、ストレージノードは互いにやり取りする。ストレージシステムでは、１つのストレージノードと１つまたは複数の他のストレージノードとの間に相互バックアップ関係がある。相互バックアップ関係とは、１つのストレージノードが別のストレージノードに対応する複数のハードディスクモジュールにアクセスできることを意味する。言い換えれば、１つのストレージノードが、当該１つのストレージノードと相互バックアップ関係を有する別のストレージノードのハードディスクモジュールとやり取りする、すなわち、１つのストレージノードは、当該１つのストレージノードと相互バックアップ関係を有する別のストレージノードのハードディスクモジュールのインタフェースモジュールとやり取りする。

【0044】

相互バックアップ関係にある全てのストレージノードが正常状態にある場合、それぞれのストレージノードは、それぞれのストレージノードに対応する複数のハードディスクモジュールに対してのみ、通信接続を確立することに留意されたい。すなわち、それぞれのストレージノードは、当該ストレージノードに対応する複数のハードディスクモジュールに対してのみ、読み出しアクセスおよび書き込みアクセスを直接的に行う。相互バックアップ関係にあるストレージノードのうちの１つが故障している場合には、そのストレージノードの別のストレージノードが、故障したストレージノードに取って代わり、故障したストレージノードの複数のハードディスクモジュールにアクセスする。

【0045】

任意選択で、ストレージシステムには代替的に、１つのストレージノードと１つまたは複数の他のストレージノードとの間にプライマリ／セカンダリ関係がある。言い換えれば、１つのストレージノードがプライマリストレージノードであり、その他の１つまたは複数のストレージノードが１つまたは複数のセカンダリストレージノードであり、セカンダリストレージノードはプライマリストレージノードのバックアップを行う。このようにして、プライマリストレージノードが故障している場合には、セカンダリストレージノードはプライマリストレージノードに取って代わることができる。

【0046】

例えば、図２を参照されたい。第１ストレージノードおよび第２ストレージノードが、ストレージシステムにおいて、相互バックアップ関係またはプライマリ／セカンダリ関係を有する任意の２つのストレージノードであると仮定する。ストレージノードがバスを通じてハードディスクモジュールとやり取りする一例が、説明のために用いられている。第１ストレージノードは、複数の第１ハードディスクモジュールに対応する。第２ストレージノードは、複数の第２ハードディスクモジュールに対応する。第１ストレージノードは、第１バスを通じて、複数の第１ハードディスクモジュールおよび複数の第２ハードディスクモジュールに接続されている。第２ストレージノードは、第２バスを通じて、複数の第１ハードディスクモジュールおよび複数の第２ハードディスクモジュールに接続されている。

【0047】

一実装例では、第１ストレージノードおよび第２ストレージノードは相互バックアップ関係にある。第１ストレージノードおよび第２ストレージノードが両方とも正常状態にある場合、第１ストレージノードは、第１バスを通じて、複数の第１ハードディスクモジュールへの通信接続を確立し、第１ストレージノードは、複数の第１ハードディスクモジュールに対してのみ読み出しアクセスおよび書き込みアクセスを直接的に行い、第２ストレージノードは、第２バスを通じて、複数の第２ハードディスクモジュールへの通信接続を確立し、第２ストレージノードは、複数の第２ハードディスクモジュールに対してのみ読み出しアクセスおよび書き込みアクセスを直接的に行う。第２ストレージノードが故障していると仮定すると、第１ストレージノードは第２ストレージノードに取って代わり、第２ストレージノードの複数の第２ハードディスクモジュールにアクセスする。この場合、第１ストレージノードは、第１ストレージノードに対応する複数の第１ハードディスクモジュールと、第２ストレージノードに対応する複数の第２ハードディスクモジュールとへの読み出しアクセスおよび書き込みアクセスを直接的に行うことができる。

【0048】

図３を参照されたい。第１ストレージノードが、第１通信インタフェースと、処理ユニットと、第２通信インタフェースとを含む。処理ユニットは、第１通信インタフェースおよび第２通信インタフェースに接続されている。第１ストレージノードは、第１通信インタフェースを通じて、ストレージシステム内にある別のストレージノードへの通信接続を確立する。第１ストレージノードの第２通信インタフェースは、第１ストレージノードに対応する複数の第１ハードディスクモジュールと、第２ストレージノードに対応する複数の第２ハードディスクモジュールとに、第１バスを通じて接続されている。

【0049】

第１ストレージノードが正常状態にある場合、第１ストレージノードの第２通信インタフェースは、第１バスを通じて、複数の第１ハードディスクモジュールへの通信接続を確立する。この場合、第１ストレージノードの処理ユニットは、第１ストレージノードの第１通信インタフェースを通じて、ストレージシステム内にある別のストレージノードにデータを送信しても、別のストレージノードにより送信されたデータまたはアクセス要求を受信してもよい。あるいは、第１ストレージノードの処理ユニットは、第１ストレージノードの第１通信インタフェースを通じて、クライアントにデータを送信しても、クライアントにより送信されたアクセス要求を受信してもよい。第１ストレージノードの処理ユニットは、第１ストレージノードの第２通信インタフェースを通じて、複数の第１ハードディスクモジュールへの読み出しアクセスおよび書き込みアクセスを行う。言い換えれば、第１ストレージノードのユニットが、第２通信インタフェースを通じて、複数の第１ハードディスクモジュールのインタフェースモジュールとやり取りする。第２ストレージノードが故障している場合、第１ストレージノードの第２通信インタフェースは、第１バスを通じて、複数の第２ハードディスクモジュールへの通信接続を確立する。この場合、第１ストレージノードの処理ノードはさらに、第２通信インタフェースを通じて、複数の第２ハードディスクモジュールへの読み出しアクセスおよび書き込みアクセスを行うことができる。

【0050】

任意選択で、第１ストレージノード内にある第１通信インタフェースおよび処理ユニットは、２つの別個のモジュールである。第１通信インタフェースおよび処理ユニットは、高速バスを通じて接続されてよい。高速バスは、ＰＣＩｅ、インテルＱｕｉｃｋＰａｔｈインターコネクト（ＱＰＩ）などであってよい。あるいは、第１ストレージノード内にある第１通信インタフェースおよび処理ユニットは一緒に統合されてもよい。

【0051】

任意選択で、第１ストレージノード内にある第２通信インタフェースおよび処理ユニットは、２つの別個のモジュールである。あるいは、第２通信インタフェースおよび処理ユニットは、高速バスを通じて接続されてよい。あるいは、第１ストレージノード内にある第２通信インタフェースおよび処理ユニットは一緒に統合されてもよい。

【0052】

任意選択で、第１ストレージノード内にある第１通信インタフェースは、ネットワークインタフェースカードなどであってよい。例えば、図４を参照されたい。第１通信インタフェースが、１０Ｇネットワークインタフェースカードであってよい。第１ストレージノード内にある処理ユニットが、中央演算処理装置（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ：ＣＰＵ）であっても、１つまたは複数のチップを含む処理ユニットであってもよい。例えば、処理ユニットは、データ圧縮カード、人工知能（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ：ＡＩ）推論カード、画像処理カード、ビデオキャプチャカードなどであってもよい。第１ストレージノード内にある第２通信インタフェースが、ＰＣＩｅスイッチチップ、ＳＡＳスイッチチップなどであってもよい。

【0053】

任意選択で、ストレージノードおよびハードディスクモジュールは共有リンクボードを通じて互いに接続されてよく、共有リンクボードは１つまたは複数の物理回線により構成されたバスを含む。

【0054】

任意選択で、図３を参照されたい。第１ストレージノードの第２通信インタフェースは、第１バスを通じて、複数の第１ハードディスクモジュールおよび複数の第２ハードディスクモジュールに接続されている。第２ストレージノードの第２通信インタフェースは、第２バスを通じて、複数の第１ハードディスクモジュールおよび複数の第２ハードディスクモジュールに接続されている。

【0055】

任意選択で、図５を参照されたい。１つの第１ハードディスクモジュールが、１つの第２ハードディスクモジュールに通信可能に接続されている。例えば、第１ハードディスクモジュールおよび第２ハードディスクモジュールは、バスを通じて互いに接続されている。特定の通信接続方式が、本発明の本実施形態において限定されることはない。このように、１つの第１ハードディスクモジュールおよび１つの第２ハードディスクモジュールが、カスケード関係を形成する。このように、第１ストレージノードの第２通信インタフェースをそれぞれの第２ハードディスクモジュールに接続する必要はなくてよく、第２ストレージノードの第２通信インタフェースをそれぞれの第１ハードディスクモジュールに接続する必要もなくてよい。したがって、ストレージノードの第２通信インタフェースへの接続量を削減することができる。第１ハードディスクモジュールにカスケード接続された第２ハードディスクモジュールでは、第２ストレージノードが故障している場合、第１ストレージノードは、第１ストレージノードの第２通信インタフェース、第１ハードディスクモジュール、および第１ハードディスクモジュールのカスケード関係に基づいて、第２ハードディスクモジュールにアクセスすることができる、すなわち、第１ストレージノードは第２ハードディスクモジュールのインタフェースモジュールとやり取りする。例えば、第１ストレージノードおよび第２ストレージノードは、相互バックアップ関係にあるストレージノードである。第１ストレージノードおよび第２ストレージノードは、互いに故障が発生しているかどうかを相互に判定することができる。例えば、第１ストレージノードおよび第２ストレージノードは、ハートビートに基づいて、故障が発生しているかどうかを判定する。

【0056】

任意選択で、ストレージノードは、別のストレージノードに対応する複数のハードディスクモジュールをスキャンして、別のストレージノードに対応する、正常状態にあるハードディスクモジュールを取得し、正常状態にあるハードディスクモジュールへの通信接続を確立してよい。

【0057】

任意選択で、ストレージシステム内にあるストレージノードが、ストレージノードのノード識別子とハードディスクモジュールのモジュール識別子との対応関係を格納してよい。

【0058】

任意選択で、ストレージノードのノード識別子は、ストレージノードのアドレスであってよい。例えば、ストレージノードのノード識別子は、インターネットプロトコル（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ：ＩＰ）アドレスであっても、媒体アクセス制御（Ｍｅｄｉａ Ａｃｃｅｓｓ Ｃｏｎｔｒｏｌ：ＭＡＣ）アドレスであってもよい。ハードディスクモジュールのモジュール識別子は、ストレージシステム内にあるハードディスクモジュールの数、インタフェースモジュールの識別子、インタフェースモジュールのアドレスなどであってもよい。これについては、本発明の本実施形態において限定しない。

【0059】

ストレージノードが別のストレージノードに対応する複数のハードディスクモジュールに取って代わる場合、ストレージノードは、ノード識別子とモジュール識別子との対応関係において複数のハードディスクモジュールのそれぞれのモジュール識別子に対応するノード識別子を、ストレージノードのノード識別子に更新し、ストレージシステムの他のストレージノードに更新要求を送信する。更新要求は、ストレージノードのノード識別子と複数のハードディスクモジュールのモジュール識別子とを含む。

【0060】

ストレージシステム内にあるその他のストレージノードのうちのいずれか１つが、更新要求を受信し、ノード識別子とモジュール識別子との対応関係において複数のハードディスクモジュールのそれぞれのモジュール識別子に対応するノード識別子を、その他のストレージノードのうちのいずれか１つのノード識別子に更新する。

【0061】

例えば、相互バックアップ関係にある第１ストレージノードおよび第２ストレージノードでは、第１ストレージノードは第２ストレージノードが故障しているかどうかを判定することができ、また第２ストレージノードも、第１ストレージノードが故障しているかどうかを判定することができる。第１ストレージノードおよび第２ストレージノードは、次に挙げる２つの方式で、互いに故障が発生しているかどうかを判定することができる。この２つの方式とは、以下の通りである。

【0062】

第１の方式では、第１ストレージノードは第２ストレージノードにハートビート情報を定期的に送信し、第２ストレージノードも、第１ストレージノードにハートビート情報を定期的に送信する。第２ストレージノードにより送信されたハートビート情報を受信した後に、第１ストレージノードが第２ストレージノードにより送信されるハートビート情報を第１の時間長の間に再度受信しない場合、第１ストレージノードは、第２ストレージノードが故障していると判定する。同様に、第１ストレージノードにより送信されたハートビート情報を受信した後に、第２ストレージノードが第１ストレージノードにより送信されるハートビート情報を第１の時間長の間に再度受信しない場合、第２ストレージノードは、第１ストレージノードが故障していると判定する。

【0063】

第２の方式では、第１ストレージノードが故障していることを検出した場合、第１ストレージノードは第２ストレージノードに割り込み情報を送信してよく、第２ストレージノードは、割り込み情報を受信して、第１ストレージノードが故障していると判定する。同様に、第２ストレージノードが故障していることを検出した場合、第２ストレージノードは第１ストレージノードに割り込み情報を送信してよく、第１ストレージノードは、割り込み情報を受信して、第２ストレージノードが故障していると判定する。

【0064】

任意選択で、ストレージシステムはさらにクライアントを含んでよく、クライアントはストレージシステム内にあるストレージノードとやり取りしてよい。クライアントは、格納対象データをストレージシステムに格納しても、ストレージシステムから読み出し対象データを読み出してもよい。格納対象データをストレージシステムに格納する詳細な実装プロセスについては、図６または図７に示す実施形態を参照されたい。ストレージシステムから読み出し対象データを読み出す詳細な実装プロセスについては、図９に示す実施形態を参照されたい。詳細については、ここで説明しない。

【0065】

図６を参照されたい。本願の一実施形態が、ストレージシステムにおけるデータ記憶方法を提供する。ストレージシステムは、図１～図５に示すストレージシステムであってよい。本方法では、ストレージシステム内にあるストレージノードが、クライアントにより送信された格納対象データを受信し、この格納対象データをＭ個のデータユニットに分割し、Ｍ個のデータユニット用にＮ個のチェックユニットを生成し、Ｋ個のユニットをＫ個のハードディスクモジュールに格納する。Ｋ個のユニットは、Ｍ個のデータユニットとＮ個のチェックユニットとを含み、ＭおよびＮは両方とも正の整数である。本方法は、以下に挙げる段階を含む。

【0066】

段階１０１：クライアントは第１ストレージノードにストレージ要求を送信し、ストレージ要求は格納対象データを含む。

【0067】

本発明の本実施形態では、第１ストレージノードは、Ｋ個のユニットが属するパーティションとハードディスクモジュールとの対応関係に基づいて、Ｋ個のユニットを格納するＫ個のハードディスクモジュールを決定してよい。さらに、あるパーティションに記録されたハードディスクモジュールがさらに、このハードディスクモジュールが属するストレージノードを含む。このパーティションには、１つのストレージノードがプライマリストレージノードとして用いられることが記録されている。本発明の本実施形態では、第１ストレージノードがプライマリストレージノードである一例が用いられている。クライアントは、格納対象データのデータ識別子に基づいて、対応するパーティションを決定し、パーティション内にあるプライマリストレージノードに関する情報に基づいて、第１ストレージノードにストレージ要求を送信すると決定する。

【0068】

任意選択で、本発明の本実施形態におけるストレージシステムは、複数のパーティション（Ｐａｒｔｉｔｉｏｎ）を含み、それぞれのハードディスクモジュールは１つまたは複数のパーティションに属する。パーティションにおけるストライプ（Ｓｔｒｉｐｅ）の長さがＥＣアルゴリズムに従って決定され、ストライプの長さは、Ｍ個のデータユニットおよびＮ個のチェックユニットの長さの合計、すなわち、［Ｍ＋Ｎ］である。ＥＣアルゴリズムによれば、一般に、ストライプ内にある１つのユニットが１つのハードディスクモジュールに格納されており、［Ｍ＋Ｎ］個のユニットには［Ｍ＋Ｎ］個のハードディスクモジュールが必要となる。したがって、１つのパーティションが［Ｍ＋Ｎ］個のハードディスクモジュールを含む。ストレージノードは、パーティションとハードディスクモジュールとの対応関係を格納する。具体的には、パーティションとハードディスクモジュールとの対応関係は、パーティション識別子と、ストレージノードのハードディスクモジュールのモジュール識別子とを含んでよく、ストレージノードのハードディスクモジュールのモジュール識別子は、モジュール識別子と、ハードディスクモジュールが属するストレージノードの識別子とを含む。これについては、本発明の本実施形態において限定しない。ストレージノードは、格納対象データを複数のデータユニットに分割し、データユニットのチェックユニットを計算し、データユニットが属するパーティションに基づいて、データユニットおよびチェックユニットを格納するハードディスクモジュールを決定する。一般に、ストレージシステムは、ハッシュ（Ｈａｓｈ）リング方式でパーティション分割を行う。本発明では、具体的な実装例を限定しない。

【0069】

段階１０２：第１ストレージノードは、格納対象データをＭ個のデータユニットに分割し、Ｍ個のデータユニット用にＮ個のチェックユニットを生成する。ＭおよびＮは両方とも正の整数である。

【0070】

第１ストレージノードは、Ｍ個のデータユニットに基づいてＮ個のチェックユニットを生成し、Ｎ個のチェックユニットはＭ個のデータユニットのうちの少なくとも１つを復元するのに用いられてよい。

【0071】

段階１０３：第１ストレージノードはＫ個のユニットをＫ個のハードディスクモジュールに格納する。Ｋ個のユニットはＭ個のデータユニットおよびＮ個のチェックユニットを含み、Ｋ個のハードディスクモジュールのそれぞれはＫ個のユニットのうちの１つを格納する。

【0072】

それぞれのハードディスクモジュールは、インタフェースモジュールとハードディスクとを含み、インタフェースモジュールはハードディスクとやり取りする。

【0073】

本発明の本実施形態では、第１ストレージノードは、Ｋ個のユニットが属するパーティションとハードディスクモジュールとの対応関係に基づいて、Ｋ個のユニットを格納するＫ個のハードディスクモジュールを決定してよい。さらに、それぞれのストレージノードは、ハードディスクモジュールとハードディスクモジュールが属するストレージノードとの関係を格納する。したがって、第１ストレージノードは、Ｋ個のユニットを格納するＫ個のハードディスクモジュールを決定した後に、対応するストレージ要求を、Ｋ個のハードディスクモジュール内にあるローカルハードディスクモジュール以外のハードディスクモジュールが属するストレージノードに送信する。具体的には、第１ストレージノードは第１ストレージコマンドを第２ストレージノードに送信し、第１ストレージコマンドはＫ２個のユニットを含む。第３ストレージノードが、Ｋ３個の第３ハードディスクモジュールに対応する。第１ストレージノードは、第３ストレージノードに第２ストレージコマンドを送信する。

【0074】

一実装例では、Ｋ個のハードディスクモジュールは、第１ストレージノードに対応するＫ１個の第１ハードディスクモジュールと、第２ストレージノードに対応するＫ２個の第２ハードディスクモジュールと、第３ストレージノードに対応するＫ３個の第３ハードディスクモジュールとを含む。Ｋ１、Ｋ２、およびＫ３は全て正の整数であり、Ｋ１＋Ｋ２＋Ｋ３＝Ｋである。

【0075】

この段階では、第１ストレージノードは、Ｋ１個のユニットをＫ１個の第１ハードディスクモジュールに格納し、第２ストレージノードに第１ストレージコマンドを送信する。第１ストレージコマンドはＫ２個のユニットを含む。第１ストレージノードは第３ストレージノードに第２ストレージコマンドを送信する。第２ストレージコマンドはＫ３個のユニットを含む。

【0076】

第２ストレージノードは第１ストレージコマンドを受信し、第１ストレージコマンドに含まれるＫ２個のユニットをＫ２個の第２ハードディスクモジュール内にあるハードディスクに格納する。第３ストレージノードは第２ストレージコマンドを受信し、第２ストレージコマンドに含まれるＫ３個のユニットをＫ３個のハードディスクモジュール内にあるハードディスクに格納する。

【0077】

任意選択で、第１ストレージコマンドは格納対象データのデータ識別子を含み、第２ストレージコマンドは格納対象データのデータ識別子を含む。

【0078】

任意選択で、第１ストレージノードは、Ｋ１個のユニットを格納して第１ストレージコマンドおよび第２ストレージコマンドを送信した後に、クライアントにストレージ応答を送信する。

【0079】

任意選択で、第２ストレージノードが故障している場合、第１ストレージノードは、Ｋ１個のユニットをＫ１個の第１ハードディスクモジュールに格納し、Ｋ２個のユニットをＫ２個の第２ハードディスクモジュールに格納する。

【0080】

任意選択で、ストレージノードがユニットをハードディスクモジュールに格納する場合、ストレージノードはユニットをハードディスクモジュールに含まれるインタフェースモジュールに送信し、インタフェースモジュールは、ユニットを受信して、ユニットをハードディスクモジュールに含まれるハードディスクに格納する。

【0081】

任意選択で、ストレージノードは、ユニットをハードディスクモジュールに格納する前に、さらに、ユニットを圧縮し、圧縮したユニットをハードディスクモジュールに格納してよい。

【0082】

任意選択で、第１ストレージノードは、Ｋ１個のユニットをＫ１個の第１ハードディスクモジュールのハードディスクに格納した後に、さらに、Ｋ１個のユニットの位置情報を取得する。Ｋ１個のユニットのうちのいずれか１つでは、ユニットの位置情報が、ユニットのデータ型と、ユニットを格納するハードディスクモジュールのモジュール識別子と、ハードディスクモジュールにおけるユニットのアドレス情報とを含む。アドレス情報は、ハードディスク識別子、開始ストレージアドレス、データ長などを含んでよい。ユニットがデータユニットである場合、このユニットのデータ型はデータユニットである。ユニットがチェックユニットである場合、このユニットのデータ型はチェックユニットである。ユニットがデータユニットである場合、このユニットの位置情報はさらに、データユニットに対応するチェックユニットのユニット識別子を含んでよく、且つ／またはユニットがチェックユニットである場合、このユニットの位置情報はさらに、チェックユニットに対応する少なくとも１つのデータユニットのユニット識別子を含む。第１ストレージノードは、それに応じて、格納対象データのデータ識別子およびＫ１個のユニットの位置情報をデータ識別子と位置情報との対応関係に格納する。

【0083】

同様に、第２ストレージノードは、Ｋ２個のユニットをＫ２個の第２ハードディスクモジュールに格納した後に、さらに、Ｋ２個のユニットの位置情報を取得し、格納対象データのデータ識別子およびＫ２個のユニットの位置情報をデータ識別子と位置情報との対応関係に格納する。第３ストレージノードは、Ｋ３個のユニットをＫ３個の第３ハードディスクモジュールに格納した後に、さらに、Ｋ３個のユニットの位置情報を取得し、格納対象データのデータ識別子およびＫ３個のユニットの位置情報をデータ識別子と位置情報との対応関係に格納する。

【0084】

データ識別子と位置情報との対応関係はさらに、ストレージシステム内にあるストレージノード間で同期され、これにより、これらのストレージノードはデータ識別子と位置情報との同じ対応関係を格納する。

【0085】

本発明の本実施形態では、同じパーティションに属するＫ個のハードディスクモジュールが属するストレージノードが、相互バックアップ関係またはプライマリ／セカンダリ関係にあるストレージノードである。

【0086】

任意選択で、第１ストレージノードは、段階１０２を行う前に、ストレージ要求を受信し、第１の量を取得し、第１の量に基づいてＭおよびＮを取得する。第１の量は、ストレージシステムに含まれる、正常状態にあるハードディスクモジュールの量である。

【0087】

第１ストレージノードが第１の量を取得するオペレーションは以下の通りであってよい。第１ストレージノードは、第１ストレージノードに対応する、正常状態にあるハードディスクモジュールの量を取得し、ストレージシステム内の正常状態にある他のストレージノードにクエリコマンドを送信する。ストレージシステム内にある任意の他のストレージノードでは、任意の他のストレージノードが、クエリコマンドを受信し、任意の他のストレージノードに対応する、正常状態にあるハードディスクモジュールの量を取得し、正常状態にあるハードディスクモジュールの量を第１ストレージノードに送信する。第１ストレージノードは、他のストレージノードにより送信されたハードディスクモジュール量を受信し、取得したハードディスクモジュール量と受信したハードディスクモジュール量とを累積して、第１の量を取得する。

【0088】

第１ストレージノードと少なくとも１つのハードディスクモジュールとの間に、通信接続が確立される。少なくとも１つのハードディスクモジュールのうちのいずれか１つが故障している場合、第１ストレージノードと少なくとも１つのハードディスクモジュールのうちのいずれか１つとの間の通信接続が切断される。したがって、第１ストレージノードが、第１ストレージノードに対応する正常状態にあるハードディスクモジュールの量を取得することは、以下の通りであってよい。第１ストレージノードは、第１ストレージノードへの通信接続を有するハードディスクモジュールを判定し、判定したハードディスクモジュールの量を計算して、第１ストレージノードに対応する正常状態にあるハードディスクモジュールの量を取得する。

【0089】

同様に、任意の他のストレージノードが任意の他のストレージノードに対応する正常状態にあるハードディスクモジュールの量を取得する方式は、第１ストレージノードが、第１ストレージノードに対応する正常状態にあるハードディスクモジュールの量を取得する方式と同じである。

【0090】

任意選択で、第１ストレージノードがＭおよびＮを取得するオペレーションが以下の通りであってよい。第１ストレージノードは格納されたＭおよびＮを取得し、［Ｍ＋Ｎ］が第１の量より少ない場合には第１の量に基づいてＮを取得し、第１の量からＮを差し引いてＭを取得し、［Ｍ＋Ｎ］が第１の量より多いまたはこれと等しい場合には格納されたＭおよびＮに基づいて段階１０２を行う。あるいは、第１ストレージノードは第１の量と第２の量とを比較する。第２の量は、最後に取得した、ストレージシステムに含まれる正常状態にあるハードディスクモジュールの量である。第１の量が第２の量と異なる場合、第１ストレージノードは第１の量に基づいてＮを取得し、第１の量からＮを差し引いてＭを取得する。第１の量が第２の量と同じである場合、第１ストレージノードは、格納されている最後に取得したＭおよびＮを取得する。

【0091】

任意選択で、第１の量が第２の量と異なる場合、第１ストレージノードは、格納された第２の量を第１の量に更新し、格納されたＭおよびＮの値をこの段階で取得されたＭおよびＮの値にそれぞれ更新してよい。

【0092】

任意選択で、第１ストレージノードが第１の量に基づいてＮを取得することは、以下の通りであってよい。

【0093】

第１の量が限界量より少なく且つＮがＸより大きい場合、第１ストレージノードはＮ＝Ｎ－Ｘと設定する。Ｘは０より大きい整数である。第１の量が限界量より多いまたはこれと等しく且つＮが初期値より小さい場合、第１ストレージノードは、Ｎを初期値と等しくなるように設定する。第１の量が限界量より多いまたはこれと等しく且つＮが初期値と等しい場合、第１ストレージノードは格納されたＮを取得する。

【0094】

初期値は、予め設定された値であってよい。例えば、初期値は、２、３、４、または５などの値であってもよい。

【0095】

本願の本実施形態では、ストレージシステム内にあるハードディスクモジュールの粒度で記憶が行われる。具体的には、データがＭ個のデータユニットに分割され、これらのデータユニットを計算して、対応するＮ個のチェックユニットを取得し、［Ｍ＋Ｎ］個のハードディスクモジュールを選択して、対応するデータユニットおよび対応するチェックユニットを格納する。これにより、ストレージノードの粒度で記憶が行われる従来の技術と比較すると、ハードディスクモジュールの量がストレージノードの量より多いため、ストレージシステム内にあるストレージリソースを十分に利用することができる。さらに、それぞれのストレージノードが複数のハードディスクモジュールに対応するため、ストレージノードのコンピューティングリソースを十分に利用することができ、またストレージノードのＣＰＵの計算能力が十分に利用される。これにより、コンピューティングリソースの無駄が削減される。

【0096】

本発明の本実施形態では、ストレージノードの粒度の代わりに、ハードディスクモジュールの粒度でストレージリソースが管理される。一実装例では、ハードディスクモジュールのインタフェースモジュールがストレージリソースプロセスを作成し、ストレージノードは、ストレージリソースプロセスに基づいて、用いられ得るストレージリソース粒度を識別する。ストレージリソースプロセスは、ハードディスクモジュールのモジュール識別子を含む。

【0097】

図７を参照されたい。本願の一実施形態が、ストレージシステムにおけるデータ記憶方法を提供する。ストレージシステムは、図１～図５に示すストレージシステムであってよい。本方法では、クライアントが、格納対象データをＭ個のデータユニットに分割し、Ｍ個のデータユニット用にＮ個のチェックユニットを生成し、ストレージシステム内にあるＫ個のハードディスクモジュールにＫ個のユニット（Ｋ個のユニットはＭ個のデータユニットおよびＮ個のチェックユニットを含む）を送信し、Ｋ個のユニットをＫ個のハードディスクモジュールに格納する、すなわち、Ｋ個のハードディスクモジュールのそれぞれは、Ｋ個のユニットのうちの１つを格納する。ここで、ＭおよびＮは両方とも正の整数である。本方法は、以下に挙げる段階を含む。

【0098】

段階２０１：クライアントは、格納対象データをＭ個のデータユニットに分割し、Ｍ個のデータユニット用にＮ個のチェックユニットを生成する。

【0099】

段階２０２：クライアントは、ストレージシステム内にあるＫ個のハードディスクモジュールにＫ個のユニットを送信し、Ｋ個のユニットはＭ個のデータユニットおよびＮ個のチェックユニットを含む。

【0100】

本発明の本実施形態では、クライアントは、Ｋ個のユニットが属するパーティションとハードディスクモジュールとの対応関係に基づいて、Ｋ個のユニットを格納するＫ個のハードディスクモジュールを決定してよい。一実装例では、パーティションとハードディスクモジュールとの対応関係は、プライマリストレージノードに関する情報を含む。第１ストレージノードがここでも一例として用いられる。パーティションとハードディスクモジュールとの対応関係については、前述の説明を参照されたい。詳細については、再度ここで説明しない。クライアントがストレージシステム内にあるＫ個のハードディスクモジュールにＫ個のユニットを送信することは具体的には、クライアントが第１ストレージノードにＫ個のユニットを送信することを含む。第１ストレージノードは、Ｋ個のユニットを格納するＫ個のハードディスクモジュールを決定した後に、対応するストレージ要求を、Ｋ個のハードディスクモジュール内にあるローカルハードディスクモジュール以外のハードディスクモジュールが属するストレージノードに送信する。具体的には、第１ストレージノードは第１ストレージコマンドを第２ストレージノードに送信し、第１ストレージコマンドはＫ２個のユニットを含む。第３ストレージノードが、Ｋ３個の第３ハードディスクモジュールに対応する。第１ストレージノードは、第３ストレージノードに第２ストレージコマンドを送信する。Ｋ１、Ｋ２、およびＫ３は全て正の整数であり、Ｋ１＋Ｋ２＋Ｋ３＝Ｋである。

【0101】

本発明の本実施形態では、クライアントは、Ｋ個のユニットが属するパーティションとハードディスクモジュールとの対応関係に基づいて、Ｋ個のユニットを格納するＫ個のハードディスクモジュールを決定してよい。一実装例では、Ｋ個のユニットが属するパーティションとハードディスクモジュールとの対応関係はさらに、ハードディスクモジュールが属するストレージノードに関する情報を含む。例えば、Ｋ個のハードディスクモジュールは、第１ストレージノードのＫ１個のハードディスクモジュールと、第２ストレージノードのＫ２個のハードディスクモジュールと、第３ストレージノードのＫ３個のハードディスクモジュールとを含む。クライアントは、Ｋ１個のハードディスクモジュールに格納されたＫ１個のユニットを第１ストレージノードに送信し、Ｋ２個のハードディスクモジュールに格納されたＫ２個のユニットを第２ストレージノードに送信し、Ｋ３個のハードディスクモジュールに格納されたＫ３個のユニットを第３ストレージノードに送信する。

【0102】

本発明の本実施形態では、同じパーティションに属するＫ個のハードディスクモジュールが属するストレージノードが、相互バックアップ関係またはプライマリ／セカンダリ関係にあるストレージノードである。

【0103】

本発明の本実施形態では、ストレージノードの粒度の代わりに、ハードディスクモジュールの粒度でストレージリソースが管理される。一実装例では、ハードディスクモジュールのインタフェースモジュールがストレージリソースプロセスを作成し、クライアントは、ストレージリソースプロセスに基づいて、用いられ得るストレージリソース粒度を識別する。ストレージリソースプロセスは、ハードディスクモジュールのモジュール識別子を含む。その上、ストレージリソースプロセスはさらに、ハードディスクモジュールが属するストレージノードの識別子を含む。

【0104】

本願の一実施形態が、ストレージシステムにおけるデータ読み出し方法を提供する。ストレージシステムは、図１～図５に示すストレージシステムであってよい。本方法では、ストレージシステム内にあるストレージノードが、クライアントにより送信された読み出し要求を受信し、読み出し要求は読み出し対象データのデータ識別子を含む。ストレージノードは、データ識別子に基づいて読み出し対象データを取得し、この読み出し対象データをクライアントに送信する。

【0105】

一実装例では、第１ストレージノードが、Ｋ個のユニットが属するパーティションとハードディスクモジュールとの対応関係に基づいて、Ｋ個のユニットを格納するＫ個のハードディスクモジュールを決定してよい。さらに、あるパーティションに記録されたハードディスクモジュールがさらに、このハードディスクモジュールが属するストレージノードを含む。このパーティションには、１つのストレージノードがプライマリストレージノードとして用いられることが記録されている。本発明の本実施形態では、第１ストレージノードがプライマリストレージノードである一例が用いられている。クライアントは、読み出し対象データのデータ識別子に基づいて、対応するパーティションを決定し、パーティション内にあるプライマリストレージノードに関する情報に基づいて、第１ストレージノードに読み出し要求を送信すると決定する。読み出し要求は、読み出し対象データのデータ識別子を含む。第１ストレージノードは、Ｋ個のユニットが属するパーティションと、ハードディスクモジュールと、読み出し対象データのデータ識別子との対応関係に基づいて、読み出し対象データが位置するハードディスクモジュールを判定し、判定したハードディスクモジュールから読み出し対象データを読み出す。図６に示す実施形態を参照すると、第１ストレージノードが故障している場合、第２ストレージノードおよび第３ストレージノードが第１ストレージノードと相互バックアップ関係またはプライマリ／セカンダリ関係を有するため、第２ストレージノードまたは第３ストレージノードは、第１ストレージノードに取って代わり、前述の読み出し要求を実行するように構成されている。さらに、第１ストレージノードに取って代わるストレージノードは、Ｋ１個のハードディスクモジュールに直接的にアクセスすることができる。さらに、読み出し対象データを格納するハードディスクモジュールが故障している場合、または読み出し対象データが位置するハードディスクモジュール内にあるハードディスクが故障している場合、または、ハードディスクモジュールに格納された読み出し対象データにエラーが発生したために読み出し対象データが失われ、読み出し対象データをハードディスクモジュールにおいてローカルに復元できない場合、本発明の本実施形態では、読み出し対象データが位置するデータユニットを、Ｋ個のハードディスクモジュールのうちの別のハードディスクモジュールに格納されたユニットを用いて復元することができる。すなわち、Ｍ個のデータユニットとＮ個のチェックユニットとの間に形成されたチェック保護関係を用いて、Ｍ個のデータユニットのうちのＮ個のデータユニットを復元できる機能が用いられる。

【0106】

別の実装例では、クライアントは、読み出し対象データのデータ識別子に基づいて、対応するパーティションを決定し、このパーティションに基づいて、パーティション内にある、データ識別子に対応するハードディスクモジュールを決定する。クライアントは、パーティション内にあるハードディスクモジュールとストレージノードとの対応関係に基づいて、すなわち、ハードディスクモジュールが属するストレージノードに基づいて、読み出し対象データが位置するハードディスクモジュールが属するストレージノードを判定し、このストレージノードに読み出し要求を送信する。ストレージノードは、読み出し要求を受信した後に、読み出し要求で搬送される読み出し対象データのデータ識別子に基づいて、ハードディスクモジュールから読み出し対象データを読み出す。すなわち、ストレージノードは、ハードディスクモジュールのインタフェースモジュールとやり取りする。Ｍ個のデータユニットおよびＮ個のチェックユニットに基づいて行われるデータ復元については、前述の実施形態における説明を参照されたい。詳細については、再度ここで説明しない。

【0107】

本発明の別のストレージアーキテクチャでは、クライアントはハードディスクモジュールのインタフェースモジュールとやり取りしてよい、すなわち、クライアントはストレージノードを介さずにハードディスクモジュールに直接的にアクセスすることができる。具体的には、クライアントは、パーティションとハードディスクモジュールとの対応関係に基づいて、対応するＫ個のハードディスクモジュールにＫ個のユニットを直接的に送信する、または対応するハードディスクモジュールからデータを読み出す。

【0108】

図８を参照されたい。本願の一実施形態が、ストレージシステムにおけるデータ記憶装置３００を提供する。装置３００は、前述の実施形態のうちのいずれか１つにおけるストレージノードまたはクライアントで利用されてよく、本装置は、Ｍ個のデータユニット用にＮ個のチェックユニットを生成するように構成された生成ユニット３０１であって、ＭおよびＮは両方とも正の整数であり、Ｍ＋Ｎ＝Ｋである、生成ユニット３０１と、ストレージシステム内にあるＫ個のハードディスクモジュールにＫ個のユニットを格納するように構成されたストレージユニット３０２であって、Ｋ個のユニットはＭ個のデータユニットおよびＮ個のチェックユニットを含み、Ｋ個のハードディスクモジュールのそれぞれはＫ個のユニットのうちの１つを格納し、それぞれのハードディスクモジュールはインタフェースモジュールおよびハードディスクを含み、インタフェースモジュールはハードディスクとやり取りする、ストレージユニット３０２とを含む。

【0109】

任意選択で、ストレージユニット３０２がＫ個のハードディスクモジュールにＫ個のユニットを格納する詳細なオペレーションについては、図６に示す実施形態における段階１０３、または図７に示す実施形態における段階２０２の関連内容を参照されたい。

【0110】

任意選択で、ストレージシステムは複数のストレージノードを含み、それぞれのストレージノードはＫ個のハードディスクモジュールのインタフェースモジュールとやり取りする。

【0111】

任意選択で、装置３００はストレージシステムのクライアントである。装置３００は、送信ユニット３０３を含む。

【0112】

送信ユニット３０３は、複数のストレージノードのうちの対象ストレージノードにＫ個のユニットを送信するように構成されており、これにより、対象ストレージノードはストレージシステム内にあるＫ個のハードディスクモジュールにＫ個のユニットを格納する。

【0113】

任意選択で、対象ストレージノードがストレージシステム内にあるＫ個のハードディスクモジュールにＫ個のユニットを格納する詳細なオペレーションについては、図７に示す実施形態における段階２０２の関連内容を参照されたい。

【0114】

任意選択で、装置３００は、複数のストレージノードのうちの１つである。

【0115】

任意選択で、インタフェースモジュールは、ホストバスアダプタ、冗長独立ディスクアレイ、エクスパンダカード、またはネットワークインタフェースカードである。

【0116】

任意選択で、ストレージシステムは第２デバイスを含み、第２デバイスと本装置との間には、相互バックアップ関係またはプライマリ／セカンダリ関係がある。

【0117】

本願の本実施形態では、生成ユニットは、Ｍ個のデータユニット用にＮ個のチェックユニットを生成する。ストレージユニットは、ストレージシステム内にあるＫ個のハードディスクモジュールにＫ個のユニットを格納する。このように、ストレージユニットは、ストレージシステム内にあるハードディスクモジュールの粒度で記憶を実施する、すなわち、Ｋ個のハードディスクモジュールを用いて、対応するＫ個のユニットを格納する。これにより、ストレージノードの粒度で記憶が行われる従来の技術と比較すると、ハードディスクモジュールの量がストレージノードの量より多いため、ストレージシステム内にあるストレージリソースを十分に利用することができる。

【0118】

図９を参照されたい。本願の一実施形態が、ストレージシステムにおけるデータ読み出し装置４００を提供する。装置４００は、前述の実施形態のうちのいずれか１つにおけるストレージノードまたはクライアントで利用されてよく、本装置は、読み出し要求を受信するように構成された受信ユニット４０１であって、読み出し要求は読み出し対象データのデータ識別子を含む、受信ユニット４０１と、ストレージシステム内にあるＫ個のハードディスクモジュールからデータ識別子に基づいて、読み出し対象データを格納するハードディスクモジュールを決定するように構成された処理ユニット４０２とを含む。

【0119】

処理ユニット４０２はさらに、読み出し対象データを格納するハードディスクモジュールから読み出し対象データを読み出すように構成されており、読み出し対象データはＭ個のデータユニット内にあるデータに属する。ストレージシステムはさらに、Ｍ個のデータユニットのＮ個のチェックユニットを含む。ＭおよびＮは両方とも正の整数であり、Ｍ＋Ｎ＝Ｋである。Ｋ個のハードディスクモジュールのそれぞれは、Ｋ個のユニットのうちの１つを格納する。Ｋ個のユニットは、Ｍ個のデータユニットおよびＮ個のチェックユニットを含む。それぞれのハードディスクモジュールは、インタフェースモジュールとハードディスクとを含み、インタフェースモジュールはハードディスクとやり取りする。

【0120】

任意選択で、ストレージシステムは複数のストレージノードを含み、それぞれのストレージノードはＫ個のハードディスクモジュールのインタフェースモジュールとやり取りする。

【0121】

任意選択で、装置４００はストレージシステムのクライアントである。装置４００はさらに、送信ユニット４０３を含む。

【0122】

送信ユニット４０３は、複数のストレージノードのうちの対象ストレージノードにデータ読み出し要求を送信するように構成されており、データ読み出し要求はデータ識別子を搬送する。

【0123】

処理ユニット４０２は、データ識別子に基づいて、読み出し対象データを格納するハードディスクモジュールから読み出し対象データを読み出すように構成されている。

【0124】

任意選択で、装置４００は、複数のストレージノードのうちの１つである。

【0125】

任意選択で、インタフェースモジュールは、ホストバスアダプタ、冗長独立ディスクアレイ、エクスパンダカード、またはネットワークインタフェースカードである。

【0126】

任意選択で、ストレージシステムは第２デバイスを含み、第２デバイスと装置４００との間には、相互バックアップ関係またはプライマリ／セカンダリ関係がある。

【0127】

本願の本実施形態では、受信ユニットは読み出し要求を受信し、読み出し要求は読み出し対象データのデータ識別子を含む。処理ユニットは、読み出し対象データを格納するハードディスクモジュールから読み出し対象データを読み出し、読み出し対象データはＭ個のデータユニット内にあるデータに属する。ストレージシステムはさらに、Ｍ個のデータユニットのＮ個のチェックユニットを含み、Ｍ＋Ｎ＝Ｋである。ストレージシステム内にあるＫ個のハードディスクモジュールのそれぞれは、Ｋ個のユニットのうちの１つを格納する。Ｋ個のハードディスクモジュールのそれぞれがＫ個のユニットのうちの１つを格納するので、ストレージシステム内にあるハードディスクモジュールの粒度で記憶が行われる。これにより、ストレージノードの粒度で記憶が行われる従来の技術と比較すると、ハードディスクモジュールの量がストレージノードの量より多いため、ストレージシステム内にあるストレージリソースを十分に利用することができる。

【0128】

図１０を参照されたい。本願の一実施形態が、ストレージシステムにおけるデータ記憶装置５００を提供する。装置５００は、前述の実施形態のうちのいずれか１つにおけるクライアントであっても、ストレージノードであってもよい。装置５００は、少なくとも１つのプロセッサ５０１と、バスシステム５０２と、少なくとも１つの通信インタフェース５０３とを含む。

【0129】

任意選択で、ストレージシステムは複数のハードディスクモジュールを含み、少なくとも１つのプロセッサ５０１はさらに、少なくとも１つの通信インタフェース５０３を通じて、ストレージシステム内にある複数のハードディスクモジュールとやり取りする。

【0130】

具体的な実装例では、プロセッサ５０１は、中央演算処理装置（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ：ＣＰＵ）、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ）、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ：ＡＳＩＣ）、または別のハードウェアであってもよい。あるいは、ＦＰＧＡまたは他のハードウェアとＣＰＵとは、一緒になってプロセッサ５０１としての機能を果たす。

【0131】

装置５００は、ハードウェア構造体の装置であり、図８に示す装置３００における機能モジュールを実装するように構成されてよい。

【0132】

任意選択で、プロセッサ５０１が１つまたは複数のＣＰＵで実装されている場合、図８に示す装置３００における生成ユニット３０１およびストレージユニット３０２は、１つまたは複数のＣＰＵによってメモリ内のコードを呼び出すことで実現されてよい。図８に示す装置３００における送信ユニット３０３は、通信インタフェース５０３によって実現されてよい。

【0133】

通信インタフェース５０３は、別のデバイスまたは通信ネットワークとやり取りするように構成されている。

【0134】

メモリは、読み出し専用メモリ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ：ＲＯＭ）または静的情報および命令を格納できる別のタイプの静的ストレージデバイス、ランダムアクセスメモリ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ：ＲＡＭ）または情報および命令を格納できる別のタイプの動的ストレージデバイスであってもよく、電気的消去可能プログラム可能型読み出し専用メモリ（ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ：ＥＥＰＲＯＭ）、コンパクトディスク読み出し専用メモリ（ｃｏｍｐａｃｔ ｄｉｓｃ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ：ＣＤ－ＲＯＭ）もしくは別のコンパクトディスク記憶装置、光ディスク記憶装置（コンパクトディスク、レーザディスク、光ディスク、デジタル多用途ディスク、ブルーレイディスクなどを含む）、ディスク記憶媒体もしくは別のディスクストレージデバイス、または期待されるプログラムコードを命令もしくはデータ構造体の形態で搬送もしくは格納するのに用いられ得る且つコンピュータがアクセスできる任意の他の媒体であってもよい。しかしながら、メモリはこれに限定されない。メモリは、独立して存在してよく、またバスを通じてプロセッサに接続されている。あるいは、メモリはプロセッサと一体化されてもよい。

【0135】

メモリは、本願の解決手段を実行するためのアプリケーションプログラムコードを格納するように構成されており、プロセッサ５０１は実行を制御する。プロセッサ５０１は、メモリに格納されたアプリケーションプログラムコードを実行して、本特許における方法の各機能を実現するように構成されている。

【0136】

図１１を参照されたい。本願の一実施形態が、ストレージシステムにおけるデータ読み出し装置６００を提供する。装置６００は、前述の実施形態のうちのいずれか１つにおけるストレージノードであっても、クライアントであってもよい。装置６００は、少なくとも１つのプロセッサ６０１と、バスシステム６０２と、少なくとも１つの通信インタフェース６０３とを含む。

【0137】

具体的な実装例では、プロセッサ６０１は、中央演算処理装置（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ：ＣＰＵ）、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ）、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ：ＡＳＩＣ）、または別のハードウェアであってもよい。あるいは、ＦＰＧＡまたは他のハードウェアとＣＰＵとは、一緒になってプロセッサ６０１としての機能を果たす。

【0138】

装置６００は、ハードウェア構造体の装置であり、図９に示す装置４００における機能モジュールを実装するように構成されてよい。任意選択で、プロセッサ６０１が１つまたは複数のＣＰＵで実装されている場合、図９に示す装置４００における処理ユニット４０２は、１つまたは複数のＣＰＵによってメモリ内のコードを呼び出すことで実現されてよい。図９に示す装置４００における受信ユニット４０１および送信ユニット４０３は、通信インタフェース６０３によって実現されてよい。

【0139】

バスシステム６０２は、前述の構成要素間で情報を伝送するための経路を含んでよい。

【0140】

通信インタフェース６０３は、別のデバイスまたは通信ネットワークとやり取りするように構成されている。

【0141】

メモリは、読み出し専用メモリ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ：ＲＯＭ）または静的情報および命令を格納できる別のタイプの静的ストレージデバイス、ランダムアクセスメモリ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ：ＲＡＭ）または情報および命令を格納できる別のタイプの動的ストレージデバイスであってもよく、電気的消去可能プログラム可能型読み出し専用メモリ（ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ：ＥＥＰＲＯＭ）、コンパクトディスク読み出し専用メモリ（ｃｏｍｐａｃｔ ｄｉｓｃ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ：ＣＤ－ＲＯＭ）もしくは別のコンパクトディスク記憶装置、光ディスク記憶装置（コンパクトディスク、レーザディスク、光ディスク、デジタル多用途ディスク、ブルーレイディスクなどを含む）、ディスク記憶媒体もしくは別のディスクストレージデバイス、または期待されるプログラムコードを命令もしくはデータ構造体の形態で搬送もしくは格納するのに用いられ得る且つコンピュータがアクセスできる任意の他の媒体であってもよい。しかしながら、メモリはこれに限定されない。メモリは、独立して存在してよく、またバスを通じてプロセッサに接続されている。あるいは、メモリはプロセッサと一体化されてもよい。

【0142】

メモリは、本願の解決手段を実行するためのアプリケーションプログラムコードを格納するように構成されており、プロセッサ６０１は実行を制御する。プロセッサ６０１は、メモリに格納されたアプリケーションプログラムコードを実行して、本特許における方法の各機能を実現するように構成されている。

【0143】

本発明の本実施形態では、Ｍ個のデータユニットにおけるＭは１であり、Ｎ個のチェックユニットはデータユニットのコピーである。言い換えれば、データユニットは複数のコピーに基づいて保護されており、データユニットは複数のコピーに基づいて復元される。具体的な実装例については、前述の実施形態における説明を参照されたい。詳細については、再度ここで説明しない。

【0144】

本発明の別の実施形態では、ストレージシステムがストレージアレイであり、ストレージノードがストレージアレイのアレイコントローラである。

【0145】

当業者であれば、実施形態の段階の全部または一部が、ハードウェアによって、または関連ハードウェアに指示するプログラムによって、実現されてよいことを理解するであろう。プログラムは、コンピュータ可読記憶媒体に格納されてよい。この記憶媒体は、読み出し専用メモリ、磁気ディスク、または光ディスクを含んでよい。
［他の考えられる項目］
（項目１）
ストレージシステムにおけるデータ記憶方法であって、前記方法が、
第１デバイスがＭ個のデータユニット用にＮ個のチェックユニットを生成する段階であって、ＭおよびＮが両方とも正の整数であり、Ｍ＋Ｎ＝Ｋである、生成する段階と、
前記第１デバイスが前記ストレージシステム内にあるＫ個のハードディスクモジュールに前記Ｋ個のユニットを格納する段階であって、前記Ｋ個のユニットが前記Ｍ個のデータユニットおよび前記Ｎ個のチェックユニットを有し、前記Ｋ個のハードディスクモジュールのそれぞれが前記Ｋ個のユニットのうちの１つを格納し、それぞれのハードディスクモジュールがインタフェースモジュールおよびハードディスクを有し、前記インタフェースモジュールが前記ハードディスクとやり取りする、格納する段階と
を備える方法。
（項目２）
前記ストレージシステムが複数のストレージノードを備えており、それぞれのストレージノードが前記Ｋ個のハードディスクモジュールのインタフェースモジュールとやり取りする、項目１に記載の方法。
（項目３）
前記第１デバイスが前記ストレージシステムのクライアントであり、前記第１デバイスが前記ストレージシステム内にあるＫ個のハードディスクモジュールに前記Ｋ個のユニットを格納する前記段階が具体的には、
前記クライアントが前記複数のストレージノードのうちの対象ストレージノードに前記Ｋ個のユニットを送信する段階と、
前記対象ストレージノードが前記ストレージシステム内にある前記Ｋ個のハードディスクモジュールに前記Ｋ個のユニットを格納する段階と
を有する、項目２に記載の方法。
（項目４）
前記第１デバイスが前記複数のストレージノードのうちの１つである、項目２に記載の方法。
（項目５）
前記インタフェースモジュールが、ホストバスアダプタ、冗長独立ディスクアレイ、エクスパンダカード、またはネットワークインタフェースカードである、項目１から４のいずれか一項に記載の方法。
（項目６）
前記ストレージシステムが第２デバイスを備えており、前記第２デバイスと前記第１デバイスとの間には、相互バックアップ関係またはプライマリ／セカンダリ関係がある、項目１に記載の方法。
（項目７）
ストレージシステムにおけるデータ読み出し方法であって、前記方法が、
第１デバイスが読み出し要求を受信する段階であって、前記読み出し要求が読み出し対象データのデータ識別子を含む、受信する段階と、
前記第１デバイスが、前記ストレージシステム内にあるＫ個のハードディスクモジュールから前記データ識別子に基づいて、前記読み出し対象データを格納するハードディスクモジュールを決定する段階と、
前記第１デバイスが、前記読み出し対象データを格納する前記ハードディスクモジュールから前記読み出し対象データを読み出す段階であって、前記読み出し対象データが、Ｍ個のデータユニット内にあるデータに属しており、前記ストレージシステムがさらに前記Ｍ個のデータユニットのＮ個のチェックユニットを含み、ＭおよびＮが両方とも正の整数であり、Ｍ＋Ｎ＝Ｋであり、前記Ｋ個のハードディスクモジュールのそれぞれが前記Ｋ個のユニットのうちの１つを格納し、前記Ｋ個のユニットが前記Ｍ個のデータユニットおよび前記Ｎ個のチェックユニットを含み、それぞれのハードディスクモジュールがインタフェースモジュールおよびハードディスクを有し、前記インタフェースモジュールが前記ハードディスクとやり取りする、読み出す段階と
を備える方法。
（項目８）
前記ストレージシステムが複数のストレージノードを備えており、それぞれのストレージノードが前記Ｋ個のハードディスクモジュールのインタフェースモジュールとやり取りする、項目７に記載の方法。
（項目９）
前記第１デバイスが前記ストレージシステムのクライアントであり、前記第１デバイスが前記読み出し対象データを格納する前記ハードディスクモジュールから前記読み出し対象データを読み出す前記段階が具体的には、
前記クライアントが前記データ読み出し要求を前記複数のストレージノード内にある対象ストレージノードに送信する段階であって、前記データ読み出し要求が前記データ識別子を搬送する、送信する段階と、
前記対象ストレージノードが前記データ識別子に基づいて、前記読み出し対象データを格納する前記ハードディスクモジュールから前記読み出し対象データを読み出す段階と
を有する、項目７に記載の方法。
（項目１０）
前記第１デバイスが前記複数のストレージノードのうちの１つである、項目８に記載の方法。
（項目１１）
前記インタフェースモジュールが、ホストバスアダプタ、冗長独立ディスクアレイ、エクスパンダカード、またはネットワークインタフェースカードである、項目７から１０のいずれか一項に記載の方法。
（項目１２）
前記ストレージシステムが第２デバイスを備えており、前記第２デバイスと前記第１デバイスとの間には、相互バックアップ関係またはプライマリ／セカンダリ関係がある、項目７に記載の方法。
（項目１３）
ストレージシステムにおけるデータ記憶装置であって、前記装置が、
Ｍ個のデータユニット用にＮ個のチェックユニットを生成するように構成された生成ユニットであって、ＭおよびＮが両方とも正の整数であり、Ｍ＋Ｎ＝Ｋである、生成ユニットと、
前記ストレージシステム内にあるＫ個のハードディスクモジュールに前記Ｋ個のユニットを格納するように構成されたストレージユニットであって、前記Ｋ個のユニットがＭ個のデータユニットおよびＮ個のチェックユニットを含み、前記Ｋ個のハードディスクモジュールのそれぞれが前記Ｋ個のユニットのうちの１つを格納し、それぞれのハードディスクモジュールがインタフェースモジュールおよびハードディスクを有し、前記インタフェースモジュールが前記ハードディスクとやり取りする、ストレージユニットと
を備える装置。
（項目１４）
前記ストレージシステムが複数のストレージノードを備えており、それぞれのストレージノードが前記Ｋ個のハードディスクモジュールのインタフェースモジュールとやり取りする、項目１３に記載の装置。
（項目１５）
前記装置が前記ストレージシステムのクライアントであり、前記装置が送信ユニットを備えており、
前記送信ユニットが、前記複数のストレージノード内にある対象ストレージノードに前記Ｋ個のユニットを送信するように構成されていることにより、前記対象ストレージノードが、前記ストレージシステム内にある前記Ｋ個のハードディスクモジュールに前記Ｋ個のユニットを格納する、項目１４に記載の装置。
（項目１６）
前記装置が前記複数のストレージノードのうちの１つである、項目１４に記載の装置。
（項目１７）
前記インタフェースモジュールが、ホストバスアダプタ、冗長独立ディスクアレイ、エクスパンダカード、またはネットワークインタフェースカードである、項目１３から１６のいずれか一項に記載の装置。
（項目１８）
前記ストレージシステムが第２デバイスを備えており、前記第２デバイスと前記装置との間には、相互バックアップ関係またはプライマリ／セカンダリ関係がある、項目１３に記載の装置。
（項目１９）
ストレージシステムにおけるデータ読み出し装置であって、前記装置が、
読み出し要求を受信するように構成された受信ユニットであって、前記読み出し要求が読み出し対象データのデータ識別子を含む、受信ユニットと、
前記ストレージシステム内にあるＫ個のハードディスクモジュールから前記データ識別子に基づいて、前記読み出し対象データを格納するハードディスクモジュールを決定するように構成された処理ユニットと
を備えており、
前記処理ユニットがさらに、前記読み出し対象データを格納する前記ハードディスクモジュールから前記読み出し対象データを読み出すように構成されており、前記読み出し対象データが、Ｍ個のデータユニット内にあるデータに属しており、前記ストレージシステムがさらに、前記Ｍ個のデータユニットのＮ個のチェックユニットを含み、ＭおよびＮが両方とも正の整数であり、Ｍ＋Ｎ＝Ｋであり、前記Ｋ個のハードディスクモジュールのそれぞれが前記Ｋ個のユニットのうちの１つを格納し、前記Ｋ個のユニットが前記Ｍ個のデータユニットおよび前記Ｎ個のチェックユニットを含み、それぞれのハードディスクモジュールがインタフェースモジュールおよびハードディスクを有し、前記インタフェースモジュールが前記ハードディスクとやり取りする、装置。
（項目２０）
前記ストレージシステムが複数のストレージノードを備えており、それぞれのストレージノードが前記Ｋ個のハードディスクモジュールのインタフェースモジュールとやり取りする、項目１９に記載の装置。
（項目２１）
前記装置が前記ストレージシステムのクライアントであり、前記装置がさらに送信ユニットを備えており、
前記送信ユニットが、前記複数のストレージノード内にある対象ストレージノードに前記データ読み出し要求を送信するように構成されており、前記データ読み出し要求が前記データ識別子を搬送し、
前記処理ユニットが、前記データ識別子に基づいて、前記読み出し対象データを格納する前記ハードディスクモジュールから前記読み出し対象データを読み出すように構成されている、項目１９に記載の装置。
（項目２２）
前記装置が前記複数のストレージノードのうちの１つである、項目２０に記載の装置。
（項目２３）
前記インタフェースモジュールが、ホストバスアダプタ、冗長独立ディスクアレイ、エクスパンダカード、またはネットワークインタフェースカードである、項目１９から２２のいずれか一項に記載の装置。
（項目２４）
前記ストレージシステムが第２デバイスを備えており、前記第２デバイスと前記装置との間には、相互バックアップ関係またはプライマリ／セカンダリ関係がある、項目１９に記載の装置。
（項目２５）
ストレージシステムにおけるストレージデバイスであって、前記ストレージデバイスがプロセッサと通信インタフェースとを備えており、前記プロセッサが前記通信インタフェースとやり取りし、前記プロセッサが、
Ｍ個のデータユニット用にＮ個のチェックユニットを生成することであって、ＭおよびＮが両方とも正の整数であり、Ｍ＋Ｎ＝Ｋである、生成することと、
前記ストレージシステム内にあるＫ個のハードディスクモジュールに前記Ｋ個のユニットを格納することであって、前記Ｋ個のユニットがＭ個のデータユニットおよびＮ個のチェックユニットを含み、前記Ｋ個のハードディスクモジュールのそれぞれが前記Ｋ個のユニットのうちの１つを格納し、それぞれのハードディスクモジュールがインタフェースモジュールおよびハードディスクを有し、前記インタフェースモジュールが前記ハードディスクとやり取りする、格納することと
を行うように構成されている、ストレージデバイス。
（項目２６）
前記ストレージシステムが複数のストレージノードを備えており、それぞれのストレージノードが前記Ｋ個のハードディスクモジュールのインタフェースモジュールとやり取りする、項目２５に記載のストレージデバイス。
（項目２７）
前記ストレージデバイスが前記ストレージシステムのクライアントであり、前記通信インタフェースが、前記複数のストレージノード内にある対象ストレージノードに前記Ｋ個のユニットを送信するように構成されていることにより、前記対象ストレージノードが、前記ストレージシステム内にある前記Ｋ個のハードディスクモジュールに前記Ｋ個のユニットを格納する、項目２６に記載のストレージデバイス。
（項目２８）
ストレージシステムにおけるストレージデバイスであって、前記ストレージデバイスがプロセッサと通信インタフェースとを備えており、前記プロセッサが前記通信インタフェースとやり取りし、
前記通信インタフェースが読み出し要求を受信するように構成されており、前記読み出し要求が読み出し対象データのデータ識別子を含み、
前記プロセッサが、
前記ストレージシステム内にあるＫ個のハードディスクモジュールから前記データ識別子に基づいて、前記読み出し対象データを格納するハードディスクモジュールを決定することと、
前記読み出し対象データを格納する前記ハードディスクモジュールから前記読み出し対象データを読み出すことであって、前記読み出し対象データが、Ｍ個のデータユニット内にあるデータに属しており、前記ストレージシステムがさらに前記Ｍ個のデータユニットのＮ個のチェックユニットを含み、ＭおよびＮが両方とも正の整数であり、Ｍ＋Ｎ＝Ｋであり、前記Ｋ個のハードディスクモジュールのそれぞれが前記Ｋ個のユニットのうちの１つを格納し、前記Ｋ個のユニットが前記Ｍ個のデータユニットおよび前記Ｎ個のチェックユニットを含み、それぞれのハードディスクモジュールがインタフェースモジュールおよびハードディスクを有し、前記インタフェースモジュールが前記ハードディスクとやり取りする、読み出すことと
を行うように構成されている、ストレージデバイス。
（項目２９）
前記ストレージシステムが複数のストレージノードを備えており、それぞれのストレージノードが前記Ｋ個のハードディスクモジュールのインタフェースモジュールとやり取りする、項目２８に記載のストレージデバイス。
（項目３０）
前記ストレージデバイスが前記ストレージシステムのクライアントであり、前記通信インタフェースがさらに、前記複数のストレージノード内にある対象ストレージノードに前記データ読み出し要求を送信するように構成されており、前記データ読み出し要求が前記データ識別子を搬送し、
前記プロセッサがさらに、前記データ識別子に基づいて、前記読み出し対象データを格納する前記ハードディスクモジュールから前記読み出し対象データを読み出すように構成されている、項目２９に記載のストレージデバイス。
（項目３１）
ストレージシステムであって、前記ストレージシステムがストレージデバイスとＫ個のハードディスクモジュールとを備えており、
前記ストレージデバイスが、
Ｍ個のデータユニット用にＮ個のチェックユニットを生成することであって、ＭおよびＮが両方とも正の整数であり、Ｍ＋Ｎ＝Ｋである、生成することと、
前記Ｋ個のユニットをＫ個のハードディスクモジュールに格納することであって、前記Ｋ個のユニットがＭ個のデータユニットおよびＮ個のチェックユニットを含み、前記Ｋ個のハードディスクモジュールのそれぞれが前記Ｋ個のユニットのうちの１つを格納し、それぞれのハードディスクモジュールがインタフェースモジュールおよびハードディスクを有し、前記インタフェースモジュールが前記ハードディスクとやり取りする、格納することと
を行うように構成されている、ストレージシステム。
（項目３２）
前記ストレージシステムがさらに複数のストレージノードを備えており、それぞれのストレージノードが前記Ｋ個のハードディスクモジュールのインタフェースモジュールとやり取りする、項目３１に記載のストレージシステム。
（項目３３）
前記第１デバイスが前記ストレージシステムのクライアントであり、前記ストレージデバイスが、前記ストレージシステム内にあるＫ個のハードディスクモジュールに前記Ｋ個のユニットを格納するように構成されていることが具体的には、
前記クライアントが、前記複数のストレージノード内にある対象ストレージノードに前記Ｋ個のユニットを送信するように構成されていることと、
前記対象ストレージノードが、前記ストレージシステム内にある前記Ｋ個のハードディスクモジュールに前記Ｋ個のユニットを格納するように構成されていることと
を含む、項目３２に記載のストレージシステム。
（項目３４）
ストレージシステムであって、前記ストレージシステムがストレージデバイスとＫ個のハードディスクモジュールとを備えており、
前記ストレージデバイスが、
読み出し要求を受信することであって、前記読み出し要求が読み出し対象データのデータ識別子を含む、受信することと、
前記Ｋ個のハードディスクモジュールから前記データ識別子に基づいて、前記読み出し対象データを格納するハードディスクモジュールを決定することと、
前記読み出し対象データを格納する前記ハードディスクモジュールから前記読み出し対象データを読み出すことであって、前記読み出し対象データが、Ｍ個のデータユニット内にあるデータに属しており、前記ストレージシステムがさらに、前記Ｍ個のデータユニットのＮ個のチェックユニットを含み、ＭおよびＮが両方とも正の整数であり、Ｍ＋Ｎ＝Ｋであり、前記Ｋ個のハードディスクモジュールのそれぞれが前記Ｋ個のユニットのうちの１つを格納し、前記Ｋ個のユニットが前記Ｍ個のデータユニットおよび前記Ｎ個のチェックユニットを含み、それぞれのハードディスクモジュールがインタフェースモジュールおよびハードディスクを有し、前記インタフェースモジュールが前記ハードディスクとやり取りする、読み出すことと
を行うように構成されている、ストレージシステム。
（項目３５）
コンピュータプログラム製品であって、前記コンピュータプログラム製品はプログラムコードを備えており、コンピュータが前記プログラムコードを実行すると、前記コンピュータが項目１から６のいずれか一項に記載の方法を実行することができる、コンピュータプログラム製品。
（項目３６）
コンピュータプログラム製品であって、前記コンピュータプログラム製品がプログラムコードを備えており、コンピュータが前記プログラムコードを実行すると、前記コンピュータが項目７から１２のいずれか一項に記載の方法を実行することができる、コンピュータプログラム製品。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】