特開 2024-47451 ストレージシステム、データ処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024047451

(43)【公開日】2024-04-05

(54)【発明の名称】ストレージシステム、データ処理方法及びプログラム

(51)【国際特許分類】

   G06F 3/06 20060101AFI20240329BHJP

【ＦＩ】

G06F3/06 301N

G06F3/06 305C

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2022153067

(22)【出願日】2022-09-26

(71)【出願人】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】近藤 理貴

(72)【発明者】

【氏名】大石 豊

(72)【発明者】

【氏名】増田 優子

(72)【発明者】

【氏名】大塚 美咲

(57)【要約】      （修正有）

【課題】ストレージノードへのデータの転送速度が不均一となる場合においても、レイテンシを抑制し、記録媒体の使用効率の低下を抑制しつつストレージノードへのデータの記録を行う。
【解決手段】ストレージシステム１において、データ転送装置は、ストレージノードであるサーバ２０Ａ、２０Ｂに転送可能なデータの数が第１の所定数以上である場合、データを第１の所定数の単位でサーバ２０Ａに転送する第１の転送処理を行い、第１の所定数に満たない場合、データを第１の所定数よりも少ない第２の所定数の単位でサーバ２０Ｂに転送する第２の転送処理を行う。サーバ２０Ａは、データ転送装置から転送された第１の所定数のデータに基づいて、第１の所定数のデータの一部が欠損した場合の、欠損した一部のデータを復元するためのパリティを生成する。サーバ２０Ｂにおいても同様に、欠損した一部のデータを復元するためのパリティを生成する。
【選択図】図１

【特許請求の範囲】

【請求項1】

少なくとも１つのプロセッサを有するデータ転送装置と、各々が、少なくとも１つのプロセッサを有し、前記データ転送装置から転送されたデータを保存する複数のストレージノードとを有するストレージシステムであって、
前記データ転送装置のプロセッサは、
前記ストレージノードに転送可能なデータの数が第１の所定数以上である場合、データを前記第１の所定数の単位で第１のストレージノードに転送する第１の転送処理を行い、
前記ストレージノードに転送可能なデータの数が前記第１の所定数に満たない場合、データを前記第１の所定数よりも少ない第２の所定数の単位で第２のストレージノードに転送する第２の転送処理を行い、
前記第１のストレージノードのプロセッサは、前記データ転送装置から転送された前記第１の所定数のデータに基づいて、前記第１の所定数のデータの一部が欠損した場合の、欠損した一部のデータを復元するためのパリティを生成し、
前記第２のストレージノードのプロセッサは、前記データ転送装置から転送された前記第２の所定数のデータに基づいて、前記第２の所定数のデータの一部が欠損した場合の、欠損した一部のデータを復元するためのパリティを生成する
ストレージシステム。

【請求項2】

前記データ転送装置のプロセッサは、転送可能なデータの数が、前記第１の所定数に満たない状態が生じてから所定期間が経過した場合に、前記第２の転送処理を行う
請求項１に記載のストレージシステム。

【請求項3】

前記第１のストレージノードのプロセッサ及び前記第２のストレージノードのプロセッサは、それぞれ、データ欠損に対する耐性が、予め定められた要求水準を満たすようにパリティを生成する
請求項１に記載のストレージシステム。

【請求項4】

前記第１のストレージノード及び前記第２のストレージノードは、同一のグループに属するストレージノードである
請求項１から請求項３のいずれか１項に記載のストレージシステム。

【請求項5】

ストレージノードに転送可能なデータの数が第１の所定数以上である場合、データを前記第１の所定数の単位で第１のストレージノードに転送する第１の転送処理を行い、ストレージノードに転送可能なデータの数が前記第１の所定数に満たない場合、データを前記第１の所定数よりも少ない第２の所定数の単位で第２のストレージノードに転送する第２の転送処理を行うことを、データ転送装置が有する少なくとも１つのプロセッサが実行し、
前記データ転送装置から転送された前記第１の所定数のデータに基づいて、前記第１の所定数のデータの一部が欠損した場合の、欠損した一部のデータを復元するためのパリティを生成する処理を、前記第１のストレージノードが有する少なくとも１つのプロセッサが実行し、
前記データ転送装置から転送された前記第２の所定数のデータに基づいて、前記第２の所定数のデータの一部が欠損した場合の、欠損した一部のデータを復元するためのパリティを生成する処理を、前記第２のストレージノードが有する少なくとも１つのプロセッサが実行する
データ処理方法。

【請求項6】

ストレージノードに転送可能なデータの数が第１の所定数以上である場合、データを前記第１の所定数の単位で第１のストレージノードに転送する第１の転送処理を行い、ストレージノードに転送可能なデータの数が前記第１の所定数に満たない場合、データを前記第１の所定数よりも少ない第２の所定数の単位で第２のストレージノードに転送する第２の転送処理を行うことを、
データ転送装置が有する少なくとも１つのプロセッサに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

開示の技術は、ストレージシステム、データ処理方法及びプログラムに関する。

【背景技術】

【0002】

複数のデータからなるデータセットに含まれるデータのうち、欠損が生じた一部のデータを復元するためのパリティのストレージノードへの記録に関する技術として、以下の技術が知られている。特許文献１には、情報処理装置と、複数のストレージノードとを備えるストレージシステムが記載されている。ストレージノードは、複数のデータ領域と、複数のデータ領域に対応するパリティ領域とを有する。情報処理装置は、複数のストレージノードのうち一のストレージノードが複数のデータ領域に記憶する複数のデータをそれぞれ複製し、他のストレージノードが有する複数のデータ領域にそれぞれ記憶する。また、情報処理装置は、ストレージノードごとに、複数のデータ領域がそれぞれ記憶するデータに対応するパリティを生成してパリティ領域に記憶する。

【0003】

特許文献２には、プロセッサと、記憶ドライブと、を有するノードを複数備え、データユニットとそれを修復するためのパリティユニットでストライプを構成し、ストライプを構成する各ユニットをそれぞれの別のノードの記憶ドライブに格納する分散ストレージシステムが記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１４－１９１７８４号公報

【特許文献2】特開２０２１－８６２８９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

複数のデータのうち、欠損が生じた一部のデータを復元可能とするためにパリティが生成される。パリティの生成処理は、所定数のデータに基づいて所定数のパリティを生成する処理である。パリティは、例えば、イレージャーコーディング等の冗長符号化技術を用いて所定数のデータを数学的に処理することによって生成される。パリティを生成するために用いるデータの数及び生成するパリティの数の組み合わせによって、データの欠損の対する耐性が決まる。例えば３つのデータに基づいて１つのパリティが生成された場合、欠損したデータが復元可能であるためには、欠損するデータの数は１つ以下であることを要する。一方、３つのデータに基づいて２つのパリティが生成された場合、欠損したデータが復元可能であるためには、欠損するデータの数は２つ以下であることを要する。前者より後者の方がデータの欠損に対する耐性が高いといえる。

【0006】

ここで、データ転送装置が、保存対象のデータをストレージノードに転送し、ストレージノードが、転送されたデータについてパリティを生成し、データ及びパリティを当該ストレージノードが備える記録媒体に記録する場合を考える。データ転送装置におけるデータの転送速度が不均一である等の理由により、ストレージノードに転送されるデータの数が、当該ストレージノードにおいてパリティを生成するために必要な数に満たない状況が生じ得る。この場合、ストレージノードは、処理可能なデータの数がパリティの生成に必要な数に達するまで待機するか、ダミーデータを用いてパリティを生成することになる。前者の場合レイテンシが大きくなり、後者の場合、記録媒体の使用効率が低下する。

【0007】

開示の技術は、上記の点に鑑みてなされたものであり、ストレージノードへのデータの転送速度が不均一となる場合においても、レイテンシを抑制し、記録媒体の使用効率の低下を抑制しつつストレージノードへのデータの記録を行うことを目的とする。

【課題を解決するための手段】

【0008】

開示の技術に係るストレージシステムは、少なくとも１つのプロセッサを有するデータ転送装置と、各々が、少なくとも１つのプロセッサを有し、データ転送装置から転送されたデータを保存する複数のストレージノードとを有する。データ転送装置のプロセッサは、ストレージノードに転送可能なデータの数が第１の所定数以上である場合、データを第１の所定数の単位で第１のストレージノードに転送する第１の転送処理を行い、ストレージノードに転送可能なデータの数が第１の所定数に満たない場合、データを第１の所定数よりも少ない第２の所定数の単位で第２のストレージノードに転送する第２の転送処理を行う。第１のストレージノードのプロセッサは、データ転送装置から転送された第１の所定数のデータに基づいて、第１の所定数のデータの一部が欠損した場合の、欠損した一部のデータを復元するためのパリティを生成する。第２のストレージノードのプロセッサは、データ転送装置から転送された第２の所定数のデータに基づいて、第２の所定数のデータの一部が欠損した場合の、欠損した一部のデータを復元するためのパリティを生成する。

【0009】

データ転送装置のプロセッサは、転送可能なデータの数が、第１の所定数に満たない状態が生じてから所定期間が経過した場合に、第２の転送処理を行ってもよい。第１のストレージノードのプロセッサ及び第２のストレージノードのプロセッサは、それぞれ、データ欠損に対する耐性が、予め定められた要求水準を満たすようにパリティを生成してもよい。第１のストレージノード及び第２のストレージノードは、同一のグループに属するストレージノードであってもよい。

【0010】

開示の技術に係るデータ処理方法は、ストレージノードに転送可能なデータの数が第１の所定数以上である場合、データを第１の所定数の単位で第１のストレージノードに転送する第１の転送処理を行い、ストレージノードに転送可能なデータの数が第１の所定数に満たない場合、データを第１の所定数よりも少ない第２の所定数の単位で第２のストレージノードに転送する第２の転送処理を行うことを、データ転送装置が有する少なくとも１つのプロセッサが実行し、データ転送装置から転送された第１の所定数のデータに基づいて、第１の所定数のデータの一部が欠損した場合の、欠損した一部のデータを復元するためのパリティを生成する処理を、第１のストレージノードが有する少なくとも１つのプロセッサが実行し、データ転送装置から転送された第２の所定数のデータに基づいて、第２の所定数のデータの一部が欠損した場合の、欠損した一部のデータを復元するためのパリティを生成する処理を、第２のストレージノードが有する少なくとも１つのプロセッサが実行する、というものである。

【0011】

開示の技術に係るプログラムは、ストレージノードに転送可能なデータの数が第１の所定数以上である場合、データを第１の所定数の単位で第１のストレージノードに転送する第１の転送処理を行い、ストレージノードに転送可能なデータの数が第１の所定数に満たない場合、データを第１の所定数よりも少ない第２の所定数の単位で第２のストレージノードに転送する第２の転送処理を行うことを、データ転送装置が有する少なくとも１つのプロセッサに実行させるためのプログラムである。

【発明の効果】

【0012】

開示の技術によれば、ストレージノードへのデータの転送速度が不均一となる場合においても、レイテンシを抑制し、記録媒体の使用効率の低下を抑制しつつストレージノードへのデータの記録を行うことが可能となる。

【図面の簡単な説明】

【0013】

【図1】開示の技術の実施形態に係るストレージシステムの構成の一例を示す図である。

【図2】開示の技術の実施形態に係るデータ転送装置のハードウェア構成の一例を示す図である。

【図3】開示の技術の実施形態に係るデータ転送装置の機能的な構成の一例を示す機能ブロック図である。

【図4】開示の技術の実施形態に係る転送処理の流れの一例を示すフローチャートである。

【図5A】開示の技術の実施形態に係る第１の転送処理の態様の一例を示す図である。

【図5B】開示の技術の実施形態に係る第２の転送処理の態様の一例を示す図である。

【図6】開示の技術の実施形態に係るサーバのハードウェア構成の一例を示す図である。

【図7】開示の技術の実施形態に係るサーバの機能的な構成の一例を示す機能ブロック図である。

【図8】開示の技術の実施形態に係る保存処理の流れの一例を示すフローチャートである。

【図9】開示の技術の実施形態に係るサーバにおける保存処理の態様の一例を示す図である。

【発明を実施するための形態】

【0014】

以下、開示の技術の実施形態の一例を、図面を参照しつつ説明する。なお、各図面において同一または等価な構成要素及び部分には同一の参照符号を付与し、重複する説明は省略する。

【0015】

図１は、開示の技術の実施形態に係るストレージシステム１の構成の一例を示す図である。ストレージシステム１は、データ転送装置１０と、サーバ２０Ａ及び２０Ｂとを含んで構成されている。ストレージシステム１は、ネットワーク４０を介してユーザ端末５０に接続されている。ユーザ端末５０は、ストレージシステム１を利用するユーザによって使用されるコンピュータである。ストレージシステム１は、ユーザ端末５０から保存要求があったデータを保存する。また、ストレージシステム１は、ユーザ端末５０からデータの読み出し要求があった場合、要求されたデータを読み出してユーザ端末５０に送信する。なお、ストレージシステム１は、データをオブジェクト単位で扱うオブジェクトストレージシステムを構成するものであってもよい。オブジェクトは、データ本体と、データ本体に関するメタデータとを含んで構成される。

【0016】

サーバ２０Ａ及び２０Ｂは、それぞれ、ストレージノードを構成するサーバコンピュータであり、ユーザ端末５０から送信される保存対象のデータが格納される記録媒体（図示せず）を有する。サーバ２０Ａ及び２０Ｂは同一のサーバグループに属する。サーバグループ毎にデータの欠損に対する耐性が規定される。サーバ２０Ａ及び２０Ｂは、それぞれ、欠損したデータを復元するためのパリティを生成する機能を有する。サーバ２０Ａ及び２０Ｂは、互いに異なる地理的位置に配置されていてもよい。サーバ２０Ａは、開示の技術における第１のストレージノードの一例である。サーバ２０Ｂは、開示の技術における第２のストレージノードの一例である。サーバ２０Ａ及び２０Ｂの詳細については後述する。

【0017】

データ転送装置１０は、ユーザ端末５０から送信される保存対象のデータをサーバ２０Ａ又は２０Ｂに転送する処理を行う。図２は、データ転送装置１０のハードウェア構成の一例を示す図である。データ転送装置１０は、ＣＰＵ１０１、一時記憶領域としてのＲＡＭ（Random Access Memory）１０２及び不揮発性メモリ１０３を有する。また、データ転送装置１０は、ネットワークに接続されるネットワークインターフェース１０４及び外部インターフェース１０５を含む。これらのハードウェアはバス１０６に接続されている。

【0018】

不揮発性メモリ１０３は、ＨＤＤ、ＳＳＤ、又はフラッシュメモリ等の不揮発性の記憶媒体である。不揮発性メモリ１０３には、転送処理プログラム１１０が格納されている。ＣＰＵ１０１は、転送処理プログラム１１０を不揮発性メモリ１０３から読み出し、ＲＡＭ１０２に展開し、実行する。なお、ＣＰＵ１０１は、開示の技術における「データ転送装置のプロセッサ」の一例である。

【0019】

図３は、データ転送装置１０の機能的な構成の一例を示す機能ブロック図である。データ転送装置１０は、ＣＰＵ１０１が転送処理プログラム１１０を実行することにより、取得部１１、判定部１２及び転送処理部１３として機能する。

【0020】

取得部１１は、ユーザ端末５０から逐次送信される保存対象のデータを取得し、これを不揮発性メモリ１０３に蓄積する。不揮発性メモリ１０３に蓄積されたデータは、ストレージノード（サーバ２０Ａ及びサーバ２０Ｂ）に転送可能なデータである。

【0021】

判定部１２は、不揮発性メモリ１０３に蓄積された保存対象のデータの数、すなわち、ストレージノードに転送可能な保存対象のデータの数が第１の所定数以上であるか否かを判定する第１の判定処理を行う。「第１の所定数」は、サーバ２０Ａがパリティを生成する際に用いるデータセットに含まれるデータの数に相当する。例えば、サーバ２０Ａが３つのデータからなるデータセットに基づいてパリティを生成する場合、第１の所定数は３である。

【0022】

判定部１２は、更に、第１の判定処理において、ストレージノードに転送可能な保存対象のデータの数が第１の所定数に満たないと判定した場合、ストレージノードに転送可能なデータの数が第１の所定数に満たない状態が生じてから所定期間が経過したか否かを判定する第２の判定処理を行う。

【0023】

転送処理部１３は、第１の判定処理において、ストレージノードに転送可能な保存対象のデータの数が第１の所定数以上であると判定された場合、第１の転送処理を行う。第１の転送処理は、第１の所定数の単位で保存対象のデータをサーバ２０Ａに転送する処理である。例えば、第１の所定数が３である場合、転送処理部１３は、３つのデータを１単位として、これらのデータをサーバ２０Ａに転送する。

【0024】

転送処理部１３は、第２の判定処理において、ストレージノードに転送可能なデータの数が第１の所定数に満たない状態が生じてから所定期間が経過したと判定された場合、第２の転送処理を行う。第２の転送処理は、第１の所定数よりも少ない第２の所定数の単位で保存対象のデータをサーバ２０Ｂに転送する処理である。「第２の所定数」は、サーバ２０Ｂがパリティを生成する際に用いるデータセットに含まれるデータの数に相当する。例えば、サーバ２０Ｂが２つのデータからなるデータセットに基づいてパリティを生成する場合、第２の所定数は２である。この場合、第２の転送処理を行う転送処理部１３は、２つのデータを１単位として、これらのデータをサーバ２０Ｂに転送する。転送処理部１３は、ストレージノードに転送可能なデータの数が第２の所定数に満たない場合、ストレージノードに転送可能なデータの数が第２の所定数に達するまで待機する。

【0025】

図４は、データ転送装置１０のＣＰＵ１０１が、転送処理プログラム１１０を実行することによって実施される転送処理の流れの一例を示すフローチャートである。転送処理プログラム１１０はデータ転送装置１０の稼働中に継続的に実施される。

【0026】

ステップＳ１において、取得部１１は、ユーザ端末５０から逐次送信される保存対象のデータを取得する。ステップＳ２において、取得部１１は、取得した保存対象のデータを不揮発性メモリ１０３に蓄積する。

【0027】

ステップＳ３において、判定部１２は、不揮発性メモリ１０３に蓄積された保存対象のデータの数、すなわち、ストレージノードに転送可能なデータの数が第１の所定数以上であるか否かを判定する第１の判定処理を行う。第１の判定処理において、ストレージノードに転送可能なデータの数が第１の所定数以上であると判定され場合、処理はステップＳ５に移行される。一方、第１の判定処理において、ストレージノードに転送可能なデータの数が第１の所定数に満たないと判定され場合、処理はステップＳ４に移行される。

【0028】

ステップＳ４において、判定部１２は、当該処理サイクルにおいて、最初の第１の判定処理（ステップＳ３）を開始した時点から所定期間が経過したか否かを判定する。所定期間が経過したと判定された場合、処理はステップＳ６に移行され、所定期間が経過していないと判定された場合、処理はステップＳ３に戻される。すなわち、ステップＳ４において、ストレージノードに転送可能なデータの数が、第１の所定数に満たない状態が生じてから所定期間が経過したか否かを判定する第２の判定処理が実施される。

【0029】

ステップＳ５において、転送処理部１３は、第１の所定数の単位で保存対象のデータをサーバ２０Ａに転送する第１の転送処理を行う。ステップＳ６において、転送処理部１３は、第１の所定数よりも少ない第２の所定数の単位で保存対象のデータをサーバ２０Ｂに転送する第２の転送処理を行う。

【0030】

図５Ａは、第１の転送処理の態様の一例を示す図である。例えば、ユーザ端末５０から保存対象のデータが連続的に送信され、ストレージノードに転送可能なデータの数が潤沢に存在する場合、第１の転送処理が行われる。図５Ａには、第１の転送処理として、３つのデータを１単位として、保存対象のデータ６０がサーバ２０Ａに転送される態様が例示されている。

【0031】

図５Ｂは、第２の転送処理の態様の一例を示す図である。例えば、ユーザ端末５０からの保存対象のデータの送信が滞り、ストレージノードに転送可能なデータの数が第１の所定数に満たない場合、第２の転送処理が行われる。図５Ｂには、第２の転送処理として、２つのデータを１単位として、保存対象のデータ６０がサーバ２０Ｂに転送される態様が例示されている。

【0032】

図６は、サーバ２０Ａ及び２０Ｂのハードウェア構成の一例を示す図である。サーバ２０Ａ及び２０Ｂのハードウェア構成は互いに同じである。サーバ２０Ａ及び２０Ｂは、ＣＰＵ２０１、一時記憶領域としてのＲＡＭ（Random Access Memory）２０２及び不揮発性メモリ２０３を有する。また、サーバ２０Ａ及び２０Ｂは、ネットワークに接続されるネットワークインターフェース２０４及び外部インターフェース２０５を含む。これらのハードウェアはバス２０６に接続されている。

【0033】

不揮発性メモリ２０３は、ＨＤＤ、ＳＳＤ、又はフラッシュメモリ等の不揮発性の記憶媒体である。不揮発性メモリ２０３には、保存処理プログラム２１０が格納されている。ＣＰＵ２０１は、保存処理プログラム２１０を不揮発性メモリ２０３から読み出し、ＲＡＭ２０２に展開し、実行する。なお、ＣＰＵ２０１は、開示の技術における「第１のストレージノードのプロセッサ」及び「第２のストレージノードのプロセッサ」の一例である。

【0034】

図７は、サーバ２０Ａ及び２０Ｂの機能的な構成の一例を示す機能ブロック図である。サーバ２０Ａ及び２０Ｂは、ＣＰＵ２０１が保存処理プログラム２１０を実行することにより、データセット編成部２１、パリティ生成部２２及び記録制御部２３として機能する。

【0035】

データセット編成部２１は、データ転送装置１０から転送された保存対象のデータを用いて、パリティの生成に用いるデータセットを編成する。サーバ２０Ａのデータセット編成部２１は、第１の転送処理における転送単位である第１の所定数のデータからなるデータセット（以下第１のデータセットという）を編成する。例えば、サーバ２０Ａのデータセット編成部２１は、第１の転送処理において３つのデータを１単位として転送された保存対象のデータについて、３つのデータからなる第１のデータセットを編成する。サーバ２０Ｂのデータセット編成部２１は、第２の転送処理における転送単位である第２の所定数のデータからなるデータセット（以下第２のデータセットという）を編成する。例えば、サーバ２０Ｂのデータセット編成部２１は、第２の転送処理において２つのデータを１単位として転送された保存対象のデータについて、２つのデータからなる第２のデータセットを編成する。

【0036】

パリティ生成部２２は、データセット編成部２１によって編成されたデータセットに基づいて、当該データセットに含まれる複数のデータのうちの欠損した一部のデータを復元するためのパリティを生成する。すなわち、サーバ２０Ａのパリティ生成部２２は、第１の転送処理における転送単位である第１の所定数のデータに基づいてパリティ（以下第１のパリティ）を生成する。サーバ２０Ｂのパリティ生成部２２は、第２の転送処理における転送単位である第２の所定数のデータに基づいてパリティ（以下第２のパリティという）を生成する。パリティは、イレージャーコーディング等の冗長符号化技術を用いて、データセットに含まれる複数のデータの各々を数学的に処理することによって生成される。

【0037】

サーバ２０Ａ及びサーバ２０Ｂが属するサーバグループには、データ欠損に対する耐性に関する要求水準が設定される。サーバ２０Ａ及びサーバ２０Ｂは、それぞれ、この要求水準を満たすようにパリティを生成する。例えば、サーバ２０Ａ及びサーバ２０Ｂが属するグループについて設定される要求水準が「２５％のデータの欠損に対して欠損したデータの復元を可能であること」であるものとする。例えば、サーバ２０Ａが３つのデータからなるデータセットに基づいて１つのパリティを生成し、サーバ２０Ｂが２つのデータからなるデータセットに基づいて１つのパリティを生成する場合、サーバ２０Ａにおいては、最大２５％のデータ欠損に対してデータの復元が可能であり、サーバ２０Ｂにおいては、最大３３％のデータ欠損に対してデータの復元が可能であり、上記の要求水準を満たす。

【0038】

記録制御部２３は、データセットに含まれる複数のデータ及び当該データセットに基づいて生成されたパリティを互いに異なる複数の記録媒体に記録する制御を行う。サーバ２０Ａの記録制御部２３は、第１のデータセットに含まれる第１の所定数のデータ及び第１のデータセットに基づいて生成された第１のパリティを、互いに異なる複数の記録媒体に記録する。サーバ２０Ｂの記録制御部２３は、第２のデータセットに含まれる第２の所定数のデータ及び第２のデータセットに基づいて生成された第２のパリティを、互いに異なる複数の記録媒体に記録する。記録媒体は、例えばテープライブラリに収容された磁気テープであってもよい。また、記録媒体は、ハードディスク、光ディスク又は半導体メモリであってもよい。

【0039】

図８は、サーバ２０Ａ及び２０ＢのＣＰＵ２０１が、保存処理プログラム２１０を実行することによって実施される保存処理の流れの一例を示すフローチャートである。保存処理プログラム２１０はサーバ２０Ａ、２０Ｂの稼働中に継続的に実行される。

【0040】

ステップＳ１１においてデータセット編成部２１は、データ転送装置１０から転送された保存対象のデータを用いて、パリティの生成に用いるデータセットを編成する。サーバ２０Ａのデータセット編成部２１は、第１の転送処理における転送単位である第１の所定数のデータからなる第１のデータセットを編成する。サーバ２０Ｂのデータセット編成部２１は、第２の転送処理における転送単位である第２の所定数のデータからなる第２のデータセットを編成する。

【0041】

ステップＳ１２においてパリティ生成部２２は、ステップＳ１１において編成されたデータセットに基づいて、当該データセットに含まれる複数のデータのうちの欠損した一部のデータを復元するためのパリティを生成する。サーバ２０Ａのパリティ生成部２２は、第１の転送処理における転送単位である第１の所定数のデータに基づいてパリティを生成する。サーバ２０Ｂのパリティ生成部２２は、第２の転送処理における転送単位である第２の所定数のデータに基づいてパリティを生成する。

【0042】

ステップＳ１３において、記録制御部２３は、ステップＳ１１において編成されたデータセットに含まれる複数のデータ及びステップＳ１２において当該データセットに基づいて生成されたパリティを互いに異なる複数の記録媒体に記録する制御を行う。サーバ２０Ａの記録制御部２３は、第１のデータセットに含まれる第１の所定数のデータ及び第１のデータセットに基づいて生成された第１のパリティを互いに異なる複数の記録媒体に記録する。サーバ２０Ｂの記録制御部２３は、第２のデータセットに含まれる第２の所定数のデータ及び第２のデータセットに基づいて生成された第２のパリティを互いに異なる複数の記録媒体に記録する。

【0043】

図９は、サーバ２０Ａ及び２０Ｂにおける保存処理の態様の一例を示す図である。図９に示す例において、サーバ２０Ａに３つのデータを１単位として保存対象のデータ６０が転送されている。この場合、サーバ２０Ａにおいて、データセット編成部２１は、３つのデータ６０からなるデータセット７０Ａを編成し、パリティ生成部２２は、データセット７０Ａに基づいてパリティ８０Ａを生成する。記録制御部２３は、データセット７０Ａに含まれる３つのデータ６０及びデータセット７０Ａに基づいて生成されたパリティ８０Ａを互いに異なる記録媒体９０に記録する。

【0044】

また、図９に示す例において、サーバ２０Ｂには、２つのデータを１単位として保存対象のデータ６０が転送されている。この場合、サーバ２０Ｂにおいて、データセット編成部２１は、２つのデータ６０からなるデータセット７０Ｂを編成し、パリティ生成部２２は、データセット７０Ｂに基づいてパリティ８０Ｂを生成する。記録制御部２３は、データセット７０Ｂに含まれる２つのデータ６０及びデータセット７０Ｂに基づいて生成されたパリティ８０Ｂを互いに異なる記録媒体９０に記録する。

【0045】

以上のように、開示の技術の実施形態に係るストレージシステム１は、データ転送装置１０と、複数のストレージノード（サーバ２０Ａ及び２０Ｂ）とを含む。データ転送装置１０は、ストレージノードに転送可能なデータの数が第１の所定数以上である場合、データを第１の所定数の単位でサーバ２０Ａに転送する第１の転送処理を行う。データ転送装置１０は、ストレージノードに転送可能なデータの数が第１の所定数に満たない場合、データを第１の所定数よりも少ない第２の所定数の単位でサーバ２０Ｂに転送する第２の転送処理を行う。サーバ２０Ａは、データ転送装置１０から転送された第１の所定数のデータに基づいて、第１の所定数のデータの一部が欠損した場合の、欠損した一部のデータを復元するためのパリティを生成する。サーバ２０Ｂは、データ転送装置１０から転送された第２の所定数のデータに基づいて、第２の所定数のデータの一部が欠損した場合の、欠損した一部のデータを復元するためのパリティを生成する。

【0046】

一般的に、ストレージノードへのデータの転送速度は不均一であるため、ストレージノードに転送されるデータの数が、当該ストレージノードにおいてパリティを生成するために必要な数に満たない状況が生じ得る。この場合、ストレージノードは、処理可能なデータの数がパリティの生成に必要な数に達するまで待機するか、ダミーデータを用いてパリティを生成することになる。前者の場合レイテンシが大きくなり、後者の場合、記録媒体の使用効率が低下する。

【0047】

本実施形態に係るストレージシステム１によれば、ストレージノードに転送可能なデータの数に応じて、データの転送先となるストレージノードが選択され、選択されたストレージに、転送可能なデータの数に応じた数のデータが転送される。各ストレージノードにおいて、転送された数のデータに基づいてパリティが生成される。本実施形態に係るストレージシステム１によれば、ストレージノードへのデータの転送速度が不均一となる場合においても、レイテンシを抑制し、記録媒体の使用効率の低下を抑制しつつストレージノードへのデータの記録を行うことが可能となる。

【0048】

なお、本実施形態においては、ストレージシステム１が有するストレージノードの数が２つである場合を例示したが、ストレージシステム１は、３つ以上のストレージノードを有していてもよい。３つ以上のストレージノードは、パリティの生成に用いるデータの数が互いに異なる。データ転送装置は、ストレージノードに転送可能なデータの数に応じて転送先とすべきストレージノードを選択する。各ストレージノードに転送されるデータ数は、当該ストレージノードにおいてパリティを生成するために必要なデータの数に一致する。

【0049】

上記の各実施形態において、例えば、取得部１１、判定部１２及び転送処理部１３といった各種の処理を実行する処理部（processing unit）並びにデータセット編成部２１、パリティ生成部２２及び記録制御部２３といった各種の処理を実行する処理部のハードウェア的な構造としては、次に示す各種のプロセッサ（processor）を用いることができる。上記各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

【0050】

１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせや、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。

【0051】

複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアント及びサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System on Chip：SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。

【0052】

更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）を用いることができる。

【0053】

また、上記実施形態では、転送処理プログラム１１０が不揮発性メモリ１０３に予め記憶（インストール）され、保存処理プログラム２１０が不揮発性メモリ２０３に予め記憶（インストール）されている態様を説明したが、これに限定されない。これらのプログラムは、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disc Read Only Memory）、及びＵＳＢ（Universal Serial Bus）メモリ等の記録媒体に記録された形態で提供されてもよい。また、これらのプログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

【0054】

以上の第１乃至第４の実施形態に関し、更に以下の付記を開示する。
（付記１）
少なくとも１つのプロセッサを有するデータ転送装置と、各々が、少なくとも１つのプロセッサを有し、前記データ転送装置から転送されたデータを保存する複数のストレージノードとを有するストレージシステムであって、
前記データ転送装置のプロセッサは、
前記ストレージノードに転送可能なデータの数が第１の所定数以上である場合、データを前記第１の所定数の単位で第１のストレージノードに転送する第１の転送処理を行い、
前記ストレージノードに転送可能なデータの数が前記第１の所定数に満たない場合、データを前記第１の所定数よりも少ない第２の所定数の単位で第２のストレージノードに転送する第２の転送処理を行い、
前記第１のストレージノードのプロセッサは、前記データ転送装置から転送された前記第１の所定数のデータに基づいて、前記第１の所定数のデータの一部が欠損した場合の、欠損した一部のデータを復元するためのパリティを生成し、
前記第２のストレージノードのプロセッサは、前記データ転送装置から転送された前記第２の所定数のデータに基づいて、前記第２の所定数のデータの一部が欠損した場合の、欠損した一部のデータを復元するためのパリティを生成する
ストレージシステム。

【0055】

（付記２）
前記データ転送装置のプロセッサは、転送可能なデータの数が、前記第１の所定数に満たない状態が生じてから所定期間が経過した場合に、前記第２の転送処理を行う
付記１に記載のストレージシステム

【0056】

（付記３）
前記第１のストレージノードのプロセッサ及び前記第２のストレージノードのプロセッサは、それぞれ、データ欠損に対する耐性が、予め定められた要求水準を満たすようにパリティを生成する
付記１又は付記２に記載のストレージシステム。

【0057】

（付記４）
前記第１のストレージノード及び前記第２のストレージノードは、同一のグループに属するストレージノードである
請求項１から付記３のいずれか１つに記載のストレージシステム。

【0058】

（付記５）
ストレージノードに転送可能なデータの数が第１の所定数以上である場合、データを前記第１の所定数の単位で第１のストレージノードに転送する第１の転送処理を行い、ストレージノードに転送可能なデータの数が前記第１の所定数に満たない場合、データを前記第１の所定数よりも少ない第２の所定数の単位で第２のストレージノードに転送する第２の転送処理を行うことを、データ転送装置が有する少なくとも１つのプロセッサが実行し、
前記データ転送装置から転送された前記第１の所定数のデータに基づいて、前記第１の所定数のデータの一部が欠損した場合の、欠損した一部のデータを復元するためのパリティを生成する処理を、前記第１のストレージノードが有する少なくとも１つのプロセッサが実行し、
前記データ転送装置から転送された前記第２の所定数のデータに基づいて、前記第２の所定数のデータの一部が欠損した場合の、欠損した一部のデータを復元するためのパリティを生成する処理を、前記第２のストレージノードが有する少なくとも１つのプロセッサが実行する
データ処理方法。

【0059】

（付記６）
ストレージノードに転送可能なデータの数が第１の所定数以上である場合、データを前記第１の所定数の単位で第１のストレージノードに転送する第１の転送処理を行い、ストレージノードに転送可能なデータの数が前記第１の所定数に満たない場合、データを前記第１の所定数よりも少ない第２の所定数の単位で第２のストレージノードに転送する第２の転送処理を行うことを、
データ転送装置が有する少なくとも１つのプロセッサに実行させるためのプログラム。

【符号の説明】

【0060】

１ ストレージシステム
１０ データ転送装置
１１ 取得部
１２ 判定部
１３ 転送処理部
２０Ａ、２０Ｂ サーバ
２１ データセット編成部
２２ パリティ生成部
２３ 記録制御部
４０ ネットワーク
５０ ユーザ端末
６０ データ
７０Ａ、７０Ｂ データセット
８０Ａ、８０Ｂ パリティ
９０ 記録媒体
１０１、２０１ ＣＰＵ
１０２、２０２ ＲＡＭ
１０３、２０３ 不揮発性メモリ
１０４、２０４ ネットワークインターフェース
１０５、２０５ 外部インターフェース
１０６、２０６ バス
１１０ 転送処理プログラム
２１０ 保存処理プログラム

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6】

【図7】

【図8】

【図9】