知財求人 - 知財ポータルサイト「IP Force」
特開2023-40672ストレージシステム、ストレージ管理方法、ストレージ管理プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023040672
(43)【公開日】2023-03-23
(54)【発明の名称】ストレージシステム、ストレージ管理方法、ストレージ管理プログラム
(51)【国際特許分類】
G06F 3/06 20060101AFI20230315BHJP
【ＦＩ】
G06F3/06 304P
G06F3/06 301F
【審査請求】有
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2021147785
(22)【出願日】2021-09-10
(71)【出願人】
【識別番号】000005108
【氏名又は名称】株式会社日立製作所
(74)【代理人】
【識別番号】110002365
【氏名又は名称】弁理士法人サンネクスト国際特許事務所
(72)【発明者】
【氏名】杉原 香保里
(72)【発明者】
【氏名】山本 貴大
(72)【発明者】
【氏名】関 俊哉
(57)【要約】
【課題】ライトホール問題を解決するための追加処理において、記憶装置への書き込みを少なく抑えることができる。
【解決手段】ストレージシステムは、計算機、不揮発性の記憶デバイス、および記憶デバイスよりも高速なアクセスが可能な高速記憶デバイスを含み、高速記憶デバイスにはライトログ情報を含むドライブログが記録される。計算機は、ライトデータのライト要求を受けた場合に、まずドライブログチェック処理を行い、次にデータライト処理を行う。ドライブログチェック処理では、重複ライトログレコードがドライブログに記録されている場合には、ドライブログおよびライトログ情報を対象として、重複ライトログレコードのライトログ状態を「完了」に変更してからデータライト処理に進み、記録されていない場合には、ドライブログおよびライトログ情報を変更することなくデータライト処理に進む。
【選択図】図９
【解決手段】ストレージシステムは、計算機、不揮発性の記憶デバイス、および記憶デバイスよりも高速なアクセスが可能な高速記憶デバイスを含み、高速記憶デバイスにはライトログ情報を含むドライブログが記録される。計算機は、ライトデータのライト要求を受けた場合に、まずドライブログチェック処理を行い、次にデータライト処理を行う。ドライブログチェック処理では、重複ライトログレコードがドライブログに記録されている場合には、ドライブログおよびライトログ情報を対象として、重複ライトログレコードのライトログ状態を「完了」に変更してからデータライト処理に進み、記録されていない場合には、ドライブログおよびライトログ情報を変更することなくデータライト処理に進む。
【選択図】図９
【特許請求の範囲】
【請求項1】
計算機、不揮発性の記憶デバイス、および前記記憶デバイスよりも高速なアクセスが可能な高速記憶デバイスを含むストレージシステムであって、
それぞれの前記記憶デバイスは、記憶領域が、ユーザデータを格納するユーザ領域と、前記ユーザデータへの書き込みに関するライトログ情報を格納するメタ領域と、に分割されており、
前記ライトログ情報には、前記ユーザ領域における前記ユーザデータの書き込み範囲とライトログ状態との組合せであるライトログレコードが複数含まれ、
前記ライトログ状態は少なくとも、書き込みを開始することを示す「開始」、または書き込みが完了したことを示す「完了」のいずれかを表し、
前記高速記憶デバイスには、前記ライトログ情報を含むドライブログが記録され、
前記計算機は、ライトデータのライト要求を受けた場合に、前記ライトデータを書き込む前記ユーザ領域の範囲である書き込み予定範囲を特定した上で、まずドライブログチェック処理を行い、次にデータライト処理を行い、
前記ドライブログチェック処理では、前記書き込み予定範囲と少なくとも一部が重複する書き込み範囲を有する前記ライトログレコードである重複ライトログレコードが前記ドライブログに記録されている場合には、前記ドライブログおよび前記ライトログ情報を対象として、前記重複ライトログレコードのライトログ状態を「完了」に変更してから前記データライト処理に進み、前記重複ライトログレコードが前記ドライブログに記録されていない場合には、前記ドライブログおよび前記ライトログ情報を変更することなく前記データライト処理に進み、
前記データライト処理では、前記ライトログ情報および前記ドライブログに対して、前記書き込み予定範囲および前記ライトログ状態を「開始」とする前記ライトログレコードを書き込み、その後に前記書き込み予定範囲へ前記ライトデータを書き込み、
前記計算機は、前記ライトデータのライト要求を受信したことに起因する処理として、前記書き込み予定範囲と組み合わされる前記ライトログ状態を「完了」に変更しない、ストレージシステム。
それぞれの前記記憶デバイスは、記憶領域が、ユーザデータを格納するユーザ領域と、前記ユーザデータへの書き込みに関するライトログ情報を格納するメタ領域と、に分割されており、
前記ライトログ情報には、前記ユーザ領域における前記ユーザデータの書き込み範囲とライトログ状態との組合せであるライトログレコードが複数含まれ、
前記ライトログ状態は少なくとも、書き込みを開始することを示す「開始」、または書き込みが完了したことを示す「完了」のいずれかを表し、
前記高速記憶デバイスには、前記ライトログ情報を含むドライブログが記録され、
前記計算機は、ライトデータのライト要求を受けた場合に、前記ライトデータを書き込む前記ユーザ領域の範囲である書き込み予定範囲を特定した上で、まずドライブログチェック処理を行い、次にデータライト処理を行い、
前記ドライブログチェック処理では、前記書き込み予定範囲と少なくとも一部が重複する書き込み範囲を有する前記ライトログレコードである重複ライトログレコードが前記ドライブログに記録されている場合には、前記ドライブログおよび前記ライトログ情報を対象として、前記重複ライトログレコードのライトログ状態を「完了」に変更してから前記データライト処理に進み、前記重複ライトログレコードが前記ドライブログに記録されていない場合には、前記ドライブログおよび前記ライトログ情報を変更することなく前記データライト処理に進み、
前記データライト処理では、前記ライトログ情報および前記ドライブログに対して、前記書き込み予定範囲および前記ライトログ状態を「開始」とする前記ライトログレコードを書き込み、その後に前記書き込み予定範囲へ前記ライトデータを書き込み、
前記計算機は、前記ライトデータのライト要求を受信したことに起因する処理として、前記書き込み予定範囲と組み合わされる前記ライトログ状態を「完了」に変更しない、ストレージシステム。
【請求項2】
請求項１に記載のストレージシステムにおいて、
前記計算機は、前記ライト要求を受けた場合に、前記ライトデータおよび前記ライトログレコードを前記計算機に格納される２以上の前記記憶デバイスに記録し、
前記書き込み範囲とは、同一の前記記憶デバイスに記録される前記ユーザデータの書き込み範囲である、ストレージシステム。
前記計算機は、前記ライト要求を受けた場合に、前記ライトデータおよび前記ライトログレコードを前記計算機に格納される２以上の前記記憶デバイスに記録し、
前記書き込み範囲とは、同一の前記記憶デバイスに記録される前記ユーザデータの書き込み範囲である、ストレージシステム。
【請求項3】
請求項１に記載のストレージシステムにおいて、
前記記憶デバイスを備える前記計算機が複数含まれ、
前記計算機は、上位制御から前記ライトデータの前記ライト要求を受けた場合にはさらに、他の前記計算機に対して前記ライトデータの前記ライト要求を送信する、ストレージシステム。
前記記憶デバイスを備える前記計算機が複数含まれ、
前記計算機は、上位制御から前記ライトデータの前記ライト要求を受けた場合にはさらに、他の前記計算機に対して前記ライトデータの前記ライト要求を送信する、ストレージシステム。
【請求項4】
請求項１に記載のストレージシステムにおいて、
前記ドライブログに含まれる前記ライトログレコードの数、および前記ライトログ情報に含まれる前記ライトログレコードの数は、当該ストレージシステムにおける最大同時書き込み数に基づき設定される、ストレージシステム。
前記ドライブログに含まれる前記ライトログレコードの数、および前記ライトログ情報に含まれる前記ライトログレコードの数は、当該ストレージシステムにおける最大同時書き込み数に基づき設定される、ストレージシステム。
【請求項5】
請求項１に記載のストレージシステムにおいて、
前記メタ領域において重複のないそれぞれ異なる領域にアクセスするための複数のライトログ資源が設定され、
前記計算機は、前記ライトログ資源を占有して前記メタ領域に前記ライトログレコードを書き込む、ストレージシステム。
前記メタ領域において重複のないそれぞれ異なる領域にアクセスするための複数のライトログ資源が設定され、
前記計算機は、前記ライトログ資源を占有して前記メタ領域に前記ライトログレコードを書き込む、ストレージシステム。
【請求項6】
プロセッサ、不揮発性の記憶デバイス、および前記記憶デバイスよりも高速なアクセスが可能な高速記憶デバイスを含むストレージシステムにおける前記プロセッサが実行するストレージ管理方法であって、
それぞれの前記記憶デバイスは、記憶領域が、ユーザデータを格納するユーザ領域と、前記ユーザデータへの書き込みに関するライトログ情報を格納するメタ領域と、に分割されており、
前記ライトログ情報には、前記ユーザ領域における前記ユーザデータの書き込み範囲とライトログ状態との組合せであるライトログレコードが複数含まれ、
前記ライトログ状態は少なくとも、書き込みを開始することを示す「開始」、または書き込みが完了したことを示す「完了」のいずれかを表し、
前記高速記憶デバイスには、前記ライトログ情報を含むドライブログが記録され、
ライトデータのライト要求を受けた場合に、前記プロセッサが前記ライトデータを書き込む前記ユーザ領域の範囲である書き込み予定範囲を特定した上で、まずドライブログチェック処理を行い、次にデータライト処理を行うことを含み、
前記ドライブログチェック処理では、前記書き込み予定範囲と少なくとも一部が重複する書き込み範囲を有する前記ライトログレコードである重複ライトログレコードが前記ドライブログに記録されている場合には、前記ドライブログおよび前記ライトログ情報を対象として、前記重複ライトログレコードのライトログ状態を「完了」に変更してから前記データライト処理に進み、前記重複ライトログレコードが前記ドライブログに記録されていない場合には、前記ドライブログおよび前記ライトログ情報を変更することなく前記データライト処理に進み、
前記データライト処理では、前記ライトログ情報および前記ドライブログに対して、前記書き込み予定範囲および前記ライトログ状態を「開始」とする前記ライトログレコードを書き込み、その後に前記書き込み予定範囲へ前記ライトデータを書き込み、
前記プロセッサは、前記ライトデータのライト要求を受信したことに起因する処理として、前記書き込み予定範囲と組み合わされる前記ライトログ状態を「完了」に変更しない、ストレージ管理方法。
それぞれの前記記憶デバイスは、記憶領域が、ユーザデータを格納するユーザ領域と、前記ユーザデータへの書き込みに関するライトログ情報を格納するメタ領域と、に分割されており、
前記ライトログ情報には、前記ユーザ領域における前記ユーザデータの書き込み範囲とライトログ状態との組合せであるライトログレコードが複数含まれ、
前記ライトログ状態は少なくとも、書き込みを開始することを示す「開始」、または書き込みが完了したことを示す「完了」のいずれかを表し、
前記高速記憶デバイスには、前記ライトログ情報を含むドライブログが記録され、
ライトデータのライト要求を受けた場合に、前記プロセッサが前記ライトデータを書き込む前記ユーザ領域の範囲である書き込み予定範囲を特定した上で、まずドライブログチェック処理を行い、次にデータライト処理を行うことを含み、
前記ドライブログチェック処理では、前記書き込み予定範囲と少なくとも一部が重複する書き込み範囲を有する前記ライトログレコードである重複ライトログレコードが前記ドライブログに記録されている場合には、前記ドライブログおよび前記ライトログ情報を対象として、前記重複ライトログレコードのライトログ状態を「完了」に変更してから前記データライト処理に進み、前記重複ライトログレコードが前記ドライブログに記録されていない場合には、前記ドライブログおよび前記ライトログ情報を変更することなく前記データライト処理に進み、
前記データライト処理では、前記ライトログ情報および前記ドライブログに対して、前記書き込み予定範囲および前記ライトログ状態を「開始」とする前記ライトログレコードを書き込み、その後に前記書き込み予定範囲へ前記ライトデータを書き込み、
前記プロセッサは、前記ライトデータのライト要求を受信したことに起因する処理として、前記書き込み予定範囲と組み合わされる前記ライトログ状態を「完了」に変更しない、ストレージ管理方法。
【請求項7】
プロセッサ、不揮発性の記憶デバイス、および前記記憶デバイスよりも高速なアクセスが可能な高速記憶デバイスを含むストレージシステムにおいて実行されるストレージ管理プログラムであって、
それぞれの前記記憶デバイスは、記憶領域が、ユーザデータを格納するユーザ領域と、前記ユーザデータへの書き込みに関するライトログ情報を格納するメタ領域と、に分割されており、
前記ライトログ情報には、前記ユーザ領域における前記ユーザデータの書き込み範囲とライトログ状態との組合せであるライトログレコードが複数含まれ、
前記ライトログ状態は少なくとも、書き込みを開始することを示す「開始」、または書き込みが完了したことを示す「完了」のいずれかを表し、
前記高速記憶デバイスには、前記ライトログ情報を含むドライブログが記録され、
前記ストレージシステムがライトデータのライト要求を受けた場合に、前記プロセッサに前記プロセッサが前記ライトデータを書き込む前記ユーザ領域の範囲である書き込み予定範囲を特定させた上で、まずドライブログチェック処理を行わせ、次にデータライト処理を行わせることを含み、
前記ドライブログチェック処理では、前記書き込み予定範囲と少なくとも一部が重複する書き込み範囲を有する前記ライトログレコードである重複ライトログレコードが前記ドライブログに記録されている場合には、前記ドライブログおよび前記ライトログ情報を対象として、前記重複ライトログレコードのライトログ状態を「完了」に変更させてから前記データライト処理に進ませ、前記重複ライトログレコードが前記ドライブログに記録されていない場合には、前記ドライブログおよび前記ライトログ情報を変更することなく前記データライト処理に進ませ、
前記データライト処理では、前記ライトログ情報および前記ドライブログに対して、前記書き込み予定範囲および前記ライトログ状態を「開始」とする前記ライトログレコードを書き込ませ、その後に前記書き込み予定範囲へ前記ライトデータを書き込ませ、
前記プロセッサに、前記ライトデータのライト要求を受信したことに起因する処理として、前記書き込み予定範囲と組み合わされる前記ライトログ状態を「完了」に変更させない、ストレージ管理プログラム。
それぞれの前記記憶デバイスは、記憶領域が、ユーザデータを格納するユーザ領域と、前記ユーザデータへの書き込みに関するライトログ情報を格納するメタ領域と、に分割されており、
前記ライトログ情報には、前記ユーザ領域における前記ユーザデータの書き込み範囲とライトログ状態との組合せであるライトログレコードが複数含まれ、
前記ライトログ状態は少なくとも、書き込みを開始することを示す「開始」、または書き込みが完了したことを示す「完了」のいずれかを表し、
前記高速記憶デバイスには、前記ライトログ情報を含むドライブログが記録され、
前記ストレージシステムがライトデータのライト要求を受けた場合に、前記プロセッサに前記プロセッサが前記ライトデータを書き込む前記ユーザ領域の範囲である書き込み予定範囲を特定させた上で、まずドライブログチェック処理を行わせ、次にデータライト処理を行わせることを含み、
前記ドライブログチェック処理では、前記書き込み予定範囲と少なくとも一部が重複する書き込み範囲を有する前記ライトログレコードである重複ライトログレコードが前記ドライブログに記録されている場合には、前記ドライブログおよび前記ライトログ情報を対象として、前記重複ライトログレコードのライトログ状態を「完了」に変更させてから前記データライト処理に進ませ、前記重複ライトログレコードが前記ドライブログに記録されていない場合には、前記ドライブログおよび前記ライトログ情報を変更することなく前記データライト処理に進ませ、
前記データライト処理では、前記ライトログ情報および前記ドライブログに対して、前記書き込み予定範囲および前記ライトログ状態を「開始」とする前記ライトログレコードを書き込ませ、その後に前記書き込み予定範囲へ前記ライトデータを書き込ませ、
前記プロセッサに、前記ライトデータのライト要求を受信したことに起因する処理として、前記書き込み予定範囲と組み合わされる前記ライトログ状態を「完了」に変更させない、ストレージ管理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ストレージシステム、ストレージ管理方法、およびストレージ管理プログラムに関する。
【背景技術】
【0002】
記憶装置の信頼性や可用性を向上させるＲＡＩＤ技術が広く用いられている。ＲＡＩＤを構成する複数の記憶装置において、データおよびパリティの組を完全に同時には更新できないため、書き込みの過渡状態において電源の遮断や障害が発生した際には、正常にデータがライトされず、データとパリティとが整合しない状態となる。これにより、データの回復が不可能となり、この問題がライトホール問題として知られている。ライトホール問題の対応策の一例として、特許文献１には、データを記憶する複数のディスク記憶デバイスと、前記複数のディスク記憶デバイスに伝送経路を介し接続され、上位からのアクセス指示に応じて、前記ディスク記憶デバイスをアクセス制御するストレージコントローラとを有し、前記ストレージコントローラは、ライトコマンドに付随するライトデータを格納するメモリと、前記ライトコマンド毎に、ＩＤ値を更新し、前記ライトデータの一部又は全部にＩＤ値を挿入して、前記ディスク記憶デバイスのディスクにライトするコントローラとを有し、前記コントローラは、前記ディスク記憶デバイスのライト完了に応じて、前記ライト完了したディスク記憶デバイスから前記ライトデータの一部又は全部をリードし、前記メモリに格納し、前記リードしたデータ中のＩＤ値と、前記挿入したＩＤ値を比較して、前記ディスク記憶デバイスのライト抜けを検出することを特徴とするデータストレージシステムが開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２００７－１２２４７６号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１に記載されている発明では、ライトコマンドおよびこれに対応するライトデータ毎にＩＤ値の付与や照合の工程が必要となりシステムに多大な負荷が生じるため、ライトホール問題の対応策として改善の余地がある。
【課題を解決するための手段】
【0005】
本発明の第１の態様によるストレージシステムは、計算機、不揮発性の記憶デバイス、および前記記憶デバイスよりも高速なアクセスが可能な高速記憶デバイスを含むストレージシステムであって、それぞれの前記記憶デバイスは、記憶領域が、ユーザデータを格納するユーザ領域と、前記ユーザデータへの書き込みに関するライトログ情報を格納するメタ領域と、に分割されており、前記ライトログ情報には、前記ユーザ領域における前記ユーザデータの書き込み範囲とライトログ状態との組合せであるライトログレコードが複数含まれ、前記ライトログ状態は少なくとも、書き込みを開始することを示す「開始」、または書き込みが完了したことを示す「完了」のいずれかを表し、前記高速記憶デバイスには、前記ライトログ情報を含むドライブログが記録され、前記計算機は、ライトデータのライト要求を受けた場合に、前記ライトデータを書き込む前記ユーザ領域の範囲である書き込み予定範囲を特定した上で、まずドライブログチェック処理を行い、次にデータライト処理を行い、前記ドライブログチェック処理では、前記書き込み予定範囲と少なくとも一部が重複する書き込み範囲を有する前記ライトログレコードである重複ライトログレコードが前記ドライブログに記録されている場合には、前記ドライブログおよび前記ライトログ情報を対象として、前記重複ライトログレコードのライトログ状態を「完了」に変更してから前記データライト処理に進み、前記重複ライトログレコードが前記ドライブログに記録されていない場合には、前記ドライブログおよび前記ライトログ情報を変更することなく前記データライト処理に進み、前記データライト処理では、前記ライトログ情報および前記ドライブログに対して、前記書き込み予定範囲および前記ライトログ状態を「開始」とする前記ライトログレコードを書き込み、その後に前記書き込み予定範囲へ前記ライトデータを書き込み、前記計算機は、前記ライトデータのライト要求を受信したことに起因する処理として、前記書き込み予定範囲と組み合わされる前記ライトログ状態を「完了」に変更しない。
本発明の第２の態様によるストレージ管理方法は、プロセッサ、不揮発性の記憶デバイス、および前記記憶デバイスよりも高速なアクセスが可能な高速記憶デバイスを含むストレージシステムにおける前記プロセッサが実行するストレージ管理方法であって、それぞれの前記記憶デバイスは、記憶領域が、ユーザデータを格納するユーザ領域と、前記ユーザデータへの書き込みに関するライトログ情報を格納するメタ領域と、に分割されており、前記ライトログ情報には、前記ユーザ領域における前記ユーザデータの書き込み範囲とライトログ状態との組合せであるライトログレコードが複数含まれ、前記ライトログ状態は少なくとも、書き込みを開始することを示す「開始」、または書き込みが完了したことを示す「完了」のいずれかを表し、前記高速記憶デバイスには、前記ライトログ情報を含むドライブログが記録され、ライトデータのライト要求を受けた場合に、前記プロセッサが前記ライトデータを書き込む前記ユーザ領域の範囲である書き込み予定範囲を特定した上で、まずドライブログチェック処理を行い、次にデータライト処理を行うことを含み、前記ドライブログチェック処理では、前記書き込み予定範囲と少なくとも一部が重複する書き込み範囲を有する前記ライトログレコードである重複ライトログレコードが前記ドライブログに記録されている場合には、前記ドライブログおよび前記ライトログ情報を対象として、前記重複ライトログレコードのライトログ状態を「完了」に変更してから前記データライト処理に進み、前記重複ライトログレコードが前記ドライブログに記録されていない場合には、前記ドライブログおよび前記ライトログ情報を変更することなく前記データライト処理に進み、前記データライト処理では、前記ライトログ情報および前記ドライブログに対して、前記書き込み予定範囲および前記ライトログ状態を「開始」とする前記ライトログレコードを書き込み、その後に前記書き込み予定範囲へ前記ライトデータを書き込み、前記プロセッサは、前記ライトデータのライト要求を受信したことに起因する処理として、前記書き込み予定範囲と組み合わされる前記ライトログ状態を「完了」に変更しない。
本発明の第３の態様によるストレージ管理プログラムは、プロセッサ、不揮発性の記憶デバイス、および前記記憶デバイスよりも高速なアクセスが可能な高速記憶デバイスを含むストレージシステムにおいて実行されるストレージ管理プログラムであって、それぞれの前記記憶デバイスは、記憶領域が、ユーザデータを格納するユーザ領域と、前記ユーザデータへの書き込みに関するライトログ情報を格納するメタ領域と、に分割されており、前記ライトログ情報には、前記ユーザ領域における前記ユーザデータの書き込み範囲とライトログ状態との組合せであるライトログレコードが複数含まれ、前記ライトログ状態は少なくとも、書き込みを開始することを示す「開始」、または書き込みが完了したことを示す「完了」のいずれかを表し、前記高速記憶デバイスには、前記ライトログ情報を含むドライブログが記録され、前記ストレージシステムがライトデータのライト要求を受けた場合に、前記プロセッサに前記プロセッサが前記ライトデータを書き込む前記ユーザ領域の範囲である書き込み予定範囲を特定させた上で、まずドライブログチェック処理を行わせ、次にデータライト処理を行わせることを含み、前記ドライブログチェック処理では、前記書き込み予定範囲と少なくとも一部が重複する書き込み範囲を有する前記ライトログレコードである重複ライトログレコードが前記ドライブログに記録されている場合には、前記ドライブログおよび前記ライトログ情報を対象として、前記重複ライトログレコードのライトログ状態を「完了」に変更させてから前記データライト処理に進ませ、前記重複ライトログレコードが前記ドライブログに記録されていない場合には、前記ドライブログおよび前記ライトログ情報を変更することなく前記データライト処理に進ませ、前記データライト処理では、前記ライトログ情報および前記ドライブログに対して、前記書き込み予定範囲および前記ライトログ状態を「開始」とする前記ライトログレコードを書き込ませ、その後に前記書き込み予定範囲へ前記ライトデータを書き込ませ、前記プロセッサに、前記ライトデータのライト要求を受信したことに起因する処理として、前記書き込み予定範囲と組み合わされる前記ライトログ状態を「完了」に変更させない。
本発明の第２の態様によるストレージ管理方法は、プロセッサ、不揮発性の記憶デバイス、および前記記憶デバイスよりも高速なアクセスが可能な高速記憶デバイスを含むストレージシステムにおける前記プロセッサが実行するストレージ管理方法であって、それぞれの前記記憶デバイスは、記憶領域が、ユーザデータを格納するユーザ領域と、前記ユーザデータへの書き込みに関するライトログ情報を格納するメタ領域と、に分割されており、前記ライトログ情報には、前記ユーザ領域における前記ユーザデータの書き込み範囲とライトログ状態との組合せであるライトログレコードが複数含まれ、前記ライトログ状態は少なくとも、書き込みを開始することを示す「開始」、または書き込みが完了したことを示す「完了」のいずれかを表し、前記高速記憶デバイスには、前記ライトログ情報を含むドライブログが記録され、ライトデータのライト要求を受けた場合に、前記プロセッサが前記ライトデータを書き込む前記ユーザ領域の範囲である書き込み予定範囲を特定した上で、まずドライブログチェック処理を行い、次にデータライト処理を行うことを含み、前記ドライブログチェック処理では、前記書き込み予定範囲と少なくとも一部が重複する書き込み範囲を有する前記ライトログレコードである重複ライトログレコードが前記ドライブログに記録されている場合には、前記ドライブログおよび前記ライトログ情報を対象として、前記重複ライトログレコードのライトログ状態を「完了」に変更してから前記データライト処理に進み、前記重複ライトログレコードが前記ドライブログに記録されていない場合には、前記ドライブログおよび前記ライトログ情報を変更することなく前記データライト処理に進み、前記データライト処理では、前記ライトログ情報および前記ドライブログに対して、前記書き込み予定範囲および前記ライトログ状態を「開始」とする前記ライトログレコードを書き込み、その後に前記書き込み予定範囲へ前記ライトデータを書き込み、前記プロセッサは、前記ライトデータのライト要求を受信したことに起因する処理として、前記書き込み予定範囲と組み合わされる前記ライトログ状態を「完了」に変更しない。
本発明の第３の態様によるストレージ管理プログラムは、プロセッサ、不揮発性の記憶デバイス、および前記記憶デバイスよりも高速なアクセスが可能な高速記憶デバイスを含むストレージシステムにおいて実行されるストレージ管理プログラムであって、それぞれの前記記憶デバイスは、記憶領域が、ユーザデータを格納するユーザ領域と、前記ユーザデータへの書き込みに関するライトログ情報を格納するメタ領域と、に分割されており、前記ライトログ情報には、前記ユーザ領域における前記ユーザデータの書き込み範囲とライトログ状態との組合せであるライトログレコードが複数含まれ、前記ライトログ状態は少なくとも、書き込みを開始することを示す「開始」、または書き込みが完了したことを示す「完了」のいずれかを表し、前記高速記憶デバイスには、前記ライトログ情報を含むドライブログが記録され、前記ストレージシステムがライトデータのライト要求を受けた場合に、前記プロセッサに前記プロセッサが前記ライトデータを書き込む前記ユーザ領域の範囲である書き込み予定範囲を特定させた上で、まずドライブログチェック処理を行わせ、次にデータライト処理を行わせることを含み、前記ドライブログチェック処理では、前記書き込み予定範囲と少なくとも一部が重複する書き込み範囲を有する前記ライトログレコードである重複ライトログレコードが前記ドライブログに記録されている場合には、前記ドライブログおよび前記ライトログ情報を対象として、前記重複ライトログレコードのライトログ状態を「完了」に変更させてから前記データライト処理に進ませ、前記重複ライトログレコードが前記ドライブログに記録されていない場合には、前記ドライブログおよび前記ライトログ情報を変更することなく前記データライト処理に進ませ、前記データライト処理では、前記ライトログ情報および前記ドライブログに対して、前記書き込み予定範囲および前記ライトログ状態を「開始」とする前記ライトログレコードを書き込ませ、その後に前記書き込み予定範囲へ前記ライトデータを書き込ませ、前記プロセッサに、前記ライトデータのライト要求を受信したことに起因する処理として、前記書き込み予定範囲と組み合わされる前記ライトログ状態を「完了」に変更させない。
【発明の効果】
【0006】
本発明によれば、ライトホール問題を解決するための追加処理において、記憶装置への書き込みを少なく抑えることができる。
【図面の簡単な説明】
【0007】
【図1】ストレージシステムの全体構成図
【図2】ストレージシステムの制御のための情報を示す図
【図3】ドライブの概念図
【図4】ライトログ資源テーブルの一例を示す図
【図5】ライトログ資源キューの一例を示す図
【図6】ドライブログテーブルの一例を示す図
【図7】ライトログ情報の一例を示す図
【図8】ハッシュテーブルの一例を示す図
【図9】ストレージシステムが上位制御からライト要求を受領した際の動作を示すフローチャート
【図10】ドライブログチェック処理の詳細を示すフローチャート
【図11】パリティライト処理の詳細を示すフローチャート
【図12】データライト処理の詳細を示すフローチャート
【図13】ライトログ破棄処理の詳細を示すフローチャート
【図14】比較例によるデータ保護を示す概念図
【図15】比較例の制御のための情報を示す図
【図16】比較例の処理を示す第１のタイムチャート
【図17】比較例の処理を示す第２のタイムチャート
【図18】比較例の処理を示す第３のタイムチャート
【図19】比較例の処理を示す第４のタイムチャート
【図20】第１の実施の形態の処理を示す第１のタイムチャート
【図21】第１の実施の形態の処理を示す第２のタイムチャート
【図22】第１の実施の形態の処理を示す第３のタイムチャート
【図23】第１の実施の形態の処理を示す第４のタイムチャート
【図24】第１の実施の形態の処理を示す第５のタイムチャート
【発明を実施するための形態】
【0008】
【0009】
図１は、ストレージシステム１００の全体構成図である。計算機ノード１０１は、例えば一般的なサーバ計算機の構成を有している。計算機ノード１０１のハードウエア構成は特に限定されない。計算機ノード１０１は、ネットワーク１０３を介して他の計算機ノード１０１とポート１０６を通じて接続する。ネットワーク１０３は、例えばInfiniBandや、イーサネットなどにより構成される。
【0010】
複数の計算機ノード１０１は、ドメイン１０２を形成する。ドメイン１０２は、例えば地理的な地域と対応させてもよいし、仮想的又は物理的なネットワーク１０３のトポロジと対応させてもよい。ネットワーク１０４（外部ネットワーク）は、複数のドメイン１０２を接続する。それぞれの計算機ノード１０１は、内部ネットワーク１１２を介してポート１０６、プロセッサパッケージ１１１、複数のディスクドライブ（以下においてドライブとも呼ぶ）１１３を接続する。プロセッサパッケージ１１１は、メモリ１１８、およびプロセッサ１１９を含む。プロセッサ１１９はたとえば中央演算処理装置である。
【0011】
メモリ１１８は、プロセッサ１１９がリードやライト命令を処理し、またストレージの機能を実行する上で、必要な制御用の情報を格納し、またストレージのキャッシュデータを格納する。また、メモリ１１８は、例えばプロセッサ１１９により実行するプログラムを格納する。メモリ１１８は、揮発性のＤＲＡＭであってもよいし、不揮発のＳＣＭ（Storage Class Memory）などを用いてもよい。
【0012】
ドライブ１１３は、例えば、ＦＣ（Fibre Channel）、ＳＡＳ（Serial Attached SCSI）、ＳＡＴＡ（Serial Advanced Technology Attachment）などのインタフェースを持つハードディスクドライブや、ＳＳＤ（Solid State Drive）などにより構成される。ドライブ１１３は、ＮＡＮＤ、ＰＲＡＭ、ＲｅＲＡＭなどのＳＣＭを用いてもよいし、揮発性のメモリを用いてもよい。揮発性メモリを使用する場合、バッテリによってストレージデバイスを不揮発化してもよい。ドライブ１１３よりもメモリ１１８は高速なアクセスが可能なので、メモリ１１８は「高速記憶デバイス」とも呼べる。
【0013】
図２は、ストレージシステム１００の制御のための情報を示す図である。メモリ１１８は、図２に示す情報に加え、ストレージ機能を実現するストレージプログラム、ＯＳ、インタフェースプログラムを含む、各種プログラムを格納する。メモリ１１８は、さらに、業務を実行するアプリケーションプログラムを格納することがある。メモリ１１８には、管理情報としてライトログ資源テーブル８１と、ライトログ資源キュー８２と、ドライブログテーブル８３と、ハッシュテーブル８４とが格納される。メモリ１１８にはさらに、処理プログラムとしてＩＯ処理プログラム５１と、ライトログ管理プログラム５２とが格納される。またメモリ１１８には、ネットワーク１０４、１０３を介した上位装置（図示せず）との間でのＩＯ要求およびその応答の送受信を制御する上位制御のプログラムが格納される。
【0014】
ライトログ資源テーブル８１には、ドライブ上のライトログの記録位置が記録される。ライトログ資源キュー８２は、ライトログ資源テーブル８１のインデックス番号をキュー構造に格納したものである。ライトログ管理プログラム５２がドライブ上のライトログ領域にアクセスする際には、ライトログ資源キュー８２からインデックス番号を取得し、そのライトログ資源を一時的に占有し、このインデックス番号に対応するライトログの記録位置にアクセスする。これにより、複数処理がドライブ上の同一のライトログ情報へ同時にアクセスすることが防止される。それぞれの計算機ノード１０１が有するライトログ資源の数は、ストレージシステム１００に規定されている最大同時ＩＯ数、正確には最大同時書き込み数と同等以上の必要がある。それぞれの計算機ノード１０１が有するライトログ資源の数はたとえば、ストレージシステム１００における最大同時ＩＯ数の２倍である。
【0015】
ドライブログテーブル８３には、同一の計算機ノード１０１に格納されるすべてのドライブ１１３に記録されたライトログ情報８５が記録される。ライトログ情報８５については後述する。ハッシュテーブル８４は、ユーザ領域の重複を高速にチェックするためのハッシュテーブルである。ハッシュテーブル８４では、ユーザ領域のオフセットをキーとしたマップを使用する。なお以下では、ドライブログテーブル８３を「ドライブログ」と呼ぶこともある。ＩＯ処理プログラム５１およびライトログ管理プログラム５２の概要を説明する前に、ドライブ１１３の概念図を説明する。
【0016】
図３は、ドライブ１１３の概念図である。計算機ノード１０１に含まれるそれぞれのドライブ１１３は、ユーザ領域とメタ領域とに分けられる。本実施の形態において、ユーザ領域とメタ領域との境界は固定である。ただしドライブ１１３ごとにその境界が異なっていてもよい。ユーザ領域には保護対象のデータや冗長化のためのパリティが書き込まれる。本実施の形態ではミラーリングによりデータを保護するため、データとパリティは同一である。メタ領域には、ライトログ情報８５が書き込まれる。前述のように、計算機ノード１０１のメモリ１１８に格納されるドライブログテーブル８３には、その計算機ノード１０１に含まれる全てのドライブ１１３のライトログ情報８５が含まれる。
【0017】
後述するように、各ドライブのライトログ情報８５の更新と、ドライブログテーブル８３の更新は、ほぼ同時に行われる。同一の計算機ノード１０１において、同一の情報を２か所に書き込む理由は、高速にライトログ情報８５を読み出したいためである。すなわち、プロセッサ１１９の動作周期に比べるとドライブ１１３からの情報の読み出しは非常に長い時間を要するが、メモリ１１８からの情報の読み出しはドライブ１１３に比べれば短い時間で済む。図２に戻って説明を続ける。
【0018】
ＩＯ処理プログラム５１は、上位制御からのＩＯ要求を受けてＩＯ処理を行う。具体的にはＩＯ処理プログラム５１は、ライトログ管理プログラム５２に対してメタ領域のライトログ情報８５およびメモリ１１８上のドライブログテーブル８３を更新させ、ＩＯ処理プログラム５１自身でユーザ領域上のデータまたはパリティを更新する。またＩＯ処理プログラム５１は、データ保護のために同一のデータを他のノードのＩＯ処理プログラム５１に対して保存するように指示する。本実施の形態では、上位制御からＩＯ要求を受ける計算機ノード１０１をデータノードＤＮと呼び、他の計算機ノード１０１のＩＯ処理プログラム５１からデータ保存が指示されるノードをパリティノードＰＮと呼ぶ。ただしデータノードＤＮとパリティノードＰＮの区別は便宜的であり、ある処理ではデータノードＤＮとして動作する計算機ノード１０１が別の処理ではパリティノードＰＮとして動作してもよい。
【0019】
ライトログ管理プログラム５２は、ＩＯ処理プログラム５１からの指示を受けて以下に述べる処理を行う。ライトログ管理プログラム５２は、ＩＯ処理プログラム５１がこれから書き込みを行うユーザ領域の情報、たとえば書き込み領域の先頭アドレスと書き込むデータ長の領域の情報を、ＩＯ処理プログラム５１から指定される。ライトログ管理プログラム５２はドライブログテーブル８３を参照し、ＩＯ処理プログラム５１がこれから書き込みを行うユーザ領域の範囲と重複した領域のライトログの有無を確認する。ライトログ管理プログラム５２は、重複した領域のライトログが残っている場合には、そのライトログを開始状態から完了状態に遷移させる。そしてライトログ管理プログラム５２は、ライトログ資源テーブル８１からドライブ１１３上のメタ領域に記録されたライトログ情報８５へアクセスするための資源を取得してライトログ情報８５を更新する。さらにライトログ管理プログラム５２は、更新後のライトログ情報８５の情報が含まれるように、メモリ１１８上のドライブログテーブル８３を更新する。
【0020】
図４は、ライトログ資源テーブル８１の一例を示す図である。ライトログ資源テーブル８１は、それぞれのドライブ１１３上のライトログの記録位置が記録される。ライトログ資源テーブル８１は複数のレコードか構成され、各レコードはライトログ資源番号８１１、ドライブ番号８１３、およびオフセット位置８１２を含む。ライトログ資源番号８１１は、ライトログ資源の識別子である。ドライブ番号８１３は、ライトログが記録されるドライブ１１３の識別子である。オフセット位置８１２は、ライトログが記録される位置を示しており、ドライブ１１３の先頭領域からのオフセット量、またはメタ領域の先頭領域からのオフセット量である。図４に示す例ではライトログ資源テーブル８１は３つのレコードのみを示しているが、実際にはライトログ資源と同数のレコードを有する。ライトログ資源の数は、それぞれのドライブ１１３のメタ領域に格納されるライトログの総数と一致する。
【0021】
図５は、ライトログ資源キュー８２の一例を示す図である。ライトログ資源キュー８２は、ライトログ資源テーブル８１のインデックス番号をキュー構造に格納したものである。ドライブ上のライトログ領域にアクセスする際には、ライトログ資源キュー８２からインデックス番号を取得し、これに対応するライトログの記録位置にアクセスすることで、複数処理から同一のライトログ情報へのアクセスを行わないように制御できる。
【0022】
図６は、ドライブログテーブル８３の一例を示す図である。ドライブログテーブル８３には、同一の計算機ノードに含まれる全てのドライブ１１３のライトログ情報８５、および付加情報が格納される。ドライブログテーブル８３は複数のレコードから構成され、各レコードはドライブ番号８３１、ライトログ資源番号８３２、ライトログ情報８３３、およびハッシュ値８３４を含む。各レコードは、いずれかのドライブ１１３のユーザ領域への書き込み（図６の説明において、「対象書き込み」と呼ぶ）に関連して生成、または更新される。なお図６ではドライブログテーブル８３は４つのレコードのみを示しているが、実際には多数のレコードを含む。
【0023】
ドライブ番号８３１は、対象書き込みの対象となるドライブ１１３を識別する識別子である。ライトログ資源番号８３２は、対象書き込みに用いられるライトログ資源の識別子である。ライトログ情報８３３は、対象書き込みに関するライトログの情報であり、ドライブ番号８３１により特定されるドライブ１１３に記録されるライトログ情報８５の１つのレコードと同一である。図６ではライトログ情報８３３の詳細を省略しているが、ライトログ情報８３３の構成は図７に示すライトログ情報８５と同一である。ハッシュ値８３４は、対象書き込みにおけるユーザ領域の重複を高速に確認するためのハッシュ値である。ドライブログテーブル８３の各レコードは、同一のドライブ番号８３１かつ、同一のライトログ資源番号８３２の対象書き込みが行われると上書きされる。
【0024】
図７は、ライトログ情報８５の一例を示す図である。ライトログ情報は、ドライブ１１３のメタ領域に格納され、同一の情報はドライブログテーブル８３にも含まれる。ライトログ情報８５は複数のレコードから構成され、各レコードは、トランザクション番号８４１、チャンクグループ番号８４２、オフセット位置８４３、ＩＯ長８４４、ライトログ状態８４５、およびデータ８４６のフィールドを有する。各レコードは、いずれかのドライブ１１３のユーザ領域への書き込み（図７の説明において、「対象書き込み」と呼ぶ）に関連して生成、または更新される。なお以下では、ライトログ情報８５のそれぞれのレコードを「ライトログレコード」とも呼ぶ。
【0025】
トランザクション番号８４１は、ＩＯ処理の通し番号である。チャンクグループ番号８４２は、対象書き込みに用いられるチャンクグループの識別子である。オフセット位置８４３は、対象書き込みが行われるユーザ領域のアドレスである。ＩＯ長８４４は、対象書き込みにおける書き込みの長さである。ライトログ状態８４５は、対象書き込みを開始することを示す「開始」、または対象書き込みが完了したことを示す「完了」のいずれかである。ライトログ状態８４５は例えば、ストレージシステムの電源の遮断や障害からの回復時に残っているライトログの状態を参照し、データ/パリティをそれぞれＩＯ処理前の状態の戻すのか、ＩＯ処理後の状態に戻すのかを判断するために利用される。これにより計算機ノード間でデータの世代を合わせることが容易となる。データ８４６は対象書き込みにおいてユーザ領域に書き込まれるデータそのものが格納される。ライトログ情報８５のレコード数は、ライトログ資源の数と同一である。
【0026】
図８は、ハッシュテーブル８４の一例を示す図である。ハッシュテーブル８４は、ドライブログテーブル８３を高速に検索するためのハッシュテーブルである。ハッシュテーブル８４には、ハッシュ値とドライブログ番号の組合せが複数組格納される。ハッシュ値は、書き込みを行うユーザ領域のアドレス、換言するとハッシュテーブル８４におけるオフセット位置８４３に基づき算出される。ドライブログ番号はドライブログテーブル８３におけるインデックス番号（＃）を表している。
【0027】
（フローチャート）
図９～図１３を参照して、ストレージシステム１００の動作をフローチャートにより説明する。図９は、ストレージシステム１００が上位制御からライト要求を受領した際の動作を示すフローチャートである。ただし以下の説明では、上位制御から書き込みを要求されたデータを「ライトデータ」と呼び、ライトデータを書き込むユーザ領域の範囲を「書き込み予定範囲」と呼ぶ。書き込み予定範囲は、データノードＤＮとパリティノードＰＮでは一致しないことが多い。
図９～図１３を参照して、ストレージシステム１００の動作をフローチャートにより説明する。図９は、ストレージシステム１００が上位制御からライト要求を受領した際の動作を示すフローチャートである。ただし以下の説明では、上位制御から書き込みを要求されたデータを「ライトデータ」と呼び、ライトデータを書き込むユーザ領域の範囲を「書き込み予定範囲」と呼ぶ。書き込み予定範囲は、データノードＤＮとパリティノードＰＮでは一致しないことが多い。
【0028】
図９において、まずステップＳ３１１において、データノードＤＮのＩＯ処理プログラム５１がライトデータのライト要求を受領し、ライトデータを書き込むドライブ１１３およびライトデータを書き込むユーザ領域の範囲を特定する。続くステップＳ３１２においてライトログ管理プログラム５２は、ライトログ資源を取得する。続くステップＳ３１３では、データノードＤＮにおけるライトデータを対象としてドライブログチェック処理を行う。本処理の詳細は図１０を参照して後に説明する。続くステップＳ３１４では、パリティライト処理を行う。本処理の詳細は図１１を参照して後に説明する。続くステップＳ３１５では、データライト処理を行う。本処理の詳細は図１２を参照して後に説明する。続くステップＳ３１６では、ライトログ破棄処理を行う。本処理の詳細は図１３を参照して後に説明する。続くステップＳ３１７ではＩＯ処理プログラム５１がライト応答を上位制御に発行して図９に示す処理を終了する。
【0029】
図１０は、ドライブログチェック処理の詳細を示すフローチャートである。図１０では、まずステップＳ３２１においてライトログ管理プログラム５２は、同じライト位置のドライブログが残っているか否かを判断する。ここで、指定されたドライブ１１３および書き込み予定範囲と少なくとも一部が重複する書き込み範囲を有するライトログレコードを「重複ライトログレコード」と呼ぶ。この場合に、ステップＳ３２１では具体的には、この重複ライトログレコードがドライブログテーブル８３に記録されているか否かを判断する。
【0030】
ライトログ管理プログラム５２は、重複ライトログレコードがドライブログテーブル８３に含まれると判断する場合はステップＳ３３２に進み、重複ライトログレコードがドライブログテーブル８３に含まれないと判断する場合は図１０に示す処理を終了する。ステップＳ３２２ではライトログ管理プログラム５２は、ドライブログテーブル８３およびライトログ情報８５における重複ライブログレコードのライトログ状態を「完了」に更新して図１０に示す処理を終了する。以上が図１０に示す処理の説明である。
【0031】
図１１は、パリティライト処理の詳細を示すフローチャートである。図１１では、まずステップＳ３４１において、データノードＤＮのＩＯ処理プログラム５１がパリティノードＰＮのＩＯ処理プログラム５１に対してパリティライト要求を発行し、続くステップＳ３４２ではパリティノードＰＮのＩＯ処理プログラム５１がパリティライト要求を受領する。パリティライト要求には、データノードＤＮが上位制御から受信したライトデータが含まれる。ただし以下の説明では、パリティノードＰＮが扱うこのライトデータを「パリティ」や「パリティデータ」と呼ぶ。この際にパリティノードＰＮのＩＯ処理プログラム５１は、パリティデータを書き込むドライブ１１３およびパリティデータを書き込むユーザ領域の範囲を特定する。
【0032】
続くステップＳ３４３ではパリティノードＰＮのライトログ管理プログラム５２がライトログ資源を取得し、続くステップＳ３４４では、パリティノードＰＮにおけるパリティデータを対象としてドライブログチェック処理を行う。ドライブログチェック処理の詳細は図１０において説明したとおりである。ただし、ステップＳ３１３におけるドライブログチェック処理とは、少なくとも書き込み位置が異なるので、判断内容は異なる可能性がある。
【0033】
続くステップＳ３４５ではパリティノードＰＮのライトログ管理プログラム５２は、ドライブログテーブル８３およびパリティデータを書き込むドライブ１１３のライトログ情報８５に、パリティデータの書き込みを開始する旨のライトログを記録する。すなわちこのライトログレコードは、オフセット位置８４３がパリティデータの書き込み開始位置であり、ライトログ状態８４５が「開始」とされる。続くステップＳ３４６ではパリティノードＰＮのＩＯ処理プログラム５１は、パリティデータをドライブ１１３に書き込む。続くステップＳ３４７ではパリティノードＰＮのＩＯ処理プログラム５１はパリティライト応答をデータノードＤＮに送信し、続くステップＳ３４８ではデータノードＤＮのＩＯ処理プログラム５１がこのパリティライト応答を受領する。以上が図１１に示す処理の説明である。
【0034】
図１２は、データライト処理の詳細を示すフローチャートである。図１２では、まずステップＳ３３１において、データノードＤＮのライトログ管理プログラム５２がドライブログテーブル８３およびライトデータを書き込むドライブ１１３のライトログ情報８５に、ライトデータの書き込みを開始する旨のライトログレコードを記録する。すなわちこのライトログレコードは、オフセット位置８４３がライトデータの書き込み開始位置であり、ライトログ状態８４５が「開始」とされる。続くステップＳ３４６ではデータノードＤＮのＩＯ処理プログラム５１は、ライトデータをドライブ１１３に書き込む。以上が図１２に示す処理の説明である。
【0035】
図１３は、ライトログ破棄処理の詳細を示すフローチャートである。図１３では、まずステップＳ３５１において、データノードＤＮのＩＯ処理プログラム５１がパリティノードＰＮのＩＯ処理プログラム５１に対してライトログ破棄要求を発行し、続くステップＳ３５２ではパリティノードＰＮのＩＯ処理プログラム５１がライトログ破棄要求を受領する。続くステップＳ３５３ではパリティノードＰＮのライトログ管理プログラム５２がライトログ資源を解放し、続くステップＳ３５４ではパリティノードＰＮのＩＯ処理プログラム５１がライトログ破棄応答をデータノードＤＮに送信する。続くステップＳ３５５ではデータノードＤＮのＩＯ処理プログラム５１がライトログ破棄応答を受領し、続くステップＳ３５６ではデータノードＤＮのライトログ管理プログラム５２がライトログ資源を解放して図１３に示す処理を終了する。
【0036】
（比較例の構成）
本実施の形態のストレージシステムにおけるデータ書き込み時のライトログ処理の詳細のタイムチャートを説明する前に、まずは比較例の構成と概要を説明する。比較例は、データ及び冗長コード（消失訂正符号）を複数の計算機ノードへ分散して格納する分散型ストレージシステムであり、構成および動作の詳細は例えば特許6752149号、特許6547057号に開示されている。
本実施の形態のストレージシステムにおけるデータ書き込み時のライトログ処理の詳細のタイムチャートを説明する前に、まずは比較例の構成と概要を説明する。比較例は、データ及び冗長コード（消失訂正符号）を複数の計算機ノードへ分散して格納する分散型ストレージシステムであり、構成および動作の詳細は例えば特許6752149号、特許6547057号に開示されている。
【0037】
図１４は、比較例によるデータ保護を示す概念図である。図１４では、３つの計算機ノードと３つのストレージノードを示している。図１４において、四角で囲むＡ～Ｆはデータを示す。第１計算機ノードがＡとＢ、第２計算機ノードがＣとＤ、第３計算機ノードがＥとＦを出力した場合の動作は次のとおりである。第１ストレージノードは、ＡとＢをそのまま保存し、さらに、ＣとＥの消失訂正符号を保存する。第２ストレージノードは、ＣとＤをそのまま保存し、さらに、ＡとＦの消失訂正符号を保存する。第３ストレージノードは、ＥとＦをそのまま保存し、さらに、ＢとＤの消失訂正符号を保存する。この場合に、いずれか１つのストレージノードに障害が発生してもＡ～Ｅの全てのデータをそのまま、または復元して得ることができる。この方式では、ストレージの容量効率が高く、かつ通常時にはストレージノードからの読み込み性能が高い利点を有する。
【0038】
図１５は、比較例の制御のための情報を示す図である。図１５は、本実施の形態における図２と対の関係にある。比較例は処理プログラムとして、ＩＯ処理プログラム５１に類似する処理を行う比較ＩＯ処理プログラム５１Ｚと、ライトログ管理プログラム５２に類似する処理を行う比較ライトログ管理プログラム５２Ｚとを備える。比較例は、管理情報としてライトログ資源テーブル８１およびライトログ資源キュー８２を有し、ドライブログテーブル８３およびハッシュテーブル８４は有さない。
【0039】
（比較例のタイムチャート）
図１６～図１９は、比較例によるデータ書き込みの一連の処理を示すタイムチャートである。図１６～図１９のそれぞれにおいて、図中の上から下に向かって時間が経過している。図１６～図１９に示す処理は図面の順番で時系列的に連続しており、図１６に示す処理の次に図１７に示す処理が行われ、その後に図１８に示す処理が行われ、最後に図１９に示す処理が行われる。また図１６～図１９において各処理には「Ｓ４００」から始まる連番のステップ番号を付している。このステップ番号は数字が大きいほど時系列で後の時刻に実行されることを示している。なお図１６～図１９では、作図の都合によりライトログ資源テーブル８１を「ライトログ資源」と記載する。またデータが格納される計算機ノードを「データノード」、当該データに対応する消失訂正符号が格納される計算機ノードを「パリティノード」と記載する。
図１６～図１９は、比較例によるデータ書き込みの一連の処理を示すタイムチャートである。図１６～図１９のそれぞれにおいて、図中の上から下に向かって時間が経過している。図１６～図１９に示す処理は図面の順番で時系列的に連続しており、図１６に示す処理の次に図１７に示す処理が行われ、その後に図１８に示す処理が行われ、最後に図１９に示す処理が行われる。また図１６～図１９において各処理には「Ｓ４００」から始まる連番のステップ番号を付している。このステップ番号は数字が大きいほど時系列で後の時刻に実行されることを示している。なお図１６～図１９では、作図の都合によりライトログ資源テーブル８１を「ライトログ資源」と記載する。またデータが格納される計算機ノードを「データノード」、当該データに対応する消失訂正符号が格納される計算機ノードを「パリティノード」と記載する。
【0040】
図１６に示す処理は、すべてデータノードＤＮにおける処理である。そのため図１６の説明ではデータノードＤＮの構成である旨の記載は省略する。比較ＩＯ処理プログラム５１Ｚは、まず上位制御からライト要求を受領する（Ｓ４００）。次に比較ＩＯ処理プログラム５１Ｚは、比較ライトログ管理プログラム５２Ｚにライトログ資源の取得を指示する（Ｓ４０１）。この指示を受けた比較ライトログ管理プログラム５２Ｚは、ライトログ資源キュー８２にアクセスしてライトログ資源番号を取得する（Ｓ４０２）。図１６では、ライトログ資源キュー８２から情報を取得することを、便宜的にライトログ資源キュー８２から比較ライトログ管理プログラム５２Ｚへの破線の矢印で示している。図１６～図１９の他の箇所でも、破線の矢印は同様の便宜的な記載である。次に比較ライトログ管理プログラム５２Ｚはライトログ資源テーブル８１にアクセスし、Ｓ４０２において取得したライトログ資源番号に対応するライトログ資源を取得する（Ｓ４０４、Ｓ４０５）。ライトログ資源を取得すると比較ライトログ管理プログラム５２Ｚは、取得したライトログ資源を比較ＩＯ処理プログラム５１Ｚに提供する（Ｓ４０６）。次に比較ＩＯ処理プログラム５１Ｚはドライブ１１３にアクセスして旧データを読み込む（Ｓ４０７、Ｓ４０８）。図１７を参照して説明を続ける。
【0041】
データノードＤＮの比較ＩＯ処理プログラム５１Ｚは、パリティノードＰＮの比較ＩＯ処理プログラム５１Ｚに対してパリティライトを要求する（Ｓ４２１）。この要求を受けた比較ＩＯ処理プログラム５１Ｚは、同じパリティノードＰＮの比較ライトログ管理プログラム５２Ｚに対してライトログ資源の取得を指示する（Ｓ４２２）。この指示を受けた比較ライトログ管理プログラム５２Ｚは、同じパリティノードＰＮのライトログ資源キュー８２にアクセスしてライトログ資源番号を取得する（Ｓ４２３、Ｓ４２４）。次にパリティノードＰＮの比較ライトログ管理プログラム５２Ｚはライトログ資源テーブル８１にアクセスし、Ｓ４２３において取得したライトログ資源番号に対応するライトログ資源を取得する（Ｓ４２５、Ｓ４２６）。ライトログ資源を取得すると比較ライトログ管理プログラム５２Ｚは、取得したライトログ資源を比較ＩＯ処理プログラム５１Ｚに提供する（Ｓ４２７）。
【0042】
次にパリティノードＰＮの比較ＩＯ処理プログラム５１Ｚは、ドライブ１１３にアクセスして旧パリティデータ（消失訂正符号）を読み込む（Ｓ４２８、Ｓ４２９）。次に比較ＩＯ処理プログラム５１Ｚは、書き込みを開始する旨の開始ライトログの記録をライトログ管理プログラム５２に指示する（Ｓ４３０）。比較ライトログ管理プログラム５２Ｚは、ドライブ１１３に対して開始ライトログの書き込みを行い、ドライブ１１３より書き込みが完了した旨の応答を受け取る（Ｓ４３１、Ｓ４３２）。次に比較ライトログ管理プログラム５２Ｚは、正常に開始ライトログの書き込みが完了すると、開始ライトログの書き込みが完了した旨をパリティノードＰＮの比較ＩＯ処理プログラム５１Ｚに伝達する（Ｓ４３３）。開始ライトログの書き込み完了の通知を受けたパリティノードＰＮの比較ＩＯ処理プログラム５１Ｚは、ドライブ１１３に新たなパリティ（消失訂正符号）を書き込み、ドライブ１１３より書き込みが完了した旨の応答を受け取る（Ｓ４３４、Ｓ４３５）。パリティノードＰＮの比較ＩＯ処理プログラム５１Ｚは、正常にパリティの書き込みが完了すると、パリティの書き込みが完了した旨のパリティライト応答をデータノードＤＮの比較ＩＯ処理プログラム５１Ｚに伝達する（Ｓ４３６）。図１８を参照して説明を続ける。
【0043】
パリティノードＰＮからパリティライト応答を受信したデータノードＤＮの比較ＩＯ処理プログラム５１Ｚは、データノードＤＮのドライブ１１３に書き込みを開始する旨の開始ライトログをデータノードＤＮの比較ライトログ管理プログラム５２Ｚに指示する（Ｓ４４１）。比較ライトログ管理プログラム５２Ｚは、ドライブ１１３に対してライトログの書き込みを行い、ドライブ１１３より書き込みが完了した旨の応答を受け取る（Ｓ４４２、Ｓ４４３）。次に比較ライトログ管理プログラム５２Ｚは、正常に開始ライトログの書き込みが完了すると、開始ライトログの書き込みが完了した旨をデータノードＤＮの比較ＩＯ処理プログラム５１Ｚに伝達する（Ｓ４４４）。開始ライトログの書き込み完了の通知を受けたデータノードＤＮの比較ＩＯ処理プログラム５１Ｚは、ドライブ１１３に新たなデータを書き込み、ドライブ１１３より書き込みが完了した旨の応答を受け取る（Ｓ４４５、Ｓ４４６）。データノードＤＮの比較ＩＯ処理プログラム５１Ｚは、正常に新データの書き込みが完了すると、パリティノードＰＮの比較ＩＯ処理プログラム５１Ｚに書き込み完了を示す完了ライトログの記録をパリティノードＰＮの比較ＩＯ処理プログラム５１Ｚに指示する（Ｓ４４７）。なお以下では、パリティノードＰＮに完了ライトログの記録を指示することと、「ライトログ確定要求」とも呼ぶ。
【0044】
この指示を受けたパリティノードＰＮの比較ＩＯ処理プログラム５１Ｚは、比較ライトログ管理プログラム５２Ｚに完了ライトログの記録を指示する（Ｓ４４８）。この指示を受けた比較ライトログ管理プログラム５２Ｚは、ドライブ１１３に対して完了ライトログの書き込みを行い、ドライブ１１３より書き込みが完了した旨の応答を受け取る（Ｓ４４９、Ｓ４５０）。パリティノードＰＮの比較ライトログ管理プログラム５２Ｚは、正常に完了ライトログの書き込みが完了すると、完了ライトログの書き込みが完了した旨をパリティノードＰＮの比較ＩＯ処理プログラム５１Ｚに伝達する（Ｓ４５１）。パリティノードＰＮの比較ＩＯ処理プログラム５１Ｚは、正常に完了ライトログの書き込みが完了すると、完了ライトログの書き込みが完了した旨のライトログ確定応答をデータノードＤＮの比較ＩＯ処理プログラム５１Ｚに伝達する（Ｓ４５２）。
【0045】
パリティノードＰＮからライトログ確定応答を受信したデータノードＤＮの比較ＩＯ処理プログラム５１Ｚは、データノードＤＮのドライブ１１３への書き込み完了を示す完了ライトログの記録をデータノードＤＮの比較ライトログ管理プログラム５２Ｚに指示する（Ｓ４５３）。比較ライトログ管理プログラム５２Ｚは、ドライブ１１３に対して完了ライトログの書き込みを行い、ドライブ１１３より書き込みが完了した旨の応答を受け取る（Ｓ４５４、Ｓ４５５）。次に比較ライトログ管理プログラム５２Ｚは、正常に完了ライトログの書き込みが完了すると、完了ライトログの書き込みが完了した旨をデータノードＤＮの比較ＩＯ処理プログラム５１Ｚに伝達する（Ｓ４５６）。図１９を参照して説明を続ける。
【0046】
完了ライトログの書き込み完了の通知を受けたデータノードＤＮの比較ＩＯ処理プログラム５１Ｚは、パリティノードＰＮの比較ＩＯ処理プログラム５１Ｚにライトログの破棄要求を送信する（Ｓ４６１）。この要求を受けたパリティノードＰＮの比較ＩＯ処理プログラム５１Ｚは、ライトログ資源の解放を同じパリティノードＰＮの比較ライトログ管理プログラム５２Ｚに指示する（Ｓ４６２）。パリティノードＰＮの比較ライトログ管理プログラム５２Ｚは、ライトログ資源テーブル８１のライトログ情報を初期化し（Ｓ４６３、Ｓ４６４）、ライトログ資源キュー８２にライトログ資源番号を返却する（Ｓ４６５、Ｓ４６６）。パリティノードＰＮの比較ライトログ管理プログラム５２Ｚは、ライトログ資源番号の返却が完了すると、ライトログの資源解放が完了した旨を同じパリティノードＰＮの比較ＩＯ処理プログラム５１Ｚに伝達する（Ｓ４６７）。この伝達を受けたパリティノードＰＮの比較ＩＯ処理プログラム５１Ｚは、ライトログの破棄が完了した旨のライトログ破棄応答をデータノードＤＮの比較ＩＯ処理プログラム５１Ｚに伝達する。この伝達を受けたデータノードＤＮの比較ＩＯ処理プログラム５１Ｚは、同じデータノードＤＮの比較ライトログ管理プログラム５２Ｚにライトログ資源の解放を指示する（Ｓ４６９）。
【0047】
この指示を受けたデータノードＤＮの比較ライトログ管理プログラム５２Ｚは、ライトログ資源テーブル８１のライトログ情報を初期化し（Ｓ４７０、Ｓ４７１）、ライトログ資源キュー８２にライトログ資源番号を返却する（Ｓ４７２、Ｓ４７３）。データノードＤＮの比較ライトログ管理プログラム５２Ｚは、ライトログ資源番号の返却が完了すると、ライトログの資源解放が完了した旨を同じデータノードＤＮの比較ＩＯ処理プログラム５１Ｚに伝達する（Ｓ４７４）。この伝達を受けたデータノードＤＮの比較ＩＯ処理プログラム５１Ｚは、図１６のＳ４００において受信したライト要求に応じた処理が完了したことを示すライト応答を上位制御に送信して、図１６～図１９に示したデータ書き込みの一連の処理を終了する。
【0048】
（本発明の実施形態のストレージシステムのタイムチャート）
図２０～図２４は、本実施の形態によるデータ書き込みの一連の処理を示すタイムチャートである。図２０～図２４のそれぞれにおいて、図中の上から下に向かって時間が経過している。図２０～図２４に示す処理は図面の順に時系列的に連続している。また図２０～図２４において各処理には「Ｓ５００」から始まる連番のステップ番号を付している。このステップ番号は数字が大きいほど時系列で後の時刻に実行されることを示している。なお図２０～図２４では、作図の都合によりライトログ資源テーブル８１を「ライトログ資源」と記載する。またデータが格納される計算機ノードを「データノード」、当該データのミラーリング先の計算機ノードを「パリティノード」と記載する。以下では主に、図１６～図１９に示したＭＥＣによる一連の処理との相違点を中心に説明する。
図２０～図２４は、本実施の形態によるデータ書き込みの一連の処理を示すタイムチャートである。図２０～図２４のそれぞれにおいて、図中の上から下に向かって時間が経過している。図２０～図２４に示す処理は図面の順に時系列的に連続している。また図２０～図２４において各処理には「Ｓ５００」から始まる連番のステップ番号を付している。このステップ番号は数字が大きいほど時系列で後の時刻に実行されることを示している。なお図２０～図２４では、作図の都合によりライトログ資源テーブル８１を「ライトログ資源」と記載する。またデータが格納される計算機ノードを「データノード」、当該データのミラーリング先の計算機ノードを「パリティノード」と記載する。以下では主に、図１６～図１９に示したＭＥＣによる一連の処理との相違点を中心に説明する。
【0049】
図２０に示す処理は、すべてデータノードＤＮにおける処理である。そのため図２０の説明ではデータノードＤＮの構成である旨の記載は省略する。ＩＯ処理プログラム５１は、まず上位制御からライト要求を受領する（Ｓ５００）。次にＩＯ処理プログラム５１は、ライトログ管理プログラム５２にライトログ資源の取得を指示する（Ｓ５０１）。この指示を受けた際のライトログ管理プログラム５２の処理は、図１６に示した比較ライトログ管理プログラム５２Ｚの処理と同様なので詳細説明は省略する。具体的には、ライトログ管理プログラム５２のＳ５０２～Ｓ５０６の処理は、比較ライトログ管理プログラム５２ＺのＳ４０２～Ｓ４０６の処理と同様である。
【0050】
次にＩＯ処理プログラム５１は、ライトログ管理プログラム５２に対してドライブログテーブル８３の確認とライトログ確定を指示する（Ｓ５０７）。この処理は比較例と大きく異なる。この指示を受けたライトログ管理プログラム５２は、ドライブログテーブル８３のチェックを行う（Ｓ５０８）。具体的にはライトログ管理プログラム５２は、Ｓ５００において受領したライト要求に基づき書き込みを行うユーザ領域のアドレス範囲と重複する領域について、ドライブログテーブル８３に記録が残っているか否かを確認する。ただしライトログ管理プログラム５２は、先にドライブログテーブル８３の全体を読み込み、その後に書き込み対象のユーザ領域が重複するか否かを判断してもよい。ライトログ管理プログラム５２は、ドライブログテーブル８３に記録が残っていると判断する場合のみＳ５１０～Ｓ５１３の処理を行い、ドライブログテーブル８３に記録が残っていないと判断する場合はＳ５１０～Ｓ５１３の処理を行うことなくＩＯ処理プログラム５１に処理完了を通知する（Ｓ５１４）。
【0051】
Ｓ５１０～Ｓ５１３ではライトログ管理プログラム５２は、ドライブ１１３およびドライブログテーブル８３におけるそのライトログに対して、書き込みがすでに完了している旨の書き込み、すなわちライトログの更新を行う（Ｓ５１０～Ｓ５１３）。その次にライトログ管理プログラム５２は、ＩＯ処理プログラム５１に処理完了を通知する（Ｓ５１４）。なお、前述のようにドライブログテーブル８３とドライブ１１３のメタ領域には同一の情報が格納されているが、ライトログ管理プログラム５２はＳ５０８において短時間でアクセス可能なドライブログテーブル８３を読み込む。すなわちライトログ管理プログラム５２は、書き込みが必要な場合のみドライブ１１３にアクセスすることで処理時間を短縮する。図２１を参照して説明を続ける。
【0052】
データノードＤＮのＩＯ処理プログラム５１は、パリティノードＰＮのＩＯ処理プログラム５１に対してパリティライトを要求する（Ｓ５２１）。この要求を受けたＩＯ処理プログラム５１がライトログ資源取得を指示する処理（Ｓ５２２）、およびライトログ管理プログラム５２がライトログ資源を取得する処理は図１７と同様なので説明を省略する。具体的には、図２１のＳ５２２～Ｓ５２７の処理は、図１７のＳ４２２～Ｓ４２７の処理に対応する。次にパリティノードＰＮのＩＯ処理プログラム５１は、同じパリティノードＰＮのライトログ管理プログラム５２に対してドライブログテーブル８３の確認とライトログ確定を指示する（Ｓ５２８）。この指示を受けたライトログ管理プログラム５２の処理（Ｓ５２９～Ｓ５３５）は、図２０のＳ５０８～Ｓ５１４と同一なので説明を省略する。図２２を参照して説明を続ける。
【0053】
次にパリティノードＰＮのＩＯ処理プログラム５１は、同じパリティノードＰＮのライトログ管理プログラム５２に開始ライトログの記録を指示する（Ｓ５４１）。この指示を受けたパリティノードＰＮのライトログ管理プログラム５２は、開始ライトログをドライブログテーブル８３およびドライブ１１３に書き込む（ＳＳ５４２～Ｓ５４５）。このライトログの書き込みは、ドライブログテーブル８３の内容を確認することなく行われる。書き込み開始のライトログの記録は省略できないからである。パリティノードＰＮのライトログ管理プログラム５２は、開始ライトログの記録が完了するとＩＯ処理プログラム５１に完了を通知する（Ｓ５４６）。この通知を受けたパリティノードＰＮのＩＯ処理プログラム５１は、ドライブ１１３に新しいパリティデータの書き込みを指示し（Ｓ５４７、Ｓ５４８）、パリティライト応答をデータノードＤＮのＩＯ処理プログラム５１に送信する。図２３を参照して説明を続ける。
【0054】
パリティノードＰＮからパリティライト応答を受信したデータノードＤＮのＩＯ処理プログラム５１は、同じデータノードＤＮのライトログ管理プログラム５２に開始ライトログの記録を指示する（Ｓ５６１）。この指示を受けたデータノードＤＮのライトログ管理プログラム５２は、開始ライトログをドライブログテーブル８３およびドライブ１１３に書き込む（Ｓ５６２～Ｓ５６５）。このライトログの書き込みは、ドライブログテーブル８３の内容を確認することなく行われ、省略不可能な点はパリティノードＰＮにおける処理と同様である。開始ライトログの書き込みが完了するとライトログ管理プログラム５２はＩＯ処理プログラム５１に処理完了を通知する（Ｓ５６６）。この通知を受けたデータノードＤＮのＩＯ処理プログラム５１は、データノードＤＮのドライブ１１３に新データの書き込みを行う（Ｓ５６７、Ｓ５６８）。比較例におけるデータノードＤＮからのライトログ確定要求に始まるパリティノードＰＮにおける完了ライトログの書き込み及び応答、データノードＤＮにおける完了ライトログの書き込み及び応答に至る一連の処理Ｓ４４７～Ｓ４５６は本発明の実施形態のストレージシステムでは実行されない。図２４を参照して説明を続ける。
【0055】
次にデータノードＤＮのＩＯ処理プログラム５１は、パリティノードＰＮのＩＯ処理プログラム５１にライトログの破棄要求を送信する（Ｓ５８１）。ライトログの破棄要求を受信したパリティノードＰＮのＩＯ処理プログラム５１およびライトログ管理プログラム５２の処理（Ｓ５８２～Ｓ５８８）は、図１９のＳ４６２～Ｓ４６８と同一なので説明を省略する。ライトログ破棄応答を受信したデータノードＤＮのＩＯ処理プログラム５１は、同じデータノードＤＮのライトログ管理プログラム５２にライトログ資源の破棄を指示する。ライトログの破棄要求を受信したデータノードＤＮのライトログ管理プログラム５２の処理（Ｓ５９０～Ｓ５９４）は、図１９のＳ４７０～Ｓ４７４と同一なので説明を省略する。ライトログ管理プログラム５２からライトログ資源解放の完了を伝達されたデータノードＤＮのＩＯ処理プログラム５１は、図２０のＳ５００において受信したライト要求に応じた処理が完了したことを示すライト応答を上位制御に送信して、図２０～図２４に示したデータ書き込みの一連の処理を終了する。
【0056】
上述した第１の実施の形態によれば、次の作用効果が得られる。
（１）ストレージシステム１００は、計算機ノード１０１、不揮発性の記憶デバイスであるドライブ１１３、およびドライブ１１３よりも高速なアクセスが可能なメモリ１１８を含む。それぞれのドライブ１１３は、記憶領域が、ユーザデータを格納するユーザ領域と、ユーザデータへの書き込みに関するライトログ情報８５を格納するメタ領域と、に分割されている。ライトログ情報８５には、ユーザ領域における書き込み範囲とライトログ状態との組合せであるライトログレコードが複数含まれる。ライトログ状態には、書き込みを開始することを示す「開始」、および書き込みが完了したことを示す「完了」が含まれる。メモリ１１８には、ライトログ情報８５を含むドライブログテーブル８３が記録される。計算機ノード１０１は、ライトデータのライト要求を受けた場合に、ライトデータを書き込むユーザ領域の範囲である書き込み予定範囲を特定した上で、まずドライブログチェック処理（図９のＳ３１３）を行い、次にデータライト処理（Ｓ３１５）を行う。ドライブログチェック処理（Ｓ３１３）では、書き込み予定範囲と少なくとも一部が重複する書き込み範囲を有するライトログレコードである重複ライトログレコードがドライブログに記録されている場合には、ドライブログテーブル８３およびライトログ情報８５を対象として、重複ライトログレコードのライトログ状態を「完了」に変更して（図１０のＳ３２２）からデータライト処理に進み、重複ライトログレコードがドライブログに記録されていない場合には、ドライブログおよびライトログ情報を変更することなくデータライト処理に進む（図１０のＳ３２１：ＮＯ）。データライト処理では、ライトログ情報およびドライブログに対して、書き込み予定範囲およびライトログ状態を「開始」とするライトログレコードを書き込み、その後に書き込み予定範囲へライトデータを書き込む。計算機ノード１０１は、ライトデータのライト要求を受信したことに起因する処理として、書き込み予定範囲と組み合わされるライトログ状態を「完了」に変更しない。
（１）ストレージシステム１００は、計算機ノード１０１、不揮発性の記憶デバイスであるドライブ１１３、およびドライブ１１３よりも高速なアクセスが可能なメモリ１１８を含む。それぞれのドライブ１１３は、記憶領域が、ユーザデータを格納するユーザ領域と、ユーザデータへの書き込みに関するライトログ情報８５を格納するメタ領域と、に分割されている。ライトログ情報８５には、ユーザ領域における書き込み範囲とライトログ状態との組合せであるライトログレコードが複数含まれる。ライトログ状態には、書き込みを開始することを示す「開始」、および書き込みが完了したことを示す「完了」が含まれる。メモリ１１８には、ライトログ情報８５を含むドライブログテーブル８３が記録される。計算機ノード１０１は、ライトデータのライト要求を受けた場合に、ライトデータを書き込むユーザ領域の範囲である書き込み予定範囲を特定した上で、まずドライブログチェック処理（図９のＳ３１３）を行い、次にデータライト処理（Ｓ３１５）を行う。ドライブログチェック処理（Ｓ３１３）では、書き込み予定範囲と少なくとも一部が重複する書き込み範囲を有するライトログレコードである重複ライトログレコードがドライブログに記録されている場合には、ドライブログテーブル８３およびライトログ情報８５を対象として、重複ライトログレコードのライトログ状態を「完了」に変更して（図１０のＳ３２２）からデータライト処理に進み、重複ライトログレコードがドライブログに記録されていない場合には、ドライブログおよびライトログ情報を変更することなくデータライト処理に進む（図１０のＳ３２１：ＮＯ）。データライト処理では、ライトログ情報およびドライブログに対して、書き込み予定範囲およびライトログ状態を「開始」とするライトログレコードを書き込み、その後に書き込み予定範囲へライトデータを書き込む。計算機ノード１０１は、ライトデータのライト要求を受信したことに起因する処理として、書き込み予定範囲と組み合わされるライトログ状態を「完了」に変更しない。
【0057】
ライトホール問題に対処するために、ユーザ領域に書き込む前にライトログ状態を「開始」とするライトログレコードをドライブ１１３に書き込み、ユーザ領域への書き込みが完了するとドライブ１１３に記録されているライトログ状態を「完了」に更新することが考えられる。この場合は、ユーザ領域への書き込みが完了したことを明確に記録できる。しかし、ライトホール問題への対処のために、ユーザ領域へ１回書き込むごとにメタ領域への書き込みが必ず２回発生する。一方で、本実施の形態ではライトログ状態を「開始」とするライトログレコードは必ず書き込むが、ライトログ状態を「完了」とするライトログレコードは特定の条件を満たす場合にしか書き込まない。そのため、ライトホール問題を解決するための追加処理において、ドライブ１１３への書き込みを少なく抑えることができる。特に、ライトログ資源の数に対して、ユーザデータ空間が十分に大きければ、重複領域の書き込みが発生する前に他のライトデータを書き込むためのライトログレコードを新たに記録するために上書きされ、重複領域の書き込みはほぼ発生しない。
【0058】
（２）ストレージシステム１００には、ドライブ１１３を備える計算機ノード１０１が複数含まれる。計算機ノード１０１であるデータノードＤＮは、上位制御からライトデータのライト要求を受けた場合にはさらに、他の計算機ノード１０１であるパリティノードＰＮに対してライトデータのライト要求を送信する（図２１のＳ５２１）。そのため、複数の計算機ノード１０１を用いて信頼性や可用性をさらに向上させることができる。
【0059】
（３）ドライブログに含まれるライトログレコードの数、およびライトログ情報に含まれるライトログレコードの数は、当該ストレージシステムにおける最大同時書き込み数に基づき設定される。たとえばライトログ資源の数、およびライトログ情報に含まれるライトログレコードの数をストレージシステム１００における最大同時ＩＯ数の２倍とし、ドライブログに含まれるライトログレコードの数は、最大同時ＩＯ数の２倍に計算機ノード１０１に含まれるドライブ１１３の数を乗じた数に設定される。そのため、ライトログレコードが上書きされる頻度を増やし、ドライブ１１３の記録されたライトログ状態を「完了」に変更する機会を減らすことができる。
【0060】
（４）メタ領域において重複のないそれぞれ異なる領域にアクセスするための複数のライトログ資源が設定される。計算機ノード１０１は、ライトログ資源を占有してメタ領域にライトログレコードを書き込む。そのため、複数処理が同一のメタ領域へ同時にアクセスすることが防止される。
【0061】
（変形例１）
上述した第１の実施の形態では、データノードＤＮとパリティノードＰＮは異なる計算機ノード１０１であった。しかし同一の計算機ノード１０１がデータノードＤＮおよびパリティノードＰＮとして動作してもよい。
上述した第１の実施の形態では、データノードＤＮとパリティノードＰＮは異なる計算機ノード１０１であった。しかし同一の計算機ノード１０１がデータノードＤＮおよびパリティノードＰＮとして動作してもよい。
【0062】
本変形例によれば次の作用効果が得られる。
（５）計算機ノード１０１は、ライト要求を受けた場合に、ライトデータおよびライトログレコードを２以上のドライブ１１３に記録し、書き込み範囲とは、同一のドライブ１１３に記録されるユーザデータの書き込み範囲である。そのため、単一の計算機ノード１０１に閉じたミラーリングにおいても、ライトホール問題を解決するための追加処理において、ドライブ１１３への書き込みを少なく抑えることができる。
（５）計算機ノード１０１は、ライト要求を受けた場合に、ライトデータおよびライトログレコードを２以上のドライブ１１３に記録し、書き込み範囲とは、同一のドライブ１１３に記録されるユーザデータの書き込み範囲である。そのため、単一の計算機ノード１０１に閉じたミラーリングにおいても、ライトホール問題を解決するための追加処理において、ドライブ１１３への書き込みを少なく抑えることができる。
【0063】
上述した各実施の形態および変形例において、機能ブロックの構成は一例に過ぎない。別々の機能ブロックとして示したいくつかの機能構成を一体に構成してもよいし、１つの機能ブロック図で表した構成を２以上の機能に分割してもよい。また各機能ブロックが有する機能の一部を他の機能ブロックが備える構成としてもよい。
【0064】
上述した各実施の形態および変形例において、プログラムはメモリ１１８に格納されるとしたが、プログラムは不揮発性の記憶装置に格納されていてもよい。また、計算機ノード１０１が不図示の入出力インタフェースを備え、必要なときに入出力インタフェースと前述の不揮発性の記憶装置が利用可能な媒体を介して、他の装置からプログラムが読み込まれてもよい。ここで媒体とは、例えば入出力インタフェースに着脱可能な記憶媒体、または通信媒体、すなわち有線、無線、光などのネットワーク、または当該ネットワークを伝搬する搬送波やディジタル信号、を指す。また、プログラムにより実現される機能の一部または全部がハードウエア回路やＦＰＧＡにより実現されてもよい。
【0065】
上述した各実施の形態および変形例は、それぞれ組み合わせてもよい。上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
【符号の説明】
【0066】
１００ …ストレージシステム
５１…ＩＯ処理プログラム
５２…ライトログ管理プログラム
８１…ライトログ資源テーブル
８２…ライトログ資源キュー
８３…ドライブログテーブル
８４…ハッシュテーブル
８５…ライトログ情報
１０１…計算機ノード
１１８…メモリ
１１９…プロセッサ
５１…ＩＯ処理プログラム
５２…ライトログ管理プログラム
８１…ライトログ資源テーブル
８２…ライトログ資源キュー
８３…ドライブログテーブル
８４…ハッシュテーブル
８５…ライトログ情報
１０１…計算機ノード
１１８…メモリ
１１９…プロセッサ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】