特開 2023-10314 ストレージシステム、データ書き込み制御方法、及びデータ書き込み制御プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023010314

(43)【公開日】2023-01-20

(54)【発明の名称】ストレージシステム、データ書き込み制御方法、及びデータ書き込み制御プログラム

(51)【国際特許分類】

   G06F 3/06 20060101AFI20230113BHJP

   G06F 13/10 20060101ALI20230113BHJP

【ＦＩ】

G06F3/06 304B

G06F3/06 301X

G06F13/10 340A

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2021114367

(22)【出願日】2021-07-09

(71)【出願人】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110002365

【氏名又は名称】特許業務法人サンネクスト国際特許事務所

(72)【発明者】

【氏名】小林 佑太朗

(72)【発明者】

【氏名】田中 勝也

(72)【発明者】

【氏名】福田 秀明

(72)【発明者】

【氏名】村山 佳和

(57)【要約】

【課題】マルチノードの通信にＲｏＣＥを採用したストレージシステムにおいて、コントローラのプロセッサ及びメモリと通信インタフェースとの間の消費帯域を削減する。
【解決手段】各ストレージコントローラは、第１の記憶部と、インタフェース部と、ｎ（ｎは２以上の自然数）個の他ストレージコントローラのそれぞれにデータを書き込むｎ重ライトを指示するパラメータをインタフェース部へ送信する処理部とを備える。インタフェース部は、パラメータを受信すると、第１の記憶部からデータを取得して第２の記憶部に格納し、ｎ個の他ストレージコントローラのそれぞれにデータを書き込むｎ個のリクエストを生成してｎ個の他ストレージコントローラのそれぞれに対応するｎ個のキューに格納し、各キューに格納された各リクエストを処理して第２の記憶部に格納されているデータをｎ個の他ストレージコントローラのそれぞれへデータ転送する各処理を実行する。
【選択図】図２

【特許請求の範囲】

【請求項1】

複数のストレージコントローラを含んで構成されるストレージシステムにおいて、
各ストレージコントローラは、
データを格納する第１の記憶部と、
他ストレージコントローラと通信を行う際のインタフェースとして機能するインタフェース部と、
ｎ（ｎは２以上の自然数）個の前記他ストレージコントローラのそれぞれに前記データを書き込むｎ重ライトを指示するパラメータを前記インタフェース部へ送信する処理部と、を備え、
前記インタフェース部は、
第２の記憶部と、ｎ個のキューと、を備え、
前記パラメータを受信すると、
前記第１の記憶部から前記データを取得して前記第２の記憶部に格納し、
ｎ個の前記他ストレージコントローラのそれぞれに前記データを書き込むｎ個のリクエストを生成し、
生成した各リクエストをｎ個の前記他ストレージコントローラのそれぞれに対応するｎ個の前記キューに格納し、
各キューに格納された各リクエストを処理して前記第２の記憶部に格納されている前記データをｎ個の前記他ストレージコントローラのそれぞれへデータ転送する
各処理を実行することを特徴とするストレージシステム。

【請求項2】

請求項１に記載のストレージシステムであって、
前記インタフェース部は、
受信した前記パラメータが、
自ストレージコントローラの前記第１の記憶部に格納されている前記データのｎ重ライトを指示する場合には、前記各処理を実行し、
他ストレージコントローラの前記第１の記憶部に格納されている前記データのｎ重ライトを指示する場合には、前記パラメータを他ストレージコントローラへ転送する
ことを特徴とするストレージシステム。

【請求項3】

請求項１に記載のストレージシステムであって、
前記インタフェース部は、
各キューに格納された各リクエストを非同期に処理して、前記第２の記憶部に格納されている前記データをｎ個の前記他ストレージコントローラのそれぞれへデータ転送し、
前記第２の記憶部に格納されている前記データ単位で各リクエストに関するデータ転送の状況を管理する
ことを特徴とするストレージシステム。

【請求項4】

請求項３に記載のストレージシステムであって、
前記インタフェース部は、
前記第２の記憶部に格納されている前記データ単位で全てのリクエストに関するデータ転送が完了した場合に、データ転送完了を前記パラメータの送信元の前記処理部へ通知する
ことを特徴とするストレージシステム。

【請求項5】

請求項４に記載のストレージシステムであって、
前記インタフェース部は、
前記データ転送完了と共に、各リクエストに関するデータ転送の成否及びデータ転送失敗の場合の失敗要因を前記処理部へ通知する
ことを特徴とするストレージシステム。

【請求項6】

請求項３に記載のストレージシステムであって、
前記第２の記憶部に格納されている前記データ単位で全てのリクエストに関するデータ転送が完了した場合に、前記第２の記憶部に格納されている前記データを消去する
ことを特徴とするストレージシステム。

【請求項7】

請求項１に記載のストレージシステムであって、
前記インタフェース部は、
前記第１の記憶部に格納されている前記データを格納する空き容量が前記第２の記憶部にない場合に、ｎ個の前記他ストレージコントローラへのデータ転送毎に前記データを前記第１の記憶部から取得する
ことを特徴とするストレージシステム。

【請求項8】

請求項１に記載のストレージシステムであって、
前記インタフェース部は、
前記第１の記憶部に格納されている前記データを取得して前記第２の記憶部に格納する際、前記データのサイズが前記第２の記憶部の空き容量よりも大きい場合に、前記第２の記憶部に格納可能なサイズへ前記データを分割した分割データを前記第２の記憶部に格納し、
ｎ個の前記他ストレージコントローラのそれぞれに前記分割データを書き込むｎ個の分割リクエストを生成し、
生成した各分割リクエストをｎ個の前記他ストレージコントローラにそれぞれ対応するｎ個の前記キューに格納し、
各キューに格納された各分割リクエストを処理して、前記第２の記憶部に格納されている前記分割データをｎ個の前記他ストレージコントローラのそれぞれへデータ転送する
各処理を全ての前記分割データについて実行することを特徴とするストレージシステム。

【請求項9】

複数のストレージコントローラを含んで構成されるストレージシステムにおけるデータ書き込み制御方法において、
各ストレージコントローラは、
データを格納する第１の記憶部と、
他ストレージコントローラと通信を行う際のインタフェースとして機能するインタフェース部と、
処理部と、を備え、
前記インタフェース部は、
第２の記憶部と、ｎ個のキューと、を備え、
前記処理部が、
ｎ（ｎは２以上の自然数）個の前記他ストレージコントローラのそれぞれに前記データを書き込むｎ重ライトを指示するパラメータを前記インタフェース部へ送信し、
前記インタフェース部が、
前記パラメータを受信すると、
前記第１の記憶部から前記データを取得して前記第２の記憶部に格納し、
ｎ個の前記他ストレージコントローラのそれぞれに前記データを書き込むｎ個のリクエストを生成し、
生成した各リクエストをｎ個の前記他ストレージコントローラのそれぞれに対応するｎ個の前記キューに格納し、
各キューに格納された各リクエストを処理して前記第２の記憶部に格納されている前記データをｎ個の前記他ストレージコントローラのそれぞれへデータ転送する
各処理を実行することを特徴とするデータ書き込み制御方法。

【請求項10】

プロセッサを、請求項１～８の何れか１項に記載のストレージシステムが備えるインタフェース部として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ストレージシステム、データ書き込み制御方法、及びデータ書き込み制御プログラムに関する。

【背景技術】

【0002】

従来から、複数のストレージ及びストレージコントローラを接続して、ホストに対して１つのストレージシステムに見せるマルチノードシステムがある。マルチノードシステムは、顧客のニーズに合わせて性能や容量を決めることができ、多重化により可用性を高められる点で、ストレージアーキテクチャとして優れている。

【0003】

ここでマルチノードシステムにおいて、ストレージコントローラ間でユーザデータを効率よく二重化する方法が求められる。例えば特許文献１に開示のストレージシステムでは、第１のコントローラが、ホストから転送されてきたライトデータを第２のコントローラのスイッチインタフェースのデータバッファに直接書き込む。そして、このデータバッファから第２及び第３のコントローラの各メモリにＤＭＡ（Direct Memory Access）によってライトデータが書き込まれることで、ユーザデータの二重化（２つのコントローラへの「二重ライト」）を実現している。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第６６４９９８９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ノード間の接続をイーサネット（Ethernet、登録商標、以下同様）化する際にＲｏＣＥ（RDMA（Remote Direct Memory Access） over Converged Ethernet）を採用したマルチノードシステムの場合、二重ライトに関して次の問題がある。

【0006】

すなわち二重ライトの際、転送元のコントローラにおいて、転送先の各コントローラに対応するＱＰ（Queue Pair）の送信キューであるＳＱ（Send Queue）に、ＲＤＭＡのリクエストであるＷＲ（Work Request）を格納する必要がある。ＳＱに格納されたＷＲはＷＱＥ（Work Queue Element）と呼ばれる。ＤＭＡによるデータ転送のために、転送先の各コントローラのＱＰに対応する２つのＳＱに格納されているＷＱＥが処理されると、マルチノードのインタフェースと転送元のコントローラのメモリとの間で２回のアクセスが実行される。このために、転送元のコントローラにおいて、プロセッサ及びメモリと、マルチノードのインタフェース（例えばＦＰＧＡ（Field Programmable Gate Array）等で構成される）との間の帯域が圧迫され、ストレージシステム性能に影響する可能性がある。

【0007】

本発明は、上述の課題に鑑みてなされたものであり、マルチノードの通信にＲｏＣＥを採用したストレージシステムにおいて、コントローラのプロセッサ及びメモリと通信インタフェースとの間の消費帯域を削減することを１つの目的とする。

【課題を解決するための手段】

【0008】

上述した課題を解決するため、本発明の一態様では、複数のストレージコントローラを含んで構成されるストレージシステムにおいて、各ストレージコントローラは、データを格納する第１の記憶部と、他ストレージコントローラと通信を行う際のインタフェースとして機能するインタフェース部と、ｎ（ｎは２以上の自然数）個の前記他ストレージコントローラのそれぞれに前記データを書き込むｎ重ライトを指示するパラメータを前記インタフェース部へ送信する処理部と、を備え、前記インタフェース部は、第２の記憶部と、ｎ個のキューと、を備え、前記パラメータを受信すると、前記第１の記憶部から前記データを取得して前記第２の記憶部に格納し、ｎ個の前記他ストレージコントローラのそれぞれに前記データを書き込むｎ個のリクエストを生成し、生成した各リクエストをｎ個の前記他ストレージコントローラのそれぞれに対応するｎ個の前記キューに格納し、各キューに格納された各リクエストを処理して前記第２の記憶部に格納されている前記データをｎ個の前記他ストレージコントローラのそれぞれへデータ転送する各処理を実行することを特徴とする。

【発明の効果】

【0009】

本発明によれば、例えば、マルチノードの通信にＲｏＣＥを採用したストレージシステムにおいて、コントローラのプロセッサ及びメモリと通信インタフェースとの間の消費帯域を削減できる。

【図面の簡単な説明】

【0010】

【図1】実施形態１に係るストレージシステムの構成例を示すブロック図。

【図2】実施形態１に係るストレージコントローラの構成例を示す図。

【図3】実施形態１に係る各種データのフォーマット例を示す図。

【図4】実施形態１に係る管理テーブルの構成例を示す図。

【図5】実施形態１に係る転送動作（二重ライト開始からＷＱＥ生成まで）を示すシーケンス図。

【図6】実施形態１に係る転送動作（ＤＭＡ転送から二重ライト完了判定まで）を示すシーケンス図。

【図7】実施形態１に係る転送動作（二重ライト完了判定から二重ライト完了まで）を示すシーケンス図。

【図8】従来技術による二重ライト処理を説明するための図。

【図9】実施形態１による二重ライト処理を説明するための図。

【図10】実施形態２に係る転送動作（二重ライト開始からＷＱＥ生成まで）を示すシーケンス図。

【図11】実施形態２に係る転送動作（ＤＭＡ転送から二重ライト完了判定まで）を示すシーケンス図。

【図12】実施形態２に係る転送動作（二重ライト完了判定から二重ライト完了まで）を示すシーケンス図。

【図13】コンピュータのハードウェアを示す図。

【発明を実施するための形態】

【0011】

以下、図面を参照して本発明の実施形態を説明する。実施形態は、本発明を説明するための例示であって、説明の明確化のため、適宜、省略及び簡略化がなされている。本発明は、他の種々の形態や各形態の一部又は全部を組合せた形態でも実施することが可能である。特に限定しない限り、各構成要素は単数でも複数でもよい。

【0012】

同一あるいは同様の機能を有する構成要素が複数ある場合には、同一の符号に異なる添字を付して説明する場合がある。またこれらの複数の構成要素を区別する必要がない場合には、添字を省略して説明する場合がある。

【0013】

［実施形態１］
（実施形態１のストレージシステム１の構成）
図１は、実施形態１に係るストレージシステム１の構成例を示すブロック図である。ストレージシステム１は、例えば、イーサネットスイッチ２を介して双方向通信可能に接続された複数のストレージコントローラ３Ａ（ＣＴＬ０），３Ｂ（ＣＴＬ１），３Ｃ（ＣＴＬ２），３Ｄ（ＣＴＬ３）を備えて構成される。図１では、４台のストレージコントローラ３Ａ～３Ｄによりクラスタ（ストレージシステム１）が構成されている例を示しているが、クラスタ（ストレージシステム１）を構成するストレージコントローラの台数は４に限らない。以下においては、ストレージコントローラ３Ａ～３Ｄを区別しない場合、ストレージコントローラ３と呼ぶ。

【0014】

各ストレージコントローラ３は、それぞれ通信ネットワーク４Ａ～４Ｄを介してホスト５Ａ～５Ｄと双方向通信可能に接続される。なお、通信ネットワーク４Ａ～４Ｄの少なくとも一部は共通してもよく、通信ネットワーク４Ａ～４Ｄの全てが同一通信ネットワークであってもよい。同様に、ホスト５Ａ～５Ｄの少なくとも一部は共通してもよく、ホスト５Ａ～５Ｄの全てが同一のホストであってもよい。以下においては、通信ネットワーク４Ａ～４Ｄを特に区別しない場合には、これらをまとめて通信ネットワーク４と呼び、ホスト５Ａ～５Ｄを特に区別しない場合には、これらをまとめてホスト５と呼ぶ。

【0015】

ホスト５は、ユーザ操作又は実装されたアプリケーションソフトウェアに基づいて、通信ネットワーク４を介してストレージコントローラ３にリードコマンドやライトコマンドを送信するコンピュータ装置であり、メインフレーム又はオープン系サーバなどから構成される。ホスト５がメインフレームの場合、ホスト５及びストレージコントローラ３間の通信は、例えば、ＦＩＣＯＮ（Fibre Connection：登録商標）、ＥＳＣＯＮ（Enterprise System Connection：登録商標）、ＡＣＯＮＡＲＣ（Advanced Connection Architecture：登録商標）、ＦＩＢＡＲＣ（Fibre Connection Architecture：登録商標）等の通信プロトコルに従って行われる。またホスト５がオープン系サーバの場合、ホスト５及びストレージコントローラ３間の通信は、例えば、ＦＣ（Fibre Channel）、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）、ｉＳＣＳＩ（Internet Small Computer System Interface）のような通信プロトコルに従って行われる。

【0016】

各ストレージコントローラ３Ａ～３Ｄには、それぞれ１又は複数の記憶デバイス６から構成される記憶装置７Ａ～７Ｄが接続される。以下においては、記憶装置７Ａ～７Ｄを特に区別しない場合には、これらをまとめて記憶装置７と呼ぶ。なお図１では、個々のストレージコントローラ３Ａ～３Ｄに対してそれぞれ個別の記憶装置７Ａ～７Ｄが接続されている場合について例示しているが、一部又は全部のストレージコントローラ３Ａ～３Ｄが同一の記憶装置７Ａ～７Ｄに接続されている構成であってもよい。１つのストレージコントローラ３と、１つの記憶装置７とによって１つのストレージ装置が構築される。

【0017】

記憶デバイス６は、例えば、ハードディスクデバイス、半導体メモリデバイス、光ディスクデバイス又は光磁気ディスクデバイスなどから構成される。記憶デバイス６としてハードディスクデバイスを用いる場合、ＦＣ（Fibre Channel）ディスク、ＳＣＳＩ（Small Computer System Interface）ディスク、ＳＡＴＡディスク、ＡＴＡ（AT Attachment）ディスク、ＳＡＳ（Serial Attached SCSI）ディスク等を用いることができる。また例えば、フラッシュメモリ（ＳＳＤ：Solid State Drive）、ＭＲＡＭ（Magnetoresistive Random Access Memory）、相変化メモリ（Phase-Change Memory）、ＲｅＲＡＭ（Resistive random-access memory）、ＦｅＲＡＭ（Ferroelectric Random Access Memory）等の種々の記憶デバイス６を用いることもできる。さらに、例えば、種類の異なる記憶デバイスを記憶装置７内に混在させる構成でもよい。

【0018】

１又は複数の記憶デバイス６が提供する記憶領域がプールとして管理され、プール上に１又は複数の論理的なボリューム（以下、論理ボリュームと呼ぶ）が定義され、データを読み書きするための記憶領域としてホスト５に提供される。論理ボリューム内の記憶領域は、論理ブロックと呼ばれる所定大きさの小領域に区分されて管理され、これら論理ブロックにＬＢＡ（Logical Block Address）と呼ばれる固有のアドレスがそれぞれ付与される。そしてホストは、論理ボリュームにデータをリード／ライトする場合、その論理ボリュームの識別子（ＬＵＮ：Logical Unit Number）と、その論理ボリューム内のデータを読み書きする領域の最初の論理ブロックのＬＢＡと、リード／ライトすべきデータのデータ長とを指定したリードコマンドやライトコマンドをストレージコントローラ３に送信する。

【0019】

ストレージコントローラ３は、それぞれ１又は複数のＣＰＵ２０、メモリ２１、フロントエンド２２、バックエンド２３及びスイッチインタフェース２４を備えて構成される。

【0020】

ＣＰＵ２０は、ストレージコントローラ３全体の動作制御を司るプロセッサである。またメモリ２１は、例えば、ＤＩＭＭ（Dual Inline Memory Module）などの半導体メモリ若しくはハードディスク装置又はこれら双方から構成され、各種プログラムやデータを保持するために利用される。

【0021】

フロントエンド２２は、通信ネットワーク４を介したホスト５との通信時におけるプロトコル変換を行うインタフェース装置である。フロントエンド２２は、ＣＰＵ２０の制御に基づいて、ホスト５との間でコマンドやデータを送受信する。

【0022】

バックエンド２３は、記憶装置７にデータを入出力するためのインタフェース装置である。ＣＰＵ２０は、ホスト５からの要求に応じて、バックエンド２３を介して、指定された論理ボリュームの記憶領域を提供する記憶デバイス６にデータをリード／ライトする。

【0023】

スイッチインタフェース２４は、イーサネットスイッチ２を介してＲｏＣＥ（RDMA over Converged Ethernet）を用いて他のストレージコントローラ３と双方向通信する装置である。ＲｏＣＥは、Converged Ethernetと呼ばれる信頼性を高めた、イーサネット上でＲＤＭＡ（Remote Direct Memory Access）を実現するためのプロトコルである。スイッチインタフェース２４の詳細については、図２を参照して後述する。スイッチインタフェース２４は、イーサネットスイッチ２を介して他のストレージコントローラ３内のスイッチインタフェース２４と接続される。

【0024】

（ストレージコントローラ３の構成）
図２は、実施形態１に係るストレージコントローラ３の構成例を示す図である。図２では、データのライトに関する機能について主に説明し、データのリードに関する機能については説明を省略する。図２は、ストレージコントローラ３Ａ（ＣＴＬ０）が保持するデータをストレージコントローラ３Ｂ（ＣＴＬ１），３Ｃ（ＣＴＬ２）に二重ライトを行う例を説明する。ストレージコントローラ３の構成及び処理は、ストレージコントローラ３Ａ～３Ｄの何れも同様である。図２では、ホスト５、フロントエンド２２、バックエンド２３、及び記憶デバイス６の図示を省略している。また図２では、ＣＰＵ２０の複数図示を省略している。

【0025】

ＣＰＵ２０は、複数のマイクロプロセッサ（ＭＰ（Micro Processor）、不図示）を含む。ＣＰＵ２０は、内蔵する各ＭＰのうちいずれかのＭＰにコマンド処理などを割り当てる。ＣＰＵ２０は、複数のコマンドを並行処理することができる。ＣＰＵ２０が担当する処理は、実際にはいずれかのＭＰが実行しているが、ＣＰＵ２０とＭＰとを厳密に区別する必要はない。ＣＰＵ２０は、二重ライトパラメータ２７を指定してスイッチインタフェース２４に対してメモリ２１上のデータ２６の二重ライトを指示する。

【0026】

メモリ２１の記憶領域は、例えば、ＣＰＵ２０に提供する作業領域と、受信したホスト５や他のストレージコントローラ３からのデータを保持するキャッシュ領域と、各ＭＰが使用するテーブルを格納する管理情報領域と、各ＭＰが実行するコンピュータプログラムを格納するプログラム領域とに区分されて管理される。ただし領域ごとにメモリ２１を用意する構成でもよい。図２では、メモリ２１に、二重ライト対象のデータ２６が格納されている。

【0027】

プログラム領域には、例えば、オペレーティングシステム（不図示）やドライバソフトウェア、マイクロプログラムなどが格納される。各ＭＰは、このマイクロプログラムに基づいて、各種の処理を実行する。ドライバソフトウェアには、ＣＰＵ２０により読み出されて実行されることでＣＰＵ２０上でＩ／Ｆドライバ２０ｄを実現するドライバソフトウェアがある。

【0028】

スイッチインタフェース２４は、ＲｏＣＥを採用したイーサネットを用いて他のストレージコントローラ３と通信を行うためのインタフェースユニット２５を有する。インタフェースユニット２５は、ＦＰＧＡ（Field Programmable Gate Array）等のＰＬＤ（Programmable Logic Device）で構成されるとするが、これに限定されない。

【0029】

インタフェースユニット２５は、データライトに関する機能部として、パラメータ制御部２５１、パラメータキュー２５２、ＩＤＭＡ（Internal Direct Memory Access）２５３、バッファ２５４、完了制御部２５５、ＱＰ（Queue Pair）２５６，２５７、ＳＱ（Send Queue）２５６１，２５７１、及びＥＤＭＡ（External Direct Memory Access）２５８を有する。パラメータ制御部２５１、パラメータキュー２５２、及びＩＤＭＡ２５３は、パラメータ制御ユニット２５１Ｕに含まれる。完了制御部２５５は、データ転送ステータス管理テーブル２５５Ｔ（図４）を保持する。

【0030】

ＱＰは、ＲｏＣＥ転送を行う際にデバイスが通信を行う論理的なポートであり、通信相手のデバイス同士で対をなすように保持される。ＱＰには、相手のアドレスなどの通信に必要な情報が初期設定されている。図２の例では、ストレージコントローラ３Ａは、ストレージコントローラ３Ｂ，３Ｃとの間でそれぞれＲｏＣＥ転送を行うため、通信相手のストレージコントローラ３Ｂ，３Ｃ毎にＱＰを持つ。ストレージコントローラ３Ａは、ストレージコントローラ３ＢのＱＰと対をなすＱＰ２５６と、ストレージコントローラ３ＣのＱＰと対をなすＱＰ２５７を有する。一般的にＱＰは複数あり、その中からＱＰ２５６，２５７が指定される。

【0031】

ＳＱは、ＲＤＭＡの転送リクエストを格納するキューであり、ＱＰごとに１つ存在する。図２の例では、ＱＰ２５６にＳＱ２５６１が存在し、ＱＰ２５７にＳＱ２５７１が存在する。ＳＱにＷＲ（Work Request）を格納することでデータのWrite／Readが実行される。

【0032】

ＷＲは、ＲＤＭＡ転送を行う際に転送リクエストの主体によってＳＱに格納されるリクエストであり、本実施形態ではＲＤＭＡのパラメータである。ＳＱに格納されたＷＲは、ＷＱＥ（Work Queue Element）を単位として管理される。図２では、二重ライトパラメータ（２ＷｒＰａｒａｍ）２７に対応するストレージコントローラ３Ｂ向けのＷＱＥ２５６２がＳＱ２５６１に格納され、ストレージコントローラ３Ｃ向けのＷＱＥ２５７２がＳＱ２５７１に格納されている。

【0033】

ＩＤＭＡ２５３及びＥＤＭＡ２５８は、ＯＳを介さず異なるデバイスのメモリ空間に直接アクセスするＲＤＭＡによってデータのWrite／Readを実行する。ＩＤＭＡ２５３はストレージコントローラ３Ａ内で完結するＤＭＡを実現し、ＥＤＭＡ２５８は異なるストレージコントローラ３に対するＤＭＡを実現する。図２では、ＩＤＭＡ２５３及びＥＤＭＡ２５８は分離した構成としているが、統合されていてもよい。

【0034】

パラメータ制御部２５１は、ＣＰＵ２０によってパラメータキュー２５２に書き込まれたメモリ２１内のデータ２６の二重ライトを指示する二重ライトパラメータ２７を引き抜いて解読する。図３は、実施形態１に係る各種データのフォーマット例を示す図である。

【0035】

図３の（ａ）に示すように、二重ライトパラメータ２７は、送信元アドレス２７１、送信先アドレス２７２（＃１）、送信先アドレス２７３（＃２）、データ長２７４、転送オプション２７５、及びステータス返送先情報２７６を含む。

【0036】

送信元アドレス２７１は、二重ライトのデータ転送対象のデータ２６を保持する送信元のストレージコントローラ３及びデータ２６の送信元での格納位置を識別するアドレスである。送信先アドレス２７２，２７３は、データの二重ライト先の２つのストレージコントローラ３及びデータ２６の送信先での格納位置を識別するアドレスである。データ長２７４は、二重ライト対象のデータのサイズである。転送オプション２７５は、Ｔ１０ＤＩＦ等のデータ保護コードである。ステータス返送先情報２７６は、二重ライトパラメータ２７が対象とする二重ライト処理の進捗を示す転送完了情報ＳＴＳ（Status）の返送先のストレージコントローラ３及び転送完了情報ＳＴＳの格納位置を識別するアドレスである。

【0037】

パラメータ制御部２５１は、解読した二重ライトパラメータ２７の内容に従って、バッファ２５４の空き容量を確認する。パラメータ制御部２５１は、二重ライトパラメータ２７のデータ長２７４のデータ２６を格納可能なバッファ２５４の空き容量が存在する場合に、メモリ２１に格納されているデータ２６をＩＤＭＡ２５３のＤＭＡ機能を介して読み出してバッファ２５４に格納する。

【0038】

ＩＤＭＡ２５３は、バッファ２５４にデータ２６を格納完了すると、データ２６のデータリード及びバッファ２５４への格納完了を示すデータリード完了通知２８をパラメータ制御部２５１へ送信する。図３の（ｂ）に示すように、データリード完了通知２８は、転送完了フラグ２８１及び格納先バッファアドレス２８２の列を有する。転送完了フラグ２８１はデータのリード及びバッファ格納の完了を示す情報である。格納先バッファアドレス２８２は、データ２６を格納したバッファ２５４内のアドレスを示す。

【0039】

パラメータ制御部２５１は、バッファ２５４へ格納完了したデータ２６に対応する二重ライトパラメータ２７を用いて、二重ライト先の各ストレージコントローラ３Ｂ，３Ｃに対応したＱＰ２５６，２５７のＳＱ２５６１，２５７１にＷＱＥ２５６２，２５７２をそれぞれ格納する。図３の（ｃ）に示すように、ＷＱＥ２５６２，２５７２は、送信先アドレス２５６２１、格納先バッファアドレス２５６２２、及びデータ長２５６２３の列を含む。ＷＱＥ２５６２，２５７２の送信先アドレス２５６２１は二重ライトパラメータ２７の送信先アドレス２７２，２７３から、格納先バッファアドレス２５６２２はデータリード完了通知２８の格納先バッファアドレス２８２から、データ長２５６２３は二重ライトパラメータ２７のデータ長２７４からそれぞれ引き継がれる。

【0040】

またパラメータ制御部２５１は、ＷＱＥ２５６２，２５７２の格納と同時に完了制御部２５５へ転送情報２９を受け渡す。図３の（ｄ）に示すように、転送情報２９は、格納先バッファアドレス２９１、ＱＰ＃２９２、ＳＳＮ（Send Sequence Number）２９３、ステータス返送先情報２９４の列を有する。格納先バッファアドレス２９１は、データ転送ステータス管理テーブル２５５Ｔにおいて格納先バッファアドレス２８２に対応する格納先バッファ＃である。ＱＰ＃２９２は、格納先バッファアドレス２９１のバッファに格納されているデータ２６に用いられるＱＰの番号を示す。ＳＳＮ２９３は、ＷＱＥの識別情報であり、１つのＱＰ内で各ＷＱＥに一意に与えられる。ステータス返送先情報２９４は、完了制御部２５５が管理する二重ライトのステータスの返送先のストレージコントローラ３及び格納位置を識別するアドレスを含む。

【0041】

ＥＤＭＡ２５８は、ＱＰ２５６，２５７に格納されたＷＱＥ２５６２，２５７２を処理し、各ストレージコントローラ３Ｂ，３Ｃの各メモリ２１へデータ２６をＤＭＡ転送する。ＥＤＭＡ２５８は、各ストレージコントローラ３Ｂ，３Ｃからデータ２６のＤＭＡ転送の完了応答３０がそれぞれ返却されると、完了制御部２５５へそれぞれの完了応答３０を受け渡す。図３の（ｅ）に示すように、完了応答３０は、転送成否３０１及び失敗要因３０２の列を有する。転送成否３０１は、ＥＤＭＡ２５８によって実行されたＱＰ毎のデータ転送の成否を示すフラグ情報であり、転送成功＝１、転送失敗＝０である。失敗要因３０２は、転送成否３０１が転送失敗＝０であった場合の失敗要因を示す。

【0042】

完了制御部２５５は、完了応答３０を受信すると、転送結果をデータ転送ステータス管理テーブル２５５Ｔに格納する。図４は、実施形態１に係るデータ転送ステータス管理テーブル２５５Ｔの構成例を示す図である。データ転送ステータス管理テーブル２５５Ｔは、完了制御部２５５の内部の記憶領域に配置され、他のストレージコントローラ３への二重ライトの進捗状況を、二重ライト対象のデータ単位で管理するテーブルである。

【0043】

データ転送ステータス管理テーブル２５５Ｔは、格納位置情報２５５Ｔ１、返送先情報２５５Ｔ２、データ転送情報２５５Ｔ３、及びデータ転送情報２５５Ｔ４を含む。

【0044】

格納位置情報２５５Ｔ１は、バッファ＃、バッファアドレス、ＳＴＳ返送先ＣＴＬ（コントローラ）＃、ＳＴＳ返送先アドレス、ＱＰ１＃、ＱＰ１ＳＳＮ、ＱＰ１完了フラグ、ＱＰ１ＳＴＳ、ＱＰ２＃、ＱＰ２ＳＳＮ、ＱＰ２完了フラグ、ＱＰ２ＳＴＳを含む。バッファ＃及びバッファアドレスはバッファ２５４におけるデータ２６の格納位置を一意に示す。

【0045】

返送先情報２５５Ｔ２は、ＳＴＳ返送先ＣＴＬ＃及びＳＴＳ返送先アドレスを含み、ＳＴＳの返送先を一意に示す。データ転送情報２５５Ｔ３は、二重ライトデータのうちの一方のＱＰ１に関し、ＱＰ１＃、ＱＰ１ＳＳＮ、ＱＰ１完了フラグ、及びＱＰ１ＳＴＳを含む。ＱＰ１＃は、二重ライトデータのうちの一方のＱＰの番号である。ＱＰ１ＳＳＮは、ＱＰ１内のＳＱに格納されているＷＱＥの識別情報である。ＱＰ１完了フラグは、ＱＰ１に格納されているＷＱＥに基づくデータ転送の完了未完了の別を示す。ＱＰ１ＳＴＳは、ＱＰ１完了フラグ＝１であればＯＫ、それ以外はＮＵＬＬである。データ転送情報２５５Ｔ４は、二重ライトデータのうちの他方のＱＰ２に関し、データ転送情報２５５Ｔ３と同様である。

【0046】

データ転送ステータス管理テーブル２５５Ｔのバッファアドレスには、転送情報２９の格納先バッファアドレス２９１が格納される。返送先情報２５５Ｔ２（ＳＴＳ返送先ＣＴＬ＃及びＳＴＳ返送先アドレス）には、ステータス返送先情報２９４が格納される。データ転送情報２５５Ｔ３のＱＰ１＃には、ＱＰ＃２９２が格納される。ＱＰ１ＳＳＮには、ＳＳＮ２９３が格納される。ＱＰ１ＳＴＳには、転送成否３０１及び失敗要因３０２が格納される。データ転送ステータス管理テーブル２５５Ｔのデータ転送情報２５５Ｔ４も、データ転送情報２５５Ｔ３と同様の情報が格納される。

【0047】

図４に示す例では、バッファ＃＝０の行に係る二重ライト処理は、ＱＰ１完了フラグ及びＱＰ２完了フラグが共に“１”でありＱＰ１ＳＴＳ及びＱＰ２ＳＴＳが共に“ＯＫ”であるので、正常完了していることを表している。またバッファ＃１の行に係る二重ライト処理は、ＱＰ１完了フラグが“１”でありＱＰ１ＳＴＳが“ＯＫ”であるが、ＱＰ２完了フラグが“０”でありＱＰ２ＳＴＳが“ＮＵＬＬ（空白）”であるため、ＱＰ１側のみライト処理が正常完了しており、ＱＰ２側のライト処理の完了待ちであることを表している。またバッファ＃２の行には、全ての列が“ＮＵＬＬ（空白）”であり、バッファが空き状態であることを表している。またバッファ＃３の行に係る二重ライト処理は、ＱＰ１完了フラグが“ＮＵＬＬ（空白）”で完了待ち状態であり、ＱＰ２完了フラグが“１”であるもののＱＰ２ＳＴＳが“ＮＧ（再送失敗）”であるため、ＱＰ１側のライト処理の完了を待って、ＳＴＳ＝二重ライト失敗であることを二重ライト依頼元のストレージコントローラ３Ａ（ＣＴＬ０）へ返却予定であることを表している。

【0048】

完了制御部２５５は、データ転送ステータス管理テーブル２５５ＴにＱＰ１完了フラグ及びＱＰ２完了フラグが格納されると、転送完了情報ＳＴＳを生成し、依頼元のＣＰＵ２０へＳＴＳを送信する。転送完了情報ＳＴＳは、各ＱＰのデータ転送成否、及びデータ転送失敗の場合の失敗要因の情報を含む。

【0049】

依頼元のＣＰＵ２０は、転送完了情報ＳＴＳを受信すると、二重ライト完了であるので、二重ライト処理を終了する。また完了制御部２５５は、転送完了情報ＳＴＳ生成後、バッファ２５４に残っている転送済みのデータ２６を解放する。

【0050】

なおパラメータ制御部２５１は、二重ライト対象のデータ２６を格納可能なバッファ２５４の空き容量があるか否かを確認し、空きがない場合には、通常のＲｏＣＥ転送へ切り替えて、メモリ２１のデータ２６をバッファ２５４に格納することなく、ＱＰ２５６のＳＱ２５６１にＷＱＥ２５６２を格納し、ＱＰ２５７のＳＱ２５７１にＷＱＥ２５７２を格納する。そして、ＥＤＭＡ２５８は、ＷＱＥ２５６２，２５７２を処理してバッファ２５４を介さず個々にメモリ２１からデータ２６を直接取得し、各ストレージコントローラ３Ｂ，３Ｃへデータ転送する通常のＲｏＣＥ転送を行う。

【0051】

以下、図５～図７を参照して、実施形態１に係る、ストレージコントローラ３Ａ（ＣＴＬ０）から、ストレージコントローラ３Ｂ（ＣＴＬ１）及び３Ｃ（ＣＴＬ２）へ同一データを二重ライトする一連の処理を説明する。

【0052】

（ストレージコントローラの動作（二重ライト開始からＷＱＥ生成まで））
図５は、実施形態に係る転送動作（二重ライト開始からＷＱＥ生成まで）を示すシーケンス図である。先ずＣＰＵ２０（ＣＴＬ０）は、二重ライト処理を開始する（Ｓ１１）。次にＣＰＵ２０（ＣＴＬ０）は、ストレージコントローラ３Ｂ（ＣＴＬ１）及び３Ｃ（ＣＴＬ２）へデータ２６を二重ライトする二重ライトパラメータ（２ＷｒＰａｒａｍ）２７を生成し（Ｓ１２）、Ｉ／Ｆドライバ２０ｄに対して二重ライトパラメータ２７の転送を指示する（Ｓ１３）。

【0053】

次にＩ／Ｆドライバ２０ｄは、二重ライトパラメータ２７を、スイッチインタフェース２４のインタフェースユニット２５のパラメータ制御ユニット２５１Ｕへ転送する（Ｓ１４）。二重ライトパラメータ２７は、パラメータ制御ユニット２５１Ｕのパラメータキュー２５２へ格納される。

【0054】

次にパラメータ制御ユニット２５１Ｕのパラメータ制御部２５１は、パラメータキュー２５２に格納されている二重ライトパラメータ２７を取り出して解読し、二重ライトパラメータ２７に応じたリクエストを開始する（Ｓ１５）。すなわちパラメータ制御部２５１は、バッファ２５４の空き容量を確認し、二重ライト対象のデータ２６を格納できる空き容量がバッファ２５４にある場合に、ストレージコントローラ３Ａ（ＣＴＬ０）のメモリ２１上のデータ２６のリードを起動する（Ｓ１６）。

【0055】

次にパラメータ制御ユニット２５１ＵのＩＤＭＡ２５３は、ストレージコントローラ３Ａ（ＣＴＬ０）のメモリ２１にアクセスしてデータ２６を読み出し（Ｓ１７）、バッファ２５４へ格納する（Ｓ１８）。二重ライトの際のメモリ２１上のデータ読み出しがＳ１７の１回だけなので、スイッチインタフェース２４とメモリ２１間の帯域消費を削減できる。ＩＤＭＡ２５３は、データ２６がバッファ２５４へ格納されると、データリード完了通知２８をパラメータ制御部２５１へ通知する。

【0056】

次にパラメータ制御ユニット２５１Ｕのパラメータ制御部２５１は、データリードが完了した二重ライトパラメータ２７を用いて、二重ライト先のストレージコントローラ３Ｂ（ＣＴＬ１）及び３Ｃ（ＣＴＬ２）のそれぞれに対応したＱＰ２５６，２５７に格納するワークリクエスト（ＷＱＥ２５６２，２５７２）を生成し（Ｓ１９）、ＳＱ２５６１，２６７２のそれぞれに格納する（Ｓ２０、Ｓ２１）。

【0057】

（ストレージコントローラの動作（ＤＭＡ転送から二重ライト完了判定まで））
図６は、実施形態１に係る転送動作（ＤＭＡ転送から二重ライト完了判定まで）を示すシーケンス図である。先ずストレージコントローラ３Ａ（ＣＴＬ０）のインタフェースユニット２５のＥＤＭＡ２５８は、ＳＱ２５６１，２５７１からＷＱＥ２５６２，２５７２をそれぞれ非同期に読み出す（Ｓ３１、Ｓ３２）。以降、ＷＱＥ２５６２に関するＳ３１、Ｓ３３、Ｓ３５、Ｓ３６の処理と、ＷＱＥ２５７２に関するＳ３２、Ｓ３４、Ｓ３７、Ｓ３８の処理は、非同期に行われる。

【0058】

ＥＤＭＡ２５８は、バッファ２５４内のデータ２６を読み出してストレージコントローラ３Ｂ（ＣＴＬ１）へデータ転送する（Ｓ３３）。同様に、ＥＤＭＡ２５８は、バッファ２５４内のデータ２６を読み出してストレージコントローラ３Ｃ（ＣＴＬ２）へデータ転送する（Ｓ３４）。

【0059】

ストレージコントローラ３Ｂ（ＣＴＬ１）は、自装置内のメモリ２１へデータ２６が格納処理されると、自ストレージコントローラへのデータ転送に関する完了応答３０をストレージコントローラ３Ａ（ＣＴＬ０）のＥＤＭＡ２５８へ返却する（Ｓ３５）。ＥＤＭＡ２５８は、ストレージコントローラ３Ｂ（ＣＴＬ１）から完了応答３０を受信すると、完了応答３０を完了制御部２５５へ通知する（Ｓ３６）。完了制御部２５５は、受信した完了応答３０に基づいて、該当のデータ転送に対応するＱＰ１完了フラグ及びＱＰ１ＳＴＳ、又は、ＱＰ２完了フラグ及びＱＰ２ＳＴＳに情報を格納する。

【0060】

同様に、ストレージコントローラ３Ｃ（ＣＴＬ２）は、自装置内のメモリ２１へデータ２６が格納処理されると、自ストレージコントローラへのデータ転送に関する完了応答３０をストレージコントローラ３Ａ（ＣＴＬ０）のＥＤＭＡ２５８へ返却する（Ｓ３７）。ＥＤＭＡ２５８は、ストレージコントローラ３Ｃ（ＣＴＬ２）から完了応答３０を受信すると、完了応答３０を完了制御部２５５へ通知する（Ｓ３８）。完了制御部２５５は、受信した完了応答３０に基づいて、該当のデータ転送に対応するＱＰ１完了フラグ及びＱＰ１ＳＴＳ、又は、ＱＰ２完了フラグ及びＱＰ２ＳＴＳに情報を格納する。

【0061】

完了制御部２５５は、Ｓ３６及びＳ３８によって、ストレージコントローラ３Ｂ（ＣＴＬ１）及び３Ｃ（ＣＴＬ２）の各メモリ２１へのデータ転送が完了したことを通知されると、データ転送ステータス管理テーブル２５５Ｔの該当のバッファ＃の行のＱＰ１完了フラグ及びＱＰ２完了フラグの列に“１”、ＱＰ１ＳＴＳ及びＱＰ２ＳＴＳの列に“ＯＫ”を格納する。また完了制御部２５５は、ストレージコントローラ３Ｂ（ＣＴＬ１）及び３Ｃ（ＣＴＬ２）の各メモリ２１へのデータ転送が完了したが、失敗であった場合には、データ転送ステータス管理テーブル２５５Ｔの該当のバッファ＃の行のＱＰ１完了フラグ及びＱＰ２完了フラグの列に“１”、ＱＰ１ＳＴＳ及びＱＰ２ＳＴＳの列に“ＮＧ（及び失敗要因）”を格納する。

【0062】

完了制御部２５５は、ストレージコントローラ３Ｂ（ＣＴＬ１）及び３Ｃ（ＣＴＬ２）から受信した完了応答３０を基に、ＱＰ１完了フラグ及びＱＰ１ＳＴＳ、並びに、ＱＰ２完了フラグ及びＱＰ２ＳＴＳに情報が格納されると、二重ライト完了と判定する（Ｓ３９）。

【0063】

（ストレージコントローラの動作（二重ライト完了判定から二重ライト完了まで））
図７は、実施形態１に係る転送動作（二重ライト完了判定から二重ライト完了まで）を示すシーケンス図である。図６に続き完了判定（Ｓ３９）が終了すると、完了制御部２５５は、ストレージコントローラ３Ａ（ＣＴＬ０）のメモリ２１へ転送完了情報ＳＴＳを書き込む（Ｓ４０）。ＣＰＵ２０は、メモリ２１に書き込まれた転送完了情報ＳＴＳによって、二重ライトを指示したデータの二重ライトが完了したことを認識する。次に完了制御部２５５は、Ｓ４０の転送完了情報ＳＴＳ送信後に、対象のデータ２６をバッファ２５４から消去する（Ｓ４１）。

【0064】

一方、ストレージコントローラ３Ａ（ＣＴＬ０）のＣＰＵ２０は、ＳＴＳ刈り取り指示をＩ／Ｆドライバ２０ｄへ送信する（Ｓ４２）。

【0065】

Ｉ／Ｆドライバ２０ｄは、メモリ２１に格納されている転送完了情報ＳＴＳをポーリングにより取り出して判定し（Ｓ４３）、判定結果をＳＴＳ報告としてＣＰＵ２０へ送信する（Ｓ４４）。ＣＰＵ２０は、Ｉ／Ｆドライバ２０ｄから受信したＳＴＳ報告をチェックし（Ｓ４５）、二重ライト処理の成否、失敗の場合の障害部位の特定、ライトデータの再送の要否などを判定する。これらの判定結果をもとに、二重ライト処理のライトデータの再送や、障害発生部位を切り離したシステムの縮退が行われる。以上でＣＰＵ２０は、二重ライト処理を終了する（Ｓ４６）。

【0066】

（実施形態１の効果）
図８及び図９を参照して本実施形態の効果を説明する。図８は、従来技術による二重ライト処理を説明するための図である。図９は、実施形態１による二重ライト処理を説明するための図である。

【0067】

図８に示すように、マルチノードシステムにおける二重ライトを実施する場合に、１対１のＲｏＣＥにおいてストレージコントローラＣＴＬ０から２つのストレージコントローラＣＴＬ１，ＣＴＬ２へデータ転送するには、従来では、各ストレージコントローラに対応する各ＳＱに対してＷＱＥを格納する必要があった。このため、ストレージコントローラのメモリとスイッチインタフェース間で、各ＷＱＥの処理によるＤＭＡのデータ転送毎にメモリ上のデータにアクセスするため、この２回のアクセスによってメモリとスイッチインタフェース間の帯域が圧迫されていた。この帯域は、ストレージシステム性能に影響を与える可能性がある。

【0068】

そこで図９に示すように、本実施形態では、二重ライトパラメータ（２ＷｒＰａｒａｍ）をインタフェースユニット２５内のパラメータキュー２５２に格納し、それをパラメータ制御部２５１が解読してメモリ２１のデータ２６を１回のみリードする。データ２６をインタフェースユニット２５内のバッファ２５４に格納すると、インタフェースユニット２５内で二重ライトパラメータを２個のＷＱＥへ変換し、データ転送先の各ストレージコントローラに対応する各ＳＱに対してＷＱＥを格納するようにした。本実施形態では、２つのＱＰのＳＱが連携して動作するように、パラメータ制御部２５１、パラメータキュー２５２、バッファ２５４、及び完了制御部２５５をＲｏＣＥに追加した。このようにすることで、ストレージコントローラＣＴＬ０のＣＰＵ２０及びメモリ２１とスイッチインタフェース２４間のＤＭＡのデータ転送を１回にできるため、ＣＰＵ２０及びメモリ２１とスイッチインタフェース２４間の帯域の消費を低減できる。

【0069】

なお１つのストレージコントローラ３のみにデータ転送する際の一重ライトパラメータ（１ＷｒＰａｒａｍ）やリードの際のリードパラメータもパラメータキュー２５２を使用する。

【0070】

［実施形態２］
実施形態１では、ストレージコントローラ３Ａ（ＣＴＬ０）が自装置が保持するデータ２６を他の２つのストレージコントローラ３Ｂ（ＣＴＬ１）及び３Ｃ（ＣＴＬ２）へ二重ライトする例を示した。これに対し実施形態２では、ストレージコントローラ３Ａ（ＣＴＬ０）が他のストレージコントローラ３Ｂ（ＣＴＬ１）が保持するデータ２６を自装置と別の他のストレージコントローラ３Ｃ（ＣＴＬ２）へ二重ライトする例を示す。実施形態２の説明では、実施形態１との差分を中心に説明する。

【0071】

以下、図１０～図１２を参照して、実施形態２に係る、ストレージコントローラ３Ａ（ＣＴＬ０）から転送された二重ライトパラメータに基づいて、ストレージコントローラ３Ｂ（ＣＴＬ１）が保持するデータがストレージコントローラ３Ａ（ＣＴＬ０）及び３Ｃ（ＣＴＬ２）へ二重ライトされる一連の処理を説明する。

【0072】

（実施形態２に係る転送動作（二重ライト開始からＷＱＥ生成まで））
図１０は、実施形態２に係る転送動作（二重ライト開始からＷＱＥ生成まで）を示すシーケンス図である。先ずＣＰＵ２０（ＣＴＬ０）は、二重ライト処理を開始する（Ｓ５１）。次にＣＰＵ２０（ＣＴＬ０）は、ストレージコントローラ３Ｂ（ＣＴＬ１）が保持するデータ２６をストレージコントローラ３Ａ（ＣＴＬ０）及び３Ｃ（ＣＴＬ２）へ二重ライトする二重ライトパラメータ（２ＷｒＰａｒａｍ）２７を生成し（Ｓ５２）、Ｉ／Ｆドライバ２０ｄに対して二重ライトパラメータ２７の転送を指示する（Ｓ５３）。

【0073】

次にＩ／Ｆドライバ２０ｄは、二重ライトパラメータ２７を、スイッチインタフェース２４のインタフェースユニット２５のパラメータ制御ユニット２５１Ｕへ転送する（Ｓ５４）。二重ライトパラメータ２７は、パラメータ制御ユニット２５１Ｕのパラメータキュー２５２へ格納される。

【0074】

次にパラメータ制御ユニット２５１Ｕのパラメータ制御部２５１は、パラメータキュー２５２に格納されている二重ライトパラメータ２７を取り出して解読し、二重ライトパラメータ２７に応じたリクエストを開始する（Ｓ５５）。すなわちパラメータ制御部２５１は、パラメータキュー２５２に格納されている二重ライトパラメータ２７がストレージコントローラ３Ｂ（ＣＴＬ１）が保持するデータ２６の二重ライトを要求するものであることを認識し、二重ライトパラメータ２７をストレージコントローラ３Ｂ（ＣＴＬ１）へ転送するＷＱＥを生成してストレージコントローラ３Ｂ（ＣＴＬ１）に対応するＳＱ２５６１（ＳＱ１）へ格納する（Ｓ５６）。ＥＤＭＡ２５８は、ＳＱ２５６１に格納されているＷＱＥを処理することで、パラメータキュー２５２に格納されている二重ライトパラメータ２７を、ストレージコントローラ３Ｂ（ＣＴＬ１）のパラメータ制御ユニット２５１Ｕのパラメータキュー２５２へ転送する（Ｓ５７）。

【0075】

次にストレージコントローラ３Ｂ（ＣＴＬ１）のパラメータ制御ユニット２５１Ｕのパラメータ制御部２５１は、パラメータキュー２５２に格納されている二重ライトパラメータ２７を取り出して解読し、二重ライトパラメータ２７に応じたリクエストを開始する。すなわちパラメータ制御部２５１は、パラメータキュー２５２に格納されている二重ライトパラメータ２７がストレージコントローラ３Ｂ（ＣＴＬ１）が保持するデータ２６の二重ライトを要求するものであることを認識し、バッファ２５４の空き容量を確認し、二重ライト対象のデータ２６を格納できる空き容量がバッファ２５４にある場合に、ストレージコントローラ３Ｂ（ＣＴＬ１）のメモリ２１上のデータ２６のリードを起動する（Ｓ５８）。

【0076】

なお二重ライト対象のデータ２６を格納できる空き容量がバッファ２５４にない場合には、実施形態１と同様に通常のＲｏＣＥ転送が行われる。

【0077】

次にパラメータ制御ユニット２５１ＵのＩＤＭＡ２５３は、ストレージコントローラ３Ｂ（ＣＴＬ１）のメモリ２１にアクセスしてデータ２６を読み出し（Ｓ５９）、バッファ２５４へ格納する（Ｓ６０）。二重ライトの際のメモリ２１上のデータ読み出しがＳ５９の１回だけなので、スイッチインタフェース２４とメモリ２１間の帯域消費を削減できる。ＩＤＭＡ２５３は、データ２６がバッファ２５４へ格納されると、データリード完了通知２８をパラメータ制御部２５１へ通知する。

【0078】

次にパラメータ制御ユニット２５１Ｕのパラメータ制御部２５１は、データリードが完了した二重ライトパラメータ２７を用いて、二重ライト先のストレージコントローラ３Ａ（ＣＴＬ０）及び３Ｃ（ＣＴＬ２）のそれぞれに対応したＱＰ２５６，２５７に格納するＷＱＥ２５６３，２５７３を生成し（Ｓ６１）、ＳＱ２５６１，２６７２のそれぞれに格納する（Ｓ６２、Ｓ６３）。

【0079】

（実施形態２に係る転送動作（ＤＭＡ転送から二重ライト完了判定まで））
図１１は、実施形態２に係る転送動作（ＤＭＡ転送から二重ライト完了判定まで）を示すシーケンス図である。先ずストレージコントローラ３Ｂ（ＣＴＬ１）のインタフェースユニット２５のＥＤＭＡ２５８は、ＳＱ２５６１，２５７１からＷＱＥ２５６３，２５７３をそれぞれ非同期に読み出す（Ｓ７１、Ｓ７２）。以降、ＷＱＥ２５６３に関するＳ７１、Ｓ７３、Ｓ７５、Ｓ７６の処理と、ＷＱＥ２５７２に関するＳ７２、Ｓ７４、Ｓ７７、Ｓ７８の処理は、非同期に行われる。

【0080】

ＥＤＭＡ２５８は、バッファ２５４内のデータ２６を読み出してストレージコントローラ３Ａ（ＣＴＬ０）へＤＭＡ転送しメモリ２１に格納させる（Ｓ７３）。同様に、ＥＤＭＡ２５８は、バッファ２５４内のデータ２６を読み出してストレージコントローラ３Ｃ（ＣＴＬ２）へＤＭＡ転送しメモリ２１へ格納させる（Ｓ７４）。

【0081】

ストレージコントローラ３Ａ（ＣＴＬ０）は、自装置内のメモリ２１へデータ２６が格納処理されると、完了応答３０をストレージコントローラ３Ｂ（ＣＴＬ１）のＥＤＭＡ２５８へ返却する（Ｓ７５）。ＥＤＭＡ２５８は、ストレージコントローラ３Ａ（ＣＴＬ０）から完了応答３０を受信すると、完了応答受領を完了制御部２５５へ通知する（Ｓ７６）。

【0082】

同様に、ストレージコントローラ３Ｃ（ＣＴＬ２）は、自装置内のメモリ２１へデータ２６が格納処理されると、完了応答３０をストレージコントローラ３Ｂ（ＣＴＬ１）のＥＤＭＡ２５８へ返却する（Ｓ７７）。ＥＤＭＡ２５８は、ストレージコントローラ３Ｃ（ＣＴＬ２）から完了応答３０を受信すると、完了応答受領を完了制御部２５５へ通知する（Ｓ７８）。

【0083】

完了制御部２５５は、ストレージコントローラ３Ａ（ＣＴＬ０）及び３Ｃ（ＣＴＬ２）から受信した完了応答３０を基に、ＱＰ１完了フラグ及びＱＰ１ＳＴＳ、並びに、ＱＰ２完了フラグ及びＱＰ２ＳＴＳに情報が格納されると、二重ライト完了と判定する（Ｓ７９）。

【0084】

（実施形態２に係る転送動作（二重ライト完了判定から二重ライト完了まで））
図１２は、実施形態２に係る転送動作（二重ライト完了判定から二重ライト完了まで）を示すシーケンス図である。図１１に続き完了判定（Ｓ７９）が終了すると、完了制御部２５５は、ストレージコントローラ３Ａ（ＣＴＬ０）のメモリ２１へ送信する転送完了情報ＳＴＳを生成し、ストレージコントローラ３Ａ（ＣＴＬ０）に対応するＳＱ２５６１に送信のためのＷＱＥを格納する（Ｓ８２）。次に完了制御部２５５は、ＳＱ２５６１のＷＱＥを処理することで転送完了情報ＳＴＳをストレージコントローラ３Ａ（ＣＴＬ０）へ送信する（Ｓ８３）。次に完了制御部２５５は、Ｓ８３の転送完了情報ＳＴＳ送信後に、対象のデータ２６をバッファ２５４から消去する（Ｓ８４）。

【0085】

一方、ストレージコントローラ３Ａ（ＣＴＬ０）は、ストレージコントローラ３Ｂ（ＣＴＬ１）の完了制御部２５５から受信した転送完了情報ＳＴＳをメモリ２１に格納する（Ｓ８５）。ＣＰＵ２０は、メモリ２１に書き込まれた転送完了情報ＳＴＳによって、二重ライトを指示したデータの二重ライトが完了したことを認識する。ストレージコントローラ３Ａ（ＣＴＬ０）のＣＰＵ２０は、ＳＴＳ刈り取り指示をＩ／Ｆドライバ２０ｄへ送信する（Ｓ８６）。

【0086】

Ｉ／Ｆドライバ２０ｄは、メモリ２１に格納されている転送完了情報ＳＴＳをポーリングにより取り出して判定し（Ｓ８７）、判定結果をＳＴＳ報告としてＣＰＵ２０へ送信する（Ｓ８８）。ＣＰＵ２０は、Ｉ／Ｆドライバ２０ｄから受信したＳＴＳ報告をチェックし（Ｓ８９）、二重ライト処理の成否、失敗の場合の障害部位の特定、ライトデータの再送制御の要否などを判定する。これらの判定結果をもとに、二重ライト処理のライトデータの再送や、障害発生部位を切り離したシステムの縮退が行われる。以上でＣＰＵ２０は、二重ライト処理を終了する（Ｓ９０）。

【0087】

（実施形態２の効果）
実施形態２では、二重ライトパラメータ２７の送信元アドレス２７１に他のストレージコントローラ３のメモリ２１上にあるデータを指定することで、二重ライト対象のデータを保持するストレージコントローラ３に到達するまでストレージコントローラ３間で二重ライトパラメータ２７が転送される。ストレージコントローラ３は、受信した二重ライトパラメータ２７が、自ストレージコントローラ３のメモリ２１に格納されているデータ２６の二重ライトを指示する場合には、二重ライト処理を実行する。一方、他ストレージコントローラ３のメモリ２１に格納されているデータ２６の二重ライトを指示する場合には、二重ライトパラメータ２７を他ストレージコントローラ３へ転送する。このように、二重ライトパラメータ２７を書き換えるだけで、他のストレージコントローラ３が保持するデータ２６も二重ライト処理できる。

【0088】

［その他の実施形態］
（１）上記実施形態１及び２では、２つの他のストレージコントローラ３へ自ストレージコントローラ３が保持する同一のデータを非同期転送する二重ライトを行う例を示した。しかし、二重ライトに限らず、１つのｎ重ライトパラメータ（ｎＷｒＰａｒａｍ）（ｎは２以上の自然数）を用いて、ｎ個の他のストレージコントローラ３へ自ストレージコントローラ３又は他のストレージコントローラ３が保持するデータを非同期転送するｎ重ライトを行うこともできる。この場合、ｎ個のＱＰが一組のＱＰとして、送信元と送信先のストレージコントローラ３に対をなすようにＱＰが設けられる。

【0089】

（２）インタフェースユニット２５は、メモリ２１に格納されているデータ２６を取得してバッファ２５４に格納する際、データ２６のサイズがバッファ２５４の空き容量よりも大きい場合に、バッファ２５４に格納可能なサイズへデータ２６を分割してもよい。そして、分割した複数の分割データをバッファ２５４に格納し、二つの他ストレージコントローラ３のそれぞれに分割データを書き込む二つの分割リクエスト（ＷＱＥ）を生成し、生成した各分割リクエストを二つの他ストレージコントローラ３にそれぞれ対応する二つのＳＱに格納する。そして、各ＳＱに格納された各分割リクエストを処理して、バッファ２５４に格納されている分割データを二つの他ストレージコントローラ３のそれぞれへデータ転送する各処理を、全ての分割データについて実行してもよい。

【0090】

（３）コンピュータ５００のハードウェア
図１３は、ストレージコントローラ３又はインタフェースユニット２５を実現するコンピュータ５００のハードウェアを示す図である。コンピュータ５００では、１以上のＣＰＵやＦＰＧＡなどのプロセッサ５１０、ＲＡＭ（Random Access Memory）などのメモリ５２０、ＳＳＤ（Solid State Drive）やＨＤＤ（Hard Disk Drive）などのストレージ５３０、及びネットワークＩ／Ｆ（Inter/Face）５４０が、バスを介して接続されている。

【0091】

コンピュータ５００において、ストレージコントローラ３を実現するためのプログラムがストレージ５３０から読み出されプロセッサ５１０及びメモリ５２０の協働により実行されることで、ストレージコントローラ３が実現される。あるいは、ストレージコントローラ３を実現するためのプログラムは、ネットワークＩ／Ｆ５４０を介した通信により非一時的な記憶装置を備えた外部のコンピュータから取得されてもよい。あるいはストレージコントローラ３を実現するプログラムは、非一時的記録媒体に記録され、媒体読み取り装置によって読み出されることで取得されてもよい。

【0092】

またインタフェースユニット２５を実現するためのプログラムがストレージ５３０から読み出されてＦＰＧＡなどのプロセッサ５１０がコンフィギュレーションされることで、インタフェースユニット２５が実現される。インタフェースユニット２５を実現するためのプログラムは、ストレージコントローラ３を実現するためのプログラムと同様に、ネットワークＩ／Ｆ５４０を介した通信により非一時的な記憶装置を備えた外部のコンピュータから取得されたり、非一時的記録媒体に記録され媒体読み取り装置によって読み出されることで取得されたりしてもよい。

【0093】

本発明は上述の実施形態に限定されるものではなく、様々な変形例を含む。例えば、上述の実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また矛盾しない限りにおいて、ある実施形態の構成の一部を他の実施形態の構成で置き換え、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また各実施形態の構成の一部について、構成の追加、削除、置換、統合、又は分散をすることが可能である。また実施形態で示した構成及び処理は、処理効率あるいは実装効率に基づいて適宜分散、統合、又は入れ替えることが可能である。

【符号の説明】

【0094】

１：ストレージシステム、３，３Ａ，３Ｂ，３Ｃ：ストレージコントローラ、２１：メモリ、２４：スイッチインタフェース、２５：インタフェースユニット、２６：データ、２７：二重ライトパラメータ、２５１：パラメータ制御部、２５２：パラメータキュー、２５３：バッファ、２５５：完了制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】