特開 2024-172314 ストレージシステム及びデータの転送方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024172314

(43)【公開日】2024-12-12

(54)【発明の名称】ストレージシステム及びデータの転送方法

(51)【国際特許分類】

   G06F 13/12 20060101AFI20241205BHJP

   G06F 13/10 20060101ALI20241205BHJP

   G06F 3/06 20060101ALI20241205BHJP

   H04L 67/1097 20220101ALI20241205BHJP

   H04L 67/1095 20220101ALI20241205BHJP

【ＦＩ】

G06F13/12 340B

G06F13/10 330C

G06F13/10 340A

G06F3/06 301F

H04L67/1097

H04L67/1095

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2023089944

(22)【出願日】2023-05-31

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＰＹＴＨＯＮ

(71)【出願人】

【識別番号】524132520

【氏名又は名称】日立ヴァンタラ株式会社

(74)【代理人】

【識別番号】110001678

【氏名又は名称】藤央弁理士法人

(72)【発明者】

【氏名】東海林 知輝

(72)【発明者】

【氏名】高田 正法

(72)【発明者】

【氏名】田中 勝也

(57)【要約】

【課題】ストレージコントローラ間で送受信される制御データの転送のスループットを向上させる。
【解決手段】ストレージシステムであって、複数のストレージコントローラを備え、ストレージコントローラは、プロセッサ、メモリ、及び、複数のストレージコントローラ間で送受信される、ストレージシステムの内部動作を制御するための制御データを処理する転送デバイスを有し、プロセッサは、制御データの転送リクエストが発生した場合、制御データをメモリに蓄積し、メモリに格納される複数の制御データを送信するためのライトリクエストを生成し、他のストレージコントローラに送信し、転送デバイスは、ライトリクエストを受信した場合、ライトリクエストに含まれる複数の制御データをメモリに書き込む。
【選択図】 図６

【特許請求の範囲】

【請求項1】

ストレージシステムであって、
複数のストレージコントローラを備え、
前記ストレージコントローラは、プロセッサ、メモリ、及び、複数の前記ストレージコントローラ間で送受信される、前記ストレージシステムの内部動作を制御するための制御データを処理する転送デバイスを有し、
前記プロセッサは、
前記制御データの転送リクエストが発生した場合、前記制御データを前記メモリに蓄積し、
前記メモリに格納される複数の前記制御データを送信するためのライトリクエストを生成し、他の前記ストレージコントローラに送信し、
前記転送デバイスは、前記ライトリクエストを受信した場合、前記ライトリクエストに含まれる複数の前記制御データを前記メモリに書き込むことを特徴とするストレージシステム。

【請求項2】

請求項１に記載のストレージシステムであって、
前記プロセッサは、
前記制御データを転送する他の前記ストレージコントローラとの間を接続する伝送路の通信負荷を確認し、
前記伝送路の通信負荷が大きい場合、前記制御データを前記メモリに蓄積することを特徴とするストレージシステム。

【請求項3】

請求項１に記載のストレージシステムであって、
前記プロセッサは、前記メモリに格納される前記制御データのデータ量が閾値より大きい場合、前記ライトリクエストを生成することを特徴とするストレージシステム。

【請求項4】

請求項１に記載のストレージシステムであって、
前記制御データは、可変長のデータであり、
前記プロセッサは、
前記制御データの各々について、前記制御データの書き込み先のアドレス、前記制御データのデータ長、及び前記制御データから構成される転送指示を生成し、
前記転送指示を連結することによって前記ライトリクエストを生成し、
前記転送デバイスは、
一つの前記転送指示を選択し、
選択された前記転送指示に含まれる前記制御データのデータ長に基づいて、当該転送指示から前記制御データを読み出し、
選択された前記転送指示に含まれる前記制御データの書き込み先のアドレスに、読み出された前記制御データを書き込むことを特徴とするストレージシステム。

【請求項5】

請求項１に記載のストレージシステムであって、
前記ストレージコントローラは、前記転送デバイスがアクセス可能なバッファメモリを有し、
前記プロセッサは、他の前記ストレージコントローラの前記バッファメモリ宛てに前記ライトリクエストを送信することを特徴とするストレージシステム。

【請求項6】

ストレージシステムが実行するデータの転送方法であって、
前記ストレージシステムは、複数のストレージコントローラを含む、
前記ストレージコントローラは、プロセッサ、メモリ、及び、複数の前記ストレージコントローラ間で送受信される、前記ストレージシステムの内部動作を制御するための制御データを処理する転送デバイスを有し、
前記データの転送方法は、
前記プロセッサが、前記制御データの転送リクエストが発生した場合、前記制御データを前記メモリに蓄積する第１のステップと、
前記プロセッサが、前記メモリに格納される複数の前記制御データを送信するためのライトリクエストを生成し、他の前記ストレージコントローラに送信する第２のステップと、
前記転送デバイスが、前記ライトリクエストを受信した場合、前記ライトリクエストに含まれる複数の前記制御データを前記メモリに書き込む第３のステップと、を含むことを特徴とするデータの転送方法。

【請求項7】

請求項６に記載のデータの転送方法であって、
前記第１のステップは、
前記プロセッサが、前記制御データを転送する他の前記ストレージコントローラとの間を接続する伝送路の通信負荷を確認するステップと、
前記伝送路の通信負荷が大きい場合、前記プロセッサが、前記制御データを前記メモリに蓄積するステップと、を含むことを特徴とするデータの転送方法。

【請求項8】

請求項６に記載のデータの転送方法であって、
前記第２のステップは、前記プロセッサが、前記メモリに格納される前記制御データのデータ量が閾値より大きい場合、前記ライトリクエストを生成するステップを含むことを特徴とするデータの転送方法。

【請求項9】

請求項６に記載のデータの転送方法であって、
前記制御データは、可変長のデータであり、
前記第２のステップは、
前記プロセッサが、前記制御データの各々について、前記制御データの書き込み先のアドレス、前記制御データのデータ長、及び前記制御データから構成される転送指示を生成するステップと、
前記プロセッサが、前記転送指示を連結することによって前記ライトリクエストを生成するステップと、を含み、
前記第３のステップは、
前記転送デバイスが、一つの前記転送指示を選択するステップと、
前記転送デバイスが、選択された前記転送指示に含まれる前記制御データのデータ長に基づいて、当該転送指示から前記制御データを読み出すステップと、
前記転送デバイスが、選択された前記転送指示に含まれる前記制御データの書き込み先のアドレスに、読み出された前記制御データを書き込むステップと、を含むことを特徴とするデータの転送方法。

【請求項10】

請求項６に記載のデータの転送方法であって、
前記ストレージコントローラは、前記転送デバイスがアクセス可能なバッファメモリを有し、
前記第２のステップは、前記プロセッサが、他の前記ストレージコントローラの前記バッファメモリ宛てに前記ライトリクエストを送信するステップを含むことを特徴とするデータの転送方法。

【請求項11】

複数のストレージノードから構成されるストレージシステムであって、
前記ストレージノードは、プロセッサ、メモリ、及び、複数の前記ストレージコントローラ間で送受信される、前記ストレージシステムの内部動作を制御するための制御データを処理する転送デバイスを有し、
前記プロセッサは、
前記制御データの転送リクエストが発生した場合、前記制御データを前記メモリに蓄積し、
前記メモリに格納される複数の前記制御データを送信するためのライトリクエストを生成し、他の前記ストレージノードに送信し、
前記転送デバイスは、前記ライトリクエストを受信した場合、前記ライトリクエストに含まれる複数の前記制御データを前記メモリに書き込むことを特徴とするストレージシステム。

【請求項12】

請求項１１に記載のストレージシステムであって、
前記プロセッサは、
前記制御データを転送する他の前記ストレージノードとの間を接続する伝送路の通信負荷を確認し、
前記伝送路の通信負荷が大きい場合、前記制御データを前記メモリに蓄積することを特徴とするストレージシステム。

【請求項13】

請求項１１に記載のストレージシステムであって、
前記プロセッサは、前記メモリに格納される前記制御データのデータ量が閾値より大きい場合、前記ライトリクエストを生成することを特徴とするストレージシステム。

【請求項14】

請求項１１に記載のストレージシステムであって、
前記制御データは、可変長のデータであり、
前記プロセッサは、
前記制御データの各々について、前記制御データの書き込み先のアドレス、前記制御データのデータ長、及び前記制御データから構成される転送指示を生成し、
前記転送指示を連結することによって前記ライトリクエストを生成し、
前記転送デバイスは、
一つの前記転送指示を選択し、
選択された前記転送指示に含まれる前記制御データのデータ長に基づいて、当該転送指示から前記制御データを読み出し、
選択された前記転送指示に含まれる前記制御データの書き込み先のアドレスに、読み出された前記制御データを書き込むことを特徴とするストレージシステム。

【請求項15】

請求項１１に記載のストレージシステムであって、
前記ストレージノードは、前記転送デバイスがアクセス可能なバッファメモリを有し、
前記プロセッサは、他の前記ストレージノードの前記バッファメモリ宛てに前記ライトリクエストを送信することを特徴とするストレージシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数のストレージコントローラを有するストレージシステムのデータ転送技術に関する。

【背景技術】

【0002】

ストレージシステムでは、複数のストレージコントローラを接続することで、並列動作による処理高速化、及びデータ冗長化による可用性向上を実現できる。以下では、ストレージコントローラを単にコントローラと記載する。

【0003】

複数のコントローラは、データを共有するために、各コントローラのメモリを共有して使用する。共有化されたメモリは、別のコントローラ（他系コントローラ）のプロセッサから直接アクセスされる。

【0004】

特許文献１には、通信ネットワーク規格の一つであるＰＣＩｅ（ＰＣＩｅ、ＰＣＩ Ｅｘｐｒｅｓｓは登録商標、以下同じ）を使用してコントローラ間を接続し、共有メモリを実現することが記載されている。

【0005】

ＰＣＩｅは、コントローラ間を接続する通信規格として一般的に用いられている。ＰＣＩｅは技術世代を上げると帯域を向上させることが可能であるが、近年、ＰＣＩｅの世代を上げると長距離における伝送の品質維持が困難になるという課題が生じている。

【0006】

長距離伝送が可能な通信規格として、ＲｏＣＥ（ＲＤＭＡ ｏｖｅｒ Ｃｏｎｖｅｒｇｅｄ Ｅｔｈｅｒｎｅｔ（イーサネット、Ｅｔｈｅｒｎｅｔは登録商標、以下同じ））及びＩｎｆｉｎｉｂａｎｄが存在する。特許文献２には、ＲｏＣＥを用いて、コントローラ間のＲＤＭＡ（Ｒｅｍｏｔｅ Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）を実現し、メモリアクセスを可能にする技術が記載されている。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特表２０１５－５０１９５７号公報

【特許文献2】特開２０２２－１６４４１４号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

ストレージワークロードでは２Ｂから６４Ｂ程度の小さいサイズの制御データがコントローラ間で送受信される。イーサネットを始めとするＲＤＭＡのデータ転送においては、小さいサイズのデータ転送を繰り返すワークロードでは伝送路の性能が低下する。本発明は、コントローラ間をイーサネット等の伝送路を介して接続したストレージシステムにおいて、小さい制御データの転送が多数発生する場合に、ＲＤＭＡのスループットを向上させる。

【課題を解決するための手段】

【0009】

本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、ストレージシステムであって、複数のストレージコントローラを備え、前記ストレージコントローラは、プロセッサ、メモリ、及び、複数の前記ストレージコントローラ間で送受信される、前記ストレージシステムの内部動作を制御するための制御データを処理する転送デバイスを有し、前記プロセッサは、前記制御データの転送リクエストが発生した場合、前記制御データを前記メモリに蓄積し、前記メモリに格納される複数の前記制御データを送信するためのライトリクエストを生成し、他の前記ストレージコントローラに送信し、前記転送デバイスは、前記ライトリクエストを受信した場合、前記ライトリクエストに含まれる複数の前記制御データを前記メモリに書き込む。

【発明の効果】

【0010】

本発明によれば、複数の制御データが一括して転送されるため、ＲＤＭＡのスループットを向上できる。これによって、ストレージシステムを高性能化できる。上記した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。

【図面の簡単な説明】

【0011】

【図1】実施例１のストレージシステムの構成の一例を示す図である。

【図2】実施例１のストレージシステムにおける制御データの転送方法を説明する図である。

【図3】実施例１のライトリクエストのフォーマットの一例を示す図である。

【図4】実施例１のライトリクエストのフォーマットの一例を示す図である。

【図5】実施例１の制御データの転送元のストレージコントローラが実行する処理の一例を説明するフローチャートである。

【図6】実施例１の制御データの転送先のストレージコントローラが実行する処理の一例を説明するフローチャートである。

【図7】実施例２のストレージシステムの構成の一例を示す図である。

【図8】実施例２のストレージシステムにおける制御データの転送方法を説明する図である。

【図9】実施例２の制御データの転送元のストレージノードが実行する処理の一例を説明するフローチャートである。

【図10】実施例３のストレージシステムの構成の一例を示す。

【図11】実施例３のストレージノードのハードウェア構成の一例を示す図である。

【図12】実施例３のエッジインターフェースのハードウェア構成の一例を示す図である。

【発明を実施するための形態】

【0012】

以下、本発明の実施例を、図面を用いて説明する。ただし、本発明は以下に示す実施例の記載内容に限定して解釈されるものではない。本発明の思想ないし趣旨から逸脱しない範囲で、その具体的構成を変更し得ることは当業者であれば容易に理解される。

【0013】

以下に説明する発明の構成において、同一又は類似する構成又は機能には同一の符号を付し、重複する説明は省略する。

【0014】

本明細書等における「第１」、「第２」、「第３」等の表記は、構成要素を識別するために付するものであり、必ずしも、数又は順序を限定するものではない。

【実施例0015】

図１は、実施例１のストレージシステムの構成の一例を示す図である。

【0016】

実施例１のストレージシステム１０１は、ストレージコントローラ１１１に、ストレージコントローラ１１１間で送受信される制御データを処理する受信処理用ＤＭＡ１２６を搭載することを特徴とする。以下、詳細な構成について説明する。

【0017】

ホスト１０２は、ユーザ操作、又はアプリケーションソフトウェアなどの動作に基づいて、ストレージシステム１０１に、データのリードコマンド及びライトコマンドを送信するコンピュータ装置である。なお。ホスト１０２は、仮想マシンのような仮想的なコンピュータ装置であってもよい。

【0018】

図１では、一つのストレージコントローラ１１１に対して一つのホスト１０２が接続されているが、一つのストレージコントローラ１１１に複数のホスト１０２が接続されていてもよい。

【0019】

ストレージシステム１０１は、二つのストレージコントローラ１１１及びドライブボックス１１２を有する。

【0020】

ストレージシステム１０１は、二つのストレージコントローラ１１１を搭載したデュアルコントローラ構成をとる。デュアルコントローラ構成のストレージシステム１０１では、ストレージコントローラ１１１間で、主にユーザデータ及び制御データの転送が発生する。ユーザデータは、ホスト１０２からストレージシステム１０１に書き込まれたデータであり、データ保護を目的とした二重化等により、ストレージコントローラ１１１間で転送される。制御データは、ストレージシステム１０１の内部動作を制御するためのデータであり、約６４Ｂ程度の短転送長のデータである。

【0021】

ドライブボックス１１２は、例えばハードディスク及びＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などの、一種類以上の大容量不揮発性記憶装置を収容する。ドライブボックス１１２は、ホスト１０２から送信されるライトコマンド及びリードコマンドに応じてデータを読み書きするための物理的な記憶領域を提供する。

【0022】

ストレージコントローラ１１１は、フロントエンドインターフェース（ＦＥ ＩＦ）１２１、プロセッサ（ＭＰ）１２２、メモリ１２３、バックエンドインターフェース（ＢＥ ＩＦ）１２４、ＮＩＣ１２５、及び受信処理用ＤＭＡ１２６を有する。

【0023】

ＦＥ ＩＦ１２１は、ホスト１０２及びストレージシステム１０１を接続する。ＦＥ ＩＦ１２１は、ホスト１０２及びストレージコントローラ１１１の間のデータ転送プロトコルと、ストレージコントローラ１１１内のデータ転送プロトコルとの変換を行う。

【0024】

ホスト１０２及びＦＥ ＩＦ１２１は、ファイバチャネルケーブル及びイーサネットケーブル等の伝送線を介して接続される。なお、ホスト１０２及びＦＥ ＩＦ１２１は、複数の伝送線及び複数のスイッチから構成されるストレージエリアネットワークを介して接続されてもよい。

【0025】

ＢＥ ＩＦ１２４は、ストレージコントローラ１１１及びドライブボックス１１２を接続する。ＢＥ ＩＦ１２４は、ストレージコントローラ１１１内のデータ転送プロトコルと、ストレージコントローラ１１１及びドライブボックス１１２の間のデータ転送プロトコルとの変換を行う。

【0026】

なお、ドライブボックス１１２に収容される記憶装置がＰＣＩｅ接続のＮＶＭｅＳＳＤである場合、ＢＥ ＩＦ１２４は、プロトコル変換を行わないＰＣＩｅスイッチである。

【0027】

ＭＰ１２２は、ＦＥ ＩＦ１２１を介して接続されるホスト１０２と、ＢＥ ＩＦ１２４を介して接続されるドライブボックス１１２との間のデータ転送を制御する。さらに、ＭＰ１２２は、ストレージコントローラ１１１間のデータ転送を制御する。

【0028】

メモリ１２３は、ＭＰ１２２が使用する主記憶装置であり、ＭＰ１２２が実行するプログラム（例えば、ストレージ制御プログラム等）、及びＭＰ１２２が参照する管理テーブル等の情報を格納する。

【0029】

また、メモリ１２３は、ストレージコントローラ１１１のキャッシュメモリとしても使用される。メモリ１２３は、他のストレージコントローラ１１１に送信する制御データを一時的に蓄積するための制御データ格納領域１３１を含む。

【0030】

また、メモリ１２３は、ユーザデータを格納する領域と、制御データを格納する領域とが分かれており、他のストレージコントローラ１１１に送信するデータがユーザデータ又は制御データのいずれであるかは、送信先アドレスによって判別できる。

【0031】

ＮＩＣ１２５は、例えばイーサネット規格で、ＲＤＭＡが可能なインターフェースを有し、各ストレージコントローラ１１１のＭＰ１２２間を接続する。ＮＩＣ１２５は、ＰＣＩｅバスを介して自ストレージコントローラ１１１のＭＰ１２２と接続する。

【0032】

ＲＤＭＡとは、転送元のノードのメモリから転送先のノードのメモリへデータを転送することである。イーサネット上でＲＤＭＡが可能なプロトコルとしてはＲｏＣＥが知られている。

【0033】

受信処理用ＤＭＡ１２６は、制御データの受信に関する処理を行う。受信処理用ＤＭＡ１２６は、内部にバッファメモリ１３２を有し、受信した制御データがメモリ１２３に書き込むまでの間、制御データをバッファメモリ１３２に一時的に蓄積する。受信処理用ＤＭＡ１２６は、ＰＣＩｅバスを介してＭＰ１２２と接続する。受信処理用ＤＭＡ１２６の詳細な役割や動作については後述する。

【0034】

次に、図２を用いて、ストレージコントローラ１１１間の制御データの転送方法について説明する。図２は、実施例１のストレージシステム１０１における制御データの転送方法を説明する図である。

【0035】

ストレージコントローラ１１１間の制御データの転送方法は二種類存在する。

【0036】

（転送方法１）ＭＰ１２２が、制御データの転送先アドレスに、転送先のストレージコントローラのメモリ１２３を直接指定して転送先のストレージコントローラ１１１にライトリクエストを発行する。

【0037】

（転送方法２）ＭＰ１２２が、転送先のストレージコントローラ１１１の受信処理用ＤＭＡ１２６に対して、複数の制御データを含むライトリクエストを発行する。

【0038】

図２には、（転送方法２）の制御フローを示す。ここでは、一例として、ストレージコントローラ１１１－１からストレージコントローラ１１１－２へ制御データを転送する場合の制御フローを示す。

【0039】

ストレージコントローラ１１１－１で制御データの転送リクエストが発生した場合、ＭＰ１２２－１は、転送対象の制御データをメモリ１２３－１の制御データ格納領域１３１－１に格納する（フロー２０１）。ＭＰ１２２－１は、複数の制御データを含むライトリクエストを送信するように制御を行う。

【0040】

ＮＩＣ１２５－１は、制御データ格納領域１３１－１に格納されている複数の制御データを読み出す（フロー２０２）。ＮＩＣ１２５－１は、読み出した制御データをＮＩＣ１２５－２に送信する（フロー２０３）。

【0041】

ＮＩＣ１２５－２は、ＮＩＣ１２５－１から受信した複数の制御データを受信処理用ＤＭＡ１２６－２のバッファメモリ１３２－２に転送する（フロー２０４）。

【0042】

受信処理用ＤＭＡ１２６－２は、受信した複数の制御データをメモリ１２３－２に書き込む（フロー２０５）。

【0043】

ここでは、ＮＩＣ１２５がデータ転送に使用するプロトコルの一例として、ＲｏＣＥを想定し、図３及び図４を用いて実施例１のライトリクエストのフォーマットを説明する。

【0044】

図３及び図４は、実施例１のライトリクエストのフォーマットの一例を示す図である。

【0045】

図３及び図４には、ＲｏＣＥのライトリクエストのトランスポート層のパケットのフォーマットを示している。なお、ＲｏＣＥのトランスポート層のパケットのフォーマットであるため、ＩＰヘッダ等、トランスポート層より下位の層で使用されるヘッダは省略されている。

【0046】

パケット３０１は、Ｂａｓｅ Ｔｒａｎｓｐｏｒｔ Ｈｅａｄｅｒ（ＢＴＨ）３１１、ＲＤＭＡ Ｅｘｔｅｎｄｅｄ Ｔｒａｎｓｐｏｒｔ Ｈｅａｄｅｒ（ＲＥＴＨ）３１２、Ｐａｙｌｏａｄ３１３、及びＩＣＲＣ３１４を含む。転送方法１の制御データの転送処理ではパケット３０１が用いられる。

【0047】

パケット４０１は、パケット３０１と同様に、ＢＴＨ３１１、ＲＥＴＨ３１２、Ｐａｙｌｏａｄ４１１、及びＩＣＲＣ３１４を含む。転送方法２の制御データの転送処理ではパケット４０１が用いられる。

【0048】

ＲＥＴＨ３１２は、Ｐａｙｌｏａｄ３１３又はＰａｙｌｏａｄ４１１に格納されるデータの書き込み先のメモリアドレスの情報を格納する。

【0049】

Ｐａｙｌｏａｄ３１３は、実際に送信するライトデータを格納する。Ｐａｙｌｏａｄ４１１は、複数の制御データを格納する。具体的には、Ｐａｙｌｏａｄ４１１は、一つの制御データに対して、制御データの転送長及び書き込み先のアドレスが付加された制御データ転送指示４２１を複数含む。ここで、複数の制御データ転送指示４２１を連結させたものを制御データ転送リストと記載する。制御データ転送指示４２１は処理順に連結されている。

【0050】

制御データ転送指示４２１は、書き込み先アドレス４３１、制御データ長４３２、及び制御データ４３３を含む。書き込み先アドレス４３１、制御データ長４３２、及び制御データ４３３の順に値が読み出されるように各領域は整列している。

【0051】

書き込み先アドレス４３１は、制御データを書き込むメモリ１２３のアドレスを格納する。書き込み先アドレス４３１に格納される値は固定長（例えば、８Ｂｙｔｅ程度）である。

【0052】

制御データ長４３２は、制御データ４３３に格納される制御データの長さを格納する。制御データ長４３２に格納される値は固定長（例えば、２Ｂｙｔｅ程度）である。

【0053】

制御データ４３３は、制御データを格納する。制御データ４３３には様々な長さの制御データを格納できる。

【0054】

このように、書き込み先アドレス４３１及び制御データ長４３２には固定長の値が格納され、制御データ４３３に任意の長さの制御データが格納される。受信処理用ＤＭＡ１２６は、制御データ転送指示４２１の先頭から順番に各値を読み出すことによって、メモリ１２３への制御データの書き込みが可能となる。

【0055】

パケット３０１及びパケット４０１の違いは、Ｐａｙｌｏａｄに含まれる制御データの数と、ＲＥＴＨ３１２で指定する送信先のアドレスである。パケット３０１のＰａｙｌｏａｄ３１３には一つの制御データのみが格納され、パケット４０１のＰａｙｌｏａｄ４１１には、複数の制御データ転送指示４２１が格納される。また、パケット３０１のＲＥＴＨ３１２には転送先のストレージコントローラ１１１のメモリ１２３のアドレスが格納され、パケット４０１のＲＥＴＨ３１２には、転送先のストレージコントローラ１１１の受信処理用ＤＭＡ１２６のバッファメモリ１３２のアドレスが格納される。

【0056】

受信処理用ＤＭＡ１２６は、パケット４０１を受信した場合、Ｐａｙｌｏａｄ４１１に格納される各制御データ転送指示４２１に含まれる制御データをメモリ１２３に書き込む。

【0057】

次に、図５及び図６を用いて、制御データの転送処理におけるストレージコントローラ１１１の動作手順を説明する。

【0058】

図５は、実施例１の制御データの転送元のストレージコントローラ１１１が実行する処理の一例を説明するフローチャートである。

【0059】

ストレージコントローラ１１１は、制御データの転送リクエストが発生した場合、以下で説明する処理を実行する。

【0060】

ＭＰ１２２は、制御データ格納領域１３１に未送信の制御データ転送指示４２１が存在するか否か、又は複数の制御データを一括送信する必要があるか否かを判定する（ステップＳ５０１）。

【0061】

例えば、ＭＰ１２２は、ストレージコントローラ１１１間のネットワークの利用率を確認し、利用率が高い場合、複数の制御データを一括送信する必要があると判定する。なお、ＭＰ１２２は、利用率が閾値より大きい場合、利用率が高いと判定するものとする。

【0062】

制御データ格納領域１３１に未送信の制御データ転送指示４２１が存在せず、かつ複数の制御データを一括送信する必要がない場合、ＭＰ１２２は、一つの制御データを転送するためのパケット３０１をライトリクエストとして生成し、ＮＩＣ１２５にライトリクエストの転送を指示する（ステップＳ５０５）。その後、ＭＰ１２２は処理を終了する。

【0063】

パケット３０１のＲＥＴＨ３１２には、転送先のストレージコントローラ１１１のメモリ１２３のアドレスが格納される。

【0064】

ネットワークの利用率が低い場合、すなわち、ストレージコントローラ１１１間の帯域に余裕がある場合、スループットを向上させる必要がない。したがって、ストレージコントローラ１１１は、制御データを蓄積することなく、他のストレージコントローラ１１１に制御データを転送する。この場合、転送先のストレージコントローラ１１１は、受信した制御データをメモリ１２３に書き込む。これによって、制御データ転送のレイテンシを改善できる。

【0065】

制御データ格納領域１３１に未送信の制御データ転送指示４２１が存在する、又は複数の制御データを一括送信する必要がある場合、ＭＰ１２２は、制御データ転送指示４２１を生成し、制御データ格納領域１３１に格納する（ステップＳ５０２）。このとき、ＭＰ１２２は、制御データ転送リストの最後に制御データ転送指示４２１を連結する。

【0066】

ＭＰ１２２は、制御データ転送リストのデータ長が閾値以上であるか否かを判定する（ステップＳ５０３）。

【0067】

制御データ転送リストのデータ長が閾値より小さい場合、ＭＰ１２２は処理を終了する。このように、ＭＰ１２２は、制御データ転送リストのデータ長が閾値以上となるまで制御データの転送を行わない。なお、制御データ転送リストの転送に所定の待ち時間を設け、ステップＳ５０３において制御データ転送リストのデータ長が閾値に達していなくても、所定時間を超過した場合に制御データ転送リストを転送する実装であってもよい。

【0068】

制御データ転送リストのデータ長が閾値以上である場合、ＭＰ１２２は、複数の制御データを転送するためのパケット４０１をライトリクエストとして生成し、ＮＩＣ１２５にライトリクエストの転送を指示する（ステップＳ５０４）。その後、ＭＰ１２２は処理を終了する。

【0069】

パケット４０１のＲＥＴＨ３１２には、転送先のストレージコントローラ１１１の受信処理用ＤＭＡ１２６のバッファメモリ１３２のアドレスが格納される。

【0070】

図６は、実施例１の制御データの転送先のストレージコントローラ１１１が実行する処理の一例を説明するフローチャートである。ここでは、ＮＩＣ１２５からパケット４０１を受信した受信処理用ＤＭＡ１２６が実行する処理を説明する。受信処理用ＤＭＡ１２６は、バッファメモリ１３２にパケット４０１が転送された場合、以下で説明する処理を開始する。

【0071】

受信処理用ＤＭＡ１２６は、パケット４０１のＰａｙｌｏａｄ４１１に格納される制御データ転送リストから未処理の制御データ転送指示４２１を一つ選択する（ステップＳ６０１）。

【0072】

具体的には、受信処理用ＤＭＡ１２６は、Ｐａｙｌｏａｄ４１１に格納される制御データ転送リストの先頭から順に制御データ転送指示４２１を選択する。このとき、受信処理用ＤＭＡ１２６は、選択した制御データ転送指示４２１の先頭のアドレス（先頭アドレス）にポインタを設定する。

【0073】

受信処理用ＤＭＡ１２６は、選択した制御データ転送指示４２１の書き込み先アドレス４３１の値を読み出す（ステップＳ６０２）。

【0074】

具体的には、書き込み先アドレス４３１は固定長であるため、受信処理用ＤＭＡ１２６は、先頭アドレスから当該アドレスに固定長を加算したアドレス（第１アドレス）の範囲の値を読み出す。このとき、受信処理用ＤＭＡ１２６は、第１アドレスにポインタを設定する。

【0075】

受信処理用ＤＭＡ１２６は、選択した制御データ転送指示４２１の制御データ長４３２の値を読み出す（ステップＳ６０３）。

【0076】

具体的には、制御データ長４３２は固定長であるため、受信処理用ＤＭＡ１２６は、第１アドレスから当該アドレスに固定長を加算したアドレス（第２アドレス）の範囲の値を読み出す。このとき、受信処理用ＤＭＡ１２６は、第２アドレスにポインタを設定する。

【0077】

受信処理用ＤＭＡ１２６は、選択した制御データ転送指示４２１の制御データ４３３の値を読み出す（ステップＳ６０４）。

【0078】

具体的には、受信処理用ＤＭＡ１２６は、第２アドレスから第２アドレスにステップＳ６０３において取得したデータ長を加算したアドレス（第３アドレス）の範囲の値を読み出す。このとき、受信処理用ＤＭＡ１２６は、第３アドレスにポインタを設定する。

【0079】

受信処理用ＤＭＡ１２６は、メモリ１２３に制御データを書き込む（ステップＳ６０５）。

【0080】

具体的には、受信処理用ＤＭＡ１２６は、ステップＳ６０２において読み出したアドレスに、ステップＳ６０４において読み出した制御データを書き込む。

【0081】

ステップＳ６０６では、受信処理用ＤＭＡ１２６は、Ｐａｙｌｏａｄ４１１に格納される全ての制御データ転送指示４２１の処理が完了しているか否かを判定する（ステップＳ６０６）。

【0082】

全ての制御データ転送指示４２１の処理が完了していない場合、受信処理用ＤＭＡ１２６は、ステップＳ６０１に戻り、同様の処理を実行する。全ての制御データ転送指示４２１の処理が完了した場合、受信処理用ＤＭＡ１２６は処理を終了する。

【0083】

以上で説明したように、実施例１のストレージシステム１０１は、ストレージコントローラ１１１間の制御データの転送効率を向上させ、また、ストレージシステム１０１のスループットを向上させることができる。

【実施例0084】

実施例２では、ＳＤＳ（Ｓｏｆｔｗａｒｅ Ｄｅｆｉｎｅｄ Ｓｔｏｒａｇｅ）技術を用いて構築されたストレージシステムにおける制御データの転送方法について説明する。ここで、ＳＤＳとは、汎用サーバ上で専用のソフトウェアを動作させることにより、汎用サーバ上の計算資源を使用してストレージノードを構成する手法である。

【0085】

図７は、実施例２のストレージシステムの構成の一例を示す図である。

【0086】

ストレージシステム７０１は、スイッチ７０３を介して接続された複数のストレージノード７０４から構成される。図７では、ストレージシステム７０１のスイッチ７０３の数は一つであるが、複数でもよい。

【0087】

ホスト７０２は、ユーザ操作、又はアプリケーションソフトウェアなどの動作に基づいて、スイッチ７０３を介してストレージノード７０４に、データのリードコマンド及びライトコマンドを送信するコンピュータ装置である。なお。ホスト７０２は、仮想マシンのような仮想的なコンピュータ装置でもよい。

【0088】

スイッチ７０３は、複数のホスト７０２同士、複数のストレージノード７０４同士、及び複数のホスト７０２と複数のストレージノード７０４とを接続する。スイッチ７０３は、例えばイーサネット規格によりネットワークを構成している。

【0089】

ストレージノード７０４は、例えばホスト７０２に対してデータを読み書きするための記憶領域を提供する物理サーバであり、ＮＩＣ７１１、ＭＰ７１２、メモリ７１３、受信処理用ＤＭＡ７１４、及びドライブ７１５を有する。

【0090】

ＮＩＣ７１１は、例えばイーサネット規格で、ＲＤＭＡが可能なインターフェースを有し、ストレージノード７０４及びスイッチ７０３を接続する。ＮＩＣ７１１は、ＰＣＩｅバスを介してＭＰ７１２と接続する。

【0091】

ＭＰ７１２は、ホスト７０２及びストレージノード７０４の間のデータ転送、ストレージノード７０４間のデータ転送、及びドライブ７１５のデータ読み書きを制御する。

【0092】

メモリ７１３は、ＭＰ７１２が使用する主記憶装置であり、ＭＰ７１２が実行するプログラム（例えば、ストレージ制御プログラム等）、ＭＰ７１２が参照する管理テーブル等の情報を格納する。メモリ７１３は、他のストレージノード７０４に送信する制御データを一時的に蓄積するための制御データ格納領域（図示省略）を含む。

【0093】

受信処理用ＤＭＡ７１４は、例えば汎用サーバにオプションで付けることが可能なＰＣＩｅカードであり、実施例１と同様に、制御データの受信に関連する処理を行う。受信処理用ＤＭＡ７１４は、制御データを一時的に格納するバッファメモリ（図示省略）を有する。受信処理用ＤＭＡ７１４は、ＰＣＩｅバスを介してＭＰ７１２と接続する。

【0094】

ドライブ７１５は、例えばハードディスク及びＳＳＤなどの、一種類以上の大容量不揮発性記憶装置から構成される。ドライブ７１５は、ホスト７０２から発行されるライトコマンド及びリードコマンドに応じてデータを読み書きするための物理的な記憶領域を提供する。

【0095】

図８は、実施例２のストレージシステム７０１における制御データの転送方法を説明する図である。

【0096】

実施例２のストレージシステム７０１では、ストレージノード７０４の間でユーザデータ及び制御データの転送が発生する。実施例２の制御データの転送方法は、転送方法１及び転送方法２と同様の転送方法が存在する。

【0097】

図８には、（転送方法２）に対応する制御フローを示す。ここでは、一例として、ストレージノード７０４－１からストレージノード７０４－２へ制御データを転送する場合の制御フローを示す。

【0098】

ストレージノード７０４－１で制御データの転送リクエストが発生した場合、ＭＰ７１２－１は、転送対象の制御データをメモリ７１３－１の制御データ格納領域に格納する（フロー８０１）。ＭＰ７１２－１は、複数の制御データを含むライトリクエストを送信するように制御を行う。

【0099】

ＮＩＣ７１１－１は、制御データ格納領域に格納される複数の制御データを読み出す（フロー８０２）。ＮＩＣ７１１－１は、読み出した制御データを、スイッチ７０３を介してストレージノード７０４－２のＮＩＣ７１１－２に送信する（フロー８０３）。

【0100】

ＮＩＣ７１１－２は、ＮＩＣ７１１－１から受信した複数の制御データを受信処理用ＤＭＡ７１４－２のバッファメモリに転送する（フロー８０４）。

【0101】

受信処理用ＤＭＡ７１４－２は、受信した複数の制御データをメモリ７１３－２に書き込む（フロー８０５）。

【0102】

ストレージノード７０４間の制御データの転送にはパケット４０１が用いられる。受信処理用ＤＭＡ７１４は、実施例１と同様に、パケット４０１を受信した場合、Ｐａｙｌｏａｄ４１１から制御データを読み出し、メモリ７１３に書き込む。

【0103】

受信処理用ＤＭＡ７１４が、ＮＩＣ７１１から受信したパケット４０１を処理する方法は、実施例１と同様（図６）であるため説明を省略する。

【0104】

図９は、実施例２の制御データの転送元のストレージノード７０４が実行する処理の一例を説明するフローチャートである。

【0105】

ストレージノード７０４は、制御データの転送リクエストが発生した場合、以下で説明する処理を実行する。

【0106】

ＭＰ７１２は、制御データ格納領域に未送信の制御データ転送指示４２１が存在するか否か、又は複数の制御データを一括送信する必要があるか否かを判定する（ステップＳ９０１）。

【0107】

例えば、ＭＰ７１２は、ストレージノード７０４間のネットワークの利用率を確認し、利用率が高い場合、複数の制御データを一括送信する必要があると判定する。

【0108】

制御データ格納領域に未送信の制御データ転送指示４２１が存在せず、かつ複数の制御データを一括送信する必要がない場合、ＭＰ７１２は、一つの制御データを転送するためのパケット３０１をライトリクエストとして生成し、ＮＩＣ７１１にライトリクエストの転送を指示する（ステップＳ９０５）。その後、ＭＰ７１２は処理を終了する。

【0109】

パケット３０１のＲＥＴＨ３１２には、転送先のストレージノード７０４のメモリ７１３のアドレスが格納される。

【0110】

ネットワークの利用率が低い場合、すなわち、ストレージノード７０４間の帯域に余裕がある場合、スループットを向上させる必要がない。したがって、ストレージノード７０４は、制御データを蓄積することなく、他のストレージノード７０４に制御データを転送する。この場合、転送先のストレージノード７０４は、受信した制御データをメモリ７１３に書き込む。これによって、制御データ転送のレイテンシを改善できる。

【0111】

制御データ格納領域に未送信の制御データ転送指示４２１が存在する、又は複数の制御データを一括送信する必要がある場合、ＭＰ７１２は、制御データ転送指示４２１を生成し、制御データ格納領域に格納する（ステップＳ９０２）。このとき、ＭＰ７１２は、制御データ転送リストの最後に制御データ転送指示４２１を連結する。

【0112】

ＭＰ７１２は、制御データ転送リストのデータ長が閾値以上であるか否かを判定する（ステップＳ９０３）。

【0113】

制御データ転送リストのデータ長が閾値より小さい場合、ＭＰ７１２は処理を終了する。このように、ＭＰ７１２は、制御データ転送リストのデータ長が閾値以上となるまで制御データの転送を行わない。なお、制御データ転送リストの転送に所定の待ち時間を設け、ステップＳ９０３において制御データ転送リストのデータ長が閾値に達していなくても、所定時間を超過した場合に制御データ転送リストを転送する実装であってもよい。

【0114】

制御データ転送リストのデータ長が閾値以上である場合、ＭＰ７１２は、複数の制御データを転送するためのパケット４０１をライトリクエストとして生成し、ＮＩＣ１２５にライトリクエストの転送を指示する（ステップＳ９０４）。その後、ＭＰ７１２は処理を終了する。

【0115】

パケット４０１のＲＥＴＨ３１２には、転送先のストレージノード７０４の受信処理用ＤＭＡ７１４のバッファメモリのアドレスが格納される。

【0116】

実施例２によれば、実施例１と同様に、ストレージノード７０４間の制御データの転送効率を向上させ、ストレージシステムのスループットを向上させることができる。