特許 7598895 ネットワークインタフェース及びそのバッファ制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-04

(45)【発行日】2024-12-12

(54)【発明の名称】ネットワークインタフェース及びそのバッファ制御方法

(51)【国際特許分類】

   G06F 13/10 20060101AFI20241205BHJP

【ＦＩ】

G06F13/10 330D

【請求項の数】 16

(21)【出願番号】P 2022048675

(22)【出願日】2022-03-24

(65)【公開番号】P2023142021

(43)【公開日】2023-10-05

【審査請求日】2023-02-14

(73)【特許権者】

【識別番号】524132520

【氏名又は名称】日立ヴァンタラ株式会社

(74)【代理人】

【識別番号】110001678

【氏名又は名称】藤央弁理士法人

(72)【発明者】

【氏名】横井 伸浩

(72)【発明者】

【氏名】井原 央翔

【審査官】田名網 忠雄

(56)【参考文献】

【文献】特開２００３－０６７１３７（ＪＰ，Ａ）

【文献】特開平０６－３５０６４８（ＪＰ，Ａ）

【文献】特表２０１５－５０６０２７（ＪＰ，Ａ）

【文献】特開平０５－１６０８８０（ＪＰ，Ａ）

【文献】特表２０１８－５０２３７６（ＪＰ，Ａ）

【文献】特開２０１９－１０３０１３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １３／１０－１３／１４

Ｇ０６Ｆ ３／０６－３／０８

(57)【特許請求の範囲】

【請求項1】

ネットワークインタフェースであって、
プロセッサと、
メモリと、
前記プロセッサから前記メモリより先にアクセスされるキャッシュと、を含み、
前記プロセッサは、
前記メモリに、転送データを格納するための複数バッファを確保し、
前記複数バッファの空きバッファの割り当て順序を管理し、
データ転送後に解放されたバッファを、空きバッファとして前記割り当て順序の先頭位置に戻し、
前記先頭位置の空きバッファからデータ転送に使用する、ネットワークインタフェース。

【請求項2】

請求項１に記載のネットワークインタフェースであって、
前記プロセッサは、前記メモリに、複数バッファ群を確保し、
前記複数バッファ群の各バッファ群は、同一サイズの複数バッファで構成され、
前記複数バッファ群は互いに異なるバッファサイズを有し、
前記プロセッサは、転送データサイズが前記異なるバッファサイズの最大バッファサイズ以下である場合、前記転送データサイズ以上のバッファサイズの内の最小バッファサイズのバッファ群を、前記転送データを格納するために選択する、ネットワークインタフェース。

【請求項3】

請求項１に記載のネットワークインタフェースであって、
前記プロセッサは、使用中バッファ量に基づいて、新たな転送データに対するバッファ割り当ての有無を判定する、ネットワークインタフェース。

【請求項4】

請求項２に記載のネットワークインタフェースであって、
前記転送データサイズが前記最大バッファサイズより大きい場合、前記プロセッサは、前記転送データサイズ以上の新たなバッファ領域を確保する、ネットワークインタフェース。

【請求項5】

請求項２に記載のネットワークインタフェースであって、
前記転送データサイズが前記最大バッファサイズより大きい場合、前記プロセッサは、前記転送データを分割して前記複数バッファ群から選択したバッファを割り当てる、ネットワークインタフェース。

【請求項6】

請求項２に記載のネットワークインタフェースであって、
前記複数バッファ群それぞれにおいて同時使用可能なバッファ数の最大値が設定されている、ネットワークインタフェース。

【請求項7】

請求項２に記載のネットワークインタフェースであって、
前記プロセッサは、
前記転送データサイズが前記最大バッファサイズ以下である場合、使用中バッファ量に基づいて新たな転送データに対するバッファ割り当ての有無を判定し、
前記転送データサイズが前記最大バッファサイズより大きい場合、前記判定をスキップして前記転送データを格納するバッファを確保する、ネットワークインタフェース。

【請求項8】

請求項１に記載のネットワークインタフェースであって、
前記プロセッサは、使用中バッファ量に基づいて、新たな転送データに対するバッファ割り当ての有無を判定し、
前記複数バッファにおいて同時使用可能なバッファ数の最大値が設定されている、ネットワークインタフェース。

【請求項9】

ネットワークインタフェースにおけるバッファ制御方法であって、
前記ネットワークインタフェースは、プロセッサと、メモリと、前記プロセッサから前記メモリより先にアクセスされるキャッシュと、を含み、
前記バッファ制御方法は、前記プロセッサが、
前記メモリに、転送データを格納するための複数バッファを確保し、
前記複数バッファの空きバッファの割り当て順序を管理し、
データ転送後に解放されたバッファを、空きバッファとして前記割り当て順序の先頭位置に戻し、
前記先頭位置の空きバッファからデータ転送に使用する、バッファ制御方法。

【請求項10】

請求項９に記載のバッファ制御方法であって、
前記プロセッサが、前記メモリに、複数バッファ群を確保し、
前記複数バッファ群の各バッファ群は、同一サイズの複数バッファで構成され、
前記複数バッファ群は互いに異なるバッファサイズを有し、
前記バッファ制御方法は、前記プロセッサが、転送データサイズが前記異なるバッファサイズの最大バッファサイズ以下である場合、前記転送データサイズ以上のバッファサイズの内の最小バッファサイズのバッファ群を、前記転送データを格納するために選択する、バッファ制御方法。

【請求項11】

請求項９に記載のバッファ制御方法であって、
前記プロセッサが、使用中バッファ量に基づいて、新たな転送データに対するバッファ割り当ての有無を判定する、バッファ制御方法。

【請求項12】

請求項１０に記載のバッファ制御方法であって、
前記プロセッサが、前記転送データサイズが前記最大バッファサイズより大きい場合、前記転送データサイズ以上の新たなバッファ領域を確保する、バッファ制御方法。

【請求項13】

請求項１０に記載のバッファ制御方法であって、
前記プロセッサが、前記転送データサイズが前記最大バッファサイズより大きい場合、前記転送データを分割して前記複数バッファ群から選択したバッファを割り当てる、バッファ制御方法。

【請求項14】

請求項１０に記載のバッファ制御方法であって、
前記複数バッファ群それぞれにおいて同時使用可能なバッファ数の最大値が設定されている、バッファ制御方法。

【請求項15】

請求項１０に記載のバッファ制御方法であって、
前記プロセッサが、前記転送データサイズが前記最大バッファサイズ以下である場合、使用中バッファ量に基づいて新たな転送データに対するバッファ割り当ての有無を判定し、
前記プロセッサが、前記転送データサイズが前記最大バッファサイズより大きい場合、前記判定をスキップして前記転送データを格納するバッファを確保する、バッファ制御方法。

【請求項16】

請求項９に記載のバッファ制御方法であって、
前記プロセッサが、使用中バッファ量に基づいて、新たな転送データに対するバッファ割り当ての有無を判定し、
前記複数バッファにおいて同時使用可能なバッファ数の最大値が設定されている、バッファ制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ネットワークインタフェースに関する。

【背景技術】

【0002】

情報システム及びストレージシステムは、例えば、一例としてユーザアプリケーション等が動作するサーバシステムと保存するデータの管理、信頼性を向上させるストレージコントローラとサーバシステムで利用するデータを格納、保持するドライブが複数格納されたドライブボックスで構成される。

【0003】

ストレージシステムは、サーバシステムからの要求を受信し、例えばリード要求の場合、ストレージコントローラがドライブボックス内のドライブからデータを読み出し、サーバシステムへデータ転送を行う。

【0004】

従来、特にエンタープライズ製品のストレージコントローラのフロントエンドネットワークは、ＦＣ（Ｆｉｂｒｅ Ｃｈａｎｎｅｌ）ネットワーク、バックエンドネットワークはＳＡＳ（Ｓｅｒｉａｌ Ａｔｔａｃｈｅｄ ＳＣＳＩ）ネットワークが主流であり、ドライブボックスは、ＪＢＯＤ（Ｊｕｓｔ ａ Ｂｕｎｃｈ Ｏｆ Ｄｉｓｋｓ）で、ドライブボックスのスロットに、データを格納するＳＡＳ／ＳＡＴＡドライブを複数搭載する構成が一般的であった。

【0005】

近年、ストレージシステムの性能向上のために、高性能なドライブであるＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等のフラッシュドライブの採用が進み、フラッシュドライブにアクセスするために最適なＮＶＭｅ（Ｎｏｎ－Ｖｏｌａｔｉｌｅ Ｍｅｍｏｒｙ Ｅｘｐｒｅｓｓ）プロトコルが規格化され、更に、バックエンドネットワークのドライブ接続の高拡張性に向けて、ＮＶＭｅプロトコルをインターネットプロトコル（ＩＰ）上で使用することができるＮＶＭｅ ｏｖｅｒ Ｆａｂｒｉｃｓ（ＮＶＭｅ－ｏＦ）規格が登場した。

【0006】

また、フロントエンドネットワークにも、このＮＶＭｅ－ｏＦを適用し、サーバシステムからストレージコントローラを介してドライブボックスまでの接続すべてをＮＶＭｅ－ｏＦ化するＥｎｄ－ｔｏ－Ｅｎｄ－ＮＶＭｅ－ｏＦの考え方が広まりつつあり、ＮＶＭｅ－ｏＦに対応したフラッシュドライブ搭載のドライブボックス（ＦＢＯＦ：Ｆａｂｒｉｃ－ａｔｔａｃｈｅｄ Ｂｕｎｃｈ ｏｆ Ｆｌａｓｈ）や、複数のストレージコントローラをネットワークで接続したＣｏｍｐｏｓａｂｌｅ Ｓｔｏｒａｇｅが登場してきており、エンタープライズストレージの分野でＩＰ接続の活用が広がってきている。

【0007】

ネットワークの高速化や新しいプロトコルの登場（ＮＶＭｅ－ｏＦ等）により、エンタープライズストレージシステムにおいても、ネットワークインタフェースの高速化やマルチプロトコル対応が求められている。従来はストレージコントローラ上のＣＰＵを用いる、又は、プロトコル毎に専用ハードウェアにオフロードして複数プロトコルに対応していた。例えば、米国特許第９１００３４９号は、イーサネットとＦＣのプロトコルチップを両方搭載したＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）により、１台で複数プロトコル対応する技術を開示する。

【0008】

しかし、ストレージコントローラ上のＣＰＵの使用は、そのＣＰＵリソースがプロトコル処理で消費される問題がある。プロトコル処理専用ＡＳＩＣを搭載したＣｈａｎｎｅｌ Ｂｏａｒｄ（ＣＨＢ）は、プロトコル毎に専用ＡＳＩＣの開発が必要であり、タイムリーなプロトコルサポートが困難であった。

【0009】

これに対して、ネットワークインタフェース装置にも変化があり、汎用プロセッサやメモリを内蔵し、オペレーティングシステムを動作させて、そのうえでソフトウェアを動かし、ネットワークプロトコルの処理を行うＳｍａｒｔＮＩＣが登場している。ＳｍａｒｔＮＩＣでは、例えばサーバシステム上で動くようなものと同じオペレーティングシステムを動作させることができ、そこで利用されているソフトウェアプロトコルスタックや、アプリケーション等を動作させることができる。処理をソフトウェア実装できるため、複数のプロトコルや、新しいプロトコルへの早急な対応、プロトコル処理のアップデートにも柔軟に対応することができる。

【先行技術文献】

【特許文献】

【0010】

【文献】米国特許第９１００３４９号

【発明の概要】

【発明が解決しようとする課題】

【0011】

汎用ＣＰＵとメモリを搭載したＮＩＣであるＳｍａｒｔＮＩＣを用いてプロトコル処理をソフトウェア実装することで複数のプロトコルに柔軟に対応しつつ、プロトコル処理負荷をストレージコントローラからオフロードすることができる。

【0012】

しかし、ＳｍａｒｔＮＩＣはストレージコントローラに搭載するためのボード面積の制約や、ストレージコントローラのインタフェースの電力制限の制約より、搭載するメモリチップの、種類、搭載枚数及び配線に制限がある。

【0013】

例えば、ｉＳＣＳＩやＮＶＭｅ ＴＣＰのように、データをＴＣＰ／ＩＰパケットで転送し、一旦、ＳｍａｒｔＮＩＣのメモリ上にパケットをおいて複数回のメモリアクセス処理が必要となるプロトコルでは、必要なメモリ性能を達成する構成を実現できない可能性がある。このため、メモリが性能のボトルネックとなって所望の性能が得られない可能性がある。

【課題を解決するための手段】

【0014】

本発明の代表的な実施形態に係るネットワークインタフェースは、プロセッサと、メモリと、前記プロセッサから前記メモリより先にアクセスされるキャッシュと、を含む。前記プロセッサは、前記メモリに、転送データを格納するための複数バッファを確保し、前記複数バッファの空きバッファの割り当て順序を管理し、データ転送後に解放されたバッファを、空きバッファとして前記割り当て順序の先頭位置に戻し、前記先頭位置の空きバッファからデータ転送に使用する。

【発明の効果】

【0015】

本発明の代表的な実施形態によれば、ネットワークインタフェースにおけるメモリネックによる性能低下を抑制できる。前記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。

【図面の簡単な説明】

【0016】

【図1】情報処理システムの構成例を示す図である。

【図2】ネットワークインタフェースの構成例を示す図である。

【図3】ネットワークインタフェースのプログラム構成を示す図である。

【図4】ストレージインタフェースのプログラムの関係の一例を示す図である。

【図5】ネットワークインタフェースがホストとコマンド及びデータを送受信する処理の概要を説明する図である。

【図6A】データ転送のいくつかの態様を説明する図である。

【図6B】データ転送のいくつかの態様を説明する図である。

【図7】バッファリストの構成例を示す。

【図8A】バッファリストに含まれるバッファリスト管理情報を示す。

【図8B】バッファエントリが保持している情報を示す。

【図9】バッファ管理テーブルの構成例を示す。

【図10】ターゲットのネットワークインタフェースの処理フローの例を示す。

【図11】イニシエータのネットワークインタフェースの処理フロー例を示す。

【図12】バッファ制御処理例のフローチャートを示す。

【図13】バッファリスト判定処理例のフローチャートを示す。

【図14】バッファ制御処理例のフローチャートである。

【図15】バッファリスト判定ステップにおける処理例のフローチャートを示す。

【図16】最大アクティブ数判定処理例のフローチャートを示す。

【図17】他の最大アクティブ数判定処理例のフローチャートを示す。

【図18】他の最大アクティブ数判定処理例のフローチャートを示す。

【発明を実施するための形態】

【0017】

以下、図面に基づいて、実施形態を説明する。なお、以下の記載および図面は、本発明を説明するための例示であって、説明の明確化のため、適宜、省略および簡略化がなされており、本発明は、他の種々の形態でも実施する事が可能であり、特に限定しない限り、各構成要素は単数でも複数でも構わない。

【0018】

また、以下に説明する実施形態は特許請求の範囲に係る発明を限定するものではなく、実施形態の中で説明されている要素の組み合わせの全てが、発明の解決手段に必須であるとは限らない。

【0019】

以下の説明では、「テーブル」、「リスト」、「キュー」等の表現にて各種情報を説明することがあるが、各種情報は、これら以外のデータ構造で表現されていてもよく、データ構造に依存しないことを示すため、「ｘｘｘのテーブル」、「ｘｘｘのリスト」、「ｘｘｘのキュー」等を「ｘｘｘ情報」等と称することがある。以下の説明では、識別情報について説明する際に、「識別情報」、「識別子」、「名」、「ＩＤ」、「番号」等の表現を用いるが、これらについてはお互いに置換が可能である。

【0020】

以下の説明では、同一あるいは同様な機能を有する構成要素が複数ある場合には、基本的に同一の符号を付して説明するが、機能が同じであっても機能を実現するための手段が異なる場合がある。さらに、後述する実施形態は、汎用コンピュータ上で稼動するソフトウェアで実装してもよいし、専用ハードウェア又はソフトウェアとハードウェアの組み合わせで実装してもよい。

【0021】

また、以下の説明では「プログラム」を主語として処理を説明することがあるが、プログラムはプロセッサ（例えば、ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ） によって実行されることによって、定められた処理に対して、適宜に記憶資源（例えば、メモリ）、および／または、インタフェースデバイス（通信ポート）等を用いながら行うため、処理の主体がプロセッサとして説明してもよい。

【0022】

プログラムを主語として説明された処理は、プロセッサを有する計算機（例えば、計算ホスト、ストレージ装置）が行う処理としてもよい。また、以下の説明では、「コントローラ」の表現で、プロセッサ又はプロセッサが行う処理の一部又は全部を行うハードウェア回路を指してもよい。

【0023】

プログラムは、プログラムソース（例えば、プログラム配布サーバや、計算機が読み取り可能な記憶メディア）から、各計算機にインストールされてもよく、この場合、プログラム配布サーバはＣＰＵと記憶資源を含み、記憶資源はさらに配布プログラムと配布対象であるプログラムを記憶し、配布プログラムをＣＰＵが実行することで、プログラム配布サーバのＣＰＵは配布対象のプログラムを他の計算機に配布してもよい。

【0024】

また、以下の説明において、２以上のプログラムが１つのプログラムとして実現されてもよいし、１つのプログラムが２以上のプログラムとして実現されてもよい。

【0025】

また、以下の説明において、記憶ドライブ又は単にドライブは、物理的な記憶デバイスを意味し、典型的には、不揮発性の記憶デバイス（例えば補助記憶デバイス）でもよい。ドライブは、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）でもよい。ストレージシステムに異なる種類のドライブが混在していてもよい。

【0026】

また、以下の説明において、ドライブはＶＯＬを持ち、「ＶＯＬ」はボリュームの略であり、物理的な記憶デバイスまたは、論理的な記憶デバイスでもよい。ＶＯＬは、実体的なＶＯＬ（ＲＶＯＬ）であってもよいし、仮想的なＶＯＬ（ＶＶＯＬ）であってもよい。「ＲＶＯＬ」は、そのＲＶＯＬを有するストレージシステムが有する物理的な記憶資源（例えば、１以上のＲＡＩＤグループ）に基づくＶＯＬでよい。

【0027】

「ＶＶＯＬ」は、外部接続ＶＯＬ（ＥＶＯＬ）と、容量拡張ＶＯＬ（ＴＰＶＯＬ）と、スナップショットＶＯＬとのうちのいずれでもよい。ＥＶＯＬは、外部のストレージシステムの記憶空間（例えばＶＯＬ）に基づいており、ストレージ仮想化技術に従うＶＯＬでよい。ＴＰＶＯＬは、複数の仮想領域（仮想的な記憶領域）で構成されており容量仮想化技術（典型的にはＴｈｉｎ Ｐｒｏｖｉｓｉｏｎｉｎｇ）に従うＶＯＬでよい。

【0028】

また、以下の説明では、ホストから認識されるＶＯＬ（ホストに提供されるＶＯＬ）を「ＬＤＥＶ」と言う。以下の説明では、ＬＤＥＶは、ＴＰＶＯＬ（又はＲＶＯＬ）であり、プールは、ＴＰプールである。しかし、本開示の特徴は、容量拡張技術（Ｔｈｉｎ Ｐｒｏｖｉｓｉｏｎｉｎｇ）が採用されていないストレージ装置にも適用できる。

【0029】

「プール（ＰＯＯＬ）」は、論理的な記憶領域（例えば複数のプールＶＯＬの集合）であり、用途ごとに用意されてよい。例えば、プールとして、ＴＰプールであってよい。ＴＰプールは、複数のページ（実体的な記憶領域）で構成された記憶領域でよい。ストレージコントローラが、ホストコンピュータ（以下、ホスト）から受信したライト要求が指定するアドレスが属する仮想領域（ＴＰＶＯＬの仮想領域）にページが割り当てられていない場合、その仮想領域（ライト先仮想領域）にＴＰプールからページを割り当てる（ライト先仮想領域にページが割り当て済であってもページが新たにライト先仮想領域に割り当てられてもよい）。「プールＶＯＬ」は、プールの構成要素となるＶＯＬでよい。プールＶＯＬは、ＲＶＯＬであってもよいしＥＶＯＬであってもよい。

【0030】

また、以下の説明では、ＶＯＬはＳＣＳＩにおける「Ｌｏｇｉｃａｌ Ｕｎｉｔ（以降、ＬＵ）」でも、ＮＶＭｅにおける「Ｎａｍｅ Ｓｐａｃｅ（以降、ＮＳ）」でもよい。

【0031】

また、以下の説明において、「ＲＡＩＤ」は、Ｒｅｄｕｎｄａｎｔ Ａｒｒａｙ ｏｆ Ｉｎｅｘｐｅｎｓｉｖｅ Ｄｉｓｋｓの略である。ＲＡＩＤグループは、複数のドライブ（典型的には同種のドライブ）で構成され、そのＲＡＩＤグループに関連付けられたＲＡＩＤレベルに従いデータを記憶する。ＲＡＩＤグループは、パリティグループと呼ばれてもよい。パリティグループは、例えば、パリティを格納するＲＡＩＤグループのことでよい。

【0032】

本明細書の一実施形態のネットワークインタフェース装置（以下単にネットワークインタフェースとも呼ぶ）は、サーバシステム及びストレージシステムを含む情報処理システムに実装され得る。ストレージシステムは、ストレージコントローラ、及びドライブボックスを含むことができる。ネットワークインタフェースは、例えば、汎用プロセッサ、メモリ、ネットワークコントローラ、及びホストシステムとのインタフェースを含むことができる。

【0033】

ソフトウェアベースのプロトコル処理を実現できる汎用プロセッサとメモリを用いた構成は、ｉＳＣＳＩの他にＮＶＭｅ－ｏＦ等、新規プロトコルへの対応を増やすたびにハードウェアを更新しなければならない点を解決する。例えば、ｉＳＣＳＩからＮＶＭｅ－ｏＦへの切り替えや、ＮＶＭｅ－ｏＦの仕様アップデートによる変化、また、更に新しいプロトコルに変化しても迅速に対応できるように、汎用プロセッサやメモリ等を用いて、ネットワークインタフェースのソフトウェアの入れ替えで対応することで変化に追従する。本明細書の一実施形態のネットワークインタフェースは、複数のプロトコル処理を同時にサポートする。

【0034】

本明細書の一実施形態のネットワークインタフェースは、プロトコル処理におけるメモリアクセスを削減するために、プロトコル処理のうちメモリアクセス要因で支配的なデータを格納するデータバッファ制御について以下の方式の一部又は全部を採用することができる。

【0035】

ネットワークインタフェースは、複数サイズのバッファを使用する。バッファサイズはサポートするプロトコルの転送データサイズに応じて設定され、例えば、サポートする転送データサイズ毎に、複数のデータバッファが確保される。データバッファは、例えば、初期化時（起動時）に、リスト構造で確保される。

【0036】

例えば、ネットワークインタフェースは、起動時に、８ＫＢ、２５６ＫＢ等のサイズのバッファを複数個ずつ確保する。これにより、Ｉ／Ｏ中のバッファ確保負荷を削減しつつ、短データ長と長データ長でバッファを使い分けることができる。多くの短データ長の転送要求を受けた場合、使用するメモリ量を減らし、長データ長の転送要求が来た時は、多数のバッファを使用しないことでリストを引く負荷を削減できる。

【0037】

本明細書の一実施形態のネットワークインタフェースは、データバッファを選択する際に、最近使用した領域を選択する。データバッファをリストで管理し、直前に解放されたバッファを次の処理で使うようにする。これにより、データバッファへのアクセス範囲を局所化し、キャッシュヒット率を上げることができる。転送データがキャッシュヒットしてメモリアクセス回数が削減することで、メモリネックによる性能低下の課題を解消する。

【0038】

本明細書の一実施形態のネットワークインタフェースは、キャッシュ容量とアクティブなバッファ使用量の合計の差から、起動できるコマンド処理を制御する。キャッシュからデータがなるべく溢れないように、同時に処理するデータ転送のバッファ使用数を制限する。これにより、キャッシュヒット頻度を上げて、メモリアクセスを減らすことができ、メモリ帯域圧迫による性能低下を防ぐことができる。

【0039】

図１は、本明細書の一実施形態にかかる情報処理システムの構成例を示す図である。情報処理システムは、１または複数のサーバシステム１００と、ストレージシステムと、を含む。ストレージシステムは、１又は複数のストレージ装置１０１と、１または複数のドライブボックス１０５と、を含む。

【0040】

ストレージ装置１０１は、１または複数のストレージコントローラ１０２を含む。図１の構成例では、各ストレージ装置１０１は、二つのストレージコントローラ１０２を含む。ストレージコントローラ１０２は、フロントエンドネットワーク１０６を介して、１または複数のサーバシステム１００に接続されている。

【0041】

ドライブボックス１０５は、１または複数のドライブを搭載し、１または複数のストレージコントローラ１０２とバックエンドネットワーク１０７を介して接続される。また、ストレージコントローラ１０２は、ストレージコントローラ間ネットワーク１０８による近距離の接続の他に、中、遠距離の別のストレージコントローラ１０２と外部ネットワーク１０９を介して接続する。

【0042】

サーバシステム１００は、ユーザアプリケーション等が動作するホストマシンであり、１又は複数のプロセッサを有し、メモリ、補助記憶装置の１又は複数の記憶装置を含んで構成される。例えば、データベースやＷｅｂサービスが動作し、サーバシステム１００は、それらにより作られたデータを、ネットワークインタフェース１０４を介してストレージコントローラ１０２にライト及びリードする。また、サーバシステム１００は、ストレージコントローラ１０２とフロントエンドネットワーク１０６を介して接続し、そのインタフェース装置としてネットワークインタフェース１０４を持つ。サーバシステム１００は、複数のサーバ群で構成されてもよく、それぞれにネットワークインタフェース１０４を持ちストレージコントローラ１０２や、他のサーバシステム１００と接続してもよい。

【0043】

サーバシステム１００にストレージとしての機能を提供するため、ストレージ装置１０１内の二つのストレージコントローラ１０２は、冗長化されたコントローラを構成する。ストレージコントローラ１０２は、それぞれ、１又は複数のプロセッサ及び１又は複数の記憶装置を備える。ストレージ装置１０１内のストレージコントローラ１０２は同じ構成を有する。

【0044】

ストレージコントローラ１０２は、それぞれ、１又は複数のプロセッサを有し、各プロセッサのコアは、サーバシステム１００からのリードコマンドやライトコマンドに応じて、対応するドライブボックス１０５に格納されたデータを転送指示する。ストレージコントローラ１０２のメモリは、例えば、ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の半導体メモリで構成される。メモリは、揮発メモリとＳＣＭ（Ｓｔｏｒａｇｅ Ｃｌａｓｓ Ｍｅｍｏｒｙ）などの不揮発メモリと組み合わせて構成してもよい。

【0045】

メモリは、プロセッサの主記憶として、実行プログラム（ストレージ制御プログラム等）や、プロセッサが参照する管理テーブル等を格納する。また、メモリは、ストレージコントローラ１０２のディスクキャッシュ（キャッシュメモリ）としても使用される。ストレージコントローラ１０２は、ドライブボックス１０５に対するインタフェース装置としてネットワークインタフェース１０４を持つ。ネットワークインタフェース１０４は、サーバシステム１００から指示されたデータ転送や、データコピー等のストレージ処理にかかる処理に関する情報をドライブボックス１０５と通信する。

【0046】

ドライブボックス１０５は、ＳＳＤやＨＤＤ等のドライブを複数搭載し、それら複数ドライブとストレージコントローラ１０２を接続するために、内部スイッチ、並びに、転送処理に利用するプロセッサ及びメモリを含む。サーバシステム１００にて生成されたデータを、ストレージコントローラ１０２を介して受信し、格納、保持する。

【0047】

ドライブボックス１０５は保持しているデータの可用性を確保するために、内蔵されているドライブ間でＲＡＩＤを組んでもよいし、複数のドライブボックス１０５間でＲＡＩＤを組んでもよい。また、ドライブボックス１０５はストレージコントローラ１０２とバックエンドネットワーク１０７を介して接続し、そのインタフェース装置としてネットワークインタフェース１０４を持つ。

【0048】

ネットワークインタフェース１０４は、サーバシステム１００、ストレージコントローラ１０２、及びドライブボックス１０５それぞれに搭載され、各種装置と各種ネットワークとの接続インタフェースとなる装置である。

【0049】

ネットワークインタフェース１０４は、例えば、ＳｍａｒｔＮＩＣでもよい。ＳｍａｒｔＮＩＣの各種機能は、ＳｍａｒｔＮＩＣ搭載の汎用プロセッサ及び、一部ハードウェアオフロードエンジンを用いて実施される。また、ＳｍａｒｔＮＩＣはＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を用いた構成でもよく、その場合は、各機能はＦＧＰＡ上で実現される。さらに、その他の形態として、全体がハードウェア実装された専用インタフェースハードウェアとしての構成であってもよい。ネットワークインタフェース１０４の詳細は後述する。

【0050】

フロントエンドネットワーク１０６は、ストレージコントローラ１０２とサーバシステム１００の間を接続するストレージエリアネットワークで、例えば、ｉＳＣＳＩ、ＮＶＭｅ－ｏＦ（ＮＶＭｅ ｏｖｅｒ Ｆａｂｒｉｃｓ）等のＩＰネットワークが利用される。バックエンドネットワーク１０７は、ストレージコントローラ１０２とドライブボックス１０５の間を接続するネットワークであり、例えば、ｉＳＣＳＩ、ＮＶＭｅ－ｏＦ等のＩＰネットワークが利用される。

【0051】

ストレージコントローラ間ネットワーク１０８は、ストレージコントローラ１０２の冗長化のために利用するネットワークで、広帯域のインタコネクトで構成される。当該ネットワークを使って、ライトデータの２重化やメタデータの共有等を行い、一方のストレージコントローラ１０２が保守や障害等で閉塞しても、もう一方のストレージコントローラ１０２により、ストレージ処理を継続可能となる。

【0052】

外部ネットワーク１０９は、Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ（ＷＡＮ）、または、Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ（ＬＡＮ）で例えば、データリンク層がイーサネット（登録商標）、インターネット層がインターネットプロトコル、トランスポート層がＴＣＰ、または、ＵＤＰ等のネットワークで、ｉＳＣＳＩやＮＶＭｅ－ｏＦのＰｒｏｔｏｃｏｌ Ｄａｔａ Ｕｎｉｔ（ＰＤＵ）を用いた通信を行う。当該ネットワークは、インターネット回線又は専用回線の形態をとることができる。距離に応じて、通信遅延が大きくなり、ネットワーク機器をロスレス機器のみで構成しない場合、上記回線種によって発生率は異なるが、パケットロスの発生が想定される。

【0053】

なお、情報システム、ストレージシステムは、ここで示したもの以外も含んでよい。例えば、各ネットワークには、スイッチやルーター等のネットワーク機器が間に接続されてもよいし、監視や保守のための装置が接続されてもよい。また、パブリッククラウド上のストレージサービスに外部ネットワーク１０９を経由して接続する構成でもよい。

【0054】

サーバシステム１００のネットワークインタフェース１０４は、ストレージコントローラ１０２を介してドライブボックス１０５のデータを読み書きするために、ｉＳＣＳＩやＮＶＭｅ－ｏＦにおけるイニシエータソフトウェアを持つ。これに対して、ストレージコントローラのネットワークインタフェース１０４は、ターゲットソフトウェアを持つ。

【0055】

ストレージコントローラ１０２のネットワークインタフェース１０４は、ドライブボックス１０５のデータを読み書きするために、ｉＳＣＳＩやＮＶＭｅ－ｏＦにおけるイニシエータソフトウェアを持つ。これに対して、ドライブボックス１０５のネットワークインタフェース１０４はターゲットソフトウェアを持つ。

【0056】

さらに、ストレージコントローラ１０２のネットワークインタフェース１０４は、ほかのストレージ装置１０１のデータを読み書きするために、ｉＳＣＳＩやＮＶＭｅ－ｏＦにおけるイニシエータソフトウェアを持つ。これに対して他のストレージ装置１０１のネットワークインタフェース１０４は。ターゲットソフトウェアを持つ。

【0057】

なお、ネットワークインタフェース１０４の一部はＳｍａｒｔＮＩＣの機能性を持たないＮＩＣでもよい。例えば、１００内の１０４はＮＩＣでイニシエータとして動作し、１０２内の１０４はＳｍａｒｔＮＩＣでターゲットとして動作する構成などがある。

【0058】

図２は、本明細書の一実施形態にかかるネットワークインタフェース１０４の構成例を示す図である。ネットワークインタフェース１０４は、ホストバス２０１を介して、ネットワークインタフェース１０４を搭載する機器、例えば、ストレージコントローラ１０２やサーバシステム１００の内部構成やドライブボックス１０５等と接続される。ネットワークインタフェース１０４は、ネットワークパス２００を介して、例えばＩＰネットワーク接続で他の機器と接続する。

【0059】

ネットワークインタフェース１０４は、データプロセッシングユニット２０２及びメモリ２０８を含む。データプロセッシングユニット２０２は、ホストバス２０１に接続するためのホストインタフェース２０７、ネットワークパス２００と接続してネットワークプロトコルの処理を行うネットワークコントローラ２０３を含む。さらに、プロセッサ２０４、メモリコントローラ２０９、ＤＭＡ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）コントローラ２０５、及びキャッシュ２０６を含む。

【0060】

ホストバス２０１は、ネットワークインタフェース１０４をストレージコントローラ１０２やサーバシステム１００、ドライブボックス１０５等と接続するバスである。ホストバス２０１は、広帯域で高速なインタコネクトであり、例えば搭載する機器のプロセッサ等とＰＣＩｅで接続する構成をとる。

【0061】

ホストインタフェース２０７は、ホストバス２０１を介してネットワークインタフェース１０４とホストシステム（以下単にホストとも呼ぶ）を接続するためのインタフェースである。例えば、ホストバス２０１がＰＣＩｅの場合、例えばＰＣＩｅのＰＨＹを含むことができる。ＤＭＡコントローラ２０５は、ネットワークインタフェース１０４内のメモリ２０８とホストのメモリ間でデータをやり取りする。

【0062】

ネットワークパス２００は、例えば、ＩＰネットワークのパスで、ＷＡＮ、ＬＡＮ、または、ＳＡＮ（Ｓｔｏｒａｇｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）のネットワーク形態をとる。ネットワークインタフェース１０４は、１つのネットワークパス２００、または、冗長化することも考慮して２以上のネットワークパス２００を介して通信を行う。

【0063】

ネットワークコントローラ２０３は、ネットワークパス２００にネットワークインタフェース１０４を接続するためのインタフェースである。ネットワークコントローラ２０３は、例えば、ＰＨＹ等の物理層の処理、並びに、データリンク層、インターネット層、及びトランスポート層のステートレスな処理を実行する。ネットワークコントローラ２０３は、例えばチェックサムやフレーム処理を行う。

【0064】

ネットワークコントローラ２０３は、例えば、イーサネット、ＩＰ、ＴＣＰ、ＵＤＰ等に対応する。更に、ＩＰｓｅｃ（Ｉｎｔｅｒｎｅｔ Ｓｅｃｕｒｉｔｙ Ｐｒｏｔｏｃｏｌ）やＴＬＳ（Ｔｒａｎｓｐｏｒｔ Ｌａｙｅｒ Ｓｅｃｕｒｉｔｙ）、ＤＩＦ（Ｄａｔａ Ｉｎｔｅｇｒｉｔｙ Ｆｉｅｌｄ）等のオフロードエンジンを含んでもよい。また、光ケーブルやカッパーケーブル等との接続に対応した構成をとる。

【0065】

プロセッサ２０４は、例えば、汎用プロセッサであり、例えば、サーバシステム１００等でも利用されるオペレーティングシステムを実行する。プロセッサ２０４は、さらに、他のソフトウェアを実行して、プロトコル処理やコマンド処理やネットワークインタフェース１０４の管理等の処理を行う。プロセッサ２０４は、任意の構成を有することができ、例えば、１又は複数のＣＰＵ又はＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を含み、１又は複数のコア２４１を含むことができる。

【0066】

メモリ２０８は、例えば、ＳＤＲＡＭ等の半導体メモリで構成され、ＳＣＭなどの不揮発メモリと組み合わせて構成してもよい。メモリ２０８は、プロセッサ２０４の主記憶として、実行プログラム（プロトコル処理やコマンド処理の命令コード）や、プロセッサが参照する管理テーブル等を格納する。また、メモリ２０８は、ネットワークと送受信するコマンドやデータのバッファとしても利用される。更に、ネットワークコントローラ２０３やホストインタフェース２０７とキューイングインタフェースをとり、キューのディスクリプタやインデックス等を格納する。

【0067】

メモリコントローラ２０９は、メモリ２０８のデータを読み書きする際にメモリを制御するためのインタフェースである。メモリコントローラ２０９は、例えば、プロセッサ２０４に内蔵されてもよいし、データプロセッシングユニット２０２に内蔵されてもよいし、ネットワークインタフェース１０４に内蔵されてもよい。

【0068】

キャッシュ２０６は、メモリ２０８とプロセッサ２０４との間において、データを一時的に格納する。プロセッサ２０４は、メモリ２０８よりも高速にキャッシュ２０６にアクセスすることができる。メモリ２０８から読み出されたデータは、キャッシュ２０６に格納される。プロセッサ２０４は、メモリ２０８より前にキャッシュ２０６にアクセスしてデータ（コマンドを含む）を読み出す。キャッシュ２０６は階層構造を有することができる。よりプロセッサに近い階層から、Ｌ１キャッシュ、Ｌ２キャッシュ等と呼ばれる。プロセッサ２０４とＤＭＡコントローラ２０５はキャッシュ２０６に対してコヒーレント性を確保する（一貫性を持つ）。

【0069】

なお、情報システム及びストレージシステムは、ここで示したもの以外も含んでよいものとし、例えば、監視や保守のためのモジュールやインタフェース、ネットワークインタフェース１０４上で動作するオペレーティングシステムやソフトウェアプログラムが格納される不揮発の記憶装置が追加されてもよい。

【0070】

図３は本明細書の一実施形態にかかるネットワークインタフェースのプログラム構成を示す図である。ソフトウェアベースの変更可能な処理機能を実現するために、ネットワークインタフェース１０４は、汎用的なプロセッサ２０４、キャッシュ２０６及びメモリ２０８を用いて、オペレーティングシステム３００を動作させ、その上で各種処理のソフトウェアプログラムを動作させる。

【0071】

ソフトウェアプログラム３００～３０８は、メモリ２０８に展開され、プロセッサ２０４処理される。一部の命令は、キャッシュ２０６に格納される。なお、ＤＩＦ（Ｄａｔａ Ｉｎｔｅｇｒｉｔｙ Ｆｉｅｌｄ）やＣＲＣ（Ｃｙｃｌｉｃ Ｒｅｄｕｎｄａｎｃｙ Ｃｈｅｃｋ）、暗号、圧縮、ハッシュ、パリティ処理などハードウェア化したほうが効率の良くなる処理部分はハードウェアに実装し、ソフトウェアにより制御してもよい。

【0072】

オペレーティングシステム３００は、ネットワークインタフェースを動作させるための基盤となる基本ソフトウェアプログラムであり、ネットワークインタフェース全体を管理する。オペレーティングシステム３００は、ネットワークインタフェースのプロセッサ上で動作する各ソフトウェアに共通する利用環境を提供する。オペレーティングシステム３００は、組込み向けオペレーティングシステムでもよいし、サーバ上で動くような汎用オペレーティングシステム、例えばＬｉｎｕｘ（登録商標）等でもよい。

【0073】

ネットワークコントローラドライバ３０１は、ネットワークコントローラ２０３を制御するためのドライバソフトウェエアである。ネットワークコントローラドライバ３０１は、パケット生成またはパケット受信時にオフロードするパケット処理のパラメータセットをネットワークコントローラ２０３へ渡す。さらに、プロトコル処理３０３が生成したパケットをネットワークコントローラ２０３へ渡して送信させる。また、ネットワークコントローラ２０３から受信したパケットを、プロトコル処理３０３へ渡す。

【0074】

ホストインタフェースドライバ３０２は、ホストインタフェース２０７を制御するためのドライバソフトウェエアである。ネットワークインタフェース１０４とホストとの通信は、ホストインタフェースドライバ３０２を介して実行される。

【0075】

プロトコル処理３０３は、コマンド処理３０５、ＤＭＡ制御３０７、ネットワークコントローラドライバ３０１と連携して、送信パケットの生成及びその送信処理を行う。また、受信したパケットを処理して、制御情報やｉＳＣＳＩ ＰＤＵ、ＮＶＭｅ－ｏＦ ＰＤＵ等の情報及びデータを取り出して、取り出した情報をコマンド処理３０５へ渡す。

【0076】

プロトコル処理３０３は、インターネットプロトコル層のＩＰヘッダ処理、トランスポート層のＴＣＰヘッダ処理やＵＤＰヘッダ処理、そして、ｉＳＣＳＩ処理やＮＶＭｅ－ｏＦ処理を行う。例えば、プロトコル処理３０３は、ソケットプログラムや、ｉＳＣＳＩイニシエータまたはターゲット、ＮＶＭｅ－ｏＦイニシエータまたはターゲット等のプログラムを実行する。

【0077】

ホストキュー制御３０４は、ホストとコマンドのやり取りをするためのキューインタフェースを制御するためのソフトウェアである。ホストキュー制御３０４は、ネットワークインタフェース１０４内で、ホストへ送信するコマンドの内部キュー及びホストから受信したコマンドの内部キューを管理する。ホストキュー制御３０４は、ホストへのコマンド又はホストからのコマンドを内部キューに格納する。また、内部キューを例えば、リング構造としたときのＨｅａｄ及びＴａｉｌを制御する。ホストキュー制御３０４は、ホストが保持するコマンドキューのＨｅａｄ及びＴａｉｌを制御する。

【0078】

コマンド処理３０５は、ホストからネットワークインタフェース１０４を制御するためのコマンドを受信し、ネットワークインタフェース１０４を制御する。ネットワークプロトコルの処理要求をホストから受け、プロトコル処理３０３を起動し、プロトコル処理３０３の処理結果をホストへ応答する。また、ホストで確保されたメモリとのデータ転送のために、ＤＭＡ制御３０７を起動し、応答処理を行う。更に、初期設定や設定変更、ネットワークインタフェース１０４のソフトウェア交換や、障害時のホストへの通知等を行う。

【0079】

バッファ制御３０６は、メモリ２０８内でデータを一時的に保持するバッファを制御するためのソフトウェアである。バッファは、ネットワークから受信、ホストに転送するデータ又はホストから受信しネットワークに送信するデータを格納する。バッファ制御３０６は、異なる複数のサイズのバッファ群を確保、使用及び管理する。バッファ制御３０６は、キャッシュヒット率が向上するようにバッファを制御する。この点の詳細は後述される。

【0080】

ＤＭＡ制御３０７は、例えば、ホスト側で確保されたメモリと、ネットワークインタフェース１０４上のメモリ２０８と、の間のデータ転送を制御するため、ＤＭＡハードウェアとのインタフェース処理を行う。

【0081】

初期化／保守／障害処理３０８は、ネットワークインタフェース１０４を構成するハードウェアの初期化及び、各種ソフトウェアの初期化処理を行う。また、ネットワークインタフェース１０４のソフトエアの更新や、ハードウェア故障の検出及びホストへの通知等をサポートする。

【0082】

図４は、図３に示したストレージインタフェースのプログラムの関係の一例を示す図である。ネットワークインタフェース１０４では、オペレーティングシステム３００が動作し、各ソフトウェアプログラムはそれをベースに動作する。また、初期化／保守／障害処理３０８により、ネットワークインタフェース１０４は、初期設定、ソフトウェア更新等の保守、及び障害処理等を実行する。障害処理は、例えば、障害検出、並びに統計情報及びエラー情報などのダンプトレース情報の収集等を含む。

【0083】

ネットワークコントローラドライバ３０１は、ネットワークコントローラ２０３を制御し、ネットワークコントローラ２０３のパケットバッファに対して送信パケットを格納し、そのパケットバッファから受信パケットを取得する。また、データリンク層、インターネットプロトコル層、トランスポート層のフレーム処理や、ステートレスな処理、例えば、チェックサム計算等をオフロードするための設定を行う。

【0084】

ネットワークコントローラドライバ３０１の動作を受けて、プロトコル処理３０３は、ＩＰ、ＴＣＰ、ＵＤＰ、ｉＳＣＳＩ ＰＤＵ処理、ＮＶＭｅ－ｏＦ ＰＤＵ処理等のネットワークプロトコル処理を行う。プロトコル処理３０３は、ネットワークコントローラドライバ３０１からの受信パケットを処理して、制御情報やｉＳＣＳＩ ＰＤＵ、ＮＶＭｅ－ｏＦ ＰＤＵ等の情報及びデータを取り出す。受信パケットはデータを含まない場合もある。プロトコル処理３０３は取り出した情報を、コマンド処理３０５に渡す。データは、バッファ制御３０６により制御されているバッファを介して又はバッファを介することなくホストに転送され得る。

【0085】

プロトコル処理３０３は、コマンド処理３０５から取得した情報及びホストから送信されたデータをネットワークヘの送信パケットに含める。データは、バッファ制御３０６により制御されているバッファを介して又は介することなくネットワークに転送され得る。送信パケットは、データを含まない場合もある。

【0086】

コマンド処理３０５は、ホストキュー制御３０４、バッファ制御３０６及びＤＭＡ制御３０７と協働でコマンド処理を実行する。コマンド処理３０５は、ホストインタフェースドライバ３０２を介して、ホストインタフェース２０７を制御する。コマンド処理３０５は、ホストシステムとネットワーク通信の送信コマンドまたは受信コマンド、例えば、ｉＳＣＳＩやＮＶＭｅ－ｏＦのＰＤＵ生成のための情報、解析した情報又はＰＤＵそのものをやりとりする。コマンドは、キューインタフェースを用いて、ホストシステムとやり取りされる。ホストキュー制御３０４は、このキューインタフェースを制御する。

【0087】

コマンド処理３０５は、プロトコル処理３０３の結果より、ホストが処理できるディスクリプタを生成して、ホストキュー制御３０４を介して、キューに格納する。また、ホストシステムが生成したディスクリプタをキューから取得し、プロトコル処理３０３等、ネットワークインタフェース１０４内の各機能を設定、利用する。なお、キューのディスクリプタは、ＤＭＡ制御３０７によりＤＭＡコントローラ２０５を用いてホストシステムとネットワークインタフェース１０４でやり取りできる。

【0088】

図５は、ネットワークインタフェース１０４が、ホスト、例えば、ストレージコントローラと１０２と、コマンド及びデータを送受信する処理の概要を説明する図である。以下では、ホストとやり取りするコマンドをホストコマンドとも呼ぶ。

【0089】

ネットワークインタフェース１０４は、ネットワークからパケット３５１を受信し、その処理をいずれかのコア２４１に割り当てる。割り当てられたコア２４１は、そのプロトコル処理を実行して、情報及びデータを取り出す。図５の例において、取り出されたデータはバッファ３８１に格納される。コア２４１は、受信パケット３５１から取り出した情報から、ホストに送るホストコマンド３５５を生成する。

【0090】

ホストコマンドは内部送信キュー３７１に格納される。内部送信キュー３７１は、コア２４１毎に用意されており、図５において、一つの内部送信キューが例として符号３７１で指示されている。図５の例において、内部送信キュー３７１はリングバッファ（ＦＩＦＯ）であり、新たなコマンドはそのＴａｉｌ領域に格納される。各内部送信キュー３７１のＨｅａｄ及びＴａｉｌが管理される。

【0091】

ネットワークインタフェース１０４は、内部送信キュー３７１のＨｅａｄから取り出したホストコマンドを、ホスト４００のホスト送信キュー４０１に転送する。ホスト４００は、例えば、ストレージコントローラ１０２やサーバシステム１００である。ホスト送信キュー４０１は、図５の例においてリングバッファである。ネットワークインタフェース１０４は、ホスト４００と共に、ホスト送信キュー４０１のＨｅａｄ及びＴａｉｌを管理する。

【0092】

図５の例において、複数の内部送信キュー３７１からのホストコマンドが、一つのホスト送信キュー４０１に転送される。他の例において、複数のホスト送信キュー４０１が用意されていてよく、例えば、内部送信キュー３７１それぞれと対応する同数のホスト送信キュー４０１が使用されてもよい。

【0093】

ホスト４００は、ネットワークインタフェース１０４に転送するホストコマンドをホスト受信キュー４０２に格納する。ホスト受信キュー４０２はリングバッファである。ネットワークインタフェース１０４は、ホスト４００と共に、ホスト受信キュー４０２のＨｅａｄ及びＴａｉｌを管理する。

【0094】

ネットワークインタフェース１０４は、ホスト受信キュー４０２のコマンドをその内部受信キュー３７２に転送する。内部受信キュー３７２は、コア２４１毎に用意されており、図５において、ホストから転送してきたホストコマンドを見て、対応する一つの内部受信キューを選択して転送する。このとき、ホストコマンドを見るのは、ホストキュー制御３０４でもよいし、ＤＭＡのハードウェアでもよい。一つの内部受信キューが例として符号３７２で指示されている。複数のホスト受信キュー４０２が用意されていてよく、例えば、内部受信キュー３７２への振り分け処理が不要となるように、内部受信キュー３７２それぞれと対応する同数のホスト受信キュー４０２が使用されてもよい。

【0095】

ネットワークインタフェース１０４は、ホスト４００からのホストコマンドに応じてバッファ３８１に格納されているデータをホスト４００に転送し、また、ホスト４００のメモリに格納されているデータ３５４をバッファ３８２に転送する。後述するように、バッファ３８１、３８２は、キャッシュヒット率が向上するように制御される。

【0096】

ネットワークにデータ３５４を含むパケットを送信するホストコマンド３５６を受信すると、ネットワークインタフェース１０４は、そのホストコマンド３５６により、データ３５４のプロトコル処理を実行して、送信パケット３５２を生成する。ネットワークインタフェース１０４は、送信パケット３５２をネットワークに送信する。

【0097】

図６Ａ及び図６Ｂは、データ転送のいくつかの態様を説明する図である。図６Ａは、ネットワークインタフェース１０４のキャッシュ２０６／メモリ２０８を使用するデータ転送のいくつかの例を示し、図６Ｂは、キャッシュ２０６／メモリ２０８を使用しないデータ転送のいくつかの例を示す。データ転送は、ＤＭＡコントローラ２０５を使用して実行される。ネットワークインタフェース１０４は、図６Ａ及び６Ｂに示す全てのデータ転送をサポートしてよく、一部、例えば、図６Ａのデータ転送のみをサポートしてもよい。

【0098】

図６Ａは、ネットワークインタフェース１０４のキャッシュ／メモリを介すデータ転送を示す。例えば、ｉＳＣＳＩやＮＶＭｅ ＴＣＰのデータ転送が該当する。図６Ａにおいて、データ転送５０１は、ホスト４００とネットワークインタフェース１０４のキャッシュ２０６／メモリ２０８の間で実行される。データ転送５０１において、エラーチェックや保証コードの付与や除去は行われていない。データ転送５０１は、例えば、ネットワークインタフェース１０４上で動作するプログラムの更新データや、キューを介して転送するディスクリプタの転送等が該当する。データ転送５１１は、ホスト４００とリモートサイト４５０との間で、ネットワークインタフェース１０４のキャッシュ２０６／メモリ２０８を介して実行される。データ転送５１１において、エラーチェックや保証コードの付与や除去は行われていない。

【0099】

データ転送５１２は、リモートサイト４５０からホスト４００に対して、ネットワークインタフェース１０４のキャッシュ２０６／メモリ２０８を介して実行される。ＤＭＡコントローラ２０５は、リモートサイト４５０からのデータにＤＩＦ（Ｄａｔａ Ｉｎｔｅｇｒｉｔｙ Ｆｉｅｌｄ）を付与して、ホスト４００に転送する。ＤＩＦを生成するため情報は、ホスト４００から得られる。

【0100】

データ転送５１３は、ホスト４００からリモートサイト４５０に対して、ネットワークインタフェース１０４のキャッシュ２０６／メモリ２０８を介して実行される。ＤＭＡコントローラ２０５は、ホスト４００からのデータに付与されているＤＩＦを参照してデータチェックを行い、そのＤＩＦをデータから除去する。ＤＩＦが除去されたデータが、リモートサイト４５０に転送される。

【0101】

データ転送５１４は、ホスト４００とリモートサイト４５０との間で、ネットワークインタフェース１０４のキャッシュ２０６／メモリ２０８を介して実行される。転送されるデータにはＤＩＦが付与されている。ＤＭＡコントローラ２０５は、データに付与されているＤＩＦを参照してエラーチェックを実行する。

【0102】

データ転送５１５は、ホスト４００とリモートサイト４５０との間で、ネットワークインタフェース１０４のキャッシュ２０６／メモリ２０８を介して実行される。転送されるデータにはＤＩＦが付与されている。ＤＭＡコントローラ２０５は、データに付与されているＤＩＦを参照してエラーチェックを実行すると共に、ＤＩＦを除去して新たなＤＩＦを付与する。

【0103】

図６Ｂは、ネットワークインタフェース１０４のキャッシュ／メモリを介さないデータ転送を示す。例えば、ＲＤＭＡ（Ｒｅｍｏｔｅ Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）が該当する。

【0104】

データ転送５２１は、ホスト４００とリモートサイト４５０との間で実行される。データ転送５２１において、エラーチェックや保証コードの付与や除去は行われていない。データ転送５２２は、リモートサイト４５０からホスト４００に対して実行される。ＤＭＡコントローラ２０５は、リモートサイト４５０からのデータにＤＩＦ（Ｄａｔａ Ｉｎｔｅｇｒｉｔｙ Ｆｉｅｌｄ）を付与して、ホスト４００に転送する。

【0105】

データ転送５２３は、ホスト４００からリモートサイト４５０に対して実行される。ＤＭＡコントローラ２０５は、ホスト４００からのデータに付与されているＤＩＦを参照してデータチェックを行い、そのＤＩＦをデータから除去する。ＤＩＦが除去されたデータが、リモートサイト４５０に転送される。

【0106】

データ転送５２４は、ホスト４００とリモートサイト４５０との間で実行される。転送されるデータにはＤＩＦが付与されている。ＤＭＡコントローラ２０５は、データに付与されているＤＩＦを参照してエラーチェックを実行する。データ転送５２５は、ホスト４００とリモートサイト４５０との間で実行される。転送されるデータにはＤＩＦが付与されている。ＤＭＡコントローラ２０５は、データに付与されているＤＩＦを参照してエラーチェックを実行すると共に、ＤＩＦを除去して新たなＤＩＦを付与する。

【0107】

図７は、バッファリストの構成例を示す。ネットワークインタフェース１０４は、メモリ２０８内に、異なるサイズのバッファ群を作成及び管理する。各バッファ群は複数のバッファで構成されている。異なるサイズは、サポートするデータ転送サイズに応じて設定されている。例えば、８ＫＢ、１６ＫＢ、３２ＫＢ・・・、２５６ＫＢ等のサイズのバッファが、ネットワークインタフェース１０４の起動時に確保される。

【0108】

各バッファ群は、対応するバッファリストにより管理される。図７は、サイズＸのバッファ群のバッファリスト７００Ａ、サイズＹのバッファ群のバッファリスト７００Ｂ、及びサイズＺのバッファ群のバッファリスト７００Ｃ、を例として示す。バッファリストは、バッファ制御３０６により管理される。

【0109】

各バッファリストは、複数のバッファエントリ７０３を含む。図７は、例として一つのバッファエントリを符号７０３で指示する。バッファエントリ７０３は矩形で表され、その内部の数字はエントリ番号を示す。例えば、サイズが８ＫＢのバッファリストは、バッファエントリ数の８ＫＢのバッファを管理する。バッファエントリ７０３は、対応するバッファの情報を示す。

【0110】

図８Ａは、各バッファリストに含まれるバッファリスト管理情報７５０を示す。バッファリスト管理情報は、バッファエントリヘッドアドレス７５１及びバッファアクティブ数７５２を示す。バッファエントリヘッドアドレス７５１は、バッファリストの先頭のエントリのアドレスを示す。バッファアクティブ数７５２は、現在使用中のバッファエントリの数を示す。

【0111】

図８Ｂは、バッファエントリ７０３が保持している情報を示す。バッファエントリ７０３は、バッファエントリアドレス７６１、バッファアドレス７６２及びネクストバッファエントリアドレス７６３を示す。バッファエントリアドレス７６１は、当該バッファエントリのアドレスを示す。バッファアドレス７６２は、当該バッファエントリ７０３が管理するバッファのメモリ２０８内のアドレスを示す。ネクストバッファエントリアドレス７６３は、当該バッファエントリ７０３の次のバッファエントリのアドレスを示す。

【0112】

バッファエントリ７０３は、不図示のフィールドにおいて、当該バッファがアクティブであるか、空きであるかを管理してもよい。バッファエントリヘッドアドレス７５１は、空きバッファのバッファエントリの先頭エントリを示す。ネクストバッファエントリアドレス７６３に従って空きバッファのバッファエントリが順序付けされて並ぶ。このように、バッファリストは、新たなデータを格納するために、先頭バッファエントリからバッファエントリが選択される。このように、空きバッファの割り当て順序が管理される。

【0113】

先頭バッファエントリが選択されると、バッファエントリヘッドアドレス７５１が更新される。このため、使用中バッファのエントリは、空バッファのエントリのリストから外される。後述するように、データ転送で使用された後に解放されたバッファのエントリは、空きバッファエントリのリストの所定の位置、後述する例において先頭位置に戻される。

【0114】

上記複数バッファサイズのバッファリストによって、Ｉ／Ｏ中のバッファ確保負荷を削減しつつ、短データ長と長データ長でバッファを使い分けることで、多くの短データ長の転送要求が来た時は使用するメモリ量を減らし、長データ長の転送要求が来た時にバッファ使用数を少なくすることで、リストを引く負荷を削減する。

【0115】

図９は、バッファ管理テーブル９００の構成例を示す。バッファ管理テーブル９００は、バッファを管理するための情報を示し、ストレージコントローラ１０２により生成される。バッファ管理テーブル９００は、バッファ群を動的に変更可能とする。具体的には、バッファ管理テーブル９００は、バッファリスト７７１、バッファサイズ７７２、バッファ数７７３、最大アクティブ数７７４、及び制御タイプ７７５を示す。

【0116】

バッファリスト７７１は、バッファリストの識別子を示す。バッファサイズ７７２は、バッファリストが管理するバッファ群のバッファサイズを示す。バッファ数７７３は、バッファリストが管理するバッファ数、つまり、バッファエントリ数を示す。バッファ数７７３は、初期化において確保されるバッファ数を示す。最大アクティブ数７７４は、バッファリストが管理するバッファ群における同時使用の最大バッファ数を示す。最大アクティブ数を変更することで、同時に使用できる最大バッファ数を動的にコントロールする。制御タイプ７７５は、バッファの制御タイプを示す。制御タイプに応じて、バッファの制御方法を切り替える。例えば、バッファの許容アクティブ数の計算方法をバッファリスト毎に行うか、すべてのバッファリストのアクティブ数を踏まえて行うかが切り替えられる。また、バッファリストのバッファサイズ上の転送の時に、複数バッファを使うか、新しく領域を確保するかの方式を切り替えられる。

【0117】

図１０は、ターゲットのネットワークインタフェース１０４の処理フローの例を示す。ネットワークインタフェース１０４は、ネットワークからネットワークインタフェース１０４のホストへの通信パケットに対する処理を実行する。例えばホストはターゲットのストレージコントローラ１０２であり、ネットワーク１０６を介してイニシエータのサーバシステム１００から通信パケットが転送される。

【0118】

ネットワークコントローラ２０３は、ネットワークから通信パケットを受信する（Ｓ１０１）。ネットワークコントローラ２０３は、受信した通信パケットのプロトコル処理を、プロセッサ２０４のコアに振り分ける（Ｓ１０２）。

【0119】

通信パケットのプロトコル処理を割り当てられてコアは、プロトコル処理３０３を実行する（Ｓ１０３）。プロトコル処理３０３は、通信パケットから情報を抽出して、コマンド処理３０５に渡す。

【0120】

コマンド処理３０５は、通信パケットから抽出された情報に応じて、ホストに通信プロトコル処理結果を通知するためのホストコマンドを生成する（Ｓ１０４）。処理結果の通知は、例えば、ネットワークからリード要求やライト要求が受信されたことをストレージコントローラ１０２に通知する。さらに、コマンド処理３０５は、生成したホストコマンドを、ネットワークインタフェース１０４内の内部送信キュー３７１に積み込む（Ｓ１０５）。ホストコマンドの積み込みに応答して、コマンド処理３０５は、内部送信キュー３７１のＴａｉｌを更新する（Ｓ１０６）。

【0121】

ホストキュー制御３０４は、担当するコアの内部送信キュー３７１のＴａｉｌ更新を受けて、内部送信キュー３７１のホストコマンドを、ＤＭＡ制御３０７を介してＤＭＡコントローラ２０５を使用して、ホスト送信キューに転送する（Ｓ１０７）。ホストコマンドの転送に応じて、ホストキュー制御３０４は、ホスト送信キュー４０１のＴａｉｌを更新する（Ｓ１０８）。ホスト送信キュー４０１のＴａｉｌやＨｅａｄの情報は、ネットワークインタフェース１０４とホストが同一情報を参照してもよく、それぞれが保持する情報を転送してもよい。さらに、ホストキュー制御３０４は、内部送信キューのＨｅａｄを更新する（Ｓ１０９）。

【0122】

ホストは、ホスト送信キュー４０１からホストコマンドを取得し、ホスト送信キューのＨｅａｄを更新する（Ｓ１１０）。ネットワークインタフェース１０４は、ホスト送信キューのＨｅａｄをホスト側の更新に合わせて受取って更新してもよいし、別のタイミングでホストから通知を受けてもよい。ホストは取得したホストコマンドを参照し、ネットワークインタフェース１０４にコマンドを送る必要があるか判定する（Ｓ１１１）。

【0123】

ホストがネットワークインタフェース１０４にホストコマンドを送る必要がある場合（Ｓ１１１：ＹＥＳ）、ホストは、ホスト受信キュー４０２にホストコマンドを積み込み（Ｓ１１２）、ホスト受信キュー４０２のＴａｉｌを更新する（Ｓ１１３）。ホストが持つホスト受信キュー４０２の情報の更新に応答して、ネットワークインタフェース１０４も、それが持つホスト受信キュー４０２の情報を更新する。この更新は、ホストとネットワークインタフェース１０４が共通の情報を参照してもよく、更新情報をそれらの間で転送してもよい。

【0124】

ホスト受信キュー４０２のＴａｉｌ更新を受けて、いずれかのコアのホストキュー制御３０４は、ＤＭＡ制御３０７によってＤＭＡコントローラ２０５を使用して、ホスト受信キュー４０２に積まれたホストコマンドを、ネットワークインタフェース１０４に転送する（Ｓ１１４）。例えば、定期的に各コアがロックを取り合って、ホスト受信キューの更新がないかを見て、更新がある場合は転送処理をしてもよいし、ホスト受信キューの更新確認と転送を専用に行うコアを持ってもよいし、複数ホスト受信キューを作り、自分の担当の受信キューに更新があった場合は転送処理をするとしてもよい。ホストキュー制御３０４は、ホストからのホストコマンドを内部受信キュー３７２に積み込む（Ｓ１１５）。例えば、ホストコマンドの中を確認して、どの内部受信キュー３７２に積み込むかを判定してもよいし、複数ホスト受信キューがある場合は、対応した内部受信キュー３７２に積み込んでもよい。

【0125】

ホストコマンドの内部受信キュー３７２への積み込みに応答して、ホストキュー制御３０４は、内部受信キュー３７２のＴａｉｌを更新し（Ｓ１１６）、さらに、ホスト受信キュー４０２のＨｅａｄを更新する（Ｓ１１７）。ホスト受信キュー４０２のＨｅａｄの更新方法は、ホスト受信キュー４０２のＴａｉｌの更新について説明した通りである。

【0126】

コマンド処理３０５は、内部受信キュー３７２よりホストコマンドを取得して、処理を実行する（Ｓ１１８）。バッファを使用したデータ転送が必要な場合（Ｓ１１９：ＹＥＳ）、バッファ制御ステップＳ１２０が実行される。バッファ制御ステップＳ１２０の詳細は後述する。データ転送は、ネットワークからホストへのデータ転送又はホストからネットワークへのデータ転送である。

【0127】

バッファ確保に失敗した場合（Ｓ１２１：ＮＯ）、フローはステップＳ１１８に戻る。バッファ確保できた場合（Ｓ１２１：ＹＥＳ）、コマンド処理３０５は、ＤＭＡ制御３０７によりＤＭＡコントローラ２０５を使用してホストからデータをバッファに転送する、又は、ネットワークコントローラ２０３からのデータをバッファに格納し、バッファからホストにＤＭＡコントローラ２０５を使用して転送する（Ｓ１２３）。データ転送に応答して、ホストキュー制御３０４は、内部受信キュー３７２のＨｅａｄを更新する（Ｓ１２４）。

【0128】

ステップＳ１１９に戻って、バッファを使用したデータ転送が不要な場合（Ｓ１１９：ＮＯ）、コマンド処理３０５は、データ転送の有無を判定する（Ｓ１２２）。バッファを使用しないデータ転送が必要である場合（Ｓ１２２：ＹＥＳ）、ＤＭＡコントローラ２０５は、バッファを介することなく、ネットワークコントローラ２０３とホストとの間でデータを転送する（Ｓ１２３）。バッファを使用しないデータ転送が不要である場合（Ｓ１２２：ＮＯ）、データ転送せずに次の処理を行う。ホストキュー制御３０４は、内部受信キュー３７２のＨｅａｄを更新する（Ｓ１２４）。

【0129】

次に、コマンド処理３０５は、ネットワークに対して通信パケットを送信する必要があるか判定する（Ｓ１２５）。不要である場合（Ｓ１２５：ＮＯ）、フローはステップＳ１０４に戻る。必要である場合（Ｓ１２５：ＹＥＳ）、コマンド処理３０５はプロトコル処理３０３に依頼し、プロトコル処理３０３がプロトコル処理を実行して通信パケットを生成し、ネットワークコントローラ２０３が通信パケットをネットワークに送信する（Ｓ１２６）。

【0130】

図１１は、イニシエータのネットワークインタフェース１０４の処理フロー例を示す。例えば、ストレージコントローラ１０２にアクセスするサーバシステム１００や、ストレージ間通信でのイニシエータのストレージコントローラ１０２に実装されたネットワークインタフェース１０４は、図１１に従って動作する。

【0131】

ホストは、ホスト受信キュー４０２にホストコマンドを積み込み（Ｓ１５１）、ホスト受信キュー４０２のＴａｉｌを更新する（Ｓ１５２）。ホストが持つホスト受信キュー４０２の情報の更新に応答して、ネットワークインタフェース１０４も、それが持つホスト受信キュー４０２の情報を更新する。ホストとネットワークインタフェース１０４が共通の情報を参照してもよく、更新情報をそれらの間で転送してもよい。

【0132】

ホスト受信キュー４０２のＴａｉｌ更新を受けて、いずれかのコアのコマンド処理３０５は、ＤＭＡ制御３０７によってＤＭＡコントローラ２０５を使用して、ホスト受信キュー４０２に積まれたホストコマンドを、ネットワークインタフェース１０４に転送する（Ｓ１５３）。例えば、定期的に各コアがロックを取り合って、ホスト受信キューの更新がないかを見て、更新がある場合は転送処理をしてもよいし、ホスト受信キューの更新確認と転送を専用に行うコアを持ってもよいし、複数ホスト受信キューを作り、自分の担当の受信キューに更新があった場合は転送処理をするとしてもよい。

【0133】

ホストキュー制御３０４は、ホストからのホストコマンドを内部受信キュー３７２に積み込む（Ｓ１５４）。例えば、新しいセッションであれば、ラウンドロビンで積み込み先の内部受信キュー３７２を選択してもよいし、ホストコマンドの中を確認して、どの内部受信キュー３７２に積み込むかを判定してもよいし、複数ホスト受信キューがある場合は、対応した内部受信キュー３７２に積み込んでもよい。

【0134】

ホストコマンドの内部受信キュー３７２への積み込みに応答して、ホストキュー制御３０４は、内部受信キュー３７２のＴａｉｌを更新し（Ｓ１５５）、さらに、ホスト受信キュー４０２のＨｅａｄを更新する（Ｓ１５６）。ホスト受信キュー４０２のＨｅａｄの更新方法は、ホスト受信キュー４０２のＴａｉｌの更新について説明した通りである。

【0135】

コマンド処理３０５は、内部受信キュー３７２よりホストコマンドを取得して、処理を実行する（Ｓ１５７）。バッファを使用したデータ転送が必要な場合（Ｓ１５８：ＹＥＳ）、バッファ制御ステップＳ１５９が実行される。バッファ制御ステップＳ１５９の詳細は後述する。データ転送は、例えばホストからネットワークへのデータ転送又はホストからネットワークへのデータ転送である。

【0136】

バッファ確保に失敗した場合（Ｓ１６０：ＮＯ）、フローはステップＳ１５７に戻る。バッファ確保できた場合（Ｓ１６０：ＹＥＳ）、コマンド処理３０５は、ＤＭＡ制御３０７によりＤＭＡコントローラ２０５を使用して、データをバッファに転送する（Ｓ１２３）。データ転送に応答して、ホストキュー制御３０４は、内部受信キュー３７２のＨｅａｄを更新する（Ｓ１６３）。

【0137】

ステップＳ１５８に戻って、バッファを使用したデータ転送が不要な場合（Ｓ１１９：ＮＯ）、コマンド処理３０５は、データ転送の有無を判定する（Ｓ１６１）。バッファを使用しないデータ転送が必要である場合（Ｓ１６１：ＹＥＳ）、ＤＭＡコントローラ２０５は、バッファを介することなく、ネットワークコントローラ２０３とホストとの間でデータを転送する（Ｓ１２３）。バッファを使用しないデータ転送が不要である場合（Ｓ６１：ＮＯ）、ホストキュー制御３０４は、内部受信キュー３７２のＨｅａｄを更新する（Ｓ１６３）。

【0138】

次に、コマンド処理３０５は、ネットワークに対して通信パケットを送信する必要があるか判定する（Ｓ１６４）。不要である場合（Ｓ１６４：ＮＯ）、フローはステップＳ１６６に進む。必要である場合（Ｓ１６４：ＹＥＳ）、コマンド処理３０５は、プロトコル処理３０３に依頼し、プロトコル処理３０３はプロトコル処理を実行して通信パケットを生成し、ネットワークコントローラ２０３が通信パケットをネットワークに送信する（Ｓ１６５）。

【0139】

次に、コマンド処理３０５は、ホストからのホストコマンドの処理結果を、ホストに通知するためのホストコマンドを生成する（Ｓ１６６）。処理結果の通知は、例えば、ネットワークに通信パケットを送信したことをホストに通知する。さらに、コマンド処理３０５は、生成したホストコマンドを、ネットワークインタフェース１０４内の内部送信キュー３７１に積み込む（Ｓ１６７）。ホストコマンドの積み込みに応答して、コマンド処理３０５は、内部送信キュー３７１のＴａｉｌを更新する（Ｓ１６８）。

【0140】

内部送信キュー３７１のＴａｉｌ更新を受けて、ホストキュー制御３０４は、担当するコアの内部送信キュー３７１のＴａｉｌ更新を受けて、内部送信キュー３７１のホストコマンドを、ＤＭＡ制御３０７を介してＤＭＡコントローラ２０５を使用して、ホスト送信キューに転送する。（Ｓ１６９）。ホストデータの転送に応じて、ホストキュー制御３０４は、ホスト送信キュー４０１のＴａｉｌを更新する（Ｓ１７０）。ホスト送信キュー４０１のＴａｉｌやＨｅａｄの情報は、ネットワークインタフェース１０４とホストが同一情報を参照してもよく、それぞれが保持する情報を転送してもよい。さらに、ホストキュー制御３０４は、内部送信キューのＨｅａｄを更新する（Ｓ１７１）。

【0141】

ホストは、ホスト送信キュー４０１からホストコマンドを取得し、ホスト送信キューのＨｅａｄを更新する（Ｓ１７２）。

【0142】

以下において、図１０及び図１１におけるバッファ制御ステップＳ１２０、Ｓ１５９を含む、バッファ制御処理の詳細を説明する。図１２は、バッファ制御処理例のフローチャートを示す。まず、バッファ制御３０６は、例えばコマンド処理３０５から、バッファ確保要求を取得する（Ｓ２０１）。

【0143】

バッファ制御３０６は、バッファリスト判定ステップを実行する（Ｓ２０２）。バッファリスト判定ステップは、異なるサイズのバッファ群において、いずれのバッファ群を使用するか決定する。バッファリスト判定ステップの詳細は後述する。

【0144】

さらに、バッファ制御３０６は、選択したバッファ群のバッファリスト及びバッファ管理テーブル７７０を参照し、最大アクティブ数判定ステップを実行する（Ｓ２０３）。最大アクティブ数判定ステップの詳細は後述する。最大アクティブ数判定ステップは、今回のバッファ制御の実行又は待機を判定する。最大アクティブ数判定ステップＳ２０３において、バッファ制御を実行すると判定されると、フローは、ステップＳ２０４に進む。

【0145】

バッファ制御３０６は、バッファリスト判定ステップＳ２０２で決定されたバッファリストを参照し（Ｓ２０４）、当該バッファリストのバッファエントリヘッドアドレス７５１を取得する（Ｓ２０５）。バッファ制御３０６は、取得したバッファエントリヘッドアドレスにアクセスして、バッファエントリ７０３を取得する（Ｓ２０６）。

【0146】

バッファ制御３０６は、取得したバッファエントリ７０３から、ネクストバッファエントリアドレス７６３を取得し（Ｓ２０７）、さらに、バッファアドレス７６２を取得する（Ｓ２０８）。

【0147】

次に、バッファ制御３０６は、ネクストバッファエントリアドレス７６３を、バッファリスト管理情報７５０の、バッファエントリヘッドアドレス７５１に反映する（Ｓ２０９）。バッファ制御３０６は、使用したバッファリスト及びバッファエントリを、データ転送に関連するタスク情報として保持する（Ｓ２１０）。１又は複数のバッファリストそれぞれの１又は複数のエントリが、実行中（完了前）のタスクの情報として保持され得る。バッファ制御３０６は、バッファリスト管理情報７５０のバッファアクティブ数７５２をインクリメントする（Ｓ２１１）。

【0148】

バッファを使用したデータ転送が実行され（Ｓ２１２）、データ転送が完了すると（Ｓ２１３）、バッファ制御３０６は、ステップ２１０で保持されたデータ転送に関連するタスク情報より、データ転送が対応するバッファリスト及びバッファエントリを特定する。バッファ制御３０６は、そのバッファリストのバッファエントリヘッドアドレス７５１を取得する（Ｓ２１５）。

【0149】

バッファ制御３０６は、タスク情報から特定したバッファエントリのネクストバッファエントリアドレス７６３に、取得したバッファエントリヘッドアドレス７５１を反映する（Ｓ２１６）。バッファ制御３０６は、バッファエントリヘッドアドレス７５１に、タスク情報から特定したバッファエントリのアドレス７６１を設定する（Ｓ２１７）。最後に、バッファ制御３０６は、バッファリストのバッファアクティブ数７５２をデクリメントする。

【0150】

上記操作によると、直前にデータ転送が完了したバッファエントリが、バッファリストの先頭に戻る。次のデータ転送は、バッファリストの先頭バッファエントリから使用する。キャッシュ領域は、関連付けられているバッファ領域のデータを格納する。そのため、同じバッファを使いまわすことになり、そのバッファのデータがキャッシュされていた場合、キャッシュヒットする。これにより、メモリアクセス回数を減らすことができる。なお、解放されたバッファは、バッファリストに先頭と異なる位置に戻されてもよい。例えば、予め設定されている順より前に戻される。上記例においては先頭が予め設定されている順である。

【0151】

次に、バッファリスト判定ステップＳ２０２の処理を説明する。図１３は、バッファリスト判定処理例のフローチャートを示す。本例において、Ｘ、Ｙ及びＺの３種類の異なるサイズのバッファが、対応するバッファリストによって管理されているとする。大小関係は、次の通りとする、Ｘ＜Ｙ＜Ｚ。例えば、Ｘ＝８ＫＢ、Ｙ＝３２ＫＢ、Ｚ＝２５６ＫＢであってもよい。なお、バッファサイズの種類数は任意であり、それぞれのサイズも任意である。

【0152】

バッファ制御３０６は、ホストコマンドから、転送するデータサイズを取得する（Ｓ２５１）。データサイズがＸ以下である場合（Ｓ２５２：ＹＥＳ）、バッファ制御３０６は、サイズＸのバッファリストを選択する（Ｓ２５３）。データサイズがＸより大きくＹ以下である場合（Ｓ２５２：ＮＯ、Ｓ２５４：ＹＥＳ）、バッファ制御３０６は、サイズＹのバッファリストを選択する（Ｓ２５５）。

【0153】

データサイズがＹより大きくＺ以下である場合（Ｓ２５４：ＮＯ、Ｓ２５６：ＹＥＳ）、バッファ制御３０６は、サイズＺのバッファリストを選択する（Ｓ２５３）。データサイズがＺより大きい場合（Ｓ２５６：ＮＯ）、バッファ制御３０６は、Ｚより大きいロングサイズのバッファをメモリ２０８において確保する（Ｓ２５８）。

【0154】

上述のように、小さいサイズのバッファリストから順次判定することで、転送データサイズ以上のバッファサイズの内の最小バッファサイズのバッファが、転送データを格納するために選択される。これにより、効率的にバッファ領域を使用することができる。ロングサイズデータのバッファ領域をその場で確保するのは、長いデータサイズだとＤＭＡ２０５によるデータ転送時間が長くなり、データ転送中のプロセッサ負荷が低いため、その都度確保してもプロセッサ負荷が低いからである。また、ロングサイズのデータは、キャッシュから容易にあふれてメモリアクセスが発生するため、リスト管理しなくてもよいからである。

【0155】

次に、バッファリスト判定ステップＳ２０２と異なる方法でバッファリスト判定を行う例を説明する。図１２及び１３を参照して説明した例は、転送データを一つのバッファ内に格納する。以下に説明する例は、大きい転送データを複数のバッファに分散して格納する。これにより、バッファリストで管理されているバッファサイズより大きい転送データを、バッファリストで管理しているバッファに格納できる。

【0156】

図１４は、バッファ制御処理例のフローチャートである。図１２示すフローチャートからの相違を主に説明する。バッファ制御３０６は、バッファリスト判定ステップＳ２７１を実行する。バッファリスト判定ステップＳ２７１は、図１２のバッファリスト判定ステップＳ２０２と異なる。バッファ制御３０６は、ステップＳ２１１の後、ステップＳ２７３を実行し、ステップＳ２１８の後ステップＳ２７５を実行する。

【0157】

まず、バッファリスト判定ステップＳ２７１を説明する。図１５は、バッファリスト判定ステップＳ２７１における処理例のフローチャートを示す。バッファ制御３０６は、ホストコマンドから、転送するデータの残りデータサイズを取得する（Ｓ３０１）。残りデータサイズがＸ以下である場合（Ｓ３０２：ＹＥＳ）、バッファ制御３０６は、サイズＸのバッファリストを選択し、さらに、残りデータサイズをＸだけ削減する（Ｓ３０３）。

【0158】

残りデータサイズがＸより大きくＹ以下である場合（Ｓ３０２：ＮＯ、Ｓ３０４：ＹＥＳ）、バッファ制御３０６は、サイズＹのバッファリストを選択し、さらに、残りデータサイズをＹだけ削減する（Ｓ３０５）。残りデータサイズがＹより大きくＺ以下である場合（Ｓ３０４：ＮＯ、Ｓ３０６：ＹＥＳ）、バッファ制御３０６は、サイズＺのバッファリストを選択し、残りデータサイズをＺだけ削減する（Ｓ３０７）。

【0159】

残りデータサイズがＺより大きい場合（Ｓ３０６：ＮＯ）、又は、上記ステップＳ３０３、Ｓ３０６又はＳ３０７のいずれかが実行された後、バッファ制御３０６は、残りデータサイズが存在するか判定する（Ｓ３０８）。割り当てたバッファの総サイズが転送データサイズ以上である場合、残りデータサイズは０である。残りデータサイズが存在する場合（Ｓ３０８：ＹＥＳ）、フローはステップＳ３０２に戻る。残りデータサイズが存在しない場合（Ｓ３０８：ＮＯ）、当該バッファリスト判定処理は終了する。

【0160】

図１５を参照して説明したように、大きいサイズの転送データは複数の部分データに分割され、それぞれに対応するサイズのバッファが割り当てられる。図１４に戻って、バッファ制御３０６は、ステップＳ２０４からＳ２１１を各部分データについて実行する。ステップＳ２７３は、全ての部分データについてステップＳ２０４からＳ２１１が実行されているか判定する。また、データ転送完了後、バッファ制御３０６は、ステップＳ２１５からＳ２１８を各部分データについて実行する。ステップＳ２７５は、全ての部分データについてステップＳ２１５からＳ２１８が実行されているか判定する。

【0161】

以下において、図１２及び１４の最大アクティブ数判定ステップＳ２０３の処理を説明する。図１６は、最大アクティブ数判定処理例のフローチャートを示す。以下において、各コア２４１に対して、個別のキャッシュ閾値と個別のバッファリスト群が割り当てられているとする。

【0162】

バッファ制御３０６は、バッファリスト判定結果を取得する（Ｓ４０１）。次に、バッファ制御３０６は、各バッファリストのバッファリスト管理情報７５０から、バッファアクティブ数７５２を取得する（Ｓ４０２）。

【0163】

バッファ制御３０６は、バッファリスト判定結果が示す各使用予定バッファリストについて、バッファアクティブ数７５２と使用予定バッファ数の総数（予定アクティブバッファ数）を計算し、その総数と最大アクティブ数７７４とを比較する（Ｓ４０３）。いずれかのバッファリストの予定アクティブバッファ数が最大アクティブ数７７４を超えている場合（Ｓ４０３：ＹＥＳ）、バッファ制御３０６は処理を中断して所定時間だけ待機すると判定する（Ｓ４０４）。この後、フローはバッファリスト判定ステップＳ２０２、Ｓ２７１に戻る。

【0164】

各バッファリストの予定アクティブバッファ数が対応する最大アクティブ数７７４以下である場合（Ｓ４０３：ＮＯ）、バッファ制御３０６は、今回使用予定バッファ量を含めてアクティブなバッファの総量を計算する（Ｓ４０５）。具体的には、バッファ制御３０６は、当該コアに割り当てられているバッファリストのサイズとバッファアクティブ数の積和（（Ｘサイズ×Ｘアクティブ数）＋（Ｙサイズ×Ｙアクティブ数）＋（Ｚサイズ×Ｚアクティブ数））を計算する。バッファ制御３０６は、この積和に、今回使用予定のバッファ量を加算する。

【0165】

次に、バッファ制御３０６は、アクティブなバッファ総量と当該コアに割り当てられているキャッシュ閾値とを比較する（Ｓ４０６）。キャッシュ閾値は、当該コアに割り当てられているキャッシュ容量以下に値である。アクティブなバッファ総量がキャッシュ閾値以下である場合（Ｓ４０６：ＮＯ）、本最大アクティブ数判定処理は終了する。アクティブなバッファ総量がキャッシュ閾値より大きい場合（Ｓ４０６：ＹＥＳ）、バッファ制御３０６は処理を中断して待機すると判定する（Ｓ４０４）。この後、所定時間をおいて、バッファ制御処理が再度開始される。

【0166】

上述のように、ネットワークインタフェース１０４は、キャッシュ容量とアクティブなバッファ使用量の合計の差から、起動できるコマンド処理をコントロールする。キャッシュをなるべく溢れないように、同時に処理するデータ転送数を制限し、バッファ使用数を制限する。これにより、キャッシュヒットしてメモリアクセスを減らすことでメモリ帯域圧迫による性能低下を防ぐことができる。

【0167】

上記例において、コアそれぞれに、バッファリスト群及びキャッシュ閾値が個別に割り当てられている。各コアに対して個別のキャッシュ領域が割り当てられてもよく、一つのキャッシュ領域が複数のコアによって共有されている、つまり複数のコアによって使用されてもよい。

【0168】

他の例において、キャッシュ領域及び全てのバッファリストが全てのコアに共有され、さらに、キャッシュ閾値が共有されているキャッシュ領域に対して定義されている、つまり、キャッシュ閾値がコアによって共有されていてもよい。この構成例において、各コアは、図１６を参照して説明したように最大アクティブ数判定処理を実行してよい。

【0169】

他の例において、キャッシュ領域が全てのコアに共有され、キャッシュ閾値が共有されているキャッシュ領域に対して定義され、バッファリスト群がコア毎に割り当てられていてもよい。この構成例において、各コアは、自コアに割り当てられているバッファリスト群に加えて、他のコアに割り当てられているバッファリスト群の情報を参照して、アクティブなバッファ総量を計算する。

【0170】

他の構成例において、キャッシュ閾値が各コアに個別に設定され、バッファリスト群がコアによって共有されていてもよい。各コアは、タスク情報として使用しているバッファの情報を保持し、使用しているバッファ総量と個別のキャッシュ閾値とを比較してよい。

【0171】

他の構成例において、コアが複数のグループにグループ化され、各グループに対してキャッシュ領域が割り当てられていてもよい。例えば、キャッシュ閾値及びバッファリスト群は、グループ毎に割り当てられる。各コアは、同一グループのバッファリスト群及びキャッシュ閾値を使用して、図１６を参照して説明したように最大アクティブ数判定処理を実行してよい。

【0172】

図１６を参照して説明した例は、バッファリスト毎に設定された最大アクティブ数に基づいてバッファ確保の許否を判定している（Ｓ４０３）。他の例において、このステップＳ４０３は省略され、キャッシュ使用量のみに基づいてバッファ確保の許否を判定してもよい。

【0173】

上述のように、コアは複数のグループに分割され、グループに対してそれぞれ異なるキャッシュ領域が割り当てられていてもよい。この構成において、ネットワークインタフェース１０４は、複数のネットワークポート間の性能バランシングを実行してもよい。これにより、ネットワークインタフェース１０４の性能を向上できる。

【0174】

例えば、８つのコア０～コア７が存在し、二つのコアが各グループを構成するとする。ここでは、コア０及びコア１が１グループを構成し、コア２及びコア３が１グループを構成し、コア４及びコア５が１グループを構成し、コア６及びコア７が１グループを構成するとする。各グループに対してキャッシュ領域及びバッファリスト群が割り当てられているとする。ネットワークインタフェース１０４は、二つのポート０、ポート１を有するとする。

【0175】

ネットワークインタフェース１０４は、各グループのコアを異なるポートに割り当てる。例えば、コア０、コア２、コア４、コア６がポート０に割り当てられ、コア１、コア３、コア５、コア７がポート１に割り当てられる。例えば、各グループにおいて、コアそれぞれにキャッシュ容量の半分のキャッシュ閾値が割り当てられる。これにより、ポート０及びポート１それぞれが使用するキャッシュ量を均等化して性能をバランシングできる。なお、各具グループにおけるコアのキャッシュ閾値は同一でなくてもよい。

【0176】

または、ネットワークインタフェース１０４は、グループのコアを同一のポートに割り当ててもよい。例えば、コア０、コア１、コア２、コア３がポート０に割り当てられ、コア４、コア５、コア６、コア７がポート１に割り当てられる。各グループにおいて、ポートそれぞれにキャッシュ閾値が設定されてもよく、キャッシュ領域に対して設定されたキャッ閾値が二つのコア双方に使用されてもよい。

【0177】

以下において、最大アクティブ数判定処理の他の例を説明する。図１７は、他の最大アクティブ数判定処理例のフローチャートを示す。以下において、図１６に示す処理例との相違を主に説明する。本最大アクティブ数判定処理例は、図１３を参照して説明したバッファリスト判定処理と共に実行される。本処理例は、新規バッファ領域が確保された場合（図１３におけるステップＳ２５８）、キャッシュ残量について判定を行うことなくデータ転送を行う。転送データサイズが大きい場合、キャッシュからあふれる可能性が高い。本例は、最大アクティブ数判定処理を効率化できる。

【0178】

図１７を参照して、バッファ制御３０６は、バッファリスト判定結果を取得した（Ｓ４０１）後、新規バッファ領域が確保されているか判定する（Ｓ４１１）。確保されていない場合（Ｓ４１１：ＮＯ）、バッファ制御３０６は、ステップＳ４０２以降を実行する。これらステップは図１６を参照して説明した通りである。新規バッファ領域が確保されている場合（Ｓ４１１：ＹＥＳ）、最大アクティブ数判定処理は完了する。

【0179】

図１８は、他の最大アクティブ数判定処理例のフローチャートを示す。以下において、図１６に示す処理例との相違を主に説明する。本例は、最大バッファサイズを超えたデータ転送要求の時、キャッシュ残量について判定を行うことなくデータ転送を行う。これにより処理が効率化される。

【0180】

図１８を参照して、バッファ制御３０６は、バッファリスト判定結果を取得した（Ｓ４０１）後、転送データサイズが最大バッファサイズを超えているか判定する（Ｓ４２１）。超えていない場合（Ｓ４２１：ＹＥＳ）、バッファ制御３０６は、ステップＳ４０２以降を実行する。これらステップは図１６を参照して説明した通りである。転送データサイズが最大バッファサイズを超えている場合（Ｓ４２１：ＮＯ）、最大アクティブ数判定処理は完了する。

【0181】

なお、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明したすべての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

【0182】

また、上記の各構成・機能・処理部等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード等の記録媒体に置くことができる。

【0183】

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしもすべての制御線や情報線を示しているとは限らない。実際には殆どすべての構成が相互に接続されていると考えてもよい。

【符号の説明】

【0184】

１００ サーバシステム、１０１ ストレージ装置、１０２ ストレージコントローラ、１０４ ネットワークインタフェース、２０１ ホストバス、２００ ネットワークパス、２０２ データプロセッシングユニット、２０８ メモリ、２０８ メモリコントローラ、２０３ ネットワークコントローラ、２０４ プロセッサ、２０５ ＤＭＡコントローラ、２０６ キャッシュ、２４１ プロセッサコア、３０１ ネットワークコントローラドライバ、３０３ プロトコル処理、３０５ コマンド処理、３０７ ＤＭＡ制御、３０４ ホストキュー制御、３０６ バッファ制御、３０７ ＤＭＡ制御、３７１ 内部送信キュー、３７２ 内部受信キュー、４０１ ホスト送信キュー、４０２ ホスト受信キュー、４００ ホスト、４５０ リモートサイト、７００－７０２ バッファリスト、７０３ バッファエントリ、７５０ バッファリスト管理情報、７７０ バッファ管理テーブル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図7】

【図8A】

【図8B】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】