ホーム > 特許ランキング > 日立ヴァンタラ株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-02-25
(45)【発行日】2025-03-05
(54)【発明の名称】ストレージ装置及びそのプロトコル変換方法
(51)【国際特許分類】
G06F 13/36 20060101AFI20250226BHJP
G06F 3/06 20060101ALI20250226BHJP
【ＦＩ】
G06F13/36 320A
G06F3/06 301N
【請求項の数】
13
(21)【出願番号】P 2022060208
(22)【出願日】2022-03-31
(65)【公開番号】P2023150880
(43)【公開日】2023-10-16
【審査請求日】2024-02-26
(73)【特許権者】
【識別番号】524132520
【氏名又は名称】日立ヴァンタラ株式会社
(74)【代理人】
【識別番号】110001678
【氏名又は名称】藤央弁理士法人
(72)【発明者】
【氏名】田中 勝也
(72)【発明者】
【氏名】小林 佑太朗
(72)【発明者】
【氏名】福田 秀明
【審査官】豊田 真弓
(56)【参考文献】
【文献】特開２０２１－１８９４６２（ＪＰ，Ａ）
【文献】国際公開第２０１５／００８３５４（ＷＯ，Ａ１）
【文献】米国特許第０６７４２０７５（ＵＳ，Ｂ１）
【文献】米国特許出願公開第２０１０／０２８１２０１（ＵＳ，Ａ１）
【文献】国際公開第２０１５／１６２６７４（ＷＯ，Ａ１）
【文献】米国特許出願公開第２０１９／０１４９４８６（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１３／０１５１７５０（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ １３／３６
Ｇ０６Ｆ ３／０６
(57)【特許請求の範囲】
【請求項1】
複数のストレージコントローラを含むストレージ装置であって、前記複数のストレージコントローラのそれぞれは、ストレージコントローラ間を接続するためのコントローラインターフェースを含み、
前記コントローラインターフェースは、接続先のストレージコントローラ毎に対応する一つ以上の論理ポートと、バッファと、を含み、
前記コントローラインターフェースは、
ストレージコントローラ内で使用する第１のプロトコルの第１のリクエストを、ストレージコントローラ間ネットワークで使用する第２のプロトコルの第２のリクエストに変換する場合に、前記第１のリクエストの識別情報と、前記第２のリクエストの識別情報とを、前記論理ポートの送信キューに格納し、
前記第１のリクエストの送信元デバイスの識別情報に基づいて、送信データを前記バッファへ格納するか、前記送信キューに格納するかを判定する、ストレージ装置。
【請求項2】
請求項１記載のストレージ装置であって、前記第１のリクエストの識別情報は、前記第１のリクエストの送信元デバイスの識別情報と前記第１のリクエストのパケット識別情報とを含み、
前記第２のリクエストの識別情報は、前記第２のリクエストのパケット識別情報を含む、ストレージ装置。
【請求項3】
請求項１記載のストレージ装置であって、前記コントローラインターフェースは、前記第１のリクエストの送信先情報と前記論理ポートの識別情報との対応関係の情報を格納する、ストレージ装置。
【請求項4】
請求項１記載のストレージ装置であって、
前記コントローラインターフェースは、前記送信データを前記バッファから読み出す論理ポートと、前記送信データを前記第２のリクエストの識別情報と共に送信キュー内に格納する論理ポートとを含む、ストレージ装置。
【請求項5】
請求項１記載のストレージ装置であって、
読み出しリクエストである前記第２のリクエストを受信したストレージコントローラの前記コントローラインターフェースは、前記読み出しの実行結果である前記第１のプロトコルの第１のレスポンスを、前記第２のプロトコルの第２のレスポンスに変換する場合に、前記読み出しの実行結果のステータスを前記第２のレスポンスのヘッダに格納して送信する、ストレージ装置。
【請求項6】
請求項３記載のストレージ装置であって、
前記コントローラインターフェースは、さらに前記論理ポートの識別情報と前記論理ポートの前記第１のプロトコルにおけるアドレス情報の対応関係の情報を格納する、ストレージ装置。
【請求項7】
請求項１記載のストレージ装置であって、
読み出しリクエストである前記第２のリクエストを受信したストレージコントローラの前記コントローラインターフェースは、前記第２のリクエストを前記第１のプロトコルの第３のリクエストに変換する場合に、前記第２のリクエストを受信した前記論理ポートの識別情報と、前記第２のリクエストの識別情報と、前記第３のリクエストの識別情報との対応関係の情報を格納する、ストレージ装置。
【請求項8】
請求項１記載のストレージ装置であって、
前記コントローラインターフェースは、
前記第１のプロトコルのパケットを送受信するＤＭＡを含むインターフェース論理部と、
前記第１のプロトコルと前記第２のプロトコルとの間でパケットを変換する変換部と、
バッファと、を含み、
前記ＤＭＡは、前記バッファに送信データを格納し、前記送信データの格納先バッファアドレスと前記送信データのサイズを格納した前記第１のプロトコルのリクエストを前記変換部に送信する、ストレージ装置。
【請求項9】
ストレージ装置が実行するプロトコル変換方法であって、
前記ストレージ装置は、複数のストレージコントローラを含み、
前記複数のストレージコントローラのそれぞれは、ストレージコントローラ間を接続するためのコントローラインターフェースを含み、
前記コントローラインターフェースは、接続先のストレージコントローラ毎に対応する一つ以上の論理ポートと、バッファと、を含み、
前記プロトコル変換方法は、
ストレージコントローラ内で使用する第１のプロトコルの第１のリクエストを、ストレージコントローラ間ネットワークで使用する第２のプロトコルの第２のリクエストに変換する場合に、前記第１のリクエストの識別情報と、前記第２のリクエストの識別情報とを前記論理ポートの送信キューに格納し、
前記第１のリクエストの送信元デバイスの識別情報に基づいて、送信データを前記バッファから読み出す論理ポートか、前記送信データを前記第２のリクエストの識別情報と共に送信キュー内に格納する論理ポートかを選択する、プロトコル変換方法。
【請求項10】
請求項９記載のプロトコル変換方法であって、
前記第１のリクエストの識別情報は、前記第１のリクエストの送信元デバイスの識別情報と前記第１のリクエストのパケット識別情報とを含み、
前記第２のリクエストの識別情報は、前記第２のリクエストのパケット識別情報を含む、プロトコル変換方法。
【請求項11】
請求項９記載のプロトコル変換方法であって、
前記コントローラインターフェース内に格納された前記第１のリクエストの送信先情報と前記論理ポートの識別情報との対応関係を参照して前記論理ポートを選択する、プロトコル変換方法。
【請求項12】
請求項９記載のプロトコル変換方法であって、
前記第１のリクエストが読み出しリクエストであり、
前記読み出しの実行結果である前記第１のプロトコルの第１のレスポンスを、前記第２のプロトコルの第２のレスポンスに変換する場合に、前記読み出しの実行結果のステータスを前記第２のレスポンスのヘッダに格納して送信する、プロトコル変換方法。
【請求項13】
請求項１１記載のプロトコル変換方法であって、
前記論理ポートの識別情報と前記論理ポートの前記第１のプロトコルにおけるアドレス情報の対応関係を参照して選択した前記論理ポートのアドレスに、前記第１のリクエストの識別情報を送信する、プロトコル変換方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、複数のストレージコントローラがネットワークを介して通信するストレージ装置に関する。
【背景技術】
【0002】
複数のストレージノードを集めたクラスタ構成のストレージ装置は、各ストレージノードを並列に稼働させることにより、並列アクセスによる高いデータアクセス性能を実現すると共に、データの冗長化による高可用を実現できる。そして、複数のストレージノードをネットワークで相互接続することで、大規模なストレージ装置を構成することができる。例えば特許文献１のストレージ装置では、複数のストレージコントローラ間をＰＣＩｅ （Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｅｘｐｒｅｓｓ）ベースの独自プロトコルを使ったインターフェースで接続することにより、ストレージ装置の高機能化や高性能化を実現することが開示されている。
【0003】
以下の説明及び図面において、複数のストレージノードを接続したストレージ装置の内部ネットワークを、ストレージ内部ネットワークと呼ぶことにする。また、ストレージ内部ネットワークを単に内部ネットワーク、ストレージノードを単にノード、と呼ぶことがある。
【0004】
ストレージノードは、一般的に、ストレージコントローラと、ランダムアクセス可能な不揮発性記録媒体とを有する。この記録媒体は、例えば、不揮発性半導体メモリドライブやハードディスクドライブを多数備えたドライブボックスである。ストレージコントローラは、上位装置(ホストシステム等)を接続するためのフロントエンドインターフェースと、ドライブボックスを接続するためのバックエンドインターフェースと、上位装置がドライブボックスに対して読み書きするユーザデータを一時的に保存するキャッシュメモリを有する。
【0005】
さらに、ストレージコントローラは、ストレージコントローラ内で扱う制御データを格納する制御メモリと、ユーザデータ及び制御データのデータ転送を制御するためのプロセッサを有する。複数のストレージノードを接続したストレージ装置においては、複数のストレージノードがストレージ内部ネットワークを介して、ユーザデータや制御データをノード間で送受信する。
【0006】
また、ストレージノードをはじめとする、計算機ノード間の接続に好適なネットワークの標準規格としては、例えば、イーサネットが知られている。そして、イーサネット上でＲＤＭＡ（Ｒｅｍｏｔｅ Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）によるデータ転送を可能にするプロトコルとしては、例えば、ＲｏＣＥ（ＲＤＭＡ ｏｖｅｒ Ｅｔｈｅｒｎｅｔ）が知られている。
【先行技術文献】
【特許文献】
【0007】
【文献】特開２０１９－２０４４６３号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
例えば、ストレージコントローラ間をＰＣＩｅより転送速度が速いイーサネットベースのＲｏＣＥで接続することで、ストレージ装置の高性能化が可能となる。しかし、特許文献１のストレージ装置のような従来のストレージ装置では、ストレージコントローラ間の接続にＰＣＩｅベースの独自プロトコルを適用することにより、高機能化と高性能化を実現している。そのため、一般的なＲｏＣＥインターフェースではストレージ向け機能の全てを実現できず、従来のＰＣＩｅベースのコントローラインターフェース代替することが困難である。
【0009】
本発明の一実態様の目的は、ＰＣＩｅやＲｏＣＥのような、ストレージコントローラインターフェースに好適な二つのプロトコルのパケット間の変換方法及びそれを用いたストレージ装置を提供することである。
【課題を解決するための手段】
【0010】
本発明の一態様は、複数のストレージコントローラを含むストレージ装置であって、前記複数のストレージコントローラのそれぞれは、ストレージコントローラ間を接続するためのコントローラインターフェースを含み、前記コントローラインターフェースは、接続先のストレージコントローラ毎に対応する一つ以上の論理ポートを含む。前記コントローラインターフェースは、ストレージコントローラ内で使用する第１のプロトコルの第１のリクエストを、ストレージコントローラ間ネットワークで使用する第２のプロトコルの第２のリクエストに変換する場合に、前記第１のリクエストの識別情報と、前記第２のリクエストの識別情報とを、前記論理ポートの送信キューに格納する。
【発明の効果】
【0011】
本発明の一態様によれば、ストレージ装置のコントローラインターフェースは、適切なプロトコル変換を行うことができる。
【図面の簡単な説明】
【0012】
【発明を実施するための形態】
【0013】
以下、図面を参照しながら、本発明の幾つかの実施例を説明する。なお、全ての実施例を通して、同一符号が付されている構成要素は、実質的に同じものであるとする。また、プロセッサが実行する処理は、適宜に記憶資源（例えばメモリ）及び通信インターフェース装置（例えば、通信ポート）を用いながら行うため、処理の主語がプロセッサとされてもよい。プロセッサは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）の他に専用ハードウェアを有していても良い。
【実施例1】
【0014】
図１から図２９を参照して、実施例１に係るストレージ装置の説明を行う。図１は、実施例１に係るストレージ装置のハードウェア構成を説明する図である。実施例１のストレージ装置１００は、内部ネットワークにより相互接続されたストレージノード１０１、１１１を含む複数のストレージノードを有する。図１では、２個のストレージノードを図示しているが、内部ネットワークに接続されるストレージノード数は任意である。この内部ネットワークを、本明細書ではストレージ内部ネットワークと呼ぶ。
【0015】
実施例１に係るストレージ装置１００では、ストレージ内部ネットワークに、たとえばイーサネット（登録商標）規格のスイッチやリンクで構築されたネットワークが用いられる。ストレージノード１０１、１１１は、イーサネットスイッチ１２０、１３０を介して相互接続される。なお、イーサネットスイッチの数は任意であり、イーサネットと異なるプロトコルのスイッチ及びリンクが使用されてもよい。
【0016】
ストレージノード１０１は、その内部に２個のストレージコントローラ１０２、１０３を有する。ストレージコントローラ１０２は、イーサネットスイッチ１２０、１３０と接続するためのエッジインターフェース（ＥＩＦ）１０４を有する。同様に、ストレージコントローラ１０３は、イーサネットスイッチ１２０、１３０と接続するためのエッジインターフェース（ＥＩＦ）１０５を有する。エッジインターフェースは、コントローラインターフェースである。ストレージノード１１１は、ストレージノード１０１と同様の構成を有している。なお、ストレージノード内のストレージコントローラの数は任意であり。異なるストレージコントローラが異なる構成を有してもよい。
【0017】
図２は、実施例１に係るストレージノードのハードウェア構成を説明する図である。ストレージノード１０１は、ストレージコントローラ１０２、１０３と、複数のハードディスクドライブ（ＨＤＤ）または複数のソリッドステートドライブ（ＳＳＤ）を有するドライブボックス２３０を含む。
【0018】
ストレージコントローラ１０２は、プロセッサ（ＭＰ）２００と、メモリ２０２と、フロントエンドインターフェース（ＦＥ）２０４と、バックエンドインターフェース（ＢＥ）２０５を有する。同様に、ストレージコントローラ１０３は、プロセッサ（ＭＰ）２１０と、メモリ２１２と、フロントエンドインターフェース（ＦＥ）２１４と、バックエンドインターフェース（ＢＥ）２１５を有する。プロセッサ２００、２１０は、それぞれ内部に複数のプロセッサコア(非図示)を有する。
【0019】
ストレージ装置１００にアクセスするホストシステム（非図示）は、フロントエンドインターフェース２０４、２１４を介して、ストレージ装置１００に接続される。ホストシステムとフロントエンドインターフェース２０４、２１４との間は、ファイバチャネルケーブルやイーサネットケーブル等の伝送線で接続される。
【0020】
あるいはホストシステムとフロントエンドインターフェース２０４、２１４が、複数の伝送線と複数のスイッチで構成されたストレージエリアネットワークを介して接続される構成でも良い。フロントエンドインターフェース２０４、２１４は、ホストシステムとストレージノード１０１間のデータ転送プロトコルと、ストレージコントローラ１０２、１０３内のデータ転送プロトコルを変換する。
【0021】
ドライブボックス２３０は、バックエンドインターフェース２０５、２１５を介して、ストレージコントローラ１０２、１０３に接続される。バックエンドインターフェース２０５、２１５は、ストレージコントローラ１０２、１０３内のデータ転送プロトコルと、ストレージコントローラ１０２、１０３とドライブボックス２３０との間のデータ転送プロトコルを変換する。なお、ドライブボックス内のドライブがＰＣＩｅ接続のＮＶＭｅＳＳＤの場合、バックエンドインターフェース２０５、２１５は、プロトコル変換を行わないＰＣＩｅスイッチである。
【0022】
プロセッサ２００、２１０は、フロントエンドインターフェース２０４、２１４を介して接続したホストシステムと、バックエンドインターフェース２０５、２１５を介して接続したドライブボックス２３０との間のデータ転送を制御する。さらに、プロセッサ２００、２１０は、ストレージノード間のデータ転送を制御する。
【0023】
メモリ２０２、２１２は、それぞれ、プロセッサ２００、２１０の主記憶であり、プロセッサ２００、２１０が実行するプログラム（ストレージ制御プログラム等）や、プロセッサ２００、２１０が参照する管理テーブル等を格納する。また、メモリ２０２、２１２は、それぞれストレージコントローラ１０２、１０３のキャッシュメモリとしても使用される。
【0024】
さらに、ストレージコントローラ１０２、１０３は、それぞれＰＣＩｅによりプロセッサ２００、２１０に接続されているＮＴＢ（Ｎｏｎ－Ｔｒａｎｓｐａｒｅｎｔ Ｂｒｉｄｇｅ）２０３、２１３と、エッジインターフェース（ＥＩＦ）１０４、１０５とを有する。
【0025】
ＮＴＢ２０３とＮＴＢ２１３との間は、Ｎｏｎ－Ｔｒａｎｓｐａｒｅｎｔリンク２２０で接続されている。プロセッサ２００と２１０は、Ｎｏｎ－Ｔｒａｎｓｐａｒｅｎｔリンク２２０を介して相互に通信可能である。このようにして、ストレージノード１０１内は、２個のコントローラ１０２、１０３によりデュアルコントローラを構成する。
【0026】
エッジインターフェース１０４、１０５はそれぞれ、イーサネットのリンクを接続するための物理ポートを１以上有する。以下、この物理ポートのことをイーサネットポートと呼ぶ。本実施例に係るストレージ装置１００では、エッジインターフェース１０４は１以上のイーサネットポート２０７を有し、エッジインターフェース１０５は１以上のイーサネットポート２１７を有する。プロセッサ２００、２１０は、それぞれイーサネットポート２０７、２１７を介して、図１のイーサネットスイッチ１２０、１３０に接続している。その結果、異なるストレージノードに属するストレージコントローラは、相互に通信可能になっている。
【0027】
図３は、実施例１に係るストレージ内部ネットワークのイーサネットによる論理的な接続を説明する図である。実施例１に係るストレージ装置では、ストレージコントローラ間のデータ転送にＲｏＣＥを用いる。ＲｏＣＥは、イーサネット上でＲＤＭＡによるデータ転送を可能にするプロトコルである。ストレージコントローラ間を接続するエッジインターフェース１０４、１０５は、ＲｏＣＥによるＲＤＭＡデータ転送が可能である。
【0028】
図３において、ストレージコントローラ１０２のエッジインターフェース１０４は、ＰＣＩｅ－ＥＩＦ論理部３０２とＰＣＩｅ－ＲｏＣＥ変換部３０１を含む。ＰＣＩｅ－ＥＩＦ論理部３０２は、エッジインターフェースのストレージ向けデータ転送機能を実現する。内部ネットワークにＰＣＩｅを適用する場合は、ＰＣＩｅ－ＥＩＦ論理部３０２をＰＣＩｅスイッチに接続することにより、ストレージ内部ネットワークを構成する。
【0029】
ＰＣＩｅ－ＲｏＣＥ変換部３０１は、ＰＣＩｅ－ＥＩＦ論理部３０２が送受信するＰＣＩｅパケットと内部ネットワーク（Ｅｔｈｅｒｎｅｔ）上を転送されるＲｏＣＥパケットとの間の変換を行う。ストレージコントローラ３２０のエッジインターフェース３２５は、ＰＣＩｅ－ＥＩＦ論理部３２２とＰＣＩｅ－ＲｏＣＥ変換部３２１を含む。同様に、ストレージコントローラ３３０のエッジインターフェース３３５は、ＰＣＩｅ－ＥＩＦ論理部３３２とＰＣＩｅ－ＲｏＣＥ変換部３３１を含む。
【0030】
ＲｏＣＥでは、論理的な通信ポート（論理ポート）であるＱｕｅｕｅ Ｐａｉｒ（ＱＰ）を用いてデータ転送を行う。特にＲｏＣＥのＲＣ（Ｒｅｌｉａｂｌｅ Ｃｏｎｎｅｃｔｉｏｎ）サービスでは、通信相手となるストレージコントローラ毎にＱＰが用意される。実施例１に係るストレージ装置では、ＲｏＣＥのＲＣサービスを使用する。従って、各ストレージコントローラのエッジインターフェースは、少なくとも接続先のストレージコントローラ毎に個別のＱＰを備える。
【0031】
例えば、ストレージコントローラ１０２のエッジインターフェース１０４は、ストレージコントローラ３２０と接続するためのＱＰ３０３を有する。また、ストレージコントローラ１０２のエッジインターフェース１０４は、ストレージコントローラ３３０と接続するためのＱＰ３０４を有する。
【0032】
同様に、ストレージコントローラ３２０のエッジインターフェース３２５は、ストレージコントローラ１０２と接続するためのＱＰ３２３を有する。また、ストレージコントローラ３２０のエッジインターフェース３２５は、ストレージコントローラ３３０と接続するためのＱＰ３２４を有する。
【0033】
同様に、ストレージコントローラ３３０のエッジインターフェース３３５は、ストレージコントローラ１０２と接続するためのＱＰ３３４を有する。また、ストレージコントローラ３３０のエッジインターフェース３３５は、ストレージコントローラ３２０と接続するためのＱＰ３３３を有する。なお、２個のＱＰ間では双方向通信が可能である。
【0034】
図４は、実施例１に係るエッジインターフェース１０４の構成を説明する図である。前述の通り、エッジインターフェース１０４は、ＰＣＩｅ－ＥＩＦ論理部３０２と、ＰＣＩｅ－ＲｏＣＥ変換部３０１で構成される。
【0035】
ＰＣＩｅ－ＥＩＦ論理部３０２は、ストレージコントローラ内のプロセッサ２００と接続するためのインターフェース部４３３と、制御部４３１と、ＤＭＡ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）４３４と、それらを接続する内部バス４３２を含む。
【0036】
ＰＣＩｅ－ＲｏＣＥ変換部３０１は、ＷＱＥコンバータ４０１、再送バッファ４０２、ソータ４０３、４１３、４２３、アービタ４０４、４１１、４２１、複数のＱＰ４０５、イーサネットフレームビルダ４１２、４２２、イーサネットヘッダリムーバ４１４、４２４を含む。なお、複数のＱＰ４０５のうち、一つのＱＰが例として符号４０５で指示されている。
【0037】
ＷＱＥコンバータ４０１は、ＰＣＩｅ－ＥＩＦ論理部３０２から受信したＰＣＩｅリクエストを、ＲｏＣＥのＷＱＥ（Ｗｏｒｋ Ｑｕｅｕｅ Ｅｌｅｍｅｎｔ）に変換し、ソータ４０３へ送信する。ＷＱＥは、ＱＰが処理するＲＤＭＡのデータ転送指示を含む。ＰＣＩｅ－ＥＩＦ論理部３０２からＰＣＩｅコンプリーションを受信した場合、ＷＱＥコンバータ４０１は、ＰＣＩｅコンプリーションを変換せずにそのままソータ４０３へ送信する。また、ＷＱＥコンバータ４０１は、ＰＣＩｅ Ｗｒｉｔｅリクエストを受信した場合、そのペイロードに含まれる送信データを再送バッファ４０２に格納する。ＷＱＥコンバータ４０１の処理の詳細は後述する。
【0038】
ソータ４０３は、ＷＱＥコンバータ４０１から受信したＷＱＥを、ＷＱＥ内に指定されたＱＰ番号に従って、ＱＰ＿１からＱＰ＿２ｎ－２の何れかのＱＰ４０５に振り分ける。ＰＣＩｅコンプリーションを受信した場合、ソータ４０３は、ヘッダ内のリクエスタＩＤに従って、ＰＣＩｅコンプリーションをＱＰ＿１からＱＰ＿２ｎ－２の何れかのＱＰ４０５に振り分ける。
【0039】
ＱＰ４０５は、ＷＱＥまたはＰＣＩｅコンプリーションをＲｏＣＥのトランスポート層パケットに変換し、アービタ４１１、４２１へ送信する。また、ＱＰ４０５は、ＲｏＣＥトランスポート層における再送制御を担う。再送する場合、ＱＰ４０５は、再送するデータを再送バッファ４０２から読み出す。ＰＣＩｅ－ＲｏＣＥ変換部３０１は、エッジインターフェース１０４の１ポート当たりの接続先コントローラ数が最大ｎ－１個の場合、その２ポート分のＱＰを有する。従って、ＰＣＩｅ－ＲｏＣＥ変換部３０１は合計２ｎ－２個のＱＰを備える。
【0040】
アービタ４１１、４２１は、ＱＰ４０５から受信したＲｏＣＥトランスポート層パケットを、イーサネットフレームビルダ４１２、４２２へ送信する。
【0041】
イーサネットフレームビルダ４１２、４２２は、アービタ４１１、４２１から受信したＲｏＣＥトランスポート層パケットに、イーサネットヘッダ、ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）ヘッダ、ＵＤＰ（Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）ヘッダ及びＦＣＳ（Ｆｒａｍｅ Ｃｈｅｃｋ Ｓｅｑｕｅｎｃｅ）を追加し、イーサネットフレームを組み立てて、イーサネットポートから内部ネットワークへ送信する。
【0042】
イーサネットヘッダリムーバ４１４、４２４は、内部ネットワークからイーサネットポートを介して受信したイーサネットフレームから、イーサネットヘッダ、ＩＰヘッダ、ＵＤＰヘッダ及びＦＣＳを除去し、得られたＲｏＣＥトランスポート層パケットをソータ４１３、４２３へ送信する。
【0043】
ソータ４１３、４２３は、イーサネットヘッダリムーバ４１４、４２４から受信したＲｏＣＥトランスポート層パケットを、ヘッダ内ＱＰ番号に従って、ＱＰ＿１からＱＰ＿２ｎ－２の何れかのＱＰ４０５に振り分ける。
【0044】
ＱＰ４０５は、ソータ４１３、４２３から受信したＲｏＣＥトランスポート層パケットを、ＰＣＩｅパケットに変換し、アービタ４０４へ送信する。
【0045】
アービタ４０４は、ＱＰ４０５から受信したＰＣＩｅパケットを、ＰＣＩｅ－ＥＩＦ論理部３０２へ送信する。
【0046】
次に、図５から図７を用いて、ＷＱＥコンバータ４０１の動作を説明する。図５は、ＷＱＥコンバータ４０１が備える、アドレス－ＱＰ番号変換テーブル５００を示す。アドレス－ＱＰ番号変換テーブル５００は、ＰＣＩｅリクエストの送信先アドレス範囲５０１、送信先ＱＰ番号５０２及び送信元ＱＰ番号５０３を格納する。
【0047】
ここで、送信先ＱＰ番号５０２はＲｏＣＥパケット送信先である他コントローラのＱＰ番号で、送信元ＱＰ番号５０３はＲｏＣＥパケット送信元である自身のコントローラのＱＰ番号である。実施例１のストレージ装置では、ＰＣＩｅ－ＥＩＦ論理部が送信するＰＣＩｅリクエストの送信先アドレス範囲５０１と、ＲｏＣＥパケットの送信先ＱＰ番号５０２を１対１に対応付ける。
【0048】
また、ＲｏＣＥのＲＣサービスでは、送信先ＱＰ番号５０２と送信元ＱＰ番号５０３は、１対１に対応する。従って、ＷＱＥコンバータ４０１は、このテーブルを参照することにより、ＰＣＩｅリクエストの送信先アドレス範囲から、送信元ＱＰ番号を特定することができる。
【0049】
ソータ４０３をＰＣＩｅスイッチで実現する場合は、アドレス－ＱＰ番号変換テーブル５００はＷＱＥの送信先となるＱＰアドレス５０４を格納する。ＷＱＥコンバータ４０１は、ＷＱＥの変換元ＰＣＩｅリクエストの送信先アドレスから、ＷＱＥの送信先となるＱＰのアドレス５０４を特定する。そして、ＷＱＥコンバータ４０１は、ＷＱＥをペイロードに格納したＰＣＩｅ Ｗｒｉｔｅを特定したＱＰアドレス５０４へ送信する。
【0050】
図６は、ＷＱＥコンバータ４０１が備える、リクエスタＩＤ－ＱＰ番号変換テーブル６００を示す。リクエスタＩＤ－ＱＰ番号変換テーブル６００は、ＰＣＩｅコンプリーションパケットの送信先リクエスタＩＤ６０１及び送信元ＱＰ番号６０２を格納する。ＷＱＥコンバータ４０１は、このテーブルを参照することにより、ＰＣＩｅコンプリーションパケットの送信先リクエスタＩＤから、送信元ＱＰ番号を特定することができる。
【0051】
なお、ソータ４０３をＰＣＩｅスイッチで実現する場合は、ＰＣＩｅスイッチがリクエスタＩＤに基づいてＰＣＩｅパケットをルーティングできるので、ＷＱＥコンバータ４０１はリクエスタＩＤ－ＱＰ番号変換テーブル６００を備えなくてもよい。
【0052】
図７は、ＷＱＥコンバータ４０１が実行する処理例のフローチャートを説明する図である。
【0053】
ステップ７０１において、ＷＱＥコンバータ４０１は、ＰＣＩｅ－ＥＩＦ論理部３０２から受信したパケットがＰＣＩｅリクエストかＰＣＩｅコンプリーションかを判別する。受信したパケットがＰＣＩｅリクエストであった場合（７０１：Ｎ）はステップ７０２に進み、ＰＣＩｅコンプリーションであった場合（７０１：Ｙ）はステップ７０５に進む。
【0054】
ステップ７０２において、ＷＱＥコンバータ４０１は、ＰＣＩｅリクエストをＷＱＥに変換する。この変換処理の内容は後述する。また、ＰＣＩｅリクエストがＰＣＩｅ Ｗｒｉｔｅであった場合、ＷＱＥコンバータ４０１は、そのペイロードに含まれる送信データを再送バッファ４０２に送信する。
【0055】
ステップ７０３において、ＷＱＥコンバータ４０１は、アドレス－ＱＰ番号変換テーブル５００を参照して、送信元ＱＰ番号を特定する。なお、ソータ４０３をＰＣＩｅスイッチで実現する場合、ＷＱＥコンバータ４０１は、アドレス－ＱＰ番号変換テーブル５００を参照して、送信先ＱＰのアドレスを特定する。
【0056】
ステップ７０４において、ＷＱＥコンバータ４０１は、ソータ４０３を介してＷＱＥを特定した番号のＱＰ４０５に送信する。
【0057】
ステップ７０５において、ＷＱＥコンバータ４０１は、リクエスタＩＤ－ＱＰ番号変換テーブル６００を参照して、送信元ＱＰ番号を特定する。なお、ソータ４０３をＰＣＩｅスイッチで実現する場合、このステップは省略できる。
【0058】
ステップ７０６において、ＷＱＥコンバータ４０１は、ソータ４０３を介してＰＣＩｅコンプリーションを特定した番号のＱＰ４０５に送信する。
【0059】
次に、図８から図１０を用いて、ＲｏＣＥのＲＤＭＡ Ｗｒｉｔｅオペレーションとそのパケットフォーマットについて説明する。図８は、ＲＤＭＡ Ｗｒｉｔｅオペレーションのシーケンス例を示す図である。ＲＤＭＡ Ｗｒｉｔｅは、リクエスタ側のメモリ空間にあるデータを、レスポンダ側のメモリ空間に書き込むオペレーションである。リクエスタは、書き込みデータをペイロードに格納したＲＤＭＡ Ｗｒｉｔｅリクエスト８０１をレスポンダへ送信する。レスポンダは、書き込みデータの受信完了をリクエスタに通知するため、ＡＣＫ（Ａｃｋｎｏｗｌｅｄｇｅｍｅｎｔ）８０２をリクエスタへ送信する。
【0060】
図９は、ＲＤＭＡ Ｗｒｉｔｅリクエストのパケットフォーマットを示す図である。ＲＤＭＡ Ｗｒｉｔｅリクエストパケットは、ＢＴＨ（Ｂａｓｅ Ｔｒａｎｓｐｏｒｔ Ｈｅａｄｅｒ）９０１、ＲＥＴＨ（ＲＤＭＡ Ｅｘｔｅｎｄｅｄ Ｔｒａｎｓｐｏｒｔ Ｈｅａｄｅｒ）９０２、ペイロード９０３とＩＣＲＣ（Ｉｎｖａｒｉａｎｔ Ｃｙｃｌｉｃ Ｒｅｄｕｎｄａｎｃｙ Ｃｈｅｃｋ）９０４を含む。
【0061】
図１０は、ＡＣＫのパケットフォーマットを示す図である。ＡＣＫパケットは、ＢＴＨ１００１、ＡＥＴＨ（ＡＣＫ Ｅｘｔｅｎｄｅｄ Ｔｒａｎｓｐｏｒｔ Ｈｅａｄｅｒ）１００２とＩＣＲＣ１００３を含む。
【0062】
次に、図１１から図１４を用いて、ＲｏＣＥのＲＤＭＡ Ｒｅａｄオペレーションとそのパケットフォーマットについて説明する。図１１は、ＲＤＭＡ Ｒｅａｄオペレーションのシーケンス例を示す図である。ＲＤＭＡ Ｒｅａｄは、レスポンダのメモリ空間にあるデータを、リクエスタのメモリ空間に読み出すオペレーションである。
【0063】
リクエスタは、読み出し先情報を格納したＲＤＭＡ Ｒｅａｄリクエスト１１０１をレスポンダへ送信する。レスポンダは、読み出しデータをペイロードに格納したＲＤＭＡ Ｒｅａｄレスポンスをリクエスタに送信する。読み出しデータサイズが最大ペイロードサイズを超える場合、レスポンダは読み出しデータを分割し、Ｆｉｒｓｔ、Ｍｉｄｄｌｅ及びＬａｓｔからなる複数のＲＤＭＡ Ｒｅａｄレスポンス１１０２、１１０３、１１０４を送信する。
【0064】
図１２は、ＲＤＭＡ Ｒｅａｄリクエストのパケットフォーマットを示す図である。ＲＤＭＡ Ｒｅａｄリクエストパケットは、ＢＴＨ１２０１、ＲＥＴＨ１２０２とＩＣＲＣ１２０３を含む。
【0065】
図１３は、ＲＤＭＡ Ｒｅａｄレスポンス（Ｆｉｒｓｔ／Ｌａｓｔ／Ｏｎｌｙ）のパケットフォーマットを示す図である。ＲＤＭＡ Ｒｅａｄレスポンス（Ｆｉｒｓｔ／Ｌａｓｔ／Ｏｎｌｙ）パケットは、ＢＴＨ１３０１、ＡＥＴＨ１３０２、ペイロード１３０３とＩＣＲＣ１３０４を含む。ＲＤＭＡ Ｒｅａｄレスポンス（Ｏｎｌｙ）パケットは、レスポンスが単一パケットの場合に使用される。
【0066】
図１４は、ＲＤＭＡ Ｒｅａｄレスポンス（Ｍｉｄｄｌｅ）のパケットフォーマットを示す図である。ＲＤＭＡ Ｒｅａｄレスポンス（Ｍｉｄｄｌｅ）パケットは、ＢＴＨ１４０１、ペイロード１４０２とＩＣＲＣ１４０３を含む。
【0067】
図１５は、実施例１に係るストレージ装置で使用するＢＴＨのフォーマットを説明する図である。ＢＴＨフォーマット１５００は、ＲｏＣＥ標準のＢＴＨ（１２Ｂ長）から、実施例１に係るストレージ装置では使用しないフィールドを省略した結果、ＢＴＨのデータサイズが８Ｂになっている。
【0068】
ＯｐＣｏｄｅ（Ｏｐｅｒａｔｉｏｎ Ｃｏｄｅ）１５０１は、ＲｏＣＥのオペレーションコードを格納するフィールドである。
【0069】
Ｄｅｓｔｉｎａｔｉｏｎ ＱＰ１５０２は、パケット送信先のＱＰ番号を示す。ＲｏＣＥ標準のＱＰ番号は３Ｂ長であるが、実施例１に係るストレージ装置ではＱＰ総数が少なくてもよいため、２Ｂ長に短縮している。
【0070】
１ｓｔＢＥ（Ｆｉｒｓｔ Ｂｙｔｅ Ｅｎａｂｌｅ）１５０４とＬａｓｔＢＥ（Ｌａｓｔ Ｂｙｔｅ Ｅｎａｂｌｅ）１５０３は、変換元ＰＣＩｅパケットヘッダの１ｓｔ Ｂｙｔｅ ＥｎａｂｌｅおよびＬａｓｔ Ｂｙｔｅ Ｅｎａｂｌｅフィールドの値をそのまま格納する。後述するように、実施例１に係るストレージ装置の内部ネットワークではＰＣＩｅと同様に４Ｂ単位でアドレスを指定するため、ＲｏＣＥ標準には無いこれらのフィールドが必要となる。フィールドの意味はＰＣＩｅのＢｙｔｅ Ｅｎａｂｌｅと同様である。
【0071】
Ａ（ＡＣＫＲＥＱ）１５０５は、ＡＣＫ Ｒｅｑｕｅｓｔビットを示す。リクエスタがＡ＝１にセットしたＲＤＭＡ Ｗｒｉｔｅリクエストを送信すると、それを受信したレスポンダはＡＣＫの送信をスケジュールする。ＡＣＫＲＥＱはＲＤＭＡ Ｗｒｉｔｅリクエストの場合のみに有効である。
【0072】
Ｅ（Ｅｒｒｏｒ Ｐｏｉｓｏｎｅｄ）１５０６は、ＲｏＣＥ標準には無いフィールドで、変換元ＰＣＩｅパケットヘッダのＥｒｒｏｒ Ｐｏｉｓｏｎｅｄフィールドの値をそのまま格納する。
【0073】
ＣＳ（Ｃｏｍｐｌｅｔｉｏｎ Ｓｔａｔｕｓ）１５０７は、ＲｏＣＥ標準には無いフィールドで、変換元ＰＣＩｅコンプリーションヘッダのＣｏｍｐｌｅｔｉｏｎ Ｓｔａｔｕｓフィールドの値をそのまま格納する。このフィールドは、ＲｏＣＥパケットがＲＤＭＡ Ｒｅａｄレスポンスの場合のみに有効である。
【0074】
ＰＳＮ（Ｐａｃｋｅｔ Ｓｅｑｕｅｎｃｅ Ｎｕｍｂｅｒ）１５０８は、ＲｏＣＥの送信パケット毎に付与されるパケットシーケンス番号である。
【0075】
ＢＴＨの他のフィールドは、実施例１に係るストレージ装置では使用しないか、ＲｏＣＥ標準と同じであるので、説明を省略する。上述のように、ＲｏＣＥ標準には無いフィールドにＰＣＩｅの情報を格納することで、ＰＣＩｅとＲｏＣＥとの間の変換が容易となる。
【0076】
図１６は、実施例１に係るストレージ装置で使用するＲＥＴＨのフォーマットを説明する図である。ＲＥＴＨフォーマット１６００は、ＲｏＣＥ標準のＲＥＴＨ（１６Ｂ長）から、実施例１に係るストレージ装置では使用しないフィールドを省略した結果、ＲＥＴＨのデータサイズが１２Ｂになっている。
【0077】
リモートアドレス１６０１、１６０２は、ＲｏＣＥ標準では０ｂｉｔから６３ｂｉｔの６４ｂｉｔの値を使って１Ｂ単位で指定するが、実施例１に係るストレージ装置ではＰＣＩｅと同様に、２ｂｉｔから６３ｂｉｔの６２ｂｉｔの値を使って４Ｂ単位で指定する。従って、使用しない下位２ｂｉｔは予約フィールド（Ｒ： Ｒｅｓｅｒｖｅｄ）になっている。４Ｂ以下のアドレス指定が必要な場合は、ＢＴＨのＢｙｔｅ Ｅｎａｂｌｅフィールドで指定する。
【0078】
ＤＭＡ長１６０３フィールドにはデータ転送長を指定する。ＤＭＡ長１６０３は、ＲｏＣＥ標準では１Ｂ単位でデータ転送長を指定するが、実施例１に係るストレージ装置では、ＰＣＩｅと同様に４Ｂ（Ｄｏｕｂｌｅ Ｗｏｒｄ）単位で指定する。
【0079】
なお、実施例１に係るストレージ装置で使用するＡＥＴＨは、ＲｏＣＥ標準のフォーマットと同内容であるので、説明を省略する。
【0080】
図１７は、実施例１に係るストレージ装置において、ＰＣＩｅ－ＲｏＣＥ変換部がＰＣＩｅ ＷｒｉｔｅリクエストをＲＤＭＡ Ｗｒｉｔｅリクエストに変換する動作を説明する図である。例として、プロセッサ２００がメモリ２０２内のデータを、プロセッサ１７０１に接続されたメモリ１７０２へ送信する場合について述べる。プロセッサ２００とプロセッサ１７０１は、ＥＩＦ１０４、ＥＩＦ１７０３を介して接続する。ＥＩＦ１０４とＥＩＦ１７０３の間を接続するイーサネットスイッチやイーサネットリンクは省略している。
【0081】
先ずプロセッサ２００は、ＰＣＩｅ－ＥＩＦ論理部３０２に対してＰＣＩｅ Ｗｒｉｔｅリクエスト１７０７を送信することにより、メモリ２０２からメモリ１７０２へのデータ書き込みを指示する。
【0082】
ＰＣＩｅ－ＥＩＦ論理部３０２は、メモリ２０２内の送信データをペイロードに格納したＰＣＩｅ Ｗｒｉｔｅリクエスト１７０８を、ＰＣＩｅ－ＲｏＣＥ変換部３０１に送信する。ＰＣＩｅ－ＲｏＣＥ変換部３０１は、受信したＰＣＩｅ ＷｒｉｔｅリクエストをＷＱＥに変換して送信キュー１７０６にポストする。そして、ＷＱＥを処理したＰＣＩｅ－ＲｏＣＥ変換部３０１は、送信データを含むＲＤＭＡ Ｗｒｉｔｅリクエスト１７０９を内部ネットワーク（Ｅｔｈｅｒｎｅｔ）へ送信する。この場合のＰＣＩｅ－ＲｏＣＥ変換部３０１における再送バッファ４０２を介したデータ転送動作については、図１９と２０を使って後述する。ここで、ＰＣＩｅ－ＲｏＣＥ変換部３０１はＲｏＣＥのリクエスタとして動作する。
【0083】
ＥＩＦ１７０３は、ＰＣＩｅ－ＥＩＦ論理部１７０４とＰＣＩｅ－ＲｏＣＥ変換部１７０５を備える。ＰＣＩｅ－ＲｏＣＥ変換部１７０５は、内部ネットワーク（Ｅｔｈｅｒｎｅｔ）を介して受信したＲＤＭＡ Ｗｒｉｔｅリクエスト１７０９を、ＰＣＩｅ Ｗｒｉｔｅリクエスト１７１０に変換してＰＣＩｅ－ＥＩＦ論理部１７０４に送信する。ここで、ＰＣＩｅ－ＲｏＣＥ変換部１７０５はＲｏＣＥのレスポンダとして動作する。ＰＣＩｅ Ｗｒｉｔｅリクエスト１７１０を送信したＰＣＩｅ－ＲｏＣＥ変換部１７０５は、ＡＣＫ１７１２をリクエスタであるＰＣＩｅ－ＲｏＣＥ変換部３０１へ送信する。
【0084】
ＰＣＩｅ－ＥＩＦ論理部１７０４は、受信したＰＣＩｅ Ｗｒｉｔｅリクエスト１７１０をＰＣＩｅ Ｗｒｉｔｅリクエスト１７１１としてプロセッサ１７０１へ送信する。ＰＣＩｅ Ｗｒｉｔｅリクエスト１７１１を受信したプロセッサ１７０１は、そのペイロードに格納されたデータをメモリ１７０２に書き込む。
【0085】
図１８は、実施例１に係るストレージ装置において、ＰＣＩｅ－ＲｏＣＥ変換部３０１のＷＱＥコンバータがＰＣＩｅ Ｗｒｉｔｅリクエストから変換したＲＤＭＡ Ｗｒｉｔｅリクエスト用ＷＱＥの内容について説明する図である。ＷＱＥ１８００は、ＳＳＮ（Ｓｅｎｄ Ｓｅｑｕｅｎｃｅ Ｎｕｍｂｅｒ）１８０１と、変換元ＰＣＩｅ ＷｒｉｔｅリクエストのリクエスタＩＤおよびＴａｇ１８０２と、変換先ＲＤＭＡ ＷｒｉｔｅリクエストのＢＴＨ１８０３及びＲＥＴＨ１８０４と、送信データ格納先の再送バッファアドレス１８０５を含む。これにより、変換元ＰＣＩｅ Ｗｒｉｔｅリクエストと変換先ＲＤＭＡ Ｗｒｉｔｅリクエストとが一対一に対応付けできる。
【0086】
図１９と２０は、再送バッファ４０２に係るデータ転送動作を説明する図である。図１９において、ＰＣＩｅ－ＥＩＦ論理部３０２のＤＭＡ４３４は、プロセッサ２００に対してＰＣＩｅ Ｒｅａｄリクエスト１９０１を送信し、それに対するＰＣＩｅコンプリーション１９０２を受信することにより、メモリ２０２から送信データを読み出す。ＰＣＩｅ－ＥＩＦ論理部３０２は、送信データをＰＣＩｅ－ＲｏＣＥ変換部３０１へＰＣＩｅ Ｗｒｉｔｅリクエスト１９０３で送信する。ＰＣＩｅ－ＲｏＣＥ変換部３０１は、このＰＣＩｅ Ｗｒｉｔｅリクエスト１９０３のヘッダに後述する変換処理を施した後、ＱＰの送信キュー１７０６にＷＱＥとして格納する。また、ＰＣＩｅ－ＲｏＣＥ変換部３０１は、ＰＣＩｅ Ｗｒｉｔｅリクエスト１９０３のペイロードの内容をＰＣＩｅ Ｗｒｉｔｅリクエスト１９０４で再送バッファ４０２に格納する。
【0087】
図２０において、ＰＣＩｅ－ＲｏＣＥ変換部３０１は、ＱＰの送信キュー１７０６内のＷＱＥを処理する際に、ＷＱＥに格納したバッファアドレス１８０５を参照する。そして、ＰＣＩｅ－ＲｏＣＥ変換部３０１は、再送バッファ４０２に対してＰＣＩｅ Ｒｅａｄリクエスト２００１を送信して、それに対するＰＣＩｅコンプリーション２００２を受信することより、送信データを読み出す。そして、ＰＣＩｅ－ＲｏＣＥ変換部３０１は、送信データをペイロードに格納したＲＤＭＡ Ｗｒｉｔｅリクエスト１７０９を、内部ネットワーク（Ｅｔｈｅｒｎｅｔ）へ送信する。ＲＤＭＡ Ｗｒｉｔｅリクエストの再送時も、ＰＣＩｅ－ＲｏＣＥ変換部３０１は、再送バッファ４０２から送信データを読み出して、リクエストを再送する。
【0088】
次に、図２１と２２を参照して、ＰＣＩｅ ＷｒｉｔｅリクエストからＷＱＥへの変換処理について説明する。図２１は、ＰＣＩｅリクエストのヘッダフォーマットを説明する図である。ＰＣＩｅリクエストのヘッダフォーマット２１００は、ＰＣＩｅ標準のフォーマットから変更が無いが、ここではＰＣＩｅ ＷｒｉｔｅリクエストからＷＱＥへの変換処理に関連するフィールドについて説明する。
【0089】
Ｌｅｎｇｔｈ２１０１は、ＰＣＩｅ Ｗｒｉｔｅリクエストのペイロードに格納したＤＷ（Ｄｏｕｂｌｅ Ｗｏｒｄ、４Ｂ）単位のデータサイズを格納する。
【0090】
Ｔｙｐｅ２１０２は、Ｍｅｍｏｒｙ ＷｒｉｔｅやＭｅｍｏｒｙ Ｒｅａｄ等のＰＣＩｅリクエストタイプを格納する。
【0091】
１ｓｔＢＥ２１０３は、４Ｂ単位の最初のデータのＢｙｔｅ Ｅｎａｂｌｅ値を格納する。
【0092】
ＬａｓｔＢＥ２１０４は、４Ｂ単位の最後のデータのＢｙｔｅ Ｅｎａｂｌｅ値を格納する。
【0093】
リクエスタＩＤ２１０６は、ＰＣＩｅリクエストの送信元ＰＣＩｅデバイスの識別情報を格納する。リクエスタＩＤ２１０６とＴａｇ２１０５を合わせて、ＰＣＩｅリクエストの識別情報になる。
【0094】
アドレス２１０７と２１０８は、ＰＣＩｅリクエストの送信先アドレスを格納する。
【0095】
他のフィールドは、ＲＤＭＡ Ｗｒｉｔｅリクエストへの変換では使用しないので、説明を省略する。
【0096】
図２２は、リクエスタ側のＰＣＩｅ－ＲｏＣＥ変換部がＰＣＩｅ Ｗｒｉｔｅリクエストを受信した場合の、ＰＣＩｅ Ｗｒｉｔｅリクエストのヘッダ２２０１とＲＤＭＡ Ｗｒｉｔｅリクエストのヘッダ２２０２の間の変換処理を説明する図である。以下、リクエスタ側ＰＣＩｅ－ＲｏＣＥ変換部におけるＰＣＩｅリクエストヘッダからＲＤＭＡリクエストヘッダへの変換について述べるが、レスポンダ側ＰＣＩｅ－ＲｏＣＥ変換部におけるＲＤＭＡリクエストヘッダからＰＣＩｅリクエストヘッダへの変換も、方向が異なるだけで同様である。
【0097】
ＰＣＩｅリクエストヘッダのＴｙｐｅフィールドがＭｅｍｏｒｙ Ｗｒｉｔｅの場合は、ＲｏＣＥのＢＴＨのＯｐＣｏｄｅフィールドをＲＤＭＡ Ｗｒｉｔｅ Ｏｎｌｙに設定する（２２０３）。実施例１のストレージ装置では、ＰＣＩｅ ＷｒｉｔｅリクエストをＲＤＭＡ Ｗｒｉｔｅリクエストに１対１に変換する。ここで、ＰＣＩｅとＲｏＣＥの最大ペイロードサイズは同じであるとする。
【0098】
ＰＣＩｅリクエストヘッダの１ｓｔ Ｂｙｔｅ Ｅｎａｂｌｅ及びＬａｓｔ Ｂｙｔｅ Ｅｎａｂｌｅフィールドの値は、ＲｏＣＥのＢＴＨ内に設けた１ｓｔ Ｂｙｔｅ Ｅｎａｂｌｅ及びＬａｓｔ Ｂｙｔｅ Ｅｎａｂｌｅフィールドにそのまま格納する（２２０４、２２０５）。
【0099】
ＰＣＩｅリクエストヘッダのＥｒｒｏｒ Ｐｏｉｓｏｎｅｄフィールドは、ＲｏＣＥのＢＴＨ内に設けたＥｒｒｏｒ Ｐｏｉｓｏｎｅｄフィールドにそのまま格納する（２２０６）。
【0100】
リクエスタ側のＰＣＩｅ－ＲｏＣＥ変換部において、変換元ＰＣＩｅリクエストヘッダのリクエスタＩＤとＴａｇは、ＱＰの送信キュー内のＷＱＥに保存する（２２０７）。ＷＱＥには、ペイロードに含まれる送信データの格納先である再送バッファアドレスも保存する。レスポンダ側ＰＣＩｅ－ＲｏＣＥ変換部では、ＰＣＩｅリクエストヘッダのリクエスタＩＤとＴａｇを保存しない。
【0101】
ＰＣＩｅリクエストヘッダのＰＣＩｅ Ａｄｄｒｅｓｓフィールド（６３：２）の値は、ＲｏＣＥのＲＥＴＨのＲｅｍｏｔｅ Ａｄｄｒｅｓｓフィールド（６３：２）にそのまま格納する（２２０８、２２０９）。
【0102】
ＰＣＩｅリクエストヘッダのＬｅｎｇｔｈフィールドの値（１０ｂｉｔ長）は、ＲｏＣＥのＲＥＴＨのＤＭＡ Ｌｅｎｇｔｈフィールドにそのまま格納する（２２１０）。ＲＥＴＨのＤＭＡ Ｌｅｎｇｔｈフィールド（３１：１０）は０とする。
【0103】
図２３は、実施例１に係るストレージ装置において、ＰＣＩｅ－ＲｏＣＥ変換部がＰＣＩｅ ＲｅａｄリクエストをＲＤＭＡ Ｒｅａｄリクエストに変換する動作を説明する図である。例として、プロセッサ２００がプロセッサ１７０１に接続されたメモリ１７０２内のデータを、メモリ２０２に受信する場合について述べる。プロセッサ２００とプロセッサ１７０１は、ＥＩＦ１０４、ＥＩＦ１７０３を介して接続する。ＥＩＦ１０４とＥＩＦ１７０３の間を接続するイーサネットスイッチやイーサネットリンクは省略している。
【0104】
先ずプロセッサ２００は、ＰＣＩｅ－ＥＩＦ論理部３０２に対して、メモリ１７０２からのデータ読み出し指示をペイロードに格納したＰＣＩｅ Ｗｒｉｔｅリクエスト２３０１を送信することにより、メモリ１７０２からメモリ２０２へのデータ読み出しを指示する。
【0105】
ＰＣＩｅ－ＥＩＦ論理部３０２は、メモリ１７０２内のデータ読み出しを指示するＰＣＩｅ Ｒｅａｄリクエスト２３０２を、ＰＣＩｅ－ＲｏＣＥ変換部３０１に送信する。そして、ＰＣＩｅ－ＲｏＣＥ変換部３０１は、受信したＰＣＩｅ Ｒｅａｄリクエスト２３０２を変換したＲＤＭＡ Ｒｅａｄリクエスト２３０３を内部ネットワーク（Ｅｔｈｅｒｎｅｔ）へ送信する。ここで、ＰＣＩｅ－ＲｏＣＥ変換部３０１はＲｏＣＥのリクエスタとして動作する。
【0106】
ＥＩＦ１７０３のＰＣＩｅ－ＲｏＣＥ変換部１７０５は、内部ネットワーク（Ｅｔｈｅｒｎｅｔ）を介して受信したＲＤＭＡ Ｒｅａｄリクエスト２３０３を、ＰＣＩｅ Ｒｅａｄリクエスト２３０４に変換してＰＣＩｅ－ＥＩＦ論理部１７０４に送信する。ここで、ＰＣＩｅ－ＲｏＣＥ変換部１７０５はＲｏＣＥのレスポンダとして動作する。
【0107】
ＰＣＩｅ－ＥＩＦ論理部１７０４は、受信したＰＣＩｅ Ｒｅａｄリクエスト２３０４をＰＣＩｅ Ｒｅａｄリクエスト２３０５としてプロセッサ１７０１へ送信する。ＰＣＩｅ Ｒｅａｄリクエスト２３０５を受信したプロセッサ１７０１は、メモリ１７０２から、指定されたアドレスのデータを読み出す。
【0108】
次に、プロセッサ１７０１は、読み出しデータを格納したＰＣＩｅコンプリーション２３０６をＥＩＦ１７０３のＰＣＩｅ－ＥＩＦ論理部１７０４に送信する。ＰＣＩｅ－ＥＩＦ論理部１７０４は、受信したＰＣＩｅコンプリーション２３０６をＰＣＩｅコンプリーション２３０７として、ＰＣＩｅ－ＲｏＣＥ変換部１７０５に送信する。
【0109】
ＰＣＩｅ－ＲｏＣＥ変換部１７０５は、ＰＣＩｅ－ＥＩＦ論理部１７０４から受信したＰＣＩｅコンプリーション２３０７をＲＤＭＡ Ｒｅａｄレスポンス２３０８に変換して、内部ネットワーク（Ｅｔｈｅｒｎｅｔ）に送信する。
【0110】
ＥＩＦ１０４のＰＣＩｅ－ＲｏＣＥ変換部３０１は、内部ネットワーク（Ｅｔｈｅｒｎｅｔ）を介して受信したＲＤＭＡ Ｒｅａｄレスポンス２３０８を、ＰＣＩｅコンプリーション２３０９に変換してＰＣＩｅ－ＥＩＦ論理部３０２に送信する。
【0111】
ＰＣＩｅ－ＥＩＦ論理部３０２は、受信したＰＣＩｅコンプリーション２３０９をＰＣＩｅ Ｗｒｉｔｅリクエスト２３１０に変換して、プロセッサ２００に送信する。
【0112】
プロセッサ２００は、ＰＣＩｅ－ＥＩＦ論理部３０２から受信したＰＣＩｅ Ｗｒｉｔｅリクエストのペイロードに含まれるデータをメモリ２０２に書き込む。
【0113】
図２４は、実施例１に係るストレージ装置において、ＰＣＩｅ－ＲｏＣＥ変換部３０１のＷＱＥコンバータがＰＣＩｅ Ｒｅａｄリクエストから変換したＲＤＭＡ Ｒｅａｄリクエスト用のＷＱＥの内容について説明する図である。ＷＱＥ２４００は、ＳＳＮ（Ｓｅｎｄ Ｓｅｑｕｅｎｃｅ Ｎｕｍｂｅｒ）２４０１と、変換元ＰＣＩｅ ＲｅａｄリクエストのリクエスタＩＤおよびＴａｇ２４０２と、変換先ＲＤＭＡ ＲｅａｄリクエストのＢＴＨ２４０３及びＲＥＴＨ２４０４を含む。これにより、変換元ＰＣＩｅ Ｒｅａｄリクエストと変換先ＲＤＭＡ Ｒｅａｄリクエストとが一対一に対応付けできる。
【0114】
図２５は、レスポンダ側のＰＣＩｅ－ＲｏＣＥ変換部が備えるＰＳＮ－ＰＣＩｅＴａｇ変換テーブルを説明する図である。ＰＳＮ－ＰＣＩｅＴａｇ変換テーブル２５００は、レスポンダ側のＰＣＩｅ－ＲｏＣＥ変換部が受信したＲＤＭＡ ＲｅａｄリクエストのＢＴＨに含まれるＱＰ番号２５０１とＰＳＮ２５０２を格納する。さらに、ＰＳＮ－ＰＣＩｅＴａｇ変換テーブル２５００は、受信したＲＤＭＡ Ｒｅａｄリクエストを変換したＰＣＩｅ Ｒｅａｄリクエストのヘッダに含まれるリクエスタＩＤとＴａｇ２５０３を格納する。ＰＣＩｅ－ＲｏＣＥ変換部は、ＰＳＮ－ＰＣＩｅＴａｇ変換テーブル２５００を参照することにより、ＰＣＩｅ－ＥＩＦ論理部から受信したＰＣＩｅコンプリーションを、変換元のＲＤＭＡ Ｒｅａｄリクエストに対応するＲＤＭＡ Ｒｅａｄレスポンスに変換することができる。
【0115】
図２６は、リクエスタ側のＰＣＩｅ－ＲｏＣＥ変換部がＰＣＩｅ Ｒｅａｄリクエストを受信した場合の、ＰＣＩｅ Ｒｅａｄリクエストのヘッダ２６０１とＲＤＭＡ Ｒｅａｄリクエストのヘッダ２６０２の間の変換処理を説明する図である。以下、リクエスタ側ＰＣＩｅ－ＲｏＣＥ変換部におけるＰＣＩｅリクエストヘッダからＲＤＭＡリクエストヘッダへの変換について述べるが、レスポンダ側ＰＣＩｅ－ＲｏＣＥ変換部におけるＲＤＭＡリクエストヘッダからＰＣＩｅリクエストヘッダへの変換も、方向が異なるだけで同様である。
【0116】
ＰＣＩｅリクエストヘッダのＴｙｐｅフィールドがＭｅｍｏｒｙ Ｒｅａｄの場合は、ＲｏＣＥのＢＴＨのＯｐＣｏｄｅフィールドをＲＤＭＡ Ｒｅａｄに設定する（２６０３）。
【0117】
ＰＣＩｅリクエストヘッダの１ｓｔ Ｂｙｔｅ Ｅｎａｂｌｅ及びＬａｓｔ Ｂｙｔｅ Ｅｎａｂｌｅフィールドの値は、ＲｏＣＥのＢＴＨ内に設けた１ｓｔ Ｂｙｔｅ Ｅｎａｂｌｅ及びＬａｓｔ Ｂｙｔｅ Ｅｎａｂｌｅフィールドにそのまま格納する（２６０４、２６０５）。
【0118】
ＰＣＩｅリクエストヘッダのＥｒｒｏｒ Ｐｏｉｓｏｎｅｄフィールドは、ＲｏＣＥのＢＴＨ内に設けたＥｒｒｏｒ Ｐｏｉｓｏｎｅｄフィールドにそのまま格納する（２６０６）。
【0119】
リクエスタ側のＰＣＩｅ－ＲｏＣＥ変換部において、変換元ＰＣＩｅリクエストヘッダのリクエスタＩＤとＴａｇは、ＱＰの送信キュー内のＷＱＥに保存する。レスポンダ側のＰＣＩｅ－ＲｏＣＥ変換部では、ＰＣＩｅリクエストヘッダに含まれるリクエスタＩＤとＴａｇ及びＲＤＭＡ Ｒｅａｄリクエストヘッダに含まれるＱＰ番号とＰＳＮは、図２５のＰＳＮ－ＰＣＩｅ Ｔａｇ変換テーブル２５００に保存する（２６０７）。
【0120】
ＰＣＩｅリクエストヘッダのＰＣＩｅ Ａｄｄｒｅｓｓフィールド（６３：２）の値は、ＲｏＣＥのＲＥＴＨのＲｅｍｏｔｅ Ａｄｄｒｅｓｓフィールド（６３：２）にそのまま格納する（２６０８、２６０９）。
【0121】
ＰＣＩｅリクエストヘッダのＬｅｎｇｔｈフィールドの値（１０ｂｉｔ長）は、ＲｏＣＥのＲＥＴＨのＤＭＡ Ｌｅｎｇｔｈフィールドにそのまま格納する（２６１０）。ＲＥＴＨのＤＭＡ Ｌｅｎｇｔｈフィールド（３１：１０）は０とする。
【0122】
図２７は、ＰＣＩｅコンプリーションのヘッダフォーマットを説明する図である。ＰＣＩｅコンプリーションのヘッダフォーマット２７００はＰＣＩｅ標準のフォーマットから変更が無いが、ここではＰＣＩｅコンプリーションからＲＤＭＡ Ｒｅａｄレスポンスへの変換処理に関連するフィールドについて説明する。
【0123】
Ｌｅｎｇｔｈ２７０１は、ＰＣＩｅコンプリーションのペイロードに格納したＤＷ（Ｄｏｕｂｌｅ Ｗｏｒｄ）単位のデータサイズを格納する。
【0124】
Ｔｙｐｅ２７０２は、ＰＣＩｅコンプリーションを示すタイプを格納する。
【0125】
Ｂｙｔｅ Ｃｏｕｎｔ２７０３は、ＰＣＩｅ Ｒｅａｄリクエストで指定された読み出しデータサイズに対する、現行パケットも含めた残りバイト数を格納する。
【0126】
コンプリーションステータス（ＣｐｌＣｔｓ）２７０４は、レスポンダ側でＰＣＩｅ Ｒｅａｄを実行した結果のステータスを格納する。
【0127】
Ｌｏｗｅｒ Ａｄｄｒｅｓｓ２７０６は、ＰＣＩｅコンプリーションに含まれるデータの先頭アドレスを格納する。
【0128】
コンプリータＩＤ２７０５は、ＰＣＩｅコンプリーション送信元ＰＣＩｅデバイスの識別情報を格納する。
【0129】
リクエスタＩＤ２７０８は、ＰＣＩｅコンプリーションに対応するＰＣＩｅ Ｒｅａｄリクエストの送信元ＰＣＩｅデバイスの識別情報を格納する。リクエスタＩＤ２７０８とＴａｇ２７０７を合わせて、ＰＣＩｅコンプリーションに対応するＰＣＩｅ Ｒｅａｄリクエストの識別情報になる。
【0130】
図２８は、レスポンダ側ＰＣＩｅ－ＲｏＣＥ変換部１７０５が受信するＰＣＩｅコンプリーション２３０７のヘッダ２８０１と、その変換先ＲＤＭＡ Ｒｅａｄレスポンス２３０８のヘッダ２８０２の変換内容を説明する図である。
【0131】
ＰＣＩｅコンプリーションヘッダのＴｙｐｅフィールドがＣｏｍｐｌｅｔｉｏｎの場合は、ＲＤＭＡ ＲｅａｄレスポンスのＢＴＨのＯｐＣｏｄｅフィールドをＲＤＭＡ Ｒｅａｄ Ｒｅｓｐｏｎｓｅに設定する（２８０３）。ただし、図１１で示した様に、ＲＤＭＡ ＲｅａｄレスポンスのＯｐＣｏｄｅは、読み出しデータサイズまたはレスポンスに含まれる読み出しデータの全体に対する位置によって、ＲＤＭＡ ＲｅａｄレスポンスＦｉｒｓｔ（１１０２）、Ｍｉｄｄｌｅ（１１０３）、Ｌａｓｔ（１１０４）またはＲＤＭＡ ＲｅａｄレスポンスＯｎｌｙに変える必要がある。
【0132】
ＰＣＩｅコンプリーションヘッダのＬｅｎｇｔｈフィールドは、対応するＲＤＭＡ Ｒｅａｄレスポンスヘッダフィールドが無いので変換しない（２８０４）。
【0133】
ＰＣＩｅコンプリーションヘッダのＣｐｌＳｔｓフィールドの値は、ＲＤＭＡ ＲｅａｄレスポンスのＢＴＨ内に設けたＣＳフィールドにそのまま格納する（２８０５）。
【0134】
ＰＣＩｅコンプリーションヘッダのＢｙｔｅ Ｃｏｕｎｔフィールドは、対応するＲＤＭＡ Ｒｅａｄレスポンスヘッダフィールドが無いので変換しない（２８０６）。
【0135】
ＰＣＩｅコンプリーションヘッダのリクエスタＩＤとＴａｇは、図２５のＰＳＮ－ＰＣＩｅＴａｇ変換テーブル２５００を参照して、ＲＤＭＡ ＲｅａｄレスポンスのＢＴＨ内のＱＰ番号とＰＳＮに変換する（２８０７）。
【0136】
ＰＣＩｅコンプリーションヘッダのＬｏｗｅｒ Ａｄｄｒｅｓｓフィールドは、対応するＲＤＭＡ Ｒｅａｄレスポンスヘッダフィールドが無いので変換しない（２８０８）。
【0137】
なお、プロセッサは、読み出しデータサイズが最大ペイロードサイズ以下の場合でも、複数のパケットに分割してＰＣＩｅコンプリーションを送信する場合がある。その場合、ＰＣＩｅ－ＲｏＣＥ変換部は、分割されて送信された複数の読み出しデータを、ＲＤＭＡ Ｒｅａｄレスポンスの最大ペイロードサイズ単位にまとめて、ＰＣＩｅコンプリーションをＲＤＭＡ Ｒｅａｄレスポンスに変換する。
【0138】
図２９は、リクエスタ側ＰＣＩｅ－ＲｏＣＥ変換部３０１が受信するＲＤＭＡ Ｒｅａｄレスポンス２３０８のヘッダ２９０１と、その変換先ＰＣＩｅコンプリーション２３０９のヘッダ２９０２の変換内容を説明する図である。
【0139】
ＲＤＭＡ ＲｅａｄレスポンスヘッダのＯｐＣｏｄｅフィールドがＲＤＭＡ Ｒｅａｄレスポンス（Ｆｉｒｓｔ、Ｍｉｄｄｌｅ、Ｌａｓｔ、Ｏｎｌｙ）の場合は、ＰＣＩｅコンプリーションヘッダのタイプフィールドをＣｏｍｐｌｅｔｉｏｎに設定する（２９０３）。
【0140】
ＰＣＩｅコンプリーションヘッダのＬｅｎｇｔｈフィールド（２９０４）は、ＲＤＭＡ Ｒｅａｄレスポンスの種類によって次のように設定値が変わる。ここで、ＰＣＩｅとＲｏＣＥの最大ペイロードサイズは同じであるとする。
【0141】
ＯｐＣｏｄｅフィールドがＲＤＭＡ ＲｅａｄレスポンスＯｎｌｙの場合、ＰＣＩｅコンプリーションヘッダのＬｅｎｇｔｈフィールドは、ＲＤＭＡ ＲｅａｄレスポンスヘッダのＰＳＮに対応するＷＱＥに保存していたＲＥＴＨを参照して、そのＤＭＡ Ｌｅｎｇｔｈフィールドの値を設定する。ＯｐＣｏｄｅフィールドがＲＤＭＡ ＲｅａｄレスポンスＦｉｒｓｔまたはＭｉｄｄｌｅの場合、Ｌｅｎｇｔｈフィールドには最大ペイロードサイズ（バイト単位）の１／４の値を設定する。ＯｐＣｏｄｅフィールドがＲＤＭＡ ＲｅａｄレスポンスＬａｓｔの場合、ＰＣＩｅコンプリーションヘッダのＬｅｎｇｔｈフィールドは、ＲＤＭＡ ＲｅａｄレスポンスヘッダのＰＳＮに対応するＷＱＥに保存していたＲＥＴＨを参照して、そのＤＭＡ Ｌｅｎｇｔｈフィールドの値を最大ペイロードサイズの１／４で割った余りの値を設定する。
【0142】
ＰＣＩｅコンプリーションヘッダのＣｐｌＳｔｓフィールドは、ＲＤＭＡ ＲｅａｄレスポンスのＢＴＨ内に設けたＣＳフィールドの値をそのまま設定する（２９０５）。
【0143】
ＰＣＩｅコンプリーションヘッダのＢｙｔｅ Ｃｏｕｎｔフィールド（２９０６）は、ＲＤＭＡ ＲｅａｄレスポンスヘッダのＰＳＮに対応するＷＱＥに保存していたＲＥＴＨを参照して、そのＤＭＡ Ｌｅｎｇｔｈフィールドの値の４倍から受信済データサイズ（受信済レスポンス数×最大ペイロードサイズ、ただし現パケット分は含まず）を引いた値を設定する。つまり、Ｂｙｔｅ Ｃｏｕｎｔフィールドは、Ｒｅａｄリクエストで指示した読み出しデータサイズに対する、現行パケットも含めた残りバイト数を設定する。
【0144】
ＰＣＩｅコンプリーションヘッダのリクエスタＩＤおよびＴａｇフィールドは、ＲＤＭＡ ＲｅａｄレスポンスヘッダのＰＳＮに対応するＷＱＥを参照して保存しておいた値を格納する（２９０７）。
【0145】
ＰＣＩｅコンプリーションヘッダのＬｏｗｅｒ Ａｄｄｒｅｓｓフィールド（２９０８）は、ＲＤＭＡ ＲｅａｄレスポンスヘッダのＰＳＮに対応するＷＱＥを参照して、保存していたＢＴＨの１ｓｔ Ｂｙｔｅ ＥｎａｂｌｅフィールドとＲＥＴＨのＲｅｍｏｔｅ Ａｄｄｒｅｓｓフィールド、および受信済データサイズ（現行パケット含まず）から変換した値を設定する。ＰＣＩｅ及びＲｏＣＥの最大ペイロードサイズが１２８Ｂの倍数の場合、Ｌｏｗｅｒ Ａｄｄｒｅｓｓフィールド（２９０８）は、Ｒｅｍｏｔｅ Ａｄｄｒｅｓｓフィールドの値と次に示すＯｆｆｓｅｔの和の下位７ｂｉｔを設定する。ここで１ｓｔ Ｂｙｔｅ Ｅｎａｂｌｅが‘１１１１ｂ’の場合のＯｆｆｓｅｔは０、１ｓｔ Ｂｙｔｅ Ｅｎａｂｌｅが‘１１１０ｂ’の場合のＯｆｆｓｅｔは１、１ｓｔ Ｂｙｔｅ Ｅｎａｂｌｅが‘１１００ｂ’の場合のＯｆｆｓｅｔは２、１ｓｔ Ｂｙｔｅ Ｅｎａｂｌｅが‘１０００ｂ’の場合のＯｆｆｓｅｔは３である。
【0146】
以上述べた実施例１に係るストレージ装置における、ＰＣＩｅ ＲｅａｄリクエストとＲＤＭＡ Ｒｅａｄリクエストの間の変換動作をまとめる。先ず、ＰＣＩｅ－ＥＩＦ論理部３０２からＰＣＩｅリクエスト２３０２を受信したリクエスタ側ＰＣＩｅ－ＲｏＣＥ変換部３０１が、受信したＰＣＩｅリクエスト２３０２のリクエスタＩＤとＴａｇを送信キュー１７０６のＷＱＥに保存する。さらにＰＣＩｅ－ＲｏＣＥ変換部３０１は、受信したＰＣＩｅリクエスト２３０２を変換したＲＤＭＡ Ｒｅａｄリクエスト２３０３のＰＳＮもＷＱＥに保存する。そして、ＰＣＩｅ－ＲｏＣＥ変換部３０１はレスポンダ側ＰＣＩｅ－ＲｏＣＥ変換部１７０５からＲＤＭＡ Ｒｅａｄレスポンス２３０８を受信する。そして、ＰＣＩｅ－ＲｏＣＥ変換部３０１は、ＲＤＭＡ Ｒｅａｄレスポンス２３０８のＰＳＮと、ＷＱＥに保存しておいたＰＳＮ及びリクエスタＩＤとＴａｇを参照することにより、ＲＤＭＡ Ｒｅａｄレスポンス２３０８をＰＣＩｅコンプリーション２３０９に変換することができる。
【0147】
以上述べたように、実施例１に係るストレージ装置は、ストレージ向け機能を実現するＰＣＩｅ－ＥＩＦ論理部が送信するＰＣＩｅリクエストを、ＲｏＣＥのＲＤＭＡリクエストに１対１に変換することができる。これにより、実施例１に係るストレージ装置は、内部ネットワークにイーサネットを適用した場合でも、ＰＣＩｅ－ＥＩＦ論理部が備えるストレージ向けデータ転送機能を実現することができる。
【0148】
例えば図１７又は２３を参照して説明したように、コントローラインターフェースであるエッジインターフェースは、ストレージコントローラ内で使用するＰＣＩｅリクエストを、ストレージコントローラ間ネットワークで使用するＲＤＭＡリクエストに変換する場合に、ＰＣＩｅリクエストの識別情報と、ＲＤＭＡリクエストの識別情報とをＷＱＥに含めて、ＱＰの送信キューに格納する。
【0149】
ＰＣＩｅのリクエストの識別情報は、例えば図１８又は２４を参照して説明したように、リクエスタＩＤ及びＴａｇを含むことができる。リクエスタＩＤ及びＴａｇは、それぞれ、送信元デバイスの識別情報とリクエストのパケット識別番号である。さらに、ＲＤＭＡリクエストの識別情報は、ＰＳＮを含むことができる。ＰＳＮは、ＲＤＭＡリクエストのパケット識別番号であり、ＢＴＨに含まれる。
【0150】
例えば図５を参照して説明したように、エッジインターフェースは、ＰＣＩｅリクエストの送信先アドレスと、ＱＰの識別情報、例えば、ＤｅｓｔＱＰＮ及びＳｒｃＱＰＮの対応関係の情報を格納してよい。さらに、ＱＰの識別情報とＱＰのＰＣＩｅにおけるアドレス情報の対応関係の情報、例えば、ＱＰアドレスを格納してもよい。
【0151】
例えば図１５、２７又は２８を参照して説明したように、ＲＤＭＡ Ｒｅａｄリクエストを受信したストレージコントローラのエッジインターフェースは、ＰＣＩｅのＰＣＩｅコンプリーションを、ＲＤＭＡリードレスポンスに変換する場合に、読み出し実行結果のステータスをＲＤＭＡリードレスポンスのヘッダに格納して送信する。Ｃｏｍｐｌｅｔｉｏｎ Ｓｔａｔｕｓは、読み出し実行結果のステータスである。
【0152】
例えば、図２５を参照して説明したように、ＲＤＭＡ Ｒｅａｄリクエストを受信したエッジインターフェースは、そのリクエストをＰＣＩｅリクエストに変換する場合に、ＲＤＭＡ Ｒｅａｄリクエストを受信したＱＰの識別情報と、ＲＤＭＡ Ｒｅａｄリクエストの識別情報と、変換したＰＣＩｅリクエストの識別情報との対応関係の情報を格納してもよい。
【0153】
なお、実施例１は、ＰＣＩｅとＲｏＣＥとの間の変換を説明するが、本開示の特徴は、これらと異なるプロトコル間の変換に適用することができる。この点は、以下に説明する他の実施例について同様である。
【実施例2】
【0154】
【0155】
ストレージコントローラ間で送受信されるデータには、ユーザデータと制御データが含まれる。ストレージ高性能化のためには、ユーザデータ転送においてはスループット性能が、制御データ転送においては転送時間の短縮が求められる。実施例２のストレージ装置では、特に短時間での制御データ転送時間に適したＰＣＩｅ ＷｒｉｔｅリクエストとＲｏＣＥのＲＤＭＡ Ｗｒｉｔｅリクエストの間の変換方法について述べる。
【0156】
図３０は、実施例２に係るＰＣＩｅ－ＲｏＣＥ変換部３０００の構成を説明する図である。ＰＣＩｅ－ＲｏＣＥ変換部３０００は、ＷＱＥコンバータ３００１、再送バッファ３００２、ソータ３００３、３０１３、３０２３、アービタ３００４、３０１１、３０２１、複数のＱＰ３００５、複数のＱＰ３００６、イーサネットフレームビルダ３０１２、３０２２、イーサネットヘッダリムーバ３０１４、３０２４で構成される。複数のＱＰ３００５は破線で囲まれ、それら一つのＱＰが例として符号で指示されている。複数のＱＰ３００６は破線で囲まれ、一つのＱＰが例として符号で指示されている。
【0157】
ＷＱＥコンバータ３００１は、ＰＣＩｅ－ＥＩＦ論理部３０２から受信したＰＣＩｅリクエストを、ＲｏＣＥのＷＱＥ（Ｗｏｒｋ Ｑｕｅｕｅ Ｅｌｅｍｅｎｔ）に変換し、ソータ３００３へ送信する。ＰＣＩｅ－ＥＩＦ論理部３０２からＰＣＩｅコンプリーションを受信した場合、ＷＱＥコンバータ３００１は、ＰＣＩｅコンプリーションを変換せずにそのままソータ３００３へ送信する。また、ＷＱＥコンバータ３００１は、ユーザデータ転送用のＰＣＩｅ Ｗｒｉｔｅリクエストを受信した場合、そのペイロードに含まれるユーザデータを再送バッファ３００２に格納する。さらにＷＱＥコンバータ３００１は、制御データ転送用のＰＣＩｅ Ｗｒｉｔｅリクエストを受信した場合、そのペイロードに含まれる送信データをＷＱＥに格納してソータ３００３へ送信する。ＷＱＥコンバータ３００１の処理の詳細は後述する。
【0158】
ソータ３００３は、ＷＱＥコンバータ３００１から受信したＷＱＥがユーザデータ転送用であった場合に、ＷＱＥ内に指定されたＱＰ番号に従って、ＷＱＥをＱＰ１＿１からＱＰ１＿２ｎ－２の何れかのＱＰ３００５に振り分ける。また、ソータ３００３は、ＷＱＥコンバータ３００１から受信したＷＱＥが制御データ転送用であった場合に、ＷＱＥ内に指定されたＱＰ番号に従って、ＷＱＥをＱＰ０＿１からＱＰ０＿２ｎ－２の何れかのＱＰ３００６に振り分ける。
【0159】
ＰＣＩｅコンプリーションを受信した場合、ソータ３００３は、ヘッダ内のリクエスタＩＤに従って、ＰＣＩｅコンプリーションをＱＰ１＿１からＱＰ１＿２ｎ－２の何れかのＱＰ３００５、またはＱＰ０＿１からＱＰ０＿２ｎ－２の何れかのＱＰ３００６に振り分ける。
【0160】
ＱＰ３００５、３００６は、ＷＱＥまたはＰＣＩｅコンプリーションをＲｏＣＥのトランスポート層パケットに変換し、アービタ３０１１、３０２１へ送信する。また、ＱＰ３００５、３００６は、ＲｏＣＥトランスポート層における再送制御を担う。ユーザデータを再送する場合、ＱＰ３００５は、再送するデータを再送バッファ３００２から読み出す。制御データを再送する場合、ＱＰ３００６は、再送するデータを送信キュー１７０６内に保存したＷＱＥから取得する。ＰＣＩｅ－ＲｏＣＥ変換部３０００は、接続先コントローラ数が最大ｎ－１個の場合、ユーザデータ転送用２ｎ－２個と制御データ転送用２ｎ－２個の合計４ｎ－４個のＱＰを備える。
【0161】
アービタ３０１１、３０２１は、ＱＰ３００５、３００６から受信したＲｏＣＥトランスポート層パケットを、イーサネットフレームビルダ３０１２、３０２２へ送信する。
【0162】
イーサネットフレームビルダ３０１２、３０２２は、アービタ３０１１、３０２１から受信したＲｏＣＥトランスポート層パケットに、イーサネットヘッダ、ＩＰヘッダ、ＵＤＰヘッダ及びＦＣＳを追加し、イーサネットフレームを組み立てて、イーサネットポートから内部ネットワークへ送信する。
【0163】
イーサネットヘッダリムーバ３０１４、３０２４は、内部ネットワークからイーサネットポートを介して受信したイーサネットフレームから、イーサネットヘッダ、ＩＰヘッダ、ＵＤＰヘッダ及びＦＣＳを除去し、得られたＲｏＣＥトランスポート層パケットをソータ３０１３、３０２３へ送信する。
【0164】
ソータ３０１３、３０２３は、イーサネットヘッダリムーバ３０１４、３０２４から受信したＲｏＣＥトランスポート層パケットを、ヘッダ内ＱＰ番号に従って、ＱＰ１＿１からＱＰ１＿２ｎ－２の何れかのＱＰ３００５またはＱＰ０＿１からＱＰ０＿２ｎ－２の何れかのＱＰ３００６に振り分ける。
【0165】
ＱＰ３００５、３００６は、ソータ３０１３、３０２３から受信したＲｏＣＥトランスポート層パケットを、ＰＣＩｅパケットに変換し、アービタ３００４へ送信する。
【0166】
アービタ３００４は、ＱＰ３００５、３００６から受信したＰＣＩｅパケットを、ＰＣＩｅ－ＥＩＦ論理部３０２へ送信する。
【0167】
図３１は、実施例２に係るストレージ装置において、ＰＣＩｅ－ＲｏＣＥ変換部が制御データ転送用のＰＣＩｅ ＷｒｉｔｅリクエストをＲＤＭＡ Ｗｒｉｔｅリクエストに変換する動作を説明する図である。例として、プロセッサ２００がメモリ２０２内のデータを、プロセッサ１７０１に接続されたメモリ１７０２へ送信する場合について述べる。プロセッサ２００とプロセッサ１７０１は、２個のＥＩＦ１０４、ＥＩＦ３１０８を介して接続する。ＥＩＦ１０４とＥＩＦ３１０８の間を接続するイーサネットスイッチやイーサネットリンクは省略している。
【0168】
先ずプロセッサ２００は、ＰＣＩｅ－ＥＩＦ論理部３０２に対して、制御データ転送用のＰＣＩｅ Ｗｒｉｔｅリクエスト３１０１を送信することにより、メモリ２０２からメモリ１７０２へのデータ書き込みを指示する。このＰＣＩｅ Ｗｒｉｔｅリクエスト３１０１のペイロードは送信データを含む。
【0169】
ＰＣＩｅ－ＥＩＦ論理部３０２は、メモリ２０２内の送信データをペイロードに格納したＰＣＩｅ Ｗｒｉｔｅリクエスト３１０２を、ＰＣＩｅ－ＲｏＣＥ変換部３０００に送信する。ＰＣＩｅ－ＲｏＣＥ変換部３０００は、受信したＰＣＩｅ ＷｒｉｔｅリクエストをＷＱＥに変換して送信キュー３１０３にポストする。そして、ＷＱＥを処理したＰＣＩｅ－ＲｏＣＥ変換部３０００は、送信データを含むＲＤＭＡ Ｗｒｉｔｅリクエスト３１０４を内部ネットワーク（Ｅｔｈｅｒｎｅｔ）へ送信する。ここで、ＰＣＩｅ－ＲｏＣＥ変換部３０００はＲｏＣＥのリクエスタとして動作する。また、制御データ転送においてＰＣＩｅ－ＲｏＣＥ変換部３０００は、送信データを再送バッファ３００２に保存せずに、送信キュー３１０３内のＷＱＥに保存する。
【0170】
ＥＩＦ３１０８は、ＰＣＩｅ－ＥＩＦ論理部１７０４とＰＣＩｅ－ＲｏＣＥ変換部３１０９を備える。ＰＣＩｅ－ＲｏＣＥ変換部３１０９は、内部ネットワーク（Ｅｔｈｅｒｎｅｔ）を介して受信したＲＤＭＡ Ｗｒｉｔｅリクエスト３１０４をＰＣＩｅ Ｗｒｉｔｅリクエスト３１０５に変換してＰＣＩｅ－ＥＩＦ論理部１７０４に送信する。ここで、ＰＣＩｅ－ＲｏＣＥ変換部３１０９はＲｏＣＥのレスポンダとして動作する。ＰＣＩｅ Ｗｒｉｔｅリクエスト３１０５を送信したＰＣＩｅ－ＲｏＣＥ変換部１７０５は、ＡＣＫ３１０７をリクエスタであるＰＣＩｅ－ＲｏＣＥ変換部３０００へ送信する。
【0171】
ＰＣＩｅ－ＥＩＦ論理部１７０４は、受信したＰＣＩｅ Ｗｒｉｔｅリクエスト３１０５をＰＣＩｅ Ｗｒｉｔｅリクエスト３１０６としてプロセッサ１７０１へ送信する。ＰＣＩｅ Ｗｒｉｔｅリクエスト３１０６を受信したプロセッサ１７０１は、そのペイロードに格納されたデータをメモリ１７０２に書き込む。
【0172】
図３２は、実施例２に係るストレージ装置において、ＰＣＩｅ－ＲｏＣＥ変換部３０００のＷＱＥコンバータ３００１が、制御データ転送のためのＰＣＩｅ Ｗｒｉｔｅリクエストから変換したＲＤＭＡ Ｗｒｉｔｅリクエスト用ＷＱＥの内容について説明する図である。ＷＱＥ３２００は、ＳＳＮ（Ｓｅｎｄ Ｓｅｑｕｅｎｃｅ Ｎｕｍｂｅｒ）３２０１と、変換元ＰＣＩｅ ＷｒｉｔｅリクエストのリクエスタＩＤおよびＴａｇ３２０２と、変換先ＲＤＭＡ ＷｒｉｔｅリクエストのＢＴＨ３２０３及びＲＥＴＨ３２０４と、変換元ＰＣＩｅ Ｗｒｉｔｅリクエストのペイロード３２０５を含む。このペイロード３２０５は送信データを含む。
【0173】
図３３は、実施例２に係るストレージ装置において、ＰＣＩｅ－ＲｏＣＥ変換部３０００のＷＱＥコンバータ３００１が備える、リクエスタＩＤ－データ転送タイプ管理テーブル３３００を示す。リクエスタＩＤ－データ転送タイプ管理テーブル３３００は、ＷＱＥコンバータ３００１が受信するＰＣＩｅリクエストの送信元リクエスタＩＤ３３０１とデータ転送タイプ３３０２を格納する。
【0174】
データ転送タイプ３３０２は、制御データ転送かユーザデータ転送かを示す情報である。実施例２に係るストレージ装置では、制御データとユーザデータは、リクエスタＩＤ異なる別のＰＣＩｅデバイスが送信する。ＷＱＥコンバータ３００１は、このテーブルを参照することにより、受信したＰＣＩｅリクエストが制御データ転送用またはユーザデータ転送用かを判断することができる。
【0175】
図３４は、実施例２に係るストレージ装置において、ＰＣＩｅ－ＲｏＣＥ変換部３０００のＷＱＥコンバータ３００１が実行する処理例のフローチャートを説明する図である。
【0176】
ステップ３４０１において、ＷＱＥコンバータ３００１は、ＰＣＩｅ－ＥＩＦ論理部３０２から受信したパケットがＰＣＩｅリクエストかＰＣＩｅコンプリーションかを判別する。受信したパケットがＰＣＩｅリクエストであった場合はステップ３４０２に進み、ＰＣＩｅコンプリーションであった場合はステップ３４０７に進む。
【0177】
ステップ３４０２において、ＷＱＥコンバータ３００１は、リクエスタＩＤ－データ転送タイプ管理テーブル３３００を参照して、受信したＰＣＩｅリクエストのリクエスタＩＤに応じて、そのリクエストが制御データ転送用またはユーザデータ転送用かを判断する。受信したＰＣＩｅリクエストが制御データ転送用であった場合はステップ３４０３に進み、ユーザデータ転送用であった場合はステップ３４０４に進む。
【0178】
ステップ３４０３において、ＷＱＥコンバータ３００１は、ＰＣＩｅリクエストを制御データ転送用ＷＱＥに変換する。
【0179】
ステップ３４０４において、ＷＱＥコンバータ３００１は、ＰＣＩｅリクエストをユーザデータ転送用ＷＱＥに変換する。また、ＰＣＩｅリクエストがＰＣＩｅ Ｗｒｉｔｅであった場合、ＷＱＥコンバータ３００１は、そのペイロードに含まれる送信データを再送バッファ３００２に格納する。
【0180】
ステップ３４０５において、ＷＱＥコンバータ３００１は、アドレス－ＱＰ番号変換テーブル５００を参照して、送信元ＱＰ番号を特定する。
【0181】
ステップ３４０６において、ＷＱＥコンバータ３００１は、ソータ３００３を介してＷＱＥを特定した番号のＱＰ３００５、３００６に送信する。
【0182】
ステップ３４０７において、ＷＱＥコンバータ３００１は、リクエスタＩＤ－ＱＰ番号変換テーブル６００を参照して、送信元ＱＰ番号を特定する。
【0183】
ステップ３４０８において、ＷＱＥコンバータ３００１は、ソータ３００３を介してＰＣＩｅコンプリーションを特定した番号のＱＰ３００５、３００６に送信する。
【0184】
実施例２に係るストレージ装置において、ＰＣＩｅ－ＲｏＣＥ変換部３０００が制御データ転送用及びユーザデータ転送用のＰＣＩｅ ＲｅａｄリクエストをＲＤＭＡ Ｒｅａｄリクエストに変換する動作は、実施例１のストレージ装置と同様であるので説明を省略する。
【0185】
以上述べたように、実施例２に係るストレージ装置は、制御データを送信する場合、ＷＱＥ３２００内に送信データ３２０５を格納する。そのため、ＱＰ３００６が送信キュー３１０３内のＷＱＥを処理する際に、送信データを再送バッファ３００２から読み出す必要がない。従って、実施例２に係るストレージ装置は、制御データ転送の送信において、再送バッファ３００２からの読み出しにかかる時間を短縮することができる。
【0186】
例えば、図３３及び３４を参照して説明したように、エッジインターフェースは、ＰＣＩｅリクエストのリクエスタＩＤに基づいて、送信データをバッファへ格納するか、送信キューに格納するかを判定してよい。リクエスタＩＤは、ＰＣＩｅのリクエストの送信元デバイスを示す識別情報である。また、例えば図３０を参照して説明したように、エッジインターフェースは、送信データをバッファから読み出すＱＰと、送信データをＲＤＭＡリクエストの識別情報と共に送信キュー内に格納するＱＰとを含んでよい。
【実施例3】
【0187】
【0188】
ストレージ装置は、高信頼化のため、ユーザデータを２個のコントローラのメモリに保存する。その場合、実施例１のストレージ装置では、ＰＣＩｅ－ＥＩＦ論理部３０２が、２個のコントローラ宛に、同じ送信データをペイロードに格納した合計２個のＰＣＩｅ Ｗｒｉｔｅリクエストを送信する。その結果、ＰＣＩｅ－ＲｏＣＥ変換部３０１は２個のＰＣＩｅ Ｗｒｉｔｅリクエストに含まれる送信データを再送バッファ４０２に格納する。つまり、送信データ２個分の再送バッファ容量が必要になる。実施例３に係るストレージ装置では、特に再送バッファの小容量化に適したＰＣＩｅ ＷｒｉｔｅリクエストとＲｏＣＥのＲＤＭＡ Ｗｒｉｔｅリクエスト間の変換方法について述べる。
【0189】
図３５は、実施例３に係るエッジインターフェース３５００の構成を説明する図である。エッジインターフェース３５００は、ＰＣＩｅ－ＥＩＦ論理部３５０２と、ＰＣＩｅ－ＲｏＣＥ変換部３５０１で構成される。エッジインターフェース３５００は、送信データの再送バッファ４０２への格納動作が、実施例１のエッジインターフェース１０４と異なる。ＤＭＡ３５０３は、ＷＱＥコンバータ３５０４を介さずに他ノードへの送信データを再送バッファ４０２に格納する（３５０５）。
【0190】
図３６は、実施例３のストレージ装置において、再送バッファ４０２への送信データの書き込み動作を説明する図である。図３６において、ＰＣＩｅ－ＥＩＦ論理部３５０２のＤＭＡ３５０３は、プロセッサ２００に対してＰＣＩｅ Ｒｅａｄリクエスト３６０１を送信し、それに対するＰＣＩｅコンプリーション３６０２の受信することにより、メモリ２０２から送信データを読み出す。ＰＣＩｅ－ＥＩＦ論理部３５０２は、送信データをＰＣＩｅ－ＲｏＣＥ変換部３５０１へＰＣＩｅ Ｗｒｉｔｅリクエスト３６０３で送信する。ＰＣＩｅ－ＲｏＣＥ変換部３５０１は、このＰＣＩｅ Ｗｒｉｔｅリクエストのペイロードに含まれる送信データを再送バッファ４０２に格納する。
【0191】
図３７は、実施例３に係るストレージ装置において、ＤＭＡ３５０３がユーザデータを転送する場合に、ＷＱＥコンバータ３５０４に送信するＰＣＩｅ Ｗｒｉｔｅリクエストパケット３７００を説明する図である。
【0192】
ＰＣＩｅ Ｗｒｉｔｅリクエストパケット３７００は、ＰＣＩｅリクエストヘッダ３７０１とペイロード３７０２を含む。ペイロード３７０２は、送信データを格納した再送バッファ４０２のバッファアドレス３７０３と、送信データのデータサイズ３７０４を含む。
【0193】
ＷＱＥコンバータは、ペイロード３７０２に格納されたバッファアドレス３７０３と送信データのデータサイズ３７０４に基づいて、ＰＣＩｅ Ｗｒｉｔｅリクエストパケット３７００をユーザデータ転送用のＷＱＥ１８００に変換する。
【0194】
以上述べたように、実施例３に係るストレージ装置は、ＰＣＩｅ Ｗｒｉｔｅリクエストを他のコントローラに送信する場合、先ずＰＣＩｅ－ＥＩＦ論理部３５０２のＤＭＡ３５０３が、再送データを再送バッファ４０２に送信する。そして、ＤＭＡ３５０３は、送信データ格納先の再送バッファアドレス３７０３と送信データサイズ３７０４を格納したＰＣＩｅ Ｗｒｉｔｅリクエスト３７００を、ＰＣＩｅ－ＲｏＣＥ変換部３５０１へ送信する。
【0195】
同じユーザデータを２個のコントローラへ送信する場合、ＤＭＡ３５０３は、送信データを含まない２個のＰＣＩｅ Ｗｒｉｔｅリクエスト３７００を送信することになる。その結果、２個のコントローラへユーザデータを送信する場合でも、ユーザデータ１個分しか再送バッファ容量を消費しないので、再送バッファを小容量化することができる。
【0196】
例えば図３６及び３７を参照して説明したように、エッジインターフェースは、ＰＣＩｅパケットを送受信するＤＭＡを含むインターフェース論理部と、ＰＣＩｅとＲｏＣＥとの間でパケットを変換する変換部と、バッファと、を含んでよい。ＤＭＡは、バッファに送信データを格納し、送信データ格納先バッファアドレスと送信データサイズを格納したＰＣＩｅリクエストを変換部に送信してよい。
【0197】
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明したすべての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【0198】
また、上記の各構成・機能・処理部等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスクドライブ、ソリッドステートドライブ等の記録装置の記録媒体に置くことができる。
【0199】
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしもすべての制御線や情報線を示しているとは限らない。実際には殆どすべての構成が相互に接続されていると考えてもよい。
【符号の説明】
【0200】
１００ ストレージ装置、１２０、１３０ イーサネットスイッチ、１０１、１１１ ストレージノード、１０２、１０３、３２０、３３０ ストレージコントローラ、１０４、１０５、３２５、３３５、１７０３、３１０８、３５００ エッジインターフェース、２００、２１０、１７０１ プロセッサ、２０２、２１２、１７０２ メモリ、２０３、２１３ ＮＴＢ、２０４、２１４ フロントエンドインターフェース、２０５、２１５ バックエンドインターフェース、２０７、２１７ イーサネットポート、２２０ ＮＴＢリンク、２３０ ドライブボックス、３０３、３０４、３２３、３２４、３３３、３３４、４０５、３００５、３００６ ＱＰ、３０１、３２１、３３１、１７０５、３０００、３１０９ ＰＣＩｅ－ＲｏＣＥ変換部、３０２、３２２、３３２、１７０４ ＰＣＩｅ－ＥＩＦ論理部、４０１、３００１、３５０４ ＷＱＥコンバータ、４０２、３００２ 再送バッファ、４０３、４１３、４２３、３００３、３０１３、３０２３ ソータ、４０４、４１１、４２１、３００４、３０１１、３０２１ アービタ、４１２、４２２、３０１２、３０２２ イーサネットフレームビルダ、４１４、４２４、３０１４、３０２４ イーサネットヘッダリムーバ、４３１ 制御部、４３２ 内部バス、４３３ インターフェース部、４３４、３５０３ ＤＭＡ、１７０６、３１０３ 送信キュー
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】