特表 2024-524047 ネットワークインターフェースデバイス

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-07-05

(54)【発明の名称】ネットワークインターフェースデバイス

(51)【国際特許分類】

   H04L 49/111 20220101AFI20240628BHJP

【ＦＩ】

H04L49/111

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023575890

(86)(22)【出願日】2022-04-26

(85)【翻訳文提出日】2023-12-08

(86)【国際出願番号】 US2022026385

(87)【国際公開番号】W WO2022271267

(87)【国際公開日】2022-12-29

(31)【優先権主張番号】17/357,083

(32)【優先日】2021-06-24

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】591025439

【氏名又は名称】ザイリンクス インコーポレイテッド

【氏名又は名称原語表記】ＸＩＬＩＮＸ ＩＮＣＯＲＰＯＲＡＴＥＤ

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】ポープ，スティーブン・レスリー

(72)【発明者】

【氏名】ロバーツ，デレク・エドワード

(72)【発明者】

【氏名】キタリエブ，ドミトリ

(72)【発明者】

【氏名】タートン，ニール・ダンカン

(72)【発明者】

【氏名】リドック，デイビッド・ジェイムズ

(72)【発明者】

【氏名】ソハン，リプデュマン

【テーマコード（参考）】

5K030

【Ｆターム（参考）】

5K030GA01

5K030KA13

(57)【要約】

ネットワークインターフェースデバイスは、データソースと、データシンクと、データソースからデータを受信することと、データシンクにデータを出力することと、を行うように構成されたインターコネクトと、を有する。インターコネクトは、メモリセルを有するメモリを有する。各メモリセルは、バスセグメントの幅に一致する幅を有する。メモリは、バスセグメントの幅に対応する幅を有する第１の書き込み出力を受信するように構成されている。書き込み出力は、メモリの第１のメモリセルに書き込まれる第１のデータを含み、第１のデータは、データソースからのものである。

【特許請求の範囲】

【請求項1】

ネットワークインターフェースデバイスであって、前記ネットワークインターフェースデバイスが、
データソースと、
データシンクと、
前記データソースからデータを受信することと、前記データシンクにデータを出力することと、を行うように構成されたインターコネクトであって、前記インターコネクトが、
メモリセルを有するメモリであって、各メモリセルが、バスセグメントの幅に一致する幅を有し、前記メモリが、前記バスセグメントの幅に対応する幅を有する第１の書き込み出力を受信するように構成されており、前記第１の書き込み出力が、前記メモリの第１のメモリセルに書き込まれる第１のデータを含み、前記第１のデータが、前記データソースからのものである、メモリを含む、インターコネクトと、を備える、ネットワークインターフェースデバイス。

【請求項2】

前記データソース及び前記データシンクを前記インターコネクトに接続する１つ以上のセグメント化されたバスを備え、前記セグメント化されたバスが、前記バスセグメントの幅を有するバスセグメントを含む、請求項１に記載のネットワークインターフェースデバイス。

【請求項3】

前記メモリが、前記データシンクからの読み出し要求に応答して、前記第１のデータを出力するように構成されており、前記出力が、前記バスセグメントの幅を有する、請求項１に記載のネットワークインターフェースデバイス。

【請求項4】

前記インターコネクトが、複数の要求を受信するように構成されたメモリマルチプレクサを含み、前記複数の要求が、複数のデータシンクからの複数の読み出し要求と、複数のデータシンクからの複数の書き込み要求と、を含み、前記メモリマルチプレクサが、前記要求のうちのどの１つ以上を進めるか、かつどの１つ以上の要求をバックプレッシャするかを判定するように構成されている、請求項１に記載のネットワークインターフェースデバイス。

【請求項5】

前記メモリマルチプレクサは、２つの要求が前記メモリの同じ前記メモリセルに対するものであると判定することと、どの要求がより大きい一連の要求の一部であるかに基づいて、前記２つの要求のうちのどちらを進めるかを判定することと、を行うように構成されている、請求項４に記載のネットワークインターフェースデバイス。

【請求項6】

前記インターコネクトが、構成可能なインターフェースを含み、前記構成可能なインターフェースが、１つ以上のインターフェースを提供するように構成可能であり、各個々のインターフェースのサイズが、前記バスセグメントの幅の整数倍に等しいサイズを有し、前記整数倍が、１以上である、請求項１に記載のネットワークインターフェースデバイス。

【請求項7】

前記構成可能なインターフェースの前記個々のインターフェースのうちの異なるものが、異なるデータシンクのためのデータを受信するように構成されている、請求項６に記載のネットワークインターフェースデバイス。

【請求項8】

前記構成可能なインターフェースの全幅が、バスの全てのバスセグメントの全幅に等しい、請求項６に記載のネットワークインターフェースデバイス。

【請求項9】

前記インターコネクトが、インターフェースを含み、前記インターフェースが、バスの全てのバスセグメントの幅に等しい幅を有し、前記インターフェースが、複数の異なるデータソースから同時にデータを受信するように構成されている、請求項１に記載のネットワークインターフェースデバイス。

【請求項10】

前記データソースから前記第１のデータに対する第１の書き込み要求を受信することと、前記第１のメモリセルのアドレスを前記第１の書き込み要求の前記第１のデータと関連付けることと、前記第１の書き込み出力を提供することと、を行うように構成された書き込みパイプを備える、請求項１に記載のネットワークインターフェースデバイス。

【請求項11】

前記書き込みパイプは、前記第１の書き込み出力が前記書き込みパイプによって出力される前に、前記第１の書き込み出力を記憶するためのバッファを含む、請求項１０に記載のネットワークインターフェースデバイス。

【請求項12】

前記データシンクから読み出し要求を受信することと、データが読み出される前記メモリのメモリセルのアドレスを前記読み出し要求と関連付けることと、を行うように構成された読み出し要求パイプを備える、請求項１に記載のネットワークインターフェースデバイス。

【請求項13】

前記データソースが、カプセルを出力するように構成され、前記データシンクが、カプセルを受信するように構成されており、前記カプセルが、データ及びルーティング情報を含む、請求項１に記載のネットワークインターフェースデバイス。

【請求項14】

各メモリセルが、バスセグメントの前記幅であるポート幅を有するランダムアクセスメモリを含む、請求項１に記載のネットワークインターフェース。

【請求項15】

ネットワークインターフェースデバイスにおける方法であって、前記方法が、
前記ネットワークインターフェースデバイスのデータソースから、前記ネットワークインターフェースデバイスのメモリにおいて、バスセグメントの幅に対応する幅を有する第１の書き込み出力を受信することであって、前記書き込み出力が、第１のデータを含む、受信することと、
前記メモリの第１のメモリセルに前記第１のデータを書き込むことであって、前記第１のメモリセルが、前記バスセグメントの幅に一致する幅を有する、書き込むことと、を含む、方法。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、ネットワークインターフェースデバイスに関する。

【背景技術】

【0002】

ネットワークインターフェースデバイス（例えば、ネットワークインターフェースカード（network interface card、ＮＩＣ）又はＳｍａｒｔＮＩＣ）が知られており、典型的には、コンピューティングデバイスとネットワークとの間のインターフェースを提供するために使用される。いくつかのネットワークインターフェースデバイスは、ネットワークから受信されるデータを処理するように、かつ／又はネットワーク上に置くデータを処理するように構成することができる。

【0003】

いくつかのネットワークインターフェースデバイスについては、具体的なアプリケーション及び／又は増加するデータレートのサポートに向けて、設計の増加された特殊化を提供しようとする動きが存在し得る。

【発明の概要】

【0004】

開示されるネットワークインターフェースデバイスは、データソースと、データシンクと、データソースからデータを受信することと、データシンクにデータを出力することと、を行うように構成されたインターコネクトであって、インターコネクトが、メモリセルを有するメモリであって、各メモリセルが、バスセグメントの幅に一致する幅を有し、メモリが、バスセグメントの幅に対応する幅を有する第１の書き込み出力を受信するように構成されており、書き込み出力が、メモリの第１のメモリセルに書き込まれる第１のデータを含み、第１のデータが、データソースからのものである、メモリを含む、インターコネクトと、を備える。

【0005】

ネットワークインターフェースは、データソース及びデータシンクをインターコネクトに接続する１つ以上のセグメント化されたバスを備え得、セグメント化されたバスは、バスセグメントの幅を有するバスセグメントを含む。

【0006】

メモリは、データシンクからの読み出し要求に応答して、第１のデータを出力するように構成され得、この出力は、バスセグメントの幅を有する。

【0007】

ネットワークインターフェースは、複数のデータソースと、複数のデータシンクと、を備え得る。

【0008】

インターコネクトは、複数の要求を受信するように構成されたメモリマルチプレクサを備え得、複数の要求は、複数のデータシンクからの複数の読み出し要求と、複数のデータシンクからの複数の書き込み要求と、を含み、メモリマルチプレクサは、要求のうちのどの１つ以上を進めるか、かつどの１つ以上の要求をバックプレッシャするかを判定するように構成されている。

【0009】

メモリマルチプレクサは、２つの要求がメモリの同じメモリセルに対するものであると判定することと、２つの要求のうちのどちらを進めるかを判定することと、を行うように構成され得る。

【0010】

メモリマルチプレクサは、進める要求が、より大きい一連の要求の一部である要求であると判定するように構成され得る。

【0011】

インターコネクトは、構成可能なインターフェースを備え得、構成可能なインターフェースは、１つ以上のインターフェースを提供するように構成可能であり、各個々のインターフェースのサイズは、バスセグメントの幅の整数倍に等しいサイズを有し、整数倍は、１以上である。

【0012】

構成可能なインターフェースの個々のインターフェースのうちの異なるものは、異なるデータシンクのためのデータを受信するように構成され得る。

【0013】

構成可能なインターフェースの全幅は、バスの全てのバスセグメントの全幅に等しくあり得る。

【0014】

インターコネクトは、インターフェースを備え得、インターフェースは、バスの全てのバスセグメントの幅に等しい幅を有し、インターフェースは、複数の異なるデータソースから同時にデータを受信するように構成されている。

【0015】

ネットワークインターフェースデバイスは、データソースから第１のデータに対する第１の書き込み要求を受信することと、第１のメモリセルのアドレスを第１の書き込み要求の第１のデータと関連付けることと、第１の書き込み出力を提供することと、を行うように構成された書き込みパイプを備え得る。

【0016】

書き込みパイプは、第１の書き込み出力が書き込みパイプによって出力される前に、第１の書き込み出力を記憶するためのバッファを備え得る。

【0017】

ネットワークインターフェースデバイスは、データシンクから読み出し要求を受信することと、データが読み出されるメモリのメモリセルのアドレスを関連付けることと、を行うように構成された読み出し要求パイプを備え得る。

【0018】

データソースは、カプセルを出力するように構成され得、データシンクは、カプセルを受信するように構成され得、カプセルは、データ及びルーティング情報を含む。

【0019】

カプセルは、仮想チャネル情報を更に含み得る。

【0020】

メモリは、複数のメモリバンクを含み得、各メモリバンクは、複数のメモリセルを有する。

【0021】

各メモリセルは、バスセグメントの幅であるポート幅を有するランダムアクセスメモリを含む。

【0022】

別の態様によれば、ネットワークインターフェースデバイスにおける方法が提供され、本方法は、ネットワークインターフェースデバイスのデータソースから、ネットワークインターフェースデバイスのメモリにおいて、バスセグメントの幅に対応する幅を有する第１の書き込み出力を受信することであって、書き込み出力が、第１のデータを含む、受信することと、メモリの第１のメモリセルに第１のデータを書き込むことであって、第１のメモリセルが、バスセグメントの幅に一致する幅を有する、書き込むことと、を含む。

【0023】

この概要のセクションは、単に特定の概念を導入するために提供され、特許請求される主題の任意の重要な又は本質的な特徴を特定するためには提供されない。本発明の構成の他の特徴は、添付図面及び以下の詳細な説明から明らかになるであろう。

【0024】

いくつかの実施形態は、添付の図面においてほんの一例として例解される。しかしながら、図面は、示された特定の実装形態のみに配置を限定するものと解釈されるべきではない。以下の詳細な説明を検討し、図面を参照すると、種々の態様及び利点が明らかになるであろう。

【図面の簡単な説明】

【0025】

【図1】ネットワークインターフェースデバイスを介してネットワークに結合されたデータ処理システムの概略図を示す。

【図2】いくつかの実施形態のネットワークインターフェースデバイスを示す。

【図3】いくつかの実施形態のネットワークインターフェースデバイスのサブシステムを概略的に示す。

【図4】いくつかの実施形態のホスト及びネットワークインターフェースデバイスの概略図を示す。

【図5】いくつかの実施形態で使用されるカプセルを示す。

【図6】いくつかの実施形態の構成可能なダイレクトメモリアクセスアーキテクチャを示す。

【図7a】いくつかの実施形態の構成可能でスケーラブルなインターコネクト（composable scalable interconnect、ｃＳＩ）のインターフェースを概略的に示す。

【図7b】いくつかの実施形態の構成可能でスケーラブルなインターコネクト（ｃＳＩ）をより詳細に示す。

【図7c】いくつかの実施形態の構成可能でスケーラブルなインターコネクト（ｃＳＩ）の例示的な仮想チャネルを示す。

【図8】図７ｂのｃＳＩの書き込みパイプを示す。

【図9】図７ｂのｃＳＩの読み出し要求パイプを示す。

【図10】図７ｂのｃＳＩの読み出し応答パイプを示す。

【図11】構成可能なデータムーバｃＤＭをより詳細に示す。

【図12】いくつかの実施形態の方法を示す。

【発明を実施するための形態】

【0026】

本開示は、新規の特徴を定義する特許請求の範囲で終わるが、本開示内で説明される種々の特徴は、図面と併せて説明を考慮することからより良く理解されると考えられる。本明細書に記載されるプロセス、機械、製造、及びそれらの任意の変形例は、例解の目的で提供される。本開示内で説明される特定の構造的及び機能的詳細は、限定として解釈されるべきではなく、単に、特許請求の範囲のための基礎として、及び事実上任意の適切に詳述された構造において説明される特徴を種々に採用するように当業者に教示するための代表的な基礎として解釈されるべきである。更に、本開示内で使用される用語及び句は、限定することを意図するものではなく、説明される特徴の理解可能な説明を提供することを意図するものである。

【0027】

データがデータチャネルを介して２つのデータ処理システム間で転送されるときに、データ処理システムの各々は、チャネルにわたって通信することを許可する好適なネットワークインターフェースを有する。データチャネルは、ネットワークによって提供され得る。例えば、ネットワークは、イーサネット（登録商標）技術又は任意の他の好適な技術に基づき得る。データ処理システムには、ネットワークプロトコルの物理的及び論理的要件をサポートすることができるネットワークインターフェースが提供され得る。ネットワークインターフェースの物理的ハードウェア構成要素は、ネットワークインターフェースデバイス又はネットワークインターフェースカード（network interface card、ＮＩＣ）と称される。本明細書では、ネットワークインターフェースデバイスは、ＮＩＣと称される。ＮＩＣは、集積回路又はハードウェアモジュールなどの任意の好適なハードウェアの形態で提供され得ることを理解されたい。ＮＩＣは、必ずしもカードの形態で実装されるとは限らない。

【0028】

コンピュータシステムは、ユーザレベルアプリケーションがネットワークと通信するためのオペレーティングシステム（operating system、ＯＳ）を有し得る。カーネルとして知られているオペレーティングシステムの一部分は、アプリケーションと、ネットワークインターフェースデバイスに固有のデバイスドライバとの間でコマンド及びデータを変換するためのプロトコルスタックと、ネットワークインターフェースデバイスを直接制御するためのデバイスドライバと、を含む。これらの機能をオペレーティングシステムカーネル内に提供することによって、ネットワークインターフェースデバイスの複雑さ及びネットワークインターフェースデバイス間の違いをユーザレベルアプリケーションから隠すことができる。加えて、ネットワークハードウェア及び他のシステムリソース（メモリなど）を多くのアプリケーションで安全に共有することができ、欠陥のあるアプリケーション又は悪意のあるアプリケーションからシステムを守ることができる。

【0029】

ネットワークにわたって送信を実行するための典型的なデータ処理システム１００を、図１に示す。データ処理システム１００は、ホストをネットワーク１０３にインターフェース接続するように配置されているネットワークインターフェースデバイス１０９に結合されたホストコンピューティングデバイス１０１を含む。ホストコンピューティングデバイス１０１は、１つ以上のユーザレベルアプリケーション１０５をサポートするオペレーティングシステム１０４を含む。ホストコンピューティングデバイス１０１はまた、ネットワークプロトコルスタック（図示せず）を含み得る。ネットワークプロトコルスタックは、送信制御プロトコル（Transmission Control Protocol、ＴＣＰ）スタック又は任意の他の好適なプロトコルスタックであり得る。プロトコルスタックは、トランスポートプロトコルスタックであり得る。

【0030】

アプリケーション１０５は、ソケットを開き、ソケットに対してデータを読み書きすることによって、ＴＣＰ／ＩＰ（インターネットプロトコル）メッセージを送り、かつ受信し得、オペレーティングシステム１０４は、ネットワークにわたってメッセージを伝送させる。

【0031】

いくつかのシステムは、プロトコルスタックをネットワークインターフェースデバイス１０９に少なくとも部分的にオフロードし得る。例えば、スタックがＴＣＰスタックである場合、ネットワークインターフェースデバイス１０９は、ＴＣＰプロトコル処理を実施するためのＴＣＰオフロードエンジン（TCP Offload Engine、ＴＯＥ）を備え得る。ホストコンピューティングデバイス１０１の代わりに、ネットワークインターフェースデバイス１０９においてプロトコル処理を実施することによって、ホストシステム１０１のプロセッサに対する要求が低減され得る。ネットワークを介して送信されるデータは、カーネルＴＣＰ／ＩＰスタックを完全にバイパスして、ＴＯＥ対応仮想インターフェースドライバを介してアプリケーション１０５によって送られ得る。したがって、この高速経路に沿って送られたデータは、ＴＯＥドライバの要件を満たすようにフォーマットされる必要があるだけである。

【0032】

ホストコンピューティングデバイス１０１は、１つ以上のプロセッサ及び１つ以上のメモリを備え得る。いくつかの実施形態では、ホストコンピューティングデバイス１０１及びネットワークインターフェースデバイス１０９は、バス、例えば、周辺構成要素相互接続エクスプレス（peripheral component interconnect express、ＰＣＩｅバス）を介して通信し得る。

【0033】

データ処理システムの動作中、ネットワーク上に送信されるデータは、送信のためにホストコンピューティングデバイス１０１からネットワークインターフェースデバイス１０９に転送され得る。一実施例では、データパケットは、ホストプロセッサによってホストからネットワークインターフェースデバイスに直接転送され得る。ホストは、ネットワークインターフェースデバイス１０９上に位置する１つ以上のバッファ１０６にデータを提供し得る。次いで、ネットワークインターフェースデバイス１０９は、データパケットを準備し、それらを、ネットワーク１０３を介して送信し得る。

【0034】

代替的に、データは、ホストシステム１０１内のバッファ１０７に書き込まれ得る。いくつかのシステムは、これらのデータ転送機構の両方をサポートし得る。次いで、データは、ネットワークインターフェースデバイスによってバッファ１０７から取り出され、ネットワーク１０３を介して送信され得る。

【0035】

これらの場合の両方において、データは、ネットワークを介して送信される前に、１つ以上のバッファ内に一時的に記憶され得る。

【0036】

データ処理システムはまた、ネットワークインターフェースデバイス１０９を介してネットワークからデータを受信し得る。

【0037】

データ処理システムは、サーバ、パーソナルコンピュータ、又はハンドヘルドデバイスなど、任意のタイプのコンピューティングデバイスであり得る。いくつかの実施形態は、イーサネットを介してＴＣＰ／ＩＰを動作させるネットワークにおける使用に好適であり得る。他の実施形態では、１つ以上の異なるプロトコルが使用され得る。実施形態は、有線又は無線の任意の好適なネットワークとともに使用され得る。

【0038】

いくつかの実施形態のネットワークインターフェースデバイス１０９を示す図２を参照する。ネットワークインターフェースデバイスは、１つ以上の集積回路によって少なくとも部分的に提供され得る。代替的に、ネットワークインターフェースデバイスは、より大きい集積回路の一部であり得る。ネットワークインターフェースデバイス１０９は、単一のハードウェアモジュールによって、又は２つ以上のハードウェアモジュールによって提供され得る。ネットワークインターフェースデバイスは、メインＣＰＵの前にネットワーク接続ＣＰＵを提供し得る。ネットワークインターフェースデバイスは、ホストＣＰＵとネットワークとの間のデータ経路上に位置する。

【0039】

ＮＩＣは、データの移動及び処理を最適化するために、特定用途向けパイプラインを提供するように構成可能であり得る。ＮＩＣは、ネットワークのための高レベルプログラミング抽象化を統合し、加速を計算し得る。

【0040】

いくつかの実施形態のＮＩＣは、テラビットクラスエンドポイントデバイスをサポートし得る。いくつかの実施形態は、テラビットデータレート処理をサポートすることが可能であり得る。例えば、ＮＩＣは、テラビットデータレートでネットワークからデータを受信し、かつ／又はテラビットデータレートでネットワークにデータを置き得る。しかしながら、他の実施形態では、より低いデータレートで動作及び／又はサポートし得ることを理解されたい。

【0041】

図２の装置は、システムオンチップ（System-on-Chip、ＳｏＣ）を提供するものとみなし得る。図２に示すＳｏＣは、プログラマブル集積回路ＩＣ及び統合プログラマブルデバイスプラットフォームの一実施例である。図２の例では、ＮＩＣ１０９の様々な異なるサブシステム又は領域は、単一の集積パッケージ内に提供された単一のダイ上に実装され得る。他の例では、様々なサブシステムは、単一の集積パッケージとして提供される複数の相互接続ダイ上に実装され得る。いくつかの実施形態では、図２のＮＩＣ１０９は、２つ以上のパッケージ、集積回路によって、又はチップレットによって提供され得る。

【0042】

図２の例では、ＮＩＣ１０９は、異なる機能性を有する回路機構を有する複数の領域を含む。実施例では、ＮＩＣ１０９は、１つ以上のＣＰＵ１１１によって提供される処理システムを有する。ＮＩＣ１０９は、ネットワークからデータを受信するため、かつ／又はデータをネットワーク上に置くための１つ以上の第１のトランシーバ１１６を有する。ＮＩＣ１０９は、１つ以上の仮想スイッチ（virtual switch、ｖＳｗｉｔｃｈ）又はプロトコルエンジン１０２を有する。プロトコルエンジンは、トランスポートプロトコルエンジンであり得る。この機能は、以下では仮想スイッチ機能と称される。ＮＩＣ１０９は、１つ以上のＭＡＣ（medium access control、媒体アクセス制御）層機能１１４を有する。ＮＩＣ１０９は、ホストからデータを受信するため、かつ／又はホストにデータを提供するための１つ以上の第２のトランシーバ１１０を有する。

【0043】

ＮＩＣ１０９は、８５０で参照されるｃＤＭＡ（構成可能なダイレクトメモリアクセスアーキテクチャ）を有する。一実施形態では、図６のアーキテクチャ８５０内の様々な要素は、ＮＩＣ１０９内のハードウェアから形成され、したがってこれらは回路である。このブロック８５０は、後でより詳細に説明され、ＰＣＩｅ（周辺構成要素相互接続エクスプレス）インターフェース及び１つ以上のＤＭＡ（Direct Memory Access、ダイレクトメモリアクセス）アダプタを含み得る。１つ以上のＤＭＡアダプタは、メモリドメインとパケットストリーミングドメインとの間のブリッジを提供する。これは、メモリ間転送をサポートし得る。

【0044】

ＮＩＣ１０９は、１つ以上の処理コア１０８を備えるか、又はそれへのアクセスを有し得る。ほんの一例として、コアは、ＡＲＭ処理コア及び／又は任意の他の好適な処理コアであり得る。ＣＰＵ１１１及び１つ以上の処理コア１０８は、共通プロセッサによって、又は異なるプロセッサによって提供され得る。

【0045】

ＮＩＣ１０９は、図２において網掛けされているネットワークオンチップ（network on chip、ＮｏＣ）１１５を有する。これは、ＮＩＣ１０９の異なる部分間の通信経路を提供し得る。ＮＩＣ１０９上の構成要素のうちの２つ以上が、代替的又は追加的に、直接接続経路及び／又は専用の強化バスインターフェースを介して通信し得ることを理解されたい。

【0046】

ＮｏＣ間のエリアは、１つ以上の構成要素を含み得る。例えば、エリアは、１つ以上のプログラマブルロジックブロック１１３又はプログラマブル回路を収容し得る。このエリアは、ファブリックと称されることもある。ほんの一例として、プログラマブルロジックブロックは、１つ以上のＦＰＧＡ（field programmable gate array、フィールドプログラマブルゲートアレイ）によって少なくとも部分的に提供され得る。エリアは、１つ以上のルックアップテーブルＬＵＴを収容し得る。１つ以上の機能は、プログラマブルロジックブロックによって提供され得る。このエリアにおける異なる機能に適応する能力は、同じＮＩＣが種々の異なるエンドユーザ要件を満たすために使用されることを可能にし得る。

【0047】

他の実施形態では、任意の他の好適な通信装置が、ＮｏＣの代わりに、又はＮｏＣに加えて、ＮＩＣ上で使用され得ることを理解されたい。

【0048】

ＮＩＣは、ホストデバイスとネットワークとの間のインターフェースを提供する。ＮＩＣは、データがネットワークから受信されることを可能にする。そのデータは、ホストデバイスに提供され得る。いくつかの実施形態では、ＮＩＣは、データがホストデバイスに提供される前にデータを処理し得る。いくつかの実施形態では、ＮＩＣは、データがネットワークによって送信されることを可能にする。そのデータは、ホストデバイス及び／又はＮＩＣから提供され得る。いくつかの実施形態では、ＮＩＣは、データがネットワークによって送信される前にデータを処理し得る。

【0049】

仮想スイッチ１０２は、少なくとも部分的に強化されたデバイス又はＮＩＣの一部であり得る。単一の仮想スイッチ又は２つ以上の別個の仮想スイッチが提供され得る。仮想スイッチ１０２は、ＮｏＣを使用して、かつ／又は直接接続経路及び／若しくは専用の強化バスインターフェースを介して、チップ上の他のブロックと通信することができる。いくつかの実施形態では、これは、伝送されるデータの量に対するＮｏＣの容量に依存し得る。ＮｏＣは、例えば、ネットワークインターフェースデバイス１０９によるメモリアクセスのために使用され得る。ＮｏＣ１１５は、ＣＰＵ１１１、プロセッサ１０８、ＤＭＡアダプタ、及び／又はＰＣＩｅブロックにデータを配信するために使用され得る。

【0050】

いくつかの実施形態では、ＮｏＣ及び／又は直接接続経路及び／又は専用の強化バスインターフェースは、１つ以上のアクセラレータカーネル及び／又は他のプラグインにデータを配信するために使用され得る。いくつかの実施形態では、ルーティングはプログラマブルロジックを介する場合がある。これらのプラグインは、いくつかの実施形態では、プログラマブルロジック１１３又は任意の好適なプログラマブル回路によって提供され得る。

【0051】

仮想スイッチ１０２は、ＮＩＣ１０９のエッジ領域上に物理的に位置し、ＮＩＣ１０９の様々な他の構成要素と通信し得る。いくつかの実施形態では、仮想スイッチ１０２は、ＭＡＣ層機能１１４及び１つ以上の第１のトランシーバ１１６に物理的に近接して配置され得る。これらの構成要素は、ＮＩＣ１０９のエッジ領域に物理的に近接して配置され得る。ネットワークからのデータは、１つ以上の第１のトランシーバ１１６によって受信される。

【0052】

他の実施形態では、仮想スイッチ１０２、ＭＡＣ層機能１１４及び１つ以上の第１のトランシーバ１１６は、ＮＩＣのエッジ領域から物理的に離れて配置され得る。

【0053】

いくつかの実施形態は、カスタマイズされたＮＩＣ機能が提供されることを可能にし得る。これは、具体的なＮＩＣ機能が必要とされる場合に有用であり得る。これは、特定のアプリケーション若しくは複数のアプリケーションのため、又はＮＩＣの特定の使用のためであり得る。これは、そのＮＩＣ機能をサポートするために必要とされるデバイスの量が相対的に少ない場合に有用であり得る。代替的又は追加的に、これは、ＮＩＣのカスタマイズが望まれる場合に有用であり得る。いくつかの実施形態は、フレキシブルＮＩＣを提供し得る。

【0054】

カスタマイズは、ＰＬ１１３又はプログラマブル回路を使用して１つ以上の機能を提供することによってサポートされ得る。

【0055】

いくつかの実施形態は、相対的に高い日付レートをサポートするために使用され得る。

【0056】

図２のＮＩＣのサブシステム間の通信経路を概略的に示す図３を参照する。ｃＤＭＡブロックのホストＰＣＩｅインターフェース１１２と、同じくｃＤＭＡブロックのＤＭＡコントローラ１１７は、メモリバスを介して通信する。ＤＭＡコントローラ１１７は、メモリバスを使用してメモリファブリック１４０を介して通信する。管理コントローラＭＣ１３０は、制御バスを使用してメモリファブリック１４０を介して制御プレーンメッセージを提供する。アプリケーションプロセッサ１１１は、メモリバスを使用してメモリファブリック１４０を介して通信する。データは、メモリバスを使用してメモリファブリックを介してＤＤＲ１４２において受信される。

【0057】

ＤＭＡコントローラ１１７は、パケットバスを介して１つ以上の仮想スイッチ１０２と通信する。１つ以上の仮想スイッチは、パケット処理を提供し得る。１つ以上の仮想スイッチは、後でより詳細に説明するように、オフロード処理及び仮想スイッチングを実行し得る。１つ以上の仮想スイッチによって提供される処理は、１つ以上のプラグイン１４４を使用して修正され得る。プラグインは、メモリバスを介してメモリファブリックと通信し、パケットバスを介して１つ以上の仮想スイッチと通信し得る。１つ以上の仮想スイッチは、パケットバスを介してＭＡＣ１１４と通信し得る。

【0058】

いくつかの実施形態では、データのカプセルを使用して、ＮＩＣ内でデータを伝送し得る。これについては、後に詳細に説明する。

【0059】

ホストデバイス１０１及びＮＩＣ１０９によってサポートされる機能ブロックの概略図を示す図４を参照する。ＮＩＣ１０９は、仮想スイッチ機能１０２を備える。この仮想スイッチ機能１０２は、後でより詳細に説明するように、１つ以上のプラグインによって拡張可能であり得る。プラグインを有する仮想スイッチ機能１０２は、カスタムプロトコル及びスイッチアクションをサポートすることができる。

【0060】

ホストデバイス１０１は、いくつかの仮想マシンＶＭ１２２を備える。

【0061】

いくつかのＰＣＩｅ ＰＦ（物理機能）及び／又はＶＦ（仮想機能）がサポートされ得る。ＰＣＩｅ機能１１８は、複数の仮想ＮＩＣ（ＶＮＩＣ）を有し得る。各ＶＮＩＣ １２６は、仮想スイッチ上の別個のポートに接続され得る。図４では、明確にするために、１つのＰＣＩｅ機能及びＰＣＩｅ機能の１つのＶＮＩＣを示している。

【0062】

各ｖＮＩＣ１２６は、１つ以上のＶＩ（仮想インターフェース）１２７を有し得る。各ＶＩは、パケットを送り、かつ受信するためのチャネルを提供し得る。各ＶＩは、送信キューＴｘＱ、受信キューＲｘＱ及びイベントキューＥｖＱを有し得る。仮想マシンと仮想機能との間に１対１の関係が存在し得る。いくつかの実施形態では、ＶＦ（又はＰＦ）にマッピングされた複数のＶＩが存在し得る。

【0063】

いくつかの実施形態では、所与のＰＦ又はＶＦ内のＶＩのうちの１つは、機能管理インターフェースをサポートし得る。

【0064】

仮想スイッチ１０２は、複数の仮想ポートを備える。ポートは、ＶＮＩＣのＴｘＱからデータを受信し、ＶＮＩＣのＲｘＱにデータを送信するように構成され得る。

【0065】

仮想スイッチ１０２は、例えばＣＰＵ１１１によって提供される１つ以上のアプリケーションＣＰＵ、仮想スイッチを制御するように構成されている管理コントローラ１３０、及び１つ以上のＭＡＣ層機能１１４とインターフェース接続するように構成されている。いくつかの実施形態において、仮想スイッチは、先で考察したようなプラグインによって拡張可能である。プラグインの一実施例は、ハードウェアアクセラレータ１２８を備える。

【0066】

いくつかの実施形態では、データのカプセルを使用して、ＮＩＣ内でデータを伝送し得る。いくつかの実施形態で使用されるカプセルを示す図５を参照する。いくつかの実施形態では、ストリーミングサブシステムは、カプセルを搬送する。後で考察するように、カプセルは、代替的に又は追加的に、ＮＩＣの他の部分で使用され得る。カプセルは、制御カプセル又はネットワークパケットカプセルであり得る。ペイロードは、ペイロードへのポインタによって提供され得る。代替的に、ペイロードは、カプセル内に提供され得る。

【0067】

図５に概略的に示すように、カプセルは、メタデータ７０２を含む。これは、カプセルの先頭において提供され得る。この後に、カプセルペイロード７１０が続き得る。

【0068】

メタデータは、カプセルが制御カプセル又はネットワークカプセルであるかに依存し得る。

【0069】

ネットワークパケットカプセルは、カプセルメタデータを有し、その後に、例えば、ペイロード内のイーサネットフレームが続く。

【0070】

メタデータは、制御カプセル及びネットワークカプセルに共通であり得るカプセルヘッダを含み得る。カプセルヘッダは、カプセルが制御カプセル又はネットワークパケットカプセルであるかを示す情報を含み得る。カプセルヘッダは、パケットのルーティングを制御するルート情報を含み得る。カプセルヘッダは、カプセルによって使用される仮想チャネルを示す仮想チャネル情報を含み得る。カプセルヘッダは、カプセルの長さを示す長さ情報を含み得る。

【0071】

ネットワークパケットカプセルは、メタデータ７０２の一部としてカプセルヘッダに続くネットワークカプセルヘッダを有する。これは、カプセルメタデータのレイアウト、及びカプセルペイロードがイーサネットＦＣＳ（frame check sequence、フレームチェックシーケンス）を含むか否かを示し得る。

【0072】

制御カプセルのメタデータは、制御カプセルのタイプを示し得る。カプセルは、オフセットを示すメタデータを有し得る。これは、処理するデータの先頭を示し得る。

【0073】

いくつかの実施形態は、セグメント化されたバスを使用し得る。セグメント化されたバスは、全体のデータ経路幅が物理的に別個の部分に分割されるストリーミングバスである。各セグメントは、それ自体の主制御信号（例えば、ＳＯＰ（start of packet、パケットの開始）及びＥＯＰ（end of packet、パケットの終了））を有する。セグメント化されたバスは、恣意的なサイズのカプセルを搬送する固定幅の任意のバスの潜在的な非効率性を克服するために使用され得る。セグメント化なしでは、カプセルがバス幅よりも（例えば）１バイト長い場合、カプセルを搬送するために２バスビート（クロックサイクル）が必要になり、１バイトを除くバス全体は、第２のビートでは何も搬送しない。セグメント化されたバスは、次のカプセルが上記の実施例における第２のバスビートにおいて送信を開始することを可能にし、無駄な帯域幅の多くを回復する。セグメントの数が増加するにつれて、恣意的なカプセルサイズに対するバス帯域幅は、その理論的最大値の１００％に向かう傾向がある。しかしながら、これは、セグメント化の増加に伴って必要となる多重化及び逆多重化動作の複雑さとリソースとのバランスをとる必要がある。セグメントの数及びセグメント幅は、制約に伴って変化し得る。

【0074】

いくつかの実施形態では、バスは、４つのセグメントに分割され得るが、これは、制約がどの程度強いかに応じて変化する可能性がある。

【0075】

フレームサイズ、及び／又はバス幅によってサポートされるセグメントの数は修正され得る。

【0076】

いくつかの実施形態は、データが複数の異なるデータソースとシンクとの間で相対的に高いレートでＮＩＣを横切って渡されることを可能にするように構成され得る。これは、先で考察したネットワークオンチップＮｏＣアーキテクチャを使用している場合がある。

【0077】

いくつかの実施形態は、データの渡しを容易にするために構成可能なＤＭＡ（composable DMA、ｃＤＭＡ）アーキテクチャを提供し得る。構成可能性は、システムを再設計する必要なく、ＤＭＡシステムの異なる要素が追加され得ること、及び／又はエンドポイントの能力が変更されることを可能にし得る。言い換えれば、異なる要件を有する異なるＤＭＡ方式を、同じ構成可能なＤＭＡアーキテクチャによって収容することができる。

【0078】

アーキテクチャは、異なる要件に対してスケーラブル及び／又は適応可能であるように提供される。このアーキテクチャは、ホストとＮＩＣの他の部分との間のデータの移動をサポートするように構成されている。いくつかの実施形態では、アーキテクチャは、相対的に高いデータレートをサポートすることができる。

【0079】

いくつかの実施形態のｃＤＭＡアーキテクチャの一例を示す図６を参照する。

【0080】

図６に概略的に示す構成は、データが異なるシンク（宛先）とデータソースとの間で渡されることを可能にする。ほんの一例として、シンク及びデータソースは、以下のうちの１つ以上を含み得る。
１つ以上のＰＣＩ接続ホスト。これらは、ＰＣＩｅコントローラ１１２を介して接続される。
１つ以上のプロセッササブシステム８４２。これらは、図２に示すＣＰＵ１１１及び／又はプロセッサ１０８、及び／又は１つ以上の異なるプロセッサ、
図２に示すｖＳｗｉｔｃｈ１０２、
ＤＤＲメモリ、
ＮＩＣによって提供されるデータ移動エンジンであり得る。これは、先で考察したような１つ以上のアクセラレータ、
１つ以上のファブリッククライアント、
メモリ、及び
任意の他の好適なシンク又はデータソースによって提供され得る。

【0081】

シンク及び／又はデータソースは、ＮＩＣ１０９が提供されるシステム、及び／又はＮＩＣ１０９によって提供される必要がある機能に依存し得る。

【0082】

ｃＤＭＡ８５０は、階層化アーキテクチャとみなされ得る。ベース層は、異なるデバイス、バス幅、及びプロトコルをｃＤＭＡシステムに接続し得る。構成可能なスケーラブル相互接続（ｃＳＩ）８２２は、データがインターフェース間で移動することを可能にし得る。データムーバｃＤＭ８２４は、１つ以上のスケジューラ８３６の指示の下でインターフェース間のバルクデータ移動を実施し得る。バルクデータと同様に、ｃＤＭは、例えば、割り込み又は記述子管理のために小さいメッセージが転送されることを可能にするメッセージロード／記憶インターフェースを提供し得る。

【0083】

ＤＭＡアダプタ８３２は、記述子をフェッチし、データをあちこちに移動させるためのデータムーバを使用して、必要とされるタイプのＤＭＡ（記述子の解釈及びリングの状態の管理など）のためのＡＰＩ（アプリケーションプログラミングインターフェース）を提供し得る。共有記述子キャッシュシステムｃＤＣ８３４は、アダプタが、インフライトの記述子のための一時記憶装置を共有することを可能にし得る。ホストアクセスハンドラＨＡＨ８２８は、ＰＣＩｅターゲットトランザクション、バー／デバイス／機能マッピング、及びドアベル管理を管理し得る。例えば、ＨＡＨは、ドアベル合体、サンプリング、及び転送を管理し得る。

【0084】

１つ以上の相対的に高い帯域幅のメモリインターフェースがサポートされ得る。１つ以上のメモリインターフェースは、インターフェース１つ以上のＤＤＲを提供し得る。

【0085】

先で説明されるアクセラレータのうちの１つ以上は、ホスト及び／又は高帯域幅メモリにアクセスすることを望む場合がある。

【0086】

ホストは、高帯域幅メモリにアクセスすることを望む場合がある。

【0087】

ブリッジを使用して、ｃＤＭＡアーキテクチャをＮＩＣの他の部分に相互接続し得る。一般に、ブリッジは、プロトコル変換器として機能し、一般にトラフィックを開始又は終了しない。ブリッジは、他のバス型へのプロトコル変換を提供し得る。例えば、ＮｏＣは、専用マスタ／スレーブインターフェースを有し得るか、又はプロセッササブシステムは、内部ＡＸＩインターコネクトをサポートし得る。ブリッジはまた、バス幅変換器として機能し得る。ブリッジの例は、ｃＳＩ－ＮｏＣブリッジ８２６、プロセッサブリッジ８３０、及びｃＳＩ－ＰＣＩｅブリッジ８２０、並びにｃＳＩ－ＡＸＩｂｒｉｄｄｇｅである。

【0088】

ｃＳＩ－ＮｏＣブリッジ８２６は、ストリーミングモードにおいてＮｏＣ上でｃＳＩ８２２を拡張するために提供され得る。

【0089】

いくつかの実施形態では、バスへのブリッジが設けられ得る。いくつかの実施形態では、ＡＸＩバス（又は他の好適なバス）が使用され得、ｃＳＩ－ＡＸＩブリッジ（図示せず）が提供され得る。

【0090】

プロセッサブリッジ８３０は、ＮＩＣの１つ以上のＣＰＵ、例えば、処理サブシステム８４２への相互接続を提供し得る。プロセッサブリッジは、ｃＳＩ－ＡＸＩブリッジ又は他のバスブリッジ及び／又は他の構成要素を含み得る。このプロセッサブリッジは、ＨＡＨ８２８とｃＳＩ８２２との間に設けられ得る。

【0091】

ｃＳＩ－ＰＣＩｅブリッジ８２０は、ＰＣＩｅコントローラ１１２とｃＳＩ８２２とを接続する。ｃＳＩ－ＰＣＩｅブリッジは、（ｃＳＩのターゲットである）ｃＳＩターゲットとして機能し、（ｃＳＩへの要求のイニシエータである）ｃＳＩイニシエータからの要求をＰＣＩｅコントローラリクエスタインターフェースに転送する。また、このブリッジは、ｃＳＩイニシエータとしても機能し、ＰＣＩｅコントローラコンプリータインターフェースからの要求を（ｃＳＩのターゲットである）ｃＳＩターゲットに転送する。

【0092】

図６に示す例では、４つのＰＣＩｅコントローラが存在する。これはほんの一例であり、異なる数のＰＣＩｅコントローラが設けられ得る。ｃＳＩ－ＰＣＩｅブリッジインスタンスは、４つのＰＣＩｅコントローラの各々１つと関連付けられ得る。他の実施形態では、４つより多い又は少ないＰＣＩｅコントローラが提供され得る。

【0093】

ファブリックマルチプレクサ８４０は、ｃＤＭＡの構成要素と、ファブリックアクセス及びＮｏＣアクセスが共有されることを必要とする構成要素とをまとめる。ＤＭＡアダプタ８３２、ｃＤＭ８２４、ＨＡＨ８２８、及び／又は任意の他の好適な構成要素は、ファブリックへの／からの経路を提供され得る。ファブリックマルチプレクサ８４０は、同時にアクティブな複数の経路を有するように構成され得る。これは、ファブリックの入力／出力ピンの数に依存し得る。

【0094】

ｃＤＭＡは、先で説明されるようなカプセルを使用する。カプセルは、ストリーミングファブリックを通じて流れるデータ要素である。カプセルは、メタデータ及びデータを含む。データ部分は、ＰＣＩｅ ＴＬＰ（トランスポート層プロトコル、transport layer protocol）であり得る。メタデータは、補助ルーティング情報（例えば、ＴＬＰ自体及び／又は他のコンテキストから導出される）及び／又はｃＳＩシステムにおけるカプセルのフローを制御するために使用される他のフィールドを含む。カプセルヘッダは、ＰＣＩｅ ＴＬＰヘッダデータを含み得、追加のルーティング及びフラグ情報を含み得る。

【0095】

図６で導入されたｃＳＩ８２２を概略的に示す図７ａ及び図７ｂを参照する。ｃＳＩ８２２は、クライアントをカプセルソース及びシンクとみなし、ソースは、カプセルをｃＳＩ８２２に送り、シンクは、カプセルをｃＳＩ８２２から受信する。システムレベルにおいて、ｃＳＩのクライアント（ｃＳＩクライアント）は、イニシエータ及び／又はターゲットである。イニシエータクライアント及びターゲットクライアントの両方は、ｃＳＩへのそれぞれのインターフェースを実装し得る。

【0096】

図７ａに示すように、ｃＳＩ８２２は、Ｎ個のカプセルソースをＭ個のカプセルシンクに接続するＮ×Ｍ個のストリーミングファブリックである。Ｎ及びＭは、同じ又は異なる数であり得る。ｃＳＩ８２２は、メモリ読み出し要求、メモリ書き込み要求、完了、及び／又は他のタイプのトランザクションを伝送することによって、イニシエータとターゲットとの間の接続性を提供する。ｃＳＩ８２２は、いくつかの実施形態では、ＰＣＩｅのような接続性を提供し得る。ｃＳＩ８２２は、トランスポート媒体を提供すると考慮され得る。ｃＳＩ８２２は、複数のソースからのトラフィックが複数のシンクにルーティングされることを可能にする、ソースルーティング型スイッチマトリクスとみなすことができる。ソース及びシンクは、必ずしも同じバス幅又はデータレートを有するとは限らない。

【0097】

図７ａに示すように、ｃＳＩ８２２は、ｃＤＭ８２４へのインターフェース８２３と、ＰＣＩｅインターフェース１１２（ＰＣＩｅブリッジを介して）と、プロセッササブシステム８２４（ブリッジ８３０を介して）と、ファブリック内に提供され得るｃＳＩのためのユーザポート（これらは、ｃＤＭをバイパスし得る）と、を有する。インターフェースは、シンクインターフェース、ソースインターフェース、又はシンクインターフェース及びソースインターフェースの両方であり得る。図７ａに示すインターフェースは、ほんの一例であり、異なる実施形態は、異なるインターフェースを含み得る。図７ａでは、×１、×２、×４、及び×８という表記は、それぞれのインターフェースがサポートするバスセグメントの数を概略的に表すことに留意されたい。

【0098】

ｃＤＭ８２４とのインターフェースは、８つのバスセグメントをサポートし得、プロセッササブシステムとのインターフェースは、４つのセグメントをサポートする。ｃＳＩのためのユーザポートとのインターフェースは、２×２個のセグメントをサポートし得る。

【0099】

特定のソースから特定のシンクへ通過するカプセルは、カプセルタイプ及び仮想チャネル割り当てに基づいて、相互に非ブロックフローに分離される。同じフローにおけるカプセルは、順序通りに配信され、別のフローに属するカプセルによってブロックされない。

【0100】

カプセルは、セグメント化されたストリーミングバスを介してインターコネクトに出入りし得る。セグメントサイズは、任意の好適なサイズ、例えば、２０Ｂであり得る。他の実施形態では、セグメントは、この例示的なサイズより大きく又は小さくあり得る。

【0101】

ｃＳＩカプセルのヘッダサイズは、いくつかの実施形態では２８Ｂであり、したがって、小さいペイロードを有する読み出し要求及び書き込み又は完了などの小さいカプセルには、２つのセグメントが必要とされる。ｃＳＩカプセルのヘッダサイズは、２８Ｂより大きく又は小さくあり得る。いくつかの実施形態では、ｃＳＩカプセルのヘッダサイズは、１つ以上のセグメントに収容され得る。

【0102】

各バスによって使用されるセグメントの数は、インターフェースの性能要件に依存する。ＮＰＲ（読み出し要求を含む非ポスト要求、non-posted request）フローのみを搬送するバスは、１セグメント幅であり得る。これは、ＮＰＲカプセルが小さく、したがって、ＰＲ（書き込みを含むポスト要求、posted request）及びＣＭＰＴ（読み出しデータを含む完了、completion）フローほど多くの帯域幅を必要としない場合であり得る。

【0103】

仮想チャネル（Virtual Channel、ＶＣ）は、提供されるときに、１つのソースと１つのシンクとの間に存在する。所与のカプセルタイプに対してソースとシンクとの間にプロビジョニングされた２つ以上のＶＣを有することは、複数の非ブロックフロー（ＶＣごとに１つ）が、ソースとシンクとの間のそのカプセルタイプについて存在することを可能にする。これに関して、３つの仮想チャネルＶＣ０、ＶＣ１、及びＶＣ２を示す図７ｃを参照する。

【0104】

いくつかの実施形態では、先で考察したようなセグメント化されたバスが使用され得る。

【0105】

ｃＳＩカプセルフローは、以下の２つの段階を有する。
ソースクライアントからｃＳＩバッファ（シンクメモリバッファ）へ。ソースクライアントは、１つ以上の、あるいは多くの異なるバッファに書き込むことができる。
ｃＳＩバッファ（シンクメモリバッファ）から宛先クライアントへ。いくつかの実施形態では、１つのシンククライアントによってバッファを読み出すことができる。

【0106】

図７ｃに示す例では、ｃＳＩの第１のクライアント７３０ａは、ｃＳＩ８２２のインターフェース７３２ａｂとインターフェース接続される。そのｃＳＩインターフェース７３２ａは、ソース７３１ａ及びシンク７３３ａを有する。ｃＳＩの第２のクライアント７３０ｂは、ｃＳＩ８２２のインターフェース７３２ｂとインターフェース接続される。そのｃＳＩインターフェース７３０ｂは、ソース７３１ｂ及びシンク７３３ｂを有する。シンク７３３ａ及び７３３ｂは、いくつかのシンクバッファ７３５を有する。ＶＣは、要求の独立したフローをサポートし、別個のバッファリング、フロー制御、順序付けドメイン、及びサービス品質を有する。ＶＣは、イニシエータからターゲットに向かうＰＲフロー及びＮＰＲフローと、ターゲットからイニシエータに向かうＣＭＰＴフローと、を含み得る。図７ｃの構成は、第１のｃＳＩクライアント７３０ａから第２のｃＳＩクライアント７３０ｂへの２つのＶＣであるＶＣ０及びＶＣ１を有する。図７ｃの構成は、第２のｃＳＩクライアント７３０ｂから第１のｃＳＩクライアント７３０ａへの１つのＶＣであるＶＣ２を有する。第１のインターフェース７３２ａのシンク７３３ａは、ＶＣ０のためのＣＭＰＴバッファ、及びＶＣ１のためのＣＭＰＴバッファ、並びにＶＣ２のためのＰＲバッファ及びＮＰＴバッファを有する。第２のインターフェース７３２ｂのシンク７３３ｂは、ＶＣ２のためのＣＭＰＴバッファ、並びにＶＣ０及びＶＣ１の各々のためのＰＲバッファ及びＮＰＴバッファを有する。

【0107】

ｃＳＩ８２２は、１つ以上のスループット特性を有し得る。
任意のソースからソースの任意のアクセス可能なｃＳＩシンクバッファへの持続的なスループットが提供され得る。これは、ソースの全帯域幅に一致し得る。

【0108】

出力は、任意のｃＳＩシンクバッファから、対応するシンククライアントに提供され得る。これは、シンクの全帯域幅に一致し得る。

【0109】

複数のソースは、同じシンクへのスループットを有し得る。

【0110】

ｃＳＩは、帯域幅のスケーリングを可能にし得る。

【0111】

ｃＤＭＡは、システムにおけるデータフローを取り込み、必要に応じてそれらを接続する。ピークデータレートの差は、スケジュールされたトラフィックフローを有するセグメント化されたバスの集まりを使用することによって管理され得る。これは、ｃＳＩ８２２の機能であり得、ｃＳＩ８２２は、ｃＤＭＡシステムにおけるフローのためのソースベースのルータとして機能する。ｃＳＩはまた、順序付け規則を強化し得る。これは、ブリッジの複雑さを低減し得る。これにより、起こり得るデッドロック状態を回避し得る。

【0112】

ｃＳＩは、ネットワークインターフェースのための帯域幅要件へのスケールアップに関する問題に対処し得る。モジュール方式に基づいて、ｃＳＩは、複数のデータソース、シンク、及びデータムーバのタイプを組み込んだ柔軟なデータ経路が構築されることを可能にする。

【0113】

ｃＳＩインターフェースは、プログラマブルロジック（ファブリック）及び／又はＮｏＣに露出され得る。

【0114】

クレジットが使用され、データプロデューサがある量のデータをアドバタイズし、コンシューマが利用可能なある量の空間をアドバタイズするフロー制御機構を提供し得る。クレジット更新は、シナリオに応じて、コンシューマからプロデューサへ、又はプロデューサからコンシューマへのクレジットメッセージによって搬送される。クレジットの正確な値は、異なるコンテキストにおいて変化し得、バイト数、セグメント化されたバスセグメント、応答リアセンブリバッファ、又はコンテキストについて確立された他の値であり得る。クレジット及びクレジットコンテキストは、それぞれのスケジューラによって管理される。

【0115】

図７ｂを参照する。ｃＳＩには、複数の書き込みパイプ８６２（明確にするために、それらのうちの１つのみが図７ｂに示されている）、及び複数の読み出し要求パイプ８６４（明確にするために、それらのうちの１つのみが図７ｂに示されている）が設けられている。各読み出し要求パイプ８６４は、シンクスケジューラ８６６及びジョブ情報ＦＩＦＯ（先入れ先出しバッファ）８６７と関連付けられる。書き込みパイプ及び読み出し要求パイプは、以降でより詳細に説明される。書き込みパイプは、書き込み要求をシンクメモリマルチプレクサ８６０に出力し、読み出し要求パイプは、読み出し要求をシンクメモリマルチプレクサ８６０に出力する。

【0116】

シンクメモリマルチプレクサ８６０は、全ての書き込みパイプ及び読み出しパイプからの全ての書き込み要求及び読み出し要求を見て、どれをシンクメモリバッファに進めることができるか、かつどれをバックプレッシャするかを選択する。

【0117】

いくつかのソースクライアントは、バスのセグメント化を使用してサブバスに分岐され得る。

【0118】

ｃＳＩソース又はシンクインターフェースは、複数のインターフェースに分割されるか、又は「分岐」され得る。以下の例では、４つのセグメントバスが使用される。これらのセグメントは、単独で又は組み合わせて使用され得る。

【0119】

２つのインターフェース（２つのセグメントバスを使用するソースインターフェース又は２つのセグメントバスを使用するシンクインターフェース）は、２×１個のインターフェース（１つのバスセグメントを使用する）に分岐することができる。

【0120】

４つのインターフェース（４つのセグメントバスを使用するソースインターフェース又は４つのセグメントバスを使用するシンクインターフェース）は、２×２個のインターフェース又は４×１個のインターフェース、あるいは２×１個のインターフェース及び１×２個のインターフェースに分岐することができる。

【0121】

４つのセグメントバスのこの例では、分岐されたインターフェースバスは、元のインターフェースから１つ、２つ、又は４つのセグメント（分岐のタイプ及び元のインターフェース幅に応じて）を静的に割り振られる。この例では、分岐されたインターフェースは、２つ、３つ、又は４つの完全に独立したインターフェースを生成する。

【0122】

いくつかの実施形態では、インターフェースは、２ｎ個のセグメントを割り振られ得、ここで、ｎは、０以上の整数である。ｎの値は、バスセグメントの総数によって決定され得る。最大４つのバスセグメントが存在する例では、ｎは、０、１、又は２であり得る。いくつかの実施形態では、合計２ｎ個のバスセグメントが存在し得、ｎは、整数である。この例では、合計４つのバスセグメントを有するが、他の例では、異なる総数のバスセグメントを有し得ることを理解されたい。

【0123】

他の実施形態では、インターフェースは、３つのバスセグメント又は任意の他の好適な数のバスセグメントからなるｘ３インターフェースを有し得る。

【0124】

代替的な実施形態では、インターフェースに割り振られるバスセグメントの数は、２の整数乗でない場合がある。代替的な実施形態では、バスセグメントの総数は、２の整数乗でない場合がある。

【0125】

図６に示すように、ｃＳＩ８２２は、以下のクライアントのうちの１つ以上を相互接続する。

【0126】

ｃＳＩ－ＮｏＣブリッジ８２６。例えば、これは、分岐サポートを有する５１２Ｇｂイニシエータ／ターゲットであり得る。ｃＳＩは、このクライアントが２つの２５６Ｇｂイニシエータ／ターゲットクライアント、又は４つの１２８Ｇｂイニシエータ／ターゲットクライアント、又は１つの２５６Ｇｂイニシエータ／ターゲットクライアント及び２つの１２８Ｇｂイニシエータ／ターゲットになることを可能にする。これは、１×４個のインターフェース又は２×２個のインターフェース又は４×１個のインターフェース又は２×１個のインターフェース及び１×２個のインターフェースをサポートする。５１２Ｇｂの値は、ほんの一例であり、他の実施形態では、インターフェースのサイズ及び／又はサポートされるインターフェースの数を変更し得る異なる値を使用し得ることを理解されたい。

【0127】

プロセッサブリッジ８２０。例えば、これは、５１２Ｇｂイニシエータ／ターゲット又は他の値であり得る。５１２Ｇｂの値は、ほんの一例であり、他の実施形態では、インターフェースのサイズ及び／又はサポートされるインターフェースの数を変更し得る異なる値を使用し得ることを理解されたい。

【0128】

ＰＣｌｅブリッジ８２０。例えば、これは、分岐サポートを有する５１２Ｇｂイニシエータ／ターゲット（又は他の値）であり得る。ｃＳＩは、このクライアントが２つの２５６Ｇｂイニシエータ／ターゲットクライアント、又は４つの１２８Ｇｂイニシエータ／ターゲットクライアント、又は１つの２５６Ｇｂイニシエータ／ターゲットクライアント及び２つの１２８Ｇｂイニシエータ／ターゲットになることを可能にする。これは、１×４個のインターフェース又は２×２個のインターフェース又は４×１個のインターフェース又は２×１個のインターフェース及び１×２個のインターフェースをサポートする。これらの値は、ほんの一例であることを理解されたい。他の実施形態では、分岐サイズを変更し得る異なる値を使用し得る。

【0129】

５１２Ｇｂは、ほんの一例であり、他の実施形態では、分岐サイズ及び／又はセグメントの総数を変更し得る異なる値を使用し得ることを理解されたい。５１２Ｇｂとは異なる値が使用される場合、これは、５１２Ｇｂより大きく又は小さくあり得る。

【0130】

ｃＤＭ－８００Ｇｂイニシエータ。８００Ｇｂは、ほんの一例であり、他の実施形態では、異なる値を使用し得ることを理解されたい。これは、いくつかの実施形態では、分岐され得る。異なる値は、いくつかの実施形態では、８００Ｇｂより大きく又は小さくあり得る。いくつかの実施形態では、値は、先で考察したクライアントと同じであり得る。しかしながら、他の実施形態では、ｃＤＭイニシエータは、他のクライアントよりも大きいＧｂ値と関連付けられ得る。

【0131】

いくつかの実施形態では、分岐後の入力／出力の数が同じままであることを確実にするために、以下の技法のうちの１つ以上が使用され得る。

【0132】

全ての分岐インターフェースは、元のインターフェースと同じローカルクレジット及びスケジューラリソースメッセージバスを使用する。異なる分岐インターフェースに属するメッセージは、同じメッセージバス上で多重化される。

【0133】

分岐ソースインターフェースは、元のインターフェースと同じＮＰＲ（非ポスト要求）バスを使用する。異なる分岐ソースインターフェースに属するカプセルは、同じＮＰＲバス上に多重化される。

【0134】

分岐動作の一例では、ｃＳＩは、２つの異なるデータシンクを対象としているデータソースから１×４個のインターフェース上でデータを受信し得る。ｃＳＩは、データシンクのうちの１つとの１×２個のインターフェースと、他のデータシンクとの１×２個のインターフェースとを有し得る。

【0135】

結合演算がサポートされ得る。これは、２つ以上のインターフェースが組み合わされる場合である。例えば、ｃＳＩは、第１のデータシンクのために第１のソースから１×２個のインターフェース上でデータを受信し、第１のデータシンクのために第２のソースから１×２個のインターフェース上でデータを受信し得る。ｃＳＩは、第１のデータシンクとの１×４個のインターフェースを有し得る。２つのソースからのデータは、両方とも１×４個のインターフェース上で送られ得る。

【0136】

しかしながら、各ソースシンクが、シンクメモリに書き込まれる必要がある最大で所与の最大数の同時セグメントと、シンクメモリに同時に提示される必要がある最大で所与の最大数の読み出し要求とを処理し得るので、分岐の場合は、書き込みパイプ構成に違いが生まれない場合がある。いくつかの実施形態では、所与の最大数は、４であり得る。他の実施形態では、所与の最大数は、４より大きく又は小さくあり得る。

【0137】

第１の組の複数のマルチプレクサ８６８は、シンクメモリマルチプレクサの下流側に設けられる。明確にするために、第１の組のこれらのマルチプレクサのうちの１つのみが図７ｂに示されている。シンクメモリマルチプレクサ８６０は、読み出し要求及び書き込み要求を第１の組のマルチプレクサのうちの必要なマルチプレクサに向ける。第１の組のマルチプレクサの各々の出力は、それぞれのシンクメモリ８７０に提供される。シンクメモリは、任意の好適な形態を採り得る。いくつかの実施形態では、シンクメモリは、シングルポートである１セグメント幅のＲＡＭを含み得る。言い換えれば、ＲＡＭの幅は、バスセグメントのサイズ又は幅に一致する。

【0138】

シンクメモリ８７０の２つ以上の出力は、第２の組のマルチプレクサのマルチプレクサ８７２に出力される。ここでも、明確にするために、第２の組のマルチプレクサのうちの１つのみが示されている。第２の組のマルチプレクサの各マルチプレクサ８７２は、それぞれの読み出し制御ＦＩＦＯ８７４の出力によって制御される。第１の組のマルチプレクサにおけるマルチプレクサの数は、第２の組のマルチプレクサにおけるマルチプレクサの数より多くあり得る。第２の組のマルチプレクサのマルチプレクサ８７２は、後でより詳細に説明するそれぞれの読み出し応答パイプ８７６に出力を提供する。

【0139】

一実施形態では、第１の組のマルチプレクサ８６８の第１の対は、それぞれのシンクメモリ８７０に出力を提供し、シンクメモリ８７０は、次に、それぞれの出力を第２の組のマルチプレクサ８７２の第１のマルチプレクサに提供する。この構成は、それぞれのシンクメモリに出力を提供する第１の組のマルチプレクサの第２の対に対して繰り返され得、シンクメモリは、次に、それぞれの出力を第２の組のマルチプレクサの第２のマルチプレクサに提供し、以下同様である。

【0140】

メモリへの書き込み要求は、更なる処理を必要としない。

【0141】

読み出し要求は、読み出しデータを生成し、読み出しデータは、各シンククライアントに対して１つずつ、読み出し応答パイプに収集される。

【0142】

図７ｂの書き込みパイプの一例を概略的に示す図８を参照する。各ソースクライアントに対して１つの書き込みパイプが提供され得る。書き込みパイプは、ソースクライアントからカプセルを受け入れる。書き込みパイプは、アドレスデコード部８７８を有する。アドレスデコード部又は段階は、入力バッファ８７８ａ、アドレスデコードエンジン８７８ｂ、及び書き込みバッファ状態レジスタファイル８７８ｃを含む。アドレスデコード部８７８は、カプセルについて、ターゲットシンクメモリ及びターゲットシンクバッファを決定する。アドレスデコード部は、ターゲットバッファの状態を調べ得る。アドレスデコード部は、シンクメモリアドレスを各カプセルセグメントと関連付け得る。アドレスデコード部は、ターゲットバッファの状態を更新し得る。アドレスデコード部は、ＦＩＦＯ８８０を介してシンクメモリマルチプレクサに書き込み要求を渡し得る。書き込みパイプの出力は、バスセグメントの幅に対応する幅を有するカプセルセグメントによって提供される。シンクメモリアドレスは、後で考察するように、シンクメモリのメモリバンクを識別し得る。

【0143】

より詳細には、アドレスデコード部８７８内の制御ロジックは、入口バス上に現れるカプセルを監視する。このロジックは、カプセルヘッダを検査し、カプセルのためのターゲット循環バッファを決定する。ターゲットバッファは、カプセルタイプ及びカプセルの仮想チャネルＶＣに依存する。

【0144】

制御ロジックは、ブロックレジスタファイルに維持されているバッファ状態（開始、終了、及び書き込みポインタ）を検査し、シンクメモリのバスセグメントの書き込みアドレスを計算する。

【0145】

アドレスデコード部内の制御ロジックは、バスの全てのセグメントに対して上記の動作を並列に実施し得る。

【0146】

アドレスデコード部８７８は、読み出しジョブチャンク境界の発見及び各バッファに対するジョブ通知メッセージングを処理する。ジョブチャンクは、シンクスケジューラが各ジョブ要求に対してバッファから読み出されることを予想するデータ量である。チャンクは、最も近いカプセル又は任意の他の好適なチャンクサイズまで拡張されたおよそ１ＫＢであり得る。各完了した（完全に書き込まれた）ジョブチャンクに対して、アドレスデコード部は、ジョブ通知メッセージをジョブ情報ＦＩＦＯにプッシュする。並列ジョブ情報ＦＩＦＯは、各バッファに提供され得る。ジョブ通知メッセージは、引数であるバッファＩＤ及びセグメント単位のジョブチャンク長のうちの１つ以上を有し得る。各ジョブ情報ＦＩＦＯは、対応するバッファのサイズに一致するようにサイズ決定され得る。

【0147】

アドレスデコード部８７８は、バッファごとにジョブチャンク完了タイマを維持し得る。バッファが新しいジョブチャンクの受信を開始すると、タイマが準備される。ジョブチャンクが割り当てられた時間内に完了しない（すなわち、タイマが満了した）場合、アドレスでデコード部は、ジョブサイズに達したかのように機能する。全てのジョブが完了していない場合、対応するバッファを満たす前にジョブチャンク情報ＦＩＦＯを満たすことが可能である。したがって、ロジックは、対応するジョブチャンク情報ＦＩＦＯ充填レベルが閾値に達した場合、タイマを停止する。タイマは、ＦＩＦＯ充填レベルが閾値を下回った後も継続する。この状態は、ブロックストールを引き起こす可能性がある。

【0148】

したがって、アドレスデコード部は、各バッファに対するジョブ通知メッセージングを処理し、それぞれのジョブ情報ＦＩＦＯに提供されるジョブ情報出力を提供する。

【0149】

書き込みパイプは、ＦＩＦＯ８８０を有する。各バスセグメントに対して専用のＦＩＦＯが存在し得る。これは、セグメントアドレス衝突によって引き起こされる過渡遅延を平滑化し得る。ＦＩＦＯは、アドレスデコード部の全てのセグメントが同時に移動することを可能にし、これにより、アドレスデコードロジックを簡略化し得る。したがって、書き込みパイプの出力は、バスセグメントの幅であり、１回の操作でシンクメモリのセルに書き込むことができる。このメモリセルは、バスセグメントの幅に等しい幅を有する。

【0150】

図７ｂの読み出し要求パイプ８６４を概略的に示す図９を参照する。各シンククライアントに対して１つの読み出し要求パイプが存在し得る。読み出しパイプは、シンクスケジューラ（各シンククライアントに対して１つのスケジューラ）からジョブ要求を受信する。読み出しパイプは、スケジューラがパイプに読み出すように命令するバッファ（シンクメモリ）の状態を調べ得る。読み出しパイプは、読み出し要求を生成し得る。読み出しパイプは、バッファの状態を更新し得る。読み出しパイプは、読み出し要求をシンクメモリマルチプレクサに渡し得る。

【0151】

読み出し要求パイプは、アドレスデコード部８８２を有する。アドレスデコード部又は段階は、入力バッファ８８２ａ、アドレスデコードエンジン８８２ｂ、及び読み出しバッファ状態レジスタファイル８８２ｃを含む。

【0152】

アドレスデコード部は、シンクスケジューラ８６６からジョブ要求を受信する。ジョブ要求は、特定の位置からデータのジョブチャンクを読み出すように読み出し段階に求める。この特定の位置は、特定のＲＡＭセル若しくは他のメモリセル、又は連結リスト、循環キュー、若しくは仮想ＦＩＦＯなどの管理されたデータ構造であり得る。要求は、バッファＩＤ及び宛先ＩＤを搬送する。クライアントは、同じ又は異なるバッファへの１つ以上の未処理のジョブ要求を有することを許可され得る。

【0153】

アドレスデコード部は、ジョブ情報ＦＩＦＯから（図８に示すような）書き込み段階によって生成されたジョブ情報を受信する。

【0154】

ジョブ情報は、アドレスデコード部が任意のオーバーヘッドなしにジョブからジョブへ（バッファからバッファへ）遷移することを可能にする、すなわち、この段階では、ジョブ情報からジョブチャンク長を知っているので、ジョブの終わりをオーバーランしない。

【0155】

ジョブ情報は、チャンクがデフォルトチャンクサイズよりも小さい場合（書き込み段階におけるジョブチャンク充填タイムアウトのため）、アドレスデコード部が同じスケジューラジョブ要求中に複数のジョブチャンクを処理することを可能にする。

【0156】

ジョブ情報には、ジョブチャンクの長さがセグメント単位で含まれているので、ジョブ情報は、アドレスデコード部がジョブ終了時のバッファの状態を知ることを可能にする。

【0157】

各ジョブ要求が完了すると、アドレスデコード部は、シンクスケジューラに対するジョブ応答である、スケジューラジョブ応答を生成する。応答は、ソースクレジット、コスト、及びリソースクレジットフィールドを搬送する。

【0158】

各アクティブジョブ実行サイクル中に、アドレスデコード部は、同じシンクメモリ循環バッファへの最大で４／８（又は任意の他の好適な数）の同時順次読み出し要求を構築する。ジョブの最初及び／又は最後のサイクルは、整列のために、４／８（又は任意の他の好適な数）未満の同時要求を有し得る。任意の所与のサイクルにおいて、１つのジョブに属する要求のみが発行され得る。これは、２つの連続するジョブが同じバッファをターゲットにしている場合であっても当てはまる。

【0159】

要求アドレスデコード部が分岐シンクインターフェースにサービスを提供する場合、各分岐インターフェースに対して１つのジョブを同時に処理することができ得る。各分岐インターフェースは、１つ以上の特定のバスセグメントと関連付けられる。

【0160】

各アクティブジョブ実行サイクル中に、アドレスデコード部は、要求コンテキストを構築し、応答段階によって収集されるように要求コンテキストＦＩＦＯ８８４にプッシュする。要求コンテキストは、要求段階トランザクション、すなわち、読み出し要求のうちのどれが有効であるかなどを記述する。

【0161】

分岐インターフェースの場合、各分岐インターフェースに対して１つの要求コンテキストＦＩＦＯが使用される。

【0162】

カプセルが読み出し要求パイプによってドロップされる場合、読み出し応答パイプは、ドロップ通知を発行する。これは、カプセルが順序付け規則に違反する場合に行われ得る。この場合、応答パイプは、読み出し要求パイプがバッファからのカプセルフローを停止し、フラッシュ完了メッセージを使用して応答パイプに通知するまで、同じバッファから全ての後続のカプセルをドロップし続ける。

【0163】

読み出し要求パイプは、クライアントが発行した通知メッセージごとに２つのカプセルドロップ通知を見ることができる。一方のメッセージは、ジョブ要求ＦＩＦＯをバイパスして直接配信され、他方のメッセージは、ジョブ要求と同じＦＩＦＯを介して受信される。第１のメッセージは、アドレスデコード部が通知に即座に反応することを可能にし、第２のメッセージは、影響を受けたバッファに対するパイプライン化されたジョブ要求がもうないことをアドレスデコード部に伝える。

【0164】

読み出し応答パイプ８７６を示す図１０を参照する。読み出し要求は、読み出しデータを生成し、この読み出しデータは、各シンククライアントに対して１つずつ、いくつかの読み出し応答パイプに収集される。読み出し応答パイプは、シンクメモリから読み出しデータ応答を受信し、読み出し段階から対応するコンテキストを受信する。要求コンテキストは、各応答段階セグメントレジスタに、どのメモリ又はＲＡＭからデータを受信するか、かつそのデータが有効であるか否かを知らせる。読み出し応答パイプは、同じバッファセグメントを順序通りに見る。各カプセルに対して、読み出し応答パイプは、順序カウンタ８９２及び順序チェッカ８９０をそれぞれ使用して順序状態を更新／検証する。カプセルが順序通りでないことが判明した場合、パイプは、カプセルをシンクインターフェースに渡すことなくドロップし、読み出し要求パイプに通知する。読み出し応答パイプは、読み出し応答パイプが読み出し要求パイプからのフラッシュ完了メッセージを見るまで、（それ以上の通知を発行することなく）影響を受けたバッファから全てのカプセルをドロップし続ける。

【0165】

サイクルごとに、シンクメモリマルチプレクサ８６０は、シンクメモリへの全ての書き込み要求及び全ての読み出し要求を考慮する。シンクメモリマルチプレクサ８６０のアービタは、シンクメモリが独立しているので、各シンクメモリに対して並列に決定を行うことができる。いくつかの実施形態では、８つのシンクメモリが存在し得る。他の実施形態では、８つより多い又は少ないシンクメモリが存在し得る。シンクメモリは、１セグメント幅のシングルポートであるＲＡＭのバンクを含み得る。他の実施形態では、異なるタイプのメモリを使用し得る。

【0166】

各シングルポートであるＲＡＭの幅は、バスセグメントの幅と同じである。したがって、ポート幅は、バスセグメントの幅と同じである。

【0167】

メモリバンク内のＲＡＭの数は、サイクル当たりの同時書き込み要求及び読み出し要求の数に依存し得る。バスセグメントと同じ数のＲＡＭがバンク内に存在し得る。例えば、３２個のＲＡＭがバンク内に存在し、３２個のバスセグメントが存在し得る。３２個のストリーム（読み出しパイプ及び書き込みパイプ）は、それぞれのＦＩＦＯ（書き込みパイプのエラスティックＦＩＦＯ及び読み出しパイプのＦＩＦＯ）と関連付けられた各ストリームでサポートされ得る。

【0168】

ＲＡＭの数は、論理マルチバンクシンクメモリが維持することを要求される帯域幅に依存し得る。同時書き込み要求及び読み出し要求が少ない場合、バンク内のＲＡＭは少なくあり得る。ほんの一例として、ＲＡＭの数は、１６個であり得る。

【0169】

バスは、セグメント化され、各セグメントは、メモリバンクから独立して書き込み／読み出しされる。

【0170】

論理シンクメモリは、物理セグメント幅のＲＡＭから構成され、論理シンクメモリアドレスは、全てのＲＡＭが等しくロードされることを確実にするためにバンク全体にわたってストライプされる。例えば、メモリセル０は、ＲＡＭ０であり、１は、ＲＡＭ１であり、以下同様である。

【0171】

いずれの要求も衝突しない場合、すなわち、いずれも同じシンクメモリバンク内の同じＲＡＭセルをターゲットとしない場合、全ての要求を進め得る。要求のうちのいくつかが衝突する場合、シンクメモリマルチプレクサ８６０は、アービタとして機能する。シンクメモリマルチプレクサ８６０は、任意の２つ以上の衝突した書き込み要求に対して、エラスティックＦＩＦＯ内の最も多くのエントリを有する書き込み要求を勝たせ得る。要求が同じ数のエントリを有する場合、セグメントバッファインデックスに基づく絶対優先度が適用され得る。これにより、失われたセグメントがすぐにそのエラスティックＦＩＦＯ内により多くのエントリを有し、後続のラウンドで勝つため、いかなる不均衡ももたらさない可能性がある。

【0172】

任意の２つの衝突した読み出し要求及び書き込み要求に対して、アービタは、勝者を選択するためにプログラマブル閾値機構を使用し得る。

【0173】

読み出し応答パイプが常に同じバッファからの応答データを順序通りに見ることを確実にするために、シンクメモリマルチプレクサ８６０のアービタは、衝突する読み出し要求の間を以下のように調停する。読み出しパイプが分岐モードで動作している場合、読み出し要求が衝突する可能性があり、その場合、異なる分岐インターフェースに属するセグメントのみが衝突する可能性がある。アービタは、そのエラスティック読み出し要求ＦＩＦＯのうちの少なくとも１つにほとんどのエントリを有する分岐インターフェースを選択し、このインターフェースに属する全てのセグメントが進むことを可能にし得る。アービタは、いくつかの実施形態では、同じインターフェースからの読み出し要求のサブセットが進むことを許可しない、すなわち、要求の全てが進むか、又はいずれも進まない。

【0174】

したがって、ｃＳＩは、ＤＭＡエンジンを複製する必要なしに分岐するホストインターフェースを管理し得る。

【0175】

ｃＳＩは、ファブリック内に拡張することができる。これを行うための２つの方法が存在し得る。いくつかの実施形態では、方法の一方のみが使用され得る。他の実施形態では、両方の方法を同時に用いることができる。本方法は、ファブリックインターフェースをファブリックポートに露出し、ＮｏＣを介してｃＳＩカプセルをトンネルすることである。ＮｏＣ／ファブリックブリッジは、両方の方法を同時にサポートし得る。両方の方法の同時サポートの場合、ｃＳＩインターフェースは分岐され、結果として生じるサブインターフェースは、それぞれ、ＮｏＣ及びファブリックピン又は接続部と関連付けられる。

【0176】

システムの観点から、ｃＳＩは、拡張可能であり、特定のシステムニーズに適応可能であり得る。その目的のために、ｃＳＩは、１つのハブに適合するか、又は相互接続されたハブのネットワークによって提供される。ハブは、それ自体、ｎ個のソースをｍ個のシンクに接続するｎ×ｍ個のストリーミングファブリックである。ハブは、パラメータ化可能であり、コンパイル時間構成可能であり得る。

【0177】

ハブを使用してカスタムｃＳＩを構築することができる容易さ、及びハブアセンブリのための簡単な機構により、ｃＳＩの構成可能性がサポートされる。

【0178】

ｍｕｌｔｉ－ｈｕｂ ｆｏｒｋ－ｊｏｉｎ手法は、ｃＳＩの一部分がソフトロジック内に存在することを可能にし得る。これは、異なるカーネル（又はプラグイン）に接続性を提供するために、異なるトポロジを有する多くの様々なインスタンス化を作成し、（動的再構成を使用して）実行時に追加／修正することができることを意味する。

【0179】

ｃＤＭ（構成可能なデータムーバ、composable data mover）８２４は、ｃＤＭＡシステムのバルクデータムーバ要素を提供する。ｃＤＭには、コマンドが供給される。ｃＤＭは、様々なＤＭＡアダプタの指示の下で動作して、ｃＳＩ８２２との間でデータを必要なエンドポイントに移動させる。ｃＤＭ８２４は、ＤＭＡアダプタ８３２によって使用される。いくつかの実施形態では、ｃＤＭは、他のＤＭＡアダプタが使用できるように、ＮＩＣのプログラマブルロジックに露出される。これは、顧客又はユーザの要件に依存し得る。

【0180】

ｃＤＭは、ＤＭＡアダプタのためのＡＰＩをデータ移動プロセスから切り離すことを目的とする。ｃＤＭは、ｃＳＩとＤＭＡアダプタとの間に位置する。これは、ｃＳＩの可能なクライアントのうちの１つであり、任意のＤＭＡシステムにおける最高帯域幅の構成要素であり得る。ｃＳＩの柔軟性により、ｃＤＭは、ＰＣＩＥホスト、ＣＰＵ、ＤＤＲ、ＮＩＣ、及びファブリッククライアントのうちの１つ以上を含むトランザクションのデータ移動部を、直接又はＮｏＣを通じて実施することができる。これは、ＤＭＡアダプタ又はファブリッククライアントＤＭＡアダプタの制御下にあり得る。

【0181】

ｃＤＭによって処理される３つの「データプレーン」のデータムーバ動作が存在し得る。それらは、要求によって呼び出され、完了すると、応答を生成する（場合によっては抑制され得る）。

【0182】

Ｍ２ＳＴ（メモリからストリーミング、memory to streaming）動作は、ストリーミングインターフェースを介してアダプタによって消費されるように、ターゲットメモリからｃＤＭストリーミングインターフェースにデータの連続ブロックを移動させる。この例では、ソースは、トランザクションのようなメモリを使用してアクセスされ、宛先は、データストリームを受信する。

【0183】

ＳＴ２Ｍ（メモリへのストリーミング、streaming to memory）動作は、データのブロックをアダプタからストリーミングインターフェースを介してターゲットメモリ内のある位置に移動させる。

【0184】

Ｍ２Ｍ（メモリ間、memory to memory）動作は、データの連続ブロックを、１つのターゲットメモリ位置から別のターゲットメモリ位置に移動させる。メモリ位置は、同じ又は異なる物理的ターゲットにあり得る。

【0185】

ＳＴ２Ｍ、Ｍ２ＳＴ、及びＭ２Ｍは、バルク動作であり得る。

【0186】

２つの制御プレーンデータムーバ動作が存在し得る。メッセージロードは、Ｍ２ＳＴ動作のようであり、メッセージ記憶は、ＳＴ２Ｍ動作のようである。これらの動作（インターフェース及びＡＰＩ）は、データではなく、記述子及びイベントなどの制御プレーントラフィックを移動させるためのものであり得る。これは、短いインラインメッセージのためであり得る。

【0187】

アダプタは、ｃＤＭクライアントである。ｃＤＭクライアントは、ＳＴ２Ｍ、Ｍ２ＳＴ、Ｍ２Ｍ、メッセージロード、及びメッセージ記憶要求／応答からなるｃＤＭ ＡＰＩを実装する。クライアントは、全てのＡＰＩ要求／応答をサポートする必要はない。例えば、いくつかのクライアントは、バルクデータ書き込み（ＳＴ２Ｍ）のみを実施し、他のクライアントは、バルク読み出し（Ｍ２ＳＴ）のみを実施する。

【0188】

ｃＤＭ８２４を概略的に示す図１１を参照する。

【0189】

ｃＤＭ８２４は、様々なインターフェースを有する。インターフェースは、任意の好適なレートで動作し得る。いくつかの実施形態では、インターフェースは、相対的に高いレートで動作し得る。例えば、いくつかの実施形態では、インターフェースは、１ＧＨｚで動作し得る。異なるレートが、異なる実施形態によってサポートされ得る。

【0190】

ｃＳＩソースクライアントインターフェース９５０は、ｃＤＭからｃＳＩにカプセルを渡すために提供され、ｃＳＩからｃＤＭに渡されるクレジットによってフロー制御される。

【0191】

ｃＳＩシンククライアントインターフェース９５１は、ｃＳＩからカプセルを受信するために提供され、ｃＤＭからｃＳＩに渡されるクレジットによってフロー制御される。

【0192】

ＤＭＡアダプタインターフェース９５７ａ～９５７ｇは、ＤＭＡアダプタとｃＤＭとの間のそれぞれのインターフェースを提供する。ｃＤＭは、各有効化されたアダプタによる各動作タイプのための専用インターフェースを提供する。これは、インターフェースを介した多重化／逆多重化及びローカルクレジット方式をサポートすることを不要にし得る。

【0193】

ＤＭＡアダプタインターフェースは、以下のうちの１つ以上を含み得る。

【0194】

アダプタＳＴ２Ｍ要求インターフェース９５７ａ。これは、対応する数の書き込み可能アダプタをサポートするための１つ以上の要求インターフェースを提供する。各トランザクションは、１つのＳＴ２Ｍ要求をアダプタからｃＤＭに渡し得る。このフローは、準備完了／有効ハンドシェイクによって制御され得る。これらの要求は、書き込みエンジン９５２に提供される。

【0195】

アダプタＭ２ＳＴデータインターフェース９５７ｂ。これは、対応する数の読み出し可能アダプタをサポートするための１つ以上のデータインターフェースを提供する。バスが使用され得る。一例として、バスは、ＡＸＩ ＳＴバス又は任意の他の好適なバスであり得る。このフローは、準備完了／有効ハンドシェイクによって制御され得る。データは、応答リアセンブルユニットＲＲＵ９５４によって提供される。

【0196】

アダプタＭ２ＳＴ／Ｍ２Ｍ要求インターフェース９５７ｃ。これは、対応する数の読み出し可能アダプタをサポートするための１つ以上の要求インターフェースを提供する。各トランザクションは、１つのＭ２ＳＴ又はＭ２Ｍ要求をアダプタからｃＤＭに渡し得る。このフローは、準備完了／有効ハンドシェイクによって制御され得る。これらの要求は、読み出しエンジン９５３に提供される。

【0197】

アダプタメッセージ記憶要求インターフェース９５７ｄ。これは、対応する数のアダプタをサポートするための１つ以上の要求インターフェースを提供する。メッセージ記憶要求の第１のトランザクションは、要求の制御部分及びメッセージデータのｃビットをアダプタからｃＤＭに渡す。アダプタからｃＤＭへの追加のトランザクションは、もしあれば、メッセージデータのｃビットのリマインダを一度に（又は最後のビートではより少なく）渡す。ｃの値は、１２８ビット又は任意の他の好適な値であり得る。このフローは、準備完了／有効ハンドシェイクによって制御され得る。これらの要求は、書き込みエンジン９５２に提供される。

【0198】

アダプタメッセージロード要求インターフェース９５７ｅ。これは、対応する数の読み出し可能アダプタをサポートするための１つ以上の要求インターフェースを提供する。各トランザクションは、１つのメッセージロード要求をアダプタからｃＤＭに渡す。このフローは、準備完了／有効ハンドシェイクによって制御され得る。これらの要求は、読み出しエンジン９５３に提供される。

【0199】

アダプタメッセージ応答インターフェース９５７ｆ。いずれの動作でも、動作の完了ステータス情報を供給する応答を生成し得る。メッセージロード動作は、完了ステータスとメッセージデータの両方を搬送する応答を生成する。応答の第１のトランザクションは、完了ステータス及びメッセージデータの最初のｃビットをｃＤＭからアダプタに渡す。ｃＤＭからアダプタへの追加のトランザクションは、もしあれば、メッセージデータのｃビットのリマインダをその時点で（又は最後のビートではより少なく）渡す。このフローは、準備完了／有効ハンドシェイクによって制御され得る。これらの応答は、応答エンジン９５５によって提供される。応答エンジン９５５は、ＲＲＵ、読み出しエンジン、及び書き込みエンジンから入力を受信する。（図１１には図示せず）

【0200】

アダプタＳＴ２Ｍデータインターフェース９５７ｇ。これは、対応する数の書き込み可能アダプタをサポートするための１つ以上のデータインターフェースを提供する。任意のストリーミングバスが使用され得る。一例として、バスは、ＡＸＩ ＳＴバスであり得る。フローは、準備完了／有効ハンドシェイクによって制御され得る。これらの要求は、書き込みエンジン９５２に提供される。

【0201】

サポートされるアダプタインターフェースは、どの１つ以上のＤＭＡアダプタがＮＩＣによってサポートされるかに依存することを理解されたい。１つ以上の他のアダプタインターフェースが、代替的又は追加的にサポートされ得る。

【0202】

ｃＤＭはまた、以下のインターフェースのうちの１つ以上をサポートし得る。

【0203】

スケジューラジョブ応答インターフェース（scheduler job response、ＳＪＲ）９６１。このインターフェースは、全てのｃＤＭＡイニシエータスケジューラにジョブ応答をブロードキャストする。このフローは、準備完了／有効ハンドシェイクによって制御され得る。このインターフェースは、読み出しエンジン９５３及び書き込みエンジン９５２からジョブ応答を受信する。

【0204】

Ｍ２Ｍジョブ要求インターフェース（M2M job request、Ｍ２ＭＪＲ）９６２。これは、イニシエータスケジューラからｃＤＭ内部Ｍ２Ｍアダプタ９５６にジョブ要求を渡す。このフローは、準備完了／有効ハンドシェイクによって制御され得る。

【0205】

Ｍ２Ｍソースクレジットインターフェース（M2M source credit、Ｍ２ＭＳＣ）９６３。これは、ｃＤＭ内部Ｍ２Ｍアダプタブロック９５６からイニシエータスケジューラにソースクレジットを渡す。このフローは、準備完了／有効ハンドシェイクによって制御され得る。

【0206】

ｃＤＭは、１つ以上のアダプタにサービスを提供し得る。アダプタは、強化アダプタであり得る。強化アダプタは、ｃＤＭＡと関連付けられたＮＩＣの一部に提供され得る。ｃＤＭは、所与の有効化されたアダプタによってサポートされる各動作タイプのための専用インターフェースを提供する。各有効化されたアダプタは、アダプタがサポートするｃＤＭ動作を実施するのに必要な完全な組のｃＤＭインターフェースを所有し得る。

【0207】

１つ以上の強化及び有効化されたアダプタが存在し得る。代替的又は追加的に、アダプタは、いわゆるソフトアダプタであり得、例えば、プログラマブルロジック又はプログラマブル回路によって提供され得る。ｃＤＭは、１つ以上のソフトアダプタによって使用されるファブリックにｃＤＭアダプタインターフェースを露出するインターフェースを有する。

【0208】

ｃＤＭは、いくつかの実施形態では、１つ以上の強化アダプタ及び／又は１つ以上のソフトアダプタをサポートし得る。任意の１つ以上又は全てのアダプタが、同時にアクティブであり得る。アダプタは、１つ以上の強化アダプタ及び／又はプログラマブルロジックに設けられた１つ以上のアダプタを含み得る。

【0209】

いくつかの実施形態では、アダプタの性質、及びそれがファブリック内で強化されるか、又はインスタンス化されるか否かにかかわらず、アダプタは、ｃＤＭと通信するために同じプロトコルを使用し得る。これは、アダプタＡＰＩと称される。アダプタＡＰＩは、要求－応答モデルを使用する。

【0210】

書き込みエンジン９５２には、書き込みアービタ９５８が設けられている。

【0211】

ｃＳＩ ＶＣは、独立したバッファリングリソースを特徴とする仮想パイプであり、ｃＤＭのようなイニシエータが、相互に非ブロック方式でそのクライアントの代わりにターゲットメモリの読み出し及び書き込みを実施することを可能にする。応答リアセンブリユニットＲＲＵ９５４のメモリは、全てのｃＤＭのインフライト読み出し要求によって返されるデータのためのものである。このメモリは、全てのｃＤＭクライアントが共有する。ＲＲＵは、読み出したデータを再順序付けし、パックし、要求者に返される準備ができているデータを、読み出しチャネルと称される動的仮想ＦＩＦＯにキューイングする。読み出し可能ＶＣを利用するクライアントには、等しい数のＲＲＵ読み出しチャネルが割り当てられ得る。

【0212】

Ｍ２Ｍアダプタ９５６は、ＤＭＡアダプタによって開始されるＭ２Ｍ動作の書き込みの半分を担当する。Ｍ２Ｍアダプタは、所与の数までの書き込み専用ＶＣを所有する。所与の数は、４又は任意の他の好適な数であり得る。

【0213】

ＤＭＡアダプタのｃＤＭ要求は、ｃＤＭがアダプタごと又はメッセージロード／記憶ＶＣ変換テーブルを使用してｃＳＩ ＶＣ ＩＤに変換する仮想チャネル識別ＶＣ ＩＤフィールドを含み得る。読み出し可能ＶＣの場合、変換テーブルは、読み出しチャネルＩＤも提供する。言い換えれば、ｃＤＭクライアントは、グローバルｃＳＩ ＶＣ ＩＤを認識し、チャネルＩＤを読み出す必要がなく、代わりにローカルＶＣ ＩＤ値を使用することができる。

【0214】

要求は、ＳＴ２Ｍブロック移動のためのものであり得る。ＤＭＡアダプタは、ｃＤＭに、ｃＳＩインターフェースを介してアクセス可能な連続メモリ位置にデータのブロックを移動するように要求する。アダプタは、ストリーミングバスインターフェースを介してデータブロックをｃＤＭに配信する。ｃＤＭは、アダプタが要求と同じ順序でストリーミングバスデータブロックを供給することを予想する。

【0215】

ＤＭＡアダプタは、アダプタエラー状態に起因してブロックを切り捨てる（すなわち、要求において指定されたバイトよりも少ないバイトを供給する）場合がある。これを可能にするために、ストリーミングバスは、（ＥＯＰフラグに加えて）切り捨てフラグを組み込み得る。データブロックは、バストランザクション境界に、指定されたオフセットバイトを加えたものに整列され得る。必要に応じて、ｃＤＭは、要求の完了時にアダプタに応答する。要求完了は、この場合、全ての要求ストリーミングデータがｃＳＩに渡されることを意味する。要求を実行している間、ｃＤＭは、ポスト要求ＰＲフロータイプに属する１つ以上のメモリ書き込みカプセルを生成する。ｃＤＭは、インターフェースの規則で構成されている。ｃＤＭは、どのインターフェースにアクセスしているかを知っており、したがって、異なる規則を適用することができる。１つの変数は、最大書き込み要求設定であり得る。カプセルヘッダは、以下の引数のうちの１つ以上を使用して追加される。
ＤＭＡアダプタであるｃＤＭクライアントを識別するクライアント識別ＩＤ、
要求によって使用されるｃＳＩ ＶＣをルックアップするためにクライアントＩＤとともに使用されるＶＩ識別情報、
アドレス情報。

【0216】

書き込むデータのバイト数を示す長さ情報、
応答が要求されているか否かを示す情報。設定されている場合、これは、ｃＤＭに、ブロックがｃＳＩインターフェースに移動されると、応答を生成するように命令する。

【0217】

要求は、Ｍ２ＳＴブロック移動であり得る。アダプタは、ｃＳＩインターフェースを介してアクセス可能な連続メモリ位置からデータのブロックを移動するようにｃＤＭに要求する。アダプタは、ストリーミングインターフェースを介してｃＤＭからデータブロックを収集する。各Ｍ２ＳＴ要求は、要求を発信したアダプタによって所有される１組のチャネルから読み出しチャネルを選択する。ｃＤＭは、同じチャネルデータブロックを、それらが要求されたのと同じ順序でストリーミングインターフェース上に配設する。異なるチャネル要求は、同じアダプタからであっても、順序が狂ったデータを返す。

【0218】

ｃＤＭは、ｃＳＩによって報告されたエラー状態（例えば、ＰＣＩｅ読み出しエラー）に起因して、データブロックを切り捨てる（すなわち、要求において指定されたバイトよりも少ないバイトを供給する）場合がある。例えば、ＰＣＩｅコアから読み出しエラーが発生した場合、ブリッジは、エラーフラグを有するカプセルを受信する。次に、エラーフラグを有するカプセルを生成する。ｃＤＭは、エラーを有するカプセルを見て、それがどの要求に属するかを知り、データを切り捨て、残りの全てを処理する（例えば、この要求に対する追加の応答カプセルを無視する）。

【0219】

データブロックは、トランザクション境界に、指定されたオフセットバイトを加えたものに整列され得る。必要に応じて、ｃＤＭは、要求の完了時にアダプタに応答する。要求完了は、この場合、要求されたストリーミングデータの全てがアダプタに配信されることを意味する。要求を実行している間、ｃＤＭは、１つ以上のメモリ読み出しカプセルを生成する。ｃＤＭは、インターフェースの規則で構成されている。ｃＤＭは、どのインターフェースにアクセスしているかを知っており、したがって、異なる規則を適用することができる。ここでの１つの変数は、最大読み出し要求設定であり得る。ｃＤＭは、（関連付けられたフロータイプに属する）メモリ読み出し完了カプセルを収集し、要求されたデータブロックをアセンブルするためにそれらを使用する。要求カプセルヘッダは、以下で説明する要求引数のうちの１つ以上を使用して追加される。
要求によって使用されるｃＳＩ ＶＣ及びＲＲＵ読み出しチャネルＩＤをルックアップするためにクライアントＩＤとともに使用されるＶＩ識別情報、
緩和された読み出し情報。設定されている場合、これは、ｃＤＭ及びｃＳＩに、このｃＤＭ要求中に生成された読み出し要求カプセルが、ｃＤＭによって生成された任意のインフライト書き込み（同じ要求側を有するものを含む）をバイパスすることを可能にするように命令する。

【0220】

要求は、Ｍ２Ｍブロック移動であり得る。これは、先で説明される要求と同様であり得る。ＤＭＡアダプタは、ｃＤＭに、ｃＳＩインターフェースを介してアクセス可能な１つの連続メモリ位置から、同じくｃＳＩインターフェースを介してアクセス可能な別の連続メモリ位置にデータのブロックを移動するように要求する。この要求は、アダプタをデータブロックの内容に露出することはない。ｃＤＭは、要求の完了時にアダプタに応答し得る。ブロックは、先で説明されるように切り捨てられ得る。この例では、読み出しから書き込みまでのデータループは、ｃＤＭの内部にある。この要求は、ソース仮想チャネルＩＤ及び宛先チャネルＩＤを使用することができる。ソースＶＣ ＩＤ及びクライアントＩＤは、ｃＳＩ ＶＣ及びＲＲＵ読み出しチャネルＩＤをルックアップするために使用される。Ｍ２ＭアダプタのクライアントＩＤを有する宛先ＶＣ ＩＤは、要求の書き込みの半分のためのｃＳＩ ＶＣをルックアップするために使用される。

【0221】

要求は、メッセージロードであり得る。ＤＭＡアダプタは、ｃＤＭに、ｃＳＩインターフェースを介してアクセス可能な連続メモリ位置からデータのブロックを移動するように要求する。Ｍ２ＳＴとは異なり、この要求は、要求されたデータをストリーミングインターフェース上に配設するのではなく、メッセージ応答インターフェースを介して要求されたデータを返し得る。要求は、ｃＳＩ ＶＣをルックアップするために使用されるＶＣ ＩＤ、及び要求によって使用されるＲＲＵ読み出しチャネルＩＤを有し得る。この場合のルックアップテーブルは、全てのｃＤＭクライアントからのメッセージロード要求及びメッセージ記憶要求によって使用されるｃＤＭメッセージロード／記憶ＶＣルックアップテーブルである。

【0222】

要求は、メッセージ記憶であり得る。ｃＤＭアダプタは、ｃＤＭに、ｃＳＩを介してアクセス可能な連続メモリ位置にデータ（この場合、メッセージ）のブロックを移動すること、又はＰＣＩｅターゲットのうちの１つに割り込み要求カプセルを送ることを要求する。ＳＴ２Ｍとは異なり、この要求は、別個のストリーミングインターフェースからデータを収集するのではなく、ｃＤＭ要求インターフェースからのデータを消費する。メッセージ記憶動作は、特定の動作の完了を示す通知及び割り込みを配信するために使用されることが意図されている。通知は、データ位置に依存する（すなわち、関連データの配信に従う）ことができるので、メッセージ記憶動作は、順序付け制御を有する。

【0223】

メッセージ記憶は、頻繁かつ小規模であり得る。メモリ内で隣接する記憶部を単一のトランザクションに結合することが望ましい場合がある。アダプタにおける余分なロジックなしにこれを容易にするために、ｃＤＭは、任意のメッセージ記憶要求に適用することができる書き込み結合機構を実装する。ＶＣ ＩＤは、要求によって使用されるｃＳＩ ＶＣをルックアップするために使用される。

【0224】

応答は、メッセージロード要求に対して、かつ他の要求タイプに対してオンデマンドで、生成され得る。メッセージロード応答は、応答ペイロード構成要素を使用して、メッセージブロックを供給する。応答は、対応する要求が実行されたのと同じ順序で返され得、これは、必ずしも発行順序と同じである必要はない。

【0225】

ＳＴ２Ｍ応答は、この要求に対応する全ての書き込みカプセルがｃＳＩに渡されたときに発行される。

【0226】

Ｍ２Ｍ応答は、この要求に対応する全てのカプセルがｃＳＩから受信され、この要求に対応する全ての書き込みカプセルがｃＳＩに発行されたときに発行される。

【0227】

Ｍ２ＳＴ応答は、この要求に対応する全てのカプセルがｃＳＩから受信され、要求されたブロックがアダプタにストリーミングされたときに発行される。

【0228】

メッセージ記憶応答は、この要求に対応する全ての書き込みカプセルがｃＳＩに渡されたときに発行される。

【0229】

メッセージロード応答制御構成要素は、この要求に対応する全てのカプセルがｃＳＩから受信されたときに発行される。応答制御構成要素は、応答ペイロード構成要素の第１のトランザクションと同時にアダプタに渡される。

【0230】

ＳＴ２Ｍ、Ｍ２Ｍ書き込みの半分、及びメッセージ記憶トラフィックは、ｃＤＭ書き込みエンジン（write engine、ＷＥ）９５２帯域幅を求めて競合する。ｃＤＭは、これらの要求タイプ間のロードバランスをとるために、内部アービタである書き込みアービタ（write arbiter、ＷＡ）９５８を実装する。ＷＡは、メッセージ記憶トラフィック及びデータ書き込みトラフィックがＷＥ帯域幅を適切に共有すること、及びＷＥがラインブロック又はデッドロックの先頭にならないことを確実にする責任を負う。

【0231】

ＷＥ９５２が（アダプタ速度とは無関係に）全速力でメッセージ記憶データを転送することを確実にするために、ＷＡ９５８は、メッセージ記憶ＦＩＦＯの状態を監視し、ＦＩＦＯが少なくとも１つの完全なメッセージを保持しているように見えない場合には、ＦＩＦＯを選択しない。

【0232】

ＷＥが（アダプタ速度とは無関係に）全速力でＳＴ２Ｍデータを転送することを確実にするために、ＷＡ９５８は、ＳＴ２ＭデータＦＩＦＯの状態を監視し、ＦＩＦＯが要求を終了するか、又は少なくとも１つのカプセルを形成するのに十分なデータを保持しているように見えない場合には、スレッドをスケジュールしない。

【0233】

スレッド間を調停している間、ＷＡ９５８は、以下のことを達成することを目的とする。
ＳＴ２Ｍ要求ソースが、ＷＥ帯域幅を等しく共有する。

【0234】

メッセージ記憶要求ソースが、ＷＥ帯域幅を等しく共有する。

【0235】

メッセージ記憶要求とＳＴ２Ｍ要求との調停が、プログラマブル優先度に基づく。

【0236】

書き込みエンジンＷＥ９５２が、ＳＴ２Ｍ処理を提供する。

【0237】

ｃＤＭは、対の一方のＦＩＦＯがＳＴ２Ｍ要求を搬送し、他方のＦＩＦＯがＳＴ２Ｍデータを搬送する、所与の数のＦＩＦＯ対を見る。各対は、アダプタインスタンスによって所有される。アダプタは、（ｃＤＭＡスケジューラ制御の下で）その内部ソース（キュー）のうちのどれが次のＳＴ２Ｍ要求／データをプッシュするかを決定し、要求及びデータが同じ順序でｃＤＭによって見られることを保証する。

【0238】

ＷＥは、所与の数のＦＩＦＯ対からのＳＴ２Ｍ要求を、各々に対して１つのスレッドを使用して並列に処理する。ＷＥは、各カプセル境界においてアービタを調べる。

【0239】

ＳＴ２Ｍ要求の完了に続いて、ＷＥエンジンは、応答ワード（要求によって要求された場合）を応答エンジンに送出する。

【0240】

ジョブ終了フラグでマークされたＳＴ２Ｍ要求の完了に続いて、ＷＥは、スレッドごとのジョブコスト及びリソースクレジット累算器の値を使用して、スケジューラへのジョブ応答メッセージを生成する。

【0241】

書き込みエンジンＷＥ９５２は、メッセージ記憶処理を提供する。

【0242】

ｃＤＭは、メッセージ記憶要求を搬送する所与の数のＦＩＦＯを見る。ＷＥは、所与の数のＦＩＦＯからのメッセージ記憶要求を順次処理する。スレッドは、要求を受け入れると、中断せずにそれを最後まで処理する。エンジンは、要求を完了すると、アービタを調べる。

【0243】

メッセージ記憶要求の完了に続いて、ＷＥは、応答ワード（要求によって要求された場合）を応答エンジンに送出する。

【0244】

書き込みエンジンＷＥ９５２は、メッセージ記憶とＳＴ２Ｍデータとの同期を提供する。メッセージ記憶動作は、一般に、ＳＴ２Ｍデータ配信についてｃＤＭＡアプリケーションに通知するイベントを書き出すために使用される。このようなイベントは、対応するデータを追い越すべきではない。ｃＤＭ及びｃＳＩは、選択されたＳＴ２Ｍ要求データ及び対応するメッセージ記憶要求データの到着を同期させるためのロジックを組み込む。

【0245】

ｃＤＭＡアプリケーションは、バリアを使用することによって、任意の組のＤＭＡ要求間で恣意的な順序を強制することができる。ｃＤＭ及びｃＳＩは、この同期シナリオのための専用ロジックを実装し得る。

【0246】

アダプタは、メッセージ記憶要求引数を使用して、メッセージ記憶とＳＴ２Ｍ要求との同期を求めることができる。ｃＤＭは、同じアダプタからの同期されたメッセージ記憶要求と同期されていないメッセージ記憶要求とを切り離さず、その代わりに、アダプタごとのメッセージ記憶要求ＦＩＦＯにメッセージ記憶要求をバッファリングする。

【0247】

同期されたメッセージ記憶要求がターゲットまでずっとＳＴ２Ｍデータに対するその位置を保持することを確実にするために、メッセージ記憶データは、ＳＴ２Ｍデータと同じｃＳＩ ＶＣを利用する。ＳＴ２Ｍデータ及びメッセージデータは、シンクメモリの同じバッファを共有する。

【0248】

ＷＥは、メッセージ記憶書き込み結合を提供し得る。これは、ＷＥ内で実施される。

【0249】

Ｍ２ＳＴ、Ｍ２Ｍ読み出しの半分、及びメッセージロードトラフィックは、ｃＤＭ読み出しエンジン（read engine、ＲＥ）９５３帯域幅を求めて競合する。ｃＤＭは、これらの要求タイプ間のロードバランスをとるために、内部アービタである読み出しアービタ（read arbiter、ＲＡ）９５９を実装する。

【0250】

ＲＡは、メッセージロード要求及びデータ、並びにデータ読み出し要求がＲＥ帯域幅を適切に共有し、ＲＥがラインブロックの先頭にならないことを確実にする責任を負う。

【0251】

スレッド間を調停している間、ＲＡは、以下のことを達成することを目的とする。
Ｍ２ＳＴ／Ｍ２Ｍ読み出しの半分要求ソースが、ＲＥ帯域幅を均等に共有する。

【0252】

メッセージロード要求ソースが、ＲＥ帯域幅を等しく共有する。

【0253】

メッセージロード要求とＭ２ＳＴ／Ｍ２Ｍ読み出しの半分要求との調停が、プログラマブル優先度に基づく。

【0254】

読み出しエンジン９５３は、Ｍ２ＳＴ処理を実施し得る。ｃＤＭは、Ｍ２ＳＴ要求及びＭ２Ｍ要求を搬送するＦＩＦＯを見る。アダプタは、その内部ソース（キュー）のうちのどれが次のＭ２ＳＴ／Ｍ２Ｍ要求をプッシュするかを決定する。

【0255】

ＲＥは、ＦＩＦＯからのＭ２ＳＴ／Ｍ２Ｍ要求を、各々に対して１つのスレッドを使用して並列に処理する。読み出しエンジンは、各カプセル境界においてアービタを調べる。

【0256】

ジョブ終了フラグでマークされたＭ２ＳＴ／Ｍ２Ｍ要求の完了に続いて、ＲＡは、スレッドごとのジョブコスト及びリソースクレジット累算器の値を使用して、スケジューラへのジョブ応答メッセージを生成する。Ｍ２ＳＴ及びＭ２Ｍは、ジョブコスト及びリソースクレジット計算の目的のために同じように扱われ得る。

【0257】

各Ｍ２Ｍ要求の開始時に、ＲＡは、Ｍ２Ｍ状態ワードを生成し、それをｃＤＭ内部Ｍ２Ｍアダプタに渡す。このワードは、アダプタが、ＲＲＵから受信するＭ２Ｍ読み出しデータを処理し、Ｍ２Ｍ要求の書き込みの半分を完了することを可能にするコンテキストとして機能する。

【0258】

ＲＥは、メッセージロード処理を提供し得る。

【0259】

ｃＤＭは、メッセージロード要求を搬送するいくつかのＦＩＦＯを見る。ＲＥは、ＦＩＦＯからのメッセージロード要求を順次処理する。スレッドは、要求を受け入れると、中断せずにそれを最後まで処理する。読み出しエンジンは、要求を完了すると、アービタを調べる。

【0260】

ｃＳＩソースインターフェースに出力される各非ポスト要求ＮＰＲカプセルについて、ＲＡは、ＲＥによって維持される空きタグプールから空きＮＰＲタグ値を取得し、タグをカプセル擬似ヘッダに配設し、タグ及び他のコンテキストを含む読み出し状態ワードをＲＲＵに送出する。このワードは、ＲＲＵが、ＮＰＲによって要求されたデータを搬送するカプセルを処理することを可能にするコンテキストを搬送する。タグは、ＲＲＵが所与のＮＰＲに対する全ての要求されたデータを収集した後に、ＲＲＵによって空きタグプールに戻される。

【0261】

ＲＥは、ＲＲＵメモリ空間追跡を提供し得る。ＲＲＵメモリは、相対的に限られたリソースである。ＲＲＵメモリの全てがインフライト読み出し要求のために確保されているとき、ＲＥは、現在のスレッドをストールする。ＲＲＵメモリは、バッファの集まりである。バッファは、完了カプセルペイロードを保持する。異なるペイロードは、同じバッファを共有しない場合がある。ＲＥは、（読み出し要求アドレス及びターゲット完了ペイロード長設定に基づいて）どれだけの完了カプセル及びどのようなサイズを要求が生成するかを判定し、ＲＲＵメモリ空きバッファカウントを適切な量だけ低減する。ＲＲＵは、バッファが解放されるたびにＲＥに報告を返し得る。

【0262】

ＲＲＵ９５４は、Ｍ２ＳＴ、Ｍ２Ｍ、及びメッセージロード要求に属する読み出し応答データを処理する。ＲＲＵは、ｃＳＩシンクインターフェースから完了カプセルを受信する。各カプセルは、対応する非ポスト要求のＮＰＲタグを搬送する。

【0263】

ＲＲＵは、タグ値によってインデックス付けされた未処理のＮＰＲの状態を維持する。ＲＲＵはまた、ＮＰＲ発行順序を維持する。ＲＥによって発行される全てのＮＰＲは、ＮＰＲを生成するｃＤＭ要求によって識別される読み出しチャネルと関連付けられる。ＲＲＵは、各読み出しチャネルについて別々にＮＰＲ順序を維持する。カプセルペイロードは、ＲＲＵメモリに記憶される。ＲＲＵは、各読み出しチャネルによって受信されたデータの量を追跡し続け、それをソースクレジットの形態でＲＲＵスケジューラに通信する。ＲＲＵスケジューラはまた、各受信側がどれだけの読み出し応答データを受け入れることができるかを通知する宛先クレジット情報を読み出しデータ受信側から受信する。

【0264】

以下の読み出しデータ受信側のうちの１つ以上が存在し得る。
メッセージロードデータを受信するｃＤＭ応答エンジン、
Ｍ２Ｍ読み出しデータを受信するＭ２Ｍ ｃＤＭ内部アダプタ、及び
１つ以上の外部アダプタ。

【0265】

各受信側は、１つ以上の読み出しチャネルを所有する。

【0266】

スケジューラは、適格な読み出しチャネルから対応する受信側に転送されるデータのブロックをスケジュールする。順序通りのデータのみ（ホールなし）が転送される。読み出しチャネルデータを受信側に転送する間に、ＲＲＵが不完全なＮＰＲ応答を発見した場合、ブロックは、（ＮＰＲ応答データのいずれも転送することなく）転送を終了し、読み出しチャネルがデータを有していないことを（ソースクレジットを使用して）スケジューラに通知する。これは、スケジューラが同じチャネルを再びスケジュールし続けることを防止し、それにより、ＲＲＵ帯域幅を浪費する。ホールが満たされると、ＲＲＵは、チャネル内のデータの存在についてスケジューラに通知する。

【0267】

データは、レート一致ＦＩＦＯを介して受信側に到着する。いくつかの実施形態では、受信側ごとに１つのＦＩＦＯが存在し得る。ＦＩＦＯは、ＲＲＵが最大速度（例えば、８００Ｇｂｐｓ又は任意の他の好適な速度）でデータを出力し、受信側がそれ自体の速度でデータを受信することを可能にする。ＦＩＦＯは、最大速度でデータを受け入れ得るｃＤＭ内部ブロックであるので、応答エンジン及びＭ２Ｍアダプタによって必要とされない場合がある。１つ以上の外部アダプタは、レート一致ＦＩＦＯを必要とする場合がある。ＦＩＦＯサイズは、未処理のジョブの最大数×ジョブ長×ｃＤＭであるアダプタ速度比によって定義され得る。

【0268】

ＲＲＵは、同じｃＤＭ要求に属するデータを、レート一致ＦＩＦＯにプッシュする前にパックし得、その結果、データは、第１のワード内の要求が指定されたオフセットにおいて開始し、最後のバスワードを除く全てのバスワードを完全に満たす。

【0269】

ＲＲＵは、未処理のｃＤＭ要求のコンテキストを維持する。ｃＤＭ要求情報は、ＲＥからの読み出し状態ワードの一部としてＲＲＵに提供される。このコンテキストにより、ＲＲＵは、応答エンジンを必要とする完了した各ｃＤＭ要求に対して、応答エンジンへの応答ワードを生成することを可能にする。

【0270】

Ｍ２Ｍアダプタ９５６は、Ｍ２Ｍ要求の書き込みの半分を実施する。Ｍ２Ｍアダプタは、Ｍ２Ｍ要求コンテキストを搬送するＭ２Ｍ読み出し状態ワードをＲＥから受信する。Ｍ２Ｍアダプタは、このコンテキストを使用して、ＲＲＵから受け入れるＭ２Ｍ要求読み出しデータを順序通りに処理する。Ｍ２Ｍアダプタは、ｃＳＩ書き込み専用ＶＣ及びＲＲＵ読み出しチャネルを利用する。内部では、Ｍ２Ｍアダプタは、循環バッファを実装する。Ｍ２Ｍ ｃＳＩ ＶＣと、ＲＲＵ読み出しチャネルと、内部循環バッファとの間に１対１の対応が存在し得る。バッファは、ＲＲＵ読み出しチャネル（バッファ当たりのチャネル）からデータを受け入れ、宛先クレジットをＲＲＵスケジューラにアドバタイズする。同じバッファが、１つのｃＳＩ ＶＣを各バッファと関連付けるｃＤＭＡイニシエータスケジューラ８３６（図６を参照）のためのデータソースとして機能する。ｃＤＭＡイニシエータスケジューラは、ジョブ要求をＭ２Ｍアダプタに発行し、アダプタは、１つ以上のＳＴ２Ｍ要求／データをｃＤＭ ＷＥに発行することによってジョブ要求を実行し、スケジューラは、Ｍ２Ｍに対するジョブ応答及び他のアダプタのジョブ要求をＷＥから受信する。言い換えれば、内部Ｍ２Ｍアダプタは、外部アダプタと同じ方法で機能し得る。

【0271】

応答エンジン９５５は、アダプタへの応答を生成する。応答エンジンは、書き込みエンジン、Ｍ２Ｍアダプタ、及びＲＲＵから応答内容を受信し、それらへの接続は、明確にするために省略されている。

【0272】

ＳＴ２Ｍ及びメッセージ記憶応答内容は、書き込みエンジンによって供給される。

【0273】

Ｍ２ＳＴ応答内容は、ＲＲＵ９５４によって供給される。

【0274】

Ｍ２Ｍ応答内容は、Ｍ２Ｍアダプタ９５６によって供給される。

【0275】

メッセージロード応答及びメッセージロード応答データは、ＲＲＵ９５４によって供給される。

【0276】

先で説明されるように、複数の異なるＤＭＡアダプタ８３２が設けられ得る。

【0277】

ＤＭＡアダプタは、ＤＭＡシステムのＡＰＩ要素を提供し、バルクデータムーバが、所与のシステムで必要とされるＤＭＡインターフェースの必要な機能で表現されることを可能にする。いくつかのＤＭＡインターフェースの例は、以下の通りである。
ＱＤＭＡ－現在の申請者が提供し、
ＥＦ１００－ネットワークスタック及びアプリケーションとともに使用され、再び現在の申請者が提供し、
Ｖｉｒｔｉｏ－ハイパースケールの顧客が使用する。

【0278】

特定の顧客に適合する他のＤＭＡアダプタも可能である。これらは、ソフトロジックで構成され得る。後者の場合、ｃＤＭ、ｃＳｃｈｅｄ（構成可能なスケジューラ）、及びｃＤＣ（構成可能な記述子キャッシュ）インターフェースは、プログラマブルロジック境界において利用可能にされる必要があり得る。

【0279】

１つ以上のＤＭＡスキーマは、ストリーミングをサポートし得、かつ／又は１つ以上のＤＭＡスキーマは、ストリーミングをサポートしない場合がある。

【0280】

１つ以上のＤＭＡスキーマは、複数のキューをサポートし、かつ／又は１つ以上のＤＭＡスキーマは、複数のキューをサポートしない、すなわち、単一のキューをサポートし得る。

【0281】

ＤＭＡアダプタは、必要に応じてＰＬ又はＮｏＣに直接接続され得る。

【0282】

所与のＤＭＡ方式の特定の要件は、ＤＭＡアダプタによって処理される。

【0283】

ＤＭＡエンジンは、性能を改善するために、記述子管理から利益を得ることができる。これは、スループット及び転送レートに影響を及ぼし得る、ホストメモリから記述子をフェッチする待ち時間を低減するためであり得る。ＤＭＡエンジンは、記述子プリフェッチから利益を得ることができる。いくつかの実施形態では、複数のＤＭＡアダプタが存在し得る。異なるＤＭＡアダプタは、異なるＤＭＡ ＡＰＩを実装して、ホストソフトウェアの様々なニーズをサポートし得る。高いデータスループットを容易にするために、ＤＭＡシステムは、ホスト又は他のオフチップから適切な記述子をフェッチしなければならないのではなく、ローカルメモリから適切な記述子をロードすることができる相対的に高い可能性を有するべきである。

【0284】

図６に示すｃＤＣ（構成可能な記述子キャッシュ）モジュール８３４は、ｃＤＭＡシステム内の全てのＤＭＡアダプタの代わりに、ＤＭＡ記述子を保持する（待ち時間を低減するために）ためにとっておいたメモリの相対的に大きいブロックを管理する。これには、ソフトロジックで実施されるＤＭＡアダプタを含めことができる。これは、そのメモリが最適に分散され、再使用されることを可能にし得る。ｃＤＣは、ユーザレベルのアダプタが利用可能な順序付けられた記憶装置を利用することができるように、ファブリックに露出され得る。したがって、ｃＤＣは、潜在的に２つ以上のＤＭＡアダプタのための記述子を記憶するための共有メモリリソースへの管理されたアクセスを提供するために存在する。

【0285】

スケジューリングは、１つ以上のスケジューラ８３６によって制御され得る。スケジューラは、共有ターゲットへのイニシエータアクセスをスケジューリングするために必要とされる場合がある。

【0286】

ｃＤＣは、ＤＭＡアダプタの各々に接続されている。これは、ソフトＤＭＡアダプタがｃＤＣのリソースを利用することができるように、ファブリックインターフェースを含み得る。ｃＤＣへの主接続は、ブロックの周波数で動作する、組み合わされたコマンド及びデータ要求及び応答バスを介し得る。フローは、Ｒｄｙ／Ｖｌｄ（準備完了／有効）信号で制御され得る。要求バス及び応答バスは、同じ又は異なるサイズであり得る。応答バスは、いくつかの実施形態では、要求バスより広くあり得る。ｃＤＣへのインターフェースは、ｃＤＣ－ＭＤＭＬ（マルチプレクサ／デマルチプレクサロジック）８４４を介して、２つ以上のＤＭＡアダプタ及びＰＬに多重化され得る。多重化は、要求及び応答の一部であるクライアント識別フィールドに基づき得る。

【0287】

ｃＤＣは、２つのメモリ構造である、実際の記述子キャッシュメモリと、アクティブ／オープンリストの状態（読み出し／ポップ／書き込みポインタ）を追跡するためのメモリと、を含み得る。

【0288】

ｃＤＣは、サイクルごとに１つの記述子読み出し及び１つの記述子書き込みを維持し得る。要求／応答方式は、２つ以上のコマンドがサイクルごとに一緒に発行されることを可能にし得る。ｃＤＣは、ほぼｎ回のクロックサイクルごとに１つのリスト取得又は１つのリスト配置動作を実施し得る（ｎは、例えば、６４クロックサイクルごと、又は任意の他の好適な数であり得る）。複数の記述子を含む動作は、クロックごとに１つの記述子を渡し得、したがって、複数のサイクルにわたって要求／応答バスを占有する。

【0289】

ｃＤＣは、アダプタによって使用されるまで、ＤＭＡコマンドのシーケンスを保持する。そのために、ｃＤＣは、ＦＩＦＯ順序で記述子を含む記述子リストを維持する。ｃＤＣの観点から、記述子は、アダプタがＤＭＡコマンド、アドレスなどで満たすために自由に使用することができる一定のサイズ（例えば、１２８ビット／１６バイト又は任意の他の好適なサイズ）のデータのチャンクであり得る。記述子の内容は、ｃＤＣに対して不透明である。いくつかの実施形態では、唯一の要件は、記述子チャンクへのアクセスが、先頭／末尾（読み出し／書き込み）ポインタ調整及び別個の再利用をサポートするための追加の柔軟性を伴って、ＦＩＦＯ順序に従って順序通りであることであり得る。

【0290】

ｃＤＣは、コンパイル時に構成可能な記述子の最大数のアクティブリストを維持し、関連する記述子を記憶する。各アクティブｃＤＣリストは、１つ以上のジョブ（連続するＤＭＡコマンドのサブシーケンス）を含む１つのＤＭＡアダプタキューに対応する。アダプタは、４つの要求動作である、リスト取得、リスト配置、記述子書き込み、及び記述子読み出しによってキャッシュと対話する。

【0291】

リスト取得は、ｃＤＣ内の空きリストを割り振り、これを、提供されたキューＩＤと関連付け、リストのための空間を論理的に確保する。この動作は、割り振られたリストＩＤ＜ＬＩＤ＞及びいくつの記述子が読み込まれる必要があるかを返す。

【0292】

既存のキュー／リスト関連付けでは、リスト取得は、同じキュー上の新しいジョブの開始をキャッシュに示す。

【0293】

リスト配置は、アクティブキュー／リストのジョブの終了を宣言し、もはや使用されないエントリを解放し、潜在的にリスト／キュー全体を閉じる。キューが終了すると、リストは、将来の別のキューとの関連付けのために空きリストのプールに戻される。

【0294】

記述子書き込みは、書き込みポインタの位置においてキューＩＤ及びリストＩＤによって指定されたリストの末尾に１つ以上の新しい記述子エントリを追加し、それに応じて書き込みを調整する。

【0295】

記述子読み出しは、読み出しポインタ位置のキューＩＤ及びリストＩＤで指定されたリストの先頭から１つ以上の記述子を検索し、読み出しポインタを調整し、検索された記述子を応答で返す。任意選択的に、コマンドは、ポップポインタを調整することによって、リストから記述子エントリをポップすることもできる。

【0296】

ｃＤＣは、アイドルリストを追い出したときはいつでも、応答チャネル上で追い出し応答メッセージを送る。メッセージは、追い出されたキューＩＤ及びリストＩＤ、並びに任意選択的に追加の追い出し状態を含む。

【0297】

これら４つの動作は、１サイクルでマージすることができ、高スループットの場合には、記述子読み出し及び記述子書き込みの両方が１サイクルで発生する場合がある。

【0298】

各要求及び応答は、ｃＤＣを使用してアダプタを一意に識別するクライアントＩＤ（ＣＬＩＥＮＴ＿ＩＤ）と、キャッシュされたリストをともに指定するキューＩＤ（queue ID、ＱＩＤ）及びリストＩＤ（list ID、ＬＩＤ）とを含み得る。キャッシュがリスト／キューを追い出し、同じリスト（ＬＩＤ）をアダプタによって要求される異なるキューと再関連付けることを決定することができるので、両方がいくつかの実施形態において使用され得る。いくつかの実施形態では、キューＩＤは、アダプタにわたって再使用することができ、したがって、（ＣＬＩＥＮＴ＿ＩＤ、ＱＩＤ）対は、キューを一意に識別するために必要とされる。

【0299】

ＤＭＡアダプタとｃＤＣとの間の例示的なフローは、以下の通りであり得る。

【0300】

アダプタは、スケジューラからジョブ要求を受信する。このキューは使用されておらず、キュー状態は、有効なｃＤＣ ＬＩＤを含んでいない。

【0301】

アダプタは、ＬＩＤが－１に設定されたリスト取得要求を発行し、ジョブを完了するために必要であると推定する記述子の数を求める。例えば、ＤＭＡアダプタは、３２個の記述子を求める。

【0302】

アダプタがキャッシュから応答を受信する前により多くのジョブ要求を受信した場合、アダプタは、ＬＩＤが－１に設定されたより多くのリスト取得要求を発行する。

【0303】

第１のリスト取得コマンドに対する応答が受信される。

【0304】

これは、アダプタがキャッシュに追加すべき記述子の数とともにＬＩＤを供給する。これは、リストの最初の取得リストであるので（記述子が存在しないか、又は要求されない）、記述子の「必要とされる」数は、記述子の「所望の」数と同じになる。

【0305】

同じキューへの追加のリスト取得コマンドに対する応答は全て、最初のリスト取得応答において戻されたものと同じＬＩＤを有することになる。

【0306】

第１のリスト取得応答に続いて、アダプタは、ＬＩＤを要求キューと関連付ける、すなわち、ＬＩＤをそのキュー状態テーブルに記憶する。

【0307】

各リスト取得応答に続いて、アダプタは、「必要とされる」数の記述子をフェッチする、すなわち、ｃＤＭにメッセージロード要求を発行して、適切な位置から記述子をフェッチする。この位置は、ホスト、ＤＲＡＭ（ダイナミックランダムアクセスメモリ）、プログラマブルロジックメモリ、又は任意の他の好適な位置など、任意の好適な位置であり得る。

【0308】

アダプタは、ｃＤＭから記述子を受信し、記述子書き込みコマンドを使用してそれらをｃＤＣに渡す。

【0309】

アダプタは、ジョブ要求を受信し、実行する。

【0310】

このとき、キューは有効なＬＩＤを有することが予想される。この特性は、アダプタがこのジョブ要求に対して適切に優先順位付けされた将来のジョブ要求を有することによって保証される。有効なＬＩＤが存在しない場合、アダプタは、ジョブを（０長ジョブとして）実行せずに終了する。

【0311】

有効なＬＩＤが存在する場合、アダプタは、ジョブを実行し、一連の記述子読み出し要求を発行する。

【0312】

記述子読み出し動作は、パイプライン化され、これは、アダプタがジョブ実行中に複数の記述子読み出しをインフライトで有することが予想されることを意味する。

【0313】

アダプタの性質に応じて、アダプタは、各要求において１つ以上の記述子を要求し得る。読み出し要求はまた、ポップポインタに、既に消費された記述子の数に一致するように増分するように命令する。これは、キャッシュメモリを解放するために適時に行われる。

【0314】

アダプタは、応答不完全及び不十分な記述子エラーを監視し、それに応じて反応し得る。

【0315】

アダプタは、ジョブを完了する。

【0316】

アダプタは、ジョブを完了すると、リスト配置要求を発行する。

【0317】

高性能パイプライン化アダプタは、Ｎ個の記述子（Ｎは、パイプ深さである）によってジョブの終了をオーバーシュートする場合がある、すなわち、ジョブ終了状態に達したときに、依然としてＮ個の記述子読み出し要求をインフライトで有することになる。リスト配置要求は、どれだけの記述子をキャッシュが忘れることができるか、かつどれだけの記述子が再フェッチされなければならないかをキャッシュに知らせる。

【0318】

ＤＭＡアダプタは、記述子の数におけるジョブサイズが事前に知られていないことが多いので、それらのリスト取得割り振りをオーバーシュートすることがあり、その結果、アダプタは、大部分の典型的な状態を捕捉するデフォルトを求めることがある。多くの場合、より少ない記述子が必要とされる。

【0319】

アダプタが前もって必要とされる記述子の正確な数を知っている場合、アダプタは、より多くの記述子フェッチをインフライトで有するために、（より多くのキャッシュ空間を使用し、したがって他のキューを追い出すという代償を払って）それを過大評価する可能性がある。

【0320】

リスト配置動作は、次のジョブがたまたま同じリストに対するものである場合、リスト取得及び／又は記述子読み出しと組み合わせることができる。

【0321】

この一連の動作がその過程を完了まで実行した後、ｃＤＣによって維持される２つのリストごとの参照カウンタ（１つのカウントがリストに対して未処理であり、他のカウントがリストに対して未処理の記述子である）は、両方とも０になる。その後、リスト／キューは、追い出しの対象となる。

【0322】

処理中に、アダプタは、使用された＜ＱＩＤ＞及び＜ＬＩＤ＞並びに追加の追い出し記述子位置情報を有する追い出し応答メッセージを受信し得る。この発生により、アダプタは、リストを再安定化し、失われたエントリを再フェッチする。

【0323】

ＤＭＡアダプタは、ＤＭＡ記述子をフェッチし、それらをｃＤＣリストに書き込み、後でそれらを再び読み出して、要求されたＤＭＡ動作を実施する。ｃＤＣは、ＤＭＡアダプタがメモリアクセス待ち時間をカバーするのに十分な要求をインフライトで有することができるように、ＤＭＡアダプタに記憶装置を提供し得る。ｃＤＣの記述子メモリは、有限であり（コンパイル時にも指定される）、使い尽くされると、アイドルリスト及びそれらの記憶された記述子が追い出される。追い出しは、現在ジョブを処理していないリストに対してのみ行われる。追い出されたリストは、その後、他のＤＭＡキューと関連付けられるために利用可能である。解放された記述子メモリエントリは、新しいエントリを保持するために利用可能である。追い出しは、追い出しメッセージを通じて要求側ＤＭＡアダプタに伝搬され、アダプタは、新しいリストを割り振り、追い出した記述子を再フェッチし、書き込む必要がある。キューとリストとの間の動的な関連付けは、ｃＤＣの追跡構造を、利用可能なキューＩＤの総数（及び潜在的に多数）とは無関係に保つ。追い出しタイミングは、追い出しがキュー寿命の明確に定義された時点の間（アクティブなジョブがないとき）にのみ発生し得るので、ＤＭＡアダプタ設計を簡略化し得る。

【0324】

ｃＤＣは、どんなアダプタの関与もなしに、その内部記述子及びリストリソースを管理する。

【0325】

キャッシュは、利用可能なリストをキューに自動的に割り当て、必要な量の記述子メモリ空間を確保する。

【0326】

キャッシュは、即時使用されていないと考えられるキューを自動的に追い出す。アダプタにおける複雑な競合状態を回避するために、キャッシュは、キューが追い出しに適格であるために以下の条件が満たされることを維持する。

【0327】

キューと関連付けられたリストは、保留中のリスト配置動作を有しない、すなわち、リストの参照カウンタ（各リスト取得に対して増分され、各配置リストに対して減分される）は、０である。これは、リストがアイドル状態であることを意味する。

【0328】

書き込みは、リスト配置によってまだ閉じられていないリスト取得の後でのみ保留にすることができるので、キューと関連付けられたリストは、保留記述子を持たない。言い換えれば、各リスト取得応答に対して指定された数の記述子だけ増分され、各書き込み記述子に対して指定された数の記述子だけ減分されるリストの参照カウンタは、０である。

【0329】

全体として、この条件は、１つ（以上）のジョブが実行されている間にキューが追い出されないことを意味する。インフライトジョブが完了した（遭遇した全てのリスト取得動作が、同じ数のリスト配置動作を受信することによって閉じられた）後にのみ、キューが追い出される。しかしながら、これは、キュー自体が完全に実行され、閉じられる前であり得る。

【0330】

キューが追い出されると、以下のことが起こり得る。

【0331】

キューと関連付けられたリストは、空きリストプールに解放され、新しいリスト取得動作による使用のために利用可能になる。

【0332】

リストによって参照されるキュー記述子を保持する記述子メモリ位置は、空き記述子メモリプールに解放され、新しいリスト取得動作による使用のために利用可能になる。

【0333】

ｃＤＣは、追い出し応答メッセージをキューの元のユーザに送る。

【0334】

多重化及び逆多重化ロジック（ｃＤＣ－ＭＤＭＬ）８４４の層は、必要なｃＤＣを多アダプタ接続に提供する。ＭＤＭＬは、ｃＤＣブロックの外側にあり、これは、ｃＤＣアダプタインターフェース及び挙動が、アダプタの数及び性質にかかわらず不変であることを意味する。アダプタＡＰＩへのｃＤＣは、要求－応答モデルを使用する。

【0335】

ｃＤＣは、全ての要求をそれらが供給される順序で実行する１つの論理スレッドから構成される。

【0336】

スケジューラは、複数のストリームが共有バッファリソースにアクセスするか、又はバッファリソースがバックプレッシャの影響を受ける任意の状況においてトラフィックを管理する必要がある。スケジューラは、様々なスケジューリングエンティティタイプから構成され得、スケジューリング動作を完了するのにかなりの時間（時には数十クロックサイクル）を要し得る。これに適応するために、データ移動は、ジョブが２ｋＢであり得るジョブ単位でスケジュールされ得る。これは、一例であり、他の実施形態では、他のジョブサイズが使用され得る。ジョブ応答メッセージは、それらのオーバーロードを回避するために、スケジューラに戻される前に調整（すなわち、集約）され得る。

【0337】

ホストアクセスハンドラＨＡＨ８２８は、ＤＭＡアダプタへのドアベルのフローを制御し、ドアベルへのアクセスを調整し得る。

【0338】

ＨＡＨは、非ＤＭＡ及びＤＭＡ固有の両方のホストからの全てのターゲットアクセスを処理し得る。

【0339】

いくつかの実施形態の方法を示す図１２を参照する。

【0340】

１２００で参照されるように、本方法は、ネットワークインターフェースデバイスのデータソースから、ネットワークインターフェースデバイスのメモリにおいて、バスセグメントの幅に対応する幅を有する第１の書き込み出力を受信することを含み、書き込み出力が、第１のデータを含む。

【0341】

この書き込み出力は、例えば、図８に関連して先で説明される書き込みパイプ８６２の出力によって提供され得る。

【0342】

１２０２で参照されるように、本方法は、メモリの第１のメモリセルに第１のデータを書き込むことを含み、第１のメモリセルが、バスセグメントの幅に一致する幅を有する。

【0343】

メモリは、先で説明されるようなシンクメモリであり得る。メモリは、ＲＡＭセルなどの物理セグメント幅メモリセルを含み得る。

【0344】

ｃＳＩ８２２は、インターコネクトの一例であり、他の実施形態では、バスセグメントの幅に一致する幅を有するメモリセルを有するメモリを有する任意の他の好適なインターコネクト構成を使用し得ることを理解されたい。

【0345】

本発明の構成のいくつかの非限定的な例が、以下に提供される実施例の非網羅的なリストにおいて説明される。

【0346】

実施例１．ネットワークインターフェースデバイスであって、このネットワークインターフェースデバイスが、データソースと、データシンクと、データソースからデータを受信することと、データシンクにデータを出力することと、を行うように構成されたインターコネクトと、を備える。インターコネクトが、メモリセルを有するメモリであって、各メモリセルが、バスセグメントの幅に一致する幅を有し、メモリが、バスセグメントの幅に対応する幅を有する第１の書き込み出力を受信するように構成されており、第１の書き込み出力が、メモリの第１のメモリセルに書き込まれる第１のデータを含み、第１のデータが、データソースからのものである、メモリを含む。

【0347】

実施例２．データソース及びデータシンクをインターコネクトに接続する１つ以上のセグメント化されたバスを備え、セグメント化されたバスが、バスセグメントの幅を有するバスセグメントを含む、実施例１に記載のネットワークインターフェースデバイス。

【0348】

実施例３．メモリが、データシンクからの読み出し要求に応答して、第１のデータを出力するように構成されており、出力が、バスセグメントの幅を有する、実施例１に記載のネットワークインターフェースデバイス。

【0349】

実施例４．インターコネクトが、複数の要求を受信するように構成されたメモリマルチプレクサを含み、複数の要求が、複数のデータシンクからの複数の読み出し要求と、複数のデータシンクからの複数の書き込み要求と、を含み、メモリマルチプレクサが、要求のうちのどの１つ以上を進めるか、かつどの１つ以上の要求をバックプレッシャするかを判定するように構成されている、実施例１に記載のネットワークインターフェースデバイス。

【0350】

実施例５．メモリマルチプレクサは、２つの要求がメモリの同じメモリセルに対するものであると判定することと、どの要求がより大きい一連の要求の一部であるかに基づいて、２つの要求のうちのどちらを進めるかを判定することと、を行うように構成されている、実施例４に記載のネットワークインターフェースデバイス。

【0351】

実施例６．インターコネクトが、構成可能なインターフェースを含み、構成可能なインターフェースが、１つ以上のインターフェースを提供するように構成可能であり、各個々のインターフェースのサイズが、バスセグメントの幅の整数倍に等しいサイズを有し、整数倍が、１以上である、実施例１に記載のネットワークインターフェースデバイス。

【0352】

実施例７．構成可能なインターフェースの個々のインターフェースのうちの異なるものが、異なるデータシンクのためのデータを受信するように構成されている、実施例６に記載のネットワークインターフェースデバイス。

【0353】

実施例８．構成可能なインターフェースの全幅が、バスの全てのバスセグメントの全幅に等しい、実施例６に記載のネットワークインターフェースデバイス。

【0354】

実施例９．インターコネクトが、インターフェースを含み、インターフェースが、バスの全てのバスセグメントの幅に等しい幅を有し、インターフェースが、複数の異なるデータソースから同時にデータを受信するように構成されている、実施例１に記載のネットワークインターフェースデバイス。

【0355】

実施例１０．データソースから第１のデータに対する第１の書き込み要求を受信することと、第１のメモリセルのアドレスを第１の書き込み要求の第１のデータと関連付けることと、第１の書き込み出力を提供することと、を行うように構成された書き込みパイプを備える、実施例１に記載のネットワークインターフェースデバイス。

【0356】

実施例１１．書き込みパイプは、第１の書き込み出力が書き込みパイプによって出力される前に、第１の書き込み出力を記憶するためのバッファを含む、実施例１０に記載のネットワークインターフェースデバイス。

【0357】

実施例１２．データシンクから読み出し要求を受信することと、データが読み出されるメモリのメモリセルのアドレスを読み出し要求と関連付けることと、を行うように構成された読み出し要求パイプを備える、実施例１に記載のネットワークインターフェースデバイス。

【0358】

実施例１３．データソースが、カプセルを出力するように構成され、データシンクが、カプセルを受信するように構成されており、カプセルが、データ及びルーティング情報を含む、実施例１に記載のネットワークインターフェースデバイス。

【0359】

実施例１４．各メモリセルが、バスセグメントの幅であるポート幅を有するランダムアクセスメモリを含む、実施例１に記載のネットワークインターフェース。

【0360】

実施例１５．ネットワークインターフェースデバイスにおける方法であって、本方法が、ネットワークインターフェースデバイスのデータソースから、ネットワークインターフェースデバイスのメモリにおいて、バスセグメントの幅に対応する幅を有する第１の書き込み出力を受信することであって、書き込み出力が、第１のデータを含む、受信することと、メモリの第１のメモリセルに第１のデータを書き込むことであって、第１のメモリセルが、バスセグメントの幅に一致する幅を有する、書き込むことと、を含む、方法。

【0361】

実施例１６．本方法が、インターコネクトのメモリマルチプレクサによって、複数の要求を受信することであって、複数の要求が、複数のデータシンクからの複数の読み出し要求と、複数のデータシンクからの複数の書き込み要求と、を含む、受信することと、メモリマルチプレクサによって、要求のうちのどの１つ以上を進めるか、かつどの１つ以上の要求をバックプレッシャするかを判定することと、を含む、実施例１５に記載の方法。

【0362】

実施例１７．本方法が、１つ以上のインターフェースを提供するようにインターコネクトの構成可能なインターフェースを構成することを含み、各個々のインターフェースのサイズが、バスセグメントの幅の整数倍に等しいサイズを有し、整数倍は、１以上である、実施例１５に記載の方法。

【0363】

実施例１８．本方法が、第１の書き込みパイプによって、データソースから第１のデータに対する第１の書き込み要求を受信することと、第１の書き込みパイプによって、第１のメモリセルのアドレスを第１の書き込み要求の第１のデータと関連付けることと、第１の書き込みパイプによって、第１の書き込み出力を提供することと、を含む、実施例１５に記載の方法。

【0364】

実施例１９．本方法が、読み出し要求パイプによって、データシンクから読み出し要求を受信することと、
読み出し要求パイプによって、データが読み出されるメモリのメモリセルのアドレスを読み出し要求と関連付けることと、を含む、実施例１５に記載の方法。

【0365】

実施例２０．本方法が、データソースによってカプセルを出力することと、データシンクによってカプセルを受信することと、を含み、カプセルが、データ及びルーティング情報を含む、実施例１５に記載の方法。

【0366】

本明細書で提供される本発明の構成の説明は、例解を目的とするものであり、網羅的であること、又は開示される形態及び例に限定されることを意図するものではない。本明細書で使用される用語は、本発明の構成の原理、実際の適用、又は市場で見られる技術に対する技術的改善を説明するために、及び／又は他の当業者が本明細書で開示される本発明の構成を理解することを可能にするために選択された。説明した本発明の構成の範囲及び精神から逸脱することなく、修正及び変形が当業者には明らかであり得る。したがって、このような特徴及び実装形態の範囲を示すものとして、前述の開示ではなく、以下の特許請求の範囲が参照されるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7a】

【図7b】

【図7c】

【図8】

【図9】

【図10】

【図11】

【図12】

【国際調査報告】