ホーム > 特許ランキング > インテル・コーポレーション
知財求人 - 知財ポータルサイト「IP Force」
特表2023-530064スイッチ管理したリソース割り当ておよびソフトウェア実行
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-07-13
(54)【発明の名称】スイッチ管理したリソース割り当ておよびソフトウェア実行
(51)【国際特許分類】
H04L 45/586 20220101AFI20230706BHJP
H04L 45/645 20220101ALI20230706BHJP
H04L 45/76 20220101ALI20230706BHJP
【ＦＩ】
H04L45/586
H04L45/645
H04L45/76
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022568889
(86)(22)【出願日】2020-12-11
(85)【翻訳文提出日】2022-12-22
(86)【国際出願番号】 US2020064670
(87)【国際公開番号】W WO2021257111
(87)【国際公開日】2021-12-23
(31)【優先権主張番号】16/905,761
(32)【優先日】2020-06-18
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】591003943
【氏名又は名称】インテル・コーポレーション
(74)【代理人】
【識別番号】110000877
【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所
(72)【発明者】
【氏名】コナー、パトリック
(72)【発明者】
【氏名】ハーン、ジェイムズ アール．
(72)【発明者】
【氏名】リートケ、ケビン
(72)【発明者】
【氏名】デューバル、スコット ピー．
【テーマコード（参考）】
5K030
【Ｆターム（参考）】
5K030GA03
5K030HA08
5K030HC13
5K030HD07
5K030KA01
5K030KA03
5K030KX11
5K030LB05
5K030LE03
5K030LE10
(57)【要約】
本明細書に記載される例は、２つ以上の物理サーバのラックのためのスイッチデバイスに関し、スイッチデバイスは、２つ以上の物理サーバに結合され、スイッチデバイスは、受信したパケットのパケットプロトコル処理終端を実行し、受信したパケットのヘッダを含まない受信したパケットからのペイロードデータをラック内の宛先物理サーバの宛先バッファに提供する。いくつかの例において、スイッチデバイスは少なくとも１つの中央処理ユニットを備え、少なくとも１つの中央処理ユニットは、受信したパケットに対してパケット処理動作を実行する。いくつかの例において、物理サーバが少なくとも１つの仮想化実行環境（ＶＥＥ）を実行し、少なくとも１つの中央処理ユニットが、ＶＥＥを実行する物理サーバによってアクセスされるデータを含むパケットのパケット処理のためにＶＥＥを実行する。
【特許請求の範囲】
【請求項1】
２つ以上の物理サーバのラックのためのスイッチデバイスにより、受信したパケットのパケットプロトコル処理終端を実行して、受信したパケットのヘッダを含まない前記受信したパケットからのペイロードデータを前記ラックにおける宛先物理サーバの宛先バッファに提供する段階であって、前記スイッチデバイスは、前記２つ以上の物理サーバに結合される、段階を備える、方法。
【請求項2】
前記スイッチデバイスが少なくとも１つの中央処理ユニットを備え、前記少なくとも１つの中央処理ユニットが、前記受信されたパケットに対してパケット処理動作を実行する、請求項１に記載の方法。
【請求項3】
物理サーバが、少なくとも１つの仮想化実行環境（ＶＥＥ）を実行し、前記少なくとも１つの中央処理ユニットが、前記少なくとも１つのＶＥＥを実行する前記物理サーバによってアクセスされるデータを含むパケットのパケット処理ためのＶＥＥを実行する、
請求項２に記載の方法。
【請求項4】
前記スイッチデバイスが、対応する宛先デバイスに対するメモリアドレスのマッピングを格納し、前記ラックにおける物理サーバからのメモリトランザクションの受信に基づいて、前記スイッチデバイスが前記メモリトランザクションを実行する、
請求項１から３のいずれか一項に記載の方法。
【請求項5】
前記スイッチデバイスが前記メモリトランザクションを実行することが、読み取り要求の場合、前記スイッチデバイスが、前記マッピングに基づいて前記ラックに接続された物理サーバまたは異なるラックの別のデバイスからデータを取得し、前記データを前記スイッチデバイスによって管理されるメモリに格納することを含む、
請求項４に記載の方法。
【請求項6】
前記スイッチデバイスが、対応する宛先デバイスに対するメモリアドレスのマッピングを格納し、前記ラックにおける物理サーバからのメモリトランザクションの受信に基づき、
前記マッピングに従って別のラックにおける宛先サーバに関連付けられているメモリトランザクションに関連付けられたメモリアドレスに基づいて、前記メモリトランザクションを前記宛先サーバに伝送し、
前記メモリトランザクションに対する応答を受信し、
前記ラックのメモリに前記応答を格納する、
請求項１から５のいずれか一項に記載の方法。
【請求項7】
前記スイッチデバイスが少なくとも１つの中央処理ユニットを備え、前記少なくとも１つの中央処理ユニットが、前記ラックに関連付けられた１つまたは複数の物理サーバの制御プレーンを実行し、前記制御プレーンが、前記１つまたは複数の物理サーバからテレメトリデータを収集し、前記テレメトリデータに基づいて、前記ラックの物理サーバに対する仮想化実行環境（ＶＥＥ）の実行の割り当て、前記ラックの物理サーバから前記スイッチデバイスの少なくとも１つの中央処理ユニット上での実行へのＶＥＥの移行、前記ラックの物理サーバから前記ラックの別の物理サーバ上での実行へのＶＥＥの移行、または、前記ラックの物理サーバ上で実行するＶＥＥによるアクセスのための前記ラックの物理サーバのメモリの割り当てのうちの１つまたは複数を実行する、
請求項１から６のいずれか一項に記載の方法。
【請求項8】
前記スイッチデバイスが少なくとも１つの中央処理ユニットを含み、前記少なくとも１つの中央処理ユニットは、前記ラックの一部である１つまたは複数の物理サーバのための制御プレーンを実行し、前記制御プレーンが、前記ラックの１つまたは複数の物理サーバ間で仮想化実行環境（ＶＥＥ）の実行を分散させ、ＶＥＥを選択的に終端させるかまたはＶＥＥを前記ラックの別の物理サーバ上もしくは前記スイッチデバイス上での実行に移行させる
請求項１から７のいずれか一項に記載の方法。
【請求項9】
少なくとも１つのプロセッサを含むスイッチであって、前記少なくとも１つのプロセッサは、受信したパケットのパケット終端処理を実行し、関連付けられた受信したパケットのヘッダを含まない、前記受信したパケットからのペイロードデータを、接続を通じて、宛先物理サーバの宛先バッファにコピーする、スイッチを備える装置。
【請求項10】
前記少なくとも１つのプロセッサが仮想化実行環境（ＶＥＥ）を実行し、前記ＶＥＥが前記パケット終端処理を実行する、請求項９に記載の装置。
【請求項11】
前記接続を通じた物理サーバからのメモリトランザクションの受信に基づいて、前記少なくとも１つのプロセッサが、対応する宛先デバイスへのメモリアドレスのマッピングに基づく前記メモリトランザクションを実行する請求項９または１０に記載の装置。
【請求項12】
前記メモリトランザクションを実行するために、前記少なくとも１つのプロセッサが、読み取り要求の場合、前記接続を通じて前記少なくとも１つのプロセッサまたは異なるラックの別のデバイスに接続された物理サーバからデータを取得し、前記少なくとも１つのプロセッサによって管理されるメモリに前記データを格納する
請求項１１に記載の装置。
【請求項13】
前記スイッチに関連付けられたラック内の物理サーバからのメモリトランザクションの受信に基づき、対応する宛先デバイスへのメモリアドレスの前記マッピングに従った、別のラックにおける宛先サーバに関連付けられている前記メモリトランザクションに関連付けられたメモリアドレスに基づいて、前記少なくとも１つのプロセッサが前記宛先サーバへの前記メモリトランザクションの伝送を実行し、
前記少なくとも１つのプロセッサが、前記メモリトランザクションに対する応答にアクセスし、かつ、
前記少なくとも１つのプロセッサが、前記ラックのメモリに前記応答を格納させる
請求項１２に記載の装置。
【請求項14】
前記少なくとも１つのプロセッサが、前記スイッチに関連付けられたラックの一部である１つまたは複数の物理サーバの制御プレーンを実行し、前記制御プレーンが、前記１つまたは複数の物理サーバからテレメトリデータを収集し、前記テレメトリデータに基づいて、前記ラックの物理サーバへの仮想化実行環境（ＶＥＥ）の実行の割り当て、前記ラックの物理サーバから前記スイッチの前記少なくとも１つの中央処理ユニット上での実行へのＶＥＥの移行、前記ラックの物理サーバから前記ラックの別の物理サーバ上での実行へのＶＥＥの移行、または、前記ラックの物理サーバ上で実行しているＶＥＥによるアクセスのための前記ラックのサーバのメモリの割り当てのうちの１つまたは複数を実行する
請求項９から１３のいずれか一項に記載の装置。
【請求項15】
前記少なくとも１つのプロセッサが、前記スイッチに関連付けられたラックの一部である１つまたは複数の物理サーバのための制御プレーンを実行し、前記制御プレーンが、前記ラックの１つまたは複数の物理サーバ間で仮想化実行環境（ＶＥＥ）の実行を分散させ、ＶＥＥを選択的に終端させるかまたは前記ラックの別の物理サーバ上または前記スイッチの一部である少なくとも１つのプロセッサ上での実行へとＶＥＥを移行させる
請求項９から１４のいずれか一項に記載の装置。
【請求項16】
前記接続が、ペリフェラルコンポーネントインターコネクトエクスプレス（ＰＣＩｅ）、コンピュートエクスプレスリンク（ＣＸＬ）、または任意のタイプのダブルデータレート（ＤＤＲ）のうちの１つまたは複数と互換性がある、請求項９から１５のいずれか一項に記載の装置。
【請求項17】
スイッチに、前記スイッチにおいて制御プレーンを実行して、１つまたは複数の物理サーバからテレメトリデータを収集させ、前記テレメトリデータに基づいて、前記スイッチを含むラックの物理サーバへの仮想化実行環境（ＶＥＥ）の実行の割り当て、前記ラックの物理サーバから前記スイッチの少なくとも１つの中央処理ユニット上での実行へのＶＥＥの移行、前記ラックの物理サーバから前記ラックの別の物理サーバ上での実行へのＶＥＥの移行、または、前記ラックの物理サーバ上で実行しているＶＥＥによるアクセスのための前記ラックのサーバのメモリの割り当てのうちの１つまたは複数を実行させる
コンピュータプログラム。
【請求項18】
前記スイッチに、対応する宛先デバイスへのメモリアドレスのマッピングを格納する手順と、
接続を通じた物理サーバからのメモリトランザクションの受信に基づき、かつ、対応する宛先デバイスへのメモリアドレスのマッピングに基づいて、前記接続を通じて前記スイッチに接続された物理サーバまたは異なるラックの別のデバイスからデータを取得し、前記スイッチによって管理されるメモリに前記データを格納する手順と
を実行させる請求項１７に記載のコンピュータプログラム。
【請求項19】
前記スイッチに、対応する宛先デバイスへのメモリアドレスのマッピングを格納する手順と、
前記スイッチに関連付けられたラックにおけるサーバからのメモリトランザクションの受信に基づき、
前記マッピングに従った別のラックにおける宛先サーバに関連付けられている前記メモリトランザクションに関連付けられたメモリアドレスに基づいて、前記宛先サーバへの前記メモリトランザクションの伝送を実行する手順と、
前記メモリトランザクションに対する応答を受信する手順と、
前記ラックのメモリに前記応答を格納する手順と
を実行させる請求項１７または１８に記載のコンピュータプログラム。
【請求項20】
前記スイッチと前記ラックの１つまたは複数の物理サーバとの間の接続が、ペリフェラルコンポーネントインターコネクトエクスプレス（ＰＣＩｅ）、コンピュートエクスプレスリンク（ＣＸＬ）、または任意のタイプのダブルデータレート（ＤＤＲ）のうちの１つまたは複数と互換性がある請求項１７から１９のいずれか一項に記載のコンピュータプログラム。
【請求項21】
請求項１７から２０のいずれか一項に記載のコンピュータプログラムを格納しているコンピュータ可読記憶媒体。
【請求項22】
ネットワークデバイスであって、受信したパケットのネットワークプロトコル終端を実行する回路と、
少なくとも１つのイーサネットポートと、
ラック内の異なる物理サーバに接続される複数の接続とを備え、受信したパケットのネットワークプロトコル終端を実行する前記回路が、関連付けられたヘッダを含まない受信したパケットのペイロードを物理サーバに提供する
ネットワークデバイス。
【請求項23】
前記回路が、対応する宛先デバイスへのメモリアドレスのマッピングを格納し、前記ラック内の物理サーバからのメモリトランザクションの受信に基づいて、前記回路が前記メモリトランザクションを実行する請求項２２に記載のネットワークデバイス。
【発明の詳細な説明】
【技術分野】
【0001】
［優先権の主張］
本願は、米国特許法３６５条(ｃ)の下で、２０２０年６月１８日に出願された、「ＳＷＩＴＣＨ－ＭＡＮＡＧＥＤ ＲＥＳＯＵＲＣＥ ＡＬＬＯＣＡＴＩＯＮ ＡＮＤ ＳＯＦＴＷＡＲＥ ＥＸＥＣＵＴＩＯＮ」と題された米国出願第１６／９０５，７６１の優先権を主張し、これはその全体が本明細書に組み込まれている。
本願は、米国特許法３６５条(ｃ)の下で、２０２０年６月１８日に出願された、「ＳＷＩＴＣＨ－ＭＡＮＡＧＥＤ ＲＥＳＯＵＲＣＥ ＡＬＬＯＣＡＴＩＯＮ ＡＮＤ ＳＯＦＴＷＡＲＥ ＥＸＥＣＵＴＩＯＮ」と題された米国出願第１６／９０５，７６１の優先権を主張し、これはその全体が本明細書に組み込まれている。
【背景技術】
【0002】
クラウドコンピューティングのコンテキストでは、クラウドサービスプロバイダ（ＣＳＰ）は、サービスとしてのインフラストラクチャ（ＩａａＳ）、サービスとしてのソフトウェア（ＳａａＳ）、またはサービスとしてのプラットフォーム（ＰａａＳ）などの使用のための様々なサービスを他の企業または個人に提供する。コンピュート、メモリ、ストレージ、アクセラレータ、ネットワークなどを含むハードウェアインフラストラクチャは、ＣＳＰおよびその顧客によって提供されるソフトウェアスタックを実行およびサポートする。
【0003】
ＣＳＰは、パケットが解析され、カプセル化解除され、復号され、適切な仮想マシン（ＶＭ）に送信される、複雑なネットワーキング環境の経験を有し得る。いくつかの場合では、サービスレベル合意（ＳＬＡ）要件を実現するためにパケットフローが均衡され、計量される。いくつかの場合では、データセンタ内のサーバにおいてネットワーク処理が行われる。しかしながら、パケット量の増大ならびにパケット処理アクティビティの量および複雑性の増大により、サーバへの負荷が高まっている。パケット処理のために中央処理ユニット（ＣＰＵ）または他のサーバプロセッサリソースが使用されるが、ＣＰＵおよび他のプロセッサリソースは、支払い請求できるかまたはパケット処理よりも高い収益を生み出す他のサービスに使用することができる。この問題の影響は、１００Ｇｂｐｓおよびより高速のネットワークなどの高いビットレートのネットワークデバイスを使用する場合に著しく増大する。
【図面の簡単な説明】
【0004】
【0005】
【図2A】ラック内のリソースを管理するシステムの例示的な概観を示す。
【0006】
【図2B】様々な管理階層の例示的な概観を示す。
【0007】
【図3】スイッチがメモリアクセス要求に応答することができる例示的なシステムを示す。
【0008】
【図4A】サーバ上で、およびスイッチにおいて実行するＭｅｍｃａｃｈｅｄサーバの例を示す。
【0009】
【図4B】単一の要求のためのイーサネット（登録商標）パケットフローを示す。
【0010】
【図5A】パケットがスイッチにおいて終端し得る例示的なシステムを示す。
【図5B】パケットがスイッチにおいて終端し得る例示的なシステムを示す。
【図5C】パケットがスイッチにおいて終端し得る例示的なシステムを示す。
【0011】
【図6】オーケストレーション制御プレーンを実行して、どのデバイスが仮想化実行環境を実行するかを管理するスイッチの一例を示す。
【0012】
【図7A】サーバから別のサーバへの仮想化実行環境の移行の一例を示す。
【0013】
【図7B】仮想化実行環境の移行の一例を示す。
【0014】
【0015】
【図9】システムを示す。
【0016】
【図10】環境を示す。
【0017】
【図11】例示的なネットワーク要素を示す。
【発明を実施するための形態】
【0018】
データセンタ内で、南北トラフィック（ｎｏｒｔｈ－ｓｏｕｔｈ ｔｒａｆｆｉｃ）はデータセンタの内外に流れるパケットを含み得る一方、東西トラフィック（ｅａｓｔ－ｗｅｓｔ ｔｒａｆｆｉｃ）はデータセンタ内のノード（例えば、サーバのラック）間を流れるパケットを含み得る。南北トラフィックは顧客に顧客提供するためのプロダクトと見なされ得る一方、東西トラフィックはオーバヘッドと見なされ得る。東西トラフィック量は、南北トラフィックよりも著しく高いレートで増大しており、データセンタの総保有コスト（ＴＣＯ）を低減しながら、適用可能なＳＬＡに準拠するために東西トラフィックフローをタイムリーに処理することはデータセンタ内で増大する課題である。
【0019】
データセンタ内でより速いトラフィックレートを提供するためにデータセンタ内でネットワークスピードを高める（例えば、１００Ｇｂｐｓイーサネット以上）は、トラフィック増大に対処する様式である。しかしながら、ネットワークスピードの増大は、さらにより多くのパケット処理アクティビティを伴う可能性があり、これは、そうでなければ他のタスクに使用され得るプロセッサリソースを使用する。
【0020】
いくつかの解決手段は、専用ハードウェアを含むネットワークコントローラハードウェアにタスクをオフロードすることによって、ＣＰＵ利用を低減させ、パケット処理を加速させる。しかしながら、専用ハードウェアは現在のワークロードに限定されており、将来の異なるワークロードまたはパケット処理アクティビティに対応する柔軟性を有しない場合がある。
【0021】
いくつかの解決手段は、プロトコルの簡略化を通じてパケット処理のオーバヘッドを低減しようとするが、依然として、パケット処理を実行するために著しいＣＰＵ利用率を使用する。
【0022】
システム概要様々な実施形態は、サーバプロセッサ利用の低減する試み、および、十分に速いパケット処理を提供しながらデータセンタ内の東西トラフィックの増大を低減または制御する試みを提供する。様々な実施形態は、１つまたは複数のＣＰＵまたは他のアクセラレータデバイスを包括的に含む、インフラストラクチャオフロード機能を有するスイッチを提供する。様々な実施形態は、スイッチがパケット処理またはネットワーク終端を実行し、他のタスクを実行するためにサーバＣＰＵを空けることを可能にするために特定のパケット処理ネットワークインタフェースカード（ＮＩＣ）機能を有するスイッチを提供する。スイッチは、サーバクラスプロセッサ、スイッチブロック、アクセラレータ、オフロードエンジン、三値連想メモリ（ＴＣＡＭ）、およびパケット処理パイプラインを含み得る、またはそれらにアクセスし得る。パケット処理パイプラインは、Ｐ４または他のプログラミング言語によってプログラマブルであり得る。スイッチは、様々な接続を使用して１つまたは複数のＣＰＵまたはホストサーバに接続され得る。例えば、ダイレクトアタッチ銅（ＤＡＣ）、光ファイバケーブル、または他のケーブルを使用して、スイッチを１つまたは複数のＣＰＵ、計算ホスト、ラック内のサーバを含むサーバにスイッチを接続することができる。いくつかの例において、ビットエラーレート（ＢＥＲ）を低減するために、接続の長さは６フィート（約１．８メートル）未満であってよい。スイッチへの言及は、複数の接続されたスイッチまたは分散したスイッチを指す場合があり、ラックは、ラックを２つの半ラックに、またはポッド（例えば、１つまたは複数のラック）に論理的に分割する複数のスイッチを含み得ることに留意されたい。
【0023】
ラックスイッチの様々な実施形態は、（１）高速接続による、パケット伝送レート、応答レイテンシ、キャッシュミス、仮想化実行環境要求などのテレメトリ集約、（２）少なくともテレメトリに基づく、スイッチに接続されたサーバリソースのオーケストレーション、（３）少なくともテレメトリに基づく、様々なサーバ上で実行している仮想実行環境のオーケストレーション、（４）ネットワーク終端およびプロトコル処理、（５）メモリトランザクションに関連付けられたデータを取得し、リクエスタにデータを提供する、または、メモリトランザクションに関連付けられたデータを取得することができるターゲットにメモリトランザクションを転送することによるメモリトランザクションの完了、（６）ラックまたはラックのグループ内の１つまたは複数のサーバによるアクセスのためのデータのキャッシュ、（７）スイッチにおけるＭｅｍｃａｃｈｅｄリソースの管理、（８）パケット処理（例えば、適用可能なプロトコルに従ったヘッダ処理）を実行するための１つまたは複数の仮想化実行環境の実行、（９）負荷バランシングまたは冗長性のためのスイッチもしくはサーバまたはその両方における仮想化実行環境実行の管理、あるいは（１０）スイッチとサーバとの間、またはサーバからサーバへの仮想化実行環境の移行のうちの１つまたは複数を実行するように構成され得る。したがって、ラックスイッチの動作への向上により、支払い請求できるまたは価値を付加したサービスのための使用のためにサーバＣＰＵサイクルを空けることができる。
【0024】
様々な実施形態は、サーバの代わりにスイッチにおいてネットワーク処理を終端させることができる。例えば、スイッチはプロトコル終端、復号、カプセル化解除、受信確認（ＡＣＫ）、完全性チェックを実行することができ、ネットワーク関連タスクは、サーバにより対応されるのではなく、スイッチによって実行され得る。スイッチは、既知のプロトコルまたは計算用の専用オフロードエンジンを含み得、ソフトウェアまたはフィールドプログラマブルゲート（ＦＰＧＡ）を介して新たなプロトコルまたはベンダ固有のプロトコルを処理して将来のニーズを柔軟にサポートするように拡張可能またはプログラム可能であり得る。
【0025】
スイッチにおけるネットワーク終端により、サービス機能チェーン処理のために潜在的に異なるサーバ、またはさらには異なるラック上にある複数のＶＥＥによる処理のためのデータの転送が低減または排除され得る。スイッチはネットワーク処理を実行し、処理の後に、得られたデータをラック内の宛先サーバに提供することができる。
【0026】
いくつかの例において、スイッチは、サーバがターゲットデバイスを決定してサーバがメモリ入力／出力（Ｉ／Ｏ）要求を別のサーバまたはターゲットデバイスに伝送するためにＩ／Ｏ要求をサーバに向ける代わりに、Ｉ／Ｏ要求をターゲットデバイスに向けることによって、メモリＩ／Ｏ要求を管理することができる。サーバは、メモリプール、ストレージプールまたはサーバ、計算サーバを含み得るか、または他のリソースを提供し得る。様々な実施形態は、サーバ１がメモリにアクセスするＩ／Ｏ要求を発行し、ニアメモリにサーバ２がアクセスし、ファーメモリにサーバ３がアクセスするシナリオ（例えば、２レベルメモリ（２ＬＭ）、メモリプーリング、またはシンメモリプロビジョニング）で使用され得る。例えば、スイッチは、システム２を対象にしたメモリへの読み取りまたは書き込みを要求するサーバ１から要求を受信することができる。スイッチは、要求によって参照されたメモリアドレスが、サーバ３に関連付けられたメモリ内にあることを識別するように構成され得、スイッチは、サーバ３に要求を伝送し得るサーバ２に要求を送信する代わりにサーバ３に要求を転送することができる。そのため、スイッチは、メモリトランザクションを完了するのにかかる時間を低減することができる。いくつかの例において、スイッチは、同じラック上のデータのキャッシュを実行して、データの次の要求の東西トラフィックを低減することができる。
【0027】
スイッチは、サーバ２およびサーバ３がメモリアドレスに関連付けられるデータのコヒーレンシまたは一貫性を維持することができるように、サーバ３のメモリへのアクセスが生じたことをサーバ２に通知し得ることに留意されたい。サーバ２がキャッシュラインを書き込みまたはダーティ（修正）キャッシュラインをポストした場合、コヒーレンシプロトコルおよび／または生産者消費者モデルを使用してサーバ２およびサーバ３に格納されたデータの一貫性を維持することができる。
【0028】
いくつかの例において、スイッチはオーケストレーション、ハイパーバイザ機能を実行し、ならびにサービスチェーン機能を管理することができる。スイッチは、ラックの集約されたリソースを単一の複合サーバとして提供するために、サーバのラック全体のプロセッサおよびメモリリソースおよび仮想実行環境（ＶＥＥ）の実行のオーケストレーションを行うことができる。例えば、スイッチは、１つまたは複数のＶＥＥによる実行のために、コンピュートスレッド、メモリスレッド、およびアクセラレータスレッドの使用を割り当てることができる。
【0029】
いくつかの例において、スイッチは、スイッチとサーバとの間の接続の長さを低減するために、接続されたサーバに対してトップオブラック（ＴＯＲ）またはミドルオブラック（ＭＯＲ）に位置付けられ得る。例えば、ＴＯＲに（例えば、ラックのフロアから最も遠く）位置付けられたスイッチの場合、サーバは、サーバからラックスイッチへの銅ケーブルがラック内に収まるようにスイッチに接続する。スイッチは、ラックから集約領域まで延びる光ファイバケーブルを用いてラックをデータセンターネットワークにリンクすることができる。ＭＯＲスイッチ位置の場合、スイッチは、ラックの底部とラックの上部との間のラックの中心に向けて位置付けられる。行の終わり（ＥＯＲ）など、スイッチの他のラック位置を使用することができる。
【0030】
図１Ａは、例示的なスイッチシステムを示す。スイッチ１００は、ポート回路１０４－０～１０４－Ｎに通信可能に結合されたスイッチ回路１０２を含み得る、またはそれにアクセスし得る。ポート回路１０４－０～１０４－Ｎは、パケットを受信し、パケットをスイッチ回路１０２に提供することができる。ポート回路１０４－０～１０４－Ｎがイーサネット対応である場合、ポート回路１０４－０～１０４－Ｎは、物理層インタフェース（ＰＨＹ）（例えば、物理媒体接続部（ＰＭＡ）サブレイヤ、物理媒体依存（ＰＭＤ）、前方誤り訂正（ＦＥＣ）、および物理コーディングサブレイヤ（ＰＣＳ））、メディアアクセスコントロール（ＭＡＣ）エンコードまたはデコード、およびリコンシリエーションサブレイヤ（ＲＳ）を含み得る。光／電気信号インタフェースは、電気信号をネットワークポートに提供することができる。ＩＥＥＥ規格８０２．３ｃｄ－２０１８の付録１３６Ｃおよびその中の参考文献に記載される、スモールフォームファクタプラガブル（ＳＦＰ）、クワッドスモールフォームファクタプラガブル（ＱＳＦＰ）、クワッドスモールフォームファクタプラガブルダブルデンシティ（ＱＳＦＰ－ＤＤ）、マイクロＱＳＦＰ、またはＯＳＦＰ（オクタルスモールフォーマットプラガブル）インタフェース、または他のフォームファクタなどの、標準的な機械および電気フォームファクタを使用してモジュールを構築することができる。
【0031】
パケットとは、本明細書では、ネットワークにわたって送信され得るビットの様々なフォーマット化された集合、例えば、イーサネットフレーム、ＩＰパケット、ＴＣＰセグメント、ＵＤＰデータグラムなどを指すために使用され得る。また、本文書で使用される場合、Ｌ２、Ｌ３、Ｌ４、およびＬ７層（または層２、層３、層４、および層７）への言及は、それぞれ、ＯＳＩ（開放型システム相互接続）層モデルの第２のデータリンク層、第３のネットワーク層、第４のトランスポート層、および第７のアプリケーション層への言及であり得る。
【0032】
フローは、２つのエンドポイント間で転送されるパケットのシーケンスであり得、これは概して、既知のプロトコルを使用した単一のセッションを表す。したがって、フローは、定義されたＮ個のタプルのセットによって識別され得、ルーティングの目的で、フローは、エンドポイント、例えば、ソースおよび宛先アドレスを識別するタプルによって識別され得る。コンテンツベースのサービス（例えば、ロードバランサ、ファイアウォール、命令検出システムなど）の場合、フローは、５つ以上のタプル（例えば、ソースアドレス、宛先アドレス、ＩＰプロトコル、トランスポート層ソースポート、および宛先ポート）を使用することによって、より高い粒度で識別され得る。フロー内のパケットは、パケットヘッダ内にタプルの同じセットを有することが期待される。フローは、ユニキャスト、マルチキャスト、エニーキャスト、またはブロードキャストであり得る。
【0033】
スイッチ回路１０２は、複数のサーバへの接続性、複数のサーバからの接続性、および複数のサーバ間の接続性を提供することができ、トラフィック集約、およびルーティングのためのアクションテーブルの合致、トンネリング、バッファリング、ＶｘＬＡＮルーティング、Ｎｅｔｗｏｒｋ Ｖｉｒｔｕａｌｉｚａｔｉｏｎ ｕｓｉｎｇ Ｇｅｎｅｒｉｃ Ｒｏｕｔｉｎｇ Ｅｎｃａｐｓｕｌａｔｉｏｎ（ＮＶＧＲＥ）、Ｇｅｎｅｒｉｃ Ｎｅｔｗｏｒｋ Ｖｉｒｔｕａｌｉｚａｔｉｏｎ Ｅｎｃａｐｓｕｌａｔｉｏｎ（Ｇｅｎｅｖｅ）（例えば、現在ドラフトのＩｎｔｅｒｎｅｔ Ｅｎｇｉｎｅｅｒｉｎｇ Ｔａｓｋ Ｆｏｒｃｅ（ＩＥＴＦ）規格）、およびアクセス制御リスト（ＡＣＬ）のうちの１つまたは複数を実行して、パケットの進行を許可または抑制する。
【0034】
プロセッサ１０８－０～１０８－Ｍは、それぞれのインタフェース１０６－０～１０６－Ｍを介してスイッチ回路１０２に結合され得る。インタフェース１０６－０～１０６－Ｍは、低レイテンシ、高帯域幅メモリベースのインタフェース、例えば、ペリフェラルコンポーネントインターコネクトエクスプレス（ＰＣＩｅ）、コンピュートエクスプレスリンク（ＣＸＬ）、メモリインタフェース（例えば、任意のタイプのダブルデータレート（ＤＤＲｘ）、ＣＸＬ．ｉｏ、ＣＸＬ．キャッシュ、もしくはＣＸＬ．ｍｅｍ）、および／またはネットワーク接続（例えば、イーサネットもしくはインフィニバンド）を提供し得る。メモリインタフェースが使用される場合では、スイッチはメモリアドレスとして識別され得る。
【0035】
プロセッサモジュール１０８－０～１０８－Ｍのうちの１つまたは複数は、ＣＰＵ、ランダムアクセスメモリ（ＲＡＭ）、永続的または不揮発性のストレージ、アクセラレータを含むサーバを表し得、プロセッサモジュールはラック内の１つまたは複数のサーバであり得る。例えば、プロセッサモジュール１０８－０～１０８－Ｍは、接続を使用してスイッチ１００に通信可能に結合された複数の別個の物理サーバを表し得る。物理サーバは、異なる物理ＣＰＵデバイス、ランダムアクセスメモリ（ＲＡＭ）デバイス、永続的もしくは不揮発性のストレージデバイス、またはアクセラレータデバイスを提供することによって、別の物理サーバとは別個であり得る。しかしながら、別個の物理サーバは、同じ性能仕様を有するデバイスを含み得る。本明細書において使用される場合、サーバは、１つまたは複数の別個の物理サーバからのリソースを集約する物理サーバまたは複合サーバを指し得る。
【0036】
プロセッサモジュール１０８－０～１０８－Ｍおよびプロセッサ１１２－０または１１２－１は、１つまたは複数のコアとシステムエージェント回路とを含み得る。コアは、命令を実行することができる実行コアまたは計算エンジンであり得る。コアは、自身のキャッシュおよびリードオンリメモリ（ＲＯＭ）にアクセスすることができ、あるいは、複数のコアがキャッシュまたはＲＯＭを共有することができる。コアは、同種のデバイス（例えば、同じ処理機能）の、および／または異種のデバイス（例えば、異なる処理機能）であり得る。コアの周波数または消費電力は調整可能であり得る。任意のタイプのプロセッサ間通信技術、例えば、限定はされないが、メッセージ、プロセッサ間割込み（ＩＰＩ）、およびプロセッサ間通信などを使用することができる。コアは、限定はされないが、バス、リング、またはメッシュなどの任意のタイプの様式で接続されてよい。コアは、システムエージェント（アンコア）へのインターコネクトを介して結合され得る。
【0037】
システムエージェントは、任意のタイプのキャッシュ（例えば、レベル１、レベル２、またはラストレベルキャッシュ（ＬＬＣ））を含み得る共有キャッシュを含み得る。システムエージェントは、メモリコントローラ、共有キャッシュ、キャッシュコヒーレンシマネージャ、算術論理ユニット、浮動小数点ユニット、コアもしくはプロセッサのインターコネクト、またはバスもしくはリンクのコントローラのうちの１つまたは複数を含み得る。システムエージェントまたはアンコアは、ダイレクトメモリアクセス（ＤＭＡ）エンジン接続、非キャッシュコヒーレントマスタ接続、コア間のデータキャッシュコヒーレンシおよびキャッシュ要求の調整、またはアドバンスドマイクロコントローラバスアーキテクチャ（ＡＭＢＡ）機能のうちの１つまたは複数を提供し得る。システムエージェントまたはアンコアは、ファブリックおよびメモリコントローラの受信および伝送の優先度およびクロック速度を管理することができる。
【0038】
コアは、限定はされないが、Ｉｎｔｅｌクイックパスインターコネクト（ＱＰＩ）、Ｉｎｔｅｌウルトラパスインターコネクト（ＵＰＩ）、Ｉｎｔｅｌオンチップシステムファブリック（ＩＯＳＦ）、オムニパス、コンピュートエクスプレスリンク（ＣＸＬ）のいずれかと互換性を有する高速インターコネクトを使用して通信可能に接続され得る。コアタイルの数は本例に限定はされず、任意の数、例えば４および８などであり得る。
【0039】
本明細書でより詳細に説明されるように、オーケストレーション制御プレーン、Ｍｅｍｃａｃｈｅｄサーバ、１つまたは複数の仮想化実行環境（ＶＥＥ）は、プロセッサモジュール１０８－０～１０８－Ｍのうちの１つまたは複数、またはプロセッサ１１２－０もしくは１１２－１上で実行され得る。
【0040】
ＶＥＥは、少なくとも、仮想マシンまたはコンテナを含み得る。仮想マシン（ＶＭ）は、オペレーティングシステムおよび１つまたは複数のアプリケーションを動作させるソフトウェアであり得る。ＶＭは、仕様、構成ファイル、仮想ディスクファイル、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）設定ファイル、およびログファイルによって定義され得、ホストコンピューティングプラットフォームの物理リソースによってバックアップされる。ＶＭは、専用ハードウェアを模倣する、ソフトウェア上にインストールされたＯＳまたはアプリケーション環境であり得る。エンドユーザは、専用ハードウェア上と同じ経験を仮想マシン上で有する。ハイパーバイザと呼ばれる専用ソフトウェアは、ＰＣクライアントまたはサーバのＣＰＵ、メモリ、ハードディスク、ネットワークおよび他のハードウェアリソースを完全にエミュレートし、仮想マシンがリソースを共有することを可能にする。ハイパーバイザは、互いから分離された複数の仮想ハードウェアプラットフォームをエミュレートし得、仮想マシンにＬｉｎｕｘ（登録商標）およびＷｉｎｄｏｗｓ（登録商標）サーバオペレーティングシステムを同じ基礎となる物理ホスト上で動作させることを可能にする。
【0041】
コンテナは、アプリケーション、構成、および依存性のソフトウェアパッケージであり得、アプリケーションは、別のもの対してあるコンピューティング環境上で確実に動作する。コンテナは、サーバプラットフォームにインストールされたオペレーティングシステムを共有してよく、分離プロセスとして動作してよい。コンテナは、システムツール、ライブラリ、および設定など、ソフトウェアを動作させるのに必要なもの全てを含むソフトウェアパッケージであり得る。
【0042】
様々な実施形態は、アプリケーションまたはＶＥＥがスイッチ１００にアクセスするために、様々なオペレーティングシステム（例えば、ＶＭＷａｒｅ（登録商標）、Ｌｉｎｕｘ（登録商標）、Ｗｉｎｄｏｗｓ（登録商標）サーバ、ＦｒｅｅＢＳＤ、Ａｎｄｒｏｉｄ（登録商標）、ＭａｃＯＳ（登録商標）、ｉＯＳ（登録商標）、または任意の他のオペレーティングシステム）のためのドライバソフトウェアを提供する。いくつかの例において、ドライバは、周辺デバイスとしてスイッチを提示し得る。いくつかの例において、ドライバは、ネットワークインタフェースコントローラまたはネットワークインタフェースカードとしてスイッチを提示し得る。例えば、ドライバは、ＰＣＩｅエンドポイントとしてスイッチを構成するまたはそれにアクセスする能力を有するＶＥＥを提供し得る。いくつかの例において、スイッチにアクセスするために、適応仮想機能（ＡＶＦ）などの仮想機能ドライバが使用され得る。ＡＶＦの一例は、少なくとも、「Ｉｎｔｅｌ（登録商標）Ｅｔｈｅｒｎｅｔ（登録商標） Ａｄａｐｔｉｖｅ Ｖｉｒｔｕａｌ Ｆｕｎｃｔｉｏｎ Ｓｐｅｃｉｆｉｃａｔｉｏｎ」改訂版１．０（２０１８）に記載されている。いくつかの例において、ＶＥＥは、本明細書で説明されるスイッチに任意の機能をオンまたはオフにするようにドライバとやり取りすることができる。
【0043】
プロセッサモジュール１０８－０～１０８－Ｍ上で動作するデバイスドライバ（例えば、ＮＤＩＳ－Ｗｉｎｄｏｗｓ、ＮｅｔＤｅｖ－Ｌｉｎｕｘなど）は、スイッチ１００に結合し、ＶＥＥにおいて実行されるホストオペレーティングシステム（ＯＳ）または任意のＯＳにスイッチ１００の機能を提供することができる。アプリケーションまたはＶＥＥは、ＳＩＯＶ、ＳＲ－ＩＯＶ、ＭＲ－ＩＯＶ、またはＰＣＩｅトランザクションを使用してスイッチ１００を構成するまたはそれにアクセスすることができる。ＰＣＩｅエンドポイントをインタフェーススイッチ１００として組み込むことによって、ローカルに取り付けられたイーサネットデバイスとしてのＰＣＩｅイーサネットデバイスまたはＣＸＬデバイスとしてプロセッサモジュール１０８－０～１０８－Ｍのいずれかの上でスイッチ１００を列挙することができる。例えば、スイッチ１００は、任意のサーバ（例えば、プロセッサモジュール１０８－０～１０８－Ｍのいずれか）に対して物理機能（ＰＦ）として提示され得る。スイッチ１００のリソース（例えば、メモリ、アクセラレータ、ネットワーク、ＣＰＵ）がサーバに割り当てられる場合、リソースは、高速リンク（例えば、ＣＸＬまたはＰＣＩｅ）を介して取り付けられたかのようにサーバには論理的に見えるであろう。サーバは、活線挿入されたリソースとしてリソース（例えば、メモリまたはアクセラレータ）にアクセスし得る。代替的に、これらのリソースは、サーバが現在利用可能なプールされたリソースとして見え得る。
【0044】
いくつかの例において、プロセッサモジュール１０８－０～１０８－Ｍおよびスイッチ１００は、シングルルートＩ／Ｏ仮想化（ＳＲ－ＩＯＶ）の使用をサポートし得る。ＰＣＩ－ＳＩＧ Ｓｉｎｇｌｅ Ｒｏｏｔ ＩＯ Ｖｉｒｔｕａｌｉｚａｔｉｏｎ ａｎｄ Ｓｈａｒｉｎｇ Ｓｐｅｃｉｆｉｃａｔｉｏｎ ｖ１．１およびその前身および後継のバージョンは、ハイパーバイザまたはゲストオペレーティングシステムには複数の別個の物理デバイスとして現れる単一のルートポートの下での単一のＰＣＩｅ物理デバイスの使用を記載している。ＳＲ－ＩＯＶは、物理機能（ＰＦ）および仮想機能（ＶＦ）を使用して、ＳＲ－ＩＯＶデバイスの全体機能を管理する。ＰＦは、ＳＲ－ＩＯＶ機能を構成および管理することができるＰＣＩｅ機能であり得る。例えば、ＰＦは、ＰＣＩｅデバイスを構成または制御することができ、ＰＦは、ＰＣＩｅデバイスの内外にデータを移動させる能力を有する。例えば、スイッチ１００の場合、ＰＦは、ＳＲ－ＩＯＶをサポートするスイッチ１００のＰＣＩｅ機能である。ＰＦは、仮想化を可能にすることおよびＰＣＩｅ ＶＦの管理など、スイッチ１００のＳＲ－ＩＯＶ機能を構成および管理する機能を含む。ＶＦは、スイッチ１００上でＰＣＩｅ ＰＦに関連付けられ、ＶＦは、スイッチ１００の仮想化インスタンスを表す。ＶＦは、それ自体のＰＣＩｅ構成空間を有し得るが、外部ネットワークポートなどの、スイッチ１００上の１つまたは複数の物理リソースをＰＦおよび他のＰＦまたは他のＶＦと共有し得る。他の例において、任意のサーバ（例えば、プロセッサモジュール１０８－０～１０８－Ｍ）がＰＦとして表され、スイッチ１００上で実行するＶＥＥがＶＦを利用して任意のサーバを構成するまたはそれにアクセスするという、逆の関係が用いられ得る。
【0045】
いくつかの例において、プラットフォーム１９００およびＮＩＣ１９５０は、マルチルートＩＯＶ（ＭＲ－ＩＯＶ）を使用してやり取りすることができる。ＰＣＩ Ｓｐｅｃｉａｌ Ｉｎｔｅｒｅｓｔ Ｇｒｏｕｐ（ＳＩＧ）からのＭｕｌｔｉｐｌｅ Ｒｏｏｔ Ｉ／Ｏ Ｖｉｒｔｕａｌｉｚａｔｉｏｎ（ＭＲ－ＩＯＶ）ａｎｄ Ｓｈａｒｉｎｇ Ｓｐｅｃｉｆｉｃａｔｉｏｎ改訂版１．０（２００８年５月１２日）は、複数のコンピュータ間でＰＣＩエクスプレス（ＰＣＩｅ）デバイスを共有するための仕様である。
【0046】
いくつかの例において、プロセッサモジュール１０８－０～１０８－Ｍおよびスイッチ１００は、Ｉｎｔｅｌ（登録商標）スケーラブルＩ／Ｏ仮想化（ＳＩＯＶ）の使用をサポートし得る。例えば、プロセッサモジュール１０８－０～１０８－ＭはＳＩＯＶ対応デバイスとしてスイッチ１００にアクセスし得るか、または、スイッチ１００は、ＳＩＯＶ対応デバイスとしてプロセッサモジュール１０８－０～１０８－Ｍにアクセスし得る。ＳＩＯＶ対応デバイスは、複数の分離されたアサイナブルデバイスインタフェース（ＡＤＩ）にそのリソースをグループ化するように構成され得る。各ＡＤＩから／へのダイレクトメモリアクセス（ＤＭＡ）の転送には、固有のプロセスアドレス空間識別子（ＰＡＳＩＤ）番号がタグ付けされる。スイッチ１００、プロセッサモジュール１０８－０～１０８－Ｍ、ネットワークコントローラ、ストレージコントローラ、グラフィックス処理ユニット、および他のハードウェアアクセラレータは、多くの仮想化実行環境にわたってＳＩＯＶを利用することができる。ＰＦ上に複数のＶＦを生成するためのＳＲ－ＩＯＶの粗いデバイス分割手法とは異なり、ＳＩＯＶは、ソフトウェアが、高い粒度でのデバイス共有のためのハードウェア補助を利用して仮想デバイスを柔軟に構成することを可能にする。構成された仮想デバイスに対する性能重視の動作は基礎となるデバイスハードウェアに直接マッピングされ、一方で、重視しない動作は、ホストにおいてデバイス固有合成ソフトウェアを通じてエミュレートされる。ＳＩＯＶの技術仕様書は、Ｉｎｔｅｌ（登録商標）スケーラブルＩ／Ｏ仮想化技術仕様書、改訂版１．０（２０１８年６月）である。
【0047】
ラック内の一部または全部のサーバリソースへのアクセスがスイッチ１００に付与されるマルチテナントセキュリティが用いられ得る。スイッチ１００による任意のサーバへのアクセスは、暗号鍵、チェックサム、または他の完全性チェックの使用を必要とし得る。任意のサーバは、スイッチ１００からの通信が許可されていることを保証するために、アクセス制御リスト（ＡＣＬ）を用い得るが、他のソースからの通信をフィルタリングして除く（例えば、通信をドロップする）ことができる。
【0048】
スイッチ１００を使用したパケット伝送の例を次に説明する。いくつかの例において、スイッチ１００は、サーバ上で動作するＶＥＥのためのネットワークプロキシとして作用する。スイッチ１００上で実行するＶＥＥは、任意の適用可能な通信プロトコル（例えば、標準化されたプロトコルまたは専用のプロトコル）に従ってスイッチ１００のネットワーク接続を使用して伝送のためにパケットを形成することができる。いくつかの例において、スイッチ１００は、コア上で動作するワークロードまたはＶＥＥがスイッチ１００内にあるかスイッチ１００によりアクセス可能である、パケット伝送を生じさせることができる。スイッチ１００は、任意の他の外部接続されたホストにアクセスするのと同様の様式で、接続された内部コアにアクセスすることができる。スイッチ１００としての同じシャーシの内部に１つまたは複数のホストが配置され得る。ＶＥＥまたはサービスがスイッチ１００のＣＰＵ上で動作するいくつかの例において、そのようなＶＥＥは、伝送のためのパケットを生じさせることができる。例えば、ＶＥＥがスイッチ１００のＣＰＵ上でＭｅｍｃａｃｈｅｄサーバを動作させる場合、スイッチ１００は、データに対する任意の要求に応答するため、または、キャッシュミスの場合には、データについて別のサーバもしくはシステムにクエリを行い、データを取得してそのキャッシュを更新するために、伝送のためのパケットを生じさせ得る。
【0049】
図１Ｂは、例示的なシステムを示す。スイッチシステム１３０は、ポート回路１３４－０～１３４－Ｎに通信可能に結合されたスイッチ回路１３２を含み得る、またはそれにアクセスし得る。ポート回路１３４－０～１３４－Ｎは、パケットを受信し、パケットをスイッチ回路１３２に提供することができる。ポート回路１３４－０～１３４－Ｎは、ポート回路１０４－０～１０４－Ｎのいずれかと同様であり得る。インタフェース１３６－０～１３６－Ｍは、それぞれのプロセッサモジュール１３８－０～１３８－Ｍとの通信を提供し得る。本明細書でより詳細に説明されるように、オーケストレーション制御プレーン、Ｍｅｍｃａｃｈｅｄサーバ、または、任意のアプリケーションを動作させる１つまたは複数の仮想化実行環境（ＶＥＥ）（例えば、ウェブサーバ、データベース、Ｍｅｍｃａｃｈｅｄサーバ）は、プロセッサモジュール１３８－０～１３８－Ｍのうちの１つまたは複数上で実行することができる。プロセッサモジュール１３８－０～１３８－Ｍは、それぞれのプロセッサモジュール１０８－０～１０８－Ｍと同様であり得る。
【0050】
図１Ｃは、例示的なシステムを示す。スイッチシステム１４０は、ポート回路１４４－０～１４４－４に通信可能に結合されたスイッチ回路１４２を含み得るか、またはそれにアクセスし得る。ポート回路１４４－０～１４４－４は、パケットを受信し、パケットをスイッチ回路１４２に提供し得る。ポート回路１４４－０ ｔｏ １４４－Ｎは、任意のポート回路１０４－０～１０４－Ｎと同様であり得る。インタフェース１４６－０～１４６－１は、それぞれのプロセッサモジュール１４８－０～１４８－１との通信を提供し得る。本明細書でより詳細に説明されるように、オーケストレーション制御プレーン、Ｍｅｍｃａｃｈｅｄサーバ、または、任意のアプリケーションを動作させる１つまたは複数の仮想化実行環境（ＶＥＥ）（例えば、ウェブサーバ、データベース、Ｍｅｍｃａｃｈｅｄサーバ）は、プロセッサモジュール１４７－０もしくは１４７－１、またはプロセッサモジュール１４８－０～１４８－１のうちの１つまたは複数上で実行することができる。プロセッサモジュール１４８－０～１４８－１は、プロセッサモジュール１０８－０～１０８－Ｍのいずれかと同様であり得る。
【0051】
図１Ｄは、例示的なシステムを示す。この例では、アグリゲーションスイッチ１５０は、異なるラックの複数のスイッチに結合されている。ラックは、サーバ１５４－０～１５４－Ｎに結合されたスイッチ１５２を含み得る。別のラックは、サーバ１５８－０～１５８－Ｎに結合されたスイッチ１５６を含み得る。スイッチのうちの１つまたは複数は、本明細書で説明される実施形態に従って動作し得る。コアスイッチまたは他のアクセスポイントは、パケット伝送および別のデータセンタでの受信のために、アグリゲーションスイッチ１５０をインターネットに接続し得る。
【0052】
サーバに対してＴＯＲ、ＭＯＲ、または任意の他のスイッチ位置（例えば、行の終わり（ＥＯＲ））を使用することができるため、スイッチに対するサーバの描画は物理的配置を示すことを意図しないことに留意されたい。
【0053】
本明細書で説明される実施形態は、データセンタ動作に限定はされず、複数のデータセンタ、企業ネットワーク、オンプレミス、またはハイブリッドデータセンタ間の動作に適用することができる。
【0054】
ネットワーク処理をスイッチに移動させることができるため、（例えば、ＮＶＭ更新またはファームウェア更新（例えば、基本入力／出力システム（ＢＩＯＳ）、汎用拡張可能ファームウェアインタフェース（ＵＥＦＩ）、またはブートローダの更新）の後に）パワーサイクリングを必要とする任意のタイプの構成を分離して実行することができ、スイッチ全体がパワーサイクリングを行うことを必要とせず、スイッチに接続されたラック内の全てのサーバに影響を及ぼすことを避けることができる。
【0055】
デュアル制御プレーン
図２Ａは、ラック内のリソースを管理するシステムの例示的な概観を示す。様々な実施形態は、スイッチ２００に接続された１つまたは複数のサーバ２１０－０～２１０－Ｎにおける制御プレーンを管理することができるオーケストレーション制御プレーン２０２を有するスイッチ２００を提供する。オーケストレーション制御プレーン２０２は、１つまたは複数のＶＥＥ（例えば、２１４－０－０～２１４－０－Ｐまたは２１４－Ｎ－０～２１４－Ｎ－Ｐのいずれか）のためのＳＬＡ情報２０６、リソース利用などのラック内のサーバからのテレメトリ情報２０４、測定されたデバイススループット（例えば、メモリ読み取りまたは書き込みの完了時間）、利用可能なメモリもしくはストレージ帯域幅、または、スイッチに接続された、もしくはより広範にはラック内のサーバのリソースのニーズを受信することができる。ＶＥＥのＳＬＡへの準拠に影響するためにテレメトリ情報２０４を使用することにより、オーケストレーション制御プレーン２０２は、サーバに割り当てられたネットワーク帯域幅（例えば、スイッチ２００からサーバ、またはサーバからスイッチ２００へのデータ送信レート）を積極的に制御、緩和、または休止させ、それにより、サーバ上で動作するＶＥＥから送信される、またはＶＥＥによって受信される通信のレートを緩和させることができる。
図２Ａは、ラック内のリソースを管理するシステムの例示的な概観を示す。様々な実施形態は、スイッチ２００に接続された１つまたは複数のサーバ２１０－０～２１０－Ｎにおける制御プレーンを管理することができるオーケストレーション制御プレーン２０２を有するスイッチ２００を提供する。オーケストレーション制御プレーン２０２は、１つまたは複数のＶＥＥ（例えば、２１４－０－０～２１４－０－Ｐまたは２１４－Ｎ－０～２１４－Ｎ－Ｐのいずれか）のためのＳＬＡ情報２０６、リソース利用などのラック内のサーバからのテレメトリ情報２０４、測定されたデバイススループット（例えば、メモリ読み取りまたは書き込みの完了時間）、利用可能なメモリもしくはストレージ帯域幅、または、スイッチに接続された、もしくはより広範にはラック内のサーバのリソースのニーズを受信することができる。ＶＥＥのＳＬＡへの準拠に影響するためにテレメトリ情報２０４を使用することにより、オーケストレーション制御プレーン２０２は、サーバに割り当てられたネットワーク帯域幅（例えば、スイッチ２００からサーバ、またはサーバからスイッチ２００へのデータ送信レート）を積極的に制御、緩和、または休止させ、それにより、サーバ上で動作するＶＥＥから送信される、またはＶＥＥによって受信される通信のレートを緩和させることができる。
【0056】
いくつかの例において、オーケストレーション制御プレーン２０２は、計算リソース、ネットワーク帯域幅（例えば、スイッチ２００と別のスイッチ（例えば、アグリゲーションスイッチまたは別のラックのスイッチ）との間の）、およびメモリまたはストレージ帯域幅のうちの１つまたは複数を任意のサーバのハイパーバイザ（例えば、２１２－０～２１２－Ｎ）に割り当てることができる。例えば、スイッチ２００は、ラック内の任意のＶＥＥへのデータ伝送または受信の帯域幅を、任意のフロー制御メッセージの受信の前に積極的に管理することができるが、フロー制御メッセージ（例えば、ＸＯＮ／ＸＯＦＦまたはイーサネットＰＡＵＳＥ）を受信した際には任意のＶＥＥからのデータ伝送帯域幅も管理して、フローの伝送を低減または一時停止させることができる。オーケストレーション制御プレーン２０２は、少なくともテレメトリデータに基づいて、そのラック内の全てのサーバ２１０－０～２１０－Ｎのアクティビティを監視することができ、ハイパーバイザ２１２－０～２１２－Ｎを管理して、ＶＥＥのトラフィック発生を制御することができる。例えば、輻輳が検出された場合、スイッチ２００は、フロー制御を実行して、ローカルＶＥＥまたはリモートセンダのいずれかからパケットトランスミッタを休止させることができる。他の場合では、ハイパーバイザ２１２－０～２１２－Ｎは、オーケストレーション制御プレーン２０２からのリソースについて競合して、管理されたＶＥＥを割り当て得るが、そのようなスキームは、いくつかのＶＥＥへのリソースの割り当て不足をもたらさない場合がある。
【0057】
例えば、リソースを割り当てるまたは緩和させるために、オーケストレーション制御プレーン２０２は、１つまたは複数のＶＥＥを実行するサーバに関連付けられたハイパーバイザ（例えば、２１２－０または２１２－Ｎ）を構成することができる。例えば、サーバ２１０－０～２１０－Ｎは、それぞれのハイパーバイザ制御プレーン２１２－０～２１２－Ｎを実行して、サーバ上で動作するＶＥＥのためのデータプレーンを管理することができる。サーバの場合、ハイパーバイザ制御プレーン（例えば、２１２－０～２１２－Ｎ）は、そのサーバ上で動作するＶＥＥのＳＬＡ要件を追跡し、割り当てられた計算リソース、ネットワーク帯域幅、およびメモリまたはストレージ帯域幅内でそれらの要件を管理することができる。同様に、ＶＥＥは、付与されたリソース内でフロー間の競合を管理することができる。
【0058】
オーケストレーション制御プレーン２０２には、少なくともサーバへのリソース割り当てを構成するために、スイッチ２００およびサーバ２１０－０～２１０－Ｎ内で特権が与えられ得る。オーケストレーション制御プレーン２０２は、サーバを損ない得る信頼できないＶＥＥから保護され得る。オーケストレーション制御プレーン２０２は、ＶＥＥのＶＦまたはＮＩＣのサーバのＰＦを監視し、悪意のあるアクティビティが検出された場合にはそれらをシャットダウンすることができる。
【0059】
ハイパーバイザ制御プレーン２１２のオーケストレーション制御プレーン２０２による階層化されたコンフィギュアビリティの一例を次に説明する。サーバのハイパーバイザ制御プレーン２１２（例えば、ハイパーバイザ制御プレーン２１２－０～２１２－Ｎのいずれか）は、ＶＥＥが実行するテナントに関連付けられたポリシへの更新の結果などとして、例えばオーケストレーション制御プレーン２０２、管理者から物理ホスト構成要求を受信したことに応答して、ＶＥＥに与えられたリソースおよびＶＥＥの動作を構成するかどうかを決定し得る。
【0060】
オーケストレーション制御プレーン２０２からの構成は、信頼できるまたは信頼できないとして分類され得る。サーバのハイパーバイザ制御プレーン２１２は、任意の信頼できる構成がＶＥＥのために施行されることを可能にし得る。いくつかの例において、オーケストレーション制御プレーン２０２によってなされる帯域幅割り当て、ＶＥＥ移行の開始または終端、およびリソース割り当ては、信頼できるとして分類され得る。ハイパーバイザ２１２は、特定の構成を実行するのに、信頼できない構成を制限し得るが、信頼のレベルを超える特定のハードウェアアクセス／構成動作については制限しない。例えば、信頼できない構成は、デバイスのリセットを発行すること、リンク構成を変更すること、機密性の高い／デバイス全体のレジスタに書き込むこと、およびデバイスファームウェアを更新することなどができない。構成を信頼できるものと信頼できないものとに分けることによって、ハイパーバイザ２１２は、信頼できない要求を除去することにより、潜在的な攻撃対象領域を無効にすることができる。加えて、ハイパーバイザ２１２は、その異なるＶＥＥの各々について異なる機能を呈することができ、したがって、ホスト／プロバイダは必要に応じてテナントを分離することが可能となる。
【0061】
図２Ｂは、様々な管理階層の例示的な概観を示す。表現２５０において、前に説明したように、オーケストレーション制御プレーンは、サーバのハイパーバイザ制御プレーンに対して信頼できる構成を発行する。ハイパーバイザ制御プレーンに送信されたオーケストレーション制御プレーンからの一部または全部のコマンドまたは構成は、信頼できるものと見なされ得る。ハイパーバイザ制御プレーンは、ハイパーバイザによって管理されたＶＥＥの構成を設ける。
【0062】
表現２６０において、スイッチは、サーバが物理機能（ＰＦ）を表し、関連付けられた仮想機能（ＶＦ－０～ＶＦ－Ｎ）がＶＥＥを表すかのようにサーバを制御する。ＳＲ－ＩＯＶが使用される場合、ベアメタルサーバ（例えば、シングルテナントサーバ）またはＯＳハイパーバイザはＰＦに対応し、ＶＥＥは、それらの対応するＶＦを使用してＰＦにアクセスする。
【0063】
表現２７０において、オーケストレーション制御プレーンはハイパーバイザ制御プレーンを管理する。間接的に、オーケストレーション制御プレーンは、サーバのデータプレーンＤＰ－０～ＤＰ－Ｎを管理して、割り当てられたリソース、割り当てられたネットワーク帯域幅（例えば、伝送または受信）、および任意のＶＥＥの移行または終端を制御することができる。
【0064】
メモリトランザクション
図３は、スイッチがメモリアクセス要求に応答することができる例示的なシステムを示す。リクエスタデバイス、またはサーバ３１０内のもしくはサーバ３０１上で実行するＶＥＥは、サーバ３１２内に格納されたデータを要求することができる。スイッチ３００は、メモリアクセス要求を受信および処理し、メモリプール３３２における完了（例えば、読み取りまたは書き込み）のためにメモリアクセス要求を提供するべき宛先サーバまたはデバイス（例えば、ＩＰアドレスまたはＭＡＣアドレス）を決定することができる。メモリプール３３２に要求を伝送することになるサーバ３１２にメモリアクセス要求を提供する代わりに、スイッチ３００は、要求をメモリプール３３２に転送することができる。
図３は、スイッチがメモリアクセス要求に応答することができる例示的なシステムを示す。リクエスタデバイス、またはサーバ３１０内のもしくはサーバ３０１上で実行するＶＥＥは、サーバ３１２内に格納されたデータを要求することができる。スイッチ３００は、メモリアクセス要求を受信および処理し、メモリプール３３２における完了（例えば、読み取りまたは書き込み）のためにメモリアクセス要求を提供するべき宛先サーバまたはデバイス（例えば、ＩＰアドレスまたはＭＡＣアドレス）を決定することができる。メモリプール３３２に要求を伝送することになるサーバ３１２にメモリアクセス要求を提供する代わりに、スイッチ３００は、要求をメモリプール３３２に転送することができる。
【0065】
いくつかの例において、スイッチ３００は、メモリアクセス要求に関連付けられるメモリアドレスの、デバイスの物理アドレス（例えば、宛先ＩＰアドレスまたはＭＡＣアドレス）へのマッピングを示すマッピングテーブル３０２にアクセスすることができる。いくつかの例において、スイッチ３００は、ターゲットデバイスのアドレスおよび仮想アドレス（メモリアクセス要求で提供された）の物理アドレスへの変換について信頼できる。いくつかの例において、スイッチ３００は、ターゲットデバイスにおけるメモリアクセスのリクエスタに代わってメモリアクセス（例えば、読み取りまたは書き込み）を要求することができる。
【0066】
いくつかの例において、スイッチ３００は、メモリプール３３２に直接アクセスして、読み取り操作のためにデータを取得する、またはデータを書き込むことができる。例えば、サーバ３１０がサーバ３１２からのデータを要求するが、データはメモリプール３３２に格納されている場合、スイッチ３００は、要求されたデータをメモリプール３３２（または他のサーバ）から取得し、データをサーバ３１０に提供し、データをメモリ３０４またはサーバ３１２に潜在的に格納し得る。スイッチ３００は、スイッチ３２０に対してデータ読み取り要求を発行してデータを取得することによって、メモリプール３３２（または他のデバイス，サーバ、またはストレージプール）からデータをフェッチすることができる。メモリプール３３２は、スイッチ３００と同じデータセンタ内、またはデータセンタの外部に位置し得る。スイッチ３００は、フェッチされたデータをメモリ３０４（またはサーバ３１２）に格納して、スイッチ３００と同じラック内のサーバによる低レイテンシで複数の読み取り／書き込みトランザクションを可能にすることができる。高速接続により、メモリ３０４からのデータがサーバ３１０に提供され得、逆もまた同様である。サーバ３１０からメモリ３０４に、メモリ３０４からサーバ３１０にデータを転送するのにＣＸＬ．ｍｅｍが使用される場合、適用可能なプロトコルルールに従い得る。スイッチ３００は、メモリ３０４からのデータが修正された場合に、メモリプール３３２からのデータを更新し得る。
【0067】
したがって、ＶＥＥによって処理し、データの取得に関連付けられるレイテンシペナルティを著しく緩和するために、２レベルメモリ（２ＬＭ）アーキテクチャを実装して、速い接続を介してアクセス可能なローカルメモリにデータをコピーすることができる。
【0068】
メモリアクセス要求が読み取り要求であり、データが、別のスイッチ（例えば、スイッチ３２０）に接続され、かつ別のラック内にあるサーバまたはデバイスによって格納されている場合、スイッチ３００は、データを格納するターゲットデバイスに要求を転送して、メモリ要求に応答することができる。例えば、スイッチ３００は、パケット処理３０６を使用して、メモリアクセス要求を伝達したパケットの宛先ＩＰもしくはＭＡＣアドレスを、ターゲットデバイスの宛先ＩＰもしくはＭＡＣアドレスに変更するか、または別のパケット内の要求をカプセル化するが、受信したメモリアクセス要求の宛先ＩＰもしくはＭＡＣアドレスを維持することができる。
【0069】
シンメモリの提供により、計算ノード上のメモリを少なくすること、および複数の計算ノードによって共有されるメモリプールを構築することが可能となる。共有メモリは、計算ノードに対して動的に割り当てられ／割り当て解除され得、割り当ては、ページまたはキャッシュラインの細分性で設定される。集約すると、全ての計算ノードに割り当てられたメモリおよび共有プール内のメモリは、計算ノードに割り当てられたメモリの量よりも少ない場合がある。例えば、シンメモリの提供がサーバ３１０に使用される場合、データは、サーバ３１０と同じラック上、および潜在的に遠隔メモリプール３３２内のメモリに格納され得る。
【0070】
書き込み動作である、サーバ３１０からのメモリアクセス要求について、ターゲットデバイスがスイッチ３００のラック上にない場合、スイッチ３００は、書き込みを待ち行列に入れ、書き込み動作を完了としてサーバ３１０（例えば、ＶＥＥ）に報告し、次に、メモリプール３３２をメモリ帯域幅の許容に応じて、またはメモリ順序時付けおよびキャッシュコヒーレンシ要求により必要とされるように更新することができる（例えば、ポストされた書き込みをフラッシュする）。
【0071】
いくつかの例において、スイッチ３００は、対応するアドレスを有するメモリの領域へのメモリアクセスと、書き込みの場合、書き込むべき対応するデータとを処理することができる。スイッチ３００は、リモートダイレクトメモリアクセス（例えば、インフィニバンド、ｉＷＡＲＰ、ＲｏＣＥ、およびＲｏＣＥ ｖ２）、ＮＶＭｅ ｏｖｅｒ Ｆａｂｒｉｃｓ（ＮＶＭｅ－ｏＦ）、またはＮＶＭｅを使用して、メモリプール３３２からデータを読み取るか、またはメモリプール３３２にデータを格納することができる。例えば、ＮＶＭｅ－ｏＦ、ならびにその前身、後継、および専用の変形例は、少なくとも、ＮＶＭ Ｅｘｐｒｅｓｓ Ｂａｓｅ Ｓｐｅｃｉｆｉｃａｔｉｏｎ改訂版１．４（２０１９年）に記載されている。ＮＶＭｅ、ならびにその前身、後継、および専用の変形例は、例えば、ＮＶＭ Ｅｘｐｒｅｓｓ（商標）Ｂａｓｅ Ｓｐｅｃｉｆｉｃａｔｉｏｎ改訂版１．３ｃ（２０１８年）に記載されている。データが、別のスイッチ（例えば、スイッチ３２０）に接続されたサーバまたはデバイス（例えば、メモリプール３３２）によって格納されている場合、スイッチ３００は、データがサーバ３１０と同じラックのサーバに格納されていたかのようにデータを取得またはデータを書き込むことができる。
【0072】
各サーバ上のキャッシュまたはメモリ空間に加えて、スイッチ３００はまた、集約されたキャッシュ空間にも寄与し得る。スマートキャッシュ割り当てにより、データにアクセスするサーバのメモリにデータを配置し得る。スラッシングされた（例えば、いくつかのサーバによってアクセスおよび修正された）データは、スイッチ３００またはサーバ３１２のメモリ３０４に配置され得、ここで、最少の接続またはイーサネットリンクトラバーサルを用いてアクセスされ得る。
【0073】
Ｍｅｍｃａｃｈｅｄ例
Ｍｅｍｃａｃｈｅｄは、データセンタ内、または複数のデータセンタにわたって、分散したメモリキャッシュシステムを提供し得る。例えば、Ｍｅｍｃａｃｈｅｄは、分散データベースを提供して、データベースの負荷を緩和することによってアプリケーションの速度を上げることができる。いくつかの例において、専用サーバをＭｅｍｃａｃｈｅｄサーバとして使用して、サーバにわたるリソースを統合し（例えば、イーサネットを介して）、よくアクセスされるデータをキャッシュしてそのデータへのアクセスのスピードを上げることができる。様々な実施形態では、スイッチは、Ｍｅｍｃａｃｈｅｄオブジェクトの一部として格納されたデータ、データ、または、スイッチに接続されたサーバ内の少なくともいくつかのメモリリソース内のストリングストレージを管理することができる。
Ｍｅｍｃａｃｈｅｄは、データセンタ内、または複数のデータセンタにわたって、分散したメモリキャッシュシステムを提供し得る。例えば、Ｍｅｍｃａｃｈｅｄは、分散データベースを提供して、データベースの負荷を緩和することによってアプリケーションの速度を上げることができる。いくつかの例において、専用サーバをＭｅｍｃａｃｈｅｄサーバとして使用して、サーバにわたるリソースを統合し（例えば、イーサネットを介して）、よくアクセスされるデータをキャッシュしてそのデータへのアクセスのスピードを上げることができる。様々な実施形態では、スイッチは、Ｍｅｍｃａｃｈｅｄオブジェクトの一部として格納されたデータ、データ、または、スイッチに接続されたサーバ内の少なくともいくつかのメモリリソース内のストリングストレージを管理することができる。
【0074】
図４Ａは、サーバ（システム４００）上で、およびスイッチ（システム４５０）において実行するＭｅｍｃａｃｈｅｄサーバの例を示す。Ｍｅｍｃａｃｈｅｄの使用によって、データベース（または任意の他の複雑な）クエリの代わりにハッシュルックアップを使用することによって、頻繁に要求されるデータをより速く提供することが可能となるが、任意の実施形態ではデータベースクエリを使用してもよい。データに対する第１の要求は、データの取得を生じさせるため、比較的低速であり得る。同じデータに対する将来の要求は、データが格納され、かつデータサーバから提供され得るため、より高速になり得る。システム４００において、リクエスタは、データセンタの行における異なるラック、データセンタ内の異なる行上のクライアント／サーバであり得、またはデータセンタの外部からの外部要求であり得る。要求は、アグリゲーションスイッチ４０２において受信され、イーサネットリンクを使用してスイッチ４０４に提供され得る。スイッチ４０４は、転じて、イーサネットリンクを使用して、サーバ４０６－０上で動作するＭｅｍｃａｃｈｅｄサーバ４０８に要求を提供し得、それは転じて、データに対する要求をサーバ４０６－１に提供する。データサーバ４０６－１がＭｅｍｃａｃｈｅｄサーバ４０６－０と同じラックにあるにもかかわらず、所望のデータを提供するために同じラック内に複数のイーサネット通信が存在する。イーサネット通信は、データセンタ内の東西トラフィックに寄与し得る。
【0075】
システム４５０において、要求は、アグリゲーションスイッチ４０２において受信され、イーサネットリンクを使用してスイッチ４５２に提供され得る。スイッチ４５２は、１つまたは複数のプロセッサを使用してＭｅｍｃａｃｈｅｄサーバ４０８を実行し、要求されたデータを格納するサーバデバイスを決定する。データが、スイッチ４５２が接続性（例えば、ＰＣＩｅ、ＣＸＬ、ＤＤＲｘを使用する）を提供するものと同じラックに格納されている場合、要求はサーバ４６０－１に提供され得、東西トラフィックには寄与しない。リクエスタが同じラック（例えば、サーバ４６０－Ｎ）内にある場合、スイッチ４５４がネットワークエンドポイントであるため、要求は、スイッチ４５４に内部に処理され得、履行されるためにイーサネットを介して移動しない。キャッシュミスの場合（例えば、データがサーバ４６０－１に格納されていない）、いくつかのシナリオでは、データは、接続を介して別のサーバ（例えば、４６０－０）から取得され得る。
【0076】
例えば、スイッチ４５２は、スイッチ上で動作するＶＥＥ内のＭｅｍｃａｃｈｅｄを実行することができ、高速接続を介してラック全体のリソースを、組み合わされたキャッシュおよびメモリの仮想プールに統合することができる。
【0077】
さらに、スイッチ４５２がＮＩＣエンドポイント動作を処理することにより、全ての要求は、スイッチ４５２上で実行するＶＥＥにおいて動作するＭｅｍｃａｃｈｅｄサーバ４０８を通じて自動的にルーティングされ得、クライアントリクエスタはＭｅｍｃａｃｈｅｄサーバのリストを維持する必要がなくなる。ＭｅｍｃａｃｈｅｄサーバＶＥＥは、それがどのように構成されているかに基づいてそのキャッシュ（例えば、サーバ４６０－１内のデータとして示される）を自動的に更新して、リクエスタに対するデータの局所性を改善し、さらなるレイテンシを低減することができる。
【0078】
図４Ｂは、単一の要求のためのイーサネットパケットフローを示す。各矢印は、イーサネットリンクのトラバーサルおよび東西または南北トラフィックへの寄与を表す。システム４００について、キャッシュミスの場合、これにより、データはデータサーバにおいて利用可能ではなく、合計で１０のイーサネットリンク（または他のフォーマット）のトラバーサルがなされる。リクエスタはアグリゲーションスイッチに要求を送信し、アグリゲーションスイッチは要求をスイッチに提供し、転じて、スイッチは要求をＭｅｍｃａｃｈｅｄサーバに提供する。Ｍｅｍｃａｃｈｅｄサーバは、スイッチを通じて、データサーバに送信するべき要求を提供する。データサーバは、スイッチを介して、データが存在しないことを示すことによってＭｅｍｃａｃｈｅｄサーバに応答する。Ｍｅｍｃａｃｈｅｄサーバは、キャッシュミスの応答を受信し、その結果、Ｍｅｍｃａｃｈｅｄサーバは、そのデータに対する次の要求がキャッシュミスをもたらさないように、データを用いてそのキャッシュを更新する。Ｍｅｍｃａｃｈｅｄサーバは、キャッシュミスの場合であっても、データをリクエスタに提供する。
【0079】
Ｍｅｍｃａｃｈｅｄサーバが、データセンタ内の、データを格納するラックとは異なるラック内にある場合、履行されるべき要求について、要求は異なるラックに移動し、応答がＭｅｍｃａｃｈｅｄサーバに提供される。しかしながら、スイッチは、データを格納するラックに対してイーサネット要求を発行し得る。いくつかの例において、スイッチは、Ｍｅｍｃａｃｈｅｄサーバを迂回し、データソースからデータを直接要求し得る。
【0080】
システム４５０について、リクエスタは、アグリゲーションスイッチを介して要求をスイッチに提供し、スイッチは、接続（例えば、ＰＣＩｅ、ＣＸＬ、ＤＤＲｘ）を介してＭｅｍｃａｃｈｅｄサーバおよびそのラック内のデータにアクセスし、アグリゲーションスイッチを介してリクエスタに対する応答データをリクエスタに提供する。この例において、４つのイーサネットリンクのトラバーサルが生じている。スイッチにおいてＭｅｍｃａｃｈｅｄサービスを提供することにより、他のラック上のデータベースへのネットワークアクセスが低減され得、さらには、スイッチにおいてＭｅｍｃａｃｈｅｄデータ位置ルックアップを実行することによって、ラック内の東西トラフィックが低減され得る。いくつかの場合では、データがスイッチのメモリ（例えば、メモリ３０４）に、またはラックのサーバにおいてキャッシュされている場合、スイッチは、要求に応答して、要求されたデータを直接供給し得る。キャッシュミスの場合、キャッシュするべきデータを取得するのに高速接続（ＰＣＩｅ、ＣＸＬ、ＤＤＲなど）を使用して、スイッチ４５２（図４Ａ）を介して同じラック内のサーバがアクセス可能であるため、システム４５０によってより少ないイーサネット通信がなされる。
【0081】
スイッチにおけるネットワーク終端
図５Ａは、パケットがスイッチにおいて終端し得る例示的なシステムを示す。パケットは、例えば、アグリゲーションスイッチからスイッチ５０２によって受信され得る。パケットは、イーサネット互換性であり得、任意のタイプのトランスポート層（例えば、伝送制御プロトコル（ＴＣＰ）、データセンタＴＣＰ（ＤＣＴＣＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、クイックユーザデータグラムプロトコルインターネット接続（ＱＵＩＣ））を使用し得る。スイッチ５０２の様々な実施形態は、１つまたは複数のＶＥＥ（例えば、５０４または５０６）を実行して、ネットワークプロトコルアクティビティを実行することによってパケットを終端させることができる。例えば、ＶＥＥ５０４または５０６は、スイッチ５０２に対してネットワークプロトコル処理またはネットワーク終端、例えば、セグメンテーション、再アセンブリ、受信確認（ＡＣＫ）、否定確認（ＮＡＣＫ）、パケット再伝送識別情報および要求、輻輳管理（例えば、トランスミッタのフロー制御）、ＨＴＴＰおよびＴＣＰのセキュアソケット層（ＳＳＬ）またはトランスポート層セキュリティ（ＴＬＳ）の終端、のうちの１つまたは複数を実行し得る。（例えばソケット層において）メモリページに入力が行われる際、ベアメタルホストまたはＶＥＥによるアクセスのために、高速接続および対応するプロトコル（例えば、ＣＸＬ．ｍｅｍ）を使用してラック上の宛先サーバにページがコピーされ得る。いくつかの例において、プロトコル処理ＶＥＥ５０４または５０６は、ネットワークサービスチェーン特徴、例えば、ファイアウォール、ネットワークアドレス変換（ＮＡＴ）、侵入防護、復号、進化型パケットコア（ＥＰＣ）、暗号化、仮想ローカルエリアネットワーク（ＶＬＡＮ）タグに基づくパケットのフィルタリング、カプセル化などを実行することができる。
図５Ａは、パケットがスイッチにおいて終端し得る例示的なシステムを示す。パケットは、例えば、アグリゲーションスイッチからスイッチ５０２によって受信され得る。パケットは、イーサネット互換性であり得、任意のタイプのトランスポート層（例えば、伝送制御プロトコル（ＴＣＰ）、データセンタＴＣＰ（ＤＣＴＣＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、クイックユーザデータグラムプロトコルインターネット接続（ＱＵＩＣ））を使用し得る。スイッチ５０２の様々な実施形態は、１つまたは複数のＶＥＥ（例えば、５０４または５０６）を実行して、ネットワークプロトコルアクティビティを実行することによってパケットを終端させることができる。例えば、ＶＥＥ５０４または５０６は、スイッチ５０２に対してネットワークプロトコル処理またはネットワーク終端、例えば、セグメンテーション、再アセンブリ、受信確認（ＡＣＫ）、否定確認（ＮＡＣＫ）、パケット再伝送識別情報および要求、輻輳管理（例えば、トランスミッタのフロー制御）、ＨＴＴＰおよびＴＣＰのセキュアソケット層（ＳＳＬ）またはトランスポート層セキュリティ（ＴＬＳ）の終端、のうちの１つまたは複数を実行し得る。（例えばソケット層において）メモリページに入力が行われる際、ベアメタルホストまたはＶＥＥによるアクセスのために、高速接続および対応するプロトコル（例えば、ＣＸＬ．ｍｅｍ）を使用してラック上の宛先サーバにページがコピーされ得る。いくつかの例において、プロトコル処理ＶＥＥ５０４または５０６は、ネットワークサービスチェーン特徴、例えば、ファイアウォール、ネットワークアドレス変換（ＮＡＴ）、侵入防護、復号、進化型パケットコア（ＥＰＣ）、暗号化、仮想ローカルエリアネットワーク（ＶＬＡＮ）タグに基づくパケットのフィルタリング、カプセル化などを実行することができる。
【0082】
例えば、スイッチ５０２は、スイッチのプロセッサの利用が低い場合に、プロトコル処理ＶＥＥ５０４および５０６を実行することができる。加えて、または代替的に、プロトコル処理ＶＥＥは、ラック内の１つまたは複数のサーバの計算リソース上で実行し得る。スイッチ５０２は、パケットの受信または伝送のために、パケットバッファを含み得るか、または高速接続を介してそれにアクセスし得る。
【0083】
いくつかの例において、ＶＥＥ５０４または５０６は、スイッチ５０２における少なくともいくつかの受信されたパケットのパケットプロトコル終端またはネットワーク終端を実行することができる。例えば、ＶＥＥ５０４または５０６は、開放型システム相互接続モデル（ＯＳＩモデル）の層２～４（例えば、データリンク層、ネットワーク層、またはトランスポート層（例えば、ＴＣＰ、ＵＤＰ、ＱＵＩＣ））のいずれかのパケット処理を実行することができる。加えて、または代替的に、ＶＥＥ５０４または５０６は、ＯＳＩモデルの層５～７（例えば、セッション層、プレゼンテーション層、またはアプリケーション層）のいずれかのパケット処理を実行することができる。
【0084】
いくつかの例において、ＶＥＥ５０４または５０６は、限定はされないが、仮想拡張可能ＬＡＮ（ＶＸＬＡＮ）またはＮｅｔｗｏｒｋ Ｖｉｒｔｕａｌｉｚａｔｉｏｎ ｕｓｉｎｇ Ｇｅｎｅｒｉｃ Ｒｏｕｔｉｎｇ Ｅｎｃａｐｓｕｌａｔｉｏｎ（ＮＶＧＲＥ）などの技術のカプセル化またはカプセル化解除を提供することによってトンネル開始または終端を実行することにより、トンネルエンドポイントを提供することができる。
【0085】
いくつかの例において、スイッチ５０２におけるＶＥＥ５０４または５０６または任意のデバイス（例えば、プログラマブルな機能または固定機能）は、ラージレシーブオフロード（ＬＲＯ）、ラージセンド／セグメンテーションオフロード（ＬＳＯ）、ＴＣＰセグメンテーションオフロード（ＴＳＯ）、トランスポート層セキュリティ（ＴＬＳ）オフロード、受信側スケーリング（ＲＳＳ）のうちの１つまたは複数を実行して、ペイロード、専用キュー割り当て、または別の層プロトコル処理を処理するキューまたはコアを割り当てることができる。
【0086】
ＬＲＯは、入ってくるネットワークパケットを再アセンブルし、パケットコンテンツ（例えば、ペイロード）をより大きいコンテンツへと転送し、得られたより大きいコンテンツであるがより少ないパケットをホストシステムまたはＶＥＥによるアクセスのために転送する、スイッチ５０２（例えば、ＶＥＥ５０４または５０６または固定デバイスもしくはプログラマブルデバイス）を指し得る。ＬＳＯは、マルチパケットバッファを生成し、バッファのコンテンツをスイッチ５０２（（、例えばＶＥＥ５０４もしくは５０６または固定デバイスもしくはプログラマブルデバイス）に提供して伝送のために別個のパケットに分割する、スイッチ５０２（例えば、ＶＥＥ５０４または５０６）またはサーバ５１０－０または５１０－１（例えば、ＶＥＥ５１４－０または５１４－１）を指し得る。ＴＳＯは、スイッチ５０２またはサーバ５１０－０もしくは５１０－１がより大きいＴＣＰメッセージ（または他のトランスポート層）（例えば、６４ＫＢの長さ）を構築することを許可し得、スイッチ５０２（例えば、ＶＥＥ５０４もしくは５０６または固定デバイスもしくはプログラマブルデバイス）が、伝送のためにメッセージをより小さいデータパケットにセグメント化する。
【0087】
ＴＬＳは、少なくとも、Ｔｈｅ Ｔｒａｎｓｐｏｒｔ Ｌａｙｅｒ Ｓｅｃｕｒｉｔｙ（ＴＬＳ）Ｐｒｏｔｏｃｏｌバージョン１．３、ＲＦＣ８４４６（２０１８年８月）において定義されている。ＴＬＳオフロードは、ＴＬＳに従った、スイッチ５０２（例えば、ＶＥＥ５０４もしくは５０６または固定デバイスもしくはプログラマブルデバイス）へのコンテンツの暗号化または復号のオフロードを指し得る。スイッチ５０２は、サーバ５１０－０または５１０－１（例えば、ＶＥＥ５１４－０または５１４－１）またはＶＥＥ５０４または５０６から暗号化のためのデータを受信し、暗号化されたデータの伝送の前に１つまたは複数のパケットにおいてデータの暗号化を実行することができる。スイッチ５０２は、パケットを受信し、ＶＥＥ５１４－０もしくは５１４－１またはＶＥＥ５０４もしくは５０６によるアクセスのために復号されたデータをサーバ５１０－０または５１０－１に転送する前に、パケットのコンテンツを復号し得る。いくつかの例において、任意のタイプの暗号化または復号は、限定はされないがセキュアソケット層（ＳＳＬ）などのスイッチ５０２によって実行され得る。
【0088】
ＲＳＳは、ハッシュを計算する、または、どのＣＰＵまたはコアが受信されたパケットからのペイロードを処理するかを決定および選択するために、受信されたパケットのコンテンツに基づいて別の決定をなすスイッチ５０２（例えば、ＶＥＥ５０４もしくは５０６または固定デバイスもしくはプログラマブルデバイス）を指し得る。ペイロードをコアに分散する他の様式が実行され得る。いくつかの例において、スイッチ５０２（例えば、ＶＥＥ５０４もしくは５０６または固定デバイスもしくはプログラマブルデバイス）は、ＲＳＳを実行して、コアおよびメモリの対を有する不均一メモリアクセス（ＮＵＭＡ）ノードを選択して、受信されたパケットからのペイロードを格納および処理するべきＮＵＭＡノードを識別し得る。いくつかの例において、スイッチ５０２（例えば、ＶＥＥ５０４もしくは５０６または固定デバイスもしくはプログラマブルデバイス）は、ＲＳＳを実行して、受信されたパケットからのペイロードを格納および処理するべきスイッチ５０２またはサーバ上のコアを選択し得る。いくつかの例において、スイッチ５０２は、ＲＳＳを実行して、パケット処理（スイッチ５０２またはサーバ上の）を実行する１つまたは複数のコアを割り当て得る。
【0089】
いくつかの例において、スイッチ５０２は、アプリケーションデバイスキュー（ＡＤＱ）または同様の技術に従って、メモリ内の専用キューをアプリケーションまたはＶＥＥに割り当て得る。ＡＤＱの使用は、キューをアプリケーションまたはＶＥＥ専用にすることができ、これらのキューは、アプリケーションまたはＶＥＥによって排他的にアクセスされ得る。ＡＤＱは、異なるアプリケーションまたはＶＥＥが同じキューにアクセスすることを試みてロックまたは競合を引き起こし、パケット利用可能性の性能（例えば、レイテンシ）が予測不可能となする。る、ネットワークトラフィック競合を防ぐことができる。また、ＡＤＱは、受信されたパケットまたは伝送されるべきパケットについて、専用アプリケーションのトラフィックキューのサービス品質（ＱｏＳ）制御を提供する。例えば、ＡＤＱを使用して、スイッチ５０２は、パケットペイロードコンテンツを１つまたは複数のキューに割り当てることができ、１つまたは複数のキューは、アプリケーションまたはＶＥＥなどのソフトウェアによるアクセスにマッピングされる。いくつかの例において、スイッチ５０２は、ＡＤＱを利用して、パケットヘッダ処理動作のために１つまたは複数のキューを専用化し得る。
【0090】
図５Ｃは、スイッチ５０２（例えば、ＶＥＥ５０４もしくは５０６または固定デバイスもしくはプログラマブルデバイス）によるＮＵＭＡノード、ＣＰＵ、またはサーバ選択の例示的な方法を示す。例えば、リソースセレクタ５７２は、受信されたパケットのヘッダに対してハッシュ計算（例えば、パケットフロー識別子に対するハッシュ計算）を実行して、キュー（例えば、キュー５７６の中から）にマッピングするスイッチ５０２に格納された間接参照テーブルを決定し、これは転じて、ＮＵＭＡノード、ＣＰＵまたはサーバにマッピングする。リソースマッピング５７４は、間接参照テーブルおよびキューへのマッピング、ならびに、受信されたパケットのヘッダおよび／またはペイロードを、選択されたＮＵＭＡノード、ＣＰＵまたはサーバに関連付けられたメモリ（またはキャッシュ）にコピーするのにどの接続（例えば、ＣＸＬリンク、ＰＣＩｅ接続、またはＤＤＲインタフェース）を使用するべきかのインジケータを含み得る。いくつかの場合では、リソースセレクタ５７２は、ＲＳＳを実行して、ＮＵＭＡノード、ＣＰＵ、またはサーバを選択する。例えば、リソースセレクタ５７２は、受信されたパケットのヘッダおよび／またはペイロードを処理するために、サーバ５８０－１上のＮＵＭＡノード０におけるＣＰＵ１を選択し得る。サーバ上のＮＵＭＡノードは、ＵＰＩバスを横断することなくサーバ内のメモリに書き込むことを可能にするための、スイッチ５７０への自身の接続を有し得る。ＶＥＥは、１つまたは複数のコアまたはＣＰＵ上で実行され得、ＶＥＥは、受信されたペイロードを処理し得る。
【0091】
図５Ａを再度参照すると、パケットプロトコル処理を実行するために、ＶＥＥ５０４または５０６は、データプレーン開発キット（ＤＰＤＫ）、ストレージパフォーマンス開発キット（ＳＰＤＫ）、オープンデータプレーン、ネットワーク機能仮想化（ＮＦＶ）、ソフトウェアデファインドネットワーキング（ＳＤＮ）、進化型パケットコア（ＥＰＣ）、または５Ｇネットワークスライシングに基づくプロセスを実行し得る。ＮＦＶのいくつかの例示的な実装形態は、ＥＴＳＩのオープンソースＭａｎｏ（ＯＳＭ）グループの欧州電気通信標準化機構（ＥＴＳＩ）仕様またはオープンソースＮＦＶ管理およびオーケストレーション（ＭＡＮＯ）に記載されている。仮想ネットワーク機能（ＶＮＦ）は、ファイアウォール、ドメインネームシステム（ＤＮＳ）、キャッシュまたはネットワークアドレス変換（ＮＡＴ）などの汎用の構成可能ハードウェア上で実行される仮想化タスクのサービスチェーンまたはシーケンスを含み得、ＶＥＥにおいて動作し得る。ＶＮＦは、サービスチェーンとして共にリンクされ得る。いくつかの例において、ＥＰＣは、少なくとも、ロングタームエボリューション（ＬＴＥ）アクセスのための３ＧＰＰ（登録商標）固有のコアアーキテクチャである。５Ｇネットワークスライシングは、同じ物理ネットワークインフラストラクチャ上での仮想化された独立の論理ネットワークの多重化を提供し得る。
【0092】
いくつかの例において、任意のプロトコル処理、プロトコル終端、ネットワーク終端、またはオフロード動作は、スイッチ５０２において実行するＶＥＥの使用の代わりに、またはそれに加えて、スイッチ５０２においてプログラマブルまたは固定機能デバイスによって実行され得る。
【0093】
いくつかの例において、スイッチ５０２においてパケットを処理することにより、サーバにおいてパケット処理の判断がなされていたのと比較して、パケット処理（例えば、転送または破棄）のより速い判断が可能となり得る。加えて、パケット破棄の際に、サーバとスイッチとの間の接続の帯域幅の利用が節約され得る。パケットが悪意のあるアクティビティ（例えば、ＤＤｏＳ攻撃）に関連するものと識別された場合、パケットは破棄されて、サーバが悪意のあるアクティビティに潜在的に晒されることから保護する。
【0094】
スイッチ５０２の計算リソース上で動作するＶＥＥ５０４および５０６は、ネットワーク処理を完了し、得られたデータは、パケットを伝達するのに使用されたネットワークプロトコルにかかわらず、ＤＭＡ、ＲＤＭＡ、ＰＣＩｅ、ＣＸＬ．ｍｅｍを介して、ＶＥＥ５１４－０または５１４－１のためにデータバッファに転送される。換言すれば、スイッチ５０２の計算リソース上で動作するＶＥＥ５０４および５０６は、それぞれのサーバ５１０－０および５１０－１上で動作するそれぞれのＶＥＥ５１４－０または５１４－１のためのプロキシＶＥＥとして作用し得る。例えば、ＶＥＥ５０４または５０６は、プロトコルスタック処理を実行し得る。スイッチ５０２上で実行するＶＥＥ（例えば、ＶＥＥ５０４または５０６）は、ホストに対するソケットバッファエントリおよびバッファ内のデータ（例えば、５１２－０または５１２－１）を提供し得る。
【0095】
少なくとも、成功したプロトコル層処理と、ＡＣＬにおける任意の拒否条件の不存在に基づいて、パケットからのペイロードは、宛先サーバ（例えば、５１０－０または５１０－１）においてメモリバッファ（例えば、５１２－０または５１２－１）にコピーされ得る。例えば、ＶＥＥ５０４および５０６は、ダイレクトメモリアクセス（ＤＭＡ）またはＲＤＭＡ動作の性能に対して、パケットペイロードを、パケットペイロードを処理するＶＥＥ（例えば、ＶＥＥ５１４－０および５１４－１）に関連付けられたバッファにコピーさせ得る。記述子は、パケットを受信するのに利用可能なメモリまたはキャッシュの領域を識別するために、オーケストレータまたはＶＥＥ５１４－０および５１４－１によってスイッチ５００に提供されたデータ構造であり得る。いくつかの例において、ＶＥＥ５０４および５０６は、宛先サーバ（例えば、５１０－０または５１０－１）のバッファにおけるパケットペイロードの宛先位置を示す受信記述子を完成させ、完成された受信記述子を、パケットペイロードを処理するＶＥＥによるアクセスのためにコピーすることができる。
【0096】
いくつかの例において、スイッチ５０２は、そのラックまたは最適化されたサブセット内のサーバ上で実行するＶＥＥの各々について、ＶＥＥを実行することができる。いくつかの例において、スイッチ上で実行するＶＥＥのサブセットは、低レイテンシ要件でサーバ上で動作するＶＥＥに対応し得、主に、ネットワーク集中型であり、または他の基準である。
【0097】
いくつかの例において、スイッチ５０２は、スイッチ５０２がラック内の全てのＣＰＵ、メモリ、ストレージにアクセスすることを許可する接続を使用してサーバ５１０－０および５１０－１に接続される。オーケストレーション層は、スイッチ５０２の一部または全部におけるＶＥＥ、およびラック内の任意のサーバへのリソース割り当てを管理し得る。
【0098】
それぞれのサーバ５１０－０および５１０－１において実行するＶＥＥ５１４－０および５１４－１は、ポーリング（ｐｏｌｌｉｎｇ）モード、ビジーポール（ｂｕｓｙ ｐｏｌｌ）、または割込みなど、データ利用可能性を通知するモードを選択し得る。ポーリングモードは、バッファのステータスをアクティブにサンプリングして、新しいパケットの到達があるかどうかを決定することによる、新しいパケットのＶＥＥポーリングを含み得る。ビジーポーリングは、ソケット層のコードが受信キューをポーリングし、ネットワーク割込みを無効にすることを可能にし得る。割込みは、実行中のプロセスに、そのｓａｔｅを節約させ、割込みに関連付けられるプロセス（例えば、パケットまたはデータの処理）を実行させる。
【0099】
ラック内のサーバ５１０－０または５１０－１は、パケット処理のためにポーリングモードで動作する代わりに、割込みを受信することができる。割込みは、パケットごとではなく、むしろ、より高レベルのトランザクションのために、スイッチ５０２によってサーバに発行され得る。例えば、ＶＥＥ５１４－０または５１４－１がデータベースを動作させる場合、割込みは、レコード更新が多くのパケットを使用して提供する場合であっても、レコード更新が完了したときにＶＥＥ５０４または５０６によってＶＥＥ５１４－０または５１４－１に提供され得る。例えば、ＶＥＥ５１４－０または５１４－１がウェブサーバを動作させる場合、割込みは、１つまたは複数のパケットがフォームを提供しているにもかかわらず、完全なフォームを受信した後に、ＶＥＥ５０４または５０６によってＶＥＥ５１４－０または５１４－１に提供される。受信されたパケットまたはデータのポーリングは、任意の場合で使用され得る。
【0100】
図５Ｂは、サーバおよびスイッチ上のＶＥＥの組成の一例を示す。この例では、ＶＥＥ５５２は、スイッチ５５０上で実行して、サーバ５５０上で実行するＶＥＥ５６２によって処理されるべきペイロードを有するパケットに対して、プロトコル処理またはパケットプロトコル終端を実行する。ＶＥＥ５５２は、スイッチ５５０上の１つまたは複数のコア上で実行し得る。例えば、ＶＥＥ５５２は、ＴＣＰ／ＩＰまたは他のプロトコルまたはプロトコルの組み合わせを利用するパケットのパケットヘッダを処理し得る。ＶＥＥ５５２は、ソケットインタフェース５５４～ソケットインタフェース５６４および高速接続５５５（例えば、ＰＣＩｅ、ＣＸＬ、ＤＤＲｘ（ｘは整数である））を介して、処理されたパケットのペイロードをサーバ５６０内のソケットバッファ５６６に書き込み得る。ソケットバッファ５６６は、メモリアドレスとして表され得る。アプリケーション（例えば、ＶＥＥ５６２を実行するサーバ５６０において動作する）は、ソケットバッファ５６６にアクセスして、データを利用または処理し得る。ＶＥＥ５５２は、プロトコルスタック変更（例えば、ＴＣＰ Ｃｈｉｍｎｅｙ）のいずれも必要とすることなく、ＴＣＰオフロードエンジン（ＴＯＥ）の動作を提供し得る。
【0101】
いくつかの例において、ネットワーク終端は、スイッチ５５０のＶＥＥ５５２において行われ、サーバ５６０は、ソケットバッファ５６６内のいずれのパケットヘッダも受信しない。例えば、スイッチ５５０のＶＥＥ５５２は、イーサネット、ＩＰ、およびトランスポート層（例えば、ＴＣＰ、ＵＤＰ、ＱＵＩＣ）のヘッダのプロトコル処理を実行し得、そのようなヘッダは、サーバ５６０には提供されることはない。
【0102】
いくつかのアプリケーションは、それら自体のヘッダまたはマーカを有し、スイッチ５５０は、ペイロードデータに加えて、それらのヘッダまたはマーカをソケットバッファ５６６に転送またはコピーし得る。したがって、ＶＥＥ５６２は、データを伝送するのに使用したプロトコル（例えば、イーサネット、非同期転送モード（ＡＴＭ）、同期光ネットワーキング（ＳＯＮＥＴ）、同期デジタルハイアラーキ（ＳＤＨ）、およびトークンリングなどにかかわらず、ソケットバッファ５６６内のデータにアクセスし得る。
【0103】
いくつかの例において、ＶＥＥ５５２および５６２は、ネットワークサービスチェーン（ＮＳＣ）またはサービス機能チェーン（ＳＦＣ）として関連し得、これにより、ＶＥＥ５５２は、データを信頼できる環境内のＶＥＥ５６２に、または、少なくともメモリ空間を共有することによって渡す。ネットワークサービスＶＥＥ５５２は、アプリケーションサービスＶＥＥ５６２に連鎖され得、ＶＥＥ５５２および５６２は、層７のデータの受け渡しのための共有メモリバッファを有し得る。
【0104】
テレメトリ集約
データセンタにおいて、デバイス（例えば、コンピュートまたはメモリ）の利用および性能、ならびにソフトウェア性能を測定して、サーバ使用率、およびリソースまたはソフトウェアに対する調整をなすべきかなさないべきかを評価することができる。テレメトリデータの例は、デバイス温度の読み取り、アプリケーション監視、ネットワーク使用率、ディスクスペース使用率、メモリの消費、ＣＰＵ利用、ファン速度、ならびに、サーバ上で動作するＶＥＥアプリケーションからの固有のテレメトリストリームを含む。例えば、テレメトリデータは、プロセッサまたはコアの使用率の統計、デバイスおよびパーティションの入力／出力の統計、メモリ使利用情報、ストレージ利用情報、バスまたはインターコネクトの利用情報、実行された命令、被ったキャッシュミス、予測されるブランチミスなどのハードウェアイベントをカウントするプロセッサハードウェアレジスタに関するカウンタまたは性能監視イベントを含み得る。実行されているまたは完了しているワークロード要求の場合、以下のうちの１つまたは複数が収集され得る：限定はされないが、トップダウンマイクロアーキテクチャ法（Ｔｏｐ－ｄｏｗｎ Ｍｉｃｒｏ－Ａｒｃｈｉｔｅｃｔｕｒｅ Ｍｅｔｈｏｄ）（ＴＭＡＭ）、Ｕｎｉｘ（登録商標）システムアクティビティレポータ（ＳＡＲ）コマンドの実行、アプリケーションおよびシステムの性能をプロファイルできるＥｍｏｎコマンド監視ツールからの出力などのテレメトリデータ。しかしながら、限定はされないが、Ｌｉｎｕｘ ｐｅｒｆコマンド、Ｉｎｔｅｌ ＰＭＵツールキット、Ｉｏｓｔａｔ、ＶＴｕｎｅ Ａｍｐｌｉｆｉｅｒ、またはｍｏｎＣｌｉもしくは他のＩｎｔｅｌ Ｂｅｎｃｈｍａｒｋ Ｉｎｓｔａｌｌ ａｎｄ Ｔｅｓｔ Ｔｏｏｌ（Ｉｎｔｅｌ（登録商標）ＢＩＴＴ）ツールの使用からの出力を含む、様々な監視ツールからの出力などの追加の情報が収集され得る。他のテレメトリデータ、例えば、限定はされないが、消費電力およびプロセス間通信などが監視され得る。収集されたデーモンに関して説明されるものなどの、様々なテレメトリ技術が使用され得る。
データセンタにおいて、デバイス（例えば、コンピュートまたはメモリ）の利用および性能、ならびにソフトウェア性能を測定して、サーバ使用率、およびリソースまたはソフトウェアに対する調整をなすべきかなさないべきかを評価することができる。テレメトリデータの例は、デバイス温度の読み取り、アプリケーション監視、ネットワーク使用率、ディスクスペース使用率、メモリの消費、ＣＰＵ利用、ファン速度、ならびに、サーバ上で動作するＶＥＥアプリケーションからの固有のテレメトリストリームを含む。例えば、テレメトリデータは、プロセッサまたはコアの使用率の統計、デバイスおよびパーティションの入力／出力の統計、メモリ使利用情報、ストレージ利用情報、バスまたはインターコネクトの利用情報、実行された命令、被ったキャッシュミス、予測されるブランチミスなどのハードウェアイベントをカウントするプロセッサハードウェアレジスタに関するカウンタまたは性能監視イベントを含み得る。実行されているまたは完了しているワークロード要求の場合、以下のうちの１つまたは複数が収集され得る：限定はされないが、トップダウンマイクロアーキテクチャ法（Ｔｏｐ－ｄｏｗｎ Ｍｉｃｒｏ－Ａｒｃｈｉｔｅｃｔｕｒｅ Ｍｅｔｈｏｄ）（ＴＭＡＭ）、Ｕｎｉｘ（登録商標）システムアクティビティレポータ（ＳＡＲ）コマンドの実行、アプリケーションおよびシステムの性能をプロファイルできるＥｍｏｎコマンド監視ツールからの出力などのテレメトリデータ。しかしながら、限定はされないが、Ｌｉｎｕｘ ｐｅｒｆコマンド、Ｉｎｔｅｌ ＰＭＵツールキット、Ｉｏｓｔａｔ、ＶＴｕｎｅ Ａｍｐｌｉｆｉｅｒ、またはｍｏｎＣｌｉもしくは他のＩｎｔｅｌ Ｂｅｎｃｈｍａｒｋ Ｉｎｓｔａｌｌ ａｎｄ Ｔｅｓｔ Ｔｏｏｌ（Ｉｎｔｅｌ（登録商標）ＢＩＴＴ）ツールの使用からの出力を含む、様々な監視ツールからの出力などの追加の情報が収集され得る。他のテレメトリデータ、例えば、限定はされないが、消費電力およびプロセス間通信などが監視され得る。収集されたデーモンに関して説明されるものなどの、様々なテレメトリ技術が使用され得る。
【0105】
データセンタ内のＶＥＥがテレメトリデータを中央オーケストレータに伝送するため、帯域幅要件は莫大となり得、東西トラフィックはテレメトリデータによって圧倒され得る。いくつかの場合では、サーバによって重要性能インジケータ（ＫＰＩ）が提供され、これらのＫＰＩのうちの１つが問題を示す場合、サーバは、テレメトリのよりロバストなセットを送信して、より詳細な調査を可能にする。
【0106】
いくつかの実施形態では、サーバとスイッチとの間で高速接続が使用される場合、東西トラフィックに負荷をかけることなく、はるかにより多い情報がサーバからスイッチに受け渡され得る。スイッチは、過剰な東西トラフィックオーバヘッドでネットワークに負荷をかけることなく、より多くのテレメトリの最小セット（例えば、ＫＰＩ）をサーバから収集することができる。しかしながら、いくつかの例において、サーバは、エラーの場合などにより多くのデータまたは履歴が要求されない限り、ＫＰＩをスイッチに送信し得る。スイッチのために実行されたオーケストレータ（例えば、図２Ａのオーケストレーション制御プレーン２０２）は、拡張されたテレメトリデータ（例えば、図２Ａのテレメトリ２０４）を使用して、そのラック上のサーバの各々の利用可能な容量を決定することができ、複数のサーバのテレメトリを考慮して性能を最大化させるために、改良されたマルチサーバジョブ配置を提供することができる。
【0107】
ＶＥＥの実行および移行
図６は、オーケストレーション制御プレーンを実行して、どのデバイスがＶＥＥを実行するかを管理するスイッチの一例を示す。スイッチ６０２上で実行するオーケストレーション制御プレーン６０４は、適用可能なＳＬＡへの準拠の点から１つまたは複数のＶＥＥの性能を監視し得、ＶＥＥがＳＬＡ要件（例えば、アプリケーションの利用可能性（例えば、就業日に９９．９９９％であり、夕方または週末は９９．９％）、クエリもしくは他の呼び出しに対する最大許容応答時間、格納されたデータの実際の物理位置の要件、または暗号化もしくはセキュリティの要件）に準拠していない場合、または、ＳＬＡ要件の非遵守に近い範囲内である場合、オーケストレーション制御プレーン６０４は、１つまたは複数の新しいＶＥＥをインスタンス化して、ＶＥＥ間でワークロードを均衡させることができる。ワークロードが低下するにつれて、余剰のＶＥＥは分解されるかまたは非アクティブ化され、ロードが容量に達したときに使用するために別のＶＥＥ（または後の時間において同じＶＥＥ）に割り当てられるようにリソースを開放する。例えば、ワークロードは、パケットもしくはＭｅｍｃａｃｈｅｄサーバ、データベース、またはウェブサーバのためのプロトコル処理およびネットワーク終端など、少なくとも任意のタイプのアクティビティを含み得る。例えば、ＶＥＥ６０６はプロトコル処理を実行することができ、ワークロードが増加した場合、ＶＥＥ６０６の複数のインスタンスがスイッチ６０２上でインスタンス化され得る。
図６は、オーケストレーション制御プレーンを実行して、どのデバイスがＶＥＥを実行するかを管理するスイッチの一例を示す。スイッチ６０２上で実行するオーケストレーション制御プレーン６０４は、適用可能なＳＬＡへの準拠の点から１つまたは複数のＶＥＥの性能を監視し得、ＶＥＥがＳＬＡ要件（例えば、アプリケーションの利用可能性（例えば、就業日に９９．９９９％であり、夕方または週末は９９．９％）、クエリもしくは他の呼び出しに対する最大許容応答時間、格納されたデータの実際の物理位置の要件、または暗号化もしくはセキュリティの要件）に準拠していない場合、または、ＳＬＡ要件の非遵守に近い範囲内である場合、オーケストレーション制御プレーン６０４は、１つまたは複数の新しいＶＥＥをインスタンス化して、ＶＥＥ間でワークロードを均衡させることができる。ワークロードが低下するにつれて、余剰のＶＥＥは分解されるかまたは非アクティブ化され、ロードが容量に達したときに使用するために別のＶＥＥ（または後の時間において同じＶＥＥ）に割り当てられるようにリソースを開放する。例えば、ワークロードは、パケットもしくはＭｅｍｃａｃｈｅｄサーバ、データベース、またはウェブサーバのためのプロトコル処理およびネットワーク終端など、少なくとも任意のタイプのアクティビティを含み得る。例えば、ＶＥＥ６０６はプロトコル処理を実行することができ、ワークロードが増加した場合、ＶＥＥ６０６の複数のインスタンスがスイッチ６０２上でインスタンス化され得る。
【0108】
いくつかの例において、スイッチ６０２上で実行するオーケストレーション制御プレーン６０４は、スイッチ６０２またはサーバ上で実行する任意のＶＥＥを別のサーバ上での実行に移行するかどうかを決定し得る。例えば、移行は、ＶＥＥが実行しているスイッチ６０２のシャットダウンまたはリスタートに依存し得、これにより、ＶＥＥがサーバ上で実行させられ得る。例えば、ＶＥＥ移行は、ＶＥＥが実行しているサーバのシャットダウンまたはリスタートに依存し得、これにより、ＶＥＥがスイッチ６０２または別のサーバ上で実行させられ得る。
【0109】
いくつかの例において、オーケストレーション制御プレーン６０４は、特定のプロセッサ上でＶＥＥを実行するか、またはスイッチ６０２間もしくは任意のサーバ６０８－０～６０８－Ｎ間でＶＥＥを移行させるかを決定することができる。ＶＥＥ６０６またはＶＥＥ６１０は、必要に応じて、サーバからスイッチに、スイッチからサーバに、またはサーバから別のサーバに移行し得る。例えば、ＶＥＥ６０６は、サーバが再起動されることに関連して短期間だけスイッチ６０２上で実行し得、ＶＥＥは、再起動されたサーバまたは別のサーバに戻るように移行され得る。
【0110】
いくつかの例において、スイッチ６０２は、スイッチ６０２上で動作するＶＥＥ、またはスイッチ６０２に接続された任意のサーバ間の通信を可能にする仮想スイッチ（ｖＳｗｉｔｃｈ）を実行し得る。仮想スイッチは、Ｍｉｃｒｏｓｏｆｔ Ｈｙｐｅｒ－Ｖ、Ｏｐｅｎ ｖＳｗｉｔｃｈ、およびＶＭｗａｒｅ ｖＳｗｉｔｃｈｅｓなどを含み得る。
【0111】
スイッチ６０２は、そのＶＥＥのためのＳ－ＩＯＶ、ＳＲ－ＩＯＶ、またはＭＲ－ＩＯＶをサポートし得る。この例において、スイッチ６０２上で動作するＶＥＥは、Ｓ－ＩＯＶ、ＳＲ－ＩＯＶ、またはＭＲ－ＩＯＶを介して１つまたは複数のサーバ内のリソースを利用する。Ｓ－ＩＯＶ、ＳＲ－ＩＯＶ、またはＭＲ－ＩＯＶは、ＶＥＥにわたる接続またはバス共有を許可し得る。いくつかの例において、スイッチ６０２上で動作するＶＥＥがネットワーク終端プロキシＶＥＥとして動作する場合、ラック内およびスイッチ６０２内の１つまたは複数の対応するＶＥＥが１つまたは複数のサーバ上で動作する。スイッチ６０２上で動作するＶＥＥはパケットを処理することができ、サーバまたはスイッチ６０２上のコア上で動作するＶＥＥは、アプリケーション（例えば、データベースおよびウェブサーバなど）を実行することができる。ＳＩＯＶ、ＳＲ－ＩＯＶ、またはＭＲ－ＩＯＶ（または他のスキーム）の使用により、サーバリソースが構成されることが可能となり得、これにより、物理的に分散したサーバが論理的に１つのシステムとなるが、ネットワーク処理がスイッチ６０２で行われるようにタスクは分割されている。
【0112】
前述したように、スイッチ６０２は、ラック内の１つまたは複数のサーバ６０８－０～６０８－Ｎ上のリソースのうちの少なくともいくつかへの高速接続を使用することができ、それにより、ラック内のサーバのいずれかからのリソースへのアクセスが、スイッチ６０２上で動作するＶＥＥ６０６に提供される。オーケストレーション制御プレーン６０４は、ＶＥＥをリソースに効率的に割り当てることができ、単一のサーバにおいて実行され得ることに制限されないが、また、スイッチ６０２およびサーバ６０８－０～６０８－Ｎにおいて実行する。この特徴により、アクセラレータなど、潜在的に制約されたリソースが最適に割り当てられることが可能となる。
【0113】
図７Ａは、サーバから別のサーバへのＶＥＥの移行の一例を示す。例えば、ＶＥＥのライブ移行（例えば、Ｍｉｃｒｏｓｏｆｔ（登録商標）のＨｙｐｅｒＶまたはＶＭｗａｒｅ（登録商標）のｖＳｐｈｅｒｅ）を実行して、アクティブなＶＥＥを移行することができる。（１）において、ＶＥＥはＴＯＲスイッチに伝送される。（２）において、ＶＥＥは、データセンタコアネットワークを通じて伝送され、（３）において、ＶＥＥは、別のラックのＴＯＲスイッチに伝送される。（４）において、ＶＥＥはサーバに伝送され、ここで、ＶＥＥは、別のハードウェア環境における実行を開始し得る。
【0114】
図７Ｂは、ＶＥＥの移行の一例を示す。この例において、ＶＥＥは、スイッチおよびラック内の接続されたサーバのリソースを使用するスイッチ上で実行され得る。（１）において、ＶＥＥがスイッチからコアネットワークに伝送される。（２）において、ＶＥＥが実行のために別のスイッチに伝送される。別のスイッチは、スイッチおよびラック内の接続されたサーバのリソースを使用することができる。他の例において、図７Ａの例におけるように、ＶＥＥの宛先はサーバであり得る。したがって、サーバリソースを拡大したスイッチ上でＶＥＥを実行することにより、ＶＥＥの移行における工程がより少なくなり、ＶＥＥは、図７Ａのシナリオよりも図７Ｂのシナリオにおいてより早く実行を開始することができる。
【0115】
図８Ａは、例示的なプロセスを示す。プロセスは、様々な実施形態に従ってプロセッサを強化したスイッチによって実行され得る。８０２において、スイッチは、オーケストレーション制御プレーンを実行するように構成され得る。例えば、オーケストレーション制御プレーンは、スイッチ、およびスイッチと同じラック内にある、スイッチに接続された１つまたは複数のサーバのコンピュート、メモリ、およびソフトウェアリソースを管理し得る。サーバは、仮想化実行環境の実行を制御するハイパーバイザを実行することができ、また、オーケストレーション制御プレーンによる構成を許可するまたは許可しない。例えば、スイッチとサーバとの間の通信を提供するために接続が使用され得る。オーケストレーション制御プレーンは、テレメトリがデータセンタ内の東西トラフィックに寄与することなく、接続を介してラック内のサーバからテレメトリを受信することができる。接続の様々な例は本明細書で説明されている。
【0116】
８０４において、スイッチは、仮想化実行環境を実行して、サーバ上で実行する少なくとも１つの仮想化実行環境のためのプロトコル処理を実行するように構成され得る。プロトコル処理の様々な例は本明細書で説明されている。いくつかの例において、スイッチは、受信されたパケットのネットワーク終端を実行し、受信されたパケットからのデータをサーバまたはスイッチのメモリバッファに提供し得る。しかしながら、仮想化実行環境は、パケットまたはプロトコル処理に関する、またはそれとは無関係の、任意のタイプの動作を実行し得る。例えば、仮想化実行環境は、Ｍｅｍｃａｃｈｅｄサーバを実行するか、または別のラック内、またはデータセンタの外部のメモリデバイス、またはウェブサーバもしくはデータベースからデータを取得することができる。
【0117】
８０６において、オーケストレーション制御プレーンは、仮想化実行環境へのリソースの割り当てを変更するかどうかを決定することができる。例えば、仮想化実行環境のための適用可能なＳＬＡまたは仮想化実行環境により処理されるパケットのフローが満たされているか満たされていないかに基づいて、オーケストレーション制御プレーンは、仮想化実行環境へのリソースの割り当てを変更するかどうかを決定することができる。ＳＬＡが満たされていないか、または違反する可能性が高いと見なされるシナリオの場合、８０８において、オーケストレーション制御プレーンは、仮想化実行環境による使用のための追加のコンピューティング、ネットワーキング、またはメモリリソースを追加し得るか、または、１つまたは複数の追加の仮想化実行環境をインスタンス化して処理を補助し得る。いくつかの例において、仮想化実行環境は、リソース可用性を改善するためにスイッチからサーバに移行され得る。
【0118】
ＳＬＡが満たされているシナリオの場合、プロセスは８０６に戻る。いくつかの場合では、パケット処理アクティビティが低いまたはアイドル状態である場合、オーケストレーション制御プレーンは、仮想化実行環境が利用可能な計算リソースの割り当て解除を行い得ることに留意されたい。いくつかの例において、ＳＬＡが満たされている場合、仮想化実行環境は、利用する別の仮想化実行環境のためのリソースを提供するためにスイッチからサーバに移行され得る。
【0119】
図８Ｂは、例示的なプロセスを示す。プロセスは、様々な実施形態に従ってプロセッサを強化したスイッチによって実行され得る。８２０において、スイッチ上で実行する仮想化実行環境は、受信されたパケットのパケット処理を実行することができる。パケット処理は、ヘッダ解析、フロー識別情報、セグメンテーション、再アセンブリ、受信確認（ＡＣＫ）、否定確認（ＮＡＣＫ）、パケット再伝送識別情報および要求、輻輳管理（例えば、トランスミッタのフロー制御）、チェックサム確認、復号、暗号化、またはセキュアトンネリング（例えば、トランスポート層セキュリティ（ＴＬＳ）もしくはセキュアソケット層（ＳＳＬ））、または他の動作のうちの１つまたは複数を含み得る。例えば、仮想化実行環境を処理するパケットおよびプロトコルは、ポーリング、ビジーポーリングを実行し得るか、または、割込みに依存して、１つまたは複数のポートからパケットバッファにおいて受信された、新たに受信したパケットを検出し得る。新たに受信したパケットの検出に基づいて、仮想化実行環境は受信されたパケットを処理する。
【0120】
８２２において、スイッチ上で実行する仮想化実行環境は、パケットからのデータを利用可能に可能するか破棄するかを決定し得る。例えば、パケットがアクセス制御リスト（ＡＣＬ）の拒否ステータスを条件とする場合、パケットは破棄され得る。データが、次の仮想化実行環境に提供されるものと決定された場合、プロセスは８２４に進み得る。パケットが破棄されるものと決定された場合、プロセスは８２６に進み得、ここでパケットが破棄される。
【0121】
８２４において、仮想化実行環境は、サーバ上で実行する仮想化実行環境に、データが利用可能であることを通知し、サーバ上で実行する仮想化実行環境によるアクセスのためにデータを提供し得る。スイッチ上で実行する仮想化実行環境により、データが、サーバ上で実行する仮想化実行環境にアクセス可能なバッファにコピーさせられ得る。例えば、データをバッファにコピーするために、ダイレクトメモリアクセス（ＤＭＡ）、ＲＤＭＡ、または他のダイレクトコピースキームが使用され得る。他の例において、データは、処理のために、スイッチ上で実行される仮想化実行環境に利用可能にされる。
【0122】
図８Ｃは、例示的なプロセスを示す。プロセスは、様々な実施形態に従ってプロセッサを強化したスイッチによって実行され得る。８３０において、スイッチは、仮想化実行環境を実行して、スイッチと同じもしくは異なるラック内のデバイスからのデータの取得、またはスイッチと同じもしくは異なるラック内のデバイスへのデータのコピーを実行するように構成され得る。
【0123】
８３２において、仮想化実行環境は、メモリアドレスに関連付けられた宛先デバイスの情報を含むように構成され得る。例えば、情報は、メモリトランザクションにおけるメモリアドレスに対応する宛先デバイスまたはサーバ（例えば、ＩＰアドレスまたはＭＡＣアドレス）の変換を示し得る。例えば、読み取りメモリトランザクションの場合、デバイスまたはサーバは、メモリアドレスに対応するデータを格納し得、データは、デバイスまたはサーバにおいてメモリアドレスから読み取られ得る。例えば、書き込みメモリトランザクションの場合、デバイスまたはサーバは、書き込みトランザクションのための対処に対応するデータを受信および格納し得る。
【0124】
８３４において、スイッチは、同じラックのサーバからメモリアクセス要求を受信し得る。８３６において、スイッチ上で実行する仮想化実行環境は、メモリアクセス要求を管理し得る。いくつかの例において、８３６の性能は８３８の性能を含み得、スイッチ上で実行する仮想化実行環境は、メモリアクセス要求を宛先サーバに転送し得る。いくつかの例において、メモリアクセス要求がサーバに送信されるが、サーバが要求されたデータを格納していない場合、スイッチは、メモリアクセス要求を、転じて要求を宛先サーバに送信することになるサーバに送信する代わりに、メモリアクセス要求を、要求されたデータを格納する宛先サーバにリダイレクトし得る。
【0125】
いくつかの例において、８３６の性能は８４０の性能を含み得、スイッチ上で実行する仮想化実行環境は、メモリアクセス要求を実行し得る。メモリアクセス要求が書き込みコマンドである場合、仮想化実行環境は、同じまたは異なるラック内のデバイスにおけるメモリアクセス要求に対応するメモリアドレスにデータを書き込み得る。メモリアクセス要求が読み取りコマンドである場合、仮想化実行環境は、同じまたは異なるラック内のデバイスにおけるメモリアクセス要求に対応するメモリアドレスからデータをコピーし得る。例えば、データの書き込みまたは読み取りに、リモートダイレクトメモリアクセスが使用され得る。
【0126】
読み取り要求の場合、スイッチは、スイッチに接続されたサーバによるアクセスのために、データをローカルにキャッシュし得る。オーケストレーション制御プレーンがスイッチおよびサーバのメモリリソースを管理する場合、ラックの任意のサーバ上で実行する任意の仮想化実行環境がデータにアクセスするまたはそれを修正することができるように、取得したデータは、スイッチまたは任意のサーバのメモリデバイスに格納され得る。例えば、スイッチ、およびラックのサーバにアクセス可能であるメモリデバイスは、ニアメモリとしてデータにアクセスすることができる。データが更新された場合、スイッチは、データを格納する更新済みデータをメモリデバイスに書き込み得る。
【0127】
例えば、ブロック８４０は、スイッチがＭｅｍｃａｃｈｅｄサーバを実行し、データは、スイッチと同じラック内にあるサーバに格納されるシナリオにおいて実行され得る。スイッチ上で実行するＭｅｍｃａｃｈｅｄサーバは、別のサーバからデータを取得し、取得したデータを、ラックのメモリまたはストレージ内のキャッシュに格納することによって、キャッシュミスに対応するメモリアクセス要求に応答し得る。
【0128】
図９は、システムを示す。システムは、スイッチを利用して、システム内のリソースを管理し、本明細書で説明される他の実施形態を実行し得る。システム９００は、システム９００のための処理、動作管理および命令の実行を提供するプロセッサ９１０を含む。プロセッサ９１０は、システム９００に処理を提供するための任意のタイプのマイクロプロセッサ、中央処理ユニット（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、処理コアもしくは他の処理ハードウェアまたはプロセッサの組み合わせを含んでよい。プロセッサ９１０は、システム９００の動作全体を制御し、プロセッサ９１０は、１つまたは複数のプログラマブル汎用マイクロプロセッサまたはプログラマブル専用マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、プログラマブルコントローラ、特定用途向け集積回路（ＡＳＩＣ）、プログラマブルロジックデバイス（ＰＬＤ）、または同様のもの、あるいはそのようなデバイスの組み合わせであってよく、またはそれらを含んでよい。
【0129】
一例において、システム９００は、プロセッサ９１０に結合されたインタフェース９１２を含み、これは、メモリサブシステム９２０もしくはグラフィックスインタフェースコンポーネント９４０、またはアクセラレータ９４２などの、より高帯域幅の接続を必要とするシステムコンポーネントのための高速インタフェースまたは高スループットインタフェースを表し得る。インタフェース９１２は、スタンドアロン型コンポーネントであり得るまたはプロセッサダイ上に統合され得るインタフェース回路を表す。存在する場合、グラフィックスインタフェース９４０は、システム９００のユーザに視覚表示を提供するためのグラフィックスコンポーネントにインタフェースする。一例において、グラフィックスインタフェース９４０は、ユーザに出力を提供する高細精度（ＨＤ）ディスプレイを駆動し得る。高解像度とは、約１００ＰＰＩ（インチ当たりの画素）以上の画素密度を有するディスプレイを指してよく、フルＨＤ（例えば、１０８０ｐ）、Ｒｅｔｉｎａディスプレイ、４Ｋ（超高解像度またはＵＨＤ）またはその他などのフォーマットを含んでよい。一例において、ディスプレイは、タッチスクリーンディスプレイを含むことができる。一例において、グラフィックスインタフェース９４０は、メモリ９３０に格納されたデータに基づいて、もしくはプロセッサ９１０によって実行される動作に基づいて、またはその両方に基づいて、ディスプレイを生成する。一例において、グラフィックスインタフェース９４０は、メモリ９３０に格納されたデータに基づいて、もしくはプロセッサ９１０によって実行される動作に基づいて、またはその両方に基づいて、ディスプレイを生成する。
【0130】
アクセラレータ９４２は、プロセッサ９１０によりアクセスまたは使用され得る、プログラマブル機能または固定機能のオフロードエンジンであり得る。例えば、アクセラレータ９４２中の１つのアクセラレータは、圧縮（ＤＣ）機能、公開鍵暗号化（ＰＫＥ）、サイファ（ｃｉｐｈｅｒ）、ハッシュ／認証機能、復号などの暗号サービス、または他の機能もしくはサービスを提供してよい。いくつかの実施形態では、追加的にまたは代替的に、アクセラレータ９４２中の１つのアクセラレータは、本明細書で説明されるフィールド選択コントローラ機能を提供する。いくつかの場合では、様々なデバイス（例えば、ＣＰＵを含み、ＣＰＵとの電気インタフェースを提供するマザーボードまたは回路基板へのコネクタ）アクセラレータ９４２は、ＣＰＵに統合されるかまたはＣＰＵに接続され得る。例えば、アクセラレータ９４２は、シングルコアプロセッサもしくはマルチコアプロセッサ、グラフィックス処理ユニット、論理実行ユニットのシングルレベルキャッシュもしくは論理実行ユニットのマルチレベルキャッシュ、プログラムもしくはスレッドを独立的に実行するために使用可能な機能ユニット、特定用途向け集積回路（ＡＳＩＣ）、ニューラルネットワークプロセッサ（ＮＮＰ）、プログラマブル制御ロジック、および、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などのプログラマブル処理要素を含んでよい。アクセラレータ９４２は、複数のニューラルネットワーク、ＣＰＵ、プロセッサコア、汎用グラフィックス処理ユニット、またはグラフィックス処理ユニットを、人工知能（ＡＩ）または機械学習（ＭＬ）モデルが使用できるように提供することができる。例えば、ＡＩモデルは、強化学習スキーム、Ｑ学習スキーム、深層Ｑ学習、またはＡｓｙｎｃｈｒｏｎｏｕｓ Ａｄｖａｎｔａｇｅ Ａｃｔｏｒ－Ｃｒｉｔｉｃ（Ａ３Ｃ）、組み合わせニューラルネットワーク、再帰組み合わせニューラルネットワーク、または他のＡＩもしくはＭＬモデルのいずれかまたは組み合わせを使用し得る、または含み得る。複数のニューラルネットワーク、プロセッサコアまたはグラフィックス処理ユニットが、ＡＩモデルもしくはＭＬモデルによる使用のために利用可能にされてよい。
【0131】
メモリサブシステム９２０は、システム９００のメインメモリを表し、プロセッサ９１０により実行されるコードまたはルーチンを実行するのに使用されるデータ値のためのストレージを提供する。メモリサブシステム９２０は、リードオンリメモリ（ＲＯＭ）、フラッシュメモリ、ＤＲＡＭなどの１つまたは複数の多様なランダムアクセスメモリ（ＲＡＭ）、または他のメモリデバイス、またはそのようなデバイスの組み合わせなどの１つまたは複数のメモリデバイス９３０を含み得る。メモリ９３０は、とりわけ、システム９００内で命令を実行するためのソフトウェアプラットフォームを提供するためのオペレーティングシステム（ＯＳ）９３２を格納およびホストする。さらに、アプリケーション９３４は、メモリ９３０からＯＳ９３２のソフトウェアプラットフォーム上で実行することができる。アプリケーション９３４は、１つまたは複数の機能の実行を行うための独自の動作ロジックを有するプログラムを表す。プロセス９３６は、ＯＳ９３２、もしくは１つまたは複数のアプリケーション９３４、またはこれらの組み合わせに補助機能を提供するエージェントまたはルーチンを表す。ＯＳ９３２、アプリケーション９３４および処理９３６は、システム９００用の機能を提供するためのソフトウェアロジックを提供する。一例において、メモリサブシステム９２０はメモリコントローラ９２２を含み、メモリコントローラ９２２は、コマンドを生成してメモリ９３０に発行するためのメモリコントローラである。メモリコントローラ９２２は、プロセッサ９１０の物理的部分またはインタフェース９１２の物理的部分であり得ることが理解されるであろう。例えば、メモリコントローラ９２２は、プロセッサ９１０を有する回路に統合された統合メモリコントローラであり得る。
【0132】
具体的に示されていないが、システム９００が、メモリバス、グラフィックスバス、インタフェースバス、または他のものなどの１つまたは複数のバスまたはバスシステムをデバイス間に含み得ることが理解されるであろう。バスまたは他の信号線は、コンポーネントを互いに通信可能または電気的に結合するか、またはコンポーネントを通信可能かつ電気的に結合することができる。バスは、物理的通信回線、ポイントツーポイント接続、ブリッジ、アダプタ、コントローラ、もしくは他の回路、またはこれらの組み合わせを含むことができる。バスは例えば、システムバス、ペリフェラルコンポーネントインターコネクト（ＰＣＩ）バス、ハイパートランスポートもしくは業界標準アーキテクチャ（ＩＳＡ）バス、スモールコンピュータシステムインタフェース（ＳＣＳＩ）バス、ユニバーサルシリアルバス（ＵＳＢ）、または米国電気電子学会（ＩＥＥＥ）規格１３９４バス（ファイヤワイヤ）のうちの１つまたは複数を含み得る。
【0133】
一例において、システム９００は、インタフェース９１２に結合され得るインタフェース９１４を含む。一例において、インタフェース９１４は、スタンドアロン型コンポーネントと集積回路とを含み得るインタフェース回路を表す。一例において、複数のユーザインタフェースコンポーネントもしくは周辺コンポーネントまたはその両方がインタフェース９１４に結合する。ネットワークインタフェース９５０は、１つまたは複数のネットワーク経由でリモートデバイス（例えばサーバまたは他のコンピューティングデバイス）と通信する能力をシステム９００に提供する。ネットワークインタフェース９５０は、イーサネット（登録商標）アダプタ、無線相互接続コンポーネント、セルラネットワーク相互接続コンポーネント、ＵＳＢ（ユニバーサルシリアルバス）、または他の有線規格ベースもしくは無線規格ベースのインタフェースまたは独自のインタフェースを含むことができる。ネットワークインタフェース９５０は、同じデータセンタまたはラック内にあるデバイス、またはリモートデバイスにデータを伝送することができ、メモリに格納されたデータを送信することを含むこともできる。ネットワークインタフェース９５０は、リモートデバイスからデータを受信してよく、リモートデバイスは、受信されたデータをメモリに格納することを含んでよい。様々な実施形態が、ネットワークインタフェース９５０、プロセッサ９１０、およびメモリサブシステム９２０と連携して用いられてよい。
【0134】
一例において、システム９００は、１つまたは複数の入力／出力（Ｉ／Ｏ）インタフェース９６０を含む。Ｉ／Ｏインタフェース９６０は、１つまたは複数のインタフェースコンポーネントを含み得る。当該インタフェースコンポーネントを通じて、ユーザは、システム９００とやり取りする（例えば、音声、英数字、触覚／タッチまたは他のインタフェース）。周辺インタフェース９７０は、具体的には上述されていない任意のハードウェアインタフェースを含み得る。一般にペリフェラルとは、システム９００に依存的に接続されるデバイスを指す。依存接続とは、システム９００が、動作が実行され、かつ、ユーザがやり取りするソフトウェアプラットフォームまたはハードウェアプラットフォームまたはその両方を提供するものである。
【0135】
一例において、システム９００は、不揮発性方式でデータを格納ためのストレージサブシステム９８０を含む。一例において、いくつかのシステム実装例において、ストレージ９８０の少なくとも特定のコンポーネントは、メモリサブシステム９２０のコンポーネントと重複し得る。ストレージサブシステム９８０は、１つまたは複数の磁気、ソリッドステート、または光ベースディスク、またはこれらの組み合わせなど、不揮発的に大量のデータを格納するための任意の従来の媒体であってよく、またはそれらを含んでよいストレージデバイス９８４を含む。ストレージ９８４は、コードまたは命令およびデータ９８６を永続的状態で保持する（例えば、システム９００への電力供給の遮断にかかわらず、値は保持される）。メモリ９３０は、典型的には、プロセッサ９１０に命令を提供する実行または動作メモリであるが、ストレージ９８４は、一般に「メモリ」と見なすことができる。ストレージ９８４は不揮発性であるが、メモリ９３０は揮発性メモリを含むことができる（例えば、システム９００への電力供給が遮断された場合、データの値または状態は不確定である）。一例において、ストレージサブシステム９８０は、ストレージ９８４とインタフェースするためのコントローラ９８２を含む。一例において、コントローラ９８２は、インタフェース９１４またはプロセッサ９１０の物理的部分である、または、プロセッサ９１０およびインタフェース９１４の両方における回路またはロジックを含み得る。
【0136】
揮発性メモリは、デバイスへの電力が遮断された場合に、その状態（したがって、内部に格納されたデータ）が不確定になるメモリである。動的揮発性メモリは、状態を維持するためにデバイスに格納されたデータをリフレッシュする必要がある。動的揮発性メモリの一例には、ＤＲＡＭ（ダイナミックランダムアクセスメモリ）、または同期式ＤＲＡＭ（ＳＤＲＡＭ）などの何らかの変形が含まれる。揮発性メモリの別の例には、キャッシュまたはスタティックランダムアクセスメモリ（ＳＲＡＭ）が含まれる。本明細書に記載されるように、メモリサブシステムは、ＤＤＲ３（ダブルデータレートバージョン３、２００７年６月２７日にＪＥＤＥＣ（半導体技術協会）によって最初にリリース）などの多くのメモリ技術と互換性があり得る。ＤＤＲ４（ＤＤＲバージョン４、ＪＥＤＥＣによって２０１２年９月に公開された初期仕様）、ＤＤＲ４Ｅ（ＤＤＲバージョン４）、ＬＰＤＤＲ３（Ｌｏｗ Ｐｏｗｅｒ ＤＤＲバージョン３、ＪＥＳＤ２０９－３Ｂ、ＪＥＤＥＣによって２０１３年８月に公開された）、ＬＰＤＤＲ４（ＬＰＤＤＲバージョン４、ＪＥＳＤ２０９－４、２０１４年８月にＪＥＤＥＣによって最初に公開された）、ＷＩＯ２（Ｗｉｄｅ Ｉｎｐｕｔ／Ｏｕｔｐｕｔバージョン２、ＪＥＳＤ２２９－２、２０１４年１０月にＪＥＤＥＣによって最初に公開された）、ＨＢＭ（高帯域幅メモリ、ＪＥＳＤ３２５、２０１３年１０月にＪＥＤＥＣによって最初に公開された）、ＬＰＤＤＲ５（ＪＥＤＥＣによって現在審議中）、ＪＥＤＥＣによって現在審議中のＨＢＭ２（ＨＢＭバージョン２）など、またはその他、またはメモリ技術の組み合わせ、およびこのような仕様の派生版もしくは拡張版に基づく技術である。例えば、ＤＤＲまたはＤＤＲｘは、ＤＤＲの任意のバージョンを指してよく、ｘは整数である。
【0137】
不揮発性メモリデバイス（ＮＶＭ）は、デバイスへの電力が遮断されてもその状態が確定しているメモリである。一実施形態において、ＮＶＭデバイスにはブロックアドレス指定可能メモリデバイスが含まれてよく、例えば、ＮＡＮＤ技術、またはより具体的には、マルチスレッショルドレベルＮＡＮＤフラッシュメモリ（例えば、シングルレベルセル（"ＳＬＣ"）、マルチレベルセル（"ＭＬＣ"）、クワッドレベルセル（"ＱＬＣ"）、トリレベルセル（"ＴＬＣ"）またはいくつかの他のＮＡＮＤ）が挙げられる。ＮＶＭデバイスとしては、シングルレベルもしくはマルチレベル相変化メモリ（ＰＣＭ）またはスイッチ付き相変化メモリ（ＰＣＭＳ）などの、バイトアドレス指定可能なライトインプレイス（ｗｒｉｔｅ－ｉｎ－ｐｌａｃｅ）３次元クロス・ポイントメモリデバイスあるいは他のバイトアドレス指定可能なライトインプレイスＮＶＭデバイス（永続メモリとも称される）、カルコゲナイド系相変化材料（例えば、カルコゲナイドガラス）を使用するＮＶＭデバイス、金属酸化物ベース、酸素空孔ベースおよび導電性ブリッジランダムアクセスメモリ（ＣＢ－ＲＡＭ）を含む抵抗メモリ、ナノワイヤメモリ、強誘電体ランダムアクセスメモリ（ＦｅＲＡＭ、ＦＲＡＭ（登録商標））、メモリスタ技術を組み込んだ磁気抵抗ランダムアクセスメモリ（ＭＲＡＭ）、スピントランスファトルク（ＳＴＴ）ＭＲＡＭ、スピントロニクス磁気接合メモリベースのデバイス、磁気トンネル接合（ＭＴＪ）ベースのデバイス、ＤＷ（磁壁）およびＳＯＴ（スピン軌道トランスファ）ベースのデバイス、サイリスタベースのメモリデバイス、または上記のいずれかの組み合わせ、または他のメモリを挙げることができる。
【0138】
電源（図示せず）は、システム９００のコンポーネントに電力を提供する。より具体的には、電源は典型的には、システム９００のコンポーネントに電力を提供するためのシステム９００内の１つまたは複数の電力供給装置とのインタフェースを取る。一例において、電力供給装置は、壁コンセントに差し込むＡＣ－ＤＣ（交流から直流）アダプタを含む。そのようなＡＣ電力は、再生可能エネルギー（例えば、太陽光発電）電源であり得る。一例において、電源は、外付けＡＣ－ＤＣ変換器などのＤＣ電源を含む。一例において、電源または電力供給装置は、充電場への近接を介して充電するためのワイヤレス充電ハードウェアを含む。一例において、電源は、内蔵バッテリ、交流電流供給部、モーションベースの電力供給装置、太陽光電力供給装置、または燃料電池電源を含み得る。
【0139】
一例において、システム９００は、プロセッサ、メモリ、ストレージ、ネットワークインタフェース、および他のコンポーネントの相互接続されたコンピュートスレッドを使用して実装され得る。ＰＣＩｅ、イーサネット、または光インターコネクトなどの高速相互接続（またはこれらの組み合わせ）が使用されてよい。
【0140】
一例において、システム９００は、プロセッサ、メモリ、ストレージ、ネットワークインタフェース、および他のコンポーネント相互接続されたコンピュートスレッドを使用して実装され得る。イーサネット（ＩＥＥＥ８０２．３）、リモートダイレクトメモリアクセス（ＲＤＭＡ）、インフィニバンド、インターネットワイドエリアＲＤＭＡプロトコル（ｉＷａｒｐ）、伝送制御プロトコル（ＴＣＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、クイックユーザデータグラムプロトコルインターネット接続（ＱＵＩＣ）、ＲＤＭＡ ｏｖｅｒ Ｃｏｎｖｅｒｇｅｄ Ｅｔｈｅｒｎｅｔ（ＲｏＣＥ）、ペリフェラルコンポーネントインターコネクトエクスプレス（ＰＣＩｅ）、Ｉｎｔｅｌクイックパスインターコネクト（ＱＰＩ）、Ｉｎｔｅｌウルトラパスインターコネクト（ＵＰＩ）、Ｉｎｔｅｌオンチップシステムファブリック（ＩＯＳＦ）、オムニパス、コンピュートエクスプレスリンク（ＣＸＬ）、ハイパートランスポート、高速ファブリック、ＮＶＬｉｎｋ、アドバンスドマイクロコントローラバスアーキテクチャ（ＡＭＢＡ）インターコネクト、ＯｐｅｎＣＡＰＩ、Ｇｅｎ－Ｚ、Ｃａｃｈｅ Ｃｏｈｅｒｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ ｆｏｒ Ａｃｃｅｌｅｒａｔｏｒｓ（ＣＣＩＸ）、３ＧＰＰロングタームエボリューション（ＬＴＥ）（４Ｇ）、３ＧＰＰ ５Ｇ、およびそれらの変形などの高速インターコネクトが使用され得る。
【0141】
本明細書の実施形態は、様々なタイプの計算、スマートフォン、タブレット、パーソナルコンピュータ、およびネットワーキング機器、例えば、スイッチ、ルータ、ラック、およびブレードサーバ、例えば、データセンタおよび／またはサーバファーム環境において用いられるものにおいて実装され得る。データセンタおよびサーバファームで使用されるサーバは、ラックベースのサーバまたはブレードサーバなどのアレイのサーバ構成を備える。これらのサーバは、様々なネットワークプロビジョニングを介して通信するように相互接続され、例えば、サーバのセットをローカルエリアネットワーク（ＬＡＮ）にパーティショニングし、ＬＡＮは、ＬＡＮ間に適切なスイッチ機能およびルーティング機能を有し、プライベートイントラネットを形成する。例えば、クラウドホスト機能は通常、多数のサーバを持つ大規模なデータセンタを用いてよい。ブレードは、サーバタイプの機能を実行するように構成された別個のコンピューティングプラットフォームを含み、すなわち、「カード上のサーバ（ｓｅｒｖｅｒ ｏｎ ａ ｃａｒｄ）」である。したがって、各ブレードは、従来のサーバと共通のコンポーネントを含み、これには、適切な集積回路（ＩＣ）と基板に搭載された他のコンポーネントとを結合するための内部配線（例えば、バス）を提供するメインプリント回路基板（メインボード）が含まれる。
【0142】
図１０は、各々がトップオブラック（ＴｏＲ）スイッチ１００４と、ポッドマネージャ１００６と、複数のプールされたシステムドロワとを含む、複数のコンピューティングラック１００２を含む環境１０００を示す。本明細書のスイッチの実施形態を使用して、デバイスリソース、仮想実行環境動作、および、ＶＥＥに対するデータ局所性（例えば、ＶＥＥを実行するものと同じラック内でのデータの格納）を管理することができる。一般に、プールされたシステムドロワは、プールされたコンピュートドロワとプールされたストレージドロワを含んでよい。任意選択的に、プールされたシステムドロワは、プールされたメモリドロワおよびプールされた入力／出力（Ｉ／Ｏ）ドロワも含み得る。図示された実施形態では、プールされたシステムドロワは、Ｉｎｔｅｌ（登録商標）ＸＥＯＮ（登録商標）プールされたコンピュータドロワ１００８、およびＩｎｔｅｌ（登録商標）ＡＴＯＭプールされたコンピュートドロワ１０１０、プールされたストレージドロワ１０１２、プールされたメモリドロワ１０１４、およびプールされたＩ／Ｏドロワ１０１６を含む。プールされたシステムドロワの各々は、４０ギガビット／秒（Ｇｂ／ｓ）または１００Ｇｂ／ｓのイーサネットリンクまたは１００＋Ｇｂ／ｓのシリコンフォトニクス（ＳｉＰｈ）光リンクなどの高速リンク１０１８を介してＴｏＲスイッチ１００４に接続される。
【0143】
ネットワーク１０２０への接続によって示されるように、コンピューティングラック１００２のうちの複数は、それらのＴｏＲスイッチ１００４を介して（例えば、ポッドレベルのスイッチまたはデータセンタスイッチに）相互接続され得る。いくつかの実施形態では、コンピューティングラック１００２のグループは、ポッドマネージャ１００６を介して別個のポッドとして管理される。一実施形態において、単一のポッドマネージャを使用して、ポッド内の全てのラックを管理する。代替的に、分散ポッドマネージャをポッド管理動作に使用され得る。
【0144】
環境１０００はさらに、環境の様々な態様を管理するのに使用される管理インタフェース１０２２を含む。これは、ラック構成を管理することを含み、対応するパラメータは、ラック構成データ１０２４として格納される。
【0145】
図１１は、本明細書のスイッチの実施形態によって使用され得る例示的なネットワーク要素を示す。スイッチの様々な実施形態は、ネットワークインタフェース１１００の任意の動作を実行することができる。いくつかの例において、ネットワークインタフェース１１０は、ネットワークインタフェースコントローラ、ネットワークインタフェースカード、ホストファブリックインタフェース（ＨＦＩ）、ホストバスアダプタ（ＨＢＡ）として実装され得る。ネットワークインタフェース１１００は、バス、ＰＣＩｅ、ＣＸＬ、またはＤＤＲｘを使用して１つまたは複数のサーバに結合され得る。いくつかの例において、ネットワークインタフェース１１００は、１つまたは複数のプロセッサを含むシステムオンチップ（ＳｏＣ）の一部として具現化されてもよく、１つまたは複数のプロセッサをやはり含むマルチチップパッケージに含まれてもよい。
【0146】
ネットワークインタフェース１１００は、トランシーバ１１０２、プロセッサ１１０４、伝送キュー１１０６、受信キュー１１０８、メモリ１１１０、およびバスインタフェース１１１２、およびＤＭＡエンジン１１５２を含み得る。トランシーバ１１０２は、他のプロトコルが使用され得るものの、ＩＥＥＥ８０２．３に記載されるようなイーサネットなどの適用可能なプロトコルに適合したパケットの受信および伝送が可能である。トランシーバ１１０２は、ネットワーク媒体（図示せず）を介してネットワークからパケットを受信し、ネットワークにパケットを伝送することができる。トランシーバ１１０２は、ＰＨＹ回路１１１４およびメディアアクセスコントロール（ＭＡＣ）回路１１１６を含み得る。ＰＨＹ回路１１１４は、適用可能な物理層の仕様または規格に従ってデータパケットをエンコードおよびデコードするためのエンコードおよびデコード回路（図示せず）を含み得る。ＭＡＣ回路１１１６は、伝送されるべきデータを、ネットワーク制御情報およびエラー検出ハッシュ値と共に宛先アドレスおよびソースアドレスを含むパケットにアセンブルするように構成され得る。プロセッサ１１０４は、プロセッサ、コア、グラフィックス処理ユニット（ＧＰＵ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、または、ネットワークインタフェース１１００のプログラミングを可能にする他のプログラマブルハードウェアデバイスの任意の組み合わせであり得る。例えば、プロセッサ１１０４は、ワークロードを実行し、選択されたリソース上での実行のためのビットストリームを生成するために使用されるリソースの識別情報を提供し得る。例えば、「スマートネットワークインタフェース」は、プロセッサ１１０４を使用して、ネットワークインタフェースにおけるパケット処理能力を提供し得る。
【0147】
パケットアロケータ１１２４は、本明細書で説明される時間スロット割り当てまたはＲＳＳを使用した複数のＣＰＵまたはコアによる処理のために受信されたパケットの分散を提供し得る。パケットアロケータ１１２４がＲＳＳを使用する場合、パケットアロケータ１１２４は、どのＣＰＵまたはコアがパケットを処理すべきかを決定するために、受信されたパケットのコンテンツに基づいてハッシュを計算するか、または別の決定をなし得る。
【0148】
割込み融合１１２２は割込み緩和を実行することができ、これにより、ネットワークインタフェースの割込み融合１１２２は、ホストシステムへの割込みを生成して受信されたパケットを処理する前に、複数のパケットが到着するまで、またはタイムアウトが満了するまで待機する。ネットワークインタフェース１１００により受信セグメント融合（ＲＳＣ）が実行され得、これにより、着信パケットの一部がパケットのセグメントへと組み合わされ得る。ネットワークインタフェース１１００は、この融合されたパケットをアプリケーションに提供する。
【0149】
ホストにおいてパケットを中間バッファにコピーして、その後、中間バッファから宛先バッファへの別のコピー動作を使用する代わりに、ダイレクトメモリアクセス（ＤＭＡ）エンジン１１５２は、パケットヘッダ、パケットペイロード、および／または記述子をホストメモリから直接ネットワークインタフェースにコピーしてよく、逆もまた同様である。いくつかの例において、ＤＭＡエンジン１１５２は、データダイレクトＩ／Ｏ（ＤＤＩＯ）を使用することによってなど、任意のキャッシュにデータへの書き込みを実行し得る。
【0150】
メモリ１１１０は、任意のタイプの揮発性または不揮発性メモリデバイスであり得、ネットワークインタフェース１１００をプログラミングするのに使用される任意のキューまたは命令を格納し得る。伝送キュー１１０６は、ネットワークインタフェースによる伝送のためのデータまたはデータへの参照を含み得る。受信キュー１１０８や、ネットワークインタフェースによりネットワークから受信されたデータまたはデータへの参照を含み得る。記述子キュー１１２０は、伝送キュー１１０６または受信キュー１１０８におけるデータまたはパケットを参照する記述子を含み得る。バスインタフェース１１１２は、インタフェースにホストデバイス（図示せず）を提供し得る。例えば、バスインタフェース１１１２は、（他の相互接続規格が使用され得るが）ＰＣＩ、ＰＣＩエクスプレス、ＰＣＩ－ｘ、ＰＣＩエクスプレスのためのＰＨＹインタフェース（ＰＩＰＥ）、シリアルＡＴＡ、および／またはＵＳＢ対応インタフェースと互換性を有し得る。
【0151】
いくつかの例において、本明細書で説明されるネットワークインタフェースおよび他の実施形態は、基地局（例えば、３Ｇ、４Ｇ、５Ｇなど）、マクロ基地局（例えば、５Ｇネットワーク）、ピコステーション、（例えば、ＩＥＥＥ ８０２．１１対応アクセスポイント）、ナノステーション（例えば、ポイントツーマルチポイント（ＰｔＭＰ）アプリケーションのための）、オンプレミスデータセンタ、オフプレミスデータセンタ、エッジネットワーク要素、フォグネットワーク要素、および／またはハをイブリッドデータセンタ（例えば、仮想化、クラウド、およびソフトウェアデファインドネットワーキングを使用して物理データセンタおよび分散マルチクラウド環境にわたってアプリケーションワークロードを配信するデータセンタ）に関連して使用され得る。
【0152】
様々な例は、ハードウェア要素、ソフトウェア要素、またはその両方の組み合わせを使用して実装され得る。いくつかの例において、ハードウェア要素は、デバイス、コンポーネント、プロセッサ、マイクロプロセッサ、回路、回路要素（例えば、トランジスタ、抵抗器、キャパシタ、インダクタなど）、集積回路、ＡＳＩＣ、ＰＬＤ、ＤＳＰ、ＦＰＧＡ、メモリユニット、ロジックゲート、レジスタ、半導体デバイス、チップ、マイクロチップ、チップセットなどを含んでよい。いくつかの例において、ソフトウェア要素は、ソフトウェアコンポーネント、プログラム、アプリケーション、コンピュータプログラム、アプリケーションプログラム、システムプログラム、マシンプログラム、オペレーティングシステムソフトウェア、ミドルウェア、ファームウェア、ソフトウェアモジュール、ルーチン、サブルーチン、機能、方法、手順、ソフトウェアインタフェース、ＡＰＩ、命令セット、コンピューティングコード、コンピュータコード、コードセグメント、コンピュータコードセグメント、ワード、値、シンボル、またはこれらの任意の組み合わせを含んでよい。ハードウェア要素および／またはソフトウェア要素を使用して例を実装するかどうかの決定は、所望の計算レート、電力レベル、熱耐性、処理サイクルの予算、入力データレート、出力データレート、メモリリソース、データバス速度および所与の実装に所望のその他の設計または性能の制約など、様々な要因に応じて異なり得る。プロセッサは、ハードウェアステートマシン、デジタル制御論理、中央処理ユニット、または任意のハードウェア、ファームウェア、および／もしくはソフトウェア要素の１つまたは複数の組み合わせであり得る。
【0153】
いくつかの例は、製品または少なくとも１つのコンピュータ可読媒体として使用して実装され得る。コンピュータ可読媒体は、ロジックを格納するための非一時的記憶媒体を含んでよい。いくつかの例において、非一時的記憶媒体は、揮発性メモリまたは不揮発性メモリ、リムーバブルまたは非リムーバブルメモリ、消去可能または非消去可能メモリ、書き込み可能または再書き込み可能なメモリなどを含む、電子データを格納可能な１つまたは複数のタイプのコンピュータ可読記憶媒体を含んでよい。いくつかの例において、ロジックは、ソフトウェアコンポーネント、プログラム、アプリケーション、コンピュータプログラム、アプリケーションプログラム、システムプログラム、マシンプログラム、オペレーティングシステムソフトウェア、ミドルウェア、ファームウェア、ソフトウェアモジュール、ルーチン、サブルーチン、機能、方法、手順、ソフトウェアインタフェース、ＡＰＩ、命令セット、コンピューティングコード、コンピュータコード、コードセグメント、コンピュータコードセグメント、ワード、値、シンボル、またはそれらの任意の組み合わせなどの様々なソフトウェア要素を含み得る。
【0154】
いくつかの例によれば、コンピュータ可読媒体は、機械、コンピューティングデバイス、またはシステムによって実行されると、機械、コンピューティングデバイス、またはシステムに、記載される例による方法および／または動作を実行させる命令を格納または維持する非一時的格納媒体を含み得る。命令は、ソースコード、コンパイル済みコード、解釈済みコード、実行可能コード、静的コード、動的コードなどの任意の好適なタイプのコードを含んでよい。命令は、マシン、コンピューティングデバイスまたはシステムに、特定の機能を実行するように命令するために、事前定義されたコンピュータ言語、方法、または構文に従って実装されてよい。命令は、任意の好適な高レベル、低レベル、オブジェクト指向型、ビジュアル型、コンパイル済みおよび／または解釈済みプログラミング言語を使用して実装されてよい。
【0155】
少なくとも一例の１つまたは複数の態様は、プロセッサ内の様々なロジックを表す少なくとも１つの機械可読媒体に格納された代表的な命令により実装され得、これは、機械、コンピューティングデバイス、またはシステムによって読み取られた場合、機械、コンピューティングデバイス、またはシステムに、本明細書で説明される技術を実行するロジックを製造させる。「ＩＰコア」として知られているそのような表現は、有形の機械可読媒体に格納され、ロジックまたはプロセッサを実際に作成する製造機械にロードする様々な顧客または製造施設に供給され得る。
【0156】
「一例」または「例」という表現の出現は、必ずしも全て同じ例または実施形態を参照するものではない。本明細書に記載の任意の態様は、本明細書に記載の任意の他の態様または同様の態様と組み合わされてよく、これらの態様が、同一の図面また要素に関し説明されているかどうかを問わない。添付の図面内に記載のブロック機能の分割、省略または包含は、これらの機能を実装するためのハードウェアコンポーネント、回路、ソフトウェアおよび／または要素が、実施形態において必ず分割、省略または包含されていることを示唆しない。
【0157】
いくつかの例は、「結合された（ｃｏｕｐｌｅｄ）」または「接続された（ｃｏｎｎｅｃｔｅｄ）」という表現を、それらの派生語と共に使用して説明され得る。これらの用語は、必ずしも互いの同義語であることを意図していない。例えば、「接続された（ｃｏｎｎｅｃｔｅｄ）」および／または「欠尾久された（ｃｏｕｐｌｅｄ）」という用語を使用した説明は、２つ以上の要素が互いに直接物理的または電気的に接触していることを示し得る。しかしながら、「結合された（ｃｏｕｐｌｅｄ）」という用語はまた、２つ以上の要素が互いに直接接触していないが、それでも互いに協働または相互作用することを意味する場合もある。
【0158】
本明細書において、「第１の」、「第２の」などの用語は、任意の順序、量、または重要度を示すものではなく、むしろ、ある要素を別の要素と区別するために使用される。本明細書において、「１つ（ａ）」および「１つ（ａｎ）」という用語は、量の限定を示しておらず、言及された項目のうちの少なくとも１つの存在を示す。本明細書において、信号に関して使用される「アサート（ａｓｓｅｒｔｅｄ）」という用語は、信号がアクティブであるという信号の状態を示しており、その状態は、ロジック０またはロジック１のいずれかのロジックレベルを信号に適用することで達成され得る。「後（ｆｏｌｌｏｗ）」または「後（ａｆｔｅｒ）」という用語は、何らかの他のイベントの直後または後に続くものを指してよい。段階の他のシーケンスもまた、代替的な実施形態により実行されてよい。さらに、具体的な適用に応じて、追加の段階が追加または削除されてよい。任意の組み合わせの変更が使用されてよく、本開示の恩恵を受ける当業者であれば、本開示の多くの変形例、修正例および代替的な実施形態を理解するであろう。
【0159】
選言的言語、例えば、「Ｘ、Ｙ、またはＺのうちの少なくとも１つ」という表現は、別途具体的に述べられない限り、項目、用語などが、Ｘ、Ｙ、もしくはＺ、またはそれらの任意の組み合わせ（例えば、Ｘ、Ｙ，および／またはＺ）のいずれかであり得ることを提示する一般に使用されるコンテキスト内で理解される。故に、そのような選言的言い回しは一般的に、特定の実施形態が、Ｘのうちの少なくとも１つ、Ｙのうちの少なくとも１つ、またはＺのうちの少なくとも１つのそれぞれが存在することを必要とすることを示唆する意図ではなく、また示唆すべきではない。また、「Ｘ、ＹおよびＺのうちの少なくとも１つ」という表現などの結合的言い回しもまた、別途の具体的な反対の指定がない限り、Ｘ、Ｙ、ＺまたはＸ、Ｙおよび／またはＺを含む、任意の組み合わせを意味するものとして理解されるべきである。
本明細書中に開示された複数のデバイス、システム、および方法に関する複数の例示的な実施例を以下に提供する。デバイス、システムおよび方法の一実施形態は、以下に記載の例のいずれか１つまたは複数、およびその任意の組み合わせを含んでよい。
本明細書中に開示された複数のデバイス、システム、および方法に関する複数の例示的な実施例を以下に提供する。デバイス、システムおよび方法の一実施形態は、以下に記載の例のいずれか１つまたは複数、およびその任意の組み合わせを含んでよい。
【0160】
実施例１は、２つ以上の物理サーバのラックのためのスイッチデバイスであって、前記スイッチデバイスが、前記２つ以上の物理サーバに結合され、前記スイッチデバイスが、受信したパケットのパケットプロトコル処理終端を実行し、受信したパケットのヘッダを含まない前記受信したパケットからのペイロードデータを前記ラックにおける宛先物理サーバの宛先バッファに提供する、スイッチデバイスを備える、方法を含む。
【0161】
実施例２は、前記スイッチデバイスが少なくとも１つの中央処理ユニットを備え、前記少なくとも１つの中央処理ユニットが、前記受信されたパケットに対してパケット処理動作を実行する、任意の実施例を含む。
【0162】
実施例３は、物理サーバが、少なくとも１つの仮想化実行環境（ＶＥＥ）を実行し、前記少なくとも１つの中央処理ユニットが、ＶＥＥを実行する前記物理サーバによってアクセスされるデータを含むパケットのパケット処理ためのＶＥＥを実行する、任意の実施例を含む。
【0163】
実施例４は、前記スイッチデバイスが、メモリアドレスおよび対応する宛先デバイスのマッピングを格納し、前記ラックにおける物理サーバからのメモリトランザクションの受信に基づいて、前記スイッチデバイスが前記メモリトランザクションを実行する、任意の実施例を含む。
【0164】
実施例５は、前記スイッチデバイスが前記メモリトランザクションを実行することが、読み取り要求の場合、前記スイッチデバイスが、前記マッピングに基づいて前記ラックに接続された物理サーバまたは異なるラックの別のデバイスからデータを取得し、前記データを前記スイッチデバイスによって管理されるメモリに格納することを含む、任意の実施例を含む。
【0165】
実施例６は、前記スイッチデバイスが、メモリアドレスおよび対応する宛先デバイスのマッピングを格納し、前記ラックにおける物理サーバからのメモリトランザクションの受信に基づき、前記マッピングに従って別のラックにおける宛先サーバに関連付けられているメモリトランザクションに関連付けられたメモリアドレスに基づいて、前記メモリトランザクションを前記宛先サーバに伝送し、前記メモリトランザクションに対する応答を受信し、前記ラックのメモリに前記応答を格納する、任意の実施例を含む。
【0166】
実施例７は、前記スイッチデバイスが少なくとも１つの中央処理ユニットを備え、前記少なくとも１つの中央処理ユニットが、前記ラックの一部である１つまたは複数の物理サーバの制御プレーンを実行し、前記制御プレーンが、前記１つまたは複数の物理サーバからテレメトリデータを収集し、前記テレメトリデータに基づいて、前記ラックの物理サーバに対する仮想化実行環境（ＶＥＥ）の実行の割り当て、前記ラックの物理サーバから前記スイッチデバイスの少なくとも１つの中央処理ユニット上での実行へのＶＥＥの移行、前記ラックの物理サーバから前記ラックの別の物理サーバ上での実行へのＶＥＥの移行、または、前記ラックの物理サーバ上で実行するＶＥＥによるアクセスのための前記ラックの物理サーバのメモリの割り当てのうちの１つまたは複数を実行する、任意の実施例を含む。
【0167】
実施例８は、前記スイッチデバイスが少なくとも１つの中央処理ユニットを含み、前記少なくとも１つの中央処理ユニットは、前記ラックの一部である１つまたは複数の物理サーバのための制御プレーンを実行し、 前記制御プレーンが、前記ラックの１つまたは複数の物理サーバ間で仮想化実行環境（ＶＥＥ）の実行を分散させ、ＶＥＥを選択的に終端させるかまたはＶＥＥを前記ラックの別の物理サーバ上もしくは前記スイッチデバイス上での実行に移行させる、任意の実施例を含む。
【0168】
実施例９は任意の実施例を含み、少なくとも１つのプロセッサを含むスイッチであって、前記少なくとも１つのプロセッサは、受信したパケットのパケット終端処理を実行し、関連付けられた受信したパケットのヘッダを含まない、前記受信したパケットからのペイロードデータを、接続を通じて、宛先物理サーバの宛先バッファにコピーする、スイッチ、を備える装置を含む。
【0169】
実施例１０は、前記少なくとも１つのプロセッサが仮想化実行環境（ＶＥＥ）を実行し、前記ＶＥＥが前記パケット終端処理を実行する、任意の実施例を含む。
【0170】
実施例１１は、前記接続を通じた物理サーバからのメモリトランザクションの受信に基づいて、前記少なくとも１つのプロセッサが、対応する宛先デバイスへのメモリアドレスのマッピングに基づく前記メモリトランザクションを実行する、任意の実施例を含む。
【0171】
実施例１２は、前記メモリトランザクションを実行するために、前記少なくとも１つのプロセッサが、読み取り要求の場合、前記接続を通じて前記少なくとも１つのプロセッサまたは異なるラックの別のデバイスに接続された物理サーバからデータを取得し、前記少なくとも１つのプロセッサによって管理されるメモリに前記データを格納する、任意の実施例を含む。
【0172】
実施例１３は、前記スイッチに関連付けられたラック内の物理サーバからのメモリトランザクションの受信に基づき、メモリアドレスおよび対応する宛先デバイスのマッピングに従った、別のラックにおける宛先サーバに関連付けられている前記メモリトランザクションに関連付けられたメモリアドレスに基づいて、前記少なくとも１つのプロセッサが前記宛先サーバへの前記メモリトランザクションの伝送を実行し、前記少なくとも１つのプロセッサが、前記メモリトランザクションに対する応答にアクセスし、かつ、前記少なくとも１つのプロセッサが、前記ラックのメモリに前記応答を格納させる、任意の実施例を含む。
【0173】
実施例１４は、前記少なくとも１つのプロセッサが、前記スイッチに関連付けられたラックの一部である１つまたは複数の物理サーバの制御プレーンを実行し、前記制御プレーンが、前記１つまたは複数の物理サーバからテレメトリデータを収集し、前記テレメトリデータに基づいて、前記ラックの物理サーバへの仮想化実行環境（ＶＥＥ）の実行の割り当て、前記ラックの物理サーバから前記スイッチの前記少なくとも１つの中央処理ユニット上での実行へのＶＥＥの移行、前記ラックの物理サーバから前記ラックの別の物理サーバ上での実行へのＶＥＥの移行、または、前記ラックの物理サーバ上で実行しているＶＥＥによるアクセスのサーバスのための前記ラックのメモリの割り当てのうちの１つまたは複数を実行する、任意の実施例を含む。
【0174】
実施例１５は、前記少なくとも１つのプロセッサが、前記スイッチに関連付けられたラックの一部である１つまたは複数の物理サーバのための制御プレーンを実行し、前記制御プレーンが、前記ラックの１つまたは複数の物理サーバ間で仮想化実行環境（ＶＥＥ）の実行を分散させ、ＶＥＥを選択的に終端させるかまたは前記ラックの別の物理サーバ上または前記スイッチの一部である少なくとも１つのプロセッサ上での実行へとＶＥＥを移行させる、任意の実施例を含む。
【0175】
実施例１６は、前記接続が、ペリフェラルコンポーネントインターコネクトエクスプレス（ＰＣＩｅ）、コンピュートエクスプレスリンク（ＣＸＬ）、または任意のタイプのダブルデータレート（ＤＤＲ）のうちの１つまたは複数と互換性がある、任意の実施例を含む。
【0176】
実施例１７は、任意の実施例を含み、命令を格納した少なくとも１つの非一時的コンピュータ可読媒体であって、前記命令が、スイッチによって実行された場合、前記スイッチに、前記スイッチにおいて制御プレーンを実行して、１つまたは複数の物理サーバからテレメトリデータを収集させ、前記テレメトリデータに基づいて、前記スイッチを含むラックの物理サーバへの仮想化実行環境（ＶＥＥ）の実行の割り当て、前記ラックの物理サーバから前記スイッチの前記少なくとも１つの前記中央処理ユニット上での実行へのＶＥＥの移行、前記ラックの物理サーバから前記ラックの別の物理サーバ上での実行へのＶＥＥの移行、または、前記ラックの物理サーバ上で実行しているＶＥＥによるアクセスのための前記ラックのサーバのメモリの割り当てのうちの１つまたは複数を実行させる、少なくとも１つの非一時的コンピュータ可読媒体を含む。
【0177】
実施例１８は、格納された命令を備え、前記命令が、スイッチによって実行された場合、前記スイッチに、メモリアドレスおよび対応する宛先デバイスのマッピングを格納させ、接続を通じた物理サーバからのメモリトランザクションの受信に基づき、かつ、メモリアドレスおよび対応する宛先デバイスのマッピングに基づいて、前記スイッチが、前記接続を通じて前記スイッチに接続された物理サーバまたは異なるラックの別のデバイスからデータを取得し、前記スイッチによって管理されるメモリに前記データを格納させる、任意の実施例を含む。
【0178】
実施例１９は、格納された命令を備え、前記命令が、スイッチによって実行された場合、前記スイッチに、メモリアドレスおよび対応する宛先デバイスのマッピングを格納させ、前記スイッチに関連付けられたラックにおけるサーバからのメモリトランザクションの受信に基づき、前記マッピングに従った別のラックにおける宛先サーバに関連付けられている前記メモリトランザクションに関連付けられたメモリアドレスに基づいて、前記スイッチが前記宛先サーバに前記メモリトランザクションを伝送し、前記スイッチが前記メモリトランザクションに対する応答を受信し、前記スイッチが前記ラックのメモリに前記応答を格納する、任意の実施例を含む。
【0179】
実施例２０は、前記スイッチと前記ラックの１つまたは複数の物理サーバとの間の接続が、ペリフェラルコンポーネントインターコネクトエクスプレス（ＰＣＩｅ）、コンピュートエクスプレスリンク（ＣＸＬ）、または任意のタイプのダブルデータレート（ＤＤＲ）のうちの１つまたは複数と互換性がある、任意の実施例を含む。
【0180】
実施例２１は任意の実施例を含み、ネットワークデバイスであって、受信したパケットのネットワークプロトコル終端を実行する回路と、少なくとも１つのイーサネットポートと、ラック内の異なる物理サーバに接続される複数の接続とを備え、受信したパケットのネットワークプロトコル終端を実行する前記回路が、関連付けられたヘッダを含まない受信したパケットのペイロードを物理サーバに提供する、ネットワークデバイスを含む。
【0181】
［他の可能な項目］
［項目１］
２つ以上の物理サーバのラックのためのスイッチデバイスであって、前記スイッチデバイスが、前記２つ以上の物理サーバに結合され、前記スイッチデバイスが、受信したパケットのパケットプロトコル処理終端を実行し、受信したパケットのヘッダを含まない前記受信したパケットからのペイロードデータを前記ラックにおける宛先物理サーバの宛先バッファに提供する、スイッチデバイスを備える、方法。
［項目２］
前記スイッチデバイスが少なくとも１つの中央処理ユニットを備え、前記少なくとも１つの中央処理ユニットが、前記受信されたパケットに対してパケット処理動作を実行する、項目１に記載の方法。
［項目３］
物理サーバが、少なくとも１つの仮想化実行環境（ＶＥＥ）を実行し、
前記少なくとも１つの中央処理ユニットが、前記少なくとも１つのＶＥＥを実行する前記物理サーバによってアクセスされるデータを含むパケットのパケット処理ためのＶＥＥを実行する、
項目２に記載の方法。
［項目４］
前記スイッチデバイスが、対応する宛先デバイスに対するメモリアドレスのマッピングを格納し、
前記ラックにおける物理サーバからのメモリトランザクションの受信に基づいて、前記スイッチデバイスが前記メモリトランザクションを実行する、
項目１に記載の方法。
［項目５］
前記スイッチデバイスが前記メモリトランザクションを実行することが、
読み取り要求の場合、前記スイッチデバイスが、前記マッピングに基づいて前記ラックに接続された物理サーバまたは異なるラックの別のデバイスからデータを取得し、前記データを前記スイッチデバイスによって管理されるメモリに格納することを含む、
項目４に記載の方法。
［項目６］
前記スイッチデバイスが、対応する宛先デバイスに対するメモリアドレスのマッピングを格納し、
前記ラックにおける物理サーバからのメモリトランザクションの受信に基づき、
前記マッピングに従って別のラックにおける宛先サーバに関連付けられているメモリトランザクションに関連付けられたメモリアドレスに基づいて、前記メモリトランザクションを前記宛先サーバに伝送し、
前記メモリトランザクションに対する応答を受信し、
前記ラックのメモリに前記応答を格納する、
項目１に記載の方法。
［項目７］
前記スイッチデバイスが少なくとも１つの中央処理ユニットを備え、前記少なくとも１つの中央処理ユニットが、前記ラックに関連付けられた１つまたは複数の物理サーバの制御プレーンを実行し、
前記制御プレーンが、前記１つまたは複数の物理サーバからテレメトリデータを収集し、前記テレメトリデータに基づいて、前記ラックの物理サーバに対する仮想化実行環境（ＶＥＥ）の実行の割り当て、前記ラックの物理サーバから前記スイッチデバイスの少なくとも１つの中央処理ユニット上での実行へのＶＥＥの移行、前記ラックの物理サーバから前記ラックの別の物理サーバ上での実行へのＶＥＥの移行、または、前記ラックの物理サーバ上で実行するＶＥＥによるアクセスのための前記ラックの物理サーバのメモリの割り当てのうちの１つまたは複数を実行する、
項目１に記載の方法。
［項目８］
前記スイッチデバイスが少なくとも１つの中央処理ユニットを含み、前記少なくとも１つの中央処理ユニットは、前記ラックの一部である１つまたは複数の物理サーバのための制御プレーンを実行し、
前記制御プレーンが、前記ラックの１つまたは複数の物理サーバ間で仮想化実行環境（ＶＥＥ）の実行を分散させ、ＶＥＥを選択的に終端させるかまたはＶＥＥを前記ラックの別の物理サーバ上もしくは前記スイッチデバイス上での実行に移行させる
項目１に記載の方法。
［項目９］
少なくとも１つのプロセッサを含むスイッチであって、前記少なくとも１つのプロセッサは、受信したパケットのパケット終端処理を実行し、関連付けられた受信したパケットのヘッダを含まない、前記受信したパケットからのペイロードデータを、接続を通じて、宛先物理サーバの宛先バッファにコピーする、スイッチ
を備える装置。
［項目１０］
前記少なくとも１つのプロセッサが仮想化実行環境（ＶＥＥ）を実行し、前記ＶＥＥが前記パケット終端処理を実行する、項目９に記載の装置。
［項目１１］
前記接続を通じた物理サーバからのメモリトランザクションの受信に基づいて、前記少なくとも１つのプロセッサが、対応する宛先デバイスへのメモリアドレスのマッピングに基づく前記メモリトランザクションを実行する
項目９に記載の装置。
［項目１２］
前記メモリトランザクションを実行するために、前記少なくとも１つのプロセッサが、
読み取り要求の場合、前記接続を通じて前記少なくとも１つのプロセッサまたは異なるラックの別のデバイスに接続された物理サーバからデータを取得し、前記少なくとも１つのプロセッサによって管理されるメモリに前記データを格納する
項目１１に記載の装置。
［項目１３］
前記スイッチに関連付けられたラック内の物理サーバからのメモリトランザクションの受信に基づき、
対応する宛先デバイスへのメモリアドレスの前記マッピングに従った、別のラックにおける宛先サーバに関連付けられている前記メモリトランザクションに関連付けられたメモリアドレスに基づいて、前記少なくとも１つのプロセッサが前記宛先サーバへの前記メモリトランザクションの伝送を実行し、
前記少なくとも１つのプロセッサが、前記メモリトランザクションに対する応答にアクセスし、かつ、
前記少なくとも１つのプロセッサが、前記ラックのメモリに前記応答を格納させる
項目１２に記載の装置。
［項目１４］
前記少なくとも１つのプロセッサが、前記スイッチに関連付けられたラックの一部である１つまたは複数の物理サーバの制御プレーンを実行し、
前記制御プレーンが、前記１つまたは複数の物理サーバからテレメトリデータを収集し、前記テレメトリデータに基づいて、前記ラックの物理サーバへの仮想化実行環境（ＶＥＥ）の実行の割り当て、前記ラックの物理サーバから前記スイッチの前記少なくとも１つの中央処理ユニット上での実行へのＶＥＥの移行、前記ラックの物理サーバから前記ラックの別の物理サーバ上での実行へのＶＥＥの移行、または、前記ラックの物理サーバ上で実行しているＶＥＥによるアクセスのための前記サーバのラックのメモリの割り当てのうちの１つまたは複数を実行する
項目９に記載の装置。
［項目１５］
前記少なくとも１つのプロセッサが、前記スイッチに関連付けられたラックの一部である１つまたは複数の物理サーバのための制御プレーンを実行し、
前記制御プレーンが、前記ラックの１つまたは複数の物理サーバ間で仮想化実行環境（ＶＥＥ）の実行を分散させ、ＶＥＥを選択的に終端させるかまたは前記ラックの別の物理サーバ上または前記スイッチの一部である少なくとも１つのプロセッサ上での実行へとＶＥＥを移行させる
項目９に記載の装置。
［項目１６］
前記接続が、ペリフェラルコンポーネントインターコネクトエクスプレス（ＰＣＩｅ）、コンピュートエクスプレスリンク（ＣＸＬ）、または任意のタイプのダブルデータレート（ＤＤＲ）のうちの１つまたは複数と互換性がある、項目９に記載の装置。
［項目１７］
命令を格納した少なくとも１つの非一時的コンピュータ可読媒体であって、前記命令が、スイッチによって実行された場合、前記スイッチに、
前記スイッチにおいて制御プレーンを実行して、１つまたは複数の物理サーバからテレメトリデータを収集させ、前記テレメトリデータに基づいて、前記スイッチを含むラックの物理サーバへの仮想化実行環境（ＶＥＥ）の実行の割り当て、前記ラックの物理サーバから前記スイッチの前記少なくとも１つの前記中央処理ユニット上での実行へのＶＥＥの移行、前記ラックの物理サーバから前記ラックの別の物理サーバ上での実行へのＶＥＥの移行、または、前記ラックの物理サーバ上で実行しているＶＥＥによるアクセスのための前記ラックのサーバのメモリの割り当てのうちの１つまたは複数を実行させる
少なくとも１つの非一時的コンピュータ可読媒体。
［項目１８］
格納された命令を備え、前記命令が、スイッチによって実行された場合、前記スイッチに、
対応する宛先デバイスへのメモリアドレスのマッピングを格納させ、
接続を通じた物理サーバからのメモリトランザクションの受信に基づき、かつ、対応する宛先デバイスへのメモリアドレスのマッピングに基づいて、前記接続を通じて前記スイッチに接続された物理サーバまたは異なるラックの別のデバイスからデータを取得し、前記スイッチによって管理されるメモリに前記データを格納させる
項目１７に記載の少なくとも１つの非一時的コンピュータ可読媒体。
［項目１９］
格納された命令を備え、前記命令が、スイッチによって実行された場合、前記スイッチに、
対応する宛先デバイスへのメモリアドレスのマッピングを格納させ、
前記スイッチに関連付けられたラックにおけるサーバからのメモリトランザクションの受信に基づき、
前記マッピングに従った別のラックにおける宛先サーバに関連付けられている前記メモリトランザクションに関連付けられたメモリアドレスに基づいて、前記宛先サーバへの前記メモリトランザクションの伝送を実行させ、
前記メモリトランザクションに対する応答を受信させ、
前記ラックのメモリに前記応答を格納させる
項目１７に記載の少なくとも１つの非一時的コンピュータ可読媒体。
［項目２０］
前記スイッチと前記ラックの１つまたは複数の物理サーバとの間の接続が、ペリフェラルコンポーネントインターコネクトエクスプレス（ＰＣＩｅ）、コンピュートエクスプレスリンク（ＣＸＬ）、または任意のタイプのダブルデータレート（ＤＤＲ）のうちの１つまたは複数と互換性がある
項目１７に記載の少なくとも１つの非一時的コンピュータ可読媒体。
［項目２１］
ネットワークデバイスであって、
受信したパケットのネットワークプロトコル終端を実行する回路と、
少なくとも１つのイーサネットポートと、
ラック内の異なる物理サーバに接続される複数の接続とを備え、受信したパケットのネットワークプロトコル終端を実行する前記回路が、関連付けられたヘッダを含まない受信したパケットのペイロードを物理サーバに提供する
ネットワークデバイス。
［項目１］
２つ以上の物理サーバのラックのためのスイッチデバイスであって、前記スイッチデバイスが、前記２つ以上の物理サーバに結合され、前記スイッチデバイスが、受信したパケットのパケットプロトコル処理終端を実行し、受信したパケットのヘッダを含まない前記受信したパケットからのペイロードデータを前記ラックにおける宛先物理サーバの宛先バッファに提供する、スイッチデバイスを備える、方法。
［項目２］
前記スイッチデバイスが少なくとも１つの中央処理ユニットを備え、前記少なくとも１つの中央処理ユニットが、前記受信されたパケットに対してパケット処理動作を実行する、項目１に記載の方法。
［項目３］
物理サーバが、少なくとも１つの仮想化実行環境（ＶＥＥ）を実行し、
前記少なくとも１つの中央処理ユニットが、前記少なくとも１つのＶＥＥを実行する前記物理サーバによってアクセスされるデータを含むパケットのパケット処理ためのＶＥＥを実行する、
項目２に記載の方法。
［項目４］
前記スイッチデバイスが、対応する宛先デバイスに対するメモリアドレスのマッピングを格納し、
前記ラックにおける物理サーバからのメモリトランザクションの受信に基づいて、前記スイッチデバイスが前記メモリトランザクションを実行する、
項目１に記載の方法。
［項目５］
前記スイッチデバイスが前記メモリトランザクションを実行することが、
読み取り要求の場合、前記スイッチデバイスが、前記マッピングに基づいて前記ラックに接続された物理サーバまたは異なるラックの別のデバイスからデータを取得し、前記データを前記スイッチデバイスによって管理されるメモリに格納することを含む、
項目４に記載の方法。
［項目６］
前記スイッチデバイスが、対応する宛先デバイスに対するメモリアドレスのマッピングを格納し、
前記ラックにおける物理サーバからのメモリトランザクションの受信に基づき、
前記マッピングに従って別のラックにおける宛先サーバに関連付けられているメモリトランザクションに関連付けられたメモリアドレスに基づいて、前記メモリトランザクションを前記宛先サーバに伝送し、
前記メモリトランザクションに対する応答を受信し、
前記ラックのメモリに前記応答を格納する、
項目１に記載の方法。
［項目７］
前記スイッチデバイスが少なくとも１つの中央処理ユニットを備え、前記少なくとも１つの中央処理ユニットが、前記ラックに関連付けられた１つまたは複数の物理サーバの制御プレーンを実行し、
前記制御プレーンが、前記１つまたは複数の物理サーバからテレメトリデータを収集し、前記テレメトリデータに基づいて、前記ラックの物理サーバに対する仮想化実行環境（ＶＥＥ）の実行の割り当て、前記ラックの物理サーバから前記スイッチデバイスの少なくとも１つの中央処理ユニット上での実行へのＶＥＥの移行、前記ラックの物理サーバから前記ラックの別の物理サーバ上での実行へのＶＥＥの移行、または、前記ラックの物理サーバ上で実行するＶＥＥによるアクセスのための前記ラックの物理サーバのメモリの割り当てのうちの１つまたは複数を実行する、
項目１に記載の方法。
［項目８］
前記スイッチデバイスが少なくとも１つの中央処理ユニットを含み、前記少なくとも１つの中央処理ユニットは、前記ラックの一部である１つまたは複数の物理サーバのための制御プレーンを実行し、
前記制御プレーンが、前記ラックの１つまたは複数の物理サーバ間で仮想化実行環境（ＶＥＥ）の実行を分散させ、ＶＥＥを選択的に終端させるかまたはＶＥＥを前記ラックの別の物理サーバ上もしくは前記スイッチデバイス上での実行に移行させる
項目１に記載の方法。
［項目９］
少なくとも１つのプロセッサを含むスイッチであって、前記少なくとも１つのプロセッサは、受信したパケットのパケット終端処理を実行し、関連付けられた受信したパケットのヘッダを含まない、前記受信したパケットからのペイロードデータを、接続を通じて、宛先物理サーバの宛先バッファにコピーする、スイッチ
を備える装置。
［項目１０］
前記少なくとも１つのプロセッサが仮想化実行環境（ＶＥＥ）を実行し、前記ＶＥＥが前記パケット終端処理を実行する、項目９に記載の装置。
［項目１１］
前記接続を通じた物理サーバからのメモリトランザクションの受信に基づいて、前記少なくとも１つのプロセッサが、対応する宛先デバイスへのメモリアドレスのマッピングに基づく前記メモリトランザクションを実行する
項目９に記載の装置。
［項目１２］
前記メモリトランザクションを実行するために、前記少なくとも１つのプロセッサが、
読み取り要求の場合、前記接続を通じて前記少なくとも１つのプロセッサまたは異なるラックの別のデバイスに接続された物理サーバからデータを取得し、前記少なくとも１つのプロセッサによって管理されるメモリに前記データを格納する
項目１１に記載の装置。
［項目１３］
前記スイッチに関連付けられたラック内の物理サーバからのメモリトランザクションの受信に基づき、
対応する宛先デバイスへのメモリアドレスの前記マッピングに従った、別のラックにおける宛先サーバに関連付けられている前記メモリトランザクションに関連付けられたメモリアドレスに基づいて、前記少なくとも１つのプロセッサが前記宛先サーバへの前記メモリトランザクションの伝送を実行し、
前記少なくとも１つのプロセッサが、前記メモリトランザクションに対する応答にアクセスし、かつ、
前記少なくとも１つのプロセッサが、前記ラックのメモリに前記応答を格納させる
項目１２に記載の装置。
［項目１４］
前記少なくとも１つのプロセッサが、前記スイッチに関連付けられたラックの一部である１つまたは複数の物理サーバの制御プレーンを実行し、
前記制御プレーンが、前記１つまたは複数の物理サーバからテレメトリデータを収集し、前記テレメトリデータに基づいて、前記ラックの物理サーバへの仮想化実行環境（ＶＥＥ）の実行の割り当て、前記ラックの物理サーバから前記スイッチの前記少なくとも１つの中央処理ユニット上での実行へのＶＥＥの移行、前記ラックの物理サーバから前記ラックの別の物理サーバ上での実行へのＶＥＥの移行、または、前記ラックの物理サーバ上で実行しているＶＥＥによるアクセスのための前記サーバのラックのメモリの割り当てのうちの１つまたは複数を実行する
項目９に記載の装置。
［項目１５］
前記少なくとも１つのプロセッサが、前記スイッチに関連付けられたラックの一部である１つまたは複数の物理サーバのための制御プレーンを実行し、
前記制御プレーンが、前記ラックの１つまたは複数の物理サーバ間で仮想化実行環境（ＶＥＥ）の実行を分散させ、ＶＥＥを選択的に終端させるかまたは前記ラックの別の物理サーバ上または前記スイッチの一部である少なくとも１つのプロセッサ上での実行へとＶＥＥを移行させる
項目９に記載の装置。
［項目１６］
前記接続が、ペリフェラルコンポーネントインターコネクトエクスプレス（ＰＣＩｅ）、コンピュートエクスプレスリンク（ＣＸＬ）、または任意のタイプのダブルデータレート（ＤＤＲ）のうちの１つまたは複数と互換性がある、項目９に記載の装置。
［項目１７］
命令を格納した少なくとも１つの非一時的コンピュータ可読媒体であって、前記命令が、スイッチによって実行された場合、前記スイッチに、
前記スイッチにおいて制御プレーンを実行して、１つまたは複数の物理サーバからテレメトリデータを収集させ、前記テレメトリデータに基づいて、前記スイッチを含むラックの物理サーバへの仮想化実行環境（ＶＥＥ）の実行の割り当て、前記ラックの物理サーバから前記スイッチの前記少なくとも１つの前記中央処理ユニット上での実行へのＶＥＥの移行、前記ラックの物理サーバから前記ラックの別の物理サーバ上での実行へのＶＥＥの移行、または、前記ラックの物理サーバ上で実行しているＶＥＥによるアクセスのための前記ラックのサーバのメモリの割り当てのうちの１つまたは複数を実行させる
少なくとも１つの非一時的コンピュータ可読媒体。
［項目１８］
格納された命令を備え、前記命令が、スイッチによって実行された場合、前記スイッチに、
対応する宛先デバイスへのメモリアドレスのマッピングを格納させ、
接続を通じた物理サーバからのメモリトランザクションの受信に基づき、かつ、対応する宛先デバイスへのメモリアドレスのマッピングに基づいて、前記接続を通じて前記スイッチに接続された物理サーバまたは異なるラックの別のデバイスからデータを取得し、前記スイッチによって管理されるメモリに前記データを格納させる
項目１７に記載の少なくとも１つの非一時的コンピュータ可読媒体。
［項目１９］
格納された命令を備え、前記命令が、スイッチによって実行された場合、前記スイッチに、
対応する宛先デバイスへのメモリアドレスのマッピングを格納させ、
前記スイッチに関連付けられたラックにおけるサーバからのメモリトランザクションの受信に基づき、
前記マッピングに従った別のラックにおける宛先サーバに関連付けられている前記メモリトランザクションに関連付けられたメモリアドレスに基づいて、前記宛先サーバへの前記メモリトランザクションの伝送を実行させ、
前記メモリトランザクションに対する応答を受信させ、
前記ラックのメモリに前記応答を格納させる
項目１７に記載の少なくとも１つの非一時的コンピュータ可読媒体。
［項目２０］
前記スイッチと前記ラックの１つまたは複数の物理サーバとの間の接続が、ペリフェラルコンポーネントインターコネクトエクスプレス（ＰＣＩｅ）、コンピュートエクスプレスリンク（ＣＸＬ）、または任意のタイプのダブルデータレート（ＤＤＲ）のうちの１つまたは複数と互換性がある
項目１７に記載の少なくとも１つの非一時的コンピュータ可読媒体。
［項目２１］
ネットワークデバイスであって、
受信したパケットのネットワークプロトコル終端を実行する回路と、
少なくとも１つのイーサネットポートと、
ラック内の異なる物理サーバに接続される複数の接続とを備え、受信したパケットのネットワークプロトコル終端を実行する前記回路が、関連付けられたヘッダを含まない受信したパケットのペイロードを物理サーバに提供する
ネットワークデバイス。
【図1A】
【図1B】
【図1C】
【図1D】
【図2A】
【図2B】
【図3】
【図4A】
【図4B】
【図5A】
【図5B】
【図5C】
【図6】
【図7A】
【図7B】
【図8A】
【図8B】
【図8C】
【図9】
【図10】
【図11】
【国際調査報告】