特許 7212647 コンピュータネットワークにおける直接相互接続スイッチの配線及び成長を管理する方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-01-17

(45)【発行日】2023-01-25

(54)【発明の名称】コンピュータネットワークにおける直接相互接続スイッチの配線及び成長を管理する方法及び装置

(51)【国際特許分類】

   G06F 13/14 20060101AFI20230118BHJP

   G06F 13/38 20060101ALI20230118BHJP

   G06F 3/00 20060101ALI20230118BHJP

   G06F 13/40 20060101ALI20230118BHJP

   G06F 13/36 20060101ALI20230118BHJP

   G06F 1/18 20060101ALI20230118BHJP

   H04L 12/44 20060101ALI20230118BHJP

   H04L 49/111 20220101ALI20230118BHJP

【ＦＩ】

G06F13/14 330A

G06F13/38 350

G06F3/00 A

G06F3/00 V

G06F3/00 T

G06F13/38 320Z

G06F13/40 310

G06F13/36 530Z

G06F1/18 E

H04L12/44

H04L49/111

【請求項の数】 4

【外国語出願】

(21)【出願番号】P 2020101405

(22)【出願日】2020-06-11

(62)【分割の表示】P 2016537055の分割

【原出願日】2014-08-29

(65)【公開番号】P2020173822

(43)【公開日】2020-10-22

【審査請求日】2020-06-22

(31)【優先権主張番号】61/871,721

(32)【優先日】2013-08-29

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】516061399

【氏名又は名称】オプレア ダン

(74)【代理人】

【識別番号】100094569

【弁理士】

【氏名又は名称】田中 伸一郎

(74)【代理人】

【識別番号】100103610

【弁理士】

【氏名又は名称】▲吉▼田 和彦

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100086771

【弁理士】

【氏名又は名称】西島 孝喜

(74)【代理人】

【識別番号】100109335

【弁理士】

【氏名又は名称】上杉 浩

(74)【代理人】

【識別番号】100120525

【弁理士】

【氏名又は名称】近藤 直樹

(74)【代理人】

【識別番号】100139712

【弁理士】

【氏名又は名称】那須 威夫

(74)【代理人】

【識別番号】100176418

【弁理士】

【氏名又は名称】工藤 嘉晃

(72)【発明者】

【氏名】オプレア ダン

【審査官】田名網 忠雄

(56)【参考文献】

【文献】特開平０６－０３５８７５（ＪＰ，Ａ）

【文献】特開２０１１－１４１８０３（ＪＰ，Ａ）

【文献】米国特許出願公開第２００８／０３０７０８２（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １／００

Ｇ０６Ｆ １／１６－１／１８

Ｇ０６Ｆ ３／００

Ｇ０６Ｆ １３／１０－１３／１４

Ｇ０６Ｆ １３／３８－１３／４２

Ｇ０６Ｆ １５／１６－１５／１７７

Ｈ０４Ｌ １２／４４

Ｈ０４Ｌ ４９／１１１

(57)【特許請求の範囲】

【請求項1】

トーラス又はそれよりも高基数の相互接続構造に実装された相互接続ネットワークの配線及び成長を管理する方法であって、
最初に前記相互接続ネットワーク内の１以上の接続を閉じるために、各々に相互接続プラグを有する複数のコネクタを有する受動パッチパネルを実装するステップであって、
前記受動パッチパネルは、受動バックプレーンを含み、
前記受動バックプレーンは、複数のコネクタのフィールドを含み、
前記複数のコネクタのフィールドは、
１以上の次元で相互接続ネットワークを実装するためのコネクタの主フィールド、及び
１以上の追加の次元で前記相互接続ネットワークの拡張を可能にするコネクタの第２のフィールドを含む、ステップと、
前記コネクタの主フィールドにおける１つのコネクタから相互接続プラグを取り外し、前記相互接続プラグを、ノードに取り付けられた接続ケーブルと交換して、前記ノードを前記相互接続ネットワークに追加するステップと、
前記相互接続ネットワークに対する前記ノードの接続性を発見するステップと、
前記相互接続ネットワークのトポロジを発見するステップと、
を含むことを特徴とする方法。

【請求項2】

前記コネクタの第２のフィールドにおける１つのコネクタから相互接続プラグを取り外し、前記相互接続プラグを、別の受動パッチパネルに取り付けられた接続ケーブルと交換して、１以上の追加の次元で前記相互接続ネットワークを拡張するステップと、
前記相互接続ネットワーク内のノードの接続性を発見するステップと、
前記相互接続ネットワークのトポロジを発見するステップと、
を含むことを特徴とする請求項１に記載の方法。

【請求項3】

トーラス又はそれよりも高基数の相互接続ネットワークの実装において使用する受動パッチパネルであって、
受動バックプレーンを含み、
前記受動バックプレーンは複数のコネクタのフィールドを含み、
前記複数のコネクタのフィールドは、
１以上の次元で相互接続ネットワークを実装するためのコネクタの主フィールド、及び
１以上の追加の次元で相互接続ネットワークの拡張を可能にするコネクタの第２のフィールド
を含み、
前記コネクタの主フィールドにおける各コネクタは、最初に前記トーラス又はそれよりも高基数の相互接続ネットワークの１以上の接続を閉じるために、相互接続プラグによって装着され、
前記相互接続プラグの各々は、ノードを前記相互接続ネットワークに追加するために、前記ノードに取り付けられた接続ケーブルによって取り替えることができ、
前記コネクタの第２のフィールドにおける各コネクタは、最初に前記トーラス又はそれよりも高基数の相互接続ネットワークの１以上の接続を閉じるために、相互接続プラグによって装着され、
前記相互接続プラグの各々は、１以上の追加の次元で前記相互接続ネットワークを拡張するために、別の受動パッチパネルに取り付けられた接続ケーブルによって取り替えることができる、
ことを特徴とする受動パッチパネル。

【請求項4】

サーバ内に収容され、トーラス又はそれよりも高基数の相互接続ネットワークの実装において使用するための、請求項３に記載の受動パッチパネルのコネクタの主フィールドにおける１つコネクタへのケーブルによる接続性を有するＰＣＩエクスプレス（ＰＣＩｅ）カードであって、
ＰＣＩインターフェイスと、
ランダムアクセスメモリ（ＲＡＭ）と読み取り専用メモリ（ＲＯＭ）を含むプロセッサと、
ローカルスイッチと、
少なくとも１つのＰＨＹインターフェイスと、
少なくとも２次元のトーラス直接相互接続ネットワーク又はそれよりも高基数の相互接続ネットワークの実装を提供するための少なくとも４つのインターフェイスポートと、
を含み、
前記ローカルスイッチは前記相互接続ネットワーク内のＰＣＩｅカード間のパケット交換を提供し、
前記ＰＣＩｅカードは、ポートからＰＣＩへのトラフィック、ヘアピン型トラフィック、及びａｄｄ／ｄｒｏｐを伴う通過トラフィックをサポートすることができる、
ことを特徴とするＰＣＩｅカード。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、コンピュータネットワークトポロジ及びアーキテクチャに関する。具体的には、本発明は、例えばトーラス又はそれよりも高基数配線構造に実装された直接相互接続スイッチの配線及び成長を管理する方法及び装置に関する。

【背景技術】

【0002】

データセンタ（ＤＣ）という用語は、一般に膨大な量の構造化ケーブルによって全てが接続された（多くの場合、設備を収容するラックに収容された）大規模コンピュータシステム及び関連するコンポーネントを収容するために使用される施設を意味する。クラウドデータセンタ（ＣＤＣ）という用語は、一般にエンティティのデータを同様に記憶する他社運用型施設を意味する。

【0003】

ネットワークスイッチは、ネットワークデバイスを通信／処理の目的でリンクするコンピュータネットワーク装置である。換言すれば、スイッチは、スイッチに接続されているいずれかのデバイスからメッセージを受け取り、メッセージの中継先である特定のデバイスにメッセージを送信できる電気通信デバイスである。ネットワークスイッチは、一般にデータの処理及びルーティングを行うマルチポートネットワークブリッジとも呼ばれる。ここでは、ポートは、スイッチと、スイッチが取り付けられたコンピュータ／サーバ／ＣＰＵとの間のインターフェイス（ケーブル又はプラグの差し込み口）を意味する。

【0004】

今日、ＤＣ及びＣＤＣは、一般にレイヤ２スイッチの組を用いてデータセンタネットワーキングを実装している。レイヤ２スイッチは、同じローカルエリアネットワーク上のノード（例えば、サーバ）間、又はワイドエリアネットワーク内の隣接するノード間でデータを転送するプロトコル層であるレイヤ２というデータリンク層においてデータを処理してルーティングする。一方で、解決すべき主な課題は、非常に多くの（数千もの）ポートを含む超広集約帯域幅（数百ＴＢ）を搬送することができ、最低限の構造及び場所しか必要とせず（すなわち、カードラックを含む数多くのキャビネットを収容するための大部屋の必要性を最小限に抑え）、容易に拡張することができ、消費電力の最小化を支援することができる大容量コンピュータネットワークをいかにして構築するかである。従来のネットワークトポロジの実装は、図１に示すように、階層的ツリー構造で組織化された完全に独立したスイッチに基づく。コアスイッチ２は、スイッチィング容量が非常に大きな超高速の少数ポートである。第２層は、多くのポートを含む中容量スイッチである集約スイッチ４を用いて実装され、第３層は、低速でポート数が多く（４０／４８）低容量のエッジスイッチ６を用いて実装される。通常、エッジスイッチはレイヤ２であり、集約ポートはレイヤ２及び／又はレイヤ３であり、一般にコアスイッチはレイヤ３である。この実装は、あらゆるサーバ８に、図示の例では最大６ホップリンク（コアスイッチ２までの３ホップと、宛先サーバ８までの３つの下りホップ）のサーバ接続性を提供する。また、このような階層構造は、通常、冗長信頼性のために二重化される。例えば、図１を参照すると、二重化されていなければ、右端のエッジスイッチ６が故障した場合、右端のサーバ８との接続性が存在しなくなる。コアスイッチ２が故障すると、データセンタ全体の接続性障害が生じるので、少なくともコアスイッチ２は二重化される。明らかな理由により、この方法には、将来的なＤＣ又はＣＤＣの課題に対処する上で大きな制限がある。例えば、各スイッチが完全に自己完結型であることにより、複雑性、広い床面積利用、ヒューマンエラーが生じやすい複雑なケーブル配線及び手動スイッチの構成／プロビジョニング、並びにエネルギーコストの増加が加わる。

【0005】

一方で、データセンタにおけるスイッチングの拡張性、信頼性、容量及び遅延を改善する多くの試みが行われてきた。例えば、統合制御プレーン（例えば、Ｊｕｎｉｐｅｒ Ｎｅｔｗｏｒｋｓ社製のＱＦａｂｒｉｃシステムスイッチ、例えば、ｈｔｔｐ：／／ｗｗｗ．ｊｕｎｉｐｅｒ．ｎｅｔ／ｕｓ／ｅｎ／ｐｒｏｄｕｃｔｓ－ｓｅｒｖｉｃｅｓ／ｓｗｉｔｃｈｉｎｇ／ｑｆａｂｒｉｃ－ｓｙｓｔｅｍ／を参照されたい）を用いてさらに複雑なスイッチング解決策を実装する努力が行われてきたが、このようなシステムは、依然として従来の階層アーキテクチャを使用し、これを維持するものである。また、システムユーザの数、並びに記憶し、アクセスし、処理すべきデータ数の急激な増加を考えると、コンピュータネットワークシステムの性能要件を決定する際には、処理能力が最も重要な要素となってきている。サーバ性能は絶えず改善されているが、１つのサーバでは、このニーズを満たすほど十分に強力ではない。このことが、並列処理の使用が最重要になってきた理由である。この結果、大部分がｎｏｒｔｈ－ｓｏｕｔｈトラフィックフローであったものが、現在では、最大８０％もの多くの事例において主にｅａｓｔ－ｗｅｓｔトラフィックフローになってきている。このトラフィックフローの変化に関わらず、ネットワークアーキテクチャは、このモデルに最適となるように進化していない。従って、並列処理通信中のＣＰＵ間の相互作用速度を決定するのは、依然として（コンピュータノード（サーバ）を相互接続する）通信ネットワークのトポロジである。

【0006】

ｅａｓｔ－ｗｅｓｔトラフィック通信を増加させるニーズは、新しいフラットなネットワークアーキテクチャ、例えばトロイダル／トーラスネットワークの形成をもたらした。
トーラス相互接続システムは、並列コンピュータシステムにおいてネットワークノード（サーバ）をメッシュ状に接続するネットワークトポロジである。トーラストポロジは、ノードを２次元、３次元又はそれよりも多くの（Ｎ）次元で配置することができ、この配置では、プロセッサ／サーバが最も近い隣接プロセッサ／サーバに接続され、アレイの反対端のプロセッサ／サーバ同士が接続されたアレイとして視覚化することができる。このように、Ｎ次元のトーラス構成では、各ノードが２Ｎ個の接続を有する（図２に、３Ｄトーラス相互接続の例を示す）。トーラストポロジにおける各ノードは、短いケーブルを介して隣接ノードに接続されているので、並列処理中のネットワーク遅延が少ない。実際に、トーラストポロジでは、あらゆるノード（サーバ）に最小のホップ数でアクセスすることができる。例えば、３×３×３×４の構造（１０８ノード）を実装する４次元トーラスでは、ａｎｙ－ｔｏ－ａｎｙ接続を提供するために必要なホップ数は平均２．５ホップである。残念ながら、大規模トーラスネットワークの実装は、大規模実装の構築に何年も掛かり、ケーブル配線が複雑であり（各ノードにつき２Ｎ個の接続）、拡張が必要な場合に変更コストが掛かり面倒となり得るので、ＤＣ又はＣＤＣにおける商用展開には実用的でなかった。しかしながら、処理能力のニーズが商業上の欠点を上回る場合には、スーパーコンピュータにおけるトーラストポロジの実装が非常に功を奏してきた。この点、ＩＢＭ社のＢｌｕｅ Ｇｅｎｅスーパーコンピュータは、６４個のキャビネットが６５，５３６個のノード（１３１，０７２個のＣＰＵ）を収容して数ペタフロップの処理能力を提供する３－Ｄトーラス相互接続ネットワークの例であり（図３の例示を参照）、富士通（Ｆｕｊｉｔｓｕ）社のＰＲＩＭＥＨＰＣ ＦＸ１０スーパーコンピュータシステムは、９８，３０４個のノードを含む１，０２４個のラックに収容された６－Ｄトーラス相互接続の例である。上記の例は、トーラストポロジに対応するものであるが、他のフラットネットワークトポロジにも等しく適用可能である。

【発明の概要】

【発明が解決しようとする課題】

【0007】

本発明は、ＤＣ及びＣＤＣでの商用展開にとって有益かつ実用的なシステム及びアーキテクチャを提供することにより、このような先行技術のネットワークトポロジの欠点を克服しようとするものである。

【課題を解決するための手段】

【0008】

本発明は、１つの態様において、トーラス又はそれよりも高基数の相互接続構造に実装された直接相互接続ネットワークの配線及び成長を管理する方法であって、複数のコネクタを有する少なくとも１つのコネクタボードを含む受動パッチパネルのコネクタの各々に相互接続プラグを実装するステップと、コネクタから相互接続プラグを取り外し、プラグを、サーバ内に収容されたＰＣＩｅカードに取り付けられた接続ケーブルに交換して、相互接続構造にサーバを追加するステップと、相互接続構造に対するサーバの接続性を発見するステップと、サーバが相互接続構造に追加されたことに基づいて、相互接続構造のトポロジを発見するステップとを含む方法を提供する。

【0009】

本発明は、別の態様において、トーラス又はそれよりも高基数の相互接続の実装において使用する受動パッチパネルであって、トーラス又はそれよりも高基数の相互接続のノード間接続性を収容する受動バックプレーンと、この受動バックプレーンに接続された、複数のコネクタを含む少なくとも１つのコネクタボードとを備えた受動パッチパネルを提供する。受動パッチパネルは、電気パッチパネル、光パッチパネル、又は電気パッチパネルと光パッチパネルとの混成とすることができる。光受動パッチパネルは、同じファイバ上の複数の光波長を組み合わせることができる。少なくとも１つのコネクタボードの複数のコネクタの各々は、必要に応じて電気プラグ又は光プラグとすることができる相互接続プラグを受け入れて、トーラス又はそれよりも高基数のトポロジの連続性を維持することができる。

【0010】

本発明は、さらに別の態様では、トーラス又はそれよりも高基数の相互接続の実装において使用するＰＣＩｅカードであって、トーラス又はそれよりも高基数の相互接続のための少なくとも４つの電気又は光ポートと、ローカルスイッチと、ＲＡＭ及びＲＯＭメモリを含むプロセッサと、ＰＣＩインターフェイスとを備えたＰＣＩｅカードを提供する。ローカルスイッチは、電気スイッチ又は光スイッチとすることができる。ＰＣＩｅカードは、ポートからＰＣＩへのトラフィック、ヘアピン型トラフィック、及びａｄｄ／ｄｒｏｐを伴う通過トラフィックをサポートすることができる。ＰＣＩｅカードは、同じファイバ上の複数の光波長をさらに組み合わせることができる。

【0011】

以下、添付図面を参照しながら本発明の実施形態を一例として説明する。

【図面の簡単な説明】

【0012】

【図1】従来のデータセンタネットワークの実装（先行技術）の高水準図である。

【図2】８個のノードを有する３次元トーラス相互接続（先行技術）の図である。

【図3】トーラスアーキテクチャを用いたＩＭＢ社のＢｌｕｅ Ｇｅｎｅ処理ユニットの階層（先行技術）を示す図である。

【図4】本発明の実施形態による３Ｄ及び４Ｄトーラス構造の高水準図である。

【図5】ネットワーク相互接続の分かりやすい例としての、本発明の実施形態による３６ノード２－Ｄトーラスの図である。

【図6】図５に示す２－Ｄ構成を３回複製して第３の次元で相互接続した３次元構成を示す図である。

【図7】図５に示す２－Ｄトーラスのノード接続性の配線図である。

【図8】図６に示す３－Ｄトーラスのノード接続性の配線図である。

【図9】本発明の直接相互接続ネットワークのための配線を実装するラックパッチパネルトップ（ＴＰＰ）の受動バックプレーンを示す図である。

【図10】本発明のＴＰＰ及び相互接続プラグを示す図である。

【図11】非動力式集積回路を用いてコネクタＩＤ及びパッチパネルＩＤ、並びにＴＰＰに接続されたＰＣＩｅカードを識別するＴＰＰの受動バックプレーンの背面図である。

【図12】ＴＰＰの受動バックプレーンの別の実施形態を示す図である。

【図13】本発明の光ＴＰＰの実装の高水準図である。

【図14】本発明によるＴＰＰの実装を用いたデータセンタサーバラックの高水準図である。

【図15】ラックトップスイッチ、及びサーバに収容されたＰＣＩｅカードによってノードを実装したトーラストポロジのハイブリッド実装の高水準図である。

【図16】本発明によるＰＣＩｅカードの実装のブロック図である。

【図17】図１６に示すＰＣＩｅカードによってサポートされるパケットトラフィックフローを示す図である。

【図18】本発明による光多重波長を用いたＰＣＩｅカードのブロック図である。

【図19】本発明の受動的光多重波長の実装を有するＴＰＰの高水準図である。

【図20a】４Ｄトーラス構造の配線のためのネットリストを生成する疑似コードを示す図である。

【図20b】４Ｄトーラス構造の配線のためのネットリストを生成する疑似コードを示す図である。

【図20c】４Ｄトーラス構造の配線のためのネットリストを生成する疑似コードを示す図である。

【図21】ＴＰＰに取り付けられたコネクタを示す図である。

【図22】非動力式集積回路を用いてコネクタＩＤ及びパッチパネルＩＤを識別するＴＰＰのコネクタボードの背面図である。

【発明を実施するための形態】

【0013】

本発明は、トーラスメッシュ又はそれよりも高基数の配線を用いて、データセンタ用途のための直接相互接続スイッチングを実装する。このようなアーキテクチャは、単一のスイッチングドメイン内で数万台のサーバを相互接続するために、高性能でフラットなレイヤ２／３ネットワークを提供することができる。

【0014】

図４に示すように、構造全体にわたってパケットルーティングの効率性を高めるために、使用するトーラスは多次元（すなわち、３Ｄ、４Ｄなど）である（ただし、展開によっては単一次元トーラスを使用することもできる）。この点、ａｎｙ－ｔｏ－ａｎｙ接続のための最小数のホップしか存在しない（例えば、３×３×３×４構造（１０８ノード）を実装する４次元トーラスでは、ａｎｙ－ｔｏ－ａｎｙ接続を提供するために平均２．５ホップしか必要としない）。ノード１０（サーバ）は、最も近い隣接ノード１０（サーバ）及び構造の反対端のノード１０（サーバ）に接続されるので、各ノード１０（サーバ）は、各次元においてリング接続（１２、１４、１６及び１８）の形で接続されているように視覚化することができる。これにより、Ｎ次元のトーラス構成では、各ノード１０が２Ｎ個の接続を有する。リング接続自体は、電気的相互接続又は光学的相互接続、或いは電気的相互接続と光学的相互接続の組み合わせとして実装することができる。

【0015】

しかしながら、このようなトポロジにおいて対処すべき１つの問題点は、既存の実装に影響を与えずにネットワーク内に新たなノードを追加する際に、配線の単純化及び単純性を促すことによって展開の複雑性をいかにして低減するかである。これが本発明の１つの態様であり、本開示は、大型トーラス又はそれよりも高基数の構造を実装する際の配線問題に対処する。

【0016】

図５に、説明を簡単にするために、６×６の３６個のノード構成の単純な２Ｄトーラス配線図を示す。図示のように、この構造は、全体を通じて各接続（１２、１３）の長さが等しい折り畳み式２Ｄトーラスである。この図の各ノード１０は、サーバ内に収容された（例えば、図１６に示す）ＰＣＩｅスイッチカード４１を介して相互接続されたサーバを表す。

【0017】

図６には、図５の２Ｄ構成を用いて、ただし３回複製して第３の次元で相互接続して構築した３次元構成を示す。

【0018】

図７は、図５に示す２次元トーラス構造の配線図である。図示の実装では、３６個のノード１０の各々が、ＰＣＩｅカード４１（図示せず）からのケーブルが差し込まれた時にスイッチ配線を提供する４つの接続部（北（Ｎ）、南（Ｓ）、東（Ｅ）、西（Ｗ））を含む（例えば、Ｍｏｌｅｘ社又はＮａｔｉｏｎａｌ Ｉｎｓｔｒｕｍｅｎｔｓ社などによって供給されている超高密度ケーブル相互接続（ＶＨＤＣＩ）コネクタとすることができる）コネクタ２１を有する。配線を単純にするために、コネクタ２１は、（図１０及び図１４に示すような）ラックパッチパネルトップ（ＴＰＰ）３１に収容される（図９に示すような）受動バックプレーン２００において相互接続される。図９に示す受動バックプレーン２００には、７×６の２Ｄトーラス構成を実装する４２個のコネクタ２１が実装された（図の中央に点線で示す）主フィールド、第３の次元における拡張のための６つのコネクタ２１のグループが２つ実装された（点線で示す）左側のフィールド、及び第４の次元における拡張を可能にするための６つのコネクタ２１のグループを２つ含む（点線で示す）右側のフィールドという３つのフィールドを示している。この３Ｄ拡張は、ＴＰＰからの（ＰＣＩｅカード４１をＴＰＰのコネクタ２１に接続するケーブルと同じタイプの）６つのケーブルをサーバの異なるラック３３上のＴＰＰに接続することによって実装される。ＴＰＰパッチパネルバックプレーンの実装は、必要に応じて変更することもでき、当業者であれば、プリント基板（バックプレーン２００）を単純に取り替えることにより、必要に応じて異なるトーラス構造（例えば、５Ｄ、６Ｄなど）を実装するように配線を変更することができる。ラック３３内に新たなサーバを追加する際に、従うべき制約又は規則を伴わずに構造を成長させることができるように、小型の相互接続プラグ２５を利用することができる。このプラグ２５は、ＴＰＰの製造時に全てのコネクタ２１に実装することができる。このようにして、最初に全てのリング接続を閉じ、必要に応じてプラグ２５をサーバからのＰＣＩｅケーブルに交換することによってトーラス相互接続を構築する。

【0019】

図８は、３次元トーラス構造の配線図である。例えば、図の左上のノードに示す、ＰＣＩｅケーブルを＋Ｘ、－Ｘ、＋Ｙ、－Ｙ、＋Ｚ及び－Ｚの３Ｄ構造に取り付けるための６つの接続部に注目されたい。３Ｄトーラスのケーブル配線に対応できるＴＰＰの実装は、図８に示す配線図に従ってあらゆるコネクタ２１を他の全てのコネクタ２１に接続するように設計される。

【0020】

図２０ａ～図２０ｃに示す、（３Ｄ、５Ｄなどの実装又はそれ以外の実装に容易に変更できる）４Ｄトーラス配線を実装するための疑似コードを用いて、ＴＰＰの接続性のネットリストを生成する新規の方法について説明する。３Ｄトーラス（Ｚ，Ｙ，Ｘ）では、各ノード１０が、リングＺ、リングＹ及びリングＸという３つのリングの交点に存在する。ネットワークアーキテクチャの当業者がラック３３内の全てのサーバ（最大４２個のサーバ、上述した図９の中央部分を参照されたい）を直ちに相互接続したいと望む場合には制約が存在せず、サーバをランダムに配線することができる。この方法では、展開が非常に単純化され、サーバを追加して特別な接続ルールを伴わずにケーブルをＴＰＰに接続すれば、トーラス構造の完全性が維持される。当業者が実装方法を知っているネットワーク管理システムは、ＴＰＰ及び全ての相互接続されたサーバを含むデータセンタネットワークの完全なイメージを維持し、接続状態及び各ノードに必要な全ての情報を提供する。

【0021】

図１１に示すように、（ノードサーバに収容された）各ＰＣＩｅカード４１は、ケーブル３６によってＴＰＰに接続される。ＰＣＩｅカード４１をＴＰＰに接続するケーブル３６は、８つのポート４０（図１６を参照）への接続を提供し、管理目的でＴＰＰへの接続も提供する。バックプレーン２００は、全てのコネクタ２１に取り付けられた非動力式電子デバイス／集積回路（ＩＣ）２３０を含む。ＰＣＩｅカード４１上で動作するソフトウェアは、ＰＣＩｅカード４１の接続先のコネクタＩＤを取得するためにデバイス２３０に問い合わせを行う。コネクタに取り付けられた全てのデバイス２３０は、全てのコネクタを一意に識別する受動抵抗器の組み合わせを使用する。

【0022】

電子デバイス２４０を用いて、インストール時にプログラムすることができるＴＰＰ識別機構（パッチパネルＩＤ）も実装される。デバイス２４０のローカル永続メモリは、製造日、バージョン、構成及びＩＤなどの他の情報を保持することもできる。ＰＣＩｅカードに対するデバイス２４０の接続性は、ソフトウェアによる要求時にこれらの情報の転送を可能にする。

【0023】

ソフトウェアは、カードの初期化時にＩＣ２３０に電力を加えてコネクタ２１のＩＤを読み取る。実用的な実装には、電力及び接地のための２つの接続、並びに「１－Ｗｉｒｅ」技術を用いてコネクタ２１のＩＤを読み取るための第３の接続という配線接続が必要である。

【0024】

インストール時に管理ソフトウェアをプログラムされたパッチパネルＩＤも、ＩＣ２３０と同じ配線を用いて同様に読み取ることができる。非動力式デバイス２４０は、ソフトウェアの制御下で読み取り／書き込みトランザクションをサポートできる不揮発性メモリを有する。ＩＣ２４０は、製造情報、ＴＰＰバージョン、及びＴＰＰのＩＤを保持することができる。

【0025】

図１２に、単独のプリント基板２６をバックプレーンとして使用する別の受動パッチパネルの実装オプションを示す。この実装は、ラック内のサーバの数を大幅に増やし、コネクタ／配線の選択の柔軟性をもたらすこともできる。

【0026】

コネクタ２１を支持するプリント基板２３は、大容量コネクタ２２を介してバックプレーン２６に接続される。プリント基板２４も大容量コネクタ２２を有し、やはりバックプレーン２６に接続されてコネクタボード２３への接続性を提供する。

【0027】

ボード２４上の大容量コネクタ２１は、ＴＰＰラック３３をラック３３に相互接続するために使用することができる。

【0028】

バックプレーン２６には、直接相互接続配線が実装される。（様々な理由で）配線を変更する場合には、変更すべき唯一のデバイスは常にバックプレーン２６である。例えば、超大型トーラスの実装に変更が必要な場合（例えば、１０，０００台のサーバ構成では、最も効率的な４Ｄトーラスは、６×７×１６×１５の使用を試みることではなく１０×１０×１０×１０構成であり、１６０，０００台のサーバ展開では、最も効率的な構成は２０×２０×２０×２０構成である）、コネクタボード２３及び２４を同じように維持しながら単純にバックプレーン２６を変更することにより、これらの構成を収容することができる。

【0029】

図１３に、光学的パッチパネルの実装を示す。このような実装は、図５又は図６に示す配線図（２Ｄ又は３Ｄトーラス）のようにポート間ファイバ相互接続を前提とする。ボード２８及び２９上の光コネクタは、光ファイバ２７（例えば、ＰＣＢ又はバックプレーン上で高密度の光ルーティングを行うＭｏｌｅｘ社製の高密度ＦｌｅｘＰｌａｎｅ光回路）を用いて相互接続される。光ＴＰＰは、製造時にファイバ接続されることが好ましく、光プラグ２５０は、製造中にＴＰＰに装着されるべきである。コネクタ及び光プラグ２５０は、低損失であることが好ましい。コネクタの光損失は、コネクタタイプ（例えば、コリメーションに微小光学レンズを使用しているか否か）及び波長（例えば、Ｃバンドにおけるシングルモードファイバでは、１３４０ｎｍにおけるマルチモードファイバよりも光損失の導入が少ない）によって決まる。

【0030】

図１９に、光ＴＰＰの別の実装オプションを示す。この実装は、光波長多重を用いて物理的接続部（ファイバ）の数を劇的に低減する。ＴＰＰに追加される新たなコンポーネントは、同じファイバ上で複数の光波長を組み合わせる受動光マルチプレクサ－デマルチプレクサ２２０である。ファイバ２７は、マルチプレクサ－デマルチプレクサ２２０の出力を相互接続して、光学的直接相互接続トーラス構造を実装する。（ＴＰＰ間で）異なる２つのラックを接続するために、コネクタ２２２を使用する。この実装は、図１８に示すようなＰＣＩｅカード４１の修正バージョンを必要とする。カード４１は、光マルチプレクサ－デマルチプレクサ２２０と、異なる波長における光送信機２２５と、光受信機２２４とを含む。

【0031】

ＴＰＰは、電気／光のハイブリッド実装として展開することもできる。このような場合、トーラスノードは、光ポート及び電気ポートを有するようになる。通常、ハイブリッド実装は、超大規模データセンタへの接続を行うために使用される。ラックレベルにおいて電気的接続を使用し、全てのラック間相互接続又は地理的に分散したデータセンタ相互接続において光接続を使用することもできる。電気ケーブルは、しばしば低速接続（例えば、１Ｇｂｐｓ又はそれよりも低速の１０／１００Ｍｂｐｓ）に使用される。高速の接続（例えば、１０Ｇｂｐｓ）には、特別な電気ケーブルを使用することができる。高速の相互接続ネットワークは、到達距離が長く超高速（例えば、１００Ｇｂｐｓ又は４００Ｇｂｐｓ）をサポートできるという理由で光伝送を使用することができる。

【0032】

図１５に、コンピュータサーバ及びストレージサーバのハイブリッド構成を実装するのに適したトーラス構造においてラックトップ（ＴｏＲ）スイッチ３８とＰＣＩｅカード４１ベースのサーバ相互接続とを用いた組み合わせ展開を示す。ＰＣＩｅ４１ベースの実装は、サーバ内のＰＣＩポートが固定スイッチポート帯域幅よりも実質的に高い帯域幅（例えば、１Ｇｂｐｓ又は１０Ｇｂｐｓ）に対応できるので、ａｄｄ／ｄｒｏｐ帯域幅が高いという利点を有する。４Ｄトーラスの実装をサポートするＰＣＩｅカード４１は、トーラスリンクの相互接続帯域幅の最大８倍に対応することができる。

【0033】

ＴｏＲスイッチ３８は、通常のレイヤ２イーサネット（登録商標）スイッチである。このスイッチは、ＴｏＲスイッチがトーラスノードであるトーラス構成において、サーバへの接続及び他のＴｏＲスイッチへの接続を提供する。本発明のこの実施形態によれば、ＴＰＰ３１の修正バージョンをさらに用いて、ＴｏＲスイッチ３８とＰＣＩｅカード４１とが相互接続される。

【0034】

図１６は、本発明のＰＣＩｅカードの実装のブロック図である。このカードは、マルチポートネットワークインターフェイスカード（ＮＩＣ）と見なすことができる。ＰＣＩｅカード４１は、ＲＡＭ４７及びＲＯＭ４８メモリを含むプロセッサ４６と、パケットスイッチ４４と、イーサネットＰＨＹインターフェイスデバイス４５とを含む。図示のカード４１は、ＰＣＩｅ接続部４２及び８個のインターフェイスポート４０を有しており、すなわち図示のカードは、最大４次元のトーラス直接相互接続ネットワークの実装を可能にすることができる。

【0035】

図１７に、カード４１によってサポートされるパケットトラフィックフローを示す。各ポート４０は、ＰＣＩポート４２にアクセスすることができる。従って、（４００によって示すような）ポートからＰＣＩへのトラフィックでは、ポート４０の総数を８とした場合、総帯域幅はポート容量の８倍である。ポートの数は、トーラスメッシュの接続性を決定する。８ポートＰＣＩｅカードの実装は、最大４次元のトーラス（ｘ＋、ｘ－、ｙ＋、ｙ－、ｚ＋、ｚ－、及びｗ＋、ｗ－）を可能にする。

【0036】

カード４１によってサポートされる第２のタイプのトラフィックは、（４１０によって示すような）ヘアピン型トラフィックである。このトラフィックは、１つのポートから別のポートにトラフィックが切り替えられ、トラフィックが単純にノードを通過する場合に生じる。カード４１によってサポートされる第３のタイプのトラフィックは、（４２０によって示すような）ａｄｄ／ｄｒｏｐを伴う通過トラフィックである。このトラフィックは、１つのポートからの入力トラフィックの一部がＰＣＩポートに流れ、一部が別のポートに向け直される場合、或いは入力トラフィックがＰＣＩポートからのトラフィックと融合して別のポートに向け直される場合に生じる。

【0037】

これらの通過トラフィック及びａｄｄ／ｄｒｏｐトラフィックの能力により、各ノードをトラフィックａｄｄ／ｄｒｏｐノードとすることができる直接相互接続ネットワークが実装される。

【符号の説明】

【0038】

３３ ラック
３８ ＴｏＲスイッチ
４１ ＰＣＩｅスイッチカード

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20a】

【図20b】

【図20c】

【図21】

【図22】