特許 7717196 リングベースのトポロジにおける仮想チャネルバランシング

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-07-24

(45)【発行日】2025-08-01

(54)【発明の名称】リングベースのトポロジにおける仮想チャネルバランシング

(51)【国際特許分類】

   H04L 45/44 20220101AFI20250725BHJP

   H04L 45/122 20220101ALI20250725BHJP

   H04L 12/427 20060101ALI20250725BHJP

【ＦＩ】

H04L45/44

H04L45/122

H04L12/427

【請求項の数】 20

(21)【出願番号】P 2023577729

(86)(22)【出願日】2023-06-08

(65)【公表番号】

(43)【公表日】2024-10-28

(86)【国際出願番号】 US2023024825

(87)【国際公開番号】W WO2024081043

(87)【国際公開日】2024-04-18

【審査請求日】2024-02-26

(31)【優先権主張番号】17/966,134

(32)【優先日】2022-10-14

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】502208397

【氏名又は名称】グーグル エルエルシー

【氏名又は名称原語表記】Ｇｏｏｇｌｅ ＬＬＣ

【住所又は居所原語表記】１６００ Ａｍｐｈｉｔｈｅａｔｒｅ Ｐａｒｋｗａｙ ９４０４３ Ｍｏｕｎｔａｉｎ Ｖｉｅｗ， ＣＡ Ｕ．Ｓ．Ａ．

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】タウルズ，ブライアン・パトリック

(72)【発明者】

【氏名】パルタ，ホジャット

【審査官】長濱 美紗

(56)【参考文献】

【文献】米国特許出願公開第２０１２／０１９５３１４（ＵＳ，Ａ１）

【文献】特表平１０－５０６７３６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｌ １２／００－１２／６６

４１／００－１０１／６９５

(57)【特許請求の範囲】

【請求項1】

リングネットワーク内でデータパケットをルーティングする方法であって、
前記リングネットワークの第１のノード内の第１のキューイング構造において、宛先ノードに送信される予定のデータパケットを受信するステップと、
前記第１のノードが、前記データパケットが前記リングネットワークの前記第１のノードから前記宛先ノードに送信されるときに前記データパケットが横断することになるホップの数を判定するステップと、
前記第１のノードが、前記ホップの数をホップ閾値と比較して前記ホップの数が前記ホップ閾値以下であるかどうかを判定するステップと、
前記第１のノードが、
（ｉ）前記ホップの数が前記ホップ閾値よりも大きい場合は、前記リングネットワークの第２のノード内の第１の仮想チャネル用の次元キューイング構造に、または、
（ｉｉ）前記ホップの数が前記ホップ閾値以下である場合は、前記第２のノード内の第２の仮想チャネル用の次元キューイング構造もしくはターンキューイング構造に、
前記データパケットを送信するステップとを含み、
前記第１の仮想チャネル用の前記次元キューイング構造は、前記データパケットを前記リングネットワークの単一の次元に沿って連続するように誘導し、
前記第２の仮想チャネル用の前記次元キューイング構造は、前記データパケットを前記リングネットワークの単一の次元に沿って連続するように誘導し、
前記ターンキューイング構造は、前記データパケットがトーラスネットワークのある次元から前記トーラスネットワークの別の次元または前記トーラスネットワーク外にターンするときに前記データパケットを誘導する、方法。

【請求項2】

前記第１のノード内の前記第１のキューイング構造は前記ターンキューイング構造である、請求項１に記載の方法。

【請求項3】

前記データパケットは、前記第２のノードが前記宛先ノードであるときに、前記第２のノード内の前記ターンキューイング構造に送信される、請求項１または２に記載の方法。

【請求項4】

前記リングネットワークは、第１のデイトラインおよび第２のデイトラインを含み、前記データパケットは、前記第１のデイトラインおよび前記第２のデイトラインを横断する際に、現在の仮想チャネルから別の仮想チャネルに移動する、請求項１または２に記載の方法。

【請求項5】

前記第１のデイトラインおよび前記第２のデイトラインは、前記リングネットワーク上の１対のネットワークノード間に各々配置され、前記第１のデイトラインと前記第２のデイトラインとの間に配置されるノードの数は、前記第２のデイトラインと前記第１のデイトラインとの間に配置されるノードの数に一致する、請求項４に記載の方法。

【請求項6】

前記データパケットが前記第１のノードから前記宛先ノードに送信されるときに前記データパケットがデイトラインを横断することになるかどうかを判定するステップをさらに含み、前記データパケットは、前記デイトラインを横断する際に、現在の仮想チャネルから別の仮想チャネルに移動する、請求項１または２に記載の方法。

【請求項7】

前記データパケットが前記デイトラインを横断することになると判定されたときに、前記データパケットは、前記第２のノード内の前記第１の仮想チャネル用の前記次元キューイング構造に送信される、請求項６に記載の方法。

【請求項8】

前記第２のノードが、前記データパケットを受信した後に、前記データパケットが前記リングネットワークの前記第２のノードから前記宛先ノードに送信されるときに前記データパケットが横断することになるホップの第２の数を判定するステップと、
前記第２のノードが、前記ホップの第２の数を前記ホップ閾値と比較して前記ホップの第２の数が前記ホップ閾値以下であるかどうかを判定するステップと、
前記第２のノードが、
（ｉ）前記ホップの第２の数が前記ホップ閾値よりも大きい場合は、前記リングネットワークの第３のノード内の前記第１の仮想チャネル用の前記次元キューイング構造に、または、
（ｉｉ）前記ホップの第２の数が前記ホップ閾値以下である場合は、前記第３のノード内の第２の仮想チャネル用の前記次元キューイング構造もしくは前記ターンキューイング構造に、
前記データパケットを送信するステップとをさらに含む、請求項６に記載の方法。

【請求項9】

前記データパケットは、前記第３のノードが前記宛先ノードであるときに、前記第３のノード内の前記ターンキューイング構造に送信される、請求項８に記載の方法。

【請求項10】

前記リングネットワークは、トーラスリングまたはツイストトーラスを備えるリングネットワークである、請求項１または２に記載の方法。

【請求項11】

第１のキューイング構造を備える第１のノードと、
第１の仮想チャネル用の次元キューイング構造および第２の仮想チャネル用の次元キューイング構造を備え、前記第１の仮想チャネル用の前記次元キューイング構造は、データパケットをリングネットワークの単一の次元に沿ってかつ前記第１の仮想チャネル上で連続するように誘導し、前記第２の仮想チャネル用の前記次元キューイング構造は、前記データパケットを前記リングネットワークの単一の次元に沿ってかつ前記第２の仮想チャネル上で連続するように誘導し、第２のノードと、
宛先ノードとを含み、前記第１のノードは、
前記第１のキューイング構造において、前記宛先ノードに送信される予定の前記データパケットを受信し、
前記データパケットが前記リングネットワークの前記第１のノードから前記宛先ノードに送信されるときに前記データパケットが横断することになるホップの数を判定し、
前記ホップの数をホップ閾値と比較して前記ホップの数が前記ホップ閾値以下であるかどうかを判定し、
（ｉ）前記ホップの数が前記ホップ閾値よりも大きい場合は、前記第１の仮想チャネル用の前記次元キューイング構造に、または、
（ｉｉ）前記ホップの数が前記ホップ閾値以下である場合は、前記第２の仮想チャネル用の前記次元キューイング構造に、
前記データパケットを送信するように構成されている、リングネットワーク。

【請求項12】

前記第１のノード内の前記第１のキューイング構造はターンキューイング構造であり、前記ターンキューイング構造は、前記データパケットがトーラスネットワークのある次元から前記トーラスネットワークの別の次元または前記トーラスネットワーク外にターンするときに前記データパケットを誘導する、請求項１１に記載のリングネットワーク。

【請求項13】

前記リングネットワークは、第１のデイトラインおよび第２のデイトラインを含み、前記データパケットは、前記第１のデイトラインおよび前記第２のデイトラインを横断する際に、現在の仮想チャネルから別の仮想チャネルに移動する、請求項１１または１２に記載のリングネットワーク。

【請求項14】

前記第１のデイトラインおよび前記第２のデイトラインは、前記リングネットワーク上の１対のネットワークノード間に各々配置され、前記第１のデイトラインと前記第２のデイトラインとの間に配置されるノードの数は、前記第２のデイトラインと前記第１のデイトラインとの間に配置されるノードの数に一致する、請求項１３に記載のリングネットワーク。

【請求項15】

前記リングネットワークは８個よりも多いノードを含む、請求項１４に記載のリングネットワーク。

【請求項16】

前記第１のノードはさらに、
前記データパケットが前記第１のノードから前記宛先ノードに送信されるときに前記データパケットがデイトラインを横断することになるかどうかを判定するように構成され、前記データパケットは、前記デイトラインを横断する際に、現在の仮想チャネルから別の仮想チャネルに移動する、請求項１１または１２に記載のリングネットワーク。

【請求項17】

前記データパケットが前記デイトラインを横断することになると判定されたときに、前記データパケットは、前記第１の仮想チャネル用の前記次元キューイング構造に送信される、請求項１６に記載のリングネットワーク。

【請求項18】

前記第２のノードが、
前記データパケットを受信した後に、前記データパケットが前記リングネットワークの前記第２のノードから前記宛先ノードに送信されるときに前記データパケットが横断することになるホップの第２の数を判定し、
前記第２のノードが、前記ホップの第２の数を前記ホップ閾値と比較して前記ホップの第２の数が前記ホップ閾値以下であるかどうかを判定し、
（ｉ）前記ホップの第２の数が前記ホップ閾値よりも大きい場合は、前記リングネットワークの第３のノード内の前記第１の仮想チャネル用の前記次元キューイング構造に、または、
（ｉｉ）前記ホップの第２の数が前記ホップ閾値以下である場合は、前記第３のノード内の前記第２の仮想チャネル用の前記次元キューイング構造もしくはターンキューイング構造に、
前記データパケットを送信するように構成されている、請求項１６に記載のリングネットワーク。

【請求項19】

前記データパケットは、前記第３のノードが前記宛先ノードであるときに、前記第３のノード内の前記ターンキューイング構造に送信される、請求項１８に記載のリングネットワーク。

【請求項20】

前記リングネットワークは、単一の次元のトーラスリングまたはツイストトーラスネットワークである、請求項１１または１２に記載のリングネットワーク。

【発明の詳細な説明】

【技術分野】

【0001】

相互参照
本願は、２０２２年１０月１４日出願の米国特許出願第１７／９６６，１３４号の継続出願であり、その開示を本願に引用して援用する。

【背景技術】

【0002】

背景
多次元トーラスおよびツイストトーラスネットワークなど、リングベースのネットワークトポロジは、通常、オンチップおよびオフチップのネットワークに使用されている。それらのネットワークトポロジはデッドロックを有することがある。デッドロックは、パケットのチェーンがネットワークを通って進むために互いに待っており、そのチェーンがいずれのパケットも進まないようにするサイクルを形成するときに起きる。デッドロックフリーのネットワークトポロジを保証する一般的な手法は、デイトライン（dateline）またはレッドローバ（red-rover）アルゴリズムを使用することを含み、それらは両方とも仮想チャネルに依存する。しかし、仮想チャネルを使用すると、ネットワーク全体を通してデータパケットの分散がアンバランスになることで、ネットワークトポロジの性能が低下することがある。さらに、デイトラインを使用すると、仮想チャネル依存性チェーンを長くさせることがあり、そのことは、次元あたりのノード数が増えるため不公平性の悪化およびスループットのロスにつながる恐れがある。

【発明の概要】

【0003】

概要
本技術は、デッドロックなしでリングベースのネットワークを通してデータパケットをルーティングすることを対象とする。一態様において、本技術は、リングネットワーク内でデータパケットをルーティングする方法を対象とし、本方法は、リングネットワークの第１のノード内の第１のキューイング構造において、宛先ノードに送信される予定のデータパケットを受信するステップを含む。本方法は、第１のノードが、データパケットがリングネットワークの第１のノードから宛先ノードに送信されるときにデータパケットが横断することになるホップの数を判定するステップを含むこともできる。本方法は、第１のノードが、ホップの数をホップ閾値と比較してホップの数がホップ閾値以下であるかどうかを判定するステップを含むこともできる。

【0004】

本方法は、第１のノードが、（ｉ）ホップの数がホップ閾値よりも大きい場合は、リングネットワークの第２のノード内の第１の仮想チャネル用の次元キューイング構造に、または（ｉｉ）ホップの数がホップ閾値以下である場合は、第２のノード内の第２の仮想チャネル用の次元キューイング構造もしくはターンキューイング構造に、データパケットを送信するステップを含むこともできる。

【0005】

いくつかの例において、第１のノード内の第１のキューイング構造はターンキューイング構造である。

【0006】

いくつかの例において、データパケットは、第２のノードが宛先ノードであるときに、第２のノード内のターンキューイング構造に送信される。

【0007】

いくつかの例において、ネットワークは、第１のデイトラインおよび第２のデイトラインを含む。いくつかの例において、第１のデイトラインおよび第２のデイトラインは、リングネットワーク上の１対のネットワークノード間に各々配置され、第１のデイトラインと第２のデイトラインとの間に配置されるノードの数は、第２のデイトラインと第１のデイトラインとの間に配置されるノードの数に一致する。

【0008】

いくつかの例において、第１のノードはさらに、データパケットが第１のノードから宛先ノードに送信されるときにデータパケットがデイトラインを横断することになるかどうかを判定することもできる。いくつかの例において、データパケットがデイトラインを横断することになると判定されたときに、データパケットは、第２のノード内の第１の仮想チャネル用の次元キューイング構造に送信される。

【0009】

いくつかの例において、本方法はさらに、第２のノードが、データパケットを受信した後に、データパケットがリングネットワークの第２のノードから宛先ノードに送信されるときにデータパケットが横断することになるホップの第２の数を判定するステップと、第２のノードが、ホップの数をホップ閾値と比較してホップの第２の数がホップ閾値以下であるかどうかを判定するステップと、第２のノードが、（ｉ）ホップの数がホップ閾値よりも大きい場合は、リングネットワークの第３のノード内の第１の仮想チャネル用の次元キューイング構造に、または（ｉｉ）ホップの数がホップ閾値以下である場合は、第３のノード内の第２の仮想チャネル用の次元キューイング構造もしくはターンキューイング構造にデータパケットを送信するステップとを含む。

【0010】

いくつかの例において、データパケットは、第３のノードが宛先ノードであるときに、第３のノード内のターンキューイング構造に送信することができる。

【0011】

いくつかの例において、ネットワークはリングネットワークであり、リングネットワークは、単一の次元のトーラスまたはツイストトーラスネットワークである。

【0012】

別の態様において、本技術は、第１のキューイング構造を有する第１のノードを含むリングネットワークを含むことができる。リングネットワークは、第１の仮想チャネル用の次元キューイング構造および第２の仮想チャネル用の次元キューイング構造を有する第２のノードを含むことができる。リングネットワークは宛先ノードを含むこともでき、第１のノードは、第１のキューイング構造において、宛先ノードに送信される予定のデータパケットを受信するように構成される。リングネットワークは宛先ノードを含むこともできる。第１のノードは、データパケットがリングネットワークの第１のノードから宛先ノードに送信されるときにデータパケットが横断することになるホップの数を判定し、ホップの数をホップ閾値と比較してホップの数がホップ閾値以下であるかどうかを判定するように構成することができる。

【0013】

リングネットワークの第１のノードは、（ｉ）ホップの数がホップ閾値よりも大きい場合は、第１の仮想チャネル用の次元キューイング構造に、または（ｉｉ）ホップの数がホップ閾値以下である場合は、第２の仮想チャネル用の次元キューイング構造にデータパケットを送信するように構成することができる。

【0014】

いくつかの例において、リングネットワークの第１のノード内の第１のキューイング構造はターンキューイング構造でよい。

【0015】

いくつかの例において、リングネットワークは、第１のデイトラインおよび第２のデイトラインを含むことができる。いくつかの例において、第１のデイトラインおよび第２のデイトラインは、リングネットワーク上の１対のネットワークノード間に各々配置され、第１のデイトラインと第２のデイトラインとの間に配置されるノードの数は、第２のデイトラインと第１のデイトラインとの間に配置されるノードの数に一致する。いくつかの例において、リングネットワークは８個よりも多いノードを含む。

【0016】

いくつかの例において、第１のノードはさらに、データパケットが第１のノードから宛先ノードに送信されるときにデータパケットがデイトラインを横断することになるかどうかを判定するように構成することができる。

【0017】

いくつかの例において、第２のノードが、データパケットを受信した後に、データパケットがリングネットワークの第２のノードから宛先ノードに送信されるときにデータパケットが横断することになるホップの第２の数を判定し、第２のノードが、ホップの数をホップ閾値と比較してホップの第２の数がホップ閾値以下であるかどうかを判定し、（ｉ）ホップの数がホップ閾値よりも大きい場合は、リングネットワークの第３のノード内の第１の仮想チャネル用の次元キューイング構造に、または（ｉｉ）ホップの数がホップ閾値以下である場合は、第３のノード内の第２の仮想チャネル用の次元キューイング構造もしくはターンキューイング構造にデータパケットを送信するように構成することができる。

【0018】

いくつかの例において、データパケットは、第３のノードが宛先ノードであるときに第３のノード内のターンキュー構造に送信される。

【0019】

いくつかの例において、リングネットワークはトーラスリングまたはツイストトーラスである。

【0020】

他の技術的特徴は当業者に、以下の図、説明、および特許請求の範囲から容易に明白となるであろう。

【0021】

添付の図面と併せて論じられる以下の詳細な説明を参照することによって、本開示およびその付随する利点の多くのより完全な理解が容易に得られるであろう。

【図面の簡単な説明】

【0022】

【図1】本開示の態様による、例示的なリングネットワークを示す図である。

【図2】本開示の態様による、仮想チャネルを有する例示的なリングネットワークを示す図である。

【図3】本開示の態様による、デュアルデイトラインを有する例示的なリングネットワークを示す図である。

【図4】本開示の態様による、ノードがキューイング構造を有する例示的なリングネットワークを示す図である。

【図5】本開示の態様による、リングネットワークを横断するデータパケットを示す図である。

【図6】本開示の態様による、リングネットワークを横断するデータパケットを示す図である。

【図7】本開示の態様による、ネットワーク上でデータパケットを送信する方法を示すフロー図である。

【発明を実施するための形態】

【0023】

詳細な説明
本明細書に記載する技術は、依存性チェーンを短縮し、ネットワークの仮想チャネル（ＶＣ：ｖｉｒｔｕａｌ ｃｈａｎｎｅｌ）リソースを効率的にロードバランシングすることによって、デッドロックフリーの動作を保証しながら、リングベースのネットワークトポロジの性能を改善することを対象とする。この点において、依存性チェーンは、２つのデイトラインがリングの直径の半分だけ離れるように、付加的なデイトラインを付加することによって短縮できる。ＶＣリソース間のロードバランシングの効率を向上させることは、データパケットがデイトラインの１つを横切らない限りデータパケットを任意の時に第２のＶＣに切り換えることを含むことができる。

【0024】

リングベースのネットワークトポロジでは、ネットワークを形成するノードは、ワイヤ、ケーブル、トレースなどの物理リンクを介して接続できる。各物理リンクは、任意の数のＶＣ上でデータパケットを伝送することができる。この点において、１対のノード間の各物理リンクは、１つまたは複数のＶＣを介してデータパケットを通信することができる。例えば、また、図１のリングネットワーク１００に示されているように、各ノード対は物理リンクを介して接続される。例えば、ノード０ １０１は、物理リンク１０２を介してノード１ １０３に接続されており、ノード１ １０３は、物理リンク１０４を介してノード２ １０５に接続されており、ノード２ １０５は、物理リンク１０６を介してノード３ １０７に接続されており、ノード３ １０７は、物理リンク１０８を介してノード４ １０９に接続されており、ノード４ １０９は、物理リンク１１０を介してノード５ １１１に接続されており、ノード５ １１１は、物理リンク１１２を介してノード０ １０１に接続されている。リングネットワーク１００の各物理リンク１１０～１１２は、コールアウト１２２および１２８によって示されているように、２つの仮想チャネルＶＣ０およびＶＣ１を含み、コールアウト１２２および１２８は、それぞれ接続１０２および１０８に関してＶＣ０（実線）およびＶＣ１（破線）を示す。簡単にするために、図１は、接続１０２および１０８に関してのみＶＣを示すが、接続１０４、１０６、１１０、および１１２を含む他の接続も仮想チャネルＶＣ０およびＶＣ１を含むことを理解されたい。リングネットワーク１００は、６個のノード（０～５）および２つの仮想チャネル（ＶＣ０およびＶＣ１）のみを含むが、リングネットワークは、任意の数のノードおよび任意の数の仮想チャネルを含むことができる。

【0025】

ノードは、他のコンピューティングリソースと通信できる任意のタイプのコンピューティングリソースを含むことができる。例えば、ノードは、コンピュータ、サーバ、モバイルデバイス、プロセッサ、コア、ルータ、メモリ、カード（例えば、アクセラレータカード）、ＦＩＦＯ、または他のこのようなキューなどを含むことができる。いくつかの例において、ノードは、ルータを有するプロセッサなど、コンピューティングリソースの集合体を含むことができる。

【0026】

データパケットを送信するＶＣの選択は静的でよい。静的ルーティングにおいて、ルートは、予め定められており、固定されていてよい。機械的には、静的ルートをノード内のＲＡＭメモリ内などのテーブルに格納することができる。パケットの宛先を用いて、テーブルにインデックス付与し、宛先までのルートをルックアップすることができる。

【0027】

デイトライン
リングベースのネットワークトポロジにおいて、デイトラインルーティングは、リングの各方向における１つの物理リンクをデイトラインとして指定するために用いられる。この点において、物理リンクは、リング内の両方の方向を別々に取り扱うことができるような双方向リンクとすることができる。キューイング構造は、通常、第１のチャネル上で各データパケットを送信するようにプログラムされている。データパケットがデイトラインを横切る際に、データパケットは、それぞれの宛先ノードに到達するまでに、第２の仮想チャネルに移動される。

【0028】

例えば、また、リングネットワーク１００と比較できる図２のリングネットワーク２００に示されているように、ノード２１１と２０１との間にデイトライン２２０が配置されている。リングネットワーク２００は、６個のノード２０１～２１１と、物理リンク２０２、２０４、２０６、２０８、２１０、および２１２を含む、隣接する各ノード間の物理リンクとを含む。各物理リンクは、物理リンク２１２以外は、２つの仮想チャネルＶＣ０（実線で示す）およびＶＣ１（破線で示す）を含み、物理リンク２１２は、ＶＣ０とＶＣ１との間でデータパケットを転送する移行リンクと見なすことができる。ＶＣ０からＶＣ１への移行を示すために、図２は、ノード５ ２１１とノード０ ２０１との間の物理リンク２１２を単一の線として示し、その線は、デイトライン２２０の左側では実線、デイトライン２２０の右側では破線である。

【0029】

データパケットがネットワーク２００を横断するときに、ルーティングアルゴリズムは、最初に、データパケットをＶＣ０上にルート設定する。しかし、データパケットがデイトライン２２０を横切る際に、ルーティングアルゴリズムは、データパケットをＶＣ１に切り換え、その後、データパケットをその宛先ノードまでＶＣ１上にルート設定することができる。ほとんどのデータパケットが、デイトライン２２０を通過する前にそれぞれの宛先ノードに到達するときは、非循環ＶＣ依存性の渦巻き様のチェーンが作成される。非循環依存性のこのようなチェーンは、リングネットワーク２００がデッドロックフリーであることを保証するのに十分である。しかし、デイトラインルーティングは、リングネットワーク自体よりも長いＶＣ依存性のチェーンを作成する。

【0030】

いずれの個別のパケットもＶＣ０およびＶＣ１によって作成されたチェーン全体に沿って移動することはないが、依存パケットのシーケンスがチェーンに沿ってブロックされることがある。ブロックされたデータパケットを前進させるために、ネットワーク２００のキューイング構造は、ローカルにフェアまたはグローバルにフェアな調停アルゴリズムなど、調停アルゴリズムを実装することができる。

【0031】

依存性チェーンの長さを短くするために、第２のデイトラインを導入することができる。２つのデイトラインは、本明細書では「デュアルデイトライン」と称され、リングネットワークの直径の半分だけ離れることができる。例えば、また、リングネットワーク１００および２００と比較できる図３のリングネットワーク３００に示されているように、第１のデイトライン３２０が第３のノード（３０５）の後ろに配置され、第２のデイトライン３２２が６個のノードのリングネットワーク３００のうちのノード５ ３１１の後ろに配置されている。この点において、第１のデイトライン３２０は、ノード２ ３０５とノード３ ３０７との間に配置され、第２のデイトライン３２２は、ノード５ ３１１とノード０ ３０１との間に配置されている。したがって、デイトラインの各側に３つのノードが配置されており、ノード３０１、３０３、および３０５は、第２のデイトライン３２２と第１のデイトライン３２０との間に配置され、ノード３０７、３０９、および３１１は、第１のデイトライン３２０と第２のデイトライン３２２との間に配置されている。

【0032】

リングネットワーク２００と同様に、リングネットワーク３００は、６個のノード３０１～３１１と、物理リンク３０２、３０４、３０６、３０８、３１０、および３１２を含む、隣接する各ノード間の物理リンクとを含む。各物理リンクは、移行リンク３１２および３０６以外は、２つの仮想チャネルＶＣ０（実線で示す）およびＶＣ１（破線で示す）を含む。

【0033】

データパケットがネットワーク３００を横断するときに、ルーティングアルゴリズムは、最初に、データパケットをＶＣ０上にルート設定することができる。しかし、データパケットが第１のデイトライン３２０または第２のデイトライン３２２を横切る際に、ルーティングアルゴリズムは、データパケットのルーティングをＶＣ１に切り換えることができる。次いで、ルーティングアルゴリズムは、データパケットをその宛先ノードまでＶＣ１上にルート設定することができる。データパケットは、ＶＣ１に移行される前に、ＶＣ０上で最大で２つの物理リンクを横断することができる。例えば、データパケットは、ノード０ ３０１からノード５ ３１１まで送信できる。本例で、データパケットは、ＶＣ０上で物理リンク３０２および３０４を横断できるが、次いで、物理リンク３０６で第１のデイトライン３２０を横切るときにＶＣ１に移行される。データパケットは、次いで、宛先ノード５ ３１１に到達する前に、ＶＣ１上で物理リンク３０８および３１０を横断することができる。対照的に、また、図２を参照すると、データパケットは、ＶＣ０からＶＣ１に移行する前に、５つの物理リンクを横断することができる。この点において、データパケットは、物理リンク２０２、２０４、２０６、２０８、および２１０を含むノード０ ２０１からノード５ ２１１まで物理リンク全体をＶＣ０上で送信できる。図３は、リングネットワーク３００に２つのデイトライン、つまり第１のデイトライン３２０および第２のデイトライン３２２のみを示しているが、リングネットワークは任意の数のデイトラインを含むことができる。

【0034】

バランシング
仮想チャネル上でのデータパケットトラフィックのより良好なバランシングは、デイトラインを横切らないデータパケットを第２の仮想チャネルＶＣ１にルーティングすることによって実現することができる。この点において、仮想チャネルを横切らないデータパケットは、データパケットがその宛先ノードからＮ個のホップであるときにＶＣ０からＶＣ１に移行することができる。Ｎという値は、リングネットワークのサイズ（例えば、リングネットワーク中のノード数）および予期されるパケットのトラフィックパターンに基づくことができる。

【0035】

バランシングされるＶＣの利用は、想定されるトラフィックパターンに基づいて決定することができる。この点において、異なるタイプのトラフィックパターンは、各ＶＣを異なるように使用することができる。例えば、全対全トラフィックパターンを有するネットワークは、全対一または他のこのようなトラフィックパターンを有するネットワークとは異なるバランシングの必要を有する場合がある。本明細書で用いられる例では、グローバルな全対全トラフィックパターンについて論じる。グローバルな全対全トラフィックパターンを実装するネットワークでは、各ネットワークノードは、他のすべてのネットワークノードからデータパケットを受信し、他のすべてのネットワークノードにデータパケットを送信することができる。

【0036】

ターンキューおよび次元キューを含むキューイング構造が、ネットワークを通じてデータパケットをルート設定することができる。この点において、ネットワークは、データパケットがネットワークを横断するときにデータパケットを誘導するために、それらのキューイング構造を使用することができる。ターンキューは、データパケットがトーラスネットワークのある次元から次の次元にターンするときにデータパケットを誘導するために使用することができる。例えば、ターンキューは、第１の次元上のノードによって受信されたデータパケットを別の次元に誘導するために使用できる。次元キューは、データパケットがネットワークの単一の次元に沿ってかつ仮想チャネル上で連続するように誘導することができる。例えば、次元キューは、同じ次元およびＶＣ０またはＶＣ１などの共通の仮想チャネルに沿って、データパケットをあるノードから別のノードに誘導することができる。キューイング構造は、ノードの一部またはノードに接続されたコンポーネントでよい。例えば、キューイング構造は、ノードに組み込まれたルータまたは他のネットワークインターフェースの一部でよい。

【0037】

図４は、ネットワーク４００のノード４０１、４０３、４０５、および４０７内のキューイング構造を示す。図示のように、各ノードがキューイング構造を含む。この点において、ノード４０１は、ターンキュー４１１、４３１および次元キュー４２１を含み、ノード４０３は、ターンキュー４１３、４３３および次元キュー４２３を含み、ノード４０５は、ターンキュー４１５、４３５および次元キュー４２５を含み、ノード４０７は、ターンキュー４１７、４３７および次元キュー４２７を含む。ターンキュー４３１、４３３、４３５、４３７および４１１、４１３、４１５、４１７は、データをトーラスネットワークの各次元に出入りするように誘導することができる。

【0038】

図４にさらに示されているように、例示的なデータパケットがネットワーク４００に入るところ、それを通って進むところ、そこから出るところが矢印４４１、４４３、４４５、４４７、および４４９によって示されている。この点において、矢印４４１は、データパケットがターンキュー４４１を介してノード４０１に入るところを示す。データパケットは、矢印４４３によって示されているように、ノード４０１からノード４０３の次元キュー４２３に送信される。データパケットは、線４４５によって示されているように、ノード４０３からノード４０５の次元キュー４２５に送信される。次いで、データパケットは、ノード４０７のターンキュー４１７に送信され、その後、矢印４４９によって示されているように、そこから出るように送信される。

【0039】

図４に示す例のデータパケットは、３つの「ホップ」を行う。ホップは、あるノードから別のノードへの送信である。図４において、３つのホップとは、ノード４０１からノード４０３、ノード４０３からノード４０５、およびノード４０５からノード４０７への送信である。データパケットがネットワークに沿った０または１のホップに限定されている例では、データパケットはターンキューの使用に限定される。この点において、データパケットは、ターンキューを用いたトーラスリングネットワークの出口次元または入口次元になるため、次元キューをいずれも使用しないことになる。

【0040】

図５のネットワーク５００を参照すると、各ノード５０１、５０３、５０５、５０７、および５０９の次元キューに、リングネットワークの次元に沿ったルーティングのための仮想チャネルを割り当てることができる。この点において、それぞれノード５０１～５０９の次元キュー５２１、５２３、５２５、５２７、および５２９にはＶＣ１が割り当てられている。それぞれノード５０１～５０９の次元キュー５４１、５４３、５４５、５４７、および５４９にはＶＣ０が割り当てられている。同じ仮想チャネル上、例えば、ＶＣ０またはＶＣ１上のノード間で移動するデータパケットは、同じ仮想チャネルが割り当てられた次元キュー間を通過することになる。例えば、仮想ＶＣ０上でノード５０３と５０５との間を通過するデータパケットは、次元キュー５４３から次元キュー５４５に通過することになる。同様に、仮想チャネルＶＣ１上でノード５０３と５０５との間を通過するデータパケットは、次元キュー５２３から次元キュー５２５に通過することになる。

【0041】

ｈ≧２ホップを移動するデータパケットの場合、データパケットは、それらのルートに沿ってｈ－１の次元キューを使用する。全対全トラフィックが対称的であるときは、次元キューの合計使用数は、少なくとも２ホップであるルートの和によって決定することができ、
合計次元キュー＝ｓｕｍ＿｛ｈ＞１｝（ｈ－１）＊ｔ（ｈ）
ここで、ｈはホップの数であり、ｔ（ｈ）は、次元キューに沿ってｈ個のホップを移動するトラフィックの割合である。この和の単位は、リングネットワーク中の各ノードで単一パケットが注入されるときにノード上で次元キューに入るデータパケットの平均数である。

【0042】

その次元に沿って偶数のノードｋを有するトーラスリングネットワークにおける全対全トラフィックの場合は、
｛１／ｋ ｉｆ ０≦ｈ＜ｋ／２，ｅｌｓｅ
ｔ（ｈ）＝｛１／２ｋ ｉｆ ｈ＝ｋ／２，ｅｌｓｅ
｛０
である。

【0043】

次元キュー専用の２つのＶＣであるＶＣ０とＶＣ１との間でロードバランシングするために、ルーティングアルゴリズムは、閾値Ｔを定義することができる。ルートにホップがＴ個以下残っており、デイトラインを通過しないデータパケットはいずれも、ＶＣ１に置いてよい。そうでなければ、データパケットはＶＣ０を使用することができる。

【0044】

図５は、ネットワーク５００上でＤＰ１が付与された矢印によって示されているデータパケット１の３ホップのルートを示す。この点において、データパケット１は、ノード５０１にターンキュー５３１から入る。次いで、データパケット１は、ターンキュー５３１によってノード５０３に送信されて次元キュー５４３でＶＣ０上に至る。データパケット１は、次元キュー５４３からノード５０５の次元キュー５２５に送信されてＶＣ１上に至る。データパケット１は、次元キュー５２５からノード５０７のターンキュー５１７に送信され、その後、ネットワーク５００から外される。

【0045】

図５はさらに、ネットワーク５００上でＤＰ２が付与された矢印によって示されているデータパケット２の２ホップのルートを示す。この点において、データパケットは、ネットワーク５００にノード５０５を介してターンキュー５３５から入る。データパケット２は、ターンキュー５３５からノード５０７の次元キュー５２７に送信されてＶＣ１上に至る。データパケットは、次元キュー５２７からノード５０９のターンキュー５２９に送信され、その後、ネットワーク５００から外される。

【0046】

データパケット１およびデータパケット２のルーティングは、Ｔ＝１の閾値を有するネットワーク５００のルーティングアルゴリズムに基づいている。したがって、データパケット１は最初に、データパケット１に２ホップ残っているためノード５０３でＶＣ０上にルート設定される。データパケット１がノード５０５に達してはじめて、つまり、データパケット１に残っているのが閾値の１に等しい１ホップのときに、ＶＣ１にルート設定される。閾値が２ホップであった場合には、データパケット１はノード５０３でＶＣ１上にルート設定されたはずである。

【0047】

データパケット１の２ホップのルートについては、データパケットは、データパケット２がノード５０７に到達するときに残っているのが閾値の１に等しい１ホップであるため、すぐにＶＣ１上にルート設定される。

【0048】

ネットワーク５００はデイトラインを含むようには示されていないため、ネットワーク５００全体のデータパケットのルーティングにおいてデイトラインが考慮されていない。しかし、デイトラインが存在した場合に、データパケット１および２は、データパケットが後からデイトラインを横切る予定がなければ、閾値のときにＶＣ１に切り換えることになるだけである。パケットが横切ることができるデイトラインの数は、テーブルルックアップを行うことによって判定できる。この点において、宛先ノードまでのルートに沿ったデイトラインの数は、ＲＡＭメモリテーブルルートに格納することができる。したがって、宛先ノードまでにデータパケットによって横断されるデイトラインの数は、データパケットの宛先を用いて、テーブルにインデックス付与し、テーブルに格納されたように宛先までのルートに沿ったデイトラインの数をルックアップすることによって判定できる。

【0049】

次元ＶＣ０とＶＣ１との間でロードバランシングする閾値を計算するために、次元キュー上の合計負荷を、ｈ個のホップが残るデータパケットによってもたらされる負荷に分けることができ、これは、
ｒ（ｈ）＝ｓｕｍ＿｛ｉ＞ｈ｝ｔ（ｉ）
と定義される。

【0050】

例えば、２個以上のホップを移動するすべてのパケットは、最終的に残りの１ホップを有する。したがって、それらのホップの各々に関するトラフィックの割合の和（すなわち、ｒ（１）＝ｔ（１）＋ｔ（２）＋・・・）を判定して、残りが１ホップのパケットによってもたらされる次元キューの利用を求めることができる。すべてのパケットに何らかの数のホップが残っているため、ｒ（ｈ）の和は、上記で計算したような合計負荷を回復する。

【0051】

合計＝ｓｕｍ＿｛ｈ＞０｝ｒ（ｈ）
次いで、Ｔは、２つのＶＣ間のアンバランスを最小限に抑えるように選択できる。

【0052】

ｍｉｎｉｍｉｚｅ｜ｓｕｍ＿｛ｈ＞Ｔ｝ｒ（ｈ）－ｓｕｍ＿｛０＜ｈ≦Ｔ｝ｒ（ｈ）｜
以下の表１の様々なサイズのリングに関して、閾値Ｔの例示的な値を上記の式を用いて計算した。

【0053】

【表1】

【0054】

実験に基づくと、リングサイズと計算された閾値（Ｔ）との間には線形の関係がある。したがって、閾値（Ｔ）＝ｒｏｕｎｄ（０．１４５・ｋ－０．３）を選択することは、ｋが４の倍数でありネットワークが最大６４個のノードを含むリングを結果としてもたらすことができる。

【0055】

前の段落からの概念は、関数ｔ（ｈ）に関して適切な定義を有するツイストトーラスに拡大することができる。ツイストトーラスネットワークに関する例示的な閾値Ｔの値を、以下の表２で様々なサイズのリングについて式を用いて計算した。

【0056】

【表2】

【0057】

トーラスリングネットワークと同様に、ツイストトーラスネットワークでもリングサイズと計算された閾値（Ｔ）との間に線形の関係がある。この点において、ｋ≦６４の値の場合の閾値（Ｔ）は、以下の式の一方を用いて決定することができる。

【0058】

（１）２ｋ×ｋ×ｋ：閾値＝ｒｏｕｎｄ（０．１７５・ｋ－０．１５）
（２）２ｋ×２ｋ×ｋ：閾値＝ｒｏｕｎｄ（０．２２２・ｋ－０．１）
いくつかの例において、デイトラインは、リングネットワークのルーティングアルゴリズムから取り除くことができる。デイトラインを取り除くことによって、ネットワークを通じたスループットの改善を、特にダイレクトメモリアクセス（ＤＭＡ）サイズが上昇するときに実現できる。デイトラインが取り除かれる前に一定の条件を満たすことができる。それらの条件は、（１）ネットワークがリング内に８個以下のノードを含むこと（これは、ツイストトーラスネットワークの場合のｋ≦４に相当する）、（２）ＶＣの使用が、本明細書に記載するバランシング技術を用いてバランシングされていること、（３）リング内に８個のノードがある（やはりｋ＝４のツイストトーラスに該当する）ときに、ノードは、正の方向と負の方向との間で交互に換わって、リングに沿ってちょうど中間に向かうルートに対してタイブレーキングすることを含むことができる。

【0059】

８個を超えるノードを有するネットワーク、ＶＣバランシングが無効化されたネットワーク、またはタイブレーキングが交互に換わらないネットワークでは、ＶＣの非循環の依存性が失われ、ＶＣ０対ＶＣ０の依存性が全ノード間に現れ、ＶＣ０サイクルを断つデイトライン（または他のアプローチ）が必要になる。

【0060】

いくつかの実施形態では、ノードは、インプットキューおよびアウトプットキューを有するキューイング構造を含むことができる。この点において、図４および図５で説明したようなインプットキューまたはアウトプットキューのあるアーキテクチャと異なり、データパケットは各ホップでインプットキューおよびアウトプットキューを通って移動する。それらの対のキューは、それらの関連付けられた次元に分割できる。例えば、図６に示されているように、ネットワーク６００の統合型のインプット－アウトプットキューイングアーキテクチャ内で、ノードは、ノード６０１、６０３、および６０５のターン６３１、６３３、６３５など、前の次元からのターンと、ノード６０１、６０３、および６０５のターン６１１、６１３、および６１５など、次の次元までのターンとを含むことができる。付加的に、ノードは、ノード６０１、６０３、および６０５のＶＣ０とそれぞれ関連付けられたキューイング構造６４１、６４３、および６４５など、仮想チャネルと関連付けられた次元キューイング構造を含むことができる。付加的に、ノード６０１、６０３、および６０５は、ＶＣ１とそれぞれ関連付けられたキューイング構造６２１、６２３、および６２５を含む。

【0061】

図６にさらに示されているように、各キューイング構造は、「（ｉ）」で識別されるインプットキューと、「（ｏ）」で識別されるアウトプットキューとに分割することができる。例えば、次元キューイング構造６２１は、インプットキューであるＶＣ１（ｉ）およびアウトプットキューであるＶＣ１（ｏ）を含む。データパケットの送信中に、データパケットは、インプットキューおよびアウトプットキューの両方を通過する。例えば、図６でＤＰ１が付与されたデータパケット１は、Ｔ（ｉ）が付与されたインプットキューおよびＴ（ｏ）が付与されたアウトプットキューを含む、ターン６３１のキューイング構造を通過する。

【0062】

やはり図６に示されているように、ＶＣ間の移行は、パケットがインプットキューからアウトプットキューに動くときに起こる。この点において、ＤＰ１はノード６０３においてＶＣ０（ｉ）（インプットキュー）からＶＣ１（ｏ）（アウトプットキュー）に通過することができる。ＶＣ１（ｏ）は、その後、ＤＰ１をノード６０５のインプットキューＶＣ１（ｉ）に通過させることができる。ノード６０５内ではデータパケットをＴ（ｏ）に通過させることができる。

【0063】

図７は、ネットワーク内でデータパケットをルーティングするためのフロー図７００を示す。ブロック７０２で、リングネットワークの第１のノード内の第１のキューイング構造においてデータパケットが受信される。データパケットは、ネットワーク上で宛先ノードまで送信される予定である。ブロック７０４で、第１のノードは、リングネットワークの第１のノードから宛先ノードに送信されるときにデータパケットが横断することになるホップの数を判定する。ブロック７０６で、第１のノードは、ホップの数をホップ閾値と比較してホップの数がホップ閾値以下であるかどうかを判定する。ブロック７０８で、第１のノードは、（ｉ）ホップの数がホップ閾値よりも大きい場合は、リングネットワークの第２のノード内の第１の仮想チャネルの次元キュー構造に、または（ｉｉ）ホップの数がホップ閾値以下である場合は、第２のノード内の第２の仮想チャネル用の次元キュー構造もしくはターンキューイング構造にデータパケットを送信する。

【0064】

前述の例はリングネットワーク１００、２００、３００、４００、５００、および６００などのリングネットワークを示しているが、本明細書に記載する技術は、マルチプルリングベースのトポロジ（例えば、「トーラス」および「ツイストトーラス」トポロジ）など、他のリングベースのネットワークトポロジに応用できる。

【0065】

別段の明示がない限り、前述の代替的な例は互いに排他的ではなく、独自の利点を達成するために様々な組み合わせで実装できる。上記で論じた特徴のこれらのおよび他の変形例ならびに組み合わせを特許請求の範囲で定義される主題から逸脱することなく利用できるときは、実施形態の前述の説明は、特許請求の範囲で定義される主題の限定ではなく例示として解釈するべきである。さらに、本明細書に記載する例の提供、ならびに「など（ｓｕｃｈ ａｓ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」などで表現される節は、特許請求の範囲の主題を特定の例に限定するものとして解釈するべきではなく、むしろそれらの例は、可能な多数の実施形態のうちの１つだけを示すことが意図されている。さらに、異なる図面にある同じ参照番号は同じかまたは同様の要素を識別できる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】