特許 6687265 大規模なフォトニックスイッチ型ネットワークの分散型制御のための方法およびシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6687265

(24)【登録日】2020年4月6日

(45)【発行日】2020年4月22日

(54)【発明の名称】大規模なフォトニックスイッチ型ネットワークの分散型制御のための方法およびシステム

(51)【国際特許分類】

   H04L 12/917 20130101AFI20200413BHJP

【ＦＩ】

   H04L12/917

【請求項の数】20

【全頁数】31

(21)【出願番号】特願2018-568321(P2018-568321)

(86)(22)【出願日】2017年5月10日

(65)【公表番号】特表2019-520003(P2019-520003A)

(43)【公表日】2019年7月11日

(86)【国際出願番号】CN2017083783

(87)【国際公開番号】WO2018006649

(87)【国際公開日】20180111

【審査請求日】2019年2月19日

(31)【優先権主張番号】15/201,563

(32)【優先日】2016年7月4日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】504161984

【氏名又は名称】ホアウェイ・テクノロジーズ・カンパニー・リミテッド

(74)【代理人】

【識別番号】110000877

【氏名又は名称】龍華国際特許業務法人

(72)【発明者】

【氏名】メラバー、ハミド

【審査官】 羽岡 さやか

(56)【参考文献】

【文献】 米国特許出願公開第２０１２／０００８９４５（ＵＳ，Ａ１）

【文献】 特開２０１６−０６３２８５（ＪＰ，Ａ）

【文献】 特開２００６−２７０７８１（ＪＰ，Ａ）

【文献】 Wenzhi Cui et al.，DiFS: Distributed Flow Scheduling for Adaptive Routingin Hierarchical Data Center Networks，ANCS'14 Proceedings of the tench ACM/IEEE symposium on Architectures for networking and communication systems ，２０１４年１０月２１日，P.53-64

【文献】 Fulong Yan et al.，Novel Flat Data Center Network Architecture Based on Optical Switches With Fast Flow Control，IEEE Photonics Journal，２０１６年 ４月，Volume 8, Number 2，P.1-10

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｌ １２／００−１２／９５５

(57)【特許請求の範囲】

【請求項1】

複数のサブネットワークを含むサブネットワークグループを複数有するネットワークのための帯域幅要求を判定する方法であって、各サブネットワークが、複数のサーバラックを含み、サブネットワークグループ内の各サブネットワークが、前記各サブネットワーク内の前記複数のサーバラックへのトラフィックフロー、および、前記各サブネットワーク内の前記複数のサーバラックからのトラフィックフローを制御するよう構成されている集合スイッチノードを含み、前記ネットワーク内の前記集合スイッチノードは、スイッチ制御装置により制御されている少なくとも１つのスイッチを介して互いに光学的に連結され、複数の前記サブネットワークグループの各サブネットワークグループが、前記各サブネットワークグループ内の前記集合スイッチノードの各々と通信状態にあるグループ制御装置を含み、前記グループ制御装置は、互いに通信可能に連結され、前記方法は、
第１サブネットワークグループのグループ制御装置において、
前記第１サブネットワークグループの各サブネットワークが前記第１サブネットワークグループ内の他のサブネットワークと前記ネットワーク内の他のサブネットワークグループとに対して持つ帯域幅要求について、前記グループ制御装置が、前記第１サブネットワークグループ内の各サブネットワークの前記集合スイッチノードを監視する段階と、
前記グループ制御装置が、前記ネットワーク内の他のグループ制御装置の各々に前記第１サブネットワークグループの前記各サブネットワークの前記帯域幅要求を伝える段階と
を備える、方法。

【請求項2】

前記グループ制御装置が帯域幅要求を監視する段階は、
他の各サブネットワークグループに対する前記第１サブネットワークグループの前記帯域幅要求と、他の各サブネットワークグループに対する前記第１サブネットワークグループの各サブネットワークの前記帯域幅要求とを類別する段階を有する、請求項１に記載の方法。

【請求項3】

他の各サブネットワークグループに対する前記第１サブネットワークグループの前記帯域幅要求と、他の各サブネットワークグループに対する前記第１サブネットワークグループの各サブネットワークの前記帯域幅要求とを類別する段階は、
前記第１サブネットワークグループ内の前記各サブネットワークからの前記帯域幅要求を集約する段階と、
集約された、他のサブネットワークグループに対する前記帯域幅要求をグループごとに判定する段階と
を含む、請求項２に記載の方法。

【請求項4】

前記グループ制御装置が帯域幅要求を監視する段階は、
前記グループ制御装置が、それぞれのサブネットワークの前記集合スイッチノードからプッシュされた、前記それぞれのサブネットワーク内の前記複数のサーバラックの帯域幅要求情報を受信する段階、または、
前記グループ制御装置が、前記グループ制御装置からのポーリングに応答して、それぞれのサブネットワークの前記集合スイッチノードから前記それぞれのサブネットワーク内の前記複数のサーバラックの帯域幅要求情報を受信する段階
を有する、請求項１に記載の方法。

【請求項5】

複数のサブネットワークを含むサブネットワークグループを複数有するネットワークのための帯域幅を割り振る方法であって、サブネットワークが、複数のサーバラックを含み、サブネットワークグループ内の各サブネットワークが、前記各サブネットワーク内の前記複数のサーバラックへのトラフィックフロー、および、前記各サブネットワーク内の前記複数のサーバラックからのトラフィックフローを制御するよう構成されている集合スイッチノードを含み、前記ネットワーク内の前記集合スイッチノードは、スイッチ制御装置により制御されている少なくとも１つのスイッチを介して、互いに光学的に連結され、複数の前記サブネットワークグループの各サブネットワークグループが、前記各サブネットワークグループ内の前記集合スイッチノードの各々と通信状態にあるグループ制御装置を含み、前記グループ制御装置は、互いに通信可能に連結され、前記方法は、
第１サブネットワークグループのグループ制御装置において、
他の各サブネットワークグループのグループ制御装置から、前記第１サブネットワークグループに対する他の各サブネットワークグループの帯域幅要求を受信する段階と、
受信された前記帯域幅要求に基づいて、前記第１サブネットワークグループと他のサブネットワークグループとの間で帯域幅容量を割り振る段階と、
前記第１サブネットワークグループと前記他のサブネットワークグループとの間で割り振られた前記帯域幅容量を他の各グループ制御装置に送信する段階と
を備える、方法。

【請求項6】

前記第１サブネットワークグループの前記グループ制御装置が、別のサブネットワークグループに対して割り振られる帯域幅容量が減少していると判定すると、前記第１サブネットワークグループの前記グループ制御装置が、前記減少に適応すべく、前記第１サブネットワークグループの少なくとも１つのサブネットワークの少なくとも１つのインタフェースにおけるトラフィックを休止させる段階を更に備える、請求項５に記載の方法。

【請求項7】

前記グループ制御装置が、前記第１サブネットワークグループと前記他のサブネットワークグループの各々との間で割り振られた前記帯域幅容量を前記スイッチ制御装置に送信する段階を更に備える、請求項５に記載の方法。

【請求項8】

前記グループ制御装置が、前記第１サブネットワークグループと前記他のサブネットワークグループの各々との間で割り振られた前記帯域幅容量を前記スイッチ制御装置に送信する段階は、前記グループ制御装置が、前記第１サブネットワークグループおよび前記他のサブネットワークグループの各々に前に割り振られた帯域幅容量と、前記第１サブネットワークグループおよび前記他のサブネットワークグループの各々に現在割り振られている帯域幅容量との間における、前記割り振られる帯域幅容量の変化のインジケーションを、前記スイッチ制御装置に送信する段階を有する、請求項７に記載の方法。

【請求項9】

前記スイッチ制御装置が、前記グループ制御装置の各々から受信された、前記サブネットワークグループの各々と前記他のサブネットワークグループの各々との間で割り振られる帯域幅容量に関する情報に基づいて、前記少なくとも１つのスイッチの前記帯域幅容量を調節する段階を更に備える、請求項８に記載の方法。

【請求項10】

システムであって、
少なくとも１つのスイッチと、
前記少なくとも１つのスイッチを制御するよう構成されているスイッチ制御装置と、
複数のサブネットワークであって、１つのサブネットワークが、複数のサーバラックを有し、各サブネットワークが、前記各サブネットワークへのトラフィックフロー、および、前記各サブネットワークからのトラフィックフローを制御するよう構成されている集合スイッチノードを有し、前記複数のサブネットワークは、前記少なくとも１つのスイッチを介して互いに通信可能に連結され、前記複数のサブネットワークは、複数のサブネットワークグループに配置される、複数のサブネットワークと、
複数のグループ制御装置であって、サブネットワークグループごとに１つのグループ制御装置があり、前記複数のグループ制御装置の各々が前記複数のサブネットワークグループ内の前記集合スイッチノードの各々と通信状態にあり、前記複数のグループ制御装置は、互いに通信可能に連結され、前記複数のグループ制御装置の各々が、
それぞれのサブネットワークグループの各サブネットワークが前記各サブネットワーク内のサーバラックと前記システム内の他のサブネットワークとに対して持つ帯域幅要求を監視し、前記システム内の他のグループ制御装置の各々に前記それぞれのサブネットワークグループの前記帯域幅要求を伝えることと、
受信された前記帯域幅要求に基づいて、前記それぞれのサブネットワークグループと他のサブネットワークグループとの間で帯域幅容量を割り振り、前記それぞれのサブネットワークグループおよび前記他のサブネットワークグループに割り振られた前記帯域幅容量を前記他のグループ制御装置に送信することと、
前記他のグループ制御装置から、前記それぞれのサブネットワークグループおよび前記他のサブネットワークグループに与えられる帯域幅容量の割り当てを受信し、受信された前記帯域幅容量の割り当てに基づいて、前記それぞれのサブネットワークグループの各々と前記他のサブネットワークグループの前記サブネットワークとの間で帯域幅容量を割り振ることと
を行うよう構成される、複数のグループ制御装置と
を備えるシステム。

【請求項11】

前記複数のサブネットワークグループの各々のための前記グループ制御装置は、高速光接続を用いて、環状または網目状に互いに通信可能に連結される、請求項１０に記載のシステム。

【請求項12】

所与のサブネットワークの前記集合スイッチノードは、低速光接続を用いて前記グループ制御装置を中心にして、環状接続または星形接続で前記それぞれのサブネットワークグループの前記グループ制御装置に通信可能に連結される、請求項１０に記載のシステム。

【請求項13】

前記複数のグループ制御装置は、前記スイッチ制御装置に通信可能に連結される、請求項１０から１２の何れか一項に記載のシステム。

【請求項14】

前記スイッチ制御装置は、前記少なくとも１つのスイッチを集合的に制御する、互いに通信可能に連結されている複数のスイッチ制御装置である、請求項１０から１３の何れか一項に記載のシステム。

【請求項15】

第１サブネットワークグループを制御するよう構成されているグループ制御装置であって、サブネットワークが、複数のサーバラックと定義され、前記グループ制御装置は、複数の集合スイッチノードと通信状態にあり、各集合スイッチノードは、それぞれのサブネットワーク内の複数のサーバラックへのトラフィックフロー、および、それぞれのサブネットワーク内の複数のサーバラックからのトラフィックフローを制御するよう構成され、前記グループ制御装置は、少なくとも１つの他のサブネットワークグループを制御するよう構成されている少なくとも１つの他のグループ制御装置と通信状態にあり、前記サブネットワークグループは、スイッチ制御装置により制御されている少なくとも１つのスイッチを介して互いに通信可能に連結され、前記グループ制御装置は、
プロセッサと、
プログラムと
を備え、前記プログラムは、前記プロセッサにより実行されると、前記グループ制御装置に、
前記第１サブネットワークグループ内の各サブネットワークの前記複数の集合スイッチノードを介して、前記第１サブネットワークグループの各サブネットワークが前記少なくとも１つの他のサブネットワークグループの１つまたは複数のサブネットワーク内のサーバラックに対して持つ帯域幅要求を監視することと、
前記少なくとも１つの他のグループ制御装置の各々に前記第１サブネットワークグループの前記サブネットワークの前記帯域幅要求を伝えることと
を行わせる、グループ制御装置。

【請求項16】

前記プログラムは更に、前記プロセッサにより実行されると、前記グループ制御装置に、
前記少なくとも１つの他のグループ制御装置から、前記第１サブネットワークグループに対する他の各サブネットワークグループの前記帯域幅要求を受信することと、
受信された前記帯域幅要求に基づいて、前記第１サブネットワークグループと他の各サブネットワークグループとの間で帯域幅容量を割り振ることと、
前記第１サブネットワークグループと他のサブネットワークグループとの間で割り振られた前記帯域幅容量を他の各グループ制御装置に送信することと
を行わせる、請求項１５に記載のグループ制御装置。

【請求項17】

前記プログラムは更に、前記プロセッサにより実行されると、前記グループ制御装置に、
前記少なくとも１つの他のグループ制御装置から、前記少なくとも１つの他のグループ制御装置と関連付けられる前記サブネットワークグループにより前記第１サブネットワークグループに与えられる、割り振られた前記帯域幅容量を受信することと、
受信された前記帯域幅容量の割り当てに基づいて、前記第１サブネットワークグループの前記サブネットワークの各々と前記他のサブネットワークグループとの間で帯域幅容量を割り振ることと
を行わせる、請求項１６に記載のグループ制御装置。

【請求項18】

高速光接続を用いて、環状または網目状に他のグループ制御装置に通信可能に連結される、請求項１５から１７の何れか一項に記載のグループ制御装置。

【請求項19】

低速光接続を用いて前記グループ制御装置を中心にして、環状接続または星形接続で前記第１サブネットワークグループ内の前記複数の集合スイッチノードに通信可能に連結される、請求項１５から１８の何れか一項に記載のグループ制御装置。

【請求項20】

前記スイッチ制御装置に通信可能に連結される、請求項１５から１９の何れか一項に記載のグループ制御装置。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、２０１６年７月４日に出願された「Ａ Ｍｅｔｈｏｄ ａｎｄ Ｓｙｓｔｅｍ ｆｏｒ Ｄｉｓｔｒｉｂｕｔｅｄ Ｃｏｎｔｒｏｌ ｏｆ Ｌａｒｇｅ Ｐｈｏｔｏｎｉｃ Ｓｗｉｔｃｈｅｄ Ｎｅｔｗｏｒｋｓ」と題する米国非仮特許出願第１５／２０１，５６３号に対する優先権およびその利益を主張するものであり、その内容全体が複製されているかのように、参照により本明細書に組み込まれる。

【0002】

本願は、フォトニックネットワーク、特に、フォトニックネットワークのための分散型制御アーキテクチャに関する。

【背景技術】

【0003】

フォトニックスイッチを用いた通信ネットワークにおけるデータパス容量に対する要求が高まり続けている。そのため、係る要求を満たすことができるネットワークを実装しようと試みる上で新たな問題が生じる。

【0004】

係る問題の１つは、フォトニックスイッチのスイッチファブリックを使って低遅延を実現することにある。なぜなら、制御の決定および帯域幅の調節が迅速に、すなわち、例えば、少なくともマイクロ秒レベルという所望の目標で行われる必要があるからである。別の問題は、損失のないスイッチを確保しようと試みることにある。更には、フォトニックバッファリングの不足によって、フォトニックスイッチに流れ込む多数のサーバのトラフィックを同期すると様々な課題が生じ得る。更なる問題は、ネットワーク内の複数のフォトニックスイッチ間の伝搬遅延にある。別の問題は、帯域幅の割り当て計算が確実にサブマイクロ秒の時間枠で実行され得るように光スイッチを制御するスイッチ制御装置に必要とされる制御処理能力にあるかもしれない。

【発明の概要】

【0005】

本開示の実施形態によれば、複数のサブネットワークグループを含むネットワークのための帯域幅要求を判定する方法および帯域幅を割り振る方法は様々であり、各サブネットワークが複数のサーバラックを含む。サブネットワークグループ内の各サブネットワークが、サブネットワーク内の複数のサーバラックへのトラフィックフロー、および、サブネットワーク内の複数のサーバラックからのトラフィックフローを制御するよう構成されている集合スイッチノードを含む。ネットワーク内の集合スイッチノードは、スイッチ制御装置により制御されている少なくとも１つのスイッチを介して、互いに光学的に連結される。当該複数のサブネットワークグループの各サブネットワークグループが、サブネットワークグループ内の集合スイッチノードの各々と通信状態にあるグループ制御装置を含み、これらのグループ制御装置は、互いに通信可能に連結される。

【0006】

第１実施形態では、帯域幅を判定する方法が提供される。当該方法は、第１サブネットワークグループのグループ制御装置において、第１グループの各サブネットワークが第１サブネットワークグループ内の他のサブネットワークとネットワーク内の他のサブネットワークグループとに対して持つ帯域幅要求について、第１グループ内の各サブネットワークの集合スイッチノードを監視する段階を含む。当該方法は、グループ制御装置が、ネットワーク内の他のグループ制御装置の各々に第１グループのサブネットワークの帯域幅要求を伝える段階も含む。

【0007】

グループ制御装置が帯域幅要求を監視する段階は更に、他の各サブネットワークグループに対する第１サブネットワークグループの帯域幅要求と、他の各サブネットワークグループに対する第１サブネットワークグループの各サブネットワークの帯域幅要求とを類別する段階を含んでよい。サブネットワークグループの帯域幅要求を類別する段階は更に、第１サブネットワークグループ内のサブネットワーク全てからの帯域幅要求を集約する段階と、他のサブネットワークグループに対する集約された帯域幅要求をグループごとに判定する段階とを含んでよい。

【0008】

幾つかの実施形態によると、グループ制御装置が帯域幅要求を監視する段階は、グループ制御装置が、それぞれのサブネットワークの集合スイッチノードからプッシュされた、それぞれのサブネットワーク内のサーバラックの帯域幅要求情報を受信する段階を含んでよい。他の実施形態によると、グループ制御装置が帯域幅要求を監視する段階は、グループ制御装置が、グループ制御装置からのポーリングに応答して、それぞれのサブネットワークの集合スイッチノードからそれぞれのサブネットワーク内のサーバラックの帯域幅要求情報を受信する段階を含んでよい。

【0009】

第２実施形態では、帯域幅を割り振る方法が提供される。当該方法は、第１サブネットワークグループのグループ制御装置において、他の各サブネットワークグループのグループ制御装置から、第１サブネットワークグループに対する他の各サブネットワークグループの帯域幅要求を受信する段階を含む。当該方法は、受信された帯域幅要求に基づいて、第１サブネットワークグループと他のサブネットワークグループとの間で帯域幅容量を割り振る段階も含む。当該方法は更に、第１サブネットワークグループと他のサブネットワークグループとの間で割り振られた帯域幅容量を他の各グループ制御装置に送信する段階を含む。

【0010】

幾つかの実施形態によると、当該方法は更に、グループ制御装置が、第１グループと他のグループの各々との間で割り振られた帯域幅容量をスイッチ制御装置に送信する段階を含む。幾つかの実施形態によると、当該方法は、グループ制御装置が、第１グループおよび他のグループの各々に前に割り振られた帯域幅容量と、第１グループおよび他のグループの各々に現在割り振られている帯域幅容量との間における、割り振られる帯域幅容量の変化のインジケーションを、少なくとも１つのスイッチに送信する段階を含んでよい。

【0011】

幾つかの実施形態によると、当該方法は更に、スイッチ制御装置が、グループ制御装置の各々から受信された、サブネットワークグループの各々と他のサブネットワークグループの各々との間で割り振られる帯域幅容量に関する情報に基づいて、少なくとも１つのスイッチの帯域幅容量を調節する段階を含んでよい。

【0012】

第３実施形態では、帯域幅を割り振る方法が提供される。当該方法は、第１サブネットワークグループのグループ制御装置において、他の各サブネットワークグループのグループ制御装置から、第１サブネットワークグループと他の各サブネットワークグループとの間で与えられる帯域幅容量の割り当てを受信する段階を含む。当該方法は更に、受信された帯域幅容量の割り当てに基づいて、第１サブネットワークグループのサブネットワークの各々と他のサブネットワークグループとの間で帯域幅容量を割り振る段階を含む。

【0013】

本開示の第４実施形態は、第１サブネットワークグループを制御するよう構成されているグループ制御装置を含む。ここでは、サブネットワークが複数のサーバラックと定義される。グループ制御装置は、複数の集合スイッチノードと通信状態にある。各集合スイッチノードが、それぞれのサブネットワーク内の複数のサーバラックへのトラフィックフロー、および、それぞれのサブネットワーク内の複数のサーバラックからのトラフィックフローを制御するよう構成される。グループ制御装置は、少なくとも１つの他のサブネットワークグループを制御するよう構成されている少なくとも１つの他のグループ制御装置と通信状態にある。サブネットワークグループは、スイッチ制御装置により制御されている少なくとも１つのスイッチを介して互いに通信可能に連結される。グループ制御装置は、プロセッサと、自らにコンピュータ実行可能命令を記憶したコンピュータ可読媒体とを含む。プロセッサにより実行されると、コンピュータ実行可能命令は、グループ制御装置に、第１サブネットワークグループ内の各サブネットワークの集合スイッチノードを介して、第１サブネットワークグループの各サブネットワークが少なくとも１つの他のサブネットワークグループの１つまたは複数のサブネットワーク内のサーバラックに対して持つ帯域幅要求を監視することと、少なくとも１つの他のグループ制御装置の各々に第１サブネットワークグループのサブネットワークの帯域幅要求を伝えることとを行わせる。

【0014】

本開示の様々な実施形態の以下の説明を考察することで、本開示の他の態様および特徴が当業者にとって明らかになるであろう。

【図面の簡単な説明】

【0015】

ここで、添付の図面を参照しながら複数の実施形態について説明する。

【図1】ネットワークの、サブネットワークグループを含む部分の概略図である。これらのサブネットワークはそれぞれ、本開示のある態様に係る分散型制御アーキテクチャで用いるサブネットワークグループ用の１つのグループ制御装置と複数のサーバラックとを含む。

【図2】本開示のある態様に係るネットワークをより広い視野で見た概略図であり、図１のタイプのグループを２つ含む。

【図3】本開示のある態様に係る分散型制御アーキテクチャのためのネットワークにおける要素の接続性の例を示したブロック図である。

【図4】本開示のある態様に係る分散型制御アーキテクチャのための方法の例について説明したフローチャートである。

【図5A】本開示のある態様に係る均衡なトラフィック負荷のスイッチング構成の例である。

【図5B】本開示のある態様に係る不均衡なトラフィック負荷のスイッチング構成の例である。

【図5C】本開示のある態様に係る不均衡なトラフィック負荷のスイッチング構成の例である。

【図6A】本開示のある態様に係る、グループの集合スイッチノードがグループ制御装置に帯域幅要求を報告する工程を示す状態図である。

【図6B】本開示のある態様に係る、集合スイッチノードからグループ制御装置への報告構成のブロック図である。

【図7A】本開示のある態様に係る、複数の集合スイッチノードから受信された情報をグループ制御装置が処理する方法について説明したフローチャートである。

【図7B】本開示のある態様に係る、グループ制御装置における帯域幅要求レポートの集約を示したブロック図である。

【図7C】本開示のある態様に係る、特定のグループについて、グループ制御装置における帯域幅要求レポートの集約を示したブロック図である。

【図8】本開示のある態様に係る、複数のグループ制御装置から特定のグループに対する帯域幅要求レポートの集約を示したブロック図である。

【図9】本開示のある態様に係るグループ制御装置のブロック図である。

【図10】本開示のある態様に係る方法について説明したフローチャートである。

【図11】本開示のある態様に係る方法について説明したフローチャートである。

【図12】本開示のある態様に係る方法について説明したフローチャートである。

【発明を実施するための形態】

【0016】

本開示の１つまたは複数の実施形態の例示的な実装が以下に提供されるが、開示されているシステムおよび／または方法は、現在知られているか既存であるかに関わらず、任意の数の技術を用いて実装され得ることを最初に理解されたい。本開示は、本明細書において図示および説明されている典型的な設計および実装を含む、以下に示される例示的な実装、図面および技術に決して限定されるべきではないが、添付した請求項の範囲内で、均等物の全範囲と併せて修正され得る。

【0017】

複数のサーバネットワークのフォトニックスイッチングシステムを制御するためのアーキテクチャは、集中化および同期されていることが多い。しかしながら、通信ネットワークを介したコンテンツの伝送に対するユーザの要求、および、ペタビット／秒のトラフィックに適応するにまで成長したスイッチングシステムによって、アーキテクチャの変化も必要となる可能性が高い。データセンタで使用されているトップオブラック（ＴＯＲ）、次世代トップオブラック（ｎｇ−ＴＯＲ）またはエンドオブラック（ＥＯＲ）のサーバアーキテクチャとインタフェースする２５６個のエッジスイッチ（または集合スイッチノード）と、（フォトニックファブリックとして）一組のフォトニックスイッチとを有するデータセンタについて考慮されたい。単一の制御装置（例えば、スイッチ制御装置）が、多数のサーバラックのサーバ同士を接続するフォトニックファブリックを通じてトラフィックをスケジューリングするのは困難である。係る配置では、単一の集中制御装置の使用を困難にする問題が２つ生じる。第１の問題は、ネットワーク内の集合スイッチとコアスイッチとの間の伝搬遅延に関連しており、第２の問題は、帯域幅の割り当てに必要な計算のためにサブマイクロ秒の時間枠を確保すべく単一の集中制御装置が利用すべき処理能力に関連する。スイッチ接続性の帯域幅を調節する頻度として、制御周期が定義される。特定の実装によると、制御周期はおよそ１ミリ秒であってよい。この周期は、集合帯域幅の変化があまり速くないことを前提として、帯域幅の変化が調節される時間間隔を表す。スイッチを通じて前の周期のトラフィックを流すこと、および、新たなスイッチ接続を確立することの両方を可能とすべく、当該１ミリ秒の時間枠のうち、およそ１０マイクロ秒〜２０マイクロ秒のトラフィックの休止があってよい。トラフィックの休止によって、トラフィックの損失を最小限にすること、または、理想的にはなくすことと、スイッチ接続性を変えることとが可能になる。

【0018】

本開示の態様は、大規模なシステムのスイッチング制御の計算複雑性および伝搬遅延の問題の両方に対処する分散型制御アーキテクチャを含む。本開示は、分散型制御アーキテクチャと協働して機能する分散型制御アルゴリズムを含んでもよい。本開示の態様は、以下の特徴、すなわち、大規模な、例えば、以下に限定されるわけではないが、ペタビット／秒の速度をサポートできるもののような高速のフォトニックスイッチシステムを制御するためのスケーラブルな解決手段、分散型処理による分散型制御、伝搬遅延と関連付けられる問題の解消のうちの１つまたは複数を提供してよく、同期フォトニックパケットシステムおよび非同期フォトニックパケットシステムの両方に適用可能であってよい。

【0019】

一般的なデータセンタのネットワーキング環境は、先ほど示した通り、最大で２５６個の集合スイッチノードを有してよい。各集合スイッチノードが複数のサーバラックに接続される。各集合スイッチノードが、その集合スイッチノードに連結されているサーバラックと、ネットワークの残りの部分にある他の集合スイッチノードに連結されているサーバラックとの間の通信を処理する。集合スイッチノードは、他のグループに伝送されているデータのキューの帯域幅要求状態について詳述したレポートを作成および更新する、集合スイッチノードが関連付けられるサーバラックのトラフィックフローを管理する制御装置と見なされ得る。幾つかの実施形態によると、ネットワーキング環境における集合スイッチノードとフォトニックコアスイッチ（フォトニックセグメント）との間の伝搬遅延は、サーバラックグループを複数組のサーバラックグループにグループ化すること、および、グループ制御装置をそれぞれの組の各々に割り当てることによって、分散型制御アーキテクチャを作成することにより減らすことができる。グループ制御装置は互いに通信し、自らのグループ内の集合スイッチノードと通信し、サーバラック同士を接続するスイッチを制御するスイッチ制御装置と通信する。

【0020】

処理時間は、分散型処理を用いることで減らすことができる。ここでは、各グループ制御装置が、自らのそれぞれのグループ内の一組の集合スイッチノードと通信する。幾つかの実施形態によると、グループ制御装置は、集合ノードの帯域幅要求を監視することと、その情報を集約することと、自らのメンバーが他のグループに対して持つ帯域幅要求を他のグループ制御装置に通知することとを担う。本開示の幾つかの実施形態によると、係る集約レポートを他のグループ制御装置から受信すると、グループ制御装置は、その集約レポートに基づいて自らのメンバーの帯域幅容量を他のグループに割り振ることを担う。本開示の幾つかの実施形態によると、他のグループ制御装置により他のグループに帯域幅容量が与えられると、グループ制御装置は、自らのメンバーに当該容量を割り振ることも担う。

【0021】

本開示の幾つかの実施形態によると、分散型制御アーキテクチャは、網目状または環状の配列を用いてグループ制御装置を互いに相互接続することを含む。集合スイッチノードとグループ制御装置との間の通信に低速光接続が使用され得る。低速光接続は、例えば、２．５Ｇｂｐｓから１０Ｇｂｐｓであってよい。幾つかの実施形態によると、グループ制御装置は、グループ制御装置と集合スイッチノードとの間の伝搬遅延を減らすべく、自らが関連付けられるグループ内のサーバラックの集まりに近接して配置される。グループ制御装置間の通信に、より速い速度の光接続が使用され得る。より速い速度の光接続は、例えば、１０ＧＨｚから１００ＧＨｚであってよい。グループ制御装置は、星形または環状の配列を用いて、グループ制御装置と関連付けられるグループ内の集合スイッチノードに接続され得る。グループ制御装置は、集積回路カードまたはいわゆる「ピザボックス」サーバ機器の形で実装され得る。

【0022】

集合スイッチノードは、フォトニックスイッチに／からフォトニックフレームを送信および受信するための制御回路およびフォトニックフレーミング回路の両方を実装すべく、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または特定用途向け集積回路（ＡＳＩＣ）を用いた集積回路カードの形で実装され得る。

【0023】

図１は、分散型制御アーキテクチャの一部である単一のサブネットワークグループ１０の例を示している。グループ１０は、複数のポッド２０ａ、２０ｂ、２０ｃ、２０ｄにそれぞれが連結されている、複数の光クロスコネクトスイッチ（ＯＸＣ）１５ａ、１５ｂ、１５ｃを含む。ポッドという用語は、サーバラックグループを指すために使用されており、各サーバラックが複数のサーバをサポートすることができる。ポッドはデータセンタ環境におけるサーバラックグループに共通の用語であるが、より一般的に、本明細書におけるポッドはサブネットワークと呼ばれ得る。例えば、ポッド２０ｄは、複数のサーバラック３０ａ、３０ｂ、・・・、３０ｃの各々に接続されている集合スイッチノード（ＡＮ）２５ｄを含む。集合スイッチノード２５ｄは、サーバラック３０ａ、３０ｂ、・・・、３０ｃからのトラフィックを集約することを担っており、光クロスコネクトスイッチ１５ａ、１５ｂ、１５ｃへのインタフェースである。ポッド２０ａ、２０ｂおよび２０ｃはそれぞれ、それぞれの集合スイッチノード２５ａ、２５ｂおよび２５ｃを含んでいるが、ポッド２０ａ、２０ｂおよび２０ｃにはサーバラックが示されていない。グループ１０は、グループ制御装置３５も含む。グループ制御装置３５は、後ほど更に詳しく説明する通り、グループ１０内の集合スイッチノード２５ａ、２５ｂ、２５ｃ、２５ｄ、並びに、他のグループのグループ制御装置、およびスイッチ制御装置（図１には図示せず）と通信する。

【0024】

図２は、分散型制御アーキテクチャの一部である複数のグループ２１０、２１５の例を示している。グループ２１０、２１５の各々が、先ほど図１に関して説明したのと同様の特徴を含んでいるため、これらのグループについては再び詳しく説明しない。図２には集合スイッチノードの各々と光クロスコネクトスイッチとの間の接続が示されていないが、それらの要素間に接続性が存在するであろうことは解る。グループ２１０および２１５の光クロスコネクトスイッチは、光ネットワーク２３０を介して互いにインタフェースする。各グループ内の光クロスコネクトスイッチを制御するスイッチ制御装置２１２、２１７が、グループ２１０および２１５の各々にそれぞれ示されている。スイッチ制御装置２１２、２１７は、グループ制御装置と連携してスイッチをセットアップしてよい。スイッチ制御装置とグループ制御装置とは共に接続され、共に分散型アーキテクチャを形成する。グループ２１０および２１５はそれぞれスイッチ制御装置を含んでいるが、全てのグループがスイッチ制御装置を有するわけではないことを理解されたい。１つまたは複数の近隣グループ内のスイッチを制御するために、１つのグループ内のスイッチ制御装置が使用され得る。ある実際の実装によると、先ほど説明した複数のポッドグループが集合的にデータセンタの一部と見なされ得る。これらのグループは、必ずしも同じ物理的場所に並べて配置されなくてもよいが、およそ２キロメートルの近さにある幾つかの物理的場所に配置され得る。本開示のある実際の実装によると、自らの関連付けられる集合スイッチノードをそれぞれが有する、多数、例えば、３２個から２５６個、場合によってはそれより多くのサーバラックが考慮される。幾つかの実施形態によると、各集合スイッチノードが、所与のスイッチへのインタフェースを１６個以上有することで、３２倍速のインタフェース速度容量（内外）を実現する。

【0025】

ここで図３を参照して、分散型制御アーキテクチャにおける様々な要素の接続性のブロック図について説明する。スイッチ制御装置３１０が、Ｇ個のグループ制御装置３１５ａ、３１５ｂ、３１５ｃ、３１５ｄ、３１５ｅ、３１５ｆの各々に星形接続で通信可能に連結された状態で示されている。ここで、スイッチ制御装置３１０は中心にある。グループ制御装置３１５ａ、・・・、３１５ｆは、グループ制御装置の各々が、隣接する２つのグループ制御装置に連結されるように、環状接続で互いに通信可能に連結される。例えば、グループ制御装置３１５ａが、グループ制御装置３１５ｂおよびグループ制御装置３１５ｆに通信可能に連結される。各グループ制御装置が、Ｎ個の集合スイッチノードに通信可能に連結される。例えば、グループ制御装置３１５ａが、集合スイッチノード３２０ａ、３２５ａ、３３０ａおよび３３５ａに通信可能に連結される。

【0026】

図３は制御接続性のみを示している。スイッチに対するスイッチ制御装置の接続性も、スイッチに対するグループ制御装置の接続性も、スイッチに対する集合スイッチノードの接続性も、関連付けられるサーバラックに対する集合スイッチノードの接続性も示されていない。

【0027】

それぞれのグループのグループ制御装置の各々が、そのグループに属する集合スイッチノード全てのための集中制御装置である。図３は星形配列でグループ制御装置に接続されている集合スイッチノードの各々を示しているが、グループ制御装置は代わりに、例えば、環状配列で集合スイッチノードに接続され得る。

【0028】

図３は環状配列で互いに接続されているグループ制御装置を示しているが、グループ制御装置は代わりに、例えば、網目状配列で接続され得る。グループ制御装置は、伝搬遅延の影響を最小限にすべく互いに接続される。

【0029】

図３は単一のスイッチ制御装置に接続されているグループ制御装置を示しているが、１つより多くのスイッチ制御装置があってよい。更に、スイッチ制御装置は集中型であってもよいし、分散型であってもよい。一組のグループ制御装置および一組のスイッチ制御装置はどちらも、非限定的な例として、環状などの接続方式で接続され得る。

【0030】

図３におけるグループ制御装置の数Ｇおよび集合スイッチノードの数Ｎはそれぞれ、実装ごとに決まる。従って、本明細書において説明されている分散型アーキテクチャは、更なるサーバラックグループがネットワーキング環境に追加される際に更なるグループ制御装置が追加され得る「従量制（ｐａｙ−ａｓ−ｙｏｕ−ｇｒｏｗ）」機能を実現する。

【0031】

図４は、本開示の実施形態に従って使用され得る制御アルゴリズムの複数の機能について一般的に説明したフローチャート４００である。フローチャート４００内の機能は、グループ制御装置により実行される制御アーキテクチャの様々な態様について説明している。これらの様々な機能については、図４の説明後に以下で更に詳しく説明する。

【0032】

グループ制御装置の各々がフローチャート４００の機能を実行できることを理解されたい。これらの機能は、必ずしも全てが図４のフローチャートで説明されている特定の順序で実行または形成されなくてよいことも理解されたい。故に、図４は、フローチャートに示されているような一貫性のある逐次的なやり方で常に実行される段階の具体的な「開始から終了までの（ｓｔａｒｔ−ｔｏ−ｆｉｎｉｓｈ）」リストとは対照的に、グループ制御装置の機能の総体的な説明と見なされ得る。

【0033】

段階４１０に示されている第１の機能は、ネットワーク内の全てのサーバラック間で帯域幅容量が均等に割り振られる均衡なシステムから開始すべく、最初に全てのグループ間で均等な接続性を割り当てる段階を含む。係る接続性の割り当ては、ネットワークがオンライン状態になる時に、または、動作中の他のタイミングで、例えば、サーバラックがより均衡な分配のために再編成される場合またはときに実行され得る。ネットワークの動作中、グループ間で割り当てられるおよび割り振られる帯域幅は、経時的に変化する。グループ間で割り当てられるおよび割り振られる帯域幅の均衡がひどく崩れた場合は、均衡性を向上させるべく、必要または所望に応じて、グループのメンバーが潜在的に再分散され得る。

【0034】

段階４２０では、グループ制御装置の各々が他のグループ制御装置に関連情報を伝送する機会を少なくとも一度は持つことを保証すべく、割り振り周期、ポーリング周期がセットアップされ得る。ポーリング周期内の割り振り時間に、ネットワーク内でアクティブであることが分かっている各グループ制御装置は、それぞれのアクティブなグループ制御装置が他のアクティブなグループ制御装置の帯域幅需要を認識するように、他のアクティブなグループ制御装置に関連情報を伝送するようスケジューリングされる。グループ制御装置が自らのグループの帯域幅需要を伝送していないか、または、他のグループの帯域幅需要を受信していない場合は、グループ制御装置が、後ほど更に詳しく説明される、帯域幅を監視する段階および割り振る段階を実行している可能性がある。場合によっては、グループ制御装置は、情報の伝送または他のグループ制御装置からの情報の受信と、以下の段階のうちの１つまたは複数の実行を同時に行うことができるかもしれない。

【0035】

フローチャート４００の段階４３０は、要求に基づいてグループからグループへの帯域幅を監視する段階を含む。グループ制御装置は、グループの集合スイッチノードごとに、グループ内のサーバおよび他のグループ内のサーバに対する帯域幅要求を判定し、他のグループのグループ制御装置に他のグループに対する要求を転送する。

【0036】

フローチャート４００の段階４４０は、他のグループから受信された帯域幅要求に基づいて、各グループ制御装置が、自らの帯域幅容量のうちの公平な相当分を他のグループに割り振る段階を含む。

【0037】

フローチャート４００の段階４５０は、各グループ制御装置が、割り振られた帯域幅容量に基づいて、グループからグループへの接続性の変化、または、グループからグループへの接続のデルタ帯域幅を計算する段階を含む。各グループ制御装置が、グループからグループへの接続性のこのデルタ帯域幅をスイッチ制御装置に提供する。

【0038】

フローチャート４００の段階４６０は、他のグループにより割り振られた帯域幅容量をグループ内で割り振る段階を含む。グループ制御装置は、グループの集合スイッチノードに対するグループからグループへの帯域幅の公平な分配を計算する。集合スイッチノードは、集合スイッチノードにより管理されるサーバに対して割り振られる帯域幅を制御する。

【0039】

フローチャート４００の段階４７０では、スイッチ接続性が二段階で、すなわち、グループからグループへの大規模な変化、および、グループ内部における（グループ内で）変化という形で変化し得る。グループからグループへのスイッチ接続性は、スイッチ制御装置により調節される。グループ内の接続性は、図５Ａ、図５Ｂおよび図５Ｃに関して後ほど説明する通り、スイッチの入力における１×Ｎのスイッチング素子、および、出力におけるＮ×１のスイッチング素子により調節される。グループからグループへの変化については、１つのグループから帯域幅を取って、それを別のグループに与えるとき、インタフェース接続を失うグループ制御装置が、それが失われる前にトラフィックが当該インタフェース上にないことを確認する。

【0040】

グループ内の帯域幅、すなわち、メンバーからグループへの、または、グループからメンバーへの帯域幅の変化は、割り振られる期間ごとに大幅に変わる傾向があり得る。しかしながら、グループからグループへの変化は、グループ間の全帯域幅の変化であり、経時的にゆっくり変化するものと見なされる。割り振られる期間ごとのこうした変化は通常、大きな変化ではない。例えば、第１割り振り期間では、第１グループ内の３つのメンバーが第２グループ内の３つのメンバーへの伝送を望むかもしれず、第２割り振り期間では、第１グループ内の３つの異なるメンバーが第２グループ内の３つの異なるメンバーへの伝送を望むかもしれない。これら３つの通信により使用される全帯域幅が両方の割り振り期間において同じであるような状況では、トラフィックが依然として第１グループから第２グループにルーティングされているため、グループからグループへ割り振られる帯域幅が同じになる。しかしながら、異なるメンバーが帯域幅を利用しているために、各期間におけるメンバーからグループへの帯域幅の割り振りは異なる。

【0041】

帯域幅容量が割り振られた後のある時点で、集合ノードの各々が、段階４２０の機能に取り込まれている、グループを管理するグループ制御装置に送信され得る新たなレポートを作成してよい。

【0042】

図５Ａは、４つのサーバラックポッドグループ５１０、５２０、５３０、５４０があるスイッチング構成の例である。ここでは、各グループが４つのサーバラックポッドを含んでおり、合計で１６個のポッドとなる。図５Ａでは、各ポッドが自らの対応する集合スイッチノード５１０Ａ、・・・、５１０Ｄ、５２０Ａ、・・・、５２０Ｄ、５３０Ａ、・・・、５３０Ｄ、５４０Ａ、・・・、５４０Ｄで表されている。これらの集合スイッチノードは、４つの１６入力１６出力スイッチ５５０、５５２、５５４、５５６に連結される。図５Ａでは、各スイッチが、集合スイッチノードの１つ１つに結合する１６個の入力を含むように示されている。従って、第１の４つの入力が第１グループ５１０内の集合スイッチノードに対応しており、次の４つの入力が第２グループ５２０内の集合スイッチノードに対応しており、次の４つの入力が第３グループ５３０内の集合スイッチノードに対応しており、最後の４つの入力が第４グループ５４０内の集合スイッチノードに対応している。スイッチの出力は、４つのグループ５１０、５２０、５３０、５４０の集合スイッチノードと同様に配置される。スイッチの入力と出力との間の接続は、グループごとに１つのプレーン、４つの別々のプレーン５５１Ａ、５５１Ｂ、５５１Ｃ、５５１Ｄとして示されている。ここでは、各プレーンが４つの接続、すなわち、集合スイッチノードごとに１つの接続を有する。

【0043】

図５Ａは、グループからグループへの均衡なトラフィックを表している。第１スイッチ５５０では、第１グループ５１０から受信される４つのスイッチ入力が、第１グループ５１０に出力される４つのスイッチ出力にルーティングされており、同様に、第２、第３および第４グループ５２０、５３０、５４０からの入力が、第２、第３および第４グループ５２０、５３０、５４０にそれぞれルーティングされている。第２スイッチ５５２では、第１グループ５１０から受信される４つのスイッチ入力が、第２グループ５２０に出力される４つのスイッチ出力にルーティングされており、同様に、第２、第３および第４グループ５２０、５３０、５４０からの入力が、第３、第４および第１グループ５３０、５４０、５１０にそれぞれルーティングされている。第３スイッチ５５４では、第１グループ５１０から受信される４つのスイッチ入力が、第３グループ５３０に出力される４つのスイッチ出力にルーティングされており、同様に、第２、第３および第４グループ５２０、５３０、５４０からの入力が、第４、第１および第２グループ５４０、５１０、５２０にそれぞれルーティングされている。第４スイッチ５５６では、第１グループ５１０から受信される４つのスイッチ入力が、第４グループ５４０に出力される４つのスイッチ出力にルーティングされており、同様に、第２、第３および第４グループ５２０、５３０、５４０からの入力が、第１、第２および第３グループ５１０、５２０、５３０にそれぞれルーティングされている。

【0044】

図５Ａのスイッチ５５０は、入力に４つの４×１スイッチ５５０Ａ、５５０Ｂ、５５０Ｃ、５５０Ｄ、出力に４つの１×４スイッチ５５０Ｅ、５５０Ｆ、５５０Ｇ、５５０Ｈを含む。スイッチの内側にある各プレーン上の４つの接続の間では、各４×１スイッチによって、グループの入力をメンバーからグループへルーティングすることが可能となる（各１×４スイッチによって、グループの出力をグループからメンバーへルーティングすることが可能となる）。他の３つのスイッチ５５２、５５４、５５６も同様に動作する。

【0045】

４×１スイッチおよび１×４スイッチがコアスイッチの一部であり、コアスイッチと並べて配置されてもよいし、これらのスイッチが、グループ化された集合ノードと並べて配置されてもよいことを理解されたい。

【0046】

図５Ｂは、図５Ａの配置と同様のアーキテクチャを有するスイッチング構成の例であるが、図５Ｂでは、グループからグループへのトラフィックの均衡がとれていない。特に、第１グループ５１０のサーバラックのトラフィックは、他のグループ５２０、５３０、５４０の全てに対して均衡がとれているわけではない。第１グループ５１０のトラフィックは、第４グループ５４０の集合ノードにだけルーティングされている。第１スイッチ５５０では、第１グループ５１０から受信される４つのスイッチ入力が、第４グループ５４０に出力される４つのスイッチ出力にルーティングされている。他の３つのスイッチ５５２、５５４、５５６も同様の接続性を示している。図５Ｂには、グループからグループへのトラフィックの不均衡が経時的に起こり得るようなシナリオを示すことを意図して、他のグループ内の他の集合スイッチノードのルーティングが示されていない。グループからグループへの接続性は一般的に経時的にゆっくりと変化する。そのため、トラフィックが１つの割り振り期間から次の割り振り期間にかけて図５Ａに示されているような均衡な状態から図５Ｂに示されているような不均衡な状態に変化する可能性は低い。しかしながら、係る変化は、十分に長い期間にわたって潜在的に起こり得る。不均衡なトラフィック構成が検出された場合は、グループ内のサーバラックを再分散して、より均衡であり得るトラフィック構成を取得するための機会としてよい。

【0047】

図５Ｃは、図５Ａの配置と同様のアーキテクチャを有するスイッチング構成の例であるが、図５Ｃでは、グループからグループへのトラフィックの均衡がとれていない。特に、第１グループ５１０のサーバラックのトラフィックは、他のグループ５２０、５３０、５４０の全てに対して均衡がとれているわけではない。第１グループ５１０の集合スイッチノード（ＡＮ１）５１０Ａのトラフィックは、第４グループ５４０の集合スイッチノード（ＡＮ１６）５４０Ｄにだけルーティングされている。第１スイッチ５５０では、第１グループ５１０から受信されるＡＮ１ ５１０Ａからの入力が１つの接続を介して第４グループ５４０内のＡＮ１６ ５４０Ｄ用のスイッチ出力にルーティングされている。他の３つのスイッチ５５２、５５４、５５６も同様の接続性を示している。図５Ｂに示されるように、図５Ｃには他のグループ内の他の集合スイッチノードのルーティングが示されていない。

【0048】

図６Ａは、集合スイッチノードをその一部とするグループのグループ制御装置に対して帯域幅要求情報を報告することに関する集合スイッチノードの動作の状態図６００の例である。６１０では、集合スイッチノードがレポートの送信またはレポートの更新を待っている。６１５では、集合スイッチノードが、レポートをプッシュすること、または、集合スイッチノードからのポーリングに応答することによりレポートを送達する。レポートが送信されると、状態は６１０に戻る。レポートのプッシュは幾つかのやり方で開始され得る。プッシュは周期的なものであってもよいし、プッシュは、性能測定基準、例えば、以下に限定されるわけではないが、キューイングされたパケットのレイテンシまたは情報の緊急性に基づいたものであってもよい。６２０では、集合スイッチノードが、１）サーバからのデータの到着、または、フォトニックファブリックを通じた伝送を待っている、集合スイッチノード内にキューイングされたパケットのレイテンシ、または、２）任意のキューからフォトニックファブリックへのパケット伝送に基づいてレポートを更新した後、６１０に戻る。

【0049】

Ｇ個のサーバラックポッドグループがあり、各グループがＮ個のポッドを有しており、各ポッドが、関連付けられる集合スイッチノードを有しており、単一の種類のデータ伝送トラフィックがあるような実施形態では、各集合スイッチノードが、報告されるべきトラフィックのキューを合計でＧ×Ｎ個有しているものと見なされ得る。ｋ種類のサービス品質（ＱｏＳ）があるとすれば、キューの数は、ｋ、グループの数Ｇ、および、集合スイッチノードの数Ｎの関数であってよく、すなわち、ｋ（Ｇ．Ｎ）個のキューであってよい。

【0050】

図６Ｂには、グループ制御装置に伝送すべく集合スイッチノードにより生成されるレポート６３０の例が示されている。レポート６３０は、集合スイッチノードにより制御されているサーバが、同じ集合スイッチノードにより制御されている他のサーバ、自らのグループ内の集合スイッチノードにより制御されている他のサーバ、および、他のグループ内の集合スイッチノードにより制御されているサーバへのデータ伝送のために持つ帯域幅要求のインジケーションを提供する。レポート６３０の初めにおいて、キュー１レポート６３２は、集合スイッチノードにより制御されているサーバが、同じグループ内の同じ集合スイッチノードにより制御されている他のサーバへの伝送のために要求する帯域幅のインジケーションである。キュー２レポート６３４は、集合スイッチノードにより制御されているサーバが、同じグループ内の第２集合スイッチノードにより制御されているサーバへの伝送のために要求する帯域幅のインジケーションである。キューＮレポート６３６は、集合スイッチノードにより制御されているサーバが、同じグループ内の第Ｎ集合スイッチノードにより制御されているサーバに関して要求する帯域幅のインジケーションである。これらの最初のＮ個のレポートは、同じ第１グループの帯域幅要求に対応する。係るグループがＧ個あるので、合計でＧ×Ｎ個のレポートがある。レポート６３０の終わりに近づくと、第Ｇグループにおいて、キュー（Ｇ−１）×Ｎ＋１レポート６４０は、集合スイッチノードにより制御されているサーバが、第Ｇグループ内の第１集合スイッチノードにより制御されているサーバへの伝送のために要求する帯域幅のインジケーションであり、キューＧ×Ｎレポート６４４は、集合スイッチノードにより制御されているサーバが、第Ｇグループ内の第Ｎ集合スイッチノードにより制御されているサーバへの伝送のために要求する帯域幅のインジケーションである。

【0051】

図７Ａは、図４の段階４３０を実装するために実行され得る段階のより詳しいフローチャート７００である。第１段階７１０では、グループ制御装置が、キューごとの帯域幅要求レポートという形で、グループ内のＮ個の集合スイッチノードの状態を受信する。図７Ｂは、第１グループの第１集合スイッチノードから第Ｎ集合スイッチノードより受信されるレポートの例を示している。レポート７５０は、第１グループの第１集合スイッチノードからのレポートであり、レポート７５１は、第１グループの第（Ｎ−１）集合スイッチノードからのレポートであり、レポート７５２は、第１グループの第Ｎ集合スイッチノードからのレポートである。図７Ｂに示されているそれぞれの集合スイッチノードからのレポートは、図６Ｂで先ほど説明したものと実質的に同じである。

【0052】

図７Ａを再び参照すると、グループ制御装置がレポートを受信し、段階７２０では、グループ制御装置が、グループ内の集合スイッチノードから受信されたレポートを集約する。段階７３０では、グループ制御装置がグループごとに集約レポートを分割する。

【0053】

図７Ｃは、レポートがいかにしてグループごとに集約および分割されるかの例を示している。所与のグループ、例えば、グループｉに対する帯域幅要求を特定すべく、第１グループのグループ制御装置は、第１グループ内の各集合スイッチノードから受信される、グループｉの各集合スイッチノードに伝送されるべき帯域幅要求、すなわち、レポート７６０、７６１、７６２を、帯域幅要求を合算することにより集約する。グループごとのこうした集約および分割によって、グループｉ内の各集合スイッチノードに伝送されるべき、第１グループの集合スイッチノード全てからの全帯域幅要求７６３が得られる。第１グループのグループ制御装置は、他の各グループについて同様の判定を実行し、他の各グループのグループ制御装置は、他の各グループについて同様の判定を実行するであろう。

【0054】

もう一度図７Ａを参照すると、段階７４０では、グループ制御装置が、集約レポート情報に基づいて、他の各グループ制御装置に帯域幅要求リクエストを送信する。

【0055】

図８は、グループ制御装置が他のグループの集約レポートを受信した結果の例を示している。ここでは、各集約レポートがグループの帯域幅の帯域幅要求である。図８は、集約グループレポート８１０、８１１、８１２の集まりを示している。ここで、各レポートは、他のグループによるそのグループに対する帯域幅要求をグループ制御装置に通知すべく他の複数のグループのそれぞれのグループ制御装置により送信される集約レポートである。例えば、グループｉが集約レポートを受信するグループである場合は、集約レポート８１０が、グループ１のグループ制御装置によりグループｉのグループ制御装置に送信されるグループ１の帯域幅要求であり、集約レポート８１１が、グループ２のグループ制御装置によりグループｉのグループ制御装置に送信されるグループ２の帯域幅要求であり、集約レポート８１２が、グループＧのグループ制御装置によりグループｉのグループ制御装置に送信されるグループＧの帯域幅要求である。

【0056】

図８は、レポート８２０の形でグループｉの各集合スイッチノードに対する全帯域幅要求（すなわち、１個からＮ個の集合スイッチノードの各々により管理されるサーバに対する帯域幅）をもたらす複数の集約レポート８１０、８１１、８１２の合計も示している。

【0057】

それぞれのグループのグループ制御装置が自らの帯域幅容量を割り振る、図４の段階４４０を再び参照すると、ひとたびグループ制御装置が他のグループ制御装置から帯域幅要求を受信すると、グループ制御装置は他の各グループに帯域幅容量を割り振る。帯域幅は、インタフェースの数という観点から定義される粒度値を有するものと見なされ得る。例えば、集合スイッチノードが６４個のインタフェースを有しており、その各々が１００Ｇｂｐｓで実行されるとすれば、集合ノードの全帯域幅は６．４Ｔｂｐｓである。従って、帯域幅の変化は、１００Ｇｂｐｓまたは０．１Ｔｂｐｓほどの小さなものであり得る。

【0058】

全ての他のグループから受信された要求がいかにしてグループｉのグループ制御装置により割り振られ得るかを定義した１つの非限定的な例を以下に示す。グループｉのグループ制御装置は、グループ内のＮ個の集合ノードを管理する。

【数1】

ここで、

【数2】

は、全ての他のグループ制御装置からこのノードへの全帯域幅要求を考慮して、要求

【数3】

に比例して割り振られる帯域幅である。

【0059】

特に、

【数4】

は、集合スイッチノードｊに対する要求に関する、グループｋからグループｉまでの総合的な要求レポートを定義する。ここで、ｋ＝１、２、・・・、Ｇであり、Ｉ＝１、２、・・・、Ｇであり、ｊ＝（ｉ−１）*Ｎ＋１、・・・・（ｉ−１）*Ｎ＋２、・・・ｉ*Ｎである。

【数5】

は、グループｋからグループＩへの接続性のために割り振られる新たな容量を定義する。

【数6】

は、集合ノードｊの全帯域幅（またはインタフェースの数）を定義する。

【数7】

は、グループｋからグループｉの集合ノードｊへの接続性のために割り振られる新たな容量を定義する。ここで、

【数8】

である。

【0060】

この容量を割り振るためには、最大最小公平性（ｍｉｎ−ｍａｘ ｆａｉｒｎｅｓｓ）などの他の公平性割り振り方式も使用され得る。

【0061】

グループｋからグループｉの集合ノードｊへの帯域幅の変化

【数9】

は、

【数10】

と定義され得る。グループｉからグループｋへの帯域幅の総合的な変化は、

【数11】

で求められる。なお、グループ内の帯域幅の変化は、

【数12】

から導出され得る。

【0062】

図４の段階４５０を再び参照すると、ひとたびグループ制御装置が他のグループに対する帯域幅容量の割り当てを判定すると、グループ制御装置は、現在の割り振り期間の帯域幅容量、および、判定された次の期間の帯域幅容量を把握することで、グループごとにデルタ帯域幅を判定することができる。グループ制御装置は、他のグループ制御装置にこのデルタ帯域幅を提供し、グループ制御装置は、他のグループ制御装置の各々から同様のデルタ帯域幅を受信する。グループ制御装置は、スイッチ制御装置にもこのデルタ帯域幅を提供する。スイッチ制御装置は同様に、他のグループ制御装置の各々から他のグループに関するデルタ帯域幅情報を受信する。これによって、段階４７０のスイッチ制御装置は、次の期間の割り振りを可能とするためにコアスイッチにおいて行われるべきグループからグループへのスイッチルーティングの変更を判定することが可能となる。

【0063】

図４の段階４６０を再び参照すると、ひとたびグループ制御装置が、グループが他のグループの各々に対して割り振られた帯域幅容量を認識し、自らのグループのメンバーが他のグループに対して持つ帯域幅要求を把握すると、グループ制御装置はグループのメンバーに帯域幅容量を割り振る。

【0064】

図４の段階４７０によれば、ひとたびスイッチ制御装置がグループ制御装置全てからデルタ帯域幅情報を受信すると、スイッチ制御装置は、当該情報を用いてコアスイッチにおけるグループからグループへの接続性を調節する。加えて、グループ内の接続性は、先ほど説明した図４の段階４６０で行われた判定に基づいて調節され得る。

【0065】

幾つかの実施形態、また、段階４７０の一部によると、ひとたびグループ制御装置が、別のグループに対するグループ接続性の帯域幅が減少していると見なすと、グループ制御装置は、少なくとも１つのインタフェースのトラフィックを休止させることを決定する。あるグループに対する帯域幅が減少している場合は、インタフェースのうちの１つまたは複数をダウンさせることができるように、グループ制御装置がグループのメンバーと連携する。

【0066】

スイッチ制御装置は、最初のセットアップ遅延後にグループからグループへの接続性を調節する。このセットアップ遅延によって、接続が縮小されるとトラフィックを休止させることが可能となり、拡大された接続を割り振る時間を取ることも可能となる。グループ制御装置は、縮小が適用されており、トラフィックが当該インタフェースを横切るべきではないというメッセージを、通信インフラストラクチャ上で送信する。スイッチ制御装置は、デルタ帯域幅の適用を認識し、グループからグループへの接続を設定する。グループからグループへの接続性の容量が増加すると、スイッチは同様に適切に構成される。

【0067】

図９は、グループ制御装置がプロセッサ９１０と命令９２０を記憶するためのコンピュータ可読メモリ９１５とを含むような、グループ制御装置９００の例のブロック図である。命令９２０は、実行されると、グループ制御装置が様々な機能を実行することを可能にする。以下では、図１０、図１１および図１２を参照しながらこれらの様々な機能のうちの幾つかの例について説明する。幾つかの実施形態によると、ソフトウェアの形をとったプロセッサおよび命令とは対照的に、グループ制御装置は、ハードウェアまたはハードウェアとソフトウェアとの組み合わせで実装され得る。

【0068】

図１０を参照しながら、第１機能について説明する。当該第１機能は、図４の段階４３０に実質的に対応しており、グループの帯域幅要求を判定する方法１０００と見なされ得る。ネットワークのグループ制御装置の各々は同じ機能を実行しているかもしれないが、以下では、単一のグループ制御装置により実行されていることの観点から説明する。 第１段階１０１０は、第１サブネットワークグループのグループ制御装置が、第１サブネットワークグループの各サブネットワークが第１サブネットワークグループ内の他のサブネットワークとネットワーク内の他のサブネットワークグループとに対して持つ帯域幅要求について、第１グループ内の各サブネットワークの集合スイッチノードを監視する段階を含む。任意の第２段階１０２０は、グループ制御装置が、集合スイッチノードから帯域幅要求情報を受信する段階を含む。任意の第３段階１０３０は、グループ制御装置が、他の各サブネットワークグループに対する第１サブネットワークグループの帯域幅要求と、他の各サブネットワークグループに対する第１サブネットワークグループの各サブネットワークの帯域幅要求とを類別する段階を含む。任意の第４段階１０４０は、グループ制御装置が、第１サブネットワークグループ内のサブネットワーク全てからの帯域幅要求を集約する段階を含む。任意の第５段階１０５０は、グループ制御装置が、他のポッドグループに対する集約された帯域幅要求をグループごとに判定する段階を含む。第６段階１０６０は、グループ制御装置が、ネットワーク内の他のグループ制御装置の各々に第１グループのサブネットワークの帯域幅要求を伝える段階を含む。

【0069】

幾つかの実施形態によると、段階１０２０は、グループ制御装置が、それぞれのサブネットワーク内の集合スイッチノードから、サブネットワークの集合スイッチノードからプッシュされた帯域幅要求情報を受信する段階を含む。他の実施形態によると、段階１０２０は、グループ制御装置が、グループ制御装置からのポーリングに応答してそれぞれのサブネットワーク内の集合スイッチノードから帯域幅要求情報を受信する段階を含む。

【0070】

図１１を参照しながら、第２機能について説明する。当該機能は、図４の段階４４０に実質的に対応しており、帯域幅を割り振る方法１１００と見なされ得る。ここでも、ネットワーク内のグループ制御装置の各々は同じ機能を実行しているかもしれないが、以下では、単一のグループ制御装置により実行されていることの観点から説明する。第１段階１１１０は、第１サブネットワークグループのグループ制御装置が、他の各サブネットワークグループのグループ制御装置から、第１サブネットワークグループに対する他の各サブネットワークグループの帯域幅要求を受信する段階を含む。更なる段階１１２０は、グループ制御装置が、受信された帯域幅要求に基づいて、第１サブネットワークグループと他のサブネットワークグループとの間で帯域幅容量を割り振る段階を含む。段階１１３０は、グループ制御装置が、第１サブネットワークグループと他のサブネットワークグループとの間で割り振られた帯域幅容量を他の各グループ制御装置に送信する段階を含む。任意の段階１１４０は、グループ制御装置が、第１グループと他のグループの各々との間で割り振られた帯域幅容量をスイッチ制御装置に送信する段階を含む。更なる任意の段階１１５０は、スイッチ制御装置が、グループ制御装置の各々から受信された、グループの各々と他のグループの各々との間で割り振られる帯域幅容量に関する情報に基づいて、少なくとも１つのスイッチの帯域幅容量を調節する段階を含む。
（項目１）
複数のサブネットワークを含むサブネットワークグループを複数有するネットワークのための帯域幅要求を判定する方法であって、各サブネットワークが、複数のサーバラックを含み、サブネットワークグループ内の各サブネットワークが、上記サブネットワーク内の上記複数のサーバラックへの上記トラフィックフロー、および、上記サブネットワーク内の上記複数のサーバラックからの上記トラフィックフローを制御するよう構成されている集合スイッチノードを含み、上記ネットワーク内の上記集合スイッチノードは、スイッチ制御装置により制御されている少なくとも１つのスイッチを介して互いに光学的に連結され、複数の上記サブネットワークグループの各サブネットワークグループが、上記サブネットワークグループ内の上記集合スイッチノードの各々と通信状態にあるグループ制御装置を含み、上記グループ制御装置は、互いに通信可能に連結され、上記方法は、
第１サブネットワークグループのグループ制御装置において、
上記第１グループの各サブネットワークが上記第１サブネットワークグループ内の他のサブネットワークと上記ネットワーク内の他のサブネットワークグループとに対して持つ帯域幅要求について、上記グループ制御装置が、上記第１グループ内の各サブネットワークの上記集合スイッチノードを監視する段階と、
上記グループ制御装置が、上記ネットワーク内の他のグループ制御装置の各々に上記第１グループの上記各サブネットワークの上記帯域幅要求を伝える段階と
を備える、方法。
（項目２）
上記グループ制御装置が帯域幅要求を監視する段階は、
他の各サブネットワークグループに対する上記第１サブネットワークグループの上記帯域幅要求と、他の各サブネットワークグループに対する上記第１サブネットワークグループの各サブネットワークの上記帯域幅要求とを類別する段階を有する、項目１に記載の方法。
（項目３）
他の各サブネットワークグループに対する上記サブネットワークグループの上記帯域幅要求と、他の各サブネットワークグループに対する上記サブネットワークグループの各サブネットワークの上記帯域幅要求とを類別する段階は、
上記第１サブネットワークグループ内の上記サブネットワークの全てからの上記帯域幅要求を集約する段階と、
集約された、他のサブネットワークグループに対する上記帯域幅要求をグループごとに判定する段階と
を含む、項目２に記載の方法。
（項目４）
上記グループ制御装置が帯域幅要求を監視する段階は、
上記グループ制御装置が、それぞれのサブネットワークの上記集合スイッチノードからプッシュされた、上記それぞれのサブネットワーク内の上記サーバラックの帯域幅要求情報を受信する段階、または、
上記グループ制御装置が、上記グループ制御装置からのポーリングに応答して、それぞれのサブネットワークの上記集合スイッチノードから上記それぞれのサブネットワーク内の上記サーバラックの帯域幅要求情報を受信する段階
を有する、項目１に記載の方法。
（項目５）
複数のサブネットワークを含むサブネットワークグループを複数有するネットワークのための帯域幅を割り振る方法であって、サブネットワークが、複数のサーバラックを含み、サブネットワークグループ内の各サブネットワークが、上記サブネットワーク内の上記複数のサーバラックへの上記トラフィックフロー、および、上記サブネットワーク内の上記複数のサーバラックからの上記トラフィックフローを制御するよう構成されている集合スイッチノードを含み、上記ネットワーク内の上記集合スイッチノードは、スイッチ制御装置により制御されている少なくとも１つのスイッチを介して、互いに光学的に連結され、複数の上記サブネットワークグループの各サブネットワークグループが、上記サブネットワークグループ内の上記集合スイッチノードの各々と通信状態にあるグループ制御装置を含み、上記グループ制御装置は、互いに通信可能に連結され、上記方法は、
第１サブネットワークグループのグループ制御装置において、
他の各サブネットワークグループのグループ制御装置から、上記第１サブネットワークグループに対する他の各サブネットワークグループの上記帯域幅要求を受信する段階と、
受信された上記帯域幅要求に基づいて、上記第１サブネットワークグループと他のサブネットワークグループとの間で帯域幅容量を割り振る段階と、
上記第１サブネットワークグループと上記他のサブネットワークグループとの間で割り振られた上記帯域幅容量を他の各グループ制御装置に送信する段階と
を備える、方法。
（項目６）
上記第１グループの上記グループ制御装置が、別のグループに対して割り振られる帯域幅容量が減少していると判定すると、上記第１グループの上記グループ制御装置が、上記減少に適応すべく、上記第１グループの少なくとも１つのサブネットワークの少なくとも１つのインタフェースにおけるトラフィックを休止させる段階を更に備える、項目５に記載の方法。
（項目７）
上記グループ制御装置が、上記第１グループと上記他のグループの各々との間で割り振られた上記帯域幅容量を上記スイッチ制御装置に送信する段階を更に備える、項目５に記載の方法。
（項目８）
上記グループ制御装置が、上記第１グループと上記他のグループの各々との間で割り振られた上記帯域幅容量を上記スイッチ制御装置に送信する段階は、上記グループ制御装置が、上記第１グループおよび上記他のグループの各々に前に割り振られた帯域幅容量と、上記第１グループおよび上記他のグループの各々に現在割り振られている帯域幅容量との間における、上記割り振られる帯域幅容量の変化のインジケーションを、上記少なくとも１つのスイッチに送信する段階を有する、項目７に記載の方法。
（項目９）
上記スイッチ制御装置が、上記グループ制御装置の各々から受信された、上記サブネットワークグループの各々と上記他のサブネットワークグループの各々との間で割り振られる帯域幅容量に関する情報に基づいて、上記少なくとも１つのスイッチの上記帯域幅容量を調節する段階を更に備える、項目８に記載の方法。
（項目１０）
複数のサブネットワークを含むサブネットワークグループを複数有するネットワークのための帯域幅を割り振る方法であって、サブネットワークが、複数のサーバラックを含み、サブネットワークグループ内の各サブネットワークが、上記サブネットワーク内の上記複数のサーバラックへの上記トラフィックフロー、および、上記サブネットワーク内の上記複数のサーバラックからの上記トラフィックフローを制御するよう構成されている集合スイッチノードを含み、上記ネットワーク内の上記集合スイッチノードは、スイッチ制御装置により制御されている少なくとも１つのスイッチを介して、互いに光学的に連結され、上記複数のサブネットワークグループの各サブネットワークグループが、上記サブネットワークグループ内の上記集合スイッチノードの各々と通信状態にあるグループ制御装置を含み、上記グループ制御装置は、互いに通信可能に連結され、上記方法は、
第１サブネットワークグループのグループ制御装置において、
他の各サブネットワークグループのグループ制御装置から、上記第１サブネットワークグループと他の各サブネットワークグループとの間で与えられる上記帯域幅容量の割り当てを受信する段階と、
受信された上記帯域幅容量の割り当てに基づいて、上記第１サブネットワークグループのサブネットワークの各々と上記他のサブネットワークグループとの間で帯域幅容量を割り振る段階と、
を備える、方法。
（項目１１）
上記第１グループの上記グループ制御装置が、上記他のグループ制御装置のうちの少なくとも幾つかと通信状態にある上記スイッチ制御装置に、上記第１グループと上記他のグループとの間で割り振られた上記帯域幅容量を送信する段階を更に備える、項目１０に記載の方法。
（項目１２）
上記スイッチ制御装置が、上記グループ制御装置の上記各々から受信された、上記サブネットワークグループの各々と上記他のサブネットワークグループの各々との間で割り振られる帯域幅容量に関する情報に基づいて、上記グループに割り振られた上記少なくとも１つのスイッチの上記帯域幅容量を調節する段階を更に備える、項目１１に記載の方法。
（項目１３）
上記第１サブネットワークグループの上記サブネットワークの各々と上記他のサブネットワークグループとの間で帯域幅容量を割り振る段階は更に、上記第１サブネットワークグループ内の上記サブネットワークの帯域幅要求を考慮した公平な分配に基づいて行われる、項目１０に記載の方法。
（項目１４）
システムであって、
少なくとも１つのスイッチと、
上記少なくとも１つのスイッチを制御するよう構成されているスイッチ制御装置と、
複数のサブネットワークであって、１つのサブネットワークが、複数のサーバラックを有し、各サブネットワークが、上記サブネットワークへの上記トラフィックフロー、および、上記サブネットワークからの上記トラフィックフローを制御するよう構成されている集合スイッチノードを有し、上記サブネットワークは、上記少なくとも１つのスイッチを介して互いに通信可能に連結され、上記複数のサブネットワークは、サブネットワークグループに配置される、複数のサブネットワークと、
複数のグループ制御装置であって、サブネットワークグループごとに１つのグループ制御装置があり、上記複数のグループ制御装置の各々が上記グループ内の上記集合スイッチノードの各々と通信状態にあり、上記複数の上記グループ制御装置は、互いに通信可能に連結され、上記グループ制御装置の各々が、
上記それぞれのサブネットワークグループの各サブネットワークが上記サブネットワーク内のサーバラックと上記システム内の他のサブネットワークとに対して持つ帯域幅要求を監視し、上記システム内の他のグループ制御装置の各々に上記サブネットワークグループの上記帯域幅要求を伝えることと、
受信された上記帯域幅要求に基づいて、上記サブネットワークグループと他のサブネットワークグループとの間で帯域幅容量を割り振り、上記サブネットワークグループおよび上記他のサブネットワークグループに割り振られた上記帯域幅容量を上記他のグループ制御装置に送信することと、
上記他のグループ制御装置から、上記サブネットワークグループおよび上記他のサブネットワークグループに与えられる上記帯域幅容量の割り当てを受信し、受信された上記帯域幅容量の割り当てに基づいて、上記サブネットワークグループの各々と上記他のサブネットワークグループの上記サブネットワークとの間で帯域幅容量を割り振ることと
を行うよう構成される、複数のグループ制御装置と
を備えるシステム。
（項目１５）
上記複数のサブネットワークグループの各々のための上記グループ制御装置は、高速光接続を用いて、環状または網目状に互いに通信可能に連結される、項目１４に記載のシステム。
（項目１６）
所与のサブネットワークの上記集合ノードは、低速光接続を用いて上記グループ制御装置を中心にして、環状接続または星形接続で上記サブネットワークグループの上記グループ制御装置に通信可能に連結される、項目１４に記載のシステム。
（項目１７）
上記複数のグループ制御装置は、上記スイッチ制御装置に通信可能に連結される、項目１４に記載のシステム。
（項目１８）
上記スイッチ制御装置は、上記少なくとも１つのスイッチを集合的に制御する、互いに通信可能に連結されている複数のスイッチ制御装置である、項目１４に記載のシステム。
（項目１９）
第１サブネットワークグループを制御するよう構成されているグループ制御装置であって、サブネットワークが、複数のサーバラックと定義され、上記グループ制御装置は、複数の集合スイッチノードと通信状態にあり、各集合スイッチノードは、それぞれのサブネットワーク内の複数のサーバラックへのトラフィックフロー、および、それぞれのサブネットワーク内の複数のサーバラックからのトラフィックフローを制御するよう構成され、上記グループ制御装置は、少なくとも１つの他のサブネットワークグループを制御するよう構成されている少なくとも１つの他のグループ制御装置と通信状態にあり、上記サブネットワークグループは、スイッチ制御装置により制御されている少なくとも１つのスイッチを介して互いに通信可能に連結され、上記グループ制御装置は、
プロセッサと、
自らにコンピュータ実行可能命令を記憶したコンピュータ可読媒体と
を備え、上記コンピュータ実行可能命令は、上記プロセッサにより実行されると、上記グループ制御装置に、
上記第１サブネットワークグループ内の各サブネットワークの上記集合スイッチノードを介して、上記第１サブネットワークグループの各サブネットワークが上記少なくとも１つの他のサブネットワークグループの上記１つまたは複数のサブネットワーク内のサーバラックに対して持つ帯域幅要求を監視することと、
上記少なくとも１つの他のグループ制御装置の各々に上記第１サブネットワークグループの上記サブネットワークの上記帯域幅要求を伝えることと
を行わせる、グループ制御装置。
（項目２０）
上記コンピュータ実行可能命令は更に、上記プロセッサにより実行されると、上記グループ制御装置に、
上記少なくとも１つの他のグループ制御装置から、上記第１サブネットワークグループに対する他の各サブネットワークグループの上記帯域幅要求を受信することと、
受信された上記帯域幅要求に基づいて、上記第１サブネットワークグループと他の各サブネットワークグループとの間で帯域幅容量を割り振ることと、
上記第１サブネットワークグループと他のサブネットワークグループとの間で割り振られた上記帯域幅容量を他の各グループ制御装置に送信することと
を行わせる、項目１９に記載の装置。
（項目２１）
上記コンピュータ実行可能命令は更に、上記プロセッサにより実行されると、上記グループ制御装置に、
上記少なくとも１つの他のグループ制御装置から、上記少なくとも１つの他のグループ制御装置と関連付けられる上記サブネットワークグループにより上記サブネットワークグループに与えられる、割り振られた上記帯域幅容量を受信することと、
受信された上記帯域幅容量の割り当てに基づいて、上記第１サブネットワークグループの上記サブネットワークの各々と上記他のサブネットワークグループとの間で帯域幅容量を割り振ることと
を行わせる、項目２０に記載の装置。
（項目２２）
上記グループ制御装置は、高速光接続を用いて、環状または網目状に他のグループ制御装置に通信可能に連結される、項目１９に記載の装置。
（項目２３）
上記グループ制御装置は、低速光接続を用いて上記グループ制御装置を中心にして、環状接続または星形接続で上記サブネットワークグループ内の上記集合スイッチノードに通信可能に連結される、項目１９に記載の装置。
（項目２４）
上記グループ制御装置は、上記スイッチ制御装置に通信可能に連結される、項目１９に記載の装置。
（項目２５）
複数のサブネットワークグループを含むネットワークのための帯域幅要求を割り振る方法であって、サブネットワークが、複数のサーバラックを含み、サブネットワークグループ内の各サブネットワークが、上記サブネットワーク内の上記複数のサーバラックへの上記トラフィックフロー、および、上記サブネットワーク内の上記複数のサーバラックからの上記トラフィックフローを制御するよう構成されている集合ノードを含み、上記ネットワーク内の上記集合スイッチノードは、スイッチ制御装置により制御されている少なくとも１つのスイッチを介して互いに光学的に連結され、上記複数のサブネットワークグループの各サブネットワークグループが、上記サブネットワークグループ内の上記集合スイッチノードの各々と通信状態にあるグループ制御装置を含み、上記グループ制御装置は、互いに通信可能に連結され、上記方法は、
上記グループ制御装置が、上記それぞれのサブネットワークグループの各サブネットワークが上記サブネットワーク内のサーバラックと上記ネットワーク内の他のサブネットワークとに対して持つ帯域幅要求を監視し、上記ネットワーク内の上記他のグループ制御装置の各々に上記グループの上記帯域幅要求を伝える段階と、
上記グループ制御装置が、受信された上記帯域幅要求に基づいて、自らのサブネットワークグループと上記他のサブネットワークグループとの間で帯域幅容量を割り振り、各グループ制御装置が、上記サブネットワークグループおよび上記他のサブネットワークグループに割り振られた上記帯域幅容量を上記他のグループ制御装置に送信する段階と、
各グループ制御装置が、上記他のグループ制御装置から、上記サブネットワークグループおよび上記他のサブネットワークグループに与えられる上記帯域幅容量の割り当てを受信し、受信された上記帯域幅容量の割り当てに基づいて、上記サブネットワークグループの各々と上記他のサブネットワークグループの上記サブネットワークとの間で帯域幅容量を割り振る段階と
を備える、方法。

【0071】

幾つかの実施形態によると、第１サブネットワークグループのグループ制御装置が、別のグループに対して割り振られる帯域幅容量が減少していると判定すると、第１サブネットワークグループのグループ制御装置は、その減少に適応すべく、第１サブネットワークグループの少なくとも１つのサブネットワークの少なくとも１つのインタフェースにおけるトラフィックを休止させる。例えば、第１サブネットワークグループ内の少なくとも１つのサブネットワークが使用するための少なくとも１つのインタフェースがもはや割り振られない場合にデータを失わないように。幾つかの実施形態によると、これは、第１グループ制御装置が、第１グループおよび他のグループの各々から前に割り振られた帯域幅容量と、第１グループおよび他のグループの各々から現在割り振られている帯域幅容量との間における、割り振られる帯域幅容量の変化を、少なくとも１つのスイッチに送信する段階を含んでよい。

【0072】

図１２を参照しながら、第３機能について説明する。当該機能は、図４の段階４６０に実質的に対応しており、帯域幅を割り振る方法１２００と見なされ得る。ここでも、ネットワーク内のグループ制御装置の各々は同じ機能を実行しているかもしれないが、以下では、単一のグループ制御装置により実行されていることの観点から説明する。第１段階１２１０は、第１サブネットワークグループのグループ制御装置が、他の各サブネットワークグループのグループ制御装置から、第１サブネットワークグループと他の各サブネットワークグループとの間で与えられる帯域幅容量の割り当てを受信する段階を含む。第２段階１２２０は、受信された帯域幅容量の割り当てに基づいて、第１サブネットワークグループのサブネットワークの各々と他のサブネットワークグループとの間で帯域幅容量を割り振る段階を含む。任意の第３段階１２３０は、第１グループのグループ制御装置が、第１サブネットワークグループと他のサブネットワークグループとの間で割り振られた帯域幅容量をスイッチ制御装置に送信する段階を含む。

【0073】

幾つかの実施形態によると、当該方法は更に、スイッチ制御装置が、グループ制御装置の各々から受信された、サーバラックグループの各々と他のサーバラックグループの各々との間で割り振られる帯域幅容量に関する情報に基づいて、グループに割り振られる少なくとも１つのスイッチの帯域幅容量を調節する段階を含んでよい。

【0074】

幾つかの実施形態によると、第１サーバラックグループおよび他の複数のサーバラックグループのサーバラックの各々の間で帯域幅容量を割り振る段階は更に、サーバラックグループ内のサーバラックの帯域幅要求を考慮した公平な分配に基づいて行われる。

【0075】

上記の教示を考慮すると、本開示の修正例および変形例が多数考えられる。従って、本開示は添付の請求項の範囲内で、本明細書において具体的に説明されているものとは違ったやり方で実施され得ることを理解されたい。

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図5C】

【図6A】

【図6B】

【図7A】

【図7B】

【図7C】

【図8】

【図9】

【図10】

【図11】

【図12】