▶ ホアウェイ・テクノロジーズ・カンパニー・リミテッドの特許一覧
特許7351595ソフトウェア定義型ネットワークにおいて限られた転送ルールで負荷分散を改善するデバイスおよび方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-09-19
(45)【発行日】2023-09-27
(54)【発明の名称】ソフトウェア定義型ネットワークにおいて限られた転送ルールで負荷分散を改善するデバイスおよび方法
(51)【国際特許分類】
H04L 47/125 20220101AFI20230920BHJP
H04L 45/42 20220101ALI20230920BHJP
H04L 47/41 20220101ALI20230920BHJP
【ＦＩ】
H04L47/125
H04L45/42
H04L47/41
【請求項の数】
20
(21)【出願番号】P 2021576282
(86)(22)【出願日】2019-06-25
(65)【公表番号】
(43)【公表日】2022-08-30
(86)【国際出願番号】 EP2019066821
(87)【国際公開番号】W WO2020259807
(87)【国際公開日】2020-12-30
【審査請求日】2022-01-31
(73)【特許権者】
【識別番号】504161984
【氏名又は名称】ホアウェイ・テクノロジーズ・カンパニー・リミテッド
(74)【代理人】
【識別番号】110000877
【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所
(72)【発明者】
【氏名】レグエイ、ジェレミー
(72)【発明者】
【氏名】メダリアニ、パオロ
(72)【発明者】
【氏名】ツァオ、ジンファ
(72)【発明者】
【氏名】ジャン、ジエ
【審査官】羽岡 さやか
(56)【参考文献】
【文献】特開２０１４－２３００１１（ＪＰ，Ａ）
【文献】特開２０１６－１４６５８１（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１５／０１９５２０４（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１７／０３５９２６１（ＵＳ，Ａ１）
【文献】国際公開第２０１３／１０５５５１（ＷＯ，Ａ１）
【文献】米国特許出願公開第２００９／０１９３１０５（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１２／０２８７７８９（ＵＳ，Ａ１）
【文献】国際公開第２０１８／００４６３９（ＷＯ，Ａ１）
【文献】中国特許出願公開第１０７５７９９２３（ＣＮ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｌ ４７／１２５
Ｈ０４Ｌ ４５／４２
Ｈ０４Ｌ ４７／４１
(57)【特許請求の範囲】
【請求項1】
複数の出力ポートを用いてトラフィックを転送するネットワークデバイスであって、集約フローの複数のフローのパケットを所定のフロー配分に従って前記複数の出力ポートに転送するための第１ルールを含む転送ルールを格納するストレージシステムと、
回路であって、
第１出力ポートの負荷が前記第１出力ポートの目標負荷と一致しない場合には、前記第１出力ポートの前記目標負荷と前記負荷との前記一致を改善すべく、前記集約フローの前記第１出力ポートに転送される複数のフローのうちの少なくとも１つを除外し、前記少なくとも１つを第２出力ポートと関連付ける第２ルールを確立することにより、格納された前記転送ルールを修正し、
格納された前記転送ルールに従ってルーティングを行う
ように構成される回路と
を備え、
前記回路がさらに
前記第１出力ポートの前記負荷または予測負荷が前記第１出力ポートの前記目標負荷と一致しない場合には、前記第１出力ポートに転送される最大フローのセットを識別することであって、前記最大フローのセットに含まれるフローの数は、前記最大フローのセットにもう１つのフローが追加されたならば、前記最大フローのセットの合計データレートが前記負荷または前記予測負荷と前記目標負荷との差異より大きくなるであろうように選択される、識別することと、
識別された前記最大フローのセットを前記第１出力ポート以外の１つまたは複数の出力ポートに割り当てることと
を行うように構成される、
ネットワークデバイス。
【請求項2】
前記回路が、前記複数の出力ポートの前記負荷を観測し、
前記第１出力ポートの前記負荷が前記第１出力ポートの前記目標負荷と一致しない場合には、前記転送ルールに従って前記第１出力ポートに転送される前記複数のフローの中で負荷が最も大きいフローを識別し、
識別された前記フローを前記第２出力ポートに関連付ける
ように構成される、請求項１に記載のネットワークデバイス。
【請求項3】
前記回路が、前記複数の出力ポートの今後の負荷を予測し、
前記第１出力ポートの前記今後の負荷が前記第１出力ポートの前記目標負荷と一致しない場合には、前記転送ルールに従って前記第１出力ポートに転送される前記複数のフローの中で前記今後の負荷が最も大きいフローを識別し、
識別された前記今後の負荷が最も大きい前記フローを前記第２出力ポートに関連付ける
ように構成される、請求項１または２に記載のネットワークデバイス。
【請求項4】
前記第１ルールおよび前記第２ルールが転送テーブルに格納され、前記転送テーブルが、入力フローをグループテーブルにリダイレクトするルールおよび入力フローを出力ポートと関連付けるルールである転送ルールを格納し、
それぞれのリダイレクト転送ルールが複数のパスについてトラフィック分割を実施するグループテーブルのエントリのセットを指し示す、請求項１から３のいずれか一項に記載のネットワークデバイス。
【請求項5】
前記転送テーブルおよび前記グループテーブルが三値連想メモリ（ＴＣＡＭ）に格納される、請求項４に記載のネットワークデバイス。
【請求項6】
前記第２出力ポートへのフローの割り当てにおいて、第２転送ルールが前記転送テーブルに追加される、請求項４または５に記載のネットワークデバイス。
【請求項7】
コントローラへのインタフェースを備え、前記回路が、前記インタフェースを介して、前記複数の出力ポートに指定する目標分割比率またはそれぞれの前記目標負荷、および前記転送ルールを受信するように構成される、請求項１から６のいずれか一項に記載のネットワークデバイス。
【請求項8】
前記回路が、前記インタフェースを介して前記コントローラに要求を送信し、前記ネットワークデバイスに１つまたは複数の新たな転送ルールまたは更新された転送ルールを提供するよう前記コントローラに要求するように構成される、請求項７に記載のネットワークデバイス。
【請求項9】
前記要求が、前記第１出力ポートの前記負荷が前記第１出力ポートの前記目標負荷と一致しないという通知、
ＴＣＡＭ利用率および／または局部的に追加されたルールの数に関する情報、
各ポートの前記目標負荷からの偏差に関する情報、
前記ネットワークデバイスが前記第１出力ポート以外の別のポートと関連付けたフローのリスト、
のうちの少なくとも１つを含む、請求項８に記載のネットワークデバイス。
【請求項10】
前記転送ルールの前記修正が、前記出力ポートの前記目標負荷からの前記負荷または予測負荷の偏差を最小限に抑えるように選択される、請求項１から９のいずれか一項に記載のネットワークデバイス。
【請求項11】
前記複数の出力ポートの前記負荷または予測負荷と前記目標負荷との前記一致の改善において、最も高い負荷を有するとみなされた１つまたは複数のフローを除去した後に、サイズ可変ビンパッキング問題（ＶＳＢＰＰ）アルゴリズムを用いて、前記複数の出力ポートの前記負荷または予測負荷と前記目標負荷との偏差を最小限に抑える最適解を求めて、さらなる集約フローの複数のフローを分割する、請求項１から１０のいずれか一項に記載のネットワークデバイス。
【請求項12】
複数の出力ポートを用いてトラフィックを転送するネットワークデバイスであって、
集約フローの複数のフローのパケットを所定のフロー配分に従って前記複数の出力ポートに転送するための第１ルールを含む転送ルールを格納するストレージシステムと、
回路であって、
第１出力ポートの負荷が前記第１出力ポートの目標負荷と一致しない場合には、前記第１出力ポートの前記目標負荷と前記負荷との前記一致を改善すべく、前記集約フローの前記第１出力ポートに転送される複数のフローのうちの少なくとも１つを除外し、前記少なくとも１つを第２出力ポートと関連付ける第２ルールを確立することにより、格納された前記転送ルールを修正し、
格納された前記転送ルールに従ってルーティングを行う
ように構成される回路と
を備え、
前記複数の出力ポートの前記負荷または予測負荷と前記目標負荷との前記一致の改善において、最も高い負荷を有するとみなされた１つまたは複数のフローを除去した後に、サイズ可変ビンパッキング問題（ＶＳＢＰＰ）アルゴリズムを用いて、前記複数の出力ポートの前記負荷または予測負荷と前記目標負荷との偏差を最小限に抑える最適解を求めて、さらなる集約フローの複数のフローを分割する、ネットワークデバイス。
【請求項13】
ポートごとの前記目標負荷が、前記コントローラから受信した前記転送ルールから決定される、請求項７に記載のネットワークデバイス。
【請求項14】
格納された前記転送ルールが、集約フローの複数のサブ集約フローのパケットを転送するためのルールを含み、前記第１出力ポートの前記負荷または予測負荷が前記第１出力ポートの目標負荷と一致しない場合には、前記第１出力ポートの前記目標負荷と前記負荷または予測負荷との前記一致を改善すべく、前記複数のサブ集約フローの前記第１出力ポートに転送される複数のフローのうちの少なくとも１つを除外し、前記少なくとも１つを第２出力ポートと関連付ける前記第２ルールを確立することにより、格納された前記転送ルールを修正する、請求項１から１３のいずれか一項に記載のネットワークデバイス。
【請求項15】
複数の出力ポートを用いてトラフィックを転送するネットワークデバイスであって、
集約フローの複数のフローのパケットを所定のフロー配分に従って前記複数の出力ポートに転送するための第１ルールを含む転送ルールを格納するストレージシステムと、
回路であって、
第１出力ポートの負荷が前記第１出力ポートの目標負荷と一致しない場合には、前記第１出力ポートの前記目標負荷と前記負荷との前記一致を改善すべく、前記集約フローの前記第１出力ポートに転送される複数のフローのうちの少なくとも１つを除外し、前記少なくとも１つを第２出力ポートと関連付ける第２ルールを確立することにより、格納された前記転送ルールを修正し、
格納された前記転送ルールに従ってルーティングを行う
ように構成される回路と
を備え、
格納された前記転送ルールが、集約フローの複数のサブ集約フローのパケットを転送するためのルールを含み、前記回路はさらに、
前記第１出力ポートの前記負荷または予測負荷が前記第１出力ポートの目標負荷と一致しない場合には、前記第１出力ポートの前記目標負荷と前記負荷または予測負荷との前記一致を改善すべく、前記複数のサブ集約フローの前記第１出力ポートに転送される複数のフローのうちの少なくとも１つを除外し、前記少なくとも１つを第２出力ポートと関連付ける前記第２ルールを確立することにより、格納された前記転送ルールを修正する、ネットワークデバイス。
【請求項16】
前記１つまたは複数のグループテーブルが、ハッシュ結果に基づいて、または加重コストマルチパス（ＷＣＭＰ）によって転送を規定する、請求項４から１５のいずれか一項に記載のネットワークデバイス。
【請求項17】
ハッシュがヘッダエントリの送信元ＩＰ、宛先ＩＰ、プロトコル、送信元ポート、宛先ポートのうちの少なくとも１つについて計算される、且つ／または入力フローを出力ポートと関連付ける前記転送ルールが前記ヘッダエントリのうちの少なくとも１つで前記入力フローを識別する、請求項１６に記載のネットワークデバイス。
【請求項18】
複数の出力ポートを有するネットワークデバイスにおいてトラフィックを転送するための方法であって、集約フローの複数のフローのパケットを所定のフロー配分に従って前記複数の出力ポートに転送するための第１ルールを含む転送ルールを格納する段階と、
第１出力ポートの負荷が前記第１出力ポートの目標負荷と一致しない場合には、前記第１出力ポートの前記目標負荷と前記負荷との前記一致を改善すべく、前記集約フローの前記第１出力ポートに転送される複数のフローのうちの少なくとも１つを除外し、前記少なくとも１つを第２出力ポートと関連付ける第２ルールを確立することにより、格納された前記転送ルールを修正する段階と、
格納された前記転送ルールに従ってルーティングを行う段階と、
を備え、前記方法はさらに
前記第１出力ポートの前記負荷または予測負荷が前記第１出力ポートの前記目標負荷と一致しない場合には、前記第１出力ポートに転送される最大フローのセットを識別する段階あって、前記最大フローのセットに含まれるフローの数は、前記最大フローのセットにもう１つのフローが追加されたならば、前記最大フローのセットの合計データレートが前記負荷または前記予測負荷と前記目標負荷との差異より大きくなるであろうように選択される、段階と、
識別された前記最大フローのセットを前記第１出力ポート以外の１つまたは複数の出力ポートに割り当てる段階と、を備える方法。
【請求項19】
複数の出力ポートを有するネットワークデバイスにおいてトラフィックを転送するための方法であって、
集約フローの複数のフローのパケットを所定のフロー配分に従って前記複数の出力ポートに転送するための第１ルールを含む転送ルールを格納する段階と、
第１出力ポートの負荷が前記第１出力ポートの目標負荷と一致しない場合には、前記第１出力ポートの前記目標負荷と前記負荷との前記一致を改善すべく、前記集約フローの前記第１出力ポートに転送される複数のフローのうちの少なくとも１つを除外し、前記少なくとも１つを第２出力ポートと関連付ける第２ルールを確立することにより、格納された前記転送ルールを修正する段階と、
格納された前記転送ルールに従ってルーティングを行う段階と、
前記複数の出力ポートの前記負荷または予測負荷と前記目標負荷との前記一致の改善において、最も高い負荷を有するとみなされた１つまたは複数のフローを除去した後に、サイズ可変ビンパッキング問題（ＶＳＢＰＰ）アルゴリズムを用いて、前記複数の出力ポートの前記負荷または予測負荷と前記目標負荷との偏差を最小限に抑える最適解を求めて、さらなる集約フローの複数のフローを分割する段階と、を備える方法。
【請求項20】
複数の出力ポートを有するネットワークデバイスにおいてトラフィックを転送するための方法であって、
集約フローの複数のフローのパケットを所定のフロー配分に従って前記複数の出力ポートに転送するための第１ルールを含む転送ルールを格納する段階と、
第１出力ポートの負荷が前記第１出力ポートの目標負荷と一致しない場合には、前記第１出力ポートの前記目標負荷と前記負荷との前記一致を改善すべく、前記集約フローの前記第１出力ポートに転送される複数のフローのうちの少なくとも１つを除外し、前記少なくとも１つを第２出力ポートと関連付ける第２ルールを確立することにより、格納された前記転送ルールを修正する段階と、
格納された前記転送ルールに従ってルーティングを行う段階であって、格納された前記転送ルールが、集約フローの複数のサブ集約フローのパケットを転送するためのルールを含む、段階と、
前記第１出力ポートの前記負荷または予測負荷が前記第１出力ポートの目標負荷と一致しない場合には、前記第１出力ポートの前記目標負荷と前記負荷または予測負荷との前記一致を改善すべく、前記複数のサブ集約フローの前記第１出力ポートに転送される複数のフローのうちの少なくとも１つを除外し、前記少なくとも１つを第２出力ポートと関連付ける前記第２ルールを確立することにより、格納された前記転送ルールを修正する段階と、を備える方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、ネットワークにおいてデータポートを転送するための方法およびデバイスに関する。
【背景技術】
【0002】
ソフトウェア定義型ネットワーキング（ＳＤＮ）技術とは、ネットワーク性能およびネットワーク監視を改善するために、動的な、プログラムで効率的なネットワーク設定を可能にするネットワーク管理に対する取り組みである。ＳＤＮとは、従来型ネットワークの静的なアーキテクチャが分散化されて複雑であるのに対して、現行ネットワークがもっと多くの柔軟性および容易なトラブルシューティングを必要としているという現実に対処するものだとされている。ＳＤＮでは、ネットワークパケットの転送処理（データプレーン）をルーティング処理（制御プレーン）から分離することにより、ネットワークインテリジェンスを１つのネットワーク構成要素に集中化しようとしており、制御プレーンは１つまたは複数のコントローラで構成される。
【0003】
負荷分散は、ネットワーク利用率の改善において重要な役割を果たす。その趣旨は、ネットワーク容量をより有効に利用するために、トラフィックを複数のパスに分割することである。そのようなネットワークのトラフィックは一般に、複数のフローに整理される。こうしたフローは、ホスト間通信パスと規定されても、または送信元アドレスおよび宛先アドレス（例えば、ＩＰアドレスまたはＭＡＣアドレス）と、トランスポートプロトコル（例えば、ＵＤＰまたはＴＣＰ）もしくは任意の他の識別子を伴うポート番号との一意の組み合わせにより識別されるソケット間通信と規定されてもよい。一般に、これらのフローはマクロフロー（トラフィック集合体またはフロー集合体とも呼ばれる）およびマイクロフローにグループ化される。マクロフローは、その送信元および宛先によって規定されてよく、より細かい粒度識別子（特定のサービスもしくはサービス品質および／または優先度など）により規定されるマイクロフローに細分化することができる。例えば、マイクロフローは、可能な最も細かい粒度のフロー（すなわち、単位ＴＣＰフロー）でよく、パケット並べ替え問題をもたらすので、さらに分割することはできない。マクロフローは、複数のマイクロフローの複合物であり、異なるパスでルーティングされ得るいくつかのサブフローに分割することができる。一般に、あらゆる種類のフローまたはフロー集合体がフローと呼ばれてよい。
【0004】
今日では、例えば、ソフトウェア定義型ネットワーキング（ＳＤＮ）コントローラまたはパス計算要素（ＰＣＥ）のようなネットワークコントローラが、複数のトラフィックエンジニアリング方法をまとめて、ルーティングおよび負荷分散を常に最適化する。こうした集中型制御プレーンエンティティは、ネットワーク負荷およびトラフィックフローに関する統計値があれば、ネットワークの全体的な視点を活用して、フローを分割する必要があるかどうかを判定し、それを行う最も効率的なやり方を決定する。
【発明の概要】
【0005】
本発明の実施形態が、ソフトウェア定義型ネットワーク（ＳＤＮ）のようなネットワークにおいてデータを効果的に転送するための装置および方法を提供する。転送ネットワークデバイスは、負荷不均衡問題を検出して、負荷分散を実際のトラフィック状態に適応させることができる。適応は、必要なときに、優先して局部的に且つネットワークコントローラにより行われる。さらに、この適応は問題のあるフロー（不均衡問題の原因となっているフロー）を重視しており、限られた数の追加転送ルールが用いられるようになる。
【0006】
前述したことなどの目的が独立クレームの主題により達成される。さらなる実装形態が、従属クレーム、本明細書、および図から明らかである。
【0007】
第１態様によれば、複数の出力ポート（１２０－１～１２０－Ｎ）を用いてトラフィックを転送するためのネットワークデバイス（１００）が提供される。本デバイスは、集約フローの複数のフローのパケットを所定のフロー配分に従って複数の出力ポートに転送するための第１ルールを含む転送ルールを格納したストレージシステム（１０１）と、第１出力ポート（１２０－Ｎ）の負荷が第１ポートの目標負荷と一致しない場合には、複数のフローのうちの少なくとも１つを集約フローから除外し、第１出力ポートの負荷と目標負荷との一致を改善するために集約フローの複数のフローのうちの少なくとも１つを第２出力ポート（１２０－１）と関連付ける第２ルールを確立することにより、格納された上記転送ルールを修正し、格納された転送ルールに従ってルーティングを行うように構成された回路（１１０）とを備える。本態様によるネットワークデバイスは、ネットワークの全面的な再設定を必要とせずに、フローのルーティングを局部的に変更することができる。これにより、例えば、負荷不均衡問題へのより迅速な反応が可能になり得る。
【0008】
第２態様によれば、第１態様によるネットワークデバイス（５００）が提供され、回路（５１０）は、複数の出力ポート（５２０－１～５２０－Ｎ）の負荷を観測し、第１出力ポート（５２０－Ｎ）の負荷が第１ポート（５２０－Ｎ）の目標負荷と一致しない場合には、フロー転送ルールに従って第１出力ポート（５２０－Ｎ）に転送されたフロー（５５０－１～５５０－Ｎ）の中で負荷が最も大きいフロー（５５０－１）を識別し、識別された上記フロー（５５０－１）を第２出力ポート（５２０－１）に関連付けるように構成される。本態様によるネットワークデバイスは、複数の出力ポートの負荷不均衡問題を検出し、ネットワークの全面的な再設定を必要とせずに、負荷不均衡問題を局部的に解決することができる。これにより、例えば、より迅速な負荷分散が可能になり得る。
【0009】
第３態様によれば、第１態様または第２態様によるネットワークデバイス（５００）が提供される。回路は、複数の出力ポート（５２０－１～５２０－Ｎ）の今後の負荷を予測し、第１出力ポート（５２０－Ｎ）の今後の負荷が第１ポート（５２０－Ｎ）の目標負荷と一致しない場合には、フロー転送ルールに従って第１出力ポート（５２０－Ｎ）に転送されるフロー（５５０－１～５５０－Ｎ）の中で今後の負荷が最も大きいフロー（５５０－１）を識別し、識別された上記フロー（５５０－１）を第２出力ポート（５２０－１）に関連付けるように構成される。本態様によるネットワークデバイスは、予想される今後の負荷を見越した局部的な負荷分散を可能にし得る。フローが今後に非常に大きくなると予想される場合、このフローは、対応する出力ポートで負荷分散問題が生じないように転送されてよい。
【0010】
第４態様によれば、第１態様から第３態様のうちのいずれかによるネットワークデバイス（５００）が提供される。ここで、回路（５１０）はさらに、第１出力ポート（７５０）の負荷または予測負荷（７０１）が第１ポートの目標負荷（７０２）と一致しない場合には、第１出力ポートに転送される最大フローのセット（７２０）を識別することであって、本セット（７２０）に含まれるフローの数は、本セット（７２０）のフローにもう１つのフローが追加されたならば、本セットのフローの複数のフローの合計データレートが負荷または予測負荷（７０１）と目標負荷（７０２）との差異より大きくなるように選択される、識別することと、識別された上記フローを第１出力ポート（７５０）以外の１つまたは複数の出力ポートに割り当てることとを行うように構成される。本態様によるネットワークデバイスは、負荷分散問題を局部的に効果的に解決することを可能にし得る。最大フローだけが、異なる出力ポートに転送されるとみなされるので、これにより、少数の新たなルール（これは、転送ルールに代わってローカルストレージを効率的に使用し得る）とわずかな局部的計算要求とでネットワークを局部的に再設定することが可能になり得る。
【0011】
第５態様によれば、第１態様から第４態様のうちのいずれかによるネットワークデバイス（１００）が提供される。ここで、第１ルールおよび第２ルールは転送テーブル（８０１）に格納され、転送テーブル（８０１）は、入力フローをグループテーブルにリダイレクトするルール（８２１）、または入力フローを出力ポートと関連付けるルール（８２２）のいずれかである転送ルールを格納し、それぞれのリダイレクト転送ルール（８２１）は、転送テーブルに含まれるリダイレクト転送ルール（８２１）のエントリにより指し示されるグループテーブルにより規定される。本態様によるネットワークデバイスは、負荷分散問題を局部的に効果的に解決することを可能にし得る。出力ポートで負荷分散問題を引き起こさないトラフィックでは、グループテーブルが用いられてよく、これにより、限定されたルールの使用だけで大量の（且つ複数の出力ポートにうまく配分され得る）データを転送するという効率的なやり方が提供されてよい。大きいフローおよび／または問題のあるフローでは、フローを出力ポートと関連付けるルールが用いられてよい。これにより、負荷不均衡問題を迅速且つ局部的に解決すると共に効果的な転送を提供することが可能になり得る。
【0012】
第６態様によれば、第５態様によるネットワーキングデバイス（１００）が提供される。ここで、転送テーブル（８０１）およびグループテーブルは三値連想メモリ（ＴＣＡＭ）に格納される。本態様によるネットワークデバイスは、説明された機能の迅速な実行を可能にし得る迅速且つ効果的な転送を提供することができる。
【0013】
第７態様によれば、第５態様または第６態様によるネットワークデバイス（１００）が提供される。ここで、第２出力ポートへのフローの割り当てにおいて、第２転送ルールが転送テーブル（８０１）に追加される。本態様によるネットワークデバイスは、フローを出力ポートと関連付ける状況に合わせたルールを用いて、負荷分散問題を効率的に解決することができる。
【0014】
第８態様によれば、第１態様から第７態様のうちのいずれかによるネットワークデバイス（１００）が提供され、本デバイスはコントローラへのインタフェース（１５０）を有し、回路（１１０）は、上記インタフェースを介して、出力ポートに指定する目標分割比率、それぞれの目標負荷、および／または上記転送ルールを受信するように構成される。本態様によるネットワークデバイスは、不均衡問題を局部的に効果的に解決でき得ると共に、中央コントローラに従ってトラフィックを効率的に転送することを可能にし得る。
【0015】
第９態様によれば、第８態様によるネットワークデバイス（１００）が提供される。ここで、回路（１１０）は、上記インタフェースを介して要求をコントローラに送信し、ネットワークデバイスに１つまたは複数の新たな転送ルールまたは更新された転送ルールを提供するようコントローラに要求するように構成される。本態様によるネットワークデバイスは、負荷分散問題を、この問題が局部的に解決できない場合に、解決することを可能にし得る。コントローラは、そのような場合に、ネットワークを全面的に再設定することがある。ネットワークデバイスは、負荷分散問題を局部的に解決することができない場合、そのような要求をネットワークコントローラだけに送出することがある。局部的な解決策の方が迅速且つ効率的かもしれないが、全面的な解決策の方が深刻な負荷不均衡問題を解決できることがある。
【0016】
第１０態様によれば、第９態様によるネットワークデバイス（１００）が提供される。ここで要求には、第１出力ポートの負荷が第１ポートの目標負荷と一致しないという通知、ＴＣＡＭ利用率および／または局部的に追加されたルールの数に関する情報、各ポートの目標負荷からの偏差に関する情報、ネットワークデバイスが第１ポート以外の別のポートと関連付けたフローのリストのうちの少なくとも１つが含まれる。本態様によるネットワークデバイスは、ネットワークコントローラが負荷不均衡問題へのより効率的になり得る解決策をより効率的に見つけ出すことに寄与することができる。
【0017】
第１１態様によれば、第１態様から第１０態様のうちのいずれかによるネットワークデバイス（１００）が提供される。ここで転送ルール（８２０）の修正は、出力ポートの目標負荷からの負荷または予測負荷の偏差を最小限に抑えるように選択される。
【0018】
第１２態様によれば、第１態様から第１１態様のうちのいずれかによるネットワークデバイスが提供される。ここで、出力ポートの負荷または予測負荷と目標負荷との一致の改善において、サイズ可変ビンパッキング問題（ＶＳＢＰＰ）アルゴリズムが、最も高い負荷を有するとみなされたフローを除去した後に用いられる。本態様によるネットワークデバイスは、負荷不均衡問題の解決策をより効率的に見つけ出すことができる。
【0019】
第１３態様によれば、第１態様から第１２態様のうちのいずれかによるネットワークデバイス（１００）が提供される。ここで、ポート（１２０－１～１２０－Ｎ）ごとの目標負荷は制御ノードから受信した転送ルール（８２０）から決定される。本態様によるネットワークデバイスは、追加のやり取りを行うことなく、出力ポートの目標負荷を見つけ出すことができる。
【0020】
第１４態様によれば、第１態様から第１３態様のうちのいずれかによるネットワークデバイス（１００）が提供される。ここで、格納された転送ルール（８２０）は、集約フローの複数のサブ集約フローのパケットを転送するためのルールを含み、第１出力ポート（１２０－Ｎ）の負荷または予測負荷が第１ポート（１２０－Ｎ）の目標負荷と一致しない場合には、サブ集約フローのうちの少なくとも１つを集約フローから除外し、第１出力ポート（１２０－Ｎ）の目標負荷と負荷または予測負荷との一致を改善するために集約フローの複数のサブ集約フローのうちの少なくとも１つを第２出力ポート（１２０－１）と関連付ける第２ルールを確立することにより、格納された上記転送ルール（８２０）を修正する。本態様によるネットワークデバイスは、負荷不均衡問題の場合に、集約フローの分割を効率的に変更することができる。
【0021】
第１５態様によれば、第５態様～第１４態様のうちのいずれかによるネットワークデバイス（１００）が提供される。ここで、１つまたは複数のグループテーブルが、ハッシュ結果に基づくまたは加重コストマルチパス（ＷＣＭＰ）による転送を規定する。本態様によるネットワークデバイスは、その出力ポートに流入トラフィックを、それぞれの出力ポートの目標負荷に従って効率的に配分することができる。
【0022】
第１６態様によれば、第１５態様によるネットワークデバイス（１００）が提供される。ここで、ハッシュがヘッダ（９００）エントリの送信元ＩＰ（９１１）、宛先ＩＰ（９１２）、プロトコル（９１３）、送信元ポート（９１４）、宛先ポート（９１５）のうちの少なくとも１つについて計算される、且つ／または入力フローを出力ポートと関連付ける転送ルール（８２２）が上記ヘッダ（９００）エントリのうちの少なくとも１つで入力フローを識別する。本態様によるネットワークデバイスは、その出力ポートにトラフィックを効率的に配分することができる。ルーティングが再設定されない限り、同じマイクロフローに関連するパケットが同じ出力ポートに必ず転送され得る。フロー集合体がいくつかのヘッダエントリだけで識別され、全体またはサブ集合体として転送されてよく、あるいは集約フローに属するマイクロフローが、初期集約フローの分割につながり得るもっと多くのヘッダエントリに基づいて識別されてもよい。
【0023】
第１７態様によれば、複数の出力ポートを有するネットワークデバイスにおいてトラフィックを転送するための方法（１２００）が提供される。本方法は、集約フローの複数のフローのパケットを所定のフロー配分に従って複数の出力ポートに転送するための第１ルールを含む転送ルールを格納する段階と、第１出力ポートの負荷が第１ポートの目標負荷と一致しない場合には、複数のフローのうちの少なくとも１つを集約フローから除外し、第１出力ポートの負荷と目標負荷との一致を改善するために集約フローの複数のフローのうちの少なくとも１つを第２出力ポートと関連付ける第２ルールを確立することにより、格納された上記転送ルールを修正する段階と、格納された転送ルールに従ってルーティングを行う段階とを備える。
【0024】
本方法はさらに、出力ポートの負荷を観測する段階と、第１出力ポートの負荷が第１ポートの目標負荷と一致しない場合には、フロー転送ルールに従って第１出力ポートに転送されたフローの中で負荷が最も大きいフローを識別する段階と、識別された上記フローを第２出力ポートに関連付ける段階とを備えてよい。
【0025】
一実施形態によれば、本方法はさらに、複数の出力ポートの今後の負荷を予測する段階と、第１出力ポートの今後の負荷が第１ポートの目標負荷と一致しない場合には、フロー転送ルールに従って第１出力ポートに転送されるフローの中で今後の負荷が最も大きいフローを識別する段階と、識別された上記フローを第２出力ポートに関連付ける段階とを備えてよい。
【0026】
例示的な一実装例において、本方法はさらに、第１出力ポート（７５０）の負荷または予測負荷（７０１）が第１ポートの目標負荷（７０２）と一致しない場合に、第１出力ポートに転送される最大フローのセット（７２０）を識別することであって、本セット（７２０）に含まれるフローの数は、本セット（７２０）のフローにもう１つのフローが追加されたならば、本セットのフローの複数のフローの合計データレートが負荷または予測負荷（７０１）と目標負荷（７０２）との差異より大きくなるように選択される、識別することと、識別された上記フローを第１出力ポート（７５０）以外の１つまたは複数の出力ポートに割り当てることとを行うように構成されてよい。
【0027】
さらに本方法は、第１ルールおよび第２ルールを転送テーブル（８０１）に格納する段階を含んでよく、転送テーブル（８０１）は、入力フローをグループテーブルにリダイレクトするルール（８２１）、または入力フローを出力ポートと関連付けるルール（８２２）のいずれかである転送ルールを格納し、それぞれのリダイレクト転送ルール（８２１）は、転送テーブルに含まれるリダイレクト転送ルール（８２１）のエントリにより指し示されるグループテーブルにより規定される。
【0028】
一態様によれば、転送テーブル（８０１）およびグループテーブルは三値連想メモリ（ＴＣＡＭ）に格納される。
【0029】
本方法の一実施形態によれば、第２出力ポートへのフローの割り当てにおいて、第２転送ルールが転送テーブル（８０１）に追加される。
【0030】
例示的な一実装例において、本方法はさらに、コントローラへのインタフェースを用いるように構成されてよく、本方法は、上記インタフェースを介して、複数の出力ポートに指定する目標分割比率、それぞれの目標負荷、および／または上記転送ルールを受信するように構成される。
【0031】
いくつかの実施形態において、本方法はさらに、上記インタフェースを介して要求をコントローラに送信する段階と、ネットワークデバイスに１つまたは複数の新たな転送ルールまたは更新された転送ルールを提供するようコントローラに要求する段階とを含んでよい。
【0032】
さらに、この要求には、第１出力ポートの負荷が第１ポートの目標負荷と一致しないという通知、ＴＣＡＭ利用率および／または局部的に追加されたルールの数に関する情報、各ポートの目標負荷からの偏差に関する情報、並びにネットワークデバイスが第１ポート以外の別のポートと関連付けたフローのリストのうちの少なくとも１つが含まれてよい。
【0033】
一態様によれば、上述した方法が提供され、転送ルール（８２０）の修正は、出力ポートの目標負荷からの負荷または予測負荷の偏差を最小限に抑えるように選択される。
【0034】
本方法はさらに、出力ポートの負荷または予測負荷と目標負荷との一致の改善において、最も高い負荷を有するとみなされたフローを除去した後に、サイズ可変ビンパッキング問題（ＶＳＢＰＰ）アルゴリズムを用いる段階を備えてよい。
【0035】
一実施形態によれば、本方法はさらに、ポート（１２０－１～１２０－Ｎ）ごとの目標負荷を制御ノードから受信した転送ルール（８２０）から決定してよい。
【0036】
方法の一実施形態によれば、格納された転送ルール（８２０）は、集約フローの複数のサブ集約フローのパケットを転送するためのルールを含み、第１出力ポート（１２０－Ｎ）の負荷または予測負荷が第１ポート（１２０－Ｎ）の目標負荷と一致しない場合には、サブ集約フローのうちの少なくとも１つが集約フローから除外され、格納された上記転送ルール（８２０）は、第１出力ポート（１２０－Ｎ）の負荷または予測負荷と目標負荷との一致を改善するために集約フローの複数のサブ集約フローのうちの少なくとも１つを第２出力ポート（１２０－１）と関連付ける第２ルールを確立することにより修正される。
【0037】
例示的な一実装例において、１つまたは複数のグループテーブルは、ハッシュ結果に基づいて、または加重コストマルチパス（ＷＣＭＰ）によって転送を規定する。
【0038】
本方法の一実施形態によれば、ハッシュがヘッダ（９００）エントリの送信元ＩＰ（９１１）、宛先ＩＰ（９１２）、プロトコル（９１３）、送信元ポート（９１４）、宛先ポート（９１５）のうちの少なくとも１つについて計算される、且つ／または入力フローを出力ポートと関連付ける転送ルール（８２２）が上記ヘッダ（９００）エントリのうちの少なくとも１つで入力フローを識別する。
【0039】
上述した方法は、コード命令を含むソフトウェアコードとして実現されてよく、コード命令は上述した方法の段階を実現する。ソフトウェアは、コンピュータ可読媒体に格納されてよい。この媒体は、プロセッサメモリでも、任意の記憶媒体などでもよい。ソフトウェアは、上で言及された制御デバイスまたはスイッチなどのデバイスに用いられてよい。
【0040】
１つまたは複数の実施形態の詳細が、添付図面および以下の説明に記載されている。本明細書、図面、および特許請求の範囲から、他の機能、目的、および利点が明らかになるであろう。
【図面の簡単な説明】
【0041】
次に、本発明の実施形態が、添付した図および図面を参照してより詳細に説明される。
【0042】
【図1】ネットワークおよびスイッチのアーキテクチャに関する一例を示すブロック図であり、転送ルールがスイッチに格納されている。
【0043】
【図2】送出ポートの負荷の観測比率および目標分割比率に関する一例を示す図である。
【0044】
【図3】ネットワークおよびスイッチのアーキテクチャをさらに詳細に示すブロック図であり、トラフィック用の３つの可能なパスは異なる分割比率を有し、これらのパスには異なる数の転送ネットワークデバイスがある。
【0045】
【図4A】本開示による、ネットワーキングデバイスの一例を示すブロック図であり、高い負荷が出力ポートＮにかかっている。
【0046】
【0047】
【図5A】１つのポートには大きい負荷がかかり、別のポートには小さい負荷がかかることになるフローの配分を示すブロック図である。
【0048】
【図5B】１つのフローが大きい負荷のポートから小さい負荷のポートに再配分される様子を示すブロック図である。
【0049】
【図6】効率的な負荷分散に向けて連携する転送ネットワークデバイスおよび中央ネットワークコントローラを示すブロック図である。
【0050】
【図7】１つのポートの目標負荷と比較される測定負荷／予測負荷を示すブロック図である。
【0051】
【図8】本開示による一実装例における転送ルールを示すブロック図である。
【0052】
【図9】ネットワーキングデバイスがその転送判断の根拠とする、パケットヘッダの重要なフィールドの一例を示すブロック図である。
【0053】
【図10】本開示による転送ネットワークデバイスを用いるためのネットワーク設定の一例を示すブロック図である。
【0054】
【図11】集中型フロー分割アルゴリズムのアルゴリズム的ワークフローの一例を示すブロック図である。
【0055】
【図12】本開示による転送ネットワークデバイスで用いられる方法の一例を示すフロー図である。
【発明を実施するための形態】
【0056】
以下の説明では添付図に言及する。これらの添付図は本開示の一部を形成しており、本発明の実施形態の具体的な態様または本発明の実施形態が用いられ得る具体的な態様を実例として示す。本発明の実施形態は他の態様で用いられてよく、図に表現されていない構造的変更または論理的変更を含み得ることが分かる。したがって、以下の詳細な説明は限定的意味に解釈されるべきではなく、本発明の範囲は添付の特許請求の範囲により規定される。
【0057】
例えば、説明される方法に関連した開示は、その方法を行うように構成された対応するデバイスまたはシステムにも当てはまってよく、逆もまた同様であることが分かる。例えば、１つまたは複数の特定の方法の段階が説明された場合、対応するデバイスが、説明された１つまたは複数の方法の段階を実行するための、例えば、機能ユニットといった１つまたは複数のユニット（例えば、１つまたは複数の段階を実行する１つのユニット、または複数の段階のうちの１つまたは複数をそれぞれが実行する複数のユニット）を含んでよく、そのような１つまたは複数のユニットが図に明示的に説明されていなくても、示されていなくてもよい。一方、例えば、特定の装置が１つまたは複数のユニット、例えば、機能ユニットに基づいて説明された場合、対応する方法が１つまたは複数のユニットの機能を実行する１つの段階（例えば、１つまたは複数のユニットの機能を実行する１つの段階、あるいは複数のユニットのうちの１つまたは複数の機能をそれぞれ実行する複数の段階）を含んでよく、そのような１つまたは複数の段階が図に明示的に説明されていなくても、示されていなくてもよい。さらに、本明細書において説明される様々な例示的な実施形態および／または態様の特徴は、特に記述がない限り、互いに組み合わされてよいことが分かる。
【0058】
【0059】
図１は、スイッチの制御が可能なＳＤＮ／ＰＣＥコントローラを示している。スイッチの制御は、例えば、スイッチにより用いられる（場合によっては格納もされる）転送テーブルおよび／またはグループテーブルを設定することにより行われる。具体的には、スイッチは特定の宛先アドレスを有するパケットを受信し、転送テーブルおよびグループテーブルに基づいて、パケットが転送されるネクストホップをデコードする。ここでの転送テーブルは２つの列を含み、それぞれ、「一致」と表示され且つＩＰアドレス（一般には、可能な宛先アドレス）を含む列、および「対処」と表示され且つ転送ルール／ポリシーを規定する列である。例えば、宛先アドレス５６．７８．９１．２のパケットは常に、アドレス５６．７８．９１．２のネクストホップに転送される。一方、宛先アドレス５６．７８．９１．８のパケットはさらに、グループテーブル（「ネクストホップ」の列）に示す別々のネクストホップアドレスに向けて、いくつかの出力ポートにわたって分割される。分割比率も、ＳＤＮ／ＰＣＥコントローラまたは別の制御エンティティもしくはユニットにより指定されてよい。この分割は、パケット（ヘッダ）のいくつかの部分について計算されるハッシュ関数に基づいて、事前に決められる。「グループテーブル」という名称は、異なるテーブルが異なる宛先アドレスに用いられ得るという事実を意味している。
【0060】
具体的には、（送信元アドレスおよび／もしくは宛先アドレス、並びに／またはポートおよび／もしくはトランスポートプロトコルのような）パケットヘッダの重要なフィールドについてハッシュが計算され且つ送出パスを選択するのに用いられるハッシュベースの分割、および負荷分散重み（例えば、図１および図３の「分割比率」、並びに図２の「目標比率」に対応する）を用いて、送出パス上のフローの数が必ず特定の比率を満たすようにする加重コストマルチパス（ＷＣＭＰ）のことである。どちらの場合も、フローに対して決定が行われると、フローの全パケットが同じ決定に従う必要がある（すなわち、全パケットが同じパスをたどる）。しかしながら、実際には、フローのサイズを事前に把握することはできず、フローサイズの配分は一様ではない。ここでは、フローサイズとは、フローがネットワーク（例えば、ネットワーク内の転送デバイスの入力ポートまたは出力ポート）に負わせる負荷として理解されてよい。
【0061】
図２は、転送ネットワークデバイスの３つの出力ポートの負荷の実際の比率と目標比率との一例を示している。この例のネットワークデバイスは、３ＧＰＰネットワークノードのセルサイトゲートウェイ（ＣＳＧ）、ＲＮＣサイトゲートウェイ（ＲＳＧ）、および２つの集約サイトゲートウェイ（ＡＳＧ）である。ポートごとのフローの数は目標比率に従って配分されるので、実際の負荷は、例えば、１つまたは複数のフローが著しく大きい（ほとんどの他のフローより大きい（重い）負荷を有する）場合、著しく異なることがある。これらの２つの観測結果は、負荷分散装置が解決する必要のある厄介な不均衡問題の根源である。
【0062】
複数の送出ポートにわたるトラフィック再分割のタイプによれば、一様なフロー分割または一様でないフロー分割の区別が可能である。１つ目のタイプは最もよく使用されているタイプで、等価コストマルチパス（ＥＣＭＰ）としても知られている。２つ目のタイプは、ネットワークリソースの十分な利用が可能だが、実装するのが難しい。これは、不等コストマルチパス（ＵＣＭＰ）としても知られている。どちらの場合も、転送ネットワークデバイス内の実装は、効率的なパケット処理のために三値連想メモリ（ＴＣＡＭ）を活用する。スイッチ内のＴＣＡＭメモリはさらに、図１および図３に示すように２つのテーブル（転送テーブルおよびグループテーブル）に分割される。図３は、ＩＰアドレスだけでなく、一般に、Ｄ１およびＤ２などの任意の要求も転送テーブルにおいて一致し得ることを図１より一般的に示している。この要求は、宛先名称もしくはアドレスまたはフロー番号もしくは識別などといった任意の形態で、宛先の識別に対応してよい。
【0063】
流入パケットごとに、スイッチは、（例えば、ヘッダエントリのうちのいずれかまたは全てと転送テーブル内の対応するエントリとを比較することにより）転送テーブル内の対応する一致を探す。これで、パケットを直接的に転送することができるのか、または特定の分割を適用する必要があるのかが指定される。この後者の場合、スイッチはグループテーブルの対応するエントリを探す。ここで、パケットの重要なフィールド（すなわち、パケットヘッダのフィールド）について計算されたハッシュの値の出力に従って、ネクストホップが決定される。グループテーブル内の、バケットとも呼ばれるエントリの設定が、特定のフロー集合体に用いられる分割比率（すなわち、負荷分散）を規定する。ネットワークの全体的な視点があれば、ＰＣＥコントローラは最も適切なＴＣＡＭ設定でそれぞれのスイッチに指示を与えることができる。これは図３に示されており、この図には、ノード０が転送テーブルを有するだけでなく、例えば、Ｄ１の送信元と宛先との間の途中にあるノード４も転送テーブルを有することが示されている。各ノードにおいて、集約フローＤ１またはその一部が分割されても、（例えば、集約フローの２つのサブフローを同じネクストホップに転送することにより）再度集約されてもよい。
【0064】
トラフィックは時間と共に徐々に変化するので、ノード内で局部的に観測されるフロー配分は、コントローラで計算される目標配分と異なることがある。この理由から、補正措置が必要となり、現在行っているトラフィック配分を正確に追跡し、負荷分散を調整して、問題のあるフローを適切に処理する。
【0065】
当該技術の水準では、この問題に対して、１）エレファントフローのスケジューリング、および２）利用率を意識した負荷分散という、２種類の解決策が提案されている。エレファントフローのスケジューリングでは、全てのフローにデフォルトのルーティングポリシー（例えば、ＥＣＭＰ）が用いられている。これに加えて、ネットワークコントローラは、古典的なＩＰＦＩＸパケットまたはフローサンプリング手法を用いる監視システムを活用して、エレファントフローとも呼ばれる最大フロー、上位Ｎ個のフロー、またはヘビーヒッター（ｈｅａｖｙ ｈｉｔｔｅｒ）のリストを把握する。最大フローのリストが集中型監視システムで確立されると、コントローラは、不均衡問題が起きた場合に、一部の最大フローに対して、具体的なルーティング判断を行うことを決定することができる。ヘビーヒッター（問題の発生源）の識別およびルーティング判断（補正措置）がコントローラで行われるので、この解決策は、短期的なトラフィックばらつきに反応するのが非常に遅い。利用率を意識した負荷分散における趣旨は、全てのフローにルーティングポリシーを用い、これらのルーティングポリシーを実際のフローサイズに合わせるということである。複数の手法を用いて、パケット損失および並べ換え問題が生じることなく、あるパスから別のパスにフローを移動させる。例えば、ＣＯＮＧＡが送出パスの輻輳を追跡し、ネットワーク内の輻輳を最小限に抑えるアップリンクポートを選択する。決定がフローレットレベル（デバイスごとに最大６４Ｋ）で行われ、所定のフローに含まれるパケットの配列に十分な長さのギャップがあるときにはいつでも、フローを複数のフローレットに分割する。ＬｏｃａｌＦｌｏｗがフローのレートを追跡し、ビンパッキング問題を周期的に解決して、フローを分割する。両方の方法でフローごとに個別の決定を行うので、多くの転送ルールをデバイスで管理する必要がある。
【0066】
本発明の実施形態が、一元的に計算されたデフォルトのルーティングポリシーと不均衡問題が起きた場合の局部的なリアルタイムの適応とを利用することにより、２つのアプローチの間に正しいトレードオフを提供することができる。
【0067】
【0068】
図４Ａおよび図４Ｂは、ネットワークデバイス１００を示している。ネットワークデバイス１００は、１つまたは複数の転送ルールをストレージ１０１に格納する。具体的には、ネットワークデバイスは、ネットワークスイッチでも、ルータでも、ゲートウェイでもよい。１つまたは複数の転送ルールに従って、流入データが様々な出力ポート１２０－１～１２０－Ｎに転送される。流入データ１５１は、フローに関連するパケットでよく、これらのフローはフロー集合体に束ねられてよい。
【0069】
これらのフローは、配分ユニット１３０によって複数の出力ポートに配分されてよく、同じマイクロフローに関連するデータ（パケット）が同じ出力ポートに転送される。同じ集約フローに関連するデータが、同じ出力ポートに転送されても、異なる出力ポートに配分されてもよい。各出力ポートに転送されるフローまたはフロー集合体の数は、転送ルールにより規定されてよい。２つのポート１２０－１および１２０－Ｎへのフロー配分が、図４Ａに例示的に示されている。ここで、負荷１５２は負荷１５３より大きい。ネットワークデバイス１００はさらに、各出力ポートの負荷（負荷１５２および１５３を含む）を負荷監視ユニット１４０によって測定するように構成されてよい。一実施形態において、これは、対応する１つまたは複数の出力ポート１２０－１～１２０－Ｎの帯域幅利用率を測定することにより達成されてよい。
【0070】
この例では、出力ポート１２０－Ｎの測定負荷が当該出力ポートの所望の負荷と一致しない場合、新たなルールがネットワークデバイスによって確立されてよい。図４Ａに示すように、フロー１５２はフロー１５３より大きい。したがって、負荷監視ユニット１４０は、この不一致を検出し、負荷分散を改善する新たな転送ルールを決定する。負荷分散の結果が、図４Ｂに概略的に示されている。入力データ１５１は、よりバランスのとれた２つの新たなフロー１５２ｎおよび１５３ｎに分割される。この例では、目標とするバランスのとり方は入力データ１５１のポート１２０－１および１２０－Ｎへの等価配分であったことが注目される。しかしながら、一般に、所望の負荷分散比率は一様な配分に限定されることはなく、分割比率はフローごとに且つ／またはポートごとに設定されてよい。
【0071】
新たなルールは、ストレージ１０１に格納されてよい。新たなルールに従って、ポート１２０－Ｎに事前に転送されたフローのうちの１つまたは複数が、今では、別の出力ポート、ここでは１２０－１、または場合によってはポート１２０－１～１２０－Ｎの他のポートにも再配分される。これにより、出力ポートの負荷の配分が、対応する目標負荷により近くなることがある。目標負荷は、全ての出力ポートに対して同じでもよく、出力ポートごとに個別に異なるように規定されてもよい。
【0072】
言い換えれば、複数の出力ポート１２０－１～１２０－Ｎを用いてトラフィックを転送するネットワークデバイス１００は一般的に、集約フロー１５１の複数のフローのパケットを所定のフロー配分に従って複数の出力ポート１２０－１～１２０－Ｎに転送するための第１ルールを含む転送ルールを格納するストレージシステム１０１を備える。ネットワークデバイスはさらに回路（フロー配分回路１３０および負荷監視回路１４０を含む）を備え、この回路は、第１出力ポート１２０－Ｎの負荷（例えば、帯域幅利用率に関して測定され得る）が第１出力ポートの目標負荷と一致しない場合に、複数のフローのうちの少なくとも１つを集約フローから除外し、第１出力ポートの負荷と目標負荷との一致を改善するために集約フローの複数のフローのうちの少なくとも１つを第２出力ポートと関連付ける第２ルールを確立することにより、格納された上記転送ルールを修正し、格納された転送ルールに従ってルーティングを行うように構成される。
【0073】
本開示による一実装例では、測定負荷と目標負荷との間に著しい不均衡がある場合、スイッチ１００に含まれる「バケット監視」モジュール（負荷監視）１４０は、プローブを設置して送出トラフィックをより詳細に解析すると決定することができる。ヘビーヒッターまたはエレファントフローとも呼ばれる最も問題のあるフローを識別するために、転送ネットワークデバイスは、パケットサンプリングもしくはフローサンプリングなどの手法、またはスケッチなどの高度な手法を用いることができる。不均衡の影響の大きさは、例えば、所望の負荷と現在の負荷との偏差または差異などの不均衡度合いで決定されてよい。
【0074】
可能性のあるエレファントフローが識別されると、スイッチは、不均衡問題を解決するために、エレファントフローのルーティングを局部的に調整しようとする（ハッシュベースの分割の場合には、バケット設定が変更されてよい）。これは、図５Ａおよび図５Ｂに示すように、測定負荷が目標負荷より著しく大きい出力ポート（例えば、５２０－Ｎ）と関連付けられる最大負荷のフロー（例えば、５５０－Ｍ）を別の出力ポートに関連付けることにより行われてよい。
【0075】
図５Ａおよび図５Ｂは、具体的には、入力集約フローをネットワークデバイスにより複数の出力ポート５２０－１～５２０－Ｎに配分される複数のフローまたは複数のフロー集合体５５０－１～５５０－Ｍを含むものとして示している点で、それぞれ図４Ａおよび図４Ｂと異なる。図５Ａは、２つの最大流入フロー（５５０－１および５５０－２）が同じ出力ポート５２０－Ｎに転送される一例を示している。この例では、入力フローが最小フロー５５０－Ｍから最大フロー５５０－１まで、上から下に順番に並べられている。この図には全フローが示されているわけではなく、それぞれの流入フローを任意の出力ポートに転送できることが注目される。もっと多くのフローをポート５２０－Ｎおよび５２０－１に転送できることがさらに注目される。この例では、少なくとも２つの大きいフローがポート５２０－Ｎに転送されることが示されている。この例では、目標負荷はポートごとに同じでよく、または制限しないが、ポート５２０－Ｎの目標負荷は、大きいフロー５５０－１および５５０－２により引き起こされる実際の負荷よりはるかに小さいかもしれない。一方、ポート５２０－１では、実際の負荷は目標負荷より小さいかもしれない。ネットワークデバイスは、出力ポート（この例では、ポート５２０－Ｎ）の実際の負荷と目標負荷との不一致を検出した場合、対応するポートの負荷を解析し、最大フローを識別する。一般に、ネットワークデバイスは、最大フローだけでなく、最大フローのセットも識別できる。この例では、ネットワークデバイスは、５５０－１を負荷が最も大きいフローとみなし、フロー５５０－１を異なるポート（この例では５２０－１）に転送させるルールをストレージ５３０に追加する。図５に示すこの例では、出力ポート５２０－Ｎおよび５２０－１の負荷は新たに追加したルールによって吸収されることが注目される。しかしながら、これらの出力ポートの目標負荷は異なることがある。どちらの場合も、新たなルールは、出力ポートの実際の負荷が目標負荷に吸収されるように選択される。
【0076】
言い換えれば、本実装例によるネットワークデバイスでは、回路は、複数の出力ポート５２０－１～５２０－Ｎの負荷を観測し、第１出力ポート５２０－Ｎの負荷が第１ポート５２０－Ｎの目標負荷と一致しない場合には、フロー転送ルールに従って第１出力ポートに転送されたフローの中で負荷が最も大きいフロー５５０－１を識別し、識別された上記フロー５５０－１を第２出力ポート５２０－１に関連付けるように構成される。
【0077】
本開示による別の実装例において、最も問題のあるフローの識別では、フローのサイズを予想するのに予測モデルを用いてよい。それに応じて、ネットワークデバイスは、フローの今後のサイズを予測し、今後の予測負荷と目標負荷とを比較してよい。さらに、ネットワークデバイスは、現在または今後の負荷が別の出力ポートの目標負荷から著しく逸脱している場合、フローを出力ポートの今後の最大負荷と関連付けてよい。
【0078】
予測は、任意の方式で行われてよい。例えば、過去に（１つまたは複数のタイムインスタンスにわたって）測定された負荷の外挿が適用されてよい。しかしながら、いくつかの実装例において、予測は、隣接するルータ／スイッチ（ネットワークノード）または一般的にネットワーク内の任意のルータ／スイッチで、現在および／または事前に測定された負荷を用いて行われてもよい。
【0079】
言い換えれば、本実装例によるネットワークデバイスは、複数の出力ポートの今後の負荷を予測し、第１出力ポートの今後の負荷が第１ポートの目標負荷と一致しない場合には、フロー転送ルールに従って第１出力ポートに転送されるフローの中で今後の負荷が最も大きいフローを識別し、識別された上記フローを第２出力ポートに関連付けるように構成されてよい。
【0080】
しかしながら、本開示は、１つのフローの転送を変更することに限定されない。いくつかの大きいフローが同じ出力ポートに転送され、他のポートの負荷が目標負荷より小さい場合、いくつかの大きいフローを再配分することが必要かもしれない。こうしたフローは、他の１つの出力ポートまたは他のいくつかの出力ポートと関連付けられてよい。
【0081】
図７は、１つの出力ポート７５０に負荷または予測負荷７０１で最初に転送される一連のフロー７１０の一例を示している。この例では、目標負荷７０２が実際の負荷７０１より著しく小さい。本開示による一実装例では、負荷７０１が目標負荷７０２（以下では目標スループットとも呼ばれる）より著しく大きい出力ポート７５０において最大負荷のフロー７２０のセットが識別されてよい。最大フローを有する本セットのフローは以下のやり方で選択されてよい。すなわち、送出パスｐ（ここでは７５０）の実際のスループット（この例では７０１）である
および予想される目標スループット（ここでは７０２）である
を把握し、偏差である
が最高となるパスが決定される。このパスにおいて
である場合、上位Ｎ個のフロー（ここでは７２０）であるＦ１＞…＞ＦＮから問題のあるフローのサブセットを求め、
となるようなｉを求める。
【数1】
【数2】
【数3】
【数4】
【数5】
【0082】
言い換えれば、ｉ個の最大フローは、最大（問題のある）フローのサブセット７２０として選択される。ここで、ｉは、（問題のあるｉ個のフローのセットに追加されなかったフローのセット７３０からの）残りの最大フローが問題のあるｉ個のフローのサブセットに追加されていたならば、対応する出力ポートの負荷が目標負荷より小さくなるように選択される。次に、問題のあるｉ個のフローのサブセットは、他の出力ポートに配分されてよい。
【0083】
問題のあるフローのサブセットの複数のフローのそれぞれが異なる出力ポートに転送されてもよく、問題のあるフローのセットの全フローが同じ出力ポートに送出されてもよい。
【0084】
言い換えれば、ネットワークデバイスは、第１出力ポートの測定負荷または予測負荷が第１ポートの目標負荷と一致しない場合には、第１出力ポートに転送された最大フローのセットを識別することであって、本セットに含まれるフローの数は、本セットのフローにもう１つのフローが追加されたならば、本セットのフローの複数のフローの合計データレートが、測定負荷または予測負荷と目標負荷との差異より大きくなるように選択される、識別することと、識別された上記フローを第１出力ポート以外の１つまたは複数の出力ポートに割り当てることとを行うように構成されてよい。
【0085】
別の実装例において、複数のフローは、問題のある最大フローを超えるものを含む一連のフローのサイズを解析し、且つ、例えば、ビンパッキング問題をもっと多くのフローで解決することにより、全ての出力ポートの負荷または予測される今後の負荷の偏差を最小限に抑えるように再配分されてよい。しかしながら、この手法には、より大きな計算能力が必要になり得る。
【0086】
本開示による一実装例において、転送ルールは転送テーブル８０１に格納される。そのようなテーブルの一例が、図８に示されている。本実装例によれば、ルール（例えば、８２２）によって、フローを出力ポートと直接的に関連付けることができる、あるいは１つまたは複数のフローもしくはフロー集合体用のグループテーブルを規定することができる（例えば、８２１）。このグループテーブルは、対応するフローおよび／またはフロー集合体もしくはサブ集合体用の転送を規定する。どのパケットをどの出力ポート（したがって、どのフロー）に転送すべきかの決定は、パケットヘッダの重要なフィールドに適用されるハッシュ関数の結果に基づいてよい。他の実施形態において、この決定は、同じフローに属するパケットを同じ出力ポートに関連付ける任意のルールに基づいてよい。
【0087】
転送テーブルは、上述したタイプのうちの一方に関する１つまたは複数のルール、あるいは両方のタイプのルールを含んでよい。図８に示す例において、グループテーブルは、示される全ての出力ポートを指し示している。しかしながら、本開示によるグループテーブルは、利用できる出力ポートの任意のサブセットへの転送も規定されてよい。
【0088】
例示的なパケットヘッダが、図９に示されている。ここに挙げる重要なフィールドには、例えば、送信元ＩＰ（９１１）、宛先ＩＰ（９１２）、プロトコル９１３、送信元ポート９１４、および／または宛先ポート９１５のうちのいずれかまたは全てが含まれてよい。しかしながら、転送は、異なるパケットヘッダ（したがって、異なるフィールド）を用いる任意の他の種類のプロトコルに適用されてよい。
【0089】
上述した実装例によるネットワークデバイスにおいて、第１ルールおよび第２ルールが転送テーブル８０１に格納される。転送テーブル８０１は、入力フローをグループテーブルにリダイレクトするルール、または入力フローを出力ポートと関連付けるルール８２２のいずれかである転送ルールを格納し、それぞれのハッシュベースのルールは、転送テーブルに含まれる転送ルール８２１のエントリにより指し示されるグループテーブルにより規定される。
【0090】
１つの実施形態において、グループテーブルは、どのポートにパケットを転送すべきかを、ハッシュ関数の結果に基づいて規定されてよい。このハッシュ関数は、パケットヘッダの所定の部分からハッシュを計算してよい。所定の部分は、パケットヘッダの任意の部分でも、パケットヘッダ全体でもよい。
【0091】
別の実施形態において、グループテーブルは、どのポートにパケットを転送すべきかを加重コストマルチパス（ＷＣＭＰ）によって規定してよい。ＷＣＭＰを実装するには、ハッシュ計算を利用してもよいが、その必要はない。一般に、グループテーブルは、どのパケットをどの出力ポートに転送すべきかを、パケットヘッダの所定の部分に応じて規定してよい。
【0092】
一実施形態によれば、転送ルールは三値連想メモリに格納される。言い換えれば、本実施形態による一実装例において、転送テーブルおよびグループテーブルは、格納された転送ルールによる転送の迅速な実行を可能にし得る三値連想メモリ（ＴＣＡＭ）に格納される。
【0093】
本開示によるネットワークデバイスは、ＴＣＡＭを用いる効率を改善することができる。グループテーブルは、複数の出力ポートにわたってフローを疑似統計的に配分するルールが十分である場合に用いることができ、問題のあるフローを、例えば、その負荷が全フローの平均負荷から著しく逸脱している場合に、識別して個別に転送することができる。
【0094】
例えばこれは、出力ポートの目標負荷の比率に従って、各出力ポートにフローの数を疑似統計的に割り当てることにより、複数のフローが複数の出力ポートに配分される場合に重要になり得る。全フローが同じサイズだった場合、または各出力ポートに割り当てられるフローの数がフローのサイズの統計変動を抑制するのに十分大きかった場合、各出力ポートの実際の負荷は目標フローと一致するであろう。しかしながら、現実には、いくつかのフローの負荷は平均フロー負荷より著しく大きい。
【0095】
そのような場合、本開示によるネットワークデバイスでは、問題のあるフローを抽出し、こうしたフローを別々に転送することができる。そうすることで、本ネットワークデバイスは輻輳を解決することができ、別のネットワークエンティティからの命令を待つ必要はなく、またフローごとに個々のルールを確立する必要はない。
【0096】
本開示による一実装例では、新たなルールを局部的に確立する場合、転送ネットワークデバイスは個々のルールを転送テーブルに追加する。この個々のルールでは、どの出力ポートに対応するフローを転送すべきかを直接的に指定する。言い換えれば、第２出力ポートへのフローの割り当てにおいて、第２転送ルールは転送テーブルに追加される。一方、転送ネットワークデバイスは、グループテーブルも追加または変更することがある。
【0097】
本開示による一実装例において、ネットワークデバイスは、ネットワークコントローラへのインタフェース１５０を備える。ネットワークコントローラは、ネットワークに関する情報を収集し且つネットワークトラフィックを転送する全てのネットワークデバイスまたはその一部と通信することができるＳＤＮコントローラまたはＰＣＥのような中央コントローラでよい。
【0098】
インタフェース１５０を介して、ネットワークデバイスは、例えば、ネットワークコントローラから転送ルールを受信することができる。これらは、単一フロー用の個々のルール（フローを出力ポートと直接的に関連付けるルール）でも、グループテーブルに基づくルールでも、その両方でもよい。さらに、ネットワークデバイスは、出力ポート間の流入フローに対する目標分割比率、または対応する目標負荷を受信することができる。さらに、ネットワークデバイスは、各出力ポートの目標負荷を目標分割比率から計算することも、またはその逆でも計算することが可能である。
【0099】
例えば、中央コントローラは、大きい負荷のフローを認識している場合、輻輳を避けるために、こうした大きいフローに対する個々の転送ルールを転送ネットワークデバイスに設定することができる。さらに、中央コントローラは、目標分割比率を含む初期セットのルールを提供し、ネットワークを修正する場合にはそのルールを更新することができる。転送ネットワークデバイスは、目標分割比率からの著しい偏差がある場合、転送ルール（例えば、フローに対する個々の出力ポートを規定するルール）を局部的に修正することがある。
【0100】
言い換えれば、上述した実装例によるネットワーキングデバイスは、コントローラ（例えば、ＳＤＮコントローラまたはＰＣＥ）へのインタフェース１５０を備え、その回路は、上記インタフェースを介して、目標分割比率を受信し、複数の出力ポートに対して、それぞれの目標負荷および／または上記転送ルールを指定するように構成される。
【0101】
インタフェースは、例えば、フローのサイズまたはフローの今後のサイズに関する情報のようなさらなる情報を交換するのにも用いられてよく、こうした情報は、ネットワークデバイスが新たな最適転送ルールを局部的に求めるのに、または中央コントローラが他のネットワークデバイスに転送するのに用いられてよい。
【0102】
一実施形態によれば、ネットワークデバイスはインタフェース１５０を介してコントローラに要求を送出してよい。これが有益になり得るのは、例えば、独自の転送テーブルにルールを追加しても、またはその転送テーブルに含まれるルールを変更しても、ネットワークデバイスが出力ポートの目標負荷からの著しい偏差を解決できない場合である。具体的には、偏差を局部的に解決できない場合、ネットワークデバイスはコントローラに負荷分散の全面的な再設定を要求することができる。
【0103】
図６は、スイッチ（任意の転送ネットワークデバイスでよい）のアーキテクチャと、様々な構成要素が正確な負荷分散の問題を解決するためにどのようにやり取りするかを示している。負荷分散は、論理的に２つの部分に分割され得る。一方はスイッチ内部で局部的に実施され、他方は、ネットワークの全面的な再最適化のために、スイッチと集中型コントローラとのやり取りを必要とする。
【0104】
最初に、ネットワークデバイスは中央コントローラからルールのセットを受信してよい。あるいは、ネットワークデバイスは、目標分割比率そのもの（例えば、全ての出力ポートに対して等しい重み）を選択してもよい。
【0105】
最初は、スイッチノード（転送ネットワークデバイス）が、集中型コントローラにより割り当てられた最初の目標レートから逸脱しているフロー集合体があるかどうかを検出するために、送出ポートのトラフィックを監視する。著しい不均衡がある場合、スイッチ内の「バケット監視」モジュールは、プローブを設置して送出トラフィックをより詳細に解析すると決定することができる。ヘビーヒッターとも呼ばれる最も問題のあるフローを識別するために、スイッチは、パケットサンプリングもしくはフローサンプリングなどの標準的な手法、または「ヘビーヒッター検出モジュール」内のスケッチなどの高度な手法を用いることができる。
【0106】
最も問題のあるフローの識別では、予測モデルを用いてフローのサイズを予想してよいことに留意されたい。可能性のあるエレファントフローが識別されると、スイッチは、不均衡問題を解決するために、こうしたフローのルーティング（例えば、ハッシュベースの分割の場合にはバケット設定）を局部的に調整しようとする。スイッチは、この問題を解決できない場合、コントローラに支援を要求することができる。コントローラが新たなルーティング設定を決定すると、スイッチはコントローラから新たな目標分割比率（または新たな転送ルール）を受信し、負荷分散を局部的に更新する。
【0107】
他の既存の集中化手法と比較すると、提案した考えは、トラフィック変動に対する迅速な反応を可能にし、変動するトラフィック状態に適応するのに必要な時間を著しく短縮することができる。
【0108】
配分手法と比較すると、提案した考えは、局部的に対処しただけでは解決できない可能性がある著しいトラフィック不均衡を補償するために、集中型コントローラの支援を活用することができる。
【0109】
提供される主な利点は、ほとんどの場合において調整を局部的に行うことができるのと同時に、メモリ使用量（三値連想メモリ（ＴＣＡＭ）を用いてよい）を非常に低く抑えることができる、つまり、問題のあるフローに用いるのはいくつかの特定のルールであるということである。
【0110】
言い換えれば、上述した実施形態による転送ネットワークデバイスは、上記インタフェースを介して要求をコントローラに送信し、ネットワークデバイスに１つまたは複数の新たな転送ルールまたは更新された転送ルールを提供するようコントローラに要求するように構成される。
【0111】
本開示による一実装例において、集中型コントローラによるサポートを要求するためにネットワークデバイスによりトリガされる支援メッセージは、２つの部分で構成されてよい。すなわち、現在の不均衡およびリソース状況に関してコントローラに通知する第１の必須部分と、スイッチからコントローラへの要求を引き起こした問題に関するもっと多くの情報を含む第２の任意選択部分である。必須部分は、不均衡問題の通知およびスイッチにおける現在のＴＣＡＭ利用率を含んでよい。
【0112】
任意選択部分は、各出力ポートの目標負荷からの偏差、各ポートの目標からの偏差（これは、いくつかの実施形態において、各トンネル（ＭＰＬＳトンネルでよい）の目標負荷に対応してよい）、および問題のあるヘビーヒッターのリスト（フローレベルの情報）のうちのいずれかを含んでよい。
【0113】
この情報は、中央ネットワークコントローラがネットワーク設定のより優れた解決策を求めるのに有益になり得る。例えば、ネットワークデバイスのＴＣＡＭ利用率を把握することは、対応するネットワークデバイスへの過剰な個々のルールの追加を避けるのに用いられてよい。
【0114】
一実施形態において、転送ルールの修正は、出力ポートの目標負荷からの測定負荷または予測負荷の偏差を最小限に抑えるように選択される。
【0115】
集中型アルゴリズムによる新たな分割配分の計算に関する一例が、図１１に示されている。
【0116】
第１段階（１１０１）では、リンク容量が係数αで縮小される。これにより、１００％のリンク利用率が防止され、ラウンディング（ｒｏｕｎｄｉｎｇ）の余地が確保される。様々な値のαが、並行してテストされてよい。
【0117】
第２段階（１１０２）では、緩和多品種フローが緩和される（すなわち、列生成法を用いる）。バケットの制約条件が取り除かれ、整数変数が緩和され、ＬＰ（線形計画法）が解かれる。
【0118】
第３段階（１１０３）では、相応の適正な量のバケットバジェットが、各送信元ノードにおいて（サイズに従って）各要求に割り当てられる。
【0119】
第４段階（１１０４）では、分数解をランダムに切り上げて、誤差を最小限に抑える実現可能なバケット設定を求める。
【0120】
第５段階（１１０５）では、なおも要求が割り当てられ得る場合、上記段階が繰り返される。
【0121】
言い換えれば、上述した実装例によるネットワークデバイスにおいて、要求には、第１出力ポートの測定負荷または予測負荷が第１ポートの目標負荷と一致しないという通知、ＴＣＡＭ利用率および／または局部的に追加されたルールの数に関する情報、各ポートの目標負荷からの偏差に関する情報、およびネットワークデバイスが第１ポート以外の別のポートと関連付けたフローのリストのうちの少なくとも１つが含まれる。
【0122】
本開示による一実装例において、転送ルールの修正は、出力ポートの目標負荷からの測定負荷または予測負荷の偏差を最小限に抑えるように選択される。これが意味し得ることは、転送ネットワークデバイスは、目標負荷からの負荷の偏差を最小限に抑えるようにフローを再配分するということである。１つの実施形態において、負荷偏差は、最大フローの再配分のみの範囲内で最小限に抑えられる。しかしながら、他の実施形態では、もっと多くのフローが再配分されてよい。さらに、中央コントローラは、局部的に解決できない負荷偏差を最小限に抑えるように、１つまたは複数のネットワークデバイスの転送ルールを変更する。中央コントローラは、負荷偏差が発生するネットワークデバイスとは異なるネットワークデバイスの転送ルールも修正してよいことに留意されたい。
【0123】
本開示による一実施形態では、目標負荷からの測定負荷または予測負荷の著しい偏差を解決するために転送テーブルを修正する場合、ネットワークデバイスは、最も高い負荷を有するとみなされた１つまたは複数のフローを除去した後に、サイズ可変ビンパッキング問題（ＶＳＢＰＰ）アルゴリズムを用いる。
【0124】
具体的には、各送出ポートにどの程度の容量が残っているかをネットワークデバイスが把握している場合（問題のあるフローがほとんど取り除かれていると）、ＶＳＢＰＰを解いて、予想される目標スループット
に対する偏差を最小限に抑えることができる。この問題はＮＰ困難であるが、いくつかの近似アルゴリズムが利用できる。言い換えれば、本実施形態によるネットワークデバイスでは、出力ポートの測定負荷または予測負荷と目標負荷との一致を改善するために、サイズ可変ビンパッキング問題（ＶＳＢＰＰ）アルゴリズムが、最も高い負荷を有するとみなされたフローを除去した後に用いられる。
【数6】
【0125】
ビンパッキングアルゴリズムは、最も高い負荷を有するとみなされた本セットのフローに対する最適解を求めようとすることができる。あるいは、このアルゴリズムは、ビンパッキング問題の変数としてもっと多くのフローを含んでよい。これにより、目標負荷からの負荷の偏差がより小さくなり得るが、より大きな計算能力も必要になり得る。
【0126】
本開示による一実施形態において、ネットワークデバイスは、ネットワーク制御ノードから受信した転送ルールから、ポートごとに所望の目標負荷を決定することができる。転送ルールによって複数のフローが出力ポートに、場合によっては別々の重みを用いて、疑似統計的に配分される場合、こうした重みは、それぞれの出力ポートの目標負荷を決定するのに用いられてよい。言い換えれば、例えば、転送ルールがネットワークコントローラによってネットワークデバイスに提供された場合、ネットワークデバイスは、さらに目標負荷を受信する必要もなく、出力ポートの目標負荷を計算することができる。反対に、ネットワークデバイスは、その出力ポートの目標負荷を受信するだけで、目標負荷から転送ルールを決定することがある。
【0127】
本開示による一実装例では、複数のフローがサブ集約フローに集約されてよく、これらのフローおよびサブ集約フローはさらに、フローおよび／またはサブ集約フローを含み得る集約フローに集約されてよい。新たなルールが転送ネットワークデバイスのルールのセットに追加されると（これらのルールはネットワークデバイス自体によって、または中央コントローラによって変更されてよい）、集約フロー並びにサブ集約フローおよびフローの転送を変更することができる。集約フローは（フローのサブ集約フローに）分割され、いくつかの送出パスに配分されてよいことがさらに注目される。同様に、フローおよびサブ集約フローは併合されてよい。これは、初期の転送ルールおよび修正された転送ルールによって引き起こされてよい。ルールが変更されると、その結果として、フローおよび集約フローの分割および併合は変更されてよい。
【0128】
言い換えれば、上述した実装例によるネットワークデバイスは、集約フローの複数のサブ集約フローのパケットを転送するためのルールを含む転送ルールを格納し、第１出力ポートの測定負荷または予測負荷が第１ポートの目標負荷と一致しない場合には、サブ集約フローのうちの少なくとも１つを集約フローから除外し、第１出力ポートの目標負荷と負荷との一致を改善するために集約フローの複数のサブ集約フローのうちの少なくとも１つ（例えば、ハッシュルール（または一般的に第１ルール）に従って第１ポートに割り当てられたフロー）を第２出力ポートと関連付ける第２ルールを確立することにより、格納された上記転送ルールを修正する。
【0129】
一実施形態による一実装例において、ネットワークデバイスは、ヘッダエントリの送信元ＩＰ、宛先ＩＰ、プロトコル、送信元ポート、宛先ポートのうちの少なくとも１つに関するハッシュの計算結果に応じてパケットを転送する、且つ／または入力フローを出力ポートと関連付ける転送ルールおよび／もしくは入力フローを出力ポートと関連付ける転送ルールは、上記ヘッダエントリのうちの少なくとも１つにより入力フローを識別する。
【0130】
これらのヘッダエントリは、ＴＣＰ／ＩＰヘッダまたはＵＤＰ／ＩＰヘッダのエントリでも、任意の他の種類のヘッダのエントリでもよい。
【0131】
集約フローは、ヘッダエントリのうちの１つまたは２つのみに応じて転送されてよく、サブ集約フローは、集約フローに用いられるよりも多くのヘッダエントリに応じて転送されてよく、フローはサブ集約フローに用いられるよりも多くのエントリに応じて転送されてよい。あらゆる種類の転送において、例えば、フローまたは集約フロー用の特定の転送ルールが規定された場合に、ネットワークデバイスが同じ仕組みをフローおよび集約フローに用いることができる。特定の転送ルールでは、フローまたは集約フローを特定の出力ポートに直接的に転送する。
【0132】
図１０は、本開示によるネットワークデバイスを用いることができる例示的なネットワークを示している。ホストＡおよびホストＢは、ローカルエリアネットワークの一部である。この例において、ホストＡおよびホストＢを含むローカルエリアネットワークは、ルータＡを含むエンタープライズサイトＡの一部でもある。エンタープライズサイトＡは、ワイドエリアネットワークを介して、ここでもローカルエリアネットワークを含むエンタープライズサイトＢの一部であるルータＢと接続される。この例では、ＭＰＬＳトンネルが、フローをサイトＡからサイトＢに移動させるのに用いられる（このフローは集約フローとも呼ばれることがある）。サイトＡからサイトＢへのフローまたは集約フローは、任意の数のサブフローで構成されてよい。この例ではワイドエリアネットワークの一部であるネットワークデバイスが、本開示で説明した負荷分散を行うことができる。
【0133】
図１２は、本開示による、負荷配分を最適化する方法の一例を示している。本開示による、複数の出力ポートを有するネットワークデバイスにおいてトラフィックを転送する方法の一実装例では、集約フローの複数のフローのパケットを所定のフロー配分に従って複数の出力ポートに転送するための第１ルールを含む転送ルールが格納され、第１出力ポートの負荷が第１ポートの目標負荷と一致しない場合には、集約フローから複数のフローのうちの少なくとも１つが除外され、格納された上記転送ルールは、第１出力ポートの目標負荷と負荷との一致を改善するために集約フローの複数のフローのうちの少なくとも１つを第２出力ポートと関連付ける第２ルールを確立することにより修正され、格納された転送ルールに従ってルーティングが行われる。
【0134】
具体的には、第１出力ポートの負荷が第１ポートの目標負荷と一致しないかどうかを検出するために、送出ポート利用率が監視されてよい（図１２のＳ１）。これは、各送出パスｐの実際のスループット
を測定し、それを（コントローラにより決定される）予想スループット
と比較することにより行われてよい。どの新たなルールを確立すべきかを決定するために、トラフィックは問題のある送出ポートの内部で解析されてよい（図１２のＳ２を参照）。
である場合、プローブを関連ポートに設置して、ヘビーヒッターを識別してよい。パケットサンプリングもしくはフローサンプリングのような標準的な手法、またはスケッチのような高度な手法が用いられてよい。図１２のＳ３に示すように、問題のあるヘビーヒッター（大きいフロー）を識別するために、上位Ｎ個のフローまたは最大フローを解析して、どのフローを別個に負荷分散する必要があるかを識別する。さらに、トラフィック予測が、複数のフローの予想される今後のサイズに基づいて複数のフローを選択するのに用いられてよい。より一般的には、問題のあるフローのサブセットが識別される。Ｓ４は、問題のあるフロー用の転送の調整を示している。問題のあるフローのネクストホップが局部的に計算されてよく、ビンパッキングアルゴリズムがこの計算に用いられてよい。必要であれば、コントローラに支援を要求してもよい（図１２のＳ５）。具体的には、不均衡問題を局部的に解決できない場合、ネットワークを全面的に設定すること（全面的な調整のトリガ）をコントローラに要求してよい。一般に、本方法は、第１段階Ｓ１に戻り、各段階を繰り返すことを含んでよい。
【数7】
【数8】
【数9】
【0135】
本開示によるデバイスおよび方法は、実際のトラフィック状態に負荷分散を適応させることによる、不均衡問題の解決策を提案する。この解決策の主な特性とは、適応が、１）局部的に優先され、必要な場合にはコントローラまで行われることと、２）限られた追加ルールのセットが転送テーブルに用いられるように、問題のあるフロー（不均衡問題の原因となっているフロー）を重視するということであってよい。
【0136】
本開示では、正確な負荷分散を目的とした方法および装置が提供される。この負荷分散では、配分が最初の計画目標から逸脱したエレファントフローなどの、不均衡問題の原因を局部的に識別し、フローの分割を調整することにより問題のあるフローの転送を局部的に調整し、転送ルールの再割り当てを行い、目標配分を満たすことができない場合には集中型コントローラの支援を要求してよい。
【0137】
言い換えれば、本開示は、スイッチ（転送ネットワークデバイス）が送出ポートのトラフィックを常に観測して偏差問題を検出するという点で、不均衡問題の原因を局部的に識別する方法を提供する。偏差に関する場合では、スイッチは、各ポートに対してトラフィック解析を行い、問題のあるフロー（通常、上位Ｎ個またはヘビーヒッターと呼ばれる最大のフロー）を識別することができる。次いでスイッチは、問題のあるフローの転送を局部的に調整する。そうするために、スイッチは、問題のあるフローを抽出し、それらのフローを別々に転送することができる。次いで、小さいビンパッキング問題が局部的に解決されてよい。偏差を局部的に解決できない場合、スイッチは負荷分散の全面的な（ネットワーク規模になり得る）再設定をコントローラに要求することができる。
【0138】
まとめると、本開示は、トラフィック転送ネットワークデバイス向けのデバイスおよび方法に関し、実際のトラフィック状態に負荷分散を適応させることによる、不均衡問題の解決策を提案する。ネットワークデバイスは、問題のあるフローのトラフィックを再調整することにより、局部的に不均衡問題を解決しようとし、この問題を局部的に解決できない場合には、不均衡問題を解決するために、ネットワークの再設定を中央ネットワークコントローラに通知する。
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図5A】
【図5B】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
