特許 7593501 通信システム、通信方法及び通信プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-25

(45)【発行日】2024-12-03

(54)【発明の名称】通信システム、通信方法及び通信プログラム

(51)【国際特許分類】

   H04L 41/0853 20220101AFI20241126BHJP

【ＦＩ】

H04L41/0853

【請求項の数】 7

(21)【出願番号】P 2023543554

(86)(22)【出願日】2021-08-25

(86)【国際出願番号】 JP2021031175

(87)【国際公開番号】W WO2023026402

(87)【国際公開日】2023-03-02

【審査請求日】2023-12-14

(73)【特許権者】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】杉園 幸司

(72)【発明者】

【氏名】河野 伸也

(72)【発明者】

【氏名】加納 浩輝

(72)【発明者】

【氏名】宮本 克真

【審査官】浜岸 広明

(56)【参考文献】

【文献】米国特許出願公開第２０１９／０２７４０７０（ＵＳ，Ａ１）

【文献】特開２０１０－２３３１２６（ＪＰ，Ａ）

【文献】国際公開第２０２０／１１２４４８（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｌ ４１／０８５３

(57)【特許請求の範囲】

【請求項1】

複数のネットワークを統合し、単一のアドレス体系に従いパケット転送を行うネットワークであって、かつ、その一部に当該ネットワークとは異なるアドレス体系のアンダーレイネットワーク上に設定されたオーバレイパスから成るオーバレイネットワークを組み込むネットワークを有する通信システムであって、
前記アンダーレイネットワークのパケット転送装置は、前記アンダーレイネットワークと他のネットワークとの境界に位置する同一の境界パケット転送装置へ向かう出力経路として複数の経路が登録されている場合には、前記オーバレイパスを通過するパケットが有する転送用情報を基に該パケットの出力経路を決定するとともに、自装置の識別子を、検索対象となる検索用パスを経由する検索用パケットに記載し、
前記オーバレイネットワークの分散候補のオーバレイパスである分散候補パスのうち、前記検索対象となる検索用パスを選択し、選択した検索用パスを経由する前記検索用パケットを送信する選択部と、
戻ってきた前記検索用パケットに記載された識別子を基に、前記検索用パスのアンダーレイネットワークにおける装置及びリンクを検索する検索部と、
前記検索部による複数の検索用パケットに対する検索結果を基に、始点及び終点が同じオーバレイパスのうち、一部或いは全ての経路において、通過するパケット転送装置とリンクとが異なるオーバレイパス群を検知する検知部と、
を有することを特徴とする通信システム。

【請求項2】

前記検知部によって検知されたオーバレイパス群に対し、各オーバレイパスを通過するトラヒック流量を変化させた場合の前記アンダーレイネットワーク内のリンクのトラヒック流量を通過リンクごとに計算する計算部と、
オーバレイパス用に割り当て可能なリンク帯域を、前記リンクを通過するバックグラウンドトラヒック量を基に計算し、計算結果に合致するようオーバレイパスに通過させるネットワーク内フローを割り当てる割り当て部と、
をさらに有することを特徴とする請求項１に記載の通信システム。

【請求項3】

前記オーバレイパスは、VXLAN（Virtual eXtensible Local Area Network）であり、
前記通過するパケット転送装置とリンクとが異なるオーバレイパス群を検知するときの検知対象のパスは、前記オーバレイパスのヘッダのうち、UDPヘッダのUDP source port IDを変更した場合に生じるパスとなることを特徴とする請求項１または２に記載の通信システム。

【請求項4】

前記オーバレイパスは、MPLS（Multi－Protocol Label Switching）であり、
前記通過するパケット転送装置とリンクとが異なるオーバレイパス群を検知するときの検知対象のパスは、前記オーバレイパスのヘッダのうち、MPLSヘッダのラベルうちラベルの値を変更した場合に生じるパスとなることを特徴とする請求項１または２に記載の通信システム。

【請求項5】

前記オーバレイパスは、GRE（Generic Routing Encapsulation）であり、
前記通過するパケット転送装置とリンクとが異なるオーバレイパス群を検知するときの検知対象のパスは、前記オーバレイパスのヘッダのうち、GREヘッダのKeyフィールドベルのパス識別子を変更した場合に生じるパスとなることを特徴とする請求項１または２に記載の通信システム。

【請求項6】

複数のネットワークを統合し、単一のアドレス体系に従いパケット転送を行うネットワークであって、かつ、その一部に当該ネットワークとは異なるアドレス体系のアンダーレイネットワーク上に設定されたオーバレイパスから成るオーバレイネットワークを組み込むネットワークを有する通信システムにおいて実行される通信方法であって、
前記アンダーレイネットワークのパケット転送装置が、前記アンダーレイネットワークと他のネットワークとの境界に位置する同一の境界パケット転送装置へ向かう出力経路として複数の経路が登録されている場合には、前記オーバレイパスを通過するパケットが有する転送用情報を基に該パケットの出力経路を決定するとともに、自装置の識別子を、検索対象となる検索用パスを経由する検索用パケットに記載する工程と、
前記通信システムに配置される装置が、前記オーバレイネットワークの分散候補のオーバレイパスである分散候補パスのうち、前記検索対象となる検索用パスを選択し、選択した検索用パスを経由する前記検索用パケットを送信する工程と、
前記通信システムに配置される装置が、戻ってきた前記検索用パケットに記載された識別子を基に、前記検索用パスのアンダーレイネットワークにおける装置及びリンクを検索する工程と、
前記通信システムに配置される装置が、複数の前記検索用パケットに対する検索結果を基に、始点及び終点が同じオーバレイパスのうち、一部或いは全ての経路において、通過するパケット転送装置とリンクとが異なるオーバレイパス群を検知する工程と、
を含んだことを特徴とする通信方法。

【請求項7】

方法をコンピュータに実行させる通信プログラムであって、
複数のネットワークを統合し、単一のアドレス体系に従いパケット転送を行うネットワークであって、かつ、その一部に当該ネットワークとは異なるアドレス体系のアンダーレイネットワーク上に設定されたオーバレイパスから成るオーバレイネットワークを組み込むネットワークを有する通信システムにおける前記アンダーレイネットワークのパケット転送装置としてのコンピュータに、
前記アンダーレイネットワークと他のネットワークとの境界に位置する同一の境界パケット転送装置へ向かう出力経路として複数の経路が登録されている場合には、前記オーバレイパスを通過するパケットが有する転送用情報を基に該パケットの出力経路を決定するとともに、自装置の識別子を、検索対象となる検索用パスを経由する検索用パケットに記載するステップ
を実行させ、
前記通信システムに配置される装置としてのコンピュータに、
前記オーバレイネットワークの分散候補のオーバレイパスである分散候補パスのうち、前記検索対象となる検索用パスを選択し、選択した検索用パスを経由する前記検索用パケットを送信するステップと、
前記通信システムに配置される装置が、戻ってきた前記検索用パケットに記載された識別子を基に、前記検索用パスのアンダーレイネットワークにおける装置及びリンクを検索するステップと、
複数の前記検索用パケットに対する検索結果を基に、始点及び終点が同じオーバレイパスのうち、一部或いは全ての経路において、通過するパケット転送装置とリンクとが異なるオーバレイパス群を検知するステップと、
を実行させることを特徴とする通信プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、通信システム、通信方法及び通信プログラムに関する。

【背景技術】

【0002】

ISP（Internet Service Provider）のIP（Internet Protocol）ネットワークを介して複数の拠点にあるサブネットワークを１つのIPサブネットに統合する際、VPN（Virtual Private Network）を構築する必要がある。この拠点内サブネットを統合するための技術として、VXLAN（Virtual eXtensible Local Area Network）が注目を集めている。

【0003】

VXLANは、拠点とIPネットワークの接点にあたるゲートウェイとの間にTCP（Transmission Control Protocol）／IPのＬ４プロトコルであるUDP（User Datagram Protocol）のパスを設定し、サブネット間を通過するトラヒックをUDPでカプセル化することによって転送する技術である。

【0004】

あるサブネットから別のサブネットへ転送されるIPパケットは、発側サブネットのゲートウェイでUDPパケットへとカプセリングにより変換される。UDPパケットは、IPフォワーディングにより着側ゲートウェイへと転送される。パケットを受け取った着側ゲートウェイは、UDPヘッダを削除したのち、元のIPパケットに添付されたIPアドレスに従って宛先へと転送される。このようなUDPトラヒックを２拠点間で結ぶトンネルを、UDPトンネルと呼ぶ。

【0005】

ＩＳＰネットワークにおいてトラヒック輻輳が発生すると、パケットロスや転送遅延の増加を招く。そこで、トラヒック輻輳を回避する技術として、マルチパス転送技術が提案されている。

【0006】

マルチパス転送技術は、ネットワークにおいて特定の２つのルータ間を結ぶ経路が複数存在する場合に、優先度が同程度の経路間で同程度のトラヒックが流れるようにパケットの転送先を振り分ける技術である。

【0007】

パケット転送装置であるルータやスイッチは、トラヒックの転送経路を発見するルーチングプロトコルにより優先度が同程度の経路を発見すると、パケットの送信元アドレス、送信先アドレス及びポートなど、パケットヘッダにある情報を基に、振り分け先となる経路を選択する。この選択方法として、ヘッダ情報からハッシュ値を計算し、計算したハッシュ値を基に振り分け先を決める方法が主に使用される。

【先行技術文献】

【非特許文献】

【0008】

【文献】D. Dutt, “EVPN in the Data Center”, O’reilly media, pp.11-12

【発明の概要】

【発明が解決しようとする課題】

【0009】

VXLANにおけるUDPトンネルも同様の方法を用いてマルチパス転送を行うことが可能である。図１６は、VXLANにおけるUDPトンネルにおけるマルチパス転送を説明する図である。図１７は、転送パケットフォーマットを説明する図である。

【0010】

図１６及び図１７に示すように、２拠点間を結ぶUDPトンネルが複数の経路を有する場合、ルータは、それぞれの経路を決定するために、UDPパケットヘッダ、並びに、UDPを運ぶIPパケットヘッダの情報からハッシュ値を計算する。そして、ルータは、計算したハッシュ値を基に、経路上のルータやスイッチが振り分け先経路を決定する。例えば、ハッシュ関数として、ハッシュ関数＝UDP Src Port%2を用いる。%は、剰余を計算する。

【0011】

ルータは、計算したハッシュの数字が付与された出力ポート（例えば、output Port 0、output Port 1）にパケットを出力する。ハッシュ値を計算する情報として5-tupleを使用する場合、UDPヘッダのUDP source port IDを変えることにより、ハッシュ値が変わる。これは、トンネルの始点と終点となるゲートウェイのIPアドレスが、経路によらず同じで、かつ、UDP destination port IDは、終点ゲートウェイでUDPヘッダを外すためのサインであるプロトコル番号を示すためである。

【0012】

理想的な負荷分散状態は、２拠点間のトラヒック流量が最大であり、リンク間の帯域利用率が均等である状態である。図１８及び図１９は、負荷分散状態について説明する図である。他のトラヒックがあるとトラヒック流量が少なくなるため（図１８の（１））、理想的な負荷分散を実現するには、リンク共有が生じない経路を通るパス間でトラヒックを分散し（図１８の（２））、パスの共有リンクでパス間のトラヒック流量を調節することが望ましい。

【0013】

振り分け先となる複数経路が同一のリンクを共有しない場合、マルチパス転送技術による負荷分散を適切に実行できる。従来技術では、個々の経路について、tracerouteなどのツールを用いることで、経路が通過するルータを調査することが可能である。

【0014】

しかしながら、従来技術では、複数の経路に対し、複数の経路が通過する同一リンクを検知することや、複数の経路のうち、同一リンクを通過する経路の個数をカウントすることはできなかった。このため、従来技術では、複数の経路に対し、実際に負荷分散できているのか保証できなかった。

【0015】

具体的には、ルータが独自ポリシーで出力先を決めているため、経路の始まりではリンク共有がない状態であっても（図１９の（１））、経路の中途で、大容量トラヒックが流れるリンクを通過する場合（図１９の（２））や、同一のリンクを通過するリンク共有が生じる場合（図１９の（３））があった。特にオーバレイネットワークにおいては、オーバレイネットワークのパスで経路を振り分け、負荷分散を行ったとしても、或いは、複数のオーバレイネットワークでそれぞれのパスに対して経路を振り分けたとしても、アンダーレイネットワークでは、経路の中途で、大容量トラヒックが流れるリンクを通過する場合や、リンク共有が生じる場合があった。

【0016】

本発明は、上記に鑑みてなされたものであって、オーバレイネットワークの複数の分散候補パスのアンダーレイネットワークにおける経路を検知することができる通信システム、通信装置及び通信プログラムを提供することを目的とする。

【課題を解決するための手段】

【0017】

上述した課題を解決し、目的を達成するために、本発明に係る通信システムは、複数のネットワークを統合し、単一のアドレス体系に従いパケット転送を行うネットワークであって、かつ、その一部に当該ネットワークとは異なるアドレス体系のアンダーレイネットワーク上に設定されたオーバレイパスから成るオーバレイネットワークを組み込むネットワークを有する通信システムであって、アンダーレイネットワークのパケット転送装置は、アンダーレイネットワークと他のネットワークとの境界に位置する同一の境界パケット転送装置へ向かう出力経路として複数の経路が登録されている場合には、オーバレイパスを通過するパケットが有する転送用情報を基に該パケットの出力経路を決定するとともに、自装置の識別子を、検索対象となる検索用パスを経由する検索用パケットに記載し、オーバレイネットワークの分散候補のオーバレイパスである分散候補パスのうち、検索対象となる検索用パスを選択し、選択した検索用パスを経由する検索用パケットを送信する選択部と、戻ってきた検索用パケットに記載された識別子を基に、検索用パスのアンダーレイネットワークにおける装置及びリンクを検索する検索部と、検索部による複数の検索用パケットに対する検索結果を基に、始点及び終点が同じオーバレイパスのうち、一部或いは全ての経路において、通過するパケット転送装置とリンクとが異なるオーバレイパス群を検知する検知部と、を有することを特徴とする。

【発明の効果】

【0018】

本発明によれば、オーバレイネットワークの複数の分散候補パスのアンダーレイネットワークにおける経路を検知することができる。

【図面の簡単な説明】

【0019】

【図1】図１は、実施の形態に係る通信システムの構成の一例を模式的に示す図である。

【図2】図２は、転送パケットフォーマットを説明する図である。

【図3】図３は、図１に示すルータの構成の一例を模式的に示す図である。

【図4】図４は、検索用パスの選択を説明する図である。

【図5】図５は、VXLANフォーマットを説明する図である。

【図6】図６は、検索用パスの経路検索を説明する図である。

【図7】図７は、経路検知を説明する図である。

【図8】図８は、トラヒック流量の計算を説明する図である。

【図9】図９は、フローの割り当てを説明する図である。

【図10】図１０は、実施の形態に係る通信処理の処理手順を示すシーケンス図である。

【図11】図１１は、実施の形態に係る通信システムの構成の他の例を模式的に示す図である。

【図12】図１２は、実施の形態の変形例２を説明する図である。

【図13】図１３は、実施の形態の変形例２を説明する図である。

【図14】図１４は、実施の形態の変形例３を説明する図である。

【図15】図１５は、プログラムが実行されることにより、学習装置及び推定装置が実現されるコンピュータの一例を示す図である。

【図16】図１６は、VXLANにおけるUDPトンネルにおけるマルチパス転送を説明する図である。

【図17】図１７は、転送パケットフォーマットを説明する図である。

【図18】図１８は、負荷分散状態について説明する図である。

【図19】図１９は、負荷分散状態について説明する図である。

【発明を実施するための形態】

【0020】

以下、図面を参照して、本発明の一実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。

【0021】

［実施の形態］
本実施の形態では、アンダーレイネットワークとその他のネットワークの境界に位置するパケット転送装置（例えば、ルータ）がオーバレイネットワークの分散候補パスに対して検索用パケットを送信し、途中で経過するアンダーレイネットワークのルータがルータ自身の識別子（例えば、IPアドレス）を検索用パケットに記載する。

【0022】

実施の形態では、この検索用パケットを基に、各分散候補パスがアンダーレイネットワークのどのルータを経由するかといったパスの経路、すなわち、オーバレイネットワークの複数の分散候補パスのアンダーレイネットワークにおける経路を検知することを可能とする。実施の形態では、複数の経路に対し、複数の経路が通過するアンダーレイネットワークにおける同一リンクを検知することや、複数の経路のうち、アンダーレイネットワークにおける同一リンクを通過する経路の個数をカウントすることが可能になる。

【0023】

［通信システム］
次に、実施の形態に係る通信システムについて説明する。図１は、実施の形態に係る通信システムの構成の一例を模式的に示す図である。

【0024】

図１に示すように、実施の形態に係る通信システム１００は、複数のネットワークを統合し、単一のアドレス体系に従いパケット転送を行うネットワークであって、かつ、その一部に当該ネットワークとは異なるアドレス体系のアンダーレイネットワーク（Underlay network）上に設定されたオーバレイパスから成るオーバレイネットワーク（Overlay network）を組み込むネットワークを有する。アンダーレイネットワーク上には、仮想的に構築されたオーバレイネットワーク（サブネット１）が設定される。

【0025】

アンダーレイネットワークは、複数のネットワークを統合したネットワークで構成されている。通信システム１００では、アンダーレイネットワークは、複数のルータ３０が設けられた複数のネットワークであり、単一のアドレス体形に従いパケット転送を行うネットワークである。アンダーレイネットワークは、その一部に、アンダーレイネットワークとは異なるオーバレイ区間を組み込むよう統合ネットワークにおけるオーバレイパスが設定され、フローが割り当てられる。

【0026】

通信システム１００は、オーバレイネットワークである２つのサブネット１間に対し、VXLANを使ってVPNを構築する。図２は、転送パケットフォーマットを説明する図である。

【0027】

アンダーレイネットワークとオーバレイネットワークとの境界に位置するサブネット１のルータ２０Ｉ（IPアドレス：IP_I）（境界パケット転送装置）は、サブネット１間を通過するトラヒックをカプセル化する（図２参照）ことによって、ルータ２０Ｅ（IPアドレス：IP_E）（境界パケット転送装置）にパケットを転送する。具体的には、ルータ２０Ｉは、サーバ１０－１（IPアドレス：IPsrc1）から発信されたパケットを、UDPパケットへとカプセル化する。UDPパケットは、ルータ２０Ｅへと転送される。ルータ２０Ｅは、受信したパケットからUDPヘッダを削除したのち、元のパケットに添付されたIPアドレスに従って宛先であるサーバ１１－１（IPアドレス：IPdst1）に転送する。

【0028】

通信システム１００では、ルータ２０Ｉが、オーバレイネットワークの分散対象のオーバレイパスに対して実際にトラヒックフローを割り当てる前に、分散対象の各オーバレイパスの経路を検知する。

【0029】

ルータ２０Ｉは、オーバレイネットワークの分散候補である分散候補パスのうち、検索対象となる検索用パスを選択し、選択した検索用パスを経由する検索用パケットを送信する。そして、ルータ２０Ｉは、戻ってきた複数の検索用パケットを基に、分散候補パスが、アンダーレイネットワークのどのルータを経由するかといったパスの経路、すなわち、オーバレイネットワークの複数の分散候補パスのアンダーレイネットワークにおける経路を検知する。続いて、ルータ２０Ｉは、分散候補パスのトラヒック流量を計算し、サブネットフローを分散候補パスに割り当てる。

【0030】

なお、途中で経過するアンダーレイネットワークのルータ３０（パケット転送装置）は、パケットを転送する機能とともに、自装置のIPアドレスを検索用パケットに記載する機能を有する。ルータ３０は、ルータ３０に、同一の境界パケット転送装置（例えば、ルータ２０Ｅ）に向かう出力経路が複数登録されている場合、オーバレイパスを通過するパケットが有する転送用情報を基に該パケットの出力経路を決定する。

【0031】

［ルータの構成］
次に、ルータ２０Ｉについて説明する。図３は、図１に示すルータ２０Ｉの構成の一例を模式的に示す図である。なお、ルータ２０Ｅもルータ２０Ｉと同様の構成を有する。

【0032】

図３に示すルータ２０Ｉは、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＣＰＵ（Central Processing Unit）等を含むコンピュータ等に所定のプログラムが読み込まれて、ＣＰＵが所定のプログラムを実行することで実現される。ルータ２０Ｉは、通信部２１、パス選択部２２（選択部）、検索部２３、経路検知部２４（検知部）、トラヒック流量計算部２５（計算部）及びフロー割り当て部２６（割り当て部）を有する。

【0033】

通信部２１は、無線または有線にて他の装置との間で通信を行う。通信部５１は、ネットワーク等を介して接続された他の装置との間で、各種情報を送受信する通信インタフェースである。

【0034】

パス選択部２２は、オーバレイネットワークにおけるパスの経路検索のために、オーバレイネットワークの複数の分散候補パスのうち、経路の検索対象となる検索用パスを選択し、選択した検索用パスを経由する検索用パケットを送信する。パス選択部２２は、統合ネットワーク内フローのパケットヘッダを基にオーバレイ区間の始点－終点ペアの間に設定しうる複数のオーバレイパスの中から、経路検索対象の検索用パスを選択する。

【0035】

図４は、検索用パスの選択を説明する図である。図５は、VXLANフォーマットを説明する図である。図６は、検索用パスの経路検索を説明する図である。図４に示すネットワーク構成の場合、ルータ２０Ｉからルータ２０Ｅまでの分候補パスとして、パスＰ１，Ｐ２，Ｐ３がある。パス選択部２２は、パスＰ１，Ｐ２，Ｐ３のうち、まず、検索対象のパスである検索用パスとしてパスＰ１を選択する。なお、パス選択部２２は、検索用パスを選択する場合、総当たりで選択するほか、予め指定した回数だけランダムにUDP source port IDの番号を選出してもよい。UDP source port IDは、0から2^32(=65536)の値をとることができる。

【0036】

パス選択部２２は、検索用パスを経由する検索用パケットに、パスＰ１と同じ5-tupleを入力する。パス選択部２２は、検索用パスに対する検索用パケットをUDPトンネル用にカプセル化する。この際、パス選択部２２は、ヘッダ内のUDP source port IDを変更する。具体的には、パス選択部２２は、UDPヘッダのUDP source port IDにパス識別子を入れる（図５の（１））。

【0037】

例えば、UDP source port ID=1のパス（Port1のパス）の経路が、ルータ２０Ｉ，３０ａ，３０ｂ，２０Ｅの経路である。このパスＰ１を検索する場合、パス選択部２２は、ヘッダ内のUDP source port IDを「1」に変えたパスを検索用パケットとする。なお、パス選択部２２は、IPアドレス（src／dst）、UDP destination port ID、プロトコルIDは、変更しない。

【0038】

パス選択部２２は、検索用パケットを転送する。例えば、検索用パケットの通過経路は、ルータ２０Ｉ，３０ａ，３０ｂ，２０Ｅを経由して、同経路でルータ２０Ｉに戻るパスＰ１´である。経路途中のアンダーレイネットワークのルータ３０ａ，３０ｂは、検索用パケットを転送する際、検索用パケットにルータ３０ａ，３０ｂ自身のIPアドレスを記載する。

【0039】

パス選択部２２は、戻ってきた検索用パケットを受信し、検索用パケットに記載されたIPアドレスを基に、この検索用パケットが通過した経路をパステーブル（不図示）に書き込む。パス選択部２２は、この検索用パケットの送信、受信及びパステーブルへの経路の書き込みを、他の分散候補パス、例えば、ルータ２０Ｉ，３０ｃ，３０ｄ，２０Ｅを経由するパスＰ２についても実行する。

【0040】

検索部２３は、戻ってきた検索用パケットに記載されたIPアドレスを基に、検索用パスのアンダーレイネットワークにおける装置及びリンクを検索する。検索部２３は、パステーブルを参照し、検索対象の分散候補パスごとに、分散候補パスのアンダーレイネットワークにおける通過装置及びリンクを検索する。

【0041】

経路検知部２４は、検索部２３による複数の検索用パスに対する検索結果を基に、分散候補パスがそれぞれアンダーレイネットワークのどのルータを経由するかといったパスの経路、すなわち、オーバレイネットワークの複数の分散候補パスの経路を検知する。経路検知部２４は、始点及び終点が同じオーバレイパスであって、一部或いは全ての経路において、通過するパケット転送装置とリンクとが異なるオーバレイパス群を検知する。始点及び終点が同じオーバレイパスは、複数の経路へと分散してパケットを転送する対象となる。

【0042】

通信システム１００では、オーバレイパスがVXLANであり、通過するパケット転送装置とリンクとが異なるオーバレイパス群を検知するときの検知対象のパスは、オーバレイパスのヘッダのうち、UDPヘッダのUDP source port IDを変更した時に生じるパスとなる。経路検知部２４は、通過するパケット転送装置とリンクとが異なるオーバレイパス群を検知する場合の検知対象のパスとして、オーバレイパスのヘッダのうち、UDPヘッダのUDP source port IDを変更した場合に生じるパスを解析する。

【0043】

なお、図７に示すように、経路検知部２４は、例えば、パスＰ１（UDP source port ID 1）と同一経路を通過するパスＰ３（ルータ２０Ｉ，３０ａ，３０ｂ，２０Ｅを通過する経路）（UDP source port ID 3）が見つかった場合、パスＰ３の登録を保留、或いは、分散候補パスからパスＰ３を除外してもよい。

【0044】

経路検知部２４は、検索部２３による検索結果を基に、分散候補パスがアンダーレイネットワークのそれぞれどのルータを経由するかといったパスの経路、すなわち、オーバレイネットワークの複数の分散候補パスの経路を検知する。経路検知部２４は、複数の経路に対し、それぞれ通過する経路を計算し、各経路を比較することで、複数の経路が通過する同一リンクを検知することや、複数の経路のうち、同一リンクを通過する経路の個数をカウントする。

【0045】

トラヒック流量計算部２５は、分散候補パスの経路に対する検知結果を基に、各分散候補パスを通過する分散候補パスのトラヒック流量を計算する。トラヒック流量計算部２５は、通過装置及びリンクの検索結果を集約し、経路検知部２４によって検知されたオーバレイパス群に対し、各オーバレイパスを通過するトラヒック流量を変化させた場合のアンダーレイネットワーク内リンクのトラヒック流量を、通過リンクごとに集計する。トラヒック流量計算部２５は、リンク帯域の上限を制約条件として、各リンクの通過トラヒック流量を計算する。

【0046】

図８は、トラヒック流量の計算を説明する図である。図４に示すネットワークに対し、トラヒック流量計算部２５は、例えば、線形計画法を用いて、各リンクの通過トラヒック量を計算する（図８参照）。トラヒック流量計算部２５は、例えば、UDP source port IDが1のパスのトラヒック流量が5Gbpsであることを計算する。

【0047】

フロー割り当て部２６は、サブネットフローを分散候補パスに割り当てる。フロー割り当て部２６は、オーバレイパス用に割り当て可能なリンク帯域を、リンクを通過するバックグラウンドトラヒック量を基に計算し、計算結果に合致するようオーバレイパスに通過させる統合ネットワーク内フローを割り当てる。フロー割り当て部２６は、所定のルールを用いて、割り当てたフローのトラヒック総量が割当先の候補パスのトラヒック流量を下回るように、サブネット内フローを候補パスに割り当てる。

【0048】

図９は、フローの割り当てを説明する図である。例えば、パスＰ２，Ｐ４は、一部でリンクを共有しているので、フロー割り当て部２６は、トラヒック量を半々に割り当てる（図９の（１））。また、パスＰ１は、バックグラウンドトラヒックが大きいため、フロー割り当て部２６は、割り当てるトラヒック量を他のパスよりも少なくする（図９の（２））。また、フロー割り当て部２６は、ネットワークの負荷を最小限にするために、ナップサック問題やビンパッキング問題などの組み合わせ問題を解くアルゴリズムを使用して、サブネット内トラヒックフローを割り当ててもよい。

【0049】

［通信処理の処理手順］
次に、通信システム１００における通信処理の処理手順について説明する。図１０は、実施の形態に係る通信処理の処理手順を示すシーケンス図である。

【0050】

図１０に示すように、通信システム１００では、ルータ２０Ｉが、オーバレイネットワークの複数の分散候補パスのうち、経路検索対象の検索用パスを選択する（ステップＳ１）。ルータ２０Ｉは、検索用パスに対する検索用パケットを、UDPパケットにカプセル化し（ステップＳ２）、UDPヘッダのUDP source port IDにパス識別子を入れる。ルータ２０Ｉは、検索用パケットを転送する（ステップＳ３）。

【0051】

経路途中のアンダーレイネットワークのルータ３０ａ，３０ｂは、検索用パケットを転送する際、検索用パケットにルータ３０ａ，３０ｂ自身のIPアドレスを記載する（ステップＳ４～ステップＳ７）。ルータ２０Ｅは、検索用パケットを受信すると、検索用パケットをルータ２０Ｉ宛てに送信する（ステップＳ８）。

【0052】

ルータ３０ａ，３０ｂは、検索用パケットを転送する際、検索用パケットにルータ３０ａ，３０ｂ自身のIPアドレスを記載する（ステップＳ９～ステップＳ１２）。ルータ２０Ｉは、戻ってきた検索用パケットを受信し、検索用パケットに記載されたIPアドレスを基に、この検索用パケットが通過した経路をパステーブルに書き込む（ステップＳ１３）。ルータ２０Ｉは、他の検索用パスについても、UDPパケットへカプセル化後、転送し、戻ってきた検索用パスを受信し、パステーブルの経路の書き込みを行う。

【0053】

ルータ２０Ｉは、パステーブルを参照し、指定した分散候補パスごとに、分散候補パスのアンダーレイネットワークにおける通過装置やリンクを検索する（ステップＳ１４）。そして、ルータ２０Ｉは、検索部２３による検索結果を基に、オーバレイネットワークの複数の分散候補パスの経路を検知する（ステップＳ１５）。

【0054】

続いて、ルータ２０Ｉは、各分散候補パスを通過する分散候補パスのトラヒック流量を計算し（ステップＳ１６）、サブネットフローを分散候補パスに割り当てる（ステップＳ１７）。

【0055】

［実施の形態の効果］
このように、実施の形態では、アンダーレイネットワークとその他のネットワークの境界に位置するパケット転送装置（例えば、ルータ）がオーバレイネットワークの分散候補パスに対して検索用パケットを送信し、途中で経過するアンダーレイネットワークのルータがルータ自身のIPアドレスを検索用パケットに記載する。

【0056】

実施の形態では、この検索用パケットを基に、分散候補パスがそれぞれアンダーレイネットワークのどのルータを経由するかといったパスの経路、すなわち、オーバレイネットワークの複数の分散候補パスの経路を検知することを可能とする。したがって、実施の形態では、検知したオーバレイネットワークの各分散候補パスの経路を比較することで、各経路が通過する同一リンクの有無及び個数をカウントすることが可能になる。

【0057】

そして、実施の形態では、検知したオーバレイネットワークの複数の分散候補パスの経路を基に、分散候補パスが共有するリンクの帯域、及び、各リンクのバックグラウンドトラヒックから、それぞれの分散候補パスに対してトラヒックフローを割り当てる。これにより、振り分けた先のリンクの状態を考慮した分散候補パスへのフローの割当てが可能となるため、効率的な負荷分散が可能となる。

【0058】

［変形例１］
実施の形態では、ルータ２０Ｉが、検索用のパスを選択して、検索用パスの送受信を基に、経路検知、トラヒック流量計算及びフロー割り当てを行う場合を例に説明したが、これに限らない。図１１は、実施の形態に係る通信システムの構成の他の例を模式的に示す図である。

【0059】

図１１に示す通信システム１００Ａのように、ルータ２０Ｉ´，２０Ｅ´は、検索用パスの送受信のみを行い、コントローラ４０が、検索用のパスの選択し、ルータ２０Ｉ´によって受信された検索用パスを基に、経路検知、トラヒック流量計算及びフロー割り当てを行ってもよい。

【0060】

コントローラ４０は、無線または有線にて他の装置との間で通信を行う通信部４１、パス選択部２２、検索部２３、経路検知部２４、トラヒック流量計算部２５及びフロー割り当て部２６を有する。

【0061】

コントローラ４０は、検索用パスを選択すると、UDPヘッダのUDP source port IDにパス識別子を入れた、この検索用パスに対する検索用パケットの送信をルータ２０Ｉ´に指示する。ルータ２０Ｉ´は、戻ってきた検索用パケットをコントローラに送信する。コントローラ４０は、ルータ２０Ｉ´から受信した検索用パケットを基に、分散候補パスのアンダーレイネットワークにおける通過装置やリンクを検索し、複数の分散候補パスの経路を検知する。コントローラ４０は、分散候補パスの経路に対する検知結果を基に、トラヒック流量計算及びフロー割り当てを行う。

【0062】

［変形例２］
図１２及び図１３は、実施の形態の変形例２を説明する図である。実施の形態は、VXLAN以外のオーバレイ技術、例えば、Label（ラベル）をパケットに付加するMPLS（Multi－Protocol Label Switching）にも適用することが可能である。

【0063】

図１２に示すように、MPLSの場合、ルータ２０Ｉは、MPLSヘッダのラベルにパス識別子（初期値）を入れる（図１２の（１））。このため、MPLSの場合、通過するパケット転送装置とリンクとが異なるオーバレイパス群を検知するときの検知対象のパスは、MPLSヘッダのラベルうちラベルの値を変更した場合に生じるパスとなる。

【0064】

なお、図１３に示すように、MPLSの場合、ラベルの値は各ルータで書き換わる。例えば、MPLSの場合、以下のように、ラベルの値は各ルータで書き換わる。ルータ２０Ｉにおいてラベルに入れられた34（初期ラベル値）が、ルータ３０ａでは34から45に書き換わり、ルータ３０ｂでは45から23に書き換わるため、23のラベルの値でルータ２０Ｅに到着する。このため、MPLSに適用する場合には、ルータ２０Ｉがパスの初期ラベルと通過ルータをマップするためにオーバレイトンネルの検索用パケットに初期ラベル値を記録するフィールドが必要である。

【0065】

［変形例３］
また、実施の形態は、トンネリングプロトコルの一つであるGRE（Generic Routing Encapsulation）にも適用することが可能である。図１４は、実施の形態の変形例３を説明する図である。

【0066】

図１４に示すように、GREの場合、ルータ２０Ｉは、GREヘッダのKeyフィールドにパス識別子を入れる（図１４の（１））。なお、GREの場合、MPLSと異なり挿入したパス識別子の値は不変である。このため、GREの場合、通過するパケット転送装置とリンクとが異なるオーバレイパス群を検知するときの検知対象のパスは、オーバレイパスのヘッダのうち、GREヘッダのKeyフィールドベルのパス識別子を変更した場合に生じるパスとなる。

【0067】

［実施の形態のシステム構成について］
ルータ２０Ｉ及びコントローラ４０の各構成要素は機能概念的なものであり、必ずしも物理的に図示のように構成されていることを要しない。すなわち、ルータ２０Ｉ及びコントローラ４０の機能の分散及び統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散または統合して構成することができる。

【0068】

また、ルータ２０Ｉ及びコントローラ４０においておこなわれる各処理は、全部または任意の一部が、ＣＰＵ、ＧＰＵ（Graphics Processing Unit）、及び、ＣＰＵ、ＧＰＵにより解析実行されるプログラムにて実現されてもよい。また、ルータ２０Ｉ及びコントローラ４０においておこなわれる各処理は、ワイヤードロジックによるハードウェアとして実現されてもよい。

【0069】

また、実施の形態において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的に行うこともできる。もしくは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上述及び図示の処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて適宜変更することができる。

【0070】

［プログラム］
図１５は、プログラムが実行されることにより、ルータ２０Ｉ及びコントローラ４０が実現されるコンピュータの一例を示す図である。コンピュータ１０００は、例えば、メモリ１０１０、ＣＰＵ１０２０を有する。また、コンピュータ１０００は、ハードディスクドライブインタフェース１０３０、ディスクドライブインタフェース１０４０、シリアルポートインタフェース１０５０、ビデオアダプタ１０６０、ネットワークインタフェース１０７０を有する。これらの各部は、バス１０８０によって接続される。

【0071】

メモリ１０１０は、ＲＯＭ１０１１及びＲＡＭ１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic Input Output System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１１００に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ１１００に挿入される。シリアルポートインタフェース１０５０は、例えばマウス１１１０、キーボード１１２０に接続される。ビデオアダプタ１０６０は、例えばディスプレイ１１３０に接続される。

【0072】

ハードディスクドライブ１０９０は、例えば、ＯＳ（Operating System）１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３、プログラムデータ１０９４を記憶する。すなわち、ルータ２０Ｉ及びコントローラ４０の各処理を規定するプログラムは、コンピュータ１０００により実行可能なコードが記述されたプログラムモジュール１０９３として実装される。プログラムモジュール１０９３は、例えばハードディスクドライブ１０９０に記憶される。例えば、ルータ２０Ｉ及びコントローラ４０における機能構成と同様の処理を実行するためのプログラムモジュール１０９３が、ハードディスクドライブ１０９０に記憶される。なお、ハードディスクドライブ１０９０は、ＳＳＤ（Solid State Drive）により代替されてもよい。

【0073】

また、上述した実施の形態の処理で用いられる設定データは、プログラムデータ１０９４として、例えばメモリ１０１０やハードディスクドライブ１０９０に記憶される。そして、ＣＰＵ１０２０が、メモリ１０１０やハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して実行する。

【0074】

なお、プログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限らず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ１１００等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、プログラムモジュール１０９３及びプログラムデータ１０９４は、ネットワーク（ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等）を介して接続された他のコンピュータに記憶されてもよい。そして、プログラムモジュール１０９３及びプログラムデータ１０９４は、他のコンピュータから、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。

【0075】

以上、本発明者によってなされた発明を適用した実施の形態について説明したが、本実施の形態による本発明の開示の一部をなす記述及び図面により本発明は限定されることはない。すなわち、本実施の形態に基づいて当業者等によりなされる他の実施の形態、実施例及び運用技術等は全て本発明の範疇に含まれる。

【符号の説明】

【0076】

１００，１００Ａ 通信システム
１０，１０－１，１０－２，１１，１１－１，１１－２ サーバ
２０Ｉ，２０Ｉ´，２０Ｅ，２０Ｅ´，３０，３０ａ，３０ｂ，３０ｃ，３０ｄ ルータ
２１，４１ 通信部
２２ パス選択部
２３ 検索部
２４ 経路検知部
２５ トラヒック流量計算部
２６ フロー割り当て部
４０ コントローラ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】