特開 2024-84781 決定的ホスト学習及びローカライズされた統合ルーティング及びブリッジングを有するホストルーテッドオーバーレイ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024084781

(43)【公開日】2024-06-25

(54)【発明の名称】決定的ホスト学習及びローカライズされた統合ルーティング及びブリッジングを有するホストルーテッドオーバーレイ

(51)【国際特許分類】

   H04L 45/76 20220101AFI20240618BHJP

   H04L 45/64 20220101ALI20240618BHJP

【ＦＩ】

H04L45/76

H04L45/64

【審査請求】有

【請求項の数】20

【出願形態】ＯＬ

(21)【出願番号】P 2024058927

(22)【出願日】2024-04-01

(62)【分割の表示】P 2021533403の分割

【原出願日】2019-08-23

(31)【優先権主張番号】62/722,003

(32)【優先日】2018-08-23

(33)【優先権主張国・地域又は機関】US

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．Ｌｉｎｕｘ

(71)【出願人】

【識別番号】521076948

【氏名又は名称】アルカス インコーポレイテッド

(74)【代理人】

【識別番号】100067736

【弁理士】

【氏名又は名称】小池 晃

(74)【代理人】

【識別番号】100192212

【弁理士】

【氏名又は名称】河野 貴明

(74)【代理人】

【識別番号】100200001

【弁理士】

【氏名又は名称】北原 明彦

(72)【発明者】

【氏名】マルホトラ，ニーラジ

(72)【発明者】

【氏名】パテル，ケユル

(72)【発明者】

【氏名】ブッシュ，ランドール

(72)【発明者】

【氏名】ケセイ，シャバ

(72)【発明者】

【氏名】オースティン，ロバート

(72)【発明者】

【氏名】コブル，ハーシャ バルダーン

(57)【要約】      （修正有）

【課題】ネットワークコンピューティング環境における改善されたルーティングアーキテクチャのためのシステム、方法及びデバイスを提供する。
【解決手段】アーキテクチャ４００は、仮想顧客エッジルータ（仮想ＣＥルータ）と、複数のホスト仮想マシン（ＶＭ）を含むホストルーテッドオーバーレイと、仮想顧客エッジルータから、リーフ／スパインネットワークトポロジ内の１以上のリーフノードＬ１～Ｌ４の１以上へのルーテッドアップリンクと、を含み、仮想顧客エッジルータが、ホストルーテッドオーバーレイの複数のベアメタルサーバに対して、ローカライズされた統合ルーティング及びブリッジング（ＩＲＢ）サービスを提供する。
【選択図】図４

【特許請求の範囲】

【請求項1】

仮想顧客エッジルータ、複数のホスト仮想マシン、及びハイパーバイザをそれぞれが実行する複数のベアメタルサーバと、
前記複数のベアメタルサーバの１以上にそれぞれが物理的に接続され、レイヤ３ルータリンクにより前記複数のベアメタルサーバのそれぞれのベアメタルサーバの前記仮想顧客エッジルータに接続された複数のリーフノードと、
を備えるシステムであって、
前記複数のベアメタルサーバのそれぞれのベアメタルサーバの前記仮想顧客エッジルータは、前記それぞれのベアメタルサーバの前記複数のホスト仮想マシンのレイヤ２ルートを終端するように構成されることを特徴とするシステム。

【請求項2】

前記複数のベアメタルサーバのそれぞれのベアメタルサーバの前記ハイパーバイザは、レベル３ディスカバリ及びライブネス（Ｌ３ＤＬ）経由で、前記複数のホスト仮想マシンのローカル仮想マシン（ＶＭ）インターネットプロトコル（ＩＰ）ホストルートを前記複数のリーフノードにリレーするように構成されることを特徴とする請求項１に記載のシステム。

【請求項3】

前記複数のベアメタルサーバのそれぞれのベアメタルサーバの前記仮想顧客エッジルータは、前記それぞれのベアメタルサーバの前記複数のホスト仮想マシンのインターネットプロトコル（ＩＰ）アドレス及び媒体アクセスコード（ＭＡＣ）アドレスを学習するように構成されることを特徴とする請求項１に記載のシステム。

【請求項4】

前記複数のベアメタルサーバのそれぞれのベアメタルサーバの前記仮想顧客エッジルータは、前記それぞれのベアメタルサーバのブートアップ時に、前記それぞれのベアメタルサーバの前記複数のホスト仮想マシンのインターネットプロトコル（ＩＰ）アドレス及び媒体アクセスコード（ＭＡＣ）アドレスを学習するように構成されることを特徴とする請求項１に記載のシステム。

【請求項5】

前記複数のベアメタルサーバのそれぞれのベアメタルサーバのそれぞれの仮想顧客エッジルータは、同じエニキャストゲートウェイインターネットプロトコル（ＩＰ）アドレス及び媒体アクセスコード（ＭＡＣ）アドレスにより構成されることを特徴とする請求項１に記載のシステム。

【請求項6】

前記複数のベアメタルサーバの複数の前記仮想顧客エッジルータは、前記複数のリーフノードでサブネット内フロー及びサブネット間フローの両方のルーティングを実行するように構成されることを特徴とする請求項１に記載のシステム。

【請求項7】

前記複数のリーフノードは、サブネット内フローをルーティングすることにより、サブネット拡張を実行するように構成されることを特徴とする請求項１に記載のシステム。

【請求項8】

前記複数のベアメタルサーバのそれぞれのベアメタルサーバのそれぞれの仮想顧客エッジルータは、前記それぞれのベアメタルサーバの前記複数のホスト仮想マシンの為のアドレス解決プロトコル（ＡＲＰ）プロキシとして構成されることを特徴とする請求項１に記載のシステム。

【請求項9】

前記複数のベアメタルサーバのそれぞれのベアメタルサーバのそれぞれの仮想顧客エッジルータは、前記それぞれのベアメタルサーバの前記ハイパーバイザ内に存在することを特徴とする請求項１に記載のシステム。

【請求項10】

前記複数のベアメタルサーバのそれぞれのベアメタルサーバのそれぞれの仮想顧客エッジルータは、前記それぞれのベアメタルサーバの前記複数のホスト仮想マシンの為のデフォルトゲートウェイとして提供されることを特徴とする請求項１に記載のシステム。

【請求項11】

前記複数のリーフノードのそれぞれのリーフノードは、
前記複数のベアメタルサーバの複数の前記仮想顧客エッジルータからルートを学習し、
前記ルートをイーサネット仮想プライベートネットワーク（ＥＶＰＮ）オーバーレイ上でアドバタイズする、
ように構成されることを特徴とする請求項１に記載のシステム。

【請求項12】

前記複数のベアメタルサーバのそれぞれのベアメタルサーバのそれぞれの仮想顧客エッジルータは、レイヤ２スイッチングを実行するように構成されることを特徴とする請求項１に記載のシステム。

【請求項13】

前記複数のベアメタルサーバのそれぞれのベアメタルサーバのそれぞれの仮想顧客エッジルータは、統合ルーティング及びブリッジング（ＩＲＢ）を実行するように構成されることを特徴とする請求項１に記載のシステム。

【請求項14】

前記複数のベアメタルサーバのそれぞれのベアメタルサーバのそれぞれの仮想顧客エッジルータは、前記複数のリーフノードのマルチリーフノード上のレイヤ３インターフェースに対して、前記複数のリーフノードの前記マルチリーフノードにマルチホームされることを特徴とする請求項１に記載のシステム。

【請求項15】

前記複数のベアメタルサーバのそれぞれのベアメタルサーバのそれぞれの仮想顧客エッジルータは、デフォルトルートが前記マルチリーフノードを指すように構成されることを特徴とする請求項１４に記載のシステム。

【請求項16】

前記複数のリーフノードのレイヤ３サブネットアドレスは、前記複数のベアメタルサーバのそれぞれのベアメタルサーバのそれぞれの仮想顧客エッジルータ上にローカルにスコープされることを特徴とする請求項１４に記載のシステム。

【請求項17】

前記複数のベアメタルサーバのそれぞれのベアメタルサーバのそれぞれの仮想顧客エッジルータは、前記複数のリーフノードへのデフォルト等コストマルチパス（ＥＣＭＰ）ルートを記憶するように構成されることを特徴とする請求項１に記載のシステム。

【請求項18】

前記複数のベアメタルサーバのそれぞれのベアメタルサーバのそれぞれの仮想顧客エッジルータは、前記ＥＣＭＰルートを使用して、前記それぞれのベアメタルサーバの前記複数のホスト仮想マシンから前記複数のリーフノードへ、全てのアウトバウンドサブネット間及びサブネット内トラフィックをルーティングするように構成されることを特徴とする請求項１７に記載のシステム。

【請求項19】

前記ＥＣＭＰルートはレベル３ＥＣＭＰリンクの為のルートであることを特徴とする請求項１８に記載のシステム。

【請求項20】

前記複数のベアメタルサーバのそれぞれのベアメタルサーバのそれぞれの仮想顧客エッジルータは、２つのサブネットを実装し、前記２つのサブネットの１つは、エニキャストゲートウェイを含むことを特徴とする請求項１に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願への相互参照
本出願は、２０１８年８月２３日に出願された米国仮特許出願第６２／７２２，００３号「DATABASE SYSTEMS METHODS AND DEVICES」に対する優先権を主張するものであり、この文献は、次の例外を除き、これに限定されるものではないが、以下に具体的に記載される部分を含む全体が参照により本明細書に援用される。前記出願の何れかの部分が本出願と矛盾する場合、本出願の内容が前記出願に優先される。

【0002】

本開示は、コンピューティングネットワークに関し、特にネットワークルーティングプロトコルに関する。

【背景技術】

【0003】

ネットワークコンピューティングとは、複数のコンピュータ又はノードが連携し、ネットワークを介して相互に通信するための手段である。これには、ワイドエリアネットワーク（wide area network：ＷＡＮ）とローカルエリアネットワーク（local area network：ＬＡＮ）とがある。ローカルエリアネットワークは、通常、家庭、ビジネス、学校等、より小規模でローカライズされたネットワークに使用される。ワイドエリアネットワークは、都市等の広域をカバーし、異なる国のコンピュータを接続することもできる。通常、ローカルエリアネットワークは、ワイドエリアネットワークよりも高速で安全であるが、ワイドエリアネットワークを使用すると広範囲の接続が可能になる。通常、ローカルエリアネットワークは、展開されている組織内で所有、制御、及び管理され、一方、ワイドエリアネットワークでは、通常、パブリックインターネット経由又は電気通信プロバイダによって確立されたプライベート接続を介して、構成要素である２以上のローカルエリアネットワークを接続する必要がある。

【0004】

ローカルエリアネットワークとワイドエリアネットワークによって、コンピュータを相互に接続し、データやその他の情報を転送できる。ローカルエリアネットワーク及びワイドエリアネットワークの何れにおいても、ある演算インスタンスから別の演算インスタンスにデータを渡すパスを判定する手段が必要である。これは、ルーティングとも呼ばれる。ルーティングとは、ネットワーク内で、複数のネットワーク間で、又は複数のネットワークに亘って、トラフィックのパスを選択するプロセスである。ルーティングプロセスは、通常、様々なネットワーク宛先へのルートの記録を保持するルーティングテーブルに基づいて、転送を指示する。ルーティングテーブルは、管理者が指定してもよく、ネットワークトラフィックを監視して学習してもよく、ルーティングプロトコルの支援を受けて構築してもよい。

【0005】

ネットワークアーキテクチャの１つとして、マルチテナントデータセンタ（multi-tenant datacenter）がある。マルチテナントデータセンタは、パブリッククラウドベース又はプライベートクラウドベースのモデルでのサービス展開に適したエンドトゥエンドシステムを定義する。マルチテナントデータセンタには、ワイドエリアネットワーク、複数のプロバイダデータセンタ、及びテナントリソースが含まれる場合がある。マルチテナントデータセンタは、マルチレイヤ階層ネットワークモデルを含むことができる。マルチレイヤ階層は、コアレイヤ、アグリゲーションレイヤ、及びアクセスレイヤを含むことができる。複数のレイヤは、Ｌ２／Ｌ３境界があるレイヤ２オーバーレイ及びレイヤ３オーバーレイを含むことができる。

【発明の概要】

【発明が解決しようとする課題】

【0006】

データセンタのオーバーレイルーティングアーキテクチャの１つは、集中型ゲートウェイ（centralized gateway）アーキテクチャである。他のデータセンタオーバーレイルーティングアーキテクチャは、分散型エニキャストゲートウェイ（distributed anycast gateway）アーキテクチャである。これらのアーキテクチャは、後に更に説明するように、多くの欠点がある。

【課題を解決するための手段】

【0007】

以上の観点から、ここでは、改善されたルーティングアーキテクチャのためのシステム、方法、及びデバイスを開示する。

【0008】

本開示の非限定的及び非包括的な実施形態は、以下の図を参照して説明され、これらの図において、同一の参照符号は、特段の指定がない限り、全ての図を通して同一の部分を指す。以下の説明及び添付の図面を参照することにより、本開示の利点がより明瞭に理解される。

【図面の簡単な説明】

【0009】

【図1】インターネットを介して通信するネットワーク化されたデバイスのシステムの概略図である。

【図2】従来技術で知られている集中型ゲートウェイデータセンタオーバーレイルーティングアーキテクチャ（centralized gateway datacenter overlay routing architecture）を有するリーフ／スパインネットワークトポロジの概略図である。

【図3】従来技術で知られている分散型エニキャストゲートウェイデータセンタオーバーレイルーティングアーキテクチャ（distributed anycast gateway datacenter overlay routing architecture）を有するリーフ／スパインネットワークトポロジの概略図である。

【図4】ベアメタルサーバ上の仮想顧客エッジ（ＣＥ）ルータゲートウェイにプッシュされる、Ｌ２－Ｌ３境界におけるオーバーレイルーティングを有するデータセンタファブリックアーキテクチャの概略図である。

【図5】ベアメタルサーバ上の仮想顧客エッジ（ＣＥ）ルータゲートウェイにプッシュされる、Ｌ２－Ｌ３境界におけるオーバーレイルーティングを有するデータセンタファブリックアーキテクチャの概略図であり、ブートアップ時のホスト学習を示す図である。

【図6】ベアメタルサーバ上の仮想顧客エッジ（ＣＥ）ルータゲートウェイにプッシュされる、Ｌ２－Ｌ３境界におけるオーバーレイルーティングを有するデータセンタファブリックアーキテクチャの概略図であり、ローカル転送状態を示す図である。

【図7】ベアメタルサーバ上の仮想顧客エッジ（ＣＥ）ルータゲートウェイにプッシュされる、Ｌ２－Ｌ３境界におけるオーバーレイルーティングを有するデータセンタファブリックアーキテクチャの概略図であり、リモート転送状態を示す図である。

【図8A】ベアメタルサーバ上の仮想顧客エッジ（ＣＥ）ルータゲートウェイにプッシュされる、Ｌ２－Ｌ３境界におけるオーバーレイルーティングを有するデータセンタファブリックアーキテクチャの概略図であり、サブネット内サーバローカルフローを示す図である。

【図8B】ベアメタルサーバ上の仮想顧客エッジ（ＣＥ）ルータゲートウェイにプッシュされる、Ｌ２－Ｌ３境界におけるオーバーレイルーティングを有するデータセンタファブリックアーキテクチャの概略図であり、サブネット間サーバローカルフローを示す図である。

【図9A】ベアメタルサーバ上の仮想顧客エッジ（ＣＥ）ルータゲートウェイにプッシュされる、Ｌ２－Ｌ３境界におけるオーバーレイルーティングを有するデータセンタファブリックアーキテクチャの概略図であり、アドレス１２．１．１．４からアドレス１２．１．１．２へのサブネット内オーバーレイフローフォームを示す図である。

【図9B】ベアメタルサーバ上の仮想顧客エッジ（ＣＥ）ルータゲートウェイにプッシュされる、Ｌ２－Ｌ３境界におけるオーバーレイルーティングを有するデータセンタファブリックアーキテクチャの概略図であり、アドレス１２．１．１．４からアドレス１０．１．１．２へのサブネット間オーバーレイフローを示す図である。

【図10】ベアメタルサーバ上の仮想顧客エッジ（ＣＥ）ルータゲートウェイにプッシュされる、Ｌ２－Ｌ３境界におけるオーバーレイルーティングを有するデータセンタファブリックアーキテクチャの概略図であり、サーバリンク障害を示す図である。

【図11】例示的な演算デバイスの構成要素を示す概略図である。

【発明を実施するための形態】

【0010】

ここでは、ホストマシン上でローカライズされた統合ルーティング及びブリッジング（integrated routing and bridging：ＩＲＢ）を使用する、インターネットプロトコル（ＩＰ）サブネットストレッチのためのルーテッドオーバーレイソリューション（routed overlay solution）のためのシステム、方法、及びデバイスを開示する。ここに開示するシステム、方法、及びデバイスは、ベアメタルサーバ上の仮想顧客エッジ（customer edge：ＣＥ）ルータ上に仮想第１ホップゲートウェイ（virtual first hop gateway）を提供する。仮想ＣＥルータは、ローカルホストのためのローカライズされた水平統合（East-West integrated）ルーティング及びブリッジング（ＩＲＢ）サービスを提供する。一実施形態では、デフォルトのルーテッド等コストマルチパス（ＥＣＭＰ）が、垂直（North-South）及び水平（East-West）接続のために仮想ＣＥルータからリーフノードへのアップリンクを実現する。

【0011】

ここに開示するシステム、方法及びデバイスは、多数のネットワーク化の利点を実現にする。システムは、ルートのアドレス解決プロトコル（address resolution protocol：ＡＲＰ）ベース学習を必要とせず、決定的ホスト学習（deterministic host learning）を可能にする。ここに説明する改善されたシステムは、エイジアウト（age-out）、プローブ、及び同期を排除し、リーフノード上の媒体アクセス制御（media access control：ＭＡＣ）エントリを必要としない。改善されたシステムは、更に、リーフノードでの複雑なマルチシャーシリンクアグリゲーション（multi-chassis link aggregation：ＭＬＡＧ）ブリッジング機能を不要にする。更に、ここで説明する仮想ＣＥルータは、リーフノードへのデフォルトＥＣＭＰルートと共に、ローカルインターネットプロトコル（ＩＰ）アドレス及び媒体アクセス制御（ＭＡＣ）アドレスを格納する。更に、ここで説明する改善されたシステムは、ストレッチされたサブネットのためのリーフノードにおけるホストルーティングを提供し、ホストモビリティを可能にする。

【0012】

イーサネット仮想プライベートネットワーク（Ethernet virtual private network：ＥＶＰＮ）対応のマルチテナントデータセンタオーバーレイ（multiple tenant data center overlay）では、リーフノード上に分散型エニキャストレイヤ３（Ｌ３）ゲートウェイ（distributed anycast layer-3 (L3) gateway）を有するアーキテクチャによって、ワークロード用の第１ホップゲートウェイ機能（first hop gateway function）が提供される。これにより、サービスレイヤＬ２－Ｌ３境界（レイヤ２とレイヤ３の境界）がリーフノードまで押し下げられる。換言すれば、ワークロードホスト仮想マシンからの全てのサブネット間仮想プライベートネットワーク（ＶＰＮ）トラフィックは、リーフノード上でルーティングされる。仮想マシンのモビリティと柔軟なワークロード配置は、ルーテッドネットワークファブリックに亘ってレイヤ２オーバーレイをストレッチすることによって実現される。ストレッチされたレイヤ２ドメインに亘るサブネット内トラフィックは、リーフノード上でオーバーレイブリッジ（overlay bridged）される。リーフノードは、直接接続されたホスト仮想マシンのためのＥＶＰＮ－ＩＲＢサービスを提供する。これにより、全てのオーバーレイサブネット間ＶＰＮトラフィックがルーティングされ、ルーテッドファブリックアンダーレイを介して全てのオーバーレイサブネット内ＶＰＮトラフィックがブリッジされる。

【0013】

ここで説明する実施形態は、リーフノード上でのオーバーレイブリッジ機能のサポートを不要にする。更に、ここで説明する実施形態は、リーフノードとホストとの間のレイヤ２ＭＬＡＧ接続及び関連する複雑な手順を不要にする。更に、ここで説明する実施形態は、リーフノード上でのデータプレーン及びＡＲＰベースのホスト学習を不要にする。ここに開示する実施形態は、これらの利点を実現すると共に、ＩＰユニキャストのサブネット間及びサブネット内ＶＰＮ接続性、仮想マシンモビリティ、及びストレッチされたＩＰサブネットに亘る柔軟なワークロード配置を提供する。

【0014】

本開示の実施形態は、ローカルレイヤ２スイッチング及びＩＲＢ機能をリーフノードから分離し、ベアメタルサーバ上の小さな仮想ＣＥルータにローカライズする。これは、ベアメタルサーバ上で小さな仮想ルータＶＭを実行することで実現され、この仮想ルータＶＭは、ホスト仮想マシンのための第１ホップゲートウェイとして機能し、ベアメタルサーバに対してローカルな仮想マシン間に亘るローカルＩＲＢスイッチングを提供する。この仮想ルータは、リーフノード上のレイヤ３ルーテッドインターフェースを介して複数のリーフノードにマルチホームできる従来型のＣＥルータとして動作する。ファブリック内のリーフノードは、いかなるレイヤ２ブリッジング又はＩＲＢ機能も持たない純粋なレイヤ３ＶＰＮＰＥルータとして機能する。最適なルーティングを提供しながら、ＤＣオーバーレイに亘るレイヤ３エンドポイントの柔軟な配置とモビリティを可能にするために、トラフィックをサブネットルーティングではなくリーフノード上でホストルーティングできる。これは、ＥＶＰＮ－ＩＲＢの場合も同様である。

【0015】

ここで説明する改善されたルーティングアーキテクチャ（図４～図１０参照）は、完全なルーテッドネットワークファブリック（completely routed network fabric）の利点を提供できる。但し、ＥＶＰＮオーバーレイは、リーフノード上でルーティング機能とブリッジング機能の両方を提供する必要がある。リーフノードからホストへの接続は、レイヤ２ポート経由で行われ、リーフノードは、ローカルレイヤ２スイッチングを提供する必要がある。リーフノードは、２以上のリーフノードに亘るマルチホームホストを可能にするために、専用のＭＬＡＧ機能又はＥＶＰＮ－ＬＡＧ機能をサポートする必要がある。更に、ホスト学習をブートストラップするために、最初に、オーバーレイに亘ってＡＲＰ要求をフラッディングする必要がある。

【0016】

マルチシャーシリンクアグリゲーション（multi-chassis link aggregation：ＭＬＡＧ）及びイーサネット仮想プライベートネットワークリンクアグリゲーション（ethernet virtual private network link aggregation：ＥＶＰＮ－ＬＡＧ）ベースのマルチホーミングにより、リーフノード上で複雑なレイヤ２機能をサポートする必要が生じる。ホストＭＡＣは、何れかのリーフノードのデータプレーンで学習され、全ての冗長リーフノードに亘って同期される必要がある。ホストＡＲＰバインディングは、何れかのリーフノードでＡＲＰフラッディングを介して学習され、全ての冗長リーフノードに亘って同期される必要がある。更に、冗長リーフノードに亘るスプリットホライズンフィルタリング（split horizon filtering）メカニズムを介したブロードキャスト、アンノウンユニキャスト（broadcast, unknown-unicast：ＢＵＭ）トラフィックについて、ＭＬＡＧトポロジから生じる物理ループを防止する必要がある。更に、ＢＵＭパケットが重複してマルチホームホストに転送されることを防ぐために、リーフノード上で指定フォワーダ選択メカニズムをサポートする必要がある。上記のそれぞれに対してＥＶＰＮ手順が規定されているが、ＥＶＰＮ－ＩＲＢベースのソリューションの全体的な実装及び運用の複雑性が全てのユースケースについて望ましいとは限らない。

【0017】

本開示の理解を深めるために、多数のネットワーキング演算デバイス及びプロトコルの幾つかを説明する。

【0018】

コンピュータネットワーク環境では、スイッチ又はルータ等のネットワーキングデバイスを使用して、１つの宛先から最終的な宛先に情報を送信できる。一実施形態では、データパッケージ及びメッセージは、個人の自宅内のコンピュータ等の第１の場所で生成してもよい。データパッケージ及びメッセージは、個人がウェブブラウザとインタラクトし、インターネットを介してアクセス可能なリモートサーバに情報を要求し又は情報を提供することによって生成できる。例えば、データパッケージ及びメッセージは、インターネットに接続されたウェブページ上でアクセス可能なフォームに個人が入力した情報であってもよい。データパッケージ及びメッセージは、個人のコンピュータから地理的に非常に離れた場所にあるリモートサーバに送信する必要がある場合がある。個人の自宅のルータとリモートサーバの間では、直接通信が行われていない可能性が高い。したがって、データパッケージ及びメッセージは、リモートサーバの最終的な宛先に到達するまでに、異なるネットワーキングデバイスを「ホッピング」して移動する必要がある。個人の自宅のルータは、インターネットに接続された複数の異なるデバイスを介してデータパッケージ及びメッセージを送信し、データパッケージ及びメッセージがリモートサーバの最終宛先に到達するまでのルートを判定する必要がある。

【0019】

スイッチ（スイッチングハブ、ブリッジングハブ、又はＭＡＣブリッジとも呼ばれる。）は、ネットワークを作成する。殆どの内部ネットワークは、建物又はキャンパス内のコンピュータ、プリンタ、電話機、カメラ、照明、及びサーバを接続するためにスイッチを使用する。スイッチは、ネットワークに接続されたデバイスが相互に効率的に通信できるようにするコントローラとして機能する。スイッチは、パケットスイッチングを使用してコンピュータネットワーク上のデバイスを接続し、これによりデータが受信され、処理され、宛先デバイスに転送される。ネットワークスイッチは、ハードウェアアドレスを使用して、開放型システム間相互接続（Open Systems Interconnection：ＯＳＩ）モデルのデータリンクレイヤ（レイヤ２）でデータを処理及び転送するマルチポートネットワークブリッジである。一部のスイッチは、ルーティング機能を追加で組み込むことにより、ネットワークレイヤ（レイヤ３）でデータを処理することもできる。このようなスイッチは、一般にレイヤ３スイッチ又はマルチレイヤスイッチと呼ばれている。

【0020】

ルータは、ネットワークを接続する。スイッチ及びルータは、類似する機能を実行するが、ネットワーク上で実行する機能はそれぞれ異なる。ルータは、コンピュータネットワーク間でデータパケットを転送するネットワークデバイスである。ルータは、インターネット上でトラフィックダイレクティング機能（traffic directing function）を実行する。ウェブページ、電子メール、又はその他の形式の情報等、インターネットを介して送信されるデータは、データパケットの形式で送信される。パケットは、通常、インターネットワーク（例えばインターネット）を構成するネットワークを介してあるルータから別のルータに転送されて、最終的に宛先ノードに到達する。ルータは、異なるネットワークからの複数のデータラインに接続されている。データパケットがラインの１つに到着すると、ルータは、パケット内のネットワークアドレス情報を読み取り、最終的な宛先を判定する。次に、ルータは、ルータのルーティングテーブル又はルーティングポリシの情報を使用して、行程上の次のネットワークにパケットを送信する。ＢＧＰスピーカは、ボーダゲートウェイプロトコル（Border Gateway Protocol：ＢＧＰ）がイネーブルにされているルータである。

【0021】

顧客エッジルータ（customer edge router：ＣＥルータ）は、顧客のＬＡＮとプロバイダのコアネットワークとの間のインターフェースを提供する、顧客の敷地内にあるルータである。ＣＥルータ、プロバイダルータ、及びプロバイダエッジルータは、マルチプロトコルラベルスイッチングアーキテクチャのコンポーネントである。プロバイダルータは、プロバイダ又はキャリアのネットワークのコアに配置される。プロバイダエッジルータは、ネットワークのエッジに配置される。顧客エッジルータは、プロバイダエッジルータに接続し、プロバイダエッジルータは、プロバイダルータを介して他のプロバイダエッジルータに接続する。

【0022】

ルーティングテーブル又はルーティング情報ベース（ＲＩＢ）は、ルータ又はネットワークコンピュータに格納されているデータテーブルであり、特定のネットワーク宛先へのルートをリストするものである。ルーティングテーブルには、距離、重み等のルートのメトリックが含まれる場合がある。ルーティングテーブルには、それが格納されているルータの直近のネットワークのトポロジに関する情報が含まれる。ルーティングテーブルの構築は、ルーティングプロトコルの主要な目的である。スタティックルートは、非自動手段によってルーティングテーブルに作成されるエントリであり、何らかのネットワークトポロジディスカバリ手順の結果ではなく、固定されている。ルーティングテーブルは、ネットワークＩＤ、メトリック、及びネクストホップのフィールドを含む、少なくとも３つの情報フィールドを含むことができる。ネットワークＩＤは、宛先サブネットである。メトリックは、パケットが送信されるパスのルーティングメトリックである。ルートは、メトリックが最小のゲートウェイの方向に進む。ネクストホップとは、パケットが最終宛先に送信されるまでの過程における次のステーションのアドレスである。ルーティングテーブルは、更に、ルートに関連付けられたサービス品質、ルートに関連付けられたフィルタリング基準リストへのリンク、イーサネットカードのインターフェース等を含むことができる。

【0023】

ホップバイホップ（hop-by-hop）ルーティングの場合、各ルーティングテーブルには、全ての到達可能な宛先について、その宛先へのパスに沿った次のデバイスのアドレス、すなわち、ネクストホップがリストされる。ルーティングテーブルが一貫していると仮定すれば、パケットを宛先のネクストホップにリレーするアルゴリズムは、ネットワーク内の任意の場所にデータを配信するのに十分である。ホップバイホップは、ＩＰインターネットワークレイヤ及び開放型システム間相互接続（ＯＳＩ）モデルの特徴の一つである。

【0024】

一部のネットワーク通信システムは、数千の処理ノードを有する大規模な企業レベルのネットワークである。数千もの処理ノードが複数のインターネットサービスプロバイダ（Internet Service Provider：ＩＳＰ）からの帯域幅を共有し、大量のインターネットトラフィックを処理できる。このようなシステムは、非常に複雑になる可能性があり、許容できるインターネットパフォーマンスを得るために適切に構成する必要がある。システムが最適なデータ伝送のために適切に構成されていないと、インターネットアクセスの速度が低下し、システムの帯域幅消費及びトラフィックが増大する可能性がある。この問題に対し、一連のサービスを実装することによって、これらの懸念を排除又は軽減できる。この一連のサービスは、ルーティング制御とも呼ばれる。

【0025】

ルーティング制御メカニズムの一実施形態は、ハードウェアとソフトウェアとから構成される。ルーティング制御メカニズムは、インターネットサービスプロバイダ（ＩＳＰ）との接続を介して全ての発信トラフィック（outgoing traffic）を監視する。ルーティング制御メカニズムは、データの効率的な伝送のための最適パスの選択を支援する。ルーティング制御メカニズムは、全てのＩＳＰの性能及び効率を計算し、適用可能な領域において最適に動作したＩＳＰのみを選択できる。ルート制御デバイスは、コスト、パフォーマンス、及び帯域幅に関する定義済みのパラメータに従って構成できる。

【0026】

等コストマルチパス（equal cost multipath：ＥＣＭＰ）ルーティングは、単一の宛先へのネクストホップパケット転送が複数の「最適パス」に亘って発生する可能性があるルーティング方式である。複数の最適パスは、ルーティングメトリックの計算に基づいて同等である。ルーティングは、単一のルータに限定されたホップ毎の判定であるため、マルチパスルーティングを多数のルーティングプロトコルと共に使用できる。マルチパスルーティングでは、複数のパスに亘ってトラフィックを負荷分散することにより、帯域幅を大幅に増やすことができる。しかしながら、ストラテジを実際に展開する際、ＥＣＭＰルーティングには、多くの問題が知られている。ここでは、改善されたＥＣＭＰルーティングのためのシステム、方法、及びデバイスを開示する。

【0027】

本開示に基づく原理の理解を深めるために、以下では、図示の実施形態を参照し、特定の表現を用いてこれを説明する。但し、これは、本開示の範囲を限定することを意図するものではない。ここに例示する本開示の特徴の任意の変更及び更なる修正、並びにここに例示する本開示の原理の任意の追加的な適用は、当業者が本開示に基づいて容易に想到できるものであり、特許請求の範囲に含まれる。

【0028】

ネットワークコンピューティング環境におけるオブジェクトのライフサイクルを追跡するための構造、システム、及び方法を開示及び説明する前に、本開示は、ここに開示される特定の構造、構成、プロセスステップ、及び材料に限定されず、そのような構造、構成、プロセスステップ、及び材料を変更してもよいことを明記する。また、本開示の範囲は、特許請求の範囲及びその均等物によってのみ制限されるものであるため、ここで使用される用語は、特定の実施形態を説明する目的でのみ使用され、限定を意図しないことは当然である。

【0029】

本開示の主題を記述し特許請求する際には、以下に記載する定義に従って、以下の用語を使用する。

【0030】

本明細書及び特許請求の範囲において使用する、単数形（冠詞「ａ」、「ａｎ」、及び「ｔｈｅ」）は、文脈における特段の指定がない限り、複数の指示対象を含む。

【0031】

ここで使用する語句「備える」、「有する」、「含む」、「特徴とする」、及びこれらの文法的等価物は、記載されていない追加的な要素又は方法工程を除外しない非排他的又はオープンな用語である。

【0032】

ここで使用する語句「～からなる」及びその文法的等価物は、請求項に記載されていない任意の要素又は工程を除外する。

【0033】

ここで使用される語句「実質的に～からなる」及びその文法的等価物は、特許請求の範囲を、特定された材料又は工程、並びに特許請求された開示の基本的かつ新規な特性又は特徴に実質的に影響しない材料又は工程に限定する。

【0034】

以下の説明は、図面を参照し、図１は、デバイスをインターネットに接続するためのシステム１００の概略図である。システム１００は、ここで説明する特定の概念を説明するための背景情報として提示される。システム１００は、スイッチ１０６によって接続された複数のローカルエリアネットワーク１１０を含む。複数のローカルエリアネットワーク１１０のそれぞれは、ルータ１１２によって、公衆インターネットを介して互いに接続可能である。図１に示す例示的なシステム１００は、２つのローカルエリアネットワーク１１０を有する。但し、公衆インターネットを介して、より多くのローカルエリアネットワーク１１０を互いに接続してもよい。各ローカルエリアネットワーク１１０は、スイッチ１０６によって互いに接続された複数の演算デバイス１０８を含む。複数の演算デバイス１０８は、例えば、デスクトップコンピュータ、ラップトップ、プリンタ、サーバ等を含むことができる。ローカルエリアネットワーク１１０は、ルータ１１２によって、公衆インターネットを介して他のネットワークと通信できる。ルータ１１２は、複数のネットワークを互いに接続する。ルータ１１２は、インターネットサービスプロバイダ１０２に接続されている。インターネットサービスプロバイダ１０２は、１以上のネットワークサービスプロバイダ１０４に接続されている。ネットワークサービスプロバイダ１０４は、図１に示すように、他のローカルネットワークサービスプロバイダ１０４と通信を行う。

【0035】

スイッチ１０６は、パケットスイッチング（packet switching）を使用してローカルエリアネットワーク１１０内のデバイスを接続し、これによりデータが受信され、処理され、宛先デバイスに転送される。スイッチ１０６は、例えば、プリンタを宛先として、コンピュータからデータを受信するように構成できる。スイッチ１０６は、データを受信し、データを処理し、データをプリンタに送信できる。スイッチ１０６は、レイヤ１スイッチ、レイヤ２スイッチ、レイヤ３スイッチ、レイヤ４スイッチ、レイヤ７スイッチ等であってもよい。レイヤ１ネットワークデバイスは、データを転送するが、デバイスを通過するトラフィックは管理しない。レイヤ１ネットワークデバイスの例は、イーサネットハブである。レイヤ２ネットワークデバイスは、ハードウェアアドレスを使用してデータリンクレイヤ（レイヤ２）でデータを処理及び転送するマルチポートデバイスである。レイヤ３スイッチは、通常ルータによって実行される機能の一部又は全てを実行できる。但し、一部のネットワークスイッチは、単一タイプの物理ネットワーク、通常は、イーサネットをサポートするように制限されており、一方、ルータは、異なるポート上の異なる種類の物理ネットワークをサポートする場合がある。

【0036】

ルータ１１２は、コンピュータネットワーク間でデータパケットを転送するネットワーキングデバイスである。図１に示す例示的なシステム１００において、ルータ１１２は、ローカルエリアネットワーク１１０間でデータパケットを転送する。但し、ルータ１１２は、必ずしもローカルエリアネットワーク１１０間のデータパケットの転送に適用される必要はなく、ワイドエリアネットワーク等の間のデータパケットの転送に使用してもよい。ルータ１１２は、インターネット上でトラフィックダイレクション機能（traffic direction function）を実行する。ルータ１１２は、銅ケーブル、光ファイバ、又は無線伝送等の異なるタイプの物理レイヤ接続のためのインターフェースを有してもよい。ルータ１１２は、異なるネットワークレイヤ伝送規格をサポートできる。各ネットワークインターフェースを使用することによって、データパケットをある伝送システムから別の伝送システムに転送できる。また、ルータ１１２は、それぞれが異なるネットワークプレフィックスを有する、サブネットと呼ばれるコンピュータデバイスの２以上の論理グループを接続するために使用してもよい。図１に示すように、ルータ１１２は、企業内、企業とインターネットとの間、又はインターネットサービスプロバイダのネットワーク間の接続を提供できる。幾つかのルータ１１２は、様々なインターネットサービスプロバイダを相互接続するように構成してもよく、大規模な企業ネットワーク内で使用してもよい。より小さいルータ１１２は、一般に、ホームネットワーク及びオフィスネットワークのインターネットへの接続を提供する。図１に示すルータ１１２は、エッジルータ、サブスクライバエッジルータ、プロバイダ間ボーダルータ、コアルータ、インターネットバックボーン、ポート転送、音声／データ／ファックス／ビデオ処理ルータ等のネットワーク伝送に適した任意のルータを表すことができる。

【0037】

インターネットサービスプロバイダ（ＩＳＰ）１０２は、インターネットへのアクセス、利用、又は参加のためのサービスを提供する組織である。ＩＳＰ１０２は、商用、コミュニティ所有、非営利、又は個人所有等の様々な形態で組織化できる。ＩＳＰ１０２によって一般的に提供されるインターネットサービスは、インターネットアクセス、インターネット中継、ドメイン名登録、ウェブホスティング、ユースネットサービス、及びコロケーションを含む。図１に示すＩＳＰ１０２は、ホスティングＩＳＰ、中継ＩＳＰ、仮想ＩＳＰ、無料ＩＳＰ、無線ＩＳＰ等の任意の適切なＩＳＰを表すことができる。

【0038】

ネットワークサービスプロバイダ（ＮＳＰ）１０４は、インターネットサービスプロバイダへの直接のインターネットバックボーンアクセスを提供することによって、帯域幅又はネットワークアクセスを提供する組織である。ネットワークサービスプロバイダは、ネットワークアクセスポイント（network access point：ＮＡＰ）へのアクセスを提供できる。ネットワークサービスプロバイダ１０４は、バックボーンプロバイダ又はインターネットプロバイダとも呼ばれる。ネットワークサービスプロバイダ１０４は、電気通信業者、データキャリア、無線通信プロバイダ、インターネットサービスプロバイダ、及び高速インターネットアクセスを提供するケーブルテレビ運営業者を含むことができる。また、ネットワークサービスプロバイダ１０４は、情報技術業者を含むこともできる。

【0039】

図１に示すシステム１００は、単なる例示であり、ネットワークと演算デバイスとの間でデータを伝送するために多くの異なる構成及びシステムを構築できる。ネットワーク形成は、カスタマイズ可能性（customizability）が高いため、コンピュータ間又はネットワーク間でデータを伝送するための最良のルートを判定する際にも、カスタマイズ可能性をより高めることが望まれている。以上の観点から、ここでは、コンピュータ又は特定の企業の特定のグループ化に良好に適合する最適パスアルゴリズムを判定する際に、カスタマイズ可能性をより高めるために、最適パス計算を外部デバイスにオフロードするためのシステム、方法、及びデバイスを開示する。

【0040】

図２は、従来技術で知られている集中型ゲートウェイを有するアーキテクチャ２００の概略図である。アーキテクチャ２００は、リーフ／スパインネットワークトポロジ内のスパインノード及びリーフノードを含む。サブネット間ルーティングは、スパインノード又はアグリゲーションレイヤで実行される。リーフノードは、複数の仮想マシンに接続される。集中型ゲートウェイアーキテクチャ２００は、スパインレイヤ、リーフレイヤ、及びアクセスレイヤを含むことができる。アグリゲーションレイヤにＬ２－Ｌ３境界（L2-L3 boundary）があってもよく、コアレイヤにデータセンタ限界（datacenter perimeter）があってもよい。図２に示すアーキテクチャでは、スパインＳ１及びスパインＳ２を含むスパインレイヤがコアレイヤとして機能してもよい。リーフ（アグリゲーション）レイヤ上には、イーサネット仮想プライベートネットワーク（ＥＶＰＮ）を介するレイヤ２拡張がある。

【0041】

集中型ゲートウェイアーキテクチャ２００には、多くの欠点がある。スパインレイヤにＬ２－Ｌ３境界があり、スケールボトルネックが発生する可能性がある。これは、更に、アーキテクチャ２００に単一点障害を引き起こす。更に、集中型ゲートウェイアーキテクチャ２００のリーフノードでは、多数の動作上の複雑性が存在する。複雑性の１つは、アーキテクチャ２００が、ＭＡＣ及びＡＲＰエイジアウト、プローブ、サイレントホスト、及び移動の予測不能な性質に対処しなければならないことである。更に、アーキテクチャ２００は、オーバーレイＡＲＰをフラッディングし、オーバーレイブリッジに亘って、全てのホストのＩＰ及びＭＡＣ転送エントリの両方を移入するように構成する必要がある。更に、アーキテクチャ２００は、ＭＬＡＧについてＭＡＣアドレスとＡＲＰを同期させ、ＭＬＡＧについてフィルタリング及び選択を実行するように構成する必要がある。

【0042】

図３は、従来技術で知られている分散型エニキャストルータ上に分散型エニキャストＬ３ゲートウェイを有するアーキテクチャ３００の概略図である。アーキテクチャ３００は、ワークロードのための第１ホップゲートウェイ機能を提供する。その結果、Ｌ２－Ｌ３境界上のサービスレイヤは、リーフノード上の分散型エニキャストルータによってサービスされる。換言すれば、ワークロードホスト仮想マシンからの全てのサブネット間ＶＰＮ情報トラフィックは、分散型エニキャストルータにおいてルーティングされる。仮想マシンのモビリティと柔軟なワークロード配置は、ルーテッドネットワークファブリックに亘ってレイヤ２オーバーレイをストレッチすることによって実現される。ストレッチされたレイヤ２ドメインに亘るサブネット内トラフィックは、リーフノード上でオーバーレイブリッジ（overlay bridged）される。分散型エニキャストルータは、直接接続されたホスト仮想マシンのためのＥＶＰＮ－ＩＲＢサービスを提供し、全てのオーバーレイサブネット間ＶＰＮトラフィックをルーティングし、ルーテッドファブリックアンダーレイに亘って、全てのオーバーレイサブネット内ＶＰＮトラフィックをブリッジングしてもよい。

【0043】

アーキテクチャ３００は、更に、完全なルーテッドネットワークファブリックを提供するための例示的なアーキテクチャを示している。しかしながら、図３に示すアーキテクチャ３００には、幾つかの欠点がある。例えば、この場合も、ＥＶＰＮオーバーレイが、分散型エニキャストルータ上でルーティング機能とブリッジング機能の両方を提供する必要がある。更に、分散型エニキャストルータからホストへの接続は、レイヤ２ポート経由で行われ、リーフノードは、ローカルレイヤ２スイッチングを提供する必要がある。リーフノードは、２以上の分散型エニキャストルータに亘るマルチホームホストを可能にするために、専用のＭＬＡＧ機能又はＥＶＰＮ－ＬＡＧ機能をサポートする必要がある。更に、ホスト学習をブートストラップするために、最初に、オーバーレイに亘ってＡＲＰ要求をフラッディングする必要がある。

【0044】

特に、ＭＬＡＧ又はＥＶＰＮ－ＬＡＧベースのマルチホーミングのために、分散型エニキャストルータで複雑なレイヤ２機能をサポートすることが必要になる。例えば、ホストＭＡＣは、何れかのリーフノードのデータプレーンで学習され、全ての冗長分散型エニキャストルータに亘って同期される必要がある。同様に、ホストＡＲＰバインディングは、何れかの分散型エニキャストルータでＡＲＰフラッディングを介して学習され、全ての冗長分散型エニキャストルータに亘って同期される必要がある。冗長分散型エニキャストルータに亘るスプリットホライズンフィルタリングメカニズムを介したＢＵＭトラフィックについて、ＭＬＡＧトポロジから生じる物理ループを防止する必要がある。更に、ＢＵＭパケットが重複してマルチホームホストに転送されることを防ぐために、分散型エニキャストルータ上で指定フォワーダ選択メカニズムをサポートする必要がある。

【0045】

上記のそれぞれに対してＥＶＰＮ手順が規定されているが、ＥＶＰＮ－ＩＲＢベースのソリューションの全体的な実装及び運用の複雑性が全てのユースケースについて望ましいとは限らない。したがって、ここでは、代替のソリューションを提供及び説明する。例えば、分散型エニキャストルータでオーバーレイブリッジング機能をサポートする必要がなくなる。同様に、このアーキテクチャは、分散型エニキャストルータとホスト間のレイヤ２ＭＬＡＧ接続及び関連する複雑な手順を不要にし、また、分散型エニキャストルータ上のデータプレーン及びＡＲＰベースのホスト学習を不要にしながら、ＩＰユニキャストのサブネット間及びサブネット内ＶＰＮ接続、ＶＭモビリティ、及びストレッチされたＩＰサブネットに亘る柔軟なワークロード配置を提供する。

【0046】

図４は、決定的ホスト学習及びホストマシン上のローカライズされた統合ルーティング及びブリッジングを有するホストルーテッドオーバーレイのためのアーキテクチャ４００の概略図である。アーキテクチャ４００は、レイヤ３インターフェースとして機能するリーフノードリンクを有する仮想顧客エッジ（ＣＥ）ルータを含む。レイヤ２ＰＥ－ＣＥは存在しない。仮想ＣＥルータ上のリーフノードのレイヤ３サブネットアドレスは、ローカルにスコープされ、ボーダゲートウェイプロトコル（ＢＧＰ）ルーティングにおいて再配布されない。図示のように、仮想ＣＥルータは、ベアメタルサーバ上に配置され、同じくベアメタルサーバ上に配置された１以上の仮想マシンと通信する。一実施形態では、仮想ＣＥルータ及び１以上の仮想マシンは、同じ物理ベアメタルサーバ上に配置される。仮想ＣＥルータは、同じベアメタルサーバ上にある１以上の仮想マシンと通信する。仮想ＣＥルータは、リーフ／スパインネットワークトポロジ内の１以上のリーフノードと通信する。仮想ＣＥルータと通信する各リーフノードは、図４～図１０に示すように、仮想ＣＥルータへの専用通信回線を有する。レイヤ２とレイヤ３の境界（Ｌ２／Ｌ３境界）は、仮想ＣＥルータに存在する。

【0047】

図４に示す例では、２つのベアメタルサーバのそれぞれに１つの仮想ＣＥルータがある。ベアメタルサーバは、更に、複数の仮想マシンを含む。一方の仮想ＣＥルータには、エニキャストゲートウェイＭＡＣ（Anycast gateway MAC：ＡＧＭ）１０．１．１．１／２４及び１２．１．１．１／２４を含む２個のサブネットがある。エニキャストゲートウェイＭＡＣ（ＡＧＭ）ボックスは、仮想ＣＥルータの内部にある。ベアメタルサーバ上の仮想ＣＥルータと１以上の仮想マシン間のインターフェースは、Ｌｉｎｕｘハイパーバイザで作成できる。仮想ＣＥルータは、リーフノードへの物理接続を含む。図４に示す例では、１つの仮想ＣＥルータは、リーフノードＬ１及びＬ２への物理接続を含む。これは、アドレス１５．１．１．１を有するリーフＬ１との間の物理接続が、アドレス１５．１．１．２を有する仮想ＣＥルータで終端していることによって示されている。これは、更に、アドレス１４．１．１．１を有するリーフＬ２との間の物理接続が、アドレス１４．１．１．２を有する仮想ＣＥルータで終端していることによって示されている。これは、更に、アドレス１５．１．１．１を有するリーフＬ３との間の物理接続が、アドレス１５．１．１．２を有する仮想ＣＥルータで終端していることによって示されている。これは、更に、アドレス１４．１．１．１を有するリーフＬ４との間の物理接続が、アドレス１４．１．１．２を有する仮想ＣＥルータで終端していることによって示されている。

【0048】

図４～図１０に示すアーキテクチャは、図２及び図３に示すアーキテクチャを含む従来技術において知られているアーキテクチャよりも多くの利点を有する。従来、レイヤ２リンクは、サーバとリーフノードの間に作成される。このレイヤ２リンクは、従来技術で知られているアーキテクチャにおいて多くの問題を引き起こす。図４～図１０に示すアーキテクチャは、Ｌ２－Ｌ３境界を仮想ＣＥルータに移動させ、図２及び図３に示すアーキテクチャに存在することが知られている多くの問題を回避する。例えば、仮想ＣＥルータと仮想マシンを同一のサーバボックス上に置くことにより、機能がローカライズされ、従来技術で知られているサーバからリーフノードへのレイヤ２リンクを排除できる。図４～図１０に示すアーキテクチャは、ベアメタルサーバから複数のリーフノードのそれぞれへのレイヤ３ルータリンクを導入する。これにより、リーフノードの機能が単純化され、各リーフノードでレイヤ２終端を行うことなく同じ機能が実現される。

【0049】

アーキテクチャ４００は、リーフノードＬ１、Ｌ２、Ｌ３、Ｌ４と通信するスパインノードＳ１、Ｓ２を含む。リーフノードＬ１のアドレスは、１５．１．１．１、リーフノードＬ２のアドレスは、１４．１．１．１、リーフノードＬ３のアドレスは、１５．１．１．１、リーフノードＬ４のアドレスは、１４．１．１．１である。ノードＬ１及びＬ２は、仮想顧客エッジ（ＣＥ）ルータと通信する。仮想ＣＥルータは、仮想マシンと共にベアメタルサーバ上に配置される。ノードＬ３及びＬ４は、仮想顧客エッジ（ＣＥ）ルータと通信する。Ｌ２－Ｌ３境界は、仮想ＣＥルータレベルに存在する。仮想ＣＥルータは、図に示すように、ＶＭ－ａ、ＶＭ－ｂ、ＶＭ－ｃ、ＶＭ－ｄ、ＶＭ－ｅ、ＶＭ－ｆ、ＶＭ－ｇ、及びＶＭ－ｈを含む複数の仮想マシンと通信する。

【0050】

ホスト仮想マシンのＩＰ－ＭＡＣバインディングは、従来、ＡＲＰを介して第１ホップゲートウェイ上で学習される。但し、ストレッチされたサブネットのシナリオでは、ＡＲＰベースの学習のために、ＡＲＰ要求をオーバーレイに亘ってフラッディングして、ローカル仮想ＣＥルータでホスト学習をブートストラップすることが必要になる。これには、レイヤ２オーバーレイフラッドドメインが必要である。リーフノードに亘るレイヤ２オーバーレイ及びＡＲＰベースのホスト学習への依存を回避するために、仮想マシン外部インターフェース上に構成されたホスト仮想マシンＩＰ及びＭＡＣバインディングは、ハイパーバイザに晒されることによってサーバ上のＬ３ＤＬによって受動的に学習される必要がある。これにより、直接接続されたホスト仮想マシンのバインディングが常に事前に認識される。また、これにより、収集処理（glean processing）とフラッディングが不要になる。ローカルＶＭ ＩＰホストルート（オーバーレイホストルート）は、Ｌ３ＤＬによってハイパーバイザからリーフノードにリレーされる。

【0051】

アーキテクチャ４００は、ホストからのレイヤ２を終端する小さな仮想ＣＥルータをサーバ上に導入する。仮想ＣＥルータは、ローカルホスト仮想マシンのためのＩＲＢサービスを提供する。仮想ＣＥルータは、デフォルトルートを介するリーフノードへのＥＣＭＰレイヤ３リンクを介して、外部ホスト仮想マシンに全てのトラフィックをルーティングする。仮想ＣＥルータは、ホストの起動時にホスト仮想マシンインターフェースのＩＰアドレスとＭＡＣアドレスを学習する。ローカルＶＭ ＩＰホストルート（オーバーレイホストルート）は、Ｌ３ＤＬによってハイパーバイザからリーフノードにリレーされる。リーフノードは、ボーダゲートウェイプロトコル（ＢＧＰ）を介してリモートリーフノードにローカルホストルートをアドバタイズする。

【0052】

一実施形態では、リーフノードにおけるサブネット内フロー及びサブネット間フローの両方のホストルーティングを介してサブネットストレッチが可能になる。仮想ＣＥルータは、リーフノードを介してサブネット内フローをホストルーティングするプロキシＡＲＰとして構成される。仮想ＣＥルータは、全ての場所で同じエニキャストゲートウェイＩＰアドレス及びＭＡＣアドレスを使用して構成できる。アーキテクチャ４００は、リーフノードにおいて適用されるＥＶＰＮホストモビリティ手順を提供する。アーキテクチャ４００は、ストレッチされたサブネットに亘る柔軟なワークロード配置及び仮想マシンモビリティを可能にする。

【0053】

アーキテクチャ４００では、起動時にエンドツーエンドのホストルーティングが設定される。サブネット間トラフィックフロー及びサブネット内トラフィックフローは、エンドツーエンドのホストルーティングを介して、ストレッチされたサブネットに亘ってイネーブルになる。これは、非決定的なデータプレーン及びＡＲＰベースの学習に依存しない。

【0054】

アーキテクチャ４００は、Ｌ３ＤＬを介して仮想顧客エッジルータ（仮想ＣＥルータ）にローカルホスト学習を提供する。ＥＶＰＮホストルーティングは、オーバーレイに亘って実行される。ＥＶＰＮは、レイヤ３ホストモビリティ及びレイヤ３マスウィズドロウ（layer-3 mass withdraw）を有する。アーキテクチャ４００は、ボーダゲートウェイプロトコル（ＢＧＰ）に再配布されないプライベートサブネットを提供する。アーキテクチャ４００では、第１ホップエニキャストゲートウェイがローカルＩＲＢサービスを提供する。

【0055】

仮想ＣＥルータは、直接接続された全てのホスト仮想マシンのＡＲＰプロキシとして構成でき、これにより、サブネット間トラフィックフロー及びサブネット内トラフィックフローをルーティングできる。仮想ＣＥルータは、仮想ＣＥルータがマルチホームされる一連のアップストリームリーフノードを指すデフォルトルートを使用して構成できる。全てのベアメタルサーバ上で同じエニキャストゲートウェイＭＡＣを使用して仮想ＣＥルータを構成することにより、ＤＣファブリックに亘ってホスト仮想マシンのモビリティを実現できる。仮想ＣＥルータは、サーバ側接続サブネットをＤＣ側ルーティングプロトコルに再配布しなくてもよく、これにより、サーバリンクのＩＰアドレス指定オーバーヘッドが回避される。仮想ＣＥルータは、ＶＬＡＮ内のホスト仮想マシンのためのデフォルトゲートウェイとして提供されたハイパーバイザ内に存在できる。仮想ＣＥルータを独立したルータ仮想マシンとし、ルータ仮想マシンがＶＬＡＮ内のホスト仮想マシンのためのデフォルトゲートウェイとして提供されるようにしてもよい。

【0056】

一実施形態では、リーフノードは、ローカル接続された仮想ＣＥルータから学習したホストルートを、ＥＶＰＮオーバーレイに亘って、ＥＶＰＮ ＲＴ－５としてアドバタイズする必要がある。ＥＶＰＮモビリティ手順をＥＶＰＮ ＲＴ－５に拡張して、ホスト仮想マシンモビリティを実現してもよい。ＥＶＰＮマスウィズドロウ（EVPN mass withdraw）手順をＥＶＰＮ ＲＴ－５に拡張して、コンバージェンスを高速化してもよい。

【0057】

ここで説明する実施形態は、リーフノード上でのオーバーレイブリッジ機能のサポートを不要にする。更に、ここで説明する実施形態は、リーフノードとホストとの間のレイヤ２ＭＬＡＧ接続及び関連する複雑な手順を不要にする。更に、ここで説明する実施形態は、リーフノード上でのデータプレーン及びＡＲＰベースのホスト学習を不要にする。ここに開示する実施形態は、これらの利点を実現すると共に、ＩＰユニキャストのサブネット間及びサブネット内ＶＰＮ接続性、仮想マシンモビリティ、及びストレッチされたＩＰサブネットに亘る柔軟なワークロード配置を提供する。

【0058】

本開示の実施形態は、ローカルレイヤ２スイッチング及びＩＲＢ機能をリーフノードから分離し、ベアメタルサーバ上の小さな仮想ＣＥルータにこれらをローカライズする。これは、ベアメタルサーバ上で小さな仮想ルータＶＭを実行することで実現され、この仮想ルータＶＭは、ホスト仮想マシンのための第１ホップゲートウェイとして機能し、ベアメタルサーバに対してローカルな仮想マシン間に亘るローカルＩＲＢスイッチングを提供する。この仮想ルータは、リーフノード上のレイヤ３ルーテッドインターフェースを介して複数のリーフノードにマルチホームできる従来型のＣＥルータとして動作する。ファブリック内のリーフノードは、いかなるレイヤ２ブリッジング又はＩＲＢ機能も持たない純粋なレイヤ３ＶＰＮＰＥルータとして機能する。最適なルーティングを提供しながら、ＤＣオーバーレイに亘るレイヤ３エンドポイントの柔軟な配置とモビリティを可能にするために、トラフィックをサブネットルーティングではなくリーフノード上でホストルーティングできる。これは、ＥＶＰＮ－ＩＲＢの場合である。

【0059】

図５は、ブートアップ時のホスト学習を示すアーキテクチャ４００の概略図である。Ｌ３ＤＬを介して学習されたホスト仮想マシンルートは、ＦＩＢにインストールされ、ネクストホップとして仮想ＣＥルータを指す。マルチテナント機能がない場合（ＶＰＮなしの場合）、ホスト仮想マシンルートは、ＢＧＰグローバルルーティングを介してリモートリーフノードにアドバタイズされる。マルチテナント機能がある場合、ホスト仮想マシンルートは、ＶＸＬＡＮやＭＰＬＳ等のＶＰＮカプセル化を使用して、ＢＧＰ－ＥＶＰＮ ＲＴ－５を介してリモートリーフノードにアドバタイズされる。したがって、他の任意のルーティングプロトコルをオーバーレイルーティングプロトコルとして展開することもできる。

【0060】

一実施形態では、オーバーレイに亘るサブネット拡張は、サブネット内トラフィックを、仮想ＣＥルータでルーティングし、次にリーフノードでルーティングすることによってイネーブルにされる。仮想ＣＥルータでレイヤ２を終端するためには、仮想ＣＥルータをホスト仮想マシンサブネットのためのＡＲＰプロキシとして構成し、サブネット内トラフィックとサブネット間トラフィックの両方を仮想ＣＥルータ、次にリーフノードでルーティングできるようにする必要がある。

【0061】

一実施形態では、ＩＰアドレス指定のオーバーヘッドを回避するために、サーバへのレイヤ３リンクに使用されるＩＰサブネットをローカルにスコープする必要がある。換言すれば、サーバ側接続サブネットがノースバウンドルーティング（northbound routing）プロトコルに再配布されないようにする必要がある。

【0062】

一実施形態では、マルチテナント機能を実現するために、仮想ＣＥルータの第１ホップゲートウェイ上のオーバーレイレイヤ３ＶＬＡＮ／ＩＲＢインターフェースをテナントＶＲＦに接続する必要がある。更に、仮想ＣＥルータとリーフノードとの間でルーテッドＶＸＬＡＮ／ＶＮＩカプセル化を使用して複数のテナントトラフィックを分離する。更に、リーフノードに送信されたＬ３ＤＬオーバーレイホストルートをリーフノード上の正しいＶＰＮ／ＶＲＦテーブルにインストールするには、Ｌ３ＤＬオーバーレイホストにレイヤ３ＶＮＩ ＩＤも含める必要がある。このＶＮＩ ＩＤは、ルートを識別して正しいＶＲＦにインストールするためにリーフノードで使用される。

【0063】

図６は、ＰＥ分散型エニキャストルータのためのプロトコル６００を示す。図６は、更に、リーフノードＬ１及びＬ２の転送テーブルを示す。プロトコル６００では、Ｌ３ＤＬを介して学習されたホスト仮想マシンルートは、結果として生じるＦＩＢ状態における仮想ＣＥルータネクストホップを指すＦＩＢにインストールされる。マルチテナント機能がない場合（ＶＰＮなしの場合）、ホスト仮想マシンルートは、ＢＧＰグローバルルーティングを介してリモートの分散型エニキャストルータにアドバタイズされる。マルチテナント機能がある場合、ホスト仮想マシンルートは、ＶＸＬＡＮやＭＰＬＳ等のＶＰＮカプセル化を使用して、ＢＧＰ－ＥＶＰＮ ＲＴ－５を介してリモートの分散型エニキャストルータにアドバタイズされる。

【0064】

図７は、ＡＲＰプロキシとしての仮想ＣＥルータのためのプロトコル７００の概略図である。プロトコル７００では、オーバーレイに亘るサブネット拡張は、サブネット内トラフィックを、仮想ＣＥルータでルーティングし、次にリーフノードでルーティングすることによってイネーブルにされる。ハイパーバイザ仮想ＣＥルータでレイヤ２を終端するには、仮想ＣＥルータをホスト仮想マシンサブネットのためのＡＲＰプロキシとして構成し、サブネット内トラフィックとサブネット間トラフィックの両方を仮想ＣＥルータ、次に分散型エニキャストルータでルーティングできるようにする必要がある。

【0065】

図８Ａ及び図８Ｂは、サーバローカルフローのプロトコルを示している。図８Ａは、サブネット内フローのためのプロトコルを示し、図８Ｂは、サブネット間フローのためのプロトコルを示している。仮想ＣＥルータは、マルチホームされている一連のアップストリームリーフノードを指すデフォルトルートを使用して構成される。

【0066】

図８Ａに示すプロトコルでは、ホストからホストのフローは、ベアメタルサーバプロトコルに対してローカルであり、一旦仮想ＣＥルータが全てのホストＶＭ隣接関係を学習し、ＡＲＰプロキシとして構成されると、ベアメタルサーバに対してローカルなホストＶＭに亘るサブネット間及びサブネット内フローの両方が、仮想ＣＥルータでレイヤ２終端され、ローカルの宛先ホストＶＭにルーティングされる。図８Ａにおいて、エニキャストゲートウェイ（ＡＧＷ）を介して１２．１．１．１にオブジェクトを送信するデフォルトゲートウェイ（ＧＷ）は、１２．１．１．２→ｖｅｔｈ２、エニキャストゲートウェイ媒体アクセス制御（ＡＧＷ＿ＭＡＣ）である。

【0067】

図８Ｂに示すサブネット間フロープロトコルでは、ホストからホストのフローは、ベアメタルサーバプロトコルに対してローカルであり、一旦仮想ＣＥルータが全てのホストＶＭ隣接関係を学習し、ＡＲＰプロキシとして構成されると、ベアメタルサーバに対してローカルなホストＶＭに亘るサブネット間及びサブネット内フローの両方が、仮想ＣＥルータでレイヤ２終端され、ローカルの宛先ホストＶＭにルーティングされる。

【0068】

図９Ａ及び図９Ｂは、オーバーレイフローのためのプロトコルを示す。図９Ａは、１２．１．１．４から１２．１．１．２へのサブネット内オーバーレイフローのためのプロトコルを示している。図９Ｂは、１２．１．１．４から１０．１．１．２へのサブネット間オーバーレイフローのためのプロトコルを示している。

【0069】

図９Ｂに示すプロトコルでは、ホストからホストへのオーバーレイサブネット間フローは、リーフノードを通過する。このプロトコルでは、仮想ＣＥルータは、マルチホームされている一連のアップストリーム分散型エニキャストルータを指すデフォルトルートを使用して構成される。ホストＶＭからの全てのアウトバウンドサブネット間及びサブネット内トラフィックは、図９Ａ及び図９Ｂに示すように、レイヤ２ＬＡＧを介してハッシュされる代わりに、この仮想ＣＥによって、Ｌ３ＥＣＭＰリンクを介してアップストリームリーフノードにルーティングされる。リーフノードは、レイヤ２ブリッジング又はＩＲＢ機能を全く使用しない純粋なレイヤ３ルータとして動作する。同じリーフノードに接続された複数のサーバに亘る水平（east-west）フローは、リーフノードによって宛先仮想ＣＥネクストホップにローカルにルーティングされる。

【0070】

図９Ａ及び図９Ｂに示すプロトコルは、リーフノードを介するホストからホストへのオーバーレイフローを含むことができる。このプロトコルでは、異なる分散型エニキャストルータに接続された複数のサーバを介する水平フロー（サブネット間とサブネット内の両方）は、デフォルトルートを介して仮想ＣＥルータからローカルリーフノードにルーティングされ、次に、リーフノードにおいて、ＥＶＰＮ ＲＴ－５を介して学習されたホストルートに基づいて、ルーテッドオーバーレイを介して、宛先／ネクストホップリーフノードにルーティングされる。リーフノードからリーフノードへのルーティングは、サブネットがオーバーレイに亘ってストレッチされていない場合に限り、ホストルートに代えて、集約されたルート又はサブネットルートに基づいて行われる。垂直フロー（ＤＣ外部の宛先）は、境界リーフ／ＤＣＩ ＧＷに向かうリーフノード上のＶＲＦ毎のデフォルトルートを介してルーティングできる。

【0071】

図１０に示す別のプロトコルは、リーフノードサーバリンク障害を識別する。このプロトコルは、代替となる冗長メカニズムとして使用できる。ルーテッドバックアップリンクは、リーフノード間に設定され、サーバ側のオーバーレイホストルートのバックアップ障害パスとして事前にプログラムされる。リーフノードサーバリンク障害が発生すると、バックアップパスが、同じＶＬＡＮ（ＶＮＩ）カプセル化に関連付けられた所定のＶＲＦについて、プレフィックスに依存しない形式でアクティブ化される。

【0072】

図１０に示すプロトコルでは、ホストＶＭからのアウトバウンドトラフィックは、リンク障害に続いて、仮想ＣＥルータが障害発生パスをデフォルトルートＥＣＭＰパスセットから削除する結果としてコンバージェンスする。ＤＣオーバーレイからのインバウンドトラフィックは、Ｌ３ＤＬが学習したホストルートが削除され、影響を受けるリーフノードからウィズドロウされた結果としてコンバージェンスする。但し、このコンバージェンスは、ホストルートスケールに依存する。プレフィックスに依存しないコンバージェンスを実現するには、ＥＶＰＮマスウィズドロウ（EVPN mass withdraw）メカニズムをＩＰホストルートに拡張する必要がある。ＥＳＩ構成は、冗長グループ内の分散型エニキャストルータからのレイヤ３のセットに関連付けられる。ローカルＥＳＩ到達可能性は、ＥＳＩ毎のＥＡＤ ＲＴ－１を介してリモートの分散型エニキャストルータにアドバタイズされる。図１０に示すように、このルートを介して、リモートの分散型エニキャストルータで間接転送（forwarding indirection）が確立され、ＥＳＩ障害の後、ローカルの分散型エニキャストルータからの単一ＲＴ－１ウィズドロウでの高速コンバージェンスが可能になる。

【0073】

図１０に示すプロトコルは、サーバリンク障害の場合に実装してもよい。リンク障害に続いて、仮想ＣＥルータが障害発生パスをデフォルトルートＥＣＭＰパスセットから削除した結果として、ホスト仮想マシンからの発信トラフィックをコンバージェンスさせてもよい。ＤＣオーバーレイからのインバウンドトラフィックは、Ｌ３ＤＬが学習したホストルートが削除され、影響を受けるリーフノードからウィズドロウされた結果としてコンバージェンスする。但し、このコンバージェンスは、ホストルートスケールに依存する。プレフィックスに依存しないコンバージェンスを実現するには、ＥＶＰＮマスウィズドロウメカニズムをＩＰホストルートに拡張する必要がある。ＥＳＩ構成は、冗長グループ内のリーフノードからのレイヤ３リンクのセットに関連付けられる。ローカルＥＳＩ到達可能性は、ＥＳＩ毎のＥＡＤ ＲＴ－１を介してリモートリーフノードにアドバタイズされる。このルートを介して、リモートリーフノードで間接転送が確立され、ＥＳＩ障害の後、ローカルリーフノードからの単一ＲＴ－１ウィズドロウでの高速コンバージェンスが可能になる。

【0074】

ホスト仮想マシンからの全てのアウトバウンドサブネット間及びサブネット内トラフィックは、レイヤ２ＬＡＧに亘ってハッシュされる代わりに、この仮想ＣＥルータによって、レイヤ３ＥＣＭＰリンクを介してアップストリームリーフノードにルーティングされる。リーフノードは、レイヤ２ブリッジング又はＩＲＢ機能を全く使用しない純粋なレイヤ３ルータとして動作する。同じリーフノードに接続された複数のサーバに亘る水平フローは、リーフノードによって宛先仮想ＣＥルータネクストホップにローカルにルーティングされる。

【0075】

異なるリーフノードに接続された複数のサーバを介する水平フロー（サブネット間とサブネット内の両方）は、デフォルトルートを介して仮想ＣＥルータからローカルリーフノードにルーティングされ、次に、リーフノードにおいて、ルーテッドオーバーレイを介して宛先にルーティングされる。ネクストホップリーフノードは、ＥＶＰＮ ＲＴ－５を介して学習されたホストルートに基づく。リーフノードからリーフノードへのルーティングは、サブネットがオーバーレイに亘ってストレッチされていない場合に限り、ホストルートに代えて、集約されたルート又はサブネットルートに基づいて行われる。

【0076】

ＤＣ外部の宛先への垂直フローは、リーフノード上のＶＲＦ毎のデフォルトルートを介して境界リーフに向けてルーティングしてもよい。

【0077】

別のプロトコルは、単純化及びスケーリング実施形態を提供する。この実施形態では、仮想ＣＥ上にローカライズされた第１ホップＧＷに応答して、リーフノードは、ホストＭＡＣルートをインストールせず、分散型エニキャストルータ上の転送リソースを節約する。更に、リーフノード上のデフォルトルーティングでは、仮想ＣＥは、各ベアメタルサーバに対してローカルなホストＶＭへの隣接関係のみを維持する。これにより、全てのブリッジング及びＭＬＡＧ機能がリーフノードから完全に削除され、操作が単純になり、信頼性が向上する。仮想ＣＥと分散型エニキャストルータとの間の決定的プロトコルベースのホストルート学習を使用すると、分散型エニキャストルータ上では、ＥＶＰＮエイリアシング手順が不要になり、仮想ＣＥとリーフノードとの間の決定的プロトコルベースのホストルート学習を使用すると、オーバーレイに亘るＡＲＰフラッディングが不要になる。更に、仮想ＣＥと分散型エニキャストルータとの間の決定的プロトコルベースのホストルート学習を使用することにより、未知のユニキャストフラッディングが不要になる。そして、仮想ＣＥとリーフノードとの間のレイヤ３ＥＣＭＰリンクにより、ＥＶＰＮ ＤＦ選定（EVPN DF election）及びスプリット水平フィルタリング手順が不要になる。

【0078】

図１１は、例示的な演算デバイス１１００のブロック図を示している。演算デバイス１１００を使用して、ここで説明するような様々な手順を実行できる。一実施形態では、演算デバイス１１００は、非同期オブジェクトマネージャの機能を実行するように機能でき、１以上のアプリケーションプログラムを実行できる。演算デバイス１１００は、デスクトップコンピュータ、インダッシュコンピュータ、車両制御システム、ノートブックコンピュータ、サーバコンピュータ、ハンドヘルドコンピュータ、タブレットコンピュータ等の多種多様な演算デバイスの何れであってもよい。

【0079】

演算デバイス１１００は、１以上のプロセッサ１１０２と、１以上のメモリデバイス１１０４と、１以上のインターフェース１１０６と、１以上の大容量ストレージデバイス１１０８と、１以上の入出力デバイス１１１０と、表示デバイス１１３０とを含み、これらは、全てバス１１１２に接続されている。プロセッサ１１０２は、メモリデバイス１１０４及び／又は大容量ストレージデバイス１１０８に格納された命令を実行する１以上のプロセッサ又はコントローラを含む。また、プロセッサ１１０２は、キャッシュメモリ等の種々のタイプのコンピュータ可読媒体を含むことができる。

【0080】

メモリデバイス１１０４は、揮発性メモリ（例えば、ランダムアクセスメモリ（random access memory：ＲＡＭ）１１１４）及び／又は不揮発性メモリ（例えば、読出専用メモリ（read-only memory：ＲＯＭ）１１１６）等の種々のコンピュータ可読媒体を含む。また、メモリデバイス１１０４は、フラッシュメモリ等の書換可能ＲＯＭを含むことができる。

【0081】

大容量ストレージデバイス１１０８は、磁気テープ、磁気ディスク、光ディスク、ソリッドステートメモリ（フラッシュメモリ等）等の種々のコンピュータ可読媒体を含む。図１１に示すように、具体的な大容量ストレージデバイスは、ハードディスクドライブ１１２４である。大容量ストレージデバイス１１０８には、種々のコンピュータ可読媒体からの読出及び／又は種々のコンピュータ可読媒体への書込を可能にするために、種々のドライブを含めることもできる。大容量ストレージデバイス１１０８は、リムーバブルメディア１１２６及び／又は非リムーバブルメディアを含む。

【0082】

入出力（Ｉ／Ｏ）デバイス１１１０は、データ及び／又は他の情報を演算デバイスに入力し又は演算デバイス１１００から取り出すことを可能にする様々なデバイスを含む。Ｉ／Ｏデバイス１１１０には、カーソル制御デバイス、キーボード、キーパッド、マイクロホン、モニタ又は他の表示デバイス、スピーカ、プリンタ、ネットワークインターフェースカード、モデム等が含まれる。

【0083】

表示デバイス１１３０は、演算デバイス１１００の１人以上のユーザに情報を表示できる任意のタイプのデバイスを含む。表示デバイス１１３０としては、例えば、モニタ、表示端末、映像投影デバイス等が挙げられる。

【0084】

インターフェース１１０６は、演算デバイス１１００が他のシステム、デバイス、又はコンピューティング環境とインタラクションすることを可能にする様々なインターフェースを含む。インターフェース１１０６は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、無線ネットワーク、及びインターネットへのインターフェース等、任意の数の異なるネットワークインターフェース１１２０を含むことができる。他のインターフェースは、ユーザインターフェース１１１８及び周辺デバイスインターフェース１１２２を含む。また、インターフェース１１０６は、１以上のユーザインターフェース要素１１１８を含むことができる。更に、インターフェース１１０６は、プリンタ、ポインティングデバイス（マウス、トラックパッド、又は当業者に現在知られている任意の適切なユーザインターフェース、又は今後開発される任意の適切なユーザインターフェース）、キーボード等のためのインターフェース等、１以上の周辺インターフェースを含んでもよい。

【0085】

バス１１１２は、プロセッサ１１０２、メモリデバイス１１０４、インターフェース１１０６、大容量ストレージデバイス１１０８、及びＩ／Ｏデバイス１１１０が互いに、及びバス１１１２に接続された他のデバイス又はコンポーネントと通信することを可能にする。バス１１１２は、システムバス、ＰＣＩバス、ＩＥＥＥバス、ＵＳＢバス等の幾つかのタイプのバス構造のうちの１以上を表す。

【0086】

ここでは、説明のため、プログラム及び他の実行可能プログラム構成要素を個別のブロックとして示しているが、このようなプログラム及び構成要素は、演算デバイス１１００の異なる記憶構成要素内に様々な時点で存在してもよく、プロセッサ１１０２によって実行される。これに代えて、ここに記載のシステム及び手順は、ハードウェアで実現してもよく、ハードウェア、ソフトウェア、及び／又はファームウェアの組み合わせで実現してもよい。例えば、ここに記載のシステム及び手順の１以上を実行するように１以上の特定用途向け集積回路（application specific integrated circuit：ＡＳＩＣ）をプログラムできる。

【0087】

上記の記述は、例示及び説明を目的としている。本開示は、ここに説明する詳細な形式に排他的に限定されない。
上記の教示を参照することにより、多くの変更及び変形が可能である。更に、前述の変形例の何れか又は全ては、任意に組み合わせることができ、本開示の更なる組み合わせ例を形成できる。

【0088】

更に、本開示の具体的な実施例を説明及び図示しているが、本開示は、そのように説明及び図示された部分の具体的な形態又は配置に限定されるものではない。本開示の範囲は、本願の特許請求の範囲によって定義され、あるいは、将来に提出される特許請求の範囲、本願に基づく別出願、及びこれらの均等物があれば、これらによって定義される。

【実施例0089】

以下の実施例は、更なる実施形態に関する。

【0090】

実施例１は、システムである。システムは、サーバ上の仮想顧客エッジルータと、複数のホスト仮想マシンを含むホストルーテッドオーバーレイ（host routed overlay）とを含む。システムは、仮想顧客エッジルータから複数のリーフノードの１以上へのルーテッドアップリンクを含む。システムは、仮想顧客エッジルータが、ホストルーテッドオーバーレイの複数のホスト仮想マシンに対して、ローカライズされた統合ルーティング及びブリッジング（integrated routing and bridging：ＩＲＢ）サービスを提供するように構成されている。

【0091】

実施例２は、ホストルーテッドオーバーレイは、イーサネット仮想プライベートネットワーク（Ethernet virtual private network：ＥＶＰＮ）ホストである、実施例１におけるシステムである。

【0092】

実施例３は、ホストルーテッドオーバーレイは、ＥＶＰＮレイヤ３モビリティを備える、実施例１～２の何れかに記載のシステムである。

【0093】

実施例４は、仮想顧客エッジルータは、複数のリーフノードの１以上のための第１ホップエニキャストゲートウェイである、実施例１～３の何れかに記載のシステムである。

【0094】

実施例５は、仮想顧客エッジルータは、リーフノードへの等コストマルチパス（equal-cost multipath：ＥＣＭＰ）ルーティングリンクを介して、外部リーフノードにトラフィックをルーティングする、実施例１～４の何れかに記載のシステムである。

【0095】

実施例６は、仮想顧客エッジルータは、ホストルーテッドオーバーレイにおいて、サブネット内フローをホストルーティングするプロキシアドレス解決プロトコル（address resolution protocol：ＡＲＰ）として構成される、実施例１～５の何れかに記載のシステムである。

【0096】

実施例７は、仮想顧客エッジルータから複数のリーフノードの１以上へのルーテッドアップリンクは、レイヤ３インターフェースである、実施例１～６の何れかに記載のシステムである。

【0097】

実施例８は、仮想顧客エッジルータは、アドレスをローカルに保存し、ボーダゲートウェイプロトコル（Border Gateway Protocol：ＢＧＰ）ルーティングにおいてアドレスを再配布しない、実施例１～７の何れかに記載のシステムである。

【0098】

実施例９は、仮想顧客エッジルータは、ホストルーテッドオーバーレイのローカルインターネットプロトコル（ＩＰ）エントリ、ホストルーテッドオーバーレイの媒体アクセス制御（ＭＡＣ）エントリ、又はホストルーテッドオーバーレイへのデフォルトＥＣＭＰルートの１以上を格納するメモリを備える、実施例１～８の何れかに記載のシステムである。

【0099】

実施例１０は、ホストルーテッドオーバーレイは、ストレッチされたサブネットに対してホストルーテッドを実行するように構成される、実施例１～９の何れかに記載のシステムである。

【0100】

実施例１１は、仮想顧客エッジルータは、単一テナント物理サーバに配置される、実施例１～１０の何れかに記載のシステムである。

【0101】

実施例１２は、仮想顧客エッジルータは、単一テナント物理サーバ上で実行される仮想ルータ仮想マシンであり、複数のリーフノードの１以上のための第１ホップゲートウェイとして動作するように構成される、実施例１～１１の何れかに記載のシステムである。

【0102】

実施例１３は、複数のホスト仮想マシンは、単一テナント物理サーバ上に配置される、実施例１～１２の何れかに記載のシステムである。

【0103】

実施例１４は、仮想顧客エッジルータは、分散型エニキャストルータ上のレイヤ３ルーテッドインターフェースを介して、複数の分散型エニキャストルータにマルチホームされる、実施例１～１３の何れかに記載のシステムである。

【0104】

実施例１５は、仮想顧客エッジルータは、収集処理及びＡＲＰベースの学習に依存せずにローカルホスト仮想マシンルートを学習するように構成される、実施例１～１４の何れかに記載のシステムである。

【0105】

実施例１６は、仮想顧客エッジルータは、更に、直接接続された分散型エニキャストルータにローカルホスト仮想マシンルートをアドバタイズするように構成される、実施例１～１５の何れかに記載のシステムである。

【0106】

実施例１７は、仮想顧客エッジルータは、複数のホスト仮想マシンの１以上のＩＰバインディング及びＭＡＣバインディングを、イーサネット上のリンク状態（link state over ethernet：ＬＳｏＥ）を介して学習するように構成される、実施例１～１６の何れかに記載のシステムである。

【0107】

実施例１８は、仮想顧客エッジルータは、メモリを備え、仮想顧客エッジルータが配置されている同一のベアメタルサーバに対してローカルな１以上のホスト仮想マシンの隣接関係をメモリに格納するように構成される、実施例１～１７の何れかに記載のシステムである。

【0108】

実施例１９は、分散型エニキャストルータを備え、仮想顧客エッジルータは、仮想顧客エッジルータと分散型エニキャストルータとの間で決定的プロトコルベースのホストルート学習を行うように構成される、実施例１～１８の何れかに記載のシステムである。

【0109】

実施例２０は、仮想顧客エッジルータから複数のホストマシンの１以上へのルーテッドアップリンクは、レイヤ３等コストマルチパス（ＥＣＭＰ）ルーティングリンクである、実施例１～１９の何れかに記載のシステムである。

【0110】

実施例２１は、複数のリーフノードの１以上は、仮想プライベートネットワーク－仮想ルーティング及び転送（virtual private network-virtual routing and forwarding：ＶＰＩ－ＶＲＦ）テーブルを含む、実施例１～２０の何れかに記載のシステムである。

【0111】

実施例２２は、複数のリーフノードの１以上は、更に、複数のリーフノードの１以上で使用され、正しい仮想ルーティング及び転送テーブルにルートをインストールするためのレイヤ３仮想ネットワーク識別子（virtual network identifier：ＶＮＩ）を含む、実施例１～２１の何れかに記載のシステムである。

【0112】

なお、上述の構成、実施例、及び実施形態の任意の特徴は、ここに開示する構成、実施例、及び実施形態の何れかから得られる特徴の組み合わせを含む単一の実施形態において組み合わせることができる。

【0113】

ここに開示する種々の特徴は、当技術分野における重要な利点及び進歩を提供する。以下の特許請求の範囲は、これらの特徴の幾つかの例示である。

【0114】

本開示の前述の詳細な説明では、開示を合理化する目的で、開示の様々な特徴を１つの実施形態にまとめている。この開示方法は、特許請求された開示が各請求項において明示的に記載されている特徴よりも多くの特徴を必要とするという意図を反映していると解釈されるべきではない。すなわち、本発明の態様の特徴は、先に開示した単一の実施形態の全ての特徴よりも少ない。

【0115】

上記の構成は、本開示の原理の適用の単なる例示である。当業者は、本開示の思想及び範囲から逸脱することなく、多くの変更及び代替の構成を想到でき、特許請求の範囲は、このような修正及び構成を網羅することを意図している。

【0116】

したがって、本開示を図面に示し、上に詳細に説明しているが、ここに記載されている原理及び概念から逸脱することなく、サイズ、材料、形状、形態、機能、動作、組み立て、及び使用のバリエーションを含むと共に、これらに限定されない多数の変更を想到できることは、当業者にとって明らかである。

【0117】

更に、ここに記載される機能は、適切な場合、ハードウェア、ソフトウェア、ファームウェア、デジタルコンポーネント、又はアナログコンポーネントのうちの１以上において実行できる。例えば、１以上の特定用途向け集積回路（application specific integrated circuit：ＡＳＩＣ）又はフィールドプログラマブルゲートアレイ（field programmable gate array：ＦＰＧＡ）をプログラムして、ここに記載のシステム及び手順の１以上を実行できる。説明及び特許請求の範囲を通して、特定のシステム構成要素を指すために、特定の用語を使用している。構成要素は、異なる名称で呼ぶことができることは、当業者にとって明らかである。本文書は、名称が異なるが機能が同じコンポーネントを区別することを意図していない。

【0118】

上記の記述は、例示及び説明を目的としている。本開示は、ここに説明する詳細な形式に排他的に限定されない。上記の教示を参照することにより、多くの変更及び変形が可能である。更に、前述の変形例の何れか又は全ては、任意に組み合わせることができ、本開示の更なる組み合わせ例を形成できる。

【0119】

更に、本開示の具体的な実施例を説明及び図示しているが、本開示は、そのように説明及び図示された部分の具体的な形態又は配置に限定されるものではない。本開示の範囲は、本願の特許請求の範囲によって定義され、あるいは、将来に提出される特許請求の範囲、本願に基づく別出願、及びこれらの均等物があれば、これらによって定義される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8A】

【図8B】

【図9A】

【図9B】

【図10】

【図11】