知財求人 - 知財ポータルサイト「IP Force」
▶ オラクル・インターナショナル・コーポレイションの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-07-09
(54)【発明の名称】グラフィック処理ユニットのルーティングポリシー
(51)【国際特許分類】
H04L 45/24 20220101AFI20240702BHJP
H04L 47/125 20220101ALI20240702BHJP
【ＦＩ】
H04L45/24
H04L47/125
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023579266
(86)(22)【出願日】2022-06-23
(85)【翻訳文提出日】2024-02-07
(86)【国際出願番号】 US2022034789
(87)【国際公開番号】W WO2022271991
(87)【国際公開日】2022-12-29
(31)【優先権主張番号】63/215,264
(32)【優先日】2021-06-25
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/734,865
(32)【優先日】2022-05-02
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】502303739
【氏名又は名称】オラクル・インターナショナル・コーポレイション
(74)【代理人】
【識別番号】110001195
【氏名又は名称】弁理士法人深見特許事務所
(72)【発明者】
【氏名】ブラール，ジャグウィンダー・シング
(72)【発明者】
【氏名】ベッカー，デイビッド・デイル
(72)【発明者】
【氏名】シュレック，ルーカス
(72)【発明者】
【氏名】ユッカー，ジェイコブ・ロバート
【テーマコード（参考）】
5K030
【Ｆターム（参考）】
5K030GA13
5K030LB05
5K030LB06
(57)【要約】
本明細書では、クラウド環境内の複数のホストマシンでホストされるグラフィカル処理ユニット（ＧＰＵ）のルーティングメカニズムについて説明する。ホストマシンのＧＰＵによって送信され、ネットワーク装置によって受信されたパケットについて、ネットワーク装置は、パケットが受信されたネットワーク装置の受信ポートリンクを決定する。ネットワーク装置は、パケットに関連付けられるフロー情報を取得し、フロー情報に基づいて、ハッシュアルゴリズムに従ってネットワーク装置の発信ポートリンクを計算する。ハッシュアルゴリズムは、ネットワーク装置の特定の受信ポートリンクで受信されたパケットをハッシュして、ネットワーク装置の同じ発信ポートリンクで送信するように構成される。ネットワーク装置は、ネットワーク装置の発信ポートリンク上でパケットを転送する。
【特許請求の範囲】
【請求項1】
方法であって、ホストマシンのグラフィカル処理ユニット（ＧＰＵ）によって送信され、ネットワーク装置によって受信されたパケットについて、
前記ネットワーク装置が、前記パケットに関連付けられるフロー情報を取得することと、
前記ネットワーク装置が、前記フロー情報に基づいて、ハッシュアルゴリズムに従って前記ネットワーク装置の発信ポートリンクを計算することと、を含み、前記ハッシュアルゴリズムは、前記ネットワーク装置の特定の受信ポートリンク上で受信されたパケットをハッシュし、前記ネットワーク装置の同じ発信ポートリンク上で送信されるように構成され、
前記方法は、
前記ネットワーク装置が、前記ネットワーク装置の前記発信ポートリンク上で前記パケットを転送することをさらに含む、方法。
【請求項2】
転送する前記ステップは、前記ネットワーク装置が、前記ネットワーク装置の前記発信ポートリンクに関連する条件を確認することと、
前記条件が満たされていることに応答して、前記ネットワーク装置の前記発信ポートリンク上で前記パケットを転送することと、をさらに含む、請求項１に記載の方法。
【請求項3】
前記条件は、前記ネットワーク装置の前記発信ポートリンクがアクティブであるかどうかを決定することに対応する、請求項２に記載の方法。
【請求項4】
前記条件が満たされていないことに応答して、前記ネットワーク装置が等コストマルチパスアルゴリズムを実行して、前記フロー情報に基づいて前記ネットワーク装置の新しい発信ポートリンクを取得することと、
前記ネットワーク装置が、前記ネットワーク装置の前記新しい発信ポートリンク上で前記パケットを転送することと、をさらに含む、請求項２に記載の方法。
【請求項5】
前記ネットワーク装置は、トップオブラック（ＴＯＲ）スイッチである、請求項１に記載の方法。
【請求項6】
前記ネットワーク装置によって受信されたパケットに対して実行されるハッシュ演算に関連する情報は、転送テーブルデータベースに記憶される、請求項１に記載の方法。
【請求項7】
前記ネットワーク装置の第１の受信ポートリンクで受信される第１のパケットと第２のパケット、および前記ネットワーク装置の第２の受信ポートリンクで受信される第３のパケットと第４のパケットについて、前記ネットワーク装置は、前記ネットワーク装置が、前記ネットワーク装置の第１の発信ポートリンク上で前記第１のパケットと前記第２のパケットとを送信することと、
前記ネットワーク装置が、前記ネットワーク装置の第２の発信ポートリンク上で前記第３のパケットと前記第４のパケットを送信することと
を行うように構成され、前記ネットワーク装置の前記第１の受信ポートリンクは前記ネットワーク装置の前記第２の受信ポートリンクとは異なり、前記ネットワーク装置の前記第１の発信ポートリンクは前記ネットワーク装置の前記第２の発信ポートリンクとは異なる、請求項１に記載の方法。
【請求項8】
前記第１のパケット、前記第２のパケット、前記第３のパケット、および前記第４のパケットは、ＧＰＵワークロードに属する、請求項７に記載の方法。
【請求項9】
前記ネットワーク装置の前記第１の受信ポートリンクと前記第２の受信ポートリンクは、前記ホストマシンをトップオブラック（ＴＯＲ）スイッチに接続するリンクの第１のセットであり、前記ネットワーク装置の前記第１の発信ポートリンクと前記第２の発信ポートリンクは、前記ＴＯＲをスパインスイッチに接続するリンクの第２のセットである、請求項７に記載の方法。
【請求項10】
ネットワーク装置であって、プロセッサと、
前記プロセッサで実行されると、前記ネットワーク装置に少なくとも、
ホストマシンのグラフィカル処理ユニット（ＧＰＵ）によって送信され、ネットワーク装置によって受信されたパケットについて、
前記パケットに関連付けられるフロー情報を取得し、
前記フロー情報に基づいて、ハッシュアルゴリズムに従って前記ネットワーク装置の発信ポートリンクを計算し、前記ハッシュアルゴリズムは、前記ネットワーク装置の特定の受信ポートリンク上で受信されたパケットをハッシュして前記ネットワーク装置の同じ発信ポートリンク上で送信されるように構成され、および
前記ネットワーク装置の前記発信ポートリンク上で前記パケットを転送する
ことを実行させる命令を含むメモリと、を含む、ネットワーク装置。
【請求項11】
前記ネットワーク装置の前記発信ポートリンクに関連する条件を確認し、前記条件が満たされていることに応答して、前記ネットワーク装置の前記発信ポートリンク上で前記パケットを転送するようにさらに構成される、請求項１０に記載のネットワーク装置。
【請求項12】
前記条件は、前記ネットワーク装置の前記発信ポートリンクがアクティブであるかどうかを決定することに対応する、請求項１１に記載のネットワーク装置。
【請求項13】
前記条件が満たされていないことに応答して、等コストマルチパスアルゴリズムを実行して、前記フロー情報に基づいて前記ネットワーク装置の新しい発信ポートリンクを取得し、
前記ネットワーク装置の前記新しい発信ポートリンクで前記パケットを転送するようにさらに構成される、請求項１１に記載のネットワーク装置。
【請求項14】
前記ネットワーク装置は、トップオブラック（ＴＯＲ）スイッチである、請求項１０に記載のネットワーク装置。
【請求項15】
前記ネットワーク装置によって受信されたパケットに対して実行されるハッシュ演算に関連する情報は、転送テーブルデータベースに記憶される、請求項１０に記載のネットワーク装置。
【請求項16】
前記ネットワーク装置の第１の受信ポートリンクで受信される第１のパケットと第２のパケット、および前記ネットワーク装置の第２の受信ポートリンクで受信される第３のパケットと第４のパケットについて、前記ネットワーク装置は、前記第１のパケットと前記第２のパケットとを前記ネットワーク装置の第１の発信ポートリンク上で送信し、
前記ネットワーク装置の第２の発信ポートリンクで前記第３のパケットと前記第４のパケットとを送信する
ように構成され、前記ネットワーク装置の前記第１の受信ポートリンクは前記ネットワーク装置の前記第２の受信ポートリンクとは異なり、前記ネットワーク装置の前記第１の発信ポートリンクは前記ネットワーク装置の前記第２の発信ポートリンクとは異なる、請求項１０に記載のネットワーク装置。
【請求項17】
前記第１のパケット、前記第２のパケット、前記第３のパケット、および前記第４のパケットは、ＧＰＵワークロードに属する、請求項１６に記載のネットワーク装置。
【請求項18】
前記ネットワーク装置の前記第１の受信ポートリンクと前記第２の受信ポートリンクは、前記ホストマシンをトップオブラック（ＴＯＲ）スイッチに接続するリンクの第１のセットであり、前記ネットワーク装置の前記第１の発信ポートリンクと前記第２の発信ポートリンクは、前記ＴＯＲをスパインスイッチに接続するリンクの第２のセットである、請求項１６に記載のネットワーク装置。
【請求項19】
プロセッサによって実行されると、コンピュータシステムに、ホストマシンのグラフィカル処理ユニット（ＧＰＵ）によって送信され、ネットワーク装置によって受信されたパケットについて、
前記ネットワーク装置が、前記パケットに関連付けられるフロー情報を取得することと、
前記ネットワーク装置が、前記フロー情報に基づいて、ハッシュアルゴリズムに従って前記ネットワーク装置の発信ポートリンクを計算することと、を含み、前記ハッシュアルゴリズムは、前記ネットワーク装置の特定の受信ポートリンク上で受信されたパケットをハッシュし、前記ネットワーク装置の同じ発信ポートリンク上で送信されるように構成され、
前記ネットワーク装置が、前記ネットワーク装置の前記発信ポートリンク上で前記パケットを転送することをさらに含む動作を実行させる、
特定のコンピュータ実行可能命令を記憶する非一時的なコンピュータ可読媒体。
【請求項20】
転送する前記ステップは、前記ネットワーク装置が、前記ネットワーク装置の前記発信ポートリンクに関連する条件を確認することと、
前記条件が満たされていることに応答して、前記ネットワーク装置の前記発信ポートリンク上で前記パケットを転送することと、をさらに含む、請求項１９に記載の特定のコンピュータ実行可能命令を記憶する非一時的なコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、２０２１年６月２５日に出願された米国仮出願第６３／２１５，２６４号および２０２２年５月２日に出願された米国非仮出願第１７／７３４，８６５号の米国特許法第１１９条（ｅ）に基づく利益および優先権を主張する。前述の出願の全内容は、あらゆる目的のためにその全体が参照により本明細書に組み込まれる。
本出願は、２０２１年６月２５日に出願された米国仮出願第６３／２１５，２６４号および２０２２年５月２日に出願された米国非仮出願第１７／７３４，８６５号の米国特許法第１１９条（ｅ）に基づく利益および優先権を主張する。前述の出願の全内容は、あらゆる目的のためにその全体が参照により本明細書に組み込まれる。
【0002】
分野
本開示は、クラウド環境内の複数のホストマシン上でホストされるグラフィカル処理ユニット（ＧＰＵ）のためのフレームワークおよびルーティングメカニズムに関する。
本開示は、クラウド環境内の複数のホストマシン上でホストされるグラフィカル処理ユニット（ＧＰＵ）のためのフレームワークおよびルーティングメカニズムに関する。
【背景技術】
【0003】
背景
組織は、オンプレミスのハードウェアおよびソフトウェアの購入、更新、および保守のコストを削減するために、ビジネスアプリケーションおよびデータベースをクラウドに移行し続けている。高性能コンピューティング（ＨＰＣ）アプリケーションは、特定の成果または結果を達成するために利用可能なコンピューティング能力の１００％を一貫して消費する。ＨＰＣアプリケーションには、専用のネットワーク性能、高速記憶装置、高度なコンピューティング能力、および大量のメモリが必要であるが、今日のコモディティクラウドを構成する仮想化インフラストラクチャではこれらのリソースが不足している。
組織は、オンプレミスのハードウェアおよびソフトウェアの購入、更新、および保守のコストを削減するために、ビジネスアプリケーションおよびデータベースをクラウドに移行し続けている。高性能コンピューティング（ＨＰＣ）アプリケーションは、特定の成果または結果を達成するために利用可能なコンピューティング能力の１００％を一貫して消費する。ＨＰＣアプリケーションには、専用のネットワーク性能、高速記憶装置、高度なコンピューティング能力、および大量のメモリが必要であるが、今日のコモディティクラウドを構成する仮想化インフラストラクチャではこれらのリソースが不足している。
【0004】
クラウドインフラストラクチャサービスプロバイダは、ＨＰＣアプリケーションの要件に対処するために、より新しく高速なＣＰＵおよびグラフィカル処理ユニット（ＧＰＵ）を提供する。通常、仮想トポロジは、複数のホストマシン上でホストされているさまざまなＧＰＵをプロビジョニングして相互に通信するために構築される。実際には、さまざまなＧＰＵを接続するためにリングトポロジが利用される。しかし、リングネットワークは常に本質的にブロッキングを起こす。そのため、システム全体の性能が低下する。本明細書で説明する実施形態は、複数のホストマシンにまたがるＧＰＵの接続に関連するこれらおよび他の問題に対処する。
【発明の概要】
【0005】
概要
本開示は、概して、クラウド環境内の複数のホストマシン上でホストされるグラフィカル処理ユニット（ＧＰＵ）のためのルーティングメカニズムに関する。本明細書では、方法、システム、１つまたは複数のプロセッサによって実行可能なプログラム、コード、または命令を記憶する非一時的なコンピュータ可読記憶媒体などを含むさまざまな実施形態が説明される。これらの例示的な実施形態は、本開示を限定したり定義したりするためではなく、本開示の理解を助けるための例を提供するために言及されている。追加の実施形態については詳細な説明セクションで説明し、さらに詳細な説明をその中で提供する。
本開示は、概して、クラウド環境内の複数のホストマシン上でホストされるグラフィカル処理ユニット（ＧＰＵ）のためのルーティングメカニズムに関する。本明細書では、方法、システム、１つまたは複数のプロセッサによって実行可能なプログラム、コード、または命令を記憶する非一時的なコンピュータ可読記憶媒体などを含むさまざまな実施形態が説明される。これらの例示的な実施形態は、本開示を限定したり定義したりするためではなく、本開示の理解を助けるための例を提供するために言及されている。追加の実施形態については詳細な説明セクションで説明し、さらに詳細な説明をその中で提供する。
【0006】
本開示の一実施形態は、ホストマシンのグラフィカル処理ユニット（ＧＰＵ）によって送信され、ネットワーク装置によって受信されたパケットの場合、ネットワーク装置によって、パケットが受信されたネットワーク装置の受信ポートリンクを決定することと、ネットワーク装置によって、ＧＰＵルーティングポリシーに基づいて、受信ポートリンクに対応する発信ポートリンクを識別することであって、ＧＰＵルーティングポリシーはパケットを受信する前に事前設定され、ネットワーク装置の各受信ポートリンクとネットワーク装置の一意の発信ポートリンクのマッピングを確立する、ことと、ネットワーク装置によって、ネットワーク装置の発信ポートリンク上でパケットを転送することと、を含む方法を対象とする。
【0007】
本開示の一態様は、１つまたは複数のデータプロセッサと、命令を含む非一時的なコンピュータ可読記憶媒体とを備えるシステムを提供し、これは、１つまたは複数のデータプロセッサ上で実行されると、１つまたは複数のデータプロセッサに、本明細書に開示される１つまたは複数の方法の一部または全部を実行させる。
【0008】
本開示の別の態様は、本明細書に開示される１つまたは複数の方法の一部または全部を１つまたは複数のデータプロセッサに実行させるように構成された命令を含む、非一時的な機械可読記憶媒体に具体的に具体化されるコンピュータプログラム製品を提供する。
【0009】
前述のことは、他の特徴および実施形態とともに、以下の明細書、特許請求の範囲、および添付の図面を参照することによってより明らかになるであろう。
【0010】
本開示の特徴、実施形態、および利点は、添付の図面を参照しながら以下の詳細な説明を読むと、よりよく理解される。
【図面の簡単な説明】
【0011】
【図1】特定の実施形態による、クラウドサービスプロバイダインフラストラクチャによってホストされる仮想またはオーバーレイクラウドネットワークを示す配信環境の高レベル図である。
【図2】特定の実施形態による、ＣＳＰＩ内の物理ネットワーク内の物理構成要素の簡略化されたアーキテクチャ図を示す図である。
【図3】特定の実施形態による、ホストマシンが複数のネットワーク仮想化装置（ＮＶＤ）に接続されるＣＳＰＩ内の配置例を示す図である。
【図4】特定の実施形態による、マルチテナントをサポートするためのＩ／Ｏ仮想化を提供するためのホストマシンとＮＶＤとの間の接続を示す図である。
【図5】特定の実施形態によるＣＳＰＩによって提供される物理ネットワークの簡略化されたブロック図を示す図である。
【図6】特定の実施形態による、ＣＬＯＳネットワーク構成を組み込んだクラウドインフラストラクチャの簡略化されたブロック図を示す図である。
【図8】特定の実施形態による、クラウドインフラストラクチャに実装されるポリシーベースのルーティングメカニズムを示す図である。
【図9】特定の実施形態による、クラウドインフラストラクチャ内の異なるタイプの接続を示すクラウドインフラストラクチャのブロック図を示す図である。
【図10】特定の実施形態による、クラウドインフラストラクチャに含まれるラックの例示的な構成を示す図である。
【図11A】特定の実施形態による、パケットをルーティングする際にネットワーク装置によって実行されるステップを示すフローチャートを示す図である。
【図11B】特定の実施形態による、パケットをルーティングする際にネットワーク装置によって実行されるステップを示す別のフローチャートを示す図である。
【図12】少なくとも１つの実施形態による、サービスシステムとしてのクラウドインフラストラクチャを実装するための１つのパターンを示すブロック図である。
【図13】少なくとも１つの実施形態による、サービスシステムとしてのクラウドインフラストラクチャを実装するための別のパターンを示すブロック図である。
【図14】少なくとも１つの実施形態による、サービスシステムとしてのクラウドインフラストラクチャを実装するための別のパターンを示すブロック図である。
【図15】少なくとも１つの実施形態による、サービスシステムとしてのクラウドインフラストラクチャを実装するための別のパターンを示すブロック図である。
【図16】少なくとも１つの実施形態による例示的なコンピュータシステムを示すブロック図である。
【発明を実施するための形態】
【0012】
詳細な説明
以下の説明では、説明の目的で、特定の実施形態の完全な理解を提供するために特定の詳細が記載される。しかし、これらの特定の詳細がなくても、さまざまな実施形態を実施できることは明らかであろう。図および説明は、限定することを意図したものではない。「例示的な」という言葉は、本明細書では「実施例、例、または実例として機能する」という意味で使用される。本明細書で「例示的」として説明される任意の実施形態または設計は、必ずしも他の実施形態または設計よりも好ましいまたは有利であると解釈されるべきではない。
以下の説明では、説明の目的で、特定の実施形態の完全な理解を提供するために特定の詳細が記載される。しかし、これらの特定の詳細がなくても、さまざまな実施形態を実施できることは明らかであろう。図および説明は、限定することを意図したものではない。「例示的な」という言葉は、本明細書では「実施例、例、または実例として機能する」という意味で使用される。本明細書で「例示的」として説明される任意の実施形態または設計は、必ずしも他の実施形態または設計よりも好ましいまたは有利であると解釈されるべきではない。
【0013】
クラウドインフラストラクチャのアーキテクチャ例
クラウドサービスという用語は、一般に、クラウドサービスプロバイダ（ＣＳＰ）によって提供されるシステムとインフラストラクチャ（クラウドインフラストラクチャ）を使用して、クラウドサービスプロバイダ（ＣＳＰ）によってユーザまたは顧客がオンデマンド（例えば、加入モデルを介して）で利用できるようにするサービスを指すために使用される。通常、ＣＳＰのインフラストラクチャを構成するサーバおよびシステムは、顧客自身のオンプレミスのサーバおよびシステムとは別のものである。したがって、顧客は、サービス用のハードウェアおよびソフトウェアリソースを個別に購入することなく、ＣＳＰが提供するクラウドサービスを利用できる。クラウドサービスは、サービスの提供に使用されるインフラストラクチャの調達に顧客が投資することなく、加入顧客がアプリケーションやコンピューティングリソースに簡単かつ拡張可能にアクセスできるように設計されている。
クラウドサービスという用語は、一般に、クラウドサービスプロバイダ（ＣＳＰ）によって提供されるシステムとインフラストラクチャ（クラウドインフラストラクチャ）を使用して、クラウドサービスプロバイダ（ＣＳＰ）によってユーザまたは顧客がオンデマンド（例えば、加入モデルを介して）で利用できるようにするサービスを指すために使用される。通常、ＣＳＰのインフラストラクチャを構成するサーバおよびシステムは、顧客自身のオンプレミスのサーバおよびシステムとは別のものである。したがって、顧客は、サービス用のハードウェアおよびソフトウェアリソースを個別に購入することなく、ＣＳＰが提供するクラウドサービスを利用できる。クラウドサービスは、サービスの提供に使用されるインフラストラクチャの調達に顧客が投資することなく、加入顧客がアプリケーションやコンピューティングリソースに簡単かつ拡張可能にアクセスできるように設計されている。
【0014】
さまざまなタイプのクラウドサービスを提供するクラウドサービスプロバイダがいくつかある。クラウドサービスには、Ｓｏｆｔｗａｒｅ－ａｓ－ａ－Ｓｅｒｖｉｃｅ（ＳａａＳ）、Ｐｌａｔｆｏｒｍ－ａｓ－ａ－Ｓｅｒｖｉｃｅ（ＰａａＳ）、Ｉｎｆｒａｓｔｒｕｃｔｏｒ－ａｓ－ａ－Ｓｅｒｖｉｃｅ（ＩａａＳ）など、さまざまな異なるタイプまたはモデルがある。
【0015】
顧客は、ＣＳＰによって提供される１つまたは複数のクラウドサービスに加入することができる。顧客は、個人、組織、企業などの任意のエンティティにすることができる。顧客がＣＳＰが提供するサービスに加入または登録すると、その顧客用にテナントまたはアカウントが作成される。その後、顧客は、このアカウントを介して、そのアカウントに関連付けられる加入済みの１つまたは複数のクラウドリソースにアクセスできる。
【0016】
上述したように、サービスとしてのインフラストラクチャ（ＩａａＳ）は、クラウドコンピューティングサービスの特定のタイプの１つである。ＩａａＳモデルでは、ＣＳＰは、顧客が独自のカスタマイズ可能なネットワークを構築し、顧客リソースを展開するために使用できるインフラストラクチャ（クラウドサービスプロバイダインフラストラクチャまたはＣＳＰＩと呼ばれる）を提供する。したがって、顧客のリソースとネットワークは、ＣＳＰが提供するインフラストラクチャによって配信環境でホストされる。これは、顧客のリソースとネットワークが顧客が提供するインフラストラクチャによってホストされる従来のコンピューティングとは異なる。
【0017】
ＣＳＰＩは、基板ネットワークまたは基礎ネットワークとも呼ばれる物理ネットワークを形成するさまざまなホストマシン、メモリリソース、およびネットワークリソースを含む、相互接続された高性能コンピューティングリソースを備えることができる。ＣＳＰＩのリソースは、１つまたは複数の地理的地域に地理的に分散し得る１つまたは複数のデータセンターに分散し得る。仮想化ソフトウェアは、これらの物理リソースによって実行され、仮想化された配信環境を提供し得る。仮想化により、物理ネットワーク上にオーバーレイネットワーク（ソフトウェアベースのネットワーク、ソフトウェア定義のネットワーク、または仮想ネットワークとも呼ばれる）が作成される。ＣＳＰＩ物理ネットワークは、物理ネットワーク上に１つまたは複数のオーバーレイネットワークまたは仮想ネットワークを作成するための基礎を提供する。仮想ネットワークまたはオーバーレイネットワークには、１つまたは複数の仮想クラウドネットワーク（ＶＣＮ）を含めることができる。仮想ネットワークは、ソフトウェア仮想化技術（例えば、ハイパーバイザ、ネットワーク仮想化装置（ＮＶＤ）によって実行される機能（例えば、スマートＮＩＣ）、トップオブラック（ＴＯＲ）スイッチ、ＮＶＤによって実行される１つまたは複数の機能を実装するスマートＴＯＲ、およびその他のメカニズム）を使用して実装され、物理ネットワーク上で実行できるネットワーク抽象化層を作成する。仮想ネットワークは、ピアツーピアネットワーク、ＩＰネットワークなど、さまざまな形式を取ることができる。仮想ネットワークは通常、層３ＩＰネットワークまたは層２ＶＬＡＮのいずれかである。この仮想またはオーバーレイネットワークの方法は、多くの場合、仮想またはオーバーレイ層３ネットワークと呼ばれる。仮想ネットワーク用に開発されたプロトコルの例には、ＩＰ－ｉｎ－ＩＰ（または汎用ルーティングカプセル化（ＧＲＥ））、仮想拡張ＬＡＮ（ＶＸＬＡＮ－ＩＥＴＦ ＲＦＣ７３４８）、仮想プライベートネットワーク（ＶＰＮ）（例えば、ＭＰＬＳ層３仮想プライベートネットワーク（ＲＦＣ４３６４））、ＶＭｗａｒｅのＮＳＸ、ＧＥＮＥＶＥ（Ｇｅｎｅｒｉｃ Ｎｅｔｗｏｒｋ Ｖｉｒｔｕａｌｉｚａｔｉｏｎ Ｅｎｃａｐｓｕｌａｔｉｏｎ）などが含まれる。
【0018】
ＩａａＳの場合、ＣＳＰによって提供されるインフラストラクチャ（ＣＳＰＩ）は、パブリックネットワーク（例えば、インターネット）を介して仮想化されたコンピューティングリソースを提供するように構成することができる。ＩａａＳモデルでは、クラウドコンピューティングサービスプロバイダは、インフラストラクチャ構成要素（例えば、サーバ、記憶装置、ネットワークノード（例えば、ハードウェア）、展開ソフトウェア、プラットフォーム仮想化（例えば、ハイパーバイザ層）など）をホストすることができる。場合によっては、ＩａａＳプロバイダは、これらのインフラストラクチャ構成要素に付随するさまざまなサービス（例えば、請求、監視、ロギング、セキュリティ、負荷分散、およびクラスタリングなど）を提供することもできる。したがって、これらのサービスはポリシー駆動型であり得るため、ＩａａＳユーザは負荷分散を駆動するポリシーを実装して、アプリケーションの可用性と性能を維持できる可能性がある。ＣＳＰＩは、顧客が可用性の高いホスト型配信環境で幅広いアプリケーションとサービスを構築および実行できるようにするインフラストラクチャとセットの補完的なクラウドサービスを提供する。ＣＳＰＩは、顧客のオンプレミスネットワークなどのさまざまなネットワーク上の場所から安全にアクセスできる柔軟な仮想ネットワークで、高性能のコンピューティングリソースと機能、および記憶容量を提供する。顧客がＣＳＰが提供するＩａａＳサービスに加入または登録すると、その顧客用に作成されたテナントは、顧客がクラウドリソースを作成、編成、管理できるＣＳＰＩ内の安全で分離された分割になる。
【0019】
顧客は、ＣＳＰＩによって提供されるコンピューティング、メモリ、およびネットワーキングリソースを使用して独自の仮想ネットワークを構築することができる。コンピューティングインスタンスなどの１つまたは複数の顧客リソースまたはワークロードをこれらの仮想ネットワークに展開できる。例えば、顧客はＣＳＰＩによって提供されるリソースを使用して、仮想クラウドネットワーク（ＶＣＮ）と呼ばれる１つまたは複数のカスタマイズ可能なプライベート仮想ネットワークを構築できる。顧客は、コンピューティングインスタンスなどの１つまたは複数の顧客リソースを顧客ＶＣＮに展開できる。コンピューティングインスタンスは、仮想マシン、ベアメタルインスタンスなどの形式を取ることができる。したがって、ＣＳＰＩは、顧客が可用性の高い仮想ホスト環境で幅広いアプリケーションとサービスを構築および実行できるようにするインフラストラクチャとセットの補完的なクラウドサービスを提供する。顧客は、ＣＳＰＩによって提供される基礎となる物理リソースを管理または制御しないが、オペレーティングシステム、記憶装置、および展開されたアプリケーションを制御できる。また、選択されたネットワーク構成要素（例えば、ファイアウォール）の制御が制限される可能性もある。
【0020】
ＣＳＰは、顧客およびネットワーク管理者がＣＳＰＩリソースを使用してクラウドに展開されたリソースを構成、アクセス、および管理できるようにするコンソールを提供することができる。特定の実施形態では、コンソールは、ＣＳＰＩにアクセスして管理するために使用できるウェブベースのユーザインターフェースを提供する。一部の実装では、コンソールはＣＳＰによって提供されるＷｅｂベースのアプリケーションである。
【0021】
ＣＳＰＩは、単一テナントまたはマルチテナントのアーキテクチャをサポートすることができる。単一テナントアーキテクチャでは、ソフトウェア（例えば、アプリケーション、データベース）またはハードウェア構成要素（例えば、ホストマシンやサーバ）が単一の顧客またはテナントにサービスを提供する。マルチテナントアーキテクチャでは、ソフトウェアまたはハードウェア構成要素が複数の顧客またはテナントにサービスを提供する。したがって、マルチテナントアーキテクチャでは、ＣＳＰＩリソースが複数の顧客またはテナント間で共有される。マルチテナントの状況では、予防策が講じられ、各テナントのデータが分離され、他のテナントから見えないようにＣＳＰＩ内で保護策が講じられる。
【0022】
物理ネットワークにおいて、ネットワークエンドポイント（「エンドポイント」）は、物理ネットワークに接続され、接続されているネットワークと往復通信するコンピューティング装置またはシステムを指す。物理ネットワーク内のネットワークエンドポイントは、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、または他のタイプの物理ネットワークに接続できる。物理ネットワーク内の従来のエンドポイントの例には、モデム、ハブ、ブリッジ、スイッチ、ルータ、およびその他のネットワーキング装置、物理コンピュータ（またはホストマシン）などが含まれる。物理ネットワーク内の各物理装置には、装置との通信に使用できる固定ネットワークアドレスがある。この固定ネットワークアドレスは、層２アドレス（例えば、ＭＡＣアドレス）、固定層３アドレス（例えば、ＩＰアドレス）などであり得る。仮想化環境または仮想ネットワークでは、エンドポイントは、物理ネットワークの構成要素によってホストされる（例えば、物理ホストマシンによってホストされる）仮想マシンなどのさまざまな仮想エンドポイントを含むことができる。仮想ネットワーク内のこれらのエンドポイントは、オーバーレイ層２アドレス（例えば、オーバーレイＭＡＣアドレス）やオーバーレイ層３アドレス（例えば、オーバーレイＩＰアドレス）などのオーバーレイアドレスによってアドレス指定される。ネットワークオーバーレイは、ネットワーク管理者がソフトウェア管理を使用して（例えば、仮想ネットワークの制御プレーンを実装するソフトウェアを介して）ネットワークエンドポイントに関連付けられるオーバーレイアドレスを移動できるようにすることで、柔軟性を実現する。したがって、物理ネットワークとは異なり、仮想ネットワークでは、ネットワーク管理ソフトウェアを使用して、オーバーレイアドレス（例えば、オーバーレイＩＰアドレス）をあるエンドポイントから別のエンドポイントに移動することができる。仮想ネットワークは物理ネットワーク上に構築されるため、仮想ネットワーク内の構成要素間の通信には、仮想ネットワークと基礎となる物理ネットワークの両方が関与する。このような通信を容易にするために、ＣＳＰＩの構成要素は、仮想ネットワーク内のオーバーレイアドレスをサブストレートネットワーク内の実際の物理アドレスにマッピングする、またはその逆のマッピングを学習して記憶するように構成される。これらのマッピングは、次いで通信を容易にするために使用される。顧客のトラフィックはカプセル化され、仮想ネットワーク内でのルーティングが容易になる。
【0023】
したがって、物理アドレス（例えば、物理ＩＰアドレス）は、物理ネットワーク内の構成要素に関連付けられ、オーバーレイアドレス（例えば、オーバーレイＩＰアドレス）は、仮想ネットワーク内のエンティティに関連付けられる。物理ＩＰアドレスとオーバーレイＩＰアドレスはどちらも実ＩＰアドレスのタイプである。これらは、仮想ＩＰアドレスとは別のものであり、仮想ＩＰアドレスは複数の実際のＩＰアドレスにマッピングされる。仮想ＩＰアドレスは、仮想ＩＰアドレスと複数の実ＩＰアドレスとの間の１対多のマッピングを提供する。
【0024】
クラウドインフラストラクチャまたはＣＳＰＩは、世界中の１つまたは複数の地域にある１つまたは複数のデータセンターで物理的にホストされる。ＣＳＰＩには、物理ネットワークまたは基板ネットワーク内の構成要素と、物理ネットワーク構成要素上に構築された仮想ネットワーク内の仮想化構成要素（例えば、仮想ネットワーク、コンピューティングインスタンス、仮想マシンなど）とが含まれ得る。特定の実施形態では、ＣＳＰＩは、領域、地域、および可用性領域内で組織され、ホストされる。地域は通常、１つまたは複数のデータセンターを含む局所的な地理的エリアである。地域は通常、互いに独立しており、例えば国や大陸をまたぐなど、非常に離れた場所にある場合もある。例えば、第１の地域はオーストラリア、別の地域は日本、さらに別の地域はインドなどであってもよい。ＣＳＰＩリソースは、各地域がＣＳＰＩリソースの独自の独立したサブセットを持つように地域間で分割される。各地域は、コンピューティングリソース（例えば、ベアメタルサーバ、仮想マシン、コンテナおよび関連インフラストラクチャ）、記憶リソース（例えば、ブロックボリューム記憶装置、ファイル記憶装置、オブジェクト記憶装置、アーカイブ記憶装置）、ネットワーキングリソース（例えば、仮想クラウドネットワーク（ＶＣＮ）、負荷分散リソース、オンプレミスネットワークへの接続）、データベースリソース、エッジネットワーキングリソース（例えば、ＤＮＳ）、ならびにアクセス管理および監視リソースなどのコアインフラストラクチャサービスおよびリソースのセットを提供し得る。通常、各地域には、領域内の他の地域に接続する複数のパスがある。
【0025】
一般に、アプリケーションは、最も頻繁に使用される地域に展開され（つまり、その地域に関連付けられるインフラストラクチャに展開される）、近くのリソースを使用する方が、遠くのリソースを使用するよりも高速であるためである。大規模な気象システムや地震などの地域全体のイベントのリスクを軽減するための冗長性など、さまざまな理由でアプリケーションを異なる地域に展開することもでき、法的管轄区域、税務領域、およびその他のビジネスまたは社会的基準などのさまざまな要件を満たす。
【0026】
地域内のデータセンターはさらに組織化され、可用性領域（ＡＤ）に細分されることができる。可用性領域は、地域内にある１つまたは複数のデータセンターに対応し得る。地域は１つまたは複数の可用性領域で構成できる。このような配信環境では、ＣＳＰＩリソースは、仮想クラウドネットワーク（ＶＣＮ）などの地域固有、またはコンピューティングインスタンスなどの可用性領域固有のいずれかになる。
【0027】
地域内のＡＤは互いに隔離されており、耐障害性であり、同時に故障する可能性が非常に低いように構成される。これは、ＡＤがネットワーク、物理ケーブル、ケーブルパス、ケーブルエントリポイントなどの重要なインフラストラクチャリソースを共有しないことによって実現され、そのため、地域内の１つのＡＤ障害が発生しても、同じ地域内の他のＡＤの可用性に影響を与える可能性は低くなる。同じ地域内のＡＤは、低遅延、高帯域幅のネットワークによって相互に接続でき、これにより、他のネットワーク（例えば、インターネット、顧客のオンプレミスネットワーク）への高可用性接続を提供し、高可用性と災害復旧の両方のために複数のＡＤに複製システムを構築することが可能になる。クラウドサービスは、高可用性を確保し、リソース障害から保護するために複数のＡＤを使用する。ＩａａＳプロバイダが提供するインフラストラクチャが拡大するにつれて、追加の容量がさらなる地域とＡＤに追加され得る。通常、可用性領域間のトラフィックは暗号化される。
【0028】
特定の実施形態では、地域は領域にグループ化される。領域は地域の論理的な集合である。領域は互いに分離されており、データは共有されない。同じ領域内の地域は相互に通信できるが、異なる領域内の地域は相互に通信できない。ＣＳＰを持つ顧客のテナントまたはアカウントは単一の領域に存在し、その領域に属する１つまたは複数の地域に分散できる。通常、顧客がＩａａＳサービスに加入すると、領域内の顧客指定の地域（「ホーム」地域と呼ばれる）にその顧客のテナントまたはアカウントが作成される。顧客は、領域内の１つまたは複数の他の地域にわたって顧客のテナントを拡張できる。顧客は、顧客のテナントが存在する領域内にない地域にはアクセスできない。
【0029】
ＩａａＳプロバイダは、複数の領域を提供することができ、各領域は特定の顧客またはユーザのセットのニーズに応える。例えば、商用領域が商用顧客に提供され得る。別の例として、特定の国内の顧客に対してその国に領域が提供され得る。さらに別の例として、政府領域が政府などに提供されてもよい。例えば、政府領域は特定の政府のニーズに応えることができ、商業領域よりも高いセキュリティレベルを備えている場合がある。例えば、Ｏｒａｃｌｅ Ｃｌｏｕｄ Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ（ＯＣＩ）は現在、商用地域用の領域と政府クラウド地域用の２つの領域（例えば、ＦｅｄＲＡＭＰ認定およびＩＬ５認定）を提供している。
【0030】
特定の実施形態では、ＡＤは、１つまたは複数の障害領域に再分割することができる。障害領域は、アンチアフィニティを提供するためのＡＤ内のインフラストラクチャリソースのグループである。障害領域を使用すると、インスタンスが単一のＡＤ内の同じ物理ハードウェア上に存在しないように、コンピューティングインスタンスを配信できる。これはアンチアフィニティとして知られている。障害領域とは、単一障害点を共有するセットのハードウェア構成要素（コンピュータ、スイッチなど）を指す。コンピューティングプールは論理的に障害領域に分割される。このため、１つの障害領域に影響を与えるハードウェア障害またはコンピューティングハードウェアメンテナンスイベントは、他の障害領域のインスタンスには影響しない。実施形態に応じて、各ＡＤの障害領域の数は変化し得る。例えば、特定の実施形態では、各ＡＤは３つの障害領域を含む。障害領域は、ＡＤ内の論理データセンターとして機能する。
【0031】
顧客がＩａａＳサービスに加入すると、ＣＳＰＩからのリソースが顧客にプロビジョニングされ、顧客のテナントに関連付けられる。顧客は、これらのプロビジョニングされたリソースを使用して、プライベートネットワークを構築し、これらのネットワーク上にリソースを展開できる。ＣＳＰＩによってクラウドでホストされる顧客ネットワークは、仮想クラウドネットワーク（ＶＣＮ）と呼ばれる。顧客は、顧客に割り当てられるＣＳＰＩリソースを使用して１つまたは複数の仮想クラウドネットワーク（ＶＣＮ）を設定できる。ＶＣＮは、仮想ネットワークまたはソフトウェア定義のプライベートネットワークである。顧客のＶＣＮに展開される顧客リソースには、コンピューティングインスタンス（例えば、仮想マシン、ベアメタルインスタンス）およびその他のリソースを含めることができる。これらのコンピューティングインスタンスは、アプリケーション、ロードバランサ、データベースなどのさまざまな顧客のワークロードを表す場合がある。ＶＣＮに展開されたコンピューティングインスタンスは、インターネットなどのパブリックネットワークを介して、パブリックアクセス可能なエンドポイント（「パブリックエンドポイント」）と、同じＶＣＮ内の他のインスタンスまたは他のＶＣＮ（例えば、顧客の他のＶＣＮ、または顧客に属していないＶＣＮ）と、顧客のオンプレミスデータセンターまたはネットワークと、サービスエンドポイント、およびその他のタイプのエンドポイントと通信できる。
【0032】
ＣＳＰは、ＣＳＰＩを利用して多様なサービスを提供することができる。場合によっては、ＣＳＰＩの顧客自身がサービスプロバイダのように機能し、ＣＳＰＩリソースを使用してサービスを提供し得る。サービスプロバイダは、識別情報（例えば、ＩＰアドレス、ＤＮＳ名およびポート）によって特徴付けられるサービスエンドポイントを公開し得る。顧客のリソース（例えば、コンピューティングインスタンス）は、その特定のサービスのサービスによって公開されるサービスエンドポイントにアクセスすることによって、特定のサービスを利用できる。これらのサービスエンドポイントは通常、エンドポイントに関連付けられるパブリックＩＰアドレスを使用して、インターネットなどのパブリック通信ネットワークを介してユーザが公的にアクセスできるエンドポイントである。公的にアクセス可能なネットワークエンドポイントは、パブリックエンドポイントと呼ばれることもある。
【0033】
特定の実施形態では、サービスプロバイダは、サービスのエンドポイント（サービスエンドポイントと呼ばれることもある）を介してサービスを公開することができる。サービスの顧客は、次いで、このサービスエンドポイントを使用してサービスにアクセスできる。特定の実装では、サービスに提供されるサービスエンドポイントには、そのサービスを利用する予定の複数の顧客がアクセスできる。他の実装では、専用のサービスエンドポイントを顧客に提供して、その顧客だけがその専用のサービスエンドポイントを使用してサービスにアクセスできるようにすることもできる。
【0034】
特定の実施形態では、ＶＣＮが作成されると、ＶＣＮは、ＶＣＮに割り当てられるプライベートオーバーレイＩＰアドレスの範囲（例えば、１０．０／１６）であるプライベートオーバーレイクラスレス領域間ルーティング（ＣＩＤＲ）アドレス空間に関連付けられる。ＶＣＮには、関連するサブネット、ルートテーブルおよびゲートウェイが含まれる。ＶＣＮは単一地域内に存在するが、地域の１つもしくは複数またはすべての可用性領域にまたがることができる。ゲートウェイは、ＶＣＮ用に構成された仮想インターフェースであり、ＶＣＮとＶＣＮ外部の１つまたは複数のエンドポイントとの間のトラフィックの通信を可能にする。１つまたは複数の異なるタイプのゲートウェイをＶＣＮに対して構成して、異なるタイプのエンドポイントとの間の通信を可能にすることができる。
【0035】
ＶＣＮは、１つまたは複数のサブネットなどの１つまたは複数のサブネットワークに細分することができる。したがって、サブネットは、ＶＣＮ内に作成できる構成の単位またはサブディビジョンである。ＶＣＮには１つまたは複数のサブネットを含めることができる。ＶＣＮ内の各サブネットは、そのＶＣＮ内の他のサブネットと重複しない連続した範囲のオーバーレイＩＰアドレス（例えば、１０．０．０．０／２４および１０．０．１．０／２４）に関連付けられ、これらは、ＶＣＮのアドレス空間内のアドレス空間サブセットを表す。
【0036】
各コンピューティングインスタンスは、コンピューティングインスタンスがＶＣＮのサブネットに参加できるようにする仮想ネットワークインターフェースカード（ＶＮＩＣ）に関連付けられる。ＶＮＩＣは、物理ネットワークインターフェースカード（ＮＩＣ）の論理表現である。一般に、ＶＮＩＣはエンティティ（例えば、コンピューティングインスタンス、サービス）と仮想ネットワークとの間のインターフェースである。ＶＮＩＣはサブネット内に存在し、１つまたは複数の関連付けられるＩＰアドレスと関連付けられるセキュリティルールまたはポリシーを持つ。ＶＮＩＣは、スイッチ上の層２ポートに相当する。ＶＮＩＣは、コンピューティングインスタンスとＶＣＮ内のサブネットに接続される。コンピューティングインスタンスに関連付けられるＶＮＩＣにより、コンピューティングインスタンスをＶＣＮのサブネットの一部にできるようになり、コンピューティングインスタンスが、コンピューティングインスタンスと同じサブネット上にあるエンドポイント、ＶＣＮ内の異なるサブネットにあるエンドポイント、またはＶＣＮ外部のエンドポイントと通信（例えば、パケットの送受信）できるようにする。したがって、コンピューティングインスタンスに関連付けられるＶＮＩＣによって、コンピューティングインスタンスがＶＣＮ内外のエンドポイントに接続する方法が決まる。コンピューティングインスタンスのＶＮＩＣは、コンピューティングインスタンスが作成されてＶＣＮ内のサブネットに追加されるときに作成され、そのコンピューティングインスタンスに関連付けられる。コンピューティングインスタンスのセットを含むサブネットの場合、サブネットにはコンピューティングインスタンスのセットに対応するＶＮＩＣが含まれ、各ＶＮＩＣはコンピュータインスタンスのセット内のコンピューティングインスタンスに接続される。
【0037】
各コンピューティングインスタンスには、そのコンピューティングインスタンスに関連付けられるＶＮＩＣを介してプライベートオーバーレイＩＰアドレスが割り当てられる。このプライベートオーバーレイＩＰアドレスは、コンピューティングインスタンスの作成時にコンピューティングインスタンスに関連付けられるＶＮＩＣに割り当てられ、コンピューティングインスタンスとの間のトラフィックのルーティングに使用される。特定のサブネット内のすべてのＶＮＩＣは、同じルートテーブル、セキュリティリスト、およびＤＨＣＰオプションを使用する。前述したように、ＶＣＮ内の各サブネットは、そのＶＣＮ内の他のサブネットと重複しない連続した範囲のオーバーレイＩＰアドレス（例えば、１０．０．０．０／２４および１０．０．１．０／２４）に関連付けられ、ＶＣＮのアドレス空間内のアドレス空間サブセットを表す。ＶＣＮの特定のサブネット上のＶＮＩＣの場合、ＶＮＩＣに割り当てられるプライベートオーバーレイＩＰアドレスは、サブネットに割り当てられるオーバーレイＩＰアドレスの連続範囲からのアドレスである。
【0038】
特定の実施形態では、コンピューティングインスタンスには、任意選択で、プライベートオーバーレイＩＰアドレスに加えて、例えばパブリックサブネット内の場合には１つまたは複数のパブリックＩＰアドレスなどの追加のオーバーレイＩＰアドレスが割り当てられてもよい。これらの複数のアドレスは、同じＶＮＩＣ上で、またはコンピューティングインスタンスに関連付けられる複数のＶＮＩＣ上で割り当てられる。しかし、各インスタンスにはプライマリＶＮＩＣがあり、インスタンスの起動時に作成され、インスタンスに割り当てられるオーバーレイプライベートＩＰアドレスに関連付けられる。このプライマリＶＮＩＣは削除できない。セカンダリＶＮＩＣと呼ばれる追加のＶＮＩＣは、プライマリＶＮＩＣと同じ可用性領域内の既存のインスタンスに追加できる。すべてのＶＮＩＣは、インスタンスと同じ可用性領域内にある。セカンダリＶＮＩＣは、プライマリＶＮＩＣと同じＶＣＮ内のサブネットに存在することも、同じＶＣＮまたは別のＶＣＮ内の異なるサブネットに存在することもできる。
【0039】
コンピューティングインスタンスがパブリックサブネット内にある場合、任意選択でパブリックＩＰアドレスを割り当てることができる。サブネットは、サブネットの作成時にパブリックサブネットまたはプライベートサブネットとして指定できる。プライベートサブネットは、サブネット内のリソース（例えば、コンピューティングインスタンス）および関連するＶＮＩＣがパブリックオーバーレイＩＰアドレスを持つことができないことを意味する。パブリックサブネットとは、サブネット内のリソースおよび関連するＶＮＩＣがパブリックＩＰアドレスを持つことができることを意味する。顧客は、サブネットが単一の可用性領域に存在するか、地域または領域内の複数の可用性領域にまたがって存在するように指定できる。
【0040】
上で説明したように、ＶＣＮは１つまたは複数のサブネットに再分割することができる。特定の実施形態では、ＶＣＮ用に構成された仮想ルータ（ＶＲ）（ＶＣＮ ＶＲまたは単にＶＲと呼ばれる）は、ＶＣＮのサブネット間の通信を可能にする。ＶＣＮ内のサブネットの場合、ＶＲはそのサブネット（つまり、そのサブネット上のコンピューティングインスタンス）がＶＣＮ内の他のサブネット上のエンドポイントおよびＶＣＮ外部の他のエンドポイントと通信できるようにする、そのサブネットの論理ゲートウェイを表す。ＶＣＮ ＶＲは、ＶＣＮ内のＶＮＩＣとＶＣＮに関連付けられる仮想ゲートウェイ（「ゲートウェイ」）との間でトラフィックをルーティングするように構成された論理エンティティである。ゲートウェイについては、図１を参照して以下でさらに説明する。ＶＣＮ ＶＲは層３／ＩＰ層の概念である。一実施形態では、ＶＣＮに対して１つのＶＣＮ ＶＲが存在し、ＶＣＮ ＶＲは、ＶＣＮのサブネットごとに１つのポートを備え、ＩＰアドレスによってアドレス指定される潜在的に無制限の数のポートを有する。このように、ＶＣＮ ＶＲは、ＶＣＮ ＶＲが接続されているＶＣＮ内のサブネットごとに異なるＩＰアドレスを持つ。ＶＲは、ＶＣＮ用に構成されたさまざまなゲートウェイにも接続される。特定の実施形態では、サブネットのオーバーレイＩＰアドレス範囲からの特定のオーバーレイＩＰアドレスが、そのサブネットのＶＣＮ ＶＲのポート用に予約される。例えば、関連付けられるアドレス範囲がそれぞれ１０．０／１６および１０．１／１６である２つのサブネットを持つＶＣＮについて考えてみる。アドレス範囲１０．０／１６のＶＣＮ内の第１のサブネットの場合、この範囲のアドレスがそのサブネットのＶＣＮ ＶＲのポート用に予約される。場合によっては、範囲の第１のＩＰアドレスがＶＣＮ ＶＲ用に予約され得る。例えば、オーバーレイＩＰアドレス範囲１０．０／１６のサブネットの場合、ＩＰアドレス１０．０．０．１がそのサブネットのＶＣＮ ＶＲのポート用に予約され得る。同じＶＣＮ内のアドレス範囲１０．１／１６の第２のサブネットの場合、ＶＣＮ ＶＲにはＩＰアドレス１０．１．０．１の第２のサブネット用のポートがあり得る。ＶＣＮ ＶＲには、ＶＣＮ内のサブネットごとに異なるＩＰアドレスがある。
【0041】
他のいくつかの実施形態では、ＶＣＮ内の各サブネットは、ＶＲに関連付けられる予約またはデフォルトのＩＰアドレスを使用してサブネットによってアドレス指定可能な、それ自体の関連付けられるＶＲを有し得る。予約済みまたはデフォルトのＩＰアドレスは、例えば、そのサブネットに関連付けられるＩＰアドレスの範囲からの第１のＩＰアドレスである場合がある。サブネット内のＶＮＩＣは、このデフォルトまたは予約されたＩＰアドレスを使用して、サブネットに関連付けられるＶＲと通信（例えば、パケットの送受信）できる。このような実施形態では、ＶＲは、そのサブネットの入口／出口ポイントである。ＶＣＮ内のサブネットに関連付けられるＶＲは、ＶＣＮ内の他のサブネットに関連付けられる他のＶＲと通信できる。ＶＲは、ＶＣＮに関連付けられるゲートウェイと通信することもできる。サブネットのＶＲ機能は、サブネット内のＶＮＩＣのＶＮＩＣ機能を実行する１つまたは複数のＮＶＤ上で実行されているか、それによって実行される。
【0042】
ＶＣＮに対してルートテーブル、セキュリティルール、およびＤＨＣＰオプションを構成することができる。ルートテーブルはＶＣＮの仮想ルートテーブルであり、ゲートウェイまたは特別に構成されたインスタンスを経由してＶＣＮ内のサブネットからＶＣＮ外の宛先にトラフィックをルーティングするルールが含まれている。ＶＣＮのルートテーブルをカスタマイズして、ＶＣＮとの間でパケットを転送／ルーティングする方法を制御できる。ＤＨＣＰオプションは、インスタンスの起動時に自動的に提供される構成情報を指す。
【0043】
ＶＣＮに対して構成されたセキュリティルールは、ＶＣＮに対するオーバーレイファイアウォールルールを表す。セキュリティルールには、入口および出口ルールを含めることができ、ＶＣＮ内のインスタンスへの出入りが許可されるトラフィックのタイプ（例えば、プロトコルおよびポートに基づく）を指定できる。顧客は、特定のルールがステートフルであるかステートレスであるかを選択できる。例えば、顧客はソースＣＩＤＲ０．０．０．０／０、宛先ＴＣＰポート２２を使用してステートフル入口ルールを設定することで、任意の場所からセットのインスタンスへの受信ＳＳＨトラフィックを許可できる。セキュリティルールは、ネットワークセキュリティグループまたはセキュリティリストを使用して実装できる。ネットワークセキュリティグループは、そのグループ内のリソースにのみ適用されるセットのセキュリティルールで構成される。一方、セキュリティリストには、セキュリティリストを使用する任意のサブネット内のすべてのリソースに適用されるルールが含まれている。ＶＣＮには、デフォルトのセキュリティルールを含むデフォルトのセキュリティリストが提供され得る。ＶＣＮに対して構成されたＤＨＣＰオプションは、インスタンスの起動時にＶＣＮ内のインスタンスに自動的に提供される構成情報を提供する。
【0044】
特定の実施形態では、ＶＣＮの構成情報は、ＶＣＮ制御プレーンによって決定され、記憶される。ＶＣＮの構成情報には、例えば、ＶＣＮに関連付けられるアドレス範囲、ＶＣＮ内のサブネットおよび関連情報、ＶＣＮに関連付けられる１つまたは複数のＶＲ、ＶＣＮ内のコンピューティングインスタンスおよび関連するＶＮＩＣ、ＶＣＮに関連付けられるさまざまな仮想化ネットワーク機能を実行するＮＶＤ（例えば、ＶＮＩＣ、ＶＲ、ゲートウェイ）、ＶＣＮの状態情報、ならびにその他のＶＣＮ関連情報、に関する情報が含まれ得る。特定の実施形態では、ＶＣＮ配信サービスは、ＶＣＮ制御プレーンによって記憶された構成情報、またはその一部をＮＶＤに公開する。配信情報は、ＶＣＮ内のコンピューティングインスタンスとの間でパケットを転送するためにＮＶＤによって記憶および使用される情報（例えば、転送テーブル、ルーティングテーブルなど）を更新するために使用され得る。
【0045】
特定の実施形態では、ＶＣＮおよびサブネットの作成はＶＣＮ制御プレーン（ＣＰ）によって取り扱われ、コンピューティングインスタンスの起動はコンピューティング制御プレーンによって取り扱われる。コンピューティング制御プレーンは、コンピューティングインスタンスに物理リソースを割り当てる役割を担い、次にＶＣＮ制御プレーンを呼び出して、ＶＮＩＣを作成してコンピューティングインスタンスに接続する。また、ＶＣＮ ＣＰは、パケット転送およびルーティング機能を実行するように構成されたＶＣＮデータプレーンにＶＣＮデータマッピングを送信する。特定の実施形態では、ＶＣＮ ＣＰは、ＶＣＮデータプレーンに更新を提供する役割を担う配信サービスを提供する。ＶＣＮ制御プレーンの例も図１２、１３、１４、および１５（参考文献１２１６、１３１６、１４１６、および１５１６を参照）にも示され、以下に説明する。
【0046】
顧客は、ＣＳＰＩによってホストされるリソースを使用して１つまたは複数のＶＣＮを作成することができる。顧客のＶＣＮに展開されたコンピューティングインスタンスは、異なるエンドポイントと通信し得る。これらのエンドポイントには、ＣＳＰＩによってホストされるエンドポイントとＣＳＰＩ外部のエンドポイントが含まれ得る。
【0047】
ＣＳＰＩを使用してクラウドベースのサービスを実装するためのさまざまな異なるアーキテクチャが、図１、２、３、４、５、１２、１３、１４、および１５に示され、以下に説明する。図１は、特定の実施形態による、ＣＳＰＩによってホストされるオーバーレイまたは顧客ＶＣＮを示す配信環境１００の高レベル図である。図１に示される配信環境には、オーバーレイネットワーク内の複数の構成要素が含まれている。図１に示す配信環境１００は、単なる一例であり、請求される実施形態の範囲を不当に限定することを意図するものではない。多くの変形、代替、および修正が可能である。例えば、一部の実装では、図１に示される配信環境は、図１に示されるものより多くの、または少ないシステムまたは構成要素を有してもよく、２つ以上のシステムを組み合わせることができ、あるいは、システムの構成や配置が異なる場合もある。
【0048】
図１に示される例に示されるように、配信環境１００は、顧客が加入して仮想クラウドネットワーク（ＶＣＮ）を構築するために使用できるサービスおよびリソースを提供するＣＳＰＩ１０１を備える。特定の実施形態では、ＣＳＰＩ１０１は、加入顧客にＩａａＳサービスを提供する。ＣＳＰＩ１０１内のデータセンターは、１つまたは複数の地域に編成され得る。地域「地域ＵＳ」１０２の一例を図１に示す。顧客は地域１０２に対して顧客ＶＣＮ１０４を構成した。顧客は、ＶＣＮ１０４上にさまざまなコンピューティングインスタンスを展開することができ、そのコンピューティングインスタンスには、仮想マシンまたはベアメタルインスタンスが含まれ得る。インスタンスの例には、アプリケーション、データベース、ロードバランサなどが含まれる。
【0049】
図１に示される実施形態では、顧客ＶＣＮ１０４は、２つのサブネット、すなわち「Ｓｕｂｎｅｔ－１」および「Ｓｕｂｎｅｔ－２」を備え、各サブネットは独自のＣＩＤＲＩＰアドレス範囲を有する。図１において、Ｓｕｂｎｅｔ－１のオーバーレイＩＰアドレス範囲は１０．０／１６、Ｓｕｂｎｅｔ－２のアドレス範囲は１０．１／１６である。ＶＣＮ仮想ルータ１０５は、ＶＣＮ１０４のサブネット間およびＶＣＮ外部の他のエンドポイントとの通信を可能にするＶＣＮの論理ゲートウェイを表す。ＶＣＮ ＶＲ１０５は、ＶＣＮ１０４内のＶＮＩＣとＶＣＮ１０４に関連付けられるゲートウェイとの間でトラフィックをルーティングするように構成される。ＶＣＮ ＶＲ１０５は、ＶＣＮ１０４の各サブネットにポートを提供する。例えば、ＶＲ１０５は、Ｓｕｂｎｅｔ－１にＩＰアドレス１０．０．０．１のポートを提供し、Ｓｕｂｎｅｔ－２にＩＰアドレス１０．１．０．１のポートを提供し得る。
【0050】
複数のコンピューティングインスタンスを各サブネット上に展開することができ、その場合、コンピューティングインスタンスは、仮想マシンインスタンスおよび／またはベアメタルインスタンスであり得る。サブネット内のコンピューティングインスタンスは、ＣＳＰＩ１０１内の１つまたは複数のホストマシンによってホストされ得る。コンピューティングインスタンスは、コンピューティングインスタンスに関連付けられるＶＮＩＣを介してサブネットに参加する。例えば、図１に示すように、コンピューティングインスタンスＣ１は、コンピューティングインスタンスに関連付けられるＶＮＩＣを介してＳｕｂｎｅｔ－１の一部である。同様に、コンピューティングインスタンスＣ２は、Ｃ２に関連付けられるＶＮＩＣを介してＳｕｂｎｅｔ－１の一部である。同様に、複数のコンピューティングインスタンス（仮想マシンインスタンスまたはベアメタルインスタンスであり得る）がＳｕｂｎｅｔ－１の一部になり得る。関連付けられるＶＮＩＣを介して、各コンピューティングインスタンスにはプライベートオーバーレイＩＰアドレスとＭＡＣアドレスが割り当てられる。例えば、図１では、コンピューティングインスタンスＣ１は、オーバーレイＩＰアドレス１０．０．０．２、ＭＡＣアドレスＭ１を有し、一方、コンピューティングインスタンスＣ２は、プライベートオーバーレイＩＰアドレス１０．０．０．３とＭＡＣアドレスＭ２を有する。Ｓｕｂｎｅｔ－１の各コンピューティングインスタンス（コンピューティングインスタンスＣ１およびＣ２を含む）には、ＩＰアドレス１０．０．０．１を使用するＶＣＮ ＶＲ１０５へのデフォルトルートがあり、これは、Ｓｕｂｎｅｔ－１のＶＣＮ ＶＲ１０５のポートのＩＰアドレスである。
【0051】
Ｓｕｂｎｅｔ－２は、仮想マシンインスタンスおよび／またはベアメタルインスタンスを含む複数のコンピューティングインスタンスをその上に展開することができる。例えば、図１に示すように、コンピューティングインスタンスＤ１およびＤ２は、それぞれのコンピューティングインスタンスに関連付けられるＶＮＩＣを介してＳｕｂｎｅｔ－２の一部である。図１に示される実施形態では、コンピューティングインスタンスＤ１はオーバーレイＩＰアドレス１０．１．０．２とＭＡＣアドレスＭＭ１を有し、一方、コンピューティングインスタンスＤ２はプライベートオーバーレイＩＰアドレス１０．１．０．３とＭＡＣアドレスＭＭ２を有する。コンピューティングインスタンスＤ１およびＤ２を含むＳｕｂｎｅｔ－２の各コンピューティングインスタンスには、Ｓｕｂｎｅｔ－２のＶＣＮ ＶＲ１０５のポートのＩＰアドレスであるＩＰアドレス１０．１．０．１を使用するＶＣＮ ＶＲ１０５へのデフォルトルートがある。
【0052】
ＶＣＮＡ１０４は、１つまたは複数のロードバランサを含むこともできる。例えば、ロードバランサをサブネットに提供し、サブネット上の複数のコンピューティングインスタンス全体でトラフィックの負荷を分散するように構成できる。ＶＣＮ内のサブネット間でトラフィックの負荷を分散するために、ロードバランサを提供することもできる。
【0053】
ＶＣＮ１０４上に展開された特定のコンピューティングインスタンスは、さまざまな異なるエンドポイントと通信することができる。これらのエンドポイントには、ＣＳＰＩ２００によってホストされるエンドポイントとＣＳＰＩ２００の外部のエンドポイントが含まれ得る。ＣＳＰＩ１０１によってホストされるエンドポイントは、特定のコンピューティングインスタンスと同じサブネット上のエンドポイント（例えば、Ｓｕｂｎｅｔ－１の２つのコンピューティングインスタンス間の通信）、同じＶＣＮ内にある異なるサブネット上のエンドポイント（例えば、Ｓｕｂｎｅｔ－１内のコンピューティングインスタンスとＳｕｂｎｅｔ－２内のコンピューティングインスタンスとの間の通信）、同じ地域内の異なるＶＣＮのエンドポイント（例えば、Ｓｕｂｎｅｔ－１内のコンピューティングインスタンスと同じ地域１０６または１１０内のＶＣＮのエンドポイントとの間の通信、Ｓｕｂｎｅｔ－１内のコンピューティングインスタンスと同じ地域のサービスネットワーク１１０内のエンドポイントとの間の通信）、または、異なる地域内のＶＣＮ内のエンドポイント（例えば、Ｓｕｂｎｅｔ－１内のコンピューティングインスタンスと、異なる地域１０８内のＶＣＮ内のエンドポイントとの間の通信）を含み得る。ＣＳＰＩ１０１によってホストされるサブネット内のコンピューティングインスタンスは、ＣＳＰＩ１０１によってホストされない（すなわち、ＣＳＰＩ１０１の外部にある）エンドポイントと通信することもできる。これらの外部エンドポイントには、顧客のオンプレミスネットワーク１１６内のエンドポイント、他のリモートクラウドホストネットワーク１１８内のエンドポイント、インターネットなどのパブリックネットワークを介してアクセス可能なパブリックエンドポイント１１４、および他のエンドポイントが含まれる。
【0054】
同じサブネット上のコンピューティングインスタンス間の通信は、ソースコンピューティングインスタンスと宛先コンピューティングインスタンスに関連付けられるＶＮＩＣを使用して容易になる。例えば、Ｓｕｂｎｅｔ－１内のコンピューティングインスタンスＣ１は、Ｓｕｂｎｅｔ－１内のコンピューティングインスタンスＣ２にパケットを送信したい場合がある。ソースコンピューティングインスタンスから発信され、宛先が同じサブネット内の別のコンピューティングインスタンスであるパケットの場合、パケットはまず、ソースコンピューティングインスタンスに関連付けられるＶＮＩＣによって処理される。ソースコンピューティングインスタンスに関連付けられるＶＮＩＣによって実行される処理は、パケットヘッダーからパケットの宛先情報を決定することと、ソースコンピューティングインスタンスに関連付けられるＶＮＩＣに構成されるポリシー（例えば、セキュリティリスト）を識別することと、パケットの次のホップを決定することと、必要に応じてパケットのカプセル化／カプセル化解除機能を実行することと、次に、目的の宛先へのパケットの通信を容易にすることを目的として、パケットを次のホップに転送／ルーティングすることと、を含み得る。宛先コンピューティングインスタンスがソースコンピューティングインスタンスと同じサブネットにある場合、ソースコンピューティングインスタンスに関連付けられるＶＮＩＣは、宛先コンピューティングインスタンスに関連付けられるＶＮＩＣを識別し、処理のためにパケットをそのＶＮＩＣに転送するように構成される。次に、宛先コンピューティングインスタンスに関連付けられるＶＮＩＣが実行され、パケットが宛先コンピューティングインスタンスに転送される。
【0055】
サブネット内のコンピューティングインスタンスから同じＶＣＮ内の異なるサブネット内のエンドポイントにパケットが通信される場合、その通信は、ソースおよび宛先のコンピューティングインスタンスおよびＶＣＮ ＶＲに関連付けられるＶＮＩＣによって容易にされる。例えば、図１のＳｕｂｎｅｔ－１のコンピューティングインスタンスＣ１が、Ｓｕｂｎｅｔ－２のコンピューティングインスタンスＤ１にパケットを送信したい場合、パケットはまずコンピューティングインスタンスＣ１に関連付けられるＶＮＩＣによって処理される。コンピューティングインスタンスＣ１に関連付けられるＶＮＩＣは、ＶＣＮ ＶＲのデフォルトルートまたはポート１０．０．０．１を使用してパケットをＶＣＮ ＶＲ１０５にルーティングするように構成される。ＶＣＮ ＶＲ１０５は、ポート１０．１．０．１を使用してパケットをＳｕｂｎｅｔ－２にルーティングするように構成される。その後、パケットはＤ１に関連付けられるＶＮＩＣによって受信されて処理され、ＶＮＩＣはパケットをコンピューティングインスタンスＤ１に転送する。
【0056】
ＶＣＮ１０４内のコンピューティングインスタンスからＶＣＮ１０４の外部にあるエンドポイントにパケットが通信される場合、その通信は、ソースコンピューティングインスタンスに関連付けられるＶＮＩＣ、ＶＣＮ ＶＲ１０５、およびＶＣＮ１０４に関連付けられるゲートウェイによって容易にされる。１つまたは複数のタイプのゲートウェイをＶＣＮ１０４に関連付けることができる。ゲートウェイは、ＶＣＮと別のエンドポイントとの間のインターフェースであり、別のエンドポイントはＶＣＮの外部にある。ゲートウェイは層３／ＩＰ層の概念であり、ＶＣＮがＶＣＮ外部のエンドポイントと通信できるようにする。したがって、ゲートウェイは、ＶＣＮと他のＶＣＮまたはネットワークとの間のトラフィックフローを容易にする。さまざまな異なるタイプのゲートウェイをＶＣＮに対して構成して、異なるタイプのエンドポイントとの異なるタイプの通信を容易にすることができる。ゲートウェイに応じて、通信はパブリックネットワーク（例えば、インターネット）経由で行われる場合もあれば、プライベートネットワーク経由で行われる場合もある。これらの通信には、さまざまな通信プロトコルが使用され得る。
【0057】
例えば、コンピューティングインスタンスＣ１は、ＶＣＮ１０４の外部のエンドポイントと通信したい場合がある。パケットは、最初に、ソースコンピューティングインスタンスＣ１に関連付けられるＶＮＩＣによって処理され得る。ＶＮＩＣ処理により、パケットの宛先がＣ１のＳｕｂｎｅｔ－１の外部にあると決定される。Ｃ１に関連付けられるＶＮＩＣは、ＶＣＮ１０４のＶＣＮ ＶＲ１０５にパケットを転送できる。次に、ＶＣＮ ＶＲ１０５はパケットを処理し、処理の一部として、パケットの宛先に基づいて、ＶＣＮ１０４に関連付けられる特定のゲートウェイをパケットの次のホップとして決定する。次に、ＶＣＮ ＶＲ１０５は、特定の識別されたゲートウェイにパケットを転送することができる。例えば、宛先が顧客のオンプレミスネットワーク内のエンドポイントである場合、パケットは、ＶＣＮ ＶＲ１０５によって、ＶＣＮ１０４用に構成された動的ルーティングゲートウェイ（ＤＲＧ）ゲートウェイ１２２に転送され得る。その後、パケットはゲートウェイから次のホップに転送され、最終的な目的の宛先へのパケットの通信が容易になり得る。
【0058】
ＶＣＮに対してさまざまな異なるタイプのゲートウェイを構成することができる。ＶＣＮ用に構成できるゲートウェイの例が図１に示され、以下に説明する。ＶＣＮに関連付けられるゲートウェイの例もまた、図１２、１３、１４、および１５（例えば、参照番号１２３４、１２３６、１２３８、１３３４、１３３６、１３３８、１４３４、１４３６、１４３８、１５３４、１５３６、および１５３８で参照されるゲートウェイ）に示され、以下で説明する。図１に示される実施形態に示されるように、動的ルーティングゲートウェイ（ＤＲＧ）１２２は、顧客ＶＣＮ１０４に追加するか、顧客ＶＣＮ１０４に関連付けることができ、顧客ＶＣＮ１０４と別のエンドポイントとの間のプライベートネットワークトラフィック通信のためのパスを提供し、別のエンドポイントは、顧客のオンプレミスネットワーク１１６、ＣＳＰＩ１０１の異なる地域のＶＣＮ１０８、またはＣＳＰＩ１０１によってホストされていない他のリモートクラウドネットワーク１１８であり得る。顧客のオンプレミスネットワーク１１６は、顧客のリソースを使用して構築された顧客ネットワークまたは顧客データセンターであってもよい。顧客のオンプレミスネットワーク１１６へのアクセスは、一般に非常に制限されている。顧客のオンプレミスネットワーク１１６と、ＣＳＰＩ１０１によってクラウドに展開またはホストされる１つまたは複数のＶＣＮ１０４の両方を有する顧客の場合、顧客は、オンプレミスネットワーク１１６とクラウドベースのＶＣＮ１０４が相互に通信できるようにしたい場合がある。これにより、顧客は、ＣＳＰＩ１０１によってホストされる顧客のＶＣＮ１０４とオンプレミスネットワーク１１６を含む拡張ハイブリッド環境を構築できる。ＤＲＧ１２２はこの通信を可能にする。このような通信を可能にするために、チャネルの一方のエンドポイントが顧客オンプレミスネットワーク１１６内にあり、他方のエンドポイントがＣＳＰＩ１０１内にあり、顧客ＶＣＮ１０４に接続される通信チャネル１２４が設定される。通信チャネル１２４は、インターネットなどのパブリック通信ネットワークまたはプライベート通信ネットワークを介することができる。インターネットなどのパブリック通信ネットワーク上のＩＰｓｅｃＶＰＮ技術、パブリックネットワークの代わりにプライベートネットワークを使用するＯｒａｃｌｅのＦａｓｔＣｏｎｎｅｃｔ技術など、さまざまな異なる通信プロトコルが使用され得る。通信チャネル１２４の１つのエンドポイントを形成する顧客オンプレミスネットワーク１１６内の装置または機器は、図１に示されるＣＰＥ１２６などの顧客プレミス機器（ＣＰＥ）と呼ばれる。ＣＳＰＩ１０１側では、エンドポイントはＤＲＧ１２２を実行するホストマシンである場合がある。
【0059】
特定の実施形態では、リモートピアリング接続（ＲＰＣ）をＤＲＧに追加することができ、これにより顧客はあるＶＣＮを異なる地域内の別のＶＣＮとピアリングできるようになる。このようなＲＰＣを使用すると、顧客ＶＣＮ１０４は、ＤＲＧ１２２を使用して、別の地域のＶＣＮ１０８に接続することができる。ＤＲＧ１２２はまた、ＣＳＰＩ１０１によってホストされない、Ｍｉｃｒｏｓｏｆｔ Ａｄｕｒｅクラウド、Ａｍａｚｏｎ ＡＷＳクラウドなどの他のリモートクラウドネットワーク１１８と通信するために使用されてもよい。
【0060】
図１に示すように、顧客ＶＣＮ１０４用にインターネットゲートウェイ（ＩＧＷ）１２０を構成することができ、ＶＣＮ１０４上のコンピューティングインスタンスが、インターネットなどのパブリックネットワークを介してアクセス可能なパブリックエンドポイント１１４と通信できるようにする。ＩＧＷ１１２０は、ＶＣＮをインターネットなどのパブリックネットワークに接続するゲートウェイである。ＩＧＷ１２０は、ＶＣＮ１０４などのＶＣＮ内のパブリックサブネット（パブリックサブネット内のリソースがパブリックオーバーレイＩＰアドレスを有する）が、インターネットなどのパブリックネットワーク１１４上のパブリックエンドポイント１１２に直接アクセスできるようにする。ＩＧＷ１２０を使用すると、ＶＣＮ１０４内のサブネットまたはインターネットから接続を開始することができる。
【0061】
ネットワークアドレス変換（ＮＡＴ）ゲートウェイ１２８は、顧客のＶＣＮ１０４用に構成することができ、専用のパブリックオーバーレイＩＰアドレスを持たない顧客のＶＣＮ内のクラウドリソースがインターネットにアクセスできるようにし、これをそれらのリソースを公開することなく行い、受信インターネット接続（Ｌ４～Ｌ７接続など）を誘導する。これにより、ＶＣＮ１０４内のプライベートＳｕｂｎｅｔ－１などのＶＣＮ内のプライベートサブネットが、インターネット上のパブリックエンドポイントにプライベートアクセスできるようになる。ＮＡＴゲートウェイでは、プライベートサブネットからパブリックインターネットへの接続のみを開始でき、インターネットからプライベートサブネットへの接続は開始できない。
【0062】
特定の実施形態では、サービスゲートウェイ（ＳＧＷ）１２６は、顧客ＶＣＮ１０４用に構成することができ、ＶＣＮ１０４とサービスネットワーク１１０内のサポートされるサービスエンドポイントとの間のプライベートネットワークトラフィックのためのパスを提供する。特定の実施形態では、サービスネットワーク１１０はＣＳＰによって提供され、さまざまなサービスを提供することができる。このようなサービスネットワークの例としては、顧客が使用できるさまざまなサービスを提供するＯｒａｃｌｅのＳｅｒｖｉｃｅｓ Ｎｅｔｗｏｒｋがある。例えば、顧客ＶＣＮ１０４のプライベートサブネット内のコンピューティングインスタンス（例えばデータベースシステム）は、パブリックＩＰアドレスまたはインターネットへのアクセスを必要とせずに、データをサービスエンドポイント（例えばオブジェクト記憶装置）にバックアップすることができる。特定の実施形態では、ＶＣＮはＳＧＷを１つだけ有することができ、接続はＶＣＮ内のサブネットからのみ開始でき、サービスネットワーク１１０からは開始できない。ＶＣＮが別のＶＣＮとピアリングされている場合、通常、他のＶＣＮ内のリソースはＳＧＷにアクセスできない。ＦａｓｔＣｏｎｎｅｃｔまたはＶＰＮ Ｃｏｎｎｅｃｔを使用してＶＣＮに接続されているオンプレミスネットワーク内のリソースは、そのＶＣＮ用に構成されたサービスゲートウェイを使用することもできる。
【0063】
特定の実装では、ＳＧＷ１２６は、サービスクラスレス領域間ルーティング（ＣＩＤＲ）ラベルの概念を使用し、これは、対象のサービスまたはサービスのグループのすべての地域パブリックＩＰアドレス範囲を表す文字列である。顧客は、ＳＧＷおよび関連するルートルールを設定してサービスへのトラフィックを制御するときに、サービスＣＩＤＲラベルを使用する。顧客は、将来サービスのパブリックＩＰアドレスが変更された場合にセキュリティルールを調整する必要なく、セキュリティルールを構成するときに任意選択でこれを利用できる。
【0064】
ローカルピアリングゲートウェイ（ＬＰＧ）１３２は、顧客ＶＣＮ１０４に追加することができ、ＶＣＮ１０４が同じ地域内の別のＶＣＮとピアリングできるようにするゲートウェイである。ピアリングとは、トラフィックがインターネットなどのパブリックネットワークを通過したり、トラフィックが顧客のオンプレミスネットワーク１１６を介してルーティングされたりすることなく、ＶＣＮがプライベートＩＰアドレスを使用して通信することを意味する。好ましい実施形態では、ＶＣＮは、確立するピアリングごとに別個のＬＰＧを有する。ローカルピアリングまたはＶＣＮピアリングは、異なるアプリケーションまたはインフラストラクチャ管理機能間のネットワーク接続を確立するために使用される一般的な方法である。
【0065】
サービスネットワーク１１０におけるサービスのプロバイダなどのサービスプロバイダは、異なるアクセスモデルを使用してサービスへのアクセスを提供することができる。パブリックアクセスモデルによれば、サービスは、インターネットなどのパブリックネットワークを介して顧客ＶＣＮ内のコンピューティングインスタンスによって公的にアクセスできるパブリックエンドポイントとして公開されてもよく、またはＳＧＷ１２６を介してプライベートにアクセスできてもよい。特定のプライベートアクセスモデルに従って、サービスは顧客のＶＣＮのプライベートサブネット内のプライベートＩＰエンドポイントとしてアクセス可能になる。これはプライベートエンドポイント（ＰＥ）アクセスと呼ばれ、サービスプロバイダが顧客のプライベートネットワーク内のインスタンスとしてサービスを公開できるようになる。プライベートエンドポイントリソースは、顧客のＶＣＮ内のサービスを表す。各ＰＥは、顧客のＶＣＮ内で顧客が選択したサブネット内のＶＮＩＣ（１つまたは複数のプライベートＩＰを持つＰＥ－ＶＮＩＣと呼ばれる）として現れる。したがって、ＰＥは、ＶＮＩＣを使用してプライベート顧客ＶＣＮサブネット内でサービスを提示する方法を提供する。エンドポイントはＶＮＩＣとして公開されるため、ルーティングルール、セキュリティリストなど、ＶＮＩＣに関連付けられているすべての機能がここでＰＥ ＶＮＩＣで使用できるようになる。
【0066】
サービスプロバイダは、ＰＥを介したアクセスを可能にするためにサービスを登録することができる。プロバイダは、顧客テナントに対するサービスの可視性を制限するサービスにポリシーを関連付けることができる。プロバイダは、特にマルチテナントサービスの場合、単一の仮想ＩＰアドレス（ＶＩＰ）の下で複数のサービスを登録できる。同じサービスを表すこのようなプライベートエンドポイントが（複数のＶＣＮ内に）複数存在し得る。
【0067】
その後、プライベートサブネット内のコンピューティングインスタンスは、ＰＥ ＶＮＩＣのプライベートＩＰアドレスまたはサービスＤＮＳ名を使用してサービスにアクセスすることができる。顧客ＶＣＮのコンピューティングインスタンスは、顧客ＶＣＮのＰＥのプライベートＩＰアドレスにトラフィックを送信することでサービスにアクセスできる。プライベートアクセスゲートウェイ（ＰＡＧＷ）１３０は、顧客サブネットプライベートエンドポイントとの間のすべてのトラフィックの入口／出口ポイントとして機能するサービスプロバイダＶＣＮ（例えば、サービスネットワーク１１０内のＶＣＮ）に接続できるゲートウェイリソースである。ＰＡＧＷ１３０を使用すると、プロバイダは内部ＩＰアドレスリソースを利用せずにＰＥ接続の数を拡張できる。プロバイダは、単一のＶＣＮに登録されている任意の数のサービスに対して１つのＰＡＧＷを構成するだけで済む。プロバイダは、１つまたは複数の顧客の複数のＶＣＮでサービスをプライベートエンドポイントとして表すことができる。顧客の観点から見ると、ＰＥ ＶＮＩＣは、顧客のインスタンスに接続されているのではなく、顧客が対話を希望するサービスに接続されているように見える。プライベートエンドポイント宛てのトラフィックは、ＰＡＧＷ１３０を介してサービスにルーティングされる。これらは、顧客からサービスへのプライベート接続（Ｃ２Ｓ接続）と呼ばれる。
【0068】
ＰＥ概念は、トラフィックが顧客ＶＣＮ内のＦａｓｔＣｏｎｎｅｃｔ／ＩＰｓｅｃリンクおよびプライベートエンドポイントを通って流れることを可能にすることによって、サービスのプライベートアクセスを顧客のオンプレミスネットワークおよびデータセンターに拡張するために使用することもできる。サービスのプライベートアクセスは、ＬＰＧ１３２と顧客のＶＣＮ内のＰＥとの間でトラフィックが流れることを許可することによって、顧客のピアリングされたＶＣＮに拡張することもできる。
【0069】
顧客は、ＶＣＮ内のルーティングをサブネットレベルで制御できるため、顧客は、ＶＣＮ１０４などの顧客のＶＣＮ内のどのサブネットが各ゲートウェイを使用するかを指定できる。ＶＣＮのルートテーブルは、ＶＣＮから特定のゲートウェイを経由するトラフィックを許可するかどうかを決定するために使用される。例えば、特定の例では、顧客ＶＣＮ１０４内のパブリックサブネットのルートテーブルは、ＩＧＷ１２０を介して非ローカルトラフィックを送信し得る。同じ顧客ＶＣＮ１０４内のプライベートサブネットのルートテーブルは、ＳＧＷ１２６を介してＣＳＰサービス宛てのトラフィックを送信することができる。残りのトラフィックはすべて、ＮＡＴゲートウェイ１２８経由で送信され得る。ルートテーブルはＶＣＮから出るトラフィックのみを制御する。
【0070】
ＶＣＮに関連付けられるセキュリティリストは、受信接続を介してゲートウェイを介してＶＣＮに入るトラフィックを制御するために使用される。サブネット内のすべてのリソースは、同じルートテーブルとセキュリティリストを使用する。セキュリティリストは、ＶＣＮのサブネット内のインスタンスに出入りできる特定のタイプのトラフィックを制御するために使用できる。セキュリティリストルールは、入口（受信）ルールと出口（送信）ルールを含み得る。例えば、入口ルールは許可されるソースアドレス範囲を指定し、一方、出口ルールは許可される宛先アドレス範囲を指定し得る。セキュリティルールでは、特定のプロトコル（例えば、ＴＣＰ、ＩＣＭＰ）、特定のポート（例えば、ＳＳＨの場合は２２、ＷｉｎｄｏｗｓＲＤＰの場合は３３８９）などを指定できる。特定の実装では、インスタンスのオペレーティングシステムが、セキュリティリストのルールに合わせた独自のファイアウォールルールを強制し得る。ルールはステートフル（例えば、接続が追跡され、応答トラフィックに対する明示的なセキュリティリストルールなしで応答が自動的に許可される）またはステートレスの場合がある。
【0071】
顧客ＶＣＮからのアクセス（すなわち、ＶＣＮ１０４上に展開されたリソースまたはコンピューティングインスタンスによる）は、パブリックアクセス、プライベートアクセス、または専用アクセスとして分類することができる。パブリックアクセスは、パブリックＩＰアドレスまたはＮＡＴを使用してパブリックエンドポイントにアクセスするアクセスモデルを指す。プライベートアクセスにより、プライベートＩＰアドレスを有するＶＣＮ１０４内の顧客ワークロード（例えば、プライベートサブネット内のリソース）が、インターネットなどのパブリックネットワークを経由せずにサービスにアクセスできるようになる。特定の実施形態では、ＣＳＰＩ１０１は、プライベートＩＰアドレスを有する顧客ＶＣＮワークロードが、サービスゲートウェイを使用してサービス（のパブリックサービスエンドポイント）にアクセスできるようにする。したがって、サービスゲートウェイは、顧客のＶＣＮと顧客のプライベートネットワークの外側にあるサービスのパブリックエンドポイントとの間に仮想リンクを確立することにより、プライベートアクセスモデルを提供する。
【0072】
さらに、ＣＳＰＩは、ＦａｓｔＣｏｎｎｅｃｔパブリックピアリングなどの技術を使用して専用のパブリックアクセスを提供することができ、顧客のオンプレミスインスタンスは、ＦａｓｔＣｏｎｎｅｃｔ接続を使用して、インターネットなどのパブリックネットワークを経由することなく、顧客のＶＣＮ内の１つまたは複数のサービスにアクセスできる。ＣＳＰＩは、ＦａｓｔＣｏｎｎｅｃｔプライベートピアリングを使用した専用プライベートアクセスも提供でき、プライベートＩＰアドレスを持つ顧客のオンプレミスインスタンスがＦａｓｔＣｏｎｎｅｃｔ接続を使用して顧客のＶＣＮワークロードにアクセスできる。ＦａｓｔＣｏｎｎｅｃｔは、顧客のオンプレミスネットワークをＣＳＰＩおよびそのサービスに接続するために、パブリックインターネットを使用する代わりのネットワーク接続である。ＦａｓｔＣｏｎｎｅｃｔは、インターネットベースの接続と比較して、より高帯域幅のオプションと、より信頼性が高く一貫したネットワークエクスペリエンスを備えた専用のプライベート接続を作成するための、簡単、弾力的、かつ経済的な方法を提供する。
【0073】
図１およびそれに付随する上記の説明では、仮想ネットワーク例におけるさまざまな仮想化構成要素について説明している。上で説明したように、仮想ネットワークは、基礎となる物理ネットワークまたは基板ネットワーク上に構築される。図２は、特定の実施形態による、仮想ネットワークの基礎を提供するＣＳＰＩ２００内の物理ネットワーク内の物理構成要素の簡略化されたアーキテクチャ図を示す。図示されるように、ＣＳＰＩ２００は、クラウドサービスプロバイダ（ＣＳＰ）によって提供される構成要素およびリソース（例えば、コンピューティング、メモリ、およびネットワーキングリソース）を含む配信環境を提供する。これらの構成要素およびリソースは、加入顧客、つまりＣＳＰが提供する１つまたは複数のサービスに加入している顧客にクラウドサービス（例えば、ＩａａＳサービス）を提供するために使用される。顧客が加入したサービスに基づいて、ＣＳＰＩ２００のリソースのサブセット（例えば、コンピューティング、メモリ、およびネットワーキングリソース）が顧客にプロビジョニングされる。その後、顧客は、ＣＳＰＩ２００によって提供される物理コンピューティング、メモリ、およびネットワーキングリソースを使用して、独自のクラウドベース（つまり、ＣＳＰＩホスト型）のカスタマイズ可能なプライベート仮想ネットワークを構築できる。前述したように、これらの顧客ネットワークは仮想クラウドネットワーク（ＶＣＮ）と呼ばれる。顧客は、コンピューティングインスタンスなどの１つまたは複数の顧客リソースをこれらの顧客ＶＣＮに展開できる。コンピューティングインスタンスは、仮想マシン、ベアメタルインスタンスなどの形式にすることができる。ＣＳＰＩ２００は、顧客が可用性の高いホスト環境で幅広いアプリケーションとサービスを構築および実行できるようにするインフラストラクチャとセットの補完的なクラウドサービスを提供する。
【0074】
図２に示される例示的な実施形態では、ＣＳＰＩ２００の物理構成要素には、１つまたは複数の物理ホストマシンまたは物理サーバ（例えば、２０２、２０６、２０８）、ネットワーク仮想化装置（ＮＶＤ）（例えば、２１０、２１２）、トップオブラック（ＴＯＲ）スイッチ（例えば、２１４、２１６）、ならびに物理ネットワーク（例えば、２１８）、および物理ネットワーク２１８内のスイッチが含まれる。物理ホストマシンまたはサーバは、ＶＣＮの１つまたは複数のサブネットに参加するさまざまなコンピューティングインスタンスをホストおよび実行できる。コンピューティングインスタンスには、仮想マシンインスタンスとベアメタルインスタンスが含まれ得る。例えば、図１に示されるさまざまなコンピューティングインスタンスは、図２に示す物理ホストマシンによってホストされ得る。ＶＣＮ内の仮想マシンコンピューティングインスタンスは、１つのホストマシンまたは複数の異なるホストマシンによって実行できる。物理ホストマシンは、仮想ホストマシン、コンテナベースのホストまたは機能などをホストすることもできる。図１に示されるＶＮＩＣおよびＶＣＮ ＶＲは、図２に示したＮＶＤによって実行することができる。図１に示されるゲートウェイは、図２に示されたホストマシンおよび／またはＮＶＤによって実行され得る。
【0075】
ホストマシンまたはサーバは、ホストマシン上に仮想化環境を作成し有効にするハイパーバイザ（仮想マシンモニタまたはＶＭＭとも呼ばれる）を実行することができる。仮想化または仮想化環境は、クラウドベースのコンピューティングを容易にする。ホストマシン上のハイパーバイザによって、ホストマシン上で１つまたは複数のコンピューティングインスタンスを作成、実行、および管理できる。ホストマシン上のハイパーバイザにより、ホストマシンの物理コンピューティングリソース（例えば、コンピューティング、メモリ、およびネットワーキングリソース）を、ホストマシンによって実行されるさまざまなコンピューティングインスタンス間で共有できるようになる。
【0076】
例えば、図２に示すように、ホストマシン２０２および２０８は、それぞれハイパーバイザ２６０および２６６を実行する。これらのハイパーバイザは、ソフトウェア、ファームウェア、もしくはハードウェア、またはそれらの組み合わせを使用して実装できる。通常、ハイパーバイザは、ホストマシンのオペレーティングシステム（ＯＳ）の上に位置するプロセスまたはソフトウェア層であり、次に、ホストマシンのハードウェアプロセッサ上で実行される。ハイパーバイザは、ホストマシンの物理コンピューティングリソース（例えば、プロセッサ／コアなどの処理リソース、メモリリソース、ネットワーキングリソース）を、ホストマシンによって実行されるさまざまな仮想マシンコンピューティングインスタンス間で共有できるようにすることによって、仮想化環境を提供する。例えば、図２では、ハイパーバイザ２６０は、ホストマシン２０２のＯＳの上に位置することができ、ホストマシン２０２のコンピューティングリソース（例えば、処理、メモリ、およびネットワーキングリソース）が、ホストマシン２０２によって実行されるコンピューティングインスタンス（例えば、仮想マシン）間で共有されることを可能にする。仮想マシンは独自のオペレーティングシステム（ゲストオペレーティングシステムと呼ばれる）を持つことができる。これはホストマシンのＯＳと同じ場合もあれば、異なる場合もある。ホストマシンによって実行される仮想マシンのオペレーティングシステムは、同じホストマシンによって実行される別の仮想マシンのオペレーティングシステムと同じであっても、異なっていてもよい。したがって、ハイパーバイザを使用すると、ホストマシンの同じコンピューティングリソースを共有しながら、複数のオペレーティングシステムを互いに並行して実行できる。図２に示されるホストマシンは、同じタイプまたは異なるタイプのハイパーバイザを備えていてもよい。
【0077】
コンピューティングインスタンスは、仮想マシンインスタンスまたはベアメタルインスタンスであり得る。図２において、ホストマシン２０２上のコンピューティングインスタンス２６８およびホストマシン２０８上のコンピューティングインスタンス２７４は、仮想マシンインスタンスの例である。ホストマシン２０６は、顧客に提供されるベアメタルインスタンスの一例である。
【0078】
特定の例では、ホストマシン全体が単一の顧客にプロビジョニングされてもよく、そのホストマシンによってホストされる１つまたは複数のコンピューティングインスタンス（仮想マシンまたはベアメタルインスタンス）のすべてがその同じ顧客に属する。他の例では、ホストマシンが複数の顧客（つまり、複数のテナント）間で共有され得る。このようなマルチテナントのシナリオでは、ホストマシンが、異なる顧客に属する仮想マシンコンピューティングインスタンスをホストし得る。これらのコンピューティングインスタンスは、異なる顧客の異なるＶＣＮのメンバーである場合がある。特定の実施形態では、ベアメタルコンピューティングインスタンスは、ハイパーバイザなしでベアメタルサーバによってホストされる。ベアメタルコンピューティングインスタンスがプロビジョニングされると、単一の顧客またはテナントがベアメタルインスタンスをホストするホストマシンの物理ＣＰＵ、メモリ、およびネットワークインターフェースの制御を維持し、ホストマシンは他の顧客またはテナントと共有されない。
【0079】
前述したように、ＶＣＮの一部である各コンピューティングインスタンスは、そのコンピューティングインスタンスがＶＣＮのサブネットのメンバーになることを可能にするＶＮＩＣに関連付けられる。コンピューティングインスタンスに関連付けられるＶＮＩＣにより、コンピューティングインスタンスとの間のパケットまたはフレームの通信が容易になる。ＶＮＩＣは、コンピューティングインスタンスの作成時にコンピューティングインスタンスに関連付けられる。特定の実施形態では、ホストマシンによって実行されるコンピューティングインスタンスの場合、そのコンピューティングインスタンスに関連付けられるＶＮＩＣは、ホストマシンに接続されたＮＶＤによって実行される。例えば、図２では、ホストマシン２０２は、ＶＮＩＣ２７６に関連付けられる仮想マシンコンピューティングインスタンス２６８を実行し、ＶＮＩＣ２７６は、ホストマシン２０２に接続されたＮＶＤ２１０によって実行される。別の例として、ホストマシン２０６によってホストされるベアメタルインスタンス２７２は、ホストマシン２０６に接続されたＮＶＤ２１２によって実行されるＶＮＩＣ２８０に関連付けられる。さらに別の例として、ＶＮＩＣ２８４は、ホストマシン２０８によって実行されるコンピューティングインスタンス２７４に関連付けられ、ＶＮＩＣ２８４は、ホストマシン２０８に接続されたＮＶＤ２１２によって実行される。
【0080】
ホストマシンによってホストされるコンピューティングインスタンスの場合、そのホストマシンに接続されたＮＶＤは、コンピューティングインスタンスがメンバーであるＶＣＮに対応するＶＣＮ ＶＲも実行する。例えば、図２に示される実施形態では、ＮＶＤ２１０は、コンピューティングインスタンス２６８がメンバーであるＶＣＮに対応するＶＣＮ ＶＲ２７７を実行する。ＮＶＤ２１２はまた、ホストマシン２０６および２０８によってホストされるコンピューティングインスタンスに対応するＶＣＮに対応する１つまたは複数のＶＣＮ ＶＲ２８３を実行することもできる。
【0081】
ホストマシンは、ホストマシンを他の装置に接続できるようにする１つまたは複数のネットワークインターフェースカード（ＮＩＣ）を含むことができる。ホストマシン上のＮＩＣは、ホストマシンが別の装置に通信可能に接続できるようにする１つまたは複数のポート（またはインターフェース）を提供し得る。例えば、ホストマシンとＮＶＤ上に提供される１つまたは複数のポート（またはインターフェース）を使用して、ホストマシンをＮＶＤに接続できる。ホストマシンは、別のホストマシンなどの他の装置に接続することもできる。
【0082】
例えば、図２では、ホストマシン２０２は、ホストマシン２０２のＮＩＣ２３２によって提供されるポート２３４とＮＶＤ２１０のポート２３６との間に延びるリンク２２０を使用してＮＶＤ２１０に接続される。ホストマシン２０６は、ホストマシン２０６のＮＩＣ２４４によって提供されるポート２４６とＮＶＤ２１２のポート２４８との間に延びるリンク２２４を使用してＮＶＤ２１２に接続される。ホストマシン２０８は、ホストマシン２０８のＮＩＣ２５０によって提供されるポート２５２とＮＶＤ２１２のポート２５４との間に延びるリンク２２６を使用してＮＶＤ２１２に接続される。
【0083】
ＮＶＤは、通信リンクを介してトップオブザラック（ＴＯＲ）スイッチに接続され、物理ネットワーク２１８（スイッチファブリックとも呼ばれる）に接続される。特定の実施形態では、ホストマシンとＮＶＤとの間、およびＮＶＤとＴＯＲスイッチとの間のリンクはイーサネットリンクである。例えば、図２では、ＮＶＤ２１０および２１２は、リンク２２８および２３０を使用して、それぞれＴＯＲスイッチ２１４および２１６に接続される。特定の実施形態では、リンク２２０、２２４、２２６、２２８、および２３０はイーサネットリンクである。ＴＯＲに接続されているホストマシンとＮＶＤの集合は、ラックと呼ばれることもある。
【0084】
物理ネットワーク２１８は、ＴＯＲスイッチが相互に通信できるようにする通信ファブリックを提供する。物理ネットワーク２１８は、多層ネットワークとすることができる。特定の実装では、物理ネットワーク２１８は、スイッチの多層Ｃｌｏｓネットワークであり、ＴＯＲスイッチ２１４および２１６は、多層およびマルチノード物理スイッチングネットワーク２１８のリーフレベルノードを表す。２層ネットワーク、３層ネットワーク、４層ネットワーク、５層ネットワーク、および一般に「ｎ」層ネットワークを含むがこれらに限定されない、異なるＣｌｏｓネットワーク構成が可能である。Ｃｌｏｓネットワークの例を図５に示し、以下で説明する。
【0085】
ホストマシンとＮＶＤとの間では、１対１構成、多対１構成、１対多構成などのさまざまな異なる接続構成が可能である。１対１構成の実装では、各ホストマシンが独自の個別のＮＶＤに接続される。例えば、図２では、ホストマシン２０２は、ホストマシン２０２のＮＩＣ２３２を介してＮＶＤ２１０に接続される。多対１構成では、複数のホストマシンが１つのＮＶＤに接続される。例えば、図２では、ホストマシン２０６および２０８は、それぞれＮＩＣ２４４および２５０を介して同じＮＶＤ２１２に接続される。
【0086】
１対多構成では、１台のホストマシンが複数のＮＶＤに接続される。図３は、ホストマシンが複数のＮＶＤに接続されているＣＳＰＩ３００内の例を示している。図３に示されるように、ホストマシン３０２は、複数のポート３０６および３０８を含むネットワークインターフェースカード（ＮＩＣ）３０４を備える。ホストマシン３００は、ポート３０６およびリンク３２０を介して第１のＮＶＤ３１０に接続され、ポート３０８およびリンク３２２を介して第２のＮＶＤ３１２に接続される。ポート３０６および３０８はイーサネットポートであってもよく、ホストマシン３０２とＮＶＤ３１０および３１２との間のリンク３２０および３２２はイーサネットリンクであってもよい。ＮＶＤ３１０は第１のＴＯＲスイッチ３１４に接続され、一方、ＮＶＤ３１２は第２のＴＯＲスイッチ３１６に接続される。ＮＶＤ３１０および３１２とＴＯＲスイッチ３１４および３１６との間のリンクは、イーサネットリンクであってもよい。ＴＯＲスイッチ３１４および３１６は、多層物理ネットワーク３１８内のＴｉｅｒ－０スイッチング装置を表す。
【0087】
図３に示される配置は、物理スイッチネットワーク３１８とホストマシン３０２との間の２つの別個の物理ネットワークパスを提供する。ＴＯＲスイッチ３１４を経由してＮＶＤ３１０を経由し、ホストマシン３０２に至る第１のパスと、ＴＯＲスイッチ３１６を経由してＮＶＤ３１２を経由し、ホストマシン３０２に至る第２のパスである。個別のパスにより、ホストマシン３０２の可用性が向上する（高可用性と呼ばれる）。パスの１つ（例えば、パスの１つのリンクがダウンする）または装置（例えば、特定のＮＶＤが機能しない）に問題がある場合、ホストマシン３０２との通信に他のパスが使用され得る。
【0088】
図３に示す構成では、ホストマシンは、ホストマシンのＮＩＣによって提供される２つの異なるポートを使用して２つの異なるＮＶＤに接続される。他の実施形態では、ホストマシンは、ホストマシンの複数のＮＶＤへの接続を可能にする複数のＮＩＣを含むことができる。
【0089】
図２に戻り参照すると、ＮＶＤは、１つまたは複数のネットワークおよび／または記憶仮想化機能を実行する物理装置または構成要素である。ＮＶＤは、１つまたは複数の処理ユニット（例えば、ＣＰＵ、ネットワーク処理ユニット（ＮＰＵ）、ＦＰＧＡ、パケット処理パイプラインなど）、キャッシュを含むメモリ、およびポートを備えた任意の装置であり得る。さまざまな仮想化機能は、ＮＶＤの１つまたは複数の処理ユニットによって実行されるソフトウェア／ファームウェアによって実行され得る。
【0090】
ＮＶＤは、さまざまな異なる形式で実装することができる。例えば、特定の実施形態では、ＮＶＤは、スマートＮＩＣまたは内蔵プロセッサを搭載したインテリジェントＮＩＣと呼ばれるインターフェースカードとして実装される。スマートＮＩＣは、ホストマシン上のＮＩＣとは別の装置である。図２において、ＮＶＤ２１０および２１２は、それぞれホストマシン２０２、ホストマシン２０６および２０８に接続されるスマートＮＩＣとして実装され得る。
【0091】
しかし、スマートＮＩＣは、ＮＶＤ実装の一例にすぎない。他のさまざまな実装が可能である。例えば、いくつかの他の実装では、ＮＶＤ、またはＮＶＤによって実行される１つもしくは複数の機能は、１つまたは複数のホストマシン、１つまたは複数のＴＯＲスイッチ、およびＣＳＰＩ２００の他の構成要素に組み込まれるか、またはそれらによって実行され得る。例えば、ＮＶＤは、ＮＶＤによって実行される機能がホストマシンによって実行されるホストマシン内で実現されてもよい。別の例として、ＮＶＤはＴＯＲスイッチの一部であってもよく、またはＴＯＲスイッチがパブリッククラウドに使用されるさまざまな複雑なパケット変換をＴＯＲスイッチが実行できるようにするＮＶＤによって実行される機能を実行するように構成されてもよい。ＮＶＤの機能を実行するＴＯＲは、スマートＴＯＲと呼ばれることもある。さらに他の実装では、ベアメタル（ＢＭ）インスタンスではなく仮想マシン（ＶＭ）インスタンスが顧客に提供され、ＮＶＤによって実行される機能がホストマシンのハイパーバイザ内に実装され得る。他のいくつかの実装では、ＮＶＤの機能の一部が、一連のホストマシン上で実行される集中サービスにオフロードされ得る。
【0092】
特定の実施形態では、例えば、図２に示すようにスマートＮＩＣとして実装される場合、ＮＶＤは、１つまたは複数のホストマシンおよび１つまたは複数のＴＯＲスイッチへの接続を可能にする複数の物理ポートを備えることができる。ＮＶＤ上のポートは、ホスト側ポート（「サウスポート」とも呼ばれる）またはネットワーク側もしくはＴＯＲ側ポート（「ノースポート」とも呼ばれる）として分類できる。ＮＶＤのホスト側ポートは、ＮＶＤをホストマシンに接続するために使用されるポートである。図２のホスト側ポートの例には、ＮＶＤ２１０のポート２３６、ならびにＮＶＤ２１２のポート２４８および２５４が含まれる。ＮＶＤのネットワーク側ポートは、ＮＶＤをＴＯＲスイッチに接続するために使用されるポートである。図２のネットワーク側ポートの例には、ＮＶＤ２１０のポート２５６とＮＶＤ２１２のポート２５８が含まれる。図２に示すように、ＮＶＤ２１０は、ＮＶＤ２１０のポート２５６からＴＯＲスイッチ２１４まで延びるリンク２２８を使用してＴＯＲスイッチ２１４に接続されている。同様に、ＮＶＤ２１２は、ＮＶＤ２１２のポート２５８からＴＯＲスイッチ２１６まで延びるリンク２３０を使用してＴＯＲスイッチ２１６に接続されている。
【0093】
ＮＶＤは、ホスト側ポートを介してホストマシンからパケットおよびフレーム（例えば、ホストマシンによってホストされるコンピューティングインスタンスによって生成されるパケットおよびフレーム）を受信し、必要なパケット処理を実行した後、ＮＶＤのネットワーク側ポートを介してＴＯＲスイッチにパケットとフレームとを転送できる。ＮＶＤは、ＮＶＤのネットワーク側ポートを介してＴＯＲスイッチからパケットとフレームとを受信し、必要なパケット処理を実行した後、ＮＶＤのホスト側ポートを介してパケットとフレームとをホストマシンに転送できる。
【0094】
特定の実施形態では、ＮＶＤとＴＯＲスイッチとの間に複数のポートおよび関連するリンクが存在し得る。これらのポートとリンクは集約されて、複数のポートまたはリンクのリンクアグリゲータグループ（ＬＡＧと呼ばれる）を形成することができる。リンク集約により、２つのエンドポイント間（例えば、ＮＶＤとＴＯＲスイッチとの間）の複数の物理リンクを１つの論理リンクとして扱うことができる。特定のＬＡＧ内のすべての物理リンクは、全二重モードで同じ速度で動作できる。ＬＡＧは、２つのエンドポイント間の接続の帯域幅と信頼性を向上させるのに役立つ。ＬＡＧ内の物理リンクの１つがダウンすると、トラフィックはＬＡＧ内の他の物理リンクの１つに動的かつ透過的に再割り当てされる。集約された物理リンクは、個々のリンクよりも高い帯域幅を提供する。ＬＡＧに関連付けられる複数のポートは、単一の論理ポートとして扱われる。トラフィックは、ＬＡＧの複数の物理リンク間で負荷分散できる。２つのエンドポイント間に１つまたは複数のＬＡＧを構成できる。２つのエンドポイントは、ＮＶＤとＴＯＲスイッチとの間、ホストマシンとＮＶＤとの間などにあり得る。
【0095】
ＮＶＤは、ネットワーク仮想化機能を実装または実行する。これらの機能は、ＮＶＤによって実行されるソフトウェア／ファームウェアによって実行される。ネットワーク仮想化機能の例には次のものが含まれるが、これらに限定されない。パケットのカプセル化およびカプセル化解除機能、ＶＣＮネットワークを作成するための機能、ＶＣＮセキュリティリスト（ファイアウォール）機能などのネットワークポリシーを実装する機能、ＶＣＮ内のコンピューティングインスタンスとの間のパケットのルーティングおよび転送を容易にする機能など。特定の実施形態では、パケットを受信すると、ＮＶＤは、パケットを処理し、パケットがどのように転送またはルーティングされるかを決定するためのパケット処理パイプラインを実行するように構成される。このパケット処理パイプラインの一部として、ＮＶＤは、オーバーレイネットワークに関連付けられる１つまたは複数の仮想機能を実行でき、例えば、ＶＣＮ内のｃｉｓに関連付けられるＶＮＩＣの実行、ＶＣＮに関連付けられる仮想ルータ（ＶＲ）の実行、仮想ネットワーク内での転送またはルーティングを容易にするためのパケットのカプセル化とカプセル化解除、特定のゲートウェイ（例えば、ローカルピアリングゲートウェイ）の実行、セキュリティリスト、ネットワークセキュリティグループ、ネットワークアドレス変換（ＮＡＴ）機能（例えば、ホストごとのパブリックＩＰからプライベートＩＰへの変換）、スロットル機能、およびその他の機能の実装である。
【0096】
特定の実施形態では、ＮＶＤにおけるパケット処理データパスは、各々が一連のパケット変換ステージから構成される複数のパケットパイプラインを備えることができる。特定の実装では、パケットを受信すると、パケットが解析され、単一のパイプラインに分類される。その後、パケットがドロップされるか、ＮＶＤのインターフェース経由で送信されるまで、パケットは１段階ずつ直線的に処理される。これらのステージは、基本的な機能パケット処理の構成要素（例えば、ヘッダーの確認、スロットルの強制、新しい層２ヘッダーの挿入、Ｌ４ファイアウォールの強制、ＶＣＮカプセル化／カプセル化解除など）を提供し、そのため、既存のステージを構成することで新しいパイプラインを構築でき、新しいステージを作成して既存のパイプラインに挿入することで新しい機能を追加できる。
【0097】
ＮＶＤは、ＶＣＮの制御プレーンおよびデータプレーンに対応する制御プレーン機能とデータプレーン機能の両方を実行することができる。ＶＣＮ制御プレーンの例も図１２、１３、１４、および１５に示され（参考文献１２１６、１３１６、１４１６、および１５１６を参照）、以下に説明する。ＶＣＮデータプレーンの例を図１２、１３、１４、および１５に示し（参考文献１２１８、１３１８、１４１８、および１５１８を参照）、以下に説明する。制御プレーン機能には、データの転送方法を制御するネットワークの構成（例えば、ルートおよびルートテーブルの設定、ＶＮＩＣの構成など）に使用される機能が含まれる。特定の実施形態では、すべてのオーバーレイから基板へのマッピングを一元的に計算し、それらをＮＶＤおよびＤＲＧ、ＳＧＷ、ＩＧＷなどのさまざまなゲートウェイなどの仮想ネットワークエッジ装置に公開するＶＣＮ制御プレーンが提供される。ファイアウォールルールも同じメカニズムを使用して公開できる。特定の実施形態では、ＮＶＤは、そのＮＶＤに関連するマッピングのみを取得する。データプレーン機能には、制御プレーンを使用して設定された構成に基づいてパケットを実際にルーティング／転送する機能が含まれる。ＶＣＮデータプレーンは、顧客のネットワークパケットがサブストレートネットワークを通過する前にカプセル化することによって実装される。カプセル化／カプセル化解除機能はＮＶＤに実装される。特定の実施形態では、ＮＶＤは、ホストマシンの内外のすべてのネットワークパケットをインターセプトし、ネットワーク仮想化機能を実行するように構成される。
【0098】
上で示したように、ＮＶＤは、ＶＮＩＣおよびＶＣＮ ＶＲを含むさまざまな仮想化機能を実行する。ＮＶＤは、ＶＮＩＣに接続された１つまたは複数のホストマシンによってホストされるコンピューティングインスタンスに関連付けられるＶＮＩＣを実行できる。例えば、図２に示すように、ＮＶＤ２１０は、ＮＶＤ２１０に接続されたホストマシン２０２によってホストされるコンピューティングインスタンス２６８に関連付けられるＶＮＩＣ２７６の機能を実行する。別の例として、ＮＶＤ２１２は、ホストマシン２０６によってホストされるベアメタルコンピューティングインスタンス２７２に関連付けられるＶＮＩＣ２８０を実行し、ホストマシン２０８によってホストされるコンピューティングインスタンス２７４に関連付けられるＶＮＩＣ２８４を実行する。ホストマシンは、異なる顧客に属する異なるＶＣＮに属するコンピューティングインスタンスをホストすることができ、ホストマシンに接続されたＮＶＤは、コンピューティングインスタンスに対応するＶＮＩＣを実行する（つまり、ＶＮＩＣ関連機能を実行する）ことができる。
【0099】
ＮＶＤは、コンピューティングインスタンスのＶＣＮに対応するＶＣＮ仮想ルータも実行する。例えば、図２に示される実施形態では、ＮＶＤ２１０は、コンピューティングインスタンス２６８が属するＶＣＮに対応するＶＣＮ ＶＲ２７７を実行する。ＮＶＤ２１２は、ホストマシン２０６および２０８によってホストされるコンピューティングインスタンスが属する１つまたは複数のＶＣＮに対応する１つまたは複数のＶＣＮ ＶＲ２８３を実行する。特定の実施形態では、そのＶＣＮに対応するＶＣＮ ＶＲは、そのＶＣＮに属する少なくとも１つのコンピューティングインスタンスをホストするホストマシンに接続されたすべてのＮＶＤによって実行される。ホストマシンが異なるＶＣＮに属するコンピューティングインスタンスをホストしている場合、そのホストマシンに接続されているＮＶＤは、それらの異なるＶＣＮに対応するＶＣＮ ＶＲを実行し得る。
【0100】
ＶＮＩＣおよびＶＣＮ ＶＲに加えて、ＮＶＤは、さまざまなソフトウェア（例えば、デーモン）を実行し、ＮＶＤによって実行されるさまざまなネットワーク仮想化機能を容易にする１つまたは複数のハードウェア構成要素を含み得る。簡単にするために、これらのさまざまな構成要素は、図２に示される「パケット処理構成要素」としてグループ化される。例えば、ＮＶＤ２１０はパケット処理構成要素２８６を備え、ＮＶＤ２１２はパケット処理構成要素２８８を備える。例えば、ＮＶＤのパケット処理構成要素には、ＮＶＤのポートおよびハードウェアインターフェースと対話して、ＮＶＤを使用して受信および通信されるすべてのパケットを監視し、ネットワーク情報を記憶するように構成されたパケットプロセッサが含まれ得る。ネットワーク情報は、例えば、ＮＶＤによって扱われる異なるネットワークフローを識別するネットワークフロー情報、およびフローごとの情報（例えば、フローごとの統計）を含むことができる。特定の実施形態では、ネットワークフロー情報は、ＶＮＩＣごとに記憶され得る。パケットプロセッサは、ステートフルＮＡＴおよびＬ４ファイアウォール（ＦＷ）を実装するだけでなく、パケットごとの操作を実行することもできる。別の例として、パケット処理構成要素は、ＮＶＤによって記憶された情報を１つまたは複数の異なる複製ターゲットストアに複製するように構成された複製エージェントを含むことができる。さらに別の例として、パケット処理構成要素は、ＮＶＤのロギング機能を実行するように構成されたロギングエージェントを含むことができる。パケット処理構成要素には、ＮＶＤの性能と健全性とを監視するためのソフトウェアが含まれ得、場合によってはＮＶＤに接続されている他の構成要素の状態と健全性とを監視するためのソフトウェアも含まれ得る。
【0101】
図１は、ＶＣＮ、ＶＣＮ内のサブネット、サブネット上に展開されたコンピューティングインスタンス、コンピューティングインスタンスに関連付けられるＶＮＩＣ、ＶＣＮ用のＶＲ、およびＶＣＮ用に構成されたゲートウェイのセットを含む例示的な仮想またはオーバーレイネットワークの構成要素を示す。図１に示されるオーバーレイ構成要素は、図２に示される１つまたは複数の物理構成要素によって実行またはホストされ得る。例えば、ＶＣＮ内のコンピューティングインスタンスは、図２に示される１つまたは複数のホストマシンによって実行またはホストされ得る。ホストマシンによってホストされるコンピューティングインスタンスの場合、そのコンピューティングインスタンスに関連付けられるＶＮＩＣは通常、そのホストマシンに接続されたＮＶＤによって実行される（つまり、ＶＮＩＣ機能はそのホストマシンに接続されたＮＶＤによって提供される）。ＶＣＮのＶＣＮ ＶＲ機能は、そのＶＣＮの一部であるコンピューティングインスタンスをホストまたは実行しているホストマシンに接続されているすべてのＮＶＤによって実行される。ＶＣＮに関連付けられるゲートウェイは、１つまたは複数の異なるタイプのＮＶＤによって実行され得る。例えば、特定のゲートウェイはスマートＮＩＣによって実行され得、一方、他のゲートウェイは１つもしくは複数のホストマシンまたはＮＶＤの他の実装によって実行され得る。
【0102】
前述したように、顧客ＶＣＮのコンピューティングインスタンスはさまざまな異なるエンドポイントと通信でき、エンドポイントは、ソースコンピューティングインスタンスと同じサブネット内にあることも、ソースコンピューティングインスタンスと同じＶＣＮ内にある別のサブネット内にあることも、ソースコンピューティングインスタンスのＶＣＮ外にあるエンドポイントを備えることもできる。これらの通信は、コンピューティングインスタンスに関連付けられるＶＮＩＣ、ＶＣＮ ＶＲ、およびＶＣＮに関連付けられるゲートウェイを使用して容易にされる。
【0103】
ＶＣＮ内の同じサブネット上の２つのコンピューティングインスタンス間の通信の場合、通信は、ソースおよび宛先のコンピューティングインスタンスに関連付けられるＶＮＩＣを使用して容易にされる。ソースコンピューティングインスタンスと宛先コンピューティングインスタンスは、同じホストマシンでホストされる場合も、異なるホストマシンでホストされる場合もある。ソースコンピューティングインスタンスから発信されたパケットは、ソースコンピューティングインスタンスをホストするホストマシンから、そのホストマシンに接続されているＮＶＤに転送され得る。ＮＶＤでは、パケット処理パイプラインを使用してパケットが処理される。これには、ソースコンピューティングインスタンスに関連付けられるＶＮＩＣの実行が含まれ得る。パケットの宛先エンドポイントは同じサブネット内にあるため、ソースコンピューティングインスタンスに関連付けられるＶＮＩＣを実行すると、宛先コンピューティングインスタンスに関連付けられるＶＮＩＣを実行するＮＶＤにパケットが転送され、次に、パケットが処理されて宛先コンピューティングインスタンスに転送される。ソースコンピューティングインスタンスと宛先コンピューティングインスタンスに関連付けられるＶＮＩＣは、同じＮＶＤ上で実行することも（例えば、ソースコンピューティングインスタンスと宛先コンピューティングインスタンスの両方が同じホストマシンでホストされている場合）、異なるＮＶＤ上で実行することもできる（例えば、ソースと宛先のコンピューティングインスタンスが、異なるＮＶＤに接続された異なるホストマシンによってホストされている場合）。ＶＮＩＣは、ＮＶＤによって記憶されているルーティング／転送テーブルを使用して、パケットの次のホップを決定し得る。
【0104】
サブネット内のコンピューティングインスタンスから同じＶＣＮ内の異なるサブネット内のエンドポイントにパケットが通信される場合、ソースコンピューティングインスタンスから発信されるパケットは、ソースコンピューティングインスタンスをホストするホストマシンからそのホストマシンに接続されているＮＶＤに通信される。ＮＶＤでは、パケットはパケット処理パイプラインを使用して処理される。これには、１つまたは複数のＶＮＩＣおよびＶＣＮに関連付けられるＶＲの実行が含まれ得る。例えば、パケット処理パイプラインの一部として、ＮＶＤは、ソースコンピューティングインスタンスに関連付けられるＶＮＩＣに対応する機能（ＶＮＩＣの実行とも呼ばれる）を実行または呼び出す。ＶＮＩＣによって実行される機能には、パケット上のＶＬＡＮタグの確認が含まれ得る。パケットの宛先はサブネットの外にあるため、次にＶＣＮ ＶＲ機能がＮＶＤによって呼び出され、実行される。次に、ＶＣＮ ＶＲは、宛先コンピューティングインスタンスに関連付けられるＶＮＩＣを実行するＮＶＤにパケットをルーティングする。次に、宛先コンピューティングインスタンスに関連付けられるＶＮＩＣがパケットを処理し、宛先コンピューティングインスタンスにパケットを転送する。ソースコンピューティングインスタンスと宛先コンピューティングインスタンスに関連付けられるＶＮＩＣは、同じＮＶＤ上で実行することも（例えば、ソースコンピューティングインスタンスと宛先コンピューティングインスタンスの両方が同じホストマシンでホストされている場合）、異なるＮＶＤ上で実行することもできる（例えば、ソースと宛先のコンピューティングインスタンスが、異なるＮＶＤに接続された異なるホストマシンによってホストされている場合）。
【0105】
パケットの宛先がソースコンピューティングインスタンスのＶＣＮ外にある場合、ソースコンピューティングインスタンスから発信されたパケットは、ソースコンピューティングインスタンスをホストするホストマシンから、そのホストマシンに接続されているＮＶＤに通信される。ＮＶＤは、ソースコンピューティングインスタンスに関連付けられるＶＮＩＣを実行する。パケットの宛先エンドポイントはＶＣＮの外部にあるため、パケットはそのＶＣＮのＶＣＮ ＶＲによって処理される。ＮＶＤはＶＣＮ ＶＲ機能を呼び出す。これにより、ＶＣＮに関連付けられる適切なゲートウェイを実行するＮＶＤにパケットが転送され得る。例えば、宛先が顧客のオンプレミスネットワーク内のエンドポイントである場合、パケットはＶＣＮ ＶＲによって、ＶＣＮ用に構成されたＤＲＧゲートウェイを実行するＮＶＤに転送され得る。ＶＣＮ ＶＲは、ソースコンピューティングインスタンスに関連付けられるＶＮＩＣを実行するＮＶＤと同じＮＶＤ上で実行することも、別のＮＶＤによって実行することもできる。ゲートウェイは、スマートＮＩＣ、ホストマシン、またはその他のＮＶＤ実装であり得るＮＶＤによって実行できる。その後、パケットはゲートウェイによって処理され、目的の宛先エンドポイントへのパケットの通信を容易にする次のホップに転送される。例えば、図２に示される実施形態では、コンピューティングインスタンス２６８から発信されるパケットは、（ＮＩＣ２３２を使用して）リンク２２０を介してホストマシン２０２からＮＶＤ２１０に通信され得る。ＮＶＤ２１０では、ＶＮＩＣ２７６がソースコンピューティングインスタンス２６８に関連付けられているＶＮＩＣであるため、呼び出される。ＶＮＩＣ２７６は、パケット内のカプセル化された情報を検査し、意図された宛先エンドポイントへのパケットの通信を容易にすることを目的としてパケットを転送する次のホップを決定し、次いで、決定された次のホップにパケットを転送するように構成される。
【0106】
ＶＣＮ上に展開されたコンピューティングインスタンスは、さまざまな異なるエンドポイントと通信することができる。これらのエンドポイントには、ＣＳＰＩ２００によってホストされるエンドポイントとＣＳＰＩ２００の外部のエンドポイントが含まれ得る。ＣＳＰＩ２００によってホストされるエンドポイントには、同じＶＣＮまたは他のＶＣＮ内のインスタンスが含まれ得、これらは顧客のＶＣＮまたは顧客に属さないＶＣＮである場合がある。ＣＳＰＩ２００によってホストされるエンドポイント間の通信は、物理ネットワーク２１８を介して実行され得る。コンピューティングインスタンスは、ＣＳＰＩ２００によってホストされていないエンドポイント、またはＣＳＰＩ２００の外部にあるエンドポイントと通信することもできる。これらのエンドポイントの例には、顧客のオンプレミスネットワークもしくはデータセンター内のエンドポイント、またはインターネットなどのパブリックネットワーク経由でアクセスできるパブリックエンドポイントが含まれる。ＣＳＰＩ２００の外部のエンドポイントとの通信は、さまざまな通信プロトコルを使用して、パブリックネットワーク（例えば、インターネット）（図２には図示せず）またはプライベートネットワーク（図２には図示せず）を介して実行され得る。
【0107】
図２に示されるＣＳＰＩ２００のアーキテクチャは、単なる一例であり、限定することを意図したものではない。代替実施形態では、変形、代替、および修正が可能である。例えば、いくつかの実装では、ＣＳＰＩ２００は、図２に示されるものより多くの、または少ないシステムまたは構成要素を有してもよく、２つ以上のシステムを組み合わせてもよいし、システムの異なる構成または配置を有してもよい。図２に示されるシステム、サブシステム、および他の構成要素は、ハードウェアまたはそれらの組み合わせを使用して、それぞれのシステムの１つまたは複数の処理ユニット（例えば、プロセッサ、コア）によって実行されるソフトウェア（例えば、コード、命令、プログラム）で実装され得る。ソフトウェアは、非一時的な記憶媒体（例えば、メモリ装置）に記憶されてもよい。
【0108】
図４は、特定の実施形態による、マルチテナントをサポートするためのＩ／Ｏ仮想化を提供するためのホストマシンとＮＶＤとの間の接続を示す。図４に示すように、ホストマシン４０２は、仮想化環境を提供するハイパーバイザ４０４を実行する。ホストマシン４０２は、顧客／テナント＃１に属するＶＭ１ ４０６と顧客／テナント＃２に属するＶＭ２ ４０８という２つの仮想マシンインスタンスを実行する。ホストマシン４０２は、リンク４１４を介してＮＶＤ４１２に接続される物理ＮＩＣ４１０を備える。各コンピューティングインスタンスは、ＮＶＤ４１２によって実行されるＶＮＩＣに接続される。図４の実施形態では、ＶＭ１ ４０６はＶＮＩＣ－ＶＭ１ ４２０に接続され、ＶＭ２ ４０８はＶＮＩＣ－ＶＭ２ ４２２に接続されている。
【0109】
図４に示されるように、ＮＩＣ４１０は、論理ＮＩＣＡ４１６と論理ＮＩＣＢ４１８という２つの論理ＮＩＣを備える。各仮想マシンは、独自の論理ＮＩＣに接続され、動作するように構成される。例えば、ＶＭ１ ４０６は論理ＮＩＣＡ４１６に接続され、ＶＭ２ ４０８は論理ＮＩＣＢ４１８に接続される。ホストマシン４０２は、複数のテナントによって共有される物理ＮＩＣ４１０を１つだけ備えているが、論理ＮＩＣにより、各テナントの仮想マシンは、自分たちが独自のホストマシンとＮＩＣとを持っていると認識する。
【0110】
特定の実施形態では、各論理ＮＩＣには独自のＶＬＡＮ ＩＤが割り当てられる。したがって、特定のＶＬＡＮ ＩＤがテナント＃１の論理ＮＩＣＡ４１６に割り当てられ、別のＶＬＡＮ ＩＤがテナント＃２の論理ＮＩＣＢ４１８に割り当てられる。パケットがＶＭ１ ４０６から通信されると、テナント＃１に割り当てられるタグがハイパーバイザによってパケットに接続され、パケットはリンク４１４を介してホストマシン４０２からＮＶＤ４１２に通信される。同様に、パケットがＶＭ２ ４０８から通信されると、テナント＃２に割り当てられるタグがハイパーバイザによってパケットに接続され、次いで、パケットはリンク４１４を介してホストマシン４０２からＮＶＤ４１２に通信される。したがって、ホストマシン４０２からＮＶＤ４１２に通信されるパケット４２４は、特定のテナントおよび関連するＶＭを識別する関連タグ４２６を有する。ＮＶＤ上では、ホストマシン４０２から受信したパケット４２４について、パケットに関連付けられるタグ４２６を使用して、パケットがＶＮＩＣ－ＶＭ１ ４２０によって処理されるべきかＶＮＩＣ－ＶＭ２ ４２２によって処理されるべきかを決定する。その後、パケットは対応するＶＮＩＣによって処理される。図４に示される構成は、各テナントのコンピューティングインスタンスが独自のホストマシンとＮＩＣとを所有していると認識できるようにする。図４に示される設定は、マルチテナントをサポートするためのＩ／Ｏ仮想化を提供する。
【0111】
図５は、特定の実施形態による物理ネットワーク５００の簡略化されたブロック図を示す。図５に示される実施形態は、Ｃｌｏｓネットワークとして構造化されている。Ｃｌｏｓネットワークは、高二分帯域幅と最大のリソース使用率を維持しながら、接続の冗長性を提供するように設計された特定のタイプのネットワークトポロジである。Ｃｌｏｓネットワークは、ノンブロッキングの多段階または多層スイッチングネットワークのタイプで、段階または層の数は２、３、４、５などになり得る。図５に示される実施形態は、層１、２、および３からなる３層ネットワークである。ＴＯＲスイッチ５０４は、Ｃｌｏｓネットワーク内のＴｉｅｒ－０スイッチを表す。１つまたは複数のＮＶＤがＴＯＲスイッチに接続されている。Ｔｉｅｒ－０スイッチは、物理ネットワークのエッジ装置とも呼ばれる。Ｔｉｅｒ－０スイッチは、Ｔｉｅｒ－１スイッチ（リーフスイッチとも呼ばれる）に接続される。図５に示される実施形態では、「ｎ」個のＴｉｅｒ－０ＴＯＲスイッチのセットが「ｎ」個のＴｉｅｒ－１スイッチのセットに接続され、一緒にポッドを形成する。ポッド内の各Ｔｉｅｒ－０スイッチは、ポッド内のすべてのＴｉｅｒ－１スイッチに相互接続されるが、ポッド間のスイッチの接続はない。特定の実装では、２つのポッドはブロックと呼ばれる。各ブロックは、セットの「ｎ」個のＴｉｅｒ－２スイッチ（スパインスイッチと呼ばれることもある）によって提供されるか、またはそれに接続される。物理ネットワークトポロジには複数のブロックが存在し得る。Ｔｉｅｒ－２スイッチは、次に「ｎ」個のＴｉｅｒ－３スイッチ（スーパースパインスイッチと呼ばれることもある）に接続される。物理ネットワーク５００を介したパケットの通信は、通常、１つまたは複数の層３通信プロトコルを使用して実行される。通常、ＴＯＲ層を除く物理ネットワークのすべての層はｎ－方法冗長であるため、高可用性が可能になる。物理ネットワークの拡張を可能にするために、物理ネットワーク内のスイッチの相互の可視性を制御するポリシーをポッドとブロックに指定できる。
【0112】
Ｃｌｏｓネットワークの特徴は、１つのＴｉｅｒ－０スイッチから別のＴｉｅｒ－０スイッチへ（またはＴｉｅｒ－０スイッチに接続されたＮＶＤからＴｉｅｒ－０スイッチに接続された別のＮＶＤへ）に到達する最大ホップ数が固定されていることである。例えば、３層Ｃｌｏｓネットワークでは、パケットが１つのＮＶＤから別のＮＶＤに到達するために最大７ホップが必要である。この場合、ソースＮＶＤとターゲットＮＶＤはＣｌｏｓネットワークのリーフ層に接続される。同様に、４層Ｃｌｏｓネットワークでは、ソースＮＶＤとターゲットＮＶＤがＣｌｏｓネットワークのリーフ層に接続されている場合、パケットが１つのＮＶＤから別のＮＶＤに到達するには最大９ホップが必要である。したがって、Ｃｌｏｓネットワークアーキテクチャは、ネットワーク全体で一貫した遅延を維持する。これは、データセンター内およびデータセンター間の通信にとって重要である。Ｃｌｏｓトポロジは水平方向に拡張し、コスト効率が優れている。ネットワークの帯域幅／スループット容量は、さまざまな層により多くのスイッチを追加し（例えば、リーフスイッチとスパインスイッチを増やす）、隣接する層のスイッチ間のリンクの数を増やすことで簡単に増やすことができる。
【0113】
特定の実施形態では、ＣＳＰＩ内の各リソースには、クラウド識別子（ＣＩＤ）と呼ばれる固有の識別子が割り当てられる。この識別子はリソースの情報の一部として含まれており、例えば、コンソールまたはＡＰＩを介してリソースを管理するために使用できる。ＣＩＤの構文の例は次のとおりである。
ｏｃｉｄ１．＜リソースタイプ＞．＜領域＞．［地域］［．将来の使用］。＜一意のＩＤ＞
ここで、
ｏｃｉｄ１：ＣＩＤのバージョンを示すリテラル文字列、
リソースタイプ：リソースのタイプ（例えば、インスタンス、ボリューム、ＶＣＮ、サブネット、ユーザ、グループなど）、
領域：リソースが存在する領域。値の例は、商用領域の場合は「ｃ１」、政府クラウド領域の場合は「ｃ２」、連邦政府クラウド領域の場合は「ｃ３」などである。各領域には独自の領域名がある場合がある、
地域：リソースが存在する地域。地域がリソースに適用できない場合、この部分は空白になり得る、
将来の使用：将来の使用のために予約されている。
一意のＩＤ：ＩＤの一意の部分。形式はリソースまたはサービスのタイプによって異なる場合がある。
ｏｃｉｄ１．＜リソースタイプ＞．＜領域＞．［地域］［．将来の使用］。＜一意のＩＤ＞
ここで、
ｏｃｉｄ１：ＣＩＤのバージョンを示すリテラル文字列、
リソースタイプ：リソースのタイプ（例えば、インスタンス、ボリューム、ＶＣＮ、サブネット、ユーザ、グループなど）、
領域：リソースが存在する領域。値の例は、商用領域の場合は「ｃ１」、政府クラウド領域の場合は「ｃ２」、連邦政府クラウド領域の場合は「ｃ３」などである。各領域には独自の領域名がある場合がある、
地域：リソースが存在する地域。地域がリソースに適用できない場合、この部分は空白になり得る、
将来の使用：将来の使用のために予約されている。
一意のＩＤ：ＩＤの一意の部分。形式はリソースまたはサービスのタイプによって異なる場合がある。
【0114】
図６は、特定の実施形態による、ＣＬＯＳネットワーク構成を組み込んだクラウドインフラストラクチャ６００のブロック図を示す。クラウドインフラストラクチャ６００は、複数のラック（例えば、ラック１ ６１０…ラックＭ、６２０）を含む。各ラックは、複数のホストマシン（本明細書ではホストとも呼ばれる）を含む。例えば、ラック１ ６１０は、複数のホスト（例えば、Ｋ個のホストマシン）ホスト１－Ａ、６１２からホスト１－Ｋ、６１４を含み、ラックＭは、Ｋ個のホストマシン、すなわち、ホストＭ－Ａ、６２２からホストＭ－Ｋ、６２４を含む。図６の図は、（すなわち、同じ数のホストマシン、例えばＫ個のホストマシンを含む各ラック）は、例示的であり、限定するものではないことを意図していることが理解される。例えば、ラックＭ、６２０には、ラック１ ６１０に含まれるホストマシンの数と比較して、より多くのまたはより少ない数のホストマシンが含まれ得る。
【0115】
各ホストマシンは、複数のグラフィカル処理ユニット（ＧＰＵ）を含む。例えば、図６に示すように、ホストマシン１－Ａ６１２は、Ｎ個のＧＰＵ、例えばＧＰＵ１、６１３を含む。さらに、図６の図（各ホストマシンに同じ数のＧＰＵ、つまりＮ個のＧＰＵが含まれる）は、説明を目的としたものであり、限定的なものではなく、つまり、各ホストマシンには異なる数のＧＰＵを含めることができることが理解される。各ラックには、ホストマシン上でホストされているＧＰＵと通信可能に結合されたトップオブラック（ＴＯＲ）スイッチが含まれている。例えば、ラック１ ６１０は、ホスト１－Ａ、６１２およびホスト１－Ｋ、６１４に通信可能に結合されたＴＯＲスイッチ（すなわち、ＴＯＲ１）６１６を含み、ラックＭ６２０は、ホストＭ－Ａ、６２２およびホストＭ－Ｋ、６２４に通信可能に結合されるＴＯＲスイッチ（すなわち、ＴＯＲ Ｍ）６２６を含む。図６に示されるＴＯＲスイッチ（つまり、ＴＯＲ１ ６１６、およびＴＯＲ Ｍ６２６）は、各々には、ラックに含まれる各ホストマシン上でホストされるＮ個のＧＰＵにＴＯＲスイッチを通信可能に接続するために使用されるＮ個のポートが含まれことが理解される。図６に示すように、ＴＯＲスイッチのＧＰＵへの結合は、例示的なものであり、限定的なものではない。例えば、いくつかの実施形態では、ＴＯＲスイッチは、各々が各ホストマシン上のＧＰＵに対応する複数のポートを有し得る。すなわち、ホストマシン上のＧＰＵは、通信リンクを介してＴＯＲの固有のポートに接続され得る。さらに、ネットワーク装置（例えば、ＴＯＲ１ ６１６）によって受信されるトラフィックは、本明細書では、ネットワーク装置の特定の受信ポートリンク上で受信されるトラフィックとして特徴付けられる。例えば、ホスト１－Ａ６１２のＧＰＵ１ ６１３が（リンク６１７を使用して）ＴＯＲ１ ６１６にデータパケットを送信すると、そのデータパケットはＴＯＲ１スイッチのポート６１９で受信される。ＴＯＲ１ ６１６は、このデータパケットを、ＴＯＲの第１の受信ポートリンク上で受信された情報として特徴付ける。同様の概念がＴＯＲのすべての発信ポートリンクに適用できることが理解される。
【0116】
各ラックからのＴＯＲスイッチは、複数のスパインスイッチ、例えばスパインスイッチ１ ６３０およびスパインスイッチＰ６４０に通信可能に接続される。図６に示すように、ＴＯＲ１、６１６は、２つのリンクを介してスパインスイッチ１ ６３０に接続され、別の２つのリンクを介してスパインスイッチＰ６４０にそれぞれ接続される。特定のＴＯＲスイッチからスパインスイッチに送信される情報は、本明細書ではアップリンクを介して行われる通信と呼ばれ、一方、スパインスイッチからＴＯＲスイッチに送信される情報は、本明細書ではダウンリンクを介して行われる通信と呼ばれる。いくつかの実施形態によれば、ＴＯＲスイッチおよびスパインスイッチはＣＬＯＳネットワーク構成（例えば、多段スイッチングネットワーク）で接続され、各ＴＯＲスイッチはＣＬＯＳネットワーク内の「リーフ」ノードを形成する。
【0117】
いくつかの実施形態によれば、ホストマシンに含まれるＧＰＵは、機械学習に関連するタスクを実行する。このような設定では、単一のタスクが多数のＧＰＵ（例えば６４）にわたって実行／分散され得、さらに複数のホストマシンおよび複数のラックにわたって分散され得る。これらすべてのＧＰＵは同じタスク（つまり、ワークロード）で動作しているため、すべてが時間同期された方法で相互に通信する必要がある。さらに、どの時点でも、ＧＰＵはコンピューティングモードまたは通信モードのいずれかになる。つまり、ＧＰＵはほぼ同時に相互に通信する。ワークロードの速度は、最も遅いＧＰＵの速度によって決まる。
【0118】
通常、ソースＧＰＵ（例えば、ホスト１－Ａ６１２のＧＰＵ１、６１３）から宛先ＧＰＵ（例えば、ホストＭ－Ａ６２２のＧＰＵ１、６２３）にパケットをルーティングするために、等コストマルチパス（ＥＣＭＰ）ルーティングが利用される。ＥＣＭＰルーティングでは、送信者から受信者へのトラフィックのルーティングに利用可能な複数の等コストパスがある場合、特定のパスを選択するために選択技術が使用される。したがって、トラフィックを受信するネットワーク装置（例えば、ＴＯＲスイッチやスパインスイッチ）では、選択アルゴリズムを使用して、次のホップ上のネットワーク装置から別のネットワーク装置にトラフィックを転送するために使用される発信リンクが選択される。このような発信リンクの選択は、送信者から受信者へのパス内の各ネットワーク装置で行われる。ハッシュベースの選択アルゴリズムは広く使用されているＥＣＭＰ選択技術であり、ハッシュはパケットの４タプル（例えば、ソースポート、宛先ポート、ソースＩＰ、宛先ＩＰ）に基づく場合がある。
【0119】
ＥＣＭＰルーティングは、フロー認識ルーティング技術であり、各フロー（すなわち、データパケットのストリーム）は、フローの存続期間中に特定のパスにハッシュされる。したがって、フロー内のパケットは、特定の発信ポート／リンクを使用してネットワーク装置から転送される。これは通常、フロー内のパケットが順番に到着することを保証するために行われる。つまり、パケットの並べ替えは必要ない。しかし、ＥＣＭＰルーティングは帯域幅（またはスループット）を認識しない。つまり、ＴＯＲスイッチとスパインスイッチは、並列リンク上のフローの統計的なフロー認識型（スループット非認識型）ＥＣＭＰ負荷分散を実行する。
【0120】
標準ＥＣＭＰルーティング（すなわち、フロー認識ルーティングのみ）では、２つの別個の受信リンクを介してネットワーク装置によって受信されたフローが同じ発信リンクにハッシュされ、それによってフロー衝突が生じる可能性があるという問題がある。例えば、２つのフローが２つの別々の受信１００Ｇリンク経由で受信し、各フローが同じ１００Ｇ送信リンクにハッシュされる状況を考えてみる。このような状況では、受信帯域幅が２００Ｇであるのに対し、送信帯域幅は１００Ｇであるため、輻輳（つまり、フロー衝突）が発生し、パケットがドロップされる。例えば、以下で説明する図７は、フロー衝突７００の例示的なシナリオを示す。
【0121】
図７に示すように、２つのフローがある。ホストマシンホスト１－Ａ、６１２の第１のＧＰＵからＴＯＲスイッチ６１６（実線で示す）に向けられるフロー１ ７１０、同じホストマシン６１２上の別のＧＰＵからＴＯＲスイッチ６１６（破線で示す）に向けられるフロー２ ７２０。２つのフローは、別個のリンク、すなわちＴＯＲの別個の入力ポートリンク上のＴＯＲスイッチ６１６に向けられることに留意されたい。図７に示されるすべてのリンクは、１００Ｇの容量（すなわち、帯域幅）を有するとする。ＴＯＲスイッチ６１６がＥＣＭＰルーティングアルゴリズムを実行する場合、２つのフローがハッシュされて、ＴＯＲの同じ発信ポートリンク、例えば、ＴＯＲスイッチ６１６をスパインスイッチ６３０に接続するリンク７３０に接続されたＴＯＲのポートを使用することが可能である。この場合、２つのフロー間に衝突が発生し（「Ｘ」マークで表される）、パケットがドロップされる。
【0122】
このような衝突シナリオは、一般に、プロトコルに関係なく、あらゆるタイプのトラフィックにとって問題となる。例えば、ＴＣＰは、パケットがドロップされ、送信者がそのドロップされたパケットに対する確認応答を取得できない場合、パケットが再送信されるという点でインテリジェントである。しかし、リモートダイレクトメモリアクセス（ＲＤＭＡ）タイプのトラフィックでは状況はさらに悪化する。ＲＤＭＡネットワークはさまざまな理由でＴＣＰを使用しない（例えば、ＴＣＰには低遅延と高性能に適さない複雑な論理がある）。ＲＤＭＡネットワークは、ＲＤＭＡ ｏｖｅｒ ＩｎｆｉｎｉｂａｎｄまたはＲＤＭＡ ｏｖｅｒ ｃｏｎｖｅｒｇｅｄ Ｅｔｈｅｒｎｅｔ（ＲｏＣＥ）などのプロトコルを使用する。ＲｏＣＥには輻輳制御アルゴリズムがあり、送信者が輻輳またはドロップされたパケットの発生を識別すると、送信者はパケットの送信速度を遅くする。ドロップされたパケットの場合、ドロップされたパケットだけでなく、ドロップされたパケットの周囲のいくつかのパケットも再送信され、利用可能な帯域幅がさらに消費され、性能が低下する。
【0123】
以下に、上述したフロー衝突問題を克服するための技術について説明する。フロー衝突問題は、ＣＰＵとＧＰＵからのトラフィックに影響を与えることが理解されている。しかし、厳しい時刻同期要件があるため、フロー衝突の問題はＧＰＵにとってはるかに大きな問題である。さらに、標準のＥＣＭＰルーティングメカニズムでは、統計的帯域幅を意識しないルーティング情報の固有の特性により、ネットワークの加入が過剰であるか不足しているかに関係なく、フロー衝突シナリオが発生することを理解されたい。過剰加入のないネットワークとは、装置（例えば、ＴＯＲ、スパインスイッチ）への受信リンクの帯域幅が発信リンクの帯域幅と同じであるネットワークである。すべてのリンクの帯域幅容量が同じである場合、受信リンクの数は送信リンクの数と同じになることに留意されたい。
【0124】
いくつかの実施形態によれば、上述のフロー衝突問題を克服するための技術には、ＧＰＵベースのポリシールーティングメカニズム（本明細書ではＧＰＵベースのトラフィックエンジニアリングメカニズムとも呼ばれる）および修正されたＥＣＭＰルーティングメカニズムが含まれる。これらの各技術については、以下でさらに詳しく説明する。
【0125】
図８は、特定の実施形態による、図６のクラウドインフラストラクチャのネットワーク装置に実装されるポリシーベースのルーティングメカニズムを示す図である。具体的には、クラウドインフラストラクチャ８００は、複数のラック、例えばラック１ ８１０からラックＭ８２０を含む。各ラックには、複数のＧＰＵを含むホストマシンが含まれる。例えば、ラック１ ８１０にはホストマシン、つまりホスト１－Ａ８１２が含まれ、ラックＭ８２０にはホストマシン、つまりホストＭ－Ａ８２２が含まれる。各ラックはＴＯＲスイッチを含む。例えば、ラック１ ８１０はＴＯＲ１スイッチ８１４を含み、ラックＭ８２０はＴＯＲ Ｍスイッチ８２４を含む。各ラック内のホストマシンは、ラック内のそれぞれのＴＯＲスイッチに通信可能に接続されている。ＴＯＲスイッチ、すなわちＴＯＲスイッチ１ ８１４およびＴＯＲスイッチＭ８２４は、今度はスパインスイッチ、すなわちスパインスイッチ８３０およびスパインスイッチ８４０に通信可能に接続される。ポリシーベースのルーティングを説明するために、また図示のために、クラウドインフラストラクチャ８００は、ラックごとに単一のホストマシンを含むものとして示されている。しかし、インフラストラクチャ内の各ラックには複数のホストマシンが存在し得ることが理解される。
【0126】
いくつかの実施形態によれば、送信者から受信者へのデータパケットは、ネットワーク内でホップバイホップベースでルーティングされる。ルーティングポリシーは、受信ポートリンクを発信ポートリンクに結び付けるネットワーク装置ごとに設定される。ネットワーク装置は、ＴＯＲスイッチまたはスパインスイッチであり得る。図８を参照すると、２つのフローが示されている。すなわち、意図された宛先がホストマシン８２２上のＧＰＵ１であるホストマシン８１２上のＧＰＵ１からのフロー１と、意図された宛先がホストマシン８２２上のＧＰＵＮであるホストマシン８１２上のＧＰＵＮからのフロー２である。ネットワーク装置、すなわち、ＴＯＲ１ ８１４、スパイン１ ８３０、ＴＯＲ Ｍ８２４、およびスパインＰ８４０は、受信ポートリンクを発信ポートリンクに結び付ける（または一致させる）ように構成される。受信ポートリンクと発信ポートリンクのマッチングは、各ネットワーク装置で（例えば、ポリシーテーブル内で）維持される。
【0127】
図８を参照すると、フロー１（すなわち、実線で示されるフロー）に関して、ＴＯＲ１ ８１４がリンク８５０上でパケットを受信すると、ＴＯＲは、受信したパケットを発信リンク８５５上に転送するように構成されることが観察できる。同様に、スパインスイッチ８３０がリンク８５５経由でパケットを受信すると、発信リンク８６０でパケットを転送するように構成される。最終的に、ＴＯＲ Ｍ８２４は、リンク８６０上でパケットを受信すると、パケットをその意図された宛先、すなわちホストマシン８２２上のＧＰＵ１に送信するために、発信リンク８６５上にパケットを転送するように構成される。同様に、フロー２（すなわち、破線で示されるフロー）に関して、ＴＯＲ１ ８１４がリンク８７０上でパケットを受信すると、ＴＯＲ１は、受信したパケットを発信リンク８７５上でスパインＰ８４０に転送するように構成される。スパインスイッチ８４０がリンク８７５経由でパケットを受信すると、発信リンク８８０でパケットを転送するように構成される。最終的に、ＴＯＲ Ｍ８２４は、リンク８８０上でパケットを受信すると、パケットをその意図された宛先、すなわちホストマシン８２２上のＧＰＵＮに送信するために、発信リンク８８５上にパケットを転送するように構成される。
【0128】
このように、ＧＰＵポリシーベースのルーティングメカニズムに従って、各ネットワーク装置は、衝突を回避するために、受信ポート／リンクを発信ポート／リンクに結び付けるように構成される。例えば、フロー１およびフロー２の第１のホップフローを考慮すると、ＴＯＲ１ ８１４は、リンク８５０上で第１のデータパケット（フロー１に対応）を受信し、リンク８７０上で第２のデータパケット（フロー２に対応）を受信する。ＴＯＲ１ ８１４は、受信リンク／ポート８５０で受信したデータパケットを発信リンク／ポート８５５に転送し、受信リンク／ポート８７０で受信したデータパケットを発信リンク／ポート８７５に転送するように構成されるため、第１のデータパケットと第２のデータパケットとは衝突しないことが保証される。クラウドインフラストラクチャ内の各ネットワーク装置では、受信ポートリンクと発信ポートリンクとの間に１対１の対応があり、つまり、受信ポートリンクと発信ポートリンクとの間のマッピングは、フローおよび／またはフローによって実行されるプロトコルとは独立して実行されることが理解される。さらに、特定のネットワーク装置の発信リンクに障害が発生した場合、いくつかの実施形態によれば、ネットワーク装置は、ルーティングポリシーをＧＰＵポリシーベースのルーティングから標準のＥＣＭＰルーティングに切り替えて、（さまざまな利用可能な出力リンクから）新しい利用可能な出力リンクを取得し、その新しい出力リンクにフローを送信するように構成される。この場合、フローの衝突が発生して輻輳が発生し得ることに留意されたい。
【0129】
ここで図９を参照すると、特定の実施形態による、異なるタイプの接続を示すクラウドインフラストラクチャ９００のブロック図が示されている。インフラストラクチャ９００は、複数のラック、例えば、ラック１ ９１０、ラックＤ９２０、およびラックＭ９３０を含む。ラック９１０および９３０は、複数のホストマシンを含む。例えば、ラック１ ９１０は、複数のホスト（例えば、Ｋ個のホストマシン）ホスト１－Ａ、９１２からホスト１－Ｋ、９１４を含み、ラックＭは、Ｋ個のホストマシン、すなわち、ホストＭ－Ａ、９３２からホストＭ－Ｋ、９３４を含む。ラックＤ９２０は、１つまたは複数のホストマシン９２２を含み、各ホストマシン９２２は複数のＣＰＵを含む。すなわち、ホストマシン９２２は非ＧＰＵホストマシンである。ラック９１０、９２０、および９３０の各々は、それぞれのラック内のホストマシンに通信可能に接続されたＴＯＲスイッチ、すなわちＴＯＲ１、９１６、ＴＯＲ Ｄ９２６、およびＴＯＲ Ｍ９３６をそれぞれ含む。さらに、ＴＯＲスイッチ９１６、９２６、および９３６は、複数のスパインスイッチ、すなわちスパインスイッチ９４０および９５０に通信可能に結合される。
【0130】
図９に示すように、第１の接続（すなわち、破線で示される接続１）が、ＧＰＵホスト（すなわち、ホスト１－Ａ９１２）から別のＧＰＵホスト（すなわち、ホストＭ－Ａ９３２）に存在し、第２の接続（すなわち、点線で示される接続２）は、ＧＰＵホスト（すなわち、ホスト１－Ｋ９１４）から非ＧＰＵホスト（すなわち、ホストＤ９２２）に存在する。接続１に関して、フローに関連付けられるデータパケットは、図８で前述したＧＰＵベースのポリシールーティングメカニズムに基づいて各中間ネットワーク装置を構成することによって、ホップバイホップベースでルーティングされる。具体的には、接続１のデータパケットは、図９に示す破線のリンクに沿って、つまり、ホスト１－ＡからＴＯＲ１、ＴＯＲ１からスパインスイッチ１、スパインスイッチ１からＴＯＲ Ｍ、そして最終的にＴＯＲ ＭからホストＭ－Ａへ、ルーティングされる。各ネットワーク装置は、ネットワーク装置の受信リンクポートを発信リンクポートに結び付けるように構成される。
【0131】
対照的に、接続２は、ＧＰＵベースのホスト（すなわち、ホスト１－Ｋ９１４）から非ＧＰＵベースのホスト（すなわち、ホストＤ９２２）へのものである。この場合、ＴＯＲ１ ９１６は、着信リンクポート、すなわち、ＧＰＵベースのホストからデータパケットを受信するポートおよびリンク（９７１）を、発信リンクポート、すなわち、出力ポートおよびその出力ポートに接続されたリンク９７２、に結び付けるように構成される。したがって、ＴＯＲ１は、発信リンク９７２を使用してデータパケットをスパインスイッチ１ ９４０に転送する。データパケットは非ＧＰＵベースのホスト宛てであるため、スパインスイッチ１ ９４０はポリシーベースのルーティングメカニズムを利用してパケットをＴＯＲ Ｄに転送しない。むしろ、スパインスイッチ１ ９４０は、ＥＣＭＰルーティングメカニズムを利用して、パケットをＴＯＲ Ｄに転送するために利用可能なリンク９８０の１つを選択し、ＴＯＲ Ｄは、次いでデータパケットをホストＤ９２２に転送する。
【0132】
いくつかの実施形態では、図７を参照して前述したフロー衝突は、本明細書で説明されるクラウドインフラストラクチャのネットワーク装置によって、ＥＣＭＰルーティングの修正バージョンを実装することによって回避される。この場合、ＥＣＭＰハッシュアルゴリズムは、ネットワーク装置の特定の受信ポートリンクを経由するトラフィックが、ネットワーク装置の同じ発信ポートリンクにハッシュされる（および向けられる）ように変更される。具体的には、各ネットワーク装置は修正されたＥＣＭＰアルゴリズムを実装して、パケットの転送に使用される発信ポートリンクを決定し、修正されたＥＣＭＰアルゴリズムにより、特定の受信ポートリンク経由で受信されたパケットは常に同じ発信ポートリンクにハッシュされる。例えば、第１のパケットと第２のパケットがネットワーク装置の第１の受信ポートリンクで受信され、一方、第３のパケットと第４のパケットがネットワーク装置の第２の受信ポートリンクで受信される場合を考えてみる。このような状況では、ネットワーク装置は修正されたＥＣＭＰアルゴリズムを実装するように構成され、ネットワーク装置は、ネットワーク装置の第１の発信ポートリンク上で第１のパケットと第２のパケットを送信し、ネットワーク装置の第２の発信ポートリンク上で第３のパケットと第４のパケットを送信し、ネットワーク装置の第１の受信ポートリンクはネットワーク装置の第２の受信ポートリンクとは異なり、ネットワーク装置の第１の発信ポートリンクはネットワーク装置の第２の発信ポートリンクとは異なる。特定の実装では、転送情報データベース（例えば、転送テーブル、ＥＣＭＰテーブルなど）に記憶されている情報は、上記の機能を可能にするために変更することができる。
【0133】
ここで図１０を参照すると、特定の実施形態によるラック１０００の例示的な構成が示されている。図１０に示すように、ラック１０００は、２台のホストマシン、すなわち、ホストマシン１０１０およびホストマシン１０２０を含む。ラック１０００は２台のホストマシンを含むように示されているが、ラック１０００はさらに多くのホストマシンを含んでもよいことが理解される。各ホストマシンは複数のＧＰＵおよび複数のＣＰＵを含む。例えば、ホストマシン１０１０は、複数のＣＰＵ１０１２および複数のＧＰＵ１０１４を含み、一方、ホストマシン１０２０は、複数のＣＰＵ１０２２および複数のＧＰＵ１０２４を含む。
【0134】
ホストマシンは、異なるＴＯＲスイッチを介して異なるネットワークファブリックに通信可能に接続される。例えば、ホストマシン１０１０および１０２０は、ＴＯＲスイッチ、すなわちＴＯＲ１スイッチ１０５０を介してネットワークファブリック（本明細書ではラック１０００のフロントエンドネットワークと呼ばれる）に通信可能に結合される。フロントエンドネットワークは、外部ネットワークに相当し得る。より具体的には、ホストマシン１０１０は、ネットワークインターフェースカード（ＮＩＣ）１０３０、およびＴＯＲ１スイッチ１０５０に結合されたネットワーク仮想化装置（ＮＶＤ）１０３５を介してフロントエンドネットワークに接続される。ホストマシン１０２０は、ＮＩＣ１０４０、およびＴＯＲ１スイッチ１０５０に結合されたＮＶＤ１０４５を介してフロントエンドネットワークに接続される。したがって、いくつかの実施形態によれば、各ホストマシンのＣＰＵは、ＮＩＣ、ＮＶＤ、およびＴＯＲスイッチを介してフロントエンドネットワークと通信することができる。例えば、ホストマシン１０１０のＣＰＵ１０１２は、ＮＩＣ１０３０、ＮＶＤ１０３５、およびＴＯＲ１スイッチ１０５０を介してフロントエンドネットワークと通信することができる。
【0135】
ホストマシン１０１０および１０２０は、他方のサービス品質（ＱｏＳ）対応のバックエンドネットワークに接続される。（ＱｏＳ）対応のバックエンドネットワークは、本明細書では、図６に示すＧＰＵクラスタネットワークに対応するバックエンドネットワークと呼ばれる。ホストマシン１０１０は、別のＮＩＣ１０６５を介して、ホストマシン１０１０をバックエンドネットワークに通信可能に結合するＴＯＲ２スイッチ１０６０に接続される。同様に、ホストマシン１０２０は、ＮＩＣ１０８０を介してＴＯＲ２スイッチ１０６０に接続され、ＴＯＲ２スイッチ１０６０は、ホストマシン１０２０をバックエンドネットワークに通信可能に結合する。したがって、各ホストマシンの複数のＧＰＵは、ＮＩＣおよびＴＯＲスイッチを介してバックエンドネットワークと通信できる。このように、複数のＣＰＵは、フロントエンドネットワークおよびバックエンドネットワークとそれぞれ通信するために、（ＧＰＵによって利用されるＮＩＣのセットと比較して）別個のＮＩＣのセットを利用する。
【0136】
図１１Ａは、特定の実施形態による、パケットをルーティングする際にネットワーク装置によって実行されるステップを示す例示的なフローチャート１１００を示す。図１１Ａに示す処理は、それぞれのシステムの１つもしくは複数の処理ユニット（例えば、プロセッサ、コア）により実行されるソフトウェア（例えば、コード、命令、プログラム）、ハードウェア、またはそれらの組み合わせで実装され得る。ソフトウェアは、非一時的な記憶媒体（例えば、メモリ装置）に記憶されてもよい。図１１Ａに示され、以下に説明される方法は、例示的なものであり、限定的なものではない。図１１Ａは、特定の流れまたは順序で行われるさまざまな処理ステップを示しているが、これに限定されるものではない。特定の代替実施形態では、ステップは何らかの異なる順序で実行されてもよいし、また一部のステップは並行して実行されてもよい。
【0137】
プロセスは、ステップ１１０５で始まり、ネットワーク装置が、ホストマシンのグラフィカル処理ユニット（ＧＰＵ）によって送信されたデータパケットを受信する。ステップ１１１０において、ネットワーク装置は、パケットが受信された受信ポート／リンクを決定する。ステップ１１１５で、ネットワーク装置は、ポリシールーティング情報に基づいて、（パケットが受信された）受信ポート／リンクに対応する発信ポート／リンクを識別する。いくつかの実施形態によれば、ポリシールーティング情報は、ネットワーク装置の各入力ポートリンクをネットワーク装置の固有の発信リンクポートに結び付ける、ネットワーク装置用の事前構成されたＧＰＵルーティングテーブルに対応する。
【0138】
次に、プロセスはステップ１１２０に進み、そこで発信ポートリンクが機能状態にあるかどうか、例えば発信リンクがアクティブであるかどうかを決定するためのクエリが実行される。クエリに対する応答が肯定的である場合（すなわち、リンクがアクティブである）、プロセスはステップ１１２５に進み、一方、クエリに対する応答が否定的である場合（すなわち、リンクが障害状態／非アクティブ状態にある）、プロセスはステップ１１３０に進む。ステップ１１２５において、ネットワーク装置は、発信ポートリンク（ステップ１１１５で識別された）を利用して、受信したデータパケットを別のネットワーク装置に転送する。ステップ１１３０において、ネットワーク装置は、データパケットのフロー情報を取得する。例えば、フロー情報は、パケットに関連付けられる４タプル（すなわち、ソースポート、宛先ポート、ソースＩＰアドレス、宛先ＩＰアドレス）に対応し得る。取得したフロー情報に基づいて、ネットワーク装置はＥＣＭＰルーティングを利用して、新しい発信ポートリンク、つまり利用可能な発信ポートリンクを識別する。次に、プロセスはステップ１１３５に進み、ネットワーク装置は、新たに取得した発信ポートリンクを利用して、ステップ１１０５で受信したデータパケットを転送する。
【0139】
図１１Ｂは、特定の実施形態による、パケットをルーティングする際にネットワーク装置によって実行されるステップを示す別の例示的なフローチャート１１５０を示す。図１１Ｂに示す処理は、それぞれのシステムの１つもしくは複数の処理ユニット（例えば、プロセッサ、コア）によって実行されるソフトウェア（例えば、コード、命令、プログラム）、ハードウェア、またはそれらの組み合わせで実装され得る。ソフトウェアは、非一時的な記憶媒体（例えば、メモリ装置）に記憶されてもよい。図１１Ｂに示され、以下に説明される方法は、例示的なものであり、限定的なものではない。図１１Ｂは、特定の流れまたは順序で行われるさまざまな処理ステップを示しているが、これに限定されるものではない。特定の代替実施形態では、ステップは何らかの異なる順序で実行されてもよいし、また一部のステップは並行して実行されてもよい。
【0140】
プロセスはステップ１１５５で始まり、ネットワーク装置は、ホストマシンのグラフィカル処理ユニット（ＧＰＵ）によって送信されたデータパケットを受信する。ステップ１１６０で、ネットワーク装置は、受信したパケットのフロー情報を決定する。いくつかの実装では、フロー情報は、パケットに関連付けられる４つのタプル（すなわち、ソースポート、宛先ポート、ソースＩＰアドレス、宛先ＩＰアドレス）に対応し得る。ステップ１１６５で、ネットワーク装置は、ＥＣＭＰルーティングの修正バージョンを実装することによって発信ポートリンクを計算する。修正されたＥＣＭＰアルゴリズムにより、特定の受信ポートリンクで受信されたパケットは常にハッシュされて、同じ発信ポートリンクで送信される。
【0141】
次に、プロセスはステップ１１７０に進み、発信ポートリンク（ステップ１１６５で決定された）が機能状態、例えば発信リンクがアクティブであるかどうかを決定するためにクエリが実行される。クエリに対する応答が肯定的である場合（つまり、リンクがアクティブである場合）、プロセスはステップ１１７５に進み、一方、クエリに対する応答が否定的である場合（すなわち、リンクが障害状態／非アクティブ状態にある場合）、プロセスはステップ１１８０に進む。ステップ１１７５において、ネットワーク装置は、発信ポートリンク（ステップ１１６５で識別された）を利用して、受信したデータパケットを別のネットワーク装置に転送する。（ステップ１１６５の）識別された発信ポートリンクが非アクティブ状態にあると決定された場合、プロセスはステップ１１８０に進む。ステップ１１８０において、ネットワーク装置は、ＥＣＭＰルーティング（すなわち、標準ＥＣＭＰルーティング）を実装して、新しい発信ポートリンクを識別する。次にプロセスはステップ１１８５に進み、そこでネットワーク装置は新たに計算された発信ポートリンクを利用して、ステップ１１５５で受信されたデータパケットを転送する。
【0142】
ホストマシンのＧＰＵから発信されるデータパケットをルーティングする上記の技術により、スループットが小規模なクラスタでは２０％、より大きなクラスタでは７０％増加することに留意されたい（つまり、標準のＥＣＭＰルーティングアルゴリズムと比較して３倍の改善）。
【0143】
クラウドインフラストラクチャの実施例
上で述べたように、サービスとしてのインフラストラクチャ（ＩａａＳ）は、クラウドコンピューティングの特定のタイプの１つである。ＩａａＳは、パブリックネットワーク（インターネットなど）経由で仮想化されるコンピューティングリソースを提供するように構成できる。ＩａａＳモデルでは、クラウドコンピューティングプロバイダは、インフラストラクチャ構成要素（例えば、サーバ、記憶装置、ネットワークノード（例えばハードウェア）、展開ソフトウェア、プラットフォーム仮想化（例えばハイパーバイザ層）など）をホストすることができる。場合によっては、ＩａａＳプロバイダは、これらのインフラストラクチャ構成要素に付随するさまざまなサービス（例えば、請求、監視、ロギング、セキュリティ、負荷分散、およびクラスタリングなど）を提供することもできる。したがって、これらのサービスはポリシー推進型であり得るため、ＩａａＳユーザは負荷分散を推進するポリシーを実装して、アプリケーションの可用性と性能を維持できる可能性がある。
上で述べたように、サービスとしてのインフラストラクチャ（ＩａａＳ）は、クラウドコンピューティングの特定のタイプの１つである。ＩａａＳは、パブリックネットワーク（インターネットなど）経由で仮想化されるコンピューティングリソースを提供するように構成できる。ＩａａＳモデルでは、クラウドコンピューティングプロバイダは、インフラストラクチャ構成要素（例えば、サーバ、記憶装置、ネットワークノード（例えばハードウェア）、展開ソフトウェア、プラットフォーム仮想化（例えばハイパーバイザ層）など）をホストすることができる。場合によっては、ＩａａＳプロバイダは、これらのインフラストラクチャ構成要素に付随するさまざまなサービス（例えば、請求、監視、ロギング、セキュリティ、負荷分散、およびクラスタリングなど）を提供することもできる。したがって、これらのサービスはポリシー推進型であり得るため、ＩａａＳユーザは負荷分散を推進するポリシーを実装して、アプリケーションの可用性と性能を維持できる可能性がある。
【0144】
場合によっては、ＩａａＳ顧客は、インターネットなどのワイドエリアネットワーク（ＷＡＮ）を介してリソースおよびサービスにアクセスすることができ、クラウドプロバイダのサービスを使用してアプリケーションスタックの残りの要素をインストールすることができる。例えば、ユーザはＩａａＳプラットフォームにログインして、仮想マシン（ＶＭ）の作成、各ＶＭへのオペレーティングシステム（ＯＳ）のインストール、データベースなどのミドルウェアの展開、ワークロードとバックアップ用の記憶バケットの作成、さらにはエンタープライズソフトウェアをそのＶＭにインストールすることができる。その後、顧客はプロバイダのサービスを使用して、ネットワークトラフィックのバランス、アプリケーションの問題のトラブルシューティング、性能の監視、災害復旧の管理などのさまざまな機能を実行できる。
【0145】
ほとんどの場合、クラウドコンピューティングモデルはクラウドプロバイダの参加を必要とする。クラウドプロバイダは、ＩａａＳの提供（例えば、提供、レンタル、販売）を専門とするサードパーティサービスであってもかまわないが、そうである必要はない。エンティティはプライベートクラウドを展開して、独自のインフラストラクチャサービスプロバイダになることも選択できる。
【0146】
いくつかの例では、ＩａａＳ展開は、新しいアプリケーション、またはアプリケーションの新しいバージョンを、準備されているアプリケーションサーバなどに配置するプロセスである。これには、サーバを準備するプロセス（例えば、ライブラリ、デーモンなどのインストールなど）も含まれ得る。これは多くの場合、ハイパーバイザ層（例えば、サーバ、記憶装置、ネットワークハードウェア、および仮想化）の下のクラウドプロバイダによって管理される。したがって、顧客は、（ＯＳ）、ミドルウェア、および／またはアプリケーション展開（例えば、セルフサービス仮想マシン（例えば、オンデマンドでスピンアップできる）など）などの取り扱いに責任を負うことができる。
【0147】
いくつかの例では、ＩａａＳプロビジョニングは、使用するコンピュータまたは仮想ホストを取得し、それらに必要なライブラリまたはサービスをインストールすることさえも指し得る。ほとんどの場合、展開にはプロビジョニングが含まれていないため、最初にプロビジョニングを実行することが必要な場合がある。
【0148】
場合によっては、ＩａａＳプロビジョニングには２つの異なる課題がある。まず、何かを実行する前にインフラストラクチャの初期セットをプロビジョニングするという最初の課題がある。第２に、すべてがプロビジョニングされた後に、既存のインフラストラクチャを進化させるという課題がある（例えば、新しいサービスの追加、サービスの変更、サービスの削除など）。場合によっては、インフラストラクチャの構成を宣言的に画定できるようにすることで、これら２つの課題に対処できる場合がある。言い換えれば、インフラストラクチャ（例えば、どの構成要素が必要か、どのように対話するか）は１つまたは複数の構成ファイルによって画定できる。したがって、インフラストラクチャの全体的なトポロジ（例えば、どのリソースがどのリソースに依存するか、およびそれぞれがどのように連携するかなど）を宣言的に記述することができる。場合によっては、トポロジが画定されると、構成ファイルに記述されているさまざまな構成要素を作成および／または管理するワークフローを生成できる。
【0149】
いくつかの例では、インフラストラクチャは、相互接続されている多くの要素を有し得る。例えば、コアネットワークとしても知られる、１つまたは複数の仮想プライベートクラウド（ＶＰＣ）（例えば、構成可能および／または共有コンピューティングリソースの潜在的にオンデマンドのプール）が存在し得る。いくつかの例では、ネットワークのセキュリティがどのように設定されるかを画定するためにプロビジョニングされる１つまたは複数のセキュリティグループルールと、１つまたは複数の仮想マシン（ＶＭ）が存在する場合もある。ロードバランサ、データベースなどの他のインフラストラクチャ要素もプロビジョニングできる。より多くのインフラストラクチャ要素が望まれたり追加されたりするにつれて、インフラストラクチャは段階的に進化し得る。
【0150】
場合によっては、さまざまな仮想コンピューティング環境にわたるインフラストラクチャコードの展開を可能にするために、継続的展開技術が使用されてもよい。さらに、説明されている技術により、これらの環境内でのインフラストラクチャ管理が可能になる。いくつかの例では、サービスチームは、１つまたは複数の、しかし多くの場合、多くの異なる生産環境（例えば、さまざまな異なる地理的位置にまたがり、場合によっては全世界に及ぶ）に展開することが望ましいコードを書くことができる。しかし、例によっては、コードを展開するインフラストラクチャを最初に設定する必要がある。場合によっては、プロビジョニングは手動で行うことができ、プロビジョニングツールを利用してリソースをプロビジョニングすることができ、および／または展開ツールを利用して、インフラストラクチャがプロビジョニングされた後にコードを展開することができる。
【0151】
図１２は、少なくとも１つの実施形態による、ＩａａＳアーキテクチャのパターン例を示すブロック図１２００である。サービスオペレータ１２０２は、仮想クラウドネットワーク（ＶＣＮ）１２０６およびセキュアホストサブネット１２０８を含むことができるセキュアホストテナント１２０４に通信可能に結合することができる。いくつかの例では、サービスオペレータ１２０２は、１つまたは複数のクライアントコンピューティング装置を使用することができ、これは、ポータブルハンドヘルド装置（例えば、ｉＰｈｏｎｅ（登録商標）、携帯電話、ｉＰａｄ（登録商標）、コンピューティングタブレット、携帯情報端末（ＰＤＡ））もしくはウェアラブル装置（例えば、Ｇｏｏｇｌｅ Ｇｌａｓｓ（登録商標）ヘッドマウントディスプレイ）、Ｍｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ Ｍｏｂｉｌｅ（登録商標）などの実行ソフトウェア、および／またはｉＯＳ、ＷｉｎｄｏｗｓＰｈｏｎｅ、Ａｎｄｒｏｉｄ、ＢｌａｃｋＢｅｒｒｙ８、ＰａｌｍＯＳなどのさまざまなモバイルオペレーティングシステム、ならびにインターネット、電子メール、ショートメッセージサービス（ＳＭＳ）、Ｂｌａｃｋｂｅｒｒｙ（登録商標）、または有効な他の通信プロトコルであり得る。あるいは、クライアントコンピューティング装置は、例えば、さまざまなバージョンのＭｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ（登録商標）、Ａｐｐｌｅ Ｍａｃｉｎｔｏｓｈ（登録商標）、および／またはＬｉｎｕｘ（登録商標）オペレーティングシステムを実行するパーソナルコンピュータおよび／またはラップトップコンピュータを含む汎用パーソナルコンピュータであってもよい。クライアントコンピューティング装置は、例えばＧｏｏｇｌｅ Ｃｈｒｏｍｅ ＯＳなどのさまざまなＧＮＵ／Ｌｉｎｕｘオペレーティングシステムを含むがこれらに限定されない、さまざまな市販のＵＮＩＸ（登録商標）またはＵＮＩＸ類似のオペレーティングシステムのいずれかを実行するワークステーションコンピュータであり得る。代替として、または追加として、クライアントコンピューティング装置は任意の他の電子装置であってもよく、シンクライアントコンピュータ、インターネット対応ゲームシステム（例えば、Ｋｉｎｅｃｔ（登録商標）ジェスチャ入力装置あり、または無しのＭｉｃｒｏｓｏｆｔ Ｘｂｏｘゲームコンソール）、および／またはＶＣＮ１２０６および／またはインターネットにアクセスできるネットワークを介して通信できるパーソナルメッセージング装置などである。
【0152】
ＶＣＮ１２０６は、ＳＳＨＶＣＮ１２１２に含まれるＬＰＧ１２１０を介してセキュアシェル（ＳＳＨ）ＶＣＮ１２１２に通信可能に結合することができるローカルピアリングゲートウェイ（ＬＰＧ）１２１０を含むことができる。ＳＳＨＶＣＮ１２１２は、ＳＳＨサブネット１２１４を含むことができ、ＳＳＨＶＣＮ１２１２は、制御プレーンＶＣＮ１２１６に含まれるＬＰＧ１２１０を介して制御プレーンＶＣＮ１２１６に通信可能に結合することができる。また、ＳＳＨＶＣＮ１２１２は、ＬＰＧ１２１０を介してデータプレーンＶＣＮ１２１８に通信可能に結合することができる。制御プレーンＶＣＮ１２１６およびデータプレーンＶＣＮ１２１８は、ＩａａＳプロバイダが所有および／または動作できるサービステナント１２１９に含めることができる。
【0153】
制御プレーンＶＣＮ１２１６は、境界ネットワーク（例えば、企業イントラネットと外部ネットワークとの間の企業ネットワークの一部）として機能する制御プレーン非武装地帯（ＤＭＺ）層１２２０を含むことができる。ＤＭＺベースのサーバは責任が制限されており、侵害を阻止するのに役立ち得る。さらに、ＤＭＺ層１２２０は、１つまたは複数のロードバランサ（ＬＢ）サブネット１２２２、アプリサブネット１２２６を含むことができる制御プレーンアプリ層１２２４、制御プレーンデータ層１２２８を含むことができ、これには、データベース（ＤＢ）サブネット１２３０（例えば、フロントエンドＤＢサブネットおよび／またはバックエンドＤＢサブネット）を含めることができる。制御プレーンＤＭＺ層１２２０に含まれるＬＢサブネット１２２２は、制御プレーンアプリ層１２２４に含まれるアプリサブネット１２２６および制御プレーンＶＣＮ１２１６に含まれ得るインターネットゲートウェイ１２３４に通信可能に結合することができ、アプリサブネット１２２６は、制御プレーンデータ層１２２８に含まれるＤＢサブネット１２３０、ならびにサービスゲートウェイ１２３６およびネットワークアドレス変換（ＮＡＴ）ゲートウェイ１２３８に通信可能に結合することができる。制御プレーンＶＣＮ１２１６は、サービスゲートウェイ１２３６およびＮＡＴゲートウェイ１２３８を含むことができる。
【0154】
制御プレーンＶＣＮ１２１６は、アプリサブネット１２２６を含むことができるデータプレーンミラーアプリ層１２４０を含むことができる。データプレーンミラーアプリ層１２４０に含まれるアプリサブネット１２２６は、コンピューティングインスタンス１２４４を実行できる仮想ネットワークインターフェースコントローラ（ＶＮＩＣ）１２４２を含むことができる。コンピューティングインスタンス１２４４は、データプレーンミラーアプリ層１２４０のアプリサブネット１２２６を、データプレーンアプリ層１２４６に含めることができるアプリサブネット１２２６に通信可能に結合することができる。
【0155】
データプレーンＶＣＮ１２１８は、データプレーンアプリ層１２４６、データプレーンＤＭＺ層１２４８、およびデータプレーンデータ層１２５０を含むことができる。データプレーンＤＭＺ層１２４８は、データプレーンアプリ層１２４６のアプリサブネット１２２６およびデータプレーンＶＣＮ１２１８のインターネットゲートウェイ１２３４に通信可能に結合され得るＬＢサブネット１２２２を含むことができる。アプリサブネット１２２６は、データプレーンＶＣＮ１２１８のサービスゲートウェイ１２３６およびデータプレーンＶＣＮ１２１８のＮＡＴゲートウェイ１２３８に通信可能に結合することができる。データプレーンデータ層１２５０は、データプレーンアプリ層１２４６のアプリサブネット１２２６に通信可能に結合できるＤＢサブネット１２３０を含むこともできる。
【0156】
制御プレーンＶＣＮ１２１６およびデータプレーンＶＣＮ１２１８のインターネットゲートウェイ１２３４は、パブリックインターネット１２５４に通信可能に結合され得るメタデータ管理サービス１２５２に通信可能に結合され得る。パブリックインターネット１２５４は、制御プレーンＶＣＮ１２１６およびデータプレーンＶＣＮ１２１８のＮＡＴゲートウェイ１２３８に通信可能に接続することができる。制御プレーンＶＣＮ１２１６およびデータプレーンＶＣＮ１２１８のサービスゲートウェイ１２３６は、クラウドサービス１２５６に通信可能に結合することができる。
【0157】
いくつかの例では、制御プレーンＶＣＮ１２１６またはデータプレーンＶＣＮ１２１８のサービスゲートウェイ１２３６は、パブリックインターネット１２５４を経由せずに、クラウドサービス１２５６へのアプリケーションプログラミングインターフェース（ＡＰＩ）呼び出しを行うことができる。サービスゲートウェイ１２３６からクラウドサービス１２５６へのＡＰＩ呼び出しは一方向であり得る：サービスゲートウェイ１２３６はクラウドサービス１２５６へのＡＰＩ呼び出しを行うことができ、クラウドサービス１２５６は要求されるデータをサービスゲートウェイ１２３６に送信することができる。しかし、クラウドサービス１２５６は、サービスゲートウェイ１２３６へのＡＰＩ呼び出しを開始できない場合がある。
【0158】
いくつかの例では、セキュアホストテナント１２０４は、サービステナント１２１９に直接接続することができ、そうでなければ分離され得る。セキュアホストサブネット１２０８は、ＬＰＧ１２１０を介してＳＳＨサブネット１２１４と通信することができ、ＬＰＧ１２１０は、そうでなければ分離されるシステムを介した双方向通信を可能にすることができる。セキュアホストサブネット１２０８をＳＳＨサブネット１２１４に接続すると、セキュアホストサブネット１２０８にサービステナント１２１９内の他のエンティティへのアクセスを与えることができる。
【0159】
制御プレーンＶＣＮ１２１６により、サービステナント１２１９のユーザが所望のリソースをセットアップまたはプロビジョニングできるようにすることができる。制御プレーンＶＣＮ１２１６内にプロビジョニングされる所望のリソースは、データプレーンＶＣＮ１２１８内に展開または使用され得る。いくつかの例では、制御プレーンＶＣＮ１２１６はデータプレーンＶＣＮ１２１８から分離することができ、制御プレーンＶＣＮ１２１６のデータプレーンミラーアプリ層１２４０は、データプレーンミラーアプリ層１２４０およびデータプレーンアプリ層１２４６に含まれることができるＶＮＩＣ１２４２を介して、データプレーンＶＣＮ１２１８のデータプレーンアプリ層１２４６と通信することができる。
【0160】
いくつかの例では、システムのユーザまたは顧客は、要求をメタデータ管理サービス１２５２に通信することができるパブリックインターネット１２５４を介して、例えば作成、読み取り、更新、または削除（ＣＲＵＤ）動作などの要求を行うことができる。メタデータ管理サービス１２５２は、インターネットゲートウェイ１２３４を介して要求を制御プレーンＶＣＮ１２１６に通信することができる。この要求は、制御プレーンＤＭＺ層１２２０に含まれるＬＢサブネット１２２２によって受信され得る。ＬＢサブネット１２２２は、要求が有効であると決定することができ、この決定に応答して、ＬＢサブネット１２２２は、制御プレーンアプリ層１２２４に含まれるアプリサブネット１２２６に要求を送信することができる。要求が検証され、パブリックインターネット１２５４への呼び出しが必要な場合、パブリックインターネット１２５４への呼び出しは、パブリックインターネット１２５４への呼び出しを行うことができるＮＡＴゲートウェイ１２３８に送信され得る。要求によって記憶されることが望ましい場合があるメモリは、ＤＢサブネット１２３０に記憶できる。
【0161】
いくつかの例では、データプレーンミラーアプリ層１２４０は、制御プレーンＶＣＮ１２１６とデータプレーンＶＣＮ１２１８との間の直接通信を容易にすることができる。例えば、構成に対する変更、更新、または他の適切な修正を、データプレーンＶＣＮ１２１８に含まれるリソースに適用することが望ましい場合がある。ＶＮＩＣ１２４２を介して、制御プレーンＶＣＮ１２１６は、データプレーンＶＣＮ１２１８に含まれるリソースと直接通信することができ、それにより、データプレーンＶＣＮ１２１８に含まれるリソースに対する構成の変更、更新、または他の適切な修正を実行することができる。
【0162】
いくつかの実施形態では、制御プレーンＶＣＮ１２１６およびデータプレーンＶＣＮ１２１８は、サービステナント１２１９に含めることができる。この場合、システムのユーザまたは顧客は、制御プレーンＶＣＮ１２１６またはデータプレーンＶＣＮ１２１８のいずれも所有または動作することはできない。代わりに、ＩａａＳプロバイダは、制御プレーンＶＣＮ１２１６およびデータプレーンＶＣＮ１２１８を所有または動作することができ、これらは両方ともサービステナント１２１９に含まれ得る。この実施形態は、ユーザまたは顧客が他のユーザまたは他の顧客のリソースと対話することを防止し得るネットワークの分離を可能にすることができる。また、この実施形態により、システムのユーザまたは顧客は、記憶のために所望のレベルのセキュリティを持たない可能性があるパブリックインターネット１２５４に依存する必要なく、データベースをプライベートに記憶することができる。
【0163】
他の実施形態では、制御プレーンＶＣＮ１２１６に含まれるＬＢサブネット１２２２は、サービスゲートウェイ１２３６から信号を受信するように構成され得る。この実施形態では、制御プレーンＶＣＮ１２１６およびデータプレーンＶＣＮ１２１８は、パブリックインターネット１２５４を呼び出すことなく、ＩａａＳプロバイダの顧客によって呼び出されるように構成され得る。顧客が使用するデータベースはＩａａＳプロバイダによって制御され、パブリックインターネット１２５４から隔離され得るサービステナント１２１９に記憶され得るため、ＩａａＳプロバイダの顧客は、この実施形態を望む可能性がある。
【0164】
図１３は、少なくとも１つの実施形態による、ＩａａＳアーキテクチャの別のパターン例を示すブロック図１３００である。サービスオペレータ１３０２（例えば、図１２のサービスオペレータ１２０２）は、セキュアホストテナント１３０４（例えば、図１２のセキュアホストテナント１２０４）に通信可能に結合することができ、これは、仮想クラウドネットワーク（ＶＣＮ）１３０６（例えば、図１２のＶＣＮ１２０６）およびセキュアホストサブネット１３０８（例えば、図１２のセキュアホストサブネット１２０８）を含むことができる。ＶＣＮ１３０６は、ローカルピアリングゲートウェイ（ＬＰＧ）１３１０（例えば、図１２のＬＰＧ１２１０）を含むことができ、これは、ＳＳＨＶＣＮ１３１２に含まれるＬＰＧ１２１０を介してセキュアシェル（ＳＳＨ）ＶＣＮ１３１２（例えば、図１２のＳＳＨＶＣＮ１２１２）に通信可能に結合することができる。ＳＳＨＶＣＮ１３１２は、ＳＳＨサブネット１３１４（例えば、図１２のＳＳＨサブネット１２１４）を含むことができ、ＳＳＨＶＣＮ１３１２は、制御プレーンＶＣＮ１３１６に含まれるＬＰＧ１３１０を介して、制御プレーンＶＣＮ１３１６（例えば、図１２の制御プレーンＶＣＮ１２１６）に通信可能に結合することができる。制御プレーンＶＣＮ１３１６は、サービステナント１３１９（例えば、図１２のサービステナント１２１９）に含めることができ、データプレーンＶＣＮ１３１８（例えば、図１２のデータプレーンＶＣＮ１２１８）は、システムのユーザまたは顧客によって所有または動作され得る顧客テナント１３２１に含めることができる。
【0165】
制御プレーンＶＣＮ１３１６は、ＬＢサブネット１３２２（例えば、図１２のＬＢサブネット１２２２）を含むことができる制御プレーンＤＭＺ層１３２０（例えば、図１２の制御プレーンＤＭＺ層１２２０）、アプリサブネット１３２６（例えば、図１２のアプリサブネット１２２６）を含むことができる制御プレーンアプリ層１３２４（例えば、図１２の制御プレーンアプリ層１２２４）、データベース（ＤＢ）サブネット１３３０（例えば、図１２のＤＢサブネット１２３０と同様）を含むことができる制御プレーンデータ層１３２８（例えば、図１２の制御プレーンデータ層１２２８）を含むことができる。制御プレーンＤＭＺ層１３２０に含まれるＬＢサブネット１３２２は、制御プレーンアプリ層１３２４に含まれるアプリサブネット１３２６と、制御プレーンＶＣＮ１３１６に含まれ得るインターネットゲートウェイ１３３４（例えば、図１２のインターネットゲートウェイ１２３４）とに通信可能に結合することができ、アプリサブネット１３２６は、制御プレーンデータ層１３２８に含まれるＤＢサブネット１３３０、ならびにサービスゲートウェイ１３３６（例えば、図１２のサービスゲートウェイ）およびネットワークアドレス変換（ＮＡＴ）ゲートウェイ１３３８（例えば、図１２のＮＡＴゲートウェイ１２３８）に通信可能に結合することができる。制御プレーンＶＣＮ１３１６は、サービスゲートウェイ１３３６およびＮＡＴゲートウェイ１３３８を含むことができる。
【0166】
制御プレーンＶＣＮ１３１６は、アプリサブネット１３２６を含むことができるデータプレーンミラーアプリ層１３４０（例えば、図１２のデータプレーンミラーアプリ層１２４０）を含むことができる。データプレーンミラーアプリ層１３４０に含まれるアプリサブネット１３２６は、コンピューティングインスタンス１３４４（例えば、図１２のコンピューティングインスタンス１２４４と同様）を実行できる仮想ネットワークインターフェースコントローラ（ＶＮＩＣ）１３４２（例えば、１２４２のＶＮＩＣ）を含むことができる。コンピューティングインスタンス１３４４は、データプレーンミラーアプリ層１３４０のアプリサブネット１３２６とアプリサブネット１３２６との間の通信を容易にすることができ、これは、データプレーンミラーアプリ層１３４０に含まれるＶＮＩＣ１３４２およびデータプレーンアプリ層１３４６に含まれるＶＮＩＣ１３４２を介して、データプレーンアプリ層１３４６（例えば、図１２のデータプレーンアプリ層１２４６）に含まれることができる。
【0167】
制御プレーンＶＣＮ１３１６に含まれるインターネットゲートウェイ１３３４は、メタデータ管理サービス１３５２（例えば、図１２のメタデータ管理サービス１２５２）に通信可能に結合することができ、これは、パブリックインターネット１３５４（例えば、図１２のパブリックインターネット１２５４）に通信可能に結合することができる。パブリックインターネット１３５４は、制御プレーンＶＣＮ１３１６に含まれるＮＡＴゲートウェイ１３３８に通信可能に結合することができる。制御プレーンＶＣＮ１３１６に含まれるサービスゲートウェイ１３３６は、クラウドサービス１３５６（例えば、図１２のクラウドサービス１２５６）に通信可能に結合することができる。
【0168】
いくつかの例では、データプレーンＶＣＮ１３１８は、顧客テナント１３２１に含まれることができる。この場合、ＩａａＳプロバイダは、各顧客に対して制御プレーンＶＣＮ１３１６を提供することができ、ＩａａＳプロバイダは、各顧客に対して、サービステナント１３１９に含まれる一意のコンピューティングインスタンス１３４４をセットアップすることができる。各コンピューティングインスタンス１３４４は、サービステナント１３１９に含まれる制御プレーンＶＣＮ１３１６と、顧客テナント１３２１に含まれるデータプレーンＶＣＮ１３１８との間の通信を可能にしてもよい。コンピューティングインスタンス１３４４は、サービステナント１３１９に含まれる制御プレーンＶＣＮ１３１６内にプロビジョニングされるリソースが、顧客テナント１３２１に含まれるデータプレーンＶＣＮ１３１８内に展開されるか、そうでなければ使用されることを可能にし得る。
【0169】
他の例では、ＩａａＳプロバイダの顧客は、顧客テナント１３２１内に存在するデータベースを有し得る。この例では、制御プレーンＶＣＮ１３１６は、アプリサブネット１３２６を含むことができるデータプレーンミラーアプリ層１３４０を含むことができる。データプレーンミラーアプリ層１３４０はデータプレーンＶＣＮ１３１８内に存在することができるが、データプレーンミラーアプリ層１３４０はデータプレーンＶＣＮ１３１８内に存在しなくてもよい。つまり、データプレーンミラーアプリ層１３４０は、顧客テナント１３２１にアクセスできるが、データプレーンミラーアプリ層１３４０は、データプレーンＶＣＮ１３１８に存在しなくてもよいし、ＩａａＳプロバイダの顧客によって所有または動作されてもよい。データプレーンミラーアプリ層１３４０は、データプレーンＶＣＮ１３１８への呼び出しを行うように構成されてもよいが、制御プレーンＶＣＮ１３１６に含まれる任意のエンティティへの呼び出しを行うように構成されなくてもよい。顧客は、制御プレーンＶＣＮ１３１６内にプロビジョニングされるデータプレーンＶＣＮ１３１８内のリソースを展開またはそうでなければ使用することを望む場合があり、データプレーンミラーアプリ層１３４０は、顧客の所望の展開またはリソースの他の使用を容易にすることができる。
【0170】
いくつかの実施形態では、ＩａａＳプロバイダの顧客は、データプレーンＶＣＮ１３１８にフィルタを適用することができる。この実施形態では、顧客はデータプレーンＶＣＮ１３１８が何にアクセスできるかを決定することができ、顧客はデータプレーンＶＣＮ１３１８からパブリックインターネット１３５４へのアクセスを制限することができる。ＩａａＳプロバイダは、フィルタを適用したり、外部ネットワークまたはデータベースへのデータプレーンＶＣＮ１３１８のアクセスを制御したりできない場合がある。顧客によるフィルタおよび制御を顧客テナント１３２１に含まれるデータプレーンＶＣＮ１３１８に適用すると、データプレーンＶＣＮ１３１８を他の顧客およびパブリックインターネット１３５４から分離するのに役立ち得る。
【0171】
いくつかの実施形態では、クラウドサービス１３５６は、パブリックインターネット１３５４上、制御プレーンＶＣＮ１３１６上、またはデータプレーンＶＣＮ１３１８上に存在しない可能性があるサービスにアクセスするために、サービスゲートウェイ１３３６によって呼び出すことができる。クラウドサービス１３５６と制御プレーンＶＣＮ１３１６またはデータプレーンＶＣＮ１３１８との間の接続は、ライブまたは継続的ではない可能性がある。クラウドサービス１３５６は、ＩａａＳプロバイダが所有または動作する別のネットワーク上に存在し得る。クラウドサービス１３５６は、サービスゲートウェイ１３３６から呼び出しを受信するように構成されてもよいし、パブリックインターネット１３５４から呼び出しを受信しないように構成されてもよい。一部のクラウドサービス１３５６は、他のクラウドサービス１３５６から分離されてもよく、制御プレーンＶＣＮ１３１６は、制御プレーンＶＣＮ１３１６と同じ領域になくてもよいクラウドサービス１３５６から分離されてもよい。例えば、制御プレーンＶＣＮ１３１６は「領域１」に配置され、クラウドサービス「展開７」は領域１と「領域２」に配置され得る。展開７への呼び出しが、領域１にある制御プレーンＶＣＮ１３１６に含まれるサービスゲートウェイ１３３６によって行われた場合、その呼び出しは領域１の展開７に送信され得る。この例では、制御プレーンＶＣＮ１３１６、または領域１の展開７は、領域２の展開７に通信可能に結合されていない、または通信していない可能性がある。
【0172】
図１４は、少なくとも１つの実施形態による、ＩａａＳアーキテクチャの別のパターン例を示すブロック図１４００である。サービスオペレータ１４０２（例えば、図１２のサービスオペレータ１２０２）は、セキュアホストテナント１４０４（例えば、図１２のセキュアホストテナント１２０４）に通信可能に結合することができ、これは、仮想クラウドネットワーク（ＶＣＮ）１４０６（例えば、図１２のＶＣＮ１２０６）およびセキュアホストサブネット１４０８（例えば、図１２のセキュアホストサブネット１２０８）を含むことができる。ＶＣＮ１４０６は、ＳＳＨＶＣＮ１４１２（例えば、図１２のＳＳＨＶＣＮ１２１２）に含まれるＬＰＧ１４１０を介してＳＳＨＶＣＮ１４１２に通信可能に結合され得るＬＰＧ１４１０（例えば、図１２のＬＰＧ１２１０）を含むことができる。ＳＳＨＶＣＮ１４１２は、ＳＳＨサブネット１４１４（例えば、図１２のＳＳＨサブネット１２１４）を含むことができ、ＳＳＨＶＣＮ１４１２は、制御プレーンＶＣＮ１４１６（例えば、図１２の制御プレーンＶＣＮ１２１６）に含まれるＬＰＧ１４１０を介して制御プレーンＶＣＮ１４１６に通信可能に結合することができ、データプレーンＶＣＮ１４１８（例えば、図１２のデータプレーン１２１８）に含まれるＬＰＧ１４１０を介してデータプレーンＶＣＮ１４１８に通信可能に結合することができる。制御プレーンＶＣＮ１４１６およびデータプレーンＶＣＮ１４１８は、サービステナント１４１９（例えば、図１２のサービステナント１２１９）に含めることができる。
【0173】
制御プレーンＶＣＮ１４１６は、ロードバランサ（ＬＢ）サブネット１４２２（例えば、図１２のＬＢサブネット１２２２）を含むことができる制御プレーンＤＭＺ層１４２０（例えば、図１２の制御プレーンＤＭＺ層１２２０）、アプリサブネット１４２６（例えば、図１２のアプリサブネット１２２６と同様）を含むことができる制御プレーンアプリ層１４２４（例えば、図１２の制御プレーンアプリ層１２２４）、ＤＢサブネット１４３０を含むことができる制御プレーンデータ層１４２８（例えば、図１２の制御プレーンデータ層１２２８）を含むことができる。制御プレーンＤＭＺ層１４２０に含まれるＬＢサブネット１４２２は、制御プレーンアプリ層１４２４に含まれるアプリサブネット１４２６と、制御プレーンＶＣＮ１４１６に含まれ得るインターネットゲートウェイ１４３４（例えば、図１２のインターネットゲートウェイ１２３４）とに通信可能に結合され得、アプリサブネット１４２６は、制御プレーンデータ層１４２８に含まれるＤＢサブネット１４３０、サービスゲートウェイ１４３６（例えば、図１２のサービスゲートウェイ）およびネットワークアドレス変換（ＮＡＴ）ゲートウェイ１４３８（例えば、図１２のＮＡＴゲートウェイ１２３８）に通信可能に結合することができる。制御プレーンＶＣＮ１４１６は、サービスゲートウェイ１４３６およびＮＡＴゲートウェイ１４３８を含むことができる。
【0174】
データプレーンＶＣＮ１４１８は、データプレーンアプリ層１４４６（例えば、図１２のデータプレーンアプリ層１２４６）、データプレーンＤＭＺ層１４４８（例えば、図１２のデータプレーンＤＭＺ層１２４８）、およびデータプレーンデータ層１４５０（例えば、図１２のデータプレーンデータ層１２５０）を含むことができる。データプレーンＤＭＺ層１４４８は、ＬＢサブネット１４２２を含むことができ、これは、データプレーンアプリ層１４４６の信頼できるアプリサブネット１４６０と信頼できないアプリサブネット１４６２、およびデータプレーンＶＣＮ１４１８に含まれるインターネットゲートウェイ１４３４に通信可能に結合することができる。信頼できるアプリサブネット１４６０は、データプレーンＶＣＮ１４１８に含まれるサービスゲートウェイ１４３６、データプレーンＶＣＮ１４１８に含まれるＮＡＴゲートウェイ１４３８、およびデータプレーンデータ層１４５０に含まれるＤＢサブネット１４３０に通信可能に結合することができる。信頼できないアプリサブネット１４６２は、データプレーンＶＣＮ１４１８に含まれるサービスゲートウェイ１４３６およびデータプレーンデータ層１４５０に含まれるＤＢサブネット１４３０に通信可能に結合することができる。データプレーンデータ層１４５０は、データプレーンＶＣＮ１４１８に含まれるサービスゲートウェイ１４３６に通信可能に結合できるＤＢサブネット１４３０を含むことができる。
【0175】
信頼できないアプリサブネット１４６２は、テナント仮想マシン（ＶＭ）１４６６（１）～（Ｎ）に通信可能に結合することができる１つまたは複数の１次ＶＮＩＣ１４６４（１）～（Ｎ）を含むことができる。各テナントＶＭ１４６６（１）～（Ｎ）は、それぞれのアプリサブネット１４６７（１）～（Ｎ）に通信可能に結合することができ、これは、それぞれの顧客テナント１４７０（１）～（Ｎ）に含めることができるそれぞれのコンテナ出口ＶＣＮ１４６８（１）～（Ｎ）に含めることができる。それぞれの２次ＶＮＩＣ１４７２（１）～（Ｎ）は、データプレーンＶＣＮ１４１８に含まれる信頼できないアプリサブネット１４６２と、コンテナ出口ＶＣＮ１４６８（１）～（Ｎ）に含まれるアプリサブネットとの間の通信を容易にすることができる。各コンテナ出口ＶＣＮ１４６８（１）～（Ｎ）は、パブリックインターネット１４５４（例えば、図１２のパブリックインターネット１２５４）に通信可能に結合できるＮＡＴゲートウェイ１４３８を含むことができる。
【0176】
制御プレーンＶＣＮ１４１６に含まれ、データプレーンＶＣＮ１４１８に含まれるインターネットゲートウェイ１４３４は、パブリックインターネット１４５４に通信可能に結合できるメタデータ管理サービス１４５２（例えば、図１２のメタデータ管理システム１２５２）に通信可能に結合することができる。パブリックインターネット１４５４は、制御プレーンＶＣＮ１４１６に含まれ、データプレーンＶＣＮ１４１８に含まれるＮＡＴゲートウェイ１４３８に通信可能に結合することができる。制御プレーンＶＣＮ１４１６に含まれ、データプレーンＶＣＮ１４１８に含まれるサービスゲートウェイ１４３６は、クラウドサービス１４５６に通信可能に結合することができる。
【0177】
いくつかの実施形態では、データプレーンＶＣＮ１４１８は、顧客テナント１４７０と統合することができる。この統合は、コード実行時のサポートが必要な場合など、ＩａａＳプロバイダの顧客にとって有益または望ましい場合がある。顧客は、破壊的な可能性があるコード、他の顧客リソースと通信する可能性のあるコード、またはその他の望ましくない影響を引き起こす可能性のあるコードの実行を提供し得る。これに応じて、ＩａａＳプロバイダは、顧客からＩａａＳプロバイダに提供されるコードを実行するかどうかを決定できる。
【0178】
いくつかの例では、ＩａａＳプロバイダの顧客は、ＩａａＳプロバイダに一時的なネットワークアクセスを許可し、データプレーン層アプリ１４４６に付加される機能を要求することができる。機能を実行するコードは、ＶＭ１４６６（１）～（Ｎ）で実行することができ、コードはデータプレーンＶＣＮ１４１８上の他の場所で実行するように構成することはできない。各ＶＭ１４６６（１）～（Ｎ）は、１つの顧客テナント１４７０に接続できる。ＶＭ１４６６（１）～（Ｎ）に含まれるそれぞれのコンテナ１４７１（１）～（Ｎ）は、コードを実行するように構成され得る。この場合、二重隔離が存在する可能性があり（例えば、コンテナ１４７１（１）～（Ｎ）のコード実行、コンテナ１４７１（１）～（Ｎ）は、信頼できないアプリサブネット１４６２に含まれる少なくともＶＭ１４６６（１）～（Ｎ）に含まれ得る）、これは、間違ったコードや望ましくないコードがＩａａＳプロバイダのネットワークに損害を与えたり、別の顧客のネットワークに損害を与えたりすることを防ぐのに役立ち得る。コンテナ１４７１（１）～（Ｎ）は、顧客テナント１４７０に通信可能に結合されてもよく、顧客テナント１４７０からデータを送信または受信するように構成されてもよい。コンテナ１４７１（１）～（Ｎ）は、データプレーンＶＣＮ１４１８内の任意の他のエンティティからデータを送信または受信するように構成されていない可能性がある。コードの実行が完了すると、ＩａａＳプロバイダはコンテナ１４７１（１）～（Ｎ）を強制終了するか、その他の方法で破棄することができる。
【0179】
いくつかの実施形態では、信頼できるアプリサブネット１４６０は、ＩａａＳプロバイダによって所有または動作され得るコードを実行し得る。この実施形態では、信頼できるアプリサブネット１４６０は、ＤＢサブネット１４３０に通信可能に結合され、ＤＢサブネット１４３０内でＣＲＵＤ動作を実行するように構成され得る。信頼できないアプリサブネット１４６２は、ＤＢサブネット１４３０に通信可能に結合され得るが、この実施形態では、信頼できないアプリサブネットは、ＤＢサブネット１４３０において読み取り動作を実行するように構成され得る。各顧客のＶＭ１４６６（１）～（Ｎ）に含めることができ、顧客からのコードを実行することができるコンテナ１４７１（１）～（Ｎ）は、ＤＢサブネット１４３０と通信可能に結合されていなくてもよい。
【0180】
他の実施形態では、制御プレーンＶＣＮ１４１６とデータプレーンＶＣＮ１４１８は、直接通信可能に結合されていなくてもよい。この実施形態では、制御プレーンＶＣＮ１４１６とデータプレーンＶＣＮ１４１８との間に直接通信が存在しなくてもよい。しかし、通信は少なくとも１つの方法を通じて間接的に行うことができる。ＬＰＧ１４１０は、制御プレーンＶＣＮ１４１６とデータプレーンＶＣＮ１４１８との間の通信を容易にすることができるＩａａＳプロバイダによって確立され得る。別の例では、制御プレーンＶＣＮ１４１６またはデータプレーンＶＣＮ１４１８は、サービスゲートウェイ１４３６を介してクラウドサービス１４５６への呼び出しを行うことができる。例えば、制御プレーンＶＣＮ１４１６からクラウドサービス１４５６への呼び出しは、データプレーンＶＣＮ１４１８と通信できるサービスに対する要求を含むことができる。
【0181】
図１５は、少なくとも１つの実施形態による、ＩａａＳアーキテクチャの別のパターン例を示すブロック図１５００である。サービスオペレータ１５０２（例えば、図１２のサービスオペレータ１２０２）は、セキュアホストテナント１５０４（例えば、図１２のセキュアホストテナント１２０４）に通信可能に結合することができ、これは、仮想クラウドネットワーク（ＶＣＮ）１５０６（例えば、図１２のＶＣＮ１２０６）およびセキュアホストサブネット１５０８（例えば、図１２のセキュアホストサブネット１２０８）を含むことができる。ＶＣＮ１５０６は、ＳＳＨＶＣＮ１５１２に含まれるＬＰＧ１５１０を介してＳＳＨＶＣＮ１５１２（例えば、図１２のＳＳＨＶＣＮ１２１２）に通信可能に結合され得るＬＰＧ１５１０（例えば、図１２のＬＰＧ１２１０）を含むことができる。ＳＳＨＶＣＮ１５１２は、ＳＳＨサブネット１５１４（例えば、図１２のＳＳＨサブネット１２１４）を含むことができ、ＳＳＨＶＣＮ１５１２は、制御プレーンＶＣＮ１５１６（例えば、図１２の制御プレーンＶＣＮ１２１６）に含まれるＬＰＧ１５１０を介して、制御プレーンＶＣＮ１５１６に通信可能に結合することができ、データプレーンＶＣＮ１５１８（例えば、図１２のデータプレーン１２１８）に含まれるＬＰＧ１５１０を介して、データプレーンＶＣＮ１５１８に通信可能に結合することができる。制御プレーンＶＣＮ１５１６およびデータプレーンＶＣＮ１５１８は、サービステナント１５１９（例えば、図１２のサービステナント１２１９）に含めることができる。
【0182】
制御プレーンＶＣＮ１５１６は、ＬＢサブネット１５２２（例えば、図１２のＬＢサブネット１２２２）を含むことができる制御プレーンＤＭＺ層１５２０（例えば、図１２の制御プレーンＤＭＺ層１２２０）、アプリサブネット１５２６（例えば、図１２のアプリサブネット１２２６）を含むことができる制御プレーンアプリ層１５２４（例えば、図１２の制御プレーンアプリ層１２２４）、ＤＢサブネット１５３０（例えば、図９のＤＢサブネット９３０）を含むことができる制御プレーンデータ層１５２８（例えば、図１２の制御プレーンデータ層１２２８）を含むことができる。制御プレーンＤＭＺ層１５２０に含まれるＬＢサブネット１５２２は、制御プレーンアプリ層１５２４に含まれるアプリサブネット１５２６に通信可能に結合することができ、制御プレーンＶＣＮ１５１６に含めることができるインターネットゲートウェイ１５３４（例えば、図１２のインターネットゲートウェイ１２３４）に通信可能に結合することができ、アプリサブネット１５２６は、制御プレーンデータ層１５２８に含まれるＤＢサブネット１５３０に通信可能に結合することができ、サービスゲートウェイ１５３６（例えば、図１２のサービスゲートウェイ）およびネットワークアドレス変換（ＮＡＴ）ゲートウェイ１５３８（例えば、図１２のＮＡＴゲートウェイ１２３８）に通信可能に結合することができる。制御プレーンＶＣＮ１５１６は、サービスゲートウェイ１５３６およびＮＡＴゲートウェイ１５３８を含むことができる。
【0183】
データプレーンＶＣＮ１５１８は、データプレーンアプリ層１５４６（例えば、図１２のデータプレーンアプリ層１２４６）、データプレーンＤＭＺ層１５４８（例えば、図１２のデータプレーンＤＭＺ層１２４８）、およびデータプレーンデータ層１５５０（例えば、図１２のデータプレーンデータ層１２５０）を含むことができる。データプレーンＤＭＺ層１５４８は、ＬＢサブネット１５２２を含むことができ、それは、信頼できるアプリサブネット１５６０（例えば、図９の信頼できるアプリサブネット９６０）に通信可能に結合され得、データプレーンアプリ層１５４６の信頼できないアプリサブネット１５６２（例えば、図９の信頼できないアプリサブネット９６２）およびデータプレーンＶＣＮ１５１８に含まれるインターネットゲートウェイ１５３４に通信可能に結合することができる。信頼できるアプリサブネット１５６０は、データプレーンＶＣＮ１５１８に含まれるサービスゲートウェイ１５３６に通信可能に結合することができ、データプレーンＶＣＮ１５１８に含まれるＮＡＴゲートウェイ１５３８、およびデータプレーンデータ層１５５０に含まれるＤＢサブネット１５３０に通信可能に結合することができる。信頼できないアプリサブネット１５６２は、データプレーンＶＣＮ１５１８に含まれるサービスゲートウェイ１５３６およびデータプレーンデータ層１５５０に含まれるＤＢサブネット１５３０に通信可能に接続することができる。データプレーンデータ層１５５０は、データプレーンＶＣＮ１５１８に含まれるサービスゲートウェイ１５３６に通信可能に結合できるＤＢサブネット１５３０を含むことができる。
【0184】
信頼できないアプリサブネット１５６２は、１次ＶＮＩＣ１５６４（１）～（Ｎ）を含むことができ、これは、信頼できないアプリサブネット１５６２内に存在するテナント仮想マシン（ＶＭ）１５６６（１）～（Ｎ）に通信可能に結合することができる。各テナントＶＭ１５６６（１）～（Ｎ）は、それぞれのコンテナ１５６７（１）～（Ｎ）内でコードを実行することができ、コンテナ出口ＶＣＮ１５６８に含めることができるデータプレーンアプリ層１５４６に含めることができるアプリサブネット１５２６に通信可能に結合することができる。それぞれの２次ＶＮＩＣ１５７２（１）～（Ｎ）は、データプレーンＶＣＮ１５１８に含まれる信頼できないアプリサブネット１５６２とコンテナ出口ＶＣＮ１５６８に含まれるアプリサブネットとの間の通信を容易にすることができる。コンテナ出口ＶＣＮは、パブリックインターネット１５５４（例えば、図１２のパブリックインターネット１２５４）に通信可能に結合できるＮＡＴゲートウェイ１５３８を含むことができる。
【0185】
制御プレーンＶＣＮ１５１６に含まれ、データプレーンＶＣＮ１５１８に含まれるインターネットゲートウェイ１５３４は、パブリックインターネット１５５４に通信可能に結合できるメタデータ管理サービス１５５２（例えば、図１２のメタデータ管理システム１２５２）に通信可能に結合することができる。パブリックインターネット１５５４は、制御プレーンＶＣＮ１５１６に含まれ、データプレーンＶＣＮ１５１８に含まれるＮＡＴゲートウェイ１５３８に通信可能に結合することができる。制御プレーンＶＣＮ１５１６に含まれ、データプレーンＶＣＮ１５１８に含まれるサービスゲートウェイ１５３６は、クラウドサービス１５５６に通信可能に結合することができる。
【0186】
いくつかの例では、図１５のブロック図１５００のアーキテクチャによって示されるパターンは、図１４のブロック図１４００のアーキテクチャによって示されるパターンの例外であると考えられ、ＩａａＳプロバイダが顧客と直接通信できない場合（例えば、切断されている領域）、ＩａａＳプロバイダの顧客にとっては望ましい場合がある。各顧客のＶＭ１５６６（１）～（Ｎ）に含まれるそれぞれのコンテナ１５６７（１）～（Ｎ）は、顧客によってリアルタイムでアクセス可能である。コンテナ１５６７（１）～（Ｎ）は、コンテナ出口ＶＣＮ１５６８に含まれることができるデータプレーンアプリ層１５４６のアプリサブネット１５２６に含まれるそれぞれの２次ＶＮＩＣ１５７２（１）～（Ｎ）への呼び出しを行うように構成され得る。２次ＶＮＩＣ１５７２（１）～（Ｎ）は、呼び出しをパブリックインターネット１５５４に送信することができるＮＡＴゲートウェイ１５３８に呼び出しを送信することができる。この例では、顧客がリアルタイムでアクセスできるコンテナ１５６７（１）～（Ｎ）は、制御プレーンＶＣＮ１５１６から分離することができ、データプレーンＶＣＮ１５１８に含まれる他のエンティティから分離することができる。コンテナ１５６７（１）～（Ｎ）は、他の顧客からのリソースから隔離されてもよい。
【0187】
他の例では、顧客は、コンテナ１５６７（１）～（Ｎ）を使用して、クラウドサービス１５５６を呼び出すことができる。この例では、顧客は、クラウドサービス１５５６からサービスを要求するコードをコンテナ１５６７（１）～（Ｎ）内で実行することができる。コンテナ１５６７（１）～（Ｎ）は、この要求を２次ＶＮＩＣ１５７２（１）～（Ｎ）に送信することができ、２次ＶＮＩＣ１５７２（１）～（Ｎ）は、要求をパブリックインターネット１５５４に送信することができるＮＡＴゲートウェイに要求を送信することができる。パブリックインターネット１５５４は、インターネットゲートウェイ１５３４を介して、制御プレーンＶＣＮ１５１６に含まれるＬＢサブネット１５２２に要求を送信することができる。要求が有効であるとの決定に応答して、ＬＢサブネットは、サービスゲートウェイ１５３６を介してクラウドサービス１５５６に要求を送信できるアプリサブネット１５２６に要求を送信することができる。
【0188】
図に示されているＩａａＳアーキテクチャ１２００、１３００、１４００、１５００は、示されているもの以外の構成要素を有し得ることを理解されたい。さらに、図に示される実施形態は、本開示の実施形態を組み込むことができるクラウドインフラストラクチャシステムのいくつかの例にすぎない。他のいくつかの実施形態では、ＩａａＳシステムは、図示されているよりも多いもしくは少ない構成要素を有してもよく、２つ以上の構成要素を組み合わせてもよく、または構成要素の異なる構成もしくは配置を有してもよい。
【0189】
特定の実施形態では、本明細書で説明されるＩａａＳシステムは、セルフサービス、サブスクリプションベース、弾力的に拡張可能、信頼性が高く、可用性が高く、安全な方法で顧客に提供されるアプリケーション、ミドルウェア、およびデータベースサービス製品のスイートを含むことができる。このようなＩａａＳシステムの一例として、本譲受人が提供するＯｒａｃｌｅ Ｃｌｏｕｄ Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ（ＯＣＩ）がある。
【0190】
図１６は、さまざまな実施形態が実装され得る例示的なコンピュータシステム１６００を示す。システム１６００は、上述のコンピュータシステムのいずれかを実装するために使用することができる。図に示すように、コンピュータシステム１６００は、バスサブシステム１６０２を介して多くの周辺サブシステムと通信する処理装置１６０４を含む。これらの周辺サブシステムは、処理加速装置１６０６、Ｉ／Ｏサブシステム１６０８、記憶サブシステム１６１８、および通信サブシステム１６２４を含み得る。記憶サブシステム１６１８は、有形のコンピュータ可読記憶媒体１６２２およびシステムメモリ１６１０を含む。
【0191】
バスサブシステム１６０２は、コンピュータシステム１６００のさまざまな構成要素およびサブシステムが意図したとおりに相互に通信できるようにする機構を提供する。バスサブシステム１６０２は単一のバスとして概略的に示されているが、バスサブシステムの代替実施形態では複数のバスを利用することができる。バスサブシステム１６０２は、さまざまなバスアーキテクチャのいずれかを使用するメモリバスまたはメモリコントローラ、周辺バス、およびローカルバスを含むいくつかのタイプのバス構造のいずれであってもよい。例えば、そのようなアーキテクチャには、Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ（ＩＳＡ）バス、Ｍｉｃｒｏ Ｃｈａｎｎｅｌ Ａｒｃｈｉｔｅｃｔｕｒｅ（ＭＣＡ）バス、Ｅｎｈａｎｃｅｄ ＩＳＡ（ＥＩＳＡ）バス、Ｖｉｄｅｏ Ｅｌｅｃｔｒｏｎｉｃｓ Ｓｔａｎｄａｒｄｓ Ａｓｓｏｃｉａｔｉｏｎ（ＶＥＳＡ）ローカルバス、およびＰｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ（ＰＣＩ）バスが含まれ得る。これは、ＩＥＥＥＰ１３８６．１標準に従って製造されるメザニンバスとして実装できる。
【0192】
処理装置１６０４は、１つまたは複数の集積回路（例えば、従来のマイクロプロセッサまたはマイクロコントローラ）として実装することができ、コンピュータシステム１６００の動作を制御する。１つまたは複数のプロセッサが処理装置１６０４に含まれてもよい。これらのプロセッサには、単一コアプロセッサまたはマルチコアプロセッサが含まれ得る。特定の実施形態では、処理装置１６０４は、各処理装置に含まれる単一コアプロセッサまたはマルチコアプロセッサを有する１つまたは複数の独立した処理装置１６３２および／または１６３４として実装され得る。他の実施形態では、処理装置１６０４は、２つのデュアルコアプロセッサを単一のチップに統合することによって形成されるクアッドコア処理装置として実装されてもよい。
【0193】
さまざまな実施形態において、処理装置１６０４は、プログラムコードに応答してさまざまなプログラムを実行することができ、複数の同時実行プログラムまたはプロセスを維持することができる。いつでも、実行されるプログラムコードの一部またはすべては、プロセッサ１６０４および／または記憶サブシステム１６１８に存在することができる。適切なプログラミングを通じて、プロセッサ１６０４は、上述のさまざまな機能を提供することができる。コンピュータシステム１６００は、デジタルシグナルプロセッサ（ＤＳＰ）、専用プロセッサ等を含むことができる処理加速装置１６０６をさらに含むことができる。
【0194】
Ｉ／Ｏサブシステム１６０８は、ユーザインターフェース入力装置およびユーザインターフェース出力装置を含むことができる。ユーザインターフェース入力装置にはキーボード、マウスやトラックボールなどのポインティング装置、ディスプレイに組み込まれたタッチパッドやタッチスクリーン、スクロールホイール、クリックホイール、ダイヤル、ボタン、スイッチ、キーパッド、音声コマンド認識システムを備えたオーディオ入力装置、マイク、および他のタイプの入力装置が含まれ得る。ユーザインターフェース入力装置には、例えば、Ｍｉｃｒｏｓｏｆｔ Ｋｉｎｅｃｔ（登録商標）モーションセンサーなどのモーションセンシングおよび／またはジェスチャ認識装置が含まれ得、ユーザは、ジェスチャや音声コマンドを使用した自然なユーザインターフェースを通じて、Ｍｉｃｒｏｓｏｆｔ Ｘｂｏｘ（登録商標）３６０ゲームコントローラなどの入力装置を制御し、対話できるようになる。ユーザインターフェース入力装置には、ユーザからの目の活動（例えば、写真撮影中および／またはメニュー選択中の「瞬き」）を検出し、目のジェスチャを入力装置（例えば、Ｇｏｏｇｌｅ Ｇｌａｓｓ（登録商標））への入力として変換するＧｏｏｇｌｅ Ｇｌａｓｓ（登録商標）瞬き検出器などのアイジェスチャ認識装置も含まれ得る。さらに、ユーザインターフェース入力装置は、ユーザが音声コマンドを通じて音声認識システム（例えば、Ｓｉｒｉ（登録商標）ナビゲータ）と対話できるようにする音声認識センシング装置を含んでもよい。
【0195】
ユーザインターフェース入力装置には、限定されないが、３次元（３Ｄ）マウス、ジョイスティックまたはポインティングスティック、ゲームパッドおよびグラフィックタブレット、ならびにスピーカ、デジタルカメラ、デジタルビデオカメラなどのオーディオ／ビジュアル装置、ポータブルメディアプレーヤ、ウェブカメラ、イメージスキャナ、指紋スキャナ、バーコードリーダ３Ｄスキャナ、３Ｄプリンタ、レーザ距離計、および視線追跡装置なども含まれ得る。さらに、ユーザインターフェース入力装置には、例えば、コンピュータ断層撮影法、磁気共鳴画像法、位置放射断層撮影法、医療用超音波検査装置などの医療用画像入力装置が含まれてもよい。ユーザインターフェース入力装置には、例えば、ＭＩＤＩキーボード、デジタル楽器などのオーディオ入力装置も含まれ得る。
【0196】
ユーザインターフェース出力装置には、ディスプレイサブシステム、インジケータライト、またはオーディオ出力装置などの非視覚的ディスプレイが含まれてもよい。ディスプレイサブシステムは、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）またはプラズマディスプレイを使用するものなどのフラットパネル装置、投影装置、タッチスクリーンなどであってもよい。一般に、「出力装置」という用語の使用は、コンピュータシステム１６００からユーザまたは他のコンピュータに情報を出力するためのあらゆる可能なタイプの装置および機構を含むことを意図している。例えば、ユーザインターフェース出力装置には、モニタ、プリンタ、スピーカ、ヘッドフォン、自動車ナビゲーションシステム、プロッタ、音声出力装置、およびモデムなど、テキスト、グラフィックス、およびオーディオ／ビデオ情報を視覚的に伝達するさまざまな表示装置が含まれるが、これらに限定されない。
【0197】
コンピュータシステム１６００は、システムメモリ１６１０内に現在配置されているように示されるソフトウェア要素を備える記憶サブシステム１６１８を備えることができる。システムメモリ１６１０は、処理装置１６０４上でロード可能および実行可能なプログラム命令、ならびにこれらのプログラムの実行中に生成されるデータを記憶することができる。
【0198】
コンピュータシステム１６００の構成および種類に応じて、システムメモリ１６１０は、揮発性（ランダムアクセスメモリ（ＲＡＭ）など）および／または不揮発性（読み取り専用メモリ（ＲＯＭ）、フラッシュメモリなど）の場合がある。ＲＡＭは通常、処理装置１６０４に即座にアクセス可能な、ならびに／または処理装置１６０４によって現在動作および実行されているデータおよび／またはプログラムモジュールを含む。いくつかの実装形態では、システムメモリ１６１０は、スタティックランダムアクセスメモリ（ＳＲＡＭ）またはダイナミックランダムアクセスメモリ（ＤＲＡＭ）などの複数の異なるタイプのメモリを含み得る。いくつかの実装形態では、起動中など、コンピュータシステム１６００内の要素間で情報を転送するのに役立つ基本ルーチンを含む基本入出力システム（ＢＩＯＳ）は、通常、ＲＯＭに記憶され得る。限定ではなく一例として、システムメモリ１６１０は、クライアントアプリケーション、ウェブブラウザ、中間層アプリケーション、リレーショナルデータベース管理システム（ＲＤＢＭＳ）などを含み得るアプリケーションプログラム１６１２、プログラムデータ１６１４、およびオペレーティングシステム１６１６も示す。一例として、オペレーティングシステム１６１６には、さまざまなバージョンのＭｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ（登録商標）、Ａｐｐｌｅ Ｍａｃｉｎｔｏｓｈ（登録商標）、および／またはＬｉｎｕｘオペレーティングシステム、さまざまな市販のＵＮＩＸ（登録商標）もしくはＵＮＩＸ系オペレーティングシステム（さまざまなＧＮＵ／Ｌｉｎｕｘオペレーティングシステム、Ｇｏｏｇｌｅ Ｃｈｒｏｍｅ（登録商標）ＯＳなどを含むがこれらに限定されない）、ならびに／またはｉＯＳ、Ｗｉｎｄｏｗｓ（登録商標）Ｐｈｏｎｅ、Ａｎｄｒｏｉｄ（登録商標）ＯＳ、ＢｌａｃｋＢｅｒｒｙ（登録商標）１６ＯＳ、およびＰａｌｍ（登録商標）ＯＳオペレーティングシステムなどのモバイルオペレーティングシステムが含まれ得る。
【0199】
記憶サブシステム１６１８はまた、いくつかの実施形態の機能を提供する基本的なプログラミングおよびデータ構造を記憶するための有形のコンピュータ可読記憶媒体を提供することもできる。プロセッサによって実行されると、上述の機能を提供するソフトウェア（プログラム、コードモジュール、命令）は、記憶サブシステム１６１８に記憶され得る。これらのソフトウェアモジュールまたは命令は、処理装置１６０４によって実行され得る。記憶サブシステム１６１８はまた、本開示に従って使用されるデータを記憶するためのリポジトリを提供することもできる。
【0200】
記憶サブシステム１６００はまた、コンピュータ可読記憶媒体１６２２にさらに接続できるコンピュータ可読記憶媒体リーダ１６２０を含んでもよい。一緒に、そして任意でシステムメモリ１６１０と組み合わせて、コンピュータ可読記憶媒体１６２２は、リモート、ローカル、固定、および／または取り外し可能な記憶装置に加えて、コンピュータ可読情報を一時的および／またはより永続的に収容、記憶、送信、および取得するための記憶媒体を包括的に表すことができる。
【0201】
コードまたはコードの一部を含むコンピュータ可読記憶媒体１６２２には、当技術分野で既知または使用されている任意の適切な媒体を含めることもでき、これには、情報の記憶および／または送信のための任意の方法または技術で実装される揮発性および不揮発性、取り外し可能なおよび取り外し不可能な媒体などの記憶媒体および通信媒体が含まれるが、これらに限定されない。これには、ＲＡＭ、ＲＯＭ、電子的に消去可能なプログラマブルＲＯＭ（ＥＥＰＲＯＭ）、フラッシュメモリもしくはその他のメモリテクノロジ、ＣＤ－ＲＯＭ、デジタルバーサタイルディスク（ＤＶＤ）などの有形のコンピュータ可読記憶媒体、または他の光学記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置もしくは他の磁気記憶装置、または他の有形のコンピュータ可読媒体が含まれ得る。これには、データ信号、データ送信、または所望の情報を送信するために使用でき、コンピューティングシステム１６００によってアクセスできる任意の他の媒体などの、無形のコンピュータ可読媒体も含まれ得る。
【0202】
一例として、コンピュータ可読記憶媒体１６２２は、取り外し不可能な不揮発性磁気媒体に対して読み取りまたは書き込みを行うハードディスクドライブ、取り外し可能な不揮発性磁気ディスクに対して読み取りまたは書き込みを行う磁気ディスクドライブ、およびＣＤＲＯＭ、ＤＶＤ、Ｂｌｕ－Ｒａｙ（登録商標）ディスクなどの取り外し可能な不揮発性光ディスク、またはその他の光媒体に対して読み取りまたは書き込みを行う光ディスクドライブを含むことができる。コンピュータ可読記憶媒体１６２２には、Ｚｉｐ（登録商標）ドライブ、フラッシュメモリカード、ユニバーサルシリアルバス（ＵＳＢ）フラッシュドライブ、セキュアデジタル（ＳＤ）カード、ＤＶＤディスク、デジタルビデオテープなどが含まれてもよいが、これらに限定されない。コンピュータ可読記憶媒体１６２２には、フラッシュメモリベースのＳＳＤなどの不揮発性メモリに基づくソリッドステートドライブ（ＳＳＤ）、エンタープライズフラッシュドライブ、ソリッドステートＲＯＭなど、ソリッドステートＲＡＭ、ダイナミックＲＡＭ、スタティックＲＡＭなどの揮発性メモリをベースにしたＳＳＤ、ＤＲＡＭベースのＳＳＤ、磁気抵抗ＲＡＭ（ＭＲＡＭ）ＳＳＤ、およびＤＲＡＭとフラッシュメモリベースのＳＳＤを組み合わせて使用するハイブリッドＳＳＤも含まれ得る。ディスクドライブおよびそれらに関連するコンピュータ可読媒体は、コンピュータシステム１６００のためのコンピュータ可読命令、データ構造、プログラムモジュール、および他のデータの不揮発性記憶を提供し得る。
【0203】
通信サブシステム１６２４は、他のコンピュータシステムおよびネットワークへのインターフェースを提供する。通信サブシステム１６２４は、コンピュータシステム１６００から他のシステムとの間でデータを送受信するためのインターフェースとして機能する。例えば、通信サブシステム１６２４は、コンピュータシステム１６００がインターネットを介して１つまたは複数の装置に接続できるようにすることができる。いくつかの実施形態では、通信サブシステム１６２４は、無線音声および／またはデータネットワークにアクセスするための無線周波数（ＲＦ）トランシーバ構成要素を含めることができる（例えば、携帯電話技術、３Ｇ、４Ｇ、またはＥＤＧＥ（地球規模の進化のための強化されるデータレート）などの高度なデータネットワーク技術を使用する）、ＷｉＦｉ（ＩＥＥＥ８０２．１１ファミリ標準、または他のモバイル通信技術、またはそれらの任意の組み合わせ）、全地球測位システム（ＧＰＳ）受信機構成要素、および／または他の構成要素を含むことができる。いくつかの実施形態では、通信サブシステム１６２４は、無線インターフェースに加えて、またはその代わりに、有線ネットワーク接続（例えば、イーサネット）を提供することができる。
【0204】
いくつかの実施形態では、通信サブシステム１６２４は、コンピュータシステム１６００を使用することができる１人または複数のユーザに代わって、構造化および／または非構造化データフィード１６２６、イベントストリーム１６２８、イベント更新１６３０などの形式で入力通信を受信することもできる。
【0205】
一例として、通信サブシステム１６２４は、ソーシャルネットワーク、および／もしくはＴｗｉｔｔｅｒ（登録商標）フィード、Ｆａｃｅｂｏｏｋ（登録商標）更新、リッチサイトサマリー（ＲＳＳ）フィードなどのＷｅｂフィードなどのその他の通信サービス、ならびに／または１つもしくは複数のサードパーティ情報ソースからのリアルタイム更新のユーザからリアルタイムでデータフィード１６２６を受信するように構成され得る。
【0206】
さらに、通信サブシステム１６２４は、連続データストリームの形式でデータを受信するように構成されてもよく、これには、リアルタイムイベントおよび／またはイベント更新１６３０のイベントストリーム１６２８が含まれ得、これらは、連続的または明示的な終わりのない本質的に無制限であり得る。連続データを生成するアプリケーションの例には、例えば、センサーデータアプリケーション、金融ティッカ、ネットワーク性能測定ツール（例えば、ネットワーク監視およびトラフィック管理アプリケーション）、クリックストリーム分析ツール、自動車交通監視などが含まれ得る。
【0207】
通信サブシステム１６２４はまた、構造化および／または非構造化データフィード１６２６、イベントストリーム１６２８、イベント更新１６３０などを、コンピュータシステム１６００に結合される１つまたは複数のストリーミングデータソースコンピュータと通信することができる１つまたは複数のデータベースに出力するように構成することもできる。
【0208】
コンピュータシステム１６００は、ハンドヘルドポータブル装置（例えば、ｉＰｈｏｎｅ（登録商標）携帯電話、ｉＰａｄ（登録商標）コンピューティングタブレット、ＰＤＡ）、ウェアラブル装置（例えば、Ｇｏｏｇｌｅ Ｇｌａｓｓ（登録商標）ヘッドマウントディスプレイ）、ＰＣ、ワークステーション、メインフレーム、キオスク、サーバラック、またはその他のデータ処理システムを含むさまざまなタイプのうちの１つであり得る。
【0209】
コンピュータおよびネットワークの絶え間なく変化する性質のため、図に示されるコンピュータシステム１６００の説明は、特定の例としてのみ意図されている。図に示されているシステムよりも多くの、または少ない構成要素を備えた他の多くの構成が可能である。例えば、カスタマイズされているハードウェアも使用されたり、特定の要素がハードウェア、ファームウェア、ソフトウェア（アプレットを含む）、またはその組み合わせで実装されたりし得る。さらに、ネットワーク入出力装置などの他のコンピューティング装置への接続が使用されてもよい。本明細書で提供される開示および教示に基づいて、当業者であれば、さまざまな実施形態を実装するための他の手法および／または方法を理解するであろう。
【0210】
特定の実施形態について説明してきたが、さまざまな修正、変更、代替構造、および均等物も本開示の範囲内に含まれる。実施形態は、特定の特有のデータ処理環境内での動作に限定されず、複数のデータ処理環境内で自由に動作することができる。さらに、特定の一連のトランザクションおよびステップを使用して実施形態を説明したが、本開示の範囲が説明した一連のトランザクションおよびステップに限定されないことは当業者には明らかである。上述の実施形態のさまざまな特徴および態様は、個別にまたは組み合わせて使用することができる。
【0211】
さらに、ハードウェアとソフトウェアの特定の組み合わせを使用して実施形態を説明したが、ハードウェアとソフトウェアの他の組み合わせも本開示の範囲内であることを認識されたい。実施形態は、ハードウェアのみで、もしくはソフトウェアのみで、またはそれらの組み合わせを使用して実装することができる。本明細書で説明するさまざまなプロセスは、同じプロセッサ上で実装することも、異なるプロセッサを任意に組み合わせて実装することもできる。したがって、構成要素またはモジュールが特定の動作を実行するように構成されていると説明されている場合、このような構成は、例えば、動作を実行する電子回路を設計することによって、動作を実行するようにプログラマブル電子回路（マイクロプロセッサなど）をプログラムすることによって、またはそれらの任意の組み合わせによって達成することができる。プロセスは、プロセス間通信のための従来の技術を含むがこれに限定されないさまざまな技術を使用して通信することができ、プロセスの異なる対が異なる技術を使用したり、同じプロセスの対が異なる時点で異なる技術を使用したりすることができる。
【0212】
したがって、明細書および図面は、限定的な意味ではなく、例示的な意味としてみなされるべきである。しかし、特許請求の範囲に記載のより広い趣旨および範囲から逸脱することなく、追加、減算、削除、ならびにその他の修正および変更を行うことができることは明らかである。したがって、特定の開示実施形態について説明してきたが、これらは限定することを意図したものではない。さまざまな修正および均等物は、以下の特許請求の範囲内に含まれる。
【0213】
開示されている実施形態を説明する文脈における（特に、以下の特許請求の範囲の文脈において）用語「ａ」、「ａｎ」、「ｔｈｅ」、および同様の指示対象の使用は、本明細書で別途指示するか、文脈と明らかに矛盾しない限り、単数形と複数形の両方をカバーすると解釈されるべきである。「含む」、「有する」、「含む」、および「含有する」という用語は、特に断りのない限り、無制限の用語（すなわち、「含むがこれらに限定されない」を意味する）として解釈されるべきである。「接続されている」という用語は、たとえ何かが介在している場合でも、部分的または全体的に内部に含まれている、取り付けられている、または結合されていると解釈される。本明細書における値の範囲の記載は、本明細書に別段の記載がない限り、その範囲内にある各々の個別の値を個別に参照する簡略的な方法として機能することを単に意図しており、個別の各値は、あたかも本明細書に個別に記載されているかのように明細書に組み込まれる。本明細書に記載されるすべての方法は、本明細書に別段の指示がない限り、または文脈と明らかに矛盾しない限り、任意の適切な順序で実行することができる。本明細書で提供されるあらゆる例、または例示的な文言（例えば、「など」）の使用は、単に実施形態をより良く説明することを目的としており、別段の請求がない限り、本開示の範囲に制限を課すものではない。本明細書のいかなる文言も、特許請求されていない任意の要素が本開示の実施に必須であることを示すものとして解釈されるべきではない。
【0214】
「Ｘ、Ｙ、またはＺのうちの少なくとも１つ」という句などの選言的表現は、特に別段の記載がない限り、項目、用語などがＸ、Ｙ、またはＺのいずれか、またはそれらの任意の組み合わせ（例えば、Ｘ、Ｙ、および／またはＺ）であり得ることを示すために一般に使用されると文脈内で理解されることを意図している。したがって、そのような選言的表現は、一般に、特定の実施形態が、Ｘの少なくとも１つ、Ｙの少なくとも１つ、またはＺの少なくとも１つがそれぞれ存在することを必要とすることを意味することを意図したものではなく、また、意味するべきではない。
【0215】
本開示の好ましい実施形態が、本開示を実施するための既知の最良のモードを含めて、本明細書に記載される。これらの好ましい実施形態の変形は、前述の説明を読めば当業者には明らかになるであろう。当業者であれば、そのような変形を必要に応じて採用することができるはずであり、本開示は、本明細書に具体的に記載された以外の方法で実施することもできる。したがって、本開示には、適用される法律によって許可される、本明細書に添付の特許請求の範囲に記載されている主題のすべての修正および均等物が含まれる。さらに、本明細書で別段の指示がない限り、可能なすべての変形例における上述の要素の任意の組み合わせが本開示に包含される。
【0216】
本明細書に引用される刊行物、特許出願、および特許を含むすべての参考文献は、各参考文献が参照により組み込まれることが個別かつ具体的に示され、その全体が本明細書に記載されるのと同じ程度に、参照により本明細書に組み込まれる。前述の明細書では、本開示の態様は、その特定の実施形態を参照して説明されているが、当業者は、本開示がそれに限定されないことを認識するであろう。上述の開示のさまざまな特徴および態様は、個別にまたは組み合わせて使用することができる。さらに、実施形態は、本明細書のより広範な趣旨および範囲から逸脱することなく、本明細書に記載されているものを超える任意の数の環境および用途において利用することができる。したがって、明細書および図面は、限定的なものではなく、例示的なものとみなされるべきである。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11A】
【図11B】
【図12】
【図13】
【図14】
【図15】
【図16】
【国際調査報告】