知財求人 - 知財ポータルサイト「IP Force」
▶ オラクル・インターナショナル・コーポレイションの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-07-30
(54)【発明の名称】画像処理装置のルーティングポリシー
(51)【国際特許分類】
H04L 45/76 20220101AFI20240723BHJP
H04L 45/24 20220101ALI20240723BHJP
【ＦＩ】
H04L45/76
H04L45/24
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023579271
(86)(22)【出願日】2022-06-23
(85)【翻訳文提出日】2024-02-20
(86)【国際出願番号】 US2022034788
(87)【国際公開番号】W WO2022271990
(87)【国際公開日】2022-12-29
(31)【優先権主張番号】63/215,264
(32)【優先日】2021-06-25
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/734,833
(32)【優先日】2022-05-02
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＷＩＮＤＯＷＳ ＰＨＯＮＥ
２．ｉＯＳ
(71)【出願人】
【識別番号】502303739
【氏名又は名称】オラクル・インターナショナル・コーポレイション
(74)【代理人】
【識別番号】110001195
【氏名又は名称】弁理士法人深見特許事務所
(72)【発明者】
【氏名】ブラール，ジャグウィンダー・シング
(72)【発明者】
【氏名】ベッカー，デイビッド・デイル
(72)【発明者】
【氏名】シュレック，ルーカス
(72)【発明者】
【氏名】ユッカー，ジェイコブ・ロバート
【テーマコード（参考）】
5K030
【Ｆターム（参考）】
5K030KA05
5K030LB05
5K030MD02
(57)【要約】
クラウド環境において、いくつかのホストマシン上でホストされている画像処理装置（ＧＰＵ）のためのルーティングメカニズムが、本明細書において論じられる。ホストマシンのＧＰＵによって送信され、ネットワークデバイスによって受信されたパケットについて、ネットワークデバイスは、パケットが受信されたネットワークデバイスの着信ポート－リンクを決定する。ネットワークデバイスは、ＧＰＵルーティングポリシーに基づいて、着信ポート－リンクに対応するネットワークデバイスの発信ポート－リンクを特定する。ＧＰＵルーティングポリシーは、パケットを受信する前に事前に構成され、ネットワークデバイスの一意の発信ポート－リンクに対するネットワークデバイスの各着信ポート－リンクのマッピングを確立する。パケットは、ネットワークデバイスの発信ポート－リンクで転送される。
【特許請求の範囲】
【請求項1】
方法であって、ホストマシンの画像処理装置（ＧＰＵ）によって送信され、ネットワークデバイスによって受信されるパケットについて、
前記ネットワークデバイスが、前記パケットが受信された前記ネットワークデバイスの着信ポート－リンクを決定することと、
前記ネットワークデバイスが、ＧＰＵルーティングポリシーに基づいて、前記着信ポート－リンクに対応する発信ポート－リンクを特定することと、
を含み、
前記ＧＰＵルーティングポリシーは、前記パケットを受信する前に事前に構成され、前記ネットワークデバイスの一意の発信ポート－リンクに対する前記ネットワークデバイスの各着信ポート－リンクのマッピングを確立し、
前記方法は、前記パケットについて、
前記ネットワークデバイスが、前記ネットワークデバイスの前記発信ポート－リンクで前記パケットを転送すること
をさらに含む、方法。
【請求項2】
前記転送するステップは、前記ネットワークデバイスが、前記ネットワークデバイスの前記発信ポート－リンクに関連する条件を検証することと、
前記条件が満たされたことに応じて、前記ネットワークデバイスの前記発信ポート－リンクで前記パケットを転送することと、
をさらに含む、請求項１に記載の方法。
【請求項3】
前記条件は、前記ネットワークデバイスの前記発信ポート－リンクがアクティブであるか否かを決定することに対応する、請求項２に記載の方法。
【請求項4】
前記条件が満たされないことに応じて、前記ネットワークデバイスが、前記パケットに関連するフロー情報を取得することと、
前記ネットワークデバイスが、前記フロー情報に基づいて、前記ネットワークデバイスの新たな発信ポート－リンクを取得するために、等コストマルチパスアルゴリズムを実行することと、
前記ネットワークデバイスが、前記ネットワークデバイスの前記新たな発信ポート－リンクで前記パケットを転送することと、
をさらに含む、請求項２に記載の方法。
【請求項5】
前記パケットに関連する前記フロー情報は、送信元ポート、宛先ポート、送信元ＩＰアドレス、および宛先ＩＰアドレスに関連する情報を少なくとも含む、請求項４に記載の方法。
【請求項6】
前記ネットワークデバイスは、トップオブラック（ＴＯＲ）スイッチである、請求項１に記載の方法。
【請求項7】
前記ＴＯＲおよび前記ホストマシンは、ラックに含まれ、前記ホストマシンは、複数のリンクを介して前記ＴＯＲと通信可能に連結され、各リンクは、ネットワークインターフェースカードに関連付けられる、請求項６に記載の方法。
【請求項8】
前記ネットワークデバイスの前記着信ポート－リンクは、前記ホストマシンを前記ＴＯＲに接続する第１のリンクであり、前記ネットワークデバイスの前記発信ポート－リンクは、前記ＴＯＲをスパインスイッチに接続する第２のリンクである、請求項６に記載の方法。
【請求項9】
前記パケットは、ＧＰＵワークロードに属する、請求項１に記載の方法。
【請求項10】
ネットワークデバイスであって、プロセッサと、
命令を含むメモリと、
を備え、前記命令は、前記プロセッサによって実行されると、前記ネットワークデバイスに、少なくとも、
ホストマシンの画像処理装置（ＧＰＵ）によって送信され、前記ネットワークデバイスによって受信されるパケットについて、
前記パケットが受信された前記ネットワークデバイスの着信ポート－リンクを決定することと、
ＧＰＵルーティングポリシーに基づいて、前記着信ポート－リンクに対応する発信ポート－リンクを特定することと、
を行わせ、
前記ＧＰＵルーティングポリシーは、前記パケットを受信する前に事前に構成され、前記ネットワークデバイスの一意の発信ポート－リンクに対する前記ネットワークデバイスの各着信ポート－リンクのマッピングを確立し、
前記命令は、前記プロセッサによって実行されると、前記ネットワークデバイスに、少なくとも、
前記パケットについて、
前記ネットワークデバイスの前記発信ポート－リンクで前記パケットを転送すること
をさらに行わせる、ネットワークデバイス。
【請求項11】
前記ネットワークデバイスの前記発信ポート－リンクに関連する条件を検証し、前記条件が満たされたことに応じて、前記ネットワークデバイスの前記発信ポート－リンクで前記パケットを転送する
ようにさらに構成されている、請求項１０に記載のネットワークデバイス。
【請求項12】
前記条件は、前記ネットワークデバイスの前記発信ポート－リンクがアクティブであるか否かを決定することに対応する、請求項１１に記載のネットワークデバイス。
【請求項13】
前記条件が満たされないことに応じて、前記パケットに関連するフロー情報を取得し、
前記フロー情報に基づいて、前記ネットワークデバイスの新たな発信ポート－リンクを取得するために、等コストマルチパスアルゴリズムを実行し、
前記ネットワークデバイスの前記新たな発信ポート－リンクで前記パケットを転送する
ようにさらに構成されている、請求項１１に記載のネットワークデバイス。
【請求項14】
前記パケットに関連する前記フロー情報は、送信元ポート、宛先ポート、送信元ＩＰアドレス、および宛先ＩＰアドレスに関連する情報を少なくとも含む、請求項１３に記載のネットワークデバイス。
【請求項15】
前記ネットワークデバイスは、トップオブラック（ＴＯＲ）スイッチである、請求項１０に記載のネットワークデバイス。
【請求項16】
前記ＴＯＲおよび前記ホストマシンは、ラックに含まれ、前記ホストマシンは、複数のリンクを介して前記ＴＯＲと通信可能に連結され、各リンクは、ネットワークインターフェースカードに関連付けられる、請求項１５に記載のネットワークデバイス。
【請求項17】
前記ネットワークデバイスの前記着信ポート－リンクは、前記ホストマシンを前記ＴＯＲに接続する第１のリンクであり、前記ネットワークデバイスの前記発信ポート－リンクは、前記ＴＯＲをスパインスイッチに接続する第２のリンクである、請求項１５に記載のネットワークデバイス。
【請求項18】
前記パケットは、ＧＰＵワークロードに属する、請求項１０に記載のネットワークデバイス。
【請求項19】
特定のコンピュータ実行可能命令を格納する非一時的コンピュータ可読媒体であって、前記命令は、プロセッサによって実行されると、コンピュータシステムに、ホストマシンの画像処理装置（ＧＰＵ）によって送信され、ネットワークデバイスによって受信されるパケットについて、
前記ネットワークデバイスが、前記パケットが受信された前記ネットワークデバイスの着信ポート－リンクを決定することと、
前記ネットワークデバイスが、ＧＰＵルーティングポリシーに基づいて、前記着信ポート－リンクに対応する発信ポート－リンクを特定することと、
を行わせ、
前記ＧＰＵルーティングポリシーは、前記パケットを受信する前に事前に構成され、前記ネットワークデバイスの一意の発信ポート－リンクに対する前記ネットワークデバイスの各着信ポート－リンクのマッピングを確立し、
前記命令は、前記プロセッサによって実行されると、前記コンピュータシステムに、
前記パケットについて、
前記ネットワークデバイスが、前記ネットワークデバイスの前記発信ポート－リンクで前記パケットを転送すること
をさらに行わせる、特定のコンピュータ実行可能命令を格納する非一時的コンピュータ可読媒体。
【請求項20】
前記転送するステップは、前記ネットワークデバイスが、前記ネットワークデバイスの前記発信ポート－リンクに関連する条件を検証することと、
前記条件が満たされたことに応じて、前記ネットワークデバイスの前記発信ポート－リンクで前記パケットを転送することと、
をさらに含む、請求項１９に記載の、特定のコンピュータ実行可能命令を格納する非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、２０２１年６月２５日に出願された米国仮特許出願第６３／２１５，２６４号および２０２２年５月２日に出願された米国特許出願第１７／７３４，８３３号の米国特許法第１１９条（ｅ）に基づく利益および優先権を主張する。前述した出願の内容全体が、あらゆる目的のために参照によりその全体が本明細書に組み込まれる。
本出願は、２０２１年６月２５日に出願された米国仮特許出願第６３／２１５，２６４号および２０２２年５月２日に出願された米国特許出願第１７／７３４，８３３号の米国特許法第１１９条（ｅ）に基づく利益および優先権を主張する。前述した出願の内容全体が、あらゆる目的のために参照によりその全体が本明細書に組み込まれる。
【0002】
分野
本開示は、クラウド環境において、いくつかのホストマシン上でホストされている画像処理装置（ＧＰＵ）のためのフレームワークおよびルーティングメカニズムに関する。
本開示は、クラウド環境において、いくつかのホストマシン上でホストされている画像処理装置（ＧＰＵ）のためのフレームワークおよびルーティングメカニズムに関する。
【背景技術】
【0003】
背景
組織は、オンプレミスのハードウェアおよびソフトウェアを購入、更新、および保守するコストを削減するために、ビジネスアプリケーションおよびデータベースをクラウドに移行し続けている。高性能計算（ＨＰＣ：ｈｉｇｈ ｐｅｒｆｏｒｍａｎｃｅ ｃｏｍｐｕｔｅ）アプリケーションは、特定の成果または結果を達成するために、利用可能な計算能力を常に１００パーセント消費する。ＨＰＣアプリケーションは、専用のネットワークパフォーマンス、高速ストレージ、高い計算能力、および大量のメモリリソース、すなわち、今日のコモディティクラウドを構成する仮想化インフラストラクチャでは不足しているリソースを必要とする。
組織は、オンプレミスのハードウェアおよびソフトウェアを購入、更新、および保守するコストを削減するために、ビジネスアプリケーションおよびデータベースをクラウドに移行し続けている。高性能計算（ＨＰＣ：ｈｉｇｈ ｐｅｒｆｏｒｍａｎｃｅ ｃｏｍｐｕｔｅ）アプリケーションは、特定の成果または結果を達成するために、利用可能な計算能力を常に１００パーセント消費する。ＨＰＣアプリケーションは、専用のネットワークパフォーマンス、高速ストレージ、高い計算能力、および大量のメモリリソース、すなわち、今日のコモディティクラウドを構成する仮想化インフラストラクチャでは不足しているリソースを必要とする。
【0004】
クラウドインフラストラクチャサービスプロバイダは、ＨＰＣアプリケーションの要件に対処するために、より新しくかつ高速なＣＰＵおよび画像処理装置（ＧＰＵ）を提供している。通常、互いに通信するようにいくつかのホストマシン上でホストされているさまざまなＧＰＵをプロビジョニングするために、仮想トポロジが構築される。実際には、さまざまなＧＰＵを接続するためにリングトポロジが利用される。しかしながら、リングネットワークは、本質的に必ずブロックしている。そのため、システム全体の性能が低下する。本明細書において論じられる実施形態は、いくつかのホストマシンにわたるＧＰＵの接続性に関するこれらおよび他の問題に対処する。
【発明の概要】
【発明が解決しようとする課題】
【0005】
概要
本開示は、一般に、クラウド環境において、いくつかのホストマシン上でホストされている画像処理装置（ＧＰＵ）のためのルーティングメカニズムに関する。本明細書では、方法、システム、１つまたは複数のプロセッサによって実行可能なプログラム、コード、または命令を格納する非一時的コンピュータ可読記憶媒体などを含む、さまざまな実施形態について説明する。これらの例示的な実施形態は、本開示を限定または定義するためではなく、本開示の理解を助けるための例を提供するために言及するものである。詳細な説明のセクションで追加の実施形態について論じ、そこでさらなる説明を提供する。
本開示は、一般に、クラウド環境において、いくつかのホストマシン上でホストされている画像処理装置（ＧＰＵ）のためのルーティングメカニズムに関する。本明細書では、方法、システム、１つまたは複数のプロセッサによって実行可能なプログラム、コード、または命令を格納する非一時的コンピュータ可読記憶媒体などを含む、さまざまな実施形態について説明する。これらの例示的な実施形態は、本開示を限定または定義するためではなく、本開示の理解を助けるための例を提供するために言及するものである。詳細な説明のセクションで追加の実施形態について論じ、そこでさらなる説明を提供する。
【0006】
本開示の１つの実施形態は、方法であって、ホストマシンの画像処理装置（ＧＰＵ）によって送信され、ネットワークデバイスによって受信されるパケットについて、ネットワークデバイスが、パケットが受信されたネットワークデバイスの着信ポート－リンクを決定することを含む。方法は、ネットワークデバイスが、ＧＰＵルーティングポリシーに基づいて、着信ポート－リンクに対応する発信ポート－リンクを特定することを含む。ＧＰＵルーティングポリシーは、パケットを受信する前に事前に構成され、ネットワークデバイスの一意の発信ポート－リンクに対するネットワークデバイスの各着信ポート－リンクのマッピングを確立する。方法は、ネットワークデバイスが、ネットワークデバイスの発信ポート－リンクでパケットを転送することを含む。
【0007】
本開示の一態様は、１つまたは複数のデータプロセッサと、１つまたは複数のデータプロセッサによって実行されると、１つまたは複数のデータプロセッサに本明細書に開示する１つまたは複数の方法のうちの一部またはすべてを実施させる命令を含む非一時的コンピュータ可読記憶媒体とを備えるシステムを提供する。
【0008】
本開示の別の態様は、１つまたは複数のデータプロセッサに本明細書に開示する１つまたは複数の方法のうちの一部またはすべてを実施させるように構成された命令を含む、非一時的機械可読記憶媒体に有形に具現化されたコンピュータプログラム製品を提供する。
【0009】
上述したことは、他の特徴および実施形態とともに、以下の明細書、特許請求の範囲、および添付図面を参照することにより、より明らかになるであろう。
【0010】
本開示の特徴、実施形態、および利点は、以下の詳細な説明を添付の図面を参照して読むと、よりよく理解される。
【図面の簡単な説明】
【0011】
【図1】いくつかの実施形態による、クラウドサービスプロバイダのインフラストラクチャによってホストされている仮想またはオーバーレイクラウドネットワークを示す分散環境の概要図である。
【図2】いくつかの実施形態による、ＣＳＰＩ内の物理ネットワークにおける物理コンポーネントの簡略化されたアーキテクチャ図である。
【図3】いくつかの実施形態による、ホストマシンが複数のネットワーク仮想化デバイス（ＮＶＤ）に接続されているＣＳＰＩ内の配置例を示す図である。
【図4】いくつかの実施形態による、マルチテナンシをサポートするＩ／Ｏ仮想化を提供するための、ホストマシンとＮＶＤとの間の接続性を示す図である。
【図5】いくつかの実施形態による、ＣＳＰＩによって提供される物理ネットワークの簡略化されたブロック図である。
【図6】いくつかの実施形態による、ＣＬＯＳネットワーク配置を組み込んだクラウドインフラストラクチャの簡略化されたブロック図である。
【図8】いくつかの実施形態による、クラウドインフラストラクチャに実装されたポリシーベースのルーティングメカニズムを示す図である。
【図9】いくつかの実施形態による、クラウドインフラストラクチャ内の異なるタイプの接続を示すクラウドインフラストラクチャのブロック図である。
【図10】いくつかの実施形態による、クラウドインフラストラクチャに含まれるラックの構成例を示す図である。
【図11A】いくつかの実施形態による、パケットをルーティングする際にネットワークデバイスによって実行されるステップを示すフローチャートである。
【図11B】いくつかの実施形態による、パケットをルーティングする際にネットワークデバイスによって実行されるステップを示す別のフローチャートである。
【図12】少なくとも１つの実施形態による、サービスシステムとしてのクラウドインフラストラクチャを実装するための１つのパターンを示すブロック図である。
【図13】少なくとも１つの実施形態による、サービスシステムとしてのクラウドインフラストラクチャを実装するための別のパターンを示すブロック図である。
【図14】少なくとも１つの実施形態による、サービスシステムとしてのクラウドインフラストラクチャを実装するための別のパターンを示すブロック図である。
【図15】少なくとも１つの実施形態による、サービスシステムとしてのクラウドインフラストラクチャを実装するための別のパターンを示すブロック図である。
【図16】少なくとも１つの実施形態による、コンピュータシステム例を示すブロック図である。
【発明を実施するための形態】
【0012】
詳細な説明
以下の説明では、説明の目的で、いくつかの実施形態が完全に理解されるように、具体的な詳細を示す。しかしながら、さまざまな実施形態をこれらの具体的な詳細なしに実施してもよいことは明らかであろう。図および説明は、制限的であるようには意図されていない。「例示的な」という語は、本明細書では、「例、実例、または例証としての役割を果たす」という意味で使用する。本明細書において「例示的な」として記載する実施形態または設計は、必ずしも、他の実施形態または設計よりも好ましいかまたは有利であると解釈されるべきではない。
クラウドインフラストラクチャのアーキテクチャ例
クラウドサービスという用語は、一般に、クラウドサービスプロバイダ（ＣＳＰ）により、ＣＳＰによって提供されるシステムおよびインフラストラクチャ（クラウドインフラストラクチャ）を使用して、オンデマンドで（たとえば、サブスクリプションモデルを介して）ユーザまたは顧客が利用することができるようになるサービスを指すために使用される。通常、ＣＳＰのインフラストラクチャを構成するサーバおよびシステムは、顧客自身のオンプレミスのサーバおよびシステムとは別個である。したがって、顧客は、サービスのためのハードウェアおよびソフトウェアリソースを別途購入する必要なしに、ＣＳＰによって提供されるクラウドサービスを利用することができる。クラウドサービスは、サブスクライブする顧客に、サービスを提供するために使用されるインフラストラクチャを獲得するのに投資する必要なしに、アプリケーションおよびコンピューティングリソースへの容易でスケーラブルなアクセスを提供するように設計されている。
以下の説明では、説明の目的で、いくつかの実施形態が完全に理解されるように、具体的な詳細を示す。しかしながら、さまざまな実施形態をこれらの具体的な詳細なしに実施してもよいことは明らかであろう。図および説明は、制限的であるようには意図されていない。「例示的な」という語は、本明細書では、「例、実例、または例証としての役割を果たす」という意味で使用する。本明細書において「例示的な」として記載する実施形態または設計は、必ずしも、他の実施形態または設計よりも好ましいかまたは有利であると解釈されるべきではない。
クラウドインフラストラクチャのアーキテクチャ例
クラウドサービスという用語は、一般に、クラウドサービスプロバイダ（ＣＳＰ）により、ＣＳＰによって提供されるシステムおよびインフラストラクチャ（クラウドインフラストラクチャ）を使用して、オンデマンドで（たとえば、サブスクリプションモデルを介して）ユーザまたは顧客が利用することができるようになるサービスを指すために使用される。通常、ＣＳＰのインフラストラクチャを構成するサーバおよびシステムは、顧客自身のオンプレミスのサーバおよびシステムとは別個である。したがって、顧客は、サービスのためのハードウェアおよびソフトウェアリソースを別途購入する必要なしに、ＣＳＰによって提供されるクラウドサービスを利用することができる。クラウドサービスは、サブスクライブする顧客に、サービスを提供するために使用されるインフラストラクチャを獲得するのに投資する必要なしに、アプリケーションおよびコンピューティングリソースへの容易でスケーラブルなアクセスを提供するように設計されている。
【0013】
さまざまなタイプのクラウドサービスを提供するいくつかのクラウドサービスプロバイダがある。サービスとしてのソフトウェア（ＳａａＳ：Ｓｏｆｔｗａｒｅ－ａｓ－ａ－Ｓｅｒｖｉｃｅ）、サービスとしてのプラットフォーム（ＰａａＳ：Ｐｌａｔｆｏｒｍ－ａｓ－ａ－Ｓｅｒｖｉｃｅ）、サービスとしてのインフラストラクチャ（ＩａａＳ：Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ－ａｓ－ａ－Ｓｅｒｖｉｃｅ）などを含む、さまざまな異なるタイプまたはモデルのクラウドサービスがある。
【0014】
顧客は、ＣＳＰによって提供される１つまたは複数のクラウドサービスにサブスクライブすることができる。顧客は、個人、組織、企業などの任意のエンティティであり得る。顧客がＣＳＰによって提供されるサービスにサブスクライブまたは登録すると、その顧客のためにテナンシまたはアカウントが作成される。その後、顧客は、このアカウントを介して、アカウントに関連付けられたサブスクライブされた１つまたは複数のクラウドリソースにアクセスすることができる。
【0015】
上述したように、サービスとしてのインフラストラクチャ（ＩａａＳ）は、１つの特定のタイプのクラウドコンピューティングサービスである。ＩａａＳモデルでは、ＣＳＰは、インフラストラクチャ（クラウドサービスプロバイダインフラストラクチャすなわちＣＳＰＩと称される）を提供し、顧客はこれを使用してカスタマイズ可能なネットワークを構築し、顧客のリソースをデプロイすることができる。このように、顧客のリソースおよびネットワークは、ＣＳＰによって提供されるインフラストラクチャによって分散環境においてホストされる。これは、顧客のリソースおよびネットワークが顧客によって提供されるインフラストラクチャによってホストされる従来のコンピューティングとは異なる。
【0016】
ＣＳＰＩは、基盤ネットワークまたはアンダーレイネットワークとも称される物理ネットワークを形成する、さまざまなホストマシン、メモリリソース、およびネットワークリソースを含む相互接続された高性能コンピュートリソースを含むことができる。ＣＳＰＩのリソースは、１つまたは複数の地理的なリージョンにわたって地理的に分散されている可能性がある１つまたは複数のデータセンタにわたって分散されている場合がある。仮想化ソフトウェアは、これらの物理リソースによって実行され、仮想化分散環境を提供することができる。仮想化により、物理ネットワーク上に（ソフトウェアベースネットワーク、ソフトウェア定義ネットワーク、仮想ネットワークとしても知られる）オーバーレイネットワークが作成される。ＣＳＰＩ物理ネットワークは、物理ネットワークの上に１つまたは複数のオーバーレイネットワークまたは仮想ネットワークを作成するための基礎を提供する。仮想またはオーバーレイネットワークは、１つまたは複数の仮想クラウドネットワーク（ＶＣＮ）を含むことができる。仮想ネットワークは、ソフトウェア仮想化技術（たとえば、ハイパーバイザ、ネットワーク仮想化デバイス（ＮＶＤ）（たとえば、スマートＮＩＣ）によって実行される機能、トップオブラック（ＴＯＲ）スイッチ、ＮＶＤによって実行される１つまたは複数の機能を実装するスマートＴＯＲ、および他のメカニズム）を使用して実装されて、物理ネットワークの上で実行することができるネットワーク抽象化のレイヤを作成する。仮想ネットワークは、ピアツーピアネットワーク、ＩＰネットワークなどを含む、多くの形態をとることができる。仮想ネットワークは、通常、レイヤ３ＩＰネットワークまたはレイヤ２ＶＬＡＮのいずれかである。このような仮想またはオーバーレイネットワーキングの方法は、仮想またはオーバーレイレイヤ３ネットワーキングと称されることが多い。仮想ネットワークのために開発されたプロトコルの例としては、ＩＰ－ｉｎ－ＩＰ（または汎用ルーティングカプセル化（ＧＲＥ：Ｇｅｎｅｒｉｃ Ｒｏｕｔｉｎｇ Ｅｎｃａｐｓｕｌａｔｉｏｎ））、仮想拡張可能ＬＡＮ（ＶＸＬＡＮ：Ｖｉｒｔｕａｌ Ｅｘｔｅｎｓｉｂｌｅ ＬＡＮ－ＩＥＴＦ ＲＦＣ７３４８）、仮想プライベートネットワーク（ＶＰＮ：Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）（たとえば、ＭＰＬＳレイヤ３仮想プライベートネットワーク（ＲＦＣ ４３６４））、ＶＭｗａｒｅのＮＳＸ、ＧＥＮＥＶＥ（汎用ネットワーク仮想化カプセル化（Ｇｅｎｅｒｉｃ Ｎｅｔｗｏｒｋ Ｖｉｒｔｕａｌｉｚａｔｉｏｎ Ｅｎｃａｐｓｕｌａｔｉｏｎ））などが挙げられる。
【0017】
ＩａａＳの場合、ＣＳＰによって提供されたインフラストラクチャ（ＣＳＰＩ）は、公衆ネットワーク（たとえば、インターネット）を介して仮想化コンピューティングリソースを提供するように構成することができる。ＩａａＳモデルにおいて、クラウドコンピューティングサービスプロバイダは、インフラストラクチャコンポーネント（たとえば、サーバ、ストレージデバイス、ネットワークノード（たとえば、ハードウェア）、デプロイメントソフトウェア、プラットフォーム仮想化（たとえば、ハイパーバイザレイヤ）など）をホストすることができる。場合によっては、ＩａａＳプロバイダは、それらのインフラストラクチャコンポーネントに付随する種々のサービス（たとえば、課金、監視、ロギング、セキュリティ、負荷分散、およびクラスタリングなど）も提供することができる。したがって、これらのサービスがポリシー駆動型である可能性があるため、ＩａａＳユーザは、負荷分散を駆動するためのポリシーを実装して、アプリケーションの可用性および性能を維持することができる可能性がある。ＣＳＰＩは、インフラストラクチャおよび一連の補完的なクラウドサービスを提供し、これらによって、顧客は、可用性の高いホスト型分散環境で広範囲のアプリケーションおよびサービスを構築し、実行することができる。ＣＳＰＩは、顧客のオンプレミスネットワークからなど、さまざまなネットワーク拠点から安全にアクセスすることができる柔軟な仮想ネットワーク上で高性能のコンピュートリソースおよび能力ならびに記憶容量を提供する。顧客がＣＳＰによって提供されるＩａａＳサービスをサブスクライブまたは登録すると、その顧客のために作成されたテナンシは、ＣＳＰＩ内のセキュアで隔離されたパーティションとなり、顧客はそこで、クラウドリソースを作成、整理、管理することができる。
【0018】
顧客は、ＣＳＰＩによって提供されるコンピュートリソース、メモリリソース、およびネットワーキングリソースを使用して、独自の仮想ネットワークを構築することができる。これらの仮想ネットワーク上に、コンピュートインスタンスなどの１つまたは複数の顧客リソースまたはワークロードをデプロイすることができる。たとえば、顧客は、ＣＳＰＩによって提供されるリソースを使用して、仮想クラウドネットワーク（ＶＣＮ）と称される１つまたは複数のカスタマイズ可能なプライベート仮想ネットワークを構築することができる。顧客は、顧客ＶＣＮ上で１つまたは複数の顧客リソース、たとえばコンピュートインスタンスをデプロイすることができる。コンピュートインスタンスは、仮想マシン、ベアメタルインスタンスなどの形態をとることができる。したがって、ＣＳＰＩは、顧客が可用性の高い仮想ホスト環境において広範囲のアプリケーションおよびサービスを構築および実行することを可能にするインフラストラクチャおよび一連の相補的なクラウドサービスを提供する。顧客は、ＣＳＰＩによって提供される基礎となる物理リソースを管理または制御しないが、オペレーティングシステム、ストレージ、およびデプロイされたアプリケーションを制御し、場合によっては、選択されたネットワーキングコンポーネント（たとえば、ファイアウォール）を限定的に制御する。
【0019】
ＣＳＰは、顧客およびネットワーク管理者がＣＳＰＩリソースを使用してクラウドにデプロイされたリソースを構成、アクセス、および管理することを可能にするコンソールを提供することができる。いくつかの実施形態では、コンソールは、ＣＳＰＩにアクセスしＣＳＰＩを管理するために使用することができるウェブベースのユーザインターフェースを提供する。いくつかの実施形態では、コンソールは、ＣＳＰによって提供されるウェブベースのアプリケーションである。
【0020】
ＣＳＰＩは、シングルテナンシアーキテクチャまたはマルチテナンシアーキテクチャをサポートすることができる。シングルテナンシアーキテクチャでは、ソフトウェア（たとえば、アプリケーション、データベース）またはハードウェアコンポーネント（たとえば、ホストマシンまたはサーバ）は、単一の顧客またはテナントにサービスを提供する。マルチテナンシアーキテクチャでは、ソフトウェアまたはハードウェアコンポーネントは、複数の顧客またはテナントにサービスを提供する。したがって、マルチテナンシアーキテクチャでは、ＣＳＰＩリソースは、複数の顧客またはテナントの間で共有される。マルチテナンシの状況では、各テナントのデータが分離され、他のテナントから見えないようにするために、ＣＳＰＩには予防措置および保護措置が講じられる。
【0021】
物理ネットワークにおいて、ネットワークエンドポイント（「エンドポイント」）は、物理ネットワークに接続され、接続されているネットワークと双方向に通信する、コンピューティングデバイスまたはシステムを指す。物理ネットワークのネットワークエンドポイントは、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、または他のタイプの物理ネットワークに接続される場合がある。物理ネットワークの従来のエンドポイントの例としては、モデム、ハブ、ブリッジ、スイッチ、ルータ、および他のネットワーキングデバイス、物理コンピュータ（またはホストマシン）などが挙げられる。物理ネットワークの各物理デバイスは、このデバイスと通信するために使用することができる固定ネットワークアドレスを有する。この固定ネットワークアドレスは、レイヤ２アドレス（たとえば、ＭＡＣアドレス）、固定レイヤ３アドレス（たとえば、ＩＰアドレス）などであり得る。仮想化環境または仮想ネットワークにおいて、エンドポイントは、物理ネットワークのコンポーネントによってホストされている（たとえば、物理ホストマシンによってホストされている）仮想マシンなどのさまざまな仮想エンドポイントを含むことができる。仮想ネットワークのこれらのエンドポイントは、オーバーレイレイヤ２アドレス（たとえば、オーバーレイＭＡＣアドレス）およびオーバーレイレイヤ３アドレス（たとえば、オーバーレイＩＰアドレス）などのオーバーレイアドレスによってアドレス指定される。ネットワークオーバーレイは、ネットワーク管理者がソフトウェア管理を用いて（たとえば、仮想ネットワークの制御プレーンを実装するソフトウェアを介して）ネットワークエンドポイントに関連付けられたオーバーレイアドレスを移動させることができるようにすることによって柔軟性を可能にする。したがって、物理ネットワークとは異なり、仮想ネットワークでは、ネットワーク管理ソフトウェアを使用して、オーバーレイアドレス（たとえば、オーバーレイＩＰアドレス）を１つのエンドポイントから別のエンドポイントに移動させることができる。仮想ネットワークが物理ネットワーク上に構築されているため、仮想ネットワークのコンポーネント間の通信には、仮想ネットワークおよび基礎となる物理ネットワークの両方が関与する。このような通信を容易にするために、ＣＳＰＩのコンポーネントは、仮想ネットワークのオーバーレイアドレスを基盤ネットワークの実際の物理アドレスにまたは基盤ネットワークの実際の物理アドレスを仮想ネットワークのオーバーレイアドレスにマッピングするマッピングを学習および格納するように構成されている。そして、これらのマッピングを使用して、通信を容易にする。仮想ネットワークのルーティングを容易にするために、顧客トラフィックは、カプセル化される。
【0022】
したがって、物理アドレス（たとえば、物理ＩＰアドレス）は、物理ネットワークのコンポーネントに関連付けられ、オーバーレイアドレス（たとえば、オーバーレイＩＰアドレス）は、仮想ネットワークのエンティティに関連付けられる。物理ＩＰアドレスおよびオーバーレイＩＰアドレスは、いずれも実ＩＰアドレスのタイプである。これらは、仮想ＩＰアドレスとは別物であり、仮想ＩＰアドレスは、複数の実ＩＰアドレスにマッピングされる。仮想ＩＰアドレスは、仮想ＩＰアドレスと複数の実ＩＰアドレスとの間の１対多マッピングを提供する。
【0023】
クラウドインフラストラクチャまたはＣＳＰＩは、世界中の１つまたは複数のリージョンの１つまたは複数のデータセンタにおいて物理的にホストされている。ＣＳＰＩは、物理ネットワークまたは基盤ネットワークのコンポーネントと、物理ネットワークコンポーネントの上に構築された仮想ネットワークの仮想化コンポーネント（たとえば、仮想ネットワーク、コンピュートインスタンス、仮想マシンなど）とを含むことができる。いくつかの実施形態では、ＣＳＰＩは、レルム、リージョン、および可用性ドメインにおいて編成およびホストされている。リージョンは、典型的には、１つまたは複数のデータセンタを含む局所的な地理領域である。リージョンは、一般に互いに独立しており、たとえば、国またはさらには大陸を越えて広大な距離によって分離される場合もある。たとえば、第１のリージョンはオーストラリアにあってもよく、別のリージョンは日本にあってもよく、さらに別のリージョンはインドにあってもよい、などである。ＣＳＰＩリソースは、各リージョンがそれ自体の独立したＣＳＰＩリソースのサブセットを有するようにリージョン間で分割される。各リージョンは、コンピュートリソース（たとえば、ベアメタルサーバ、仮想マシン、コンテナ、および関連インフラストラクチャなど）、ストレージリソース（たとえば、ブロックボリュームストレージ、ファイルストレージ、オブジェクトストレージ、アーカイブストレージ）、ネットワーキングリソース（たとえば、仮想クラウドネットワーク（ＶＣＮ）、負荷分散リソース、オンプレミスネットワークへの接続）、データベースリソース、エッジネットワーキングリソース（たとえば、ＤＮＳ）、ならびにアクセス管理およびモニタリングリソースなど、一組のコアインフラストラクチャサービスおよびリソースを提供することができる。各リージョンは、一般に、そのリージョンをレルム内の他のリージョンに接続する複数の経路を有する。
【0024】
一般的に、アプリケーションは、近くのリソースを使用する方が遠くのリソースを使用するよりも高速であるため、最も多く使用されるリージョンにデプロイされる（すなわち、そのリージョンに関連するインフラストラクチャ上にデプロイされる）。また、アプリケーションは、大規模な気象システムまたは地震などのリージョン全体のイベントのリスクを軽減するための冗長性、法的管轄、税領域、および他のビジネスまたは社会的基準に対するさまざまな要件を満たすためなどの冗長性など、さまざまな理由で異なるリージョンにデプロイすることもできる。
【0025】
リージョン内のデータセンタは、さらに編成され、可用性ドメイン（ＡＤ）に細分化することができる。可用性ドメインは、あるリージョン内に位置する１つまたは複数のデータセンタに対応してもよい。リージョンは、１つまたは複数の可用性ドメインによって構成してもよい。このような分散環境において、ＣＳＰＩリソースは、仮想クラウドネットワーク（ＶＣＮ）などのリージョンに固有であるか、またはコンピュートインスタンスなどの可用性ドメインに固有である。
【0026】
１つのリージョン内のＡＤは、互いに分離され、フォールトトレラントであり、同時に故障する可能性が非常に低くなるように構成されている。これは、１つのリージョン内の１つのＡＤの障害が同じリージョン内の他のＡＤの可用性に影響を与える可能性がほとんどないように、ＡＤが、ネットワーキング、物理ケーブル、ケーブル経路、ケーブルエントリポイントなどの重要なインフラストラクチャリソースを共有しないようにすることによって達成される。同じリージョン内のＡＤを低遅延、高帯域のネットワークで互いに接続することができ、これによって、他のネットワーク（たとえば、インターネット、顧客のオンプレミスネットワークなど）への高可用性接続を提供し、複数のＡＤにおいて高可用性および災害復旧の両方のための複製システムを構築することが可能になる。クラウドサービスは、複数のＡＤを使用して、高可用性を確保するとともに、リソースの障害から保護する。ＩａａＳプロバイダによって提供されるインフラストラクチャが成長するに従い、より多くのリージョンおよびＡＤを追加して容量を追加することができる。可用性ドメイン間のトラフィックは、通常、暗号化される。
【0027】
いくつかの実施形態では、リージョンは、レルムにグループ化される。レルムは、リージョンの論理的な集まりである。レルムは、互いに隔離されており、いかなるデータも共有しない。同じレルム内のリージョンは、互いに通信することができるが、異なるレルム内のリージョンは、通信することができない。ＣＳＰの顧客のテナンシまたはアカウントは、単一のレルムに存在し、そのレルムに属する１つまたは複数のリージョンにまたがることができる。典型的には、顧客がＩａａＳサービスをサブスクライブすると、レルム内の顧客指定リージョン（「ホーム」リージョンと称される）に、その顧客に対するテナンシまたはアカウントが作成される。顧客は、顧客のテナンシをレルム内の１つまたは複数の他のリージョンに拡張することができる。顧客は、顧客のテナンシが存在するレルム内に存在していないリージョンにアクセスすることはできない。
【0028】
ＩａａＳプロバイダは、複数のレルムを提供することができ、各レルムは、特定の組の顧客またはユーザに対応する。たとえば、商用顧客のために商用レルムを提供することができる。別の例として、レルムは、特定の国のその国の顧客のために提供することができる。さらに別の例として、たとえば政府のために政府用レルムを提供するなどが可能である。たとえば、政府用レルムは、特定の政府のために作成することができ、商用レルムよりも高いセキュリティレベルを有することができる。たとえば、オラクルクラウドインフラストラクチャ（ＯＣＩ：Ｏｒａｃｌｅ Ｃｌｏｕｄ Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）は、目下、商用リージョン向けのレルムと、政府クラウドリージョン向けの２つのレルム（たとえば、ＦｅｄＲＡＭＰ認可およびＩＬ５認可）とを提供する。
【0029】
いくつかの実施形態では、ＡＤは、１つまたは複数のフォールトドメインに細分化することができる。フォールトドメインは、アンチアフィニティ（ａｎｔｉ－ａｆｆｉｎｉｔｙ）を提供するために、ＡＤ内のインフラストラクチャリソースをグループ化したものである。フォールトドメインは、コンピュートインスタンスの分散を可能にして、コンピュートインスタンスが単一のＡＤ内の同じ物理ハードウェア上にないようにする。これは、アンチアフィニティとして知られている。フォールトドメインは、単一の障害点を共有する一組のハードウェアコンポーネント（コンピュータ、スイッチなど）を指す。コンピュートプールは、フォールトドメインに論理的に分割される。このため、１つのフォールトドメインに影響を与えるハードウェア障害またはコンピュートハードウェア保守イベントは、他のフォールトドメインのインスタンスに影響を与えない。実施形態に応じて、各ＡＤのフォールトドメインの数は、異なる可能性がある。たとえば、いくつかの実施形態では、各ＡＤは、３つのフォールトドメインを含む。フォールトドメインは、ＡＤ内の論理データセンタとして機能する。
【0030】
顧客がＩａａＳサービスにサブスクライブすると、ＣＳＰＩからのリソースは、顧客にプロビジョニングされ、顧客のテナンシに関連付けられる。顧客は、これらのプロビジョニングされたリソースを使用して、プライベートネットワークを構築し、これらのネットワーク上にリソースをデプロイすることができる。ＣＳＰＩによってクラウドにホストされる顧客ネットワークは、仮想クラウドネットワーク（ＶＣＮ）と称される。顧客は、顧客用に割り当てられたＣＳＰＩリソースを使用して、１つまたは複数の仮想クラウドネットワーク（ＶＣＮ）をセットアップすることができる。ＶＣＮとは、仮想またはソフトウェア定義のプライベートネットワークである。顧客のＶＣＮにデプロイされる顧客リソースは、コンピュートインスタンス（たとえば、仮想マシン、ベアメタルインスタンス）および他のリソースを含むことができる。これらのコンピュートインスタンスは、アプリケーション、ロードバランサ、データベースなどのさまざまな顧客ワークロードを表すことができる。ＶＣＮ上にデプロイされたコンピュートインスタンスは、インターネットなどの公衆ネットワークを介して、パブリックアクセス可能なエンドポイント（「パブリックエンドポイント」）と通信することができ、同じＶＣＮまたは他のＶＣＮ（たとえば、顧客の他のＶＣＮ、または顧客に属さないＶＣＮ）内の他のインスタンスと通信することができ、顧客のオンプレミスデータセンタまたはネットワークと通信することができ、サービスエンドポイント、および他のタイプのエンドポイントと通信することができる。
【0031】
ＣＳＰは、ＣＳＰＩを使用してさまざまなサービスを提供することができる。いくつかの事例では、ＣＳＰＩの顧客自身は、サービスプロバイダのように振る舞い、ＣＳＰＩリソースを使用してサービスを提供することができる。サービスプロバイダは、識別情報（たとえば、ＩＰアドレス、ＤＮＳ名、およびポート）によって特徴付けられるサービスエンドポイントを公開することができる。顧客のリソース（たとえば、コンピュートインスタンス）は、サービスによって公開されたその特定のサービスのサービスエンドポイントにアクセスすることによって、特定のサービスを消費することができる。これらのサービスエンドポイントは、一般的に、ユーザがエンドポイントに関連付けられた公衆ＩＰアドレスを使用して、インターネットなどの公衆通信ネットワークを介してパブリックにアクセス可能なエンドポイントである。パブリックにアクセス可能なネットワークエンドポイントは、パブリックエンドポイントと称されることもある。
【0032】
いくつかの実施形態では、サービスプロバイダは、サービスのエンドポイント（サービスエンドポイントと称されることもある）を介してサービスを公開することができる。そして、サービスの顧客は、このサービスエンドポイントを使用してサービスにアクセスすることができる。いくつかの実施態様では、サービスのために提供されるサービスエンドポイントは、そのサービスを消費しようとする複数の顧客によってアクセスすることができる。他の実施態様では、専用のサービスエンドポイントを顧客に提供して、その顧客のみがその専用サービスエンドポイントを使用してサービスにアクセスすることができるようにしてもよい。
【0033】
いくつかの実施形態では、ＶＣＮは、作成されると、そのＶＣＮに割り当てられたプライベートオーバーレイＩＰアドレスの範囲（たとえば、１０．０／１６）である、プライベートオーバーレイクラスレスドメイン間ルーティング（ＣＩＤＲ：Ｃｌａｓｓｌｅｓｓ Ｉｎｔｅｒ－Ｄｏｍａｉｎ Ｒｏｕｔｉｎｇ）アドレス空間に関連付けられる。ＶＣＮは、関連するサブネット、ルートテーブル、およびゲートウェイを含む。ＶＣＮは、単一のリージョン内に存在するが、リージョンの可用性ドメインのうちの１つもしくは複数またはすべてにまたがることができる。ゲートウェイは、ＶＣＮ用に構成され、ＶＣＮとＶＣＮ外部の１つまたは複数のエンドポイントとの間のトラフィックの通信を可能にする、仮想インターフェースである。ＶＣＮに対して１つまたは複数の異なるタイプのゲートウェイを構成して、異なるタイプのエンドポイント間の通信を可能にすることができる。
【0034】
ＶＣＮは、１つまたは複数のサブネットなどの１つまたは複数のサブネットワークに細分化することができる。したがって、サブネットは、ＶＣＮ内で作成することができる構成単位または細分である。ＶＣＮは、１つまたは複数のサブネットを有することができる。ＶＣＮ内の各サブネットは、そのＶＣＮ内の他のサブネットと重複せず、そのＶＣＮのアドレス空間内のアドレス空間サブセットを表す、オーバーレイＩＰアドレス（たとえば、１０．０．０．０／２４および１０．０．１．０／２４）の連続した範囲に関連付けられる。
【0035】
各コンピュートインスタンスは、仮想ネットワークインターフェースカード（ＶＮＩＣ）に関連付けられ、これによって、コンピュートインスタンスは、ＶＣＮのサブネットに参加することができる。ＶＮＩＣは、物理ネットワークインターフェースカード（ＮＩＣ）の論理表現である。一般的に、ＶＮＩＣは、エンティティ（たとえば、コンピュートインスタンス、サービス）と仮想ネットワークとの間のインターフェースである。ＶＮＩＣは、サブネットに存在し、１つまたは複数の関連するＩＰアドレスと、関連するセキュリティルールまたはポリシーとを有する。ＶＮＩＣは、スイッチ上のレイヤ２ポートに相当する。ＶＮＩＣは、コンピュートインスタンスと、ＶＣＮ内のサブネットとに接続されている。コンピュートインスタンスに関連付けられたＶＮＩＣは、コンピュートインスタンスがＶＣＮのサブネットの一部であることを可能にし、コンピュートインスタンスが、コンピュートインスタンスと同じサブネット上にあるエンドポイントと、ＶＣＮ内の異なるサブネット内のエンドポイントと、またはＶＣＮ外部のエンドポイントと通信する（たとえば、パケットを送受信する）ことを可能にする。したがって、コンピュートインスタンスに関連するＶＮＩＣは、コンピュートインスタンスがＶＣＮの内部および外部のエンドポイントといかに接続しているかを決定する。コンピュートインスタンスのＶＮＩＣは、コンピュートインスタンスが作成され、ＶＣＮ内のサブネットに追加されるときに作成され、そのコンピュートインスタンスに関連付けられる。サブネットは、コンピュートインスタンスのセットを含む場合、コンピュートインスタンスのセットに対応するＶＮＩＣを含み、各ＶＮＩＣは、コンピュートインスタンスのセット内のコンピュートインスタンスに接続されている。
【0036】
コンピュートインスタンスに関連付けられたＶＮＩＣを介して、各コンピュートインスタンスにはプライベートオーバーレイＩＰアドレスが割り当てられる。このプライベートオーバーレイＩＰアドレスは、コンピュートインスタンスが作成されるときにコンピュートインスタンスに関連付けられたＶＮＩＣに割り当てられ、コンピュートインスタンスとの間でトラフィックをルーティングするために使用される。所与のサブネット内のすべてのＶＮＩＣは、同じルートテーブル、セキュリティリスト、およびＤＨＣＰオプションを使用する。上述したように、ＶＣＮ内の各サブネットは、そのＶＣＮ内の他のサブネットと重複せず、そのＶＣＮのアドレス空間のアドレス空間サブセットを表す、オーバーレイＩＰアドレス（たとえば、１０．０．０．０／２４および１０．０．１．０／２４）の連続した範囲に関連付けられる。ＶＣＮの特定のサブネット上のＶＮＩＣの場合、ＶＮＩＣに割り当てられたプライベートオーバーレイＩＰアドレスは、サブネットに割り当てられたオーバーレイＩＰアドレスの連続した範囲からのアドレスである。
【0037】
いくつかの実施形態では、コンピュートインスタンスに、プライベートオーバーレイＩＰアドレスに加えて、たとえば、パブリックサブネットにある場合の１つまたは複数の公衆ＩＰアドレスなど、追加のオーバーレイＩＰアドレスを、任意選択的に割り当てることができる。これらの複数のアドレスは、同じＶＮＩＣ上に、またはコンピュートインスタンスに関連付けられた複数のＶＮＩＣにわたって割り当てられる。しかしながら、各インスタンスは、インスタンス起動中に作成され、インスタンスに割り当てられたオーバーレイプライベートＩＰアドレスに関連付けられた、プライマリＶＮＩＣを有し、このプライマリＶＮＩＣは、削除することができない。プライマリＶＮＩＣと同じ可用性ドメイン内の既存のインスタンスに、セカンダリＶＮＩＣと称される追加のＶＮＩＣを追加することができる。すべてのＶＮＩＣは、インスタンスと同じ可用性ドメインにある。セカンダリＶＮＩＣは、プライマリＶＮＩＣと同じＶＣＮのサブネットにあり得るか、または同じＶＣＮまたは異なるＶＣＮのいずれかにある異なるサブネットにあり得る。
【0038】
コンピュートインスタンスがパブリックサブネットにある場合、任意選択的にそのコンピュートインスタンスに公衆ＩＰアドレスを割り当てることができる。サブネットが作成されるときに、そのサブネットをパブリックサブネットまたはプライベートサブネットのいずれかとして指定することができる。プライベートサブネットとは、そのサブネット内のリソース（たとえば、コンピュートインスタンス）および関連するＶＮＩＣが、パブリックオーバーレイＩＰアドレスを有することができないことを意味する。パブリックサブネットとは、そのサブネット内のリソースおよび関連するＶＮＩＣが公衆ＩＰアドレスを有することができることを意味する。顧客は、リージョンまたはレルム内の単一の可用性ドメイン内にまたは複数の可用性ドメインにわたって存在するサブネットを指定することができる。
【0039】
上述したように、ＶＣＮは、１つまたは複数のサブネットに細分化することができる。いくつかの実施形態では、ＶＣＮのために構成された仮想ルータ（ＶＲ）（ＶＣＮ ＶＲまたは単にＶＲと称される）は、ＶＣＮのサブネット間の通信を可能にする。ＶＣＮ内のサブネットの場合、ＶＲは、サブネット（すなわち、そのサブネット上のコンピュートインスタンス）が、ＶＣＮ内の他のサブネット上のエンドポイントおよびＶＣＮ外部の他のエンドポイントと通信することを可能にする、そのサブネットの論理ゲートウェイを表す。ＶＣＮ ＶＲは、ＶＣＮ内のＶＮＩＣと、ＶＣＮに関連付けられた仮想ゲートウェイ（「ゲートウェイ」）との間でトラフィックをルーティングするように構成された論理エンティティである。ゲートウェイについては、図１に関してさらに後に説明する。ＶＣＮ ＶＲは、レイヤ３／ＩＰレイヤの概念である。１つの実施形態では、１つのＶＣＮに対して１つのＶＣＮ ＶＲがあり、このＶＣＮ ＶＲは、ＩＰアドレスによってアドレス指定された無制限の数のポートを潜在的に有し、ＶＣＮの各サブネットに対して１つのポートを有する。このように、ＶＣＮ ＶＲは、ＶＣＮ ＶＲが接続されているＶＣＮの各サブネットに対して異なるＩＰアドレスを有する。ＶＲは、また、ＶＣＮのために構成されたさまざまなゲートウェイにも接続されている。いくつかの実施形態では、サブネットのオーバーレイＩＰアドレス範囲からの特定のオーバーレイＩＰアドレスは、そのサブネットのＶＣＮ ＶＲのポートのために予約される。たとえば、それぞれアドレス範囲１０．０／１６および１０．１／１６が関連付けられた２つのサブネットを有するＶＣＮを考慮する。アドレス範囲１０．０／１６を有するＶＣＮ内の第１のサブネットの場合、この範囲からのアドレスは、そのサブネットのＶＣＮ ＶＲのポートのために予約される。いくつかの事例では、この範囲からの第１のＩＰアドレスは、ＶＣＮ ＶＲのために予約してもよい。たとえば、オーバーレイＩＰアドレス範囲１０．０／１６を有するサブネットの場合、ＩＰアドレス１０．０．０．１は、そのサブネットのＶＣＮ ＶＲのポートのために予約してもよい。同じＶＣＮ内のアドレス範囲１０．１／１６を有する第２のサブネットの場合、ＶＣＮ ＶＲは、ＩＰアドレス１０．１．０．１を有するその第２のサブネットのためのポートを有してもよい。ＶＣＮ ＶＲは、ＶＣＮ内の各サブネットの各々に対して異なるＩＰアドレスを有する。
【0040】
他のいくつかの実施形態では、ＶＣＮ内の各サブネットは、独自の関連付けられたＶＲを有していてもよく、ＶＲは、そのＶＲに関連付けられた予約済みまたはデフォルトのＩＰアドレスを使用してサブネットによってアドレス指定可能である。予約済みまたはデフォルトのＩＰアドレスは、たとえば、そのサブネットに関連付けられたＩＰアドレスの範囲からの第１のＩＰアドレスであってもよい。サブネット内のＶＮＩＣは、このデフォルトまたは予約済みのＩＰアドレスを使用して、サブネットに関連付けられたＶＲと通信する（たとえば、パケットを送受信する）ことができる。このような実施形態では、ＶＲは、そのサブネットのイングレス／エグレスポイントである。ＶＣＮ内のサブネットに関連付けられたＶＲは、ＶＣＮ内の他のサブネットに関連付けられた他のＶＲと通信することができる。ＶＲはまた、ＶＣＮに関連付けられたゲートウェイと通信することもできる。サブネットのＶＲ機能は、サブネット内のＶＮＩＣのＶＮＩＣ機能を実行する１つまたは複数のＮＶＤ上で実行しており、またはそうしたＮＶＤによって実行される。
【0041】
ルートテーブル、セキュリティルール、およびＤＨＣＰオプションは、ＶＣＮのために構成することができる。ルートテーブルは、ＶＣＮの仮想ルートテーブルであり、ゲートウェイまたは特別に構成されたインスタンスを経由して、トラフィックをＶＣＮ内のサブネットからＶＣＮ外部の宛先にルーティングするためのルールを含む。ＶＣＮとの間でパケットをいかに転送／ルーティングするかを制御するために、ＶＣＮのルートテーブルをカスタマイズすることができる。ＤＨＣＰオプションは、インスタンスの起動時にインスタンスに自動的に提供される構成情報を指す。
【0042】
ＶＣＮのために構成されたセキュリティルールは、ＶＣＮのオーバーレイファイアウォールルールを表す。セキュリティルールは、イングレスルールおよびエグレスルールを含むことができ、（たとえば、プロトコルおよびポートに基づいて）ＶＣＮ内のインスタンスに出入りすることを許可されるトラフィックの種類を指定することができる。顧客は、所与のルールがステートフルであるかまたはステートレスであるかを選択することができる。たとえば、顧客は、送信元ＣＩＤＲ０．０．０．０／０および宛先ＴＣＰポート２２を含むステートフルイングレスルールを設定することによって、任意の場所からインスタンスのセットへの着信ＳＳＨトラフィックを許可することができる。セキュリティルールは、ネットワークセキュリティグループまたはセキュリティリストを使用して実装することができる。ネットワークセキュリティグループは、そのグループ内のリソースのみに適用されるセキュリティルールのセットからなる。一方、セキュリティリストは、そのセキュリティリストを使用するサブネット内のすべてのリソースに適用されるルールを含む。ＶＣＮには、デフォルトセキュリティルールとともにデフォルトセキュリティリストを提供することができる。ＶＣＮのために構成されたＤＨＣＰオプションは、ＶＣＮ内のインスタンスが起動するときにそのインスタンスに自動的に提供される構成情報を提供する。
【0043】
いくつかの実施形態では、ＶＣＮの構成情報は、ＶＣＮ制御プレーンによって決定および格納される。ＶＣＮの構成情報は、たとえば、ＶＣＮに関連付けられたアドレス範囲、ＶＣＮ内のサブネットおよび関連情報、ＶＣＮに関連付けられた１つまたは複数のＶＲ、ＶＣＮ内のコンピュートインスタンスおよび関連ＶＮＩＣ、ＶＣＮに関連付けられたさまざまな仮想化ネットワーク機能（たとえば、ＶＮＩＣ、ＶＲ、ゲートウェイ）を実行するＮＶＤ、ＶＣＮの状態情報、ならびに他のＶＣＮ関連情報を含むことができる。いくつかの実施形態では、ＶＣＮ配信サービスは、ＶＣＮ制御プレーンによって格納された構成情報またはその一部をＮＶＤに公開する。配信された情報を使用して、ＮＶＤによって格納および使用される情報（たとえば、転送テーブル、ルーティングテーブルなど）を更新して、ＶＣＮ内のコンピュートインスタンスとの間でパケットを転送することができる。
【0044】
いくつかの実施形態では、ＶＣＮおよびサブネットの作成はＶＣＮ制御プレーン（ＣＰ）によって処理され、コンピュートインスタンスの起動はコンピュート制御プレーンによって処理される。コンピュート制御プレーンは、コンピュートインスタンスの物理リソースの割り当てを担当し、次いで、ＶＣＮ制御プレーンを呼び出してＶＮＩＣを作成し、コンピュートインスタンスにアタッチする。また、ＶＣＮ ＣＰは、パケット転送およびルーティング機能を実行するように構成されているＶＣＮデータプレーンに、ＶＣＮデータマッピングを送信する。いくつかの実施形態では、ＶＣＮ ＣＰは、ＶＣＮデータプレーンに更新の提供を担当する配信サービスを提供する。ＶＣＮ制御プレーンの例については、図１２、図１３、図１４、および図１５（参照番号１２１６、１３１６、１４１６、および１５１６参照）にも示し、後に説明する。
【0045】
顧客はＣＳＰＩによってホストされているリソースを使用して、１つまたは複数のＶＣＮを作成することができる。顧客ＶＣＮ上にデプロイされたコンピュートインスタンスは、異なるエンドポイントと通信することができる。これらのエンドポイントは、ＣＳＰＩによってホストされているエンドポイントとＣＳＰＩの外部のエンドポイントとを含むことができる。
【0046】
ＣＳＰＩを使用してクラウドベースのサービスを実装するためのさまざまな異なるアーキテクチャについて、図１、図２、図３、図４、図５、図１２、図１３、図１４、および図１５に示し、以下に説明する。図１は、いくつかの実施形態による、ＣＳＰＩによってホストされているオーバーレイＶＣＮまたは顧客ＶＣＮを示す分散環境１００の概要図である。図１に示す分散環境は、オーバーレイネットワーク内の複数のコンポーネントを含む。図１に示す分散環境１００は、単なる一例であり、特許請求する実施形態の範囲を不当に制限するようには意図されていない。多くのバリエーション、代替形態、および変形形態が可能である。たとえば、いくつかの実施態様では、図１に示す分散環境は、図１に示したものよりも多いかまたは少ないシステムまたはコンポーネントを有していてもよく、２つ以上のシステムを組み合わせてもよく、またはシステムの異なる構成もしくは配置を有していてもよい。
【0047】
図１に示す例に示すように、分散環境１００は、顧客がサブスクライブして自身の仮想クラウドネットワーク（ＶＣＮ）を構築するために使用することができるサービスおよびリソースを提供するＣＳＰＩ１０１を含む。いくつかの実施形態では、ＣＳＰＩ１０１は、サブスクライブする顧客にＩａａＳサービスを提供する。ＣＳＰＩ１０１内のデータセンタは、１つまたは複数のリージョンに編成してもよい。図１に、１つのリージョン例「ＵＳリージョン」１０２を示す。顧客はリージョン１０２に対して顧客ＶＣＮ１０４を構成している。顧客はＶＣＮ１０４上にさまざまなコンピュートインスタンスをデプロイすることができ、そこでは、コンピュートインスタンスは仮想マシンまたはベアメタルインスタンスを含むことができる。インスタンスの例としては、アプリケーション、データベース、ロードバランサなどが挙げられる。
【0048】
図１に示す実施形態では、顧客ＶＣＮ１０４は、２つのサブネット、すなわち「サブネット－１」および「サブネット－２」を含み、各サブネットは、独自のＣＩＤＲ ＩＰアドレス範囲を有する。図１では、サブネット－１のオーバーレイＩＰアドレス範囲は１０．０／１６であり、サブネット－２のアドレス範囲は１０．１／１６である。ＶＣＮ仮想ルータ１０５は、ＶＣＮ１０４のサブネット間およびＶＣＮの外部の他のエンドポイントとの通信を可能にするＶＣＮの論理ゲートウェイを表す。ＶＣＮ ＶＲ１０５は、ＶＣＮ１０４内のＶＮＩＣとＶＣＮ１０４に関連付けられたゲートウェイとの間でトラフィックをルーティングするように構成されている。ＶＣＮ ＶＲ１０５はＶＣＮ１０４の各サブネットにポートを提供する。たとえば、ＶＲ１０５は、ＩＰアドレス１０．０．０．１を有するポートをサブネット－１に提供し、ＩＰアドレス１０．１．０．１を有するポートをサブネット－２に提供することができる。
【0049】
各サブネット上に複数のコンピュートインスタンスをデプロイすることができ、そこでは、コンピュートインスタンスは仮想マシンインスタンス、および／またはベアメタルインスタンスであり得る。サブネット内のコンピュートインスタンスは、ＣＳＰＩ１０１内の１つまたは複数のホストマシンによってホストされる場合がある。コンピュートインスタンスは、コンピュートインスタンスに関連付けられたＶＮＩＣを介してサブネットに参加する。たとえば、図１に示すように、コンピュートインスタンスＣ１は、コンピュートインスタンスに関連付けられたＶＮＩＣを介するサブネット－１の一部である。同様に、コンピュートインスタンスＣ２は、Ｃ２に関連付けられたＶＮＩＣを介するサブネット－１の一部である。同様に、仮想マシンインスタンスまたはベアメタルインスタンスであり得る複数のコンピュートインスタンスは、サブネット－１の一部であり得る。各コンピュートインスタンスには、その関連するＶＮＩＣを介して、プライベートオーバーレイＩＰアドレスおよびＭＡＣアドレスが割り当てられる。たとえば、図１では、コンピュートインスタンスＣ１は、１０．０．０．２のオーバーレイＩＰアドレスとＭ１のＭＡＣアドレスとを有し、コンピュートインスタンスＣ２は、１０．０．０．３のプライベートオーバーレイＩＰアドレスとＭ２のＭＡＣアドレスとを有する。コンピュートインスタンスＣ１およびＣ２を含むサブネット－１内の各コンピュートインスタンスは、サブネット－１のＶＣＮ ＶＲ１０５のポートのＩＰアドレスであるＩＰアドレス１０．０．０．１を使用して、ＶＣＮ ＶＲ１０５へのデフォルトルートを有する。
【0050】
サブネット－２には、仮想マシンインスタンスおよび／またはベアメタルインスタンスを含む複数のコンピュートインスタンスをデプロイすることができる。たとえば、図１に示すように、コンピュートインスタンスＤ１およびＤ２は、それぞれのコンピュートインスタンスに関連付けられたＶＮＩＣを介するサブネット－２の一部である。図１に示す実施形態では、コンピュートインスタンスＤ１は、１０．１．０．２のオーバーレイＩＰアドレスとＭＭ１のＭＡＣアドレスとを有し、コンピュートインスタンスＤ２は、１０．１．０．３のプライベートオーバーレイＩＰアドレスとＭＭ２のＭＡＣアドレスとを有する。コンピュートインスタンスＤ１およびＤ２を含むサブネット－２内の各コンピュートインスタンスは、サブネット－２のＶＣＮ ＶＲ１０５のポートのＩＰアドレスであるＩＰアドレス１０．１．０．１を使用して、ＶＣＮ ＶＲ１０５へのデフォルトルートを有する。
【0051】
ＶＣＮ Ａ１０４もまた、１つまたは複数のロードバランサを含むことができる。たとえば、ロードバランサはサブネットに対して提供してもよく、サブネット上の複数のコンピュートインスタンス間でトラフィックを負荷分散するように構成してもよい。ロードバランサはまた、ＶＣＮ内のサブネット間でトラフィックを負荷分散するように提供してもよい。
【0052】
ＶＣＮ１０４上にデプロイされた特定のコンピュートインスタンスは、さまざまな異なるエンドポイントと通信することができる。これらのエンドポイントとしては、ＣＳＰＩ２００によってホストされているエンドポイントと、ＣＳＰＩ２００の外部のエンドポイントとを含むことができる。ＣＳＰＩ１０１によってホストされているエンドポイントは、特定のコンピュートインスタンスと同じサブネット上のエンドポイント（たとえば、サブネット－１内の２つのコンピュートインスタンス間の通信）、異なるサブネットにあるが同じＶＣＮ内のエンドポイント（たとえば、サブネット－１内のコンピュートインスタンスとサブネット－２内のコンピュートインスタンスとの間の通信）、同じリージョン内の異なるＶＣＮ内のエンドポイント（たとえば、サブネット－１内のコンピュートインスタンスと、同じリージョン１０６または１１０のＶＣＮ内のエンドポイントとの間の通信、サブネット－１内のコンピュートインスタンスと、同じリージョンのサービスネットワーク１１０内のエンドポイントとの間の通信）、または異なるリージョン内のＶＣＮ内のエンドポイント（たとえば、サブネット－１内のコンピュートインスタンスと、異なるリージョン１０８内のＶＣＮ内のエンドポイントとの間の通信）を挙げることができる。ＣＳＰＩ１０１によってホストされているサブネット内のコンピュートインスタンスは、ＣＳＰＩ１０１によってホストされていない（すなわち、ＣＳＰＩ１０１の外部にある）エンドポイントとも通信することができる。これらの外部のエンドポイントとしては、顧客のオンプレミスネットワーク１１６内のエンドポイント、他のリモートクラウドホストネットワーク１１８内のエンドポイント、インターネットなどの公衆ネットワークを介してアクセス可能なパブリックエンドポイント１１４、および他のエンドポイントが挙げられる。
【0053】
同じサブネット上のコンピュートインスタンス間の通信は、送信元コンピュートインスタンスおよび宛先コンピュートインスタンスに関連付けられたＶＮＩＣを使用して促進される。たとえば、サブネット－１内のコンピュートインスタンスＣ１は、サブネット－１内のコンピュートインスタンスＣ２にパケットを送信したい場合がある。送信元コンピュートインスタンスを起点とし、宛先が同じサブネット内の別のコンピュートインスタンスであるパケットの場合、パケットは、最初に、送信元コンピュートインスタンスに関連付けられたＶＮＩＣによって処理される。送信元コンピュートインスタンスに関連付けられたＶＮＩＣによって実行される処理としては、パケットヘッダからパケットの宛先情報を決定することと、送信元コンピュートインスタンスに関連付けられたＶＮＩＣに対して構成されたポリシー（たとえば、セキュリティリスト）を特定することと、パケットのネクストホップを決定することと、必要に応じて任意のパケットのカプセル化／非カプセル化機能を実行することと、次いで、パケットのその意図された宛先への通信を容易にする目的で、パケットをネクストホップに転送／ルーティングすることとを挙げることができる。宛先コンピュートインスタンスが送信元コンピュートインスタンスと同じサブネットにある場合、送信元のコンピュートインスタンスに関連付けられたＶＮＩＣは、宛先コンピュートインスタンスに関連付けられたＶＮＩＣを特定し、処理するためにパケットをそのＶＮＩＣに転送するように構成されている。次いで、宛先コンピュートインスタンスに関連付けられたＶＮＩＣは、実行され、パケットを宛先コンピュートインスタンスに転送する。
【0054】
サブネット内のコンピュートインスタンスから同じＶＣＮ内の異なるサブネット内のエンドポイントにパケットを通信する場合、通信は、送信元コンピュートインスタンスおよび宛先コンピュートインスタンスに関連付けられたＶＮＩＣとＶＣＮ ＶＲとによって促進される。たとえば、図１のサブネット－１内のコンピュートインスタンスＣ１が、サブネット－２内のコンピュートインスタンスＤ１にパケットを送信したい場合、パケットは、最初に、コンピュートインスタンスＣ１に関連付けられたＶＮＩＣによって処理される。コンピュートインスタンスＣ１に関連付けられたＶＮＩＣは、ＶＣＮ ＶＲのデフォルトルートまたはポート１０．０．０．１を使用して、パケットをＶＣＮ ＶＲ１０５にルーティングするように構成されている。ＶＣＮ ＶＲ１０５は、ポート１０．１．０．１を使用して、パケットをサブネット－２にルーティングするように構成されている。その後、パケットは、Ｄ１に関連付けられたＶＮＩＣによって受信および処理され、ＶＮＩＣは、パケットをコンピュートインスタンスＤ１に転送する。
【0055】
ＶＣＮ１０４内のコンピュートインスタンスからＶＣＮ１０４の外部のエンドポイントにパケットを通信する場合、通信は、送信元コンピュートインスタンスに関連付けられたＶＮＩＣ、ＶＣＮ ＶＲ１０５、およびＶＣＮ１０４に関連付けられたゲートウェイによって促進される。１つまたは複数のタイプのゲートウェイをＶＣＮ１０４に関連付けることができる。ゲートウェイは、ＶＣＮと別のエンドポイントとの間のインターフェースであり、ここでは、別のエンドポイントはＶＣＮの外部にある。ゲートウェイはレイヤ３／ＩＰレイヤの概念であり、ＶＣＮがＶＣＮの外部のエンドポイントと通信することを可能にする。したがって、ゲートウェイは、ＶＣＮと他のＶＣＮまたはネットワークとの間のトラフィックフローを促進する。異なるタイプのエンドポイントとの異なるタイプの通信を促進するために、ＶＣＮに対してさまざまな異なるタイプのゲートウェイを構成することができる。ゲートウェイに応じて、通信は、公衆ネットワーク（たとえば、インターネット）を介する場合もあれば、プライベートネットワークを介する場合もある。これらの通信には、さまざまな通信プロトコルを使用することができる。
【0056】
たとえば、コンピュートインスタンスＣ１は、ＶＣＮ１０４の外部のエンドポイントと通信したい場合がある。パケットは、最初に、送信元コンピュートインスタンスＣ１に関連付けられたＶＮＩＣによって処理することができる。ＶＮＩＣの処理により、パケットの宛先がＣ１のサブネット－１の外部にあると決定される。Ｃ１に関連付けられたＶＮＩＣは、パケットをＶＣＮ１０４のＶＣＮ ＶＲ１０５に転送することができる。次いで、ＶＣＮ ＶＲ１０５は、パケットを処理し、処理の一部として、パケットの宛先に基づいて、ＶＣＮ１０４に関連付けられた特定のゲートウェイをパケットのネクストホップとして決定する。次いで、ＶＣＮ ＶＲ１０５は、特定の特定されたゲートウェイにパケットを転送することができる。たとえば、宛先が顧客のオンプレミスネットワーク内のエンドポイントである場合、パケットは、ＶＣＮ ＶＲ１０５によって、ＶＣＮ１０４のために構成されたダイナミックルーティングゲートウェイ（ＤＲＧ）ゲートウェイ１２２に転送することができる。その後、パケットは、ゲートウェイからネクストホップに転送され、その最終的な意図された宛先へのパケットの通信を促進することができる。
【0057】
ＶＣＮのために、さまざまな異なるタイプのゲートウェイを構成することができる。ＶＣＮのために構成することができるゲートウェイの例については、図１に示し、後に説明する。ＶＣＮに関連付けられたゲートウェイの例については、図１２、図１３、図１４、および図１５にも示し（たとえば、参照番号１２３４、１２３６、１２３８、１３３４、１３３６、１３３８、１４３４、１４３６、１４３８、１５３４、１５３６、および１５３８によって参照するゲートウェイ）、後に説明する。図１に示す実施形態に示すように、ダイナミックルーティングゲートウェイ（ＤＲＧ）１２２は、顧客ＶＣＮ１０４に追加するか、または顧客ＶＣＮ１０４に関連付けることができ、顧客ＶＣＮ１０４と別のエンドポイントとの間のプライベートネットワークトラフィック通信のための経路を提供し、そこでは、別のエンドポイントは、顧客のオンプレミスネットワーク１１６、ＣＳＰＩ１０１の異なるリージョンにあるＶＣＮ１０８、またはＣＳＰＩ１０１によってホストされていない他のリモートクラウドネットワーク１１８であり得る。顧客オンプレミスネットワーク１１６は、顧客ネットワーク、または顧客のリソースを使用して構築された顧客データセンタであってもよい。顧客オンプレミスネットワーク１１６へのアクセスは、一般的に厳しく制限される。顧客オンプレミスネットワーク１１６と、ＣＳＰＩ１０１によってクラウドにデプロイまたはホストされる１つまたは複数のＶＣＮ１０４との両方を有する顧客の場合、顧客は、自身のオンプレミスネットワーク１１６および自身のクラウドベースのＶＣＮ１０４が互いに通信することができることを望む場合がある。これによって、顧客は、ＣＳＰＩ１０１によってホストされている顧客のＶＣＮ１０４と自身のオンプレミスネットワーク１１６と含む拡張ハイブリッド環境を構築することができる。ＤＲＧ１２２によって、このような通信が可能になる。このような通信を可能にするために、通信チャネル１２４が設定され、そこでは、チャネルの一方のエンドポイントは顧客のオンプレミスネットワーク１１６内にあり、他方のエンドポイントはＣＳＰＩ１０１内にあり、顧客のＶＣＮ１０４に接続されている。通信チャネル１２４は、インターネットなどの公衆通信ネットワーク、またはプライベート通信ネットワークを介することができる。インターネットなどの公衆通信ネットワーク上のＩＰｓｅｃ ＶＰＮ技術、公衆ネットワークの代わりにプライベートネットワークを使用するオラクル（Ｏｒａｃｌｅ）のＦａｓｔＣｏｎｎｅｃｔ技術など、さまざまな異なる通信プロトコルを使用することができる。通信チャネル１２４の１つのエンドポイントを形成する顧客オンプレミスネットワーク１１６内のデバイスまたは機器は、図１に示すＣＰＥ１２６などの顧客構内設備（ＣＰＥ）と称される。ＣＳＰＩ１０１側では、エンドポイントは、ＤＲＧ１２２を実行するホストマシンであってもよい。いくつかの実施形態では、リモートピアリング接続（ＲＰＣ）をＤＲＧに追加することができ、これによって、顧客は、１つのＶＣＮを別のリージョン内の別のＶＣＮとピアリングすることができる。このようなＲＰＣを使用して、顧客ＶＣＮ１０４は、ＤＲＧ１２２を使用して、別のリージョン内のＶＣＮ１０８と接続することができる。ＤＲＧ１２２を使用して、Ｍｉｃｒｏｓｏｆｔ Ａｚｕｒｅクラウド、Ａｍａｚｏｎ ＡＷＳクラウドなど、ＣＳＰＩ１０１によってホストされていない他のリモートクラウドネットワーク１１８と通信することもできる。
【0058】
図１に示すように、顧客ＶＣＮ１０４にインターネットゲートウェイ（ＩＧＷ）１２０を構成することができ、これによって、ＶＣＮ１０４上のコンピュートインスタンスが、インターネットなどの公衆ネットワークを介してアクセス可能なパブリックエンドポイント１１４と通信することができる。ＩＧＷ１１２０は、ＶＣＮをインターネットなどの公衆ネットワークに接続するゲートウェイである。ＩＧＷ１２０は、ＶＣＮ１０４などのＶＣＮ内のパブリックサブネット（そこでは、パブリックサブネット内のリソースは、パブリックオーバーレイＩＰアドレスを有する）が、インターネットなどの公衆ネットワーク１１４上のパブリックエンドポイント１１２に直接アクセスすることを可能にする。ＩＧＷ１２０を使用して、ＶＣＮ１０４内のサブネットからまたはインターネットから、接続を開始することができる。
【0059】
顧客ＶＣＮ１０４にネットワークアドレス変換（ＮＡＴ）ゲートウェイ１２８を構成することができ、ＮＡＴゲートウェイ１２８は、専用のパブリックオーバーレイＩＰアドレスを有していない顧客ＶＣＮ内のクラウドリソースが、それらのリソースを直接着信インターネット接続（たとえば、Ｌ４－Ｌ７接続）にさらすことなくインターネットにアクセスすることができるようにする。これによって、ＶＣＮ１０４内のプライベートサブネット－１などのＶＣＮ内のプライベートサブネットが、インターネット上のパブリックエンドポイントにプライベートアクセスすることができる。ＮＡＴゲートウェイでは、接続はプライベートサブネットから公衆インターネットにのみ開始することができ、インターネットからプライベートサブネットには開始することができない。
【0060】
いくつかの実施形態では、顧客ＶＣＮ１０４にサービスゲートウェイ（ＳＧＷ）１２６を構成することができ、ＳＧＷ１２６は、ＶＣＮ１０４とサービスネットワーク１１０においてサポートされているサービスエンドポイントとの間のプライベートネットワークトラフィックの経路を提供する。いくつかの実施形態では、サービスネットワーク１１０は、ＣＳＰによって提供してもよく、さまざまなサービスを提供することができる。このようなサービスネットワークの一例は、顧客が使用することができるさまざまなサービスを提供する、オラクル（Ｏｒａｃｌｅ）のサービスネットワークである。たとえば、顧客ＶＣＮ１０４のプライベートサブネット内のコンピュートインスタンス（たとえば、データベースシステム）は、公衆ＩＰアドレスもインターネットへのアクセスも必要とすることなく、サービスエンドポイント（たとえば、オブジェクトストレージ）にデータをバックアップすることができる。いくつかの実施形態では、ＶＣＮは、１つのＳＧＷのみを有することができ、接続は、ＶＣＮ内のサブネットからのみ開始することができ、サービスネットワーク１１０からは開始することができない。あるＶＣＮが別のＶＣＮとピアリングされる場合、他のＶＣＮ内のリソースは、通常、ＳＧＷにアクセスすることができない。ＦａｓｔＣｏｎｎｅｃｔまたはＶＰＮ ＣｏｎｎｅｃｔでＶＣＮに接続されているオンプレミスネットワーク内のリソースも、そのＶＣＮに構成されたサービスゲートウェイを使用することができる。
【0061】
いくつかの実施態様では、ＳＧＷ１２６は、サービスクラスレスドメイン間ルーティング（ＣＩＤＲ：Ｃｌａｓｓｌｅｓｓ Ｉｎｔｅｒ－Ｄｏｍａｉｎ Ｒｏｕｔｉｎｇ）ラベルの概念を使用し、ＣＩＤＲラベルは、関心のあるサービスまたはサービスのグループに対するすべてのリージョン公衆ＩＰアドレス範囲を表す文字列である。顧客は、ＳＧＷおよび関連するルーティングルールを構成するときにサービスＣＩＤＲラベルを使用して、サービスへのトラフィックを制御する。顧客は、将来サービスの公衆ＩＰアドレスが変化した場合、セキュリティルールを調整する必要なく、セキュリティルールを構成するときに任意選択的にサービスＣＩＤＲラベルを使用することができる。
【0062】
ローカルピアリングゲートウェイ（ＬＰＧ）１３２は、顧客ＶＣＮ１０４に追加することができるゲートウェイであり、ＶＣＮ１０４が同じリージョン内の別のＶＣＮとピアリングすることを可能にするものである。ピアリングとは、トラフィックがインターネットなどの公衆ネットワークを経由することなく、かつ顧客のオンプレミスネットワーク１１６を通してトラフィックをルーティングすることなく、ＶＣＮがプライベートＩＰアドレスを使用して通信することを意味する。好ましい実施形態では、ＶＣＮは、確立する各ピアリングに対して個別のＬＰＧを有する。ローカルピアリングまたはＶＣＮピアリングは、異なるアプリケーション間またはインフラストラクチャ管理機能間のネットワーク接続を確立するために使用される一般的な慣行である。
【0063】
サービスネットワーク１１０内のサービスのプロバイダなどのサービスプロバイダは、異なるアクセスモデルを使用してサービスへのアクセスを提供することができる。パブリックアクセスモデルによれば、サービスは、インターネットなどの公衆ネットワークを介して顧客ＶＣＮ内のコンピュートインスタンスによってパブリックにアクセス可能であるパブリックエンドポイントとして公開してもよく、かつ／またはＳＧＷ１２６を介してプライベートにアクセス可能である。特定のプライベートアクセスモデルによれば、サービスは、顧客ＶＣＮ内のプライベートサブネット内のプライベートＩＰエンドポイントとしてアクセス可能となる。これは、プライベートエンドポイント（ＰＥ）アクセスと称され、サービスプロバイダがそのサービスを顧客のプライベートネットワーク内のインスタンスとして公開することを可能にする。プライベートエンドポイントリソースは、顧客のＶＣＮ内のサービスを表す。各ＰＥは、顧客が顧客ＶＣＮ内のサブネットから選択したＶＮＩＣ（ＰＥ－ＶＮＩＣと称され、１つまたは複数のプライベートＩＰを有する）として現れる。したがって、ＰＥは、ＶＮＩＣを使用して顧客のプライベートＶＣＮサブネット内でサービスを提示する方法を提供する。エンドポイントがＶＮＩＣとして公開されるため、ルーティングルールおよびセキュリティリストなど、ＶＮＩＣに関連付けられたすべての機能がＰＥ ＶＮＩＣで利用可能となる。
【0064】
サービスプロバイダは、それらのサービスを登録して、ＰＥを介するアクセスを可能にすることができる。プロバイダは、顧客テナンシへのサービスの可視性を制限するポリシーをサービスに関連付けることができる。プロバイダは、特にマルチテナントサービスの場合、単一の仮想ＩＰアドレス（ＶＩＰ）の下に複数のサービスを登録することができる。（複数のＶＣＮにおいて）同じサービスを表すプライベートエンドポイントが複数存在する可能性がある。
【0065】
次いで、プライベートサブネット内のコンピュートインスタンスは、ＰＥ ＶＮＩＣのプライベートＩＰアドレスまたはサービスＤＮＳ名を使用して、サービスにアクセスすることができる。顧客ＶＣＮ内のコンピュートインスタンスは、顧客ＶＣＮ内のＰＥのプライベートＩＰアドレスにトラフィックを送信することによって、サービスにアクセスすることができる。プライベートアクセスゲートウェイ（ＰＡＧＷ）１３０は、顧客サブネットプライベートエンドポイントから／顧客サブネットプライベートエンドポイントへのすべてのトラフィックのイングレスポイント／エグレスポイントとして作用するサービスプロバイダＶＣＮ（たとえば、サービスネットワーク１１０内のＶＣＮ）にアタッチすることができるゲートウェイリソースである。ＰＡＧＷ１３０によって、プロバイダは、その内部ＩＰアドレスリソースを利用することなく、ＰＥ接続の数を拡張することができる。プロバイダは、単一のＶＣＮに登録された任意の数のサービスに対して１つのＰＡＧＷを構成するだけでよい。プロバイダは、１または複数の顧客の複数のＶＣＮにおいて、サービスをプライベートエンドポイントとして表すことができる。顧客の観点から、ＰＥ ＶＮＩＣは、顧客のインスタンスにアタッチされているのではなく、顧客がインタラクトしたいサービスにアタッチされているように見える。プライベートエンドポイントに向けられたトラフィックは、ＰＡＧＷ１３０を介してサービスにルーティングされる。これらは、顧客対サービスプライベート接続（Ｃ２Ｓ接続）と称される。
【0066】
ＰＥ概念を使用して、トラフィックがＦａｓｔＣｏｎｎｅｃｔ／ＩＰｓｅｃリンクおよび顧客ＶＣＮ内のプライベートエンドポイントを通って流れることを可能にすることによって、サービスのプライベートアクセスを顧客のオンプレミスネットワークおよびデータセンタに拡張することもできる。トラフィックがＬＰＧ１３２と顧客のＶＣＮ内のＰＥとの間を通って流れることを可能にすることによって、サービスのプライベートアクセスを顧客のピアリングＶＣＮに拡張することもできる。
【0067】
顧客は、サブネットレベルでＶＣＮのルーティングを制御することができるため、ＶＣＮ１０４などの顧客ＶＣＮにおいて各ゲートウェイを使用するサブネットを指定することができる。ＶＣＮのルートテーブルを使用して、トラフィックが特定のゲートウェイを介してＶＣＮの外部に出ることができるか否かが決定される。たとえば、特定の事例において、顧客ＶＣＮ１０４内のパブリックサブネットのルートテーブルは、ＩＧＷ１２０を介して非ローカルトラフィックを送信することができる。同じ顧客ＶＣＮ１０４内のプライベートサブネットのルートテーブルは、ＳＧＷ１２６を介してＣＳＰサービスに向けられたトラフィックを送信することができる。残りのすべてのトラフィックは、ＮＡＴゲートウェイ１２８を介して送信することができる。ルートテーブルは、ＶＣＮから出るトラフィックのみを制御する。
【0068】
ＶＣＮに関連付けられたセキュリティリストを使用して、インバウンド接続によってゲートウェイを介してＶＣＮに入来するトラフィックが制御される。サブネット内のすべてのリソースは、同じルートテーブルおよびセキュリティリストを使用する。セキュリティリストを使用して、ＶＣＮのサブネット内のインスタンスに出入りすることができる特定のタイプのトラフィックを制御することができる。セキュリティリストルールは、イングレス（インバウンド）ルールとエグレス（アウトバウンド）ルールとを含むことができる。たとえば、イングレスルールは、許可された送信元アドレス範囲を指定することができ、エグレスルールは、許可された宛先アドレス範囲を指定することができる。セキュリティルールは、特定のプロトコル（たとえば、ＴＣＰ、ＩＣＭＰ）、特定のポート（たとえば、ＳＳＨの場合ポート２２、Ｗｉｎｄｏｗｓ ＲＤＰの場合ポート３３８９）などを指定することができる。いくつかの実施態様では、インスタンスのオペレーティングシステムは、セキュリティリストルールと一致する独自のファイアウォールルールを実施することができる。ルールは、ステートフル（たとえば、接続が追跡され、応答トラフィックに対する明示的なセキュリティリストルールなしで応答が自動的に許可される）であっても、ステートレスであってもよい。
【0069】
顧客ＶＣＮからの（すなわち、ＶＣＮ１０４上にデプロイされたリソースまたはコンピュートインスタンスによる）アクセスは、パブリックアクセス、プライベートアクセス、または専用アクセスとして分類することができる。パブリックアクセスは、公衆ＩＰアドレスまたはＮＡＴを使用してパブリックエンドポイントにアクセスするアクセスモデルを指す。プライベートアクセスにより、プライベートＩＰアドレス（たとえば、プライベートサブネット内のリソース）を有するＶＣＮ１０４内の顧客ワークロードが、インターネットなどの公衆ネットワークを経由することなく、サービスにアクセスすることができる。いくつかの実施形態では、ＣＳＰＩ１０１により、プライベートＩＰアドレスを有する顧客ＶＣＮワークロードが、サービスゲートウェイを使用して、サービス（のパブリックサービスエンドポイント）にアクセスすることができる。したがって、サービスゲートウェイは、顧客のＶＣＮと顧客のプライベートネットワークの外部に存在するサービスのパブリックエンドポイントとの間に仮想リンクを確立することによって、プライベートアクセスモデルを提供する。
【0070】
さらに、ＣＳＰＩは、ＦａｓｔＣｏｎｎｅｃｔパブリックピアリングなどの技術を使用する専用パブリックアクセスを提供することができ、この場合、顧客オンプレミスインスタンスは、インターネットなどの公衆ネットワークを経由することなく、ＦａｓｔＣｏｎｎｅｃｔ接続を使用して顧客ＶＣＮ内の１つまたは複数のサービスにアクセスすることができる。ＣＳＰＩは、ＦａｓｔＣｏｎｎｅｃｔプライベートピアリングを使用する専用プライベートアクセスを提供することもでき、この場合、プライベートＩＰアドレスを有する顧客オンプレミスインスタンスは、ＦａｓｔＣｏｎｎｅｃｔ接続を使用して顧客のＶＣＮワークロードにアクセスすることができる。ＦａｓｔＣｏｎｎｅｃｔは、公衆インターネットを使用して顧客のオンプレミスネットワークをＣＳＰＩおよびそのサービスに接続する代わりに使用されるネットワーク接続である。ＦａｓｔＣｏｎｎｅｃｔは、インターネットベースの接続と比較した場合、より高い帯域幅オプションとより信頼性の高い一貫したネットワーキング体験とを有する専用のプライベート接続を、簡単で、柔軟でかつ経済的に作成する方法を提供する。
【0071】
図１および上記の添付の説明は、仮想ネットワーク例におけるさまざまな仮想化コンポーネントについて説明している。上述したように、仮想ネットワークは、基礎となる物理ネットワークまたは基盤ネットワーク上に構築される。図２は、いくつかの実施形態による、仮想ネットワークのアンダーレイを提供するＣＳＰＩ２００内の物理ネットワーク内の物理コンポーネントの簡略化アーキテクチャ図を示す。図示するように、ＣＳＰＩ２００は、クラウドサービスプロバイダ（ＣＳＰ）によって提供されるコンポーネントおよびリソース（たとえば、コンピュートリソース、メモリリソース、およびネットワーキングリソース）を含む分散環境を提供する。これらのコンポーネントおよびリソースを使用して、サブスクライブしている顧客、すなわち、ＣＳＰによって提供される１つまたは複数のサービスにサブスクライブしている顧客にクラウドサービス（たとえば、ＩａａＳサービス）が提供される。顧客がサブスクライブしているサービスに基づいて、ＣＳＰＩ２００のリソース（たとえば、コンピュートリソース、メモリリソース、およびネットワーキングリソース）の一部が顧客にプロビジョニングされる。その後、顧客は、ＣＳＰＩ２００によって提供される物理的なコンピュートリソース、メモリリソース、およびネットワーキングリソースを使用して、独自のクラウドベース（すなわち、ＣＳＰＩホスト型）のカスタマイズ可能なプライベート仮想ネットワークを構築することができる。前述したように、これらの顧客ネットワークは、仮想クラウドネットワーク（ＶＣＮ）と称される。顧客は、これらの顧客ＶＣＮに、コンピュートインスタンスなどの１つまたは複数の顧客リソースをデプロイすることができる。コンピュートインスタンスは、仮想マシン、ベアメタルインスタンスなどの形態であり得る。ＣＳＰＩ２００は、顧客が高可用性のホスト環境において広範なアプリケーションおよびサービスを構築および実行することができるようにする、インフラストラクチャおよび一連の補完的なクラウドサービスを提供する。
【0072】
図２に示す実施形態例では、ＣＳＰＩ２００の物理コンポーネントは、１つまたは複数の物理ホストマシンまたは物理サーバ（たとえば、２０２、２０６、２０８）、ネットワーク仮想化デバイス（ＮＶＤ）（たとえば、２１０、２１２）、トップオブラック（ＴＯＲ）スイッチ（たとえば、２１４、２１６）、および物理ネットワーク（たとえば、２１８）、ならびに物理ネットワーク２１８内のスイッチを含む。物理ホストマシンまたはサーバは、ＶＣＮの１つまたは複数のサブネットに参加しているさまざまなコンピュートインスタンスをホストおよび実行することができる。コンピュートインスタンスは、仮想マシンインスタンスおよびベアメタルインスタンスを含むことができる。たとえば、図１に示すさまざまなコンピュートインスタンスは、図２に示す物理ホストマシンによってホストしてもよい。ＶＣＮ内の仮想マシンコンピュートインスタンスは、１つのホストマシンによって実行しても、複数の異なるホストマシンによって実行してもよい。物理ホストマシンは、仮想ホストマシン、コンテナベースのホストまたは機能などをホストすることもできる。図１に示すＶＮＩＣおよびＶＣＮ ＶＲは、図２に示すＮＶＤによって実行してもよい。図１に示すゲートウェイは、図２に示すホストマシンおよび／またはＮＶＤによって実行してもよい。
【0073】
ホストマシンまたはサーバは、ホストマシン上で仮想化環境を作成するとともに可能にするハイパーバイザ（仮想マシンモニタまたはＶＭＭとも称される）を実行することができる。仮想化または仮想化環境は、クラウドベースコンピューティングを容易にする。１つまたは複数のコンピュートインスタンスは、ホストマシン上のハイパーバイザによって、ホストマシン上で作成し、実行し、管理することができる。ホストマシン上のハイパーバイザにより、ホストマシンの物理的なコンピューティングリソース（たとえば、コンピュートリソース、メモリリソース、およびネットワーキングリソース）を、ホストマシンによって実行されるさまざまなコンピュートインスタンス間で共有することができる。
【0074】
たとえば、図２に示すように、ホストマシン２０２および２０８は、それぞれハイパーバイザ２６０および２６６を実行する。これらのハイパーバイザは、ソフトウェア、ファームウェア、もしくはハードウェア、またはそれらの組み合わせを使用して実装することができる。典型的には、ハイパーバイザは、ホストマシンのオペレーティングシステム（ＯＳ）の上に位置するプロセスまたはソフトウェアレイヤであり、ＯＳは、さらに、ホストマシンのハードウェアプロセッサ上で実行する。ハイパーバイザは、ホストマシンの物理的なコンピューティングリソース（たとえば、プロセッサ／コア、メモリリソース、ネットワーキングリソースなどの処理リソース）を、ホストマシンによって実行されるさまざまな仮想マシンコンピュートインスタンス間で共有することができるようにすることによって、仮想化環境を提供する。たとえば、図２において、ハイパーバイザ２６０は、ホストマシン２０２のＯＳの上に位置することができ、ホストマシン２０２のコンピューティングリソース（たとえば、処理リソース、メモリリソース、およびネットワーキングリソース）を、ホストマシン２０２によって実行されるコンピュートインスタンス（たとえば、仮想マシン）間で共有することができるようにする。仮想マシンは、独自のオペレーティングシステム（ゲストオペレーティングシステムと称される）を有することができ、このオペレーティングシステムは、ホストマシンのＯＳと同じであっても、異なっていてもよい。ホストマシンによって実行される仮想マシンのオペレーティングシステムは、同じホストマシンによって実行される別の仮想マシンのＯＳと同じであっても、異なっていてもよい。したがって、ハイパーバイザにより、複数のオペレーティングシステムを、ホストマシンの同じコンピューティングリソースを共有しながら、並行して実行することができる。図２に示すホストマシンは、同じタイプのハイパーバイザを有しても、異なるタイプのハイパーバイザを有してもよい。
【0075】
コンピュートインスタンスは、仮想マシンインスタンスまたはベアメタルインスタンスであり得る。図２において、ホストマシン２０２上のコンピュートインスタンス２６８およびホストマシン２０８上のコンピュートインスタンス２７４は、仮想マシンインスタンスの例である。ホストマシン２０６は、顧客に提供されるベアメタルインスタンスの一例である。
【0076】
いくつかの事例では、ホストマシンの全体を、単一の顧客にプロビジョニングしてもよく、そのホストマシンによってホストされている１つまたは複数のコンピュートインスタンス（仮想マシンまたはベアメタルインスタンスのいずれか）は、すべてその同じ顧客に属してもよい。他の事例では、ホストマシンは、複数の顧客（すなわち、複数のテナント）間で共有してもよい。このようなマルチテナントシナリオにおいて、ホストマシンは、異なる顧客に属する仮想マシンコンピュートインスタンスをホストすることができる。これらのコンピュートインスタンスは、異なる顧客の異なるＶＣＮのメンバであってもよい。いくつかの実施形態では、ベアメタルコンピュートインスタンスは、ハイパーバイザのないベアメタルサーバによってホストされている。ベアメタルコンピュートインスタンスがプロビジョニングされる場合、単一の顧客またはテナントは、ベアメタルインスタンスをホストしているホストマシンの物理ＣＰＵ、メモリ、およびネットワークインターフェースの制御を維持し、ホストマシンは、他の顧客またはテナントに共有されない。
【0077】
前述したように、ＶＣＮの一部である各コンピュートインスタンスは、コンピュートインスタンスがＶＣＮのサブネットのメンバになることを可能にするＶＮＩＣに関連付けられる。コンピュートインスタンスに関連付けられたＶＮＩＣは、コンピュートインスタンスとの間のパケットまたはフレームの通信を容易にする。ＶＮＩＣは、コンピュートインスタンスが作成されるときにコンピュートインスタンスに関連付けられる。いくつかの実施形態では、ホストマシンによって実行されるコンピュートインスタンスについて、そのコンピュートインスタンスに関連付けられたＶＮＩＣは、ホストマシンに接続されたＮＶＤによって実行される。たとえば、図２において、ホストマシン２０２は、ＶＮＩＣ２７６に関連付けられた仮想マシンコンピュートインスタンス２６８を実行し、ＶＮＩＣ２７６は、ホストマシン２０２に接続されたＮＶＤ２１０によって実行される。別の例として、ホストマシン２０６によってホストされているベアメタルインスタンス２７２は、ホストマシン２０６に接続されたＮＶＤ２１２によって実行されるＶＮＩＣ２８０に関連付けられる。さらに別の例として、ＶＮＩＣ２８４は、ホストマシン２０８によって実行されるコンピュートインスタンス２７４に関連付けられ、ＶＮＩＣ２８４は、ホストマシン２０８に接続されたＮＶＤ２１２によって実行される。
【0078】
ホストマシンによってホストされているコンピュートインスタンスについて、そのホストマシンに接続されたＮＶＤは、コンピュートインスタンスがメンバであるＶＣＮに対応するＶＣＮ ＶＲも実行する。たとえば、図２に示す実施形態では、ＮＶＤ２１０は、コンピュートインスタンス２６８がメンバであるＶＣＮに対応するＶＣＮ ＶＲ２７７を実行する。ＮＶＤ２１２もまた、ホストマシン２０６および２０８によってホストされているコンピュートインスタンスに対応するＶＣＮに対応する１つまたは複数のＶＣＮ ＶＲ２８３を実行することができる。
【0079】
ホストマシンは、ホストマシンが他のデバイスに接続されることを可能にする１つまたは複数のネットワークインターフェースカード（ＮＩＣ）を含むことができる。ホストマシン上のＮＩＣは、ホストマシンが別のデバイスに通信可能に接続されることを可能にする１つまたは複数のポート（またはインターフェース）を提供することができる。たとえば、ホストマシンおよびＮＶＤに設けられた１つまたは複数のポート（またはインターフェース）を使用して、ホストマシンをＮＶＤに接続することができる。ホストマシンを別のホストマシンなどの他のデバイスに接続することもできる。
【0080】
たとえば、図２において、ホストマシン２０２は、ホストマシン２０２のＮＩＣ２３２によって提供されるポート２３４とＮＶＤ２１０のポート２３６との間に延びるリンク２２０を使用して、ＮＶＤ２１０に接続されている。ホストマシン２０６は、ホストマシン２０６のＮＩＣ２４４によって提供されるポート２４６とＮＶＤ２１２のポート２４８との間に延びるリンク２２４を使用して、ＮＶＤ２１２に接続されている。ホストマシン２０８は、ホストマシン２０８のＮＩＣ２５０によって提供されるポート２５２とＮＶＤ２１２のポート２５４との間に延びるリンク２２６を使用して、ＮＶＤ２１２に接続されている。
【0081】
ＮＶＤは、さらに、通信リンクを介して、（スイッチファブリックとも称される）物理ネットワーク２１８に接続されているトップオブラック（ＴＯＲ）スイッチに接続されている。いくつかの実施形態では、ホストマシンとＮＶＤとの間のリンクおよびＮＶＤとＴＯＲスイッチとの間のリンクは、イーサネット（Ｅｔｈｅｒｎｅｔ）リンクである。たとえば、図２において、ＮＶＤ２１０および２１２は、リンク２２８および２３０を使用して、ＴＯＲスイッチ２１４および２１６にそれぞれ接続されている。いくつかの実施形態では、リンク２２０、２２４、２２６、２２８、および２３０は、イーサネットリンクである。ＴＯＲに接続されているホストマシンおよびＮＶＤの集合体は、ラックと称されることがある。
【0082】
物理ネットワーク２１８は、ＴＯＲスイッチが互いに通信することを可能にする通信ファブリックを提供する。物理ネットワーク２１８は、多層ネットワークであり得る。いくつかの実施態様では、物理ネットワーク２１８は、スイッチの多層Ｃｌｏｓネットワークであり、ＴＯＲスイッチ２１４および２１６は、多層およびマルチノード物理スイッチングネットワーク２１８のリーフレベルノードを表す。限定されないが、２層ネットワーク、３層ネットワーク、４層ネットワーク、５層ネットワーク、および概して「ｎ」層ネットワークを含む、異なるＣｌｏｓネットワーク構成が可能である。ＣＩｏｓネットワークの一例については、図５に示し、後に説明する。
【0083】
ホストマシンとＮＶＤとの間には、１対１構成、多対１構成、および１対多構成などのさまざまな異なる接続構成が可能である。１対１構成の実施態様では、各ホストマシンは、それ自体の別個のＮＶＤに接続されている。たとえば、図２において、ホストマシン２０２は、ホストマシン２０２のＮＩＣ２３２を介してＮＶＤ２１０に接続されている。多対１構成では、複数のホストマシンは、１つのＮＶＤに接続されている。たとえば、図２において、ホストマシン２０６および２０８は、それぞれＮＩＣ２４４および２５０を介して同じＮＶＤ２１２に接続されている。
【0084】
１対多構成では、１つのホストマシンは、複数のＮＶＤに接続されている。図３は、ホストマシンが複数のＮＶＤに接続されているＣＳＰＩ３００内の一例を示す。図３に示すように、ホストマシン３０２は、複数のポート３０６および３０８を含むネットワークインターフェースカード（ＮＩＣ）３０４を備える。ホストマシン３００は、ポート３０６およびリンク３２０を介して第１のＮＶＤ３１０に接続され、ポート３０８およびリンク３２２を介して第２のＮＶＤ３１２に接続されている。ポート３０６および３０８は、イーサネットポートであってもよく、ホストマシン３０２とＮＶＤ３１０および３１２との間のリンク３２０および３２２は、イーサネットリンクであってもよい。ＮＶＤ３１０は、さらに、第１のＴＯＲスイッチ３１４に接続され、ＮＶＤ３１２は、第２のＴＯＲスイッチ３１６に接続されている。ＮＶＤ３１０および３１２とＴＯＲスイッチ３１４および３１６との間のリンクは、イーサネットリンクであってもよい。ＴＯＲスイッチ３１４および３１６は、多層物理ネットワーク３１８内の層－０スイッチングデバイスを表す。
【0085】
図３に示す配置は、物理スイッチネットワーク３１８からホストマシン３０２への２つの別々の物理ネットワーク経路、すなわち、ＴＯＲスイッチ３１４を介してＮＶＤ３１０を経由してホストマシン３０２への第１の経路と、ＴＯＲスイッチ３１６を介してＮＶＤ３１２を経由してホストマシン３０２への第２の経路とを提供する。別々の経路により、ホストマシン３０２の強化された可用性（高可用性と称する）が提供される。経路の一方に問題がある（たとえば、経路の一方のリンクが故障した）場合またはデバイスに問題がある（たとえば、特定のＮＶＤが機能していない）場合、ホストマシン３０２との間の通信に他方の経路を使用することができる。
【0086】
図３に示す構成では、ホストマシンは、ホストマシンのＮＩＣによって提供される２つの異なるポートを使用して２つの異なるＮＶＤに接続されている。他の実施形態では、ホストマシンは、ホストマシンの複数のＮＶＤへの接続を可能にする複数のＮＩＣを含んでもよい。
【0087】
再び図２を参照すると、ＮＶＤは、１つまたは複数のネットワーク仮想化機能および／またはストレージ仮想化機能を実行する物理デバイスまたはコンポーネントである。ＮＶＤは、１つまたは複数の処理装置（たとえば、ＣＰＵ、ネットワーク処理装置（ＮＰＵ）、ＦＰＧＡ、パケット処理パイプラインなど）、キャッシュを含むメモリ、およびポートを有する任意のデバイスであり得る。さまざまな仮想化機能は、ＮＶＤの１つまたは複数の処理装置によって実行されるソフトウェア／ファームウェアによって実行される場合がある。
【0088】
ＮＶＤは、さまざまな異なる形で実装することができる。たとえば、いくつかの実施形態では、ＮＶＤは、組み込みプロセッサを搭載したスマートＮＩＣまたはインテリジェントＮＩＣと称されるインターフェースカードとして実装される。スマートＮＩＣは、ホストマシン上のＮＩＣとは別個のデバイスである。図２において、それぞれ、ＮＶＤ２１０は、ホストマシン２０２に接続されているスマートＮＩＣとして実装することができ、ＮＶＤ２１２は、ホストマシン２０６および２０８に接続されているスマートＮＩＣとして実装することができる。
【0089】
しかしながら、スマートＮＩＣは、ＮＶＤ実施態様の一例にすぎない。さまざまな他の実施態様が可能である。たとえば、いくつかの他の実施態様では、ＮＶＤ、またはＮＶＤによって実行される１つまたは複数の機能は、ＣＳＰＩ２００の１つまたは複数のホストマシン、１つまたは複数のＴＯＲスイッチ、および他のコンポーネントに組み込むか、またはそれらによって実行してもよい。たとえば、ＮＶＤは、ホストマシンに組み込んでもよく、この場合、ＮＶＤによって実行される機能は、ホストマシンによって実行される。別の例として、ＮＶＤは、ＴＯＲスイッチの一部であってもよく、またはＴＯＲスイッチは、ＴＯＲスイッチがパブリッククラウドに使用されるさまざまな複雑なパケット変換を実行することができるようにするＮＶＤによって実行される機能を実行するように構成してもよい。ＮＶＤの機能を実行するＴＯＲは、スマートＴＯＲと称される場合がある。ベアメタル（ＢＭ）インスタンスではなく仮想マシン（ＶＭ）インスタンスが顧客に提供されるさらに他の実施態様では、ＮＶＤによって実行される機能は、ホストマシンのハイパーバイザの内部に実装してもよい。他のいくつかの実施態様では、ＮＶＤの機能のうちのいくつかは、ホストマシンのフリート上で実行している集中型サービスにオフロードしてもよい。
【0090】
図２に示すようにスマートＮＩＣとして実装される場合などのいくつかの実施形態では、ＮＶＤは、ＮＶＤが１つまたは複数のホストマシンおよび１つまたは複数のＴＯＲスイッチに接続されることを可能にする複数の物理ポートを備えることができる。ＮＶＤ上のポートは、ホスト側ポート（「サウスポート」（ｓｏｕｔｈ ｐｏｒｔ）とも称される）またはネットワーク側もしくはＴＯＲ側ポート（「ノースポート」（ｎｏｒｔｈ ｐｏｒｔ）とも称される）に分類することができる。ＮＶＤのホスト側ポートは、ＮＶＤをホストマシンに接続するために使用されるポートである。図２においてホスト側ポートの例は、ＮＶＤ２１０のポート２３６、ならびにＮＶＤ２１２のポート２４８および２５４を含む。ＮＶＤのネットワーク側ポートは、ＮＶＤをＴＯＲスイッチに接続するために使用されるポートである。図２のネットワーク側ポートの例は、ＮＶＤ２１０のポート２５６、およびＮＶＤ２１２のポート２５８を含む。図２に示すように、ＮＶＤ２１０は、ＮＶＤ２１０のポート２５６からＴＯＲスイッチ２１４まで延びるリンク２２８を使用してＴＯＲスイッチ２１４に接続されている。同様に、ＮＶＤ２１２は、ＮＶＤ２１２のポート２５８からＴＯＲスイッチ２１６まで延びるリンク２３０を使用してＴＯＲスイッチ２１６に接続されている。
【0091】
ＮＶＤは、ホスト側ポートを介して、ホストマシンからパケットおよびフレーム（たとえば、ホストマシンによってホストされているコンピュートインスタンスによって生成されたパケットおよびフレーム）を受信し、必要なパケット処理を実行した後、ＮＶＤのネットワーク側ポートを介してパケットおよびフレームをＴＯＲスイッチに転送することができる。ＮＶＤは、ＮＶＤのネットワーク側ポートを介してＴＯＲスイッチからパケットおよびフレームを受信することができ、必要なパケット処理を実行した後、ＮＶＤのホスト側ポートを介してパケットおよびフレームをホストマシンに転送することができる。
【0092】
いくつかの実施形態では、ＮＶＤとＴＯＲスイッチとの間に複数のポートおよび関連するリンクがあり得る。これらのポートおよびリンクを集約して、複数のポートまたはリンクのリンクアグリゲータグループ（ＬＡＧと称される）を形成することができる。リンクの集約により、２つのエンドポイント間（たとえば、ＮＶＤとＴＯＲスイッチとの間）の複数の物理リンクを単一の論理リンクとして扱うことができる。所与のＬＡＧ内のすべての物理リンクは、同じ速度で、全二重モードで動作することができる。ＬＡＧは、２つのエンドポイント間の接続の帯域幅および信頼性を高めるのに役立つ。ＬＡＧ内の物理リンクのうちの１つが故障した場合、トラフィックは、ＬＡＧ内の他の物理リンクのうちの１つに動的にかつ透過的に再割り当てされる。集約された物理リンクは、各個々のリンクよりも高い帯域幅を提供する。ＬＡＧに関連付けられた複数のポートは、単一の論理ポートとして扱われる。トラフィックをＬＡＧの複数の物理リンクに負荷分散することができる。２つのエンドポイント間に１つまたは複数のＬＡＧを構成することができる。２つのエンドポイントは、ＮＶＤとＴＯＲスイッチとの間、ホストマシンとＮＶＤとの間などにあり得る。
【0093】
ＮＶＤは、ネットワーク仮想化機能を実装または実行する。これらの機能は、ＮＶＤによって実行されるソフトウェア／ファームウェアによって実行される。ネットワーク仮想化機能の例としては、限定なしに、パケットのカプセル化および非カプセル化機能、ＶＣＮネットワークを作成する機能、ＶＣＮセキュリティリスト（ファイアウォール）機能などのネットワークポリシーを実装する機能、ＶＣＮ内のコンピュートインスタンスとの間のパケットのルーティングおよび転送を容易にする機能などが挙げられる。いくつかの実施形態では、ＮＶＤは、パケットを受信したとき、パケットを処理し、パケットをいかに転送またはルーティングするかを決定するパケット処理パイプラインを実行するように構成されている。このパケット処理パイプラインの一部として、ＮＶＤは、ＶＣＮ内のｃｉｓに関連付けられたＶＮＩＣの実行、ＶＣＮに関連付けられた仮想ルータ（ＶＲ）の実行、仮想ネットワーク内の転送またはルーティングを容易にするためのパケットのカプセル化および非カプセル化、いくつかのゲートウェイ（たとえば、ローカルピアリングゲートウェイ）の実行、セキュリティリストの実装、ネットワークセキュリティグループ、ネットワークアドレス変換（ＮＡＴ）機能（たとえば、ホスト単位でのホスト上での公衆ＩＰからプライベートＩＰへの変換）、スロットリング機能など、オーバーレイネットワークに関連する１つまたは複数の仮想機能を実行することができる。
【0094】
いくつかの実施形態では、ＮＶＤ内のパケット処理データ経路は、複数のパケットパイプラインを含むことができ、各パケットパイプラインは、一連のパケット変換ステージから構成されている。いくつかの実施態様では、パケットを受信したとき、そのパケットは、解析され、単一のパイプラインに分類される。次いで、パケットは、ドロップされるかまたはＮＶＤのインターフェースを介して送出されるまで、線形方式でステージごとに処理される。これらのステージは、基本機能のパケット処理ビルディングブロック（たとえば、ヘッダの検証、スロットルの実行、新たなレイヤ２ヘッダの挿入、Ｌ４ファイアウォールの実行、ＶＣＮカプセル化／非カプセル化など）を提供し、それにより、既存のステージを組み立てることによって新たなパイプラインを構築することができ、新たなステージを作成して既存のパイプラインに挿入することによって、新たな機能を追加することができる。
【0095】
ＮＶＤは、ＶＣＮの制御プレーンおよびデータプレーンに対応する制御プレーン機能およびデータプレーン機能の両方を実行することができる。ＶＣＮ制御プレーンの例については、図１２、図１３、図１４、および図１５（参照番号１２１６、１３１６、１４１６、および１５１６参照）にも示し、後に説明する。ＶＣＮデータプレーンの例については、図１２、図１３、図１４、および図１５（参照番号１２１８、１３１８、１４１８、および１５１８参照）に示し、後に説明する。制御プレーン機能は、データがいかに転送されるかを制御するネットワークの構成（たとえば、ルートおよびルートテーブルの設定、ＶＮＩＣの構成など）に使用される機能を含む。いくつかの実施形態では、すべてのオーバーレイと基盤とのマッピングを集中的に計算し、それらを、ＮＶＤ、およびＤＲＧ、ＳＧＷ、ＩＧＷなどのさまざまなゲートウェイ仮想ネットワークエッジデバイスに公開する、ＶＣＮ制御プレーンが提供される。同じメカニズムを使用してファイアウォールルールを公開することもできる。いくつかの実施形態では、ＮＶＤは、そのＮＶＤに関連するマッピングのみを取得する。データプレーン機能は、制御プレーンを使用して設定された構成に基づいて、パケットの実際のルーティング／転送を行う機能を含む。ＶＣＮデータプレーンは、基盤ネットワークを通過する前の顧客のネットワークパケットをカプセル化することによって実装される。カプセル化／非カプセル化機能は、ＮＶＤに実装される。いくつかの実施形態では、ＮＶＤは、ホストマシンに出入りするすべてのネットワークパケットをインターセプトし、ネットワーク仮想化機能を実行するように構成されている。
【0096】
上述したように、ＮＶＤは、ＶＮＩＣおよびＶＣＮ ＶＲを含むさまざまな仮想化機能を実行する。ＮＶＤは、ＶＮＩＣに接続された１つまたは複数のホストマシンによってホストされているコンピュートインスタンスに関連付けられたＶＮＩＣを実行することができる。たとえば、図２に示すように、ＮＶＤ２１０は、ＮＶＤ２１０に接続されたホストマシン２０２によってホストされているコンピュートインスタンス２６８に関連付けられているＶＮＩＣ２７６の機能を実行する。別の例として、ＮＶＤ２１２は、ホストマシン２０６によってホストされているベアメタルコンピュートインスタンス２７２に関連付けられているＶＮＩＣ２８０を実行し、ホストマシン２０８によってホストされているコンピュートインスタンス２７４に関連付けられているＶＮＩＣ２８４を実行する。ホストマシンは、異なる顧客に属する異なるＶＣＮに属するコンピュートインスタンスをホストすることができ、ホストマシンに接続されたＮＶＤは、コンピュートインスタンスに対応するＶＮＩＣを実行する（すなわち、ＶＮＩＣに関連する機能を実行する）ことができる。
【0097】
ＮＶＤは、コンピュートインスタンスのＶＣＮに対応するＶＣＮ仮想ルータも実行する。たとえば、図２に示す実施形態では、ＮＶＤ２１０は、コンピュートインスタンス２６８が属するＶＣＮに対応するＶＣＮ ＶＲ２７７を実行する。ＮＶＤ２１２は、ホストマシン２０６および２０８にホストされているコンピュートインスタンスが属する１つまたは複数のＶＣＮに対応する１つまたは複数のＶＣＮ ＶＲ２８３を実行する。いくつかの実施形態では、そのＶＣＮに対応するＶＣＮ ＶＲは、そのＶＣＮに属する少なくとも１つのコンピュートインスタンスをホストするホストマシンに接続されたすべてのＮＶＤによって実行される。ホストマシンが異なるＶＣＮに属するコンピュートインスタンスをホストする場合、そのホストマシンに接続されたＮＶＤは、それらの異なるＶＣＮに対応するＶＣＮ ＶＲを実行することができる。
【0098】
ＶＮＩＣおよびＶＣＮ ＶＲに加えて、ＮＶＤは、さまざまなソフトウェア（たとえば、デーモン）を実行し、ＮＶＤによって実行されるさまざまなネットワーク仮想化機能を容易にする１つまたは複数のハードウェアコンポーネントを含むことができる。簡略化のために、これらのさまざまなコンポーネントは、図２に示す「パケット処理コンポーネント」として合わせてグループ化される。たとえば、ＮＶＤ２１０は、パケット処理コンポーネント２８６を含み、ＮＶＤ２１２は、パケット処理コンポーネント２８８を含む。たとえば、ＮＶＤのパケット処理コンポーネントは、ＮＶＤのポートおよびハードウェアインターフェースと相互作用して、ＮＶＤによって受信されるとともにＮＶＤを使用して通信されるすべてのパケットを監視し、ネットワーク情報を格納するように構成された、パケットプロセッサを含むことができる。ネットワーク情報は、たとえば、ＮＶＤによって処理される異なるネットワークフローを特定するネットワークフロー情報と、フローごとの情報（たとえば、フローごとの統計情報）とを含むことができる。いくつかの実施形態では、ネットワークフロー情報は、ＶＮＩＣ単位で格納してもよい。パケットプロセッサは、ステートフルＮＡＴおよびＬ４ファイアウォール（ＦＷ）を実装するだけでなく、パケット単位の操作を実行してもよい。別の例として、パケット処理コンポーネントは、ＮＶＤによって格納された情報を１つまたは複数の異なるレプリケーションターゲットストアにレプリケートするように構成されたレプリケーションエージェントを含むことができる。さらに別の例として、パケット処理コンポーネントは、ＮＶＤのロギング機能を実行するように構成されたロギングエージェントを含むことができる。パケット処理コンポーネントは、ＮＶＤの性能および健全性を監視し、場合によっては、ＮＶＤに接続されている他のコンポーネントの状態および健全性を監視するソフトウェアも含むことができる。
【0099】
図１は、ＶＣＮと、ＶＣＮ内のサブネットと、サブネット上にデプロイされたコンピュートインスタンスと、コンピュートインスタンスに関連付けられたＶＮＩＣと、ＶＣＮのＶＲと、ＶＣＮのために構成された一組のゲートウェイとを含む、仮想またはオーバーレイネットワーク例のコンポーネントを示す。図１に示すオーバーレイコンポーネントは、図２に示す物理コンポーネントのうちの１つまたは複数によって実行またはホストすることができる。たとえば、ＶＣＮ内のコンピュートインスタンスは、図２に示す１つまたは複数のホストマシンによって実行またはホストすることができる。ホストマシンによってホストされているコンピュートインスタンスの場合、そのコンピュートインスタンスに関連付けられたＶＮＩＣは、典型的には、そのホストマシンに接続されたＮＶＤによって実行される（すなわち、ＶＮＩＣ機能は、そのホストマシンに接続されたＮＶＤによって提供される）。ＶＣＮのＶＣＮ ＶＲ機能は、そのＶＣＮの一部であるコンピュートインスタンスをホストまたは実行するホストマシンに接続されているすべてのＮＶＤによって実行される。ＶＣＮに関連付けられたゲートウェイは、１つまたは複数の異なるタイプのＮＶＤによって実行してもよい。たとえば、いくつかのゲートウェイは、スマートＮＩＣによって実行してもよく、他のゲートウェイは、１つまたは複数のホストマシンまたはＮＶＤの他の実施態様によって実行してもよい。
【0100】
上述したように、顧客ＶＣＮ内のコンピュートインスタンスは、送信元コンピュートインスタンスと同じサブネットにあり得るか、異なるサブネット内であるが送信元コンピュートインスタンスと同じＶＣＮにあり得る、さまざまな異なるエンドポイントと通信することができ、または送信元コンピュートインスタンスのＶＣＮの外部のエンドポイントと通信することができる。これらの通信は、コンピュートインスタンスに関連付けられたＶＮＩＣ、ＶＣＮ ＶＲ、およびＶＣＮに関連付けられたゲートウェイを使用して促進される。
【0101】
ＶＣＮ内の同じサブネット上の２つのコンピュートインスタンス間の通信では、送信元コンピュートインスタンスおよび宛先コンピュートインスタンスに関連付けられたＶＮＩＣを使用して、通信が促進される。送信元コンピュートインスタンスおよび宛先コンピュートインスタンスは、同じホストマシンによってホストしても、異なるホストマシンによってホストしてもよい。送信元コンピュートインスタンスから発信されたパケットは、送信元コンピュートインスタンスをホストしているホストマシンから、そのホストマシンに接続されたＮＶＤに転送することができる。ＮＶＤにおいて、パケットは、パケット処理パイプラインを使用して処理され、このパイプラインは、送信元コンピュートインスタンスに関連付けられたＶＮＩＣの実行を含むことができる。パケットの宛先エンドポイントが同じサブネット内にあるため、送信元コンピュートインスタンスに関連付けられたＶＮＩＣの実行により、パケットは、宛先コンピュートインスタンスに関連付けられたＶＮＩＣを実行するＮＶＤに転送され、ＮＶＤは、パケットを処理し、宛先コンピュートインスタンスに転送する。送信元コンピュートインスタンスおよび宛先コンピュートインスタンスに関連付けられたＶＮＩＣは、（たとえば、送信元コンピュートインスタンスおよび宛先コンピュートインスタンスの両方が同じホストマシンによってホストされている場合）同じＮＶＤ上で実行してもよく、（たとえば、送信元コンピュートインスタンスおよび宛先コンピュートインスタンスが異なるＮＶＤに接続された異なるホストマシンによってホストされている場合）異なるＮＶＤ上で実行してもよい。ＶＮＩＣは、ＮＶＤによって格納されたルーティング／転送テーブルを使用して、パケットのネクストホップを決定することができる。
【0102】
サブネット内のコンピュートインスタンスから同じＶＣＮ内の異なるサブネット内のエンドポイントにパケットを通信する場合、送信元コンピュートインスタンスから発信されたパケットは、送信元コンピュートインスタンスをホストしているホストマシンから、そのホストマシンに接続されたＮＶＤに通信される。ＮＶＤにおいて、パケットは、１つまたは複数のＶＮＩＣの実行を含むことができるパケット処理パイプライン、およびＶＣＮに関連付けられたＶＲを使用して処理される。たとえば、ＮＶＤは、パケット処理パイプラインの一部として、送信元コンピュートインスタンスに関連付けられたＶＮＩＣに対応する機能を実行するかまたは呼び出す（ＶＮＩＣを実行するとも称される）。ＶＮＩＣによって実行される機能は、パケット上のＶＬＡＮタグを調べることを含むことができる。パケットの宛先がサブネットの外部にあるため、ＶＣＮ ＶＲ機能は、次に呼び出され、ＮＶＤによって実行される。その後、ＶＣＮ ＶＲは、パケットを、宛先コンピュートインスタンスに関連付けられたＶＮＩＣを実行するＮＶＤにルーティングする。そして、宛先コンピュートインスタンスに関連付けられたＶＮＩＣは、パケットを処理し、パケットを宛先コンピュートインスタンスに転送する。送信元コンピュートインスタンスおよび宛先コンピュートインスタンスに関連付けられたＶＮＩＣは、（たとえば、送信元コンピュートインスタンスおよび宛先コンピュートインスタンスの両方が同じホストマシンによってホストされている場合）同じＮＶＤ上で実行してもよく、（たとえば、送信元コンピュートインスタンスおよび宛先コンピュートインスタンスが異なるＮＶＤに接続された異なるホストマシンによってホストされている場合）異なるＮＶＤ上で実行してもよい。
【0103】
パケットの宛先が送信元コンピュートインスタンスのＶＣＮの外部にある場合、送信元コンピュートインスタンスから発信されたパケットは、送信元コンピュートインスタンスをホストしているホストマシンから、そのホストマシンに接続されたＮＶＤに通信される。ＮＶＤは、送信元コンピュートインスタンスに関連付けられたＶＮＩＣを実行する。パケットの宛先エンドポイントがＶＣＮの外部にあるため、パケットは、その後、そのＶＣＮのＶＣＮ ＶＲによって処理される。ＮＶＤは、ＶＣＮ ＶＲ機能を呼び出し、その結果、パケットは、ＶＣＮに関連付けられた適切なゲートウェイを実行するＮＶＤに転送される場合がある。たとえば、宛先が顧客のオンプレミスネットワーク内のエンドポイントである場合、パケットは、ＶＣＮ ＶＲによって、ＶＣＮのために構成されたＤＲＧゲートウェイを実行するＮＶＤに転送される場合がある。ＶＣＮ ＶＲは、送信元コンピュートインスタンスに関連付けられたＶＮＩＣを実行するＮＶＤと同じＮＶＤ上で実行してもよく、異なるＮＶＤによって実行してもよい。ゲートウェイは、スマートＮＩＣ、ホストマシン、または他のＮＶＤ実施態様であり得るＮＶＤによって実行してもよい。次いで、パケットは、ゲートウェイによって処理され、意図された宛先エンドポイントへのパケットの通信を容易にするネクストホップに転送される。たとえば、図２に示す実施形態では、コンピュートインスタンス２６８から発信されたパケットは、（ＮＩＣ２３２を使用して）リンク２２０を介してホストマシン２０２からＮＶＤ２１０に通信してもよい。ＮＶＤ２１０において、ＶＮＩＣ２７６は、送信元コンピュートインスタンス２６８に関連付けられたＶＮＩＣであるため、呼び出される。ＶＮＩＣ２７６は、パケット内のカプセル化情報を検査し、その意図された宛先エンドポイントへのパケットの通信を容易にする目的でパケットを転送するためのネクストホップを決定し、決定したネクストホップにパケットを転送するように構成されている。
【0104】
ＶＣＮ上にデプロイされたコンピュートインスタンスは、さまざまな異なるエンドポイントと通信することができる。これらのエンドポイントは、ＣＳＰＩ２００によってホストされているエンドポイントと、ＣＳＰＩ２００外部のエンドポイントとを含むことができる。ＣＳＰＩ２００によってホストされているエンドポイントは、顧客のＶＣＮ、または顧客に属さないＶＣＮであり得る、同じＶＣＮまたは他のＶＣＮ内のインスタンスを含むことができる。ＣＳＰＩ２００によってホストされているエンドポイント間の通信は、物理ネットワーク２１８を介して実行してもよい。コンピュートインスタンスは、ＣＳＰＩ２００によってホストされていないかまたはＣＳＰＩ２００の外部にあるエンドポイントと、通信することもできる。これらのエンドポイントの例としては、顧客のオンプレミスネットワークまたはデータセンタ内のエンドポイント、またはインターネットなどの公衆ネットワークを介してアクセス可能なパブリックエンドポイントが挙げられる。ＣＳＰＩ２００の外部のエンドポイントとの通信は、さまざまな通信プロトコルを使用して、公衆ネットワーク（たとえば、インターネット）（図２に図示せず）またはプライベートネットワーク（図２に図示せず）を介して実行してもよい。
【0105】
図２に示すＣＳＰＩ２００のアーキテクチャは、単なる一例であり、限定的であるようには意図されていない。代替実施形態では、バリエーション、代替形態、および変形形態が可能である。たとえば、いくつかの実施態様では、ＣＳＰＩ２００は、図２に示すものよりも多いかまたは少ないシステムまたはコンポーネントを有してもよく、２つ以上のシステムを組み合わせてもよく、または異なるシステムの構成または配置を有してもよい。図２に示すシステム、サブシステム、および他のコンポーネントは、それぞれのシステムの１つまたは複数の処理装置（たとえば、プロセッサ、コア）によって実行されるソフトウェア（たとえば、コード、命令、プログラム）で、ハードウェアを使用して、またはそれらの組み合わせで実装することができる。ソフトウェアは、非一時的記憶媒体（たとえば、メモリデバイス）に格納することができる。
【0106】
図４は、いくつかの実施形態による、マルチテナンシをサポートするためのＩ／Ｏ仮想化を提供する、ホストマシンとＮＶＤとの間の接続を示す。図４に示すように、ホストマシン４０２は、仮想化環境を提供するハイパーバイザ４０４を実行する。ホストマシン４０２は、２つの仮想マシンインスタンス、すなわち、顧客／テナント＃１に属するＶＭ１ ４０６と、顧客／テナント＃２に属するＶＭ２ ４０８とを実行する。ホストマシン４０２は、リンク４１４を介してＮＶＤ４１２に接続されている物理ＮＩＣ４１０を含む。コンピュートインスタンスの各々は、ＮＶＤ４１２によって実行されるＶＮＩＣにアタッチされている。図４の実施形態では、ＶＭ１ ４０６は、ＶＮＩＣ－ＶＭ１ ４２０にアタッチされ、ＶＭ２ ４０８は、ＶＮＩＣ－ＶＭ２ ４２２にアタッチされている。
【0107】
図４に示すように、ＮＩＣ４１０は、２つの論理ＮＩＣ、すなわち、論理ＮＩＣ Ａ４１６および論理ＮＩＣ Ｂ４１８を含む。各仮想マシンは、それ自体の論理ＮＩＣにアタッチされるとともに、それ自体の論理ＮＩＣとともに動作するように構成されている。たとえば、ＶＭ１ ４０６は、論理ＮＩＣ Ａ４１６にアタッチされ、ＶＭ２ ４０８は、論理ＮＩＣ Ｂ４１８にアタッチされている。ホストマシン４０２が複数のテナントによって共有されている１つの物理ＮＩＣ４１０のみを含むにも関わらず、論理ＮＩＣにより、各テナントの仮想マシンは、独自のホストマシンおよびＮＩＣを有していると考える。
【0108】
いくつかの実施形態では、各論理ＮＩＣには、独自のＶＬＡＮ ＩＤが割り当てられる。したがって、テナント＃１の論理ＮＩＣ Ａ４１６には特定のＶＬＡＮ ＩＤが割り当てられ、テナント＃２の論理ＮＩＣ Ｂ４１８には別のＶＬＡＮ ＩＤが割り当てられる。ＶＭ１ ４０６からパケットが通信されると、ハイパーバイザにより、テナント＃１に割り当てられたタグがパケットに付与され、その後、パケットは、リンク４１４を介してホストマシン４０２からＮＶＤ４１２に通信される。同様に、ＶＭ２ ４０８からパケットが通信されると、ハイパーバイザにより、テナント＃２に割り当てられたタグがパケットに付与され、その後、パケットは、リンク４１４を介してホストマシン４０２からＮＶＤ４１２に通信される。したがって、ホストマシン４０２からＮＶＤ４１２に通信されたパケット４２４は、特定のテナントおよび関連するＶＭを特定する関連タグ４２６を有する。ＮＶＤでは、ホストマシン４０２から受信されたパケット４２４に対して、そのパケットに関連付けられたタグ４２６を使用して、そのパケットがＶＮＩＣ－ＶＭ１ ４２０によって処理されるべきか、ＶＮＩＣ－ＶＭ２ ４２２によって処理されるべきかが決定される。そして、パケットは、対応するＶＮＩＣによって処理される。図４に示す構成により、各テナントのコンピュートインスタンスは、独自のホストマシンおよびＮＩＣを所有していると考えることができる。図４に示すセットアップは、マルチテナンシをサポートするためのＩ／Ｏ仮想化を提供する。
【0109】
図５は、いくつかの実施形態による物理ネットワーク５００の簡略化されたブロック図を示す。図５に示す実施形態は、Ｃｌｏｓネットワークとして構造化されている。Ｃｌｏｓネットワークは、高い二分割帯域幅および最大リソース利用率を維持しながら、接続冗長性を提供するように設計された特定のタイプのネットワークトポロジである。Ｃｌｏｓネットワークは、非ブロッキング、多段または多層スイッチングネットワークの一種であり、そこでは、段または層の数は、２、３、４、５などであり得る。図５に示す実施形態は、層１、層２、および層３を含む３層ネットワークである。ＴＯＲスイッチ５０４は、Ｃｌｏｓネットワークの層－０スイッチを表す。１つまたは複数のＮＶＤは、ＴＯＲスイッチに接続されている。層－０スイッチは、物理ネットワークのエッジデバイスとも称される。層－０スイッチは、リーフスイッチとも称される層－１スイッチに接続されている。図５に示す実施形態において、「ｎ」個の層－０ＴＯＲスイッチのセットは、「ｎ」個の層－１スイッチのセットに接続され、合わせてポッドを形成している。ポッド内の各層－０スイッチは、ポッド内のすべての層－１スイッチに相互接続されるが、ポッド間のスイッチは、接続されていない。いくつかの実施態様では、２つのポッドは、ブロックと称される。各ブロックは、「ｎ」個の層－２スイッチ（スパインスイッチと称される場合もある）のセットによってサービスを提供されるかまたはそれに接続されている。物理ネットワークトポロジに、いくつかのブロックがあり得る。そして、層－２スイッチは、「ｎ」個の層－３スイッチ（スーパースパインスイッチとも称される）に接続されている。物理ネットワーク５００を介するパケットの通信は、典型的には、１つまたは複数のレイヤ３通信プロトコルを使用して実行される。典型的には、ＴＯＲレイヤを除く物理ネットワークのすべてのレイヤは、ｎウェイ冗長であり、したがって高可用性を可能にする。ポッドおよびブロックにポリシーを指定して、物理ネットワークのスイッチの相互の可視性を制御することによって、物理ネットワークの拡張を可能にすることができる。
【0110】
Ｃｌｏｓネットワークの特徴は、ある層－０スイッチから別の層－０スイッチに到達する（または、層－０スイッチに接続されたＮＶＤから層－０スイッチに接続された別のＮＶＤに到達する）最大ホップカウントが一定であることである。たとえば、３層Ｃｌｏｓネットワークにおいて、パケットが１つのＮＶＤから別のＮＶＤに到達するために最大７つのホップが必要とされ、この場合、ソースＮＶＤおよびターゲットＮＶＤは、Ｃｌｏｓネットワークのリーフ層に接続されている。同様に、４層Ｃｌｏｓネットワークにおいて、パケットが１つのＮＶＤから別のＮＶＤに到達するために最大９つのホップが必要とされ、この場合、ソースＮＶＤおよびターゲットＮＶＤは、Ｃｌｏｓネットワークのリーフ層に接続されている。したがって、Ｃｌｏｓネットワークアーキテクチャは、データセンタ内およびデータセンタ間の通信に重要なネットワーク全体を通して一貫したレイテンシを維持する。Ｃｌｏｓトポロジは、水平方向に拡張し、コスト効率に優れている。さまざまな層により多くのスイッチ（たとえば、より多くのリーフスイッチおよびスパインスイッチ）を増設することによって、かつ隣接する層のスイッチ間のリンクの数を増やすことによって、ネットワークの帯域幅／スループットキャパシティを容易に増加させることができる。
【0111】
いくつかの実施形態では、ＣＳＰＩ内の各リソースには、クラウド識別子（ＣＩＤ）と呼ばれる一意の識別子が割り当てられる。この識別子は、リソースの情報の一部として含まれ、たとえばコンソールを介して、またはＡＰＩを介して、リソースを管理するために使用することができる。ＣＩＤのシンタックス例は、
ｏｃｉｄ１．＜ＲＥＳＯＵＲＣＥ ＴＹＰＥ＞．＜ＲＥＡＬＭ＞．［ＲＥＧＩＯＮ］［．ＦＵＴＵＲＥ ＵＳＥ］．＜ＵＮＩＱＵＥ ＩＤ＞
であり、式中、以下の通りである。
「ｏｃｉｄ１」：ＣＩＤのバージョンを示す文字列。
「ｒｅｓｏｕｒｃｅ ｔｙｐｅ」：リソースのタイプ（たとえば、インスタンス、ボリューム、ＶＣＮ、サブネット、ユーザ、グループなど）。
「ｒｅａｌｍ」：リソースが存在するレルム。値例は、商用レルムの「ｃ１」、政府クラウドレルムの「ｃ２」、または連邦政府クラウドレルムの「ｃ３」などである。各レルムは、独自のドメイン名を有することができる。
「ｒｅｇｉｏｎ」：リソースが存在するリージョン。リージョンがリソースに適用可能でない場合、この部分は空白であり得る。
「ｆｕｔｕｒｅ ｕｓｅ」：将来の使用のために予約されている。
「ｕｎｉｑｕｅ ＩＤ」：ＩＤの一意の部分。フォーマットは、リソースまたはサービスのタイプに応じて異なる場合がある。
ｏｃｉｄ１．＜ＲＥＳＯＵＲＣＥ ＴＹＰＥ＞．＜ＲＥＡＬＭ＞．［ＲＥＧＩＯＮ］［．ＦＵＴＵＲＥ ＵＳＥ］．＜ＵＮＩＱＵＥ ＩＤ＞
であり、式中、以下の通りである。
「ｏｃｉｄ１」：ＣＩＤのバージョンを示す文字列。
「ｒｅｓｏｕｒｃｅ ｔｙｐｅ」：リソースのタイプ（たとえば、インスタンス、ボリューム、ＶＣＮ、サブネット、ユーザ、グループなど）。
「ｒｅａｌｍ」：リソースが存在するレルム。値例は、商用レルムの「ｃ１」、政府クラウドレルムの「ｃ２」、または連邦政府クラウドレルムの「ｃ３」などである。各レルムは、独自のドメイン名を有することができる。
「ｒｅｇｉｏｎ」：リソースが存在するリージョン。リージョンがリソースに適用可能でない場合、この部分は空白であり得る。
「ｆｕｔｕｒｅ ｕｓｅ」：将来の使用のために予約されている。
「ｕｎｉｑｕｅ ＩＤ」：ＩＤの一意の部分。フォーマットは、リソースまたはサービスのタイプに応じて異なる場合がある。
【0112】
図６は、いくつかの実施形態による、ＣＬＯＳネットワーク配置を組み込んだクラウドインフラストラクチャ６００のブロック図を示す。クラウドインフラストラクチャ６００は、複数のラック（たとえば、ラック１ ６１０…ラックＭ、６２０）を含む。各ラックは、複数のホストマシン（本明細書ではホストとも称する）を含む。たとえば、ラック１ ６１０は、複数のホスト（たとえば、Ｋ台のホストマシン）ホスト１－Ａ、６１２～ホスト１－Ｋ、６１４を含み、ラックＭは、Ｋ台のホストマシン、すなわちホストＭ－Ａ、６２２～ホストＭ－Ｋ、６２４を含む。図６の図示（すなわち、各ラックが同じ数のホストマシン、たとえばＫ台のホストマシンを含む）は、例示的であり非限定的であるように意図されていることが理解される。たとえば、ラックＭ、６２０は、ラック１、６１０に含まれるホストマシンの数と比較して、より多いかまたはより少ない数のホストマシンを有することができる。
【0113】
各ホストマシンは、複数の画像処理装置（ＧＰＵ）を含む。たとえば、図６に示すように、ホストマシン１－Ａ ６１２は、Ｎ個のＧＰＵたとえばＧＰＵ１、６１３を含む。さらに、（各ホストマシンが同じ数のＧＰＵ、すなわちＮ個のＧＰＵを含むという）図６の図示は、例示的であり非限定的であるように意図されており、すなわち、各ホストマシンが異なる数のＧＰＵを含むことができることが理解される。各ラックは、ホストマシン上でホストされているＧＰＵと通信可能に連結されるトップオブラック（ＴＯＲ）スイッチを含む。たとえば、ラック１ ６１０は、ホスト１－Ａ、６１２およびホスト１－Ｋ、６１４に通信可能に連結されるＴＯＲスイッチ（すなわち、ＴＯＲ １）６１６を含み、ラックＭ ６２０は、ホストＭ－Ａ、６２２およびホストＭ－Ｋ、６２４に通信可能に連結されるＴＯＲスイッチ（すなわち、ＴＯＲ Ｍ）６２６を含む。図６に示すＴＯＲスイッチ（すなわち、ＴＯＲ １ ６１６、およびＴＯＲ Ｍ ６２６）は、各々、ラックに含まれる各ホストマシン上でホストされているＮ個のＧＰＵにＴＯＲスイッチを通信可能に連結するために使用されるＮ個のポートを含むことが理解される。図６に示すようなＴＯＲスイッチのＧＰＵへの連結は、例示的であり非限定的であることが意図されている。たとえば、いくつかの実施形態では、ＴＯＲスイッチは、複数のポートを有することができ、それらの各々は、各ホストマシン上のＧＰＵに対応し、すなわち、ホストマシン上のＧＰＵは、通信リンクを介してＴＯＲの一意のポートに接続することができる。さらに、ネットワークデバイス（たとえば、ＴＯＲ １ ６１６）によって受信されたトラフィックは、本明細書では、ネットワークデバイスの特定の着信ポート－リンクで受信されたトラフィックとして特徴付けられる。たとえば、ホスト１－Ａ ６１２のＧＰＵ １ ６１３が（リンク６１７を使用して）データパケットをＴＯＲ １ ６１６に送信した場合、データパケットは、ＴＯＲ １スイッチのポート６１９で受信される。ＴＯＲ １ ６１６は、このデータパケットをＴＯＲの第１の着信ポート－リンクで受信した情報として特徴付ける。同様の概念をＴＯＲのすべての発信ポート－リンクに適用することができることが理解される。
【0114】
各ラックからのＴＯＲスイッチは、複数のスパインスイッチ、たとえばスパインスイッチ１、６３０およびスパインスイッチＰ ６４０に通信可能に連結される。図６に示すように、ＴＯＲ１、６１６は、それぞれ、２つのリンクを介してスパインスイッチ１ ６３０に接続され、別の２つのリンクを介してスパインスイッチＰ、６４０に接続される。特定のＴＯＲスイッチからスパインスイッチに送信される情報は、本明細書では、アップリンクを介して行われる通信と称し、一方、スパインスイッチからＴＯＲスイッチに送信される情報は、本明細書では、ダウンリンクを介して行われる通信と称する。いくつかの実施形態によれば、ＴＯＲスイッチおよびスパインスイッチは、ＣＬＯＳネットワーク配置（たとえば、多段スイッチングネットワーク）で接続され、各ＴＯＲスイッチは、ＣＬＯＳネットワークの「リーフ」ノードを形成する。
【0115】
いくつかの実施形態によれば、ホストマシンに含まれるＧＰＵは、機械学習に関連するタスクを実行する。このような設定では、単一のタスクが、さらに、複数のホストマシンにわたって、かつ複数のラックにわたって拡散させることができる多数（たとえば、６４個）のＧＰＵにわたって実行／拡散される可能性がある。これらのＧＰＵのすべてが、同じタスク（すなわち、ワークロード）を処理しているため、時間的に同期して互いに通信する必要がある。さらに、任意の所与の瞬間に、ＧＰＵは計算モードか通信モードのうちのいずれか一方にあり、すなわち、ＧＰＵは、ほぼ同じ瞬間に互いに通信する。ワークロードの速度は、最も遅いＧＰＵの速度によって決まる。
【0116】
典型的には、パケットを送信元ＧＰＵ（たとえば、ホスト１－Ａ ６１２のＧＰＵ１、６１３）から宛先ＧＰＵ（たとえば、ホストＭ－Ａ ６２２のＧＰＵ１、６２３）にルーティングするために、等コストマルチパス（ＥＣＭＰ：ｅｑｕａｌ ｃｏｓｔ ｍｕｌｔｉｐａｔｈ）ルーティングが利用される。ＥＣＭＰルーティングでは、送信側から受信側へのトラフィックのルーティングに利用可能な複数の等コストの経路がある場合、特定の経路を選択するために選択技術が使用される。したがって、トラフィックを受信しているネットワークデバイス（たとえば、ＴＯＲスイッチまたはスパインスイッチ）では、選択アルゴリズムを使用して、ネットワークデバイスから別のネットワークデバイスへのネクストホップでトラフィックを転送するために使用される発信リンクが選択される。このような発信リンクの選択は、送信側から受信側までの経路における各ネットワークデバイスで行われる。ハッシュベースの選択アルゴリズムが、広く使用されているＥＣＭＰの選択技術であり、そこでは、ハッシュはパケットの４タプル（たとえば、送信元ポート、宛先ポート、送信元ＩＰ、宛先ＩＰ）に基づくことができる。
【0117】
ＥＣＭＰルーティングはフロー認識（ｆｌｏｗ ａｗａｒｅ）ルーティング技術であり、そこでは、各フロー（すなわち、データパケットのストリーム）は、フローの期間にわたって、特定の経路にハッシュされる。したがって、フロー内のパケットは、特定の発信ポート／リンクを使用してネットワークデバイスから転送される。これは通常、フロー内のパケットが順番に到着する、すなわち、パケットの再順序付けが不要であることを確実にするために行われる。しかしながら、ＥＣＭＰルーティングは、帯域幅（またはスループット）非認識（ｕｎａｗａｒｅ）である。言い換えれば、ＴＯＲスイッチおよびスパインスイッチは、並列リンク上のフローの統計的なフロー認識（スループット非認識）ＥＣＭＰ負荷分散を実行する。
【0118】
標準ＥＣＭＰルーティング（すなわち、フローのみ認識するルーティング）では、ネットワークデバイスが２つの別々の着信リンクを介して受信したフローが、同じ発信リンクにハッシュされる可能性があり、それによってフロー衝突が発生するという問題がある。たとえば、２つのフローが２つの別々の着信１００Ｇリンク経由で着信し、フローの各々が同じ１００Ｇ発信リンクにハッシュされる状況を考慮する。このような状況では、着信帯域幅は２００Ｇであるが、発信帯域幅は１００Ｇであるため、輻輳（すなわち、フロー衝突）が発生し、パケットがドロップされることになる。たとえば、以下に説明する図７は、フロー衝突の例示的なシナリオ７００を示す。
【0119】
図７に示すように、２つのフロー、すなわち、ホストマシンホスト１－Ａ、６１２の第１のＧＰＵからＴＯＲスイッチ６１６に向けられるフロー１ ７１０（実線で示す）と、同じホストマシン６１２上の別のＧＰＵからＴＯＲスイッチ６１６に向けられるフロー２ ７２０（破線で示す）とがある。２つのフローは、別々のリンク、すなわちＴＯＲの別々の着信ポート－リンクでＴＯＲスイッチ６１６に向けられることに留意されたい。図７に示すすべてのリンクが１００Ｇの容量（すなわち、帯域幅）を有すると仮定する。ＴＯＲスイッチ６１６がＥＣＭＰルーティングアルゴリズムを実行する場合、２つのフローがＴＯＲの同じ発信ポート－リンク、たとえば、ＴＯＲスイッチ６１６をスパインスイッチ６３０に接続するリンク７３０に接続されたＴＯＲのポートを使用するようにハッシュされる可能性がある。この場合、２つのフロー間で衝突が発生し（「Ｘ」マークで表す）、パケットがドロップされることになる。
【0120】
このような衝突シナリオは、一般に、プロトコルに関係なく、すべてのタイプのトラフィックに問題がある。たとえば、ＴＣＰは、パケットがドロップされ、送信側がそのドロップされたパケットに対する確認応答を受け取らなかった場合、パケットが再送信されるという点でインテリジェントである。しかしながら、リモートダイレクトメモリアクセス（ＲＤＭＡ）タイプのトラフィックでは、状況は悪化する。ＲＤＭＡネットワークは、種々の理由からＴＣＰを使用しない（たとえば、ＴＣＰは、低レイテンシおよび高性能に適していない複雑なロジックを有する）。ＲＤＭＡネットワークは、ＲＤＭＡオーバーインフィニバンド（ＲＤＭＡ ｏｖｅｒ Ｉｎｆｉｎｉｂａｎｄ）またはＲＤＭＡオーバーコンバージドイーサネット（ＲｏＣＥ：ＲＤＭＡ ｏｖｅｒ ｃｏｎｖｅｒｇｅｄ Ｅｔｈｅｒｎｅｔ）などのプロトコルを使用する。ＲｏＣＥでは、輻輳制御アルゴリズムがあり、そこでは、送信側が輻輳またはドロップされたパケットの発生を特定すると、送信側はパケットの送信を遅くする。ドロップされたパケットの場合、そのドロップされたパケットだけでなく、ドロップされたパケットの周囲のいくつかのパケットもまた再送信され、それにより、利用可能な帯域幅がさらに消費され、パフォーマンスが低下することになる。
【0121】
上述したフロー衝突問題を克服する技術について以下に説明する。フロー衝突問題は、ＣＰＵおよびＧＰＵからのトラフィックに影響することが理解される。しかしながら、フロー衝突問題は、時間同期要件が厳しいため、ＧＰＵにとってはるかに大きな問題である。さらに、標準的なＥＣＭＰルーティングメカニズムは、統計的な帯域幅非認識の方法で情報をルーティングするという固有の特性により、ネットワークがオーバーサブスクライブされるかアンダーサブスクライブされるかに関係なく、フロー衝突シナリオを引き起こすことが理解されるべきである。オーバーサブスクリプションのないネットワークは、あるデバイス（たとえば、ＴＯＲ、スパインスイッチ）への着信リンクの帯域幅が、発信リンクの帯域幅と同じであるネットワークである。すべてのリンクが同じ帯域幅容量を有する場合、着信リンクの数は発信リンクの数と同じであることに留意されたい。
【0122】
いくつかの実施形態によれば、上述したフロー衝突問題を克服する技術としては、ＧＰＵベースのポリシールーティングメカニズム（本明細書ではＧＰＵベースのトラフィックエンジニアリングメカニズムとも称する）と、修正ＥＣＭＰルーティングメカニズムとが挙げられる。これらの技術の各々について、以下にさらに詳細に説明する。
【0123】
図８は、いくつかの実施形態による、図６のクラウドインフラストラクチャのネットワークデバイスに実装されたポリシーベースのルーティングメカニズムを示す。具体的には、クラウドインフラストラクチャ８００は、複数のラック、たとえば、ラック１ ８１０～ラックＭ ８２０を含む。各ラックは、複数のＧＰＵを含むホストマシンを含む。たとえば、ラック１ ８１０は、ホストマシン、すなわちホスト１－Ａ ８１２を含み、ラックＭ ８２０は、ホストマシン、すなわちホストＭ－Ａ ８２２を含む。各ラックはＴＯＲスイッチを含み、たとえば、ラック１ ８１０はＴＯＲ １スイッチ８１４を含み、ラックＭ ８２０はＴＯＲ Ｍスイッチ８２４を含む。各ラック内のホストマシンは、ラック内のそれぞれのＴＯＲスイッチに通信可能に連結されている。ＴＯＲスイッチ、すなわちＴＯＲスイッチ１、８１４およびＴＯＲスイッチＭ ８２４は、さらにスパインスイッチ、すなわちスパインスイッチ８３０およびスパインスイッチ８４０に通信可能に連結されている。ポリシーベースのルーティングについて説明するために、かつ例示のために、クラウドインフラストラクチャ８００は、ラックごとに単一のホストマシンを含むものとして示す。しかしながら、インフラストラクチャ内の各ラックは、２つ以上のホストマシンを有することができることが理解される。
【0124】
いくつかの実施形態によれば、送信側から受信側へのデータパケットは、ホップバイホップベースで、ネットワーク内でルーティングされる。ルーティングポリシーは、着信ポート－リンクを発信ポート－リンクに結び付ける各ネットワークデバイスにおいて構成される。ネットワークデバイスは、ＴＯＲスイッチまたはスパインスイッチであり得る。図８を参照すると、２つのフロー、すなわち、意図された宛先がホストマシン８２２上のＧＰＵ １であるホストマシン８１２上のＧＰＵ １からのフロー１と、意図された宛先がホストマシン８２２上のＧＰＵ Ｎであるホストマシン８１２上のＧＰＵ Ｎからのフロー２とが示されている。ネットワークデバイス、すなわち、ＴＯＲ １ ８１４、スパイン１ ８３０、ＴＯＲ Ｍ ８２４、およびスパインＰ ８４０は、着信ポート－リンクを発信ポート－リンクに結び付ける（またはマッチングさせる）ように構成されている。着信ポート－リンクの発信ポート－リンクへのマッチングは、各ネットワークデバイスで（たとえば、ポリシーテーブルで）維持される。
【0125】
図８を参照すると、フロー１（すなわち、実線で示すフロー）に関して、ＴＯＲ １ ８１４は、リンク８５０でパケットを受信すると、受信したパケットを発信リンク８５５で転送するように構成されていることを観察することができる。同様に、スパインスイッチ８３０は、リンク８５５を介してパケットを受信すると、そのパケットを発信リンク８６０で転送するように構成されている。最終的に、ＴＯＲ Ｍ ８２４は、リンク８６０でパケットを受信すると、そのパケットをその意図された宛先、すなわちホストマシン８２２上のＧＰＵ １に送信するために、パケットを発信リンク８６５で転送するように構成されている。同様に、フロー２（すなわち、破線で示すフロー）に関して、ＴＯＲ １ ８１４は、リンク８７０でパケットを受信すると、受信したパケットを発信リンク８７５でスパインＰ ８４０に転送するように構成されている。スパインスイッチ８４０は、リンク８７５を介してパケットを受信すると、そのパケットを発信リンク８８０で転送するように構成されている。最終的に、ＴＯＲ Ｍ ８２４は、リンク８８０でパケットを受信すると、そのパケットをその意図された宛先、すなわちホストマシン８２２上のＧＰＵ Ｎに送信するために、パケットを発信リンク８８５で転送するように構成されている。
【0126】
このように、ＧＰＵポリシーベースのルーティングメカニズムに従って、各ネットワークデバイスは、衝突を回避するために、着信ポート／リンクを発信ポート／リンクに結び付けるように構成されている。たとえば、フロー１およびフロー２の第１のホップフローを考慮すると、ＴＯＲ １ ８１４は、リンク８５０で（フロー１に対応する）第１のデータパケットを受信し、リンク８７０で（フロー２に対応する）第２のデータパケットを受信する。ＴＯＲ １ ８１４は、着信リンク／ポート８５０で受信したデータパケットを発信リンク／ポート８５５に転送し、着信リンク／ポート８７０で受信したデータパケットを発信リンク／ポート８７５に転送するように構成されているため、第１のデータパケットと第２のデータパケットが衝突しないことが確実になる。クラウドインフラストラクチャ内の各ネットワークデバイスにおいて、着信ポート－リンクと発信ポート－リンクとの間に１－１の対応があり、すなわち、着信ポート－リンクと発信ポート－リンクとの間のマッピングが、フローおよび／またはフローによって実行されるプロトコルとは無関係に実行されることが理解される。さらに、いくつかの実施形態によれば、特定のネットワークデバイスの発信リンクに障害が発生した場合、ネットワークデバイスは、そのルーティングポリシーをＧＰＵポリシーベースのルーティングから標準ＥＣＭＰルーティングに切り替えて、（さまざまな利用可能な出力リンクから）新たな利用可能な出力リンクを取得し、フローをその新たな出力リンクに送信するように構成されている。この場合、輻輳の原因となるフロー衝突が発生する可能性があることが留意される。
【0127】
次に図９を参照すると、いくつかの実施形態による、異なるタイプの接続を示すクラウドインフラストラクチャ９００のブロック図が示されている。インフラストラクチャ９００は、複数のラック、たとえば、ラック１ ９１０、ラックＤ ９２０、およびラックＭ、９３０を含む。ラック９１０および９３０は、複数のホストマシンを含む。たとえば、ラック１ ９１０は、複数のホスト（たとえば、Ｋ台のホストマシン）、すなわちホスト１－Ａ、９１２～ホスト１－Ｋ、９１４を含み、ラックＭは、Ｋ台のホストマシン、すなわちホストＭ－Ａ、９３２～ホストＭ－Ｋ、９３４を含む。ラックＤ ９２０は、１つまたは複数のホストマシン９２２を含み、ホストマシン９２２の各々が複数のＣＰＵを含み、すなわち、ホストマシン９２２は非ＧＰＵホストマシンである。ラック９１０、９２０、および９３０の各々は、ＴＯＲスイッチ、すなわち、それぞれ、それぞれのラック内のホストマシンに通信可能に連結されているＴＯＲ １、９１６、ＴＯＲ Ｄ ９２６、およびＴＯＲ Ｍ ９３６を含む。さらに、ＴＯＲスイッチ９１６、９２６、および９３６は、複数のスパインスイッチ、すなわちスパインスイッチ９４０および９５０に通信可能に連結されている。
【0128】
図９に示すように、ＧＰＵホスト（すなわち、ホスト１－Ａ ９１２）から別のＧＰＵホスト（すなわち、ホストＭ－Ａ ９３２）への第１の接続（すなわち、破線で示す接続１）が存在し、ＧＰＵホスト（すなわち、ホスト１－Ｋ ９１４）から非ＧＰＵホスト（すなわち、ホストＤ ９２２）への第２の接続（すなわち、点線で示す接続２）が存在する。接続１に関して、フローに関連するデータパケットは、図８で前述したように、ＧＰＵベースのポリシールーティングメカニズムに基づいて各中間ネットワークデバイスを構成することによって、ホップバイホップベースでルーティングされる。具体的には、接続１のデータパケットは、図９に示す破線のリンクに沿って、すなわち、ホスト１－ＡからＴＯＲ １へ、ＴＯＲ １からスパインスイッチ１へ、スパインスイッチ１からＴＯＲ Ｍへ、最終的にＴＯＲ ＭからホストＭ－Ａへルーティングされる。ネットワークデバイスの各々は、ネットワークデバイスの着信リンク－ポートを発信リンク－ポートに結び付けるように構成されている。
【0129】
対照的に、接続２は、ＧＰＵベースのホスト（すなわち、ホスト１－Ｋ ９１４）から非ＧＰＵベースのホスト（すなわち、ホストＤ ９２２）までである。この場合、ＴＯＲ １ ９１６は、着信リンク－ポート、すなわちＧＰＵベースのホストからデータパケットを受信するポートおよびリンク（９７１）を、発信リンク－ポート、すなわち出力ポートおよび出力ポートに接続されたリンク９７２に結び付けるように構成されている。したがって、ＴＯＲ １は、発信リンク９７２を使用してデータパケットをスパインスイッチ１ ９４０に転送する。データパケットは非ＧＰＵベースのホストに向けられるため、スパインスイッチ１ ９４０はパケットをＴＯＲ Ｄに転送するためにポリシーベースのルーティングメカニズムを利用しない。むしろ、スパインスイッチ１ ９４０は、ＥＣＭＰルーティングメカニズムを利用して、利用可能なリンク９８０のうちの１つを選択してパケットをＴＯＲ Ｄに転送し、ＴＯＲ ＤはデータパケットをホストＤ ９２２に転送する。
【0130】
いくつかの実施形態では、図７を参照して前述したフロー衝突は、ＥＣＭＰルーティングの修正バージョンを実装することによって、本明細書に記載するクラウドインフラストラクチャのネットワークデバイスによって回避される。この場合、ＥＣＭＰハッシュアルゴリズムは、ネットワークデバイスの特定の着信ポート－リンクを介して着信するトラフィックが、ネットワークデバイスの同じ発信ポート－リンクにハッシュされる（かつ向けられる）ように修正される。具体的には、各ネットワークデバイスは、パケットの転送に使用される出力ポート－リンクを決定するために修正ＥＣＭＰアルゴリズムを実装し、そこでは、修正ＥＣＭＰアルゴリズムにより、特定の着信ポート－リンクで受信されたいかなるパケットも、常に同じ発信ポート－リンクにハッシュする。たとえば、ネットワークデバイスの第１の着信ポート－リンクで第１のパケットおよび第２のパケットが受信され、ネットワークデバイスの第２の着信ポート－リンクで第３のパケットおよび第４のパケットが受信される場合を考慮する。このような状況において、ネットワークデバイスは、修正ＥＣＭＰアルゴリズムを実装するように構成され、そこでは、ネットワークデバイスは、ネットワークデバイスの第１の発信ポート－リンクで第１のパケットおよび第２のパケットを送信し、ネットワークデバイスの第２の発信ポート－リンクで第３のパケットおよび第４のパケットを送信し、ネットワークデバイスの第１の着信ポート－リンクはネットワークデバイスの第２の着信ポート－リンクとは異なり、ネットワークデバイスの第１の発信ポート－リンクはネットワークデバイスの第２の発信ポート－リンクとは異なる。いくつかの実施態様では、転送情報データベース（たとえば、転送テーブル、ＥＣＭＰテーブルなど）に格納されている情報を変更して、上述した機能を有効にすることができる。
【0131】
次に図１０を参照すると、いくつかの実施形態によるラック１０００の例示的な構成が示されている。図１０に示すように、ラック１０００は、２つのホストマシン、すなわちホストマシン１０１０およびホストマシン１０２０を含む。ラック１０００が２つのホストマシンを含むように示すが、ラック１０００は、より多くの数のホストマシンを含んでもよいことが理解される。各ホストマシンは、複数のＧＰＵおよび複数のＣＰＵを含む。たとえば、ホストマシン１０１０は、複数のＣＰＵ１０１２および複数のＧＰＵ１０１４を含み、ホストマシン１０２０は、複数のＣＰＵ１０２２および複数のＧＰＵ１０２４を含む。
【0132】
ホストマシンは、異なるＴＯＲスイッチを介して異なるネットワークファブリックに通信可能に連結される。たとえば、ホストマシン１０１０および１０２０は、ＴＯＲスイッチ、すなわちＴＯＲ １スイッチ１０５０を介して、ネットワークファブリック（本明細書ではラック１０００のフロントエンドネットワークと称する）に通信可能に連結される。フロントエンドネットワークは、外部ネットワークに対応してもよい。より具体的には、ホストマシン１０１０は、ＴＯＲ １スイッチ１０５０に連結されたネットワークインターフェースカード（ＮＩＣ）１０３０およびネットワーク仮想化デバイス（ＮＶＤ）１０３５を介して、フロントエンドネットワークに接続される。ホストマシン１０２０は、ＮＩＣ１０４０と、ＴＯＲ １スイッチ１０５０に連結されたＮＶＤ１０４５とを介して、フロントエンドネットワークに接続される。したがって、いくつかの実施形態によって、各ホストマシンのＣＰＵは、ＮＩＣ、ＮＶＤ、およびＴＯＲスイッチを介してフロントエンドネットワークと通信することができる。たとえば、ホストマシン１０１０のＣＰＵ１０１２は、ＮＩＣ１０３０、ＮＶＤ１０３５、およびＴＯＲ １スイッチ１０５０を介してフロントエンドネットワークと通信することができる。
【0133】
ホストマシン１０１０および１０２０は、他方でサービス品質（ＱｏＳ）対応のバックエンドネットワークに接続されている。（ＱｏＳ）対応のバックエンドネットワークは、本明細書では、図６に示すようにＧＰＵクラスタネットワークに対応するバックエンドネットワークと称する。ホストマシン１０１０は、別のＮＩＣ１０６５を介して、ホストマシン１０１０をバックエンドネットワークに通信可能に連結するＴＯＲ ２スイッチ１０６０に接続されている。同様に、ホストマシン１０２０は、ＮＩＣ１０８０を介して、ホストマシン１０２０をバックエンドネットワークに通信可能に連結するＴＯＲ ２スイッチ１０６０に接続されている。このように、各ホストマシンの複数のＧＰＵは、ＮＩＣおよびＴＯＲスイッチを介してバックエンドネットワークと通信することができる。このように、複数のＣＰＵは、フロントエンドおよびバックエンドネットワークとそれぞれ通信するために、（ＧＰＵによって利用されるＮＩＣのセットと比較して）別々のＮＩＣのセットを利用する。
【0134】
図１１Ａは、いくつかの実施形態による、パケットをルーティングする際にネットワークデバイスによって実行されるステップを示す例示的なフローチャート１１００を示す。図１１Ａに示す処理は、それぞれのシステム、ハードウェア、またはそれらの組み合わせの１つまたは複数の処理装置（たとえば、プロセッサ、コア）によって実行されるソフトウェア（たとえば、コード、命令、プログラム）で実装することができる。ソフトウェアは、非一時的記憶媒体に（たとえば、メモリデバイスに）格納することができる。図１１Ａに提示するとともに以下に説明する方法は、例示的であり非限定的であるように意図されている。図１１Ａは、特定のシーケンスまたは順序で発生するさまざまな処理ステップを示すが、これは限定的であるようには意図されていない。いくつかの代替的な実施形態において、ステップをいくつかの異なる順序で実行してもよく、またはいくつかのステップを並行して実行してもよい。
【0135】
プロセスはステップ１１０５で開始し、そこで、ネットワークデバイスが、ホストマシンの画像処理装置（ＧＰＵ）によって送信されたデータパケットを受信する。ステップ１１１０において、ネットワークデバイスは、パケットが受信された着信ポート／リンクを決定する。ステップ１１１５において、ネットワークデバイスは、ポリシールーティング情報に基づいて、（パケットが受信された）着信ポート／リンクに対応する発信ポート／リンクを特定する。いくつかの実施形態によれば、ポリシールーティング情報は、ネットワークデバイスの各着信ポート－リンクをネットワークデバイスの一意の発信リンク－ポートに結び付ける、ネットワークデバイスのための事前に構成されたＧＰＵルーティングテーブルに対応する。
【0136】
次に、プロセスはステップ１１２０に移り、そこで、発信ポート－リンクが機能状態にあるか否か、たとえば、発信リンクがアクティブであるか否かを決定する問い合わせが実行される。問い合わせに対する応答が肯定的である（すなわち、リンクがアクティブである）場合、プロセスはステップ１１２５に移り、問い合わせに対する応答が否定的である（すなわち、リンクが故障状態／非アクティブ状態である）場合、プロセスはステップ１１３０に移る。ステップ１１２５において、ネットワークデバイスは、（ステップ１１１５で特定された）発信ポート－リンクを利用して、受信データパケットを別のネットワークデバイスに転送する。ステップ１１３０において、ネットワークデバイスは、データパケットのフロー情報を取得し、たとえば、フロー情報は、パケットに関連付けられた４タプル（すなわち、送信元ポート、宛先ポート、送信元ＩＰアドレス、宛先ＩＰアドレス）に対応してもよい。取得されたフロー情報に基づいて、ネットワークデバイスは、ＥＣＭＰルーティングを利用して、新たな発信ポート－リンク、すなわち利用可能な発信ポート－リンクを特定する。その後、プロセスはステップ１１３５に移り、そこで、ネットワークデバイスは、新たに取得した発信ポート－リンクを利用して、ステップ１１０５で受信したデータパケットを転送する。
【0137】
図１１Ｂは、いくつかの実施形態による、パケットをルーティングする際にネットワークデバイスによって実行されるステップを示す別の例示的なフローチャート１１５０を示す。図１１Ｂに示す処理は、それぞれのシステム、ハードウェア、またはそれらの組み合わせの１つまたは複数の処理装置（たとえば、プロセッサ、コア）によって実行されるソフトウェア（たとえば、コード、命令、プログラム）で実装することができる。ソフトウェアは、非一時的記憶媒体に（たとえば、メモリデバイスに）格納することができる。図１１Ｂに提示するとともに以下に説明する方法は、例示的であり非限定的であるように意図されている。図１１Ｂは、特定のシーケンスまたは順序で発生するさまざまな処理ステップを示すが、これは限定的であるようには意図されていない。いくつかの代替的な実施形態において、ステップをいくつかの異なる順序で実行してもよく、またはいくつかのステップを並行して実行してもよい。
【0138】
プロセスはステップ１１５５で開始し、そこで、ネットワークデバイスが、ホストマシンの画像処理装置（ＧＰＵ）によって送信されたデータパケットを受信する。ステップ１１６０において、ネットワークデバイスは、受信したパケットのフロー情報を決定する。いくつかの実施態様では、フロー情報は、パケットに関連付けられた４タプル（すなわち、送信元ポート、宛先ポート、送信元ＩＰアドレス、宛先ＩＰアドレス）に対応してもよい。ステップ１１６５において、ネットワークデバイスは、ＥＣＭＰルーティングの修正バージョンを実装することによって、発信ポート－リンクを計算する。修正ＥＣＭＰアルゴリズムにより、特定の着信ポート－リンクで受信されたいかなるパケットも、常に同じ発信ポート－リンクで送信されるようにハッシュされる。
【0139】
次に、プロセスはステップ１１７０に移り、そこで、（ステップ１１６５で決定された）発信ポート－リンクが機能状態にあるか否か、たとえば、発信リンクがアクティブであるか否かを決定する問い合わせが実行される。問い合わせに対する応答が肯定的である（すなわち、リンクがアクティブである）場合、プロセスはステップ１１７５に移り、問い合わせに対する応答が否定的である（すなわち、リンクが故障状態／非アクティブ状態である）場合、プロセスはステップ１１８０に移る。ステップ１１７５において、ネットワークデバイスは（ステップ１１６５で特定された）発信ポート－リンクを利用して、受信データパケットを別のネットワークデバイスに転送する。（ステップ１１６５の）特定された発信ポート－リンクが非アクティブ状態であると決定された場合、プロセスはステップ１１８０に移る。ステップ１１８０において、ネットワークデバイスは、ＥＣＭＰルーティング（すなわち、標準ＥＣＭＰルーティング）を実装して、新しい発信ポート－リンクを特定する。その後、プロセスはステップ１１８５に移り、そこで、ネットワークデバイスは、新たに計算された発信ポート－リンクを利用して、ステップ１１５５で受信したデータパケットを転送する。
【0140】
ホストマシンのＧＰＵから発信されるデータパケットをルーティングする上述した技術により、スループットが、小規模なクラスタでは２０％、大規模なクラスタでは７０％増加することになる（すなわち、標準ＥＣＭＰルーティングアルゴリズムに対して３倍の改善）ことが留意される。
【0141】
クラウドインフラストラクチャ実施形態例
上述したように、サービスとしてのインフラストラクチャ（ＩａａＳ）は、１つの特定のタイプのクラウドコンピューティングである。ＩａａＳは、公衆ネットワーク（たとえば、インターネット）を介して仮想化コンピューティングリソースを提供するように構成することができる。ＩａａＳモデルにおいて、クラウドコンピューティングプロバイダは、インフラストラクチャコンポーネント（たとえば、サーバ、ストレージデバイス、ネットワークノード（たとえば、ハードウェア）、デプロイメントソフトウェア、プラットフォーム仮想化（たとえば、ハイパーバイザレイヤ）など）をホストすることができる。場合によっては、ＩａａＳプロバイダは、インフラストラクチャコンポーネントに付随する種々のサービス（たとえば、課金、監視、ロギング、セキュリティ、負荷分散、およびクラスタリングなど）を提供することもできる。したがって、これらのサービスがポリシー駆動型であり得るため、ＩａａＳユーザは、アプリケーションの可用性および性能を維持するために、負荷分散を駆動するポリシーを実装することができる可能性がある。
上述したように、サービスとしてのインフラストラクチャ（ＩａａＳ）は、１つの特定のタイプのクラウドコンピューティングである。ＩａａＳは、公衆ネットワーク（たとえば、インターネット）を介して仮想化コンピューティングリソースを提供するように構成することができる。ＩａａＳモデルにおいて、クラウドコンピューティングプロバイダは、インフラストラクチャコンポーネント（たとえば、サーバ、ストレージデバイス、ネットワークノード（たとえば、ハードウェア）、デプロイメントソフトウェア、プラットフォーム仮想化（たとえば、ハイパーバイザレイヤ）など）をホストすることができる。場合によっては、ＩａａＳプロバイダは、インフラストラクチャコンポーネントに付随する種々のサービス（たとえば、課金、監視、ロギング、セキュリティ、負荷分散、およびクラスタリングなど）を提供することもできる。したがって、これらのサービスがポリシー駆動型であり得るため、ＩａａＳユーザは、アプリケーションの可用性および性能を維持するために、負荷分散を駆動するポリシーを実装することができる可能性がある。
【0142】
いくつかの事例では、ＩａａＳ顧客は、インターネットなどの広域ネットワーク（ＷＡＮ）を介してリソースおよびサービスにアクセスすることができ、クラウドプロバイダのサービスを使用してアプリケーションスタックの残りの要素をインストールすることができる。たとえば、ユーザは、ＩａａＳプラットフォームにログインして、仮想マシン（ＶＭ）を作成し、各ＶＭにオペレーティングシステム（ＯＳ）をインストールし、データベースなどのミドルウェアをデプロイし、ワークロードおよびバックアップのためのストレージバケットを作成し、さらにはそのＶＭにエンタープライズソフトウェアをインストールすることができる。顧客は、その後、プロバイダのサービスを使用して、ネットワークトラフィックのバランシング、アプリケーションのトラブルシューティング、パフォーマンスの監視、ディザスタリカバリの管理などを含む、さまざまな機能を実行することができる。
【0143】
大部分の場合、クラウドコンピューティングモデルは、クラウドプロバイダの参加を必要とする。クラウドプロバイダは、必須ではないが、ＩａａＳの提供（たとえば、オファー、レンタル、販売）に特化したサードパーティサービスであってもよい。エンティティが、プライベートクラウドをデプロイし、インフラストラクチャサービスの独自のプロバイダになるように決めてもよい。
【0144】
いくつかの例では、ＩａａＳデプロイメントとは、新たなアプリケーション、またはアプリケーションの新たなバージョンを、準備されたアプリケーションサーバなどに配置するプロセスである。ＩａａＳデプロイメントは、サーバを準備する（たとえば、ライブラリ、デーモンなどをインストールする）プロセスを含んでもよい。ＩａａＳデプロイメントは、多くの場合、クラウドプロバイダによって、ハイパーバイザレイヤ（たとえば、サーバ、ストレージ、ネットワークハードウェア、および仮想化）の下で管理される。したがって、顧客は、（ＯＳ）、ミドルウェア、および／または（たとえば、（たとえば、オンデマンドでスピンアップすることができる）セルフサービス仮想マシンでの）アプリケーションデプロイメントなどの処理を担当することができる。
【0145】
いくつかの例では、ＩａａＳのプロビジョニングは、使用されるコンピュータまたは仮想ホストを取得すること、およびさらにはコンピュータまたは仮想ホスト上に必要なライブラリまたはサービスをインストールすることを指す場合がある。大部分の場合、デプロイメントはプロビジョニングを含まず、プロビジョニングは、最初に実行する必要がある。
【0146】
場合によっては、ＩａａＳのプロビジョニングには２つの異なる課題がある。第１に、何も実行しないうちに、インフラストラクチャの初期セットをプロビジョニングするという初期課題がある。第２に、すべてがプロビジョニングされた後に、既存のインフラストラクチャを進化させる（たとえば、新たなサービスの追加、サービスの変更、サービスの削除など）という課題がある。場合によっては、インフラストラクチャの構成を宣言的に定義することを可能にすることによって、これらの２つの課題に対処することができる。言い換えれば、インフラストラクチャ（たとえば、いずれのコンポーネントが必要とされるか、およびこれらのコンポーネントがいかに相互作用するか）は、１つまたは複数の構成ファイルによって定義することができる。したがって、インフラストラクチャの全体的なトポロジ（たとえば、いずれのリソースがいずれに依存し、それらの各々いかに連携するか）を、宣言的に記述することができる。いくつかの事例では、トポロジが定義されると、構成ファイルに記述された異なるコンポーネントを作成および／または管理するためのワークフローを生成することができる。
【0147】
いくつかの例では、インフラストラクチャは、多くの相互接続された要素を有することができる。たとえば、コアネットワークとしても知られている１つまたは複数の仮想プライベートクラウド（ＶＰＣ）（たとえば、構成可能なかつ／または共有されたコンピューティングリソースの潜在的なオンデマンドプール）があってもよい。いくつかの例では、ネットワークのセキュリティがいかにセットアップされるかを定義するためにプロビジョニングされた１つまたは複数のセキュリティグループルール、および１つまたは複数の仮想マシン（ＶＭ）もまたあり得る。ロードバランサ、データベースなどの他のインフラストラクチャ要素もまたプロビジョニングしてもよい。さらに多くのインフラストラクチャ要素が望まれかつ／または追加されるに従い、インフラストラクチャは、漸進的に進化することができる。
【0148】
いくつかの事例では、さまざまな仮想コンピューティング環境にわたってインフラストラクチャコードのデプロイメントを可能にするために、連続デプロイメント技術を採用してもよい。さらに、記載した技術は、これらの環境内のインフラストラクチャ管理を可能にすることができる。いくつかの例では、サービスチームは、１つまたは複数の、ただし多くの場合は多くの異なる生産環境に（たとえば、全世界に及ぶ場合もある、さまざまな異なる地理的場所にわたって）デプロイされることが望まれるコードを書くことができる。しかしながら、いくつかの例では、コードがデプロイされるインフラストラクチャを最初にセットアップしなければならない。いくつかの事例では、プロビジョニングは、手動で行うことができ、プロビジョニングツールを利用してリソースをプロビジョニングすることができ、かつ／またはインフラストラクチャがプロビジョニングされた後、デプロイツールを利用してコードをデプロイすることができる。
【0149】
図１２は、少なくとも１つの実施形態による、ＩａａＳアーキテクチャのパターン例を示すブロック図１２００である。サービスオペレータ１２０２は、仮想クラウドネットワーク（ＶＣＮ）１２０６およびセキュアホストサブネット１２０８を含むことができるセキュアホストテナンシ１２０４に通信可能に連結することができる。いくつかの例では、サービスオペレータ１２０２は、１つまたは複数のクライアントコンピューティングデバイスを使用している場合があり、１つまたは複数のクライアントコンピューティングデバイスは、Ｍｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ Ｍｏｂｉｌｅ（登録商標）などのソフトウェア、および／またはｉＯＳ、Ｗｉｎｄｏｗｓ Ｐｈｏｎｅ、Ａｎｄｒｏｉｄ、ＢｌａｃｋＢｅｒｒｙ８、ＰａｌｍＯＳなどの種々のモバイルオペレーティングシステムを実行し、インターネット、電子メール、ショートメッセージサービス（ＳＭＳ）、Ｂｌａｃｋｂｅｒｒｙ（登録商標）または他の通信プロトコルが使用可能である、ポータブルハンドヘルドデバイス（たとえば、ｉＰｈｏｎｅ（登録商標）、携帯電話、ｉＰａｄ（登録商標）、コンピューティングタブレット、携帯情報端末（ＰＤＡ））、またはウェアラブルデバイス（Ｇｏｏｇｌｅ Ｇｌａｓｓ（登録商標）ヘッドマウントディスプレイ）であってもよい。代替的に、クライアントコンピューティングデバイスは、例として、Ｍｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ（登録商標）オペレーティングシステム、Ａｐｐｌｅ Ｍａｃｉｎｔｏｓｈ（登録商標）オペレーティングシステム、および／またはＬｉｎｕｘ（登録商標）オペレーティングシステムのさまざまなバージョンを実行しているパーソナルコンピュータおよび／またはラップトップコンピュータを含む、汎用パーソナルコンピュータであってもよい。クライアントコンピューティングデバイスは、限定なしに、たとえばＧｏｏｇｌｅ Ｃｈｒｏｍｅ ＯＳなど、種々のＧＮＵ／Ｌｉｎｕｘオペレーティングシステムを含む、種々の市販のＵＮＩＸ（登録商標）またはＵＮＩＸ系オペレーティングシステムを実行している、ワークステーションコンピュータであり得る。代替的にまたは加えて、クライアントコンピューティングデバイスは、ＶＣＮ１２０６および／またはインターネットにアクセスすることができるネットワークを介して通信することができる、シンクライアントコンピュータ、インターネット対応ゲーミングシステム（たとえば、Ｋｉｎｅｃｔ（登録商標）ジェスチャ入力デバイスを有するかまたは有していないＭｉｃｒｏｓｏｆｔ Ｘｂｏｘゲーム機）、および／またはパーソナルメッセージングデバイスなどの他の任意の電子デバイスであってもよい。
【0150】
ＶＣＮ１２０６は、ローカルピアリングゲートウェイ（ＬＰＧ）１２１０を含むことができ、ＬＰＧ１２１０は、セキュアシェル（ＳＳＨ）ＶＣＮ１２１２に、ＳＳＨ ＶＣＮ１２１２に含まれるＬＰＧ１２１０を介して通信可能に連結することができる。ＳＳＨ ＶＣＮ１２１２は、ＳＳＨサブネット１２１４を含むことができ、ＳＳＨ ＶＣＮ１２１２は、制御プレーンＶＣＮ１２１６に、制御プレーンＶＣＮ１２１６に含まれるＬＰＧ１２１０を介して通信可能に連結することができる。また、ＳＳＨ ＶＣＮ１２１２は、ＬＰＧ１２１０を介して、データプレーンＶＣＮ１２１８に通信可能に連結することができる。制御プレーンＶＣＮ１２１６およびデータプレーンＶＣＮ１２１８は、ＩａａＳプロバイダによって所有および／または運営することができるサービステナンシ１２１９に含めることができる。
【0151】
制御プレーンＶＣＮ１２１６は、境界ネットワーク（たとえば、企業イントラネットと外部ネットワークとの間の企業ネットワークの部分）として作用する制御プレーン非武装地帯（ＤＭＺ：ｄｅｍｉｌｉｔａｒｉｚｅｄ ｚｏｎｅ）層１２２０を含むことができる。ＤＭＺベースのサーバは、制限された信頼性を有し、セキュリティ侵害を抑制するのに役立つことができる。さらに、ＤＭＺ層１２２０は、１つまたは複数のロードバランサ（ＬＢ）サブネット１２２２と、アプリサブネット１２２６を含むことができる制御プレーンアプリ層１２２４と、データベース（ＤＢ）サブネット１２３０（たとえば、フロントエンドＤＢサブネットおよび／またはバックエンドＤＢサブネット）を含むことができる制御プレーンデータ層１２２８とを含むことができる。制御プレーンＤＭＺ層１２２０に含まれるＬＢサブネット１２２２は、制御プレーンアプリ層１２２４に含まれるアプリサブネット１２２６と制御プレーンＶＣＮ１２１６に含めることができるインターネットゲートウェイ１２３４とに通信可能に連結することができ、アプリサブネット１２２６は、制御プレーンデータ層１２２８に含まれるＤＢサブネット１２３０と、サービスゲートウェイ１２３６と、ネットワークアドレス変換（ＮＡＴ）ゲートウェイ１２３８とに通信可能に連結することができる。制御プレーンＶＣＮ１２１６は、サービスゲートウェイ１２３６およびＮＡＴゲートウェイ１２３８を含むことができる。
【0152】
制御プレーンＶＣＮ１２１６は、アプリサブネット１２２６を含むことができるデータプレーンミラーアプリ層１２４０を含むことができる。データプレーンミラーアプリ層１２４０に含まれるアプリサブネット１２２６は、コンピュートインスタンス１２４４を実行することができる仮想ネットワークインターフェースコントローラ（ＶＮＩＣ）１２４２を含むことができる。コンピュートインスタンス１２４４は、データプレーンミラーアプリ層１２４０のアプリサブネット１２２６を、データプレーンアプリ層１２４６に含めることができるアプリサブネット１２２６に通信可能に連結することができる。
【0153】
データプレーンＶＣＮ１２１８は、データプレーンアプリ層１２４６と、データプレーンＤＭＺ層１２４８と、データプレーンデータ層１２５０とを含むことができる。データプレーンＤＭＺ層１２４８は、データプレーンアプリ層１２４６のアプリサブネット１２２６およびデータプレーンＶＣＮ１２１８のインターネットゲートウェイ１２３４に通信可能に連結することができるＬＢサブネット１２２２を含むことができる。アプリサブネット１２２６は、データプレーンＶＣＮ１２１８のサービスゲートウェイ１２３６およびデータプレーンＶＣＮ１２１８のＮＡＴゲートウェイ１２３８に通信可能に連結することができる。データプレーンデータ層１２５０は、データプレーンアプリ層１２４６のアプリサブネット１２２６に通信可能に連結することができるＤＢサブネット１２３０も含むことができる。
【0154】
制御プレーンＶＣＮ１２１６のインターネットゲートウェイ１２３４およびデータプレーンＶＣＮ１２１８のインターネットゲートウェイ１２３４は、公衆インターネット１２５４に通信可能に連結することができるメタデータ管理サービス１２５２に通信可能に連結することができる。公衆インターネット１２５４は、制御プレーンＶＣＮ１２１６のＮＡＴゲートウェイ１２３８およびデータプレーンＶＣＮ１２１８のＮＡＴゲートウェイ１２３８に通信可能に連結することができる。制御プレーンＶＣＮ１２１６のサービスゲートウェイ１２３６およびデータプレーンＶＣＮ１２１８のサービスゲートウェイ１２３６は、クラウドサービス１２５６に通信可能に連結することができる。
【0155】
いくつかの例では、制御プレーンＶＣＮ１２１６またはデータプレーンＶＣＮ１２１８のサービスゲートウェイ１２３６は、公衆インターネット１２５４を経由することなく、クラウドサービス１２５６へのアプリケーションプログラミングインターフェース（ＡＰＩ）呼び出しを行うことができる。サービスゲートウェイ１２３６からのクラウドサービス１２５６へのＡＰＩ呼び出しは、一方向であり得る。すなわち、サービスゲートウェイ１２３６は、クラウドサービス１２５６へのＡＰＩ呼び出しを行うことができ、クラウドサービス１２５６は、要求されたデータをサービスゲートウェイ１２３６に送信することができる。しかしながら、クラウドサービス１２５６は、サービスゲートウェイ１２３６へのＡＰＩ呼び出しを開始することができない。
【0156】
いくつかの例では、セキュアホストテナンシ１２０４は、本来は隔離される可能性があるサービステナンシ１２１９に直接接続することができる。セキュアホストサブネット１２０８は、隔離されたシステムでの双方向通信を可能にすることができるＬＰＧ１２１０を介して、ＳＳＨサブネット１２１４と通信することができる。セキュアホストサブネット１２０８をＳＳＨサブネット１２１４に接続することによって、セキュアホストサブネット１２０８は、サービステナンシ１２１９内の他のエンティティにアクセスすることができる。
【0157】
制御プレーンＶＣＮ１２１６は、サービステナンシ１２１９のユーザが所望のリソースをセットアップするかまたは他の方法でプロビジョニングすることを可能にすることができる。制御プレーンＶＣＮ１２１６においてプロビジョニングされた所望のリソースは、データプレーンＶＣＮ１２１８においてデプロイするかまたは他の方法で使用することができる。いくつかの例では、制御プレーンＶＣＮ１２１６は、データプレーンＶＣＮ１２１８から隔離することができ、制御プレーンＶＣＮ１２１６のデータプレーンミラーアプリ層１２４０は、データプレーンミラーアプリ層１２４０およびデータプレーンアプリ層１２４６に含めることができるＶＮＩＣ１２４２を介して、データプレーンＶＣＮ１２１８のデータプレーンアプリ層１２４６と通信することができる。
【0158】
いくつかの例では、システムのユーザまたは顧客は、公衆インターネット１２５４を介して、たとえば、作成、読み取り、更新、または削除（ＣＲＵＤ）操作などの要求を行うことができ、公衆インターネット１２５４は、そうした要求をメタデータ管理サービス１２５２に通信することができる。メタデータ管理サービス１２５２は、インターネットゲートウェイ１２３４を介して、要求を制御プレーンＶＣＮ１２１６に通信することができる。要求は、制御プレーンＤＭＺ層１２２０に含まれるＬＢサブネット１２２２によって受信することができる。ＬＢサブネット１２２２は、要求が有効であると決定する場合があり、この決定に応答して、ＬＢサブネット１２２２は、要求を制御プレーンアプリ層１２２４に含まれるアプリサブネット１２２６に送信することができる。要求が検証され、公衆インターネット１２５４への呼び出しを必要とする場合、公衆インターネット１２５４への呼び出しを、公衆インターネット１２５４への呼び出しを行うことができるＮＡＴゲートウェイ１２３８に送信することができる。要求によって格納することが望まれ得るメモリは、ＤＢサブネット１２３０に格納することができる。
【0159】
いくつかの例では、データプレーンミラーアプリ層１２４０は、制御プレーンＶＣＮ１２１６とデータプレーンＶＣＮ１２１８との間の直接通信を容易にすることができる。たとえば、データプレーンＶＣＮ１２１８に含まれるリソースに対して、構成に対する変更、更新、または他の好適な修正が適用されることが望まれる場合がある。制御プレーンＶＣＮ１２１６は、ＶＮＩＣ１２４２を介して、データプレーンＶＣＮ１２１８に含まれるリソースと直接通信することができ、それによって、リソースに対する構成に対する変更、更新、または他の適切な修正を実行することができる。
【0160】
いくつかの実施形態では、制御プレーンＶＣＮ１２１６およびデータプレーンＶＣＮ１２１８は、サービステナンシ１２１９に含めることができる。この場合、システムのユーザまたは顧客は、制御プレーンＶＣＮ１２１６およびデータプレーンＶＣＮ１２１８のいずれも所有および操作しなくてもよい。代わりに、ＩａａＳプロバイダが、制御プレーンＶＣＮ１２１６およびデータプレーンＶＣＮ１２１８を所有または操作することができ、これらの両方は、サービステナンシ１２１９に含めることができる。この実施形態により、ネットワークの隔離を可能にすることができ、それにより、ユーザまたは顧客が、他のユーザのリソースまたは他の顧客のリソースとインタラクトすることを防止することができる。また、この実施形態により、システムのユーザまたは顧客が、格納するのに所望のレベルのセキュリティレベルを有していない可能性のある公衆インターネット１２５４に依存する必要なく、データベースをプライベートに格納することができるようにすることができる。
【0161】
他の実施形態では、制御プレーンＶＣＮ１２１６に含まれるＬＢサブネット１２２２は、サービスゲートウェイ１２３６から信号を受信するように構成することができる。この実施形態では、制御プレーンＶＣＮ１２１６およびデータプレーンＶＣＮ１２１８は、公衆インターネット１２５４を呼び出すことなく、ＩａａＳプロバイダの顧客によって呼び出されるように構成することができる。顧客が使用するデータベースは、ＩａａＳプロバイダによって制御することができ、公衆インターネット１２５４から隔離することができるサービステナンシ１２１９に格納することができるため、ＩａａＳプロバイダの顧客は、この実施形態を望む可能性がある。
【0162】
図１３は、少なくとも１つの実施形態による、ＩａａＳアーキテクチャの別のパターン例を示すブロック図１３００である。サービスオペレータ１３０２（たとえば、図１２のサービスオペレータ１２０２）は、仮想クラウドネットワーク（ＶＣＮ）１３０６（たとえば、図１２のＶＣＮ１２０６）およびセキュアホストサブネット１３０８（たとえば、図１２のセキュアホストサブネット１２０８）を含むことができるセキュアホストテナンシ１３０４（たとえば、図１２のセキュアホストテナンシ１２０４）に通信可能に連結することができる。ＶＣＮ１３０６は、ローカルピアリングゲートウェイ（ＬＰＧ）１３１０（たとえば、図１２のＬＰＧ１２１０）を含むことができ、ＬＰＧ１３１０は、セキュアシェル（ＳＳＨ）ＶＣＮ１３１２（たとえば、図１２のＳＳＨ ＶＣＮ１２１２）に、ＳＳＨ ＶＣＮ１３１２に含まれるＬＰＧ１３１０を介して通信可能に連結することができる。ＳＳＨ ＶＣＮ１３１２は、ＳＳＨサブネット１３１４（たとえば、図１２のＳＳＨサブネット１２１４）を含むことができ、ＳＳＨ ＶＣＮ１３１２は、制御プレーンＶＣＮ１３１６（たとえば、図１２の制御プレーンＶＣＮ１２１６）に、制御プレーンＶＣＮ１３１６に含まれるＬＰＧ１３１０を介して通信可能に連結することができる。制御プレーンＶＣＮ１３１６は、サービステナンシ１３１９（たとえば、図１２のサービステナンシ１２１９）に含めることができ、データプレーンＶＣＮ１３１８（たとえば、図１２のデータプレーンＶＣＮ１２１８）は、システムのユーザまたは顧客が所有または運営する可能性がある顧客テナンシ１３２１に含めることができる。
【0163】
制御プレーンＶＣＮ１３１６は、ＬＢサブネット１３２２（たとえば、図１２のＬＢサブネット１２２２）を含むことができる制御プレーンＤＭＺ層１３２０（たとえば、図１２の制御プレーンＤＭＺ層１２２０）と、アプリサブネット１３２６（たとえば、図１２のアプリサブネット１２２６）を含むことができる制御プレーンアプリ層１３２４（たとえば、図１２の制御プレーンアプリ層１２２４）と、（たとえば、図１２のＤＢサブネット１２３０と同様の）データベース（ＤＢ）サブネット１３３０を含むことができる制御プレーンデータ層１３２８（たとえば、図１２の制御プレーンデータ層１２２８）とを含むことができる。制御プレーンＤＭＺ層１３２０に含まれるＬＢサブネット１３２２は、制御プレーンアプリ層１３２４に含まれるアプリサブネット１３２６と、制御プレーンＶＣＮ１３１６に含めることができるインターネットゲートウェイ１３３４（たとえば、図１２のインターネットゲートウェイ１２３４）とに通信可能に連結することができ、アプリサブネット１３２６は、制御プレーンデータ層１３２８に含まれるＤＢサブネット１３３０と、サービスゲートウェイ１３３６（たとえば、図１２のサービスゲートウェイ）およびネットワークアドレス変換（ＮＡＴ）ゲートウェイ１３３８（たとえば、図１２のＮＡＴゲートウェイ１２３８）とに通信可能に連結することができる。制御プレーンＶＣＮ１３１６は、サービスゲートウェイ１３３６およびＮＡＴゲートウェイ１３３８を含むことができる。
【0164】
制御プレーンＶＣＮ１３１６は、アプリサブネット１３２６を含むことができるデータプレーンミラーアプリ層１３４０（たとえば、図１２のデータプレーンミラーアプリ層１２４０）を含むことができる。データプレーンミラーアプリ層１３４０に含まれるアプリサブネット１３２６は、（たとえば、図１２のコンピュートインスタンス１２４４と同様の）コンピュートインスタンス１３４４を実行することができる仮想ネットワークインターフェースコントローラ（ＶＮＩＣ）１３４２（たとえば、ＶＮＩＣ１２４２）を含むことができる。コンピュートインスタンス１３４４は、データプレーンミラーアプリ層１３４０に含まれるＶＮＩＣ１３４２およびデータプレーンアプリ層１３４６に含まれるＶＮＩＣ１３４２を介して、データプレーンミラーアプリ層１３４０のアプリサブネット１３２６と、データプレーンアプリ層１３４６（たとえば、図１２のデータプレーンアプリ層１２４６）に含めることができるアプリサブネット１３２６との間の通信を促進することができる。
【0165】
制御プレーンＶＣＮ１３１６に含まれるインターネットゲートウェイ１３３４は、公衆インターネット１３５４（たとえば、図１２の公衆インターネット１２５４）に通信可能に連結することができるメタデータ管理サービス１３５２（たとえば、図１２のメタデータ管理サービス１２５２）に通信可能に連結することができる。公衆インターネット１３５４は、制御プレーンＶＣＮ１３１６に含まれるＮＡＴゲートウェイ１３３８に通信可能に連結することができる。制御プレーンＶＣＮ１３１６に含まれるサービスゲートウェイ１３３６は、クラウドサービス１３５６（たとえば、図１２のクラウドサービス１２５６）に通信可能に連結することができる。
【0166】
いくつかの例では、データプレーンＶＣＮ１３１８は、顧客テナンシ１３２１に含めることができる。この場合、ＩａａＳプロバイダは、各顧客に対して制御プレーンＶＣＮ１３１６を提供することができ、ＩａａＳプロバイダは、各顧客に対して、サービステナンシ１３１９に含まれる一意のコンピュートインスタンス１３４４をセットアップすることができる。各コンピュートインスタンス１３４４は、サービステナンシ１３１９に含まれる制御プレーンＶＣＮ１３１６と、顧客テナンシ１３２１に含まれるデータプレーンＶＣＮ１３１８との間の通信を可能にすることができる。コンピュートインスタンス１３４４は、サービステナンシ１３１９に含まれる制御プレーンＶＣＮ１３１６においてプロビジョニングされるリソースが、顧客テナンシ１３２１に含まれるデータプレーンＶＣＮ１３１８にデプロイされるかまたは他の方法で使用されることを可能にすることができる。
【0167】
他の例では、ＩａａＳプロバイダの顧客は、顧客テナンシ１３２１に存在するデータベースを有することができる。この例では、制御プレーンＶＣＮ１３１６は、アプリサブネット１３２６を含むことができるデータプレーンミラーアプリ層１３４０を含むことができる。データプレーンミラーアプリ層１３４０は、データプレーンＶＣＮ１３１８に常駐することができ、データプレーンＶＣＮ１３１８に存在する可能性はない。すなわち、データプレーンミラーアプリ層１３４０は、顧客テナンシ１３２１にアクセスすることができるが、データプレーンＶＣＮ１３１８に存在しなくてもよく、ＩａａＳプロバイダの顧客が所有および運営しなくてもよい。データプレーンミラーアプリ層１３４０は、データプレーンＶＣＮ１３１８への呼び出しを行うように構成してもよいが、制御プレーンＶＣＮ１３１６に含まれる任意のエンティティへの呼び出しを行うようには構成しなくてもよい。顧客は、制御プレーンＶＣＮ１３１６にプロビジョニングされている、データプレーンＶＣＮ１３１８内のリソースをデプロイするかまたは他の方法で使用することを望む場合があり、データプレーンミラーアプリ層１３４０は、顧客のリソースの所望のデプロイメントまたは他の使用を促進することができる。
【0168】
いくつかの実施形態では、ＩａａＳプロバイダの顧客は、データプレーンＶＣＮ１３１８にフィルタを適用することができる。この実施形態では、顧客は、データプレーンＶＣＮ１３１８がアクセスできるものを決定することができ、顧客は、データプレーンＶＣＮ１３１８からの公衆インターネット１３５４へのアクセスを制限することができる。ＩａａＳプロバイダは、データプレーンＶＣＮ１３１８から任意の外部ネットワークまたはデータベースへのアクセスにフィルタを適用するかまたはそうしたアクセスを制御することができない場合がある。顧客が顧客テナンシ１３２１に含まれるデータプレーンＶＣＮ１３１８にフィルタおよび制御を適用することは、データプレーンＶＣＮ１３１８を他の顧客および公衆インターネット１３５４から隔離するのに役立つことができる。
【0169】
いくつかの実施形態では、サービスゲートウェイ１３３６が、公衆インターネット１３５４上に、制御プレーンＶＣＮ１３１６上に、またはデータプレーンＶＣＮ１３１８上に存在していない可能性があるサービスにアクセスするために、クラウドサービス１３５６を呼び出すことができる。クラウドサービス１３５６と制御プレーンＶＣＮ１３１６またはデータプレーンＶＣＮ１３１８との間の接続は、ライブでも連続的でなくてもよい。クラウドサービス１３５６は、ＩａａＳプロバイダによって所有または運営されている別のネットワーク上に存在してもよい。クラウドサービス１３５６は、サービスゲートウェイ１３３６から呼び出しを受信するように構成してもよく、公衆インターネット１３５４から呼び出しを受信しないように構成してもよい。いくつかのクラウドサービス１３５６は、他のクラウドサービス１３５６から隔離されている場合があり、制御プレーンＶＣＮ１３１６は、制御プレーンＶＣＮ１３１６と同じリージョンにない可能性があるクラウドサービス１３５６から隔離されている場合がある。たとえば、制御プレーンＶＣＮ１３１６は、「リージョン１」に位置する場合があり、クラウドサービス「デプロイメント１２」は、「リージョン１」および「リージョン２」に位置する場合がある。デプロイメント１２への呼び出しが、リージョン１に位置する制御プレーンＶＣＮ１３１６に含まれるサービスゲートウェイ１３３６によって行われる場合、この呼び出しは、リージョン１内のデプロイメント１２に送信することができる。この例では、制御プレーンＶＣＮ１３１６またはリージョン１のデプロイメント１２は、リージョン２のデプロイメント１２と通信可能に連結されないか、または他の方法で通信していない可能性がある。
【0170】
図１４は、少なくとも１つの実施形態による、ＩａａＳアーキテクチャの別のパターン例を示すブロック図１４００である。サービスオペレータ１４０２（たとえば、図１２のサービスオペレータ１２０２）は、仮想クラウドネットワーク（ＶＣＮ）１４０６（たとえば、図１２のＶＣＮ１２０６）およびセキュアホストサブネット１４０８（たとえば、図１２のセキュアホストサブネット１２０８）を含むことができるセキュアホストテナンシ１４０４（たとえば、図１２のセキュアホストテナンシ１２０４）に通信可能に連結することができる。ＶＣＮ１４０６は、ＳＳＨ ＶＣＮ１４１２（たとえば、図１２のＳＳＨ ＶＣＮ１２１２）に、ＳＳＨ ＶＣＮ１４１２に含まれるＬＰＧ１４１０を介して通信可能に連結することができる、ＬＰＧ１４１０（たとえば、図１２のＬＰＧ１２１０）を含むことができる。ＳＳＨ ＶＣＮ１４１２は、ＳＳＨサブネット１４１４（たとえば、図１２のＳＳＨサブネット１２１４）を含むことができ、ＳＳＨ ＶＣＮ１４１２は、制御プレーンＶＣＮ１４１６（たとえば、図１２の制御プレーンＶＣＮ１２１６）に、制御プレーンＶＣＮ１４１６に含まれるＬＰＧ１４１０を介して、かつデータプレーンＶＣＮ１４１８（たとえば、図１２のデータプレーン１２１８）に、データプレーンＶＣＮ１４１８に含まれるＬＰＧ１４１０を介して、通信可能に連結することができる。制御プレーンＶＣＮ１４１６およびデータプレーンＶＣＮ１４１８は、サービステナンシ１４１９（たとえば、図１２のサービステナンシ１２１９）に含めることができる。
【0171】
制御プレーンＶＣＮ１４１６は、ロードバランサ（ＬＢ）サブネット１４２２（たとえば、図１２のＬＢサブネット１２２２）を含むことができる制御プレーンＤＭＺ層１４２０（たとえば、図１２の制御プレーンＤＭＺ層１２２０）と、（たとえば、図１２のアプリサブネット１２２６と同様の）アプリサブネット１４２６を含むことができる制御プレーンアプリ層１４２４（たとえば、図１２の制御プレーンアプリ層１２２４）と、ＤＢサブネット１４３０を含むことができる制御プレーンデータ層１４２８（たとえば、図１２の制御プレーンデータ層１２２８）とを含むことができる。制御プレーンＤＭＺ層１４２０に含まれるＬＢサブネット１４２２は、制御プレーンアプリ層１４２４に含まれるアプリサブネット１４２６と、制御プレーンＶＣＮ１４１６に含めることができるインターネットゲートウェイ１４３４（たとえば、図１２のインターネットゲートウェイ１２３４）とに通信可能に連結することができ、アプリサブネット１４２６は、制御プレーンデータ層１４２８に含まれるＤＢサブネット１４３０と、サービスゲートウェイ１４３６（たとえば、図１２のサービスゲートウェイ）およびネットワークアドレス変換（ＮＡＴ）ゲートウェイ１４３８（たとえば、図１２のＮＡＴゲートウェイ１２３８）とに通信可能に連結することができる。制御プレーンＶＣＮ１４１６は、サービスゲートウェイ１４３６およびＮＡＴゲートウェイ１４３８を含むことができる。
【0172】
データプレーンＶＣＮ１４１８は、データプレーンアプリ層１４４６（たとえば、図１２のデータプレーンアプリ層１２４６）と、データプレーンＤＭＺ層１４４８（たとえば、図１２のデータプレーンＤＭＺ層１２４８）と、データプレーンデータ層１４５０（たとえば、図１２のデータプレーンデータ層１２５０）とを含むことができる。データプレーンＤＭＺ層１４４８は、データプレーンＶＣＮ１４１８に含まれる、データプレーンアプリ層１４４６の信頼できるアプリサブネット１４６０および信頼できないアプリサブネット１４６２、ならびにインターネットゲートウェイ１４３４に、通信可能に連結することができる、ＬＢサブネット１４２２を含むことができる。信頼できるアプリサブネット１４６０は、データプレーンＶＣＮ１４１８に含まれるサービスゲートウェイ１４３６、データプレーンＶＣＮ１４１８に含まれるＮＡＴゲートウェイ１４３８、およびデータプレーンデータ層１４５０に含まれるＤＢサブネット１４３０に、通信可能に連結することができる。信頼できないアプリサブネット１４６２は、データプレーンＶＣＮ１４１８に含まれるサービスゲートウェイ１４３６、およびデータプレーンデータ層１４５０に含まれるＤＢサブネット１４３０に通信可能に連結することができる。データプレーンデータ層１４５０は、データプレーンＶＣＮ１４１８に含まれるサービスゲートウェイ１４３６に通信可能に連結することができるＤＢサブネット１４３０を含むことができる。
【0173】
信頼できないアプリサブネット１４６２は、テナント仮想マシン（ＶＭ）１４６６（１）～（Ｎ）に通信可能に連結することができる、１つまたは複数のプライマリＶＮＩＣ１４６４（１）～（Ｎ）を含むことができる。各テナントＶＭ１４６６（１）～（Ｎ）は、それぞれの顧客テナンシ１４７０（１）～（Ｎ）に含めることができるそれぞれのコンテナエグレスＶＣＮ１４６８（１）～（Ｎ）に含めることができるそれぞれのアプリサブネット１４６７（１）～（Ｎ）に、通信可能に連結することができる。それぞれのセカンダリＶＮＩＣ１４７２（１）～（Ｎ）が、データプレーンＶＣＮ１４１８に含まれる信頼できないアプリサブネット１４６２と、コンテナエグレスＶＣＮ１４６８（１）～（Ｎ）に含まれるアプリサブネットとの間の通信を促進することができる。各コンテナエグレスＶＣＮ１４６８（１）～（Ｎ）は、公衆インターネット１４５４（たとえば、図１２の公衆インターネット１２５４）に通信可能に連結することができる、ＮＡＴゲートウェイ１４３８を含むことができる。
【0174】
制御プレーンＶＣＮ１４１６に含まれるインターネットゲートウェイ１４３４およびデータプレーンＶＣＮ１４１８に含まれるインターネットゲートウェイ１４３４は、公衆インターネット１４５４に通信可能に連結することができるメタデータ管理サービス１４５２（たとえば、図１２のメタデータ管理システム１２５２）に、通信可能に連結することができる。公衆インターネット１４５４は、制御プレーンＶＣＮ１４１６に含まれるＮＡＴゲートウェイ１４３８およびデータプレーンＶＣＮ１４１８に含まれるＮＡＴゲートウェイ１４３８に、通信可能に連結することができる。制御プレーンＶＣＮ１４１６に含まれるサービスゲートウェイ１４３６およびデータプレーンＶＣＮ１４１８に含まれるサービスゲートウェイ１４３６は、クラウドサービス１４５６に通信可能に連結することができる。
【0175】
いくつかの実施形態では、データプレーンＶＣＮ１４１８は、顧客テナンシ１４７０と統合することができる。この統合は、コードを実行するときにサポートを望む可能性がある場合などのいくつかの場合において、ＩａａＳプロバイダの顧客にとって有用または望ましい可能性がある。顧客は、破壊的であり得る、他の顧客リソースと通信する可能性がある、または望ましくない影響を引き起こす可能性があるコードを、実行するように提供する場合がある。これに応じて、ＩａａＳプロバイダは、顧客がＩａａＳプロバイダに与えたコードを実行するか否かを決定することができる。
【0176】
いくつかの例では、ＩａａＳプロバイダの顧客は、一時的なネットワークアクセスをＩａａＳプロバイダに許可し、データプレーン層アプリ１４４６にアタッチすべき機能を要求することができる。機能を実行するコードは、ＶＭ１４６６（１）～（Ｎ）で実行することができ、データプレーンＶＣＮ１４１８上の他のいかなる場所でも実行されるように構成しなくてもよい。各ＶＭ１４６６（１）～（Ｎ）は、１つの顧客テナンシ１４７０に接続することができる。ＶＭ１４６６（１）～（Ｎ）に含まれるそれぞれのコンテナ１４７１（１）～（Ｎ）は、コードを実行するように構成することができる。この場合、二重の隔離（たとえば、コンテナ１４７１（１）～（Ｎ）がコードを実行し、コンテナ１４７１（１）～（Ｎ）は、少なくとも、信頼できないアプリサブネット１４６２に含まれるＶＭ１４６６（１）～（Ｎ）に含めることができる）があり得る。これは、間違ったまたは他の意味で望ましくないコードが、ＩａａＳプロバイダのネットワークに損害を与えること、または異なる顧客のネットワークに損害を与えることを防止するのに役立つことができる。コンテナ１４７１（１）～（Ｎ）は、顧客テナンシ１４７０に通信可能に連結することができ、顧客テナンシ１４７０からデータを送信または受信するように構成することができる。コンテナ１４７１（１）～（Ｎ）は、データプレーンＶＣＮ１４１８内の他の任意のエンティティからデータを送信または受信するように構成しなくてもよい。コードの実行が完了したとき、ＩａａＳプロバイダは、コンテナ１４７１（１）～（Ｎ）を強制停止するまたは他の方法で廃棄することができる。
【0177】
いくつかの実施形態では、信頼できるアプリサブネット１４６０は、ＩａａＳプロバイダが所有または操作することができるコードを実行することができる。この実施形態では、信頼できるアプリサブネット１４６０は、ＤＢサブネット１４３０に通信可能に連結し、ＤＢサブネット１４３０においてＣＲＵＤ操作を実行するように構成することができる。信頼できないアプリサブネット１４６２は、ＤＢサブネット１４３０に通信可能に連結することができるが、この実施形態では、信頼できないアプリサブネットは、ＤＢサブネット１４３０内で読み取り操作を実行するように構成することができる。各顧客のＶＭ１４６６（１）～（Ｎ）に含めることができ、顧客からのコードを実行することができるコンテナ１４７１（１）～（Ｎ）は、ＤＢサブネット１４３０と通信可能に連結しなくてもよい。
【0178】
他の実施形態では、制御プレーンＶＣＮ１４１６およびデータプレーンＶＣＮ１４１８は、直接通信可能に連結しなくてもよい。この実施形態では、制御プレーンＶＣＮ１４１６とデータプレーンＶＣＮ１４１８との間に直接の通信はなくてもよい。しかしながら、通信は、少なくとも１つの方法により、間接的に起こり得る。ＩａａＳプロバイダによって、制御プレーンＶＣＮ１４１６とデータプレーンＶＣＮ１４１８との間の通信を容易にすることができるＬＰＧ１４１０を確立してもよい。別の例では、制御プレーンＶＣＮ１４１６またはデータプレーンＶＣＮ１４１８は、サービスゲートウェイ１４３６を介してクラウドサービス１４５６への呼び出しを行うことができる。たとえば、制御プレーンＶＣＮ１４１６からクラウドサービス１４５６への呼び出しは、データプレーンＶＣＮ１４１８と通信することができるサービスの要求を含むことができる。
【0179】
図１５は、少なくとも１つの実施形態による、ＩａａＳアーキテクチャの別のパターン例を示すブロック図１５００である。サービスオペレータ１５０２（たとえば、図１２のサービスオペレータ１２０２）は、仮想クラウドネットワーク（ＶＣＮ）１５０６（たとえば、図１２のＶＣＮ１２０６）およびセキュアホストサブネット１５０８（たとえば、図１２のセキュアホストサブネット１２０８）を含むことができるセキュアホストテナンシ１５０４（たとえば、図１２のセキュアホストテナンシ１２０４）に通信可能に連結することができる。ＶＣＮ１５０６は、ＬＰＧ１５１０（たとえば、図１２のＬＰＧ１２１０）を含むことができ、ＬＰＧ１５１０は、ＳＳＨ ＶＣＮ１５１２（たとえば、図１２のＳＳＨ ＶＣＮ１２１２）に、ＳＳＨ ＶＣＮ１５１２に含まれるＬＰＧ１５１０を介して通信可能に連結することができる。ＳＳＨ ＶＣＮ１５１２は、ＳＳＨサブネット１５１４（たとえば、図１２のＳＳＨサブネット１２１４）を含むことができ、ＳＳＨ ＶＣＮ１５１２は、制御プレーンＶＣＮ１５１６（たとえば、図１２の制御プレーンＶＣＮ１２１６）に、制御プレーンＶＣＮ１５１６に含まれるＬＰＧ１５１０を介して、かつデータプレーンＶＣＮ１５１８（たとえば、図１２のデータプレーン１２１８）に、データプレーンＶＣＮ１５１８に含まれるＬＰＧ１５１０を介して、通信可能に連結することができる。制御プレーンＶＣＮ１５１６およびデータプレーンＶＣＮ１５１８は、サービステナンシ１５１９（たとえば、図１２のサービステナンシ１２１９）に含めることができる。
【0180】
制御プレーンＶＣＮ１５１６は、ＬＢサブネット１５２２（たとえば、図１２のＬＢサブネット１２２２）を含むことができる制御プレーンＤＭＺ層１５２０（たとえば、図１２の制御プレーンＤＭＺ層１２２０）と、アプリサブネット１５２６（たとえば、図１２のアプリサブネット１２２６）を含むことができる制御プレーンアプリ層１５２４（たとえば、図１２の制御プレーンアプリ層１２２４）と、ＤＢサブネット１５３０（たとえば、図１４のＤＢサブネット１４３０）を含むことができる制御プレーンデータ層１５２８（たとえば、図１２の制御プレーンデータ層１２２８）とを含むことができる。制御プレーンＤＭＺ層１５２０に含まれるＬＢサブネット１５２２は、制御プレーンアプリ層１５２４に含まれるアプリサブネット１５２６に、かつ制御プレーンＶＣＮ１５１６に含めることができるインターネットゲートウェイ１５３４（たとえば、図１２のインターネットゲートウェイ１２３４）に通信可能に連結することができ、アプリサブネット１５２６は、制御プレーンデータ層１５２８に含まれるＤＢサブネット１５３０に、かつサービスゲートウェイ１５３６（たとえば、図１２のサービスゲートウェイ）およびネットワークアドレス変換（ＮＡＴ）ゲートウェイ１５３８（たとえば、図１２のＮＡＴゲートウェイ１２３８）に、通信可能に連結することができる。制御プレーンＶＣＮ１５１６は、サービスゲートウェイ１５３６およびＮＡＴゲートウェイ１５３８を含むことができる。
【0181】
データプレーンＶＣＮ１５１８は、データプレーンアプリ層１５４６（たとえば、図１２のデータプレーンアプリ層１２４６）と、データプレーンＤＭＺ層１５４８（たとえば、図１２のデータプレーンＤＭＺ層１２４８）と、データプレーンデータ層１５５０（たとえば、図１２のデータプレーンデータ層１２５０）とを含むことができる。データプレーンＤＭＺ層１５４８は、データプレーンＶＣＮ１５１８に含まれる、データプレーンアプリ層１５４６の信頼できるアプリサブネット１５６０（たとえば、図１４の信頼できるアプリサブネット１４６０）および信頼できないアプリサブネット１５６２（たとえば、図１４の信頼できないアプリサブネット１４６２）、ならびにインターネットゲートウェイ１５３４に、通信可能に連結することができる、ＬＢサブネット１５２２を含むことができる。信頼できるアプリサブネット１５６０は、データプレーンＶＣＮ１５１８に含まれるサービスゲートウェイ１５３６、データプレーンＶＣＮ１５１８に含まれるＮＡＴゲートウェイ１５３８、およびデータプレーンデータ層１５５０に含まれるＤＢサブネット１５３０に、通信可能に連結することができる。信頼できないアプリサブネット１５６２は、データプレーンＶＣＮ１５１８に含まれるサービスゲートウェイ１５３６、およびデータプレーンデータ層１５５０に含まれるＤＢサブネット１５３０に、通信可能に連結することができる。データプレーンデータ層１５５０は、データプレーンＶＣＮ１５１８に含まれるサービスゲートウェイ１５３６に通信可能に連結することができるＤＢサブネット１５３０を含むことができる。
【0182】
信頼できないアプリサブネット１５６２は、信頼できないアプリサブネット１５６２内に常駐するテナント仮想マシン（ＶＭ）１５６６（１）～（Ｎ）に通信可能に連結することができる、プライマリＶＮＩＣ１５６４（１）～（Ｎ）を含むことができる。各テナントＶＭ１５６６（１）～（Ｎ）は、それぞれのコンテナ１５６７（１）～（Ｎ）においてコードを実行することができ、コンテナエグレスＶＣＮ１５６８に含めることができるデータプレーンアプリ層１５４６に含めることができるアプリサブネット１５２６に、通信可能に連結することができる。それぞれのセカンダリＶＮＩＣ１５７２（１）～（Ｎ）が、データプレーンＶＣＮ１５１８に含まれる信頼できないアプリサブネット１５６２とコンテナエグレスＶＣＮ１５６８に含まれるアプリサブネットとの間の通信を促進することができる。コンテナエグレスＶＣＮは、公衆インターネット１５５４（たとえば、図１２の公衆インターネット１２５４）に通信可能に連結することができる、ＮＡＴゲートウェイ１５３８を含むことができる。
【0183】
制御プレーンＶＣＮ１５１６に含まれるインターネットゲートウェイ１５３４およびデータプレーンＶＣＮ１５１８に含まれるインターネットゲートウェイ１５３４は、公衆インターネット１５５４に通信可能に連結することができるメタデータ管理サービス１５５２（たとえば、図１２のメタデータ管理システム１２５２）に、通信可能に連結することができる。公衆インターネット１５５４は、制御プレーンＶＣＮ１５１６に含まれるＮＡＴゲートウェイ１５３８およびデータプレーンＶＣＮ１５１８に含まれるＮＡＴゲートウェイ１５３８に、通信可能に連結することができる。制御プレーンＶＣＮ１５１６に含まれるサービスゲートウェイ１５３６およびデータプレーンＶＣＮ１５１８に含まれるサービスゲートウェイ１５３６は、クラウドサービス１５５６に通信可能に連結することができる。
【0184】
いくつかの例では、図１５のブロック図１５００のアーキテクチャによって示すパターンは、図１４のブロック図１４００のアーキテクチャによって示すパターンの例外と見なしてもよく、ＩａａＳプロバイダが顧客と直接通信することができない場合（たとえば、非接続リージョン）、ＩａａＳプロバイダの顧客にとって望ましい場合がある。顧客は、各顧客のＶＭ１５６６（１）～（Ｎ）に含まれるそれぞれのコンテナ１５６７（１）～（Ｎ）に、リアルタイムでアクセスすることができる。コンテナ１５６７（１）～（Ｎ）は、コンテナエグレスＶＣＮ１５６８に含めることができるデータプレーンアプリ層１５４６のアプリサブネット１５２６に含まれるそれぞれのセカンダリＶＮＩＣ１５７２（１）～（Ｎ）を呼び出すように構成することができる。セカンダリＶＮＩＣ１５７２（１）～（Ｎ）は、公衆インターネット１５５４に呼び出しを送信することができるＮＡＴゲートウェイ１５３８に呼び出しを送信することができる。この例では、顧客がリアルタイムでアクセスすることができるコンテナ１５６７（１）～（Ｎ）は、制御プレーンＶＣＮ１５１６から隔離することができ、データプレーンＶＣＮ１５１８に含まれる他のエンティティから隔離することができる。コンテナ１５６７（１）～（Ｎ）は、他の顧客のリソースから隔離することもできる。
【0185】
他の例では、顧客は、コンテナ１５６７（１）～（Ｎ）を使用して、クラウドサービス１５５６を呼び出すことができる。この例では、顧客は、コンテナ１５６７（１）～（Ｎ）において、クラウドサービス１５５６にサービスを要求するコードを実行することができる。コンテナ１５６７（１）～（Ｎ）は、この要求をセカンダリＶＮＩＣ１５７２（１）～（Ｎ）に送信することができ、セカンダリＶＮＩＣ１５７２（１）～（Ｎ）は、要求を公衆インターネット１５５４に送信することができるＮＡＴゲートウェイに要求を送信することができる。公衆インターネット１５５４は、インターネットゲートウェイ１５３４を介して、制御プレーンＶＣＮ１５１６に含まれるＬＢサブネット１５２２にこの要求を送信することができる。要求が有効であると決定することに応答して、ＬＢサブネットは、この要求をアプリサブネット１５２６に送信することができ、アプリサブネット１５２６は、サービスゲートウェイ１５３６を介して、この要求をクラウドサービス１５５６に要求を送信することができる。
【0186】
図に示すＩａａＳアーキテクチャ１２００、１３００、１４００、１５００は、図示するもの以外のコンポーネントを含んでもよいことが理解されるべきである。さらに、図に示す実施形態は、本開示の実施形態を組み込むことができるクラウドインフラストラクチャシステムの一部の例にすぎない。他のいくつかの実施形態では、ＩａａＳシステムは、図に示すものよりも多いかまたは少ないコンポーネントを有してもよく、２つ以上のコンポーネントを組み合わせてもよく、またはコンポーネントの異なる構成または配置を有してもよい。
【0187】
いくつかの実施形態では、本明細書に記載するＩａａＳシステムは、セルフサービスの、サブスクリプションベースの、弾力的にスケーラブルであり、信頼性が高く、高可用性であり、セキュアな方法で顧客に提供される、アプリケーション、ミドルウェア、およびデータベースサービス提供品の一式を含むことができる。このようなＩａａＳシステムの一例は、本譲受人によって提供されるＯｒａｃｌｅ Ｃｌｏｕｄ Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ（ＯＣＩ）である。
【0188】
図１６は、さまざまな実施形態を実装することができるコンピュータシステム例１６００を示す。システム１６００を使用して、上述したコンピュータシステムのうちの任意のものを実装することができる。図に示すように、コンピュータシステム１６００は、バスサブシステム１６０２を介して多数の周辺サブシステムと通信する処理装置１６０４を含む。これらの周辺サブシステムは、処理加速装置１６０６、Ｉ／Ｏサブシステム１６０８、ストレージサブシステム１６１８、および通信サブシステム１６２４を含むことができる。ストレージサブシステム１６１８は、有形のコンピュータ可読記憶媒体１６２２およびシステムメモリ１６１０を含む。
【0189】
バスサブシステム１６０２は、コンピュータシステム１６００のさまざまなコンポーネントおよびサブシステムを、意図されるように相互に通信させる機構を提供する。バスサブシステム１６０２は、単一のバスとして概略的に示すが、バスサブシステムの代替実施形態は、複数のバスを利用してもよい。バスサブシステム１６０２は、メモリバスまたはメモリコントローラ、周辺バス、および種々のバスアーキテクチャのうちの任意のものを使用するローカルバスを含む、いくつかのタイプのバス構造のうちの任意のものであり得る。たとえば、このようなアーキテクチャとしては、業界標準アーキテクチャ（ＩＳＡ）バス、マイクロチャネルアーキテクチャ（ＭＣＡ）バス、拡張ＩＳＡ（ＥＩＳＡ）バス、ビデオエレクトロニクススタンダーズアソシエーション（ＶＥＳＡ）ローカルバス、およびＩＥＥＥ Ｐ１３８６．１標準規格に準拠して製造されたメザニンバスとして実装することができる周辺機器相互接続（ＰＣＩ）バスを挙げることができる。
【0190】
処理装置１６０４は、１つまたは複数の集積回路（たとえば、従来のマイクロプロセッサまたはマイクロコントローラ）として実装することができ、コンピュータシステム１６００の動作を制御する。処理装置１６０４には、１つまたは複数のプロセッサが含まれる場合がある。これらのプロセッサは、シングルコアまたはマルチコアプロセッサを含むことができる。いくつかの実施形態では、処理装置１６０４は、各処理装置に含まれるシングルコアまたはマルチコアプロセッサを有する１つまたは複数の独立した処理装置１６３２および／または１６３４として実装してもよい。他の実施形態では、処理装置１６０４は、２つのデュアルコアプロセッサを単一のチップに統合することによって形成されたクワッドコア処理装置として実装してもよい。
【0191】
さまざまな実施形態において、処理装置１６０４は、プログラムコードに応答して種々のプログラムを実行することができ、同時に実行する複数のプログラムまたはプロセスを維持することができる。任意の所与の時点で、実行すべきプログラムコードの一部またはすべてが、プロセッサ１６０４および／またはストレージサブシステム１６１８に常駐することができる。プロセッサ１６０４は、好適なプログラミングを通して、上述したさまざまな機能性を提供することができる。コンピュータシステム１６００は、デジタル信号プロセッサ（ＤＳＰ）、専用プロセッサなどを含むことができる、処理加速装置１６０６をさらに含んでもよい。
【0192】
Ｉ／Ｏサブシステム１６０８は、ユーザインターフェース入力デバイスおよびユーザインターフェース出力デバイスを含むことができる。ユーザインターフェース入力デバイスは、キーボード、マウスまたはトラックボールなどのポインティングデバイス、ディスプレイに組み込まれたタッチパッドまたはタッチスクリーン、スクロールホイール、クリックホイール、ダイヤル、ボタン、スイッチ、キーパッド、音声命令認識システムを有する音声入力デバイス、マイクロフォン、および他のタイプの入力デバイスを含むことができる。ユーザインターフェース入力デバイスは、たとえば、Ｍｉｃｒｏｓｏｆｔ Ｋｉｎｅｃｔ（登録商標）モーションセンサなどのモーション検知および／またはジェスチャ認識デバイスを含んでもよく、Ｍｉｃｒｏｓｏｆｔ Ｋｉｎｅｃｔ（登録商標）モーションセンサにより、ユーザは、ジェスチャおよび音声コマンドを使用するナチュラルユーザインターフェース（ＮＵＩ）を介して、Ｍｉｃｒｏｓｏｆｔ Ｘｂｏｘ（登録商標）３６０ゲームコントローラなどの入力デバイスを制御するとともに、それとインタラクトすることができる。ユーザインターフェース入力デバイスはまた、Ｇｏｏｇｌｅ Ｇｌａｓｓ（登録商標）瞬き検出器などの眼球ジェスチャ認識デバイスも含むことができ、Ｇｏｏｇｌｅ Ｇｌａｓｓ（登録商標）瞬き検出器は、ユーザから眼球活動（たとえば、写真を撮影するときおよび／またはメニューを選択するときの「瞬き」）を検出し、その眼球活動を入力デバイス（たとえば、Ｇｏｏｇｌｅ Ｇｌａｓｓ（登録商標））への入力に変換する。さらに、ユーザインターフェース入力デバイスは、ユーザが音声命令を介して音声認識システム（たとえば、Ｓｉｒｉ（登録商標）ナビゲータ）とインタラクトすることができるようにする、音声認識検知デバイスを含んでもよい。
【0193】
また、ユーザインターフェース入力デバイスは、限定なしに、３次元（３Ｄ）マウス、ジョイスティックまたはポインティングスティック、ゲームパッドおよびグラフィックタブレット、ならびに、スピーカ、デジタルカメラ、デジタルビデオカメラ、ポータブルメディアプレーヤ、ウェブカメラなどのオーディオ／ビジュアルデバイス、イメージスキャナ、指紋スキャナ、バーコードリーダ、３Ｄスキャナ、３Ｄプリンタ、レーザ距離計、ならびに視線追跡デバイスも含むことができる。さらに、ユーザインターフェース入力デバイスは、たとえば、コンピュータ断層撮影装置、磁気共鳴撮像装置、ポジトロン断層撮影装置、および医療用超音波検査装置などの医療用撮像入力デバイスを含むことができる。また、ユーザインターフェース入力デバイスは、たとえば、ＭＩＤＩキーボードおよび電子楽器などのオーディオ入力デバイスも含むことができる。
【0194】
ユーザインターフェース出力デバイスは、ディスプレイサブシステム、インジケータライト、またはオーディオ出力デバイスなどの非視覚ディスプレイを含むことができる。ディスプレイサブシステムは、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）またはプラズマディスプレイを使用するものなどのフラットパネルデバイス、投射装置、タッチスクリーンなどであり得る。一般に、「出力デバイス」という用語を使用する場合、コンピュータシステム１６００からユーザまたは他のコンピュータに情報を出力するためのすべてのあり得るタイプのデバイスおよび機構を含むように意図されている。たとえば、ユーザインターフェース出力デバイスは、限定なしに、モニタ、プリンタ、スピーカ、ヘッドフォン、カーナビゲーションシステム、プロッタ、音声出力デバイス、およびモデムなど、テキスト、グラフィックス、およびオーディオ／ビデオ情報を視覚的に伝達するさまざまな表示デバイスを含むことができる。
【0195】
コンピュータシステム１６００は、ストレージサブシステム１６１８を含むことができ、ストレージサブシステム１６１８は、ここではシステムメモリ１６１０内に位置しているように示すソフトウェアコンポーネントを含むことができる。システムメモリ１６１０は、処理装置１６０４にロード可能であるとともにそこで実行可能であるプログラム命令、およびこれらのプログラムの実行により生成されるデータを格納することができる。
【0196】
コンピュータシステム１６００の構成およびタイプに応じて、システムメモリ１６１０は、揮発性メモリ（ランダムアクセスメモリ（ＲＡＭ）など）および／または、不揮発性メモリ（リードオンリメモリ（ＲＯＭ）、フラッシュメモリなど）であり得る。ＲＡＭは、通常、処理装置１６０４が即座にアクセス可能なデータおよび／またはプログラムモジュール、および／または、処理装置１６０４によって目下操作および実行されているデータおよび／またはプログラムモジュールを収容する。いくつかの実施態様では、システムメモリ１６１０は、スタティックランダムアクセスメモリ（ＳＲＡＭ）またはダイナミックランダムアクセスメモリ（ＤＲＡＭ）などの複数の異なるタイプのメモリを含むことができる。いくつかの実施態様では、通常、ＲＯＭには、起動中などにコンピュータシステム１６００内の要素間で情報を転送するのに役立つ基本ルーチンを含む基本入出力システム（ＢＩＯＳ）を格納することができる。限定ではなく例として、システムメモリ１６１０は、クライアントアプリケーション、ウェブブラウザ、中間層アプリケーション、リレーショナルデータベース管理システム（ＲＤＢＭＳ）などを含むことができるアプリケーションプログラム１６１２、プログラムデータ１６１４、およびオペレーティングシステム１６１６も示す。例として、オペレーティングシステム１６１６は、さまざまなバージョンのＭｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ（登録商標）、Ａｐｐｌｅ Ｍａｃｉｎｔｏｓｈ（登録商標）および／もしくはＬｉｎｕｘオペレーティングシステム、（限定なしに種々のＧＮＵ／Ｌｉｎｕｘオペレーティングシステム、Ｇｏｏｇｌｅ Ｃｈｒｏｍｅ（登録商標）ＯＳなどを含む）種々の市販のＵＮＩＸ（登録商標）もしくはＵＮＩＸ系オペレーティングシステム、および／または、ｉＯＳ、Ｗｉｎｄｏｗｓ（登録商標）Ｐｈｏｎｅ、Ａｎｄｒｏｉｄ（登録商標）ＯＳ、ＢｌａｃｋＢｅｒｒｙ（登録商標）１０ ＯＳ、およびＰａｌｍ（登録商標）ＯＳオペレーティングシステムなどのモバイルオペレーティングシステムを含むことができる。
【0197】
ストレージサブシステム１６１８はまた、いくつかの実施形態の機能性を提供する基本的なプログラミングおよびデータ構造を格納する有形のコンピュータ可読記憶媒体も提供することができる。ストレージサブシステム１６１８に、プロセッサによって実行されたときに上述した機能性を提供するソフトウェア（プログラム、コードモジュール、命令）を格納することができる。これらのソフトウェアモジュールまたは命令は、処理装置１６０４が実行することができる。ストレージサブシステム１６１８はまた、本開示に従って使用されるデータを格納するためのリポジトリも提供することができる。
【0198】
ストレージサブシステム１６１０はまた、コンピュータ可読記憶媒体リーダ１６２０も含むことができ、コンピュータ可読記憶媒体リーダ１６２０はコンピュータ可読記憶媒体１６２２にさらに接続することができる。コンピュータ可読記憶媒体１６２２は、システムメモリ１６１０とともに、または任意選択的にシステムメモリ１６１０と組み合わせて、コンピュータ可読情報を一時的にかつ／またはより恒久的に収容、格納、送信、および検索するための、記憶媒体に加えてリモート、ローカル、固定、および／または取外し可能なストレージデバイスを、包括的に表すことができる。
【0199】
コードまたはコードの一部を含むコンピュータ可読記憶媒体１６２２はまた、限定されないが、情報の格納および／または送信のための任意の方法または技術において実装される揮発性および不揮発性の、取外し可能および取外し不可能な媒体など、記憶媒体および通信媒体を含む、本技術分野において既知のまたは使用される任意の適切な媒体を含むことができる。これは、ＲＡＭ、ＲＯＭ、電子的に消去可能なプログラム可能ＲＯＭ（ＥＥＰＲＯＭ）、フラッシュメモリもしくは他のメモリ技術、ＣＤ－ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）、または他の光学式記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置もしくは他の磁気記憶デバイス、または他の有形のコンピュータ可読媒体など、有形のコンピュータ可読記憶媒体を含むことができる。これはまた、データ信号、データ送信などの無形のコンピュータ可読媒体、または、所望の情報を送信するために使用することができるとともにコンピュータシステム１６００がアクセスすることができる他の任意の媒体も含むことができる。
【0200】
例として、コンピュータ可読記憶媒体１６２２は、取外し不可能な不揮発性磁気媒体から読み取るかまたはそうした媒体に書き込むハードディスクドライブ、取外し可能な不揮発性磁気ディスクから読み取るかまたはそうしたディスクに書き込む磁気ディスクドライブ、ならびに、ＣＤ ＲＯＭ、ＤＶＤ、およびＢｌｕ－Ｒａｙ（登録商標）ディスクまたは他の光媒体などの取外し可能な不揮発性光ディスクから読み取るかまたはそうしたディスクに書き込む光ディスクドライブを含むことができる。コンピュータ可読記憶媒体１６２２は、限定されないが、Ｚｉｐ（登録商標）ドライブ、フラッシュメモリカード、ユニバーサルシリアルバス（ＵＳＢ）フラッシュドライブ、セキュアデジタル（ＳＤ）カード、ＤＶＤディスク、デジタルビデオテープなどを含むことができる。コンピュータ可読記憶媒体１６２２はまた、フラッシュメモリベースのＳＳＤ、エンタープライズフラッシュドライブ、ソリッドステートＲＯＭなどの不揮発性メモリに基づくソリッドステートドライブ（ＳＳＤ）、ソリッドステートＲＡＭ、ダイナミックＲＡＭ、スタティックＲＡＭなどの揮発性メモリに基づくＳＳＤ、ＤＲＡＭベースのＳＳＤ、磁気抵抗ＲＡＭ（ＭＲＡＭ）ＳＳＤ、およびＤＲＡＭとフラッシュメモリベースのＳＳＤとの組み合わせを使用するハイブリッドＳＳＤも含むことができる。ディスクドライブおよびそれらの関連するコンピュータ可読媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、および他のデータの不揮発性記憶装置をコンピュータシステム１６００に提供することができる。
【0201】
通信サブシステム１６２４は、他のコンピュータシステムおよびネットワークとのインターフェースを提供する。通信サブシステム１６２４は、他のシステムからデータを受信し、コンピュータシステム１６００から他のシステムにデータを送信するためのインターフェースの役割を果たす。たとえば、通信サブシステム１６２４は、コンピュータシステム１６００がインターネットを介して１つまたは複数のデバイスに接続することを可能にすることができる。いくつかの実施形態では、通信サブシステム１６２４は、（たとえば、携帯電話技術、３Ｇ、４Ｇ、もしくはＥＤＧＥ（ｅｎｈａｎｃｅｄ ｄａｔａ ｒａｔｅｓ ｆｏｒ ｇｌｏｂａｌ ｅｖｏｌｕｔｉｏｎ）などの高度データネットワーク技術、ＷｉＦｉ（ＩＥＥＥ１６０２．１１ファミリ標準規格）、または他のモバイル通信技術、またはそれらの任意の組み合わせを使用する）無線音声および／またはデータネットワークにアクセスするための無線周波数（ＲＦ）トランシーバコンポーネント、全地球測位システム（ＧＰＳ）受信機コンポーネント、および／または他のコンポーネントを含むことができる。いくつかの実施形態では、通信サブシステム１６２４は、無線インターフェースに加えてまたは無線インターフェースの代わりに、有線ネットワーク接続（たとえば、イーサネット）を提供することができる。
【0202】
いくつかの実施形態では、通信サブシステム１６２４はまた、コンピュータシステム１６００を使用することができる１または複数のユーザに代わって、構造化および／または非構造化データフィード１６２６、イベントストリーム１６２８、イベント更新１６３０などの形式で入力通信を受信することもできる。
【0203】
例として、通信サブシステム１６２４は、ソーシャルネットワークおよび／または他の通信サービスのユーザから、Ｔｗｉｔｔｅｒ（登録商標）フィード、Ｆａｃｅｂｏｏｋ（登録商標）更新、リッチサイトサマリ（ＲＳＳ：Ｒｉｃｈ Ｓｉｔｅ Ｓｕｍｍａｒｙ）フィードなどのウェブフィードなどのデータフィード１６２６をリアルタイムで受信し、かつ／または、１つまたは複数の第三者情報源からリアルタイム更新を受信するように構成することができる。
【0204】
さらに、通信サブシステム１６２４は、明確な終わりがない本質的に連続的であるかまたは境界がない可能性がある、リアルタイムイベントのイベントストリーム１６２８および／またはイベント更新１６３０を含む場合がある、連続的なデータストリームの形式のデータを受信するように構成することもできる。連続的なデータを生成するアプリケーションの例としては、たとえば、センサデータアプリケーション、金融株式相場標示機、ネットワーク性能測定ツール（たとえば、ネットワーク監視およびトラフィック管理アプリケーション）、クリックストリーム分析ツール、自動車交通監視などを挙げることができる。
【0205】
通信サブシステム１６２４はまた、構造化および／または非構造化データフィード１６２６、イベントストリーム１６２８、イベント更新１６３０などを、コンピュータシステム１６００に連結された１つまたは複数のストリーミングデータソースコンピュータと通信することができる１つまたは複数のデータベースに出力するように構成することもできる。
【0206】
コンピュータシステム１６００は、ハンドヘルドポータブルデバイス（たとえば、ｉＰｈｏｎｅ（登録商標）携帯電話、ｉＰａｄ（登録商標）コンピューティングタブレット、ＰＤＡ）、ウェアラブルデバイス（たとえば、Ｇｏｏｇｌｅ Ｇｌａｓｓ（登録商標）ヘッドマウントディスプレイ）、ＰＣ、ワークステーション、メインフレーム、キオスク、サーバラック、または他の任意のデータ処理システムを含む、さまざまなタイプのうちの１つであり得る。
【0207】
コンピュータおよびネットワークの性質は常に変化し続けるため、図に示すコンピュータシステム１６００の説明は、具体的な例としてのみ意図されている。図に示すシステムよりも多いかまたは少ない数のコンポーネントを有する他の多くの構成が可能である。たとえば、ハードウェア、ファームウェア、（アプレットを含む）ソフトウェア、または組み合わせにおいて、カスタマイズされたハードウェアを使用してもよく、かつ／または、特定の要素を実装してもよい。さらに、ネットワーク入出力デバイスなどの他のコンピューティングデバイスへの接続を採用してもよい。本明細書で提供する開示および教示に基づいて、当業者であれば、さまざまな実施形態を実装する他の手段および／または方法を理解するであろう。
【0208】
具体的な実施形態について説明してきたが、さまざまな変形形態、変更形態、代替構造、および均等物も、本開示の範囲内に包含される。実施形態は、ある特定のデータ処理環境内で動作するようには限定されず、複数のデータ処理環境内で自由に動作することができる。さらに、実施形態について、特定の一連のトランザクションおよびステップを用いて説明してきたが、本開示の範囲が記載した一連のトランザクションおよびステップに限定されないことは、当業者には明らかなはずである。上述した実施形態のさまざまな特徴および態様は、個別に使用しても共同で使用してもよい。
【0209】
さらに、実施形態について、ハードウェアおよびソフトウェアの特定の組み合わせを用いて説明してきたが、ハードウェアおよびソフトウェアの他の組み合わせも本開示の範囲内にあることが認識されるべきである。実施形態は、ハードウェアのみで実装しても、またはソフトウェアのみで実装しても、またはそれらの組み合わせを用いて実装してもよい。本明細書に記載するさまざまなプロセスは、同じプロセッサで実装することも、任意の組み合わせの異なるプロセッサで実装することもできる。したがって、コンポーネントまたはモジュールについて、いくつかの動作を実行するように説明している場合、そのような構成は、たとえば、その動作を実行するように電子回路を設計することによって、その動作を実行するようにプログラム可能な電子回路（マイクロプロセッサなど）をプログラムすることによって、またはそれらの組み合わせによって、実現することができる。プロセスは、限定されないが、プロセス間通信を行う従来の技術を含む種々の技術を用いて、通信することができ、プロセスの異なる対は、異なる技術を使用することができ、または、プロセスの同じ対は、異なる時点で異なる技術を使用することができる。
【0210】
したがって、明細書および図面は、限定的な意味ではなく例示的な意味で考慮されるべきである。しかしながら、特許請求の範囲に示すようなより広義の趣旨および範囲から逸脱することなく、追加、削減、削除、および他の変形および変更を行ってもよいことは、明らかとなろう。したがって、具体的な開示の実施形態について説明してきたが、これらは、限定的であるようには意図されていない。さまざまな変形形態および均等物は、続く特許請求の範囲内にある。
【0211】
開示する実施形態について説明する文脈において（特に続く特許請求の範囲の文脈において）「１つの、ある（ａ、ａｎ）」、および「その（ｔｈｅ）」という用語および同様の指示対象の使用は、本開示において別段の指示がなく、かつ文脈上明らかに矛盾しないかぎり、単数および複数の両方を包含するように解釈されるべきである。「備える（ｃｏｍｐｒｉｓｉｎｇ）」、「有する（ｈａｖｉｎｇ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」、および「含有する（ｃｏｎｔａｉｎｉｎｇ）」という用語は、特に断りのないかぎり、非限定的な（ｏｐｅｎ－ｅｎｄｅｄ）用語（すなわち、「を含むが、限定されない」を意味する）として解釈されるべきである。「接続され」という用語は、介在するものがあっても、その部分的にまたは全体として、内部に含まれている、取り付けられている、または互いに接合されていると解釈されるべきである。本明細書における値の範囲の列挙は、本明細書において別段の指示のないかぎり、単にその範囲内にある各個別の値を個々に言及する略記方法としての役割を果たすように意図されているにすぎず、各個別の値は、本開示に個々に列挙されているかのように、本開示に組み込まれる。本開示において別段の指示がなく、かつ文脈上明らかに矛盾しないかぎり、本開示に記載するすべての方法は、任意の好適な順序で行うことができる。本開示に提供するありとあらゆる例、または例示的な文言（たとえば、「など」）の使用は、単に実施形態をより明瞭にするよう意図されるものであり、別段の主張のないかぎり、本開示の範囲を限定するものではない。本明細書中のいかなる文言も、請求されていないいかなる要素も本開示の実施に不可欠であるものとして示すものとしても解釈されるべきではない。
【0212】
「Ｘ、Ｙ、またはＺのうちの少なくとも１つ」という句など、選言的な文言は、具体的に別段の定めのないかぎり、項目、用語などがＸ、Ｙ、もしくはＺのいずれか、またはそれらの任意の組み合わせ（たとえば、Ｘ、Ｙ、および／またはＺ）であってもよいことを示すために一般的に用いられるものとして文脈内で理解されるように意図されている。したがって、このような選言的な文言は、一般に、いくつかの実施形態が、Ｘのうちの少なくとも１つ、Ｙのうちの少なくとも１つ、またはＺのうちの少なくとも１つが各々存在することを必要とすることを、意味するようには意図されておらず、かつ意味するべきではない。
【0213】
本明細書では、本開示を実施するために知られている最良の形態を含む、本開示の好ましい実施形態について説明している。当業者には、前述の説明を読むことにより、これらの好ましい実施形態の変形形態が明らかになるであろう。当業者であれば、このような変形形態を適宜採用することができるはずであり、本開示は、本明細書に具体的に説明したもの以外の方法で実施してもよい。したがって、本開示は、適用法によって許容される、本明細書に添付の特許請求の範囲に記載する主題のすべての変形形態および均等物を含む。さらに、本明細書において別段の指示のないかぎり、そのすべてのあり得る変形における上述した要素の任意の組み合わせは、本開示に包含される。
【0214】
本明細書に引用した刊行物、特許出願、および特許を含むすべての参考文献は、各文献が参照により組み込まれることが個々にかつ具体的に示され、その全体が本明細書に記載された場合と同じ程度に、参照により組み込まれる。前述の明細書において、本開示の態様について、その具体的な実施形態を参照して説明しているが、当業者は、本開示がそれに限定されないことを認識するであろう。上述した開示のさまざまな特徴および態様は、個々にまたは協働して使用してもよい。さらに、実施形態は、本明細書のより広義の趣旨および範囲から逸脱することなく、本明細書に記載したものを超える任意の数の環境および用途において利用することができる。したがって、明細書および図面は、限定的ではなく例示的であると見なされるべきである。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11A】
【図11B】
【図12】
【図13】
【図14】
【図15】
【図16】
【国際調査報告】