知財求人 - 知財ポータルサイト「IP Force」
▶ オラクル・インターナショナル・コーポレイションの特許一覧
特表2024-503599高度に利用可能なフローのための通信チャネル状態情報の同期
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-01-26
(54)【発明の名称】高度に利用可能なフローのための通信チャネル状態情報の同期
(51)【国際特許分類】
H04L 67/1095 20220101AFI20240119BHJP
H04L 67/1034 20220101ALI20240119BHJP
G06F 11/20 20060101ALI20240119BHJP
H04L 9/16 20060101ALI20240119BHJP
【ＦＩ】
H04L67/1095
H04L67/1034
G06F11/20 620
H04L9/16
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023540145
(86)(22)【出願日】2021-12-21
(85)【翻訳文提出日】2023-08-25
(86)【国際出願番号】 US2021064612
(87)【国際公開番号】W WO2022146787
(87)【国際公開日】2022-07-07
(31)【優先権主張番号】63/132,036
(32)【優先日】2020-12-30
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/556,540
(32)【優先日】2021-12-20
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】502303739
【氏名又は名称】オラクル・インターナショナル・コーポレイション
(74)【代理人】
【識別番号】110001195
【氏名又は名称】弁理士法人深見特許事務所
(72)【発明者】
【氏名】キーン，ジョン・エリック
(72)【発明者】
【氏名】キング，マイロン・デッカー
(72)【発明者】
【氏名】クレーガー－スティクルズ，ルーカス・マイケル
【テーマコード（参考）】
5B034
【Ｆターム（参考）】
5B034BB02
5B034CC01
(57)【要約】
顧客オンプレミスネットワーク内の第１のエンドポイントとクラウドサービスプロバイダインフラストラクチャ内のプライマリホストマシン上の第２のエンドポイントとを有する通信チャネルに対して、プライマリホストマシンは、通信チャネルの状態情報の変更を決定し、通信チャネルのバックアップホストマシンを特定する。プライマリホストマシンは、状態情報の変更をバックアップホストマシンに複製する。フェイルオーバによってバックアップホストマシンが通信チャネルの第２のエンドポイントになったときに、バックアップホストマシンに複製され、記憶されている状態情報は、バックアップホストマシンによって使用可能である。
【特許請求の範囲】
【請求項1】
方法であって、顧客オンプレミスネットワーク内の第１のエンドポイントとクラウドサービスプロバイダインフラストラクチャ内のプライマリホストマシン上の第２のエンドポイントとを有する通信チャネルに対して、前記プライマリホストマシンが、前記通信チャネルの状態情報の変更を決定することと、
前記プライマリホストマシンが、前記通信チャネルのバックアップホストマシンを特定することと、
前記プライマリホストマシンが、前記状態情報の前記変更を前記バックアップホストマシンに複製することを含み、フェイルオーバによって前記バックアップホストマシンが前記通信チャネルの前記第２のエンドポイントになったときに、前記バックアップホストマシンに複製され、記憶されている前記状態情報は、前記バックアップホストマシンによって使用可能である、方法。
【請求項2】
前記通信チャネルの前記状態情報の前記変更を前記バックアップホストマシンに複製することは、前記プライマリホストマシンが、前記状態情報の前記変更の前記複製がセーフモードで実行されているかを判断することを含み、前記状態情報の前記変更は、前記プライマリホストマシンによって受信されたパケットを解析することによって特定され、
前記状態情報の前記変更の前記複製が前記セーフモードで実行されていると判断した場合、
前記プライマリホストマシンが、前記パケットの処理を中断し、
前記プライマリホストマシンが、前記状態情報の前記変更を前記バックアップホストマシンに通信し、前記バックアップホストマシンは、複製チェーン内の前記プライマリホストマシンの後継ホストマシンであり、
前記プライマリホストマシンが、前記バックアップホストマシンが前記状態情報を複製したことを示す確認応答を受信し、
前記確認応答を受信したことに応答して、前記プライマリホストマシンが、前記パケットの処理を再開することを含む、請求項１に記載の方法。
【請求項3】
前記状態情報の前記変更の前記複製が前記セーフモードで実行されていないと判定した場合、前記プライマリホストマシンが、前記状態情報の前記変更を前記バックアップホストマシンに通信し、
前記プライマリホストマシンが、前記パケットを処理することをさらに含む、請求項２に記載の方法。
【請求項4】
前記通信チャネルの前記状態情報は、シーケンス番号、暗号状態情報、インターネット鍵交換（ＩＫＥ）状態情報、およびボーダゲートウェイプロトコル（ＢＧＰ）状態情報のうちの少なくとも１つを含む、請求項１に記載の方法。
【請求項5】
前記状態情報の前記変更の前記複製が前記セーフモードで実行されていると判断するステップは、前記プライマリホストマシンが、前記プライマリホストマシンのダウンタイムが閾値期間内にスケジュールされていると判断することをさらに含む、請求項２に記載の方法。
【請求項6】
前記通信チャネルの前記状態情報の前記変更を決定することは、前記プライマリホストマシンが、前記通信チャネルの前記状態情報の前記変更をトリガするイベントを検出することと、
前記プライマリホストマシンが、前記イベントに関連するパケットを解析することによって、前記状態情報の前記変更を決定することとをさらに含む、請求項１に記載の方法。
【請求項7】
前記状態情報の前記変更をトリガする前記イベントは、前記プライマリホストマシンがパケットを受信することと、
前記通信チャネルの接続に関連する暗号化または復号化情報の変更を受信することと、
前記接続に関連するボーダゲートウェイプロトコル（ＢＧＰ）状態情報の変更を受信することとのうちの少なくとも１つである、請求項６に記載の方法。
【請求項8】
前記通信チャネルの前記バックアップホストマシンを特定することは、前記プライマリホストマシンが、ディスクバックアップストレージサーバに照会することによって、前記通信チャネルの前記複製チェーンを特定することと、
前記プライマリホストマシンが、前記複製チェーン内の前記通信チャネルの前記バックアップホストマシンを決定することとをさらに含み、
前記プライマリホストマシンは、前記複製チェーンのヘッドであり、
前記バックアップホストマシンは、前記複製チェーン内の前記プライマリホストマシンの後継ホストマシンである、請求項２に記載の方法。
【請求項9】
前記プライマリホストマシンによって受信されたパケットを解析することは、前記プライマリホストマシンが、前記パケットの一部をハッシュすることによって、ハッシュ結果を生成することと、
前記プライマリホストマシンが、前記ハッシュ結果に基づいて前記通信チャネルの前記状態情報を特定することとをさらに含む、請求項２に記載の方法。
【請求項10】
前記通信チャネルは、インターネットプロトコルセキュリティ（ＩＰＳｅｃ）トンネルである、請求項１に記載の方法。
【請求項11】
実行されると、コンピュータシステムのプロセッサに方法を実行させるコンピュータ実行可能な命令を記憶する非一時的なコンピュータ可読記憶媒体であって、前記方法は、
顧客オンプレミスネットワーク内の第１のエンドポイントとクラウドサービスプロバイダインフラストラクチャ内のプライマリホストマシン上の第２のエンドポイントとを有する通信チャネルに対して、前記プライマリホストマシンが、前記通信チャネルの状態情報の変更を決定することと、
前記プライマリホストマシンが、前記通信チャネルのバックアップホストマシンを特定することと、
前記プライマリホストマシンが、前記状態情報の前記変更を前記バックアップホストマシンに複製することを含み、フェイルオーバによって前記バックアップホストマシンが前記通信チャネルの前記第２のエンドポイントになったときに、前記バックアップホストマシンに複製され、記憶されている前記状態情報は、前記バックアップホストマシンによって使用可能である、非一時的なコンピュータ可読記憶媒体。
【請求項12】
前記通信チャネルの前記状態情報の前記変更を前記バックアップホストマシンに複製することは、前記プライマリホストマシンが、前記状態情報の前記変更の前記複製がセーフモードで実行されているかを判断することを含み、前記状態情報の前記変更は、前記プライマリホストマシンによって受信されたパケットを解析することによって特定され、
前記状態情報の前記変更の前記複製が前記セーフモードで実行されていると判断した場合、
前記プライマリホストマシンが、前記パケットの処理を中断し、
前記プライマリホストマシンが、前記状態情報の前記変更を前記バックアップホストマシンに通信し、前記バックアップホストマシンは、複製チェーン内の前記プライマリホストマシンの後継ホストマシンであり、
前記プライマリホストマシンが、前記バックアップホストマシンが前記状態情報を複製したことを示す確認応答を受信し、
前記確認応答を受信したことに応答して、前記プライマリホストマシンが、前記パケットの処理を再開することを含む、請求項１１に記載の非一時的なコンピュータ可読記憶媒体。
【請求項13】
前記状態情報の前記変更の前記複製が前記セーフモードで実行されていないと判定した場合、前記プライマリホストマシンが、前記状態情報の前記変更を前記バックアップホストマシンに通信し、
前記プライマリホストマシンが、前記パケットを処理することをさらに含む、請求項１２に記載の非一時的なコンピュータ可読記憶媒体。
【請求項14】
前記通信チャネルの前記状態情報は、シーケンス番号、暗号状態情報、インターネット鍵交換（ＩＫＥ）状態情報、およびボーダゲートウェイプロトコル（ＢＧＰ）状態情報のうちの少なくとも１つを含む、請求項１１に記載の非一時的なコンピュータ可読記憶媒体。
【請求項15】
前記状態情報の前記変更の前記複製が前記セーフモードで実行されていると判断するステップは、前記プライマリホストマシンが、前記プライマリホストマシンのダウンタイムが閾値期間内にスケジュールされていると判断することをさらに含む、請求項１２に記載の非一時的なコンピュータ可読記憶媒体。
【請求項16】
前記通信チャネルの前記状態情報の前記変更を決定することは、前記プライマリホストマシンが、前記通信チャネルの前記状態情報の前記変更をトリガするイベントを検出することと、
前記プライマリホストマシンが、前記イベントに関連するパケットを解析することによって、前記状態情報の前記変更を決定することとをさらに含む、請求項１１に記載の非一時的なコンピュータ可読記憶媒体。
【請求項17】
前記状態情報の前記変更をトリガする前記イベントは、前記プライマリホストマシンがパケットを受信することと、
前記通信チャネルの接続に関連する暗号化または復号化情報の変更を受信することと、
前記接続に関連するボーダゲートウェイプロトコル（ＢＧＰ）状態情報の変更を受信することとのうちの少なくとも１つである、請求項１６に記載の非一時的なコンピュータ可読記憶媒体。
【請求項18】
前記通信チャネルの前記バックアップホストマシンを特定することは、前記プライマリホストマシンが、ディスクバックアップストレージサーバに照会することによって、前記通信チャネルの前記複製チェーンを特定することと、
前記プライマリホストマシンが、前記複製チェーン内の前記通信チャネルの前記バックアップホストマシンを決定することとをさらに含み、
前記プライマリホストマシンは、前記複製チェーンのヘッドであり、
前記バックアップホストマシンは、前記複製チェーン内の前記プライマリホストマシンの後継ホストマシンである、請求項１２に記載の非一時的なコンピュータ可読記憶媒体。
【請求項19】
前記プライマリホストマシンによって受信されたパケットを解析することは、前記プライマリホストマシンが、前記パケットの一部をハッシュすることによって、ハッシュ結果を生成することと、
前記プライマリホストマシンが、前記ハッシュ結果に基づいて前記通信チャネルの前記状態情報を特定することとをさらに含む、請求項１６に記載の非一時的なコンピュータ可読記憶媒体。
【請求項20】
前記通信チャネルは、インターネットプロトコルセキュリティ（ＩＰＳｅｃ）トンネルである、請求項１１に記載の非一時的なコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本願は、米国特許法第１１９条（ｅ）に基づいて、２０２０年１２月３０日に出願された米国仮出願第６３／１３２０３６号および２０２１年１２月２０日に出願された米国非仮出願第１７／５５６５４０号の利益および優先権を主張する。前述した出願の全ての内容は、あらゆる目的で参照により本明細書に組み込まれる。
本願は、米国特許法第１１９条（ｅ）に基づいて、２０２０年１２月３０日に出願された米国仮出願第６３／１３２０３６号および２０２１年１２月２０日に出願された米国非仮出願第１７／５５６５４０号の利益および優先権を主張する。前述した出願の全ての内容は、あらゆる目的で参照により本明細書に組み込まれる。
【背景技術】
【0002】
背景
クラウドベースのサービスに対する需要は、急速に増加し続けている。クラウドサービスという用語は、一般的に、クラウドサービスプロバイダによって提供されたシステムおよびインフラストラクチャ（クラウドインフラストラクチャ）を用いて、（例えば、加入モデルを介して）オンデマンドでユーザまたは顧客に提供されるサービスを指す。通常、クラウドサービスプロバイダのインフラストラクチャを構成するサーバおよびシステムは、顧客自身のオンプレミスサーバおよびシステムとは別個である。したがって、顧客は、サービスのためにハードウェアリソースおよびソフトウェアリソースを別途購入する必要なく、クラウドサービスプロバイダによって提供されているクラウドサービスを利用することができる。クラウドサービスは、様々な異なる種類のサービス、例えば、ＳａａＳ（Software-as-a-Service）、ＰａａＳ（Platform-as-a-Service）、ＩａａＳ（Infrastructure-as-a-Service）を含む。
クラウドベースのサービスに対する需要は、急速に増加し続けている。クラウドサービスという用語は、一般的に、クラウドサービスプロバイダによって提供されたシステムおよびインフラストラクチャ（クラウドインフラストラクチャ）を用いて、（例えば、加入モデルを介して）オンデマンドでユーザまたは顧客に提供されるサービスを指す。通常、クラウドサービスプロバイダのインフラストラクチャを構成するサーバおよびシステムは、顧客自身のオンプレミスサーバおよびシステムとは別個である。したがって、顧客は、サービスのためにハードウェアリソースおよびソフトウェアリソースを別途購入する必要なく、クラウドサービスプロバイダによって提供されているクラウドサービスを利用することができる。クラウドサービスは、様々な異なる種類のサービス、例えば、ＳａａＳ（Software-as-a-Service）、ＰａａＳ（Platform-as-a-Service）、ＩａａＳ（Infrastructure-as-a-Service）を含む。
【0003】
ＩａａＳモデルにおいて、クラウドセンデスプロバイダは、インフラストラクチャリソース（例えば、計算リソース、メモリリソース、サーバなどのネットワーキングリソース、記憶装置）を提供し、顧客は、これらのインフラストラクチャリソースを用いて、自身のリソースおよび仮想ネットワークを構築することができる。ＩａａＳクラウドサービスプロバイダによって提供され、相互に接続された高性能コンピュータ、メモリ、およびネットワークリソースまたはコンポーネントを含むインフラストラクチャは、（基板ネットワークまたはアンダーレイネットワークとも呼ばれる）物理ネットワークを形成する。物理ネットワークは、物理ネットワーク上で（オーバーレイネットワークとも呼ばれる）顧客仮想ネットワークを作成するための基礎を提供する。
【0004】
クラウドサービスプロバイダは、一般的に、広範囲のアプリケーション、サービス、およびＡＰＩを提供する。これによって、顧客（例えば、企業）は、高度に利用可能な分散環境において、仮想ネットワークを効率的に構築し、これらの仮想ネットワークに様々な仮想作業負荷（例えば、仮想マシン、コンテナ、アプリケーション）を配置および管理することができる。顧客は、一般的に、オンプレミスワークロードの管理と同じ方法で、クラウドベースのワークロードを管理することができ、オンプレミスネットワークと同じ制御、隔離、セキュリティおよび予測可能な性能で、高性能のコンピューティング能力およびネットワーク能力の全てのメリットを得ることができる。
【0005】
顧客は、一般的に、１つ以上の顧客オンプレミスネットワークと、クラウドサービスプロバイダによって提供されたインフラストラクチャを用いてクラウドに展開された１つ以上の仮想ネットワークとを有する。顧客オンプレミスネットワークは、様々な異なる通信機構を提供しているため、顧客仮想クラウドネットワークと通信することができる。通信を設立するために、これらの通信に参加できるように、顧客オンプレミスネットワーク内の装置または機器を構成する必要がある。例えば、顧客オンプレミスネットワークと、クラウドサービスインフラストラクチャ（ＣＳＰＩ）上でホストされている顧客仮想ネットワーク内の別のエンドポイントであるホストマシンとの間の通信チャネルの１つのエンドポイントである顧客構内機器（ＣＰＥ）を適切に構成する必要がある。ＣＰＥエンドポイントとＣＳＰＩエンドポイントとの間のトラフィックを安全に処理するために、インターネットプロトコルセキュリティ（ＩＰｓｅｃ）トンネルを構成する必要がある。
【0006】
顧客は、基礎インフラストラクチャに問題があっても（例えば、ホストマシンがダウンしても、ケーブル配線に問題があっても）、ダウンタイムを最小限に抑えて、クラウドサービスの高度な可用性を期待している。これを実現するために、クラウドサービスプロバイダは、インフラストラクチャに冗長性を組み込んでいる。例えば、ネットワークパケットを処理するホストマシンには、１つ以上のバックアップシステム（バックアップホストマシン）が指定される。これによって、ホストマシンに何らかの問題が発生してパケットを処理できなくなった場合、バックアップホストマシンのうちの１つがパケットの処理を引き受ける。これによって、顧客に対して中断があったとしても、最小限に抑えられる。通常、ホストマシンがダウンすると、当該ホストマシンに関連する通信チャネルもダウンするため、双方向の全てのトラフィックが破棄される。
【0007】
顧客仮想ネットワーク内のエンドポイントまたはホストマシンがダウンした場合、バックアップシステムが新しい通信チャネルをネゴシエートするのに長い時間（例えば、数秒から数分）がかかることがある。顧客仮想クラウドネットワークがエンドポイント故障時にパケットを処理するためのバックアップ通信チャネルを装備している場合、バックアップチャネルを設立し、フェイルオーバ中にパケットをバックアップチャネルに動的にルーティングするという解決策は、非常に複雑であり、特にこの解決策を分散環境の全体に展開する場合に時間がかかる。
【発明の概要】
【0008】
概要
本開示は、一般的に、クラウドサービスの可用性を改善するための技術に関し、より詳しくは、複数のホストマシン間の通信チャネル関連の状態情報を維持および複製するための技術に関する。本明細書は、方法、システム、および１つ以上のプロセッサによって実行可能なプログラム、コードまたは命令を記憶する非一時的なコンピュータ可読記憶媒体を含む様々な実施形態を記載する。
本開示は、一般的に、クラウドサービスの可用性を改善するための技術に関し、より詳しくは、複数のホストマシン間の通信チャネル関連の状態情報を維持および複製するための技術に関する。本明細書は、方法、システム、および１つ以上のプロセッサによって実行可能なプログラム、コードまたは命令を記憶する非一時的なコンピュータ可読記憶媒体を含む様々な実施形態を記載する。
【0009】
本開示の態様は、方法を提供する。この方法は、顧客オンプレミスネットワーク内の第１のエンドポイントとクラウドサービスプロバイダインフラストラクチャ内のプライマリホストマシン上の第２のエンドポイントとを有する通信チャネルに対して、プライマリホストマシンが、通信チャネルの状態情報の変更を決定することと、プライマリホストマシンが、通信チャネルのバックアップホストマシンを特定することと、プライマリホストマシンが、状態情報の変更をバックアップホストマシンに複製することを含み、フェイルオーバによってバックアップホストマシンが通信チャネルの第２のエンドポイントになったときに、バックアップホストマシンに複製され、記憶されている状態情報は、バックアップホストマシンによって使用可能である。
【0010】
本開示の別の態様は、実行されると、コンピュータシステムのプロセッサに方法を実行させるコンピュータ実行可能な命令を記憶する非一時的なコンピュータ可読記憶媒体を提供する。この方法は、顧客オンプレミスネットワーク内の第１のエンドポイントとクラウドサービスプロバイダインフラストラクチャ内のプライマリホストマシン上の第２のエンドポイントとを有する通信チャネルに対して、プライマリホストマシンが、通信チャネルの状態情報の変更を決定することと、プライマリホストマシンが、通信チャネルのバックアップホストマシンを特定することと、プライマリホストマシンが、状態情報の変更をバックアップホストマシンに複製することを含み、フェイルオーバによってバックアップホストマシンが通信チャネルの第２のエンドポイントになったときに、バックアップホストマシンに複製され、記憶されている状態情報は、バックアップホストマシンによって使用可能である。
【0011】
本明細書は、方法、システム、および１つ以上のプロセッサによって実行可能なプログラム、コードまたは命令を記憶する非一時的なコンピュータ可読記憶媒体を含む様々な実施形態を記載する。これらの例示的な実施形態は、本開示を限定または定義するためではなく、その理解を助けるための例を提供するために記載されている。追加の実施形態は、詳細な説明にさらに記載され、検討される。
【0012】
本開示の特徴、実施形態、および利点は、添付の図面を参照して以下の詳細な説明を読めば、よりよく理解される。
【図面の簡単な説明】
【0013】
【図1】特定の実施形態に従って、クラウドサービスプロバイダインフラストラクチャによってホストされている仮想またはオーバーレイクラウドネットワークを示す分散環境のハイレベル図である。
【図2】特定の実施形態に従って、ＣＳＰＩ内の物理ネットワークの物理要素を示すアーキテクチャ概略図である。
【図3】特定の実施形態に従って、ホストマシンが複数のネットワーク仮想化装置（ＮＶＤ）に接続されているＣＳＰＩの例示的な配置を示す図である。
【図4】特定の実施形態に従って、ホストマシンとマルチテナント機能をサポートするためのＩ／Ｏ仮想化を提供するＮＶＤとの間の接続を示す図である。
【図5】特定の実施形態に従って、ＣＳＰＩによって提供された物理ネットワークを示す概略ブロック図である。
【図6】特定の実施形態に従って、通信チャネル関連の状態情報を複製するための例示的な実施形態を組み込む分散環境を示す概略ブロック図である。
【図7A】特定の実施形態に従って、複製チェーン内の複数のホストマシンを示す例示的なブロック図である。
【図7B】特定の実施形態に従って、複製チェーン内の複数のホストマシンを示す別の例示的なブロック図である。
【図8】特定の実施形態に従って、通信チャネル関連の状態情報をバックアップホストマシンに複製するための方法を示す概略フローチャートである。
【図9】特定の実施形態に従って、複製チャネルが通信チャネル関連の状態情報を複製することを示す概略フローチャートである。
【図10】特定の実施形態に従って、通信チャネル関連の状態情報を複製するためにプライマリホストマシンによって実行された詳細な処理を示す概略フローチャートである。
【図11】特定の実施形態に従って、プライマリホストマシンのフェイルオーバ中にパケット処理を処理するために実行されたステップを示す概略フローチャートである。
【図12】少なくとも１つの実施形態に従って、クラウドインフラストラクチャをサービスシステムとして実装するための１つのパターンを示すブロック図である。
【図13】少なくとも１つの実施形態に従って、クラウドインフラストラクチャをサービスシステムとして実装するための別のパターンを示すブロック図である。
【図14】少なくとも１つの実施形態に従って、クラウドインフラストラクチャをサービスシステムとして実装するための別のパターンを示すブロック図である。
【図15】少なくとも１つの実施形態に従って、クラウドインフラストラクチャをサービスシステムとして実装するための別のパターンを示すブロック図である。
【図16】少なくとも１つの実施形態に従って、例示的なコンピュータシステムを示すブロック図である。
【発明を実施するための形態】
【0014】
詳細な説明
以下の説明において、説明の目的で、特定の詳細が特定の実施形態の完全な理解を提供するために記載される。しかしながら、様々な実施形態がこれらの具体的な詳細なしに実施され得ることは明らかであろう。図面および説明は、限定的であることを意図しない。「例示的」という用語は、本開示において、「例示、事例または図示として機能する」ことを意味するために使用される。本開示において「例示的」として記載されたいかなる実施形態または設計は、必ずしも他の実施形態または設計よりも好ましいまたは有利であると解釈されるべきではない。
以下の説明において、説明の目的で、特定の詳細が特定の実施形態の完全な理解を提供するために記載される。しかしながら、様々な実施形態がこれらの具体的な詳細なしに実施され得ることは明らかであろう。図面および説明は、限定的であることを意図しない。「例示的」という用語は、本開示において、「例示、事例または図示として機能する」ことを意味するために使用される。本開示において「例示的」として記載されたいかなる実施形態または設計は、必ずしも他の実施形態または設計よりも好ましいまたは有利であると解釈されるべきではない。
【0015】
本開示は、高度に利用可能なフローのために、クラウドサービスプロバイダインフラストラクチャ（ＣＳＰＩ）によってホストされている複数のホストマシンの通信チャネルの状態情報を同期するための技術を記載する。より具体的には、顧客オンプレミスネットワーク内のエンドポイントと、クラウドサービスプロバイダインフラストラクチャ（ＣＳＰＩ）上でホストされている仮想ネットワーク内のエンドポイントとの間のトラフィックを処理する通信チャネルの状態情報を同期するための技術が記載されている。
【0016】
顧客は、クラウドサービスプロバイダ（ＣＳＰ）がＣＳＰＩを用いて提供した１つ以上のクラウドサービスに加入する。通信チャネル（例えば、ＩＰｓｅｃトンネル）は、顧客オンプレミスネットワーク内の通信エンドポイントである顧客構内機器（ＣＰＥ）と、クラウドサービスインフラストラクチャ（ＣＳＰＩ）の顧客仮想ネットワーク内のプライマリエンドポイントであるホストマシンとの間でパケットを安全に送信するように構成されてもよい。２つのエンドポイントは、互いにネゴシエートすることによって通信チャネルを設立する。具体的には、暗号化および認証に関連する一連のメッセージを２つのエンドポイント間で送受信することによって、通信のために使用される暗号化および認証関連パラメータに関与する合意をネゴシエートすることができる。ネゴシエートすることによって、２つのエンドポイント間のセキュリティアソシエーション（ＳＡ）が決定され、ＳＡは、通信するエンドポイントによって合意され、承認されたセキュリティ特性を指定する。単一のＳＡは、一方向のデータを保護することができる。ＳＡは、２つのエンドポイント間の通信パケットを暗号化および復号する方法に関する詳細を両方のエンドポイントに提供する。
【0017】
通常、トラフィックを受信しているエンドポイントが何らかの理由（例えば、フェイルオーバまたはメンテナンス）でダウンした場合、通信チャネルまたはトンネルもダウンするため、双方向の全てのトラフィックが破棄される。クラウドインフラストラクチャ（ＣＳＰＩ）内のエンドポイントがダウンした場合、インフラストラクチャは、ＣＰＥのエンドポイントとＣＳＰＩとの間のトラフィックの処理を引き受けるためのバックアップシステムを提供することができる。しかしながら、バックアップシステムは、バックアップシステム上のトラフィックを送受信するために、ＣＰＥのエンドポイントと新しいトンネルをネゴシエートする必要があるため、複雑で時間がかかる可能性がある。
【0018】
フェイルオーバの場合に新しいトンネルを設立することは、エンドポイント間で一連のネゴシエーションおよび構成を行う必要があるため、数分かかる可能性がある。バックアップトンネルを設立する間に、特定種類の接続、例えばＴＣＰ接続を使用しているアプリケーションは、タイムアウトする場合があり、顧客にとって受け入れがたいものである。例えば、オンライン買物客がウェブサイト上で買い物をしており、ウェブサイトのデータベースがサービスプロバイダによって提供されたクラウドネットワーク上にある場合、データベースを管理しているクラウドネットワーク内のエンドポイントに障害が検出されると、ショッピング取引が失敗したり、ショッピングカートがタイムアウトしたりする可能性がある。このようなことは、クラウドサービスの顧客にとって受け入れがたいものである。特定のサービスプロバイダは、ＣＳＰＩ上でホストされているプライマリエンドポイントに障害が発生した場合に備えて、ＣＰＥエンドポイントとバックアップシステムとの間のトラフィックを処理するためのバックアップトンネルを提供する。しかしながら、バックアップシステムへのバックアップトンネルを用いてトラフィックを処理することは、プライマリエンドポイントがダウンするたびに、バックアップトンネルを設立し、トラフィックをバックアップトンネルに複雑且つ動的にルーティングする必要がある。これらの解決策は、ＣＳＰＩ内のシステムがレイヤ３プロトコルを用いて通信している多数の顧客を管理しているクラウドコンピューティング環境に実装するのには複雑で時間がかかる。
【0019】
本開示は、ＣＰＥのエンドポイントとＣＳＰＩのプライマリエンドポイントとの間のパケットを処理するために使用されたバックアップエンドポイントへの通信チャネルと同じものを用いて、ネットワークトラフィックを処理するための方法を検討する。この方法は、２つのトンネルを持つことによる複雑さおよびバックアップトンネルの新しい接続をネゴシエートしている間に接続を失うリスクを回避しながら、異なるエンドポイントでトラフィックを処理することができる高可用性のトンネルを提供する。
【0020】
クラウドサービスという用語は、一般的に、クラウドサービスプロバイダ（ＣＳＰ）が、システムおよびインフラストラクチャ（クラウドインフラストラクチャ）を用いて、（例えば、サブスクリプションモデルを介して）オンデマンドでユーザまたは顧客に提供されるサービスを指す。通常、ＣＳＰのインフラストラクチャを構成するサーバおよびシステムは、顧客自身のオンプレミスサーバおよびシステムから離れている。したがって、顧客は、サービス用のハードウェアリソースおよびソフトウェアリソースを別途購入することなく、ＣＳＰによって提供されるクラウドサービスを利用することができる。クラウドサービスは、サービスを提供するために使用されるインフラストラクチャの調達に顧客が投資する必要がなく、アプリケーションおよび計算リソースへの容易且つ拡張可能なアクセスを加入している顧客に提供するように設計されている。
【0021】
いくつかのクラウドサービスプロバイダ（ＣＳＰ）は、様々な種類のクラウドサービスを提供する。クラウドサービスは、ＳａａＳ（Software－as－a－Service）、ＰａａＳ（Platform－as－a－Service）、ＩａａＳ（Infrastructure－as－a－Service）などの様々な異なる種類またはモデルを含む。
【0022】
顧客は、ＣＳＰによって提供される１つ以上のクラウドサービスに加入することができる。顧客は、個人、組織、企業などの任意のエンティティであってもよい。顧客がＣＳＰによって提供されるサービスに加入または登録すると、その顧客のテナントまたはアカウントが作成される。その後、顧客は、このアカウントを介して、アカウントに関連する１つ以上の加入済みクラウドリソースにアクセスすることができる。
【0023】
上述したように、ＩａａＳ（Infrastructure as a Service）は、１つの特定種類のクラウドコンピューティングサービスである。ＩａａＳモデルにおいて、ＣＳＰは、顧客が自身のカスタマイズ可能なネットワークを構築し、顧客リソースを展開するために使用できるインフラストラクチャ（クラウドサービスプロバイダインフラストラクチャまたはＣＳＰＩと呼ばれる）を提供する。したがって、顧客のリソースおよびネットワークは、ＣＳＰによって提供されたインフラストラクチャによって分散環境にホストされる。これは、顧客のインフラストラクチャが顧客のリソースおよびネットワークをホストする従来のコンピューティングとは異なる。
【0024】
ＣＳＰＩは、基板ネットワークまたはアンダーレイネットワークとも呼ばれる物理ネットワークを形成する、様々なホストマシン、メモリリソース、およびネットワークリソースを含む相互接続された高性能の計算リソースを含んでもよい。ＣＳＰＩのリソースは、１つ以上の地理的な地域にわたって地理的に分散されている１つ以上のデータセンタに分散されてもよい。仮想化ソフトウェアは、これらの物理リソースによって実行され、仮想化分散環境を提供することができる。仮想化は、物理ネットワーク上に（ソフトウェアベースネットワーク、ソフトウェア定義ネットワーク、または仮想ネットワークとも呼ばれる）オーバーレイネットワークを作成する。ＣＳＰＩ物理ネットワークは、物理ネットワークの上に１つ以上のオーバーレイまたは仮想ネットワークを作成するための基礎を提供する。仮想またはオーバーレイネットワークは、１つ以上の仮想クラウドネットワーク（ＶＣＮ）を含むことができる。仮想ネットワークは、ソフトウェア仮想化技術（例えば、ハイパーバイザ、ネットワーク仮想化装置（ＮＶＤ）（例えば、スマートＮＩＣ）によって実行される機能、トップオブラック（ＴＯＲ）スイッチ、ＮＶＤによって実行される１つ以上の機能を実装するスマートＴＯＲ、および他のメカニズム）を用いて実装され、物理ネットワークの上で実行できるネットワーク抽象化層を作成する。仮想ネットワークは、ピアツーピアネットワーク、ＩＰネットワークなどの様々な形態をとることができる。仮想ネットワークは、典型的には、レイヤ３ＩＰネットワークまたはレイヤ２ＶＬＡＮのいずれかである。このような仮想ネットワークまたはオーバーレイネットワークは、しばしば仮想レイヤ３ネットワークまたはオーバーレイレイヤ３ネットワークと呼ばれる。仮想ネットワークのために開発されたプロトコルの例は、ＩＰ－ｉｎ－ＩＰ（またはＧＲＥ（Generic Routing Encapsulation））、仮想拡張可能ＬＡＮ（ＶＸＬＡＮ－ＩＥＴＦ ＲＦＣ７３４８）、仮想プライベートネットワーク（ＶＰＮ）（例えば、ＭＰＬＳレイヤ３仮想プライベートネットワーク（ＲＦＣ４３６４））、ＶＭｗａｒｅ ＮＳＸ、ＧＥＮＥＶＥ（Generic Network Virtualization Encapsulation）などを含む。
【0025】
ＩａａＳの場合、ＣＳＰによって提供されたインフラストラクチャ（ＣＳＰＩ）は、パブリックネットワーク（例えば、インターネット）を介して仮想化計算リソースを提供するように構成されてもよい。ＩａａＳモデルにおいて、クラウドコンピューティングサービスプロバイダは、インフラストラクチャ要素（例えば、サーバ、記憶装置、ネットワークノード（例えば、ハードウェア）、展開ソフトウェア、プラットフォーム仮想化（例えば、ハイパーバイザ層）など）をホストすることができる。場合によっては、ＩａａＳプロバイダは、それらのインフラストラクチャ要素に付随する様々なサービス（例えば、課金、監視、ロギング、セキュリティ、負荷分散およびクラスタリングなど）を提供することができる。これらのサービスがポリシー駆動型であるため、ＩａａＳユーザは、負荷分散を駆動するためのポリシーを実装することによって、アプリケーションの可用性および性能を維持することができる。ＣＳＰＩは、インフラストラクチャおよび一連の補完的なクラウドサービスを提供する。これによって、顧客は、可用性の高いホスト型分散環境で幅広いアプリケーションおよびサービスを構築し、実行することができる。ＣＳＰＩは、顧客オンプレミスネットワークなどの様々なネットワーク拠点から安全にアクセスできる柔軟な仮想ネットワーク上で高性能の計算リソースおよび能力ならびに記憶容量を提供する。顧客がＣＳＰによって提供されたＩａａＳサービスに加入または登録すると、その顧客のために作成されたテナンシは、ＣＳＰＩから安全に分離されたパーティションとなり、顧客は、クラウドリソースを作成、整理、管理することができる。
【0026】
顧客は、ＣＳＰＩによって提供された計算リソース、メモリリソース、およびネットワーキングリソースを使用して、独自の仮想ネットワークを構築することができる。これらの仮想ネットワーク上に、計算インスタンスなどの1つ以上の顧客リソースまたはワークロードを展開することができる。例えば、顧客は、ＣＳＰＩによって提供されたリソースを使用して、仮想クラウドネットワーク（ＶＣＮ）と呼ばれる１つ以上のカスタマイズ可能なプライベート仮想ネットワークを構築することができる。顧客は、顧客ＶＣＮ上で１つ以上の顧客リソース、例えば計算インスタンスを展開することができる。計算インスタンスは、仮想マシン、ベアメタルインスタンスなどであってもよい。したがって、ＣＳＰＩは、顧客が可用性の高い仮想ホスト環境において様々なアプリケーションおよびサービスを構築および実行することを可能にするインフラストラクチャおよび一連の相補的なクラウドサービスを提供する。顧客は、ＣＳＰＩによって提供された基礎的な物理リソースを管理または制御しないが、オペレーティングシステム、記憶、および展開されたアプリケーションを制御し、場合によっては一部のネットワーキングコンポーネント（例えば、ファイアウォール）を限定的に制御する。
【0027】
ＣＳＰは、顧客およびネットワーク管理者がＣＳＰＩリソースを使用してクラウドに展開されたリソースを構成、アクセス、および管理することを可能にするコンソールを提供することができる。特定の実施形態において、コンソールは、ＣＳＰＩを利用および管理するために使用することができるウェブベースのユーザインターフェイスを提供する。いくつかの実施形態において、コンソールは、ＣＳＰによって提供されたウェブベースのアプリケーションである。
【0028】
ＣＳＰＩは、シングルテナンシアーキテクチャまたはマルチテナンシアーキテクチャをサポートすることができる。シングルテナンシアーキテクチャにおいて、ソフトウェア（例えば、アプリケーション、データベース）またはハードウェア要素（例えば、ホストマシンまたはサーバ）は、単一の顧客またはテナントにサービスを提供する。マルチテナンシアーキテクチャにおいて、ソフトウェアまたはハードウェア要素は、複数の顧客またはテナントにサービスを提供する。したがって、マルチテナンシアーキテクチャにおいて、ＣＳＰＩリソースは、複数の顧客またはテナントの間で共有される。マルチテナンシ環境において、各テナントのデータが分離され、他のテナントから見えないようにするために、ＣＳＰＩには予防措置および保護措置が講じられる。
【0029】
物理ネットワークにおいて、ネットワークエンドポイント（エンドポイント）は、物理ネットワークに接続され、接続されているネットワークと双方向に通信するコンピューティング装置またはシステムを指す。物理ネットワークのネットワークエンドポイントは、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、または他の種類の物理ネットワークに接続されてもよい。物理ネットワークの従来のエンドポイントの例は、モデム、ハブ、ブリッジ、スイッチ、ルータ、および他のネットワーキング装置、物理コンピュータ（またはホストマシン）などを含む。物理ネットワークの各物理装置は、当該装置と通信するために使用できる固定ネットワークアドレスを有する。この固定ネットワークアドレスは、レイヤ２アドレス（例えば、ＭＡＣアドレス）、固定レイヤ３アドレス（例えば、ＩＰアドレス）などであってもよい。仮想化環境または仮想ネットワークにおいて、エンドポイントは、物理ネットワークの要素によってホストされている（例えば、物理ホストマシンによってホストされている）仮想マシンなどの様々な仮想エンドポイントを含むことができる。仮想ネットワークのこれらのエンドポイントは、オーバーレイレイヤ２アドレス（例えば、オーバーレイＭＡＣアドレス）およびオーバーレイレイヤ３アドレス（例えば、オーバーレイＩＰアドレス）などのオーバーレイアドレスによってアドレス指定されている。ネットワークオーバーレイは、ネットワーク管理者がソフトウェア管理を用いて（例えば、仮想ネットワークの制御プレーンを実装するソフトウェアを介して）ネットワークエンドポイントに関連付けられたオーバーレイアドレスを移動できるようにすることによって柔軟性を実現する。したがって、物理ネットワークとは異なり、仮想ネットワークにおいて、ネットワーク管理ソフトウェアを使用して、オーバーレイアドレス（例えば、オーバーレイＩＰアドレス）を１つのエンドポイントから別のエンドポイントに移動することができる。仮想ネットワークが物理ネットワーク上に構築されているため、仮想ネットワークおよび基礎物理ネットワークの両方は、仮想ネットワークの要素間の通信に関与する。このような通信を容易にするために、ＣＳＰＩの各要素は、仮想ネットワークのオーバーレイアドレスを基板ネットワークの実際の物理アドレスにまたは基板ネットワークの実際の物理アドレスを仮想ネットワークのオーバーレイアドレスにマッピングするマッピングを学習および記憶するように構成されている。これらのマッピングは、通信を容易にするために使用される。仮想ネットワークのルーティングを容易にするために、顧客トラフィックは、カプセル化される。
【0030】
したがって、物理アドレス（例えば、物理ＩＰアドレス）は、物理ネットワークの要素に関連付けられ、オーバーレイアドレス（例えば、オーバーレイＩＰアドレス）は、仮想ネットワークのエンティティに関連付けられる。物理ＩＰアドレスとオーバーレイＩＰアドレスは、いずれも実ＩＰアドレスである。これらは、仮想ＩＰアドレスとは別物である。仮想ＩＰアドレスは、複数の実ＩＰアドレスにマッピングされる。仮想ＩＰアドレスは、仮想ＩＰアドレスと複数の実ＩＰアドレスとの間の１対多マッピングを提供する。
【0031】
クラウドインフラストラクチャまたはＣＳＰＩは、世界中の１つ以上の地域の１つ以上のデータセンタにおいて物理的にホストされている。ＣＳＰＩは、物理ネットワークまたは基板ネットワークの要素と、物理ネットワーク要素上に構築された仮想ネットワークの仮想化要素（例えば、仮想ネットワーク、計算インスタンス、仮想マシン）とを含んでもよい。特定の実施形態において、ＣＳＰＩは、レルム（realm）、地域（region）、および利用可能なドメイン（domain）において編成およびホストされている。地域は、典型的には、１つ以上のデータセンタを含む局所的な地理領域である。地域は、一般的に互いに独立しており、例えば、国または大陸を跨ぐ広大な距離によって分離されてもよい。例えば、第１の地域は、オーストラリアにあってもよく、別の地域は、日本にあってもよく、さらに別の地域は、インドにあってもよい。ＣＳＰＩリソースは、各地域が独立したＣＳＰＩリソースのサブセットを有するようにこれらの地域間で分割される。各地域は、一連のコアインフラストラクチャサービスおよびリソース、例えば、計算リソース（例えば、ベアメタルサーバ、仮想マシン、コンテナおよび関連インフラストラクチャ）、記憶リソース（例えば、ブロックボリューム記憶、ファイル記憶、オブジェクト記憶、アーカイブ記憶）、ネットワーキングリソース（例えば、仮想クラウドネットワーク（ＶＣＮ）、負荷分散リソース、オンプレミスネットワークへの接続）、データベースリソース、エッジネットワーキングリソース（例えば、ＤＮＳ）、アクセス管理、および監視リソースなどを提供することができる。各地域は、一般的に、当該地域をレルム内の他の地域に接続するための複数の経路を持つ。
【0032】
一般的に、アプリケーションは、近くのリソースを使用する場合に遠くのリソースを使用することよりも速いため、最も多く使用される地域に展開される（すなわち、その地域に関連するインフラストラクチャ上に展開される）。また、アプリケーションは、大規模な気象システムまたは地震などの地域全体のイベントのリスクを軽減するための冗長性、法的管轄、税金ドメイン、および他のビジネスまたは社会的基準に対する様々な要件を満たすための冗長性など、様々な理由で異なる地域に展開されてもよい。
【0033】
地域内のデータセンタは、さらに編成され、利用可能なドメイン（availability domain：ＡＤ）に細分化されてもよい。利用可能なドメインは、ある地域に配置された１つ以上のデータセンタに対応してもよい。地域は、１つ以上の利用可能なドメインによって構成されてもよい。このような分散環境において、ＣＳＰＩリソースは、仮想クラウドネットワーク（ＶＣＮ）などの地域に固有なものまたは計算インスタンスなどの利用可能なドメインに固有なものである。
【0034】
１つの地域内のＡＤは、フォールトトレラント（fault tolerant）になるように互いに分離され、同時に故障する可能性が非常に低くなるように構成されている。これは、１つの地域内の１つのＡＤの障害が同じ地域内の他のＡＤの可用性に影響を与えることが殆どないように、ネットワーキング、物理ケーブル、ケーブル経路、ケーブル入口などの重要なインフラストラクチャリソースを共有しないように、ＡＤを構成することによって達成される。同じ地域内のＡＤを低遅延広帯域のネットワークで互いに接続することによって、他のネットワーク（例えば、インターネット、顧客オンプレミスネットワーク）への高可用性接続を提供し、複数のＡＤにおいて高可用性および災害復旧の両方のための複製システムを構築することができる。クラウドサービスは、複数のＡＤを利用して、高可用性を確保すると共に、リソースの障害から保護する。ＩａａＳプロバイダによって提供されたインフラストラクチャが成長するにつれて、追加の容量と共により多くの地域およびＡＤを追加してもよい。利用可能なドメイン間のトラフィックは、通常、暗号化される。
【0035】
特定の実施形態において、地域は、レルムにグループ化される。レルムは、地域の論理集合である。レルムは、互いに隔離されており、いかなるデータを共有しない。同じレルム内の地域は、互いに通信することができるが、異なるレルム内の地域は、通信することができない。ＣＳＰの顧客のテナンシまたはアカウントは、単一のレルムに存在し、その単一のレルムに属する１つ以上の地域を跨ることができる。典型的には、顧客がＩａａＳサービスに加入すると、レルム内の顧客指定地域（「ホーム」地域と呼ばれる）に、その顧客のテナンシまたはアカウントが作成される。顧客は、顧客のテナンシをレルム内の１つ以上の他の地域に拡張することができる。顧客は、顧客のテナンシが存在するレルム内に存在していない地域にアクセスすることができない。
【0036】
ＩａａＳプロバイダは、複数のレルムを提供することができ、各レルムは、特定の組の顧客またはユーザに対応する。例えば、商用レルムは、商用顧客のために提供されてもよい。別の例として、レルムは、特定の国のためにまたはその国の顧客のために提供されてもよい。さらに別の例として、政府用レルムは、例えば政府のために提供されてもよい。例えば、政府用レルムは、特定の政府のために作成されてもよく、商用レルムよりも高いセキュリティレベルを有してもよい。例えば、オラクル（登録商標）クラウドインフラストラクチャ（ＯＣＩ）は、現在、商用領域向けのレルムと、政府クラウド領域向けの２つのレルム（例えば、ＦｅｄＲＡＭＰ認可およびＩＬ５認可）とを提供する。
【0037】
特定の実施形態において、ＡＤは、１つ以上の障害ドメイン（fault domain）に細分化することができる。障害ドメインは、反親和性（anti－affinity）を提供するために、ＡＤ内のインフラストラクチャリソースをグループ化したものである。障害ドメインは、計算インスタンスを分散することができる。これによって、計算インスタンスは、１つのＡＤ内の同じ物理ハードウェア上に配置されない。これは、反親和性として知られている。障害ドメインは、１つの障害点を共有するハードウェア要素（コンピュータ、スイッチなど）の集合を指す。計算プールは、障害ドメインに論理的に分割される。このため、１つの障害ドメインに影響を与えるハードウェア障害または計算ハードウェア保守イベントは、他の障害ドメインのインスタンスに影響を与えない。実施形態によっては、各ＡＤの障害ドメインの数は、異なってもよい。例えば、特定の実施形態において、各ＡＤは、３つの障害ドメインを含む。障害ドメインは、ＡＤ内の論理データセンタとして機能する。
【0038】
顧客がＩａａＳサービスに加入すると、ＣＳＰＩからのリソースは、顧客にプロビジョニングされ、顧客のテナンシに関連付けられる。顧客は、これらのプロビジョニングされたリソースを使用して、プライベートネットワークを構築し、これらのネットワーク上にリソースを展開することができる。ＣＳＰＩによってクラウド上でホストされている顧客ネットワークは、仮想クラウドネットワーク（ＶＣＮ）と呼ばれる。顧客は、顧客用に割り当てられたＣＳＰＩリソースを使用して、１つ以上の仮想クラウドネットワーク（ＶＣＮ）を構成することができる。ＶＣＮとは、仮想またはソフトウェア定義のプライベートネットワークである。顧客のＶＣＮに配備された顧客リソースは、計算インスタンス（例えば、仮想マシン、ベアメタルインスタンス）および他のリソースを含むことができる。これらの計算インスタンスは、アプリケーション、ロードバランサ、データベースなどの様々な顧客作業負荷を表してもよい。ＶＣＮ上に配備された計算インスタンスは、インターネットなどのパブリックネットワークを介して公的にアクセス可能なエンドポイント（パブリックエンドポイント）と通信することができ、同じＶＣＮまたは他のＶＣＮ（例えば、顧客の他のＶＣＮ、または顧客に属さないＶＣＮ）内の他のインスタンスと通信することができ、顧客オンプレミスデータセンタまたはネットワークと通信することができ、サービスエンドポイントと通信することができ、および他の種類のエンドポイントと通信することができる。
【0039】
ＣＳＰは、ＣＳＰＩを用いて様々なサービスを提供することができる。場合によっては、ＣＳＰＩの顧客自身は、サービスプロバイダのように振る舞い、ＣＳＰＩリソースを使用してサービスを提供することができる。サービスプロバイダは、識別情報（例えば、ＩＰアドレス、ＤＮＳ名およびポート）によって特徴付けられるサービスエンドポイントを公開することができる。顧客のリソース（例えば、計算インスタンス）は、サービスによって公開されたその特定のサービスのサービスエンドポイントにアクセスすることによって、特定のサービスを消費することができる。これらのサービスエンドポイントは、一般的に、ユーザがエンドポイントに関連付けられたパブリックＩＰアドレスを使用して、インターネットなどのパブリック通信ネットワークを介して公的にアクセス可能なエンドポイントである。公的にアクセス可能なネットワークエンドポイントは、パブリックエンドポイントと呼ばれることもある。
【0040】
特定の実施形態において、サービスプロバイダは、（サービスエンドポイントと呼ばれることもある）サービスのエンドポイントを介してサービスを公開することができる。サービスの顧客は、このサービスエンドポイントを使用してサービスにアクセスすることができる。特定の実施形態において、サービスのために提供されたサービスエンドポイントは、そのサービスを消費しようとする複数の顧客によってアクセスすることができる。他の実装形態において、専用のサービスエンドポイントを顧客に提供してもよい。したがって、その顧客のみは、その専用サービスエンドポイントを使用してサービスにアクセスすることができる。
【0041】
特定の実施形態において、ＶＣＮは、作成されると、そのＶＣＮに割り当てられたプライベートオーバーレイＩＰアドレス範囲（例えば、１０．０／１６）であるプライベートオーバーレイクラスレスドメイン間ルーティング（Classless Inter－Domain Routing：ＣＩＤＲ）アドレス空間に関連付けられる。ＶＣＮは、関連するサブネット、ルートテーブル、およびゲートウェイを含む。ＶＣＮは、単一の地域内に存在するが、地域の１つ以上または全ての利用可能なドメインに拡張することができる。ゲートウェイは、ＶＣＮ用に構成され、ＶＣＮとＶＣＮ外部の１つ以上のエンドポイントとの間のトラフィック通信を可能にする仮想インターフェイスである。ＶＣＮの１つ以上の異なる種類のゲートウェイを構成することによって、異なる種類のエンドポイント間の通信を可能にすることができる。
【0042】
ＶＣＮは、１つ以上のサブネットなどの１つ以上のサブネットワークに細分化されてもよい。したがって、サブネットは、ＶＣＮ内で作成され得る構成単位または区画である。ＶＣＮは、１つ以上のサブネットを持つことができる。ＶＣＮ内の各サブネットは、当該ＶＣＮ内の他のサブネットと重複せず、当該ＶＣＮのアドレス空間のアドレス空間サブセットを表すオーバーレイＩＰアドレス（例えば、１０．０．０．０／２４および１０．０．１．０／２４）の連続範囲に関連付けられる。
【0043】
各計算インスタンスは、仮想ネットワークインターフェイスカード（ＶＮＩＣ）に関連付けられる。これによって、各計算インスタンスは、ＶＣＮのサブネットに参加することができる。ＶＮＩＣは、物理ネットワークインターフェイスカード（ＮＩＣ）の論理表現である。一般的に、ＶＮＩＣは、エンティティ（例えば、計算インスタンス、サービス）と仮想ネットワークとの間のインターフェイスである。ＶＮＩＣは、サブネットに存在し、１つ以上の関連するＩＰアドレスと、関連するセキュリティルールまたはポリシーとを有する。ＶＮＩＣは、スイッチ上のレイヤ２ポートに相当する。ＶＮＩＣは、計算インスタンスと、ＶＣＮ内のサブネットとに接続されている。計算インスタンスに関連付けられたＶＮＩＣは、計算インスタンスがＶＣＮのサブネットの一部であることを可能にし、計算インスタンスが、計算インスタンスと同じサブネット上にあるエンドポイントと、ＶＣＮ内の異なるサブネット内のエンドポイントと、またはＶＣＮ外部のエンドポイントと通信する（例えば、パケットを送信および受信する）ことを可能にする。したがって、計算インスタンスに関連するＶＮＩＣは、計算インスタンスがＶＣＮの内部および外部のエンドポイントとどのように接続しているかを判断する。計算インスタンスのＶＮＩＣは、計算インスタンスが作成され、ＶＣＮ内のサブネットに追加されるときに作成され、その計算インスタンスに関連付けられる。サブネットは、計算インスタンスのセットからなる場合、計算インスタンスのセットに対応するＶＮＩＣを含み、各ＶＮＩＣは、コンピュータインスタンスのセット内の計算インスタンスに接続されている。
【0044】
計算インスタンスに関連するＶＮＩＣを介して、各計算インスタンスにはプライベートオーバーレイＩＰアドレスが割り当てられる。このプライベートオーバーレイＩＰアドレスは、計算インスタンスの作成時に計算インスタンスに関連するＶＮＩＣに割り当てられ、計算インスタンスのトラフィックをルーティングするために使用される。特定のサブネット内の全てのＶＮＩＣは、同じルートテーブル、セキュリティリスト、およびＤＨＣＰオプションを使用する。上述したように、ＶＣＮ内の各サブネットは、当該ＶＣＮ内の他のサブネットと重複せず、当該ＶＣＮのアドレス空間のアドレス空間サブセットを表すオーバーレイＩＰアドレス（例えば、１０．０．０．０／２４および１０．０．１．０／２４）の連続範囲に関連付けられる。ＶＣＮの特定のサブネット上のＶＮＩＣの場合、ＶＮＩＣに割り当てられたオーバーレイＩＰアドレスは、サブネットに割り当てられたオーバーレイＩＰアドレスの連続範囲からのアドレスである。
【0045】
特定の実施形態において、必要に応じて、計算インスタンスには、プライベートオーバーレイＩＰアドレスに加えて、追加のオーバーレイＩＰアドレス、例えば、パブリックサブネットの場合に１つ以上のパブリックＩＰアドレスを割り当てることができる。これらの複数のアドレスは、同じＶＮＩＣ、または計算インスタンスに関連付けられた複数のＶＮＩＣに割り当てられる。しかしながら、各インスタンスは、インスタンス起動時に作成され、インスタンスに割り当てられたオーバーレイプライベートＩＰアドレスに関連付けられたプライマリＶＮＩＣを有する。このプライマリＶＮＩＣは、削除することができない。セカンダリＶＮＩＣと呼ばれる追加のＶＮＩＣは、プライマリＶＮＩＣと同じ利用可能なドメイン内の既存のインスタンスに追加することができる。全てのＶＮＩＣは、インスタンスと同じ利用可能なドメインにある。セカンダリＶＮＩＣは、プライマリＶＮＩＣと同じＶＣＮのサブネットにあってもよく、または同じＶＣＮまたは異なるＶＣＮの異なるサブネットにあってもよい。
【0046】
計算インスタンスは、パブリックサブネットにある場合、オプションでパブリックＩＰアドレスを割り当てられることができる。サブネットを作成するときに、当該サブネットをパブリックサブネットまたはプライベートサブネットのいずれかとして指定することができる。プライベートサブネットとは、当該サブネット内のリソース（例えば、計算インスタンス）および関連するＶＮＩＣがパブリックオーバーレイＩＰアドレスを持つことができないことを意味する。パブリックサブネットとは、サブネット内のリソースおよび関連するＶＮＩＣがパブリックＩＰアドレスを持つことができることを意味する。顧客は、地域またはレルム内の単一の利用可能なドメインまたは複数の利用可能なドメインにわたって存在するサブネットを指定することができる。
【0047】
上述したように、ＶＣＮは、１つ以上のサブネットに細分化されてもよい。特定の実施形態において、ＶＣＮのために構成された仮想ルータ（ＶＣＮ ＶＲまたは単にＶＲと呼ばれる）は、ＶＣＮのサブネット間の通信を可能にする。ＶＣＮ内のサブネットの場合、ＶＲは、サブネット（すなわち、当該サブネット上の計算インスタンス）と、ＶＣＮ内部の他のサブネット上のエンドポイントおよびＶＣＮ外部の別のエンドポイントとの通信を可能にする当該サブネットの論理ゲートウェイを表す。ＶＣＮ ＶＲは、ＶＣＮ内のＶＮＩＣと、ＶＣＮに関連する仮想ゲートウェイ（ゲートウェイ）との間のトラフィックをルーティングするように構成された論理エンティティである。ゲートウェイは、図１に関して以下でさらに説明される。ＶＣＮ ＶＲは、レイヤ３／ＩＰレイヤの概念である。一実施形態において、１つのＶＣＮに対して１つのＶＣＮ ＶＲが存在する。このＶＣＮ ＶＲは、ＩＰアドレスによってアドレス指定された無制限の数のポートを潜在的に有し、ＶＣＮの各サブネットに対して１つのポートを有する。このようにして、ＶＣＮ ＶＲは、ＶＣＮ ＶＲが接続されているＶＣＮの各サブネットに対して異なるＩＰアドレスを有する。また、ＶＲは、ＶＣＮのために構成された様々なゲートウェイに接続されている。特定の実施形態において、サブネットのオーバーレイＩＰアドレス範囲からの特定のオーバーレイＩＰアドレスは、そのサブネットのＶＣＮ ＶＲのポートに保留される。例えば、関連するアドレス範囲１０．０／１６および１０．１／１６を各々有する２つのサブネットを有するＶＣＮを考える。アドレス範囲１０．０／１６を有するＶＣＮの第１のサブネットの場合、この範囲からのアドレスは、そのサブネットのＶＣＮ ＶＲのポートに保留される。場合によっては、この範囲からの第１のＩＰアドレスは、ＶＣＮ ＶＲに保留されてもよい。例えば、オーバーレイＩＰアドレス範囲１０．０／１６を有するサブネットの場合、ＩＰアドレス１０．０．０．１は、そのサブネットのＶＣＮ ＶＲのポートに保留されてもよい。同じＶＣＮ内のアドレス範囲１０．１／１６を有する第２のサブネットの場合、ＶＣＮ ＶＲは、ＩＰアドレス１０．１．０．１を有する第２のサブネットのポートを有してもよい。ＶＣＮ ＶＲは、ＶＣＮ内の各サブネットに対して異なるＩＰアドレスを有する。
【0048】
いくつかの他の実施形態において、ＶＣＮ内の各サブネットは、ＶＲに関連付けられた保留またはデフォルトＩＰアドレスを使用してサブネットによってアドレス指定可能な、それ自身に関連するＶＲを有してもよい。保留またはデフォルトＩＰアドレスは、例えば、そのサブネットに関連付けられたＩＰアドレスの範囲からの第１のＩＰアドレスであってもよい。サブネット内のＶＮＩＣは、このデフォルトまたは保留ＩＰアドレスを使用して、サブネットに関連付けられたＶＲと通信（例えば、パケットを送信および受信）することができる。このような実施形態において、ＶＲは、そのサブネットの着信／送信ポイントである。ＶＣＮ内のサブネットに関連付けられたＶＲは、ＶＣＮ内の他のサブネットに関連付けられた他のＶＲと通信することができる。また、ＶＲは、ＶＣＮに関連付けられたゲートウェイと通信することができる。サブネットのＶＲ機能は、サブネット内のＶＮＩＣのＶＮＩＣ機能を実行する１つ以上のＮＶＤ上で実行され、またはそれによって実行される。
【0049】
ルートテーブル、セキュリティルール、およびＤＨＣＰオプションは、ＶＣＮのために構成されてもよい。ルートテーブルは、ＶＣＮの仮想ルートテーブルであり、ゲートウェイまたは特別に構成されたインスタンスを経由して、トラフィックをＶＣＮ内部のサブネットからＶＣＮ外部の宛先にルーティングするためのルールを含む。ＶＣＮとの間でパケットの転送/ルーティングを制御するために、ＶＣＮのルートテーブルをカスタマイズすることができる。ＤＨＣＰオプションは、インスタンスの起動時にインスタンスに自動的に提供される構成情報を指す。
【0050】
ＶＣＮのために構成されたセキュリティルールは、ＶＣＮのオーバーレイファイアウォールルールを表す。セキュリティルールは、受信ルールおよび送信ルールを含むことができ、（例えば、プロトコルおよびポートに基づいて）ＶＣＮ内のインスタンスに出入りすることを許可されるトラフィックの種類を指定することができる。顧客は、特定の規則をステートフルまたはステートレスにするかを選択することができる。例えば、顧客は、ソースＣＩＤＲ０．０．０．０／０および宛先ＴＣＰポート２２を含むステートフル受信ルールを設定することによって、任意の場所から１組のインスタンスへの着信ＳＳＨトラフィックを許可することができる。セキュリティルールは、ネットワークセキュリティグループまたはセキュリティリストを使用して実装されてもよい。ネットワークセキュリティグループは、そのグループ内のリソースのみに適用されるセキュリティルールのセットからなる。一方、セキュリティリストは、そのセキュリティリストを使用するサブネット内の全てのリソースに適用されるルールを含む。ＶＣＮは、デフォルトセキュリティルールとデフォルトセキュリティリストを含んでもよい。ＶＣＮのために構成されたＤＨＣＰオプションは、ＶＣＮ内のインスタンスが起動するときに自動的に提供される構成情報を提供する。
【0051】
特定の実施形態において、ＶＣＮの構成情報は、ＶＣＮ制御プレーンによって決定され、記憶される。ＶＣＮの構成情報は、例えば、ＶＣＮに関連するアドレス範囲、ＶＣＮ内のサブネットおよび関連情報、ＶＣＮに関連する１つ以上のＶＲ、ＶＣＮ内の計算インスタンスおよび関連ＶＮＩＣ、ＶＣＮに関連する種々の仮想化ネットワーク機能（例えば、ＶＮＩＣ、ＶＲ、ゲートウェイ）を実行するＮＶＤ、ＶＣＮの状態情報、および他のＶＣＮ関連情報を含んでもよい。特定の実施形態において、ＶＣＮ配信サービスは、ＶＣＮ制御プレーンによって記憶されている構成情報またはその一部をＮＶＤに公開する。配信された情報を用いて、ＮＶＤによって記憶および使用される情報（例えば、転送テーブル、ルーティングテーブルなど）を更新することによって、ＶＣＮ内の計算インスタンスとの間でパケットを転送することができる。
【0052】
特定の実施形態において、ＶＣＮおよびサブネットの作成は、ＶＣＮ制御プレーン（ＣＰ）によって処理され、計算インスタンスの起動は、計算制御プレーンによって処理される。計算制御プレーンは、計算インスタンスの物理リソースを割り当て、次にＶＣＮ制御プレーンを呼び出して、ＶＮＩＣを作成し、計算インスタンスに接続するように構成される。また、ＶＣＮ ＣＰは、パケットの転送およびルーティング機能を実行するように構成されたＶＣＮデータプレーンに、ＶＣＮデータマッピングを送信する。特定の実施形態において、ＶＣＮ ＣＰは、更新をＶＣＮデータプレーンに提供するように構成された配信サービスを提供する。ＶＣＮ制御プレーンの例は、図１２、１３、１４、および１５（参照番号１２１６、１３１６、１４１６、および１５１６を参照）に示され、以下に説明される。
【0053】
顧客は、ＣＳＰＩによってホストされているリソースを用いて、１つ以上のＶＣＮを作成することができる。顧客ＶＣＮ上に展開された計算インスタンスは、異なるエンドポイントと通信することができる。これらのエンドポイントは、ＣＳＰＩによってホストされているエンドポイントおよびＣＳＰＬ外部のエンドポイントを含むことができる。
【0054】
ＣＳＰＩを用いてクラウドベースのサービスを実装するための様々な異なるアーキテクチャは、図１、２、３、４、５、１２、１３、１４、および１５に示され、以下に説明される。図１は、特定の実施形態に従って、ＣＳＰＩによってホストされているオーバーレイＶＣＮまたは顧客ＶＣＮを示す分散環境１００のハイレベル図である。図１に示された分散環境は、オーバーレイネットワーク内の複数の要素を含む。図１に示された分散環境１００は、単なる例であり、特許請求された実施形態の範囲を不当に限定することを意図していない。多くの変形例、代替例、および修正例が可能である。例えば、いくつかの実装形態において、図１に示された分散環境は、図１に示されたものより多いまたは少ないシステムまたは要素を有してもよく、２つ以上のシステムを組み合わせてもよく、または異なるシステムの構成または配置を有してもよい。
【0055】
図１の例に示すように、分散環境１００は、顧客が加入して仮想クラウドネットワーク（ＶＣＮ）を構築するために使用することができるサービスおよびリソースを提供するＣＳＰＩ１０１を含む。特定の実施形態において、ＣＳＰＩ１０１は、加入顧客にＩａａＳサービスを提供する。ＣＳＰＩ１０１内のデータセンタは、１つ以上の地域に編成されてもよい。図１は、地域の一例である「ＵＳ地域」１０２を示す。顧客は、地域１０２に対して顧客ＶＣＮ１０４を構成している。顧客は、ＶＣＮ１０４上に様々な計算インスタンスを展開することができ、計算インスタンスは、仮想マシンまたはベアメタルインスタンスを含むことができる。インスタンスの例は、アプリケーション、データベース、ロードバランサなどを含む。
【0056】
図１に示された実施形態において、顧客ＶＣＮ１０４は、２つのサブネット、すなわち、「サブネット－１」および「サブネット－２」を含み、各サブネットは、各自のＣＩＤＲ ＩＰアドレス範囲を有する。図１において、サブネット－１のオーバーレイＩＰアドレス範囲は、１０．０／１６であり、サブネット－２のアドレス範囲は、１０．１／１６である。ＶＣＮ仮想ルータ１０５は、ＶＣＮ１０４のサブネット間の通信およびＶＣＮ外部の別のエンドポイントとの通信を可能にするＶＣＮの論理ゲートウェイを表す。ＶＣＮ ＶＲ１０５は、ＶＣＮ１０４内のＶＮＩＣとＶＣＮ１０４に関連するゲートウェイとの間でトラフィックをルーティングするように構成される。ＶＣＮ ＶＲ１０５は、ＶＣＮ１０４の各サブネットにポートを提供する。例えば、ＶＲ１０５は、ＩＰアドレス１０．０．０．１を有するポートをサブネット－１に提供することができ、ＩＰアドレス１０．１．０．１を有するポートをサブネット－２に提供することができる。
【0057】
各サブネット上に複数の計算インスタンスを展開することができる。この場合、計算インスタンスは、仮想マシンインスタンスおよび／またはベアメタルインスタンスであってもよい。サブネット内の計算インスタンスは、ＣＳＰＩ１０１内の１つ以上のホストマシンによってホストされてもよい。計算インスタンスは、当該計算インスタンスに関連するＶＮＩＣを介してサブネットに参加する。例えば、図１に示すように、計算インスタンスＣ１は、当該計算インスタンスに関連するＶＮＩＣを介したサブネット－１の一部である。同様に、計算インスタンスＣ２は、Ｃ２に関連するＶＮＩＣを介したサブネット－１の一部である。同様に、仮想マシンインスタンスまたはベアメタルインスタンスであり得る複数の計算インスタンスは、サブネット－１の一部であってもよい。各計算インスタンスには、関連するＶＮＩＣを介して、プライベートオーバーレイＩＰアドレスおよびＭＡＣアドレスが割り当てられる。例えば、図１において、計算インスタンスＣ１は、オーバーレイＩＰアドレス１０．０．０．２およびＭＡＣアドレスＭ１を有し、計算インスタンスＣ２は、プライベートオーバーレイＩＰアドレス１０．０．０．３およびＭＡＣアドレスＭ２を有する。計算インスタンスＣ１およびＣ２を含むサブネット－１内の各計算インスタンスは、サブネット－１のＶＣＮ ＶＲ１０５のポートのＩＰアドレスであるＩＰアドレス１０．０．０．１を使用して、ＶＣＮ ＶＲ１０５へのデフォルトルートを有する。
【0058】
サブネット－２には、仮想マシンインスタンスおよび／またはベアメタルインスタンスを含む複数の計算インスタンスを展開することができる。例えば、図１に示すように、計算インスタンスＤｌおよびＤ２は、それぞれの計算インスタンスに関連するＶＮＩＣを介したサブネット－２の一部である。図１に示す実施形態において、計算インスタンスＤ１は、オーバーレイＩＰアドレス１０．１．０．２およびＭＡＣアドレスＭＭ１を有し、計算インスタンスＤ２は、プライベートオーバーレイＩＰアドレス１０．１．０．３およびＭＡＣアドレスＭＭ２を有する。計算インスタンスＤ１およびＤ２を含むサブネット－２内の各計算インスタンスは、サブネット－２のＶＣＮ ＶＲ１０５のポートのＩＰアドレスであるＩＰアドレス１０．１．０．１を使用して、ＶＣＮ ＶＲ１０５へのデフォルトルートを有する。
【0059】
また、ＶＣＮ Ａ１０４は、１つ以上のロードバランサを含んでもよい。例えば、ロードバランサは、サブネットに対して提供されてもよく、サブネット上の複数の計算インスタンス間でトラフィックをロードバランスするように構成されてもよい。また、ロードバランサは、ＶＣＮ内のサブネット間でトラフィックをロードバランスするように提供されてもよい。
【0060】
ＶＣＮ１０４上に展開された特定の計算インスタンスは、様々な異なるエンドポイントと通信することができる。これらのエンドポイントは、ＣＳＰＩ２００によってホストされているエンドポイントと、ＣＳＰＩ２００外部のエンドポイントとを含んでもよい。ＣＳＰＩ１０１によってホストされているエンドポイントは、特定の計算インスタンスと同じサブネット上のエンドポイント（例えば、サブネット－１の２つの計算インスタンス間の通信）、異なるサブネットにあるが同じＶＣＮ内のエンドポイント（例えば、サブネット－１の計算インスタンスとサブネット－２の計算インスタンスとの間の通信）、同じ地域の異なるＶＣＮ内のエンドポイント（例えば、サブネット－１の計算インスタンスと、同じ地域１０６または１１０のＶＣＮ内のエンドポイントとの間の通信、サブネット－１内の計算インスタンスと、同じ地域のサービスネットワーク１１０内のエンドポイントとの間の通信）、または異なる地域のＶＣＮ内のエンドポイント（例えば、サブネット－１の計算インスタンスと、異なる地域１０８のＶＣＮ内のエンドポイントとの間の通信）を含んでもよい。また、ＣＳＰＩ１０１によってホストされているサブネット内の計算インスタンスは、ＣＳＰＩ１０１によってホストされていない（すなわち、ＣＳＰＩ１０１の外部にある）エンドポイントと通信することができる。これらの外部のエンドポイントは、顧客オンプレミスネットワーク１１６内のエンドポイント、他のリモートクラウドホストネットワーク１１８内のエンドポイント、インターネットなどのパブリックネットワークを介してアクセス可能なパブリックエンドポイント１１４、および別のエンドポイントを含む。
【0061】
同じサブネット上の計算インスタンス間の通信は、ソース計算インスタンスおよび宛先計算インスタンスに関連するＶＮＩＣを使用して促進される。例えば、サブネット－１内の計算インスタンスＣ１は、サブネット－１内の計算インスタンスＣ２にパケットを送信したいことがある。ソース計算インスタンスから送信され、その宛先が同じサブネット内の別の計算インスタンスであるパケットの場合、このパケットは、まず、ソース計算インスタンスに関連するＶＮＩＣによって処理される。ソース計算インスタンスに関連するＶＮＩＣによって実行される処理は、パケットヘッダからパケットの宛先情報を決定することと、ソース計算インスタンスに関連するＶＮＩＣに対して構成された任意のポリシー（例えば、セキュリティリスト）を特定することと、パケットのネクストホップ（next hop）を決定することと、必要に応じて任意のパケットのカプセル化／デカプセル化機能を実行することと、パケットの意図した宛先への通信を容易にするためにパケットをネクストホップに転送／ルーティングすることとを含んでもよい。宛先計算インスタンスがソース計算インスタンスと同じサブネットにある場合、ソース計算インスタンスに関連するＶＮＩＣは、宛先計算インスタンスに関連するＶＮＩＣを特定し、処理するためのパケットをそのＶＮＩＣに転送するように構成されている。次いで、宛先計算インスタンスに関連するＶＮＩＣは、実行され、パケットを宛先計算インスタンスに転送する。
【0062】
サブネット内の計算インスタンスから同じＶＣＮの異なるサブネット内のエンドポイントにパケットを通信する場合、通信は、ソース計算インスタンスおよび宛先計算インスタンスに関連するＶＮＩＣと、ＶＣＮ ＶＲとによって促進される。例えば、図１のサブネット－１の計算インスタンスＣ１がサブネット－２の計算インスタンスＤ１にパケットを送信したい場合、パケットは、まず、計算インスタンスＣ１に関連するＶＮＩＣによって処理される。計算インスタンスＣ１に関連するＶＮＩＣは、ＶＣＮ ＶＲのデフォルトルートまたはポート１０．０．０．１を使用して、パケットをＶＣＮ ＶＲ１０５にルーティングするように構成されている。ＶＣＮ ＶＲ１０５は、ポート１０．１．０．１を使用してパケットをサブネット－２にルーティングするように構成されている。その後、パケットは、Ｄ１に関連するＶＮＩＣによって受信および処理され、ＶＮＩＣは、パケットを計算インスタンスＤ１に転送する。
【0063】
ＶＣＮ１０４内の計算インスタンスからＶＣＮ１０４の外部のエンドポイントにパケットを通信するために、通信は、ソース計算インスタンスに関連するＶＮＩＣ、ＶＣＮ ＶＲ１０５、およびＶＣＮ１０４に関連するゲートウェイによって促進される。１つ以上の種類のゲートウェイをＶＣＮ１０４に関連付けることができる。ゲートウェイは、ＶＣＮと別のエンドポイントとの間のインターフェイスであり、別のエンドポイントは、ＶＣＮの外部にある。ゲートウェイは、レイヤ３／ＩＰレイヤ概念であり、ＶＣＮとＶＣＮの外部のエンドポイントとの通信を可能にする。したがって、ゲートウェイは、ＶＣＮと他のＶＣＮまたはネットワークとの間のトラフィックフローを容易にする。異なる種類のエンドポイントとの異なる種類の通信を容易にするために、様々な異なる種類のゲートウェイをＶＣＮに設定することができる。ゲートウェイによって、通信は、パブリックネットワーク（例えば、インターネット）またはプライベートネットワークを介して行われてもよい。これらの通信には、様々な通信プロトコルを使用してもよい。
【0064】
例えば、計算インスタンスＣ１は、ＶＣＮ１０４の外部のエンドポイントと通信したい場合がある。パケットは、まず、ソース計算インスタンスＣ１に関連するＶＮＩＣによって処理されてもよい。ＶＮＩＣ処理は、パケットの宛先がＣｌのサブネット－１の外部にあると判断する。Ｃ１に関連するＶＮＩＣは、パケットをＶＣＮ１０４のＶＣＮ ＶＲ１０５に転送することができる。次いで、ＶＣＮ ＶＲ１０５は、パケットを処理し、処理の一部として、パケットの宛先に基づいて、ＶＣＮ１０４に関連する特定のゲートウェイをパケットのネクストホップとして決定する。その後、ＶＣＮ ＶＲ１０５は、パケットを特定のゲートウェイに転送することができる。例えば、宛先が顧客のオペプレミスネットワーク内のエンドポイントである場合、パケットは、ＶＣＮ ＶＲ１０５によって、ＶＣＮ１０４のために構成された動的ルーティングゲートウェイ（ＤＲＧ）１２２に転送されてもよい。その後、パケットは、ゲートウェイからネクストホップに転送され、意図した最終の宛先へのパケットの通信を容易にすることができる。
【0065】
ＶＣＮのために様々な異なる種類のゲートウェイを構成してもよい。ＶＣＮのために構成され得るゲートウェイの例は、図１に示され、以下に説明される。ＶＣＮに関連するゲートウェイの例は、図１２、１３、１４、および１５（例えば、参照番号１２３４、１２３６、１２３８、１３３４、１３３６、１３３８、１４３４、１４３６、１４３８、１５３４、１５３６、および１５３８によって示されたゲートウェイ）にも示され、以下に説明される。図１に示された実施形態に示されるように、動的ルーティングゲートウェイ（ＤＲＧ）１２２は、顧客ＶＣＮ１０４に追加されてもよく、またはそれに関連付けられてもよい。ＤＲＧ１２２は、顧客ＶＣＮ１０４と別のエンドポイントとの間のプライベートネットワークトラフィック通信を行うための経路を提供する。別のエンドポイントは、顧客オンプレミスネットワーク１１６、ＣＳＰＩ１０１の異なる地域内のＶＣＮ１０８、またはＣＳＰＩ１０１によってホストされていない他のリモートクラウドネットワーク１１８であってもよい。顧客オンプレミスネットワーク１１６は、顧客のリソースを用いて構築された顧客ネットワークまたは顧客データセンタであってもよい。顧客オンプレミスネットワーク１１６へのアクセスは、一般的に厳しく制限される。顧客オンプレミスネットワーク１１６と、ＣＳＰＩ１０１によってクラウドに展開またはホストされる１つ以上のＶＣＮ１０４との両方を有する顧客の場合、顧客は、オンプレミスネットワーク１１６およびクラウドベースのＶＣＮ１０４が互いに通信できることを望む場合がある。これによって、顧客は、ＣＳＰＩ１０１によってホストされている顧客のＶＣＮ１０４とオンプレミスネットワーク１１６とを含む拡張ハイブリッド環境を構築することができる。ＤＲＧ１２２は、このような通信を可能にする。このような通信を可能にするために、通信チャネル１２４が設定される。この場合、通信チャネルの一方のエンドポイントは、顧客オンプレミスネットワーク１１６に配置され、他方のエンドポイントは、ＣＳＰＩ１０１に配置され、顧客ＶＣＮ１０４に接続されている。通信チャネル１２４は、インターネットなどのパブリック通信ネットワーク、またはプライベート通信ネットワークを経由することができる。インターネットなどのパブリック通信ネットワーク上のＩＰｓｅｃ ＶＰＮ技術、パブリックネットワークの代わりにプライベートネットワークを使用するオラクル（登録商標）のFastConnect技術などの様々な異なる通信プロトコルを使用することができる。通信チャネル１２４の１つのエンドポイントを形成する顧客オンプレミスネットワーク１１６内の装置または機器は、図１に示されたＣＰＥ１２６などの顧客構内機器（ＣＰＥ）と呼ばれる。ＣＳＰＩ１０１側のエンドポイントは、ＤＲＧ１２２を実行するホストマシンであってもよい。特定の実施形態において、リモートピアリング接続（ＲＰＣ）をＤＲＧに追加することができる。これによって、顧客は、１つのＶＣＮを別の地域内の別のＶＣＮとピアリングすることができる。このようなＲＰＣを使用して、顧客ＶＣＮ１０４は、ＤＲＧ１２２を使用して、別の地域内のＶＣＮ１０８に接続することができる。また、ＤＲＧ１２２は、ＣＳＰＩ１０１によってホストされていない他のリモートクラウドネットワーク１１８、例えば、マイクロソフト（登録商標）Azureクラウド、アマゾン（登録商標）ＡＷＳクラウドと通信するために使用されてもよい。
【0066】
図１に示すように、顧客ＶＣＮ１０４上の計算インスタンスがインターネットなどのパブリックネットワークを介してアクセス可能なパブリックエンドポイント１１４と通信することを可能にするように、顧客ＶＣＮ１０４にインターネットゲートウェイ（ＩＧＷ）１２０を構成することができる。ＩＧＷ１１２０は、ＶＣＮをインターネットなどのパブリックネットワークに接続するためのゲートウェイである。ＩＧＷ１２０は、ＶＣＮ１０４などのＶＣＮ内のパブリックサブネット（パブリックサブネット内のリソースは、パブリックオーバーレイＩＰアドレスを有する）がインターネットなどのパブリックネットワーク１１４上のパブリックエンドポイント１１２に直接アクセスすることを可能にする。ＩＧＷ１２０を使用して、ＶＣＮ１０４内のサブネットからまたはインターネットからの接続を開始することができる。
【0067】
顧客ＶＣＮ１０４にネットワークアドレス変換（ＮＡＴ）ゲートウェイ１２８を構成することができる。ＮＡＴゲートウェイ１２８は、顧客ＶＣＮ内の専用のパブリックオーバーレイＩＰアドレスを有しないクラウドリソースを、直接着信インターネット接続（例えば、Ｌ４－Ｌ７接続）に曝すことなくインターネットにアクセスすることを可能にする。これによって、ＶＣＮ１０４のプライベートサブネット－１などのＶＣＮ内のプライベートサブネットがインターネット上のパブリックエンドポイントにプライベートアクセスすることを可能にする。ＮＡＴゲートウェイにおいて、プライベートサブネットからパブリックインターネットに接続を開始することができるが、インターネットからプライベートサブネットに接続を開始することができない。
【0068】
特定の実施形態において、顧客ＶＣＮ１０４にサービスゲートウェイ（ＳＧＷ）１２６を構成することができる。ＳＧＷ１２６は、ＶＣＮ１０４とサービスネットワーク１１０にサポートされているサービスエンドポイントとの間のプライベートネットワークトラフィックの経路を提供する。特定の実施形態において、サービスネットワーク１１０は、ＣＳＰによって提供されてもよく、様々なサービスを提供することができる。このようなサービスネットワークの例は、顧客が使用できる様々なサービスを提供するオラクル（登録商標）サービスネットワークである。例えば、顧客ＶＣＮ１０４のプライベートサブネット内の計算インスタンス（例えば、データベースシステム）は、パブリックＩＰアドレスまたはインターネットへのアクセスを必要とすることなく、サービスエンドポイント（例えば、オブジェクト記憶装置）にデータをバックアップすることができる。いくつかの実施形態において、ＶＣＮは、１つのみのＳＧＷを有することができ、ＶＣＮ内のサブネットのみから接続を開始することができ、サービスネットワーク１１０から接続を開始することができない。ＶＣＮを他のＶＣＮにピアリングする場合、他のＶＣＮ内のリソースは、通常ＳＧＷにアクセスすることができない。FastConnectまたはVPN ConnectでＶＣＮに接続されているオンプレミスネットワーク内のリソースも、そのＶＣＮに構成されたサービスゲートウェイを使用することができる。
【0069】
いくつかの実装形態において、ＳＧＷ１２６は、サービスクラスレスドメイン間ルーティング（ＣＩＤＲ）ラベルを使用する。ＣＩＤＲラベルは、関心のあるサービスまたはサービスのグループに対する全ての地域公開ＩＰアドレス範囲を表す文字列である。顧客は、ＳＧＷおよび関連するルーティングルールを設定する際に、サービスＣＩＤＲラベルを使用してサービスへのトラフィックを制御する。顧客は、サービスのパブリックＩＰアドレスが将来に変化する場合、セキュリティルールを調整する必要なく、セキュリティルールを設定するときにオプションとしてサービスＣＩＤＲラベルを使用することができる。
【0070】
ローカルピアリングゲートウェイ（ＬＰＧ）１３２は、顧客ＶＣＮ１０４に追加可能なゲートウェイであり、ＶＣＮ１０４が同じ地域内の別のＶＣＮとピアリングすることを可能にするものである。ピアリングとは、トラフィックがインターネットなどのパブリックネットワークを経由することなく、または顧客オンプレミスネットワーク１１６を通してトラフィックをルーティングすることなく、ＶＣＮがプライベートＩＰアドレスを使用して通信することを意味する。好ましい実施形態において、ＶＣＮは、確立した各ピアリングに対して個別のＬＰＧを有する。ローカルピアリングまたはＶＣＮピアリングは、異なるアプリケーション間またはインフラストラクチャ管理機能間のネットワーク接続を確立するために使用される一般的な慣行である。
【0071】
サービスネットワーク１１０のサービスのプロバイダなどのサービスプロバイダは、異なるアクセスモデルを使用してサービスへのアクセスを提供することができる。パブリックアクセスモデルによれば、サービスは、インターネットなどのパブリックネットワークを介して顧客ＶＣＮ内の計算インスタンスによって公的にアクセス可能なパブリックエンドポイントとして公開されてもよく、またはＳＧＷ１２６を介してプライベートにアクセスされてもよい。特定のプライベートアクセスモデルによれば、サービスは、顧客ＶＣＮ内のプライベートサブネット内のプライベートＩＰエンドポイントとしてアクセスされてもよい。これは、プライベートエンドポイント（ＰＥ）アクセスと呼ばれ、サービスプロバイダがそのサービスを顧客のプライベートネットワーク内のインスタンスとして公開することを可能にする。プライベートエンドポイントリソースは、顧客ＶＣＮ内のサービスを表す。各ＰＥは、顧客が顧客ＶＣＮ内のサブネットから選択したＶＮＩＣ（ＰＥ－ＶＮＩＣと呼ばれ、１つまたは複数のプライベートＩＰを持つ）として現れる。従って、ＰＥは、ＶＮＩＣを使用して顧客のプライベートＶＣＮサブネット内でサービスを提供する方法を提供する。エンドポイントがＶＮＩＣとして公開されるため、ＰＥ ＶＮＩＣは、ＶＮＩＣに関連する全ての機能、例えば、ルーティングルールおよびセキュリティリストなどを利用することができる。
【0072】
サービスプロバイダは、サービスを登録することによって、ＰＥを介したアクセスを可能にする。プロバイダは、顧客テナントへのサービスの表示を規制するポリシーをサービスに関連付けることができる。プロバイダは、特にマルチテナントサービスの場合、単一の仮想ＩＰアドレス（ＶＩＰ）の下に複数のサービスを登録することができる。（複数のＶＣＮにおいて）同じサービスを表すプライベートエンドポイントが複数存在する場合もある。
【0073】
その後、プライベートサブネット内の計算インスタンスは、ＰＥ ＶＮＩＣのプライベートＩＰアドレスまたはサービスＤＮＳ名を用いて、サービスにアクセスすることができる。顧客ＶＣＮ内の計算インスタンスは、顧客ＶＣＮ内のＰＥのプライベートＩＰアドレスにトラフィックを送信することによって、サービスにアクセスすることができる。プライベートアクセスゲートウェイ（ＰＡＧＷ）１３０は、顧客サブネットプライベートエンドポイントから／への全てのトラフィックの受信ポイント／送信ポイントとして機能するサービスプロバイダＶＣＮ（例えば、サービスネットワーク１１０内のＶＣＮ）に接続できるゲートウェイリソースである。ＰＡＧＷ１３０によって、プロバイダは、内部ＩＰアドレスリソースを利用することなく、ＰＥ接続の数を拡張することができる。プロバイダは、単一のＶＣＮに登録された任意の数のサービスに対して１つのＰＡＧＷを設定するだけでよい。プロバイダは、１人以上の顧客の複数のＶＣＮにおいて、サービスをプライバシーエンドポイントとして示すことができる。顧客の観点から、ＰＥ ＶＮＩＣは、顧客のインスタンスに接続されているのではなく、顧客が対話したいサービスに接続されているように見える。プライベートエンドポイントに向けられたトラフィックは、ＰＡＧＷ１３０を介してサービスにルーティングされる。これらは、顧客対サービスプライベート接続（Ｃ２Ｓ接続）と呼ばれる。
【0074】
また、ＰＥ概念を用いて、トラフィックがFastConnect/IPsecリンクおよび顧客ＶＣＮ内のプライベートエンドポイントを通って流れることを可能にすることで、サービスのプライベートアクセスを顧客オンプレミスネットワークおよびデータセンタに拡張することもできる。また、トラフィックがＬＰＧ１３２および顧客ＶＣＮ内のＰＥ間を通って流れることを可能にすることで、サービスのプライベートアクセスを顧客ピアリングＶＣＮに拡張することもできる。
【0075】
顧客は、サブネットレベルでＶＣＮのルーティングを制御することができるため、ＶＣＮ１０４などの顧客ＶＣＮにおいて各ゲートウェイを使用するサブネットを指定することができる。ＶＣＮのルートテーブルを用いて、特定のゲートウェイを介してトラフィックをＶＣＮの外部にルーティングできるか否かを判断することができる。例えば、特定の事例において、顧客ＶＣＮ１０４内のパブリックサブネットのルートテーブルは、ＩＧＷ１２０を介して非ローカルトラフィックを送信することができる。同じ顧客ＶＣＮ１０４内のプライベートサブネットのルートテーブルは、ＳＧＷ１２６を介してＣＳＰサービスへのトラフィックを送信することができる。残りの全てのトラフィックは、ＮＡＴゲートウェイ１２８を介して送信されてもよい。ルートテーブルは、ＶＣＮから出るトラフィックのみを制御する。
【0076】
ＶＣＮに関連するセキュリティリストは、インバウンド接続およびゲートウェイを介してＶＣＮに入来するトラフィックを制御するために使用される。サブネット内の全てのリソースは、同じミュートテーブルおよびセキュリティリストを使用する。セキュリティリストは、ＶＣＮのサブネット内のインスタンスに出入りする特定の種類のトラフィックを制御するために使用されてもよい。セキュリティリストルールは、受信（インバウンド）ルールと、送信（アウトバウンド）ルールとを含んでもよい。例えば、受信ルールは、許可されたソースアドレス範囲を指定することができ、送信ルールは、許可された宛先アドレス範囲を指定することができる。セキュリティルールは、特定のプロトコル（例えば、ＴＣＰ、ＩＣＭＰ）、特定のポート（例えば、ＳＳＨの場合ポート２２、ウインドウズ（登録商標）ＲＤＰの場合ポート３３８９）などを指定することができる。特定の実装形態において、インスタンスのオペレーティングシステムは、セキュリティリストルールと一致する独自のファイアウォールルールを実施することができる。ルールは、ステートフル（例えば、接続が追跡され、応答トラフィックに対する明示的なセキュリティのリストルールなしで応答が自動的に許可される）またはステートレスであってもよい。
【0077】
顧客ＶＣＮ（すなわち、ＶＣＮ１０４上に展開されたリソースまたは計算インスタンス）からのアクセスは、パブリックアクセス、プライベートアクセス、または専用アクセスとして分類されてもよい。パブリックアクセスは、パブリックＩＰアドレスまたはＮＡＴを用いてパブリックエンドポイントにアクセスするためのアクセスモデルを指す。プライベートアクセスは、プライベートＩＰアドレス（例えば、プライベートサブネット内のリソース）を持つＶＣＮ１０４内の顧客ワークロードが、インターネットなどのパブリックネットワークを経由することなく、サービスにアクセスすることを可能にする。特定の実施形態において、ＣＳＰＩ１０１は、プライベートＩＰアドレスを持つ顧客ＶＣＮワークロードが、サービスゲートウェイを使用して、サービスのパブリックサービスエンドポイントにアクセスすることを可能にする。したがって、サービスゲートウェイは、顧客ＶＣＮと顧客プライベートネットワークの外部に存在するサービスのパブリックエンドポイントとの間に仮想リンクを確立することによって、プライベートアクセスモデルを提供する。
【0078】
さらに、ＣＳＰＩは、FastConnectパブリックピアリングなどの技術を使用する専用パブリックアクセスを提供することができる。この場合、顧客オンプレミスインスタンスは、インターネットなどのパブリックネットワークを経由することなく、FastConnect接続を用いて顧客ＶＣＮ内の１つ以上のサービスにアクセスすることができる。また、ＣＳＰＩは、FastConnectプライベートピアリングを使用する専用プライベートアクセスを提供することもできる。この場合、プライベートＩＰアドレスを持つ顧客オンプレミスインスタンスは、FastConnect接続を用いて顧客ＶＣＮワークロードにアクセスすることができる。FastConnectは、パブリックインターネットを用いて顧客オンプレミスネットワークをＣＳＰＩおよびそのサービスに接続する代わりに使用されるネットワーク接続である。FastConnectは、インターネットベースの接続と比較して、より高い帯域幅オプションと信頼性の高い一貫したネットワーキング体験を持つ専用のプライベート接続を、簡単、柔軟且つ経済的に作成する方法を提供する。
【0079】
図１および上記の添付の説明は、例示的な仮想ネットワークにおける様々な仮想化要素を説明する。上述したように、仮想ネットワークは、基礎物理ネットワークまたは基板ネットワーク上に構築される。図２は、特定の実施形態に従って、仮想ネットワークの基盤を提供するＣＳＰＩ２００内の物理ネットワーク内の物理要素を示す簡略化アーキテクチャ図である。図示のように、ＣＳＰＩ２００は、クラウドサービスプロバイダ（ＣＳＰ）によって提供された要素およびリソース（例えば、計算リソース、メモリリソース、およびネットワーキングリソース）を含む分散環境を提供する。これらの要素およびリソースは、加入している顧客、すなわち、ＣＳＰによって提供された１つ以上のサービスに加入している顧客にクラウドサービス（例えば、ＩａａＳサービス）を提供するために使用される。顧客が加入しているサービスに基づいて、ＣＳＰＩ２００は、一部のリソース（例えば、計算リソース、メモリリソース、およびネットワーキングリソース）を顧客に提供する。その後、顧客は、ＣＳＰＩ２００によって提供された物理的な計算リソース、メモリリソース、およびネットワーキングリソースを使用して、独自のクラウドベースの（すなわち、ＣＳＰＩホスト型）カスタマイズ可能なプライベート仮想ネットワークを構築することができる。前述したように、これらの顧客ネットワークは、仮想クラウドネットワーク（ＶＣＮ）と呼ばれる。顧客は、これらの顧客ＶＣＮに、計算インスタンスなどの１つ以上の顧客リソースを展開することができる。計算インスタンスは、仮想マシン、ベアメタルインスタンスなどであってもよい。ＣＳＰＩ２００は、顧客が高可用性のホスト環境において広範なアプリケーションおよびサービスを構築および実行することを可能にする、インフラストラクチャおよび一連の補完的なクラウドサービスを提供する。
【0080】
図２に示す例示的な実施形態において、ＣＳＰＩ２００の物理要素は、１つ以上の物理ホストマシンまたは物理サーバ（例えば、２０２、２０６、２０８）、ネットワーク仮想化装置（ＮＶＤ）（例えば、２１０、２１２）、トップオブラック（ＴＯＲ）スイッチ（例えば、２１４、２１６）、物理ネットワーク（例えば、２１８）、および物理ネットワーク２１８内のスイッチを含む。物理ホストマシンまたはサーバは、ＶＣＮの１つ以上のサブネットに参加している様々な計算インスタンスをホストし、実行することができる。計算インスタンスは、仮想マシンインスタンスおよびベアメタルインスタンスを含んでもよい。例えば、図１に示された様々な計算インスタンスは、図２に示された物理的ホストマシンによってホストされてもよい。ＶＣＮ内の仮想マシン計算インスタンスは、１つのホストマシンによって実行されてもよく、または複数の異なるホストマシンによって実行されてもよい。また、物理ホストマシンは、仮想ホストマシン、コンテナベースのホストまたは機能などをホストすることができる。図１に示されたＶＩＣおよびＶＣＮ ＶＲは、図２に示されたＦＴＶＤによって実行されてもよい。図１に示されたゲートウェイは、図２に示されたホストマシンおよび／またはＮＶＤによって実行されてもよい。
【0081】
ホストマシンまたはサーバは、ホストマシン上で仮想化環境を作成するおよび可能にするハイパーバイザ（仮想マシンモニタまたはＶＭＭとも呼ばれる）を実行することができる。仮想化または仮想化環境は、クラウドベースコンピューティングを容易にする。１つ以上の計算インスタンスは、ホストマシン上のハイパーバイザによって、ホストマシン上で作成され、実行され、管理されてもよい。ホストマシン上のハイパーバイザは、ホストマシンの物理的な計算リソース（例えば、計算リソース、メモリリソース、およびネットワーキングリソース）をホストマシン上で実行される様々な計算インスタンス間で共有させることができる。
【0082】
例えば、図２に示すように、ホストマシン２０２および２０８は、ハイパーバイザ２６０および２６６をそれぞれ実行する。これらのハイパーバイザは、ソフトウェア、ファームウェア、ハードウェア、またはそれらの組み合わせを使用して実装されてもよい。典型的には、ハイパーバイザは、ホストマシンのオペレーティングシステム（ＯＳ）に常駐するプロセスまたはソフトウェア層であり、ＯＳは、ホストマシンのハードウェアプロセッサ上で実行される。ハイパーバイザは、ホストマシンの物理的な計算リソース（例えば、プロセッサ／コア、メモリリソース、ネットワーキングリソースなどの処理リソース）を、ホストマシンによって実行される様々な仮想マシン計算インスタンスの間で共有させる仮想化環境を提供する。例えば、図２において、ハイパーバイザ２６０は、ホストマシン２０２のＯＳに常駐し、ホストマシン２０２の計算リソース（例えば、処理リソース、メモリリソース、およびネットワーキングリソース）を、ホストマシン２０２によって実行されるコンピューティングインスタンス（例えば、仮想マシン）間で共有させることができる。仮想マシンは、独自のＯＳ（ゲストＯＳと呼ばれる）を持つことができる。このゲストＯＳは、ホストマシンのＯＳと同じであってもよく、異なってもよい。ホストマシンによって実行される仮想マシンのＯＳは、同じホストマシンによって実行される他の仮想マシンのＯＳと同じであってもよく、異なってもよい。したがって、ハイパーバイザは、ホストマシンの同じ計算リソースを共有させながら、複数のＯＳを並行して実行することができる。図２に示されたホストマシンは、同じ種類のハイパーバイザを有してもよく、異なる種類のハイパーバイザを有してもよい。
【0083】
計算インスタンスは、仮想マシンインスタンスまたはベアメタルインスタンスであってもよい。図２において、ホストマシン２０２上の計算インスタンス２６８およびホストマシン２０８上の計算インスタンス２７４は、仮想マシンインスタンスの一例である。ホストマシン２０６は、顧客に提供されるベアメタルインスタンスの一例である。
【0084】
特定の例において、ホストマシンの全体は、単一の顧客に提供されてもよく、そのホストマシンによってホストされている１つ以上の計算インスタンス（仮想マシンまたはベアメタルインスタンスのいずれか）は、全て同じ顧客に属してもよい。他の例において、ホストマシンは、複数の顧客（すなわち、複数のテナント）間で共有されてもよい。このようなマルチテナントシナリオにおいて、ホストマシンは、異なる顧客に属する仮想マシン計算インスタンスをホストすることができる。これらの計算インスタンスは、異なる顧客の異なるＶＣＮのメンバであってもよい。特定の実施形態において、ベアメタル計算インスタンスは、ハイパーバイザを設けていないベアメタルサーバによってホストされている。ベアメタル計算インスタンスが提供される場合、単一の顧客またはテナントは、ベアメタルインスタンスをホストするホストマシンの物理ＣＰＵ、メモリ、およびネットワークインターフェイスの制御を維持し、ホストマシンは、他の顧客またはテナントに共有されない。
【0085】
前述したように、ＶＣＮの一部である各計算インスタンスは、計算インスタンスがＶＣＮのサブネットのメンバになることを可能にするＶＮＩＣに関連付けられる。計算インスタンスに関連付けられたＶＮＩＣは、計算インスタンスとの間のパケットまたはフレームの通信を容易にする。ＶＮＩＣは、計算インスタンスが作成されるときに当該計算インスタンスに関連付けられる。特定の実施形態において、ホストマシンによって実行される計算インスタンスについて、その計算インスタンスに関連付けられたＶＮＩＣは、ホストマシンに接続されたＮＶＤによって実行される。例えば、図２において、ホストマシン２０２は、ＶＮＩＣ２７６に関連付けられた仮想マシン計算インスタンス２６８を実行し、ＶＮＩＣ２７６は、ホストマシン２０２に接続されたＮＶＤ２１０によって実行される。別の例として、ホストマシン２０６によってホストされているベアメタルインスタンス２７２は、ホストマシン２０６に接続されたＮＶＤ２１２によって実行されるＶＮＩＣ２８０に関連付けられる。さらに別の例として、ＶＮＩＣ２８４は、ホストマシン２０８によって実行される計算インスタンス２７４に関連付けられ、ＶＮＩＣ２８４は、ホストマシン２０８に接続されているＮＶＤ２１２によって実行される。
【0086】
ホストマシンによってホストされている計算インスタンスについて、そのホストマシンに接続されたＮＶＤは、計算インスタンスがメンバであるＶＣＮに対応するＶＣＮ ＶＲを実行する。例えば、図２に示された実施形態において、ＮＶＤ２１０は、計算インスタンス２６８がメンバであるＶＣＮに対応するＶＣＮ ＶＲ２７７を実行する。また、ＮＶＤ２１２は、ホストマシン２０６および２０８によってホストされている計算インスタンスに対応するＶＣＮに対応する１つ以上のＶＣＮ ＶＲ２８３を実行することができる。
【0087】
ホストマシンは、当該ホストマシンを他の装置に接続するための１つ以上のネットワークインターフェイスカード（ＮＩＣ）を含むことができる。ホストマシン上のＮＩＣは、ホストマシンを別の装置に通信可能に接続するための１つ以上のポート（またはインターフェイス）を提供することができる。例えば、ホストマシンおよびＮＶＤに設けられた１つ以上のポート（またはインターフェイス）を用いて、当該ホストマシンを当該ＮＶＤに接続することができる。また、ホストマシンを他のホストマシンなどの他の装置に接続することもできる。
【0088】
例えば、図２において、ホストマシン２０２は、ホストマシン２０２のＮＩＣ２３２によって提供されるポート２３４とＮＶＤ２１０のポート２３６との間に延在するリンク２２０を使用してＮＶＤ２１０に接続されている。ホストマシン２０６は、ホストマシン２０６のＮＩＣ２４４によって提供されるポート２４６とＮＶＤ２１２のポート２４８との間に延在するリンク２２４を使用してＮＶＤ２１２に接続されている。ホストマシン２０８は、ホストマシン２０８のＮＩＣ２５０によって提供されるポート２５２とＮＶＤ２１２のポート２５４との間に延在するリンク２２６を使用してＮＶＤ２１２に接続されている。
【0089】
同様に、ＮＶＤは、通信リンクを介して、（スイッチファブリックとも呼ばれる）物理ネットワーク２１８に接続されているトップオブラック（ＴＯＲ）スイッチに接続されている。特定の実施形態において、ホストマシンとＮＶＤとの間のリンクおよびＮＶＤとＴＯＲスイッチとの間のリンクは、イーサネット（登録商標）リンクである。例えば、図２において、ＮＶＤ２１０および２１２は、リンク２２８および２３０を介して、ＴＯＲスイッチ２１４および２１６にそれぞれ接続される。特定の実施形態において、リンク２２０、２２４、２２６、２２８、および２３０は、イーサネットリンクである。ＴＯＲに接続されているホストマシンおよびＮＶＤの集合は、ラックと呼ばれることがある。
【0090】
物理ネットワーク２１８は、ＴＯＲスイッチの相互通信を可能にする通信ファブリックを提供する。物理ネットワーク２１８は、多層ネットワークであってもよい。特定の実装形態において、物理ネットワーク２１８は、スイッチの多層Ｃｌｏｓネットワークであり、ＴＯＲスイッチ２１４および２１６は、多層およびマルチノード物理スイッチングネットワーク２１８のリーフレベルノードを表す。２層ネットワーク、３層ネットワーク、４層ネットワーク、５層ネットワーク、および一般的に「ｎ」層ネットワークを含むがこれらに限定されない異なるＣｌｏｓネットワーク構成は、可能である。ＣＩｏｓネットワークの一例は、図５に示され、以下に説明される。
【0091】
ホストマシンとＮ個のＶＤとの間には、１対１構成、多対１構成、および１対多構成などの様々な異なる接続構成が可能である。１対１構成の実装例において、各ホストマシンは、それ自体の別個のＮＶＤに接続されている。例えば、図２において、ホストマシン２０２は、ホストマシン２０２のＮＩＣ２３２を介してＮＶＤ２１０に接続されている。多対１の構成において、複数のホストマシンは、１つのＮＶＤに接続されている。例えば、図２において、ホストマシン２０６および２０８は、それぞれＮＩＣ２４４および２５０を介して同じＮＶＤ２１２に接続されている。
【0092】
１対多の構成において、１つのホストマシンは、複数のＮＶＤに接続されている。図３は、ホストマシンが複数のＮＶＤに接続されているＣＳＰＩ３００内の一例を示す。図３に示すように、ホストマシン３０２は、複数のポート３０６および３０Ｓを含むネットワークインターフェイスカード（ＮＩＣ）３０４を備える。ホストマシン３００は、ポート３０６およびリンク３２０を介して第１のＮＶＤ３１０に接続され、ポート３０８およびリンク３２２を介して第２のＮＶＤ３１２に接続されている。ポート３０６および３０８は、イーサネット（登録商標）ポートであってもよく、ホストマシン３０２とＮＶＤ３１０および３１２との間のリンク３２０および３２２は、イーサネット（登録商標）リンクであってもよい。ＮＶＤ３１０は、第１のＴＯＲスイッチ３１４に接続され、ＮＶＤ３１２は、第２のＴＯＲスイッチ３１６に接続されている。ＮＶＤ３１０および３１２とＴＯＲスイッチ３１４および３１６との間のリンクは、イーサネット（登録商標）リンクであってもよい。ＴＯＲスイッチ３１４および３１６は、多層物理ネットワーク３１８内の層（Tier）－０スイッチング装置を表す。
【0093】
図３に示す構成は、物理スイッチネットワーク３１８からホストマシン３０２への２つの別々の物理ネットワーク経路、すなわち、ＴＯＲスイッチ３１４からＮＶＤ３１０を経由してホストマシン３０２への第１の経路と、ＴＯＲスイッチ３１６からＮＶＤ３１２を経由してホストマシン３０２への第２の経路とを提供する。別々の経路は、ホストマシン３０２の強化された可用性（高可用性と呼ばれる）を提供する。経路の一方に問題がある（例えば、経路の一方のリンクが故障する）場合または装置に問題がある（例えば、特定のＮＶＤが機能していない）場合、ホストマシン３０２との間の通信に他方の経路を使用することができる。
【0094】
図３に示された構成において、ホストマシンは、ホストマシンのＮＩＣによって提供された２つの異なるポートを用いて２つの異なるＮＶＤに接続されている。他の実施形態において、ホストマシンは、ホストマシンと複数のＮＶＤとの接続を可能にする複数のＮＩＣを含んでもよい。
【0095】
再び図２を参照して、ＮＶＤは、１つ以上のネットワーク仮想化機能および／または記憶仮想化機能を実行する物理装置または要素である。ＮＶＤは、１つ以上の処理ユニット（例えば、ＣＰＵ、ネットワーク処理ユニット（ＮＰＵ）、ＦＰＧＡ、パケット処理パイプライン）、キャッシュを含むメモリ、およびポートを有する任意の装置であってもよい。様々な仮想化機能は、ＮＶＤの１つ以上の処理ユニットによって実行されるソフトウェア／ファームウェアによって実行されてもよい。
【0096】
ＮＶＤは、様々な異なる形で実装されてもよい。例えば、特定の実施形態において、ＮＶＤは、内蔵プロセッサを搭載したスマートＮＩＣまたはインテリジェントＮＩＣと呼ばれるインターフェイスカードとして実装される。スマートＮＩＣは、ホストマシン上のＮＩＣとは別個の装置である。図２において、ＮＶＤ２１０は、ホストマシン２０２に接続されているスマートＮＩＣとして実装されてもよく、ＮＶＤ２１２は、ホストマシン２０６および２０８に接続されているスマートＮＩＣとして実装されてもよい。
【0097】
しかしながら、スマートＮＩＣは、ＮＶＤ実装の一例にすぎない。様々な他の実装が可能である。例えば、いくつかの他の実装例において、ＮＶＤまたはＮＶＤによって実行される１つ以上の機能は、ＣＳＰＩ２００の１つ以上のホストマシン、１つ以上のＴＯＲスイッチ、および他の要素に組み込まれてもよく、またはそれらによって実行されてもよい。例えば、ＮＶＤは、ホストマシンに統合されてもよい。この場合、ＮＶＤによって実行される機能は、ホストマシンによって実行される。別の例として、ＮＶＤは、ＴＯＲスイッチの一部であってもよく、またはＴＯＲスイッチは、ＴＯＲスイッチがパブリッククラウドに使用される様々な複雑なパケット変換を実行することを可能にするＮＶＤによって実行される機能を実行するように構成されてもよい。ＮＶＤの機能を実行するＴＯＲは、スマートＴＯＲと呼ばれることがある。ベアメタル（ＢＭ）インスタンスではなく仮想マシン（ＶＭ）インスタンスを顧客に提供するさらに他の実装形態において、ＮＶＤによって提供される機能は、ホストマシンのハイパーバイザの内部に実装されてもよい。いくつかの他の実装形態において、ＮＶＤの機能の一部は、一組のホストマシン上で動作する集中型サービスにオフロードされてもよい。
【0098】
図２に示すように、スマートＮＩＣとして実装される場合などの特定の実施形態において、ＮＶＤは、当該ＮＶＤを１つ以上のホストマシンおよび１つ以上のＴＯＲスイッチに接続することを可能にする複数の物理ポートを備えてもよい。ＮＶＤ上のポートは、ホスト向きポート（「サウスポート」（south port）とも呼ばれる）またはネットワーク向きもしくはＴＯＲ向きポート（「ノースポート」（north port）とも呼ばれる）に分類することができる。ＮＶＤのホスト向きポートは、ＮＶＤをホストマシンに接続するために使用されるポートである。図２においてホスト向きポートの例は、ＮＶＤ２１０のポート２３６、およびＮＶＤ２１２のポート２４８および２５４を含む。ＮＶＤのネットワーク向きポートは、ＮＶＤをＴＯＲスイッチに接続するために使用されるポートである。図２のネットワーク向きポートの例は、ＮＶＤ２１０のポート２５６、およびＮＶＤ２１２のポート２５８を含む。図２に示すように、ＮＶＤ２１０は、ＮＶＤ２１０のポート２５６からＴＯＲスイッチ２１４まで延びるリンク２２８を介してＴＯＲスイッチ２１４に接続されている。同様に、ＮＶＤ２１２は、ＮＶＤ２１２のポート２５８からＴＯＲスイッチ２１６まで延びるリンク２３０を介してＴＯＲスイッチ２１６に接続されている。
【0099】
ＮＶＤは、ホスト向きポートを介して、ホストマシンからパケットおよびフレーム（例えば、ホストマシンによってホストされている計算インスタンスによって生成されたパケットおよびフレーム）を受信し、必要なパケット処理を実行した後、ＮＶＤのネットワーク向きポートを介してパケットおよびフレームをＴＯＲスイッチに転送することができる。ＮＶＤは、ＮＶＤのネットワーク向きポートを介してＴＯＲスイッチからパケットおよびフレームを受信し、必要なパケット処理を実行した後、ＮＶＤのホスト向きポートを介してパケットおよびフレームをホストマシンに転送することができる。
【0100】
特定の実施形態において、ＮＶＤとＴＯＲスイッチとの間に複数のポートおよび関連するリンクを設けてもよい。これらのポートおよびリンクを集約することによって、複数のポートまたはリンクのリンクアグリゲータグループ（ＬＡＧと称される）を形成することができる。リンクの集約は、２つのエンドポイント間（例えば、ＮＶＤとＴＯＲスイッチとの間）の複数の物理リンクを単一の論理リンクとして扱うことを可能にする。所定のＬＡＧ内の全ての物理リンクは、全二重モードで同じ速度で動作することができる。ＬＡＧは、２つのエンドポイント間の接続の帯域幅および信頼性を高めるのに役立つ。ＬＡＧ内の物理リンクのうちの１つが故障した場合、トラフィックは、ＬＡＧ内の別の物理リンクに動的かつ透過的に再割り当てられる。集約された物理リンクは、個々のリンクよりも高い帯域幅を提供する。ＬＡＧに関連付けられた複数のポートは、単一の論理ポートとして扱われる。トラフィックをＬＡＧの複数の物理リンクに負荷分散することができる。２つのエンドポイント間に１つ以上のＬＡＧを構成することができる。２つのエンドポイントは、例えば、ＮＶＤとＴＯＲスイッチとの間にあってもよく、ホストマシンとＮＶＤとの間にであってもよい。
【0101】
ＮＶＤは、ネットワーク仮想化機能を実装または実行する。これらの機能は、ＮＶＤによって実行されるソフトウェア／ファームウェアによって実行される。ネットワーク仮想化機能の例は、限定されないが、パケットのカプセル化およびデカプセル化機能、ＶＣＮネットワークを作成するための機能、ＶＣＮセキュリティリスト（ファイアウォール）機能などのネットワークポリシーを実装するための機能、ＶＣＮ内の計算インスタンスとの間のパケットのルーティングおよび転送を容易にするための機能などを含む。特定の実施形態において、パケットを受信すると、ＮＶＤは、パケットを処理し、パケットをどのように転送またはルーティングするかを判断するパケット処理パイプラインを実行するように構成されている。このパケット処理パイプラインの一部として、ＮＶＤは、オーバーレイネットワークに関連する１つ以上の仮想機能の実行、例えば、ＶＣＮ内の計算インスタンスに関連するＶＮＩＣの実行、ＶＣＮに関連する仮想ルータ（ＶＲ）の実行、仮想ネットワーク内の転送またはルーティングを容易にするためのパケットのカプセル化およびデカプセル化、特定のゲートウェイ（例えば、ローカルピアリングゲートウェイ）の実行、セキュリティリストの実装、ネットワークセキュリティグループ、ネットワークアドレス変換（ＮＡＴ）機能（例えば、ホスト毎にパブリックＩＰからプライベートＩＰへの変換）、スロットリング機能、および他の機能を提供する。
【0102】
いくつかの実施形態において、ＮＶＤ内のパケット処理データ経路は、複数のパケットパイプラインを含んでもよい。各々のパケットパイプラインは、一連のパケット変換ステージから構成される。いくつかの実装形態において、パケットを受信すると、当該パケットは、解析され、単一のパイプラインに分類される。次いで、パケットは、破棄されるまたはＮＶＤのインターフェイスを介して送出されるまで、線形方式でステージ毎に処理される。これらのステージは、基本機能のパケット処理ビルディングブロック（例えば、ヘッダの検証、スロットルの実行、新しいレイヤ２ヘッダの挿入、Ｌ４ファイアウォールの実行、ＶＣＮカプセル化／デカプセル化）を提供し、その結果、既存のステージを組み立てることによって新しいパイプラインを構築することができ、新しいステージを作成して既存のパイプラインに挿入することによって新しい機能を追加することができる。
【0103】
ＮＶＤは、ＶＣＮの制御プレーンおよびデータプレーンに対応する制御プレーン機能およびデータプレーン機能の両方を実行することができる。ＶＣＮ制御プレーンの例は、図１２、１３、１４、および１５（参照番号１２１６、１３１６、１４１６、および１５１６を参照）に示され、以下に説明される。ＶＣＮデータプレーンの例は、図１２、１３、１４、および１５（参照番号１２１８、１３１８、１４１８、および１５１８を参照）に示され、以下に説明される。制御プレーン機能は、データをどのように転送するかを制御するためのネットワークの構成（例えば、ルートおよびルートテーブルの設定、ＶＮＩＣの構成）に使用される機能を含む。特定の実施形態において、全てのオーバーレイと基板とのマッピングを集中的に計算し、ＮＶＤおよび仮想ネットワークエッジ装置（例えば、ＤＲＧ、ＳＧＷ、ＩＧＷなどの様々なゲートウェイ）に公開するＶＣＮ制御プレーンが提供される。また、同じメカニズムを使用してファイアウォールルールを公開することができる。特定の実施形態において、ＮＶＤは、当該ＮＶＤに関連するマッピングのみを取得する。データプレーン機能は、制御プレーンを使用して設定された構成に基づいて、パケットの実際のルーティング／転送を行う機能を含む。ＶＣＮデータプレーンは、顧客のネットワークパケットが基幹ネットワークを通過する前に、当該ネットワークパケットをカプセル化することによって実装される。カプセル化／デカプセル化機能は、ＮＶＤに実装される。特定の実施形態において、ＮＶＤは、ホストマシンに出入りする全てのネットワークパケットを傍受し、ネットワーク仮想化機能を実行するように構成されている。
【0104】
上述したように、ＮＶＤは、ＶＮＩＣおよびＶＣＮ ＶＲを含む様々な仮想化機能を実行する。ＮＶＤは、ＶＮＩＣに接続された１つ以上のホストマシンによってホストされている計算インスタンスに関連するＶＮＩＣを実行することができる。例えば、図２に示すように、ＮＶＤ２１０は、ＮＶＤ２１０に接続されたホストマシン２０２によってホストされている計算インスタンス２６８に関連するＶＮＩＣ２７６の機能を実行する。別の例として、ＮＶＤ２１２は、ホストマシン２０６によってホストされているベアメタル計算インスタンス２７２に関連するＶＮＩＣ２８０を実行し、ホストマシン２０８によってホストされている計算インスタンス２７４に関連するＶＮＩＣ２８４を実行する。ホストマシンは、異なる顧客に属する異なるＶＣＮに属する計算インスタンスをホストすることができる。ホストマシンに接続されたＮＶＤは、計算インスタンスに対応するＶＮＩＣを実行する（すなわち、ＶＮＩＣに関連する機能を実行する）ことができる。
【0105】
また、ＮＶＤは、計算インスタンスのＶＣＮに対応するＶＣＮ仮想ルータを実行する。例えば、図２に示された実施形態において、ＮＶＤ２１０は、計算インスタンス２６８が属するＶＣＮに対応するＶＣＮ ＶＲ２７７を実行する。ＮＶＤ２１２は、ホストマシン２０６および２０８にホストされている計算インスタンスが属する１つ以上のＶＣＮに対応する１つ以上のＶＣＮ ＶＲ２８３を実行する。特定の実施形態において、ＶＣＮに対応するＶＣＮ ＶＲは、そのＶＣＮに属する少なくとも１つの計算インスタンスをホストするホストマシンに接続された全てのＮＶＤによって実行される。ホストマシンが異なるＶＣＮに属する計算インスタンスをホストする場合、そのホストマシンに接続されたＮＶＤは、異なるＶＣＮに対応するＶＣＮ ＶＲを実行することができる。
【0106】
ＶＮＩＣおよびＶＣＮ ＶＲに加えて、ＮＶＤは、様々なソフトウェア（例えば、デーモン）を実行し、ＮＶＤによって実行される様々なネットワーク仮想化機能を容易にする１つ以上のハードウェア要素を含むことができる。簡略化のために、これらの様々な要素は、図２に示す「パケット処理要素」としてグループ化される。例えば、ＮＶＤ２１０は、パケット処理要素２８６を含み、ＮＶＤ２１２は、パケット処理要素２８８を含む。例えば、ＮＶＤのパケット処理要素は、ＮＶＤのポートおよびハードワーキングインターフェイスと相互作用することによって、ＮＶＤを使用して受信され、通信される全てのパケットを監視し、ネットワーク情報を記憶するように構成されたパケットプロセッサを含んでもよい。ネットワーク情報は、例えば、ＮＶＤによって処理される異なるネットワークフローを特定するためのネットワークフロー情報および各フローの情報（例えば、各フローの統計情報）を含んでもよい。特定の実施形態において、ネットワークフロー情報は、ＶＮＩＣ単位で記憶されてもよい。別の例として、パケット処理要素は、ＮＶＤによって記憶されている情報を１つ以上の異なる複製ターゲットストアに複製するように構成された複製エージェント（replication agent）を含むことができる。さらに別の例として、パケット処理要素は、ＮＶＤのロギング機能を実行するように構成されたロギングエージェント（logging agent）を含んでもよい。また、パケット処理要素は、ＮＶＤの性能および健全性を監視し、場合によっては、ＮＶＤに接続されている他の要素の状態および健全性を監視するためのソフトウェアを含んでもよい。
【0107】
図１は、ＶＣＮと、ＶＣＮ内のサブネットと、サブネット上に展開された計算インスタンスと、計算インスタンスに関連付けられたＶＮＩＣと、ＶＣＮのＶＲと、ＶＣＮのために構成された一組のゲートウェイとを含む例示的な仮想またはオーバーレイネットワークの要素を示す。図１に示されたオーバーレイ要素は、図２に示された物理的要素のうちの１つ以上によって実行またはホストされてもよい。例えば、ＶＣＮ内の計算インスタンスは、図２に示された１つ以上のホストマシンによって実行またはホストされてもよい。ホストマシンによってホストされている計算インスタンスの場合、その計算インスタンスに関連するＶＮＩＣは、典型的には、そのホストマシンに接続されたＮＶＤによって実行される（すなわち、ＶＮＩＣ機能は、そのホストマシンに接続されたＮＶＤによって提供される）。ＶＣＮのＶＣＮ ＶＲ機能は、そのＶＣＮの一部である計算インスタンスをホストまたは実行するホストマシンに接続されている全てのＮＶＤによって実行される。ＶＣＮに関連するゲートウェイは、１つ以上の異なる種類のＮＶＤによって実行されてもよい。例えば、いくつかのゲートウェイは、スマートＮＩＣによって実行されてもよく、他のゲートウェイは、１つ以上のホストマシンまたはＮＶＤの他の実装形態によって実行されてもよい。
【0108】
上述したように、顧客ＶＣＮ内の計算インスタンスは、様々な異なるエンドポイントと通信することができる。これらのエンドポイントは、ソース計算インスタンスと同じサブネットにあってもよく、異なるサブネット内であるがソース計算インスタンスと同じＶＣＮにあってもよく、またはソース計算インスタンスのＶＣＮ外部のエンドポイントを含んでもよい。これらの通信は、計算インスタンスに関連付けられたＶＮＩＣ、ＶＣＮ ＶＲ、およびＶＣＮに関連付けられたゲートウェイを用いて促進される。
【0109】
ＶＣＮ内の同じサブネット上の２つの計算インスタンス間の通信は、ソース計算インスタンスおよび宛先計算インスタンスに関連付けられたＶＮＩＣを用いて促進される。ソース計算インスタンスおよび宛先計算インスタンスは、同じホストマシンによってホストされてもよく、異なるホストマシンによってホストされてもよい。ソース計算インスタンスから発信されたパケットは、ソース計算インスタンスをホストするホストマシンから、そのホストマシンに接続されたＮＶＤに転送されてもよい。ＮＶＤにおいて、パケットは、パケット処理パイプラインを用いて処理され、このパイプラインは、ソース計算インスタンスに関連するＶＮＩＣの実行を含むことができる。パケットの宛先エンドポイントが同じサブネットにあるため、ソース計算インスタンスに関連付けられたＶＮＩＣの実行により、パケットは、宛先計算インスタンスに関連付けられたＶＮＩＣを実行するＮＶＤに転送され、ＮＶＤは、パケットを処理し、宛先計算インスタンスに転送する。ソース計算インスタンスおよび宛先計算インスタンスに関連するＶＮＩＣは、（例えば、ソース計算インスタンスと宛先計算インスタンスの両方が同じホストマシンによってホストされている場合）同じＮＶＤ上で実行されてもよく、または（例えば、ソース計算インスタンスおよび宛先計算インスタンスが異なるＮＶＤに接続された異なるホストマシンによってホストされている場合）異なるＮＶＤ上で実行されてもよい。ＶＮＩＣは、ＮＶＤによって記憶されているルーティング／転送テーブルを使用して、パケットのネクストホップを決定することができる。
【0110】
サブネット内の計算インスタンスから同じＶＣＮ内の異なるサブネット内のエンドポイントにパケットを通信する場合、ソース計算インスタンスから発信されたパケットは、ソース計算インスタンスをホストするホストマシンから、そのホストマシンに接続されたＮＶＤに通信される。ＮＶＤにおいて、パケットは、１つ以上のＶＮＩＣの実行を含むことができるパケット処理パイプラインおよびＶＣＮに関連するＶＲを用いて処理される。例えば、ＮＶＤは、パケット処理パイプラインの一部として、ソース計算インスタンスに関連するＶＮＩＣに対応する機能を実行または呼び出す（ＶＮＩＣを実行するとも呼ばれる）。ＶＮＩＣによって実行される機能は、パケット上のＶＬＡＮタグを検索することを含んでもよい。パケットの宛先がサブネットの外部にあるため、ＶＣＮ ＶＲ機能は、呼び出され、ＮＶＤによって実行される。その後、ＶＣＮ ＶＲは、パケットを、宛先計算インスタンスに関連付けられたＶＮＩＣを実行するＮＶＤにルーティングする。そして、宛先計算インスタンスに関連付けられたＶＮＩＣは、パケットを処理し、パケットを宛先計算インスタンスに転送する。ソース計算インスタンスおよび宛先計算インスタンスに関連するＶＮＩＣは、（例えば、ソース計算インスタンスと宛先計算インスタンスの両方が同じホストマシンによってホストされている場合）同じＮＶＤ上で実行されてもよく、（例えば、ソース計算インスタンスおよび宛先計算インスタンスが異なるＮＶＤに接続された異なるホストマシンによってホストされている場合）異なるＮＶＤ上で実行されてもよい。
【0111】
パケットの宛先がソース計算インスタンスのＶＣＮの外部にある場合、ソース計算インスタンスから発信されたパケットは、ソース計算インスタンスをホストするホストマシンから、そのホストマシンに接続されたＮＶＤに通信される。ＮＶＤは、ソース計算インスタンスに関連するＶＮＩＣを実行する。パケットの宛先エンドポイントがＶＣＮの外部にあるため、パケットは、そのＶＣＮのＶＣＮ ＶＲによって処理される。ＮＶＤは、ＶＣＮ ＶＲ機能を呼び出し、その結果、パケットは、ＶＣＮに関連付けられた適切なゲートウェイを実行するＮＶＤに転送される場合がある。例えば、宛先が顧客オンプレミスネットワーク内のエンドポイントである場合、パケットは、ＶＣＮ ＶＲによって、ＶＣＮのために構成されたＤＲＧゲートウェイを実行するＮＶＤに転送されてもよい。ＶＣＮ ＶＲは、ソース計算インスタンスに関連するＶＮＩＣを実行するＮＶＤと同じＮＶＤ上で実行されてもよく、異なるＮＶＤによって実行されてもよい。ゲートウェイは、スマートＮＩＣ、ホストマシン、または他のＮＶＤ実装であるＮＶＤによって実行されてもよい。次いで、パケットは、ゲートウェイによって処理され、意図した宛先エンドポイントへのパケットの通信を容易にするためのネクストホップに転送される。例えば、図２に示された実施形態において、計算インスタンス２６８から発信されたパケットは、（ＮＩＣ２３２を用いて）リンク２２０を介してホストマシン２０２からＮＶＤ２１０に通信されてもよい。ＮＶＤ２１０上のＶＮＩＣ２７６は、ソース計算インスタンス２６８に関連するＶＮＩＣであるため、呼び出される。ＶＮＩＣ２７６は、パケット内のカプセル化情報を検査し、意図した宛先エンドポイントへのパケットの通信を容易にする目的でパケットを転送するためのネクストホップを決定し、決定したネクストホップにパケットを転送するように構成されている。
【0112】
ＶＣＮ上に展開された計算インスタンスは、様々な異なるエンドポイントと通信することができる。これらのエンドポイントは、ＣＳＰＩ２００によってホストされているエンドポイントと、ＣＳＰＩ２００外部のエンドポイントとを含んでもよい。ＣＳＰＩ２００によってホストされているエンドポイントは、（顧客ＶＣＮ、または顧客に属さないＶＣＮであり得る）同じＶＣＮまたは他のＶＣＮ内のインスタンスを含んでもよい。ＣＳＰＩ２００によってホストされているエンドポイント間の通信は、物理ネットワーク２１８を介して実行されてもよい。また、計算インスタンスは、ＣＳＰＩ２００によってホストされていないまたはＣＳＰＩ２００の外部にあるエンドポイントと通信することもできる。これらのエンドポイントの例は、顧客オンプレミスネットワークまたはデータセンタ内のエンドポイント、またはインターネットなどのパブリックネットワークを介してアクセス可能なパブリックエンドポイントを含む。ＣＳＰＩ２００外部のエンドポイントとの通信は、様々な通信プロトコルを用いて、パブリックネットワーク（例えば、インターネット）（図２に図示せず）またはプライベートネットワーク（図２に図示せず）を介して実行されてもよい。
【0113】
図２に示されたＣＳＰＩ２００のアーキテクチャは、単なる一例であり、限定することを意図していない。代替的な実施形態において、変形、代替、および修正が可能である。例えば、いくつかの実装形態において、ＣＳＰＩ２００は、図２に示されたものよりも多いまたは少ないシステムまたは要素を有してもよく、２つ以上のシステムを組み合わせてもよく、または異なるシステム構成または配置を有してもよい。図２に示されたシステム、サブシステム、および他の要素は、それぞれのシステムの１つ以上の処理ユニット（例えば、プロセッサ、コア）によって実行されるソフトウェア（例えば、コード、命令、プログラム）、ハードウェア、またはそれらの組み合わせで実装されてもよい。ソフトウェアは、非一時的な記憶媒体（例えば、メモリ装置）に記憶されてもよい。
【0114】
図４は、特定の実施形態に従って、マルチテナント機能をサポートするためのＩ／Ｏ仮想化を提供するためのホストマシンとＮＶＤとの間の接続を示す図である。図４に示すように、ホストマシン４０２は、仮想化環境を提供するハイパーバイザ４０４を実行する。ホストマシン４０２は、２つの仮想マシンインスタンス、すなわち、顧客／テナント＃１に属するＶＭ１ ４０６と、顧客／テナント＃２に属するＶＭ２ ４０８とを実行する。ホストマシン４０２は、リンク４１４を介してＮＶＤ４１２に接続されている物理ＮＩＣ４１０を含む。計算インスタンスの各々は、ＮＶＤ４１２によって実行されるＶＮＩＣに接続されている。図４の実施形態において、ＶＭ１ ４０６は、ＶＮＩＣ－ＶＭ１ ４２０に接続され、ＶＭ２ ４０８は、ＶＮＩＣ－ＶＭ２ ４２２に接続されている。
【0115】
図４に示すように、ＮＩＣ４１０は、２つの論理ＮＩＣ、すなわち、論理ＮＩＣ Ａ ４１６および論理ＮＩＣ Ｂ ４１８を含む。各仮想マシンは、それ自身の論理ＮＩＣに接続され、それ自身の論理ＮＩＣと共に動作するように構成される。例えば、ＶＭ１ ４０６は、論理ＮＩＣ Ａ ４１６に接続され、ＶＭ２ ４０８は、論理ＮＩＣ Ｂ ４１８に接続されている。ホストマシン４０２が複数のテナントによって共有されている１つの物理ＮＩＣ４１０のみからなるにもかかわらず、論理ＮＩＣにより、各テナントの仮想マシンは、自分自身のホストマシンおよびＮＩＣを所有していると信じている。
【0116】
特定の実施形態において、各論理ＮＩＣには、それ自身のＶＬＡＮ ＩＤが割り当てられる。したがって、テナント＃１の論理ＮＩＣ Ａ ４１６には特定のＶＬＡＮ ＩＤが割り当てられ、テナント＃２の論理ＮＩＣ Ｂ ４１８には別のＶＬＡＮ ＩＤが割り当てられる。ＶＭ１ ４０６からパケットが通信されると、ハイパーバイザは、テナント＃１に割り当てられたタグをパケットに取り付けた後、リンク４１４を介してパケットをホストマシン４０２からＮＶＤ４１２に通信する。同様に、ＶＭ２ ４０８からパケットが通信されると、ハイパーバイザは、テナント＃２に割り当てられたタグをパケットに取り付けた後、リンク４１４を介してパケットをホストマシン４０２からＮＶＤ４１２に通信する。したがって、ホストマシン４０２からＮＶＤ４１２に通信されたパケット４２４は、特定のテナントおよび関連するＶＭを特定する関連タグ４２６を有する。ＮＶＤ上でホストマシン４０２からパケット４２４を受信した場合、当該パケットに関連するタグ４２６を用いて、当該パケットがＶＮＩＣ－ＶＭ１ ４２０によって処理されるべきか、ＶＮＩＣ－ＶＭ２ ４２２によって処理されるべきかを判断する。そして、パケットは、対応するＶＮＩＣによって処理される。図４に示された構成は、各テナントの計算インスタンスが、自分自身のホストマシンおよびＮＩＣを所有していると信じることを可能にする。図４に示された構成は、マルチテナント機能をサポートするためのＩ／Ｏ仮想化を提供する。
【0117】
図５は、特定の実施形態に従って、物理ネットワーク５００を示す概略ブロック図である。図５に示された実施形態は、Ｃｌｏｓネットワークとして構築される。Ｃｌｏｓネットワークは、高い二分割帯域幅および最大リソース利用率を維持しながら、接続冗長性を提供するように設計された特定の種類のネットワークトポロジである。Ｃｌｏｓネットワークは、一種の非ブロッキング、多段または多層スイッチングネットワークであり、段または層の数は、２、３、４、５などであってもよい。図５に示された実施形態は、層１、２および３を含む３層ネットワークである。ＴＯＲスイッチ５０４は、Ｃｌｏｓネットワークの層－０スイッチを表す。１つ以上のＮＶＤは、ＴＯＲスイッチに接続されている。層－０スイッチは、物理ネットワークのエッジ装置とも呼ばれる。層－０スイッチは、リーフスイッチとも呼ばれる層－１スイッチに接続されている。図５に示された実施形態において、「ｎ」個の層－０ ＴＯＲスイッチは、「ｎ」個の層－１スイッチに接続され、ポッドを形成する。ポッド内の各層－０スイッチは、ポッド内の全ての層－１スイッチに相互接続されるが、ポッド間のスイッチは、接続されない。特定の実装例において、２つのポッドは、ブロックと呼ばれる。各ブロックは、「ｎ」個の層－２スイッチ（スパインスイッチとも呼ばれる）によってサービスを提供されるまたはそれに接続されている。物理ネットワークトポロジは、複数のブロックを含んでもよい。同様に、層－２スイッチは、「ｎ」個の層－３スイッチ（スーパースパインスイッチとも呼ばれる）に接続されている。物理ネットワーク５００を介したパケットの通信は、典型的には、１つ以上のレイヤ３通信プロトコルを使用して実行される。典型的には、ＴＯＲ層を除く物理ネットワークの全ての層は、ｎウェイ冗長であり、したがって高い可用性を実現することができる。ポッドおよびブロックにポリシーを指定して、物理ネットワークのスイッチの相互可視性を制御することによって、物理ネットワークを拡張することができる。
【0118】
Ｃｌｏｓネットワークの特徴は、ある層－０スイッチから別の層－０スイッチに到達する（または、層－０スイッチに接続されたＮＶＤから層－０スイッチに接続された別のＮＶＤに到達する）最大ホップカウントが一定であることである。例えば、３層のＣｌｏｓネットワークにおいて、パケットが１つのＮＶＤから別のＮＶＤに到達するために最大７つのホップが必要とされる。この場合、ソースＮＶＤおよびターゲットＮＶＤは、Ｃｌｏｓネットワークのリーフ層に接続されている。同様に、４層のＣｌｏｓネットワークにおいて、パケットが１つのＮＶＤから別のＮＶＤに到達するために最大９つのホップが必要とされる。この場合、ソースＮＶＤおよびターゲットＮＶＤは、Ｃｌｏｓネットワークのリーフ層に接続されている。したがって、Ｃｌｏｓネットワークアーキテクチャは、データセンタ内およびデータセンタ間の通信に重要なネットワーク全体の遅延を一定に保つ。Ｃｌｏｓトポロジは、水平方向に拡張可能であり、コスト効率に優れている。各階層により多くのスイッチ（例えば、より多くのリーフスイッチおよびスパインスイッチ）を増設すること、および隣接する階層のスイッチ間にリンク数を増やすことによって、ネットワークの帯域幅／スループット容量を容易に増加させることができる。
【0119】
特定の実施形態において、ＣＳＰＩ内の各リソースには、クラウド識別子（ＣＩＤ）と呼ばれる固有の識別子が割り当てられる。この識別子は、リソースの情報の一部として含まれる。この識別子を用いて、例えば、コンソールまたはＡＰＩを介してリソースを管理することができる。ＣＩＤの例示的なシンタックスは、以下の通りである。
【0120】
ocid1.<RESOURCE TYPE>.<REALM>.[REGION].[FUTURE USE].<UNIQUE ID>である。
式中、
「ocid1」は、ＣＩＤのバージョンを示す文字列である。
式中、
「ocid1」は、ＣＩＤのバージョンを示す文字列である。
【0121】
「RESOURCE TYPE」は、リソースの種類（例えば、インスタンス、ボリューム、ＶＣＮ、サブネット、ユーザ、グループ）を表す。
【0122】
「REALM」は、リソースが存在する領域を表す。例示的な値として、「ｃ１」は、商業領域を表し、「ｃ２」は、政府クラウド領域を表し、または「ｃ３」は、連邦政府クラウド領域を表す。各領域は、独自のドメイン名を持つことができる。
【0123】
「REGION」は、リソースが属する地域を表す。地域がリソースに適用されない場合、この部分は空白であってもよい。
【0124】
「FUTURE USE」は、将来使用のために保留されていることを示す。
「UNIQUE ID」は、固有ＩＤの部分である。このフォーマットは、リソースまたはサービスの種類によって異なる場合がある。
「UNIQUE ID」は、固有ＩＤの部分である。このフォーマットは、リソースまたはサービスの種類によって異なる場合がある。
【0125】
図６は、特定の実施形態に従って、通信チャネル関連の状態情報を複製するための例示的な実施形態を組み込む分散環境６００を示す概略ブロック図である。
【0126】
分散環境６００は、通信チャネル６１６を介して互いに通信可能に接続されている複数のシステムを含んでもよい。例えば、図６の実施形態は、顧客オンプレミスネットワーク６０２とクラウドサービスプロバイダインフラストラクチャ（ＣＳＰＩ）６６０とを含む様々なシステムおよびネットワークを示している。これらのシステムは、通信チャネル６１６を介して互いに通信可能に接続されてもよい。図６に示された分散環境６００は、単なる例であり、特許請求される実施形態の範囲を過度に限定することを意図していない。多くの変形例、代替例および修正例が可能である。例えば、いくつかの実装形態において、分散環境６００は、図６に示すものよりも多いまたは少ないシステムまたは構成要素を有してもよく、２つ以上のシステムの組み合わせを有してもよく、または異なる構成もしくは配置のシステムを有してもよい。図６に示すシステム、サブシステムおよび他の構成要素は、それぞれのシステムの１つ以上の処理ユニット（例えば、プロセッサ、コア）によって実行されるソフトウェア（例えば、コード、命令、プログラム）、ハードウェア、またはそれらの組み合わせを用いて実装されてもよい。ソフトウェアは、非一時的な記憶媒体（例えば、メモリ装置）上に記憶されてもよい。
【0127】
例示的な実施形態において、図６に示すように、顧客オンプレミスネットワーク６０２は、顧客プレミス機器（ＣＰＥ）６０８および構成情報６０７を含んでもよい。顧客オンプレミスネットワーク６０２は、１つ以上の顧客リソースからなるネットワーク、例えば１つ以上の顧客データセンタである。顧客オンプレミスネットワーク６０２へのアクセスは、一般に厳しく制限されている。
【0128】
通信チャネル６１６の１つのエンドポイントを形成する顧客オンプレミスネットワーク６０２内の装置または機器は、顧客構内機器（ＣＰＥ）、例えば図６に示されているＣＰＥ６０８と呼ばれている。ＣＰＥ６０８は、構成情報６０７を用いて通信チャネル６１６を設立し、通信チャネル６１６を用いて、顧客オンプレミスネットワーク６０２とＣＳＰＩ６６０内のホストマシンまたはエンドポイント６２０との間の通信を可能にするように、適切に構成されなければならない。また、ＣＰＥ６０８に適用される特定の構成情報は、使用されている特定のＣＰＥ６０８装置、確立されている通信チャネル６１６の特性（例えば、チャネルの種類、通信に使用されるプロトコルなど）、ＣＳＰＩ６６０機器、通信チャネルの他方のエンドポイントを形成するプライマリホストマシン６２０、および他の基準などの様々な他の要因に依存する。ＣＰＥは、異なるベンダからのものであってもよく、異なるＣＰＥプラットフォームを有してもよく、異なるバージョンを有してもよい。
【0129】
例示的な実施形態において、図６に示すように、クラウドサービスプロバイダインフラストラクチャ（ＣＳＰＩ）６６０は、仮想クラウドネットワーク（ＶＣＮ）６４０と、プライマリホストマシン６２０と、バックアップホストマシン６３０とを備えてもよい。クラウドサービスプロバイダインフラストラクチャ（ＣＳＰＩ）６６０は、クラウドサービスプロバイダ（ＣＳＰ）によって提供され、１つ以上のクラウドサービスを提供するために使用されてもよい。顧客は、ＣＳＰがＣＳＰＩ６６０を用いて提供されているクラウドサービスのうちの１つ以上に加入することができる。顧客は、ＣＳＰによって提供されているクラウドサービスに加入する任意のエンティティである。顧客は、異なる種類のサービス、例えばＳａａＳ、ＰａａＳ、ＩａａＳ、および他の種類のクラウドサービスを含む１つ以上のクラウドサービスに加入することができる。顧客がＣＳＰによって提供されているサービスに加入または登録すると、その顧客のテナンシまたはアカウントが作成される。顧客は、このアカウントにアクセスし、それを用いてアカウントに関連するクラウドリソースを利用することができる。
【0130】
特定の実施形態において、ＣＳＰは、ＩａａＳモデルに基づいてサービスを提供することができる。この場合、ＣＳＰは、ＣＳＰＩ６６０などのインフラストラクチャを提供し、顧客は、これを用いて、独自のネットワークを構築し、顧客リソースを展開することができる。このような実施形態において、ＣＳＰＩ６６０は、様々なホストマシン（プライマリホストマシン６２０およびバックアップホストマシン６３０）を含む相互に接続された高性能コンピューティングリソースと、メモリリソースと、基板ネットワークまたはアンダーレイネットワークと呼ばれる物理ネットワークを形成するネットワークリソースとを含むことができる。ＣＳＰＩ６６０は、１つ以上のコンピューティングシステムを含むことができる。ＣＳＰＩ６６０内のリソースは、１つ以上の地域に地理的に分散され得る１つ以上のデータセンタに分散されてもよい。
【0131】
物理ネットワークは、物理ネットワークの上で１つ以上の仮想またはオーバーレイネットワークを作成するための基礎を提供する。（ソフトウェアベースネットワークまたはソフトウェア定義ネットワークとも呼ばれる）これらの仮想またはオーバーレイネットワークは、ソフトウェア仮想化技術を用いて実装され、物理ネットワークの上で実行することができるネットワーク抽象化層を作成する。オーバーレイネットワークは、様々な形を有することができる。オーバーレイネットワークは、典型的には、仮想ＩＰアドレスでエンドポイントを指定するレイヤ３ＩＰアドレス指定を使用する。このオーバーレイネットワーキング方法は、しばしば仮想レイヤ３ネットワーキングと呼ばれる。顧客がＣＳＰによって提供されるＩａａＳサービスに加入または登録すると、その顧客のために作成されたテナンシは、ＣＳＰＩ６６０において隔離された安全なパーティションとなり、顧客は、このテナンシにおいてクラウドリソースを作成、整理、および管理することができる。
【0132】
顧客は、ＣＳＰＩ６６０によって提供されたリソースを用いて、ネットワークを構築することができる。これらのネットワークには、計算インスタンスなどの１つ以上の顧客リソースを配置することができる。例えば、顧客は、ＣＳＰＩ６６０によって提供されたリソースを用いて、仮想クラウドネットワーク（ＶＣＮ）と呼ばれる１つ以上のカスタマイズ可能なプライベートネットワークを構築することができる。例えば、図６に示すように、顧客は、ＣＳＰＩ６６０によって提供されたリソースを用いて、顧客ＶＣＮ６４０を構成している。顧客は、顧客ＶＣＮ上で１つ以上の顧客リソース、例えば計算インスタンスを展開することができる。計算インスタンスは、仮想マシン、コンテナ、ベアメタルインスタンスなどであってもよい。したがって、ＣＳＰＩ６６０は、顧客が可用性の高いホスト環境において様々なアプリケーションおよびサービスを構築および実行することを可能にするインフラストラクチャおよび一連の相補的なクラウドサービスを提供する。顧客は、ＣＳＰＩ６６０によって提供された基礎的な物理リソースを管理または制御しないが、オペレーティングシステム、ストレージ、および展開されたアプリケーションを制御し、場合によっては一部のネットワーキング要素（例えば、ファイアウォール）を限定的に制御する。
【0133】
一般的に、顧客は、顧客オンプレミスネットワーク６０２と、ＣＳＰＩ６６０によってクラウドに展開またはホストされている１つ以上のＶＣＮとの両方を有する場合、オンプレミスネットワーク６０２およびクラウドベースのＶＣＮネットワーク、例えばＶＣＮ６４０が互いに通信できることを望んでいる。顧客オンプレミスネットワーク６０２とプロバイダＶＣＮ６４０との間の通信を可能にするために、通信チャネル６１６が設立される。この場合、通信チャネルの一方のエンドポイントは、顧客オンプレミスネットワーク６０２、例えばＣＰＥ１０８に配置され、通信チャネルの他方のエンドポイントは、ＶＣＮ６４０、例えばプライマリホストマシン６２０に配置される。通信チャネル６１６は、インターネットなどのパブリックネットワークを含み得る１つ以上の通信ネットワーク６１４を横断することができる。様々な異なる通信プロトコルを用いて、通信チャネル６１６、例えばＭＰＬＳ回路、仮想プライベートネットワーク（ＶＰＮ）（例えば、インターネットプロトコルセキュリティ（ＩＰＳｅｃ）ＶＰＮ）を使用するオンプレミスネットワーク６０２とＶＣＮ６４０との間の通信を促進することができる。
【0134】
２つのエンドポイント、すなわち、ＣＰＥ６０８およびプライマリホストマシン６２０は、互いにネゴシエートすることによって、通信チャネルを設立することができる。具体的には、暗号化および認証に関する一連のメッセージを、２つのエンドポイント６０８と６２０との間に送受信することによって、通信のために使用される暗号化および認証関連パラメータに関与する合意をネゴシエートすることができる。ネゴシエートすることによって、２つのエンドポイント間のセキュリティアソシエーション（ＳＡ）は、通信するエンドポイント６０８および６２０によって合意され、承認されたセキュリティ特性を指定する。単一のＳＡは、一方向のデータを保護することができる。ＳＡは、データを暗号化および復号する方法に関する詳細を両方のエンドポイントに提供する。
【0135】
ＣＰＥ６０８に適用される特定の構成情報６０７は、使用されている特定のＣＰＥ６０８装置、確立されている通信チャネルの特性（例えば、チャネルの種類、通信に使用されるプロトコルなど）、通信チャネルの他のエンドポイントを形成するＣＳＰＩ機器（プライマリホストマシン６２０）、および他の基準などの様々な他の要因に依存する。
【0136】
ＣＳＰＩ６６０内のインターネット鍵交換（ＩＫＥ）デーモン６５０は、通信チャネルの暗号鍵（例えば、暗号化および復号鍵）を管理する。ＩＫＥデーモン６５０は、顧客オンプレミスネットワーク６０２内のエンドポイントとネゴシエートすることによって、安全な方法でセキュリティアソシエーション（ＳＡ）のために認証された鍵材料を提供することができる。
【0137】
図示のように、分散環境６００は、ＶＣＮ６４０においてプライマリホストマシン６２０に接続されたバックアップホストマシン６３０を含むことができる。両方のホストマシンは、ＣＳＰＩ６６０によってＶＣＮ６４０にホストされている。いくつかの実施形態において、プライマリホストマシン６２０、バックアップホストマシン６３０、および任意の追加のバックアップホストマシンは、複製チェーン（ＲＣ）６５０を形成することができる。複製チェーンは、ログベースの記憶システムを介して通信チャネル６１６の状態情報を管理および記憶するための一組のホストマシンを含むことができる。特定のホストマシン６２０に割り当てられた複製チェーンおよびバックアップホストマシンを特定する情報は、ディスクバックアップデータ記憶装置に記憶されてもよい。複製チェーン内のホストマシンは、線形に配置され、チェーンを形成する。チェーンのプライマリホストマシン６２０は、チェーンの「ヘッド」または「マスタ」として指定される。上記の例において、複製チェーン（ＲＣ）６５０は、２つのホスト（例えば、プライマリホストマシン６２０およびバックアップホストマシン６３０）を含み、プライマリホストマシン１２０は、チェーンのヘッドであり、バックアップホストマシン６３０は、ＲＣ６５０のテールである。
【0138】
通信ネットワーク６１４は、図６に示されている様々なシステムとネットワークとの間の通信を容易にする。通信ネットワーク６１４は、様々な種類を有し、１つ以上の通信ネットワークを含むことができる。通信ネットワーク６１４の例は、インターネットなどのパブリックネットワーク、ワイドエリアネットワーク（ＷＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、イーサネット（登録商標）ネットワーク、パブリックまたはプライベートネットワーク、有線ネットワーク、無線ネットワーク、およびそれらの組み合わせを含むが、これらに限定されない。異なる通信プロトコルを用いて、IEEE 802.XXスイートプロトコル、ＴＣＰ／ＩＰ、ＩＰＸ、ＳＡＮ、AppleTalk（登録商標）、Bluetooth（登録商標）、および他のプロトコルなどの有線プロトコルおよび無線プロトコルの両方を含む通信を容易にすることができる。一般的に、通信ネットワーク６１４は、図６に示されている様々なシステム間の通信を容易にする任意のインフラストラクチャを含むことができる。
【0139】
図７Ａは、特定の実施形態に従って、複製チェーン内の複数のホストマシンを示す例示的なブロック図である。例示的な実施形態において、図７Ａに示すように、プライマリホストマシン６２０は、複製システム（ＲＳ）６２２および状態情報キャッシュ６２４を含む様々なコンポーネントまたはサブシステムを備えてもよい。バックアップホストマシン６３０は、複製システム（ＲＳ）６３２および複製状態情報キャッシュ６３４を含む様々なコンポーネントまたはサブシステムを備えてもよい。
【0140】
例示的な実施形態において、図７Ａに示すように、ＲＳ６２２は、プライマリホストマシン６２０内のソフトウェアアプリケーションであり、（図６に示すように）ＣＰＥ６０８とプライマリホストマシン６２０との間の通信チャネル６１６の状態情報の管理および複製に関連する処理を実行する。通信チャネル６１６の状態情報は、状態情報キャッシュ６２４に記憶されてもよい。状態情報キャッシュ６２４は、通信チャネル６１６の状態情報をキャッシュおよび管理するためのメモリ内鍵値ストアであってもよい。
【0141】
いくつかの実装形態において、ＲＳ６２２は、キャッシングアプリケーションプログラミングインターフェイス（ＡＰＩ）を提供することができる。ＲＳクライアント（例えば、パケットを処理するホストマシン内のプロセッサ）は、このＡＰＩを用いて、通信チャネル６１６の状態情報を管理する動作を実行することができる。例えば、プライマリホストマシン６２０内のパケットプロセッサは、プライマリホストマシン６２０のインターネットプロトコル（ＩＰ）アドレスに送信されたパケットを受信することができる。パケットプロセッサは、パケットのヘッダをハッシュし、ハッシュデータを解析することによって、通信チャネル６１６の状態情報の変更を決定することができる。
【0142】
パケットのヘッダのハッシングは、タプルフィールド（例えば、パケット識別子、送信元ＩＰアドレス、送信元ポート、宛先ＩＰアドレス、宛先ポート、およびレイヤ４プロトコル）を特定することができる。パケットプロセッサは、この情報を用いて、通信チャネルに関連する状態情報（例えば、パケット番号）を特定する。プロセッサはさらに、この状態情報が、プライマリホストマシンに関連するキャッシュに記憶された通信チャネルの状態情報に対して変更されたか否かを判断することができる。状態情報が変更したと判断すると、パケットプロセッサは、通信チャネル６１６の状態情報の変更をバックアップホストマシンに記憶および複製するように、転送することができる。したがって、通信チャネル６１６に関連する任意の情報は、複製システム６２２によって受信される前に、パケットプロセッサによって受信および解析されてもよい。
【0143】
代替的な実装形態において、ＲＳ６２２は、パケットを受信して処理し、通信チャネル６１６の状態情報に関与するキャッシュを管理するための動作を実行するプロセッサである。ホストマシン６２０内のＲＳ６２２は、パケットを受信し、通信チャネル６１６の状態情報を特定し、状態情報を状態情報キャッシュ６２４に転送することができる。ＲＳ６２２は、受信したパケットから状態情報を取得した後、複製チェーンのバックアップホストマシン上で状態情報を管理するために必要な処理を実行することができる。特定の実施形態において、ＲＳ６２２は、ディスクバックアップ記憶装置と通信することによって、複製チェーン６５０内のプライマリホストマシンに隣接する通信チャネルのバックアップホストマシンに関する情報を取得することができる。
【0144】
例示的な実施形態において、別のホストマシン６３０は、複製状態情報（ＲＳＩ）キャッシュ６３４に接続されている別の複製システム（ＲＳ）６３２を含んでもよい。いくつかの実装形態において、ホストマシン（プライマリホストマシン６２０およびバックアップホストマシン６３０）の各々は、複製に関連する機能を開始および／または実行するように構成された別個の複製システム（６２２および６３２）を有する。プライマリホストマシン６２０の複製システム６２２は、バックアップホストマシンの複製システム６３２と直接に通信することによって、複製システム６３２が通信チャネル６１６の状態情報を複製することを可能にする。同様に、いくつかの実装形態において、複製チェーン（ＲＣ）６５０が３つ以上のホストマシンを含む場合、１つのホストマシンの複製システムは、チェーン内の後続ホストマシンと通信することによって、チェーンによって複製された通信チャネル６１６の状態情報に関連するエントリを挿入、更新、または削除することができる。
【0145】
一組の複製システムは、状態情報を複製するために協調的に動作することができる。上記の実施形態において、組内の各複製システムは、チェーンの構成を完全に認識する。構成情報は、チェーン内のホストマシン、チェーンのヘッド、チェーンのテールを特定することができる。したがって、各複製システムは、要求（例えば、通信チャネル状態のエントリを更新する要求、または通信チャネル状態の特定のエントリを無効にする要求）を送信する場所を知っている。いくつかの実装形態において、通信チャネル６１６のパケットをアクティブに処理するＲＣ６５０内のプライマリホストマシン６２０は、チェーン６５０のヘッドであり、通信チャネルの状態情報の変更を複製するように通信チャネルの隣接するバックアップホストマシン（例えば、６３０）に要求することができる。
【0146】
図６および図７Ａに示すように、チェーンＲＣ６５０内のプライマリホストマシンおよびバックアップホストマシンは、通信チャネル６１６の状態情報を記憶するように構成されている。したがって、プライマリホストマシン６２０は、チェーンＲＣ６５０のヘッドであり、バックアップホストマシン６３０は、チェーン６５０のテールである。プライマリホストマシン６２０に記憶されている状態情報は、バックアップホストマシン６３０内で複製される。具体的には、ＲＳ６２２は、状態情報の変更をバックアップホストマシン６３０のＲＳ６３２に転送することができる。複製のステップは、図１０を参照して以下で説明される。ＲＳ６３２は、状態情報を、複製状態情報（ＲＳＩ）キャッシュ６３４に記憶することができる。
【0147】
通信チャネル６１６の状態情報は、通信チャネルに関連する複数の種類の状態情報を含むことができる。状態情報キャッシュ６２４は、状態情報テーブルを含むことができ、状態情報テーブルは、ホストマシン６２０によって受信されたパケットのシーケンス番号７０１の特定のエントリと、通信チャネルの暗号化および復号鍵７０２の情報と、ボーダゲートウェイプロトコル（ＢＧＰ）状態情報７０３と、通信チャネル６１６のインターネット鍵交換（ＩＫＥ）状態情報７０４とを含むことができる。
【0148】
特定のシナリオにおいて、プライマリホストマシンがパケットを受信するたびに、当該パケットのシーケンス番号などの状態情報を頻繁に更新することができる。パケットのシーケンス番号が異なってもよい。このことは、状態情報の変更を示唆する。例えば、プライマリホストマシン６２０がパケットを受信するたびに、パケットの状態情報のシーケンス番号は、増分される。複製システム６２２は、増分されたパケットのシーケンス番号を状態情報の変更として特定し、この変更をチェーン内の直近の後継者（例えば、６３０）に送信することができる。
【0149】
他のシナリオにおいて、２つのエンドポイント間で通信チャネル接続を確立する必要がある場合またはエンドポイント間で鍵を再ネゴシエートする必要がある場合、低頻度で、通常２０分から１時間ごとに、通信チャネルの暗号化および復号鍵などの特定の状態情報を更新してもよい。通信チャネルのネゴシエーションに関与する状態は、ＩＫＥ状態として呼ばれる。ＩＰＳＥＣ ＳＡの全てのパラメータをネゴシエートするＩＫＥデーモンが各サイドに存在するため、それに関連する状態も複製する必要がある。暗号鍵に関連する状態と同様に、ＩＫＥ状態は、頻繁に変更されない。
【0150】
複製状態情報キャッシュ６３４は、ホストマシン６２０によって受信したパケットのシーケンス番号７０６として図示されている状態情報キャッシュ６２４の状態情報のコピーと、通信チャネルの暗号化および復号鍵情報７０７と、ボーダゲートウェイプロトコル（ＢＧＰ）状態情報７０８と、インターネット鍵交換（ＩＫＥ）状態情報７０９とを含むことができる。
【0151】
例示的な実施形態において、プライマリホストマシン６２０にフェイルオーバが発生したときに、ＲＣ６５０内のプライマリホストマシンの直近の後継者であるバックアップホストマシンは、チェーンのヘッドになる可能性がある。複製チェーン６５０内のプライマリホストマシン６２０が故障し、複製チェーン（ＲＣ）６５０のヘッドを再構成する必要がある場合、新しいヘッドが再構成されるまで、チェーンへのアクセスをブロックする必要がある。いくつかのシナリオにおいて、チェーン内の他のホストマシン内の全ての複製システムは、最終的にヘッドの変更を知ることができる。他のシナリオにおいて、プライマリホストマシン６２０内の複製システム６２２は、チェーントポロジおよびチェーン内の全てのノードに関する追加の知識を有することなく、ホストマシンのバックアップである直近の後継者のみを認識することができる。フェイルオーバイベントについては、図１１の説明でさらに説明する。
【0152】
複製システム６２２は、通信チャネル関連の状態情報を複製および管理するための（パケットプロセッサからの複製要求をサポートするための）getおよびput動作をサポートすることができる。複製システム６２２は、パケットプロセッサと同じマシン（例えば、６２０）上で動作することができ、またはパケットプロセッサとは異なるマシン上で動作することができる。ＲＳ６２２は、ＲＣ６５０内の他のホストマシンへのゲートウェイとして機能することができる。例示的な実施形態において、状態情報キャッシュ６２４内の状態情報テーブルエントリは、３つの基本動作を介して、すなわち、１）読み出し動作（複製システムは、特定の鍵エントリを検索し、関連する値を返すことができる）、２）書き込み動作（複製システムは、エントリをキャッシュに書き込むことができる）、および３）削除動作（複製システムは、キャッシュ内のエントリを削除することができる）を介して、ＲＳ６２２によって処理されてもよい。
【0153】
例示的な実施形態において、複製システム内の動作の高スループットを提供するために、動作要求（例えば、通信チャネルの状態情報の変更を記憶および複製するための要求）が複製システムに正常に送信された場合、複製システムは、（図１０を参照してさらに説明するように）動作モードの種類に応じて、要求に対する応答を直ちにまたは後で提供することができる。複製システムが以前の複製要求を処理している間に、パケットプロセッサは、新しい要求を送信することができる。したがって、複製システムは、複製要求で完全にパイプライン化される可能性がある。
【0154】
例示的な実施形態において、複製システム６２２が状態情報を複製するための要求をバックアップホストマシン（例えば、６３０）内の別の複製システム６３２に転送する必要がある動作の場合、複製システム６２２は、それ自身の作業キューに要求を入れ、ピア複製システム６３２に送信して、動作を実行することができる。複製チェーンのピアツーピア通信は、メッセージを介して標準的なネットワークプロトコル上で行われてもよい。例示的な実施形態において、通信の順序を保証するために、ＴＣＰは、複製システムのピアツーピア通信に使用されてもよい。
【0155】
例示的な実施形態において、パケットプロセッサまたは状態監視システムは、複製システムによって管理されているエントリが一定時間後に期限切れになるように要求することができる。このような期限切れ動作が要求された場合、ヘッド複製システム（例えば、６２２）は、期限切れ時間を記憶し、期限切れ時間に到達した場合にマッピングを削除することができる。上記の実施形態において、エントリが他のマシンにもキャッシュされている場合、ヘッド複製システムは、自身のキャッシュから期限切れエントリを削除する前に、まず他のマシンにエントリを削除させる。代替的な実施形態において、パケットプロセッサまたは状態監視システムは、エントリが期限切れになるときに通知を要求することができる。したがって、ヘッド複製システムは、エントリが期限切れになるときにクライアントが追加のクリーンアップを実行できるように、期限切れたエントリの通知をプロセッサに提供することができる。
【0156】
例示的な実施形態において、複製システム６２２は、「共有」モードまたは「読み取り専用」モードでエントリを状態情報キャッシュ６２４にキャッシュするサポートを提供することができる。例示的な実施形態において、通信チャネル関連の状態情報に関与するエントリは、ヘッドまたはプライマリホストマシン６２０に関連する鍵値データベース（キャッシュ６２４）内の鍵値ペアの形でキャッシュされてもよい。例示的な実施形態において、通信チャネルの状態が更新される場合、複製システムは、それ自体（例えば、メモリ内鍵値記憶装置）内のエントリを更新し、その後、チェーン内の他の複製システムにエントリを更新させる。上記の実施形態において、この情報をチェーンに書き込むことによって、ヘッドが故障した場合にデータエントリを確実に保持することができる。
【0157】
例示的な実施形態において、複製システム６２２は、共有キャッシングを用いてネットワーク状態をキャッシュすることができる。共有キャッシュ設定において、ＲＣ６５０内の複数の複製システム（例えば、６２２および６３２）は、同じエントリのコピーを保持しているが、読み出しのためのみこれらのエントリを使用することができる。この場合、ヘッドまたはプライマリホストマシン内の複製システム６２２のみは、状態情報のエントリを編集することができる。ＲＣ６５０のヘッドは、状態情報を管理および複製し、チェーン（ＲＣ）６５０内の他のホストマシンに状態情報を渡すように機能する。したがって、ヘッドは、複製チェーン６５０内の状態情報に関連する変更を提案できる唯一のメンバである。
【0158】
例示的な実施形態において、エントリを更新する必要がある場合、プライマリホストマシン６２０の複製システム６２２は、複製チェーン内で更新を複製する前に、異なる状態情報をキャッシュしているバックアップホストマシン（例えば、６３０）に、状態情報に関連するエントリを無効にするように要求することができる。例示的な実施形態において、複製チェーン内の全てのホストマシンは、インフラストラクチャ内の全てのチェーンの構成を認識しておらず、その直近の後継者のみを認識している。したがって、全てのホストマシンは、複製要求をどこに送信するかを知っている。代替的な実施形態において、ホストマシンは、ディスクバックアップ記憶装置から、直近の後継者に関する情報を取得することができる。
【0159】
なお、図７Ａに示された構成は、特許請求される実施形態の範囲を過度に限定することを意図しない。多くの変形例、代替例および修正例が可能である。例えば、図７Ｂは、複製システム６２２の集中型構成を示している。具体的には、複製システム６２２は、複製チェーン６５０に含まれているホストマシンに関連する複製動作を制御／管理する集中型エンティティであってもよい。複製システム６２２は、状態情報データを複製し、複製チェーン６５０に含まれているホストマシン（すなわち、プライマリホストマシン６２０、バックアップホストマシン６３０など）に関連するキャッシュにそれぞれ記憶することができる。
【0160】
図８は、特定の実施形態に従って、通信チャネル関連の状態情報をバックアップホストマシンに複製するための方法を示す概略フローチャート８００を示している。図８に示された処理は、各システムの１つ以上の処理ユニット（例えば、プロセッサ、コア）によって実行されるソフトウェア（例えば、コード、命令、プログラム）、ハードウェア、またはそれらの組み合わせを用いて実施されてもよい。ソフトウェアは、非一時的な記憶媒体（例えば、メモリ装置）に記憶されてもよい。図８に示され、以下に説明される方法は、例示的且つ非限定的であることを意図している。図８は、特定のシーケンスまたは順序で発生する様々な処理ステップを示しているが、限定することを意図していない。特定の代替的な実施形態において、処理は、いくつかの異なる順序で実行されてもよく、またはいくつかのステップは、並行して実行されてもよい。特定の実施形態において、図８に示されたステップは、図７Ａおよび７Ｂに示された１つ以上の構成要素によって実行されてもよい。
【0161】
例示的な実施形態において、図６、図７Ａおよび図７Ｂで説明したように、顧客オンプレミスネットワーク内のＣＰＥ６０８とクラウドサービスプロバイダインフラストラクチャ（ＣＳＰＩ）６６０内のプライマリホストマシン６２０との間のパケットを安全に処理するために、通信チャネル６１６が設立される。
【0162】
ステップ８１０において、通信チャネルのプライマリホストマシンおよびバックアップホストマシンを構成する。通信チャネル６１６のバックアップホストマシン６３０を構成するために、プライマリホストマシン内のＲＳ６２２は、ディスクバックアップ記憶装置と通信することによって、通信チャネル６１６のバックアップホストマシンを特定することができる。したがって、いくつかの実装形態において、プライマリホストマシン６２０は、プライマリホストマシン６２０の起動またはブートストラップ処理中に、通信チャネル６１６の状態情報を記憶するためのバックアップホストマシン６３０を構成し、割り当てることができる。
【0163】
ステップ８２０において、通信チャネルの状態情報の変更を引き起こすイベントを検出する。具体的には、プライマリホストマシン６２０内のプロセッサまたは複製システム６２２は、状態情報キャッシュ６２４に記憶されている通信チャネルの状態情報の変更を引き起こすイベントを検出することができる。例えば、プライマリホストマシン６２０内のプロセッサがパケットを受信した場合、このパケットは、以前に記憶されたシーケンス番号とは異なるシーケンス番号を有する可能性がある。したがって、パケットを受信することは、状態情報の変更を引き起こすイベントである。同様に、通信チャネル６１６のプライマリホストマシン６２０とＣＰＥ６０８との間のセキュリティアソシエーション（ＳＡ）、すなわち、２つのエンドポイント間のＳＡを再ネゴシエートする必要がある場合、エンドポイント、例えばプライマリホストマシン６２０は、再ネゴシエートするために、暗号化鍵および復号鍵を有するパケットを受信することができる。これらの暗号化鍵を含むパケットは、通信チャネル６１６の状態情報の変更を引き起こすイベントの一種である。
【0164】
ステップ８３０において、プライマリホストマシンによって記憶されている通信チャネル関連の状態情報の変更を決定する。具体的には、いくつかの実装形態において、ステップ８２０でイベントを検出した後、複製システム６２２は、パケットからの状態情報をキャッシュ６２４内に記憶された状態情報と比較することによって、プライマリホストマシン６２０が受信したパケットを解析した後の状態情報の変更を決定する。例えば、複製システム６２２は、プライマリホストマシン６２０が受信したパケットを検査することができる。複製システム６２２は、プライマリホストマシン６２０が受信したパケットのヘッダをハッシュすることができる。複製システム６２２は、パケットのヘッダのハッシュからパケットのシーケンス番号を特定することができる。パケットのヘッダは、パケットのシーケンスまたは識別を含むことができる。新しいパケットは、ホストマシン６２０によって受信されると、以前に受信されたパケットとは異なるシーケンス番号を有する。
【0165】
いくつかの実装形態において、図７Ａに関して上述したように、パケットプロセッサまたは監視システムは、通信チャネル６１６の状態情報に関連するプライマリホストマシン６２０に送信されたパケットを受信し、解析することができる。パケットプロセッサまたは監視システムが状態情報の変更を特定すると、プロセッサは、バックアップホストマシン６３０内の状態情報の変更を更新および複製するように、複製システム６２２に要求することができる。
【0166】
ステップ８４０において、通信チャネルの状態情報を記憶するためのバックアップホストマシンを特定する。具体的には、複製システム６２２は、ディスクバックアップデータ記憶装置に照会することによって、バックアップホストマシンを特定することができる。代替的には、複製システム６２２は、プライマリホストマシン６２０の構成データから、バックアップホストマシン情報を取得することができる。具体的には、複製システム６２２は、バックアップホストマシン（例えば、６３０）内の複製システム（例えば、６３２）のＩＰアドレスを取得することができる。
【0167】
ステップ８５０において、通信の状態情報の変更を特定されたバックアップホストマシンに複製する。具体的には、複製システム６２２は、状態情報の変更をバックアップホストマシン６３０内の複製システム６３２に送信することができ、複製システム６３２は、複製システム６２２から受信した状態情報の変更を複製状態情報キャッシュ６３４に記憶することができる。複製システム６３２は、状態情報の変更をキャッシュ６３４に記憶する前に、以前に記憶された状態情報のエントリを削除または無効化することができる。
【0168】
図９は、特定の実施形態に従って、複製チャネルが通信チャネル関連の状態情報を複製することを示すフローチャート９００である。図９に示す処理は、各システムの１つ以上の処理ユニット（例えば、プロセッサ、コア）によって実行されるソフトウェア（例えば、コード、命令、プログラム）、ハードウェア、またはそれらの組み合わせに実施されてもよい。ソフトウェアは、非一時的な記憶媒体（例えば、メモリ装置）に記憶されてもよい。図９に示され、以下に説明される方法は、例示的且つ非限定的であることを意図している。図９は、特定のシーケンスまたは順序で発生する様々な処理ステップを示しているが、限定することを意図していない。
【0169】
いくつかの代替実施形態において、特定の代替的な実施形態において、処理は、いくつかの異なる順序で実行されてもよく、またはいくつかのステップは、並行して実行されてもよい。いくつかの実施形態において、図９に示された処理ステップは、図６、７Ａおよび７Ｂに示されたホストマシン内の１つ以上の構成要素（例えば、複製システム）によって実行されてもよい。具体的には、図９は、特定の実施形態に従って、複製チェーン内で通信チャネル関連の状態情報を複製するために、（パケットを受信するホストマシン内の）構成要素によって実行されたステップを示すフローチャートである。例示的な実施形態において、図６に示すように、顧客オンプレミスネットワーク６０２内のＣＰＥ６０８とクラウドサービスプロバイダインフラストラクチャ（ＣＳＰＩ）６６０内のプライマリホストマシン６２０との間のパケットを安全に処理するために、通信チャネル６１６が設立される。
【0170】
ステップ９１０において、顧客オンプレミスネットワークとＣＳＰＩによってホストされている顧客仮想ネットワークとの間の通信チャネルに関連する状態情報を記憶するように、複製チェーンを構成する。複製チェーンは、通信チャネル関連の状態情報を記憶するための一組のホストマシンを含むことができる。複製チェーン内のホストマシンは、線形に配置され、チェーン（例えば、ＲＣ６５０）を形成する。チェーンのプライマリホストマシン６２０は、チェーンの「ヘッド」または「マスタ」として指定され、チェーンの残りのノードは、通信チャネル６１６のバックアップホストマシンとして指定される。
【0171】
ステップ９２０において、プライマリホストマシンに対応する複製チェーン内のノードを複製チェーンのヘッドノードとして指定する。具体的には、ホストマシン６２０が通信チャネル６１６の一方側のエンドポイントであり、通信チャネル６１６の他方側の第２のエンドポイント（ＣＰＥ６０８）からトラフィックを受信する場合、ホストマシン６２０は、通信チャネル６１６のプライマリホストマシンとして指定される。したがって、複製チェーンにおいて、通信チャネルのプライマリホストマシンは、チェーンのヘッドノードとして指定される。
【0172】
ステップ９３０において、複製チェーンの残りのノード、すなわちバックアップホストマシンを複製チェーンのヘッドの後続ノードとして構成する。通信チャネル６１６の場合、ＣＳＰＩ６６０内のホストマシンが通信チャネル６１６のトラフィックを主に受信せず、通信チャネルの状態情報を記憶するように割り当てられている場合、ホストマシンは、通信チャネル６１６のバックアップホストマシン６３０として指定される。いくつかの実装形態において、複製チェーンは、図６に示すように、プライマリホストマシン６２０に対して単一のバックアップホストマシン６３０を含むことができる。他の実装形態において、複数のホストマシンは、通信チャネル６１６のバックアップホストマシンとして指定されてもよい。
【0173】
ステップ９４０において、複製チェーンのヘッドノードの障害を検出する。チェーンログ複製プロトコルを含む機構は、チェーン内のメンバシップを制御および管理することができる。この機構はさらに、チェーンのヘッドの健全性を監視することによって、障害を検出することができる。
【0174】
ステップ９５０において、複製チェーンのヘッドノードの障害を検出すると、複製チェーン内のヘッドノードの直近の後継ノードを複製チェーンの新しいヘッドノードとして設定する。したがって、直近の後継者（例えば、６３０）は、ヘッドノードに昇格される。いくつかのシナリオにおいて、プライマリホストマシンが障害モードから復帰すると、再びチェーンのヘッドノードになる。他のシナリオにおいて、プライマリホストマシンが障害モードから復帰すると、チェーンの最後に加わり、他のホストがチェーンから取り除かれる場合に昇格されてもよい。例示的な実装形態において、複数の通信チャネルを含む複数のチェーンが存在し、各ノードが２つ以上のチェーンのヘッドであってもよい。具体的には、各チェーンは、異なるセットのＳＡを処理することができ、１つのノードは、１つのチェーンのヘッドノードおよび別のチェーンの後継ノードになることができる。
【0175】
図１０は、特定の実施形態に従って、通信チャネル関連の状態情報を複製するためにプライマリホストマシンによって実行された詳細な処理を示すフローチャート１０００である。具体的には、フローチャートは、ヘッドホストマシンが特定のフローのパケットを受信したときにネットワーク状態情報を複製するためにヘッドホストマシンによって実行されたステップを提示する。
【0176】
ステップ１０１０において、通信チャネルの状態情報の変更を引き起こすイベントを検出する。具体的には、プライマリホストマシン６２０内の複製システム６２２は、状態情報キャッシュ６２４に記憶されている通信チャネルの状態情報の変更を引き起こすイベントを検出することができる。例えば、複製システム６２２は、プライマリホストマシン６２０が受信したパケットを解析することができる。複製システム６２２は、プライマリホストマシン６２０が受信したパケットのヘッダをハッシュすることができる。複製システム６２２は、パケットのヘッダのハッシュから、パケットのシーケンス番号を特定することができる。第１のパケットのヘッダは、ソースＩＰアドレス、ソースポート、宛先ＩＰアドレス、宛先ポート、およびレイヤ４プロトコル（例えば、ＴＣＰ、ＵＤＰなど）に関する情報を含む標準的な５タプルパケットヘッダであってもよい。また、パケットのヘッダは、シーケンス番号または識別番号、すなわち、パケットに関連する識別子を含む。新しいパケットは、ホストマシン６２０によって受信されると、以前に受信されたパケットとは異なるシーケンス番号を有するであろう。
【0177】
ステップ１０１５において、プライマリホストマシンによって記憶されている通信チャネル関連の状態情報の変更を決定する。具体的には、ステップ１０１０でイベントを検出した後、複製システム６２２は、プライマリホストマシン６２０が受信したパケットを解析した後の状態情報の変更を決定する。
【0178】
ステップ１０１７において、決定された通信チャネル関連の状態情報の変更を、プライマリホストマシン６２０のローカルキャッシュに記憶する。具体的には、ホストマシン６２０内のプロセッサは、変更を複製システム６２２に送信することができる。複製システム６２２は、状態情報の変更を状態情報キャッシュ６２４に記憶することができる。
【0179】
ステップ１０２０において、複製システム６２２は、通信チャネルに関する状態情報を記憶した後、バックアップホストマシン内の通信チャネル６１６の状態情報を複製するためのモードを決定する。いくつかの実施形態において、状態情報を複製するための動作モードは、セーフ動作モードおよびベストエフォート動作モードのうちの１つであってもよい。動作モードは、１つ以上の条件に基づいて決定されてもよい。例えば、プライマリホストマシン６２０のメンテナンスが、通信チャネル６１６の状態情報の変更を決定した後の閾値時間内にスケジュールされている場合、複製システム６２２は、複製を行うための動作モードをセーフモードに決定することができる。同様に、状態情報の変更が通信チャネル６１６の通信を確立することに関連すると複製システム６２２が判断した場合、動作モードは、状態情報を複製するセーフモードである。具体的には、次に説明するように、セーフ動作モードは、例えば、ホストマシンがメンテナンスのためにオフライン状態にあり得るシナリオにおいて、通信チャネルの継続的且つ正常な動作を保証する。
【0180】
ステップ１０３０において、通信チャネル関連の状態情報の変更がセーフモードで複製されていると判断した場合、プライマリホストマシン６２０上のパケットの処理を中止する。具体的には、複製システム６２２は、パケットを一時的に中止するようにパケットプロセッサに警告することができる。
【0181】
ステップ１０３５において、ホストマシン６２０がパケットの処理を中止すると、複製システム６２２は、通信チャネル６１６のために構成された複製チェーンを特定することができる。複製チェーンは、ディスクバックアップデータ記憶システムに照会することによって、通信チャネル６１６のために複製チェーンおよび複製チェーン内の１つ以上のバックアップホストマシンを特定することができる。いくつかのシナリオにおいて、通信チャネル６１６のための複製チェーンおよび１つ以上のバックアップホストマシンに関する情報は、プライマリホストマシン６２０に利用可能であり、起動時に設定されてもよい。
【0182】
ステップ１０４０において、通信チャネル６１６のために複製チェーンを特定した後、通信チャネル６１６のために１つ以上のバックアップホストマシンを特定する。具体的には、プライマリホスト６２０内の複製システム６２２は、（通信チャネル６１６のために）別の複製システム、すなわち、バックアップホストマシンに関連する複製システムを特定することができる。
【0183】
ステップ１０４５において、通信チャネル関連の状態情報の変更をバックアップホストマシンに複製する。具体的には、プライマリホストマシン６２０内の複製システム６２２は、通信チャネル関連の状態情報の変更を、プライマリホストマシン６２０の複製チェーンの後続ノードであるバックアップホストマシンに送信することができる。バックアップホストマシンとしての後続ノードは、複製チェーン内の次のバックアップホストマシンに状態情報を複製させることができる。したがって、複製チェーン内のバックアップホストマシンの各々は、状態情報の変更を複製する。具体的には、状態情報の変更は、複製チェーン内の各ホストマシンに順次的に複製される。チェーン内の全ての複製システムは、このエントリ、すなわち、状態情報の変更をローカルキャッシュにキャッシュすることができる。エントリがチェーン内の全てのホストマシンの間に複製されると、ヘッドホストマシンは、チェーンのテールホストマシンから確認または通知を受信することができる。
【0184】
一実施形態によれば、上述したように、複製チェーンのホストマシンにおいて実行される状態情報の変更を複製する機構において、ヘッドホストマシンは、ディスクバックアップ記憶装置にアクセスすることによって、複製チェーン内のピアホストマシンを特定することができる。上記の実施形態において、ヘッドホストマシンまたはホストマシン内のプロセッサは、エントリ情報と共にエントリ挿入メッセージを、チェーンから直近の後継ホストマシンまたはピアホストマシンに送信することができる。ピアホストマシンは、エントリをローカルキャッシュにキャッシュし、複製のために複製チェーン内の次のホストマシンに同様のエントリ挿入メッセージを送信することができる。
【0185】
ステップ１０５０において、ヘッドホストマシンは、状態情報がバックアップホストマシンによって複製されたことを示す確認応答メッセージを受信する。具体的には、ヘッドホストマシン内の複製システム６２２は、複製チェーン内のテールホストマシンから、通信チャネルの状態情報の変更が全ての中間ホストマシンに組み込まれたことを示す確認応答メッセージを受信する。なお、確認応答メッセージは、ホストマシン間の通信のために利用される任意の適切な通信プロトコルを用いて、テールホストマシンからヘッドホストマシンに送信されてもよい。
【0186】
例えば、いくつかの実施形態によれば、複製チェーンは、ログ構造化機構（例えば、チェーンログ複製プロトコル）を用いて、バックアップホストマシン内で複製を実行する。セーフ動作モードの下でのこのような種類の複製プロトコルは、状態情報の変更が全てのバックアップホストマシンに複製したことを保証するまで、パケットの処理を中止することによって、安全性を強化するためのオプションを提供する。
【0187】
いくつかの実施形態によれば、セーフモードは、異なる実装形態を有することができる。例えば、いくつかの実装形態において、セーフ動作モードにおいて、状態変化が特定のウィンドウ内で同期されている限り、状態が絶対的に同期されるまで、パケットを中止する必要はない。ウィンドウは、パケットの数で定義されてもよい。例えば、ウィンドウのサイズは、Ｗ＝３パケットであってもよい。この動作モードは、緩和セーフ動作モードと呼ばれてもよい。プライマリホストマシンは、全ての状態変化がウィンドウ全体に対して複製される前に、パケットの処理を継続することができる。いくつかの実施形態によれば、状態情報を複製するための別の動作モードは、ベストエフォートモードであってもよい。この動作モードにおいて、緩和セーフ動作モードと同様に、チャネル情報は、パケット処理動作を停止または中止することなく複製される。しかしながら、ベストエフォート動作モードと緩和セーフ動作モードとの間の差異は、ベストエフォートモードの場合、ウィンドウのサイズが極めて大きく、すなわち、無限なサイズであることである。言い換えれば、ベストエフォート動作モードでは、ウィンドウのサイズは、パケット処理において制約条件ではない。
【0188】
ステップ１０５５において、状態情報が通信チャネル６１６のバックアップホストマシンによって複製されたことを示す確認応答を受信した後、通信チャネルを介したパケットの処理を（例えば、セーフモードで）再開する。
【0189】
ステップ１０２０に戻り、複製がセーフモードで実行されていないと判断した場合、例えば、複製がベストエフォートモードで実行されている場合、処理パケットを中止する必要はない。複製がセーフモードで実行されていないと判断した場合、パケットの処理を中止することなく、基本的に上述したステップ１０３５、１０４０および１０４５を用いて状態情報の複製を行う。
【0190】
なお、状態情報の複製が十分に速く行われない場合（例えば、複製速度が、プライマリホストマシンがパケットを受信する速度、すなわち、パケットの着信速度に追い付かない場合）、１つの可能な結果は、フェイルオーバの場合、すなわち、プライマリホストマシンが故障し、バックアップホストが複製チェーンの新しいヘッドになる場合、バックアップホストを新しいヘッドとして通信チャネルを再確立するときに、いくつかのパケットが破棄される可能性がある。このようなシナリオは、データ複製のベストエフォートモードに発生する可能性がある。なお、このようなフェイルオーバイベントは、顧客データの完全性を損なわないため、パケット処理にセキュリティの影響を与えない。
【0191】
言い換えれば、パケットのシーケンスが正しく同期されていない場合、パケットを破棄してもよい。複製に何らかの障害があった場合、すなわち、フェイルオーバがあった場合、引き継ぐと構成された後続者が、古くなったシーケンス番号を有し、監視しているパケットが同期されていないため、（完全に成功した方法で）接続をピックアップすることができないことを意味する。後続者は、このような状況をリプレイ攻撃として解釈することができ、いくつかのパケットを破棄することによって対応することができる。
【0192】
特定のシナリオにおいて、通信チャネル関連の状態情報のパケットのシーケンス番号に対処しながら、セーフモード、例えば、ベストエフォートモードまたは緩和セーフモードを使用せず、複製を実行する。いくつかの実装形態において、大量の状態変化の複製が特定の量、例えば特定の数のパケットで遅れている場合、フェイルオーバイベントの時に、バックアップホストマシンは、どの程度でジャンプする（またはシーケンス番号をオーバーシュートする）必要があるかを予測することができ、これによってウィンドウよりも遅れているパケットを破棄することができる。プロトコルは、単に、このようなパケット（すなわち、破棄されたパケット）が欠落していると仮定し、バックアップホストマシンは、そのパケットカウンタを更新することができる。したがって、バックアップホストマシンは、常に、監視しているシーケンス番号のうち、最も高く認証されたシーケンス番号に基づいている。したがって、緩和セーフ動作モードの場合、通信のシーケンス番号状態情報の複製が遅れたり、同期が取れなくなったりしても、バックアップホストマシンは、フェイルオーバ中に、予測量のパケット、例えば特定の数のパケットで前方にジャンプすることによって、ウィンドウに戻ることができる。これによって、最初に確立された通信チャネルは、バックアップホストを複製チェーンの新しいヘッドとして、引き続き動作することができる。
【0193】
したがって、セーフモードオプションを使用する場合、複製動作は、複製が完了するまでパケットの処理を中止するように実行される。例えば、エンドポイント間で暗号化／復号化情報を送信することによって接続を設立しているときに、セーフモードを使用することができる。しかしながら、接続を設立した後、セーフモードではなく、緩和セーフモードまたはベストエフォートモードで複製を実行することができる。さらに、状態変化が暗号状態情報内の変更を含む場合、複製モードは、セーフモードに切り替えられてもよい。セーフモードは、バックアップホストマシンにおいて状態情報の連続的／完全な複製を保証する。一方、ベストエフォートモードは、プライマリホストマシンのフェイルオーバシナリオ中に、状態情報を複製し、パケットを処理するためのベストエフォートを保証する。
【0194】
図１１は、特定の実施形態に従って、プライマリホストマシンのフェイルオーバ中にパケット処理を処理するために実行されたステップを示すフローチャート１１００である。
【0195】
ステップ１１１０において、プライマリホストマシンを含むデータプレーンは、プライマリホストマシンが利用不能であることを示す信号を受信する。プライマリホストマシンの利用不能は、意図的または非意図的な理由によるものであってもよい。例えば、プライマリホストマシンは、メンテナンスのために意図的に停止される可能性がある。他の場合において、プライマリホストマシンは、ホストマシン内の突然のフェイルオーバイベントに起因してダウンする可能性があり、これは意図的ではないフェイルオーバである。
【0196】
ステップ１１２０において、通信チャネルのバックアップホストマシンを特定することができる。具体的には、ＣＳＰＩ上でホストされているＶＣＮ内のデータプレーンまたはプロセッサは、通信チャネルに関する情報をディスクバックアップ記憶装置に照会することによって、通信チャネルのバックアップホストマシンを特定する。いくつかの実装形態において、バックアップホストマシンは、データプレーン内で特定され、構成されてもよい。
【0197】
ステップ１１３０において、通信チャネルによって処理されたパケットは、特定されたバックアップホストマシンに転送されてもよい。具体的には、ＶＣＮのデータプレーンは、パケットの宛先ＩＰアドレスをバックアップホストマシンのＩＰアドレスに変更することができる。この例において、顧客端末のエンドポイント（ＣＰＥ６０８）は、依然としてパケットをプライマリホストマシンのＩＰアドレスに送信しているが、これらのパケットは、データプレーンプロセッサによってバックアップホストマシンのＩＰアドレスにリダイレクトされる。
【0198】
ステップ１１４０において、バックアップホストマシンは、プライマリホストマシンからバックアップホストマシンに予め同期された通信チャネルの状態情報を用いて、パケットの処理を実行する。説明したように、プライマリホストマシンがオフラインになるようにスケジュールされるメンテナンスによるフェイルオーバの場合、（図１０で説明したように）セーフモード下での複製は、全ての状態情報が同期されることを保証する。したがって、セーフモード下での複製は、プライマリホストマシンがメンテナンスのためにダウンするときに、バックアップホストマシンがパケットを正常に処理することを保証することができる。
【0199】
予想外のフェイルオーバが発生するシナリオの場合、全ての状態情報が同期されていることは保証されないが、（図１０で説明したような）複製方法を使用すると、パケットのセキュリティを危険にさらすことなく、フェイルオーバシナリオを正常に処理できる確率が依然として高い。最悪の場合、接続のパラメータが失われ、通信チャネルのパラメータを再ネゴシエートする必要が生じる可能性がある。本開示の態様によって、単一の高可用性トンネルを用いて、トンネルを停止することなく、トンネルのエンドポイントにパッチを適用したいホストから別のホストに割り当てることができる。
【0200】
例示的なクラウドインフラストラクチャの実施形態
上述したように、ＩａａＳ（Infrastructure as a Service）は、１つの特定の種類のクラウドコンピューティングである。ＩａａＳは、パブリックネットワーク（例えば、インターネット）を介して仮想化計算リソースを提供するように構成されてもよい。ＩａａＳモデルにおいて、クラウドコンピューティングプロバイダは、インフラストラクチャ要素（例えば、サーバ、記憶装置、ネットワークノード（例えば、ハードウェア）、展開ソフトウェア、プラットフォーム仮想化（例えば、ハイパーバイザ層）など）をホストすることができる。場合によっては、ＩａａＳプロバイダは、インフラストラクチャ要素に付随する様々なサービス（例えば、課金、監視、ロギング、セキュリティ、負荷分散およびクラスタリングなど）を提供することができる。したがって、これらのサービスがポリシー駆動型であり得るため、ＩａａＳユーザは、アプリケーションの可用性および性能を維持するために、負荷分散を駆動するためのポリシーを実装することができる。
上述したように、ＩａａＳ（Infrastructure as a Service）は、１つの特定の種類のクラウドコンピューティングである。ＩａａＳは、パブリックネットワーク（例えば、インターネット）を介して仮想化計算リソースを提供するように構成されてもよい。ＩａａＳモデルにおいて、クラウドコンピューティングプロバイダは、インフラストラクチャ要素（例えば、サーバ、記憶装置、ネットワークノード（例えば、ハードウェア）、展開ソフトウェア、プラットフォーム仮想化（例えば、ハイパーバイザ層）など）をホストすることができる。場合によっては、ＩａａＳプロバイダは、インフラストラクチャ要素に付随する様々なサービス（例えば、課金、監視、ロギング、セキュリティ、負荷分散およびクラスタリングなど）を提供することができる。したがって、これらのサービスがポリシー駆動型であり得るため、ＩａａＳユーザは、アプリケーションの可用性および性能を維持するために、負荷分散を駆動するためのポリシーを実装することができる。
【0201】
いくつかの例において、ＩａａＳ顧客は、インターネットなどの広域ネットワーク（ＷＡＮ）を介してリソースおよびサービスにアクセスすることができ、クラウドプロバイダのサービスを使用してアプリケーションスタックの残りの要素をインストールすることができる。例えば、ユーザは、ＩａａＳプラットフォームにログインして、仮想マシン（ＶＭ）を作成し、各ＶＭにオペレーティングシステム（ＯＳ）をインストールし、データベースなどのミドルウェアを展開し、ワークロードおよびバックアップの記憶バケットを作成し、ＶＭに企業ソフトウェアをインストールすることができる。顧客は、プロバイダのサービスを使用して、ネットワークトラフィックのバランシング、アプリケーションのトラブルシューティング、パフォーマンスの監視、災害復旧の管理などを含む様々な機能を実行することができる。
【0202】
殆どの場合、クラウドコンピューティングモデルは、クラウドプロバイダの参加を必要とする。クラウドプロバイダは、ＩａａＳの提供（例えば、オファー、レンタル、販売）に特化した第３者サービスであってもよいが、その必要はない。また、企業は、プライベートクラウドを配置し、インフラストラクチャサービスを提供するプロバイダになることもできる。
【0203】
いくつかの例において、ＩａａＳの配置は、用意したアプリケーションサーバなどに新しいアプリケーションまたは新しいバージョンのアプリケーションを配置するプロセスである。ＩａａＳの配置は、サーバを用意する（例えば、ライブラリ、デーモンなどをインストールする）プロセスを含んでもよい。ＩａａＳの配置は、多くの場合、クラウドプロバイダによって、ハイパーバイザ層（例えば、サーバ、記憶装置、ネットワークハードウェア、および仮想化）の下で管理される。したがって、顧客は、ＯＳ、ミドルウェア、および／またはアプリケーションの展開（例えば、セルフサービス仮想マシン（例えば、オンデマンドでスピンアップできるもの）などを行うことができる。
【0204】
いくつかの例において、ＩａａＳのプロビジョニングは、使用されるコンピュータまたは仮想ホストを取得すること、およびコンピュータまたは仮想ホスト上に必要なライブラリまたはサービスをインストールすることを含んでもよい。殆どの場合、配置は、プロビジョニングを含まず、まずプロビジョニングを実行する必要がある。
【0205】
場合によっては、ＩａａＳのプロビジョニングには２つの異なる課題がある。第１に、何かを実行する前に、インフラストラクチャの初期セットをプロビジョニングするという課題がある。第２に、全てのものをプロビジョニングした後に、既存のインフラストラクチャを進化させる（例えば、新しいサービスの追加、サービスの変更、サービスの削除）という課題がある。場合によっては、インフラストラクチャの構成を宣言的に定義することを可能にすることによって、これらの２つの課題に対処することができる。言い換えれば、インフラストラクチャ（例えば、どの要素が必要とされるか、およびこれらの要素がどのように相互作用するか）は、１つ以上の構成ファイルによって定義されてもよい。したがって、インフラストラクチャの全体的なトポロジ（例えば、どのリソースがどれに依存し、どのように連携するか）は、宣言的に記述することができる。いくつかの例において、トポロジが定義されると、構成ファイルに記述された異なる要素を作成および／または管理するためのワークフローを生成することができる。
【0206】
いくつかの例において、インフラストラクチャは、多くの相互接続された要素を含むことができる。例えば、コアネットワークとしても知られている１つ以上の仮想プライベートクラウド（ＶＰＣ）（例えば、構成可能な計算リソースおよび／または共有されている計算リソースの潜在的なオンデマンドプール）が存在してもよい。いくつかの例において、ネットワークのセキュリティをどのように設定するかを定義するためにプロビジョニングされる１つ以上のセキュリティグループルールと、１つ以上の仮想マシン（ＶＭ）とが存在する可能性がある。ロードバランサ、データベースなどの他のインフラストラクチャ要素もプロビジョニングされてもよい。ますます多くのインフラストラクチャ要素が望まれるおよび／または追加されるにつれて、インフラストラクチャは、漸進的に進化することができる。
【0207】
いくつかの例において、様々な仮想コンピューティング環境にわたってインフラストラクチャコードの展開を可能にするために、連続展開技法を採用してもよい。また、記載された技法は、これらの環境内のインフラストラクチャ管理を可能にすることができる。いくつかの例において、サービスチームは、１つ以上の、通常多くの異なる生産環境（例えば、時には全世界に及ぶ種々の異なる地理的場所にわたって）に展開されることが望まれるコードを書き込むことができる。しかしながら、いくつかの例において、コードを展開するためのインフラストラクチャを最初に設定しなければならない。いくつかの例において、プロビジョニングは、手動で行うことができ、プロビジョニングツールを用いてリソースをプロビジョニングすることができ、および／またはインフラストラクチャをプロビジョニングした後に、展開ツールを用いてコードを展開することができる。
【0208】
図１２は、少なくとも１つの実施形態に従って、ＩａａＳアーキテクチャの例示的なパターンを示すブロック図１２００である。サービスオペレータ１２０２は、仮想クラウドネットワーク（ＶＣＮ）１２０６およびセキュアホストサブネット１２０８を含み得るセキュアホストテナンシ１２０４に通信可能に接続されてもよい。いくつかの例において、サービスオペレータ１２０２は、１つ以上のクライアントコンピューティング装置を使用することができる。１つ以上のクライアントコンピューティング装置は、例えば、Microsoft Windows Mobile（登録商標）のようなソフトウェア、および／またはｉＯＳ、Windowsフォン、アンドロイド（登録商標）、ブラックベリー８およびパームＯＳなどのさまざまなモバイルオペレーティングシステムを実行することができ、インターネット、電子メール、ショートメッセージサービス（ＳＭＳ）、ブラックベリー（登録商標）または他の通信プロトコルが有効化された手持ち式携帯装置（例えば、iPhone（登録商標）、携帯電話、iPad（登録商標）、タブレット、携帯情報端末（ＰＤＡ）またはウェアラブル装置（Google（登録商標）Glass（登録商標）ヘッドマウントディスプレイ）であってもよい。クライアントコンピューティング装置は、例示として、Microsoft Windows（登録商標）オペレーティングシステム、Apple Macintosh（登録商標）オペレーティングシステムおよび／またはLinux（登録商標）オペレーティングシステムのさまざまなバージョンを実行するパーソナルコンピュータおよび／またはラップトップコンピュータを含む汎用のパーソナルコンピュータであってもよい。代替的には、クライアントコンピューティング装置は、例えば、さまざまなGNU/Linuxオペレーティングシステム、例えば、Google Chrome（登録商標）ＯＳを含むがこれに限定されない市販のUNIX（登録商標）またはUNIXに類似するさまざまなオペレーティングシステムを実行するワークステーションコンピュータであってもよい。代替的にまたは追加的には、クライアントコンピューティング装置は、ＶＣＮ１２０６および／またはインターネットにアクセスできるネットワークを介して通信可能な他の電子機器、例えば、シンクライアントコンピュータ、インターネット対応のゲームシステム（例えば、Kinect（登録商標）ジェスチャ入力装置を備えるまたは備えないMicrosoft Xbox（登録商標）ゲームコンソール）、および／またはパーソナルメッセージング装置であってもよい。
【0209】
ＶＣＮ１２０６は、ＳＳＨ ＶＣＮ１２１２に含まれるＬＰＧ１２１０を介して、セキュアシェル（ＳＳＨ）ＶＣＮ１２１２に通信可能に接続できるローカルピアリングゲートウェイ（ＬＰＧ）１２１０を含むことができる。ＳＳＨ ＶＣＮ１２１２は、ＳＳＨサブネット１２１４を含むことができ、ＳＳＨ ＶＣＮ１２１２は、制御プレーンＶＣＮ１２１６に含まれるＬＰＧ１２１０を介して、制御プレーンＶＣＮ１２１６に通信可能に接続されてもよい。また、ＳＳＨ ＶＣＮ１２１２は、ＬＰＧ１２１０を介して、データプレーンＶＣＮ１２１８に通信可能に接続されてもよい。制御プレーンＶＣＮ１２１６およびデータプレーンＶＣＮ１２１８は、ＩａａＳプロバイダによって所有および／または運営され得るサービステナンシ１２１９に含まれてもよい。
【0210】
制御プレーンＶＣＮ１２１６は、境界ネットワーク（例えば、企業イントラネットと外部ネットワークとの間の企業ネットワークの部分）として機能する制御プレーンＤＭＺ（demilitarized zone）層１２２０を含むことができる。ＤＭＺベースのサーバは、特定の信頼性を有し、セキュリティ侵害を封じ込めることができる。さらに、ＤＭＺ層１２２０は、１つ以上のロードバランサ（ＬＢ）サブネット１２２２と、アプリサブネット１２２６を含むことができる制御プレーンアプリ層１２２４と、データベース（ＤＢ）サブネット１２３０（例えば、フロントエンドＤＢサブネットおよび／またはバックエンドＤＢサブネット）を含むことができる制御プレーンデータ層１２２８とを含むことができる。制御プレーンＤＭＺ層１２２０に含まれたＬＢサブネット１２２２は、制御プレーンアプリ層１２２４に含まれるアプリサブネット１２２６と制御プレーンＶＣＮ１２１６に含まれ得るインターネットゲートウェイ１２３４とに通信可能に接続されてもよく、アプリサブリ１２２６は、制御プレーンデータ層１２２８に含まれるＤＢサブネット１２３０と、サービスゲートウェイ１２３６と、ネットワークアドレス変換（ＮＡＴ）ゲートウェイ１２３８とに通信可能に接続されてもよい。制御プレーンＶＣＮ１２１６は、サービスゲートウェイ１２３６およびＮＡＴゲートウェイ１２３８を含むことができる。
【0211】
制御プレーンＶＣＮ１２１６は、データプレーンミラーアプリ層１２４０を含むことができ、データプレーンミラーアプリ層１２４０は、アプリサブネット１２２６を含むことができる。データプレーンミラーアプリ層１２４０に含まれたアプリサブネット１２２６は、計算インスタンス１２４４を実行することができる仮想ネットワークインターフェイスコントローラ（ＶＮＩＣ）１２４２を含むことができる。計算インスタンス１２４４は、データプレーンミラーアプリ層１２４０のアプリサブネット１２２６を、データプレーンアプリ層１２４６に含まれ得るアプリサブネット１２２６に通信可能に接続することができる。
【0212】
データプレーンＶＣＮ１２１８は、データプレーンアプリ層１２４６と、データプレーンＤＭＺ層１２４８と、データプレーンデータ層１２５０とを含むことができる。データプレーンＤＭＺ層１２４８は、データプレーンアプリ層１２４６のアプリサブネット１２２６およびデータプレーンＶＣＮ１２１８のインターネットゲートウェイ１２３４に通信可能に接続され得るＬＢサブネット１２２２を含むことができる。アプリサブネット１２２６は、データプレーンＶＣＮ１２１８のサービスゲートウェイ１２３６およびデータプレーンＶＣＮ１２１８のＮＡＴゲートウェイ１２３８に通信可能に接続されてもよい。また、データプレーンデータ層１２５０は、データプレーンアプリ層１２４６のアプリサブネット１２２６に通信可能に接続され得るＤＢサブネット１２３０を含むことができる。
【0213】
制御プレーンＶＣＮ１２１６のインターネットゲートウェイ１２３４およびデータプレーンＶＣＮ１２１８のインターネットゲートウェイ１２３４は、パブリックインターネット１２５４に通信可能に接続され得るメタデータ管理サービス１２５２に通信可能に接続されてもよい。パブリックインターネット１２５４は、制御プレーンＶＣＮ１２１６のＮＡＴゲートウェイ１２３８およびデータプレーンＶＣＮ１２１８のＮＡＴゲートウェイ１２３８に通信可能に接続されてもよい。制御プレーンＶＣＮ１２１６のサービスゲートウェイ１２３６およびデータプレーンＶＣＮ１２１８のサービスゲートウェイ１２３６は、クラウドサービス１２５６に通信可能に接続されてもよい。
【0214】
いくつかの例において、制御プレーンＶＣＮ１２１６のサービスゲートウェイ１２３６またはデータプレーンＶＣＮ１２１８のサービスゲートウェイ１２３６は、パブリックインターネット１２５４を経由することなく、クラウドサービス１２５６へのアプリケーションプログラミングインターフェイス（ＡＰＩ）呼び出しを行うことができる。サービスゲートウェイ１２３６からのクラウドサービス１２５６へのＡＰＩ呼び出しは、一方向であり得る。サービスゲートウェイ１２３６は、クラウドサービス１２５６へのＡＰＩ呼び出しを行うことができ、クラウドサービス１２５６は、要求データをサービスゲートウェイ１２３６に送信することができる。しかしながら、クラウドサービス１２５６は、サービスゲートウェイ１２３６へのＡＰＩ呼び出しを開始するこいとができない。
【0215】
いくつかの例において、セキュアホストテナンシ１２０４は、孤立であり得るサービステナンシ１２１９に直接に接続されてもよい。セキュアホストサブネット１２０８は、孤立のシステムとの双方向通信を可能にするＬＰＧ１２１０を介して、ＳＳＨサブネット１２１４と通信することができる。セキュアホストサブネット１２０８をＳＳＨサブネット１２１４に接続することによって、セキュアホストサブネット１２０８は、サービステナンシ１２１９内の他のエンティティにアクセスすることができる。
【0216】
制御プレーンＶＣＮ１２１６は、サービステナンシ１２１９のユーザが所望のリソースを設定またはプロビジョニングすることを可能にする。制御プレーンＶＣＮ１２１６においてプロビジョニングされた所望のリソースは、データプレーンＶＣＮ１２１８において展開または使用されてもよい。いくつかの例において、制御プレーンＶＣＮ１２１６は、データプレーンＶＣＮ１２１８から隔離されてもよく、制御プレーンＶＣＮ１２１６のデータプレーンミラーアプリ層１２４０は、データプレーンミラーアプリ層１２４０およびデータプレーンアプリ層１２４６に含まれ得るＶＮＩＣ１２４２を介して、データプレーンＶＣＮ１２１８のデータプレーンアプリ層１２４６と通信することができる。
【0217】
いくつかの例において、システムのユーザまたは顧客は、要求をメタデータ管理サービス１２５２に通信することができるパブリックインターネット１２５４を介して、例えば、作成、読み取り、更新、または削除（ＣＲＵＤ）操作などの要求を行うことができる。メタデータ管理サービス１２５２は、インターネットゲートウェイ１２３４を介して、要求を制御プレーンＶＣＮ１２１６に通信することができる。要求は、制御プレーンＤＭＺ層１２２０に含まれるＬＢサブネット１２２２によって受信されてもよい。ＬＢサブネット１２２２は、要求が有効であると判断することができ、この判断に応答して、ＬＢサブネット１２２２は、要求を制御プレーンアプリ層１２２４に含まれるアプリサブネット１２２６に送信することができる。要求が検証され、パブリックインターネット１２５４への呼び出しを必要とする場合、パブリックインターネット１２５４への呼び出しを、パブリックインターネット１２５４への呼び出しを行うことができるＮＡＴゲートウェイ１２３８に送信することができる。要求を記憶するためのメモリは、ＤＢサブネット１２３０に格納されてもよい。
【0218】
いくつかの例において、データプレーンミラーアプリ層１２４０は、制御プレーンＶＣＮ１２１６とデータプレーンＶＣＮ１２１８との間の直接通信を容易にすることができる。例えば、構成に対する変更、更新、または他の適切な修正は、データプレーンＶＣＮ１２１８に含まれるリソースに適用されることが望ましい場合がある。制御プレーンＶＣＮ１２１６は、ＶＮＩＣ１２４２を介して、データプレーンＶＣＮ１２１８に含まれるリソースと直接に通信することができるため、構成に対する変更、更新、または他の適切な修正を実行することができる。
【0219】
いくつかの実施形態において、制御プレーンＶＣＮ１２１６およびデータプレーンＶＣＮ１２１８は、サービステナンシ１２１９に含まれてもよい。この場合、システムのユーザまたは顧客は、制御プレーンＶＣＮ１２１６またはデータプレーンＶＣＮ１２１８のいずれかを所有または操作しなくてもよい。代わりに、ＩａａＳプロバイダは、制御プレーンＶＣＮ１２１６およびデータプレーンＶＣＮ１２１８を所有または操作してもよく、これらの両方は、サービステナンシ１２１９に含まれてもよい。この実施形態は、ネットワークの隔離を可能にすることによって、ユーザまたは顧客が他のユーザのリソースまたは他の顧客のリソースと対話することを防止できる。また、この実施形態は、システムのユーザまたは顧客が、記憶するための所望のレベルのセキュリティを有しない可能性のあるパブリックインターネット１２５４に依存する必要なく、データベースをプライベートに記憶することを可能にすることができる。
【0220】
他の実施形態において、制御プレーンＶＣＮ１２１６に含まれるＬＢサブネット１２２２は、サービスゲートウェイ１２３６から信号を受信するように構成されてもよい。この実施形態において、制御プレーンＶＣＮ１２１６およびデータプレーンＶＣＮ１２１８は、パブリックインターネット１２５４を呼び出すことなく、ＩａａＳプロバイダの顧客によって呼び出されるように構成されてもよい。顧客が使用するデータベースは、ＩａａＳプロバイダによって制御され、パブリックインターネット１２５４から隔離され得るサービステナンシ１２１９に格納され得るため、ＩａａＳプロバイダの顧客は、この実施形態を望む場合がある。
【0221】
図１３は、少なくとも１つの実施形態に従って、ＩａａＳアーキテクチャの別の例示的なパラメータを示すブロック図１３００である。サービスオペレータ１３０２（例えば、図１２のサービスオペレータ１２０２）は、仮想クラウドネットワーク（ＶＣＮ）１３０６（例えば、図１２のＶＣＮ１２０６）およびセキュアホストサブネット１３０８（例えば、図１２のセキュアホストサブネット１２０８）を含み得るセキュアホストテナンシ１３０４（例えば、図１２のセキュアホストテナンシ１２０４）に通信可能に接続されてもよい。ＶＣＮ１３０６は、ＳＳＨ ＶＣＮ１３１２に含まれるＬＰＧ１３１０を介してセキュアシェル（ＳＳＨ）ＶＣＮ１３１２（例えば、図１２のＳＳＨ ＶＣＮ１２１２）に通信可能に接続され得るローカルピアリングゲートウェイ（ＬＰＧ）１３１０（例えば、図１２のＬＰＧ１２１０）を含むことができる。ＳＳＨ ＶＣＮ１３１２は、ＳＳＨサブネット１３１４（例えば、図１２のＳＳＨサブネット１２１４）を含むことができ、ＳＳＨ ＶＣＮ１３１２は、制御プレーンＶＣＮ１３１６に含まれるＬＰＧ１３１０を介して制御プレーンＶＣＮ１３１６（例えば、図１２の制御プレーンＶＣＮ１２１６）に通信可能に接続することができる。制御プレーンＶＣＮ１３１６は、サービステナンシ１３１９（例えば、図１２のサービステナンシ１２１９）に含まれてもよく、データプレーンＶＣＮ１３１８（例えば、図１２のデータプレーンＶＣＮ１２１８）は、システムのユーザまたは顧客によって所有または運営され得る顧客テナンシ１３２１に含まれてもよい。
【0222】
制御プレーンＶＣＮ１３１６は、ＬＢサブネット１３２２（例えば、図１２のＬＢサブネット１２２２）を含むことができる制御プレーンＤＭＺ層１３２０（例えば、図１２の制御プレーンＤＭＺ層１２２０）と、アプリサブネット１３２６（例えば、図１２のアプリサブネット１２２６）を含むことができる制御プレーンアプリ層１３２４（例えば、図１２の制御プレーンアプリ層１２２４）と、データベース（ＤＢ）サブネット１３３０（例えば、図１２のＤＢサブネット１２３０と同様）を含むことができる制御プレーンデータ層１３２８（例えば、図１２の制御プレーンデータ層１２２８）とを含むことができる。制御プレーンＤＭＺ層１３２０に含まれるＬＢサブネット１３２２は、制御プレーンアプリ層１３２４に含まれるアプリサブネット１３２６と、制御プレーンＶＣＮ１３１６に含まれ得るインターネットゲートウェイ１３３４（例えば、図１２のインターネットゲートウェイ１２３４）とに通信可能に接続されてもよい。アプリサブネット１３２６は、制御プレーンデータ層１３２８に含まれるＤＢサブネット１３３０、サービスゲートウェイ１３３６（例えば、図１２のサービスゲートウェイ）およびネットワークアドレス変換（ＮＡＴ）ゲートウェイ１３３８（例えば、図１２のＮＡＴゲートウェイ１２３８）に通信可能に接続されてもよい。制御プレーンＶＣＮ１３１６は、サービスゲートウェイ１３３６およびＮＡＴゲートウェイ１３３８を含むことができる。
【0223】
制御プレーンＶＣＮ１３１６は、アプリサブネット１３２６を含むことができるデータプレーンミラーアプリ層１３４０（例えば、図１２のデータプレーンミラーアプリ層１２４０）を含むことができる。データプレーンミラーアプリ層１３４０に含まれるアプリサブネット１３２６は、（例えば、図１２の計算インスタンス１２４４と同様の）計算インスタンス１３４４を実行することができる仮想ネットワークインターフェイスコントローラ（ＶＮＩＣ）１３４２（例えば、ＶＮＩＣ１２４２）を含むことができる。計算インスタンス１３４４は、データプレーンミラーアプリ層１３４０に含まれるＶＮＩＣ１３４２およびデータプレーンアプリ層１３４６に含まれるＶＮＩＣ１３４２を介して、データプレーンミラーアプリ層１３４０のアプリサブネット１３２６と、データプレーンアプリ層１３４６（例えば、図１２のデータプレーンアプリ層１２４６）に含まれ得るアプリサブネット１３２６との間の通信を促進することができる。
【0224】
制御プレーンＶＣＮ１３１６に含まれるインターネットゲートウェイ１３３４は、パブリックインターネット１３５４（例えば、図１２のパブリックインターネット１２５４）に通信可能に接続され得るメタデータ管理サービス１３５２（例えば、図１２のメタデータ管理サービス１２５２）に通信可能に接続されてもよい。パブリックインターネット１３５４は、制御プレーンＶＣＮ１３１６に含まれるＮＡＴゲートウェイ１３３８に通信可能に接続されてもよい。制御プレーンＶＣＮ１３１６に含まれるサービスゲートウェイ１３３６は、クラウドサービス１３５６（例えば、図１２のクラウドサービス１２５６）に通信可能に接続されてもよい。
【0225】
いくつかの例において、データプレーンＶＣＮ１３１８は、顧客テナンシ１３２１に含まれてもよい。この場合、ＩａａＳプロバイダは、顧客ごとに制御プレーンＶＣＮ１３１６を提供することができ、ＩａａＳプロバイダは、顧客ごとに、サービステナンシ１３１９に含まれる固有の計算インスタンス１３４４を構成することができる。各計算インスタンス１３４４は、サービステナンシ１３１９に含まれる制御プレーンＶＣＮ１３１６と、顧客テナンシ１３２１に含まれるデータプレーンＶＣＮ１３１８との間の通信を許可することができる。計算インスタンス１３４４は、サービステナンシ１３１９に含まれる制御プレーンＶＣＮ１３１６においてプロビジョニングされるリソースを、顧客テナンシ１３２１に含まれるデータプレーンＶＣＮ１３１８に展開することまたは使用することを許可することができる。
【0226】
他の例において、ＩａａＳプロバイダの顧客は、顧客テナンシ１３２１に存在するデータベースを有することができる。この例において、制御プレーンＶＣＮ１３１６は、アプリサブネット１３２６を含むことができるデータプレーンマイナーアプリ層１３４０を含むことができる。データプレーンミラーアプリ層１３４０は、データプレーンＶＣＮ１３１８に存在してもよいが、データプレーンミラーアプリ層１３４０は、データプレーンＶＣＮ１３１８に存在しなくてもよい。すなわち、データプレーンミラーアプリ層１３４０は、顧客テナンシ１３２１にアクセスすることができるが、データプレーンミラーアプリ層１３４０は、データプレーンＶＣＮ１３１８に存在しなくてもよく、ＩａａＳプロバイダの顧客によって所有または運営されなくてもよい。データプレーンミラーアプリ層１３４０は、データプレーンＶＣＮ１３１８への呼び出しを行うように構成されてもよいが、制御プレーンＶＣＮ１３１６に含まれる任意のエンティティへの呼び出しを行うように構成されなくてもよい。顧客は、制御プレーンＶＣＮ１３１６にプロビジョニングされたデータプレーンＶＣＮ１３１８内のリソースを展開することまたは使用することを望むことができ、データプレーンミラーアプリケーション階層１３４０は、顧客のリソースの所望の展開または他の使用を促進することができる。
【0227】
いくつかの実施形態において、ＩａａＳプロバイダの顧客は、フィルタをデータプレーンＶＣＮ１３１８に適用することができる。この実施形態において、顧客は、データプレーンＶＣＮ１３１８がアクセスできるものを判断することができ、顧客は、データプレーンＶＣＮ１３１８からのパブリックインターネット１３５４へのアクセスを制限することができる。ＩａａＳプロバイダは、データプレーンＶＣＮ１３１８から任意の外部ネットワークまたはデータベースへのアクセスにフィルタを適用するまたは制御することができない場合がある。顧客が顧客テナンシ１３２１に含まれるデータプレーンＶＣＮ１３１８にフィルタおよび制御を適用することは、データプレーンＶＣＮ１３１８を他の顧客およびパブリックインターネット１３５４から隔離することを支援することができる。
【0228】
いくつかの実施形態において、クラウドサービス１３５６は、サービスゲートウェイ１３３６によって呼び出されて、パブリックインターネット１３５４上に、制御プレーンＶＣＮ１３１６上に、またはデータプレーンＶＣＮ１３１８上に存在していない可能性があるサービスにアクセスすることができる。クラウドサービス１３５６と制御プレーンＶＣＮ１３１６またはデータプレーンＶＣＮ１３１８との間の接続は、ライブまたは連続的でなくてもよい。クラウドサービス１３５６は、ＩａａＳプロバイダによって所有または運営されている別のネットワーク上に存在してもよい。クラウドサービス１３５６は、サービスゲートウェイ１３３６から呼び出しを受信するように構成されてもよく、パブリックインターネット１３５４から呼び出しを受信しないように構成されてもよい。いくつかのクラウドサービス１３５６は、他のクラウドサービス１３５６から隔離されてもよく、制御プレーンＶＣＮ１３１６は、制御プレーンＶＣＮ１３１６と同じ地域に配置していない可能性があるクラウドサービス１３５６から隔離されてもよい。例えば、制御プレーンＶＣＮ１３１６は、「地域１」に配置されてもよく、クラウドサービス「展開１２」は、「地域１」および「地域２」に配置されてもよい。展開１２への呼び出しが地域１に配置された制御プレーンＶＣＮ１３１６に含まれるサービスゲートウェイ１３３６によって行われる場合、この呼び出しは、地域１内の展開１２に送信されてもよい。この例において、制御プレーンＶＣＮ１３１６または地域１の展開１２は、地域２の展開１２と通信可能に接続されなくてもよい。
【0229】
図１４は、少なくとも１つの実施形態に従って、ＩａａＳアーキテクチャの別の例示的なパターンを示すブロック図１４００である。サービスオペレータ１４０２（例えば、図１２のサービスオペレータ１２０２）は、仮想クラウドネットワーク（ＶＣＮ）１４０６（例えば、図１２のＶＣＮ１２０６）およびセキュアホストサブネット１４０８（例えば、図１２のセキュアホストサブネット１２０８）を含み得るセキュアホストテナンシ１４０４（例えば、図１２のセキュアホストテナンシ１２０４）に通信可能に接続されてもよい。ＶＣＮ１４０６は、ＳＳＨ ＶＣＮ１４１２に含まれるＬＰＧ１４１０を介して、ＳＳＨ ＶＣＮ１４１２（例えば、図１２のＳＳＨ ＶＣＮ１２１２）に通信可能に接続され得るＬＰＧ１４１０（例えば、図１２のＬＰＧ１２１０）を含むことができる。ＳＳＨ ＶＣＮ１４１２は、ＳＳＨサブネット１４１４（例えば、図１２のＳＳＨサブネット１２１４）を含むことができ、ＳＳＨ ＶＣＮ１４１２は、制御プレーンＶＣＮ１４１６に含まれるＬＰＧ１４１０を介して制御プレーンＶＣＮ１４１６（例えば、図１２の制御プレーンＶＣＮ１２１６）に通信可能に接続されてもよく、データプレーンＶＣＮ１４１８に含まれるＬＰＧ１４１０を介してデータプレーンＶＣＮ１４１８（例えば、図１２のデータプレーン１２１８）に通信可能に接続されてもよい。制御プレーンＶＣＮ１４１６およびデータプレーンＶＣＮ１４１８は、サービステナンシ１４１９（例えば、図１２のサービステナント１２１９）に含まれてもよい。
【0230】
制御プレーンＶＣＮ１４１６は、ロードバランサ（ＬＢ）サブネット１４２２（例えば、図１２のＬＢサブネット１２２２）を含むことができる制御プレーンＤＭＺ層１４２０（例えば、図１２の制御プレーンＤＭＺ層１２２０）と、アプリサブネット１４２６（例えば、図１２のアプリサブネット１２２６と同様）を含むことができる制御プレーンアプリ層１４２４（例えば、図１２の制御プレーンアプリ層１２２４）と、ＤＢサブネット１４３０を含むことができる制御プレーンデータ層１４２８（例えば、図１２の制御プレーンデータ層１２２８）とを含むことができる。制御プレーンＤＭＺ層１４２０に含まれるＬＢサブネット１４２２は、制御プレーンアプリ層１４２４に含まれるアプリサブネット１４２６と、制御プレーンＶＣＮ１４１６に含まれ得るインターネットゲートウェイ１４３４（例えば、図１２のインターネットゲートウェイ１２３４）とに通信可能に接続されてもよい。アプリサブネット１４２６は、制御プレーンデータ層１４２８に含まれるＤＢサブネット１４３０と、サービスゲートウェイ１４３６（例えば、図１２のサービスゲートウェイ）およびネットワークアドレス変換（ＮＡＴ）ゲートウェイ１４３８（例えば、図１２のＮＡＴゲートウェイ１２３８）とに通信可能に接続されてもよい。制御プレーンＶＣＮ１４１６は、サービスゲートウェイ１４３６およびＮＡＴゲートウェイ１４３８を含むことができる。
【0231】
データプレーンＶＣＮ１４１８は、データプレーンアプリ層１４４６（例えば、図１２のデータプレーンアプリ層１２４６）と、データプレーンＤＭＺ層１４４８（例えば、図１２のデータプレーンＤＭＺ層１２４８）と、データプレーンデータ層１４５０（例えば、図１２のデータプレーンデータ階層１２５０）とを含むことができる。データプレーンＤＭＺ層１４４８は、データプレーンＶＣＮ１４１８に含まれるデータプレーンアプリ層１４４６およびインターネットゲートウェイ１４３４の信頼できるアプリサブネット１４６０および信頼できないアプリサブネット１４６２に通信可能に接続され得るＬＢサブネット１４２２を含むことができる。信頼できるアプリサブネット１４６０は、データプレーンＶＣＮ１４１８に含まれるサービスゲートウェイ１４３６、データプレーンＶＣＮ１４１８に含まれるＮＡＴゲートウェイ１４３８、およびデータプレーンデータ層１４５０に含まれるＤＢサブネット１４３０に通信可能に接続されてもよい。信頼できないアプリサブネット１４６２は、データプレーンＶＣＮ１４１８に含まれるサービスゲートウェイ１４３６、およびデータプレーンデータ層１４５０に含まれるＤＢサブネット１４３０に通信可能に接続されてもよい。データプレーンデータ層１４５０は、データプレーンＶＣＮ１４１８に含まれるサービスゲートウェイ１４３６に通信可能に接続され得るＤＢサブネット１４３０を含むことができる。
【0232】
信頼できないアプリサブネット１４６２は、テナント仮想マシン（ＶＭ）１４６６（１）～（Ｎ）に通信可能に接続され得る１つ以上のプライマリＶＮＩＣ１４６４（１）～（Ｎ）を含むことができる。各テナントＶＭ１４６６（１）～（Ｎ）は、それぞれの顧客テナンシ１４７０（１）～（Ｎ）に含まれ得るそれぞれのコンテナ送信ＶＣＮ１４６８（１）～（Ｎ）に含まれ得るそれぞれのアプリサブネット１４６７（１）～（Ｎ）に通信可能に接続されてもよい。それぞれのセカンダリＶＮＩＣ１４７２（１）～（Ｎ）は、データプレーンＶＣＮ１４１８に含まれる信頼できないアプリサブネット１４６２と、コンテナ送信ＶＣＮ１４６８（１）～（Ｎ）に含まれるアプリサブネットとの間の通信を促進することができる。各コンテナ送信ＶＣＮ１４６８（１）～（Ｎ）は、パブリックインターネット１４５４（例えば、図１２のパブリックインターネット１２５４）に通信可能に接続され得るＮＡＴゲートウェイ１４３８を含むことができる。
【0233】
制御プレーンＶＣＮ１４１６に含まれるインターネットゲートウェイ１４３４およびデータプレーンＶＣＮ１４１８に含まれるインターネットゲートウェイ１４３４は、パブリックインターネット１４５４に通信可能に接続され得るメタデータ管理サービス１４５２（例えば、図１２のメタデータ管理システム１２５２）に通信可能に接続されてもよい。パブリックインターネット１４５４は、制御プレーンＶＣＮ１４１６に含まれるＮＡＴゲートウェイ１４３８およびデータプレーンＶＣＮ１４１８に含まれるＮＡＴゲートウェイ１４３８に通信可能に接続されてもよい。制御プレーンＶＣＮ１４１６に含まれるサービスゲートウェイ１４３６およびデータプレーンＶＣＮ１４１８に含まれるサービスゲートウェイ１４３６は、クラウドサービス１４５６に通信可能に接続されてもよい。
【0234】
いくつかの実施形態において、データプレーンＶＣＮ１４１８は、顧客テナンシ１４７０に統合されてもよい。この統合は、コードを実行するときにサポートを望む場合がある場合などのいくつかの場合において、ＩａａＳプロバイダの顧客にとって有用または望ましい場合がある。顧客は、実行すると、破壊的であり得る、他の顧客リソースと通信し得る、または望ましくない影響を引き起こし得るコードを提供することがある。従って、ＩａａＳプロバイダは、顧客がＩａａＳプロバイダに提供したコードを実行するか否かを判断することができる。
【0235】
いくつかの例において、ＩａａＳプロバイダの顧客は、一時的なネットワークアクセスをＩａａＳプロバイダに許可することができ、データプレーンアプリ層１４４６に追加する機能を要求することができる。機能を実行するためのコードは、ＶＭ１４６６（１）～（Ｎ）で実行されてもよいが、データプレーンＶＣＮ１４１８上の他の場所で実行されるように構成されることができない。各ＶＭ１４６６（１）～（Ｎ）は、１つの顧客テナンシ１４７０に接続されてもよい。ＶＭ１４６６（１）～（Ｎ）に含まれるそれぞれのコンテナ１４７１（１）～（Ｎ）は、コードを実行するように構成されてもよい。この場合、二重の隔離（例えば、コンテナ１４７１（１）～（Ｎ）は、コードを実行し、コンテナ１４７１（１）～（Ｎ）は、少なくとも、信頼できないアプリサブネット１４６２に含まれるＶＭ１４６６（１）～（Ｎ）に含まれ得る）が存在してもよく、これは、誤ったコードまたは望ましくないコードがＩａａＳプロバイダのネットワークに損傷を与えること、または異なる顧客のネットワークに損傷を与えることを防止することを支援することができる。コンテナ１４７１（１）～（Ｎ）は、顧客テナンシ１４７０に通信可能に接続されてもよく、顧客テナンシ１４７０からデータを送信または受信するように構成されてもよい。コンテナ１４７１（１）～（Ｎ）は、データプレーンＶＣＮ１４１８内の任意の他のエンティティからデータを送信または受信するように構成されなくてもよい。コードの実行が完了すると、ＩａａＳ提供者は、コンテナ１４７１（Ｉ）～（Ｎ）をキルするまたは廃棄することができる。
【0236】
いくつかの実施形態において、信頼できるアプリサブネット１４６０は、ＩａａＳプロバイダによって所有または運営され得るコードを実行することができる。この実施形態において、信頼できるアプリサブネット１４６０は、ＤＢサブネット１４３０に通信可能に接続され、ＤＢサブネット１４３０においてＣＲＵＤ操作を実行するように構成されてもよい。信頼できないアプリサブネット１４６２は、ＤＢサブネット１４３０に通信可能に接続され得るが、この実施形態において、信頼できないアプリサブネットは、ＤＢサブネット１４３０内で読み取り操作を実行するように構成されてもよい。各顧客のＶＭ１４６６（１）～（Ｎ）に含まれ、顧客からのコードを実行することができるコンテナ１４７１（１）～（Ｎ）は、ＤＢサブネット１４３０と通信可能に接続されなくてもよい。
【0237】
他の実施形態において、制御プレーンＶＣＮ１４１６およびデータプレーンＶＣＮ１４１８は、通信可能に直接に結合されなくてもよい。この実施形態において、制御プレーンＶＣＮ１４１６とデータプレーンＶＣＮ１４１８との間に直接的な通信は、存在していない可能性がある。しかしながら、少なくとも１つの方法による間接的な通信は、存在してもよい。制御プレーンＶＣＮ１４１６とデータプレーンＶＣＮ１４１８との間の通信を容易にすることができるＬＰＧ１４１０が、ＩａａＳプロバイダによって確立されてもよい。別の例において、制御プレーンＶＣＮ１４１６またはデータプレーンＶＣＮ１４１８は、サービスゲートウェイ１４３６を介してクラウドサービス１４５６への呼び出しを行うことができる。例えば、制御プレーンＶＣＮ１４１６からクラウドサービス１４５６への呼び出しは、データプレーンＶＣＮ１４１８と通信することができるサービスの要求を含むことができる。
【0238】
図１５は、少なくとも１つの実施形態に従って、ＩａａＳアーキテクチャの別の例示的なパラメータを示すブロック図１５００である。サービスオペレータ１５０２（例えば、図１２のサービスオペレータ１２０２）は、仮想クラウドネットワーク（ＶＣＮ）１５０６（例えば、図１２のＶＣＮ１２０６）およびセキュアホストサブネット１５０８（例えば、図１２のセキュアホストサブネット１２０８）を含み得るセキュアホストテナンシ１５０４（例えば、図１２のセキュアホストテナンシ１２０４）に通信可能に接続されてもよい。ＶＣＮ１５０６は、ＳＳＨ ＶＣＮ１５１２に含まれるＬＰＧ１５１０を介してＳＳＨ ＶＣＮ１５１２（例えば、図１２のＳＳＨ ＶＣＮ１２１２）に通信可能に接続され得るＬＰＧ１５１０（例えば、図１２のＬＰＧ１２１０）を含むことができる。ＳＳＨ ＶＣＮ１５１２は、ＳＳＨサブネット１５１４（例えば、図１２のＳＳＨサブネット１２１４）を含むことができ、ＳＳＨ ＶＣＮ１５１２は、制御プレーンＶＣＮ１５１６に含まれるＬＰＧ１５１０を介して制御プレーンＶＣＮ１５１６（例えば、図１２の制御プレーンＶＣＮ１２１６）に通信可能に接続されてもよく、データプレーンＶＣＮ１５１８に含まれるＬＰＧ１５１０を介してデータプレーンＶＣＮ１５１８（例えば、図１２のデータプレーン１２１８）に通信可能に接続されてもよい。制御プレーンＶＣＮ１５１６およびデータプレーンＶＣＮ１５１８は、サービステナンシ１５１９（例えば、図１２のサービステナンシ１２１９）に含まれてもよい。
【0239】
制御プレーンＶＣＮ１５１６は、ＬＢサブネット１５２２（例えば、図１２のＬＢサブネット１２２２）を含み得る制御プレーンＤＭＺ層１５２０（例えば、図１２の制御プレーンＤＭＺ層１２２０）、アプリサブネット１５２６（例えば、図１２のアプリサブネット１２２６）を含み得る制御プレーンアプリ層１５２４（例えば、図１２の制御プレーンアプリ層１２２４）、ＤＢサブネット１５３０（例えば、図１４のＤＢサブネット１４３０）を含み得る制御プレーンデータ層１５２８（例えば、図１２の制御プレーンデータ層１２２８）を含むことができる。制御プレーンＤＭＺ層１５２０に含まれるＬＢサブネット１５２２は、制御プレーンアプリ層１５２４に含まれるアプリサブネット１５２６と、制御プレーンＶＣＮ１５１６に含まれ得るインターネットゲートウェイ１５３４（例えば、図１２のインターネットゲートウェイ１２３４）とに通信可能に接続されてもよい。アプリサブネット１５２６は、制御プレーンデータ層１５２８に含まれるＤＢサブネット１５３０と、サービスゲートウェイ１５３６（例えば、図１２のサービスゲートウェイ）およびネットワークアドレス変換（ＮＡＴ）ゲートウェイ１５３８（例えば、図１２のＮＡＴゲートウェイ１２３８）とに通信可能に接続されてもよい。制御プレーンＶＣＮ１５１６は、サービスゲートウェイ１５３６およびＮＡＴゲートウェイ１５３８を含むことができる。
【0240】
データプレーンＶＣＮ１５１８は、データプレーンアプリ層１５４６（例えば、図１２のデータプレーンアプリ層１２４６）、データプレーンＤＭＺ層１５４８（例えば、図１２のデータプレーンＤＭＺ層１２４８）、およびデータプレーンデータ層１５５０（例えば、図１２のデータプレーンデータ層１２５０）を含むことができる。データプレーンＤＭＺ層１５４８は、データプレーンアプリ層１５４６の信頼できるアプリサブネット１５６０（例えば、図１４の信頼できるアプリサブネット１４６０）および信頼できないアプリサブネット１５６２（例えば、図１４の信頼できないアプリサブネット１４６２）およびデータプレーンＶＣＮ１５１８に含まれるインターネットゲートウェイ１５３４に通信可能に接続され得るＬＢサブネット１５２２を含むことができる。信頼できるアプリサブネット１５６０は、データプレーンＶＣＮ１５１８に含まれるサービスゲートウェイ１５３６、データプレーンＶＣＮ１５１８に含まれるＮＡＴゲートウェイ１５３８、およびデータプレーンデータ層１５５０に含まれるＤＢサブネット１５３０に通信可能に接続されてもよい。信頼できないアプリサブネット１５６２は、データプレーンＶＣＮ１５１８に含まれるサービスゲートウェイ１５３６、およびデータプレーンデータ層１５５０に含まれるＤＢサブネット１５３０に通信可能に接続されてもよい。データプレーンデータ層１５５０は、データプレーンＶＣＮ１５１８に含まれるサービスゲートウェイ１５３６に通信可能に接続され得るＤＢサブケット１５３０を含むことができる。
【0241】
信頼できないアプリサブネット１５６２は、信頼できないアプリサブネット１５６２に常駐するテナント仮想マシン（ＶＭ）１５６６（１）～（Ｎ）に通信可能に接続され得るプライマリＹＮＩＣ１５６４（１）～（Ｎ）を含むことができる。各テナントＶＭ１５６６（１）～（Ｎ）は、それぞれのコンテナ１５６７（１）～（Ｎ）においてコードを実行することができ、コンテナ送信ＶＣＮ１５６８に含まれ得るデータプレーンアプリ層１５４６に含まれ得るアプリサブネット１５２６に通信可能に接続されてもよい。各セカンダリＶＮＩＣ１５７２（１）～（Ｎ）は、データプレーンＶＣＮ１５１８に含まれる信頼できないアプリサブネット１５６２とコンテナ送信ＶＣＮ１５６８に含まれるアプリサブネットとの間の通信を促進することができる。コンテナ送信ＶＣＮは、パブリックインターネット１５５４（例えば、図２４のパブリックインターネット１２５４）に通信可能に接続することができるＮＡＴゲートウェイ１５３８を含むことができる。
【0242】
制御プレーンＶＣＮ１５１６に含まれるインターネットゲートウェイ１５３４およびデータプレーンＶＣＮ１５１８に含まれるインターネットゲートウェイ１５３４は、パブリックインターネット１５５４に通信可能に接続され得るメタデータ管理サービス１５５２（例えば、図１２のメタデータ管理システム１２５２）に通信可能に接続されてもよい。パブリックインターネット１５５４は、制御プレーンＶＣＮ１５１６に含まれるＮＡＴゲートウェイ１５３８およびデータプレーンＶＣＮ１５１８に含まれるＮＡＴゲートウェイ１５３８に通信可能に接続されてもよい。制御プレーンＶＣＮ１５１６に含まれるサービスゲートウェイ１５３６およびデータプレーンＶＣＮ１５１８に含まれるサービスゲートウェイ１５３６は、クラウドサービス１５５６に通信可能に接続されてもよい。
【0243】
いくつかの例において、図１５のブロック図１５００のアーキテクチャによって示されたパターンは、図１４のブロック図１４００のアーキテクチャによって示されたパターンの例外と考えられ、ＩａａＳプロバイダが顧客と直接に通信できない（例えば、非接続地域）場合、ＩａａＳプロバイダの顧客にとって望ましいことがある。顧客は、各顧客のＶＭ１５６６（１）～（Ｎ）に含まれるそれぞれのコンテナ１５６７（１）～（Ｎ）にリアルタイムでアクセスすることができる。コンテナ１５６７（１）～（Ｎ）は、コンテナ送信ＶＣＮ１５６８に含まれ得るデータプレーンアプリ層１５４６のアプリサブネット１５２６に含まれるそれぞれのセカンダリＶＮＩＣ１５７２（１）～（Ｎ）を呼び出すように構成されてもよい。セカンダリＶＮＩＣ１５７２（１）～（Ｎ）は、パブリックインターネット１５５４に呼び出しを送信することができるＮＡＴゲートウェイ１５３８に呼び出しを送信することができる。この例において、顧客がリアルタイムでアクセスできるコンテナ１５６７（１）～（Ｎ）は、制御プレーンＶＣＮ１５１６から隔離されてもよく、データプレーンＶＣＮ１５１８に含まれる他のエンティティから隔離されてもよい。また、コンテナ１５６７（１）～（Ｎ）は、他の顧客のリソースから隔離されてもよい。
【0244】
他の例において、顧客は、コンテナ１５６７（１）～（Ｎ）を使用して、クラウドサービス１５５６を呼び出すことができる。この例では、顧客は、コンテナ１５６７（１）～（Ｎ）において、クラウドサービス１５５６からサービスを要求するコードを実行することができる。コンテナ１５６７（１）～（Ｎ）は、要求をパブリックインターネット１５５４に送信することができるＮＡＴゲートウェイに要求を送信することができるセカンダリＶＮＩＣ１５７２（１）～（Ｎ）にこの要求を送信することができる。パブリックインターネット１５５４は、インターネットゲートウェイ１５３４を介して、制御プレーンＶＣＮ１５１６に含まれるＬＢサブネット１５２２にこの要求を送信することができる。要求が有効であるとの判断に応答して、ＬＢサブネットは、この要求をアプリサブネット１５２６に送信することができ、アプリサブネット１５２６は、サービスゲートウェイ１５３６を介して、この要求をクラウドサービス１５５６に要求を送信することができる。
【0245】
なお、図示されたＩａａＳアーキテクチャ１２００、１３００、１４００および１５００は、図示されたもの以外の要素を含んでもよい。また、図示された実施形態は、本開示の実施形態を組み込むことができるクラウドインフラストラクチャシステムの一部の例に過ぎない。他のいくつかの実施形態において、ＩａａＳシステムは、図示されたものよりも多いまたは少ない要素を有してよく、２つ以上の要素を組み合わせてよく、または要素の異なる構成または配置を有してよい。
【0246】
特定の実施形態において、本開示に記載されたＩａａＳシステムは、セルフサービス、サブスクリプションベース、柔軟な拡張可能性、信頼性、高可用性、および安全な方法で顧客に提供されるアプリケーション、ミドルウェア、およびデータベースサービスのスイートを含むことができる。このようなＩａａＳシステムの一例は、本出願人によって提供されたオラクル（登録商標）クラウドインフラストラクチャ（ＯＣＩ）である。
【0247】
図１６は、様々な実施形態を実施できる例示的なコンピュータシステム１６００を示す。システム１６００は、上述したコンピュータシステムのいずれかを実装するために使用されてもよい。図示のように、コンピュータシステム１６００は、バスサブシステム１６０２を介して多数の周辺サブシステムと通信する処理ユニット１６０４を含む。これらの周辺サブシステムは、処理加速ユニット１６０６、Ｉ／Ｏサブシステム１６０８、記憶サブシステム１６１８、および通信サブシステム１６２４を含んでもよい。記憶サブシステム１６１８は、有形のコンピュータ可読記憶媒体１６２２およびシステムメモリ１６１０を含む。
【0248】
バスサブシステム１６０２は、コンピュータシステム１６００の様々な構成要素およびサブシステムを意図したように相互に通信させるための機構を提供する。バスサブシステム１６０２は、単一のバスとして概略的に示されているが、バスサブシステムの代替的な実施形態は、複数のバスを利用してもよい。バスサブシステム１６０２は、メモリバスまたはメモリコントローラ、周辺バス、および様々なバスアーキテクチャのいずれかを使用するローカルバスを含む、いくつかの種類のバス構造のいずれかであってもよい。例えば、このようなアーキテクチャは、業界標準アーキテクチャ（ＩＳＡ）バス、マイクロチャネルアーキテクチャ（ＭＣＡ）、バス拡張ＩＳＡ（ＥＩＳＡ）バス、ビデオ電子標準協会（ＶＥＳＡ）ローカルバス、およびＩＥＥＥ Ｐ１３８６．１標準に準拠して製造されたメザニンバスとして実装できる周辺機器相互接続（ＰＣＩ）バスなどを含むことができる。
【0249】
１つ以上の集積回路（例えば、従来のマイクロプロセッサまたはマイクロコントローラ）として実装され得る処理ユニット１６０４は、コンピュータシステム１６００の動作を制御する。処理ユニット１６０４は、１つ以上のプロセッサを含んでもよい。これらのプロセッサは、シングルコアまたはマルチコアプロセッサを含んでもよい。いくつかの実施形態において、処理ユニット１６０４は、各処理ユニットに含まれるシングルコアまたはマルチコアプロセッサを有する１つ以上の独立した処理ユニット１６３２および／または１６３４として実装されてもよい。他の実施形態において、処理ユニット１６０４は、２つのデュアルコアプロセッサを単一のチップに統合することによって形成されたクワッドコア（quad-core）処理ユニットとして実装されてもよい。
【0250】
様々な実施形態において、処理ユニット１６０４は、プログラムコードに応答して様々なプログラムを実行することができ、同時に実行する複数のプログラムまたはプロセスを維持することができる。任意の時点で、実行されるプログラムコードの一部または全部は、プロセッサ１６０４および／または記憶サブシステム１６１８に常駐することができる。プロセッサ１６０４は、適切なプログラミングを通して、上述した様々な機能性を提供することができる。コンピュータシステム１６００は、デジタル信号プロセッサ（ＤＳＰ）、専用プロセッサおよび／または同種のものを含むことができる処理加速ユニット１６０６をさらに含んでもよい。
【0251】
Ｉ／Ｏサブシステム１６０８は、ユーザインターフェイス入力装置と、ユーザインターフェイス出力装置とを含むことができる。ユーザインターフェイス入力装置は、キーボード、マウスまたはトラックボールなどのポインティング装置、ディスプレイに組み込まれたタッチパッドまたはタッチスクリーン、スクロールホイール、クリックホイール、ダイヤル、ボタン、スイッチ、キーパッド、音声命令認識システムを備える音声入力装置、マイクロフォン、および他の種類の入力装置を含んでもよい。また、ユーザインターフェイス入力装置は、例えば、Microsoft Kinect（登録商標）モーションセンサのようなモーション検知および／またはジェスチャ認識装置を含んでもよい。Microsoft Kinect（登録商標）モーションセンサは、ジェスチャおよび音声命令を利用する自然ユーザインターフェイス（NUI）を介して、Microsoft Xbox（登録商標）３６０ゲームコントローラなどの入力装置を制御することができ、それと対話することができる。また、ユーザインターフェイス入力装置は、Google Glass（登録商標）瞬き検出器のような眼球ジェスチャ認識装置を含むことができる。Google Glass（登録商標）瞬き検出器は、ユーザの眼球活動（例えば、写真を撮るときおよび／またはメニューを選択するときの「瞬き」）を検出し、眼球活動を入力装置（例えば、Google Glass（登録商標））に入力する入力に変換する。さらに、ユーザインターフェイス入力装置は、音声命令を介してユーザと音声認識システム（例えば、Siri（登録商標）ナビゲータ）との対話を可能にする音声認識検出装置を含んでもよい。
【0252】
また、ユーザインターフェイス入力装置は、三次元（３Ｄ）マウス、ジョイスティックまたはポインティングスティック、ゲームパッド、グラフィックタブレット、スピーカなどのオーディオ／ビジュアル装置、デジタルカメラ、デジタルビデオカメラ、ポータブルメディアプレーヤ、ウェブカメラ、イメージスキャナ、指紋スキャナ、バーコードリーダ、３Ｄスキャナ、３Ｄプリンタ、レーザ距離計、および視線追跡装置を含むがこれらに限定されない。さらに、ユーザインターフェイス入力装置は、例えば、コンピュータ断層撮影装置、磁気共鳴像装置、超音波放射断層撮影装置、および医療用超音波装置などのような医用画像入力装置を含んでもよい。また、ユーザインターフェイス入力装置は、例えば、ＭＩＤＩキーボードおよび電子楽器などの音声入力装置を含んでもよい。
【0253】
ユーザインターフェイス出力装置は、ディスプレイサブシステム、インジケータライト、またはオーディオ出力装置などの非視覚ディスプレイを含んでもよい。ディスプレイサブシステムは、例えば、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）またはプラズマディスプレイを使用するフラットパネル装置、投射装置またはタッチスクリーンであってもよい。一般的に、「出力装置」という用語を使用する場合、コンピュータシステム１６００から情報をユーザまたは他のコンピュータに出力するための全ての可能な種類の装置および機構を含むことを意図している。例えば、ユーザインターフェイス出力装置は、文字、画像およびオーディオ／ビデオ情報を視覚的に伝達するさまざまな表示装置、例えば、モニタ、プリンタ、スピーカ、ヘッドフォン、カーナビゲーションシステム、プロッタ、音声出力装置、およびモデムを含むがこれらに限定されない。
【0254】
コンピュータシステム１６００は、記憶サブシステム１６１８を含むことができる。記憶サブシステム１６１８は、ソフトウェア要素を備え、図示では、これらのソフトウェア要素は、システムメモリ１６１０内に配置されている。システムメモリ１６１０は、処理ユニット１６０４にロード可能および実行可能なプログラム命令、およびこれらのプログラムの実行により生成されたデータを記憶することができる。
【0255】
コンピュータシステム１６００の構成および種類に応じて、システムメモリ１６１０は、揮発性メモリ（例えば、ランダムアクセスメモリ（random access memory：ＲＡＭ））であってもよく、および／または、不揮発性メモリ（例えば、読取り専用メモリ（read-only memory：ＲＯＭ）、フラッシュメモリ）であってもよい。一般的に、ＲＡＭは、処理ユニット１６０４がすぐにアクセス可能なデータおよび／またはプログラムモジュール、および／または、処理ユニット１６０４によって現在操作および実行されているデータおよび／またはプログラムモジュールを収容する。いくつかの実現例では、システムメモリ１６１０は、スタティックランダムアクセスメモリ（static random access memory：ＳＲＡＭ）またはダイナミックランダムアクセスメモリ（dynamic random access memory：ＤＲＡＭ）などの複数の異なるタイプのメモリを含み得る。いくつかの実現例では、始動中などにコンピュータシステム１６００内の要素間で情報を転送することを助ける基本ルーチンを含む基本入力／出力システム（basic input/output system：ＢＩＯＳ）が、一般的にＲＯＭに格納され得る。一例としておよび非限定的に、システムメモリ１６１０は、クライアントアプリケーション、ウェブブラウザ、中間層アプリケーション、リレーショナルデータベース管理システム（relational database management system：ＲＤＢＭＳ）などを含み得るアプリケーションプログラム１６１２、プログラムデータ１６１４およびオペレーティングシステム１６１６も示す。一例として、オペレーティングシステム１６１６は、マイクロソフトウィンドウズ（登録商標）、Apple Macintosh（登録商標）および／もしくはＬｉｎｕｘ（登録商標）オペレーティングシステムのさまざまなバージョン、さまざまな市販のＵＮＩＸ（登録商標）もしくはＵＮＩＸライクオペレーティングシステム（さまざまなＧＮＵ／Ｌｉｎｕｘオペレーティングシステム、Google Chrome（登録商標）ＯＳなどを含むが、これらに限定されるものではない）、および／または、ｉＯＳ、Windows（登録商標）フォン、アンドロイド（登録商標）ＯＳ、ブラックベリー（登録商標）１６ ＯＳおよびパーム（登録商標）ＯＳオペレーティングシステムなどのモバイルオペレーティングシステムを含み得る。
【0256】
また、記憶サブシステム１６１８は、いくつかの実施例の機能を提供する基本的なプログラミングおよびデータ構造を格納するための有形のコンピュータ可読記憶媒体を提供することができる。プロセッサによって実行されたときに上記の機能を提供するソフトウェア（プログラム、コードモジュール、命令）は、記憶サブシステム１６１８に記憶されてもよい。これらのソフトウェアモジュールまたは命令は、処理ユニット１６０４によって実行されてもよい。また、記憶サブシステム１６１８は、本開示に従って使用されるデータを記憶するためのリポジトリを提供することができる。
【0257】
また、記憶サブシステム１６１０は、コンピュータ可読記憶媒体１６２２にさらに接続可能なコンピュータ可読記憶媒体リーダ１６２０を含むことができる。コンピュータ可読記憶媒体１６２２は、システムメモリ１６１０と共に、または必要に応じてシステムメモリ１６１０と組み合わせて、コンピュータ可読情報を一時的におよび／または永久に収容、格納、送信および検索するための記憶媒体に加えて、リモート記憶装置、ローカル記憶装置、固定的な記憶装置および／または取外し可能な記憶装置を包括的に表すことができる。
【0258】
また、コードまたはコードの一部を含むコンピュータ可読記憶媒体１６２２は、当該技術分野において公知のまたは使用される任意の適切な媒体を含んでもよい。当該媒体は、情報の格納および／または送信のための任意の方法または技術において実現される揮発性および不揮発性の、取外し可能および取外し不可能な媒体などであるが、これらに限定されるものではない記憶媒体および通信媒体を含む。これは、ＲＡＭ、ＲＯＭ、電子的消去・プログラム可能ＲＯＭ（electronically erasable programmable ROM：ＥＥＰＲＯＭ）、フラッシュメモリもしくは他のメモリ技術、ＣＤ－ＲＯＭ、デジタル多用途ディスク（digital versatile disk：ＤＶＤ）、または他の光学式記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置もしくは他の磁気記憶装置、または他の有形のコンピュータ可読媒体などの有形のコンピュータ可読記憶媒体を含むことができる。また、これは、データ信号、データ送信などの無形のコンピュータ可読媒体、または、所望の情報を送信するために使用可能であり且つコンピュータシステム１６００によってアクセス可能なその他の媒体を含むことができる。
【0259】
一例として、コンピュータ可読記憶媒体１６２２は、取外し不可能な不揮発性磁気媒体から読取るまたは当該媒体に書込むハードディスクドライブ、取外し可能な不揮発性磁気ディスクから読取るまたは当該ディスクに書込む磁気ディスクドライブ、ならびに、ＣＤ ＲＯＭ、ＤＶＤおよびブルーレイ（登録商標）ディスクまたは他の光学式媒体などの取外し可能な不揮発性光学ディスクから読取るまたは当該ディスクに書込む光学式ディスクドライブを含んでもよい。コンピュータ可読記憶媒体１６２２は、ジップ（登録商標）ドライブ、フラッシュメモリカード、ユニバーサルシリアルバス（universal serial bus：ＵＳＢ）フラッシュドライブ、セキュアデジタル（secure digital：ＳＤ）カード、ＤＶＤディスク、デジタルビデオテープなどを含み得るが、これらに限定されるものではない。また、コンピュータ可読記憶媒体１６２２は、フラッシュメモリベースのＳＳＤ、企業向けフラッシュドライブ、ソリッドステートＲＯＭなどの不揮発性メモリに基づくソリッドステートドライブ（solid-state drive：ＳＳＤ）、ソリッドステートＲＡＭ、ダイナミックＲＡＭ、スタティックＲＡＭなどの揮発性メモリに基づくＳＳＤ、ＤＲＡＭベースのＳＳＤ、磁気抵抗ＲＡＭ（magnetoresistive RAM：ＭＲＡＭ）ＳＳＤ、およびＤＲＡＭとフラッシュメモリベースのＳＳＤとの組み合わせを使用するハイブリッドＳＳＤを含んでもよい。ディスクドライブおよびそれらの関連のコンピュータ可読媒体は、コンピュータ可読命令、データ構造、プログラムモジュールおよび他のデータの不揮発性記憶装置をコンピュータシステム１６００に提供することができる。
【0260】
通信サブシステム１６２４は、他のコンピュータシステムおよびネットワークとのインターフェイスを提供する。通信サブシステム１６２４は、他のシステムからデータを受信し、コンピュータシステム１６００から他のシステムにデータを送信するためのインターフェイスの役割を果たす。例えば、通信サブシステム１６２４は、コンピュータシステム１６００がインターネットを介して１つ以上の装置に接続することを可能にし得る。いくつかの実施例では、通信サブシステム１６２４は、（例えば３Ｇ、４ＧまたはＥＤＧＥ（enhanced data rates for global evolution）などの携帯電話技術、高度データネットワーク技術を用いて）無線音声および／またはデータネットワークにアクセスするための無線周波数（radio frequency：ＲＦ）トランシーバ構成要素、ＷｉＦｉ（ＩＥＥＥ８０２．１１ファミリ標準または他のモバイル通信技術またはそれらの任意の組み合わせ）、全地球測位システム（global positioning system：ＧＰＳ）レシーバ構成要素、および／または、他の構成要素を含んでもよい。いくつかの実施例では、通信サブシステム１６２４は、無線インターフェイスに加えて、または無線インターフェイスの代わりに、有線ネットワーク接続（例えばイーサネット）を提供することができる。
【0261】
また、いくつかの実施例において、通信サブシステム１６２４は、コンピュータシステム１６００を使用し得る１人以上のユーザを代表して、構造化されたおよび／または構造化されていないデータフィード１６２６、イベントストリーム１６２８、イベント更新１６３０などの形態で入力通信を受信することができる。
【0262】
一例として、通信サブシステム１６２４は、ツイッター（登録商標）フィード、フェースブック（登録商標）更新、リッチ・サイト・サマリ（Rich Site Summary：ＲＳＳ）フィードなどのウェブフィードなどのデータフィード１６２６をリアルタイムでソーシャルネットワークおよび／または他の通信サービスのユーザから受信し、および／または、１つ以上の第三者情報源からリアルタイム更新を受信するように構成されてもよい。
【0263】
また、通信サブシステム１６２４は、連続的なデータストリームの形態でデータを受信するように構成され得て、当該データは、連続的である場合もあれば本質的に明確な端部を持たない状態で境界がない場合もあるリアルタイムイベントのイベントストリーム１６２８および／またはイベント更新１６３０を含んでもよい。連続的なデータを生成するアプリケーションの例としては、例えばセンサデータアプリケーション、金融ティッカ、ネットワーク性能測定ツール（例えばネットワークモニタリングおよびトラフィック管理アプリケーション）、クリックストリーム分析ツール、自動車交通モニタリングなどを含んでもよい。
【0264】
また、通信サブシステム１６２４は、構造化されたおよび／または構造化されていないデータフィード１６２６、イベントストリーム１６２８、イベント更新１６３０などを、コンピュータシステム１６００に接続されている１つ以上のストリーミングデータソースコンピュータと通信し得る１つ以上のデータベースに出力するように構成されてもよい。
【0265】
コンピュータシステム１６００は、手持ち式携帯機器（例えば、iPhone（登録商標）携帯電話、iPad（登録商標）計算タブレット、ＰＤＡ）、ウェアラブル装置（例えば、Google Glass（登録商標）ヘッドマウントディスプレイ）、ＰＣ、ワークステーション、メインフレーム、キオスク、サーバラックまたはその他のデータ処理システムを含む様々な種類のうちの１つであってもよい。
【0266】
コンピュータおよびネットワークが絶え間なく進化し続けるため、図示されたコンピュータシステム１６００の説明は、特定の例として意図されているにすぎない。図示されたシステムよりも多くのまたは少ない数の構成要素を有する多くの他の構成も可能である。例えば、ハードウェア、ファームウェア、（アプレットを含む）ソフトウェア、または組み合わせにおいて、カスタマイズされたハードウェアも使用されてもよく、および／または、特定の要素が実装されてもよい。さらに、ネットワーク入力／出力装置などの他の計算装置への接続が利用されてもよい。本開示において提供される開示および教示に基づいて、当業者は、様々な実施例を実現するための他の手段および／または方法を理解するであろう。
【0267】
本開示の特定の実施形態を説明してきたが、さまざまな変更、改変、代替構成、および同等物も本開示の範囲内に包含される。本開示の実施形態は、特定のデータ処理環境内で動作するのに限定されず、複数のデータ処理環境内で自由に動作することができる。さらに、一連の特定の処置およびステップを用いて本開示の実施形態を説明してきたが、本開示の範囲が説明された一連の処置およびステップに限定されないことは、当業者にとって明らかであろう。上述した実施形態のさまざまな特徴および態様は、個別にまたは共同で使用することができる。
【0268】
さらに、ハードウェアおよびソフトウェアの特定の組み合わせを用いて本開示の実施形態を説明してきたが、ハードウェアおよびソフトウェアの他の組み合わせも本開示の範囲内に含まれることを認識すべきである。ハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせを用いて、本開示の実施形態を実現することができる。本開示に記載されたさまざまなプロセスは、同一のプロセッサまたは任意の組み合わせの異なるプロセッサ上で実行することができる。したがって、特定の処理を実行するように構成要素またはモジュールを構成すると説明する場合、その構成は、例えば、その処理を実行するように電子回路を設計することによって、その処理を実行するようにプログラム可能な電子回路（マイクロプロセッサなど）をプログラムすることによって、またはそれらの組み合わせによって実現することができる。プロセスは、プロセス間の通信を行う従来技術を含むがこれに限定されないさまざまな技術を用いて通信を行うことができる。異なる対のプロセスは、異なる技術を使用することができ、または同一対のプロセスは、異なる時間で異なる技術を使用することができる。
【0269】
したがって、明細書および図面は、限定的な意味ではなく例示的な意味であるとみなすべきである。しかしながら、特許請求の範囲により定められた幅広い主旨および範囲から逸脱することなく、追加、削減、削除および他の修飾および変更を行ってもよいことは、明らかであろう。したがって、本開示の特定の実施形態を説明したが、これらの実施形態は、限定することを意図していない。さまざまな変更およびその等価物は、添付の特許請求の範囲に含まれる。
【0270】
本開示を説明する文脈に（特に特許請求の範囲の文脈に）使用された不定冠詞「a」／「an」、定冠詞「the」および同様の参照は、本開示に特に明記しない限りまたは内容上明らかに他の意味を示す場合を除き、単数および複数の両方を含むように解釈すべきである。用語「含む（comprising）」、「有する（having）」、「含む（including）」、および「含有する（containing）」は、特に明記しない限り、非限定的な用語（すなわち、「含むがこれに限定されない」という意味）として解釈されるべきである。「接続されている」という用語は、たとえ何かが介在していても、その一部または全部が内部に含まれている、取り付けられている、または一緒に結合されていると解釈されるべきである。本開示において、値の範囲の列挙は、単にその範囲内に含まれる各個別の値を各々言及する速記方法として意図され、本開示に特に明記しない限り、各個別の値は、本開示に個別に記載されるように、本開示に組み込まれる。本開示に特に明記しない限りまたは内容上明らかに他の意味を示す場合を除き、本開示に記載の全ての方法は、任意の適切な順序で行うことができる。本開示において、任意の例および全ての例または例示的な言語（例えば、「～のような」）の使用は、本開示の実施形態をより明瞭にするよう意図されており、特に明記しない限り、本開示の範囲を限定するものではない。明細書内の用語は、本開示の実施に不可欠な任意の非請求要素を示すものと解釈すべきではない。
【0271】
句「Ｘ、Ｙ、またはＺの少なくとも１つ」というフレーズのような選言的言語は、特に断らない限り、項目、用語などがＸ、ＹもしくはＺ、またはそれらの任意の組み合わせ（例えば、Ｘ、Ｙ、および／またはＺ）のいずれかであってもよいことを示すために一般的に用いられるものとして文脈内で理解されることを意図している。したがって、このような選言的言語は、特定の実施形態が、Ｘの少なくとも１つ、Ｙの少なくとも１つ、またはＺの少なくとも１つが存在することを必要とすることを一般的に意図しておらず、また、それを暗示していない。
【0272】
本開示を実施するために知られている最良の形態を含み、本開示の好ましい実施形態が本明細書に記載されている。これらの好ましい実施形態の変形形態は、前述の説明を読めば当業者には明らかになるであろう。当業者は、適宜、このような変形例を採用することができ、本開示は、本明細書に具体的に記載されている以外の方法で実施されてもよい。したがって、本開示は、適用される法律によって許可され、本明細書に添付された請求項に記載された主題の全ての変形および等価物を含む。さらに、その全ての可能な変形における上記の要素の任意の組み合わせは、本明細書において別段の指示がない限り、本開示に包含される。
【0273】
本明細書に引用された刊行物、特許出願、および特許を含む全ての参考文献は、各文献が参照により組み込まれることが個別にかつ明確に示され、その全体が本明細書に記載された場合と同じ程度に、参照により組み込まれるものとする。前述の明細書において、本開示の態様は、その特定の実施形態を参照して説明されているが、当業者は、本開示がそれに限定されないことを認識するであろう。上述の開示の様々な特徴および態様は、個々にまたは共同で使用されてもよい。さらに、実施形態は、本明細書のより広い精神および範囲から逸脱することなく、本明細書に説明されるものを超える任意の数の環境および用途において利用されることができる。したがって、明細書および図面は、限定的ではなく例示的であると見なされるべきである。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7A】
【図7B】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【国際調査報告】