特表 2022-538826 クラウドプロバイダ基板拡張における仮想化ブロックストレージサーバー

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-09-06

(54)【発明の名称】クラウドプロバイダ基板拡張における仮想化ブロックストレージサーバー

(51)【国際特許分類】

   G06F 9/46 20060101AFI20220830BHJP

   G06F 9/455 20060101ALI20220830BHJP

【ＦＩ】

G06F9/46 420Z

G06F9/455 150

G06F9/46 430

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2021576312

(86)(22)【出願日】2020-06-11

(85)【翻訳文提出日】2022-01-12

(86)【国際出願番号】 US2020037195

(87)【国際公開番号】W WO2020263578

(87)【国際公開日】2020-12-30

(31)【優先権主張番号】16/457,850

(32)【優先日】2019-06-28

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】16/457,856

(32)【優先日】2019-06-28

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】16/457,853

(32)【優先日】2019-06-28

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】506329306

【氏名又は名称】アマゾン テクノロジーズ インコーポレイテッド

(74)【代理人】

【識別番号】110000877

【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所

(72)【発明者】

【氏名】リグオリ、アンソニー ニコラス

(72)【発明者】

【氏名】オルソン、マーク ステファン

(72)【発明者】

【氏名】グリーンウッド、クリストファー マギー

(72)【発明者】

【氏名】ラボヴィク、パヴェル

(72)【発明者】

【氏名】ヴェルマ、マニシュ

(57)【要約】

コンピュータシステムの１つ以上のストレージデバイスを使用して第１のボリュームをホストする第１のブロックストレージサーバー仮想マシンはコンピュータシステムによって実行される。仮想ブロックストレージデバイスにアクセスできる第２の仮想マシンはコンピュータシステムによって実行される。ブロックストレージクライアントは、コンピュータシステムによって実行される。第１のブロックストレージ操作はブロックストレージクライアントによって第２の仮想マシンから受信され、第１のブロックストレージ操作は仮想ブロックストレージデバイスで行われる。メッセージはブロックストレージクライアントによって第１のブロックストレージサーバー仮想マシンに送信され、第１のブロックストレージサーバー仮想マシンに、第１のボリュームでブロックストレージ操作を行わせる。
【選択図】図４

【特許請求の範囲】

【請求項1】

コンピュータ実施方法であって、
コンピュータシステムによって、第１のブロックストレージサーバー仮想マシンを実行して、前記コンピュータシステムの１つ以上のストレージデバイスを使用して第１のボリュームをホストすることと、
前記コンピュータシステムによって、仮想ブロックストレージデバイスにアクセスできる第２の仮想マシンを実行することと、
前記コンピュータシステムによって、ブロックストレージクライアントを実行することと、を備え、
前記ブロックストレージクライアントを実行することは、
前記第２の仮想マシンから、前記仮想ブロックストレージデバイスで行う第１のブロックストレージ操作を受信することと、
メッセージを前記第１のブロックストレージサーバー仮想マシンに送信して、前記第１のブロックストレージサーバー仮想マシンに、前記第１のボリュームで前記第１のブロックストレージ操作を行わせることと、を含む、
コンピュータ実施方法。

【請求項2】

前記メッセージは、仮想ネットワークを介して送信されるトラフィックをキーを使用して暗号化及び復号化して安全な前記仮想ネットワークを介して送信される、請求項１に記載のコンピュータ実施方法。

【請求項3】

前記仮想ネットワークの第１の仮想ネットワークアドレスは前記第１のブロックストレージサーバー仮想マシンに関連付けられ、前記仮想ネットワークの第２の仮想ネットワークアドレスは前記ブロックストレージクライアントに関連付けられる、請求項２に記載のコンピュータ実施方法。

【請求項4】

前記第１のブロックストレージサーバー仮想マシン及び前記第２の仮想マシンは前記コンピュータシステムの第１の１つ以上のプロセッサによって実行され、前記ブロックストレージクライアントは、前記コンピュータシステムの第２の１つ以上のプロセッサによって実行される、請求項１～３のいずれか１項に記載のコンピュータ実施方法。

【請求項5】

前記第１のブロックストレージサーバー仮想マシンは前記コンピュータシステムによってホストされる第１の仮想マシンであり、前記第２の仮想マシンは前記コンピュータシステムによってホストされる第２の仮想マシンである、請求項１～４のいずれか１項に記載のコンピュータ実施方法。

【請求項6】

前記コンピュータシステムによって、第２のブロックストレージサーバー仮想マシンを実行して、前記コンピュータシステムの前記１つ以上のストレージデバイスを使用して第２のボリュームをホストすることをさらに含み、前記第２のボリュームは前記第１のボリュームに関連付けられるレプリカである、請求項１に記載のコンピュータ実施方法。

【請求項7】

前記第１のブロックストレージサーバー仮想マシンは前記コンピュータシステムの第１の物理コンポーネントを使用して実行され、前記第２のブロックストレージサーバー仮想マシンは、前記第１の物理コンポーネントと異なる前記コンピュータシステムの第２の物理コンポーネントを使用して実行される、請求項６に記載のコンピュータ実施方法。

【請求項8】

前記第１のブロックストレージ操作はデータのブロックの書き込みであり、前記ブロックストレージクライアントは、さらに、前記仮想ブロックストレージデバイスに関連付けられる暗号化キーを使用して、前記データのブロックを暗号化し、データの暗号化ブロックを生成し、前記第１のブロックストレージサーバー仮想マシンに送信される前記メッセージは前記データの暗号化ブロックを含み、前記第１のブロックストレージサーバー仮想マシンに、前記データの暗号化ブロックを前記第１のボリュームに書き込ませる、請求項１～７のいずれか１項に記載のコンピュータ実施方法。

【請求項9】

前記コンピュータシステムはプロバイダネットワークの拡張機能に含まれ、前記プロバイダネットワークの前記拡張機能は少なくともサードパーティネットワークを介して前記プロバイダネットワークと通信し、
前記プロバイダネットワークのインスタンス管理サービスは、前記コンピュータシステムによって、前記第１のブロックストレージサーバー仮想マシン及び前記第２の仮想マシンの前記実行を開始する、請求項１～８のいずれか１項に記載のコンピュータ実施方法。

【請求項10】

ホストコンピュータシステムの１つ以上のストレージデバイスと、
仮想ブロックストレージデバイスにアクセスできる第１のブロックストレージサーバーアプリケーション及び第２のアプリケーションを実行する前記ホストコンピュータシステムの第１の１つ以上のプロセッサであって、前記第１のブロックストレージサーバーアプリケーションは、実行時に、前記第１のブロックストレージサーバーアプリケーションに、前記１つ以上のストレージデバイスを使用して第１のボリュームをホストさせる命令を含む、前記第１の１つ以上のプロセッサと、
ブロックストレージクライアントアプリケーションを実行する前記ホストコンピュータシステムの第１の１つ以上のプロセッサと、を備え、
前記ブロックストレージクライアントアプリケーションは命令を含み、
前記命令は、実行時に、前記ブロックストレージクライアントアプリケーションに、
前記第２のアプリケーションから、前記仮想ブロックストレージデバイスで行う第１のブロックストレージ操作を受信することと、
メッセージを前記第１のブロックストレージサーバーアプリケーションに送信して、前記第１のブロックストレージサーバーアプリケーションに、前記第１のボリュームで前記第１のブロックストレージ操作を行わせることと、を実施させる、
システム。

【請求項11】

前記メッセージは、仮想ネットワークを介して送信されるトラフィックをキーを使用して暗号化及び復号化して安全な前記仮想ネットワークを介して送信される、請求項１０に記載のシステム。

【請求項12】

前記仮想ネットワークの第１の仮想ネットワークアドレスは前記第１のブロックストレージサーバーアプリケーションに関連付けられ、前記仮想ネットワークの第２の仮想ネットワークアドレスは前記ブロックストレージクライアントアプリケーションに関連付けられる、請求項１１に記載のシステム。

【請求項13】

前記第１のブロックストレージサーバーアプリケーションは前記ホストコンピュータシステムによってホストされる第１の仮想マシン内で実行され、前記第２のアプリケーションは前記ホストコンピュータシステムによってホストされる第２の仮想マシン内で実行される、請求項１０～１２のいずれか１項に記載のシステム。

【請求項14】

前記ホストコンピュータシステムの前記第１の１つ以上のプロセッサは、さらに、第２のブロックストレージサーバーアプリケーションを実行して、前記第２のブロックストレージサーバーアプリケーションは、実行時に、前記第２のブロックストレージサーバーアプリケーションに、前記ホストコンピュータシステムの前記１つ以上のストレージデバイスを使用して第２のボリュームをホストさせる命令を含み、前記第２のボリュームは前記第１のボリュームに関連付けられるレプリカである、請求項１０に記載のシステム。

【請求項15】

前記第１のブロックストレージサーバーアプリケーションは前記ホストコンピュータシステムの第１の物理コンポーネントを使用して実行され、前記第２のブロックストレージサーバーアプリケーションは、前記第１の物理コンポーネントと異なる前記ホストコンピュータシステムの第２の物理コンポーネントを使用して実行される、請求項１４に記載のシステム。

【発明の詳細な説明】

【背景技術】

【0001】

多くの企業及び他の組織はそれらの運用をサポートするために、多くのコンピューティングシステムを相互接続するコンピュータネットワークを運用しており、例えば、コンピューティングシステムは、（例えば、ローカルネットワークの一部として）同じ場所に配置される、またはその代わりに、複数の異なる地理的場所に配置される（例えば、１つ以上のプライベートまたはパブリックの中間ネットワークを介して接続される）。例えば、かなりの数の相互接続されたコンピューティングシステムを収容するデータセンターが当たり前になっており、その例として、単一の組織によって及び単一の組織の代わりのものによって運用されるプライベートデータセンター、及び、コンピューティングリソースをカスタマーに提供するためにビジネスとしてエンティティによって運用されるパブリックデータセンター等が挙げられる。いくつかのパブリックデータセンターオペレータは、様々なカスタマーが所有するハードウェアのためのネットワークアクセス、電力、安全な設置施設を提供する一方、他のパブリックデータセンターオペレータは、そのカスタマーによる使用のために利用可能になったハードウェアリソースも含む「フルサービス」ファシリティを提供する。しかしながら、一般的なデータセンターの規模及び範囲が増加するにつれて、物理コンピューティングリソースのプロビジョニング、監督、及び管理のタスクはますます複雑になっている。

【0002】

汎用ハードウェアの仮想化技術の出現は、多様なニーズがある多くのカスタマーのために大規模なコンピューティングリソースを管理することに関して利益をもたらし、様々なコンピューティングリソースを複数のカスタマーによって効率的及び安全に共有することを可能にする。例えば、仮想化技術は、単一の物理コンピューティングマシンによってホストされる１つ以上の仮想マシンを各ユーザに提供することによって、単一の物理コンピューティングマシンを複数のユーザ間で共有することを可能にし得る。係る仮想マシンのそれぞれは、ユーザに所与のハードウェアコンピューティングリソースの唯一のオペレータ及び管理者であると錯覚をもたらす独特の論理コンピューティングシステムとして機能するソフトウェアシミュレーションであり、それと同時に、様々な仮想マシン間でアプリケーション隔離及び安全も提供する。さらに、いくつかの仮想化技術は、複数の独特の物理コンピューティングシステムに及ぶ複数の仮想プロセッサを伴う単一の仮想マシン等の２つ以上の物理リソースに及ぶ仮想リソースを提供することが可能である。別の例として、仮想化技術は、複数のデータストレージデバイスにわたって分散され得る仮想化データストアを各ユーザに提供することによって、データストレージハードウェアを複数のユーザ間で共有することを可能にし得、係る仮想化データストアのそれぞれは、ユーザがデータストレージリソースの唯一のオペレータ及び管理者であるという錯覚をユーザにもたらす独特の論理データストアとして機能する。

【0003】

コンピューティング集約型アプリケーション、メモリ集約型アプリケーション等の様々なタイプのアプリケーション用に最適化された様々な仮想マシンタイプは、クライアントの要求に応じて、いくつかのクラウドコンピューティングプロバイダネットワークのデータセンターにセットアップされ得る。さらに、仮想コンピューティングサービスの仮想マシンを使用してデータベースインスタンスがインスタンス化されるいくつかのデータベースサービス等の係るプロバイダネットワークの仮想コンピューティングサービスに依存する高レベルサービスは、また、プロバイダネットワーククライアントに利用可能になり得る。しかしながら、プロバイダネットワークの外側のカスタマーの構内に記憶される必要があるかなり大量のデータを処理するアプリケーション等のいくつかのタイプのアプリケーションに関して、プロバイダネットワークのデータセンターに配置されるハードウェアを使用する仮想化リソースを提供することに限定されるサービスは、例えば、レイテンシー関連の理由及び／または他の理由で最適ではない場合がある。

【0004】

以下の図面を参照して、本開示に従った様々な実施形態を説明する。

【図面の簡単な説明】

【0005】

【図1】少なくともいくつかの実施形態による、プロバイダネットワークの外部のネットワーク内に配置されたプロバイダ基板拡張によって拡張された例示的なプロバイダネットワークを示すブロック図である。

【図2】少なくともいくつかの実施形態による、例示的なプロバイダ基板拡張を示すブロック図である。

【図3】少なくともいくつかの実施形態による、プロバイダネットワークとプロバイダ基板拡張との間の例示的な接続を示すブロック図である。

【図4】少なくともいくつかの実施形態による、仮想化ブロックストレージシステムの例を示すブロック図である。

【図5】少なくともいくつかの実施形態による、仮想化ブロックストレージシステムの例を示すブロック図である。

【図6】少なくともいくつかの実施形態による、第１の技術を使用して仮想化ブロックストレージサーバーをブートするための例示的なシステムを示すブロック図である。

【図7】少なくともいくつかの実施形態による、第２の技術を使用して仮想化ブロックストレージサーバーをブートするための例示的なシステムを示すブロック図である。

【図8】少なくともいくつかの実施形態による、ブロックストレージサーバーからプロバイダ基板拡張の追加のコンピュートインスタンスをブートするための例示的なシステムを示すブロック図である。

【図9】少なくともいくつかの実施形態による、仮想化ブロックストレージサーバーを管理するための例示的なシステムを示すブロック図である。

【図10】少なくともいくつかの実施形態による、ブロックストレージクライアントにボリュームマッピングを提供するための例示的なシステムを示すブロック図である。

【図11】少なくともいくつかの実施形態による、ボリュームマッピングを追跡するための例示的なシステムを示すブロック図である。

【図12】少なくともいくつかの実施形態による、仮想化ブロックストレージサーバーを起動するための方法の動作を示すフロー図である。

【図13】少なくともいくつかの実施形態による、仮想化ブロックストレージサーバーを使用するための方法の動作を示すフロー図である。

【図14】少なくともいくつかの実施形態による、プロバイダ基板拡張における仮想化ブロックストレージサーバーを管理するための方法の動作を示すフロー図である。

【図15】少なくともいくつかの実施形態による、例示的なプロバイダネットワーク環境を示す。

【図16】少なくともいくつかの実施形態による、ストレージサービス及びハードウェア仮想化サービスをカスタマーに提供する例示的なプロバイダネットワークのブロック図である。

【図17】少なくともいくつかの実施形態で使用され得る例示的なコンピューティングデバイスを示すブロック図である。

【発明を実施するための形態】

【0006】

本開示は、プロバイダネットワークの外部のネットワークと通信するためのプロバイダ基板拡張を構成するための及びプロバイダネットワークで利用可能なリソースと同じまたは同様である基板拡張上に仮想化リソースを提供するための方法、装置、システム、及び非一時的なコンピュータ可読ストレージ媒体に関する。プロバイダネットワークオペレータ（またはプロバイダ）は、そのユーザ（またはカスタマー）に、様々なタイプのコンピューティング関連リソースの１つ以上を利用する能力を提供し、コンピューティング関連リソースとして、例えば、コンピュートリソース（例えば、仮想マシン（ＶＭ）及び／またはコンテナの実行、バッチジョブの実行、サーバーのプロビジョニングなしでのコードの実行））、データ／ストレージリソース（例えば、オブジェクトストレージ、ブロックレベルストレージ、データアーカイブストレージ、データベース及びデータベーステーブル等）、ネットワーク関連リソース（例えば、コンピュートリソースのグループを含む仮想ネットワークの構成、コンテンツ配信ネットワーク（ＣＤＮ）、ドメインネームサービス（ＤＮＳ））、アプリケーションリソース（例えば、データベース、アプリケーション構築／展開サービス）、アクセスポリシーまたはアクセスロール、アイデンティティポリシーまたはアイデンティティロール、マシンイメージ、ルーター、及び他のデータ処理リソース等が挙げられる。これら及び他のコンピュートリソースはサービスとして提供され得る。

【0007】

プロバイダネットワークオペレータは、多くの場合、仮想化技術に依存するサービスとして、これら及び他のコンピューティングリソースを提供する。例えば、仮想化技術を使用して、コンピュートインスタンス（例えば、基盤となるホストＯＳ上でさらに動作し得るまたは動作し得ないハイパーバイザーを使用して動作するゲストオペレーティングシステム（ＯＳ）を使用するＶＭ、ＶＭで動作し得るまたは動作し得ないコンテナ、基盤となるハイパーバイザーなしで「ベアメタル」ハードウェアで実行できるインスタンス）を制御または利用する能力をユーザに提供し得、単一の電子デバイスを使用して１つ以上のコンピュートインスタンスを実装できる。したがって、ユーザは、プロバイダネットワークによってホストされるインスタンス管理サービス（時々、ハードウェア仮想化サービスと呼ばれる）によって提供されるコンピュートインスタンスを直接利用して、様々なコンピューティングタスクを行い得る。追加的または代替的に、ユーザは、プロバイダネットワークによって実行されるコードをサブミットすることによって間接的にコンピュートインスタンスを利用し得（例えば、オンデマンドコード実行サービスによって利用される）、次に、コンピュートインスタンスを利用してコードを実行する（一般的に、ユーザが関連する基盤となるコンピュートインスタンス（複数可）をいずれかの制御を行わないでまたは認識しないで実行する）。

【0008】

ユーザにコンピューティング関連リソースを提供するサービスと、ユーザにプロビジョニングされたそのコンピューティング関連リソースとの両方をサポートするリソースは、概して、プロバイダネットワーク基板と称され得る。係るリソースは、一般的に、多くのネットワークコンピュータシステムの形式のハードウェア及びソフトウェアを含む。プロバイダネットワーク基板のトラフィック及び操作は、様々な実施形態では、２つのカテゴリ（論理制御プレーン上で運ばれる制御プレーントラフィック及び論理データプレーン上で運ばれるデータプレーン操作）に大まかに細分され得る。データプレーンは分散コンピューティングシステムを経由するユーザデータの移動を表すが、制御プレーンは分散コンピューティングシステムを経由する制御信号の移動を表す。制御プレーンは、概して、１つ以上の制御サーバーにわたって分散され、それらによって実装される１つ以上の制御プレーンコンポーネントを含む。制御プレーントラフィックは、概して、様々なカスタマー向けの分離された仮想ネットワークの確立、リソースの使用状況及び状態の監視、要求されたコンピュートインスタンスが起動される特定のホストまたはサーバーの識別、必要に応じて追加のハードウェアのプロビジョニング等の管理操作を含む。データプレーンは、プロバイダネットワークに実装されるカスタマーリソース（例えば、コンピューティングインスタンス、コンテナ、ブロックストレージボリューム、データベース、ファイルストレージ）を含む。データプレーントラフィックは、概して、カスタマーリソースを往復するデータを転送する等の非管理操作を含む。制御プレーンコンポーネントは、一般的に、データプレーンサーバーとは別のサーバーのセットに実装され、制御プレーントラフィック及びデータプレーントラフィックは、別の／異なるネットワークを通じて送信され得る。いくつかの実施形態では、制御プレーントラフィック及びデータプレーントラフィックは、異なるプロトコルによってサポートできる。いくつかの実施形態では、プロバイダネットワークを通じて送信されるメッセージ（例えば、パケット）は、トラフィックが制御プレーントラフィックまたはデータプレーントラフィックであるかを示すフラグを含む。いくつかの実施形態では、トラフィックのペイロードを検査して、そのタイプ（例えば、制御プレーンまたはデータプレーン）を決定できる。トラフィックタイプを区別するための他の技術が可能である。

【0009】

いくつかのカスタマーアプリケーションはプロバイダネットワーク環境に容易に移行するが、いくつかのカスタマーワークロードは、低遅延、大量のデータ、データセキュリティ、または他のカスタマーデータ処理の要求のために、構内にあるまま（「オンプレミス」）にする必要がある。例示的なオンプレミス環境は、カスタマーデータセンター、ロボット統合、フィールドロケーション、コロケーションファシリティ、電気通信施設（例えば、携帯電話基地局の近く）等を含む。カスタマーの要求を満足するために、本開示は、オンプレミスでの基板のようなリソースの展開に関する。用語「プロバイダ基板拡張」（ＰＳＥ）は、カスタマーがオンプレミス（プロバイダネットワークから地理的に離れた場所等）に展開できるが、プロバイダネットワークで提供されるものと同じまたは同様の機能（例えば、仮想化されたコンピューティングリソース）を提供する、リソース（例えば、ハードウェア、ソフトウェア、ファームウェア、構成メタデータ等）のコレクションを指す。係るリソースは、オンプレミスの場所で一般的に見られるようなラックまたはキャビネットで配信される１つ以上のコンピュータシステムまたはサーバーとして物理的に配信され得る。ＰＳＥは、上記に説明したプロバイダネットワークの特性と同様に、オンプレミスに展開できる一連の特性及び能力をカスタマーに提供できる。実質的に、プロバイダネットワークのカスタマーの観点から、ＰＳＥは、ＰＳＥに対応できるいずれかの物理的場所（例えば、物理スペース、電力、インターネットアクセス等に関する）にセットアップできるプロバイダネットワークの能力のローカル拡張を表す。プロバイダネットワーク自体の観点から、ＰＳＥはコアプロバイダネットワーク基板と同じプロバイダネットワークデータセンターに仮想的に配置される一方、カスタマーが選択した展開サイトに物理的に配置されると見なされ得る。少なくともいくつかの実施形態では、ＰＳＥを物理的にホストしているカスタマーは、それ自体のカスタマー（例えば、プロバイダネットワークの他のユーザ）に許可を与えて、そのユーザがインスタンスを起動して、カスタマーのオンプレミスの場所でＰＳＥ内のその各々のワークロードをホストすることを可能にし、場合によって、そのワークロードがカスタマーのネットワークにアクセスすることを可能にする。

【0010】

少なくともいくつかの実施形態では、ＰＳＥは、例えば、プロバイダネットワークオペレータによって、ハードウェア要素、ソフトウェア要素、及び／またはファームウェア要素の適切な組み合わせで事前に構成され、様々なタイプのコンピューティング関連リソースをサポートし、プロバイダネットワーク自体またはプロバイダネットワークの任意の他のカスタマーのセキュリティを損なうことなく、様々なローカルデータ処理要求を満たす方法でサポートし得る。少なくともいくつかの実施形態では、ＰＳＥは、概して、カスタマーがプロバイダネットワーク内のコンピューティング関連リソースにアクセスするために使用するのと同じまたは同様のインターフェースのセットによって管理される。例えば、カスタマーは、プロバイダネットワーク内のコンピューティング関連リソースをプロビジョニング、管理、及び動作させるために他の方法で使用する同じアプリケーションプログラミングインターフェース（ＡＰＩ）またはコンソールベースのインターフェースを使用して、プロバイダネットワークを経由して、様々な展開サイトにおけるオンプレムＰＳＥまたは複数のＰＳＥ内で、コンピューティング関連リソースをプロビジョニング、管理、及び動作できる。

【0011】

少なくともいくつかの実施形態では、プロバイダネットワークのリソースは、様々なネットワーキングコンポーネントをインスタンス化して、プロバイダネットワークとＰＳＥとの間の安全で信頼できる通信を確実にする。係るコンポーネントは、ＰＳＥとの１つ以上の安全なトンネル（例えば、ＶＰＮ）を確立できる。係るコンポーネントは、さらに、制御プレーントラフィック及びデータプレーントラフィックをさらに分割し、トラフィックの方向（例えば、ＰＳＥを往復する方向）を含む要因に基づいて、各タイプのトラフィックを異なるように処理できる。少なくともいくつかの実施形態では、制御プレーンサービスは、展開されたＰＳＥのためにこれらのネットワーキングコンポーネントを動的にプロビジョニング及び構成する。係る制御プレーンサービスは、各ＰＳＥのネットワークコンポーネントを監視し、プロバイダネットワーク内で発生する障害が原因でＰＳＥとの通信が失われるのを防ぐように設計された自己修復または修復メカニズムを呼び出しできる。

【0012】

プロバイダネットワークのカスタマーに一般的に提供されるサービスの１つは、インスタンスが物理ストレージリソースの論理ビューが提示されるため、インスタンスの仮想化された永続ディスクとして機能できるブロックストレージサービスであるが、この論理ストレージスペースをストレージの実際の物理的場所にマッピングすることは仮想化システムによって処理される。ボリュームは１回以上複製され、カスタマーに高いアベイラビリティ及び耐久性を提供し得、レプリカは、一般的に、異なるサーバーに記憶される。カスタマーは１つ以上のブロックストレージボリュームをインスタンスにアタッチでき、インスタンスをサポートするクライアントは、仮想化されたブロックストレージボリュームを使用してインスタンスのブロックベース操作を行うことができる。例えば、カスタマーは、特定のインスタンスを所与のブートボリューム（例えば、オペレーティングシステムを含むボリューム）から起動して、インスタンスによって実行されるカスタマーアプリケーションによって記憶されたデータをサポートするために別のアタッチボリュームを有するように指定し得る。利用可能なストレージに関して高い適応性を提供するために、プロバイダネットワークは、所与のアタッチボリュームをサポートする物理ストレージデバイスを、所与のコンピュートインスタンスをサポートするコンピューティングリソースから切り離す。従来、ブロックストレージサービスをサポートするブロックストレージサーバーのフリートは、アタッチされている物理ストレージデバイス（例えば、ソリッドステートドライブ、磁気ドライブ等）を多くの論理ボリュームに分割するだろう。１つのブロックストレージサーバーが、数百またはさらに数千のインスタンスのストレージリソースをサポートし得る。これらのブロックストレージサーバーは、一般的に、「ベアメタル」構成で実行される。サーバーソフトウェアは、例えば、仮想マシン上またはコンテナ内の代わりに、専用サーバーハードウェア上で直接起動するオペレーティングシステム環境内で実行される。

【0013】

プロバイダ基板の拡張機能の容量がアベイラビリティゾーンの容量と比較して大幅に制限され得るため、このベアメタルブロックストレージサーバーの設計は、基板拡張にはあまり適し得ない。例えば、いくつかの基板拡張には単一のサーバー（または別の少数のサーバー）だけ有し得るため、サーバー全体をストレージリソースのブロック専用にすることは不可能であり得、それによって、そのサーバーをコンピュートインスタンスに使用できなくなる。この課題に対処するために、本開示の実施形態は、コンピュートインスタンス内で起動できるようにブロックストレージサービスを仮想化して、その結果、限られた容量のより適応性があり効率的な使用を可能にする。例えば、単一のサーバーを構成して、コンピュートインスタンスと、そのアタッチボリュームを仮想化したインスタンス（例えば、ブロックストレージサーバー）との両方をホストするように構成でき、ＰＳＥの有限のリソースのセットの使用に高い適応性を提供する。また、単一のサーバーを分離された障害ドメインに分割して、複数のブロックストレージサーバー（及びさらに、ボリュームの複数のレプリカ）をホストし得る。障害ドメインとは、概して、システムの他の部分に影響を与えることなく障害が発生する可能性のあるシステムの論理部分を指す。ベアメタルシステムで実行されるとき、ブロックストレージシステムの障害ドメインは、一般的に、ベアメタルコンピュータシステム全体に対応する。仮想化を使用して障害ドメインをサーバーごとのベースからサブサーバーベースに切り離すことによって、ブロックストレージサーバーインスタンスをサポートするために使用される基盤となるハードウェアの冗長性を利用して、ＰＳＥ内の障害ドメインの数が増加し得る。結果として、ブロックストレージサーバーは、障害が発生したときに障害に関連付けられるデータを回復するためのワークロードが減るように、少量のデータを個々に管理できる。これらのブロックストレージインスタンスは、仮想プライベートクラウド（ＶＰＣ）として作成でき、ブロックストレージボリュームと通信するインスタンスクライアントは、また、この同じＶＰＣで通信できる。有益になるように、これにより、ＶＰＣ暗号化を活用して、基板拡張における通信をより安全にできる。

【0014】

しかしながら、プロバイダ基板の拡張機能でブロックストレージサービスを仮想化すると、ブロックストレージサービスがブートボリュームを記憶することが可能であろう基板拡張で起動される前に、ブートボリューム（また、ブロックストレージサービスマシンイメージとも称される）からブロックストレージサービスを初期化することを含む特定の技術的な課題が生じる。ＰＳＥはオンプレミスファシリティに低遅延のコンピュートリソースを提供するが、それらのリソースはプロバイダネットワークに戻るときに遅延の増加を受ける。ＰＳＥはプロバイダネットワークの領域内のブロックストレージサーバーに依存し得るが、係る依存は遅延の増加の影響を受けるため、好ましくない。以下でさらに詳細に説明するように、本開示の実施形態は、プロバイダネットワークの領域に記憶されたデータからＰＳＥのローカルストレージのブロックストレージサーバーのブートボリュームをロードし、次に、ブロックストレージサーバーをブートし、ボリュームをＰＳＥ内で起動した他のインスタンスに提供できるローカルブート技術によってこの課題に対処する。したがって、開示されたローカルブート技術は、ブロックストレージサービス自体がまだ基板拡張に存在しないときでも、カスタマーがブロックストレージサービスマシンイメージを使用して基板拡張でインスタンスを起動することを可能にする。

【0015】

開示されたシステム及び技術は、また、ＰＳＥをプロバイダネットワークに接続することによって可能になり得る潜在的なセキュリティ問題からプロバイダネットワークを保護する。いくつかの実施形態では、ＰＳＥは、動作するために、ＰＳＥが設置されているカスタマーサイトからプロバイダネットワーク基板（例えば、マシンの物理ネットワーク）への安全なネットワーキングトンネルを要求する可能性がある。これらのトンネルは、仮想化されたコンピューティングインスタンス（例えば、ＶＭ）及び基板の両方でホストされる仮想インフラストラクチャコンポーネントを含み得る。トンネルコンポーネントの例は、ＶＰＣ及びプロキシコンピューティングインスタンスならびに／またはコンピューティングインスタンスで起動しているコンテナを含む。ＰＳＥ内の各サーバーは、少なくとも２つのトンネル（１つは制御プレーントラフィック用で、もう１つはデータプレーントラフィック用である）を使用し得る。以下でさらに詳細に説明するように、プロバイダネットワーク基板とＰＳＥの間のネットワークパスに沿って位置付けられる中間リソースは、基板とＰＳＥとの間を流れるトラフィックを安全に管理できる。

【0016】

少なくともいくつかの実施形態では、プロバイダネットワークはクラウドプロバイダネットワークである。クラウドプロバイダネットワークまたは「クラウド」は、アクセス可能な仮想化コンピューティングリソース（コンピュートリソース、ストレージリソース、及びネットワークリソース、アプリケーション、ならびにサービス等）の大規模なプールを指す。クラウドは、カスタマーコマンドに応じてプログラムでプロビジョニング及びリリースできる構成可能なコンピューティングリソースの共有プールへの便利なオンデマンドネットワークアクセスを提供できる。これらのリソースは動的にプロビジョニング及び再構成され、可変負荷に適応できる。したがって、クラウドコンピューティングは、パブリックにアクセス可能なネットワーク（例えば、インターネット、セルラー通信ネットワーク）を通じてサービスとして配信されるアプリケーションと、それらのサービスを提供するクラウドプロバイダデータセンターのハードウェア及びソフトウェアの両方と見なすことができる。

【0017】

クラウドプロバイダネットワークはいくつかの領域として形成でき、領域は、クラウドプロバイダがデータセンターをクラスター化する地理的領域である。各領域は、例えば、ファイバー通信接続のプライベート高速ネットワークを介して相互に接続された２つ以上のアベイラビリティゾーンを含み得る。アベイラビリティゾーンは、別のアベイラビリティゾーンにあるものとは別の電源、別のネットワーク、及び別のクーリングを伴う１つ以上のデータセンターファシリティを含む分離された障害ドメインを指す。好ましくは、領域内のアベイラビリティゾーンは、同じ自然災害によって同時に２つ以上のアベイラビリティゾーンがオフラインにならないように、互いに十分に離れた場所に位置付けられる。カスタマーは、パブリックにアクセス可能なネットワーク（例えば、インターネット、セルラー通信ネットワーク）を介してクラウドプロバイダネットワークのアベイラビリティゾーンに接続できる。本明細書で説明するＰＳＥは、また、パブリックにアクセス可能なネットワークを介して１つ以上のアベイラビリティゾーンに接続できる。

【0018】

クラウドプロバイダネットワークは、基板と称される物理ネットワーク（例えば、シートメタルボックス、ケーブル）を含み得る。クラウドプロバイダネットワークは、また、基板で起動する仮想化コンピューティングリソースのオーバーレイネットワークを含み得る。したがって、ネットワークパケットは、オーバーレイネットワークの構成（例えば、ＶＰＣ、セキュリティグループ）に従って、基板ネットワークに沿ってルーティングできる。マッピングサービスは、これらのネットワークパケットのルーティングを調整できる。マッピングサービスがオーバーレイＩＰ及びネットワーク識別子の組み合わせを基板ＩＰにマッピングする地域分散ルックアップサービスであることにより、分散基板コンピューティングデバイスはパケットの宛先を検索できる。

【0019】

説明するために、各物理ホストは基板ネットワークにＩＰアドレスを有し得る。ハードウェア仮想化技術により、例えば、ホストの仮想マシンとして、複数のオペレーティングシステムをホストコンピュータ上で同時に起動することが可能になり得る。ホストのハイパーバイザーまたは仮想マシンモニタは、ホストの様々な仮想マシン間でホストのハードウェアリソースを割り付け、仮想マシンの実行を監視する。各仮想マシンはオーバーレイネットワークの１つ以上のＩＰアドレスが提供され得、ホストの仮想マシンモニタは、ホストの仮想マシンのＩＰアドレスを認識し得る。仮想マシンモニタ（及び／またはネットワーク基板の他のデバイスもしくはプロセス）は、カプセル化プロトコル技術を使用して、クラウドプロバイダネットワーク内の異なるホストの仮想化リソース間で、ネットワークパケット（例えば、クライアントＩＰパケット）をネットワーク基板上にカプセル化及びルーティングし得る。カプセル化プロトコル技術をネットワーク基板で使用して、オーバーレイネットワークパスまたはオーバーレイルートを介してネットワーク基板のエンドポイント間でカプセル化されたパケットをルーティングできる。カプセル化プロトコル技術は、ネットワーク基板にオーバーレイされた仮想ネットワークトポロジを提供するものと見なされ得る。カプセル化プロトコル技術は、ＩＰオーバーレイアドレス（パブリックＩＰアドレス）を基板ＩＰアドレス（プライベートＩＰアドレス）にマッピングするマッピングディレクトリを維持するマッピングサービスを含み得、マッピングサービスは、エンドポイント間でパケットをルーティングするためのクラウドプロバイダネットワーク状の様々なプロセスによってアクセスできる。

【0020】

当業者が本開示に照らして理解するように、特定の実施形態は、以下の（ａ）～（ｃ）のいくつかまたは全てを含む様々な利点を達成することが可能であり得る。（ａ）プロバイダネットワークによって可能になったスケーラビリティ、セキュリティ、アベイラビリティ、及び他の運用上の利点をさらに維持しながら、カスタマーによって選択されたサイトにおいてプロバイダ管理インフラストラクチャ（例えば、ＰＳＥ）を使用する場所に依存しない方式で、プロバイダネットワークオペレータのカスタマーが様々なアプリケーションを配備することを可能にする、（ｂ）カスタマーデータセンターとプロバイダネットワークデータセンターとの間のリンク等を通じて長距離にわたって転送する必要があるアプリケーションデータの量及び結果として生じる量を減らす、（ｃ）アプリケーションをデータソース／宛先の近くに移動することによって、潜在的に大量のデータが入力として消費され得るもしくは出力として生成され得るアプリケーションのレイテンシー及び応答性が全体的に向上する、ならびに／または（ｄ）機密性の高いアプリケーションデータのセキュリティが向上する。

【0021】

図１は、少なくともいくつかの実施形態による、プロバイダネットワークの外部のネットワーク内に配置されたプロバイダ基板拡張によって拡張された例示的なプロバイダネットワークを示すブロック図である。プロバイダネットワーク１００内で、カスタマーは、１つ以上の分離された仮想ネットワーク１０２を作成できる。カスタマーは、ＩＶＮ内でコンピュートインスタンス１０１を起動して、そのアプリケーションを実行できる。これらのコンピュートインスタンス１０１は、プロバイダネットワーク基板（図示せず）の一部である基板アドレス可能デバイス（ＳＡＤ）によってホストされる。同様に、プロバイダネットワーク基板の一部であるＳＡＤは、制御プレーンサービス１０４をホストできる。例示的な制御プレーンサービス１０４は、カスタマーまたは他の制御プレーンサービスがインスタンス及び／またはＩＶＮを起動及び構成することを可能にするインスタンス管理サービス（時々、ハードウェア仮想化サービスと称される）、オブジェクトストレージを提供するオブジェクトストレージサービス、ブロックストレージデバイスをインスタンスにアタッチする能力を提供するブロックストレージサービス、様々なデータベースタイプを提供するデータベースサービス等を含む。

【0022】

プロバイダネットワーク１００内に示されるコンポーネントは、論理コンポーネントとして扱うことができることに留意されたい。前述のように、これらのコンポーネントは、プロバイダネットワーク基板（図示せず）のＳＡＤによってホストされる。例えば、プロバイダネットワーク基板は、分離された仮想ネットワーク（ＩＶＮ）内で動作するコンテナまたは仮想マシンを使用してインスタンス１０１をホストできる。係るコンテナまたは仮想マシンは、ＳＡＤによって実行される。別の例として、プロバイダネットワーク基板は、ベアメタル構成（例えば、仮想化なし）でＳＡＤを使用して、１つ以上の制御プレーンサービス１０４をホストできる。少なくともいくつかの実施形態では、ＳＡＤは、別のネットワーク（例えば、カスタマーネットワーク、ＩＶＮ等）ではなく、プロバイダネットワークのネットワークアドレスを介してアドレス可能であるハードウェアによって実行されるソフトウェア（例えば、サーバー）を指す。少なくともいくつかの実施形態では、ＳＡＤは、さらに、ソフトウェアを実行する基盤となるハードウェア（例えば、コンピュータシステム）を指し得る。

【0023】

図示のように、プロバイダネットワーク１００は、カスタマーネットワーク１８５内に配備されたプロバイダ基板拡張（ＰＳＥ）１８８及びカスタマーネットワーク１９５内に配備されたＰＳＥ１９８と通信する。各ＰＳＥは、ＰＳＥ１８８内に示されるＳＡＤ１８９Ａ～１８９Ｎ等の１つ以上の基板アドレス可能デバイス（ＳＡＤ）を含む。係るＳＡＤ１８９は、ＰＳＥ内のコンピューティング関連リソースのプロビジョニングを容易にする。ＳＡＤ１８９Ａ～１８９Ｎの場合のように、コンポーネントの実線のボックス－楕円－破線のボックスの組み合わせの図は、概して、この図面及び後続の図面にそれらのコンポーネントが１つ以上存在し得ることを示すために使用されることに留意されたい（ただし、対応するテキストの参照は、コンポーネントの単数形または複数形を指し、文字の最後尾がある場合及びない場合がある）。カスタマーゲートウェイ／ルーター１８６は、プロバイダネットワーク１００とＰＳＥ１８８との間の接続、ならびにＰＳＥ１８８と他のカスタマーリソース１８７（例えば、カスタマーネットワーク１８５に接続された他のオンプレミスサーバーまたはオンプレミスサービス）との間の接続を提供する。同様に、カスタマーゲートウェイ／ルーター１９６は、プロバイダネットワーク１００とＰＳＥ１９８との間の接続、ならびにＰＳＥ１９８と他のカスタマーリソース１９７との間の接続を提供する。ＰＳＥ１８８に示されるようなインターネットのようなパブリックネットワークまたはＰＳＥ１９８に示されるような直接接続等の様々な接続オプションは、プロバイダネットワーク１００とＰＳＥ１９８との間に存在する。

【0024】

プロバイダネットワーク１００内で、制御プレーントラフィック１０６は、概して、（ただし、常にではなく）ＳＡＤに向けられる一方、データプレーントラフィック１０４は、概して、（ただし、常にではなく）インスタンスに向けられる。例えば、いくつかのＳＡＤは、インスタンスの起動及び終了を可能にするＡＰＩを販売できる。制御プレーンサービス１０４は、制御プレーンを介して係るＳＡＤのＡＰＩにコマンドを送信して、ＩＶＮ１０２で新しいインスタンスを起動できる。

【0025】

ＩＶＮは、その名前によって示唆されるように、プロバイダネットワークの他のリソース（例えば、他のＩＶＮ）から論理的に分離されるまたは離されるホストされる（例えば、仮想化された）リソースのセットを含み得る。制御プレーンサービスは、各ＩＶＮに識別子を割り当ててそれを他のＩＶＮと区別することを含むＩＶＮをセットアップ及び構成できる。プロバイダネットワークは、ＩＶＮ間のピアリング関係等をセットアップすることによって、ＩＶＮ間の通信を可能にする様々な方法を提供できる（例えば、あるＩＶＮのゲートウェイが別のＩＶＮのゲートウェイと通信するように構成される）。

【0026】

ＩＶＮは、様々な目的で確立できる。例えば、ＩＶＮは、カスタマー専用のリソースのセットを確保することによって特定のカスタマー向けにセットアップされ得、カスタマーに提供されるそのリソースのセットのネットワーク構成に関してかなりの適応性がある。ＩＶＮ内で、カスタマーはサブネットをセットアップし、所望のプライベートＩＰアドレスを様々なリソースに割り当て、着信及び発信トラフィックを規定するセキュリティルールをセットアップする等を行い得る。少なくともいくつかの実施形態では、デフォルトで、あるＩＶＮ内にセットアップされたプライベートネットワークアドレスのセットは、別のＩＶＮから（または、より一般的には、ＩＶＮの外側から）アクセス不可能であり得る。

【0027】

トンネリング技術は、プロバイダネットワーク１００の異なるＳＡＤによってホストされるインスタンス間のＩＶＮトラフィックのトラバーサルを容易にする。例えば、ＩＶＮ１０２内で新しく起動するインスタンスはＩＶＮアドレスＡを有し、基板アドレスＸのＳＡＤによってホストされ得る一方、インスタンス１０１はＩＶＮアドレスＢを有し、基板アドレスＹのＳＡＤによってホストされ得る。これらのコンピュートインスタンス間の通信を容易にするために、ＳＡＤ Ｘは、新しく起動するインスタンスからインスタンス１０１に（ＩＶＮアドレスＡからＩＶＮアドレスＢに）送信されたパケットを、（基板アドレスＸから基板アドレスＹへに）各々のインスタンスをホストするＳＡＤのアドレス情報を有するパケットのペイロード内にカプセル化する。ＳＡＤ間で送信されるパケットは、さらに、基板アドレスＹのＳＡＤによってホストされる別のＩＶＮとは対照的に、データがＩＶＮ１０２に向けられることを示すために、ＩＶＮ１０２の識別子を含み得る。いくつかの実施形態では、ＳＡＤは、さらに、インスタンス間で送信されるパケットを、ＩＶＮに関連付けられる暗号化キーを使用してＳＡＤ間で送信されるパケットのペイロード内で暗号化する。少なくともいくつかの実施形態では、カプセル化及び暗号化は、インスタンスをホストするＳＡＤのソフトウェアコンポーネントによって行われる。

【0028】

ＰＳＥの場合、プロバイダネットワーク１００は１つ以上のネットワーキングコンポーネントを含み、それにより、プロバイダネットワーク１００の外側のプロバイダネットワーク基板を、カスタマーのオンプレミスネットワークに接続されたＰＳＥに効果的に拡張する。係るコンポーネントは、ＰＳＥを標的にするデータプレーン及び制御プレーンの操作が安全に、確実に、トランスペアレントにＰＳＥに通信されることを確実にできる。図示の実施形態では、ＰＳＥインターフェース１０８、ＰＳＥＳＡＤプロキシ１１０、及びＰＳＥＳＡＤアンカー１１２は、プロバイダネットワーク１００とＰＳＥ１８８との間のデータプレーン及び制御プレーンの通信を容易にする。同様に、ＰＳＥインターフェース１１８、ＰＳＥＳＡＤプロキシ１２０、及びＰＳＥＳＡＤアンカー１２２は、プロバイダネットワーク１００とＰＳＥ１９８との間のデータプレーン及び制御プレーンの通信を容易にする。本明細書で説明するように、ＰＳＥインターフェースは、制御プレーントラフィック及びデータプレーントラフィックをプロバイダネットワークから受信して、係る制御プレーントラフィックをＰＳＥＳＡＤプロキシに送信して、係るデータプレーントラフィックをＰＳＥに送信する。ＰＳＥインターフェースは、また、データプレーントラフィックをＰＳＥから受信して、係るデータプレーントラフィックをプロバイダネットワーク内の適切な宛先に送信する。ＰＳＥＳＡＤプロキシは、制御プレーントラフィックをＰＳＥインターフェースから受信して、係る制御プレーントラフィックをＰＳＥＳＡＤアンカーに送信する。ＰＳＥＳＡＤアンカーは、制御プレーントラフィックをＰＳＥＳＡＤプロキシから受信して、係る制御プレーントラフィックをＰＳＥに送信する。ＰＳＥＳＡＤアンカーは、また、制御プレーントラフィックをＰＳＥから受信して、係る制御プレーントラフィックをＰＳＥＳＡＤプロキシに送信する。ＰＳＥＳＡＤプロキシは、また、制御プレーントラフィックをＰＳＥＳＡＤアンカーから受信して、係る制御プレーントラフィックをプロバイダネットワーク内の適切な宛先に送信する。他の実施形態は、ネットワークコンポーネントの異なる組み合わせまたは構成を採用して、プロバイダネットワーク１００とＰＳＥとの間の通信を容易にし得る（例えば、ＰＳＥインターフェース、ＰＳＥＳＡＤプロキシの機能、及び／またはＰＳＥＳＡＤアンカーは、ＰＳＥインターフェース及びＰＳＥＳＡＤプロキシの両方、ＰＳＥＳＡＤプロキシ及びＰＳＥＳＡＤアンカーの両方、３つのコンポーネントの全ての動作を行うアプリケーション等によって、様々な方法で組み合わされ得る）。

【0029】

上記に示したように、各ＰＳＥは、ＳＡＤ用の１つ以上の基板ネットワークアドレス（例えば、ＳＡＤ１８９Ａ～１８９Ｎ）を有する。それらの基板アドレスがプロバイダネットワーク１００を介して直接到達可能ではないため、ＰＳＥインターフェース１０８、１１８は、各々のＰＳＥの基板アドレスと一致するアタッチされた仮想ネットワークアドレス（ＶＮＡ）でマスカレードする。図示のように、ＰＳＥインターフェース１０８は、ＰＳＥ１８８のＳＡＤアドレス（複数可）と一致するＶＮＡ（複数可）１５０をアタッチしており、ＰＳＥインターフェース１１８は、ＰＳＥ１９８のＳＡＤアドレス（複数可）と一致するＶＮＡ（複数可）１５２をアタッチしている。例えば、ＰＳＥ１８８内のインターネットプロトコル（ＩＰ）アドレス１９２．１６８．０．１０のＳＡＤに向けられるトラフィックは、アタッチされた仮想アドレス１９２．１６８．０．１０を有するＰＳＥインターフェース１０８に送信され、ＰＳＥ１９８内のＩＰアドレスが１９２．１６８．１．１０のＳＡＤに向けられるトラフィックは、１９２．１６８．１．１０のアタッチされた仮想アドレスを有するＰＳＥインターフェース１１８に送信される。ＩＰｖ４またはＩＰｖ６アドレス指定が使用され得ることに留意されたい。少なくともいくつかの実施形態では、ＶＮＡは、ＩＰアドレス等の様々なネットワーク関連の属性をインスタンス間でプログラムで転送することを可能にする論理構造である。係る転送は、ＶＮＡをインスタンスに「アタッチ」し、ＶＮＡをインスタンスから「デタッチ」することと称され得る。

【0030】

高レベルで、ＰＳＥインターフェースは、実質的に、トラフィックが制御プレーントラフィックまたはデータプレーントラフィックであるかに基づいてトラフィックをルーティングするパケット転送コンポーネントである。上記に説明した基板アドレス指定及びカプセル化技術を考えると、制御トラフィック及びデータプレーントラフィックの両方がＳＡＤに向けられるため、両方ともＰＳＥインターフェースにルーティングされることに留意されたい。制御プレーントラフィックの場合、ＰＳＥインターフェースはＳＡＤアドレスに基づいてトラフィックをＰＳＥＳＡＤプロキシにルーティングする。データプレーントラフィックの場合、ＰＳＥインターフェースは、プロバイダネットワーク１００とＰＳＥとの間の１つ以上の暗号化されたデータプレーントラフィックトンネル（例えば、ＰＳＥインターフェース１０８とＰＳＥ１８８との間のトンネル１９１、ＰＳＥインターフェース１１８とＰＳＥ１９８と間のトンネル１９３）を確立し、エンドポイントとして機能する。プロバイダネットワーク１００から受信されたデータプレーントラフィックに関して、ＰＳＥインターフェースは、トンネルを通じてＰＳＥに伝送するためにトラフィックを暗号化する。ＰＳＥから受信されたデータプレーントラフィックに関して、ＰＳＥインターフェースはトラフィックを復号化し、オプションでパケットのＳＡＤアドレス指定を検証して、プロバイダネットワーク１００を介して識別されたＳＡＤ宛先にトラフィックを送信する。ＰＳＥインターフェースがデータプレーントラフィックを伝送するために使用される予想される形式（例えば、プロトコル）に準拠していないトラフィックをＰＳＥから受信する場合、ＰＳＥインターフェースは係るトラフィックをドロップできることに留意されたい。さらに、ＰＳＥインターフェースがカプセル化されたパケットのアドレス指定を検証して、トラフィックの発信者（例えば、特定のＩＶＮ内でＰＳＥによってホストされるインスタンス）がアドレス指定された宛先（例えば、同じまたは異なるＩＶＮ内のプロバイダネットワークによってホストされるインスタンス）にトラフィックを送信することが許可されることを確実にできることに留意されたい。

【0031】

ＰＳＥの各ＳＡＤは１つ以上のＰＳＥインターフェースの対応するグループを有し、グループの各メンバーは、ＰＳＥとのデータプレーントラフィック用に１つ以上のトンネルを確立する。例えば、４つのＳＡＤを有するＰＳＥに４つのＰＳＥインターフェースがある場合、ＰＳＥインターフェースは、それぞれ、ＳＡＤのそれぞれのデータプレーントラフィックエンドポイントとの安全なトンネル（例えば、１６のトンネル）を確立する。代替として、関連するＶＮＡをグループの各メンバーにアタッチすることによって、ＰＳＥインターフェースのグループを複数のＳＡＤによって共有し得る。

【0032】

各ＰＳＥは、１つ以上のＰＳＥＳＡＤプロキシと、プロバイダネットワーク１００とＰＳＥのＳＡＤとの間の制御プレーントラフィックを処理する１つ以上のＰＳＥＳＡＤアンカーとを有する。制御プレーントラフィックは、一般的に、コマンド－レスポンス形式またはリクエスト－レスポンス形式を有する。例えば、プロバイダネットワーク１００の制御プレーンサービスは、インスタンスを起動するためのコマンドをＰＳＥＳＡＤに発行できる。ＰＳＥリソースの管理がプロバイダネットワークから容易になるため、セキュアトンネルを通じて送信される制御プレーンコマンドは、一般的に、ＰＳＥから発信されるはずはない。高レベルで、ＰＳＥＳＡＤプロキシは、プロバイダネットワーク１００とＰＳＥとの間のステートフルセキュリティ境界として機能する（係る境界は、時々、データダイオードと称される）。そのために、ＰＳＥＳＡＤプロキシは、受信した制御プレーントラフィックに様々なセキュリティポリシーまたはセキュリティルールを適用する等の１つ以上の技術を採用できる。他の制御プレーンサービス１０４は、間接的または直接的に公開ＡＰＩを提供し、ＰＳＥによってホストされるインスタンスが非トンネリング通信を介して（例えば、インターネット等のパブリックネットワークを通じて）プロバイダネットワーク１００にコマンドを発行することを可能にし得ることに留意されたい。

【0033】

プロバイダネットワーク１００内から発信され、ＰＳＥに向けられるトラフィックに関して、ＰＳＥＳＡＤプロキシは、ＰＳＥ内のその対応するＳＡＤの制御プレーンエンドポイントＡＰＩを提供できる。例えば、インスタンスをホストできるＰＳＥＳＡＤのＰＳＥＳＡＤプロキシは、インスタンスを起動、構成、及び終了するために制御プレーン操作を受信できるＡＰＩと一致するＡＰＩを提供できる。ＰＳＥＳＡＤに向けられ、ＰＳＥＳＡＤプロキシによって受信されたＡＰＩコール及び関連パラメータに応じて、ＰＳＥＳＡＤプロキシは様々な操作を行うことができる。いくつかの操作に関して、ＰＳＥＳＡＤプロキシは、操作パラメータ及び関連パラメータを修正せずに宛先ＳＡＤに渡すことができる。いくつかの実施形態では、ＰＳＥＳＡＤプロキシは、それらの操作を終える前に、プロバイダネットワーク１００内から受信されたＡＰＩコールのパラメータがＡＰＩに対して適格であることを検証できる。

【0034】

いくつかのＡＰＩコールまたは関連パラメータに関して、ＰＳＥＳＡＤは、機密情報がプロバイダネットワーク１００の外側に送信されるのを防ぐための媒介装置として機能できる。例示的な機密情報は、暗号化キー、ネットワーク証明書等の暗号化情報を含む。例えば、ＰＳＥＳＡＤプロキシは、機密キーを使用してデータを復号化し、ＰＳＥに曝すことができるキーを使用してデータを再暗号化できる。別の例として、ＰＳＥＳＡＤプロキシは、プロバイダネットワーク１００内から発信された第１のセキュアセッション（例えば、トランスポート層セキュリティ（ＴＬＳ）セッション）を終了し、異なる証明書を使用して対応するＳＡＤとの新しいセキュアセッションを作成し、プロバイダネットワーク証明書がＰＳＥにリークするのを防ぐことができる。したがって、ＰＳＥＳＡＤプロキシは、機密情報を含むプロバイダネットワーク１００内から特定のＡＰＩコールを受信して、機密情報を交換するＰＳＥＳＡＤに代替ＡＰＩコールまたは交換ＡＰＩコールを発行できる。

【0035】

ＰＳＥから発信され、プロバイダネットワーク１００に向けられるトラフィックに関して、ＰＳＥＳＡＤプロキシは、例えば、ＰＳＥから発信される全ての制御プレーンコマンドもしくは制御プレーン要求、またはプロバイダネットワーク内の公開されている制御プレーンエンドポイントに向けられていないコマンドもしくは要求だけをドロップできる。

【0036】

いくつかの実施形態では、ＰＳＥＳＡＤプロキシは、もしあれば、予想される応答の性質に応じて、制御プレーン操作への応答を処理できる。例えば、いくつかの応答に関して、ＰＳＥＳＡＤプロキシは、対応するコマンドまたは要求の発信者にいずれかのメッセージを送信せずに、単に応答をドロップできる。別の例として、いくつかの応答に関して、ＰＳＥＳＡＤプロキシは、応答をサニタイズして、サニタイズされた応答を対応するコマンドまたは要求の発信者に制御プレーントラフィック１０７を介して送信する前に、対応するコマンドまたは要求の予想される応答フォーマットに従うことを確実にできる。さらに別の例として、ＰＳＥＳＡＤプロキシは、（すぐに、またはＳＡＤからの実際の応答の受信時に）応答を生成し、生成された応答を対応するコマンドまたは要求の発信者に制御プレーントラフィック１０７を介して送信できる。

【0037】

プロバイダネットワーク１００とＰＳＥとの間のセキュリティ境界として機能する一部として、ＰＳＥＳＡＤプロキシは、プロバイダネットワークのコンポーネント（例えば、制御プレーンサービス１０４）とＰＳＥの各ＳＡＤとの間の通信状態を追跡できる。状態データは、セッション期間中のセッションキー、未処理の応答を追跡するために関連する送信元及び宛先を使用した保留中のアウトバウンドＡＰＩコール、プロバイダネットワーク１００内から受信されたＡＰＩコールと、交換または置換された機密情報等とともにＳＡＤに発行されたそのＡＰＩコールとの関係を含み得る。

【0038】

いくつかの実施形態では、ＰＳＥＳＡＤプロキシは、制御プレーントラフィックに加えて、他のＰＳＥからプロバイダへのネットワーク通信のためのステートフル通信を提供できる。係る通信は、ドメインネームシステム（ＤＮＳ）トラフィック、ネットワークタイムプロトコル（ＮＴＰ）トラフィック、及びオペレーティングシステムアクティベーショントラフィック（例えば、Ｗｉｎｄｏｗｓ（登録商標）アクティベーション用）を含み得る。

【0039】

いくつかの実施形態では、ＰＳＥの特定のコンポーネントだけが、プロバイダネットワーク１００との暗号化された制御プレーントラフィックトンネルのエンドポイントとして機能することが可能である。プロバイダネットワーク１００とＰＳＥとの間の接続に冗長性及び信頼性を提供するために、ＰＳＥＳＡＤアンカーは、ＰＳＥの利用可能なトンネルエンドポイントのそれぞれのプロバイダネットワーク側エンドポイントとして機能できる。図示のように、ＰＳＥＳＡＤアンカー（複数可）１１２はトンネル１９０を介して制御プレーントラフィックをＰＳＥ１８８にトンネルする働きをし、ＰＳＥＳＡＤアンカー（複数可）１２２はトンネル１９２を介して制御プレーントラフィックをＰＳＥ１１９８にトンネルする働きをする。

【0040】

様々な実施形態は、上記に説明したトラフィックを処理するための技術を使用することと、プロバイダネットワーク１００の他の部分からトラフィックに曝されるそれらのネットワークコンポーネントを分離することとの両方を行うことによって、プロバイダネットワークの外側から（例えば、ＰＳＥが含まれる状態から）発生するいずれかの計画された攻撃のラジアルインパクトを制限できる。具体的には、ネットワークコンポーネントは、１つ以上のＩＶＮ内で動作して、攻撃者が侵入し得る範囲を制限でき、それによって、プロバイダネットワーク及び他のカスタマーの両方の動作を保護する。したがって、様々な実施形態は、１つ以上のＩＶＮ内で実行する仮想マシンまたはコンテナによって実行されるアプリケーションとして、ＰＳＥインターフェース、ＰＳＥＳＡＤプロキシ、及びＰＳＥＳＡＤアンカーをインスタンス化できる。図示の実施形態では、異なるＰＳＥのＰＳＥインターフェースのグループは、マルチテナントＩＶＮ（例えば、ＰＳＥ１８８及びＰＳＥ１９８のＰＳＥインターフェースＩＶＮ１３２）の中で起動する。他の実施形態では、ＰＳＥインターフェースの各グループはシングルテナントＩＶＮで起動できる。さらに、所与のＰＳＥに関するＰＳＥＳＡＤプロキシの各グループ及びＰＳＥＳＡＤアンカーの各グループは、シングルテナントＩＶＮ（例えば、ＰＳＥ１８８のＰＳＥＳＡＤプロキシＩＶＮ１３４、ＰＳＥ１８８のＰＳＥＳＡＤアンカーＩＶＮ１３６、ＰＳＥ１９８のＰＳＥＳＡＤプロキシＩＶＮ１３８、及びＰＳＥ１９８のＰＳＥＳＡＤプロキシＩＶＮ４０）の中で起動する。

【0041】

ネットワークコンポーネント（例えば、ＰＳＥインターフェース、ＰＳＥＳＡＤプロキシ、及びＰＳＥＳＡＤアンカー）のそれぞれに複数のインスタンスを動作させることによって提供される冗長性により、プロバイダネットワークは、ＰＳＥからプロバイダへのネットワーク通信を中断することなく、それらのコンポーネントをホストするインスタンスを定期的にリサイクルすることが可能であることに留意されたい。リサイクルは、例えば、インスタンスの再起動または新しいインスタンスの起動と、例えば、リサイクルされたインスタンスのアドレスを用いる他のインスタンスの再構成とを含み得る。定期的なリサイクルは、ネットワークコンポーネントが侵害された場合、攻撃者が侵害されたネットワークコンポーネントを利用し得る時間枠を制限する。

【0042】

ＰＳＥ接続マネージャ１８０は、プロバイダネットワーク１００とＰＳＥとの間の接続を提供するネットワークコンポーネントのセットアップ及び構成を管理する。前述のように、ＰＳＥインターフェース１０８、１１８、ＰＳＥＳＡＤプロキシ１１０、１２０、及びＰＳＥＳＡＤアンカー１１２、１２２は、プロバイダネットワーク基板によってインスタンスとしてホストできる。ＰＳＥ接続マネージャ１８０は、ＰＳＥがカスタマーに出荷されるとき及び／またはそのＰＳＥがオンラインになり、構成データをプロバイダネットワークと交換するとき、ＰＳＥインターフェース（複数可）、ＰＳＥＳＡＤの単数のプロキシ／複数のプロキシ、及びＰＳＥのＰＳＥＳＡＤアンカー（複数可）の起動を要求または開始できる。さらに、ＰＳＥ接続マネージャ１８０は、さらに、ＰＳＥインターフェース（複数可）、ＰＳＥＳＡＤの単数のプロキシ／複数のプロキシ、及びＰＳＥＳＡＤアンカー（複数可）を構成できる。例えば、ＰＳＥアタッチマネージャ１８０は、ＰＳＥのＳＡＤに対応するＶＮＡ（複数可）をＰＳＥインターフェース（複数可）にアタッチし、ＰＳＥインターフェース（複数可）に、ＰＳＥＳＡＤの単数のプロキシ／複数のプロキシのアドレスを提供し、ＰＳＥＳＡＤの単数のプロキシ／複数のプロキシに、ＰＳＥのＰＳＥＳＡＤのＰＳＥＳＡＤアンカー（複数可）のアドレスを提供できる。さらに、ＰＳＥ接続マネージャ１８０は、例えば、ＰＳＥインターフェースＩＶＮ１３２とＰＳＥのＰＳＥＳＡＤプロキシＩＶＮとの間の通信と、ＰＳＥＳＡＤプロキシＩＶＮとＰＳＥのＰＳＥＳＡＤアンカーＩＶＮとの間の通信とを可能にするように、様々なコンポーネントのＩＶＮを構成できる。

【0043】

トンネル１９０～１９３の確立を容易にするために、トンネルエンドポイントは、各々のネットワークの外側から（例えば、ＰＳＥインターフェース及びＰＳＥＳＡＤアンカーに関するプロバイダネットワークの外側から、ＰＳＥのトンネルエンドポイントに関するカスタマーネットワークの外側から）トラフィックを受信できる１つ以上のアタッチされたＶＮＡまたは割り当てられた物理ネットワークアドレスを有し得ることに留意されたい。例えば、ＰＳＥ１８８は、単一の外向きのネットワークアドレスを有し、ポートアドレス変換（ＰＡＴ）または複数の外向きのネットワークアドレスを使用して、複数のＳＡＤへの通信を管理できる。ＰＳＥＳＡＤアンカー１１２、１２２のそれぞれは、外向きのネットワークアドレスを有し得るまたは（例えば、ＰＡＴを介して）共有でき、ＰＳＥインターフェース１０８、１１８のそれぞれは、外向きのアクセス可能なネットワークアドレスを有し得るまたは（例えば、ＰＡＴを介して）共有できる。

【0044】

図２は、少なくともいくつかの実施形態による、例示的なプロバイダ基板拡張を示すブロック図である。図示の実施形態では、ＰＳＥ１８８は、１つ以上のＰＳＥフレームワーク２０２及び１つ以上のホスト２２０を含む。高レベルで、ホスト２２０のそれぞれは、プロバイダネットワーク基板（例えば、プロバイダネットワーク内のインスタンスをホストするその基板リソース）の一部を形成するコンピュータシステムの少なくとも一部と機能的に（場合によって構造的に）同様であり得る一方、ＰＳＥフレームワーク（複数可）２０２は、ＰＳＥ内のプロバイダネットワーク基板をエミュレートするために、ならびに制御プレーントラフィックトンネル及びデータプレーントラフィックトンネル（例えば、図１のトンネル１９０～１９３）を介してプロバイダネットワークへの接続を提供するためのサポートインフラストラクチャを提供する。

【0045】

少なくともいくつかの実施形態では、ＰＳＥフレームワーク２０２のそれぞれは、ＰＳＥ制御プレーントラフィック２４０及びＰＳＥデータプレーントラフィック２４２によって示されるように、メッシュのようなアーキテクチャにおいて、制御プレーントラフィックまたはデータプレーントラフィックをホスト２２０のそれぞれから送信または受信でき、逆もまた同様である。係る冗長性により、カスタマーがプロバイダネットワークに期待し得る信頼性レベルが可能になる。

【0046】

ＰＳＥフレームワーク２０２は、制御プレーントラフィックを運ぶ暗号化トンネル（例えば、トンネル１９０、トンネル１９２）を終端する１つ以上の制御プレーントンネルエンドポイント２０４を含む。いくつかの実施形態では、プロバイダネットワーク１００は、制御プレーントンネルエンドポイント２０４のそれぞれのＰＳＥＳＡＤアンカーをホストする。プロバイダネットワークに戻ると、ＰＳＥＳＡＤの単数のプロキシまたは複数のプロキシ（例えば、プロキシ１１０）は、制御プレーントラフィックをＰＳＥＳＡＤアンカー（例えば、アンカー１１２）に分散でき、制御プレーントラフィックのロードをＰＳＥ１８８のＰＳＥフレームワーク２０２にわたって効果的に分散する。ＰＳＥフレームワーク２０２は、さらに、プロバイダネットワークのＰＳＥインターフェースから、データプレーントラフィックを運ぶ暗号化トンネル（例えば、トンネル１９１、トンネル１９３）を終端する１つ以上のデータプレーントンネルエンドポイント２０６を含み、ＰＳＥフレームワーク２０２は、さらに、メッシュのようなアーキテクチャにおいて接続され得る（例えば、所与のＰＳＥインターフェース１０８は、ＰＳＥフレームワーク２０２のそれぞれのデータプレーントンネルエンドポイント２０６とのトンネルを確立する）。

【0047】

上記に示したように、制御プレーントラフィックのパケット及びデータプレーントラフィックのパケットは、送信元及び宛先の両方としてＳＡＤを含み得る。後者（データプレーントラフィックのパケット）はＳＡＤベースのアドレス指定を有するパケットにカプセル化される。図示のように、ＰＳＥフレームワーク２０２はＳＡＤ２８９であり、ホスト２２０はＳＡＤ２９０である。ＰＳＥ１８８内のＳＡＤ（例えば、ＳＡＤ２８９、２９０）は、また、プロバイダネットワーク内の対応するＰＳＥＳＡＤの単数のプロキシまたは複数のプロキシ（例えば、ＰＳＥＳＡＤプロキシ１１０）で確立されたセキュアセッションにセキュアセッション終了（例えば、ＴＬＳ終了）を提供できることに留意されたい。

【0048】

ＳＡＤは１つ以上の制御プレーンＡＰＩを販売して、ＳＡＤのリソースを管理するＳＡＤに向けられた制御プレーン操作を処理する。例えば、ＰＳＥフレームワーク２０２のＰＳＥマネージャ２１０は、ＰＳＥフレームワーク２０２のコンポーネントを管理するための制御プレーンＡＰＩを販売できる。係るコンポーネントの１つは、例えば、ＰＳＥマネージャ２１０に対してＳＡＤ２８９に向けられた制御プレーントラフィック、及びホストマネージャ２２２に対してＳＡＤ２９０に向けられた制御プレーントラフィックまたはデータプレーントラフィック等の、制御プレーントラフィック及び／またはデータプレーントラフィックをＰＳＥ１８８に出入りするようにルーティングするＰＳＥゲートウェイ２０８である。ＰＳＥゲートウェイ２０８は、さらに、ＰＳＥ展開サイトのネットワーク（例えば、カスタマーネットワーク１８５）を介してアクセス可能な他のカスタマーリソース１８７等にまたはそこから、カスタマーネットワークとの通信を容易にできる。

【0049】

ＰＳＥマネージャ２１０のＡＰＩは、ＰＳＥフレームワーク２０２のＰＳＥゲートウェイ２０８を構成するための１つ以上のコマンドを含み得る。ＰＳＥフレームワーク２０２の他のコンポーネント２１２は、ＤＮＳ、動的ホスト構成プロトコル（ＤＨＣＰ）、及び／またはＮＴＰサービス等のホスト２２０のためのＰＳＥの基板の動作に関与する様々なアプリケーションまたはサービスを含み得る。

【0050】

ホストマネージャ２２２は、ホスト２２０のコンポーネントを管理するための制御プレーンＡＰＩを販売できる。図示の実施形態では、ホストマネージャ２２２は、インスタンスマネージャ２２４及びネットワークマネージャ２２６を含む。インスタンスマネージャ２２４は、ホスト２２０によってホストされるインスタンスを起動、構成、及び及び／または終了するためのコマンドを含む、ホスト２２０の管理に関連するＡＰＩコールを処理できる。例えば、プロバイダネットワーク（図示せず）内のインスタンス管理サービスは、制御プレーンコマンドをインスタンスマネージャ２２４に発行して、ホスト２２０でインスタンスを起動できる。図示のように、ホスト２２０は、カスタマーＩＶＮ２３３の内側で起動するカスタマーインスタンス２３２、３ＰＩＶＮ２３５の内側で起動するサードパーティ（３Ｐ）インスタンス２３４、及びサービスＩＶＮ２３７の内側で起動するサービスインスタンス２３６のホストである。これらのＩＶＮ２３３、２３４、２３５のそれぞれは、プロバイダネットワーク内に確立された既存のＩＶＮを拡張できることに留意されたい。カスタマーインスタンス２３２は、いくつかのカスタマーアプリケーションまたはワークロードを実行し得、３Ｐインスタンス２３４は、カスタマーがＰＳＥ１８８内でインスタンスを起動することを許可している別のパーティのアプリケーションまたはワークロードを実行し得、サービスインスタンス２３６は、ＰＳＥ１８８にローカルに提供するプロバイダネットワークのサービス（例えば、ブロックストレージサービス、データベースサービス等）を実行し得る。

【0051】

ネットワークマネージャ２２６は、ホスト２２０によって受信されたＳＡＤアドレス指定されたデータプレーントラフィックを処理できる。係るトラフィックに関して、ネットワークマネージャは、ＩＶＮパケットをアドレス指定されたホストされるインスタンスに送信する前に、ＩＶＮパケットの必要なカプセル化解除を行うことができる。さらに、ネットワークマネージャ２２６は、ホストされるインスタンスによって送信されたトラフィックのルーティングを処理できる。ホストされるインスタンスが（例えば、同じホストで）ローカルにホストされる別のインスタンスにトラフィックを送信しようとするとき、ネットワークマネージャ２２６はそのトラフィックをアドレス指定されたインスタンスに転送できる。ホストされるインスタンスが（例えば、同じホストにない）非ローカルインスタンスにトラフィックを送信しようとするとき、ネットワークマネージャ２２６は、非ローカルインスタンスをホストするデバイスの基板アドレスを見つけ、対応するパケットをカプセル化し、オプションで、ＳＡＤアドレス指定されたパケットに暗号化し、そのパケットを、データプレーンを通じて送信できる（例えば、ＰＳＥ内の別のホストに送信する、またはＰＳＥゲートウェイ２０８を介してプロバイダネットワークに戻すのいずれかが行われる）。ネットワークマネージャ２２６は、データプレーントラフィックのルーティングを容易にする様々なデータを含み得る、またはそれらのデータにアクセスできることに留意されたい（例えば、これは、ホストされたインスタンスから受信されたパケットの宛先にＩＶＮネットワークアドレスを有するインスタンスをホストするＳＡＤのアドレスを検索するためである）。

【0052】

図３は、少なくともいくつかの実施形態による、プロバイダネットワークとプロバイダ基板拡張との間の例示的な接続を示すブロック図である。具体的には、図３は、プロバイダネットワークとＰＳＥとの間の例示的な接続を示す。図３に関して及び図の上部に示されるように、用語「インバウンド」はプロバイダネットワークによってＰＳＥから受信されたトラフィックを指し、用語「アウトバウンド」はプロバイダネットワークによってＰＳＥに送信されるトラフィックを指すことに留意されたい。図示されていないが、この例では、ＰＳＥがＳＡＤの２つのＰＳＥフレームワーク２０２及び２つのホスト２２０（合計４つ）を含むと仮定する。ＰＳＥフレームワークは、制御プレーントラフィック用のトンネルエンドポイント２０４Ａ、２０４Ｂと、データプレーントラフィック用のトンネルエンドポイント２０６Ａ、２０６Ｂとを提供する。アウトバウンドトラフィックは復号化され、ＰＳＥゲートウェイ２０８Ａ、２０８Ｂを介してＰＳＥ基板内の宛先に送信される。

【0053】

４つのＳＡＤのそれぞれに関して、プロバイダネットワークは、ＶＮＡ、１つ以上のＰＳＥインターフェース、及び１つ以上のＰＳＥＳＡＤプロキシを含む。この例では、プロバイダネットワークは、ＰＳＥＳＡＤＶＮＡ３０４、２つのＰＳＥインターフェース１０８Ａ、１０８Ｂ、及び所与のＰＳＥＳＡＤのための２つのＰＳＥＳＡＤプロキシ１１０Ａ、１１０Ｂを含む。一緒に、ＰＳＥインターフェース（複数可）及びＰＳＥＳＡＤの単数のプロキシ／複数のプロキシは示されるようにスライスと称され得、各スライスはＰＳＥ内の特定のＳＡＤに対応する。他の実施形態では、ＰＳＥインターフェース（複数可）は、ＳＡＤの１つに対する単一のＶＮＡではなく、ＶＰＮのための全てのＶＮＡによって共有され得る。

【0054】

ＰＳＥＳＡＤＶＮＡ３０４は、プロバイダネットワークの他のコンポーネントがＰＳＥの対応するＳＡＤにトラフィックを送信して、そのＳＡＤから受信できる所与のＰＳＥのフロントとして機能する。ロードバランサ（図示せず）は、ＰＳＥＳＡＤＶＮＡ３０４に送信されるアウトバウンドトラフィックを、ＰＳＥインターフェース１０８Ａ、１０８Ｂの１つにルーティングできる。所与のスライス及び他のスライス（図示せず）のものに関する図示されるＰＳＥインターフェース１０８Ａ、１０８Ｂは、ＰＳＥインターフェースＩＶＮ１３２内で動作する。ＰＳＥインターフェース１０８Ａ、１０８Ｂは、データプレーントラフィックトンネルを介してデータプレーントラフィックをＰＳＥに送信して、制御プレーントラフィックをスライスのＰＳＥＳＡＤプロキシ１１０Ａ、１１０Ｂに転送することによって、制御プレーントラフィックをＰＳＥに送信する。ＰＳＥインターフェース１０８Ａ、１０８Ｂは、関連するＳＡＤのＰＳＥＳＡＤの単数のプロキシ／複数のプロキシのネットワークアドレス、データプレーントンネルエンドポイント（複数可）のネットワークアドレス、及びそれらのエンドポイント（複数可）との通信を保護するためのＰＳＥのデータプレーントンネルエンドポイント（複数可）の１つ以上のキーまたは関連付けられるキーを記憶する（またはそれにアクセスできる）。

【0055】

少なくともいくつかの実施形態では、ＰＳＥインターフェース１１０Ａ、１１０Ｂは、データプレーントンネルエンドポイント２０６Ａ、２０６Ｂのそれぞれとのデータプレーントラフィックのための安全なトンネルを確立し、Ｎ個のデータプレーントンネルが生じ、ここで、ＮはＳＡＤごとのＰＳＥインターフェースの数である（各ＳＡＤが同じ数のインターフェースを有すると仮定する）にデータプレーントンネルエンドポイントの数を掛け、それにＳＡＤの数を掛ける。この例では、１６個のデータプレーントンネルがＰＳＥインターフェースとデータプレーントンネルエンドポイントとの間に確立される（つまり、ＳＡＤごとに２つのＰＳＥインターフェース×２つのデータプレーントンネルエンドポイント×４つのＳＡＤ）。

【0056】

ＰＳＥＳＡＤプロキシ１１０Ａ、１１０Ｂは、ＰＳＥインターフェース１０８Ａ、１０８Ｂから制御プレーントラフィックを受信して、本明細書の他の箇所で説明される様々な動作を行い、２つのＰＳＥＳＡＤアンカー１１２Ａ、１１２Ｂのいずれかを介して制御プレーントラフィックをＰＳＥに送信する。同様に、ＰＳＥＳＡＤプロキシ１１０Ａ、１１０Ｂは、２つのＰＳＥＳＡＤアンカー１１２Ａ、１１２Ｂのいずれかから制御プレーントラフィックを受信して、本明細書の他の箇所で説明される様々な動作を行い、プロバイダネットワーク内の宛先への制御プレーントラフィック１０７を行う。所与のスライスの図示されるＰＳＥＳＡＤプロキシ１１０Ａ、１１０Ｂ及び他のスライス（図示せず）のプロキシは、ＰＳＥＳＡＤプロキシＩＶＮ１３４内で動作する。ＰＳＥインターフェース１０８Ａ、１０８Ｂは、ＰＳＥＳＡＤアンカー（複数可）のネットワークアドレスを記憶する（またはそれにアクセスできる）。

【0057】

少なくともいくつかの実施形態では、ＰＳＥＳＡＤプロキシは、共有データストア３０６にアクセスできる、またはそうでなければ、情報を交換することが可能である。係る情報交換はいくつかの理由で使用できる。例えば、ＰＳＥＳＡＤプロキシはＡＰＩインターフェースを販売して、ＰＳＥ内の関連するＳＡＤのＡＰＩインターフェースをエミュレートできることを思い出されたい。いくつかの通信がステートフルである可能性があり、様々なロードバランシング技術により、同じＰＳＥＳＡＤプロキシが所与の動作セットの全ての通信の処理を妨げ得るため、１つのＰＳＥＳＡＤプロキシは、異なるＰＳＥＳＡＤプロキシによって以前に処理された通信状態にアクセスする必要があり得る（例えば、ＰＳＥＳＡＤプロキシ１１０Ａは制御プレーン操作をＰＳＥに送信して、ＰＳＥＳＡＤプロキシ１１０Ｂは制御プレーン操作への応答をＰＳＥから受信する）。インバウンド制御プレーントラフィックに関して、ＰＳＥＳＡＤプロキシは、インバウンドメッセージが予想される状態と一致しているかどうかをチェックし、一致している場合、本明細書の他の箇所で説明されているように、制御プレーントラフィック１０７を介してメッセージを送信できる。一致しない場合、ＰＳＥＳＡＤプロキシ１１０Ａ、１１０Ｂはトラフィックをドロップできる。別の例として、ＰＳＥＳＡＤプロキシは、プロバイダネットワーク証明書がＰＳＥに送信されないように、別個の安全なセッション（例えば、ＴＬＳセッション）をブリッジできることを思い出されたい。この場合も、アウトバウンドメッセージを処理するＰＳＥＳＡＤプロキシはそのメッセージへの応答を処理するＰＳＥＳＡＤプロキシとは異なり得るため、応答メッセージを処理するＰＳＥＳＡＤプロキシは、安全な応答メッセージを、制御プレーントラフィック１０７を介して発信者に送信するために、アウトバウンドメッセージの発信者とアウトバウンドメッセージを処理したＰＳＥＳＡＤプロキシとの間で確立された同じキーを使用できる。

【0058】

この例では、各ＰＳＥフレームワークは、単一の制御プレーントンネルエンドポイント２０４を提供する。利用可能な制御プレーントンネルエンドポイント２０４のそれぞれに関して、プロバイダネットワークはＰＳＥアンカーを含む。この例では、プロバイダネットワークは２つのＰＳＥアンカー１１２Ａ、１１２Ｂを含む。ＰＳＥＳＡＤアンカー１１２Ａ、１１２Ｂは、ＰＳＥＳＡＤアンカーＩＶＮ１３６内で動作する。ＰＳＥアンカー１１２は、８つのＰＳＥＳＡＤプロキシ（４つのＳＡＤのそれぞれでスライスごとに２つ）のそれぞれから制御プレーントラフィックを受信して、そのトラフィックをＰＳＥに送信する。ＰＳＥアンカーは、また、制御プレーントラフィックをＰＳＥから受信して、そのトラフィックを、ＰＳＥからトラフィックの発信元のＳＡＤに関連付けられる２つのＰＳＥＳＡＤプロキシの１つに送信する。ＰＳＥアンカー１１２Ａ、１１２Ｂは、ＳＡＤのそれぞれのＰＳＥＳＡＤの単数のプロキシ／複数のプロキシのネットワークアドレス、制御プレーントンネルエンドポイント（複数可）のネットワークアドレス、及びそれらのエンドポイント（複数可）との通信を保護するためのＰＳＥの制御プレーントンネルエンドポイント（複数可）の１つ以上のキーまたは関連付けられるキーを記憶する（またはそれにアクセスできる）。

【0059】

少なくともいくつかの実施形態では、ネットワークコンポーネントまたはプロバイダネットワークは、ロードバランシング技術を採用して、プロバイダネットワークとＰＳＥとの間でルーティング制御及びデータプレーントラフィックのワークロードを分散できる。例えば、ＰＳＥＳＡＤＶＮＡ３０４に送信されるトラフィックは、ＰＳＥインターフェース１０８Ａ、１０８Ｂの間で分散できる。別の例として、ＰＳＥインターフェース１０８のそれぞれは、データプレーントンネルエンドポイント２０６Ａ、２０６Ｂの間でトラフィックを分散できる。さらに別の例として、ＰＳＥインターフェース１０８のそれぞれは、ＰＳＥＳＡＤプロキシ１１０Ａ、１１０Ｂの間でトラフィックを分散できる。さらに別の例として、ＰＳＥＳＡＤプロキシ１１０のそれぞれは、ＰＳＥＳＡＤアンカー１１２Ａ、１１２Ｂの間でアウトバウンドトラフィックを分散できる。さらに別の例として、ＰＳＥＳＡＤアンカー１１２は、ＰＳＥＳＡＤプロキシ１１０Ａ、１１０Ｂの間でインバウンドトラフィックを分散できる。いずれの場合も、係るロードバランシングは、送信エンティティまたはロードバランサ（図示せず）によって行うことができる。例示的なロードバランシング技術は、そのアドレスの「後ろ」にある複数のコンポーネントにトラフィックを分散する単一のＶＮＡを伴うロードバランサを採用することと、各データ送信者に複数の受信者のアドレスを提供することと、選択した受信者をアプリケーションレベルで分散すること等を含む。

【0060】

図１～図３に示される実施形態は、制御プレーントラフィック及びデータプレーントラフィック用の別のトンネルの確立を示し、他の実施形態は、制御プレーントラフィック及びデータプレーントラフィックの両方のための１つ以上のトンネルを採用し得ることに留意されたい。例えば、ＰＳＥインターフェースは、共有トンネルを通じてＰＳＥに伝送するために、データプレーントラフィックをＰＳＥＳＡＤアンカーにルーティングでき、制御プレーントラフィックでＰＳＥＳＡＤプロキシによって実行される追加の動作をバイパスする。

【0061】

図４及び図５は、少なくともいくつかの実施形態による、仮想化ブロックストレージシステムの例を示すブロック図である。図４に示されるように、プロバイダネットワーク４００またはＰＳＥ４８８はホスト４２０Ａを含む。ホスト４２０Ａは、ブロックストレージサーバーインスタンス４５０のホストである。ブロックストレージサーバーインスタンス４５０をホストする際、ホスト４２０Ａは、ブロックストレージサーバーインスタンス４５０のためにプロビジョニングされたストレージデバイス４４７（例えば、仮想ドライブまたは仮想ディスク）として、ホストストレージデバイス（複数可）４２１のいくらかの量をプロビジョニングしている。ブロックストレージサーバーインスタンス４５０は、プロビジョニングされたストレージデバイス４４７を分割し、他のインスタンスに代わってボリュームを作成及びホストできる。プロバイダネットワーク４００のインスタンス管理サービス（図示せず）は、インスタンスマネージャ４２６を介して、プロバイダネットワーク４００のホストまたはＰＳＥ４８８のホストのいずれかで係るブロックストレージサーバーインスタンスの起動を開始できる。インスタンスマネージャ４２６は、インスタンス（例えば、仮想マシン）用のホストリソース（例えば、計算、メモリ、ネットワーク、ストレージ）をプロビジョニングし、インスタンスを起動及び終了できる仮想マシンマネージャ（ＶＭＭ）、ハイパーバイザー、または他の仮想化プログラムであり得る。

【0062】

ホスト４２０Ａは、また、インスタンスＩＶＮ４３２内のインスタンスＡ４３０のホストである。ブロックストレージサーバーインスタンス４５０は、ブロックストレージボリュームＡ４３４をインスタンスＡ４３０に提供し、ブロックストレージボリュームＢ４４０を別のインスタンス（図示せず）に提供する。ホスト４２０Ａは、ホストされるインスタンスがブロックストレージサーバーによってホストされるブロックストレージボリュームにアクセスする（例えば、仮想ブロックストレージインターフェースをインスタンスに提供することによってアクセスする）ブロックストレージクライアント４６０Ａを含む。具体的には、ブロックストレージクライアント４６０は、インスタンスに「アタッチされた」ボリューム（例えば、インスタンスＡ４３０にアタッチされたブロックストレージボリュームＡ４３４）に発行されたブロックストレージ操作を傍受する、またはそうでなければ受信するソフトウェアプログラムであり得る。

【0063】

図５に示されるように、プロバイダネットワーク４００またはＰＳＥ４８８は、２つのホスト４２０Ａ及び４２０Ｂを含む。この場合も、ホスト４２０Ａはブロックストレージサーバーインスタンス４５０のホストである。ホスト４２０ＢはインスタンスＩＶＮ４３８内のインスタンスＢ４３６のホストである。ブロックストレージサーバーインスタンス４５０は、ブロックストレージボリュームＢ４４０をインスタンスＢ４３６に提供する。ホスト４２０Ｂは、ホストされるインスタンスがブロックストレージサーバーによってホストされるブロックストレージボリュームにアクセスするブロックストレージクライアント４６０Ｂを含む。

【0064】

ボリュームがインスタンスにアタッチされるとき、ブロックストレージクライアントは、ボリュームを、レプリカをホストするブロックストレージサーバーインスタンス（複数可）に関連付けるマッピングを取得する。ブロックストレージクライアントは、ブロックストレージサーバーインスタンスのそれぞれとの通信セッションを（例えば、ネットワークベースのデータ転送プロトコルによって）開くことができる。ブロックストレージ操作をインスタンスから受信すると、ブロックストレージクライアントは適切なブロックストレージサーバー（複数可）に操作を発行して、インスタンスの操作を実現する。例えば、図４を参照すると、インスタンスＡ４３０は、ボリュームＡ４３４から所与のブロックアドレス（例えば、論理ブロックアドレスまたはＬＢＡ）でデータのブロックの読み取りを発行できる。ブロックストレージクライアント４６０Ａは、読み取り操作を受信して、インスタンスアタッチボリュームＡ４３４のブロックストレージサーバーインスタンス４５０へのマッピングデータに基づいて、要求されたブロックアドレスを含む操作をブロックストレージサーバーインスタンス４５０に発行する。ブロックストレージサーバーインスタンス４５０からデータを受信すると、ブロックストレージクライアント４６０Ａは、インスタンスＡ４３０にデータを提供する。同様の一連の動作は、図５のインスタンスＢ４３６、ブロックストレージクライアント４６０Ｂ、ブロックストレージサーバーインスタンス４５０、及びボリュームＢ４４０の間で実行できる。

【0065】

図４及び図５を参照すると、ブロックストレージクライアントとブロックストレージサーバーインスタンスとの間のブロックストレージメッセージングは、グローバルネットワークブロックデバイス（ＧＮＤＢ）等のネットワークベースのデータ転送プロトコルを使用して送信できる。本明細書の他の箇所で説明されるように、係るメッセージは、データプレーントラフィックとしてカプセル化され、各々のホストのネットワークマネージャ４２４によって、ブロックストレージクライアント４６０とブロックストレージサーバー４５０との間でルーティングできる。ブロックストレージサーバーインスタンスが、ブロックストレージ操作を発行するインスタンスと同じホストによってホストされるいくつかの実施形態では、ブロックストレージクライアントは、ネットワークベースのデータ転送プロトコルによって関連操作をネットワークマネージャに発行でき、次に、ネットワークマネージャはホストされるブロックストレージサーバーインスタンスに操作を内部でルーティングできる。ブロックストレージサーバーインスタンスが、ブロックストレージ操作を発行するインスタンスと同じホストによってホストされる他の実施形態では、ブロックストレージクライアントは、ブロックストレージクライアントとホストされるインスタンスとの間に常駐するＰＣＩｅまたは他の相互接続を介して関連操作を発行でき、これによって、ネットワークベースの転送に関連付けられるプロトコルパッキングを回避する。

【0066】

図４及び図５を参照すると、システムは様々なレベルの暗号化を展開して、ブロックストレージデータを保護できる。ブロックストレージトラフィックのエンドツーエンド暗号化を提供するために、ブロックストレージサーバーインスタンス４５２は、ブロックストレージサービス（ＢＳＳ）ＩＶＮ４５２内で実行して、任意の数のブロックストレージサーバーインスタンスを含み、プロバイダネットワークからＰＳＥに及び得る。ブロックストレージクライアント４６０は、ブロックストレージサービスＩＶＮ４５２に関連付けられるＶＮＡ４６２を有する。このように、ブロックストレージサービスＩＶＮ暗号化キー４８４を使用するＩＶＮレベル暗号化を使用して、ブロックストレージサーバーインスタンス４５０とブロックストレージクライアント４６０との間で送信されるトラフィックを暗号化及び復号化できる。ブロックストレージサービスＩＶＮを介して運ばれるトラフィックの暗号化及び復号化は、ＩＶＮのエンドポイントにおけるネットワークマネージャによって行われ得ることに留意されたい。例えば、ネットワークマネージャ４２４Ｂは、ＶＮＡ４６２Ｂを介してブロックストレージクライアント４６０Ｂから送信されるトラフィックを暗号化する。別の例として、ネットワークマネージャ４２４Ａは、ブロックストレージサーバーインスタンス４５０を含む、ＢＳＳのＩＶＮ４５２内でホストされるインスタンスに送信されたトラフィックを復号化する。データの保存時の暗号化を提供するために、ブロックストレージボリュームは、さらに、ボリュームレベルの暗号化を有し得る。例えば、ボリュームＡ４３４はボリュームＡ暗号化キー４８０で暗号化でき、ボリュームＢ４４０はボリュームＢ暗号化キー４８２で暗号化できる。暗号化キー４８０を使用して、ブロックストレージクライアント４６０Ａは、インスタンスＡ４３０によってボリュームＡ４３４に書き込まれたデータを暗号化し、インスタンスＡ４３０によってボリュームＡ４３４から読み取られたデータを復号化する。暗号化キー４８２を使用して、ブロックストレージクライアント４６０Ｂは、インスタンスＢ４３６とボリュームＢ４４０との間で同様の暗号化動作及び復号化動作を行うことができる。いくつかの実施形態では、ボリュームをホストするブロックストレージサーバーインスタンスがそのボリュームにアタッチされたインスタンスと同じホストでホストされるのを防ぎ、ボリューム暗号化キーが、それが暗号化するボリュームと同じホストでホストされるのを防ぐポリシーがインプレースであり得ることに留意されたい（例えば、ボリュームＡ暗号化キー４８０及びボリュームＡ４３４がホスト４２０Ａになくなる）。

【0067】

いくつかの実施形態では、インスタンス及びホストマネージャは、図４及び図５に示されるように、異なるプロセッサ（複数可）によって実行される。例えば、ブロックストレージサーバーインスタンス４５０は、第１のプロセッサ（例えば、プロセッサ１７１０）によって実行でき、ホストマネージャ４２２Ａは、第２のプロセッサ（例えば、プロセッサ１７７５）によって実行できる。ブロックストレージサーバーインスタンスを実行するプロセッサ（複数可）は、１つ以上の相互接続を介してホストのストレージデバイス（複数可）にアクセスする。例えば、ブロックストレージサーバーインスタンス４５０を実行するプロセッサ（複数可）（例えば、プロセッサ１７１０）は、２つの間のＰＣＩｅ相互接続を介して、ストレージデバイス（複数可）４２１（例えば、ストレージデバイス１７８０）にアクセスし得る。別の例として、ブロックストレージサーバーインスタンス４５０を実行するプロセッサ（複数可）は、ホストマネージャ４２２Ａ（例えば、プロセッサ１７７５）を実行するプロセッサまたはシステムオンチップに第１のＰＣＩｅバスを介してストレージデバイス（複数可）４２１にアクセスし得、次に、これは、第２のＰＣＩｅバスを介してそれらの通信をストレージデバイス（複数可）４２１にブリッジする。

【0068】

図４及び図５に単一ボリュームとして示されるが、インスタンスボリューム４３４、４４０のそれぞれは、システムに高い信頼性を提供するために、複数の異なるブロックストレージサーバーに記憶された複数のレプリカにわたってミラーリングされ得る。例えば、１つのレプリカは、ボリュームからの読み取り及びボリュームへの書き込み（入力動作及び出力動作、または「入出力（Ｉ／Ｏ）」）を処理するプライマリレプリカと称され得、そのプライマリレプリカをホストしているサーバーは、書き込みを他のセカンダリレプリカに同期的に伝播できる。プライマリレプリカに障害が発生した場合、セカンダリレプリカの１つがプライマリレプリカとして機能するように選択される（フェイルオーバーと称される）。レプリカはパーティションに細分（例えば、ストライプ化）され得、所与のレプリカの各パーティションは異なるサーバーに記憶され、並列読み取り及び並列書き込みが容易になる。レプリカはまた冗長性（例えば、パリティビット）でエンコードされ得るため、（例えば、サーバーまたはディスクの障害等が原因で）ブロックストレージサーバーが利用不可能になったとき、ロストデータを利用可能なデータから回復できる。結果として、インスタンスにアタッチされたボリュームは、多くのブロックストレージサーバーによってホストされ得る。

【0069】

仮想化されたコンテキストでブロックストレージサーバーをホストすることに関連付けられる１つの課題は、それらのサーバーをブートすることである。操作可能なブロックストレージサーバーインスタンスがない場合、ブロックストレージサーバーインスタンスは、ブロックストレージサーバーインスタンスによってホストされるブートボリュームからどのようにブートするか？これは、専用（またはベアメタル）ブロックストレージサーバーを含み得ないＰＳＥのコンテキストでは特に困難である。図６及び図７は、ＰＳＥ内で第１のブロックストレージサーバーインスタンスまたは「シード」ブロックストレージサーバーインスタンス（他のインスタンスを起動できるブロックストレージサーバーインスタンス）をブートするためのローカルブート技術の例を示す。いったん起動すると、シードブロックストレージサーバーインスタンスから他のインスタンスを起動できる。

【0070】

図６は、少なくともいくつかの実施形態による、第１の技術を使用して仮想化ブロックストレージサーバーをブートするための例示的なシステムを示すブロック図である。高レベルで、図６は、プロバイダネットワーク６００内でホストされるプロキシサーバーを介して、インスタンス６９０内のブロックストレージサーバー６５０をリモートでブートする例を示す。プロバイダネットワーク６００のブロックストレージサービス（ＢＳＳ）６０６は、ブロックストレージボリュームを作成し、それらのボリュームをインスタンスにアタッチする能力をユーザに提供する。例えば、ユーザ（例えば、プロバイダネットワークのカスタマー、プロバイダネットワークの別のサービス）は、ＢＳＳ６０６に中継されるＡＰＩまたはコンソールを介してコマンドをサブミットして、ＢＳＳによって管理されるボリュームを作成、サイズ変更、または削除し、それらのボリュームをインスタンスにアタッチまたはデタッチできる。ＢＳＳ６０６は、ボリュームスナップショットを含むＢＳＳオブジェクトストア６０８を維持している。スナップショットは、ファイルと同様に、オブジェクトデータ及びオブジェクトに関するメタデータ（例えば、作成時間等）を含み得るオブジェクトのタイプと見なすことができる。ボリュームスナップショットは、所与の時点でのボリュームのコピー（またはバックアップ）であり、物理ドライブまたは仮想ドライブでそのボリュームの再作成を可能にする。スナップショットは、概して、ブートボリューム及び非ブートボリュームに分割でき、前者（ブートボリューム）はインスタンス内で実行されるソフトウェアのブートを容易にする。マシンイメージは、ブートボリュームを含む所与のインスタンスの１つ以上のスナップショットのグループであり得る。

【0071】

いくつかの実施形態では、ＢＳＳ６０６は、ＢＳＳオブジェクトストア６０８内のオブジェクトのオブジェクトレベルの暗号化を適用する。プロバイダネットワーク６００内で使用される暗号化キーの漏洩を防ぐために、ＢＳＳ６０６は、さらに、ＰＳＥオブジェクトストア６１０を管理でき、ＢＳＳオブジェクトストア６０８のオブジェクトを暗号化するために使用されるものと異なる暗号化キーを使用して、所与のＰＳＥに送信されるオブジェクトを再暗号化する。この例では、ブロックストレージサーバーインスタンスマシンイメージ６１２Ａを使用して、ＰＳＥのホスト６２０でブロックストレージサーバー６５０をブートする。円Ａに示されるように、ＢＳＳ６０６は、プロバイダネットワーク６００内に保持されたキーを使用してブロックストレージサーバーインスタンスマシンイメージ６１２Ａを復号化し、ＰＳＥに送信できるキー６１３を使用してそれをブロックストレージサーバーインスタンスマシンイメージ６１２Ｂとして再暗号化する。

【0072】

ＩＶＮは、ブロックストレージサーバーインスタンスとブロックストレージクライアントとの間のトラフィックにセキュリティを提供できる。いくつかの実施形態では、ＢＳＳ６０６は、ＢＳＳのＩＶＮ６５２として示されるそのＩＶＮを管理する。ブロックストレージサーバー６５０が起動されるホスト６２０は、ＢＳＳのＩＶＮ６５２の関連するＶＮＡ６６２を伴うブロックストレージクライアント６６０を有するホストマネージャ６２２を含む。ＢＳＳのＩＶＮ６５２を通じたブロックストレージクライアント６６０とプロバイダネットワーク６００との間の通信を容易にするために、ＢＳＳ６０６は、ＢＳＳのＩＶＮ６５２内でプロキシサーバーインスタンス６４２を起動する。プロキシサーバーインスタンス６４２は、ブロックストレージクライアント６６０へのブロックストレージのようなインターフェースを提供し、クライアント６６０がブロックストレージサーバーインスタンスのマシンイメージ６１２Ｂにアクセスすることを可能にし得る。次のように、ＢＳＳ６０６はプロキシサーバーインスタンス６４２を起動する。

【0073】

円Ｂに示されるように、ＢＳＳ６０６は、最初に、ベアメタルブロックストレージサーバー６１４にメッセージを送信して、プロキシサーバーインスタンス６４２のブートボリュームとして機能する新しい論理ボリュームを作成する。ベアメタルブロックストレージサーバー６１４は、ベアメタルサーバー６１４のその１つ以上のストレージデバイス６１８上に新しい論理ボリューム６１９を作成し、ＢＳＳオブジェクトストア６０８に記憶されたプロキシサーバーマシンイメージ６１６をボリューム６１９にロードする。

【0074】

円Ｃに示されるように、ＢＳＳ６０６は、インスタンス管理サービス６４０を用いてプロキシサーバーインスタンス６４２の起動を開始する。インスタンス管理サービス６４０は、プロバイダネットワーク６００またはＰＳＥ内のインスタンスの起動を容易にするプロバイダネットワーク６００の別の制御プレーンサービスである。いくつかの実施形態では、インスタンス管理サービス６４０は、ホストがどれだけ「ホット」であるかを示すホスト使用率メトリック（すなわち、ＣＰＵ使用率、メモリ使用率、及びネットワーク使用率等のメトリック）を追跡し得るまたはそれにアクセスし得る。例えば、インスタンス管理サービス６４０または別のサービスは、定期的にホストをポーリングして、使用率メトリックを取得し得る。インスタンス管理サービス６４０は、潜在的なホストのプールに関連付けられるメトリックにアクセスすることによって（所与のＰＳＥ等内のホストの場所に関する何らかの制約に従う）、使用率が低い（例えば、ある閾値または複数の閾値を下回っている）を選択することによって、起動要求に応答してインスタンスをホストするホストを識別できる。プロキシサーバーインスタンス６４２の起動を要求する際に、ＢＳＳ６０６は、インスタンスがＢＳＳのＩＶＮ６５２内で、ボリューム６１９から起動するべきであることを指定する。円Ｄに示されるように、インスタンス管理サービス６４０は、インスタンスをホストするホスト６４６を識別し、ホスト６４６にメッセージを送信して、インスタンスを起動する。ホスト６４６のインスタンスマネージャ（図示せず）は、プロキシサーバーインスタンス６４２のためにホストのリソースをプロビジョニングし、それをブートボリューム６１９から起動する。

【0075】

ＢＳＳ６０６は、また、インスタンス管理サービス６４０を介してブロックストレージサーバー６５０の起動を開始する。ＢＳＳ６０６は、インスタンスが、特定のＰＳＥの（例えば、ＰＳＥ識別子を用いて）ＢＳＳのＩＶＮ６５２内で、プロキシサーバーインスタンス６４２によって利用可能にされたブートボリュームから起動するべきであることを指定する。円Ｅに示されるように、インスタンス管理サービス６４０は、ブロックストレージサーバーインスタンス６５０をホストするホスト６２０を識別し、（例えば、制御プレーントラフィックトンネルを介して）ホスト６２０にメッセージを送信して、インスタンスを起動する。図示のように、インスタンスを起動する要求は、インスタンスのホストリソースをプロビジョニングし、インスタンスを起動及び終了できるインスタンスマネージャ６２６によって受信される。ここで、インスタンスマネージャ６２６は、ブロックストレージサーバーをホストするためにインスタンス６９０を作成する。

【0076】

インスタンス６９０の構成の一部として、インスタンスマネージャ６２６は、インスタンス６９０の基本入出力システム（ＢＩＯＳ）６９２を構成し、プロキシサーバーインスタンス６４２を介して、仮想ブートボリューム６９４にブロックストレージサーバーインスタンスマシンイメージ６１２Ｂをロードできる。ＢＩＯＳ６９２は、ブロックストレージデバイスドライバー（例えば、不揮発性メモリエクスプレス（ＮＶＭｅ）ドライバー）を含み、２つのブロックストレージデバイスをアタッチできる。仮想化ブロックストレージデバイスは、ブロックストレージクライアント６６０及びブートボリューム６９４を介して、プロキシサーバーインスタンス６４２によって提示される。インスタンス６９０内に示されるが、ブートボリューム６９４は、ブロックストレージクライアント６６０またはホストマネージャ６２２の別のコンポーネントを介してアクセスできるホスト６２０のストレージデバイス（図示せず）からインスタンスマネージャ６２６によってインスタンス６９０に割り付けられた仮想ドライブのボリュームに一致することに留意されたい。他の実施形態は、インスタンス６９０を２つのブロックデバイスに接続するためのＢＩＯＳ以外のインターフェース（例えば、Ｕｎｉｆｉｅｄ Ｅｘｔｅｎｓｉｂｌｅ Ｆｉｒｍｗａｒｅ Ｉｎｔｅｒｆａｃｅ（ＵＥＦＩ））を含み得る。

【0077】

実行中、ＢＩＯＳ６９２（またはＵＥＦＩ等の他のファームウェア）は、ブートボリューム６９４をブロックストレージサーバーインスタンスマシンイメージ６１２Ｂからロードできる。ブロックストレージサーバーインスタンスマシンイメージ６１２Ｂがキー６１３を使用して暗号化されるとき、ブロックストレージクライアント６６０は、ロードプロセス中にブロックストレージサーバーインスタンスマシンイメージ６１２Ｂを復号化する。いったんロード動作が完了すると、ＢＩＯＳはブートプロセスを継続して、ブロックストレージサーバーソフトウェアを含むブートボリュームＤ９４からインスタンス６９０をブートする。いくつかの実施形態では、ＢＩＯＳ６９２は、ブロックストレージサーバーソフトウェア６５０をブートする前に、プロキシサーバーインスタンス６４２に対応するブロックストレージデバイスをデタッチできる。

【0078】

プロキシサーバーインスタンス６４２を使用して示され及び説明されているが、他の実施形態は、ブロックストレージサーバーインスタンスマシンイメージ６１２Ａから起動されるブロックストレージサーバーインスタンス（図示せず）を使用して、ブロックストレージデバイスをインスタンス６９０にブロックストレージクライアント６６０を介して提供できる。ＢＳＳ６０６は、起動されるブロックストレージサーバーインスタンスの仮想ドライブまたは仮想ディスクにボリュームを作成し、ブロックストレージサーバーインスタンスのマシンイメージ６１２Ａをボリュームにロードする。ロードプロセス中に、ブロックストレージサーバーインスタンスはプロバイダネットワークキーを使用してマシンイメージを復号化し、オプションでボリューム固有キー（例えば、キー４８０がボリュームＢ４４０を暗号化する方法等）を使用して、ボリュームを暗号化し、これをＢＳＳ６０６によりブロックストレージクライアント６６０に提供できる。

【0079】

図７は、少なくともいくつかの実施形態による、第２の技術を使用して仮想化ブロックストレージサーバーをブートするための例示的なシステムを示すブロック図である。高レベルで、図７は、ブロックストレージサーバーソフトウェア７５０を実行する前に、インスタンス７９０によって実行されるプリブートソフトウェアを介して、インスタンス７９０をリモートでブートして、ブロックストレージサーバーソフトウェア７５０を実行する例を示す。具体的には、ＰＳＥ７２０のストレージデバイス７２１は、（例えば、ＰＳＥの出荷前に）プリブートインスタンスブートボリューム７２３がプリロードされる。プリブートインスタンスブートボリューム７２３は、ブロックストレージサーバープリブートフェーズ７９８の間にインスタンスでブートして、ブロックストレージサーバーソフトウェアを別のブートボリュームにロードできるソフトウェアを含む。次に、インスタンスは、他のブートボリュームから再起動及びブートして、ブロックストレージサーバーのブートフェーズ７９９中にブロックストレージサーバーインスタンスを起動できる。

【0080】

円Ａに示されるように、ＢＳＳ６０６は、インスタンス管理サービス６４０を用いてブロックストレージサーバーインスタンスの起動を開始し、インスタンスが特定のＰＳＥのＢＳＳのＩＶＮ内で起動するべきであることを指定する。この場合も、インスタンス管理サービス６４０は、ブロックストレージサーバーインスタンス６５０をホストするＰＳＥのホスト６２０を識別し、インスタンスを起動するために（例えば、制御プレーントラフィックトンネルを介して）ホストのホストマネージャ７２２にメッセージを送信する。インスタンスを起動する要求は、ホストマネージャ７２２のインスタンスマネージャ（図示せず）によって受信される。

【0081】

円Ｂに示されるように、ホストマネージャ７２２（またはインスタンスマネージャ）は、ブロックストレージサーバー７５０を実行するインスタンス７９０のためにホストのリソースをプロビジョニングする。さらに、ホストマネージャ７２２は、２つのアタッチされたブロックストレージデバイス（ブロックストレージクライアント（図示せず）によって、プリブートインスタンスブートボリューム７２３及び仮想ブートボリューム７９４（上記に説明したブートボリューム６９４等）に提示されるブロックストレージデバイスインターフェース）をＢＩＯＳ７９２Ａ（またはＵＥＦＩ）に構成し、プリブートインスタンスのブートボリューム７２３からブートできる。

【0082】

円Ｃに示されるように、次に、ＢＩＯＳ７９２Ａは、プリブートインスタンスブートボリューム７２３からのプリブートソフトウェア７９６のブートを可能にする。プリブートインスタンスブートボリューム７２３が汎用マシンイメージに基づく場合、ホストマネージャ７２２は、さらに、円Ｄに示されるように、プリブートソフトウェア７９６とプロバイダネットワーク７００との間の通信を容易にするために、インスタンス７９０の構成を更新する必要があり得る。具体的には、ホストマネージャ７２２は、ＶＮＡをインスタンス７９０にアタッチし、プリブートソフトウェア７９６に、ＰＳＥオブジェクトストア６１０にアクセスするときに使用する認証情報を提供し、ブートボリューム７９４にロードされるマシンイメージを復号化するためのキーを提供できる。ＶＮＡ構成、認証情報、及びキーは、インスタンスを起動するためのインスタンス管理サービス６４０からの要求の一部として、ホストマネージャ７２２に渡されている場合がある。

【0083】

円Ｅに示されるように、いったんインスタンス７９０が構成され、プリブートソフトウェア７９６を実行すると、プリブートソフトウェア７９６は、ブロックストレージサーバーインスタンスマシンイメージ６１２ＢをＰＳＥオブジェクトストア６１０からコピーし、それをブートボリューム７９４にロードする。ブートボリューム７９４をロードする一部として、プリブートソフトウェア７９６は、それが暗号化されていたと仮定して、キー６１３でブロックストレージサーバーインスタンスマシンイメージ６１２Ｂを復号化できる。ホストマネージャ７２２はブートボリューム７９４のロード完了を検出できる、またはプリブートソフトウェアはそのロード完了の信号を送ることができる。例えば、プリブートソフトウェアは、ブートボリューム７９４がロードされているときに、インスタンスの再起動を開始できる。別の例として、ネットワークマネージャ７２４は、インスタンス７９０とＰＳＥオブジェクトストア６１０との間のセッション終了を検出できる（例えば、ＴＣＰセッションが閉じられたときに検出する）。

【0084】

円Ｆに示されるように、ホストマネージャ７２２は、データ転送中またはいったんデータ転送が完了した後のいずれかに、ＢＩＯＳ７９２Ａを７９２Ｂに更新できるまたはそうでなければ再構成できる。係る再構成は、ブートボリュームをプリブートインスタンスブートボリューム７２３からブートボリューム７９４に変更することと、プリブートインスタンスブートボリューム７２３を含むブロックストレージデバイスを除去することとを含む。インスタンス７９０を再起動する前に、ホストマネージャ７２２は、さらに、プリブートソフトウェア７９６によって書き込まれた残りのデータを含み得るインスタンス７９０にプロビジョニングされたメモリをクリアできる。インスタンス７９０を再起動すると、ＢＩＯＳ７９２Ｂは、ブートボリューム７９４からブロックストレージサーバー７５０をブートする。

【0085】

図６及び図７はＰＳＥ内でブロックストレージサーバーインスタンスをブートするための例示的な技術を示しているが、他の技術も可能である。例えば、インスタンスマネージャは、起動するインスタンスのプロビジョニングリソースの一部として、ＰＳＥのストレージデバイスにボリュームを作成できる。インスタンスを起動する前に、インスタンスマネージャは制御プレーンサービス（例えば、ブロックストレージサービスまたはインスタンス管理サービス）にメッセージを送信して、ボリュームにロードするためにブート可能なスナップショットを要求できる。制御プレーンサービスは、制御プレーントラフィックトンネルを介して、ブート可能なスナップショットをインスタンスマネージャに送信できる。いったんロードされると、インスタンスマネージャは、インスタンスソフトウェアを起動することを可能にする。

【0086】

図８は、少なくともいくつかの実施形態による、ブロックストレージサーバーからプロバイダ基板拡張の追加のコンピュートインスタンスをブートするための例示的なシステムを示すブロック図である。例えば、図６または図７を参照して説明した技術等を使用してブロックストレージサーバーインスタンスがいったん起動されると、その「シード」ブロックストレージサーバーインスタンスは、他のインスタンス（他のブロックストレージサーバーインスタンスを含む）にブートボリュームを提供できる。これは、シードブロックストレージサーバーインスタンスが、ＰＳＥの基板相互接続と比較して、プロバイダネットワークとＰＳＥとの間の比較的遅い接続を通じて転送またはホストされるマシンイメージから起動されるＰＳＥのコンテキストで特に役立ち得る。この例では、インスタンス８９０がＰＳＥ８８８のホスト８２０Ａで起動されている。インスタンス８９０は、ブロックストレージサーバーソフトウェア８５０を実行しており、ＢＳＳのＩＶＮ８４４内で動作する。さらに、ブロックストレージクライアント８６０Ａ及び８６０Ｂは、ＢＳＳのＩＶＮ８４４における通信を可能にするＶＮＡ８６２Ａ及び８６２Ｂをアタッチしている。

【0087】

円Ａに示されるように、プロバイダネットワーク８００のインスタンス管理サービス６４０は、ＢＳＳ６０６が指定されたスナップショットから新しいボリュームを作成することを要求できる。円Ｂに示されるように、ＢＳＳ６０６は、ブロックストレージサーバーインスタンス８９０に、指定されたスナップショットに基づいてボリュームを作成することを命令できる。いくつかの実施形態では、インスタンス管理サービス６４０は、ボリュームを暗号化するために、ボリューム固有の暗号化キー（例えば、キー６８０）を提供し得る。

【0088】

円Ｃに示されるように、ブロックストレージサーバーインスタンス８９０は、ＰＳＥオブジェクトストア６１０等のオブジェクトストア８１０から指定されたスナップショットをフェッチすることによってボリュームを作成できる。図示されていないが、他の実施形態では、オブジェクトストア８１０は、ボリュームスナップショット及び／またはマシンイメージをキャッシュするために、ＰＳＥ８８８のＢＳＳキャッシュインスタンスによってホストされるオブジェクトストアであり得る。ＢＳＳ６０６はＢＳＳキャッシュインスタンスを管理し得、カスタマーは、インスタンスを起動するいずれかの要求の前に、特定のスナップショットがキャッシュにロードされることをＢＳＳ６０６に指定できる。このように、ブロックストレージサーバーインスタンス８９０は、キャッシュされたブートボリュームスナップショットからボリュームを作成でき、プロバイダネットワーク８００のオブジェクトストアからブロックストレージサーバーインスタンス８９０へのデータ転送に関連付けられる遅延を避けることによってＰＳＥのインスタンスのブート時間が劇的に減る。

【0089】

円Ｃに示されるように、プロバイダネットワーク６００のインスタンス管理サービス６４０は、ブロックストレージサーバーインスタンス８９０によってホストされるボリュームを、ＰＳＥ８８８によってホストされる他のインスタンスにアタッチまたはデタッチするコマンドをＰＳＥ８８８のホストに発行できる。例えば、ボリュームＡ８３２にブート可能なスナップショットがロードされ得る。インスタンス管理サービス６４０は、ボリュームＡ８３２に関連付けられるボリューム識別子を使用してインスタンスＡ８３０を起動することをホスト８２０Ａに命令できる。それに応答して、ブロックストレージクライアント８６０Ａは、ブロックストレージサーバーインスタンス８９０によってホストされるボリュームＡ８３２を、ＢＳＳのＩＶＮ８４４を介してインスタンスＡ８３０にアタッチでき、それによって、インスタンスＡ８３０がボリュームＡ８３２から起動することが可能になる。別の例として、ボリュームＢ８３６には、他のデータを含むブート不可能なスナップショットがロードされ得る。インスタンス管理サービス６４０は、ホスト８２０Ｂに、ボリュームＢ８３６をホストされるインスタンス８３４にアタッチすることを命令できる。それに応答して、ブロックストレージクライアント８６０Ｂは、ブロックストレージサーバーインスタンス８９０によってホストされるボリュームＢ８３６を、ＢＳＳのＩＶＮ８４４を介してインスタンスＢ８３４にアタッチできる。

【0090】

図９は、少なくともいくつかの実施形態による、仮想化ブロックストレージサーバーを管理するための例示的なシステムを示すブロック図である。仮想化環境内でブロックストレージサーバーを実行すると、インスタンス管理サービスが必要に応じて実行中のブロックストレージサーバーインスタンスの数を自動的にスケーリングすることを可能にすることを含むいくつかの利点をもたらす。インスタンス管理サービスは、手動で拡張されたベアメタルサーバーの定義済みプールで動作するＢＳＳではなく、ホストリソース（例えば、ＣＰＵ、メモリ、ネットワーク等）の使用率を監視し、実行中のブロックストレージサーバーインスタンスの数を自動的に調整できる。例えば、ブロックストレージサーバーインスタンスの２つのホストが高いリソース使用率をレポートしている場合、インスタンス管理サービスは、リソース使用率が低いホストで追加のブロックストレージサーバーインスタンスを起動できる。次に、ブロックストレージサービスは新しく起動するインスタンスにボリュームを作成でき、それによって、実行中のブロックストレージサーバーインスタンスのワークロードの増加及び起こり得るパフォーマンスの低下を回避する。

【0091】

さらに、ブロックストレージサーバーをインスタンスとして実行すると、障害ドメインをコンピュータシステム全体から切り離すことにより、障害ドメインの数がホストコンピュータシステムの数を超えることが可能になる。障害ドメインの数が増加すると、固定されたハードウェアセットで実行されるブロックストレージサーバーの数が増加することを可能にし、ブロックストレージサーバーの数が増加すると、いずれかの特定のサーバーによって管理されるデータの全体的なフットプリントが減る。例えば、システムには、より小さな障害ドメインに細分されていない９つのホストコンピュータシステムが含まれていると推定する（つまり、１つのコンピュータシステムには１つの障害ドメインがある）。データロスを回避するために、各ホストまたは障害ドメインは単一のブロックストレージサーバーを実行する。それらの９つのブロックストレージサーバーがインスタンスのボリュームにわたって９０テラバイト（ＴＢ）のデータ（データリカバリを可能にするエンコードを含む）をホストする場合、各ブロックストレージサーバーは約１０ＴＢのデータを記憶するであろう。ホストの１つに障害が発生した場合、（例えば、他の８０ＴＢから）その１０ＴＢを回復する必要があるだろう。係るデータリカバリには、データの計算、転送、及び記憶のコストがかかる。それらの９つのホストがそれぞれ２つの障害ドメインに細分され、ブロックストレージサーバーの数が１８に増加する場合、各ブロックストレージサーバーは約５ＴＢのデータを記憶し、障害ドメインの１つのコンポーネントに障害が発生した場合、回復する必要があるだろうデータ量（及び対応するコスト）を約半分にする。

【0092】

この例では、ＰＳＥ９８８またはプロバイダネットワーク９００は、３つのホスト９２０Ａ、９２０Ｂ、及び９２０Ｃを含む。ホストのハードウェア設計に応じて、ホストは単一の障害ドメインとして扱うこと、または２つ以上の障害ドメインに細分することのいずれかを行うことができる。ここで、ホスト９２０はそれぞれ２つの障害ドメインを含む。ホスト９２０Ａは障害ドメイン９２２及び障害ドメイン９２４を含み、その結果、ある障害ドメインのコンポーネントは、別の障害ドメイン内のコンポーネントに障害が発生した場合でさえも継続して動作できる。例えば、障害ドメイン９２２は、第１のメモリバンク（例えば、ＲＡＭ）に接続され、１つ以上のストレージドライブ（例えば、ＳＳＤ）の第１のセットを使用するマルチプロセッサシステムの第１のプロセッサに対応し得る一方、障害ドメイン９２４は、第２のメモリバンクに接続され、１つ以上のストレージドライブの第２のセットを使用するシステムの第２のプロセッサに対応し得る。いくつかのコンポーネントは、電源等の障害ドメインにわたって共有され得るが、この場合も、ハードウェア設計の冗長性と、障害ドメインがハードウェアにどのようにオーバーレイされるかの影響を受けることに留意されたい。

【0093】

ホスト９２０Ａは、障害ドメイン９２２内でブロックストレージサーバーインスタンス９５０Ａを実行して、障害ドメイン９２４内でブロックストレージサーバーインスタンス９５０Ｂを実行している。ホスト９２０Ｂは、障害ドメイン９２６内でブロックストレージサーバーインスタンス９５０Ｃを実行して、障害ドメイン９２８内でブロックストレージサーバーインスタンス９５０Ｆを実行している。ボリュームＡは、ブロックストレージサーバーインスタンス９５０Ａによって提供されるプライマリレプリカ６６０と、ブロックストレージサーバーインスタンス９５０Ｂによって提供されるセカンダリレプリカ６６２とを含む。ボリュームＢは、ブロックストレージサーバーインスタンス９５０Ｃによって提供されるプライマリレプリカ６６４と、ブロックストレージサーバーインスタンス９５０Ａによって提供されるセカンダリレプリカ６６６とを含む。ボリュームＣは、ブロックストレージサーバーインスタンス９５０Ｂによって提供されるプライマリレプリカ６６８と、ブロックストレージサーバーインスタンス９５０Ｃによって提供されるセカンダリレプリカ６７０とを含む。ボリュームごとに２つのレプリカがあるように示されるが、実際には、各ボリュームは、より少ない数またはより多い数のレプリカを有し得、各レプリカは、（例えば、ストライピングによって）多くの異なるブロックストレージサーバーインスタンス間で分割され得る。

【0094】

円Ａに示されるように、インスタンス管理サービス９４０は、プロセッサ使用率、メモリ使用率、ストレージ使用率、及びネットワーク使用率等のホストの物理リソースの使用率を監視し、これらは、ホスト全体で集約され得る、障害ドメインによって分離され得る、またはリソースごとであり得る（例えば、インスタンス管理サービス９４０は、平均ＣＰＵ使用率が５０％であること、障害ドメイン９２２のプロセッサ（複数可）のＣＰＵ使用率が５０％であること、または、障害ドメイン９２２をサポートする特定のプロセッサのＣＰＵ使用率が５０％であることを示すメトリックをホスト９２０Ａから受信し得る）。インスタンス管理サービス９４０は、データベース（図示せず）内のホストのリソース使用率を追跡できる。ブロックストレージサーバーインスタンスに加えて、示される障害ドメインは、ホストの物理リソースの利用に寄与する他のインスタンス（例えば、カスタマーインスタンス）をホストできることに留意されたい。インスタンス管理サービス９４０は、リソース使用率メトリックでＢＳＳ９０６を定期的に更新して、円Ｂに示されるように、新しいボリュームを作成するときにＢＳＳ９０６がより使用率の低いブロックストレージサーバーインスタンスを選択することを可能にし得る。

【0095】

円Ｃに示されるように、インスタンス管理サービス９４０は、ブロックストレージサーバーインスタンスをサポートするホストのリソース使用率が１つ以上の閾値を超えるとき、新しいブロックストレージサーバーインスタンスを起動できる。閾値は、ホストにわたって集計されたリソースごとに（例えば、ブロックストレージサーバーを実行している全てのプロセッサの平均プロセッサ使用率が５０％である）、ホストにわたるリソースのいくつかの組み合わせ（例えば、ストレージ使用率が８０％を上回り、プロセッサ使用率が５０％を上回っている）、または個々のリソース及び／もしくはホストベース等の様々な方法で定義され得る。ブロックストレージサーバーインスタンスを既にホストしている障害ドメインでブロックストレージサーバーインスタンスを起動することを回避するために、インスタンス管理サービス９４０は、（例えば、リソース使用量メトリックを含むデータベースにおいて）どの障害ドメインが占有され、どれが利用可能であるかを追跡できる。ここで、インスタンス管理サービス９４０は、ホスト９２０Ａ、９２０Ｂ、及び／または９２０Ｃのリソース使用率がある閾値を超えており、ホスト９２０Ｃの以前に占有されていなかった障害ドメイン９３０及び９３２で、各々、新しいブロックストレージサーバーインスタンス９５０Ｄ及び９５０Ｅを起動していたことを決定した。障害ドメイン９２８はボリュームをホストしていないブロックストレージサーバー９５０Ｆを含むが、その障害ドメイン内でホストされる他のインスタンスのリソース使用率またはホスト９２０Ｂの総リソース使用率は、別のブロックストレージサーバーインスタンスをサポートするには高すぎ得る。

【0096】

円Ｄに示されるように、インスタンス管理サービス９４０は、ＢＳＳ９０６を更新して、動作ブロックストレージインスタンス９５０（ここで、ブロックストレージサーバー９５０Ｄ及び９５０Ｅを含む）の更新された識別情報を提供できる。識別されたブロックストレージインスタンス９５０及びインスタンス管理サービス９４０から受信されたリソース使用率メトリックに基づいて、ＢＳＳ９０６は、円Ｅに示されるように、ホスト９２０Ｃで新しいボリュームを作成できる。ここで、インスタンス管理サービス９４０からレポートされるようにホスト９２０Ｃのリソース使用率が低いことを示したと仮定して、ＢＳＳ９０６は、ブロックストレージサーバーインスタンス９５０Ｄによって提供されるプライマリレプリカ６７０と、ブロックストレージサーバーインスタンス９５０Ｅによって提供されるセカンダリレプリカ６７２とを含む新しいボリュームＤを作成する。

【0097】

図１０は、少なくともいくつかの実施形態による、ブロックストレージクライアントにボリュームマッピングを提供するための例示的なシステムを示すブロック図である。上記で示唆したように、単一ボリュームは、プライマリレプリカ及びいくつかのセカンダリレプリカ等の複数のレプリカに関連付けられ得る。各レプリカは、いくつかのブロックストレージサーバーにわたって分散され得る。ボリューム、そのレプリカ、及びそのレプリカ（またはレプリカの一部）をホストするサーバーの間の関連付けは、ハードウェア障害が発生するとき、または、バックグラウンドのロードバランシング動作の一部としてサーバー間でデータが移行するとき、時間の経過とともに変更できる。ブロックストレージサーバーをＰＳＥに展開する際、高いデータアベイラビリティ（例えば、障害時に、プライマリレプリカからセカンダリレプリカになる）、高い耐久性（例えば、サーバーに障害が発生した場合にロストデータを再作成するプロセスをすぐに開始する）を維持するために、ＰＳＥがプロバイダネットワークから切断されている、またはプロバイダネットワークに到達することが不可能であるときでも、それらの関連付けを変更することが可能であることが好ましい。

【0098】

図示のように、ＰＳＥ１０８８は、ブロックストレージサーバーインスタンスにわたってボリュームがどのように分散（またはマッピング）されるかを追跡するコンポーネントを含み、これにより、ブロックストレージクライアントがボリュームにアクセスする必要があるとき、ブロックストレージクライアントはそのボリュームをホストするブロックストレージサーバーを見つけることができる。例示的なボリュームＡのマッピングデータ１０９８は、各エントリについていくつかの項目を含む。その項目として、サーバー識別子（例えば、インスタンスまたはホストハードウェアに関連付けられる一意の識別子）、サーバーアドレス（例えば、ＩＰアドレス）、及びボリュームＡのボリュームタイプ（例えば、プライマリまたはセカンダリ）が挙げられる。マッピングデータは、（例えば、レプリカが複数のブロックストレージサーバーインスタンスにわたって分割またはストライプ化される場合）ブロック識別子等の異なる項目または追加項目を含み得る。例示的なボリュームＡのマッピングデータ１０９８は、ボリュームＡが、ブロックストレージサーバーインスタンス１０５０Ａによって提供されるプライマリレプリカ１０５２と、ブロックストレージサーバーインスタンス９５０Ｂ及び１０５０Ｃによって各々提供される２つのセカンダリレプリカ１０５４及び１０５６とを含むことを示す。ＰＳＥ１０８８は、他の多くのブロックストレージサーバーインスタンス（図示せず）をホストでき、おそらくホストすることに留意されたい。

【0099】

ボリュームマッピングデータ１０９８を確実に記憶するために、分散データストア１０６４はボリュームマッピングデータ１０９８を記憶できる。いくつかの実施形態では、各分散データストアは、ボリュームマッピング（複数可）の状態を別々に維持するノードのクラスターに対応する。クラスターの各ノードは、クラスターの他のノードとメッセージを交換して、他のクラスターノードから見た状態に基づいてその状態を更新する。クラスターのノードの１つは、ボリュームマッピングへの変更が提案されるリーダーまたはプライマリノードとして指定され得る。クラスターのノードは、Ｐａｘｏｓプロトコル等のコンセンサスプロトコルを実装して、所与のボリュームのボリュームマッピングデータへの変更を提案及び合意できる。クラスターは、１つ以上のボリュームのボリュームマッピングデータを追跡し得る。図示のように、クラスター１０６６はボリュームＡのボリュームマッピングデータ１０９８を追跡する一方、他のクラスター１０６７は他のボリュームのボリュームマッピングデータを追跡する。

【0100】

いくつかの実施形態では、クラスターのノードは、プロバイダネットワークのホストによって実行されるインスタンスである。係るインスタンスは、ボリュームマッピングデータの個々のビューをホストの不揮発性ストレージに（例えば、ブロックストレージクライアントを介して、ブロックストレージサーバーインスタンスによってホストされるボリュームに）永続化する。他の実施形態では、クラスターのノードは、ブロックストレージサーバーインスタンスによって実行されるブロックストレージサーバーソフトウェアの一部である。例示的なノードソフトウェア環境１０９０に示されるように、ノードは、ブロックストレージサーバーソフトウェア１０８０に含まれるコンテナエンジンプロセス内でホストされるコンテナ１０８２として実行できる。係るノードは、ボリュームマッピングデータのビューを、ブロックストレージサーバーソフトウェアによって提供されるボリュームに直接永続化できる。好ましくは、クラスターのノードは、別個のインスタンスによって、または別個の障害ドメイン内でホストされる。

【0101】

ＰＳＥのホストによって実行される他のソフトウェアと同様に、ノードはハードウェア障害の影響を受ける。係る場合、残りのノード（またはプロバイダネットワークのブロックストレージサービス）は、ノードの損失を検出し、新しいノードを作成し、損失したノードを交換して、他のノードのボリュームマッピングデータのコンセンサスビューに基づいて新しいノードのボリュームマッピングデータを更新できる。結果として、ボリュームマッピングデータを変更できるだけでなく、クラスターのノードをホストしているインスタンスのＩＤも変更できる。クラスターマッピングデータを使用して、クラスターを追跡できる。例示的なクラスターマッピングデータ１０９９は、ノード識別子（例えば、ＶＯＬ＿Ａ＿ＮＯＤＥ１）、ノードアドレス（例えば、ＩＰアドレス）、及びノードタイプ（例えば、リーダーノード）等のいくつかの項目を含む。この例では、クラスターは５つのノードで形成される。

【0102】

クラスターマッピングデータは、クラスターディスカバリーサービス１０６２によって決定及び維持できる。円Ａに示されるように、クラスターディスカバリーサービス１０６２は、ＰＳＥ内のブロックストレージサーバーインスタンスによってホストされる様々なボリュームのクラスターのノードの場所を監視できる。クラスターディスカバリーサービス１０６２は、様々な方法でノードの場所を監視できる。例えば、ノードが環境１０９０で実行される実施形態では、クラスターディスカバリーサービス１０６２は、ＰＳＥ１０８８によってホストされるブロックストレージサーバーインスタンス１０５０の全てを定期的にポーリングして、いずれかの常駐ノードのアイデンティティを取得できる。別の例として、ＰＳＥ１０８８のホストのネットワークマネージャは、特別なブロードキャストメッセージをホストされるクラスターノードのいずれかにルーティングするように構成され得る（例えば、ブロックストレージサーバーインスタンス等によって直接的または間接的にホストされる）。クラスターディスカバリーサービス１０６２は、定期的にクエリをブロードキャストして、ホストされるクラスターノードのいずれかのアイデンティティを取得できる。

【0103】

いくつかの実施形態では、クラスターディスカバリーサービス１０６２は、ＰＳＥ１０８８のホストのうちの１つによってホストされるインスタンスである。係るインスタンスはＢＳＳのＩＶＮ１０５２内に予約済みのＩＰアドレスを伴うＶＮＡを有し得るため、それはハードウェア障害が原因でホストを変更する必要がある場合でも到達できる。他の実施形態では、クラスターディスカバリーサービス１０６２は、ＰＳＥのＤＮＳサービスに統合できる。例えば、ボリュームクラスターをドメインに関連付けでき、ＤＮＳサービスは、その名前に対する名前解決要求を、クラスターの１つ以上のノードのＩＰアドレスに対して解決できる。

【0104】

円Ｂに示されるように、インスタンス管理サービス１０４０は、特定のホストのブロックストレージクライアント１０６０にメッセージを送信して、ホストされるインスタンス（図示せず）にボリュームをアタッチできる。例えば、インスタンス管理サービス１０４０は、ボリュームＡのインスタンス識別子及びボリューム識別子を含むメッセージをホストに送信できる。円Ｃに示されるように、ブロックストレージクライアント１０６０は、クラスターディスカバリーサービス１０６２にクエリを行って、ボリュームＡのクラスター１０６６の１つ以上のノードのアイデンティティを取得できる。いくつかの実施形態では、ブロックストレージクライアント１０６０は、クラスターマッピングデータをクラスターマッピングデータキャッシュ１０６６にキャッシュできる。いくつかの実施形態では、クラスターディスカバリーサービス１０６２は省略され得、ブロックストレージクライアント１０６０は、ＰＳＥ１０８８のブロックストレージサーバーインスタンスに（例えば、上記に説明したブロードキャストメカニズムによって）クエリを行い、ボリュームＡのクラスター１０６６のノードを識別するように構成することに留意されたい。

【0105】

円Ｄに示されるように、ブロックストレージクライアント１０６０は、クラスター１０６６からボリュームＡのボリュームマッピングデータの現在のビューを取得し、ボリュームマッピングデータに基づいて、円Ｅに示されるように、ボリュームＡをホストするブロックストレージサーバー１０５０に接続できる。図示されていないが、いくつかの実施形態では、クライアントから接続要求を受信すると、ブロックストレージサーバーは、ブロックストレージサーバーがまだそのボリューム（または少なくともボリュームの一部）をホストしているかどうかを示すメッセージをボリュームクラスターに送信できる。ブロックストレージクライアントから接続要求を受信したにもかかわらず、ブロックストレージサーバーは様々な理由でボリュームをホストし得ない。例えば、ボリュームをホストしているサーバーのセットに対する最近の変更が、ボリュームクラスターに、もしくはボリュームクラスターを経由してまだ伝播されていない場合がある、または接続要求を送信するブロックストレージクライアントが、古いキャッシュボリュームマッピングデータに依存している場合がある。ブロックストレージサーバーがボリュームをホストしているかどうかに関係なく、クライアントから接続要求を受信するブロックストレージサーバーは、クラスターディスカバリーサービス１０６２からボリュームの１つ以上のノードのアイデンティティを取得できる。ブロックストレージサーバーがボリュームをホストしなくなった場合、ブロックストレージサーバーは、クラスターによって維持されるデータストアの更新を提案して、ブロックストレージサーバーをボリュームマッピングデータから除去できる。さらに、ブロックストレージサーバーは、要求を開始したブロックストレージクライアントに応答を送信して、接続の試行が失敗したことを示し得、オプションで、ボリュームがサーバーによってホストされなくなったことを示す。ブロックストレージサーバーがまだボリュームをホストしている場合、ブロックストレージサーバーはクラスターに確認応答を送信して、マッピングデータの少なくともその部分がまだ有効であることをクラスターに示すことができる。

【0106】

図１１は、少なくともいくつかの実施形態による、ボリュームマッピングを追跡するための例示的なシステムを示すブロック図である。上記に説明したように、ＰＳＥとプロバイダネットワークとの間の接続は保証できない。データアベイラビリティ及びデータ耐久性の所望のレベルを満たすために、ＰＳＥは、所与のボリュームと、そのボリュームをホストするブロックストレージサーバーインスタンスとの間のマッピングを変更することを可能にするファシリティを含む。図１０を参照して説明したように、所与のボリュームのボリュームは、分散データストアを実装するクラスターを使用して追跡できる。図１１は、ボリューム配置への段階的アプローチ、またはボリュームのレプリカもしくはレプリカの一部をホストするためにブロックストレージサーバーインスタンスを選択するプロセスを示す。具体的には、ＢＳＳ１１０６のＢＳＳボリューム配置サービス１１０７は、ボリュームの作成時に初期配置決定及び関連するボリュームマッピングを行い、ＰＳＥボリューム配置サービス１１０８は、ボリュームの存続期間にわたってボリュームマッピングへの後続の変更を管理する。ＰＳＥボリューム配置サービス１１０８は、ＰＳＥフレームワーク（例えば、ＰＳＥフレームワーク２０２）のコンポーネントとして統合されたＰＳＥ１１８８によってホストされるインスタンス等によって様々な方法で実装できる。

【0107】

円Ａに示されるように、ＰＳＥボリューム配置サービス１１０８は、ＰＳＥ１１８８によってホストされるブロックストレージサーバーインスタンスのステータスを監視する。例えば、ＰＳＥボリューム配置サービス１１０８は、ホストされるブロックストレージサーバーインスタンスを定期的にポーリングして、その応答があるかどうかをチェックできる、ならびに／または（例えば、図９を参照して説明したような）ホストされるブロックストレージサーバーインスタンスのリソース使用量、その障害ドメイン、及び／もしくはホストに関連するメトリックを収集できる。図示のように、ＰＳＥボリューム配置サービス１１０８は、円Ｂに示されるように、収集されたサーバーステータスをＢＳＳボリューム配置サービス１１０７に送信できる。他の実施形態では、ＢＳＳボリューム配置サービス１１０７は、（図９を参照して説明したような）インスタンス管理サービスからリソース使用率に関連するメトリックを取得し得ることに留意されたい。

【0108】

ＰＳＥ１１８８によってホストされるインスタンスのために新しいブロックストレージボリュームを作成する要求を受信すると、ＢＳＳ１１０６は、ＢＳＳ配置サービス１１０７からボリューム配置推奨を要求できる。新しいボリュームのプロファイル（例えば、レプリカの数、ストライプとしてのレプリカかどうか等）に応じて、ＢＳＳ配置サービス１１０７は、推奨されるブロックストレージサーバーインスタンスの識別情報を提供できる。この例では、ＢＳＳ配置サービス１１０７は、ブロックストレージサーバーインスタンス１１５０Ａ及び１１５０Ｂに、２つのレプリカを有する新しいボリュームＡをホストすることを推奨する。推奨されるブロックストレージサーバーインスタンスを採用して、ＢＳＳ１１０６は新しいクラスター１１６６を作成し、円Ｃに示されるようにボリュームＡのボリュームマッピングデータを追跡する。マッピングデータは、最初に、ブロックストレージサーバーインスタンス１１５０Ａを、プライマリレプリカブロックをホストするものとして識別し、ストレージサーバーインスタンス１１５０Ｂを、セカンダリレプリカをホストするものとして識別する。さらに、ＢＳＳ１１０６は、１つ以上のメッセージを識別されたブロックストレージサーバーに送信して、円Ｄに示されるように、ストレージボリューム（例えば、ブロックストレージサーバーインスタンス１１５０Ａによってホストされるストレージボリューム及びブロックストレージサーバーインスタンス１１５０Ｂによってホストされるストレージボリューム）を作成する。ストレージボリュームは、各々のブロックストレージサーバーインスタンスにプロビジョニングされた基盤となるホストストレージデバイスの容量によってバックアップできる。ブロックストレージサーバーインスタンス１１５０Ａで作成されたストレージボリュームは、ボリュームＡのプライマリレプリカ１１５２をホストでき、ブロックストレージサーバーインスタンス１１５０Ｂで作成されたストレージボリュームは、ボリュームＡのセカンダリレプリカ１１５４Ａをホストできる。いくつかの実施形態では、図８を参照して説明したようなボリュームスナップショットまたはマシンイメージから新しく作成されたストレージボリュームをロードできる。この例では、ボリュームＡにアタッチされたインスタンス（図示せず）はしばらくの間ブロックストレージ操作を実行して、（例えば、円Ｅに示されるように、プライマリレプリカ１１５２からセカンダリレプリカ１１５４Ｂに書き込みを伝播するために）ブロックストレージサーバーインスタンス１１５０Ａがブロックストレージサーバーインスタンス１１５０Ｂと通信する。

【0109】

ある時点で、ブロックストレージサーバーインスタンス１１５０Ｂは、円Ｆに示されるように、問題を経験し得る。例えば、ブロックストレージサーバーインスタンス１１５０Ｂは（例えば、メモリリーク、ハードウェア障害等が原因で）遅延し得る、または応答しなくなり得る。問題の検出は様々な方法で発生する可能性がある。いくつかの実施形態では、ブロックストレージサーバーインスタンス１１５０Ａは、伝播された書き込みの確認の失敗等が原因の問題を検出する。係る場合、ブロックストレージサーバーインスタンス１１５０Ａは、検出された問題に応答して実行するための１つ以上のアクションを含むポリシーを含み得る。例えば、ブロックストレージサーバーインスタンス１１５０Ａは、いくつかの連続する伝播された書き込みが確認応答されなくなるのを待機し得る、または一定期間待機し得る。その時点で、ブロックストレージサーバーインスタンス１１５０Ａは、ＰＳＥボリューム配置サービス１１０８からのセカンダリレプリカ１１５４の交換用ブロックストレージサーバーインスタンスを要求できる。他の実施形態では、ＰＳＥボリューム配置サービス１１０８は、円Ａを参照して上記に説明した監視中に（例えば、収集されたメトリックまたは応答性に基づいて）問題を検出する。この場合も、ＰＳＥボリューム配置サービス１１０８は、セカンダリレプリカ１１５４のブロックストレージサーバーインスタンスの交換を開始することを含む検出された問題に応答して実行するための１つ以上のアクションを含むポリシーを含み得る。検出器に関係なく、ＰＳＥボリューム配置サービス１１０８は、ブロックストレージサーバーインスタンス１１５０Ａに、交換用ブロックストレージサーバーインスタンスのアイデンティティを提供する。

【0110】

この例では、ＰＳＥボリューム配置サービス１１０８は、円Ｇに示されるように、ブロックストレージサーバーインスタンス１１５０Ｃをブロックストレージサーバーインスタンス１１５０Ａに識別する。メッセージがブロックストレージサーバーインスタンス１１５０Ｃに送信され、再配置されているレプリカデータをバックアップするストレージボリュームが作成される。例えば、ブロックストレージサーバーインスタンス１１５０Ｃを識別すると、ＰＳＥボリューム配置サービス１１０８はブロックストレージサーバーインスタンス１１５０Ｃにメッセージを送信して、ストレージボリュームを作成できる。別の例として、ブロックストレージサーバーインスタンス１１５０Ａは、ＰＳＥボリューム配置サービス１１０８から識別情報を受信すると、ストレージボリュームを作成するためのメッセージを送信できる。いったん作成されると、ブロックストレージサーバーインスタンス１１５０Ａは、円Ｈに示されるように、レプリカ１１５４Ｂとして、ブロックストレージサーバーインスタンス１１５０Ｃへのレプリカ１１５２のミラーリングを開始できる。ブロックストレージサーバーインスタンス１１５０Ｂの応答性がある場合（しかし、例えば、低性能を示している場合）、ミラーリング動作はレプリカ１１５４Ａをレプリカ１１５４Ｂにコピーすることによって実行できることに留意されたい。レプリカ１１５４またはレプリカ１１５２のいずれかからの再ミラーリングは、それらのレプリカがストレージサーバー間で分散されないため、このシナリオで実行可能であるが、他の実施形態では、レプリカが分散される様々なストレージサーバーにアクセスして、記憶されたデータにエンコードされた冗長性等（例えば、パリティビット、エラー訂正コード等）を使用することによって、ロストデータを再作成するまたはそうでなければ生成する必要があり得る。例えば、レプリカデータがエンコードされて１０個のブロックストレージサーバーインスタンスにわたって分散され、その１０個のうちの１つが失われた場合、残りの９個のブロックストレージサーバーインスタンスからレプリカに関連付けられるデータを読み取ることによって、ロストデータを再作成できる。別の例として、別の１０個のブロックストレージサーバーが同じ分散パターンを使用してボリュームの別のレプリカをホストする場合、ロストデータは、他のレプリカの対応する部分をホストするブロックストレージサーバーインスタンスからコピーできる。

【0111】

円Ｉに示されるように、ブロックストレージサーバーインスタンス１１５０Ａは、ボリュームＡのボリュームマッピングを更新する要求をクラスター１１６６にサブミットして、ブロックストレージサーバーインスタンス１１５０Ｂを、セカンダリレプリカのホストとしてのブロックストレージサーバーインスタンス１１５０Ｃに交換できる。ブロックストレージサーバーインスタンス１１５０Ａは、ブロックストレージサーバーインスタンス１１５０Ｃへの再ミラーリングを開始または完了すると、クラスター１１６６に要求をサブミットし得る。他の実施形態では、別のエンティティ（ＰＳＥボリューム配置サービス１１０８またはブロックストレージサーバーインスタンス１１５０Ｃ等）は、ボリュームＡのボリュームマッピングを更新する要求を、クラスター１１６６にサブミットし得る。

【0112】

図１２は、少なくともいくつかの実施形態による、仮想化ブロックストレージサーバーを起動するための方法の動作を示すフロー図である。一部または全ての動作（もしくは本明細書で説明する他のプロセス、もしくは変形形態、及び／またはそれらの組合せ）は、実行可能命令で構成される１つ以上のコンピュータシステムの制御下で行われ、ハードウェアまたはその組合せにより１つ以上のプロセッサでまとめて実行するコード（例えば、実行可能命令、１つ以上のコンピュータプログラム、または１つ以上のアプリケーション）として実装される。コードは、例えば、１つ以上のプロセッサによって実行可能な命令を含むコンピュータプログラムの形式で、コンピュータ可読ストレージ媒体に記憶される。コンピュータ可読ストレージ媒体は非一時的である。いくつかの実施形態では、１つ以上（または全て）の動作は、プロバイダネットワークの拡張機能の１つ以上のコンポーネントによって実行されるコンピュータプログラムまたはアプリケーションによって実行される。プロバイダネットワークの拡張機能は１つ以上の物理コンピューティングデバイスまたはシステムを含み、プロバイダネットワークのカスタマーの構内等、プロバイダネットワークのデータセンターからリモートに（例えば、データセンターネットワークの外側に）配置される。クラウドプロバイダネットワーク等のプロバイダネットワークは、プロバイダネットワークのデータセンター内に配置されるコンピュータシステムによって実行される様々なサービスを含む。拡張機能の１つ以上のコンポーネントは、プロバイダネットワークのコンピュータシステムによって実行されるサービスから管理操作等を受信することによって、プロバイダネットワークと通信する。いくつかの実施形態では、１つ以上（または全て）の操作は、他の図のホスト（例えば、ホスト４２０Ａ）のコンポーネントによって行われる。

【0113】

ブロック１２０５において、操作は、プロバイダネットワークの拡張機能のコンピュータシステムによって、第１の仮想マシンを起動する第１の要求を受信して、ブロックストレージサーバーアプリケーションをホストすることを含み、プロバイダネットワークの拡張機能は、少なくともサードパーティネットワークを介してプロバイダネットワークと通信する。ブロックストレージデバイスをＰＳＥによってホストされるインスタンスに提供する際、ＰＳＥのホストによって提供される仮想化を使用して、ブロックストレージサーバーをホストできる。例えば、プロバイダネットワークのブロックストレージサービスは、インスタンス管理サービスによってブロックストレージサーバー仮想マシンの起動を開始でき、次に、インスタンス管理サービスは、プロバイダネットワークとＰＳＥとの間の安全な通信チャネルを介して、起動要求をＰＳＥの選択されたホストのホストマネージャに発行できる。

【0114】

操作は、さらに、ブロック１２１０において、ホストコンピュータシステムの１つ以上のストレージデバイスのストレージ容量の少なくとも一部を、プロビジョニングされるストレージデバイスとして第１の仮想マシンにプロビジョニングすることを含む。仮想マシンの起動の一部として、ホストシステムのホストマネージャは、ホストシステムのコンピューティングリソースの一部を仮想マシンに割り付けできる、またはプロビジョニングできる。係るリソースは、例えば、ホストシステムのストレージデバイス（例えば、ＳＳＤ）のストレージ容量、メモリ容量（例えば、ＲＡＭ）、プロセッサまたはプロセッサコア等を含み得る。

【0115】

ブロック１２１５において、操作は、さらに、ブロックストレージサーバーアプリケーションを第１の仮想マシンで実行することを含む。ブロックストレージサーバーアプリケーションを実行する一部として、ブロック１２２０において、操作は、さらに、プロバイダネットワークのブロックストレージサービスからの第２の要求に応答して、プロビジョニングされたストレージデバイスに論理ボリュームを作成し、論理ボリュームを作成することを含む。例えば、プロバイダネットワークのブロックストレージサービスは、１つ以上のメッセージを送信して、他のインスタンスにアタッチできる（プロビジョニングされたストレージ容量を使用して）ボリュームを作成でき、その結果、インスタンスがブロックストレージインターフェースを介してボリュームにアクセスできる。

【0116】

ブロックストレージサーバーアプリケーションを実行する一部として、ブロック１２２５において、操作は、さらに、論理ボリュームで入出力操作を行うための第３の要求を受信することと、ブロック１２３０において、論理ボリュームで要求された入出力の操作を行うこととを含む。例えば、図４を参照すると、インスタンスＡ４３０は、インスタンスにアタッチされ、ブロックストレージボリュームＡ４３４によってバックアップされた仮想ブロックデバイスのブロックアドレスからデータのブロックを読み取るコマンドを発行できる。ブロックストレージサーバーインスタンス４５０は、そのコマンドを（例えば、ＢＳＳのＩＶＮ４５２を介して）受信して、ブロックストレージボリュームＡ４３４に対してそれを処理できる。例えば、図５を参照すると、インスタンスＢ４３６は、インスタンスにアタッチされ、ブロックストレージボリュームＢ４４０によってバックアップされた仮想ブロックデバイスのブロックアドレスにデータのブロックを書き込むコマンドを発行できる。ブロックストレージサーバーインスタンス４５０は、そのコマンドを（例えば、ＢＳＳのＩＶＮ４５２を介して）受信して、ブロックストレージボリュームＡ４４０に対してそれを処理できる。

【0117】

図１３は、少なくともいくつかの実施形態による、仮想化ブロックストレージサーバーを使用するための方法の動作を示すフロー図である。一部または全ての動作（もしくは本明細書で説明する他のプロセス、もしくは変形形態、及び／またはそれらの組合せ）は、実行可能命令で構成される１つ以上のコンピュータシステムの制御下で行われ、ハードウェアまたはその組合せにより１つ以上のプロセッサでまとめて実行するコード（例えば、実行可能命令、１つ以上のコンピュータプログラム、または１つ以上のアプリケーション）として実装される。コードは、例えば、１つ以上のプロセッサによって実行可能な命令を含むコンピュータプログラムの形式で、コンピュータ可読ストレージ媒体に記憶される。コンピュータ可読ストレージ媒体は非一時的である。いくつかの実施形態では、１つ以上（または全て）の動作は、プロバイダネットワークの拡張機能の１つ以上のコンポーネントによって実行されるコンピュータプログラムまたはアプリケーションによって実行される。プロバイダネットワークの拡張機能は１つ以上の物理コンピューティングデバイスまたはシステムを含み、プロバイダネットワークのカスタマーの構内等、プロバイダネットワークのデータセンターからリモートに（例えば、データセンターネットワークの外側に）配置される。クラウドプロバイダネットワーク等のプロバイダネットワークは、プロバイダネットワークのデータセンター内に配置されるコンピュータシステムによって実行される様々なサービスを含む。拡張機能の１つ以上のコンポーネントは、プロバイダネットワークのコンピュータシステムによって実行されるサービスから管理操作等を受信することによって、プロバイダネットワークと通信する。いくつかの実施形態では、１つ以上（または全て）の操作は、他の図のホスト（例えば、ホスト４２０Ａ）によって行われる。

【0118】

ブロック１３０５において、操作は、コンピュータシステムによって、コンピュータシステムの１つ以上のストレージデバイスを使用して第１のボリュームをホストするための第１のブロックストレージサーバー仮想マシンを実行することを含む。図４に示されるように、例えば、ホスト４２０Ａは、仮想マシン（すなわち、ブロックストレージサーバーインスタンス４５０）をホストしている。ブロック１３１０において、操作は、さらに、コンピュータシステムによって、仮想ブロックストレージデバイスにアクセスできる第２の仮想マシンを実行することを含む。ホスト４２０Ａは、また、別の仮想マシン（すなわち、インスタンス４３０）をホストしている。ブロック１３１５において、操作は、さらに、コンピュータシステムによって、ブロックストレージクライアントを実行することを含む。ホスト４２０Ａはブロックストレージクライアント４６０Ａを含み、これは、ホストされる仮想マシンへのブロックストレージデバイスのアタッチを容易にできる。ブロックストレージクライアントを実行する一部として、ブロック１３２０において、操作は、さらに、第２の仮想マシンから、仮想ブロックストレージデバイスで行う第１のブロックストレージ操作を受信することと、ブロック１３２５において、メッセージを送信して、第１のブロックストレージサーバー仮想マシンに、第１のブロックストレージサーバー仮想マシンに第１のボリュームで第１のブロックストレージ操作を行わせることとを含む。仮想マシンは、ブロックストレージクライアントを介してアタッチされたストレージデバイスをブロックするブロックストレージ操作（例えば、ブロックの読み取り、書き込み、バーストの読み取り、書き込み等）を発行できる。ブロックストレージクライアントは、例えば、それらのブロックストレージ操作を、ネットワーク全体でブロックアドレスを含むボリュームをホストするブロックストレージサーバーに中継できる。

【0119】

図１４は、少なくともいくつかの実施形態による、プロバイダ基板拡張における仮想化ブロックストレージサーバーを管理するための方法の動作を示すフロー図である。一部または全ての動作（もしくは本明細書で説明する他のプロセス、もしくは変形形態、及び／またはそれらの組合せ）は、実行可能命令で構成される１つ以上のコンピュータシステムの制御下で行われ、ハードウェアまたはその組合せにより１つ以上のプロセッサでまとめて実行するコード（例えば、実行可能命令、１つ以上のコンピュータプログラム、または１つ以上のアプリケーション）として実装される。コードは、例えば、１つ以上のプロセッサによって実行可能な命令を含むコンピュータプログラムの形式で、コンピュータ可読ストレージ媒体に記憶される。コンピュータ可読ストレージ媒体は非一時的である。いくつかの実施形態では、１つ以上（または全て）の動作は、プロバイダネットワークの拡張機能の１つ以上のコンポーネントによって実行されるコンピュータプログラムまたはアプリケーションによって実行される。プロバイダネットワークの拡張機能は１つ以上の物理コンピューティングデバイスまたはシステムを含み、プロバイダネットワークのカスタマーの構内等、プロバイダネットワークのデータセンターからリモートに（例えば、データセンターネットワークの外側に）配置される。クラウドプロバイダネットワーク等のプロバイダネットワークは、プロバイダネットワークのデータセンター内に配置されるコンピュータシステムによって実行される様々なサービスを含む。拡張機能の１つ以上のコンポーネントは、プロバイダネットワークのコンピュータシステムによって実行されるサービスから管理操作等を受信することによって、プロバイダネットワークと通信する。いくつかの実施形態では、１つ以上（または全て）の操作は、他の図のＰＳＥ（例えば、ＰＳＥ１０８８、ＰＳＥ１１８８）のコンポーネントによって行われる。

【0120】

ブロック１４０５において、操作は、第１のブロックストレージサーバーインスタンスによって第１の要求を受信して、第１のストレージボリュームを作成し、第１の論理ボリュームの第１の部を記憶することと、ブロック１４１０において、第２のブロックストレージサーバーインスタンスによって第２の要求を受信して、第２のストレージボリュームを作成し、第１の論理ボリュームの第２の部を記憶することとを含む。図１１に示されるように、例えば、ボリューム（例えば、レプリカ、ストライプ化されたレプリカ等）の初期配置は、プロバイダネットワークのブロックストレージサービス１１０６から発信され、ＰＳＥ１１８８のコンポーネントによって受信できる。図１１に示される例では、ボリュームＡは、ＰＳＥ１１８８のホストでブロックストレージサーバーインスタンス１１５０Ａ及び１１５０Ｃを使用して最初に記憶される。

【0121】

ブロック１４１５において、操作は、さらに、第３の要求を第３のブロックストレージサーバーインスタンスに送信して、第３のストレージボリュームを作成し、第１の論理ボリュームの第２の部を記憶することを含む。ある時点で、ボリュームの一部をホストするブロックストレージサーバーインスタンスを変更する必要があり得る。本明細書で説明するように、ＰＳＥボリューム配置サービス１１０８またはボリュームをホストする他のブロックストレージサーバーインスタンスの１つは、別のブロックストレージサーバーインスタンスにメッセージを送信して、変更されているインスタンスを交換できる。

【0122】

ブロック１４２０において、操作は、さらに、第３のブロックストレージサーバーインスタンスによって、第１の論理ボリュームの第２の部を第３のストレージボリュームに記憶することを含む。ブロック１４２５において、操作は、さらに、第１の論理ボリュームの一部をホストする各ブロックストレージサーバーインスタンスの識別情報を含むデータストアを更新して、第２のブロックストレージサーバーインスタンスの識別情報を除去し、第３のブロックストレージサーバーインスタンスの識別情報を追加することを含む。インスタンスにわたってボリュームの移行を追跡するために、ＰＳＥ１１８８は、ボリューム（もしあれば、レプリカ、サーバーにわたるストライピング等を含む）をマッピングするデータストアをホストできる。係るデータストアは、図１０を参照して説明したようなクラスターであり得る。

【0123】

図１５は、少なくともいくつかの実施形態による、例示的なプロバイダネットワーク（または「サービスプロバイダシステム」）環境を示す。プロバイダネットワーク１５００は１つ以上の仮想化サービス１５１０を介してカスタマーにリソース仮想化を提供し得、仮想化サービス１５１０は、カスタマーが、１つ以上のデータセンターの１つ以上の単数のプロバイダネットワークまたは複数のプロバイダネットワーク内のデバイスに実装された仮想化リソース（限定ではないが、計算リソース及びストレージリソースを含む）のインスタンス１５１２を購入、レンタル、または取得することを可能にする。ローカルインターネットプロトコル（ＩＰ）アドレス１５１６は、リソースインスタンス１５１２に関連付けられ得る。ローカルＩＰアドレスは、プロバイダネットワーク１５００のリソースインスタンス１５１２の内部ネットワークアドレスである。いくつかの実施形態では、プロバイダネットワーク１５００は、また、カスタマーがプロバイダ１５００から取得し得るパブリックＩＰアドレス１５１４及び／またはパブリックＩＰアドレス範囲（例えば、インターネットプロトコルバージョン４（ＩＰｖ４）またはインターネットプロトコルバージョン６（ＩＰｖ６）アドレス）を提供し得る。

【0124】

従来、プロバイダネットワーク１５００は、仮想化サービス１５１０を介して、サービスプロバイダのカスタマー（例えば、１つ以上のカスタマーデバイス（複数可）１５５２を含む１つ以上のクライアントネットワーク１５５０Ａ～１５５０Ｃを運用するカスタマー）が、カスタマーに割り当てられたまたは割り付けられた少なくともいくつかのパブリックＩＰアドレス１５１４を、カスタマーに割り当てられた特定のリソースインスタンス１５１２に動的に関連付けることを可能にし得る。プロバイダネットワーク１５００は、また、カスタマーが、カスタマーに割り付けられた１つの仮想化コンピューティングリソースインスタンス１５１２に以前にマッピングされたパブリックＩＰアドレス１５１４を、同様にカスタマーに割り付けられた別の仮想化コンピューティングリソースインスタンス１５１２に再マッピングすることを可能にし得る。サービスプロバイダによって提供される仮想化コンピューティングリソースインスタンス１５１２及びパブリックＩＰアドレス１５１４を使用して、カスタマーネットワーク（複数可）１５５０Ａ～１５５０Ｃのオペレータ等のサービスプロバイダのカスタマーは、例えば、カスタマー固有のアプリケーションを実装し、インターネット等の中間ネットワーク１５４０のカスタマーのアプリケーションを提示し得る。次に、中間ネットワーク１５４０の他のネットワークエンティティ１５２０は、カスタマーネットワーク（複数可）１５５０Ａ～１５５０Ｃによって公開された宛先パブリックＩＰアドレス１５１４へのトラフィックを生成し得る。トラフィックはサービスプロバイダデータセンターにルーティングされ、データセンターにおいて、ネットワーク基板を介して、宛先パブリックＩＰアドレス１５１４に現在マッピングされている仮想化コンピューティングリソースインスタンス１５１２のローカルＩＰアドレス１５１６にルーティングされる。同様に、仮想化コンピューティングリソースインスタンス１５１２からの応答トラフィックは、ネットワーク基板を介して中間ネットワーク１５４０にルーティングされて、ソースエンティティ１５２０に戻され得る。

【0125】

本明細書で使用される場合、ローカルＩＰアドレスは、例えば、プロバイダネットワークにおけるリソースインスタンスの内部または「プライベート」ネットワークアドレスを指す。ローカルＩＰアドレスは、インターネットエンジニアリングタスクフォース（ＩＥＴＦ）のＲｅｑｕｅｓｔ ｆｏｒ Ｃｏｍｍｅｎｔｓ（ＲＦＣ）１９１８によって予約されたアドレスブロック内にあり得、及び／またはＩＥＴＦ ＲＦＣ ４１９３によって指定されたアドレス形式のものであり得、プロバイダネットワーク内で変更可能であり得る。プロバイダネットワークの外側から発信されたネットワークトラフィックは、ローカルＩＰアドレスに直接ルーティングされない。代わりに、トラフィックはリソースインスタンスのローカルＩＰアドレスにマッピングされるパブリックＩＰアドレスを使用する。プロバイダネットワークは、パブリックＩＰアドレスからローカルＩＰアドレスに（またはその逆も同様に）マッピングを行うために、ネットワークアドレス変換（ＮＡＴ）または同様の機能を提供するネットワークデバイスまたはアプライアンスを含み得る。

【0126】

パブリックＩＰアドレスは、サービスプロバイダまたはカスタマーのいずれかによってリソースインスタンスに割り当てられるインターネット可変ネットワークアドレスである。パブリックＩＰアドレスにルーティングされたトラフィックは、例えば、１：１のＮＡＴによって変換され、リソースインスタンスの各々のローカルＩＰアドレスに転送される。

【0127】

いくつかのパブリックＩＰアドレスは、プロバイダネットワークインフラストラクチャによって特定のリソースインスタンスに割り当てられ得る。これらのパブリックＩＰアドレスは、標準パブリックＩＰアドレスまたは単なる標準ＩＰアドレスと称され得る。いくつかの実施形態では、リソースインスタンスのローカルＩＰアドレスへの標準ＩＰアドレスのマッピングは、全てのリソースインスタンスタイプのデフォルトの起動構成である。

【0128】

少なくともいくつかのパブリックＩＰアドレスは、プロバイダネットワーク１５００のカスタマーに割り付けられ得る、またはそのカスタマーによって取得され得る。次に、カスタマーはその割り付けられたパブリックＩＰアドレスを、カスタマーに割り付けられた特定のリソースインスタンスに割り当て得る。これらのパブリックＩＰアドレスは、カスタマーパブリックＩＰアドレスまたは単にカスタマーＩＰアドレスと称され得る。標準ＩＰアドレスの場合のようにプロバイダネットワーク１５００によってリソースインスタンスに割り当てられる代わりに、カスタマーＩＰアドレスは、例えば、サービスプロバイダによって提供されるＡＰＩを介して、カスタマーによってリソースインスタンスに割り当てられ得る。標準ＩＰアドレスとは異なり、カスタマーＩＰアドレスはカスタマーアカウントに割り付けられ、必要に応じてまたは所望に応じて、各々のカスタマーによって他のリソースインスタンスに再マッピングできる。カスタマーＩＰアドレスは、特定のリソースインスタンスではなく、カスタマーのアカウントに関連付けられ、カスタマーがそのＩＰアドレスを解除することを選択するまで、そのＩＰアドレスを制御する。従来の静的ＩＰアドレスとは異なり、カスタマーＩＰアドレスは、カスタマーのパブリックＩＰアドレスをカスタマーのアカウントに関連付けられるいずれかのリソースインスタンスに再マッピングすることによって、カスタマーがリソースインスタンスまたはアベイラビリティゾーンの障害をマスクすることを可能にする。例えば、カスタマーＩＰアドレスは、カスタマーＩＰアドレスを交換用のリソースインスタンスに再マッピングすることによって、カスタマーのリソースインスタンスまたはソフトウェアの問題をうまく処理することが可能になる。

【0129】

図１６は、少なくともいくつかの実施形態による、ストレージサービス及びハードウェア仮想化サービスをカスタマーに提供する例示的なプロバイダネットワークのブロック図である。ハードウェア仮想化サービス１６２０は、複数の計算リソース１６２４（例えば、ＶＭ）をカスタマーに提供する。計算リソース１６２４は、例えば、プロバイダネットワーク１６００のカスタマー（例えば、カスタマーネットワーク１６５０を実装するカスタマー）にレンタルまたはリースされ得る。計算リソース１６２４のそれぞれは１つ以上のローカルＩＰアドレスが提供され得る。プロバイダネットワーク１６００は、計算リソース１６２４のローカルＩＰアドレスからパブリックインターネット宛先に及びパブリックインターネットソースから計算リソース１６２４のローカルＩＰアドレスに、パケットをルーティングするように構成され得る。

【0130】

プロバイダネットワーク１６００は、例えば、ローカルネットワーク１６５６を介して中間ネットワーク１６４０に結合されるカスタマーネットワーク１６５０に、中間ネットワーク１６４０及びプロバイダネットワーク１６００に結合されるハードウェア仮想化サービス１６２０を介して仮想コンピューティングシステム１６９２を実装する能力を提供し得る。いくつかの実施形態では、ハードウェア仮想化サービス１６２０は、１つ以上のＡＰＩ１６０２、例えば、ウェブサービスインターフェースを提供し得、それを介して、カスタマーネットワーク１６５０は、例えば、コンソール１６９４（例えば、ウェブベースのアプリケーション、スタンドアロンのアプリケーション、モバイルアプリケーション等）を介して、ハードウェア仮想化サービス１６２０によって提供される機能にアクセスし得る。いくつかの実施形態では、プロバイダネットワーク１６００において、カスタマーネットワーク１６５０における仮想コンピューティングシステム１６９２のそれぞれは、カスタマーネットワーク１６５０にリース、レンタル、またはそうでなければ提供される計算リソース１６２４に対応し得る。

【0131】

仮想コンピューティングシステム１６９２のインスタンス及び／または別のカスタマーデバイス１６９０から（例えば、コンソール１６９４を介して）、カスタマーは、例えば、１つ以上のＡＰＩ１６０２を介して、ストレージサービス１６１０の機能にアクセスして、プロバイダネットワーク１６００によって提供される仮想データストア１６１６（例えば、フォルダまたは「バケット」、仮想化ボリューム、データベース等）のストレージリソース１６１８Ａ～１６１８Ｎからデータにアクセスして、ストレージリソース１６１８Ａ～１６１８Ｎにデータを記憶し得る。いくつかの実施形態では、仮想化データストアゲートウェイ（図示せず）がカスタマーネットワーク１６５０に提供され得、カスタマーネットワーク１６５０は、少なくともいくつかのデータ、例えば、頻繁にアクセスされるデータまたは重要データをローカルにキャッシュし得、１つ以上の多くの通信チャネルを介してストレージサービス１６１０と通信し、ローカルキャッシュから新しいデータまたは修正されたデータをアップロードし得、その結果、データのプライマリストア（仮想化データストア１６１６）が維持される。いくつかの実施形態では、ユーザは、仮想コンピューティングシステム１６９２を介して及び／または別のカスタマーデバイス１６９０で、ストレージ仮想化サービスとして機能するストレージサービス１６１０を介して仮想データストア１６１６のボリュームをマウント及びそれにアクセスし得、これらのボリュームは、ローカル（仮想化）ストレージ１６９８としてユーザに見え得る。

【0132】

図１６には示されていないが、仮想化サービス（複数可）は、また、ＡＰＩ（複数可）１６０２を介してプロバイダネットワーク１６００内のリソースインスタンスからアクセスされ得る。例えば、カスタマー、アプライアンスサービスプロバイダ、または他のエンティティは、ＡＰＩ１６０２を介してプロバイダネットワーク１６００における各々の仮想ネットワーク内から仮想化サービスにアクセスして、仮想ネットワーク内または別の仮想内の１つ以上のリソースインスタンスの割り付けを要求し得る。

【0133】

図１７は、少なくともいくつかの実施形態で使用され得る例示的なコンピューティングデバイスを示すブロック図である。少なくともいくつかの実施形態では、係るコンピュータシステムは、本明細書で説明するプロバイダ基板及び／もしくはＰＳＥをサポートするために使用される制御プレーンコンポーネント及び／もしくはデータプレーンコンポーネント、様々な仮想化コンポーネント（仮想マシン、コンテナ等）、ならびに／またはＳＥＤの１つ以上を実装するサーバーとして使用できる。係るコンピュータシステムは、１つ以上のコンピュータアクセス可能媒体を含むまたは１つ以上のコンピュータアクセス可能媒体にアクセスするように構成される汎用コンピュータシステムまたは専用コンピュータシステムを含み得る。少なくともいくつかの実施形態では、また、係るコンピュータシステムを使用して、プロバイダ基板及び／またはプロバイダの基板拡張の外側のコンポーネント（例えば、カスタマーゲートウェイ／ルーター１８６、他のカスタマーリソース１８７等）を実装できる。コンピュータシステムの図示の実施形態では、コンピュータシステム１７００は、入出力（Ｉ／Ｏ）インターフェース１７３０を介して、システムメモリ１７２０に結合される１つ以上のプロセッサ１７１０を含む。コンピューティングデバイス１７００は、さらに、Ｉ／Ｏインターフェース１７３０に結合されるネットワークインターフェース１７４０を含む。図１７は、コンピュータシステム１７００を単一のコンピューティングデバイスとして示し、様々な実施形態では、コンピュータシステム１７００は、単一のコンピュータシステム１７００として一緒に動作するように構成される１つのコンピューティングデバイスまたは任意の数のコンピューティングデバイスを含み得る。

【0134】

様々な実施形態では、コンピュータシステム１７００は、１つのプロセッサ１７１０を含むユニプロセッサシステム、またはいくつかのプロセッサ１７１０（例えば、２つ、４つ、８つ、または別の適切な数）を含むマルチプロセッサシステムであり得る。プロセッサ１７１０は、命令を実行することが可能であるいずれかの適切なプロセッサであり得る。例えば、様々な実施形態では、プロセッサ２０１０は、ｘ８６、ＡＲＭ、ＰｏｗｅｒＰＣ、ＳＰＡＲＣ、もしくはＭＩＰＳ ＩＳＡ、または任意の他の適切なＩＳＡ等の様々な命令セットアーキテクチャ（ＩＳＡ）のいずれかを実装する汎用プロセッサまたは組み込みプロセッサであり得る。マルチプロセッサシステムでは、プロセッサ１７１０のそれぞれは、一般的に、必ずではないが同じＩＳＡを実装し得る。

【0135】

システムメモリ１７２０は、プロセッサ（複数可）１７１０によってアクセス可能な命令及びデータを記憶し得る。様々な実施形態では、システムメモリ１７２０は、ランダムアクセスメモリ（ＲＡＭ）、スタティックＲＡＭ（ＳＲＡＭ）、同期ダイナミックＲＡＭ（ＳＤＲＡＭ）、不揮発性／フラッシュ型メモリ、または任意の他のタイプのメモリ等のいずれかの適切なメモリ技術を使用して実装され得る。図示の実施形態では、上記に説明したそれらの方法、技術、及びデータ等の１つ以上の所望の機能を実施するプログラム命令及びデータは、システムメモリ１７２０内にコード１７２５及びデータ１７２６として記憶されていることが示される。

【0136】

一実施形態では、Ｉ／Ｏインターフェース１７３０は、プロセッサ１７１０、システムメモリ１７２０、及びネットワークインターフェース１７４０または他の周辺インターフェースを含むデバイスのいずれかの周辺デバイス間のＩ／Ｏトラフィックを調整するように構成され得る。いくつかの実施形態では、Ｉ／Ｏインターフェース１７３０は、いずれかの必要なプロトコル、タイミング、または他のデータ変換を行い、１つのコンポーネント（例えば、システムメモリ１７２０）からのデータ信号を、別のコンポーネント（例えば、プロセッサ１７１０）による使用に適切な形式に変換し得る。いくつかの実施形態では、Ｉ／Ｏインターフェース１７３０は、例えば、ペリフェラルコンポーネントインターコネクト（ＰＣＩ）バス規格またはユニバーサルシリアルバス（ＵＳＢ）規格の変形等の様々なタイプの周辺バスによってアタッチされるデバイスへのサポートを含み得る。いくつかの実施形態では、Ｉ／Ｏインターフェース１７３０の機能は、例えば、ノースブリッジ及びサウスブリッジ等の２つ以上の別のコンポーネントに分割され得る。また、いくつかの実施形態では、システムメモリ１７２０に対するインターフェース等のＩ／Ｏインターフェース１７３０の機能の一部または全ては、プロセッサ１７１０に直接組み込まれ得る。

【0137】

ネットワークインターフェース１７４０は、コンピュータシステム１７００と、ネットワークまたは複数のネットワーク１７５０にアタッチされる他のデバイス１７６０（例えば、図１に示されるような他のコンピュータシステムまたはデバイス等）との間で、データを交換することを可能にするように構成され得る。様々な実施形態では、ネットワークインターフェース１７４０は、例えば、イーサネット（登録商標）ネットワークのタイプ等のいずれかの適切な有線または無線の一般的なデータネットワークを介して通信をサポートし得る。さらに、ネットワークインターフェース１７４０は、アナログ音声ネットワークもしくはデジタルファイバ通信ネットワーク等の電気通信／テレフォニネットワークを介して、ファイバチャネルＳＡＮ等のストレージエリアネットワーク（ＳＡＮ）を介して、または任意の他の適切なタイプのネットワーク及び／もしくはプロトコルを介して通信をサポートし得る。

【0138】

いくつかの実施形態では、コンピュータシステム１７００は、Ｉ／Ｏインターフェース１７３０（例えば、周辺機器相互接続エクスプレス（ＰＣＩ－Ｅ）規格、またはＱｕｉｃｋＰａｔｈ相互接続（ＱＰＩ）もしくはＵｌｔｒａＰａｔｈ相互接続（ＵＰＩ）等の別の相互接続のバージョンを実装するバス）を使用して接続される１つ以上のオフロードカード１７７０（１つ以上のプロセッサ１７７５を含む、場合によって、１つ以上のネットワークインターフェース１７４０を含む）を含む。例えば、いくつかの実施形態では、コンピュータシステム１７００は、コンピュートインスタンスをホストするホスト電子デバイス（例えば、ハードウェア仮想化サービスの一部として動作する）として機能し得、１つ以上のオフロードカード１７７０は、ホスト電子デバイスで実行するコンピュートインスタンスを管理できる仮想化マネージャを実行する。例として、いくつかの実施形態では、オフロードカード（複数可）１７７０は、コンピュートインスタンスの一時停止及び／または一時停止の解除、コンピュートインスタンスの起動及び／または終了、メモリ転送／コピーの実行のコンピュートインスタンス管理操作の実行等ができる。これらの管理操作は、いくつかの実施形態では、ハイパーバイザーのコンピュータシステム１７００他のプロセッサ１７１０Ａ～１７１０Ｎによって実行されるハイパーバイザーと協調して（例えば、ハイパーバイザーからの要求に応じて）オフロードカード（複数可）１７７０によって行われ得る。しかしながら、いくつかの実施形態では、オフロードカード（複数可）１７７０によって実装される仮想化マネージャは、他のエンティティからの（例えば、コンピュートインスタンス自体からの）要求に対応でき、いずれかの別のハイパーバイザーと協調（またはそれにサービス提供）し得ない。図２を参照すると、少なくともいくつかの実施形態では、ＰＳＥフレームワーク２０２及びホストマネージャ２２２の機能の少なくとも一部は、オフロードカード１７７０の１つ以上のプロセッサ１７７５で実行され、その間、インスタンス（例えば、２３２、２３４、２３６）が１つ以上のプロセッサ１７１０で実行される。

【0139】

いくつかの実施形態では、コンピュータシステム１７００は、１つ以上のストレージデバイス（ＳＤ）１７８０を含む。例示的なストレージデバイス１７８０は、ソリッドステートドライブ（例えば、様々なタイプのフラッシュまたは他のメモリを伴う）及び磁気ドライブを含む。プロセッサ（複数可）１７１０は、インターフェース（複数可）１７３０を介して、または場合によって、オフロードカード（複数可）１７７０を介して、ＳＤ１７８０にアクセスし得る。例えば、オフロードカード（複数可）１７７０は、複数の相互接続インターフェースを含むシステムオンチップ（ＳｏＣ）を含み得、インターフェース１７３０とＳＤ１７８０に対するインターフェースとをブリッジする（例えば、ＰＣＩｅ－ｔｏ－ＰＣＩｅブリッジを行う）。

【0140】

いくつかの実施形態では、システムメモリ１７２０は、上記に説明したようなプログラム命令及びデータを記憶するように構成されるコンピュータアクセス可能媒体の一実施形態であり得る。しかしながら、他の実施形態では、プログラム命令及び／またはデータは、異なるタイプのコンピュータアクセス可能媒体で受信、送信、または記憶され得る。一般的に言えば、コンピュータアクセス可能媒体は、Ｉ／Ｏインターフェース１７３０を介してコンピューティングデバイス１７００に結合される磁気媒体または光媒体等（例えば、ディスクまたはＤＶＤ／ＣＤ）の非一時的ストレージ媒体またはメモリ媒体を含み得る。非一時的コンピュータアクセス可能ストレージ媒体は、また、システムメモリ１７２０または別のタイプのメモリとして、コンピューティングデバイス１７００のいくつかの実施形態に含まれ得るＲＡＭ（例えば、ＳＤＲＡＭ、ダブルデータレート（ＤＤＲ）、ＳＤＲＡＭ、ＳＲＡＭ等）、読み取り専用メモリ（ＲＯＭ）等のいずれかの揮発性媒体または不揮発性媒体を含み得る。さらに、コンピュータアクセス可能媒体は、伝送媒体、またはネットワークインターフェース１７４０を介して実装され得るようなネットワーク及び／もしくは無線リンク等の通信媒体を介して伝達される電気信号、電磁信号、もしくはデジタル信号等の信号を含み得る。

【0141】

本明細書で説明または示唆されるような様々な実施形態は様々な動作環境で実装でき、動作環境は、場合によって、任意の数のアプリケーションを動作するために使用できる１つ以上のユーザコンピュータ、コンピューティングデバイス、または処理デバイスを含み得る。ユーザデバイスまたはクライアントデバイスは、標準オペレーティングシステムを起動するデスクトップコンピュータもしくはラップトップコンピュータ、ならびに、携帯電話向けソフトウェアを起動し、いくつかのネットワーキングプロトコル及びメッセージプロトコルをサポートすることが可能である、携帯デバイス、無線デバイス、及びハンドヘルドデバイス等のいくつかの汎用パーソナルコンピュータのいずれかを含み得る。係るシステムは、また、様々な市販のオペレーティングシステムのいずれかならびに開発及びデータベース管理等の目的のための他の既知のアプリケーションを起動するいくつかのワークステーションを含み得る。これらのデバイスは、また、ダミー端末、シンクライアント、ゲーム機、及びネットワークを介して通信することが可能である他のデバイス等の他の電子デバイスを含み得る。

【0142】

ほとんどの実施形態は、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）、ファイル転送プロトコル（ＦＴＰ）、ユニバーサルプラグアンドプレイ（ＵＰｎＰ）、ネットワークファイルシステム（ＮＦＳ）、共通インターネットファイルシステム（ＣＩＦＳ）、拡張メッセージング及びプレゼンスプロトコル（ＸＭＰＰ）、ＡｐｐｌｅＴａｌｋ等の様々な市販のプロトコルのいずれかを使用して通信をサポートするための当業者に精通しているであろう少なくとも１つのネットワークを利用する。ネットワーク（複数可）は、例えば、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、仮想プライベートネットワーク（ＶＰＮ）、インターネット、イントラネット、エクストラネット、公衆交換電話網（ＰＳＴＮ）、赤外線ネットワーク、無線ネットワーク、及びそれらのいずれかの組み合わせを含み得る。

【0143】

ウェブサーバーを利用する実施形態では、ウェブサーバーは、ＨＴＴＰサーバー、ファイル転送プロトコル（ＦＴＰ）サーバー、共通ゲートウェイインターフェース（ＣＧＩ）サーバー、データサーバー、Ｊａｖａ（登録商標）サーバー、業務用アプリケーションサーバー等を含む様々なサーバーまたは中間層アプリケーションのいずれかを起動できる。サーバー（複数可）は、また、Ｊａｖａ（登録商標）、Ｃ、Ｃ＃、もしくはＣ＋＋等のいずれかのプログラム言語、または、Ｐｅｒｌ、Ｐｙｔｈｏｎ、もしくはＴＣＬ等のいずれかのスクリプト言語、及びそれらの組み合わせで書き込まれる、１つ以上のスクリプトまたはプログラムとして実装され得る、１つ以上のウェブアプリケーション等を実行することによって、ユーザデバイスからの要求に応答してプログラムまたはスクリプトを実行することが可能であり得る。サーバー（複数可）は、限定ではないが、Ｏｒａｃｌｅ（登録商標）、Ｍｉｃｒｏｓｏｆｔ（登録商標）、Ｓｙｂａｓｅ（登録商標）、ＩＢＭ（登録商標）等から市販されているものを含むデータベースサーバーも含み得る。データベースサーバーは、リレーショナルまたは非リレーショナル（例えば、「ＮｏＳＱＬ」）、分散型または非分散型等であり得る。

【0144】

環境は、上記に説明したような様々なデータストアならびに他のメモリ及びストレージ媒体を含み得る。これらは、１つ以上のコンピュータにローカルにある（及び／もしくはそこに常駐する）、または、ネットワークにわたるコンピュータのいずれかもしくは全てからリモートにあるストレージ媒体等の様々な位置に常駐し得る。特定の実施形態のセットでは、情報は、当業者に精通しているストレージエリアネットワーク（「ＳＡＮ」）内に常駐し得る。同様に、コンピュータ、サーバー、または他のネットワークデバイスに属する機能を行うためのいずれかの必要なファイルは、適宜、ローカルに及び／またはリモートに記憶され得る。システムがコンピュータ化されたデバイスを含む場合、係るデバイスのそれぞれは、バスを介して電気的に結合され得るハードウェア要素を含み得、ハードウェア要素は、例えば、少なくとも１つの中央処理ユニット（「ＣＰＵ」）、少なくとも１つの入力デバイス（例えば、マウス、キーボード、コントローラ、タッチスクリーン、またはキーパッド）、及び／または少なくとも１つの出力デバイス（例えば、ディスプレイデバイス、プリンタ、またはスピーカ）を含む。係るシステムは、また、ディスクドライブ、光学ストレージデバイス、及びランダムアクセスメモリ（ＲＡＭ）または読み取り専用メモリ（ＲＯＭ）等のソリッドステートストレージデバイス、ならびにリムーバブルストレージデバイス、メモリカード、フラッシュカード等の１つ以上のストレージデバイスを含み得る。

【0145】

また、係るデバイスは、上記に説明したようなコンピュータ可読ストレージ媒体リーダ、通信デバイス（例えば、モデム、ネットワークカード（無線または有線）、赤外線通信デバイス等）、及びワーキングメモリを含み得る。コンピュータ可読ストレージ媒体リーダは、コンピュータ可読ストレージ媒体と接続でき、またはコンピュータ可読ストレージ媒体を受信するように構成され、リモートデバイス、ローカルデバイス、固定デバイス、及び／またはリムーバブルストレージデバイス、ならびにコンピュータ可読情報を一時的に及び／またはさらに永久的に含み、記憶し、伝送し、及び読み出すためのストレージ媒体を表す。また、システム及び様々なデバイスは、一般的に、いくつかのソフトウェアアプリケーション、モジュール、サービス、または少なくとも１つのワーキングメモリデバイス内に配置される他の要素を含み、クライアントアプリケーションまたはウェブブラウザ等のオペレーティングシステム及びアプリケーションプログラムを含む。代替の実施形態は、上記に説明したものからの多くの変形形態を有し得ることを理解されたい。例えば、カスタマイズされたハードウェアも使用され得、及び／または特定の要素は、ハードウェア、ソフトウェア（アプレット等のポータブルソフトウェアを含む）、もしくはこの両方において実装され得る。さらに、ネットワーク入出力デバイス等の他のコンピューティングデバイスへの接続が採用され得る。

【0146】

コードまたはコードの一部を含むためのストレージ媒体及びコンピュータ可読媒体は、限定ではないが、揮発性媒体及び不揮発性媒体、リムーバブル媒体及び非リムーバブル媒体等のストレージ媒体及び通信媒体を含む当技術分野で既知のまたは使用されるいずれかの適切な媒体を含み得、それらの媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータ等の情報を記憶及び／または伝送するためのいずれかの方法または技術で実施され、ＲＡＭ、ＲＯＭ、電気的消去可能プログラム可能読み取り専用メモリ（「ＥＥＰＲＯＭ」）、フラッシュメモリ、もしくは他のメモリ技術、コンパクトディスク読み取り専用メモリ（「ＣＤ－ＲＯＭ」）、デジタル多用途ディスク（ＤＶＤ）、もしくは他の光ストレージデバイス、磁気カセット、磁気テープ、磁気ディスクストレージ、もしくは他の磁気ストレージデバイス、または所望の情報を記憶するために使用でき、システムデバイスによってアクセスできるいずれかの他の媒体を含む。本明細書に提供される開示及び教示に基づいて、当業者は、様々な実施形態を実施するための他の手段及び／または方法を理解する。

【0147】

前述の説明では、様々な実施形態が説明される。説明の目的で、実施形態の徹底的な理解を提供するために特定の構成及び詳細が記載される。しかしながら、当業者には、実施形態がその具体的な詳細を伴わずに実践され得るということもまた明らかになる。さらに、周知の特性は、説明される実施形態を不明瞭にしないために、省略または簡略化され得る。

【0148】

本明細書では、括弧で囲まれたテキスト及び破線の境界線を有するブロック（例えば、大きなダッシュ、小さなダッシュ、鎖線、及び点線）を使用して、いくつかの実施形態に追加特性を追加するオプションの動作を説明する。しかしながら、係る表記は、これらが唯一のオプションまたはオプション動作であること及び／または特定の実施形態では、実線の境界線を有するブロックはオプションではないことを意味すると解釈すべきではない。

【0149】

最後尾の文字が付いた参照番号（例えば、１０１Ａ、１０２Ａ等）を使用して、様々な実施形態で参照エンティティの１つ以上のインスタンスが存在する可能性があることを示し得、複数のインスタンスが存在するとき、それぞれが同一である必要はないが、代わりに、いくつかの一般的な特徴を共有し得る、または、共通の方法で役割を果たし得る。さらに、使用される特定の最後尾は、特に反対の指示がない限り、特定の量のエンティティが存在することを含意することを意味しない。したがって、同じまたは異なる最後尾の文字を使用する２つのエンティティは、様々な実施形態で同じ数のインスタンスを有し得るまたは有し得ない。

【0150】

「一実施形態」、「ある実施形態」、「例示的な実施形態」等への言及は、説明される実施形態が、特定の特性、構造、または特徴を含み得るが、全ての実施形態が必ずしも特定の特性、構造、または特徴を含み得ないことを示す。さらに、係る語句は必ずしも同一の実施形態を指すわけではない。さらに、特定の特性、構造、または特徴が実施形態に関連して説明されるとき、明確に説明されているか否かにかかわらず、他の実施形態に関連して係る特性、構造、または特徴に影響を与えることは、当業者の知識の範囲内であると考えられる。

【0151】

さらに、上記に説明した様々な実施形態では、特に断りのない限り、語句「Ａ、Ｂ、またはＣの少なくとも１つ」等の選言的言語は、Ａ、Ｂ、もしくはＣのいずれか、またはそれらのいずれかの組み合わせ（例えば、Ａ、Ｂ、及び／またはＣ）を意味すると理解されることを意図する。したがって、係る選言的言語は、所与の実施形態がＡの少なくとも１つ、Ｂの少なくとも１つ、またはＣの少なくとも１つがそれぞれ存在することを必要とすることを含意することを意図しない、また理解するべきではない。

【0152】

開示される技術の実施形態の少なくとも一部は以下の例を考慮して説明できる。
１．コンピュータ実施方法であって、
プロバイダネットワークの第１のコンピュータシステムの第１の１つ以上のプロセッサによって、ブロックストレージサーバー仮想マシンを実行して、前記第１のコンピュータシステムの１つ以上のストレージデバイスを使用して第１のストレージボリュームをホストすることと、
前記第１の１つ以上のプロセッサによって、仮想ブロックストレージデバイスにアクセスできるカスタマー仮想マシンを実行することと、
前記第１のコンピュータシステムの第２の１つ以上のプロセッサによって、ブロックストレージクライアントを実行することと、を備え、
前記ブロックストレージクライアントは、
前記カスタマー仮想マシンから、前記仮想ブロックストレージデバイスで行う第１のブロックストレージ操作を受信することと、
メッセージを前記ブロックストレージサーバー仮想マシンに送信して、前記ブロックストレージサーバー仮想マシンに第１のストレージボリュームで前記第１のブロックストレージ操作を行うことと、を含む、
前記コンピュータ実施方法。
２．前記メッセージは、仮想ネットワークを介して送信されるトラフィックをキーを使用して暗号化及び復号化して安全な前記仮想ネットワークを介して送信される、条項１に記載のコンピュータ実施方法。
３．前記仮想ネットワークの第１の仮想ネットワークアドレスは前記ブロックストレージサーバー仮想マシンに関連付けられ、前記仮想ネットワークの第２の仮想ネットワークアドレスは前記ブロックストレージクライアントに関連付けられる、条項２に記載のコンピュータ実施方法。
４．コンピュータ実施方法であって、
コンピュータシステムによって、第１のブロックストレージサーバー仮想マシンを実行して、前記コンピュータシステムの１つ以上のストレージデバイスを使用して第１のボリュームをホストすることと、
前記コンピュータシステムによって、仮想ブロックストレージデバイスにアクセスできる第２の仮想マシンを実行することと、
前記コンピュータシステムによって、ブロックストレージクライアントを実行することと、を備え、
前記ブロックストレージクライアントを実行することは、
前記第２の仮想マシンから、前記仮想ブロックストレージデバイスで行う第１のブロックストレージ操作を受信することと、
メッセージを前記第１のブロックストレージサーバー仮想マシンに送信して、前記第１のブロックストレージサーバー仮想マシンに、前記第１のボリュームで前記ブロックストレージ操作を行わせることと、を含む、
前記コンピュータ実施方法。
５．前記メッセージは、仮想ネットワークを介して送信されるトラフィックをキーを使用して暗号化及び復号化して安全な前記仮想ネットワークを介して送信される、条項４に記載のコンピュータ実施方法。
６．前記仮想ネットワークの第１の仮想ネットワークアドレスは前記第１のブロックストレージサーバー仮想マシンに関連付けられ、前記仮想ネットワークの第２の仮想ネットワークアドレスは前記ブロックストレージクライアントに関連付けられる、条項５に記載のコンピュータ実施方法。
７．前記第１のブロックストレージサーバー仮想マシン及び前記第２の仮想マシンは前記コンピュータシステムの第１の１つ以上のプロセッサによって実行され、前記ブロックストレージクライアントは、前記コンピュータシステムの第２の１つ以上のプロセッサによって実行される、条項４～６のいずれか１項に記載のコンピュータ実施方法。
８．前記第１のブロックストレージサーバー仮想マシンは前記コンピュータシステムによってホストされる第１の仮想マシンであり、前記第２の仮想マシンは前記コンピュータシステムによってホストされる第２の仮想マシンである、条項４～７のいずれか１項に記載のコンピュータ実施方法。
９．前記コンピュータシステムによって、第２のブロックストレージサーバー仮想マシンを実行して、前記コンピュータシステムの前記１つ以上のストレージデバイスを使用して第２のボリュームをホストすることをさらに含み、前記第２のボリュームは前記第１のボリュームに関連付けられるレプリカである、条項４に記載のコンピュータ実施方法。
１０．前記第１のブロックストレージサーバー仮想マシンは前記コンピュータシステムの第１の物理コンポーネントを使用して実行され、前記第２のブロックストレージサーバー仮想マシンは、前記第１の物理コンポーネントと異なる前記コンピュータシステムの第２の物理コンポーネントを使用して実行される、条項９に記載のコンピュータ実施方法。
１１．前記第１のブロックストレージ操作はデータのブロックの書き込みであり、前記ブロックストレージクライアントは、さらに、前記仮想ブロックストレージデバイスに関連付けられる暗号化キーを使用して、前記データのブロックを暗号化し、データの暗号化ブロックを生成し、前記第１のブロックストレージサーバー仮想マシンに送信される前記メッセージは前記データの暗号化ブロックを含み、前記第１のブロックストレージサーバー仮想マシンに、前記データの暗号化ブロックを前記第１のボリュームに書き込ませる、条項４～１０のいずれか１項に記載のコンピュータ実施方法。
１２．前記コンピュータシステムはプロバイダネットワークの拡張機能に含まれ、前記プロバイダネットワークの前記拡張機能は少なくともサードパーティネットワークを介して前記プロバイダネットワークと通信し、
前記プロバイダネットワークのインスタンス管理サービスは、前記コンピュータシステムによって、前記第１のブロックストレージサーバー仮想マシン及び前記第２の仮想マシンの前記実行を開始する、条項４～１１のいずれか１項に記載のコンピュータ実施方法。
１３．ホストコンピュータシステムの１つ以上のストレージデバイスと、
仮想ブロックストレージデバイスにアクセスできる第１のブロックストレージサーバーアプリケーション及び第２のアプリケーションを実行する前記ホストコンピュータシステムの第１の１つ以上のプロセッサであって、前記第１のブロックストレージサーバーアプリケーションは、実行時に、前記第１のブロックストレージサーバーアプリケーションに、前記１つ以上のストレージデバイスを使用して第１のボリュームをホストさせる命令を含む、前記第１の１つ以上のプロセッサと、
ブロックストレージクライアントアプリケーションを実行する前記ホストコンピュータシステムの第１の１つ以上のプロセッサであって、前記ブロックストレージクライアントアプリケーションは命令を含み、前記命令は、実行時に、前記ブロックストレージクライアントアプリケーションに、
前記第２のアプリケーションから、前記仮想ブロックストレージデバイスで行う第１のブロックストレージ操作を受信することと、
メッセージを前記第１のブロックストレージサーバーアプリケーションに送信して、前記第１のブロックストレージサーバーアプリケーションに、前記第１のボリュームで前記第１のブロックストレージ操作を行わせることと、を実施させる、前記第１の１つ以上のプロセッサと、
を含む、システム。
１４．前記メッセージは、仮想ネットワークを介して送信されるトラフィックをキーを使用して暗号化及び復号化して安全な前記仮想ネットワークを介して送信される、条項１３に記載のシステム。
１５．前記仮想ネットワークの第１の仮想ネットワークアドレスは前記第１のブロックストレージサーバーアプリケーションに関連付けられ、前記仮想ネットワークの第２の仮想ネットワークアドレスは前記ブロックストレージアプリケーションに関連付けられる、条項１４に記載のシステム。
１６．前記第１のブロックストレージサーバーアプリケーションは前記ホストコンピュータシステムによってホストされる第１の仮想マシン内で実行され、前記第２のアプリケーションは前記ホストコンピュータシステムによってホストされる第２の仮想マシン内で実行される、条項１３～１５のいずれか１項に記載のシステム。
１７．前記ホストコンピュータシステムの前記第１の１つ以上のプロセッサは、さらに、第２のブロックストレージサーバーアプリケーションを実行して、前記第２のブロックストレージサーバーアプリケーションは、実行時に、前記第２のブロックストレージサーバーアプリケーションに、前記ホストコンピュータシステムの前記１つ以上のストレージデバイスを使用して第２のボリュームをホストさせる命令を含み、前記第２のボリュームは前記第１のボリュームに関連付けられるレプリカである、条項１３に記載のシステム。
１８．前記第１のブロックストレージサーバーアプリケーションは前記コンピュータシステムの第１の物理コンポーネントを使用して実行され、前記第２のブロックストレージサーバーアプリケーションは、前記第１の物理コンポーネントと異なる前記コンピュータシステムの第２の物理コンポーネントを使用して実行される、条項１７に記載のシステム。
１９．前記第１のブロックストレージ操作はデータのブロックの書き込みであり、前記ブロックストレージクライアントアプリケーションは、さらに、実行時に、前記ブロックストレージクライアントアプリケーションに、前記仮想ブロックストレージデバイスに関連付けられる暗号化キーを使用して、前記データのブロックを暗号化させ、データの暗号化ブロックを生成させる命令を含み、前記第１のブロックストレージサーバーアプリケーションに送信された前記メッセージは前記データの暗号化ブロックを含み、前記第１のブロックストレージサーバーアプリケーションに、前記データの暗号化ブロックを前記第１のボリュームに書き込ませる、条項１３～１８のいずれか１項に記載のシステム。
２０．前記ホストコンピュータシステムはプロバイダネットワークの拡張機能に含まれ、前記プロバイダネットワークの前記拡張機能は少なくともサードパーティネットワークを介して前記プロバイダネットワークと通信し、
前記プロバイダネットワークのインスタンス管理サービスは、前記ホストコンピュータシステムによって、前記第１のブロックストレージサーバーアプリケーション及び前記第２のアプリケーションの前記実行を開始する、条項１３～１９のいずれか１項に記載のシステム。
２１．コンピュータ実施方法であって、
プロバイダネットワークの拡張機能のホストコンピュータシステムにおいて、第１の仮想マシンを起動する第１の要求を受信して、ブロックストレージサーバーアプリケーションをホストすることであって、前記プロバイダネットワークの前記拡張機能は、少なくともサードパーティネットワークを介して前記プロバイダネットワークと通信する、前記ホストすることと、
前記ホストコンピュータシステムの１つ以上の物理ストレージデバイスのストレージ容量の少なくとも一部を、プロビジョニングされるストレージデバイスとして前記第１の仮想マシンにプロビジョニングすることと、
前記ブロックストレージサーバーアプリケーションを前記第１の仮想マシンで実行することと、を備え、
前記ブロックストレージサーバーアプリケーションを実行することは、
論理ボリュームを作成するために前記プロバイダネットワークのブロックストレージサービスからの第２の要求に応答して、前記プロビジョニングされたストレージデバイスに前記論理ボリュームを作成することと、
ブロックストレージクライアントアプリケーションから仮想ネットワークを介して第３の要求を受信して、前記論理ボリュームで入出力操作を行うことと、
前記論理ボリュームで前記要求された入出力操作を行うことと、を含む、
前記コンピュータ実施方法。
２２．前記ブロックストレージサーバーアプリケーションを前記第１の仮想マシンで実行する前に、前記方法は、さらに、
別のアプリケーションを前記第１の仮想マシンで実行して、前記プロバイダネットワークのデータストアからブートボリュームに取得されたマシンイメージからブートボリュームをロードすることであって、前記ブートボリュームは前記プロビジョニングされたストレージデバイスの別の論理ボリュームである、前記ロードすることと、
前記ブートボリュームからブートするために前記第１の仮想マシンを修正することと、
前記第１の仮想マシンを再起動することと、
を含む、条項２１に記載のコンピュータ実施方法。
２３．前記ブロックストレージサーバーアプリケーションを前記第１の仮想マシンで実行する前に、前記方法は、さらに、前記第１の仮想マシンのブートボリュームを第１のブロックストレージデバイスによって記憶されたマシンイメージからロードすることを含み、前記ブートボリュームは前記プロビジョニングされたストレージデバイスの別の論理ボリュームであり、前記第１のブロックストレージデバイスは仮想ブロックストレージデバイスである、条項２１に記載のコンピュータ実施方法。
２４．コンピュータ実施方法であって、
プロバイダネットワークの拡張機能のコンピュータシステムによって、第１の仮想マシンを起動する第１の要求を受信して、ブロックストレージサーバーアプリケーションをホストすることであって、前記プロバイダネットワークの前記拡張機能は、少なくともサードパーティネットワークを介して前記プロバイダネットワークと通信する、前記ホストすることと、
前記ホストコンピュータシステムの１つ以上のストレージデバイスのストレージ容量の少なくとも一部を、プロビジョニングされるストレージデバイスとして前記第１の仮想マシンにプロビジョニングすることと、
前記ブロックストレージサーバーアプリケーションを前記第１の仮想マシンで実行することと、を備え、
前記ブロックストレージサーバーアプリケーションを実行することは、
論理ボリュームを作成するために前記プロバイダネットワークのブロックストレージサービスからの第２の要求に応答して、前記プロビジョニングされたストレージデバイスに前記論理ボリュームを作成することと、
第３の要求を受信して、前記論理ボリュームで入出力操作を行うことと、
前記論理ボリュームで前記要求された入出力操作を行うことと、を含む、
前記コンピュータ実施方法。
２５．前記ブロックストレージサーバーアプリケーションを前記第１の仮想マシンで実行する前に、前記方法は、さらに、
別のアプリケーションを前記第１の仮想マシンで実行して、前記プロバイダネットワークのデータストアから取得されたマシンイメージからブートボリュームをロードすることであって、前記ブートボリュームは前記プロビジョニングされたストレージデバイスの別の論理ボリュームである、前記ロードすることと、
前記ブートボリュームからブートするために前記第１の仮想マシンを修正することと、
前記第１の仮想マシンを再起動することと、
を含む、条項２４に記載のコンピュータ実施方法。
２６．前記ブロックストレージサーバーアプリケーションを実行する前に、前記第１の仮想マシンのメモリをクリアすることをさらに含む、条項２５に記載のコンピュータ実施方法。
２７．前記ブロックストレージサーバーアプリケーションを前記第１の仮想マシンで実行する前に、前記方法は、さらに、前記第１の仮想マシンのブートボリュームを第１のブロックストレージデバイスによって記憶されたマシンイメージからロードすることを含み、前記ブートボリュームは前記プロビジョニングされたストレージデバイスの別の論理ボリュームであり、前記第１のブロックストレージデバイスは仮想ブロックストレージデバイスである、条項２４に記載のコンピュータ実施方法。
２８．前記ロードは、前記第１の仮想マシンの基本入出力システム及び前記第１の仮想マシンの統合型拡張可能ファームウェアインターフェースの少なくとも１つによって行われる、条項２７に記載のコンピュータ実施方法。
２９．前記第３の要求はブロックストレージクライアントアプリケーションから仮想ネットワークを介して受信され、
前記仮想ネットワークを通じて送信されるトラフィックは、前記仮想ネットワークに関連付けられるキーを使用して暗号化される、条項２４～２８のいずれか１項に記載のコンピュータ実施方法。
３０．前記第１の仮想マシンは複数の仮想マシンのうちの１つであり、前記複数の仮想マシンのそれぞれは、ブロックストレージサーバーアプリケーションを実行して、前記方法は、さらに、
前記複数の仮想マシンの１つ以上に関連付けられるリソース使用率が閾値を超えていると決定することと、
別のホストコンピュータシステムの１つ以上のストレージデバイスのストレージ容量の少なくとも一部を、第２の仮想マシンにプロビジョニングすることと、
別のブロックストレージサーバーアプリケーションを前記第２の仮想マシンで実行することと、
を含む、条項２４～２９のいずれか１項に記載のコンピュータ実施方法。
３１．前記ホストコンピュータシステムの前記１つ以上の物理ストレージデバイスの前記ストレージ容量の少なくとも別の部を、別のプロビジョニングされるストレージデバイスとして第２の仮想マシンにプロビジョニングすることと、
別のブロックストレージサーバーアプリケーションを前記第２の仮想マシンで実行することであって、前記第１の仮想マシンは前記コンピュータシステムの第１の物理コンポーネントを使用して実行され、前記第２の仮想マシンは前記第１の物理コンポーネントと異なる前記コンピュータシステムの第２の物理コンポーネントを使用して実行される、前記実行することと、
をさらに含む、条項２４～３０のいずれか１項に記載のコンピュータ実施方法。
３２．前記入出力操作は、データのブロックを前記論理ボリュームのブロックアドレスに書き込むための書き込み操作であり、前記論理ボリュームで前記要求された入出力論理ボリュームを行うことは、前記データのブロックを前記論理ボリュームの前記ブロックアドレスに書き込むことを含み、前記第１の物理コンポーネントは第１のメモリデバイスであり、前記第２の物理コンポーネントは第２のメモリデバイスであり、前記プロバイダネットワークの前記拡張機能は、前記プロバイダネットワークのデータセンターの外側に配置され、前記プロバイダネットワークのカスタマーの構内にある１つ以上の物理コンピューティングデバイスを含む、条項３１に記載のコンピュータ実施方法。
３３．プロバイダネットワークの拡張機能のホストコンピュータシステムの１つ以上のストレージデバイスであって、前記プロバイダネットワークの前記拡張機能は少なくともサードパーティネットワークを介して前記プロバイダネットワークと通信する、前記１つ以上のストレージデバイスと、
前記ホストマネージャアプリケーションを実行するための前記ホストコンピュータシステムの１つ以上のプロセッサと、を含み、前記ホストマネージャアプリケーションは命令を含み、前記命令は、実行時に、前記ホストマネージャアプリケーションに、
第１の仮想マシンを起動する第１の要求を受信して、ブロックストレージサーバーアプリケーションをホストすることと、
前記１つ以上のストレージデバイスのストレージ容量の少なくとも一部を、プロビジョニングされるストレージデバイスとして前記第１の仮想マシンにプロビジョニングすることと、
前記ブロックストレージサーバーアプリケーションを前記第１の仮想マシンで実行することと、を含み、前記ブロックストレージサーバーアプリケーションは命令を含み、前記命令は、実行時に、前記ブロックストレージサーバーアプリケーションに、
論理ボリュームを作成するために前記プロバイダネットワークのブロックストレージサービスからの第２の要求に応答して、前記プロビジョニングされたストレージデバイスに前記論理ボリュームを作成することと、
第３の要求を受信して、前記論理ボリュームで入出力操作を行うことと、
前記論理ボリュームで前記要求された入出力操作を行うことと、
を含む、システム。
３４．前記ホストマネージャアプリケーションはさらなる命令を含み、前記さらなる命令は、実行時に、前記ブロックストレージサーバーアプリケーションを前記第１の仮想マシンで実行する前に、前記ホストマネージャアプリケーションに、
別のアプリケーションを前記第１の仮想マシンで実行して、前記プロバイダネットワークのデータストアから取得されたマシンイメージからブートボリュームをロードすることであって、前記ブートボリュームは前記プロビジョニングされたストレージデバイスの別の論理ボリュームである、前記ロードすることと、
前記ブートボリュームからブートするために前記第１の仮想マシンを修正することと、
前記第１の仮想マシンを再起動することと、
を行わせる、条項３３に記載のシステム。
３５．前記ホストマネージャアプリケーションは、実行時に、前記ブロックストレージサーバーアプリケーションを実行する前に、前記ホストマネージャアプリケーションに、前記第１の仮想マシンのメモリをクリアすることをさせるさらなる命令を含む、条項３４に記載のシステム。
３６．前記第１の仮想マシンのコンポーネントは、実行時に、前記ブロックストレージサーバーアプリケーションを前記第１の仮想マシンで実行する前に、前記コンポーネントに、前記第１の仮想マシンのブートボリュームを、前記第１のブロックストレージデバイスによって記憶されたマシンイメージからロードさせる命令を含み、前記ブートボリュームは前記プロビジョニングされたストレージデバイスの別の論理ボリュームであり、前記第１のブロックストレージデバイスは仮想ブロックストレージデバイスである、条項３３に記載のシステム。
３７．前記コンポーネントは、前記第１の仮想マシンの基本入出力システム及び前記第１の仮想マシンの統合型拡張可能ファームウェアインターフェースの少なくとも１つである、条項３６に記載のシステム。
３８．前記第３の要求はブロックストレージクライアントアプリケーションから仮想ネットワークを介して受信され、
前記仮想ネットワークを通じて送信されるトラフィックは、前記仮想ネットワークに関連付けられるキーを使用して暗号化される、条項３３～３７のいずれか１項に記載のシステム。
３９．前記ホストマネージャアプリケーションはさらなる命令を含み、前記さらなる命令は、実行時に、前記ホストマネージャアプリケーションに、
前記ホストコンピュータシステムの前記１つ以上の物理ストレージデバイスの前記ストレージ容量の少なくとも別の部を、別のプロビジョニングされるストレージデバイスとして第２の仮想マシンにプロビジョニングすることと、
別のブロックストレージサーバーアプリケーションを前記第２の仮想マシンで実行することであって、前記第１の仮想マシンは前記コンピュータシステムの第１の物理コンポーネントを使用して実行され、第２の仮想マシンは前記第１の物理コンポーネントと異なる前記コンピュータシステムの第２の物理コンポーネントを使用して実行される、前記実行することと、
を行わせる、条項３３～３８のいずれか１項に記載のシステム。
４０．前記入出力操作は、データのブロックを前記論理ボリュームのブロックアドレスに書き込むための書き込み操作であり、前記論理ボリュームで前記要求された入出力論理ボリュームを行うことは、前記データのブロックを前記論理ボリュームの前記ブロックアドレスに書き込むことを含み、前記第１の物理コンポーネントは第１のメモリデバイスであり、前記第２の物理コンポーネントは第２のメモリデバイスであり、前記プロバイダネットワークの前記拡張機能は、前記プロバイダネットワークのデータセンターの外側に配置され、前記プロバイダネットワークのカスタマーの構内にある１つ以上の物理コンピューティングデバイスを含む、条項３９に記載のシステム。
４１．コンピュータ実施方法であって、
第１のブロックストレージサーバーインスタンスによって、第１の要求をプロバイダネットワークのブロックストレージサービスから受信することであって、前記第１の要求は、第１のストレージボリュームを作成し、前記第１の論理ボリュームの第１の部を記憶する、前記受信することと、
第２のブロックストレージサーバーインスタンスによって、第２の要求を前記ブロックストレージサービスから受信することであって、前記第２の要求は、第２のストレージボリュームを作成し、前記第１の論理ボリュームの第２の部を記憶する、前記受信することと、
前記第２のブロックストレージサーバーインスタンスが応答しないと決定することと、
第３の要求を第３のブロックストレージサーバーインスタンスに送信して、第３のストレージボリュームを作成し、前記第１の論理ボリュームの前記第２の部を記憶することと、
前記第３のブロックストレージサーバーインスタンスによって、前記第１の論理ボリュームの前記第２の部を前記第３のストレージボリュームに記憶することと、
前記第１の論理ボリュームの一部をホストする各ブロックストレージサーバーインスタンスの識別情報を含むデータストアを更新して、前記第２のブロックストレージサーバーインスタンスの識別情報を除去し、前記第３のブロックストレージサーバーインスタンスの識別情報を追加することと、を含み、
前記第１のブロックストレージサーバーインスタンス、前記第２のブロックストレージサーバーインスタンス、及び前記第３のブロックストレージサーバーインスタンスは、前記プロバイダネットワークの拡張機能の１つ以上のコンピュータシステムによってホストされ、前記プロバイダネットワークの前記拡張機能は少なくともサードパーティネットワークを介して前記プロバイダネットワークと通信する、前記コンピュータ実施方法。
４２．ブロックストレージクライアントによって、前記第１の論理ボリュームの一部をホストしている各ブロックストレージサーバーインスタンスの前記識別情報を前記データストアから受信することと、
前記ブロックストレージクライアントによって、前記識別情報に含まれる少なくとも１つのブロックストレージサーバーインスタンスへの接続を確立することと、
前記ブロックストレージクライアントによって、第１のブロックストレージ操作を別のインスタンスから受信することであって、前記第１のブロックストレージ操作はデータのブロックを仮想ブロックストレージデバイスのブロックアドレスに書き込む、前記受信することと、
前記ブロックストレージクライアントによって、前記接続を介して前記少なくとも１つのブロックストレージサーバーインスタンスにメッセージを送信して、前記少なくとも１つのブロックストレージサーバーインスタンスに、前記データのブロックを前記第１のストレージボリュームの前記ブロックアドレスに書き込ませることと、
をさらに含む、条項４１に記載のコンピュータ実装方法。
４３．前記第１のブロックストレージサーバーインスタンス及び前記第２のブロックストレージサーバーインスタンスの応答をポーリングすることをさらに含む、条項４１～４２のいずれか１項に記載のコンピュータ実施方法。
４４．コンピュータ実施方法であって、
第１のブロックストレージサーバーインスタンスによって、第１の要求を受信して、第１のストレージボリュームを作成し、第１の論理ボリュームの第１の部を記憶することと、
第２のブロックストレージサーバーインスタンスによって、第２の要求を受信して、第２のストレージボリュームを作成し、前記第１の論理ボリュームの第２の部を記憶することと、
第３の要求を第３のブロックストレージサーバーインスタンスに送信して、第３のストレージボリュームを作成し、前記第１の論理ボリュームの前記第２の部を記憶することと、
前記第３のブロックストレージサーバーインスタンスによって、前記第１の論理ボリュームの前記第２の部を前記第３のストレージボリュームに記憶することと、
前記第１の論理ボリュームの一部をホストする各ブロックストレージサーバーインスタンスの識別情報を含むデータストアを更新して、前記第２のブロックストレージサーバーインスタンスの識別情報を除去し、前記第３のブロックストレージサーバーインスタンスの識別情報を追加することと、
を含む、前記コンピュータ実施方法。
４５．ブロックストレージクライアントによって、前記第１の論理ボリュームの一部をホストしている各ブロックストレージサーバーインスタンスの前記識別情報を前記データストアから受信することと、
前記ブロックストレージクライアントによって、前記識別情報に含まれる少なくとも１つのブロックストレージサーバーインスタンスへの接続を確立することと、
前記ブロックストレージクライアントによって、第１のブロックストレージ操作を別のインスタンスから受信することであって、前記第１のブロックストレージ操作はデータのブロックを仮想ブロックストレージデバイスのブロックアドレスに書き込む、前記受信することと、
前記ブロックストレージクライアントによって、前記接続を介して前記少なくとも１つのブロックストレージサーバーインスタンスにメッセージを送信して、前記少なくとも１つのブロックストレージサーバーインスタンスに、前記データのブロックを前記第１のストレージボリュームの前記ブロックアドレスに書き込ませることと、
をさらに含む、条項４４に記載のコンピュータ実装方法。
４６．前記データストアは、コンセンサスプロトコルを独立して実行して前記識別情報を更新する複数のノードを含む分散データストアである、条項４５に記載のコンピュータ実施方法。
４７．前記ブロックストレージクライアントによって、サービスから前記複数のノードの各ノードの識別情報を取得することをさらに含む、条項４６に記載のコンピュータ実施方法。
４８．前記複数のノードのうちの１つのノードは、前記第１のブロックストレージサーバーインスタンスによってホストされるコンテナ内で実行される、条項４６に記載のコンピュータ実施方法。
４９．前記ブロックストレージクライアントによって、前記複数のノードのうちのいずれかのノードの識別情報に関する要求を複数のブロックストレージサーバーインスタンスにブロードキャストすることをさらに含む、条項４８に記載のコンピュータ実施方法。
５０．前記第１のブロックストレージサーバーインスタンス及び前記第２のブロックストレージサーバーインスタンスの応答をポーリングすることをさらに含み、前記第３の要求は、前記第２のブロックストレージサーバーインスタンスが応答しないとの決定に応答して送信される、条項４４～４９のいずれか１項に記載のコンピュータ実施方法。
５１．前記第１のストレージボリュームは複数のブロックストレージサーバーインスタンスにわたってストライピングされ、前記複数のブロックストレージサーバーインスタンスのそれぞれは前記識別情報に含まれる、条項４４～５０のいずれか１項に記載のコンピュータ実施方法。
５２．前記第１のブロックストレージサーバーインスタンス、前記第２のブロックストレージサーバーインスタンス、及び前記第３のブロックストレージサーバーインスタンスは、プロバイダネットワークの拡張機能の１つ以上のコンピュータシステムによってホストされ、前記第１の要求及び前記第２の要求は前記プロバイダネットワークのブロックストレージサービスから送信され、前記プロバイダネットワークの前記拡張機能は、少なくともサードパーティネットワークを介して前記プロバイダネットワークと通信する、条項４４～５１のいずれか１項に記載のコンピュータ実装方法。
５３．プロバイダネットワークの拡張機能の１つ以上のコンピューティングデバイスであって、前記プロバイダネットワークの前記拡張機能は、少なくともサードパーティネットワークを介して前記プロバイダネットワークと通信することであり、前記１つ以上のコンピューティングデバイスは命令を含み、前記命令は、１つ以上のプロセッサにおける実行時に、前記１つ以上のコンピューティングデバイスに、
第１のブロックストレージサーバーインスタンスによって、第１の要求を受信して、第１のストレージボリュームを作成し、第１の論理ボリュームの第１の部を記憶することと、
第２のブロックストレージサーバーインスタンスによって、第２の要求を受信して、第２のストレージボリュームを作成し、前記第１の論理ボリュームの第２の部を記憶することと、
第３の要求を第３のブロックストレージサーバーインスタンスに送信して、第３のストレージボリュームを作成し、前記第１の論理ボリュームの前記第２の部を記憶することと、
前記第３のブロックストレージサーバーインスタンスによって、前記第１の論理ボリュームの前記第２の部を前記第３のストレージボリュームに記憶することと、
前記第１の論理ボリュームの一部をホストする各ブロックストレージサーバーインスタンスの識別情報を含むデータストアを更新して、前記第２のブロックストレージサーバーインスタンスの識別情報を除去し、前記第３のブロックストレージサーバーインスタンスの識別情報を追加することと、
を含む、システム。
５４．前記１つ以上のコンピューティングデバイスはさらなる命令を含み、前記さらなる命令は、前記１つ以上のプロセッサにおける実行時に、前記１つ以上のコンピューティングデバイスに、
ブロックストレージクライアントによって、前記第１の論理ボリュームの一部をホストしている各ブロックストレージサーバーインスタンスの前記識別情報を前記データストアから受信することと、
前記ブロックストレージクライアントによって、前記識別情報に含まれる少なくとも１つのブロックストレージサーバーインスタンスへの接続を確立することと、
前記ブロックストレージクライアントによって、第１のブロックストレージ操作を別のインスタンスから受信することであって、前記第１のブロックストレージ操作はデータのブロックを仮想ブロックストレージデバイスのブロックアドレスに書き込む、前記受信することと、
前記ブロックストレージクライアントによって、前記接続を介して前記少なくとも１つのブロックストレージサーバーインスタンスにメッセージを送信して、前記少なくとも１つのブロックストレージサーバーインスタンスに、前記データのブロックを前記第１のストレージボリュームの前記ブロックアドレスに書き込ませることと、
を行わせる、条項５３に記載のシステム。
５５．前記データストアは、コンセンサスプロトコルを独立して実行して前記識別情報を更新する複数のノードを含む分散データストアである、条項５４に記載のシステム。
５６．前記１つ以上のコンピューティングデバイスは、前記１つ以上のプロセッサにおける実行時に、前記１つ以上のコンピューティングデバイスに、前記ブロックストレージクライアントによって、前記複数のノードの各ノードの識別情報をサービスから取得させるさらなる命令を含む、条項５５に記載のシステム。
５７．前記複数のノードのうちの１つのノードは、前記第１のブロックストレージサーバーインスタンスによってホストされるコンテナ内で実行される、条項５５に記載のシステム。
５８．前記１つ以上のコンピューティングデバイスは、前記１つ以上のプロセッサにおける実行時に、前記１つ以上のコンピューティングデバイスに、前記ブロックストレージクライアントによって、前記複数のノードのいずれかのノードの識別情報に関する要求を、複数のブロックストレージサーバーインスタンスにブロードキャストさせるさらなる命令を含む、条項５７に記載のシステム。
５９．前記１つ以上のコンピューティングデバイスは、前記１つ以上のプロセッサにおける実行時に、前記１つ以上のコンピューティングデバイスに、前記第１のブロックストレージサーバーインスタンス及び前記第２のブロックストレージサーバーインスタンスの応答をポーリングさせるさらなる命令を含み、前記第３の要求は、前記第２のブロックストレージサーバーインスタンスが応答しないとの決定に応答して送信される、条項５３～５８のいずれか１項に記載のシステム。
６０．前記第１のストレージボリュームは複数のブロックストレージサーバーインスタンスにわたってストライピングされ、前記複数のブロックストレージサーバーインスタンスのそれぞれは前記識別情報に含まれる、条項５３～５９のいずれか１項に記載のシステム。

【0153】

したがって、本明細書及び図面は、限定的な意味ではなく例示的な意味で考えるべきである。しかしながら、特許請求の範囲に記載される本開示のより広範の主旨及び範囲から逸脱することなく、様々な修正及び変更が本明細書になされ得ることは明らかである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【国際調査報告】