特許 7483054 致命的なメモリエラー時におけるターゲットホストへの仮想マシンのライブマイグレート

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-02

(45)【発行日】2024-05-14

(54)【発明の名称】致命的なメモリエラー時におけるターゲットホストへの仮想マシンのライブマイグレート

(51)【国際特許分類】

   G06F 11/07 20060101AFI20240507BHJP

   G06F 9/455 20180101ALI20240507BHJP

   G06F 11/20 20060101ALI20240507BHJP

【ＦＩ】

G06F11/07 193

G06F11/07 140N

G06F11/07 140A

G06F9/455 150

G06F11/20 630

【請求項の数】 21

(21)【出願番号】P 2022570729

(86)(22)【出願日】2021-11-16

(65)【公表番号】

(43)【公表日】2023-08-01

(86)【国際出願番号】 US2021059488

(87)【国際公開番号】W WO2022108914

(87)【国際公開日】2022-05-27

【審査請求日】2023-01-05

(31)【優先権主張番号】16/950,181

(32)【優先日】2020-11-17

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】502208397

【氏名又は名称】グーグル エルエルシー

【氏名又は名称原語表記】Ｇｏｏｇｌｅ ＬＬＣ

【住所又は居所原語表記】１６００ Ａｍｐｈｉｔｈｅａｔｒｅ Ｐａｒｋｗａｙ ９４０４３ Ｍｏｕｎｔａｉｎ Ｖｉｅｗ， ＣＡ Ｕ．Ｓ．Ａ．

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】ワン，ジュエ

(72)【発明者】

【氏名】ジア，チウイー

(72)【発明者】

【氏名】ルプレヒト，アダム

【審査官】福西 章人

(56)【参考文献】

【文献】特開２０１７－０３３１１３（ＪＰ，Ａ）

【文献】特開２０１５－１１８４３６（ＪＰ，Ａ）

【文献】RUPRECHT, Adam et al，VM Live Migration At Scale，VEE '18: Proceedings of the 14th ACM SIGPLAN/SIGOPS International Conference on Virtual Execution，2018年03月25日，pp.45-56，インターネット:<URL:https://dl.acm.org/doi/pdf/10.1145/3186411.3186415>

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ９／４４－９／４５５

１１／０７

１１／２０

１１／２８－１１／３６

(57)【特許請求の範囲】

【請求項1】

クラウドコンピューティング環境における訂正不可能なメモリエラー回復のための方法であって、
仮想マシン管理マネージャにおいて、ソースホストマシンによって検出された訂正不可能なメモリエラーに関連付けられる信号伝達を受取るステップと、
前記訂正不可能なメモリエラーに関連付けられるべきと判断された１つ以上のメモリページを、１つ以上のそれぞれの損なわれたメモリページとして識別するステップと、
前記損なわれたメモリページを送信から除外して、前記ソースホストマシンに関連付けられた損なわれていないメモリページをターゲットホストマシンに送信するステップとを含み、所与の損なわれていないメモリページは、損なわれたメモリページとして識別されないメモリページであり、前記方法はさらに、
前記ソースホストマシンで行なわれた損なわれていないメモリページの修正に関連付けられた更新済みページを前記ターゲットホストマシンに送信するステップを含む、方法。

【請求項2】

前記ソースホストマシン上で１つ以上の実行中の仮想マシンの動作を一時停止させるステップを含み、前記１つ以上の実行中の仮想マシンは、損なわれたメモリページおよび損なわれていないメモリページに関連付けられている、請求項１に記載の方法。

【請求項3】

前記ターゲットホストマシン上における前記１つ以上の実行中の仮想マシンの動作を再開させるステップを含む、請求項２に記載の方法。

【請求項4】

前記訂正不可能なメモリエラーに関連付けられた情報をバウンスバッファから読取るステップを含む、請求項１～３のいずれか１項に記載の方法。

【請求項5】

前記損なわれていないメモリページのみについて前記ターゲットホストマシンにおいてチェックサムを実行するステップを含む、請求項１～４のいずれか１項に記載の方法。

【請求項6】

前記損なわれていないメモリページについてのビットマップを更新し、前記更新されたビットマップをコピーして前記更新済みページを生成するステップを含む、請求項１～５のいずれか１項に記載の方法。

【請求項7】

前記送信するステップは、前記ソースホストマシンにおける１つ以上のＶＭの動作が一時停止されている間、前記更新済みページを送信するステップを含む。請求項６に記載の方法。

【請求項8】

前記損なわれたメモリページのそれぞれに関連付けられた情報を前記ターゲットホストマシンに転送するステップを含む、請求項１～７のいずれか１項に記載の方法。

【請求項9】

前記転送するステップは、前記ソースホストマシンにおける１つ以上の実行中の仮想マシンの動作を一時停止させる前に、前記損なわれたメモリページのそれぞれに関連付けられた情報を送信するステップを含む、請求項８に記載の方法。

【請求項10】

前記ターゲットホストマシンにおけるチェックサム計算から損なわれたページを除外するステップを含む、請求項１～９のいずれか１項に記載の方法。

【請求項11】

前記損なわれていないメモリページおよび前記更新済みページに基づいて、前記ソースホストマシン上の１つ以上の実行中の仮想マシンを前記ターゲットホストマシン上の１つ以上の仮想マシンにマイグレートするステップを含む、請求項１～１０のいずれか１項に記載の方法。

【請求項12】

クラウドコンピューティングシステムであって、
１つ以上の仮想マシンをサポートすることができるターゲットホストマシンと、
１つ以上の仮想マシンをサポートすることができるソースホストマシンと、
命令を含むメモリに結合された１つ以上の処理デバイスとを含み、前記命令は、前記１つ以上の処理デバイスに、
ソースホストマシンによって検出された訂正不可能なメモリエラーに関連付けられた信号伝達を受取らせ、
前記訂正不可能なメモリエラーに関連付けられるべきと判断された１つ以上のメモリページを、１つ以上のそれぞれの損なわれたメモリページとして識別させ、
前記損なわれたメモリページを送信から除外して、前記ソースホストマシンに関連付けられた損なわれていないメモリページを前記ターゲットホストマシンに送信させ、所与の損なわれていないメモリページは、損なわれたメモリページとして識別されないメモリページであり、さらに、
前記ソースホストマシンで行なわれた損なわれていないメモリページの修正に関連付けられた更新済みページを前記ターゲットホストマシンに送信させる、クラウドコンピューティングシステム。

【請求項13】

前記命令は、前記１つ以上の処理デバイスに、前記ソースホストマシン上における１つ以上の実行中の仮想マシンの動作を一時停止させ、前記１つ以上の実行中の仮想マシンは、損なわれたメモリページおよび損なわれていないメモリページに関連付けられている、請求項１２に記載のクラウドコンピューティングシステム。

【請求項14】

前記命令は、前記１つ以上の処理デバイスに、前記ターゲットホストマシン上における前記１つ以上の実行中の仮想マシンに関連付けられた動作を再開させる、請求項１３に記載のクラウドコンピューティングシステム。

【請求項15】

前記命令は、前記１つ以上の処理デバイスに、前記訂正不可能なメモリエラーに関連付けられた情報をバウンスバッファから読取らせる、請求項１２～１４いずれか１項に記載のクラウドコンピューティングシステム。

【請求項16】

前記命令は、前記１つ以上の処理デバイスに、前記損なわれていないメモリページのみについて前記ターゲットホストマシンにおいてチェックサムを実行させる、請求項１２～１５のいずれか１項に記載のクラウドコンピューティングシステム。

【請求項17】

前記命令はさらに、前記１つ以上の処理デバイスに、前記損なわれていないメモリページについてのビットマップを更新させ、前記更新されたビットマップをコピーして前記更新済みページを生成させる、請求項１２～１６のいずれか１項に記載のクラウドコンピューティングシステム。

【請求項18】

前記命令はさらに、前記１つ以上の処理デバイスに、前記ソースホストマシンにおける１つ以上のＶＭの動作が一時停止されている間、前記更新済みページを送信させる、請求項１２～１７のいずれか１項に記載のクラウドコンピューティングシステム。

【請求項19】

前記命令はさらに、前記１つ以上の処理デバイスに、前記損なわれたメモリページに関連付けられた情報を前記ターゲットホストマシンに転送させる、請求項１２～１８のいずれか１項に記載のクラウドコンピューティングシステム。

【請求項20】

前記命令はさらに、前記１つ以上の処理デバイスに、前記ソースホストマシンにおける前記仮想マシンの動作を一時停止させる前に前記損なわれたメモリページに関連付けられた情報を送信させる、請求項１９に記載のクラウドコンピューティングシステム。

【請求項21】

前記命令はさらに、前記１つ以上の処理デバイスに、前記ターゲットホストマシンにおけるチェックサム計算から損なわれたページを除外させる、請求項１２～２０のいずれか１項に記載のクラウドコンピューティングシステム。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本願は、２０２０年１１月１７日に提出された米国特許出願第１６／９５０，１８１号の継続出願であり、その開示が引用により本明細書に援用されている。

【背景技術】

【0002】

背景
クラウドコンピューティングは、企業がコンピューティングのニーズを管理する方法に影響を与えてきた。これは信頼性、柔軟性、スケーラビリティ、および冗長性をコスト効率良く提供するものである。これにより、企業が、たとえば、従来の資本投資および保守整備を考慮することなくその情報技術のニーズを管理することが可能となる。ますます多くのコンピューティングがクラウドシステムに移行してきているので、これらのシステムは、現在では、数年前にはおそらく想像できなかったであろう規模でデータを記憶、処理および出力している。このような移行の影響として、クラウド内で発生するメモリエラーが、封じ込められない場合および／またはクラウドから回復されない場合、クラウド上の企業の事業区域に対応する規模で顧客またはユーザの体験に影響を及ぼす恐れがあることが挙げられる。たとえば、ホスト上において訂正不可能なメモリエラーが検出されると当該ホストがシャットダウンし、結果として、ホストされたすべての仮想マシン（virtual machine：ＶＭ）が突然終了してしまうことは珍しいことではない。この場合、メモリサイズがギガバイトまたはテラバイトの規模であれば、再構築するのに長い時間を必要とする数千ものＶＭまたはアプリケーションに影響が及ぶ可能性がある。

【0003】

物理メモリがメモリ障害、たとえば「訂正不可能なエラー」を被ると、通常、未だ検出されていない他のメモリエラーが存在することとなり、そのメモリが「永続的に」破損してしまう可能性がある。このような場合、ＶＭの動作状態を維持したままでＶＭをマイグレートすることにより、メモリエラー伝搬の回数および重大度を封じ込めつつダウンタイムを減らすことができる。

【発明の概要】

【0004】

概要
開示される技術のいくつかの局面は、検出、封じ込め（たとえば、破損したデータがマイグレーション時にターゲットホストに伝搬することを防止すること）、および、訂正不可能なメモリエラーからの回復を可能にする、クラウドコンピューティング環境において実現される方法またはシステムを含み得る。

【0005】

たとえば、開示される技術の一局面は、クラウドコンピューティング環境における訂正不可能なメモリエラー回復のための方法を含み得る。当該方法は、仮想マシン管理マネージャにおいて、ソースホストマシンによって検出された訂正不可能なメモリエラーに関連付けられる信号伝達を受取るステップと、当該訂正不可能なメモリエラーに関連付けられるべきと判断された１つ以上のメモリページを、１つ以上のそれぞれの損なわれたメモリページとして識別するステップと、当該ソースホストマシンに関連付けられた損なわれていないメモリページをターゲットホストマシンに送信するステップとを含み得る。所与の損なわれていないメモリページは、損なわれたメモリページとして識別されないメモリページである。当該方法はまた、当該ソースで行なわれた損なわれていないメモリページの修正に関連付けられた更新済みページを当該ターゲットホストマシンに送信するステップを含み得る。

【0006】

当該方法の他の局面は、当該ソースホストマシン上で１つ以上の実行中の仮想マシンの動作を一時停止させるステップを含み得る。当該１つ以上の実行中の仮想マシンは、損なわれたメモリページおよび損なわれていないメモリページに関連付けられている。さらに別の局面は、当該ターゲットホストマシン上における当該１つ以上の実行中の仮想マシンの動作を再開させるステップを含み得る。当該方法はさらに、当該訂正不可能なメモリエラーに関連付けられた情報をバウンスバッファから読取るステップを含み得る。さらに、当該方法に従うと、当該送信するステップは、当該ソースマシンにおける１つ以上のＶＭの動作が一時停止されている間、当該更新済みページを送信するステップを含み得る。当該方法はまた、当該損なわれていないメモリページのみについて当該ターゲットホストマシンにおいてチェックサムを実行するか、または、当該損なわれていないメモリページについてのビットマップを更新し、当該更新されたビットマップをコピーして当該更新済みページを生成するステップを含み得る。加えて、当該送信するステップは、当該ソースホストマシンにおける１つ以上のＶＭの動作が一時停止されている間、当該更新済みページを送信するステップを含み得る。当該方法はまた、当該損なわれたメモリページに関連付けられた情報を当該ターゲットホストに転送するステップを含み得る。当該転送するステップは、当該ソースホストにおける当該仮想マシンの動作を一時停止させる前に、当該損なわれたメモリページを送信するステップを含み得る。当該転送するステップは、当該ソースホストマシンにおける１つ以上の実行中の仮想マシンの動作を一時停止させる前に、当該損なわれたメモリページのそれぞれを送信するステップを含み得る。

【0007】

当該方法はまた、当該ターゲットにおけるチェックサム計算から損なわれたページを除外するステップを含み得る。さらに、当該方法は、当該損なわれていないメモリページおよび当該更新済みページに基づいて、当該ソースホストマシン上の１つ以上の実行中の仮想マシンを当該ソースマシン上の１つ以上の仮想マシンにマイグレートするステップを含み得る。

【0008】

開示される技術の別の局面は、クラウドコンピューティングシステムを含み得る。当該システムは、１つ以上の仮想マシンをサポートすることができるターゲットホストマシンと、１つ以上の仮想マシンをサポートすることができるソースホストマシンと、命令を含むメモリに結合された１つ以上の処理デバイスとを含み得る。当該命令は、当該１つ以上の処理デバイスに、ソースホストマシンによって検出された訂正不可能なメモリエラーに関連付けられた信号伝達を受取らせ、当該訂正不可能なメモリエラーに関連付けられるべきと判断された１つ以上のメモリページを、１つ以上のそれぞれの損なわれたメモリページとして識別させ、当該ソースホストマシンに関連付けられた損なわれていないメモリページをターゲットホストマシンに送信させ、所与の損なわれていないメモリページは、損なわれたメモリページとして識別されないメモリページであり、さらに、当該ソースで行なわれた損なわれていないメモリページの修正に関連付けられた更新済みページを当該ターゲットホストマシンに送信させ得る。

【0009】

当該命令はまた、当該１つ以上の処理デバイスに、当該ソースホストマシン上における１つ以上の実行中の仮想マシンの動作を一時停止させ得る。当該１つ以上の仮想マシンは、損なわれたメモリページおよび損なわれていないメモリページに関連付けられている。当該命令はまた、当該１つ以上の処理デバイスに、当該ターゲットホストマシン上における当該１つ以上の実行中の仮想マシンの動作を再開させ得る。さらに、当該命令は、当該１つ以上の処理デバイスに、当該訂正不可能なメモリエラーに関連付けられた情報をバウンスバッファから読取らせ得るか、または、当該損なわれていないメモリページのみについて当該ターゲットホストにおいてチェックサムを実行させ得る。当該命令はさらに、当該１つ以上の処理デバイスに、当該訂正不可能なメモリエラーに関連付けられた情報をバウンスバッファから読取らせ得る。当該命令はまた、当該１つ以上の処理デバイスに、当該損なわれていないメモリページについてのビットマップを更新させ、当該更新されたビットマップをコピーして当該更新済みページを生成させ得る。さらに、当該命令は、当該１つ以上の処理デバイスに、当該ソースマシンにおける１つ以上のＶＭの動作が一時停止されている間、当該更新済みページを送信させ得る。

【0010】

開示される技術のこの局面に従うと、当該システムはさらに、当該１つ以上の処理デバイスに、当該損なわれたページに関連付けられた情報を当該ターゲットホストに転送させる命令を含み得る。当該命令はまた、当該１つ以上の処理デバイスに、当該ソースホストにおける当該仮想マシンの動作を一時停止させる前に当該損なわれたメモリページを送信させ得る。当該命令はさらに、当該１つ以上の処理デバイスに、当該ターゲットにおけるチェックサム計算から損なわれたページを除外させ得る。

【0011】

開示される技術の付加的な局面は、クラウドコンピューティング環境において訂正不可能なメモリエラー回復のためのプロセスまたは方法を１つ以上の処理デバイスに実行させる命令が格納された１つ以上の非一時的なコンピュータ可読媒体を含み得る。当該プロセスまたは方法は、仮想マシン管理マネージャにおいて、ソースホストマシンによって検出された訂正不可能なメモリエラーに関連付けられる信号伝達を受取るステップと、当該訂正不可能なメモリエラーに関連付けられるべきと判断された１つ以上のメモリページを、１つ以上のそれぞれの損なわれたメモリページとして識別するステップと、当該ソースホストマシンに関連付けられた損なわれていないメモリページをターゲットホストマシンに送信するステップとを含み得る。所与の損なわれていないメモリページは、損なわれたメモリページとして識別されないメモリページである。当該方法またはプロセスはまた、当該ソースで行なわれた損なわれていないメモリページの修正に関連付けられた更新済みページを当該ターゲットホストに送信するステップを含み得る。当該命令は、開示される技術のうちの１つ以上の他の方法またはプロセスステップを含み得る。

【図面の簡単な説明】

【0012】

【図1】開示される技術のいくつかの局面に従った例示的なシステムまたは環境を例示的に示すブロック図である。

【図2】開示される技術のいくつかの局面に従った例示的なシステムまたは環境を例示的に示すブロック図である。

【図3A】開示される技術のいくつかの局面に従った例示的なプロセスまたは方法を例示的に示すフローまたはスイムダイアグラム（swim diagram）である。

【図3B】開示される技術のいくつかの局面に従った例示的なプロセスまたは方法を例示的に示すフローまたはスイムダイアグラムである。

【図4】開示される技術のいくつかの局面に従った例示的なプロセスまたは方法を示すフローである。

【図5A】開示される技術のいくつかの局面に従った、例示的なプロセスまたは方法、および下位のプロセスまたは下位の方法についてのいくつかの局面を示す図である。

【図5B】開示される技術のいくつかの局面に従った、例示的なプロセスまたは方法、および下位のプロセスまたは下位の方法についてのいくつかの局面を示す図である。

【図5C】開示される技術のいくつかの局面に従った、例示的なプロセスまたは方法、および下位のプロセスまたは下位の方法についてのいくつかの局面を示す図である。

【図5D】開示される技術のいくつかの局面に従った、例示的なプロセスまたは方法、および下位のプロセスまたは下位の方法についてのいくつかの局面を示す図である。

【発明を実施するための形態】

【0013】

詳細な説明
概略
メモリエラーは、一般に、訂正可能なものおよび訂正不可能ものとして分類される。訂正可能なエラーは、典型的には、クラウド環境におけるホストマシン、したがってホストコンピューティングシステムの正常動作に影響を及ぼすものではない。訂正不可能なエラーは、典型的には、ホストコンピューティングシステム全体にとって致命的であり、たとえば、ホストマシンのクラッシュまたはシャットダウンを引起こす。クラウドベースの仮想マシン環境では、これは、ホストマシンによってサポートされるすべての仮想マシン（ＶＭ）がホストとともにクラッシュするかまたはシャットダウンすると、ＶＭ／ユーザにとって回復のための手がかりが全くなくなってしまうかまたは回復のための機会がほとんどなくなってしまうことを意味する。現代のクラウドコンピューティングシステムにおける訂正不可能なメモリエラーの影響は、通常、重大なものとなる。なぜなら、これらのシステムは多くの場合、ホストごとに比較的大きいサイズのメモリを採用しているからである。たとえば、クラウドコンピューティングエンジンは、１２テラバイトものメモリで単一のＶＭを使用可能にし得る。これらのより大型のホストが被る訂正不可能なメモリエラーの割合は、典型的には、より小型のホストよりも高くなる。たとえば、メモリが多ければ多いほど、より多くのメモリエラーに変換される。メモリエラーによるダウンタイムには一般に多大な費用がかかる。

【0014】

訂正不可能なエラーが存在する場合、ＶＭの予想される挙動の管理がさらに複雑になる可能性がある。なぜなら、これらの訂正不可能なエラーは、多くの場合、基礎をなす物理メモリのさらなる破損を表わすものであり、隠れたエラーまたはまだ認識されていないエラーを付加的に包含している可能性があるからである。さらに、訂正可能なエラーであっても、時間の経過とともに劣化する可能性のある基礎ハードウェアが存在しているために訂正不可能となる可能性がある。チェックされない状態で訂正不可能なエラーの数が増加し続けると、１つ以上のＶＭを実行する物理ホストの重大なクラッシュが発生し、これに対応して当該ホスト上ですべてのＶＭがクラッシュする可能性が高くなる。したがって、破損したハードウェア上で動作している仮想マシンを、「優良」であることが分かっているマシンにマイグレートすることにより、検出された訂正不可能なエラーの影響と、このようなエラーの下流での影響とを軽減することができる。しかしながら、「実行中」のマシンのマイグレーション中に、マイグレーションプロセスの開始中に考慮されなかった追加のメモリエラーが発生し得ることも含め、追加の要因が考慮されなければならない。

【0015】

開示される技術のいくつかの局面は、１つの物理ホストから別の物理ホストへの、実行中のＶＭの「ライブ」マイグレーションを含む。いくつかの例では、マイグレーションは、メモリページを重要度の順でマイグレートするステップを含む一連のステップで行なうことができる。いくつかの例では、メモリのうち最も関連する部分または最も重要な部分をマイグレートすることができる。いくつかの例では、メモリエラーのエミュレーションを実行して、「損なわれている」と判断される特定のメモリセクションまたはメモリページを除外することができる。損なわれたメモリページは、たとえば、ホスト上の破損したメモリ要素に対応する仮想メモリ位置、たとえば、フリップビットまたは破損メモリコンポーネントを備えた物理メモリ位置を有するメモリページを含んでもよい。開示される技術のいくつかの局面は、ライブマイグレーションイベント後にエンドユーザに対して一貫したビューを与えること可能にするために、特定のタイプのメモリエラー（それらのエラーのマイグレーションを含めて）を保存することを可能にする。加えて、たとえばハイパーバイザ抽象化レベルでの仮想環境におけるメモリエラーの検出、識別、および処理を用いて、たとえば、損なわれたページを追跡および隔離するなどしてライブマイグレーションを改善することにより、当該損なわれたページがコピーされて自然なライブマイグレーションプロセスの一部としてターゲットホストに転送されてしまうことのないようにし得る。他の局面は、ターゲットホストにおける計算、たとえばチェックサム計算が損なわれたページまたは破損したメモリ位置を含まないように、当該損なわれたページまたは破損したメモリ位置をターゲットホストに通知することを含み得る。

【0016】

開示される技術のいくつかの局面は１つ以上のＶＭのマイグレーションを含む。いくつかの例では、ＶＭは、特定の仮想マシンに関連付けられた重要性、現在の使用状態、または重大なエラーの数に基づいた順序でマイグレートされ得る。いくつかの例では、１つ以上の訂正不可能なメモリエラーを含む１つの特定のホスト上で実行されているすべてのＶＭは、１つ以上の訂正不可能なメモリエラーが検出されると、健全な物理ホストにマイグレートされ得る。

【0017】

開示される技術のいくつかの局面は、基礎をなす特定のマイクロアーキテクチャプラットフォームから抽象化されるとともに包括的であるアーキテクチャを含んでおり、複数のホストプラットフォームまたはアーキテクチャにわたる仮想マシンの「全般的な」抽象化を可能にする。

【0018】

開示される技術のいくつかの局面は、１つのホストから別のホストへのＶＭのマイグレーションによって、仮想マシン環境のデータ完全性、安定性、スケーラビリティ、およびロバスト性を保持するために、特定のタイプのメモリエラーを封じ込めることを可能にする。

【0019】

開示される技術の一局面は、ホストおよびその関連するＶＭが、訂正不可能なメモリエラーを含むメモリエラーから復帰および／または回復すること、ならびに、ゲストＶＭワークロードなどのシステムの他の部分に影響を及ぼさないようにメモリエラーの位置を突き止めて当該メモリエラーを封じ込めること、を可能にするクラウドコンピューティングインフラストラクチャを含む。たとえば、開示される技術は、オペレーティングシステム（operating system：ＯＳ）において回復可能なエラー信号伝達を可能にするように（関連するメモリ要素を含む）ホストマシンＢＩＯＳを構成するとともに、メモリページ上のメモリエラーの検出時にＯＳの回復経路を強化および可能化することを含む。開示される技術の一例は、メモリエラー（たとえば、アドレス、重大度、エラーが回復可能となるように別個に信号伝達されるかどうか、など）に関連付けられたコンテキスト情報をオペレーティングシステム（ＯＳ）に信号伝達することができる中央処理装置（central processing unit：ＣＰＵ）の能力を含む。このようなメカニズムは、たとえば、ＣＰＵがハードウェアエラーをＯＳに報告するようなIntelのｘ８６マシンチェックアーキテクチャを含んでもよい。たとえばＬｉｎｕｘ（登録商標）を介して提供されるようなＯＳのカーネル内のマシンチェック例外（machine check exception：ＭＣＥ）ハンドラは、さらに、ＰＯＳＩＸなどのアプリケーションプログラミングインターフェイス（application programming interface：ＡＰＩ）を用いて、エラーの存在に関して仮想マシンマネージャに信号で伝え得るとともに、エラーに関するコンテキスト情報（たとえば、位置、エラータイプ、回復不可能であるか否か、隣接するメモリ位置に関するステータスなど）を提供し得る。次いで、仮想マシンマネージャは、ライブマイグレーションプロセスの開始の一部としてエラー情報を取込み得る。

【0020】

たとえば、開示される技術の一局面は、メモリエラー、特に訂正不可能なメモリエラーについてホストマシンによる警告を受けるための能力を仮想マシンマネージャまたはハイパーバイザが含むようなメカニズムが設けられているクラウドコンピューティングシステムまたはアーキテクチャを含む。ハイパーバイザは、警告を受けると、ホストマシンから受信するメモリエラー情報を処理して、当該警告に含まれるメモリエラー情報から識別可能な破損したメモリ要素にアクセスしている可能性があるＶＭを決定する。ハイパーバイザは、影響を受けたＶＭを識別すると、ホストマシンが最終的に修復され得るように、影響を受けたホストマシン上で実行されるＶＭをフェイルオーバーするためのプロセスを開始し得る。

【0021】

理解され得るように、前述のメカニズムに従って実現されるクラウドコンピューティングシステムまたはアーキテクチャは、訂正不可能なメモリエラーからの適切な回復を含むとともに可能にすることができる。具体的には、ハイパーバイザは、影響を及ぼすメモリを識別することにより、このようなメモリの使用（たとえば、読取またはアクセス）を将来的に制限または排除することができる。加えて、ハイパーバイザは、影響を受けたＶＭのみにその影響を制限することができる。加えて、ハイパーバイザは、影響を受けたＶＭのフェイルオーバーを適切に開始し、次いで、破損したホストによってサポートされる影響を受けていないＶＭを別のホストに移動させることを管理して、破損したホストの修復を可能にし得る。このようにして、顧客またはユーザが訂正不可能なメモリエラーから影響を受ける対象が、破損した物理メモリ要素またはアドレスにリンクされている仮想メモリを有する影響を受けたＶＭのみに制限され得るが、関連していないＶＭはエラーを認識しないままであり、当該エラーから影響を受けない。

【0022】

例示的なシステム
図１は、本開示のいくつかの局面に従った例示的なシステム１００である。システム１００は１つ以上のコンピューティングデバイス１１０を含む。１つ以上のコンピューティングデバイス１１０は、コンピューティングデバイス１１０_１～１１０_ｋと、ネットワーク１４０と、クラウドコンピューティングシステム１５０_１～１５０_ｍを備え得る１つ以上のクラウドコンピューティングシステム１５０とを含む。コンピューティングデバイス１１０は、サービスとしてのインフラストラクチャ（Infrastructure as a Service：ｌａａＳ）、サービスとしてのプラットフォーム（Platform as a Service：ＰａａＳ）、および／またはサービスとしてのソフトウェア（Software as a Service：ＳａａＳ）などのクラウドコンピューティングサービスを利用するとともに顧客位置に配置されているコンピューティングデバイスを含み得る。たとえば、コンピューティングデバイス１１０がビジネス企業に配置されている場合、コンピューティングデバイス１１０は、企業システムを稼働させる際に用いられるコンピューティングデバイス１１０にソフトウェアアプリケーション（たとえば、会計、ワードプロセッシング、在庫追跡などのアプリケーション）を提供するサービスとしてクラウドシステム１５０を用いてもよい。代替例として、コンピューティングデバイス１１０は、企業の運営をサポートするために、ソフトウェアアプリケーションが実行される仮想マシンの形態のインフラストラクチャをリースしてもよい。

【0023】

図１に示されるように、コンピューティングデバイス１１０の各々は、１つ以上のプロセッサ１１２と、データ（Ｄ）および命令（Ｉ）を格納するメモリ１１６と、ディスプレイ１２０と、通信インターフェイス１２４と、入力システム１２８とを含んでもよく、これらは、ネットワーク１３０を介して相互接続されるものとして示されている。コンピューティングデバイス１１０はまた、顧客の動作の一部として蓄積されたデータを格納するローカルストレージまたはリモートストレージを、たとえばストレージエリアネットワーク（Storage Area Network：ＳＡＮ）上に備え得るストレージ１３６に結合または接続され得る。コンピューティングデバイス１１０は、独立型コンピュータ（たとえば、デスクトップもしくはラップトップ）、または顧客に関連付けられたサーバを備え得る。所与の顧客はまた、そのビジネスの一部として、複数のコンピューティングデバイスをサーバとして実装してもよい。独立型コンピュータの場合、ネットワーク１３０は、コンピュータの内部にデータバスなどを含み得るとともに、サーバの場合、ネットワーク１３０は、ローカルエリアネットワーク、仮想プライベートネットワーク、ワイドエリアネットワーク、または、ネットワーク１４０に関して以下で説明する他のタイプのネットワークのうちの１つ以上を含み得る。メモリ１１６は、１つ以上のプロセッサ１１２によって実行または使用され得る命令１３２およびデータ１３４を含むとともに当該１つ以上のプロセッサ１１２によってアクセス可能な情報を格納する。メモリ１１６は、プロセッサによってアクセス可能な情報を格納することができるものであれば如何なるタイプであってもよく、コンピューティングデバイス可読媒体、または、たとえば、ハードドライブ、メモリカード、ＲＯＭ、ＲＡＭ、ＤＶＤもしくは他の光ディスク、ならびに他の書込み可能メモリおよび読取り専用メモリなどの電子デバイスの助けを借りて読取り可能なデータを格納する他の媒体を含み得る。システムおよび方法は、上述したもののさまざまな組合わせを含んでもよく、これにより、命令およびデータのうちさまざまな部分がさまざまなタイプの媒体に格納される。

【0024】

命令１３２は、プロセッサによって直接的に（機械コードなど）または間接的に（スクリプトなど）実行されるべき命令の任意のセットであり得る。たとえば、当該命令は、コンピューティングデバイスコードとしてコンピューティングデバイス可読媒体に格納されてもよい。これに関して、「命令」および「プログラム」という語は、本明細書では同義で使用され得る。当該命令は、プロセッサによる直接処理のためのオブジェクトコードフォーマットで格納され得るか、または、オンデマンドで翻訳されるかもしくは事前にコンパイルされる独立したソースコードモジュールのスクリプトもしくは集合を含む他の任意のコンピューティングデバイス言語で格納され得る。命令のプロセス、機能、方法、およびルーチンについては以下でより詳細に説明する。

【0025】

データ１３４は、命令１３２に従ってプロセッサ１１２によって取出、格納、または修正され得る。一例として、メモリ１１６に関連付けられたデータ１３４は、１つ以上のクライアントデバイス、アプリケーションなどのためのサービスをサポートする際に用いられるデータを含み得る。このようなデータは、ウェブベースのアプリケーションのホスティング、ファイル共有サービス、通信サービス、ゲーム、ビデオファイルもしくはオーディオファイルの共有、または他の任意のネットワークベースのサービスをサポートするためのデータを含み得る。

【0026】

１つ以上のプロセッサ１１２は、市販のＣＰＵなどの任意の従来のプロセッサであってもよい。代替的には、１つ以上のプロセッサは、ＡＳＩＣまたは他のハードウェアベースのプロセッサなどの専用デバイスであってもよい。図１は、コンピューティングデバイス１１０のプロセッサ、メモリ、および他の要素を単一ブロック内にあるものとして機能的に示しているが、プロセッサ、コンピューティングデバイス、またはメモリが、実際には、同じ物理的筐体内に配置または格納されてもされなくてもよい複数のプロセッサ、コンピューティングデバイス、またはメモリを含み得ることが当業者には理解されるだろう。一例では、１つ以上のコンピューティングデバイス１１０は、顧客のビジネス運営の一部として他のコンピューティングデバイスとの間でデータを受信、処理、および送信する目的で、ネットワークのさまざまなノードと情報を交換する複数のコンピューティングデバイス、たとえば負荷分散型サーバファーム、を有する１つ以上のサーバコンピューティングデバイスを含み得る。

【0027】

コンピューティングデバイス１１０はまた、コンピューティングデバイス１１０を制御することと、ユーザ空間アプリケーションおよび／または１つ以上のクラウドシステム１５０において、たとえば、あるクラウドシステム１５０内のホスト上でサポートされるデータ関連のＶＭにアクセスすることとを可能にするユーザインターフェイスを備えたディスプレイ１２０（たとえば、画面を有するモニタ、タッチスクリーン、プロジェクタ、テレビ、または情報を表示するように動作可能な他のデバイス）を含んでもよい。このような制御は、たとえば、コンピューティングデバイスを用いて、データを処理のために入力システム１２８を通じてクラウドシステム１５０にアップロードさせること、ストレージ１３６にデータを蓄積させること、または、より一般的には、顧客のコンピューティングシステムのさまざまな局面を管理することを含み得る。いくつかの例では、コンピューティングデバイス１１０はまた、ｌａａＳまたはＳａａＳの一部としてクラウド内のＶＭ上で実行されるワークロードまたはジョブを指定することを可能にするＡＰＩにアクセスし得る。入力システム１２８は、たとえば、ＵＳＢポートを通じてデータをアップロードするために使用され得るが、コンピューティングデバイス１１０はまた、コマンドおよび／またはデータを受信するために使用可能なマウス、キーボード、タッチスクリーン、またはマイクロフォンを含み得る。

【0028】

ネットワーク１４０は、さまざまな構成や、短距離通信プロトコルを含むプロトコル、たとえば、Bluetooth（登録商標）、Bluetooth（登録商標）ＬＥ、インターネット、ワールドワイドウェブ、イントラネット、仮想プライベートネットワーク、ワイドエリアネットワーク、ローカルネットワーク、１つ以上の企業の独自の通信プロトコルを用いるプライベートネットワーク、イーサネット（登録商標）、ＷｉＦｉ、ＨＴＴＰなど、および、上述したもののさまざまな組合せなどを含み得る。このような通信は、モデムおよび無線インターフェイスなどの他のコンピューティングデバイスとの間でデータを送信することができる任意のデバイスによって促進され得る。コンピューティングデバイスは、所与の通信プロトコルをサポートするために必要なハードウェア、ドライバ、およびソフトウェアを含み得る通信インターフェイス１２４を介してネットワーク１４０とのインターフェイスを取っている。

【0029】

クラウドコンピューティングシステム１５０は、高速通信またはコンピューティングネットワークを介してリンクされ得る１つ以上のデータセンタを含み得る。システム１５０内の所与のデータセンタは、コンピューティングシステムおよびそれらの関連するコンポーネント、たとえば、ストレージシステムおよび通信システムを収容する専用空間を建物内に備え得る。典型的には、データセンタは、通信機器のラック、サーバ／ホスト、およびディスクを含む。サーバ／ホストおよびディスクは、ＶＭなどの仮想コンピューティングリソースを提供するために用いられる物理コンピューティングリソースを含む。所与のクラウドコンピューティングシステムが２つ以上のデータセンタを含む限りにおいて、それらのデータセンタは、互いに比較的近接したさまざまな地理的位置にあり得るとともに、タイムリーかつ経済的に効率的な態様でサービスを配信するように選択され得るとともに、冗長性を提供して高い可用性を維持し得る。同様に、典型的には、さまざまなクラウドコンピューティングシステムがさまざまな地理的位置に設けられている。

【0030】

図１に示されるように、コンピューティングシステム１５０は、ホストマシン１５２、ストレージ１５４、およびインフラストラクチャ１６０を備えるものとして示され得る。ホストマシン１５２、ストレージ１５４、およびインフラストラクチャ１６０は、クラウドコンピューティングシステム１５０内にデータセンタを備え得る。インフラストラクチャ１６０は、１つ以上のホストマシンに加えて、スイッチ、物理リンク（たとえば、ファイバ）、および、データセンタ内のホストマシンをストレージ１５４と相互接続するために用いられる他の機器を備え得る。ストレージ１５４は、データセンタ内の処理デバイス上で動作する仮想マシンに物理ストレージまたは仮想ストレージを提供するように区画可能なディスクまたは他のストレージデバイスを備え得る。ストレージ１５４は、ストレージ１５４によってサポートされる仮想マシンをホストするデータセンタ内のＳＡＮとして設けられてもよく、または、ストレージがサポートする仮想マシンと物理的位置を共有しない異なるデータセンタ内に設けられてもよい。所与のデータセンタ内の１つ以上のホストまたは他のコンピュータシステムは、所与のデータセンタ内の１つ以上のホストマシンに関連付けられた仮想マシンを作成および管理する際に監視エージェントまたはハイパーバイザとして作用するように構成され得る。概して、ハイパーバイザとして機能するように構成されたホストまたはコンピュータシステムは、たとえば、コンピューティングデバイス１１０において生じるサービスを要求した結果、顧客またはユーザにｌａａＳ、ＰａａＳ、またはＳａａＳを提供することによって発生する動作を管理するために必要な命令を含むだろう。

【0031】

図２に示される例では、図１のクラウドシステム１５０に関連付けて示されるような分散システム２００は、仮想コンピューティング環境３００をサポートするかまたは実行するホストマシン２１０（たとえば、ハードウェアリソース２１０）の集合２０４を含む。仮想コンピューティング環境３００は、仮想マシンマネージャ（virtual machine manager：ＶＭＭ）３２０と仮想マシン（ＶＭ）層３４０とを含む。仮想マシン（ＶＭ）層３４０は、１つ以上のソフトウェアアプリケーション３６０のインスタンス３６２ａ、３６２ａ～３６２ｎを実行するように構成された１つ以上の仮想マシン（ＶＭ）３５０ａ～３５０ｎを実行させる。各ホストマシン２１０は、１つ以上の物理的な中央処理装置（physical central processing unit：ｐＣＰＵ）２１２（「データ処理ハードウェア２１２」）および関連するメモリハードウェア２１６を含み得る。各ハードウェアリソースまたはホスト２１０は単一の物理プロセッサ２１２を有するように示されているが、任意のハードウェアリソース２１０が複数の物理プロセッサ２１２を含んでもよい。ホスト２１０はまた、物理メモリ２１６を含み、当該物理メモリ２１６は、ホストオペレーティングシステム（ＯＳ）２２０によって仮想メモリに分割され得るとともに、ＶＭ層３４０内のＶＭ３５０による使用のために、またはＶＭＭ３２０もしくはホストＯＳ２２０による使用のために割当てられ得る。物理メモリ２１６は、ランダムアクセスメモリ（random access memory：ＲＡＭ）および／または（図１に示すように、インフラストラクチャ１６０を介してアクセス可能なストレージ１５４を含む）ディスクストレージを備え得る。

【0032】

ホストオペレーティングシステム（ＯＳ）２２０は、ホストマシン２１０のうちの任意の１つのホストマシン２１０上で実行させてもよく、または、複数のホストマシン２１０を含む集合体にわたって動作するように構成されてもよい。便宜上、図２は、マシン２１０_１～２１０_ｍの集合にわたって動作するホストＯＳ２２０を示す。さらに、ホストＯＳ２２０は仮想コンピューティング環境３００の一部として示されているが、各ホストマシン２１０はそれ自体のＯＳ２１８を備える。しかしながら、仮想環境の観点から、各マシン上のＯＳは、ＶＭＭ３２０およびＶＭ層３４０に対する集合的なＯＳ２２０として表わされるとともに管理される。

【0033】

いくつかの例では、ＶＭＭ３２０は、ＶＭ３５０を作成、インスタンス化／展開および実行するように構成されたソフトウェア、ファームウェア、またはハードウェアのうちの少なくとも１つを含むハイパーバイザ３２０（たとえば、コンピュータエンジン）に対応する。１つ以上のＶＭ３５０を実行するＶＭＭ３２０に関連付けられたデータ処理ハードウェア２１２などのコンピュータは、典型的には、（上記で用いたように）ホストマシン２１０と称される一方で、各ＶＭ３５０はゲストマシンと称されることもある。ここで、ＶＭＭ３２０またはハイパーバイザは、仮想オペレーティングプラットフォームを有する対応するゲストオペレーティングシステム（ＯＳ）３５４（たとえば３５４ａ～３５４ｎ）を各ＶＭ３５０に備えるように構成されているとともに、ＶＭ３５０上の対応するゲストＯＳ３５４の実行を管理する。本明細書で用いられるように、各ＶＭ３５０は、「インスタンス」または「ＶＭインスタンス」と称されてもよい。いくつかの例では、さまざまなオペレーティングシステムの複数のインスタンスが仮想化されたリソースを共有し得る。たとえば、Ｌｉｎｕｘ（登録商標）オペレーティングシステムの第１のＶＭ３５０、ウインドウズ（登録商標）オペレーティングシステムの第２のＶＭ３５０、および、ＯＳ Ｘ（登録商標）オペレーティングシステムの第３のＶＭ３５０はすべて、単一の物理的なｘ８６マシン上で動作し得る。

【0034】

ＶＭ層３４０は１つ以上の仮想マシン３５０を含む。分散システム２００は、ユーザが（１つ以上のコンピューティングデバイス１１０を介して）オンデマンドで、すなわち、ネットワーク１４０を介して（クラウドシステム１５０を含む）分散システム２００にコマンドまたは要求１７０（図１）を送信することによって、ＶＭ３５０を起動することを可能にする。たとえば、コマンド／要求１７０は、対応するオペレーティングシステム２２０に関連付けられた画像またはスナップショットを含み得るとともに、分散システム２００は、当該画像またはスナップショットを用いて、対応するＶＭ３５０のためのルートリソース２１０を作成し得る。ここで、コマンド／要求１７０内の画像またはスナップショットは、ブートローダ、対応するオペレーティングシステム２２０、およびルートファイルシステムを含み得る。コマンド／要求１７０を受信することに応答して、分散システム２００は、対応するＶＭ３５０をインスタンス化し、インスタンス化後、ＶＭ３５０を自動的に起動し得る。

【0035】

ＶＭ３５０は、実際のコンピュータシステム（たとえば、ホストマシン２１０）をエミュレートするとともに、専用のハードウェア、ソフトウェア、またはそれらの組合わせを含み得る実際のコンピュータシステムまたは仮想コンピュータシステムのコンピュータアーキテクチャおよび機能に基づいて動作する。いくつかの例では、分散システム２００は、１つ以上のＶＭ３５０を起動させる前にユーザデバイス１１０を許可および認証する。ソフトウェアアプリケーション３６０のインスタンス３６２、または単にインスタンスは、分散システム２００のデータ処理ハードウェア２１２上でホストされる（上で実行される）ＶＭ３５０を指している。

【0036】

ホストＯＳ２２０は、基礎をなすホストマシンハードウェアを仮想化し、１つ以上のＶＭインスタンス３５０の同時実行を管理する。たとえば、ホストＯＳ２２０は、ＶＭインスタンス３５０ａ～３５０ｎを管理してもよく、各ＶＭインスタンス３５０は、シミュレートされたバージョンの基礎をなすホストマシンハードウェア、または別のコンピュータアーキテクチャを含んでもよい。各ＶＭインスタンス３５０、３５０ａ～３５０ｎに関連付けられたシミュレートされたバージョンのハードウェアは仮想ハードウェア３５２、３５２ａ～３５２ｎと称される。仮想ハードウェア３５２は、ホストマシン２１０の１つ以上の物理プロセッサ２１２をエミュレートする１つ以上の仮想中央処理装置（virtual central processing unit：ｖＣＰＵ）（「仮想プロセッサ」）を含み得る。仮想プロセッサは、ＶＭインスタンス３５０に関連付けられた「コンピューティングリソース」と同義で称され得る。コンピューティングリソースは、対応する個々のサービスインスタンス３６２を実行するために必要とされるターゲットコンピューティングリソースレベルを含み得る。

【0037】

仮想ハードウェア３５２は、仮想プロセッサと通信する仮想メモリをさらに含み得る。当該仮想メモリは、動作を実行するために仮想プロセッサによって実行可能なゲスト命令（たとえば、ゲストソフトウェア）を格納している。たとえば、仮想プロセッサは、ソフトウェアアプリケーション３６０の対応する個々のサービスインスタンス３６２を仮想プロセッサに実行させる、仮想メモリからの命令を実行してもよい。ここで、個々のサービスインスタンス３６２は、仮想ハードウェア３５２または物理データ処理ハードウェア２１２によって実行されているかどうかを判断することができないゲストインスタンスと称され得る。ホストマシンのマイクロプロセッサは、コードの書換え、再コンパイル、または命令のエミュレーションを必要とすることなく、ゲストソフトウェア命令がホストマシンのマイクロプロセッサ上で直接実行されることを可能にすることにより、仮想ハードウェア３５２がアプリケーション３６０のソフトウェアインスタンス３６２を効率的に実行することを可能にするためのプロセッサレベルのメカニズムを含み得る。仮想メモリは、ＶＭインスタンス３５０に関連付けられた「メモリリソース」と同義であり得る。メモリリソースは、対応する個々のサービスインスタンス３６２を実行するために必要なターゲットメモリリソースレベルを含み得る。

【0038】

仮想ハードウェア３５２はさらに、物理メモリハードウェア３２４で上のサービスのためのランタイム容量を備える少なくとも１つの仮想ストレージデバイスを含み得る。少なくとも１つの仮想ストレージデバイスは、ＶＭインスタンス３５０に関連付けられたストレージリソースと称されてもよい。ストレージリソースは、対応する個々のサービスインスタンス３６２を実行するために必要なターゲットストレージリソースレベルを含み得る。各ＶＭインスタンス３５０上で実行されるゲストソフトウェアはさらに、それぞれのゲストソフトウェアが内部ネットワーク１６０（図１）、外部ネットワーク１４０（図１）、またはその両方を介して到達可能な他のプロセスと通信し得るのに経由されるネットワーク境界を割当ててもよい（たとえば、ネットワークアドレスを割振ってもよい）。ネットワーク境界は、ＶＭインスタンス３５０に関連付けられたネットワークリソースと称されてもよい。

【0039】

各ＶＭ３５０上で実行されるゲストＯＳ３５４は、対応する個々のサービスインスタンス３６２（たとえば、ＶＭインスタンス３５０によるアプリケーション３６０の３６２ａ～３６２ｎのうちの１つ以上）の実行を制御するソフトウェアを含む。ＶＭインスタンス３５０、３５０ａ～３５０ｎ上で実行されるゲストＯＳ３５４、３５４ａ～３５４ｎは、他のＶＭインスタンス３５０上で実行される他のゲストＯＳ３５４と同じであっても異なっていてもよい。いくつかの実現例では、ＶＭインスタンス３５０は、個々のサービスインスタンス３６２を実行するためにゲストＯＳ３５４を必要としない。ホストＯＳ２２０は、ホストＯＳ２２０のカーネル２２６のために確保された仮想メモリをさらに含み得る。カーネル２２６は、カーネル拡張およびデバイスドライバを含んでもよく、ホストＯＳ２２０のユーザプロセス空間において実行されるプロセスに対する制限から外れた特定の特権的動作を実行してもよい。特権的動作の例は、さまざまなアドレス空間へのアクセス、メモリ管理ユニットなどのホストマシン２１０内の特別な機能プロセッサユニットへのアクセスなどを含む。ホストＯＳ２２０上で実行される通信プロセス２２４は、ＶＭネットワーク通信機能の一部を提供し得るとともに、ユーザプロセス空間において、またはカーネル２２６に関連付けられたカーネルプロセス空間において実行され得る。

【0040】

開示される技術のいくつかの局面に従うと、ＭＣＥを実装するホストマシン２１０上で発生する回復不可能なメモリエラー、たとえばビットフリップは、影響を受けたゲストＶＭがクラッシュすることを軽減および／または回避するために、かつ、影響を受けたゲストＶＭのみに対する回復不可能なメモリエラーの影響を封じ込めるために、ハイパーバイザ層において管理され得る。たとえば、所与のホストマシン２１０に関連付けられたＢＩＯＳは、ホスト上のｐＣＰＵ２１２によって生成されたＭＣＥがカーネル２２６に送信されるように構成される。ＭＣＥは、たとえば、物理メモリアドレス、エラーの重大度、エラーが切り離されたエラーであるかどうか、エラーの信号伝達元であるｐＣＰＵ内のコンポーネントなどを含む、エラーについてのコンテキスト情報を含む。カーネル２２６はエラーをハイパーバイザ３２０に中継する。次いで、ハイパーバイザ３２０は、その情報を処理して、エラーに関連付けられた仮想メモリを識別し、影響を受けたメモリページおよび関連するＶＭを識別する。ＶＭは、通常、仮想メモリを共有しないので、所与のメモリエラーは所与のＶＭに対して隔離され得る。したがって、影響を受けたＶＭを超えてエラーを伝搬するリスクはほとんどまたは全くない。次いで、ハイパーバイザ３２０は、破損したメモリページを隔離して、ゲストＯＳがこの破損したメモリページにアクセスすることを回避する。次に、ハイパーバイザは、エラーをエミュレートすることによって、影響を受けたゲストＯＳに当該エラーを通知する。具体的には、ハイパーバイザは、割込み、たとえば割込み８０、をゲストＯＳに投入することで、ゲストＯＳにエラーを通知する。このようにして、たとえば、エラーの影響を受けたＶＭのみにエラーが通知され、そのＶＭまたはそのＶＭに関連付けられたアプリケーションのみが再起動され得る。

【0041】

加えて、破損した仮想メモリアドレスまたはそれを含むメモリページについて通知されると、影響を受けたＶＭは、それらのメモリ位置からの読取またはそれらのメモリ位置へのアクセスを回避し得るので、結果としてエラーが封じ込まれることとなる。たとえば、破損したメモリ要素の各メモリの読取または当該各メモリへのアクセスによりＭＣＥが生成される。開示される技術の一局面は、ホストレベルで検出されてＶＭＭおよび／またはゲストＯＳにエラーが通知された後、破損したメモリ要素の複数回の読取またはアクセスの発生を低減および／または回避する。

【0042】

他の例では、ユーザアプリケーションは、複数の仮想マシンにわたって実行されてもよく、単一のＶＭに関連付けられたメモリエラーは複数のＶＭに影響を与える可能性がある（たとえば、機械学習トレーニングジョブ）。このような例では、エラーの影響により、２つ以上のＶＭにエラーを通知することが必要となる可能性がある。たとえば、ハイパーバイザが１つ以上の所与のジョブを２つ以上のＶＭ間で分散させた場合、当該ハイパーバイザは、影響を受けたすべてのＶＭにエラーをブロードキャストしてもよい。この場合、ユーザは、影響を受けたアプリケーションのシャットダウンおよび再起動が実行可能なオプションであると判断し得る。対照的に、単一のＶＭが関与している場合、たとえば、ＶＭに新しいメモリページを提供するかまたはＶＭを再起動することによってＶＭを稼働状態で維持することは実行可能なオプションであり得る。

【0043】

例示的なプロセスまたは方法
開示される技術のいくつかの局面に従った処理フローまたは方法３７０の例を図３Ａに示す。ホスト３７２は、ＢＩＯＳ、ＣＰＵおよびカーネルを（そのＯＳの一部として）含む。ホストは、訂正不可能なメモリエラーを検出し、このような検出に応答してマシンチェック例外（ＭＣＥ）を発行するように構成される。加えて、検出された訂正不可能なメモリエラーを分類するための能力も与えられる。たとえば、この分類は、エラーがどこで発見されるか、エラーが回復可能であるか否か、および、どのようなタイプの回復が許可されるかまたは必要であるかを含み得る。たとえば、いくつかのハードウェアアーキテクチャは、回復が不可能であり、このためカーネルがパニックモードに入る必要があることをソフトウェアに信号伝達するコンテキスト情報を中継する。このことが行なわれる典型的な例として、実行コンテキストが破損した（たとえば、ＣＰＵが特定の命令を実行する途中でエラーが生じる）場合が挙げられる。訂正不可能なメモリエラーがホスト３７２において検出されると、ＢＩＯＳはＭＣＥをＣＰＵに送信する（ライン３７６）。

【0044】

次いで、ＣＰＵは、（＃ＭＣとして示される）ＭＣＥ情報をホスト３７２のカーネルに中継する（ライン３７８）。＃ＭＣおよびＭＣＥまたはＭＣＥ情報は、同じコンテキスト情報または同じタイプのコンテキスト情報を含み得る。カーネル内のハンドラ（たとえば、ＭＣＥまたは＃ＭＣハンドラ）は、コンテキスト情報を含む訂正不可能なメモリイベントに関するＭＣＥ情報（＃ＭＣ）を受信し、ハイパーバイザ３８６においてＭＣＥ信号ハンドラを信号伝達する（ライン３８２）。信号伝達はバスエラー信号（たとえば、ＳＩＧＢＵＳ）を介して行なわれてもよい。ハイパーバイザ３８６は、ＭＣＥ情報を復号し、これを、影響を受けたホストによってサポートされるＶＭに関連付けられた仮想メモリ空間にマッピングする（ライン３８８）。この際、ハイパーバイザ３８６は、破損したメモリ要素に関連付けられた仮想メモリおよびメモリページを決定する。加えて、ハイパーバイザ３８６はＭＣＥイベントをエミュレートする（ライン３８８）。すなわち、ハイパーバイザ３８６は、物理メモリエラーに関連付けられたコンテキスト情報を仮想メモリ位置に関連付けられたコンテキスト情報に翻訳する。加えて、ハイパーバイザ３８６は、影響を受けたホスト３７２上にＶＭを有するのに必要なプロセスをインスタンス化し、別のホスト３７３にマイグレートしてもよい（ライン３９０）。

【0045】

上記に示されるように、開示される技術のいくつかの局面は、ホストカーネルのＭＣＥハンドラに、すべての関連するＭＣＥ詳細を仮想マシンマネージャまたはハイパーバイザへと信号伝達させることを含む。ハイパーバイザの場合、ＭＣＥ ＳＩＧＢＵＳハンドラが、メモリエラーイベントを、たとえばＶｍＥｖｅｎｔｓテーブルに記録する。イベントテーブルは、正規のＶＭメタデータ（たとえば、ＶＭ ｉｄ、プロジェクトｉｄ；ＭＣＥ詳細：全ての関連するバンクからのＤＩＭＭ、ランク、バンク、ＭＣＡレジスタ）といった詳細を記録するフィールドを含んでもよい。任意には、近傍情報は、たとえば、他のどのＶＭがホスト上にあるか、同じソケット上にあるかなども記録され得る。近傍情報は、たとえばローハマー攻撃（Row Hammer attack）などの潜在的なセキュリティ攻撃を分析する際に重要であり得る。このような例では、開示される技術は、影響を受けたＶＭのすべてをゲストユーザ空間に通知し、別のホストへのより適切なフェイルオーバーを開始させ得る。

【0046】

ホストにおいて、メモリエラーの封じ込めおよびメモリエラーの回復はＩＩＯ停止およびスクリームとともにＢＩＯＳにおいてイネーブルにされる。特定の新しいＭＳＩ／ＮＭＩハンドラを介したエラー信号伝達は、ホストに対するパニックのみに関する挙動とともにホストカーネルに追加される。ホストカーネルは、ＭＣＥエラーがどのアドレス空間に属しているかと、プロセスがＶＭであるか否かとを認識するように構成されている。

【0047】

図３Ｂは、開示される技術のいくつかの局面に従った方法またはアーキテクチャ３７４のいくつかの局面を示す。ホスト３７２およびホスト３７３は、ＢＩＯＳ、ＣＰＵ、およびＯＳ／カーネルを含むさまざまなコンポーネントを含み得る。加えて、ホスト３７２およびホスト３７３は、いくつかのセグメントに分割することができる揮発性メモリおよび不揮発性メモリを含み得る。ホスト３７２およびホスト３７３は、上述した分散システム２００またはホストマシン２１０と同様であり得る。

【0048】

ＶＭＭ／ハイパーバイザ３８６はホスト上で実行可能である。上述したように、ＶＭＭ／ハイパーバイザ３８６は、ＶＭ３９１_Ａ～ＶＭ３９１_Ｎなどの１つ以上のＶＭを制御することができるか、当該１つ以上のＶＭをオーケストレートすることができるか、または、当該１つ以上のＶＭを作成して動作させることをイネーブルにすることができる。簡略化するためにＶＭを２つしか示していないが、３つ以上（たとえば、数百またはさらには数千）のＶＭをホスト３７２上でインスタンス化または実行できることが理解されるはずである。各ＶＭは、ホスト３７２上の揮発性メモリまたは他のメモリの一部に対応し得る。ホスト３７２および３７３は、所与のクラウドシステムの一部と同じデータセンタに常駐する必要はない（たとえば、図１のシステム１５０を参照）。いくつかの例では、マイグレーションは、クラウド環境におけるさまざまなデータセンタ内のホスト間で行なわれてもよい。このような場合、ＶＭＭ／ハイパーバイザ３８６は、さまざまな物理的位置またはさまざまなデータセンタにおいて別個のＶＭＭ／ハイパーバイザコンポーネントを含んでもよい。さらに、いくつかの例では、ＶＭＭ／ハイパーバイザ３８６は、基礎をなすホストがどのように管理されるかに応じて、所与のデータセンタにおいて別個のコンポーネントを含み得る。さらに、ＶＭＭ／ハイパーバイザは複数のホストまたはマシンにわたって機能的に分散されてもよい。

【0049】

いくつかの例では、メモリにおける「！」によって示されるように、ホスト３７２内のメモリのうち特定のセクションまたは部分は、回復不可能なエラーを含むことが認識され得る。図３Ｂに関連付けてして説明したように、これらの回復不可能なエラーは、仮想マシンおよびこれら仮想マシンがサポートするゲストアプリケーションまたはインスタンスの実行に影響を及ぼす可能性がある。一例として、ＶＭ３９１_Ａは、メモリのうち、ＭＣＥに関連する回復不可能なエラーを含む特定のセクション上で実行することができる。他の仮想マシンは、エラーを含まない揮発性メモリを含む物理ハードウェアを用いてもよい。所与のＶＭによって用いられる物理メモリおよび他の物理コンポーネントはＶＭＭ／ハイパーバイザ３８６を介して管理される。たとえば、所与のＶＭは、ホストの物理メモリ上の空間を用い得るが、当該ＶＭＭが典型的には実際の物理メモリアドレス等をＶＭ環境内の仮想メモリアドレスにマッピングするので、通常、これら実際の物理メモリアドレス等を認識しない。

【0050】

さまざまなメモリセクションは、ホスト３７２の一部として図３Ｂに示す１つ以上のメモリページに対応し得る。いくつかの例では、１つ以上のメモリページは、ホスト３７２の揮発性メモリの１つ以上のセクションのメモリダンプであり得る。メモリページは、低レベルキャッシュメモリ、不揮発性メモリまたは揮発性メモリなどの任意の適切なメモリに格納され得る。ＭＣＥなどの回復不可能なエラーを有するものに対応する特定のメモリページにマーク付けすることができる。いくつかの例では、ページは、「損なわれた」ものとして、または損なわれたメモリを含むものとして、ページを識別する情報にマーク付けされ得るかまたは当該情報を含み得る。いくつかの例では、メモリページは、図２で参照されるインスタンス３６２ａなどの特定のＶＭインスタンスに対応する「ゲストメモリ」またはメモリのみを含み得る。

【0051】

ホスト３７３はホスト３７２と同様であり得るとともに、ハイパーバイザ３８６は、特にホスト３７３上のＶＭ３９２_Ａ～ＶＭ３９２_Ｎなどの１つ以上のＶＭの動作を制御、オーケストレートまたは可能化することができる。いくつかの例では、ホスト３７３上のＶＭの数はホスト３７２上のＶＭの数と同じであり得る。

【0052】

メモリマイグレーションモジュール３７１は、１つのホストから別のホストへの仮想マシンの転送またはマイグレーションを可能にするために、リモートプロシージャコール、ＡＰＩ、ネットワーキング機能、および、ＯＳレベル以下で行なわれるような他の「低レベル」のメモリ動作を含み得る。メモリマイグレーションモジュール３７１は、ホスト３７２およびホスト３７３などの１つ以上の物理マシンにわたって分散され得る。メモリマイグレーションモジュール３７１はまた、ホスト３７２とホスト３７３または他のホストとの間で転送されるデータを接続するかまたはこのようなデータの転送を可能にするネットワーク上で実行することができる。

【0053】

メモリマイグレーションモジュール３７１はまた、チェックサムの生成と、バウンスバッファからの読取りと、メモリおよびメモリページの両方におけるＭＣＥエラーの認識とを行なうこともできる。メモリマイグレーションモジュール３７１は、開示された技術のライブマイグレーション機能の局面を実行するように調整されたＲＰＣ、ソフトウェア、または他のＡＰＩを用いてもよい。メモリマイグレーションモジュール３７１は、（本明細書に記載されるような）マイグレーションプロセスの機能を実行するとともに１つ以上の処理デバイス上で実行される命令のセットとして実現され得る１つ以上のモジュールを備え得る。

【0054】

いくつかの例では、メモリマイグレーションモジュール３７１は、「汎用」であり得るとともに、さまざまなモデルのプロセッサを含むようなさまざまなタイプのハードウェアおよび物理ホストを抽象化するためのモジュールであって、これらのさまざまなタイプのハードウェアおよび物理ホストにわたって互換性があるモジュールや、特定の物理マシンによって生成される特定のメモリまたは他のエラーコードを理解するためのモジュールを含み得る。

【0055】

図４は、開示される技術のいくつかの局面に従った方法またはプロセス４００を示す。
方法４００は、訂正不可能なメモリエラーに関連するＭＣＥを検出し、仮想マシンマネージャまたはハイパーバイザに転送するステップを含み得る。ＭＣＥ情報は、仮想マシンマネージャまたはハイパーバイザによって復号されて、影響を受けたメモリページにマッピングされ、これにより、影響を受けたＶＭにマッピングされる。次いで、仮想マシンマネージャまたはハイパーバイザは、ＶＭを別のデバイスにマイグレートするプロセスを開始し得る。これらの動作に関するさらなる詳細については本明細書で説明している。

【0056】

ブロック４１０に示すように、仮想マシン管理マネージャは、ソースホストマシンによって検出された訂正不可能なメモリエラーを信号伝達する信号を受信し得る。

【0057】

ブロック４２０において、仮想マシン管理マネージャは、受取った信号伝達に基づいて、破損したメモリ要素に関連付けられた１つ以上の実行中の仮想マシンを決定することができる。

【0058】

ブロック４３０において、仮想マシン管理マネージャまたはメモリマイグレーションモジュールは、訂正不可能なメモリエラーを含むメモリページのコピーを除外することができる。

【0059】

ブロック４４０において、仮想マシン管理マネージャまたはメモリマイグレーションモジュールは、１つ以上の実行中の仮想マシンに関連付けられた少なくとも１つのメモリページをソースホストマシンからターゲットホストマシンにコピーすることができる。

【0060】

ブロック４５０において、仮想マシン管理マネージャまたはメモリマイグレーションモジュールは、ソースホストマシン上の１つ以上の実行中の仮想マシンの動作を一時停止することができる。

【0061】

ブロック４６０において、仮想マシン管理マネージャまたはメモリマイグレーションモジュールは、ソースホストマシンからターゲットホストマシンにビットマップを送信することができる。ブロック４６０は、１つ以上の実行中の仮想マシンが一時停止されている間に実行することができる。

【0062】

ブロック４７０において、仮想マシン管理マネージャまたはメモリマイグレーションモジュールは、ターゲットホストマシン上の１つ以上の実行中の仮想マシンの動作を再開させることができる。

【0063】

ブロック４８０において、仮想マシン管理マネージャまたはメモリマイグレーションモジュールは、追加のメモリページを「バックグラウンドフェッチ」することができる。

【0064】

図５Ａ～図５Ｄは、「ソースＶＭ」から「ターゲットＶＭ」へのライブメモリマイグレーションのいくつかの局面を示す。図５Ａ～図５Ｄに関して示されるように、マイグレーションのいくつかの局面は、たとえば、「コピー前」および「コピー後」などのように、時間に関して説明され得る。加えて、ソースＶＭおよびターゲットＶＭの両方の動作状態はライブメモリマイグレーション中に記述され得る。いくつかの例では、図５Ａ～図５Ｄにおいて用いられているように、「時間の矢印」は左から右へと将来に向かって順に移動して、アクションのブロックが実行され得る例を示す。しかしながら、当業者であれば、プロセスの順序を置換えるかまたは逆にすることが可能であること、および、いくつかのプロセスが重複可能であることを認識するだろう。

【0065】

図５Ａ～図５Ｄで用いられるように、「ソースＶＭ」は、データまたは情報のマイグレート元である仮想マシンであり得るとともに、「ターゲットＶＭ」は、データまたは情報のマイグレート先である仮想マシンであり得る。いくつかの例では、「ソースＶＭ」は、ホストマシン２１０などの特定の物理マシンに関連付けられ得るか、またはこのような特定の物理マシン上で動作し得る。いくつかの例では、方法５００は、ソースＶＭに関連付けられた物理マシン上で発生する上述のＭＣＥなどの特定のエラー時に開始することができる。「ソース」は、ソースＶＭまたは当該ソースＶＭに対応するホストマシンのいずれかを指し得るとともに、「ターゲット」は、ターゲットＶＭまたは当該ターゲットＶＭに対応するターゲットマシンのいずれかを指し得る。

【0066】

当業者であれば、図５Ａ～図５Ｄに関連付けて説明される方法の特定の実現例がさまざまに異なり得るとともに、１つ以上のソフトウェアモジュール、ＡＰＩ、ＲＰＣを含み得るとともに、１つ以上のタイプのデータ構造、ログ、バイナリ構造、およびハードウェアを用いて当該方法を実行し得ることを認識するだろう。

【0067】

図５Ａは例示的な方法５００を示す。図５ＡにはソースＶＭ５１０およびターゲットＶＭ５１５が示されている。要約すると、方法５００は、「コピー前」段階および「コピー後」段階内で概念化され得る動作で構成され得る。方法５００は、方法５２０、方法５３０、および方法５４０を含み図５Ｂ～図５Ｄに関連付けて説明されるプロセスの任意の組合わせで構成され得る。

【0068】

コピー前段階中に、「ゲストメモリ」をソースＶＭ５１０からターゲットＶＭ５１５にコピーすることができる。ゲストメモリは、ゲストユーザ空間またはゲストユーザアプリケーション内に作成されるメモリを含み得る。いくつかの例では、ゲストメモリは、特定のゲストユーザ空間または仮想マシンインスタンスに属する特定の仮想メモリに対応する基礎をなす物理メモリを指すこともある。コピー前段階中、ソースＶＭ５１０は、関連するソース物理マシン上で動作する。この段階では、１つ以上のプロセッサがゲストメモリをターゲットにコピーする。たとえば、メモリコンテンツは、ネットワークバッファにコピーされ、ネットワーク（たとえば、図１のネットワーク１６０）を介してＲＰＣプロトコルを通じてターゲットＶＭ５１５に送信される。この場合、ターゲットＶＭ上には、ゲストメモリを受信して当該受信したゲストメモリを対応するゲスト物理アドレスに格納するための対応するＲＰＣ受信機スレッドがある。

【0069】

図５Ａに示されるように、コピー前およびコピー後の間、ソースまたはターゲットは、マイグレーションが発生しているにもかかわらずＶＭが一時停止されない電圧低下期間に入り得る。この段階中、ゲスト実行は、たとえば、ダーティトラッキングまたはコピー後のネットワーク・ページインによって減速され得る。

【0070】

図５Ｂは、方法５００または方法５２０のいくつかの局面を、「コピー前」段階に関するものとして示す。メモリおよびメモリページの読取り、書込み、および追跡を行なうための命令群であり得る１つ以上のメモリマイグレーションモジュールを用いることができる。方法５２０は、ソース仮想マシンが「実行中」であるかまたはアクティブである間に実行することができ、これにより、方法５２０の実行中にユーザが仮想マシンを使用し続けることを可能にする。

【0071】

図５Ｂに示されるように、ソースからターゲットへのマイグレーションのプロセス中に、メモリのいくつかのページは、ソースＶＭ上で行なわれるユーザプロセスまたは他の処理に起因して修正され得る。これらの差を追跡することができる。ゲストメモリの転送時間中に修正されたメモリのページは「ダーティページ」と称されることもある。いくつかの例では、特定のページのサブセットのみがコピー前段階中に転送され得る。いくつかの事例では、損なわれたページはダーティページのサブセットを含み得るが、このようなダーティページは、スキップされることとなるか、または、マイグレーションターゲットに対する通常のダーティページ処理の一部として処理されることはない。

【0072】

ゲストメモリは、ソースＶＭ５１０上で読取られてターゲットＶＭ５１５のゲストメモリに書込まれ得る。いくつかの例では、読取りプロセスおよび書込みプロセスは、１つ以上のリモートプロシージャコールまたはＲＰＣ（remote procedure call）を用いることによって実行され得る。いくつかの例では、リモートプロシージャコールは、特定のメモリコンテンツに対するポインタを用いて、物理メモリまたは仮想メモリのうちソースＶＭ５１０からターゲットＶＭ５１５にコピーされるべき１つ以上の部分を識別することができる。

【0073】

いくつかの例においては、バウンスバッファを転送の一部として用いることができる。バウンスバッファはメモリ内に存在するタイプのメモリであって、プロセッサがそこからデータをコピーしたりそこにデータを書込んだりするのにアーキテクチャ的に充分に「低」いレベルのメモリである。ページは、メモリを編成するためにバウンスバッファに割当てることができる。メモリマイグレーションモジュールは、「ダーティビットマップ」を増分的に更新してダーティページをコピーするステップの一部として、メモリを複数回通過するとともにダーティページを通過することを繰返し行なうことができる。

【0074】

いくつかの例では、「損なわれたページ」、または回復不可能なエラーを含むページを追跡および識別することもできる。いくつかの例では、「損なわれた」ページは、メモリマイグレーションプロセスおよびダーティページから選択的に除外することができる。いくつかの例では、ＭＣＥが発見されると、そのＭＣＥに関連付けられたメモリページは、損なわれたものとしてマーク付けされ得る。メモリマイグレーションモジュールは、特定のページを「損なわれた」ものとしてメモリバスに通知し、メモリバスがそのメモリをソースからターゲットにコピーすることを回避させることができる。

【0075】

方法５２０はまた、チェックサムの生成を含み得る。チェックサムはソースからターゲットへのゲストメモリの書込みの後に生成され得る。ソースメモリページおよび関連するターゲットメモリページの両方の上でチェックサムを生成して、そのメモリページの転送がエラーなしに行なわれることを確実にし得る。いくつかの例では、損なわれたページについてのチェックサム生成またはチェックサムのチェックはスキップされ得る。

【0076】

方法５２０は、擬似コードとして記述される以下のプロセスまたは同様のプロセスを含み得る。

【0077】

【数1】

【0078】

代替的に説明すると、方法５２０は、ダーティメモリページの追跡を可能にし得るとともに、「停電」プロセスが実施されていない間、ダーティメモリページログを準備し、各ダーティメモリページログごとに、そのダーティメモリページログの変化に関連する更新をビットマップなどを介してソースからターゲットに送信し得る。加えて、チェックサムおよび変更の追跡は、方法５２０の一部としてメモリマイグレーションモジュールによって実行することができる。

【0079】

図５Ｃは、停電期間中の方法５００または方法５３０のいくつかの局面を示す。停電期間中、ソースは「一時停止」され、ユーザはソースＶＭを動作させるかまたは用いることができなくなるだろう。損なわれたページはまた、方法５３０中に追跡して差し引くことができる。

【0080】

方法５３０は、停電期間の開始時に、またはソースＶＭが一時停止されるときに開始することができる。メモリマイグレーションモジュールは、ソースＶＭのメモリを通るパスを実行して、停電の前に最新のメモリまたは「最後のメモリ」を識別し、ダーティビットマップをターゲットに送信することができる。

【0081】

方法５３０中に、損なわれたページに関する情報または損なわれたページ自体をコピーすることができる。損なわれたページは稀であると予想されるので、いくつかの例では、「ビットマップ」とは異なる構造を用いて、損なわれたページまたは当該損なわれたページに関連する情報を転送し、メモリオーバーヘッドを制限することができる。いくつかの例では、損なわれたページへの変更は最小であると予想され、損なわれたページ自体は稀であると予想されるので、このような損なわれたページは停電期間の開始時に１回だけ送信することができる。

【0082】

方法５３０は、擬似コードとして記述される以下のプロセスまたは同様のプロセスを含み得る。

【0083】

【数2】

【0084】

言い換えれば、方法５３０では、１つ以上のメモリログを読取ることができ、メモリログの読取りから、損なわれたページを除いたダーティページのみをコピーすることができる。

【0085】

図５Ｄは、「コピー後」段階に関連し得る方法５００または方法５４０のいくつかの局面を示す。この段階では、特定の情報がソースからターゲットに転送されている。この段階では、ソース上で動作していた仮想マシンをターゲット上で動作させることができる。この段階では、ターゲット上で動作する仮想マシンは、ダーティメモリページおよび損なわれたメモリページが転送されていなかったという点で、ソース上で動作する仮想マシンとは異なり得る。

【0086】

コピー後の間、または方法５４０の一部として、「デマンドページング」を最終的なダーティビットマップで初期化することができる。「デマンドページング」のための制御は、同じダーティビットマップでバックグラウンドフェッチャーモジュールを初期化することができる。上述したように、このビットマップは、損なわれたページが差し引かれているリストをすでに認識しているかまたは含む可能性がある。

【0087】

コピー後の間、または方法５４０の一部として、ソースからまだフェッチまたはマイグレートされていなかったメモリページのバックグラウンドフェッチは、バックグラウンドフェッチャーモジュールまたはメモリマイグレーションモジュールによってアクセスされ得る。

【0088】

いくつかの例では、ターゲット上では、ターゲットからソースにまだ転送されていなかった特定のメモリページの要件に応じて、ターゲットにまだマイグレートされていないメモリページにターゲットがアクセスするために、リモートメモリアクセス（remote memory access：ＲＭＡ）または他のリモートプロシージャコールが用いられてもよい。

【0089】

ターゲットにおいてメモリページが受信されると、ＭＣＥエラーが発生していない場合、またはＭＣＥエラーがその特定のメモリページに関連付けられている場合、取得されたメモリコンテンツについてチェックサムを生成することができる。このチェックサムは、メモリマイグレーションプロセスが正しく行なわれたことを検証するために用いることができる。

【0090】

方法５４０は、擬似コードとして記述され得る以下のプロセスまたは同様のプロセスを含み得る。

【0091】

【数3】

【0092】

特に明記しない限り、上述の代替例は相互に排他的ではなく、特有の利点を達成するためにさまざまな組合わせで実現され得る。上述の特徴のこれらおよび他の変形例および組合わせは、特許請求の範囲によって定義される主題から逸脱することなく利用することができるので、実施形態の前述の説明は、特許請求の範囲によって定義される主題の限定としてではなく、例示として解釈されるべきである。加えて、本明細書に記載される例の規定、ならびに「等（such as）」、「含む（including）」などの語句は、特許請求の範囲の主題を特定の例に限定するものとして解釈されるべきではなく、むしろ、これらの例は、可能な限り多くの実施形態のうち１つだけを例示することを意図している。さらに、異なる図面における同じ参照番号は同じまたは同様の要素を識別し得るものである。

【図1】

【図2】

【図3A】

【図3B】

【図4】

【図5A】

【図5B】

【図5C】

【図5D】