知財求人 - 知財ポータルサイト「IP Force」
▶ インターナショナル・ビジネス・マシーンズ・コーポレーションの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-01-10
(54)【発明の名称】マルチホストデータ処理環境におけるメモリ移行
(51)【国際特許分類】
G06F 9/46 20060101AFI20231227BHJP
G06F 12/1009 20160101ALI20231227BHJP
G06F 12/0804 20160101ALI20231227BHJP
G06F 9/455 20180101ALI20231227BHJP
【ＦＩ】
G06F9/46 420B
G06F12/1009
G06F12/0804 100
G06F9/455 150
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023534238
(86)(22)【出願日】2021-11-29
(85)【翻訳文提出日】2023-06-05
(86)【国際出願番号】 EP2021083416
(87)【国際公開番号】W WO2022128430
(87)【国際公開日】2022-06-23
(31)【優先権主張番号】17/122,035
(32)【優先日】2020-12-15
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＶＥＲＩＬＯＧ
(71)【出願人】
【識別番号】390009531
【氏名又は名称】インターナショナル・ビジネス・マシーンズ・コーポレーション
【氏名又は名称原語表記】ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＢＵＳＩＮＥＳＳ ＭＡＣＨＩＮＥＳ ＣＯＲＰＯＲＡＴＩＯＮ
【住所又は居所原語表記】Ｎｅｗ Ｏｒｃｈａｒｄ Ｒｏａｄ， Ａｒｍｏｎｋ， Ｎｅｗ Ｙｏｒｋ １０５０４， Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ
(74)【代理人】
【識別番号】100112690
【弁理士】
【氏名又は名称】太佐 種一
(74)【代理人】
【識別番号】100120710
【弁理士】
【氏名又は名称】片岡 忠彦
(74)【復代理人】
【識別番号】100104880
【弁理士】
【氏名又は名称】古部 次郎
(74)【復代理人】
【識別番号】100118108
【弁理士】
【氏名又は名称】久保 洋之
(72)【発明者】
【氏名】ロバーツ、スティーブン、レオナルド
(72)【発明者】
【氏名】スタントン、デビッド、アンソニー、ラーソン
(72)【発明者】
【氏名】ヘイルマン、ピーター
(72)【発明者】
【氏名】ジェイコブス、スチュアート、ザカリー
(72)【発明者】
【氏名】ピント、クリスチャン
【テーマコード（参考）】
5B205
【Ｆターム（参考）】
5B205KK14
5B205MM36
5B205NN89
5B205PP03
5B205RR04
(57)【要約】
データ処理システムは、システムファブリックと、システムメモリと、メモリコントローラと、システムファブリックに通信可能に結合され、通信リンクを介してソースホストに対して非コヒーレントであるデスティネーションホストに通信可能に結合されるように構成されたリンクコントローラと、を含む。複数の処理ユニットは、論理パーティションを実行し、通信リンクを介して論理パーティションをデスティネーションホストに移行するように構成される。論理パーティションの移行は、通信リンクを介して、ソースホスト上で実行される論理パーティションのデータセットを、ソースホストのシステムメモリからデスティネーションホストのシステムメモリに移行することを含む。データセットの少なくとも一部を移行した後、論理パーティションがデスティネーションホスト上で実行されるように、通信リンクを介して、論理パーティションの状態をソースホストからデスティネーションホストへ移行する。
【特許請求の範囲】
【請求項1】
データ処理環境におけるデータ処理方法であって、前記方法は、通信リンクを介して、ソースホスト上で実行される論理パーティションのデータセットを、前記ソースホストのシステムメモリから、前記ソースホストに対して非コヒーレントであるデスティネーションホストのシステムメモリに移行することと、
データセットの少なくとも一部を移行した後、前記通信リンクを介して、前記論理パーティションの状態を前記ソースホストから前記デスティネーションホストへ移行することと、
前記論理パーティションの前記状態を前記デスティネーションホストに移行した後、前記デスティネーションホストで前記論理パーティションを実行することと、を含むデータ処理方法。
【請求項2】
前記データセットを移行することは、前記論理パーティションが前記デスティネーションホスト上で実行を開始した後、前記論理パーティションの前記データセットの少なくとも一部を前記ソースホストから前記デスティネーションホストに移行することを含む、請求項１に記載の方法。
【請求項3】
前記データセットを移行することは、前記ソースホストが、前記デスティネーションホストの要求に基づいて、前記データセットの１つ以上のメモリページを前記デスティネーションホストのシステムメモリにコピーすることを含む、請求項１に記載の方法。
【請求項4】
前記データセットを移行することは、前記ソースホストが前記データセットの１つ以上のメモリページを前記デスティネーションホストのシステムメモリにコピーすることを開始することを含む、請求項１に記載の方法。
【請求項5】
前記データセットは、関連するメモリページの仮想－実アドレス変換を定義するそれぞれの関連するページテーブルエントリをそれぞれが有する複数のメモリページを含み、前記方法は、前記ソースホストが、前記複数のメモリページのどのページテーブルエントリが前記デスティネーションホストに移行されたかをデータ構造で追跡することをさらに含む、請求項１に記載の方法。
【請求項6】
前記データセットを移行することは、前記ソースホストが、前記デスティネーションホストのシステムメモリ内のアドレスを指定するストアリクエストをシステムファブリック上で発行することと、
前記ソースホスト内のリンクコントローラが、前記ストアリクエストを受信し、前記アドレスに基づいて、前記通信リンクを介して前記デスティネーションホスト内のメモリコントローラに前記ストアリクエストを送信することと、を含む、請求項１に記載の方法。
【請求項7】
前記データセットを移行することは、前記ソースホストが、前記ソースホストによる更新の対象となる前記データセット内のすべてのメモリページを前記ソースホストのキャッシュからシステムメモリに一括フラッシュすることを含む、請求項１に記載の方法。
【請求項8】
前記ソースホストが、ネットワーク接続を介した通信を利用して、前記ソースホストから前記デスティネーションホストへの論理パーティションの移行を調整することと、前記ソースホストが、前記ネットワーク接続を介して前記データセット及び前記論理パーティションの前記状態を移行することを控えることと、をさらに含む、請求項１に記載の方法。
【請求項9】
ソースホストであるデータ処理システムであって、前記データ処理システムは、システムファブリックと、
システムメモリと、
前記システムファブリックに通信可能に結合されている、前記システムメモリのメモリコントローラと、
前記システムファブリックに通信可能に結合され、通信リンクを介してデスティネーションホストに通信可能に結合されるように構成されたリンクコントローラであって、前記デスティネーションホストは前記ソースホストに対して非コヒーレントである、リンクコントローラと、
前記システムファブリックに通信可能に結合された複数の処理ユニットであって、
前記通信リンクを介して、前記ソースホスト上で実行される論理パーティションのデータセットを、前記ソースホストの前記システムメモリから前記デスティネーションホストのシステムメモリに移行することと、
前記データセットの少なくとも一部を移行した後、前記論理パーティションがその後前記デスティネーションホスト上で実行されるように、前記通信リンクを介して、前記論理パーティションの状態を前記ソースホストから前記デスティネーションホストへ移行することと、により、
前記システムメモリに存在するデータセットを有する論理パーティションを実行し、前記通信リンクを介して前記論理パーティションを前記デスティネーションホストに移行するように構成された複数の処理ユニットと、を含むデータ処理システム。
【請求項10】
前記データセットを移行することは、前記論理パーティションが前記デスティネーションホスト上で実行を開始した後、前記論理パーティションの前記データセットの少なくとも一部を前記ソースホストから前記デスティネーションホストに移行することを含む、請求項９に記載のデータ処理システム。
【請求項11】
前記データセットを移行することは、前記ソースホストが、前記デスティネーションホストの要求に基づいて、前記データセットの１つ以上のメモリページを前記デスティネーションホストのシステムメモリにコピーすることを含む、請求項９に記載のデータ処理システム。
【請求項12】
前記データセットを移行することは、前記ソースホストが前記データセットの１つ以上のメモリページを前記デスティネーションホストのシステムメモリにコピーすることを開始することを含む、請求項９に記載のデータ処理システム。
【請求項13】
前記データセットは、関連するメモリページの仮想－実アドレス変換を定義するそれぞれの関連ページテーブルエントリをそれぞれが有する複数のメモリページを含み、前記複数の処理ユニットは、前記複数のメモリページのどのページテーブルエントリが前記デスティネーションホストに移行されたかをデータ構造で追跡することを実行するようにさらに構成される、請求項９に記載のデータ処理システム。
【請求項14】
前記データセットを移行することは、前記ソースホストが、前記デスティネーションホストのシステムメモリ内のアドレスを指定するストアリクエストを前記システムファブリック上で発行することと、
前記ソースホストの前記リンクコントローラが、前記ストアリクエストを受信し、前記アドレスに基づいて、前記通信リンクを介して前記デスティネーションホスト内のメモリコントローラに前記ストアリクエストを送信することと、を含む請求項９に記載のデータ処理システム。
【請求項15】
前記データセットを移行することは、前記ソースホストが、前記ソースホストによる更新の対象となる前記データセット内のすべてのメモリページを前記ソースホストのキャッシュからシステムメモリに一括フラッシュすることを含む、請求項９に記載のデータ処理システム。
【請求項16】
前記複数の処理ユニットは、前記ソースホストが、ネットワーク接続を介した通信を利用して、前記ソースホストから前記デスティネーションホストへの論理パーティションの移行を調整することと、
前記ソースホストが、前記ネットワーク接続を介して前記データセット及び前記論理パーティションの前記状態を移行することを控えることと、をさらに実行するように構成される、請求項９に記載のデータ処理システム。
【請求項17】
コンピュータ可読記憶装置と、前記コンピュータ可読記憶装置内に格納され、ソースホストとして機能するデータ処理システムによって実行されるプログラムコードとを含み、当該プログラムコードは前記データ処理システムに、
通信リンクを介して、ソースホスト上で実行される論理パーティションのデータセットを、前記ソースホストのシステムメモリから、前記ソースホストに対して非コヒーレントであるデスティネーションホストのシステムメモリに移行することと、
データセットの少なくとも一部を移行した後、前記通信リンクを介して、前記論理パーティションの状態を前記ソースホストから前記デスティネーションホストへ移行することと、
前記論理パーティションの前記状態を前記デスティネーションホストに移行した後、前記デスティネーションホストで前記論理パーティションを実行することと、を実行させる、プログラム製品。
【請求項18】
前記データセットを移行することは、前記論理パーティションが前記デスティネーションホスト上で実行を開始した後、前記論理パーティションの前記データセットの少なくとも一部を前記ソースホストから前記デスティネーションホストに移行することを含む、請求項１７に記載のプログラム製品。
【請求項19】
前記データセットを移行することは、前記ソースホストが、前記デスティネーションホストの要求に基づいて、前記データセットの１つ以上のメモリページを前記デスティネーションホストのシステムメモリにコピーすることを含む、請求項１７に記載のプログラム製品。
【請求項20】
前記データセットを移行することは、前記ソースホストが前記データセットの１つ以上のメモリページを前記デスティネーションホストのシステムメモリにコピーすることを開始することを含む、請求項１７に記載のプログラム製品。
【請求項21】
前記データセットは、関連するメモリページの仮想－実アドレス変換を定義するそれぞれの関連ページテーブルエントリをそれぞれが有する複数のメモリページを含み、前記プログラムコードは、さらに、前記ソースホストに、前記複数のメモリページのどのページテーブルエントリが前記デスティネーションホストに移行されたかをデータ構造で追跡させる、請求項１７に記載のプログラム製品。
【請求項22】
前記データセットを移行することは、前記ソースホストが、前記デスティネーションホストのシステムメモリ内のアドレスを指定するストアリクエストをシステムファブリック上で発行することと、
前記ソースホスト内のリンクコントローラが、前記ストアリクエストを受信し、前記アドレスに基づいて、前記通信リンクを介して前記デスティネーションホスト内のメモリコントローラに前記ストアリクエストを送信することと、を含む、請求項１７に記載のプログラム製品。
【請求項23】
前記データセットを移行することは、前記ソースホストが、前記ソースホストによる更新の対象となる前記データセット内のすべてのメモリページを前記ソースホストのキャッシュからシステムメモリに一括フラッシュすることを含む、請求項１７に記載のプログラム製品。
【請求項24】
前記プログラムコードは、前記ソースホストが、ネットワーク接続を介した通信を利用して、前記ソースホストから前記デスティネーションホストへの論理パーティションの移行を調整することと、
前記ソースホストが、前記ネットワーク接続を介して前記データセット及び前記論理パーティションの前記状態を移行することを控えることと、をさらに実行するように構成される、請求項１７に記載のプログラム製品。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、一般にデータ処理に関し、特に、マルチホストデータ処理環境におけるメモリ移行に関する。
【背景技術】
【0002】
一般に、クラウドコンピューティングは、データ処理、データストレージ、ネットワークリソース、ソフトウェア、およびデータがリモートデータ処理システムにアクセス可能な計算モデルを指し、このようなリソースを提供する基礎となる情報技術（ＩＴ）インフラストラクチャの詳細は、クラウドサービスの消費者にとって透過的である。様々な実装において、ＩＴインフラストラクチャは、クラウド消費者に関して、オンプレミスまたはオフプレミス（または両者のハイブリッド）とすることができる。さらに、クラウドコンピューティングリソースは、広く地理的もしくはトポロジー的またはその両方に分散することができる（ただし、分散する必要はない）。
【0003】
クラウドコンピューティングは、リモートコンピューティングのウェブサイト（インターネットやプライベートな企業ネットワークなど）に容易にアクセスできることで促進され、ウェブベースのリソース、ツール、またはアプリケーションの形態をとることが多く、クラウド利用者は、リソース、ツール、またはアプリケーションがクラウド利用者のコンピュータシステム上にインストールされたローカルプログラムであるかのように、ウェブブラウザを介してアクセスおよび使用することができる。商用クラウドの実装は、一般に、クラウド利用者のサービス品質（ＱｏＳ）要件を満たすことが期待されており、それはサービス品質保証（ＳＬＡ）で指定される場合がある。典型的なクラウド実装では、クラウド利用者は計算資源をサービスとして消費し、使用した資源に対してのみ対価を支払う。
【0004】
クラウドコンピューティングの受け入れは、オペレーティングシステム、サーバ、ストレージデバイス、ネットワークリソースなどのコンピューティングリソースの仮想的なインスタンス（実際のインスタンスではなく）を作成する仮想化の普及により促進されている。例えば、仮想マシン（ＶＭ）は、論理パーティション（ＬＰＡＲ）とも呼ばれ、物理マシン（例えば、コンピュータシステム）のソフトウェア実装で、物理マシンのように命令を実行する。ＶＭは、システムＶＭとプロセスＶＭに分類されることがある。システムＶＭは、Ｗｉｎｄｏｗｓ、Ｌｉｎｕｘ（登録商標）、Ａｎｄｒｏｉｄなどの完全なオペレーティングシステム（ＯＳ）と、それに関連するアプリケーションの実行をサポートする完全なシステムプラットフォームを提供する。一方、プロセスＶＭは、通常、単一のプログラムを実行し、単一の処理をサポートするように設計される。いずれの場合も、ＶＭ上で動作するアプリケーションソフトウェアは、そのＶＭが提供するリソースとアブストラクションに制限される。その結果、一般のＩＴインフラストラクチャによって提供される実際のリソースは、おそらく複数の異なるクラウドコンピューティング顧客からの複数のＶＭの展開を通じて、効率的に管理および利用することができる。実際のＩＴリソースの仮想化とＶＭの管理は、通常、ＶＭモニター（ＶＭＭ）またはハイパーバイザーと呼ばれるソフトウェアによって提供される。
【0005】
典型的な仮想化コンピューティング環境では、ＶＭおよびＶＭＭは、従来の入出力（Ｉ／Ｏ）およびネットワーキングプロトコルを利用して、コンピューティング環境のＩＴインフラストラクチャ内の物理エンティティと互いに通信することができる。当技術分野で知られているように、従来のネットワーキングプロトコルは、一般に、よく知られた７層のオープンシステムインターコネクション（ＯＳＩ）モデルを前提としており、（昇順に）物理層、データリンク、ネットワーク、トランスポート、セッション、プレゼンテーション及びアプリケーション層を含む。いくつかの実装では、ＶＭおよびＶＭＭは、従来の物理層接続の代わりに仮想ネットワーク接続を使用することにより、ＶＭおよびＶＭＭが物理ネットワーク要素であるかのように他のネットワークエンティティとの通信を可能にする。この従来の仮想化されたＩ／Ｏ及びネットワークインフラストラクチャは、当技術分野では仮想入出力サーバ（ＶＩＯＳ）と呼ばれている。
【0006】
説明したようなクラウドコンピューティング環境では、計算ワークロードは、一般に、ワークロードを実行する物理ホストのレジスタおよびキャッシュに保持されるワークロード状態と、物理ホストのデータストレージに存在するワークロードデータセットの２つのコンポーネントを含むものとして特徴付けることができる。これらの計算ワークロードは、例えば、データ処理システムの保守およびアップグレード、負荷分散、規制遵守、セキュリティ、およびリソースの最適化を含む様々な理由から、物理ホスト間で頻繁に転送される。
【0007】
実行中のワークロードをソースホストからデスティネーションホストに転送する１つの従来技術によれば、ソースホストおよびデスティネーションホストのオペレーティングシステムまたはハイパーバイザーは、まず、メモリページごとに、ＶＩＯＳを介してソースホストのメモリからデスティネーションホストのメモリにワークロードデータセットをコピーすることを調整する。ワークロードデータセットが正常に転送された後、ソースホストおよびデスティネーションホストのオペレーティングシステムまたはハイパーバイザーは、ＶＩＯＳを介してソースホストからデスティネーションホストへのワークロード状態の転送を調整する。ソースホストからデスティネーションホストへのワークロードの転送中、ワークロードはソースホスト上で実行し続けるため、ワークロードは一般的にワークロードデータセットからの読み取りとワークロードデータセットへの書き込みの両方を継続する。この技法を用いると、ソースホストが既にデスティネーションホストに転送されたメモリページを更新（書き込み）するたびに、更新されたメモリページの２度目の転送が必要となるため、ワークロードの移行に必要な時間が予測不可能に長くなる。
【0008】
代替技術では、ソースホストとデスティネーションホストのオペレーティングシステムまたはハイパーバイザーは、まず、ＶＩＯＳを介してソースホストからデスティネーションホストへのワークロード状態の転送を調整し、デスティネーションホスト上でワークロードの実行を開始し、その後デマンドページングに基づいてソースホストからデスティネーションホストにメモリページを移行する。したがって、デスティネーションホスト上で実行されるワークロードが、ソースホスト上に存在するメモリページ内のデータに対するアクセス要求を生成するたびに、ソフトウェアページフォルトが発生し、オペレーティングシステムまたはハイパーバイザーは、要求されたメモリページをソースホストからＶＩＯＳを介してデスティネーションホストにコピーすることによってページフォルトに対処する。この代替技術を使用すると、メモリページはソースホストからデスティネーションホストへ１回だけ転送されるが、各デマンドページング要求を処理するのに必要な大きなレイテンシにより、ワークロードの移行期間全体において応答性が悪いという問題がある。
【0009】
本明細書で説明する従来のワークロード移行技術は、いずれもＶＩＯＳを利用して非コヒーレントなホスト間でワークロードを転送するものであり、ホスト間でワークロードデータセットとワークロード状態を通信するために通過しなければならない多くのプロトコル層による高い通信オーバーヘッドとレイテンシを特徴とするものである。
【発明の概要】
【0010】
本発明の様々な実施形態は、ワークロード状態およびワークロードデータセットを転送する間、ＶＩＯＳ（または外部ネットワーク）に関連する通信オーバーヘッドおよびレイテンシを回避しながら、非コヒーレントであるホスト間のワークロードのライブ移行を支援する。
【0011】
少なくとも１つの実施形態では、論理パーティションが移行されるソースホストにサービスを提供するデータ処理システムは、システムファブリックと、システムメモリと、システムファブリックに通信可能に結合されているシステムメモリのメモリコントローラと、システムファブリックに通信可能に結合され、通信リンクを介してソースホストに対して非コヒーレントであるデスティネーションホストに通信可能に結合されるように構成されたリンクコントローラとを含み得る。ソースホストは、さらに、システムファブリックに通信可能に結合された複数の処理ユニットを含む。複数の処理ユニットは、例えば、ハイパーバイザーまたは仮想マシンモニタによって、システムメモリに存在するデータセットを有する論理パーティションを実行し、通信リンクを介して論理パーティションをデスティネーションホストに移行するように構成される。論理パーティションの移行は、通信リンクを介して、ソースホスト上で実行される論理パーティションのデータセットをソースホストのシステムメモリからデスティネーションホストのシステムメモリに移行することを含む。データセットの少なくとも一部を移行した後、論理パーティションがデスティネーションホスト上で実行されるように、通信リンクを介して、論理パーティションの状態をソースホストからデスティネーションホストへ移行する。この移行技術により、移行のレイテンシが短縮され、論理パーティションのジッターが改善される。
【0012】
本発明の態様はまた、データ処理方法として実施することができる。一例では、この方法は、通信リンクを介して、ソースホスト上で実行される論理パーティションのデータセットを、ソースホストのシステムメモリから、ソースホストに対して非コヒーレントであるデスティネーションホストのシステムメモリに移行することを含み得る。データセットの少なくとも一部を移行した後、通信リンクを介して、論理パーティションの状態はソースホストからデスティネーションホストへ移行される。論理パーティションの状態をデスティネーションホストに移行した後、デスティネーションホストで論理パーティションが実行される。
【0013】
本発明の態様はまた、プログラム製品として実施することができる。一例では、プログラム製品は、コンピュータ可読記憶装置と、コンピュータ可読記憶装置内に格納され、ソースホストとして機能するデータ処理システムによって実行されるプログラムコードとを含み、プログラムコードはデータ処理システムに、通信リンクを介して、ソースホスト上で実行される論理パーティションのデータセットを、ソースホストのシステムメモリから、ソースホストに対して非コヒーレントであるデスティネーションホストのシステムメモリに移行させる。また、プログラムコードは、データセットの少なくとも一部を移行した後、論理パーティションがデスティネーションホスト上で実行されるように、データ処理システムに、通信リンクを介して、論理パーティションの状態をソースホストからデスティネーションホストへ移行させる。
【0014】
いくつかの例またはオペレーティングシナリオにおいて、データセットを移行することは、論理パーティションがデスティネーションホスト上で実行を開始した後、論理パーティションのデータセットの少なくとも一部をソースホストからデスティネーションホストに移行することを含む。
【0015】
いくつかの例またはオペレーティングシナリオにおいて、データセットを移行することは、ソースホストが、デスティネーションホストの要求に基づいて、データセットの１つ以上のメモリページをデスティネーションホストのシステムメモリにコピーすることを含む。
【0016】
いくつかの例またはオペレーティングシナリオにおいて、データセットを移行することは、ソースホストがデータセットの１つ以上のメモリページをデスティネーションホストのシステムメモリにコピーすることを開始することを含む。
【0017】
いくつかの例またはオペレーティングシナリオでは、データセットは関連するメモリページの仮想－実アドレス変換を定義するそれぞれの関連するページテーブルエントリをそれぞれが有する複数のメモリページを含み、ソースホストは、複数のメモリページのどのページテーブルエントリがデスティネーションホストに移行されたかをデータ構造で追跡する。
【0018】
いくつかの例またはオペレーティングシナリオにおいて、データセットを移行することは、ソースホストがデスティネーションホストのシステムメモリ内の実アドレスを指定するストアリクエストをシステムファブリック上で発行することと、ソースホスト内のリンクコントローラがストアリクエストを受信し、実アドレスに基づいて、ストアリクエストを通信リンクを介してデスティネーションホスト内のメモリコントローラに送信することと、を含む。
【0019】
いくつかの例では、データセットを移行することは、ソースホストが、ソースホストによる更新の対象となるデータセット内のすべてのメモリページをソースホストのキャッシュからシステムメモリに一括フラッシュすることを含む、請求項１に記載の方法である。
【0020】
いくつかの例では、ソースホストは、仮想入出力サーバ（ＶＩＯＳ）などのネットワーク接続を介した通信を利用して、ソースホストからデスティネーションホストへの論理パーティションの移行を調整するが、ネットワーク接続を介してデータセット及び論理パーティションの状態を移行することは控える。
【図面の簡単な説明】
【0021】
本発明の実施形態は、添付の図面を参照して、例示のためにのみ説明される。
【図1】一実施形態による、例示的なホストデータ処理システムのハイレベルブロック図である。
【図2】一実施形態による、ホストデータ処理システムの例示的な処理ユニットのより詳細なブロック図である。
【図3】一実施形態による、複数のホストが非コヒーレント通信リンクによって結合されている例示的なデータ処理システム環境を示す。
【図4】一実施形態による、例示的なホストデータ処理システムのハイパーバイザーおよび論理パーティションの論理ビューを示す。
【図5】一実施形態による、例示的なページテーブルエントリ（ＰＴＥ）を示す。
【図6】一実施形態による、例示的なホストデータ処理システムの様々なメモリアクセス要求を示す。
【図7】一実施形態による、２つのホストデータ処理システムが通信することができる例示的な書き込みプリミティブを示す。
【図8】一実施形態による、２つのホストデータ処理システムが通信することができる例示的な読み取りプリミティブを示す。
【図12】一実施形態による、論理パーティションの移行中にソースホストがページプロテクション更新を処理する例示的な方法のハイレベル論理フローチャートである。
【図13】一実施形態による、ソースホストが論理パーティションのメモリページをデスティネーションホストにコピーする例示的な方法のハイレベル論理フローチャートである。
【図14】一実施形態による、移行中の論理パーティションをデスティネーションホストが受信してアクティブ化する例示的な方法のハイレベル論理フローチャートである。
【図15】一実施形態による、移行中の論理パーティションのページフォルトをデスティネーションホストが処理する例示的な方法のハイレベル論理フローチャートである。
【図16】一実施形態による、ソースホストから移行中の論理パーティションのメモリページをデスティネーションホストが「プル」する例示的な方法のハイレベル論理フローチャートである。
【図17】一実施形態による、デスティネーションホストから移行中の論理パーティションのメモリページに対する「プル」要求をソースホストが処理する例示的な方法のハイレベル論理フローチャートである。
【図18】一実施形態による、デスティネーションホストに移行中の論理パーティションのメモリページをソースホストが「プッシュ」する例示的な方法のハイレベル論理フローチャートである。
【図19】一実施形態による、ソースホストから移行中の論理パーティションのメモリページに対する「プッシュ」要求をデスティネーションホストが処理する例示的な方法のハイレベル論理フローチャートである。
【図20】一実施形態による、設計処理を示すデータフロー図である。
【発明を実施するための形態】
【0022】
ここで図を参照すると、同様の参照数字は全体を通して同様の部分および対応する部分を指し、特に図１を参照すると、一実施形態による例示的なデータ処理システム１００を描いたハイレベルブロック図が図示されている。様々な使用例およびトポロジーにおいて、ハードウェア構成要素を含み、ソフトウェアもしくはファームウェアまたはその両方の構成要素を追加的に含み得る、データ処理システム１００のようなデータ処理システムは、当技術分野において、「ホスト」または「ホストデータ処理システム」と呼ばれることがある。様々なオペレーティングシナリオにおいて、任意の所与のホストは、ワークロード（例えば、論理パーティション）がそこから移行されるソースホスト、またはワークロードがそこに移行されるデスティネーションホストとなり得る。
【0023】
描かれた実施形態では、ホストデータ処理システム１００は、データおよび命令を処理するための複数の処理ノード１０２を含むキャッシュコヒーレントマルチプロセッサ（ＭＰ）データ処理システムである。処理ノード１０２は、アドレス、データおよび制御情報を伝達するためのシステムインターコネクト１１０に結合される。システムインターコネクト１１０は、例えば、バスドインターコネクト、スイッチドインターコネクト、またはハイブリッドインターコネクトとして実装され得る。
【0024】
描かれた実施形態では、各処理ノード１０２は、好ましくはそれぞれがそれぞれの集積回路として実現される１つ以上（例えば、４つ）の処理ユニット１０４ａ～１０４ｄを含むマルチチップモジュール（ＭＣＭ）として実現される。各処理ノード１０２内の処理ユニット１０４は、システムインターコネクト１１０と同様に、例えば、１つ以上のバスおもしくはスイッチまたはその両方で実現され得るローカルインターコネクト１１４によって、互いにおよびシステムインターコネクト１１０に通信のために結合される。システムインターコネクト１１０およびローカルインターコネクト１１４は、一緒になってシステムファブリックを形成する。少なくともいくつかの好ましい実施形態では、システムファブリック上の通信は、いわゆるホストバスプロトコルに準拠し、これは、とりわけ、システムファブリックを介して通信を行う物（例えば、キャッシュ、メモリコントローラなど）の間で通信される法的要求、応答、および制御情報の所定のセットを定義している。
【0025】
図２を参照してより詳細に後述するように、いくつかの実施形態では、処理ユニット１０４の１つ以上（および場合によっては処理ユニット１０４のすべて）はそれぞれ、ローカルインターコネクト１１４に結合されたメモリコントローラ１０６を含み、それぞれのシステムメモリ１０８へのインターフェースを提供する。システムメモリ１０８に存在するデータおよび命令は、一般に、データ処理システム１００内の任意の処理ノード１０２の任意の処理ユニット１０４内のプロセッサコアによってアクセスされ、キャッシュされ、修正され得る。他の実施形態では、１つ以上のメモリコントローラ１０６（およびシステムメモリ１０８）は、ローカルインターコネクト１１４ではなく、システムインターコネクト１１０に直接または間接に結合（例えば、スイッチを介して）され得る。
【0026】
当業者は、図１のデータ処理システム１００が、インターコネクトブリッジ、不揮発性ストレージ、ネットワークまたは付属デバイスに接続するためのポートなどの多くの追加の図示されていない構成要素を含み得ることを理解するであろう。そのような追加の構成要素は、説明された実施形態の理解に必要ではないので、図１に図示されず、本明細書でさらに議論されない。しかしながら、ここで説明する補足は、多様なアーキテクチャのデータ処理システムに適用可能であり、決して図１に図示された一般化されたデータ処理システムアーキテクチャに限定されないことも理解されたい。
【0027】
ここで図２を参照すると、一実施形態による例示的な処理ユニット１０４およびシステムメモリ１０８のより詳細なブロック図が描かれている。描かれた実施形態では、各処理ユニット１０４は、命令およびデータを処理するための１つ以上のプロセッサコア２００を含む集積回路である。描かれた例では、プロセッサコア２００は、１つ以上の同時実行ハードウェアスレッドからの命令を実行することができる１つ以上の実行ユニット２０２を含む。
【0028】
プロセッサコア２００は、実行ユニット２０２におけるメモリ参照命令の実行によって決定された有効なアドレスを、データ処理システム１００内のすべての処理ユニット１０４によって参照される実アドレス空間内の実アドレスに変換する責任を負うメモリ管理ユニット（ＭＭＵ）２０４をさらに含む。ＭＭＵ２０４は、翻訳ルックアサイドバッファ（ＴＬＢ）、有効－実アドレス変換（ＥＲＡＴ）キャッシュ、セグメントルックアサイドバッファ（ＳＬＢ）などの１つ以上の変換構造２０６を参照して、有効－実アドレス変換を実行する。これらのアドレス変換構造の数もしくはタイプまたはその両方は、実装およびアーキテクチャ間で異なる場合がある。アドレス変換構造２０６は、以下でさらに論じるように、システムメモリ１０８から取得され得る選択されたアドレス変換のローカルコピーをバッファリングすることによって、アドレス変換に関連するレイテンシを低減する。
【0029】
各プロセッサコア２００のオペレーションは、様々なシステムメモリ１０８によって提供され、メモリコントローラ１０６を介してアクセス可能にされた複合システムメモリを最下層に有するマルチレベルメモリ階層によって支援される。個々のメモリコントローラ１０６が責任を負う実アドレス範囲は、例えば、メモリコントローラ１０６内の１つ以上のベースアドレスレジスタ（ＢＡＲ）２１６の適切な構成を通じて、ハイパーバイザーもしくはオペレーティングシステムソフトウェアまたはその両方によって定義できる。図示されるように、システムメモリ１０８は、特に、様々なワークロードのデータセット（「論理パーティション」（ＬＰＡＲ）とも呼ばれる）のためのストレージを提供する、複数のメモリページ２０９を格納する。さらに、１つ以上のシステムメモリ１０８は、複数のページテーブルエントリ（ＰＴＥ）２１２を含むページフレームテーブル２１０を格納し、各ＰＴＥ２１２は、システムメモリ１０８の１つに存在するそれぞれの対応するメモリページ２０９に対する有効－実アドレス変換を指定する。ＰＴＥ２１２は、さらに、異なるメモリページに対するアクセスプロテクション（例えば、読み取り専用、読み取り／書き込み（Ｒ／Ｗ）等）を指定する。ＭＭＵ２０４によってページフレームテーブル２１０からアクセスされるＰＴＥ２１２は、例えば、アドレス変換構造２０６において、その後のアクセスのためにＭＭＵ２０４によってキャッシュされ得る。ページフレームテーブル２１０は、例えば、データ処理システム１００内で実行されるオペレーティングシステムもしくはハイパーバイザーソフトウェアまたはその両方によって確立、維持、および更新され得る。
【0030】
各プロセッサコア２００のマルチレベルメモリ階層は、さらに、１つ以上のレベルのキャッシュメモリを含み、図示の実施形態では、各プロセッサコア２００内のプライベートなストアスルーレベル１（Ｌ１）キャッシュ２０８と、各プロセッサコア２００のそれぞれのストアインレベル２（Ｌ２）キャッシュ２３０とが含まれる。図示のキャッシュ階層は、キャッシュの２つのレベルのみを含むが、当業者は、他の実施形態が、オンチップまたはオフチップ、プライベートまたは共有、インラインまたはルックアサイドキャッシュの追加のレベル（Ｌ３、Ｌ４など）を含むことがあり、これらは、キャッシュの上位レベルの内容を完全に包含するか、部分的に包含するか、または包含しなくてもよいことを理解するであろう。
【0031】
描かれている実施形態では、各処理ユニット１０４は、ホストバスプロトコルに従ってシステムファブリック上のオペレーションの流れを制御し、所望のキャッシュコヒーレンシプロトコルを実装するために必要なコヒーレンシ通信を実装する責任を負う統合および分散ファブリックコントローラ２１４をさらに含む。処理ユニット１０４は、１つ以上のＩ／ＯデバイスもしくはＩ／Ｏチャネルまたはその両方（図示せず）の取り付けをサポートする統合Ｉ／Ｏ（入力／出力）コントローラ２１８をさらに含み得る。
【0032】
描かれた例ではまた、処理ユニット１０４は、少なくとも１つのオペレーティングモードにおいて、非コヒーレント通信リンクを介して他のホストデータ処理システム１００のホストデータ処理システム１００への取り付けをサポートする、取り付けられた非コヒーレント（ＮＣ）リンクコントローラ２２０を含む。例えば、図３は、ホストデータ処理システム１００ａおよびホストデータ処理システム１００ｂが非コヒーレント通信リンク３０２による通信のために一緒に結合されている例示的なデータ処理システム環境３００を示す（データ処理システム環境３００は、オプションとして、追加の非コヒーレント通信リンク３０２によってホスト１００ａもしくは１００ｂまたはその両方に結合された１つ以上の追加のホスト１００を含み得る）。このような配置では、ホストデータ処理システム１００ａ、１００ｂの各々は、他のホストと非コヒーレントであるそれ自身のそれぞれの実アドレス空間を維持する。各ホスト１００ａ、１００ｂ内のＮＣリンクコントローラ２２０が責任を負う実アドレス範囲は、例えば、ＮＣリンクコントローラ２２０内の１つ以上のベースアドレスレジスタ（ＢＡＲ）２２４の適切な構成を通じて、ハイパーバイザーもしくはオペレーティングシステムソフトウェアまたはその両方によって定義できる。一度構成されると、ローカルメモリコントローラ１０６のＢＡＲ２１６によって定義された実アドレス範囲内の実アドレスを指定する、ホスト１００のシステムファブリック上で送信されるメモリアクセス要求は、関連するシステムメモリ１０８を参照することによってそのメモリコントローラ１０６によりサービスされ得る。ＮＣリンクコントローラ２２０のＢＡＲ２２４によって定義される実アドレス範囲内の実アドレスを指定するシステムファブリック上のメモリアクセス要求は、ＮＣリンクコントローラ２２０によってＮＣ通信リンク３０２を介して他のホスト１００ａまたは１００ｂへ送信される。非コヒーレント通信リンク３０２を介してＮＣリンクコントローラ２２０によって受信されたインバウンドメモリアクセス要求は、レシービングホスト１００のシステムファブリック上でＮＣリンクコントローラ２２０によって送信される。
【0033】
再び図２を参照すると、処理ユニット１０４は、ネストメモリ管理ユニット（ＮＭＭＵ）２２８をさらに含み、これは、システムファブリックを介した要求に応じて、ＮＣリンクコントローラ２２０などの他の通信を行う物にアドレス変換を提供する。他の実施形態では、ＮＭＭＵ２２８は、例えば、ローカルインターコネクト１１４ではなくシステムインターコネクト１１０に結合されることによって、代替のまたは追加の方法で、ＮＣリンクコントローラ２２０を含む通信を行う物にアドレス変換を提供するように通信可能に結合され得ることを理解されたい。
【0034】
図４は、一実施形態による図１～図３のホスト１００ａまたは１００ｂのソフトウェア構成の論理ビューを示す図である。この例では、各ホスト１００のソフトウェア構成４００は、ホスト１００のハードウェアおよびソフトウェアリソースを管理するハイパーバイザー（またはＶＭＭ）４０２を含む。ハイパーバイザー４０２は、１つ以上の論理パーティション（ＬＰＡＲ）４０４の実装を通して、ホスト１００の基礎となるリソースの多くを仮想化する。この例では、各ＬＰＡＲ４０４は、ホスト１００の１つ以上のプロセッサコア２００内の指定数のハードウェアスレッド４０６、ＬＰＡＲ４０４のデータセットを格納するための指定実メモリアドレスの（メモリページ２０９からの）メモリページ４０８のコレクション、オペレーティングシステム４１０（例えば、Ｌｉｎｕｘ（登録商標）、Ｗｉｎｄｏｗｓ（登録商標）、Ａｎｄｒｏｉｄ（登録商標）、ｉＯＳ（登録商標）など）のインスタンス、ＯＳ４１０で実行するアプリケーション４１２のコレクションを含む。ハイパーバイザー４０２は、さらに、ホスト１００がＩ／Ｏコントローラ２１８を介して結合される物理ネットワーク接続を仮想化する仮想入出力サーバ（ＶＩＯＳ）４２０を介して、ＬＰＡＲ４０４間のネットワーク接続およびハイパーバイザー４０２と他のホスト１００との間のネットワークをサポートする。
【0035】
上述したように、ハイパーバイザー４０２は、任意の様々な理由のために、ライブワークロード、例えばＬＰＡＲ４０４の１つを自身のホスト１００から別のホスト１００に移行することが望ましいまたは必要であると決定し得る。本明細書で説明する実施形態に従って、移行は、好ましくは、移行中のＬＰＡＲ４０４のデータセットおよび状態を、ＬＰＡＲ４０４が最初に実行されていたホスト１００（本明細書では「ソースホスト」と呼ぶ）から、ＬＰＡＲ４０４がその実行を継続する別のホスト１００（本明細書では「デスティネーションホスト」と呼ぶ）へ、ＶＩＯＳ４２０によってサポートされる仮想ネットワーク接続（従来のように）ではなく、ＮＣ通信３０２を使用してコピーする。ＬＰＡＲデータセットの移行にＶＩＯＳ４２０ではなくＮＣ通信リンク３０２を採用することは、ＬＰＡＲデータセットを構成するメモリページの重複送信を低減または排除し、これによりＬＰＡＲ移行を加速させるという利点を有する。ＮＣ通信リンク３０２を採用することは、さらに、移行中のＬＰＡＲのアプリケーション４１２に対して予測可能な応答時間を提供するという利点もある。
【0036】
ここで図５を参照すると、一実施形態による例示的なページテーブルエントリ（ＰＴＥ）２１２が図示されている。この例では、ＰＴＥ２１２は、ＰＴＥ２１２の内容が有効であり、したがってメモリページ２０９の関連する１つにおいて仮想アドレスを実アドレスに変換する際に使用可能であるか否かを示す有効フィールド５０２を含む。さらに、ＰＴＥ２１２は、関連するメモリページ２０９のベースストレージ位置に割り当てられた仮想アドレスおよび実アドレスをそれぞれ指定する仮想アドレス（ＶＡ）フィールド５０４および実アドレス（ＲＡ）フィールド５０６を含む。ＰＴＥ２１２はまた、関連するメモリページ２０９の１つ以上の属性を示す１つ以上のページプロテクションフィールドを含む。例えば、図示された実施形態では、ページプロテクションフィールドは、リード（Ｒ）フィールド５０８およびリードライト（ＲＷ）フィールド５１０をそれぞれ含み、代替的に、関連するメモリページ２０９が読み取り専用であるか、読み取りおよび書き込みの両方のアクセスの対象となるかを示している。以下、Ｒ＝１、ＲＷ＝０のフィールド値は、関連するメモリページ２０９がリードオンリーメモリページであることを示し、Ｒ＝０、ＲＷ＝１のフィールド値は、関連するメモリページ２０９がリードライトメモリページであることを示しているとする。
【0037】
図示された実施形態では、ＰＴＥ２１２は、ソースホスト１００のシステムメモリ１０８からデスティネーションホスト１００のシステムメモリ１０８への関連するメモリページ２０９の移行を管理するためにハイパーバイザー４０２によって利用され得る１以上の移行関連フィールドを追加的に含む。この実施形態では、これらの移行関連フィールドは、関連するメモリページ２０９がソースホスト１００からデスティネーションホスト１００にコピーされたかどうかを示すコピー（ＣＰ）フィールド５１２、関連するメモリページ２０９内のすべてのデータがクリーニングされた（すなわち、システムメモリ１０８内のメモリページのイメージが任意のキャッシュされたデータと一致するように、すべての変更されたデータがキャッシュメモリからシステムメモリ１０８に書き込まれた）かどうかを示すクリーニング（ＣＬ）フィールド５１４、およびＰＴＥ２１２が移行された（すなわち、デスティネーションホスト１００のシステムメモリ１０８に存在する）が認証されなかったかどうかを示す移行（ＭＩ）フィールド５１６を含む。ＰＴＥ２１２における移行関連フィールド５１２～５１６の実装は設計上の選択であり、他の実施形態では、ＰＴＥ２１２からこれらのフィールドを省略し、代わりにＬＰＡＲデータセットの移行を管理するために１つ以上の他のデータ構造を利用してもよいことを理解されたい。
【0038】
ここで図６を参照すると、例示的なホストデータ処理システム１００の様々なメモリアクセス要求が描かれている。図６において、ホストデータ処理システム１００のコア２００（例えば、ホストデータ処理システム１００ａ）は、例えばアプリケーション４１２のユーザレベルの命令を第１のハードウェアスレッドで実行し、ハイパーバイザー４０２の命令を第２のハードウェアスレッドで実行する。第１のハードウェアスレッドにおけるユーザレベルの命令の実行は、メモリアクセス要求６０２を生成し、その各々は、仮想アドレス空間６０６においてアクセスすべきそれぞれのターゲット仮想（論理）アドレス（例えば、仮想アドレス６１０又は６１２）を指定する。上で説明したように、コア２００のＭＭＵ２０４は、ＰＴＥ２１２によって提供されるアドレス変換に基づいて、ターゲット仮想アドレス６１０、６１２のそれぞれを実アドレス空間６０８内のそれぞれの実アドレス６１４又は６１６に変換する。この例では、実アドレス６１４は、ローカルメモリコントローラ１０６が責任を負うホストデータ処理システム１００ａのシステムメモリ１０８内のストレージ位置を識別する。対照的に、実アドレス６１６は、ＮＣリンクコントローラ２２０が責任を負うホストデータ処理システム１００ｂのシステムメモリ１０８内のストレージ位置を識別する。したがって、ホストデータ処理システム１００ａのシステムファブリック上で送信されるメモリアクセス要求は、ホストデータ処理システム１００ａ、１００ｂのハイパーバイザー４０２による実アドレス割り当てに応じて、ローカルシステムメモリ１０８内のストレージ位置または別のホストデータ処理システム１００ｂ（ホストデータ処理システム１００ａとは非コヒーレント）のリモートシステムメモリ１０８内のストレージ位置へのアクセスを開始できる。
【0039】
少なくともいくつかの実施形態では、ハイパーバイザー４０２のメモリアクセス要求は、ユーザレベルのメモリアクセス要求６０２のターゲットアドレスに適用される同じアドレス変換を受ける必要はない。例えば、図６は、コア２００の第２のハードウェアスレッドで実行されるハイパーバイザー４０２の命令が、メモリアクセス要求６０４を生成することもあることをさらに示している。しかし、この場合、メモリアクセス要求６０４は、実アドレス空間６０８の実アドレス６１４、６１６を直接指定する。その結果、ホストデータ処理システム１００ａのハイパーバイザー４０２は、ＰＴＥ２１２に記録された仮想－実アドレス変換を使用せずに、ホストデータ処理システム１００ａのローカルシステムメモリ１０８内のストレージ位置およびホストデータ処理システム１００ｂのリモートシステムメモリ１０８内のストレージ位置にアクセスできる。
【0040】
次に図７を参照すると、一実施形態による、ホストデータ処理システム１００ａ、１００ｂの一方が非コヒーレント通信リンク３０２を介して他のホスト１００ａまたは１００ｂのシステムメモリ１０８にデータを書き込むことができる例示的な書き込みプリミティブ７００が図示されている。書き込みプリミティブ７００は、ハイパーバイザー４０２、ＯＳ４１０、またはアプリケーション４１２の命令シーケンスの一部を形成し得る。
【0041】
示されるように、書き込みプリミティブ７００は、データグラニュールをメモリに格納する第１のストアオペレーション７０２を含む。図９は、このストアオペレーションの例示的な実施形態のハイレベル論理フローチャートを提供する。この例示的な実施形態では、図９に示されるストアオペレーションは、ブロック９００で始まり、その後、ホスト１００（以下、ホスト１００ａと仮定する）のコア２００が、データグラニュールのメモリへの格納を指定するストア命令を実行することを示すブロック９０２に進む。適用可能な仮想－実アドレス変換の後、コア２００は、データグラニュールを、他のホスト１００（すなわち、ホスト１００ｂ）内のシステムメモリ１０８に割り当てられたターゲット実アドレスと関連して、そのキャッシュ階層（例えば、そのＬ２キャッシュ２３０内）に格納する。ホスト１００ａ、１００ｂは非コヒーレントであり、ＮＣ通信リンク３０２はホスト１００ａ、１００ｂ間でコヒーレンスメッセージングを送信しないので、データグラニュールをホスト１００ａのキャッシュメモリに記憶するだけでは、データグラニュールとターゲット実アドレスとの間の関連性をホスト１００ｂのハードウェアスレッドに可視化するのに不十分である。したがって、ストアオペレーションは、コア２００がキャッシュクリーン命令を実行して、データグラニュールをコア２００のキャッシュ階層からホスト１００ｂの関連システムメモリ１０８に強制的にコピーすることをさらに含む（ブロック９０４）。その後、図９の処理はブロック９０６で終了する。
【0042】
図７に戻り、プログラム順のストアオペレーション７０２に続いて、書き込みプリミティブ７００は、プログラム順のバリアオペレーション７０４に続くすべてのオペレーションの実行に先立って、プログラム順のバリアオペレーション７０４に先立つすべてのオペレーションの実行を命令するバリアオペレーション７０４を含む。プログラム順でバリアオペレーション７０４に続いて書き込みプリミティブ７００が含むのは、第２のストアオペレーション７０６である。ストアオペレーション７０６は、新しいデータグラニュールがホスト１００ｂのシステムメモリ１０８に書き込まれたことを示すために、ホスト１００ａまたはホスト１００ｂの任意のシステムメモリ１０８に存在するフラグ変数（ホスト１００ｂ上で実行する処理によってポーリングされ得る）を更新（例えば、１の値へ）する。フラグがホスト１００ｂ上に存在する場合、ストアオペレーション７０６は、図９を参照して上述したように実行され得る。
【0043】
次に図８を参照すると、一実施形態による、ホストデータ処理システム１００ａ、１００ｂの一方が非コヒーレント通信リンク３０２を介して他のホスト１００ａ、１００ｂのシステムメモリ１０８からデータを読み取ることができる例示的な読み取りプリミティブ８００が描かれている。読み取りプリミティブ８００は、ハイパーバイザー４０２、ＯＳ４１０、またはアプリケーション４１２の命令シーケンスの一部を形成し得る。
【0044】
示されるように、読み取りプリミティブ８００は、メモリからフラグをロードする第１のロードオペレーション８０２を含む。図１０は、このロードオペレーションの例示的な実施形態のハイレベル論理フローチャートを提供する。この実施形態では、ロードオペレーションはブロック１０００で始まり、その後、ホスト１００（以下、ホスト１００ａと仮定する）のコア２００が、ロードされるデータグラニュール（例えば、フラグ）の実アドレスに関連するホスト１００ａ内の任意のキャッシュされたデータが、ホスト１００ａのキャッシュから除去されてホスト１００ｂの関連するメモリコントローラ１０６に書き戻されることを指定するフラッシュ命令を実行することを示すブロック１００２に進む。ロードオペレーションは、その後、コア２００が、ホスト１００ｂの関連するシステムメモリ１０８からデータグラニュールをロードするロード命令を実行することをさらに含む（ブロック１００４）。その後、図１０の処理は、ブロック１００６で終了する。
【0045】
図８に戻ると、ロードオペレーション８０２に続いて、ロードプリミティブ８００は、ホスト１００ｂからロードされたフラグの値を所定の値（例えば、１）と比較して、ロードデータのグラニュールが読み取られる準備ができているかどうかを決定する比較オペレーション８０４を含む。比較オペレーション８０４が、フラグの値がロードデータのグラニュールが読み取り可能な状態であることを示すと決定した場合、条件分岐オペレーション８０６は、ロードプリミティブ８００の実行をロードオペレーション８１０に継続させる。ホスト１００ｂのシステムメモリ１０８からデータグラニュールをロードするロードオペレーション８１０は、図１０を参照して上述したように実行することができる。比較オペレーション８０４が、フラグの値がロードデータのグラニュールが読み取る準備ができていないことを示すと決定した場合、分岐オペレーション８０８は、ロードプリミティブ８００の実行を、これまで説明したロードオペレーション８０２に分岐させて戻すようにする。
【0046】
図７～１０を参照して上述したセマフォ通信は、相互に非コヒーレントであるホストデータ処理システム間の読み取りおよび書き込み通信をサポートするための複数の代替技術の１つに過ぎないことを当業者は理解するだろう。
【0047】
次に図１１Ａ～１１Ｂを参照すると、一実施形態による、ソースホスト１００がソースホスト１００からデスティネーションホスト１００にＬＰＡＲ４０４を移行する例示的な方法のハイレベル論理フローチャートが図示されている。処理はブロック１１００で始まり、ソースおよびデスティネーションホスト１００（以下、それぞれホスト１００ａおよび１００ｂとする）のハイパーバイザー４０２が、ホスト１００ａ、１００ｂのリソース（例えば、ハードウェアスレッド４０６、実メモリアドレス、メモリページ２０９など）のＬＰＡＲ４０４への割り当てを交渉し、ホスト１００ａ、１１０ｂ間の通信に使用する特定のメモリページ２０９を確立するために互いに通信する様子を示すブロック１１０２に進む。少なくともいくつかの実施形態では、ソースホスト１００ａおよびデスティネーションホスト１００ｂのハイパーバイザー４０２は、ＶＩＯＳ４２０を介してブロック１１０２で通信する。
【0048】
処理はブロック１１０２から、ソースホスト１００ａのハイパーバイザー４０２が、ホスト１００ａからホスト１００ｂのシステムメモリ１０８の移行中のＬＰＡＲ４０４のデータセットを備えるメモリページ４０８の全てをコピーし終えたか否かを決定していることを例示するブロック１１０４に進む。そうである場合、処理は、以下に説明するブロック１１１２に進む。しかしながら、ソースホスト１００ａのハイパーバイザー４０２が、ブロック１１０４において、ソースホスト１００ａからデスティネーションホスト１００ｂへの移行中のＬＰＡＲのデータセットを備えるメモリページ４０８のコピーが完了していないと決定した場合、処理はブロック１１０６で継続する。ブロック１１０６は、ソースホスト１００ａのハイパーバイザー４０２が、ソースホスト１００ａからデスティネーションホスト１００ｂへの移行中のＬＰＡＲ４０４の状態の移行を開始するかどうかを決定することを示す。ハイパーバイザー４０２は、データセットの全てまたは一部が移行される前に移行中のＬＰＡＲ４０４の状態を移行することを決定してもよく、または移行中のＬＰＡＲ４０４のデータセットの全てがデスティネーションホスト１００ｂにコピーされるまで移行中のＬＰＡＲ４０４の状態を移行することを待ってもよいことに留意されたい。一例として、ハイパーバイザー４０２は、最も頻繁に（または最も最近に）アクセスされたメモリページ４０８であるメモリページ４０８のサブセット内のすべてのメモリページ４０８が移行された後、移行中のＬＰＡＲ４０４の状態を移行するようにブロック１１０６で決定してもよい。ブロック１１０６での肯定的な決定に応答して、処理はブロック１１０６からブロック１１１２に進む。ブロック１１０６での否定的な決定に応答して、処理はブロック１１０８に進む。
【0049】
ブロック１１０８において、ソースホスト１００ａのハイパーバイザー４０２は、移行中のＬＰＡＲ４０４のデータセット内の１つ以上のメモリページ４０８を、デスティネーションホスト１００ｂの少なくとも１つのシステムメモリ１０８にコピーする。少なくともいくつかの実施形態では、ブロック１１０８におけるメモリページ４０８のコピーは、図１３を参照して以下に説明する処理に従って実行することができる。メモリページ４０８のコピーは、連続する実アドレスシーケンスへの複数のストアプリミティブの実行を必要とする場合があることを理解されたい。例えば、メモリページ４０８は４ＫＢであってもよく、一方、ストアプリミティブによってコピーされる個々のデータグラニュールのサイズは１２８Ｂであってもよい。この例では、メモリページ４０８のコピーには、３２回のストアプリミティブの実行が必要となる。ソースホスト１００ａからデスティネーションホスト１００ｂに完全にコピーされた各メモリページ４０８について、ソースホスト１００ａのハイパーバイザー４０２は、ホスト１００ａのシステムメモリ１０８内の関連ＰＴＥ２１２のＣＰフィールド５１２を設定して、メモリページ４０８がデスティネーションホスト１００ｂにコピーされたことを示す（ブロック１１１０）。図１１Ａの処理は、ブロック１１１０からブロック１１０４に戻る。
【0050】
ブロック１１１２および以下のブロックにおいて、ソースホスト１００ａのハイパーバイザー４０２は、移行中のＬＰＡＲ４０４の状態をソースホスト１００ａからデスティネーションホスト１００ｂにコピーする。ブロック１１１２を具体的に参照すると、ソースホスト１００ａのハイパーバイザー４０２は、移行中のＬＰＡＲ４０４のハードウェアスレッド４０６をその制御下に置く。さらに、ハイパーバイザー４０２は、移行中のＬＰＡＲ４０４の各ハードウェアスレッド４０６の状態（例えば、実行コア２００内のハードウェアスレッド４０６に関連するデータおよび制御レジスタの内容）を保存し、移行中のＬＰＡＲ４０４のそのようなハードウェアスレッド状態のそれぞれをデスティネーションホスト１００ｂ内のシステムメモリ１０８に書き込む。ブロック１１１４で図示される移行中のＬＰＡＲ４０４のハードウェアスレッドの状態のコピーは、図７および図９を参照して上述したように、書き込みプリミティブ７００を利用するＮＣ通信リンク３０２を介して実行できる。ブロック１１１６で、ソースホスト１００ａのハイパーバイザー４０２はまた、ＰＴＥ２１２を無効にし（例えば、有効フィールド５０２を０にリセットし）、移行（ＭＩ）フィールド５１６を（例えば１に）設定することによって、移行中のＬＰＡＲ４０４のデータセット内のメモリページ４０８に関連する各ＰＴＥ２１２を更新する。ブロック１１１６はさらに、ハイパーバイザー４０２が、ソースホスト１００ａのアドレス変換構造２０６において無効化されたＰＴＥ２１２に対応する任意のエントリを無効化し、無効化されたＰＴＥによって変換された実アドレスを参照するソースホスト１００ａ内のあらゆるインフライトオペレーションがソースホスト１００ａのコア２００から排出されるのを待つことを示している。その後、処理はページコネクタＡを通過して図１１Ｂのブロック１１２０に至る。
【0051】
破線図示のように、ブロック１１２０は、ソースホスト１００ａのハイパーバイザー４０２が、移行中のＬＰＡＲ４０４のリードライトメモリページ４０８（すなわち、リードライトメモリページとしてそれらの関連ＰＴＥ２１２のＲＷフィールド５１０によって識別されるもの）をソースホスト１００ａのキャッシュからフラッシュするかどうかを決定する選択的なステップである。ブロック１１２０での否定的な決定に応答して、またはソースホスト１００がソースホスト１００ａのキャッシュを効率的にフラッシュする能力をサポートしない場合、処理は、以下に説明するブロック１１２６に進む。しかしながら、ハイパーバイザー４０２が、ブロック１１２０において、移行中のＬＰＡＲ４０４のリードライトメモリページ４０８をソースホスト１００ａのキャッシュからフラッシュすると決定した場合、ハイパーバイザー４０２は、移行中のＬＰＡＲ４０４のデータセットに属するすべての修正データをソースホスト１００ａのキャッシュからフラッシュする手順を実行する（ブロック１１２２）。いくつかの実施形態では、ブロック１１２２で描かれたエビクションは、ソースホスト１００ａのキャッシュからのすべての修正されたデータの一括フラッシュによって実行され得る。基礎となるメモリページ４０８が移行されたかどうかに応じて、ブロック１１２２で描写されるフラッシング処理は、ソースホスト１００ａのローカルシステムメモリ１０８またはデスティネーションホスト１００ｂのシステムメモリ１０８に修正データを書き戻すことを伴う場合があることに留意されたい。さらにブロック１１２４でソースホスト１００ａのハイパーバイザー４０２は、すでにデスティネーションホスト１００ｂに移行された移行中のＬＰＡＲ４０４のすべてのリードライトメモリページ４０８について、ソースホスト１００ａ上のＰＴＥ２１２をクリーニングとして（例えば、ＣＬフィールド５１４を１へ設定することによって）更新する。ブロック１１２０－１１２４に示すように論理パーティション４０４のリードライトメモリページ４０８の一括フラッシュを実行することにより、リードライトメモリページ４０８の重複コピーを低減または排除し、移行中のＬＰＡＲ４０４がデスティネーションホスト１００ｂ上で実行を開始した後のジッターを低減するという利点がある。さらに、移行中のＬＰＡＲ４０４のリードライトメモリページ４０８の一括フラッシュは、移行中のＬＰＡＲ４０４の各リードライトメモリページ４０８のフラッシュを個別に処理するソリューションよりも向上した性能を提供し得る。
【0052】
ここでブロック１１２６を参照すると、ソースホスト１００ａのハイパーバイザー４０２は、移行中のＬＰＡＲ４０４のデータセットのメモリページ４０８内のアドレスを変換するＰＴＥ２１２をソースホスト１００ａからデスティネーションホスト１００ｂへコピーする。ハイパーバイザー４０２は、次に、コピーおよびクリーニングの両方としてＰＴＥフィールド５１２－５１４によって識別される、移行中のＬＰＡＲ４０４のデータセット内の各リードライトメモリページのＰＴＥ２１２内のＭＩフィールド５１６をリセットし、コピーとしてＰＴＥフィールド５１２によって識別される移行中のＬＰＡＲ４０４のデータセット内の各リードオンリーメモリページのＰＴＥ２１２内のＭＩフィールド５１６をリセットする（ブロック１１２８）。ブロック１１２８に続いて、ソースホスト１００ａのハイパーバイザー４０２は、デスティネーションホスト１００ｂが移行中のＬＰＡＲ４０４のデータセット内の１つ以上の以前に移行されていないメモリページ４０８の移行を開始することによって、デスティネーションホスト１００ｂのハイパーバイザー４０２からの「プル」要求のモニタリングを開始する（ブロック１１３０）。デスティネーションホスト１００ｂのハイパーバイザー４０２が、移行中のＬＰＡＲ４０４のデータセット内のメモリページをソースホスト１００ａからデスティネーションホスト１００ｂのシステムメモリ１０８に「プル」し、ソースホスト１００ａのハイパーバイザー４０２がデスティネーションホスト１００ｂの「プル」要求に応答することによる例示的処理はそれぞれ図１６および１７を参照して以下に説明する。
【0053】
オプションのブロック１１３２で示されるように、ソースホスト１００ａのハイパーバイザー４０２は、代替的または追加的に、ソースホスト１００ａが、ソースホスト１００ａから移行中のＬＰＡＲ４０４のデータセット内の任意の残りの未移行および移行されたがクリーンではないメモリページ４０８をデスティネーションホスト１００ｂのシステムメモリ１０８に「プッシュ」する処理を開始し得る。ソースホスト１００ａのハイパーバイザー４０２が、ソースホスト１００ａからの移行中のＬＰＡＲ４０４のデータセット内のメモリページ４０８をデスティネーションホスト１００ｂのシステムメモリ１０８に「プッシュ」し、デスティネーションホスト１００ｂのハイパーバイザー４０２がソースホスト１００ａの「プッシュ」要求に応答する例示的処理を、それぞれ図１８および１９を参照して以下に説明する。ブロック１１３２に続いて（またはブロック１１３２が省略された場合はブロック１１３０に続いて）、図１１Ｂの処理はブロック１１３４で終了する。
【0054】
次に図１２を参照すると、一実施形態による、ソースホスト１００ａがＬＰＡＲ４０４の移行中にページプロテクション更新を処理する例示的な方法のハイレベル論理フローチャートが描かれている。図１２の処理はブロック１２００で始まり、次にソースホスト１００ａのハイパーバイザー４０２が、移行中のＬＰＡＲ４０４のメモリページ４０８のＰＴＥ２１２に対するページプロテクション更新が要求されているか否かを決定することを例示するブロック１２０２に進む。そうでない場合、処理はブロック１２０２を反復する。しかし、ハイパーバイザー４０２が、移行中のＬＰＡＲ４０４のメモリページ４０８のＰＴＥ２１２へのページプロテクション更新が要求されていると決定した場合、処理はブロック１２０４に進む。
【0055】
ブロック１２０４は、ハイパーバイザー４０２が、更新されるべきＰＴＥ２１２が、関連するメモリページ４０８がリードライトページであることを現在示しているか否かを決定することを図示する（例えば、ＲＷフィールド５１０はＲＷ＝１で設定される）。そうでない場合（例えば、Ｒフィールド５０８は、リードオンリーメモリページを示すためにＲ＝１が設定される）、処理はハイパーバイザー４０２が他の処理を行うことを例示するブロック１２１２に進む。その後、図１２の処理は、ブロック１２１４で終了する。
【0056】
ブロック１２０４に戻ると、ハイパーバイザー４０２が、更新されるべきＰＴＥ２１２が、関連するメモリページ４０８がリードライトメモリページであることを現在示していると決定することに応答して、ハイパーバイザー４０２は、更新されるべきＰＴＥ２１２のＣＰフィールド５１２を参照することによって、関連するメモリページ４０８がすでにデスティネーションホスト１００ｂのシステムメモリ１０８に移行されているかどうかを追加的に決定する。そうである場合、ハイパーバイザー４０２は、メモリページ４０８のための任意の修正データをソースホスト１００ａのキャッシュからデスティネーションホスト１００ｂのシステムメモリ１０８にフラッシュさせる１つ以上の命令を実行し（ブロック１２０８）、次に、例えばＲフィールド５０８をリセットしＲＷフィールド５１０を設定することによって、メモリページ４０８のページプロテクション情報をリードライトからリードオンリーに更新する（ブロック１２１０）。プロテクションが更新されるべきメモリページ４０８の日付に対するあらゆるキャッシュされた修正をフラッシュすることによって、ソースホスト１００ａからデスティネーションホスト１００ｂへのメモリページ４０８の追加のコピーが回避され得る。ハイパーバイザー４０２が、関連するメモリページ４０８がデスティネーションホストのシステムメモリ１０８に移行されていないとブロック１２０６で決定した場合、ハイパーバイザー４０２は、メモリページ４０８をフラッシュせずにブロック１２１０で示すようにページプロテクション情報を単に更新する。ブロック１２１０に続いて、図１２の処理は、ブロック１２１４で終了する。
【0057】
ここで図１３を参照すると、一実施形態による、ソースホスト１００ａが移行中のＬＰＡＲ４０４のメモリページ４０８をデスティネーションホスト１００ｂのシステムメモリ１０８にコピーする、例示的な方法のハイレベル論理フローチャートが図示されている。少なくともいくつかの実施形態では、図示された処理は、例えば、図１１Ａのブロック１１０８でソースホスト１００ａからデスティネーションホスト１００ｂにコピーされたメモリページ４０８のうちの１つをコピーするために利用されることがある。
【0058】
図１３の処理は、ブロック１３００で始まり、次にソースホスト１００ａのハイパーバイザー４０２が、例えば、有効フィールド５０２を０にリセットすることによって、移行されるメモリページ４０８に関連するＰＴＥ２１２を無効にすることを示すブロック１３０２に進む。ＰＴＥ２１２を無効にすることによってＰＴＥ２１２はアドレス変換に対して一時的にアクセス不能になり、したがって関連するメモリページ４０８がハイパーバイザー４０２にのみアクセス可能にさせる。ブロック１３０２はさらに、ハイパーバイザー４０２が、ソースホスト１００ａのアドレス変換構造２０６において無効化されたＰＴＥ２１２に対応する任意のエントリを無効化し、無効化されたＰＴＥによって変換された実アドレスを参照するあらゆるインフライトオペレーションがソースホスト１００ａのコア２００から排出されるのを待つことを示している。
【0059】
次にハイパーバイザー４０２は、メモリページ４０８をデスティネーションホスト１００ｂのシステムメモリ１０８に割り当てられた実アドレスにコピーさせる命令をソースホスト１００ａの１つ以上のコア２００によって実行させる（ブロック１３０４）。このコピー処理の一部として、ハイパーバイザー４０２は、ソースホスト１００ａのシステムメモリ１０８（ソース実アドレス範囲に存在する）からメモリページ４０８の既存のイメージをロードし、メモリページ４０８のイメージをデスティネーションホスト１００ｂのシステムメモリ１０８内のストレージ位置を指定するデスティネーション実アドレス範囲に格納する。最適化として、いくつかの実施形態は、関連するデータをフェッチングすることなくソースホスト１００ａのキャッシュメモリにキャッシュラインを作成する（および任意に新しく作成されたキャッシュラインを所定の値（例えば、ゼロ）に初期化する）データキャッシュブロックゼロ（ＤＣＢＺ）、データキャッシュブロックアロケート（ＤＣＢＡ）、または同様のキャッシュライン割り当て命令を使用してソースホスト１００ａのキャッシュメモリにデスティネーション実アドレス範囲に対応するキャッシュラインを割り当てる。これらのキャッシュライン割り当て命令は、簡便に、移行されるメモリページ４０８内の各キャッシュラインを反復する実行ループで実装することができる。このような実行ループでは、各キャッシュライン割り当て命令は、移行するメモリページ４０８の既存のイメージから新たに割り当てられたキャッシュラインにデータを格納する対応するストア命令の前に、かつ時間的に近接して実行されるように制約されるのが好ましい。この実行制約により、デスティネーション実アドレス範囲内のキャッシュラインを更新するストア命令が、キャッシュミスおよびデスティネーションホスト１００ｂからキャッシュラインをフェッチングする付随するレイテンシを回避する可能性が高くなる。言い換えれば、説明した最適化は、移行メモリページ４０８からのデータでキャッシュラインを上書きするためにのみ、デスティネーション実アドレス範囲内のデータの各キャッシュラインのコピーをデスティネーションホスト１００ｂからフェッチングするという高いレイテンシを回避する利点を有する。
【0060】
ブロック１３０８において、ハイパーバイザー４０２は、例えば、関連するＰＴＥ２１２のＲＷフィールド５１０を調べることによって、メモリページ４０８がリードライトメモリページであるか否かを決定する。メモリページ４０８がリードライトメモリページであるとブロック１３０８で決定することに応答して、処理は、以下に説明されるブロック１３１２に進む。しかし、ハイパーバイザー４０２がメモリページ４０８はリードオンリーメモリページであると決定した場合（例えば、Ｒフィールド５０８がＲ＝１に設定されている）、ハイパーバイザー４０２は、リードオンリーメモリページ４０８のデータがソースホスト１００ａのキャッシュからＮＣ通信リンク３０２を介してデスティネーションホスト１００ｂのシステムメモリ１０８に書き込まれるようにソースホスト１００ａの１以上のコア２００によって１以上のクリーンまたはフラッシュ命令を実行させる（ブロック１３１０）。ブロック１３０８またはブロック１３１０に続いて、ソースホスト１００ａのハイパーバイザー４０２は、ＰＴＥ２１２のＲＡフィールド５０６でメモリページ４０８に対して指定された実アドレス（ＲＡ）を更新して、デスティネーションホスト１００ｂのシステムメモリ１０８のメモリページ４０８に対する新しい実アドレスを指定し、次にソースホスト１００ａ上のＰＴＥ２１２の有効フィールド５０２を有効状態（例えばＶ＝１）に更新してアドレス変換に再度ＰＴＥ２１２をアクセス可能にする（ブロック１３１２）。その後、図１３の処理は、ブロック１３１４で終了する。
【0061】
次に図１４を参照すると、一実施形態による、デスティネーションホスト１００ｂが移行中のＬＰＡＲ４０４を受信してアクティブ化する例示的な方法のハイレベル論理フローチャートが描かれている。図１４の処理は、ソースホスト１００ａ上で実行される図１１Ａ～１１Ｂの先に説明した処理と協働する。
【0062】
図１４の処理はブロック１４００で始まり、その後、デスティネーションホスト１００ｂのハイパーバイザー４０２がソースホスト１００ａ上で実行する、ハイパーバイザー４０２と通信して、ＬＰＡＲ４０４へのホスト１００ａ、１００ｂのリソース（例えばハードウェアスレッド４０６、実メモリアドレス、メモリページ２０９など）の割り当てを交渉し、ホスト１００ａ、１１０ｂ間の通信で使用するための特定のメモリページ２０９を確立することを示すブロック１４０２に進む。少なくともいくつかの実施形態では、ソースホスト１００ａおよびデスティネーションホスト１００ｂのハイパーバイザー４０２は、ブロック１４０２でＶＩＯＳ４２０を介して通信する。
【0063】
処理はブロック１４０２から、デスティネーションホスト１００ｂのハイパーバイザー４０２がＮＣ通信リンク３０２を介してソースホスト１００ａから移行中のＬＰＡＲ４０４の状態を受信し、ＬＰＡＲの状態をバッファリングすることを図示するブロック１４０４に進む。ＬＰＡＲの状態は、図１１Ａのブロック１１１４で、ソースホスト１００ａによって送信される。さらに、ブロック１４０６において、デスティネーションホスト１００ｂのハイパーバイザー４０２は、ＮＣ通信リンク３０２を介してソースホスト１００ａから移行中のＬＰＡＲ４０４のメモリページ４０８に対するＰＴＥ２１２を受信してバッファリングする。これらのＰＴＥ２１２は、図１１Ｂのブロック１１２６でソースホスト１００ａによって送信される。
【0064】
ブロック１４０８は、デスティネーションホスト１００ｂのハイパーバイザー４０２が、デスティネーションホスト１００ｂのシステムメモリ１０８内のページフレームテーブル２１０に、移行中のＬＰＡＲ４０４のメモリページ４０８に関連するＰＴＥ２１２を確立することを示す。デスティネーションホスト１００ｂに既にコピーされたものとしてその関連するＰＴＥ２１２によって示される各リードオンリーメモリページ４０８について（例えば、Ｒフィールド５０８はＲ＝１に設定され、ＣＰフィールド５１２はＣＰ＝１に設定される）、およびデスティネーションホスト１００ｂにコピーされクリーニングされたとしてその関連するＰＴＥ２１２によって示される各リードライトメモリページ４０８について（例えば、ＲＷフィールド５１０はＲＷ＝１に設定され、ＣＬフィールド５１４はＣＬ＝１に設定される）、デスティネーションホスト１００ｂのハイパーバイザー４０２は、デスティネーションホスト１００ｂのシステムメモリ１０８内のメモリページ４０８のストレージ位置を反映するために実アドレスフィールド５０６を更新し、移行フィールド５１６をリセット（例えばＭＩ＝０）し、有効フィールド５０２を設定（例えばＶ＝１）する。デスティネーションホスト１００ｂのハイパーバイザー４０２は、デスティネーションホスト１００ｂ上の仮想－実アドレス変換のためにこれらのＰＴＥ２１２を利用可能にする。
【0065】
ブロック１４１０で、デスティネーションホスト１００ｂのハイパーバイザー４０２は、ＮＣ通信リンク３０２を介して、移行中のＬＰＡＲ４０４の任意の残りの未移行のメモリページ４０８をソースホスト１００ａからデスティネーションホスト１００ｂのシステムメモリ１０８に「プル」する処理を開始する。デスティネーションホスト１００ｂがソースホスト１００ａからそのようなメモリページ４０８をプルする例示的な処理を、図１６を参照して以下に説明する。さらに、ブロック１４１２において、デスティネーションホスト１００ｂのハイパーバイザー４０２は、デスティネーションホスト１００ｂのハイパーバイザー４０２が、ソースホスト１００ａからデスティネーションホスト１００ｂのシステムメモリ１０８に「プッシュ」された移行中のＬＰＡＲ４０４の任意の残りの未移行のメモリページ４０８をＮＣ通信リンク３０２を介して受け取る処理を選択的に開始する。デスティネーションホスト１００ｂがソースホスト１００ａからそのようなメモリページ４０８を受け取る例示的な処理を、図１８を参照して以下に説明する。デスティネーションホスト１００ｂのハイパーバイザー４０２は、デスティネーションホスト１００ｂの１つ以上のコア２００に移行中のＬＰＡＲ４０４の様々なハードウェアスレッド４０６の状態をロードし（ブロック１４１４）、移行中のＬＰＡＲ４０４のハードウェアスレッド４０６を解放して実行を開始する（ブロック１４１６）ことによりデスティネーションホスト１００ｂ上での移行中のＬＰＡＲ４０４の実行を開始する。その後、図１４の処理は、ブロック１４１６で終了する。
【0066】
次に図１５を参照すると、一実施形態による移行中のＬＰＡＲ４０４の移行中にデスティネーションホスト１００ｂがページフォルトを処理する例示的な方法のハイレベル論理フローチャートが図示されている。図１５の処理は、ページフォルトを発生させるデスティネーションホスト１００ｂのメモリアクセス要求に応答して、ブロック１５００で開始する。ページフォルトに応答して、処理はブロック１５００から、メモリアクセス要求のターゲット実アドレスを含むメモリページ２０９のＰＴＥ２１２を参照して、メモリページ２０９が移行中のＬＰＡＲ４０４のメモリページ４０８の１つであることを示す移行フィールド５１６が設定されている（例えば、ＭＩ＝１）か否かを決定するデスティネーションホスト１００ｂ上で実行するページフォルトハンドラルーチンを例示するブロック１５０２に進む。されていない場合（例えば、ＭＩ＝０）、ページフォルトハンドラは、ブロック１５０４で描かれるように、他の、潜在的に従来の処理を使用して、ページフォルトを処理する。ブロック１５０４に続いて、図１５の処理は、ブロック１５１８で終了する。
【0067】
再びブロック１５０２を参照すると、移行フィールド５１６が設定されているという決定に応答して、デスティネーションホスト１００ｂのハイパーバイザー４０２は、ページフォルトが発生したメモリページ４０８のロックを取得する（ブロック１５０６）。デスティネーションホスト１００ｂのハイパーバイザー４０２はその後、ブロック１５０８で、ロックを取得する処理中にメモリページ４０８のＰＴＥ２１２の移行フィールド５１６がリセットされた（例えば、ＭＩ＝０）かどうか決定する。そうである場合、処理は、以下に説明するブロック１５１６に進む。しかし、移行フィールド５１６がリセットされなかった場合、ハイパーバイザー４０２は、メモリページ４０８をソースホスト１００ａのシステムメモリ１０８からデスティネーションホスト１００ｂのシステムメモリ１０８にプルするために、ＮＣ通信リンク３０２を介してソースホスト１００ａに１以上のメモリアクセス要求を発する（ブロック１５１２）。メモリページ４０８のＰＴＥ２１２において、デスティネーションホスト１００ｂのハイパーバイザー４０２は、有効フィールド５０２を設定（Ｖ＝１）し、移行フィールド５１６をリセット（ＭＩ＝０）し、リードフィールド５０８およびリードライトフィールド５１０において適切なページプロテクションを設定し、実アドレスフィールド５０６をデスティネーションホスト１００ｂのシステムメモリ１０８内のメモリページ４０８の新しい実アドレスに更新する（ブロック１５１４）。ブロック１５１４に続いて、デスティネーションホスト１００ｂのハイパーバイザー４０２は、メモリページ４０８のロックを解放する（ブロック１５１６）。その後、処理はブロック１５０４に進み、これは、ページフォルトハンドラが、他の、潜在的に従来の処理でページフォルトの処理を完了することを示す。その後、図１５の処理は、ブロック１５１８で終了する。
【0068】
ここで図１６を参照すると、一実施形態による、デスティネーションホスト１００ｂがソースホスト１００ａから移行中のＬＰＡＲ４０４のメモリページを「プル」する例示的な方法のハイレベル論理フローチャートである。この処理は、例えば、図１４のブロック１４１０で実行することができる。
【0069】
図１６の処理はブロック１６００で始まり、その後、デスティネーションホスト１００ｂのハイパーバイザー４０２が、移行中のＬＰＡＲ４０４のすべてのメモリページ４０８のＰＴＥ２１２において移行フィールド５１６がリセットされている（例えば、ＭＩ＝０）か否かを決定することを例示するブロック１６０２に進む。そうである場合、ソースホスト１００ａからデスティネーションホスト１００ｂへの移行中のＬＰＡＲ４０４のデータセットの移行は完了する。したがって、図１６の処理は、ブロック１６０４で終了する。
【0070】
しかしながら、デスティネーションホスト１００ｂのハイパーバイザー４０２が、ブロック１６０２において、少なくとも１つのメモリページ４０８がデスティネーションホスト１００ｂに移行されるために残っていると決定した場合、デスティネーションホスト１００ｂのハイパーバイザー４０２は、（そのＰＴＥ２１２の移行フィールド５１６がセットされていることによって示されるように）移行中のＬＰＡＲ４０４のデータセット内の未移行のメモリページ４０８の１つを選択してメモリページ４０８に対してロックを取得する（ブロック１６０６）。デスティネーションホスト１００ｂのハイパーバイザー４０２は、その後、ブロック１６０８において、選択されたメモリページ４０８のＰＴＥ２１２の移行フィールド５１６が、ロックを取得する処理中にリセットされた（例えば、ＭＩ＝０）か否かを決定する。そうである場合、処理は、以下に説明するブロック１６１０に進む。しかし、移行フィールド５１６がリセットされていない場合、ハイパーバイザー４０２は、メモリページ４０８をソースホスト１００ａのシステムメモリ１０８からデスティネーションホスト１００ｂのシステムメモリ１０８にプルするために、ＮＣ通信リンク３０２を介してソースホスト１００ａに１以上のメモリアクセス要求を発する（ブロック１６１２）。デスティネーションホスト１００ｂ上のメモリページ４０８に対するＰＴＥ２１２において、デスティネーションホスト１００ｂのハイパーバイザー４０２は、有効フィールド５０２を設定（例えば、Ｖ＝１）し、移行フィールド５１６をリセット（例えば、ＭＩ＝０）し、リードフィールド５０８およびリードライトフィールド５１０においてメモリページ４０８に対する適切なページプロテクションを設定し、実アドレスフィールド５０６をデスティネーションホスト１００ｂのシステムメモリ１０８内のメモリページ４０８の新しい実アドレスに更新する（ブロック１６１４）。ブロック１６１４に続いて、デスティネーションホスト１００ｂのハイパーバイザー４０２は、メモリページ４０８のロックを解放する（ブロック１６１０）。その後、図１６の処理は、説明したブロック１６０２に戻る。
【0071】
次に図１７を参照すると、一実施形態による、ソースホスト１００ａがデスティネーションホスト１００ｂからの移行中のＬＰＡＲ４０８のメモリページ４０８に対するプル要求を処理する例示的な方法のハイレベル論理フローチャートが図示されている。図示された処理は、例えば、図１１Ｂのブロック１１３０で実行され得る。
【0072】
図１７の処理はブロック１７００で始まり、その後、ソースホスト１００ａのハイパーバイザー４０２が、移行中のＬＰＡＲ４０４のデータセット内のすべてのメモリページ４０８についてソースホスト１００ａ上のＰＴＥ２１２において移行フィールド５１６がリセットされた（例えば、ＭＩ＝０）かどうかを決定していることを示すブロック１７０２に進む。そうである場合、ソースホスト１００ａからデスティネーションホスト１００ｂへの移行中のＬＰＡＲ４０４のデータセットの移行は完了する。従って、図１７の処理は、ブロック１７０４で終了する。
【0073】
しかし、ソースホスト１００ａのハイパーバイザー４０２が、ブロック１７０２で、ソースホスト１００ａからデスティネーションホスト１００ｂに移行される少なくとも１つのメモリページ４０８が残っていると決定した場合、ソースホスト１００ａのハイパーバイザー４０２は、ブロック１７０６で、移行中のＬＰＡＲ４０４のデータセット内のメモリページ４０８に対するプル要求がＮＣ通信リンク３０２を介してデスティネーションホスト１００ｂから受信されているか否かを決定する。されていない場合、図１７の処理は、説明したブロック１７０２に戻る。しかし、移行中のＬＰＡＲ４０４のデータセット内のメモリページ４０８に対するプル要求が受信された場合、ソースホスト１００ａのハイパーバイザー４０２は、要求されたメモリページ４０８をＮＣ通信リンク３０２を介してデスティネーションホスト１００ｂのシステムメモリ１０８に送信することによってデスティネーションホスト１００ｂのプル要求に応答する（ブロック１７０８）。
【0074】
ブロック１７１０において、ソースホスト１００ａのハイパーバイザー４０２は、ブロック１７０８で移行されたメモリページ４０８が、ソースホスト１００ａ上の関連するＰＴＥ２１２のリードライトフィールド５１０においてリードライトメモリページとして識別されているか否かを決定する。そうでない場合（例えば、ＲＷ＝０）、処理は、以下に説明するブロック１７１４に進む。しかし、メモリページ４０８に対するＰＴＥ２１２のリードライトフィールド５１０がリードライトページを示すように設定されている場合（例えば、ＲＷ＝１）、ソースホスト１００ａのハイパーバイザー４０２は、ソースホスト１００ａのキャッシュからメモリページ４０８のすべてのグラニュールをフラッシュする（ブロック１７１２）。ソースホスト１００ａは、ソースホスト１００ａのシステムメモリ１０８内のメモリページ４０８のＰＴＥ２１２内の移行フィールド５１６を追加的にリセット（例えば、ＭＩ＝０）する（ブロック１７１４）。ブロック１７１４に続いて、ソースホスト１００ａのハイパーバイザー４０２は、メモリページ４０８がデスティネーションホスト１００ｂのシステムメモリ１０８に移行されたことを、例えばフラグを設定することによってデスティネーションホスト１００ｂにシグナリングする（ブロック１７１６）。その後、図１７の処理は、説明したブロック１７０２に戻る。
【0075】
次に図１８を参照すると、一実施形態による、ソースホスト１００ａが移行中のＬＰＡＲ４０４のメモリページ４０８をデスティネーションホスト１００ｂに「プッシュ」する例示的な方法のハイレベル論理フローチャートが描かれている。この処理は、例えば、図１１Ｂのブロック１１３２で実行することができる。
【0076】
図１８の処理はブロック１８００で始まり、その後、ソースホスト１００ａのハイパーバイザー４０２が、ソースホスト１００ａ上の移行中のＬＰＡＲ４０４のすべてのメモリページ４０８のＰＴＥ２１２において移行フィールド５１６がリセットされた（例えば、ＭＩ＝０）かどうかを決定することを示すブロック１８０２に進む。そうである場合、ソースホスト１００ａからデスティネーションホスト１００ｂへの移行中のＬＰＡＲ４０４のデータセットの移行は完了する。従って、図１８の処理は、ブロック１８０４で終了する。
【0077】
しかしながら、ソースホスト１００ａのハイパーバイザー４０２が、ブロック１８０２において、少なくとも１つのメモリページ４０８がデスティネーションホスト１００ｂに移行されるために残っていると決定した場合、ソースホスト１００ａのハイパーバイザー４０２は、（そのＰＴＥ２１２の移行フィールド５１６が設定されていることによって示されるように）移行中のＬＰＡＲ４０４のデータセット内の未移行のメモリページ４０８の１つを選択してメモリページ４０８に対してロックを取得する（ブロック１８０６）。ソースホスト１００ａのハイパーバイザー４０２は、その後、ブロック１８０８において、選択されたメモリページ４０８のＰＴＥ２１２の移行フィールド５１６が、ロックが取得された間にリセットされた（例えば、ＭＩ＝０）かどうかを決定する。そうである場合、処理は、以下に説明するブロック１８１０に進む。しかし、移行フィールド５１６がリセットされていない場合、ソースホスト１００ａのハイパーバイザー４０２は、ソースホスト１００ａのシステムメモリ１０８からデスティネーションホスト１００ｂのシステムメモリ１０８にメモリページ４０８をプッシュするために、ＮＣ通信リンク３０２を介して１以上のメモリアクセス要求をデスティネーションホスト１００ｂに発する（ブロック１８１２）。
【0078】
ブロック１８１４において、ソースホスト１００ａのハイパーバイザー４０２は、ブロック１８１２で移行されたメモリページ４０８が、ソースホスト１００ａのシステムメモリ１０８内のページフレームテーブル２１０の関連するＰＴＥ２１２のリードライトフィールド５１０においてリードライトメモリページとして識別されているか否かを決定する。そうでない場合（例えば、ＲＷ＝０）、処理は、以下に説明するブロック１８１８に進む。しかし、メモリページ４０８のＰＴＥ２１２のリードライトフィールド５１０がリードライトページを示すように設定されている場合（例えば、ＲＷ＝１）、ソースホスト１００ａのハイパーバイザー４０２は、ソースホスト１００ａのキャッシュからデスティネーションホスト１００ｂのシステムメモリ１０８にメモリページ４０８の全てのグラニュールをフラッシュする（ブロック１８１６）。ソースホスト１００ａは、ソースホスト１００ａのシステムメモリ１０８内のメモリページ４０８のＰＴＥ２１２内の移行フィールド５１６を追加的にリセット（例えば、ＭＩ＝０）する（ブロック１８１８）。
【0079】
ブロック１８２０で、ソースホスト１００ａのハイパーバイザー４０２は、ＮＣ通信リンク３０２を介して、デスティネーションホスト１００ｂ上のメモリページ４０８のＰＴＥ２１２を更新する要求をデスティネーションホスト１００ｂに対して送信する。ＰＴＥ更新要求に応答して、デスティネーションホスト１００ｂのハイパーバイザー４０２は、有効フィールド５０２を設定（例えば、Ｖ＝１）し、移行フィールド５１６をリセット（例えば、ＭＩ＝０）し、実アドレスフィールド５０６をデスティネーションホスト１００ｂのシステムメモリ１０８内のメモリページ４０８の新しい実アドレスに更新する。ブロック１８２０に続いて、ソースホスト１００ａのハイパーバイザー４０２は、ＰＴＥ２１２の更新を確認するＮＣ通信リンク３０２を介したデスティネーションホスト１００ｂからの確認メッセージについてモニタリングする（ブロック１８２２）。確認メッセージの受信に応答して、ソースホスト１００ａは、メモリページ４０８のロックを解放する（ブロック１８１０）。その後、図１８の処理は、説明したブロック１８０２に戻る。
【0080】
次に図１９を参照すると、一実施形態による、デスティネーションホスト１００ｂがソースホスト１００ａから受信した移行中のＬＰＡＲ４０４のメモリページ４０８に対するプッシュ要求を処理する例示的な方法のハイレベル論理フローチャートが図示されている。図示された処理は、例えば、図１４のブロック１４１２で実行され得る。
【0081】
図１９の処理は、ブロック１９００で始まり、その後、デスティネーションホスト１００ｂのハイパーバイザー４０２が、移行中のＬＰＡＲ４０４のデータセット内のすべてのメモリページ４０８についてソースホスト１００ａ上のＰＴＥ２１２において移行フィールド５１６がリセットされている（例えば、ＭＩ＝０）かどうかを決定することを示すブロック１９０２に進む。そうである場合、ソースホスト１００ａからデスティネーションホスト１００ｂへの移行中のＬＰＡＲ４０４のデータセットの移行は完了する。したがって、図１９の処理は、ブロック１９０４で終了する。
【0082】
しかし、デスティネーションホスト１００ｂのハイパーバイザー４０２が、ブロック１９０２で、少なくとも１つのメモリページ４０８がソースホスト１００ａからデスティネーションホスト１００ｂに移行されるために残っていると決定した場合、デスティネーションホスト１００ｂのハイパーバイザー４０２は、ブロック１９０６で、ソースホスト１００ａからＮＣ通信リンク３０２を介して、移行中のＬＰＡＲ４０４のデータセット内のメモリページ４０８のＰＴＥ２１２への更新を要求するＰＴＥの更新要求を受けているか否かを決定する。そうでない場合、図１９の処理は説明したブロック１９０２に戻る。しかし、ＰＴＥの更新要求が受信された場合、デスティネーションホスト１００ｂのハイパーバイザー４０２は、有効フィールド５０２を設定（例えば、Ｖ＝１）し、移行フィールド５１６をリセット（例えば、ＭＩ＝０）し、実アドレスフィールド５０６をデスティネーションホスト１００ｂのシステムメモリ１０８内のメモリページ４０８の新しい実アドレスに更新することによってＰＴＥの更新要求に対して応答する（ブロック１９０８）。デスティネーションホスト１００ｂのハイパーバイザー４０２は、ＰＴＥ２１２の更新を確認する確認メッセージをソースホスト１００ａに送信する（ブロック１９１０）。その後、図１９の処理は、説明したブロック１９０２に戻る。
【0083】
次に図２０を参照すると、例えば半導体ＩＣの論理設計、シミュレーション、テスト、レイアウト、および製造において使用される例示的な設計フロー２０００のブロック図が描かれている。設計フロー２０００は、設計構造またはデバイスを処理して、本明細書に記載の設計構造もしくはデバイスまたはその両方の論理的または他の機能的に等価な表現を生成するための処理、機械もしくは機構またはその組み合わせを含む。設計フロー２０００によって処理もしくは生成またはその両方がなされた設計構造は、データ処理システムで実行または他の方法で処理されたときに、ハードウェアコンポーネント、回路、デバイス、またはシステムの論理的、構造的、機械的、または他の機能的に同等の表現を生成するデータもしくは命令またはその両方を含むように、機械可読送信または記憶媒体に符号化することができる。機械には、回路、コンポーネント、デバイス、またはシステムの設計、製造、またはシミュレーションなど、ＩＣ設計処理で使用されるあらゆる機械が含まれるが、これらに限定されることはない。例えば、機械には、リソグラフィ装置、マスクを生成するための機械もしくは装置又はその両方（電子ビーム描画装置など）、設計構造をシミュレーションするためのコンピュータまたは装置、製造またはテスト処理で使用される任意の装置、または設計構造の機能的に等価な表現を任意の媒体にプログラミングするための任意の機械（プログラマブルゲートアレイをプログラミングする機械など）、が含まれ得る。
【0084】
設計フロー２０００は、設計される表現のタイプに応じて異なる場合がある。例えば、特定用途向けＩＣ（ＡＳＩＣ）を構築するための設計フロー２０００は、標準コンポーネントを設計するための設計フロー２０００と異なる場合があり、また、設計をプログラマブルアレイ、例えばＡｌｔｅｒａ（登録商標）社やＸｉｌｉｎｘ（登録商標）社が提供するプログラマブルゲートアレイ（ＰＧＡ）またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）に簡略化する設計フロー２０００とは異なる場合もある。
【0085】
図２０は、好ましくは設計処理２０００によって処理される入力設計構造２０２０を含む複数のそのような設計構造を示す。設計構造２０２０は、ハードウェアデバイスの論理的に等価な機能表現を生成するために設計処理２０００によって生成および処理される論理シミュレーション設計構造であり得る。設計構造２０２０はまた、もしくは代替的に、設計処理２０００によって処理されるときにハードウェアデバイスの物理的構造の機能的表現を生成するデータもしくはプログラム命令またはその両方を含んでもよい。機能的もしくは構造的又はその両方の設計特徴を表すかどうかにかかわらず、設計構造２０２０は、コア開発者または設計者によって実装されるような電子コンピュータ支援設計（ＥＣＡＤ）を使用して生成されることがある。機械可読データ送信、ゲートアレイ、または記憶媒体上に符号化されると、設計構造２０２０は、設計処理２０００内の１つ以上のハードウェアもしくはソフトウェアモジュールまたはその両方によってアクセスおよび処理されて、本明細書に示されるような電子コンポーネント、回路、電子または論理モジュール、装置、デバイス、またはシステムをシミュレーションするか、さもなければ機能的に表現してもよい。このように、設計構造２０２０は、設計またはシミュレーションデータ処理システムによって処理されると、回路またはハードウェア論理設計の他のレベルを機能的にシミュレートするか、そうでなければ表す、人間もしくは機械可読ソースコード、コンパイル構造、およびコンピュータ実行可能コード構造またはその組み合わせを含むファイルまたは他のデータ構造を含み得る。このようなデータ構造は、ハードウェア記述言語（ＨＤＬ）設計エンティティ、またはＶｅｒｉｌｏｇやＶＨＤＬなどの低レベルＨＤＬ設計言語、もしくはＣやＣ＋＋などのハイレベル設計言語、またはその両方に準拠する、もしくは互換性のある、またはその両方である他のデータ構造を含む場合がある。
【0086】
設計処理２０００は、好ましくは、設計構造２０２０などの設計構造を含み得るネットリスト２０８０を生成するために、本明細書に示すコンポーネント、回路、デバイス、または論理構造の設計またはシミュレーション機能同等物を合成、翻訳、または他の方法で処理するハードウェアもしくはソフトウェアモジュールまたはその両方を採用および組み入れる。ネットリスト２０８０は、例えば、集積回路設計における他の要素および回路への接続を記述するワイヤ、ディスクリート構成要素、論理ゲート、制御回路、Ｉ／Ｏデバイス、モデルなどのリストを表すコンパイルまたは他の方法で処理されたデータ構造を含んでもよい。ネットリスト２０８０は、デバイスの設計仕様およびパラメータに応じてネットリスト２０８０が１回以上再合成される反復処理を使用して合成され得る。本明細書で説明する他の設計構造タイプと同様に、ネットリスト２０８０は、機械可読記憶媒体に記録されるか、またはプログラマブルゲートアレイにプログラムされ得る。媒体は、磁気または光ディスクドライブ、プログラマブルゲートアレイ、コンパクトフラッシュ（登録商標）、または他のフラッシュメモリのような不揮発性記憶媒体であってもよい。さらに、または代替的に、媒体は、システムまたはキャッシュメモリ、またはバッファスペースであってもよい。
【0087】
設計処理２０００は、ネットリスト２０８０を含む様々な入力データ構造タイプを処理するためのハードウェアおよびソフトウェアモジュールを含み得る。そのようなデータ構造タイプは、例えば、ライブラリ要素２０３０内に存在してもよく、所定の製造技術（例えば、異なる技術ノード、３２ｎｍ、４５ｎｍ、９０ｎｍなど）に対して、モデル、レイアウト、および記号表現を含む、一般に使用される素子、回路、およびデバイスのセットを含む。データ構造タイプは、設計仕様２０４０、特性データ２０５０、検証データ２０６０、設計ルール２０７０、および入力テストパターン、出力テスト結果、および他のテスト情報を含むことができるテストデータファイル２０８５をさらに含むことができる。設計処理２０００は、例えば、応力解析、熱解析、機械的事象シミュレーション、鋳造、成形、およびダイプレス成形などのオペレーションのための処理シミュレーションなどの標準機械設計処理をさらに含み得る。機械設計の技術分野における通常の技術者は、本発明の範囲および精神から逸脱することなく、設計処理２０００で使用される可能な機械設計ツールおよびアプリケーションの範囲を理解できる。設計処理２０００は、タイミング解析、検証、設計ルールチェック、配置および経路オペレーションなどの標準的な回路設計処理を実行するためのモジュールも含み得る。
【0088】
設計処理２０００は、ＨＤＬコンパイラおよびシミュレーションモデル構築ツールなどの論理設計および物理設計ツールを採用および組み込み、設計構造２０２０を、任意の追加の機械設計またはデータ（該当する場合）と共に描写されたサポートデータ構造の一部またはすべてと共に処理し、第２の設計構造２０９０を生成する。設計構造２０９０は、機械的なデバイスおよび構造のデータ（例えば、ＩＧＥＳ、ＤＸＦ、Ｐａｒａｓｏｌｉｄ ＸＴ、ＪＴ、ＤＲＧ、またはそのような機械的設計構造を格納またはレンダリングするための任意の他の適切な形式で格納される情報）の交換に使用されるデータ形式の記憶媒体またはプログラマブルゲートアレイに存在する。設計構造２０２０と同様に、設計構造２０９０は、好ましくは、送信またはデータ記憶媒体上に存在し、ＥＣＡＤシステムによって処理されると、本発明の実施形態の１つ以上の論理的またはその他の機能的に等価な形態を生成する１つ以上のファイル、データ構造、または他のコンピュータエンコードデータまたは命令を含む。一実施形態では、設計構造２０９０は、本明細書に示されるデバイスを機能的にシミュレートするコンパイルされた実行可能なＨＤＬシミュレーションモデルを含み得る。
【0089】
設計構造２０９０はまた、集積回路のレイアウトデータもしくはシンボリックデータ形式またはその両方の交換に使用されるデータ形式（例えば、ＧＤＳＩＩ（ＧＤＳ２）、ＧＬ１、ＯＡＳＩＳ、マップファイル、またはそのような設計データ構造を格納するための任意の他の適切な形式に格納される情報）を採用してもよい。設計構造２０９０は、例えば、シンボリックデータ、マップファイル、テストデータファイル、設計内容ファイル、製造データ、レイアウトパラメータ、ワイヤ、金属のレベル、ビア、形状、製造ラインを通る配線用データ、および製造業者または他の設計者もしくは開発者が、上記および本明細書に示されるデバイスまたは構造体を製造するために必要とする他のあらゆるデータなどの情報を含んでもよい。設計構造２０９０は、その後、例えば、設計構造２０９０がテープアウトに進む、製造にリリースされる、マスクハウスにリリースされる、別のデザインハウスに送られる、顧客に送り返される、などの段階２０９５に進むことができる。
【0090】
これまで説明してきたように、少なくとも１つの実施形態では、論理パーティションが移行されるソースホストにサービスを提供するデータ処理システムは、システムファブリックと、システムメモリと、システムファブリックに通信可能に結合されているシステムメモリのメモリコントローラと、システムファブリックに通信可能に結合され、通信リンクを介してソースホストに対して非コヒーレントであるデスティネーションホストに通信可能に結合されるように構成されたリンクコントローラとを含み得る。ソースホストは、さらに、システムファブリックに通信可能に結合された複数の処理ユニットを含む。複数の処理ユニットは、例えば、ハイパーバイザーまたは仮想マシンモニタによって、システムメモリに存在するデータセットを有する論理パーティションを実行し、通信リンクを介して論理パーティションをデスティネーションホストに移行するように構成される。論理パーティションの移行は、通信リンクを介して、ソースホスト上で実行される論理パーティションのデータセットをソースホストのシステムメモリからデスティネーションホストのシステムメモリに移行することを含む。データセットの少なくとも一部を移行した後、論理パーティションがデスティネーションホスト上で実行されるように、通信リンクを介して、論理パーティションの状態をソースホストからデスティネーションホストへ移行する。この移行技術により、移行のレイテンシが短縮され、論理パーティションのジッターが改善される。
【0091】
先に説明した例では、ソースホストは、実アドレスを使って、メモリページがコピーされるべきデスティネーションホストのシステムメモリ内のストレージ位置を特定する。当業者は、他の実施例において、デスティネーションホストのシステムメモリ内のストレージ位置は、デスティネーションホストの実アドレス空間内の実アドレスを得るために１層以上のアドレス変換を受ける有効アドレスまたは仮想アドレスを利用して代替的に指定され得ることを理解するであろう。
【0092】
様々な実施形態を特に示し、説明したが、添付の特許請求の範囲から逸脱することなく、形態および詳細における様々な変更をそこで行うことができ、これらの代替実施例はすべて添付の特許請求の範囲に入ることが当業者には理解されよう。
【0093】
図中のフローチャートおよびブロック図は、本発明の様々な実施形態によるシステム、方法、およびコンピュータプログラム製品の可能な実装のアーキテクチャ、機能性、およびオペレーションを示している。これに関して、フローチャートまたはブロック図の各ブロックは、指定された論理機能を実装するための１つ以上の実行可能命令を含む、命令のモジュール、セグメント、または部分を表すことができる。いくつかの代替的な実装では、ブロックに記された機能は、図に記された順序から外れて発生することがある。例えば、連続して示された２つのブロックは、実際には、実質的に同時に実行されるかもしれず、ブロックは、関係する機能に応じて、時には逆の順序で実行されるかもしれない。ブロック図もしくはフローチャート図またはその両方の各ブロック、ならびにブロック図もしくはフローチャート図またはその両方のブロックの組み合わせは、指定された機能または行為を実行する、または特殊な目的のハードウェアおよびコンピュータ命令の組み合わせを実行する特殊な目的のハードウェアベースのシステムによって実施できることにも注目されるであろう。
【0094】
本発明の機能を指示するプログラムコードを実行するコンピュータシステムに関して態様を説明してきたが、本発明は、代替的に、データ処理システムのプロセッサによって処理され、データ処理システムに説明した機能を実行させることができるプログラムコードを記憶するコンピュータ可読記憶装置を含むプログラム製品として実施され得ることを理解されたい。コンピュータ可読記憶装置は、揮発性または不揮発性メモリ、光ディスクまたは磁気ディスクなどを含むことができるが、それ自体の伝播信号、それ自体の送信媒体、およびそれ自体のエネルギーの形態などの法定外の主題を除外する。
【0095】
一例として、プログラム製品は、データ処理システム上で実行または他の方法で処理されたときに、本明細書に開示されたハードウェアコンポーネント、回路、デバイス、またはシステムの論理的、構造的、または他の機能的に同等の表現（シミュレーションモデルを含む）を生成するデータもしくは命令またはその両方を含むことができる。このようなデータもしくは命令またはその両方は、ハードウェア記述言語（ＨＤＬ）設計エンティティ、またはＶｅｒｉｌｏｇやＶＨＤＬなどの低レベルＨＤＬ設計言語、もしくはＣやＣ＋＋などのハイレベル設計言語またはその両方に適合する、もしくは互換性を有する又はその両方の他のデータ構造を含むことができる。さらに、データもしくは命令またはその両方は、集積回路のレイアウトデータの交換に使用されるデータフォーマットもしくはシンボリックデータフォーマット又はその両方（例えば、ＧＤＳＩＩ（ＧＤＳ２）、ＧＬ１、ＯＡＳＩＳ、マップファイル、またはそのような設計データ構造を格納するための任意の他の適切なフォーマットで格納される情報）を採用してもよい。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11A】
【図11B】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【国際調査報告】