特表 2024-524135 システムがサポートする計算エンティティによって共有される物理メモリをオーバーサブスクライブすることによるシステム内のメモリ削減

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-07-05

(54)【発明の名称】システムがサポートする計算エンティティによって共有される物理メモリをオーバーサブスクライブすることによるシステム内のメモリ削減

(51)【国際特許分類】

   G06F 12/02 20060101AFI20240628BHJP

   G06F 16/13 20190101ALI20240628BHJP

   G06F 12/1027 20160101ALI20240628BHJP

【ＦＩ】

G06F12/02 510M

G06F16/13 100

G06F12/02 510A

G06F12/1027

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023577866

(86)(22)【出願日】2022-05-26

(85)【翻訳文提出日】2023-12-18

(86)【国際出願番号】 US2022030990

(87)【国際公開番号】W WO2023278077

(87)【国際公開日】2023-01-05

(31)【優先権主張番号】17/367,061

(32)【優先日】2021-07-02

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】314015767

【氏名又は名称】マイクロソフト テクノロジー ライセンシング，エルエルシー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】シャー，モニッシュ シャンティラル

(72)【発明者】

【氏名】シュー，リサ ルー－フォン

(72)【発明者】

【氏名】バーガー，ダニエル セバスチャン

【テーマコード（参考）】

5B160

5B205

【Ｆターム（参考）】

5B160AA06

5B160AA12

5B160AB26

5B205KK14

5B205MM36

5B205MM51

5B205UU42

(57)【要約】

計算エンティティの間で共有される物理メモリをオーバーサブスクライブすることによるシステム内のメモリ削減に関する方法及びシステムが提供される。メモリの部分は、第１タイプの第１物理メモリの部分と、システムに関連付けられた論理プールメモリとの組み合わせを含む。論理プールメモリコントローラは、（１）複数の計算エンティティのいずれかに割り当てられた論理プールメモリのページが既知のパターンページであるかどうかの状態と、任意の割り当てられている論理プールメモリに関連付けられた物理メモリアドレス及び論理メモリアドレスの間の関係との両方を追跡し、（２）計算エンティティに前に割り当てられた論理プールメモリの部分に対応する物理メモリの範囲までのみ第１タイプの第２物理メモリ内の任意の利用可能な空間へデータを書き込むことを書き込み動作に許す、よう構成される。

【特許請求の範囲】

【請求項1】

システムに関連付けられたメモリの部分を計算エンティティに割り当てることであり、前記メモリの前記部分は、第１タイプの第１物理メモリの部分と、前記システムに関連付けられた複数の計算エンティティとともに使用される論理プールメモリの部分との組み合わせを含み、前記論理プールメモリは、前記第１タイプの第２物理メモリにマッピングされ、前記複数の計算エンティティへの割り当てに利用可能であるものとして指示される前記論理プールメモリの量は、前記第１タイプの前記第２物理メモリの量よりも多い、前記割り当てることと、
前記論理プールメモリに関連付けられた論理プールメモリコントローラに対して、前記複数の計算エンティティのいずれかに最初に割り当てられる前記論理プールメモリに関連付けられた全てのページが既知のパターンページであることを示すことと、
前記論理プールメモリコントローラが、前記複数の計算エンティティのいずれかに割り当てられた前記論理プールメモリのページが既知のパターンページであるかどうかの状態と、前記複数の計算エンティティのいずれかへの任意の割り当てられている論理プールメモリに関連付けられた物理メモリアドレス及び論理メモリアドレスの間の関係との両方を追跡することと、
前記計算エンティティによって開始された書き込み動作に応答して、前記論理プールメモリコントローラが、前記計算エンティティに前に割り当てられた前記論理プールメモリの前記部分に対応する物理メモリの範囲までのみ前記第１タイプの前記第２物理メモリ内の任意の利用可能な空間へのデータの書き込みを許可することと
を有する方法。

【請求項2】

前記システムに関連付けられた前記論理プールメモリの量は、如何なるタイプの物理メモリによっても支援されない既知のパターンページに対応するメモリの量と組み合わされる前記第１タイプの前記第２物理メモリの量に等しい、
請求項１に記載の方法。

【請求項3】

前記複数の計算エンティティのいずれかに割り当てられた前記論理プールメモリの前記ページが既知のパターンページであるかどうかの前記状態と、前記物理メモリアドレス及び前記論理メモリアドレスの間の関係との両方を追跡することは、マッピングテーブルを保持することを含む、
請求項１に記載の方法。

【請求項4】

前記マッピングテーブルは、トランスレーション・ルックアサイド・バッファを使用して実施される、
請求項３に記載の方法。

【請求項5】

前記計算エンティティによる前記第１タイプの前記第１物理メモリの予測される使用に基づいて、前記第１タイプの前記第１物理メモリの前記部分を割り当てることを更に有する、
請求項１に記載の方法。

【請求項6】

前記計算エンティティに割り当てられた前記第１タイプの前記第１物理メモリの使用に関連付けられた利用パターンに基づいて、前記計算エンティティに割り当てられた前記第１タイプの前記第１物理メモリの前記部分の量を動的に変更することを更に有する、
請求項１に記載の方法。

【請求項7】

前記計算エンティティが、前記計算エンティティに割り当てられた前記論理プールメモリの前記部分と、前記計算エンティティに割り当てられた前記第１タイプの前記第１物理メモリの前記部分とを区別することを可能にするよう、ソフトウェアメカニズムを介して、前記計算エンティティに割り当てられた前記論理プールメモリの前記部分をエクスポーズすることを更に有する、
請求項１に記載の方法。

【請求項8】

前記論理プールメモリは、ファブリックマネージャによって管理されている各々のリンクを介して、前記システムに関連付けられた前記論理プールメモリの少なくとも一部を割り当てられている前記複数の計算エンティティのいずれかを実行するプロセッサへ結合される、
請求項１に記載の方法。

【請求項9】

システムであって、
メモリの部分が、第１タイプの第１物理メモリの部分と、前記システムに関連付けられた論理プールメモリの部分との組み合わせを含み、前記論理プールメモリは、前記第１タイプの第２物理メモリにマッピングされ、複数の計算エンティティへの割り当てに利用可能であるものとして指示される前記論理プールメモリの量は、前記第１タイプの前記第２物理メモリの量よりも多い、前記メモリと、
前記システムに関連付けられた前記論理プールメモリへ結合され、（１）前記複数の計算エンティティのいずれかに割り当てられた前記論理プールメモリのページが既知のパターンページであるかどうかの状態と、前記複数の計算エンティティのいずれかへの任意の割り当てられている論理プールメモリに関連付けられた物理メモリアドレス及び論理メモリアドレスの間の関係との両方を追跡し、（２）計算エンティティによって既知のパターン以外の任意のデータを書き込むよう開始された書き込み動作に応答して、前記書き込み動作が、前記計算エンティティに前に割り当てられた前記論理プールメモリの部分に対応する物理メモリの範囲までのみ前記第１タイプの前記第２物理メモリ内の任意の利用可能な空間へ前記データを書き込むことを可能にする、よう構成される論理プールメモリコントローラと
を有するシステム。

【請求項10】

前記システムに関連付けられた前記論理プールメモリの量は、如何なるタイプの物理メモリによっても支援されない既知のパターンページに対応するメモリの量と組み合わされる前記第１タイプの前記第２物理メモリの量に等しい、
請求項９に記載のシステム。

【請求項11】

前記論理プールメモリコントローラは、前記複数の計算エンティティのいずれかに割り当てられた前記論理プールメモリの前記ページが前記既知のパターンページであるかどうかの前記状態と、前記複数の計算エンティティのいずれかへの任意の割り当てられている論理プールメモリに関連付けられた前記物理メモリアドレス及び前記論理メモリアドレスの間の前記関係との両方を追跡するために、マッピングテーブルを保持するよう更に構成される、
請求項９に記載のシステム。

【請求項12】

前記計算エンティティによる前記第１タイプの前記第１物理メモリの予測される使用に基づいて、前記第１タイプの前記第１物理メモリの前記部分を前記計算エンティティに割り当てるよう構成されるスケジューラを更に有する、
請求項９に記載のシステム。

【請求項13】

前記スケジューラは、前記計算エンティティに割り当てられた前記第１タイプの前記第１物理メモリの使用に関連付けられた利用パターンに基づいて、前記計算エンティティに割り当てられた前記第１タイプの前記第１物理メモリの前記部分の量を動的に変更するよう構成される、
請求項１２に記載のシステム。

【請求項14】

前記論理プールメモリコントローラは、前記複数の計算エンティティのいずれかに最初に割り当てられる前記論理プールメモリに関連付けられた全てのページが既知のパターンページであることを前記複数の計算エンティティの夫々に示すよう更に構成される、
請求項９に記載のシステム。

【請求項15】

システムであって、
複数の計算エンティティのうちの１つ以上を実行するよう構成される複数のホストサーバと、
メモリの部分が、第１タイプの第１物理メモリの部分と、前記複数のホストサーバの間で共有される論理プールメモリの部分との組み合わせを含み、前記論理プールメモリは、前記第１タイプの第２物理メモリにマッピングされ、前記複数の計算エンティティへの割り当てに利用可能であるものとして指示される前記論理プールメモリの量は、前記第１タイプの前記第２物理メモリの量よりも多い、前記メモリと、
前記システムに関連付けられた前記論理プールメモリへ結合され、（１）前記複数の計算エンティティのいずれかに割り当てられた前記論理プールメモリのページが既知のパターンページであるかどうかの状態と、前記複数の計算エンティティのいずれかへの任意の割り当てられている論理プールメモリに関連付けられた物理メモリアドレス及び論理メモリアドレスの間の関係との両方を追跡し、（２）既知のパターン以外の任意のデータを書き込むよう、前記複数のホストサーバのうちのいずれかに関連付けられたプロセッサによって実行される、計算エンティティによって開始された書き込み動作に応答して、前記書き込み動作が、前記計算エンティティに前に割り当てられた前記論理プールメモリの部分に対応する物理メモリの範囲までのみ前記第１タイプの前記第２物理メモリ内の任意の利用可能な空間へ前記データを書き込むことを可能にする、よう構成される論理プールメモリコントローラと
を有するシステム。

【発明の詳細な説明】

【背景技術】

【0001】

多数のユーザ又はテナントは、コンピューティングシステム及び通信システムを含むシステムを共有することがある。コンピューティングシステムは、パブリッククラウド、プライベートクラウド、又はパブリック部分及びプライベート部分の両方を有するハイブリッドクラウドを含み得る。パブリッククラウドは、データの記憶及び管理、アプリケーションの実行、並びにビデオのストリーミング、電子メールのプロビジョニング、オフィス生産性ソフトウェアの提供、又はソーシャルメディアの対応などのコンテンツ又はサービスの配信を含む様々な機能を実行するサーバのグローバルネットワークを含む。パブリッククラウドがインターネット上で公衆にサービスを提供する一方で、ビジネスはプライベートクラウド又はハイブリッドクラウドを使用し得る。プライベートクラウド及びハイブリッドクラウドは両方とも、データセンターに収容されているサーバのネットワークも含む。

【0002】

多数のテナントは、クラウド内のサーバに関連付けられた計算、記憶、及びネットワーキングリソースを使用し得る。例として、異なるテナントに関連付けられた計算エンティティは、一定の量の計算リソース及びメモリリソースを割り当てられ得る。多くのかような状況で、メモリリソースを含む、様々な計算エンティティへの割り当てられているリソースは、十分に利用されていないことがある。基地局を含む通信システムなどの他のシステムでは、メモリリソースの同様の活用不足が起こることがある。

【発明の概要】

【0003】

一例で、本開示は、システムに関連付けられたメモリの部分を計算エンティティに割り当てることを有し、メモリの前記部分は、第１タイプの第１物理メモリの部分と、システムに関連付けられた複数の計算エンティティとともに使用される論理プールメモリの部分との組み合わせを含む、方法に関する。本明細書で使用されるように、「計算エンティティ」という用語は、機能性、仮想マシン、アプリケーション、サービス、マイクロサービス、コンテナ、サーバレスコンピューティング用のユニカーネル、又は前述のものの部分を実装する任意の実行可能コード（ハードウェア、ファームウェア、ソフトウェア、又はこれらの任意の組み合わせの形をとる。）を包含するが限られない。本明細書で使用されるように、「論理プールメモリ」という用語は、単一のホスト又は複数のホストに対応し得る複数の計算エンティティによって共有されるオーバーコミットされた物理メモリを含むメモリを指す。論理プールメモリは、第１タイプの第２物理メモリにマッピングされてよく、複数の計算エンティティへの割り当てに利用可能であるものとして指示される論理プールメモリの量は、第１タイプの第２物理メモリの量よりも多くてもよい。方法は、論理プールメモリに関連付けられた論理プールメモリコントローラに対して、複数の計算エンティティのいずれかに最初に割り当てられる論理プールメモリに関連付けられた全てのページが既知のパターンページであることを示すことを更に含み得る。方法は、論理プールメモリコントローラが、複数の計算エンティティのいずれかに割り当てられた論理プールメモリのページが既知のパターンページであるかどうかの状態と、複数の計算エンティティのいずれかへの任意の割り当てられている論理プールメモリに関連付けられた物理メモリアドレス及び論理メモリアドレスの間の関係との両方を追跡することを更に含み得る。方法は、計算エンティティによって開始された書き込み動作に応答して、論理プールメモリコントローラが、計算エンティティに前に割り当てられた論理プールメモリの部分に対応する物理メモリの範囲までのみ第１タイプの第２物理メモリ内の任意の利用可能な空間へのデータの書き込みを許可することを更に含み得る。

【0004】

他の例では、本開示は、複数の計算エンティティとともに使用されるメモリを有するシステムであって、メモリの部分が、第１タイプの第１物理メモリの部分と、システムに関連付けられた論理プールメモリの部分との組み合わせを含む、システムに関する。論理プールメモリは、第１タイプの第２物理メモリにマッピングされてよく、複数の計算エンティティへの割り当てに利用可能であるものとして指示される論理プールメモリの量は、第１タイプの第２物理メモリの量よりも多くてもよい。システムは、論理プールメモリへ結合され、（１）複数の計算エンティティのいずれかに割り当てられた論理プールメモリのページが既知のパターンページであるかどうかの状態と、複数の計算エンティティのいずれかへの任意の割り当てられている論理プールメモリに関連付けられた物理メモリアドレス及び論理メモリアドレスの間の関係との両方を追跡し、（２）計算エンティティによって既知のパターン以外の任意のデータを書き込むよう開始された書き込み動作に応答して、書き込み動作が、計算エンティティに前に割り当てられた論理プールメモリの部分に対応する物理メモリの範囲までのみ第１タイプの第２物理メモリ内の任意の利用可能な空間へデータを書き込むことを可能にする、よう構成される論理プールメモリコントローラを更に含み得る。

【0005】

更なる他の例では、本開示は、複数の計算エンティティのうちの１つ以上を実行するよう構成される複数のホストサーバを含むシステムに関する。システムはメモリを更に含んでよく、メモリの部分は、第１タイプの第１物理メモリの部分と、複数のホストサーバの間で共有される論理プールメモリの部分との組み合わせを含む。論理プールメモリは、第１タイプの第２物理メモリにマッピングされてよく、複数の計算エンティティへの割り当てに利用可能であるものとして指示される論理プールメモリの量は、第１タイプの第２物理メモリの量よりも多くてもよい。システムは、システムに関連付けられた論理プールメモリへ結合され、（１）複数の計算エンティティのいずれかに割り当てられた論理プールメモリのページが既知のパターンページであるかどうかの状態と、複数の計算エンティティのいずれかへの任意の割り当てられている論理プールメモリに関連付けられた物理メモリアドレス及び論理メモリアドレスの間の関係との両方を追跡し、（２）既知のパターン以外の任意のデータを書き込むよう、複数のホストサーバのうちのいずれかに関連付けられたプロセッサによって実行される、計算エンティティによって開始された書き込み動作に応答して、書き込み動作が、計算エンティティに前に割り当てられた論理プールメモリの部分に対応する物理メモリの範囲までのみ第１タイプの第２物理メモリ内の任意の利用可能な空間へデータを書き込むことを可能にする、よう構成される論理プールメモリコントローラを更に含み得る。

【0006】

本概要は、詳細な説明において以下で更に説明される概念の一部を簡略化された形で紹介するために設けられている。本概要は、請求態様の重要な特徴又は本質的な特徴を特定するよう意図されたものでも、請求対象の範囲を制限するために使用されるよう意図されたものでもない。

【0007】

本開示は、一例として説明されており、添付の図面によって制限されない。図面中、同じ参照符号は、同様の要素を示すものである。図中の要素は、簡潔さ及び明りょうさのために表されており、必ずしも実寸通りではない。

【図面の簡単な説明】

【0008】

【図1】一例に従って、論理プールメモリシステムと結合されているホストサーバを含むシステム環境のブロック図である。

【図2】一例に従って、オーバーサブスクリプションプロセスを示す。

【図3】一例に従って、オーバーサブスクリプションを許すよう構成された論理プールメモリシステムを含むホストサーバ、機械学習（ＭＬ）システム、及びＶＭスケジューラを含むシステムのブロック図である。

【図4】一例に従って、メモリのオーバーサブスクリプションを許すよう構成される論理プールメモリシステムのブロック図である。

【図5】一例に従って、トランスレーション・ルックアサイド・バッファ（ＴＬＢ）を使用するマッピングテーブルの実施例の図を示す。

【図6】メモリのオーバーサブスクリプションを許すよう構成される論理プールメモリシステムと結合された複数のホストサーバを含むシステムの例のブロック図を示す。

【図7】計算エンティティに割り当てられているプールメモリのオーバーサブスクリプションを許す方法の少なくとも一部を実施するシステムの例のブロック図を示す。

【図8】計算エンティティとともに使用される物理メモリをオーバーサブスクライブする方法の例のフローチャートを示す。

【図9】計算エンティティとともに使用される物理メモリをオーバーサブスクライブする他の方法の例のフローチャートを示す。

【発明を実施するための形態】

【0009】

本開示で記載されている例は、システムがサポートする計算エンティティの間で共有される物理メモリをオーバーサブスクライブすることによるシステム内のメモリの削減に関する。特定の例は、マルチテナントコンピューティングシステムにおいて仮想マシンとともに使用される物理メモリをオーバーサブスクライブすることに関する。マルチテナントコンピューティングシステムは、パブリッククラウド、プライベートクラウド、又はハイブリッドクラウドであってよい。パブリッククラウドは、データの記憶及び管理、アプリケーションの実行、並びにストリーミングビデオ、電子メール、オフィス生産性ソフトウェア、又はソーシャルメディアなどのコンテンツ又はサービスの配信を含む様々な機能を実行するサーバのグローバルネットワークを含む。サーバ及び他のコンポーネントは、世界中のデータセンターに位置し得る。パブリッククラウドがインターネット上で公衆にサービスを提供する一方で、ビジネスはプライベートクラウド又はハイブリッドクラウドを使用し得る。プライベートクラウド及びハイブリッドクラウドは両方とも、データセンターに収容されているサーバのネットワークも含む。計算エンティティは、データセンターの計算リソース及びメモリリソースを用いて実行され得る。本明細書で使用されるように、「計算エンティティ」という用語は、機能性、仮想マシン、アプリケーション、サービス、マイクロサービス、コンテナ、サーバレスコンピューティング用のユニカーネル、又は前述のものの部分を実装する任意の実行可能コード（ハードウェア、ファームウェア、ソフトウェア、又はこれらの任意の組み合わせの形をとる。）を包含するが限られない。代替的に、計算エンティティは、エッジコンピューティングデバイス、オンプレミスサーバ、又は基地局（５Ｇ若しくは６Ｇ基地局）などの通信システムを含む他のタイプのシステムに関連付けられたハードウェアで実行されてもよい。

【0010】

本開示の例に従って、計算エンティティは、メモリ使用量が通常、計算エンティティに割り当てられたメモリ以下になる、という仮定の下に、ローカル物理メモリ及び論理プールメモリの組み合わせを割り当てられる。これにより、より多くの計算エンティティがシステムによって追加の物理メモリを配置する必要なしにサポートされ得るので、計算エンティティによるシステム内のインストールされたメモリのオーバーサブスクリプションが可能になる。例として、マルチテナントコンピューティング又は通信システムで、各テナントは、全システムメモリのいくつかの部分を割り当てられる。全てのテナントが同時にメモリのそれらの割り当て全体を使用するわけではないことが観測される。よって、例として、データセンター内のホストサーバは、プールメモリシステムがエクスポーズした論理プールメモリを割り当てられ得る。ＶＭの夫々は、ホストサーバ上でのローカル物理メモリとホストサーバが利用可能な論理プールメモリの一部との組み合わせを割り当てられ得る。論理プールメモリは、如何なる物理メモリによっても支持（backed）されない既知のパターンページと物理プールメモリとの組み合わせであってよい。要するに、本明細書で使用されるように、「論理プールメモリ」（logical pooled memory）という用語は、単一のホスト又は複数のホストに対応し得る複数の計算エンティティによって共有されるオーバーコミットされた物理メモリを含むメモリを指す。この例において、オーバーコミットされた（overcommited）、とは、論理プールメモリが、計算エンティティに利用可能であるものとして指示されるメモリの総量よりも少ない量の物理メモリを有する、ことを意味する。本明細書で使用されるように、「既知のパターンページ」という用語は、０のみ、１のみ、又は値若しくはシンボルのその他の既知のパターンを含む任意のページを指す。ＶＭは最初にローカル物理メモリを使用し、それが使用されると、ＶＭは論理プールメモリの部分にアクセスし得る。マルチテナントコンピューティングシステムにおいて、全てのＶＭがこのようにしてメモリを割り当てられる場合に、それらは、論理プールメモリを支援している物理プールメモリの割り当て全体を使い果たす可能性が低い。これは、論理プールメモリコントローラの背後にある実際の物理メモリがホストサーバにエクスポーズされている論理プールメモリよりも少なくなり得るからである。これは、翻って、マルチテナントコンピューティングシステム又は通信システムの部分として配置される必要がある物理メモリ（例えば、ＤＲＡＭ）の量の削減を可能にすることができる。

【0011】

論理プールメモリの上記の実施によれば、論理プールメモリの部分のいくらかは使用されないままであるが、論理プールメモリのどの部分が所与の時点で使用されないかを予測することは難しい。そのため、未使用の物理プールメモリをマッピングしないまま、使用中である論理プールメモリ空間が物理プールメモリによって支援されるように、プーリングされた物理メモリを、計算エンティティにエクスポーズされている論理プールメモリに柔軟にマッピングするメカニズムが必要である。ある例では、マッピング機能は、ページマッピングテーブルを使用して実行され得る。他のメカニズムも使用されてよい。更に、いくつかの事例では、メモリの使用は、データを記憶する前にデータを物理プールメモリ内に圧縮することによって、更に最適化されてもよい。データ圧縮が使用される場合、マッピング機能は、圧縮されたメモリページの経過を追うよう更に変更されてもよい。

【0012】

図１は、一例に従って、論理プールメモリシステム１８０と結合されているホストサーバ（例えば、ホストサーバ１１０，１２０、及び１３０）を含むシステム環境１００のブロック図である。各ホストサーバは、いくつかの計算エンティティを実行するよう構成され得る。この例において、ホストサーバ１１０は、計算エンティティ１１２（例えば、ＣＥ－０、ＣＥ－１、及びＣＥ－２）を実行中であってよく、ホストサーバ１２０は、計算エンティティ１２２（例えば、ＣＥ－３、ＣＥ－４、及びＣＥ－５）を実行中であってよく、ホストサーバ１３０は、計算エンティティ１３２（例えば、ＣＥ－６、ＣＥ－７、及びＣＥ－７）を実行中であってよい。論理プールメモリシステム１８０は論理プールメモリ１９０を含んでよく、論理プールメモリ１９０はいくつかのメモリモジュールを含んでよい。図１には示されていないが、論理プールメモリシステム１８０は、論理プールメモリコントローラ（後述）を含んでもよい。更に詳細に後で説明されるように、論理プールメモリ１９０は、論理アドレス空間をサポートするよう構成される物理メモリよりも大きいアドレス空間を含んでもよい。この例において、論理プールメモリ１９０はメモリモジュール：ＰＭ－１、ＰＭ－２、及びＰＭ－Ｍを含み得る。ここで、Ｍは１よりも大きい整数である。本明細書で使用されるように、「メモリモジュール」という用語は、キャッシュ可能なメモリとして動作することができるメモリ技術に基づいた如何なるメモリも含む。かようなメモリモジュールの例には、デュアル・インライン・メモリモジュール（ＤＩＭＭ）又はシングル・インライン・メモリモジュール（ＳＩＭＭ）が含まれるが限られない。本明細書で使用されるように、「キャッシュ可能なメモリ」という用語は、メモリに関連した読み出し動作により取得されたデータが、次に同じデータがアクセスされるときにメモリキャッシュから取得できるようにメモリキャッシュにコピーされ得る如何なるタイプのメモリも含む。メモリは動的ランダムアクセスメモリ（ＤＲＡＭ）、フラッシュメモリ、静的ランダムアクセスメモリ（ＳＲＡＭ）、相変化メモリ、磁気ランダムアクセスメモリ、又はメモリがキャッシュ可能なメモリとして動作できるようにする任意の他のタイプのメモリ技術であってもよい。

【0013】

引き続き図１を参照して、ホストサーバ１１０、１２０、及び１３０の夫々は、論理プールメモリ１９０に含まれているメモリモジュールへリンクにより結合され得る。例として、ホストサーバ１１０は、リンク１４２を介してメモリモジュールＰＭ－１と結合され、リンク１４４を介してメモリモジュールＰＭ－２と結合され、リンク１４６を介してメモリモジュールＰＭ－Ｍと結合されるものとして示されている。ホストサーバ１２０は、リンク１５２を介してメモリモジュールＰＭ－１と結合され、リンク１５４を介してメモリモジュールＰＭ－２と結合され、リンク１５６を介してメモリモジュールＰＭ－Ｍと結合されるものとして示されている。他の例として、ホストサーバ１３０は、リンク１６２を介してメモリモジュールＰＭ－１と結合され、リンク１６４を介してメモリモジュールＰＭ－２と結合され、リンク１６６を介してメモリモジュールＰＭ－Ｍと結合されるものとして示されている。

【0014】

依然として図１を参照すると、この例において、ファブリックマネージャ１７０は、各々のホストサーバへのメモリ範囲の割り当てを管理し得る。計算エンティティにサービスを提供するプロセッサ（例えば、ＣＰＵ）は、ロード又はストア命令を発し得る。ロード又はストア命令は、ローカルメモリ（例えば、計算エンティティを実行するよう構成されるホストサーバのＣＰＵに関連付けられたＤＲＡＭ）に対する読み出し若しくは書き込み、又は論理プールメモリ１９０に関連付けられたメモリモジュールへの読み出し／書き込みをもたらしえる。この例において、論理プールメモリ１９０に関連付けられたメモリモジュールへの読み出し／書き込みをもたらすロード又はストア命令は、ファブリックマネージャ１７０によって、リンクの１つ（例えば、リンク１４２、１４４、又は１４６）を使用して完了されるトランザクションに変換され得る。一例では、ファブリックマネージャ１７０は、Ｃｏｍｐｕｔｅ Ｅｘｐｒｅｓｓ Ｌｉｎｋ規格に基づいたファブリックマネージャを使用して実装されてもよい。

【0015】

引き続き図１を参照して、計算エンティティ１１２、１２２、及び１３２は、データセンターの部分として含まれ得るクラスタの組を使用して計算、記憶、及びネットワーキングリソースを提供され得る。本開示で使用されるように、「データセンター」という用語は、クラウドサービスプロバイダが所有するデータセンターの一部又は全て、クラウドサービスプロバイダが所有し操作するデータの一部又は全て、サービスプロバイダのカスタマが操作するクラウドサービスプロバイダが所有するデータセンターの一部又は全て、データセンターの任意の他の組み合わせ、単一のデータセンター、あるいは、特定のデータセンター内のいくつかのクラスタを含み得るが限られない。一例では、各クラスタはいくつかの同じサーバを含み得る。よって、クラスタは、特定の数のＣＰＵコア及び特定の量のメモリを含むサーバを含み得る。代替的に、計算エンティティ１１２、１２２、及び１３２は、エッジコンピューティングデバイス、オンプレミスサーバ、又は基地局（例えば、５Ｇ若しくは６Ｇ基地局）などの通信システムを含む他のタイプのシステムに関連付けられたハードウェアで実行されてもよい。図１は、システム環境１００を、特定の方法で配置されている計算エンティティ及びメモリコンポーネントを含む特定の数のコンポーネントを有するものとして示すが、システム環境１００は、別なふうに配置される追加の又はより少ないコンポーネントを含んでもよい。

【0016】

図２は、オーバーサブスクリプションプロセスフローの例を示す。この例は、ホストサーバに関連付けられたハードウェアを使用して実行される例示的な計算エンティティとして仮想マシン（ＶＭ）を使用するオーバーサブスクリプションプロセスを表す。更に、この例は、ホストサーバがホストサーバのクラスタを含むデータセンターに位置する、と仮定する。この例は更に、ホストサーバのクラスタがマルチテナントクラウドの部分である、と仮定する。しかし、オーバーサブスクリプションプロセスは、計算エンティティがエッジコンピューティングデバイス、オンプレミスサーバ、又は基地局（例えば、５Ｇ若しくは６Ｇ基地局）などの通信システムを含む他のタイプのシステムに関連付けられたハードウェアで実行されている場合を含む他の設定で使用されてもよい。ＶＭを初期化するためのユーザからの要求に応答して、ＶＭスケジューラは、ホストサーバに関連付けられたハードウェアリソースを使用した実行のためにＶＭをスケジューリングし得る。このプロセスの部分として、ＶＭは、特定の計算リソース（例えば、ＣＰＵ）及びメモリ（例えば、ＣＰＵに関連付けられたＤＲＡＭ）を割り当てられ得る。ホストサーバに関連付けられたメモリは、オーバーサブスクリプション単独で、又はプーリングと組み合わせてオーバーサブスクリプションを使用することによって、より良く利用され得る。例として、メモリは、ほとんどの場合に、ＶＭが、かようなＶＭによって通常利用されているか、又はかようなＶＭによる使用のために予測されているメモリのみを使用するという期待により、オーバーサブスクライブされ得る。一例では、ＶＭによるピーク使用の平均は、ローカル物理メモリとしてＶＭに割り当てられ得る。よって、特定の量のメモリが、かようなメモリが、例えば、ピーク使用量又は他の高メモリ使用シナリオなど、かようなＶＭに必ずしも利用可能でない場合があること認識しながら、ＶＭに割り当てられ得る。プーリングは、オーバーサブスクリプションに役立つことができ、オーバーサブスクリプションは、それら２つの技術が一緒に使用される場合にプーリングに役立つことができる。これは、プールからのメモリが、オーバーサブスクライブされたメモリを割り当てられたＶＭに使用され得るからである。

【0017】

依然として図２を参照すると、ＶＭによる３２ＧＢメモリ（２１０）に対する要求に関する例示的なオーバーサブスクリプションプロセスが示されている。この例において、この要求に応答して、ハイパーバイザ（又はリソースをＶＭに割り当てるための他のコーディネータ）は、１９ＧＢの物理メモリと、論理プールメモリにマッピングされている１３ＧＢのメモリとを割り当ててよい。この例において、１９ＧＢメモリの割り当ては、要求元のＶＭによるメモリの予測される使用に基づき得る。この例において、プーリングされたメモリは、１２８ＧＢの物理プールメモリとともに２５６ＧＢの論理プールメモリを有し得る。このようにして、プールにマッピングされている１３ＧＢのメモリは、２５６ＧＢの論理プールメモリが追加のＶＭをサポートする他のホストサーバと共有されるということで、利用可能であってもなくてもよい。１９ＧＢの物理メモリと、プーリングされたメモリにマッピングされている１３ＧＢのメモリとを割り当てられているＶＭは、ほとんどの場合に、ＶＭによって実際に使用されるメモリが１９ＧＢに満たない（２２０）ということで、プーリングされたメモリに如何なる要求も出さずに実行できる。代替的に、稀な場合に、ＶＭのメモリ使用は１９ＧＢを超える（２３０）ことがある。かような場合に、追加のメモリが、論理プールメモリ２４０の中の物理プールメモリ２４２から割り当てられ得る。オーバーサブスクリプションプロセスの部分として、ハイウォーターマークが物理プールメモリ２４２の使用に関連付けられてよく、それにより、ＶＭによるこのメモリの使用がハイウォーターマークに近づくとき、特定の軽減プロセスが開始され得る。例として、ハイウォーターマークに達すると、論理プールメモリコントローラは、ページを物理プールメモリ２４２に格納する前に、それらのページの圧縮を開始し得る。他の例では、物理プールメモリ２４２は、より高いレイテンシを有し得る追加の物理メモリによってバックアップされ得るので、物理プールメモリ２４２に関連付けられたメモリよりも安価に配置できる可能性が高い。かような状況で、ハイウォーターマークに達すると、ページはより遅いメモリに書き込まれ得る。

【0018】

計算エンティティが最初に、それに割り当てられている論理プールメモリの部分（例えば、１３ＧＢ）を使用する前に、それに割り当てられている物理プールメモリの部分（例えば、１９ＧＢ）を使用することを確かにするために、計算エンティティが物理メモリと論理プールメモリとを区別することを可能にするソフトウェアメモリが使用されてもよい。一例では、Ｎｏｎ－Ｕｎｉｆｏｒｍ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ（ＮＵＭＡ）ノードをサポートするホストサーバにおいてより良い性能を確保するために、プーリングされたメモリは、ＶＭに対してコンピューティングレス仮想ＮＵＭＡノードとしてエクスポーズされ得る。これにより、ＶＭはローカル物理メモリと論理プールメモリとを区別できるようになり、より高いレイテンシを有することになる。従って、ＶＭは、まずはローカル物理メモリを使用し続け、それから、それが使い果たされると、ＶＭに対してコンピューティングレス仮想ＮＵＭＡノードとしてエクスポーズされているプーリングされたメモリの使用を開始し得る。ＶＭがローカル物理メモリと論理プールメモリとを区別することを可能にする他のメカニズムも使用されてよい。図２は、ＶＭによって要求された合計３２ＧＢと２５６ＧＢの論理プールメモリとによるオーバーサブスクリプションプロセスについて記載しているが、ＶＭは、追加の又はより少ない量のメモリ（例えば、４ＧＢから１２８ＧＢの間のどこか）を要求してもよい。同様に、論理プールメモリのサイズは、コンピューティングシステムによってサービスを提供される計算エンティティの数に依存して、より小さくても又はより大きくてもよい。更に、図２は、ローカル物理メモリの量を１９ＧＢと、論理プールメモリの量を１３ＧＢと記載しているが、これらの量は、計算エンティティティの間で変化してもよい。更に、オーバーサブスクリプションプロセスは、ホストサーバ（又は他のシステム）の間のメモリのプーリングを必要とせず、それは、論理プールメモリを共有する複数の計算エンティティのみを必要とする。

【0019】

図３は、一例に従って、オーバーサブスクリプションを許すよう構成されるリソース３３０を含むホストサーバ３１０、機械学習（ＭＬ）システム３０４、ＶＭスケジューラ３０２を含むシステム３００のブロック図である。ホストサーバ３１０は、ハイパーバイザ３２０、計算リソース（例えば、ＣＰＵ－０ ３３２及びＣＰＵ－１ ３３８）、ローカルメモリリソース（例えば、ローカルメモリ－０ ３４０及びローカルメモリ－１ ３４２）、ファブリックマネージャ３５０、及び論理プールメモリシステム３６０も含み得る。ＶＭスケジューラ３０２は、マルチテナントクラウドに関連付けられたテナントのいずれかからＶＭに対する要求を受け取り、ＶＭ（例えば、ホストサーバ３１０上のＶＭ３１２、ＶＭ３１４、ＶＭ３１６、及びＶＭ３１８）の配置をスケジューリングするよう構成され得る。この例では、リソース３３０の夫々は、ＳｏＣ、コントローラ、プロセッシングコア、メモリモジュール、ＡＳＩＣ、ＦＰＧＡ、ＣＰＬＤ、ＰＬＳ、シリコンＩＰ、などの１つ以上の使用など、ハードウェア部品として実装されてよい。更に、この例において、ＶＭスケジューラ３０２、ＭＬシステム３０４、及びハイパーバイザ３２０の夫々に関連した機能性は、プロセッサによって実行される場合に、非一時的な媒体に記憶されている命令により実施されてよい。図３は、ＶＭに関してシステム３００を記載しているが、他の計算エンティティも同様にしてシステム３００により使用されてよい。更に、ＶＭスケジューラ３０２は、エッジコンピューティングデバイス、オンプレミスサーバ、又は基地局（例えば、５Ｇ若しくは６Ｇ基地局）などの通信システムを含む他のタイプのシステムに含まれる計算エンティティからの要求を処理するよう構成されてもよい。

【0020】

ＭＬシステム３０４は、予測されたメモリ使用量を含むリソース予測をＶＭスケジューラ３０２に提供するよう構成され得る。ＶＭの組を配置するための要求がＶＭスケジューラ３０２に届き得る。この例において、ＶＭスケジューラ３０２は、次いで、予測されたメモリ使用量を要求するようＭＬシステム３０４にクエリを送信し得る。ＭＬシステム３０４はメモリ使用量予測を提供し得る。これらの予測を用いて、ＶＭスケジューラ３０２はメモリリソースをＶＭに割り当て得る。代替的に、ＶＭが実行のために設置又はスケジューリングされる必要があるたびにＶＭスケジューラ３０２がＭＬシステム３０４にクエリする必要がないように、ＶＭスケジューラ３０２はメモリ使用量予測又は他のメモリ使用量情報を提供されてもよい。図２に関連して先に説明されたように、割り当てられたメモリは、物理メモリ（例えば、ローカルＤＲＡＭ）と論理プールメモリへのマッピングとの組み合わせであってよい。

【0021】

引き続き図３を参照して、ＭＬシステム３０４は、ＭＬシステム３０４に関連した様々な機能を実行するよう構成された命令を有するいくつかのコンポーネントを含み得る。ＭＬシステム３０４は、オフライン訓練コンポーネント及びオンライン予測コンポーネントの両方を含み得る。オフライン訓練コンポーネントは、様々な機械学習モデルの訓練、モデルの妥当性検証、及び妥当性検証されたモデルの公開に関与し得る。オンライン予測コンポーネントは、ＶＭによるメモリ使用量に関する予測及びＶＭに関連した任意の挙動パターンを含む様々な側面に関係がある予測を生成し得る。ＭＬモデルの訓練の前に、ＭＬモデルが入力に基づいてメトリックを予測することを可能にする特徴が選択されてもよい。訓練フェーズは、後方伝播（backward propagation）の使用、又はＭＬが特定の入力パラメータとパラメータに基づいた特定の予測との間の関係を学習することを可能にする他の技術を含んでもよい。例として、確率的勾配降下法（stochastic gradient descent）を用いて訓練されたニューラルネットワークモデルが、ＶＭなどの計算エンティティのためのメモリ使用量を予測するために使用されてもよい。ベイジアンモデルを含む他のタイプのＭＬモデルが使用されてもよい。

【0022】

一般に、入力データに基づいて訓練できる教師あり学習アルゴリムを実装することができ、それが訓練されると、訓練に基づいて予測又は処方を行うことができる。線形回帰、回帰用に設定されたサポートベクターマシン（ＳＶＭ）、回帰用に設定されたランダムフォレスト、回帰用に設定された勾配ブースティングツリー、及びニューラルネットワークなどの学習及び推論技術が使用され得る。線形回帰は、独立変数と従属出力変数との間の過去の関係をモデル化することを含み得る。ニューラルネットワークは、入力層、１つ以上の隠れ層、及び出力層を生成するために使用される人工ニューロンを含み得る。各層は、ニューラルネットワークのオフラインの訓練により取得された係数又は定数の形で表される重みの行列又はベクトルとして符号化され得る。ニューラルネットワークは、回帰型ニューラルネットワーク（ＲＮＮ）、長・短期記憶（ＬＳＴＭ）ニューラルネットワーク、又はゲート付き回帰型ユニット（ＧＲＵ）として実装されてもよい。教師あり学習に基づいたモデルによって必要とされる全ての情報は、これらの技術のいずれかに対応するベクトル表現に変換され得る。

【0023】

ＬＳＴＭを例とすると、ＬＳＴＭネットワークは、繰り返すＲＮＮ層又は他のタイプの層の連続を有し得る。ＬＳＴＭネットワークの各層は、所与の時間ステップでの入力、例えば、前の時間ステップからの層の状態を消費し、新しい出力又は状態の組を生成し得る。ＬＳＴＭを使用する場合に、コンテンツの単一のチャンクが単一のベクトル又は複数のベクトルに符号化され得る。例として、単語又は単語の組み合わせ（例えば、フレーズ、センテンス、又は段落）が単一のベクトルとして符号化され得る。各チャンクは、ＬＳＴＭネットワークの個別的な層（例えば、特定の時間ステップ）に符号化され得る。ＬＳＴＭ層は、次のような式の組を用いて記述され得る：

【数1】

【0024】

この例において、各ＬＳＴＭ層内で、入力及び隠れ状態は、必要に応じて、ベクトル演算（例えば、ドット積、内積、若しくはベクトル加算）又は非線形演算の組み合わせにより処理され得る。機械学習システムに対応する命令は、Ａ／Ｉプロセッサに対応するハードウェアとして符号化され得る。この場合に、ＭＬシステム３０４に関連した機能性の一部又は全ては、ハードコード化されるか又はＡ／Ｉプロセッサの部分として別なふうに供給され得る。例として、Ａ／Ｉプロセッサは、必要機能を備えたＦＰＧＡを用いて実装されてもよい。

【0025】

他の例では、ＶＭに割り当てられるメモリは動的に変更又は決定され得る。例として、挙動変化は、時間にわたってＶＭによって処理されるワークロードに対応してもよく、それを使用してメモリ割り当てを動的に変更することができる。挙動変化の一例は、ウェブ検索ワークロード又は他の同様のワークロードにサービスを提供するＶＭに関連し得る。かようなＶＭは、日中はワークロードがより多くのリソースを必要とするが、夜間にはそれほど多くのリソースが必要でないという日周パターンを有し得る。一例において、高速フーリエ変換（ＦＦＴ）アルゴリズムを使用して、ＶＭに関連した挙動の周期性を検出することができる。ＦＦＴは、複数の時間スケールで周期性を検出するために使用され得るが、ＶＭのメモリ割り当ては、ＶＭによって扱われるワークロードが特定のパターン、例えば、日周パターンと一致する周期性を持っている場合にのみ動的に変更され得る。周期性分析により、ＶＭが日周パターン又は別のパターンを実行する可能性が高いことを予測するためのＭＬモデルの訓練においても使用できるグラウンド・トゥルースラベルが生成され得る。他の例では、他の機能（例えば、クラウドサブスクリプションＩＤ、ＶＭを作成したユーザ、ＶＭタイプ、ＶＭサイズ、ゲストオペレーティングシステム）も、ＶＭに割り当てられる物理メモリ及びプールされたメモリの範囲を静的又は動的に変更するために使用されてもよい。

【0026】

更なる他の例では、メモリ使用量の予測又は挙動／使用パターンの決定の代わりに、ＶＭは、ＶＭをスケジューリングするための要求に応答してローカル物理メモリを排他的に割り当ててもよい。後の時点で、ホストサーバ（又はホストサーバの集合）に関連付けられたローカル物理メモリが特定の利用レベルに達し始めると、スケジューリングされたＶＭは、ローカル物理メモリとマッピングされた論理プールメモリとの組み合わせを割り当てられ得る。このようにして、メモリは、現在実行中であるＶＭに動的に割り当てられ得る。

【0027】

依然として図３を参照すると、ハイパーバイザ３２０は、ＶＭ３１２、３１４、３１６、及び３１８を含む仮想マシンを管理し得る。ＣＰＵ－０ ３３２は１つ以上のプロセッシングコアを含み、ＣＰＵ－１ ３３８は１つ以上のプロセッシングコアを含み得る。ハイパーバイザ３２０に対応する命令は、プロセッシングコアのいずれかによって実行される場合に、ハイパーバイザ３２０によって提供される管理機能を提供し得る。ハイパーバイザ３２０は、いずれかの所与のＶＭに関連した如何なるスレッドもそのグループの論理コアに対してのみスケジューリングされることを確かにし得る。ＣＰＵ－０ ３３２はローカルメモリ－０ ３４０に結合され、ＣＰＵ－１ ３３８は、他のローカルメモリ－１ ３４２に結合され得る。ローカルメモリ－０ ３４０及びローカルメモリ－１ ３４２の夫々は、１つ以上のメモリモジュールを含み得る。かようなメモリモジュールの例には、デュアル・インライン・メモリモジュール（ＤＩＭＭ）又はシングル・インライン・メモリモジュール（ＳＩＭＭ）が含まれるが限られない。「キャッシュ可能なメモリ」である如何なるメモリタイプも、メモリモジュールを実装するために使用されてよい。本明細書で使用されるように、「キャッシュ可能なメモリ」という用語は、メモリに関連した読み出し動作により取得されたデータが、次に同じデータがアクセスされるときにメモリキャッシュから取得できるようにメモリキャッシュにコピーされ得る如何なるタイプのメモリも含む。メモリは動的ランダムアクセスメモリ（ＤＲＡＭ）、フラッシュメモリ、静的ランダムアクセスメモリ（ＳＲＡＭ）、相変化メモリ、磁気ランダムアクセスメモリ、又はメモリがキャッシュ可能なメモリとして動作できるようにする任意の他のタイプのメモリ技術であってもよい。

【0028】

引き続き図３を参照して、この例において、ＣＰＵ－０ ３３２は、ファブリックインターフェース－０ ３３４を介してファブリックマネージャ３５０に結合され、ＣＰＵ－１ ３３８は、他のファブリックインターフェース－１ ３３６を介してファブリックマネージャ３５０に結合され得る。ファブリックマネージャ３５０は、ＣＰＵ－０ ３３２及びＣＰＵ－１ ３３８に関連したプロセッシングコアによって実行されるＶＭのいずれかが論理プールメモリシステム３６０にアクセスすることを可能にし得る。一例において、ホストサーバ３１０に関連したＣＰＵのいずれかは、ハイパーバイザ３２０によって設定された論理アドレス空間へのロード又はストア命令を発し得る。ロード又はストア命令は、ローカルメモリ（例えば、ロード又はストア命令を発するＣＰＵに応じてローカルメモリ－０ ３４０又はローカルメモリ－１ ３４２のどちらか一方）への読み出し若しくは書き込み、又は論理プールメモリシステム３６０に関連した読み出し／書き込みトランザクションをもたらし得る。一例において、ローカルメモリがＤＲＡＭであるとすれば、ＤＲＡＭへのアクセスに関連した関係があるダブル・データ・レート（ＤＤＲ）プロトコルのいずれかが、ＣＰＵによって、ローカルメモリを読み出す／ローカルメモリに書き込むために使用され得る。この例において、論理プールメモリシステム３６０に関連したメモリモジュールへの読み出し／書き込みをもたらすロード又はストア命令は、ファブリックマネージャ３５０（又は他の類似したサブシステム）によって、論理プールメモリシステム３６０に関連付けられたメモリとＶＭを結合するリンクのいずれかを用いて完了されるトランザクションに変換され得る。読み出し／書き込みトランザクションは、ファブリックマネージャ３５０及び論理プールメモリシステム３６０に関連したプロトコルを用いて実行されてよい。論理プールメモリシステム３６０に関連付けられたメモリモジュールは、ＤＲＡＭモジュールとして実装される場合に、関係があるＤＤＲプロトコルのいずれかを用いて、論理プールメモリシステム３６０に関連付けられたコントローラによってアクセスされ得る。

【0029】

一例において、ファブリックマネージャ３５０は、Ｃｏｍｐｕｔｅ Ｅｘｐｒｅｓｓ Ｌｉｎｋ（ＣＸＬ）規格に基づいたファブリックマネージャを使用して実装されてもよい。この例において、論理プールメモリシステム３６０に関連付けられたメモリモジュールは、Ｔｙｐｅ３ ＣＸＬデバイスとして構成されてよい。仮想マシンに対してハイパーバイザ３２０によってエクスポーズされる論理アドレス空間は、少なくとも、ＣＸＬバス／リンクに関連付けられたコントローラによってエクスポーズされたアドレス範囲のサブセットであってよい。よって、この例の部分として、ＣＸＬ．ｉｏプロトコルに関連したトランザクションは、ＰＣＩｅに基づいた非コヒーレントＩ／Ｏプロトコルであり、メモリデバイスと、論理プールメモリシステム３６０に含まれるメモリモジュールとＣＰＵとの間のリンクとを設定するために使用され得る。ＣＸＬ．ｉｏプロトコルは、ホストサーバ３１０に関連付けられたＣＰＵによって、デバイスの発見、列挙、エラー報告及び管理においても使用されてよい。代替的に、かような設定トランザクションをサポートする任意の他のＩ／Ｏプロトコルも使用されてよい。メモリモジュールへのメモリアクセスは、メモリトランザクションをサポートするメモリアクセスプロトコルであるＣＸＬ．ｍｅｍプロトコルに関連したトランザクションを介して処理されてもよい。例として、ホストサーバ３１０のＣＰＵのいずれかに関連したロード命令及びストア命令は、ＣＸＬ．ｍｅｍプロトコルを介して処理され得る。代替的に、論理プールメモリシステム３６０に含まれるメモリモジュールに関連した読み出し／書き込みトランザクションへのＣＰＵロード／ストア命令の変換を可能にする任意の他のプロトコルも使用されてよい。図３は、特定の方法で配置されている特定のコンポーネントを含むホストサーバ３１０を示しているが、ホストサーバ３１０は、別なふうに配置される追加の又はより少ないコンポーネントを含んでもよい。例として、図３は、ＣＰＵに結合されたローカルメモリを示しているが、非ローカルメモリがＣＰＵに結合されてもよい。代わりに、ＣＰＵは、論理プールメモリシステム３６０に関連付けられたメモリにのみアクセスし得る。更に、図３は、単一のホストサーバによってホストされているＶＭを示しているが、ＶＭ３１２、３１４、３１６、及び３１８は、ホストサーバのグループ（例えば、データセンター内のホストサーバのクラスタ）を用いてホストされてもよい。論理プールメモリシステム３６０は、ホストサーバの間で共有されてよく、あるいは、各ホストサーバに専用であってもよい。

【0030】

図４は、一例に従って、メモリのオーバーサブスクリプションを許すよう構成される論理プールメモリシステム４００のブロック図である。一例において、図３の論理プールメモリシステム３６０は論理プールメモリシステム４００として実装されてもよい。この例において、論理プールメモリシステム４００は、論理プールメモリ４１０、論理プールメモリコントローラ４５０、及びプールメモリ制御構造４８０を含み得る。論理プールメモリ４１０は、物理プールメモリ４１２及び既知のパターンページ４１４を含み得る。物理プールメモリ４１２は、物理メモリ（例えば、ＤＲＡＭ）を備えたメモリモジュールを含み得る。物理プールメモリ４１２は論理アドレス空間に対応し得る。既知のパターンページ４１４は、如何なる物理メモリによっても支援されない論理アドレス空間を表し得る。論理プールメモリコントローラ４５０は、プールメモリデータ構造４８０と相互作用することによって、論理プールメモリ４１０へのアクセスを管理し得る。論理プールメモリコントローラ４５０は、ハードウェア、ファームウェア、又はソフトウェア命令の任意の組み合わせとして実装されてよい。論理プールメモリコントローラ４５０に対応する命令は、論理プールメモリシステム４００に関連付けられたメモリに記憶されてよい。かような命令は、論理プールメモリシステム４００に関連付けられたプロセッサによって実行される場合に、論理プールメモリコントローラ４５０に関連した機能の少なくとも一部を提供し得る。他の機能は、有限状態機械及び他のロジックを含む、論理プールメモリコントローラ４５０に関連した制御ロジックによって提供され得る。

【0031】

この例において、プールメモリ制御構造４８０は、マッピングテーブル４８２及び物理メモリフリーページリスト４８４を含み得る。マッピングテーブル４８２及び物理メモリフリーページリスト４８４は両方とも、物理プールメモリ４１２又は他のメモリ（例えば、論理プールメモリコントローラ４５０に関連付けられたキャッシュ）に記憶され得る。マッピングテーブル４８２は、物理プールメモリ４１２に関連付けられた物理アドレス空間及び論理アドレス空間の間のマッピングを保持し得る。マッピングテーブル４８２はまた、ページが既知のパターンページであるか否かに関してページの状態を追跡し得る。既知のパターンページは、物理プールメモリ４１２の部分として如何なる割り当てられた物理空間も有さなくてよい。この例において、既知のパターンページに関連付けられた物理メモリアドレスは、マッピングテーブル４８２において無効と見なされる（該当なし（Ｎ／Ａ）と識別される）。圧縮を用いて物理プールメモリ４１２において追加の空間を自由化する場合に、それもマッピングテーブル４８２を用いて追跡できる。以下の表１は、例となるマッピングテーブル４８２を示す。

【表1】

【0032】

表１で上に示されるように、マッピングテーブル４８２はページ番号によって索引付けされてよい。既知のパターンページのインジケータ（例えば、既知のパターンページのフラグ）が各ページに関連付けられてよい。論理ハイ値（例えば、１）は、ページ番号に対応して物理プールメモリ４１２において物理メモリ空間が割り当てられていないことを論理プールメモリコントローラ４５０に示し得る。論理ロー値（例えば、０）は、ページ番号に対応して物理プールメモリ４１２において物理メモリ空間が割り当てられていることを論理プールメモリコントローラ４５０に示し得る。論理プールメモリコントローラ４５０は、ページ番号に関連した任意のステータス変化に基づいて、既知のパターンページのインジケータを変更し得る。ＶＭのスケジューリング又は作成の時点で、ハイパーバイザ（又はホストオペレーティングシステム）は、ＶＭのためのメモリの一部をホストサーバに関連付けられた物理メモリにマッピングし、残りを論理プールメモリ４１０にマッピングし得る。この時点で、ハイパーバイザ（又はオペレーティングシステム）は、ＶＭに割り当てられている論理プールメモリに関連したページについて既知のパターンページのインジケータを論理ハイ値（例えば、１）にセットするようコマンドを論理プールメモリコントローラ４５０に発し得る。ＶＭはまた、ＶＭが初期化される時にそれに割り当てられた論理プールメモリに既知のパターンを書き込み得る。論理プールメモリコントローラ４５０は、既知のパターンを書き込んでいる書き込み動作を、物理メモリがこの時点でＶＭに割り当てられる必要がないという指示として検出し得る。更に、論理プールメモリコントローラ４５０は、対応するページに対する既知のパターンページのインジケータがマッピングテーブル４８２において正確に反映されることを確かにし得る。

【0033】

最初に、論理プールメモリコントローラ４５０は、ＶＭのための論理プールメモリの全てを既知のパターンページ４１４にマッピングし得る。新たにスケジューリングされたＶＭも、ＶＭに割り当てられている論理プールメモリ４１０に対応する如何なるページもマッピングテーブル４８２において既知のパターンページとして識別されることを確かにするよう、ハイパーバイザとともに動作し得る。後の時点で、ＶＭがそれに割り当てられたローカル物理メモリの全てを使い果たし、既知でないパターン（例えば、非ゼロ）を論理メモリアドレス空間に書き込み始めるとき、論理プールメモリコントローラ４５０は、物理プールメモリ４１２に対応する（論理プールメモリコントローラ４５０によってエクスポーズされた）論理アドレス空間内からのページをＶＭに割り当てることを開始し得る。物理メモリフリーページリスト４８４は、マッピングテーブル４８２によってマッピングされていない空いている物理プールメモリ４１２に対応するページのリストを含み得る。以下の表２は、例となる物理メモリフリーページリスト４８４を示す。この例は、自由に割り当てられる物理プールメモリ４１２に対応するページをリストアップしている。

【表2】

【0034】

アドレス変換は単一レベルのアドレス変換として記載されているが、アドレス変換はマルチレベルのアドレス変換であってもよく、従って、追加のマッピングテーブルの使用が必要になる場合がある。いずれの場合にも、論理プールメモリコントローラ４５０は、マッピングテーブルを保持し、既知のパターンページの適切な追跡を確かにして、先に記載されたように、ＶＭに割り当てられるメモリのプーリング及びオーバーサブスクリプションを可能にするよう構成され得る。更に、マッピングテーブル４８２はページに関連して記載されているが、メモリブロックを含むメモリの他のグルーピングもマッピングテーブル４８２とともに使用されてもよい。また、マッピングテーブル４８２の機能性は、プロセッサ及びコントローラに関連付けられたレジスタ又は他の類似したハードウェア構造を用いて実装されてもよい。更に、マッピングテーブル４８２は、物理プールメモリ４１２に記憶されるものとして記載されているが、マッピングテーブルの少なくとも一部は、アドレス変換プロセスを加速させるために、論理プールメモリコントローラ４５０に関連付けられたキャッシュに記憶されてもよい。

【0035】

図５は、一例に従って、トランスレーション・ルックアサイド・バッファ（ＴＬＢ）を使用するマッピングテーブルの実施例の図を示す。図４に関連して先に説明されたように、マッピングテーブル４８２は、論理プールメモリコントローラ４５０によって、ハイパーバイザ（又は他のソース）から受け取られた論理アドレスを、物理プールメモリ４１２に関連した物理アドレスに変換するために使用され得る。この例において、論理プールメモリコントローラ５２０は、トランスレーション・ルックアサイド・バッファ（ＴＬＢ）５３０として実装されるキャッシュを含み得る。ＴＬＢ５３０は、連想メモリ（ＣＡＭ）、フルアソシアティブキャッシュ、２ウェイセットアソシアティブキャッシュ、ダイレクトマップ方式キャシュ、又は他のタイプの適切なキャッシュとして実装されてよい。ＴＬＢ５３０は、論理プールアドレスから物理プールメモリアドレスへの変換及びページの既知のパターンページのステータスのチェックの両方を達成するよう実装され得る。各アドレス変換要求について、論理プールメモリコントローラ５２０は最初に、アドレス変換が既にキャッシュされているかどうかを決定するようＴＬＢ５３０をチェックし得る。アドレス変換がＴＭＬ５３０にキャッシュされていることが分かる場合に、ＴＬＢ ＨＩＴ信号が生成され得る。更に、ＴＬＢ ＨＩＴ信号を生じさせたページ番号に対応する物理アドレスが、その物理アドレスに記憶されているデータ又は命令へのアクセスを可能にするために、物理プールメモリ５６０へ供給され得る。代替的に、アドレス変換がキャッシュされていない場合には、ＴＬＢ ＭＩＳＳ信号が生成され得る。これは次いで、既知のパターンページのフラグが論理真値にセットされない限り、マッピングテーブル５６２にわたるテーブルウォークをもたらし得る。図５に示されるように、物理メモリフリーページリスト５６４も物理プールメモリ５６０に記憶されてよい。

【0036】

図６は、メモリのオーバーサブスクリプションを許すよう構成された論理プールメモリシステム６７０に結合されている複数のホストサーバを含むシステム６００のブロック図を示す。システム６００は、論理プールメモリシステム６７０に結合されているホストサーバ６１０、ホストサーバ６２０、及びホストサーバ６３０を含み得る。先に説明されたように、各ホストサーバは複数の計算エンティティ（例えば、ＶＭ）をホストすることができ、これらはシステム６００の異なるテナントによって購入されるか又は別なふうに支払われている場合がある。各サーバは、ローカルメモリ（例えば、図３のホストサーバ３１０に関連して記載されたメモリモジュール）を含んでもよく、また、論理プールメモリシステム６７０に含まれる論理プールメモリの部分であることができる論理プールメモリへのアクセスを有してもよい。先に記載されたように、ファブリックマネージャ（ＣＸＬに基づいて実装される。）は、論理プールメモリシステム６７０に関連付けられた論理プールメモリのサブセットをホスト６１０、６２０及び６３０の夫々にエクスポーズし得る。論理プールメモリシステム６７０は、先に記載されたのと同様に実装されてよい。

【0037】

ホストサーバ６１０を介してテナントにスケジューリング又は別なふうに利用可能にされている計算エンティティの夫々は、ローカルメモリ６１２の部分及びプールされたメモリ６１４の部分を割り当てられ得る。先に記載されたように、各計算エンティティへの割り当ては、論理プールメモリシステム６７０によって管理されている論理プールメモリへのオーバーサブスクリプションに基づき得る。この例において、ホストサーバ６１０によってホストされている各計算エンティティは、リンク６１６（又はリンクの集合）を介して論理プールメモリシステム６７０に結合され得る。ホストサーバ６２０を介してテナントにスケジューリング又は別なふうに利用可能にされている計算エンティティの夫々は、ローカルメモリ６２２の部分及びプールされたメモリ６２４の部分を割り当てられ得る。先に記載されたように、ホストサーバ６２０によってホストされている各計算エンティティへの割り当ては、論理プールメモリシステム６７０によって管理されている論理プールメモリへのオーバーサブスクリプションに基づき得る。この例において、ホストサーバ６２０によってホストされている各計算エンティティは、リンク６２６（又はリンクの集合）を介して論理プールメモリシステム６７０に結合され得る。ホストサーバ６３０を介してテナントにスケジューリング又は別なふうに利用可能にされている計算エンティティの夫々は、ローカルメモリ６３２の部分及びプールされたメモリ６３４の部分を割り当てられ得る。先に記載されたように、ホストサーバ６３０によってホストされている各計算エンティティへの割り当ては、論理プールメモリシステム６７０によって管理されている論理プールメモリへのオーバーサブスクリプションに基づき得る。この例において、ホストサーバ６３０によってホストされている各計算エンティティは、リンク６３６（又はリンクの集合）を介して論理プールメモリシステム６７０に結合され得る。例として、ホストサーバ６１０、６２０及び６３０の夫々のＣＰＵのいずれかに関連したロード及びストア命令は、ＣＸＬ．ｍｅｍプロトコルにより処理されてよい。代替的に、論理プールメモリシステム６７０に含まれるメモリモジュールに関連した読み出し／書き込みトランザクションへのＣＰＵロード／ストア命令の変換を可能にする任意の他のプロトコルも使用されてよい。図６は、特定の方法で配置されている特定のコンポーネントを含むものとしてシステム６００を示しているが、システム６００は、別なふうに配置される追加の又はより少ないコンポーネントを含んでもよい。

【0038】

図７は、計算エンティティに割り当てられているプールされたメモリのオーバーサブスクリプションを許す方法の少なくとも一部を実装するシステム７００のブロック図を示す。システム７００は、プロセッサ７０２、Ｉ／Ｏコンポーネント７０４、メモリ７０６、提示コンポーネント７０８、センサ７１０、データベース７１２、ネットワーキングインターフェース７１４、及びＩ／Ｏポート７１６を含んでよく、これらはバス７２０を介して相互接続され得る。プロセッサ７０２は、メモリ７０６に記憶されている命令を実行し得る。Ｉ／Ｏコンポーネント７０４は、キーボード、マウス、発話認識プロセッサ、又はタッチスクリーンなどのコンポーネントを含み得る。メモリ７０６は、不揮発性ストレージ又は揮発性ストレージ（例えば、フラッシュメモリ、ＤＲＡＭ、ＳＲＡＭ、若しくは他のタイプのメモリ）の任意の組み合わせであることができる。提示コンポーネント７０８は、ディスプレイ、ホログラフィックデバイス、又は他の提示デバイスを含み得る。ディスプレイは、ＬＣＤ、ＬＥＤ、又は他のタイプのディスプレイなどの任意のタイプのディスプレイであることができる。センサ７１０は、情報（例えば、収集されたデータ）を検出及び／又は受信するよう構成されたテレメトリ又は他のタイプのセンサを含み得る。センサ７１０は、情報（例えば、データセンター内のホストサーバによって実行されている様々な計算エンティティによるメモリ使用量）を検出及び／又は受信するよう構成されたテレメトリ又は他のタイプのセンサを含み得る。センサ７１０は、ＣＰＵ、メモリ、又は他の記憶コンポーネント、ＦＰＧＡ、マザーボード、基板管理コントローラ、などに関連した条件を検知するよう構成されたセンサを含み得る。センサ７１０は、ラック、シャーシ、ファン、電源ユニット（ＰＳＵ）、などに関連した条件を検知するよう構成されたセンサも含み得る。センサ７１０は、ネットワーク・インターフェース・コントローラ（ＮＩＣ）、トップ・オブ・ラック（ＴＯＲ）スイッチ、ミドル・オブ・ラック（ＭＯＲ）スイッチ、ルータ、電力分配ユニット（ＰＤＵ）、ラックレベル無停電電源（ＵＰＳ）システム、などに関連した条件を検知するよう構成されたセンサに含み得る。

【0039】

依然として図７を参照すると、データベース７１２は、本明細書に記載の方法の実行に必要な、収集又は記録されたデータのいずれかを格納するために使用され得る。データベース７１２は、分散データベースの集合として、又は単一のデータベースとして実装され得る。ネットワークインターフェース７１４は、イーサネット（登録商標）、セルラー無線、ブルートゥース（登録商標）無線、ＵＷＢ無線、又は他の種類の無線若しくは有線通信インターフェースなどの通信インターフェースを含み得る。Ｉ／Ｏポート７１６は、イーサネットポート、光ファイバポート、無線ポート、又は他の通信ポート若しくは診断ポートを含み得る。図７は、特定の方法で配置され結合された特定の数のコンポーネントを含むものとしてシステム７００を示しているが、別なふうに配置され結合されたより少ない又は追加のコンポーネントを含んでもよい。更に、システム７００に関連した機能性は、必要に応じて分散されてもよい。

【0040】

図８は、計算エンティティとともに使用される物理メモリをオーバーサブスクライブする方法の例のフローチャート８００を示す。一例において、この方法に関連したステップは、先に記載されたシステムの様々なコンポーネントによって実行され得る。ステップ８１０は、システムに関連付けられたメモリの部分を計算エンティティに割り当てることを含むことができ、メモリの部分は、第１タイプの第１物理メモリの部分と、システムに関連付けられた論理プールメモリの部分との組み合わせを有する。論理プールメモリは、第１タイプの第２物理メモリにマッピングされ、複数の計算エンティティへの割り当てに利用可能であるものとして指示される論理プールメモリの量は、第１タイプの第２物理メモリの量よりも多い。図２に関して先に記載されたように、計算エンティティの一種である仮想マシンは、１９ＧＢの物理メモリ（例えば、ＣＰＵのためのローカルメモリとして構成されたＤＲＡＭを含むメモリモジュール）と、ＤＲＡＭを含むメモリモジュールであることもできる図２の物理プールメモリ２４２を含む図２の論理プールメモリ２４０の部分であることができる１３ＧＢの論理プールメモリとを割り当てられ得る。本明細書で使用されるように、「第１タイプ」というフレーズ中で使用される「タイプ」という用語は、メモリがキャッシュ可能なメモリであるか否かを指す。先に記載されたように、「キャッシュ可能なメモリ」という用語は、メモリに関連した読み出し動作により取得されたデータが、次に同じデータがアクセスされるときにメモリキャッシュから取得できるようにメモリキャッシュにコピーされ得る如何なるタイプのメモリも含む。メモリは動的ランダムアクセスメモリ（ＤＲＡＭ）、フラッシュメモリ、静的ランダムアクセスメモリ（ＳＲＡＭ）、相変化メモリ、磁気ランダムアクセスメモリ、又はメモリがキャッシュ可能なメモリとして動作できるようにする任意の他のタイプのメモリ技術であってもよい。要するに、第１タイプの第１物理メモリ及び第１タイプの第２物理メモリは、キャッシュ可能なタイプである必要があるが、それらは他方で異なるタイプであってもよい（例えば、ＤＲＡＭ対相変化メモリ、又はＳＲＡＭ対ＤＲＡＭ）。

【0041】

ステップ８２０は、論理プールメモリに関連付けられた論理プールメモリコントローラに対して、複数の計算エンティティのいずれかに最初に割り当てられる論理プールメモリに関連付けられた全てのページが既知のパターンページであることを示すことを含むことができる。例として、ハイパーバイザ（例えば、図３のハイパーバイザ３２０）は、最初に割り当てられたページのステータスを既知のパターンページ（例えば、既知のパターンページ４１４）として論理プールメモリコントローラ（例えば、図４の論理プールメモリコントローラ４５０）に示し得る。

【0042】

ステップ８３０は、論理プールメモリコントローラが、複数の計算エンティティのいずれかに割り当てられた論理プールメモリのページが既知のパターンページであるかどうかの状態と、複数の計算エンティティのいずれかへの任意の割り当てられている論理プールメモリに関連付けられた物理メモリアドレス及び論理メモリアドレスの間の関係との両方を追跡することを含むことができる。この例において、このステップの部分として、図４及び図５に関連して先に説明されたように、論理プールメモリコントローラ（例えば、図４の論理プールメモリコントローラ４５０）は、ページのステータス（既知のパターンページか否か）、及び物理メモリ（例えば、図４の物理プールメモリ４１２）内の物理アドレスとページ番号との間の関係を、マッピングテーブル（例えば、図４のマッピングテーブル４８２）を用いて追跡し得る。先に説明されたように、論理プールメモリへのアクセスを加速させるために、マッピングテーブルの少なくとも一部は、トランスレーション・ルックアサイド・バッファとして実装されてもよい。更に、マッピングテーブル（又は類似の構造）はレジスタを用いて実装されてもよい。

【0043】

ステップ８４０は、計算エンティティによって開始された書き込み動作に応答して、論理プールメモリコントローラが、計算エンティティに前に割り当てられた論理プールメモリの部分に対応する物理メモリの範囲までのみ第１タイプの第２物理メモリ内の任意の利用可能な空間へのデータの書き込みを許可することを含むことができる。先に説明されたように、計算エンティティ（例えば、ＶＭ）が、それに割り当てられたローカル物理メモリの全てを使い果たし、既知でないパターンを論理メモリアドレス空間に書き込み始めるとき、ハイパーバイザは、物理メモリ（例えば、図４の物理プールメモリ４１２）に対応する（論理プールメモリコントローラ４５０によってエクスポーズされた）論理アドレス空間内からのページを計算エンティティに割り当てることを開始し得る。論理プールメモリコントローラは、マッピングテーブルによってマッピングされていない空いているページにアクセスためにフリーページリスト（例えば、図４の物理メモリフリーページリスト４８４）にアクセスし得る。更に、先に説明されたように、計算エンティティは、前に計算エンティティに割り当てられた（例えば、図２に関して記載された例では１３ＧＢ）よりも多く、論理プールメモリコントローラによって管理されている物理メモリを割り当てられない場合がある。この方法により、より多くの計算エンティティがシステムによって追加の物理メモリ（例えば、ＤＲＡＭ）を配置する必要なしにサポートされ得るので、計算エンティティによるシステム内のインストールされたメモリのオーバーサブスクリプションが可能になる。

【0044】

図９は、計算エンティティとともに使用される物理メモリをオーバーサブスクライブする他の方法の例のフローチャート９００を示す。一例において、この方法に関連したステップは、先に記載されたシステムの様々なコンポーネントによって実行され得る。ステップ９１０は、システムに関連付けられたメモリの部分を計算エンティティに割り当てることを含むことができ、メモリの部分は、第１タイプの第１物理メモリの部分と、システムに関連付けられた論理プールメモリの部分との組み合わせを有する。論理プールメモリは、第１タイプの第２物理プールメモリにマッピングされ得、複数の計算エンティティへの割り当てに利用可能であるものとして指示される論理プールメモリの量は、第１タイプの第２物理プールメモリの量よりも多くてもよい。図２に関して先に記載されたように、計算エンティティの一種である仮想マシンは、１９ＧＢの物理メモリ（例えば、ＣＰＵのためのローカルメモリとして構成されたＤＲＡＭを含むメモリモジュール）と、ＤＲＡＭを含むメモリモジュールであることもできる図２の物理プールメモリ２４２を含む図２の論理プールメモリ２４０の部分であることができる１３ＧＢの論理プールメモリとを割り当てられ得る。例として、論理プールメモリは、図６の論理プールメモリシステム６７０の部分として含まれる論理プールメモリであってよく、物理プールメモリは、図６の論理プールメモリシステム６７０の部分として含まれる物理メモリ（例えば、ＤＲＡＭ）に対応してもよい。

【0045】

ステップ９２０は、論理プールメモリに向けられた如何なるロード又はストア命令も、複数の計算エンティティの夫々と、第１タイプの第２物理プールメモリの部分として含まれる物理メモリデバイスの夫々との間の各々のリンクを介した完了のために、メモリトランザクションに変換することを含み得る。一例において、先に説明されたように、Ｃｏｍｐｕｔｅ Ｅｘｐｒｅｓｓ Ｌｉｎｋ（ＣＸＬ）仕様に基づいたファブリックマネージャを用いて実装されるファブリックマネージャ（例えば、図３のファブリックマネージャ３５０又は図６のファブリックマネージャ６５０）が、ロード及びストア命令を、ＣＸＬ仕様に関連したトランザクションに変換し得る。計算エンティティにエクスポーズされた論理アドレス空間は、少なくとも、ＣＸＬバス／リンクに関連したコントローラによってエクスポーズされたアドレス範囲のサブセットであってよい。

【0046】

ステップ９３０は、論理プールメモリに関連付けられた論理プールメモリコントローラに対して、複数の計算エンティティのいずれかに最初に割り当てられる論理プールメモリに関連付けられた全てのページが既知のパターンページであることを示すことを含むことができる。例として、ハイパーバイザ（例えば、図３のハイパーバイザ３２０、又は図６のホストサーバ６１０、６２０及び６３０のいずれかに関連付けられたハイパーバイザ）は、最初に割り当てられたページのステータスを既知のパターンページ（例えば、既知のパターンページ４１４）として論理プールメモリコントローラ（例えば、図４の論理プールメモリコントローラ４５０）に示し得る。ハイパーバイザの組み合わせも、共有されている論理プールメモリを管理する複数のハイパーバイザを有するコンピューティングシステム又は通信システムによってサポートされる計算エンティティへのメモリ割り当てを管理するよう互いに協調し得る。

【0047】

ステップ９４０は、論理プールメモリコントローラが、複数の計算エンティティのいずれかに割り当てられた論理プールメモリのページが既知のパターンページであるかどうかの状態と、複数の計算エンティティのいずれかへの任意の割り当てられている論理プールメモリに関連付けられた物理メモリアドレス及び論理メモリアドレスの間の関係との両方を追跡することを含むことができる。この例において、このステップの部分として、図４～図６に関連して先に説明されたように、論理プールメモリコントローラ（例えば、図４の論理プールメモリコントローラ４５０）は、ページのステータス（既知のパターンページか否か）、及び物理メモリ（例えば、図４の物理プールメモリ４１２）内の物理アドレスとページ番号との間の関係を、マッピングテーブル（例えば、図４のマッピングテーブル４８２）を用いて追跡し得る。先に説明されたように、論理プールメモリへのアクセスを加速させるために、マッピングテーブルの少なくとも一部は、トランスレーション・ルックアサイド・バッファとして実装されてもよい。更に、マッピングテーブル（又は類似の構造）はレジスタを用いて実装されてもよい。

【0048】

ステップ９５０は、計算エンティティによって既知のパターン以外の任意のデータを書き込むために開始された書き込み動作に応答して、論理プールメモリコントローラが、計算エンティティに前に割り当てられた論理プールメモリの部分に対応する物理メモリの範囲までのみ第１タイプの第２物理プールメモリ内の任意の利用可能な空間へのデータの書き込みを許可することを含むことができる。先に説明されたように、計算エンティティ（例えば、ＶＭ）が、それに割り当てられたローカル物理メモリの全てを使い果たし、既知でないパターンを論理メモリアドレス空間に書き込み始めるとき、ハイパーバイザは、物理メモリ（例えば、図４の物理プールメモリ４１２、又は図６の論理プールメモリシステム６７０に関連付けられた物理プールメモリ）に対応する（論理プールメモリコントローラ４５０によってエクスポーズされた）論理アドレス空間内からのページを計算エンティティに割り当てることを開始し得る。論理プールメモリコントローラは、マッピングテーブルによってマッピングされていない空いているページにアクセスためにフリーページリスト（例えば、図４の物理メモリフリーページリスト４８４）にアクセスし得る。更に、先に説明されたように、計算エンティティは、前に計算エンティティに割り当てられた（例えば、図２に関して記載された例では１３ＧＢ）よりも多く、論理プールメモリコントローラによって管理されている物理メモリを割り当てられない場合がある。この方法によっても、より多くの計算エンティティがシステムによって追加の物理メモリ（例えば、ＤＲＡＭ）を配置する必要なしにサポートされ得るので、計算エンティティによるシステム内のインストールされたメモリのオーバーサブスクリプションが可能になる。

【0049】

まとめると、本開示は、システムに関連付けられたメモリの部分を計算エンティティに割り当てることを有し、メモリの部分が、第１タイプの第１物理メモリの部分と、システムに関連付けられた複数の計算エンティティとともに使用される論理プールメモリの部分との組み合わせを有する、方法に関係がある。論理プールメモリは、第１タイプの第２物理メモリにマッピングされてよく、複数の計算エンティティへの割り当てに利用可能であるものとして指示される論理プールメモリの量は、第１タイプの第２物理メモリの量よりも多くてもよい。方法は、論理プールメモリに関連付けられた論理プールメモリコントローラに対して、複数の計算エンティティのいずれかに最初に割り当てられる論理プールメモリに関連付けられた全てのページが既知のパターンページであることを示すことを更に含み得る。方法は、論理プールメモリコントローラが、複数の計算エンティティのいずれかに割り当てられた論理プールメモリのページが既知のパターンページであるかどうかの状態と、複数の計算エンティティのいずれかへの任意の割り当てられている論理プールメモリに関連付けられた物理メモリアドレス及び論理メモリアドレスの間の関係との両方を追跡することを更に含み得る。方法は、計算エンティティによって開始された書き込み動作に応答して、論理プールメモリコントローラが、計算エンティティに前に割り当てられた論理プールメモリの部分に対応する物理メモリの範囲までのみ第１タイプの第２物理メモリ内の任意の利用可能な空間へのデータの書き込みを許可することを更に含み得る。

【0050】

この方法で、システムに関連付けられた論理プールメモリの量は、如何なるタイプの物理メモリによっても支援されない既知のパターンページに対応するメモリの量と組み合わされる第１タイプの前記第２物理メモリの量に等しくなり得る。複数の計算エンティティのいずれかに割り当てられた論理プールメモリのページが既知のパターンページであるかどうかの状態と、物理メモリアドレス及び論理メモリアドレスの間の関係との両方を追跡することは、マッピングテーブルを保持することを含み得る。一例において、マッピングテーブルは、トランスレーション・ルックアサイド・バッファを使用して実施されてよい。

【0051】

方法は、計算エンティティによる第１タイプの第１物理メモリの予測される使用に基づいて、第１タイプの第１物理メモリの部分を割り当てることを更に含んでもよい。方法は、計算エンティティに割り当てられた第１タイプの第１物理メモリの使用に関連付けられた利用パターンに基づいて、計算エンティティに割り当てられた第１タイプの第１物理メモリの部分の量を動的に変更することを更に含んでもよい。

【0052】

方法は、計算エンティティが、計算エンティティに割り当てられた論理プールメモリの部分と、計算エンティティに割り当てられた第１タイプの第１物理メモリの部分とを区別することを可能にするよう、ソフトウェアメカニズムを介して、計算エンティティに割り当てられた論理プールメモリの部分をエクスポーズすることを更に含んでもよい。論理プールメモリは、ファブリックマネージャによって管理されている各々のリンクを介して、システムに関連付けられた論理プールメモリの少なくとも一部を割り当てられている複数の計算エンティティのいずれかを実行するプロセッサへ結合され得る。

【0053】

他の例では、本開示は、複数の計算エンティティとともに使用されるメモリを有するシステムにおいて、メモリの部分が、第１タイプの第１物理メモリの部分と、システムに関連付けられた論理プールメモリの部分との組み合わせを有する、システムに関係がある。論理プールメモリは、第１タイプの第２物理メモリにマッピングされ得、複数の計算エンティティへの割り当てに利用可能であるものとして指示される論理プールメモリの量は、第１タイプの前記第２物理メモリの量よりも多くてもよい。システムは、論理プールメモリへ結合され、（１）複数の計算エンティティのいずれかに割り当てられた論理プールメモリのページが既知のパターンページであるかどうかの状態と、複数の計算エンティティのいずれかへの任意の割り当てられている論理プールメモリに関連付けられた物理メモリアドレス及び論理メモリアドレスの間の関係との両方を追跡し、（２）計算エンティティによって既知のパターン以外の任意のデータを書き込むよう開始された書き込み動作に応答して、書き込み動作が、計算エンティティに前に割り当てられた論理プールメモリの部分に対応する物理メモリの範囲までのみ第１タイプの第２物理メモリ内の任意の利用可能な空間へデータを書き込むことを可能にする、よう構成される論理プールメモリコントローラを更に含み得る。

【0054】

システムの部分として、システムに関連付けられた論理プールメモリの量は、如何なるタイプの物理メモリによっても支援されない既知のパターンページに対応するメモリの量と組み合わされる第１タイプの第２物理メモリの量に等しくなり得る。論理プールメモリコントローラは、複数の計算エンティティのいずれかに割り当てられた論理プールメモリのページが既知のパターンページであるかどうかの状態と、複数の計算エンティティのいずれかへの任意の割り当てられている論理プールメモリに関連付けられた物理メモリアドレス及び論理メモリアドレスの間の関係との両方を追跡するために、マッピングテーブルを保持するよう更に構成され得る。

【0055】

システムの部分として、一例において、計算エンティティによる第１タイプの第１物理メモリの予測される使用に基づいて、第１タイプの第１物理メモリの部分を割り当てるよう、スケジューラが構成され得る。スケジューラはまた、計算エンティティに割り当てられた第１タイプの第１物理メモリの使用に関連付けられた利用パターンに基づいて、計算エンティティに割り当てられた第１タイプの第１物理メモリの部分の量を動的に変更するよう構成され得る。論理プールメモリコントローラは、複数の計算エンティティのいずれかに最初に割り当てられる論理プールメモリに関連付けられた全てのページが既知のパターンページであることを複数の計算エンティティの夫々に示すよう更に構成され得る。

【0056】

更なる他の例では、本開示は、複数の計算エンティティのうちの１つ以上を実行するよう構成される複数のホストサーバを含むシステムに関係がある。システムは、メモリを更に含むことができ、メモリの部分は、第１タイプの第１物理メモリの部分と、複数のホストサーバの間で共有される論理プールメモリの部分との組み合わせを有する。論理プールメモリは、第１タイプの第２物理メモリにマッピングされ、複数の計算エンティティへの割り当てに利用可能であるものとして指示される論理プールメモリの量は、第１タイプの第２物理メモリの量よりも多くてもよい。システムは、システムに関連付けられた論理プールメモリへ結合され、複数の計算エンティティのいずれかに割り当てられた論理プールメモリのページが既知のパターンページであるかどうかの状態と、複数の計算エンティティのいずれかへの任意の割り当てられている論理プールメモリに関連付けられた物理メモリアドレス及び論理メモリアドレスの間の関係との両方を追跡し、（２）既知のパターン以外の任意のデータを書き込むよう、複数のホストサーバのうちのいずれかに関連付けられたプロセッサによって実行される、計算エンティティによって開始された書き込み動作に応答して、書き込み動作が、計算エンティティに前に割り当てられた論理プールメモリの部分に対応する物理メモリの範囲までのみ第１タイプの第２物理メモリ内の任意の利用可能な空間へデータを書き込むことを可能にする、よう構成される論理プールメモリコントローラを更に含み得る。

【0057】

システムの部分として、システムに関連付けられた論理プールメモリの量は、如何なるタイプの物理メモリによっても支援されない既知のパターンページに対応するメモリの量と組み合わされる第１タイプの第２物理メモリの量に等しくなり得る。論理プールメモリコントローラは、複数の計算エンティティのいずれかに割り当てられた論理プールメモリのページが既知のパターンページであるかどうかの状態と、複数の計算エンティティのいずれかへの任意の割り当てられている論理プールメモリに関連付けられた物理メモリアドレス及び論理メモリアドレスの間の関係との両方を追跡するために、マッピングテーブルを保持するよう更に構成され得る。

【0058】

システムの部分として、一例において、計算エンティティによる第１タイプの第１物理メモリの予測される使用に基づいて、第１タイプの第１物理メモリの部分を割り当てるよう、スケジューラが構成され得る。スケジューラはまた、計算エンティティに割り当てられた第１タイプの第１物理メモリの使用に関連付けられた利用パターンに基づいて、計算エンティティに割り当てられた第１タイプの第１物理メモリの部分の量を動的に変更するよう構成され得る。論理プールメモリコントローラは、複数の計算エンティティのいずれかに最初に割り当てられる論理プールメモリに関連付けられた全てのページが既知のパターンページであることを複数の計算エンティティの夫々に示すよう更に構成され得る。

【0059】

本明細書で説明される方法、モジュール、及びコンポーネントは単なる例示であることが理解されるべきである。代替的に、又は追加的に、本明細書で記載される機能は、少なくとも部分的に、１つ以上のハードウェアロジックコンポーネントによって実行できる。例えば、制限なしに、使用できるハードウェアロジックコンポーネントの例示的なタイプには、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップシステム（ＳＯＣ）、複合プログラム可能ロジックデバイス（ＣＰＬＤ）、などがある。抽象的だが、それでも明確な意味で、同じ機能を達成するためのコンポーネントの如何なる配置も、望ましい機能が達成されるように有効に“関連付け”られる。従って、特定の機能を達成するよう本明細書で組み合わされている任意の２つのコンポーネントは、アーキテクチャ又は中間コンポーネントに関係なく、望ましい機能が達成されるように互いに“関連付けられている”と見なすことができる。同様に、そのように関連付けられた任意の２つのコンポーネントは、望ましい機能を達成するために互いに“動作可能に接続”又は“結合”されているものとして見なすこともできる。装置、構造、システム、又は機能の任意の他の実装であり得るコンポーネントが、別のコンポーネントに結合されるものとして本明細書に記載されているという理由だけで、コンポーネントが必ずしも別個のコンポーネントであることを意味するものではない。例として、別のコンポーネントＢに結合されていると説明されているコンポーネントＡは、コンポーネントＢのサブコンポーネントである場合もあれば、コンポーネントＢがコンポーネントＡのサブコンポーネントである場合も、コンポーネントＡ及びＢが他のコンポーネントＣの結合されたサブコンポーネントである場合もある。

【0060】

本開示で記載されるいくつかの例に関連した機能は、非一時的な媒体に記憶されている命令も含むことができる。本明細書で使用される「非一時的な媒体」という用語は、マシンを特定の方法で動作させるデータ及び／又は命令を記憶している如何なる媒体も指す。実例となる非一時的な媒体には、不揮発性媒体及び／又は揮発性媒体がある。不揮発性媒体には、例えば、ハードディスク、ソリッドステートドライブ、磁気ディスク若しくはテープ、光ディスク若しくはテープ、フラッシュメモリ、ＥＰＲＯＭ、ＮＶＲＡＭ、ＰＲＡＭ、又は他のかような媒体、あるいは、かような媒体のネットワーク化されたバージョンがある。揮発性媒体には、例えば、ＤＲＡＭ、ＳＲＡＭ、キャッシュ、又は他のかような媒体などの動的なメモリがある。非一時的な媒体は、伝送媒体とは異なるが、伝送媒体とともに使用できる。伝送媒体は、データ及び／又は命令をマシンとの間で転送するために使用される。実例となる伝送媒体には、同軸ケーブル、光ファイバケーブル、銅線、及び電波などの無線媒体がある。

【0061】

更に、当業者であれば、上記の動作の機能の間の境界は例示に過ぎないことを認識するであろう。複数の動作の機能は単一の動作にまとめられてもよく、及び／又は単一の動作の機能は追加の動作に分配されてもよい。更に、代替の実施形態は、特定の動作の複数のインスタンスを含んでもよく、動作の順序は、様々な他の実施形態で変更されてもよい。

【0062】

本開示は具体例を提供するが、様々な修正及び変更が、以下で特許請求の範囲において記載されている本開示の範囲から外れずに行われ得る。従って、明細書及び図面は、限定の意味ではなくむしろ例示の意味で見なされるべきである、全てのかような修正は、本開示の範囲内に含まれるよう意図される。具体例に関して本明細書で記載される課題に対する如何なる利点、効果、又は解決法も、いずれか又は全ての請求項の重要な、必要な、又は必須の特徴又は要素として解釈されることを意図したものではない。

【0063】

更に、本明細書で使用される「１つの」（a又はan）という用語は、１つ以上として定義される。また、特許請求の範囲中の「少なくとも１つ」や「１つ以上」などの導入句の使用は、同じクレームが「１つ以上」又は「少なくとも１つ」という導入句と不定冠詞（例えば、a又はan）とを含む場合でさえ、不定冠詞（a又はan）による他のクレーム要素の導入が、そのような導入されたクレーム要素を含む任意の特定のクレームを、かような要素を少なくも１つしか含まない発明に制限することを暗示するものとして解釈されるべきではない。同じことは、定冠詞の使用についても当てはまる。

【0064】

別なふうに述べられない限り、「第１」及び「第２」などの用語は、そのような用語が記載する要素どうしを任意に区別するために使用される。よって、これらの用語は、斯様なようその時間的な又は他の優先順位を示すよう必ずしも意図されない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【国際調査報告】