特表2024-514502 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ アドバンスト・マイクロ・ディバイシズ・インコーポレイテッドの特許一覧

特表2024-514502分散型データセンタにおける適応型メモリ一貫性

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4
5
6
7

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-04-02

(54)【発明の名称】分散型データセンタにおける適応型メモリ一貫性

(51)【国際特許分類】

G06F 9/52 20060101AFI20240326BHJP

G06F 12/0888 20160101ALI20240326BHJP

G06F 12/00 20060101ALI20240326BHJP

G06F 15/173 20060101ALI20240326BHJP

【ＦＩ】

G06F9/52 150A

G06F12/0888 102

G06F12/00 560A

G06F15/173 665D

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023560434

(86)(22)【出願日】2022-03-16

(85)【翻訳文提出日】2023-11-08

(86)【国際出願番号】 US2022020607

(87)【国際公開番号】W WO2022212061

(87)【国際公開日】2022-10-06

(31)【優先権主張番号】17/219,505

(32)【優先日】2021-03-31

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＶＥＲＩＬＯＧ

(71)【出願人】

【識別番号】591016172

【氏名又は名称】アドバンスト・マイクロ・ディバイシズ・インコーポレイテッド

【氏名又は名称原語表記】ＡＤＶＡＮＣＥＤＭＩＣＲＯＤＥＶＩＣＥＳＩＮＣＯＲＰＯＲＡＴＥＤ

(74)【代理人】

【識別番号】100108833

【弁理士】

【氏名又は名称】早川裕司

(74)【代理人】

【識別番号】100111615

【弁理士】

【氏名又は名称】佐野良太

(74)【代理人】

【識別番号】100162156

【弁理士】

【氏名又は名称】村雨圭介

(72)【発明者】

【氏名】セルゲイブラゴドゥロフ

(72)【発明者】

【氏名】ブランドンケー．ポッター

(72)【発明者】

【氏名】ジョナサンオルソップ

【テーマコード（参考）】

5B045

5B160

5B205

【Ｆターム（参考）】

5B045BB15

5B045BB54

5B045DD10

5B045DD12

5B045EE03

5B045EE26

5B160AA20

5B205NN95

(57)【要約】

データプロセッサは、データファブリックに結合し、メモリアクセス命令を実行するためのファブリック接続メモリ（ＦＡＭ）インターフェースを含む。ＦＡＭインターフェースに結合されたリクエスタ側適応型一貫性コントローラは、データプロセッサがアクセスするのを許可されたＦＡＭ領域へのアクセスを許可されたリクエスタの変更に関する、ファブリック接続メモリのファブリックマネージャからの通知を要求する。通知が、２つ以上のリクエスタがＦＡＭ領域へのアクセスを許可されていることを示す場合に、ローカルアプリケーションにおいて選択されたメモリアクセス命令に対するフェンスがアクティブ化される。
【選択図】図５

【特許請求の範囲】

【請求項1】

ファブリック接続メモリと、ファブリックを介して前記ファブリック接続メモリに結合された複数のリクエスタと、を含むファブリック接続メモリシステムで使用する方法であって、
ファブリック接続メモリ領域へのアクセスを許可されたリクエスタの変更に関するファブリックマネージャからの通知を要求することと、
２つ以上のリクエスタが前記ファブリック接続メモリ領域へのアクセスを許可されていることを示す前記ファブリックマネージャからの通知に応じて、選択されたメモリアクセス命令に対するフェンスをアクティブ化させることと、を含む、
方法。

【請求項2】

単一のリクエスタが前記ファブリック接続メモリ領域へのアクセスを許可されていることを示す前記ファブリックマネージャからの通知に応じて、前記メモリ領域を、前記単一のリクエスタのためのライトバックメモリ領域としてマッピングすることを更に含む、
請求項１の方法。

【請求項3】

２つ以上のリクエスタが前記ファブリック接続メモリ領域へのアクセスを許可されていることを示す前記ファブリックマネージャからの通知に応じて、
許可されたリクエスタごとに、
前記リクエスタがローカルフェンスコマンドを発行するように構成されている場合に、前記選択されたメモリアクセス命令に対するローカルフェンスコマンドを発行させ、前記ファブリック接続メモリ領域を、前記リクエスタのためのライトスルーメモリとしてマッピングすることと、
前記リクエスタがローカルフェンスコマンドを発行するように構成されていない場合に、前記ファブリック接続メモリ領域を、キャッシュ不可能としてマッピングすることと、を更に含む、
請求項２の方法。

【請求項4】

前記フェンスをアクティブ化させることは、前記選択されたメモリアクセス命令を、リクエスタ間の依存性を示すものとして認識したことに応じて、リクエスタ側適応型一貫性コントローラに、前記選択されたメモリアクセス命令に対するフェンスコマンドを追加させることを含む、
請求項１の方法。

【請求項5】

前記選択されたメモリアクセス命令を認識することは、前記ファブリック接続メモリ領域へのアクセスを許可された各リクエスタで実行されるプロセッサ命令マイクロコードによって実行される、
請求項３の方法。

【請求項6】

一貫性プリミティブ及び一貫性コンストラクトを認識したことに応じて、コンパイル中にリクエスタファブリックインターフェースマーカをアプリケーションに挿入することを更に含む、
請求項４の方法。

【請求項7】

前記選択されたメモリアクセス命令を認識することは、スレッド間のデータの同期に関連する命令タイプ及び命令プレフィックスの所定のリスト内の命令を認識することに基づいている、
請求項３の方法。

【請求項8】

前記ファブリック接続メモリ領域へのアクセスを許可された各リクエスタにおいて、前記ファブリック接続メモリ領域へのアクセスを許可された前記リクエスタのテーブルを維持し、前記通知の各々に応じて前記テーブルを更新することを更に含む、
請求項１の方法。

【請求項9】

前記テーブルは、少なくとも、ファブリック接続メモリ領域識別子と、前記ファブリック接続メモリ領域へのアクセスを許可された計算リクエスタの数と、を含む、
請求項７の方法。

【請求項10】

データプロセッサであって、
アプリケーションを実行する処理コアと、
前記処理コアに結合され、データファブリックに結合し、前記処理コアからファブリック接続メモリへのメモリアクセス命令を実行するように適合されたファブリック接続メモリインターフェースと、
前記処理コア及び前記ファブリック接続メモリインターフェースに結合されたリクエスタ側適応型一貫性コントローラと、を備え、
前記リクエスタ側適応型一貫性コントローラは、
前記データプロセッサがアクセスするのを許可されたファブリック接続メモリ領域へのアクセスを許可されたリクエスタの変更に関する、前記ファブリック接続メモリのファブリックマネージャからの通知を要求することと、
２つ以上のリクエスタが前記ファブリック接続メモリ領域へのアクセスを許可されていることを示す前記ファブリックマネージャからの通知に応じて、ローカルアプリケーションにおいて選択されたメモリアクセス命令に対するフェンスをアクティブ化させることと、
を行うように動作可能である、
データプロセッサ。

【請求項11】

前記リクエスタ側適応型一貫性コントローラは、単一のリクエスタが前記ファブリック接続メモリ領域へのアクセスを許可されていることを示す前記ファブリックマネージャからの通知に応じて、前記ファブリック接続メモリ領域を、ライトバックメモリ領域としてマッピングさせるように動作可能である、
請求項１０のデータプロセッサ。

【請求項12】

前記リクエスタ側適応型一貫性コントローラは、２つ以上のリクエスタが前記ファブリック接続メモリ領域へのアクセスを許可されていることを示す前記ファブリックマネージャからの通知に応じて、
前記データプロセッサがローカルフェンスコマンドを発行するように構成されている場合に、前記選択されたメモリアクセス命令に対するローカルフェンスコマンドを発行させ、前記ファブリック接続メモリ領域を、ライトスルーメモリとしてマッピングすることと、
前記データプロセッサがローカルフェンスコマンドを発行するように構成されていない場合に、前記ファブリック接続メモリ領域を、キャッシュ不可能としてマッピングさせることと、
を行うように動作可能である、
請求項１１のデータプロセッサ。

【請求項13】

前記処理コアによってアクセス可能な有形の非一時的なメモリに記憶され、前記選択されたメモリアクセス命令を認識するために前記処理コアによって実行可能なプロセッサ命令マイクロコードを備える、
請求項１０のデータプロセッサ。

【請求項14】

前記プロセッサ命令マイクロコードは、前記選択されたメモリアクセス命令を、リクエスタ間の依存関係を示すものとして認識したことに応じて、認識された前記選択されたメモリアクセス命令を前記リクエスタ側適応型一貫性コントローラに通知して、リクエスタ側フェンスコマンドを、前記ファブリック接続メモリインターフェースへのメモリコマンドに挿入させることを実行する、
請求項１３のデータプロセッサ。

【請求項15】

前記選択されたメモリアクセス命令を認識することは、一貫性プリミティブ及び一貫性コンストラクトのうち何れかを含む前記ローカルアプリケーション内のインジケータを認識することに応答することを含む、
請求項１３のデータプロセッサ。

【請求項16】

前記選択されたメモリアクセス命令を認識することは、コンパイル中に前記アプリケーションに挿入されたファブリックインターフェースマーカを認識することを含む、
請求項１３のデータプロセッサ。

【請求項17】

前記リクエスタ側適応型一貫性コントローラは、前記ファブリック接続メモリ領域へのアクセスを許可された前記リクエスタのテーブルを維持し、前記通知の各々に応じて前記テーブルを更新する、
請求項１０のデータプロセッサ。

【請求項18】

前記テーブルは、少なくとも、ファブリック接続メモリ領域識別子と、前記ファブリック接続メモリ領域へのアクセスを許可された計算リクエスタの数と、を含む、
請求項１９のデータプロセッサ。

【請求項19】

ファブリック接続メモリシステムであって、
ファブリック接続メモリと、
前記ファブリック接続メモリに結合されたデータファブリックと、
前記データファブリックに結合され、リクエスタが前記ファブリック接続メモリのメモリ領域にアクセスするのを許可及び許可解除するように動作可能なファブリックマネージャと、
前記データファブリックに結合された複数のデータプロセッサと、を備え、
前記複数のデータプロセッサの各々は、
アプリケーションを実行する処理コアと、
ファブリック接続メモリインターフェースと、
前記処理コア及び前記ファブリック接続メモリインターフェースに結合されたリクエスタ側適応型一貫性コントローラと、を含み、
前記リクエスタ側適応型一貫性コントローラは、
前記データプロセッサがアクセスするのを許可されたファブリック接続メモリ領域へのアクセスを許可されたリクエスタの変更に関する前記ファブリックマネージャからの通知を要求することと、
２つ以上のリクエスタが前記ファブリック接続メモリ領域へのアクセスを許可されていることを示す前記ファブリックマネージャからの通知に応じて、ローカルアプリケーションにおいて選択されたメモリアクセス命令に対するフェンスをアクティブ化させることと、
を行うように動作可能である、
ファブリック接続メモリシステム。

【請求項20】

前記リクエスタ側適応型一貫性コントローラは、単一のリクエスタが前記ファブリック接続メモリ領域へのアクセスを許可されていることを示す前記ファブリックマネージャからの通知に応じて、前記ファブリック接続メモリ領域を、ライトバックメモリ領域としてマッピングさせるように動作可能である、
請求項１９のファブリック接続メモリシステム。；

【請求項21】

各リクエスタ側適応型一貫性コントローラは、２つ以上のリクエスタが前記ファブリック接続メモリ領域へのアクセスを許可されていることを示す前記ファブリックマネージャからの通知に応じて、
前記各リクエスタ側適応型一貫性コントローラの前記データプロセッサがローカルフェンスコマンドを発行するように構成されている場合に、前記選択されたメモリアクセス命令に対するローカルフェンスコマンドを発行させ、前記ファブリック接続メモリ領域を、ライトスルーメモリとしてマッピングすることと、
前記リクエスタ側適応型一貫性コントローラの前記データプロセッサがローカルフェンスコマンドを発行するように構成されていない場合に、前記ファブリック接続メモリ領域を、キャッシュ不可能としてマッピングさせることと、
を行うように動作可能である、
請求項２０のファブリック接続メモリシステム。

【請求項22】

各データプロセッサは、前記各データプロセッサの前記処理コアによってアクセス可能な有形の非一時的なメモリに記憶され、前記選択されたメモリアクセス命令を認識するために前記処理コアによって実行可能なプロセッサ命令マイクロコードを含む、
請求項１９のファブリック接続メモリシステム。

【請求項23】

【請求項24】

前記選択されたメモリアクセス命令を認識することは、一貫性プリミティブ及び一貫性コンストラクトのうち何れかを含む前記ローカルアプリケーション内のインジケータを認識することを含む、
請求項１９のファブリック接続メモリシステム。

【請求項25】

前記選択されたメモリアクセス命令を認識することは、コンパイル中に前記アプリケーションに挿入されたファブリックインターフェースマーカを認識することを含む、
請求項１９のファブリック接続メモリシステム。

【請求項26】

前記リクエスタ側適応型一貫性コントローラは、前記ファブリック接続メモリ領域へのアクセスを許可された前記リクエスタのテーブルを維持し、前記通知の各々に応じて前記テーブルを更新する、
請求項１９のファブリック接続メモリシステム。

【請求項27】

前記テーブルは、少なくとも、ファブリック接続メモリ領域識別子と、前記ファブリック接続メモリ領域へのアクセスを許可された計算リクエスタの数と、を含む、
請求項２６のファブリック接続メモリシステム。

【発明の詳細な説明】

【背景技術】

【0001】

ＣｏｍｐｕｔｅＥｘｐｒｅｓｓＬｉｎｋ（ＣＸＬ）３．０、Ｇｅｎ－Ｚ、又はＳｌｉｎｇｓｈｏｔ等の新興のファブリック規格は、中央演算処理装置（central processing unit、ＣＰＵ）ホストがファブリック接続メモリ（Fabric-Attached Memory、ＦＡＭ）モジュールにアクセス可能な、データセンタの分散化への手法を例示する。そのようなモジュールは、データセンタファブリックに接続されたメモリを含み、それに関連付けられた計算能力がないか又はほとんどない。ＦＡＭでは、ホストは、それらのローカルサーバのメモリ容量制限によって制約されない。代わりに、ホストは、任意の特定のホストに接続される必要のないメモリの膨大なプールにアクセスすることができる。ＦＡＭは、ホスト間でパーティション化され、パーティションは、１つのホスト専用であってもよいし、複数のホスト間で共有されてもよい。

【0002】

メモリの一貫性（memory consistency）は、ＦＡＭシステムと共に使用するためのソフトウェアアプリケーションを開発するプロセスにおいて重要な考慮事項である。一貫性は、マルチプロセッサ又はマルチスレッドシステムにおける（異なるメモリ場所への）メモリ命令がどのように順序付けられるかを定義し、一貫性モデルに従って独立したメモリ動作を並べ替えることによって実行される。

【0003】

高レベルの依存性が関与している単一プロセッサの命令ストリームにおける独立したメモリ動作に様々な順序付け制約を課す、様々な一貫性モデルが開発されてきた。逐次一貫性（Sequential Consistency）として知られる単純な一貫性モデルでは、プロセッサは、読み出し及び書き込みを並べ替えることができない。「トータルストアオーダー（Total Store Order）」（ＴＳＯ）として知られる別のモデルは、ストアバッファリングを可能にする。この方式では、ストアバッファは、指定された条件が満たされ、動作のグループがメモリに送信されることが可能になるまで、メモリに送信される必要があるストア動作を保持する。ロードはストアを通過することができるが、ストアはプログラム順にメモリに送信される。ロード動作のアドレスは、ストアバッファ内のアドレスに対してチェックされ、ストアバッファは、アドレス一致がある場合にロード動作を満たすために使用される。

【0004】

緩和された（relaxed）又は弱い（weak）一貫性モデルとして知られる他の一貫性モデルは、動作の並べ替えが許容される領域を画定するフェンス（fence）（又はバリア）動作の何らかのバージョンに依存する。解放一貫性（release consistency）は、弱い一貫性モデルの一例であり、同期アクセスは、ロックのような動作が全ての後続のメモリアクセスの前に完了しなければならない「取得（Acquire）」と、ロック解除のような動作が解放の完了前に全てのメモリ動作と共に完了しなければならない「解放（Release）」と、に分割される。

【図面の簡単な説明】

【0005】

【図1】先行技術によるファブリック接続メモリ（ＦＡＭ）システムのブロック図である。

【図2】いくつかの実施形態による、図１等のＦＡＭシステムにおける計算ユニットとして使用するのに好適な加速処理ユニット（accelerated processing unit、ＡＰＵ）のブロック図である。

【図3】いくつかの実施形態による、適応型一貫性コントローラ（adaptive consistency controller、ＡＣＣ）を含むＦＡＭメモリシステムの特定の要素のブロック図である。

【図4】いくつかの実施形態による、図３のＡＣＣを動作させるプロセスを示す図である。

【図5】例示的な実施形態による、適応型一貫性コントローラにおいてメモリ一貫性モデルを管理するためのプロセスのフロー図である。

【図6】いくつかの実施形態による、メモリ一貫性モデルを実行するためのプロセスのフロー図である。

【図7】いくつかの追加の実施形態による、メモリ一貫性モデルを実行するための別のプロセスのフロー図である。

【発明を実施するための形態】

【0006】

以下の説明において、異なる図面における同一の符号の使用は、同様の又は同一のアイテムを示す。別段言及されなければ、「結合される」という単語及びその関連する動詞形は、当技術分野で知られている手段による直接接続及び間接電気接続の両方を含み、また、別段言及されなければ、直接接続の任意の記述は、好適な形態の間接電気接続を使用する代替の実施形態も意味する。

【0007】

方法は、ファブリック接続メモリと、ファブリックを介してファブリック接続メモリに結合された複数のリクエスタと、を含むファブリック接続メモリシステムと共に使用するためのものである。ファブリック接続メモリ領域にアクセスすることを許可されたリクエスタの変更に関するファブリックマネージャからの通知が要求される。２つ以上のリクエスタがファブリック接続メモリ領域にアクセスすることを許可されていることを示すファブリックマネージャからの通知に応じて、そのように許可されたリクエスタごとに、ファブリック接続メモリ領域に関係するローカルアプリケーションにおいて選択されたメモリアクセス命令に対するフェンスがアクティブ化される。

【0008】

データプロセッサは、処理コアと、ファブリック接続メモリインターフェースと、リクエスタ側適応型一貫性コントローラと、を含む。処理コアは、アプリケーションを実行する。ファブリック接続メモリインターフェースは、処理コアに結合され、データファブリックに接続し、処理コアからファブリック接続メモリへのメモリアクセス命令を実行するように適合される。リクエスタ側適応型一貫性コントローラは、処理コア及びファブリック接続メモリインターフェースに結合され、データプロセッサがアクセスすることを許可されたファブリック接続メモリ領域にアクセスすることを許可されたリクエスタの変更に関する、ファブリック接続メモリのためのファブリックマネージャからの通知を要求する。２つ以上のリクエスタがファブリック接続メモリ領域にアクセスすることを許可されていることを示すファブリックマネージャからの通知に応じて、リクエスタ側適応型一貫性コントローラは、ローカルアプリケーションにおいて選択されたメモリアクセス命令に対するフェンスをアクティブ化させる。

【0009】

ファブリック接続メモリシステムは、ファブリック接続メモリと、データファブリックと、ファブリックマネージャと、複数のデータプロセッサと、を含む。データファブリックは、ファブリック接続メモリに接続される。ファブリックマネージャは、データファブリックに接続され、ファブリック接続メモリのメモリ領域にアクセスすることをリクエスタに許可及び許可解除するように動作可能である。複数のデータプロセッサは、データファブリックに接続され、それぞれが、アプリケーションを実行する処理コアと、ファブリック接続メモリインターフェースと、処理コア及びファブリック接続メモリインターフェースに結合されたリクエスタ側適応型一貫性コントローラと、を含む。リクエスタ側適応型一貫性コントローラは、データプロセッサがアクセスすることを許可されているファブリック接続メモリ領域にアクセスすることを許可されているリクエスタの変更に関するファブリックマネージャからの通知を要求する。２つ以上のリクエスタがファブリック接続メモリ領域にアクセスすることを許可されていることを示すファブリックマネージャからの通知に応じて、リクエスタ側適応型一貫性コントローラは、ローカルアプリケーションにおいて選択されたメモリアクセス命令に対するフェンスをアクティブ化させる。

【0010】

図１は、先行技術よるファブリック接続メモリ（ＦＡＭ）システム１００のブロック図である。図示したＦＡＭシステム１００は、分散型データセンタにしばしば用いられる多くのトポロジにおけるデータファブリックトポロジの一例にすぎない。ＦＡＭシステム１００は、概して、データセンタファブリック１０２と、ポッド（pods）と呼ばれるいくつかのデバイスグループ１０４と、を含む。

【0011】

それぞれのポッド１０４は、複数の計算ノード「Ｃ」、複数のメモリノード「Ｍ」、及び、相互接続ネットワーク「ＩＣＮ」を含む。計算ノードＣは、ルータ「Ｒ」を介してＩＣＮに接続されている。計算ノードＣは、同じ一貫性ドメインの一部である複数のＣＰＵ（それぞれ複数のコア）又は複数の加速処理ユニット（ＡＰＵ）を含む。それぞれの計算ノードＣは、ネットワークインターフェースカード（network interface card、ＮＩＣ）、ＣＸＬインターフェース、又は、計算ノードＣのためのデータセンタファブリック１０２へのゲートウェイである他の好適なファブリックインターフェース等のファブリックブリッジを含む。メモリノードＭは、ルータＲを介してＩＣＮに接続されている。それぞれのメモリノードＭは、同様のファブリックインターフェースと、ＦＡＭへの要求を満たすメディアコントローラと、を含む。ＩＣＮは、様々な計算ノードＣをメモリノードＭと相互接続するためのスイッチを含み、いくつかのトポロジではルータを含み得る。

【0012】

図示したトポロジは、ルータＲ及びＩＣＮによって形成されたローカルデータセンタファブリックと、データセンタファブリック１０２とラベル付けされたグローバルデータセンタファブリックと、を含む。この実施形態では、ローカルデータセンタファブリックは、ラック内にあり、グローバルデータセンタファブリックは、複数のラックを含む。しかしながら、様々なファブリックトポロジがラック内又はデータセンタ内に実装されてもよく、ネットワークを介して遠隔でデータセンタにアクセスする計算ノードを含んでもよい。多くのトポロジは、ＦＡＭプールの一部であるメモリも含む計算ノードＣを有することに留意されたい。そのようなメモリは、ファブリック接続メモリとしてマッピングされてもよく、「構成可能性（composability）」と呼ばれるリソース割り当てプロセスに従って他の計算ノードによる使用のために利用可能にされ得る。

【0013】

データセンタファブリック１０２は、ＣＸＬ、Ｇｅｎ－Ｚ又は他の好適なメモリファブリックプロトコル等のプロトコルでデータトラフィックを結合するスイッチ及びルータを含む、ポッド１０４間のデータ相互接続を提供する。データセンタファブリックにおいて、複数のプロトコルが一緒に用いられ得ることに留意されたい。この例示的な実施形態では、ＣＸＬは、ラック内のデバイスを相互接続するために用いられ、Ｇｅｎ－Ｚは、データセンタ内の様々なラックを相互接続するために用いられる。

【0014】

図２は、図１のＦＡＭシステム１００のようなＦＡＭシステムにおいて計算ユニットＣとして使用するのに好適なＡＰＵ２００のブロック図である。ＡＰＵ２００は、ホストデータ処理システムにおけるプロセッサとして使用するのに好適な集積回路であり、概して、中央演算処理装置（ＣＰＵ）コア複合体２１０と、グラフィックスコア２２０と、ディスプレイエンジン２２２のセットと、データファブリック２２５と、メモリ管理ハブ２４０と、周辺コントローラ２６０のセットと、周辺バスコントローラ２７０のセットと、システム管理ユニット（system management unit、ＳＭＵ）２８０と、メモリインターフェース２９０のグループと、を含む。

【0015】

ＣＰＵコア複合体２１０は、ＣＰＵコア２１２及びＣＰＵコア２１４を含む。この例では、ＣＰＵコア複合体２１０が２つのＣＰＵコアを含むが、他の実施形態では、ＣＰＵコア複合体２１０が任意の数のＣＰＵコアを含むことができる。ＣＰＵコア２１２、２１４のそれぞれは、制御ファブリックを形成するシステム管理ネットワーク（system management network、ＳＭＮ）及びローカルデータファブリック２２５に対して双方向で接続され、データファブリック２２５にメモリアクセス要求を提供することができる。ＣＰＵコア２１２及び２１４のそれぞれは、単体のコアであってもよく、又は更にキャッシュ等の特定のリソースを共有する２つ以上の単体のコアを有するコア複合体であってもよい。ＣＰＵコア２１２、２１４のそれぞれは、以下で更に説明するように、データセンタファブリック上でメモリ一貫性のための特定の機能を実施することを含む、特定の命令をＣＰＵ上で実行するために動作するμＣｏｄｅ２１６を含む。

【0016】

グラフィックスコア２２０は、頂点処理、フラグメント処理、シェーディング、テクスチャブレンディング等のグラフィックス動作を高度に統合された並列方式で実施することができる高性能グラフィックス処理ユニット（graphics processing unit、ＧＰＵ）である。グラフィックスコア２２０は、ＳＭＮ及びデータファブリック２２５に対して双方向で接続され、メモリアクセス要求をデータファブリック２２５に提供することができる。これに関して、ＡＰＵ２００は、ＣＰＵコア複合体２１０とグラフィックスコア２２０とが同じメモリ空間を共有する統合メモリアーキテクチャ、又は、ＣＰＵコア複合体２１０とグラフィックスコア２２０とがメモリ空間の一部を共有する一方でグラフィックスコア２２０がＣＰＵコア複合体２１０によりアクセスできないプライベートグラフィックスメモリも使用するメモリアーキテクチャの何れかをサポートすることができる。メモリ領域は、ローカルメモリから割り当てられてもよく、又は、データセンタファブリックから割り当てられてもよい。

【0017】

ディスプレイエンジン２２２は、モニタ上に表示するためにグラフィックスコア２２０によって生成されたオブジェクトをレンダリングしてラスタライズする。グラフィックスコア２２０及びディスプレイエンジン２２２は、システムメモリ内の適切なアドレスへの一様な変換のために、共通メモリ管理ハブ２４０に双方向で接続される。

【0018】

ローカルデータファブリック２５０は、任意のメモリアクセスエージェントとメモリ管理ハブ２４０との間でメモリアクセス要求及びメモリ応答をルーティングするためのクロスバースイッチを含む。また、データファブリックは、システム構成に基づいてメモリアクセスの送信先を決定するために、基本入力／出力システム（basic input/output system、ＢＩＯＳ）によって規定されるシステムメモリマップ、並びに、各仮想接続のためのバッファも含む。

【0019】

周辺コントローラ２６０は、ユニバーサルシリアルバス（universal serial bus、ＵＳＢ）コントローラ２６２及びシリアルアドバンストテクノロジーアタッチメント（Serial Advanced Technology Attachment、ＳＡＴＡ）インターフェースコントローラ２６４を含み、これらのそれぞれは、システムハブ２６６及びＳＭＮバスに対して双方向で接続される。これらの２つのコントローラは、ＡＰＵ２００で使用され得る周辺コントローラの単なる典型例である。

【0020】

周辺バスコントローラ２７０は、システムコントローラ又は「サウスブリッジ」（Southbridge、ＳＢ）２７２と、周辺構成要素相互接続エクスプレス（Peripheral Component Interconnect Express、ＰＣＩｅ）コントローラ２７４と、を含み、これらのそれぞれは、入力／出力（input/output、Ｉ／Ｏ）ハブ２７６及びＳＭＮバスに対して双方向で接続される。また、Ｉ／Ｏハブ２７６は、システムハブ２６６及びデータファブリック２２５に対して双方向で接続される。したがって、例えば、ＣＰＵコアは、データファブリック２２５がＩ／Ｏハブ２７６を介してルーティングするアクセスにより、ＵＳＢコントローラ２６２、ＳＡＴＡインターフェースコントローラ２６４、ＳＢ２７２、又は、ＰＣＩｅコントローラ２７４内のレジスタをプログラムすることができる。ＡＰＵ２００のためのソフトウェア及びファームウェアは、リードオンリーメモリ（read-only memory、ＲＯＭ）、フラッシュ電気的消去可能プログラマブルＲＯＭ（electrically erasable programmable ROM、ＥＥＰＲＯＭ）等の様々な不揮発性メモリタイプの何れかであり得るシステムデータドライブ又はシステムＢＩＯＳメモリ（図示せず）に記憶される。概して、ＢＩＯＳメモリはＰＣＩｅバスを介してアクセスされ、システムデータドライブはＳＡＴＡインターフェースを介してアクセスされる。

【0021】

ＳＭＵ２８０は、ＡＰＵ２００上のリソースの動作を制御してそれらの間の通信を同期させるローカルコントローラである。ＳＭＵ２８０は、ＡＰＵ２００上の様々なプロセッサのパワーアップシーケンシングを管理し、リセット、イネーブル及び他の信号を介して複数のオフチップデバイスを制御する。ＳＭＵ２８０は、ＡＰＵ２００の構成要素のそれぞれにクロック信号を与えるために、位相ロックループ（phase locked loop、ＰＬＬ）等の１つ以上のクロックソース（図示せず）を含む。また、ＳＭＵ２８０は、様々なプロセッサ及び他の機能ブロックのための電力を管理し、適切な電力状態を判定するためにＣＰＵコア２１２、２１４及びグラフィックスコア２２０から測定された電力消費値を受信することができる。

【0022】

メモリ管理ハブ２４０は、ローカルデータファブリック２５０、グラフィックスコア２２０及びディスプレイエンジン２３０に接続され、グラフィックスコア２２０及びディスプレイエンジン２３０にダイレクトメモリアクセス能力を提供する。

【0023】

メモリインターフェース２９０は、２つのメモリコントローラ２９１、２９２と、ＤＲＡＭメディア２９３、２９４と、ＦＡＭメモリインターフェース２９５と、を含む。メモリコントローラ２９１、２９２のそれぞれは、ローカルデータファブリック２５０に接続され、物理層（ＰＨＹ）インターフェースを介してＤＲＡＭメディア２９３、２９４のそれぞれに接続される。この実施形態では、ＤＲＡＭメディア２９３、２９４は、ＤＤＲバージョン５（ＤＤＲ５）等のＤＤＲメモリに基づくメモリモジュールを含む。他の実施形態では、低電力ＤＤＲ４（ＬＰＤＤＲ４）、グラフィックスＤＤＲバージョン５（ＧＤＤＲ５）及び高帯域幅メモリ（ＨＢＭ）等の他のタイプのＤＲＡＭメモリが使用される。

【0024】

ＦＡＭメモリインターフェース２９５は、ファブリックブリッジ２９６、適応型一貫性コントローラ（ＡＣＣ）２９７、及び、ファブリックＰＨＹ２９８を含む。ファブリックブリッジ２９６は、ＦＡＭシステム１００等のＦＡＭシステムへのメモリ要求を受信し、実行するためのローカルデータファブリック２５０に接続されたファブリック接続メモリインターフェースである。そのようなメモリ要求は、ＣＰＵコア複合体２１０から来てもよく、又は、グラフィックスコア２２０等の他のシステム構成要素からのダイレクトメモリアクセス（ＤＭＡ）要求であってもよい。また、ファブリックブリッジ２９６は、ファブリックＰＨＹ２９８に双方向で接続され、ＡＰＵ２００のデータセンタファブリックへの接続を提供する。適応型一貫性コントローラ（ＡＣＣ）２９７は、ファブリックブリッジ２９６に双方向で接続され、以下で更に説明するように、メモリ一貫性制御入力をファブリックブリッジ２９６及びＣＰＵコア複合体２１０に提供する。動作中、ＡＣＣ２９７は、以下で更に説明するように、ＣＰＵコア複合体２１０内のＣＰＵコアと通信して、指定されたメモリアクセス命令がＣＰＵコア２１２、２１４上で実行されるμＣｏｄｅ２１６によって認識されたという通知を受信する。また、ＡＣＣ２９７は、メモリ一貫性モデルを構成するための構成入力をＣＰＵコア複合体２１０に提供する。

【0025】

図３は、いくつかの実施形態による、ＦＡＭシステム３００の特定の要素のブロック図である。ＦＡＭシステム３００は、概して、計算ノード３０２、データセンタファブリック１０２、ＦＡＭメモリノード３１０、及び、ファブリックマネージャ３２０を含む。

【0026】

計算ノード３０２は、データセンタファブリック１０２に接続された多くのリクエスタ計算ノードのうち何れかであり、概して、ＡＰＵ２００等のＡＰＵと共に実装される。計算ノード３０２は、インターネットサーバ、アプリケーションサーバ、スーパーコンピューティングノード、又は、ＦＡＭにアクセスすることから利益を得る別の好適な計算ノードを実装することができる。システムの関連部分に焦点を合わせるために、計算ノード３０２のＦＡＭインターフェース構成要素のみが図示されている。計算ノード３０２は、ファブリックブリッジ２９６、ファブリックＰＨＹ２９８、及び、ＡＣＣ２９７を含む。

【0027】

ファブリックブリッジ２９６は、図２に関して上述したようにローカルデータファブリックに接続され、ファブリックＰＨＹ２９８、ＡＣＣ２９７に接続される。このバージョンのＡＣＣ２９７は、マイクロコントローラ（μＣ）３０４を含む。μＣ３０４は、以下に説明するようにメモリ一貫性制御機能を実行し、典型的には、μＣ３０４を初期化してその機能を実行するように構成するファームウェアを保持するための有形の非一時的なメモリにも接続される。

【0028】

μＣ３０４は、以下に説明するようにメモリ一貫性制御機能を実行し、典型的には、μＣ３０４を初期化してその機能を実施するように構成するファームウェアを保持するための有形の非一時的なメモリにも接続される。

【0029】

ファブリックマネージャ３２０は、ＦＡＭシステム３００への構成及びアクセスを管理するためのデータセンタファブリック１０２に接続されたコントローラである。ファブリックマネージャ３２０は、ＣＸＬ又はＧｅｎ－Ｚ等のように、データセンタファブリック１０２で用いられる特定の規格のためのデータファブリック管理アプリケーションを実行する。データファブリック管理アプリケーションは、ＦＡＭシステム３００内の様々なノードの間でメモリリソースを識別及び構成することによって、計算ノードを許可すること、メモリ領域を割り当てること、及び、構成可能性を管理すること等のデータセンタファブリック機能を管理及び構成する。１つのＦＡＭメモリノード３１０及び１つの計算ノード３０２が示されているが、システムは、図１に示された例示的な構成等の多くの構成で現れ得る複数のそのようなノードを含むことに留意されたい。いくつかの実施形態では、ファブリックマネージャ３２０は、データファブリック管理アプリケーションにアクセスし、ＦＡＭシステム３００全体にわたるそれぞれの計算ノード上のそれぞれの適応型一貫性コントローラ（ＡＣＣ）３２２にデータを報告するためにインストールされたＡＣＣモジュール２９７を有する。

【0030】

ＦＡＭメモリノード３１０は、メディアコントローラ３１２、メモリ３１４を含む。メディアコントローラ３１２は、典型的に、メモリ３１４で使用するために選択されるメモリのタイプが何であれ、それに適したメモリコントローラを含む。例えば、メモリ３１４がＤＲＡＭメモリである場合、ＤＲＡＭメモリコントローラが使用される。また、メモリ３１４は、永続メモリモジュールを含んでもよいし、混合されてもよい。いくつかの実施形態では、ＡＣＣ２９７は、計算ノード３０２に割り当てられたＦＡＭメモリ領域にアクセスすることを許可された他のリクエスタに関係するデータを、ＦＡＭメモリノード３１０におけるリクエスタテーブル３０６内に維持する。リクエスタテーブル３０６は、同じメモリ領域にアクセスすることを許可された計算ノードに対する更新を追跡し、更新の時間を反映する「タイムスタンプ」、計算ノード３０２に割り当てられたＦＡＭメモリ領域の識別子を反映する「領域ＩＤ」、及び、それぞれの更新時にメモリ領域にアクセスすることを許可されていたＦＡＭシステム３００上のリクエスタの数を反映する「リクエスタ数」のフィールドを含む。リクエスタテーブル３０６は、以下で更に説明するように、ファブリックマネージャ３２０からの報告に基づいて更新される。この実施形態では、ＦＡＭメモリノード３１０は、リクエスタテーブル３０６を保持するメディアコントローラ３１２によってアクセス可能なバッファを含む。

【0031】

図４は、いくつかの実施形態による、ＡＣＣ２９７を動作させるプロセスを示す図４００である。図４００は、データファブリックにおけるリクエスタ計算ノードでのアクティビティを示し、リクエスタ計算ノードにおけるＣＰＵコア複合体２１０、オペレーティングシステム４０２、ＡＣＣ２９７、及び、ファブリックブリッジ２９６を示す。また、図４００は、ファブリックマネージャ３２０と、データファブリック上の多くのメディアコントローラのうち何れかであるメディアコントローラ３１２と、を示す。

【0032】

リクエスタが、ファブリックマネージャ３２０によってシステムメモリのために使用する特定のＦＡＭ領域を割り当てられる場合、ＡＣＣ２９７は、「コールバック」とラベル付けされた外向きの要求によって示されるように、リクエスタ計算ノードと同じメモリ領域を使用するのを許可されたリクエスタの数に変更が加えられる場合に通知を要求するために、ファブリックマネージャ３２０にコールバック要求を行う。ファブリックマネージャ３２０は、図４００上の「ユーザ数」応答によって示されるように、メモリ領域を使用するのを許可されたリクエスタの数が変わる毎に、ＡＣＣ２９７に通知を返す。この実施形態では、ＦＡＭメモリノード３１０におけるリクエスタテーブル３０６（図３）は、図４００上でメディアコントローラ３１２に向かう「ユーザ数」矢印によって示されるように、ユーザの数が変わる毎に更新される。いくつかの実施形態では、ＡＣＣ２８７は、ＡＣＣ２９７のローカルバッファ内にリクエスタテーブルを維持する。いくつかの実施形態では、ファブリックマネージャ３２０で実行されるＡＣＣモジュール３２２（図３）は、メモリ領域にアクセスするのを許可されたリクエスタを監視し、通知をＡＣＣ２９７に送信するプロセスを管理する。ユーザ数更新通知に基づいて、ＡＣＣ２９７は、割り当てられたＦＡＭメモリ領域と共に使用するための一貫性モデルを設定する。概して、このプロセスは、現在のリクエスタがメモリ領域へのアクセスを許可された唯一のリクエスタである場合に、一貫性モデルを第１の一貫性モデルに設定し、２つ以上のリクエスタがメモリ領域へのアクセスを許可されている場合に、一貫性モデルを第２の一貫性モデルに設定することを含む。一貫性モデルの設定は、コマンド「ＳＥＴＭＯＤＥＬ（ＦＡＭｉ）＝（ＷＢ，ＦＥＮＣＥＤ）」によって示され、ここで、「ＦＡＭｉ」は、関係するファブリック接続メモリ領域を識別し、「ＷＢ，ＦＥＮＣＥＤ」は、何れの一貫性モデルがアクティブ化されるかを示す。いくつかの実施形態では、第１の一貫性モードは、第２の一貫性モデルに対して緩和されているものとして特徴付けられる。このプロセスの例は、図５に関して以下で更に説明される。

【0033】

図４００において、ＣＰＵコア複合体２１０で実行されるμＣｏｄｅ２１６（図２）は、第２の一貫性モデルがアクティブである場合に、第２の一貫性モデルを実行するのに役立つ。特に、μＣｏｄｅ２１６は、リクエスタノードに割り当てられたファブリック接続メモリ領域に関係する指定されたメモリ命令に対してデータフェンシングが必要とされることを示す、ＣＰＵコア複合体２１０で実行中のアプリケーションにおいて指定されたメモリアクセス命令を認識する。μＣｏｄｅ２１６は、図６及び図７に関して以下で更に説明するように、指定された命令を認識するための様々な方法を有する。そのような命令が認識されると、μＣｏｄｅ２１６は、ＡＣＣ２９７と通信して、選択された命令を識別する通知を送信し、選択された命令は、ファブリックブリッジ２９６を介してデータファブリックに送信される。次いで、ＡＣＣ２９７は、「フェンス」とラベル付けされた外向きの矢印によって示されるように、メディアコントローラ３１２に進むコマンドストリームにフェンスコマンドを追加する。第１の一貫性モデルがアクティブである場合、μＣｏｄｅ２１６は、そのような通知を行わず、代わりに、選択されたコマンドが、オペレーティングシステム４０２で設定された第１の一貫性モデルによって処理されるメモリ一貫性を伴って正常に実行することを可能にする。この実施形態では、μＣｏｄｅ２１６が、指定された命令を認識するが、他の実施形態では、この機能は、ＣＰＵファームウェア又はＣＰＵファームウェアとμＣｏｄｅとの組合せによって実施される。

【0034】

図は、メディアコントローラ３１２に向かうフェンスコマンドを示すが、ローカルデータセンタファブリック及びグローバルデータセンタファブリックを含むトポロジでは、ＡＣＣ２９７は、メモリ領域がファブリックトポロジの両方のレベルにアクセスすることを含むシナリオにおいて、フェンスコマンドを、ローカルデータセンタファブリック及びグローバルデータセンタファブリックの両方のメディアコントローラに送信させる。

【0035】

図５は、例示的な実施形態による、適応型一貫性コントローラにおいてメモリ一貫性モデルを管理するためのプロセスのフロー図５００である。プロセスはブロック５０２で始まり、データファブリック上のリクエスタノードが、指定されたＦＡＭメモリ領域にアクセスすることを許可される。そのような許可は、典型的に、ファブリックマネージャによって提供されるが、いくつかの実施形態では、他のシステム構成要素によって構成されてもよい。許可に基づいて、メモリ領域は、リクエスタノードのアドレス指定可能なシステムメモリ空間内に確立される。メモリ領域は、典型的には、他のリクエスタノードとの依存関係を有し得るリクエスタノードで実行されるアプリケーションのために使用される。

【0036】

ブロック５０４で、リクエスタノードのＡＣＣ２９７は、特定のメモリ領域にアクセスすることを許可されたリクエスタの数の任意の変更に関するファブリックマネージャからの通知を要求する。一実施形態では、この要求は、ＦＡＭ領域にアクセスしている計算リクエスタの数を追跡するための、ファブリックマネージャへのコールバック要求の形態を有する。ＡＣＣモジュール３２２（図３）は、そのような要求を受信し、ファブリックマネージャにおいて要求を実行するか、又は、要求を実行するようにファブリックマネージャを構成するかの何れかのために用いられ得る。他の実施形態では、ファブリックマネージャは、ファブリックマネージャアプリケーションの一部としてそのような能力を有してもよく、追加のモジュールを必要としなくてもよい。

【0037】

ブロック５０６において、リクエスタノードのＡＣＣ２９７は、要求に応じてファブリックマネージャから通知を受信する。この通知に基づいて、ＡＣＣ２９７は、ＦＡＭ領域を使用することを現在許可されているリクエスタの数を決定し、リクエスタテーブル３０６（図３）を更新する。いくつかの実施形態では、通知は、タイムスタンプ、領域ＩＤ及びリクエスタ数を含む、リクエスタテーブル３０６で使用されるデータフィールドを含む。他の実施形態では、ファブリックマネージャは、全てのデータを提供するのではなく、代わりに、ＦＡＭ領域に対してリクエスタ許可が追加又は削除されたことを示すデータのみを提供してもよい。そのような場合、ＡＣＣ２９７は、現在の通知データ及びリクエスタテーブル３０６に対する以前の更新に基づいて、リクエスタテーブル３０６内のデータを更新する。

【0038】

ブロック５０８で、２つ以上のリクエスタがメモリ領域に対して許可されている場合、プロセスはブロック５１０に進む。そうでない場合、プロセスはブロック５１２に進む。ブロック５１０において、プロセスは、ＦＡＭ領域に関係するローカルアプリケーション内の選択されたメモリアクセス命令に対してフェンスをアクティブ化させる。ブロック５０８において、１つのリクエスタのみが許可されている状態から２つ以上のリクエスタが許可されている状態への移行が行われ、このプロセスは、図４に関して上述したように、リクエスタノードにおいて第１のメモリ一貫性モデルを非アクティブ化することと、第２のメモリ一貫性モデルをアクティブ化することと、を含む。ブロック５０８において、２つ以上のリクエスタが既に許可されている場合、第２のメモリ一貫性モデルは既にアクティブであり、変更される必要がない。

【0039】

ブロック５１２において、ブロック５０６で受信された更新通知は、１つのリクエスタのみがＦＡＭ領域に対して許可されている状態をもたらしており、したがって、プロセスは第１のメモリ一貫性モデルをアクティブ化する。いくつかの実施形態では、第１のメモリ一貫性モデルは、単一のリクエスタのためのライトバックメモリとしてＦＡＭ領域をマッピングすることを含む。ＦＡＭ領域をローカル計算ノードのためのライトバックメモリとしてマッピングすることは、好ましくは、ＡＣＣ２９７が適切なメッセージングをＣＰＵコア複合体２１０上で実行されるオペレーティングシステムに送信することによって達成され、次いで、オペレーティングシステムは、ＦＡＭ領域に対応する１つ以上のメモリページを、リクエスタのページテーブル内のライトバックとしてマークする。ＦＡＭ領域をライトバックメモリとしてマッピングすることは、通常のローカル一貫性スキーム（ｘ８６トータルストアオーダー（ＴＳＯ）一貫性スキーム等）が、ＦＡＭ領域のために計算ノードによって適用されることを確実にする。ＦＡＭ領域に対して１つのリクエスタのみが許可される場合、ローカルメモリではなくＦＡＭを使用するためにアプリケーションの機能に変更を加える必要がない。ブロック５０６、５０８、５１０、５１２のプロセスは、ファブリックマネージャが、関係するＦＡＭメモリ領域に対する更新通知を送信する毎に繰り返される。

【0040】

図６は、いくつかの実施形態による、メモリ一貫性モデルを実行するためのプロセスのフロー図６００である。概して、元々ＦＡＭシステムと共に使用するために書かれていないアプリケーションは、それらが計算ノード間に何らかの依存性を有する場合、ＦＡＭシステムが計算ノード間の依存性を適切に考慮するために修正を必要とする。そのような修正は、コードをコンパイルする場合に行うことができ、又は、アプリケーション内の選択されたメモリコマンドに命令を追加することによって事後に適用することもできる。図６のプロセスは、アプリケーションをＦＡＭシステムと共に使用するように適合させるためにコンパイル時命令（compile-time instructions）が追加されたアプリケーションに対して実施される。そのようなアプリケーションとしては、ＦＡＭシステムにおいて一貫性を処理するためのツールを用いて書かれコンパイルされたアプリケーション、及び、ＦＡＭシステムと共に使用するように適合される好適なツールを用いて修正されたアプリケーションが挙げられる。

【0041】

ブロック６０２において、プロセスは、アプリケーションに含まれるコンパイル時命令と共にアプリケーションのためのフェンスをアクティブ化することを開始する。ブロック６０２は、ＡＣＣ２９７が計算ノードの一貫性モデルを変更して、第２のより緩和された一貫性モデルをアクティブ化する場合に発生する。一般に、ＣＸＬ３．０及びＧｅｎ－Ｚのようなデータファブリックプロトコルは、フェンスを介して実行される緩和された順序一貫性モデルを用いている。緩和された一貫性モデルがアクティブである場合に、ＡＣＣ２９７は、ＣＸＬ／Ｇｅｎ－Ｚフェンス等のデータセンタファブリックフェンスを、アプリケーションコードに対して透過的に、クリティカルな場所に挿入しようとする。この透過性は、ＡＣＣ２９７によって実施されるアクティビティが、関係するアプリケーションによる如何なる調整も必要としないことを意味する。

【0042】

ブロック６０４において、プロセスは、選択されたメモリアクセス命令に対するコンパイル時ファブリックインターフェース命令（compile-time fabric interface instructions）を認識する。一般に、選択されたメモリアクセス命令は、計算スレッド間で並列同期を実施するフラグ、ロック、セマフォ、制御変数等のコードの一部であり、したがって、メモリアクセスは順序付けされる必要がある。選択されたメモリアクセス命令の場所は、ソフトウェア開発者がいくつかの機構を介して適応型コントローラに提供することができるアプリケーション内のヒントによって識別される。

【0043】

Ｃ＋＋１１ａｔｏｍｉｃ＿ｌｏａｄ／ａｔｏｍｉｃ＿ｓｔｏｒｅ一貫性コンストラクト若しくはプリミティブのようなコンパイラヒント、又は、ＯｐｅｎＭＰのフラッシュコンストラクトのようなランタイムヒントは、一貫性ヒントを開発者にとって共有しやすくするために、「ＣｏｄｅＡｎａｌｙｓｔ」ツール（ＡｄｖａｎｃｅｄＭｉｃｒｏＤｅｖｉｃｅｓ（ＳａｎｔａＣｌａｒａ，Ｃａｌｉｆｏｒｎｉａ）による）等の開発ツールと統合することができる。コンパイラは、マークされた制御変数の前に特別な「ＦＡＢＲＩＣ＿ＡＣＱＵＩＲＥ＿ＦＥＮＣＥ」命令、及び、制御変数の後に特別な「ＦＡＢＲＩＣ＿ＲＥＬＥＡＳＥ＿ＦＥＮＣＥ」命令等のような、リクエスタ側のファブリックインターフェースマーカを挿入する。これらの特別な命令又はマーカは、非ＦＡＭシステム上、又は、１つのリクエスタノードのみが関連するＦＡＭ領域にアクセスするＦＡＭシステム上のＣＰＵのμＣｏｄｅ２１６によって無動作（no-operation、ＮＯＰ）に変換されるが、２つ以上のアプリケーションが関連するＦＡＭ領域にアクセスすることを許可されている場合、これらの特別な命令又はマーカは、ブロック６０４でμＣｏｄｅ２１６によって認識される。

【0044】

このような命令を認識することに応じて、ブロック６０６において、ＣＰＵのμＣｏｄｅ２１６は、図４の「選択された命令」矢印によって示されるように、ファブリックフェンスが命令のために必要であることをＡＣＣ２９７に通知する。いくつかの実施形態では、そのような通知は、ＣＰＵからＡＣＣ２９７へのローカルデータファブリックを介したメッセージを用いて行われる。通知は、命令がローカルデータファブリックを介して受信された場合に命令を識別するための、関係する変数のメモリアドレス等のＡＣＣ２９７の識別情報を含む。他の実施形態では、通知は、命令がＣＰＵによってローカルデータファブリックを介してファブリックブリッジ２９６に送信される場合に、修正されるメモリアクセス命令に所定のフラグ又はマーカを追加することによって実行され得る。いくつかの実施形態では、そのようなマーカは、フェンス取得命令が必要とされるか又はフェンス解放命令が必要とされるかを決定するために必要な情報を含む。

【0045】

ブロック６０８において、それぞれの通知の受信に応じて、ＡＣＣ２９７は、データセンタファブリックフェンスの取得／解放を発行する。これらのフェンスは、図４の「フェンス」矢印によって示されるように、関連するＦＡＭ領域のためのデータファブリック及びメディアコントローラに進むコマンドストリームに挿入されるコマンドである。次いで、メディアコントローラは、関係する変数にフェンスを提供するコマンドを実行する。

【0046】

図示したプロセスは、アプリケーションがＦＡＢＲＩＣ＿ＡＣＱＵＩＲＥ＿ＦＥＮＣＥ命令及びＦＡＢＲＩＣ＿ＲＥＬＥＡＳＥ＿ＦＥＮＣＥ命令を含むように既に修正された後に行われるが、いくつかの実施形態では、プロセスは、μＣｏｄｅ２１６が選択されたメモリ命令を認識できるように、そのようなヒント又はマーカをアプリケーションに挿入することも含む。

【0047】

図７は、いくつかの追加の実施形態による、メモリ一貫性モデルを実行するための別のプロセスのフロー図７００である。図示したプロセスは、ファブリックフェンスを実行するためのコンパイル時命令で修正されないアプリケーションに対して実施される。このプロセスは、開発者がＦＡＭシステムと共に使用するように構成されたバージョンを提供していないアプリケーションが、そのような使用で通常発生する一貫性問題を引き起こすことなく、ＦＡＭシステムと共に依然として使用され得るという利点を有する。別の利点は、ＦＡＭシステムと共に使用するためのアプリケーションバージョンを取得するために個別の又はより高価なソフトウェアライセンスが必要とされる展開の場合、このプロセスは、ＦＡＭシステムと共に非ＦＡＭバージョンを使用することを可能にし得ることである。

【0048】

ブロック７０２において、このプロセスは、そのようなアプリケーションのためのＦＡＭフェンスのアクティブ化を開始する。フェンスコマンドを必要とする選択されたメモリアクセス命令を認識することは、アプリケーションにファブリックフェンスのための特定の命令が含まれていないため、このプロセスでは図６のプロセスとは異なる。ブロック７０４で、ＣＰＵのμＣｏｄｅ２１６は、スレッド間のデータの同期に関連付けられた命令タイプ及び命令プレフィックスの所定のリスト内の命令を認識することに基づいて、フェンスが必要とされるアプリケーション内のメモリアクセス命令を認識する。いくつかの実施形態では、μＣｏｄｅ２１６が、選択されたメモリアクセス命令を認識することができる全てのタイプのアプリケーションをカバーするために、所定のリストがμＣｏｄｅ２１６に提供される。このリストは、アプリケーション間の依存関係に関連付けられた命令及び命令プレフィックスを含む。例えば、このリストは、ｘ８６のＬＯＣＫ命令プレフィックス、Ｘ８６のｘａｃｑｕｉｒｅ／ｘｒｅｌｅａｓｅ、及び、ＰｏｗｅｒＰＣのＳＹＮＣ命令を含み得る。

【0049】

ブロック７０６において、この所定のリストからの何れかの命令が呼び出される場合にはいつでも、ＣＰＵのμＣｏｄｅ２１６はＡＣＣ２９７に通知し、次いで、ＡＣＣ２９７は、ブロック７０８に示されるようにファブリックフェンスを発行する。

【0050】

ＦＡＭメモリインターフェース２９５、又は、ＡＣＣ２９７若しくはファブリックブリッジ２９６等のその任意の部分は、プログラムによって読み取られ、集積回路を製造するために直接的又は間接的に使用され得るデータベース又は他のデータ構造の形態でコンピュータアクセス可能データ構造によって記述又は表現され得る。例えば、このデータ構造は、Ｖｅｒｉｌｏｇ又はＶＨＤＬ等の高レベル設計言語（high level design language、ＨＤＬ）におけるハードウェア機能の挙動レベル記述又はレジスタ転送レベル（register-transfer level、ＲＴＬ）記述であってもよい。記述は、合成ライブラリからゲートのリストを含むネットリストを生成するために記述を合成することができる合成ツールによって読み取られ得る。ネットリストは、集積回路を含むハードウェアの機能も表すゲートのセットを含む。ネットリストは、次いで、マスクに適用される幾何学的形状を記述するデータセットを生成するために配置され、ルーティングされ得る。次いで、マスクを様々な半導体製造工程で使用して、集積回路を製造することができる。代替的に、コンピュータアクセス可能記憶媒体上のデータベースは、所望に応じて、ネットリスト（合成ライブラリの有無にかかわらず）若しくはデータセット、又は、グラフィックデータシステム（Graphic Data System、ＧＤＳ）ＩＩデータであり得る。

【0051】

特定の実施形態を説明してきたが、これらの実施形態に対する様々な修正が当業者には明らかである。例えば、ファブリックブリッジ２９６及びＡＣＣ２９７の内部アーキテクチャは、異なる実施形態において異なり得る。利用されるＦＡＭのタイプ及びＦＡＭプロトコルも異なり得る。更に、特定のファブリックアーキテクチャは、ＰＣＩｅ又はＣＸＬに基づくファブリックプロトコル及びトランスポートを使用して、データノード又は複数のデータノードのラック内での分散化を提供するアーキテクチャから、Ｇｅｎ－Ｚ等のプロトコルを使用してデータセンタ内のデバイスとラックとの間を接続するファイバ又は銅線ネットワークを利用することができるアーキテクチャまで様々であり得る。したがって、添付の「特許請求の範囲」は、開示された実施形態の範囲に含まれる開示された実施形態の全ての修正をカバーすることを意図している。

【図1】