(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-10-24
(54)【発明の名称】ハードウェアコヒーレント計算拡張メモリ
(51)【国際特許分類】
G06F 12/0815 20160101AFI20231017BHJP
【ＦＩ】
G06F12/0815
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023519330
(86)(22)【出願日】2021-05-14
(85)【翻訳文提出日】2023-05-18
(86)【国際出願番号】 US2021032543
(87)【国際公開番号】W WO2022066232
(87)【国際公開日】2022-03-31
(31)【優先権主張番号】17/035,484
(32)【優先日】2020-09-28
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＪＡＶＡ
２．ＳＭＡＬＬＴＡＬＫ
３．ＱＵＩＣＫＰＡＴＨ
４．ＮＶＬＩＮＫ
５．ＯＰＥＮＣＡＰＩ
(71)【出願人】
【識別番号】591025439
【氏名又は名称】ザイリンクス インコーポレイテッド
【氏名又は名称原語表記】ＸＩＬＩＮＸ ＩＮＣＯＲＰＯＲＡＴＥＤ
(74)【代理人】
【識別番号】110002077
【氏名又は名称】園田・小林弁理士法人
(72)【発明者】
【氏名】ミッタル， ミリンド
(72)【発明者】
【氏名】ダスティダー， ジャディブ
【テーマコード（参考）】
5B205
【Ｆターム（参考）】
5B205PP21
5B205PP28
5B205UX04
(57)【要約】
本明細書の実施形態は、ホストからＩ／Ｏデバイス内のハードウェアにデータ（例えば、複数のキャッシュラインを含むキャッシュライン又はデータブロック）の所有権を移転することを説明する。一実施形態では、ホスト及びＩ／Ｏデバイス（例えば、アクセラレータ）は、キャッシュコヒーレントシステムの一部であり、データの所有権がホスト内のホームエージェント（ＨＡ）からＩ／Ｏデバイス内のローカルＨＡ、例えば、計算スレーブエージェント（ＣＳＡ）に移転され得る。それにより、Ｉ／Ｏデバイス上の機能（例えば、アクセラレータ機能）は、これらの要求がホストＨＡに送信される必要なく、ローカルＨＡからデータを要求することができる。更に、アクセラレータ機能は、ローカルＨＡがデータをキャッシュラインベースで追跡するか、又はデータブロック（例えば、複数のキャッシュライン）によって追跡するかを示すことができる。これは、機能のデータの所望の使用に応じて、データを追跡することからのオーバーヘッドを低減することができる柔軟性を提供する。
【選択図】図２
【選択図】図２
【特許請求の範囲】
【請求項1】
ハードウェアアクセラレータであって、アクセラレータ機能回路と、
前記ハードウェアアクセラレータ内の前記アクセラレータ機能回路に通信可能に結合され、ホストのホームエージェント（ＨＡ）に通信可能に結合するように構成された計算スレーブエージェント（ＣＳＡ）であって、前記ＣＳＡ及び前記ＨＡは、同じコヒーレントドメインの一部である、ＣＳＡと、を備え、
前記ＣＳＡは、前記ＣＳＡが前記データセットのためのローカルＨＡとして機能するように、前記ＨＡにデータセットの所有権を要求するように構成され、
前記アクセラレータ機能回路は、前記ＣＳＡが前記ローカルＨＡとして機能するときに前記データセットをキャッシュラインレベルで追跡するかデータブロックレベルで追跡するかを示す、ハードウェアアクセラレータ。
【請求項2】
前記ＣＳＡが前記ＨＡに前記データセットの所有権を要求する前に、前記アクセラレータ機能回路は、前記データセットの読み出し又は修正のうちの少なくとも１つを行うための要求を前記ＣＳＡに送信するように構成され、前記アクセラレータ機能回路からの前記要求は、前記ＣＳＡが前記データセットを前記キャッシュラインレベルで追跡するか前記データブロックレベルで追跡するかを示す、請求項１に記載のハードウェアアクセラレータ。
【請求項3】
前記ＨＡは、前記ＣＳＡからの前記要求に応答して、ＲＡへのスヌープを実行して前記ホストからの前記データセットのキャッシュされたコピーをフラッシュするように構成されている、請求項２に記載のハードウェアアクセラレータ。
【請求項4】
前記ＨＡは、前記スヌープが完了したという指示を受信した後に、プッシュキャッシュ保守動作（ＣＭＯ）を前記ＣＳＡに送信するように構成され、前記プッシュＣＭＯは、バッファ又は最終レベルキャッシュにスタックされた前記データセットの任意のキャッシュされたコピーを前記ＣＳＡ内のスレーブエージェントに移動させる、請求項３に記載のハードウェアアクセラレータ。
【請求項5】
前記スレーブエージェントが前記プッシュＣＭＯを受信したと判定した後、前記ＣＳＡは、前記データセットのためのローカルＨＡとして機能するように遷移する、請求項４に記載のハードウェアアクセラレータ。
【請求項6】
前記ＣＳＡは、（ｉ）前記ホスト内の前記ＨＡが前記データセットを追跡しない排他状態、又は（ｉｉ）前記ＣＳＡ及び前記ＨＡの両方が前記データセットを追跡し、前記ホスト内の前記ＲＡが前記データセットのキャッシュされたコピーを有する共有状態のうちの１つにおいて、前記ローカルＨＡとして機能することができる、請求項１に記載のハードウェアアクセラレータ。
【請求項7】
前記ＨＡは、前記ＣＳＡが前記ローカルＨＡとして機能し始めた後に、前記データセットを修正するための要求を前記ＲＡから受信することと、
前記ＣＳＡがもはや前記ローカルＨＡとして機能しない無効化状態に遷移するための要求を前記ＣＳＡに送信することであって、前記データセットの所有権は、前記ＨＡに戻される、送信することと、を行うように構成されている、請求項１に記載のハードウェアアクセラレータ。
【請求項8】
ホストに通信可能に結合されるように構成されたＩ／Ｏデバイスであって、前記デバイスは、アクセラレータ機能と、
前記アクセラレータ機能及び前記ホスト内のＨＡに通信可能に結合されたＣＳＡであって、前記ＣＳＡ及び前記ＨＡは、同じコヒーレントドメインの一部である、ＣＳＡと、を備え、
前記ＣＳＡは、前記ＣＳＡが前記データセットのためのローカルＨＡとして機能するように、前記ＨＡにデータセットの所有権を要求するように構成され、
前記アクセラレータ機能は、前記ＣＳＡが前記ローカルＨＡとして機能するときに前記データセットをキャッシュラインレベルで追跡するかデータブロックレベルで追跡するかを示す、Ｉ／Ｏデバイス。
【請求項9】
前記ＣＳＡが前記ＨＡに前記データセットの所有権を要求する前に、前記アクセラレータ機能は、前記データセットの読み出し又は修正のうちの少なくとも１つを行うための要求を前記ＣＳＡに送信するように構成され、前記アクセラレータ機能からの前記要求は、前記ＣＳＡが前記データセットを前記キャッシュラインレベルで追跡するか前記データブロックレベルで追跡するかを示す、請求項８に記載のＩ／Ｏデバイス。
【請求項10】
前記ＨＡは、前記ＣＳＡからの前記要求に応答して、前記ホスト内のＲＡへのスヌープを実行して前記ホストからの前記データセットのキャッシュされたコピーをフラッシュするように構成されている、請求項９に記載のＩ／Ｏデバイス。
【請求項11】
前記ＨＡは、前記スヌープが完了したという指示を受信した後に、プッシュＣＭＯを前記ＣＳＡに送信するように構成され、前記プッシュＣＭＯは、バッファ又は最終レベルキャッシュにスタックされた前記データセットの任意のキャッシュされたコピーを前記ＣＳＡ内のスレーブエージェントに移動させる、請求項１０に記載のＩ／Ｏデバイス。
【請求項12】
前記スレーブエージェントが前記プッシュＣＭＯを受信したと判定した後、前記ＣＳＡは、前記データセットのためのローカルＨＡとして機能するように遷移する、請求項１１に記載のＩ／Ｏデバイス。
【請求項13】
前記ＣＳＡは、（ｉ）前記ホスト内の前記ＨＡが前記データセットを追跡しない排他状態、又は（ｉｉ）前記ＣＳＡ及び前記ＨＡの両方が前記データセットを追跡し、前記ホスト内のＲＡが前記データセットのキャッシュされたコピーを有する共有状態のうちの１つにおいて、前記ローカルＨＡとして機能することができる、請求項８に記載のＩ／Ｏデバイス。
【請求項14】
方法であって、ＲＡ及びＨＡを含むホストをＩ／Ｏデバイスに通信可能に結合することであって、前記Ｉ／Ｏデバイスは、前記Ｉ／Ｏデバイス及び前記ＨＡ内のアクセラレータ機能に通信可能に結合されたＣＳＡを含み、前記ＣＳＡ及び前記ＨＡは、同じコヒーレントドメインの一部である、結合することと、
前記ＣＳＡを使用して、前記ＣＳＡが前記データセットのためのローカルＨＡとして機能するように、前記ＨＡにデータセットの所有権を要求することと、を含み、
前記アクセラレータ機能は、前記ＣＳＡが前記ローカルＨＡとして機能するときに前記データセットをキャッシュラインレベルで追跡するかデータブロックレベルで追跡するかを示す、方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示の例は、概して、キャッシュコヒーレントシステムにおいてホストからＩ／Ｏデバイス（例えば、アクセラレータ）にデータの所有権を移転することに関する。
【背景技術】
【0002】
コンピュートエクスプレスリンク（Compute Express Link、ＣＸＬ）、アクセラレータ用キャッシュコヒーレントインターコネクト（Cache Coherent Interconnect for Accelerators、ＣＣＩＸ）、ＱｕｉｃｋＰａｔｈインターコネクト（QuickPath Interconnect、ＱＰＩ）／Ｕｌｔｒａ Ｐａｔｈインターコネクト（Ultra Path Interconnect、ＵＰＩ）、ＡＭＤインフィニティファブリック、ＮＶＬｉｎｋ、及びＯｐｅｎＣＡＰＩによって使用可能にされるものなどのサーバＣＰＵ－アクセラレータシステムは、全て本質的にハードウェアキャッシュコヒーレントシステムであり、すなわち、ハードウェアは、プロセッサ又はアクセラレータがデータ及びメタデータ（データに関する情報）のプロデューサ又はコンシューマとして働いているかどうかにかかわらず、アクセスされ、変更され、キャッシュされたデータのユニバーサルでコヒーレントなビューを維持する。
【0003】
現在の共有メモリホスト－アクセラレータ実行フレームワークは、それらのシステムにおけるプロデューサ－コンシューマ対話のための細粒度ハードウェアコヒーレンシに依存している。時間とともに、ホスト又はアタッチされたアクセラレータ上のＣＰＵのうちの少なくとも１つは、アプリケーションの一部として、又は機能を実行する一部として、データ又はメタデータのプロデューサ又はコンシューマとして働く。プロデューサ－コンシューマペア間のそのデータの移動は、ホストＣＰＵとアクセラレータとの間のプロデューサ－コンシューマアクションが粗粒度のブロックレベルにあるかどうかにかかわらず、ホスト又はアクセラレータのいずれかにおけるハードウェアコヒーレンシメカニズムによって、細粒度のキャッシュラインレベルで追跡される。この細粒度の追跡はまた、ホームノード及びメモリがホストＣＰＵプロデューサ／コンシューマに隣接しているか、アクセラレータプロデューサ／コンシューマに隣接しているかにかかわらず行われる。
【0004】
ハードウェアコヒーレンシベースのプロデューサ－コンシューマ対話は、プロデューサとコンシューマとの間のデータ及びメタデータ移動の細粒度の追跡に依存する。データ及びメタデータに対するプロデューサ及びコンシューマアクションは、典型的には、データのサイズがキャッシュラインよりも数桁大きいかどうかにかかわらず、キャッシュライン（例えば、６４バイト）粒度で、例えば、ＭＢ、ＧＢ、又は更にはＴＢ粒度で行われる。細粒度ハードウェアコヒーレンシを実施することの欠点は、データ及びメタデータに対するプロデューサアクション及びコンシューマアクションのサイズとは無関係の細粒度の追跡が、このデータ移動を細粒度で追跡するリソース（キャッシュ及びスヌープフィルタなど）と、データ及びメタデータの移動を追跡し、システムがアクセスされ、変更され、キャッシュされたデータのユニバーサルでコヒーレントなビューを維持するためのコヒーレンシメッセージングオーバーヘッドとの両方に関して、リソースの非効率的な使用をもたらすことである。また、ホームノードにおけるハードウェアコヒーレンシ計算及びメッセージングオーバーヘッドは、細粒度の追跡が必要とされるメモリの１つの領域のコヒーレンシを維持する性能にも影響を及ぼすが、これは、プロデューサ及びコンシューマアクションが粗粒度の追跡で十分であるようなメモリの別の領域上で同時コヒーレンシアクションが行われているからである。したがって、現在のキャッシュコヒーレントシステムでは、（ｉ）ホストが、ホストによって管理されるアクセラレータ接続メモリへのアクセラレータコヒーレンシアクションを細粒度で不必要に追跡し、（ｉｉ）ホストとアクセラレータとの間で帯域幅及びキューイングリソースを消費する不必要なデータ移動があり、例えば、メモリがホストによって管理されるので、ローカルアクセラレータ接続メモリへのアクセラレータアクセスがホストをループしなければならず、（ｉｉｉ）アクセラレータがキャッシュを有し、アクセラレータ接続メモリもキャッシュを有する場合、アクセラレータ接続メモリへのアクセラレータコヒーレンシアクションのためのキャッシングリソースの使用が非効率的であり、（ｉｖ）ホストによって管理されるアクセラレータ接続メモリへのアクセラレータコヒーレンシアクションが、他のホストＣＰＵからホストメモリへのコヒーレンシアクションの性能に影響を与える。
【発明の概要】
【0005】
一実施形態は、ハードウェアアクセラレータを説明する。ハードウェアアクセラレータは、ハードウェアアクセラレータ内のアクセラレータ機能回路に通信可能に結合された計算スレーブエージェント（computational slave agent、ＣＳＡ）を含む。ＣＳＡは、ホストのホームエージェント（home agent、ＨＡ）に通信可能に結合するように構成される。ＣＳＡ及びＨＡは、同じコヒーレントドメインの一部である。ＣＳＡは、ＣＳＡがデータセットのためのローカルＨＡとして機能するように、ＨＡからデータセットの所有権を要求するように構成される。アクセラレータ機能回路は、ＣＳＡがローカルＨＡとして機能するときに、キャッシュラインレベル又はデータブロックレベルでデータセットを追跡するかどうかを示す。
【0006】
別の実施形態は、要求エージェント（request agent、ＲＡ）及びホームエージェント（ＨＡ）を含むホストと、ホストに通信可能に結合された入力／出力（input/output、Ｉ／Ｏ）デバイスとを含むコンピューティングシステムを説明し、Ｉ／Ｏデバイスは、Ｉ／Ｏデバイス及びＨＡ内のアクセラレータ機能に通信可能に結合された計算スレーブエージェント（ＣＳＡ）を含み、ＣＳＡ及びＨＡは、同じコヒーレントドメインの一部である。更に、ＣＳＡは、ＣＳＡがデータセットのためのローカルＨＡとして機能するように、ＨＡからデータセットの所有権を要求するように構成され、アクセラレータ機能は、ＣＳＡがローカルＨＡとして機能するとき、キャッシュラインレベル又はデータブロックレベルでデータセットを追跡するかどうかを示す。
【0007】
本明細書で説明する別の実施形態は、ＲＡ及びＨＡを含むホストをＩ／Ｏデバイスに通信可能に結合することであって、Ｉ／Ｏデバイスは、Ｉ／Ｏデバイス内のアクセラレータ機能及びＨＡに通信可能に結合されたＣＳＡを含み、ＣＳＡ及びＨＡは、同じコヒーレントドメインの一部である、結合することと、ＣＳＡを使用して、ＣＳＡがデータセットのローカルＨＡとして機能するように、ＨＡにデータセットの所有権を要求することと、を含む方法である。更に、アクセラレータ機能は、ＣＳＡがローカルＨＡとして機能するときに、キャッシュラインレベル又はデータブロックレベルでデータセットを追跡するかどうかを示す。
【0008】
本明細書で説明される別の実施形態は、アクセラレータ機能と、アクセラレータ機能に通信可能に結合されたＣＳＡと、ホスト内のＨＡと、を含むＩ／Ｏデバイスであり、ＣＳＡ及びＨＡは、同じコヒーレントドメインの一部である。ＣＳＡは、ＣＳＡがデータセットのためのローカルＨＡとして機能するように、ＨＡからデータセットの所有権を要求するように構成され、アクセラレータ機能は、ＣＳＡがローカルＨＡとして機能するとき、キャッシュラインレベル又はデータブロックレベルでデータセットを追跡するかどうかを示す。
【図面の簡単な説明】
【0009】
上記で列挙された特徴が詳細に理解され得るように、上記で簡潔に要約されたより具体的な説明が、例示的な実装形態を参照することによって得ることができ、それらの実装形態のうちの一部が添付の図面に示される。しかしながら、添付の図面は、典型的な例示的な実装形態のみを示し、したがって、その範囲を限定するものと見なされるべきではないことに留意されたい。
【図1】一例による、アクセラレータデバイスに結合されたホストのブロック図である。
【図2】一例による、Ｉ／Ｏデバイス内のハードウェアにデータの所有権を移転するフローチャートである。
【図3】一例による、Ｉ／Ｏデバイス内のハードウェアからホストにデータの所有権を移転するためのフローチャートである。
【図4】一例による、共有状態から排他状態に所有権を変更するときにホストホームエージェントを更新するためのフローチャートである。
【図5】一例による、キャッシュラインの所有権をＩ／Ｏデバイス内のハードウェアに移転するためのタイミングチャートである。
【図6】一例による、複数のキャッシュラインの所有権をＩ／Ｏデバイス内のハードウェアに移転するためのタイミングチャートである。
【図7】一例による、データのブロックの所有権をＩ／Ｏデバイス内のハードウェアに移転するためのタイミングチャートである。
【図8】一例による、プログラマブルＩＣのフィールドプログラマブルゲートアレイの実装形態を示す。
【発明を実施するための形態】
【0010】
種々の特徴が、図面を参照して以下に説明される。図面は、縮尺通りに描かれている場合も、そうでない場合もあり、同様の構造又は機能の要素は、図面全体を通して同様の参照番号によって表されることに留意されたい。図面は、特徴の説明を容易にすることのみを意図していることに留意されたい。それらは、説明の網羅的な説明として又は特許請求の範囲の限定として意図されない。加えて、例示された例は、示された全ての態様又は利点を有する必要はない。特定の例に関連して説明される態様又は利点は、必ずしもその例に限定されず、そのように図示されていない場合、又はそのように明示的に説明されていない場合であっても、任意の他の例において実施され得る。
【0011】
本明細書の実施形態は、ホストからＩ／Ｏデバイス内のハードウェアへのデータ（例えば、キャッシュライン又は複数のキャッシュラインを含むデータのブロック）の所有権の移転を説明する。一実施形態では、ホスト及びＩ／Ｏデバイス（例えば、アクセラレータデバイス）は、ＣＸＬ、ＣＣＩＸ、ＱＰＩ／ＵＰＩ、ＡＭＤインフィニティファブリック、ＮＶＬｉｎｋ、及びＯｐｅｎＣＡＰＩによって使用可能にされるものなどのキャッシュコヒーレントシステムの一部である。上述の欠点を軽減又は克服するために、以下の技術は、ホスト内のホームエージェント（ＨＡ）からＩ／Ｏデバイス内のローカルＨＡ、例えば、計算スレーブエージェント（ＣＳＡ）にデータの所有権を移転することができる。それにより、Ｉ／Ｏデバイス上の機能（例えば、アクセラレータ機能）は、これらの要求がホストＨＡに送信される必要なく、ローカルＨＡからデータを要求することができる。更に、アクセラレータ機能は、ローカルＨＡがキャッシュラインレベル又はデータブロックレベルのいずれでデータを追跡すべきかを示すことができる。これは、アクセラレータ機能のデータの所望の使用に応じて、データを追跡することからのオーバーヘッドを低減することができる柔軟性を提供する。更に、データの所有権は、同じキャッシュコヒーレントドメイン内にあるホストＨＡ及びローカルＨＡによって共有することができる。例えば、ホスト上の要求エージェント（ＲＡ）は、参照のためにデータの読み出し専用コピーを保持することができ、一方、ローカルＨＡは、ホストＨＡに要求を送信することなく、Ｉ／Ｏデバイス上のアクセラレータ機能がデータにアクセスすることを可能にする。
【0012】
図１は、一例による、Ｉ／Ｏデバイス１３０に結合されたホスト１０５を含むハードウェアキャッシュコヒーレントコンピューティングシステム１００のブロック図である。コンピューティングシステム１００において、ホスト１０５（例えば、サーバ又は他のコンピューティングデバイス若しくはシステム）は、ＰＣＩｅ接続１２５を介してＩ／Ｏデバイス１３０（例えば、アクセラレータデバイス、フィールドプログラマブルゲートアレイ（field programmable gate array、ＦＰＧＡ）、グラフィックス処理ユニット（graphics processing unit、ＧＰＵ）、集積回路、プリント回路基板（printed circuit board、ＰＣＢ）、又はシステムオンチップ（system on a chip、ＳＯＣ））に通信可能に結合される。一実施形態では、Ｉ／Ｏデバイス１３０は、ホスト１０５（例えば、ＰＣＩｅスロットに接続されたＰＣＢカード）に統合されるか、又はデバイス１３０は、ホスト１０５の外部にあり得る。
【0013】
ホスト１０５は、ＨＡ１１５（ホストＨＡと称される）に結合された少なくとも１つのＲＡ１１０を含む。図示されていないが、ホスト１０５は、任意の数の処理コアを含むことができる任意の数のプロセッサを含み得る。ホスト１０５はまた、揮発性メモリ要素、不揮発性メモリ要素、及びそれらの組み合わせを有するメモリを含み得る。例えば、プロセッサ（又はプロセッサ上で実行されるソフトウェアアプリケーション）は、メモリ内の異なるアドレスに対して読み出し及び書き込みトランザクションを実行するＲＡ１１０であり得る。ＨＡ１１５は、システム内のメモリアドレス範囲を担当する。換言すれば、ＨＡ１１５は、キャッシュコヒーレンシが維持されるように、範囲内のメモリアドレスの所有権を有する。ＲＡ１１０がＨＡ１１５によって所有されるデータを変更したい場合、ＨＡ１１５はその要求を承認する必要がある。更に、ＲＡ１１０がデータを読み出したい場合、ＨＡ１１５は、ＲＡ１１０に最新のコピーが提供されていることを保証する。
【0014】
Ｉ／Ｏデバイス１３０は、アクセラレータ機能１５０に結合された複数のＣＳＡ１３５を含む。すなわち、アクセラレータ機能１５０は、ホストＨＡ１１５によって追跡又は所有されるデータを読み出し、修正するために、ＣＳＡ１３５を使用することができる。例えば、アクセラレータ機能１５０（例えば、ハードウェア処理要素又はプログラマブル論理上に実装された機械学習機能、暗号機能、圧縮機能、ネットワーク機能など）は、データを読み出す又は書き込むための要求をＣＳＡ１３５に送信することができ、ＣＳＡ１３５は、これらの要求をＨＡ１１５に転送する。多くの場合、要求されるデータは、Ｉ／Ｏデバイス１３０内のメモリに記憶される。したがって、アクセラレータ機能１５０によって要求されたデータが、ホストＨＡ１１５ではなく、ＣＳＡ１３５のうちの１つなどのＩ／Ｏデバイス１３０内のローカルＨＡによって所有（又は追跡）されることが有利である。
【0015】
図示のように、ＣＳＡ１３５は、１つ以上のスレーブエージェント（ｓｌａｖｅ ａｇｅｎｔ、ＳＡ）１４５に結合されたＲＡ１４０を含む。ＣＳＡ１３５は、少なくとも３つの異なる状態又は動作モードを有することができる。第１の状態では、ＣＳＡ１３５はデータを追跡又は所有しない。例えば、Ｉ／Ｏデバイス１３０は、データがＩ／Ｏデバイス１３０上のメモリに記憶される拡張メモリとしてホスト１０５によって使用されてもよいが、Ｉ／Ｏデバイス１３０はデータを処理しない（例えば、アクセラレータ機能はデータに対して動作していなくてもよい）。これは、ＣＳＡ１３５がデータのローカルＨＡとして機能しないので、無効状態と称され得る。別の状態では、ＣＳＡ１３５はローカルＨＡとして機能するが、共有状態にある。この状態では、ＣＳＡ１３５及びホストＨＡ１１５は、データの所有権を共有することができる。すなわち、ＣＳＡ１３５及びホストＨＡ１１５は両方ともデータを追跡することができる。この状態の一例は、ホスト１０５内のＲＡ１１０とＩ／Ｏデバイス１３０内のＲＡ１４０の両方がデータを要求している状態である。
【0016】
第３の状態では、ＣＳＡ１３５はローカルＨＡとしてデータを所有するが、ホストＨＡ１１５は所有しない（排他状態と称される）。一実施形態では、ホストＨＡ１１５は、データがＣＳＡ１３５によって所有されているという記録を有していない。言い換えると、ホストＨＡ１１５は、所有権データをＣＳＡ１３５に移転したことを追跡しなくてよい。これにより、ＨＡ１１５におけるオーバーヘッドが更に低減される。図示のように、ＨＡ１１５は、それが所有又は追跡するデータのメモリアドレスを示す追跡データリスト１２０を含む。データの所有権をＣＳＡ１３５に移転するとき、移転されたデータのメモリアドレスは追跡データリスト１２０から削除されてもよい。したがって、ホストＲＡ１１０がデータを要求した場合、ＨＡ１１５は、そのデータがどこにあるかを知らないが、ＣＳＡ１３５に要求（例えば、スヌープ）を送信して、所有権を望んでいることをＣＳＡ１３５に通知する。データのためのローカルＨＡとして現在機能しているＣＳＡ１３５は、次いで、所有権をホストＨＡ１１５に戻す。
【0017】
図２は、一例による、Ｉ／Ｏデバイス（例えば、ＣＳＡ）内のハードウェアにデータの所有権を移転する方法２００のフローチャートである。方法２００は、ホストＨＡが、１つ以上のキャッシュラインを含み得るデータ（例えば、１つ以上のキャッシュラインを含むデータセット）を所有又は追跡すると仮定して開始する。ブロック２０５において、ＣＳＡ、より具体的にはＣＳＡ内のＲＡは、Ｉ／Ｏデバイス内のアクセラレータ機能からデータを処理するための要求を受信する。アクセラレータ機能はまた、ＣＳＡがデータのためのローカルＨＡになるべきかどうか（例えば、ＣＳＡが無効化状態から共有状態又は排他状態のいずれかに遷移すべきかどうか）を示す。
【0018】
更に、アクセラレータ機能は、ＣＳＡがキャッシュラインレベル又はブロックレベルでデータを追跡すべきかどうかを示すことができる。アクセラレータ機能は、データを読み出し、かつ／又は修正するオーケストレータであり、したがって、特定のアプリケーションが、各キャッシュラインを個々に追跡するか、又は複数のキャッシュラインをデータのブロックとして追跡するＣＳＡからより多くの利益を得るかどうかを知る。すなわち、１つのアプリケーションは、キャッシュラインレベルでデータを追跡するＣＳＡからより多くの利益を得ることができ、別のアプリケーションは、ブロックレベルでデータを追跡するＣＳＡからより多くの利益を得ることができる。一実施形態では、アクセラレータ機能は、キャッシュラインレベルでの追跡又はブロックレベルでの追跡からより多くの利益を得ることができる挙動のパターンを表すコードを実行するか、又はプログラマブル論理を有することができる。
【0019】
ブロック２１０で、Ｉ／Ｏデバイス内のＣＳＡ又はＲＡは、キャッシュ保守動作（cache maintenance operation、ＣＭＯ）をホストＨＡに送信する。一実施形態では、ＣＭＯは、ホストＨＡがＣＭＯ内で示されるデータの所有権をＣＳＡに移転すべきであることを示す。例えば、ＣＭＯは、ホストＨＡが、（最終レベルキャッシュ又はバッファなどのホスト内の１つ以上のローカルキャッシュ内に記憶され得る）要求されたデータの最新バージョンを識別し、ＣＳＡにプッシュする、クリーン無効化動作であってもよい。
【0020】
ブロック２１５において、ＣＳＡは、データがホスト内のＲＡと共有されるべきかどうかを判定する。例えば、ホストＲＡは、データのコピーを保持したい場合がある。そのシナリオでは、アクセラレータ機能は、プロデューサであり得、データに対して計算を実行している。アクセラレータ機能がデータを修正するか、又はホストがキャッシュされたコピーを有するかにかかわらず、ＣＳＡを共有状態に切り替えることにより、ホストＲＡは、そのローカルキャッシュコピー（例えば、高速アクセスのための読み出し専用データ構造）を参照し続けることが可能になる。ＣＳＡが共有状態にあるとき、排他状態にあるときとは異なり、ホストＨＡは、データがホスト及びＩ／Ｏデバイス内のＲＡによって共有されているという事実を追跡する。
【0021】
ＣＳＡが排他状態でデータを所有する場合、方法２００はブロック２２０に進み、ホストＨＡは、ホスト内のデータのキャッシュされたコピーを無効化する。一実施形態では、ホストＨＡは、キャッシュされたコピーを除去するためにフラッシュＣＭＯを発行する。更に、方法２００には示されていないが、ホスト内のデータのキャッシュされたコピーをフラッシュし、無効化するとき、ローカルＨＡ（すなわち、ＣＳＡ）が排他状態でデータを所有することになるので、ホストＨＡは、その追跡データリストからデータを除去することもできる。したがって、ホストＨＡはもはやデータを追跡する必要がなくなる。
【0022】
ブロック２２５において、ホストＨＡは、プッシュＣＭＯを送信して、データの任意のバッファリングされたコピーをＩ／Ｏデバイス内のＣＳＡ内のＳＡにプッシュする。しかしながら、Ｉ／Ｏデバイス内のＳＡにデータをプッシュすることは、データが実際にＳＡに到達することを保証しない場合がある。例えば、データは、最終レベルキャッシュ又はバッファにスタックされてもよい。したがって、ホストＨＡは、ＣＭＯがＳＡに到達した後にのみ完了する新しいプッシュＣＭＯ、ＣｌｅａｎＩｎｖａｌｉｄａｔｅＤｅｅｐを発行することができる。したがって、このプッシュＣＭＯは、データがＩ／Ｏデバイス内のＳＡに到達することを保証しないフラッシュとは異なる。
【0023】
ブロック２３０において、ＣＳＡは、ＳＡがプッシュＣＭＯを受信するまで待機する。すなわち、ＣＳＡは、ＲＡからＳＡへのトラフィックを監視して、プッシュＣＭＯがいつＳＡに到達するかを判定する。これが行われると、ブロック２３５で、ＣＳＡは、ＣＳＡがキャッシュラインレベル又はブロックレベルのいずれかでデータを所有し、追跡する排他状態のローカルＨＡに遷移する。その結果、ＣＳＡは、最初にホストＨＡから許可を得ることなく、Ｉ／Ｏデバイス内のローカルＲＡがデータを読み出し、修正することを許可することができる。したがって、アクセラレータ機能がデータを要求すると、ＣＳＡは、メモリからデータを取り出し、アクセラレータ機能が読み出してＩ／Ｏデバイス内で修正するためのデータのローカルコピーをキャッシュすることができる。
【0024】
ブロック２１５に戻ると、データの所有権が、代わりに、排他状態のデータを所有するＣＳＡではなく、ホストＨＡ及びＣＳＡ（すなわち、ローカルＨＡ）によって共有されるべきである場合、方法２００は、ローカルＨＡと共有されるべきホスト内のデータが共有状態に変更されるブロック２３７に進む。ブロック２４０において、ホストＨＡは、データの任意のバッファされたコピーをＣＳＡ内のＳＡにプッシュするために、プッシュＣＭＯを送信する。特に、ホストＨＡは、ブロック２２０とは対照的に、ホスト内のデータのキャッシュされたコピーを無効化しない。更に、ホストＨＡは、ブロック２２５で説明したのと同じ技術を使用して、データをＩ／Ｏデバイス内のＳＡにプッシュすることができる。
【0025】
ブロック２４５において、ＣＳＡは、ＳＡがプッシュＣＭＯを受信したことを確認するまで待機する。確認されると、ブロック２５０で、ＣＳＡは、共有状態のローカルＨＡに遷移する。この状態では、ＣＳＡとホストＨＳＡの両方がデータを追跡する。例えば、ホストＨＡは、データがホスト内のＲＡとＩ／Ｏデバイス内のＲＡの両方で使用されていることを、その追跡データリスト内で追跡してもよい。ホストＨＡは、データがホスト内のＲＡによって使用されていることを追跡する必要があるため、同じデータがＩ／Ｏデバイス内のＲＡによって使用されていることも追跡することで、非常にわずかなオーバーヘッド（例えば、１つ以上の追加のビット）がホストＨＡに追加される。
【0026】
図３は、一例による、Ｉ／Ｏデバイス内のハードウェアからホストにデータの所有権を移転するための方法３００のフローチャートである。方法３００は、図２の方法２００で説明したように、ＣＳＡが共有状態又は排他状態のいずれかでローカルＨＡに遷移したと仮定する。ＣＳＡがデータを（部分的に又は排他的に）所有する場合、ホストＨＡは、ホスト内のＲＡからデータを修正する要求を受信する。ホスト上のＲＡがデータを編集することを許可する前に、ホストＨＡは再びデータの排他的所有権を有していなければならない。
【0027】
ブロック３０５で、ホストＨＡは、共有状態又は排他状態のいずれかでローカルＨＡによって現在所有されているデータを求める要求を、ホスト内のＲＡから受信する。データが共有状態のローカルＨＡによって所有されている場合、ホストＨＡは、Ｉ／Ｏデバイス内のＲＡもデータを使用していることを知ることができる。データが排他状態でローカルＨＡによって所有されている場合、上述したように、ホストＨＡは、データがローカルＨＡに移転された後にデータを追跡する必要がないので、ホストＨＡは、どのＣＳＡがローカルＨＡであるかを知ることができない。いずれの場合も、ホストＨＡは、データの排他的所有権を取り戻すことができる。
【0028】
ブロック３１０において、ホストＨＡは、ローカルＨＡ／ＣＳＡにスヌープを送信する。スヌープは、ホストＨＡがデータの所有権を戻したいことをローカルＨＡに通知する。これに応答して、ローカルＨＡは、最新バージョンのデータがホストに移転されるように、ローカルキャッシュをフラッシュすることができる。
【0029】
ブロック３１５において、ＣＳＡ／ローカルＨＡは、ＣＳＡがもはやローカルＨＡとして機能しない無効化状態に遷移する。したがって、データに対するＩ／Ｏデバイス内のＲＡからの要求は、ＣＳＡによってサービスされるのではなく、ホストＨＡに転送される。このようにして、ホストＨＡは、ローカルＨＡからデータの所有権を取り戻すことができる。
【0030】
図４は、一例による、共有状態から排他状態に所有権を変更するときにホストＨＡを更新するための方法４００のフローチャートである。ブロック４０５において、ＣＳＡは、共有状態のローカルＨＡに遷移する。すなわち、ＣＳＡ及びホストＨＡは、同じデータの所有権を共有する。その結果、ホスト内のＲＡとＩ／Ｏデバイス内のＲＡの両方が同じデータにアクセスすることができる。
【0031】
ブロック４１０で、ホストＨＡは、データのキャッシュされたコピーがホストＲＡ及びＩ／Ｏデバイス内のＲＡによって使用されているという事実を追跡する。すなわち、ホストＨＡ内の追跡データリストは、ホスト及びＩ／Ｏデバイス内の両方のＲＡがデータのキャッシュされたコピーを有することを示すことができる。そうすることによって、例えば、ホストＲＡが高速読み出し専用データアクセスのためにデータのコピーを保持することができる間に、Ｉ／Ｏデバイス上のＲＡがデータを修正することが可能になる。ホストＨＡは、データのホスト及びＩ／Ｏデバイスの両方の使用を追跡するので、ホストＲＡがデータを修正する要求を送信した場合、ホストＨＡは、ホストＲＡがデータを修正することを許可する前に、まず、Ｉ／ＯデバイスのＲＡ内のデータのコピーを無効化し、フラッシュする必要があることを知る。
【0032】
しかしながら、ブロック４１５において、ホストＨＡは、ホストＲＡがもはやデータのコピーにアクセスする必要がないというＣＭＯをホストＲＡから受信する。したがって、データを必要とする唯一のＲＡは、Ｉ／Ｏデバイス内のＲＡである。
【0033】
ブロック４２０において、ホストＨＡは、追跡データリストを更新して、ホストＲＡ及びＩ／ＯデバイスＲＡの両方におけるデータの追跡を停止し、それによって、ホストＨＡにおけるオーバーヘッドを低減する。更に、ローカルＨＡは、データがもはやホスト内のＲＡによって使用されていないので、共有状態から排他状態に遷移することができる。ホスト内のＲＡがデータの使用を再び要求した場合、システムは、ホストＨＡがローカルＨＡと所有権を再び共有することができる（及びローカルＨＡが共有状態に遷移する）図３の方法３００を使用することができる。
【0034】
図５は、一例による、キャッシュラインの所有権をＩ／Ｏデバイス内のハードウェアに移転するためのタイミングチャートである。一実施形態では、図５のタイミングチャートは、図２で説明した方法２００に対応する追加の詳細を提供する。タイミングチャートは、アクセラレータ機能が、ホストＨＡによって所有されるデータを求めるデータ要求をＩ／Ｏデバイス内のＣＳＡに送信することから始まる。すなわち、ＣＳＡは現在、ローカルＨＡとして機能していない（すなわち、ＣＳＡは無効化状態にある）。
【0035】
この実施形態では、アクセラレータからのデータ要求は、ＣＳＡ（排他状態のローカルＨＡに遷移した後）がキャッシュラインレベルでデータを追跡すべきであることを示す特定のキャッシュラインに対するものである。これに応答して、ＣＳＡは、クリーン無効化ＣＭＯをホストＨＡに発行し、これはホストＨＡにホスト内のキャッシュラインのキャッシュされたコピーをフラッシュして無効化するように促す。このプロセスの一部として、図５は、ホストＨＡがホストＲＡにスヌープを発行して、キャッシュされたコピーを無効化し、フラッシュすることを示している。ホストＨＡは、クリーン無効化ＣＭＯを受信したことを示す完了（comp）ＣＭＯをＣＳＡに発行することもできる。
【0036】
スヌープＣＭＯからｃｏｍｐを受信した後、ホストＨＡは、プッシュＣＭＯ（すなわち、Ｃｌｅａｎ Ｉｎｖａｌｉｄａｔｅ Ｄｅｅｐ（ＣｌｅａｎＩｎｖＤｅｅｐ））をＣＳＡに発行する。上述したように、フラッシュを実行するとき、キャッシュラインのフラッシュされたコピーは、最終レベルキャッシュ又はバッファにスタックされ、ＣＳＡ内のＳＡに到達しない場合がある。プッシュＣＭＯは、キャッシュラインの最新バージョンがＳＡに到達することを保証する。
【0037】
ＣｌｅａｎＩｎｖＤｅｅｐがＳＡに到達したことを確認すると、ＣＳＡは、排他状態のローカルＨＡに遷移することができ、アクセラレータによるキャッシュラインのローカルアクセスが許可される。ＣＳＡは、プッシュＣＭＯを受信したことの確認をホストＨＡに送信することができる。ホストＨＡは、その追跡データリスト内のキャッシュラインの追跡を停止することができる。更に、図５のタイムラインを使用して、ＣＳＡを共有状態のローカルＨＳＡに遷移させることもできるが、その実施形態では、ホスト内のキャッシュされたコピーを無効化することはできない。すなわち、ＣＳＡは、ホストＨＡがキャッシュされたコピーを無効化しないように、クリーン無効化とは異なるＣＭＯを送信することができる。
【0038】
図５はまた、図３の方法３００で説明したように、ホストＨＡが再びキャッシュラインの所有権を受け取ることを示している。所有権をＣＳＡに移転した後、後で、タイムラインによって示されるように、ホストＲＡは、読み出し固有要求又は書き込み固有要求を使用して、キャッシュラインへのアクセスを要求する。例えば、ホスト内で実行されているプロセッサ機能は、キャッシュラインを読み出すか又は修正することを望む場合がある。ホストＨＡはキャッシュラインを追跡していないので、ホストＨＡは、キャッシュラインの最新バージョンをホストＨＡに送信するようにＣＳＡに命令するスヌープをＣＳＡに送信する。更に、ＣＳＡは、ローカルＨＡとしての機能から、もはやローカルＨＡとして機能しない無効化状態に遷移する。
【0039】
図６は、一例による、複数のキャッシュラインの所有権をＩ／Ｏデバイス内のハードウェアに移転するためのタイミングチャートである。すなわち、アクセラレータ機能が単一のキャッシュラインの所有権を要求する図５とは異なり、図６のアクセラレータは複数のキャッシュラインに対するデータ要求を送信し、ＣＳＡはキャッシュラインを個別に追跡する必要がある。これに応答して、ＣＳＡは、キャッシュライン（すなわち、ライン１～Ｎ）の各々に対してＣＭＯを発行する。上述したように、ＣＭＯのタイプは、ＣＳＡが共有状態に遷移するか排他状態に遷移するかに応じて変化する。共有状態である場合、ホストＨＡは、ホスト内のキャッシュされたコピーを無効化しなくてもよい。
【0040】
上記と同様に、ホストＨＡは、データの最新バージョンを取り出すためにホストＲＡに１つ以上のスヌープを発行し、各キャッシュラインに対応するＣＳＡにｃｏｍｐ ＣＭＯを送信する。スヌープに応答してｃｏｍｐ ＣＭＯを受信すると、ホストＨＡは、キャッシュラインがＣＳＡ内のＳＡにプッシュされるように、キャッシュライン１～ＮのためのプッシュＣＭＯ（すなわち、ＣｌｅａｎＩｎｖＤｅｅｐ ＣＭＯ）を送信することができる。ＣＳＡは、最後のキャッシュライン（すなわち、ラインＮ）のプッシュＣＭＯを受信すると、共有状態又は排他状態のいずれかでローカルＨＡとして実行するように遷移することができる。
【0041】
その後、ホストＲＡは、読み出し／書き込み固有要求を使用してキャッシュラインへのアクセスを要求することができる。上述したように、ホストＨＡは、無効化状態（又は、所有権がローカルＨＡ及びホストＨＡの両方によって共有される場合には共有状態）に遷移するＣＳＡの所有権を取り戻すことができる。
【0042】
図７は、一例による、データのブロックの所有権をＩ／Ｏデバイス内のハードウェアに移転するためのタイミングチャートである。この実施形態では、アクセラレータは、複数のキャッシュラインを含むデータブロックに対する要求を送信する。すなわち、個々のキャッシュラインを追跡するＣＳＡの代わりに、図７は、ローカルＨＡに遷移し、キャッシュラインレベルではなくブロックレベルで対応するデータを追跡するようにＣＳＡに命令するアクセラレータを示している。
【0043】
これに応答して、ＣＳＡは、ブロック内の各キャッシュライン（例えば、ライン１～Ｎ）のＣＭＯを送信する。この場合も、アクセラレータがホストＨＡ及びＣＳＡにデータブロックの所有権を共有するように命令した場合、又はデータブロックがＣＳＡによって排他的に所有される場合、ＣＭＯのタイプは変化する。データブロック内の各キャッシュラインのＣＭＯを送信した後、ＣＳＡ、より具体的にはＣＳＡ内のＲＡは、クリーン無効化ブロックディープ（ＣｌｅａｎＩｎｖＢｌｏｃｋＤｅｅｐ）をホストＨＡに送信する。次に、ＣＳＡはブロックキャッシュ状態の監視を開始する。
【0044】
ホストＨＡは、上述したように、ホストＲＡにスヌープＣＭＯを発行し、ＣＳＡにｃｏｍｐを発行する。しかしながら、ホストＨＡが（ホストＲＡからｃｏｍｐを受信した後に）各キャッシュラインに対してプッシュＣＭＯを発行する図６とは異なり、ホストＨＡは、プッシュＣＭＯ ＣｌｅａｎＩｎｖＢｌｏｃｋＤｅｅｐをＣＳＡに発行し返す。一実施形態では、ＣＳＡは、集約されたポートごとにＣｌｅａｎｌｎｖＢｌｏｃｋＤｅｅｐを受信する（集約されたポートが使用可能であると仮定する）。別様で、ホストＨＡは単一のＣｌｅａｎＩｎｖＢｌｏｃｋＤｅｅｐを発行する。ＣｌｅａｎＩｎｖＢｌｏｃｋＤｅｅｐを受信した後、ＣＳＡは、共有状態又は排他状態のいずれかで、ローカルＨＡとして機能するように遷移することができる。
【0045】
図７には示されていないが、ホストＨＡは、上述した技術を使用して、データブロックの部分的又は排他的所有権を取り戻すことができる。
【0046】
上記の技術は、一部の非限定的な利点を提供する。例えば、アクセラレータがコヒーレンシ管理をホストからアクセラレータに透過的に移行したので、ホストＨＡは、もはや、ホストによって管理されるアクセラレータ接続メモリへのアクセラレータコヒーレンシアクションを細粒度で追跡しない。更に、スヌープフィルタなどのホスト追跡リソースもまた、もはや不必要に消費されず、これらのリソースは、これらの同じスヌープフィルタを使用してホスト－ＣＰＵ－メモリ相互作用のための追跡リソースを改善するために解放される。更に、ホストからアクセラレータへのコヒーレンシ管理の移行に続いて、アクセラレータは、ローカルアクセラレータ接続メモリに直接アクセスするため、ホストとアクセラレータとの間の不必要なデータ移動がなくなる。また、アクセラレータにおけるキャッシュリソースが効率的に使用され、アクセラレータキャッシュは、ユースケース及びトラフィックパターンに基づいて、アクセラレータキャッシュ及びアクセラレータ接続メモリキャッシュの両方として作用することができる。更に、アクセラレータ接続メモリへのアクセラレータコヒーレンシアクションは、もはやホストに影響を及ぼさないため、もはや他のホストＣＰＵからホストメモリへのコヒーレンシアクションの性能に影響を及ぼさない。
【0047】
図８は、Ｉ／Ｏデバイス１３０のＦＰＧＡ８００の実装形態を示しており、より具体的には、送受信機３７、ＣＬＢ３３、ＢＲＡＭ３４、入力／出力ブロック（「ＩＯＢ」）３６、構成及びクロッキング論理（「ＣＯＮＦＩＧ／ＣＬＯＣＫＳ」）４２、ＤＳＰブロック３５、特殊入力／出力ブロック（「ＩＯ」）４１（例えば、構成ポート及びクロックポート）、及びデジタルクロックマネージャ、アナログ／デジタルコンバータ、システム監視論理などの他のプログラマブル論理３９を含む、多数の異なるプログラマブルタイルを含むＰＬアレイを伴うＦＰＧＡを伴う。ＦＰＧＡはまた、ＰＣＩｅインターフェース４０、アナログ／デジタル変換器（ＡＤＣ）３８などを含み得る。
【0048】
一部のＦＰＧＡでは、各プログラマブルタイルは、図８の上部に含まれる例によって示されるように、同じタイル内のプログラマブル論理要素の入力及び出力端子４８への接続を有する少なくとも１つのプログラマブル相互接続要素（「ＩＮＴ」）４３を含み得る。各プログラマブル相互接続要素４３はまた、同じタイル又は他のタイル内の隣接するプログラマブル相互接続要素の相互接続セグメント４９への接続を含み得る。各プログラマブル相互接続要素４３はまた、論理ブロック（図示せず）間の汎用ルーティングリソースの相互接続セグメント５０への接続を含み得る。汎用ルーティングリソースは、相互接続セグメント（例えば、相互接続セグメント５０）のトラックを備える論理ブロック（図示せず）と、相互接続セグメントを接続するためのスイッチブロック（図示せず）との間のルーティングチャネルを含み得る。汎用ルーティングリソースの相互接続セグメント（例えば、相互接続セグメント５０）は、１つ以上の論理ブロックにまたがり得る。プログラマブル相互接続要素４３は、汎用ルーティングリソースとともに、図示されたＦＰＧＡのためのプログラマブル相互接続構造（「プログラマブル相互接続」）を実装する。
【0049】
例示的な実装形態では、ＣＬＢ３３は、ユーザ論理を実装するようにプログラムされ得る構成可能論理要素（「ＣＬＥ」）４４に加え、単一のプログラマブル相互接続要素（「ＩＮＴ」）４３を含み得る。ＢＲＡＭ３４は、１つ以上のプログラマブル相互接続要素に加えて、ＢＲＡＭ論理要素（「ＢＲＬ」）４５を含み得る。典型的には、タイルに含まれる相互接続数は、タイルの高さに依存する。図示された例では、ＢＲＡＭタイルは、５つのＣＬＢと同じ高さを有するが、他の数（例えば、４つ）も使用され得る。ＤＳＰブロック３５は、適切な数のプログラマブル相互接続要素に加えて、ＤＳＰ論理要素（「ＤＳＰＬ」）４６を含み得る。ＩＯＢ３６は、例えば、プログラマブル相互接続要素４３の１つのインスタンスに加えて、入力／出力論理要素（「ＩＯＬ」）４７の２つのインスタンスを含み得る。当業者には明らかなように、例えばＩＯ論理要素４７に接続された実際のＩＯパッドは、典型的には、入力／出力論理要素４７の領域に限定されない。
【0050】
図示された例では、（図８に示された）ダイの中心近くの水平領域が、構成、クロック、及び他の制御論理のために使用される。この水平領域又は列から延在する垂直列５１は、ＦＰＧＡの幅にわたってクロック及び構成信号を分配するために使用される。
【0051】
図８に示すアーキテクチャを利用する一部のＦＰＧＡは、ＦＰＧＡの大部分を構成する規則的な柱状構造を中断させる追加の論理ブロックを含む。追加の論理ブロックは、プログラマブルブロック及び／又は専用論理であり得る。
【0052】
図８は、例示的なＦＰＧＡアーキテクチャのみを示すことが意図されていることに留意されたい。例えば、行内の論理ブロックの数、行の相対的な幅、行の数及び順序、行に含まれる論理ブロックのタイプ、論理ブロックの相対的なサイズ、並びに図８の上部に含まれる相互接続／論理実装形態は、純粋に例示的なものである。例えば、実際のＦＰＧＡでは、ユーザ論理の効率的な実装形態を容易にするために、ＣＬＢが現れるところではどこでもＣＬＢの２以上の隣接する行が典型的には含まれるが、隣接するＣＬＢ行の数はＦＰＧＡの全体のサイズとともに変化する。
【0053】
上記において、本開示に提示される実施形態が参照される。しかしながら、本開示の範囲は、特定の記載された実施形態に限定されない。代わりに、説明された特徴及び要素の任意の組み合わせは、異なる実施形態に関連するか否かにかかわらず、企図される実施形態を実装及び実践するように企図される。更に、本明細書に開示される実施形態は、他の可能な解決策又は先行技術を上回る利点を達成し得るが、特定の利点が所与の実施形態によって達成されるか否かは、本開示の範囲を限定するものではない。したがって、前述の態様、特徴、実施形態、及び利点は、単に例示的なものであり、特許請求の範囲に明示的に記載されている場合を除き、添付の特許請求の範囲の要素又は限定とはみなされない。
【0054】
当業者によって理解されるように、本明細書に開示される実施形態は、システム、方法、又はコンピュータプログラム製品として具現化され得る。したがって、態様は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）、又はソフトウェア態様とハードウェア態様概して「回路」、「モジュール」、若しくは「システム」と称される場合があるソフトウェア態様とハードウェア態様とを組み合わせた実施形態の形態をとることができる。更に、態様は、コンピュータ可読プログラムコードが具現化された１つ以上のコンピュータ可読媒体において具現化されたコンピュータプログラム製品の形態をとり得る。
【0055】
１つ以上のコンピュータ可読媒体の任意の組み合わせを利用することができる。コンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読記憶媒体であってもよい。コンピュータ可読記憶媒体は、例えば、電子、磁気、光学、電磁気、赤外線、又は半導体のシステム、装置、又はデバイス、あるいは前述のものの任意の好適な組み合わせであり得るが、それらに限定されない。コンピュータ可読記憶媒体のより具体的な例（非網羅的なリスト）は、１つ以上のワイヤを有する電気接続、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（random access memory、ＲＡＭ）、読み出し専用メモリ（read-only memory、ＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（erasable programmable read-only memory、ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み出し専用メモリ（compact disc read-only memory、ＣＤ－ＲＯＭ）、光記憶デバイス、磁気記憶デバイス、又は前述のものの任意の適切な組み合わせを含む。本明細書の文脈では、コンピュータ可読記憶媒体は、命令実行システム、装置、又はデバイスによって、又はそれと関連して使用するためのプログラムを含有又は記憶することができる、任意の有形媒体である。
【0056】
コンピュータ可読信号媒体は、例えば、ベースバンドにおいて、又は搬送波の一部として、コンピュータ可読プログラムコードが具現化された伝搬データ信号を含み得る。かかる伝搬信号は、電磁、光学、又はそれらの任意の好適な組み合わせを含むが、それらに限定されない、種々の形態のうちのいずれかをとってもよい。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体ではなく、命令実行システム、装置、又はデバイスによって、又はそれに関連して使用するためのプログラムを通信、伝搬、又は移送することができる、任意のコンピュータ可読媒体であってもよい。
【0057】
コンピュータ可読媒体上に具体化されたプログラムコードは、無線、有線、光ファイバケーブル、ＲＦなど、又はこれらの任意の適切な組み合わせを含むがこれらに限定されない任意の適切な媒体を使用して送信することができる。
【0058】
本開示の態様のための動作を実行するためのコンピュータプログラムコードは、Ｊａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、及び「Ｃ」プログラミング言語又は同様のプログラミング言語などの従来の手続き型プログラミング言語を含む、１つ以上のプログラミング言語の任意の組み合わせで書かれ得る。プログラムコードは、完全にユーザのコンピュータ上で、部分的にユーザのコンピュータ上で、スタンドアロンソフトウェアパッケージとして、部分的にユーザのコンピュータ上及び部分的にリモートコンピュータ上で、又は完全にリモートコンピュータ若しくはサーバ上で実行することができる。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク（local area network、ＬＡＮ）又はワイドエリアネットワーク（wide area network、ＷＡＮ）を含む任意のタイプのネットワークを介してユーザのコンピュータに接続されてもよく、又は外部コンピュータへの接続が（例えば、インターネットサービスプロバイダを使用してインターネットを介して）行われてもよい。
【0059】
本開示の態様は、本開示で提示される実施形態による方法、装置（システム）、及びコンピュータプログラム製品のフローチャート図及び／又はブロック図を参照して以下で説明される。フローチャート図及び／又はブロック図の各ブロック、並びにフローチャート図及び／又はブロック図内のブロックの組み合わせは、コンピュータプログラム命令によって実装され得ることが理解されるであろう。これらのコンピュータプログラム命令は、コンピュータ又は他のプログラマブルデータ処理装置のプロセッサを介して実行される命令が、フローチャート及び／又はブロック図の１つ以上のブロックで指定された機能／動作を実装するための手段を作成するように、汎用コンピュータ、専用コンピュータ、又は他のプログラマブルデータ処理装置のプロセッサに提供されて、機械を生成することができる。
【0060】
これらのコンピュータプログラム命令はまた、コンピュータ可読媒体に記憶された命令が、フローチャート及び／又はブロック図の１つ以上のブロックで指定された機能／動作を実装する命令を含む製品を生成するように、コンピュータ、他のプログラマブルデータ処理装置、又は他のデバイスに特定の方法で機能するように指示することができるコンピュータ可読媒体に記憶され得る。
【0061】
コンピュータプログラム命令はまた、コンピュータ、他のプログラマブルデータ処理装置、又は他のデバイスにロードされて、一連の動作ステップをコンピュータ、他のプログラマブル装置、又は他のデバイス上で実行させて、コンピュータ又は他のプログラマブル装置上で実行される命令が、フローチャート及び／又はブロック図の１つ以上のブロックで指定された機能／動作を実装するためのプロセスを提供するように、コンピュータ実施プロセスを生成することができる。
【0062】
図中のフローチャート及びブロック図は、本発明の種々の例によるシステム、方法、及びコンピュータプログラム製品の可能な実装形態のアーキテクチャ、機能、及び動作を示す。これに関して、フローチャート又はブロック図における各ブロックは、指定された論理機能を実装するための１つ以上の実行可能命令を含む、モジュール、セグメント、又は命令の一部を表し得る。一部の代替実装形態では、ブロックに記載された機能は、図に記載された順序とは異なる順序で行われてもよい。例えば、連続して示される２つのブロックは、実際には、実質的に同時に実行されてもよく、又はブロックは、時には、関与する機能性に応じて、逆の順序で実行されてもよい。ブロック図及び／又はフローチャート例解図の各ブロック、並びにブロック図及び／又はフローチャート例解図におけるブロックの組み合わせは、指定された機能若しくは動作を実行するか、又は専用ハードウェアとコンピュータ命令との組み合わせを行う、専用ハードウェアベースのシステムによって実装することができることにも留意されたい。
【0063】
開示された技術の一部の例は、以下の非限定的な例において特徴付けられ得る。
【0064】
実施例１．ハードウェアアクセラレータであって、
アクセラレータ機能回路と、
アクセラレータ機能回路に通信可能に結合され、ホスト内のホームエージェント（ＨＡ）と通信するように構成された計算スレーブエージェント（ＣＳＡ）であって、ＣＳＡ及びＨＡは、同じコヒーレントドメインの一部である、ＣＳＡと、を備え、
ＣＳＡは、ＣＳＡがデータセットのためのローカルＨＡとして機能するように、ＨＡにデータセットの所有権を要求するように構成され、
アクセラレータ機能回路は、ＣＳＡがローカルＨＡとして機能するときにデータセットをキャッシュラインレベルで追跡するかデータブロックレベルで追跡するかを示す、ハードウェアアクセラレータ。
アクセラレータ機能回路と、
アクセラレータ機能回路に通信可能に結合され、ホスト内のホームエージェント（ＨＡ）と通信するように構成された計算スレーブエージェント（ＣＳＡ）であって、ＣＳＡ及びＨＡは、同じコヒーレントドメインの一部である、ＣＳＡと、を備え、
ＣＳＡは、ＣＳＡがデータセットのためのローカルＨＡとして機能するように、ＨＡにデータセットの所有権を要求するように構成され、
アクセラレータ機能回路は、ＣＳＡがローカルＨＡとして機能するときにデータセットをキャッシュラインレベルで追跡するかデータブロックレベルで追跡するかを示す、ハードウェアアクセラレータ。
【0065】
実施例２．ＣＳＡがＨＡにデータセットの所有権を要求する前に、アクセラレータ機能は、データセットの読み出し又は修正のうちの少なくとも１つを行うための要求をＣＳＡに送信するように構成され、アクセラレータ機能からの要求は、ＣＳＡがデータセットをキャッシュラインレベルで追跡するかデータブロックレベルで追跡するかを示す、実施例１に記載のハードウェアアクセラレータ。
【0066】
実施例３．ＨＡは、ＣＳＡからの要求に応答して、ホスト内の要求エージェント（ＲＡ）へのスヌープを実行してホストからデータセットのキャッシュされたコピーをフラッシュするように構成されている、実施例２に記載のハードウェアアクセラレータ。
【0067】
実施例４．ＨＡは、スヌープが完了したという指示を受信した後に、プッシュキャッシュ保守動作（ＣＭＯ）をＣＳＡに送信するように構成され、プッシュＣＭＯは、バッファ又は最終レベルキャッシュにスタックされたデータセットの任意のキャッシュコピーをＣＳＡ内のスレーブエージェントに移動させる、実施例３に記載のハードウェアアクセラレータ。
【0068】
実施例５．スレーブエージェントがプッシュＣＭＯを受信したと判定した後、ＣＳＡは、データセットのためのローカルＨＡとして機能するように遷移する、実施例４に記載のハードウェアアクセラレータ。
【0069】
実施例６．ＣＳＡは、（ｉ）ホスト内のＨＡがデータセットを追跡しない排他状態、又は（ｉｉ）ＣＳＡ及びＨＡの両方がデータセットを追跡し、ホスト内のＲＡがデータセットのキャッシュされたコピーを有する共有状態のうちの１つにおいて、ローカルＨＡとして機能することができる、実施例１に記載のハードウェアアクセラレータ。
【0070】
実施例７．ＨＡは、
ＣＳＡがローカルＨＡとしての役割を開始した後に、データセットを修正するための要求をホスト内のＲＡから受信することと、
ＣＳＡがもはやローカルＨＡとして機能しない無効化状態に遷移するための要求をＣＳＡに送信することであって、データセットの所有権は、ＨＡに戻される、送信することと、を行うように構成されている、実施例１に記載のハードウェアアクセラレータ。
ＣＳＡがローカルＨＡとしての役割を開始した後に、データセットを修正するための要求をホスト内のＲＡから受信することと、
ＣＳＡがもはやローカルＨＡとして機能しない無効化状態に遷移するための要求をＣＳＡに送信することであって、データセットの所有権は、ＨＡに戻される、送信することと、を行うように構成されている、実施例１に記載のハードウェアアクセラレータ。
【0071】
実施例８．方法であって、
ＲＡ及びＨＡを含むホストをＩ／Ｏデバイスに通信可能に結合することであって、Ｉ／Ｏデバイスは、Ｉ／Ｏデバイス及びＨＡ内のアクセラレータ機能に通信可能に結合されたＣＳＡを含み、ＣＳＡ及びＨＡは、同じコヒーレントドメインの一部である、結合することと、
ＣＳＡを使用して、ＣＳＡがデータセットのためのローカルＨＡとして機能するように、ＨＡにデータセットの所有権を要求することと、を含み、
アクセラレータ機能は、ＣＳＡがローカルＨＡとして機能するときにデータセットをキャッシュラインレベルで追跡するかデータブロックレベルで追跡するかを示す、方法。
ＲＡ及びＨＡを含むホストをＩ／Ｏデバイスに通信可能に結合することであって、Ｉ／Ｏデバイスは、Ｉ／Ｏデバイス及びＨＡ内のアクセラレータ機能に通信可能に結合されたＣＳＡを含み、ＣＳＡ及びＨＡは、同じコヒーレントドメインの一部である、結合することと、
ＣＳＡを使用して、ＣＳＡがデータセットのためのローカルＨＡとして機能するように、ＨＡにデータセットの所有権を要求することと、を含み、
アクセラレータ機能は、ＣＳＡがローカルＨＡとして機能するときにデータセットをキャッシュラインレベルで追跡するかデータブロックレベルで追跡するかを示す、方法。
【0072】
実施例９．ＣＳＡがＨＡからデータセットの所有権を要求する前に、
データセットを読み出すこと又は修正することのうちの少なくとも１つを行うための要求をアクセラレータ機能からＣＳＡに送信することを更に含み、アクセラレータ機能からの要求は、ＣＳＡがデータセットをキャッシュラインレベルで追跡するかデータブロックレベルで追跡するかを示す、実施例８に記載の方法。
データセットを読み出すこと又は修正することのうちの少なくとも１つを行うための要求をアクセラレータ機能からＣＳＡに送信することを更に含み、アクセラレータ機能からの要求は、ＣＳＡがデータセットをキャッシュラインレベルで追跡するかデータブロックレベルで追跡するかを示す、実施例８に記載の方法。
【0073】
実施例１０．
ＨＡを使用して、ＣＳＡからの要求に応答して、ＲＡへのスヌープを実行してホストからのデータセットのキャッシュされたコピーをフラッシュすることを更に含む、実施例９に記載の方法。
ＨＡを使用して、ＣＳＡからの要求に応答して、ＲＡへのスヌープを実行してホストからのデータセットのキャッシュされたコピーをフラッシュすることを更に含む、実施例９に記載の方法。
【0074】
実施例１１．
スヌープが完了したという指示を受信した後に、ＨＡからプッシュＣＭＯをＣＳＡに送信することを更に含み、プッシュＣＭＯは、バッファ又は最終レベルキャッシュにスタックされたデータセットの任意のキャッシュされたコピーをＣＳＡ内のスレーブエージェントに移動させる、実施例１０に記載の方法。
スヌープが完了したという指示を受信した後に、ＨＡからプッシュＣＭＯをＣＳＡに送信することを更に含み、プッシュＣＭＯは、バッファ又は最終レベルキャッシュにスタックされたデータセットの任意のキャッシュされたコピーをＣＳＡ内のスレーブエージェントに移動させる、実施例１０に記載の方法。
【0075】
実施例１２．スレーブエージェントがプッシュＣＭＯを受信したと判定した後に、
データセットのためのローカルＨＡとして機能するようにＣＳＡを遷移させることを更に含む、実施例１１に記載の方法。
データセットのためのローカルＨＡとして機能するようにＣＳＡを遷移させることを更に含む、実施例１１に記載の方法。
【0076】
実施例１３．ＣＳＡは、（ｉ）ホスト内のＨＡがデータセットを追跡しない排他状態、又は（ｉｉ）ＣＳＡ及びＨＡの両方がデータセットを追跡し、ホスト内のＲＡがデータセットのキャッシュされたコピーを有する共有状態のうちの１つにおいて、ローカルＨＡとして機能することができる、実施例８に記載の方法。
【0077】
実施例１４．
ＣＳＡがローカルＨＡとして機能し始めた後に、データセットを修正するためのＲＡからの要求をＨＡにおいて受信することと、
ＣＳＡがもはやローカルＨＡとして機能しない無効化状態に遷移するための要求をＨＡからＣＳＡに送信することであって、データセットの所有権は、ＨＡに戻される、送信することと、を更に含む、実施例８に記載の方法。
ＣＳＡがローカルＨＡとして機能し始めた後に、データセットを修正するためのＲＡからの要求をＨＡにおいて受信することと、
ＣＳＡがもはやローカルＨＡとして機能しない無効化状態に遷移するための要求をＨＡからＣＳＡに送信することであって、データセットの所有権は、ＨＡに戻される、送信することと、を更に含む、実施例８に記載の方法。
【0078】
実施例１５．ホストに通信可能に結合されるように構成されたＩ／Ｏデバイスであって、デバイスは、
アクセラレータ機能と、
アクセラレータ機能及びホスト内のＨＡに通信可能に結合されたＣＳＡであって、ＣＳＡ及びＨＡは、同じコヒーレントドメインの一部である、ＣＳＡと、を備え、
ＣＳＡは、ＣＳＡがデータセットのためのローカルＨＡとして機能するように、ＨＡにデータセットの所有権を要求するように構成され、
アクセラレータ機能は、ＣＳＡがローカルＨＡとして機能するときにデータセットをキャッシュラインレベルで追跡するかデータブロックレベルで追跡するかを示す、Ｉ／Ｏデバイス。
アクセラレータ機能と、
アクセラレータ機能及びホスト内のＨＡに通信可能に結合されたＣＳＡであって、ＣＳＡ及びＨＡは、同じコヒーレントドメインの一部である、ＣＳＡと、を備え、
ＣＳＡは、ＣＳＡがデータセットのためのローカルＨＡとして機能するように、ＨＡにデータセットの所有権を要求するように構成され、
アクセラレータ機能は、ＣＳＡがローカルＨＡとして機能するときにデータセットをキャッシュラインレベルで追跡するかデータブロックレベルで追跡するかを示す、Ｉ／Ｏデバイス。
【0079】
実施例１６．ＣＳＡがＨＡにデータセットの所有権を要求する前に、アクセラレータ機能は、データセットの読み出し又は修正のうちの少なくとも１５つを行うための要求をＣＳＡに送信するように構成され、アクセラレータ機能からの要求は、ＣＳＡがデータセットをキャッシュラインレベルで追跡するかデータブロックレベルで追跡するかを示す、実施例１５に記載のＩ／Ｏデバイス。
【0080】
実施例１７．ＨＡは、ＣＳＡからの要求に応答して、ホスト内のＲＡへのスヌープを実行してホストからのデータセットのキャッシュされたコピーをフラッシュするように構成されている、実施例１６に記載のＩ／Ｏデバイス。
【0081】
実施例１８．ＨＡは、スヌープが完了したという指示を受信した後に、プッシュＣＭＯをＣＳＡに送信するように構成され、プッシュＣＭＯは、バッファ又は最終レベルキャッシュにスタックされたデータセットの任意のキャッシュされたコピーをＣＳＡ内のスレーブエージェントに移動させる、実施例１７に記載のＩ／Ｏデバイス。
【0082】
実施例１９．スレーブエージェントがプッシュＣＭＯを受信したと判定した後、ＣＳＡは、データセットのためのローカルＨＡとして機能するように遷移する、実施例１８に記載のＩ／Ｏデバイス。
【0083】
実施例２０．ＣＳＡは、（ｉ）ホスト内のＨＡがデータセットを追跡しない排他状態、又は（ｉｉ）ＣＳＡ及びＨＡの両方がデータセットを追跡し、ホスト内のＲＡがデータセットのキャッシュされたコピーを有する共有状態のうちの１つにおいて、ローカルＨＡとして機能することができる、実施例１５に記載のＩ／Ｏデバイス。
【0084】
上記は特定の例を対象とするが、他の例及び更なる例が、その基本的な範囲から逸脱することなく考案され得、その範囲は、以下の特許請求の範囲によって決定される。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【国際調査報告】