特表 2024-544866 キャッシュアソシアティビティ割り当て

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-12-05

(54)【発明の名称】キャッシュアソシアティビティ割り当て

(51)【国際特許分類】

   G06F 12/0864 20160101AFI20241128BHJP

   G06F 12/128 20160101ALI20241128BHJP

【ＦＩ】

G06F12/0864

G06F12/128

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024526934

(86)(22)【出願日】2022-12-14

(85)【翻訳文提出日】2024-06-17

(86)【国際出願番号】 US2022052885

(87)【国際公開番号】W WO2023121933

(87)【国際公開日】2023-06-29

(31)【優先権主張番号】17/557,731

(32)【優先日】2021-12-21

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】591016172

【氏名又は名称】アドバンスト・マイクロ・ディバイシズ・インコーポレイテッド

【氏名又は名称原語表記】ＡＤＶＡＮＣＥＤ ＭＩＣＲＯ ＤＥＶＩＣＥＳ ＩＮＣＯＲＰＯＲＡＴＥＤ

(74)【代理人】

【識別番号】100108833

【弁理士】

【氏名又は名称】早川 裕司

(74)【代理人】

【識別番号】100111615

【弁理士】

【氏名又は名称】佐野 良太

(74)【代理人】

【識別番号】100162156

【弁理士】

【氏名又は名称】村雨 圭介

(72)【発明者】

【氏名】ジェフリー クリストファー アラン

【テーマコード（参考）】

5B205

【Ｆターム（参考）】

5B205QQ02

5B205QQ11

5B205UU45

5B205VV03

5B205VV04

(57)【要約】

キャッシュアソシアティビティ割り当てについて記載する。記載される技術によれば、キャッシュのアソシアティビティの一部が、キャッシュ要求のカテゴリに割り当てられる。アソシアティビティの一部は、キャッシュのキャッシュラインのサブセットに対応する。キャッシュにアクセスする要求が受信され、キャッシュラインのサブセットのキャッシュラインが、要求に関連付けられたカテゴリに基づいて、要求に割り当てられる。要求に対応するデータが、キャッシュラインのサブセットのキャッシュラインにロードされる。
【選択図】図１

【特許請求の範囲】

【請求項1】

方法であって、
キャッシュのアソシアティビティの一部をキャッシュ要求のカテゴリに割り当てることであって、前記アソシアティビティの一部は、前記キャッシュのキャッシュラインのサブセットに対応する、ことと、
前記キャッシュにアクセスする要求を受信することと、
前記要求に関連付けられたカテゴリに基づいて、前記要求に前記キャッシュラインのサブセットのキャッシュラインを割り当て、前記要求に対応するデータを前記キャッシュラインのサブセットのキャッシュラインにロードすることと、を含む、
方法。

【請求項2】

前記アソシアティビティの一部を割り当てることは、ツリー構造の少なくとも１つのノードのトラバースをある方向にロックすることを含み、前記ツリー構造は、何れのキャッシュラインを要求に割り当てるかを識別するためにトラバースされ、前記トラバースは、前記カテゴリに関連付けられた要求に対して前記方向にロックされる、
請求項１の方法。

【請求項3】

前記キャッシュのアソシアティビティの追加部分をキャッシュ要求の追加カテゴリに割り当てることを含み、前記アソシアティビティの追加部分は、前記追加カテゴリに関連付けられた要求に対して、前記ツリー構造の前記少なくとも１つのノードのトラバースを異なる方向にロックすることによって割り当てられる、
請求項２の方法。

【請求項4】

前記ツリー構造は、何れのキャッシュラインを前記要求に割り当てるかを識別するために、擬似最長時間未使用アルゴリズムに従ってトラバースされるバイナリツリーである、
請求項２の方法。

【請求項5】

前記キャッシュラインのサブセットのキャッシュラインを割り当てることと、前記ツリー構造をトラバースすることによって、前記要求に対応するデータをロードすることと、を含む、
請求項２の方法。

【請求項6】

前記キャッシュのアソシアティビティの追加部分をキャッシュ要求の追加カテゴリに割り当てることであって、前記アソシアティビティの追加部分は、前記キャッシュのキャッシュラインの追加サブセットに対応する、ことと、
前記キャッシュにアクセスするために、前記追加カテゴリに関連付けられた追加要求を受信することと、
前記キャッシュラインの追加サブセットのキャッシュラインを前記追加要求に割り当て、前記追加要求に対応する追加データを前記キャッシュラインの追加サブセットのキャッシュラインにロードすることと、を含む、
請求項１の方法。

【請求項7】

前記カテゴリは、第１のワークロード又はスレッドに対応し、前記追加カテゴリは、第２のワークロード又はスレッドに対応する、
請求項６の方法。

【請求項8】

前記要求に関連付けられたカテゴリがキャッシュ要求のカテゴリに対応すると決定することを含む、
請求項１の方法。

【請求項9】

前記キャッシュ要求のカテゴリは、
前記キャッシュ要求のワークロード若しくはスレッド、
前記キャッシュ要求の発信元、
前記キャッシュ要求の宛先、又は、
前記キャッシュ要求の特性
のうち少なくとも１つに関連付けられている、
請求項１の方法。

【請求項10】

前記キャッシュのアソシアティビティの一部を前記キャッシュ要求のカテゴリに割り当てることは、トリガイベントに応じて発生し、
前記トリガイベントは、
アプリケーションを起動すること、
ワークロード若しくはスレッドを初期化すること、又は、
前記キャッシュの使用量が閾値使用量を超えると決定すること
のうち何れかを含む、
請求項１の方法。

【請求項11】

前記要求に対応するデータは、データストアから取得される、
請求項１の方法。

【請求項12】

前記データストアは、仮想メモリを含む、
請求項１１の方法。

【請求項13】

システムであって、
キャッシュラインに分割されたキャッシュと、
コントローラと、を備え、
前記コントローラは、
前記キャッシュのアソシアティビティの一部をキャッシュ要求のカテゴリに割り当てることであって、前記キャッシュのアソシアティビティの一部は、前記キャッシュラインのサブセットに対応する、ことと、
要求のカテゴリに基づいて、前記キャッシュラインのサブセットのキャッシュラインを前記要求に割り当て、前記要求に対応するデータを前記キャッシュラインのサブセットのキャッシュラインにロードすることと、
を行うように構成されている、
システム。

【請求項14】

前記コントローラは、ツリー構造の少なくとも１つのノードのトラバーサルをある方向にロックすることによって、前記キャッシュのアソシアティビティの一部を割り当て、前記ツリー構造は、何れのキャッシュラインを要求に割り当てるかを識別するためにトラバースされ、前記トラバースは、前記カテゴリに関連付けられた要求に対して前記方向にロックされる、
請求項１３のシステム。

【請求項15】

前記コントローラは、前記キャッシュのアソシアティビティの追加部分をキャッシュ要求の追加カテゴリに割り当てるように構成されており、前記アソシアティビティの追加部分は、前記追加カテゴリに関連付けられた要求に対して、前記ツリー構造の前記少なくとも１つのノードのトラバースを異なる方向にロックすることによって割り当てられる、
請求項１４のシステム。

【請求項16】

前記ツリー構造は、何れのキャッシュラインを前記要求に割り当てるかを識別するために、擬似最長時間未使用アルゴリズムに従ってトラバースされるバイナリツリーである、
請求項１５のシステム。

【請求項17】

前記キャッシュは、外部メモリに接続されている、
請求項１３のシステム。

【請求項18】

前記システムは、サーバ、パーソナルコンピュータ又はモバイルデバイスを含む、
請求項１３のシステム。

【請求項19】

方法であって、
キャッシュのアソシアティビティを少なくとも第１の部分及び第２の部分に分割することと、
前記キャッシュのアソシアティビティの第１の部分をキャッシュ要求の第１のカテゴリに割り当てることであって、キャッシュミスに応じて、前記キャッシュのアソシアティビティの第１の部分を使用してデータをロードするように、前記キャッシュ要求の第１のカテゴリを制限する、ことと、
前記キャッシュのアソシアティビティの第２の部分をキャッシュ要求の第２のカテゴリに割り当てることであって、キャッシュミスに応じて、前記キャッシュのアソシアティビティの第２の部分を使用してデータをロードするように、前記キャッシュ要求の第２のカテゴリを制限する、ことと、を含む、
方法。

【請求項20】

前記キャッシュのアソシアティビティの第１の部分をキャッシュ要求の第１のカテゴリに割り当てることは、前記キャッシュ要求の第１のカテゴリが前記キャッシュのアソシアティビティの第１の部分及び第２の部分の両方にアクセスすることを許可するが、前記キャッシュ要求の第１のカテゴリが、前記キャッシュミスに応じて、前記キャッシュのアソシアティビティの第２の部分を使用してデータをロードするのを防止し、
前記キャッシュのアソシアティビティの第２の部分をキャッシュ要求の第２のカテゴリに割り当てることは、前記キャッシュ要求の第２のカテゴリが前記キャッシュのアソシアティビティの第１の部分及び第２の部分の両方にアクセスすることを許可するが、前記キャッシュ要求の第２のカテゴリが、前記キャッシュミスに応じて、前記キャッシュのアソシアティビティの第１の部分を使用してデータをロードするのを防止する、
請求項１９の方法。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願）
本願は、２０２１年１２月２１日に出願された「Ｃａｃｈｅ Ａｓｓｏｃｉａｔｉｖｉｔｙ Ａｌｌｏｃａｔｉｏｎ」と題する米国特許出願第１７／５５７，７３１号の優先権を主張し、その開示全体は、参照により本明細書に組み込まれる。

【背景技術】

【0002】

キャッシュは、データに対する将来の要求が、データがメインメモリから供給された場合よりも速く供給されるように、データを（少なくとも一時的に）記憶するハードウェア又はソフトウェア構成要素である。「キャッシュヒット」は、要求されたデータをキャッシュ内で見つけることができる場合に発生し、一方、「キャッシュミス」は、要求されたデータがキャッシュ内で見つけることができない場合に発生する。キャッシュミスは、例えば、要求されたデータが未だキャッシュにロードされていないシナリオにおいて、又は、要求されたデータが要求の前にキャッシュから追い出された（エビクトされた）場合に発生する。キャッシュ置換ポリシーは、要求されたデータを、キャッシュミスに応じて、選択されたキャッシュラインにロードすることができるように、キャッシュの何れかのキャッシュラインを追い出すために選択するためのルールを定義する。

【0003】

詳細な説明は、添付の図面を参照して説明される。

【図面の簡単な説明】

【0004】

【図1】いくつかの実施形態による、キャッシュ及びアソシアティビティアロケータを有するコントローラを有する非限定的な例示的なシステムのブロック図である。

【図2】アソシアティビティアロケータがキャッシュ要求のカテゴリにキャッシュのアソシアティビティの一部を割り当てる非限定的な例を示す図である。

【図3】キャッシュラインを選択するためのキャッシュ置換ポリシーのトラバーサルアルゴリズムに従って、キャッシュ置換ポリシーのツリー構造がトラバースされる非限定的な例を示す図である。

【図4】キャッシュ置換ポリシーが、キャッシュ要求のカテゴリにキャッシュのアソシアティビティの一部を割り当てるように修正される実施形態の非限定的な例を示す図である。

【図5】キャッシュ要求のカテゴリにキャッシュのアソシアティビティの一部を割り当てる例示的な実施形態における手順を示す図である。

【図6】キャッシュのアソシアティビティを分割し、キャッシュ要求の異なるカテゴリにキャッシュのアソシアティビティの一部を割り当てる例示的な実施形態における手順を示す図である。

【発明を実施するための形態】

【0005】

（概要）
キャッシュのアソシアティビティは、キャッシュミスに応じて、データがロードされることが許可されるキャッシュのキャッシュラインのセットを定義する。「フルアソシアティブ（fully associative）」であるキャッシュは、例えば、データがキャッシュの任意のキャッシュラインにロードされることを許可する。しかしながら、フルアソシアティブキャッシュは、キャッシュへの大量の要求を伴う特定のワークロードによって支配される可能性があり、他のワークロードがキャッシュを利用することを困難にする。

【0006】

この問題を解決するために、キャッシュアソシアティビティ割り当てが本明細書で説明される。説明される技術は、キャッシュ要求の第１のカテゴリにアソシアティビティの第１の部分を割り当て、キャッシュ要求の第２のカテゴリにアソシアティビティの第２の部分を割り当てること等によって、キャッシュ要求の異なるカテゴリにキャッシュのアソシアティビティの一部を割り当てる。異なるカテゴリは、例えば、キャッシュクライアントによって実行される異なるワークロード又はスレッドに対応する。例えば、第１のカテゴリは、第１のワークロードに対応する要求に関連付けられ、第２のカテゴリは、第２のワークロードに対応する要求に関連付けられる。キャッシュのアソシアティビティの一部は、特定のカテゴリのためにキャッシュのキャッシュラインのサブセットを予約することによってキャッシュ要求の特定のカテゴリに割り当てられ、その結果、カテゴリのキャッシュ要求に関連付けられたデータが、例えば、キャッシュミスに応じて、予約されたキャッシュラインのサブセットにロードされる。

【0007】

１つ以上の実施形態では、キャッシュミスに応じて、キャッシュにデータをロードすることを制御するキャッシュ置換ポリシーは、キャッシュのキャッシュラインに対応するリーフノードを有するバイナリツリーを含み、キャッシュミスに応じてエビクトするキャッシュラインを選択するためにバイナリツリーをトラバースするために利用される擬似最長時間未使用アルゴリズムも含む。カテゴリにキャッシュのアソシアティビティの一部を割り当てるために、この実施形態では、擬似最長時間未使用アルゴリズムは、要求の第１のカテゴリについては第１の方向（例えば、左）に、要求の第２のカテゴリについては第２の方向（例えば、右）にバイナリツリーのノードのトラバーサル方向インジケータを「ロック」するか、又は、他の方法で設定することによって修正される。このように、キャッシュ要求の第１のカテゴリは、バイナリツリーのロックされたノードの左に向けられたリーフノードに対応するキャッシュラインにデータをロードすることに限定され、キャッシュ要求の第２のカテゴリは、バイナリツリーのロックされたノードの右に向けられたリーフノードに対応するキャッシュラインにデータをロードすることに限定される。

【0008】

キャッシュ要求の異なるカテゴリにキャッシュのアソシアティビティの一部を割り当てることによって、説明される技術は、データに関連付けられた要求のカテゴリ、例えば、要求が対応するワークロードに基づいて、何れのキャッシュラインデータがロードされることを許可されるかを制限する。カテゴリに基づいて、データがロードされることを許可されるキャッシュラインを更に制限することによって、説明される技術は、キャッシュ要求の特定のカテゴリが、キャッシュの全てのキャッシュラインの使用を支配することを防止し、そうでなければ、キャッシュの使用は、従来のキャッシュ置換ポリシーによって許可される。

【0009】

いくつかの態様では、本明細書で説明する技術は、キャッシュ要求のカテゴリにキャッシュのアソシアティビティの一部であって、キャッシュのキャッシュラインのサブセットに対応する、アソシアティビティの一部を割り当てることと、キャッシュにアクセスする要求を受信することと、要求に関連付けられたカテゴリに基づいて、要求にキャッシュラインのサブセットのキャッシュラインを割り当て、キャッシュラインのサブセットのキャッシュラインに、要求に対応するデータをロードすることと、を含む、方法に関する。

【0010】

いくつかの態様では、本明細書で説明される技術は、アソシアティビティの一部を割り当てることが、ツリー構造の少なくとも１つのノードのトラバーサルをある方向にロックすることを含み、ツリー構造が、要求に何れのキャッシュラインを割り当てるかを識別するためにトラバースされ、トラバーサルが、カテゴリに関連付けられた要求に対して、上記方向にロックされる、方法に関する。

【0011】

いくつかの態様では、本明細書で説明する技術は、キャッシュ要求の追加カテゴリにキャッシュのアソシアティビティの追加部分を割り当てることを更に含み、アソシアティビティの追加部分が、追加カテゴリに関連付けられた要求に対して、ツリー構造の少なくとも１つのノードのトラバーサルを異なる方向にロックすることによって割り当てられる、方法に関する。

【0012】

いくつかの態様では、本明細書で説明する技術は、ツリー構造が、要求に何れのキャッシュラインを割り当てるかを識別するために、擬似最長時間未使用アルゴリズムに従ってトラバースされるバイナリツリーである、方法に関する。

【0013】

いくつかの態様では、本明細書で説明する技術は、キャッシュラインのサブセットのキャッシュラインを割り当て、ツリー構造をトラバースすることによって、要求に対応するデータをロードすることを更に含む、方法に関する。

【0014】

いくつかの態様では、本明細書で説明する技術は、キャッシュ要求の追加カテゴリにキャッシュのアソシアティビティの追加部分であって、キャッシュのキャッシュラインの追加サブセットに対応する、アソシアティビティの追加部分を割り当てることと、キャッシュにアクセスするための追加カテゴリに関連付けられた追加要求を受信することと、追加要求にキャッシュラインの追加サブセットのキャッシュラインを割り当て、追加要求に対応する追加データをキャッシュラインの追加サブセットのキャッシュラインにロードすることと、を更に含む、方法に関する。

【0015】

いくつかの態様では、本明細書で説明する技術は、カテゴリが、第１のワークロード又はスレッドに対応し、追加カテゴリが、第２のワークロード又はスレッドに対応する、方法に関する。

【0016】

いくつかの態様では、本明細書で説明する技術は、要求に関連付けられたカテゴリが、キャッシュ要求のカテゴリに対応すると決定することを更に含む、方法に関する。

【0017】

いくつかの態様では、本明細書で説明する技術は、キャッシュ要求のカテゴリが、キャッシュ要求のワークロード若しくはスレッド、キャッシュ要求の発信元、キャッシュ要求の宛先、又は、キャッシュ要求の特性のうち少なくとも１つに関連付けられている、方法に関する。

【0018】

いくつかの態様では、本明細書で説明される技術は、キャッシュ要求のカテゴリにキャッシュのアソシアティビティの一部を割り当てることが、トリガイベントに応じて発生し、トリガイベントが、アプリケーションを起動すること、ワークロード若しくはスレッドを初期化すること、又は、キャッシュの使用量が閾値使用量を超えると決定することのうち何れかを含む、方法に関する。

【0019】

いくつかの態様では、本明細書で説明する技術は、要求に対応するデータがデータストアから取得される、方法に関する。

【0020】

いくつかの態様では、本明細書で説明する技術は、データストアが仮想メモリを含む、方法に関する。

【0021】

いくつかの態様では、本明細書で説明する技術は、システムであって、キャッシュラインに分割されたキャッシュと、コントローラであって、キャッシュ要求のカテゴリにキャッシュのアソシアティビティの一部であって、キャッシュラインのサブセットに対応する、アソシアティビティの一部を割り当て、要求のカテゴリに基づいて、キャッシュラインのサブセットのキャッシュラインを要求に割り当て、キャッシュラインのサブセットのキャッシュラインに、要求に対応するデータをロードするためのコントローラと、を含む、システムに関する。

【0022】

いくつかの態様では、本明細書で説明される技術は、コントローラが、ツリー構造の少なくとも１つのノードのトラバーサルをある方向にロックすることによって、キャッシュのアソシアティビティの一部を割り当て、ツリー構造が、要求に何れのキャッシュラインを割り当てるかを識別するためにトラバースされ、トラバーサルが、カテゴリに関連付けられた要求に対して、上記方向にロックされる、システムに関する。

【0023】

いくつかの態様では、本明細書で説明する技術は、コントローラが、キャッシュ要求の追加カテゴリにキャッシュのアソシアティビティの追加部分を割り当てるように更に構成されており、アソシアティビティの追加部分が、追加カテゴリに関連付けられた要求に対して、ツリー構造の少なくとも１つのノードのトラバーサルを異なる方向にロックすることによって割り当てられる、システムに関する。

【0024】

いくつかの態様では、本明細書で説明する技術は、ツリー構造が、要求に何れのキャッシュラインを割り当てるかを識別するために、擬似最長時間未使用アルゴリズムに従ってトラバースされるバイナリツリーである、システムに関する。

【0025】

いくつかの態様では、本明細書で説明する技術は、キャッシュが外部メモリに接続される、システムに関する。

【0026】

いくつかの態様では、本明細書で説明する技術は、サーバ、パーソナルコンピュータ又はモバイルデバイスを含む、システムに関する。

【0027】

いくつかの態様では、本明細書で説明する技術は、キャッシュのアソシアティビティを少なくとも第１の部分及び第２の部分に分割することと、キャッシュ要求の第１のカテゴリにキャッシュのアソシアティビティの第１の部分を割り当てることであって、割り当てることにより、キャッシュ要求の第１のカテゴリが、キャッシュミスに応じて、キャッシュのアソシアティビティの第１の部分を使用してデータをロードすることに制限される、ことと、キャッシュ要求の第２のカテゴリにキャッシュのアソシアティビティの第２の部分を割り当てることであって、割り当てることにより、キャッシュ要求の第２のカテゴリが、キャッシュミスに応じて、キャッシュのアソシアティビティの第２の部分を使用してデータをロードすることに制限される、ことと、を含む、方法に関する。

【0028】

いくつかの態様では、本明細書で説明する技術は、キャッシュ要求の第１のカテゴリにキャッシュのアソシアティビティの第１の部分を割り当てることは、キャッシュ要求の第１のカテゴリがキャッシュのアソシアティビティの第１の部分及びアソシアティビティの第２の部分の両方にアクセスすることを許可するが、キャッシュ要求の第１のカテゴリが、キャッシュミスに応じて、キャッシュのアソシアティビティの第２の部分を使用してデータをロードすることを防止し、キャッシュ要求の第２のカテゴリにキャッシュのアソシアティビティの第２の部分を割り当てることは、キャッシュ要求の第２のカテゴリがキャッシュのアソシアティビティの第１の部分及びアソシアティビティの第２の部分の両方にアクセスすることを許可するが、キャッシュ要求の第２のカテゴリが、キャッシュミスに応じて、アソシアティビティの第１の部分キャッシュを使用してデータをロードすることを防止する、方法に関する。

【0029】

図１は、いくつかの実施形態による、キャッシュ及びアソシアティビティアロケータを有するコントローラを有する非限定的な例示的なシステム１００のブロック図である。特に、システムは、キャッシュ１０２、キャッシュクライアント１０４、データストア１０６、及び、コントローラ１０８を含み、コントローラ１０８は、アソシアティビティアロケータ１１０及びキャッシュ置換ポリシー１１２を含む。説明される技術によれば、キャッシュ１０２、キャッシュクライアント１０４及びデータストア１０６は、有線又は無線接続を介して互いに結合される。例示的な有線接続は、キャッシュ１０２、キャッシュクライアント１０４及びデータストア１０６のうち２つ以上を接続するバスを含むが、これらに限定されない。システム１００の例は、限定ではなく例として、パーソナルコンピュータ、ラップトップ、デスクトップ、サーバ、ゲームコンソール、セットトップボックス、タブレット、スマートフォン、モバイルデバイス、及び、他のコンピューティングデバイスを含む。

【0030】

キャッシュ１０２は、データに対する将来の要求がデータストア１０６からよりもキャッシュ１０２から速く供給されるように、データを（例えば、少なくとも一時的に）記憶するハードウェア又はソフトウェア構成要素である。１つ以上の実施形態では、キャッシュ１０２は、データストア１０６よりも小さいこと、データストア１０６よりもキャッシュクライアント１０４にデータを供給するのが速いこと、又は、データストア１０６よりもキャッシュクライアント１０４にデータを供給するのが効率的であることうち少なくとも１つである。追加的又は代替的に、キャッシュ１０２は、データストア１０６よりもキャッシュクライアント１０４の近くに位置する。様々な実施形態では、キャッシュ１０２は、キャッシュ１０２からキャッシュクライアント１０４に少なくともいくつかのデータを供給することを、データストア１０６からそのようなデータを供給することよりも有利にする追加又は異なる特性を有することを理解されたい。

【0031】

１つ以上の実施形態では、キャッシュ１０２は、特定のレベルのキャッシュ（例えば、Ｌ１キャッシュ）等のメモリキャッシュであり、特定のレベルは、複数のキャッシュレベル（例えば、Ｌ０、Ｌ１、Ｌ２、Ｌ３、Ｌ４）の階層に含まれる。いくつかの変形例では、キャッシュ１０２は、キャッシュクライアント１０４に組み込まれ、それによって使用されるハードウェア構成要素である。他の例では、キャッシュ１０２は、キャッシュクライアント１０４がウェブブラウザ又はウェブサーバである少なくとも１つのシナリオ等において、少なくとも部分的にソフトウェアで実装される。また、キャッシュ１０２は、説明される技術の趣旨又は範囲から逸脱することなく、異なる方式で実装可能である。

【0032】

キャッシュクライアント１０４は、そのようなデータに関連する１つ以上の動作を実行するためにデータへのアクセスを要求する構成要素である。キャッシュクライアント１０４の例は、いくつか例を挙げると、中央処理装置、並列加速プロセッサ（例えば、グラフィックス処理ユニット）、デジタル信号プロセッサ、ハードウェアアクセラレータ、オペレーティングシステム、ウェブブラウザ、ウェブサーバ、アプリケーション、及び、下位レベルキャッシュ（例えば、キャッシュ１０２よりも下位レベルのキャッシュ階層）を含むが、これらに限定されない。

【0033】

様々な実施形態において、キャッシュクライアント１０４は、データへのアクセスの要求１１４を提供する。例として、要求１１４は、データへの書き込みアクセスの要求又はデータへの読み出しアクセスの要求である。説明される技術によれば、要求１１４は、キャッシュにアクセスしてキャッシュ１０２内のデータを見つけようと試みるために受信される。例えば、要求１１４は、コントローラ１０８によって受信される。要求１１４に応じて、例えば、コントローラ１０８は、キャッシュ１０２を検索して、データがキャッシュ１０２に記憶されているかどうかを決定する。キャッシュ１０２を検索することによって、データがキャッシュ１０２に記憶されていることをコントローラ１０８が識別した場合、コントローラ１０８は、次いで、キャッシュ１０２内のデータへのアクセスを提供する。本明細書で説明するように、「キャッシュヒット」は、コントローラ１０８が、要求１１４によって識別されたデータがキャッシュ１０２に記憶されていることを識別することができる場合に発生する。要求１１４が書き込みアクセスのためのものである場合、キャッシュヒット時に、コントローラ１０８は、要求１１４によって識別されるキャッシュ１０２内のデータを修正（例えば、更新）する。要求１１４が読み出しアクセスのためのものである場合、キャッシュヒット時に、コントローラ１０８は、要求１１４によって識別されるキャッシュ１０２内のデータを取り出す。図示された例では、要求１１４に基づいてキャッシュ１０２から取り出されたデータは、キャッシュデータ１１６として示されている。コントローラ１０８は、キャッシュされたデータ１１６をキャッシュクライアント１０４に提供する。

【0034】

図示された例は、要求されたデータ１１８も示す。要求されたデータ１１８は、要求１１４に応じてキャッシュクライアント１０４に提供されるデータに対応する。要求１１４において識別されたデータがキャッシュ１０２から供給される場合、例えば、キャッシュヒット時に、要求されたデータ１１８は、キャッシュされたデータ１１６に対応する。しかし、１つ以上のシナリオでは、要求１１４で識別されたデータは、データストア１０６から供給される。データがキャッシュ１０２内で見つからず、データストア１０６のキャッシュ不可能な場所に記憶されているものとしてフラグ付けされているシナリオでは、例えば、要求されたデータ１１８は、データストア１０６からキャッシュクライアント１０４に提供されたデータに対応する。本明細書で説明するように、「キャッシュミス」は、コントローラ１０８が、要求１１４によって識別されたデータをキャッシュ１０２内で識別しない場合に発生する。キャッシュミスは、例えば、要求１１４によって識別されたデータが未だキャッシュ１０２にロードされていない場合、又は、要求１１４によって識別されたデータが要求１１４の前にキャッシュ１０２から追い出された場合に発生する。

【0035】

様々なシナリオでは、コントローラ１０８は、キャッシュミスに応じて、要求によって識別されたデータをデータストア１０６からキャッシュ１０２にロードする。図示された例では、データストア１０６から取り出され、キャッシュ１０２にロードされたデータは、データストアデータ１２０として示されている。キャッシュミスが決定されると、例えば、要求１１４によって要求されたデータがデータストア１０６において識別され、データストア１０６からキャッシュ１０２内の１つ以上の「場所」に、例えば、キャッシュ１０２の１つ以上のキャッシュラインにロードされる。これは、同じデータに対する将来の要求が、データストア１０６からではなくキャッシュ１０２から供給されることを可能にする。以下でより詳細に説明されるように、コントローラ１０８は、アソシアティビティアロケータ１１０又はキャッシュ置換ポリシー１１２のうち少なくとも１つに基づいて、データストア１０６からのデータ（例えば、データストアデータ１２０）をキャッシュ１０２にロードする。

【0036】

説明される技術によれば、データストア１０６は、データを記憶するコンピュータ可読記憶媒体である。データストア１０６の例は、いくつか例を挙げると、メインメモリ（例えば、ランダムアクセスメモリ）、外部メモリ、高レベルキャッシュ（例えば、キャッシュ１０２がＬ１キャッシュである場合のＬ２キャッシュ）、二次記憶装置（例えば、大容量記憶デバイス）、及び、リムーバブルメディア（例えば、フラッシュドライブ、メモリカード、コンパクトディスク、及び、デジタルビデオディスク）が挙げられるが、これらに限定されない。また、データストア１０６の例は、１つ以上のメモリ管理技術に従ってコンピューティングデバイスの基礎となる二次記憶装置を活用する仮想メモリを含む。データストア１０６は、説明される技術の趣旨又は範囲から逸脱することなく、様々な方式で構成可能であることを理解されたい。

【0037】

上述したように、コントローラ１０８は、例えばキャッシュミスに応じて、データストア１０６からキャッシュ１０２にデータをロードする。説明される技術によれば、コントローラ１０８は、アソシアティビティアロケータ１１０又はキャッシュ置換ポリシー１１２のうち少なくとも１つに基づいて、そのようなデータをキャッシュ１０２にロードする。

【0038】

キャッシュ置換ポリシー１１２は、キャッシュ１０２の何れのキャッシュラインが、例えば、キャッシュミスに応じて、それらのデータを追い出し、要求１１４に対応するデータストア１０６からのデータと共にロードするかを制御する。１つ以上の実施形態では、キャッシュ置換ポリシー１１２は、基礎となるアルゴリズムに従ってキャッシュラインの置換を管理するハードウェア維持構造であるか又はそれを含む。代替的又は追加的に、キャッシュ置換ポリシー１１２は、基礎となるアルゴリズムに従ってキャッシュラインの置換を管理するコンピュータプログラムであるか又はそれを含む。例示的なキャッシュ置換ポリシーは、いくつか例を挙げると、先入れ先出し（first in first out）、後入れ先出し（last in first out）、最長時間未使用（least recently used）、時間認識最長時間未使用（time-aware least recently used）、最短時間未使用（most recently used）、擬似最長時間未使用（pseudo least recently used）、ランダム置換（random replacement）、セグメント化最長時間未使用（segmented least recently used）、最低頻度使用（least-frequently used）、最低頻度最新使用（least frequently recently used）、及び、動的持効を伴う最低頻度使用（least frequently used with dynamic aging）を含むが、これらに限定されない。キャッシュ置換ポリシー１１２が少なくとも部分的に擬似最長時間未使用アルゴリズムに従って構成される例示的な実施形態は、図３及び図４に関してより詳細に説明する。

【0039】

アソシアティビティアロケータ１１０は、データをキャッシュ１０２にロードするキャッシュ要求の異なるカテゴリに何れのキャッシュラインが利用可能であるかを制限する。特に、アソシアティビティアロケータ１１０は、キャッシュ要求の第１のカテゴリにアソシアティビティの第１の部分を割り当て、キャッシュ要求の第２のカテゴリにアソシアティビティの第２の部分を割り当てること等によって、キャッシュ要求の異なるカテゴリにキャッシュ１０２のアソシアティビティの一部を割り当てる。１つ以上の実施形態では、異なるカテゴリは、キャッシュクライアント１０４によって実行される異なるワークロード又はスレッドに対応する。例えば、第１のカテゴリは、第１のワークロードに対応する要求に関連付けられ、第２のカテゴリは、第２のワークロードに対応する要求に関連付けられる。代替的又は追加的に、カテゴリは、いくつか例を挙げると、要求の発信元又は宛先（例えば、要求は、特定のコンピューティングユニットから発信されるか、又は、ローカルスクラッチメモリに供給される）、要求特性（例えば、ロード、ストア、画像サンプル、レイトレーシング、サーフェス、バッファ、又は、シェーダリソース）、メモリ要求ポリシー又はコヒーレンシ（例えば、ストリーミング、ローカルキャッシュ、又は、グローバルコヒーレント）、及び、要求エイジ又は強制順方向進行フラグ（例えば、所定の要求ストリームが、独立した要求ストリームに起因して、ある時間量の間、アウトオブオーダキャッシュでストールされる場合、所定の要求ストリームは、順方向進行を保証するために分離可能である）を含むがこれらに限定されない、異なる態様に基づいて要求に関連付けられる。アソシアティビティアロケータ１１０は、様々な実施形態において、異なる数の要求のカテゴリにキャッシュ１０２のアソシアティビティの一部を割り当てることを理解されたい。例えば、いくつかの変形例において、アソシアティビティアロケータ１１０は、キャッシュ要求の単一のカテゴリにアソシアティビティの一部を割り当てる。別の例では、アソシアティビティアロケータ１１０は、キャッシュ要求の２つ以上のカテゴリにアソシアティビティの一部を割り当てる。

【0040】

アソシアティビティアロケータ１１０は、カテゴリに対応するデータストア１０６からのデータがサブセットのキャッシュラインにロードされるように、キャッシュ１０２のキャッシュラインのサブセットをカテゴリのために予約することによって、キャッシュ要求のカテゴリにキャッシュ１０２のアソシアティビティの一部を割り当てる。キャッシュ要求の追加カテゴリが与えられると、アソシアティビティアロケータ１１０は、追加カテゴリのためにキャッシュラインの追加サブセットを予約することによって、アソシアティビティの追加部分を追加カテゴリに割り当てる。追加カテゴリに対応するデータストア１０６からのデータは、この追加サブセットのキャッシュラインにロードされる。したがって、キャッシュ要求の複数のカテゴリについて、アソシアティビティアロケータ１１０は、キャッシュ１０２のアソシアティビティを少なくとも２つの部分に分割し、アソシアティビティの各部分は、キャッシュ１０２のキャッシュラインのそれぞれのサブセットに対応する。

【0041】

説明される技術によれば、アソシアティビティは、データストア１０６内の場所におけるデータが、例えばキャッシュミスに応じてロードされることが許可されるキャッシュ１０２のキャッシュラインのセットを定義する。１つ以上の実施形態では、例えば、キャッシュ１０２はフルアソシアティブであり、これは、キャッシュ１０２が、データストア１０６内の場所におけるデータがキャッシュ１０２の任意のキャッシュラインにロードされるのを許可することを意味する。したがって、そのような実施形態では、キャッシュラインのセットは、キャッシュ１０２の全てのキャッシュラインに対応する。

【0042】

しかし、キャッシュ要求のカテゴリにアソシアティビティの一部を割り当てることによって、アソシアティビティアロケータ１１０は、データに関連付けられた要求のカテゴリ、例えば、要求が対応するワークロードに基づいて、データストア１０６内の場所におけるデータがロードされることが許可される、定義されたキャッシュラインのセットのうち何れのキャッシュラインかを更に制限する。したがって、アソシアティビティアロケータ１１０は、データストア１０６内の場所におけるデータが、要求のカテゴリに基づいて、定義されたキャッシュラインのセットのサブセットにロードされることを許可する。カテゴリに基づいて、データストア１０６内の異なる場所にあるデータが定義されたセットの何れのキャッシュラインにロードされることを許可されるかを更に制限することによって、アソシアティビティアロケータ１１０は、キャッシュ要求の特定のカテゴリが、定義されたセットの全てのキャッシュラインの使用を支配することを防止し、そうでなければ、例えば、キャッシュ１０２のアソシアティビティを考慮して、キャッシュラインの使用が許可される。例えば、アウトオブオーダキャッシュに関連して使用される場合、アソシアティビティアロケータ１１０によって割り当てられたアソシアティビティは、要求の順方向進行を改善するが、いくつかの従来技術では、要求ストリームがアウトオブオーダキャッシュを支配し、他の要求ストリームを枯渇させることができる。上記及び下記のようにキャッシュのアソシアティビティを割り当てることは、チューニング動作及びデバッギング動作に関連付けられた決定論的挙動のためのマルチスレッドのキャッシュインパクトを分離する。

【0043】

１つ以上の実施形態では、アソシアティビティアロケータ１１０は、要求１１４によって識別されたデータがキャッシュ１０２に記憶されているかどうかを決定するために、例えば、キャッシュミス又はキャッシュヒットを検出するために、コントローラ１０８が要求１１４に基づいて何れのキャッシュラインを検索するかを制限しない。むしろ、アソシアティビティアロケータ１１０は、キャッシュ置換ポリシー１１２を使用して、キャッシュミスに関連してコントローラ１０８が何れのキャッシュラインからデータを追い出し、何れのキャッシュラインにデータをロードすることを許可されるかを制限する。例えば、コントローラ１０８は、要求１１４に関連付けられたカテゴリを決定する。カテゴリに割り当てられたアソシアティビティの一部により、アソシアティビティアロケータ１１０は、何れのキャッシュラインが要求１１４に対応するデータへの割り当てに利用可能であるかを制限する。キャッシュ要求のカテゴリにキャッシュのアソシアティビティの一部を割り当てることのコンテキストにおいて、図２の以下の説明を検討する。

【0044】

図２は、アソシアティビティアロケータがキャッシュ要求のカテゴリにキャッシュのアソシアティビティの一部を割り当てる非限定的な例２００を示す。例２００は、図１のキャッシュ１０２及びアソシアティビティアロケータ１１０を含む。

【0045】

この例２００では、キャッシュ１０２は、キャッシュライン２０２～２１６を含む。キャッシュ１０２は、示された例２００において８つのキャッシュラインを有するように示されているが、キャッシュ１０２は、説明された技術から逸脱することなく、様々な実施形態において異なる数のキャッシュラインを含むことを理解されたい。

【0046】

例２００は、第１の段階２１８及び第２の段階２２０におけるアソシアティビティアロケータ１１０及びキャッシュ１０２を示し、第２の段階２２０は、第１の段階２１８に対応する時間の後の時間に対応する。第１の段階２１８は、アソシアティビティアロケータ１１０がキャッシュ要求のカテゴリにキャッシュ１０２のアソシアティビティの一部を割り当てるときよりも前のキャッシュ１０２を示す。

【0047】

例２００は、第２の段階２２０におけるトリガイベント２２２を含む。トリガイベント２２２は、様々なイベントのうち少なくとも１つに対応し、アソシアティビティアロケータ１１０をトリガして、キャッシュ要求のカテゴリにキャッシュ１０２のアソシアティビティの一部を割り当てる。トリガイベント２２２の例は、いくつか例を挙げると、キャッシュクライアント１０４を介して実行するためのアプリケーション及び／又はプロセスを起動すること、（例えば、キャッシュクライアント１０４を介してワークロード又はスレッドが実行されている間に）追加ワークロード又はスレッドを初期化又は起動すること、キャッシュ要求のカテゴリに関連付けられた要求が、定義されたセットのキャッシュライン（例えば、キャッシュライン２０２～２１６）の使用を支配しており、その結果、キャッシュ要求の追加カテゴリに関連付けられた要求に関連する性能が低下する可能性が高いと決定すること、キャッシュ１０２の使用量が閾値使用量（例えば、使用頻度閾値、ストールの閾値数、時間間隔ごとのキャッシュミスの閾値数）を超えると決定すること、決定されたリアルタイム性能フィードバック（例えば、ヒット／ミス率）、又は、ハードウェアイベントへの応答（例えば、スローされた例外）が挙げられるが、これらに限定されない。トリガイベント２２２の別の例は、（例えば、アプリケーションから直接、又は、コンパイル及び／若しくはドライバからのフィードバックに基づいて）ソフトウェアによるアソシアティビティの割り当てを開始する、ソフトウェアによるトリガリングである。様々な実施形態において、例えば、ソフトウェアは、チューニング及び／又はバランシングのためにアソシアティビティの割り当てをトリガし、アソシアティビティは、単一のワークロード（又はスレッド）又は複数のワークロード（又はスレッド）のためのカテゴリのプログラムされた組み合わせに従って割り当てられる。追加の例示的なトリガイベント２２２は、無関係なワークロードの一緒の実行（例えば、独立したワークロードが他のワークロードの知識なしに単一のコンピューティングユニットを共有する場合の仮想化中等）と、コントローラ１０８によるカテゴリ（例えば、「新しい」カテゴリ）の受信を含む。様々な実施形態では、異なるトリガイベントにより、アソシアティビティアロケータ１１０が、キャッシュ要求のカテゴリにキャッシュ１０２のアソシアティビティの一部を割り当てることを理解されたい。

【0048】

トリガイベント２２２に基づいて、アソシアティビティアロケータ１１０は、部分的に、アソシアティビティを少なくとも第１の部分及び第２の部分に分割することによって、キャッシュ１０２のアソシアティビティを割り当てる。この例２００では、例えば、キャッシュ１０２は、キャッシュライン２０２～２１６のセットに対してフルアソシアティブである。これは、キャッシュ１０２が、例えばキャッシュミスに応じて、データストア１０６内の場所からのデータが第１の段階２１８においてキャッシュライン２０２～２１６のうち何れかにロードされるのを許可することを意味する。説明される技術によれば、アソシアティビティアロケータ１１０は、トリガイベント２２２に基づいて、キャッシュ１０２のアソシアティビティを、キャッシュ１０２のキャッシュライン（例えば、キャッシュライン２０２、２０４、２０６、２０８）の第１のサブセットに対応する第１の部分及びキャッシュ１０２のキャッシュライン（例えば、キャッシュライン２１０、２１２、２１４、２１６）の第２のサブセットに対応する第２の部分に分割する。

【0049】

アソシアティビティが分割されると、アソシアティビティアロケータ１１０は、アソシアティビティの第１の部分をキャッシュ要求の第１のカテゴリ２２４に割り当てる。その結果、キャッシュ１０２のアソシアティビティによって許可されるように、コントローラ１０８がキャッシュ要求の第１のカテゴリ２２４に対応するデータをキャッシュライン２０２～２１６の何れかにロードするのを許可するのではなく、アソシアティビティアロケータ１１０は、コントローラ１０８がそのようなデータをキャッシュライン２０２～２０８にロードすることを制限する。１つ以上の実施形態では、アソシアティビティアロケータ１１０は、アソシアティビティの第２の部分をキャッシュ要求の第２のカテゴリ（図示せず）に割り当てる。そのような実施形態では、アソシアティビティアロケータ１１０は、キャッシュ１０２のアソシアティビティによって許可されるように、コントローラ１０８がそのデータをキャッシュライン２１０～２１６の何れかにロードするのを許可するのではなく、コントローラ１０８がキャッシュ要求の第２のカテゴリに対応するデータをキャッシュライン２０２～２１６にロードすることを制限する。

【0050】

様々な実施形態において、アソシアティビティアロケータ１１０は、異なる方式でアソシアティビティを分割する。例えば、キャッシュ要求の２つのカテゴリ（例えば、第１のワークロード又はスレッドに対応する要求の第１のカテゴリ及び第２のワークロード又はスレッドに対応する要求の第２のカテゴリ）を伴う少なくとも１つのシナリオでは、アソシアティビティアロケータ１１０は、キャッシュ１０２のアソシアティビティを、要求の第１のカテゴリがキャッシュラインの半分にロードされるそれらのそれぞれのデータを有するように制限され、要求の第２のカテゴリがキャッシュラインの他方の半分にロードされるそれらのそれぞれのデータを有するように制限される等しい部分等の２つの部分に分割する。

【0051】

別の例では、アソシアティビティアロケータ１１０は、キャッシュ１０２のアソシアティビティを、キャッシュ要求の４つのカテゴリ、例えば、第１のワークロード又はスレッドに対応する要求の第１のカテゴリ、第２のワークロード又はスレッドに対応する要求の第２のカテゴリ、第３のワークロード又はスレッドに対応する要求の第３のカテゴリ、及び、第４のワークロード又はスレッドに対応する要求の第４のカテゴリを伴うシナリオ等において、４つの部分に分割する。少なくとも１つのそのようなシナリオでは、アソシアティビティアロケータ１１０は、各カテゴリを、そのデータをキャッシュラインのそれぞれの４分の１にロードするように制限することによって、アソシアティビティを均等に分割する。しかしながら、１つ以上のシナリオでは、アソシアティビティアロケータ１１０は、キャッシュ要求の３つのカテゴリを伴う少なくとも１つのシナリオ等のように、キャッシュ要求のカテゴリ間でアソシアティビティを均等に分割しないことを理解されたい。アソシアティビティの様々な分割が上述されたが、アソシアティビティアロケータ１１０は、説明される技術から逸脱することなく、異なる方式でキャッシュラインのセットのアソシアティビティを分割し、割り当てるように構成される。

【0052】

アソシアティビティアロケータ１１０は、カテゴリにアソシアティビティの一部を割り当てることによって、例えば、キャッシュミスに応じて、カテゴリに対応するデータを追い出し、ロードするために、キャッシュ置換ポリシー１１２が何れのキャッシュラインを選択するのを許可されるかを制限する。例えば、所定の要求について、キャッシュ置換ポリシー１１２は、要求に対応するカテゴリのために予約されたキャッシュラインのサブセット内のキャッシュラインを選択することに限定される。これに関連して、図３及び図４の以下の説明を検討する。

【0053】

図３は、キャッシュラインを選択するためのキャッシュ置換ポリシーのトラバーサルアルゴリズムに従って、キャッシュ置換ポリシーのツリー構造がトラバースされる非限定的な例３００を示す。

【0054】

図示された例３００は、ツリー構造３０２を含む。この例３００では、ツリー構造は、バイナリツリーである。しかしながら、他の例では、キャッシュ置換ポリシー１１２は、他のツリー構造を使用して実装されるか、又は、ツリー構造を使用せずに実装される。図示したように、ツリー構造３０２は、リーフノード３０４、３０６、３０８、３１０を含む。本明細書で説明するように、「リーフノード」は、子ノードを持たないバイナリツリー内のノードに対応する。リーフノード３０４、３０６、３０８、３１０は、キャッシュ１０２のキャッシュラインに対応する。例として、リーフノード３０４は、キャッシュライン２０２に対応し、リーフノード３０６は、キャッシュライン２０４に対応し、リーフノード３０８は、キャッシュライン２０６に対応し、リーフノード３１０は、キャッシュライン２０８に対応する。キャッシュ置換ポリシー１１２のトラバーサルアルゴリズムは、１つ以上のキャッシュラインが置換不可能であることに起因して、又は、アソシアティビティに対する制約に起因して等のように、リーフノード３０４～３１０に対応するキャッシュラインのうち何れかを選択することを防止されないシナリオでは、トラバーサルアルゴリズムは、単に、それぞれのルールセットに従ってツリー構造をトラバースさせて、データを追い出し、ロードするためのキャッシュラインを選択する。

【0055】

図示された例３００において、トラバーサルアルゴリズムは、複数の段階においてツリー構造３０２をトラバースし、各段階において追い出し及びロードのためのキャッシュラインを選択することが示されている。図示された段階は、第１の段階３１２、第２の段階３１４、第３の段階３１６、第４の段階３１８、第５の段階３２０、及び、第６の段階３２２を含む。特に、複数の段階３１２～３２２は、バイナリツリーをトラバースするためのトラバーサルアルゴリズムの一例である、擬似最長時間未使用アルゴリズムによるツリーのトラバーサルを示す。上述したように、様々な実施形態では、キャッシュ置換ポリシー１１２は、説明される技術の趣旨又は範囲から逸脱することなく、異なるアルゴリズムに基づいて構成される。

【0056】

擬似最長時間未使用法によれば、ツリー構造３０２の各ノードは、ノードから子ノードへのツリー構造のトラバーサルの方向を示すトラバーサル方向インジケータを含むか、又は、それに関連付けられ、例えば、インジケータは、トラバーサルがノードから左の子ノードに進むか、又は、右の子ノードに進むかを示す。トラバーサル中にノードがトラバースされる場合、方向のインジケータは、後続のトラバーサルのための他の方向を示すように切り替えられ、例えば、ノードのインジケータがトラバーサルの前に左の子ノードに進むことを示し、ノードがトラバーサル中にトラバースされる場合（例えば、インジケータによって導かれるようにノードから左の子ノードに進むことによって）、インジケータは、ノードが次にトラバースされる場合にノードから右の子ノードに進むことを示すように切り替えられ、逆もまた同様である。

【0057】

リーフノード３０４～３１０に加えて、この例３００におけるツリー構造３０２は、ノード３２４、３２６、３２８も含む。ツリー構造３０２はバイナリツリーであるので、各ノード（リーフノード以外）は２つの子ノードを有する。この例では、ノード３２４及びノード３２６は、ノード３２８の「子」ノードであり、したがって、ノード３２４及びノード３２６の「親」である。同様に、リーフノード３０４及び３０６は、ノード３２４の「子」ノードであり（したがって、リーフノード３０４及び３０６の「親」である）、リーフノード３０８及び３１０は、ノード３２６の「子」ノードである（したがって、リーフノード３０８及び３１０の親である）。

【0058】

この例では、ノード３２４、３２６、３２８の各々は、それぞれのトラバーサル方向インジケータのグラフィカル表現で示されている。第１の段階３１２において、例えば、グラフィカル表現は、ノード３２８がトラバースされる場合、ノード３２８のトラバーサル方向インジケータがアルゴリズムを左に導き、ノード３２４がトラバースされる場合、ノード３２４のトラバーサル方向インジケータがアルゴリズムを左に導き、ノード３２６がトラバースされる場合、ノード３２６のトラバーサル方向インジケータがアルゴリズムを左に導くことを示す。上述したように、擬似最長時間未使用法によれば、トラバーサル中にノードがトラバースされる場合、次いで、ノードのトラバーサル方向インジケータは、例えば、左の子ノードを右に指すことから、又は、右の子ノードを左に指すことから切り替えられる。

【0059】

擬似最長時間未使用に従ってツリー構造３０２をトラバースするために、キャッシュ置換ポリシー１１２のトラバーサルアルゴリズムは、ルートノード、すなわちノード３２８から開始する。第１の段階３１２において、ノード３２８のトラバーサル方向インジケータは、ノード３２８からその左の子ノード、すなわちノード３２４に進むようにトラバーサルアルゴリズムを導く。したがって、トラバーサルアルゴリズムは、ノード３２４をトラバースする。ノード３２４のトラバーサル方向インジケータは、トラバーサルアルゴリズムを、ノード３２４からその左の子ノード、すなわち、この例ではキャッシュライン２０２に対応するリーフノード３０４に進むように導く。ノード３２４の子ノードはリーフノードであるので、アルゴリズムはリーフノード３０４で停止し、したがって、データを追い出し、新しいデータをデータストア１０６からロードさせるために、リーフノード３０４に対応するキャッシュラインを選択する。図示された例３００では、データストアデータ３３０（「Ａ」としてグラフィカルに表される）は、したがって、キャッシュライン２０２にロードされる。データを追い出し、データストアデータ３３０をロードするためのトラバースに応じて、トラバースされたノードのトラバーサル方向インジケータが切り替えられる。ノード３２４、３２８は、データを追い出し、データストアデータ３３０をロードするためにトラバースされるので、これらのノードのトラバーサルインジケータは、アルゴリズムを左に導くことから、アルゴリズムを右に導くことに切り替えられる。ノード３２６は第１の段階３１２においてトラバースされないので、ノード３２６のトラバースインジケータは切り替えられず、アルゴリズムを左に導いたままである。

【0060】

したがって、第２の段階３１４において、それぞれのトラバーサル方向インジケータのグラフィカル表現は、ノード３２８がトラバースされる場合、ノード３２８のトラバーサル方向インジケータがアルゴリズムを右に導き、ノード３２４がトラバースされる場合、ノード３２４のトラバーサル方向インジケータがアルゴリズムを右に導き、ノード３２６がトラバースされる場合、ノード３２６のトラバーサル方向インジケータがアルゴリズムを左に導くことを示す。第２の段階３１４において、キャッシュ置換ポリシー１１２のトラバーサルアルゴリズムは、ルートノード、すなわちノード３２８においてツリー構造３０２のトラバースを開始する。第２の段階３１４において、ノード３２８のトラバーサル方向インジケータは、ノード３２８からその右の子ノード、すなわちノード３２６に進むようにトラバーサルアルゴリズムを導く。したがって、トラバーサルアルゴリズムは、ノード３２６をトラバースする。ノード３２６のトラバーサル方向インジケータは、トラバーサルアルゴリズムを、ノード３２６からその左の子ノード、すなわち、この例ではキャッシュライン２０６に対応するリーフノード３０８に進むように導く。

【0061】

ノード３２６の子ノードはリーフノードであるので、アルゴリズムはリーフノード３０８で停止し、したがって、データを追い出し、新しいデータをデータストア１０６からロードさせるために、リーフノード３０８に対応するキャッシュラインを選択する。図示された例３００では、データストアデータ３３２（「Ｂ」としてグラフィカルに表される）は、したがって、キャッシュライン２０６にロードされる。データを追い出し、データストアデータ３３２をロードするためのトラバースに応じて、トラバースされたノードのトラバーサル方向インジケータが切り替えられる。ノード３２６、３２８は、データを追い出し、データストアデータ３３２をロードするためにトラバースされるので、これらのノードのトラバーサル方向インジケータが切り替えられる。具体的には、ノード３２８のトラバーサル方向インジケータは、アルゴリズムを右に導くことからアルゴリズムを左に導くことに切り替えられ、ノード３２６のトラバーサル方向インジケータは、アルゴリズムを左に導くことからアルゴリズムを右に導くことに切り替えられる。ノード３２４は第２の段階３１４においてトラバースされないので、ノード３２４のトラバースインジケータは切り替えられず、アルゴリズムを右に導いたままである。

【0062】

したがって、第３の段階３１６において、グラフィカル表現は、ノード３２８がトラバースされる場合、ノード３２８のトラバーサル方向インジケータがアルゴリズムを左に導き、ノード３２４がトラバースされる場合、ノード３２４のトラバーサル方向インジケータがアルゴリズムを右に導き、ノード３２６がトラバースされる場合、ノード３２６のトラバーサル方向インジケータがアルゴリズムを右に導くことを示す。第３の段階３１６において、キャッシュ置換ポリシー１１２のトラバーサルアルゴリズムは、ルートノード、すなわちノード３２８においてツリー構造３０２のトラバースを開始する。第３の段階３１６において、ノード３２８のトラバーサル方向インジケータは、ノード３２８からその左の子ノード、すなわちノード３２４に進むようにトラバーサルアルゴリズムを導く。したがって、トラバーサルアルゴリズムは、ノード３２４をトラバースする。ノード３２４のトラバーサル方向インジケータは、トラバーサルアルゴリズムを、ノード３２４からその右の子ノード、すなわち、この例ではキャッシュライン２０４に対応するリーフノード３０６に進むように導く。

【0063】

ノード３２４の子ノードはリーフノードであるので、アルゴリズムはリーフノード３０６で停止し、したがって、データを追い出し、新しいデータをデータストア１０６からロードさせるために、リーフノード３０６に対応するキャッシュラインを選択する。図示された例３００では、データストアデータ３３４（「Ｃ」としてグラフィカルに表される）は、したがって、キャッシュライン２０４にロードされる。データを追い出し、データストアデータ３３４をロードするためのトラバースに応じて、トラバースされたノードのトラバーサル方向インジケータが切り替えられる。ノード３２４、３２８は、データを追い出し、データストアデータ３３４をロードするためにトラバースされるので、これらのノードのトラバーサル方向インジケータが切り替えられる。具体的には、ノード３２８のトラバーサル方向インジケータは、アルゴリズムを左に導くことからアルゴリズムを右に導くことに切り替えられ、ノード３２４のトラバーサル方向インジケータは、アルゴリズムを右に導くことからアルゴリズムを左に導くことに切り替えられる。ノード３２６は第３の段階３１６においてトラバースされないので、ノード３２６のトラバースインジケータは切り替えられず、アルゴリズムを右に導いたままである。

【0064】

キャッシュ置換ポリシー１１２のトラバーサルアルゴリズムは、トラバーサル方向インジケータに従ってキャッシュ置換ポリシー１１２のツリー構造３０２をトラバースし続け、それぞれ、第４、第５、第６の段階３１８、３２０、３２２にわたってトラバースされるノードのインジケータを切り替え続ける。そのようなトラバースに関連して、キャッシュ置換ポリシー１１２は、データの追い出し、並びに、データストアデータ３３６（図では「Ｄ」として表される）及びデータストアデータ３３８（図では「Ｅ」として表される）の、図示されたリーフノードに対応するキャッシュラインへのロードを更に導く。キャッシュ置換ポリシー１１２をキャッシュ要求の異なるカテゴリに割り当てるためにキャッシュ置換ポリシーを修正するコンテキストにおいて、以下の説明を検討する。

【0065】

図４は、キャッシュ置換ポリシーが、キャッシュ要求のカテゴリにキャッシュのアソシアティビティの一部を割り当てるように修正される実施形態の非限定的な例４００を示す。図示された例４００では、アソシアティビティアロケータ１１０は、キャッシュ置換ポリシー１１２のトラバーサルアルゴリズムを部分的に修正して、キャッシュ要求の２つのカテゴリにキャッシュ１０２のアソシアティビティの一部を割り当てる。

【0066】

図示された例４００は、ツリー構造４０２を含む。この例では、ツリー構造は、バイナリツリーであるが、キャッシュ置換ポリシーは、様々な実施形態において他のツリー構造を使用して実装されるか、又は、ツリー構造を使用せずに実装される。図示されたように、ツリー構造は、リーフノード４０４、４０６、４０８、４１０、及び、ノード４１２、４１４、４１６を含む。リーフノード４０４～４１０は、キャッシュ１０２のキャッシュラインに対応する。例として、リーフノード４０４は、キャッシュライン２０２に対応し、リーフノード４０６は、キャッシュライン２０４に対応し、リーフノード４０８は、キャッシュライン２０６に対応し、リーフノード４１０は、キャッシュライン２０８に対応する。リーフノード４０４～４１０は、ノード４１２及びノード４１４の「子」ノードである。更に、ノード４１２及びノード４１４は、ノード４１６の「子」ノードであり、したがって、ノード４１２及びノード４１４の「親」である。

【0067】

例４００において、アソシアティビティアロケータ１１０は、ツリー構造４０２の特定のノードにおいて、ツリー構造４０２をトラバースするために使用されるトラバーサルアルゴリズムを修正することによって、キャッシュ１０２のアソシアティビティをキャッシュ要求のカテゴリに割り当てる。この例では、アソシアティビティアロケータ１１０は、ノード４１６におけるトラバーサルアルゴリズムを修正するが、ツリー構造４０２の他のノードにおけるトラバーサルアルゴリズムを修正しない。ただし、変形例では、アソシアティビティアロケータ１１０は、説明される技術の趣旨又は範囲から逸脱することなく、アソシアティビティを割り当てるために、２つ以上のノードにおいてトラバーサルアルゴリズムを修正するか、又は、異なる方式でトラバーサルアルゴリズムを修正する。例えば、いくつかの変形例において、アソシアティビティアロケータ１１０は、ツリー構造の同じレベルにわたる複数のノードにおいてトラバーサルアルゴリズムを修正する。

【0068】

この例４００では、キャッシュ置換ポリシー１１２のトラバーサルアルゴリズムは、擬似最長時間未使用であり、その詳細は、図３に関連して上記でより詳細に説明される。アソシアティビティアロケータ１１０は、キャッシュ１０２のアソシアティビティの第１の部分を（例えば、第１のワークロード又はスレッドに対応する）要求の第１のカテゴリに割り当て、キャッシュ１０２のアソシアティビティの第２の部分を（例えば、第２のワークロード又はスレッドに対応する）要求の第２のカテゴリに割り当てる。カテゴリにアソシアティビティの一部を割り当てるために、この例４００では、アソシアティビティアロケータ１１０は、ノード４１６のトラバーサル方向インジケータを、要求の第１のカテゴリに対する第１の方向（例えば、左）及び要求の第２のカテゴリに対する第２の方向（例えば、右）に「ロック」するか又は他の方法で設定することによって、トラバーサルアルゴリズムを修正する。

【0069】

ノード４１６のトラバーサル方向インジケータを要求の第１及び第２のカテゴリに対して異なる方向にロックすることによって、アソシアティビティアロケータ１１０は、キャッシュ置換ポリシー１１２のトラバーサルアルゴリズムを、それぞれ、リーフノード４０４、４０６に対応する第１のカテゴリのキャッシュライン２０２、２０４を選択するように制限する。アソシアティビティアロケータ１１０は、トラバーサルアルゴリズムを、それぞれ、リーフノード４０８、４１０に対応する第２のカテゴリのキャッシュライン２０６、２０８を選択することに更に制限する。このようにして、アソシアティビティアロケータは、アソシアティビティの半分（キャッシュライン２０２及び２０４に対応する）を第１のカテゴリのキャッシュ要求に予約し、アソシアティビティの残りの半分（キャッシュライン２０６及び２０８に対応する）を第２のカテゴリのキャッシュ要求に予約する。

【0070】

これを示すために、例４００は、第１の一連の段階４１８、４２０、４２２を含み、ノード４１６のトラバーサル方向インジケータは、第１のカテゴリに対応する要求に対して左を指してロックされている。また、例４００は、第２の一連の段階４２４、４２６、４２８を含み、ノード４１６のトラバーサル方向インジケータは、第２のカテゴリに対応する要求に対して右を指してロックされている。

【0071】

この例４００では、データストアデータ４３０（「Ａ」としてグラフィカルに表される）及びデータストアデータ４３２（「Ｂ」としてグラフィカルに表される）は、キャッシュ要求の第１のカテゴリに対応する。例えば、データストアデータ４３０は、キャッシュミスをもたらしたキャッシュ１０２にアクセスする要求に対応し、要求は、第１のワークロード又はスレッド等の第１のカテゴリに関連付けられる。更に、データストアデータ４３２は、キャッシュミスをもたらしたキャッシュ１０２にアクセスするための追加要求に対応し、追加要求も、第１のワークロード又はスレッド等の第１のカテゴリに関連付けられる。

【0072】

第１のシリーズの第１の段階４１８において、キャッシュ置換ポリシー１１２は、ルートノード、すなわちノード４１６においてツリー構造４０２のトラバースを開始する。アソシアティビティアロケータ１１０は、第１のカテゴリに対してそのトラバーサル方向インジケータを左にロックすることによって、ノード４１６におけるトラバーサルアルゴリズムを修正しているので、トラバーサルアルゴリズムは、ノード４１６からその左の子ノード、すなわちノード４１２に進む。したがって、トラバーサルアルゴリズムは、ノード４１２をトラバースする。ノード４１２はロックされていないので、ノード４１２は、この例で使用される擬似最長時間未使用による未修正のトラバーサルアルゴリズムに従ってトラバースされる。ノード４１２のトラバーサル方向インジケータは、トラバーサルアルゴリズムを、ノード４１２からその左の子ノード、すなわち、この例ではキャッシュライン２０２に対応するリーフノード４０４に進むように導く。ノード４１２の子ノードはリーフノードであるので、アルゴリズムはリーフノード４０４で停止し、したがって、データを追い出し、新しいデータをデータストア１０６からロードさせるために、リーフノード４０４に対応するキャッシュラインを選択する。

【0073】

図示された例４００では、データストアデータ４３０は、したがって、キャッシュライン２０２にロードされる。データを追い出し、データストアデータ４３０をロードするためのトラバースに応じて、トラバースされたノードのトラバーサル方向インジケータは、擬似最長時間未使用に従って切り替えられる。ノード４１２は、データを追い出し、データストアデータ４３０をロードするためにトラバースされるので、ノード４１２のトラバースインジケータは、アルゴリズムを左に導くことからアルゴリズムを右に導くことに切り替えられる。ノード４１６はアソシアティビティアロケータ１１０によってロックされているので、ノード４１６のトラバーサル方向インジケータは切り替えられず、第１のカテゴリの要求に関連するトラバーサルを左に導いたままである。

【0074】

第１のシリーズの第２の段階４２０において、キャッシュ置換ポリシー１１２は、ルートノード、すなわちノード４１６においてツリー構造４０２のトラバースを開始する。ノード４１６のトラバーサル方向インジケータは左にロックされているので、トラバーサルアルゴリズムは、ノード４１６からその左の子ノード、すなわちノード４１２に進む。したがって、トラバーサルアルゴリズムは、ノード４１２をトラバースする。上述したように、ノード４１２はロックされず、そのトラバーサル方向インジケータは、後続のトラバースにおいてアルゴリズムを右に導くために、第１の段階４１８におけるトラバースによって切り替えられる。その結果、第２の段階４２０において、ノード４１２のトラバーサル方向インジケータは、ノード４１２からその右の子ノード、すなわち、この例ではキャッシュライン２０４に対応するリーフノード４０６に進むようにトラバーサルアルゴリズムに導く。ノード４１２のこの子ノードはリーフノードであるので、アルゴリズムはリーフノード４０６で停止し、したがって、データを追い出し、新しいデータをデータストア１０６からロードさせるために、リーフノード４０６に対応するキャッシュラインを選択する。

【0075】

図示された例４００では、データストアデータ４３２は、したがって、キャッシュライン２０４にロードされる。データを追い出し、データストアデータ４３２をロードするためのトラバースに応じて、トラバースされたノードのトラバーサル方向インジケータは、擬似最長時間未使用に従って切り替えられる。ノード４１２は、データを追い出し、データストアデータ４３２をロードするためにトラバースされるので、ノード４１２のトラバースインジケータは、第１のシリーズの第３の段階４２２に示されるように、アルゴリズムを右に導くことからアルゴリズムを左に導くことに切り替えられる。ノード４１６はアソシアティビティアロケータ１１０によってロックされているので、ノード４１６のトラバーサル方向インジケータは切り替えられず、第１のカテゴリの要求に関連するトラバーサルを左に導いたままである。

【0076】

対照的に、データストアデータ４３４（「Ｃ」としてグラフィカルに表される）及びデータストアデータ４３６（「Ｄ」としてグラフィカルに表される）は、キャッシュ要求の第２のカテゴリに対応する。例えば、データストアデータ４３４は、キャッシュミスをもたらしたキャッシュ１０２にアクセスする要求に対応し、要求は、第２のワークロード又はスレッド等の第２のカテゴリに関連付けられる。更に、データストアデータ４３６は、キャッシュミスをもたらしたキャッシュ１０２にアクセスするための追加要求に対応し、追加要求は、第２のワークロード又はスレッド等の第２のカテゴリに関連付けられる。

【0077】

第２のシリーズの第１の段階４２４において、キャッシュ置換ポリシー１１２は、ルートノード、すなわちノード４１６においてツリー構造４０２のトラバースを開始する。アソシアティビティアロケータ１１０は、第２のカテゴリに対してそのトラバーサル方向インジケータを右にロックすることによって、ノード４１６におけるトラバーサルアルゴリズムを修正しているので、トラバーサルアルゴリズムは、ノード４１６からその右の子ノード、すなわちノード４１４に進む。したがって、トラバーサルアルゴリズムは、ノード４１４をトラバースする。ノード４１４はロックされていないので、ノード４１４は、この例で使用される擬似最長時間未使用による未修正のトラバーサルアルゴリズムに従ってトラバースされる。ノード４１４のトラバーサル方向インジケータは、トラバーサルアルゴリズムを、ノード４１４からその左の子ノード、すなわち、この例ではキャッシュライン２０６に対応するリーフノード４０８に進むように導く。ノード４１４の子ノードはリーフノードであるので、アルゴリズムはリーフノード４０８で停止し、したがって、データを追い出し、新しいデータをデータストア１０６からロードさせるために、リーフノード４０８に対応するキャッシュラインを選択する。

【0078】

図示された例４００では、データストアデータ４３４は、したがって、キャッシュライン２０６にロードされる。データを追い出し、データストアデータ４３４をロードするためのトラバースに応じて、トラバースされたノードのトラバーサル方向インジケータは、擬似最長時間未使用に従って切り替えられる。ノード４１４は、データを追い出し、データストアデータ４３４をロードするためにトラバースされるので、ノード４１４のトラバースインジケータは、アルゴリズムを左に導くことからアルゴリズムを右に導くことに切り替えられる。ノード４１６はアソシアティビティアロケータ１１０によってロックされているので、ノード４１６のトラバーサル方向インジケータは切り替えられず、第２のカテゴリの要求に関連するトラバーサルを右に導いたままである。

【0079】

第２のシリーズの第２の段階４２６において、キャッシュ置換ポリシー１１２は、ルートノード、すなわちノード４１６においてツリー構造４０２のトラバースを開始する。ノード４１６のトラバーサル方向インジケータは、第２のカテゴリに対して右にロックされているので、トラバーサルアルゴリズムは、ノード４１６からその右の子ノード、すなわちノード４１４に進む。したがって、トラバーサルアルゴリズムは、ノード４１４をトラバースする。上述したように、ノード４１４はロックされず、そのトラバーサル方向インジケータは、後続のトラバースにおいてアルゴリズムを右に導くために、第１の段階４２４におけるトラバースによって切り替えられる。その結果、第２の段階４２６において、ノード４１４のトラバーサル方向インジケータは、ノード４１４からその右の子ノード、すなわち、この例ではキャッシュライン２０８に対応するリーフノード４１０に進むようにトラバーサルアルゴリズムに導く。ノード４１４のこの子ノードはリーフノードであるので、アルゴリズムはリーフノード４１０で停止し、したがって、データを追い出し、新しいデータをデータストア１０６からロードさせるために、リーフノード４１０に対応するキャッシュラインを選択する。

【0080】

図示された例４００では、データストアデータ４３６は、したがって、キャッシュライン２０８にロードされる。データを追い出し、データストアデータ４３６をロードするためのトラバースに応じて、トラバースされたノードのトラバーサル方向インジケータは、擬似最長時間未使用に従って切り替えられる。ノード４１４は、データを追い出し、データストアデータ４３６をロードするためにトラバースされるので、ノード４１４のトラバースインジケータは、第２のシリーズの第３の段階４２８に示されるように、アルゴリズムを右に導くことからアルゴリズムを左に導くことに切り替えられる。ノード４１６はアソシアティビティアロケータ１１０によってロックされているので、ノード４１６のトラバーサル方向インジケータは切り替えられず、第１のカテゴリの要求に関連するトラバーサルを左に導いたままである。

【0081】

図５は、キャッシュ要求のカテゴリにキャッシュのアソシアティビティの一部を割り当てる例示的な実施形態における手順５００を示す。

【0082】

キャッシュのアソシアティビティの一部は、キャッシュ要求のカテゴリに割り当てられる（ブロック５０２）。本明細書で説明される原理によれば、アソシアティビティの一部は、キャッシュのキャッシュラインのサブセットに対応する。例として、アソシアティビティアロケータ１１０は、カテゴリに対応するデータストア１０６からのデータがサブセットのキャッシュラインにロードされるように、キャッシュ１０２のキャッシュラインのサブセットをカテゴリのために予約することによって、キャッシュ要求のカテゴリにキャッシュ１０２のアソシアティビティの一部を割り当てる。例として、アソシアティビティアロケータ１１０は、キャッシュ１０２のアソシアティビティの第１の部分をキャッシュ要求の第１のカテゴリ２２４に割り当てる。キャッシュ１０２のアソシアティビティの第１の部分は、例えば、キャッシュライン２０２～２０８に対応する。キャッシュ１０２のアソシアティビティの第１の部分を第１のカテゴリ２２４に割り当てることによって、アソシアティビティアロケータ１１０は、コントローラ１０８が、第１のカテゴリ２２４による後続のキャッシュ要求に関連付けられたデータをキャッシュライン２０２～２０８にロードすることを制限する。

【0083】

キャッシュにアクセスする要求が受信され（ブロック５０４）、要求がカテゴリに関連付けられていることが決定される（ブロック５０６）。例として、コントローラ１０８は、キャッシュ１０２にアクセスする要求１１４を受信し、コントローラ１０８は、要求１１４に関連付けられたカテゴリを決定する。例えば、コントローラ１０８は、要求１１４が第１のカテゴリ２２４に関連付けられていると決定する。

【0084】

キャッシュラインのサブセットのキャッシュラインが要求に割り当てられ、要求に対応するデータが、キャッシュラインのサブセットのキャッシュラインにロードされる（ブロック５０８）。例として、要求１１４がキャッシュ要求の第１のカテゴリ２２４に関連付けられているとコントローラ１０８が決定した場合、次いで、要求１１４に対応するデータストアデータ１２０は、アソシアティビティアロケータによってキャッシュ要求の第１のカテゴリ２２４に割り当てられているキャッシュ１０２のキャッシュライン２０２～２０８のうち何れかにロードされる。

【0085】

図６は、キャッシュのアソシアティビティを分割し、キャッシュ要求の異なるカテゴリにキャッシュのアソシアティビティの一部を割り当てる例示的な実施形態における手順６００を示す。

【0086】

キャッシュのアソシアティビティは、少なくとも第１の部分及び第２の部分に分割される（ブロック６０２）。例として、アソシアティビティアロケータ１１０は、キャッシュ１０２のアソシアティビティを、キャッシュ１０２のキャッシュライン（例えば、キャッシュライン２０２、２０４、２０６、２０８）の第１のサブセットに対応する第１の部分及びキャッシュ１０２のキャッシュライン（例えば、キャッシュライン２１０、２１２、２１４、２１６）の第２のサブセットに対応する第２の部分に分割する。

【0087】

キャッシュのアソシアティビティの第１の部分は、キャッシュ要求の第１のカテゴリに割り当てられる（ブロック６０４）。ここで説明される原理によれば、割り当てることは、キャッシュ要求の第１のカテゴリを、キャッシュミスに応じて、キャッシュのアソシアティビティの第１の部分を使用してデータをロードすることに制限する。例として、アソシアティビティが分割されると、アソシアティビティアロケータ１１０は、キャッシュ１０２のアソシアティビティの第１の部分をキャッシュ要求の第１のカテゴリ２２４に割り当てる。その結果、キャッシュ１０２のアソシアティビティによって許可されるように、コントローラ１０８がキャッシュ要求の第１のカテゴリ２２４に対応するデータをキャッシュライン２０２～２１６の何れかにロードすることを許可するのではなく、アソシアティビティアロケータ１１０は、コントローラ１０８を、キャッシュライン２０２、２０４、２０６、２０８に対応するキャッシュ１０２のアソシアティビティの第１の部分を使用してそのようなデータをロードするように制限する。

【0088】

キャッシュのアソシアティビティの第２の部分は、キャッシュ要求の第２のカテゴリに割り当てられる（ブロック６０６）。本明細書で説明される原理によれば、割り当てることは、キャッシュ要求の第２のカテゴリを、キャッシュミスに応じて、キャッシュのアソシアティビティの第２の部分を使用してデータをロードすることに制限する。例として、アソシアティビティアロケータ１１０は、アソシアティビティの第２の部分をキャッシュ要求の第２のカテゴリに割り当てる。そのような実施形態では、アソシアティビティアロケータ１１０は、キャッシュ１０２のアソシアティビティによって許可されるように、コントローラ１０８がそのデータをキャッシュライン２１０～２１６の何れかにロードするのを許可するのではなく、コントローラ１０８がキャッシュ要求の第２のカテゴリに対応するデータをキャッシュライン２０２～２１６にロードすることを制限する。

【0089】

本明細書の開示に基づいて、多くの変形例が可能であることを理解されたい。特徴及び要素が特定の組み合わせで上述されているが、各特徴又は要素は、他の特徴及び要素を用いずに単独で、又は、他の特徴及び要素を用いて若しくは用いずに他の特徴及び要素との様々な組み合わせで使用可能である。

【0090】

図に示され及び／又は本明細書で説明される様々な機能ユニット（適切な場合、キャッシュ１０２、キャッシュクライアント１０４、データストア１０６、コントローラ１０８、アソシアティビティアロケータ１１０、及び、キャッシュ置換ポリシー１１２を含む）は、ハードウェア回路、プログラマブルプロセッサ上で実行されるソフトウェア若しくはファームウェア、又は、ハードウェア、ソフトウェア及びファームウェアのうち２つ以上の任意の組み合わせ等のように、様々な異なる様式の何れかで実装される。提供される方法は、汎用コンピュータ、プロセッサ又はプロセッサコア等の様々なデバイスの何れかにおいて実装される。好適なプロセッサとしては、例として、汎用プロセッサ、専用プロセッサ、従来型プロセッサ、デジタルシグナルプロセッサ（digital signal processor、ＤＳＰ）、グラフィックス処理ユニット（graphics processing unit、ＧＰＵ）、並列加速プロセッサ、複数のマイクロプロセッサ、ＤＳＰコアに関連する１つ以上のマイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路（Application Specific Integrated Circuit、ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（Field Programmable Gate Array、ＦＰＧＡ）回路、任意の他のタイプの集積回路（integrated circuit、ＩＣ）、及び／又は、状態マシンが挙げられる。

【0091】

１つ以上の実施形態では、本明細書に提供される方法は、汎用コンピュータ又はプロセッサによる実行のために非一時的なコンピュータ可読記憶媒体に組み込まれるコンピュータプログラム、ソフトウェア又はファームウェアにおいて実施することができる。非一時的なコンピュータ可読記憶媒体の例としては、読み取り専用メモリ（read only memory、ＲＯＭ）、ランダムアクセスメモリ（random access memory、ＲＡＭ）、レジスタ、キャッシュメモリ、半導体メモリデバイス、内蔵ハードディスク及びリムーバブルディスク等の磁気媒体、磁気光学媒体、並びに、ＣＤ－ＲＯＭディスク及びデジタル多用途ディスク（digital versatile disk、ＤＶＤ）等の光学媒体が挙げられる。

【0092】

（結論）
システム及び技術は、構造的特徴及び／又は方法論的行為に特有の言語で説明されてきたが、添付の特許請求の範囲において定義されるシステム及び技術は、説明される特定の特徴又は行為に必ずしも限定されないことを理解されたい。むしろ、特定の特徴及び行為は、特許請求される発明を実施する例示的な形態として開示される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【国際調査報告】