特許 7607045 アクセスタイプの優先度に基づくキャッシュ管理

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-18

(45)【発行日】2024-12-26

(54)【発明の名称】アクセスタイプの優先度に基づくキャッシュ管理

(51)【国際特許分類】

   G06F 12/126 20160101AFI20241219BHJP

   G06F 12/0895 20160101ALI20241219BHJP

【ＦＩ】

G06F12/126 100

G06F12/0895 112

【請求項の数】 20

(21)【出願番号】P 2022536763

(86)(22)【出願日】2020-12-14

(65)【公表番号】

(43)【公表日】2023-02-15

(86)【国際出願番号】 US2020064884

(87)【国際公開番号】W WO2021126777

(87)【国際公開日】2021-06-24

【審査請求日】2023-11-10

(31)【優先権主張番号】16/716,194

(32)【優先日】2019-12-16

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】591016172

【氏名又は名称】アドバンスト・マイクロ・ディバイシズ・インコーポレイテッド

【氏名又は名称原語表記】ＡＤＶＡＮＣＥＤ ＭＩＣＲＯ ＤＥＶＩＣＥＳ ＩＮＣＯＲＰＯＲＡＴＥＤ

(74)【代理人】

【識別番号】100108833

【弁理士】

【氏名又は名称】早川 裕司

(74)【代理人】

【識別番号】100111615

【弁理士】

【氏名又は名称】佐野 良太

(74)【代理人】

【識別番号】100162156

【弁理士】

【氏名又は名称】村雨 圭介

(72)【発明者】

【氏名】ジーミン イン

(72)【発明者】

【氏名】ヤスコ エッカート

(72)【発明者】

【氏名】スバス セスムルガン

【審査官】後藤 彰

(56)【参考文献】

【文献】特開２００３－２２２１１（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／０３１４６４７（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １２／１２６

Ｇ０６Ｆ １２／０８９５

(57)【特許請求の範囲】

【請求項1】

プロセッサと、
キャッシュと、を備えるシステムであって、
前記キャッシュは、
複数のキャッシュラインの各々の最終アクセスタイプ指標を保持することと、
複数のカウンタを保持することであって、前記複数のカウンタの各々は、複数の異なるアクセスタイプの各々の数を追跡する、ことと、
デマンドヒットの数が最も少ないカウンタに対応する所定のアクセスタイプに対して最低の優先度を割り当てることであって、デマンドヒットは、ロード操作又はストア操作のために前記キャッシュにヒットすることである、ことと、
キャッシュミスを検出したことに応じて、最低の優先度が割り当てられた前記所定のアクセスタイプが最終アクセスタイプフィールドに設定されたキャッシュラインのエビクションを優先することと、
を行うように構成されている、
システム。

【請求項2】

第１のキャッシュラインへのデマンドヒットを検出したことに応じて、
前記キャッシュは、
プリフェッチアクセスタイプが前記第１のキャッシュラインの最終アクセスタイプフィールドに設定されていることを検出したことに応じて、第１のカウンタをインクリメントすることと、
ライトバックアクセスタイプが前記第１のキャッシュラインの最終アクセスタイプフィールドに設定されていることを検出したことに応じて、第２のカウンタをインクリメントすることと、
を行うように構成されている、
請求項１のシステム。

【請求項3】

前記キャッシュは、
デマンドヒット数が最も多いカウンタを有する第１のアクセスタイプに最高の優先度を割り当てることと、
前記第１のアクセスタイプが最終アクセスタイプフィールドに設定されているキャッシュラインを保持することを優先することと、
を行うように構成されている、
請求項１のシステム。

【請求項4】

前記キャッシュは、最新の時間間隔内のカウンタごとのデマンドヒットの数に従って、前記複数のカウンタをソートするように構成されている、
請求項１のシステム。

【請求項5】

前記キャッシュは、前記最終アクセスタイプ指標を、対応するキャッシュラインの第１のタグエントリの最終アクセスタイプフィールドにストアするように構成されている、
請求項１のシステム。

【請求項6】

前記所定のアクセスタイプは、プリフェッチアクセスタイプである、
請求項１のシステム。

【請求項7】

前記所定のアクセスタイプは、ライトバックアクセスタイプである、
請求項１のシステム。

【請求項8】

キャッシュが、複数のキャッシュラインの各々の最終アクセスタイプ指標を保持することと、
複数のカウンタを保持することであって、前記複数のカウンタの各々は、複数の異なるアクセスタイプの各々の数を追跡する、ことと、
デマンドヒットの数が最も少ないカウンタに対応する所定のアクセスタイプに対して最低の優先度を割り当てることであって、デマンドヒットは、ロード操作又はストア操作のために前記キャッシュにヒットすることである、ことと、
キャッシュミスを検出したことに応じて、最低の優先度が割り当てられた前記所定のアクセスタイプが最終アクセスタイプフィールドに設定されたキャッシュラインのエビクションを優先することと、を含む、
方法。

【請求項9】

第１のキャッシュラインへのデマンドヒットを検出したことに応じて、
前記方法は、
プリフェッチアクセスタイプが前記第１のキャッシュラインの最終アクセスタイプフィールドに設定されていることを検出したことに応じて、第１のカウンタをインクリメントすることと、
ライトバックアクセスタイプが前記第１のキャッシュラインの最終アクセスタイプフィールドに設定されていることを検出したことに応じて、第２のカウンタをインクリメントすることと、を含む、
請求項８の方法。

【請求項10】

前記複数のカウンタのうちデマンドヒット数が最も多いカウンタを有する第１のアクセスタイプに最高の優先度を割り当てることと、
前記第１のアクセスタイプが最終アクセスタイプフィールドに設定されているキャッシュラインを保持することを優先することと、を含む、
請求項８の方法。

【請求項11】

最新の時間間隔内のカウンタごとのデマンドヒットの数に従って、前記複数のカウンタをソートすることをさらに含む、
請求項８の方法。

【請求項12】

前記最終アクセスタイプ指標を、対応するキャッシュラインの第１のタグエントリの最終アクセスタイプフィールドにストアすることを含む、
請求項８の方法。

【請求項13】

所定のアクセスタイプは、プリフェッチアクセスタイプである、
請求項８の方法。

【請求項14】

所定のアクセスタイプは、ライトバックアクセスタイプである、
請求項８の方法。

【請求項15】

データストアと、
キャッシュコントローラと、を備えるキャッシュであって、
前記データストア内の複数のキャッシュラインの各々の最終アクセスタイプ指標を前記データストア内に保持することと、
複数のカウンタを保持することであって、前記複数のカウンタの各々は、複数の異なるアクセスタイプの各々の数を追跡する、ことと、
デマンドヒットの数が最も少ないカウンタに対応する所定のアクセスタイプに対して最低の優先度を割り当てることであって、デマンドヒットは、ロード操作又はストア操作のために前記キャッシュへのヒットすることである、ことと、
キャッシュミスを検出したことに応じて、最低の優先度が割り当てられた前記所与のアクセスタイプが最終アクセスタイプフィールドに設定されたキャッシュラインのエビクションを優先することと、
を行うように構成されている、
キャッシュ。

【請求項16】

第１のキャッシュラインへのデマンドヒットを検出したことに応じて、
前記キャッシュコントローラは、
プリフェッチアクセスタイプが前記第１のキャッシュラインの最終アクセスタイプフィールドに設定されていることを検出したことに応じて、第１のカウンタをインクリメントすることと、
ライトバックアクセスタイプが前記第１のキャッシュラインの最終アクセスタイプフィールドに設定されていることを検出したことに応じて、第２のカウンタをインクリメントすることと、
を行うように構成されている、
請求項１５のキャッシュ。

【請求項17】

前記キャッシュコントローラは、
複数のカウンタのうちデマンドヒット数が最も多いカウンタを有する第１のアクセスタイプに最高の優先度を割り当てることと、
前記第１のアクセスタイプが最終アクセスタイプフィールドに設定されているキャッシュラインを保持することを優先することと、
を行うように構成されている、
請求項１５のキャッシュ。

【請求項18】

前記キャッシュコントローラは、最新の時間間隔内のカウンタごとのデマンドヒットの数に従って、複数のカウンタをソートするように構成されている、
請求項１５のキャッシュ。

【請求項19】

前記所定のアクセスタイプは、プリフェッチアクセスタイプである、
請求項１５のキャッシュ。

【請求項20】

前記所定のアクセスタイプは、ライトバックアクセスタイプである、
請求項１５のキャッシュ。

【発明の詳細な説明】

【背景技術】

【0001】

本発明は、ローレンスリバモアナショナルセキュリティ（米国エネルギー省（ＤＯＥ）から発注された、主要契約番号：ＤＥ－ＡＣ５２－０７ＮＡ２７３４４、サブ契約番号：Ｂ６２０７１７）によるＰａｔｈＦｏｒｗａｒｄ Ｐｒｏｊｅｃｔの下、政府の支援を受けて行われたものである。米国政府は、本発明について一定の権利を有する。

【0002】

（関連技術の説明）
コンピュータシステムは、通常、安価で高密度のダイナミックランダムアクセスメモリ（ＤＲＡＭ）チップで形成されたメインメモリを使用する。しかしながら、ＤＲＡＭチップは、比較的長いアクセス時間に悩まされる。パフォーマンスを向上させるために、データプロセッサには、通常、キャッシュとして知られるローカルな高速メモリが少なくとも１つ含まれている。キャッシュには、プロセッサが頻繁にアクセスするデータのブロックがストアされる。本明細書で用いられる場合、「ブロック」は、連続する記憶域にストアされるバイトのセットであり、それらは、コヒーレンシの目的で単位として扱われる。本明細書で使用される場合、「キャッシュブロック」、「ブロック」、「キャッシュライン」及び「ライン」という用語はそれぞれ交換可能である。いくつかの実施形態では、ブロックは、キャッシュのアロケーション及びアロケーション解除の単位であってよい。ブロックのバイト数は、設計上の選択に応じて変動し、任意のサイズであってもよい。さらに、「キャッシュタグ」、「キャッシュラインタグ」及び「キャッシュブロックタグ」という用語はそれぞれ交換可能である。

【0003】

キャッシュの記憶容量が限られているので、対応するキャッシュ領域が満杯である場合、何れのキャッシュラインを置換のために選択するかをキャッシュ管理ポリシーにより決定する。アプリケーションのパフォーマンスを向上させるために、効率的なキャッシュ管理ポリシーが重要である。しかしながら、「least recently used」（ＬＲＵ）原則に基づくポリシー等のように、一部の従来のキャッシュ管理ポリシーは、キャッシュラインへの不規則なアクセスを処理する場合の効率が低い、又は、比較的複雑な回路実装を要するため適応性が制限され得る。

【0004】

添付図面と共に以下の説明を参照することによって、本明細書で説明する方法及びメカニズムの利点をより良く理解することができる。

【図面の簡単な説明】

【0005】

【図1】コンピューティングシステムの一実施形態のブロック図である。

【図2】コンピューティングシステムの一実施形態のブロック図である。

【図3】各キャッシュラインの最終アクセスタイプを追跡するキャッシュの一実施形態のブロック図である。

【図4】各アクセスタイプによって引き起こされたデマンドヒットの数を追跡するカウンタを保持するキャッシュの一実施形態のブロック図である。

【図5】最終アクセスタイプに基づいてキャッシュラインの優先度をセットするための方法の一実施形態を示す一般化されたフロー図である。

【図6】エビクションの対象となるキャッシュラインを選択する方法の一実施形態を示す一般化されたフロー図である。

【発明を実施するための形態】

【0006】

以下の説明では、本明細書で提示される方法及びメカニズムの十分な理解をもたらすために、多数の特定の詳細が示されている。しかしながら、当業者は、これらの特定の詳細を用いないで、様々な実施形態を実施し得ることを認識するはずである。いくつかの例では、本明細書で説明する手法を不明瞭にすることを回避するために、周知の構造、構成要素、信号、コンピュータプログラム命令、及び、技術が詳細に示されていない。説明を簡単且つ明確にするために、図面に示す要素は必ずしも縮尺通りに描かれていないことを理解されたい。例えば、いくつかの要素の寸法は、他の要素に対して誇張される場合がある。

【0007】

アクセスタイプの優先度に基づくキャッシュ管理のための様々なシステム、装置及び方法が本明細書に開示される。一実施形態では、システムは、少なくともプロセッサとキャッシュとを含む。プログラムの実行フェーズ中に、特定のアクセスタイプがキャッシュにおいてデマンドヒットを引き起こす可能性は、他のアクセスタイプよりも高い。デマンドヒットは、キャッシュに対するロードヒット及びストアヒットである。デマンドヒットを引き起こす可能性がより高いアクセスタイプを見いだすために実行時（ランタイム）プロファイリングメカニズムを用いる。プロファイリングの結果に基づいて、今後アクセスされそうなキャッシュラインがそれらの最新のアクセスタイプに基づいて保持される。デマンドヒットを増やし、それによってシステムパフォーマンスを向上させることが目標である。効率的なキャッシュ置換ポリシーにより、冗長なデータ移動を減らし、それによってシステムパフォーマンスを向上させ、エネルギー消費を減らせる可能性がある。

【0008】

図１を参照すると、コンピューティングシステム１００の一実施形態のブロック図が示されている。一実施形態では、コンピューティングシステム１００は、少なくともプロセッサ（複数可）１１０と、ファブリック１２０と、入出力（Ｉ／Ｏ）インタフェース（複数可）１２５と、メモリインタフェース１３０と、周辺装置（複数可）１３５と、メモリサブシステム１４０と、を含む。他の実施形態では、コンピューティングシステム１００は、他の構成要素を含んでもよく、コンピューティングシステム１００は、説明する構成要素を欠いてもよく、及び／又は、コンピューティングシステム１００は、異なる構成とすることができる。一実施形態では、各プロセッサ１１０は、キャッシュサブシステム１１５を含む。キャッシュサブシステム１１５は、実施形態に応じて変更され得る様々なタイプのキャッシュのうち何れかを有する任意の数のキャッシュレベルを有する。場合によっては、キャッシュサブシステム１１５のキャッシュ階層内の１つ以上のキャッシュを、プロセッサ（複数可）１１０の外部の他の場所に配置することができる。

【0009】

一実施形態では、キャッシュサブシステム１１５の１つ以上のキャッシュは、アクセスタイプの優先度に基づくキャッシュ管理スキームを用いる。例えば、ある実施形態では、キャッシュコントローラは、何れのアクセスタイプがデマンドヒットを引き起こす可能性が高いかを判断する。デマンドヒットは、ロード操作又はストア操作によって引き起こされるキャッシュへのヒットである。プロファイリングフェーズ中に、キャッシュコントローラは、複数のアクセスタイプの中から、何れのアクセスタイプが最も少ない数のデマンドヒットを引き起こしたかを判断する。次に、置換中、キャッシュコントローラは、複数のアクセスタイプのうちデマンドヒットの数が最も少ないアクセスタイプに一致する最終アクセスタイプの記録を有するキャッシュラインのエビクションを試みる。言い換えると、キャッシュコントローラは、キャッシュラインへのロードヒット又はストアヒットに先行する可能性が最も高いアクセスのタイプを動的に判定する。次に、キャッシュコントローラは、ロードヒット又はストアヒットに先行する可能性が最も高いアクセスタイプによって最近アクセスされたキャッシュラインを保護する。アクセスタイプの優先度に基づいてキャッシュ置換ポリシーを管理するために使用される手法のさらなる詳細は、この開示の残りの部分を通して提供される。

【0010】

プロセッサ（複数可）１１０は、任意の数及びタイプの処理ユニット（例えば、中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ））を表す。メモリサブシステム１４０は、任意の数及びタイプのメモリデバイスを含む。例えば、メモリサブシステム１４０のメモリのタイプには、高帯域幅メモリ（ＨＢＭ）、不揮発性メモリ（ＮＶＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ＮＡＮＤフラッシュメモリ、ＮＯＲフラッシュメモリ、強誘電体ランダムアクセスメモリ（ＦｅＲＡＭ）等が含まれ得る。Ｉ／Ｏインタフェース（複数可）１２５は、任意の数及びタイプのＩ／Ｏインタフェース（例えば、ペリフェラルコンポーネントインターコネクト（ＰＣＩ）バス、ＰＣＩエクステンデッド（ＰＣＩ－Ｘ）、ＰＣＩＥ（ＰＣＩ Ｅｘｐｒｅｓｓ）バス、ギガビットイーサネット（登録商標）（ＧＢＥ）バス、ユニバーサルシリアルバス（ＵＳＢ））を表す。様々なタイプの周辺装置１３５（複数可）がＩ／Ｏインタフェース１２５（複数可）に結合されてもよい。そのような周辺装置（複数可）１３５は、ディスプレイ、キーボード、マウス、プリンタ、スキャナ、ジョイスティック又は他のタイプのゲームコントローラ、メディア記録デバイス、外部ストレージデバイス、ネットワークインタフェースカード等を含む（が、これらに限定されない）。

【0011】

様々な実施形態において、コンピューティングシステム１００は、コンピュータ、ラップトップ、モバイルデバイス、ゲームコンソール、サーバ、ストリーミングデバイス、ウェアラブルデバイス、又は、他の様々なタイプのうち何れかのコンピューティングシステム若しくはデバイスである。コンピューティングシステム１００の構成要素の数は、実施形態ごとに異なることに留意されたい。例えば、他の実施形態では、図１に示す数よりも多い又は少ない構成要素が存在する。他の実施形態では、コンピューティングシステム１００は、図１に示されていない他の構成要素を含むことにも留意されたい。加えて、他の実施形態では、コンピューティングシステム１００は、図１に示す以外の方法で構成される。

【0012】

図２を参照すると、コンピューティングシステム２００の一実施形態のブロック図が示されている。図示したように、システム２００は、デスクトップコンピュータ２１０、ラップトップコンピュータ２２０、サーバ２３０、モバイルデバイス２４０等のチップ、回路、構成要素等を表す。他のデバイスも可能であり、考慮される。図示した実施形態では、システム２００は、（図１の）キャッシュサブシステム１１５の少なくとも１つのインスタンスを含む。図２には示されていないが、システム２００は、１つ以上のプロセッサ、１つ以上のメモリデバイス、１つ以上の周辺装置等のように、任意の数及びタイプの他の構成要素を含むことができる。キャッシュサブシステム１１５は、アクセスタイプ優先度に基づくキャッシュ管理スキームを用いる任意の数のキャッシュレベルを含む。

【0013】

図３を参照すると、各キャッシュラインの最終アクセスタイプを追跡するキャッシュ３００の一実施形態のブロック図が示されている。様々な実施形態では、キャッシュ３００は、システムメモリとは別の、低遅延で高帯域幅のメモリである。いくつかの実施形態では、キャッシュ３００は、キャッシュメモリサブシステム（例えば、図１のキャッシュサブシステム１１５）における最終レベルのキャッシュとして使用される。他の実施形態では、キャッシュ３００は、キャッシュメモリサブシステム内の別のレベルである。

【0014】

読み取り又は書き込み要求がキャッシュ３００によって受信されると、タグストア３０２のルックアップが、要求の対象であるアドレスのタグを使用して実行される。ルックアップ結果がヒットであり、データストア３０４のキャッシュラインへのアクセスが実行される場合、アクセスタイプは、タグストレージ３０２の対応するエントリ３０６の最終アクセスタイプフィールド３０８にストアされる。一実施形態では、タグストア３０２及びデータストア３０４がアレイとして構成されるが、他の構成も可能であり、企図される。いくつかの実施形態では、タグストレージ３０２及びデータストレージ３０４の各々は別のエンティティである一方、他の実施形態では、それらは単一のストレージエンティティ（デバイス）に組み合わされている。何れの場合も、タグ３０２及びデータ３０４ストアは、単にデータストア又はデータストレージデバイスと呼ばれることがある。一実施形態では、異なる可能なアクセスタイプは、ロード、ストア、プリフェッチ、ライトバックを含む。本明細書で使用される場合、「ロード操作」又は「ロードアクセス」は、記憶域からプロセッサ又は実行ユニットへのデータの転送を指定する操作として定義される。「ストア操作」又は「ストアアクセス」は、プロセッサ又は実行ユニットから記憶域へのデータの転送を指定する操作として定義される。「プリフェッチ操作」又は「プリフェッチアクセス」は、データがデマンド操作によって要求される前に、記憶域からキャッシュへのデータの転送を指定する操作として定義される。プリフェッチアクセスの対象となるデータは、誤った予測に基づいている場合、実行ユニットによって使用されずに終わる可能性がある。「ライトバック操作」又は「ライトバックアクセス」は、ダーティキャッシュラインを下位レベルのキャッシュ又は記憶域に転送することとして定義される。「ダーティキャッシュライン」は、変更され、下位レベルのキャッシュ又はメインメモリに未だ書き込まれていないキャッシュラインとして定義される。

【0015】

第２タグストア３０２へのルックアップが失敗し、キャッシュラインを要求にアロケーションする場合、キャッシュコントローラ３２０は、新しいキャッシュラインをストアできるように何れのキャッシュラインをエビクションするかを決定する。一実施形態では、キャッシュコントローラ３２０は、第２タグストア３０２の対応するセットの各エントリにストアされた最終アクセスタイプフィールド３０８を使用して、何れのキャッシュラインを第２データストア３０４からエビクションするかを決定する。例えば、一実施形態では、キャッシュコントローラ３２０は、各アクセスタイプに関連する優先度をリストするソートされた優先度３５０を取得する。キャッシュコントローラ３２０がソートされた優先度３５０を取得すると、キャッシュコントローラ３２０は、ソートされた優先度３５０に従って最終アクセスタイプが最低の優先度であるキャッシュラインを検索する。キャッシュコントローラ３２０は、制御ユニット又は制御ロジックと呼ばれる場合があることに留意されたい。

【0016】

一実施形態では、キャッシュ３００は、各アクセスタイプのデマンドヒットの数を追跡するためのカウンタ３４０を含む。デマンドヒットとは、ロード操作又はストア操作が最終アクセスタイプフィールド３０８のエントリにヒットすることを指す。一実施形態では、カウンタ３４０は、異なるアクセスタイプごとのカウンタを含む。例えば、プリフェッチアクセスタイプのカウンタ３４０は、最終アクセスタイプフィールド３０８がプリフェッチエンコーディングで符号化されているキャッシュラインにデマンドアクセスがヒットしたときにインクリメントされる。一実施形態では、カウンタ３４０の値は、各アクセスタイプの優先度を決定するために使用される。例えば、カウンタ値が大きいほど、対応するアクセスタイプの優先度が高くなる。一実施形態では、定期的に、キャッシュコントローラ３２０は、カウンタ３４０の値を取得し、値を降順でソートする。次に、キャッシュコントローラ３２０は、カウンタ３４０のソートされた値に基づいてソートされた優先度３５０を生成し、最も高い優先度が、カウンタが最も高い値を有するアクセスタイプに割り当てられる。他のアクセスタイプには、カウンタの値に基づいて降順で優先度が割り当てられる。

【0017】

一実施形態に従って使用することができる最終アクセスタイプエンコーディングの一例は、最終アクセスタイプエンコーディング表３３０に示されている。例えば、ビット「００」は、最終アクセスタイプがロードであったことを示す。ビット「０１」の場合、これは最終アクセスタイプがストアであったことを示す。ビット「１０」の場合、これは最終アクセスタイプがプリフェッチであったことを示す。ビット「１１」の場合、これは最終アクセスタイプがライトバックであったことを示す。他の実施形態では、第２タグストア３０２のエントリの最終アクセスタイプフィールド３０８は、２以外の他のビット数を有することができる。また、他の実施形態では、最終アクセスタイプのエンコーディング表３３０に示されているものとは異なる他のエンコーディングを使用することができる。

【0018】

図４を参照すると、各アクセスタイプによって引き起こされたデマンドヒットの数を追跡するためのカウンタを保持するキャッシュ４００の一実施形態のブロック図が示されている。所定のアドレスに対してキャッシュ４００のルックアップが実行される場合、所定のアドレスのタグ４１０、セット４１５及びオフセット４２０の各部分が、キャッシュ４００の様々な構造にアクセスするために使用される。アドレスのセット部分４１５がキャッシュ４００の所定のセットを選択するために使用され、次いで、アドレスのタグ部分４１０がコンパレータ４２５によって、所定のセットのウェイ４０５にストアされたタグと比較される。図示した例では、所定のキャッシュのセット４００は、４つのウェイ４０５（ウェイ０～ウェイ３）を含むが、他のキャッシュにおいては、より多く又はより少ないウェイを実装することができる。

【0019】

アドレスのタグ部分４１０のウェイ４０５の１つで一致が見つかった場合、対応する最終アクセスタイプフィールド４３０から最終アクセスタイプが取得される。アクセスがデマンドヒット（すなわち、ロードヒット又はストアヒット）である場合、最終アクセスタイプが比較ロジック４４０に提供される。最終アクセスタイプに応じて、対応するカウンタがインクリメントされる。例えば、最終アクセスタイプがロードであった場合、ロードカウンタ４４５がインクリメントされる。最終アクセスタイプがストアであった場合、ストアカウンタ４５０がインクリメントされる。最終アクセスタイプがプリフェッチであった場合、プリフェッチカウンタ４５５がインクリメントされる。そうではなく、最終アクセスタイプがライトバックであった場合、ライトバックカウンタ４６０がインクリメントされる。

【0020】

アクセス数が一定のプログラム可能な閾値数に達すると、キャッシュコントローラは、ソートフェーズ４６５を実行して、カウンタ４４５，４５０，４５５，４６０をそれらのカウント値に従って降順でソートする。次に、キャッシュコントローラは、優先度割り当てフェーズ４７０を実行して、ソートされたカウンタ４４５，４５０，４５５，４６０に優先度を割り当てる。カウント値が最も高いカウンタが最も高い優先度を取得し、次にカウント値が高いカウンタが次に高い優先度を取得する等である。次に、エビクションするキャッシュラインをキャッシュコントローラが検索する場合、優先度を使用して置換ポリシーを決定する。言い換えると、キャッシュコントローラがキャッシュラインをエビクションする必要がある場合、キャッシュコントローラは、優先度が最低のキャッシュラインをエビクションする。

【0021】

図５を参照すると、最終アクセスタイプに基づいてキャッシュラインの優先度をセットするための方法５００の一実施形態が示されている。説明のために、この実施形態のステップ及び図６のステップは、順番に示されている。しかしながら、説明する方法の様々な実施形態においては、説明する要素のうち１つ以上が同時に実行されてもよいし、図示した順序と異なる順序で実行されてもよいし、完全に省略されてもよいことに留意されたい。他の追加の要素も必要に応じて実行される。本明細書に記載される様々なシステム又は装置の何れも、方法５００を実施するように構成されている。

【0022】

カウンタは、異なるアクセスタイプごとにキャッシュコントローラによって保持される（ブロック５０５）。一実施形態では、ロード、ストア、プリフェッチ、ライトバックの４つの個別のアクセスタイプに対する４つのカウンタがある。他の実施形態では、他の数のカウンタにより、他の数の異なるアクセスタイプを追跡できる。例えば、別の実施形態では、複数のカウンタが複数の異なるタイプのロードを追跡でき、第１のカウンタは第１のアプリケーションからのロードを追跡し、第２のカウンタは第２のアプリケーションからのロードを追跡することができる等である。他のカウンタが、個別のアプリケーションの各々からのストア、個別のアプリケーションの各々からのプリフェッチ、及び、アプリケーションの各々からのライトバックを追跡できる。他の実施形態では、アクセスタイプの他のタイプをキャッシュコントローラによって追跡できる。一実施形態では、キャッシュ内の全てのセットがアクセスタイプカウンタの同じグループを共有する。別の実施形態では、カウンタの複数のグループがあり、カウンタのグループの各々がキャッシュセットの一部によって共有される。さらなる実施形態では、カウンタの単一のグループが、キャッシュ全体ではなく、いくつかの代表的なセットを追跡する。

【0023】

キャッシュによって受信された要求がデマンドヒット（例えば、ロードヒット、ストアヒット）の結果となる場合、ヒットしたキャッシュラインに対応する最終アクセスタイプフィールドが取得される（ブロック５１０）。次に、取得された最終アクセスタイプフィールドで指定されたアクセスタイプに対応するカウンタがインクリメントされる（ブロック５１５）。閾値数より少ない数のキャッシュアクセスが行われた場合（条件付きブロック５２０：「いいえ」）、方法５００はブロック５１０に戻る。キャッシュアクセスの数が閾値数に達した場合（条件付きブロック５２０：「はい」）、アクセスタイプカウンタが降順でソートされ、ソートされた順序に基づいてアクセスタイプに優先度が割り当てられる（ブロック５２５）。次に、優先度を使用して、エビクションするキャッシュラインを選択するための置換ポリシーが決定される（ブロック５３０）。例えば、プリフェッチアクセスタイプのカウンタが全てのカウンタの中で最低の値を有する場合、キャッシュコントローラは、プリフェッチアクセスによって最後にアクセスされたエビクションキャッシュラインの選択を優先する。別の例では、ロードアクセスタイプカウンタが全てのカウンタの中で最も高い値を有している場合、キャッシュコントローラはロードアクセスによって最後にアクセスされたキャッシュラインの保持を試みる。ブロック５３０の後、方法５００は終了する。方法５００は、定期的に実行することができ、又は、何らかのイベント（例えば、アプリケーションの新しいフェーズの開始）の検出に応じて実行して、異なるアクセスタイプの優先度を更新することができることに留意されたい。

【0024】

図６を参照すると、エビクションのためのキャッシュラインを選択するための方法６００の一実施形態が示されている。キャッシュコントローラは、所定の要求のキャッシュミスを検出する（ブロック６０５）。ミスの検出に応じて、キャッシュコントローラは、所定の要求の対象となるデータ用のスペースを空けるために、エビクションするキャッシュラインを検索する（ブロック６１０）。次に、キャッシュコントローラは、最新の追跡間隔に基づいて、何れのアクセスタイプが最低の優先度を有するかを判定する（ブロック６１５）。様々な実施形態では、間隔は、所定の期間、所定のクロックサイクル数、所定の数のトランザクション又はアクセス等である。最新の追跡間隔に基づいて何れのアクセスタイプが最低の優先度を有するかを決定する一例は、（図５の）方法５００に関連する説明に記載されている。次に、キャッシュコントローラは、最終アクセスタイプフィールドが最も優先度の低いアクセスタイプと一致するキャッシュラインを検索する（ブロック６２０）。

【0025】

最低の優先度のアクセスタイプにセットされた最終アクセスタイプフィールドを有するキャッシュラインが見つかった場合（条件付きブロック６２５：「はい」）、キャッシュコントローラは、このキャッシュラインをエビクションする（ブロック６３０）。それ以外の場合、最終アクセスフィールドが最低の優先度のアクセスタイプにセットされたキャッシュラインが見つからない場合（条件付きブロック６２５：「ｎｏ」）、キャッシュコントローラは、他の残りのアクセスタイプのうち何れのアクセスタイプが最低の優先度を有するかを判定する（ブロック６４０）。この次に最も低い優先度のアクセスタイプにセットされた最終アクセスフィールドを有するキャッシュラインが見つかった場合（条件付きブロック６４５：「はい」）、キャッシュコントローラは、このキャッシュラインをエビクションする（ブロック６５０）。そうではなく、最終アクセスフィールドがこの次に低い優先度のアクセスタイプにセットされたキャッシュラインが見つからない場合（条件付きブロック６４５：「ｎｏ」）、方法６００はブロック６４０に戻り、他の残りのアクセスタイプのうち何れのアクセスタイプが最低の優先度を有するかをキャッシュコントローラが判定する。ブロック６３０及び６５０の後、キャッシュコントローラは、エビクションされたキャッシュラインのウェイに新しいキャッシュラインをストアする（ブロック６３５）。ブロック６５０の後、方法６００が終了する。

【0026】

様々な実施形態では、ソフトウェアアプリケーションのプログラム命令は、本明細書で説明する方法及び／又はメカニズムを実施するために使用される。例えば、汎用又は専用プロセッサによって実行可能なプログラム命令が企図される。様々な実施形態において、そのようなプログラム命令は、高水準のプログラミング言語によって表現される。他の実施形態では、プログラム命令は、高レベルプログラミング言語からバイナリ形式、中間形式又は他の形式にコンパイルされる。或いは、プログラム命令は、ハードウェアの動作又は設計を記述するように書かれる。このようなプログラム命令は、Ｃ等の高水準のプログラミング言語によって表現される。或いは、Ｖｅｒｉｌｏｇ等のハードウェア設計言語（ＨＤＬ）が使用される。様々な実施形態では、プログラム命令は、様々な非一時的なコンピュータ可読記憶媒体のうち何れかに記憶される。記憶媒体は、プログラム実行のためにプログラム命令をコンピューティングシステムに提供するために、使用中にコンピューティングシステムによってアクセス可能である。一般的に、そのようなコンピューティングシステムは、少なくとも１つ以上のメモリと、プログラム命令を実行するように構成された１つ以上のプロセッサと、を含む。

【0027】

上述した実施形態が、実施形態の非限定的な例に過ぎないことを強調しておきたい。上記の開示が十分に理解されれば、多くの変形及び修正が当業者に明らかになるであろう。以下の特許請求の範囲は、全てのそのような変形及び修正を包含するように解釈されることが意図される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】