▶ アドバンスト・マイクロ・ディバイシズ・インコーポレイテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-12-15
(54)【発明の名称】再利用期間に基づくキャッシュ管理
(51)【国際特許分類】
G06F 12/126 20160101AFI20221208BHJP
G06F 12/122 20160101ALI20221208BHJP
G06F 12/0864 20160101ALI20221208BHJP
【ＦＩ】
G06F12/126 100
G06F12/122
G06F12/0864
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022519980
(86)(22)【出願日】2020-08-14
(85)【翻訳文提出日】2022-05-20
(86)【国際出願番号】 US2020046390
(87)【国際公開番号】W WO2021076211
(87)【国際公開日】2021-04-22
(31)【優先権主張番号】16/600,897
(32)【優先日】2019-10-14
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】591016172
【氏名又は名称】アドバンスト・マイクロ・ディバイシズ・インコーポレイテッド
【氏名又は名称原語表記】ＡＤＶＡＮＣＥＤ ＭＩＣＲＯ ＤＥＶＩＣＥＳ ＩＮＣＯＲＰＯＲＡＴＥＤ
(74)【代理人】
【識別番号】100108833
【弁理士】
【氏名又は名称】早川 裕司
(74)【代理人】
【識別番号】100111615
【弁理士】
【氏名又は名称】佐野 良太
(74)【代理人】
【識別番号】100162156
【弁理士】
【氏名又は名称】村雨 圭介
(72)【発明者】
【氏名】ジーミン イン
(72)【発明者】
【氏名】スバス セスムルガン
(72)【発明者】
【氏名】ヤスコ エッカート
【テーマコード（参考）】
5B205
【Ｆターム（参考）】
5B205QQ04
5B205QQ11
5B205TT02
5B205VV03
5B205VV04
(57)【要約】
プロセッサ［１０２］のキャッシュ［１１０］は、キャッシュのキャッシュラインを挿入及び交換するためのキャッシュ管理ポリシーを実施するためのキャッシュコントローラ［１１２］を含む。キャッシュ管理ポリシーは、キャッシュラインが最後にアクセスされてからのキャッシュラインを記憶するウェイを有するキャッシュセット［１１６］へのアクセス数と、キャッシュの領域に対して判定された再利用期間と、の比較に基づいて、キャッシュの領域内のキャッシュラインの少なくともサブセットの各キャッシュラインに交換優先レベルを割り当て、再利用期間は、所定のキャッシュセットの所定のキャッシュラインへのアクセス間の領域の当該所定のキャッシュセットへの平均アクセス数を表す。
【選択図】図１
【選択図】図１
【特許請求の範囲】
【請求項1】
処理システムのキャッシュを管理するための方法であって、前記キャッシュのキャッシュコントローラが、前記キャッシュの領域の再利用期間を判定することであって、前記再利用期間は、所定のキャッシュセット［１１６］の所定のキャッシュラインへのアクセス間の前記キャッシュの前記所定のキャッシュセット［１１６］への平均アクセス数を表す、ことと、
前記キャッシュコントローラが、前記再利用期間と、前記キャッシュラインへのキャッシュヒット数のカウントと、に基づいて、前記キャッシュの前記領域の前記キャッシュラインの少なくともサブセットの各キャッシュラインに交換優先レベルを割り当てることと、を含む、
方法。
【請求項2】
前記キャッシュに割り当てられた前記交換優先レベルに基づいて、前記キャッシュの前記領域で交換するためのキャッシュラインを選択することをさらに含む、請求項１の方法。
【請求項3】
前記再利用期間を判定することは、前記キャッシュの前記領域のキャッシュセットの少なくともサブセットのキャッシュセットにおける各キャッシュヒットに応じて、
前記キャッシュヒットのターゲットであるキャッシュラインを含む前記キャッシュセットのウェイに関連するセットアクセスカウント値を累積値に加算して、更新累積値を生成することと、
前記キャッシュヒットのターゲットであるキャッシュラインを含む前記キャッシュセットのウェイに関連する前記セットアクセスカウント値をリセットすることと、
前記キャッシュセットの他のウェイに関連するセットアクセスカウント値をインクリメントすることと、
前記キャッシュセットの少なくともサブセットへの所定数のキャッシュヒットを検出したことに応じて、
キャッシュヒットの前記所定数によって前記更新累積値を平均化して、平均セットアクセスカウント値を生成することと、
前記平均セットアクセスカウント値に基づいて、再利用期間を判定することと、を含む、
請求項１の方法。
【請求項4】
前記キャッシュセットの少なくともサブセットへの所定数のキャッシュヒットを検出したことに応じて、前記平均セットアクセスカウント値を所定の要素でスケーリングして、スケーリングされた平均セットアクセスカウント値を生成すること、をさらに含み、
前記再利用期間を判定することは、前記スケーリングされた平均セットアクセスカウント値に基づいて、前記再利用期間を判定することを含む、
請求項３の方法。
【請求項5】
前記キャッシュの前記領域の前記キャッシュラインの少なくともサブセットの各キャッシュラインに交換優先レベルを割り当てることは、前記キャッシュラインに関連する前記セットアクセスカウント値が前記再利用期間よりも大きくないと判定したことに応じて、及び、前記ウェイに挿入されてからの前記キャッシュラインへのアクセス数がゼロよりも大きいと判定したことに応じて、第１の交換優先レベルを前記キャッシュラインに割り当てることと、
前記キャッシュラインに関連する前記セットアクセスカウント値が前記再利用期間よりも大きくないと判定したことに応じて、及び、前記ウェイに挿入されてからの前記キャッシュラインへの前記アクセス数がゼロに等しいと判定したことに応じて、第２の交換優先レベルを前記キャッシュラインに割り当てることと、を含み、
前記第２の交換優先レベルは、前記第１の交換優先レベルよりも、交換のために選択される可能性が大きいことを表す、
請求項３の方法。
【請求項6】
前記キャッシュの前記領域の前記キャッシュラインの少なくともサブセットの各キャッシュラインに交換優先レベルを割り当てることは、前記キャッシュラインに関連する前記セットアクセスカウント値が前記再利用期間よりも大きいと判定したことに応じて、及び、前記ウェイに挿入されてからの前記キャッシュラインへのアクセス数がゼロよりも大きいと判定したことに応じて、第３の交換優先レベルを前記キャッシュラインに割り当てることと、
前記キャッシュラインに関連する前記セットアクセスカウント値が前記再利用期間よりも大きいと判定したことに応じて、及び、前記ウェイに挿入されてからの前記キャッシュラインへの前記アクセス数がゼロに等しいと判定したことに応じて、第４の交換優先レベルを前記キャッシュラインに割り当てることと、をさらに含み、
前記第３の交換優先レベルは、前記第１の交換優先レベルよりも、交換のために選択される可能性が大きいことを表し、
前記第４の交換優先レベルは、前記第２の交換優先レベルよりも、交換のために選択される可能性が大きいことを表す、
請求項５の方法。
【請求項7】
前記キャッシュに割り当てられた前記交換優先レベルに基づいて、前記キャッシュの前記領域で交換するためのキャッシュラインを選択することをさらに含む、請求項６の方法。
【請求項8】
前記キャッシュの前記領域は、前記キャッシュ全体を含む、請求項１の方法。
【請求項9】
処理システムのキャッシュを管理するための方法であって、前記キャッシュのキャッシュコントローラが、前記キャッシュのキャッシュラインを挿入及び交換するためのキャッシュ管理ポリシーを実施することを含み、
前記キャッシュ管理ポリシーは、前記キャッシュラインが最後にアクセスされてからのキャッシュラインを記憶するウェイを有するキャッシュセットへのアクセス数と、前記キャッシュの領域に対して判定された再利用期間と、の比較に基づいて、前記キャッシュの前記領域内のキャッシュラインの少なくともサブセットの各キャッシュラインに交換優先レベルの割り当てを提供し、
前記再利用期間は、前記領域の所定のキャッシュセットの所定のキャッシュラインへのアクセス間の前記所定のキャッシュセットへの平均アクセス数を表す、
方法。
【請求項10】
前記キャッシュ管理ポリシーを実施することは、前記領域のキャッシュセットの少なくともサブセットの各キャッシュセットのウェイ毎にセットアクセスカウント値を維持することであって、前記セットアクセスカウント値は、対応するウェイに記憶された前記キャッシュラインが挿入されてからの、又は、最後にアクセスされてからの前記キャッシュセットへのアクセス数を表す、ことと、
キャッシュヒットのターゲットである前記キャッシュセットの少なくともサブセットにおけるキャッシュセットの各ウェイからの前記セットアクセスカウント値を累積値に累積することと、
前記キャッシュセットの少なくともサブセットへの所定数のキャッシュヒットが生じた後に、キャッシュヒットの前記所定数による前記累積値の平均に基づいて、前記再利用期間を判定することと、を含む、
請求項９の方法。
【請求項11】
前記キャッシュ管理ポリシーを実施することは、前記領域の前記キャッシュセットの少なくともサブセットの各キャッシュセットのウェイ毎にラインアクセスカウント値を維持することをさらに含み、前記ラインアクセスカウント値は、前記対応するウェイに記憶された前記キャッシュラインへのアクセス数を表す、
請求項１０の方法。
【請求項12】
前記キャッシュ管理ポリシーを実施することは、前記キャッシュラインに関連する前記セットアクセスカウント値と前記再利用期間との比較に基づいて、及び、前記キャッシュラインを記憶する前記ウェイの前記ラインアクセスカウント値がゼロ以上であるかどうかの判定に基づいて、前記キャッシュの前記領域のキャッシュラインの少なくともサブセットの各キャッシュラインに交換優先レベルを割り当てることをさらに含む、
請求項１１の方法。
【請求項13】
各キャッシュラインに交換優先レベルを割り当てることは、前記キャッシュラインに関連する前記セットアクセスカウント値が前記再利用期間よりも大きくないと判定したことに応じて、及び、前記キャッシュラインに関連するラインアクセスカウントがゼロよりも大きいと判定したことに応じて、第１の交換優先レベルを前記キャッシュラインに割り当てることと、
前記キャッシュラインに関連する前記セットアクセスカウント値が前記再利用期間よりも大きくないと判定したことに応じて、及び、前記キャッシュラインに関連するラインアクセスカウントがゼロに等しいと判定したことに応じて、第２の交換優先レベルを前記キャッシュラインに割り当てることと、
前記キャッシュラインに関連する前記セットアクセスカウント値が前記再利用期間よりも大きいと判定したことに応じて、及び、前記キャッシュラインに関連する前記ラインアクセスカウントがゼロよりも大きいと判定したことに応じて、第３の交換優先レベルを前記キャッシュラインに割り当てることと、
前記キャッシュラインに関連する前記セットアクセスカウント値が前記再利用期間よりも大きいと判定したことに応じて、及び、前記ラインアクセスカウントがゼロに等しいと判定したことに応じて、第４の交換優先レベルを前記キャッシュラインに割り当てることと、を含み、
前記第２の交換優先レベルは、前記第１の交換優先レベル及び前記第３の交換優先レベルよりも、交換のために選択される可能性が大きいことを表し、
前記第３の交換優先レベルは、前記第１の交換優先レベルよりも、交換のために選択される可能性が大きいことを表し、
前記第４の交換優先レベルは、前記第２の交換優先レベルよりも、交換のために選択される可能性が大きいことを表す、
請求項１２の方法。
【請求項14】
複数のキャッシュセットを含むキャッシュであって、各キャッシュセットは、対応するキャッシュラインを記憶するように構成された複数のウェイを有する、キャッシュと、前記キャッシュのキャッシュラインを挿入及び交換するためのキャッシュ管理ポリシーを実施するように構成されたキャッシュコントローラと、を備え、
前記キャッシュ管理ポリシーは、前記キャッシュラインが最後にアクセスされてからの前記キャッシュラインを記憶するウェイを有するキャッシュセットへのアクセス数と、前記キャッシュの領域に対して判定された再利用期間と、の比較に基づいて、前記キャッシュの前記領域内のキャッシュラインの少なくともサブセットの各キャッシュラインに交換優先レベルの割り当てを提供し、
前記再利用期間は、前記領域の所定のキャッシュセットの所定のキャッシュラインへのアクセス間の前記所定のキャッシュセットへの平均アクセス数を表す、
プロセッサ。
【請求項15】
前記キャッシュは、複数のセットアクセスカウンタであって、各セットアクセスカウンタは、前記キャッシュの前記領域のキャッシュセットの少なくともサブセットのキャッシュセットの対応するウェイに関連付けられており、前記対応するウェイに記憶された前記キャッシュラインが挿入されてからの、又は、最後にアクセスされてからの前記キャッシュセットへのアクセス数を表すセットアクセスカウント値を記憶するように構成されている、複数のセットアクセスカウンタと、
前記キャッシュヒットのターゲットである前記キャッシュセットの少なくともサブセットにおけるキャッシュセットの各ウェイからの前記セットアクセスカウント値を累積値に累積するように構成されたアキュムレータと、
前記キャッシュセットの少なくともサブセットへの所定数のキャッシュヒットを検出したことに応じて、キャッシュヒットの前記所定数による前記累積値の平均に基づいて、前記再利用期間を判定するように構成された平均化／スケーリングコンポーネントと、を備える、
請求項１４のプロセッサ。
【請求項16】
前記キャッシュは、複数のラインアクセスカウンタを備え、各ラインアクセスカウンタは、前記キャッシュセットの少なくともサブセットのキャッシュセットの対応するウェイに関連付けられており、前記対応するウェイに記憶された前記キャッシュラインへのアクセス数を表すラインアクセスカウント値を記憶するように構成されている、
請求項１５のプロセッサ。
【請求項17】
前記キャッシュコントローラは、前記キャッシュラインに関連する前記セットアクセスカウント値と前記再利用期間との比較に基づいて、及び、前記キャッシュラインを記憶する前記ウェイの前記ラインアクセスカウント値がゼロ以上であるかどうかの判定に基づいて、前記キャッシュの前記領域のキャッシュラインの少なくともサブセットの各キャッシュラインに交換優先レベルを割り当てることによって、前記キャッシュ管理ポリシーを実施するように構成されている、
請求項１６のプロセッサ。
【請求項18】
前記キャッシュコントローラは、前記キャッシュラインに関連する前記セットアクセスカウント値が前記再利用期間よりも大きくないと判定したことに応じて、及び、前記キャッシュラインに関連するラインアクセスカウントがゼロよりも大きいと判定したことに応じて、第１の交換優先レベルを前記キャッシュラインに割り当てることと、
前記キャッシュラインに関連する前記セットアクセスカウント値が前記再利用期間よりも大きくないと判定したことに応じて、及び、前記キャッシュラインに関連するラインアクセスカウントがゼロに等しいと判定したことに応じて、第２の交換優先レベルを前記キャッシュラインに割り当てることと、
前記キャッシュラインに関連する前記セットアクセスカウント値が前記再利用期間よりも大きいと判定したことに応じて、及び、前記キャッシュラインに関連する前記ラインアクセスカウントがゼロよりも大きいと判定したことに応じて、第３の交換優先レベルを前記キャッシュラインに割り当てることと、
前記キャッシュラインに関連する前記セットアクセスカウント値が前記再利用期間よりも大きいと判定したことに応じて、及び、前記ラインアクセスカウントがゼロに等しいと判定したことに応じて、第４の交換優先レベルを前記キャッシュラインに割り当てることと、
によって、交換優先レベルをキャッシュセットのキャッシュラインに割り当てるように構成されており、
前記第２の交換優先レベルは、前記第１の交換優先レベル及び前記第３の交換優先レベルよりも、交換のために選択される可能性が大きいことを表し、
前記第３の交換優先レベルは、前記第１の交換優先レベルよりも、交換のために選択される可能性が大きいことを表し、
前記第４の交換優先レベルは、前記第２の交換優先レベルよりも、交換のために選択される可能性が大きいことを表す、
請求項１７のプロセッサ。
【請求項19】
前記キャッシュコントローラは、前記キャッシュセットの各キャッシュラインに割り当てられた交換優先レベルの比較に基づいて交換用のキャッシュセットのキャッシュラインを選択することによって、前記キャッシュ管理ポリシーを実施するように構成されている、
請求項１８のプロセッサ。
【請求項20】
前記キャッシュヒットの前記所定数は２Ｍに等しく、Ｍは１よりも大きい整数であり、前記平均化／スケーリングコンポーネントは、前記累積値をＭビット位置まで右にシフトすることによって、前記再利用期間を判定するように構成されている、
請求項１５のプロセッサ。
【請求項21】
前記キャッシュの前記領域は、前記キャッシュ全体を含む、請求項１４のプロセッサ。
【発明の詳細な説明】
【背景技術】
【0001】
処理システムは、キャッシュを使用して、高速アクセスのためにメモリ又は大容量記憶デバイスからデータを一時的にバッファリングする。キャッシュにより記憶容量が制限されるため、一般的に、キャッシュ管理ポリシーを使用して、キャッシュの対応領域がフルになった場合に、交換用のキャッシュラインの選択を指示する。しかしながら、最長時間未使用（ＬＲＵ）又は再参照区間予測（ＲＲＩＰ）の原理に基づくポリシー等のいくつかの従来のキャッシュ管理ポリシーは、キャッシュラインへの不規則なアクセスに対処する際に効率的でなく、又は、その適用を制限する可能性がある、比較的複雑な回路実装が必要である。
【0002】
添付の図面を参照することにより、本開示がより良く理解され、その多くの特徴及び利点が当業者に明らかになる。異なる図面で同一の符号が使用される場合、類似又は同一のアイテムを示す。
【図面の簡単な説明】
【0003】
【図1】いくつかの実施形態による、再利用期間に基づくキャッシュ管理ポリシーを実施するキャッシュを有する処理システムのブロック図である。
【図4】いくつかの実施形態による、再利用期間計算コンポーネントの代替の実施形態を示すブロック図である。
【図5】いくつかの実施形態による、対応キャッシュラインのラインアクセスカウンタを維持するための方法を示すフロー図である。
【図6】いくつかの実施形態による、現在の再利用期間及び対応するラインアクセスカウント値に基づいて、交換優先レベルをキャッシュラインに割り当てるための方法を示すフロー図である。
【図7】いくつかの実施形態による、再利用期間に基づく交換優先順位を使用して、交換用のキャッシュラインを選択するための方法を示すフロー図である。
【発明を実施するための形態】
【0004】
図１～図７は、キャッシュの対応領域に対して予測された「再利用期間」に基づく処理システムのキャッシュのためのキャッシュ管理ポリシーを実施するためのシステム及び技術を示す。本明細書で説明するように、キャッシュの対応領域の再利用期間は、キャッシュセットの所定のキャッシュラインへのアクセス間のキャッシュの領域のその所定のキャッシュセットへの平均アクセス数の履歴の表現である。次に、そのキャッシュセットの所定のキャッシュラインに再度アクセスする前に、所定のキャッシュセットに発生する可能性が高いアクセス数の予測因子又は他のインジケータとして、この再利用期間を使用し、この情報をキャッシュラインの最近のアクセス履歴に関する情報と一緒に使用して、交換優先順位をキャッシュラインに割り当てる。次に、キャッシュ管理ポリシーに従って、このように割り当てられたキャッシュラインの交換優先順位を使用して、対応するキャッシュセットが十分に占有される場合に、交換用のキャッシュラインを選択する。キャッシュ管理へのこの再利用期間に基づくアプローチは、周期的パターン又はストリーミングアクセスパターンで、及び、ハードウェアで実施するために比較的簡単な方式で使用される可能性が高いキャッシュラインを交換するための正確及び効果的な優先順位付けを提供できる。
【0005】
図１は、いくつかの実施形態による、再利用期間に基づくキャッシュ管理を使用する処理システム１００を示す図である。処理システム１００は、メモリサブシステム１０４に結合されたプロセッサ１０２を含み、メモリサブシステム１０４は、１つ以上のシステムメモリ、スクラッチパッドメモリ、ディスクドライブ又は他の大容量記憶デバイスを含む。プロセッサ１０２は、例えば、中央処理装置（ＣＰＵ）、グラフィックスプロセッシングユニット（ＧＰＵ）、アクセラレーテッド・プロセッシング・ユニット（ＡＰＵ）、デジタル信号プロセッサ（ＤＳＰ）又はこれらの組み合わせである。プロセッサ１０２は、１つ以上の実行パイプライン１０６（例えば、ＣＰＵコア）と、キャッシュ１０８を含む１つ以上のキャッシュのキャッシュ階層と、を含む。キャッシュ１０８は、キャッシュアレイ１１０と、キャッシュコントローラ１１２と、を含む。キャッシュアレイ１１０は、１つ以上の実行パイプライン１０６によってアクセスするためにキャッシュライン（すなわち、一時的なバッファデータのブロック）を記憶する複数のエントリ１１４を含む。少なくとも１つの実施形態では、キャッシュ１０８は、セットアソシアティブキャッシュであり、それにより、キャッシュラインエントリ１１４が複数のキャッシュセット１１６に配置され、各キャッシュセット１１６が複数のウェイを有し、各ウェイは、対応キャッシュラインを動作可能に記憶するキャッシュラインエントリ１１４であり、キャッシュセット１１６にマッピングするメモリアドレスに関連する何れかのキャッシュラインは、キャッシュセット１１６の何れかのウェイに記憶することができる。図示した例では、キャッシュ１０８は、４つのウェイ（ウェイ０～ウェイ３）を実装しているが、４つより多い数又は少ない数のウェイを実装することができる。キャッシュセット１１６の各々は、セットのウェイ毎に追加のフィールド（タグフィールド１１８等）を含み、タグフィールド１１８は、対応ウェイ（存在する場合）に記憶された有効なキャッシュラインに関連するメモリアドレス、ステータスビット、制御ビット等の一部を記憶する。
【0006】
キャッシュコントローラ１１２は、１つ以上の実行パイプライン１０６のアクティビティに基づいて、キャッシュアレイ１１０の様々なフィールドを維持するように動作し、その動作は、データブロックをキャッシュラインとして受信及び記憶することと、１つ以上の実行パイプライン１０６によって使用又は変更するためにキャッシュラインにアクセスすることと、メモリサブシステム１０４にエビクション又はフラッシュするためにキャッシュラインにアクセスすることと、等を含む。このプロセスの一部として、キャッシュコントローラ１１２は、キャッシュ管理ポリシー１２０を実施し、キャッシュ管理ポリシー１２０は、交換又は他のエビクションのキャッシュラインの優先順位付けを制御し、そのような優先順位付けに基づいて、交換又は他のエビクションの候補キャッシュラインの選択を制御する。少なくとも１つの実施形態では、キャッシュ管理ポリシー１２０は、キャッシュ１０８の対応領域（この領域は、キャッシュ１０８の一部（例えば、１／４）又はキャッシュ１０８の全部であり得る）に対して決定（判定）された「再利用期間」と、その対応領域内のキャッシュラインへのアクセスの最近の履歴と、を利用して、そのキャッシュラインの交換優先順位を決定する。再利用期間が本実施形態のキャッシュの一部に対して決定されるが、キャッシュ管理ポリシー１２０は、キャッシュ１０８の全体に適用することができる。上述したように、ハイレベルでは、この再利用期間は、キャッシュセット１１６内の特定のキャッシュラインへのアクセス間の対応するキャッシュ領域のキャッシュセット１１６への平均アクセス回数を表す。すなわち、再利用期間は、キャッシュセットの所定のキャッシュラインに再度アクセスする前に、キャッシュ１０８の対応領域の任意の所定のキャッシュセットに発生する可能性が高いキャッシュアクセスの平均回数の予測を表す。このために、キャッシュ管理ポリシー１２０は、３つのステージを実施する。３つのステージ（再利用期間判定ステージ１２２、交換優先順位割り当てステージ１２４、及び、キャッシュライン交換ステージ１２６）のそれぞれは、他のフェーズと無関係に及び同時に動作する。再利用期間判定ステージ１２２は、キャッシュ１０８の適用可能領域毎に、現在（最新）の再利用期間の計算を提供し、図２～図４を参照して以下に詳細に説明される。交換優先順位割り当てステージ１２４は、ステージ１２２の現在の計算サイクルで計算された現在（最新）の再利用期間に基づいて、キャッシュラインへの交換優先順位の割り当てを提供し、図５及び図６を参照して以下にさらに詳細に説明される。キャッシュライン交換ステージ１２６は、ステージ１２４の現在の優先順位付けサイクルから判定された交換優先順位の割り当てに基づいて、交換用のキャッシュラインの選択を提供し、図７を参照して以下にさらに詳細に説明される。
【0007】
少なくとも１つの実施形態では、キャッシュ１０８は、ステージ１２２の各反復で現在の再利用期間を計算するのに使用するために、及び、ステージ１２４の各サイクルにおいてキャッシュラインの交換優先順位を判定するのに使用するために、カウンタセット１２８を使用する。このカウンタセット１２８は、セットアクセスカウンタ１３０と、ラインアクセスカウンタ１３２と、を含み、これらは、キャッシュアレイ１１０のウェイ毎に（すなわち、キャッシュライン毎に）、又は代替的に、サンプリング目的のためにキャッシュ１０８の代表キャッシュセットとして指定されたキャッシュセットのサブセットのウェイ毎に含まれる（例えば、領域のＸ番目のキャッシュセット毎に含まれ、Ｘは１よりも大きい整数である）。セットアクセスカウンタ１３０は、キャッシュラインが挿入されてからの又は最後にアクセスされてからの対応キャッシュラインに関連するキャッシュセット１１６に発生しているアクセス回数を表すセットアクセスカウント値を記憶する。ラインアクセスカウンタ１３２は、キャッシュ１０８に挿入されてから、又は、次の計算サイクルの開始に応じてリセットされてから、対応キャッシュラインにアクセスしている回数を表すラインアクセスカウント値を記憶する。いくつかの実施形態では、カウンタセット１２８は、さらに、Ｎ番目にカウントされたアクセス後にリセットされる前に（及び、以下に説明するように、さらなる動作をトリガする前に）、対応するキャッシュセット１１６へのアクセス数をカウントするＮ番目のアクセスカウンタ１３４を含み、ここで、Ｎは、プログラム可能な整数、又は、１よりも大きい特定の整数（Ｎ＞１）を表す。
【0008】
図２は、いくつかの実施形態による、キャッシュコントローラ１１２によって実装され、カウンタセット１２８にアクセスする、再利用期間計算コンポーネント２００の実施形態を示す図である。再利用期間計算コンポーネント２００は、キャッシュ１０８の対応領域の再利用期間を計算するために利用されるキャッシュセット１１６毎に、セットアカウントコンポーネント２０２を含む。これは、キャッシュ領域内のキャッシュセット１１６の各々、又は、キャッシュ領域のキャッシュセット１１６の代表のサブセットを含み得る。図示した例では、Ｘ個（Ｘ≧１）のキャッシュセット１１６が表されており、セットアカウントコンポーネント２０２－０，２０２－１，２０２－３は、表されたキャッシュセット１１６のキャッシュセット０、キャッシュセット１、及び、キャッシュセットＸ－１に対応して示されている。再利用期間計算コンポーネント２００は、さらに、アキュムレータ２０４と、平均化／スケーリングコンポーネント２０６と、を含む。一実施形態では、再利用期間計算コンポーネント２００は、ヒットカウンタ２０７を含み、ヒットカウンタ２０７は、現在の計算サイクルについてキャッシュ１０８の対応領域へのキャッシュヒット数をカウントし、キャッシュヒット数がプログラム可能又は他の方法で指定された値Ｋに達すると、再利用期間計算をトリガする。例示すると、ヒットカウンタ２０７は、計算サイクル毎にＫにリセットし、代表キャッシュセットへのキャッシュヒット毎にデクリメントし、カウント値が０に達すると再利用期間計算をトリガする、カウントダウンカウンタとして実装することができる。
【0009】
セットＸ－１のセットアカウントコンポーネント２０２－３の構成が示されており、その対応するキャッシュセット１１６に対するセットアカウントコンポーネント２０２の各々の構成を表す。図示したように、セットアカウントコンポーネント２０２－３は、対応するキャッシュセット１１６のウェイ毎に１つずつ対応するコンパレータ２０８のセットと、選択ロジック２１４（説明し易くするために、マルチプレクサとして示されている）と、を含む。したがって、４つのウェイがあるセットを有するキャッシュ１０８の図示した例について、セットアカウントコンポーネント２０２－３は、４つのコンパレータ２０８を含む。各コンパレータ２０８は、セットの対応ウェイのタグフィールド（例えば、各々、ウェイ０～４のタグフィールド１１８－０～１１８－３の１つ）からアドレス値を受信するために結合された入力と、実行パイプライン１０６からキャッシュ１０８に送られたキャッシュプローブ２１２のタグフィールド２１０からアドレス値を受信する入力と、を含む。さらに、各コンパレータ２０８は、対応ウェイのタグフィールド１１８からのアドレス値がキャッシュプローブ２１２のタグフィールド２１０のアドレス値にマッチ（一致）するときにアサートされる出力を有する。すなわち、キャッシュプローブ２１２のターゲットである（すなわち、キャッシュプローブ２１２にキャッシュ「ヒット」を提供する）キャッシュセット１１６のウェイに関連するコンパレータ２０８は、その出力をアサートするが、セットアカウントコンポーネント２０２－３の他のコンパレータ２０８は、アサートされないままである。このように、コンパレータ２０８の出力は、キャッシュプローブ２１２に表されるアドレスにマッチするアドレスを有するキャッシュラインを含むウェイを識別する。
【0010】
上述したように、カウンタセット１２８は、再利用期間計算に利用される代表キャッシュセット１１６の各々のウェイ毎に、セットアクセスカウンタ１３０を含む。したがって、図示したセットアカウントコンポーネント２０２－３に関連するセットＸ－１について、カウンタセット１２８は、各々、ウェイ０、ウェイ１、ウェイ２及びウェイ３に対して４つのセットアクセスカウンタ１３０－０，１３０－１，１３０－２，１３０－３を含む。以下にさらに詳細に説明するように、セットアクセスカウンタ１３０－０～１３０－３の各々は、対応ウェイのキャッシュラインが挿入されてから、又は、最後にアクセスされてからのセットＸ－１へのアクセス数を表すセットアクセスカウント値を記憶する。
【0011】
選択ロジック２１４は、複数の選択入力を含み、選択入力の各々は、キャッシュセット１１６のセットアクセスカウンタ１３０うち対応する１つの現在の選択アクセスカウント値を受信するために結合されている。したがって、４つのウェイキャッシュセット１１６では、選択ロジック２１４は、４つの選択入力（すなわち、セットアクセスカウンタ１３０－０からカウント値を受信するための選択入力、セットアクセスカウンタ１３０－１からカウント値を受信するための選択入力、セットアクセスカウンタ１３０－２からカウント値を受信するための選択入力、及び、セットアクセスカウンタ１３０－３からカウント値を受信するための選択入力）を有する。さらに、選択ロジック２１４は、コンパレータ２０８の出力に結合された選択制御入力と、アキュムレータ２０４に結合された出力と、を含む。したがって、選択ロジック２１４は、アキュムレータ２０４に出力するために、セットアクセスカウンタ１３０－０～１３０－３からの入力選択アクセスカウント値のうち１つを選択するように動作し、その動作に基づいて、コンパレータ２０８は、存在する場合、アサートされた出力を有する。すなわち、キャッシュプローブ２１２のタグアドレスにマッチするタグアドレスを有するキャッシュセット１１６のウェイは、選択ロジック２１４をトリガして、そのウェイに関連するセットアクセスカウンタ１３０のカウンタ値をアキュムレータ２０４に出力する。
【0012】
アキュムレータ２０４は、様々なセットアカウントコンポーネント２０２から受信したセットアクセスカウンタ値を累積して、結果として得られる更新累積値を平均化／スケーリングコンポーネント２０６に提供するように動作する。トリガイベント（例えば、領域の代表キャッシュセットへのＫ番目のアクセス毎に発生するイベント）に応じて、平均化／スケーリングコンポーネント２０６は、最後の計算サイクル以降の領域の代表キャッシュセットへのアクセス数について現在の更新累積値を平均化して、平均セットアクセスカウント値を累積値から生成するように動作する。平均セットアクセスカウント値は、例えば、一連のシフト演算によって取得することができ、いくつかの実施形態では、平均／スケーリングコンポーネント２０６は、指定された倍率を使用して、結果として生じる平均セットアクセスカウント値をスケーリングする。次に、結果として生じる平均化／スケーリングされたセットアクセスカウント値は、キャッシュ１０８の対応領域に対する現在の再利用期間２１６として機能する。
【0013】
図３は、いくつかの実施形態による、キャッシュコントローラ１１２の図２の再利用期間計算コンポーネント２００によって使用される再利用期間計算プロセスを示す方法３００をより詳細に示す図である。ブロック３０２において、キャッシュコントローラ１１２は、キャッシュ１０８の動作を監視して、キャッシュラインが代表キャッシュセット１１６の１つに挿入されているかどうかを判定する。ブロック３０４において、キャッシュコントローラ１１２は、キャッシュ１０８の動作を監視して、代表キャッシュセット１１６の１つのキャッシュラインにアクセスされているかどうかを判定する。キャッシュラインにアクセスされている場合、ブロック３０６において、セットアクセスカウンタ１３０の値は、アキュムレータ２０４に送信されるアクセスされたキャッシュラインを記憶するキャッシュセット１１６のウェイに関連付けられている。キャッシュラインが挿入又はアクセスされると、ブロック３０８において、キャッシュコントローラ１１２は、挿入又はアクセスされたキャッシュラインを記憶するキャッシュセット１１６のウェイに関連するセットアクセスカウンタ１３０を所定値（例えば、０）にリセットし、ブロック３１０において、キャッシュコントローラ１１２は、キャッシュセット１１６の他の全てのウェイに関連するセットアクセスカウンタ１３０をインクリメントする。すなわち、代表キャッシュセット１１６のウェイにおけるキャッシュラインの挿入又はキャッシュラインへのアクセスは、キャッシュセット１１６のそのウェイのセットアクセスカウンタ１３０をリセットすると同時に、キャッシュセット１１６の他の全てのウェイのセットアクセスカウンタ１３０も増加させる。代替として、キャッシュコントローラ１１２は、キャッシュセット１１６の各ウェイに関連するセットアクセスカウンタ１３０をインクリメントして、次に、挿入又はアクセスされたキャッシュラインを記憶するキャッシュセット１１６のウェイに関連するセットアクセスカウンタ１３０を所定値にリセットする。したがって、このように、キャッシュコントローラ１１２は、キャッシュラインが挿入されてから又は最後にアクセスされてから、代表キャッシュセット１１６のキャッシュライン毎に、代表キャッシュセット１１６に行われたアクセス数を監視する。
【0014】
さらに、ブロック３１２において、キャッシュコントローラ１１２は、代表キャッシュセット１１６のウェイへのキャッシュヒットを監視する（これには、ブロック３０２で参照されるアクセスを含み得る）。少なくとも１つの実施形態では、代表キャッシュセット１１６のウェイへのキャッシュヒットは、代表キャッシュセット１１６に関連するセットアカウントコンポーネント２０２のコンパレータ２０８を介して信号が送られ、その場合、キャッシュプローブ（例えば、図２のキャッシュプローブ２１２）に表されるアドレスと、対応ウェイのタグフィールド１１８のアドレスと、がマッチすると、対応するコンパレータ２０８の出力がアサートされ、ひいては、キャッシュプローブが代表キャッシュセット１１６のそのウェイでヒットしているという信号を送る。そのようなキャッシュヒットに応じて、ブロック３１４において、ヒットキャッシュセット１１６に関連するセットアカウントコンポーネント２０２の選択ロジック２１４は、ヒットキャッシュセット１１６のヒットウェイに関連するセットアクセスカウンタ１３０の値をアキュムレータ２０４に出力し、その後すぐ、アキュムレータ２０４は、現在の計算サイクルについて、入力値を以前の累積値に追加する。
【0015】
ブロック３１２，３１４のプロセスは、現在の計算反復において、キャッシュ１０８の対応領域へのＫ番目のキャッシュヒットが（例えば、ヒットカウンタ２０７によって）検出されるまで、代表キャッシュセット１１６へのキャッシュヒット毎に繰り返され、ここで、Ｋは、１よりも大きいプログラム可能な又は他の方法で指定された整数値である（Ｋ＞１）。例えば、Ｋは６４に設定でき、それにより、キャッシュ１０８の対応領域への６４番目のキャッシュヒットが発生するまで、セットカウント蓄積プロセスが継続する。ブロック３１６において、キャッシュ１０８の領域へのＫ番目のキャッシュヒットが現在の計算サイクルについて発生したと判定したことに応じて、ブロック３１８において、平均化／スケーリングコンポーネントは、現在の計算サイクルについて利用されるＫ回のキャッシュヒットについてアキュムレータ２０４からの現在の累積値（蓄積値）を平均化し、いくつかの実施形態では、この平均値に係数を掛けることによって、平均値をスケーリングする。Ｋ及び任意の倍率が２のべき乗である実施形態では、平均化／スケーリングコンポーネント２０６は、左右のシフトロジックとして実装することができる。例示すると、Ｋが以前の例に従って６４（２６）に設定されると、累積値の平均化は、累積値を６ビットだけ右にシフトし、次に、１ビットだけ左にシフトすることによって行うことができる。より一般的には、Ｋが２Ｍ（Ｍは正の整数）に等しい場合、平均化／スケーリングコンポーネント２０６は、現在の更新累積値をＭビット位置だけ左にシフトして、次に、１つのビット位置だけ右にシフトして、代表キャッシュセットへのＫ回のキャッシュアクセスについて平均セットアクセスカウントを取得することができる。同様に、２による平均値のスケーリングは、結果として生じる平均値を１ビットだけ左にシフトすることによって実現することができる。次に、結果として生じる平均値（及びスケール値）は、キャッシュ１０８の対応領域に対する現在（最新）の再利用期間２１６として設定される。平均値のスケーリングでは、セットの個々のウェイのセットアクセスカウント値に差異があり、その結果、セットのラインの一部に対するセットアクセスカウント値よりも低い再利用期間が生じる可能性がある。以下により詳細に説明するように、所定のラインのセットアクセスカウント値がキャッシュの再利用期間を超えると、そのラインはエビクトされる（evicted）可能性が高い。平均値のスケーリングを使用して、セットのいくつかのラインを間違って優先的に交換するのを防止することができる。現在の計算サイクルが終了すると、ブロック３２０において、キャッシュコントローラ１１２は、終了した計算サイクルで使用される様々なコンポーネント（ヒットカウンタ２０７、セットアクセスカウンタ１３０、ラインアクセスカウンタ１３２、及び、アキュムレータ２０４等）をリセットし、次に、プロセスは、次の計算サイクルのためにブロック３１２に戻る。
【0016】
図４は、少なくとも１つの実施形態による、代表キャッシュセット１１６毎にキャッシュコントローラ１１２によって実装されたセットアカウントコンポーネント２０２（図２）の代替の実施形態を示す図である。図２の実施形態と同様に、図４のセットアカウントコンポーネント２０２の代替の実施形態は、対応ウェイのタグフィールド１１８のアドレスが、受信したキャッシュプローブ２１２のタグフィールド２１０のアドレスにマッチすることに応じて、その各々の出力をアサートするように動作可能なコンパレータ２０８を含み、さらに、その選択制御入力として、コンパレータ２０８の出力を利用する選択ロジック４１４（説明し易くするために、マルチプレクサとして示されている）を含む。しかしながら、計算サイクル中に対応するキャッシュセットへの全てのアクセスを考慮するのに十分に大きいセットアクセスカウンタ１３０のためのカウンタを使用するのではなく、図４の実施形態では、代わりに、キャッシュセット１１６へのＮ番目のアクセス毎にセットアクセスカウンタ１３０をインクリメントすることによって、より小さいカウンタをセットアクセスカウンタ１３０のために使用することを可能にする。Ｎによってアクセスのカウントを容易にするために、セットアカウントコンポーネント２０２の図示した実施形態は、Ｎ番目のアクセスカウント４０４をさらに含み、アクセスカウント４０４は、現在の計算サイクル中のキャッシュセット１１６へのアクセス毎にインクリメントされる（又は、アクセス毎に、Ｎにリセットされ、デクリメントされる）。さらに、キャッシュセット１１６へのＮ番目のアクセス毎にのみ、そのキャッシュセットのセットアクセスカウンタ１３０のインクリメントをトリガするという事実を補償するために、図示した実施形態では、セットアクセスカウンタ１３０の各々の出力と、選択ロジック４１４への対応する入力と、の間にシフトレジスタ４０６及び加算器４０８を使用して、このサンプリングされたキャッシュアクセスアプローチを調整する。したがって、Ｎが２のべき乗（２ｊ）であると仮定すると、セットアクセスカウンタ１３０から出力されたセットアクセスカウント値は、ｊビットだけ左にシフトし、次に、Ｎ番目のアクセスカウント４０４に表される現在のヒットカウントに追加され、この結果として生じる値は、選択ロジック４１４の対応する入力にフィードされる。次に、選択ロジック４１４は、コンパレータ２０８の出力状態に基づいて、アキュムレータ２０４に出力するために入力値の１つを選択するように動作可能であり、さらには、存在する場合、代表キャッシュセット１１６の何れかのウェイがＮ番目のキャッシュプローブ２１２のターゲットであるかを表す。
【0017】
図５及び図６は、いくつかの実施形態による、交換優先順位割り当てステージ１２４（図１）の間にキャッシュ管理ポリシー１２０を実施するためのキャッシュコントローラ１１２の動作を一緒に示す。図５は、いくつかの実施形態による、優先順位付けサイクル中に、代表キャッシュセット１１６のラインアクセスカウンタ１３２を維持する方法５００を示す。上述したように、ラインアクセスカウンタ１３２の各々は、現在の優先順位付けサイクルが開始してから、ラインアクセスカウンタ１３２に関連するウェイに記憶されたキャッシュラインにアクセスしている回数を表す。したがって、優先順位付けサイクルが開始すると、ブロック５０２において、キャッシュコントローラ１１２は、代表キャッシュセット１１６のウェイへのキャッシュラインの挿入を監視する。そのような挿入に応じて、ブロック５０４において、キャッシュコントローラ１１２は、代表キャッシュセット１１６のターゲットウェイに関連するラインアクセスカウンタ１３２をリセットする。その後、ブロック５０６において、キャッシュコントローラ１１２は、キャッシュラインへのアクセスを監視する。アクセスの検出に応じて、ブロック５０８において、キャッシュコントローラ１１２は、アクセスされたキャッシュラインのラインアクセスカウンタ１３２をインクリメントする。いくつかの実施形態では、ラインアクセスカウンタ１３２は、ラインアクセスカウンタ１３２のハードウェア要件を低減するように、１ビット飽和カウンタ又は２ビット飽和カウンタとして実装され、ひいては、（１ビットカウンタの実施形態の場合）最大１回のアクセス、又は、（２ビットカウンタの実施形態の場合）最大３回のアクセスの何れかをカウントする。他の実施形態では、ラインアクセスカウンタ１３２に３ビット以上のビットを利用して、任意の所定のキャッシュラインへの多くのアクセス数のカウントを容易にする。
【0018】
図６を参照すると、対応するラインアクセスカウンタ１３２のその現在のラインアクセスカウントに基づいて、及び、現在の再利用期間に基づいて、キャッシュラインへの交換優先順位の割り当てを表す方法６００は、いくつかの実施形態に従って示されている。方法６００は、キャッシュラインが交換されるという判定等のイベントによって開始し（ブロック６０２）、現在の優先順位付けサイクル中に新たに挿入されたキャッシュラインの交換優先順位を判定し、これは、以前に存在したキャッシュラインの交換優先順位を再判定するトリガとして機能する。トリガに応じて、優先順位付けプロセスは、ブロック６０４において、選択シーケンス（例えば、連続順（straight order）選択、疑似ランダム選択等）に従って、キャッシュ１０８の領域のキャッシュラインを選択することによって開始する。
【0019】
ブロック６０６において、キャッシュコントローラ１１２は、選択されたキャッシュラインを記憶するウェイのセットアクセスカウンタ１３０にアクセスして、それに含まれるカウントを現在の再利用期間２１６と比較する。セットアクセスカウンタ１３０が現在の再利用期間２１６よりも大きくない場合、これは、キャッシュラインが未だ再利用期間に達しておらず、したがって、今後再利用され得ることを示す。したがって、セットアクセスカウンタ１３０が現在の再利用期間よりも小さい場合、ブロック６０８において、キャッシュコントローラ１１２は、選択されたキャッシュラインを記憶するウェイに関連するラインアクセスカウンタ１３２にアクセスして、それに記憶された値がゼロよりも大きいかどうかを判定する（すなわち、キャッシュラインが挿入されてから再利用されているかどうかを判定する）。そのような場合、いくつかのデータが繰り返してアクセスされる傾向を考慮すると、このキャッシュラインがさらに再利用される可能性がある。したがって、ブロック６０８において、ラインアクセスカウンタ１３２がゼロよりも大きいと判定された場合、ブロック６１０において、キャッシュラインに交換優先レベル３が割り当てられる（以下の説明では、交換優先レベル値が低くなるにつれて、対応キャッシュラインが交換候補として適切でなくなり、ひいては、対応キャッシュラインの交換選択可能性が高くなると仮定している）。そうではなく、ラインアクセスカウンタ１３２がゼロに等しい場合、これは、キャッシュラインが再利用されていないことを示す。しかしながら、キャッシュラインが再利用期間に未だ達していないため、キャッシュラインが今後再利用される可能性がまだある。そのような場合、ブロック６１２において、キャッシュラインが交換優先レベル１に割り当てられる（優先レベル１は、交換優先レベル３よりも大きい交換選択可能性を示す）。
【0020】
ブロック６０６に戻り、セットアクセスカウンタ１３０によって表されるアクセスカウントが現在の再利用期間よりも大きいと判定された場合、これは、キャッシュラインが既に再利用期間に達しているが、その後、再利用されていないことを意味する。したがって、ブロック６１４において、キャッシュコントローラ１１２は、キャッシュラインを記憶するウェイのラインアクセスカウンタ１３２にアクセスすることによって、キャッシュラインがアクセスされたかどうかを判定する。ラインアクセスカウンタ１３２がゼロよりも大きい場合、これは、キャッシュラインがキャッシュ１０８に挿入されてから少なくとも１回再利用され、ひいては、再び再利用される可能性があることを意味する。しかしながら、再利用される可能性は、それが再利用期間を既に過ぎているという事実によって抑制される。したがって、ラインアクセスカウンタ１３２がゼロよりも大きい場合、ブロック６１６において、選択されたキャッシュラインが交換優先レベル２に割り当てられる（交換優先レベル２は、交換優先レベル３よりも大きい交換選択可能性があり、交換優先レベル１よりも低い選択可能性があることを示す）。そうではなく、カウントがゼロに等しい場合、これは、キャッシュラインが挿入されてから再利用されておらず、再利用期間を既に過ぎており、ひいては、今後再利用される可能性が低いことを意味する。そのような場合、ブロック６１８において、キャッシュラインが交換優先レベル０に割り当てられる（この例では、交換優先レベル０は、交換のために選択される可能性が最大であることを表す）。
【0021】
図７は、いくつかの実施形態による、キャッシュ管理ポリシー１２０のキャッシュライン交換ステージ１２６（図１）のためのキャッシュコントローラ１１２の動作を表す方法７００を示す図である。以下の説明では、説明のために、交換優先レベルの数値の増加が、対応キャッシュラインを保持する優先度の増加に対応し、逆に、交換優先レベルの数値の減少が、対応キャッシュラインをエビクトする優先度又は可能性の増加に対応することを想起されたい。ブロック７０２において、ロード動作又はストア動作が行われ、キャッシュ１０８のキャッシュラインとして記憶されるデータブロックの生成をもたらす。したがって、さらに、ブロック７０２において、キャッシュコントローラ１１２は、キャッシュラインに関連するアドレスに基づいて、キャッシュラインを記憶するのに利用可能なキャッシュセット１１６を判定する。ブロック７０４において、キャッシュコントローラ１１２は、識別されたキャッシュセット１１６に利用可能なウェイがあるかどうかを判定する（すなわち、有効なキャッシュラインを現在記憶していないウェイがあるかどうかを判定する）。そのような場合、ブロック７０６において、キャッシュコントローラ１１２は、キャッシュラインをキャッシュセット１１６の利用可能なウェイに挿入する。図３のブロック３０２及び図５のブロック５０２を参照して上述したように、キャッシュセット１１６が代表キャッシュセットである場合、キャッシュセット１１６へのこのキャッシュラインの挿入は、特定のカウント動作をトリガする。
【0022】
そうではなく、識別されたキャッシュセット１１６のウェイが利用可能でない場合、キャッシュコントローラ１１２は、上述したように、キャッシュ管理ポリシー１２０の交換優先順位割り当てステージ１２４の間に割り当てられた交換優先レベルに基づいて、キャッシュセット１１６の現在のキャッシュラインをエビクトするか、又は、キャッシュラインのキャッシングをバイパスするかどうかを判定する。したがって、ブロック７０８において、キャッシュコントローラ１１２は、キャッシュバイパス（「選択キャッシング」又は「キャッシュ削除」としても知られる）がキャッシュ１０８によってサポートされているかどうかを判定する。キャッシュバイパスがサポートされる場合、ブロック７１０において、キャッシュコントローラ１１２は、キャッシュセット１１６が交換優先レベル０に割り当てられたキャッシュラインを含むかどうかを判定する。サポートされていない場合、ブロック７１２において、キャッシュコントローラ１１２は、（例えば、キャッシュラインのキャッシングを防止することによって、又は、記憶のためにキャッシュラインを下位レベルキャッシュに提供することによって）キャッシュ１０８のキャッシュラインのキャッシングのバイパスを選択することができる。別の実施形態では、キャッシュラインがストリームプロセスの一部であると判定された場合（例えば、現在の再利用期間が小さい場合（０又は１の場合））、同様に、交換優先レベル１のキャッシュラインが存在しない場合、キャッシュバイパスを選択することができる。
【0023】
キャッシュバイパスがサポートされていない場合、又は、キャッシュバイパスを正当化するのに十分に低い優先順位付けレベルのキャッシュラインが存在しない場合、ブロック７１４において、キャッシュコントローラ１１２は、最低交換優先レベルを有するキャッシュセット１１６のキャッシュラインを交換候補として選択する。同じ最低交換優先レベルの２つ以上のキャッシュラインがある場合、キャッシュコントローラ１１２は、指定された選択順に基づいて、キャッシュラインの１つを疑似ランダムに選択できる、又は、最大のセットアクセスカウントを有するウェイを選択できる。ブロック７１６において、キャッシュコントローラ１１２は、選択された候補キャッシュラインを、キャッシュセット１１６の対応ウェイの新しいキャッシュラインと交換する、又は、エビクトする。このアクションはキャッシュライン挿入であり、図３のブロック３０２及び図５のブロック５０２を参照して上述したように、特定のカウント動作をトリガする。
【0024】
いくつかの実施形態では、上記の技術のいくつかの態様は、ソフトウェアを実行するプロセッシングシステムの１つ以上のプロセッサによって実装されてもよい。ソフトウェアは、非一時的なコンピュータ可読記憶媒体に記憶され、又は、非一時的なコンピュータ可読記憶媒体上で有形に具現化された実行可能命令の１つ以上のセットを含む。ソフトウェアは、１つ以上のプロセッサによって実行されると、上記の技術の１つ以上の態様を実行するように１つ以上のプロセッサを操作する命令及び特定のデータを含むことができる。非一時的なコンピュータ可読記憶媒体は、例えば、磁気若しくは光ディスク記憶デバイス、例えばフラッシュメモリ、キャッシュ、ランダムアクセスメモリ（ＲＡＭ）等のソリッドステート記憶デバイス、又は、他の１つ以上の不揮発性メモリデバイス等を含むことができる。非一時的なコンピュータ可読記憶媒体に記憶された実行可能命令は、ソースコード、アセンブリ言語コード、オブジェクトコード、又は、１つ以上のプロセッサによって解釈若しくは実行可能な他の命令フォーマットであってもよい。
【0025】
一態様によれば、処理システムのキャッシュを管理するための方法は、キャッシュのキャッシュコントローラによって、キャッシュの領域の再利用期間を判定することを含み、再利用期間は、所定のキャッシュセットの所定のキャッシュラインへのアクセス間のキャッシュの当該キャッシュセットへの平均アクセス数を表す。方法は、キャッシュコントローラによって、再利用期間と、キャッシュラインへのキャッシュヒット数のカウントと、に基づいて、キャッシュの領域のキャッシュラインの少なくともサブセットの各キャッシュラインに交換優先レベルを割り当てることをさらに含む。
【0026】
別の態様によれば、処理システムのキャッシュを管理するための方法は、キャッシュのキャッシュコントローラによって、キャッシュのキャッシュラインを挿入及び交換するためのキャッシュ管理ポリシーを実施することを含み、キャッシュ管理ポリシーは、キャッシュラインが最後にアクセスされてからのキャッシュラインを記憶するウェイを有するキャッシュセットへのアクセス数と、キャッシュの領域に対して判定された再利用期間と、の比較に基づいて、キャッシュの領域内のキャッシュラインの少なくともサブセットの各キャッシュラインに交換優先レベルの割り当てを提供し、再利用期間は、キャッシュセットの任意の所定のキャッシュラインへのアクセス間の領域の所定のキャッシュセットへの平均アクセス数を表す。
【0027】
さらに別の態様によれば、プロセッサは、複数のキャッシュセットを含むキャッシュを含み、各キャッシュセットは、対応キャッシュラインを記憶するように構成された複数のウェイを有する。プロセッサは、キャッシュのキャッシュラインを挿入及び交換するためのキャッシュ管理ポリシーを実施するように構成されたキャッシュコントローラをさらに備え、キャッシュ管理ポリシーは、キャッシュラインが最後にアクセスされてからのキャッシュラインを記憶するウェイを有するキャッシュセットへのアクセス数と、キャッシュの領域に対して判定された再利用期間と、の比較に基づいて、キャッシュの領域内のキャッシュラインの少なくともサブセットの各キャッシュラインに交換優先レベルの割り当てを提供し、再利用期間は、キャッシュセットの任意の所定のキャッシュラインへのアクセス間の領域の所定のキャッシュセットへの平均アクセス数を表す。
【0028】
コンピュータ可読記憶媒体は、命令及び／又はデータをコンピュータシステムに提供するために、使用中にコンピュータシステムによってアクセス可能な任意の非一時的な記憶媒体又は非一時的な記憶媒体の組み合わせを含む。このような記憶媒体には、限定されないが、光学媒体（例えば、コンパクトディスク（ＣＤ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（登録商標）ディスク）、磁気媒体（例えば、フロッピー（登録商標）ディスク、磁気テープ、磁気ハードドライブ）、揮発性メモリ（例えば、ランダムアクセスメモリ（ＲＡＭ）若しくはキャッシュ）、不揮発性メモリ（例えば、読取専用メモリ（ＲＯＭ）若しくはフラッシュメモリ）、又は、微小電気機械システム（ＭＥＭＳ）ベースの記憶媒体が含まれ得る。コンピュータ可読記憶媒体（例えば、システムＲＡＭ又はＲＯＭ）はコンピューティングシステムに内蔵されてもよいし、コンピュータ可読記憶媒体（例えば、磁気ハードドライブ）はコンピューティングシステムに固定的に取り付けられてもよいし、コンピュータ可読記憶媒体（例えば、光学ディスク又はユニバーサルシリアルバス（ＵＳＢ）ベースのフラッシュメモリ）はコンピューティングシステムに着脱可能に取り付けられてもよいし、コンピュータ可読記憶媒体（例えば、ネットワークアクセス可能ストレージ（ＮＡＳ））は有線又は無線ネットワークを介してコンピュータシステムに結合されてもよい。
【0029】
上述したものに加えて、概要説明において説明した全てのアクティビティ又は要素が必要とされているわけではなく、特定のアクティビティ又はデバイスの一部が必要とされない場合があり、１つ以上のさらなるアクティビティが実行される場合があり、１つ以上のさらなる要素が含まれる場合があることに留意されたい。さらに、アクティビティが列挙された順序は、必ずしもそれらが実行される順序ではない。また、概念は、特定の実施形態を参照して説明された。しかしながら、当業者であれば、特許請求の範囲に記載されているような本発明の範囲から逸脱することなく、様々な変更及び変形を行うことができるのを理解するであろう。したがって、明細書及び図面は、限定的な意味ではなく例示的な意味で考慮されるべきであり、これらの変更形態の全ては、本発明の範囲内に含まれることが意図される。
【0030】
利益、他の利点及び問題に対する解決手段を、特定の実施形態に関して上述した。しかし、利益、利点、問題に対する解決手段、及び、何かしらの利益、利点若しくは解決手段が発生又は顕在化する可能性のある特徴は、何れか若しくは全ての請求項に重要な、必須の、又は、不可欠な特徴と解釈されない。さらに、開示された発明は、本明細書の教示の利益を有する当業者には明らかな方法であって、異なっているが同様の方法で修正され実施され得ることから、上述した特定の実施形態は例示にすぎない。添付の特許請求の範囲に記載されている以外に本明細書に示されている構成又は設計の詳細については限定がない。したがって、上述した特定の実施形態は、変更又は修正されてもよく、かかる変更形態の全ては、開示された発明の範囲内にあると考えられることが明らかである。したがって、ここで要求される保護は、添付の特許請求の範囲に記載されている。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【手続補正書】
【提出日】2022-06-01
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
処理システムのキャッシュを管理するための方法であって、前記キャッシュのキャッシュコントローラが、前記キャッシュの領域の再利用期間を判定することであって、前記再利用期間は、所定のキャッシュセットの所定のキャッシュラインへのアクセス間の前記キャッシュの前記所定のキャッシュセットへの平均アクセス数を表す、ことと、
前記キャッシュコントローラが、前記再利用期間と、前記キャッシュラインへのキャッシュヒット数のカウントと、に基づいて、前記キャッシュの前記領域の前記キャッシュラインの少なくともサブセットの各キャッシュラインに交換優先レベルを割り当てることと、を含む、
方法。
【請求項2】
前記キャッシュに割り当てられた前記交換優先レベルに基づいて、前記キャッシュの前記領域で交換するためのキャッシュラインを選択することをさらに含む、請求項１の方法。
【請求項3】
前記再利用期間を判定することは、前記キャッシュの前記領域のキャッシュセットの少なくともサブセットのキャッシュセットにおける各キャッシュヒットに応じて、
前記キャッシュヒットのターゲットであるキャッシュラインを含む前記キャッシュセットのウェイに関連するセットアクセスカウント値を累積値に加算して、更新累積値を生成することと、
前記キャッシュヒットのターゲットであるキャッシュラインを含む前記キャッシュセットのウェイに関連する前記セットアクセスカウント値をリセットすることと、
前記キャッシュセットの他のウェイに関連するセットアクセスカウント値をインクリメントすることと、
前記キャッシュセットの少なくともサブセットへの所定数のキャッシュヒットを検出したことに応じて、
キャッシュヒットの前記所定数によって前記更新累積値を平均化して、平均セットアクセスカウント値を生成することと、
前記平均セットアクセスカウント値に基づいて、再利用期間を判定することと、を含む、
請求項１又は２の方法。
【請求項4】
前記キャッシュセットの少なくともサブセットへの所定数のキャッシュヒットを検出したことに応じて、前記平均セットアクセスカウント値を所定の要素でスケーリングして、スケーリングされた平均セットアクセスカウント値を生成すること、をさらに含み、
前記再利用期間を判定することは、前記スケーリングされた平均セットアクセスカウント値に基づいて、前記再利用期間を判定することを含む、
請求項３の方法。
【請求項5】
前記キャッシュの前記領域の前記キャッシュラインの少なくともサブセットの各キャッシュラインに交換優先レベルを割り当てることは、前記キャッシュラインに関連する前記セットアクセスカウント値が前記再利用期間よりも大きくないと判定したことに応じて、及び、前記ウェイに挿入されてからの前記キャッシュラインへのアクセス数がゼロよりも大きいと判定したことに応じて、第１の交換優先レベルを前記キャッシュラインに割り当てることと、
前記キャッシュラインに関連する前記セットアクセスカウント値が前記再利用期間よりも大きくないと判定したことに応じて、及び、前記ウェイに挿入されてからの前記キャッシュラインへの前記アクセス数がゼロに等しいと判定したことに応じて、第２の交換優先レベルを前記キャッシュラインに割り当てることと、を含み、
前記第２の交換優先レベルは、前記第１の交換優先レベルよりも、交換のために選択される可能性が大きいことを表す、
請求項３の方法。
【請求項6】
前記キャッシュの前記領域の前記キャッシュラインの少なくともサブセットの各キャッシュラインに交換優先レベルを割り当てることは、前記キャッシュラインに関連する前記セットアクセスカウント値が前記再利用期間よりも大きいと判定したことに応じて、及び、前記ウェイに挿入されてからの前記キャッシュラインへのアクセス数がゼロよりも大きいと判定したことに応じて、第３の交換優先レベルを前記キャッシュラインに割り当てることと、
前記キャッシュラインに関連する前記セットアクセスカウント値が前記再利用期間よりも大きいと判定したことに応じて、及び、前記ウェイに挿入されてからの前記キャッシュラインへの前記アクセス数がゼロに等しいと判定したことに応じて、第４の交換優先レベルを前記キャッシュラインに割り当てることと、をさらに含み、
前記第３の交換優先レベルは、前記第１の交換優先レベルよりも、交換のために選択される可能性が大きいことを表し、
前記第４の交換優先レベルは、前記第２の交換優先レベルよりも、交換のために選択される可能性が大きいことを表す、
請求項５の方法。
【請求項7】
前記キャッシュに割り当てられた前記交換優先レベルに基づいて、前記キャッシュの前記領域で交換するためのキャッシュラインを選択することをさらに含む、請求項６の方法。
【請求項8】
前記キャッシュの前記領域は、前記キャッシュ全体を含む、請求項１の方法。
【請求項9】
複数のキャッシュセットを含むキャッシュであって、各キャッシュセットは、対応するキャッシュラインを記憶するように構成された複数のウェイを有する、キャッシュと、前記キャッシュのキャッシュラインを挿入及び交換するためのキャッシュ管理ポリシーを実施するように構成されたキャッシュコントローラと、を備え、
前記キャッシュ管理ポリシーは、前記キャッシュラインが最後にアクセスされてからの前記キャッシュラインを記憶するウェイを有するキャッシュセットへのアクセス数と、前記キャッシュの領域に対して判定された再利用期間と、の比較に基づいて、前記キャッシュの前記領域内のキャッシュラインの少なくともサブセットの各キャッシュラインに交換優先レベルの割り当てを提供し、
前記再利用期間は、前記領域の所定のキャッシュセットの所定のキャッシュラインへのアクセス間の前記所定のキャッシュセットへの平均アクセス数を表す、
プロセッサ。
【請求項10】
前記キャッシュは、複数のセットアクセスカウンタであって、各セットアクセスカウンタは、前記キャッシュの前記領域のキャッシュセットの少なくともサブセットのキャッシュセットの対応するウェイに関連付けられており、前記対応するウェイに記憶された前記キャッシュラインが挿入されてからの、又は、最後にアクセスされてからの前記キャッシュセットへのアクセス数を表すセットアクセスカウント値を記憶するように構成されている、複数のセットアクセスカウンタと、
前記キャッシュヒットのターゲットである前記キャッシュセットの少なくともサブセットにおけるキャッシュセットの各ウェイからの前記セットアクセスカウント値を累積値に累積するように構成されたアキュムレータと、
前記キャッシュセットの少なくともサブセットへの所定数のキャッシュヒットを検出したことに応じて、キャッシュヒットの前記所定数による前記累積値の平均に基づいて、前記再利用期間を判定するように構成された平均化／スケーリングコンポーネントと、を備える、
請求項９のプロセッサ。
【請求項11】
前記キャッシュは、複数のラインアクセスカウンタを備え、各ラインアクセスカウンタは、前記キャッシュセットの少なくともサブセットのキャッシュセットの対応するウェイに関連付けられており、前記対応するウェイに記憶された前記キャッシュラインへのアクセス数を表すラインアクセスカウント値を記憶するように構成されている、
請求項１０のプロセッサ。
【請求項12】
前記キャッシュコントローラは、前記キャッシュラインに関連する前記セットアクセスカウント値と前記再利用期間との比較に基づいて、及び、前記キャッシュラインを記憶する前記ウェイの前記ラインアクセスカウント値がゼロ以上であるかどうかの判定に基づいて、前記キャッシュの前記領域のキャッシュラインの少なくともサブセットの各キャッシュラインに交換優先レベルを割り当てることによって、前記キャッシュ管理ポリシーを実施するように構成されている、
請求項１１のプロセッサ。
【請求項13】
前記キャッシュコントローラは、前記キャッシュラインに関連する前記セットアクセスカウント値が前記再利用期間よりも大きくないと判定したことに応じて、及び、前記キャッシュラインに関連するラインアクセスカウントがゼロよりも大きいと判定したことに応じて、第１の交換優先レベルを前記キャッシュラインに割り当てることと、
前記キャッシュラインに関連する前記セットアクセスカウント値が前記再利用期間よりも大きくないと判定したことに応じて、及び、前記キャッシュラインに関連するラインアクセスカウントがゼロに等しいと判定したことに応じて、第２の交換優先レベルを前記キャッシュラインに割り当てることと、
前記キャッシュラインに関連する前記セットアクセスカウント値が前記再利用期間よりも大きいと判定したことに応じて、及び、前記キャッシュラインに関連する前記ラインアクセスカウントがゼロよりも大きいと判定したことに応じて、第３の交換優先レベルを前記キャッシュラインに割り当てることと、
前記キャッシュラインに関連する前記セットアクセスカウント値が前記再利用期間よりも大きいと判定したことに応じて、及び、前記ラインアクセスカウントがゼロに等しいと判定したことに応じて、第４の交換優先レベルを前記キャッシュラインに割り当てることと、
によって、交換優先レベルをキャッシュセットのキャッシュラインに割り当てるように構成されており、
前記第２の交換優先レベルは、前記第１の交換優先レベル及び前記第３の交換優先レベルよりも、交換のために選択される可能性が大きいことを表し、
前記第３の交換優先レベルは、前記第１の交換優先レベルよりも、交換のために選択される可能性が大きいことを表し、
前記第４の交換優先レベルは、前記第２の交換優先レベルよりも、交換のために選択される可能性が大きいことを表す、
請求項１２のプロセッサ。
【請求項14】
前記キャッシュコントローラは、前記キャッシュセットの各キャッシュラインに割り当てられた交換優先レベルの比較に基づいて交換用のキャッシュセットのキャッシュラインを選択することによって、前記キャッシュ管理ポリシーを実施するように構成されている、
請求項１３のプロセッサ。
【請求項15】
前記キャッシュヒットの前記所定数は２Ｍに等しく、Ｍは１よりも大きい整数であり、前記平均化／スケーリングコンポーネントは、前記累積値をＭビット位置まで右にシフトすることによって、前記再利用期間を判定するように構成されている、
請求項１０のプロセッサ。
【国際調査報告】