特表 2024-511768 ＤＲＡＭキャッシュタグプリフェッチャ用の方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-03-15

(54)【発明の名称】ＤＲＡＭキャッシュタグプリフェッチャ用の方法及び装置

(51)【国際特許分類】

   G06F 12/0862 20160101AFI20240308BHJP

   G06F 12/0875 20160101ALI20240308BHJP

【ＦＩ】

G06F12/0862 105

G06F12/0875 100

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023557722

(86)(22)【出願日】2022-03-08

(85)【翻訳文提出日】2023-10-20

(86)【国際出願番号】 US2022019392

(87)【国際公開番号】W WO2022211992

(87)【国際公開日】2022-10-06

(31)【優先権主張番号】17/219,782

(32)【優先日】2021-03-31

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】591016172

【氏名又は名称】アドバンスト・マイクロ・ディバイシズ・インコーポレイテッド

【氏名又は名称原語表記】ＡＤＶＡＮＣＥＤ ＭＩＣＲＯ ＤＥＶＩＣＥＳ ＩＮＣＯＲＰＯＲＡＴＥＤ

(74)【代理人】

【識別番号】100108833

【弁理士】

【氏名又は名称】早川 裕司

(74)【代理人】

【識別番号】100111615

【弁理士】

【氏名又は名称】佐野 良太

(74)【代理人】

【識別番号】100162156

【弁理士】

【氏名又は名称】村雨 圭介

(72)【発明者】

【氏名】ジャガディッシュ ビー． コトゥラ

(72)【発明者】

【氏名】マルコ スクルバック

(72)【発明者】

【氏名】マシュー レイモンド ポレンバ

【テーマコード（参考）】

5B205

【Ｆターム（参考）】

5B205JJ11

5B205MM03

5B205NN92

5B205UU31

(57)【要約】

キャッシュプリフェッチング用のデバイス及び方法を提供する。メモリ及びプロセッサを含むデバイスが提供される。メモリは、ＤＲＡＭキャッシュ、プロセッサ専用のキャッシュ、及び、当該専用のキャッシュと当該ＤＲＡＭキャッシュとの間の１つ以上の中間キャッシュを含む。プロセッサは、データをプリフェッチするためのプリフェッチ要求を発行することと、データをフェッチするためのデータアクセス要求を発行することと、以前に発行された１つ以上のプリフェッチ要求が不正確であると判定された場合に、ＤＲＡＭキャッシュ内の要求データのメモリアドレスに対応する、タグをプリフェッチするためのプリフェッチ要求を発行することと、を実行するように構成されている。専用キャッシュ又は中間キャッシュにおいてタグルックアップを実行せずに、タグルックアップがＤＲＡＭキャッシュにおいて実行される。要求データをプリフェッチングすることなく、タグがＤＲＡＭキャッシュからプリフェッチされる。
【選択図】図３

【特許請求の範囲】

【請求項1】

処理デバイスであって、
第１キャッシュを含むメモリと、
プロセッサと、を備え、
前記プロセッサは、
データをプリフェッチするためのプリフェッチ要求を発行することと、
前記データをフェッチするためのデータアクセス要求を発行することと、
以前に発行された１つ以上のプリフェッチ要求が不正確であると判定された場合に、前記第１キャッシュから前記データをプリフェッチすることなく、前記第１キャッシュ内の要求されたデータのメモリアドレスに対応する、タグをプリフェッチするためのタグプリフェッチ要求を発行することと、
を実行するように構成されている、
処理デバイス。

【請求項2】

前記第１キャッシュは、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）キャッシュであり、
前記処理デバイスは、
前記プロセッサ専用の第２キャッシュと、
前記プロセッサ専用の前記第２キャッシュと前記ＤＲＡＭキャッシュとの間の１つ以上の中間キャッシュと、を更に備え、
以前に発行された１つ以上のプリフェッチ要求が不正確であると判定された場合に、前記プロセッサ専用の第２キャッシュ又は前記１つ以上の中間キャッシュにおいてタグルックアップを実行することなく、前記ＤＲＡＭキャッシュにおいてタグルックアップを実行する、
請求項１の処理デバイス。

【請求項3】

前記プロセッサは、プリフェッチ精度閾値との比較に基づいて、以前に発行された１つ以上のプリフェッチ要求が不正確であるか否かを判定するように構成されている、
請求項１の処理デバイス。

【請求項4】

前記プロセッサは、
前記プロセッサ専用のキャッシュと、前記プロセッサ専用のキャッシュと前記第１キャッシュとの間の１つ以上の中間キャッシュと、においてタグルックアップが実行され、前記以前に発行された１つ以上のプリフェッチ要求が正確であると判定された場合に前記データがプリフェッチされる、第１プリフェッチングモードで動作することと、
前記以前に発行された１つ以上のプリフェッチ要求が不正確であると判定された場合に、前記データをプリフェッチすることなく、且つ、前記プロセッサ専用のキャッシュ及び前記１つ以上の中間キャッシュにおいて前記タグルックアップを実行することなく、前記タグが前記第１キャッシュからプリフェッチされる、第２プリフェッチングモードで動作することと、
を実行するように構成されている、
請求項１の処理デバイス。

【請求項5】

前記プロセッサは、
前記以前に発行された１つ以上のプリフェッチ要求が正確であると判定されたか否かに基づいて、
前記第１プリフェッチングモード及び前記第２プリフェッチングモードのうち一方の動作を維持することと、
前記第１プリフェッチングモード及び前記第２プリフェッチングモードのうち一方から、前記第１プリフェッチングモード及び前記第２プリフェッチングモードのうち他方へと動作を切り替えることと、
のうち何れかを実行するように構成されている、
請求項４の処理デバイス。

【請求項6】

前記プロセッサは、前記第１プリフェッチングモード及び前記第２プリフェッチングモードのうち一方の動作中に、１つ以上の発行されたプリフェッチ要求のプリフェッチ精度を監視し続けるように構成されている、
請求項４の処理デバイス。

【請求項7】

前記プロセッサは、第１キャッシュ帯域幅の使用量がメモリ帯域幅閾値以上である場合に、前記データをプリフェッチすることなく、前記タグが前記第１キャッシュからプリフェッチされるように、第１キャッシュ帯域幅を監視するように構成されている、
請求項１の処理デバイス。

【請求項8】

タグキャッシュを更に備え、
前記プロセッサは、前記タグプリフェッチ要求の前記タグが前記第１キャッシュにある場合に、前記第１キャッシュから前記タグをプリフェッチし、前記タグに対応する前記データをプリフェッチすることなく、前記タグを前記タグキャッシュに配置するように構成されている、
請求項１の処理デバイス。

【請求項9】

前記プロセッサは、次のプリフェッチ要求に対して、
次に要求されるタグが前記タグキャッシュ内にあるかどうかを判定することと、
前記次に要求されるタグが前記タグキャッシュ内にあると判定された場合に、前記次に要求されるタグに対応するデータを前記第１キャッシュからプリフェッチすることと、
前記次に要求されるタグが前記タグキャッシュ内にないと判定された場合に、メインメモリからデータをプリフェッチすることと、
を実行するように構成されている、
請求項８の処理デバイス。

【請求項10】

キャッシュプリフェッチングの方法であって、
データをプリフェッチするためのプリフェッチ要求を発行することと、
前記データをフェッチするためのデータアクセス要求を発行することと、
以前に発行された１つ以上のプリフェッチ要求が不正確であると判定された場合に、第１キャッシュから前記データをプリフェッチすることなく、前記第１キャッシュ内の要求されたデータのメモリアドレスに対応する、タグをプリフェッチするためのタグプリフェッチ要求を発行することと、を含む、
方法。

【請求項11】

前記第１キャッシュは、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）キャッシュであり、
以前に発行された１つ以上のプリフェッチ要求が不正確であると判定された場合に、前記プリフェッチ要求を発行するプロセッサ専用の第２キャッシュにおいて、又は、前記プロセッサ専用の前記第２キャッシュと前記ＤＲＡＭキャッシュとの間の１つ以上の中間キャッシュにおいてタグルックアップを実行することなく、前記ＤＲＡＭキャッシュにおいてタグルックアップを実行する、
請求項１０の方法。

【請求項12】

プリフェッチ精度閾値との比較に基づいて、以前に発行された１つ以上のプリフェッチ要求が不正確であるか否かを判定することを更に含む、
請求項１０の方法。

【請求項13】

前記プリフェッチ要求を発行するプロセッサ専用のキャッシュと、前記プロセッサ専用のキャッシュと前記第１キャッシュとの間の１つ以上の中間キャッシュと、においてタグルックアップが実行され、前記以前に発行された１つ以上のプリフェッチ要求が正確であると判定された場合に前記データがプリフェッチされる、第１プリフェッチングモードで動作することと、
前記以前に発行された１つ以上のプリフェッチ要求が不正確であると判定された場合に、前記データをプリフェッチすることなく、且つ、前記プロセッサ専用のキャッシュ及び前記１つ以上の中間キャッシュにおいて前記タグルックアップを実行することなく、前記タグが前記第１キャッシュからプリフェッチされる、第２プリフェッチングモードで動作することと、を更に含む、
請求項１０の方法。

【請求項14】

前記以前に発行された１つ以上のプリフェッチ要求が正確であると判定されたか否かに基づいて、
前記第１プリフェッチングモード及び前記第２プリフェッチングモードのうち一方の動作を維持することと、
前記第１プリフェッチングモード及び前記第２プリフェッチングモードのうち一方から、前記第１プリフェッチングモード及び前記第２プリフェッチングモードのうち他方へと動作を切り替えることと、
のうち何れかを実行することを更に含む、
請求項１３の方法。

【請求項15】

前記第１プリフェッチングモード及び前記第２プリフェッチングモードのうち一方の動作中に、１つ以上の発行されたプリフェッチ要求のプリフェッチ精度を監視し続けることを更に含む、
請求項１３の方法。

【請求項16】

第１キャッシュ帯域幅の使用量がメモリ帯域幅閾値以上である場合に、前記データをプリフェッチすることなく、前記タグが前記第１キャッシュからプリフェッチされるように、第１キャッシュ帯域幅を監視することを更に含む、
請求項１０の方法。

【請求項17】

前記タグプリフェッチ要求の前記タグが前記第１キャッシュにある場合に、前記第１キャッシュから前記タグをプリフェッチし、前記タグに対応する前記データをプリフェッチングすることなく、前記タグを前記タグキャッシュに配置する、
請求項１０の方法。

【請求項18】

次のプリフェッチ要求に対して、
次に要求されるタグが前記タグキャッシュ内にあるかどうかを判定することと、
前記次に要求されるタグが前記タグキャッシュ内にあると判定された場合に、前記次に要求されるタグに対応するデータを前記第１キャッシュからプリフェッチすることと、
前記次に要求されるタグが前記タグキャッシュ内にないと判定された場合に、メインメモリからデータをプリフェッチすることと、を更に含む、
請求項１７の方法。

【請求項19】

キャッシュプリフェッチングの方法をコンピュータに実行させる命令を含むコンピュータ可読記憶媒体であって、
前記命令は、
データをプリフェッチするためのプリフェッチ要求を発行することと、
前記データをフェッチするためのデータアクセス要求を発行することと、
以前に発行された１つ以上のプリフェッチ要求が不正確であると判定された場合に、第１キャッシュから前記データをプリフェッチすることなく、前記第１キャッシュ内の要求されたデータのメモリアドレスに対応する、タグをプリフェッチするためのタグプリフェッチ要求を発行することと、を含む、
コンピュータ可読記憶媒体。

【請求項20】

前記第１キャッシュは、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）キャッシュであり、
以前に発行された１つ以上のプリフェッチ要求が不正確であると判定された場合に、前記プリフェッチ要求を発行するプロセッサ専用の第２キャッシュにおいて、又は、前記プロセッサ専用の前記第２キャッシュと前記ＤＲＡＭキャッシュとの間の１つ以上の中間キャッシュにおいてタグルックアップを実行することなく、前記ＤＲＡＭキャッシュにおいてタグルックアップを実行する、
請求項１９のコンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本願は、２０２１年３月３１日付けで出願された「ＭＥＴＨＯＤ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＦＯＲ Ａ ＤＲＡＭ ＣＡＣＨＥ ＴＡＧ ＰＲＥＦＥＴＣＨＥＲ」と題する係属中の米国特許出願第１７／２１９、７８２号の利益を主張するものであり、この全体が参照により本明細書に援用される。

【背景技術】

【0002】

キャッシュメモリは、より大きいが（容量が大きい）、より遅い（アクセス時間が長い）メモリ部で頻繁にアクセスされるデータのコピーをキャッシュに格納することにより、より大きなランダムアクセスメモリ（ＲＡＭ）部（例えば、メインメモリ）に格納されたデータへのアクセスを高速化するために使用される。プロセッサが、（例えば、アドレスによって識別される）より大きいメモリ部分へのアクセス（例えば、そこからデータを読み出す又はそこにデータを書き込む）を要求する場合に、プロセッサは、最初に、データのコピーがキャッシュに記憶されているかどうかを判定する。データのコピーがキャッシュに記憶されていると判定された場合、プロセッサは、キャッシュにアクセスし、データのより効率的なアクセスを容易にする。

【0003】

添付の図面と共に例として与えられる以下の説明から、より詳細な理解を得ることができる。

【図面の簡単な説明】

【0004】

【図1】本開示の１つ以上の特徴を実装することができる例示的なデバイスのブロック図である。

【図2】本開示の１つ以上の特徴を実装するための例示的な構成要素を示すブロック図である。

【図3】本開示の特徴に係る、ＤＲＡＭキャッシュプリフェッチングの例示的な方法を示すフロー図である。

【図4A】本開示の特徴に係る、プリフェッチング精度が高い条件で使用される第１プリフェッチングモードにおける例示的なフローを示すブロック図である。

【図4B】本開示の特徴に係る、プリフェッチング精度が低い条件で使用される第２プリフェッチングモードにおける例示的なフローを示すブロック図である。

【発明を実施するための形態】

【0005】

頻繁にアクセスされるデータは、通常、キャッシュラインとも称される固定サイズのブロックとして、より大容量で遅いメモリからキャッシュへとコピーされる。キャッシュラインがキャッシュにコピーされると、コピーされたデータ及び要求されたメモリアドレスの一部（例えば、タグ）を含むキャッシュエントリが生成される（つまり、キャッシュに配置される）。後続メモリ要求に関連するタグがキャッシュ内のタグと一致すると、キャッシュヒットが発生し、キャッシュライン内のデータがアクセスされる。しかし、タグが一致しない場合、キャッシュミスが発生し、新しいエントリがキャッシュに割り当てられ、より大容量で遅いメモリからデータがキャッシュにコピーされ、アクセスされる。以下で詳細に説明するように、ダイレクトマッピング及びアソシアティブマッピングを含む様々なマッピングポリシーに従って、既存のエントリを新たなエントリで置き換える（例えば、削除させる）ことができる。

【0006】

主な種類のＲＡＭには、スタティックランダムアクセスメモリ（ＳＲＡＭ）及びダイナミックランダムアクセスメモリ（ＤＲＡＭ）が含まれる。ＳＲＡＭはＤＲＡＭよりも高速なメモリ（例えば、データアクセスにかかる時間が短い）であるため、キャッシュメモリとして使用されることが多い。ＤＲＡＭはＳＲＡＭよりも低コスト（例えば、消費電力が少ない）であり、ＳＲＡＭよりも大きなメモリ容量と密度を提供する。したがって、ＤＲＡＭは、通常、メモリ（例えば、メインメモリ）における、より大容量であるが遅い（つまり、アクセス時間が長い）部分として使用される。

【0007】

メモリ量及び性能の増加が求められていることにより、最近では、オフチップメインメモリ用に大容量で高密度のキャッシュストレージを提供する方法として、キャッシュ（例えば、ＤＲＡＭキャッシュ）を使用する従来型アプローチが開発されている。例えば、こうした従来型アプローチは、メモリ（例えば、メインメモリ等の不揮発性メモリ）における、より大きく（つまり、容量がより大きい）、より遅い（つまり、アクセス時間がより長い）部分を、オフチップメモリ（例えば、メインメモリ）よりも小さく、より高速であるが（すなわち、アクセス時間が短い）、ＳＲＡＭよりも遅いキャッシュメモリ（例えば、ＤＲＡＭ、高帯域幅メモリ又は他の高性能メモリ）の部分と共に提供する。

【0008】

より速いメモリ（例えば、ＤＲＡＭ）は、より遅いメモリ用のキャッシュとして動作しているので、ＤＲＡＭキャッシュにコピーされたデータは、上述したようにタグ付けされ、要求データがキャッシュ内にあるかどうかを判定する。更に、タグをＳＲＡＭに格納するための面積オーバーヘッドが実現不可能であるため、通常、キャッシュタグはＤＲＡＭキャッシュ内に格納される。したがって、データへのアクセス要求が出されると、要求データに関連付けられたタグが、キャッシュ内（例えば、ＤＲＡＭキャッシュ内）のデータに関連付けられたタグと一致するかどうかをチェックすることにより、要求データがキャッシュされているかどうか（例えば、レベル１（Ｌ１）キャッシュ内、レベル２（Ｌ２）キャッシュ内、レベル３（Ｌ３）キャッシュ内及びＤＲＡＭキャッシュ内）を判定する。タグチェックは、セットアソシアティブＤＲＡＭキャッシュでは、データアクセスと共に直列化されるが、ＳＲＡＭキャッシュでは並列で実行できる。ＤＲＡＭキャッシュ内のシリアルタグ及びデータルックアップは、更なるレイテンシをもたらし、性能全体に悪影響を与える。

【0009】

このレイテンシを削減するために、ダイレクトマッピング及びアソシアティブマッピング等の様々なキャッシュマッピングポリシーを使用することができる。例えば、ダイレクトマッピングポリシーをキャッシュに使用する場合、各タグ（つまり、メモリアドレス）がキャッシュの特定部分（例えば、セットインデックス）に割り当てられる。インデックス及びオフセットを（例えば、ビット演算子又は簡素な算術によって）簡単に計算できるので、メモリとキャッシュとのマッピングを容易に実装でき、更に、多くのキャッシュラインを検索する必要がないので、データをキャッシュに配置する際に消費される電力も抑えられる。しかしながら、多くのアドレスが同じキャッシュインデックスにマッピングされている場合に、未使用のキャッシュラインが存在するにもかかわらず、ダイレクトマッピングキャッシュのキャッシュラインが繰り返し追い出される（エビクトされる）可能性がある。したがって、ダイレクトマッピングは、全体的なキャッシュヒットレイテンシの削減に効果的だが、キャッシュミスレートが全体的に高くなる場合がある。

【0010】

フルアソシアティブマッピングポリシーを使用する場合、新規エントリを任意のキャッシュロケーション（例えば、アドレス）にコピーすることができ、更に、データをキャッシュ内の何処にでも配置することができるので、競合ミスが削減される。しかし、フルアソシアティブキャッシュは、アドレス全体がタグとして使用されるため、実装コストが非常に高く、タグ格納オーバーヘッドが大幅に増加する。

【0011】

更に、データが何れのキャッシュラインにも配置され得るので、キャッシュ内の各キャッシュブロックのタグをチェックする必要があり、これにより、電力消費、レイテンシ及びメモリ帯域幅が増加する。したがって、アソシアティブキャッシュがダイレクトマッピングされたキャッシュよりもキャッシュミスレートが低いものの、ダイレクトマッピングされたキャッシュよりもハードウェアコスト、電力消費、レイテンシ及びメモリ帯域幅使用量が増加する。

【0012】

Ｎウェイセットアソシアティブマッピングポリシーを使用する場合、各エントリがＮ本のキャッシュラインを含むセットに割り当てられ、各ラインが任意のタグからのデータを保持できる。セットアソシアティブキャッシュの場合、Ｎウェイセットアソシアティブポリシーにおけるライン数Ｎが大きいほど、アソシアティビティが大きくなり、キャッシュミスの確率が低くなる。しかし、連想性の増加には、ライン数Ｎの増加及び検索するアドレス数の増加を伴い、これにより、レイテンシ及び電力消費が増加する。

【0013】

幾つかの従来技術には、タグルックアップに関連するレイテンシ（つまり、タグアクセスレイテンシ）を最小化する試みとして、特殊なハードウェアデータ構造が含まれている。例えば、幾つかの従来技術では、予測子を使用して、要求データがキャッシュヒットになるか、あるいは、キャッシュミスになるかを予測する。しかし、予測子の使用は、メモリ容量及び追跡可能な情報量に制約され、これにより、全体的な性能が制限される。更に、こうした従来技術では、許容できるアクセスレイテンシと併せて、十分な連想性が得られない。

【0014】

データプリフェッチングとは、実際にデータの実行が要求される前に、より速い方のメモリに配置されるように、より遅い方のメモリからデータをフェッチングすることによって、性能を向上させる（例えば、データアクセスレイテンシを削減する）ために使用される技術である。しかし、効率的なプリフェッチングは、精度及び適時性の双方に依存する。キャッシュラインを削除する前に、プリフェッチされたキャッシュラインがフェッチされ、要求元（例えば、ＣＰＵコア）によって使用された場合、プリフェッチは正確である。プリフェッチとは、データが実際に要求され、実行で使用される前に、データがフェッチされ、キャッシュに格納されるタイミングで実行される、適時的なものである。

【0015】

従来のプリフェッチングシステムでは、プリフェッチングの結果が不正確な場合（つまり、キャッシュからプリフェッチされたデータが、複数クロックサイクル以内に、あるいは、データがキャッシュから削除される前に実行要求されない場合）、こうした従来型システムは、プリフェッチ回数を削減するか、あるいは、プリフェッチングを停止する（例えば、プリフェッチャを無効にする）ことによって、不正確さの問題に対処している。しかし、プリフェッチが不正確であっても、得られるヒットレートはゼロではないため、これらのアプローチが効率的であるとは言えない。

【0016】

本開示の特徴は、帯域幅使用量を効率的に維持しつつ、以前のプリフェッチからのフィードバック情報に基づいて、タグプリフェッチを推測的に発行することにより、タグアクセスレイテンシを削減する方法及び装置を提供する。プリフェッチャを無効にし、又は、プリフェッチ数を削減する代わりに、対応するデータをプリフェッチすることなく、タグをプリフェッチする。したがって、プリフェッチング帯域幅は、データではなく、タグについて消費されるので、不正確であると判定されたプリフェッチのデータについて、帯域幅が無駄になるのを防止できる。更に、タグをフェッチする際のレイテンシが削減され、その結果、レイテンシ及びエネルギー消費が削減されることにより、より効率的な実行が可能となる。本開示の特徴は、セットアソシアティブＤＲＡＭキャッシュのプリフェッチの精度を示すフィードバックを利用することにより、従来のセットアソシアティブキャッシュに起因するレイテンシを増加させることなく、セットアソシアティブキャッシュによるキャッシュミスを低減させるという利点を活用する。プリフェッチが不正確であると判定された場合、プロセッサ専用のキャッシュ（例えば、Ｌ１キャッシュ）及び中間キャッシュ（例えば、Ｌ２キャッシュ、Ｌ３キャッシュ）からのプリフェッチングが迂回され、タグに対応するデータをプリフェッチすることなく、ＤＲＡＭキャッシュからタグがプリフェッチされ、これにより、ＤＲＡＭキャッシュ内のデータのプリフェッチングが不正確となる帯域幅の使用が削減される。更に、ＤＲＡＭキャッシュからタグをプリフェッチするだけで（つまり、データをプリフェッチすることなく）、実際にデータの実行が要求された場合、後になってＤＲＡＭキャッシュからタグをフェッチする際のアクセスレイテンシが削減される。帯域幅の削減及びＤＲＡＭアクセスレイテンシの削減によって、キャッシュの連想性とＤＲＡＭキャッシュ・ヒット・レートが上がりやすくなり、全体的な性能が向上する。

【0017】

説明を簡略化するため、本明細書では、ＤＲＡＭキャッシュからタグプリフェッチを推測的に発行する例について説明する。しかし、オフチップメモリ（例えば、メインメモリ）にアクセスするよりも高速でアクセスされる他の種類の非ＳＲＡＭキャッシュからタグプリフェッチを推測的に発行することによって、本開示の特徴を実装できる。

【0018】

メモリ及びプロセッサを含む処理デバイスが提供される。メモリは、第１キャッシュを含む。プロセッサは、データをプリフェッチするためのプリフェッチ要求を発行することと、データをフェッチするためのデータアクセス要求を発行することと、更に、以前に出された１つ以上のプリフェッチ要求が不正確であると判定された場合に、第１キャッシュからデータをプリフェッチすることなく、第１キャッシュ内の要求データのメモリアドレスに対応する、タグをプリフェッチするためのタグプリフェッチ要求を発行することと、を実行するように構成されている。第１キャッシュは、例えば、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）キャッシュであり、この処理デバイスは、プロセッサ専用の第２キャッシュと、プロセッサ専用の第２キャッシュとＤＲＡＭキャッシュとの間の１つ以上の中間キャッシュと、を更に含む。

【0019】

キャッシュプリフェッチングの方法が提供されており、この方法は、データをプリフェッチするためのプリフェッチ要求を発行することと、データをフェッチするためのデータアクセス要求を発行することと、更に、以前に出された１つ以上のプリフェッチ要求が不正確であると判定された場合に、第１キャッシュからデータをプリフェッチすることなく、第１キャッシュ内の要求データのメモリアドレスに対応する、タグをプリフェッチするためのタグプリフェッチ要求を発行することと、を含む。

【0020】

非一時的なコンピュータ可読記憶媒体であって、コンピュータに対して、キャッシュプリフェッチングの方法を実行させる命令を含み、この命令は、データをプリフェッチするためのプリフェッチ要求を発行することと、データをフェッチするためのデータアクセス要求を発行することと、更に、以前に出された１つ以上のプリフェッチ要求が不正確であると判定された場合に、第１キャッシュからデータをプリフェッチすることなく、第１キャッシュ内の要求データのメモリアドレスに対応する、タグをプリフェッチするためのタグプリフェッチ要求を発行することと、を実行するように構成されている。

【0021】

図１は、本開示の１つ以上の特徴が実装され得る例示的なデバイス１００のブロック図である。デバイス１００は、例えば、コンピュータ、ゲームデバイス、ハンドヘルドデバイス、セットトップボックス、テレビ、携帯電話、又は、タブレットコンピュータを含み得る。デバイス１００は、プロセッサ１０２、メモリ１０４、記憶装置１０６、１つ以上の入力デバイス１０８、及び、１つ以上の出力デバイス１１０を含む。また、デバイス１００は、オプションで、入力ドライバ１１２及び出力ドライバ１１４を含み得る。デバイス１００は、図１に示されていない追加の構成要素を含み得ることを理解されたい。

【0022】

様々な代替例では、プロセッサ１０２は、中央処理ユニット（central processing unit、ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、同じダイ上に位置するＣＰＵ及びＧＰＵ、又は、１つ以上のプロセッサコアを含み、各プロセッサコアは、ＣＰＵ又はＧＰＵとすることができる。様々な代替例では、メモリ１０４は、プロセッサ１０２と同じダイ上に位置しているか、又は、プロセッサ１０２とは別に位置する。メモリ１０４は、揮発性又は不揮発性メモリ（例えば、ランダムアクセスメモリ（random access memory、ＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、キャッシュ）を含む。

【0023】

記憶装置１０６は、固定又はリムーバブル記憶装置（例えば、ハードディスクドライブ、ソリッドステートドライブ、光ディスク、フラッシュドライブ）を含む。入力デバイス１０８は、キーボード、キーパッド、タッチスクリーン、タッチパッド、検出器、マイクロフォン、加速度計、ジャイロスコープ、生体認証スキャナ、又は、ネットワーク接続（例えば、無線ＩＥＥＥ８０２シグナルの送信及び／又は受信のための無線ローカルエリアネットワークカード）を含むが、これらに限定されない。出力デバイス１１０は、ディスプレイ、スピーカ、プリンタ、触覚フィードバックデバイス、１つ以上の光、アンテナ、又は、ネットワーク接続（例えば、無線ＩＥＥＥ８０２シグナルの送信及び／又は受信のための無線ローカルエリアネットワークカード）を含むが、これらに限定されない。

【0024】

入力ドライバ１１２は、プロセッサ１０２及び入力デバイス１０８と通信し、プロセッサ１０２が入力デバイス１０８から入力を受信できるようにする。出力ドライバ１１４は、プロセッサ１０２及び出力デバイス１１０と通信し、プロセッサ１０２が出力デバイス１１０に出力を送信できるようにする。入力ドライバ１１２及び出力ドライバ１１４は、オプションの構成要素であること、並びに、デバイス１００は、入力ドライバ１１２及び出力ドライバ１１４が存在しない場合に、同じ方式で動作することに留意されたい。出力ドライバ１１４は、表示デバイス１１８に結合されたアクセラレーテッド処理デバイス（accelerated processing device、ＡＰＤ）１１６を含む。ＡＰＤは、プロセッサ１０２から計算コマンド及びグラフィックスレンダリングコマンドを受け入れて、それらの計算及びグラフィックスレンダリングコマンドを処理し、表示のために表示デバイス１１８にピクセル出力を提供するように構成されている。以下で更に詳細に説明するように、ＡＰＤ１１６は、単一命令複数データ（single-instruction-multiple-data、ＳＩＭＤ）パラダイムに従って計算を行うように構成された１つ以上の並列処理ユニットを含む。こうして、様々な機能は、本明細書では、ＡＰＤ１１６によって又はＡＰＤ１１６と併せて実行されるものとして説明されているが、様々な代替例では、ＡＰＤ１１６によって行われるものとして説明される機能は、ホストプロセッサ（例えば、プロセッサ１０２）によって駆動されず、表示デバイス１１８にグラフィック出力を提供するように構成された同様の能力を有する他のコンピューティングデバイスによって、追加的又は代替的に行われる。例えば、ＳＩＭＤパラダイムに従って処理タスクを行う任意の処理システムが、本明細書に説明される機能を行うように構成され得ることが企図される。代替的に、ＳＩＭＤパラダイムに従って処理タスクを行わないコンピューティングシステムが、本明細書に説明される機能を行うことが企図される。

【0025】

図２は、本開示の１つ以上の特徴を実装するための例示的な構成要素を示すブロック図である。図２で示される構成要素は、例えば、図１に示されるデバイス１００等の処理デバイスの構成要素である。図２で見られるように、構成要素には、メモリ１０４（例えば、メインメモリ）、プロセッサコア２０４、メモリコントローラ／プロセッサ２０８、レベル１（Ｌ１）キャッシュ２１２、レベル２（Ｌ２）キャッシュ２１４、レベルＮ（ＬＮ）ＤＲＡＭキャッシュ２１６、キャッシュコントローラ２１０、２１８、２２０、プリフェッチャ２２２、２２４、２２６、及び、タグキャッシュ２２８が含まれる。

【0026】

プロセッサコア２０４は、例えば、ＣＰＵ又はアクセラレーテッドプロセッサ（例えば、ＧＰＵ）等の任意のプロセッサタイプの一部である。

【0027】

Ｌ１キャッシュ２１２、Ｌ２キャッシュ２１４、及び、ＬＮ ＤＲＡＭキャッシュ２１６は、セットアソシアティブマッピングポリシーを実装するように構成されている。本開示の特徴は、任意のレベル数（Ｎ）のキャッシュを使用して実装することができる。例えば、図２に示されるように、構成要素は、複数のプロセッサコア２０４を含む。各コア２０４は、専用の（他のコアと共有されない）Ｌ１キャッシュ２１２と、対応するＬ１キャッシュ２１２と通信し、対応するＬ１キャッシュ２１２を使用してデータを処理するように構成されたＬ１キャッシュコントローラ２１８と、を含む。

【0028】

図２で見られるように、構成要素は、レベル２キャッシュ２１４と通信し、Ｌ２キャッシュ２１４を使用してデータを処理するように構成されたＬ２キャッシュコントローラ２２０も更に含む。Ｌ２キャッシュ２１４は、プロセッサコア２０４によって共有される。説明を簡略化するために図示していないが、デバイスは、キャッシュ階層に任意の数の追加キャッシュ（例えば、Ｌ３キャッシュ）を含めることができる。例えば、各Ｌ３キャッシュは、単一プロセッサ（例えば、ＣＰＵ又はＧＰＵ）あるいは複数のプロセッサコアによって共有することができる。

【0029】

各キャッシュコントローラは、下位レベルのキャッシュコントローラ及び次のレベルのキャッシュコントローラと通信する。例えば、説明を簡略化するために、キャッシュコントローラ２２０は、キャッシュコントローラ２１８及びキャッシュコントローラ２１０と通信するように示されている。しかし、任意のＮレベルを使用できるので、キャッシュコントローラ２２０は、レベル３キャッシュコントローラ（図示せず）と通信できることを理解されたい。ＬＮ ＤＲＡＭキャッシュ２１６及びＬＮ ＤＲＡＭキャッシュコントローラ２１０は、例えば、ＣＰＵ又はＧＰＵのキャッシュ等のように、同じダイ又は複数のダイ上に配置可能な複数のプロセッサのキャッシュと通信し、これらのキャッシュによって共有可能である。更に、図２では、ＬＮ ＤＲＡＭキャッシュ２１６がメインメモリ１０４とは別のものとして示されているが、レベルＮ ＤＲＡＭキャッシュ２１６は、メインメモリ１０４とは別のもの又はその一部としてもよい。

【0030】

図２で更に示されるように、各レベルはプリフェッチャ２２２、２２４、２２６を含む。幾つかの例において、１つ以上のレベルは、独自の専用プリフェッチャを含まない。本開示の特徴は、任意の数のプリフェッチャで実装することができる。プリフェッチャは、ハードウェア、ソフトウェア、あるいは、ハードウェアとソフトウェアとの組み合わせで実装可能である。例えば、ハードウェアベースのプリフェッチングは、通常、対応するキャッシュと通信する専用ハードウェア機構を介して実装され、実行中のプログラムによって要求される命令及びデータを動的に（コンパイラに依存することなく実行時に）監視し、要求される次のデータを予測し、更に、プログラムを実行するために実際にデータが要求される前に、データを要求元のプロセッサのキャッシュにプリフェッチする。ソフトウェアベースのプリフェッチングは、例えば、プログラムがコンパイルされる際に、命令を解析し、追加のプリフェッチング命令をプログラムに挿入するように、コンパイラを構成することによって実装される。

【0031】

メモリコントローラ／プロセッサ２０８は、メモリ１０４（例えば、メインメモリ）及びキャッシュコントローラ２２０、２１８と通信する。図２で見られるように、複数のクライアント２０６は、メモリコントローラ／プロセッサ２０８と通信する。メモリコントローラ／プロセッサ２０８は、メモリ（例えば、メモリ１０４、Ｌ１キャッシュ２１２、Ｌ２キャッシュ２１４、ＬＮキャッシュ２１６）との間のデータの流れを制御する。例えば、メモリからデータにアクセスする要求が出されると、メモリコントローラ／プロセッサ２０８は、メモリとの間の読み取り又は書き込み（例えば、キャッシュコントローラ２１８を介してキャッシュ２１２にアクセスし、キャッシュコントローラ２２０を介してキャッシュ２１４にアクセスし、キャッシュコントローラ２１０及びメモリ１０４を介してキャッシュ２１６にアクセスする）によって、要求を処理する。メモリコントローラ／プロセッサ２０８は、要求を受信し、メモリを割り当て、１つ以上のキャッシュへのアクセスを制御し、更に、本明細書で述べる他の様々な機能を実行するように構成されている。例えば、以下で詳細に説明するように、メモリコントローラ／プロセッサ２０８は、データのプリフェッチ要求を出し、データプリフェッチングを伴わないタグプリフェッチ要求を出し、データをフェッチするためのデータアクセス要求を出し、決定されたプリフェッチング精度及びＤＲＡＭキャッシュ帯域幅使用量に基づいて、第１プリフェッチングモード及び第２プリフェッチングモードでの動作を持続又は切り替えるように構成されている。

【0032】

図３は、本開示の特徴に係る、ＤＲＡＭキャッシュプリフェッチングの例示的な方法を示すフロー図である。

【0033】

ブロック３０２で示されるように、方法３００は、第１プリフェッチングモード及び第２プリフェッチングモードの何れかに従ってデータプリフェッチを発行する（出す）ことを含む。例えば、アプリケーションの実行は、図４Ａ及び図４Ｂで示される第１プリフェッチングモード及び第２プリフェッチングモードの何れか一方で開始する（例えば、デフォルト）。

【0034】

図４Ａ及び図４Ｂは、本開示の特徴に係る、２つの異なるプリフェッチングモードを示すブロック図である。図４Ａでは、プリフェッチング精度が高い条件で使用される第１プリフェッチングモードを示している。図４Ｂでは、プリフェッチング精度が低い条件で使用される第２プリフェッチングモードを示している。

【0035】

各レベルキャッシュ（例えば、Ｌ１キャッシュ、Ｌ２キャッシュ、Ｌ３キャッシュ）には、次にアクセスされるデータを予測し、予測されたデータに関するメモリアクセス要求の前に、対応するキャッシュに関するプリフェッチ要求を出そうとするプリフェッチャを含むことができる。しかし、説明を簡略化するため、図４Ａ及び図４Ｂで示す例は、プロセッサコア用の単一プリフェッチャ４０２（例えば、図２のプリフェッチャ２２２）を含み、このプリフェッチャは、プリフェッチ要求（図４Ａ及び図４ＢにおいてＰＲとして示される）を上流の上位レベルキャッシュ及びＤＲＡＭキャッシュ４０４に発行する。更に、図４Ａ及び図４Ｂで示す例には、Ｌ１キャッシュ、Ｌ２キャッシュ及びＬ３キャッシュが含まれるが、本開示の特徴は、任意の階層数のキャッシュレベルを使用して実装可能である。

【0036】

図４Ａで示す第１プリフェッチングモードでの動作中、タグルックアップが専用Ｌ１キャッシュ及び中間レベルキャッシュ（例えば、Ｌ２キャッシュ及びＬ３キャッシュ）で実行され、タグとこのタグに対応するデータの双方が、専用Ｌ１キャッシュ、中間Ｌ２キャッシュ及びＬ３キャッシュ、あるいは、ＤＲＡＭキャッシュ４０４からプリフェッチされ、要求元プリフェッチャ４０２に返される。

【0037】

例えば、図４Ａで見られるように、プリフェッチ要求元４０２からプリフェッチが出される。Ｌ１キャッシュをチェックし、プリフェッチ要求のタグがＬ１キャッシュ内にあるかどうかを判定する。タグがＬ１キャッシュにあると判定された場合、そのタグが既に最下位レベルのキャッシュにあるため、プリフェッチ要求は破棄される。タグがＬ１キャッシュ内にないと判定された場合、Ｌ２キャッシュをチェックし、プリフェッチ要求のタグがＬ２キャッシュにあるかどうかを判定する。タグがＬ２キャッシュにあると判定された場合、データはＬ１キャッシュに戻され、タグ及びデータはＬ１キャッシュに格納される。タグがＬ２キャッシュ内にないと判定された場合、Ｌ３キャッシュをチェックし、プリフェッチ要求のタグがＬ３キャッシュにあるかどうかを判定する。タグがＬ３キャッシュにあると判定された場合、データはＬ２キャッシュに戻されてから、Ｌ１キャッシュに戻される。タグ及びデータはＬ１キャッシュに格納される。Ｌ２キャッシュ割り当てポリシーに応じて、タグ及びデータをＬ２キャッシュに格納することもできる。タグ及びデータがＬ３キャッシュ内にないと判定された場合、ＤＲＡＭキャッシュ４０４をチェックして、プリフェッチ要求が対応するキャッシュにあるかどうかを判定する。タグ及びデータの双方がＤＲＡＭキャッシュ４０４からフェッチされ、タグヒット時に、データは下位レベルのキャッシュ（Ｌ３、Ｌ２及びＬ１）に戻され、タグ及びデータはＬ１キャッシュに格納される。Ｌ２キャッシュ及びＬ３キャッシュの割り当てポリシーに応じて、タグ及びデータをＬ２キャッシュ及びＬ３キャッシュに格納することもできる。

【0038】

図４Ｂで示す第２プリフェッチングモードでの動作中、タグに対応するデータをプリフェッチすることなく、タグがＤＲＡＭキャッシュ４０４からプリフェッチされて、ＤＲＡＭキャッシュ４０４内のデータのプリフェッチングが不正確となる帯域幅の使用が削減される。すなわち、タグプリフェッチ要求は、物理アドレス及びプリフェッチ種類を示すメタデータのみを含む。付加的又は代替的に、Ｌ１キャッシュ、Ｌ２キャッシュ及びＬ３キャッシュでは、タグルックアップが実行されない（つまり、迂回される）。すなわち、タグプリフェッチ要求は、ＤＲＡＭキャッシュコントローラ（例えば、図２のキャッシュコントローラ２１０）へと直接送信され、キャッシュ階層を迂回する。タグプリフェッチ要求は、ＤＲＡＭキャッシュコントローラによって受信され、別のキュー（例えば、ＤＲＡＭキャッシュ２１６）に格納されて処理される。将来の更新時にタグキャッシュとタグとの統合が容易になるように、プリフェッチされたタグは、設定されたメタデータと共にタグキャッシュに配置される。着信要求があるか、タグプリフェッチキューをルックアップし、重複する要求は全て破棄される。

【0039】

例えば、図４Ｂで見られるように、プリフェッチ要求がプリフェッチャ４０２によって出されると、Ｌ１キャッシュ、Ｌ２キャッシュ及びＬ３キャッシュを迂回して、タグルックアップをＤＲＡＭキャッシュ４０４で実行する。プリフェッチ要求のタグがＤＲＡＭキャッシュ４０４内にある場合、タグはＤＲＡＭキャッシュからプリフェッチされ（例えば、図２に示すプリフェッチャ２２６によって）、タグに対応するデータをプリフェッチすることなく、タグキャッシュ４０６に配置される。したがって、プリフェッチング帯域幅は、データではなく、タグについて消費されるので、不正確であると判定されたプリフェッチのデータについて帯域幅が無駄になるのを防止できる。更に、ＤＲＡＭキャッシュ４０４から対応するデータをプリフェッチすることなく、タグをプリフェッチするだけで、実際にデータの実行が要求された場合、後になってＤＲＡＭキャッシュからタグをフェッチングする際のアクセスレイテンシが削減される。

【0040】

判定ブロック３０４で示されるように、方法３００は、プリフェッチ精度がプリフェッチ精度閾値以下であるかどうかを判定することを含む。例えば、キャッシュラインが削除される前に、以前に出された複数のプリフェッチがフェッチされ、要求元（例えば、ＣＰＵ又はＧＰＵのプロセッサ／コントローラ）により使用されたか否かについて判定する。プリフェッチ精度閾値は、例えば、以前に出された所定数のプリフェッチにおける不正確なプリフェッチ、つまり、所定数のクロックサイクルにわたる不正確な複数のプリフェッチの比率又は割合であり、以前の１つ以上のプリフェッチが不正確であると判定されたかどうかについて判定を実行する。

【0041】

判定ブロック３０４において、プリフェッチ精度がプリフェッチ精度閾値（例えば、許容可能な精度）以下ではないと判定された場合（図３の「いいえ」）、この方法は、ブロック３０６で見られるように、第１プリフェッチングモードでの動作に切り替えるか、あるいは、これを維持することを含む。すなわち、各キャッシュ（例えば、Ｌ１キャッシュ、Ｌ２キャッシュ～ＤＲＡＭキャッシュ）について、タグルックアップを実行し、タグとタグに対応するデータの双方が何れかのキャッシュからプリフェッチされ、要求元プリフェッチャ（例えば、図４のプリフェッチャ４０２又は図２のプロセッサコア２０４のプリフェッチャ２２２）に返される。

【0042】

判定ブロック３０４において、プリフェッチ精度がプリフェッチ精度閾値以下であると判定された場合（図３の「はい」）、この方法は、ブロック３０８で見られるように、第２プリフェッチングモードでの動作に切り替えるか、あるいは、これを維持することを含む。つまり、Ｌ１キャッシュ、Ｌ２キャッシュ及びＬ３キャッシュでは、タグルックアップが実行されず（つまり、迂回される）、タグに対応するデータをプリフェッチすることなく、タグがＤＲＡＭキャッシュ４０４からプリフェッチされて、ＤＲＡＭキャッシュ４０４内のデータのプリフェッチングが不正確となる帯域幅の使用が削減される。

【0043】

更に、第１プリフェッチングモードでの動作中、ブロック３０４において、プリフェッチ精度を監視し続ける。したがって、判定ブロック３０４において、プリフェッチ精度がプリフェッチ精度閾値以下であると判定された場合（図３の「はい」）、プリフェッチングモードは、第１プリフェッチングモードでの動作から第２プリフェッチングモードでの動作に切り替わる。同様に、第２プリフェッチングモードでの動作中、ブロック３０４において、プリフェッチ精度を監視し続ける。したがって、判定ブロック３０４において、プリフェッチ精度がプリフェッチ精度閾値以下ではないと判定された場合（図３の「いいえ」）、プリフェッチングモードは、第２プリフェッチングモードでの動作から第１プリフェッチングモードでの動作に切り替わる。

【0044】

データをプリフェッチすることなくＤＲＡＭキャッシュ４０４からタグをプリフェッチすることに加えて、プリフェッチングの機能は、様々な種類のプリフェッチャに基づいて異なり得る。例えば、データストリームプリフェッチャ又はディレクションプリフェッチャ等のプリフェッチャは、プリフェッチ精度に基づいて、バイナリ方式で制限をオン／オフすることが可能である。つまり、データプリフェッチが出されていない場合でも、将来見込まれる全ての要求データストリームについて、タグプリフェッチがＤＲＡＭキャッシュに出される。

【0045】

ストライドプリフェッチャは、プリフェッチ精度に基づいて距離制限を設定することができる。したがって、プリフェッチ精度がプリフェッチ精度閾値以下であると判定された場合、次の複数のストライドの代わりに、次のストライドをプリフェッチするように、ストライドプリフェッチャを構成することができる。ストライドプリフェッチ精度が低いと判定された場合、各ストライドについて、データを伴わないタグプリフェッチがＤＲＡＭキャッシュに出される。

【0046】

領域ベースのプリフェッチャは、プリフェッチ精度に基づいて距離制限を設定することができる。例えば、直近でアクセスされたメモリ領域のミスマップを監視するように、領域ベースのプリフェッチャが構成される。キャッシュラインへのデータアクセス要求ミスごとに、領域ベースのプリフェッチャは、追跡されたメモリ領域について、信頼度カウンタを更新する。次にデータアクセス要求ミスが発生すると、領域ベースのプリフェッチャは、信頼性閾値を超えた領域のキャッシュラインにプリフェッチ要求を発行するだけである。最後のデータアクセス要求ミスに属する領域のＤＲＡＭキャッシュについて、データを伴わないタグプリフェッチが出される。

【0047】

将来のデータプリフェッチ又は需要要求について、タグキャッシュをチェックする。タグキャッシュヒットが発生すると、ＤＲＡＭキャッシュコントローラは、ＤＲＡＭキャッシュからデータをフェッチするだけである。タグキャッシュミスが発生すると、より遅いメモリ（例えば、メインメモリ、ストレージクラスメモリ）からデータがフェッチされる。キャッシュライン削除とキャッシュラインフィルが発生すると、それに応じて、タグキャッシュが更新され、タグキャッシュに常駐するタグとＤＲＡＭに常駐するタグとの間に食い違いが生じないようにする。

【0048】

プリフェッチが不正確なデータをプリフェッチするための帯域幅ペナルティはなく、正確なプリフェッチの多くでは、ヒットレイテンシが削減される。プリフェッチタグは、メモリ帯域幅利用率をわずかに増加させ得る。したがって、帯域幅使用量がメモリ帯域幅閾値以上（例えば、メモリ帯域幅の使用量が６０％以上）の場合、着信需要要求に関するＤＲＡＭキュー遅延が長くなるのを防止するために、第２プリフェッチングモードが使用されるように、ＤＲＡＭ帯域幅を継続的に監視する。

【0049】

本明細書の開示に基づいて、多くの変形が可能であることを理解されたい。特徴及び要素が特定の組み合わせで上述されているが、各特徴又は要素は、他の特徴及び要素を用いずに単独で、又は、他の特徴及び要素を用いて若しくは用いずに様々な組み合わせで使用することができる。

【0050】

図面及び／又は本明細書で述べる様々な機能ユニット（プロセッサ１０２、入力ドライバ１１２、入力デバイス１０８、出力ドライバ１１４、出力デバイス１１０、アクセラレーテッド処理デバイス１１６、プロセッサコア２０４、メモリコントローラ２０８、レベル１（Ｌ１）キャッシュ２１２、レベル２（Ｌ２）キャッシュ２１４とレベルＮ（ＬＮ）ＤＲＡＭキャッシュ２１６、４０４、キャッシュコントローラ２１０、２１８、２２０、プリフェッチャ２２２、２２４、２２６、４０２、及び、タグキャッシュ２２８、４０６を含むが、これらに限定されない）は、汎用コンピュータ、プロセッサ若しくはプロセッサコアとして、又は、汎用コンピュータ、プロセッサ若しくはプロセッサコアによって実行可能な非一時的なコンピュータ可読記憶媒体若しくは別の媒体に格納されたプログラム、ソフトウェア若しくはファームウェアとして実装することができる。提供される方法は、汎用コンピュータ、プロセッサ又はプロセッサコアにおいて実装することができる。好適なプロセッサとしては、例として、汎用プロセッサ、専用プロセッサ、従来型プロセッサ、デジタルシグナルプロセッサ（digital signal processor、ＤＳＰ）、複数のマイクロプロセッサ、ＤＳＰコアと関連する１つ以上のマイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路（Application Specific Integrated Circuit、ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（Field Programmable Gate Array、ＦＰＧＡ）回路、任意の他のタイプの集積回路（integrated circuit、ＩＣ）、及び／又は、状態マシンが挙げられる。そのようなプロセッサは、処理されたハードウェア記述言語（hardware description language、ＨＤＬ）命令及びネットリストを含む他の中間データ（コンピュータ可読媒体に記憶させることが可能な命令）の結果を使用して製造プロセスを構成することによって製造することができる。そのような処理の結果はマスクワークとすることができ、このマスクワークをその後の半導体製造プロセスにおいて使用して、本開示の特徴を実装するプロセッサを製造する。

【0051】

本明細書に提供される方法又はフロー図は、汎用コンピュータ又はプロセッサによる実行のために非一時的なコンピュータ可読記憶媒体に組み込まれるコンピュータプログラム、ソフトウェア又はファームウェアにおいて実装することができる。非一時的なコンピュータ可読記憶媒体の例としては、読み取り専用メモリ（read only memory、ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、レジスタ、キャッシュメモリ、半導体メモリデバイス、内蔵ハードディスク及びリムーバブルディスク等の磁気媒体、磁気光学媒体、並びに、ＣＤ－ＲＯＭディスク及びデジタル多用途ディスク（digital versatile disk、ＤＶＤ）等の光学媒体が挙げられる。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【国際調査報告】