知財求人 - 知財ポータルサイト「IP Force」
▶ アドバンスト・マイクロ・ディバイシズ・インコーポレイテッドの特許一覧
特表2024-546261並列処理ユニットにおけるサーフェスキャッシュ可能性の確率的最適化
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-12-19
(54)【発明の名称】並列処理ユニットにおけるサーフェスキャッシュ可能性の確率的最適化
(51)【国際特許分類】
G06T 15/00 20110101AFI20241212BHJP
G06F 12/0875 20160101ALI20241212BHJP
G06F 12/0888 20160101ALI20241212BHJP
【ＦＩ】
G06T15/00 501
G06F12/0875 106
G06F12/0888 102
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024535348
(86)(22)【出願日】2022-12-15
(85)【翻訳文提出日】2024-06-25
(86)【国際出願番号】 US2022052964
(87)【国際公開番号】W WO2023121943
(87)【国際公開日】2023-06-29
(31)【優先権主張番号】17/557,475
(32)【優先日】2021-12-21
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】591016172
【氏名又は名称】アドバンスト・マイクロ・ディバイシズ・インコーポレイテッド
【氏名又は名称原語表記】ＡＤＶＡＮＣＥＤ ＭＩＣＲＯ ＤＥＶＩＣＥＳ ＩＮＣＯＲＰＯＲＡＴＥＤ
(74)【代理人】
【識別番号】100108833
【弁理士】
【氏名又は名称】早川 裕司
(74)【代理人】
【識別番号】100111615
【弁理士】
【氏名又は名称】佐野 良太
(74)【代理人】
【識別番号】100162156
【弁理士】
【氏名又は名称】村雨 圭介
(72)【発明者】
【氏名】サウラブ シャルマ
(72)【発明者】
【氏名】ジェレミー ルカーチ
(72)【発明者】
【氏名】ハシェム ハシェミ
(72)【発明者】
【氏名】ジャンパオロ トマージ
(72)【発明者】
【氏名】クリストファー ブレナン
【テーマコード（参考）】
5B205
【Ｆターム（参考）】
5B205JJ13
5B205KK22
5B205LL15
5B205NN95
(57)【要約】
処理システム［１００］は、キャッシュの記憶容量を超えるデータの繰り返しパターン［４２０］のキャッシュラインに並列処理ユニット［１１０］のローカルキャッシュ［１２０］におけるストレージを選択的に割り当てる。処理システムは、キャッシュの記憶容量を超える再使用距離を有するキャッシュラインを有するデータの繰り返しパターンを識別する。キャッシュコントローラ［１３０］は、キャッシュにおいてデータの繰り返しパターンのキャッシュラインのサブセット［１４０］のみにストレージを割り当て、データの繰り返しパターンのキャッシュラインの残り［４１５］をキャッシュから除外する。データの繰り返しパターンのキャッシュラインのサブセットのみを記憶するようにキャッシュを制限することによって、キャッシュコントローラは、キャッシュラインのサブセットに対するキャッシュでのヒット率を増加させる。
【選択図】図８
【選択図】図８
【特許請求の範囲】
【請求項1】
キャッシュの記憶容量を超える数のキャッシュラインを有するデータの繰り返しパターンを識別することと、前記キャッシュにおいて、識別されたデータの繰り返しパターンのキャッシュラインのサブセットのみにストレージを割り当てることと、を含む、
方法。
【請求項2】
前記データの繰り返しパターンのキャッシュラインの残りを前記キャッシュに記憶するのをバイパスすることを含む、請求項１の方法。
【請求項3】
前記サブセットのみにストレージを割り当てることは、前記キャッシュが記憶することができるキャッシュラインの最大数を超える前記データの繰り返しパターンのキャッシュラインを前記残りとして選択することを含む、
請求項２の方法。
【請求項4】
前記繰り返しパターンを識別することは、前記データの繰り返しパターンのキャッシュラインの再使用距離が、前記キャッシュに記憶することができるキャッシュラインの数よりも大きいと決定することと、
前記サブセットを、前記キャッシュに記憶することができるキャッシュラインの数に制限することと、を含む、
請求項１～４の何れかの方法。
【請求項5】
前記キャッシュから除外する前記データの繰り返しパターンのキャッシュラインを反復的に選択することと、前記キャッシュから除外されない前記データの繰り返しパターンのキャッシュラインのサブセットについてのヒット率を決定することと、
前記ヒット率に基づいて、前記キャッシュから除外する前記データの繰り返しパターンのキャッシュラインを選択することと、を含む、
請求項４の方法。
【請求項6】
前記キャッシュを２つ以上の部分に区分することと、前記キャッシュの第１の部分を前記データの繰り返しパターンに割り当てることと、を含み、
前記データの繰り返しパターンのキャッシュラインの前記再使用距離が、前記キャッシュに記憶することができるキャッシュラインの数よりも大きいと決定することは、前記データの繰り返しパターンのキャッシュラインの前記再使用距離が、前記キャッシュの前記第１の部分に記憶することができるキャッシュラインの数よりも大きいと決定することを含む、
請求項４の方法。
【請求項7】
前記データの繰り返しパターンは、テクスチャを含む、請求項１の方法。
【請求項8】
データの繰り返しパターンの全てのキャッシュラインがキャッシュの記憶容量を超えると決定したことに応じて、前記キャッシュのエントリを、前記データの繰り返しパターンのキャッシュラインのサブセットのみに割り当てることを含む、方法。
【請求項9】
前記データの繰り返しパターンのキャッシュラインの残りを前記キャッシュに記憶するのをバイパスすることを含む、請求項８の方法。
【請求項10】
前記キャッシュのエントリを前記サブセットのみに割り当てることは、前記キャッシュが記憶することができるキャッシュラインの最大数を超える前記データの繰り返しパターンのキャッシュラインを前記残りとして選択することを含む、
請求項９の方法。
【請求項11】
前記データの繰り返しパターンのキャッシュラインの再使用距離が、前記キャッシュに記憶することができるキャッシュラインの数よりも大きいと決定することと、前記サブセットを、前記キャッシュに記憶することができるキャッシュラインの数に制限することと、を含む、
請求項８～１０の何れかの方法。
【請求項12】
前記キャッシュから除外する前記データの繰り返しパターンのキャッシュラインを反復的に選択することと、前記キャッシュから除外されない前記データの繰り返しパターンのキャッシュラインについてのヒット率を決定することと、
前記ヒット率に基づいて、前記キャッシュから除外する前記データの繰り返しパターンのキャッシュラインを選択することと、を含む、
請求項１１の方法。
【請求項13】
前記キャッシュを２つ以上の部分に区分することと、前記キャッシュの第１の部分を前記データの繰り返しパターンに割り当てることと、を含み、
前記データの繰り返しパターンのキャッシュラインの前記再使用距離が、前記キャッシュに記憶することができるキャッシュラインの数よりも大きいと決定することは、前記データの繰り返しパターンのキャッシュラインの前記再使用距離が、前記キャッシュの前記第１の部分に記憶することができるキャッシュラインの数よりも大きいと決定することを含む、
請求項１１の方法。
【請求項14】
前記データの繰り返しパターンは、テクスチャを含む、請求項８の方法。
【請求項15】
デバイスであって、並列処理ユニットを備え、
前記並列処理ユニットは、
キャッシュと、
キャッシュコントローラと、を備え、
前記キャッシュコントローラは、
前記キャッシュの記憶容量を超える数のキャッシュラインを有するデータの繰り返しパターンを識別し、
前記キャッシュにおいて、前記データの繰り返しパターンのキャッシュラインのサブセットのみにストレージを割り当てる、
デバイス。
【請求項16】
前記キャッシュコントローラは、前記データの繰り返しパターンのキャッシュラインの残りを前記キャッシュに記憶するのをバイパスする、
請求項１５のデバイス。
【請求項17】
前記キャッシュコントローラは、前記キャッシュが記憶することができるキャッシュラインの最大数を超える前記データの繰り返しパターンのキャッシュラインを前記残りとして選択する、
請求項１６のデバイス。
【請求項18】
前記キャッシュコントローラは、前記データの繰り返しパターンのキャッシュラインの再使用距離が、前記キャッシュに記憶することができるキャッシュラインの数よりも大きいかどうかを決定し、
前記サブセットを、前記キャッシュに記憶することができるキャッシュラインの数に制限する、
請求項１５～１７の何れかのデバイス。
【請求項19】
前記キャッシュコントローラは、前記キャッシュから除外する前記データの繰り返しパターンのキャッシュラインを反復的に選択し、
前記キャッシュから除外されない前記データの繰り返しパターンのキャッシュラインについてのヒット率を決定し、
前記ヒット率に基づいて、前記キャッシュから除外する前記データの繰り返しパターンのキャッシュラインを選択する、
請求項１８のデバイス。
【請求項20】
前記キャッシュコントローラは、前記キャッシュを２つ以上の部分に区分し、
前記キャッシュの第１の部分をデータの前記繰り返しパターンに割り当て、
前記データの第１の繰り返しパターンのキャッシュラインの再使用距離が、前記キャッシュの前記第１の部分に記憶することができるキャッシュラインの数よりも大きいと決定することによって、前記データの第１の繰り返しパターンのキャッシュラインの再使用距離が、前記キャッシュに記憶することができるキャッシュラインの数よりも大きいと決定する、
請求項１８のデバイス。
【発明の詳細な説明】
【背景技術】
【0001】
グラフィックス処理ユニット（graphics processing units、ＧＰＵ）等の並列処理ユニットを含む処理システムは、頻繁にアクセスされるデータを記憶するために様々な速度のキャッシュの階層を使用するキャッシュ階層（又はマルチレベルキャッシュ）を実装する。より頻繁に要求されるデータは、典型的には、プロセッサコア又は計算ユニットに物理的に（又は論理的に）より近く配置された比較的高速のキャッシュ（Ｌ１キャッシュ等）にキャッシュされる。より高いレベルのキャッシュ（Ｌ２キャッシュ、Ｌ３キャッシュ等）は、より低い頻度で要求されるデータを記憶する。最終レベルキャッシュ（ＬＬＣ）は、最高レベル（及び最低アクセス速度）キャッシュであり、ＬＬＣは、システムメモリから直接データを読み取り、システムメモリに直接データを書き込む。キャッシュは、新しいデータがキャッシュラインに書き込まれる必要があることに応じてキャッシュライン内のデータを置換するキャッシュ置換ポリシーを実装するため、システムメモリとは異なる。例えば、ＬＲＵ（least-recently-used）ポリシーは、ＬＲＵキャッシュライン内のデータを追い出し（エビクトし）、新しいデータをＬＲＵキャッシュラインに書き込むことによって、最長時間アクセスされていないキャッシュライン内のデータを置換する。
【発明の概要】
【課題を解決するための手段】
【0002】
一例は、キャッシュの記憶容量を超える数のキャッシュラインを有するデータの繰り返しパターンを識別することと、キャッシュにおいて、識別されたデータの繰り返しパターンのキャッシュラインのサブセットのみにストレージを割り当てることと、を含む方法を含む。いくつかの例では、本方法は、データの繰り返しパターンのキャッシュラインの残りをキャッシュに記憶するのをバイパスすることを更に含む。いくつかの例では、サブセットのみにストレージを割り当てることは、キャッシュが残りとして記憶することができるキャッシュラインの最大数を超えるデータの繰り返しパターンのキャッシュラインを選択することを含む。
【0003】
いくつかの例では、繰り返しパターンを識別することは、データの繰り返しパターンのキャッシュラインの再使用距離（reuse distance）が、キャッシュに記憶することができるキャッシュラインの数よりも大きいと決定することと、サブセットを、キャッシュに記憶することができるキャッシュラインの数に制限することと、を含む。いくつかの例では、本方法は、キャッシュから除外するデータの繰り返しパターンのキャッシュラインを反復的に選択することと、キャッシュから除外されないデータの繰り返しパターンのキャッシュラインのサブセットについてのヒット率を決定することと、ヒット率に基づいて、キャッシュから除外するデータの繰り返しパターンのキャッシュラインを選択することと、を更に含む。
【0004】
いくつかの例では、本方法は、キャッシュを２つ以上の部分に区分することと、キャッシュの第１の部分をデータの繰り返しパターンに割り当てることと、を更に含む。データの繰り返しパターンのキャッシュラインの再使用距離が、キャッシュに記憶することができるキャッシュラインの数よりも大きいと決定することは、いくつかの例では、データの繰り返しパターンのキャッシュラインの再使用距離が、キャッシュの第１の部分に記憶することができるキャッシュラインの数よりも大きいと決定することを含む。いくつかの例では、データの繰り返しパターンは、テクスチャを含む。
【0005】
別の例示的な方法は、データの繰り返しパターンの全てのキャッシュラインがキャッシュの記憶容量を超えると決定したことに応じて、キャッシュのエントリを、データの繰り返しパターンのキャッシュラインのサブセットのみに割り当てることを含む。いくつかの例では、本方法は、データの繰り返しパターンのキャッシュラインの残りをキャッシュに記憶するのをバイパスすることを更に含む。キャッシュのエントリをサブセットのみに割り当てることは、いくつかの例では、キャッシュが残りとして記憶することができるキャッシュラインの最大数を超えるデータの繰り返しパターンのキャッシュラインを選択することを含む。
【0006】
いくつかの例では、本方法は、データの繰り返しパターンのキャッシュラインの再使用距離が、キャッシュに記憶することができるキャッシュラインの数よりも大きいと決定することと、サブセットを、キャッシュに記憶することができるキャッシュラインの数に制限することと、を更に含む。本方法は、いくつかの例では、キャッシュから除外するデータの繰り返しパターンのキャッシュラインを反復的に選択することと、キャッシュから除外されないデータの繰り返しパターンのキャッシュラインについてのヒット率を決定することと、ヒット率に基づいて、キャッシュから除外するデータの繰り返しパターンのキャッシュラインを選択することと、を更に含む。
【0007】
いくつかの例では、本方法は、キャッシュを２つ以上の部分に区分することと、キャッシュの第１の部分をデータの繰り返しパターンに割り当てることと、を更に含む。データの繰り返しパターンのキャッシュラインの再使用距離が、キャッシュに記憶することができるキャッシュラインの数よりも大きいと決定することは、データの繰り返しパターンのキャッシュラインの再使用距離が、キャッシュの第１の部分に記憶することができるキャッシュラインの数よりも大きいと決定することを含む。いくつかの例では、データの繰り返しパターンは、テクスチャを含む。
【0008】
別の例では、デバイスは、並列処理ユニットを含む。並列処理ユニットは、キャッシュと、キャッシュの記憶容量を超える数のキャッシュラインを有するデータの繰り返しパターンを識別し、キャッシュにおいてデータの繰り返しパターンのキャッシュラインのサブセットのみにストレージを割り当てるためのキャッシュコントローラと、を含む。キャッシュコントローラは、いくつかの例では、データの繰り返しパターンのキャッシュラインの残りをキャッシュに記憶するのをバイパスするためのものである。
【0009】
いくつかの例では、キャッシュコントローラは、キャッシュが残りとして記憶することができるキャッシュラインの最大数を超えるデータの繰り返しパターンのキャッシュラインを選択するように構成されている。キャッシュコントローラは、いくつかの例では、データの繰り返しパターンのキャッシュラインの再使用距離が、キャッシュに記憶することができるキャッシュラインの数よりも大きいかどうかを決定し、サブセットを、キャッシュに記憶することができるキャッシュラインの数に制限するように構成されている。一例では、キャッシュコントローラは、キャッシュから除外するデータの繰り返しパターンのキャッシュラインを反復的に選択し、キャッシュから除外されないデータの繰り返しパターンのキャッシュラインについてのヒット率を決定し、ヒット率に基づいて、キャッシュから除外するデータの繰り返しパターンのキャッシュラインを選択するように構成されている。
【0010】
別の例では、キャッシュコントローラは、キャッシュを２つ以上の部分に区分し、キャッシュの第１の部分をデータの繰り返しパターンに割り当てるように構成されている。キャッシュコントローラは、データの第１の繰り返しパターンのキャッシュラインの再使用距離が、キャッシュの第１の部分に記憶することができるキャッシュラインの数よりも大きいと決定することによって、データの第１の繰り返しパターンのキャッシュラインの再使用距離が、キャッシュに記憶することができるキャッシュラインの数よりも大きいと決定するように更に構成されている。
【0011】
本開示は、添付の図面を参照することによってより良好に理解され、その数々の特徴及び利点が当業者に明らかになり得る。異なる図面における同じ符号の使用は、類似又は同一のアイテムを示す。
【図面の簡単な説明】
【0012】
【図1】いくつかの実施形態による、データの繰り返しパターンのサブセットを選択的にキャッシュするように構成された処理システムのブロック図である。
【図2】いくつかの実施形態による、繰り返しパターンのサブセットを選択することがない、データの繰り返しパターンのキャッシングの図である。
【図3】いくつかの実施形態による、データの繰り返しパターンのキャッシングの図である。
【図4】いくつかの実施形態による、データの繰り返しパターンのキャッシュラインのサブセットのみにキャッシュにおけるストレージを割り当てるキャッシュコントローラのブロック図である。
【図5】いくつかの実施形態による、キャッシュを区分し、データの繰り返しパターンのキャッシュラインのサブセットのみにキャッシュの一部におけるストレージを割り当てるキャッシュコントローラのブロック図である。
【図6】いくつかの実施形態による、データの繰り返しパターンのキャッシュラインを選択的にキャッシュする図である。
【図7】いくつかの実施形態による、データの繰り返しパターンのキャッシュラインを選択的にキャッシュする図である。
【図8】いくつかの実施形態による、データの繰り返しパターンのキャッシュラインを選択的にキャッシュする方法を示すフロー図である。
【発明を実施するための形態】
【0013】
並列処理ユニットのプロセッサコアは、しばしば、サーフェス等のデータの繰り返しパターンに連続的にアクセスする作業アイテムのディスパッチを実行する。例示のために、作業アイテムの一連のディスパッチに添付されるテクスチャ等のサーフェスが、連続するレンダリングパス又はノイズ除去パスにおいて読み取られる。例えば、ビデオゲームのシーンの多くの要素は、カメラビューの位置又は角度が変化するにつれて、連続するフレームにおいてレンダリングされる。連続するパスは、ピクセルにマッピングする同じテクスチャデータを必要とする。場合によっては、テクスチャのサイズは、並列処理ユニットの最下位レベルキャッシュ（Ｌ１キャッシュ）の記憶容量を超える。
【0014】
従来、Ｌ１キャッシュのキャッシュコントローラは、ＬＲＵキャッシュ置換ポリシーを採用し、Ｌ１キャッシュに現在記憶されていないプロセッサコアによって要求されたデータ（すなわち、キャッシュミス）をキャッシュ階層内のより高いレベルのキャッシュからフェッチする。要求されたキャッシュラインのための空きを生成するために、Ｌ１キャッシュ内の最も長い間使用されていないキャッシュラインが追い出される。しかしながら、データの繰り返しパターンの再使用距離（すなわち、パターンの各繰り返しにおけるキャッシュラインの数）がＬ１キャッシュの記憶容量を超える場合、データの繰り返しパターンにおけるキャッシュラインに対する新しい要求がキャッシュコントローラによって受信されるまでに、キャッシュラインは、既にキャッシュから追い出されており、低い（又は０の）ヒット率をもたらす。データが後続のディスパッチによってアクセスすることができるようにメモリ階層のより遠隔のレベルからデータを取り出すことは、リソースを消費し、待ち時間を増加させる。
【0015】
図１～図８は、繰り返しパターンがキャッシュの記憶容量を超えるサイズである場合に、データの繰り返しパターンのキャッシュラインに並列処理ユニットのローカルキャッシュにおけるストレージを選択的に割り当てるための処理システムのための技術を示す。処理システムは、キャッシュの記憶容量を超える再使用距離を有するキャッシュラインを有するデータの繰り返しパターンを識別する。キャッシュコントローラは、キャッシュにおいてデータの繰り返しパターンのキャッシュラインのサブセット（すなわち、全てではないがいくつか）のみにストレージを割り当て、データの繰り返しパターンのキャッシュラインの残りをキャッシュから除外する。例えば、キャッシュが一度に記憶することができるキャッシュラインの最大数がＸ個のキャッシュラインであり、処理システムがＸ＋Ｙ個のキャッシュラインであるデータの繰り返しパターンを識別する場合、いくつかの実施形態では、キャッシュコントローラは、データの繰り返しパターンの最初のＸ個のキャッシュラインのみにストレージを割り当て、残りのＹ個のキャッシュラインをキャッシュに記憶されることから除外する。残りのＹ個のキャッシュラインに対するプロセッサコアからの要求に応じて、キャッシュコントローラは、残りのＹ個のキャッシュラインをキャッシュ階層のより高いレベルからプロセッサコアに直接提供し、Ｙ個のキャッシュラインをキャッシュに記憶することをバイパスする。データの繰り返しパターンの最初のＸ個のキャッシュラインのみを記憶するようにキャッシュを制限することによって、キャッシュコントローラは、最初のＸ個のキャッシュラインに対するキャッシュでのヒット率を増加させ、したがって、待ち時間を減少させ、ユーザエクスペリエンスを改善する。
【0016】
いくつかの実施形態では、処理システムは、反復プロセスにおいて、キャッシュに記憶するデータの繰り返しパターンからのキャッシュラインのサブセットを確率的に選択する。処理システムは、キャッシュラインの選択されたサブセットの各々についてヒット率を測定し、ヒット率に基づいて、キャッシュから除外するデータの繰り返しパターンのキャッシュラインを選択する。いくつかの実施形態では、キャッシュコントローラは、キャッシュを２つ以上の部分に区分し、キャッシュの一部をデータの第１の繰り返しパターンのキャッシュラインのサブセットを記憶するように割り当て、キャッシュの別の部分をデータの第２の繰り返しパターンのキャッシュラインのサブセットを記憶するように割り当てる。区分されたキャッシュについて、キャッシュコントローラは、データの第１の繰り返しパターンのキャッシュラインの再使用距離を、データの第１の繰り返しパターンが割り当てられるキャッシュの一部の記憶容量と比較する。再使用距離及びキャッシュの一部の記憶容量に基づいて、キャッシュコントローラは、キャッシュに記憶するデータの第１の繰り返しパターンのキャッシュラインのサブセットを選択し、データの第１の繰り返しパターンの残りのキャッシュラインをキャッシュから除外する。
【0017】
図１は、いくつかの実施形態による、キャッシュの記憶容量を超えるデータの繰り返しパターンのキャッシュラインに並列処理ユニットのローカルキャッシュにおけるストレージを選択的に割り当てるように構成された処理システム１００を示す。処理システム１００は、いくつかの実施形態による、ディスプレイ１７５に出力するように意図された視覚画像を生成するためのグラフィック処理ユニット（ＧＰＵ）等の並列処理ユニット１１０を含む。並列プロセッサは、単一の命令を複数のデータ又はスレッドに対して並列に実行することができるプロセッサである。
【0018】
並列プロセッサの例は、グラフィックス、機械知能又は計算動作を実行するためのグラフィックス処理ユニット（ＧＰＵ）、超並列プロセッサ、単一命令複数データ（ＳＩＭＤ）アーキテクチャプロセッサ及び単一命令複数スレッド（ＳＩＭＴ）アーキテクチャプロセッサ等のプロセッサを含む。いくつかの実施形態では、並列プロセッサは、コンピュータの一部として含まれる個別のデバイスである。高度プロセッサユニット等の他の実施形態では、並列プロセッサは、中央プロセッサユニット（central processor unit、ＣＰＵ）等のホストプロセッサとともに単一のデバイスに含まれる。以下の説明は、例示の目的でグラフィックス処理ユニット（ＧＰＵ）を使用するが、以下に説明される実施形態は、他のタイプの並列プロセッサに適用可能である。
【0019】
処理システム１００は、システムメモリ１５０（本明細書ではメモリ１５０と呼ばれる）を含む。メモリ１５０のいくつかの実施形態は、ダイナミックランダムアクセスメモリ（dynamic random access memory、ＤＲＡＭ）として実装される。しかしながら、メモリ１５０は、スタティックランダムアクセスメモリ（static random access memory、ＳＲＡＭ）、不揮発性ＲＡＭ等を含む他のタイプのメモリを使用して実装することもできる。図示された実施形態では、並列処理ユニット１１０は、バス１６０を介してメモリ１５０と通信する。しかしながら、並列処理ユニット１１０のいくつかの実施形態は、直接接続で、又は、他のバス、ブリッジ、スイッチ、ルータ等を介して、メモリ１５０と通信する。並列処理ユニット１１０は、メモリ１５０に記憶された命令を実行し、並列処理ユニット１１０は、実行された命令の結果等の情報をメモリ１５０に記憶する。例えば、メモリ１５０は、並列処理ユニット１１０によって実行されるアプリケーション１５５から命令のコピーを記憶することができる。並列処理ユニット１１０のいくつかの実施形態は、命令を同時に又は並列に独立して実行する複数のプロセッサコア（計算ユニットと呼ばれる）１１５を含む。
【0020】
処理システム１００は、概して、アプリケーション１５５等の命令セット（例えばコンピュータプログラム）を実行して、電子デバイスのための指定されたタスクを実行するように構成されている。そのようなタスクの例は、電子デバイスの動作の側面（aspects）を制御すること、ユーザに情報を表示して、特定のユーザエクスペリエンスを提供すること、他の電子デバイスと通信すること等を含む。したがって、異なる実施形態では、処理システム１００は、デスクトップコンピュータ、ラップトップコンピュータ、サーバ、ゲームコンソール、タブレット、スマートフォン等の多数のタイプの電子デバイスのうち何れかで採用されている。処理システム１００の構成要素は、ハードウェア、ファームウェア、ソフトウェア、又は、それらの任意の組み合わせとして実装される。処理システム１００が、図１に示すよりも多くの又は少ない構成要素を含んでもよいことを理解されたい。例えば、処理システム１００は、１つ以上の入力インターフェース、不揮発性ストレージ、１つ以上の出力インターフェース、ネットワークインターフェース、及び、１つ以上のディスプレイ若しくはディスプレイインターフェースを更に含んでもよい。
【0021】
処理システム１００は、命令を実行するための中央処理ユニット（ＣＰＵ）１０５を含む。ＣＰＵ１０５のいくつかの実施形態は、同時に又は並列に命令を独立して実行する複数のプロセッサコア（明確化のために図示せず）を含む。また、ＣＰＵ１０５は、バス１６０に接続され、したがって、バス１６０を介して並列処理ユニット１１０及びメモリ１５０と通信する。ＣＰＵ１０５は、メモリ１５０に記憶されたアプリケーション１５５のプログラムコード等の命令を実行し、ＣＰＵ１０５は、実行された命令の結果等の情報をメモリ１５０に記憶する。また、ＣＰＵ１０５は、並列処理ユニット１１０にドローコールを発行することによって、グラフィックス処理を開始することができる。ドローコールは、ＣＰＵ１０５によって生成され、並列処理ユニット１１０がフレーム内のオブジェクト（又はオブジェクトの一部）をレンダリングするように命令するために並列処理ユニット１１０に送信されるコマンドである。ドローコールのいくつかの実施形態は、オブジェクト又はその一部をレンダリングするために並列処理ユニット１１０によって使用されるテクスチャ、状態、シェーダ、レンダリングオブジェクト、バッファ等を定義する情報を含む。並列処理ユニット１１０は、オブジェクトをレンダリングして、ディスプレイ１７５に提供されるピクセルの値を生成し、ディスプレイ１７５は、ピクセル値を使用して、レンダリングされたオブジェクトを表す画像を表示する。
【0022】
いくつかの実施形態では、レンダリングされる各フレームは、複数のパスにおいて、並列処理ユニット１１０のグラフィックスパイプラインによって処理される。例えば、シーンのジオメトリに対する第１のパス中に、ピクセル単位の照明を計算するために必要な属性のみがＧバッファに書き込まれる。第２のパス中、グラフィックスパイプラインは、拡散及びスペキュラ照明データのみを出力する。グラフィックスパイプラインを通るフレームの第３のパスでは、グラフィックスパイプラインは、バックライトデータを読み取り、最終ピクセル単位シェーディングを出力する。したがって、マルチパスレンダリングでは、フレームのシーン及び関連付けられたオブジェクトが複数回レンダリングされる。オブジェクトが描かれる毎に、グラフィックスパイプラインは、オブジェクトの外観の追加のアスペクトを計算し、追加のアスペクトを以前の結果と組み合わせる。フレーム又はフレームのオブジェクトがグラフィックスパイプラインによってレンダリングされる毎に、レンダリングパスと称される。
【0023】
入力／出力（input/output、Ｉ／Ｏ）エンジン１７０は、ディスプレイ１７５に関連付けられた入力又は出力動作、及び、キーボード、マウス、プリンタ、外部ディスク等の処理システム１００の他の要素を扱う。Ｉ／Ｏエンジン１７０は、Ｉ／Ｏエンジン１７０が並列処理ユニット１１０、メモリ１５０又はＣＰＵ１０５と通信するように、バス１６０に結合されている。図示された実施形態では、Ｉ／Ｏエンジン１７０は、コンパクトディスク（ＣＤ）、デジタルビデオディスク（ＤＶＤ）等の外部記憶媒体１８０に記憶された情報を読み取るように構成されている。外部記憶媒体１８０は、ビデオゲーム等のアプリケーションを実施するために使用されるプログラムコードを表す情報を記憶する。外部記憶媒体１８０上のプログラムコードは、並列処理ユニット１１０又はＣＰＵ１０５によって実行される命令のコピーを形成するためにメモリ１５０に書き込むことができる。
【0024】
いくつかの実施形態では、並列処理ユニット１１０は、ドローコールに応じて異なるプリミティブを同時に処理するように構成された複数の段階（ステージ）を含むグラフィックスパイプライン（明確化のために図１には図示せず）を実装する。並列処理ユニット１１０内のグラフィックスパイプラインの段階は、ビデオゲーム等のアプリケーションによって生成された異なるプリミティブを同時に処理することができる。ジオメトリがグラフィックスパイプラインに提示される場合に、ハードウェア状態設定は、グラフィックスパイプラインの状態を定義するように選択される。状態の例としては、シーンのレンダリングに使用される、ラスタライザ状態、ブレンド状態、深度ステンシル状態、提示されたジオメトリのプリミティブトポロジタイプ、及び、シェーダ（例えば、頂点シェーダ、ドメインシェーダ、ジオメトリシェーダ、ハルシェーダ、ピクセルシェーダ等）が挙げられる。グラフィックスパイプライン状態に実装されるシェーダは、対応するバイトコードによって表される。場合によっては、グラフィックスパイプライン状態を表す情報をハッシュ又は圧縮して、グラフィックスパイプライン状態のより効率的な表現を提供する。
【0025】
ドライバ１６５は、アプリケーション１５５から等のより高いレベルのグラフィックコンピューティングプログラムが並列処理ユニット１１０と相互作用することを可能にするコンピュータプログラムである。例えば、ドライバ１６５は、アプリケーション１５５から受信した標準的なコードを、並列処理ユニット１１０によって理解されるネイティブフォーマットコマンドストリームに変換する。ドライバ１６５は、アプリケーション１５５からの入力が、並列処理ユニット１１０の設定を指示することを可能にする。そのような設定には、レンダリングモード、アンチエイリアシング制御、テクスチャフィルタ制御、バッチビニング制御、及び、遅延ピクセルシェーディング制御の選択が含まれる。
【0026】
ＣＰＵから受信したコマンドのセットを実行するために、並列処理ユニット１１０は、複数の計算ユニット１１５及びＬ１キャッシュ１２０を含む。複数の計算ユニット１１５は、共に、作業アイテム（図示せず）のディスパッチに対してシェーディング演算を実行する。異なる実施形態では、計算ユニット１１５は、コマンドプロセッサ（図示せず）から受信されたコマンドに基づいて、ジオメトリ演算、テクスチャ演算、テッセレーション演算、頂点演算、メッシュ演算、プリミティブ演算、レイトレーシング演算、計算演算等、又は、それらの任意の組合せを実行する。いくつかの実施形態では、これらの演算を実行するために、計算ユニット１１５の各々は、受信されたディスパッチの作業アイテムを使用して指定された演算を実行するように構成された１つ以上のＳＩＭＤ要素を含む。
【0027】
Ｌ１キャッシュ１２０は、複数の計算ユニット１１５のためのデータを記憶する。したがって、シェーダ演算を実行する過程で、複数の計算ユニット１１５は、Ｌ１キャッシュ１２０からのデータを記憶し取り出し、記憶され取り出されたデータは、処理されている特定の作業アイテムに基づく。例えば、いくつかの実施形態では、ディスパッチの各作業アイテムは、画像の個々のピクセルに対応し、Ｌ１キャッシュ１２０は、ディスパッチに含まれる個々のピクセルごと、又は、個々のピクセルのサブセットのデータ（例えば、テクスチャ値）を記憶する。いくつかの実施形態では、並列処理ユニット１１０は、複数のキャッシュレベル及びシステムメモリ１５０を有するメモリ階層に関連付けられ、Ｌ１キャッシュ１２０は、複数のキャッシュレベルのうち最下位レベルを表す。
【0028】
Ｌ１キャッシュ１２０の記憶容量を超えるデータの繰り返しパターンについてのＬ１キャッシュ１２０におけるヒット率を高めるために、並列処理ユニット１１０は、Ｌ１キャッシュ１２０においてデータの繰り返しパターンのキャッシュラインのサブセット１４０のみにストレージを割り当て、且つ、データの繰り返しパターンのキャッシュラインの残りをキャッシュから除外するように構成されたキャッシュコントローラ１３０を含む。データの繰り返しパターンのキャッシュラインの残りに対する計算ユニット１１５からの要求に応じて、キャッシュコントローラ１３０は、残りのキャッシュラインをキャッシュ階層（図示せず）のより高いレベルから計算ユニット（単数又は複数）１１５に直接提供し、残りのキャッシュラインをＬ１キャッシュ１２０に記憶することをバイパスする。Ｌ１キャッシュ１２０の記憶容量内に同時に収まるデータの繰り返しパターンのキャッシュラインのみを記憶するようにＬ１キャッシュ１２０を制限することによって、キャッシュコントローラ１３０は、キャッシュラインの選択されたサブセット１４０についてのＬ１キャッシュ１２０におけるヒット率を増加させる。
【0029】
キャッシュコントローラ１３０は、Ｌ１キャッシュ１２０の記憶容量を超えるデータの繰り返しパターンを識別するように構成されたパターン認識ユニット１３５を含む。パターン認識ユニット１３５は、データの繰り返しパターンにおけるキャッシュラインの再使用距離（すなわち、パターンの各繰り返しにおけるキャッシュラインの数）を測定し、再使用距離ＤＲを、Ｌ１キャッシュ１２０が記憶することができるキャッシュラインの総数ＣＬ１（すなわち、Ｌ１キャッシュ１２０の記憶容量）と比較する。再使用距離ＤＲがＬ１キャッシュ１２０の記憶容量ＣＬ１を超える場合、キャッシュコントローラ１３０は、Ｌ１キャッシュ１２０内の記憶空間に割り当てられるデータの繰り返しパターンのキャッシュラインの数を、Ｌ１キャッシュ１２０の記憶容量ＣＬ１内に収まるキャッシュラインのサブセット１４０に制限する。キャッシュコントローラ１３０は、データの繰り返しパターンの残りの（ＤＲ－ＣＬ１）個のキャッシュラインをＬ１キャッシュ１２０から除外する。いくつかの実施形態では、Ｌ１キャッシュ１２０が比較的低いヒット率を示したことに応じて、パターン認識ユニット１３５は、反復プロセスにおいて、Ｌ１キャッシュ１２０に記憶するデータの繰り返しパターンからのキャッシュラインのサブセットを確率的に選択する。キャッシュコントローラ１３０は、キャッシュラインの選択されたサブセットの各々についてヒット率を測定し、ヒット率に基づいて、キャッシュから除外するデータの繰り返しパターンのキャッシュラインを選択する。
【0030】
いくつかの実施形態では、各ドローコールは、識別子（図示せず）に関連付けられ、作業アイテムの一連のディスパッチに対する要求ストリームは、ドローコール識別子と、ドローコールが動作することになるサーフェスと、を含む。パターン認識ユニット１３５は、Ｌ１キャッシュ１２０から除外されたドローコール識別子／サーフェスの組合せに対する要求の数を追跡する。パターン認識ユニット１３５は、Ｌ１キャッシュ１２０から除外される頻度に従って、ドローコール識別子／サーフェスの組合せを列挙する。いくつかの実施形態では、キャッシュコントローラ１３０は、Ｌ１キャッシュ１２０からのドローコール識別子／サーフェスの組合せの包含又は除外に基づいて、キャッシュライン１４０の選択されたサブセットについてのヒット率をシミュレートして、ヒット率を高めるために、何れのドローコール識別子／サーフェスの組合せをＬ１キャッシュ１２０から除外するかを決定する。
【0031】
いくつかの実施形態では、キャッシュコントローラ１３０は、Ｌ１キャッシュ１２０を２つ以上の部分（図示せず）に区分し、Ｌ１キャッシュ１２０の一部をデータの第１の繰り返しパターンのキャッシュラインのサブセットを記憶するように割り当て、Ｌ１キャッシュ１２０の別の部分をデータの第２の繰り返しパターンのキャッシュラインのサブセットを記憶するように割り当てる。区分されたＬ１キャッシュ１２０について、キャッシュコントローラ１３０は、データの第１の繰り返しパターンのキャッシュラインの再使用距離ＤＲを、データの第１の繰り返しパターンが割り当てられるキャッシュの一部の記憶容量と比較する。再使用距離ＤＲ及びキャッシュの一部の記憶容量に基づいて、キャッシュコントローラ１３０は、キャッシュに記憶するデータの第１の繰り返しパターンのキャッシュラインのサブセットを選択し、データの第１の繰り返しパターンの残りのキャッシュラインをキャッシュから除外する。
【0032】
図２は、いくつかの実施形態による、再使用距離に基づいてキャッシュラインのサブセットを選択することがない、データの繰り返しパターンのキャッシングのイラスト２００である。図示された例では、Ｌ１キャッシュ１２０は、一度に３つまでのキャッシュラインを保持するサイズである。Ｌ１キャッシュ１２０がフラッシュされた後、時間Ｔ１において、キャッシュコントローラ１３０は、キャッシュライン－１ ２０２に対する要求を計算ユニット１１５から受信する。Ｌ１キャッシュ１２０が有効なデータを含まないので、要求は、Ｌ１キャッシュ１２０においてミスになり、キャッシュコントローラ１３０は、キャッシュ階層内のより高いレベルのキャッシュであるＬ２キャッシュ２２０からキャッシュライン－１ ２０２をＬ１キャッシュ１２０にコピーし、キャッシュライン－１ ２０２を計算ユニット１１５に提供する。後続の時間Ｔ２において、キャッシュコントローラ１３０は、キャッシュライン－２ ２０４に対する要求を計算ユニット１１５から受信する。Ｌ１キャッシュ１２０がキャッシュライン－２ ２０４を含まないので、要求は、Ｌ１キャッシュ１２０においてミスになり、キャッシュコントローラ１３０は、キャッシュライン－２ ２０４をＬ２キャッシュ２２０からＬ１キャッシュ１２０にコピーし、キャッシュライン－２ ２０４を計算ユニット１１５に提供する。後続の時間Ｔ３において、キャッシュコントローラは、キャッシュライン－３ ２０６に対する要求を計算ユニット１１５から受信する。Ｌ１キャッシュ１２０がキャッシュライン－３ ２０６を含まないので、要求は、Ｌ１キャッシュ１２０においてミスになり、キャッシュコントローラ１３０は、キャッシュライン－３ ２０６をＬ２キャッシュ２２０からＬ１キャッシュ１２０にコピーし、キャッシュライン－３ ２０６を計算ユニット１１５に提供する。
【0033】
後続の時間Ｔ４において、キャッシュコントローラ１３０は、キャッシュライン－４ ２０８に対する要求を計算ユニット１１５から受信する。Ｌ１キャッシュ１２０がキャッシュライン－４ ２０８を含まないので、要求は、Ｌ１キャッシュ１２０においてミスとなる。キャッシュライン－４ ２０８のための空きをＬ１キャッシュ１２０に生成するために、キャッシュコントローラは、キャッシュライン－１ ２０２が最も長い間使用されていないキャッシュラインであるので、キャッシュライン－１ ２０２を追い出す。キャッシュコントローラ１３０は、キャッシュライン－４ ２０８をＬ２キャッシュ２２０からＬ１キャッシュ１２０にコピーし、キャッシュライン－４ ２０８を計算ユニット１１５に提供する。
【0034】
後続の時間Ｔ５において、キャッシュコントローラ１３０は、キャッシュライン－５ ２１０に対する要求を計算ユニット１１５から受信する。Ｌ１キャッシュ１２０がキャッシュライン－５ ２１０を含まないので、要求は、Ｌ１キャッシュ１２０においてミスとなる。キャッシュライン－５ ２０８のための空きをＬ１キャッシュ１２０に生成するために、キャッシュコントローラは、キャッシュライン－２ ２０４が最も長い間使用されていないキャッシュラインであるので、キャッシュライン－２ ２０４を追い出す。キャッシュコントローラ１３０は、キャッシュライン－５ ２１０をＬ２キャッシュ２２０からＬ１キャッシュ１２０にコピーし、キャッシュライン－５ ２１０を計算ユニット１１５に提供する。したがって、キャッシュライン２０２、２０４、２０６、２０８、２１０に対するアクセス要求の最初の５サイクルＴ１～Ｔ５では、キャッシュヒット率は０％である。
【0035】
図３は、図２のデータの繰り返しパターンのキャッシングの継続のイラスト３００である。後続の時間Ｔ６において、キャッシュコントローラ１３０は、キャッシュライン－１ ２０２に対する要求を計算ユニット１１５から受信する。Ｌ１キャッシュ１２０がキャッシュライン－１ ２０２を含まないので（キャッシュライン－１ ２０２が時間Ｔ４において以前に追い出されたので）、要求は、Ｌ１キャッシュ１２０においてミスとなる。キャッシュライン－１ ２０２のための空きをＬ１キャッシュ１２０に生成するために、キャッシュコントローラ１３０は、キャッシュライン－３ ２０６が最も長い間使用されていないキャッシュラインであるので、キャッシュライン－３ ２０６を追い出す。キャッシュコントローラ１３０は、キャッシュライン－１ ２０２をＬ２キャッシュ２２０からＬ１キャッシュ１２０にコピーし、キャッシュライン－１ ２０２を計算ユニット１１５に提供する。
【0036】
後続の時間Ｔ７において、キャッシュコントローラ１３０は、キャッシュライン－２ ２０４に対する要求を計算ユニット１１５から受信する。Ｌ１キャッシュ１２０がキャッシュライン－２ ２０４を含まないので（キャッシュライン－２ ２０２が時間Ｔ５において以前に追い出されたので）、要求は、Ｌ１キャッシュ１２０においてミスとなる。キャッシュライン－２ ２０４のための空きをＬ１キャッシュ１２０に生成するために、キャッシュコントローラ１３０は、キャッシュライン－４ ２０８が最も長い間使用されていないキャッシュラインであるので、キャッシュライン－４ ２０８を追い出す。キャッシュコントローラ１３０は、キャッシュライン－２ ２０４をＬ２キャッシュ２２０からＬ１キャッシュ１２０にコピーし、キャッシュライン－２ ２０４を計算ユニット１１５に提供する。
【0037】
後続の時間Ｔ８において、キャッシュコントローラ１３０は、キャッシュライン－３ ２０６に対する要求を計算ユニット１１５から受信する。Ｌ１キャッシュ１２０がキャッシュライン－３ ２０６を含まないので（キャッシュライン－３ ２０６が時間Ｔ６において以前に追い出されたので）、要求は、Ｌ１キャッシュ１２０においてミスとなる。キャッシュライン－３ ２０６のための空きをＬ１キャッシュ１２０に生成するために、キャッシュコントローラ１３０は、キャッシュライン－５ ２１０が最も長い間使用されていないキャッシュラインであるので、キャッシュライン－５ ２１０を追い出す。キャッシュコントローラ１３０は、キャッシュライン－３ ２０６をＬ２キャッシュ２２０からＬ１キャッシュ１２０にコピーし、キャッシュライン－３ ２０６を計算ユニット１１５に提供する。
【0038】
後続の時間Ｔ９において、キャッシュコントローラ１３０は、キャッシュライン－４ ２０８に対する要求を計算ユニット１１５から受信する。Ｌ１キャッシュ１２０がキャッシュライン－４ ２０８を含まないので（キャッシュライン－４ ２０８が時間Ｔ７において以前に追い出されたので）、要求は、Ｌ１キャッシュ１２０においてミスとなる。キャッシュライン－４ ２０８のための空きをＬ１キャッシュ１２０に生成するために、キャッシュコントローラは、キャッシュライン－１ ２０２が最も長い間使用されていないキャッシュラインであるので、キャッシュライン－１ ２０２を追い出す。キャッシュコントローラ１３０は、キャッシュライン－４ ２０８をＬ２キャッシュ２２０からＬ１キャッシュ１２０にコピーし、キャッシュライン－４ ２０８を計算ユニット１１５に提供する。
【0039】
後続の時間Ｔ１０において、キャッシュコントローラ１３０は、キャッシュライン－５ ２１０に対する要求を計算ユニット１１５から受信する。Ｌ１キャッシュ１２０がキャッシュライン－４ ２０８を含まないので（キャッシュライン－５ ２１０が時間Ｔ８において以前に追い出されたので）、要求は、Ｌ１キャッシュ１２０においてミスとなる。キャッシュライン－５ ２１０のための空きをＬ１キャッシュ１２０に生成するために、キャッシュコントローラは、キャッシュライン－２ ２０４が最も長い間使用されていないキャッシュラインであるので、キャッシュライン－２ ２０４を追い出す。キャッシュコントローラ１３０は、キャッシュライン－５ ２１０をＬ２キャッシュ２２０からＬ１キャッシュ１２０にコピーし、キャッシュライン－５ ２１０を計算ユニット１１５に提供する。したがって、キャッシュライン２０２、２０４、２０６、２０８、２１０のデータの繰り返しの５つのキャッシュラインのパターンでは、ＬＲＵ置換ポリシーを使用するキャッシングは、サイクルＴ６～Ｔ１０に対してＬ１キャッシュ１２０について０％のヒット率をもたらし、図２に示されるコールドスタートシナリオの０％のヒット率に対して改善はない。
【0040】
図４は、いくつかの実施形態による、データの繰り返しパターン４２０のキャッシュラインのサブセット１４０のみにＬ１キャッシュ１２０におけるストレージを割り当てる、図１のキャッシュコントローラ１３０のブロック図４００である。図示された例では、Ｌ１キャッシュ１２０は、一度に３つまでのキャッシュラインを保持するサイズである。データの繰り返しパターン４２０は、５つのキャッシュライン（１、２、３、４、５、１、２、３、４、５、１、２、３、４、５、．．．）を含み、したがって、Ｌ１キャッシュ１２０の記憶容量を超える。キャッシュコントローラ１３０は、キャッシュラインがより高いレベルのキャッシュからフェッチされる場合にＬ１キャッシュ１２０がフルである場合に、最も長い間使用されていないキャッシュラインを追い出すキャッシュ置換ポリシー４０５を採用する。
【0041】
パターン認識ユニット１３５は、データがＧＰＵメモリ４１０からフェッチされる場合にデータの繰り返しパターン４２０を識別し、データの繰り返しパターン４２０のキャッシュラインがＬ１キャッシュ１２０の記憶容量を超える再使用距離を有すると決定する。データの繰り返しパターン４２０のキャッシュラインがＬ１キャッシュ１２０の記憶容量を超える再使用距離を有するとパターン認識ユニット１３５が決定したことに応じて、キャッシュコントローラ１３０は、Ｌ１キャッシュ１２０に一度に記憶することができるキャッシュラインのサブセット１４０（例えば、キャッシュライン１、２、３）のみにストレージを割り当て、データの繰り返しパターン４２０のキャッシュラインの残り４１５（キャッシュライン４及び５）をＬ１キャッシュ１２０から除外する。したがって、計算ユニット１１５がキャッシュラインのサブセット１４０のキャッシュライン１、２、３の各々を要求すると、キャッシュコントローラは、キャッシュライン１、２、３のためのエントリを割り当て、それらをＬ１キャッシュ１２０に記憶する。しかしながら、計算ユニット１１５がキャッシュラインの残り４１５（キャッシュライン４及び５）を要求すると、キャッシュコントローラは、キャッシュラインの残り４１５をＬ２キャッシュ２２０から計算ユニット１１５に直接提供し、キャッシュラインの残り４１５をＬ１キャッシュ１２０に記憶することをバイパスする。
【0042】
図５は、いくつかの実施形態による、Ｌ１キャッシュ１２０を区分し、データの繰り返しパターンのキャッシュラインのサブセットのみにキャッシュの一部におけるストレージを割り当てるキャッシュコントローラ１３０のブロック図５００である。時に、並列処理ユニット１１０は、２つ以上のテクスチャに並列にアクセスするドローコールを処理する。図示した例では、キャッシュコントローラ１３０は、重複アクセスのためにＧＰＵメモリ４１０から２つのテクスチャ、すなわち、データの第１の繰り返しパターン５２０とデータの第２の繰り返しパターン５３０とをフェッチする。データの第１の繰り返しパターン５２０及びデータの第２の繰り返しパターン５３０についてのヒット率を増加させるために、キャッシュコントローラ１３０は、Ｌ１キャッシュ１２０を第１の部分５４０と第２の部分５４５とに区分する。
【0043】
パターン認識ユニット１３５がデータの第１の繰り返しパターン５２０を識別し、データの第１の繰り返しパターン５２０のキャッシュラインの再使用距離５５０がＬ１キャッシュの第１の部分５４０の記憶容量５５５を超えると決定したことに応じて、キャッシュコントローラ１３０は、データの第１の繰り返しパターン５２０のキャッシュラインのサブセット５２５を記憶するために第１の部分５４０におけるストレージを割り当てる。同様に、パターン認識ユニット１３５がデータの第２の繰り返しパターン５３０を識別し、データの第２の繰り返しパターン５３０のキャッシュラインの再使用距離５６０がＬ１キャッシュの第２の部分５４５の記憶容量５６５を超えると決定したことに応じて、キャッシュコントローラ１３０は、データの第２の繰り返しパターン５３０のキャッシュラインのサブセット５３５を記憶するために第２の部分５４５におけるストレージを割り当てる。
【0044】
図６は、いくつかの実施形態による、データの繰り返しパターンのキャッシュラインを選択的にキャッシュするイラスト６００である。図２のイラスト２００と同様に、データの繰り返しパターンは、５つのキャッシュラインを含むが、Ｌ１キャッシュ１２０は、３つのキャッシュラインの記憶容量を有する。しかしながら、図２のイラスト２００とは異なり、キャッシュコントローラ１３０は、図示された例では、データの繰り返しパターンのための選択的キャッシングを実施する。データの繰り返しパターンのキャッシュラインがＬ１キャッシュ１２０の記憶容量を超える再使用距離を有するとパターン認識ユニット１３５が決定したことに応じて、キャッシュコントローラは、データの繰り返しパターンのキャッシュラインのサブセット（キャッシュライン２０２、２０４、２０６）のみにＬ１キャッシュ１２０内の空間を割り当て、データの繰り返しパターンのキャッシュラインの残りをＬ１キャッシュ１２０から除外する。
【0045】
Ｌ１キャッシュ１２０がフラッシュされた後、時間Ｔ１において、キャッシュコントローラ１３０は、キャッシュライン－１ ２０２に対する要求を計算ユニット１１５から受信する。Ｌ１キャッシュ１２０が有効なデータを含まないので、要求は、Ｌ１キャッシュ１２０においてミスとなる。キャッシュライン－１ ２０２が、キャッシュコントローラ１３０がＬ１キャッシュ１２０内のストレージを割り当てたキャッシュラインのサブセットに含まれるので、キャッシュコントローラ１３０は、キャッシュライン－１ ２０２をＬ２キャッシュ２２０からＬ１キャッシュ１２０にコピーし、キャッシュライン－１ ２０２を計算ユニット１１５に提供する。
【0046】
後続の時間Ｔ２において、キャッシュコントローラ１３０は、キャッシュライン－２ ２０４に対する要求を計算ユニット１１５から受信する。Ｌ１キャッシュ１２０がキャッシュライン－２ ２０４を含まないので、要求は、Ｌ１キャッシュ１２０においてミスとなる。キャッシュコントローラ１３０は、Ｌ１キャッシュ１２０においてストレージが割り当てられたキャッシュラインのサブセットにキャッシュライン－２ ２０４を含めているので、キャッシュコントローラ１３０は、キャッシュライン－２ ２０４をＬ２キャッシュ２２０からＬ１キャッシュ１２０にコピーし、キャッシュライン－２ ２０４を計算ユニット１１５に提供する。
【0047】
後続の時間Ｔ３において、キャッシュコントローラは、キャッシュライン－３ ２０６に対する要求を計算ユニット１１５から受信する。Ｌ１キャッシュ１２０がキャッシュライン－３ ２０６を含まないので、要求は、Ｌ１キャッシュ１２０においてミスとなる。キャッシュコントローラ１３０は、Ｌ１キャッシュ１２０においてストレージが割り当てられたキャッシュラインのサブセットにキャッシュライン－３ ２０６を含めているので、キャッシュコントローラ１３０は、キャッシュライン－３ ２０６をＬ２キャッシュ２２０からＬ１キャッシュ１２０にコピーし、キャッシュライン－３ ２０６を計算ユニット１１５に提供する。
【0048】
後続の時間Ｔ４において、キャッシュコントローラ１３０は、キャッシュライン－４ ２０８に対する要求を計算ユニット１１５から受信する。Ｌ１キャッシュ１２０がキャッシュライン－４ ２０８を含まないので、要求は、Ｌ１キャッシュ１２０においてミスとなる。キャッシュコントローラ１３０は、Ｌ１キャッシュ１２０においてストレージが割り当てられたデータの繰り返しパターンのキャッシュラインのサブセットにキャッシュライン－４ ２０８を含めていないので、キャッシュコントローラは、キャッシュライン－４ ２０８をＬ２キャッシュ２２０から計算ユニット１１５に直接提供し、キャッシュライン－４ ２０８をＬ１キャッシュ１２０から除外する。
【0049】
後続の時間Ｔ５において、キャッシュコントローラ１３０は、キャッシュライン－５ ２１０に対する要求を計算ユニット１１５から受信する。Ｌ１キャッシュ１２０がキャッシュライン－５ ２１０を含まないので、要求は、Ｌ１キャッシュ１２０においてミスとなる。キャッシュコントローラ１３０は、Ｌ１キャッシュ１２０においてストレージが割り当てられたデータの繰り返しパターンのキャッシュラインのサブセットにキャッシュライン－５ ２１０を含めていないので、キャッシュコントローラは、キャッシュライン－５ ２１０をＬ２キャッシュ２２０から計算ユニット１１５に直接提供し、キャッシュライン－５ ２１０をＬ１キャッシュ１２０から除外する。したがって、図２のイラスト２００と同様に、キャッシュライン２０２、２０４、２０６、２０８、２１０に対するアクセス要求の最初の５サイクルＴ１～Ｔ５では、キャッシュヒット率は０％である。
【0050】
図７は、図６のデータの繰り返しパターンの選択的キャッシングの継続のイラスト７００である。後続の時間Ｔ６において、キャッシュコントローラ１３０は、キャッシュライン－１ ２０２に対する要求を計算ユニット１１５から受信する。Ｌ１キャッシュ１２０がキャッシュライン－１ ２０２を含むので、要求は、Ｌ１キャッシュ１２０においてヒットとなり、キャッシュコントローラ１３０は、キャッシュライン－１ ２０２を計算ユニット１１５に提供する。後続の時間Ｔ７において、キャッシュコントローラ１３０は、キャッシュライン－２ ２０４に対する要求を計算ユニット１１５から受信する。Ｌ１キャッシュ１２０がキャッシュライン－２ ２０４を含むので、要求は、Ｌ１キャッシュ１２０においてヒットとなり、キャッシュコントローラ１３０は、キャッシュライン－２ ２０４を計算ユニット１１５に提供する。後続の時間Ｔ８において、キャッシュコントローラ１３０は、キャッシュライン－３ ２０６に対する要求を計算ユニット１１５から受信する。Ｌ１キャッシュ１２０がキャッシュライン－３ ２０６を含むので、要求は、Ｌ１キャッシュ１２０においてヒットとなり、キャッシュコントローラ１３０は、キャッシュライン－３ ２０６を計算ユニット１１５に提供する。
【0051】
後続の時間Ｔ９において、キャッシュコントローラ１３０は、キャッシュライン－４ ２０８に対する要求を計算ユニット１１５から受信する。キャッシュコントローラ１３０がキャッシュライン－４ ２０８をＬ１キャッシュ１２０から除外しているので、Ｌ１キャッシュ１２０は、キャッシュライン－４ ２０８を含まない。したがって、要求は、Ｌ１キャッシュ１２０においてミスとなる。キャッシュコントローラ１３０は、キャッシュライン－４ ２０８をＬ２キャッシュ２２０からフェッチし、キャッシュライン－４ ２０８を計算ユニット１１５に直接提供し、キャッシュライン－４ ２０８が、Ｌ１キャッシュ１２０において空間が割り当てられているキャッシュラインのサブセットに含まれていないので、キャッシュライン－４ ２０８をＬ１キャッシュ１２０に記憶することをバイパスする。
【0052】
後続の時間Ｔ１０において、キャッシュコントローラ１３０は、キャッシュライン－５ ２１０に対する要求を計算ユニット１１５から受信する。キャッシュコントローラ１３０がキャッシュライン－５ ２１０をＬ１キャッシュ１２０から除外しているので、Ｌ１キャッシュ１２０は、キャッシュライン－５ ２１０を含まない。したがって、要求は、Ｌ１キャッシュ１２０においてミスとなる。キャッシュコントローラ１３０は、キャッシュライン－５ ２１０をＬ２キャッシュ２２０からフェッチし、キャッシュライン－５ ２１０を計算ユニット１１５に直接提供し、キャッシュライン－５ ２１０が、Ｌ１キャッシュ１２０において空間が割り当てられているキャッシュラインのサブセットに含まれていないので、キャッシュライン－５ ２１０をＬ１キャッシュ１２０に記憶することをバイパスする。したがって、キャッシュライン２０２、２０４、２０６、２０８、２１０のデータの繰り返しの５つのキャッシュラインのパターンでは、ＬＲＵ置換ポリシーを使用する選択的キャッシングは、サイクルＴ６～Ｔ１０に対してＬ１キャッシュ１２０について６０％のヒット率をもたらし、これは、図３に示される従来のキャッシングシナリオの０％のヒット率に対して大幅な増加である。更に、データの同じ繰り返しパターンの追加のサイクルは、選択的キャッシングを使用するＬ１キャッシュ１２０に対して同様の増加したヒット率をもたらすと予想することができる。
【0053】
図８は、いくつかの実施形態による、データの繰り返しパターンのキャッシュラインを選択的にキャッシュする方法８００を示すフロー図である。いくつかの実施形態では、方法８００は、図１に示す処理システム１００等の処理システムによって実行される。ブロック８０２において、パターン認識ユニット１３５は、データの繰り返しパターン４２０を識別する。ブロック８０４において、パターン認識ユニット１３５は、データの繰り返しパターン４２０のキャッシュラインの再使用距離を、Ｌ１キャッシュ１２０が一度に記憶することができるキャッシュラインの最大数と比較し、再使用距離がＬ１キャッシュ１２０の記憶容量を超えるかどうかを決定する。
【0054】
ブロック８０４において、パターン認識ユニット１３５が、データの繰り返しパターン４２０のキャッシュラインの再使用距離がＬ１キャッシュ１２０の記憶容量を超えないと決定した場合、方法フローは、ブロック８０６に続く。ブロック８０６において、キャッシュコントローラ１３０は、Ｌ１キャッシュ１２０においてデータの繰り返しパターンの全てのキャッシュラインをキャッシュする。
【0055】
ブロック８０４において、パターン認識ユニット１３５が、データの繰り返しパターン４２０のキャッシュラインの再使用距離がＬ１キャッシュ１２０の記憶容量を超えると決定した場合、方法フローは、ブロック８０８に続く。ブロック８０８において、キャッシュコントローラ１３０は、データの繰り返しパターン４２０のキャッシュラインのサブセット１４０のみにＬ１キャッシュ１２０におけるストレージを割り当て、データの繰り返しパターン４２０のキャッシュラインの残り４１５をＬ１キャッシュ１２０から除外する。いくつかの実施形態では、パターン認識ユニット１３５は、反復プロセスにおいて、Ｌ１キャッシュ１２０に記憶するデータの繰り返しパターンからのキャッシュラインのサブセットを確率的に選択する。キャッシュコントローラ１３０は、キャッシュラインの選択されたサブセットの各々についてヒット率を測定し、ヒット率に基づいて、Ｌ１キャッシュ１２０から除外するデータの繰り返しパターン４２０のキャッシュラインのサブセット１４０を選択する。
【0056】
いくつかの実施形態では、キャッシュコントローラ１３０は、Ｌ１キャッシュ１２０を第１の部分５４０と第２の部分５４５とに区分する。パターン認識ユニット１３５がデータの第１の繰り返しパターン５２０を識別し、データの第１の繰り返しパターン５２０のキャッシュラインの再使用距離がＬ１キャッシュの第１の部分５４０の記憶容量を超えると決定したことに応じて、キャッシュコントローラ１３０は、データの第１の繰り返しパターン５２０のキャッシュラインのサブセット５２５を記憶するために第１の部分５４０におけるストレージを割り当てる。
【0057】
いくつかの実施形態では、上記の装置及び技術は、図１～図８を参照して上述した処理システム等の１つ以上の集積回路（integrated circuit、ＩＣ）デバイス（集積回路パッケージ又はマイクロチップとも呼称される）を含むシステムに実装されている。電子設計自動化（electronic design automation、ＥＤＡ）及びコンピュータ支援設計（computer aided design、ＣＡＤ）ソフトウェアツールは、これらのＩＣデバイスの設計及び製造に使用することができる。これらの設計ツールは、典型的には、１つ以上のソフトウェアプログラムとして表される。１つ以上のソフトウェアプログラムは、回路を製造するための製造システムを設計するか又は適応させるためのプロセスの少なくとも一部を実行するために、１つ以上のＩＣデバイスの回路を表すコードで動作するようにコンピュータシステムを操作するための、コンピュータシステムによって実行可能なコードを含む。このコードは、命令、データ、又は、命令及びデータの組み合わせを含み得る。設計ツール又は製造ツールを表すソフトウェア命令は、典型的には、コンピューティングシステムにアクセス可能なコンピュータ可読記憶媒体に記憶される。同様に、ＩＣデバイスの設計又は製造の１つ以上の段階を表すコードは、同じコンピュータ可読記憶媒体又は異なるコンピュータ可読記憶媒体に記憶され、そこからアクセスされる。
【0058】
コンピュータ可読記憶媒体は、命令及び／又はデータをコンピュータシステムに提供するために、使用中にコンピュータシステムによってアクセス可能な任意の非一時的な記憶媒体又は非一時的な記憶媒体の組み合わせを含む。このような記憶媒体には、限定されないが、光学媒体（例えば、コンパクトディスク（ＣＤ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（登録商標）ディスク）、磁気媒体（例えば、フロッピー（登録商標）ディスク、磁気テープ、磁気ハードドライブ）、揮発性メモリ（例えば、ランダムアクセスメモリ（ＲＡＭ）若しくはキャッシュ）、不揮発性メモリ（例えば、読取専用メモリ（ＲＯＭ）若しくはフラッシュメモリ）、又は、微小電気機械システム（ＭＥＭＳ）ベースの記憶媒体が含まれ得る。コンピュータ可読記憶媒体（例えば、システムＲＡＭ又はＲＯＭ）はコンピューティングシステムに内蔵されてもよいし、コンピュータ可読記憶媒体（例えば、磁気ハードドライブ）はコンピューティングシステムに固定的に取り付けられてもよいし、コンピュータ可読記憶媒体（例えば、光学ディスク又はユニバーサルシリアルバス（ＵＳＢ）ベースのフラッシュメモリ）はコンピューティングシステムに着脱可能に取り付けられてもよいし、コンピュータ可読記憶媒体（例えば、ネットワークアクセス可能ストレージ（ＮＡＳ））は有線又は無線ネットワークを介してコンピュータシステムに結合されてもよい。
【0059】
いくつかの実施形態では、上述した技術の特定の態様は、ソフトウェアを実行する処理システムの１つ以上のプロセッサによって実装される。ソフトウェアは、非一時的なコンピュータ可読記憶媒体に記憶されるか、別の方法で明確に具体化された実行可能命令の１つ以上のセットを含む。ソフトウェアは、命令及び特定のデータを含んでもよく、当該命令及び特定のデータは、１つ以上のプロセッサによって実行されると、上述した技術の１つ以上の態様を実行するように１つ以上のプロセッサを操作する。非一時的なコンピュータ可読記憶媒体は、例えば、磁気又は光ディスク記憶デバイス、フラッシュメモリ等のソリッドステート記憶デバイス、キャッシュ、ランダムアクセスメモリ（ＲＡＭ）、又は、他の不揮発性メモリデバイス（単数又は複数）等を含み得る。非一時的なコンピュータ可読記憶媒体に記憶された実行可能命令は、ソースコード、アセンブリ言語コード、オブジェクトコード、又は、１つ以上のプロセッサによって解釈され若しくは別の方法で実行可能な他の命令形式で実装可能である。
【0060】
上述したものに加えて、概要説明において説明した全てのアクティビティ又は要素が必要とされているわけではなく、特定のアクティビティ又はデバイスの一部が必要とされない場合があり、１つ以上のさらなるアクティビティが実行される場合があり、１つ以上のさらなる要素が含まれる場合があることに留意されたい。さらに、アクティビティが列挙された順序は、必ずしもそれらが実行される順序ではない。また、概念は、特定の実施形態を参照して説明された。しかしながら、当業者であれば、特許請求の範囲に記載されているような本発明の範囲から逸脱することなく、様々な変更及び変形を行うことができるのを理解するであろう。したがって、明細書及び図面は、限定的な意味ではなく例示的な意味で考慮されるべきであり、これらの変更形態の全ては、本発明の範囲内に含まれることが意図される。
【0061】
利益、他の利点及び問題に対する解決手段を、特定の実施形態に関して上述した。しかし、利益、利点、問題に対する解決手段、及び、何かしらの利益、利点若しくは解決手段が発生又は顕在化する可能性のある特徴は、何れか若しくは全ての請求項に重要な、必須の、又は、不可欠な特徴と解釈されない。さらに、開示された発明は、本明細書の教示の利益を有する当業者には明らかな方法であって、異なっているが同様の方法で修正され実施され得ることから、上述した特定の実施形態は例示にすぎない。添付の特許請求の範囲に記載されている以外に本明細書に示されている構成又は設計の詳細については限定がない。したがって、上述した特定の実施形態は、変更又は修正されてもよく、かかる変更形態の全ては、開示された発明の範囲内にあると考えられることが明らかである。したがって、ここで要求される保護は、添付の特許請求の範囲に記載されている。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【手続補正書】
【提出日】2024-08-14
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
キャッシュの記憶容量を超える数のキャッシュラインを有するデータの繰り返しパターンを識別することと、前記キャッシュにおいて、識別されたデータの繰り返しパターンのキャッシュラインのサブセットのみにストレージを割り当てることと、を含む、
方法。
【請求項2】
前記データの繰り返しパターンのキャッシュラインの残りを前記キャッシュに記憶するのをバイパスすることを含む、請求項１の方法。
【請求項3】
前記サブセットのみにストレージを割り当てることは、前記キャッシュが記憶することができるキャッシュラインの最大数を超える前記データの繰り返しパターンのキャッシュラインを前記残りとして選択することを含む、
請求項２の方法。
【請求項4】
前記繰り返しパターンを識別することは、前記データの繰り返しパターンのキャッシュラインの再使用距離が、前記キャッシュに記憶することができるキャッシュラインの数よりも大きいと決定することと、
前記サブセットを、前記キャッシュに記憶することができるキャッシュラインの数に制限することと、を含む、
請求項１～３の何れかの方法。
【請求項5】
前記キャッシュから除外する前記データの繰り返しパターンのキャッシュラインを反復的に選択することを含む、請求項１の方法。
【請求項6】
前記キャッシュから除外されない前記データの繰り返しパターンのキャッシュラインのサブセットについてのヒット率を決定することと、
前記ヒット率に基づいて、前記キャッシュから除外する前記データの繰り返しパターンのキャッシュラインを選択することと、を含む、
請求項１の方法。
【請求項7】
前記キャッシュを２つ以上の部分に区分することと、前記キャッシュの第１の部分を前記データの繰り返しパターンに割り当てることと、を含み、
前記データの繰り返しパターンのキャッシュラインの前記再使用距離が、前記キャッシュに記憶することができるキャッシュラインの数よりも大きいと決定することは、前記データの繰り返しパターンのキャッシュラインの前記再使用距離が、前記キャッシュの前記第１の部分に記憶することができるキャッシュラインの数よりも大きいと決定することを含む、
請求項１の方法。
【請求項8】
前記データの繰り返しパターンは、テクスチャを含む、請求項１の方法。
【請求項9】
デバイスであって、並列処理ユニットを備え、
前記並列処理ユニットは、
キャッシュと、
キャッシュコントローラと、を備え、
前記キャッシュコントローラは、
前記キャッシュの記憶容量を超える数のキャッシュラインを有するデータの繰り返しパターンを識別し、
前記キャッシュにおいて、前記データの繰り返しパターンのキャッシュラインのサブセットのみにストレージを割り当てる、
デバイス。
【請求項10】
前記キャッシュコントローラは、前記データの繰り返しパターンのキャッシュラインの残りを前記キャッシュに記憶するのをバイパスする、
請求項９のデバイス。
【請求項11】
前記キャッシュコントローラは、前記キャッシュが記憶することができるキャッシュラインの最大数を超える前記データの繰り返しパターンのキャッシュラインを前記残りとして選択する、
請求項１０のデバイス。
【請求項12】
前記キャッシュコントローラは、前記データの繰り返しパターンのキャッシュラインの再使用距離が、前記キャッシュに記憶することができるキャッシュラインの数よりも大きいかどうかを決定し、
前記サブセットを、前記キャッシュに記憶することができるキャッシュラインの数に制限する、
請求項９～１１の何れかのデバイス。
【請求項13】
前記キャッシュコントローラは、前記キャッシュを２つ以上の部分に区分し、
前記キャッシュの第１の部分をデータの前記繰り返しパターンに割り当て、
前記データの第１の繰り返しパターンのキャッシュラインの再使用距離が、前記キャッシュの前記第１の部分に記憶することができるキャッシュラインの数よりも大きいと決定することによって、前記データの第１の繰り返しパターンのキャッシュラインの再使用距離が、前記キャッシュに記憶することができるキャッシュラインの数よりも大きいと決定する、
請求項１２のデバイス。
【請求項14】
前記キャッシュコントローラは、
前記キャッシュから除外する前記データの繰り返しパターンのキャッシュラインを反復的に選択する、
請求項９のデバイス。
【請求項15】
前記キャッシュコントローラは、
前記キャッシュから除外されない前記データの繰り返しパターンのキャッシュラインについてのヒット率を決定し、
前記ヒット率に基づいて、前記キャッシュから除外する前記データの繰り返しパターンのキャッシュラインを選択する、
請求項１４のデバイス。
【国際調査報告】