特表 2024-535141 キャッシュメモリと、ローカルデータストレージと、レジスタファイルとの間でストレージを共有する処理デバイス及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-09-27

(54)【発明の名称】キャッシュメモリと、ローカルデータストレージと、レジスタファイルとの間でストレージを共有する処理デバイス及び方法

(51)【国際特許分類】

   G06F 9/38 20180101AFI20240919BHJP

   G06F 12/084 20160101ALI20240919BHJP

   G06F 9/30 20180101ALI20240919BHJP

【ＦＩ】

G06F9/38 370A

G06F12/084

G06F9/30 370

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024509013

(86)(22)【出願日】2022-07-13

(85)【翻訳文提出日】2024-03-11

(86)【国際出願番号】 US2022037026

(87)【国際公開番号】W WO2023033937

(87)【国際公開日】2023-03-09

(31)【優先権主張番号】17/467,104

(32)【優先日】2021-09-03

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】591016172

【氏名又は名称】アドバンスト・マイクロ・ディバイシズ・インコーポレイテッド

【氏名又は名称原語表記】ＡＤＶＡＮＣＥＤ ＭＩＣＲＯ ＤＥＶＩＣＥＳ ＩＮＣＯＲＰＯＲＡＴＥＤ

(74)【代理人】

【識別番号】100108833

【弁理士】

【氏名又は名称】早川 裕司

(74)【代理人】

【識別番号】100111615

【弁理士】

【氏名又は名称】佐野 良太

(74)【代理人】

【識別番号】100162156

【弁理士】

【氏名又は名称】村雨 圭介

(72)【発明者】

【氏名】マキシム ヴィー． カザコフ

【テーマコード（参考）】

5B013

5B033

5B205

【Ｆターム（参考）】

5B013DD01

5B013DD03

5B033DB00

5B033DD09

5B205KK14

5B205KK22

5B205MM03

5B205UU32

(57)【要約】

複数のＳＩＭＤユニットを含む複数の計算ユニットを備える加速処理デバイスであって、各ＳＩＭＤユニットがレジスタファイルを備える、加速処理デバイスが提供される。加速処理デバイスは、各ＳＩＭＤユニットと通信するＬＤＳを備える。加速処理デバイスは、各ＳＩＭＤユニットと通信するキャッシュメモリの第１の部分と、計算ユニットによって共有されるメモリの第２のキャッシュ部分と、を備える。計算ユニットは、プログラムを実行するように構成されており、プログラムにおいて、ＳＩＭＤユニットのレジスタファイル、キャッシュメモリの第１の部分及びＬＤＳのうち少なくとも１つのストレージ部分が、レジスタファイル、キャッシュメモリの第１の部分及びＬＤＳのうち別の一部として予約される。
【選択図】図３

【特許請求の範囲】

【請求項1】

加速処理デバイスであって、
複数の計算ユニットと、
キャッシュメモリと、を備え、
各計算ユニットは、
レジスタファイルを備える複数の単一命令複数データ（ＳＩＭＤ）ユニットと、
各ＳＩＭＤユニットと通信するローカルデータストレージ（ＬＤＳ）と、を備え、
前記キャッシュメモリは、
前記複数の計算ユニットの前記複数のＳＩＭＤユニットの各々と通信する第１の部分と、前記複数の計算ユニットのうち２つ以上によって共有される第２の部分と、を備え、
前記複数の計算ユニットは、プログラムを実行するように構成されており、前記プログラムの実行中に、何れかのＳＩＭＤユニットの前記レジスタファイル、前記キャッシュメモリの第１の部分及び前記ＬＤＳのうち少なくとも１つのストレージ部分が、前記レジスタファイル、前記キャッシュメモリの第１の部分及び前記ＬＤＳのうち別の一部として予約される、
加速処理デバイス。

【請求項2】

前記ストレージ部分は、前記プログラムのコンパイル時に前記ストレージ部分をインスタンス化することによって、前記レジスタファイル、前記キャッシュメモリの第１の部分及び前記ＬＤＳのうち前記別の一部として予約される、
請求項１の処理デバイス。

【請求項3】

前記加速処理デバイスは、ＧＰＵ、計算プロセッサ及び人工知能プロセッサのうち何れかである、
請求項１の処理デバイス。

【請求項4】

前記レジスタファイル、前記キャッシュメモリの第１の部分及び前記ＬＤＳのうち別の一部として予約される前記ストレージ部分は、実行される前記プログラムに基づいて決定される、
請求項１の処理デバイス。

【請求項5】

前記レジスタファイルの前記ストレージ部分は、前記キャッシュメモリの第１の部分の一部として予約され、
前記計算ユニットは、
前記レジスタファイルの別のストレージ部分のデータを使用して、前記プログラムの第１の部分を実行することと、
前記レジスタファイルの前記別のストレージ部分のデータを、前記キャッシュメモリの第１の部分の一部として予約された前記レジスタファイルの前記ストレージ部分に記憶することと、
前記キャッシュメモリの第１の部分の一部として予約された前記レジスタファイルの前記ストレージ部分のデータを、前記レジスタファイルの前記別のストレージ部分に再ロードして、前記プログラムの第２の部分を実行することと、
を行うように構成されている、
請求項１の処理デバイス。

【請求項6】

前記プログラムの前記第１の部分及び前記プログラムの前記第２の部分は、ウェーブフロントである、
請求項５の処理デバイス。

【請求項7】

前記レジスタファイルの前記ストレージ部分は、前記計算ユニットの他のＳＩＭＤユニットによって共有される、
請求項５の処理デバイス。

【請求項8】

前記ストレージ部分は、前記レジスタファイルのスタティックランダムアクセスメモリ（ＳＲＡＭ）の一部である、
請求項５の処理デバイス。

【請求項9】

前記レジスタファイルは、レジスタバンクを備え、
前記キャッシュメモリの第１の部分の一部として予約された前記レジスタファイルの前記ストレージ部分は、少なくとも１つのレジスタバンクを備える、
請求項１の処理デバイス。

【請求項10】

プログラムを実行する方法であって、
レジスタファイルの第１の部分のデータを使用して、加速処理デバイスの計算ユニットにおいて前記プログラムの第１の部分を実行することと、
前記レジスタファイルの前記第１の部分のデータを、第１のレベルキャッシュメモリの一部としてインスタンス化された前記レジスタファイルの第２の部分に記憶することと、
前記レジスタファイルの前記第２の部分に記憶されたデータを前記レジスタファイルの前記第１の部分に再ロードして、前記プログラムの第２の部分を実行することと、を含む、
方法。

【請求項11】

前記計算ユニットの第１の単一命令複数データ（ＳＩＭＤ）ユニットにおいて、前記プログラムの前記第１の部分及び前記プログラムの前記第２の部分を実行することを含む、
請求項１０の方法。

【請求項12】

前記プログラムの前記第１の部分及び前記プログラムの前記第２の部分は、ウェーブフロントである、
請求項１０の方法。

【請求項13】

前記レジスタファイルの前記第２の部分は、コンパイル時に前記第１のレベルキャッシュメモリの一部としてインスタンス化される、
請求項１０の方法。

【請求項14】

前記レジスタファイルは、計算ユニットの単一命令複数データ（ＳＩＭＤ）ユニットの一部であり、
前記レジスタファイルの前記第２の部分は、前記計算ユニットの他のＳＩＭＤユニットによって共有される、
請求項１０の方法。

【請求項15】

前記レジスタファイルの前記第２の部分のデータを前記他のＳＩＭＤユニットのうち何れかのレジスタファイルにロードすることを含む、
請求項１４の方法。

【請求項16】

処理デバイスであって、
メモリと、
加速処理デバイスと、を備え、
前記加速処理デバイスは、
複数の計算ユニットと、
キャッシュメモリと、を備え、
各計算ユニットは、
レジスタファイルを備える複数の単一命令複数データ（ＳＩＭＤ）ユニットと、
各ＳＩＭＤユニットと通信するローカルデータストレージ（ＬＤＳ）と、を備え、
前記キャッシュメモリは、
各ＳＩＭＤユニットと通信する第１のレベルと、前記複数の計算ユニット間で共有される第２のレベルと、を備え、
前記複数の計算ユニットは、プログラムを実行するように構成されており、前記プログラムにおいて、何れかのＳＩＭＤユニットの前記レジスタファイル、前記キャッシュメモリの第１のレベル及び前記ＬＤＳのうち少なくとも１つのストレージ部分が、前記レジスタファイル、前記キャッシュメモリの第１のレベル及び前記ＬＤＳのうち別の一部として予約される、
処理デバイス。

【請求項17】

前記レジスタファイルの前記ストレージ部分は、前記キャッシュメモリの第１のレベルの一部として予約され、
前記計算ユニットは、
前記レジスタファイルの別のストレージ部分のデータを使用して、前記プログラムの第１の部分を実行することと、
前記レジスタファイルの前記別のストレージ部分のデータを、前記キャッシュメモリの第１のレベルの一部として予約された前記レジスタファイルの前記ストレージ部分に記憶することと、
前記キャッシュメモリの第１のレベルの一部として予約された前記レジスタファイルの前記ストレージ部分のデータを、前記レジスタファイルの前記別のストレージ部分に再ロードして、前記プログラムの第２の部分を実行することと、
を行うように構成されている、
請求項１６の処理デバイス。

【請求項18】

前記レジスタファイルの前記ストレージ部分と前記レジスタファイルの前記別のストレージ部分との間の第１の帯域幅は、前記レジスタファイルと前記キャッシュメモリの第２のレベルとの間の第２の帯域幅よりも大きい、
請求項１７の処理デバイス。

【請求項19】

前記レジスタファイルの前記第２の部分のデータを前記他のＳＩＭＤユニットのうち何れかのレジスタファイルにロードすることを含む、
請求項１６の処理デバイス。

【請求項20】

実行される前記プログラムに基づいて、前記レジスタファイル、前記キャッシュメモリの第１のレベル及び前記ＬＤＳのうち前記別の一部として予約される前記ストレージ部分の量を決定する中央処理ユニット（ＣＰＵ）を備える、
請求項１９の処理デバイス。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本願は、２０２１年９月３日に出願された米国特許出願第１７／４６７，１０４号の利益を主張するものであり、その内容は、参照により本明細書に組み込まれる。

【背景技術】

【0002】

グラフィカル処理ユニット（graphical processing unit、ＧＰＵ）、人工知能プロセッサ及び計算プロセッサ等の加速処理デバイス（accelerated processing device、ＡＰＤ）は、並列処理に適した動作（例えば、グラフィックス動作）の処理を加速するために使用される。ＧＰＵは、単一命令複数データ（single-instruction-multiple-data、ＳＩＭＤ）パラダイムに従って並列方式で動作を実施する複数のプロセッサコア（例えば、計算ユニット（compute unit、ＣＵ））を含む。

【0003】

添付の図面と共に例として与えられる以下の説明から、より詳細な理解を得ることができる。

【図面の簡単な説明】

【0004】

【図1】本開示の１つ以上の特徴が実装され得る例示的なデバイスのブロック図である。

【図2】本開示の１つ以上の特徴を実装するための例示的な構成要素を示すブロック図である。

【図3】本開示の１つ以上の特徴を実装するための図２に示されるＡＰＤのＣＵの例示的な構成要素を示すブロック図である。

【図4】本開示の特徴による、特定のアプリケーションに基づいて共有ストレージのためにメモリブロックを区分する例示的な方法を示すフロー図である。

【図5】本開示の特徴による、プログラムを実行する例示的な方法を示すフロー図である。

【発明を実施するための形態】

【0005】

ＧＰＵは、ＣＵに加えて、異なるレベルのキャッシュ（例えば、レベル１キャッシュ（Ｌ１キャッシュ）及びレベル２キャッシュ（Ｌ２キャッシュ））を含む。各ＣＵは、Ｌ１キャッシュ及びローカルデータストレージ（local data storage、ＬＤＳ）を含む。Ｌ１キャッシュ及びＬＤＳは、ＣＵのＳＩＭＤユニット間で共有される。Ｌ１キャッシュは、ＧＰＵメモリの一部であり、レベル２キャッシュ（他のＣＵによって共有される）及びメインメモリを含む。

【0006】

一部の実施形態では、Ｌ１キャッシュストレージは、ＨＷキャッシュロジックによって管理される。ＬＤＳストレージは、ＣＵ上で実行されるソフトウェアカーネルによって管理される。ＣＵとＬ１キャッシュとの間の帯域幅は、ＣＵとメモリの他の部分（例えば、Ｌ２キャッシュ及びメインメモリ）との間の帯域幅よりも大きいので、Ｌ１キャッシュは、ＣＵによって頻繁にアクセスされたデータを記憶するために使用される。同様に、ＣＵとＬＤＳとの間の帯域幅は、ＣＵのＳＩＭＤユニット間でデータを共有するために比較的大きい。Ｌ１キャッシュは、通常、１６ＫＢ～３２ＫＢの範囲の容量を有する。ＬＤＳは、典型的には、ＧＰＵが準拠する規格（例えば、グラフィックス規格）によって定義される固定容量（例えば、６４ＫＢ以上）を有する。

【0007】

Ｌ１キャッシュの容量を増加させることにより、Ｌ１キャッシュは、より頻繁にアクセスされたデータを記憶することができる。しかしながら、Ｌ１キャッシュ及びＬＤＳの両方は、ＣＵ内のシリコン領域を占有する。したがって、Ｌ１キャッシュがより頻繁にアクセスされたデータを記憶することを可能にするためにＬ１キャッシュの容量を増加させることは、ＧＰＵ内のＬ１キャッシュの領域も増加させる。

【0008】

いくつかの従来の加速プロセッサでは、Ｌ１キャッシュ及びＬＤＳのデータストレージは、互いの間で共有される。例えば、ＬＤＳのより少ない記憶空間が使用されると判定された場合、ＬＤＳの６４ＫＢの一部（例えば、１６ＫＢ）は、ＬＤＳによる使用のために予約されてもよく、ＬＤＳの６４ＫＢの残りの部分は、より頻繁にアクセスされたデータを記憶するためにＬ１キャッシュによって使用されてもよい。これらの従来の加速プロセッサは、総領域がより効率的に使用されることを可能にするが、いくつかのアプリケーションは、Ｌ１キャッシュの更に多くの記憶容量の使用から利益を得るであろう。

【0009】

プログラムの一部（例えば、命令のブロック）は、通常、ウェーブフロント（wavefronts）に分割され、ウェーブフロントの各々は、同じ制御フローパスに従う複数のワークアイテム又はスレッドを含む。レジスタファイルは、ＣＵの各ＳＩＭＤユニットに割り当てられ、ブロック内の各ウェーブフロントは、割り当てられたレジスタファイルを使用して、ＣＵのＳＩＭＤユニット上でスケジュールされ、処理される。ウェーブフロントごとのレジスタファイルフットプリントのサイズ（すなわち、ウェーブフロントを処理するために割り当てられたレジスタの数）は、コンパイル時に判定される。ウェーブフロントごとのレジスタファイルフットプリントが低減される場合に、より多くのウェーブを並列に処理することができ、これは、処理されている他のウェーブフロントがメモリからのデータ（すなわち、メモリアクセス）を待っている間に、より多くのウェーブフロントをＣＵによって並列にスケジュール及び処理することができるので、全体的なレイテンシを低減することができる。ウェーブフロントごとのレジスタファイルフットプリントが増加すると、メモリアクセスの全体数が減少するが、より少ないウェーブフロントがＣＵによって並列に処理され得る。実行時に、ブロックのウェーブフロントは、ウェーブフロントごとに判定されたレジスタファイルフットプリントに従ってスケジュールされ、且つ、ＣＵの異なるＳＩＭＤユニット上で並列に処理されるか、又は、同じＳＩＭＤユニット上で直列に処理される。

【0010】

ＣＵのレジスタファイルの容量は、２５６ＫＢ～５１２ＫＢの範囲である。すなわち、レジスタファイルの容量及びその領域は、Ｌ１キャッシュ及びＬＤＳの容量及び領域よりも大きい。しかしながら、レジスタファイルのストレージは、ＧＰＵ内で実行されるプログラムの異なる部分（例えば、ウェーブフロント）間で容易に共有されず、場合によっては、レジスタファイルが完全に占有されない。例えば、従来のアーキテクチャでは、レジスタファイルのスタティックランダムアクセスメモリ（static random access memory、ＳＲＡＭ）の部分は、ＳＩＭＤユニット間で共有されない。したがって、プログラムの実行が、第１のＳＩＭＤユニットのレジスタ内のデータを第２のＳＩＭＤユニットに利用可能にすることを含む場合、第１のＳＩＭＤユニットは、最初に、ＬＤＳ３０８、Ｌ１キャッシュ３０６又はメモリの別の部分にデータをプッシュし、次いで、そこから、データが第２のＳＩＭＤユニットによってアクセスされる。したがって、ウェーブフロントのスレッドは、メモリ（例えば、メインメモリ）を介して同じウェーブフロントの別のスレッドに間接的にアクセスすることができるが、データに直接アクセスするよりも長いレイテンシ期間を有する。しかしながら、ウェーブフロントのスレッドは、レジスタファイルを介して同じウェーブフロントの別のスレッドに直接アクセスすることができない。

【0011】

本開示の特徴は、Ｌ１キャッシュ、ＬＤＳ及びレジスタファイルの組み合わされたストレージを共有することによって、プログラムの効率的な処理のためのデバイス及び方法を提供する。従来のアーキテクチャでは他のＳＩＭＤユニット１３８によって共有されないレジスタファイルのＳＲＡＭの部分は、Ｌ１キャッシュ及びＬＤＳのために予約され、ＣＵのＳＩＭＤユニット間で共有される。Ｌ１キャッシュ及びＬＤＳのために予約されるレジスタファイルの部分の量又はサイズは、実行されるアプリケーションに基づく。すなわち、Ｌ１キャッシュ、ＬＤＳ及びレジスタファイルの間の区分は、実行される特定のアプリケーションに合わせて調整される。例えば、実行されるアプリケーションが、大きいＬ１キャッシュ容量を要求するが、より大きいレジスタファイルを要求しないアプリケーションであると判定された場合に、レジスタファイルのより大きい部分が、追加のＬ１キャッシュストレージとして使用するために予約される。代替的に、実行されるアプリケーションが、より大きいレジスタファイルを要求するが、大きいＬ１キャッシュ容量又はＬＤＳを要求しないアプリケーションであると判定された場合に、レジスタファイルのより小さい部分が、Ｌ１キャッシュ又はＬＤＳのために予約されるか、又は、予約される部分がない。

【0012】

各々が、複数のＳＩＭＤユニットを含む複数の計算ユニットを備え、各ＳＩＭＤユニットがレジスタファイルを備える、加速処理デバイスが提供される。また、加速処理デバイスは、ＳＩＭＤユニットの各々と通信するＬＤＳを備える。また、加速処理デバイスは、ＳＩＭＤユニットの各々と通信するキャッシュメモリの第１の部分と、計算ユニットによって共有されるメモリの第２のキャッシュ部分と、を備える。計算ユニットは、プログラムを実行するように構成されており、プログラムにおいて、ＳＩＭＤユニットのレジスタファイル、キャッシュメモリの第１の部分及びＬＤＳのうち少なくとも１つのストレージ部分は、レジスタファイル、キャッシュメモリの第１の部分及びＬＤＳのうち別の一部として予約される。

【0013】

プログラムを実行する方法が提供されており、この方法は、レジスタファイルの第１の部分内のデータを使用して、加速処理デバイスの計算ユニット内でプログラムの第１の部分を実行することと、レジスタファイルの第１の部分からのデータを、第１のレベルキャッシュメモリの一部としてインスタンス化されたレジスタファイルの第２の部分に記憶することと、レジスタファイルの第２の部分に記憶されたデータをレジスタファイルの第１の部分に再ロードして、プログラムの第２の部分を実行することと、を含む。

【0014】

加速処理デバイスを備える処理デバイスが提供される。加速処理デバイスは、メモリと、複数のＳＩＭＤユニットを含む複数の計算ユニットと、を備え、各ＳＩＭＤユニットは、レジスタファイルを備える。また、加速処理デバイスは、ＳＩＭＤユニットの各々と通信するＬＤＳを備える。また、加速処理デバイスは、ＳＩＭＤユニットの各々と通信する第１のレベルと、計算ユニット間で共有される第２のレベルと、を備えるキャッシュメモリを備える。計算ユニットは、プログラムを実行するように構成されており、プログラムにおいて、ＳＩＭＤユニットのレジスタファイル、キャッシュメモリの第１のレベル及びＬＤＳのうち少なくとも１つのストレージ部分は、レジスタファイル、キャッシュメモリの第１のレベル及びＬＤＳのうち別の一部として予約される。

【0015】

図１は、本開示の１つ以上の特徴が実装され得る例示的なデバイス１００のブロック図である。デバイス１００は、例えば、コンピュータ、ゲームデバイス、ハンドヘルドデバイス、セットトップボックス、テレビ、携帯電話、又は、タブレットコンピュータを含み得る。デバイス１００は、プロセッサ１０２、メモリ１０４、ストレージ１０６、１つ以上の入力デバイス１０８、及び、１つ以上の出力デバイス１１０を含む。また、デバイス１００は、オプションで、入力ドライバ１１２及び出力ドライバ１１４を含み得る。デバイス１００は、図１に示されていない追加の構成要素を含み得ることを理解されたい。

【0016】

様々な代替例では、プロセッサ１０２は、中央処理ユニット（central processing unit、ＣＰＵ）、ＧＰＵ、同じダイ上に位置するＣＰＵ及びＧＰＵ、又は、１つ以上のプロセッサコアを含み、各プロセッサコアは、ＣＰＵ又はＧＰＵとすることができる。様々な代替例では、メモリ１０４は、プロセッサ１０２と同じダイ上に位置しているか、又は、プロセッサ１０２とは別に位置する。メモリ１０４は、揮発性又は不揮発性メモリ（例えば、ランダムアクセスメモリ（random access memory、ＲＡＭ）、ダイナミックＲＡＭ（dynamic RAM、ＤＲＡＭ）、キャッシュ）を含む。

【0017】

ストレージ１０６は、固定又はリムーバブルストレージ（例えば、ハードディスクドライブ、ソリッドステートドライブ、光ディスク、フラッシュドライブ）を含む。入力デバイス１０８は、キーボード、キーパッド、タッチスクリーン、タッチパッド、検出器、マイクロフォン、加速度計、ジャイロスコープ、生体認証スキャナ、又は、ネットワーク接続（例えば、無線ＩＥＥＥ８０２シグナルの送信及び／又は受信のための無線ローカルエリアネットワークカード）を含むが、これらに限定されない。出力デバイス１１０は、ディスプレイ、スピーカ、プリンタ、触覚フィードバックデバイス、１つ以上の光、アンテナ、又は、ネットワーク接続（例えば、無線ＩＥＥＥ８０２シグナルの送信及び／又は受信のための無線ローカルエリアネットワークカード）を含むが、これらに限定されない。

【0018】

入力ドライバ１１２は、プロセッサ１０２及び入力デバイス１０８と通信し、プロセッサ１０２が入力デバイス１０８から入力を受信することを可能にする。出力ドライバ１１４は、プロセッサ１０２及び出力デバイス１１０と通信し、プロセッサ１０２が出力デバイス１１０に出力を送信することを可能にする。入力ドライバ１１２及び出力ドライバ１１４は、オプションの構成要素であること、並びに、デバイス１００は、入力ドライバ１１２及び出力ドライバ１１４が存在しない場合に、同じ方式で動作することに留意されたい。出力ドライバ１１４は、表示デバイス１１８に連結されるＡＰＤ１１６を含む。ＡＰＤは、プロセッサ１０２から計算コマンド及びグラフィックスレンダリングコマンドを受け入れて、それらの計算及びグラフィックスレンダリングコマンドを処理し、表示のために表示デバイス１１８にピクセル出力を提供するように構成されている。以下で更に詳細に説明するように、ＡＰＤ１１６は、ＳＩＭＤパラダイムに従って計算を行うように構成された１つ以上の並列処理ユニットを含む。こうして、様々な機能は、本明細書では、ＡＰＤ１１６によって又はＡＰＤ１１６と併せて実行されるものとして説明されているが、様々な代替例では、ＡＰＤ１１６によって行われるものとして説明される機能は、ホストプロセッサ（例えば、プロセッサ１０２）によって駆動されず、表示デバイス１１８にグラフィック出力を提供するように構成された同様の能力を有する他のコンピューティングデバイスによって、追加的又は代替的に行われる。例えば、ＳＩＭＤパラダイムに従って処理タスクを行う任意の処理システムが、本明細書に説明される機能を行うように構成され得ることが企図される。代替的に、ＳＩＭＤパラダイムに従って処理タスクを行わないコンピューティングシステムが、本明細書に説明される機能を行うことが企図される。

【0019】

図２は、デバイス１００のブロック図であり、ＡＰＤ１１６上での処理タスクの実行に関する追加の詳細を示している。プロセッサ１０２は、システムメモリ１０４内で、プロセッサ１０２による実行のための１つ以上の制御論理モジュールを維持する。制御論理モジュールは、オペレーティングシステム１２０、カーネルモードドライバ１２２、及び、アプリケーション１２６を含む。これらの制御論理モジュールは、プロセッサ１０２及びＡＰＤ１１６の動作の様々な特徴を制御する。例えば、オペレーティングシステム１２０は、ハードウェアと直接通信し、プロセッサ１０２上で実行される他のソフトウェアのためのハードウェアへのインターフェースを提供する。カーネルモードドライバ１２２は、例えば、プロセッサ１０２上で実行されるソフトウェア（例えば、アプリケーション１２６）にアプリケーションプログラミングインターフェース（application programming interface、「ＡＰＩ」）を提供して、ＡＰＤ１１６の様々な機能にアクセスすることによって、ＡＰＤ１１６の動作を制御する。また、カーネルモードドライバ１２２は、ＡＰＤ１１６の処理構成要素（以下で更に詳細に説明されるＳＩＭＤユニット１３８等）によって実行するためのプログラムをコンパイルするジャストインタイムコンパイラを含む。

【0020】

ＡＰＤ１１６は、並列処理に適し得るグラフィック動作及び非グラフィック動作等の選択された機能のためのコマンド及びプログラムを実行する。ＡＰＤ１１６は、プロセッサ１０２から受信したコマンドに基づいて、ピクセル動作、幾何学計算及び表示デバイス１１８への画像のレンダリング等のグラフィックスパイプライン動作を実行するために使用することができる。また、ＡＰＤ１１６は、プロセッサ１０２から受信したコマンドに基づいて、ビデオ、物理シミュレーション、計算流体力学又は他のタスクに関連する動作等のように、グラフィックス動作に直接関連しない計算処理動作を実行する。

【0021】

ＡＰＤ１１６は、プロセッサ１０２の要求で、ＳＩＭＤパラダイムに従って並列の方式で動作を行う１つ以上のＳＩＭＤユニット１３８を含む計算ユニット１３２を含む。ＳＩＭＤパラダイムは、複数の処理要素が単一のプログラム制御フローユニット及びプログラムカウンタを共有し、したがって同じプログラムを実行するが、そのプログラムを異なるデータで実行することができるものである。一例では、各ＳＩＭＤユニット１３８は、１６個のレーンを含み、各レーンは、ＳＩＭＤユニット１３８内の他のレーンと同時に同じ命令を実行するが、その命令を異なるデータで実行することができる。レーンは、全てのレーンが所定の命令を実行する必要がない場合、予測でオフに切り替えることができる。また、予測は、分岐制御フローを有するプログラムを実行するために使用することができる。より具体的には、制御フローが個々のレーンによって行われる計算に基づいている条件付き分岐又は他の命令を有するプログラムについては、現在実行されていない制御フローパスに対応するレーンの予測及び異なる制御フローパスのシリアル実行が、任意の制御フローを可能にする。

【0022】

計算ユニット１３２内の実行の基本的単位は、ワークアイテムである。各ワークアイテムは、特定のレーンにおいて並列で実行されるプログラムの単一のインスタンス化を表す。ワークアイテムは、単一のＳＩＭＤユニット１３８上のウェーブフロントとして同時に実行され得る。１つ以上のウェーブフロントがワークグループに含まれ、これは、同じプログラムを実行するように指定されたワークアイテムの集合体を含む。ワークグループは、ワークグループを構成するウェーブフロントの各々を実行することによって実行され得る。代替例では、ウェーブフロントは、単一のＳＩＭＤユニット１３８上で連続して、又は、異なるＳＩＭＤユニット１３８上で部分的に若しくは完全に並列で実行される。ウェーブフロントは、単一のＳＩＭＤユニット１３８上で同時に実行され得るワークアイテムの最大集合体と考えることができる。したがって、プロセッサ１０２から受信されたコマンドが、プログラムが単一のＳＩＭＤユニット１３８上で同時に実行させることができない程度に特定のプログラムが並列化されるべきであることを示す場合、そのプログラムは、２つ以上のＳＩＭＤユニット１３８上に並列化されるか、又は、同じＳＩＭＤユニット１３８上で直列化される（又は必要に応じて並列化及び直列化の両方）ウェーブフロントに分けられる。スケジューラ１３６は、異なる計算ユニット１３２及びＳＩＭＤユニット１３８上の様々なウェーブフロントのスケジューリングに関連する動作を行う。

【0023】

計算ユニット１３２によって与えられる並列処理は、ピクセル値計算、頂点変換及び他のグラフィック動作等のグラフィック関連動作に好適である。したがって、場合によっては、プロセッサ１０２からのグラフィックス処理コマンドを受け入れるグラフィックスパイプライン１３４は、並列で実行するために計算タスクを計算ユニット１３２に提供する。

【0024】

また、計算ユニット１３２は、グラフィックに関連しないか、又は、グラフィックスパイプライン１３４の通常の動作の一部（例えば、グラフィックスパイプライン１３４の動作に対して行われる処理を補足するために行われたカスタム動作）として行われない計算タスクを行うために使用される。プロセッサ１０２上で実行されるアプリケーション１２６又は他のソフトウェアは、そのような計算タスクを定義するプログラムを、実行のためにＡＰＤ１１６に送信する。

【0025】

以下でより詳細に説明されるように、ＡＰＤ１１６は、Ｌ１キャッシュ、ＬＤＳ及びレジスタファイルの組み合わされたストレージを共有するように構成されている。メモリブロック（すなわち、レジスタファイルのＳＲＡＭ、ＬＤＳ及びＬ１キャッシュ）のうち１つ以上の部分は、実行されるアプリケーションに基づいて、他のメモリブロックのうち１つ以上のために予約される（すなわち、インスタンス化される）。Ｌ１キャッシュ、ＬＤＳ及びレジスタファイルの間の区分は、アプリケーションによるＬ１キャッシュ、ＬＤＳ及びレジスタファイルの特定の使用に合わせて調整される。

【0026】

図３は、本開示の１つ以上の特徴を実装するための図２に示されるＡＰＤ１１６のＣＵ１３２の例示的な構成要素を示すブロック図である。説明を簡単にするために、ＡＰＤ１１６は、ＡＰＤ１１６の例であるＧＰＵとして説明される。

【0027】

図３に示すように、計算ユニット１３２の各ＳＩＭＤユニット１３８は、レジスタファイル３０２のバンク３０４を含む。図３の例に示すように、各レジスタファイル３０２は、１２８ＫＢの記憶容量を有し、各々が３２ＫＢの記憶容量を有する４つのバンク３０４を含む。図３に示したＳＩＭＤユニット数及び各レジスタファイルのバンク数は、単なる一例である。本開示の特徴は、任意の数のＳＩＭＤユニットと任意の数のバンクを有するレジスタファイルとを有するＣＵを使用して実装され得る。加えて、図３に示したレジスタファイル及びバンクの容量は、単なる一例である。本開示の特徴は、図３に示されるものとは異なる容量で実装され得る。

【0028】

また、ＣＵ１３２は、相互接続３１０を通して４つのＳＩＭＤユニット１３８の各々と通信し、ＧＰＵの次のレベルのメモリ（例えば、Ｌ２キャッシュ、Ｌ３キャッシュ、メインメモリ）と通信するＬ１キャッシュ３０６を含む。したがって、任意のＳＩＭＤユニット１３８は、Ｌ１キャッシュ又はメモリの任意の他の部分からデータを要求することができる。

【0029】

ＬＤＳ３０８は、相互接続３１２を使用して４つのＳＩＭＤユニット１３８の各々と通信しており、ＳＩＭＤユニット１３８のうち何れかによってアクセス可能である。また、データを共有することができる。したがって、任意のＳＩＭＤユニット１３８は、データをＬＤＳ３０８にプッシュすることができ、別のＳＩＭＤユニット１３８は、そのデータをＬＤＳ３０８からプルすることができる。対照的に、従来のアーキテクチャでは、各ＳＩＭＤユニット１３８のレジスタファイル３０２は、各ＳＩＭＤユニット１３８に専用であり、他のＳＩＭＤユニット１３８によって共有されない。したがって、ＳＩＭＤユニット１３８がデータを別のＳＩＭＤユニット１３８に利用可能にすることを望む場合、ＳＩＭＤユニット１３８は、データをＬＤＳ３０８、Ｌ１キャッシュ３０６（又はより長いレイテンシをもたらすメモリの別の部分）にプッシュして、他のＳＩＭＤユニット１３８にアクセス可能にする。

【0030】

本開示の特徴は、典型的には他のＳＩＭＤユニット１３８によって共有されないレジスタファイルのＳＲＡＭの部分を、相互接続３１０を通してＬ１キャッシュ３０６のために、且つ、相互接続３１２を通してＬＤＳ３０８のために予約し、したがって、ＳＩＭＤユニット１３８間で共有可能である。Ｌ１キャッシュ３０６及びＬＤＳ３０８のために予約されるレジスタファイルの部分の量又はサイズは、実行されるアプリケーションに基づく。

【0031】

３つのハードウェアブロックにわたって共有されることによって、記憶されたデータは、アプリケーションのためにより効率的に再使用される。アプリケーションがメモリブロック（すなわち、Ｌ１キャッシュ３０６、ＬＤＳ３０８及びレジスタファイル３０２）のうち何れかのより多くの容量及び帯域幅を使用すると判定されると、他のメモリブロックのうち１つ以上の部分が、１つのメモリブロックのために予約される。例えば、アプリケーションが実行のためにより多くのレジスタを使用すると判定された場合に、Ｌ１キャッシュ３０６及び／又はＬＤＳ３０８の部分が、レジスタファイル３０２のために予約される。アプリケーションが実行のためにより多くのキャッシュメモリを使用すると判定された場合に、レジスタファイル３０２及び／又はＬＤＳ３０８の部分（例えば、１つ以上のバンク３０４）は、追加のＬ１キャッシュストレージとして使用するために予約される。アプリケーションがより多くのＬＤＳ容量を使用すると判定された場合に、レジスタファイル３０２及び／又はＬ１キャッシュ３０６の部分（例えば、１つ以上のバンク３０４）は、追加のＬＤＳストレージとして使用するために予約される。すなわち、Ｌ１キャッシュ３０６、ＬＤＳ３０８及びレジスタファイル３０２の間の区分は、実行される特定のアプリケーションに合わせて調整される。

【0032】

図４は、特定のアプリケーションに基づいて共有ストレージのためにメモリブロックをどのように区分するかを判定する例示的な方法４００を示すフロー図である。図４に示す例は、プログラムの部分をウェーブフロントとして記述している。しかしながら、本開示の特徴は、プログラムの他のタイプの部分を実行することによって実装され得る。

【0033】

図４に示す例は、実行されるアプリケーションの特定のユースケースに基づいてメモリブロックをどのように区分するかについての異なる判定（すなわち、決定ｄ）を含む。図４において決定が行われる順序は、単なる例である。本開示の特徴は、図４に示される順序とは異なる順序で図４に示される決定を行うことによって実装され得る。図４に示す決定は網羅的なものではなく、アプリケーションをより効率的に実行するために、メモリブロックを区分する他の組み合わせを使用することができることを理解されたい。

【0034】

ブロック４０２に示すように、アプリケーションは、実行を開始する。アプリケーションは、例えば、グラフィックス動作と、並列処理に適する非グラフィックス動作と、を含むアプリケーションである。アプリケーションが実行される場合に、処理デバイス（例えば、ＣＰＵ）は、メモリブロック（すなわち、レジスタファイル、Ｌ１キャッシュ及びＬＤＳ）をどのように区分するかを判定する。

【0035】

決定ブロック４０４に示されるように、方法４００は、アプリケーションが非ゼロサイズのＬＤＳを使用するかどうかを判定することを含む。ブロック４０４において、非ゼロサイズのＬＤＳがプログラムを実行するために使用されると判定された場合（「はい」）、ブロック４０６において、レジスタファイルの一部が、ＬＤＳストアを含むように（すなわち、ＬＤＳにデータを記憶するように）予約される。次に、ブロック４０８で、アプリケーションによって指定されたＬ１キャッシュサイズに基づいて、レジスタファイルの一部がＬ１キャッシュのために予約される。

【0036】

ブロック４０４において、アプリケーションを実行するためにＬＤＳストアが使用されていないと判定された場合（「いいえ」）、ブロック４０８において、ＬＤＳストアを含むようにレジスタファイルの一部を予約することなく、アプリケーションによって指定されたＬ１キャッシュサイズに基づいて、レジスタファイルの一部がＬ１キャッシュのために予約される。例えば、アプリケーションを実行するためにＬＤＳストアが使用されない場合に、非ゼロサイズのＬＤＳがプログラムを実行するために使用される場合よりも、レジスタファイルのより大きい部分がＬ１キャッシュのために予約され得る。

【0037】

ブロック４０８においてレジスタファイルの一部がＬ１キャッシュのために予約された後、ブロック４１０において、レジスタファイルの残り（すなわち、Ｌ１キャッシュ及び／又はＬＤＳストアのために予約されていないレジスタ）が、ウェーブフロントを実行するために割り当てられる。

【0038】

Ｌ１キャッシュ及び／又はＬＤＳストアのために予約されたレジスタファイルの部分のサイズ（レジスタの数）は、例えば、Ｌ１キャッシュ及び／又はＬＤＳの容量及び帯域幅等の異なる要因に基づいて判定される。

【0039】

図５は、本開示の特徴による、プログラムを実行する例示的な方法５００を示すフロー図である。図５に示される方法５００は、実行される特定のアプリケーションに基づいてＬ１キャッシュの一部としてＣＵのレジスタファイルの一部をインスタンス化する決定が行われる場合に、本開示の特徴に従ってプログラムを実行することの単なる一例である。実行される特定のアプリケーションに基づいてＬ１キャッシュの一部としてＣＵのレジスタファイルの一部をインスタンス化するためにメモリブロックをどのように区分するかについて異なる決定がなされる場合に、プログラムを実行する他の方法が、図５に示される方法と同様に実施され得ることを理解されたい。

【0040】

図５に示す例は、プログラムの部分をウェーブフロントとして記述している。しかしながら、本開示の特徴は、プログラムの他のタイプの部分を実行することによって実装され得る。

【0041】

ブロック５０２に示されるように、方法５００は、第１のウェーブフロントの実行を開始することを含む。すなわち、第１のウェーブフロントは、図３に示すＳＩＭＤユニット１３８のうち何れかによって実行される。

【0042】

ブロック５０４に示されるように、方法５００は、レジスタファイルの第１の部分にデータをロードすることを含む。すなわち、データは、図３に示されるレジスタファイル３０２のうち何れかのレジスタにロードされる。例えば、データは、ＡＬＵ（図示せず）によって使用され、レジスタファイルの第１の部分のレジスタにロードされたデータを使用して計算を実施し、ウェーブフロントを実行する。上述したように、この例では、ＣＵのレジスタファイルの一部（すなわち、第２の部分）が、実行される特定のアプリケーションに基づいてＬ１キャッシュの一部としてインスタンス化される。例えば、アプリケーションは、実行のために大きいレジスタファイルを使用しないアプリケーションであると判定される。したがって、アプリケーションは、レジスタファイルの第２の部分によって追加のＬ１キャッシュ容量を生成することによって実行される。

【0043】

ブロック５０６に示すように、方法５００は、レジスタファイルの第１の部分からのデータを、Ｌ１キャッシュの一部としてインスタンス化された（予約された）レジスタファイルの第２の部分に記憶することを含む。例えば、データは、第２のウェーブフロントを実行するためにレジスタファイルの第１の部分のスペースを解放するためのスピル動作の一部としてレジスタファイルの第２の部分に記憶される。

【0044】

ブロック５０８に示すように、方法５００は、レジスタファイルの第２の部分からのデータをレジスタファイルの第１の部分に再ロードして、第２のウェーブフロントを実行することを含む。データ再ロードは、レジスタからレジスタへの転送を含み、これは、Ｌ１キャッシュからレジスタへの転送よりも広い帯域幅を有し、Ｌ２キャッシュ（又はメインメモリ）からレジスタへの転送よりもはるかに広い帯域幅を有する。これにより、レイテンシが低減される。

【0045】

追加的又は代替的に、レジスタファイルの第２の部分内のデータは、ブロック５１０において破線で示されるように、別のＳＩＭＤユニットのレジスタファイルの一部にロードされ得る。すなわち、レジスタファイルの第２の部分は、Ｌ１キャッシュの一部としてインスタンス化され、且つ、ＣＵの他のＳＩＭＤユニットによって共有される。したがって、データは、レジスタとＬ２キャッシュとの間の転送よりも大きい帯域幅を有する同じＣＵのＳＩＭＤユニット間で転送され得る。したがって、メモリブロックの占有領域を増大させることなく、アプリケーションをより効率的に実行することができる。

【0046】

本明細書の開示に基づいて、多くの変形が可能であることを理解されたい。特徴及び要素が特定の組み合わせで上述されているが、各特徴又は要素は、他の特徴及び要素を用いずに単独で、又は、他の特徴及び要素を用いて若しくは用いずに様々な組み合わせで使用することができる。

【0047】

図において示され、及び／又は、本明細書に説明される様々な機能ユニット（プロセッサ１０２、入力ドライバ１１２、入力デバイス１０８、出力ドライバ１１４、出力デバイス１１０、加速処理デバイス１１６、割り当てられたレジスタ３０４、レジスタファイル３０２のレジスタキャッシュ３０６、及び、ＡＬＵ３０８を含むが、これらに限定されない）は、汎用コンピュータ、プロセッサ若しくはプロセッサコアとして、又は、汎用コンピュータ、プロセッサ若しくはプロセッサコアによって実行可能な非一時的なコンピュータ可読記憶媒体若しくは別の記憶媒体に記憶されているプログラム、ソフトウェア若しくはファームウェアとして実装され得る。提供される方法は、汎用コンピュータ、プロセッサ又はプロセッサコアにおいて実施することができる。好適なプロセッサとしては、例として、汎用プロセッサ、専用プロセッサ、従来型プロセッサ、デジタルシグナルプロセッサ（digital signal processor、ＤＳＰ）、複数のマイクロプロセッサ、ＤＳＰコアと関連する１つ以上のマイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路（Application Specific Integrated Circuit、ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（Field Programmable Gate Array、ＦＰＧＡ）回路、任意の他のタイプの集積回路（integrated circuit、ＩＣ）、及び／又は、状態マシンが挙げられる。そのようなプロセッサは、処理されたハードウェア記述言語（hardware description language、ＨＤＬ）命令及びネットリストを含む他の中間データ（コンピュータ可読媒体に記憶させることが可能な命令）の結果を使用して製造プロセスを構成することによって製造することができる。そのような処理の結果はマスクワークとすることができ、このマスクワークをその後の半導体製造プロセスにおいて使用して、本開示の特徴を実装するプロセッサを製造する。

【0048】

本明細書に提供される方法又はフローチャートは、汎用コンピュータ又はプロセッサによる実行のために非一時的なコンピュータ可読記憶媒体に組み込まれるコンピュータプログラム、ソフトウェア又はファームウェアにおいて実装することができる。非一時的なコンピュータ可読記憶媒体の例としては、読み取り専用メモリ（read only memory、ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、レジスタ、キャッシュメモリ、半導体メモリデバイス、内蔵ハードディスク及びリムーバブルディスク等の磁気媒体、磁気光学媒体、並びに、ＣＤ－ＲＯＭディスク及びデジタル多用途ディスク（digital versatile disk、ＤＶＤ）等の光学媒体が挙げられる。

【図1】

【図2】

【図3】

【図4】

【図5】

【国際調査報告】