特開 2022-175420 演算処理装置および演算処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022175420

(43)【公開日】2022-11-25

(54)【発明の名称】演算処理装置および演算処理方法

(51)【国際特許分類】

   G06F 12/0846 20160101AFI20221117BHJP

【ＦＩ】

G06F12/0846

G06F12/0846 110

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2021081786

(22)【出願日】2021-05-13

(71)【出願人】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】依田 勝洋

【テーマコード（参考）】

5B205

【Ｆターム（参考）】

5B205KK14

5B205MM03

5B205MM05

5B205NN75

(57)【要約】

【課題】複数のアクセス要求部からのアクセス要求を同時に受信する場合にも、アクセスを競合させることなくデータを出力する。
【解決手段】複数のバンクは、第１エントリを含む第１キャッシュ領域と第２エントリを含む第２キャッシュ領域とキャッシュ制御部とヒットミス判定部とを有する。キャッシュ制御部は、複数の要求発行部から同時に受信した複数のアクセス要求がキャッシュミスした場合、第１エントリの１つと第２エントリの１つとに、複数のアクセス要求に対応して記憶装置から読み出されるデータをそれぞれ格納する。キャッシュ制御部は、複数の要求発行部から同時に受信した複数のアクセス要求が第１キャッシュ領域と第２キャッシュ領域とでキャッシュヒットした場合、キャッシュヒットした第１エントリに含まれるデータと第２エントリとに含まれるデータとを複数のアクセス要求の発行元にそれぞれ出力する。
【選択図】図５

【特許請求の範囲】

【請求項1】

記憶装置にアクセス要求を発行する複数の要求発行部と、
前記記憶装置から読み出されるデータを保持可能な複数の第１エントリを含む第１キャッシュ領域と、複数の第２エントリを含む第２キャッシュ領域と、キャッシュ制御部と、前記複数の要求発行部からそれぞれ発行されるアクセス要求に基づいて、前記複数のバンク毎にキャッシュヒットまたはキャッシュミスを判定するヒットミス判定部と、をそれぞれ含む複数のバンクと、を有し、
前記キャッシュ制御部は、
前記複数の要求発行部から同時に受信した複数のアクセス要求がキャッシュミスした場合、前記第１エントリの１つと前記第２エントリの１つとに、複数のアクセス要求に対応して前記記憶装置から読み出されるデータをそれぞれ格納し、
前記複数の要求発行部から同時に受信した複数のアクセス要求が前記第１キャッシュ領域と前記第２キャッシュ領域とでキャッシュヒットした場合、キャッシュヒットした第１エントリと第２エントリとに保持されたデータを前記複数のアクセス要求の発行元にそれぞれ出力する
演算処理装置。

【請求項2】

前記キャッシュ制御部は、同時に受信したアドレスが同じ複数のアクセス要求がキャッシュミスした場合、前記第１エントリの１つと前記第２エントリの１つとに、複数のアクセス要求に対応して前記記憶装置から読み出される共通のデータをそれぞれ格納する
請求項１に記載の演算処理装置。

【請求項3】

前記複数のバンクのうち、互いに隣接する２つのバンクの一方の前記第１キャッシュ領域から出力されるデータと、前記２つのバンクの他方の前記第２キャッシュ領域から出力されるデータとの一方を選択するセレクタと、
前記セレクタが選択したデータをアクセス要求の発行元に向けて出力するデータ線と、
を有する請求項１または請求項２に記載の演算処理装置。

【請求項4】

前記キャッシュ制御部は、同時に受信した、アドレスが異なる複数のアクセス要求がキャッシュミスした場合、キャッシュミスした複数のアクセス要求を前記記憶装置に順次発行した後、前記記憶装置から読み出されるデータを順次受信し、受信したデータを前記第１エントリの１つと前記第２エントリの１つとにそれぞれ格納する
請求項１ないし請求項３のいずれか１項に記載の演算処理装置。

【請求項5】

前記キャッシュ制御部は、
前記複数の要求発行部から同時に受信した複数のアクセス要求の優先順位を判定する優先判定部を有し、
前記優先判定部により判定された優先順位が最も高いアクセス要求に対応するデータを前記第１エントリに格納し、
前記優先判定部により判定された優先順位が２番目に高いアクセス要求に対応するデータを前記第２エントリに格納する
請求項１ないし請求項４のいずれか１項に記載の演算処理装置。

【請求項6】

複数のバンクの各々は、複数の前記第２キャッシュ領域を有し、
前記キャッシュ制御部は、前記優先判定部により判定された優先順位が２番目以降のアクセス要求に対応するデータを複数の前記第２エントリにそれぞれ格納する
請求項５に記載の演算処理装置。

【請求項7】

前記第２キャッシュ領域の前記第２エントリの数は、前記第１キャッシュ領域の前記第１エントリの数より少ない
請求項１ないし請求項６のいずれか１項に記載の演算処理装置。

【請求項8】

記憶装置に対するアクセス要求を発行する複数の要求発行部と、
前記記憶装置から読み出されるデータを保持可能な複数のエントリを含み、データを出力する複数のポートを有するキャッシュ領域と、キャッシュ制御部と、前記複数の要求発行部からそれぞれ発行されるアクセス要求に基づいて、前記複数のバンク毎にキャッシュヒットまたはキャッシュミスを判定するヒットミス判定部と、をそれぞれ含む複数のバンクと、を有し、
前記キャッシュ制御部は、
前記複数の要求発行部から同時に受信したアドレスが同じ複数のアクセス要求がキャッシュミスした場合、前記エントリの１つに、複数のアクセス要求に対応して前記記憶装置から読み出される共通のデータを格納し、
前記複数の要求発行部から同時に受信したアドレスが同じ複数のアクセス要求がキャッシュヒットした場合、キャッシュヒットした第１エントリに含まれるデータを前記複数のポートを介して前記複数のアクセス要求の発行元にそれぞれ出力する
演算処理装置。

【請求項9】

記憶装置に対するアクセス要求を発行する複数の要求発行部と、前記記憶装置から読み出されるデータを保持可能な複数の第１エントリを含む第１キャッシュ領域と、複数の第２エントリを含む第２キャッシュ領域と、キャッシュ制御部と、前記複数の要求発行部からそれぞれ発行されるアクセス要求に基づいて、前記複数のバンク毎にキャッシュヒットまたはキャッシュミスを判定するヒットミス判定部と、をそれぞれ含む複数のバンクと、を有する演算処理装置の演算処理方法であって、
前記複数のバンクの各々が有するキャッシュ制御部が、
前記複数の要求発行部から同時に受信した複数のアクセス要求がキャッシュミスした場合、前記第１エントリの１つと前記第２エントリの１つとに、複数のアクセス要求に対応して前記記憶装置から読み出されるデータをそれぞれ格納し、
前記複数の要求発行部から同時に受信した複数のアクセス要求が前記第１キャッシュ領域と前記第２キャッシュ領域とでキャッシュヒットした場合、キャッシュヒットした第１エントリに含まれるデータと第２エントリとに含まれるデータとを前記複数のアクセス要求の発行元にそれぞれ出力する
演算処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、演算処理装置および演算処理方法に関する。

【背景技術】

【0002】

ＣＰＵ（Central Processing Unit）等の演算処理装置に搭載されるキャッシュ、または、ＣＰＵとメインメモリとの間に配置されるキャッシュは、メインメモリに記憶されたデータの一部を保持する。そして、キャッシュは、ＣＰＵから発行されるアクセス要求の対象データを保持している場合（キャッシュヒット）、メインメモリにアクセス要求を発行することなく、キャッシュに保持しているデータをＣＰＵに転送する。これにより、データのアクセス効率が向上され、ＣＰＵの処理性能が向上する。

【0003】

例えば、複数のキャッシュバンクを含むキャッシュと複数のＣＰＵとを有するシステムは、アクセス要求に含まれるバンクアドレスに応じて、使用するキャッシュバンクを決定することで、ＣＰＵによるキャッシュバンクの競合を回避する。また、キャッシュバンクに対するアクセス要求を複数のＣＰＵから受けた場合、ＣＰＵに付けられた優先順位にしたがってデータの出力順が変更される（例えば、特許文献１参照）。

【0004】

複数のキャッシュバンクを含み、複数のタスクからアクセス要求を受けるキャッシュでは、タスクごとにキャッシュバンクが割り当てられることで、タスクによるキャッシュバンクの競合が回避される（例えば、特許文献２参照）。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００４－４６６４３号公報

【特許文献2】特開平１０－８８３４９号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、ＣＰＵまたはタスク等のアクセス要求を発行する要求発行部毎にキャッシュバンクを割り当てる場合、キャッシュの回路規模は増大する。また、アクセス要求の発行頻度は、タスク等により異なるため、各キャッシュバンク内での記憶領域の使用率がばらつき、キャッシュ全体での記憶領域の使用効率が低下するおそれがある。一方で、キャッシュバンクを複数の要求発行部で共有する場合、キャッシュバンクに対するアクセス要求が競合すると、優先順位の低いアクセス要求に対するデータの読み出しレイテンシが長くなる。これにより、ＣＰＵまたはタスク等による処理効率は低下する。

【0007】

１つの側面では、本発明は、複数のアクセス要求部からのアクセス要求を同時に受信する場合にも、アクセスを競合させることなくデータを出力することを目的とする。

【課題を解決するための手段】

【0008】

一つの観点によれば、演算処理装置は、記憶装置にアクセス要求を発行する複数の要求発行部と、前記記憶装置から読み出されるデータを保持可能な複数の第１エントリを含む第１キャッシュ領域と、複数の第２エントリを含む第２キャッシュ領域と、キャッシュ制御部と、前記複数の要求発行部からそれぞれ発行されるアクセス要求に基づいて、前記複数のバンク毎にキャッシュヒットまたはキャッシュミスを判定するヒットミス判定部と、をそれぞれ含む複数のバンクと、を有し、前記キャッシュ制御部は、前記複数の要求発行部から同時に受信した複数のアクセス要求がキャッシュミスした場合、前記第１エントリの１つと前記第２エントリの１つとに、複数のアクセス要求に対応して前記記憶装置から読み出されるデータをそれぞれ格納し、前記複数の要求発行部から同時に受信した複数のアクセス要求が前記第１キャッシュ領域と前記第２キャッシュ領域とでキャッシュヒットした場合、キャッシュヒットした第１エントリと第２エントリとに保持されたデータを前記複数のアクセス要求の発行元にそれぞれ出力する。

【発明の効果】

【0009】

複数のアクセス要求部からのアクセス要求を同時に受信する場合にも、アクセスを競合させることなくデータを出力することができる。

【図面の簡単な説明】

【0010】

【図1】一実施形態における演算処理装置の一例を示すブロック図である。

【図2】図１のＬ１データキャッシュのサブデータアレイおよびサブデータアレイキャッシュの構成の一例を示すブロック図である。

【図3】図１のバンクＢＫ＃０の構成の一例を示すブロック図である。

【図4】図３の優先順位判定ロジックの動作の一例を示すフロー図である。

【図5】図１の演算処理装置の動作の一例を示す説明図である。

【図6】グラフ計算等で使用される疎行列計算の一例を示す説明図である。

【図7】他の演算処理装置の動作の一例を示す説明図である。

【図8】別の実施形態の演算処理装置におけるＬ１データキャッシュの一例を示すブロック図である。

【図9】図８のＬ１データキャッシュのバンクの配置の例を示す説明図である。

【図10】Ｌ１データキャッシュからデータスイッチまでの配線の例を示す説明図である。

【図11】別の実施形態における演算処理装置の動作の一例を示す説明図である。

【図12】図１１の動作の続きを示す図である。

【図13】図１１および図１２に示す演算処理装置の動作の一例を示すフロー図である。

【図14】他の演算処理装置の動作の一例を示す説明図である。

【図15】図１４に示す他の演算処理装置の動作の一例を示すフロー図である。

【図16】図１１および図１２に示す演算処理装置と図１４に示す他の演算処理装置とのアクセス効率の比較例を示す説明図である。

【図17】別の実施形態の演算処理装置におけるＬ１データキャッシュの一例を示すブロック図である。

【発明を実施するための形態】

【0011】

以下、図面を参照して、実施形態が説明される。

【0012】

図１は、一実施形態における演算処理装置の一例を示す。図１に示す演算処理装置１００は、例えば、ＳＩＭＤ（Single Instruction Multiple Data）演算命令を使用して、複数の積和演算等を並列に実行する機能を有するＣＰＵ等のプロセッサである。例えば、演算処理装置１００を使用することで、グラフ計算などで使われる疎行列ベクトル積（ＳＰＭＶ：SParse Matrix and Vector multiplication）を実行可能である。

【0013】

演算処理装置１００は、ＣＰＵコア１１０、データスイッチ３１、アドレススイッチ３２およびＬ１データキャッシュ４０を有する。ＣＰＵコア１１０は、命令フェッチ部１２、命令デコード部１３、命令発行制御部１４、演算ユニット１５、レジスタファイル１６およびロードストアユニット２０を有する。

【0014】

ロードストアユニット２０は、複数のアドレス生成部２１（ＡＧＵ：Address Generation Unit）を有する。Ｌ１データキャッシュ４０は、１６個のバンク５０（ＢＫ＃０～ＢＫ＃１５）を有する。以下では、各バンク５０は、バンクＢＫとも称される。各バンクＢＫは、キャッシュ制御部５１、タグアレイ５２、サブデータアレイ５３（ＳＤＡ＃０～ＳＤＡ＃１５）およびサブデータアレイキャッシュ５４（ＳＤＡＣ＃０～ＳＤＡＣ＃１５）を有する。

【0015】

命令フェッチ部１２は、プログラムカウンタが生成するアドレスまたは分岐アドレスに基づいて、下位キャッシュまたはメインメモリが保持する命令の一部を記憶する命令キャッシュ１１から命令をフェッチし、フェッチした命令を命令デコード部１３に出力する。命令デコード部１３は、命令フェッチ部１２から受信する命令を順次デコードし、デコードにより得られた命令データを、インオーダで命令発行制御部１４に出力する。

【0016】

命令発行制御部１４は、例えば、リザベーションステーションを含み、命令デコード部１３によりデコードされた順に命令データを保持する複数のエントリ（図示せず）を有する。命令発行制御部１４は、エントリに保持した命令データを、実行可能な順（アウトオブオーダ）で演算ユニット１５に出力する。

【0017】

演算ユニット１５は、図示しないメモリアドレス生成器、固定小数点演算器および浮動小数点演算器等を有する。メモリアドレス生成器は、ロード命令またはストア命令に基づいて、ロードストアユニット２０にアクセス要求を発行する。アクセス要求は、アクセスの種類（ロードまたはストア）およびアクセス先を示すアドレスを含む。例えば、固定小数点演算器は、論理演算器およびシフト演算器等を含み、浮動小数点演算器は、ＳＩＭＤ演算命令を実行可能な積和演算器等を含む。ＳＩＭＤ演算命令により、複数の演算を並列（同時）に実行することができ、疎行列ベクトル積等の計算効率を向上することができる。

【0018】

レジスタファイル１６は、演算に使用するデータ（オペランド）または演算結果を保持する複数のレジスタを有する。例えば、レジスタファイル１６は、浮動小数点数データ用のレジスタファイルと、固定小数点数データ用のレジスタファイルとを有する。レジスタファイル１６が保持するオペランドは、Ｌ１データキャッシュ４０から転送され、レジスタファイル１６が保持する演算結果は、Ｌ１データキャッシュ４０に転送される。

【0019】

ロードストアユニット２０において、各アドレス生成部２１は、演算ユニット１５から転送されるアクセス要求に含まれるアドレスＡＤを、アドレススイッチ３２を介してＬ１データキャッシュ４０の各バンクＢＫ＃０－ＢＫ＃１５に出力する。アドレスＡＤは、ロードアドレスまたはストアアドレスである。アクセス要求は、下位キャッシュまたはメインメモリに対するアクセス要求である。アドレス生成部２１は、アクセス要求を発行する要求発行部の一例である。以下では、アドレス生成部２１は、ＡＧＵ２１、ＡＧＵ２１またはＡＧＵ＃０－ＡＧＵ＃７とも称される。

【0020】

例えば、アドレスＡＤは、３０ビットのタグアドレス（Ｔａｇ、ＡＤ［４５：１６］）と６ビットのインデックスアドレス（Ｉｎｄｅｘ、ＡＤ［１５：１０］）と、７ビットのオフセットアドレス（Ｏｆｆｓｅｔ、ＡＤ［９：３］）とを含む。オフセットアドレスの上位４ビットは、１６個のバンクＢＫを識別するために使用される。オフセットアドレスの下位３ビットは、演算命令の種類に応じて、バンクＢＫに保持された６４ビットのデータのうち、選択する８ビット、１６ビットまたは３２ビットの位置を識別するために使用される。

【0021】

各アドレス生成部２１は、アクセス要求が書き込みアクセス要求（ストア命令）の場合、書き込みデータ（ストアデータ）を、データスイッチ３１を介してＬ１データキャッシュ４０の各バンクＢＫ＃０－ＢＫ＃１５に出力する。各アドレス生成部２１は、アクセス要求が読み出しアクセス要求（ロード命令）の場合、読み出しみデータ（ロードデータ）を、データスイッチ３１を介してＬ１データキャッシュ４０のバンクＢＫ＃０－ＢＫ＃１５のいずれかから受信する。

【0022】

データスイッチ３１は、ＡＧＵ２１毎にロードストアユニット２０から受信するストアデータを、オフセットアドレスにより識別されるバンクＢＫに出力する。また、データスイッチ３１は、各バンクＢＫから出力されるロードデータを、アクセス要求の発行元のＡＧＵ２１に対応させてロードストアユニット２０に出力する。

【0023】

アドレススイッチ３２は、各ＡＧＵ２１から出力されるアドレスＡＤを各バンクＢＫに出力する。以下では、主に、ロード命令に基づいてデータをＬ１データキャッシュ４０から読み出す処理について説明される。

【0024】

各バンクＢＫのキャッシュ制御部５１は、複数のＡＧＵ２１から受信するアクセス要求の優先順位を判定し、判定した優先順位にしたがって、アクセス要求に含まれるアドレスを自バンクＢＫのタグアレイ５２に出力する。各バンクＢＫのキャッシュ制御部５１は、自バンクＢＫのタグアレイ５２によるキャッシュヒットまたはキャッシュミスの判定結果に基づいて、サブデータアレイＳＤＡおよびサブデータアレイキャッシュＳＤＡＣの動作を制御する。キャッシュ制御部５１の例は、図３に示される。

【0025】

各バンクＢＫのタグアレイ５２は、自バンクＢＫのキャッシュ制御部５１から供給されるアドレスに基づいて、キャッシュヒットまたはキャッシュミスを判定し、判定結果を自バンクＢＫのキャッシュ制御部５１に出力する。キャッシュヒットは、アドレスＡＤに対応するデータがＬ１データキャッシュ４０に保持されていることを示す。キャッシュミスは、アドレスＡＤに対応するデータがＬ１データキャッシュ４０に保持されていないことを示す。各バンクＢＫのタグアレイ５２は、キャッシュヒットを判定した場合、インデックスアドレスをサブデータアレイＳＤＡおよびサブデータアレイキャッシュＳＤＡＣに出力する。

【0026】

各タグアレイ５２は、インデックスアドレスで識別される６４個のエントリを有する。各エントリは、タグアドレスを保持可能である。各タグアレイ５２は、キャッシュ制御部５１から供給されるインデックスアドレスにより識別されるエントリに、キャッシュ制御部５１から供給されるタグアドレスを保持している場合、キャッシュヒットを示すヒット情報、インデックスアドレスおよびオフセットアドレスを出力する。

【0027】

また、各タグアレイ５２は、キャッシュ制御部５１から受信するインデックスアドレスにより識別されるエントリに、キャッシュ制御部５１から受信するタグアドレスを保持していない場合、キャッシュミスを示すミス情報、インデックスアドレスおよびオフセットアドレスを出力する。タグアレイ５２は、バンクＢＫ毎にキャッシュヒットまたはキャッシュミスを判定するヒットミス判定部の一例である。

【0028】

なお、タグアレイ５２のいずれかがキャッシュミスを判定した場合、Ｌ１データキャッシュ４０は、全てのタグアレイ５２にキャッシュミスを判定させてもよい。あるいは、キャッシュミスを判定したタグアレイ５２を含むバンクＢＫが他のバンクＢＫにキャッシュミスの発生を通知してもよい。

【0029】

これにより、キャッシュミス時に、キャッシュミスを判定したバンクＢＫが下位キャッシュまたはメインメモリにアクセス要求を発行した場合に、Ｌ１データキャッシュ４０のキャッシュコヒーレンシを維持することができる。換言すれば、アクセス要求（アドレス）を受信していないタグアレイ５２を含む全てのバンクＢＫにおいて、下位キャッシュまたはメインメモリから転送される１キャッシュライン分のデータをサブデータアレイ５３に格納することができる。

【0030】

Ｌ１データキャッシュ４０は、下位キャッシュまたはメインメモリが保持するデータの一部をサブデータアレイ５３（ＳＤＡ＃０～ＳＤＡ＃１５）またはサブデータアレイキャッシュ５４（ＳＤＡＣ＃０～ＳＤＡＣ＃１５）に記憶する。

【0031】

下位キャッシュまたはメインメモリは、記憶装置の一例である。演算に使用するデータがＬ１データキャッシュ４０に格納されている場合（キャッシュヒット）、Ｌ１データキャッシュ４０から読み出されるデータは、データスイッチ３１およびロードストアユニット２０を介してレジスタファイル１６に転送される。

【0032】

一方、演算に使用するデータがＬ１データキャッシュ４０に格納されていない場合（キャッシュミス）、下位キャッシュまたはメインメモリからＬ１データキャッシュ４０にデータが転送される。Ｌ１データキャッシュ４０は、転送されたデータをデータスイッチ３１およびロードストアユニット２０を介してレジスタファイル１６に転送するとともに、Ｌ１データキャッシュ４０内に保持する。Ｌ１データキャッシュ４０のサブデータアレイ５３およびサブデータアレイキャッシュ５４の構成例は、図２で説明される。以下では、Ｌ１データキャッシュ４０が、下位キャッシュを介することなくメインメモリに直接接続されるものとして説明される。

【0033】

図２は、図１のＬ１データキャッシュ４０のサブデータアレイ５３およびサブデータアレイキャッシュ５４の構成の一例を示す構成の一例を示す。Ｌ１データキャッシュ４０は、バンクＢＫ毎にサブデータアレイ５３およびサブデータアレイキャッシュ５４を有する。サブデータアレイ５３は、第１キャッシュ領域の一例であり、サブデータアレイキャッシュＳＤＡＣは、第２キャッシュ領域の一例である。以下では、サブデータアレイ５３は、ＳＤＡ５３とも称され、サブデータアレイキャッシュ５４は、ＳＤＡＣ５４とも称される。

【0034】

各バンクＢＫのＳＤＡ５３は、インデックスアドレスで識別される６４個のエントリを有する。ＳＤＡ５３のエントリは、第１エントリの一例である。各エントリのデータ幅は、６４ビットである。このため、１６個のＳＤＡ５３を含むＳＤＡ群において、１６個のバンクＢＫの１６個のＳＤＡ５３に跨いで割り当てられるキャッシュラインＣＬ（ＣＬ０－ＣＬ６３のいずれか）に１０２４ビットのデータが保持可能である。

【0035】

例えば、Ｌ１データキャッシュ４０は、バンクＢＫのいずれかがキャッシュミスした場合、メインメモリにアクセス要求を発行する。そして、Ｌ１データキャッシュ４０は、メインメモリから転送される１キャッシュラインＣＬ（１０２４ビット）のデータを、ＳＤＡ群の共通のインデックスアドレスが割り当てられた１６個のエントリに格納する。

【0036】

各バンクＢＫのＳＤＡＣ５４は、任意のインデックスアドレスに対応付けが可能な４個のエントリを有する。ＳＤＡＣ５４のエントリは、第２エントリの一例である。各バンクＢＫのＳＤＡＣ５４の４個のエントリの各々には、キャッシュラインＣＬとは無関係に、バンクＢＫ毎にＳＤＡ５３のエントリに保持された６４ビットのデータのコピーが保持される。

【0037】

なお、バンクＢＫ毎のＳＤＡＣ５４のエントリの数は、ＳＤＡ５３のエントリの数より少なければ、４個に限定されない。バンクＢＫ毎のＳＤＡＣ５４のエントリの数を、ＳＤＡ５３のエントリの数より少なくすることで、各バンクＢＫの回路規模を抑えつつ、図５で説明するように、アクセス効率を向上することができる。

【0038】

図３は、図１のバンクＢＫ＃０の構成の一例を示す。他のバンクＢＫ＃１－ＢＫ＃１５の構成も図３と同様である。バンクＢＫ＃０は、図１に示した構成に加えて、インデックス保持部５５および比較器５６を有する。インデックス保持部５５および比較器５６は、ＳＤＡＣ＃０のエントリＥＢ（Ｅｂ０－Ｅｂ３）にそれぞれ対応して設けられる。

【0039】

キャッシュ制御部５１は、セレクタ部５２１および優先順位判定ロジック５２２を有する。優先順位判定ロジック５２２は、複数のＡＧＵ２１（ＡＧＵ＃０－ＡＧＵ＃７）から自バンクＢＫ＃０へのアクセス要求（アドレス等）を同時に受信した場合、優先順位が最も高いアクセス要求と優先順位が２番目に高いアクセス要求をセレクタ部５２１に選択させる。

【0040】

ここで、アクセス要求の同時受信とは、キャッシュ制御部５１がオフセットアドレスの上位４ビットが自バンクＢＫ＃０を示す複数のアクセス要求を同時に受信することである。なお、例えば、優先順位は、ＬＲＵ（Least Recently Used）等の手法を用いて決められてもよい。キャッシュ制御部５１は、オフセットアドレスの上位４ビットが自バンクＢＫ＃０を示す１つのアクセス要求を受信した場合、受信した１つのアクセス要求を優先順位が最も高いアクセス要求として処理する。

【0041】

セレクタ部５２１は、優先順位が最も高いアクセス要求をＳＤＡ＃０に出力する。そして、優先順位が最も高いアクセス要求に含まれるインデックスアドレスを使用してＳＤＡ＃０のエントリＥａ（Ｅａ０－Ｅａ６３）のいずれかが選択される。セレクタ部５２１は、優先順位が２番目に高いアクセス要求をＳＤＡＣ＃０に出力する。そして、優先順位が２番目に高いアクセス要求に含まれるインデックスアドレスが比較器５６に出力される。優先順位判定ロジック５２２は、複数のＡＧＵ２１から同時に受信した複数のアクセス要求の優先順位を判定する優先判定部の一例である。

【0042】

インデックス保持部５５は、インデックスアドレスが同じ複数のアクセス要求を、キャッシュミスを示すミス情報とともに受信した場合、ＳＤＡＣ＃０のエントリＥｂのいずれかに対応するインデックス保持部５５にインデックスアドレスを格納する。そして、キャッシュ制御部５１は、キャッシュミス時にメインメモリから転送されるデータをＳＤＡ＃０のエントリＥａとＳＤＡＣ＃０のエントリＥｂとの両方に格納する。

【0043】

例えば、キャッシュ制御部５１は、キャッシュミスしたインデックスアドレスが"３"の場合、ＳＤＡ＃０のエントリＥａ３にデータを格納し、インデックス保持部５５のいずれかにインデックスアドレス"３"を格納する。そして、キャッシュ制御部５１は、ＳＤＡ＃０のエントリＥａ３に格納したデータのコピーを、インデックスアドレス"３"を保持するインデックス保持部５５に対応するＳＤＡＣ＃０のエントリＥｂに格納する。

【0044】

なお、バンクＢＫのいずれかのタグアレイ５２でキャッシュミスが判定された場合、全てのバンクＢＫ＃０－ＢＫ＃１５のキャッシュ制御部５１は、メインメモリから転送されるデータを受信する制御を実行する。この場合、メインメモリから１キャッシュラインＣＬ分のデータが出力され、全てのバンクＢＫ＃０－ＢＫ＃１５のＳＤＡ＃０－ＳＤＡ＃１５において、共通のインデックスアドレスに対応するエントリＥａにデータが格納される。

【0045】

そして、同じアドレスの複数のアクセス要求（キャッシュミス）に含まれるオフセットアドレスで識別されるバンクＢＫのインデックス保持部５５のいずれかのみにインデックスアドレスが格納される。ここで、同じアドレスとは、複数のアクセス要求に含まれるタグアドレス、インデックスアドレスおよびオフセットアドレスが同じであることを示す。

【0046】

各比較器５６は、バンクＢＫ＃０でキャッシュヒットした場合、各インデックス保持部５５に保持されたインデックスアドレスとセレクタ部５２１から転送されるインデックスアドレスとを比較する。各比較器５６は、インデックスアドレスが一致する場合、ＳＤＡＣ５４のキャッシュヒットを判定する。そして、各比較器５６は、ＳＤＡＣ＃０において対応するＥｂにデータを出力させる。ＳＤＡＣ＃０のエントリＥｂから出力されたデータは、データＤＴとしてキャッシュ制御部５１に出力される。また、バンクＢＫ＃０でキャッシュヒットした場合、ＳＤＡ＃０のエントリＥａから出力されたデータは、データＤＴとしてキャッシュ制御部５１に出力される。

【0047】

図３に示すキャッシュ制御部５１では、優先順位判定ロジック５２２により優先順位が最も高いアクセス要求と、優先順位が２番目に高いアクセス要求とを選択することができる。そして、優先順位にしたがってＳＤＡ＃０とＳＤＡＣ＃０とに同じデータを保持させることができる。この結果、同じアドレスの複数のアクセス要求が同時に発行され、キャッシュヒットした場合、アクセス要求に対応してＳＤＡ＃０とＳＤＡＣ＃０とからデータを並列に出力することができ、アクセス効率を向上することができる。

【0048】

また、アドレスが異なる複数のアクセス要求が同時に発行された場合、優先順位が最も高いアクセス要求を選択することができ、優先順位が最も高いアクセス要求に対応するデータをＳＤＡ＃０に保持させることができる。さらに、単一のアクセス要求が発行された場合、単一のアクセス要求の優先順位が最も高いため、単一のアクセス要求に対応するデータをＳＤＡ＃０に保持させることができる。

【0049】

なお、この実施形態では、各バンクＢＫが１つのＳＤＡＣ５４を有する例が示されるが、各バンクＢＫは、複数のＳＤＡＣ５４を有してもよい。この場合、優先順位判定ロジック５２２は、優先順位が最も高いアクセス要求と優先順位が２番目以降の複数のアクセス要求とをセレクタ部５２１に順次選択させる。セレクタ部５２１は、優先順位が２番目以降に高いアクセス要求を複数のＳＤＡＣのそれぞれに出力する。

【0050】

図４は、図３の優先順位判定ロジック５２２の動作の一例を示す。図４に示す動作は、キャッシュヒット時およびキャッシュミス時に共通である。

【0051】

まず、ステップＳ１０において、優先順位判定ロジック５２２は、優先順位が最も高いアクセス要求を選択する。なお、１つのアクセス要求が発行された場合、優先順位判定ロジック５２２は、１つのアクセス要求を優先順位が最も高いアクセス要求として選択し、図４に示す動作を終了する。

【0052】

次に、ステップＳ１２において、優先順位判定ロジック５２２は、選択したアクセス要求以外のアクセス要求の１つを選択する。次に、ステップＳ１４において、優先順位判定ロジック５２２は、ステップＳ１２で選択したアクセス要求のアドレスが、優先順位が最も高いアクセス要求のアドレスと同一であるか否かを判定する。優先順位判定ロジック５２２は、同一アドレスの場合、ステップＳ１６を実行し、同一アドレスでない場合、ステップＳ１８を実行する。

【0053】

ステップＳ１６において、優先順位判定ロジック５２２は、ステップＳ１２で選択したアクセス要求を２番目の優先順位として選択し、図４に示す動作を終了する。ステップＳ１８において、優先順位判定ロジック５２２は、未選択のアクセス要求があるか否かを判定する。優先順位判定ロジック５２２は、未選択のアクセス要求がある場合、動作をステップＳ１２に戻す。優先順位判定ロジック５２２は、同時に発行された全てのアクセス要求を選択した場合、優先順位が最も高いアクセス要求と同一アドレスのアクセス要求が存在しておらず、アクセス要求の競合がないと判断し、図４に示す動作を終了する。

【0054】

以上の動作により、優先順位判定ロジック５２２は、同一アドレスの複数のアクセス要求がある場合、優先順位が最も高いアクセス要求と、優先順位が２番目に高いアクセス要求とを選択することができる。

【0055】

図５は、図１の演算処理装置１００の動作の一例を示す。すなわち、図５は、演算処理装置１００の演算処理方法の一例を示す。図５では、疎行列ベクトル積などの反復計算に使用するデータが、メインメモリに保持されている。また、同じアドレスのアクセス要求ＡＲＥＱ０、ＡＲＥＱ１は、ＡＧＵ＃０、ＡＧＵ＃１から発行される。アクセス要求ＡＲＥＱ０の優先順位は、アクセス要求ＡＲＥＱ１の優先順位よりも高いとする。キャッシュミス／キャッシュヒットの判定は、図１に示したタグアレイ５２を使用してバンクＢＫ毎に判定される。

【0056】

まず、１回目の反復計算時、図５（Ａ）において、バンクＢＫ＃０のタグアレイ５２は、同じアドレスのアクセス要求ＡＲＥＱ０、ＡＲＥＱ１のキャッシュミス（Ｍｉｓｓ）を判定し、キャッシュ制御部５１に通知する。キャッシュ制御部５１は、キャッシュミスの判定に基づいて、優先順位が最の高いアクセス要求ＡＲＥＱ０をメインメモリに発行する。但し、アクセス要求ＡＲＥＱ０、ＡＲＥＱ１のアドレスは、互いに同じため、キャッシュ制御部５１は、アクセス要求ＡＲＥＱ０、ＡＲＥＱ１を同時にメインメモリ発行していることになる。

【0057】

図５（Ｂ）において、メインメモリは、アクセス要求ＡＲＥＱ０の応答として、斜線枠と破線枠とで示される１キャッシュラインＣＬ分のデータをＬ１データキャッシュ４０（図１）に転送する。斜線枠のデータは、バンクＢＫ＃０のインデックスアドレスで示されるデータである。破線枠のデータは、他のバンクＢＫ＃１－ＢＫ＃１５のインデックスアドレスバンクで示されるデータである。

【0058】

ＢＫ＃０のキャッシュ制御部５１は、メインメモリから受信したデータＤＴ（例えば、６４ビット）をアクセス要求ＡＲＥＱ０、ＡＲＥＱ１の発行元にそれぞれ出力する。また、バンクＢＫ＃０のキャッシュ制御部５１は、メインメモリから受信したデータＤＴを、ＳＤＡ＃０においてアクセス要求ＡＲＥＱ０、ＡＲＥＱ１に含まれるインデックスアドレスに対応するエントリＥａに格納する。さらに、バンクＢＫ＃０のキャッシュ制御部５１は、エントリＥａに格納したデータと同じデータをＳＤＡＣ＃０のエントリＥｂのいずれかに格納する。

【0059】

一方、図示しないアクセス要求を受信していない他のバンクＢＫ＃１－ＢＫ＃１５のキャッシュ制御部５１は、メインメモリから受信するデータＤＴを、ＳＤＡにおいてアクセス要求に含まれるインデックスアドレスに対応するエントリＥａにそれぞれ格納する。他のバンクＢＫ＃１－ＢＫ＃１５のキャッシュ制御部５１は、ＳＤＡＣのエントリＥｂにデータを格納しない。

【0060】

次に、２回目の反復計算時、図５（Ｃ）において、バンクＢＫ＃０のタグアレイ５２は、同じアドレスのアクセス要求ＡＲＥＱ０、ＡＲＥＱ１のキャッシュヒット（Ｈｉｔ）を判定し、キャッシュ制御部５１に通知する。キャッシュ制御部５１は、キャッシュヒットの判定に基づいて、ＳＤＡ＃０においてアクセス要求ＡＲＥＱ０に含まれるインデックスアドレスに対応するエントリＥａからデータＤＴを取り出す。また、キャッシュ制御部５１は、ＳＤＡＣ＃０において図３の比較器５６によりキャッシュヒットが判定されたエントリＥｂからデータＤＴを取り出す。そして、キャッシュ制御部５１は、エントリＥａ、Ｅｂから同時に取り出したデータＤＴをアクセス要求ＡＲＥＱ０、ＡＲＥＱ１の発行元に同時に出力する。

【0061】

これにより、２回目以降の反復計算において、同じアドレスの２つのアクセス要求ＡＲＥＱ０、ＡＲＥＱ１がキャッシュヒットである場合のアクセス効率を改善することができる。例えば、アクセス要求ＡＲＥＱ０、ＡＲＥＱ１の発行元にデータＤＴを転送するアクセスレイテンシを、単一のアクセス要求ＡＲＥＱ０の発行元にデータＤＴを転送するアクセスレイテンシと同じにすることができる。

【0062】

図６は、グラフ計算等で使用される疎行列計算の一例を示す。図６の上側は、疎行列計算に使用する命令記述を示し、図６の下側は、図６の上側の３行目の命令の実行時のギャザーロードの概要を示す。

【0063】

図７は、他の演算処理装置の動作の一例を示す説明図である。図５と同様の動作については詳細な説明は省略する。図７に示す動作を実行する演算処理装置の構成は、各バンクＢＫ（１５０）がＳＤＡ（１５３）を有し、ＳＤＡＣを持たないことを除き、図１の演算処理装置１００と同様の構成である。図７では、図５と同様に、反復計算に使用するデータが、メインメモリに保持され、同じアドレスのアクセス要求ＡＲＥＱ０、ＡＲＥＱ１がＡＧＵ＃０、ＡＧＵ＃１から発行される。

【0064】

まず、１回目の反復計算時、図７（Ａ）において、バンクＢＫ＃０は、同じアドレスのアクセス要求ＡＲＥＱ０、ＡＲＥＱ１のキャッシュミスを判定する。バンクＢＫ＃０は、優先順位が最の高いアクセス要求ＡＲＥＱ０をメインメモリに発行する。図５と同様に、アクセス要求ＡＲＥＱ０、ＡＲＥＱ１のアドレスは、互いに同じため、バンクＢＫ＃０は、アクセス要求ＡＲＥＱ０、ＡＲＥＱ１を同時にメインメモリ発行していることになる。

【0065】

図７（Ｂ）において、バンクＢＫ＃０は、メインメモリから受信したデータＤＴを、優先順位が最も高いアクセス要求ＡＲＥＱ０の発行元に出力し、ＳＣＡ＃０のエントリＥａに格納する。この後、図７（Ｃ）において、バンクＢＫ＃０は、メインメモリから受信してＳＣＡ＃０に保持されたデータＤＴを、アクセス要求ＡＲＥＱ１の発行元に出力する。

【0066】

次に、２回目の反復計算時、図７（Ｄ）において、バンクＢＫ＃０は、同じアドレスのアクセス要求ＡＲＥＱ０、ＡＲＥＱ１のキャッシュヒットを判定する。バンクＢＫ＃０は、優先順位が最も高いアクセス要求ＡＲＥＱ０に含まれるインデックスアドレスに対応するエントリＥａからデータＤＴを取り出し、アクセス要求ＡＲＥＱ０の発行元に並列に出力する。次に、図７（Ｅ）において、バンクＢＫは、アクセス要求ＡＲＥＱ１に含まれるインデックスアドレスに対応するエントリＥａからデータＤＴを取り出し、アクセス要求ＡＲＥＱ１の発行元に同時に出力する。

【0067】

図７に示す動作を実行する演算処理装置の各バンクＢＫは、ＳＤＡＣを持たないため、同じアドレスのアクセス要求ＡＲＥＱ０、ＡＲＥＱ１に対する処理を重複して実行することができない。アクセス要求ＡＲＥＱ０、ＡＲＥＱ１毎にバンクＢＫを動作させて、データＤＴを出力するため、図５に比べてアクセス効率は低下する。

【0068】

以上、この実施形態では、複数のアドレス生成部２１（ＡＧＵ）からのアクセス要求に対応するデータを保持可能な複数のバンクＢＫを有するデータキャッシュにおいて、バンクＢＫの競合を避けることができ、アクセス効率を向上することができる。例えば、同じアドレスのアクセス要求が複数のアドレス生成部２１から繰り返し発行される可能性が高い疎行列ベクトル積などの反復計算の実行時にバンクＢＫの競合を避けることができ、アクセス効率を向上することができる。

【0069】

優先順位判定ロジック５２２により優先順位が最も高いアクセス要求と、優先順位が２番目に高いアクセス要求とを選択することができ、優先順位にしたがってＳＤＡとＳＤＡＣとに同じデータを保持させることができる。この結果、同じアドレスの複数のアクセス要求が同時に発行され、キャッシュヒットした場合、アクセス要求に対応するデータをＳＤＡとＳＤＡＣとから同時に出力することができ、アクセス効率を向上することができる。

【0070】

また、アドレスが異なる複数のアクセス要求が同時に発行された場合、優先順位が最も高いアクセス要求を選択することができ、優先順位が最も高いアクセス要求に対応するデータをＳＤＡ＃０に保持させることができる。さらに、単一のアクセス要求が発行された場合にも、アクセス要求に対応するデータをＳＤＡ＃０に保持させることができる。

【0071】

バンクＢＫ毎のＳＤＡＣ５４の数を、ＳＤＡ５３より少なくすることで、各バンクＢＫの回路規模を抑えつつ、バンクＢＫの競合を避けて、アクセス効率を向上することができる。

【0072】

図８は、別の実施形態の演算処理装置におけるＬ１データキャッシュの一例を示す。上述した実施形態と同様の要素については、同じ符号を付し、詳細な説明は省略する。図８に示す演算処理装置１００Ａは、例えば、ＳＩＭＤ演算命令を使用して、複数の積和演算等を並列に実行する機能を有するＣＰＵ等のプロセッサである。図８において、Ｌ１データキャッシュ４０Ａを除く構成は、図１に示した演算処理装置１００の構成と同様である。

【0073】

Ｌ１データキャッシュ４０Ａは、セレクタ６１を有することを除き、図１のＬ１データキャッシュ４０と同様の構成を有する。各セレクタ６１は、互いに隣接して配置される２つのバンクＢＫの一方のＳＤＡから出力されるデータと、２つのバンクＢＫの他方のＳＤＡＣから出力されるデータとの一方を選択し、選択したデータをデータスイッチ３１に出力する機能を有する。例えば、セレクタ６１は、ＳＤＡから出力されるデータとＳＤＡＣから出力されるデータとが競合する場合、ＳＤＡから出力されるデータを選択する。

【0074】

図１と同様に、演算処理装置１００Ａは、８個のＡＧＵ２１と１６個のバンクＢＫとを有する。このため、全てのＡＧＵ２１からアクセス要求が同時に発行された場合でも、アクセス要求を受けるバンクＢＫは、全バンク数の半分の８個である。したがって、全てのバンクＢＫとデータスイッチ３１との間にデータ線を配置しても、同時に使用されるデータ線の数は、全てのデータ線の半分である。このため、セレクタ６１でデータが競合しない確率をある程度確保することができる。

【0075】

図９は、図８のＬ１データキャッシュ４０ＡのバンクＢＫの配置の例を示す。各配置例Ａ、Ｂ、Ｃ、Ｄ、Ｅに示す太い矢印は、図８のセレクタ６１を介して接続されるバンクＢＫの並び順を示す。図９に示すように、一筆書きの要領でバンクＢＫを配置することで、各バンクＢＫとセレクタ６１とを接続するデータ線の長さを最短かつ均等にすることができ、データの伝送遅延のばらつきを最小限にすることができる。

【0076】

図１０は、Ｌ１データキャッシュ４０、４０Ａからデータスイッチ３１までの配線の例を示す。図８に示すＬ１データキャッシュ４０Ａでは、バンクＢＫとデータスイッチ３１との間に接続されるデータ線の数を、図１のＬ１データキャッシュ４０のほぼ半分にすることができる。この結果、データ線の配線領域の面積を削減することができる。Ｌ１データキャッシュ４０Ａとデータスイッチ３１との距離がある程度ある場合、データ線の削減による面積削減量を、セレクタ６１の追加による面積増加量よりも大きくすることができる。これにより、図８の演算処理装置１００Ａのチップサイズを図１の演算処理装置１００のチップサイズよりも小さくすることが可能になる。

【0077】

以上、この実施形態においても、上述した実施形態と同様の効果を得ることができる。例えば、各バンクＢＫにＳＤＡとＳＤＡＣとを設けることで、同じアドレスの複数のアクセス要求が繰り返し発行される場合に、バンクＢＫの競合を避けることができ、アクセス効率を向上することができる。

【0078】

さらに、この実施形態では、互いに隣接して配置される２つのバンクＢＫの一方のＳＤＡから出力されるデータと、２つのバンクＢＫの他方のＳＤＡＣから出力されるデータとの一方をセレクタ６１により選択する。これにより、データ線の配線領域の面積を削減することができ、図８の演算処理装置１００Ａのチップサイズを削減することが可能になる。

【0079】

図１１および図１２は、別の実施形態における演算処理装置の動作の一例を示す。すなわち、図１１および図１２は、演算処理装置の演算処理方法の一例を示す。図５と同様の動作については詳細な説明は省略する。図１１および図１２に示す動作を実行する演算処理装置１００Ｂは、例えば、ＳＩＭＤ演算命令を使用して、複数の積和演算等を並列に実行する機能を有するＣＰＵ等のプロセッサである。演算処理装置１００Ｂにおいて、各バンクＢＫを除く構成は、図１に示した演算処理装置１００と同様である。また、演算処理装置１００Ｂの各バンクＢＫの構成は、図１のキャッシュ制御部５１の代わりにキャッシュ制御部５１Ｂを有することを除き、図１に示した各バンクＢＫの構成と同様である。

【0080】

この実施形態では、各バンクＢＫは、同時に受信した、アドレスが異なる複数のアクセス要求のうち、優先順位が２番目のアクセス要求に対応するデータをＳＤＣとＳＤＡＣとに保持する。図１１および図１２では、反復計算に使用するデータが、メインメモリに保持され、互いに異なるアドレスのアクセス要求ＡＲＥＱ０、ＡＲＥＱ１がＡＧＵ＃０、ＡＧＵ＃１から発行される。

【0081】

まず、１回目の反復計算時、図１１（Ａ）において、バンクＢＫ＃０のキャッシュ制御部５１Ｂは、互いに異なるアドレスのアクセス要求ＡＲＥＱ０、ＡＲＥＱ１のヒットミスの通知をタグアレイ５２から受信する。キャッシュ制御部５１Ｂは、優先順位が高い順にアクセス要求ＡＲＥＱ０、ＡＲＥＱ１をメインメモリに順次発行する。図１１（Ｂ）において、メインメモリは、アクセス要求ＡＲＥＱ０の応答として１キャッシュラインＣＬ分のデータを各バンクＢＫに転送する。

【0082】

バンクＢＫ＃０のキャッシュ制御部５１Ｂは、メインメモリから受信したアクセス要求ＡＲＥＱ０に対応するデータＤＴをアクセス要求ＡＲＥＱ０の発行元に出力する。また、バンクＢＫ＃０のキャッシュ制御部５１Ｂは、メインメモリから受信したアクセス要求ＡＲＥＱ０に対応するデータＤＴを、ＳＤＡ＃０においてアクセス要求ＡＲＥＱ０に含まれるインデックスアドレスに対応するエントリＥａに格納する。

【0083】

次に、図１２（Ｃ）において、バンクＢＫ＃０のキャッシュ制御部５１Ｂは、メインメモリから受信したアクセス要求ＡＲＥＱ１に対応するデータＤＴをアクセス要求ＡＲＥＱ１の発行元に出力する。また、バンクＢＫ＃０のキャッシュ制御部５１Ｂは、メインメモリから受信したアクセス要求ＡＲＥＱ１に対応するデータＤＴを、ＳＤＡ＃０においてアクセス要求ＡＲＥＱ１に含まれるインデックスアドレスに対応するエントリＥａに格納する。さらに、バンクＢＫ＃０のキャッシュ制御部５１Ｂは、メインメモリから受信したアクセス要求ＡＲＥＱ１に対応するデータＤＴを、ＳＤＡＣ＃０においてアクセス要求ＡＲＥＱ１に含まれるインデックスアドレスに対応付けてエントリＥｂのいずれかに格納する。

【0084】

次に、２回目の反復計算時、図１２（Ｄ）において、バンクＢＫ＃０のキャッシュ制御部５１Ｂは、互いに異なるアドレスのアクセス要求ＡＲＥＱ０、ＡＲＥＱ１のキャッシュヒットの通知をタグアレイ５２から受信する。キャッシュ制御部５１Ｂは、ＳＤＡ＃０においてアクセス要求ＡＲＥＱ０に含まれるインデックスアドレスに対応するエントリＥａからデータＤＴを取り出す。また、キャッシュ制御部５１Ｂは、ＳＤＡＣ＃０において図３の比較器５６によりキャッシュヒットが判定されたエントリＥｂからデータＤＴを取り出す。そして、キャッシュ制御部５１Ｂは、エントリＥａ、Ｅｂから取り出したデータＤＴを、それぞれアクセス要求ＡＲＥＱ０、ＡＲＥＱ１の発行元に同時に出力する。

【0085】

これにより、２回目以降の反復計算において、互いに異なるアドレスの２つのアクセス要求ＡＲＥＱ０、ＡＲＥＱ１が１つのバンクＢＫでキャッシュヒットである場合のアクセス効率を改善することができる。例えば、アクセス要求ＡＲＥＱ０、ＡＲＥＱ１の発行元にデータＤＴを転送するアクセスレイテンシを、単一のアクセス要求ＡＲＥＱ０の発行元にデータＤＴを転送するアクセスレイテンシと同じにすることができる。

【0086】

図１３は、図１１および図１２に示す演算処理装置１００Ｂの動作の一例を示す。上述したように、演算処理装置１００Ｂの構成は、各バンクＢＫのキャッシュ制御部５１Ｂを除き、図１の演算処理装置１００の構成と同様である。

【0087】

まず、ステップＳ２０において、バンクＢＫのいずれかは、２つのＡＧＵ２１からアクセス要求ＡＲＥＱ０、ＡＲＥＱ１を受信する。次に、ステップＳ２２において、アクセス要求ＡＲＥＱ０、ＡＲＥＱ１を受信したバンクＢＫのタグアレイ５２は、アクセス要求ＡＲＥＱ０、ＡＲＥＱ１のキャッシュミスを判定する。次に、ステップＳ２４において、キャッシュミスを判定したバンクＢＫのキャッシュ制御部５１Ｂは、アクセス要求ＡＲＥＱ０、ＡＲＥＱ１の発行元のＡＧＵ２１を介して演算ユニット１５（すなわち、ＣＰＵコア１１０）にキャッシュミスを通知する。これにより、ＣＰＵコア１１０はストールする。

【0088】

次に、ステップＳ２６において、アクセス要求ＡＲＥＱ０、ＡＲＥＱ１を受信したバンクＢＫのキャッシュ制御部５１Ｂは、アクセス要求ＡＲＥＱ１を図示しないレジスタ等に一時的に保持する。そして、キャッシュ制御部５１Ｂは、アクセス要求ＡＲＥＱ０、ＡＲＥＱ１をメインメモリに順次発行する。

【0089】

次に、ステップＳ２８において、各バンクＢＫのキャッシュ制御部５１Ｂは、メインメモリからアクセス要求ＡＲＥＱ０に対応するデータＤＴとアクセス要求ＡＲＥＱ１に対応するデータＤＴとを順次ロード（受信）する。アクセス要求ＡＲＥＱ０を受信したバンクＢＫは、アクセス要求ＡＲＥＱ０に対応して受信したデータＤＴをアクセス要求ＡＲＥＱ０の発行元に出力する。また、アクセス要求ＡＲＥＱ１を受信したバンクＢＫは、アクセス要求ＡＲＥＱ１に対応して受信したデータＤＴをアクセス要求ＡＲＥＱ１の発行元に出力する。

【0090】

次に、ステップＳ３０において、各バンクＢＫのキャッシュ制御部５１Ｂは、メインメモリから受信したデータＤＴをＳＤＡにそれぞれ格納することで、ＳＤＡを更新する。次に、ステップＳ３２において、アクセス要求ＡＲＥＱ０、ＡＲＥＱ１を受信したバンクＢＫ＃０のキャッシュ制御部５１Ｂは、アクセス要求ＡＲＥＱ１に対応するデータＤＴをＳＤＡＣにコピーする。次に、ステップＳ３４において、キャッシュ制御部５１Ｂは、アクセス要求ＡＲＥＱ０、ＡＲＥＱ１の発行元のＡＧＵ２１を介してＣＰＵコア１１０にアクセス要求ＡＲＥＱ０、ＡＲＥＱ１に対するストール解除を通知する。そして、図１３に示す動作が終了される。

【0091】

図１４は、他の演算処理装置の動作の一例を示す。図５、図７、図１１、図１２と同様の動作については詳細な説明は省略する。図１４に示す動作を実行する演算処理装置の構成は、各バンクＢＫがＳＤＡを有し、ＳＤＡＣを持たないことを除き、図１１の演算処理装置１００Ｂと同様の構成である。図１４では、図５と同様に、反復計算に使用するデータが、メインメモリに保持され、互いに異なるアドレスのアクセス要求ＡＲＥＱ０、ＡＲＥＱ１がＡＧＵ＃０、ＡＧＵ＃１から発行される。

【0092】

まず、１回目の反復計算時、図１４（Ａ）において、バンクＢＫ＃０は、互いに異なるアドレスのアクセス要求ＡＲＥＱ０、ＡＲＥＱ１のキャッシュミスを判定する。バンクＢＫ＃０は、優先順位が最の高いアクセス要求ＡＲＥＱ０をメインメモリに発行する。図１１と同様に、アクセス要求ＡＲＥＱ０、ＡＲＥＱ１のアドレスは、互いに異なるため、バンクＢＫ＃０は、優先順位が高い順にアクセス要求ＡＲＥＱ０をメインメモリに発行する。

【0093】

図１４（Ｂ）において、メインメモリは、アクセス要求ＡＲＥＱ０の応答として１キャッシュラインＣＬ分のデータを各バンクＢＫに転送する。バンクＢＫ＃０は、メインメモリから受信したアクセス要求ＡＲＥＱ０に対応するデータＤＴをアクセス要求ＡＲＥＱ０の発行元に出力する。また、バンクＢＫ＃０は、メインメモリから受信したアクセス要求ＡＲＥＱ０に対応するデータＤＴを、ＳＤＡ＃０においてアクセス要求ＡＲＥＱ０に含まれるインデックスアドレスに対応するエントリＥａに格納する。

【0094】

ＡＧＵ＃１は、アクセス要求ＡＲＥＱ１を再度発行する（リトライ）。アクセス要求ＡＲＥＱ１のリトライを受信したバンクＢＫ＃０は、アクセス要求ＡＲＥＱ１をメインメモリに発行する。

【0095】

図１４（Ｃ）において、バンクＢＫ＃０は、メインメモリから受信したアクセス要求ＡＲＥＱ１に対応するデータＤＴを、アクセス要求ＡＲＥＱ１の発行元に出力する。また、バンクＢＫ＃０は、メインメモリから受信したアクセス要求ＡＲＥＱ１に対応するデータＤＴを、ＳＤＡ＃０においてアクセス要求ＡＲＥＱ１に含まれるインデックスアドレスに対応するエントリＥａに格納する。

【0096】

次に、２回目の反復計算時、図１４（Ｄ）において、バンクＢＫ＃０は、互いに異なるアドレスのアクセス要求ＡＲＥＱ０、ＡＲＥＱ１のキャッシュヒットを判定する。バンクＢＫ＃０は、優先順位が最も高いアクセス要求ＡＲＥＱ０に含まれるインデックスアドレスに対応するエントリＥａからデータＤＴを取り出し、アクセス要求ＡＲＥＱ０の発行元に出力する。優先順位が最も高いアクセス要求ＡＲＥＱ０に対応するバンクＢＫ＃０の動作により、アクセス要求ＡＲＥＱ１は、ストールされる。

【0097】

次に、図１４（Ｅ）において、バンクＢＫ＃０は、ＡＧＵ＃１から再度発行されるアクセス要求ＡＲＥＱ１（リトライ）のキャッシュヒットを判定する。バンクＢＫ＃０は、アクセス要求ＡＲＥＱ１に含まれるインデックスアドレスに対応するエントリＥａからデータＤＴを取り出し、アクセス要求ＡＲＥＱ１の発行元に出力する。

【0098】

図１４に示す動作を実行する演算処理装置の各バンクＢＫは、ＳＤＡＣを持たないため、図７と同様に、同じアドレスのアクセス要求ＡＲＥＱ０、ＡＲＥＱ１に対する処理を重複して実行できない。このため、図１１および図１２の動作に比べてアクセス効率は低下する。

【0099】

図１５は、図１４に示す他の演算処理装置の動作の一例を示す。図１３と同様の動作については詳細な説明は省略する。

【0100】

ステップＳ４０、Ｓ４２、Ｓ４４の動作は、それぞれ図１３のステップＳ２０、Ｓ２２、Ｓ２４の動作と同様である。次に、ステップＳ４６において、アクセス要求ＡＲＥＱ０、ＡＲＥＱ１を受信したバンクＢＫを含む全てのバンクＢＫは、メインメモリからアクセス要求ＡＲＥＱ０に対応する１キャッシュラインＣＬ分のデータＤＴをロード（受信）する。アクセス要求ＡＲＥＱ０を受信したバンクＢＫは、受信したデータＤＴをアクセス要求ＡＲＥＱ０の発行元に出力する。

【0101】

次に、ステップＳ４８において、各バンクＢＫは、アクセス要求ＡＲＥＱ０に対応してメインメモリから受信したデータＤＴをＳＤＡに格納することで、ＳＤＡを更新する。次に、ステップＳ５０において、キャッシュ制御部５１Ｂは、ＣＰＵコア１１０にアクセス要求ＡＲＥＱ０、ＡＲＥＱ１に対するストール解除を通知する。

【0102】

次に、ステップＳ５２において、アクセス要求ＡＲＥＱ１に対応するバンクＢＫは、アクセス要求ＡＲＥＱ１（リトライ）を受信する。次に、ステップＳ５４において、アクセス要求ＡＲＥＱ１（リトライ）を受信したバンクＢＫは、アクセス要求ＡＲＥＱ１のキャッシュミスを判定する。次に、ステップＳ５６において、アクセス要求ＡＲＥＱ１（リトライ）を受信したバンクＢＫは、例えば、アクセス要求ＡＲＥＱ１の発行元のＡＧＵ２１を介してＣＰＵコア１１０にアクセス要求ＡＲＥＱ１のキャッシュミスを通知する。これにより、ＣＰＵコア１１０はストールする。

【0103】

次に、ステップＳ５８において、アクセス要求ＡＲＥＱ１のリトライを受信したバンクＢＫは、メインメモリからアクセス要求ＡＲＥＱ１に対応する１キャッシュラインＣＬ分のデータＤＴをロード（受信）する。アクセス要求ＡＲＥＱ１を受信したバンクＢＫは、受信したデータＤＴをアクセス要求ＡＲＥＱ１の発行元に出力する。

【0104】

次に、ステップＳ６０において、各バンクＢＫは、アクセス要求ＡＲＥＱ１に対応してメインメモリから受信したデータＤＴをＳＤＡに格納することで、ＳＤＡを更新する。次に、ステップＳ６２において、アクセス要求ＡＲＥＱ１のリトライを受信したバンクＢＫは、ＣＰＵコア１１０にアクセス要求ＡＲＥＱ１に対するストール解除を通知する。そして、図１５に示す動作が終了される。

【0105】

図１６は、図１１および図１２に示す演算処理装置１００Ｂと図１４に示す他の演算処理装置とのアクセス効率の比較例を示す。１回目の反復計算において、演算処理装置１００Ｂは、アドレスが異なるアクセス要求ＡＲＥＱ０、ＡＲＥＱ１（キャッシュミス）をメインメモリに順に発行することができる。これにより、アクセス要求ＡＲＥＱ１に対応するメインメモリからのＬ１データキャッシュへのデータＤＴの転送と、アクセス要求ＡＲＥＱ０に対応するメインメモリからのＬ１データキャッシュへのデータＤＴの転送とを重複して実行することができる。これに対して、図１４に示す他の演算処理装置は、アクセス要求ＡＲＥＱ０、ＡＲＥＱ１毎にメインメモリからデータＤＴが転送される。したがって、キャッシュミス時において、他の演算処理装置のアクセスレイテンシは、演算処理装置１００Ｂのアクセスレイテンシに比べて長くなる。

【0106】

２回目の反復計算において、演算処理装置１００Ｂは、アドレスが互いに異なるアクセス要求ＡＲＥＱ０、ＡＲＥＱ１（キャッシュヒット）を並列に処理することができる。これに対して、図１４に示す他の演算処理装置は、アクセス要求ＡＲＥＱ０、ＡＲＥＱ１に対応してＳＤＡに保持されたデータＤＴを、アクセス要求ＡＲＥＱ０、ＡＲＥＱ１毎に発行元に出力する。したがって、キャッシュヒット時においても、他の演算処理装置のアクセスレイテンシは、演算処理装置１００Ｂのアクセスレイテンシに比べて長くなる。

【0107】

以上、この実施形態においても、上述した実施形態と同様の効果を得ることができる。例えば、各バンクＢＫにＳＤＡとＳＤＡＣとを設けることで、同じアドレスの複数のアクセス要求が繰り返し発行される場合に、バンクＢＫの競合を避けることができ、アクセス効率を向上することができる。さらに、この実施形態では、各バンクＢＫにＳＤＡとＳＤＡＣとを設けることで、互いに異なるアドレスの複数のアクセス要求が繰り返し発行される場合に、バンクＢＫの競合を避けることができ、アクセス効率を向上することができる。

【0108】

図１７は、別の実施形態の演算処理装置におけるＬ１データキャッシュの一例を示す。上述した実施形態と同様の要素については、同じ符号を付し、詳細な説明は省略する。図１７に示す演算処理装置１００Ｃは、例えば、ＳＩＭＤ演算命令を使用して、複数の積和演算等を並列に実行する機能を有するＣＰＵ等のプロセッサである。演算処理装置１００Ｃにおいて、Ｌ１データキャッシュ４０Ｃを除く構成は、図１に示した演算処理装置１００の構成と同様である。

【0109】

Ｌ１データキャッシュ４０Ｃの各バンクＢＫ（５０Ｃ）は、マルチポートタイプのサブデータアレイＳＤＡを有し、サブデータアレイキャッシュＳＤＡＣを持たない。例えば、各バンクＢＫは、データを出力可能な２つのポートＰ０、Ｐ１を有する。各ポートＰ０、Ｐ１は、データ線を介してデータスイッチ３１に接続される。例えば、ポートＰ０は、優先順位が最も高いアクセス要求に対応するデータを出力し、ポートＰ１は、優先順位が２番目に高いアクセス要求に対応するデータを出力する。これにより、図５、図１１および図１２と同様の動作が実現される。

【0110】

なお、図８と同様に、互いに隣接するバンクＢＫにおいて、一方のバンクＢＫのポートＰ０と他方のバンクＢＫのポートＰ１とをセレクタ６１に接続することで、データスイッチ３１に接続されるデータ線の数が削減されてもよい。以上、この実施形態においても、上述した実施形態と同様の効果を得ることができる。

【0111】

なお、上述した実施形態は、演算処理装置に搭載されるＬ１データキャシュに適用する例について説明されたが、演算処理装置とメインメモリとの間に配置されるデータキャッシュに適用されてもよい。

【0112】

以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲がその精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずである。したがって、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物に拠ることも可能である。

【符号の説明】

【0113】

１１ 命令キャッシュ
１２ 命令フェッチ部
１３ 命令デコード部
１４ 命令発行制御部
１５ 演算ユニット
１６ レジスタファイル
２０ ロードストアユニット
２１ アドレス生成部（ＡＧＵ）
３１ データスイッチ
３２ アドレススイッチ
４０、４０Ａ、４０Ｃ Ｌ１データキャッシュ
５０、５０Ｂ、５０Ｃ バンク（ＢＫ）
５１、５１Ｂ キャッシュ制御部
５２ タグアレイ
５３ サブデータアレイ（ＳＤＡ）
５４ サブデータアレイキャッシュ（ＳＤＡＣ）
５５ インデックス保持部
５６ 比較器
６１ セレクタ
１００、１００Ａ、１００Ｂ、１００Ｃ 演算処理装置
１１０ ＣＰＵコア
５２１ セレクタ部
５２２ 優先順位判定ロジック
ＡＲＥＱ０、ＡＲＥＱ１ アクセス要求
ＣＬ キャッシュライン
ＤＴ データ
Ｅａ、Ｅｂ エントリ
Ｐ０、Ｐ１ ポート

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】