特許 6036457 演算処理装置、情報処理装置及び情報処理装置の制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6036457

(24)【登録日】2016年11月11日

(45)【発行日】2016年11月30日

(54)【発明の名称】演算処理装置、情報処理装置及び情報処理装置の制御方法

(51)【国際特許分類】

   G06F 12/08 20160101AFI20161121BHJP

   G06F 12/0802 20160101ALI20161121BHJP

【ＦＩ】

   G06F12/08 513

   G06F12/08 515Z

   G06F12/08 501Z

   G06F12/08 551C

   G06F12/08 579

【請求項の数】5

【全頁数】29

(21)【出願番号】特願2013-62811(P2013-62811)

(22)【出願日】2013年3月25日

(65)【公開番号】特開2014-186675(P2014-186675A)

(43)【公開日】2014年10月2日

【審査請求日】2015年11月6日

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】100113608

【弁理士】

【氏名又は名称】平川 明

(74)【代理人】

【識別番号】100105407

【弁理士】

【氏名又は名称】高田 大輔

(72)【発明者】

【氏名】青柳 隆宏

(72)【発明者】

【氏名】池田 吉朗

【審査官】 酒井 恭信

(56)【参考文献】

【文献】 特開２００７−０３５０２６（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００７／００２２２５４（ＵＳ，Ａ１）

【文献】 特開２０１０−１９８４９０（ＪＰ，Ａ）

【文献】 特開２０１１−１５０６５３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ １２／０８ − １２／０８０４

(57)【特許請求の範囲】

【請求項1】

他の演算処理装置に接続される演算処理装置において、
自装置が管理する第１のデータと前記他の演算処理装置が管理する前記他の演算処理装置から取得した第２のデータとを用いて演算処理を行う演算処理部と、
前記第１のデータと第３のデータとを記憶するメインメモリと、
前記演算処理部を動作状態又は非動作状態に設定する設定部と、前記第１のデータと前記第２のデータと前記第３のデータとを保持するキャッシュメモリとを有し、前記設定部が前記演算処理部を動作状態に設定した場合、前記他の演算処理装置から前記第３のデータが要求された結果、前記キャッシュメモリにキャッシュミスが発生したとき、要求された前記第３のデータをメインメモリから読み出し、読み出した前記第３のデータを前記キャッシュメモリに保持することなく前記他の演算処理装置に送信し、前記設定部が前記演算処理部を非動作状態に設定した場合、前記他の演算処理装置から前記第３のデータが要求された結果、前記キャッシュメモリにキャッシュミスが発生したとき、要求された前記第３のデータを前記メインメモリから読み出して前記キャッシュメモリに保持するとともに、読み出した前記第３のデータを前記他の演算処理装置に送信する制御部と、
を有することを特徴とする演算処理装置。

【請求項2】

前記制御部は、
前記設定部が前記演算処理部を非動作状態に設定し、かつ、前記他の演算処理装置から、前記第３のデータを更新したデータである更新データとライトバック通知とを受信した場合、前記更新データを前記キャッシュメモリに記憶する
ことを特徴とする請求項１に記載の演算処理装置。

【請求項3】

前記制御部は、
前記設定部が前記演算処理部を非動作状態に設定し、かつ、前記他の演算処理装置から、前記第３のデータを更新したデータである更新データとライトバック通知とを受信した場合、前記更新データを前記キャッシュメモリに記憶するが、前記更新データを前記メインメモリに登録させない
ことを特徴とする請求項２に記載の演算処理装置。

【請求項4】

他の演算処理装置と、前記他の演算処理装置に接続される演算処理装置とを有する情報処理装置において、
前記演算処理装置は、
自装置が管理する第４のデータと前記他の演算処理装置が管理する前記他の演算処理装置から取得した第５のデータとを用いて演算処理を行う演算処理部と、
前記第４のデータと第６のデータとを記憶するメインメモリと、
前記演算処理部を動作状態又は非動作状態に設定する設定部と、前記第４のデータと前記第５のデータと前記第６のデータとを保持するキャッシュメモリとを有し、前記設定部が前記演算処理部を動作状態に設定した場合、前記他の演算処理装置から前記第６のデータが要求された結果、前記キャッシュメモリにキャッシュミスが発生したとき、要求された前記第６のデータをメインメモリから読み出し、読み出した前記第６のデータを前記キャッシュメモリに保持することなく前記他の演算処理装置に送信し、前記設定部が前記演算処理部を非動作状態に設定した場合、前記他の演算処理装置から前記第６のデータが要求された結果、前記キャッシュメモリにキャッシュミスが発生したとき、要求された前記第６のデータを前記メインメモリから読み出して前記キャッシュメモリに保持するとともに、読み出した前記第６のデータを前記他の演算処理装置に送信する制御部と、
を有する
ことを特徴とする情報処理装置。

【請求項5】

他の演算処理装置と、前記他の演算処理装置に接続されるとともに、自装置が管理する第７のデータと前記他の演算処理装置が管理する前記他の演算処理装置から取得した第８のデータとを用いて演算処理を行う演算処理部と、前記第７のデータと第９のデータとを記憶するメインメモリと、前記第７のデータと前記第８のデータと前記第９のデータとを保持するキャッシュメモリとを含む演算処理装置とを有する情報処理装置の制御方法において、
前記演算処理装置が有する設定部が、前記演算処理部を動作状態に設定した場合に、
前記設定部が前記演算処理部を動作状態に設定した後、前記他の演算処理装置が、前記第９のデータを要求し、
前記第９のデータが要求された結果、前記キャッシュメモリ部にキャッシュミスが発生した場合、前記演算処理装置が有する制御部が、要求された前記第９のデータを前記メインメモリから読み出し、
前記制御部が、読み出した前記第９のデータを前記キャッシュメモリに保持することなく前記他の演算処理装置に送信し、
前記演算処理装置が有する設定部が、前記演算処理部を非動作状態に設定した場合に、
前記設定部が前記演算処理部を非動作状態に設定した後、前記他の演算処理装置が、前記第９のデータを要求し、
前記第９のデータが要求された結果、前記キャッシュメモリ部にキャッシュミスが発生した場合、前記演算処理装置が有する制御部が、要求された前記第９のデータを前記メインメモリから読み出して前記キャッシュメモリに保持し、
前記制御部が、読み出した前記第９のデータを前記他の演算処理装置に送信する
ことを特徴とする情報処理装置の制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、演算処理装置、情報処理装置及び情報処理装置の制御方法に関する。

【背景技術】

【0002】

情報処理装置においては、複数の演算コア間でメモリのデータを共有する演算処理装置が実用に供されている。当該演算処理装置においては、演算コアとＬ１キャッシュの組が複数組集約された演算コア群が形成される。演算コア群に対しては、Ｌ２キャッシュ、Ｌ２キャッシュ制御部、メモリが接続されている。これら演算コア群、Ｌ２キャッシュ、Ｌ２キャッシュ制御部、メモリのセットをクラスタと呼ぶ。

【0003】

キャッシュとは、大容量のメモリに記憶されたデータのうち、頻繁に使用するデータを格納する小容量の記憶部である。メモリ内のデータをキャッシュに一時的に格納することにより、時間のかかるメモリへのアクセス頻度を低減する。キャッシュは階層構造を採り、高位層ほど高速であり、低位層ほど大容量である。

【0004】

ディレクトリベースのキャッシュコヒーレンス制御方式では、上記のＬ２キャッシュには、当該Ｌ２キャッシュが属するクラスタの演算コア群が要求したデータが格納される。各演算コア群は、演算コア群に近いＬ２キャッシュをより頻繁に使用してデータを取得するように構成されている。また、データの整合性を保つため、１つのメモリに格納されているデータは当該メモリが属するクラスタによって管理される。また、この方式では、クラスタが、管理対象のメモリ内のデータが現在どのような状態でどのキャッシュに格納されているかを管理する。また、クラスタは、当該メモリに対するデータの要求を受けた場合に、データの状態に基づいてデータ取得要求に対して適切な処理を行う。そして、クラスタは、データ取得要求の処理後、当該データの状態に関する情報を更新する。

【0005】

ここで、特許文献１に示されるように、上記のクラスタ構成及び処理体系を有する演算処理装置において、メモリに対するアクセスで生じるレイテンシを改善することが提案されている。特許文献１では、キャッシュにおいてキャッシュミスが発生したときに当該キャッシュに空きがない場合、当該キャッシュが属するクラスタ内のメモリに存在するデータを優先的にキャッシュから掃き出して空きを作成する。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０００−６６９５５号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

上記の技術では、キャッシュに空きがない場合にはメモリへのアクセスを行ってデータを書き戻す処理が発生する。メモリは大容量であり、演算コア群やキャッシュとは別のチップに搭載されることもある。このため、レイテンシの改善にあっては、依然としてメモリへのアクセスがボトルネックとなる可能性がある。

【0008】

本件開示の技術は、上記の事情に鑑みてなされたものであり、その目的とするところは、メモリへのアクセス頻度を低減することが可能な演算処理装置、情報処理装置及び情報処理装置の制御方法を提供することである。

【課題を解決するための手段】

【0009】

一実施形態による演算処理装置は、他の演算処理装置に接続される演算処理装置において、自身が管理する第１のデータと他の演算処理装置から取得した第２のデータとを用いて演算処理を行う演算処理部と、第１のデータと前記第２のデータとに加え、第３のデータとを記憶するメモリ部と、演算処理部を動作状態又は非動作状態に設定する設定部と、第１のデータと第２のデータとを保持するキャッシュメモリ部とを有し、設定部が演算処理部を非動作状態に設定した場合、他の演算処理装置から第３のデータが要求された結果、キャッシュメモリ部にキャッシュミスが発生したとき、要求された第３のデータをメモリ部から読み出してキャッシュメモリ部に保持するとともに、読み出した第３のデータを他の演算処理装置に送信する制御部とを有する。

【発明の効果】

【0010】

一実施形態によれば、メモリへのアクセス頻度を低減することが可能な演算処理装置、情報処理装置及び情報処理装置の制御方法を実現できる。

【図面の簡単な説明】

【0011】

【図1】図１は、比較例に係る情報処理装置における一部のクラスタ構成を示す図である。

【図2】図２は、比較例に係るＬ２キャッシュ制御部の概略の構成を示す図である。

【図3】図３は、比較例に係るクラスタにおいてデータ取得要求が発生した場合の動作を示す図である。

【図4】図４は、図３に示す動作例におけるＬ２キャッシュ制御部の動作を示す図である。

【図5】図５は、比較例に係るクラスタにおいてデータ取得要求が発生した場合の動作を示す図である。

【図6】図６は、図５に示す動作例におけるＬ２キャッシュ制御部の動作を示す図である。

【図7】図７は、比較例においてデータのフラッシュバック処理とライトバック処理を行う際のクラスタの動作を示す図である。

【図8】図８は、図７に示す動作例におけるＬ２キャッシュ制御部の動作の一例を示す図である。

【図9】図９は、比較例に係る情報処理装置内において、データを排他的に取得する動作を示す図である。

【図10】図１０は、図９に示す動作例におけるＬ２キャッシュ制御部の動作を示す図である。

【図11】図１１は、比較例においてＬ２キャッシュから追い出したデータを退避する場合の動作を示す図である。

【図12】図１２は、本実施形態に係る情報処理装置における一部のクラスタ構成の概略を示す図である。

【図13】図１３は、本実施形態に係るクラスタ内のＬ２キャッシュ制御部を示す図である。

【図14】図１４は、本実施形態に係る情報処理装置内において、モードオン時のクラスタの演算コア群の動作状況を示す図である。

【図15】図１５は、本実施形態において、ローカルのクラスタがホームのクラスタのメモリに格納されているデータを取得する動作を示す図である。

【図16】図１６は、図１５に示す動作例におけるＬ２キャッシュ制御部の動作を示す図である。

【図17】図１７は、本実施形態に係るコントローラを構成する回路を示す図である。

【図18】図１８は、図１５〜１７に示す動作例におけるＬ２キャッシュ制御部のタイミングチャートである。

【図19】図１９は、本実施形態において、ローカルのクラスタに属するＬ２キャッシュからデータを追い出す場合の動作を示す図である。

【図20】図２０は、図１９に示す動作例におけるＬ２キャッシュ制御部の動作を示す図である。

【図21】図２１は、図１９に示す動作例におけるコントローラを構成する回路を示す図である。

【図22】図２２は、図１９〜２１に示す動作例におけるＬ２キャッシュ制御部のタイミングチャートである。

【図23】図２３は、本実施形態において情報処理装置内のクラスタが複数のグループを構成する場合の一例を示す図である。

【図24】図２４は、本実施形態に係るＬ２キャッシュ制御部の構成の一例を示す図である。

【発明を実施するための形態】

【0012】

最初に、一実施形態に係る情報処理装置の比較例について、図面を参照しながら説明する。

【0013】

（比較例）
図１は、比較例に係る情報処理装置１における一部のクラスタ構成を示す。図１に示すように、クラスタ１０は、演算コアとＬ１キャッシュの組をｎ組（ｎは自然数）有する演算コア群１００、Ｌ２キャッシュ制御部１０１、メモリ１０２を有する。Ｌ２キャッシュ制御部１０１はＬ２キャッシュ１０３を有する。クラスタ２０、３０も、クラスタ１０と同様、演算コア群２００、３００、Ｌ２キャッシュ制御部２０１、３０１、メモリ２０２、３０２、Ｌ２キャッシュ２０３、３０３をそれぞれ有する。

【0014】

以降の説明において、メモリに格納されるデータを要求している演算コアが属するクラスタをローカル（Local）と呼ぶ。また、要求されたデータが格納されているメモリが属
するクラスタをホーム（Home）と呼ぶ。さらに、ローカルでもホームでもないクラスタをリモート（Remote）と呼ぶ。各クラスタは、データの要求元及び要求先に応じて、ローカルにもホームにもリモートにもなる。また、あるデータ取得要求の処理において、ローカルのクラスタは、ホームのクラスタを兼ねる場合がある。また、リモートのクラスタが、ホームのクラスタを兼ねる場合もある。さらに、ホームのクラスタが管理するホームのメモリに格納されているデータの状態情報をディレクトリ情報と呼ぶ。これらの詳細については後述する。

【0015】

図１に示すように、各クラスタはＬ２キャッシュ制御部が互いにバスあるいはインターコネクトによって接続されている。情報処理装置１内では、メモリ空間はいわゆるフラットであり、物理アドレスによってどのクラスタに属するメモリにどのデータが格納されているかが一意に決まる。

【0016】

例えば、クラスタ１０が、クラスタ１０内のメモリ１０２以外のメモリ２０２に格納されているデータを取得する場合、そのデータを保持するメモリ２０２が属するクラスタ２０に対してデータの要求を行う。クラスタ２０は、該当データの状態をチェックする。ここで、データの状態とは、データがどのクラスタにあるか、データが排他的に使用されているか否か、情報処理装置内におけるデータの同期状況等のデータの使用状況を意味する。また、取得対象のデータが、クラスタ２０に属するＬ２キャッシュ２０３に格納されており、かつ、当該データの同期が情報処理装置１内で取れている場合、そのデータを要求元のクラスタ１０に送信する。そして、クラスタ２０は、当該データの状態情報に、要求元のクラスタ１０に情報処理装置１内で同期されたデータが渡されたことを記録する。

【0017】

図２は、Ｌ２キャッシュ制御部１０１の概略の構成を示す。Ｌ２キャッシュ制御部１０１は、コントローラ１０１ａとＬ２キャッシュ１０３とディレクトリＲＡＭ１０４を備える。また、Ｌ２キャッシュ１０３は、タグＲＡＭ１０３ａとデータＲＡＭ１０３ｂを備える。タグＲＡＭ１０３ａは、データＲＡＭ１０３ｂが保持しているブロックのタグ情報を保持する。タグ情報とは、コヒーレンスプロトコル制御における各データの使用状況に関する情報やメモリ内のアドレス等を意味する。ここで、複数のプロセッサを使用するマルチプロセッサ環境においては、プロセッサ間で同一のデータを共有してアクセスする可能性が高い。そこで、マルチプロセッサ環境では、各キャッシュ内に存在するデータの一貫性を維持している。プロセッサ間の一貫性を維持するプロトコルをコヒーレンスプロトコルと呼ぶ。このようなプロトコルの一例として、ＭＥＳＩプロトコルが挙げられる。以下の説明では、データの使用状況をModified、Exclusive、Shared、Invalidの４状態で管理するＭＥＳＩプロトコルを使用する。ただし、使用可能なプロトコルはこれに限られない。

【0018】

コントローラ１０１ａは、タグＲＡＭ１０３ａを使用して、メモリのブロックがデータＲＡＭ１０３ｂにどのような状態で存在しているかやデータの有無をチェックする。データＲＡＭ１０３ｂは、例えばメモリ１０２内のデータのコピーを保持するＲＡＭである。ディレクトリＲＡＭ１０４は、ホームのクラスタに属するメモリのディレクトリ情報を扱うＲＡＭである。ディレクトリ情報は巨大になるため、メモリに格納され、そのキャッシュがＲＡＭに置かれることが多い。しかし、ここでは、ディレクトリＲＡＭ１０４にホームのクラスタに属するメモリのディレクトリ情報が格納されている。

【0019】

コントローラ１０１ａは、演算コア、もしくは、別のクラスタのＬ２キャッシュ制御部のコントローラからの要求を受け付ける。コントローラ１０１ａは、受け付けた要求内容に応じて、タグＲＡＭ１０３ａ、データＲＡＭ１０３ｂ、ディレクトリＲＡＭ１０４、メモリ１０２、他のクラスタに対してそれぞれ動作要求を行う。そして、コントローラ１０１ａは、要求された動作が完了すると、要求元にその結果を返す。

【0020】

図３は、クラスタ１０においてデータ取得要求が発生した場合の動作の一例を示す図である。図３では、クラスタ１０がローカル及びホームのクラスタである。図３では、クラスタ１０に属するメモリ１０２に対してデータ取得要求を行い、Ｌ２キャッシュ１０３においてキャッシュミスが発生したときの動作を説明する。なお、ここでは、Ｌ２キャッシュ制御部にデータ取得要求が届いた時点でＬ１キャッシュにおいてキャッシュミスが発生していることを前提として説明する。

【0021】

ローカルであるクラスタ１０の演算コアから、データの要求がＬ２キャッシュ制御部１０１に届く。ホームでもあるクラスタ１０のＬ２キャッシュ制御部１０１は、Ｌ２キャッシュ１０３が該当データを保持していない（miss）ことを確認すると、ディレクトリＲＡＭ１０４内のディレクトリ情報を参照する。そして、Ｌ２キャッシュ制御部１０１は、ディレクトリ情報に基づいて当該データをリモートのクラスタのＬ２キャッシュが持ち出していないかをチェックする。Ｌ２キャッシュ制御部１０１は、リモートのクラスタのＬ２キャッシュが当該データを保持していない（miss）ことを確認すると、ローカルであるクラスタ１０のメモリ１０２にデータ取得要求を行う。メモリ１０２からデータが返ってくると、Ｌ２キャッシュ制御部１０１は、Ｌ２キャッシュ１０３のデータＲＡＭ１０３ｂにデータを格納する。さらに、Ｌ２キャッシュ制御部１０１は、演算コア群１００内の要求元の演算コアにデータを送る。そして、Ｌ２キャッシュ１０３のタグＲＡＭ１０３ａには、情報処理装置１内で同期された状態でデータを取得したという情報が記憶される。また、ディレクトリＲＡＭ１０４には、当該データがローカルであるクラスタ１０が持っていることを示す情報が記憶される。

【0022】

このとき、Ｌ２キャッシュ制御部１０１は、Ｌ２キャッシュ１０３のデータＲＡＭ１０３ｂにデータの空きがない場合、ランダムアルゴリズムやＬＲＵ（Least Recently Used
）アルゴリズム等の所定のアルゴリズムに従って、Ｌ２キャッシュ１０３内のデータを追い出す。Ｌ２キャッシュ制御部１０１は、タグＲＡＭ１０３ａを参照し、追い出すデータがメモリ１０２内のデータと同じ状態を保っている場合は当該データを破棄する。一方、Ｌ２キャッシュ制御部１０１は、タグＲＡＭ１０３ａを参照し、追い出すデータが更新されていた場合はメモリ１０２にデータを書き戻す。

【0023】

これにより、演算コア群１００の演算コアにより要求されたデータが、Ｌ２キャッシュ１０３のデータＲＡＭ１０３ｂの空き領域に格納される。そして、再度演算コア群１００の演算コアから当該データに対するデータ取得要求が発生した場合は、Ｌ２キャッシュ制御部１０１は、データＲＡＭ１０３ｂに格納されたデータを取り出して演算コアに送る（hit）。したがって、当該データがデータＲＡＭ１０３ｂから追い出されない限り、Ｌ２
キャッシュ制御部１０１は、メモリ１０２に対してアクセスを行わない。

【0024】

図４は、図３に示す動作例におけるＬ２キャッシュ制御部１０１の動作を示す図である。コントローラ１０１ａは、演算コア群１００の演算コアからデータ取得要求を受け付ける。当該データ取得要求には、演算コアからの要求であることを示す情報と要求の種類とメモリのアドレスが含まれる。コントローラ１０１ａは要求内容に適切な処理を開始する。

【0025】

まず、コントローラ１０１ａは、タグＲＡＭ１０３ａに対して、データ取得要求の対象となるデータを含むメモリのブロックのコピーがデータＲＡＭ１０３ｂにあるか否かをチェックする。タグＲＡＭ１０３ａから当該コピーが「ない（miss）」という結果を受け取ると、ディレクトリＲＡＭ１０４に対して、データ取得要求の対象となるデータをリモートのクラスタが持ち出しているか否かをチェックする。コントローラ１０１ａは、ディレクトリＲＡＭ１０４から「どのクラスタも持ち出していない（miss）」という結果を受け取ると、メモリ１０２に対して当該データのデータ取得要求を行う。コントローラ１０１ａは、メモリ１０２から当該データが返ってくると、ディレクトリＲＡＭ１０４に、当該データについて「ホームが持っている」ことを示す情報を登録する。また、コントローラ１０１ａは、データの使用状況（Sharedなど）を示す情報をタグＲＡＭ１０３ａに格納する。さらに、コントローラ１０１ａは、当該データをデータＲＡＭ１０３ｂに格納する。また、コントローラ１０１ａは、演算コア群１００内の要求元の演算コアに当該データを送る。

【0026】

次に、図５は、クラスタ１０においてデータ取得要求が発生した場合の動作例を示す図である。図５に示す例では、クラスタ１０がローカルのクラスタであり、クラスタ２０がホームのクラスタである。ローカルであるクラスタ１０の演算コア群１００の演算コアからクラスタ１０のＬ２キャッシュ１０３に対してデータ取得要求が行われる。そして、Ｌ２キャッシュ１０３には当該データがないためキャッシュミスが発生する（miss）。そこで、クラスタ１０は、ホームのクラスタであるクラスタ２０に対して当該データのデータ取得要求を行う。クラスタ２０のＬ２キャッシュ制御部２０１が、Ｌ２キャッシュ２０３のディレクトリ情報をチェックする。Ｌ２キャッシュ制御部２０１のコントローラ２０１ａは、Ｌ２キャッシュ２０３にも、リモートのクラスタ内のＬ２キャッシュにもデータがないことを確認すると（miss）、メモリ２０２に対して当該データのデータ取得要求を行う。

【0027】

メモリ２０２から当該データが返ってくると、Ｌ２キャッシュ制御部２０１は、ディレクトリＲＡＭ２０４のディレクトリ情報を更新する。そして、Ｌ２キャッシュ制御部２０１は、データを要求元のローカルのクラスタ１０に送る。クラスタ１０のＬ２キャッシュ
制御部１０１は、クラスタ２０のＬ２キャッシュ制御部２０１から受け取ったデータをＬ２キャッシュ１０３に格納する。そして、Ｌ２キャッシュ制御部１０１は、当該データを演算コア群１００の要求元の演算コアに送る。

【0028】

このとき、ホームのクラスタ２０のＬ２キャッシュ２０３には当該データは格納されない。理由は次の通りである。まず、データを要求しているのはローカルのクラスタ１０の演算コアであり、ホームのクラスタ２０の演算コアではないからである。そして、ホームのクラスタ２０のＬ２キャッシュ２０３にデータを格納すると、ホームのクラスタ２０の演算コア群２００にとっては不要なデータがＬ２キャッシュ２０３に格納されることになるからである。また、このような不要なデータがＬ２キャッシュ２０３に格納されると、演算コア群２００が使用するデータまでＬ２キャッシュ２０３から追い出される可能性があるからである。

【0029】

図６は、図５に示す動作例におけるＬ２キャッシュ制御部１０１、２０１の動作を示す図である。ローカルのクラスタ１０内のＬ２キャッシュ制御部１０１のコントローラ１０１ａは、演算コア群１００の演算コアからデータ取得要求を受け付ける。当該データ取得要求には、演算コアからの要求であることを示す情報とデータ取得要求の種類とメモリのアドレスが含まれる。コントローラ１０１ａは、要求内容に適切な処理を開始する。

【0030】

コントローラ１０１ａは、タグＲＡＭ１０３ａに対して、データ取得要求の対象となるデータを含むメモリのブロックのコピーがデータＲＡＭ１０３ｂにあるか否かをチェックする。コントローラ１０１ａは、タグＲＡＭ１０３ａから当該コピーが「ない（miss）」という結果を受け取ると、ホームのクラスタ２０に属するＬ２キャッシュ制御部２０１のコントローラ２０１ａに対して、当該データのデータ取得要求を行う。

【0031】

コントローラ２０１ａは、当該データ取得要求を受け付けると、ディレクトリＲＡＭ２０４に対して、データ取得要求の対象となるデータがいずれかのクラスタのＬ２キャッシュに格納されているか否かチェックする。コントローラ２０１ａは、ディレクトリＲＡＭ２０４から「どのクラスタも持っていない（miss）」という結果を受け取ると、メモリ２０２に対して当該データのデータ取得要求を行う。コントローラ２０１ａは、メモリ２０２から当該データが返ってくると、ディレクトリＲＡＭ２０４に、当該データの使用状況について「要求元のクラスタ１０が持っている」ことを示す情報を登録する。そして、コントローラ２０１ａは、当該データを要求元のクラスタ１０のコントローラ１０１ａに送る。データを受け取ったクラスタ１０のコントローラ１０１ａは、当該データの使用状況（Sharedなど）をタグＲＡＭ１０３ａに格納する。また、コントローラ１０１ａは、当該データをデータＲＡＭ１０３ｂに格納する。そして、コントローラ１０１ａは、演算コア群１００内の要求元の演算コアに当該データを送る。

【0032】

図７は、比較例においてリモートのクラスタへのデータのフラッシュバック（Flush Back）処理とライトバック（Write Back）処理を行う際のクラスタの動作を示す図である。ここで、リモートのクラスタへのフラッシュバック処理とは、あるクラスタが、他のクラスタから取得したデータをキャッシュから追い出す際の処理である。このフラッシュバック処理は、追い出されたデータが更新されておらず情報処理装置１内で同期が取れている（cleanである）場合に、ホームのクラスタにローカル（ホームから見るとリモート）の
クラスタからデータが追い出されたことを通知する処理である。この処理は、ホームのクラスタにディレクトリ情報を更新させるための処理である。

【0033】

また、リモートのクラスタへのライトバック処理とは、あるクラスタが、他のクラスタから取得したデータをキャッシュから追い出す際の処理である。このライトバック処理は、追い出されたデータが更新されており情報処理装置１内で同期が取れていない（dirty
である）場合に当該他のクラスタに、データがdirtyであることを通知する処理である。
以下に説明するように、比較例においては、クラスタは、リモートのクラスタへのフラッシュバック処理を行う場合は、データの取得元であるクラスタに対して、フラッシュバック通知を行い、データは送らない。一方、クラスタは、リモートのクラスタへのライトバック処理を行う場合は、データの取得元であるクラスタに対してライトバック通知を行うとともに、メモリへの格納のためにデータも送る。

【0034】

上述した通り、Ｌ２キャッシュに新たなデータを格納するときに、Ｌ２キャッシュが満杯で空き領域がない場合、所定のアルゴリズムに従ってデータを追い出す。図７では、クラスタ１０がローカルのクラスタであり、クラスタ２０がホームのクラスタである。なお、この場合、クラスタ２０はリモートのクラスタでもある。さらに、情報処理装置１内の図示しないクラスタがリモートとなる。また、図７では、クラスタ１０は、ローカルのクラスタ１０に属するＬ２キャッシュ１０３のデータＲＡＭ１０３ｂに空きがなく、データＲＡＭ１０３ｂに格納されているデータのうち、リモートのクラスタ２０のメモリ２０２に格納されるデータを追い出す。

【0035】

この場合、図７に示すように、クラスタ１０のＬ２キャッシュ制御部１０１は、クラスタ２０のＬ２キャッシュ制御部２０１に対して、Ｌ２キャッシュ１０３から当該データを追い出す通知を行う。ここで、この通知は、フラッシュバック要求とライトバック要求のいずれかである。なお、フラッシュバック要求とライトバック要求が、所定の要求の一例である。そして、追い出し対象のデータがcleanなデータである場合、フラッシュバック
要求がホームのクラスタ２０のＬ２キャッシュ制御部２０１に送られる。Ｌ２キャッシュ制御部２０１は、データの要求元であるクラスタ１０から該当データが追い出された、ということをＬ２キャッシュ制御部２０１内のディレクトリ情報に記録する。

【0036】

一方、該当データがdirtyなデータである場合、ライトバック要求とともに該当データ
がホームのクラスタ２０のＬ２キャッシュ制御部２０１に送られる。ここで、データがdirtyになる場合の一例としては、ローカルのクラスタ１０の演算コア群１００によって更
新される場合等が挙げられる。そして、Ｌ２キャッシュ制御部２０１は、データの要求元であるクラスタ１０から該当データが追い出されたことを、Ｌ２キャッシュ２０３のディレクトリＲＡＭ２０４に格納されているディレクトリ情報に記録する。さらに、Ｌ２キャッシュ制御部２０１は、該当データをホームのクラスタ２０に属するメモリ２０２へ書き戻す。なお、該当データは、ホームのクラスタ２０に対してリモートとなるクラスタの演算コアが要求しているデータである。すなわち、当該データはホームのクラスタ２０内の演算コア群２００が要求しているデータではない。仮にホームのクラスタ２０内のＬ２キャッシュ２０３に当該データを格納する場合、演算コア群２００が要求している他のデータが追い出される可能性がある。このため、ホームのクラスタ２０内のＬ２キャッシュ２０３には当該データは格納されない。

【0037】

図８は、図７に示す動作例におけるＬ２キャッシュ制御部１０１、２０１の動作を示す図である。なお、ここでは、データがＬ２キャッシュ制御部１０１のＬ２キャッシュ１０３から追い出されるデータが決定した後の処理について説明する。Ｌ２キャッシュ制御部１０１のコントローラ１０１ａは、タグＲＡＭ１０３ａに対して、当該データを有するブロックの無効化を要求する。ここで、コントローラ１０１ａは、当該データがdirtyであ
り、ホームのクラスタ２０側のコントローラ２０１ａに対してライトバック要求の通知を行う場合は、データＲＡＭ１０３ｂから該当ブロックのデータを読み出す。そして、コントローラ１０１ａは、コントローラ２０１ａに対して、フラッシュバック要求の通知を行うか、あるいはライトバック要求の通知を行うとともに該当データを送る。要求を受け取ったホームのクラスタ２０側のコントローラ２０１ａは、ディレクトリＲＡＭ２０４に対して「データの要求元であるクラスタ１０がデータを持っている」ことを示す情報を無効
化する。そして、コントローラ２０１ａは、ライトバック要求の場合は、該当データをメモリ２０２へ書き戻す。

【0038】

次に、図９は、情報処理装置１内において、ローカルのクラスタ１０がホームのクラスタ２０のメモリ２０２に格納されているデータを排他的に取得する動作を示す。例えば、演算コアによってデータが更新される場合に、排他的データ取得要求が使用される。排他的データ取得要求とは、ある時点において、ある１つのクラスタ（のキャッシュ）が当該要求に係るデータを保持し、他のクラスタは当該データを保持しないことを保障するための要求である。データ更新時に他のクラスタ内のＬ２キャッシュも当該データを保持していると、情報処理装置１内で当該データの同期が取れなくなってしまう。排他的データ取得要求は、これを防止するための要求である。

【0039】

まず、ローカルのクラスタ１０の演算コア群１００内の演算コアが、データを要求する。Ｌ２キャッシュ制御部１０１は、当該データ取得要求を受けると、Ｌ２キャッシュ１０３に当該データが格納されているか否かをチェックする。Ｌ２キャッシュ１０３に当該データが格納されていない場合（miss）、Ｌ２キャッシュ制御部１０１は、ホームのクラスタ２０のＬ２キャッシュ制御部２０１に対して当該データの排他的データ取得要求を送る。Ｌ２キャッシュ制御部２０１は、排他的データ取得要求を受けると、Ｌ２キャッシュ制御部２０１内のディレクトリ情報を参照する。当該ディレクトリ情報により、ホームを含むクラスタのうちどのクラスタが当該データを保持しているかがわかる。そして、Ｌ２キャッシュ制御部２０１は、ディレクトリ情報が示す該当データを持っているクラスタに対して、当該データの破棄要求を送る。

【0040】

図９に示す例では、Ｌ２キャッシュ２０３に当該データが格納されている。そこで、Ｌ２キャッシュ制御部２０１は、Ｌ２キャッシュ２０３から当該データを破棄する。Ｌ２キャッシュ制御部２０１は、破棄したデータをＬ２キャッシュ制御部１０１に送る。また、Ｌ２キャッシュ制御部２０１は、ディレクトリ情報に、当該データの要求元であるクラスタ１０が該当データを保持している唯一のクラスタであること示す情報を記録する。これにより、当該データの要求元であるクラスタ１０が該当データをＬ２キャッシュ１０３に格納する。

【0041】

図１０は、図９に示す動作例におけるＬ２キャッシュ制御部１０１、２０１の動作を示す図である。ローカルのクラスタ１０内のＬ２キャッシュ制御部１０１のコントローラ１０１ａは、演算コア群１００の演算コアから排他的データ取得要求を受け付ける。当該データ取得要求には、演算コアからの要求であることを示す情報と排他的データ取得要求であることを示す情報とメモリのアドレスが含まれる。コントローラ１０１ａは、要求内容に適切な処理を開始する。

【0042】

コントローラ１０１ａは、タグＲＡＭ１０３ａに対して、データ取得要求の対象となるデータを含むメモリのブロックのコピーがデータＲＡＭ１０３ｂにあるか否かをチェックする。コントローラ１０１ａは、タグＲＡＭ１０３ａから当該コピーが「ない（miss）」という結果を受け取ると、ホームのクラスタ２０に属するＬ２キャッシュ制御部２０１のコントローラ２０１ａに対して、当該データのデータ取得要求を行う。

【0043】

コントローラ２０１ａは、当該データ取得要求を受け付けると、ディレクトリＲＡＭ２０４に対して、要求しているデータがいずれかのクラスタのＬ２キャッシュに格納されているか否かチェックする。コントローラ２０１ａは、ディレクトリＲＡＭ２０４から「ホームのクラスタ２０が持っている（hit）」という結果を受け取ると、タグＲＡＭ２０３
ａに対して当該データの無効化要求を行う。また、コントローラ２０１ａは、データＲＡＭ２０３ｂから当該データを読み出す。そして、コントローラ２０１ａは、ディレクトリ
ＲＡＭ２０４に対して、「ホームのクラスタが持っている」ことを示す情報を無効化する。さらに、コントローラ２０１ａは、ディレクトリＲＡＭ２０４に対して、「当該データの要求元であるクラスタ１０がデータを持っている」ことを示す情報を追加する。そして、コントローラ２０１ａは、当該データを要求元のクラスタ１０のコントローラ１０１ａに送る。当該データを受け取ったクラスタ１０のコントローラ１０１ａは、データの使用状況をタグＲＡＭ１０３ａに登録する。また、コントローラ１０１ａは、当該データをデータＲＡＭ１０３ｂに格納する。そして、コントローラ１０１ａは、演算コア群１００内の要求元の演算コアに当該データを送る。

【0044】

次に、図１１は、情報処理装置１内において、ローカルのクラスタ１０が、Ｌ２キャッシュ１０３からホームのクラスタ２０のメモリ２０２に格納されるデータを追い出す場合の動作を示す。図１１に示すように、クラスタ１０は、Ｌ２キャッシュ１０３からクラスタ２０のメモリ２０２に格納されるデータを追い出す場合、追い出したデータをＬ２キャッシュ制御部２０１に送る。Ｌ２キャッシュ制御部２０１は、受信したデータをＬ２キャッシュ２０３に格納する。このように、比較例では、ローカルのクラスタから追い出されたデータを、データの使用状況によらずにホームのクラスタのＬ２キャッシュに退避させる。

【0045】

ただし、上記の比較例の情報処理装置１では、ホームのクラスタ２０の演算コア群２００が動作している。このため、図１１に示す例では、クラスタ１０の演算コア群１００とクラスタ２０の演算コア群２００が、クラスタ２０のＬ２キャッシュ２０３を共用する。したがって、演算コア群２００にとっては、使用可能なＬ２キャッシュ２０３の容量が減少することになる。また、Ｌ２キャッシュ２０３においては、いずれの演算コア群が必要とするデータを優先的にＬ２キャッシュ２０３に格納するか等の複雑な制御が伴う。

【0046】

さらに、図１１に示す例では、ローカルのクラスタ１０から追い出されたデータは、データの使用状況にかかわらず、ホームのクラスタ２０に送られる。すなわち、ローカルのクラスタ１０でデータが更新されてデータがdirtyとなった場合以外でも、クラスタ１０
から追い出されたデータはクラスタ２０に送られる。すなわち、追い出されたデータが情報処理装置１内で同期が取れている（データがcleanである）場合であっても、データは
クラスタ２０に送られる。したがって、クラスタ間のトランザクションが増加する可能性がある。

【0047】

そこで、以上の比較例に関する説明を踏まえ、一実施形態に係る情報処理装置の例について、図面を参照しながら以下に説明する。以下の例においては、各クラスタの演算コア群の動作状態及び非動作状態が制御されている。これにより、後述するように、クラスタ間の通信量を増加させることなく、Ｌ２キャッシュにおけるデータのキャッシュヒットの確率を高めることができる。また、本実施形態では、Ｌ２キャッシュに格納する各データについて複雑な管理や制御が伴わない。

【実施例】

【0048】

図１２は、本実施例としての情報処理装置２における一部のクラスタ構成の概略を示す。図１２に示すように、情報処理装置２は、比較例と同様、クラスタ５０、６０、７０を有する。なお、クラスタ５０、６０、７０が演算処理装置の一例に相当する。また、ローカル、ホーム、リモートの違いも比較例において説明した通りであり、ここでは説明を省略する。クラスタ５０は、演算コア群５００、Ｌ２キャッシュ制御部５０１、メモリ５０２を有する。Ｌ２キャッシュ制御部５０１はＬ２キャッシュ５０３を有する。クラスタ６０、７０も、クラスタ５０と同様、演算コア群６００、７００、Ｌ２キャッシュ制御部６０１、７０１、メモリ６０２、７０２、Ｌ２キャッシュ６０３、７０３をそれぞれ有する。なお、演算コア群５００、６００、７００が演算処理部の一例に相当する。また、メモ
リ５０２、６０２、７０２がメモリ部の一例に相当する。さらに、Ｌ２キャッシュ５０３、６０３、７０３がキャッシュメモリ部の一例に相当する。また、Ｌ２キャッシュ制御部５０１、６０１、７０１が制御部の一例に相当する。そして、本実施形態においては、クラスタ５０、６０、７０が１つのグループを構成する。ここで、グループは、１つのアプリケーションの実行処理を担当するクラスタの集まりである。ただし、グループを形成する基準はこれに限られず、適宜クラスタをグループ分けすることができる。

【0049】

図１２に示すように、各クラスタはＬ２キャッシュ制御部が互いにバスあるいはインターコネクトによって接続されている。情報処理装置２内では、メモリ空間はいわゆるフラットであり、各クラスタはセグメントによることなくアドレスを利用できる。そして、情報処理装置２内では、物理アドレスによってどのクラスタに属するメモリにどのデータが格納されているかが一意に決まる。

【0050】

図１３は、クラスタ５０内のＬ２キャッシュ制御部５０１を示す図である。Ｌ２キャッシュ制御部５０１は、コントローラ５０１ａとレジスタ５０１ｂとＬ２キャッシュ５０３とディレクトリＲＡＭ５０４を備える。また、Ｌ２キャッシュ５０３は、タグＲＡＭ５０３ａとデータＲＡＭ５０３ｂを備える。また、レジスタ５０１ｂが設定部の一例に相当する。なお、タグＲＡＭ５０３ａ、データＲＡＭ５０３ｂ、ディレクトリＲＡＭ５０４は、それぞれ比較例と同様の機能を有するため、ここでは詳細な説明を省略する。

【0051】

レジスタ５０１ｂは、本実施例に係る情報処理装置２内でのクラスタ５０の動作モードを制御する。本実施例では、一例として、動作モードは「モードオフ」、「モードオン及び演算コア動作」、「モードオン及び演算コア非動作」の３つのモードを有する。ここで「モードオフ」とは、各クラスタが上記の比較例に示した動作を行う動作モードである。「モードオン及び演算コア動作」は、クラスタが演算コア群を動作状態とした上で本実施例の動作を行う（モードオン）動作モードである。また、「モードオン及び演算コア非動作」は、クラスタが演算コア群を非動作状態とした上で本実施例の動作を行う動作モードである。なお、これらの動作モードにおける処理の詳細については後述する。

【0052】

コントローラ５０１ａがレジスタ５０１ｂの設定値を読み込み、設定値に従って動作モードを切り換える。また、本実施例では、情報処理装置２においてアプリケーションの実行前に動作モードの切り換えを行う。さらに、本実施例では、情報処理装置２のＯＳ（Operating System）が各クラスタのレジスタの動作モードの切り換えを制御する。なお、動作モードの切り換えは、情報処理装置２のユーザが明示的にＯＳに指示をして行ってもよいし、実行するアプリケーションのメモリ使用量等の情報に基づいてＯＳが自律的に行ってもよい。

【0053】

図１４は、情報処理装置２内において、モードオン時のクラスタ５０、６０、７０の演算コア群の動作状況を示す図である。一例として、モードオン時、１グループ内のクラスタ５０、６０、７０は、グループ内で１つのクラスタに属する演算コア群が動作するように制御される。図１４では、クラスタ５０の動作モードが「モードオン及び演算コア動作」であり、クラスタ６０、７０の動作モードが「モードオン及び演算コア非動作」である。したがって、クラスタ５０の演算コア群５００が動作状態となり、クラスタ６０、７０の演算コア群６００、７００はそれぞれ非動作状態となる。なお、一例として、情報処理装置２では、クラスタ５０、６０、７０を有するグループが複数構成されている。そして、各グループが、情報処理装置２において実行される１つのプロセスの処理にそれぞれ対応している。

【0054】

図１５は、本実施形態において、ローカルのクラスタ５０がホームのクラスタ６０のメモリ６０２に格納されるデータを取得する動作を示す図である。比較例と同様、Ｌ２キャ
ッシュ制御部５０１は、演算コア群５００から要求されたデータがＬ２キャッシュ５０３にない（キャッシュミスが発生）場合に、クラスタ６０のＬ２キャッシュ制御部６０１に対して当該データを要求する。本実施形態においては、Ｌ２キャッシュ６０３に当該データが格納されていない場合について説明する。Ｌ２キャッシュ制御部６０１はメモリ６０２から当該データを取得し、取得したデータをＬ２キャッシュ６０３に格納する。また、Ｌ２キャッシュ制御部６０１は、取得したデータをＬ２キャッシュ制御部５０１に送る。そして、Ｌ２キャッシュ制御部５０１は、Ｌ２キャッシュ制御部６０１から受信したデータを演算コア群５００に送る。

【0055】

図１６は、図１５に示す動作例におけるＬ２キャッシュ制御部５０１、６０１の動作を示す図である。上記の通り、Ｌ２キャッシュ制御部５０１、６０１は、コントローラ５０１ａ、６０１ａとレジスタ５０１ｂ、６０１ｂとＬ２キャッシュ５０３、６０３とディレクトリＲＡＭ５０４、６０４をそれぞれ備える。また、Ｌ２キャッシュ５０３、６０３は、タグＲＡＭ５０３ａ、６０３ａとデータＲＡＭ５０３ｂ、６０３ｂをそれぞれ備える。

【0056】

図１７は、コントローラ６０１ａが有する回路を示す図である。図１７に示すコントローラ６０１ａ内の回路は、クラスタ６０の動作モードが「モードオン及び演算コア非動作」である場合の制御回路である。図１７に示すコントローラ６０１ａにより、コントローラ５０１ａから要求されているデータがメモリ６０２から取得された場合に、当該データがデータＲＡＭ６０３ｂに格納される。また、当該データの使用状況に関する情報がタグＲＡＭ６０３ａとディレクトリＲＡＭ６０４にそれぞれ記憶される。図１７において、TAGSave（タグＲＡＭにデータを格納する）、DataSave（データＲＡＭにデータを格納する
）、DirectoryUpdate(SaveLocal)（ディレクトリＲＡＭのディレクトリ情報を更新する）が動作を指示する信号である。また、図１７において、その他はフラグ信号である。

【0057】

図１７に示すように、ＡＮＤゲート６０１ｄは、クラスタ６０の動作モードが「モードオン及び演算コア非動作」である場合に「１」を出力する。それ以外の場合、ＡＮＤゲート６０１ｄは「０」を出力する。ＡＮＤゲート６０１ｅは、ＡＮＤゲート６０１ｄの出力が「１」であり、かつメモリ６０２からデータを取得した場合に、「１」を出力する。それ以外の場合、ＡＮＤゲート６０１ｅは「０」を出力する。

【0058】

ＯＲゲート６０１ｆは、ＡＮＤゲート６０１ｅの出力が「１」あるいは比較例の動作に従ってタグＲＡＭ６０３ａにデータの使用状況に関するデータを登録する場合に、タグＲＡＭ６０３ａに当該データを登録する指示信号（TagSave2）を出力する。ＯＲゲート６０１ｇは、ＡＮＤゲート６０１ｅの出力が「１」あるいは比較例の動作に従ってデータＲＡＭ６０３ｂにデータを格納する場合に、データＲＡＭ６０３ｂにデータを格納する指示信号（DataSave2）を出力する。ＯＲゲート６０１ｈは、ＡＮＤゲート５０１ｅの出力が「
１」あるいは比較例の動作に従ってディレクトリＲＡＭ６０４のディレクトリ情報を更新する場合に、ディレクトリＲＡＭ６０４のディレクトリ情報を更新する指示信号（DirectoryUpdate(SaveLocal)2）を出力する。なお、ＯＲゲート６０１ｆ〜６０１ｈの後段の回
路は従来と同様の回路であるため、ここでは図示及び説明を省略する。

【0059】

図１７に示す制御回路により、コントローラ６０１ａは、要求されたデータをメモリ６０２から取得した場合に、データＲＡＭ６０３ｂに当該データを格納する。また、コントローラ６０１ａは、取得したデータをコントローラ５０１ａに送る。

【0060】

図１８は、図１５〜図１７に示す動作例におけるＬ２キャッシュ制御部５０１、６０１のタイミングチャートである。まず、Ｓ１０１において、Ｌ２キャッシュ制御部５０１のコントローラ５０１ａは、演算コア群５００の演算コアからデータ取得要求を受け付ける。当該データ取得要求には、当該データがどのクラスタのメモリに格納されているかを示
すアドレスに関する情報が含まれる。Ｓ１０２において、コントローラ５０１ａは、タグＲＡＭ５０３ａに対して、当該アドレスに対応付けられているデータがデータＲＡＭ５０３ｂに格納されているか否かを確認する。本実施形態では、Ｓ１０３において、タグＲＡＭ５０３ａは、当該データがデータＲＡＭ５０３ｂにない（キャッシュミスが発生）ことを示す情報をコントローラ５０１ａに返す。

【0061】

Ｓ１０４において、コントローラ５０１ａは、演算コア群５００からのデータ取得要求に含まれるデータのアドレスを用いて、当該データはメモリ６０２に格納されるデータであることを特定する。そこで、コントローラ５０１ａは、コントローラ６０１ａに対して当該データの取得要求を行う。

【0062】

Ｓ１０５では、コントローラ６０１ａは、ディレクトリＲＡＭ６０４に対して、ディレクトリ情報を確認し、クラスタ６０が属するグループ内におけるデータの使用状況を確認する。データの使用状況には、当該データを他のクラスタが持ち出しているか否か等の情報が含まれる。本実施形態では、Ｓ１０６において、ディレクトリＲＡＭ６０４は、ディレクトリ情報にて当該データがデータＲＡＭ６０３ｂを含めいずれのクラスタのデータＲＡＭにも格納されていない（キャッシュミスが発生）ことを確認する。そして、ディレクトリＲＡＭ６０４は、そのことを示す情報をコントローラ６０１ａに送る。

【0063】

Ｓ１０７において、コントローラ６０１ａは、メモリ６０２に対して、コントローラ５０１ａから要求されているデータの読み取りを要求する。Ｓ１０８において、メモリ６０２は、要求されたデータをコントローラ６０１ａに送る。コントローラ６０１ａでは、メモリ６０２からデータを取得すると、図１７に示す制御回路によって、取得したデータをデータＲＡＭ６０３ｂに格納する指示が出力される。また、図１７に示す制御回路によって、取得したデータの使用状況がSharedであることをタグＲＡＭ６０３ａに記憶する指示も出力される。さらに、図１７に示す制御回路によって、ホームのクラスタ２０とローカルのクラスタ１０が取得したデータを保持していることを示す情報をディレクトリＲＡＭ６０４に記憶する指示も出力される。

【0064】

したがって、まずＳ１０９において、コントローラ６０１ａは、タグＲＡＭ６０３ａに対して、取得したデータがデータＲＡＭ６０３ｂにSharedの状態で格納されたことを示すよう情報の更新を要求する。Ｓ１１０において、タグＲＡＭ６０３ａは、当該データがデータＲＡＭ６０３ｂにSharedの状態で格納されたことを示す情報を記憶する。そして、タグＲＡＭ６０３ａは、その記憶処理が完了したことをコントローラ６０１ａに通知する。Ｓ１１１において、コントローラ６０１ａは、データＲＡＭ６０３ｂに対して、当該データの格納要求を行う。Ｓ１１２において、データＲＡＭ６０３ｂは、当該データを格納した後、その格納処理が完了したことをコントローラ６０１ａに通知する。

【0065】

コントローラ６０１ａは、Ｓ１１３において、ディレクトリＲＡＭ６０４に対して、当該データはリモートでもあるクラスタ５０とホームのクラスタ６０が持っていることを示すようディレクトリ情報の更新を要求する。Ｓ１１４において、ディレクトリＲＡＭ６０４は、当該要求に従ってディレクトリ情報を更新し、更新処理が完了したことをコントローラ６０１ａに通知する。Ｓ１１５において、コントローラ６０１ａは、当該データをコントローラ５０１ａに送る。

【0066】

Ｓ１１６では、コントローラ５０１ａは、タグＲＡＭ５０３ａに対して、コントローラ６０１ａから取得したデータがデータＲＡＭ５０３ｂに格納されていることを示すよう情報の更新を要求する。また、コントローラ５０１ａは、タグＲＡＭ５０３ａに対して、当該データの使用状況としてSharedを記憶することも要求する。Ｓ１１７において、タグＲＡＭ５０３ａは、要求された処理を行った後、処理が完了したことをコントローラ５０１
ａに通知する。Ｓ１１８において、コントローラ５０１ａは、データＲＡＭ５０３ｂに対して、当該データを格納するよう要求する。Ｓ１１９において、データＲＡＭ５０３ｂは当該データを格納した後、格納処理が完了したことをコントローラ５０１ａに通知する。Ｓ１２０において、コントローラ５０１ａは、当該データの要求元である演算コア群５００の演算コアに当該データを送る。

【0067】

本実施例においては、メモリ６０３から取得したデータが、ホームのクラスタ６０のＬ２キャッシュ６０３に格納される。また、ホームのクラスタ６０の演算コア群６００は、レジスタ６０１ｂによって非動作状態にされている。このため、演算コア群６００によるＬ２キャッシュ６０３へのデータ格納が発生しない。したがって、比較例の場合に比べ、演算コア群５００にとっては、Ｌ２キャッシュ６０３のメモリ容量を他のクラスタの演算コア群と共用する、いわゆるメモリ容量の食い合いは発生しない。

【0068】

次に、図１９は、本実施例において、クラスタ５０に属するＬ２キャッシュ５０３からクラスタ６０に属するメモリ６０２に格納されるデータを追い出す場合の動作を示す図である。比較例と同様、Ｌ２キャッシュ制御部５０１は、Ｌ２キャッシュ５０３に新たなデータを格納するときに、Ｌ２キャッシュ５０３に空き領域がない場合、所定のアルゴリズムに従ってデータを追い出す。Ｌ２キャッシュ制御部５０１は、タグＲＡＭ５０３ａを参照して、追い出すデータがcleanかdirtyかを判定する。Ｌ２キャッシュ制御部５０１は、データがdirtyの場合はＬ２キャッシュ制御部６０１にライトバック要求を通知するとと
もにデータを送る。なお、Ｌ２キャッシュ制御部５０１は、データがcleanの場合はＬ２
キャッシュ制御部６０１にフラッシュバック要求を通知する。

【0069】

図２０は、図１９に示す動作例におけるＬ２キャッシュ制御部５０１、６０１の動作を示す図である。上記の通り、Ｌ２キャッシュ制御部５０１、６０１は、コントローラ５０１ａ、６０１ａとレジスタ５０１ｂ、６０１ｂとＬ２キャッシュ５０３、６０３とディレクトリＲＡＭ５０４、６０４をそれぞれ備える。また、Ｌ２キャッシュ５０３、６０３は、タグＲＡＭ５０３ａ、６０３ａとデータＲＡＭ５０３ｂ、６０３ｂをそれぞれ備える。

【0070】

また、図２１は、図２０に示す動作例におけるコントローラ６０１ａが有する回路の一部を示す図である。図２１に示すコントローラ６０１ａ内の回路は、クラスタ６０がホームとなり、動作モードが「モードオン及び演算コア非動作」である場合の制御回路である。図２１に示すコントローラ６０１ａ内の回路により、ホームのクラスタ６０がローカルのクラスタ５０からライトバック要求の通知とともにデータを受信したときに、当該データがＬ２キャッシュ６０３に格納される。また、図２１に示すコントローラ６０１ａ内の回路により、当該データはメモリ６０２には格納されない。図２１において、TAGSave（
タグＲＡＭにデータを格納する）、DataSave（データＲＡＭにデータを格納する）、DirectoryUpdate(SaveLocal)（ディレクトリＲＡＭのディレクトリ情報を更新する）、MemorySave（メモリにデータを格納する）が動作を指示する信号である。また、図２１において、その他はフラグ信号である。

【0071】

ＡＮＤゲート６０１ｉは、クラスタ６０の動作モードが「モードオン及び演算コア非動作」である場合に「１」を出力する。それ以外の場合、ＡＮＤゲート６０１ｉは「０」を出力する。ＡＮＤゲート６０１ｊは、ＡＮＤゲート６０１ｉの出力が「１」であり、かつクラスタ５０（ローカル）からライトバック要求を受けた場合に「１」を出力する。

【0072】

ＯＲゲート６０１ｋは、ＡＮＤゲート６０１ｊの出力が「１」あるいは比較例の動作に従ってタグＲＡＭ６０３ａにデータの使用状況に関するデータを記憶する場合に、タグＲＡＭ６０３ａに当該データを記憶する指示信号（TagSave2）を出力する。ＯＲゲート６０１ｌは、ＡＮＤゲート６０１ｊの出力が「１」あるいは比較例の動作に従ってデータＲＡ
Ｍ６０３ｂにデータを格納する場合に、データＲＡＭ６０３ｂにデータを格納する指示信号（DataSave2）を出力する。ＯＲゲート６０１ｍは、ＡＮＤゲート６０１ｊの出力が「
１」あるいは比較例の動作に従ってディレクトリＲＡＭ６０４のディレクトリ情報を更新する場合に、ディレクトリＲＡＭ６０４のディレクトリ情報を更新する指示信号（DirectoryUpdate(SaveLocal)2）を出力する。

【0073】

インバータ６０１ｎは、クラスタ６０の動作モードが「モードオン及び演算コア非動作」であり、かつクラスタ５０からのライトバック要求の信号がアサートされると、メモリ６０２へのデータ格納を禁止する。一方、クラスタ６０の動作モードが「モードオフ」か「演算コア動作」である場合に、比較例の動作に従ってデータをメモリ６０２に格納するときに、データのメモリ６０２への格納を行う指示信号（MemorySave2）を出力する。ま
たは、クラスタ５０からライトバック要求が通知されていない場合に、比較例の動作に従ってデータをメモリ６０２に格納するときに、当該指示信号（MemorySave2）を出力する
。なお、ＯＲゲート６０１ｋ〜６０１ｍ、ＡＮＤゲート６０１ｏの後段の回路は従来と同様の回路であるため、ここでは図示及び説明を省略する。

【0074】

したがって、例えばクラスタ６０の演算コア群６００が動作状態にある場合は、ＡＮＤゲート６０１ｊの出力は「０」となる。このため、例えばローカルのクラスタ５０からのライトバック要求（RequestIsWriteBack）によっては、TAGSave2、DataSave2、DirectoryUpdate(SaveLocal)2、MemorySave2はアサートされない。その代わり、比較例の動作によ
り、TAGSave、DataSave、DirectoryUpdate(SaveLocal)、MemorySaveの指示信号に従った
処理が実行される。

【0075】

一方、クラスタ６０の動作モードが「モードオン及び演算コア非動作」である場合、コントローラ６０１ａは、ライトバック要求の通知を受け付けると、ＡＮＤゲート６０１ｊの出力が「１」となる。この場合、ＯＲゲート６０１ｌの出力が「１」となるため、追い出されたデータはＬ２キャッシュ６０３のデータＲＡＭ６０３ｂに格納される。さらに、インバータ６０１ｎの出力は「０」となるため、ＡＮＤゲート６０１ｏの出力も「０」となり、メモリ６０２にはデータは格納されない。なお、インバータ６０１ｎ及びＡＮＤゲート６０１ｏが、遮断部の一例である。

【0076】

ここで、図２０に示すように、コントローラ５０１ａは、タグＲＡＭ５０３ａに対して、追い出し対象のデータがデータＲＡＭ５０３ｂから追い出されたこと（Invalid）を登
録するよう要求する。次に、コントローラ５０１ａは、データＲＡＭ５０３ｂから追い出すデータを取り出す。コントローラ５０１ａは、追い出されたデータが情報処理装置２内で同期が取れていない（データがdirtyである）場合、コントローラ６０１ａに、ライト
バック要求を通知するとともに追い出されたデータを送る。

【0077】

ホームのクラスタ６０のコントローラ６０１ａは、ローカルのクラスタ５０のコントローラ５０１ａから上記のライトバック要求を受け取る。そして、コントローラ６０１ａは、データＲＡＭ６０３ｂに当該要求とともに受け取ったデータ、すなわちデータＲＡＭ５０３ｂから追い出されたデータを格納する。このため、コントローラ６０１ａは、タグＲＡＭ６０３ａに対して、データＲＡＭ６０３ｂに当該データが格納されていることを示すように情報を更新する。次に、コントローラ６０１ａは、データＲＡＭ６０３ｂに当該データを格納する。そして、コントローラ６０１ａは、ディレクトリＲＡＭ６０４に対して、当該データがホームのクラスタ６０に追加されたことを示すようディレクトリ情報の更新を要求する。さらに、コントローラ６０１ａは、ディレクトリＲＡＭ６０４に対して、ローカルのクラスタ５０から破棄されたことを示すようディレクトリ情報の更新を要求する。

【0078】

図２２は、図１９〜２１に示す動作例におけるＬ２キャッシュ制御部５０１、６０１のタイミングチャートである。以下の説明において、チャート内のステップをＳと略記する。図２２は、データＲＡＭ５０３ｂから追い出すデータがdirtyであり、コントローラ５
０１ａがコントローラ６０１ａに対してライトバック要求を送る場合を示す。Ｓ２０１において、コントローラ５０１ａは、タグＲＡＭ５０３ａに対して、追い出し対象のデータがデータＲＡＭ５０３ｂから追い出されたこと（Invalid）を登録するよう要求する。な
お、どのデータが追い出しの対象となるかは、別途ＬＲＵアルゴリズム等によりあらかじめ決められている。Ｓ２０２において、タグＲＡＭ５０３ａは、当該データの状態がInvalidであることを登録する。さらに、タグＲＡＭ５０３ａは、当該要求に対する応答にお
いて、データの使用状況を示す情報（Modified；Value=M）をコントローラ５０１ａに送
る。Ｓ２０３では、コントローラ５０１ａは、タグＲＡＭ５０３ａから取得したアドレスを用いてデータＲＡＭ５０３ｂからデータの読み出しを行う。Ｓ２０４において、データＲＡＭ５０３ｂは、コントローラ５０１ａからの要求に含まれるアドレスに一致するアドレスを有するデータを読み出し、コントローラ５０１ａに送る。

【0079】

コントローラ５０１ａは、データＲＡＭ５０３ｂから追い出されたデータを取得すると、Ｓ２０５において、コントローラ６０１ａにライトバック要求を送るとともに当該データを送る。コントローラ５０１ａは、Ｓ２０２においてタグＲＡＭ５０３ａから取得したデータがdirtyであるため、ライトバック要求をコントローラ６０１ａに送る。また、コ
ントローラ５０１ａは、当該データがどのクラスタのメモリに格納されているかを示すアドレスもコントローラ６０１ａに送る。

【0080】

Ｓ２０６において、コントローラ６０１ａは、タグＲＡＭ６０３ａに対して、コントローラ５０１ａが送ったデータがデータＲＡＭ６０３ｂに格納されることを示す情報を記憶するよう要求する。さらに、コントローラ６０１ａは、タグＲＡＭ６０３ａに対して、当該データがどのクラスタのメモリに格納されているかを示すアドレスを記憶するよう要求する。Ｓ２０７において、タグＲＡＭ６０３ａは、コントローラ６０１ａの当該要求に従って記憶処理を行った後、記憶処理が完了したことをコントローラ６０１ａに通知する。Ｓ２０８において、コントローラ６０１ａは、当該データをデータＲＡＭ６０３ｂに格納する。Ｓ２０９において、データＲＡＭ６０３ｂは当該データを格納した後、格納処理が完了したことをコントローラ６０１ａに通知する。

【0081】

Ｓ２１０において、コントローラ６０１ａは、ディレクトリＲＡＭ６０４に対して、当該データがホームのクラスタ６０が持っていることを示すようディレクトリ情報の更新を要求する。さらに、コントローラ６０１ａは、ディレクトリＲＡＭ６０４に対して、当該データがリモートでもあるクラスタ５０から破棄されたことを示すようディレクトリ情報の更新を要求する。Ｓ２１１では、ディレクトリＲＡＭ６０４は当該ディレクトリ情報を更新した後、更新処理が完了したことをコントローラ６０１ａに通知する。Ｓ２１２では、コントローラ６０１ａは以上の処理が完了したことをコントローラ５０１ａに通知する。

【0082】

ところで、本実施形態においてディレクトリＲＡＭは、ディレクトリ情報において、データＲＡＭ内に格納されている各データがどのクラスタに持ち出されているかを、各クラスタに対応するビットによって管理する。例えば、データを持ち出しているクラスタに対応するビットを「１」とし、データを持ち出していないクラスタに対応するビットを「０」とする。したがって、例えば上記のＳ２１０において、ディレクトリＲＡＭ６０４は、クラスタ６０に対応するビットを「１」とし、クラスタ５０に対応するビットを「０」とする。以下の説明においても、ディレクトリＲＡＭは、ディレクトリ情報における当該ビットを変更することによって、各データの使用状況を記憶する。ただし、ディレクトリＲＡＭにおけるクラスタのデータの持ち出し状況を管理する構成は、上記に限られない。な
お、コントローラ５０１ａがコントローラ６０１ａに対してフラッシュバック要求を送る場合の処理は、上記の比較例の場合と同様であるため、ここではその説明を省略する。

【0083】

ここで、本実施例のように各クラスタのモード動作を制御した場合の効果の一例を、図２３を参照しながら説明する。図２３には、情報処理装置３内のクラスタが複数のグループを構成する場合の一例を示す。ここでは、各クラスタの動作モードは、Ｌ２キャッシュ制御部のレジスタの設定値によって設定される。具体的には、動作モードは、設定値が０の場合は「モードオフ」、設定値が１の場合は「モードオン及び演算コア動作」、設定値が２の場合は「モードオン及び演算コア非動作」に設定される。図２３では、クラスタ８００ａ〜クラスタ８００ｄが１つのグループ８００を構成する。また、グループ９００は１つのクラスタ９００ａで構成される。グループ９００は、使用するメモリ空間がクラスタ９００ａ内のメモリのメモリ容量以下であるアプリケーションの実行を担当する。なお、クラスタ８００ａ〜８００ｄ、９００ａは、上記のクラスタ５０、６０と同様の構成を有するため、各構成要素の図示や説明は省略する。

【0084】

例えば、グループ８００外のクラスタ９００ａがグループ８００内のクラスタ８００ｃにアクセスすることを許可した場合を考える。そして、クラスタ９００ａがクラスタ８００ｃのＬ２キャッシュに格納されているデータについて排他的データ取得要求を行ったとする。このとき、当該データは、クラスタ９００ａに移動するとともに、クラスタ８００ｃのＬ２キャッシュからは破棄される。また、クラスタ８００ｃでは、ディレクトリ情報により、当該データがグループ外のクラスタ９００ａに持ち出されたことを管理する。そこで、図２３に示す例では、グループ外のクラスタからのアクセスを、グループ内の動作モードが「モードオン及び演算コア動作」であるクラスタに制限する。これにより、「モードオン及び演算コア非動作」のクラスタのＬ２キャッシュに格納されたデータがグループ外のクラスタによって持ち出されることがない。このため、「モードオン及び演算コア動作」であるクラスタが「モードオン及び演算コア非動作」のクラスタのデータを取得する際に、当該データをグループ外のクラスタが持ち出しているために、グループ外のクラスタからデータを取得するといった処理が発生する懸念がない。よって、グループ内において各クラスタがデータを効率よく取得することができる。

【0085】

上記の比較例では、ローカルの他にリモートやホームのクラスタの演算コア群も動作状態にある。このため、ローカルのクラスタのＬ２キャッシュは、他の複数のクラスタともデータのやり取りを行う。したがって、ローカルのクラスタの演算コア群が使用するＬ２キャッシュの容量が実質的に削減される。さらに、Ｌ２キャッシュ内のデータの管理においては、どのクラスタが要求するデータを優先的に取得してかつＬ２キャッシュに残すか等、判断基準や制御が複雑になる。このため、比較例の構成は、本実施形態の構成に比べてコスト面や情報処理の性能面でオーバーヘッドが大きくなる可能性がある。また、比較例の構成では、各データに対し、どのクラスタから追い出されたか等の追加情報も記憶してデータ管理を行う。一方、本実施形態の構成ではそのような追加情報の管理は発生しない。

【0086】

さらに、キャッシュコヒーレンス制御のプロトコルについて、演算コア群の動作モードのオン時とオフ時とで共通の規約を使用することも可能である。例えば、上記と同様にModified、Exclusive、Shared、Invalidの４状態を使用するＭＥＳＩプロトコルを、演算コア群の動作モードのオン時に使用するとする。このとき、演算コア群の動作モードのオフ時にも、新しい状態を追加で規定することなく、オン時と同じＭＥＳＩプロトコルを使用することができる。そして、動作モードのオン時とオフ時とで制御内容を適宜調整すればよい。このため、比較例の構成に本実施形態の構成を適用する際に発生するオーバーヘッドを抑えることができる。

【0087】

以上が本実施形態に関する説明であるが、上記の情報処理装置の構成や処理は、上記の実施形態に限定されるものではなく、本発明の技術的思想と同一性を失わない範囲内において種々の変更が可能である。例えば、上記の実施例では、ローカルのクラスタ５０がホームのクラスタ６０に対して排他的データ取得要求を行う場合、比較例に従って処理が実行される。すなわち、クラスタ６０は、Ｌ２キャッシュ６０３からデータを取得してクラスタ５０にデータを送るとともに、当該データをＬ２キャッシュ６０３から破棄する。排他的データ取得要求は、主に要求元のクラスタがデータを更新する際に用いるデータ取得要求である。したがって、当該データがクラスタ５０から追い出されるときは、当該データがdirtyであるため、当該データがライトバック要求の通知とともにホームのクラスタ
６０に送信される。

【0088】

ただし、情報処理装置内で実行するアプリケーションによっては、排他的データ取得要求により取得されたデータが更新されずに、ローカルのクラスタから追い出される可能性もある。すなわち、この場合は、データがcleanの状態でローカルのクラスタから追い出
される。そこで、ローカルのクラスタからホームのクラスタに対して排他的データ取得要求が行われたときに、ホームのクラスタのＬ２キャッシュから要求されたデータを破棄しない構成としてもよい。ただし、排他的データ取得要求が行われた場合は、ホームのクラスタのタグＲＡＭには、取得対象のデータの使用状況をExclusiveではなくSharedとして
登録する。このようにプロトコルを変更してデータを管理する場合でも、比較例の場合に比べてクラスタ間のトランザクションやクラスタとメモリ間のトランザクションは増加しない。したがって、情報処理装置の設計者は、情報処理装置の仕様や情報処理装置内で実行するアプリケーションの種類等を考慮して上記のいずれの構成を採用するかを適宜決定することができる。

【0089】

また、上記の実施形態において、動作モードの「モードオン」と「モードオフ」の切り換えにあたって、メモリのメモリ容量を超える大量のメモリ空間を使用するアプリケーションを実行する場合にオンする構成としてもよい。使用するメモリ空間がメモリのメモリ容量を超えないアプリケーションを実行する場合はオフとする。これにより、各アプリケーションにとって適切なメモリ及びＬ２キャッシュの構成を柔軟に採用することができる。また、アプリケーションごとに別個のメモリ及びＬ２キャッシュの構成を構築する手間も省くことができる。

【0090】

また、各クラスタの演算コア群に対する電源供給を個別に制御することで、モードオン時に非動作とする演算コア群に対して電源を切ることが可能になる。これにより、情報処理装置において不要な電力消費を抑えることができる。なお、いわゆるパワーゲーティングと呼ばれる手法を用いて各演算コア群に対する電源供給を制御する構成としてもよい。

【0091】

また、上記の説明ではレジスタを用いて演算コア群の動作又は非動作を設定する構成としている。上記の実施形態の示すＬ２キャッシュ制御部の構成の他、図２４に示す構成を採用して演算コア群の動作又は非動作の設定を行ってもよい。図２４に示すように、Ｌ２キャッシュ制御部１００１は、コントローラ１００１ａとレジスタ１００１ｂとセレクタ１００１ｃとＬ２キャッシュ１００３とディレクトリＲＡＭ１００４を備える。また、Ｌ２キャッシュ１００３は、タグＲＡＭ１００３ａとデータＲＡＭ１００３ｂを備える。Ｌ２キャッシュ制御部１００１では、セレクタ１００１ｃがレジスタ１００１ｂの設定値を参照して、図示しない演算コア群からの要求を遮断するか否かを決定する。例えばレジスタ１００１ｂの設定値がオンの場合に、セレクタ１００１ｃが図示しない演算コア群からの要求を遮断する。すなわち、演算コア群を実質的に非動作状態にすることができる。また、レジスタ１００１ｂの設定値がオフの場合は、セレクタ１００１ｃは、演算コア群からの要求をコントローラ１００１ａに送る。すなわち、演算コア群を実質的に動作状態にすることができる。なお、クラスタによって構成されるグループの外部から実行アプリケ
ーション等を用いて、各クラスタにおける動作モードを制御するように調整してもよい。

【0092】

《コンピュータが読み取り可能な記録媒体》
コンピュータその他の機械、装置（以下、コンピュータ等）に上記情報処理装置の設定を行うための管理ツール、ＯＳその他を実現させるプログラムをコンピュータ等が読み取り可能な記録媒体に記録することができる。ここで、設定とは、例えばレジスタの設定等を意味する。そして、コンピュータ等に、この記録媒体のプログラムを読み込ませて実行させることにより、その機能を提供させることができる。ここで、コンピュータは、例えば、クラスタやコントローラ等である。

【0093】

ここで、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータ等から読み取ることができる記録媒体をいう。このような記録媒体のうちコンピュータ等から取り外し可能なものとしては、例えばフレキシブルディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ／Ｗ、ＤＶＤ、ブルーレイディスク、ＤＡＴ、８ｍｍテープ、フラッシュメモリ等のメモリカード等がある。また、コンピュータ等に固定された記録媒体としてハードディスクやＲＯＭ等がある。

【0094】

以上の実施形態に関し、さらに以下の付記を開示する。

【0095】

（付記１）
他の演算処理装置に接続される演算処理装置において、
自身が管理する第１のデータと他の演算処理装置から取得した第２のデータとを用いて演算処理を行う演算処理部と、
前記第１のデータと前記第２のデータとに加え、第３のデータとを記憶するメモリ部と、
前記演算処理部を動作状態又は非動作状態に設定する設定部と、前記第１のデータと前記第２のデータとを保持するキャッシュメモリ部とを有し、前記設定部が前記演算処理部を非動作状態に設定した場合、前記他の演算処理装置から前記第３のデータが要求された結果、前記キャッシュメモリ部にキャッシュミスが発生したとき、要求された前記第３のデータを前記メモリ部から読み出して前記キャッシュメモリ部に保持するとともに、読み出した前記第３のデータを前記他の演算処理装置に送信する制御部と、
を有する
演算処理装置。

【0096】

（付記２）
前記制御部は、
前記他の演算処理装置から、前記他の演算処理装置のキャッシュメモリ部に保持する第３のデータを更新した結果である第４のデータと、前記第４のデータをライトバックする旨のライトバック通知とを受信した場合、受信した前記第４のデータを前記キャッシュメモリ部に記憶する
ことを特徴とする付記１に記載の演算処理装置。

【0097】

（付記３）
前記制御部は、
前記他の演算処理装置から、前記他の演算処理装置のキャッシュメモリ部に保持する第３のデータを更新した結果である第４のデータと、前記第４のデータをライトバックする旨のライトバック通知とを受信した場合、受信した前記第４のデータを前記キャッシュメモリ部に記憶するが、受信した前記第４のデータを前記メモリ部に登録させない
ことを特徴とする付記２に記載の演算処理装置。

【0098】

（付記４）
他の演算処理装置と、前記他の演算処理装置に接続される演算処理装置とを有する情報処理装置において、
前記演算処理装置は、
自身が管理する第１のデータと他の演算処理装置から取得した第２のデータとを用いて演算処理を行う演算処理部と、
前記第１のデータと前記第２のデータとに加え、第３のデータとを記憶するメモリ部と、
前記演算処理部を動作状態又は非動作状態に設定する設定部と、前記第１のデータと前記第２のデータとを保持するキャッシュメモリ部とを有し、前記設定部が前記演算処理部を非動作状態に設定した場合、前記他の演算処理装置から前記第３のデータが要求された結果、前記キャッシュメモリ部にキャッシュミスが発生したとき、要求された前記第３のデータを前記メモリ部から読み出して前記キャッシュメモリ部に保持するとともに、読み出した前記第３のデータを前記他の演算処理装置に送信する制御部と、
を有する
ことを特徴とする情報処理装置。

【0099】

（付記５）
前記制御部は、
前記他の演算処理装置から、前記他の演算処理装置のキャッシュメモリ部に保持する第３のデータを更新した結果である第４のデータと、前記第４のデータをライトバックする旨のライトバック通知とを受信した場合、受信した前記第４のデータを前記キャッシュメモリ部に記憶する
ことを特徴とする付記４に記載の情報処理装置。

【0100】

（付記６）
前記制御部は、
前記他の演算処理装置から、前記他の演算処理装置のキャッシュメモリ部に保持する第３のデータを更新した結果である第４のデータと、前記第４のデータをライトバックする旨のライトバック通知とを受信した場合、受信した前記第４のデータを前記キャッシュメモリ部に記憶するが、受信した前記第４のデータを前記メモリ部に登録させない
ことを特徴とする付記５に記載の情報処理装置。

【0101】

（付記７）
他の演算処理装置と、前記他の演算処理装置に接続されるとともに、自身が管理する第１のデータと他の演算処理装置から取得した第２のデータとを用いて演算処理を行う演算処理部と、前記第１のデータと前記第２のデータとに加え、第３のデータとを記憶するメモリ部と、前記第１のデータと前記第２のデータとを保持するキャッシュメモリ部とを含む演算処理装置とを有する情報処理装置の制御方法において、
前記演算処理装置が有する設定部が、前記演算処理部を非動作状態に設定し、
前記設定部が前記演算処理部を非動作状態に設定した後、前記他の演算処理装置が、前記第３のデータを要求し、
前記第３のデータが要求された結果、前記キャッシュメモリ部にキャッシュミスが発生した場合、前記演算処理装置が有する制御部が、要求された前記第３のデータを前記メモリ部から読み出して前記キャッシュメモリ部に保持し、
前記制御部が、読み出した前記第３のデータを前記他の演算処理装置に送信する
ことを特徴とする情報処理装置の制御方法。

【0102】

（付記８）
前記制御部は、
前記他の演算処理装置から、前記他の演算処理装置のキャッシュメモリ部に保持する第３のデータを更新した結果である第４のデータと、前記第４のデータをライトバックする旨のライトバック通知とを受信した場合、受信した前記第４のデータを前記キャッシュメモリ部に記憶する
ことを特徴とする付記７に記載の情報処理装置の制御方法。

【0103】

（付記９）
前記制御部は、
前記他の演算処理装置から、前記他の演算処理装置のキャッシュメモリ部に保持する第３のデータを更新した結果である第４のデータと、前記第４のデータをライトバックする旨のライトバック通知とを受信した場合、受信した前記第４のデータを前記キャッシュメモリ部に記憶するが、受信した前記第４のデータを前記メモリ部に登録させない
ことを特徴とする付記８に記載の情報処理装置の制御方法。

【符号の説明】

【0104】

１、２、３ 情報処理装置
１０、２０、３０、５０、６０、７０、８００ａ、８００ｂ、８００ｃ、８００ｄ、９００ａ クラスタ
１００、２００、３００、５００、６００、７００ 演算コア群
１０１、２０１、３０１、５０１、６０１、７０１、１００１ Ｌ２キャッシュ制御部１０２、２０２、３０２、５０２、６０２、７０２ メモリ
１０３、２０３、３０３、５０３、６０３、７０３、１００３ Ｌ２キャッシュ
１０１ａ、２０１ａ、３０１ａ、５０１ａ、６０１ａ、１００１ａ コントローラ
１０３ａ、２０３ａ、３０３ａ、５０３ａ、６０３ａ、１００３ａ タグＲＡＭ
１０３ｂ、２０３ｂ、３０３ｂ、５０３ｂ、６０３ｂ、１００３ｂ データＲＡＭ
１０４、２０４、３０４、５０４、６０４、１００４ ディレクトリＲＡＭ
５０１ｂ、６０１ｂ、１００１ｂ レジスタ
８００、９００ グループ
１００１ｃ セレクタ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】