特許 7419843 並列処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-15

(45)【発行日】2024-01-23

(54)【発明の名称】並列処理装置

(51)【国際特許分類】

   G06F 9/50 20060101AFI20240116BHJP

【ＦＩ】

G06F9/50 150C

【請求項の数】 3

(21)【出願番号】P 2020014221

(22)【出願日】2020-01-30

(65)【公開番号】P2021120824

(43)【公開日】2021-08-19

【審査請求日】2022-10-06

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】末安 直樹

(72)【発明者】

【氏名】一瀬 克己

【審査官】坂東 博司

(56)【参考文献】

【文献】特開２０１８－１２０３８７（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１９／００１２１５５（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ９／５０

(57)【特許請求の範囲】

【請求項1】

所定の並列化パラメータを設定した、２重ループを有する最適化対象のプログラムを並列処理で１回だけ実行する実行部と、
前記実行部によって実行された結果から前記最適化対象のプログラムの特徴値を算出する算出部と、
２重ループを有するサンプルプログラムにおける特徴値と最適な並列化パラメータとの相関関係を示すデータベースを参照して、前記算出部によって算出された特徴値に対応する最適な並列化パラメータを抽出する抽出部と、
を有することを特徴とする並列処理装置。

【請求項2】

特徴値を持つサンプルプログラムに対して複数通りの並列化パラメータをそれぞれ設定して実行した際の結果を基に当該プログラムにおける特徴値と最適な並列化パラメータとの相関関係を示すデータベースを生成する生成部とをさらに有し、
前記抽出部は、前記生成部によって生成されたデータベースを参照して、前記算出部によって算出された前記最適化対象のプログラムの特徴値に対応する最適な並列化パラメータを抽出する
ことを特徴とする請求項１に記載の並列処理装置。

【請求項3】

前記相関関係は、ループごとの、実行命令数の平均、実行命令数の相対標準偏差およびキャッシュの再利用率の平均を示す複数の特徴値と、ループごとの、プロセッサコアの割り当て、並列化のスケジューリング方式および並列化のスケジューリング方式のチャンク数を示す複数の並列化パラメータとの相関関係である
ことを特徴とする請求項１または請求項２に記載の並列処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、並列処理装置に関する。

【背景技術】

【0002】

並列処理プログラムの並列処理パラメータを決定する技術が開示されている。例えば、特許文献１では、処理部が、評価対象の第１プログラムの推奨するノード数とプロセス数とを決定する。具体的には、処理部は、ノード数とプロセス数とを示す第１サンプル点に従って第１プログラムを実行させ、第１サンプル点それぞれの間の評価値の変動率に基づく第１統計量を算出する。そして、処理部は、第１統計量が第１閾値以下になるまで第１サンプル点４を生成する。また、処理部は、第１サンプル点から所定距離内に第２サンプル点を追加し、第２サンプル点に従って第１プログラムを実行したときの評価値を用いて第１サンプル点ごとの第２統計量を算出する。そして、処理部は、第２統計量が第２閾値以下になるまで第２サンプル点を生成する。そして、処理部は、第１サンプル点と第２サンプル点との評価値を補完して、推奨するノード数とプロセス数とを決定する。

【0003】

また、２重ループを有するプログラムを並列処理で実行するときに、適切な並列処理パラメータを設定する必要がある。スレッド並列化規格ＯｐｅｎＭＰの並列処理パラメータとして、スケジューリング方式、チャンクサイズおよびプロセッサコアの割り当てが挙げられる。従来では、並列処理パラメータの組み合わせごとに、組み合わせのパラメータをプログラムに設定し、プログラムを実行し、実行結果を参照して適切な並列化パラメータとなるように調整していた。あるいは、並列化パラメータを経験者による経験で調整していた。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１８－１２０３８７号公報

【文献】特開２０１６－９９７２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、ループを有するプログラムを並列処理で実行するときに、プログラムに設定する最適な並列処理パラメータを高速に推定することが難しいという問題がある。

【0006】

例えば、推奨するノード数とプロセス数とを決定する技術では、評価対象の第１プログラムをノード数とプロセス数とを示す第１サンプル点に従って評価対象の第１プログラムを何度も実行させて、推奨するノード数とプロセス数とを決定する。また、決定する並列処理パラメータは、ノード数とプロセス数だけである。したがって、スケジューリング方式、チャンクサイズおよびプロセッサコアの割り当てを含む最適な並列処理パラメータを高速に推定することが難しい。

【0007】

また、２重ループを有するプログラムを並列処理で実行するときの並列化パラメータを決定する場合では、並列処理パラメータの組み合わせごとに、プログラムを実行して、最適な並列処理パラメータを求める。したがって、かかる場合でも、最適な並列処理パラメータを高速に推定することが難しい。

【0008】

本発明は、１つの側面では、ループを有するプログラムを並列処理で実行するときの最適な並列処理パラメータを高速に推定することを目的とする。

【課題を解決するための手段】

【0009】

１つの態様では、並列処理装置は、所定の並列化パラメータを設定した、２重ループを有する最適化対象のプログラムを並列処理で１回だけ実行する実行部と、前記実行部によって実行された結果から前記最適化対象のプログラムの特徴値を算出する算出部と、２重ループを有するサンプルプログラムにおける特徴値と最適な並列化パラメータとの相関関係を示すデータベースを参照して、前記算出部によって算出された特徴値に対応する最適な並列化パラメータを抽出する抽出部と、を有する。

【発明の効果】

【0010】

１実施態様によれば、ループを有するプログラムを並列処理で実行するときの最適な並列処理パラメータを高速に推定することができる。

【図面の簡単な説明】

【0011】

【図1】図１は、実施例に係る並列処理装置の機能構成を示すブロック図である。

【図2】図２は、プログラムの一例を示す図である。

【図3】図３は、実施例に係る関係データベースの一例を示す図である。

【図4】図４は、プログラムを実行するハードウェアの一例を示す図である。

【図5】図５は、プロセッサコアの割り当ての一例を示す図である。

【図6】図６は、ＤＯループの実行例を示す図である。

【図7】図７は、最適化パラメータ抽出の一例を示す図である。

【図8】図８は、最適化されたプログラムの一例を示す図である。

【図9】図９は、実施例に係る生成処理のフローチャートの一例を示す図である。

【図10】図１０は、実施例に係る最適化パラメータ抽出処理のフローチャートの一例を示す図である。

【図11】図１１は、実施例に係るプログラム本実行処理のフローチャートの一例を示す図である。

【図12】図１２は、並列処理プログラムを実行するコンピュータの一例を示す図である。

【発明を実施するための形態】

【0012】

以下に、本願の開示する並列処理装置の実施例を図面に基づいて詳細に説明する。なお、本発明は、実施例により限定されるものではない。

【実施例】

【0013】

［実施例に係る並列処理装置の機能構成］
図１は、実施例に係る並列処理装置の機能構成を示すブロック図である。図１に示す並列処理装置１は、複数レベルの並列化が行なえるアプリケーションプログラムに対する最適な並列化パラメータを選択して、実行性能をチューニングする。実施例では、複数レベルの並列化を行なえるアプリケーションプログラムとしてスレッド並列化規格であるＯｐｅｎＭＰを適用するものとする。また、実施例では、例えば、２重ループを有するアプリケーションプログラムを並列処理で実行する際に適切な並列化パラメータを選択する場合について説明する。 なお、ＯｐｅｎＭＰ規格は、例えば、「OpenMP Application Program Interface Version 5.0」の記載に準じるものであり、詳細な説明を省略する。

【0014】

並列処理装置１は、制御部１０および記憶部２０を有する。制御部１０は、ＣＰＵ（Central Processing Unit）などの電子回路に対応する。そして、制御部１０は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、これらによって種々の処理を実行する。制御部１０は、生成部１１、プログラム仮実行部１２、特徴値算出部１３、最適化パラメータ抽出部１４およびプログラム本実行部１５を有する。なお、プログラム仮実行部１２は、実行部の一例である。特徴値算出部１３は、算出部の一例である。最適化パラメータ抽出部１４は、抽出部の一例である。生成部１１は、生成部の一例である。

【0015】

記憶部２０は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子、または、ハードディスク、光ディスクなどの記憶装置である。記憶部２０は、基準プログラム２１および関係データベース２２を有する。

【0016】

基準プログラム２１は、並列化パラメータに影響を与える、プログラムの複数の実行特徴値の組み合わせごとに、それぞれの組み合わせの特徴値を持つプログラムのことをいう。基準プログラム２１は、並列化パラメータを設定する変数を有するとともに、２重ループを有する。ここでは、プログラムの複数の実行特徴値の組み合わせを「アプリ実行特徴値セット」というものとする。アプリ実行特徴値セットごとに、基準プログラム２１が作成される。

【0017】

ここで、実施例で扱うプログラムの一例を、図２を参照して説明する。図２は、プログラムの一例を示す図である。図２では、Ｆｏｒｔｒａｎ言語のプログラムの一例である。図２に示すように、プログラムは、２レベルのＤＯループの並列化を行う。プログラム内のＬ１，Ｕ１が、１次元目のループの変動範囲の定数である。Ｌ２，Ｕ２が、２次元目のループの変動範囲の定数である。

【0018】

かかるプログラムは、スレッド並列化規格であるＯｐｅｎＭＰの並列化パラメータを設定する変数を有する。並列化パラメータには、変数Ｐ１，Ｐ２，Ｄ１，Ｄ２，Ｃ１およびＣ２が挙げられる。変数Ｐ１，Ｐ２には、ＤＯループへのプロセッサコアの割り当てを示す値が設定される。変数Ｄ１，Ｄ２は、スケジューリング方式を示す値が設定される。変数Ｃ１，Ｃ２は、チャンク数が設定される。スケジューリング方式には、例えば、ｓｔａｔｉｃ、ｄｙｎａｍｉｃ、ｇｕｉｄｅｄが設定可能である。チャンクには、例えば、任意の整数が設定可能である。任意の整数は、例えば、１，８または３２である。ＤＯループへのプロセッサコアの割り当てとして、例えば４８コアを例とすると、（１，４８），（２，２４），（３，１６），（４，１２），（６，８），（８，６），（１２，４），（１６，３），（２４，２），（４８，１）が設定可能である。

【0019】

かかるプログラムは、ｐａｒａｌｌｅｌ ｄｏ構文を持ち、変動範囲のｄｏループを並列に実行する。ここでいう並列とは、プロセス並列ではなく、プログラム内のスレッド並列のことをいう。ｐａｒａｌｌｅｌ ｄｏ構文は、プロセッサコアの割り当てに従ってスレッドにｄｏループの繰り返し処理の一部を割り当てる。

【0020】

かかるプログラムに設定可能な並列化パラメータの組み合わせは、上記の例では、８１０通り存在する。すなわち、スケジューリング方式に３種類、チャンクに３種類が存在するので、２レベルのＤＯループに適用する場合には、８１（＝３×３×３×３）通りが存在する。加えて、ＤＯループへのプロセッサコアの割り当てに１０種類が存在するので、プログラムに設定可能な並列化パラメータの組み合わせは、８１０（＝１０×８１）通りとなる。

【0021】

実施例では、並列処理装置１は、プログラムに設定可能な並列化パラメータの組み合わせの中から実行時間が最も短い組み合わせを示す最適並列化パラメータを抽出する。

【0022】

図１に戻って、ここで、アプリ実行特徴値セットについて説明する。アプリ実行特徴値セットは、並列化パラメータに影響を与える、プログラムの複数の実行特徴値の組み合わせのことをいう。並列化パラメータに影響を与える、プログラムの複数の実行特徴値には、例えば、以下のｘ、ｙ、ｚが考えられる。
ｘ）各ＤＯループの繰り返しごとの処理部分の実行命令数の平均値
ｙ）各ＤＯループの繰り返しごとの処理部分の実行命令数の相対標準偏差値
ｚ）各ＤＯループの繰り返しごとの処理部分のキャッシュ再利用率の平均値

【0023】

ｘが並列化パラメータに影響を与える、プログラムの実行特徴値として適用される理由は、以下の通りである。処理部分の実行命令数の大小により、例えば並列化パラメータの１つであるスケジューリング方式に影響を与えるからである。すなわち、処理コスト（オーバーヘッド）が大きい場合に採用されるＤｙｎａｍｉｃスケジューリング方式を採用できるかどうかを判定するためである。

【0024】

ｙが並列化パラメータに影響を与える、プログラムの実行特徴値として適用される理由は、以下の通りである。処理部分の負荷バランスの度合いにより、例えば並列化パラメータの１つであるスケジューリング方式に影響を与えるからである。すなわち、処理部分の負荷バランスにバラツキが無い場合にはｓｔａｔｉｃスケジューリング方式を、負荷バランスにバラツキが有る場合にはＤｙｎａｍｉｃスケジューリング方式を採用するためである。

【0025】

ｚが並列化パラメータに影響を与える、プログラムの実行特徴値として適用される理由は、以下の通りである。キャッシュの再利用率の高低により、例えば並列化パラメータの１つであるチャンク数に影響を与えるからである。すなわち、キャッシュの再利用率が高い場合には、チャンク数を大きくすることにより、キャッシュの再利用を促進すべく、大きいチャンク数を採用するためである。

【0026】

実施例では、並列処理装置１は、この３種類の実行特徴値を、１次元目のＤＯループおよび２次元目のＤＯループでそれぞれ算出し、６個の実行特徴値の組み合わせを、アプリ実行特徴値セットとして定義する。

【0027】

関係データベース２２は、アプリ実行特徴値セットと、最適な並列化パラメータとの対応関係を保持する。関係データベース２２は、後述する生成部１１によって生成される。なお、関係データベース２２の一例は、後述する。

【0028】

生成部１１は、関係データベース２２を生成する。

【0029】

例えば、生成部１１は、アプリ実行特徴値セットの各要素を、次の刻みで変化させるような複数の基準プログラム２１を生成する。各ＤＯループの繰り返しごとの処理部分の実行命令数の平均値は、Ｄｙｎａｍｉｃスケジューリング方式の場合の実行時ライブラリの実行命令数の１～１０倍とする。すなわち、各ＤＯループの繰り返しごとの処理部分の実行命令数の平均値は、ＤＯループごとに、１，２，・・・，１０の値を採る。各ＤＯループの繰り返しごとの処理部分の実行命令数の相対標準偏差値は、０．１～１．０を０．１刻みとする。すなわち、各ＤＯループの繰り返しごとの処理部分の実行命令数の相対標準偏差値は、ＤＯループごとに、０．１，０．２，・・・，１．０の値を採る。各ＤＯループの繰り返しごとの処理部分のキャッシュ再利用率の平均値は、０．１～１．０を０．１刻みとする。すなわち、各ＤＯループの繰り返しごとの処理部分のキャッシュ再利用率の平均値は、ＤＯループごとに、０．１，０．２，・・・，１．０の値を採る。この例では、アプリ実行特徴値セットは、最終的に、１０^６（＝１００万）個になる。生成部１１は、１００万個のアプリ実行特徴値セットを持つそれぞれの基準プログラム２１を生成する。

【0030】

そして、生成部１１は、１つのアプリ実行特徴値セットを持つ基準プログラム２１に対して複数通りの並列化パラメータの組をそれぞれ設定して実行する。一例として、プログラムに設定可能な並列化パラメータの組み合わせが８１０通りあるとすると、生成部１１は、１つの基準プログラム２１に対して８１０通りの並列化パラメータをそれぞれ設定して実行する。

【0031】

そして、生成部１１は、複数通りの実行結果を基に、最も実行時間が短かった並列化パラメータの組を最適並列化パラメータとして決定する。そして、生成部１１は、基準プログラム２１におけるアプリ実行特徴値セットと最適並列化パラメータとを対応付けて関係データベース２２に追加する。そして、生成部１１は、他のアプリ実行特徴値セットについても同様に、アプリ実行特徴値セットを持つ基準プログラム２１における最適並列化パラメータを決定して、関係データベース２２に追加する。

【0032】

ここで、関係データベース２２の一例を、図３を参照して説明する。図３は、実施例に係る関係データベースの一例を示す図である。図３に示す関係データベース２２は、アプリ実行特徴値セット（Ｘ１，Ｙ１，Ｚ１，Ｘ２，Ｙ２，Ｚ２）と、最適並列化パラメータ（Ｐ１，Ｐ２，Ｄ１，Ｄ２，Ｃ１，Ｃ２）とを対応付けて記憶する。

【0033】

アプリ実行特徴値セット（Ｘ１，Ｙ１，Ｚ１，Ｘ２，Ｙ２，Ｚ２）は、１次元目のＤＯループの上記ｘ、ｙ、ｚおよび２次元目のＤＯループの上記ｘ、ｙ、ｚに対応する。つまり、Ｘ１は、１次元目のＤＯループのｘ、すなわち、１次元目のＤＯループの繰り返しごとの処理部分の実行命令数の平均値を示す。Ｙ１は、１次元目のＤＯループのｙ、すなわち、１次元目のＤＯループの繰り返しごとの処理部分の実行命令数の相対標準偏差値を示す。Ｚ１は、１次元目のＤＯループのｚ、すなわち、１次元目のＤＯループの繰り返しごとの処理部分のキャッシュ再利用率の平均値を示す。Ｘ２は、２次元目のＤＯループのｘ、すなわち、２次元目のＤＯループの繰り返しごとの処理部分の実行命令数の平均値を示す。Ｙ２は、２次元目のＤＯループのｙ、すなわち、２次元目のＤＯループの繰り返しごとの処理部分の実行命令数の相対標準偏差値を示す。Ｚ２は、２次元目のＤＯループのｚ、すなわち、２次元目のＤＯループの繰り返しごとの処理部分のキャッシュ再利用率の平均値を示す。ここでは、Ｘ１やＸ２は、１，２，・・・，１０の値を採る。Ｙ１やＹ２は、０．１，０．２，・・・，１．０の値を採る。Ｚ１やＺ２は、０．１，０．２，・・・，１．０の値を採る。

【0034】

最適並列化パラメータ（Ｐ１，Ｐ２，Ｄ１，Ｄ２，Ｃ１，Ｃ２）は、アプリ実行特徴値セット（Ｘ１，Ｙ１，Ｚ１，Ｘ２，Ｙ２，Ｚ２）を持つ基準プログラム２１における最適な並列化パラメータに対応する。Ｐ１，Ｐ２は、ＤＯループへのプロセッサコアの割り当てを示す値である。Ｄ１は、１次元目のＤＯループのスケジューリング方式を示す値である。Ｄ２は、２次元目のＤＯループのスケジューリング方式を示す値である。Ｃ１は、１次元目のＤＯループのチャンク数である。Ｃ２は、２次元目のＤＯループのチャンク数である。

【0035】

一例として、アプリ実行特徴値セットが（１，０．１，０．１，１，０．１，０．１）である場合に、最適並列化パラメータとして（６，８，ｓｔａｔｉｃ，ｓｔａｔｉｃ，１，１）が記憶されている。また、アプリ実行特徴値セットが（１０，０．１，０．１，１，０．１，０．１）である場合に、最適並列化パラメータとして（６，８，ｄｙｎａｍｉｃ，ｓｔａｔｉｃ，１，１）が記憶されている。

【0036】

プログラム仮実行部１２は、最適化パラメータを抽出したい最適化対象プログラムを仮実行する。例えば、プログラム仮実行部１２は、最適化対象プログラムの特徴を求めるために、所定の並列化パラメータを設定した最適化対象プログラムを１回だけ仮実行する。最適化対象プログラムに設定する所定の並列化パラメータ（Ｐ１，Ｐ２，Ｄ１，Ｄ２，Ｃ１，Ｃ２）は、例えば（６，８，ｓｔａｔｉｃ，ｓｔａｔｉｃ，１，１）である。しかしながら、所定の並列化パラメータ（Ｐ１，Ｐ２，Ｄ１，Ｄ２，Ｃ１，Ｃ２）は、これに限定されるものではない。

【0037】

特徴値算出部１３は、プログラム仮実行部１２によって実行された際のアプリ実行特徴値セットのそれぞれの特徴値を算出する。実行時のアプリ実行特徴値セットのそれぞれの特定値は、特定のプロファイル等の性能情報取得ツールを用いて求められれば良い。特定のプロファイル等の性能情報取得ツールは、例えば、スーパーコンピュータ「京」に向けたアプリケーション開発支援ツール（“スーパーコンピュータ「京」の性能プロファイル”を参照）を利用しても良い。

【0038】

最適化パラメータ抽出部１４は、関係データベース２２を参照して、特徴値算出部１３によって算出されたアプリ実行特徴値セットに対応する最適並列化パラメータを抽出する。例えば、最適化パラメータ抽出部１４は、関係データベース２２から、特徴値算出部１３によって算出されたアプリ実行特徴値セットと最も距離が近いアプリ実行特徴値セットを取得する。これは、関係データベース２２に記憶されたアプリ実行特徴値セットは、離散的であるからである。そして、最適化パラメータ抽出部１４は、関係データベース２２から、取得したアプリ実行特徴値セットに対応する最適並列化パラメータを抽出する。これにより、最適化パラメータ抽出部１４は、ループを有する最適化対象プログラムを並列処理で実行するときの最適な並列化パラメータを高速に推定することができる。

【0039】

プログラム本実行部１５は、最適化対象プログラムを本実行する。例えば、プログラム本実行部１５は、最適化パラメータ抽出部１４によって抽出された最適並列化パラメータを設定した最適化対象プログラムを本実行する。

【0040】

［プログラムを実行するハードウェアの一例］
図４は、プログラムを実行するハードウェアの一例を示す図である、図４に示すように、計算機が、１つのメモリを共有する４８個のプロセッサコア（計算コア）を有する場合とする。それぞれの計算コアは、メモリへのアクセスのコストを軽減するために、キャッシュを有する。そして、１２個の計算コアごとに、ＵＭＡグループを生成する。そして、４組のＵＭＡグループが、ＮＵＭＡ（Non-Uniform Memory Access）結合している。なお、図４の例では、計算機に４８個の計算コアがある場合を説明したが、これに限定されるものではない。

【0041】

［プロセッサコアの割り当ての一例］
図５は、プロセッサコアの割り当ての一例を示す図である。すなわち、上記並列化パラメータの変数Ｐ１，Ｐ２で表わしたＤＯループへのプロセッサコアの割り当ての一例を示す。図５の一例では、４８個のプロセッサコア（計算コア）の場合である。

【0042】

図５上図は、４８個のプロセッサコアの割り当てが（１２，４）の場合である。かかる場合には、プログラムは、コアごとに、１次元目（１重目）のＤＯループを１２分割で実行され、２次元目（２重目）のＤＯループを４分割で実行される。

【0043】

図５下図は、４８個のプロセッサコアの割り当てが（８，６）の場合である。かかる場合には、プログラムは、コアごとに、１次元目（１重目）のＤＯループを８分割で実行され、２次元目（２重目）のＤＯループを６分割で実行される。

【0044】

［ＤＯループの実行例］
図６は、ＤＯループの実行例を示す図である。図６の一例では、図２で示したプログラムのＬ１，Ｌ２が「１」、Ｕ１，Ｕ２が「１００」の場合である。すなわち、１次元目（１重目）のループの変動範囲Ｌ１，Ｕ１は、１，１００である。２次元目（２重目）のループの変動範囲Ｌ２，Ｕ２は、１，１００である。また、最適化パラメータのプロセッサコアの割り当て（Ｐ１，Ｐ２）が（８，６）の場合である。

【0045】

ここでは、ＣＯＲＥ＃０が示すプロセッサコアは、１重目のＤＯループの変動範囲（１，１３）を担い、２重目のＤＯループの変動範囲（１，１７）を担う。ＣＯＲＥ＃１が示すプロセッサコアは、１重目のＤＯループの変動範囲（１４，２６）を担い、２重目のＤＯループの変動範囲（１，１７）を担う。ＣＯＲＥ＃２が示すプロセッサコアは、１重目のＤＯループの変動範囲（２７，３９）を担い、２重目のＤＯループの変動範囲（１，１７）を担う。・・・ＣＯＲＥ＃７が示すプロセッサコアは、１重目のＤＯループの変動範囲（９２，１００）を担い、２重目のＤＯループの変動範囲（１，１７）を担う。また、ＣＯＲＥ＃８が示すプロセッサコアは、１重目のＤＯループの変動範囲（１，１３）を担い、２重目のＤＯループの変動範囲（１８，３４）を担う。ＣＯＲＥ＃１６が示すプロセッサコアは、１重目のＤＯループの変動範囲（１，１３）を担い、２重目のＤＯループの変動範囲（３５，５１）を担う。ＣＯＲＥ＃２４が示すプロセッサコアは、１重目のＤＯループの変動範囲（１，１３）を担い、２重目のＤＯループの変動範囲（５２，６８）を担う。ＣＯＲＥ＃３２が示すプロセッサコアは、１重目のＤＯループの変動範囲（１，１３）を担い、２重目のＤＯループの変動範囲（６９，８５）を担う。ＣＯＲＥ＃４０が示すプロセッサコアは、１重目のＤＯループの変動範囲（１，１３）を担い、２重目のＤＯループの変動範囲（８６，１００）を担う。このように、プロセッサコアの割り当てに従って、スレッドにｄｏループの繰り返し処理の一部を割り当てる。

【0046】

［最適化パラメータ抽出の一例］
図７は、最適化パラメータ抽出の一例を示す図である。図７に示すように、生成部１１によって生成された関係データベース２２が表わされている。なお、最適化対象プログラムに対応するアプリ実行特徴値セットが特徴値算出部１３によって算出されたものとする。

【0047】

最適化パラメータ抽出部１４は、関係データベース２２を参照して、特徴値算出部１３によって算出されたアプリ実行特徴値セットと最も距離が近いアプリ実行特徴値セットを取得する。ここでは、アプリ実行特徴値セットとして（５，０．８，０．２，１，０．２，０．１）が取得される。すると、最適化パラメータ抽出部１４は、関係データベース２２を参照して、取得したアプリ実行特徴値セットに対応する最適並列化パラメータを抽出する。ここでは、最適並列化パラメータとして（１２，４，ｇｕｉｄｅｄ，ｓｔａｔｉｃ，３２，１）が抽出される。

【0048】

［最適化されたプログラムの一例］
図８は、最適化されたプログラムの一例を示す図である。ここでは、最適化対象プログラムの最適並列化パラメータとして（１２，４，ｇｕｉｄｅｄ，ｓｔａｔｉｃ，３２，１）が抽出されたとする。符号ｐ１に示すように、ＤＯループへのプロセッサコアの割り当てを示す値として、１２，４が設定されている。符号ｐ２に示すように、１次元目のＤＯループのスケジューリング方式として「ｇｕｉｄｅｄ」が設定されている。符号ｐ３に示すように、２次元目のＤＯループのスケジューリング方式として「ｓｔａｔｉｃ」が設定されている。符号ｐ４に示すように、１次元目のＤＯループのチャンク数として「３２」が設定されている。符号ｐ５に示すように、２次元目のＤＯループのチャンク数として「１」が設定されている。

【0049】

そして、最適並列化パラメータを設定した最適化対象プログラムを、プログラム本実行部１５は、本実行する。

【0050】

［生成処理のフローチャートの一例］
図９は、実施例に係る生成処理のフローチャートの一例を示す図である。なお、アプリ実行特徴値セットは、図３で示す（Ｘ１，Ｙ１，Ｚ１，Ｘ２，Ｙ２，Ｚ２）であるとする。

【0051】

図９に示すように、生成部１１は、アプリ実行特徴値セットの６次元空間でグリッド状に配置される値を取り得る複数の基準プログラム２１を生成する（ステップＳ１１）。

【0052】

そして、生成部１１は、それぞれの基準プログラム２１において、並列化パラメータの全組み合わせの実行を行う。生成部１１は、最も実行時間が短い並列化パラメータを、最適並列化パラメータとして、基準プログラム２１に対応するアプリ実行特徴値セットと対応付けて関係データベース２２に格納する（ステップＳ１２）。

【0053】

［最適化パラメータ抽出処理のフローチャートの一例］
図１０は、実施例に係る最適化パラメータ抽出処理のフローチャートの一例を示す図である。

【0054】

図１０に示すように、最適化対象プログラムを受け付けたプログラム仮実行部１２は、受け付けた最適化対象プログラムを１回実行する。そして、特徴値算出部１３は、アプリ実行特徴値セットを取得する（ステップＳ２１）。実行時のアプリ実行特徴値セットのそれぞれの特定値は、特定のプロファイル等の性能情報取得ツールを用いて求められれば良い。

【0055】

そして、最適化パラメータ抽出部１４は、取得されたアプリ実行特徴値セットをまるめる（ステップＳ２２）。

【0056】

そして、最適化パラメータ抽出部１４は、まるめた後のアプリ実行特徴値セットをキーに、関係データベース２２を参照して、最適並列化パラメータを抽出する（ステップＳ２３）。
［プログラム本実行処理のフローチャートの一例］
図１１は、実施例に係るプログラム本実行処理のフローチャートの一例を示す図である。

【0057】

プログラム本実行部１５は、最適化対象プログラムに最適並列化パラメータを設定して実行する（ステップＳ３１）。

【0058】

［実施例の効果］
上記実施例によれば、並列処理装置１は、所定の並列化パラメータを設定した、２重ループを有する最適化対象のプログラムを並列処理で１回だけ実行する。並列処理装置１は、実行された結果から最適化対象のプログラムの特徴値を算出する。並列処理装置１は、２重ループを有するサンプルプログラムにおける特徴値と最適な並列化パラメータとの相関関係を示すデータベースを参照して、算出された特徴値に対応する最適な並列化パラメータを抽出する。かかる構成によれば、並列処理装置１は、２重ループを有する最適化対象のプログラムを並列処理で実行する場合に、１回だけ実行するだけで、最適な並列化パラメータを高速に求めることができる。

【0059】

また、上記実施例によれば、並列処理装置１は、特徴値を持つサンプルプログラムに対して複数通りの並列化パラメータをそれぞれ設定して実行した際の結果を基に当該プログラムにおける特徴値と最適な並列化パラメータとの相関関係を示すデータベースを生成する。並列処理装置１は、生成されたデータベースを参照して、算出された前記最適化対象のプログラムの特徴値に対応する最適な並列化パラメータを抽出する。かかる構成によれば、並列処理装置１は、２重ループを有するプログラムにおける特徴値と並列化パラメータとの相関関係を生成することで、最適な並列化パラメータを高速に求めることができる。

【0060】

また、上記実施例によれば、並列処理装置１は、以下の相関関係を示すデータベースを生成する。相関関係は、ループごとの、実行命令数の平均、実行命令数の相対標準偏差およびキャッシュの再利用率の平均を示す複数の特徴値と、ループごとの、プロセッサコアの割り当て、並列化のスケジューリング方式および並列化のスケジューリング方式のチャンク数を示す複数の並列化パラメータとの相関関係である。かかる構成によれば、並列処理装置１は、２重ループを有するプログラムにおける特徴値と並列化パラメータとの相関関係を生成することで、最適な並列化パラメータを高速に求めることができる。

【0061】

［その他］
なお、上記実施例では、プログラムとしてＦｏｒｔｒａｎ言語を一例として説明した。しかしながら、プログラムは、Ｃ言語やＣ++言語であっても良く、ＯｐｅｎＭＰ規格で扱える言語であれば良い。

【0062】

また、上記実施例では、複数レベルの並列化を行なえるアプリケーションプログラムとしてスレッド並列化規格であるＯｐｅｎＭＰ規格を一例として説明した。しかしながら、Ｏｐｅｎ規格に限定されず、複数レベルの並列化を行なえるアプリケーションプログラムとしてスレッド並列化規格である所定の規格であれば良い。

【0063】

また、図示した並列処理装置１の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、並列処理装置１の分散・統合の具体的態様は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、特徴値算出部１３および最適化パラメータ抽出部１４を１つの部として統合しても良い。また、生成部１１を、基準プログラム２１を生成する第１生成部と、関係データベース２２を生成する第２生成部とに分散しても良い。また、記憶部２０を並列処理装置１の外部装置としてネットワーク経由で接続するようにしても良い。

【0064】

また、上記実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図１に示した並列処理装置１と同様の機能を実現する分析プログラムを実行するコンピュータの一例を説明する。図１２は、並列処理プログラムを実行するコンピュータの一例を示す図である。

【0065】

図１２に示すように、コンピュータ２００は、各種演算処理を実行するＣＰＵ２０３と、ユーザからのデータの入力を受け付ける入力装置２１５と、表示装置２０９を制御する表示制御部２０７とを有する。また、コンピュータ２００は、記憶媒体からプログラムなどを読取るドライブ装置２１３と、ネットワークを介して他のコンピュータとの間でデータの授受を行う通信制御部２１７とを有する。また、コンピュータ２００は、各種情報を一時記憶するメモリ２０１と、ＨＤＤ２０５を有する。そして、メモリ２０１、ＣＰＵ２０３、ＨＤＤ２０５、表示制御部２０７、ドライブ装置２１３、入力装置２１５、通信制御部２１７は、バス２１９で接続されている。

【0066】

ドライブ装置２１３は、例えばリムーバブルディスク２１１用の装置である。ＨＤＤ２０５は、並列処理プログラム２０５ａおよび並列処理関連情報２０５ｂを記憶する。

【0067】

ＣＰＵ２０３は、並列処理プログラム２０５ａを読み出して、メモリ２０１に展開し、プロセスとして実行する。かかるプロセスは、並列処理装置１の各機能部に対応する。並列処理関連情報２０５ｂは、基準プログラム２１および関係データベース２２に対応する。そして、例えばリムーバブルディスク２１１が、並列処理プログラム２０５ａなどの各情報を記憶する。

【0068】

なお、並列処理プログラム２０５ａについては、必ずしも最初からＨＤＤ２０５に記憶させておかなくても良い。例えば、コンピュータ２００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に当該プログラムを記憶させておく。そして、コンピュータ２００がこれらから並列処理プログラム２０５ａを読み出して実行するようにしても良い。

【符号の説明】

【0069】

１ 並列処理装置
１０ 制御部
１１ 生成部
１２ プログラム仮実行部
１３ 特徴値算出部
１４ 最適化パラメータ抽出部
１５ プログラム本実行部
２０ 記憶部
２１ 基準プログラム
２２ 関係データベース

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】