特許7191906リソース割当制御装置、計算機システム、及びリソース割当制御方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-09
(45)【発行日】2022-12-19
(54)【発明の名称】リソース割当制御装置、計算機システム、及びリソース割当制御方法
(51)【国際特許分類】
G06F 11/34 20060101AFI20221212BHJP
G06F 9/50 20060101ALI20221212BHJP
【ＦＩ】
G06F11/34 142
G06F9/50 120A
【請求項の数】
10
(21)【出願番号】P 2020151371
(22)【出願日】2020-09-09
(65)【公開番号】P2022045666
(43)【公開日】2022-03-22
【審査請求日】2021-05-20
(73)【特許権者】
【識別番号】000005108
【氏名又は名称】株式会社日立製作所
(74)【代理人】
【識別番号】110000279
【氏名又は名称】弁理士法人ウィルフォート国際特許事務所
(72)【発明者】
【氏名】島田 明男
(72)【発明者】
【氏名】早坂 光雄
【審査官】石川 亮
(56)【参考文献】
【文献】特開２０２０－１２３８４８（ＪＰ，Ａ）
【文献】特開２０１３－１８２５０２（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１４／０３８０３０７（ＵＳ，Ａ１）
【文献】国際公開第２０１５／０６８２９９（ＷＯ，Ａ１）
【文献】米国特許出願公開第２０１９／０２８６４８８（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ １１／３４
Ｇ０６Ｆ ９／５０
(57)【特許請求の範囲】
【請求項1】
所定のノードで実行されるソフトウェアに割り当てる前記ノードのハードウェアのリソース量を制御するリソース割当制御装置であって、前記ハードウェアのリソース量と、前記リソース量のハードウェアにより前記ソフトウェアで実現可能な性能と、の対応関係を示す性能リソース量情報を記憶する記憶部と、
前記記憶部に接続されたプロセッサと、を有し、
前記プロセッサは、
前記ソフトウェアによる目標性能を受け付け、
前記性能リソース量情報に基づいて、前記目標性能の実現に必要なハードウェアのリソース量を決定し、
決定した前記リソース量のハードウェアを前記ソフトウェアに割り当てるように設定し、
前記ソフトウェアは、複数のノードのそれぞれで実行され、前記複数のノードでデータを分散して管理する分散データストアを構成するソフトウェアであり、
前記性能リソース量情報は、前記ソフトウェアでのＩＯ操作の種別毎についてのハードウェアのリソース量と、実現可能な性能との対応関係を含む
リソース割当制御装置。
【請求項2】
前記プロセッサは、前記ソフトウェアに対して割り当てる前記ハードウェアのリソース量を複数のリソース量に変更することにより、前記複数のリソース量のそれぞれを割り当てた際に実現される性能を取得し、
割り当てた前記ハードウェアのリソース量と、実現される前記性能とに基づいて前記性能リソース量情報を作成し、
作成した前記性能リソース量情報を前記記憶部に格納する
請求項１に記載のリソース割当制御装置。
【請求項3】
前記プロセッサは、前記ノードから決定された前記リソース量のハードウェアが割り当てられた前記ソフトウェアの実行における性能を取得し、
取得した前記性能に基づいて、前記性能リソース量情報を更新し、
更新した性能リソース量情報に基づいて、前記目標性能の実現に必要なハードウェアのリソース量を決定し、
決定した前記リソース量のハードウェアを前記ソフトウェアに割り当てるように設定する
請求項１に記載のリソース割当制御装置。
【請求項4】
前記ハードウェアは、複数種類存在し、前記性能リソース量情報は、複数のハードウェアの種類のそれぞれについてのリソース量と、前記ソフトウェアで実現可能な性能との対応関係を含み、
前記プロセッサは、
前記性能リソース量情報に基づいて、複数のハードウェアのそれぞれのリソース量を決定する
請求項１に記載のリソース割当制御装置。
【請求項5】
前記性能リソース量情報は、前記ソフトウェアで実現可能な性能から、前記性能を実現可能な前記ハードウェアのリソース量を導出可能な性能モデルである請求項１に記載のリソース割当制御装置。
【請求項6】
前記プロセッサは、前記ＩＯ操作の種別毎の目標性能を受け付け、
１以上の前記ＩＯ操作の種別についての目標性能に基づいて、必要なハードウェアのリソース量を決定する
請求項１に記載のリソース割当制御装置。
【請求項7】
前記プロセッサは、複数の前記ＩＯ操作の種別についての目標性能から、前記ソフトウェアでのＩＯ操作の種別のうちの前記ソフトウェアでの実行がない又は少ないＩ／Ｏ操作の種別に対する目標性能を除いた目標性能に基づいて、必要なハードウェアのリソース量を決定する
請求項６に記載のリソース割当制御装置。
【請求項8】
ソフトウェアを実行する１以上の実行ノードと、前記ソフトウェアに割り当てる前記実行ノードのハードウェアのリソース量を制御するリソース割当制御装置とを備える計算機システムであって、前記リソース割当制御装置は、
前記ハードウェアのリソース量と、前記リソース量のハードウェアにより前記ソフトウェアで実現可能な性能と、の対応関係を示す性能リソース量情報を記憶し、
前記ソフトウェアによる目標性能を受け付け、
前記性能リソース量情報に基づいて、前記目標性能の実現に必要なハードウェアのリソース量を決定し、
決定した前記リソース量のハードウェアを前記ソフトウェアに割り当てるように前記実行ノードを設定し、
前記ソフトウェアは、複数のノードのそれぞれで実行され、前記複数のノードでデータを分散して管理する分散データストアを構成するソフトウェアであり、
前記性能リソース量情報は、前記ソフトウェアでのＩＯ操作の種別毎についてのハードウェアのリソース量と、実現可能な性能との対応関係を含む
計算機システム。
【請求項9】
前記性能リソース量情報を作成する作成ノードを更に備え、前記作成ノードは、
前記ソフトウェアに対して割り当てる前記ハードウェアのリソース量を複数のリソース量に変更することにより、前記複数のリソース量のそれぞれを割り当てた際に実現される性能を取得し、
割り当てた前記ハードウェアのリソース量と、取得した前記性能とに基づいて前記性能リソース量情報を作成し、
作成した前記性能リソース量情報を前記リソース割当制御装置に送信する
請求項８に記載の計算機システム。
【請求項10】
所定のノードで実行されるソフトウェアに割り当てる前記ノードのハードウェアのリソース量を制御するリソース割当制御装置によるリソース割当制御方法であって、前記ハードウェアのリソース量と、前記リソース量のハードウェアにより前記ソフトウェアで実現可能な性能と、の対応関係を示す性能リソース量情報を記憶部に記憶し、
前記ソフトウェアによる目標性能を受け付け、
前記性能リソース量情報に基づいて、前記目標性能の実現に必要なハードウェアのリソース量を決定し、
決定した前記リソース量のハードウェアを前記ソフトウェアに割り当てるように設定し、
前記ソフトウェアは、複数のノードのそれぞれで実行され、前記複数のノードでデータを分散して管理する分散データストアを構成するソフトウェアであり、
前記性能リソース量情報は、前記ソフトウェアでのＩＯ操作の種別毎についてのハードウェアのリソース量と、実現可能な性能との対応関係を含む
リソース割当制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ソフトウェアの実行に対するハードウェア（Ｈａｒｄｗａｒｅ）のリソース（ＨＷリソース）の割当制御技術に関する。
【背景技術】
【0002】
ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）やデータ分析のデータを格納するためのストレージとして、データレイクが広く用いられている。データレイクはマルチプロトコルデータストアであり、主に、Ｆｉｌｅストレージ／Ｏｂｊｅｃｔストレージ／ＮｏＳＱＬ等の分散データストアが用いられる。データレイクでは、複数の分散データストアが混在するため、データレイクを構成する各ノードにおいて、分散データストア間のＨＷリソースの競合が発生し、分散データストアの性能が不安定となる問題がある。このため、このような問題を解決するためのＱｏＳ（Ｑｕａｌｉｔｙ ｏｆ Ｓｅｒｖｉｃｅ）制御が求められる。
【0003】
ＱｏＳ制御に関する技術としては、例えば、Ｌｉｎｕｘ（登録商標）のＣｇｒｏｕｐｓや、特許文献１に記載の技術のように、サーバ上のソフトウェアに割り当てるＨＷリソース量を制御する技術が知られている。このような技術を用いると、データレイク上で実行される各分散データストアに割り当てるＨＷリソース量をデータレイクの管理者が設定することが可能になる。この結果、競合発生時も各分散データストアが設定量のＨＷリソースを占有して利用することができ、一定の性能を維持できる。
【先行技術文献】
【特許文献】
【0004】
【文献】米国特許第１０，２５５，２１７号明細書
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記した技術では、分散データストアに割り当てるＨＷリソース量を管理者が手動で算出するため、各分散データストアの目標性能に応じて過不足なくＨＷリソースの割当量を設定することが難しい。
【0006】
例えば、分散データストアに対するＨＷリソース量の割当量が不充分だと、その分散データストアが目標性能を達成できない可能性がある。一方、分散データストアにＨＷリソース量を過剰に割り当てると、他の分散データストアへ十分なＨＷリソースを割り当てることができず、他の分散データストアにおいて目標性能を達成できなくなる可能性がある。このため、各分散データストアに対する正確なＱｏＳ制御が困難である。
【0007】
また、データレイクの運用中において、データレイクを構成するノード数の増減や分散データストアのプログラムのアップデート、バグなどの影響により、ＨＷリソースの割当量と、性能との関係が変化する可能性がある。当初において、分散データストアに対するＨＷリソースの割当量を管理者が正確に設定できていたとしても、このようなＨＷリソースの割当量と性能との関係が変化してしまうと、目標性能の達成が困難になる可能性がある。
【0008】
また、分散データストアでは、実行するオペレーション（ＩＯ操作）の種別ごとに必要とするＨＷリソースの量が異なる。このため、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇｎ Ｕｎｉｔ）を多く消費するオペレーションのために、ＣＰＵの割当量を大きくしたが、実際にはそのオペレーションが実行されなかった場合には、ＣＰＵのリソースが無駄に消費されてしまう。
【0009】
本発明は、上記事情に鑑みなされたものであり、その目的は、ソフトウェアに対してＨＷリソースを適切に割り当てることのできる技術を提供することにある。
【課題を解決するための手段】
【0010】
上記目的を達成するため、一観点に係るリソース割当制御装置は、所定のノードで実行されるソフトウェアに割り当てる前記ノードのハードウェアのリソース量を制御するリソース割当制御装置であって、前記ハードウェアのリソース量と、前記リソース量のハードウェアにより前記ソフトウェアで実現可能な性能と、の対応関係を示す性能リソース量情報を記憶する記憶部と、前記記憶部に接続されたプロセッサと、を有し、前記プロセッサは、前記ソフトウェアによる目標性能を受け付け、前記性能リソース量情報に基づいて、前記目標性能の実現に必要なハードウェアのリソース量を決定し、決定した前記リソース量のハードウェアを前記ソフトウェアに割り当てるように設定する。
【発明の効果】
【0011】
本発明によれば、ソフトウェアに対してＨＷリソースを適切に割り当てることができる。
【図面の簡単な説明】
【0012】
【発明を実施するための形態】
【0013】
実施形態について、図面を参照して説明する。なお、以下に説明する実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている諸要素及びその組み合わせの全てが発明の解決手段に必須であるとは限らない。
【0014】
なお、以下の説明では、「プログラム」を動作の主体として処理を説明する場合があるが、プログラムは、プロセッサ（例えばＣＰＵ）によって実行されることで、定められた処理を、適宜に記憶資源（例えばメモリ）及び／又は通信インターフェースデバイス（例えばＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ））を用いながら行うため、処理の主体がプログラムとされてもよい。プログラムを動作の主体として説明された処理は、プロセッサ或いはそのプロセッサを有する計算機が行う処理としてもよい。
【0015】
なた、以下の説明では、「ＡＡＡテーブル」の表現にて情報を説明することがあるが、情報は、どのようなデータ構造で表現されていてもよい。すなわち、情報がデータ構造に依存しないことを示すために、「ＡＡＡテーブル」を「ＡＡＡ情報」と呼ぶことができる。
【0016】
図１は、第１実施形態に係る計算機システムの全体構成図である。
【0017】
計算機システム１は、リソース割当制御装置の一例としての管理ノード１００と、クライアントノード１５０，１５１と、ストレージノード１２０，１３０と、管理用クライアントノード１６０と、性能モデル作成ノード２００と、ベンチマーク実行ノード２１０とを備える。
【0018】
クライアントノード１５０，１５１と、ストレージノード１２０，１３０とは、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）１７１等のネットワークを介して接続されている。また、ストレージノード１２０，１３０と、管理ノード１００と、管理用クライアントノード１６０と、性能モデル作成ノード２００と、ベンチマーク実行ノード２１０とは、例えば、ＬＡＮ１７０等のネットワークを介して接続されている。
【0019】
クライアントノード１５０，１５１は、所定の処理を実行し、処理に伴ってストレージノード１２０，１３０上に構成される分散データストアに対するＩＯリクエスト（リードリクエスト、ライトリクエスト等）を発行する。クライアントノードは、図では２台だが、１台でもよく、３台以上であってもよい。
【0020】
ストレージノード１２０，１３０は、実行ノードの一例であり、協調して１以上の分散データストア（分散データストア１４０（分散データストアＡ），分散データストア１４１（分散データストアＢ））を構成する。図では、ストレージノードは２台だが、３台以上であってもよい。また、図では、複数のストレージノードにより構成される分散データストアは、２つだが、１つ、または３以上の分散データストアが構成されてもよい。
【0021】
ストレージノード１２０，１３０が構成する分散データストア１４０，１４１は、クライアントノード１５０，１６０からのＩＯリクエストを受領し、ＩＯリクエストに対応するＩＯ処理を実行する。また、ストレージノード１２０，１３０は、それぞれリソース割当制御プログラム１２１，１３１を格納する。リソース割当制御プログラム１２１，１３１は、管理ノード１００からのＨＷリソースの割当量（ＨＷリソース割当量）の設定に基づいて、各分散データストアのプログラム（ソフトウェア）に割り当てるＨＷリソースの量を制御する。
【0022】
管理用クライアントノード１６０は、管理者からストレージノード上に構成される各分散データストア１４０，１４１における目標性能を受け付け、目標性能を管理ノード１００に送信する。
【0023】
管理ノード１００は、ＱｏＳ制御プログラム１１０を記憶する。ＱｏＳ制御プログラム１１０は、性能モデル１１１を格納する。性能モデル１１１は、リソース割当量とプログラムの性能との関係を示す性能リソース量情報の一例である。図では、性能モデルは１つだけ示しているが、ストレージノード上に構成された分散データストアの数だけ存在していてもよい。
【0024】
ＱｏＳ制御プログラム１１０は、性能モデル１１１と、管理用クライアントノード１６０から受領した目標性能とに基づいて、ストレージノード１２０，１３０上で構成される分散データストア１４０，１４１に対するＨＷリソース割当量を算出する。また、ＱｏＳ制御プログラム１１０は、ストレージノード１２０のリソース割当制御プログラム１２１と、ストレージノード１３０のリソース割当制御プログラム１３１とに算出したＨＷリソース割当量を送信する。
【0025】
性能モデル作成ノード２００は、作成ノードの一例であり、性能モデル１１１を作成し、管理ノード１００に格納する。ベンチマーク実行ノード２１０は、ストレージノード１２０，１３０におけるプログラム（例えば、分散データストアを構成するプログラム）の性能を測定する。なお、管理ノード１００に、性能モデル作成ノード２００又はベンチマーク実行ノード２１０の少なくとも一方を組み込んでもよい。
【0026】
次に、ストレージノード１２０，１３０により構成されるデータレイクにおけるＱｏＳ制御について説明する。
【0027】
図２は、第１実施形態に係る性能モデル作成処理に関わる構成要素のハードウェア構成図である。
【0028】
本実施形態では、性能モデル作成処理に対しては、計算機システム１の構成要素の中の主に、性能モデル作成ノード２００と、ベンチマーク実行ノード２１０と、ストレージノード１２０と、ストレージノード１３０とが関わっている。
【0029】
なお、本実施形態では、性能モデル作成処理においては、クライアントノードに対して最終的に提供される分散データストアを構成するストレージノード１２０，１３０を用いているが、本発明はこれに限られず、ストレージノード１２０，１３０とは別の同様な複数のストレージノードを用いるようにしてもよい。
【0030】
ストレージノード１２０は、プロセッサの一例としてのＣＰＵ２２２と、主記憶装置としてのメモリ２２３と、二次記憶装置としてのディスク装置２２４と、ＮＩＣ２２５，２２６とを備える。ＣＰＵ２２２と、メモリ２２３と、ディスク装置２２４と、ＮＩＣ２２５，２２６とは、バス２２１を介して接続されている。
【0031】
ＣＰＵ２２２は、ディスク装置２２４上に格納されているプログラムをメモリ２２３上に読み込んで実行することにより、各種処理を実行する。ＣＰＵ２２２は、バス２２１、ＮＩＣ２２６を介して、ＬＡＮ１７０に接続されている他の装置（ストレージノード１３０、性能モデル作成ノード２００、ベンチマーク実行ノード２１０等）との間でデータを送受信する。
【0032】
ストレージノード１３０は、プロセッサの一例としてのＣＰＵ２３２と、主記憶装置としてのメモリ２３３と、二次記憶装置としてのディスク装置２３４と、ＮＩＣ２３５，２３６とを備える。ＣＰＵ２３２と、メモリ２３３と、ディスク装置２３４と、ＮＩＣ２３５，２３６とは、バス２３１を介して接続されている。
【0033】
ＣＰＵ２３２は、ディスク装置２３４上に格納されているプログラムをメモリ２３３上に読み込んで実行することにより、各種処理を実行する。ＣＰＵ２３２は、バス２３１、ＮＩＣ２３６を介して、ＬＡＮ１７０に接続されている他の装置（ストレージノード１２０、性能モデル作成ノード２００、ベンチマーク実行ノード２１０等）との間でデータを送受信する。
【0034】
性能モデル作成ノード２００は、プロセッサの一例としてのＣＰＵ２０２と、主記憶装置としてのメモリ２０３と、二次記憶装置としてのディスク装置２０４と、ＮＩＣ２０５とを備える。ＣＰＵ２０２と、メモリ２０３と、ディスク装置２０４と、ＮＩＣ２０５とは、バス２０１を介して接続されている。
【0035】
ＣＰＵ２０２は、ディスク装置２０４上に格納されているプログラムをメモリ２０３上に読み込んで実行することにより、各種処理を実行する。ＣＰＵ２０２は、バス２０１、ＮＩＣ２０５を介して、ＬＡＮ１７０に接続されている他の装置（ストレージノード１２０，１３０、ベンチマーク実行ノード２１０等）との間でデータを送受信する。
【0036】
ベンチマーク実行ノード２１０は、プロセッサの一例としてのＣＰＵ２１２と、主記憶装置としてのメモリ２１３と、二次記憶装置としてのディスク装置２１４と、ＮＩＣ２１５とを備える。ＣＰＵ２１２と、メモリ２１３と、ディスク装置２１４と、ＮＩＣ２１５とは、バス２１１を介して接続されている。
【0037】
ＣＰＵ２１２は、ディスク装置２１４上に格納されているプログラムをメモリ２１３上に読み込んで実行することにより、各種処理を実行する。ＣＰＵ２１２は、バス２１１、ＮＩＣ２１５を介して、ＬＡＮ１７０に接続されている他の装置（ストレージノード１２０，１３０、性能モデル作成ノード２００等）との間でデータを送受信する。
【0038】
図３は、第１実施形態に係る性能モデル作成処理に関わる構成要素の論理構成図である。
【0039】
ストレージノード１２０は、データストアプログラム３４１（データストアプログラムＡ）と、データストアプログラム３５１（データストアプログラムＢ）と、リソース割当制御プログラム１２１とを格納する。
【0040】
ストレージノード１３０は、データストアプログラム３４２（データストアプログラムＡ）と、データストアプログラム３５２（データストアプログラムＢ）と、リソース割当制御プログラム１３１とを格納する。
【0041】
ストレージノード１２０のＣＰＵ２２２によって実行されるデータストアプログラム３４１と、ストレージノード１３０のＣＰＵ２３２によって実行されるデータストアプログラム３４２とは、協調して動作し、分散データストア１４０（分散データストアＡ）を構成する。
【0042】
また、ストレージノード１２０のＣＰＵ２２２によって実行されるデータストアプログラム３５１と、ストレージノード１３０のＣＰＵ２３２によって実行されるデータストアプログラム３５２とは、協調して動作し、分散データストア１４１（分散データストアＢ）を構成する。
【0043】
リソース割当制御プログラム１２１は、ＣＰＵ２２２に実行されると、ストレージノード１２０で実行される各データストアプログラムに割り当てるＨＷリソースの量（ＨＷリソース割当量）の制御を行う。
【0044】
リソース割当制御プログラム１３１は、ＣＰＵ２３２に実行されると、ストレージノード１３０で実行される各データストアプログラムに割り当てるＨＷリソース割当量の制御を行う。
【0045】
性能モデル作成ノード２００は、性能モデル作成プログラム３００を格納する。性能モデル作成プログラム３００は、ＣＰＵ２０２に実行されると、ストレージノード１２０，１３０上で構成される分散データストア１４０，１４１の性能モデルを作成する。
【0046】
ベンチマーク実行ノード２１０は、ベンチマークプログラム３１０を格納する。ベンチマークプログラム３１０は、ＣＰＵ２１２に実行されると、ストレージノード１２０，１３０上で構成される分散データストア１４０，１４１の性能を測定する。
【0047】
次に、性能モデルを作成する性能モデル作成処理４００について説明する。
【0048】
図４は、第１実施形態に係る性能モデル作成処理のフローチャートである。
【0049】
本実施形態の性能モデル作成処理では、性能モデルを、分散データストアのオペレーションの種別毎に作成する。ここで、オペレーションとは、データストアに対するＩＯ操作のことをいい、例えば、データストアがＦｉｌｅデータストアであれば、シーケンシャルＲｅａｄ（リード）／Ｗｒｉｔｅ（ライト）、ランダムＲｅａｄ／Ｗｒｉｔｅ、メタデータ操作（例えば、ファイル作成／削除、ディレクトリ作成／削除等）であり、データストアがＮｏＳＱＬデータストアであれば、ＤＢ（Ｄａｔａ Ｂａｓｅ）へのデータ挿入、削除、検索等のことをいう。また、本実施形態では、各オペレーションの種別毎の性能モデルを、ＨＷリソースごとに作成する。ここで、ＨＷリソースとは、ＣＰＵ、メモリ、ＮＩＣ帯域、ディスク装置のＩＯ帯域等である。この性能モデル作成処理によると、各ＨＷリソースの割当量と、その割当量での分散データストア（厳密には、データストアプログラム）の性能との関係を示す性能モデルがオペレーションの種別ごとに作成される。
【0050】
まず、性能モデル作成ノード２００の性能モデル作成プログラム３００（厳密には、性能モデル作成プログラム３００を実行するＣＰＵ２０２）は、分散データストアの全てのオペレーションの種別についての性能モデルを作成したか否かを確認する（ステップ４１０）。この結果、全てのオペレーションの種別について性能モデルを作成している場合（ステップ４１０：Ｙｅｓ）には、性能モデル作成プログラム３００は、性能モデル作成処理４００を終了する。
【0051】
一方、全てのオペレーションの種別についての性能モデルを作成していない場合（ステップ４１０：Ｎｏ）には、性能モデル作成プログラム３００は、未作成のオペレーションの種別を対象として性能モデルの作成を行う。ここで、対象とするオペレーション種別を対象オペレーション種別という。
【0052】
まず、性能モデル作成プログラム３００は、対象オペレーション種別について、性能モデルを作成する対象とするＨＷリソースの全ての性能モデルを作成したか否かを確認する（ステップ４２０）。
【0053】
この結果、対象オペレーション種別について、対象とする全てのＨＷリソースの性能モデルを作成している場合（ステップ４２０：Ｙｅｓ）には、性能モデル作成プログラム３００は、処理をステップ４１０に進める。
【0054】
一方、対象とする全てのＨＷリソースの性能モデルを作成していない場合（ステップ４２０：Ｎｏ）には、性能モデル作成プログラム３００は、未作成のＨＷリソース（対象ＨＷリソースという）の性能モデルの作成を行う。ここで、対象ＨＷリソースの性能モデルを作成する場合には、対象ＨＷリソース以外のＨＷリソースについては、対象ＨＷリソースの性能のネックとならない割当量とし、対象ＨＷリソースのＨＷリソース割当量を徐々に変更することにより性能モデルを作成する。
【0055】
まず、性能モデル作成プログラム３００は、分散データストアに割り当てるＨＷリソース量を変更する（ステップ４３０）。分散データストアにおけるＨＷリソース割当量の変更は、各ストレージノードのリソース割当制御プログラムと連携することにより行う。具体的には、性能モデル作成プログラム３００は、各ストレージノードのリソース割当制御プログラムに、
分散データストアのデータストアプログラムに対するＨＷリソース割当量を送信する。これにより、リソース割当制御プログラムは、ＨＷリソース割当量を受信し、データストアプログラムに対して受信したＨＷリソース割当量のＨＷリソースを割り当てる。ストレージノードにおけるＨＷリソースの割当は、既存のプログラムやソフトウェアにより実現できる。例えば、Ｌｉｎｕｘオペレーティングシステムであれば、Ｃｇｒｏｕｐｓと呼ぶリソース割当ての機能を用いることができる。このＣｇｒｏｕｐｓを用いると、所望の量のＨＷリソースをＬｉｎｕｘオペレーティングシステムで動作するプログラムに割り当てることができる。
分散データストアのデータストアプログラムに対するＨＷリソース割当量を送信する。これにより、リソース割当制御プログラムは、ＨＷリソース割当量を受信し、データストアプログラムに対して受信したＨＷリソース割当量のＨＷリソースを割り当てる。ストレージノードにおけるＨＷリソースの割当は、既存のプログラムやソフトウェアにより実現できる。例えば、Ｌｉｎｕｘオペレーティングシステムであれば、Ｃｇｒｏｕｐｓと呼ぶリソース割当ての機能を用いることができる。このＣｇｒｏｕｐｓを用いると、所望の量のＨＷリソースをＬｉｎｕｘオペレーティングシステムで動作するプログラムに割り当てることができる。
【0056】
次に、性能モデル作成プログラム３００は、ベンチマーク実行ノード２１０のベンチマークプログラム３１０に分散データストアの対象オペレーション種別についての性能測定を実行することを指示する（ステップ４４０）。この結果、ベンチマークプログラム３１０は、分散データストア（具体的には、分散データストアプログラム）の性能測定を実行し、性能測定の結果を性能モデル作成プログラム３００に送信することとなる。
【0057】
次に、性能モデル作成プログラム３００は、性能モデルを作成可能か否か、具体的には、性能モデルを作成するために必要な回数の性能測定を行ったか否かを判断する（ステップ４５０）。
【0058】
この結果、性能モデルの作成に必要な回数の測定を行っていない場合（ステップ４５０：Ｎｏ）には、性能モデル作成プログラム３００は、処理をステップ４３０に進め、ＨＷリソース割当量の変更と、性能測定の実行を繰り返す。なお、性能モデルを作成するために性能測定を行う回数と、性能測定ごとに変更するＨＷリソース割当量とは、予め決められている。
【0059】
一方、性能モデルの作成に必要な回数の測定を行っている場合（ステップ４５０：Ｙｅｓ）には、性能モデル作成プログラム３００は、複数の測定結果に基づいて性能モデルを作成し、作成した性能モデルを性能モデル管理テーブル５１０（図６参照）に登録し（ステップ４６０）、処理をステップ４２０に進める。
【0060】
ここで、性能モデルの作成及び性能モデルの登録について説明する。
【0061】
図５は、第１実施形態に係る性能モデルの概要を示す図である。
【0062】
性能モデルの作成は、例えば、図５に示すように、ＨＷリソース量の変化に対する性能のグラフを作成し、グラフの近似曲線の式、ｙ＝ｆ（ｘ）を性能モデルとしてもよい。ここで、ｙは１ノード当たりの分散データストアの性能を示し、ｘは１ノード当たりのＨＷリソース量を示す。ｙは、ベンチマークプログラム３１０からの性能測定の結果（分散データストアの全体の性能）を、分散データストアのノード数で除算することにより算出することができる。換言すると、ｙに分散データストアのノード数を乗算すると、分散データストア全体の性能となる。性能モデルの作成におけるグラフの作成及び近似曲線式の導出は、既存の表計算ソフトウェアやプログラム等を用いることにより実現できる。
【0063】
図６は、第１実施形態に係る性能モデル管理テーブルの構成図である。
【0064】
性能モデルの登録は、例えば、性能モデル管理テーブル５１０に対して行う。性能モデル管理テーブル５１０の行５１１は、性能モデル管理テーブル５１０が登録している性能モデルに対応する分散データストアを示す情報（分散データストア名）を格納する。列５１２は、性能モデルに対応するオペレーションの種別を格納する。行５１３は、性能モデルが対象としているＨＷリソースの種別を格納する。列５１２の各オペレーションの種別と、行５１３のＨＷリソースの種別とに対応するセルには、そのオペレーション種別における、そのＨＷリソースの種別についての性能モデルが、性能モデル作成プログラム３００により格納される。
【0065】
なお、本実施形態では、性能測定結果に基づいて作成された式（性能モデルの一例）を格納するようにしていたが、例えば、ＨＷリソース量と、対応する測定された性能との組を複数記録するようにしてもよい。
【0066】
次に、リソース割当設定処理について説明する。
【0067】
図７は、第１実施形態に係るリソース割当設定処理に関わる構成要素のハードウェア構成図である。
【0068】
本実施形態では、リソース割当設定処理に対しては、計算機システム１の構成要素の中の主に、ストレージノード１２０，１３０と、クライアントノード１５０，１５１と、管理ノード１００と、管理用クライアントノード１６０とが関わっている。
【0069】
ストレージノード１２０のＣＰＵ２２２は、バス２２１、ＮＩＣ２２５を介して、ＬＡＮ１７１に接続されている他の装置（ストレージノード１３０、クライアントノード１５０，１５１等）との間でデータを送受信する。また、ストレージノード１２０のＣＰＵ２２２は、バス２２１、ＮＩＣ２２６を介して、ＬＡＮ１７０に接続されている他の装置（管理ノード１００等）との間でデータを送受信する。
【0070】
ストレージノード１３０のＣＰＵ２３２は、バス２３１、ＮＩＣ２３５を介して、ＬＡＮ１７１に接続されている他の装置（ストレージノード１３０、クライアントノード１５０，１５１等）との間でデータを送受信する。また、ストレージノード１３０のＣＰＵ２３２は、バス２３１、ＮＩＣ２３６を介して、ＬＡＮ１７０に接続されている他の装置（管理ノード１００等）との間でデータを送受信する。
【0071】
クライアントノード１５０およびクライアントノード１５１は、ストレージノード１２０，１３０に構成される分散データストアに対するＩＯを実行する。各クライアントノード１５０，１５１は、図示を省略したが、バスを介して接続されたＣＰＵ、メモリ、ＮＩＣ、及びディスク装置を備える。ＣＰＵは、ディスク装置に格納されたプログラムをメモリに呼び出して実行する。クライアントノード１５０，１５１は、ＬＡＮ１７１を介して、他の装置（ストレージノード１２０，１３０等）との間でデータを送受信する。
【0072】
管理用クライアントノード１６０は、図示を省略したが、バスを介して接続されたＣＰＵ、メモリ、ＮＩＣ、及びディスク装置を備える。ＣＰＵは、ディスク装置に格納されたプログラムをメモリに呼び出して実行する。管理用クライアントノード１６０は、ＬＡＮ１７０を介して、他の装置（管理サーバ１００等）との間でデータを送受信する。
【0073】
管理ノード１００は、プロセッサの一例としてのＣＰＵ６０２と、主記憶装置としてのメモリ６０３と、二次記憶装置としてのディスク装置６０４と、ＮＩＣ６０５とを備える。ＣＰＵ６０２と、メモリ６０３と、ディスク装置６０４と、ＮＩＣ６０５とは、バス６０１を介して接続されている。ここで、メモリ６０３またはディスク装置６０４の少なくとも一方が記憶部の一例である。
【0074】
ＣＰＵ６０２は、ディスク装置６０４上に格納されているプログラムをメモリ６０３上に読み込んで実行することにより、各種処理を実行する。ＣＰＵ６０２は、バス６０１、ＮＩＣ６０５を介して、ＬＡＮ１７０に接続されている他の装置（ストレージノード１２０，１３０、管理用クライアントノード１６０等）との間でデータを送受信する。
【0075】
【0076】
ストレージノード１２０は、データストアプログラム３４１（データストアプログラムＡ）と、データストアプログラム３５１（データストアプログラムＢ）と、ＱｏＳ制御プログラム７２０と、リソース割当制御プログラム１２１とを格納する。
【0077】
ストレージノード１３０は、データストアプログラム３４２と（データストアプログラムＡ）、データストアプログラム３５２（データストアプログラムＢ）と、ＱｏＳ制御プログラム７３０と、リソース割当制御プログラム１３１とを格納する。
【0078】
ストレージノード１２０のＱｏＳ制御プログラム７２０は、ＩＯモニタリング部７２１と、リソースモニタリング部７２２とを備え、ＣＰＵ２２２に実行されると、データストアプログラム３４１，３５１のＩＯ処理とリソース消費とをモニタリングする。
【0079】
ストレージノード１３０のＱｏＳ制御プログラム７３０は、ＩＯモニタリング部７３１と、リソースモニタリング部７３２とを備え、ＣＰＵ２３２に実行されると、データストアプログラム３４２，３５２のＩＯ処理とリソース消費とをモニタリングする。
【0080】
クライアントノード１５０は、データ分析プログラム７６０を格納する。データ分析プログラム７６０は、クライアントノード１５０に実行されることにより、ストレージノード１２０，１３０で構成される分散データストアに対するＩＯを実行する。
【0081】
クライアントノード１５１は、データ分析プログラム７７０を格納する。データ分析プログラム７７０は、クライアントノード１５１に実行されることにより、ストレージノード１２０，１３０で構成される分散データストアに対するＩＯを実行する。
【0082】
管理用クライアントノード１６０は、Ｗｅｂブラウザ７１０を格納する。Ｗｅｂブラウザ７１０は、管理用クライアントノード１６０に実行されることにより、管理者から、分散データストアの目標性能の設定の入力を受け付け、目標設定を管理ノード１００に送信する。
【0083】
管理ノード１００は、ＱｏＳ制御プログラム１１０を格納する。ＱｏＳ制御プログラム１１０は、リソース割当設定部７０１と、性能モデル管理部７０２と、オペレーションパターン学習部７０３と、性能モデル管理テーブル５１０と、オペレーションパターン管理テーブル７０４と、リソース割当設定テーブル７０５とを備える。なお、図では省略したが、ＱｏＳ制御プログラム１１０は、ストレージノードで実行される分散データストアの数だけ性能モデル管理テーブル５１０を備える。
【0084】
リソース割当設定部７０１は、管理ノード１００のＣＰＵ６０２に実行されることにより、Ｗｅｂブラウザ７１０を介して入力された分散データストアの目標性能を受信し、受信した目標性能と性能モデル管理テーブル５１０の内容とに基づいて、リソース割当設定テーブル７０５を更新し、リソース割当量の設定値を各ストレージノード１２０，１３０に送信する。
【0085】
性能モデル管理部７０２は、ＣＰＵ６０２に実行されることにより、ストレージノード１２０，１３０で実行されるＱｏＳ制御プログラム７２０，７３０から、データストアプログラム３４１，３４２，３５１，３５２のＩＯ処理とリソース消費とのモニタリング結果を受領し、モニタリング結果に基づいて性能モデルの修正を行う。また、性能モデル管理部７０２は、修正した性能モデルに基づいてリソース割当設定テーブル７０５を更新し、リソース割当量の設定値を各ストレージノード１２０，１３０に送信する。
【0086】
オペレーションパターン学習部７０３は、ＣＰＵ６０２に実行されることにより、ストレージノード１２０，１３０で実行されるＱｏＳ制御プログラム７２０、７３０から、データストアプログラム３４１，３４２，３５１，３５２のＩＯ処理のモニタリング結果を受領し、モニタリング結果に基づいて分散データストアで実行されるオペレーションを学習し、オペレーションパターン管理テーブル７０４を更新する。また、オペレーションパターン学習部７０３は、オペレーションパターン管理テーブル７０４に基づいて、リソース割当設定テーブル７０５を更新し、リソース割当量の設定値を各ストレージノード１２０，１３０に送信する。
【0087】
次に、データストアに対するＨＷリソースの割当を設定するリソース割当設定処理８００について説明する。
【0088】
図９は、第１実施形態に係るリソース割当設定処理のフローチャートである。
【0089】
管理用クライアントノード１６０のＷｅｂブラウザ７１０は、目標性能入力用ＧＵＩ画面９００（図１０参照）を表示し、データレイクの管理者から各分散データストアの目標性能を受け付ける（ステップ８１０）。
【0090】
ここで、目標性能入力用ＧＵＩ画面９００について説明する。
【0091】
図１０は、第１実施形態に係る目標性能入力用ＧＵＩ画面を示す図である。
【0092】
目標性能入力用ＧＵＩ画面９００は、分散データストアごとの目標性能の入力欄（入力欄９０１，９０２）と、送信ボタン９０３とを有する。なお、図１０に示す目標性能入力用ＧＵＩ画面９００は、分散データストアＡ及び分散データストアＢとの２つの分散データストアがある場合の入力欄を示しているが、入力欄は、ストレージノード上に構成される分散データストアの数だけ用意される。入力欄９０１，９０２は、分散データストアにおけるオペレーションの種別毎に対する目標性能を入力する入力欄を含む。管理者は、この入力欄に、分散データストアのオペレーションの種別毎の目標性能を入力すればよい。送信ボタン９０３は、入力欄９０１，９０２に入力された目標性能の設定
を管理ノード１００に送信する指示を受け付けるボタンである。送信ボタン９０３が押下されると、管理用クライアントノード１６０は、入力欄９０１，９０２に入力された目標性能の設定を管理ノード１００に送信する。
を管理ノード１００に送信する指示を受け付けるボタンである。送信ボタン９０３が押下されると、管理用クライアントノード１６０は、入力欄９０１，９０２に入力された目標性能の設定を管理ノード１００に送信する。
【0093】
図９の説明に戻り、データレイクの管理者によって目標性能入力用ＧＵＩ画面９００の送信ボタン９０３が押下されると、Ｗｅｂブラウザ７１０は、入力欄９０１，９０２に入力された目標性能の設定（目標性能設定）を管理ノード１００に送信する（ステップ８１１）。
【0094】
次いで、管理ノード１００のリソース割当設定部７０１は、送信された目標性能設定を受領する（ステップ８２０）。リソース割当設定部７０１は、受領した目標性能をリソース割当設定テーブル７０５（図１１参照）に登録する。
【0095】
図１１は、第１実施形態に係るリソース割当設定テーブルの構成図である。
【0096】
リソース割当設定テーブル７０５は、ストレージノードに構成される分散データストアごとに設けられ、分散データストアのオペレーション種別毎の目標性能と必要なＨＷリソース量との関係及び分散データストアへのリソース割当量の設定を管理する。リソース割当設定テーブル７０５の行１００１は、リソース割当設定テーブル７０５に対応する分散データストアを示す情報（分散データストア名）を格納する。行１００２は、分散データストアのオペレーション種別を格納する。行１００３は、オペレーションの種別毎の目標性能を格納する。行１００４は、各ＨＷリソースについてのオペレーションの種別毎の目標性能に必要なリソース量を格納する。列１００５は、分散データストア（分散データストアプログラム）に対するリソース割当量の設定値を格納する。
【0097】
図９の説明に戻り、次に、リソース割当設定部７０１は、性能モデル管理テーブル５１０を参照し、分散データストアに実際に割り当てるＨＷリソース量（リソース割当量）を算出する。ここで、算出されるＨＷリソース量は、各ストレージノードにおいて、分散データストアのデータストアプログラムに割り当てるＨＷリソース量である。
【0098】
まず、リソース割当設定部７０１は、性能モデル管理テーブル５１０に記録されている性能モデル（式）と、各オペレーションの種別の目標性能とから、この目標性能を達成するためにオペレーションの種別毎に必要なＨＷリソース量を算出し、リソース割当設定テーブル７０５の行１００４に登録する（ステップ８２１）。具体的には、リソース割当設定部７０１は、各オペレーションの種別の目標性能を、分散データストアを構成するストレージノードの数で除算し、その結果を、性能モデルの式（ｙ＝ｆ（ｘ））のｙに代入し、必要なＨＷリソース量ｘを算出する。なお、性能モデルではなく、複数のＨＷリソース量と測定された性能との組を記録するようにしている場合には、複数の組に基づいて、目標性能に必要なＨＷリソース量を算出すればよい。
【0099】
次に、リソース割当設定部７０１は、リソース割当量の算出を行う（ステップ８２２）。具体的には、リソース割当設定部７０１は、リソース割当テーブル７０５の行１００４を参照し、オペレーションの種別ごとにそれぞれのＨＷリソース毎の必要なＨＷリソース量を確認する。次いで、リソース割当設定部７０１は、必要なＨＷリソース量のうちの最大値をリソース割当量と決定し、列１００５の対応するＨＷリソースの欄に登録する。ここで、必要なＨＷリソース量の最大値をリソース割当量としているのは、分散データストアにおいて、いずれのオペレーションが実行されても目標性能を達成できることを担保するためである。
【0100】
なお、複数の種別のオペレーションが同時に実行され、複数の種別のオペレーションでの目標性能を達成する必要がある場合には、それらの種別のオペレーションに必要なＨＷリソース量の合計値を、リソース割当量とすればよい。必要なＨＷリソース量の最大値をリソース割当量とするか、複数の必要なＨＷリソース量の合計値をリソース割当量とするかは、予め設定されているＱｏＳのポリシーに従って決定すればよい。
【0101】
次に、リソース割当設定部７０１は、リソース割当設定テーブル７０５の列１００５の内容、すなわち、各ＨＷリソースに対するリソース割当量を、各ストレージノード１２０，１３０のリソース割当制御プログラム１２１，１３１に送信する（ステップ８２３）。
【0102】
ストレージノード１２０，１３０のリソース割当制御プログラム１２１，１３１は、リソース割当設定テーブル７０５の列１００５の内容を受領し（ステップ８３０）、列１００５の各ＨＷリソースに対するリソース割当量に基づいて、分散データストアのデータストアプログラムに、ＨＷリソースを割り当てる設定を行う（ステップ８３１）。
【0103】
割当設定が完了したら、リソース割当制御プログラム１２１，１３１は、設定が完了したことを示す通知（設定完了通知）を管理ノード１００のリソース割当設定部７０１に送信する（ステップ８３２）。
【0104】
管理ノード１００のリソース割当設定部７０１は、設定完了通知を受信し（ステップ８２４）、各ＨＷリソースに対するリソース割当量を送信した全てのストレージノードから設定完了通知を受信したか否かを確認する（ステップ８２５）。リソース割当設定部７０１は、全てのストレージノードから設定完了通信を受信していない場合（ステップ８２５：Ｎｏ）には、処理をステップ８２４に進める一方、全てのストレージノードから設定完了通信を受信した場合（ステップ８２５：Ｙｅｓ）には、リソース割当設定処理８００を終了する。
【0105】
次に、性能モデルを修正し、修正した性能モデルに基づいてリソース割当の再設定を行う性能モデル修正・設定更新処理１１００について説明する。
【0106】
図１２は、第１実施形態に係る性能モデル修正・設定更新処理のフローチャートである。
【0107】
性能モデル修正・設定更新処理は、例えば、定期的に実行される。まず、各ストレージノード１２０，１３０のＱｏＳ制御プログラム７２０，７３０のＩＯモニタリング部７２１，７３１は、各分散データストアのデータストアプログラムのＩＯ実行ログを取得する（ステップ１１１０）。ここで、ＩＯ実行ログには、データストアプログラム３４１，３４２，３５１，３５２によって実行されたＩＯオペレーションの内容、ＩＯオペレーションが実行されたタイミング、処理時間などが記録されている。次いで、リソースモニタリング部７２２，７３２は、各分散データストアのデータストアプログラム３４１，３４２，３５１，３５２が消費したＨＷリソース量のログ（リソース消費ログ）を取得する（ステップ１１１１）。リソース消費ログは、ＯＳ（オペレーティングシステム）の機能などを用いて取得することができる。
【0108】
次に、ＱｏＳ制御プログラム７２０，７３０は、取得したＩＯ実行ログとリソース消費ログとを、管理ノード１００の性能モデル管理部７０２に送信する（ステップ１１１２）。
【0109】
管理ノード１００の性能モデル管理部７０２は、各ストレージノード１２０，１３０から送信されたＩＯ実行ログとリソース消費ログとを受領する（ステップ１１２０）。
【0110】
次いで、性能モデル管理部７０２は、ＩＯ実行ログから分散データストアの実際の性能を取得し、実際の性能（実性能）と性能モデルにより推定される性能（推定性能）とを比較し、実性能と推定性能との差が予め設定されている所定の閾値を超えているか否かを判定する（ステップ１１２１）。この結果、実性能と推定性能との差が所定の閾値を超えていない場合（ステップ１１２１：Ｎｏ）には、性能モデル管理部７０２は、処理をステップ１１２０に進める。一方、実性能と推定性能との差が所定の閾値を超えている場合（ステップ１１２１：Ｙｅｓ）には、性能モデル管理部７０２は、性能モデルを修正する処理を行い、性能モデル管理テーブル５１０の性能モデルを修正した性能モデルに更新する（ステップ１１２２）。性能モデルを修正する処理は、取得したリソース消費ログと、ＩＯ実行ログから取得した性能値とに基づいて、性能モデル作成処理４００と同様な処理で実現できる。
【0111】
次いで、性能モデル管理部７０２は、性能モデル管理テーブル５１０の更新した性能モデルに基づいて、新たなリソース割当量を算出する処理を行い、リソース割当設定テーブル７０５を更新する（ステップ１１２３）。新たなリソース割当量を算出する処理は、リソース割当設定処理８００と同様な処理で実現できる。
【0112】
次に、性能モデル管理部７０２は、リソース割当設定テーブル７０５の列１００５の内容、すなわち、各ＨＷリソースに対するリソース割当量を、各ストレージノード１２０，１３０のリソース割当制御プログラム１２１，１３１に送信する（ステップ１１２４）。
【0113】
ストレージノード１２０，１３０のリソース割当制御プログラム１２１，１３１は、リソース割当設定テーブル７０５の列１００５の内容を受領し（ステップ１１１３）、列１００５の各ＨＷリソースに対するリソース割当量に基づいて、分散データストアのデータストアプログラムに、ＨＷリソースを割り当てる設定を行う（ステップ１１１４）。
【0114】
割当設定が完了したら、リソース割当制御プログラム１２１，１３１は、設定が完了したことを示す通知（設定完了通知）を管理ノード１００の性能モデル管理部７０２に送信する（ステップ１１１５）。
【0115】
管理ノード１００の性能モデル管理部７０２は、設定完了通知を受信し（ステップ１１２５）、各ＨＷリソースに対するリソース割当量を送信した全てのストレージノードから設定完了通知を受信したか否かを確認する（ステップ１１２６）。性能モデル管理部７０２は、全てのストレージノードから設定完了通信を受信していない場合（ステップ１１２６：Ｎｏ）には、処理をステップ１１２５に進める一方、全てのストレージノードから設定完了通信を受信した場合（ステップ１１２６：Ｙｅｓ）には、性能モデル修正・設定更新処理１１００を終了する。
【0116】
この性能モデル修正・設定更新処理１１００によると、各ストレージノード１２０，１３０のＩＯ処理の実際の状況に応じて適切な性能モデルに更新でき、実際の状況に応じてＨＷリソースを適切に割り当てることができる。
【0117】
次に、分散データストアにおけるオペレーションの実行パターンを学習するオペレーションパターン学習処理１２００について説明する。
【0118】
図１３は、第１実施形態に係るオペレーションパターン学習処理のフローチャートである。
【0119】
まず、各ストレージノード１２０，１３０のＱｏＳ制御プログラム７２０，７３０のＩＯモニタリング部７２１，７３１は、各分散データストアのデータストアプログラムのＩＯ実行ログを取得する（ステップ１２
１０）。次に、ＱｏＳ制御プログラム７２０，７３０は、取得したＩＯ実行ログを、管理ノード１００のオペレーションパターン学習部７０３に送信する（ステップ１２１１）。
１０）。次に、ＱｏＳ制御プログラム７２０，７３０は、取得したＩＯ実行ログを、管理ノード１００のオペレーションパターン学習部７０３に送信する（ステップ１２１１）。
【0120】
管理ノード１００のオペレーションパターン学習部７０３は、各ストレージノード１２０，１３０から送信されたＩＯ実行ログを受領する（ステップ１２２０）。
【0121】
次いで、オペレーションパターン学習部７０３は、受信したＩＯ実行ログを確認し、学習に十分なデータが揃ったか否かを反転する（ステップ１２２１）。ここで、学習に十分なデータが揃ったか否かについての判断の基準は、後述するステップ１２２２で採用する実行パターンの学習方法に依存する。この結果、学習に十分なデータが揃っていない場合（ステップ１２２１：Ｎｏ）には、オペレーションパターン学習部７０３は、処理をステップ１２２０に進める。一方、学習に十分なデータが揃っている場合（ステップ１２２１：Ｙｅｓ）には、オペレーションパターン学習部７０３は、オペレーションの実行パターンを学習し、オペレーションパターン管理テーブル７０４（図１４参照）に登録し（ステップ１２２２）、オペレーションパターン学習処理１２００を終了する。
【0122】
図１４は、第１実施形態に係るオペレーションパターン管理テーブルの構成図である。
【0123】
オペレーションパターン管理テーブル７０４は、分散データストアごとに設けられ、その分散データストアについて、各タイミング（曜日、時間等）において、実行されるオペレーションの種別を格納する。オペレーションパターン管理テーブル７０４の行１３０１は、オペレーションパターン管理テーブル７０４に対応する分散データストアを示す情報（分散データストア名）を格納する。列１３０２には、オペレーションが実行される時間（期間）が格納される。列１３０３には、対応する時間に実行されるオペレーションの種別が記録される。図１４の例では、列１３０３は、曜日ごとに対応する列を含みに、各曜日に実行されるオペレーションの種別が記録されている。ここで、分散データストアにおいて、各タイミングで実行されるオペレーションの種別の学習方法としては、機械学習などの既存の方法を用いることができる。
【0124】
次に、オペレーションパターンに基づく設定更新処理１４００について説明する。
【0125】
【0126】
まず、管理ノード１００のオペレーションパターン学習部７０３は、現在時刻を確認する（ステップ１４１０）。現在時刻の確認は、例えば、ＯＳの機能等を用いることで実現できる。
【0127】
次に、オペレーションパターン学習部７０３は、現在時刻と、オペレーションパターン管理テーブル７０４の行１３０２の内容とを比較し、現在がオペレーションの実行パターンが変わるタイミングであるか否かを確認する（ステップ１４１１）。この結果、現在がオペレーションの実行パターンが変わるタイミングでない場合（ステップ１４１１：Ｎｏ）には、オペレーションパターン学習部７０３は、処理をステップ１４１０に進める。
【0128】
一方、現在がオペレーションの実行パターンが変わるタイミングである場合（ステップ１４１１：Ｙｅｓ）には、オペレーションパターン学習部７０３は、リソース割当設定テーブル７０５の更新を行う（ステップ１４１２）。リソース割当設定テーブル７０５の更新方法としては、次の実行パターンにおいて実行されないオペレーションの種別を除外して、ＨＷリソース割当量の算出を行う。具体的には、図１６に示すように、次の実行パターンとして、シーケンシャルリード（Ｓｅｑｕｅｎｔｉａｌ Ｒｅａｄ）のオペレーション種別のみが実行される場合においては、ＣＰＵの割当量として、実行されるオペレーションの種別に必要なＨＷリソース量である０．５コアと算出し、リソース割当設定テーブル７０５のセル１５００を更新する。
【0129】
次に、オペレーションパターン学習部７０３は、更新したリソース割当設定テーブル７０５の内容、すなわち、各ＨＷリソースに対するリソース割当量を、各ストレージノード１２０，１３０のリソース割当制御プログラム１２１，１３１に送信する（ステップ１４１３）。
【0130】
ストレージノード１２０，１３０のリソース割当制御プログラム１２１，１３１は、リソース割当設定テーブル７０５の列１００５の内容を受領し（ステップ１４２０）、列１００５の各ＨＷリソースに対するリソース割当量に基づいて、分散データストアのデータストアプログラムに、ＨＷリソースを割り当てる設定を行う（ステップ１４２１）。
【0131】
割当設定が完了したら、リソース割当制御プログラム１２１，１３１は、設定が完了したことを示す通知（設定完了通知）を管理ノード１００のオペレーションパターン学習部７０３に送信する（ステップ１４２２）。
【0132】
管理ノード１００のオペレーションパターン学習部７０３は、設定完了通知を受信し（ステップ１４１４）、各ＨＷリソースに対するリソース割当量を送信した全てのストレージノードから設定完了通知を受信したか否かを確認する（ステップ１４１５）。オペレーションパターン学習部７０３は、全てのストレージノードから設定完了通信を受信していない場合（ステップ１４１５：Ｎｏ）には、処理をステップ１４１４に進める一方、全てのストレージノードから設定完了通信を受信した場合（ステップ１４１５：Ｙｅｓ）には、オペレーションパターンに基づく設定更新処理１４００を終了する。
【0133】
このオペレーションパターンに基づく設定更新処理１４００によると、分散データストアのオペレーション種別の中の実行されないオペレーションの種別が必要とするＨＷリソースを割り当てずに済み、ＨＷリソースを適切に割り当てることができる。
【0134】
次に、第２実施形態に係る計算機システムについて説明する。
【0135】
第２実施形態に係る計算機システムは、第１実施形態に係る計算機システムでは、分散データストアを構成するデータストアプログラムを対象にＨＷリソース量を制御するようにしていたものに対して、１又は複数のノードで実行されるプログラム（ソフトウェア）の一例としてのアプリケーション（アプリともいう）を対象にＨＷリソース量を制御するようにしたものである。
【0136】
第２実施形態に係る計算機システムは、図１に示す第１実施形態に係る計算機システム１において、管理ノード１００に代えて管理ノード２０００（図２３参照）を備え、クライアントノード１５０，１５１に代えてクライアントノード２０４０，２０５０（図２３参照）を備え、ストレージノード１２０，１３０に代えて実行ノードの一例としてのアプリ実行ノード１６２０，１６３０（図１７参照）を備え、管理用クライアントノード１６０に代えて管理用クライアントノード２０１０（図２３参照）を備え、性能モデル作成ノード２００に代えて作成ノードの一例としての性能モデル作成ノード１６００（図１７参照）を備え、ベンチマーク実行ノード２１０に代えてベンチマーク実行ノード１６１０（図１７参照）を備える。
【0137】
次に、アプリ実行ノード１６２０，１６３０で実行されるアプリに対するＱｏＳ制御について説明する。
【0138】
図１７は、第２実施形態に係る計算機システムにおける性能モデル作成処理に関わる構成要素のハードウェア構成図である。
【0139】
本実施形態では、性能モデル作成処理に対しては、計算機システムの構成要素の中の主に、性能モデル作成ノード１６００と、ベンチマーク実行ノード１６１０と、アプリ実行ノード１６２０と、アプリ実行ノード１６３０とが関わっている。
【0140】
なお、本実施形態では、性能モデル作成処理においては、クライアントノードに対して最終的に提供されるアプリを構成するアプリ実行ノード１６２０，１６３０を用いているが、本発明はこれに限られず、アプリ実行ノード１６２０，１６３０とは別の同様な複数のアプリ実行ノードを用いるようにしてもよい。
【0141】
アプリ実行ノード１６２０は、プロセッサの一例としてのＣＰＵ１６２２と、主記憶装置としてのメモリ１６２３と、二次記憶装置としてのディスク装置１６２４と、ＮＩＣ１６２５，１６２６とを備える。ＣＰＵ１６２２と、メモリ１６２３と、ディスク装置１６２４と、ＮＩＣ１６２５，１６２６とは、バス１６２１を介して接続されている。
【0142】
ＣＰＵ１６２２は、ディスク装置１６２４上に格納されているプログラムをメモリ１６２３上に読み込んで実行することにより、各種処理を実行する。ＣＰＵ１６２２は、バス１６２１、ＮＩＣ１６２６を介して、ＬＡＮ１７０に接続されている他の装置（アプリ実行ノード１６３０、性能モデル作成ノード１６００、ベンチマーク実行ノード１６１０等）との間でデータを送受信する。
【0143】
アプリ実行ノード１６３０は、プロセッサの一例としてのＣＰＵ１６３２と、主記憶装置としてのメモリ１６３３と、二次記憶装置としてのディスク装置１６３４と、ＮＩＣ１６３５，１６３６とを備える。ＣＰＵ１６３２と、メモリ１６３３と、ディスク装置１６３４と、ＮＩＣ１６３５，１６３６とは、バス１６３１を介して接続されている。
【0144】
ＣＰＵ１６３２は、ディスク装置１６３４上に格納されているプログラムをメモリ１６３３上に読み込んで実行することにより、各種処理を実行する。ＣＰＵ１６３２は、バス１６３１、ＮＩＣ１６３６を介して、ＬＡＮ１７０に接続されている他の装置（アプリ実行ノード１６２０、性能モデル作成ノード１６００、ベンチマーク実行ノード１６１０等）との間でデータを送受信する。
【0145】
性能モデル作成ノード１６００は、プロセッサの一例としてのＣＰＵ１６０２と、主記憶装置としてのメモリ１６０３と、二次記憶装置としてのディスク装置１６０４と、ＮＩＣ１６０５とを備える。ＣＰＵ１６０２と、メモリ１６０３と、ディスク装置１６０４と、ＮＩＣ１６０５とは、バス１６０１を介して接続されている。
【0146】
ＣＰＵ１６０２は、ディスク装置１６０４上に格納されているプログラムをメモリ１６０３上に読み込んで実行することにより、各種処理を実行する。ＣＰＵ２６０２は、バス１６０１、ＮＩＣ１６０５を介して、ＬＡＮ１７０に接続されている他の装置（アプリ実行ノード１６２０，１６３０、ベンチマーク実行ノード１６１０等）との間でデータを送受信する。
【0147】
ベンチマーク実行ノード１６１０は、プロセッサの一例としてのＣＰＵ１６１２と、主記憶装置としてのメモリ１６１３と、二次記憶装置としてのディスク装置１６１４と、ＮＩＣ１６１５とを備える。ＣＰＵ１６１２と、メモリ１６１３と、ディスク装置１６１４と、ＮＩＣ１６１５とは、バス１６１１を介して接続されている。
【0148】
ＣＰＵ１６１２は、ディスク装置１６１４上に格納されているプログラムをメモリ１６１３上に読み込んで実行することにより、各種処理を実行する。ＣＰＵ１６１２は、バス１６１１、ＮＩＣ１６１５を介して、ＬＡＮ１７０に接続されている他の装置（アプリ実行ノード１６２０，１６３０、性能モデル作成ノード１６００等）との間でデータを送受信する。
【0149】
図１８は、第２実施形態に係る性能モデル作成処理に関わる構成要素の論理構成図である。
【0150】
アプリ実行ノード１６２０は、アプリ用のプログラム１７４１（プログラムＡ）と、アプリ用のプログラム１７５１（プログラムＢ）と、リソース割当制御プログラム１７２０とを格納する。
【0151】
アプリ実行ノード１６３０は、アプリ用のプログラム１７４２（プログラムＡ）と、アプリ用のプログラム１７５２（プログラムＢ）と、リソース割当制御プログラム１７３０とを格納する。
【0152】
アプリ実行ノード１６２０のＣＰＵ１６２２によって実行されるプログラム１７４１と、アプリ実行ノード１６３０のＣＰＵ１６３２によって実行されるプログラム１７４２とは、協調して動作し、アプリケーション１７４０（アプリＡ）を構成する。また、アプリ実行ノード１６２０のＣＰＵ１６２２によって実行されるプログラム１７５１と、アプリ実行ノード１６３０のＣＰＵ１６３２によって実行されるプログラム１７５２とは、協調して動作し、アプリケーション１７５０（アプリＢ）を構成する。なお、同図では、アプリを複数のアプリ実行ノードのプログラムが強調して動作する例を示しているが、各アプリ実行ノードのプログラムが単独でアプリを構成してもよい。
【0153】
リソース割当制御プログラム１７２０は、ＣＰＵ１６２２に実行されると、アプリ実行ノード１６２０で実行される各プログラムに割り当てるＨＷリソースの量（ＨＷリソース割当量）の制御を行う。
【0154】
リソース割当制御プログラム１７３０は、ＣＰＵ１６３２に実行されると、ストレージノード１６３０で実行される各プログラムに割り当てるＨＷリソース割当量の制御を行う。
【0155】
性能モデル作成ノード１６００は、性能モデル作成プログラム１７００を格納する。性能モデル作成プログラム１７００は、ＣＰＵ１６０２に実行されると、アプリ実行ノード１６２０，１６３０上で構成されるアプリ１７４０，１７５０の性能モデルを作成する。
【0156】
ベンチマーク実行ノード１６１０は、ベンチマークプログラム１７１０を格納する。ベンチマークプログラム１７１０は、ＣＰＵ１６１２に実行されると、アプリ実行ノード１６２０，１６３０上で構成されるアプリ１７４０，１７５０の性能を測定する。
【0157】
次に、性能モデルを作成する性能モデル作成処理１８００について説明する。
【0158】
図１９は、第２実施形態に係る性能モデル作成処理のフローチャートである。
【0159】
本実施形態の性能モデル作成処理では、ＨＷリソース毎の性能モデルを作成する。ここで、ＨＷリソースとは、ＣＰＵ、メモリ、ＮＩＣ帯域、ディスク装置のＩＯ帯域等である。この性能モデル作成処理によると、各ＨＷリソースの割当量と、その割当量でのアプリ（厳密には、アプリ用のプログラム）の性能との関係を示す性能モデルがＨＷリソース毎に作成される。
【0160】
まず、性能モデル作成ノード１６００の性能モデル作成プログラム１７００（厳密には、性能モデル作成プログラム１７００を実行するＣＰＵ１６０２）は、全てのＨＷリソースについての性能モデルを作成したか否かを確認する（ステップ１８１０）。この結果、全てのＨＷリソースについて性能モデルを作成している場合（ステップ１８１０：Ｙｅｓ）には、性能モデル作成プログラム１７００は、性能モデル作成処理１８００を終了する。
【0161】
一方、全てのＨＷリソースについての性能モデルを作成していない場合（ステップ１８１０：Ｎｏ）には、性能モデル作成プログラム１７００は、未作成のＨＷリソースを対象として性能モデルの作成を行う。ここで、対象とするＨＷリソースを対象ＨＷリソースという。また、対象ＨＷリソースの性能モデルを作成する場合には、対象ＨＷリソース以外のＨＷリソースについては、対象ＨＷリソースの性能のネックとならない割当量とし、対象ＨＷリソースのＨＷリソース割当量を徐々に変更することにより性能モデルを作成する。
【0162】
まず、性能モデル作成プログラム１７００は、アプリに割り当てるＨＷリソース量を設定する（ステップ１８２０）。アプリにおけるＨＷリソース割当量の設定は、各アプリ実行ノードのリソース割当制御プログラムと連携することにより行う。具体的には、性能モデル作成プログラム１７００は、各アプリ実行ノード１６２０，１６３０のリソース割当制御プログラム１７２０，１７３０に、このアプリのプログラム１７４１，１７４２，１７５１，１７５２対するＨＷリソース割当量を送信する。これにより、リソース割当制御プログラム１７２０，１７３０は、ＨＷリソース割当量を受信し、プログラムに対して受信したＨＷリソース割当量のＨＷリソースを割り当てる。アプリ実行ノードにおけるＨＷリソースの割当は、既存のプログラムやソフトウェアにより実現できる。例えば、Ｌｉｎｕｘオペレーティングシステムであれば、Ｃｇｒｏｕｐｓと呼ぶリソース割当ての機能を用いることができる。このＣｇｒｏｕｐｓを用いると、所望の量のＨＷリソースをＬｉｎｕｘオペレーティングシステムで動作するプログラムに割り当てることができる。
【0163】
次に、性能モデル作成プログラム１７００は、ベンチマーク実行ノード１６１０のベンチマークプログラム１７１０に対象ＨＷリソースについての性能測定を実行することを指示する（ステップ１８３０）。この結果、ベンチマークプログラム１７１０は、アプリ（具体的には、アプリ用のプログラム）の性能測定を実行し、性能測定の結果を性能モデル作成プログラム１７００に送信することとなる。
【0164】
次に、性能モデル作成プログラム１７００は、性能モデルを作成可能か否か、具体的には、性能モデルを作成するために必要な回数の性能測定を行ったか否かを判断する（ステップ１８４０）。
【0165】
この結果、性能モデルの作成に必要な回数の測定を行っていない場合（ステップ１８４０：Ｎｏ）には、性能モデル作成プログラム１７００は、処理をステップ１８２０に進め、ＨＷリソース割当量の変更と、性能測定の実行を繰り返す。なお、性能モデルを作成するために性能測定を行う回数と、性能測定ごとに変更するＨＷリソース割当量とは、予め決められている。
【0166】
一方、性能モデルの作成に必要な回数の測定を行っている場合（ステップ１８４０：Ｙｅｓ）には、性能モデル作成プログラム１７００は、複数の測定結果に基づいて性能モデルを作成し、作成した性能モデルを性能モデル管理テーブル１９１０（図２１参照）に登録し（ステップ１８５０）、処理をステップ１８１０に進める。
【0167】
ここで、性能モデルの作成及び性能モデルの登録について説明する。
【0168】
図２０は、第２実施形態に係る性能モデルの概要を示す図である。
【0169】
性能モデルの作成は、例えば、図２０に示すように、ＨＷリソース量の変化に対する性能のグラフを作成し、グラフの近似曲線の式、ｙ＝ｆ（ｘ）を性能モデルとしてもよい。ここで、ｙは１ノード当たりのアプリケーションの性能を示し、ｘは１ノード当たりのＨＷリソース量を示す。ｙは、ベンチマークプログラム１７１０からの性能測定の結果（アプリケーションの全体の性能）を、アプリケーションのノード数で除算することにより算出することができる。換言すると、ｙにアプリケーションのノード数を乗算すると、アプリケーション全体の性能となる。性能モデルの作成におけるグラフの作成及び近似曲線式の導出は、既存の表計算ソフトウェアやプログラム等を用いることにより実現できる。
【0170】
図２１は、第２実施形態に係る性能モデル管理テーブルの構成図である。
【0171】
性能モデルの登録は、例えば、性能モデル管理テーブル１９１０に対して行う。性能モデル管理テーブル１９１０の行１９１１は、性能モデル管理テーブル１９１０が登録している性能モデルに対応するアプリケーションを示す情報（アプリケーション名）を格納する。列１９１２は、性能モデルに対応するＨＷリソースの種別を格納する。行１９１３は、実行性能に対する各ＨＷリソースについての性能モデルを格納する。行１９１３のセルには、そのＨＷリソースの種別についての性能モデルが、性能モデル作成プログラム１７００により格納される。
【0172】
なお、本実施形態では、性能測定結果に基づいて作成された式（性能モデル）を格納するようにしていたが、例えば、ＨＷリソース量と測定された性能との組を複数記録するようにしてもよい。
【0173】
次に、リソース割当設定処理について説明する。
【0174】
図２２は、第２実施形態に係るリソース割当設定処理に関わる構成要素のハードウェア構成図である。
【0175】
本実施形態では、リソース割当設定処理に対しては、計算機システムの構成要素の中の主に、アプリ実行ノード１６２０，１６３０と、クライアントノード２０４０，２０５０と、管理ノード２０００と、管理用クライアントノード２０１０とが関わっている。
【0176】
アプリ実行ノード１６２０のＣＰＵ１６２２は、バス１６２１、ＮＩＣ１６２５を介して、ＬＡＮ１７１に接続されている他の装置（アプリ実行ノード１６３０、クライアントノード２０４０，２０５０等）との間でデータを送受信する。また、アプリ実行ノード１６２０のＣＰＵ１６２２は、バス１６２１、ＮＩＣ１６２６を介して、ＬＡＮ１７０に接続されている他の装置（管理ノード２０００等）との間でデータを送受信する。
【0177】
アプリ実行ノード１６３０のＣＰＵ１６３２は、バス１６３１、ＮＩＣ１６３５を介して、ＬＡＮ１７１に接続されている他の装置（アプリ実行ノード１６３０、クライアントノード２０４０，２０５０等）との間でデータを送受信する。また、アプリ実行ノード１６３０のＣＰＵ１６３２は、バス１６３１、ＮＩＣ１６３６を介して、ＬＡＮ１７０に接続されている他の装置（管理ノード２０００等）との間でデータを送受信する。
【0178】
クライアントノード２０４０，２０５０は、アプリ実行ノード１６２０，１６３０に構成されるアプリに対するＩＯを実行する。各クライアントノード２０４０，２０５０は、図示を省略したが、バスを介して接続されたＣＰＵ、メモリ、ＮＩＣ、及びディスク装置を備える。ＣＰＵは、ディスク装置に格納されたプログラムをメモリに呼び出して実行する。クライアントノード２０４０，２０５０は、ＬＡＮ１７１を介して、他の装置（アプリ実行ノード１６２０，１６３０等）との間でデータを送受信する。
【0179】
管理用クライアントノード２０１０は、図示を省略したが、バスを介して接続されたＣＰＵ、メモリ、ＮＩＣ、及びディスク装置を備える。ＣＰＵは、ディスク装置に格納されたプログラムをメモリに呼び出して実行する。管理用クライアントノード２０１０は、ＬＡＮ１７０を介して、他の装置（管理サーバ２０００等）との間でデータを送受信する。
【0180】
管理ノード２０００は、プロセッサの一例としてのＣＰＵ２００２と、主記憶装置としてのメモリ２００３と、二次記憶装置としてのディスク装置２００４と、ＮＩＣ２００５とを備える。ＣＰＵ２００２と、メモリ２００３と、ディスク装置２００４と、ＮＩＣ２００５とは、バス２００１を介して接続されている。
【0181】
ＣＰＵ２００２は、ディスク装置２００４上に格納されているプログラムをメモリ２００３上に読み込んで実行することにより、各種処理を実行する。ＣＰＵ２００２は、バス２００１、ＮＩＣ２００５を介して、ＬＡＮ１７０に接続されている他の装置（アプリ実行ノード１６２０，１６３０、管理用クライアントノード２０１０等）との間でデータを送受信する。
【0182】
【0183】
アプリ実行ノード１６２０は、プログラム１７４１（プログラムＡ）と、プログラム１７５１（プログラムＢ）と、ＱｏＳ制御プログラム２１２０と、リソース割当制御プログラム１７２０とを格納する。
【0184】
アプリ実行ノード１６３０は、プログラム１７４２（プログラムＡ）と、プログラム１７５２（プログラムＢ）と、ＱｏＳ制御プログラム２１３０と、リソース割当制御プログラム１７３０とを格納する。
【0185】
アプリ実行ノード１６２０のＱｏＳ制御プログラム２１２０は、性能モニタリング部２１２１と、リソースモニタリング部２１２２とを備え、ＣＰＵ１６２２に実行されると、プログラム１７４１，１７５１の性能とリソース消費とをモニタリングする。
【0186】
アプリ実行ノード１６３０のＱｏＳ制御プログラム２１３０は、性能モニタリング部２１３１と、リソースモニタリング部２１３２とを備え、ＣＰＵ１６３２に実行されると、プログラム１７４２，１７５２の性能とリソース消費とをモニタリングする。
【0187】
クライアントノード２０４０は、クライアントアプリケーション２１６０を格納する。クライアントアプリケーション２１６０は、クライアントノード２０４０に実行されることにより、アプリ実行ノード１６２０，１６３０で構成されるアプリに対する処理依頼を送信する。
【0188】
クライアントノード２０５０は、クライアントアプリケーション２１７０を格納する。クライアントアプリケーション２１７０は、クライアントノード２０５０に実行されることにより、アプリ実行ノード１６２０，１６３０で構成されるアプリに対する処理依頼を送信する。
【0189】
管理用クライアントノード２０１０は、Ｗｅｂブラウザ２１１０を格納する。Ｗｅｂブラウザ２１１０は、管理用クライアントノード２０１０に実行されることにより、管理者から、アプリケーションの目標性能の設定の入力を受け付け、目標設定を管理ノード２０００に送信する。
【0190】
管理ノード２０００は、ＱｏＳ制御プログラム２１００を格納する。ＱｏＳ制御プログラム２１００は、リソース割当設定部２１０１と、性能モデル管理部２１０２と、設定実行部２１０３と、性能モデル管理テーブル１９１０と、ソース割当設定テーブル２１０５とを備える。なお、図では省略したが、ＱｏＳ制御プログラム２１００は、アプリ実行ノードで実行されるアプリケーションの数だけ性能モデル管理テーブル１９１０を備える。
【0191】
リソース割当設定部２１０１は、管理ノード２０００のＣＰＵ２００２に実行されることにより、Ｗｅｂブラウザ２１１０を介して入力されたアプリケーションの目標性能を受信し、受信した目標性能と性能モデル管理テーブル１９１０の内容とに基づいて、リソース割当設定テーブル２１０５を更新し、リソース割当量の設定値を各アプリ実行ノード１６２０，１６３０に送信する。
【0192】
性能モデル管理部２１０２は、ＣＰＵ２００２に実行されることにより、アプリ実行ノード１６２０，１６３０で実行されるＱｏＳ制御プログラム２１２０，２１３０から、プログラム１７４１，１７４２，１７５１，１７５２の性能とリソース消費とのモニタリング結果を受領し、モニタリング結果に基づいて性能モデルの修正を行う。また、性能モデル管理部２１０２は、修正した性能モデルに基づいてリソース割当設定テーブル２１０５を更新し、リソース割当量の設定値を各アプリ実行ノード１６２０，１６３０に送信する。
【0193】
次に、アプリケーションに対するＨＷリソースの割当を設定するリソース割当設定処理２２００について説明する。
【0194】
図２４は、第２実施形態に係るリソース割当設定処理のフローチャートである。
【0195】
管理用クライアントノード２０１０のＷｅｂブラウザ２１１０は、目標性能入力用ＧＵＩ画面２３００（図２５参照）を表示し、アプリケーションの管理者から各アプリケーションの目標性能を受け付ける（ステップ２２１０）。
【0196】
ここで、目標性能入力用ＧＵＩ画面２３００について説明する。
【0197】
図２５は、第２実施形態に係る目標性能入力ＧＵＩ画面を示す図である。
【0198】
目標性能入力用ＧＵＩ画面２３００は、アプリケーションごとの目標性能の入力欄（入力欄２３０１，２３０２）と、送信ボタン２３０３とを有する。なお、図２５に示す目標性能入力用ＧＵＩ画面２３００は、アプリＡ及びアプリＢとの２つのアプリケーションがある場合の入力欄を示しているが、入力欄は、アプリ実行ノード上に構成されるアプリケーションの数だけ用意される。入力欄２３０１，２３０２は、アプリケーションに対する目標性能を入力する入力欄である。管理者は、この入力欄に、アプリケーション毎の目標性能を入力すればよい。送信ボタン２３０３は、入力欄２３０１，２３０２に入力された目標性能の設定をアプリ実行ノードに送信する指示を受け付けるボタンである。送信ボタン２３０３が押下されると、管理用クライアントノード２０１０は、入力欄２３０１，２３０２に入力された目標性能の設定を管理ノード２０００に送信する。
【0199】
次いで、管理ノード２０００のリソース割当設定部２１０１は、送信された目標性能設定を受領する（ステップ２２２０）。リソース割当設定部２１０１は、受領した目標性能をリソース割当設定テーブル２１０５（図２６参照）に登録する。
【0200】
図２６は、第２実施形態に係るリソース割当設定テーブルの構成図である。
【0201】
リソース割当設定テーブル２１０５は、アプリ実行ノードに構成されるアプリケーションごとに設けられ、アプリケーションの目標性能と必要なＨＷリソース量との関係を管理する。リソース割当設定テーブル２１０５の行２４０１は、リソース割当設定テーブル２１０５に対応するアプリケーションを示す情報（アプリケーション名）を格納する。行２４０２は、アプリケーションの目標性能を格納する。行２４０３は、目標性能に必要なＨＷリソース毎のリソース量を格納する。
【0202】
図２４の説明に戻り、次に、リソース割当設定部２１０１は、性能モデル管理テーブル１９１０を参照し、アプリケーションに実際に割り当てるＨＷリソース量（リソース割当量）を算出する。ここで、算出されるＨＷリソース量は、各アプリ実行ノードにおいて、アプリケーションのプログラムに割り当てるＨＷリソース量である。
【0203】
まず、リソース割当設定部２１０１は、性能モデル管理テーブル１９１０に記録されている性能モデル（式）と、アプリケーションの目標性能とから、この目標性能を達成するために必要なＨＷリソース量を算出し、算出したＨＷリソース量をリソース割当量としてリソース割当設定テーブル２１０５の行２４０３に登録する（ステップ２２２１）。具体的には、リソース割当設定部２１０１は、アプリケーションの目標性能を、アプリケーションを構成するアプリ実行ノードの数で除算し、その結果を、性能モデルの式（ｙ＝ｆ（ｘ））のｙに代入し、必要なＨＷリソース量ｘを算出する。なお、性能モデルではなく、複数のＨＷリソース量と測定された性能との組を記録するようにしている場合には、複数の組に基づいて、目標性能に必要なＨＷリソース量を算出すればよい。
【0204】
次に、リソース割当設定部２１０１は、リソース割当設定テーブル２１０５の列２４０３の内容、すなわち、各ＨＷリソースに対するリソース割当量を、各アプリ実行ノード１６２０，１６３０のリソース割当制御プログラム１７２０，１７３０に送信する（ステップ２２２２）。
【0205】
アプリ実行ノード１６２０，１６３０のリソース割当制御プログラム１７２０，１７３０は、リソース割当設定テーブル２１０５の行２４０３の内容を受領し（ステップ２２３０）、行２４０３の内容である各ＨＷリソースに対するリソース割当量に基づいて、アプリケーションのプログラムに、ＨＷリソースを割り当てる設定を行う（ステップ２２３１）。
【0206】
割当設定が完了したら、リソース割当制御プログラム１７２０，１７３０は、設定が完了したことを示す通知（設定完了通知）を管理ノード２０００のリソース割当設定部２１０１に送信する（ステップ２２３２）。
【0207】
管理ノード２０００のリソース割当設定部２１０１は、設定完了通知を受信し（ステップ２２２３）、各ＨＷリソースに対するリソース割当量を送信した全てのアプリ実行ノードから設定完了通知を受信したか否かを確認する（ステップ２２２４）。リソース割当設定部２１０１は、全てのアプリ実行ノードから設定完了通信を受信していない場合（ステップ２２２４：Ｎｏ）には、処理をステップ２２２３に進める一方、全てのアプリ実行ノードから設定完了通信を受信した場合（ステップ２２２４：Ｙｅｓ）には、リソース割当設定処理２２００を終了する。
【0208】
次に、性能モデルを修正し、修正した性能モデルに基づいてリソース割当の再設定を行う性能モデル修正・設定更新処理２５００について説明する。
【0209】
図２７は、第２実施形態に係る性能モデル修正・設定更新処理のフローチャートである。
【0210】
性能モデル修正・設定更新処理は、例えば、定期的に実行される。まず、各アプリ実行ノード１６２０，１６３０のＱｏＳ制御プログラム２１２０，２１３０の性能モニタリング部２１２１，２１３１は、各アプリケーションのプログラムの実行ログを取得する（ステップ２５１０）。ここで、実行ログには、プログラム１７４１，１７４２，１７５１，１７５２によって実行されたオペレーションの内容、オペレーションが実行されたタイミング、処理時間などが記録されている。次いで、リソースモニタリング部２１２２，２１３２は、各アプリケーションのプログラム１７４１，１７４２，１７５１，１７５２が消費したＨＷリソース量のログ（リソース消費ログ）を取得する（ステップ２５１１）。リソース消費ログは、ＯＳ（オペレーティングシステム）の機能などを用いて取得することができる。
【0211】
次に、ＱｏＳ制御プログラム２１２０，２１３０は、取得した実行ログとリソース消費ログとを、管理ノード２０００の性能モデル管理部２１０２に送信する（ステップ２５１２）。
【0212】
管理ノード２０００の性能モデル管理部２１０２は、各アプリ実行ノード１６２０，１６３０から送信された実行ログとリソース消費ログとを受領する（ステップ２５２０）。
【0213】
次いで、性能モデル管理部２１０２は、実行ログからアプリケーションの実際の性能を取得し、実際の性能（実性能）と性能モデルにより推定される性能（推定性能）とを比較し、実性能と推定性能との差が予め設定されている所定の閾値を超えているか否かを判定する（ステップ２５２１）。この結果、実性能と推定性能との差が所定の閾値を超えていない場合（ステップ２５２１：Ｎｏ）には、性能モデル管理部２１０２は、処理をステップ２５２０に進める。一方、実性能と推定性能との差が所定の閾値を超えている場合（ステップ２５２１：Ｙｅｓ）には、性能モデル管理部２１０２は、性能モデルを修正する処理を行い、性能モデル管理テーブル１９１０の性能モデルを修正した性能モデルに更新する（ステップ２５２２）。性能モデルを修正する処理は、取得したリソース消費ログと、実行ログから取得した性能値とに基づいて、性能モデル作成処理１８００と同様な処理で実現できる。
【0214】
次いで、性能モデル管理部２１０２は、性能モデル管理テーブル１９１０の更新した性能モデルに基づいて、新たなリソース割当量を算出する処理を行い、リソース割当設定テーブル２１０５を更新する（ステップ２５２３）。新たなリソース割当量を算出する処理は、リソース割当設定処理２２００と同様な処理で実現できる。
【0215】
次に、性能モデル管理部２１０２は、リソース割当設定テーブル２１０５の行２４０３の内容、すなわち、各ＨＷリソースに対するリソース割当量を、各アプリ実行ノード１６２０，１６３０のリソース割当制御プログラム１７２０，１７３０に送信する（ステップ２５２４）。
【0216】
アプリ実行ノード１６２０，１６３０のリソース割当制御プログラム１７２０，１７３０は、リソース割当設定テーブル２１０５の行２４０３の内容を受領し（ステップ２５１３）、行２４０３の各ＨＷリソースに対するリソース割当量に基づいて、アプリケーションのプログラムに、ＨＷリソースを割り当てる設定を行う（ステップ２５１４）。
【0217】
割当設定が完了したら、リソース割当制御プログラム１７２０，１７３０は、設定が完了したことを示す通知（設定完了通知）を管理ノード２０００の性能モデル管理部２１０２に送信する（ステップ２５１５）。
【0218】
管理ノード２０００の性能モデル管理部２１０２は、設定完了通知を受信し（ステップ２５２５）、各ＨＷリソースに対するリソース割当量を送信した全てのアプリ実行ノードから設定完了通知を受信したか否かを確認する（ステップ２５２６）。性能モデル管理部２１０２は、全てのアプリ実行ノードから設定完了通信を受信していない場合（ステップ２５２６：Ｎｏ）には、処理をステップ２５２５に進める一方、全てのアプリ実行ノードから設定完了通信を受信した場合（ステップ２５２６：Ｙｅｓ）には、性能モデル修正・設定更新処理２５００を終了する。
【0219】
この性能モデル修正・設定更新処理２５００によると、各アプリ実行ノード１６２０，１６３０の処理の実際の状況に応じて適切な性能モデルに更新でき、実際の状況に応じてＨＷリソースを適切に割り当てることができる。
【0220】
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で、適宜変形して実施することが可能である。
【0221】
例えば、上記実施形態では、性能モデルとして、数式を用いていたが、本発明はこれに限られず、例えば、機械学習により学習された、性能を入力として、必要なＨＷリソース量を出力する推論モデルを用いてもよい。
【0222】
また、上記実施形態において、ＣＰＵが行っていた処理の一部又は全部を、ハードウェア回路で行うようにしてもよい。また、上記実施形態におけるプログラムは、プログラムソースからインストールされてよい。プログラムソースは、プログラム配布サーバ又は記録メディア（例えば可搬型の不揮発性記録メディア）であってもよい。
【符号の説明】
【0223】
１…計算機システム、１００…管理ノード、１１１…性能モデル、１２０，１３０…ストレージノード、１４０，１４１…分散データストア、１５０，１５１…クライアントノード、１６０…管理用クライアントノード、２００…性能モデル作成ノード、２１０…ベンチマーク実行ノード、１７０，１７１…ＬＡＮ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
