特開 2024-169214 リソース最適化システム、及びリソース最適化方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024169214

(43)【公開日】2024-12-05

(54)【発明の名称】リソース最適化システム、及びリソース最適化方法

(51)【国際特許分類】

   G06F 9/50 20060101AFI20241128BHJP

【ＦＩ】

G06F9/50 120A

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2023086498

(22)【出願日】2023-05-25

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＰＹＴＨＯＮ

(71)【出願人】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110001678

【氏名又は名称】藤央弁理士法人

(72)【発明者】

【氏名】安藤 里奈

(72)【発明者】

【氏名】藪崎 仁史

(57)【要約】

【課題】スケーリングが可能な分散分析基盤を用いてタスク実行を処理の中に複数持つアプリケーションにおいて、分散分析処理をする際に、アプリケーション実行の総完了の時間及びリソースの利用効率のバランスのとれた最適なリソース量を各タスクに対して瞬時に判断する。
【解決手段】リソース最適化システムは、１以上の演算装置と、１以上のメモリリソースと、１以上の記憶装置と、を備え、前記演算装置は、アプリケーションが実行する処理を表すソースコードの中からリソース最適化処理の対象となる対象タスクを検出し、前記対象タスクに対する入力データのデータ量を測定し、測定した前記データ量、及びリソース量推定モデルに基づいて、前記対象タスクの実行時間を短縮するために最適なリソース量を推定することを特徴とする。
【選択図】図１

【特許請求の範囲】

【請求項1】

リソース最適化システムであって、
１以上の演算装置と、１以上のメモリリソースと、１以上の記憶装置と、を備え、
前記演算装置は、
アプリケーションが実行する処理を表すソースコードの中からリソース最適化処理の対象となる対象タスクを検出し、
前記対象タスクに対する入力データのデータ量を測定し、
測定した前記データ量、及びリソース量推定モデルに基づいて、前記対象タスクの実行時間を短縮するために最適なリソース量を推定する
ことを特徴とするリソース最適化システム。

【請求項2】

請求項１に記載のリソース最適化システムであって、
前記演算装置は、
推定した前記リソース量に従い、分散分析基盤のリソース量を調整し、前記分散分析基盤に前記対象タスクを実行させる
ことを特徴とするリソース最適化システム。

【請求項3】

請求項２に記載のリソース最適化システムであって、
前記演算装置は、
前記分散分析基盤のリソース量を調整している期間、前記ソースコードに対応する処理をホールドする
ことを特徴とするリソース最適化システム。

【請求項4】

請求項２に記載のリソース最適化システムであって、
前記演算装置は、
前記分散分析基盤を監視し、監視結果を保持する
ことを特徴とするリソース最適化システム。

【請求項5】

請求項１に記載のリソース最適化システムであって、
１以上の前記対象タスクにそれぞれ対応する前記リソース量推定モデルが格納されたリソース量推定モデルデータベース、を備える
ことを特徴とするリソース最適化システム。

【請求項6】

請求項５に記載のリソース最適化システムであって、
前記演算装置は、
前記ソースコードから検出した前記対象タスクに対応する前記リソース量推定モデルを前記リソース量推定モデルデータベースの中から選定し、測定した前記データ量、及び選定した前記リソース量推定モデルに基づいて、前記対象タスクの実行時間を短縮するために最適なリソース量を推定する
ことを特徴とするリソース最適化システム。

【請求項7】

請求項２に記載のリソース最適化システムであって、
前記演算装置は、
前記分散分析基盤によって前記対象タスクを実行した際のデータ量、リソース量、及び実行時間を学習データとして前記リソース量推定モデルを再学習する
ことを特徴とするリソース最適化システム。

【請求項8】

請求項１に記載のリソース最適化システムであって、
前記演算装置は、
データ量が異なる複数のサンプル入力データと、複数のリソース量との組み合わせを適用して前記対象タスクを実行し、データ量、リソース量、及び実行時間を学習データとして前記リソース量推定モデルを生成する
ことを特徴とするリソース最適化システム。

【請求項9】

リソース最適化システムによるリソース最適化方法であって、
前記リソース最適化システムは、１以上の演算装置と、１以上のメモリリソースと、１以上の記憶装置と、を有し、
前記リソース最適化方法は、
前記演算装置が、アプリケーションが実行する処理を表すソースコードの中からリソース最適化処理の対象となる対象タスクを検出するステップと、
前記演算装置が、前記対象タスクに対する入力データのデータ量を測定するステップと、
前記演算装置が、測定した前記データ量、及びリソース量推定モデルに基づいて、前記対象タスクの実行時間を短縮するために最適なリソース量を推定するステップと、
を含むことを特徴とするリソース最適化方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、リソース最適化システム、及びリソース最適化方法に関する。

【背景技術】

【0002】

分散分析基盤のリソース量を推定する技術に関し、例えば特許文献１には「分散型システムのリソーススケジューリングの方法及び装置を開示する。この装置は、ユーザの要求に応じてタスクの総完了の時間及びコストのバランスをとり、リソース利用率向上ならびにタスク実行の加速を図る。タスクに対するユーザの処理要求に応じるため、装置にタスクが新規で入力された際、タスク処理要求を評価して優先度を付与し、その優先度に対応するスケジューリング待ち行列にタスクを割り振り、優先度が高い待ち行列から予め設定されたポリシーに従って分散ノードリソースに割り当てる。待ち行列はそれが有するタスクの待ち時間や重み係数（ユーザーの希望値）等から評価関数を算出し、他の待ち行列と評価関数を比較することで、待ち行列間で実行の優先順位が決まる。」と記載されている。

【0003】

また、非特許文献１には「クラウド指向のシステムにおいて運用コスト削減のためビッグデータ分析におけるリソース割当の最適化の方法及び装置を開示する。この装置は、処理実行の前段階にあるタスクに対するリソース割当量と性能（処理時間）の関係を表す性能特性曲線を算出し、前記タスク実行時に最適リソース割当を推定する。リソース量が多くなればなるほど性能向上の変化が逓減することより性能特性曲線は指数関数的減衰となるとみなし、学習データから近似線を見つけることで個々のタスクの性能特性を表す。学習データは、計算コスト削減のため独自のデータ拡張技術を用いてわずかな実データから十分な学習データを生成する。またここでは、処理性能の低下や待ち時間の増加等を防ぐために、ピークリソース（リソースの利用率が１０割に近い、もしくは規定の制限値に近いリソース）へのタスクの割り当てを避け、リソースコストとランタイムを最適にトレードオフする、最大リソース量を最適リソース割当とする。」と記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】中国特許出願公開１０８３４５５０１号明細書

【非特許文献】

【0005】

【非特許文献1】Ａｎｉｓｈ Ｐｉｍｐｌｅｙ， Ｓｈｕｏ Ｌｉ， Ｒａｔｈｉｊｉｔ Ｓｅｎ， Ｓｏｕｎｄａｒａｒａｊａｎ Ｓｒｉｎｉｖａｓａｎ， Ａｌｅｋｈ Ｊｉｎｄａｌ， ”Ｔｏｗａｒｄｓ Ｏｐｔｉｍａｌ Ｒｅｓｏｕｒｃｅ Ａｌｌｏｃａｔｉｏｎ ｆｏｒ Ｂｉｇ Ｄａｔａ Ａｎａｌｙｔｉｃｓ”， ＯｐｅｎＰｒｏｃｅｅｄｉｎｇｓ．ｏｒｇ， ＩＳＢＮ： ９７８－３－８９３１８－０８５－７， Ｅｌｅｃｔｒｏｎｉｃ Ｅｄｉｔｉｏｎ， ｐ．３３８－３５０（２０２２）

【発明の概要】

【発明が解決しようとする課題】

【0006】

非特許文献１に記載の技術は、分散処理ではデータの分散に伴う転送遅延等のオーバーヘッドあり、当該オーバーヘッドは分析対象のデータ量に依存するにも拘わらず、与えるタスクは単一、且つ入力されるデータは一定の容量であると仮定している。そのため、実環境で運用する分散分析アプリケーションに適用することができない。また、分析対象のデータ量が変わる場合は適切に予測できない。加えて、分析するデータ量は本番環境でリクエストを受け付けるまで分からない。

【0007】

特許文献１に記載の技術は、現状あるリソースの中から処理を最短化するスケジューリング手法を探索するものであるため、リソース量が可変な分散分析基盤において最適なスケジュール方法を見つけることができない。

【0008】

非特許文献１に記載の技術、及び特許文献１に記載の技術は、処理の中で分散分析を複数回行うような分析アプリケーションを対象とした場合、リソースを最適化できるのは特定の分散分析に限られてしまう。

【0009】

本発明は、前述の点に鑑みてなされたものであり、スケーリングが可能な分散分析基盤を用いたタスク実行を処理の中に複数持つアプリケーションにおいて、分散分析処理をする際に、アプリケーション実行の総完了の時間及びコストのバランスをとり、最適なリソース量を各タスクに対して短時間で判断できるようにすることを目的とする。

【課題を解決するための手段】

【0010】

本願は、前述した課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下の通りである。

【0011】

前述課題を解決するため、本発明の一態様に係るリソース最適化システムは、１以上の演算装置と、１以上のメモリリソースと、１以上の記憶装置と、を備え、前記演算装置は、アプリケーションが実行する処理を表すソースコードの中からリソース最適化処理の対象となる対象タスクを検出し、前記対象タスクに対する入力データのデータ量を測定し、測定した前記データ量、及びリソース量推定モデルに基づいて、前記対象タスクの実行時間を短縮するために最適なリソース量を推定することを特徴とする。

【発明の効果】

【0012】

本発明によれば、スケーリングが可能な分散分析基盤を用いたタスク実行を処理の中に複数持つアプリケーションにおいて、分散分析処理をする際に、アプリケーション実行の総完了の時間及びリソースの利用効率のバランスのとれた最適なリソース量を各タスクに対して短時間で判断できる。これにより、分散分析基盤のリソース量を動的に増減して、アプリケーションの処理時間を短縮することができる。

【0013】

前述した以外の課題、構成、及び効果は、以下の実施形態の説明により明らかにされる。

【図面の簡単な説明】

【0014】

【図1】図１は、本発明の第１の実施形態に係るリソース最適化システムの構成例を示す図である。

【図2】図２は、コンピュータのハードウェア構成例を示すブロック図である。

【図3】図３は、リソース最適化処理の適用対象となるアプリケーションのソースコードの一例を示す図である。

【図4】図４は、分析データの一例を示す図である。

【図5】図５は、リソース量推定モデルＤＢ（データベース）のデータ構造の一例を示す図である。

【図6】図６は、第１の実施形態におけるアプリケーションによるソースコード対応処理の一例を示すフローチャートである。

【図7】図７は、動的リソース最適化処理の一例を示すフローチャートである。

【図8】図８は、本発明の第２の実施形態に係るリソース最適化システムの構成例を示す図である。

【図9】図９は、学習データＤＢのデータ構造の一例を示す図である。

【図10】図１０は、第２の実施形態におけるアプリケーションによるソースコード対応処理の一例を示すフローチャートである。

【図11】図１１は、リソース量推定モデル更新処理の一例を示すフローチャートである。

【図12】図１２は、本発明の第３の実施形態に係るリソース最適化システムの構成例を示す図である。

【図13】図１３は、サンプル分析データの一例を示す図である。

【図14】図１４は、リソース量推定モデル生成処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0015】

以下、本発明の一実施形態について図面に基づいて説明する。なお、実施形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。また、以下の実施形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合、及び原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須ではない。また、「Ａからなる」、「Ａよりなる」、「Ａを有する」、「Ａを含む」と言うときは、特にその要素のみである旨明示した場合等を除き、それ以外の要素を排除しない。同様に、以下の実施形態において、構成要素等の形状、位置関係等に言及するときは、特に明示した場合及び原理的に明らかにそうでないと考えられる場合等を除き、実質的にその形状等に近似又は類似するもの等を含む。

【0016】

本明細書において、リソースとは、計算処理能力を有するコンピュータを指し、リソース量とは、リソースであるコンピュータの台数を示す。当該コンピュータは、物理的コンピュータに限らず、論理的コンピュータであってもよい。

【0017】

＜本発明の第１の実施形態に係るリソース最適化システム１００－１＞
図１は、本発明の第１の実施形態に係るリソース最適化システム１００－１の構成例を示している。リソース最適化システム１００－１は、分散分析基盤のリソース量を最適化して、分散分析基盤にタスクを実行させるものである。

【0018】

リソース最適化システム１００－１は、リソース割当最適化対象としてのアプリケーション１、及び分散分析基盤２、並びに、リソース最適化ユニットをなすリソース量推定モデル管理装置３、及び最適リソース推定装置４を有する。

【0019】

アプリケーション１、分散分析基盤２、リソース量推定モデル管理装置３、及び最適リソース推定装置４は、ネットワークＮに接続され、相互に所定の情報、データを通信可能である。ネットワークＮは、例えば、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、インターネット、携帯電話通信網等の双方向通信網である。

【0020】

アプリケーション１、分散分析基盤２、リソース量推定モデル管理装置３、及び最適リソース推定装置４は、適宜組み合わせて、１台の物理的、又は論理的コンピュータで実現してもよい。また、アプリケーション１、及び分散分析基盤２は、２台以上の物理的、又は論理的コンピュータで実現してもよい。

【0021】

アプリケーション１、分散分析基盤２、リソース量推定モデル管理装置３、及び最適リソース推定装置４は、それぞれ分散して配置してもよい。例えば、アプリケーション１についてはローカルに配置し、分散分析基盤２、リソース量推定モデル管理装置３、及び最適リソース推定装置４については、クラウドサーバに配置してもよい。

【0022】

アプリケーション１は、大規模な分析データの入力を受け、分散分析基盤２を用いて、当該分析データの分析処理を実行する。アプリケーション１は、分散分析基盤２を少なくとも２回以上呼び出して使用するものとする。

【0023】

アプリケーション１は、対象タスク処理部１１、非対象タスク処理部１２、及び最適リソース推定ライブラリ１３を有する。

【0024】

対象タスク処理部１１は、最適なリソース量を推定する対象となる関数（対象タスク）を処理命令とともに分散分析基盤２に送信してその実行を依頼する。対象タスク処理部１１が送信する関数は、アプリケーション１のソースコード内の他の関数等と区別するため特有のアノテーションを有する（後述）。

【0025】

非対象タスク処理部１２は、アプリケーション１のソースコード内のうち対象タスク処理部１１が分散分析基盤２に実行させる関数以外のタスクや処理等を実行する。ただし、非対象タスク処理部１２は、分散分析基盤２を用いてタスクや処理を実行してもよい。

【0026】

最適リソース推定ライブラリ１３は、アプリケーション内で最適リソース量の推定の際に必要な機能を備えたツール群であり、対象タスク処理部１１と非対象タスク処理部１２との区別、及び最適リソース量の推定時のアプリケーションの挙動制御等を行う。

【0027】

分散分析基盤２は、外部クライアント（アプリケーション１の対象タスク処理部１１等）からの処理命令に応じ、その時点で分散分析基盤２内にて使用可能な計算リソースを用い、要求された処理を使用可能な計算リソースに割り振って並列に処理を実行し、処理結果を外部クライアントに出力する。

【0028】

分散分析基盤２は、分散分析処理部２１、分散トレーシング収集部２２、及び分散トレーシング情報ＤＢ２３を有する。

【0029】

分散分析処理部２１は、１台以上の物理的、または仮想的なコンピュータ等の計算リソースからなるクラスタ型の計算コンピュータリソースである。分散分析処理部２１は、計算リソースの量を外部クライアントからの処理命令やその時のリソースの使用状況等に応じて増減することができる。

【0030】

分散トレーシング収集部２２は、分散分析処理部２１を監視し、監視情報を分散トレーシング情報ＤＢ２３に格納する。また、分散トレーシング収集部２２は、分散分析処理部２１に処理命令が渡された際のリクエストのトランザクションの経過を監視し、分散分析処理部２１内の各リソースに流れるトランザクションを観察する。分散トレーシング情報ＤＢ２３には、監視情報や分散分析処理部２１内の各リソースのトランザクション情報等が格納される。監視情報、及びトランザクション情報は、分散分析処理部２１のリソースの最適化に利用される。

【0031】

リソース量推定モデル管理装置３は、リソース量推定モデルＤＢ３１を有する。リソース量推定モデルＤＢ３１には、アプリケーション１のソースコード内に含まれる最適リソースの推定を要求しているタスクＴ１～Ｔｎ（ｎ：当該対象タスクの数を表す任意の自然数）に対応付けて、タスクＴ１～Ｔｎが任意のデータ量の分析データを処理する際に最適なリソース量を推定するための関係式であるリソース量推定モデルが予め格納されている。

【0032】

最適リソース推定装置４は、タスクＴｉ（ｉ＝１～ｎ）にデータが入力された際に実行時間を最短にするために最適なリソース量を推定する。最適リソース推定装置４は、モデル選定部４１、入力データ評価部４２、最適リソース推定部４３、及びリソーススケール管理部４４を有する。

【0033】

モデル選定部４１は、タスクＴｉの関数名等の識別可能な情報を用いて、リソース量推定モデルＤＢ３１から適切なリソース量推定モデルを選定し、最適リソース推定部４３に出力する。

【0034】

入力データ評価部４２は、タスクＴｉに入力された分析データについて、データセットや配列等に格納することで、タスクＴｉに入力された分析データのデータ量を計測し、計測結果を最適リソース推定部４３に出力する。

【0035】

最適リソース推定部４３は、選定されたリソース量推定モデルと、分析データのデータ量とに基づき、タスクＴｉを処理する際に最適なリソース量を推定する。

【0036】

リソーススケール管理部４４は、最適リソース推定部４３によって推定されたリソース量に従い、分散分析基盤２の分散分析処理部２１に対してスケールイン、またはスケールアウト等を要求し、当該要求が問題なく実行されたことを確認する。

【0037】

＜コンピュータ２００のハードウェア構成例＞
図２は、アプリケーション１、分散分析基盤２、リソース量推定モデル管理装置３、及び最適リソース推定装置４をそれぞれ実現するコンピュータ２００のハードウェア構成例を示している。

【0038】

コンピュータ２００は、ＣＰＵ（Central Processing Unit）等のプロセッサ２０１、ＤＲＡＭ(Dynamic Random Access Memory)等のメモリ２０２、ＨＤＤ(Hard Disk Drive)やＳＳＤ(Solid State Drive)等のストレージ２０３、キーボードやマウス、メディアドライブ等の入力デバイス２０４、ディスプレイ等の出力デバイス２０５、及びEthernet（商標）カードやＷｉ－Ｆｉ（商標）アダプタ等の通信モジュール２０６を備える。

【0039】

例えば、最適リソース推定装置４を実現するコンピュータ２００は、プロセッサ２０１がメモリ２０２に格納された所定のプログラムを実行することにより、モデル選定部４１、入力データ評価部４２、最適リソース推定部４３、及びリソーススケール管理部４４を実現する。

【0040】

なお、プロセッサ２０１が実行する所定のプログラムは、予めメモリ２０２に格納しておいてもよいし、リムーバブルメディア（ＣＤ－ＲＯＭ、フラッシュメモリ等）又はネットワークＮを介して所定のサーバ等からダウンロードし、非一時的記憶媒体であるストレージ２０３に格納しておき、必要な時に、ストレージ２０３から読み出すようにしてもよい。このため、コンピュータ２００は、リムーバブルメディアからデータを読み込むインタフェースを有するとよい。

【0041】

＜アプリケーションのソースコード＞
図３は、アプリケーション１が実行する処理を表すソースコードの一例を示している。

【0042】

同図の例では、ソースコードがＰｙｔｈｏｎ言語を用いて記述されている。当該ソースコードにおいては、分散分析基盤２がＰｙｔｈｏｎ特化型の分散並列処理のフレームワークであるＲａｙ（登録商標）を用いて構築されているものとして、２行目ではＲａｙ（登録商標）のライブラリをインポートしている。３行目ではリソース最適化システム１００－１により最適リソース推定する際に必要な機能等を提供する最適リソース推定ライブラリ１３をインポートしている。

【0043】

６行目以降では、処理や関数を定義している。６～８行目ではローカルで処理が実行される関数を定義している。１０～１３行目では関数にＲａｙ（登録商標）のデコレータ「＠ｒａｙ．ｒｅｍｏｔｅ（）」が付いていることにより分散分析処理部２１で処理が実行される関数を定義している。一方で、１５～１８行目と２０～２３行目の関数は前記の関数と同様にＲａｙ（登録商標）のデコレータ「＠ｒａｙ．ｒｅｍｏｔｅ（）」に加えて「ｏｐｔｉｍｉｚｅ＿ｒｅｓｏｕｒｃｅ＝Ｔｒｕｅ」のオプションが追加されている。そのため、最適リソース推定装置４によって前記関数（タスク）を実行する際に最適なリソースに分散分析処理部２１が調整された後、分散分析処理部２１で前記関数（タスク）が実行される。２４行目以降についても、同様の規則に従ってソースコードが記述されている。

【0044】

＜分析データの一例＞
図４は、対象タスクに入力される分析データの一例を示している。分析データの内容については本発明に影響なく重要ではないので、その説明は省略する。

【0045】

＜リソース量推定モデルＤＢ３１のデータ構造＞
図５は、リソース量推定モデルＤＢ３１のデータ構成の一例を示している。リソース量推定モデルＤＢ３１には、各対象タスクについて関数名などの識別子に対応付けて、リソース量推定モデルとしての、学習データを用いて予め学習済みの、データ量に対するリソース量や実行時間等に関する相関関係式が記録されている。

【0046】

＜アプリケーション１によるソースコート対応処理＞
次に、図６は、リソース最適化システム１００－１のアプリケーション１によるソースコード対応処理の一例を示すフローチャートである。当該ソースコード対応処理は、例えば、ユーザからの所定の開始操作に応じて開始される。

【0047】

始めに、最適リソース推定ライブラリ１３が、アプリケーション１が実行する処理内容を表すソースコード、及び処理の対象となる分析データを受け付ける（ステップＳ１）。次に、最適リソース推定ライブラリ１３が、ソースコード内で定義されている主要な処理の実行を開始する（ステップＳ２）。

【0048】

次に、最適リソース推定ライブラリ１３が、ソースコードを読み込み、ソースコード内からリソース最適化対象のタスク（対象タスク）を検出したか否かを判定する（ステップＳ３）。具体的には、ソースコード内にデコレータ「＠ｒａｙ．ｒｅｍｏｔｅ（ｏｐｔｉｍｉｚｅ＿ｒｅｓｏｕｒｃｅ＝Ｔｒｕｅ）」が付与された関数がある場合には対象タスクを検出したと判定する。ここで、対象タスクを検出したと判定した場合（ステップＳ３でＹＥＳ）、次に、最適リソース推定ライブラリ１３が、ソースコードに対応する処理の実行をホールドする（ステップＳ４）。

【0049】

次に、対象タスク処理部１１が、対象タスクの識別子（関数名等）、及び対象タスクに入力される分析データを最適リソース推定装置４に送信して動的リソース最適化処理の実行を要求する（ステップＳ５）。当該要求に応じ、最適リソース推定装置４が分散分析基盤２の分散分析処理部２１に対して動的リソース最適化処理を実行し、リソースを調整することになる。動的リソース最適化処理の詳細については後述する。

【0050】

分散分析処理部２１のリソースが調整された後、次に、最適リソース推定ライブラリ１３が、ステップＳ４における、ソースコードに対応する処理の実行のホールドを解除する（ステップＳ６）。次に、対象タスク処理部１１が、分散分析基盤２の分散分析処理部２１に対し、ステップＳ３で検出された、対象タスクの実行を要求する（ステップＳ７）。当該要求に応じ、分散分析基盤２では、分散分析処理部２１が対象タスクを実行する。当該要求に対する応答を確認すると、この後、ステップＳ２以降が繰り返し実行される。

【0051】

なお、ステップＳ３において、最適リソース推定ライブラリ１３が、対象タスクが検出されないと判定した場合（ステップＳ３でＮＯ）、次に、非対象タスク処理部１２が、ソースコードに残っている、リソース最適化対象ではないタスク（非対称タスク）を実行する（ステップＳ８）。以上が、アプリケーション１によるソースコード対応処理の説明である。

【0052】

＜最適リソース推定装置４による動的リソース最適化処理＞
図７は、最適リソース推定装置４による動的リソース最適化処理の一例を説明するフローチャートである。

【0053】

当該動的リソース最適化処理は、リソース対応処理（図６）のステップＳ５における対象タスク処理部１１からの実行要求に応じて開始される。

【0054】

はじめに、最適リソース推定装置４のモデル選定部４１が、リソース量推定モデル管理装置３のリソース量推定モデル３１を参照し、対象タスク処理部１１から送信されたタスクＩＤに対応するリソース量推定モデルを選定する（ステップＳ５０１）。

【0055】

次に、入力データ評価部４２が、対象タスク処理部１１から送信された、対象タスクに入力される分析データをデータセットや配列に格納する等の方法によって、そのデータ量を測定する（ステップＳ５０２）。

【0056】

次に、最適リソース推定部４３が、ステップＳ５０１で選定したリソース量推定モデル、及びステップＳ５０２で測定した分析データのデータ量に基づいて最適なリソース量を推定する（ステップＳ５０３）。

【0057】

リソーススケール管理部４４が、ステップＳ５０３で推定されたリソース量を用い、分散分析基盤２の分散分析処理部２１に対してリソースのスケールイン、またはスケールアウトを要求し（ステップＳ５０４）、分散分析処理部２１のリソース状態から要求どおりのリソース量が確保されていることを確認する（ステップＳ５０５）。

【0058】

なお、ステップＳ５０２とステップＳ５０３は順不同である。以上が、最適リソース推定装置４による動的リソース最適化処理の説明である。

【0059】

＜本発明の第２の実施形態に係るリソース最適化システム１００－２＞
次に、図８は、本発明の第２の実施形態に係るリソース最適化システム１００－２の構成例を示している。

【0060】

リソース最適化システム１００－２は、リソース最適化システム１００－１（図１）のリソース量推定モデル管理装置３に学習データＤＢ３２、及びモデル更新部３３を追加したものである。リソース最適化システム１００－２の学習データＤＢ３２、及びモデル更新部３３以外の構成要素については、リソース最適化システム１００－１（図１）の構成要素と同一の符号を付して、その説明を省略する。

【0061】

リソース最適化システム１００－２は、リソース最適化処理後の対象タスクの実行結果を学習データとして利用し、継続的にリソース量推定モデルＤＢ３１内のリソース推定モデルを更新するようになされている。

【0062】

学習データＤＢ３２には、リソース量推定モデルを算出するために必要な学習データとして、リソース最適化処理後の対象タスクの実行結果（リソース量、データ量、実行時間等）が格納される。モデル更新部３３は、学習データＤＢ３２に格納されている学習データに基づき、リソース量推定モデルを再学習し、再学習したリソース量推定モデルを上書きすることによりリソース量推定モデルＤＢ３１を更新する。

【0063】

＜学習データＤＢ３２のデータ構造＞
図９は、学習データＤＢ３２のデータ構造の一例を示している。学習データＤＢ３２には、対象タスク毎に、様々なデータ量に対応するリソース量とその実行時間が記録されている。同図の場合、異なるデータ量に対して割当てられたシーケンス番号（ｓｅｑ）に対応付けて、分散分析処理部２１におけるリソース量、当該タスクに入力されるデータのデータ量、及び当該タスクの実行に要した実行時間が記録されている。実行時間は、当該タスクにデータを入力する際の伝送遅延を含む。

【0064】

＜アプリケーション１によるソースコード対応処理＞
図１０は、リソース最適化システム１００－２のアプリケーション１によるソースコード対応処理の一例を示すフローチャートである。当該ソースコード対応処理は、リソース最適化システム１００－１のアプリケーション１によるソースコード対応処理（図６）のステップＳ７の後にステップＳ２１を追加したものである。ステップＳ１～Ｓ８については、共通であるため、その説明は適宜省略する。

【0065】

ステップＳ７において、対象タスク処理部１１が、分散分析基盤２の分散分析処理部２１に対象タスクの実行を要求すると、当該要求に応じ、分散分析基盤２の分散分析処理部２１が対象タスクを実行する。次に、最適リソース推定ライブラリ１３が、リソース量推定モデル管理装置３のモデル更新部３３に対してリソース量推定モデル更新処理の実行を要求する（ステップＳ２１）。この要求に応じ、モデル更新部３３が、リソース量推定モデル更新処理を実行する。当該対象タスクの実行要求に対する応答を確認すると、この後、ステップＳ２以降が繰り返し実行される。

【0066】

＜モデル更新部３３によるリソース量推定モデル更新処理＞
図１１は、モデル更新部３３によるリソース量推定モデル更新処理の一例を示すフローチャートである。

【0067】

はじめに、モデル更新部３３が、最適リソース推定装置４を介して分散分析基盤２から対象タスクを実行した際の結果（リソース量、データ量、実行時間等）を取得し、学習データとして学習データＤＢ３２に格納する（ステップＳ２１１）。次に、モデル更新部３３が、学習データＤＢ３２に格納した学習データを基にリソース量推定モデル（関係式）を再学習する（ステップＳ２１２）。次に、モデル更新部３３が、再学習したリソース量推定モデルを上書きすることによりリソース量推定モデルＤＢ３１を更新する（ステップＳ２１３）。以上が、モデル更新部３３によるリソース量推定モデル更新処理の説明である。

【0068】

リソース最適化システム１００－２によれば、リソース量推定モデル（関係式）を再学習したことによってリソース最適化処理の精度が向上するので、アプリケーション１によるソースコード対応処理に要する時間をより短縮することが可能となる。

【0069】

＜本発明の第３の実施形態に係るリソース最適化システム１００－３＞
次に、図１２は、本発明の第３の実施形態に係るリソース最適化システム１００－３の構成例を示している。上述したリソース最適化システム１００－１（図１）は、予め生成されたリソース量推測モデルがリソース量推定モデルＤＢ３１に格納されていることを前提としていたが、当該リソース最適化システム１００－３は、アプリケーション１によるソースコード対応処理（図６）に先行し、リソース量推測モデルを生成するようになされている。

【0070】

リソース最適化システム１００－３は、リソース最適化システム１００－２（図８）のリソース量推定モデル管理装置３からモデル更新部３３を削除し、サンプル分析データＤＢ３４、学習データ収集部３５、及びモデル生成部３６を追加したものである。リソース最適化システム１００－３のサンプル分析データＤＢ３４、学習データ収集部３５、及びモデル生成部３６以外の構成要素については、リソース最適化システム１００－１（図１），２００（図８）の構成要素と同一の符号を付して、その説明を省略する。

【0071】

サンプル分析データＤＢ３４には、タスクＴ１～Ｔｎに対して入力するためのサンプル分析データが格納される。学習データ収集部３５は、サンプル分析データＤＢ３４に格納されているサンプル分析データを用いて分散分析基盤２によってタスクＴ１～Ｔｎを実行した際に得られる、リソース量推測モデルの生成に必要な学習データを収集する。モデル生成部３６は、学習データＤＢ３２に格納されている学習データに基づいてリソース量推定モデルを生成し、リソース量推定モデルＤＢ３１に格納する。

【0072】

＜サンプル分析データの一例＞
図１３は、対象タスクに入力されるサンプル分析データの一例を示している。サンプル分析データは、各対象タスクにそれぞれ対応付けて用意されている。なお、サンプル分析データの内容については本発明に影響なく重要ではないので、その説明は省略する。

【0073】

＜リソース量推定モデル管理装置３によるリソース量推定モデル生成処理＞
図１４は、リソース量推定モデル管理装置３によるリソース量推定モデル生成処理の一例を示すフローチャートである。リソース量推定モデル生成処理は、アプリケーション１によるソースコード対応処理（図６）に先行して実行される。

【0074】

始めに、リソース量推定モデル管理装置３が、アプリケーション１が実行するソースコードを取得する（ステップＳ３１）。次に、学習データ収集部３５が、ソースコード内からデコレータ「＠ｒａｙ．ｒｅｍｏｔｅ（ｏｐｔｉｍｉｚｅ＿ｒｅｓｏｕｒｃｅ＝Ｔｒｕｅ）」が付与された関数を検出することにより、対象タスクを抽出する（ステップＳ３２）。ここで抽出された全ての対象タスクに対して、以下に説明するステップＳ３３～Ｓ３６が実行される。

【0075】

次に、学習データ収集部３５が、抽出した対象タスクに対して、サンプル分析データＤＢ３４に格納されているデータを与えながらリソース量を変化させて対象タスクを実行する（ステップＳ３３）。なお、与えるサンプル分析データについても、データの一部を切り取る等の方法でデータ量を逐次変化させて使用する。次に、学習データ収集部３５が、サンプル分析データのデータ量とリソース量との組み合わせ毎にその実行時間を計測し、学習データとして収集し、学習データＤＢ３２に格納する（ステップＳ３４）。

【0076】

次に、モデル生成部３６が、学習データＤＢ３２に格納されている学習データに基づいてリソース量推定モデルを生成する（ステップＳ３５）。リソース量推定モデルの生成に際しては、リソース量、及びデータサイズそれぞれが大きくなるとレイテンシも増加するため、レイテンシの分だけ変化量がなくなってしまう。そのため、リソース量が多くなればなるほど実行時間の変化量は逓減するため、リソース量が増えると実行時間は指数関数的に減少するものとみなす。また、データ量が多くなればなるほど実行時間の変化量は逓増するため、データ量が増えると実行時間は指数関数的に増加するものとみなす。このような条件の元で、学習データから近似線を見つけることで各対象タスクについてリソース量とデータ量と実行時間のリソース量推定モデル（関係式）を生成する。

【0077】

次に、モデル生成部３６が、生成したリソース量推定モデル（関係式）をリソース量推定モデルＤＢ３１に格納する（ステップＳ３６）。以上が、リソース量推定モデル管理装置３によるリソース量推定モデル生成処理の説明である。

【0078】

リソース最適化システム１００－３によれば、アプリケーション１によるソースコード対応処理を実行する際に前提となるリソース量推定モデルを生成できる。

【0079】

本発明は、上述した実施形態に限定されるものではなく、様々な変形が可能である。例えば、上述した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えたり、追加したりすることが可能である。

【0080】

また、前述の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、前述の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ等の記録装置、又は、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

【符号の説明】

【0081】

１・・・アプリケーション
２・・・分散分析基盤
３・・・リソース量推定モデル管理装置
４・・・最適リソース推定装置
１１・・・対象タスク処理部
１２・・・非対象タスク処理部
１３・・・最適リソース推定ライブラリ
２１・・・分散分析処理部
２２・・・分散トレーシング収集部
２３・・・分散トレーシング情報ＤＢ
３１・・・リソース量推定モデルＤＢ
３２・・・学習データＤＢ
３３・・・モデル更新部
３４・・・サンプル分析データＤＢ
３５・・・学習データ収集部
３６・・・モデル生成部
４１・・・モデル選定部
４２・・・入力データ評価部
４３・・・最適リソース推定部
４４・・・リソーススケール管理部
１００－１～１００－３・・・リソース最適化システム
２００・・・コンピュータ
２０１・・・プロセッサ
２０２・・・メモリ
２０３・・・ストレージ
２０４・・・入力デバイス
２０５・・・出力デバイス
２０６・・・通信モジュール

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】