ホーム > 特許ランキング > 日立ヴァンタラ株式会社
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-09
(45)【発行日】2024-09-18
(54)【発明の名称】管理計算機、管理システム、及び管理プログラム
(51)【国際特許分類】
G06F 11/34 20060101AFI20240910BHJP
G06F 11/30 20060101ALI20240910BHJP
G06F 9/50 20060101ALI20240910BHJP
【ＦＩ】
G06F11/34 142
G06F11/30 140A
G06F9/50 150D
【請求項の数】
15
(21)【出願番号】P 2021006670
(22)【出願日】2021-01-19
(65)【公開番号】P2022110929
(43)【公開日】2022-07-29
【審査請求日】2023-05-23
(73)【特許権者】
【識別番号】524132520
【氏名又は名称】日立ヴァンタラ株式会社
(74)【代理人】
【識別番号】110000279
【氏名又は名称】弁理士法人ウィルフォート国際特許事務所
(72)【発明者】
【氏名】仲野 香緒里
(72)【発明者】
【氏名】林 真一
(72)【発明者】
【氏名】金子 聡
【審査官】久々宇 篤志
(56)【参考文献】
【文献】特開２００９－２９４８１０（ＪＰ，Ａ）
【文献】特開２０１７－１８２４３５（ＪＰ，Ａ）
【文献】国際公開第２０１５／１９８４４０（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ １１／３４
Ｇ０６Ｆ １１／３０
Ｇ０６Ｆ ９／５０
(57)【特許請求の範囲】
【請求項1】
ジョブを実行するジョブ実行サーバと、前記ジョブ実行サーバとネットワークを介して接続され、前記ジョブによる処理に使用されるデータを格納するストレージ装置とを備えるデータ処理基盤を管理する管理計算機であって、前記管理計算機は、記憶デバイスと、前記記憶デバイスに接続されたプロセッサとを備え、
前記記憶デバイスは、前記データ処理基盤の前記ジョブ実行サーバと前記ストレージ装置との間の通信に関わる構成要素の最大のリソース量の情報である最大リソース量情報と、前記データ処理基盤の前記ストレージ装置のデータへのパスの情報であるパス情報と、前記データ処理基盤の前記構成要素の負荷の情報である負荷情報とを記憶し、
前記プロセッサは、
前記最大リソース量情報と、前記パス情報と、前記負荷情報とに基づいて、所定のジョブの実行に関わる、前記ジョブ実行サーバから前記ストレージ装置のデータへのパスを構成する構成要素の空きリソース量を計算し、
前記空きリソース量に基づいて、前記ジョブ実行サーバにおける前記所定のジョブの実行時における前記ジョブを使用する並列実行可能な処理単位に対する並列して実行可能な最大の数である並列可能数を決定する
管理計算機。
【請求項2】
前記記憶デバイスは、ジョブで並列可能な処理単位の１単位あたりのデータ容量に関する情報であるデータ容量情報を記憶し、前記プロセッサは、前記データ容量情報に基づいて、前記ジョブの並列可能な処理単位のデータのデータ容量を特定し、特定した前記データ容量に基づいて並行可能な処理単位の１単位の実行に必要なリソース量である要求リソース量を計算し、前記空きリソース量と、前記要求リソース量とに基づいて前記並列可能数を決定する
請求項１に記載の管理計算機。
【請求項3】
前記記憶デバイスは、データ転送に係る応答時間の情報である応答時間情報を更に記憶し、前記プロセッサは、前記応答時間情報と前記データ容量とに基づいて、前記要求リソース量を計算する
請求項２に記載の管理計算機。
【請求項4】
前記記憶デバイスは、ジョブに含まれるプロセスの種別毎の情報であるプロセス種別情報を記憶し、前記プロセッサは、前記プロセス種別情報と、前記所定のジョブに含まれる前記プロセスの種別とに基づいて、前記要求リソース量を計算する
請求項２に記載の管理計算機。
【請求項5】
前記プロセッサは、前記決定した並列可能数を表示させる請求項１に記載の管理計算機。
【請求項6】
前記プロセッサは、前記並列可能数に基づいて、前記ジョブ実行サーバにおけるジョブの並列可能な処理単位の実行時における並列数を設定する
請求項１に記載の管理計算機。
【請求項7】
前記プロセッサは、前記並列可能数に基づいて、前記所定のジョブの実行に必要な前記ジョブ実行サーバの性能を決定する
請求項１に記載の管理計算機。
【請求項8】
前記プロセッサは、前記所定のジョブで使用する前記データ処理基盤の前記構成要素の負荷を予測し、
前記予測した負荷に基づいて前記並列可能数を決定する
請求項１に記載の管理計算機。
【請求項9】
前記データ処理基盤の一部の構成要素は、自動的に台数を変更可能なオートスケール設定が適用されており、前記プロセッサは、前記オートスケール設定に基づいて、前記空きリソース量を計算する
請求項１に記載の管理計算機。
【請求項10】
前記記憶デバイスは、前記データ処理基盤で実行される他のジョブの開始時刻と並列数とを含む他ジョブ情報を記憶し、前記プロセッサは、
前記他ジョブ情報に基づいて、前記所定のジョブの開始時刻と前記並列可能数とを決定する
請求項１に記載の管理計算機。
【請求項11】
前記プロセッサは、前記データ処理基盤で実行される各ジョブの完了許容期限に基づいて、前記完了許容期限を満たす最小の並列数を算出し、
前記所定のジョブの実行に必要な並列数が得られない場合に、他のジョブの中から並列数を減らすジョブを決定する
請求項１に記載の管理計算機。
【請求項12】
前記プロセッサは、前記データ処理基盤で実行される各ジョブの完了許容期限に基づいて、前記完了許容期限を満たす最小の要求リソース量を算出し、
前記所定のジョブの実行に必要な並列数が得られない場合に、他のジョブの中から割り当てるリソース量を減らすジョブを決定する
請求項１に記載の管理計算機。
【請求項13】
前記所定のジョブは、複数の並列可能な処理単位に対する処理を含むプロセスを複数含み、前記プロセッサは、
前記プロセスごとに並列可能数を決定し、
前記プロセスごとの並列可能数を表示させる
請求項１に記載の管理計算機。
【請求項14】
ジョブを実行するジョブ実行サーバと、前記ジョブ実行サーバとネットワークを介して接続され、ジョブによる処理に使用されるデータを格納するストレージ装置とを備えるデータ処理基盤における前記ジョブ実行サーバ又はストレージ装置との少なくとも一方と、前記データ処理基盤を管理する管理計算機とを備える管理システムであって、前記管理計算機は、前記データ処理基盤の前記ジョブ実行サーバと前記ストレージ装置との間の通信に関わる構成要素の最大のリソース量の情報である最大リソース量情報と、前記データ処理基盤の前記ジョブ実行サーバから前記ストレージ装置のデータへのパスの情報であるパス情報と、前記データ処理基盤の前記構成要素の負荷の情報である負荷情報とを記憶し、
前記管理計算機は、
前記最大リソース量情報と、前記パス情報と、前記負荷情報とに基づいて、所定のジョブの実行に関わる前記ストレージ装置のデータへのパスを構成する構成要素の空きリソース量を計算し、
前記空きリソース量に基づいて、前記ジョブ実行サーバにおける前記所定のジョブの実行時における前記ジョブで使用する並列実行可能な処理単位に対する並列して実行可能な最大の数である並列可能数を決定する
管理システム。
【請求項15】
ジョブを実行するジョブ実行サーバと、前記ジョブ実行サーバとネットワークを介して接続され、ジョブによる処理に使用されるデータを格納するストレージ装置とを備えるデータ処理基盤を管理するコンピュータに実行させる管理プログラムであって、前記コンピュータに、
前記データ処理基盤の前記ジョブ実行サーバと前記ストレージ装置との間の通信に関わる構成要素の最大のリソース量の情報である最大リソース量情報と、前記データ処理基盤の前記ストレージ装置のデータへのパスの情報であるパス情報と、前記データ処理基盤の前記構成要素の負荷の情報である負荷情報とに基づいて、所定のジョブの実行に関わる前記ストレージ装置のデータへのパスを構成する構成要素の空きリソース量を計算させ、
前記空きリソース量に基づいて、前記ジョブ実行サーバにおける前記所定のジョブの実行時における前記ジョブで使用する並列実行可能な処理単位に対する並列して実行可能な最大の数である並列可能数を決定させる
管理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ジョブを実行するジョブ実行サーバと、ジョブ実行サーバとネットワークを介して接続され、ジョブによる処理に使用されるデータを格納するストレージ装置とを備えるデータ処理基盤を管理する技術に関する。
【背景技術】
【0002】
近年、ＩＴ（Information Technology）の分野では、一企業が保有するデータセンタ（オンプレミス）でＩＴシステムを構築するのではなく、パブリッククラウドを利用するケースが多い。一般的なパブリッククラウドは、データセンタ事業者がサーバ、ディスク（ストレージとも呼ぶ）、ネットワークなどの計算リソースをプール化し、仮想化技術などを用いて利用者ごとに分割して提供するサービスである。パブリッククラウドでは、利用した計算リソースの性能（サーバのＣＰＵコア数などの計算リソース量やディスクの種類などの品質）と利用時間に基づく従量課金が一般的である。これらの特徴から、大量のデータを比較的短期間内に処理するデータ分析システムを構築する場合は、オンプレミスで構築するよりもパブリッククラウドを利用する方が費用を抑えることができる。
【0003】
また、近年は、特定の分析目的のためのシステムではなく、組織全体でデータを活用するために、企業内データや一般公開されたデータを集約し、適切にデータを抽出・加工・転送できるデータ分析基盤（データ処理基盤の一例）をパブリッククラウドに構築する事例が増えている。
【0004】
一方で、データガバナンス等の観点から、ＩＴシステムで処理するデータに関してはパブリッククラウドに置かずに自社で管理したいというニーズがある。このようなニーズに対しては、データ分析基盤として、データを処理するコンピュータをパブリッククラウドに置く一方、データを格納したストレージ装置をオンプレミスに置き、これらをネットワークで接続するハイブリッドクラウド構成をとるケースが考えられる。
【0005】
データ分析基盤を利用するデータ分析者は、データ分析を開始する前に、集約されたデータ群（以下、データレイクと呼ぶ）のデータカタログから分析目的に応じて利用するデータを選択し、必要なデータを抽出・加工・転送する処理（以下、ＥＴＬ処理と呼ぶ）を実行して、特定の分析目的用のデータ群として別の保存領域に保存する。このＥＴＬ処理は、類似した複数のデータに対して同じ処理を行うため、これらの処理は、並列に実行可能であることが多い。例えば、処理を並列実行可能な場合においては、データ分析者は、できるだけ早くデータ処理を完了させるために、データを処理するコンピュータ（例えば、サーバ）の性能や数量、および、処理の並列数を大きく設定して処理を実行する場合がある。
【0006】
しかし、データ分析者はデータ分析基盤のシステム構成を把握していないため、データ処理用のコンピュータにデータを転送するためのサーバやネットワークやストレージ装置がどの程度のデータ転送量でボトルネックになるかを見積もることはできない。そのため、データ転送のためのシステムが処理性能のボトルネックとなり、コンピュータの性能、数量、および実行可能な処理の並列数を増やしても処理時間が短くならず、処理を実行するコンピュータをパブリッククラウドに置いている場合には、パブリッククラウドの従量課金制により、課金額が大きくなってしまう。
【0007】
例えば、特許文献１には、サーバ装置に対して同時送信する処理要求の数（サーバ装置における並列処理数）を変えた各条件下で、条件ごとの応答時間を測定して、その処理効率を推定し、その推定結果に基づいてサーバ装置における最適な最大並列処理数を決定する技術が開示されている。
【先行技術文献】
【特許文献】
【0008】
【文献】特開２００６－２２１５１６号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
しかし、データ分析基盤では、データを転送するために構築されたサーバ、ネットワーク、ストレージ装置の構成要素が複数のデータ処理と共有されるため、利用状況によってデータの最大転送速度は変動する。また、ハイブリッドクラウド構成のデータ分析基盤では、データを処理するコンピュータと、データとがネットワーク的に離れた場所に配置され、ネットワークは複数の企業で共有されるため、１つのデータを送受信するためにかかる時間は変動し、データ処理から要求されるデータ転送速度も変動する。そのため、同一のデータ処理内容であっても最適な並列処理数は固定的ではなく、特許文献１の技術では、最適な並列処理数を決定できない。
【0010】
本発明は、上記事情に鑑みなされたものであり、その目的は、ジョブを実行するジョブ実行サーバと、ジョブ実行サーバとネットワークを介して接続され、ジョブによる処理に使用されるデータを格納するストレージ装置とを備えるデータ処理基盤において、ジョブ実行サーバでのジョブの実行に適した処理の並列数を適切に決定することのできる技術を提供することにある。
【課題を解決するための手段】
【0011】
上記目的を達成するため、一観点に係る管理計算機は、ジョブを実行するジョブ実行サーバと、前記ジョブ実行サーバとネットワークを介して接続され、前記ジョブによる処理に使用されるデータを格納するストレージ装置とを備えるデータ処理基盤を管理する管理計算機であって、前記管理計算機は、記憶デバイスと、前記記憶デバイスに接続されたプロセッサとを備え、前記記憶デバイスは、前記データ処理基盤の前記ジョブ実行サーバと前記ストレージ装置との間の通信に関わる構成要素の最大のリソース量の情報である最大リソース量情報と、前記データ処理基盤の前記ストレージ装置のデータへのパスの情報であるパス情報と、前記データ処理基盤の前記構成要素の負荷の情報である負荷情報とを記憶し、前記プロセッサは、前記最大リソース量情報と、前記パス情報と、前記負荷情報とに基づいて、所定のジョブの実行に関わる、前記ジョブ実行サーバから前記ストレージ装置のデータへのパスを構成する構成要素の空きリソース量を計算し、前記空きリソース量に基づいて、前記ジョブ実行サーバにおける前記所定のジョブの実行時における前記ジョブで使用する並列実行可能な処理単位に対する並列して実行可能な数である並列可能数を決定する。
【発明の効果】
【0012】
本発明によれば、データ処理基盤において、ジョブ実行サーバでのジョブの実行に適した処理の並列数を適切に決定することができる。
【図面の簡単な説明】
【0013】
【発明を実施するための形態】
【0014】
本発明の以下の説明において、開示の一部をなす添付図面を参照するが、これらは本発明を実施できる例示的な実施形態を示すものであって本発明を限定するものではない。これらの図面において、複数の図を通じて同一の符号は同一の構成要素を示している。更に、詳細な説明は各種の例示的な実施形態を提供するが、以下に記述および図示するように、本発明は本明細書に記述および図示する実施形態に限定されるものではなく、当業者には公知または将来公知となる他の実施形態に拡張できる点に注意されたい。
【0015】
また、以下の説明において、本発明を完全に理解されるよう多くの具体的な詳細事項を開示している。しかし、当業者には明らかなように、本発明を実施するためにこれらの具体的な詳細事項のすべてが必要な訳ではない。他の状況において、本発明を無用に分かり難くしないよう、公知の構造、材料、回路、処理およびインタフェースについては詳細に記述せず、および／またはブロック図の形式で示す場合がある。
【0016】
また、以下の説明では、「プログラム」を動作主体として処理を説明する場合があるが、プログラムは、プロセッサ（例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ））によって実行されることで、定められた処理を、適宜に記憶デバイス（例えばメモリ）及び／又はインターフェースデバイス等を用いながら行うため、処理の主体が、プロセッサ（或いは、そのプロセッサを有する装置又はシステム）とされてもよい。また、プロセッサは、処理の一部または全部を行うハードウェア回路を含んでもよい。プログラムは、プログラムソースから計算機のような装置にインストールされてもよい。プログラムソースは、例えば、プログラム配布サーバまたは計算機が読み取り可能な記憶メディアであってもよい。また、以下の説明において、２以上のプログラムが１つのプログラムとして実現されてもよいし、１つのプログラムが２以上のプログラムとして実現されてもよい。
【0017】
また、以下の説明では、計算機、サーバ、コンピュータと記載する場合は、物理的なコンピュータであってもよいし、仮想化技術などで物理的なコンピュータを仮想的に分割した仮想マシンやコンテナであってもよい。
【0018】
また、以下の説明では、同種の要素を区別して説明する場合は、その要素の参照符号を使用し、同種の要素を区別しないで説明する場合は、その要素の参照符号のうちの共通の親符号を使用することがある。例えば、サーバを特に区別しないで説明する場合には、サーバ１５０と記載し、個々のサーバを区別して説明する場合には、サーバ１５０ａ，１５０ｂのように記載することがある。
【0019】
また、以下では、抽出・加工・転送する処理のうち１つまたは複数を組み合わせた処理をＥＴＬ処理と呼ぶことがある。
【0020】
また、ＩＴシステムを構成する物理的または仮想的な計算機、ネットワーク、ストレージ、ＯＳ（Operating System）、ミドルウェア等を総称してＩＴインフラと呼ぶことがある。
【0021】
また、以下の説明では、「ＡＡＡテーブル」の表現にて情報を説明することがあるが、情報は、どのようなデータ構造で表現されていてもよい。すなわち、情報がデータ構造に依存しないことを示すために、「ＡＡＡテーブル」を「ＡＡＡ情報」と呼ぶことができる。
【0022】
≪第１実施形態≫
図１は、第１実施形態に係るデータ分析基盤管理システムの論理的な全体構成図である。
図１は、第１実施形態に係るデータ分析基盤管理システムの論理的な全体構成図である。
【0023】
データ分析基盤管理システム１は、管理システムの一例であり、データ分析者が指定したデータを処理するデータ分析基盤１００と、データ分析基盤を管理する管理計算機２００とを備える。
【0024】
データ分析基盤１００は、データ処理基盤の一例であり、データ分析に用いるデータを保存するストレージ装置１３０と、指定された範囲のデータを転送するための１以上のＲＤＢＭＳ（relational database management system）サーバ１２０（１２０ａ，１２０ｂ，１２０ｃ）と、データに対して所定の処理（例えば、ＥＴＬ処理）を実行する１以上のジョブ実行サーバ１１０（１１０ｄ、１１０ｅ）とを備える。ストレージ装置１３０と、ＲＤＢＭＳサーバ１２０と、ジョブ実行サーバ１１０は、ネットワーク１４０（図２参照）を介して接続されている。ジョブ実行サーバ１１０と、ＲＤＢＭＳサーバ１２０とは、物理的なコンピュータ（計算機）であってもよいし、仮想化技術などで物理的なコンピュータを仮想的に分割した仮想マシンやコンテナであってもよい。
【0025】
データ分析基盤１００においては、ジョブ実行サーバ１１０と、ＲＤＢＭＳサーバ１２０とは、パブリッククラウド環境１０１に配置され、ストレージ装置１３０はオンプレミス環境１０２に配置されている。ジョブ実行サーバ１１０、ＲＤＢＭＳサーバ１２０、及びストレージ装置１３０との配置についてはこれに限定せず、いずれのＩＴインフラをオンプレミス環境あるいはパブリッククラウド環境に配置してもよい。
【0026】
ストレージ装置１３０は、１以上のＩ／Ｏポート１３１（１３１ａ，１３１ｂ）と、ディスクを仮想的に分割した１以上のボリューム１３２（１３２ａ，１３２ｂ，１３２ｃ）とを有する。Ｉ／Ｏポート１３１は、ネットワークを介してサーバ（ジョブ実行サーバ１１０、ＲＤＢＭＳサーバ１２０）にデータを転送するためのインタフェースである。ボリューム１３２は、ジョブ実行サーバ１１０におけるデータ分析処理に利用するデータを格納する記憶装置である。例えば、ボリューム１３２ａには、ＲＤＢＭＳサーバＤＢ１（ＲＤＢＭＳサーバ１２０ａ）に管理されるテーブルＤＢ１＿Ｔａｂｌｅ１（ＤＢ１＿Ｔａｂｌｅ１３３ａ）が格納される。
【0027】
ＲＤＢＭＳサーバ１２０は、ネットワークインタフェースデバイス（ネットワークＩ／Ｆ）１５３を有する。ネットワークＩ／Ｆ１５３は、ジョブ実行サーバ１１０からの要求に基づいてボリューム１３２からデータを受信、あるいは、ボリューム１３２へデータを送信するためのインタフェースである。
【0028】
例えば、データ分析基盤１００では、データ分析者が、図示しない計算機等を用いてＥＴＬ処理を実施するデータをストレージ装置１３０内にあるデータから選択し、処理内容を決定すると、ジョブ実行サーバ１１０ａがＲＤＢＭＳサーバ１２０ａを介してボリューム１３２ａから指定されたデータを取得し、加工処理をした後、ＲＤＢＭＳサーバ１２０ｃを介してボリューム１３２ｃに加工後のデータを格納する。ここで、所定のデータに対して実行するＥＴＬ処理をジョブと呼ぶことがある。また、ＥＴＬ処理を構成する各々のデータ抽出・加工処理をプロセスと呼ぶことがある。
【0029】
管理計算機２００は、構成情報記憶部３００と、負荷情報記憶部４００と、応答時間情報記憶部５００と、データ属性情報記憶部６００と、プロセス種別情報記憶部７００と、登録ジョブ情報記憶部８００とを有する。
【0030】
構成情報記憶部３００は、管理対象のデータ分析基盤１００を構成するＩＴインフラの構成情報を記憶する。負荷情報記憶部４００は、データ分析基盤１００を構成するＩＴインフラの構成要素のそれぞれの負荷の時系列データを記憶する。応答時間情報記憶部５００は、データ転送のためのＲＤＢＭＳサーバ１２０からボリューム１３２の所定のサイズのデータを読み込む、あるいは、書き込むためにかかる時間（応答時間）を記憶する。データ属性情報記憶部６００は、データ分析処理に使用するストレージ装置１３０内に格納されたデータの属性情報を記憶する。
【0031】
構成情報記憶部３００、負荷情報記憶部４００、応答時間情報記憶部５００、及びデータ属性情報記憶部６００に格納される情報は、管理対象情報収集プログラム５２０００を実行する管理計算機２００のプロセッサによってデータ分析基盤１００から収集され、任意のタイミングで更新される。
【0032】
プロセス種別情報記憶部７００は、ジョブ実行サーバ１１０が実行する処理の内容に応じて分類されたプロセスにおける、所定の処理単位の１回の処理の実行に要する処理計算時間と、処理単位で扱うデータ単位に関する情報を記憶する。登録ジョブ情報記憶部８００は、データ分析者によって入力部５１１００から登録されたジョブの情報を記憶する。
【0033】
次に、本実施形態の管理計算機２００の処理概要について説明する。
【0034】
管理計算機２００は、新たなジョブが登録されたことを検知した場合、ジョブ実行の遅延を検知した場合、実行中のジョブのデータ転送パスの負荷が大きく変動したことを検知した場合、あるいは、任意のタイミングにおいて、空きリソース量計算プログラム９００を起動して実行する。空きリソース量計算プログラム９００（厳密には、空きリソース量計算プログラム９００を実行する管理計算機２００のＣＰＵ２１１（図２参照））は、登録ジョブ情報記憶部８００に記憶された所定のジョブ（例えば、新しく登録されたジョブ）の情報を取得し、ジョブ実行時にデータを転送するためのパスの情報（パス情報）と、パス上の構成要素の最大性能（最大リソース量）と、パス上の構成要素それぞれの負荷とを、構成情報記憶部３００と負荷情報記憶部４００とから取得して、パス上の構成要素の空きリソース量を計算する。
【0035】
次に、要求リソース量計算プログラム１０００（厳密には、要求リソース量計算プログラム１０００を実行するＣＰＵ２１１）は、所定のジョブ情報に関連するパスにおける応答時間と、ジョブが処理するデータのデータ属性情報と、ジョブを構成するプロセスが属するプロセス種別の情報とに基づいて、プロセスでの１処理単位のデータを１回処理する際のデータ転送において、パス上の構成要素にかかる負荷を計算する。次に、最大並列数計算プログラム１１００は、空きリソース量計算プログラム９００が導出したパス上の各構成要素の空きリソース量と、要求リソース量計算プログラム１０００が導出したパス上の各構成要素の１処理単位あたりにかかる各構成要素の負荷とから、プロセスにおいて処理単位の処理を並列で実行可能な最大の数（最大並列数）を計算し、表示部５１２００に出力する。なお、表示部５１２００が表示する情報は、ネットワークを介して接続された外部のコンピュータのデバイスに表示するようにしてもよい。
【0036】
管理計算機２００によると、例えば、新しいジョブが登録されると、データ転送のためのＩＴインフラの負荷から、新しいジョブ実行時にＩＴインフラがボトルネックにならないプロセスの最大並列数が導出される。これにより、データ分析者はジョブ実行時に、ジョブが最も早く完了し、かつ、ジョブ実行サーバ１１０の処理においてＩＴインフラがボトルネックにならないように、ジョブ実行サーバ１１０の性能や数量を設定できる。このため、パブリッククラウド環境１０１におけるジョブ実行サーバ１１０の使用にかかる課金額を小さくするようにすることができる。なお、ジョブ実行サーバ１１０の性能や数量については、データ分析者が設定せずに、管理計算機２００がデータ分析者によらず自動で設定するようにしてもよい。
【0037】
より具体的には、ジョブ実行サーバ２（１１０ｅ）が、Ｉ／Ｏポート１３１ａを経由して、ＤＢテーブルＤＢ２＿Ｔａｂｌｅ１のデータを逐次読み込んで処理している場合において、ＤＢ１＿Ｔａｂｌｅ１～ＤＢ１＿Ｔａｂｌｅ９９９の各テーブルを逐次読み込むジョブ実行サーバ１（１１０ｄ）が起動された際、ジョブ実行サーバ２（１１０ｂ）によるＩ／Ｏポート１３１ａの負荷を考慮して、Ｉ／Ｏポート１３１ａがボトルネックとならないようにジョブ実行サーバ１（１１０ｄ）の処理の並列数（並列処理数）を決定できる。
【0038】
データ分析基盤管理システム１のより具体的な構成について説明する。
【0039】
図２は、第１実施形態に係るデータ分析基盤管理システムの物理的な構成を含む全体構成図である。
【0040】
データ分析基盤１００は、１以上のサーバ１５０（１５０ａ～１５０ｅ）と、ストレージ装置１３０とを有する。サーバ１５０とストレージ装置１３０とは、ネットワーク１４０を介して通信可能に接続されている。ネットワーク１４０は、例えば、アマゾン社のAWS Direct Connect（登録商標）のようにオンプレミス環境とパブリッククラウド環境とを専用線で通信可能にし、かつ、ユーザ毎にネットワーク帯域を仮想的に分割して提供されるネットワークサービスのネットワークであってよい。このネットワークサービスにおいては、ユーザに対して、利用できるネットワークの最大帯域が定義されていてもよい。
【0041】
管理計算機２００は、例えば、汎用計算機で構成され、プロセッサの一例としてのＣＰＵ２１１と、メモリ２１２と、ディスク２１３と、入力デバイス２１４と、ネットワークインタフェースデバイス（ネットワークＩ／Ｆ）２１５と、出力デバイス２１７とを含む。これらのデバイスは、システムバス２１６を介して接続されている。なお、管理計算機２００は、複数のコンピュータにより構成されてもよく、処理効率などに応じて分散及び統合は任意である。
【0042】
ＣＰＵ２１１は、メモリ２１２及び／又はディスク２１３に格納されているプログラムに従って各種処理を実行する。
【0043】
ディスク２１３は、記憶デバイスの一例であり、例えば、ＨＤＤ（Hard Disk Drive）や、ＳＳＤ（Solid State Drive）等の不揮発性記憶デバイスである。ディスク２１３は、構成情報記憶部３００と、負荷情報記憶部４００と、応答時間情報記憶部５００と、データ属性情報記憶部６００と、プロセス種別情報記憶部７００と、登録ジョブ情報記憶部８００とを有する。なお、これらの少なくとも１つの記憶部は、ＣＰＵ２１１が参照可能な他の適当な記憶領域に有していてもよい。
【0044】
メモリ２１２は、記憶デバイスの一例であり、例えば、ＲＡＭ（ＲＡＮＤＯＭ ＡＣＣＥＳＳ ＭＥＭＯＲＹ）であり、ＣＰＵ２１１で実行されるプログラムや、必要な情報を記憶する。メモリ２１２は、管理対象情報収集プログラム５２０００と、空きリソース量計算プログラム９００と、要求リソース量計算プログラム１０００と、最大並列数計算プログラム１１００とを記憶する。これらのうちの少なくとも１つのプログラムは、ＣＰＵ２１１が参照可能な他の適当な記憶領域に記憶されてよい。また、各プログラムは、コンピュータ読み取り可能な不揮発性の記録媒体に記憶され、読み取り装置によって読み出されたり、ネットワークＩ／Ｆ２１５を介して外部の装置から取得されたりしてもよい。
【0045】
ネットワークＩ／Ｆ２１５は、ネットワーク１４０を介して他の装置（サーバ１５０、ストレージ装置１３０）との間で通信を行う。ネットワークＩ／Ｆ２１５は、例えば、サーバ１５０及びストレージ装置１３０等の管理計算機２００の管理対象の装置から構成情報、負荷情報等の各種情報を取得する。
【0046】
出力デバイス２１７は、例えば、ディスプレイ、プリンタ等のデバイスであり、各プログラムが導出する、あるいは、ディスク２１３に記憶された各種情報を出力（典型的には表示）する。入力デバイス２１４は、例えば、キーボード、ポインタデバイス等のデバイスであり、ユーザの指示入力を受け付ける。
【0047】
サーバ１５０は、例えば、汎用計算機であり、メモリ１５２と、ネットワークＩ／Ｆ１５３と、ＣＰＵ１５１とを含む。サーバ１５０は、更に、ＨＤＤのような不揮発性記憶デバイスで構成されたディスクを有してもよい。ＣＰＵ１５１は、メモリ１５２及び／又は図示しないディスクに格納されているプログラムに従って各種処理を実行する。メモリ１５２は、例えば、ＲＡＭであり、ＣＰＵ１５１で実行されるプログラムや、必要な情報を記憶する。ネットワークＩ／Ｆ１５３は、ネットワーク１４０を介して他の装置（ストレージ装置１３０、サーバ１５０、管理計算機２００等）との間で通信を行う。
【0048】
サーバ１５０には、ジョブ実行サーバ１１０（１１０ｄ、１１０ｅ）を構成するサーバ（１５０ｄ、１５０ｅ）と、ＲＤＢＭＳサーバ１２０を構成するサーバ（１５０ａ、１５０ｂ、１５０ｃ）とを含む。
【0049】
ジョブ実行サーバ１１０（１１０ｄ、１１０ｅ）を構成するサーバ（１５０ｄ、１５０ｅ）のメモリ１５２は、データ分析者に登録されたジョブを実行するジョブ実行プログラム１１１と、ジョブの処理の並列実行を制御する並列処理管理プログラム１１２とを記憶する。ジョブ実行サーバ１１０（１１０ｄ、１１０ｅ）を構成するサーバ（１５０ｄ、１５０ｅ）は、例えば、管理計算機２００から要求された場合、ネットワーク１４０を介してサーバ１５０の構成情報、負荷情報、応答時間情報等を送信する機能を有している。
【0050】
ＲＤＢＭＳサーバ１２０を構成するサーバ（１５０ａ、１５０ｂ、１５０ｃ）のメモリ１５２は、指定されたデータを取得して転送するＲＤＢＭＳソフトウェア１２１を記憶する。ＲＤＢＭＳサーバ１２０を構成するサーバ（１５０ａ、１５０ｂ、１５０ｃ）は、例えば、管理計算機２００から要求された場合、ネットワーク１４０を介してサーバ１５０の構成情報、負荷情報、応答時間情報等を送信する機能や、管理するデータのデータ属性情報を送信する機能を有している。
【0051】
ストレージ装置１３０は、サーバ１５０上で動作するプログラム用の記憶領域（論理ボリューム）を提供する装置である。ストレージ装置１３０は、１以上のＩ／Ｏポート１３１と、１以上のボリューム１３２（図では、１３２ａ、１３２ｂ、１３２ｃ）と、ＣＰＵ等のストレージプロセッサ１３４と、を備える。
【0052】
Ｉ／Ｏポート１３１は、ネットワーク１４０を介して接続された装置（例えば、サーバ１５０、管理計算機２００等）と通信するためのインタフェースである。
【0053】
ボリューム１３２は、データ分析に利用するデータを格納する記憶装置である。ボリューム１３２は、ディスクを仮想的に分割した記憶装置である。ボリューム１３２を構成するディスクは、１以上のＨＤＤ、ＳＳＤ等の不揮発性記憶デバイスであってもよい。ボリューム１３２は、複数のＨＤＤで構成されたＲＡＩＤ（Redundant Array of Independent (or Inexpensive) Disks）グループであってもよい。例えば、ボリューム１３２ａには、ＲＤＢＭＳサーバＤＢ１に管理されるテーブルＤＢ１＿Ｔａｂｌｅ１が格納される。ボリューム１３２上のデータはボリューム１３２に割り当てられた１以上のＩ／Ｏポート１３１を介して転送される。
【0054】
なお、ストレージ装置１３０は、サーバ１５０に対して記憶領域としてボリュームを提供してもよい。この場合には、ストレージ装置１３０は、ストレージ装置１３０の構成情報、負荷情報等を管理計算機２００に送信してもよい。
【0055】
＜構成情報記憶部３００＞
図３は、第１実施形態に係る構成情報記憶部のテーブルの構成図である。
図３は、第１実施形態に係る構成情報記憶部のテーブルの構成図である。
【0056】
構成情報記憶部３００は、構成要素情報テーブル３１０と、パス情報テーブル３２０とを格納する。
【0057】
構成要素情報テーブル３１０は、データ分析基盤１００を構成するＩＴインフラの構成要素の最大のリソース量（性能値）を記憶するテーブルであり、構成要素ごとのエントリを格納する。
【0058】
構成要素情報テーブル３１０のエントリは、構成要素ＩＤ３１１、監視メトリック種別３１２、及び最大性能値３１３とのフィールドを備える。構成要素ＩＤ３１１には、管理対象のデータ分析基盤１００を構成するＩＴインフラの構成要素を一意に識別する値（構成要素ＩＤ）が格納される。監視メトリック種別３１２には、構成要素の性能の監視される項目を識別する値（メトリック種別、監視メトリック種別）が格納される。最大性能値３１３には、エントリに対応する構成要素ＩＤの構成要素が、エントリに対応するメトリック種別の項目の性能についての最大値（最大性能値：最大リソース量）が格納される。最大性能値３１３には、最大性能値の大きさを示す単位情報が含まれていてよい。最大性能値３１３に格納される最大性能値は、構成要素の物理的な限界値が格納されていてもよいし、性能障害が発生しないように物理的な限界値に対してマージンを取った値でもよい。
【0059】
例えば、エントリ３１０１は、以下の内容を示す。すなわち、構成要素ＩＤが「Ｉ／Ｏポート１３１ａ」の構成要素（ここでは、Ｉ／Ｏポート１３１ａ）のデータ受信時の転送速度（受信転送速度）の最大性能値は１０Ｇｂｐｓであることを示す。
【0060】
パス情報テーブル３２０は、所定のデータをジョブ実行サーバ１１０に転送する、または、ジョブ実行サーバ１１０から転送するためにデータが入出力されるパスにおける構成要素のリスト（パス情報）を記憶するテーブルであり、データを格納するデータ群ごとのエントリを記憶する。パス情報テーブル３２０のエントリは、データＩＤ３２１、ネットワークＩ／ＦＩＤ３２２、ネットワークＩＤ３２３、Ｉ／ＯポートＩＤ３２４、及びボリュームＩＤ３２５のフィールドを備える。
【0061】
データＩＤ３２１には、管理対象のデータ分析基盤１００においてデータ分析者が利用できるように分類、分割されたデータ群、及び、データの格納先を一意に識別する値（データＩＤ）が格納される。例えば、上場企業ごとに作成され、１行（１エントリ）ごとに日付と、その１日の始値と終値とが記憶された株価の分析のための１つのデータベーステーブルを１つのデータ群としてもよい。
【0062】
ネットワークＩ／ＦＩＤ３２２には、エントリに対応するデータＩＤが示すデータ群のデータをジョブ実行サーバ１１０に転送するサーバ（例えば、ＲＤＢＭＳサーバ１２０）のネットワークＩ／Ｆを一意に識別する値（ネットワークＩ／ＦＩＤ）が格納される。ネットワークＩＤ３２３には、エントリに対応するデータＩＤが示すデータ群のデータをジョブ実行サーバ１１０に転送するネットワークを一意に識別する値（ネットワークＩＤ）が格納される。Ｉ／ＯポートＩＤ３２４には、エントリに対応するデータＩＤ３２１が示すデータ群のデータをジョブ実行サーバ１１０に転送するストレージ装置１３０のＩ／Ｏポート１３１を一意に識別する値（Ｉ／ＯポートＩＤ）が格納される。ボリュームＩＤ３２５には、エントリに対応するデータＩＤ３２１が示すデータ群のデータが格納されたボリューム１３２を一意に識別する値（ボリュームＩＤ）が格納される。
【0063】
例えば、パス情報テーブル３２０のエントリ３２０１は、データＩＤが「ＤＢ１＿Ｔａｂｌｅ１」のデータ群のデータをジョブ実行サーバ１１０に転送するパスは、「ネットワークＩ／Ｆ１２１ａ」と、「ネットワーク１４０」のネットワークと、「Ｉ／Ｏポート１３１ａ」とを経由して「ボリューム１３２ａ」から転送されるパスであることを示す。なお、１つのデータＩＤのデータ群に対して、複数のパスがあってもよい。例えば、１つのボリューム１３２に対して複数のＩ／Ｏポート１３１が割り当てられ、いずれかのＩ／Ｏポート１３１を介してデータが転送される場合には、パスは複数になる。また、パス情報テーブル３２０は、エントリ３２０１のようにＥＴＬ処理に使用するデータを読み出すパスだけでなく、エントリ３２０４のようにＥＴＬ処理後のデータを格納するためのパスも記憶される。また、本実施形態においては、パス情報はデータ、ネットワークＩ／Ｆ、ネットワーク、Ｉ／Ｏポート、ボリュームで構成したが、ボトルネックとなり得るそのほかの構成要素を入れてもよい。例えば、データを転送する際に負荷が発生するストレージプロセッサやＲＤＢＭＳサーバのＣＰＵなどを含めてもよい。
【0064】
なお、本実施形態においては、構成要素情報テーブル３１０やパス情報テーブル３２０に格納される構成要素ＩＤは、物理的な構成要素を識別する値であっても、物理的な構成要素を仮想的に統合、あるいは、分割した構成要素を識別する値であってもよい。例えば、複数のＩ／Ｏポートが仮想的に統合されている場合は、統合されている仮想的なＩ／Ｏポートの１つの識別子としてもよい。逆に、１つのＩ／Ｏポートを複数の仮想的なＩ／Ｏポートに分割し、それぞれに対してリソースの上限値を設定している場合には、それぞれの仮想的なＩ／Ｏポートのそれぞれの識別子としてもよい。また、ＲＤＢＭＳソフトウェアなどによってＲＤＢＭＳサーバ１２０やボリューム１３２が仮想化されている場合も同様に複数の物理的な構成要素を１つの構成要素とした識別子としてもよい。
【0065】
＜負荷情報記憶部４００＞
負荷情報記憶部４００は、管理対象情報収集プログラム５２０００によって収集されたデータ分析基盤１００の各構成要素における、監視メトリック種別毎に監視された負荷の時系列推移を記憶する負荷情報テーブルを格納する。
負荷情報記憶部４００は、管理対象情報収集プログラム５２０００によって収集されたデータ分析基盤１００の各構成要素における、監視メトリック種別毎に監視された負荷の時系列推移を記憶する負荷情報テーブルを格納する。
【0066】
図４は、第１実施形態に係る負荷情報記憶部の負荷情報テーブルの構成図である。
【0067】
負荷情報記憶部４００は、構成要素と監視メトリック種別との組合せ毎に負荷情報テーブル（４１０，４２０，４３０等）を記憶する。なお、本実施形態では、負荷情報記憶部４００は、例えば、構成要素情報テーブル３１０のエントリの数（構成要素と監視メトリック種別との組合せの数）と同じ数の負荷情報テーブルを記憶する。負荷情報テーブル４１０は、Ｉ／Ｏポート１３１ａの受信転送速度に対応する負荷情報テーブルの一例であり、負荷情報テーブル４２０は、Ｉ／Ｏポート１３１ａの送信転送速度に対応する負荷情報テーブルの一例であり、負荷情報テーブル４３０は、ボリューム１３２ａの転送速度に対応する負荷情報テーブルの一例である。
【0068】
負荷情報テーブル（４１０，４２０，４３０）のエントリは、時刻４０１（４０１ａ，４０１ｃ，４０１ｅ）と、観測値４０２（４０２ｂ，４０２ｄ，４０２ｆ）とのフィールドを含む。時刻４０１には、構成要素の監視メトリック種別における負荷を観測した時刻が格納される。観測値４０２には、観測した負荷の値が格納される。例えば、負荷情報テーブル４１０のエントリ４１０１は、以下の内容を示す。すなわち、Ｉ／Ｏポート１３１ａの受信転送速度の負荷は、２０２０年１月１日０時０分において２．０Ｇｂｐｓであったことを示す。
【0069】
＜応答時間情報記憶部５００＞
応答時間情報記憶部５００は、データ転送のためのＲＤＢＭＳサーバ１２０からボリューム１３２に記憶された所定のデータを所定のサイズで読み込む、あるいは、書き込む際にかかる時間（応答時間と呼ぶことがある）の情報を記憶する応答時間情報テーブル５１０を格納する。例えば、ＲＤＢＭＳサーバ１２０が、所定のデータを読み書きし、読み書きにおける応答時間を計測する応答時間計測プログラムを実行し、その応答時間計測プログラムにより計測された応答時間の情報を管理対象情報収集プログラム５２０００が応答時間情報テーブル５１０に記憶するようにしてもよい。応答時間計測プログラムは、ジョブ実行サーバ１１０や、ジョブ実行サーバ１１０と同じ環境にあるその他の計算機で実行されてもよい。応答時間計測プログラムによる応答時間の計測は定期的に実施されてよいし、後述する要求リソース量計算処理（図１１参照）を実行する直前に実施されてもよい。
応答時間情報記憶部５００は、データ転送のためのＲＤＢＭＳサーバ１２０からボリューム１３２に記憶された所定のデータを所定のサイズで読み込む、あるいは、書き込む際にかかる時間（応答時間と呼ぶことがある）の情報を記憶する応答時間情報テーブル５１０を格納する。例えば、ＲＤＢＭＳサーバ１２０が、所定のデータを読み書きし、読み書きにおける応答時間を計測する応答時間計測プログラムを実行し、その応答時間計測プログラムにより計測された応答時間の情報を管理対象情報収集プログラム５２０００が応答時間情報テーブル５１０に記憶するようにしてもよい。応答時間計測プログラムは、ジョブ実行サーバ１１０や、ジョブ実行サーバ１１０と同じ環境にあるその他の計算機で実行されてもよい。応答時間計測プログラムによる応答時間の計測は定期的に実施されてよいし、後述する要求リソース量計算処理（図１１参照）を実行する直前に実施されてもよい。
【0070】
図５は、第１実施形態に係る応答時間情報テーブルの構成図である。
【0071】
応答時間情報テーブル５１０は、時刻５１１と、データＩＤ５１２と、処理種別５１３と、応答時間５１４とのフィールドを備える。時刻５１１には、応答時間を計測した時刻が格納される。データＩＤ５１２には、応答時間を計測のために読み込んだデータ、あるいは、書き込んだデータの格納先を一意に識別する値（格納先ＩＤ）が格納される。格納先ＩＤとしては、例えば、読込んだデータのデータ群がデータ格納先に対応する場合には、データ群のデータＩＤであってもよい。処理種別５１３には、応答時間の計測時に実行した処理の種別（処理種別）、例えば、データの読み込み処理であるか、書き込み処理であるかを識別する値が格納される。応答時間５１４には、計測した応答時間が格納される。応答時間は、１回の計測における応答時間でもよいし、複数回実施して得られたそれぞれの時間の平均値や最大値でもよい。
【0072】
例えば、エントリ５００３は、以下の内容を示す。２０２０年１月１日０時０分にデータＩＤが「ＤＢ３＿Ｔａｂｌｅ１」のデータ群のデータが、格納先へ所定のサイズのデータを書き込む際にかかった時間が１０ｍｓ（ミリ秒）であったことを示す。なお、本実施形態においては、応答時間の計測は、データＩＤのデータ群のデータ、及び、データ格納先ごとに実施しているが、ボリュームごとやＲＤＢＭＳサーバごとに実施してもよい。また、パスが同じデータに関しては、応答時間の計測を１回にまとめて実施してもよい。
【0073】
＜データ属性情報記憶部６００＞
データ属性情報記憶部６００は、管理対象のデータ分析基盤１００においてデータ分析者が利用できるように分類、分割されたデータ群の属性（例えば、データの容量）に関する情報（データ属性情報）を記憶するデータ属性情報テーブル６１０を格納する。
データ属性情報記憶部６００は、管理対象のデータ分析基盤１００においてデータ分析者が利用できるように分類、分割されたデータ群の属性（例えば、データの容量）に関する情報（データ属性情報）を記憶するデータ属性情報テーブル６１０を格納する。
【0074】
図６は、第１実施形態に係るデータ属性情報テーブルの構成図である。
【0075】
データ属性情報テーブル６１０は、データ群ごとのエントリを格納する。データ属性情報テーブル６１０のエントリは、データＩＤ６１１と、データ容量６１２とのフィールドを備える。データＩＤ６１１には、データ分析者が利用できるように分類、分割されたデータ群を一意に識別する値（データＩＤ）が格納される。データ容量６１２には、エントリに対応するデータＩＤのデータ群の容量（データ容量）が格納される。
【0076】
例えば、エントリ６００１は、以下の内容を示す。すなわち、データＩＤが「ＤＢ１＿Ｔａｂｌｅ１」のデータ群のデータのデータ容量が５０ＭＢであることを示す。
【0077】
本実施形態においては、以降で、１つのＲＤＢテーブルを並列可能な処理単位の１単位としてＥＴＬ処理を実行する例を挙げるため、データ属性情報テーブル６１０では、１つのＲＤＢテーブルを単位としてデータ容量を記憶している。ＥＴＬ処理を実行するデータの単位がＲＤＢテーブルの行単位の可能性がある場合には、データ属性情報テーブル６１０に、行単位のデータ容量、あるいは、その行単位のデータの平均値も併せて格納してもよい。また、本実施形態では、ＲＤＢのデータを対象としているので、ＲＤＢテーブルのデータ容量を記憶するようにしていたが、例えば、ＥＴＬ処理を実行する対象のデータがファイルである場合は、１ファイルごとのデータ容量を記憶するようにしてもよい。また、データがオブジェクトストレージに格納されている場合は、オブジェクトのデータ容量を記憶するようにしてもよい。また、ＥＴＬ処理の並列処理を効率化するために、ＲＤＢテーブル、ファイル、オブジェクトがＥＴＬ処理ソフトウェアによって論理的なパーティションで分割されて管理されている場合は、パーティション毎のデータ容量、あるいはその平均値を併せて記憶するようにしてもよい。
【0078】
＜プロセス種別情報記憶部７００＞
プロセス種別情報記憶部７００は、管理対象のデータ分析基盤１００において、ジョブ実行サーバ１１０が実行し得るジョブのプロセスの内容を分類し、プロセスにおける並列可能な処理単位の１回の実行に対する計算処理時間と、プロセスでの処理単位のデータに関する情報と、を格納するプロセス種別情報テーブル７１０を記憶する。
プロセス種別情報記憶部７００は、管理対象のデータ分析基盤１００において、ジョブ実行サーバ１１０が実行し得るジョブのプロセスの内容を分類し、プロセスにおける並列可能な処理単位の１回の実行に対する計算処理時間と、プロセスでの処理単位のデータに関する情報と、を格納するプロセス種別情報テーブル７１０を記憶する。
【0079】
図７は、第１実施形態に係るプロセス種別情報テーブルの構成図である。
【0080】
プロセス種別情報テーブル７１０は、プロセスの種別毎のエントリを格納する。プロセス種別情報テーブル７１０のエントリは、プロセス種別ＩＤ７１１と、１回の処理計算時間７１２と、読込単位７１３と、書込単位７１４と、読込回数７１５と、書込回数７１６とのフィールドを格納する。
【0081】
プロセス種別ＩＤ７１１には、ジョブ実行サーバ１１０が実行し得るジョブを構成するプロセスの内容を分類し、一意に識別する値（プロセス種別ＩＤ）が格納される。１回の処理計算時間７１２には、プロセスの実行時に並列して実行可能な処理単位の１回の実行にかかる計算時間（処理計算時間）が格納される。本実施形態においては、この処理計算時間には、処理に必要なデータの転送にかかる時間は含まないものとする。１回の処理計算時間は、データ分析基盤１００の構築時などに、あらかじめ試験的にプロセスを実行し、処理計算時間を計測することにより導出された値を用いてもよく、別のデータ分析基盤で同様なプロセスについて計測された値を用いてもよい。また、処理計算時間は、エントリに対応するジョブのプロセスが実行される際に計測し、その都度更新するようにしてもよい。
【0082】
読込単位７１３には、並列実行される処理単位の１回あたりにボリューム１３２から読み込まれるデータの単位が格納される。書込単位７１４には、並列実行される処理単位の１回あたりにボリューム１３２に書き込まれるデータの単位が格納される。読込回数７１５には、並列実行される処理単位の１回あたりにボリューム１３２からデータが読み込まれる回数が格納される。書込回数７１６には、並列実行される処理単位の１回あたりにボリューム１３２に書き込まれるデータの回数が格納される。
【0083】
例えば、エントリ７００１は、以下の内容を示す。すなわち、プロセス種別ＩＤが「Ｔａｂｌｅ＿ｔｏ＿Ｔａｂｌｅ＿Ｅｘｔｒａｃｔ＿Ｃｏｌｕｍｎ」のプロセスは、並列実行される処理単位の１回あたりにかかる処理計算時間は３０ミリ秒であり、並列実行される処理単位の１回あたりに１つのテーブルをボリューム１３２から読み込み、１つのテーブルをボリューム１３２に書き込むことを示す。
【0084】
なお、本実施形態では、所定のプロセスの１つの処理単位あたりの処理計算時間を一意の値として用いているが、処理内容によっては一意に決定しない場合がある。例えば、１回の処理単位の処理で扱うデータ容量やジョブ実行サーバ１１０の性能によって大きく変動する場合がある。この場合、プロセス種別ごとにデータ容量と１つの処理単位あたりの処理計算時間とのモデル（例えば、データ容量と１処理単位あたりの処理計算時間の相関関係を表した計算式）や、ジョブ実行サーバと１処理単位あたりの処理計算時間とのモデルを用意し、データ属性情報テーブル６１０の情報に基づいて、１処理単位あたりの処理計算時間を、後述する要求リソース量計算処理（図１１参照）を実行するタイミング、あるいは、ジョブが登録されるタイミングで計算するようにしてもよい。また、本実施形態においては、処理単位で処理するデータに関する情報をテーブルに記憶するようにしているが、本発明はこれに限られず、例えば、後述する空きリソース量計算処理（図１０参照）等の処理を実行する際に、実行する処理プログラムのソースコードを解析して同等の情報を抽出して利用するようにしてもよい。
【0085】
【0086】
入力画面５１１１０は、入力部５１１００によりデータ分析者が、ＥＴＬ処理を実行する入力データと、実行するＥＴＬ処理内容と、処理後のデータの格納先と、その関係を入力するための入力画面である。入力画面５１１１０は、入力領域５１１１１を有する。入力領域５１１１１は、データノード５１１１２と、プロセスノード５１１１３と、アウトプットノード５１１１４とを有する。データノード５１１１２は、ジョブに対してＥＴＬ処理を実行するデータソースを定義する領域である。プロセスノード５１１１３は、プロセスにおいて実行する処理を定義する領域である。アウトプットノード５１１１４は、処理したデータの保存先を定義する領域である。
【0087】
入力画面５１１１０は、ジョブＡが、ＲＤＢＭＳサーバ１２０ａ（ＤＢ１）が管理するＩＤがＤＢ１＿Ｔａｂｌｅ１～９９９である９９９個のテーブルを入力として、テーブルのカラムのうち、「Ｄａｔｅ」，「Ｏｐｅｎｉｎｇ Ｐｒｉｃｅ」，「Ｃｌｏｓｉｎｇ Ｐｒｉｃｅ」を抽出し、ＲＤＢＭＳサーバ１２０ｃ（ＤＢ３）が管理するＤＢ３＿Ｔａｂｌｅ１のテーブルに格納することを示す。
【0088】
＜登録ジョブ情報記憶部８００＞
登録ジョブ情報記憶部８００は、入力部５１１００によって入力された情報に基づく、実行予定、あるいは実行中のジョブによって実行するプロセスと、データソースと、アウトプットとの情報を格納する登録ジョブ情報テーブル８１０を記憶する。
登録ジョブ情報記憶部８００は、入力部５１１００によって入力された情報に基づく、実行予定、あるいは実行中のジョブによって実行するプロセスと、データソースと、アウトプットとの情報を格納する登録ジョブ情報テーブル８１０を記憶する。
【0089】
図９は、第１実施形態に係る登録ジョブ情報テーブルの構成図である。
【0090】
登録ジョブ情報テーブル８１０は、ジョブごとのエントリを格納する。登録ジョブ情報テーブル８１０のエントリは、ジョブＩＤ８１１と、プロセスＩＤ８１２と、プロセス種別ＩＤ８１３と、パラメータ８１４と、データソース８１５と、アウトプット８１６とのフィールドを格納する。
【0091】
ジョブＩＤ８１１には、データ分析者が登録したジョブ（登録ジョブ）を一意に識別する値（ジョブＩＤ）が格納される。プロセスＩＤ８１２には、ジョブが実行するプロセス（処理）を一意に識別する値（プロセスＩＤ）が格納される。プロセス種別ＩＤ８１３には、プロセスの種別を一意に識別する値（プロセス種別ＩＤ）が格納される。パラメータ８１４は、プロセスにおける設定値（パラメータ）が格納される。パラメータ８１４には、例えば、入力画面５１１１０のプロセスノード５１１１３で設定された設定値が格納される。データソース８１５は、プロセスに入力されるデータを識別する値が格納される。データソース８１５には、例えば、入力画面５１１１０のデータノード５１１１２で設定した値が格納される。アウトプット８１６には、プロセスで出力されるデータの保存先を一意に識別する値が格納される。アウトプット８１６には、例えば、入力画面５１１１０のアウトプットノード５１１１４で設定した値が格納される。
【0092】
例えば、エントリ８００１は、以下の内容を示す。すなわち、ジョブＩＤが「ジョブＡ」のジョブにおいて、プロセス種別が「Ｔａｂｌｅ＿ｔｏ＿Ｔａｂｌｅ＿Ｅｘｔｒａｃｔ＿Ｃｏｌｕｍｎ」の「プロセスａ」は設定値「Ｄａｔｅ，Ｏｐｅｎｉｎｇ Ｐｒｉｃｅ，Ｃｌｏｓｉｎｇ Ｐｒｉｃｅ」が設定されて実行され、プロセスａへの入力データは「ＤＢ１＿Ｔａｂｌｅ１～ＤＢ１＿Ｔａｂｌｅ９９９」の９９９個のテーブルであり、処理後のデータの保存先は「ＤＢ３＿Ｔａｂｌｅ１」のテーブルであることを示す。
【0093】
なお、本実施形態においては、１つのジョブに対して入力データと、プロセスと、アウトプットとが１つずつ定義されているが、１つのジョブに対して複数定義されていてもよい。例えば、ジョブにおいて、プロセスａを実行した後に処理結果を入力としたプロセスｂが定義され、プロセスｂの結果がストレージ装置１３０内のボリューム１３２に保存される場合には、複数のプロセスと、それぞれのプロセスの入力データとアウトプットとをエントリに格納するようにしてもよい。
【0094】
次に、データ分析基盤管理システム１における処理動作について詳細に説明する。
【0095】
＜空きリソース量計算処理＞
空きリソース量計算処理は、管理計算機２００の空きリソース量計算プログラム９００をＣＰＵ２１１が実行することにより行われる処理であり、ジョブが処理するデータのデータ転送パスを構成する構成要素それぞれの空きリソース量を計算する処理である。
空きリソース量計算処理は、管理計算機２００の空きリソース量計算プログラム９００をＣＰＵ２１１が実行することにより行われる処理であり、ジョブが処理するデータのデータ転送パスを構成する構成要素それぞれの空きリソース量を計算する処理である。
【0096】
図１０は、第１実施形態に係る空きリソース量計算処理のフローチャートである。
【0097】
空きリソース量計算処理は、例えば、新たなジョブが登録されたことを検知した場合、ジョブ実行の遅延を検知した場合、実行中のジョブのデータ転送パスの負荷が大きく変動したことを検知した場合、あるいは、任意のタイミングにおいて、処理が開始される。なお、空きリソース量計算処理は、後述の要求リソース量計算処理と順序を入れ替えて実行されてもよく、あるいは、同時に実行されてもよい。
【0098】
ステップＳ９０１において、空きリソース量計算プロラム９００（厳密には、空きリソース量計算プログラム９００を実行するＣＰＵ２１１）は、登録ジョブ情報テーブル８１０から所定のジョブに関連するエントリを取得する。例えば、「所定のジョブ」は、空きリソース量計算処理を開始するトリガとなった新しく登録されたジョブ（登録ジョブ）、処理の遅延が検知されたジョブ、データ転送パスの負荷が大きく変動したジョブの１つ、あるいは、任意のジョブであってよい。
【0099】
ステップＳ９０２において、空きリソース量計算プログラム９００は、ステップＳ９０１で取得したエントリのデータソース８１５、及びアウトプット８１６に格納された識別子に関連するパス情報、すなわち、識別子のデータ（例えば、テーブル）にアクセスするためのパス情報を構成情報記憶部３００のパス情報テーブル３２０から取得する。
【0100】
ステップＳ９０２の後に、空きリソース量計算プログラム９００は、ステップＳ９０２で取得したパス情報のそれぞれを処理対象として、ループ１の処理（ステップＳ９０３～Ｓ９０６）を繰り返す。ここで、処理対象のパス情報を対象パス情報という。
【0101】
ステップＳ９０３において、空きリソース量計算プログラム９００は、対象パス情報のエントリが示す構成要素のＩＤ（ネットワークＩ／ＦＩＤ、ネットワークＩＤ、Ｉ／ＯポートＩＤ、ボリュームＩＤ）に基づいて、構成情報記憶部３００の構成要素情報テーブル３１０からそれぞれの構成要素に関連するエントリをすべて取得する。なお、構成要素に関連するエントリには、構成要素の最大性能値の情報が含まれている。
【0102】
ステップＳ９０４において、空きリソース量計算プログラム９００は、対象パス情報のエントリが示す構成要素のＩＤ（ネットワークＩ／ＦＩＤ、ネットワークＩＤ、Ｉ／ＯポートＩＤ、ボリュームＩＤ）に基づいて、負荷情報記憶部４００の構成要素に関連する負荷情報テーブル参照し、負荷情報テーブルから負荷情報のエントリを取得し、各構成要素の各監視メトリック種別の負荷を導出する。この時、取得するエントリは、時刻４０１が最新のエントリであって、かつ負荷の値としてもよい。または、例えば、時刻４０１が所定の期間に含まれるエントリすべてを取得し、それらの負荷の値の平均値、最大値、あるいは、平均値に標準偏差を足した値を負荷の値としてもよい。また、公知の負荷予測アルゴリズムなどを用いて、所定の期間の負荷から将来の負荷を予測し、予測した負荷の値を、各構成要素の負荷の値としてもよい。
【0103】
ステップＳ９０５において、空きリソース量計算プログラム９００は、ステップＳ９０３で取得した構成要素情報テーブル３１０のエントリすべてに対し、最大性能値３１３の最大性能値から、ステップＳ９０４で導出した対応する負荷の値を減算することにより、各構成要素の各監視メトリック種別についての空きリソース量を計算する。
【0104】
ステップＳ９０６において、空きリソース量計算プログラム９００は、ステップＳ９０５で計算した、構成要素と監視メトリック種別とのすべての組に対する空きリソース量を記憶する。例えば、空きリソース量を、メモリ２１２に記憶してよい。
【0105】
空きリソース量計算処理の具体例は以下のとおりである。例えば、図８の入力画面５１１１０で示すように新規にジョブＡが登録された場合には、ステップＳ９０１において、空きリソース量計算プログラム９００は、登録ジョブ情報テーブル８１０のエントリ８００１を取得する。次に、空きリソース量計算プログラム９００は、エントリ８００１のデータソース８１５の値「ＤＢ１＿Ｔａｂｌｅ１～ＤＢ１＿Ｔａｂｌｅ９９９」と、アウトプット８１６の値「ＤＢ３＿Ｔａｂｌｅ１」とに基づいて、パス情報テーブル３２０の９９９個のエントリ３２０１～エントリ３２０２と、１個のエントリ３２０４を取得する（ステップＳ９０２）。
【0106】
次いで、空きリソース量計算プログラム９００は、取得した１０００個のエントリの夫々を処理対象としてループ１の処理（ステップＳ９０３～Ｓ９０６）を実行する。例えば、処理対象としてエントリ３２０１を選択した場合、ステップＳ９０３では、空きリソース量計算プログラム９００は、エントリ３２０１に格納された構成要素ＩＤ「ネットワークＩ／Ｆ１２１ａ」、「ネットワーク１４０」、「Ｉ／Ｏポート１３１ａ」、「ボリューム１３２ａ」のそれぞれをキーとして構成要素情報テーブル３１０からエントリを取得する。例えば、「Ｉ／Ｏポート１３１ａ」をキーとした場合は、空きリソース量計算プログラム９００は、エントリ３１０１とエントリ３１０２とを取得する。
【0107】
ステップＳ９０４では、空きリソース量計算プログラム９００は、エントリ３２０１に格納された構成要素ＩＤをキーとして、負荷情報記憶部４００の対応する負荷情報テーブルからエントリを取得する。例えば、「Ｉ／Ｏポート１３１ａ」をキーとし、最新の負荷を構成要素に対する負荷の値とする場合は、空きリソース量計算プログラム９００は、負荷情報テーブル４１０のエントリ４１０４と、負荷情報テーブル４２０のエントリ４２０４と、を取得する。そして、ステップＳ９０５では、空きリソース量計算プログラム９００は、例えば、Ｉ／Ｏポート１３１ａの受信転送速度の空きリソース量を計算する場合は、エントリ３１０１の最大性能値である「１０Ｇｂｐｓ」からエントリ４１０４の「２．０Ｇｂｐｓ」を減算して得られた８．０Ｇｂｐｓを空きリソース量とし、ステップＳ９０６では、Ｉ／Ｏポート１３１ａの受信転送速度と、その空きリソース量との組を記憶する。
【0108】
なお、本実施形態では、各々の処理において、説明のために不要なデータを取得、あるいは、計算している場合がある。例えば、ジョブ実行サーバ１１０がボリュームからデータを読み込む処理に対して空きリソース量を計算する場合は、Ｉ／Ｏポート１３１の送信転送速度の空きリソース量のみを計算すればよいが、本実施形態においては受信転送速度の空きリソース量も含めて計算している。このような不要なデータ取得、あるいは、計算に関しては必要に応じて削減してもよい。
【0109】
＜要求リソース量計算処理＞
要求リソース量計算処理は、管理計算機２００の要求リソース量計算プログラム１０００をＣＰＵ２１１が実行することにより行われる処理であり、登録されたジョブが実行するプロセスが並列可能な１処理単位（１並列処理単位）あたりに各構成要素に要求するリソース量（要求リソース量）を計算する処理である。
要求リソース量計算処理は、管理計算機２００の要求リソース量計算プログラム１０００をＣＰＵ２１１が実行することにより行われる処理であり、登録されたジョブが実行するプロセスが並列可能な１処理単位（１並列処理単位）あたりに各構成要素に要求するリソース量（要求リソース量）を計算する処理である。
【0110】
図１１は、第１実施形態に係る要求リソース量計算処理のフローチャートである。
【0111】
要求リソース量計算処理は、空きリソース量計算処理の完了を検知して開始されてもよい。また、要求リソース量計算処理は、空きリソース量計算処理と順序を入れ替えて実行されてもよく、あるいは、同時に実行されてもよい。この場合、例えば、要求リソース量計算処理は、新たなジョブが登録されたことを検知した場合、ジョブ実行の遅延を検知した場合、実行中のジョブのデータ転送パスの負荷が大きく変動したことを検知した場合、あるいは、任意のタイミングにおいて、開始されてもよい。
【0112】
ステップＳ１００１において、要求リソース量計算プロラム１０００（厳密には、要求リソース量計算プログラム１０００を実行するＣＰＵ２１１）は、登録ジョブ情報テーブル８１０から所定のジョブに関連するエントリ（ジョブ情報）を取得する。例えば、所定のジョブとしては、空きリソース量計算処理を開始するトリガとなったジョブであってよい。
【0113】
ステップＳ１００１の後に、要求リソース量計算プログラム１０００は、ステップＳ１００１で取得したジョブ情報が有するすべてのプロセスの情報（プロセス情報）を処理対象として、ループ２の処理（ステップＳ１００２～Ｓ１００６）を繰り返す。ここで、処理対象のプロセス情報を対象プロセス情報という。
【0114】
ステップＳ１００２において、要求リソース量計算プログラム１０００は、対象プロセス情報のデータソース８１５及びアウトプット８１６に格納された識別子に関連するパス情報、すなわち、識別子のデータにアクセスするためのパス情報を構成情報記憶部３００のパス情報テーブル３２０から取得する。
【0115】
ステップＳ１００３において、要求リソース量計算プログラム１０００は、対象プロセス情報のデータソース８１５、あるいは、アウトプット８１６に対するデータについての応答時間を応答時間情報テーブル５１０から取得する。取得する応答時間は、例えば、応答時間情報テーブル５１０における、データソース８１５、あるいは、アウトプット８１６の識別子に関連するデータについての最新の応答時間であってよい。なお、要求リソース量計算処理が開始されてからデータソース８１５、あるいは、アウトプット８１６の識別子に関連するデータについての応答時間を計測することにより取得してもよい。
【0116】
ステップＳ１００４において、要求リソース量計算プログラム１０００は、対象プロセス情報のプロセス種別ＩＤ８１３のプロセス種別ＩＤに基づいて、プロセス種別情報テーブル７１０から関連するエントリ（１回の処理計算時間、読込単位、書込単位、読込回数、書込回数等）を取得する。
【0117】
ステップＳ１００５において、要求リソース量計算プログラム１０００は、対象プロセス情報のデータソース８１５の値に関連するデータのデータ属性、すなわち、データ容量をデータ属性情報テーブル６１０から取得する。
【0118】
ステップＳ１００６において、要求リソース量計算プログラム１０００は、ステップＳ１００３で取得した応答時間と、ステップＳ１００４で取得したエントリの情報（１回の処理計算時間、読込単位、書込単位、読込回数、及び書込回数）と、ステップＳ１００５で取得したデータ容量とに基づいて、プロセスの１並列処理単位あたりに対する負荷を、データ転送の向きを考慮して、ステップＳ１００２で取得したパス情報の各構成要素に対して計算する。例えば、Ｉ／Ｏポート１３１ａの負荷（帯域）を計算する場合、以下の式（１），（２）で計算してもよい。
【0119】
１並列処理単位あたりのＩ／Ｏポート１３１ａの送信転送速度の負荷（Ｇｂｐｓ）
＝（読込データ容量の平均値×読込回数）
／（読込データの応答時間×読込回数＋１回の処理計算時間＋書込データの応答時間×書込回数） ・・・（１）
１並列処理単位あたりのＩ／Ｏポート１３１ａの受信転送速度の負荷（Ｇｂｐｓ）
＝（書込データ容量の平均値×書込回数）
／（読込データの応答時間×読込回数＋１回の処理計算時間＋書込データの応答時間×書込回数） ・・・（２）
＝（読込データ容量の平均値×読込回数）
／（読込データの応答時間×読込回数＋１回の処理計算時間＋書込データの応答時間×書込回数） ・・・（１）
１並列処理単位あたりのＩ／Ｏポート１３１ａの受信転送速度の負荷（Ｇｂｐｓ）
＝（書込データ容量の平均値×書込回数）
／（読込データの応答時間×読込回数＋１回の処理計算時間＋書込データの応答時間×書込回数） ・・・（２）
【0120】
ここで、読込データ容量の平均値は、データソース８１５と読込単位７１３とに基づいて算出される、１並列処理単位あたりの読込データの平均値でよい。また、書込データ容量の平均値は、例えば、読込データ容量の平均値から計算して求めてもよく、例えば、以下の式（３）で算出してもよい。
書込データ容量の平均値＝読込データ容量平均値×読込回数／書込回数 ・・・（３）
書込データ容量の平均値＝読込データ容量平均値×読込回数／書込回数 ・・・（３）
【0121】
また、テーブルからファイルに変換する場合は、テーブルにおけるデータ容量に対して一般的なテーブルからファイルへ変換する際の圧縮率をかけてもよい。読み込んだデータの一部を抽出して書き込む場合は、その削減率（予測値含む）をかけてもよい。
【0122】
なお、上述の式（１），（２）は、データの読み込みや書込みのためのデータ転送パスが同じであることを前提としたものとしているが、例えば、２つのデータ転送パスからデータを読み込み、かつ、２つのＩ／Ｏポートを経由するデータ数の割合が３：２である場合は、上述の式（１）で計算した「１並列処理単位あたりのネットワーク１４０の上り転送速度への負荷」に対してそれぞれ３／５と２／５とを乗算した値かけて計算してよい。また、読み込みや書込みのためのデータ転送のパスが異なる場合は、パスごとに読込データ容量の平均値や書込データ容量の平均値を計算して用いてもよい。
【0123】
ステップＳ１００７において、要求リソース量計算プログラム１０００は、ステップＳ１００１で取得したジョブの１並列処理単位あたりの各構成要素に対する要求リソース量を計算し、メモリ２１２等に記憶する。例えば、ジョブのプロセスが１つである場合は、ステップＳ１００６で計算したプロセスの１並列処理単位あたりの各構成要素に対する負荷を要求リソース量とすればよい。一方、例えば、ジョブに並列で実行されるプロセスが複数含まれている場合は、ステップＳ１００６で計算した複数のプロセスによる負荷を足して要求リソース量とすればよく、また、例えば、ジョブに順に実行される複数のプロセスがある場合は、ステップＳ１００６で計算した複数のプロセスによる負荷の最大値を要求リソース量とすればよく、ジョブに並列で実行される複数のプロセスと、順に実行される複数のプロセスとが含まれる場合には、それらを組み合わせて要求リソース量を計算すればよい。
【0124】
要求リソース量計算処理の具体例は以下のとおりである。例えば、図８の入力画面５１１１０で示すように新規にジョブＡが登録された場合には、要求リソース量計算プログラム１０００は、ステップＳ１００１において、登録ジョブ情報テーブル８１０のエントリ８００１を取得する。次いで、要求リソース量計算プログラム１０００は、取得したエントリの数だけループ２の処理（ステップＳ１００２～Ｓ１００６）を繰り返す。
【0125】
ステップＳ１００３において、要求リソース量計算プログラム１０００は、エントリ８００１のデータソース８１５の値「ＤＢ１＿Ｔａｂｌｅ１～ＤＢ１＿Ｔａｂｌｅ９９９」と、アウトプット８１６の値「ＤＢ３＿Ｔａｂｌｅ１」とに基づいて、パス情報テーブル３２０の９９９個のエントリ３２０１～エントリ３２０２と、１個のエントリ３２０４とを取得する（ステップＳ１００３）。
【0126】
次に、要求リソース量計算プログラム１０００は、登録ジョブ情報テーブル８１０のエントリ８００１のデータソース８１５の値「ＤＢ１＿Ｔａｂｌｅ１～ＤＢ１＿Ｔａｂｌｅ９９９」と、アウトプット８１６の値「ＤＢ３＿Ｔａｂｌｅ１」とに基づいて、応答時間情報テーブル５１０からエントリ５００１とエントリ５００３とを参照し、ＤＢ１の読み込み応答時間３ｍｓ（３ミリ秒）と、ＤＢ３＿Ｔａｂｌｅ１への書き込み応答時間１０ｍｓとを取得する（ステップＳ１００３）。
【0127】
ステップＳ１００４では、要求リソース量計算プログラム１０００は、エントリ８００１のプロセス種別「Ｔａｂｌｅ＿ｔｏ＿Ｔａｂｌｅ＿Ｅｘｔｒａｃｔ＿Ｃｏｌｕｍｎ」に基づいて、プロセス種別テーブル７１０からエントリ７００１を取得する。ステップＳ１００５において、要求リソース量計算プログラム１０００は、エントリ８００１のデータソース８１５の値「ＤＢ１＿Ｔａｂｌｅ１～ＤＢ１＿Ｔａｂｌｅ９９９」に対応するデータのデータ容量をデータ属性情報テーブル６１０から取得し、その平均値（この例では、例えば、７０ＭＢ）を計算する。
【0128】
ステップＳ１００６において、要求リソース量計算プログラム１０００は、ステップＳ１００２で取得したパス情報（エントリ３２０１～３２０２）に記憶されている各構成要素の負荷を計算する。
【0129】
例えば、ＤＢ１＿Ｔａｂｌｅ１～９９９を読み込む際のデータ転送パスの構成要素の１つであるＩ／Ｏポート１１３１ａの１並列処理単位における受信転送速度（Ｇｂｐｓ）の負荷は、式（１）より、（７０ＭＢ×１）／（３ミリ秒×１+３０ミリ秒＋１０ミリ秒×１）≒１．６Ｇｂｐｓであると計算できる。そして、要求リソース量計算プログラム１０００は、例えば、Ｉ／Ｏポート１３１ａの受信転送速度の要求リソース量を「１．６Ｇｂｐｓ」と記憶する（ステップＳ１００７）。
【0130】
＜最大並列数計算処理＞
最大並列数計算処理は、最大並列数計算プログラム１１００をＣＰＵ２１１が実行することにより行われる処理であり、空きリソース量計算処理で計算した各構成要素の空きリソース量と、要求リソース量計算処理で計算した各構成要素に対するジョブの要求リソース量と、に基づいて、各構成要素がボトルネックにならない、ジョブの最大並列数を計算する処理である。
最大並列数計算処理は、最大並列数計算プログラム１１００をＣＰＵ２１１が実行することにより行われる処理であり、空きリソース量計算処理で計算した各構成要素の空きリソース量と、要求リソース量計算処理で計算した各構成要素に対するジョブの要求リソース量と、に基づいて、各構成要素がボトルネックにならない、ジョブの最大並列数を計算する処理である。
【0131】
図１２は、第１実施形態に係る最大並列数計算処理のフローチャートである。
【0132】
最大並列数計算処理は、例えば、空きリソース量計算処理と、要求リソース量計算処理との完了を検知した時に開始される。
【0133】
ステップＳ１１０１において、最大並列数計算プロラム１１００（厳密には、最大並列数計算プログラム１１００を実行するＣＰＵ２１１）は、空きリソース量計算処理で計算して記憶した登録されたジョブのパス上の各構成要素の空きリソース量と、要求リソース量計算処理で計算して記憶した、１並列処理単位あたりの各構成要素に対する要求リソース量とを取得する。
【0134】
ステップＳ１１０２において、最大並列数計算プログラム１１００は、各構成要素の空きリソース量と、１並列処理単位あたりの各構成要素に対する要求リソース量とに基づいて、ジョブの並列数を徐々に増やした場合に、最も少ない並列数でリソース量の空きがなくなる構成要素を特定し、その構成要素のリソース量の空きがならない場合の最大の並列数を計算し、その並列数をジョブの最大並列数とする。例えば、最大並列数は、パス上のそれぞれの構成要素についての（空きリソース量／要求リソース量）を求め、算出されたそれらの値の中の最小値を超えない最大の整数値としてもよい。
【0135】
ステップＳ１１０３において、最大並列数計算プログラム１１００は、ステップＳ１１０２で計算した最大並列数を表示部５１００に出力する。
【0136】
最大並列数計算処理の具体例は以下のとおりである。例えば、ステップＳ１１０１で、最大並列数計算プログラム１１００は、空きリソース量計算処理で計算したパスの各構成要素の空きリソース量と、要求リソース量計算処理で計算した登録ジョブのパスの各構成要素に対する要求リソース量とを受信する。ステップＳ１１０２で、最大並列数計算プログラム１１００は、例えば、Ｉ／Ｏポート１３１ａの空きリソース量が８．０Ｇｂｐｓであり、要求リソース量が１．６Ｇｂｐｓである場合、Ｉ／Ｏポート１３１ａが許容する最大の並列数は、８．０／１．６＝５と算出する。並列数５は、登録ジョブの並列数を５まで許容することを意味する。さらに、最大並列数計算プログラム１１００は、パスの他の構成要素についても同様に計算する。ここで、最も小さい並列数を許容する構成要素がボトルネックとなり、その構成要素の許容する並列数がデータ分析基盤における最大並列数となる。そこで、最大並列数計算プログラム１１００は、このようなボトルネックとなる構成要素の許容する並列数から最大並列数を算出する。ステップＳ１１０３では、最大並列数計算プログラム１１００は、表示部５１２００に、例えば、最大並列数を含む出力画面（例えば、図１３参照）を表示する。
【0137】
【0138】
出力画面５１２１０は、登録されたジョブのジョブ名を表示する表示領域５１２１１と、ジョブの推奨する並列処理数を表示する表示領域５１２１２とを有する。表示領域５１２１２には、最大並列数計算処理により算出された最大並列数が表示される。
【0139】
例えば、図１３の出力画面５１２１０は、「ジョブＡ」の処理は、並列数を「２０」で実行することが推奨されることを示している。
【0140】
なお、上記実施形態においては、最大並列数を出力画面５１２１０に表示させるようにしていたが、例えば、管理計算機２００は、最大並列数計算処理により算出された最大並列数でジョブを実行するようにジョブ実行サーバ１１０に対して設定を行う機能を有していてもよい。
【0141】
以上に説明したように、第１実施形態によれば、例えば、ジョブを実行する際に、ジョブのデータ転送を行うパス上の構成要素の負荷と、最大性能値とに基づいて、各構成要素がボトルネックとならないようなジョブの最大並列数を計算できる。これにより、ジョブの処理完了時間が最も短く、かつ、パブリッククラウド環境１０１におけるコンピュータに対する課金額が小さくなる並列処理数を適切に決定することができる。
【0142】
なお、第１実施形態においては、ジョブが実行するプロセスの並列数がジョブの実行時におけるどの時刻においても設定した並列数を保持することを前提とした例を示している。しかし、実際のＥＴＬ処理においては、特にジョブの起動直後においては、起動のための処理負荷などにより、設定した並列数で実行されない場合がある。
【0143】
ここで、ジョブにおける要求リソース量の変化について説明する。
【0144】
【0145】
例えば、第１実施形態では、グラフ５１３０１に示すように要求リソース量は理想的にジョブの起動とともにジョブの並列数だけ増え、ジョブの終了とともに減少することを想定している。しかし、実際には、グラフ５１３０２に示すように要求リソース量はジョブが起動されると、徐々に増加し、ジョブの終了に近づくにつれて徐々に減少する。これに対しては、グラフ５１３０２に示すような要求リソース量の変動をプロセス種別ごとに機械学習などで学習し、並列数と要求リソース量のピーク値とを導出できるモデルを作成しておくことにより、要求リソース量のピーク値における並列数を求めることで、最大並列数を計算するようにしてもよい。例えば、プロセス種別に基づくデータ転送の応答時間と、プロセスの１並列処理単位の処理計算時間と、読込回数と、書込回数と、読み込むデータのデータ容量と読み込み単位から計算する読込データ容量と、書き込むデータのデータ容量と書き込み単位から計算する読込データ容量と、並列数とを少なくとも特徴量として持ち、要求リソース量（あるいは要求リソース量のピーク値）を算出するモデルを作成し、このモデルを使用して最大並列数を計算してよい。
【0146】
なお、第１実施形態においては、出力画面５１２１０には、登録されたジョブの最大並列数のみを表示するようにしているが、最大並列数で実行した場合のジョブの完了予定時刻を合わせて表示してもよい。ジョブの完了予定時刻の計算方法については、後述する第２実施形態の完了予定時刻計算処理（図１８）における完了予定時刻の計算方法を使用してもよい。
【0147】
また、第１実施形態においては、ジョブの推奨並列数を計算して表示するようにしていたが、計算した推奨並列数に基づいて、ジョブを実行するジョブ実行サーバ等のスペックを決定してもよい。例えば、１並列処理単位あたりのジョブ実行サーバ１１０への負荷をプロセス種別ごとに計測等して記憶しておき、推奨並列数でのジョブ実行サーバ１１０への負荷を計算して、この負荷を満足するようにジョブ実行サーバ１１０のスペック（性能）を決定してもよい。
【0148】
また、第１実施形態においては、１つのＤＢに対してＲＤＢＭＳサーバ１２０が１台の場合を例に挙げているが、ＲＤＢＭＳサーバ１２０はクラスタリングされていてもよい。この場合、構成要素情報テーブル３１０に格納される構成要素の情報は、クラスタリングされたすべてのＲＤＢＭＳサーバ１２０を１つのサーバとして扱ってもよい。例えば、ネットワークＩ／Ｆ１５３の最大性能値は、クラスタを構成するすべてのＲＤＭＳサーバ１２０のそれぞれのネットワークＩ／Ｆ１５３の最大性能値を足し合わせた値としてもよい。また、ＲＤＢＭＳサーバ１２０がオートスケール機能などで自動的にサーバ台数を変更可能な場合においては、変更可能なサーバ台数の最大値における全てのサーバの構成要素の性能値を足し合わせた値を最大性能値としてよい。
【0149】
また、第１実施形態においては、ＥＴＬ処理を実施するデータをＲＤＢデータとしたが、データはこれに限られず、ファイル形式やオブジェクト形式のデータであってもよく、そのデータは、ファイルサーバやオブジェクトストレージに保存されて管理されていてもよい。
【0150】
また、第１実施形態においては、パブリッククラウド環境１０１と、オンプレミス環境１０２とを含むハイブリッドクラウド環境においてボトルネックになりうる主な構成要素が、データ転送にかかわる構成要素であるため、データ転送に関わる構成要素の転送速度の最大性能値と、要求負荷とに基づいて最大並列数を導出するようにしていたが、例えば、サーバのＣＰＵの負荷や、ストレージ装置のプロセッサの負荷などを含めて最大並列数を計算してもよい。また、監視メトリック種別としては、転送速度（例えば、１秒間の転送データ量）とした例を示していたが、これに限られず、ＩＯＰＳ（１秒間のＩＯ数）であってもよい。さらに、負荷や、最大性能値が計算できるのであれば、他の構成要素および監視メトリック種別を含めるようにしてもよい。
【0151】
また、第１実施形態においては、ジョブに対して最大並列数を決定するようにしていたが、データ分析基盤１００がジョブの実行中にプロセス単位で並列数を変更できる場合には、それぞれのプロセス単位で同様な処理を実行してプロセスごとに最大並列数を決定してもよい。この場合には、プロセスごとの最大並列数を出力画面５１２１０に表示させるようにしてもよい。
【0152】
また、第１実施形態においては、登録されたジョブは、登録時に即時実行される例を示していたが、例えば、スケジューラ機能などによって、指定時刻に開始されるようにしてもよい。この場合、空きリソース量計算処理で使用する各構成要素の負荷や、要求リソース量計算処理で使用する応答時間の値は、過去の負荷情報やスケジューリングされた他のジョブの情報や応答時間から予測した、指定された時刻での予測負荷や、予測応答時間を用いて計算してもよいし、ジョブの実行直前に各処理を実行することにより最大並列数を再計算してもよい。
【0153】
また、第１実施形態においては、データ分析者が利用できるように分類、分割されたデータ群を識別する識別子と、それらのデータの格納先の識別子とを同じものとしていたが、本発明はこれに限られず、データ群を識別する識別子と、格納先の識別子とを別の識別子とし、それらを対応付けて管理するようにし、対応関係を特定するようにしてもよい。
【0154】
また、第１実施形態においては、要求リソース量計算処理は、最大並列数計算処理の直前に実行される例を示しているが、例えば、データの読み書きの応答時間に変動が少ない環境の場合は、ジョブの登録時に要求リソース量計算処理を実行して、１並列処理単位あたりの要求リソース量を記憶するようにし、その後、記憶した要求リソース量を用いて最大並列数計算処理を実行するようにしてもよい。
【0155】
また、第１実施形態においては、ジョブの並列数はジョブ実行中に変更できないことを前提として説明していたが、プロセス実行中に並列数を変更できるようにしてもよく、この場合には、例えば、他のジョブ、あるいは他のプロセスが完了した時点で、上記した空きリソース量計算処理、最大並列数計算処理等を実行することにより、最大並列数を計算するようにしてもよい。
【0156】
また、第１実施形態においては、１並列処理単位について１単位のデータを読み込むことを前提としているが、ＥＴＬプラットフォームによっては、１つのプロセスが実行される際に、プロセス実行開始前に並列化された各ジョブ実行サーバが割り当てられたデータをまとめて読み込むものがある。このようなプラットフォームに対応するために、１並列処理単位あたりの要求リソース量を計算する際に、このようなプラットフォームの特徴を考慮して計算してもよい。例えば、１並列処理単位あたりのＩ／Ｏポート１３１ａの送信転送速度の負荷を計算する際には、プロセスが実行する「１回の処理計算時間」を除いて計算してよい。
【0157】
≪第２実施形態≫
次に、第２実施形態に係るデータ分析基盤管理システムについて説明する。以下の説明では、第１実施形態との差異を中心に説明し、同等の構成要素や、同等の機能を持つプログラム、同等の項目を持つテーブルについては、同一の符号を用い、記載を省略又は簡略する。
次に、第２実施形態に係るデータ分析基盤管理システムについて説明する。以下の説明では、第１実施形態との差異を中心に説明し、同等の構成要素や、同等の機能を持つプログラム、同等の項目を持つテーブルについては、同一の符号を用い、記載を省略又は簡略する。
【0158】
第１実施形態に係るデータ分析基盤管理システム１では、データ分析基盤１００の負荷に応じて、ＥＴＬ処理のジョブの並列数を決定した。第１実施形態においては、あるＥＴＬ処理のジョブを新たに実行する際に、他のジョブによってデータ分析基盤の１つの構成要素のリソースが最大まで利用されていた場合、新たなジョブの並列数は極端に少なくなる（例えば、１になる）場合がある。しかし、このような少ない並列数で実行するよりも、他のジョブの完了を待った後に、データ分析基盤１００のリソースを最大限に利用した方が早く処理が終わる場合がある。
【0159】
そこで、第２実施形態に係るデータ分析基盤管理システムは、或る登録されたジョブの実行にあたって、他のＥＴＬ処理のジョブの完了時刻を予測し、登録されたジョブを指定時刻に実行するか、他のジョブの完了を待って実行するかを判定するようにしている。
【0160】
第２実施形態に係る管理計算機２００は、登録ジョブ情報記憶部８００が登録ジョブ情報テーブル８１０に代えて登録ジョブ情報テーブル８５０を格納するとともに、管理計算機２００が最大並列数計算プログラム１１００に代えて最大並列数計算プログラム１１１０を記憶する。
【0161】
＜登録ジョブ情報記憶部８００＞
登録ジョブ情報記憶部８００は、登録ジョブ情報テーブル８５０を記憶する。
登録ジョブ情報記憶部８００は、登録ジョブ情報テーブル８５０を記憶する。
【0162】
図１５は、第２実施形態に係る登録ジョブ情報テーブルの構成図である。なお、登録ジョブ情報テーブル８１０と同様なフィールドには、同一の符号を付し、説明を省略する。
【0163】
登録ジョブ情報テーブル８５０のエントリは、データ分析者によって登録されたＥＴＬ処理のジョブの情報を格納すべく、ジョブＩＤ８１１と、プロセスＩＤ８１２と、プロセス種別ＩＤ８１３と、パラメータ８１４と、データソース８１５と、アウトプット８１６と、開始時刻８５１と、完了予定時刻８５２と、並列数８５３とのフィールドを有する。開始時刻８５１には、ジョブの実行を開始する時刻（開始時刻）が格納される。完了予定時刻８５２には、ジョブの完了時刻を予測した値（完了予定時刻）が格納される。並列数８５３には、実行中あるいは実行予定のジョブでの並列数が格納される。
【0164】
例えば、登録ジョブ情報テーブル８５０のエントリ１４００１は、登録されたジョブＡは２０２０年１月１日０時に開始され、完了予定時刻は２０２０年１月１日１２時であり、ジョブは、並列数が２０で実行されることを示す。
【0165】
＜最大並列数計算処理＞
最大並列数計算処理は、管理計算機２００の最大並列数計算プログラム１１１０をＣＰＵ２１１が実行することにより行われる処理であり、登録されたジョブを各々の他のジョブの完了予定時刻後に開始した場合の最大並列数と完了予定時刻を計算し、最も完了予定時刻が早くなる開始時刻と完了予定時刻と並列数とを計算する処理を含んでいる。
最大並列数計算処理は、管理計算機２００の最大並列数計算プログラム１１１０をＣＰＵ２１１が実行することにより行われる処理であり、登録されたジョブを各々の他のジョブの完了予定時刻後に開始した場合の最大並列数と完了予定時刻を計算し、最も完了予定時刻が早くなる開始時刻と完了予定時刻と並列数とを計算する処理を含んでいる。
【0166】
図１６は、第２実施形態に係る最大並列数計算処理のフローチャートである。
【0167】
最大並列数計算処理は、例えば、空きリソース量計算処理と、要求リソース量計算処理との完了が検知された時に実行される。
【0168】
ステップＳ１５０１において、最大並列数計算プログラム１１１０は、第１実施形態の最大並列数計算処理（図１２参照）を実行する。
【0169】
ステップＳ１５０２において、最大並列数計算プログラム１１１０は、完了予定時刻計算処理（図１８参照）を実行することにより、空きリソース量計算処理のステップＳ９０１で取得した登録ジョブについて、或る開始時刻（例えば、データ分析者が指定した時刻、現在時刻、あるいは、任意の時刻）に対し、ステップＳ１１０２で計算した並列数で実行した場合の完了予定時刻を予測して、記憶する。
【0170】
ステップＳ１５０３において、最大並列数計算プログラム１１１０は、他のジョブ情報を登録ジョブ情報テーブル８５０から取得する。なお、ここで、取得する他のジョブ情報は、同じ期間に実行されるジョブに限定してよい。同じ期間とは、例えば、登録ジョブの開始時刻から完了予定時刻が示す期間が、他のジョブの開始時刻から完了予定時刻が示す期間と重複する場合を示す。また、ここで取得するジョブは、登録ジョブとデータ転送のパスが重複するジョブに限定してよい。
【0171】
ステップＳ１５０４において、最大並列数計算プログラム１１１０は、ステップＳ１５０３で取得した他のジョブの情報をその完了予定時刻順にソートし、キューに記憶する。キューは、例えば、メモリ２１２上に記憶されていてもよい。
【0172】
ステップＳ１５０５において、最大並列数計算プログラム１１１０は、キューからジョブ情報を１つ取得する。ここで、取得したジョブ情報のジョブを対象ジョブということとする。
【0173】
ステップＳ１５０６において、最大並列数計算プログラム１１１０は、対象ジョブの実行時の要求リソース量を計算する。例えば、最大並列数計算プログラム１１１０は、要求リソース量計算プログラム１０００を呼び出して対象ジョブの１並列処理単位あたりの要求リソース量を計算し、登録ジョブ情報テーブル８５０からジョブ情報の並列数８５３の並列数を取得し、以下の式（４）で要求リソース量を計算する。
要求リソース量＝（１並列処理単位あたりの要求リソース量）×（並列数）・・・（４）
なお、本実施形態では１つのジョブに対して要求リソース量はジョブ全体で一定としているが、例えば、順次実行されるプロセスを複数持つジョブの場合は、プロセスごとに要求リソース量を計算してもよい。
要求リソース量＝（１並列処理単位あたりの要求リソース量）×（並列数）・・・（４）
なお、本実施形態では１つのジョブに対して要求リソース量はジョブ全体で一定としているが、例えば、順次実行されるプロセスを複数持つジョブの場合は、プロセスごとに要求リソース量を計算してもよい。
【0174】
ステップＳ１５０７において、最大並列数計算プログラム１１１０は、対象ジョブの実行時の空きリソース量を計算する。例えば、最大並列数計算プログラム１１１０は、空きリソース量計算プログラム９００を呼び出して空きリソース量を計算する。なお、対象ジョブの開始時刻が現在時刻より後の場合は、開始時刻以降に実行される他のジョブの要求リソース量を計算して負荷とし、空きリソース量を計算してもよく、あるいは、開始時刻以降の負荷を公知の負荷予測アルゴリズムを用いて予測し、予測した負荷を用いて、空きリソース量を計算してもよい。
【0175】
ステップＳ１５０８において、最大並列数計算プログラム１１１０は、ステップＳ１５０７で計算した対象ジョブ実行時の空きリソース量からステップＳ１５０６で計算した対象ジョブの要求リソース量を減算して、対象ジョブ完了時の各構成要素の空きリソース量を計算する。
【0176】
ステップＳ１５０９において、最大並列数計算プログラム１１１０は、対象ジョブ完了後に登録ジョブを開始した時の最大並列数を計算する。最大並列数は、ステップＳ１５０８の対象ジョブ完了時の空きリソース量と、要求リソース量計算プログラム９００で計算した登録ジョブの１並列処理単位あたりの要求リソース量とに基づいて、第１実施形態の最大並列数計算処理と同様な処理により計算してもよい。
【0177】
ステップＳ１５１０において、最大並列数計算プログラム１１１０は、完了予定時刻計算処理（図１８参照）により、対象ジョブの完了予定時刻を登録ジョブの開始時刻とした時の完了予定時刻を計算する。
【0178】
ステップＳ１５１１において、最大並列数計算プログラム１１１０は、ステップＳ１５１０で計算した完了予定時刻が、ステップＳ１５０２で記憶している完了予定時刻より早くなるか否かを判定する。この判定の結果が真の場合（Ｓ１５１１：ＹＥＳ）、最大並列数計算プログラム１１１０は、処理をステップＳ１５１２へ進め、この判定の結果が偽の場合（Ｓ１５１１：ＮＯ）、処理をステップＳ１５１３へ進める。
【0179】
ステップＳ１５１２において、最大並列数計算プログラム１１１０は、ステップＳ１５０２で記憶した登録ジョブの完了予定時刻を、ステップＳ１５１０で計算した完了予定時刻に更新する。
【0180】
ステップＳ１５１３において、最大並列数計算プログラム１１１０は、キューが空か否かを判定する。この判定の結果が真の場合（Ｓ１５１３：ＹＥＳ）、最大並列数計算プログラム１１１０は、処理をステップＳ１５１４へ進め、この判定の結果が偽の場合（Ｓ１５１３：ＮＯ）、最大並列数計算プログラム１１１０は、処理をステップＳ１５０５へ進める。
【0181】
ステップＳ１５１４において、最大並列数計算プログラム１１１０は、ステップＳ１５０２、あるいは、ステップＳ１５１２で記憶した登録ジョブの完了予定時刻と、その完了予定時刻を記憶した時の最大並列数と、その完了予定時刻を記憶した時にステップＳ１５０２あるいはＳ１５１０で用いた開始時刻との組を含む出力画面５１２２０（図１９参照）を表示部５１２００に出力する。
【0182】
ここで、最大並列数計算処理におけるＳ１５０２からＳ１５１４の処理の本質について説明する。
【0183】
図１７は、第２実施形態に係る最大並列数計算処理の本質を説明する図である。
【0184】
最大並列数計算プログラム１１１０によるステップＳ１５０２からステップＳ１５１４によって、開始時刻と完了予定時刻と並列数とを出力する処理は、図１７に示すように、他のジョブ（ジョブＢ、ジョブＣ）による各構成要素の負荷と、ジョブの実行期間とが成す矩形のうち、データ分析基盤１００の各構成要素の最大性能値を超えない、かつ、完了予定時刻が最も早くなる登録ジョブの実行期間を示す矩形（例えば、図１７のグラフ５１６００）の場所を探索する処理に相当する。なお、登録ジョブの実行期間を示す矩形の場所を探索する処理としては、上記に限られず、例えば、時刻に対する任意の各区間ごとに登録ジョブを実行した場合の最大並列数と開始時刻と完了予定時刻とを計算し、最適な区間を導出するようにしてもよい。
【0185】
なお、第２実施形態では、登録されたジョブの開始時刻より後、かつ、完了予定時刻より前に開始される他のジョブについては説明していないが、それらのジョブの負荷を予測して登録ジョブの最大並列数を計算してもよい。
【0186】
また、ジョブの優先度を設定し、他のジョブの優先度が低ければ、それらのジョブの負荷を含めずに最大並列数を計算するようにしてもよい。
【0187】
また、第２実施形態では、図１４のグラフ５１３０１に示すように要求リソース量は理想的にジョブの起動とともにジョブの並列数だけ増え、ジョブの終了とともに減少する想定での計算を例示している。しかし、実際には図１４のグラフ５１３０２に示すように要求リソース量は徐々に増加し、徐々に減少する。ここで、グラフ５１３０１のように、ジョブ起動からジョブの終了までの間、最大の要求リソース量とすることのできる並列数ではなく、その並列数よりも少ない並列数（所定の割合（例えば、２０％）だけ少ない並列数をジョブの最大並列数として設定するようにしてもよい。このようにすると、最大の処理効率は幾分低下するが、ジョブの起動直後やジョブの終了直前において、利用されないのに確保されてしまう無駄なリソース量を低減することができる。
【0188】
＜完了予定時刻計算処理＞
完了予定時刻計算処理は、最大並列数計算プログラム１１１０をＣＰＵ２１１が実行することにより行われる処理であり、指定された開始時刻と並列数とに対し、登録ジョブの完了予定時刻を計算する処理である。
完了予定時刻計算処理は、最大並列数計算プログラム１１１０をＣＰＵ２１１が実行することにより行われる処理であり、指定された開始時刻と並列数とに対し、登録ジョブの完了予定時刻を計算する処理である。
【0189】
図１８は、第２実施形態に係る完了予定時刻計算処理のフローチャートである。
【0190】
完了予定時刻計算処理は、最大並列数計算処理のステップＳ１５０２、ステップＳ１５１０において実行される。
【0191】
ステップＳ１７０１において、最大並列数計算プログラム１１１０は、指定された登録ジョブ情報と、開始時刻と、ジョブの並列数とを取得する。
【0192】
ステップＳ１７０１の後、最大並列数計算プログラム１１１０は、ステップＳ１７０１で取得した登録ジョブの有するすべてのプロセスＩＤ８０２のプロセスＩＤを処理対象にループ３の処理（ステップＳ１７０２～Ｓ１７０４）を実行する。ここで、処理対象のプロセスＩＤを対象プロセスＩＤということとする。
【0193】
ステップＳ１７０２において、最大並列数計算プログラム１１１０は、対象プロセスＩＤのデータソース８１５、あるいは、アウトプット８１６の値が示すデータの応答時間を応答時間情報テーブル５１０から取得する。取得する応答時間は、例えば、データソース８１５、あるいは、アウトプット８１６の値に関連する最新の応答時間であってもよく、また、完了予定時刻計算処理が開始されてから計測した応答時間であってもよい。
【0194】
ステップＳ１７０３において、最大並列数計算プログラム１１１０は、対象プロセスＩＤに関連するプロセス種別ＩＤ８１３のプロセス種別ＩＤに基づいて、プロセス種別情報テーブル７１０から関連するエントリ（１回の処理計算時間、読込単位、書込単位、読込回数、及び書込回数）を取得する。
【0195】
ステップＳ１７０４において、最大並列数計算プログラム１１１０は、ステップＳ１７０２で取得した応答時間と、ステップＳ１７０３で取得したエントリの１回の処理計算時間、読込単位、書込単位、読込回数、及び書込回数と、に基づいて、プロセスの１並列処理単位あたりの処理時間を計算する。例えば、以下の式（５）でプロセスの１並列処理単位あたりの処理時間を計算する。
【0196】
プロセスの１並列処理単位あたりの処理時間
＝（読込データの応答時間×読込回数+１回の処理計算時間＋書込データの応答時間×書込回数） ・・・（５）
＝（読込データの応答時間×読込回数+１回の処理計算時間＋書込データの応答時間×書込回数） ・・・（５）
【0197】
ステップＳ１７０５において、最大並列数計算プログラム１１１０は、ループ３の処理（Ｓ１７０２～Ｓ１７０４）で計算した各プロセスの１並列処理単位あたりの処理時間と、開始時刻と、並列数とに基づいて、ジョブの完了予定時刻を計算する。例えば、以下の式（６）で完了予定時刻を計算する。
完了予定時刻＝開始時刻＋ジョブの処理時間 ・・・（６）
なお、ジョブの処理時間は、以下の式（７）により計算される。
ジョブの処理時間
＝Σ（プロセス）｛（プロセスの１並列処理単位あたりの処理時間×読込データ数）／（並列数×読込回数）｝ ・・・（７）
また、読込データ数は、プロセス種別テーブル７１０の読込単位７１３の読込単位と、登録ジョブ情報テーブル８５０のデータソース８１５の値とに基づいて計算できる、データをストレージ装置から転送する回数であってよい。
完了予定時刻＝開始時刻＋ジョブの処理時間 ・・・（６）
なお、ジョブの処理時間は、以下の式（７）により計算される。
ジョブの処理時間
＝Σ（プロセス）｛（プロセスの１並列処理単位あたりの処理時間×読込データ数）／（並列数×読込回数）｝ ・・・（７）
また、読込データ数は、プロセス種別テーブル７１０の読込単位７１３の読込単位と、登録ジョブ情報テーブル８５０のデータソース８１５の値とに基づいて計算できる、データをストレージ装置から転送する回数であってよい。
【0198】
完了予定時刻計算処理の具体例は以下のとおりである。例えば、最大並列数計算プログラム１１１０は、登録ジョブ情報テーブル８１０のエントリ８００１が示すジョブＡと、開始時刻２０２０年１月１日１２：００と、並列数５とを入力としてステップＳ１７０１において取得し、ループ３の処理（ステップＳ１７０２～ステップＳ１７０４）を繰り返す。ループ３の処理において、最大並列数計算プログラム１１１０は、エントリ８００１のプロセスＩＤ「プロセスａ」に対して、データソース８１５が示すデータのデータ転送の応答時間３ミリ秒と、アウトプット８１６が示す「ＤＢ３＿Ｔａｂｌｅ１」のデータ転送の応答時間１０ミリ秒とを応答時間情報テーブル５１０から取得する（ステップＳ１７０３）。ステップＳ１７０３において、最大並列数計算プログラム１１１０は、プロセス種別情報テーブル７１０からプロセス種別ＩＤが「Ｔａｂｌｅ＿ｔｏ＿Ｔａｂｌｅ＿Ｅｘｔｒａｃｔ＿Ｃｏｌｕｍｎ」であるエントリ７００１を取得し、１回の処理計算時間「３０ミリ秒」、読込回数「１」、書込回数「１」、読込単位「１テーブル」、書込単位「１テーブル」、を取得する。ステップＳ１７０４において、最大並列数計算プログラム１１１０は、１並列処理単位あたりの処理時間＝（３ミリ秒×１＋３０ミリ秒＋１０ミリ秒×１）＝４３ミリ秒を計算する。
【0199】
ループ３の処理の後にステップＳ１７０５において、最大並列数計算プログラム１１１０は、読込単位が１テーブルであり、データソースがテーブル１～９９９であることから、読込データ数は９９９個であり、ジョブの処理時間＝（４３ミリ秒×９９９）／（５×１）≒８．５秒と計算する。
【0200】
なお、第２実施形態では、ステップＳ１７０５で計算するジョブの処理時間を、各プロセスにかかる処理時間のみを計算する例を挙げていたが、実際にはジョブ実行時にジョブの起動時間や前処理等の時間も必要となるため、それらの時間を加えて計算してもよい。
【0201】
また、第２実施形態においては、ジョブが実行するプロセスの並列数がどの時刻においても設定した並列数を保持する前提の計算を例示している。しかし、実際のＥＴＬ処理においては、特にジョブの起動直後においては、起動のための処理負荷などにより、指定した並列数で実行されない場合がある。すなわち、実際には図１４のグラフ５１３０２に示すように要求リソース量は徐々に増加し、徐々に減少し、それに応じてジョブの処理時間も変動する。そこで、図１４のグラフ５１３０２に示すような処理時間の変動をプロセス種別ごとに機械学習などで学習し、ジョブの処理時間を導出できるモデルを作成しておき、完了予定時刻計算処理においてはこのモデルを使用することで完了予定時間を計算するようにしてもよい。例えば、プロセス種別に基づくデータ転送の応答時間と、プロセスの１並列処理単位の処理計算時間と、読込回数と、書込回数と、データソースと読み込み単位から計算する読込データ数と、並列数と、を少なくとも特徴量として持ち、ジョブの処理時間を算出するモデルを作成し、このモデルによりジョブの処理時間を計算してもよい。
【0202】
＜出力画面５１２２０＞
図１９は、第２実施形態に係る出力画面の一例を示す図である。図１９に示す出力画面は、ＧＵＩで実装した場合の一例を示す。なお、第１実施形態に係る出力画面５１２１０と同様な部分については、同一符号を付している。
図１９は、第２実施形態に係る出力画面の一例を示す図である。図１９に示す出力画面は、ＧＵＩで実装した場合の一例を示す。なお、第１実施形態に係る出力画面５１２１０と同様な部分については、同一符号を付している。
【0203】
出力画面５１２２０は、登録されたジョブのジョブ名を表示する表示領域５１２１１と、ジョブの推奨する並列処理数を表示する表示領域５１２１２と、登録ジョブに対して推奨する奨励開始時刻を表示する表示領域５１２１３と、登録ジョブの完了予定時刻を表示する表示領域５１２１４とを有する。
【0204】
例えば、図１９の出力画面５１２２０は、「ジョブＡ」の処理は並列数を２０で実行し、開始時刻は２０２０年１月２日０時、ジョブの完了予定時刻は２０２０年１月２日１時であることを示している。
【0205】
なお、上記実施形態においては、最大並列数を出力画面５１２２０に表示させるようにしていたが、例えば、管理計算機２００は、最大並列数計算処理により算出された最大並列数でジョブを実行するようにジョブ実行サーバ１１０に対して設定を行う機能を有していてもよい。
【0206】
また、出力画面５１２２０に、ステップＳ１５０９～Ｓ１５１０で計算した値を用いて、他のジョブの完了を待機しなかった場合の開始時刻と完了予定時刻と並列数との組を、他のジョブの完了予定時刻ごとに表示してもよい。
【0207】
以上に説明したように、第２実施形態によれば、或る登録ジョブの実行にあたって、他のＥＴＬ処理のジョブの完了時刻に基づいて、登録ジョブを指定時刻に実行するか、他のジョブの完了を待って実行するかを判定し、最も早くジョブを完了できる開始時刻を決定できる。
【0208】
なお、第２実施形態では、事前に計測されたプロセスの処理時間や応答時間を用いてジョブの完了予定時刻を計算しているが、ジョブが既に実行されている場合は、ジョブの実行時間と進捗とを計測し、完了予定時刻を予測してもよい。
【0209】
≪第３実施形態≫
次に、第３実施形態に係るデータ分析基盤管理システムについて説明する。以下の説明では、第１、第２実施形態との差異を中心に説明し、同等の構成要素や、同等の機能を持つプログラム、同等の項目を持つテーブルについては、同一の符号を用い、記載を省略又は簡略する。
次に、第３実施形態に係るデータ分析基盤管理システムについて説明する。以下の説明では、第１、第２実施形態との差異を中心に説明し、同等の構成要素や、同等の機能を持つプログラム、同等の項目を持つテーブルについては、同一の符号を用い、記載を省略又は簡略する。
【0210】
第１、第２実施形態に係るデータ分析基盤管理システムでは、データ分析基盤１００の負荷や他のＥＴＬ処理のジョブの完了予定時刻に応じて、ジョブの完了が最短となるジョブの並列数あるいはジョブの開始時刻を決定した。しかし、データ分析者がジョブの完了時刻に対して特定の期限を有する場合に、第１、第２実施形態の方法では、他のジョブによってデータ分析基盤のリソースが使用されることによって、期限内にジョブを完了できない場合がある。
【0211】
そこで、第３実施形態に係るデータ分析基盤管理システムでは、データ分析者にジョブ完了の許容期限を設定させ、或る登録ジョブの実行にあたって、ジョブの完了予定時刻を予測し、完了予定時刻が許容期限を超える場合は、他のジョブの許容期限の範囲内で他のジョブの並列数を変更する例について説明する。
【0212】
第３実施形態に係る管理計算機２００は、入力画面５１１１０に代えて入力画面５１１２０を表示させるようにし、第２実施形態に係る登録ジョブ情報記憶部８００が登録ジョブ情報テーブル８５０に代えて登録ジョブ情報テーブル８６０を格納し、管理計算機２００が最大並列数計算プログラム１１１０に代えて最大並列数計算プログラム１１２０を記憶する。
【0213】
＜入力画面５１１２０＞
図２０は、第３実施形態に係る入力画面の一例を示す図である。図２０に示す入力画面は、ＧＵＩで実装した場合の一例を示す。なお、第１実施形態に係る入力画面５１１１０と同様な部分については、同一符号を付している。
図２０は、第３実施形態に係る入力画面の一例を示す図である。図２０に示す入力画面は、ＧＵＩで実装した場合の一例を示す。なお、第１実施形態に係る入力画面５１１１０と同様な部分については、同一符号を付している。
【0214】
入力画面５１１２０の入力領域５１１１１は、データノード５１１１２と、プロセスノード５１１１３と、アウトプットノード５１１１４と、ジョブ完了許容期限５１１１５と、を有する。ジョブ完了許容期限５１１１５は、登録したジョブの完了時刻についてデータ分析者が許容できる期限を定義できる領域である。この入力画面５１１２０に対して入力された情報に基づいて、登録ジョブ情報テーブル８６０に、実行予定、あるいは実行中のジョブの完了許容期限に関する情報が格納される。
【0215】
例えば、入力画面５１１２０は、ジョブＡの完了時刻の許容期限は２０２０年１月２日４時であることを示している。
【0216】
＜登録ジョブ情報記憶部８００＞
登録ジョブ情報記憶部８００は、登録ジョブ情報テーブル８６０を記憶する。
登録ジョブ情報記憶部８００は、登録ジョブ情報テーブル８６０を記憶する。
【0217】
図２１は、第３実施形態に係る登録ジョブ情報テーブルの構成図である。なお、登録ジョブ情報テーブル８５０と同様なフィールドには、同一の符号を付し、説明を省略する。
【0218】
登録ジョブ情報テーブル８６０のエントリは、データ分析者によって登録されたＥＴＬ処理のジョブの情報を格納すべく、ジョブＩＤ８１１と、プロセスＩＤ８１２と、プロセス種別ＩＤ８１３と、パラメータ８１４と、データソース８１５と、アウトプット８１６と、開始時刻８５１と、完了予定時刻８５２と、並列数８５３と、要求リソース量８６１と、許容期限８６２と、最小並列数８６３と、最小要求リソース量８６４と、のフィールドを有する。
【0219】
要求リソース量８６１には、並列数８５３に格納された並列数でジョブを実行した時の要求リソース量が格納される。許容期限８６２には、データ分析者によって入力されたジョブの完了許容期限が格納される。最小並列数８６３には、完了許容期限を満たすために最低限必要な並列数が格納される。最小要求リソース量８６４には、最小並列数で実行した場合にデータ分析基盤１００の各構成要素に対する要求リソース量（最小要求リソース量）が格納される。
【0220】
例えば、登録ジョブ情報テーブル８６０のエントリ１９００１は、登録されたジョブＡが並列数２０で実行され、その時の要求リソース量は、例えば、ネットワークＩ／Ｆ１５３の受信転送速度に対しては２Ｇｂｐｓであることを示す。さらに、少なくとも２０２０年１月２日４時までにジョブを完了することが要求され、それに対して必要なジョブの最小並列数は１０であり、最小並列数で実行する時の要求リソース量は、例えばネットワークＩ／Ｆ１５３の受信転送速度に対しては１Ｇｂｐｓであることを示している。
【0221】
なお、最小並列数と最小要求リソース量とは、ジョブの完了許容期限が設定された時点で、計算されてもよい。例えば、完了予定時刻計算処理を実行し、開始時刻は指定された値を入力し、並列数は任意の値に変更しながら、完了予定時刻計算処理により出力される完了予定時刻が完了許容期限の値に最も近くなる値を探索することにより導出してもよい。また、要求リソース量と、最小要求リソース量とは、要求リソース量計算処理によって計算された１並列処理単位あたりの要求リソース量と、並列数８５３の並列数、あるいは、最小並列数８６３の最小並列数に基づいて計算してもよい。
【0222】
＜最大並列数計算処理＞
最大並列数計算処理は、管理計算機２００の最大並列数計算プログラム１１２０をＣＰＵ２１１が実行することにより行われる処理であり、登録ジョブが現状の空きリソース量に対して完了許容期限を満たさない場合に、登録ジョブと他のジョブの完了許容期限をすべて満たす、他のジョブの並列数（あるいは使用リソース量）を探索する処理を更に含んでいる。
最大並列数計算処理は、管理計算機２００の最大並列数計算プログラム１１２０をＣＰＵ２１１が実行することにより行われる処理であり、登録ジョブが現状の空きリソース量に対して完了許容期限を満たさない場合に、登録ジョブと他のジョブの完了許容期限をすべて満たす、他のジョブの並列数（あるいは使用リソース量）を探索する処理を更に含んでいる。
【0223】
図２２は、第３実施形態に係る最大並列数計算処理のフローチャートである。
【0224】
最大並列数計算処理は、例えば、空きリソース量計算処理と、要求リソース量計算処理との完了が検知された時に実行される。
【0225】
ステップＳ２００１において、最大並列数計算プロラム１１２０は、第２実施形態の最大並列数計算処理（図１６参照）を実行する。
【0226】
ステップＳ２００２において、最大並列数計算プログラム１１２０は、空きリソース量計算処理のステップＳ９０１で取得した登録ジョブについて、登録ジョブ情報テーブル８６０から完了許容期限を取得する。
【0227】
ステップＳ２００３において、最大並列数計算プログラム１１２０は、ステップＳ２００１で導出した完了予定時刻が完了許容期限より遅いか否かを判定する。この判定の結果が真の場合（Ｓ２００３：ＹＥＳ）、最大並列数計算プログラム１１２０は、処理をステップＳ２００４へ進め、この判定の結果が偽の場合（Ｓ２００３：ＮＯ）、最大並列数計算プログラム１１２０は、処理をステップＳ２０１２へ進める。
【0228】
ステップＳ２００４において、最大並列数計算プログラム１１２０は、空きリソース量計算処理で計算した、登録ジョブのデータ転送パス上の構成要素の空きリソース量を記憶する。
【0229】
ステップＳ２００５において、最大並列数計算プログラム１１２０は、他のジョブ情報を登録ジョブ情報テーブル８６０から取得してキューに記憶する。なお、ここで取得する他のジョブ情報は、同じ期間に実行されるジョブに限定してよい。同じ期間とは、例えば、登録ジョブの開始時刻から完了許容期限が示す期間が、他のジョブの開始時刻から完了許容期限が示す期間と重複する場合を示す。また、ここで取得するジョブは、登録ジョブとデータ転送のパスが重複するジョブに限定してよい。
【0230】
ステップＳ２００６において、最大並列数計算プログラム１１２０は、ステップＳ２００５のキューが空か否かを判定する。この判定の結果が真の場合（Ｓ２００６：ＹＥＳ）、最大並列数計算プログラム１１２０は、処理をステップＳ２０１３へ進め、この判定の結果が偽の場合（Ｓ２００６：ＮＯ）、最大並列数計算プログラム１１２０は、処理をステップＳ２００７へ進める。
【0231】
ステップＳ２００７において、最大並列数計算プログラム１１２０は、ステップＳ２００５のキューからジョブ情報を１つ取得する。ここで、取得したジョブ情報のジョブを対象ジョブということとする。
【0232】
ステップＳ２００８において、最大並列数計算プログラム１１２０は、ステップＳ２００４で記憶した空きリソース量から対象ジョブが最小並列数に変更された場合の各構成要素の空きリソース量を計算する。対象ジョブの現在の並列数設定値から最小並列数に減らす場合は、削減可能なリソース量は、（要求リソース量－最小要求リソース量）で計算できる。そして空きリソース量にその値を加算することで最小並列数に変更された場合の空きリソース量を計算できる。
【0233】
ステップＳ２００９において、最大並列数計算プログラム１１２０は、ステップＳ２００４で記憶した空きリソース量を更新し、対象ジョブの情報（対象ジョブ情報）を記憶する。
【0234】
ステップＳ２０１０において、最大並列数計算プログラム１１２０は、登録ジョブの要求リソース量８６１の要求リソース量と、ステップＳ２００９で更新した空きリソース量とを比較し、空きリソース量が登録ジョブの要求リソース量を満たすか否かを判定する。この判定の結果が真の場合（Ｓ２０１０：ＹＥＳ）、最大並列数計算プログラム１１２０は、処理をステップＳ２０１１へ進め、この判定の結果が偽の場合（Ｓ２０１０：ＮＯ）、並列数計算プログラム１１２０は、処理をステップＳ２００６へ進める。
【0235】
ステップＳ２０１１において、最大並列数計算プログラム１１２０は、ステップＳ２００９で記憶した他のジョブ（対象ジョブ）の識別情報と、最小並列数との組を出力する。例えば、最大並列数計算プログラム１１２０は、出力画面５１２２０を表示し、他のジョブの並列数の変更をデータ分析者に対して要求してもよく、あるいは、ジョブ実行サーバ１１０に並列数の変更をリクエストするようにしてもよい。
【0236】
ステップＳ２０１２において、最大並列数計算プログラム１１２０は、登録ジョブの最大並列数（この例では、最小並列数と同値）と、開始時刻と、完了予定時刻とを出力する。例えば、最大並列数計算プログラム１１２０は、出力画面５１２２０を表示し、登録ジョブの実行の設定をデータ分析者に対して要求してもよく、あるいは、ジョブ実行サーバ１１０に登録ジョブの実行の設定をリクエストするようにしてもよい。
【0237】
ステップＳ２０１３において、最大並列数計算プログラム１１２０は、完了予定時刻が完了許容時刻より遅くなることを、出力する。例えば、最大並列数計算プログラム１１２０は、完了予定時刻が完了許容時刻より遅くなることを出力画面５１２２０に表示する。
【0238】
以上に説明したように、第３実施形態によれば、登録ジョブの実行にあたって、データ分析者によって設定された完了許容期限に対し、空きリソース量が不足していた場合に、完了許容期限を満たすために並列数を減らす他のジョブの組み合わせを特定できる。
【0239】
なお、第３実施形態においては、最大並列数計算処理において、第２実施形態の最大並列数計算処理をすべて実行するようにしていたが、第２実施形態の最大並列数計算処理の開始時刻を探索する処理（ステップＳ１５０３～Ｓ１５１４）を実行せずに、ステップＳ１５０１～Ｓ１５０２のみを実行するようにしてもよい。
【0240】
また、第３実施形態においては、ジョブの実行中にジョブの並列数を変更できる場合の例を示していたが、データ分析基盤がジョブの実行中に並列数を変更できない場合は、サーバやストレージ装置やＲＤＢＭＳソフトウェア等によってジョブの使用可能なリソース量を変更（削減）することで登録ジョブの利用可能なリソース量を増やすようにしてもよい。例えば、ストレージ装置１３０が特定のサーバから特定のＩ／Ｏポートに対するスループットに上限を設定する機能を有する場合には、他のジョブのＩ／Ｏポートの使用可能なリソース量を減らし、それに伴って、他の構成要素への要求リソース量を減らすことができる。これにより、ジョブ実行サーバ１１０で実行するジョブの並列数を変更できない場合でも、登録ジョブの実行を適切に行うことができる。
【0241】
この場合には、最大並列数計算処理のステップＳ２００８では、最大並列数計算プログラムは、最小並列数で実行した時の空きリソース量ではなく、最小要求リソース量を満たす空きリソース量（すなわち、最小並列数で実行した時の空きリソース量と同等）を計算する。また、例えば、Ｉ／Ｏポートのスループット上限設定機能を用いる場合、この機能では、ＲＤＢＭＳサーバ１２０とＩ／Ｏポート１３１との間のスループットのみ上限を設定できるため、最大並列数計算処理のステップＳ２００７では、他のジョブ情報をキューから取り出す際には、同じＲＤＢＭＳサーバ１２０にアクセスするジョブをグルーピングし、グルーピングしたジョブをまとめてキューから取得して、このグルーピングしたジョブに対して以降の処理を実行する必要がある。
【0242】
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で、適宜変形して実施することが可能である。
【0243】
例えば、上記実施形態において、プロセッサが行っていた処理の一部又は全部を、専用のハードウェア回路で行うようにしてもよい。また、上記実施形態におけるプログラムは、プログラムソースからインストールされてよい。プログラムソースは、プログラム配布サーバ又は記憶メディア（例えば可搬型の記憶メディア）であってもよい。
【符号の説明】
【0244】
１…データ分析基盤管理システム、１００…データ分析基盤、１２０…パブリッククラウド環境、１０２…オンプレミス環境、１１０ｄ，１１０ｅ…ジョブ実行サーバ、１２０ａ，１２０ｂ，１２０ｃ…ＲＤＭＳサーバ、１３０…ストレージ装置、１５０ａ，１５０ｂ，１５０ｃ，１５０ｄ，１５０ｅ…サーバ、２００…管理計算機、２１１…ＣＰＵ、２１２…メモリ、２１３…ディスク
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
