特許 5965488 グリッド構成管理システムおよびグリッド構成管理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5965488

(24)【登録日】2016年7月8日

(45)【発行日】2016年8月3日

(54)【発明の名称】グリッド構成管理システムおよびグリッド構成管理方法

(51)【国際特許分類】

   G06F 9/50 20060101AFI20160721BHJP

   G06F 9/46 20060101ALI20160721BHJP

【ＦＩ】

   G06F9/46 462Z

   G06F9/46 350

【請求項の数】11

【全頁数】15

(21)【出願番号】特願2014-532620(P2014-532620)

(86)(22)【出願日】2012年8月28日

(86)【国際出願番号】JP2012071733

(87)【国際公開番号】WO2014033843

(87)【国際公開日】20140306

【審査請求日】2015年7月8日

(73)【特許権者】

【識別番号】000233491

【氏名又は名称】株式会社日立システムズ

(74)【代理人】

【識別番号】110001689

【氏名又は名称】青稜特許業務法人

(72)【発明者】

【氏名】飯倉 健

【審査官】 坂庭 剛史

(56)【参考文献】

【文献】 特開２００７−２００１２８（ＪＰ，Ａ）

【文献】 特開２０１０−１８６２５５（ＪＰ，Ａ）

【文献】 特開２００８−１２３２０５（ＪＰ，Ａ）

【文献】 三角 真、宮地利幸、知念賢一、篠田陽一，実ノードを利用したネットワークシミュレーションにおけるノードへのＯＳの導入及びパラメータ設定機構の開，情報処理学会研究報告，日本，社団法人情報処理学会，２００４年 １月３０日，Ｖｏｌ．２００４，Ｎｏ．９，ｐ．９７，2004-DPS-116(17)

【文献】 壬生亮太、小林泰三、大庭淳一、高見利也、上田将嗣、山元祐介、増原裕之、天野浩文、青柳 睦，グリッドミドルウェアの階層的管理機構によるＮＡＲＥＧＩインストーラの設計と実装，情報処理学会研究報告，日本，社団法人情報処理学会，２００８年１２月 ９日，Ｖｏｌ．２００８，Ｎｏ．１２５，ｐｐ．２０〜２１，2008-HPC-118(4)

【文献】 白勢健一郎、松岡 聡、中田秀基，グリッド環境におけるモニタリングシステムの自律的構成，情報処理学会研究報告，日本，社団法人情報処理学会，２００５年 ３月 ９日，Ｖｏｌ．２００５，Ｎｏ．１９，ｐｐ．３〜４，2005-ARC-162(1)，2005-HPC-101(1)

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ９／５０

Ｇ０６Ｆ ９／４６

(57)【特許請求の範囲】

【請求項1】

グリッドを構成するノードを管理するグリッド構成管理システムであって、
グリッド管理装置は、
前記ノードの設定状態を示すステータスと前記ノードが割り当てられるグリッドとを対応付けたノード情報と、前記ステータスと前記ステータスのノードに設定するための設定ファイルとを対応付けたリポジトリ情報と、を記憶する記憶部と、
前記ノード情報のステータスが更新された場合に、更新された前記ステータスに応じた設定ファイルを取得する取得部と、
前記取得部が取得した前記設定ファイルを前記ノードに送信し、または前記ノードから前記設定ファイルに基づいて前記ステータスに応じた前記ノードの構成の設定が完了した旨を受信する配信部と、
前記配信部が前記ノードの構成の設定が完了した旨を受信した場合に、前記ノード情報のステータスを次の段階のステータスに更新し、前記ノードが割り当てられるグリッドを決定する管理部と、を備え、
前記ノードは、
前記グリッド管理装置から受け取った前記設定ファイルに基づいて、前記ノードを前記ステータスに応じた構成に設定するエージェント部と、
前記設定ファイルを前記グリッド管理装置から受け取り、または前記ノードの構成の設定が完了した旨を前記グリッド管理装置に送信する通信部と、
を備えることを特徴とするグリッド構成管理システム。

【請求項2】

前記記憶部は、前記ノード情報のステータスとして、前記ノードを初期化する初期化ステータスと、グリッドに前記ノードを割り当てる割当ステータスと、グリッドから前記ノードを離脱させる解除ステータスとを記憶し、
前記取得部は、前記ノード情報のステータスが初期化ステータスに更新された場合には前記リポジトリから初期化用の設定ファイルを取得し、前記ノード情報のステータスが割当ステータスに更新された場合には前記リポジトリから割当用の設定ファイルを取得し、前記ノード情報のステータスが解除ステータスに更新された場合には前記リポジトリから解除用の設定ファイルを取得し、
前記エージェント部は、前記初期化用の設定ファイル、または前記割当用の設定ファイル、または前記解除用の設定ファイルに定められた構成で前記ノードを設定する、
ことを特徴とする請求項１に記載のグリッド構成管理システム。

【請求項3】

前記取得部が前記初期化用の設定ファイルを取得して前記エージェント部が前記ノードを初期化し、前記ノードが初期化された場合に前記取得部が前記割当用の設定ファイルを取得して前記エージェント部が前記ノードを前記グリッドに割り当て、前記ノードが前記グリッドに割り当てられた場合に前記取得部が前記解除用の設定ファイルを取得して前記エージェント部が前記ノードを前記グリッドから離脱させ、前記ノードが前記グリッドから離脱された場合に再度前記取得部が前記初期化用の設定ファイルを取得して前記エージェント部が前記ノードを初期化し、前記管理部は初期化された状態で前記ノードを管理する、
ことを特徴とする請求項２に記載のグリッド構成管理システム。

【請求項4】

前記記憶部は、前記ノードのステータスとして、さらに前記グリッド構成管理システムを新たに利用するノードとして登録する新規登録ステータスを記憶し、
前記管理部は、前記ノードの登録を受け付けて前記ノード情報のステータスを前記新規登録ステータスに更新し、
前記エージェント部は、前記ステータスが新規登録ステータスに更新された後は、前記ノードの初期化と前記ノードの割り当てと前記ノードの解除とを繰り返す、
ことを特徴とする請求項３に記載のグリッド構成管理システム。

【請求項5】

前記記憶部は、前記ノード情報として前記ノードの性能や設定を示すノード属性情報をさらに記憶し、
前記エージェント部は、前記設定ファイルに基づいて前記ステータスに応じた前記ノードの構成の設定が完了した場合に、前記ノードの構成の設定が完了した状態のノード属性情報を出力し、
前記通信部は、前記ノードの構成の設定が完了した状態のノード属性情報を前記グリッド管理装置に送信し、
前記管理部は、前記記憶部に記憶されている前記ノード情報のノード属性情報を、前記ノードから受信したノード属性情報に更新する、
ことを特徴とする請求項１に記載のグリッド管理システム。

【請求項6】

前記エージェント部は、前記ノード情報のステータスが前記ノードを初期化する初期化ステータスに更新された場合に前記取得部が前記リポジトリから取得した初期化用の設定ファイル、または前記ノード情報のステータスがグリッドに前記ノードを割り当てる割当ステータスに更新された場合に前記取得部が前記リポジトリから取得した割当用の設定ファイル、または前記ノード情報のステータスがグリッドから前記ノードを離脱させる解除ステータスに更新された場合に前記取得部が前記リポジトリから取得した解除用の設定ファイルに定められた構成で前記ノードを設定し、
前記管理部は、それぞれの設定ファイルによって前記ノードが設定された都度、前記記憶部に記憶されている前記ノード情報のノード属性情報を、前記ノードから受信したノード属性情報に更新する、
ことを特徴とする請求項５に記載のグリッド管理システム。

【請求項7】

前記グリッド管理装置は、
前記記憶部は、前記ノードの稼働情報を記憶する監視データをさらに記憶し、
前記ノードの稼働情報を前記ノードから取得し、取得した前記稼働情報を前記監視データとして前記記憶部に蓄積させる収集部をさらに備える、
ことを特徴とする請求項１に記載のグリッド構成管理システム。

【請求項8】

前記収集部は、前記ノードのＣＰＵ使用率と、前記ノードのメモリ使用率と、前記ノードのディスク容量とを前記稼働情報として取得し、取得したこれらの情報を前記監視データとして前記記憶部に蓄積させる、
ことを特徴とする請求項５に記載のグリッド構成管理システム。

【請求項9】

グリッドを構成するノードを管理するグリッド構成管理システムにおいて行われるグリッド構成管理方法であって、
前記ノードの設定状態を示すステータスと前記ノードが割り当てられるグリッドとを対応付けたノード情報のステータスが更新された場合に、更新された前記ステータスに対応付けられた前記ステータスのノードに設定するための設定ファイルを取得する取得ステップと、
取得された前記設定ファイルを前記ノードに送信するファイル送信ステップと、
グリッド管理装置から受け取った前記設定ファイルに基づいて、前記ノードを前記ステータスに応じた構成に設定する設定ステップと、
前記ノードの構成の設定が完了した旨を前記グリッド管理装置に送信する完了送信ステップと、
前記ノードの構成が完了した旨を受信した場合に、前記ノード情報のステータスを次の段階のステータスに更新し、前記ノードが割り当てられるグリッドを決定する更新決定ステップと、
を含むことを特徴とするグリッド構成管理方法。

【請求項10】

前記取得ステップでは、前記ノード情報のステータスが初期化ステータスに更新された場合には初期化用の設定ファイルを取得し、前記ノード情報のステータスが割当ステータスに更新された場合には割当用の設定ファイルを取得し、前記ノード情報のステータスが解除ステータスに更新された場合には解除用の設定ファイルを取得し、
前記設定ステップでは、前記初期化用の設定ファイル、または前記割当用の設定ファイル、または前記解除用の設定ファイルに定められた構成で前記ノードを設定する、
ことを特徴とする請求項９に記載のグリッド構成管理方法。

【請求項11】

前記取得ステップにおいて前記初期化用の設定ファイルを取得して前記設定ステップにおいて前記ノードを初期化し、前記ノードが初期化された場合に前記取得ステップにおいて前記割当用の設定ファイルを取得して前記設定ステップにおいて前記ノードを前記グリッドに割り当て、前記ノードが前記グリッドに割り当てられた場合に前記取得ステップにおいて前記解除用の設定ファイルを取得して前記設定ステップにおいて前記ノードを前記グリッドから離脱させ、前記ノードが前記グリッドから離脱された場合に再度前記取得ステップにおいて前記初期化用の設定ファイルを取得して前記設定ステップにおいて前記ノードを初期化し、初期化された状態で前記ノードを管理する、
ことを特徴とする請求項１０に記載のグリッド構成管理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、分散処理を行うグリッドの構成を管理するグリッド構成管理システムおよびグリッド構成管理方法に関するものである。

【背景技術】

【0002】

一般に、分散処理を行うグリッドコンピューティング環境において、グリッドの処理能力を向上させるためには、そのグリッドに参加するノードを追加する必要がある。ノードを追加してグリッドの処理能力を向上させるものとして、例えば、特許文献１には、処理装置の仮想化技術を利用して、グリッド環境に対して要求されている処理能力の程度に応じてそのグリッドに対して資源を割り当てている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１１−４８４１９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上述した特許文献１に開示された技術では、グリッド環境に必要な処理能力を有したノードを割り当てることができるが、参加するグリッドにノードを割り当てる場合には、マシンのセットアップやそのグリッドに参加するための各種の設定等が多く、割り当て作業に時間を要してしまうという問題があった。

【0005】

本発明は、上記に鑑みてなされたものであって、割り当て作業に時間を要することのないグリッド構成管理システムおよびグリッド構成管理方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

上述した課題を解決し、目的を達成するために、本発明にかかるグリッド構成管理システムは、グリッドを構成するノードを管理するグリッド構成管理システムであって、グリッド管理装置は、前記ノードの設定状態を示すステータスと前記ノードが割り当てられるグリッドとを対応付けたノード情報と、前記ステータスと前記ステータスのノードに設定するための設定ファイルとを対応付けたリポジトリ情報と、を記憶する記憶部と、前記ノード情報のステータスが更新された場合に、更新された前記ステータスに応じた設定ファイルを取得する取得部と、前記取得部が取得した前記設定ファイルを前記ノードに送信し、または前記ノードから前記設定ファイルに基づいて前記ステータスに応じた前記ノードの構成の設定が完了した旨を受信する配信部と、前記配信部が前記ノードの構成の設定が完了した旨を受信した場合に、前記ノード情報のステータスを次の段階のステータスに更新し、前記ノードが割り当てられるグリッドを決定する管理部と、を備え、前記ノードは、前記グリッド管理装置から受け取った前記設定ファイルに基づいて、前記ノードを前記ステータスに応じた構成に設定するエージェント部と、前記設定ファイルを前記グリッド管理装置から受け取り、または前記ノードの構成の設定が完了した旨を前記グリッド管理装置に送信する通信部と、を備えることを特徴とする。

【0007】

また、本発明は、上記グリッド構成管理システムで行われるグリッド構成管理方法である。

【発明の効果】

【0008】

本発明によれば、割り当て作業に時間を要することのないグリッド構成管理システムおよびグリッド構成管理方法を提供することができる。

【図面の簡単な説明】

【0009】

【図1】本発明の実施の形態におけるグリッド構成管理システムの構成例を示す図である。

【図2】グリッド管理装置およびノードプールの機能的な構成を示すブロック図である。

【図3】ノード情報テーブルの構成例を示す図である。

【図4】グリッド情報テーブルの構成例を示す図である。

【図5】監視データの構成例を示す図である。

【図6】構成情報の例を示す図である。

【図7】構成リポジトリの構成例を示す図である。

【図8】グリッド構成管理処理の処理手順を示すフローチャートである。

【図9】グリッド構成管理処理を行った場合におけるノードのステータスの遷移を示す図である。

【発明を実施するための形態】

【0010】

以下に添付図面を参照して、本発明にかかるグリッド構成管理システムおよびグリッド構成管理方法の実施の形態を詳細に説明する。

【0011】

図１は、本発明の実施の形態におけるグリッド構成管理システム１０００の構成例を示す図である。図１に示すように、グリッド構成管理システム１０００は、グリッド管理装置１００と、ユーザ環境に設けられたグリッド群２００とを有して構成され、これらが互いにＷＡＮ（Wide Area Network）等の一般的なネットワークＮ１を介して接続されている。また、グリッド群２００は、複数のグリッド２１０と、ノードプール２２０とを有して構成され、これらが互いにＷＡＮ あるいはＬＡＮ（Local Area Network）等の一般的なネットワークＮ２を介して接続されている。グリッド２１０は、グリッド２１０を構成するノード２１１を有し、ノードプール２２０はグリッド２１０に参加させるための割当用ノード２２１を有している。以下では、ノードプール２２０にあるノードとグリッド２１０に参加しているノードとを、それぞれノード２１１および割当用ノード２２１と呼ぶこととする。以下では、特に図示していないが、各装置は互いにデータを送受信するための通信部を有しているものとする。

【0012】

図２は、グリッド管理装置１００およびノードプール２２０の機能的な構成を示すブロック図である。グリッド管理装置１００は、グリッド２１０が有しているノード２１１の構成を管理するサーバである。図２に示すように、グリッド管理装置１００は、ノード管理部１０１と、グリッド管理部１０２と、監視部１０３と、構成情報生成部１０４と、監視データ収集部１０５と、構成情報配信部１０６と、ノード情報テーブル１１１と、グリッド情報テーブル１１２と、監視データ１１３と、構成情報１１４と、構成リポジトリ１１５とを有している。ノード管理部１０１と、グリッド管理部１０２と、監視部１０３と、構成情報生成部１０４と、監視データ収集部１０５と、構成情報配信部１０６は、グリッド管理装置１００が有するＣＰＵ（Central Processing Unit）等の演算装置によって、その動作が制御される。これらの各部は、実際にはＣＰＵがメモリ等の記憶媒体からこれらの機能を司るプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされるようになっている。また、ノード情報テーブル１１１と、グリッド情報テーブル１１２と、監視データ１１３と、構成情報１１４と、構成リポジトリ１１５は、ＨＤＤ（Hard Disk Drive）等の記憶装置に記憶されている。

【0013】

ノード管理部１０１は、システム管理者からキーボード等の入力装置（不図示）を介してノードプールへのノードの割り当て指示を受け付けると、割当用ノード２２１のノードプールに登録する。後述するように、割当用ノード２２１のノードプールに登録されると、ノード管理部１０１は、登録された旨を構成エージェント２２１２に送信し、構成エージェント２２１２から割当用ノード２２１のノード属性情報を受信する。そして、ノード管理部１０１は、そのノード属性情報をノード情報テーブル１１１に追加し、追加されたレコードのステータスを「新規登録中」に更新する。

【0014】

図３は、ノード情報テーブル１１１の構成例を示す図である。図３に示すように、ノード情報テーブル１１１は、ノード２１１を識別するためのモード名と、そのノードの状態を示すステータスと、そのノードが参加しているグリッドを示す参加グリッドと、そのノードの性能や設定を示すノード属性情報（例えば、アドレス、ＣＰＵの種類、メモリの容量、ソフトウェアの種類等の情報）とが対応付けられたノード情報が記憶されている。図３に示す例では、ノード名「ｎｏｄｅ１．ｇｒｉｄ．ｏｒｇ」で識別されるノード２１１は、新規登録中であり、ノード名「ｎｏｄｅ２．ｇｒｉｄ．ｏｒｇ」で識別されるノード２１１は、初期化された状態にあり、いずれも未だ参加グリッドは存在しないことを示している。

【0015】

また、ノード名「ｎｏｄｅ３．ｇｒｉｄ．ｏｒｇ」で識別されるノード２１１は、初期化されて現在グリッドＧ００１で識別されるグリッド２１０に参加するための割当中であり、ノード名「ｎｏｄｅ４．ｇｒｉｄ．ｏｒｇ」で識別されるノード２１１は、参加のための割り当てが完了し、現在グリッドＧ００１に参加している状態であることを示している。さらに、ノード名「ｎｏｄｅ５．ｇｒｉｄ．ｏｒｇ」で識別されるノード２１１は、グリッドＧ００２で識別されるグリッド２１０からの割り当てが解除中であり、ノード名「ｎｏｄｅ６．ｇｒｉｄ．ｏｒｇ」で識別されるノード２１１は、「ｎｏｄｅ４．ｇｒｉｄ．ｏｒｇ」に参加しているノード２１１の場合と同様に、参加のための割り当てが完了し、現在グリッドＧ００２に参加している状態であることを示している。このように、ノード情報テーブル１１１には、現時点でのノード２１１の状態がノード情報として記憶され、後述する処理を行うことによって、その状態が適宜更新されることとなる。

【0016】

例えば、後述する構成情報配信部１０６が割当用ノード２２１から更新後のノード属性情報を受け取ると、ノード管理部１０１はノード情報テーブル１１１にアクセスし、割当用ノード２２１のノード情報に対応する項目を更新する。具体的には、ノード管理部１０１は、割当用ノード２２１のノード情報の項目のうち、ノード属性情報、ステータス、参加グリッドを更新する。この更新によって、例えば、ノード管理部１０１は、割当用ノード２２１のステータスが「新規登録中」である場合には、次の段階のステータスである「初期化済み」に更新したり、あるいは割当用ノード２２１のステータスが「初期化済み」である場合には、次の段階のステータスである「割当中」に更新する。

【0017】

グリッド管理部１０２は、システム管理者からキーボード等の入力装置（不図示）を介してグリッド２１０の構成を示す情報（グリッド情報）の登録指示を受け付けると、グリッド情報をグリッド情報テーブル１１２に登録する。グリッド情報は、グリッド２１０の構成を管理するための情報である。

【0018】

図４は、グリッド情報テーブル１１２の構成例を示す図である。図４に示すように、グリッド情報テーブル１１２は、グリッド２１０を識別するためのグリッドＩＤと、グリッドを構成するノードのうちマスタとなる機器を示すマスタサーバと、そのグリッドを構成するノード２１１の数を示すノード数とが対応付けて記憶されている。図４に示す例では、グリッドＩＤ「Ｇ００１」によって識別されるグリッドは、ノード名「ｎｏｄｅ４．ｇｒｉｄ．ｏｒｇ」によって識別されるノードをマスタサーバとし、１０台のノードによって構成されていることを示している。同様に、グリッドＩＤ「Ｇ００２」によって識別されるグリッドは、ノード名「ｎｏｄｅ６．ｇｒｉｄ．ｏｒｇ」によって識別されるノードをマスタサーバとし、２０台のノードによって構成されていることを示している。グリッド情報テーブル１１２の各項目の値については、あらかじめシステム管理者等によって定められているものとする。

【0019】

グリッド管理部１０２は、後述する構成情報配信部１０６が割当用ノード２２１から更新後のノード属性情報を受け取ると、グリッド情報テーブル１１２にアクセスし、ノード属性情報に含まれるマスタサーバ名をキーとして参加すべきグリッドを特定し、ノード情報テーブル１１１の参加グリッドを更新する。例えば、ノードのステータスが「割当中」である場合に生成された構成情報（図６右）によって割当用ノード２２１が設定されると、ノード属性情報にはマスタサーバ名「ｎｏｄｅ４．ｇｒｉｄ．ｏｒｇ」が含まれているため、グリッド管理部１０２は、このマスタサーバ名をキーとしてグリッド情報テーブル１１２にアクセスし、参加すべきグリッド「Ｇ００１」を特定し、ノード情報テーブル１１１の参加グリッドをそのグリッド名に更新する。

【0020】

監視部１０３は、ノード２１１の稼働情報の統計（稼働統計情報）が記憶された監視データ１１３にアクセスし、その結果をグリッド管理装置１００が有するディスプレイ等の表示装置（不図示）に表示させる。システム管理者は表示装置に表示された稼働統計情報を確認し、参加しているグリッド２１０やノード２１１の負荷等を確認することができる。

【0021】

図５は、監視データ１１３の構成例を示す図である。図５に示すように、監視データ１１３は、ノード名と、ＣＰＵ使用率と、メモリ使用量と、ディスク空き容量と、ノード属性情報とが対応付けて記憶されている。ノード名およびノード属性情報は、図３に示したノード情報テーブル１１１に格納されているものと同様のものである。ＣＰＵ使用率、メモリ使用率、ディスク空き容量は、そのノードでこれらが使用されている割合や容量を示している。図５に示す例では、ノード名「ｎｏｄｅ１．ｇｒｉｄ．ｏｒｇ」で識別されるノード２１１は、新規登録中であり、ＣＰＵ使用率が５パーセント、メモリ使用率が２０パーセント、ディスクの空き容量が９５ＧＢであることを示している。

【0022】

監視データ１１３は、後述する監視データ収集部１０５が、割当用ノード２２１にあらかじめインストールされている監視エージェント（後述）から送信された稼働情報を取得し、その稼働情報を監視データ１１３として登録することにより、各ノードの稼働情報が蓄積される。システム管理者は、監視データ１１３から稼働統計情報を確認することにより、グリッド２１０に対して最適な割当用ノード２１１を割り当てることができる。例えば、システム管理者は、あるグリッド全体のディスク容量が不足していると判断した場合には、最も空き容量が多いノードをそのグリッドに割り当てたり、あるいはこれとは逆にあるグリッドのＣＰＵ使用率が全体として低い場合には、そのグリッドのノードのステータスを「割当中」から「解除中」に移行させ、より少ない数のノードで各種の処理を行わせる。

【0023】

構成情報生成部１０４は、割当用ノード２１１のステータス（初期化、割当、解除）に応じた構成情報１１４をノードごとに生成する。構成情報とは、割当用ノード２１１に設定すべきノードの構成を示す情報である。構成情報生成部１０４は、ノード管理部１０１によってノード情報テーブル１１１が更新されると、その時点の最新のノード情報をロード（読み出し）し、更新された後のノード情報に示された構成情報を生成する。

【0024】

図６は、構成情報１１４の例を示す図である。図６に示すように、構成情報１１４には、設定すべきノードを示すノード名と、そのノードが参加するグリッドのマスタサーバ名と、設定すべきノードの状態を示す構成タイプとが記載されている。図６に示す例では、ノード名「ｎｏｄｅ１．ｇｒｉｄ．ｏｒｇ」で識別されるノード２１１には、現時点ではマスタサーバ名は設定せず、初期化用の構成に設定することを表している。このノードの構成情報がこのような内容となっている理由は、図３に示したように、このノード（「ｎｏｄｅ１．ｇｒｉｄ．ｏｒｇ」）は、現在のステータスが「新規登録中」であり、初期化用の設定が必要となるためである。また、ノード名「ｎｏｄｅ３．ｇｒｉｄ．ｏｒｇ」で識別されるノード２１１には、マスタサーバ名「ｎｏｄｅ４．ｇｒｉｄ．ｏｒｇ」で識別されるノードをマスタサーバとして設定し、ノード割当用の構成に設定することを表している。このノードの構成情報がこのような内容となっている理由は、上述したように、このノード（「ｎｏｄｅ３．ｇｒｉｄ．ｏｒｇ」）は、現在のステータスが「割当中」であり、グリッドにノードを割り当てるための割当用の設定が必要となるためである。

【0025】

監視データ収集部１０５は、割当用ノード２２１にあらかじめインストールされている監視エージェント（後述）から送信された稼働情報を取得し、その稼働情報を監視データ１１３として登録し、蓄積させる。監視データ収集部１０５は、例えば、日次、週次等のあらかじめ定められたタイミングで稼働情報を取得し、そのデータをそのまま監視データ１１３として登録したり、あるいはある時点の平均値を算出し、そのデータを監視データ１１３として登録する。

【0026】

構成情報配信部１０６は、構成情報生成部１０４が生成した構成情報１１４に含まれている構成タイプをキーとして構成リポジトリ１１５にアクセスし、そのノードに必要なプログラム、設定ファイル、スクリプトを抽出し、抽出したこれらのファイル（更新用ファイル）を割当用ノード２１１に送信する。また、構成情報配信部１０６は、割当用ノード２２１から更新後のノード属性情報を受信する。

【0027】

図７は、構成リポジトリ１１５の構成例を示す図である。図７に示すように、構成リポジトリ１１５は、図３に示したノード情報テーブル１１１に含まれるステータスごとに、ディレクトリが設けられ、各ディレクトリには、割当用ノード２２１がそのステータスにある場合に必要な各種のプログラム、設定ファイル、スクリプトが記憶されている。図７において、例えば、割当用ノード２２１のステータスが「初期化」である場合には、グリッド２１０に参加するためのグリッドプログラムや監視エージェントを動作させるための監視プログラム、これらのプログラムを実行させるためのｉｎｉｔスクリプトが必要であることを示している。他のステータスの場合もこれと同様に各種のプログラム、設定ファイル、スクリプトが記憶されている。なお、図７では構成リポジトリ１１５の階層構造についてのみ記載しているが、実際にはこれらに対応付けてファイルやプログラム等の実体データが記憶されている。続いて、図２に戻って、ノードプール２２０、割当用ノード２２１について説明する。

【0028】

ノードプール２２０は、グリッド２１０に割り当てられていないノードを退避させて管理するプールである。ノードプール２２０は、例えば、グリッド管理装置１００の記憶部に、あらかじめ未割当ノード（割当用ノード２２１）を有したプールとして登録されており、システム管理者がその未割当ノードの中から割当用ノード２２１を選択し、選択したその割当用ノード２２１について、後述する各種の処理が実行される。

【0029】

図２に示すように、ノードプール２２０は割当用ノード２２１を含んでいる。割当用ノード２２１は、現時点でグリッド２１０に参加していないノードである。割当用ノード２２１は、監視エージェント２２１１と、構成エージェント２２１２と、グリッドプログラム２２１３と、グリッド設定ファイル２２１４とを有している。なお、監視エージェント２２１１、構成エージェント２２１２、グリッドプログラム２２１３は、ＣＰＵ等の演算装置によって、その動作が制御される。これらの各部は、実際にはＣＰＵがメモリ等の記憶媒体からこれらの機能を司るプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされるようになっている。また、これらを実行するためのファイルやグリッド設定ファイル２２１４は、ＨＤＤ等の記憶装置に記憶されている。

【0030】

監視エージェント２２１１は、割当用ノード２２１（グリッド２１０に割り当てられた後はノード２１１）の稼働情報を収集する。稼働情報は、図５に示した監視データ１１３と同様の情報である。

【0031】

構成エージェント２２１１は、グリッド管理装置１００からの指示に応じて割当用ノード２２１をグリッド２１０に参加させるための各種の設定あるいはその解除を行う。構成エージェント２２１１は、割当用ノード２２１がグリッド２１０に割り当てられる際に、ノード属性情報をグリッド管理装置１００に送信する。また、構成エージェント２２１１は、構成情報配信部１０６から上述した更新用ファイルを受信すると、そのファイルに含まれる割当用ノード２２１に必要なプログラム、設定ファイル、スクリプト（例えば、グリッドプログラム２２１３、グリッド設定ファイル２２１４）を読み出して実行し、割当用ノード２２１内のソフトウェア構成や設定を更新する。構成エージェント２２１１は、割当用ノード２２１内のソフトウェア構成や設定を更新すると、更新後のノード属性情報をグリッド管理装置１００の構成情報配信部１０６に送信する。

【0032】

グリッドプログラム２２１３は、グリッド２１０に参加している他のグリッドと連携して種々のサービスを提供するためのプログラムである。また、グリッド設定ファイル２２１４は、割当用ノード２２１が割り当てられたグリッド２１０のマスタサーバ、アドレス等、そのノードがグリッドに参加するための各種の設定を行うためのファイルである。これらのプログラムやファイルは、ＨＤＤ等の記憶装置に記憶される。続いて、グリッド構成管理システム１０００で行われるグリッド構成管理処理について説明する。

【0033】

図８は、グリッド構成管理処理の処理手順を示すフローチャートである。以下では、ノードがノードプールに登録された後、グリッドへの参加の設定が解除されるまでの処理手順について説明しているが、ノード情報テーブル１１１が更新された場合には、ステップＳ８０２以降の処理が実行される。

【0034】

図８に示すように、グリッド構成管理処理では、システム管理者によって割当用ノード２２１が指定されると、ノード管理部１０１は、そのノードをノードプール２２０に登録する（ステップＳ８０１）。割当用ノード２２１がノードプールに登録されると、構成エージェント２２１２がノード属性情報を送信し、ノード管理部１０１は、そのノード属性情報を含むノード情報をノード情報テーブル１１１に追加し、追加されたノード情報のステータスを「新規登録中」に更新する。構成情報生成部１０４は、ステータスが更新されると、ノード情報テーブル１１１に記憶されているノード情報をロード（読み出し）し（ステップＳ８０２）、ロードした全てのノード情報について、ステップＳ８０４〜Ｓ８１８の各処理を繰り返す（ステップＳ８０３）。

【0035】

構成情報生成部１０４は、ロードしたノード情報のステータスが「新規登録中」であるか否かを判定し（ステップＳ８０４）、ロードしたノード情報のステータスが「新規登録中」であると判定した場合（ステップＳ８０４；Ｙｅｓ）、「初期化用」の構成情報を生成し、構成情報配信部１０６は、構成情報に含まれる「構成タイプ」をキーとして構成リポジトリ１１５にアクセスし、そのノードに必要なプログラム、設定ファイル、スクリプトを抽出する。そして、構成情報配信部１０６は、抽出したこれらの更新用ファイルを割当用ノード２１１に送信し、構成エージェント２２１２は、受信した更新用ファイルの設定等を反映する（ステップＳ８０５）。

【0036】

構成エージェント２２１２は、更新用ファイルの内容を反映すると、反映後の時点のノード属性情報を構成情報配信部１０６に送信し、構成情報配信部１０６がそのノード属性情報を受信する。構成情報配信部１０６がそのノード属性情報を受信すると、ノード管理部１０１はノード情報テーブル１１１にアクセスし、ノード情報を更新後のノード属性情報に書き換え、ノード情報テーブル１１１のステータスを「新規登録中」から「初期化済み」に更新する（ステップＳ８０６）。

【0037】

その後、構成エージェント２２１２は、更新用ファイルの内容を参照し、監視エージェントプログラム、グリッドプログラムをインストールし（ステップＳ８０７）、構成エージェント２２１２がこれらのプログラムのインストールを終了すると、再び構成情報配信部１０６がノード属性情報を受信し、ノード管理部１０１は、ノード情報テーブル１１１のステータスを「初期化済み」から「割当中」に更新する（ステップＳ８０８）。そして、ステータスが更新されると、構成情報生成部１０４は、再びノード情報テーブル１１１に記憶されているノード情報をロードし（ステップＳ８０２）、ロードした全てのノード情報について、ステップＳ８０４〜Ｓ８１８の各処理を繰り返す（ステップＳ８０３）。

【0038】

構成情報生成部１０４は、ロードしたノード情報のステータスが「新規登録中」であるか否かを判定し（ステップＳ８０４）、ロードしたノード情報のステータスが「新規登録中」でないと判定した場合（ステップＳ８０４；Ｎｏ）、さらにロードしたノード情報のステータスが「割当中」であるか否かを判定する（ステップＳ８０９）。

【0039】

そして、構成情報生成部１０４は、ロードしたノード情報のステータスが「割当中」であると判定した場合（ステップＳ８０９；Ｙｅｓ）、「割当用」の構成情報を生成し、構成情報配信部１０６は、構成情報に含まれる「構成タイプ」をキーとして構成リポジトリ１１５にアクセスし、そのノードに必要なプログラム、設定ファイル、スクリプトを抽出し、抽出したこれらの更新用ファイルを割当用ノード２１１に送信し、構成エージェント２２１２は、受信した更新用ファイルの設定等を反映する（ステップＳ８１０）。

【0040】

構成エージェント２２１２は、更新用ファイルの内容を反映すると、そのノードのグリッド設定の更新、およびグリッドプログラムの起動を実行する（ステップＳ８１１）。そして、構成エージェント２２１２は、その時点のノード属性情報を構成情報配信部１０６に送信し、構成情報配信部１０６は、そのノード属性情報を受信する。構成情報配信部１０６がそのノード属性情報を受信すると、ノード管理部１０１はノード情報テーブル１１１にアクセスし、ノード情報を更新後のノード属性情報に書き換え、ノード管理部１０１がノード情報テーブル１１１のステータスを「割当中」から「割当済み」に更新する（ステップＳ８１２）。このとき、グリッド管理部１０２は、更新後のノード属性情報に含まれるマスタサーバ名をキーとして参加すべきグリッドを特定し、ノード情報テーブル１１１の参加グリッドを更新する。このステップＳ８１２が終了すると、割当用ノード２２１が、グリッド２１０のノード２１１として割り当てられた状態となり、設定されたグリッド２１０に参加し、他のノード２１０と共に各種の処理を実行する。

【0041】

その後、ノード管理部１０１が、システム管理者からグリッド２１０に参加していたノード２１１に対して割当解除の指示を受け付けると、構成情報生成部１０４は、再びノード情報テーブル１１１に記憶されているノード情報をロードし（ステップＳ８０２）、ロードした全てのノード情報について、ステップＳ８０４〜Ｓ８１８の各処理を繰り返す（ステップＳ８０３）。

【0042】

構成情報生成部１０４は、ロードしたノード情報のステータスが「新規登録中」であるか否かを判定し（ステップＳ８０４）、ロードしたノード情報のステータスが「新規登録中」でないと判定した場合（ステップＳ８０４；Ｎｏ）、さらにロードしたノード情報のステータスが「割当中」であるか否かを判定し（ステップＳ８０９）、ロードしたノード情報のステータスが「割当中」でないと判定した場合（ステップＳ８０９；Ｎｏ）、さらにロードしたノード情報のステータスが「解除中」であるか否かを判定する（ステップＳ８１３）。この時点では、ノード２１１はグリッド２１０に参加していた状態であり、ノード情報のステータスは「割当中」となっているため、構成情報生成部１０４は、ロードしたノード情報のステータスが「解除中」でないと判定し（ステップＳ８１３；Ｎｏ）、ノード管理部１０１はノード情報のステータスを「解除中」に更新する（ステップＳ８１８）。

【0043】

その後、構成情報生成部１０４は、ステップＳ８０３に戻って、ステップＳ８０４、Ｓ８０９においてＮｏ判定をし、さらにステップＳ８１３において構成情報生成部１０４は、ロードしたノード情報のステータスが「解除中」であると判定した場合（ステップＳ８１３；Ｙｅｓ）、「解除用」の構成情報を生成し、構成情報配信部１０６は、構成情報に含まれる「構成タイプ」をキーとして構成リポジトリ１１５にアクセスし、そのノードに必要なプログラム、設定ファイル、スクリプトを抽出し、抽出したこれらの更新用ファイルを割当用ノード２１１に送信し、構成エージェント２２１２は、受信した更新用ファイルの設定等を反映する（ステップＳ８１４）。

【0044】

構成エージェント２２１２は、更新用ファイルの内容を反映すると、ノード情報のステータスを「解除中」から「解除済み」に更新し（ステップＳ８１５）、グリッドプログラムの停止指示、グリッド設定の更新、グリッド用データ領域のクリア等、グリッド２１０からノード２１１を離脱させるための各種の設定を行う（ステップＳ８１６）。そして、構成エージェント２２１２は、その時点のノード属性情報を構成情報配信部１０６に送信し、構成情報配信部１０６は、そのノード属性情報を受信する。構成情報配信部１０６がそのノード属性情報を受信すると、ノード管理部１０１はノード情報テーブル１１１にアクセスし、ノード情報を更新後のノード属性情報に書き換え、ノード管理部１０１がノード情報テーブル１１１のステータスを「解除済み」から「初期化済み」に更新する（ステップＳ８１７）。以降、ノード管理部１０１が、システム管理者からグリッド２１０へのノード２１１に対する参加指示を受け付けると、構成情報生成部１０４は、再びノード情報テーブル１１１に記憶されているノード情報をロードし、ステップＳ８０２以降の各処理を繰り返す。

【0045】

なお、上述した例では、ステップＳ８１３において、ノード情報のステータスが「解除中」でないと判定した場合（ステップＳ８１３；Ｎｏ）、ステップＳ８１８においてノード管理部１０１が自動的にノード情報のステータスを「解除中」に更新しているが、ノード管理部１０１が解除指示を受け付けた際に、ノード情報をシステム管理者が手動で「解除中」に更新してもよい。この場合、上述したステップＳ８１８の実行を省略することができる。

【0046】

図９は、上述したグリッド構成管理処理を行った場合におけるノードのステータスの遷移を示す図である。図９に示すように、割当用ノード２２１がノードプールに登録されると（ＮＳ１）、その割当用ノード２２１のノード情報のステータスが「新規登録中」に更新され、さらに初期化用の構成情報によって設定等が完了すると（ＮＳ２）、その割当用ノード２２１のノード情報のステータスが「初期化済み」に更新される。さらに、割当用の構成情報によって設定等が完了すると（ＮＳ３）、その割当用ノード２２１のノード情報のステータスが「割当中」に更新され、その後、グリッド設定の更新、およびグリッドプログラムが起動されると（ＮＳ４）、その割当用ノード２２１のノード情報のステータスが「割当済み」に更新される。そして、割当用ノード２２１は、ノード２１１としてグリッド２１０に参加する。

【0047】

その後、グリッド２１０からグリッド２１１が割当解除の指示を受けてグリッドから離脱すると（ＮＳ５）、そのノード２１１のノード情報のステータスが「解除中」に更新され、さらに解除用の構成情報によって設定等が完了すると（ＮＳ６）、そのノード２１１のノード情報のステータスが「初期化済み」に更新され、そのノードが割当用ノード２２１として再びノードプールに登録され、他のグリッド２１０への再割り当てが可能な予備リソースとなる。

【0048】

このように、グリッド構成管理システム１０００が図８に示したグリッド構成管理処理を行うことにより、作業に時間を要することのなく速やかにノードをグリッドに割り当てることができる。例えば、ノードを本システムに登録させると、その後グリッドに参加させる場合には、初期化済みの状態でノードプールにプーリングされるため、新たに登録作業を行うことなくグリッドへの割り当て作業を実行することができる。

【0049】

また、その割り当て作業は、ノードのグリッドへの参加指示を受けた後は自動的にグリッドに参加するための設定等を行うので、迅速にノードをグリッドに参加させることができる。また、グリッドに参加しているノード、しいてはそのグリッドのリソースの使用状況等を迅速に判断することができ、速やかにグリッド全体として最適なリソース配置が可能となり、処理能力を向上させる要求にオンデマンドに対応することができるようになる。

【符号の説明】

【0050】

１０００ グリッド構成管理システム
１００ グリッド管理装置
１０１ ノード管理部
１０２ グリッド管理部
１０３ 監視部
１０４ 構成情報生成部
１０５ 監視データ収集部
１０６ 構成情報配信部
１１１ ノード情報テーブル
１１２ グリッド情報テーブル
１１３ 監視データ
１１４ 構成情報
１１５ 構成リポジトリ
２００ グリッド群２００
２１０ グリッド
２１１ ノード
２２０ ノードプール
２２１ 割当用ノード
２２１１ 監視エージェント
２２１２ 構成エージェント
２２１３ グリッドプログラム
２２１４ グリッド設定ファイル
Ｎ１、Ｎ２ ネットワーク。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】