特許 7484447 クラスターシステム上でサービスをデプロイするための方法、プログラムおよびシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-08

(45)【発行日】2024-05-16

(54)【発明の名称】クラスターシステム上でサービスをデプロイするための方法、プログラムおよびシステム

(51)【国際特許分類】

   G06F 8/60 20180101AFI20240509BHJP

【ＦＩ】

G06F8/60

【請求項の数】 13

(21)【出願番号】P 2020097641

(22)【出願日】2020-06-04

(65)【公開番号】P2021189999

(43)【公開日】2021-12-13

【審査請求日】2023-03-17

(73)【特許権者】

【識別番号】000001270

【氏名又は名称】コニカミノルタ株式会社

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】沈 宇晨

(72)【発明者】

【氏名】ノルデス メナード ラマー

【審査官】坂庭 剛史

(56)【参考文献】

【文献】米国特許出願公開第２０１９／０３７０１２１（ＵＳ，Ａ１）

【文献】米国特許第０６０５５３６３（ＵＳ，Ａ）

【文献】米国特許出願公開第２０１７／０２５７４３２（ＵＳ，Ａ１）

【文献】中井悦司，［改訂新版］ プロのためのＬｉｎｕｘシステム構築・運用技術，初版，株式会社技術評論社，2016年10月25日，特に、p. 189-194

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ８／６０－８／６５８

Ｇ０６Ｆ ９／４４－９／４４５

Ｇ０６Ｆ ９／４６－９／５０

(57)【特許請求の範囲】

【請求項1】

クラスターシステムにサービスをデプロイするための方法であって、
第１のノードの第１のランレベルを取得するステップと、
第２のノードの第２のランレベルを取得するステップと、
前記サービスの優先度に相当する要求ランレベルを取得するステップと、
前記要求ランレベルと、前記第１および第２のランレベルとを比較するステップと、
比較の結果に基づいて、前記サービスを前記第１および第２のノードの各々にデプロイ可能か否かを判定するステップと、
前記サービスを前記第１および第２のノードの少なくとも片方にデプロイしたことに基づいて、前記第１および第２のランレベルの少なくとも片方を更新するステップとを含む、方法。

【請求項2】

前記サービスを前記第１および第２のノードの各々にデプロイ可能か否かを判定するステップは、前記第１および第２のノードの各々のランレベルが、前記サービスの前記要求ランレベル以上であることに基づいて、前記サービスを前記第１および第２のノードの各々にデプロイ可能であると判定することを含む、請求項１に記載の方法。

【請求項3】

デプロイ済みの１または複数の前記サービスのランレベルに基づいて、デプロイ済みの１または複数の前記サービスの終了順序を決定するステップと、
１または複数の前記サービスの少なくとも１つを終了したことに基づいて、少なくとも前記第１および第２のランレベルの片方を更新するステップとをさらに含む、請求項１または２に記載の方法。

【請求項4】

前記第１および第２のランレベルには、ノードごとに個別のノードランレベルが設定されており、
前記要求ランレベルと、前記第１および第２のランレベルとを比較するステップは、前記要求ランレベルおよび前記第１のランレベルの比較と、前記要求ランレベルおよび前記第２のランレベルとの比較とを個別に実行することを含む、請求項１～３のいずれかに記載の方法。

【請求項5】

前記第１および第２のランレベルの少なくとも片方を更新するステップは、
前記第１のノードにデプロイ済みの１または複数の前記サービスの中で最も前記要求ランレベルが高い前記サービスの前記要求ランレベルに基づいて、前記第１のランレベルを更新するステップと、
前記第２のノードにデプロイ済みの１または複数の前記サービスの中で最も前記要求ランレベルが高い前記サービスの前記要求ランレベルに基づいて前記第２のランレベルを更新するステップとを含む、請求項４に記載の方法。

【請求項6】

前記サービスの設定ファイルを参照して複製数の設定を取得するステップをさらに含み、
前記第１および第２のランレベルの少なくとも片方を更新するステップは、デプロイ条件を満たす前記サービスを前記複製数の設定で指定される回数デプロイしたことに基づいて、前記第１および第２のランレベルの少なくとも片方を更新するステップを含む、請求項４に記載の方法。

【請求項7】

前記第１および第２のランレベルには、前記クラスターシステム内において共通であるクラスターランレベルが設定されており、
前記要求ランレベルと、前記第１および第２のランレベルとを比較するステップは、前記要求ランレベルと、前記クラスターランレベルとを比較するステップを含む、請求項１～３のいずれかに記載の方法。

【請求項8】

前記第１および第２のランレベルの少なくとも片方を更新するステップは、前記第１または第２のノードにデプロイ済みの１または複数の前記サービスの中で最も前記要求ランレベルが高い前記サービスの前記要求ランレベルに基づいて、前記クラスターランレベルを更新するステップを含む、請求項７に記載の方法。

【請求項9】

前記サービスの設定ファイルを参照して複製数の設定を取得するステップをさらに含み、
前記第１および第２のランレベルの少なくとも片方を更新するステップは、デプロイ条件を満たす前記サービスを前記複製数の設定で指定される回数デプロイしたことに基づいて、前記クラスターランレベルを更新するステップを含む、請求項７に記載の方法。

【請求項10】

前記要求ランレベルと、前記第１および第２のランレベルとを管理するための管理サービスを前記第１および第２のノードのいずれかにデプロイするステップをさらに含む、請求項１～９のいずれかに記載の方法。

【請求項11】

前記管理サービスにより、前記要求ランレベルに基づいて、前記クラスターシステムのコントローラーに、前記サービスのデプロイ条件を含むフィルタを設定するステップをさらに含む、請求項１０に記載の方法。

【請求項12】

請求項１～１１のいずれかに記載の方法を１つ以上のプロセッサーに実行させるためのプログラム。

【請求項13】

１つ以上のプロセッサーと、
請求項１～１１のいずれかに記載の方法を前記１つ以上のプロセッサーに実行させるためのプログラムを格納したメモリーとを備える、システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、クラスターシステム上でサービスをデプロイするための方法に関し、より特定的には、サービスのデプロイ順序の制御に関する。

【背景技術】

【0002】

近年、クラスターシステムにおいて、アプリケーションのデプロイ（インストールおよび／または起動を含み得る）は、宣言式が主流となっている。宣言式のデプロイをサポートするクラスターシステムとして、Ｋｕｂｅｒｎｅｔｅｓ等が知られている。宣言式のデプロイは、コマンドまたはスクリプトを使用する従来のコマンド式とは異なり、サービスのレプリカ数等のメタ情報を記述したマニフェストファイルに基づいて、サービスのデプロイまたは終了等の処理を制御する。

【0003】

管理者は、宣言式のデプロイに対応したクラスターシステムを採用することにより、コマンドまたはスクリプトの知識がなくても容易にサービスをクラスターシステムにデプロイするための設定を作成することができる。その一方で、宣言式のデプロイに対応したクラスターシステムは、スクリプトを用いた詳細な設定方法を提供していないことがある。その場合、管理者は、サービス間の依存関係に基づいて、各サービスを特定の順番でデプロイするための設定を容易に作成することができない。そこで、サービス間の依存関係に基づいて、クラスターシステムにサービスを順番にデプロイする技術が必要とされている。

【0004】

サービスのデプロイに関し、例えば、特開２０１３－０８９０９３号公報（特許文献１）は、「アプリ起動確認機能部が、起動順序データベースから抽出した起動情報の順序番号が小さい順から仮想サーバの複数回の電源オンの確認を行うと共に、該複数回の電源オンが確認された仮想サーバのアプリケーションプログラムによって開通する通信ポートに対する疎通の複数回の確認を行った後に、順序番号が次に大きい他の仮想サーバの電源オン及びポート疎通を確認した後に次の順序番号の仮想サーバの起動を行うことによって、先行アプリケーションプログラムの起動完了後に後続アプリケーションプログラムを起動する」仮想サーバの起動順序管理方法を開示している（［要約］参照）。

【0005】

また、サービスのデプロイに関する他の技術が、例えば、特許文献２～特許文献５に開示されている。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２０１３－０８９０９３号公報

【文献】特開２００５－０４３９６２号公報

【文献】特開２０１１－０１８２２３号公報

【文献】特開平７－２００４４１号公報

【文献】特開２０１９－１６４６２１号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

特許文献１～５に開示された技術によると、サービス間の依存関係に基づいて、サービスのデプロイ順序を決定することができない。したがって、サービス間の依存関係に基づいて、サービスのデプロイ順序を決定するための技術が必要とされている。

【0008】

本開示は、上記のような背景に鑑みてなされたものであって、ある局面における目的は、サービス間の依存関係に基づいて、サービスのデプロイ順序を決定するための技術を提供することにある。

【課題を解決するための手段】

【0009】

ある実施の形態に従うと、クラスターシステムにサービスをデプロイするための方法が提供される。この方法は、第１のノードの第１のランレベルを取得するステップと、第２のノードの第２のランレベルを取得するステップと、サービスの要求ランレベルを取得するステップと、要求ランレベルと、第１および第２のランレベルとを比較するステップと、比較の結果に基づいて、サービスを第１および第２のノードの各々にデプロイ可能か否かを判定するステップと、サービスを第１および第２のノードの少なくとも片方にデプロイしたことに基づいて、第１および第２のランレベルの少なくとも片方を更新するステップとを含む。

【0010】

ある局面において、サービスを第１および第２のノードの各々にデプロイ可能か否かを判定するステップは、第１および第２のノードの各々のランレベルが、サービスの要求ランレベル以上であることに基づいて、サービスを第１および第２のノードの各々にデプロイ可能であると判定することを含む。

【0011】

ある局面において、方法は、デプロイ済みの１または複数のサービスのランレベルに基づいて、デプロイ済みの１または複数のサービスの終了順序を決定するステップと、１または複数のサービスの少なくとも１つを終了したことに基づいて、少なくとも第１および第２のランレベルの片方を更新するステップとをさらに含む。

【0012】

ある局面において、第１および第２のランレベルには、ノードごとに個別のノードランレベルが設定されている。要求ランレベルと、第１および第２のランレベルとを比較するステップは、要求ランレベルおよび第１のランレベルの比較と、要求ランレベルおよび第２のランレベルとの比較とを個別に実行することを含む。

【0013】

ある局面において、第１および第２のランレベルの少なくとも片方を更新するステップは、第１のノードにデプロイ済みの１または複数のサービスの中で最も要求ランレベルが高いサービスの要求ランレベルに基づいて、第１のランレベルを更新するステップと、第２のノードにデプロイ済みの１または複数のサービスの中で最も要求ランレベルが高いサービスの要求ランレベルに基づいて第２のランレベルを更新するステップとを含む。

【0014】

ある局面において、方法は、サービスの設定ファイルを参照して複製数の設定を取得するステップをさらに含む。第１および第２のランレベルの少なくとも片方を更新するステップは、デプロイ条件を満たすサービスを複製数の設定で指定される回数デプロイしたことに基づいて、第１および第２のランレベルの少なくとも片方を更新するステップを含む。

【0015】

ある局面において、第１および第２のランレベルには、クラスターシステム内において共通であるクラスターランレベルが設定されている。要求ランレベルと、第１および第２のランレベルとを比較するステップは、要求ランレベルと、クラスターランレベルとを比較するステップを含む。

【0016】

ある局面において、第１および第２のランレベルの少なくとも片方を更新するステップは、第１または第２のノードにデプロイ済みの１または複数のサービスの中で最も要求ランレベルが高いサービスの要求ランレベルに基づいて、クラスターランレベルを更新するステップを含む。

【0017】

ある局面において、方法は、サービスの設定ファイルを参照して複製数の設定を取得するステップをさらに含む。第１および第２のランレベルの少なくとも片方を更新するステップは、デプロイ条件を満たすサービスを複製数の設定で指定される回数デプロイしたことに基づいて、クラスターランレベルを更新するステップを含む。

【0018】

ある局面において、方法は、要求ランレベルと、第１および第２のランレベルとを管理するための管理サービスを第１および第２のノードのいずれかにデプロイするステップをさらに含む。

【0019】

ある局面において、方法は、管理サービスにより、要求ランレベルに基づいて、クラスターシステムのコントローラーに、サービスのデプロイ条件を含むフィルタを設定するステップをさらに含む。

【0020】

他の実施の形態に従うと、上記のいずれかの方法を１つ以上のプロセッサーに実行させるためのプログラムが提供される。

【0021】

他の実施の形態に従うと、１つ以上のプロセッサーと、上記のいずれかに記載の方法を１つ以上のプロセッサーに実行させるためのプログラムを格納したメモリーとを備える、システムが提供される。

【発明の効果】

【0022】

ある実施の形態に従うと、サービス間の依存関係に基づいて、サービスのデプロイ順序を決定することが可能である。

【0023】

この開示内容の上記および他の目的、特徴、局面および利点は、添付の図面と関連して理解される本開示に関する次の詳細な説明から明らかとなるであろう。

【図面の簡単な説明】

【0024】

【図1】ある実施の形態に従うクラスターシステム１００の構成の一例を示す図である。

【図2】クラスターシステム１００におけるノード１０１およびサービスの一例を示す図である。

【図3】サービスのデプロイの第１の手順における状態１の一例を示す図である。

【図4】サービスのデプロイの第１の手順における状態２の一例を示す図である。

【図5】サービスのデプロイの第１の手順における状態３の一例を示す図である。

【図6】サービスのデプロイの第１の手順における状態４の一例を示す図である。

【図7】サービスのデプロイの第２の手順における状態１の一例を示す図である。

【図8】サービスのデプロイの第２の手順における状態２の一例を示す図である。

【図9】サービスのデプロイの第２の手順における状態３の一例を示す図である。

【図10】サービスのデプロイの第２の手順における状態４の一例を示す図である。

【図11】サービスのデプロイの第３の手順における状態１の一例を示す図である。

【図12】図１１の状態１におけるデプロイ可能なサービスを示す図である。

【図13】サービスのデプロイの第３の手順における状態２の一例を示す図である。

【図14】サービスのデプロイの第３の手順における状態３の一例を示す図である。

【図15】クイックサーブモードおよびステイブルサーブモードの比較の一例を示す図である。

【図16】ノードベースランレベルモードおよびクラスターベースランレベルモードの比較の一例を示す図である。

【図17】マニフェストファイルの一例を示す図である。

【図18】各ノード１０１に設定されるメタデータ１８００の一例を示す図である。

【図19】デプロイマネージャー１１０の動作の様子の一例を示す図である。

【図20】クラスターシステム１００のサービスのデプロイ処理のフローチャートの一例を示す図である。

【図21】クラスターシステム１００における各ノード１０１のランレベルの更新のフローチャートの一例を示す図である。

【図22】クラスターシステム１００を構成する装置２２００の一例を示す図である。

【発明を実施するための形態】

【0025】

以下、図面を参照しつつ、本開示に係る技術思想の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。

【0026】

＜Ａ．クラスターシステム＞
図１は、本実施の形態に従うクラスターシステム１００の構成の一例を示す図である。図１を参照して、クラスターシステムの構成要素について説明する。クラスターシステム１００は、複数のノード１０１Ａ，１０１Ｂおよび１０１Ｃ（総称する場合は「ノード１０１」と表現する）から構成される。ノード１０１は、クラスターシステム１００内の計算用のノードである。ノード１０１は、サーバー装置、または仮想サーバー装置等によって構成され得る。各ノード１０１上では、ＯＳ（Operating System）が動作しており、当該ＯＳ上でデプロイされたサービスが実行される。

【0027】

クラスターシステム１００は、サービス１０２と、クラスターコントロールプレーン１０３とを含む。サービス１０２は、各ノード１０１にデプロイされたサービス全般を指す。サービス１０２は、ＯＳ上で稼働するアプリケーションまたは仮想環境におけるコンテナ等を含み得る。

【0028】

クラスターコントロールプレーン１０３は、クラスターシステム１００の機能（主にサービスの起動及び終了等）を提供するための機能群であり、複数のノード１０１間に分散配置されていてもよい。言い換えれば、クラスターシステム１００は、多数の計算リソースからなる巨大なシステムである。図１に示すクラスターシステム１００は、一例であり、クラスターシステム１００の構成はこれに限定されるものではない。ある局面において、クラスターシステム１００は、任意の数のノード１０１を含んでいてもよい。

【0029】

クラスターシステム１００は、各ノード１０１にサービスをデプロイすることができる。「サービス」は、アプリケーションであり、個々のノード１０１上で実行される。「デプロイ」は、アプリケーションをノード１０１上にインストールすること、またはインストールして起動することを意味する。

【0030】

クラスターシステム１００は、サービスごとに作成されたマニフェストファイルに基づいて、サービスをいずれかのノード１０１にデプロイする。「マニフェストファイル」は、サービスのレプリカ数（デプロイ回数／作成されるインスタンス数）等のメタデータを含む設定ファイルである。また、マニフェストファイルは、サービスの要求ランレベルを含む。「要求ランレベル」は、サービスごとに割り当てられた値であり、デプロイマネージャー１１０により、クラスターシステム１００全体のランレベルまたは個々のノード１０１のランレベルと比較するために使用される。「ランレベル」は、クラスターシステム１００全体または各ノード１０１に設定されており、各ノード１０１上で稼働している１以上のサービスの要求ランレベルの中で最も高い要求ランレベルに基づいて決定される。ノード１０１上でサービスが稼働していない場合、ノード１０１のランレベルは最低値（例えば０）となる。サービスは、自身に割り当てられた要求ランレベル以上の値のランレベルで稼働しているノードにのみデプロイが可能となる。ランレベルおよび要求ランレベルについては図２を参照して後述する。

【0031】

ユーザーは、サービスを起動するノード１０１を指定する必要はなく、クラスターシステム１００にマニフェストファイルを設置するだけでよい。ユーザーから見た場合、巨大なサーバー（クラスターシステム１００）に設定ファイル（マニフェストファイル）を設置するだけで、巨大なサーバーが、要求ランレベルに基づいて自動でサービスを起動するように見える。ある局面において、ユーザーは、自身の端末等からクラスターシステム１００にマニフェストファイルを送信し得る。ある局面において、クラスターマネージメントコンポーネント１１３にマニフェストファイルが投入されたことに基づいて、サービスのデプロイが開始されてもよい。

【0032】

クラスターシステム１００は、上記のマニフェストファイルに基づいて、サービスを各ノード１０１にデプロイするために、デプロイマネージャー１１０と、クラスターランタイムコンポーネント１１１と、ノードメタデータ＆ステート１１２と、クラスターマネージメントコンポーネント１１３と、クラスターメタデータ＆ステート１１４とを備える。

【0033】

デプロイマネージャー１１０は、サービスのノード１０１上へのデプロイの順序を制御する。デプロイマネージャー１１０自体もノード１０１上で稼働するサービスである。デプロイマネージャー１１０は、いずれか１つのノード１０１上で稼働していればよい。図１に示す例では、デプロイマネージャー１１０は、ノード１０１Ａ上にデプロイされているが、全てのノード１０１に対するサービスのデプロイ順序を制御することができる。デプロイ順序の制御については、図３以降を参照して後述する。

【0034】

デプロイマネージャー１１０は、クラスターコントロールプレーン１０３と通信することで、クラスターシステム１００、各ノード１０１または各サービスの状態を取得することができる。さらに、デプロイマネージャー１１０は、クラスターコントロールプレーン１０３に、サービスのデプロイ順序を制御するためのフィルターを設定することができる。

【0035】

クラスターランタイムコンポーネント１１１は、クラスターシステム１００上で実行されるサービスのデプロイまたは終了等を実行する。クラスターランタイムコンポーネント１１１は、各ノード１０１のＯＳ上で稼働し、自身が稼働しているノード１０１のＯＳまたは仮想環境と通信し、サービスのライフサイクルを制御する。クラスターランタイムコンポーネント１１１は、クラスターコントロールプレーン１０３にノードの状態を通知する。また、クラスターランタイムコンポーネント１１１は、サービスからの要求を受け付けることができる。

【0036】

ノードメタデータ＆ステート１１２は、クラスターランタイムコンポーネント１１１によって参照されるデータベースであり、各ノード１０１のメタ情報およびステートを格納する。ある局面において、ノードメタデータ＆ステート１１２は、個別のノード１０１のランレベル（これ以降、「ノードランレベル」と表す）を格納してもよい。

【0037】

クラスターマネージメントコンポーネント１１３は、クラスターシステム１００全体の状態を管理し、ユーザーの宣言的な指示（マニフェストファイルの設定等）を受けて、クラスターランタイムコンポーネント１１１に、サービスのデプロイまたは終了の指示を送信する。また、クラスターマネージメントコンポーネント１１３は、ノードメタデータ＆ステート１１２を更新し得る。

【0038】

クラスターマネージメントコンポーネント１１３は、いずれのノード１０１上で実行されていてもよく、さらに、複数のノード１０１上に分散配置されていてもよい。クラスターマネージメントコンポーネント１１３は、複数のノード１０１上に分散配置されている場合、全てのインスタンスが同期している。

【0039】

クラスターメタデータ＆ステート１１４は、クラスターマネージメントコンポーネント１１３によって参照されるデータベースである。クラスターメタデータ＆ステート１１４は、デプロイマネージャー１１０またはクラスターマネージメントコンポーネント１１３によって参照される各サービスのマニフェストファイルを格納する。ある局面において、クラスターメタデータ＆ステート１１４は、クラスターシステム１００に関する情報、状態等をさらに格納し得る。また、他の局面において、クラスターメタデータ＆ステート１１４は、クラスター全体のランレベル（これ以降、「クラスターランレベル」と表す）を格納してもよい。

【0040】

クラスターメタデータ＆ステート１１４は、いずれのノード１０１上で実行されていてもよく、さらに、複数のノード１０１上に分散配置されていてもよい。また、クラスターメタデータ＆ステート１１４は、クラスターマネージメントコンポーネント１１３と同じノード１０１上で実行されている必要はない。

【0041】

ある局面において、クラスターシステム１００は、ノードランレベルまたはクラスターランレベルの両方を保有してもよい。他の局面において、クラスターシステム１００は、ノードランレベルまたはクラスターランレベルのいずれか片方のみを保有してもよい。

【0042】

＜Ｂ．サービスの要求ランレベルおよびノードのランレベル＞
図２は、クラスターシステム１００におけるノード１０１およびサービスの一例を示す図である。図２を参照して、サービスに設定された要求ランレベルおよび各ノード１０１のランレベルとの関係について説明する。

【0043】

クラスターシステム１００が４つのノード１０１Ａ～１０１Ｄを含んでいるとする。また、デプロイされるべきサービスＡ～Ｃが存在するとする。さらに、各サービスの優先度はＣ，ＡおよびＢの順に高いとする。

【0044】

各サービスには、要求ランレベルが設定されている。この要求ランレベルは、サービスの優先度に相当する。図２に示す例では、要求ランレベルが低い程優先度が高いサービスとなる。また、各サービスには、複製数（レプリカ数）が設定されている。「複製数」は、サービスが各ノード１０１上にデプロイされる回数を示す。デプロイされたサービスは、各ノード１０１上でインスタンスとして稼働する。すなわち、複製数は、インスタンスの個数であるとも言える。

【0045】

また、各ノード１０１には、ランレベルが設定されている。このランレベルは、各ノード１０１上で稼働しているサービスの要求ランレベルによって決まる。ノード１０１上でサービスが稼働していない場合、ノード１０１のランレベルは最も低い値（例えば、ランレベル０）になる。各ノード１０１のランレベルは、サービスがデプロイされることにより上がる。ある局面において、各ノード１０１は、共通のランレベル（クラスターランレベル）が設定さてもよいし、個別のランレベル（ノードランレベル）が設定されてもよい。クラスターランレベルおよびノードランレベルの差異については図３以降を参照して後述する。

【0046】

各サービスは、自身に割り当てられた要求ランレベル以上のランレベルで稼働しているノード１０１にのみデプロイされる。図２の例では、最初、全てのノード１０１Ａ～１０１Ｄのノードランレベルは０である。このとき要求ランレベルが０以下のサービスは、サービスＣのみになる。そこで、現状では、サービスＣのみがデプロイ可能となる。

【0047】

サービスがデプロイされたノード１０１のランレベルは、デプロイされたサービスの要求ランレベルに基づいて上がる。例えば、サービスＣがノード１０１Ａにデプロイされた場合、ノード１０１Ａのランレベルは上がり、１（サービスＣの要求ランレベル０＋１）になる。このように各ノード１０１は、サービスがデプロイされることによりランレベルが上がっていき、より優先度の低い（要求ランレベルが高い）サービスのデプロイが可能になる。クラスターシステム１００は、当該処理により、例えば、複数のサービス間に依存関係がある場合でも、依存関係を解消する順番で、各サービスをデプロイすることができる。

【0048】

図２に示す例では、ノード１０１のランレベルをデプロイされたサービスの要求ランレベル＋１として説明したが、ノード１０１のランレベルの実現方法はこれに限られない。ある局面において、ノード１０１のランレベルは、要求ランレベルと等しくてもよいし、要求ランレベルに任意の計算を加えたものであってもよい。

【0049】

上記の処理を実現するために、デプロイマネージャー１１０は、クラスターメタデータ＆ステート１１４に格納されたマニフェストファイルを参照し、各サービスの要求ランレベルおよび複製数を取得する。さらに、デプロイマネージャー１１０は、少なくとも要求ランレベルに基づいて、クラスターコントロールプレーン１０３にサービスの起動フィルタを設定する。ある局面において、デプロイマネージャー１１０は、要求ランレベルおよびランレベルに基づいて、クラスターコントロールプレーン１０３にサービスの起動フィルタを設定してもよい。当該フィルタは、例えば、図２を参照して説明したデプロイのルールを含み得る。

【0050】

クラスターコントロールプレーン１０３は、ノードメタデータ＆ステート１１２に格納されたノードランレベルと、当該起動フィルタとに参照することで、要求ランレベルに基づいて、サービスをいずれかのノード１０１に順次デプロイすることができる。

【0051】

＜Ｃ．サービスのデプロイの第１の手順＞
次に、図３～図６を参照して、サービスのデプロイの第１の手順の例について説明する。図３～図６の各々は、図２の初期状態からの変化を示す。第１の手順において、各ノード１０１には、個別のランレベル（ノードランレベル）が設定されている。ノードランレベルを使用するモードをノードベースランレベルモード（Node-based run level mode）と呼ぶ。

【0052】

また、第１の手順において、クラスターシステム１００は、優先度に係わらずデプロイの条件を満たしたサービスを順次または並列的にデプロイしていく。このように、条件を満たしたサービスを優先度に関係なくデプロイするモードをクイックサーブモード（Quick serve mode）と呼ぶ。すなわち、第１の手順は、ノードベースランレベルモードおよびクイックサーブモードを使用したサービスのデプロイ手順となる。

【0053】

図３は、サービスのデプロイの第１の手順における状態１の一例を示す図である。図３に示す例では、図２の初期状態から、最も要求ランレベルが低い（優先度が高い）サービスＣがノード１０１Ａおよび１０１Ｂにデプロイされている。

【0054】

図２の初期状態において、全てのノード１０１のランレベルは０である。この場合、クラスターシステム１００は、全てのノード１０１に対して、要求ランレベルが０以下であるサービスＣのみをデプロイ可能である。

【0055】

クラスターシステム１００は、デプロイ可能なサービス（サービスＣ）に設定された複製数の範囲内で、デプロイ可能なサービスを任意の回数デプロイできる。例えば、図２の初期状態において、サービスＣの複製数は３であるため、クラスターシステム１００は、サービスＣを３回までデプロイできる。

【0056】

クラスターシステム１００は、図３に示す例において、サービスＣをノード１０１Ａおよび１０１Ｂにデプロイしている。この場合、サービスＣは、２回デプロイされたため、複製数の残りが１になる。言い換えれば、２つのサービスＣのインスタンスが、いずれかのノード１０１上で稼働していることになる。

【0057】

サービスＣが、ノード１０１Ａおよび１０１Ｂにデプロイされたことにより、ノード１０１Ａおよび１０１Ｂのランレベルは、１（サービスＣの要求ランレベル０＋１）に上がる。その結果、ノード１０１Ａおよび１０１Ｂのランレベルは、サービスＡの要求ランレベル１以上になり、ノード１０１Ａおよび１０１ＢへのサービスＡのデプロイが可能になる。

【0058】

図４は、サービスのデプロイの第１の手順における状態２の一例を示す図である。図４に示す例では、図３の状態１から、さらにサービスＡがノード１０１Ｂにデプロイされている。

【0059】

図３の状態１において、ノード１０１Ａおよび１０１Ｂのランレベルは１であり、ノード１０１Ｃおよび１０１Ｄのランレベルは０である。この場合、クラスターシステム１００は、ノード１０１Ａおよび１０１Ｂに対して、要求ランレベルが１以下であるサービスＡおよびＣをデプロイ可能である。また、クラスターシステム１００は、ノード１０１Ｃおよび１０１Ｄに対して、要求ランレベルが０以下であるサービスＣをデプロイ可能である。

【0060】

クラスターシステム１００は、デプロイ可能なサービス（サービスＡおよびＣ）に設定された複製数の範囲内で、デプロイ可能なサービスを任意の回数デプロイできる。例えば、図３の状態１において、サービスＡの複製数は２であるため、クラスターシステム１００は、サービスＡを２回までデプロイできる。また、サービスＣは既に２回デプロイされているため、クラスターシステム１００は、サービスＣを残り１回までデプロイできる。

【0061】

クラスターシステム１００は、図４に示す例において、サービスＡをノード１０１Ｂにデプロイしている。この場合、サービスＡは、１回デプロイされたため、複製数の残りが１になる。言い換えれば、１つのサービスＡのインスタンスが、いずれかのノード１０１上で稼働していることになる。

【0062】

サービスＡがノード１０１Ｂにデプロイされたことにより、ノード１０１Ｂのランレベルは、２（サービスＡの要求ランレベル１＋１）に上がる。その結果、ノード１０１Ｂのランレベルは、サービスＢの要求ランレベル２以上になり、ノード１０１ＢへのサービスＢのデプロイが可能になる。

【0063】

図５は、サービスのデプロイの第１の手順における状態３の一例を示す図である。図５に示す例では、図４の状態２から、さらにサービスＣがノード１０１Ｃにデプロイされている。

【0064】

図４の状態２において、ノード１０１Ａのランレベルは１であり、ノード１０１Ｂのランレベルは２であり、ノード１０１Ｃおよび１０１Ｄのランレベルは０である。この場合、クラスターシステム１００は、ノード１０１Ａに対して、要求ランレベルが１以下であるサービスＡおよびＣをデプロイ可能である。また、クラスターシステム１００は、ノード１０１Ｂに対して、要求ランレベルが２以下であるサービスＡ～Ｃをデプロイ可能である。また、クラスターシステム１００は、ノード１０１Ｃおよび１０１Ｄに対して、要求ランレベルが０以下であるサービスＣをデプロイ可能である。

【0065】

クラスターシステム１００は、デプロイ可能なサービス（サービスＡ～Ｃ）に設定された複製数の範囲内で、デプロイ可能なサービスを任意の回数デプロイできる。例えば、図４の状態２において、サービスＡは既に１回デプロイされているため、クラスターシステム１００は、サービスＡを残り１回までデプロイできる。また、サービスＢの複製数は４であるため、クラスターシステム１００は、サービスＡを４回までデプロイできる。また、サービスＣは既に２回デプロイされているため、クラスターシステム１００は、サービスＣを残り１回までデプロイできる。

【0066】

クラスターシステム１００は、図５に示す例において、サービスＣをノード１０１Ｃにデプロイしている。この場合、サービスＣは、合計３回デプロイされたため、複製数の残りが０になる。

【0067】

ノード１０１Ｃは、サービスＣをデプロイされたことにより、ランレベルが１（サービスＣの要求ランレベル０＋１）に上がる。その結果、ノード１０１Ｃのランレベルは、サービスＡの要求ランレベル１以上になり、ノード１０１ＣへのサービスＡのデプロイが可能になる。この状態では、図５に示すように、ノード１０１Ｂに、サービスＢがデプロイ可能であり、ノード１０１Ａおよび１０１Ｂに、サービスＡがデプロイ可能であり、ノード１０１Ａ～１０１Ｄに、サービスＣがデプロイ可能である。

【0068】

図６は、サービスのデプロイの第１の手順における状態４の一例を示す図である。図６に示す例では、図５の状態３から、さらにサービスＡおよびＢがノード１０１Ａにデプロイされている。

【0069】

図５の状態３において、ノード１０１Ａおよび１０１Ｃのランレベルは１であり、ノード１０１Ｂのランレベルは２であり、ノード１０１Ｄのランレベルは０である。この場合、クラスターシステム１００は、ノード１０１Ａおよび１０１Ｃに対して、要求ランレベルが１以下であるサービスＡおよびＣをデプロイ可能である。また、クラスターシステム１００は、ノード１０１Ｂに対して、要求ランレベルが２以下であるサービスＡ～Ｃをデプロイ可能である。また、クラスターシステム１００は、ノード１０１Ｄに対して、要求ランレベルが０以下であるサービスＣをデプロイ可能である。

【0070】

クラスターシステム１００は、デプロイ可能なサービス（サービスＡ～Ｃ）に設定された複製数の範囲内で、デプロイ可能なサービスを任意の回数デプロイできる。例えば、図５の状態３において、サービスＡは既に１回デプロイされているため、クラスターシステム１００は、サービスＡを残り１回までデプロイできる。また、サービスＢの複製数は４であるため、クラスターシステム１００は、サービスＢを４回までデプロイできる。また、サービスＣは既に２回デプロイされているため、クラスターシステム１００は、サービスＣを残り１回までデプロイできる。

【0071】

クラスターシステム１００は、図６に示す例において、サービスＣをノード１０１Ｃにデプロイしている。この場合、サービスＣは、合計３回デプロイされたため、複製数の残りが０になる。また、クラスターシステム１００は、サービスＡをノード１０１Ａにデプロイした後、サービスＢをノード１０１Ａに２回デプロイしている。この場合、サービスＡは、合計２回デプロイされたため、複製数の残りが０になる。また、サービスＢは、合計２回デプロイされたため、複製数の残りが２になる。

【0072】

サービスＣがノード１０１Ｃにデプロイされたことにより、ノード１０１Ｃのランレベルが１（サービスＣの要求ランレベル０＋１）に上がる。その結果、ノード１０１Ｃのランレベルは、サービスＡの要求ランレベル１以上になり、ノード１０１ＣへのサービスＡのデプロイが可能になる。また、サービスＡおよびＢがノード１０１Ａにデプロイされたことにより、ノード１０１Ａのランレベルが３（サービスＢの要求ランレベル２＋１）に上がる。以降同様に、クラスターシステム１００は、各サービスの要求ランレベルと、各ノード１０１のランレベルとを比較して、順次デプロイ可能なサービスを各ノード１０１にデプロイしていく。

【0073】

＜Ｄ．サービスのデプロイの第２の手順＞
次に、図７～図１０を参照して、サービスのデプロイの第２の手順の例について説明する。図７～図１０の各々は、図２の初期状態からの変化を示す。第２の手順において、各ノード１０１には、共通のランレベル（クラスターランレベル）が設定されている。クラスターランレベルを使用するモードをクラスターベースランレベルモード（Cluster-based run level mode）と呼ぶ。クラスターベースランレベルモードにおいて、各ノード１０１のランレベルは、デプロイ済みのサービスの中で最も高い要求ランレベルによって決まる。

【0074】

また、第２の手順において、クラスターシステム１００は、クイックサーブモードを使用する。すなわち、第２の手順は、クラスターベースランレベルモードおよびクイックサーブモードを使用したサービスのデプロイ手順となる。

【0075】

図７は、サービスのデプロイの第２の手順における状態１の一例を示す図である。図７に示す例では、図２の初期状態から、最も要求ランレベルが低い（優先度が高い）サービスＣがノード１０１Ａにデプロイされている。

【0076】

図２の初期状態において、全てのノード１０１のランレベルは０である。この場合、クラスターシステム１００は、全てのノード１０１に対して、要求ランレベルが０以下であるサービスＣをデプロイ可能である。

【0077】

クラスターシステム１００は、デプロイ可能なサービス（サービスＣ）に設定された複製数の範囲内で、デプロイ可能なサービスを任意の回数デプロイできる。例えば、図２の初期状態において、サービスＣの複製数は３であるため、クラスターシステム１００は、サービスＣを３回までデプロイできる。

【0078】

クラスターシステム１００は、図７に示す例において、サービスＣをノード１０１Ａにデプロイしている。この場合、サービスＣは、１回デプロイされたため、複製数の残りが２になる。言い換えれば、１つのサービスＣのインスタンスが、いずれかのノード１０１上で稼働していることになる。

【0079】

サービスＣをデプロイされたことにより、デプロイ済みのサービス（サービスＣのみ）の中で最大の要求ランレベルを有するのはサービスＣになる。この場合、第１の手順と異なり、全てのノード１０１のランレベルは、１（サービスＣの要求ランレベル０＋１）に上がる。その結果、全てのノード１０１のランレベルは、サービスＡの要求ランレベル１以上になり、全てのノード１０１へのサービスＡのデプロイが可能になる。

【0080】

図８は、サービスのデプロイの第２の手順における状態２の一例を示す図である。図８に示す例では、図７の状態１から、さらにサービスＡがノード１０１Ｂにデプロイされている。図７の状態１において、全てのノード１０１のランレベルは１である。この場合、クラスターシステム１００は、全てのノード１０１に対して、要求ランレベルが１以下であるサービスＡおよびＣをデプロイ可能である。

【0081】

クラスターシステム１００は、デプロイ可能なサービス（サービスＡおよびＣ）に設定された複製数の範囲内で、デプロイ可能なサービスを任意の回数デプロイできる。例えば、図７の状態１において、サービスＡの複製数は２であるため、クラスターシステム１００は、サービスＡを２回までデプロイできる。また、サービスＣは既に１回デプロイされているため、クラスターシステム１００は、サービスＣを残り２回までデプロイできる。クラスターシステム１００は、図８に示す例において、サービスＡをノード１０１Ｂにデプロイしている。この場合、サービスＡは、１回デプロイされたため、複製数の残りが１になる。

【0082】

サービスＡがデプロイされたことにより、デプロイ済みのサービス（サービスＡおよびＣ）の中で最大の要求ランレベルを有するのはサービスＡになる。そのため、全てのノード１０１のランレベルが２（サービスＡのランレベル１＋１）に上がる。その結果、全てのノード１０１のランレベルは、サービスＢの要求ランレベル２以上になり、全てのノード１０１へのサービスＢのデプロイが可能になる。

【0083】

図９は、サービスのデプロイの第２の手順における状態３の一例を示す図である。図９に示す例では、図８の状態２から、さらにサービスＣがノード１０１Ａにデプロイされている。

【0084】

図８の状態２において、全てのノード１０１のランレベルは２である。この場合、クラスターシステム１００は、全てのノード１０１に対して、要求ランレベルが２以下であるサービスＡ～Ｃをデプロイ可能である。

【0085】

クラスターシステム１００は、デプロイ可能なサービス（サービスＡ～Ｃ）に設定された複製数の範囲内で、デプロイ可能なサービスを任意の回数デプロイできる。例えば、図８の状態２において、サービスＡは既に１回デプロイされているため、クラスターシステム１００は、サービスＡを残り１回までデプロイできる。また、サービスＢの複製数は４であるため、クラスターシステム１００は、サービスＢを４回までデプロイできる。また、サービスＣは既に１回デプロイされているため、クラスターシステム１００は、サービスＣを残り２回までデプロイできる。

【0086】

クラスターシステム１００は、図９に示す例において、サービスＣをノード１０１Ａにデプロイしている。この場合、サービスＣは、２回デプロイされたため、複製数の残りが１になる。

【0087】

サービスＣが新たにデプロイされても、デプロイ済みのサービス（サービスＡおよびＣ）の中で最大の要求ランレベルを有するのはサービスＡのままである。そのため、全てのノード１０１のランレベルは変化しない。この状態では、図９に示すように、全てのノード１０１に対して、全てのサービスのデプロイが可能である。

【0088】

図１０は、サービスのデプロイの第２の手順における状態４の一例を示す図である。図１０に示す例では、図９の状態３から、さらにサービスＢおよびＣがノード１０１Ｃに、サービスＡおよびＢがノード１０１Ｄに各々デプロイされている。

【0089】

図９の状態３において、全てのノード１０１のランレベルは２である。この場合、クラスターシステム１００は、全てのノード１０１に対して、要求ランレベルが２以下であるサービスＡ～Ｃをデプロイ可能である。

【0090】

クラスターシステム１００は、デプロイ可能なサービス（サービスＡ～Ｃ）に設定された複製数の範囲内で、デプロイ可能なサービスを任意の回数デプロイできる。例えば、図９の状態３において、サービスＡは既に１回デプロイされているため、クラスターシステム１００は、サービスＡを残り１回までデプロイできる。また、サービスＢの複製数は４であるため、クラスターシステム１００は、サービスＢを４回までデプロイできる。また、サービスＣは既に２回デプロイされているため、クラスターシステム１００は、サービスＣを残り１回までデプロイできる。

【0091】

クラスターシステム１００は、図１０に示す例において、サービスＢおよびＣをノード１０１Ｃに、サービスＡおよびＢをノード１０１Ｄに各々デプロイしている。この場合、サービスＡは、２回デプロイされたため、複製数の残りが０になる。また、サービスＢは、２回デプロイされたため、複製数の残りが２になる。また、サービスＣは、３回デプロイされたため、複製数の残りが０になる。

【0092】

サービスＢが新たにデプロイされたため、デプロイ済みのサービス（サービスＡ～Ｃ）の中で最大の要求ランレベルを有するのはサービスＢになる。そのため、全てのノード１０１のランレベルが３（サービスＢの要求ランレベル２＋１）に上がる。以降同様に、クラスターシステム１００は、各サービスの要求ランレベルと、クラスターランレベルとを比較して、順次デプロイ可能なサービスを各ノード１０１にデプロイしていく。

【0093】

＜Ｅ．サービスのデプロイの第３の手順＞
次に、図１１～図１４を参照して、サービスのデプロイの第３の手順の例について説明する。図１１～図１４の各々は、図２の初期状態からの変化を示す。第３の手順において、各ノード１０１には、クラスターランレベルが設定されている。

【0094】

また、第３の手順において、クラスターシステム１００は、優先度の高い（ランレベルが低い）サービスから優先してデプロイしてく。このように、優先度（ランレベル）に基づいてデプロイするモードをステイブルサーブモード（Stable serve mode）と呼ぶ。すなわち、第３の手順は、クラスターベースランレベルモードおよびステイブルサーブモードを使用したサービスのデプロイ手順となる。

【0095】

図１１は、サービスのデプロイの第３の手順における状態１の一例を示す図である。図１１に示す例では、図２の初期状態から、最も要求ランレベルが低い（優先度が高い）サービスＣがノード１０１Ａおよび１０１Ｂにデプロイされている。

【0096】

ステイブルサーブモードにおいては、現在デプロイ可能なサービスのインスタンス数が複製数以上になった場合にのみ、ノード１０１のランレベルが更新される。例えば、サービスＣの複製数は３である。よって、サービスＣのインスタンス数（デプロイ回数）が３以上になった場合に、全てのノード１０１のランレベルが１（サービスＣの要求ランレベル０＋１）に上がる。図１１に示す例では、サービスＣのインスタンス数は２であり、サービスＣの複製数３未満であるため、全てのノード１０１のランレベルは０のままとなる。

【0097】

図１２は、図１１の状態１におけるデプロイ可能なサービスを示す図である。ノード１０１Ａ～１０１Ｄのランレベルは、全て０であるため、サービスＣのみがデプロイ要件を満たしている。全てのノード１０１のランレベルは同じであるため、クラスターシステム１００は、いずれのノード１０１に対しても、サービスＣをデプロイすることができる。図１２に示すように、ステイブルサーブモードでは、クイックサーブモードと異なり、複製数で指定された回数デプロイされていないサービスの中から最も要求ランレベルが低いサービスがデプロイされる。

【0098】

図１３は、サービスのデプロイの第３の手順における状態２の一例を示す図である。図１３に示す例では、図１１の状態１から、さらにサービスＣがノード１０１Ｃにデプロイされ、その後に、サービスＡがノード１０１Ｄにデプロイされている。

【0099】

図１３の状態２において、サービスＣのインスタンス数は３であり、サービスＣの複製数３以上である。また、サービスＡのインスタンス数は１であり、サービスＡの複製数２未満である。よって、全てのノード１０１のランレベルは１（サービスＣの要求ランレベル０＋１）になる。

【0100】

図１４は、サービスのデプロイの第３の手順における状態３の一例を示す図である。図１３に示す例では、図１３の状態２から、さらにサービスＡがノード１０１Ｃにデプロイされている。

【0101】

図１４の状態３において、サービスＡのインスタンス数は２であり、サービスＡの複製数２以上である。よって、全てのノード１０１のランレベルは２（サービスＡのランレベル１＋１）になる。ノード１０１のランレベルが上がったことにより、クラスターシステム１００は、全てノード１０１に対して、サービスＢをデプロイ可能になる。以降同様に、クラスターシステム１００は、各サービスの要求ランレベルと、クラスターランレベルとを比較して、順次デプロイ可能なサービスを各ノード１０１にデプロイしていく。

【0102】

上記のように、クラスターシステム１００は、ノード１０１のランレベルの設定方法として、ノードベースランレベルモードおよびクラスターベースランレベルモードのいずれかを使用することができる。また、クラスターシステム１００は、サービスのデプロイ方式として、クイックサーブモードおよびステイブルサーブモードのいずれかを使用することができる。

【0103】

また、クラスターシステム１００は、上記の第１～第３の手順以外にも、ノードベースランレベルモードおよびステイブルサーブモードを組み合わせた第４の手順により、サービスをデプロイすることができる。また、クラスターシステム１００は、サービスの要求ランレベルに基づいて、ノード１０１上で稼働しているサービスを順番に終了することができる。クラスターシステム１００は、例えば、ノード１０１上で稼働している各サービスの要求ランレベルを参照し、要求ランレベルが高いサービスから順番に終了してもよい。

【0104】

クラスターシステム１００は、ノード１０１上で稼働するサービスを終了した場合、ノード１０１のランレベルを更新する。例えば、各ノード１０１がノードベースランレベルモードで動作しているとする。また、ノード１０１Ａ上でサービスＡおよびＣが稼働しているとする。この場合、ノード１０１Ａのランレベルは２である。クラスターシステム１００は、ノード１０１Ａ上で稼働するサービスＡを終了すると、ノード１０１Ａのランレベルを１に変更する。また、他の例として、各ノード１０１がクラスターベースランレベルモードで動作しているとする。さらに、ノード１０１Ａ上でのみサービスＡおよびＣが稼働しており、他のノード１０１上ではサービスは稼働していないとする。この場合、クラスターシステム１００は、ノード１０１Ａ上で稼働するサービスＡを終了すると、全てのノード１０１のランレベルを１に変更する。

【0105】

図２～１４を参照した説明において、サービスの優先度が高いほど、当該サービスの要求ランレベルが低くなる例を示したが、ランレベルの実現方法はこれに限られるものではない。ある局面において、サービスの優先度が高いほど、当該サービスの要求ランレベルが高くなってもよい。その場合、サービスがノード１０１にデプロイされたとき、ノード１０１のランレベルは、当該デプロイされたサービスの要求ランレベルに基づいて下がる。

【0106】

＜Ｆ．各モードの比較＞
図１５は、クイックサーブモードおよびステイブルサーブモードの比較の一例を示す図である。状態１５０１Ａ～１５０４Ａは、クイックサーブモードにおける各サービスのデプロイ状況の一例を示している。また、状態１５０１Ｂ～１５０３Ｂは、ステイブルサーブモードにおける各サービスのデプロイ状況の一例を示している。

【0107】

クイックサーブモードにおいて、クラスターシステム１００は、デプロイ条件が満たされたサービスを要求ランレベルの大小によらずデプロイすることができる。例えば、全てのサービスＣがデプロイされていなくても、いずれかのノード１０１のランレベルがサービスＡおよびＢの要求ランレベル以上であれば、クラスターシステム１００は、サービスＡおよびＢをデプロイすることができる。

【0108】

一方で、ステイブルサーブモードにおいて、クラスターシステム１００は、必ず要求ランレベルが低いサービスを優先してデプロイする。例えば、クラスターシステム１００は、サービスＣを複製数で指定された回数分デプロイするまで、サービスＡおよびＢをデプロイしない。

【0109】

サービスＡ～Ｃが連係してユーザーに何らかの機能を提供する場合、クイックサーブモードは、全てのサービスＡ～Ｃを素早くデプロイすることができるため、迅速にユーザーに機能を提供することができる。一方で、ステイブルサーブモードは、要求ランレベルが低い（優先度の高い）サービスのデプロイを優先して完了させるため、サービス全体の動作が安定し易い。

【0110】

図１６は、ノードベースランレベルモードおよびクラスターベースランレベルモードの比較の一例を示す図である。デプロイ状況１６０１は、ノードベースランレベルモードにおける各サービスのデプロイ状況の一例を示す。デプロイ状況１６０２は、クラスターベースランレベルモードにおける各サービスのデプロイ状況の一例を示す。

【0111】

ノードベースランレベルモードにおいて、クラスターシステム１００は、各ノード１０１に個別のランレベルを設定する。そのため、サービスをデプロイされたノード１０１のランレベルは、サービスをデプロイされていない他のノード１０１のランレベルよりも大きくなる。クラスターシステム１００は、サービスをデプロイされたノード１０１に対して要求ランレベルが高いサービスもデプロイ可能になるが、サービスをデプロイされていない他のノード１０１に対して要求ランレベルが高いサービスをデプロイできないままとなる。その結果、サービスは、特定のノード１０１に集中的にデプロイされ易くなる。

【0112】

クラスターベースランレベルモードにおいて、各ノード１０１には共通のランレベルが設定される。そのため、どのノード１０１にサービスがデプロイされても、全てノード１０１のランレベルは共通のままである。そのため、常に、各ノード１０１にデプロイ可能なサービスに差は発生しない。その結果、サービスは、各ノード１０１に分散的にデプロイされ易くなる。

【0113】

クラスターシステム１００は、ノードベースランレベルモードで動作することで、例えば、関連するサービスを同じノード１０１に集中的にデプロイしてノード１０１間の通信負荷を削減することができる。また、クラスターシステム１００は、クラスターベースランレベルモードで動作することで、例えば、同じ機能のサービスを複数のノード１０１に分散配置して、各ノード１０１の処理負荷を削減することができる。

【0114】

＜Ｇ．マニフェストファイルおよびノードのメタデータ＞
図１７は、マニフェストファイルの一例を示す図である。マニフェストファイル１７１０は、サービスの１つであるアイデンティティ管理（Identity-management）のマニフェストファイルである。マニフェストファイル１７２０は、サービスの１つであるアクティブディレクトリ（Active-directory）のマニフェストファイルである。各マニフェストファイルは、サービスの要求ランレベルおよび複製数等の各種情報を含む。

【0115】

アイデンティティ管理は、アクティブディレクトリを参照する。そのため、アクティブディレクトリの要求ランレベル１７２１は、アイデンティティ管理の要求ランレベル１７１１よりも低い値になっている。

【0116】

図１８は、各ノード１０１に設定されるメタデータ１８００の一例を示す図である。メタデータ１８００は、各ノード１０１に設定されたラベルおよび現在のランレベル１８０１を含む。ある局面において、ノードメタデータ＆ステート１１２は、当該メタデータ１８００を格納し得る。他の局面において、メタデータ１８００に含まれるランレベル１８０１がクラスターランレベルの場合、クラスターメタデータ＆ステート１１４が、当該メタデータ１８００を格納し得る。

【0117】

図１９は、デプロイマネージャー１１０の動作の様子の一例を示す図である。デプロイマネージャー１１０は、マニフェストファイル１７１０，１７２０およびノード１０１のメタデータ１８００の全てまたは一部を参照し、クラスターコントロールプレーン１０３にフィルタを設定する。当該フィルタは、サービスのデプロイ順序を制御するための各種情報を含む。

【0118】

クラスターコントロールプレーン１０３は、当該フィルタに従って各サービスを要求ランレベルに基づいてデプロイまたは終了する。また、クラスターコントロールプレーン１０３は、サービスのデプロイまたは終了の実行と共に、ノード１０１のメタデータ１８００のランレベルを更新する。図１９に示す例では、デプロイマネージャー１１０は、アクティブディレクトリ１９０２、アイデンティティ管理１９００の順番にデプロイされるように、クラスターコントロールプレーン１０３にフィルタを設定する。

【0119】

上記のように、デプロイマネージャー１１０は、マニフェストファイル１７１０および１７２０と、ノード１０１のメタデータ１８００とに基づいて、クラスターコントロールプレーン１０３にフィルタを設定する。当該機能により、クラスターコントロールプレーン１０３は、依存関係のあるサービスを適切な順番でデプロイまたは終了することができる。

【0120】

＜Ｈ．フローチャート＞
図２０は、クラスターシステム１００のサービスのデプロイ処理のフローチャートの一例を示す図である。図２０の各処理は、図１に示すデプロイマネージャー１１０，クラスターランタイムコンポーネント１１１およびクラスターマネージメントコンポーネント１１３が相互に連係することで実現し得る。ある局面において、クラスターマネージメントコンポーネント１１３は、デプロイマネージャー１１０によって設定されたフィルタを参照し、下記の処理を実行してもよい。

【0121】

ステップＳ２０１０において、クラスターシステム１００は、各ノード１０１の現在のランレベルを取得する。ある局面において、クラスターシステム１００は、ノードメタデータ＆ステート１１２から、各ノード１０１のノードランレベルを取得してもよい。他の局面において、クラスターシステム１００は、クラスターメタデータ＆ステート１１４から、全てのノード１０１に共通のクラスターランレベルを取得してもよい。

【0122】

ステップＳ２０２０において、クラスターシステム１００は、各サービスの要求ランレベルを取得する。より具体的には、クラスターシステム１００は、各サービスのマニフェストファイルを参照することで、要求ランレベルを取得する。

【0123】

ステップＳ２０３０において、クラスターシステム１００は、各サービスの要求ランレベルと、各ノード１０１の現在のランレベルとを比較して、デプロイ可能なサービスと、当該サービスをデプロイ可能なノード１０１との組み合わせを決定する。当該組み合わせは、複数存在し得る。

【0124】

ステップＳ２０４０において、クラスターシステム１００は、ステップＳ２０３０にて決定した組み合わせの中からランダムでサービスおよびノード１０１のペアを選択する。クラスターシステム１００は、選択されたサービスを選択されたノード１０１にデプロイする。ある局面において、クラスターシステム１００は、サービスの優先度および／またはノード１０１の負荷等に基づいて、サービスおよびノード１０１のペアを選択してもよい。

【0125】

ステップＳ２０５０において、クラスターシステム１００は、サービスのデプロイが完了したか否かを判定する。より具体的には、例えば、クラスターマネージメントコンポーネント１１３が、クラスターランタイムコンポーネント１１１と通信して、サービスの状態を取得し、サービスのデプロイが完了したか否かを判定してもよい。

【0126】

クラスターシステム１００は、サービスのデプロイが完了したと判定した場合（ステップＳ２０５０にてＹＥＳ）、制御をステップＳ２０６０に移す。そうでない場合（ステップＳ２０５０にてＮＯ）、クラスターシステム１００は、ステップＳ２０５０の処理を繰り返す。

【0127】

ステップＳ２０６０において、クラスターシステム１００は、全サービスのデプロイが完了したか否かを判定する。全サービスのデプロイの完了とは、全てのサービスが、各サービスのマニフェストファイルに基づいて、複製数で設定された回数分デプロイされた状態を指す。クラスターシステム１００は、全サービスのデプロイが完了したと判定した場合（ステップＳ２０６０にてＹＥＳ）、処理を終了する。そうでない場合（ステップＳ２０６０にてＮＯ）、クラスターシステム１００は、制御をステップＳ２０１０に移す。

【0128】

図２１は、クラスターシステム１００における各ノード１０１のランレベルの更新のフローチャートの一例を示す図である。図２１の各処理は、図１に示すデプロイマネージャー１１０，クラスターランタイムコンポーネント１１１およびクラスターマネージメントコンポーネント１１３が相互に連係することで実現し得る。ある局面において、クラスターマネージメントコンポーネント１１３は、デプロイマネージャー１１０によって設定されたフィルタを参照し、下記の処理を実行してもよい。また、他の局面において、クラスターシステム１００は、図２０および図２１に示す処理を並列または非同期的に実行してもよい。

【0129】

ステップＳ２１０５において、クラスターシステム１００は、各ノード上で稼働しているサービスのリストを取得する。ステップＳ２１１０において、クラスターシステム１００は、クラスターシステム１００のランレベルのモードが、クラスターベースランレベルモードであるか、またはノードベースランレベルモードであるかを判定する。クラスターシステム１００は、クラスターシステム１００のランレベルのモードが、クラスターベースランレベルモードであると判定した場合（ステップＳ２１１０にてＹＥＳ）、制御をステップＳ２１１５に移す。そうでない場合（ステップＳ２１１０にてＮＯ）、制御をステップＳ２１４０に移す。

【0130】

ステップＳ２１１５において、クラスターシステム１００は、リスト内から最も要求ランレベルの高いサービスの情報を抽出する。ここでの最も要求ランレベルの高いサービスとは、現在いずれかのノード１０１にデプロイされている全てのサービスの中で最も要求ランレベルの高いサービスである。

【0131】

ステップＳ２１２０において、クラスターシステム１００は、クラスターシステム１００のデプロイのモードが、クイックサーブモードであるか、またはステイブルサーブモードであるかを判定する。クラスターシステム１００は、クラスターシステム１００のデプロイのモードが、クイックサーブモードであると判定した場合（ステップＳ２１２０にてＹＥＳ）、制御をステップＳ２１３０に移す。そうでない場合（ステップＳ２１２０にてＮＯ）、クラスターシステム１００は、制御をステップＳ２１２５に移す。

【0132】

ステップＳ２１２５において、クラスターシステム１００は、ステップＳ２１１５にて情報を抽出したサービスのインスタンス数が複製数以上であるか否かを判定する。すなわち、クラスターシステム１００は、ステップＳ２１１５にて情報を抽出したサービスが、マニフェストファイルに記述された複製数だけデプロイされているか否かを判定する。クラスターシステム１００は、ステップＳ２１１５にて情報を抽出したサービスのインスタンス数が複製数以上であると判定した場合（ステップＳ２１２５にてＹＥＳ）、制御をステップＳ２１３０に移す。そうでない場合（ステップＳ２１２５にてＮＯ）、クラスターシステム１００は、制御をステップＳ２１０５に移す。

【0133】

ステップＳ２１３０において、クラスターシステム１００は、ステップＳ２１１５にて情報を抽出したサービスの要求ランレベルに基づいて、全てのノード１０１のランレベルを更新する。ステップＳ２１３５において、クラスターシステム１００は、全サービスのデプロイが完了したか否かを判定する。クラスターシステム１００は、全サービスのデプロイが完了したと判定した場合（ステップＳ２１３５にてＹＥＳ）、処理を終了する。そうでない場合（ステップＳ２１３５にてＮＯ）、クラスターシステム１００は、制御をステップＳ２１０５に移す。

【0134】

ステップＳ２１４０において、クラスターシステム１００は、各ノード１０１上で最も要求ランレベルが高いサービスの情報を抽出する。例えば、クラスターシステム１００が４つのノード１０１Ａ～１０１Ｄを含んでいる場合、クラスターシステム１００は、各ノード１０１の最も要求ランレベルが高いサービスの４つの情報を抽出する。

【0135】

ステップＳ２１４５において、クラスターシステム１００は、クラスターシステム１００のデプロイのモードが、クイックサーブモードであるか、またはステイブルサーブモードであるかを判定する。クラスターシステム１００は、クラスターシステム１００のデプロイのモードが、クイックサーブモードであると判定した場合（ステップＳ２１４５にてＹＥＳ）、制御をステップＳ２１５５に移す。そうでない場合（ステップＳ２１４５にてＮＯ）、クラスターシステム１００は、制御をステップＳ２１５０に移す。

【0136】

ステップＳ２１５０において、クラスターシステム１００は、ステップＳ２１４０にて情報を抽出した各サービスのインスタンス数が複製数以上であるか否かを判定する。クラスターシステム１００は、ステップＳ２１４０にて情報を抽出したサービスのインスタンス数が複製数以上であると判定した場合（ステップＳ２１５０にてＹＥＳ）、制御をステップＳ２１５５に移す。そうでない場合（ステップＳ２１５０にてＮＯ）、クラスターシステム１００は、制御をステップＳ２１０５に移す。

【0137】

ステップＳ２１５５において、クラスターシステム１００は、ステップＳ２１４０にて情報を抽出した各サービスの要求ランレベルに基づいて、各サービスを稼働している各ノード１０１のランレベルを更新する。

【0138】

＜Ｉ．ハードウェア構成＞
図２２は、クラスターシステム１００を構成する装置２２００の一例を示す図である。クラスターシステム１００は、１以上の装置２２００から構成され得る。装置２２００は、ＣＰＵ（Central Processing Unit）２２０１と、１次記憶装置２２０２と、２次記憶装置２２０３と、外部機器インターフェイス２２０４と、入力インターフェイス２２０５と、出力インターフェイス２２０６と、通信インターフェイス２２０７とを含む。

【0139】

ＣＰＵ２２０１は、装置２２００の各種機能を実現するためのプログラムを実行し得る。ＣＰＵ２２０１は、例えば、少なくとも１つの集積回路によって構成される。集積回路は、例えば、少なくとも１つのＣＰＵ、少なくとも１つのＦＰＧＡ（Field Programmable Gate Array）、またはこれらの組み合わせ等によって構成されてもよい。

【0140】

１次記憶装置２２０２は、ＣＰＵ２２０１によって実行されるプログラムと、ＣＰＵ２２０１によって参照されるデータとを格納する。ある局面において、１次記憶装置２２０２は、ＤＲＡＭ（Dynamic Random Access Memory）またはＳＲＡＭ（Static Random Access Memory）等によって実現されてもよい。

【0141】

２次記憶装置２２０３は、不揮発性メモリーであり、ＣＰＵ２２０１によって実行されるプログラムおよびＣＰＵ２２０１によって参照されるデータを格納してもよい。その場合、ＣＰＵ２２０１は、２次記憶装置２２０３から１次記憶装置２２０２に読み出されたプログラムを実行し、２次記憶装置２２０３から１次記憶装置２２０２に読み出されたデータを参照する。ある局面において、２次記憶装置２２０３は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）またはフラッシュメモリー等によって実現されてもよい。

【0142】

外部機器インターフェイス２２０４は、プリンター、スキャナーおよび外付けＨＤＤ等の任意の外部機器に接続され得る。ある局面において、外部機器インターフェイス２２０４は、ＵＳＢ（Universal Serial Bus）端子等によって実現されてもよい。

【0143】

入力インターフェイス２２０５は、キーボード、マウス、タッチパッドまたはゲームパッド等の任意の入力装置に接続され得る。ある局面において、入力インターフェイス２２０５は、ＵＳＢ端子、ＰＳ／２端子およびＢｌｕｅｔｏｏｔｈ（登録商標）モジュール等によって実現されてもよい。

【0144】

出力インターフェイス２２０６は、ブラウン管ディスプレイ、液晶ディスプレイまたは有機ＥＬ（electro-luminescence）ディスプレイ等の任意の出力装置に接続され得る。ある局面において、出力インターフェイス２２０６は、ＵＳＢ端子、Ｄ－ｓｕｂ端子、ＤＶＩ（Digital Visual Interface）端子およびＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）端子等によって実現されてもよい。

【0145】

通信インターフェイス２２０７は、有線または無線のネットワーク機器と接続される。ある局面において、通信インターフェイス２２０７は、有線ＬＡＮ（Local Area Network）ポートおよびＷｉ-Ｆｉ（登録商標）（Wireless Fidelity）モジュール等によって実現されてもよい。他の局面において、通信インターフェイス２２０７は、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）、ＵＤＰ（User Datagram Protocol）等の通信プロトコルを用いてデータを送受信してもよい。

【0146】

ある局面において、ＣＰＵ２２０１は、図２０および図２１の処理を行うためのプログラムを２次記憶装置２２０３から１次記憶装置２２０２に読み込んで、当該プログラムを実行してもよい。他の局面において、当該処理の一部または全部は、当該処理を実行するように構成された回路素子の組み合わせとしても実現され得る。

【0147】

また、他の局面において、図１に示す全ての構成要素は、プログラムまたはデータとして、１以上の装置２２００内の１次記憶装置２２０２に分散されて格納されていてもよい。

【0148】

以上説明したように、本実施の形態に従うクラスターシステム１００は、マニフェストファイル１７１０および１７２０と、ノード１０１のメタデータ１８００とに基づいて、依存関係のあるサービスを適切な順番でデプロイまたは終了することができる。当該機能により、ユーザーは、クラスターシステム１００に依存関係のあるサービスをデプロイさせるために詳細なスクリプト等を用意する必要はなく、各サービスのマニフェストファイルに、要求ランレベルを設定するだけでよい。

【0149】

さらに、クラスターシステム１００は、ノードベースランレベルモードまたはクラスターベースランレベルモードと、クイックサーブモードまたはステイブルサーブモードとを適宜組み合わせて使用することができる。当該機能により、クラスターシステム１００は、適宜、各サービスを特定のノード１０１に集中的にデプロイしたり、または、各サービスを複数のノード１０１に分散してデプロイしたりできる。

【0150】

今回開示された実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本開示の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内で全ての変更が含まれることが意図される。また、実施の形態および各変形例において説明された開示内容は、可能な限り、単独でも、組合わせても、実施することが意図される。

【符号の説明】

【0151】

１００ クラスターシステム、１０１ ノード、１０２ サービス、１０３ クラスターコントロールプレーン、１１０ デプロイマネージャー、１１１ クラスターランタイムコンポーネント、１１２ ノードメタデータ＆ステート、１１３ クラスターマネージメントコンポーネント、１１４ クラスターメタデータ＆ステート、１７１０，１７２０ マニフェストファイル、１７１１，１７２１ 要求ランレベル、１８００ メタデータ、１８０１ ランレベル、１９００ アイデンティティ管理、１９０２ アクティブディレクトリ、２２００ 装置、２２０１ ＣＰＵ、２２０２ １次記憶装置、２２０３ ２次記憶装置、２２０４ 外部機器インターフェイス、２２０５ 入力インターフェイス、２２０６ 出力インターフェイス、２２０７ 通信インターフェイス。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】