特許 7514336 クラスタの容量縮小・拡張方法及びシステム、容量縮小・拡張制御端末、及び媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-02

(45)【発行日】2024-07-10

(54)【発明の名称】クラスタの容量縮小・拡張方法及びシステム、容量縮小・拡張制御端末、及び媒体

(51)【国際特許分類】

   G06F 9/50 20060101AFI20240703BHJP

【ＦＩ】

G06F9/50 120Z

【請求項の数】 9

(21)【出願番号】P 2022577666

(86)(22)【出願日】2021-06-09

(65)【公表番号】

(43)【公表日】2023-07-20

(86)【国際出願番号】 CN2021099171

(87)【国際公開番号】W WO2021259064

(87)【国際公開日】2021-12-30

【審査請求日】2022-12-16

(31)【優先権主張番号】202010589248.1

(32)【優先日】2020-06-24

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】511151662

【氏名又は名称】中興通訊股▲ふん▼有限公司

【氏名又は名称原語表記】ＺＴＥ ＣＯＲＰＯＲＡＴＩＯＮ

【住所又は居所原語表記】ＺＴＥ Ｐｌａｚａ，Ｋｅｊｉ Ｒｏａｄ Ｓｏｕｔｈ，Ｈｉ－Ｔｅｃｈ Ｉｎｄｕｓｔｒｉａｌ Ｐａｒｋ，Ｎａｎｓｈａｎ Ｓｈｅｎｚｈｅｎ，Ｇｕａｎｇｄｏｎｇ ５１８０５７ Ｃｈｉｎａ

(74)【代理人】

【識別番号】100112656

【弁理士】

【氏名又は名称】宮田 英毅

(74)【代理人】

【識別番号】100089118

【弁理士】

【氏名又は名称】酒井 宏明

(74)【代理人】

【識別番号】110002505

【氏名又は名称】弁理士法人航栄事務所

(72)【発明者】

【氏名】チャン ジョウ

(72)【発明者】

【氏名】ワン ショウリン

(72)【発明者】

【氏名】マー ヨウチャン

【審査官】田中 幸雄

(56)【参考文献】

【文献】中国特許出願公開第１０８４６９９８９（ＣＮ，Ａ）

【文献】WANG, Mingming et al.，A Cluster Autoscaler Based on Multiple Node Types in Kubernetes，Proceedings of the IEEE 4th Information Technology, Networking, Electronic and Automation Control Conference，IEEE，2020年06月12日，pages575-579，https://ieeexplore.ieee.org/document/9084706

【文献】堀内晨彦ほか，分散Webシステムにおけるキャッシュサーバ管理機能の試作と評価，ＦＩＴ２０１５ 第１４回情報科学技術フォーラム 講演論文集 第４分冊 査読付き論文・一般論文 ネットワーク・セキュリティ ユビキタス・モバイルコンピューティング 教育・人文科学 情報システム，日本，2015年08月24日，２２７～２３０ページ

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ９／５０

(57)【特許請求の範囲】

【請求項1】

ターゲットクラスタの性能データを取得するステップと、
前記性能データに基づいて前記ターゲットクラスタが容量拡張又は容量縮小を行う必要があるか否かを判断するステップと、
前記ターゲットクラスタが容量拡張を行う必要があると判断された場合、クラウドプラットフォームを制御して第１の仮想ホストを作成し、前記第１の仮想ホストを前記ターゲットクラスタに添加するステップと、
前記ターゲットクラスタが容量縮小を行う必要があると判断された場合、前記クラウドプラットフォームを制御して前記ターゲットクラスタ内の第２の仮想ホストを削除するステップと、を含み、
前記ターゲットクラスタはＫｕｂｅｒｎｅｔｅｓクラスタであり、
ターゲットクラスタの性能データを取得するステップは、
ターゲットクラスタの、オペレーティングシステム性能データ、Ｋｕｂｅｒｎｅｔｅｓ性能データ、及びビジネス性能データを含むリアルタイム性能データを取得するステップと、
前記リアルタイム性能データをデータクリーニングして、集約し、前記性能データを生成するステップと、を含む
プロセッサによって実行される、クラスタの容量縮小・拡張方法。

【請求項2】

前記リアルタイム性能データが非侵入的方式で取得され、
前記ターゲットクラスタのリアルタイム性能データを取得するステップは、
遠隔端末プロトコル方式、セキュリティシェルプロトコル方式、セキュリティファイル転送プロトコル方式、ファイル転送プロトコル方式、及びＲＥＳＴｆｕｌインターフェース方式のうちの少なくとも１つを含む第１の非侵入的方式によって前記オペレーティングシステム性能データを取得するステップと、
ＲＥＳＴｆｕｌインターフェース方式及びコマンドラインインターフェース方式のうちの少なくとも１つを含む第２の非侵入的方式によって前記Ｋｕｂｅｒｎｅｔｅｓ性能データを取得するステップと、
データストレージボリュームから前記ビジネス性能データを取得するステップと、を含む
請求項１に記載の方法。

【請求項3】

前記第１の仮想ホストを前記ターゲットクラスタに添加するステップの前に、
前記第１の仮想ホストをノードリソースプールに添加し、ノードリソースプールマネージャにおいて前記第１の仮想ホストの登録を行うステップをさらに含み、
前記第１の仮想ホストを前記ターゲットクラスタに添加するステップは、
登録完了後に前記ノードリソースプールマネージャにより割り当てられたノード情報に基づいて、ＲＥＳＴｆｕｌインターフェース方式又はコマンドラインインターフェース方式により前記第１の仮想ホストを前記ターゲットクラスタに添加するステップを含む
請求項１に記載の方法。

【請求項4】

前記ノード情報を永続化し、永続化情報テーブルに記憶するステップをさらに含む
請求項３に記載の方法。

【請求項5】

前記クラウドプラットフォームを制御して前記ターゲットクラスタ内の第２の仮想ホストを削除するステップの後に、
前記第２の仮想ホストを前記ノードリソースプールから削除し、前記ノードリソースプールマネージャにおいて前記第２の仮想ホストをログオフするステップと、
前記永続化情報テーブルから前記第２の仮想ホストに対応するノード情報を照会し、前記クラウドプラットフォームを制御して前記第２の仮想ホストを回収するステップと、をさらに含む
請求項４に記載の方法。

【請求項6】

前記第２の仮想ホストは、前記ターゲットクラスタに添加された最新の仮想ホストである
請求項１に記載の方法。

【請求項7】

１つ又は複数のプロセッサと、
１つ又は複数のプログラムを記憶するように構成される記憶装置と、を備え、
前記１つ又は複数のプログラムが前記１つ又は複数のプロセッサによって実行されると、前記１つ又は複数のプロセッサに、請求項１～６のいずれか１項に記載の方法を実施させる
容量縮小・拡張制御端末。

【請求項8】

コンピュータプログラムが記憶されているコンピュータ可読媒体であって、
前記プログラムがプロセッサによって実行されると、請求項１～６のいずれか１項に記載の方法を実施する
コンピュータ可読媒体。

【請求項9】

容量縮小・拡張制御端末とクラウドプラットフォームを備えるクラスタの容量縮小・拡張システムであって、
前記容量縮小・拡張制御端末は請求項７に記載の容量縮小・拡張制御端末を用いる
クラスタの容量縮小・拡張システム。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、２０２０年６月２４日に中国特許庁に提出された特許出願ＮＯ．２０２０１０５８９２４８．１の優先権を主張し、その全ての内容は引用により本願に組み込まれている。

【0002】

本開示は通信技術の分野に関するものであるが、これに限定されない。

【背景技術】

【0003】

通信技術及びネットワーク技術の発展に伴い、ほとんどの通信システム及びネットワークシステムの負荷要求はより高くなっており、ビジネスの変化に応じて容量縮小・拡張の必要が生じており、例えば、５Ｇ通信におけるコアネットワーク管理ドメインに対して、５Ｇネットワークスライスの大規模な展開に起因して、より速いスライス変更に対応するために、コアネットワーク管理ドメインは、より多くの仮想化ビジネスユニットを管理することに直面する。マイクロサービスを提供するサービスプラットフォームに対して、マイクロサービスにおけるアプリケーションが展開されるという特性に起因して、アプリケーション展開の必要に対応するために、サービスプラットフォームも同様に、より多くの仮想化ビジネスユニットを管理することに直面する必要がある。

【発明の概要】

【0004】

第１の態様において、本開示は、ターゲットクラスタの性能データを取得するステップと、前記性能データに基づいて前記ターゲットクラスタが容量拡張又は容量縮小を行う必要があるか否かを判断するステップと、前記ターゲットクラスタが容量拡張を行う必要があると判断された場合、クラウドプラットフォームを制御して第１の仮想ホストを作成し、前記第１の仮想ホストを前記ターゲットクラスタに添加するステップと、前記ターゲットクラスタが容量縮小を行う必要があると判断された場合、前記クラウドプラットフォームを制御して前記ターゲットクラスタ内の第２の仮想ホストを削除するステップと、を含むクラスタの容量縮小・拡張方法を提供する。

【0005】

第２の態様において、本開示は、１つ又は複数のプロセッサと、１つ又は複数のプログラムを記憶するように構成される記憶装置と、を備え、前記１つ又は複数のプログラムが前記１つ又は複数のプロセッサによって実行されると、前記１つ又は複数のプロセッサに、本明細書に記載のいずれかの方法を実施させる容量縮小・拡張制御端末をさらに提供する。

【0006】

第３の態様において、本開示は、コンピュータプログラムが記憶されているコンピュータ可読媒体であって、前記プログラムがプロセッサによって実行されると、本明細書に記載のいずれかの方法を実施するコンピュータ可読媒体をさらに提供する。

【0007】

第４の態様において、本開示は、容量縮小・拡張制御端末とクラウドプラットフォームを備えるクラスタの容量縮小・拡張システムであって、前記容量縮小・拡張制御端末は本明細書に記載のいずれかの容量縮小・拡張制御端末を用いるクラスタの容量縮小・拡張システムをさらに提供する。

【図面の簡単な説明】

【0008】

【図1】本開示によるクラスタの容量縮小・拡張方法のフローチャートである。

【図2】図１におけるステップＳ１の例示的な実施方法のフローチャートである。

【図3】図２におけるステップＳ１０１の例示的な実施方法のフローチャートである。

【図4】図１におけるステップＳ３の例示的な実施方法のフローチャートである。

【図5】本開示によるクラスタの容量縮小・拡張方法のフローチャートである。

【図6】本開示によるクラスタの容量縮小・拡張システムの構造ブロック図である。

【図7】本開示による性能データ収集器の構造ブロック図である。

【発明を実施するための形態】

【0009】

当業者が本開示の技術案をよりよく理解するために、以下に図面を組み合わせて本開示によるクラスタの容量縮小・拡張方法、容量縮小・拡張制御端末、コンピュータ可読媒体、及びクラスタの容量縮小・拡張システムを詳しく説明する。

【0010】

以下では図面を参照して例示的な実施形態について十分に説明するが、例示的な実施形態が異なる形式で体現されてもよく、本明細書で記載の実施形態に限定されると解釈されるべきではない。むしろ、これらの実施形態は、本開示を徹底して完全なものにするために提供され、当業者に本開示の範囲を十分に理解させるように提供される。

【0011】

本明細書で用いられる用語は、特定の実施形態を説明するためのものに過ぎず、本開示を限定することを意図しない。例えば本明細書で用いられる単数形の「１つ」及び「当該」は、文脈が明らかにそうでないことを示さない限り、複数形も含むことを意図している。本明細書で「含む」及び／又は「……からなる」という用語を用いる場合、述べられた特徴、全体、ステップ、操作、要素及び／又は構成要素の存在を明示しているが、１つ又は複数の他の特徴、全体、ステップ、操作、要素、構成要素及び／又はそれらの群の存在又は追加を排除するものではないことも理解されたい。

【0012】

本明細書では第１、第２などの用語を用いて様々な要素を説明することができるが、これらの要素は、これらの用語によって限定されるものではない。これらの用語は、１つの要素を別の要素と区別するためにのみ用いられる。よって、以下で論じられる第１の要素、第１の構成要素、又は第１のモジュールは、本開示の教示から逸脱することない場合、第２の要素、第２の構成要素、又は第２のモジュールと呼ばれ得る。

【0013】

特に限定されない限り、技術的及び科学的な用語を含む、本明細書で用いられる全ての用語は、当業者によって一般的に理解されるものと同じ意味を有する。一般的に使用される辞書で定義されているような用語は、関連技術及び本開示の文脈でのそれらの意味と一致する意味を有すると解釈されるべきであり、本明細書で明確にそのように限定されていない限り、理想的又は過度に形式的な意味を有すると解釈されるべきではないことも理解されたい。

【0014】

通信技術及びネットワーク技術の発展に伴い、ほとんどの通信システム及びネットワークシステムの負荷要求はより高くなっており、ビジネスの変化に応じて容量縮小・拡張の必要が生じており、例えば、５Ｇ通信におけるコアネットワーク管理ドメインに対して、５Ｇネットワークスライスの大規模な展開に起因して、より速いスライス変更に対応するために、コアネットワーク管理ドメインは、より多くの仮想化ビジネスユニットを管理することに直面する。マイクロサービスを提供するサービスプラットフォームに対して、マイクロサービスにおけるアプリケーションが展開されるという特性に起因して、アプリケーション展開の必要に対応するために、サービスプラットフォームも同様に、より多くの仮想化ビジネスユニットを管理することに直面する必要がある。

【0015】

ビジネス変化はリアルタイムでシステムの負荷に影響を及ぼし、システムの性能統計、アラーム、及びリソーストポロジなどの機能に反映されることが多い。そのうち、性能統計に対する影響は最も直接的であり、システムは、性能指標データを記憶及び計算するためにより多くのノードを必要とする。

【0016】

ビジネス変動による容量縮小・拡張の影響に対応するため、システムはクラスタの形式をとるのが一般的である。一方、既存クラスタシステム、特に、既存Ｋｕｂｅｒｎｅｔｅｓクラスタシステムは、その下層がベアメタルを用い、新しいハードウェアを追加する条件を持たないと同時に、用いられる既存クラウドプラットフォームがサポート性と互換性が完璧ではなく、容量縮小・拡張が困難になる。

【0017】

現段階のクラスタの容量拡張は、クラスタ内の各ノードのプロセッサとメモリ残量に基づいて容量縮小・拡張ポリシーを作成することに限られ、ビジネスの変化に応じて適応的な容量縮小・拡張を行うことができず、また、ベアメタルを用いた、動的容量拡張機能のない既存システムも存在する。

【0018】

本開示によるクラスタの容量縮小・拡張方法、容量縮小・拡張制御端末、コンピュータ可読媒体、及びクラスタの容量縮小・拡張システムは、取得した性能データに基づいて容量縮小・拡張判断を行い、仮想化機能を用いてクラウドプラットフォームで対応するノードを作成又は削除し、クラスタの動的容量縮小・拡張を実現するために用いられてもよい。

【0019】

図１は、本開示によるクラスタの容量縮小・拡張方法のフローチャートである。図１に示すように、当該方法はステップＳ１～ステップＳ４を含んでもよい。

【0020】

ステップＳ１において、ターゲットクラスタの性能データを取得する。

【0021】

ステップＳ１において、異なる次元及びレベルからターゲットクラスタの性能データを取得し、当該性能データは、ターゲットクラスタの特性指標を特徴付けて、容量拡張ポリシー及び容量縮小ポリシーの構築のために履歴データを提供することができる。

【0022】

いくつかの実施形態において、ターゲットクラスタの性能データを取得する前に、当該方法は、既存ターゲットクラスタの展開形態を分析し、そのドッキング認証情報及びビジネス実行時の情報記録フォーマットを取得するステップをさらに含み、ドッキング認証情報は、各ホストのセキュリティシェルプロトコル（Ｓｅｃｕｒｅ Ｓｈｅｌｌ，ＳＳＨ）情報及び認証情報などを含んでもよい。

【0023】

ステップＳ２において、性能データに基づいてターゲットクラスタが容量拡張又は容量縮小を行う必要があるか否かを判断する。

【0024】

ここで、性能データに基づいて構築されたターゲットクラスタの容量拡張ポリシー及び容量縮小ポリシーにより容量拡張又は容量縮小を行う必要があるか否かを判断する。

【0025】

ステップＳ２において、ターゲットクラスタが容量拡張を行う必要があると判断された場合、ステップＳ３を実行し、ターゲットクラスタが容量縮小を行う必要があると判断された場合、ステップＳ４を実行し、ターゲットクラスタが容量拡張と容量縮小を行う必要がないと判断された場合、ステップＳ１を引き続き実行する。

【0026】

ステップＳ３において、クラウドプラットフォームを制御して第１の仮想ホストを作成し、第１の仮想ホストをターゲットクラスタに添加する。

【0027】

いくつかの実施形態において、クラウドプラットフォームを制御して第１の仮想ホストを作成すると同時に、クラウドプラットフォームをさらに制御して第１の仮想ホストに対応する仮想リソースを生成し、当該仮想リソースがイメージリソース、仮想ポートリソース、クラウドストレージリソースなどを含む。いくつかの実施形態において、クラウドプラットフォームにおいて第１の仮想ホスト及び対応する仮想リソースを作成した後、第１の仮想ホスト識別子及び仮想リソース情報を報告し、報告された第１の仮想ホスト識別子及び仮想リソース情報を永続化し、ＢｏｌｔＤＢとＳＱｌｉｔｅなどのファイルデータベースによって、又はｊｓｏｎフォーマット、ｃｓｖフォーマット及びｘｍｌフォーマットなどのファイル形式で、永続化情報ファイルとしてローカルに保存し、永続化情報テーブルに記憶するようにクラウドプラットフォームに通知する。

【0028】

いくつかの実施形態において、第１の仮想ホストが起動した後、対応するサポートキットをそれに送信し、対応するサポートキットをインストールするようにそれを制御する。

【0029】

いくつかの実施形態において、当該クラスタの容量縮小・拡張方法に対応する容量縮小・拡張制御端末はクラウドプラットフォーム側に設置され得る。

【0030】

ステップＳ４において、クラウドプラットフォームを制御してターゲットクラスタ内の第２の仮想ホストを削除する。

【0031】

いくつかの実施形態において、ＲＥＳＴｆｕｌインターフェース方式又はコマンドラインインターフェース方式によって第２の仮想ホストを削除する。

【0032】

いくつかの実施形態において、第２の仮想ホストはターゲットクラスタに添加された最新の仮想ホストである。

【0033】

本開示はクラスタの容量縮小・拡張方法を提供し、当該方法は、取得した性能データに基づいて容量縮小・拡張を行うことが必要か否かを判断し、クラウドプラットフォームを制御して仮想ホストを作成又は削除する方式により、クラスタの動的容量縮小・拡張を実現することに用いられることができる。よって、当該方法は、一般的な既存システムだけでなく、ベアメタルを用いた、動的容量拡張機能のない既存システムにも適用できる。

【0034】

図２は、図１におけるステップＳ１の例示的な実施方法のフローチャートである。例示的に、ターゲットクラスタはＫｕｂｅｒｎｅｔｅｓクラスタである。図２に示すように、ターゲットクラスタの性能データを取得するステップＳ１はステップＳ１０１とステップＳ１０２を含んでもよい。

【0035】

ステップＳ１０１において、ターゲットクラスタのリアルタイム性能データを取得する。

【0036】

ここで、リアルタイム性能データは、オペレーティングシステム性能データ、Ｋｕｂｅｒｎｅｔｅｓ性能データ、及びビジネス性能データを含む。オペレーティングシステム性能データは、システムログ、プロセッサ情報、メモリ情報、ディスク使用率、及びディスク性能指標などを含んでもよく、Ｋｕｂｅｒｎｅｔｅｓ性能データは、クラスタ内のノードに関する情報、デプロイメント（Ｄｅｐｌｏｙｍｅｎｔ）情報、レプリカコントローラ（Ｒｅｐｌｉｃａｔｉｏｎ Ｃｏｎｔｒｏｌｌｅｒ，ＲＣ）情報、レプリカセット（Ｒｅｐｌｉｃａ Ｓｅｔ，ＲＳ）情報、及びコンテナ情報などを含んでもよく、ビジネス性能データは、アプリケーションログ及び他のビジネス実行時の性能データを含んでもよい。

【0037】

ステップＳ１０２において、リアルタイム性能データをデータクリーニングして、集約し、性能データを生成する。

【0038】

ここで、データクリーニングは、例えば、数値が１００％を超える百分率タイプのデータのような、明らかに異常なデータを削除することと、例えば、過去の前年比偏差が１５％を超えるデータのような、異常の可能性があるデータをマーキングすることと、厳しく判定されるタイプのデータに対して、データの一貫性を保証するために、当該タスクから報告された他のデータも削除することと、単一の時点で複数のデータを報告することに対して、重複排除して、そのうちの１つのデータを保持するか又はポリシーに基づいて複数のデータを統合することと、を含んでもよい。その後、クリーニングした後のリアルタイム性能データを一時ファイルの形式で一時フォルダ又はキャッシュに保存する。

【0039】

データを集約するときに、予め設定された時間帯、例えば５分毎に、一時ファイル又はキャッシュ内のリアルタイム性能データに対してリードオンリタグを追加し、異なる物理ノード及び異なるＫｕｂｅｒｎｅｔｅｓノードのデータを統一したフォーマットで１又は複数のレコードに集約し、タイムスタンプを付加し、集約完了後にリードオンリタグを削除して性能データを生成する。また、処理操作がタイムアウトして完成応答しない場合も、同様にリードオンリタグを削除する。

【0040】

いくつかの実施形態において、集約後に生成された性能データは、永続化され、ＢｏｌｔＤＢとＳＱｌｉｔｅなどのファイルデータベースによって、又はｊｓｏｎフォーマットとｃｓｖフォーマットなどのファイル形式で、永続化情報ファイルとしてローカルに保存され、永続化情報テーブルに記憶される。

【0041】

図３は、図２におけるステップＳ１０１の例示的な実施方法のフローチャートである。例示的に、リアルタイム性能データは非侵入的方式で取得され、図３に示すように、ターゲットクラスタのリアルタイム性能データを取得するステップＳ１０１はステップＳ１０１１～ステップＳ１０１３を含んでもよい。

【0042】

ステップＳ１０１１において、第１の非侵入的方式によってオペレーティングシステム性能データを取得する。

【0043】

ここで、第１の非侵入的方式は、遠隔端末プロトコル（Ｔｅｌｎｅｔ）方式、セキュリティシェルプロトコル方式、セキュリティファイル転送プロトコル（Ｓｅｃｒｅｔ Ｆｉｌｅ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ又はＳＳＨ Ｆｉｌｅ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ，ＳＦＴＰ）方式、ファイル転送プロトコル（Ｆｉｌｅ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ，ＦＴＰ）方式、及びＲＥＳＴｆｕｌインターフェース方式のうちの少なくとも１つを含む。

【0044】

本開示に適用される非侵入的方式は、従来技術における侵入的方式によって特性指標情報及び性能データを収集することとは異なり、例えば、ノード間のネットワークのオン／オフデータの収集に対して、従来の方法は、各ホストにエージェントソフトウェア（Ａｇｅｎｔ）を常駐させ、エージェントソフトウェア間のリンクオン／オフ状態によってクラスタ全体のトポロジー情報を更新するというものであるが、本開示に適用される非侵入的方式を用いる場合、例えば、セキュリティシェルプロトコルのトンネルによって各ノードでシステムコマンドをそれぞれ用いてリンクの接続状態を検出することにより、当該データを収集することができる。

【0045】

ステップＳ１０１２において、第２の非侵入的方式によってＫｕｂｅｒｎｅｔｅｓ性能データを取得する。

【0046】

ここで、第２の非侵入的方式は、ＲＥＳＴｆｕｌインターフェース方式及びコマンドラインインターフェース（Ｃｏｍｍａｎｄ－Ｌｉｎｅ Ｉｎｔｅｒｆａｃｅ，ＣＬＩ）方式のうちの少なくとも１つを含む。

【0047】

ステップＳ１０１３において、データストレージボリュームからビジネス性能データを取得する。

【0048】

ここで、データストレージボリュームは、所定パスストレージボリューム（ＨｏｓｔＰａｔｈ）又は永続化ストレージボリューム（Ｐｅｒｓｉｓｔｅｎｔ Ｖｏｌｕｍｅ，ＰＶ）等を含み、データストレージボリュームからビジネス性能データを取得するステップは、即ち、対応するＫｕｂｅｒｎｅｔｅｓ仕様に基づいてデータストレージボリュームからビジネスカスタムフォーマットのビジネス性能データを遠隔で引き出すというものである。

【0049】

いくつかの実施形態において、さらに、アプリケーションログを、永続化情報ファイルから読み取るか、又はログシステム（例えばＥＬＫシステム）インターフェースから取得する。

【0050】

本開示はクラスタの容量縮小・拡張方法を提供し、当該方法は、Ｋｕｂｅｒｎｅｔｅｓクラスタに対して、そのオペレーティングシステム性能データ、Ｋｕｂｅｒｎｅｔｅｓ性能データ及びビジネス性能データを非侵入的方式で取得し、多緯度の性能データにより、デプロイメントリソース残量等のハードウェア情報による容量縮小・拡張を可能にすると同時に、ビジネス変化によるクラスタの動的容量縮小・拡張を実現できる。

【0051】

図４は、図１におけるステップＳ３の例示的な実施方法のフローチャートである。例示的に、ステップＳ３において、第１の仮想ホストをターゲットクラスタに添加するステップの前に、前記方法は、第１の仮想ホストをノードリソースプールに添加し、ノードリソースプールマネージャにおいて第１の仮想ホストの登録を行うステップＳ３０１をさらに含む。

【0052】

ここで、ＲＥＳＴｆｕｌインターフェース方式により第１の仮想ホストの登録を行う。

【0053】

ステップＳ３において、第１の仮想ホストをターゲットクラスタに添加するステップは、登録完了後にノードリソースプールマネージャにより割り当てられたノード情報に基づいて、ＲＥＳＴｆｕｌインターフェース方式又はコマンドラインインターフェース方式により第１の仮想ホストをターゲットクラスタに添加するステップＳ３０２を含んでもよい。

【0054】

ここで、ノード情報は、ノードＩＰアドレス及びノードタグなどを含んでもよい。

【0055】

ステップＳ３において、第１の仮想ホストをターゲットクラスタに添加するステップの後に、前記方法は、ノード情報を永続化し、永続化情報テーブルに記憶するステップＳ３０３をさらに含む。

【0056】

ここで、ＢｏｌｔＤＢとＳＱｌｉｔｅなどのファイルデータベースによって、又はｊｓｏｎフォーマット、ｃｓｖフォーマット及びｘｍｌフォーマットなどのファイル形式で、永続化情報ファイルとしてローカルに保存し、永続化情報テーブルに記憶する。

【0057】

図５は、本開示によるクラスタの容量縮小・拡張方法のフローチャートである。図５に示す方法は、図１に示す方法に基づいて提案されており、ステップＳ１～ステップＳ４に関する説明は、上記の説明を参照することができる。図５に示すように、ステップＳ４において、クラウドプラットフォームを制御してターゲットクラスタ内の第２の仮想ホストを削除するステップの後に、前記方法はステップＳ５とステップＳ６をさらに含んでもよい。

【0058】

ステップＳ５において、第２の仮想ホストをノードリソースプールから削除し、ノードリソースプールマネージャにおいて第２の仮想ホストをログオフする。

【0059】

ここで、ＲＥＳＴｆｕｌインターフェース方式により第２の仮想ホストのログオフを行う。

【0060】

ステップＳ６において、永続化情報テーブルから第２の仮想ホストに対応するノード情報を照会し、クラウドプラットフォームを制御して第２の仮想ホストを回収する。

【0061】

いくつかの実施形態において、永続化情報テーブルから第２の仮想ホストに対応するリソース情報をさらに照会し、クラウドプラットフォームを制御して第２の仮想ホストに対応する仮想化リソースを削除する。

【0062】

本開示は、ノードリソースプールの容量縮小・拡張を行うことに用いられるクラスタの容量縮小・拡張方法を提供する。

【0063】

以下、本開示によるクラスタの容量縮小・拡張方法について、実際の応用例を組み合わせて詳細に説明する。

【0064】

図６は、本開示によるクラスタの容量縮小・拡張システムの構造ブロック図である。図６に示すように、当該容量縮小・拡張システムは、容量縮小・拡張制御端末とクラウドプラットフォームを含む。ここで、容量縮小・拡張制御端末は、性能データ収集器、性能データメモリー、決定器、ポリシーモデル、及び実行器を含み、クラウドプラットフォームは、複数の仮想ホストを作成し管理することができ、対応するターゲットクラスタは、既存Ｋｕｂｅｒｎｅｔｅｓシステムに存在するＫｕｂｅｒｎｅｔｅｓクラスタであり、その下層がベアメタルを用い、複数のノードを含む。

【0065】

まず、性能データ収集器によりクラスタ性能データの非侵入的方式による収集を行い、性能データメモリーに転送して履歴データとして記憶される。

【0066】

図７は、本開示による性能データ収集器の構造ブロック図である。図７に示すように、性能データ収集器は、データ集約モジュール、データクリーニングモジュール、ビジネス収集モジュール、Ｋｕｂｅｒｎｅｔｅｓ収集モジュール、オペレーティングシステム収集モジュール、及び収集タスク管理モジュールを備える。

【0067】

ここで、収集タスク管理モジュールは、ユーザのリアルタイム配置又は予め設定されたタスク仕様に基づいて収集タスクを構築し、ビジネス収集モジュール、Ｋｕｂｅｒｎｅｔｅｓ収集モジュール、及びオペレーティングシステム収集モジュールの収集タスクの管理及び配布を行うように構成され、ビジネス収集モジュールは、クラスタのビジネスサービスにアクセスすることによりクラスタのサービス性能データ及びアプリケーションログを収集するように構成され、Ｋｕｂｅｒｎｅｔｅｓ収集モジュールは、クラスタのＫｕｂｅｒｎｅｔｅｓ性能データを収集するように構成され、オペレーティングシステム収集モジュールは、遠隔端末プロトコル方式（ｔｅｌｎｅｔ）、セキュリティシェルプロトコル方式（ＳＳＨ）、セキュリティファイル転送プロトコル方式（ＳＦＴＰ）又はＲＥＳＴｆｕｌインターフェース方式によりクラスタのオペレーティングシステム性能データを収集するように構成され、データクリーニングモジュールは、収集されたリアルタイム性能データをデータクリーニングするように構成され、データ集約モジュールは、クリーニング後のリアルタイム性能データを集約して性能データを生成するように構成される。

【0068】

図６に戻って参照すると、決定器は、性能データ及びポリシーモデルにより生成された容量縮小・拡張ポリシーに基づいて当該クラスタが容量縮小・拡張を行う必要があるか否かを判断し、最後に実行器は、決定器の判断結果に基づいてクラスタの容量縮小・拡張を行う。ここで、当該クラスタが容量拡張を行う必要があると判断された場合、実行器は、クラウドプラットフォームを制御して仮想ホストを作成するか、又は作成された空き仮想ホストを指定し、その後、当該仮想ホストをノードリソースプールに添加し、ノードリソースプールマネージャでの登録が完了した後、当該仮想ホストをクラスタに添加して、容量拡張を実現する。当該クラスタが容量縮小を行う必要があると判断された場合、実行器は、クラウドプラットフォームを制御して当該クラスタに最後に添加された仮想ホストを削除すると同時にノードリソースプールから削除し、ノードリソースプールマネージャにおいてログオフして、容量縮小を実現する。

【0069】

本開示は、１つ又は複数のプロセッサと、１つ又は複数のプログラムを記憶するように構成される記憶装置と、を備え、前記１つ又は複数のプログラムが前記１つ又は複数のプロセッサによって実行されると、前記１つ又は複数のプロセッサに、上記実施形態のいずれかの方法を実施させる容量縮小・拡張制御端末をさらに提供する。

【0070】

本開示は、コンピュータプログラムが記憶されているコンピュータ可読媒体であって、前記プログラムがプロセッサによって実行されると、上記実施形態のいずれかの方法を実施するコンピュータ可読媒体をさらに提供する。

【0071】

本開示は、容量縮小・拡張制御端末とクラウドプラットフォームを備えるクラスタの容量縮小・拡張システムであって、容量縮小・拡張制御端末は上記実施形態における容量縮小・拡張制御端末を用いるクラスタの容量縮小・拡張システムをさらに提供する。

【0072】

本開示は、クラスタの容量縮小・拡張方法、容量縮小・拡張制御端末、コンピュータ可読媒体、及びクラスタの容量縮小・拡張システムを提供し、当該クラスタの容量縮小・拡張方法は容量縮小・拡張制御端末に適用可能であり、取得した性能データに基づいて容量縮小・拡張判断を行い、仮想化能力を用いてクラウドプラットフォームで対応するノードを作成又は削除することにより、クラスタの動的容量縮小・拡張を実現し、クラスタがビジネス変化に基づいて適応的容量縮小・拡張を行うことができない問題を解決し、当該方法は、ベアメタルを用いた、動的容量拡張機能のない既存システムを用いて対応する容量縮小・拡張を行うことにも適用可能である。

【0073】

当業者は、上記に開示されている方法のステップの全て又はいくつか、装置の機能モジュール／ユニットが、ソフトウェア、ファームウェア、ハードウェア、及びそれらの適切な組み合わせとして実施され得ることを理解するであろう。ハードウェア実施形態において、上記の説明で言及された機能モジュール／ユニット間の区分は、必ずしも物理的構成要素の区分に対応しない。例えば、１つの物理的構成要素は、複数の機能を有してもよく、或いは１つの機能又はステップは、いくつかの物理的構成要素によって協働して実行されてもよい。いくつかの物理的構成要素又は全ての物理的構成要素は、中央プロセッサ、デジタル信号プロセッサ、若しくはマイクロプロセッサなどのプロセッサによって実行されるソフトウェアとして実施されてもよく、又はハードウェアとして実施されてもよく、又は専用集積回路などの集積回路として実施されてもよい。このようなソフトウェアは、コンピュータ記憶媒体（又は非一時的媒体）及び通信媒体（又は一時的媒体）を含み得るコンピュータ可読媒体上に配置されてもよい。当業者によく知られているように、コンピュータ記憶媒体という用語は、コンピュータ可読命令、データ構造、プログラムモジュール、又は他のデータなどの情報を記憶するための任意の方法又は技術で実施される揮発性及び不揮発性、取り外し可能及び取り外し不可能な媒体を含む。コンピュータ記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ若しくは他のメモリ技術、ＣＤ－ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）若しくは他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ若しくは他の磁気記憶装置、又は所望の情報を記憶するために使用され得、コンピュータによってアクセスされ得る任意の他の媒体を含むが、これらに限定されない。また、通信媒体は、一般に、コンピュータ可読命令、データ構造、プログラムモジュール、又は搬送波若しくは他の伝送機構などの変調データ信号内の他のデータを含み、任意の情報配信媒体を含み得ることが当業者に知られている。

【0074】

本明細書において例示的な実施例が開示されており、具体的な用語が用いられているが、それらは、一般的な例示的な意味でのみ用いられており、一般的な例示的な意味でのみ解釈されるべきであり、限定を目的としたものではない。いくつかの例では、特定の実施例に関連して説明される特徴、特性、及び／又は要素は、特に明記しない限り、単独で使用されてもよく、又は他の実施例に関連して説明される特徴、特性、及び／又は要素と組み合わせて用いられてもよいことは、当業者に明らかであろう。よって、添付の特許請求の範囲に記載された本開示の範囲から逸脱することなく、様々な形態及び詳細における変更が行われ得ることを当業者は理解するであろう。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】