特開 2024-158090 ストレージシステム及びストレージシステムの制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024158090

(43)【公開日】2024-11-08

(54)【発明の名称】ストレージシステム及びストレージシステムの制御方法

(51)【国際特許分類】

   G06F 11/34 20060101AFI20241031BHJP

   G06F 13/10 20060101ALI20241031BHJP

   G06F 9/48 20060101ALI20241031BHJP

   H04L 67/1097 20220101ALI20241031BHJP

   G06F 3/06 20060101ALI20241031BHJP

【ＦＩ】

G06F11/34 133

G06F13/10 340A

G06F9/48 300G

H04L67/1097

G06F3/06 301A

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023072959

(22)【出願日】2023-04-27

(71)【出願人】

【識別番号】524132520

【氏名又は名称】日立ヴァンタラ株式会社

(74)【代理人】

【識別番号】110002365

【氏名又は名称】弁理士法人サンネクスト国際特許事務所

(72)【発明者】

【氏名】細谷 睦

(72)【発明者】

【氏名】吉原 朋宏

(72)【発明者】

【氏名】大平 良徳

(72)【発明者】

【氏名】下薗 紀夫

【テーマコード（参考）】

5B042

【Ｆターム（参考）】

5B042GA34

5B042JJ06

5B042MA08

5B042MA14

5B042MC29

(57)【要約】

【課題】ストレージコントローラのリソースの割り当てを適切に行う。
【解決手段】ストレージシステムのプロセッサは、複数のコントローラノードの負荷の時系列データに基づいて、複数のコントローラノードの将来の一定期間にわたる負荷の変動の予測である長期負荷変動予測を算出する。そして長期負荷変動予測と、複数のコントローラノードの負荷とエネルギー効率の関係を表す電力性能モデルから決まる負荷の閾値とに基づいて、コントローラノードの増設又は減設を完了する増減設完了目標時刻を算出する。そして増設又は減設に伴って複数のドライブノード間でデータを移動させるリバランス処理におけるデータの移動量と、データの移動のパスの帯域情報とに基づいて、リバランス処理にかかるリバランス時間を算出する。そして増減設完了目標時刻とリバランス時間とからリバランス処理の開始時刻を算出し、開始時刻にリバランス処理を開始する。
【選択図】図５

【特許請求の範囲】

【請求項1】

複数のドライブノードと、上位装置から前記複数のドライブノードに対するデータのＩ／Ｏを制御する複数のコントローラノードと、プロセッサと、を有するストレージシステムであって、
前記プロセッサは、
前記複数のコントローラノードの負荷の時系列データに基づいて、該複数のコントローラノードの将来の一定期間にわたる負荷の変動の予測である長期負荷変動予測を算出し、
前記長期負荷変動予測と、前記複数のコントローラノードの負荷とエネルギー効率の関係を表す電力性能モデルから決まる負荷の閾値と、に基づいて、該複数のコントローラノードのうちの稼働中のコントローラノードの増設又は減設を完了する増減設完了目標時刻を算出し、
前記増設又は前記減設に伴って前記複数のドライブノード間でデータを移動させるリバランス処理における該データの移動量と、該データの移動のパスの帯域情報と、に基づいて、該リバランス処理にかかるリバランス時間を算出し、
前記増減設完了目標時刻と前記リバランス時間とから、前記リバランス処理の開始時刻を算出し、
前記開始時刻に前記リバランス処理を開始する
ことを特徴とするストレージシステム。

【請求項2】

請求項１に記載のストレージシステムであって、
前記プロセッサは、
前記リバランス処理を開始する際に、該リバランス処理における前記データの移動にかかるコストと、前記増設又は前記減設を実施した場合の所定期間における前記複数のコントローラノードの稼働に係るコストと、を比較し、
前記コストの比較結果に基づいて、前記リバランス処理を開始する
ことを特徴とするストレージシステム。

【請求項3】

請求項１に記載のストレージシステムであって、
前記プロセッサは、
前記リバランス処理が完了したか否かを判定し、
前記リバランス処理が終了したと判定される場合に、前記コントローラノードの前記増設又は前記減設を実施し、
前記リバランス処理が終了したと判定されない場合に、前記長期負荷変動予測を修正し、修正した前記長期負荷変動予測に基づいて前記リバランス処理を実施する
ことを特徴とするストレージシステム。

【請求項4】

請求項１に記載のストレージシステムであって、
前記ドライブノードと前記コントローラノードが独立したノードであり、
前記増設又は前記減設に伴って前記複数のドライブノード間で移動させる前記データは、実体データの管理に用いられるメタデータである
ことを特徴とするストレージシステム。

【請求項5】

請求項１に記載のストレージシステムであって、
前記ドライブノードと前記コントローラノードが一体化してストレージノードが構成され、
前記増設又は前記減設に伴って前記複数のドライブノード間で移動させる前記データは、実体データと該実体データの管理に用いられるメタデータとである
ことを特徴とするストレージシステム。

【請求項6】

請求項１に記載のストレージシステムであって、
前記プロセッサは、
前記長期負荷変動予測において所定の短期で変動する負荷が許容値以下となる期間のみで前記リバランス処理を実施する
ことを特徴とするストレージシステム。

【請求項7】

請求項１に記載のストレージシステムであって、
前記プロセッサは、
前記長期負荷変動予測と、該長期負荷変動予測において所定の短期で変動する負荷と、に基づいて、前記増減設完了目標時刻を算出する
ことを特徴とするストレージシステム。

【請求項8】

請求項１に記載のストレージシステムであって、
前記負荷の閾値は、前記複数のコントローラノードの省電力性及び性能の何れを優先するかに応じて、外部から調整可能に構成されている
ことを特徴とするストレージシステム。

【請求項9】

請求項１～８の何れか一項に記載のストレージシステムと、
前記複数のストレージシステムを接続するクラスタ間スイッチと、を有し、
前記複数のストレージシステムの各ストレージシステム内において前記リバランス処理並びに前記増設又は前記減設を実施すると共に、前記複数のストレージシステム間で前記リバランス処理並びに前記増設又は前記減設を実施する
ことを特徴とするストレージシステム。

【請求項10】

複数のドライブノードと、上位装置から前記複数のドライブノードに対するデータのＩ／Ｏを制御する複数のコントローラノードと、プロセッサと、を有するストレージシステムが実行するストレージシステムの制御方法であって、
前記プロセッサが、
前記複数のコントローラノードの負荷の時系列データに基づいて、該複数のコントローラノードの将来の一定期間にわたる負荷の変動の予測である長期負荷変動予測を算出し、
前記長期負荷変動予測と、前記複数のコントローラノードの負荷とエネルギー効率の関係を表す電力性能モデルから決まる負荷の閾値と、に基づいて、該複数のコントローラノードのうちの稼働中のコントローラノードの増設又は減設を完了する増減設完了目標時刻を算出し、
前記増設又は前記減設に伴って前記複数のドライブノード間でデータを移動させるリバランス処理における該データの移動量と、該データの移動のパスの帯域情報と、に基づいて、該リバランス処理にかかるリバランス時間を算出し、
前記増減設完了目標時刻と前記リバランス時間とから、前記リバランス処理の開始時刻を算出し、
前記開始時刻に前記リバランス処理を開始する
各処理を含んだことを特徴とするストレージシステムの制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ストレージシステム及びストレージシステムの制御方法に関する。

【背景技術】

【0002】

持続可能社会の実現を目指して、脱炭素化への取り組みが推進される中で、ＩＴインフラも省電力化が社会的要請となっている。ＩＴインフラの省電力化の基本は、計算に必要十分なリソースを適切なタイミングで割り当てることである。リソースの割り当てには、その準備に一定の時間を要するので、適切なタイミングで適量のリソースを割り当てることが重要になってくる。

【0003】

そこでリソース割り当ての適正なタイミングを知るために、履歴情報を用いて予測が行われることがある。この先行技術として、例えば特許文献１には、ストレージシステムにおける将来の時点でのデータの使用容量を予測し、予測された使用容量と現在割り当てられている記憶容量との差分を計算し、計算結果に基づいてデータ格納領域の記憶容量の増減設を実施する技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】国際公開第２０１１／０９２７３９号

【発明の概要】

【発明が解決しようとする課題】

【0005】

ストレージシステムは、データ格納領域と、データ格納領域を制御するストレージコントローラとを含んで構成される。上述の従来技術は、データ格納領域の所要量を予測し、予測結果に基づいてデータ格納領域をリソース割り当ての対象とする技術を開示するものである。

【0006】

しかし上述の従来技術は、あくまでデータ格納領域をリソース割り当ての対象とし、ストレージコントローラをリソース割り当ての対象とするものではないため、適切なタイミングで適量のストレージコントローラのリソースを割り当てることはできない。

【0007】

本発明は、上記を考慮してなされたものであり、ストレージコントローラのリソースの割り当てを適切に行うことを目的とする。

【課題を解決するための手段】

【0008】

上記課題を解決する一態様として、複数のドライブノードと、上位装置から前記複数のドライブノードに対するデータのＩ／Ｏを制御する複数のコントローラノードと、プロセッサと、を有するストレージシステムであって、前記プロセッサは、前記複数のコントローラノードの負荷の時系列データに基づいて、該複数のコントローラノードの将来の一定期間にわたる負荷の変動の予測である長期負荷変動予測を算出し、前記長期負荷変動予測と、前記複数のコントローラノードの負荷とエネルギー効率の関係を表す電力性能モデルから決まる負荷の閾値と、に基づいて、該複数のコントローラノードのうちの稼働中のコントローラノードの増設又は減設を完了する増減設完了目標時刻を算出し、前記増設又は前記減設に伴って前記複数のドライブノード間でデータを移動させるリバランス処理における該データの移動量と、該データの移動のパスの帯域情報と、に基づいて、該リバランス処理にかかるリバランス時間を算出し、前記増減設完了目標時刻と前記リバランス時間とから、前記リバランス処理の開始時刻を算出し、前記開始時刻に前記リバランス処理を開始することを特徴とする。

【発明の効果】

【0009】

本発明によれば、ストレージコントローラのリソースの割り当てを適切に行うことで省電力化が実現できる。

【図面の簡単な説明】

【0010】

【図1】実施形態１に係るストレージシステムの構成を示す図。

【図2】実施形態１に係るコントローラノードの構成を示す図。

【図3】実施形態１に係る管理サーバの構成を示す図。

【図4A】実施形態１に係るリバランス計画部の構成と、負荷減少時のリバランス制御の概要を示す図。

【図4B】実施形態１に係るリバランス計画部の構成と、負荷増加時のリバランス制御の概要を示す図。

【図5】実施形態１に係るリバランス及び増減設処理を示すフローチャート。

【図6A】実施形態１に係る電力性能モデル（負荷減少時）を示す図。

【図6B】実施形態１に係る電力性能モデル（負荷増大時）を示す図。

【図7】実施形態１に係るリバランスの動作説明図。

【図8】実施形態２に係るストレージシステムの構成を示す図。

【図9】実施形態２に係るストレージノードの構成を示す図。

【図10】実施形態２に係るリバランスの動作説明図。

【図11】実施形態３に係る複数のストレージシステムを含んで構成されるストレージシステムの構成を示す図。

【図12】実施形態４に係るリバランスを含めたシステム負荷をシステム負荷許容値以下に抑える負荷制御の説明図。

【図13】実施形態５に係る長期負荷変動予測から短期負荷変動幅を除外する負荷制御の説明図。

【図14】コンピュータのハードウェア図。

【発明を実施するための形態】

【0011】

以下、本発明の実施形態を図面に基づいて詳細に説明する。本実施形態において、同一の構成には原則として同一の符号を付け、繰り返しの説明は省略する。なお、本実施形態は本発明を実現するための一例に過ぎず、本発明の技術的範囲を限定するものではない。

【0012】

以下の説明では、プログラムが行う処理について説明する場合がある。コンピュータは、プロセッサ（例えばＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit））により、主記憶装置のメモリ等を用いながら、プログラムで定められた処理を行う。そのため、プログラムを実行して行う処理の主体を、プロセッサとしてもよい。プロセッサがプログラムを実行することで、処理を行う機能部が実現される。

【0013】

同様に、プログラムを実行して行う処理の主体が、プロセッサを有するコントローラ、装置、システム、計算機、ノードであってもよい。プログラムを実行して行う処理の主体は、演算部であればよく、特定の処理を行う専用回路を含んでいてもよい。専用回路は、例えばＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）等である。

【0014】

以下の説明では、プログラムは、プログラムソースから計算機にインストールされてもよい。プログラムソースは、例えば、プログラム配布サーバ又は計算機が読取り可能な非一時的な記憶メディアであってもよい。プログラムソースがプログラム配布サーバの場合、プログラム配布サーバはプロセッサと配布対象のプログラムを記憶する記憶資源（ストレージ）を含み、プログラム配布サーバのプロセッサが配布対象のプログラムを他の計算機に配布してもよい。また、実施形態において、２以上のプログラムが１つのプログラムとして実現されてもよいし、１つのプログラムが２以上のプログラムとして実現されてもよい。

【0015】

［実施形態１］
（実施形態１に係るストレージシステム１Ｓの構成）
図１は、実施形態１に係るストレージシステム１Ｓの構成を示す図である。ストレージシステム１Ｓは、ストレージコントローラ（コントローラノード）とドライブノードが分離した分離型ストレージシステムである。

【0016】

ストレージシステム１Ｓは、複数のコンピュートノード４００、複数のコントローラノード１００、及び複数のドライブノード２００を有する。ストレージシステム１Ｓでは、これらがコントローラノード間ネットワークスイッチ３００及びコンピュートノード間ネットワークスイッチ３２０を介して接続されている。

【0017】

コンピュートノード４００で実行される業務プログラムから発行されるアクセス要求が、コントローラノード１００の制御下でドライブノード２００内のデータに対して処理される。システム管理のために、管理サーバ４１０及びシステム環境外部サーバ４２０が管理ネットワークスイッチ３３０を介して接続されている。システム可用性を確保するために、全てのノードとパスが冗長化されているが、一部図示を省略している。

【0018】

（実施形態１に係るコントローラノード１００の構成）
図２は、実施形態１に係るコントローラノード１００の構成を示す図である。

【0019】

コントローラノード１００は、プロセッサ１１０、メモリ１１５、管理ポート１２０、フロントエンドポート１３０、及びバックエンドポート１４０を有する。コントローラノード１００は、コンピュートノード４００からの指示に従って、データの入出力処理や、データ暗号化・データ圧縮・スナップショット作成・データ仮想化などの機能を提供する。コントローラノード１００は、コンピュートノード４００とはフロントエンドポート１３０を介して、ドライブノード２００とはバックエンドポート１４０を介して、管理サーバ４１０とは管理ポート１２０を介して接続される。

【0020】

プロセッサ１１０は、フロントエンドポートスイッチ１６０及びフロントエンドポート１３０を介してデータを入出力する。またプロセッサ１１０は、バックエンドポートスイッチ１７０及びバックエンドポート１４０を介してデータを入出力する。

【0021】

（実施形態１に係る管理サーバ４１０の構成）
図３は、実施形態１に係る管理サーバ４１０の構成を示す図である。

【0022】

管理サーバ４１０は、管理ネットワークスイッチ３３０及び管理ネットワーク（不図示）を介してストレージシステム１Ｓと接続される。図３では、本実施形態と関連する管理サーバ４１０の機能構成のみを図示及び説明し、その他の機能構成の図示及び説明を省略する。

【0023】

管理サーバ４１０は、長期負荷変動予測部４１１、リバランス計画部４１２、リバランス実施部４１３、増減設実施部４１４、通信部４１５、及び電力性能モデル２０を含んで構成される。また管理サーバ４１０は、オペレータに情報を表示する表示部、及びオペレータによる情報入力を受け付けるキーボード等の入力部を有する。電力性能モデル２０は、所定の記憶領域に格納されている。電力性能モデル２０は、後述のコントローラ減設閾値３Ａ（システム負荷Ｌ１～Ｌ３）、及びコントローラ増設閾値３Ｂ（システム負荷Ｌ４～Ｌ６）等を、表示部及び入力部を介してオペレータによって編集可能である。

【0024】

通信部４１５は、管理サーバ４１０が管理ネットワークスイッチ３３０を介してコントローラノード１００、ドライブノード２００、コンピュートノード４００、ストレージノード５００と通信を行うための通信インタフェースである。

【0025】

長期負荷変動予測部４１１は、一定期間（例えば数週間）のスパンでのコントローラノード１００に対する負荷（以下「コントローラ負荷」と呼ぶ）の変動を見た場合の変動量のトレンドを予測する。長期負荷変動予測部４１１は、トレンドが一定と見なせる状態を一定時間継続した場合に、コントローラ負荷に長期的な観点での負荷の変動を表す長期負荷変動があると判定する。このように長期負荷変動予測部４１１は、一定の長期スパンで見たコントローラ負荷が増加トレンドにあるか、又は減少トレンドにあるかを予測する。

【0026】

なお管理サーバ４１０の代わりに、各コントローラノード１００の複数のプロセッサ１１０が分散協調処理によって、図５のリバランス及び増減設処理を実行してもよい。すなわちリバランス及び増減設処理は、管理サーバ４１０のプロセッサ１００１又はコントローラノード１００のプロセッサ１１０によって実行される。

【0027】

（リバランス計画部４１２の構成）
先ず負荷減少時のリバランス制御を説明する。図４Ａは、実施形態１に係るリバランス計画部４１２の構成と、負荷減少時のリバランス制御の概要を示す図である。

【0028】

リバランス計画部４１２は、リバランス時間予測部１１及びリバランス開始時刻予測部１２を有する。またリバランス計画部４１２は、制約条件１３、データ移動量１４、及び帯域情報１５の各データを記憶領域に格納している。

【0029】

コントローラノード１００は、自装置のプロセッサ１１０の処理負荷（コントローラ負荷）を負荷時系列データ１として常時計測し蓄積している。リバランス計画部４１２は、負荷時系列データ１を分析することで、長期負荷変動予測２を算出する。

【0030】

コントローラ負荷は、ストレージシステム１Ｓに対するホスト等の上位装置からの要求に基づく業務量に応じて変動する。長期負荷変動予測２は、将来の一定期間（例えば数週間）継続すると予測されるコントローラ負荷の変動トレンドの予測である。

【0031】

１台のコントローラノード１００でカバーできるコントローラ負荷の変動量には限界がある。このため長期負荷変動予測２がコントローラ増減設閾値（コントローラ減設閾値３Ａ又はコントローラ増設閾値３Ｂ）を超えると、稼動させるコントローラの増減設を行う必要がある。不要なリソースを遅延なく開放し、必要十分なリソース割り当てを維持するために、長期負荷変動予測２がコントローラ増減設閾値を超えるタイミングでコントローラ増減設を完了させることが目標となる。

【0032】

コントローラ増減設閾値は、図４Ａのグラフのように負荷時系列データ１が減少していく場合はコントローラ減設閾値３Ａになり、図４Ｂのグラフのように負荷時系列データ１が増加していく場合はコントローラ増設閾値３Ｂになる。コントローラ減設閾値３Ａとコントローラ増設閾値３Ｂは、一般的には異なる。

【0033】

リバランス計画部４１２は、長期負荷変動予測２がコントローラ増減設閾値（コントローラ減設閾値３Ａ又はコントローラ増設閾値３Ｂ）を超えるか否かを判定する。そしてリバランス計画部４１２は、長期負荷変動予測２がコントローラ減設閾値３Ａを超えるタイミングを、コントローラノード１００の減設を完了させる目標時刻（減設完了目標時刻ｔ１２）とする。減設完了目標時刻ｔ１２は、長期負荷変動予測２とコントローラ減設閾値３Ａの交点から計算できる。

【0034】

一方、コントローラノード１００の減設を行うためには、コントローラノード１００が管轄しているデータを別のコントローラノード１００の管轄下に移行する必要がある。これをコントローラのリバランスと呼ぶ。リバランスには、一般的には実データの移動やメタデータの移動が含まれる。実データは、ストレージシステムの記憶領域に格納される実体データである。メタデータは、実体データの管理に用いられるデータである。本実施形態ではドライブノード２００は増減設されないので、実データの移動は発生せずメタデータの移動のみが発生する。

【0035】

コントローラノード１００のリバランスにかかるリバランス時間４Ａは、制約条件１３、リバランスの際のデータ移動量１４、及びこのデータ移動に使われるパスの帯域情報１５に依存する。制約条件１３には、例えばデータの移動可能な時間帯等の時間的制約やデータの移動順序等の物理的制約がある。リバランス時間４Ａは、制約条件１３、データ移動量１４、及び帯域情報１５以外の情報にも影響されてもよい。

【0036】

リバランス時間予測部１１は、制約条件１３、データ移動量１４、及び帯域情報１５に基づいてリバランス時間４Ａを予測する。リバランス開始時刻予測部１２は、減設完了目標時刻ｔ１２からリバランス時間４Ａを減じて算出された時刻以前に、リバランス開始時刻ｔ１１を設定する。このようにしてリバランス計画部４１２は、リバランス開始時刻ｔ１１、リバランス時間４Ａ、及び減設完了目標時刻ｔ１２を含むリバランス計画を作成する。

【0037】

次に負荷増加時のリバランス制御を説明する。図４Ｂは、実施形態１に係るリバランス計画部４１２の構成と、負荷増加時のリバランス制御の概要を示す図である。

【0038】

長期負荷変動予測２がコントローラ増設閾値３Ｂを超えるタイミングを、コントローラノード１００の増設を完了させる目標時刻（増設完了目標時刻ｔ２２）とする。増設完了目標時刻ｔ２２は、長期負荷変動予測２とコントローラ増設閾値３Ｂの交点から計算できる。

【0039】

コントローラノード１００のリバランスにかかるリバランス時間４Ｂは、制約条件１３、リバランスの際のデータ移動量１４、及びこのデータ移動に使われる帯域情報１５に依存する。リバランス時間４Ｂは、制約条件１３、データ移動量１４、及び帯域情報１５以外の情報にも影響されてもよい。

【0040】

リバランス時間予測部１１は、制約条件１３、データ移動量１４、及び帯域情報１５に基づいてリバランス時間４Ｂを予測する。リバランス開始時刻予測部１２は、増設完了目標時刻ｔ２２からリバランス時間４Ｂを減じて算出された時刻以前に、リバランス開始時刻ｔ２１を設定する。

【0041】

図３の説明に戻る。リバランス実施部４１３は、リバランス計画部４１２によって作成されたリバランス計画に従ってリバランスを実施するように、コントローラノード１００に対して指示を送信する。リバランス実施部４１３は、リバランスが終了すると、コントローラノード１００からリバランスの完了通知を受信する。

【0042】

増減設実施部４１４は、リバランス実施部４１３がリバランスの完了通知を受信すると、コントローラノード１００の増減設を実施するように各コントローラノード１００に対して指示を送信する。増減設実施部４１４は、コントローラノード１００の増減設が終了すると、コントローラノード１００から増減設の完了通知を受信する。

【0043】

（実施形態に係るリバランス及び増減設処理）
図５は、実施形態１に係るリバランス及び増減設処理を示すフローチャートである。実施形態に係るリバランス及び増減設処理は、管理サーバ４１０によって定期的に実行される。

【0044】

先ずステップＳ１１では、長期負荷変動予測部４１１は、負荷時系列データ１に基づいて長期負荷変動予測２を算出する。次にステップＳ１２では、長期負荷変動予測部４１１は、コントローラノード１００の増減設の実施の判断を実施する。具体的には長期負荷変動予測部４１１は、コントローラの長期負荷変動予測２のトレンドが一定時間内にコントローラ増減設閾値を超える見込みかどうかの判断を行う。長期負荷変動予測部４１１は、長期負荷変動予測２のトレンドカーブが一定時間内にコントローラ増減設閾値を超える見込みの場合（ステップＳ１２ＹＥＳ）に増減設が必要と判断してステップＳ１３に処理を移す。一方長期負荷変動予測部４１１は、長期負荷変動予測２のトレンドカーブが一定時間内にコントローラ増減設閾値を超えない見込みの場合（ステップＳ１２ＮＯ）に増減設が不要と判断して本リバランス及び増減設処理を終了する。

【0045】

ステップＳ１３ではリバランス計画部４１２は、ステップＳ１３でトレンドカーブが一定時間内にコントローラ増減設閾値を超えると判定された長期負荷変動予測２の最新情報と、電力性能モデル２０とに基づいて、リバランスの計画を作成する。その計画の際、必要となるコントローラ増減設閾値は、電力性能モデル２０により与えられる。電力性能モデル２０の詳細は、図６Ａ及び図６Ｂを参照して後述する。

【0046】

次にステップＳ１４では、リバランス計画部４１２は、リバランスを継続するか判定する。リバランスには一定以上の時間を要するため、長期負荷変動予測２の減少又は増加のトレンドに変化がなく、ステップＳ１３で作成されたリバランス計画を計画通り実施してよいかを定期的に確認する必要がある。また例えばコントローラノード１００の増減設のコスト（リバランスのデータ移動にかかる電力コスト等）が、コントローラノード１００の増減設後の所定期間の稼働コストに見合うかを確認してもよい。例えばコントローラノード１００の減設のコストが、減設後のコントローラノード１００の運用コストの削減量よりも大きい場合は、コストが見合わないため、コントローラノード１００の減設を実施すべきではない。またコントローラノード１００を増設しても、コントローラ負荷が想定よりも伸びない場合は、コストが見合わないため、コントローラノード１００の増設を実施すべきではない。このようにコストの比較結果に基づいて、コントローラノード１００の減設又は増設を実施するかを決定する。

【0047】

リバランス計画部４１２は、リバランスを継続する場合（ステップＳ１４ＹＥＳ）にステップＳ１５に処理を移し、リバランスを中断する場合（ステップＳ１４ＮＯ）に本リバランス及び増減設処理を終了する。

【0048】

ステップＳ１５では、リバランス実施部４１３は、リバランス処理として、実データ及び／又はメタデータの移動を実施するように、コントローラノード１００に対して指示を送信する。

【0049】

次にステップＳ１６では、リバランス実施部４１３は、コントローラノード１００からリバランスの完了通知を受信したかのリバランス完了を判定する。ステップＳ１６は、ステップＳ１５の実行後所定時間が経過後に実行される。

【0050】

リバランス実施部４１３は、リバランス完了の場合（ステップＳ１６ＹＥＳ）にはステップＳ１７に処理を移し、リバランス未完了の場合（ステップＳ１６ＮＯ）にはステップＳ１３に処理を移す。ステップＳ１６から処理を移されたステップＳ１３では、リバランス計画部４１２は、長期負荷変動予測２の最新情報と、電力性能モデル２０とに基づいて、リバランス計画を修正し、修正したリバランス計画に基づいてステップＳ１４～Ｓ１６を実行する。ステップＳ１６からステップＳ１３の処理の流れでリバランス計画が修正されることで、ステップＳ１３で作成したリバランス計画と長期負荷変動予測２の現状が大きく乖離するという状況を回避できる。

【0051】

ステップＳ１７では、増減設実施部４１４は、コントローラノード１００の増減設を実施するように、コントローラノード１００に対して指示を送信する。増減設実施部４１４は、コントローラノード１００の増減設が終了すると、コントローラノード１００から増減設の完了通知を受信する。

【0052】

上述の通り、コントローラの増減設に必要なリバランスをコントローラ増減設完了目標時刻に合わせて開始することで、必要なタイミングで遅延なくコントローラ増減設を実施できる。

【0053】

（実施形態に係る電力性能モデル２０）
次に実施形態に係る電力性能モデル２０を説明する。図６Ａは、実施形態１に係る電力性能モデル２０（負荷減少時）を示す図である。図６Ａは、実施形態１に係る電力性能モデル２０（負荷増大時）を示す図である。図６Ａ及び図６Ｂでは、横軸がシステム負荷（コントローラ負荷）のスケールを表し、縦軸が電力又はエネルギー効率のスケールを表す。図６Ａ及び図６Ｂでは、棒グラフが各負荷時の電力を表し、折れ線グラフが各負荷時のエネルギー効率を表す。

【0054】

図６Ａ及び図６Ｂの例では、コントローラノード１００が１～４個の間で可変であり、コントローラ負荷減少時及び負荷増大時のそれぞれにおいて各３つずつの閾値が与えられている。閾値は、可変とするコントローラノード１００の数に応じて決まる。

【0055】

電力性能モデル２０は、コントローラノード１００のコントローラ負荷に応じて、コントローラ減設閾値３Ａ及びコントローラ増設閾値３Ｂが調整される。これにより、コントローラノード１００の性能と電力効率とのトレードオフを、システム要件に合わせて最適化する機能を提供する。

【0056】

図６Ａに示すように、コントローラの負荷減少時の電力性能モデル２０では、システム負荷Ｌ１、Ｌ２、Ｌ３のように比較的広い間隔でコントローラ数が減少するようにコントローラ減設閾値３Ａが設定されている。コントローラ数の減少に応じてシステム電力は減少する。このようにコントローラの負荷減少に対しては、コントローラの性能を比較的緩やかに縮小させる。

【0057】

コントローラの負荷減少に対しては、コントローラの性能の縮小を、負荷拡大時と比較して早めのタイミングで開始する。これは、コントローラの負荷が高い方がエネルギー効率は良い一方、レスポンス性能が悪いためである。

【0058】

一方図６Ｂに示すように、コントローラの負荷増大時の電力性能モデル２０では、システム負荷Ｌ４、Ｌ５、Ｌ６のようにシステム負荷Ｌ１、Ｌ２、Ｌ３と比較して狭い間隔でコントローラ数が増加するようにコントローラ増設閾値３Ｂが設定されている。コントローラ数の増加に応じてシステム電力は増加する。このようにコントローラの負荷増加に対しては、コントローラの性能を、負荷減少時と比較して機敏に拡大する。

【0059】

このようにコントローラ減設閾値３Ａ及びコントローラ増設閾値３Ｂを調整することで、省電力性と性能とのトレードオフを調整することができる。すなわち負荷上昇局面で遅延なく必要な性能を提供し、負荷下降局面で遅延なく不要なリソースを開放し省電力化を実現できる。コントローラ減設閾値３Ａ及びコントローラ増設閾値３Ｂは、電力構成比により調整してもよい。再生可能エネルギーの割合が多い場合には、ＣＯ２排出量が小さいため、コントローラ減設閾値３Ａ及びコントローラ増設閾値３Ｂを低く設定し、増設しやすく減設しにくくし、性能に余裕を持たせることができる。電力性能モデル２０のコントローラ増減設閾値は、上位装置の業務要件に応じて、システム設計時や運用時に変更できるようにしてもよい。

【0060】

（実施形態１に係るリバランス）
図７は、実施形態１に係るリバランスの動作説明図である。

【0061】

コントローラノード１００で処理される入出力の履歴は、負荷時系列データ１として管理サーバ４１０に集められる。管理サーバ４１０は、収集した負荷時系列データ１から長期負荷変動予測２を算出し、予測型リバランスを計画する（ステップＳ１３（図５））。その結果は、各コントローラノード１００に送られ、予測型リバランスが実行される（ステップＳ１５（図５））。

【0062】

図７のシステム構成では、データ格納領域であるドライブノード２００がコントローラノード１００と分離されてコントローラノード間ネットワークスイッチ３００で接続されている。そのため、ドライブノード２００を管轄するコントローラノード１００の変更に伴うリバランス時に、実データの移動は必要ないが、実データの管理情報であるメタデータの移動は必要となる。必要なメタデータの移動などが行われた後に、コントローラノード１００へのアクセスパスの切り替えが行われ、コントローラノードの増減設が完了する。

【0063】

上述のように、長期負荷変動予測２をもとに、先行的にメタデータ移動を完了させることで、必要なタイミングで遅延なくコントローラの増減設を実施することが可能となる。

【0064】

（実施形態１の効果）
上述の実施形態１では、長期負荷変動予測に基づいて、メタデータ等のデータ移動といったストレージコントローラの増減設に必要なオーバーヘッド処理を先行実施する。よって必要なタイミングで遅延なくコントローラ増減設を実施し、ストレージシステムのオートスケールを実施することができる。またストレージコントローラの増減設を負荷変動に追随して遅延なく実施できるので、必要十分なリソースを継続的に提供できるとともに、不要なリソース解放が迅速に行われ省電力化が実現できる。

【0065】

［実施形態２］
図８は、実施形態２に係るストレージシステム２Ｓの構成を示す図である。ストレージシステム２Ｓは、ストレージコントローラとドライブノードが一体化したストレージノードを含んで構成される。実施形態２では、ストレージシステム２Ｓにおけるストレージノードの増減設処理は、実施形態１においてコントローラノードをストレージノードに置き換えた処理と同様であり、以下では差分についてのみ説明する。

【0066】

ストレージシステム２Ｓは、複数のコンピュートノード４００及び複数のストレージノード５００がストレージノード間ネットワークスイッチ３１０及びコンピュートノード間ネットワークスイッチ３２０を介して接続されている。またシステム管理のために、管理サーバ４１０及びシステム環境外部サーバ４２０が管理ネットワークスイッチ３３０を介して接続されている。システム可用性を確保するために、全てのノードとパスが冗長化されているが、一部図示を省略している。

【0067】

（実施形態２に係るストレージノード５００の構成）
図９は、実施形態２に係るストレージノード５００の構成を示す図である。ストレージノード５００は、コントローラノード１００とドライブノード２１０とが一体となった装置である。

【0068】

（実施形態２に係るリバランス）
図１０は、実施形態２に係るリバランスの動作説明図である。

【0069】

ストレージノード５００内のコントローラノード１００で処理される入出力の履歴は、負荷時系列データ１として管理サーバ４１０に集められる。管理サーバ４１０は、収集した負荷時系列データ１から長期負荷変動予測２を算出し、予測型リバランスを計画する（ステップＳ１３（図５））。その結果は、コントローラノード１００に送られて、予測型リバランスが実行される（ステップＳ１５（図５））。

【0070】

図１０のシステム構成では、データ格納領域であるドライブノード２１０とコントローラノード１００とがストレージノード５００内で一体になっている。そのため、コントローラの増減設に伴うリバランス時に実データの移動が必要となる。必要な実データ（と付随するメタデータ）の移動などが完了後に、ストレージノード５００へのアクセスパスが切り替えられ、ストレージノード５００の増減設が完了する。

【0071】

すなわち図１０に示すように、１コントローラ構成、２コントローラ構成、３コントローラ構成、及び４コントローラ構成の各状態間の遷移は、ストレージノード５００単位で行われる。これはドライブノード２１０とコントローラノード１００とがストレージノード５００内で一体になっているためである。よってストレージノード５００の増設の際には、増設されたストレージノード５００に新規データが書き込まれる。一方ストレージノード５００の減設の際には、減設されるストレージノード５００に格納されている実データ及びメタデータを、減設されない他のストレージノード５００に移動される。

【0072】

（実施形態２の効果）
上述の実施形態２では、コントローラノードとドライブノードとが一体となったストレージノードでも、長期負荷変動予測２に基づいて先行的に実データ及びメタデータの移動を完了させる。よって、必要なタイミングで遅延なくストレージコントローラを増減設でき、省電力化が実現できる。

【0073】

［実施形態３］
図１１は、実施形態３に係る複数のストレージシステム１Ｓ及び／又は２Ｓを含んで構成されるストレージシステム３Ｓの構成を示す図である。図１１では、ストレージシステム３Ｓは、ストレージシステム１Ｓ及び２Ｓを１つずつ含んでいる構成を例示しているが、これらの数は変更可能である。ストレージシステム３Ｓは、複数のストレージシステム１Ｓのみを含んで構成されていても、複数のストレージシステム２Ｓのみを含んで構成されていても、複数のストレージシステム１Ｓ及び２Ｓを含んで構成されていても、何れでもよい。

【0074】

ストレージシステム３Ｓは、ストレージシステム１Ｓ及び／又は２Ｓの複数のストレージクラスタがクラスタ間スイッチ３４０を介して接続されて構成されたハイブリッド・ストレージシステムである。ストレージシステム３Ｓは、データ用途やデータライフサイクルに合わせてストレージシステム１Ｓ，２Ｓを使い分け、データ配置を最適化する目的で用いられる。

【0075】

例えば、データのライフサイクルの進展に伴い、データ保管コストが高いストレージクラスタから、保管コストが低いストレージクラスタにデータ移動を行うユースケースなどが考えられる。その際、管理サーバ４１０は、移動元のストレージクラスタ内で実施形態１又は２の予測型減設を行い、移動先のストレージクラスタ内でも実施形態１又は２の予測型増設を行う。さらに管理サーバ４１０は、移動元のストレージクラスタと移動先のストレージクラスタ間で実施形態１又は２の予測型増設を行う。これにより、ストレージシステム３Ｓにおいても必要十分なリソース割当て・解放を遅延なく実施することが可能となる。

【0076】

各ストレージクラスタでは、プロジェクト稼働に伴うワークロードによってデータに関するストレージコントローラへの負荷変動が発生する。この負荷変動に関する長期負荷変動予測に基づき、ストレージコントローラの増設又は減設を実施する。リバランスに伴うデータのマイグレーショを、自身のストレージクラスタ内に閉じて実施するか、他のストレージクラスタに向けて実施するかは、プロジェクト及びワークロードのユースケース毎に異なる。

【0077】

（実施形態３の効果）
上述の実施形態３では、ハイブリッド・ストレージシステムにおいて、各ストレージクラスタ単位でストレージコントローラの増減設を行い得ると共に、複数のストレージクラスタを跨いでストレージコントローラの増減設を行うことができる。

【0078】

［実施形態４］
上述の実施形態１～３では、コントローラノード１００にかかるリバランスの処理負荷の増大を考慮せず、コントローラ負荷（システム負荷）の増減のタイミングのみに応じて、リバランスを含むコントローラノード１００の増減設を実施している。

【0079】

しかしリバランスによってコントローラ負荷がさらに増大すると、ホスト等の上位システムに対するＩ／Ｏ性能の低下といった問題が生じる。

【0080】

そこで、実施形態４では、実施形態１～３のリバランスの実施期間に制限を設け、リバランスを含めた全体のシステム負荷が閾値を超過しないように制御する。

【0081】

（実施形態４に係る負荷制御）
図１２は、実施形態４に係るリバランスを含めたシステム負荷をシステム負荷許容値以下に抑える負荷制御の説明図である。図１２では、負荷時系列データ１の短期負荷変動幅７を示している。ここでの“短期”とは、例えば２～３日程度である。

【0082】

実施形態４では、リバランスを実施する際に、特定の制約条件を設けることで、システム動作を最適化する。コントローラノード１００は、リバランスによる通常のＩ／Ｏ等の性能劣化影響を緩和するために、コントローラノード１００の負荷変動がシステム負荷許容値６を超える場合は、リバランス処理を一時的に停止する。

【0083】

（実施形態４の効果）
上述の実施形態４では、上述のコントローラノード１００の負荷変動がシステム負荷許容値６を超える場合は、リバランス処理を一時的に停止する制御によって、リバランス処理と通常処理とのバランスをとることが可能となる。また、この制御を行うとリバランス完了までの時間が長くなるが、その時間の増加分を考慮して、リバランス時間を計算することにより、増減設目標時刻に合わせたリバランスの実行が可能になり、省電力化を実現できる。

【0084】

［実施形態５］
上述の実施形態１～３では、コントローラノード１００の長期負荷変動予測２の短期的な負荷変動を考慮せず、図１３に示すように、長期負荷変動予測２が例えばコントローラ減設閾値３Ａに達したタイミングを減設完了目標時刻ｔ１２としている。ここでの“短期”は、例えば２～３日程度である。しかし、長期負荷変動予測２が短期的に大きく変動する場合には、この変動を見込んで余裕を持ったタイミングを減設目標時刻とすることが望ましい。この問題は、増設完了目標時刻ｔ２２の算出の際にも同様に発生する。

【0085】

実施形態５では、リバランスを実施する際に、特定の制約条件を設けることで、システム動作を最適化する。すなわち実施形態５では、増減設目標時刻の算出の際に、長期負荷変動予測２の短期負荷変動幅７を考慮し、短期負荷変動幅７の最大値で増減設目標時刻を算出するように制御する。

【0086】

（実施形態５に係る負荷制御）
図１３は、実施形態５に係る長期負荷変動予測２から短期負荷変動幅７を除外する負荷制御の説明図である。図１３は、コントローラ負荷が減少する場合を示している。通常は、長期負荷変動予測２とコントローラ減設閾値３Ａとの交点を減設完了目標時刻ｔ１２とする。

【0087】

しかし、短期負荷変動幅７が大きい場合、負荷時系列データ１がコントローラ減設閾値３Ａを短期的に上下することが考えられ、安定したリバランスを計画するのが困難となる。そこで減設完了時刻の予測精度を向上するために、短期負荷変動幅７を算出し、短期負荷変動幅７の最大値を表す直線とコントローラ減設閾値３Ａとの交点を減設完了目標時刻ｔ１３とする。

【0088】

（実施形態５の効果）
上述の実施形態５では、減設完了目標時刻ｔ１３を目標に減設を実行することで、短期負荷変動幅７を考慮した安全マージンを持たせた減設完了目標時刻ｔ１３でリバランス及びコントローラノード１００の減設を、安定的に実施することができる。

【0089】

なお図１３では、コントローラノード１００の減設の場合を示しているが、コントローラノード１００の増設の際の増設完了時刻も同様に求められる。

【0090】

（コンピュータ１０００のハードウェア）
図１４は、コンピュータ１０００の構成を示すハードウェア図である。例えばコンピュートノード４００、管理サーバ４１０、システム環境外部サーバ４２０、及びストレージノード５００は、コンピュータ１０００によって実現される。

【0091】

コンピュータ１０００は、バス等の内部通信線１００９を介して相互に接続されたＣＰＵをはじめとするプロセッサ１００１、主記憶装置１００２、補助記憶装置１００３、ネットワークインタフェース１００４、入力装置１００５、及び出力装置１００６を備える。

【0092】

プロセッサ１００１は、コンピュータ１０００全体の動作制御を司る。また主記憶装置１００２は、例えば揮発性の半導体メモリから構成され、プロセッサ１００１のワークメモリとして利用される。補助記憶装置１００３は、非一時的記憶媒体の一例であり、ハードディスク装置、ＳＳＤ（Solid State Drive）、又はフラッシュメモリ等の大容量の不揮発性の記憶装置から構成され、各種プログラムやデータを長期間保持するために利用される。

【0093】

補助記憶装置１００３に格納された実行可能プログラム１１００がコンピュータ１０００の起動時や必要時に主記憶装置１００２にロードされ、主記憶装置１００２にロードされた実行可能プログラム１１００をプロセッサ１００１が実行する。これにより、各種処理を実行するシステムや各機能部（長期負荷変動予測部４１１、リバランス計画部４１２、リバランス実施部４１３、及び増減設実施部４１４）が実現される。

【0094】

なお実行可能プログラム１１００は、非一時的記録媒体に記録され、媒体読み取り装置によって非一時的記録媒体から読み出されて、主記憶装置１００２にロードされてもよい。または、実行可能プログラム１１００は、ネットワークを介して外部のコンピュータから取得されて、主記憶装置１００２にロードされてもよい。

【0095】

ネットワークインタフェース１００４は、コンピュータ１０００をシステム内の各ネットワークに接続する、あるいは他のコンピュータと通信するためのインタフェース装置である。ネットワークインタフェース１００４は、例えば有線ＬＡＮ（Local Area Network）や無線ＬＡＮ等のＮＩＣ（Network Interface Card）から構成される。

【0096】

入力装置１００５は、キーボードや、マウス等のポインティングデバイス等から構成され、ユーザがコンピュータ１０００に各種指示や情報を入力するために利用される。

【0097】

出力装置１００６は、液晶ディスプレイ又は有機ＥＬ（Electro Luminescence）ディスプレイ等の表示装置や、スピーカ等の音声出力装置から構成され、必要時に必要な情報をユーザに提示するために利用される。

【0098】

以上、本願開示に係る実施形態について詳述したが、本願開示は上述の実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能である。例えば、上述の実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また上述の実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

【0099】

また上述の各構成、機能部や処理部等は、それらの一部又は全部を、例えば、集積回路で設計する等によりハードウェアで実現してもよい。また上述の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリやハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

【0100】

また上述の各図において、制御線や情報線は説明上必要と考えられるものを示しており、必ずしも実装上の全ての制御線や情報線を示しているとは限らない。例えば、実際には殆ど全ての構成が相互に接続されていると考えてもよい。

【0101】

また上述したコンピュートノード４００、管理サーバ４１０、システム環境外部サーバ４２０、及びストレージノード５００の各機能及びデータの配置形態は一例に過ぎない。各機能及びデータの配置形態は、ハードウェアやソフトウェアの性能、処理効率、通信効率等の観点から最適な配置形態に変更し得る。

【符号の説明】

【0102】

１００：コントローラノード、１１０：プロセッサ、２００：ドライブノード、２１０：ドライブ、４００：コンピュートノード、４１０：管理サーバ、４１１：長期負荷変動予測部、４１２：リバランス計画部、４１３：リバランス実施部、４１４：増減設実施部、５００：ストレージノード、１００１：プロセッサ、１００２：主記憶装置。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6A】

【図6B】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】