ホーム > 特許ランキング > 日立ヴァンタラ株式会社
知財求人 - 知財ポータルサイト「IP Force」
特開2024-134085消費電力推定システム、消費電力推定方法、及び消費電力推定プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024134085
(43)【公開日】2024-10-03
(54)【発明の名称】消費電力推定システム、消費電力推定方法、及び消費電力推定プログラム
(51)【国際特許分類】
G06F 11/34 20060101AFI20240926BHJP
G06F 11/30 20060101ALI20240926BHJP
【ＦＩ】
G06F11/34 147
G06F11/30 162
G06F11/30 140A
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2023044191
(22)【出願日】2023-03-20
(71)【出願人】
【識別番号】524132520
【氏名又は名称】日立ヴァンタラ株式会社
(74)【代理人】
【識別番号】110000279
【氏名又は名称】弁理士法人ウィルフォート国際特許事務所
(72)【発明者】
【氏名】チャウダリ プリタム ジャイワント
(72)【発明者】
【氏名】小澤 洋司
(72)【発明者】
【氏名】金子 聡
【テーマコード（参考）】
5B042
【Ｆターム（参考）】
5B042MA08
5B042MA14
5B042MC22
(57)【要約】
【課題】ワークロードの消費電力を適切に推定することができるようにする。
【解決手段】物理サーバ上で実行されるワークロードの消費電力を推定するワークロード電力推定サーバ３００において、消費電力推定システム３００は、プロセッサ３０１を有し、プロセッサ３０１を、物理サーバの全電力範囲を所定の分割数に分割した複数の短範囲について、物理サーバのメトリックを入力とし、物理サーバの消費電力値を出力する電力モデルである複数の短範囲電力モデルを訓練し、物理サーバのメトリックを入力として、対応する短範囲を特定する特定情報を出力する分類器を訓練し、ワークロードのメトリックと、分類器とに基づいて、適用すべき短範囲を特定する特定情報を特定し、ワークロードのメトリックと、特定情報が示す前記短範囲に対応する短範囲電力モデルとに基づいて、ワークロードの消費電力を推定するように構成する。
【選択図】図１
【解決手段】物理サーバ上で実行されるワークロードの消費電力を推定するワークロード電力推定サーバ３００において、消費電力推定システム３００は、プロセッサ３０１を有し、プロセッサ３０１を、物理サーバの全電力範囲を所定の分割数に分割した複数の短範囲について、物理サーバのメトリックを入力とし、物理サーバの消費電力値を出力する電力モデルである複数の短範囲電力モデルを訓練し、物理サーバのメトリックを入力として、対応する短範囲を特定する特定情報を出力する分類器を訓練し、ワークロードのメトリックと、分類器とに基づいて、適用すべき短範囲を特定する特定情報を特定し、ワークロードのメトリックと、特定情報が示す前記短範囲に対応する短範囲電力モデルとに基づいて、ワークロードの消費電力を推定するように構成する。
【選択図】図１
【特許請求の範囲】
【請求項1】
物理サーバ上で実行されるワークロードの消費電力を推定する消費電力推定システムであって、
前記消費電力推定システムは、プロセッサを有し、
前記プロセッサは、
前記物理サーバの全電力範囲を所定の分割数に分割した複数の短範囲について、前記物理サーバのメトリックを入力とし、前記物理サーバの消費電力値を出力する電力モデルである複数の短範囲電力モデルを訓練し、
前記物理サーバのメトリックを入力として、対応する短範囲を特定する特定情報を出力する分類器を訓練し、
前記ワークロードのメトリックと、前記分類器とに基づいて、適用すべき短範囲を特定する特定情報を特定し、
前記ワークロードのメトリックと、前記特定情報が示す前記短範囲に対応する短範囲電力モデルとに基づいて、前記ワークロードの消費電力を推定する
消費電力推定システム。
前記消費電力推定システムは、プロセッサを有し、
前記プロセッサは、
前記物理サーバの全電力範囲を所定の分割数に分割した複数の短範囲について、前記物理サーバのメトリックを入力とし、前記物理サーバの消費電力値を出力する電力モデルである複数の短範囲電力モデルを訓練し、
前記物理サーバのメトリックを入力として、対応する短範囲を特定する特定情報を出力する分類器を訓練し、
前記ワークロードのメトリックと、前記分類器とに基づいて、適用すべき短範囲を特定する特定情報を特定し、
前記ワークロードのメトリックと、前記特定情報が示す前記短範囲に対応する短範囲電力モデルとに基づいて、前記ワークロードの消費電力を推定する
消費電力推定システム。
【請求項2】
前記プロセッサは、
前記物理サーバの全電力範囲を分割する分割数を変更し、それぞれの前記分割数におけるそれぞれの短範囲についての前記短範囲電力モデルを訓練し、前記分割数における前記短範囲電力モデルを用いて推定される消費電力の正解率を算出することにより、正解率が所定の閾値を超える場合の分割数を検出し、
検出した前記分割数を、前記ワークロードの消費電力を推定する場合の分割数に決定する
請求項１に記載の消費電力推定システム。
前記物理サーバの全電力範囲を分割する分割数を変更し、それぞれの前記分割数におけるそれぞれの短範囲についての前記短範囲電力モデルを訓練し、前記分割数における前記短範囲電力モデルを用いて推定される消費電力の正解率を算出することにより、正解率が所定の閾値を超える場合の分割数を検出し、
検出した前記分割数を、前記ワークロードの消費電力を推定する場合の分割数に決定する
請求項１に記載の消費電力推定システム。
【請求項3】
前記プロセッサは、
前記短範囲のサイズを変更し、それぞれのサイズに従ってそれぞれの短範囲についての前記短範囲電力モデルを訓練し、前記短範囲電力モデルを用いて推定される消費電力の正解率を算出することにより、正解率が所定の閾値を超える場合の前記短範囲のサイズを検出し、
検出した前記短範囲のサイズを、前記ワークロードの消費電力を推定する場合の前記短範囲のサイズに決定する
請求項１に記載の消費電力推定システム。
前記短範囲のサイズを変更し、それぞれのサイズに従ってそれぞれの短範囲についての前記短範囲電力モデルを訓練し、前記短範囲電力モデルを用いて推定される消費電力の正解率を算出することにより、正解率が所定の閾値を超える場合の前記短範囲のサイズを検出し、
検出した前記短範囲のサイズを、前記ワークロードの消費電力を推定する場合の前記短範囲のサイズに決定する
請求項１に記載の消費電力推定システム。
【請求項4】
前記短範囲電力モデルは、前記物理サーバの消費電力として、前記物理サーバの全消費電力から前記物理サーバの待機状態の消費電力を除いた消費電力を出力する
請求項１に記載の消費電力推定システム。
請求項１に記載の消費電力推定システム。
【請求項5】
前記プロセッサは、
前記ワークロードのメトリックを、物理サーバレベルのメトリックに変換し、
前記物理サーバレベルのメトリックを前記分類器に入力することにより、前記物理サーバレベルの前記メトリックに対応する短範囲を特定し、
特定された前記短範囲に対応する短範囲電力モデルに、前記物理サーバレベルの前記メトリックを入力して前記物理サーバレベルの消費電力を推定し、
推定された消費電力を、前記ワークロードのレベルの消費電力に変換する
請求項１に記載の消費電力推定システム。
前記ワークロードのメトリックを、物理サーバレベルのメトリックに変換し、
前記物理サーバレベルのメトリックを前記分類器に入力することにより、前記物理サーバレベルの前記メトリックに対応する短範囲を特定し、
特定された前記短範囲に対応する短範囲電力モデルに、前記物理サーバレベルの前記メトリックを入力して前記物理サーバレベルの消費電力を推定し、
推定された消費電力を、前記ワークロードのレベルの消費電力に変換する
請求項１に記載の消費電力推定システム。
【請求項6】
前記プロセッサは、
以前に短範囲電力モデルを訓練した後の物理サーバのメトリックと消費電力とを含む新たな訓練データを取得し、
前記物理サーバの全電力範囲を分割する分割数を変更し、それぞれの前記分割数におけるそれぞれの短範囲についての短範囲電力モデルを、前記新たな訓練データを用いて訓練し、前記分割数における前記短範囲電力モデルを用いて推定される消費電力の正解率を算出することにより、正解率が所定の閾値を超える場合の分割数である適正分割数を検出し、
前記検出した適正分割数を、前記ワークロードの消費電力を推定する場合の分割数に決定する
請求項１に記載の消費電力推定システム。
以前に短範囲電力モデルを訓練した後の物理サーバのメトリックと消費電力とを含む新たな訓練データを取得し、
前記物理サーバの全電力範囲を分割する分割数を変更し、それぞれの前記分割数におけるそれぞれの短範囲についての短範囲電力モデルを、前記新たな訓練データを用いて訓練し、前記分割数における前記短範囲電力モデルを用いて推定される消費電力の正解率を算出することにより、正解率が所定の閾値を超える場合の分割数である適正分割数を検出し、
前記検出した適正分割数を、前記ワークロードの消費電力を推定する場合の分割数に決定する
請求項１に記載の消費電力推定システム。
【請求項7】
前記プロセッサは、
前記物理サーバの消費電力と、前記物理サーバに並置されているすべてのワークロードについての前記短範囲電力モデルにより推定された消費電力の合計とに基づいて、前記短範囲電力モデルによるワークロードについての消費電力の推定が所定の精度を有するか否かを判定し、所定の精度を有さない場合に、前記新たな訓練データを取得し、前記新たな訓練データを用いて、前記適正分割数を検出し、前記適正分割数を推定する場合の分割数に決定する
請求項６に記載の消費電力推定システム。
前記物理サーバの消費電力と、前記物理サーバに並置されているすべてのワークロードについての前記短範囲電力モデルにより推定された消費電力の合計とに基づいて、前記短範囲電力モデルによるワークロードについての消費電力の推定が所定の精度を有するか否かを判定し、所定の精度を有さない場合に、前記新たな訓練データを取得し、前記新たな訓練データを用いて、前記適正分割数を検出し、前記適正分割数を推定する場合の分割数に決定する
請求項６に記載の消費電力推定システム。
【請求項8】
前記プロセッサは、
推定された前記ワークロードの消費電力を表示させる
請求項１に記載の消費電力推定システム。
推定された前記ワークロードの消費電力を表示させる
請求項１に記載の消費電力推定システム。
【請求項9】
物理サーバ上で実行されるワークロードの消費電力を推定する消費電力推定システムによる消費電力推定方法であって、
前記消費電力推定システムは、
前記物理サーバの全電力範囲を所定の分割数に分割した複数の短範囲について、前記物理サーバのメトリックを入力とし、前記物理サーバの消費電力値を出力する電力モデルである複数の短範囲電力モデルを訓練し、
前記物理サーバのメトリックを入力として、対応する短範囲を特定する分類器を訓練し、
前記ワークロードのメトリックと、前記分類器とに基づいて、適用すべき短範囲を特定し、
前記ワークロードのメトリックと、特定された前記短範囲に対応する短範囲電力モデルとに基づいて、前記ワークロードの消費電力を推定する
消費電力推定方法。
前記消費電力推定システムは、
前記物理サーバの全電力範囲を所定の分割数に分割した複数の短範囲について、前記物理サーバのメトリックを入力とし、前記物理サーバの消費電力値を出力する電力モデルである複数の短範囲電力モデルを訓練し、
前記物理サーバのメトリックを入力として、対応する短範囲を特定する分類器を訓練し、
前記ワークロードのメトリックと、前記分類器とに基づいて、適用すべき短範囲を特定し、
前記ワークロードのメトリックと、特定された前記短範囲に対応する短範囲電力モデルとに基づいて、前記ワークロードの消費電力を推定する
消費電力推定方法。
【請求項10】
物理サーバ上で実行されるワークロードの消費電力を推定する処理をコンピュータに実行させる消費電力推定プログラムであって、
前記消費電力推定プログラムは、
前記コンピュータに
前記物理サーバの全電力範囲を所定の分割数に分割した複数の短範囲について、前記物理サーバのメトリックを入力とし、前記物理サーバの消費電力値を出力する電力モデルである複数の短範囲電力モデルを訓練させ、
前記物理サーバのメトリックを入力として、対応する短範囲を特定する分類器を訓練させ、
前記ワークロードのメトリックと、前記分類器とに基づいて、適用すべき短範囲を特定させ、
前記ワークロードのメトリックと、特定された前記短範囲に対応する短範囲電力モデルとに基づいて、前記ワークロードの消費電力を推定させる
消費電力推定プログラム。
前記消費電力推定プログラムは、
前記コンピュータに
前記物理サーバの全電力範囲を所定の分割数に分割した複数の短範囲について、前記物理サーバのメトリックを入力とし、前記物理サーバの消費電力値を出力する電力モデルである複数の短範囲電力モデルを訓練させ、
前記物理サーバのメトリックを入力として、対応する短範囲を特定する分類器を訓練させ、
前記ワークロードのメトリックと、前記分類器とに基づいて、適用すべき短範囲を特定させ、
前記ワークロードのメトリックと、特定された前記短範囲に対応する短範囲電力モデルとに基づいて、前記ワークロードの消費電力を推定させる
消費電力推定プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、物理サーバ上で実行されるワークロードの消費電力を推定する技術に関する。
【背景技術】
【0002】
典型的なワークロードの実行環境では、インフラストラクチャのコストを節約するために、単一の物理サーバ上に多様なワークロードが並置されて実行される。ここで、ワークロードとは、物理サーバ上に構築される仮想マシン上で実行されるソフトウェアのことをいう。
【0003】
これらのワークロードは、多様な消費電力特性を有しており、いくつかのワークロードは、低消費電力のワークロードであり、他は、電力集約的なワークロードである。
【0004】
個々のワークロードの消費電力量を見積もることができれば、需要対応とグリーンコンピューティング対策の実施に役立つ可能性がある。その例としては、可能であれば電力集約ワークロードをエネルギー余剰または再生可能エネルギーがある期間に遅らせることや、エネルギー余剰または再生可能エネルギー供給を有するデータセンターに電力集約ワークロードを移動させることである。
【0005】
また、個々のワークロードの排出量は、それらの消費電力量の推定値から計算することができ、これは、高レベルの排出削減目標を達成するために、個々のワークロードレベルでの決定を行うのに役立つことができる。
【0006】
特許文献１には、ワークロードによってサーバにかかる負荷レベルに基づいて、サーバの消費電力の一部を、そのサーバで実行するワークロードに属性付ける方法が開示されている。負荷のレベルは、プロセッサ、メモリ、ディスク、ネットワークなどのリソースの使用状況に基づいて決定できる。回帰モデルは、サーバリソース使用量の形式でワークロードの負荷レベルをサーバの総消費電力の一部にマッピングするために使用され得る。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】米国特許第８，７５１，８４４号明細書
【発明の概要】
【発明が解決しようとする課題】
【0008】
例えば、ワークロードの消費電力を、単一線形回帰モデルを使用して推定されることがある。この単一線形回帰モデルは、例えば、サーバにおける消費電力の全範囲を持つデータセットにより訓練される。
【0009】
例えば、単一線形回帰モデルの切片は、訓練データのデータセットの平均値をモデル化しようと試みたものであり、訓練データが高電力であるデータである場合には、大きな値となってしまう。このため、ワークロードの消費電力を過大推定してしまう虞がある。切片は、ワークロードをサポートするＯＳ（オペレーティングシステム）およびミドルウェア、ワークロードによる熱放散の増加、および他の要因に起因する、ワークロードの消費電力のオーバーヘッド構成要素として解釈することができる。
【0010】
典型的なデータセンターでは、多くの低消費電力のワークロードがあり、他のいくつかは電力集約型ワークロードである。しかしながら、電力集約的ワークロードを有するデータセット上で訓練されたモデルは、低消費電力のワークロードの消費電力を過大推定してしまう。
【0011】
特許文献1に開示された技術は、訓練データの分布が高電力データポイントのロングテールを含むときに観測される過大推定の問題に対処していない。
【0012】
また、このように過大推定されたワークロードの消費電力の推定に基づいて行われるワークロードのスケジューリングおよびマイグレーションの決定は、サーバ資源および再生可能エネルギー供給における利用促進をもたらすことができない。
【0013】
本発明は、上記事情に鑑みなされたものであり、その目的は、ワークロードの消費電力を適切に推定することのできる技術を提供することにある。
【課題を解決するための手段】
【0014】
上記目的を達成するため、一観点に係る消費電力推定システムは、物理サーバ上で実行されるワークロードの消費電力を推定する消費電力推定システムであって、前記消費電力推定システムは、プロセッサを有し、前記プロセッサは、前記物理サーバの全電力範囲を所定の分割数に分割した複数の短範囲について、前記物理サーバのメトリックを入力とし、前記物理サーバの消費電力値を出力する電力モデルである複数の短範囲電力モデルを訓練し、前記物理サーバのメトリックを入力として、対応する短範囲を特定する特定情報を出力する分類器を訓練し、前記ワークロードのメトリックと、前記分類器とに基づいて、適用すべき短範囲を特定する特定情報を特定し、前記ワークロードのメトリックと、前記特定情報が示す前記短範囲に対応する短範囲電力モデルとに基づいて、前記ワークロードの消費電力を推定する。
【発明の効果】
【0015】
本発明によれば、ワークロードの消費電力を適切に推定することができる。
【図面の簡単な説明】
【0016】
【発明を実施するための形態】
【0017】
実施形態について、図面を参照して説明する。なお、以下に説明する実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている諸要素及びその組み合わせの全てが発明の解決手段に必須であるとは限らない。
【0018】
図１は、一実施形態に係る情報システムの全体構成図である。
【0019】
情報システム１０は、Ｎ個（Ｎは、１以上）のクラスタ１００で構成される分散コンピューティングシステムと、消費電力推定システムの一例としてのワークロード電力推定サーバ３００と、クライアント４００とを備える。クラスタ１００と、ワークロード電力推定サーバ３００と、クライアント４００とは、メインネットワーク２００を介して接続されている。
【0020】
クラスタ１００は、マスタとして働くサーバ（マスタサーバともいう）１０１と、ワーカとして働くサーバ（ワーカサーバともいう）１０３と、クラスタネットワーク１０２とを含む。マスタサーバ１０１及びワーカサーバ１０３は、例えば、アーキテクチャ的に同種の物理サーバ、すなわち、プロセッサ、メモリ、ストレージ、ネットワーク等が同一構成のサーバであってもよい。マスタサーバ１０１とワーカサーバ１０３とは、所定のプロトコルを使用して、クラスタネットワーク１０２を介して通信する。
【0021】
マスタサーバ１０１は、自身が属するクラスタ１００内のワーカサーバ１０３上のワークロードの実行を管理及び監視する。マスタサーバ１０１は、サーバ消費電力、サーバ及びワークロードのリソース使用量（例えばプロセッサの使用量、メモリの使用量、ストレージの使用量、ネットワークの使用量等）のタイムスタンプが付されたメトリックを、クラスタネットワーク１０２を介して、例えば、一定の間隔で、ＳＮＭＰ（シンプルネットワーク管理プロトコル）インターフェース、ＡＰＩ（アプリケーションプログラミングインタフェース）等の適切なインターフェースを用いて各サーバから取得し、メインネットワーク２００を介してワークロード電力推定サーバ３００内のメトリック時系列データベース８００（図２参照）にプッシュする。
【0022】
ワーカサーバ１０３は、１以上の仮想マシンを構成し、仮想マシン上で１以上のワークロードを実行する。
【0023】
ワークロード電力推定サーバ３００は、タイムスタンプが付されたメトリックを用いて、消費電力を推定する電力推定モデルを訓練する処理や、事前に訓練されたモデルを使用して、タイムスタンプが付されたメトリックによりリアルタイムでワークロードの消費電力を推定する処理を行う。
【0024】
クライアント４００は、いずれかのクラスタ１００でワークロードを実行し、ワークロード電力推定サーバ３００によって推定されたワークロードの消費電力を監視する。
【0025】
次に、ワークロード電力推定サーバ３００について詳細に説明する。
【0026】
図２は、一実施形態に係るワークロード電力推定サーバの構成図である。
【0027】
ワークロード電力推定サーバ３００は、コンピュータの一例であり、プロセッサ３０１と、メモリ３０２と、ローカルストレージ３０３と、ネットワークインターフェース３０４と、入力／出力デバイス３０５とを備える。プロセッサ３０１と、メモリ３０２と、ローカルストレージ３０３と、ネットワークインターフェース３０４と、入力／出力デバイス３０５とは、システムバス３０６を介して通信可能に接続されている。
【0028】
プロセッサ３０１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、メモリ３０２に読み出されたプログラムをフェッチして各種処理を実行する。
【0029】
メモリ３０２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）であり、プロセッサ３０１で実行されるプログラムや、必要なデータを記憶する。
【0030】
ネットワークインターフェース３０４は、例えば、有線ＬＡＮカードや無線ＬＡＮカードなどのインターフェースであり、メインネットワーク２００を介して他の装置（例えば、クラスタ１００のサーバ１０１，１０３、クライアント４００等）と通信する。
【0031】
入力／出力デバイス３０５は、コンソール３０７に情報を表示し、コンソール３０７から情報を入力するインターフェースを提供する。
【0032】
ローカルストレージ３０３は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）や、ＳＳＤ（Ｓｏｌｉｄ ＳｔａｔｅＤｒｉｖｅ）等の永続的に記録できる記録デバイスであり、プログラムやデータを記録する。
【0033】
ローカルストレージ３０３は、適切短範囲電力モデル開発プログラム５００と、消費電力推定プログラムの一例としてのワークロード電力推定プログラム６００と、モデル管理プログラム７００と、メトリック時系列データベース８００と、短範囲電力モデルデータベース９００と、電力範囲識別分類器データベース１０００と、を格納する。
【0034】
適切短範囲電力モデル開発プログラム５００は、プロセッサ３０１に実行されることにより、短範囲電力モデルの適切な構成を開発し、訓練する処理を行う。ワークロード電力推定プログラム６００は、プロセッサ３０１に実行されることにより、監視されているワークロードの消費電力を推定する処理を行う。モデル管理プログラム７００は、プロセッサ３０１に実行されることにより、短範囲電力モデルと、分類器とを管理する処理を行う。メトリック時系列データベース８００は、タイムスタンプが付された、サーバ及びワークロードのメトリックを格納する。短範囲電力モデルデータベース９００は、短範囲電力モデルを格納する。電力範囲識別分類器データベース１０００は、各クラスタのそれぞれについて、ワークロードの電力範囲を予測する分類器（例えば、電力範囲予測モデル）を格納する。
【0035】
次に、メトリック時系列データベース８００の詳細な構成について説明する。
【0036】
図３は、一実施形態に係るメトリック時系列データベースの構成図である。
【0037】
メトリック時系列データベース８００は、クラスタ１００毎に設けられ、対応するクラスタにおけるサーバ及びワークロードのメトリックを格納する。メトリック時系列データベース８００は、各時点毎のレコードを格納する。レコードは、タイムスタンプ８０１と、ＣＰＵ使用量８０２と、メモリ使用量８０３と、ディスク使用量８０４と、ネットワーク使用量８０５と、消費電力８０６と、のフィールドを含む。
【0038】
タイムスタンプ８０１には、レコードに対応するメトリックが取得された時点を示すタイムスタンプが格納される。ＣＰＵ使用量８０２には、レコードに対応する時点のＣＰＵ（プロセッサ）の使用量が格納される。メモリ使用量８０３には、レコードに対応する時点のメモリの使用量が格納される。ディスク使用量８０４には、レコードに対応する時点のディスク（ローカルストレージ）の使用量が格納される。ネットワーク使用量８０５には、レコードに対応する時点のネットワークの使用量が格納される。消費電力８０６には、レコードに対応する時点の消費電力が格納される。図３に示すメトリック時系列データベース８００の１行目のレコード８０７は、午後１２：３０：５０において、ＣＰＵ使用量が２０％であり、メモリ使用量が１００ＭＢであり、ディスク使用量が１２０ｋＢであり、ネットワーク使用量が４００ｋＢであり、消費電力が１５０Ｗであることを示している。
【0039】
次に、サーバの消費電力を推定する消費電力モデルの訓練について使用する訓練データの分布について説明する。
【0040】
図４ａは、サーバの消費電力についての訓練データの分布を説明する図である。
【0041】
まず、ワークロードの消費電力Ｐｐｒｅｄを推定する典型的な線形回復モデルは、以下の式（１）に示すように表される。
Ｐｐｒｅｄ＝Ｃｃｐｕ・Ｕｃｐｕ＋Ｃｍｅｍ・Ｕｍｅｎ＋Ｃｄｉｓｋ・Ｕｄｉｓｋ＋Ｃｎｗ・Ｕｎｗ＋Ｃ ・・・（１）
ここで、Ｕｃｐｕは、ＣＰＵ使用量であり、Ｕｍｅｍは、メモリ使用量であり、Ｕｄｉｓｋは、ディスク使用量であり、Ｕｎｗは、ネットワーク使用量である。また、Ｃｃｐｕ，Ｃｍｅｍ，Ｃｄｉｓｋ，Ｃｎｗは、各メトリックに対応するモデル係数である。また、Ｃは、ワークロードの消費電力のオーバーヘッド成分として解釈できるモデルの切片であり、ワークロードをサポートするＯＳ（オペレーティングシステム）及びミドルウェア、ワークロードによる熱熱拡散の増加、及び他の要因に起因する。切片Ｃは、訓練データポイントの消費電力の平均値をモデル化するために経験的に観測される。
Ｐｐｒｅｄ＝Ｃｃｐｕ・Ｕｃｐｕ＋Ｃｍｅｍ・Ｕｍｅｎ＋Ｃｄｉｓｋ・Ｕｄｉｓｋ＋Ｃｎｗ・Ｕｎｗ＋Ｃ ・・・（１）
ここで、Ｕｃｐｕは、ＣＰＵ使用量であり、Ｕｍｅｍは、メモリ使用量であり、Ｕｄｉｓｋは、ディスク使用量であり、Ｕｎｗは、ネットワーク使用量である。また、Ｃｃｐｕ，Ｃｍｅｍ，Ｃｄｉｓｋ，Ｃｎｗは、各メトリックに対応するモデル係数である。また、Ｃは、ワークロードの消費電力のオーバーヘッド成分として解釈できるモデルの切片であり、ワークロードをサポートするＯＳ（オペレーティングシステム）及びミドルウェア、ワークロードによる熱熱拡散の増加、及び他の要因に起因する。切片Ｃは、訓練データポイントの消費電力の平均値をモデル化するために経験的に観測される。
【0042】
図４ａからわかるように、訓練データの分布は、高電力データポイントのロングテールを含んでおり、平均消費電力２０１は、図示したようになる。モデルの大きな切片値は、大部分のデータポイントは平均消費電力２０１よりも小さいのでサーバ及びワークロードの消費電力の過大推定をもたらす。
【0043】
次に、長範囲（例えば、全範囲）の消費電力の訓練データを用いて作成された単一の線形回帰モデルの消費電力の推定値を説明する。
【0044】
図４ｂは、長範囲で訓練られた単一モデルの過大推定を説明する図である。
【0045】
図４ｂに示すように、線形回帰モデルにより推定される理想的な消費電力は、線２０２に示すように、実際の消費電力と等しい。一方、図４ａに示す分布を持つサーバ消費電力の訓練データを用いて単一の線形回帰モデルを作成した場合には、訓練データの特性分布と、モデルの切片が訓練データの平均値に追従する傾向とによって、推定される消費電力は、線２０３に示すようになる。
【0046】
線２０２と線２０３とを参照するとわかるように、大部分のデータポイントについては、消費電力量が過大評価されるとともに、高電力のデータポイントについては、過小推定されてしまう。
【0047】
次に、本実施形態に係る電力モデルの開発について説明する。
【0048】
図５ａは、一実施形態に係る短範囲電力モデルのための訓練データの分割を説明する図である。
【0049】
本実施形態では、過大推定を削減するために、短範囲の訓練データを用いて短範囲電力モデルを開発する。そこで、本実施形態では、訓練データは、いくつかのセクション（電力範囲）に分割される。各電力範囲のサイズは、同じであっても、異なっていてもよい。
【0050】
所定の電力範囲に属するデータは、その電力範囲において消費電力を予想することのできる線形回帰モデルである短範囲電力モデルを構築するために使用される。具体的には、図５ａに示すように、第１電力範囲２００１は、第１電力範囲のみの電力を推定できるモデル１を構築するために使用され、同様に、第２電力範囲２００２は、第２電力範囲のみの電力を推定できるモデル２を構築するために使用され、第３電力範囲２００３は、第３電力範囲のみの電力を推定できるモデル３を構築するために使用される。
【0051】
各電力範囲の電力推定を行う短範囲電力モデルの切片は、データ分布全体の消費電力の平均ではなく、それぞれの電力範囲における消費電力の平均となっている。したがって、各電力範囲における過大推定を小さくすることができ、ワークロードの消費電力の推定精度を改善することができる。
【0052】
次に、上記した複数の短範囲電力モデルを管理する短範囲電力モデルデータベース９００について説明する。
【0053】
図５ｂは、一実施形態に係る短範囲電力モデルデータベースの構成図である。
【0054】
短範囲電力モデルデータベース９００は、クラスタ毎のテーブルを含む。クラスタ毎のテーブルは、各電力範囲毎の短範囲電力モデルのレコードを含む。レコードは、電力範囲９０１と、Ｃｃｐｕ９０２と、Ｃｍｅｍ９０３と、Ｃｄｉｓｋ９０４と、Ｃｎｗ９０５と、Ｃ９０６と、のフィールドを含む。電力範囲９０１には、レコードに対応する短範囲電力モデルの電力範囲が格納される。Ｃｃｐｕ９０２には、レコードに対応する短範囲電力モデルのＣＰＵ使用量に対するモデル係数が格納される。Ｃｍｅｍ９０３には、レコードに対応する短範囲電力モデルのメモリ使用量に対するモデル係数が格納される。Ｃｄｉｓｋ９０４には、レコードに対応する短範囲電力モデルのディスク使用量に対するモデル係数が格納される。Ｃｎｗ９０５には、レコードに対応する短範囲電力モデルのネットワーク使用量に対するモデル係数が格納される。Ｃ９０６には、レコードに対応する短範囲電力モデルの切片値が格納される。クラスタ１のテーブルの１行目のレコード９０７は、レコードに対応する短範囲電力モデルの電力範囲は、１－１００Ｗであり、Ｃｃｐｕは、０．８であり、Ｃｍｅｎは、０．７であり、Ｃｄｉｓｋは、０．６５であり、Ｃｎｗは、０．５であり、Ｃは５２であることを示している。
【0055】
次に、本実施形態に係るワークロード電力推定サーバ３００による処理動作について説明する。
【0056】
図６は、一実施形態に係る適切短範囲電力モデル開発処理のフローチャートである。
【0057】
図６に示す適切短範囲電力モデル開発処理は、クラスタ内の１台のサーバに関する適切な短範囲電力モデル（適切短範囲電力モデル）を開発する処理である。しかしながら、本実施形態では、クラスタ内における各サーバが均一の構成となっているので、開発された適切短範囲電力モデルは、いずれのサーバに対しても用いることができる。この適切短範囲電力モデル開発処理は、例えば、定期的、又はユーザから指示されたときに実行される。
【0058】
ステップ５０１では、適切短範囲電力モデル開発プログラム５００は、モデルを訓練するために使用されるタイムスタンプ付きのサーバリソース使用量データ及びサーバ消費電力データを入力する。サーバリソース使用量データは、図３に示すように、プロセッサ使用量、メモリ使用量、ローカルストレージ使用量、及びネットワーク使用量に関する、タイムスタンプ付きのサーバレベルのメトリックを含む。サーバ消費電力データは、タイムスタンプ付きのサーバ消費電力の合計の読み取り値から、サーバの待機状態の消費電力（サーバ待機消費電力）の読み取り値を減算した値を含む。サーバ待機消費電力の読み取り値は、いずれのワークロードなしにサーバが動作している場合の読み取り値により特定することができる。
【0059】
ステップ５０２では、適切短範囲電力モデル開発プログラム５００は、タイムスタンプ付きのデータに対して、外れ値の除去、又はメトリックの補間又は平均、又は他の方法等の適切な技術による欠陥値の置換を含む前処理を実行する。前処理は、異なるインターフェースから取得されたメトリックの時間同期を含んでもよい。また、前処理は、メトリックにおけるパターンをよりよく補足し、データのノイズを除去するのに役立つように、ローリング平均又は移動平均を使用することを含んでもよい。
【0060】
ステップ５０３では、適切短範囲電力モデル開発プログラム５００は、最大サーバ電力Ｐｍａｘと、最小サーバ電力Ｐｍｉｎとを記録する。
【0061】
ステップ５０４では、適切短範囲電力モデル開発プログラム５００は、短範囲電力モデルの適切数又は電力範囲の適切数Ｎ（すなわち、訓練データのセクションＮの適切数、適正分割数）を検出するために、ループ１の処理（５０４～５１５）の処理を、Ｎ＝１と初期化して開始する。
【0062】
ステップ５０５では、適切短範囲電力モデル開発プログラム５００は、訓練データを同じサイズのＮ個の電力範囲に区分する。
【0063】
ステップ５０６では、適切短範囲電力モデル開発プログラム５００は、訓練データのＮ個の電力範囲のそれぞれの適切なサイズを検出するためのループ２の処理（５０６－５１４）を、繰り返し回数（＃イテレーション）＝０と初期化して開始する。
【0064】
ステップ５０７では、適切短範囲電力モデル開発プログラム５００は、ループ１で設定されたＮ個の電力範囲と、ループ２で設定された各電力範囲のサイズにより、Ｎ個の短範囲電力モデルを訓練する。適切短範囲電力モデル開発プログラム５００は、図５ａについて説明したように、各短範囲電力モデルを、それらのそれぞれの電力範囲から取得された訓練データのみで訓練する。ここで、短範囲電力モデルに対する入力は、プロセッサ使用量、メモリ使用量、ストレージ使用量、ネットワーク使用量等のプロセッサ、メモリ、ストレージ、ネットワークに関するメトリックであり、短範囲電力モデルからの出力は、サーバ消費電力量（消費電力値）である。このサーバ消費電力量には、サーバの待機状態の消費電力は含まれない。短範囲電力モデルは、例えば、線形回帰を使用する。
【0065】
ステップ５０８では、適切短範囲電力モデル開発プログラム５００は、Ｎ個の電力範囲及び各電力範囲のサイズを用いて、与えられたタイムスタンプ又は期間についての電力範囲を予測することのできる分類器を訓練する。ここで、分類器への入力は、プロセッサ使用量、メモリ使用量、ストレージ使用量、ネットワーク使用量等のプロセッサ、メモリ、ストレージ、ネットワークに関するメトリックであり、分類器からの出力は、電力範囲を特定可能なラベル（特定情報）である。例えば、１－８００Ｗの全電力範囲が、１－２００Ｗ，２０１－５００Ｗ，５０１－８００Ｗとして３つの短範囲に区分されている場合には、１－２００Ｗについての電力範囲のラベルは０、２０１－５００Ｗについての電力範囲のラベルは１、５０１－８００Ｗについての電力範囲のラベルは２である。このように、分類器は、ワークロードの電力推定のための適切な短範囲電力モデルを選択するために使用される電力範囲予測モデルであってもよい。分類器は、人工ニューラルネットワーク、決定木、任意の他の適切な分類モデルを使って開発することができる。
【0066】
ステップ５０９では、適切短範囲電力モデル開発プログラム５００は、サーバ消費電力量の正確性を計算するために、ステップ５０７で開発された短範囲電力モデルと、ステップ５０８で開発された分類器とをテストデータによりテストする。まず、適切短範囲電力モデル開発プログラム５００は、分類器により、テストデータの入力についての電力範囲を予測する。次いで、適切短範囲電力モデル開発プログラム５００は、テストデータの入力を使用することによって全体の消費電力を推定するために、予測された電力範囲に対応する短範囲電力モデルを使用する。次いで、適切短範囲電力モデル開発プログラム５００は、適切な正確率測定方法を使用して、推定された出力と、実際のテストデータの出力とを比較して、テスト正解率を計算する。ここで、正確率測定方法としては、例えば、ＲＭＳＥ（Ｒｏｏｔ Ｍｅａｎ Ｓｑｕａｒｅ Ｅｒｒｏｒ）を用いてもよいし、ＭＡＰＥ（Ｍｅａｎ Ａｂｓｏｌｕｔｅ Ｐｅｒｃｅｎｔａｇｅ Ｅｒｒｏｒ）を用いてもよい。
【0067】
ステップ５１０では、適切短範囲電力モデル開発プログラム５００は、テスト正確率と予め設定されている閾値正解率とを比較する。この結果、テスト正解率が設定されている閾値正解率を超える場合（５１０：Ｙｅｓ）には、ステップ５１２で、適切短範囲電力モデル開発プログラム５００は、適切なサイズでＮ個（適正分割数）の電力範囲に区分されたデータにより訓練された短範囲電力モデルを短範囲電力モデルデータベース９００に格納し、分類器を電力範囲分類器データベース１０００に格納する。
【0068】
一方、テスト正解率が閾値正解率を超えない場合（５１０：Ｎｏ）には、ステップ５１１で、適切短範囲電力モデル開発プログラム５００は、ループ２の繰り返し回数と、既定の繰り返しの閾値とを比較する。繰り返しの閾値は、例えば、アルゴリズムの空間及び時間の複雑さに基づいて定義することができる。
【0069】
この結果、ループ２の繰り返し回数が、既定の繰り返しの閾値を超えない場合（５１１：Ｎｏ）には、ステップ５１３で、適切短範囲電力モデル開発プログラム５００は、適切な最適化処理の１つを用いて、Ｎ個の電力範囲のサイズを更新する。例えば、１－８００Ｗの全電力範囲が、１－２００Ｗ，２０１－５００Ｗ，５０１－８００Ｗとして３つの短範囲に区分されている場合には、１－１００Ｗ、１０１－３００Ｗ、３０１－８００Ｗとを新しい設定としてもよい。
【0070】
ステップ５１４では、適切短範囲電力モデル開発プログラム５００は、ループ２の繰り返し回数をインクリメント（１加算）し、ループ２をステップ５０７から繰り返す。
【0071】
一方、ステップ５１１で、繰り返し回数が閾値を超えた場合には、適切短範囲電力モデル開発プログラム５００は、ループ２の処理を抜け、ステップ５１５で、電力範囲の個数Ｎをインクリメント（１加算）し、ループ１をステップ５０５から繰り返す。
【0072】
この適切短範囲電力モデル開発処理によると、適切な電力範囲の個数及び電力範囲のサイズが特定され、特定された電力範囲の個数に対応する短範囲電力モデルと、分類器とをデータベースに登録することができる。
【0073】
次に、ワークロード消費電力推定処理について説明する。
【0074】
図７は、一実施形態に係るワークロード消費電力推定処理のフローチャートである。
【0075】
ワークロード消費電力推定処理は、例えば、定期的又はユーザから指示されたときに実行される。
【0076】
ステップ６０１では、ワークロード電力推定プログラム６００は、タイムスタンプが付されたワークロードリソース使用量データを入力する。ワークロードリソース使用量データは、図３に示すように、プロセッサ使用量、メモリ使用量、ローカルストレージ使用量、及びネットワーク使用量に関する、タイムスタンプ付きのワークロードレベルのメトリックを含む。
【0077】
ステップ６０２では、ワークロード電力推定プログラム６００は、タイムスタンプされたデータに対して前処理を行う。例えば、短範囲電力モデルが訓練データのローリング平均または移動平均について訓練されている場合には、前処理には、或る期間にわたってローリング平均または移動平均を使用することを含んでもよい。
【0078】
ステップ６０３では、短範囲電力モデルがサーバレベル（物理サーバレベル）のメトリックで訓練されているので、ワークロード電力推定プログラム６００は、ワークロードリソース使用量のメトリックに対して所定の適切なスケーリングファクタを適用してサーバレベルのメトリックにスケールアップ（拡大）する。
【0079】
例えば、ワークロードメトリックＵｗｏｒｋｌｏａｄを、以下の式（２）を用いてサーバレベルメトリックＵｓｅｒｖｅｒに変換してもよい。
Ｕｓｅｒｖｅ＝Ｕｗｏｒｋｌｏａｄ／（ワークロードで使用されるプロセッサ数）＊（サーバのプロセッサ総数） ・・・（２）
Ｕｓｅｒｖｅ＝Ｕｗｏｒｋｌｏａｄ／（ワークロードで使用されるプロセッサ数）＊（サーバのプロセッサ総数） ・・・（２）
【0080】
ステップ６０４では、ワークロード電力推定プログラム６００は、スケールアップされたワークロード使用量メトリックを、電力範囲を予想する事前に訓練された分類器に入力する。
【0081】
ステップ６０５では、ワークロード電力推定プログラム６００は、予想された電力範囲に対応する事前に訓練された短範囲電力モデルを用いて、与えられた期間における消費電力量を推定する。
【0082】
ステップ６０６では、短範囲電力モデルは、サーバレベルデータにより、サーバ消費電力量を出力するように訓練されているので、ワークロード電力推定プログラム６００は、ステップ６０５で推定されたサーバ消費電力量を適切な所定のファクタを利用してワークロードレベルの消費電力量にスケールダウンする。
【0083】
例えば、短範囲電力モデルにより推定されたサーバレベル消費電力量Ｐ⌒
ｓｅｒｖｅｒは、以下の式（３）を用いて、ワークロードレベル消費電力予測値Ｐ⌒
ｗｏｒｋｌｏａｄに変換できる。
Ｐ⌒ｗｏｒｋｌｏａｄ＝Ｐ⌒ｓｅｒｖｅｒ／（サーバのプロセッサ総数）＊（ワークロードで使用されるプロセッサ数） ・・・（３）
Ｐ⌒ｗｏｒｋｌｏａｄ＝Ｐ⌒ｓｅｒｖｅｒ／（サーバのプロセッサ総数）＊（ワークロードで使用されるプロセッサ数） ・・・（３）
【0084】
ステップ６０７では、ワークロード電力推定プログラム６００は、与えられた期間についての推定されたワークロード消費電力量を出力する。
【0085】
上記したワークロード消費電力推定処理によると、ワークロードの消費電力量を適切に推定することができる。
【0086】
次に、モデル管理処理について説明する。
【0087】
図８は、一実施形態に係るモデル管理処理のフローチャートである。
【0088】
モデル管理処理は、短範囲電力モデル及び分類器を予め定義された正解率を確保できるようにするために実行される。
【0089】
ステップ７０１では、モデル管理プログラム７００は、予定された時点又は定期的に、正確率チェックを行う。ここで、正解率チェックでは、短範囲電力モデル及び分類器を用いて、チェック対象のサーバに並置されているすべてのワークロードの与えられた期間における推定電力の合計を計算し、この期間のサーバの消費電力量（ここでは、例えば、サーバの全消費電力量－待機サーバ消費電力量）と比較し、正解率を計算する。
【0090】
ステップ７０２では、モデル管理プログラム７００は、正解率が閾値正解率を超えるか否かを判定する。
【0091】
この結果、正解率が閾値正解率を超える場合（７０２：Ｙｅｓ）には、モデル管理プログラム７００は、ステップ７０６で、対応するクラスタの短範囲電力モデル及び分類器の最新バージョンは、そのクラスタ上で実行されるワークロードの消費電力量を推定するために引き続き使用されるようにする。
【0092】
一方、正解率が閾値正解率を超えない場合（７０２：Ｎｏ）には、ステップ７０３で、モデル管理プログラム７００は、新しい訓練データセットを作成し、訓練データセットのバージョン番号を更新する。ここで、新しい訓練データセットは、例えば、短範囲電力モデルの最後の更新が行われた後にメトリック時系列データベース８００に収集されたデータとしてもよい。
【0093】
ステップ７０４では、モデル管理プログラム７００は、最新のバージョンの訓練データセットを使っての適切短範囲電力モデル開発プログラム５００の実行を起こす。これにより、適切短範囲電力モデル開発処理が実行されて、最新バージョンの訓練データセットに適合した短範囲電力モデルと、分類器とが開発される。
【0094】
ステップ７０５では、モデル管理プログラム７００は、ステップ７０４で最新バージョンの訓練データセットで開発された短範囲電力モデルと、分類器とのバージョン番号を更新する。
【0095】
ステップ７０６では、モデル管理プログラム７００は、対応するクラスタの短範囲電力モデル及び分類器の最新バージョンを、そのクラスタ上で実行されるワークロードの消費電力量を推定するために使用されるようにする。
【0096】
このモデル管理処理によると、短範囲電力モデル及び分類器を適切な状態に更新することができる。
【0097】
次に、ワークロード電力推定サーバ３００により表示されるワークロードエネルギー消費、ＣＯ２排出可視化画面（可視化画面）について説明する。
【0098】
図９は、一実施形態に係るワークロードエネルギー消費、ＣＯ２排出可視化画面を示す図である。
【0099】
可視化画面３０００は、指定されたワークロードの指定された期間におけるエネルギー（電力）消費と、エネルギー消費における再生可能エネルギー（ＲＥ）とブラウンエネルギー（ＢＥ）との組成を示す画面であり、例えば、ワークロード電力推定プログラム６００により、例えば、コンソール３０７やクライアント４００に表示される。
【0100】
可視化画面３０００は、ワークロードＩＤ入力領域３００１と、開始期間入力領域３００２と、終了期間入力領域３００３と、ワークロード追加ボタン３００４と、クリアボタン３００５と、グラフ表示領域３００６とを含む。
【0101】
ワークロードＩＤ入力領域３００１は、グラフ表示領域３００６に表示させる対象とするワークロードのＩＤ（ワークロードＩＤ）を入力する領域である。開始期間入力領域３００２は、消費電力の対象とする期間の開始時点を入力する領域である。終了期間入力領域３００３は、消費電力の対象とする期間の終了時点を入力する領域である。ワークロード追加ボタン３００４は、ワークロードＩＤ入力領域３００１に入力されたワークロードＩＤのワークロードについての開始期間入力領域３００２及び終了期間入力領域３００３に入力された期間についての消費電力を示すオブジェクトをグラフ表示領域３００６に追加させる指示を受け付けるボタンである。クリアボタン３００５は、入力されたワークロードＩＤのワークロードのオブジェクトをグラフ表示領域３００６から消去する指示を受け付けるボタンである。グラフ表示領域３００６は、追加を受け付けたワークロードについての消費電力及びＲＥとＢＥとの割合を示すオブジェクトを表示させる領域である。なお、ワークロードに対応するＲＥとＢＥとの情報については、ワークロードを実行するサーバに供給される電力の情報を外部から取得することにより特定することができる。
【0102】
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で、適宜変形して実施することが可能である。
【0103】
例えば、上記実施形態において、プロセッサが行っていた処理の一部又は全部を、専用のハードウェア回路で行うようにしてもよい。また、上記実施形態におけるプログラムは、プログラムソースからインストールされてよい。プログラムソースは、プログラム配布サーバ又は記録メディア（例えば可搬型の記録メディア）であってもよい。
【符号の説明】
【0104】
１０…情報システム、１００…クラスタ、１０２…クラスタ内ネットワーク、１０１，１０３…サーバ、２００…メインネットワーク、３００…ワークロード電力推定サーバ、３０１…プロセッサ、３０２…メモリ、３０３…ローカルストレージ、３０４…ネットワークインターフェース、３０５…入力／出力デバイス、３０６…システムバス、３０７…コンソール、４００…クライアント
【図1】
【図2】
【図3】
【図4a】
【図4b】
【図5a】
【図5b】
【図6】
【図7】
【図8】
【図9】
