特開 2024-169095 データセンタシステム、拠点間ワークロード制御方法、及び拠点間ワークロード制御システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024169095

(43)【公開日】2024-12-05

(54)【発明の名称】データセンタシステム、拠点間ワークロード制御方法、及び拠点間ワークロード制御システム

(51)【国際特許分類】

   G06F 9/50 20060101AFI20241128BHJP

【ＦＩ】

G06F9/50 150Z

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2023086288

(22)【出願日】2023-05-25

(71)【出願人】

【識別番号】524132520

【氏名又は名称】日立ヴァンタラ株式会社

(74)【代理人】

【識別番号】110002365

【氏名又は名称】弁理士法人サンネクスト国際特許事務所

(72)【発明者】

【氏名】岡村 拓

(72)【発明者】

【氏名】金子 聡

(57)【要約】

【課題】拠点全体において再エネ率を向上するように各拠点の電力需要を調整する。
【解決手段】拠点間ワークロード制御システムは、各拠点での将来の時間帯におけるワークロードの実行に伴う消費電力量から再生エネルギー電源の電力供給量を減算した超過電力量、各拠点での将来の時間帯のワークロードを他の拠点に移行する空間移行が可能な時間帯に関する空間移行可能時間帯情報、各拠点での将来の時間帯のワークロードを同一の拠点内で実行を遅延させて他の時間帯に移行する時間移行に関する時間移行可能時間情報、各拠点での将来の時間帯のワークロードの実行による消費電力量予測値を管理する。拠点間ワークロード制御システムは、これらの情報に基づいて、複数の拠点での将来の時間帯における超過電力量の総合計が小さくなるように、各拠点での将来の時間帯の各ワークロードの空間移行及び時間移行によって移動する電力調整量を決定する。
【選択図】図９

【特許請求の範囲】

【請求項1】

ワークロードを実行する計算資源及び再生エネルギー電源を有する複数の拠点と、該複数の拠点間及び同一の該拠点内での該ワークロードの移行を制御する拠点間ワークロード制御システムと、を有するデータセンタシステムであって、
前記拠点間ワークロード制御システムのプロセッサは、
各前記拠点での将来の時間帯における前記ワークロードの実行に伴う前記計算資源の消費電力量の予測値から前記再生エネルギー電源の電力供給量の予測値を減算した正値の超過電力量と、
各前記拠点での前記将来の時間帯に実行予定の前記ワークロードを他の前記拠点に移行する空間移行が可能な時間帯及び不可能な時間帯に関する空間移行可能時間帯情報と、
各前記拠点での前記将来の時間帯に実行予定の前記ワークロードを同一の該拠点内で実行を遅延させて他の時間帯に移行する時間移行に関する時間移行可能時間情報と、
各前記拠点での前記将来の時間帯に実行予定の前記ワークロードの実行に伴う前記計算資源の消費電力量の予測値である消費電力量予測値と、
を管理し、
前記空間移行可能時間帯情報、前記時間移行可能時間情報、及び前記消費電力量予測値に基づいて、前記複数の拠点での前記将来の時間帯における前記超過電力量の総合計がより小さくなるように、各前記拠点での前記将来の時間帯において実行予定の各前記ワークロードの前記空間移行及び前記時間移行によって移動する前記消費電力量予測値を示す電力調整量を決定し、
前記電力調整量に基づいて前記ワークロードの前記空間移行及び前記時間移行を実行する
ことを特徴とするデータセンタシステム。

【請求項2】

請求項１に記載のデータセンタシステムであって、
前記プロセッサは、
各前記拠点での前記将来の時間帯において前記超過電力量がある場合に、前記総合計がより小さくなるように、該超過電力量がある特定拠点での特定時間帯において実行予定の前記ワークロードの前記空間移行によって移動する前記電力調整量を決定し、
前記電力調整量を決定後に、前記特定拠点での前記特定時間帯において前記超過電力量がさらにある場合に、前記総合計がより小さくなるように、前記特定拠点での前記特定時間帯において実行予定の第１のワークロードの前記時間移行によって移動する前記消費電力量予測値を示す第１の電力調整量を決定する
ことを特徴とするデータセンタシステム。

【請求項3】

請求項２に記載のデータセンタシステムであって、
前記プロセッサは、
前記特定時間帯の次の前記時間帯に前記空間移行が可能な実行予定の第２のワークロードがあるか否かを判定し、
前記特定時間帯の次の前記時間帯に前記空間移行が可能な前記第２のワークロードがある場合に、該第２のワークロードの前記空間移行によって移動する前記消費電力量予測値を示す第２の電力調整量を、前記第１の電力調整量として決定する
ことを特徴とするデータセンタシステム。

【請求項4】

請求項３に記載のデータセンタシステムであって、
前記プロセッサは、
前記特定時間帯における前記超過電力量が、前記第２の電力調整量以下である場合には、該超過電力量を上限として、前記特定時間帯における該超過電力量の一部又は全部が次の前記時間帯に移動するように、前記第１の電力調整量を決定する
ことを特徴とするデータセンタシステム。

【請求項5】

請求項３に記載のデータセンタシステムであって、
前記プロセッサは、
前記特定時間帯における前記超過電力量が、前記第２の電力調整量を上回る場合には、該第２の電力調整量を上限として前記特定時間帯における該超過電力量の一部が次の前記時間帯に移動するように、前記第１の電力調整量を決定する
ことを特徴とするデータセンタシステム。

【請求項6】

請求項２に記載のデータセンタシステムであって、
前記電力調整量に基づいて、前記空間移行が可能な前記将来の時間帯において前記空間移行の対象とする前記ワークロードを決定し、
決定した前記ワークロードに対して前記空間移行を実行する
ことを特徴とするデータセンタシステム。

【請求項7】

請求項２に記載のデータセンタシステムであって、
前記第１の電力調整量に基づいて、前記空間移行が不可能な前記将来の時間帯において前記時間移行の対象とする前記ワークロードを決定し、
決定した前記ワークロードに対して前記時間移行を実行する
ことを特徴とするデータセンタシステム。

【請求項8】

ワークロードを実行する計算資源及び再生エネルギー電源を有する複数の拠点間及び同一の該拠点内での該ワークロードの移行を制御する拠点間ワークロード制御システムが実行する拠点間ワークロード制御方法であって、
前記拠点間ワークロード制御システムのプロセッサが、
各前記拠点での将来の時間帯における前記ワークロードの実行に伴う前記計算資源の消費電力量の予測値から前記再生エネルギー電源の電力供給量の予測値を減算した正値の超過電力量と、
各前記拠点での前記将来の時間帯に実行予定の前記ワークロードを他の前記拠点に移行する空間移行が可能な時間帯及び不可能な時間帯に関する空間移行可能時間帯情報と、
各前記拠点での前記将来の時間帯に実行予定の前記ワークロードを同一の該拠点内で実行を遅延させて他の時間帯に移行する時間移行に関する時間移行可能時間情報と、
各前記拠点での前記将来の時間帯に実行予定の前記ワークロードの実行に伴う前記計算資源の消費電力量の予測値である消費電力量予測値と、
を管理し、
前記空間移行可能時間帯情報、前記時間移行可能時間情報、及び前記消費電力量予測値に基づいて、前記複数の拠点での前記将来の時間帯における前記超過電力量の総合計がより小さくなるように、各前記拠点での前記将来の時間帯において実行予定の各前記ワークロードの前記空間移行及び前記時間移行によって移動する前記消費電力量予測値を示す電力調整量を決定し、
前記電力調整量に基づいて前記ワークロードの前記空間移行及び前記時間移行を実行する
各処理を有することを特徴とする拠点間ワークロード制御方法。

【請求項9】

ワークロードを実行する計算資源及び再生エネルギー電源を有する複数の拠点間及び同一の該拠点内での該ワークロードの移行を制御する拠点間ワークロード制御システムであって、
前記拠点間ワークロード制御システムのプロセッサは、
各前記拠点での将来の時間帯における前記ワークロードの実行に伴う前記計算資源の消費電力量の予測値から前記再生エネルギー電源の電力供給量の予測値を減算した正値の超過電力量と、
各前記拠点での前記将来の時間帯に実行予定の前記ワークロードを他の前記拠点に移行する空間移行が可能な時間帯及び不可能な時間帯に関する空間移行可能時間帯情報と、
各前記拠点での前記将来の時間帯に実行予定の前記ワークロードを同一の該拠点内で実行を遅延させて他の時間帯に移行する時間移行に関する時間移行可能時間情報と、
各前記拠点での前記将来の時間帯に実行予定の前記ワークロードの実行に伴う前記計算資源の消費電力量の予測値である消費電力量予測値と、
を管理し、
前記空間移行可能時間帯情報、前記時間移行可能時間情報、及び前記消費電力量予測値に基づいて、前記複数の拠点での前記将来の時間帯における前記超過電力量の総合計がより小さくなるように、各前記拠点での前記将来の時間帯において実行予定の各前記ワークロードの前記空間移行及び前記時間移行によって移動する前記消費電力量予測値を示す電力調整量を決定し、
前記電力調整量に基づいて前記ワークロードの前記空間移行及び前記時間移行を実行する
ことを特徴とする拠点間ワークロード制御システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、データセンタシステム、ＤＣ拠点間ワークロード制御方法、及びＤＣ拠点間ワークロード制御システムに関する。

【背景技術】

【0002】

地球温暖化の原因となっている二酸化炭素など温室効果ガスの排出を防ぐべく化石燃料からの脱却を目指す、いわゆる脱炭素化が注目されている。この点で、データセンタ（Data Center：ＤＣ）には、所定の処理負荷（ワークロード）を実行するための多数の情報処理装置や通信機器が設定されており、これらの稼働には多量の電力を必要とする。そこで、このような電力を再生可能エネルギーにより賄うことで、脱炭素化を達成しようとする試みがなされている。

【0003】

この場合、消費電力に対する再生可能エネルギーの利用割合（再生可能エネルギー利用率：再エネ率）を維持することが重要であるが、よりクリーンなＤＣを実現するためには、この再エネ率をより細かい時間粒度（例えば、日単位よりも時間単位）で維持することが好ましい。

【0004】

また、再生可能エネルギーは、その供給が天候などの要因に依存するため非常に不安定であるという問題があり、再生可能エネルギーへの依存度が高まるにつれて、電力供給事業者が安定的な電力供給を行うためにはより多くの調整力（電気の需要と供給を一致させるために必要な電力）を備える必要があり、電力供給事業者にとって負担となる。

【0005】

そこで、ＤＣで実行されるワークロードを時間的、もしくは、複数のＤＣ拠点（同一地域にあるＤＣの集まり）間において空間的に制御することによりＤＣで消費される電力をコントロールすることで、ＤＣの再エネ率を向上させる、またＤＣを電力系統に対する調整力として活用する試みがある。

【0006】

ここで、ワークロードを時間的に制御するとは、ワークロードの実行を同一のＤＣ拠点内で一時的に遅延する制御のことを指す。これにより、例えば、再生可能エネルギー供給が不足している時間帯から、再生可能エネルギー供給が余剰な時間帯に多数のワークロードを遅延することで、再エネ率を高めることができる。

【0007】

また、ワークロードを空間的に制御するとは、あるＤＣ拠点から、別のＤＣ拠点へとワークロードの実行場所を移動させることを指す。これにより、時間的な制御の場合と同様に、再生可能エネルギー供給が乏しいＤＣ拠点から、潤沢なＤＣ拠点へとワークロードを移動させることで、再エネ率を高めることができる。

【0008】

また、ＤＣ拠点で実行されるワークロードは、一般的にインタラクティブワークロードとバッチジョブの２種類に大別できる。インタラクティブワークロードは、Ｗｅｂアプリケーションなどリアルタイムでの処理を行う必要のあるものであり、基本的に常に実行状態にある。バッチジョブは画像処理、機械学習の学習処理など、必ずしも即座に処理を行う必要はなく、決められた時間までに実行すればよいものであり、その範囲内で処理を遅延できるものである。

【0009】

ここでインタラクティブなワークロードは空間的な制御は可能であるものの、処理を遅延できないので時間的な制御には向かない。一方でバッチジョブは、処理を遅延可能であるため、時間的な制御が可能である。そのため、以下ではわかりやすさのため、前者を空間移行向けワークロード、後者を時間移行向けワークロードと呼ぶこととする。

【0010】

特許文献１には、再生可能エネルギー供給量が不足すると予測されるＤＣ拠点から、再生可能エネルギー供給量が余剰になると予測されるＤＣへとワークロードの実行処理を移行することで、各ＤＣ拠点で発電した再生可能エネルギーを効率よく活用する技術が公開されている。

【先行技術文献】

【特許文献】

【0011】

【特許文献1】特開２０２１－１８９８４５号公報

【発明の概要】

【発明が解決しようとする課題】

【0012】

特許文献１の技術を用いれば、各ＤＣ拠点における再生可能エネルギー供給量に応じてワークロードの空間的な制御を行い、各ＤＣ拠点で実行するワークロードの割合を調整することができる。これにより、各ＤＣ拠点において再エネ率を向上することができる。

【0013】

しかしながら、ＤＣ拠点で実行されるワークロードは、常に自由にＤＣ拠点間を移行できるわけではない。ワークロードがＤＣ拠点間を移行する場合、少なからずそのワークロードにはダウンタイムが発生してしまうため、ワークロードを実行するユーザがＤＣ拠点間を移行できる時間帯を制限している場合がある。例えば、ワークロードがＷｅｂアプリケーションのようなものである場合、ユーザのアクセス頻度の高い時間帯ではダウンタイムが発生すると支障をきたすため、空間移行不可に設定される場合がある。そのような時間帯では、空間的にワークロードを制御できないため、ＤＣの電力需要を調整できない場合がある。

【0014】

本発明は、このような背景に鑑みてなされたものであり、その目的は、ワークロードの移行不可能時間帯を考慮しつつワークロードのＤＣ拠点間の空間制御とＤＣ拠点内での時間制御を実行することで、ＤＣ拠点全体において再エネ率を向上するようにＤＣの電力需要を調整することが可能なデータセンタシステム、ＤＣ拠点間ワークロード制御方法、及びＤＣ拠点間ワークロード制御システムを提供することを目的とする。

【課題を解決するための手段】

【0015】

上記課題を解決する一態様として、ワークロードを実行する計算資源及び再生エネルギー電源を有する複数の拠点と、該複数の拠点間及び同一の該拠点内での該ワークロードの移行を制御する拠点間ワークロード制御システムと、を有するデータセンタシステムであって、前記拠点間ワークロード制御システムのプロセッサは、各前記拠点での将来の時間帯における前記ワークロードの実行に伴う前記計算資源の消費電力量の予測値から前記再生エネルギー電源の電力供給量の予測値を減算した正値の超過電力量と、各前記拠点での前記将来の時間帯に実行予定の前記ワークロードを他の前記拠点に移行する空間移行が可能な時間帯及び不可能な時間帯に関する空間移行可能時間帯情報と、各前記拠点での前記将来の時間帯に実行予定の前記ワークロードを同一の該拠点内で実行を遅延させて他の時間帯に移行する時間移行に関する時間移行可能時間情報と、各前記拠点での前記将来の時間帯に実行予定の前記ワークロードの実行に伴う前記計算資源の消費電力量の予測値である消費電力量予測値と、を管理し、前記空間移行可能時間帯情報、前記時間移行可能時間情報、及び前記消費電力量予測値に基づいて、前記複数の拠点での前記将来の時間帯における前記超過電力量の総合計がより小さくなるように、各前記拠点での前記将来の時間帯において実行予定の各前記ワークロードの前記空間移行及び前記時間移行によって移動する前記消費電力量予測値を示す電力調整量を決定し、前記電力調整量に基づいて前記ワークロードの前記空間移行及び前記時間移行を実行することを特徴とする。

【発明の効果】

【0016】

本発明によれば、ワークロードの移行不可能時間帯を考慮しつつワークロードのＤＣ拠点間の空間制御とＤＣ拠点内での時間制御を実行することで、ＤＣ拠点全体において再エネ率を向上するようにＤＣの電力需要を調整することができる。

【図面の簡単な説明】

【0017】

【図1】本実施形態に係るデータセンタシステムの構成の一例を示す図である。

【図2】拠点管理計算機の構成の一例を説明する図である。

【図3】拠点間ワークロード制御システムの構成の一例を説明する図である。

【図4】再生可能エネルギー電力テーブルの一例を示す図である。

【図5】電力需要テーブルの一例を示す図である。

【図6】ワークロードテーブルの一例を示す図である。

【図7】空間電力移行テーブルの一例を示す図である。

【図8】需給調整量比率テーブルの一例を示す図である。

【図9】ワークロード制御計画処理の概要を説明するフロー図である。

【図10】各拠点データ更新処理の詳細を説明するフロー図である。

【図11】ワークロード制御実行処理を説明するフロー図である。

【図12】ワークロード再配置計画処理の詳細を説明するフロー図である。

【図13】時間移行する電力決定処理の詳細を説明するフロー図である。

【図14】ワークロード投入画面の一例を示す図である。

【発明を実施するための形態】

【0018】

以下、本発明の実施形態を図面に基づいて詳細に説明する。本実施形態は、本発明を実現するための一例に過ぎず、本発明の技術的範囲を限定するものではない。本実施形態において説明されている諸要素及びその組み合わせの全てが発明の解決手段に必須であるとは限らない。

【0019】

以下の説明では、同一の構成には原則として同一の符号を付け、繰り返しの説明は省略する。以下の説明における各構成要素の数は、注記がない限り、限定されない。以下の説明では、同一の構成要素を、区別して説明する場合には添え字を含んだ符号を用い、区別せず説明する場合には添え字を除外した符号を用いる。

【0020】

以下の説明では、プログラムが行う処理について説明する場合がある。コンピュータは、プロセッサ（例えばＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit））により、主記憶装置のメモリ等を用いながら、プログラムで定められた処理を行う。そのため、プログラムを実行して行う処理の主体を、プロセッサとしてもよい。プロセッサがプログラムを実行することで、処理を行う機能部が実現される。

【0021】

同様に、プログラムを実行して行う処理の主体が、プロセッサを有するコントローラ、装置、システム、計算機、ノードであってもよい。プログラムを実行して行う処理の主体は、演算部であればよく、特定の処理を行う専用回路を含んでいてもよい。専用回路は、例えばＦＰＧＡ（Field-Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）等である。

【0022】

以下の説明では、プログラムは、プログラムソースから計算機にインストールされてもよい。プログラムソースは、例えば、プログラム配布サーバ又は計算機が読取り可能な非一時的な記憶メディアであってもよい。プログラムソースがプログラム配布サーバの場合、プログラム配布サーバはプロセッサと配布対象のプログラムを記憶する記憶資源（ストレージ）を含み、プログラム配布サーバのプロセッサが配布対象のプログラムを他の計算機に配布してもよい。また、実施形態において、２以上のプログラムが１つのプログラムとして実現されてもよいし、１つのプログラムが２以上のプログラムとして実現されてもよい。

【0023】

以下の説明では、テーブル形式で各種データを説明する。しかしデータ形式はテーブル形式に限られず、キュー、リスト、ＣＳＶ（Comma Separated Value）といった他のデータ形式であってもよい。

【0024】

以下の説明では、何らかの対象を識別するための情報として、ＩＤ（識別子）、番号などが用いられるが、それに限らず、多種の識別情報が用いられてもよい。

【0025】

図１は、本実施形態に係るデータセンタシステムＳの構成の一例を示す図である。

【0026】

データセンタシステムＳは、１又は複数のＤＣ（Data Center）拠点１０００、並びに拠点間ワークロード制御システム１００００を含んで構成される。ＤＣ拠点１０００間は、広域ネットワーク９０００によって通信可能に接続される。

【0027】

ＤＣ拠点１０００は、拠点管理計算機２０００と、ＤＣ拠点１０００の管理者又は利用者（ユーザ）が利用する１又は複数のサーバ３０００と、ＤＣ拠点１０００の管理者又は利用者が利用する１又は複数のストレージ４０００とを備える。サーバ３０００及びストレージ４０００の間は、データネットワーク６０００で通信可能に接続されている。また、拠点管理計算機２０００、サーバ３０００、及びストレージ４０００の間は、管理ネットワーク５０００で通信可能に接続されている。

【0028】

なお、管理ネットワーク５０００、データネットワーク６０００、及び広域ネットワーク９０００は、例えば、インターネット、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、又は専用線等の有線又は無線の通信ネットワークである。

【0029】

拠点管理計算機２０００、サーバ３０００、及びストレージ４０００を駆動する電力は、ＤＣ拠点１０００内の電源母線８０００から供給されており、ＤＣ拠点１０００内の再エネ電源７０００又は外部からの系統電源１１０００によって給電が可能である。再エネ電源７０００は、ＤＣ拠点１０００内に設置されている太陽光、風力等の再生可能エネルギー発電設備であり、ＤＣ拠点１０００内で発電された電力はそのＤＣ拠点１０００内で使用可能である。

【0030】

サーバ３０００及びストレージ４０００は、前述した空間移行向けワークロード、時間移行向けワークロードなどの様々な種類の処理を実行する。

【0031】

拠点間ワークロード制御システム１００００は、ユーザから実行指示を受けたシステムへの処理負荷（ワークロード）を、各ＤＣ拠点１０００へと割り振る。また、各ＤＣ拠点で既に実行されているワークロードを別のＤＣ拠点へと適宜移行させる。

【0032】

拠点管理計算機２０００は、拠点間ワークロード制御システム１００００によって各ＤＣ拠点１０００に割り振られたワークロードを所定の時間間隔（タイムスロット）単位で管理しており、各ＤＣ拠点内でワークロードを実行するタイミングを制御する。

【0033】

なお、本実施形態では、ワークロードを、ジョブ（処理）そのものとして指す場合がある。また、以下では、「再生可能エネルギー」を「再エネ」と略することがある。また、以下では、タイムスロットの間隔は一時間とするが、タイムスロットの間隔はこの間隔に限らず、任意の時間間隔を設定することができる。

【0034】

図２は、拠点管理計算機２０００の構成の一例を説明する図である。

【0035】

拠点管理計算機２０００は、ＨＤＤ(Hard Disk Drive)、ＳＳＤ（Solid State Drive）などの記憶装置１２０００を備える。また拠点管理計算機２０００は、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ等の処理装置１３０００（プロセッサ）を備える。また拠点管理計算機２０００は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の主記憶装置１４０００（メモリ）を備える。また拠点管理計算機２０００は、ＮＩＣ（Network Interface Card）、無線通信モジュール、ＵＳＢ（Universal Serial Bus（登録商標）、以下同様）モジュール、又はシリアル通信モジュール等で構成される通信装置１５０００を備える。また拠点管理計算機２０００は、マウスやキーボード等で構成される入力装置１６０００、及び液晶ディスプレイもしくは有機ＥＬ（Electro-Luminescence）ディスプレイ等で構成される出力装置１７０００を備える。

【0036】

また、拠点管理計算機２０００は、拠点内ワークロード制御プログラム１２５００、電力需要予測プログラム１２６００、再生可能エネルギー予測プログラム１２７００の各プログラムを記憶している。

【0037】

拠点内ワークロード制御プログラム１２５００は、そのＤＣ拠点１０００における将来のタイムスロットでの消費電力量の予測値等に基づき、再エネ率が最大化されるように将来のタイムスロットにおける消費電力量の目標値を算出する。また、決定した消費電力量の目標値に基づき、将来のタイムスロットにおける各ワークロードの実行タイミングを決定し、決定したタイミングで各ワークロードを実行する。

【0038】

電力需要予測プログラム１２６００は、将来のタイムスロットにおける、ＤＣ拠点１０００で消費される電力量の予測値を算出する。

【0039】

再生可能エネルギー予測プログラム１２７００は、将来のタイムスロットにおける、ＤＣ拠点１０００に供給される再生可能エネルギーの電力量の予測値を算出する。ＤＣ拠点１０００に供給される再生可能エネルギーは、再エネ電源７０００で発電されたものでもよいし、ＰＰＡ（Power Purchase Agreement）などにより供給されるものでもよい。

【0040】

さらに、拠点管理計算機２０００は、再生可能エネルギー電力テーブル１２１００、電力需要テーブル１２２００、ワークロードテーブル１２３００、空間電力移行テーブル１２４００の各データベースを記憶している。

【0041】

再生可能エネルギー電力テーブル１２１００は、各タイムスロットにおける、再生可能エネルギー予測プログラム１２７００が予測した、再生可能エネルギーの供給量の予測値及び、その実績値を格納している。

【0042】

電力需要テーブル１２２００は、各タイムスロットにおけるＤＣ拠点１０００で消費される電力量の予測値及び実績値、及び、消費電力目標値を格納している。

【0043】

ワークロードテーブル１２３００は、ＤＣ拠点１０００で実行される各ワークロードの消費電力予測値及び実績値、実行スケジュール、空間移行可能時間、空間移行不可能時間等に関する情報を記憶し蓄積している。サーバ３０００及びストレージ４０００は、このワークロードテーブル１２３００に従って各ワークロードを実行する。

【0044】

空間電力移行テーブル１２４００は、各タイムスロットにおいて、あるＤＣ拠点１０００から別のＤＣ拠点１０００へと再配置する空間移行向けワークロードの電力量の情報を格納している。

【0045】

図３は、拠点間ワークロード制御システムの構成の一例を説明する図である。

【0046】

拠点間ワークロード制御システム１００００は、ＨＤＤ、ＳＳＤなどの記憶装置１８０００、ＣＰＵ、ＤＳＰ、ＧＰＵ、ＦＰＧＡ等の処理装置１９０００（プロセッサ）、及びＲＯＭ、ＲＡＭ等の主記憶装置２００００（メモリ）を備える。また拠点間ワークロード制御システム１００００は、ＮＩＣ、無線通信モジュール、ＵＳＢモジュール、又はシリアル通信モジュール等で構成される通信装置２１０００を備える。また拠点間ワークロード制御システム１００００は、マウスやキーボード等で構成される入力装置２２０００、及び液晶ディスプレイもしくは有機ＥＬディスプレイ等で構成される出力装置２３０００を備える。

【0047】

また、拠点間ワークロード制御システム１００００は、拠点間初期配置プログラム１８３００、拠点間再配置プログラム１８４００、拠点間データ収集プログラム１８５００の各プログラムを記憶している。

【0048】

拠点間初期配置プログラム１８３００は、各ＤＣ拠点１０００での将来のタイムスロットにおける再生可能エネルギー供給量及び電力需要に基づき、その将来のタイムスロットにおいて各ＤＣ拠点にどの比率でワークロードの初期配置を行うかを算出する。そして、その時刻には、算出した比率に基づき、各ＤＣ拠点１０００にワークロードを割り振る制御を行う。

【0049】

拠点間再配置プログラム１８４００は、将来のタイムスロットにおいて、あるＤＣ拠点で既に実行されている空間移行向けワークロードの内どれくらいの電力量を別のＤＣ拠点へ再配置するかを決定する。この電力量は、各ＤＣ拠点１０００での将来のタイムスロットにおける再生可能エネルギー供給量、電力需要、空間移行可能時間帯、及び、空間移行不可能時間帯の情報に基づいて決定される。そして、その将来のタイムスロットの時刻には、ワークロードの再配置を行う。

【0050】

拠点間データ収集プログラム１８５００は、各ＤＣ拠点１０００において電力需要予測プログラム１２６００及び再生可能エネルギー予測プログラム１２７００によって予測された電力需要及び再生可能エネルギー供給量の情報を収集する。

【0051】

さらに、拠点間ワークロード制御システム１００００は、各拠点データ１８１００、需給調整量比率テーブル１８２００の各データベースを記憶している。

【0052】

各拠点データ１８１００は、各ＤＣ拠点から収集した電力需要、再生可能エネルギー供給量等の情報を格納している。

【0053】

需給調整量比率テーブル１８２００は、各タイムスロットにおいて、初期配置するワークロードをどのＤＣ拠点へどれくらいの比率で配置するかを表す需給調整量比率を格納している。

【0054】

次に、各データベースの具体例を説明する。

【0055】

（再生可能エネルギー電力テーブル）
図４は、ＤＣ拠点１０００毎の再生可能エネルギー電力テーブル１２１００の一例を示す図である。再生可能エネルギー電力テーブル１２１００は、タイムスロットの識別情報が設定されるタイムスロットＩＤ１２１１０、タイムスロットの開始時刻が設定される時刻１２１２０のデータ項目を有する。また再生可能エネルギー電力テーブル１２１００は、対象時刻における再生可能エネルギー供給量の予測値が設定される再生可能エネルギー供給量予測１２１３０のデータ項目を有する。また再生可能エネルギー電力テーブル１２１００は、対象時刻において実際に測定された再生可能エネルギー供給量の実測値が設定される再生可能エネルギー供給量実測１２１４０のデータ項目を有する。再生可能エネルギー電力テーブル１２１００は、これらのデータ項目を有する１以上のレコードで構成される。

【0056】

再生可能エネルギー供給量予測１２１３０は、各ＤＣ拠点１０００での将来の時間帯（タイムスロット）における再生エネルギー電源（再エネ電源７０００）が供給する電力供給量、及びＰＰＡなどにより外部から供給・購入する電力量の予測値である。

【0057】

なお、再生可能エネルギー電力テーブル１２１００における各予測値及び実測値は、ユーザが入力するようにしてもよいし、所定のデータベースから自動的に取得されてもよい。

【0058】

（電力需要テーブル）
図５は、ＤＣ拠点１０００毎の電力需要テーブル１２２００の一例を示す図である。電力需要テーブル１２２００は、タイムスロットの識別情報が設定されるタイムスロットＩＤ１２２１０、タイムスロットの開始時刻が設定される時刻１２２２０のデータ項目を有する。また電力需要テーブル１２２００は、対象時刻におけるＤＣ拠点１０００の消費電力量の予測値が設定されるＤＣ消費電力量予測１２２３０のデータ項目を有する。また電力需要テーブル１２２００は、対象時刻において実際に測定されたＤＣ拠点１０００の消費電力量の実測値が設定されるＤＣ消費電力量実測１２２４０のデータ項目を有する。また電力需要テーブル１２２００は、対象時刻において拠点内ワークロード制御プログラム１２５００が実際にワークロードのデプロイを行う際の目標となる電力量を表す消費電力目標値１２２５０のデータ項目を有する。電力需要テーブル１２２００は、これらのデータ項目を有する１以上のレコードで構成される。

【0059】

ＤＣ消費電力量予測１２２３０は、各ＤＣ拠点１０００での将来の時間帯（タイムスロット）におけるワークロードの実行に伴う計算資源（サーバ３０００、ストレージ４０００）及び不図示のネットワーク機器、空調などを含めた消費電力量の予測値である。

【0060】

なお、電力需要テーブル１２２００における各予測値及び実測値は、ユーザが入力するようにしてもよいし、所定のデータベースから自動的に取得されてもよい。

【0061】

（ワークロードテーブル）
図６は、ワークロードテーブル１２３００の一例を示す図である。ワークロードテーブルには、各ＤＣ拠点１０００において、拠点間ワークロード制御システム１００００を通じて割り振られたワークロードの情報が記載される。ワークロードテーブル１２３００は、ワークロードの識別情報が設定されるワークロードＩＤ１２３０５、ワークロードにおける消費電力量の予測値が設定される消費電力量予測１２３１０のデータ項目を有する。またワークロードテーブル１２３００は、ワークロードにおける消費電力量の実測値が設定される消費電力実測１２３１５、ワークロードの情報が拠点管理計算機２０００に投入された時間が設定される投入時間１２３２０のデータ項目を有する。またワークロードテーブル１２３００は、時間移行向けワークロードの場合、そのワークロードの実行を開始しても良い時刻を表す実行スケジュール１２３２５のデータ項目を有する。またワークロードテーブル１２３００は、そのワークロードについて、拠点内ワークロード制御プログラム１２５００により実行スケジュール１２３２５から変更された（遅延された）実行タイミングが設定される変更後実行スケジュール１２３３０のデータ項目を有する。またワークロードテーブル１２３００は、ワークロードが時間移行向けワークロードである場合の遅延可能な時間を表す遅延可能時間１２３３５、ワークロードを実行可能なＤＣ拠点１０００が設定される実行可能拠点１２３４０のデータ項目を有する。時間移行向けワークロードに関して、遅延可能時間１２３３５が０である場合または遅延する必要がないと拠点内ワークロード制御プログラム１２５００が判断した場合、変更後実行スケジュール１２３３０はｎ／ａとなり、実行スケジュール１２３２５の時刻にワークロードが実行される。遅延可能時間１２３３５が十分長く設定されており、拠点内ワークロード制御プログラム１２５００がそのワークロードを遅延すると判断した場合、変更後実行スケジュール１２３３０に時刻が書き込まれその時刻にワークロードが実行される。またワークロードテーブル１２３００は、ワークロードが空間移行向けワークロードである場合の空間移行可能な時間帯が設定される空間移行可能時間帯１２３４５のデータ項目を有する。またワークロードテーブル１２３００は、ワークロードが空間移行向けワークロードである場合の空間移不可能な時間帯が設定される空間移行不可能時間帯１２３５０のデータ項目を有する。またワークロードテーブル１２３００は、ワークロードの実行状態が設定される実行ステータス１２３５５のデータ項目を有する。ワークロードテーブル１２３００は、これらのデータ項目を有する１以上のレコードで構成される。

【0062】

遅延可能時間１２３３５は、各ＤＣ拠点での将来の時間帯（タイムスロット）に実行予定のワークロードを同一のＤＣ拠点１０００内で実行を遅延させて他の時間帯（タイムスロット）に移行する時間移行に関する時間移行可能時間情報である。

【0063】

空間移行可能時間帯１２３４５は、各ＤＣ拠点１０００での将来の時間帯（タイムスロット）に実行予定のワークロードを他のＤＣ拠点１０００に移行する空間移行が可能な時間帯に関する情報である。空間移行不可能時間帯１２３５０は、各ＤＣ拠点１０００での将来の時間帯（タイムスロット）に実行予定のワークロードを他のＤＣ拠点１０００に移行する空間移行が不可能な時間帯に関する情報である。空間移行可能時間帯１２３４５及び空間移行不可能時間帯１２３５０は、空間移行可能時間帯情報である。

【0064】

時間移行向けワークロードの場合、ユーザは、実行スケジュール１２３２５及び、その実行スケジュール１２３２５から遅延しても良い最大の時間を表す遅延可能時間１２３３５、実行可能拠点１２３４０を記述してワークロードの投入を行う。また、空間移行向けワークロードの場合、ユーザは、空間移行可能時間帯１２３４５及び空間移行不可能時間帯１２３５０を記述してワークロードの投入を行う。空間移行向けワークロードの場合は、ワークロードは投入された時刻に即時実行されるため、実行スケジュール１２３２５及び遅延可能時間１２３３５の情報は持たない。

【0065】

（空間電力移行テーブル）
図７は、空間電力移行テーブル１２４００の一例を示す図である。空間電力移行テーブル１２４００は、タイムスロットの識別情報が設定されるタイムスロットＩＤ１２４１０、タイムスロットの開始時刻が設定される時刻１２４２０のデータ項目を有する。また空間電力移行テーブル１２４００は、対象時刻において、自身以外のＤＣ拠点１０００へ再配置する空間移行向けワークロードの電力量を表すＤＣ拠点（Ｎ）１２４３０のデータ項目を有する。空間電力移行テーブル１２４００は、これらのデータ項目を有する１以上のレコードで構成される。

【0066】

ＤＣ拠点（Ｎ）１２４３０に保存される列の数は、このテーブルが保存されているＤＣ拠点１０００自身を除く他のＤＣ拠点１０００の数に等しくなる。例えば、ＤＣ拠点１０００の数がＭであるとすると、ＤＣ拠点（Ｎ）１２４３０に保存される列の数はＭ－１となる。

【0067】

（需給調整量比率テーブル）
図８は、需給調整量比率テーブル１８２００の一例を示す図である。需給調整量比率テーブル１８２００は、タイムスロットの識別情報が設定されるタイムスロットＩＤ１８２１０、タイムスロットの開始時刻が設定される時刻１８２２０のデータ項目を有する。また需給調整量比率テーブル１８２００は、対象時刻において、拠点間ワークロード制御システム１００００に投入されたワークロードを、各ＤＣ拠点１０００へどの比率で割り振るのかを表すＤＣ拠点（Ｎ）１８２３０のデータ項目を有する。需給調整量比率テーブル１８２００は、これらのデータ項目を有する１以上のレコードで構成される。

【0068】

ＤＣ拠点（Ｎ）１８２３０に保存される列の数は、ＤＣ拠点１０００の数に等しくなる。例えば、ＤＣ拠点１０００がＭであるとすると、ＤＣ拠点（Ｎ）１８２３０に保存される列の数はＭ個となる。

【0069】

以上に説明した各プログラムは、拠点管理計算機２０００で実行されるものであれば、処理装置１３０００が（主記憶装置１４０００又は記憶装置１２０００に格納されている当該プログラムを）読み出すことにより実行される。同様に、拠点間ワークロード制御システム１００００で実行されるものであれば、処理装置１９０００が（主記憶装置２００００又は記憶装置１８０００に格納されている当該プログラムを）読み出すことにより実行される。各プログラムは、例えば、記録媒体に記録して配布することができる。

【0070】

なお、拠点管理計算機２０００及び拠点間ワークロード制御システム１００００は、その全部又は一部が、仮想化技術やプロセス空間分離技術等を用いて提供される仮想的な情報処理資源を用いて実現されるものでもよい。例えばクラウドシステムによって提供される仮想サーバでもよい。また、拠点管理計算機２０００及び拠点間ワークロード制御システム１００００によって提供される機能の全部又は一部は、例えば、クラウドシステムがＡＰＩ（Application Programming Interface）等を介して提供するサービスによって実現してもよい。

【0071】

次に、拠点管理計算機２０００及び拠点間ワークロード制御システム１００００が実行する処理について説明する。

【0072】

＜ワークロード制御計画処理＞
図９は、ＤＣ拠点１０００において、将来のタイムスロットにおけるワークロードをどのように制御するかを事前に計画する処理であるワークロード制御計画処理の概要を説明するフロー図である。ワークロード制御は、ワークロード制御計画処理（図９）と、後述するワークロード制御実行処理（図１１）の２つを繰り返すことで実行される。

【0073】

先ずワークロード制御計画処理は、実際にワークロードを制御する前段階において、所定の時刻（例えば、１日ごと）、所定の時間間隔（例えば、各タイムスロットの開始の所定時分前）、又は所定のタイミング（ユーザから指定された時刻）で繰り返し実行される。例えば、実際にワークロードを制御する前日の段階において、次の日におけるワークロードをどのように制御するかを計画する。しかし、前日の段階では、制御当日にどのようなワークロードが投入されるかを正確に知ることはできない。そのため、個別のワークロードについての制御計画を立てるのではなく、将来の各タイムスロットにおいて、ワークロードが消費すると予測されている電力量の内どれだけの電力量又は割合を制御すればよいかという大まかな方針を立てる。制御とは、時間的な移行もしくは空間的な移行である。

【0074】

拠点間ワークロード制御システム１００００は、投入されたワークロードを将来の各タイムスロットにおいて、どれくらいの割合で割り振ればよいかの比率を表す需給調整量比率を算出する。また、あるＤＣ拠点１０００で実行済の空間制御向けワークロードが消費する電力量の内どのくらいの量を他のＤＣ拠点１０００へ移行すればよいかという計画を立てる。

【0075】

拠点管理計算機２０００は、将来の各タイムスロットにおいて、ＤＣ拠点１０００内で時間移行向けワークロードが消費する電力量をどのように時間的に制御すればよいかを計画する。

【0076】

その後、ワークロード制御実行処理では、実際にタイムスロットの時刻において、ワークロード制御計画処理で計画された空間制御及び時間制御の方針（どれくらいの電力量を時間的もしくは空間的に移行するか）に基づき、個別のワークロードの制御を行う。

【0077】

まず、ステップＳ１０００では、拠点管理計算機２０００は、各ＤＣ拠点１０００における再生可能エネルギー供給量、ＤＣ消費電力量の予測と、これらの過去データの蓄積を行う各拠点データ更新処理を実行する。各拠点データ更新処理（Ｓ１０００）の詳細は後述する。

【0078】

次にステップＳ２０００では、拠点間ワークロード制御システム１００００における拠点間データ収集プログラム１８５００は、更新データを収集し、各拠点データ１８１００に格納する。更新データは、ステップＳ１０００において更新された全てのＤＣ拠点１０００における再生可能エネルギー供給量、ＤＣ消費電力量の予測値及び実績値である。

【0079】

次にステップＳ３０００では、拠点間ワークロード制御システム１００００における拠点間初期配置プログラム１８３００は、ステップＳ２０００で収集した各ＤＣ拠点１０００の情報に基づき、将来のタイムスロットにおける需給調整量比率を算出する。そして、需給調整量比率テーブル１８２００におけるＤＣ拠点（Ｎ）１８２３０へと格納する。需給調整量比率の算出方法は、例えば、特許文献１に記載されているように、各ＤＣ拠点１０００における再生可能エネルギー供給量と消費電力量の需給バランスに基づいて算出してもよいし、他の方法を用いてもよい。

【0080】

また、各ＤＣ拠点１０００において、拠点管理計算機２０００は、拠点間ワークロード制御システム１００００が決定した需給調整量比率及び当該拠点における再生可能エネルギー供給量、ＤＣ消費電力量の予測値に基づき将来のタイムスロットにおける目標消費電力量を算出する。そして、電力需要テーブル１２２００における消費電力目標値１２２５０へと格納する。目標消費電力量の算出方法は、再エネ率が向上するような電力量の決定方法であれば、任意の方法を用いてもよい。

【0081】

次にステップＳ４０００では、拠点間ワークロード制御システム１００００における拠点間再配置プログラム１８４００は、ワークロード再配置計画処理を実行する。ワークロード再配置計画処理では、将来のタイムスロットにおける、各ＤＣ拠点１０００において既に実行済みのワークロードを別のＤＣ拠点１０００へ再配置する計画を立てる。ワークロード再配置計画処理（Ｓ４０００）の詳細は後述する。

【0082】

次にステップＳ５０００では、ステップＳ４０００において、拠点間ワークロード制御システム１００００によって更新された各ＤＣ拠点１０００の制御パラメータを各ＤＣ拠点１０００と同期する。以上の処理が繰り返し実行される。

【0083】

＜各拠点データ更新処理＞
次に、各拠点データ更新処理（Ｓ１０００）の詳細を説明する。図１０は、各拠点データ更新処理（Ｓ１０００）の詳細を説明するフロー図である。この処理は、全てのＤＣ拠点１０００で実行される。

【0084】

先ずステップＳ１１００では、再生可能エネルギー予測プログラム１２７００は、現在より後の各タイムスロットにおける再生可能エネルギーの供給量を予測する。具体的には、例えば、再生可能エネルギー予測プログラム１２７００は、再生可能エネルギー電力テーブル１２１００の各レコードの時刻１２１２０、再生可能エネルギー供給量実測１２１４０の各値を取得する。そして、取得した値について所定のアルゴリズム（例えば、時系列解析を実行したり、機械学習により予測モデルを作成したりする等）に基づき、現在より後の各タイムスロットにおける再生可能エネルギー供給量を予測する。再生可能エネルギー予測プログラム１２７００は、予測した各供給量を、再生可能エネルギー電力テーブル１２１００の各タイムスロットのレコードの再生可能エネルギー供給量予測１２１３０に格納する。

【0085】

なお、再生可能エネルギー予測プログラム１２７００が再生可能エネルギー供給量の予測に用いるデータは、ここで示した再生可能エネルギー供給量の実測値に限るものではない。すなわちそのＤＣ拠点１０００における気象データなどの他の情報を組み合わせて使用してもよい。

【0086】

また、再生可能エネルギー予測プログラム１２７００は、過去のタイムスロットにおける再生可能エネルギーの供給量を所定の装置（例えば、外部のデータベース又はサーバ）から取得する。そして、取得した供給量を、再生可能エネルギー電力テーブル１２１００の当該タイムスロットに関わるレコードの再生可能エネルギー供給量実測１２１４０に実績値として格納する。

【0087】

次にステップＳ１２００では、電力需要予測プログラム１２６００は、現在より後の各タイムスロットにおける消費電力量を予測する。具体的には、例えば、電力需要予測プログラム１２６００は、電力需要テーブル１２２００の各レコードの時刻１２２２０、ＤＣ消費電力量実測１２２４０の各値を取得する。そして、取得した値について所定のアルゴリズム（例えば、時系列解析を実行する、機械学習により予測モデルを作成する）に基づき、現在より後の各タイムスロットにおけるＤＣ拠点全体の消費電力量を予測する。電力需要予測プログラム１２６００は、予測した各消費電力量を、電力需要テーブル１２２００の各タイムスロットのレコードのＤＣ消費電力量予測１２２３０に格納する。

【0088】

なお、電力需要予測プログラム１２６００が消費電力量の予測に用いるデータは、ここで示した消費電力量の実測値に限るものではなく、そのＤＣ拠点１０００における気象データなどの他の情報を組み合わせて使用してもよい。

【0089】

また、電力需要予測プログラム１２６００は、過去のタイムスロットにおけるＤＣ拠点１０００におけるＤＣ拠点全体の消費電力量を所定の装置（例えば、外部のデータベース又はサーバ）から取得する。そして、取得した消費電力量を、電力需要テーブル１２２００の当該タイムスロットに関わるレコードのＤＣ消費電力量実測１２２４０に実績値として格納する。

【0090】

＜ワークロード制御実行処理＞
ワークロード制御実行処理は、ワークロード制御計画処理で計画された各タイムスロットにおける制御方針に基づき、個別のワークロードについて、どのＤＣ拠点１０００でいつ実行するかを決定し、実行する処理である。ワークロード制御実行処理は、ワークロード初期配置制御処理と、ワークロード再配置制御処理の２つの処理から成る。ワークロード初期配置制御処理は、実行前のワークロードに対する制御処理であり、ワークロード再配置制御処理は、既にいずれかのＤＣ拠点１０００で実行されているワークロードに対する制御処理である。

【0091】

図１１は、ワークロード制御実行処理を説明するフロー図である。

【0092】

まずステップＳ６０００では、拠点間初期配置プログラム１８３００及び拠点内ワークロード制御プログラム１２５００は、ワークロード初期配置制御処理を行う。

【0093】

ユーザがいずれかのＤＣ拠点１０００において実行したいワークロードがある場合、拠点間ワークロード制御システム１００００へワークロードの投入指示を行う。この時、ユーザは実行するワークロードの特性を考慮した上で、そのワークロードの実行を許すＤＣ拠点１０００を明記する。例えば、ＤＣ拠点１、２だけがレイテンシ等のＳＬＡ（Service Level Agreement）を満たすため、ＤＣ拠点１、２への配置は許すが、その他のＤＣ拠点１０００への配置は不可とするなどが考えられる。また、ワークロードが時間移行向けワークロードの場合、どれくらいまで投入から実行までの遅延を許すか等の情報を明記する。

【0094】

拠点間初期配置プログラム１８３００は、ワークロード制御計画処理のステップＳ３０００で算出した需給調整量比率１８２３０及びどのＤＣ拠点１０００へ配置可能かの情報に基づき、ワークロードをどのＤＣ拠点１０００へ配置するかを決定する。

【0095】

拠点間初期配置プログラム１８３００によって、いずれかのＤＣ拠点１０００へ割り振られたワークロードは、それが空間制御向けワークロードであれば即座に実行される。時間制御向けワークロードであれば、拠点内ワークロード制御プログラム１２５００は、ワークロードの消費電力量予測１２３１０に基づき、時間制御向けワークロードの適切な実行時刻を決定し変更後実行スケジュール１２３３０へ格納する。その際、遅延可能時間１２３３５の情報を考慮し、各タイムスロットにおける消費電力量が消費電力目標値１２２５０にできるだけ近くなるようにする。そして、その後変更後実行スケジュール１２３３０に設定された時刻になるとそのワークロードを実行する。

【0096】

この拠点間初期配置プログラム１８３００が行うＤＣ拠点１０００への配置制御と、拠点内ワークロード制御プログラム１２５００が行う時間制御を合わせてワークロード初期配置制御処理と呼ぶ。

【0097】

次にステップＳ７０００では、拠点間再配置プログラム１８４００は、ワークロード再配置制御処理を行う。拠点間再配置プログラム１８４００は、ワークロードの消費電力量予測１２３１０に基づき、空間電力移行テーブル１２４００のＤＣ拠点（Ｎ）１２４３０に格納されている電力量に近くなるように各ＤＣ拠点１０００へ移行するワークロードを決定する。そして拠点間再配置プログラム１８４００は、実際に移行を行う。

【0098】

＜ワークロード再配置計画処理＞
図１２は、ワークロード再配置計画処理（Ｓ４０００）の詳細を説明するフロー図である。

【0099】

先ずステップＳ４１１０では、拠点間再配置プログラム１８４００は、ＤＣ拠点１０００の内、最初の一つを選択する。これはどのＤＣ拠点１０００を選択してもよい。

【0100】

次にステップＳ４１２０では、拠点間再配置プログラム１８４００は、直近のタイムスロットを選択する。具体的には、拠点間再配置プログラム１８４００は、再生可能エネルギー電力テーブル１２１００を参照し、時刻１２１２０が現在時刻に最も近い将来の時刻を示しているレコードを選択する。

【0101】

次にステップＳ４１３０では、拠点間再配置プログラム１８４００は、現在対象とするタイムスロットにおいて電力超過があるか否かを判定する。電力超過（超過電力量）は、各ＤＣ拠点１０００での将来の時間帯（タイムスロット）におけるワークロードの実行に伴う計算資源及び不図示のネットワーク機器、空調などを含めた消費電力量の予測値から再生エネルギー電源（再エネ電源７０００）の電力供給量の予測値を減算した正値である。ここで計算資源は、サーバ３０００、及びストレージ４０００である。

【0102】

具体的には、対象とするタイムスロットにおいて、消費電力目標値１２２５０－再生可能エネルギー供給量予測１２１３０が０以上であるか否かを判定する。消費電力目標値１２２５０－再生可能エネルギー供給量予測１２１３０が０以上であれば、電力超過があると判定し、拠点間再配置プログラム１８４００は、ステップＳ４１４０へと進む。そうでなければ、電力超過はないとみなし、ステップＳ４１６０へと進む。

【0103】

ステップＳ４１４０では、拠点間再配置プログラム１８４００は、現在対象とするタイムスロットにおいて空間再配置する電力量を、データセンタシステムＳ全体で全てのＤＣ拠点１０００における電力超過の総合計がより小さくなるように決定する。好ましくは総合計が最小になるようにする。拠点間再配置プログラム１８４００は、ワークロード制御計画処理におけるステップＳ２０００で収集した各ＤＣ拠点１０００の再エネ供給量、消費電力量のデータ、及び空間移行向けワークロードの空間移行可能時間帯１２３４５、空間移行不可能時間帯１２３５０に基づき、現在対象とするＤＣ拠点１０００から別のＤＣ拠点１０００へ移行する電力量を決定する。移行先のＤＣ拠点１０００は一つである必要はなく、複数であってもよい。

【0104】

ステップＳ４１５０では、拠点間再配置プログラム１８４００は、ステップＳ４１４０で移行した電力量の分だけ、現在対象とするＤＣ拠点１０００における電力需要テーブル１２２００のＤＣ消費電力量予測１２２３０、及び、消費電力目標値１２２５０を減少させる。また、移行先のＤＣ拠点１０００において、移行した分だけ電力需要テーブル１２２００のＤＣ消費電力量予測１２２３０、及び、消費電力目標値１２２５０を増加させる。

【0105】

ステップＳ４１６０では、拠点間再配置プログラム１８４００は、現在対象とするタイムスロットが最後のタイムスロットか否かを判定する。これが最後のタイムスロットであれば、拠点間再配置プログラム１８４００は、ステップＳ４２１０へ進み、そうでなければ、ステップＳ４１７０へと進む。

【0106】

ワークロード制御計画処理において、将来のどこまでのタイムスロットを計画の対象にするかはユーザが事前に決定して拠点間ワークロード制御システム１００００の記憶装置１８０００に保存されているとする。例えば、次の一日分のワークロード制御計画を立てるのであれば、最後のタイムスロットとなるのは２４時間後のタイムスロットである。

【0107】

ステップＳ４１７０では、拠点間再配置プログラム１８４００は、ステップＳ４１３０と同様にして、再度、現在対象とするタイムスロットにおいて電力超過があるか否かを判定する。電力超過があると判定すれば、拠点間再配置プログラム１８４００は、ステップＳ４１８０へと進む。そうでなければ、ステップＳ４２００へと進む。

【0108】

ステップＳ４１８０では、拠点間再配置プログラム１８４００は、現在対象とするタイムスロットにおいて空間移行不可能になっているワークロードがあるか否かを判定する。具体的には、拠点間再配置プログラム１８４００は、ワークロードテーブル１２３００の実行ステータス１２３５５が実行中かつ空間移行不可能時間帯１２３５０に設定されている時間が現在対象のタイムスロットの時刻を含むワークロードが存在するかを判定する。拠点間再配置プログラム１８４００は、そのようなワークロードが存在すれば、ステップＳ４１９０へと進み、そうでなければ、ステップＳ４２００へと進む。

【0109】

ステップＳ４２００では、拠点間再配置プログラム１８４００は、現在対象としているタイムスロットの次の時刻のタイムスロットを対象としステップＳ４１３０へ進む。

【0110】

ステップＳ４２１０では、拠点間再配置プログラム１８４００は、全てのＤＣ拠点１０００について対象にしたか否かを判定する。全てのＤＣ拠点１０００を対象にし終えていればワークロード再配置計画処理を終了する。まだ対象にしていないＤＣ拠点１０００があれば、ステップＳ４２２０へと進む。

【0111】

ステップＳ４２２０では、拠点間再配置プログラム１８４００は、まだ対象にしていないＤＣ拠点１０００から適当に一つを選択し、それを次の対象とする。その後、拠点間再配置プログラム１８４００は、ステップＳ４１２０へと進む。

【0112】

＜時間移行電力量決定処理＞
図１３は、時間移行電力量決定処理（Ｓ４１９０）の詳細を説明するフロー図である。

【0113】

先ずステップＳ４３１０では、拠点間再配置プログラム１８４００は、現在対象としているタイムスロットの次のタイムスロットを対象とする。時間移行電力量決定処理（Ｓ４１９０）で対象にするタイムスロットは、ワークロード再配置計画処理（Ｓ４０００）で対象にしているタイムスロットとは独立に保持される。例えば、ワークロード再配置計画処理（Ｓ４０００）であるタイムスロットが対象になっており、時間移行電力量決定処理（Ｓ４１９０）においてステップＳ４３１０の処理が初めて実行されるとする。この場合、拠点間再配置プログラム１８４００は、ワークロード再配置計画処理（Ｓ４０００）で対象としているタイムスロットの時刻の次のタイムスロットを対象に取る。

【0114】

しかし、それによってワークロード再配置計画処理（Ｓ４０００）において、拠点間再配置プログラム１８４００が保持しているタイムスロット自体が変わることはない。また、時間移行電力量決定処理（Ｓ４１９０）において、ステップS４３１０が２回目以降実行される場合、拠点間再配置プログラム１８４００は、前回対象とした次の時刻のタイムスロットを対象とする。

【0115】

図１３の説明の中では、「現在対象とするタイムスロット」は、時間移行電力量決定処理（Ｓ４１９０）の中で対象としているタイムスロットのことを指すものとする。すなわちワークロード再配置計画処理（Ｓ４０００）で対象にしているタイムスロットとは異なるものを指す。

【0116】

次にステップＳ４３２０では、拠点間再配置プログラム１８４００は、現在対象とするタイムスロットで空間移行不可能時間から空間移行可能時間へと変更になるワークロードを取得する。具体的には、拠点間再配置プログラム１８４００は、ワークロードテーブル１２３００の実行ステータス１２３５５、空間移行可能時間帯１２３４５、及び、空間移行不可能時間帯１２３５０を参照する。そして、実行ステータス１２３５５が実行中、かつ、現在対象とするタイムスロットが空間移行可能時間帯１２３４５に含まれ、かつ、その前のタイムスロットが空間移行不可能時間帯１２３５０に含まれる空間移行向けワークロードのレコードを取得する。

【0117】

ステップＳ４３３０では、拠点間再配置プログラム１８４００は、ステップＳ４３２０で取得した空間移行向けワークロードが別のＤＣ拠点１０００へ移行可能か否かを判定する。拠点間再配置プログラム１８４００は、各拠点データ１８１００に保存されているＤＣ拠点１０００の再エネ供給量、消費電力量及び目標消費電力量等から、ステップＳ４３２０で取得した空間移行向けワークロードに移行先のＤＣ拠点１０００があるかを判定する。一つのワークロードでも移行先がある場合は、ステップＳ４３４０へ進み、そうでなければ、ステップＳ４３６０へと進む。

【0118】

ステップＳ４３４０では、拠点間再配置プログラム１８４００は、そのタイムスロットへ拠点間再配置プログラム１８４００がワークロード再配置計画処理（Ｓ４０００）で対象にしているタイムスロットから時間移行する。ここで時間移行させる電力量は、ステップＳ４３３０において別のＤＣ拠点１０００へ空間移行する空間移行向けワークロードの電力量を上限とする電力量である。そして、拠点間再配置プログラム１８４００がワークロード再配置計画処理（Ｓ４０００）で対象としているタイムスロットにおける、電力需要テーブル１２２００の消費電力目標値１２２５０をその電力量の分だけ減算する。

【0119】

すなわちステップＳ４１７０でまだあるとされた電力超過（超過電力量）が、ステップＳ４３２０で取得したワークロードの空間移動によって移動する第２の電力調整量以下である場合には、ステップＳ４３４０で遅延させる第１の電力調整量が決定される。第１の電力調整量の遅延によって、電力超過を上限として、該当の時間帯における電力超過の一部又は全部が次の時間帯に移動する。

【0120】

またステップＳ４１７０でまだあるとされた電力超過（超過電力量）が、ステップＳ４３２０で取得したワークロードの空間移動によって移動する第２の電力調整量を上回る場合には、ステップＳ４３４０で遅延させる第１の電力調整量が決定される。第１の電力調整量の遅延によって、第２の電力調整量を上限として該当の時間帯における電力超過の一部が次の時間帯に移動する。

【0121】

ステップＳ４３４０の処理において、ワークロード再配置計画処理（Ｓ４０００）で対象にしているタイムスロットにおいてはその時間から、時間移行電力量決定処理（Ｓ４１８０）で現在対象にするタイムスロットへと時間移行向けワークロードが移行される。かつ、時間移行電力量決定処理（Ｓ４１８０）で現在対象にするタイムスロットにおいては、時間移行された電力量と同等の電力量を持つ空間移行向けワークロードが別のＤＣ拠点１０００へと移行されることとなる。そのため、ワークロード再配置計画処理（Ｓ４０００）で対象にしているタイムスロットにおいては、電力量が下り、時間移行電力量決定処理（Ｓ４１８０）で現在対象にするタイムスロットにおいては電力量の増減はない。これを電力需要テーブル１２２００の消費電力目標値１２２５０へと反映している。

【0122】

ステップＳ４３５０では、拠点間再配置プログラム１８４００は、ワークロード再配置計画処理（Ｓ４０００）で対象にしているタイムスロットにおいて、電力超過があるか否かを判定する。この判定はワークロード再配置計画処理におけるステップＳ４１３０と同様の方法で行う。拠点間再配置プログラム１８４００は、電力超過であれば、ステップＳ４３６０へと進み、そうでなければ、処理を終了する。

【0123】

ステップＳ４３６０では、拠点間再配置プログラム１８４００は、現在対象としているタイムスロットが最後のタイムスロットか否かを判定する。この判定はワークロード再配置計画処理におけるステップＳ４１９０と同様の方法で行う。拠点間再配置プログラム１８４００は、対象としているタイムスロットが最後のタイムスロットであれば、このタイムスロット以降に時間制御することはできないため、時間移行電力量決定処理を終了する。一方拠点間再配置プログラム１８４００は、最後のタイムスロットでなければ、ステップＳ４３１０へと進む。

【0124】

＜ワークロード投入画面＞
図１４はワークロード投入画面２４０００の一例を示す図である。ワークロード投入画面２４０００は、ユーザが新しくワークロードを投入する際に使用する画面である。ワークロード投入画面２４０００は、投入するワークロードを配置可能なＤＣ拠点１０００を指定する配置可能ＤＣ拠点入力フォーム２４１００を備える。

【0125】

またワークロード投入画面２４０００は、投入するワークロードが時間移行向けワークロードの場合にユーザが遅延可能な時間を入力する遅延可能時間入力フォーム２４２００を備える。またワークロード投入画面２４０００は、空間移行向けワークロードの場合に空間移行可能な時間帯を入力する空間移行可能時間入力フォーム２４３００を備える。またワークロード投入画面２４０００は、空間移行向けワークロードの場合に空間移行不可能な時間帯を入力する空間移行不可能時間入力フォーム２４４００を備える。またワークロード投入画面２４０００は、ＤＣ拠点１０００で実行されるワークロードのソースコードを指定するソースコード入力フォーム２４５００、及び、ワークロード投入を行う決定ボタン２４６００を備える。

【0126】

配置可能ＤＣ拠点入力フォーム２４１００には、ユーザは少なくとも１つ以上にＤＣ拠点を入力する。ここで入力された内容は、このワークロードが配置されたＤＣ拠点１０００における、ワークロードテーブル１２３００の実行可能拠点１２３４０へ入力される。

【0127】

遅延可能時間入力フォーム２４２００には、ユーザは投入するワークロードが時間移行向けワークロードである場合、遅延可能な時間を入力する。そのワークロードの実行が遅延できない、もしくは、時間移行向けワークロードでない場合、０もしくはｎ／ａを入力、もしくは空欄とする。ここで入力された内容は、このワークロードが配置されたＤＣ拠点１０００における、ワークロードテーブル１２３００の遅延可能時間１２３３５へ入力される。

【0128】

空間移行可能時間入力フォーム２４３００には、ユーザは投入するワークロードが空間移行向けワークロードである場合、空間移行可能な時間を入力する。空間移行可能向けワークロードであるが、どの時間帯でも移行できない場合、もしくは、空間移行向けワークロードでない場合、ｎ／ａ、もしくは空欄とする。ここで入力された内容は、このワークロードが配置されたＤＣ拠点１０００における、ワークロードテーブル１２３００の空間移行可能時間帯１２３４５へ入力される。

【0129】

空間移行可能時間入力フォーム２４３００には、ユーザは投入するワークロードが空間移行向けワークロードである場合、空間移行不可能な時間を入力する。空間移行可能向けワークロードであるが、どの時間帯でも移行可能な場合、もしくは、空間移行向けワークロードでない場合、ｎ／ａ、もしくは空欄とする。ここで入力された内容は、このワークロードが配置されたＤＣ拠点１０００における、ワークロードテーブル１２３００の空間移行不可能時間帯１２３５０へ入力される。

【0130】

ソースコード入力フォーム２４５００には、ユーザがＤＣ拠点１０００で実行するワークロードのソースコードのパスを指定する。これは、クラウド上に上げられたソースコードのＵＲＬを指定するようにしてもよいし、ローカルの保存領域に保存されたソースコードのパスを指定するようにしてもよい。また、パスやＵＲＬの指定ではなく、ソースコードを直接アップロードするようにしてもよい。

【0131】

入力を終えると、ユーザは決定ボタン２４６００を押下することでワークロードのデプロイが開始される。

【0132】

（実施形態の効果）
上述の実施形態では、拠点間のワークロード移行可能時間、ワークロード移行不可能時間、及び同一拠点内での実行時間の遅延可能時間を管理し、拠点間でワークロードを再配置する空間移行と、拠点内でワークロードを再配置する時間移行を組合せて実行する。このように、ワークロードの移行不可能時間を考慮しつつワークロードの拠点間の空間移行と拠点内での時間移行を実行することで、データセンタシステム全体における再生エネルギー利用率が向上するように各拠点の電力需要を効率的かつより精密に調整することができる。また延いては、データセンタシステム全体の消費電力の削減を達成し、環境保護に資することができる。また、データセンタシステム全体における電力需要を調整することで、近隣で発電された再生可能エネルギーを効率よく活用する再エネ地産地消の取り組みにも活用することができる。

【0133】

また上述の実施形態では、空間移行させる電力超過のうちの電力量を決定後、空間移行では調整しきれない電力超過を時間移行で調整するように時間移行の電力量を決定する。よって、各拠点の電力需要の調整をより精密に実施することができる。

【0134】

また上述の実施形態では、次の時間帯（タイムスロット）に空間移行が可能なワークロードがある場合にのみ、このワークロードの空間移行による電力の移動を上限として、対象の時間帯の電力超過の電力量を時間移行させる。よって時間移行によって移行先の時間帯で電力超過が拡大して電力需要の調整が悪化することを防止することができる。

【0135】

また上述の実施形態では、時間移行する超過電力が、次の時間帯（タイムスロット）のワークロードの空間移行による電力調整量以下の場合に、超過電力の一部又は全部を時間移行させる。また上述の実施形態では、時間移行する超過電力が、次の時間帯（タイムスロット）のワークロードの空間移行による電力調整量を超過する場合に、この電力調整量を上限として超過電力の一部を時間移行させる。よって時間移行によって移行先の時間帯で電力超過が拡大して電力需要の調整が悪化することを防止することができる。

【0136】

また上述の実施形態では、いったん空間移行させる電力量を決定した上で、実際の移行時に電力量に基づいてワークロードを選択して空間移行させる。また上述の実施形態では、いったん時間移行させる電力量を決定した上で、実際の移行時に電力量に基づいてワークロードを選択して時間移行させる。よって電力量ベースで全体の移行計画を立て、実際の移行時に個別のワークロードを選択することで、電力需要の調整を柔軟かつ着実に実行することができる。

【0137】

本発明は上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲内で、任意の構成要素を用いて実施可能である。以上説明した実施形態や変形例はあくまで一例であり、発明の特徴が損なわれない限り、本発明はこれらの内容に限定されるものではない。また、上記では種々の実施形態や変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

【0138】

例えば、本実施形態の各装置が備える各機能の一部は他の装置に設けてもよいし、別装置が備える機能を同一の装置に設けてもよい。

【0139】

また、本実施形態で説明したプログラムの構成は一例であり、例えば、プログラムの一部を他のプログラムに組み込み、又は複数のプログラムを一つのプログラムとして構成してもよい。

【0140】

また、本実施形態では、実行可能時間として遅延可能時間を用いたが、実行可能時間を具体的に指定してもよい。

【0141】

また、本実施形態では、ワークロードとしてデータセンタにおけるワークロードの場合を説明したが、その他の施設又はネットワークにおいて実行される情報処理に対しても適用可能である。

【0142】

また、本実施形態では、ワークロードの制御の目的を主に再エネ率向上することとしているが、背景技術で述べたように、本技術は調整力の提供手段として活用することもできる。

【符号の説明】

【0143】

Ｓ…データセンタシステム、１０００…ＤＣ拠点、２０００…拠点管理計算機、７０００…再エネ電源、１００００…拠点間ワークロード制御システム、１２１００…再生可能エネルギー電力テーブル、１２２００…電力需要テーブル、１２３００…ワークロードテーブル、１２４００…空間電力移行テーブル。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】