(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0010】
以下、実施形態について説明する前に、実施形態の理解を容易にするための予備的事項について説明する。
【0011】
近年、設置に要する費用が比較的低く、設備の増減に迅速に対応できることから、モジュール型データセンターが広く使用されている。
【0012】
一般的なモジュール型データセンターでは、コンテナと呼ばれる構造物内に複数のラックを設置し、各ラック内に複数のサーバを収納している。そして、ラックの吸気面側に大型の冷却ファンを複数備えた冷却ファンユニットを設置し、その冷却ファンユニットによりラック内に外気を供給して、ラック内のサーバを一括して冷却している。
【0013】
上述のモジュール型データセンターでは、大型の冷却ファンユニットを使用して複数のサーバを一括して冷却するので、各サーバの発熱量がある程度以上高く、且つ発熱量のばらつきが小さいときには、各サーバを効率よく冷却することができる。
【0014】
なお、モジュール型データセンターにおいては必ずしもコンテナを用いる必要はなく、また冷気として外気を用いなくてもよい。すなわち、屋内にてコンテナのごとくパーティションでラックとファンユニットとを区画し、空調した冷気を用いても差し支えない。
【0015】
しかし、サーバの発熱量は投入されるジョブやタスクに応じて大きく変化する。各サーバの発熱量のばらつきが大きい場合、冷却ファンユニットの冷却ファンは最も発熱量が大きいサーバの発熱量に応じた回転数で回転するので、発熱量が小さいサーバでは過冷却となる。その結果、冷却ファンユニットで必要以上に多くの電力を消費することになり、PUE(Power Usage Effectiveness:電力使用率)が高くなる。
【0016】
一方、各サーバにそれぞれ冷却ファンを搭載し、サーバ毎に冷却ファンの回転数を制御して、各サーバを個別に冷却することが考えられる。しかし、1Uサーバと呼ばれる一般的なサーバの場合、高さが1.75インチ(約44.5mm)であるので、小型の冷却ファンしか搭載できない。そのため、各サーバに搭載された小型の冷却ファンだけでは電子機器を十分に冷却できないことがあり、大型の冷却ファンユニットを併用することが必要になる。しかし、大型の冷却ファンユニットと各サーバに搭載された冷却ファンとを同時に稼働させると、電力消費量は多くなる。
【0017】
以下の実施形態では、少ない電力で電子機器を効率よく冷却できる電子機器冷却システムについて説明する。
【0018】
(第1の実施形態)
図1は第1の実施形態に係る電子機器冷却システムを適用するデータセンターの一例を示す模式的斜視図、
図2は同じくその模式的側面図である。ここでは、モジュール型データセンターにおける電子機器冷却システムについて説明している。
【0019】
図1,
図2に例示したモジュール型データセンターでは、直方体形状のコンテナ10と、コンテナ10内に配置された冷却ファンユニット12と、複数のラック13とを有する。コンテナ10はモジュール化された構造物の一例である。
【0020】
コンテナ10の相互に対向する2つの面のうちの一方にはコンテナ10内に外気を取り入れるための吸気口11aが設けられており、他方にはコンテナ10内のエアーを外部に排出するための排気口11bが設けられている。また、冷却ファンユニット12とラック13との間の空間の上には仕切り板15が配置されている。
【0021】
コンテナ10内の空間は、冷却ファンユニット12、ラック13及び仕切り板15により、外気導入部21、コールドアイル22、ホットアイル23及び暖気循環路24に分割されている。外気導入部21は吸気口11aと冷却ファンユニット12との間の空間であり、コールドアイル22は冷却ファンユニット12とラック13との間の空間であり、ホットアイル23はラック13と排気口11bとの間の空間である。
【0022】
暖気循環路24はラック13及び仕切り板15の上方の空間であり、ホットアイル23と外気導入部21との間を連絡している。暖気循環路24には、暖気の循環量を調整するためのダンパー16が設けられている。
【0023】
各ラック13内には複数のサーバ13aが収納されており、各サーバ13aにはそれぞれ小型の冷却ファン13bが設けられている。また、冷却ファンユニット12には、複数の大型の冷却ファン12aが設けられている。
【0024】
なお、ラック13は筐体の一例であり、サーバ13aは電子機器の一例である。ラック13内にHDD(Hard Disk Drive)又はSSD(Solid State Disk)等の記憶装置や電源など、他の電子機器が収納されていてもよい。また、冷却ファン13bは補助冷却ファンの一例である。
【0025】
図3は、本実施形態に係る電子機器冷却システムの制御系を示すブロック図である。
【0026】
本実施形態では、各サーバ13aから制御部30に、サーバ13aの稼働状態を示す情報が送信される。サーバ13aの稼働状態を示す情報とは、例えば演算処理ユニットの使用率を示す情報、演算処理ユニットの温度を示す情報、又はサーバ13aの消費電力を示す情報などである。
【0027】
なお、演算処理ユニットとは、CPU(Central Processing Unit)、MPU(Micro-Processing Unit)又はGPU(Graphics Processing Unit)等の半導体チップをいう。本実施形態では、サーバ13aの稼働状態を示す情報として、サーバ13aから制御部30にCPU使用率を示す情報が送信されるものとする。
【0028】
制御部30は、例えば専用のコンピュータ又はその他の電子機器により構成されていてもよく、ラック13内の特定のサーバ13aに専用プログラムを読み込ませて制御部30としてもよい。
【0029】
各サーバ13aに設けられた小型の冷却ファン13bは、制御部30から出力される制御信号に応じて回転する。
【0030】
冷却ファンユニット12に設けられた複数の冷却ファン12aは、高さ方向に沿って複数のグループに分割され、グループ毎に制御部30から出力される信号により回転が制御される。制御部30の記憶部30aには、予めどのグループの冷却ファン12aがどのサーバ13aに対応するのかを示す情報が記憶されている。
【0031】
なお、本実施形態では制御部30により冷却ファンユニット12に設けられた冷却ファン12aがグループ毎に制御されるものとしているが、各冷却ファン12aが制御部30により個別に制御されるようにしてもよい。
【0032】
以下、本実施形態の冷却システムの動作について、
図4,
図5に示すフローチャートを参照して説明する。
【0033】
まず、ステップS11において、制御部30は稼働中の各サーバ13aからCPU使用率の情報を取得する。そして、ステップS12に移行し、制御部30は稼働中のサーバ13aのCPU使用率の平均値を算出する。ここで、稼働中のサーバ13aとはCPUがクロックに同期して稼働している状態のサーバであり、アイドル状態のサーバも含まれる。
【0034】
次に、ステップS13に移行し、制御部30は片寄処理を実施する。片寄処理とは、ラック13の上側に配置されたサーバ13aにジョブ又はタスクを優先的に投入し、ラック13の下側に配置されたサーバ13aをシャットダウンする処理である。本実施形態においてショットダウンとは、サーバ13aの電源をオフする処理を指すが、CPUをスタンバイ状態又は休止状態にする処理に置き換えてもよい。
【0035】
以下、
図5のフローチャートを参照して、片寄処理について説明する。
【0036】
まず、ステップS21において、制御部30は稼働中のサーバ13aのCPU使用率の平均値が60%以上であるか否かを判定する。そして、CPU使用率の平均値が60%以上の場合(YESの場合)はステップS25に移行し、60%未満の場合(NOの場合)はステップS22に移行する。
【0037】
ステップS22に移行した場合、すなわちCPU使用率の平均値が60%未満の場合、制御部30は稼働中のサーバ13aのうち最下段に配置されたサーバ13a(以下、当該サーバ13aという)への新規のジョブ又はタスクの投入を停止する。そして、ステップS23に移行し、当該サーバ13aのジョブ又はタスクを、稼働中の他のサーバ13aに移動する。
【0038】
その後、ステップS24に移行し、制御部30は、当該サーバ13aがアイドル状態になるまで待ち、当該サーバ13aがアイドル状態になったらシャットダウンする。その後、片寄処理を終了してステップS13に戻る。
【0039】
一方、ステップS21からステップS25に移行した場合、すなわちCPU使用率の平均値が60%以上の場合、制御部30はシャットダウンしているサーバ13aがあるか否かを判定する。シャットダウンしているサーバ13aがない場合(NOの場合)は、片寄処理を終了してステップS13に戻り、シャットダウンしているサーバがある場合(YESの場合)はステップS26に移行する。
【0040】
ステップS26に移行した場合、制御部30は稼働中の各サーバ13aのCPU使用率の平均値を演算し、その平均値が90%以下か否かを判定する。CPU使用率の平均値が90%以下の場合(YESの場合)は、片寄処理を終了してステップS13に戻る。一方、CPU使用率の平均値が90%を超える場合(NOの場合)は、ステップS26からステップS27に移行する。
【0041】
ステップS27に移行した場合、すなわち稼働中のサーバ13aのCPU使用率の平均値が90%を超えている場合、制御部30は、シャットダウンしているサーバ13aのうち最も上に配置されたサーバ13aを起動する。そして、ステップS28に移行し、起動したサーバ13aにジョブ又はタスクを投入する。その後、片寄処理を終了してステップS13に戻る。
【0042】
このようにしてステップS13で片寄処理が実行された後、ステップS14に移行する。ステップS14において、制御部30は、冷却ファンユニット12の冷却ファン12aのうち、稼働状態のサーバ13aに対応する冷却ファン12aを駆動し、その他の冷却ファン12aの駆動を停止する。
【0043】
次に、ステップS15に移行し、制御部30はシャットダウンしているサーバ13aの冷却ファン13bを回転させる。
【0044】
ショットダウンしているサーバ13aの冷却ファン13bを回転させるのは、ホットアイル23側からショットダウンしているサーバ13a内を通ってコールドアイル22側に暖気が逆流することを防止するためである。従って、このときの冷却ファン13bの回転数は、暖気の逆流を防止できる程度の速度でよく、例えば冷却ファン13bが回転可能な最低速度でよい。
【0045】
その後、ステップS11に戻って、上述の処理を繰り返し実行する。
【0046】
以下、本実施形態の効果について説明する。
【0047】
コンテナ10内に3台のラック13を設置し、各ラック13にそれぞれ40台の1Uサーバ13aを収納したとする。また、冷却ファンユニット12には、1台のラック13に対し12基の冷却ファン12aが縦2列に配置されているものとする。すなわち、コンテナ10内の3台のラック13に収納したサーバ13aの総数は120台であり、冷却ファンユニット12に設けられている冷却ファン12aの総数は36基である。
【0048】
図6は、CPU使用率とサーバの消費電力(全サーバの消費電力の合計)との関係を示す図である。この
図6から、全てのサーバ13aのCPU使用率が0%のときでも約8kWの電力を消費していることがわかる。また、
図6から、全サーバ13aのCPU使用率が6%のときには、約9kWの電力を消費することがわかる。
【0049】
一方、9台のサーバ13aを稼働状態とし、残りのサーバ13aをシャットダウン状態として、稼働状態のサーバ13aにCPU稼働率が80%となるようにジョブ又はタスクを投入したとする。
【0050】
図6から、120台のサーバ13aのCPU稼働率がいずれも80%のときの消費電力が約17kWであることがわかる。従って、9台のサーバ13aが80%のCPU稼働率で動作しているときの消費電力は約1.3kW(=17kW÷120台×9台)となる。
【0051】
9台のサーバ13aのCPU稼働率が80%であり、残りのサーバ13aのCPU稼働が0%の場合も、120台のサーバ13aのCPU稼働率の平均値は6%となる。しかし、上述したように120台のサーバ13aをCPU稼働率6%で動作させたときの消費電力は約9kWであるので、9台のサーバ13aをCPU稼働率80%で動作させたほうが消費電力が少なくてすむ。
【0052】
このように、一部のサーバ13aにジョブ又はタスクを集中し、残りのサーバ13aをシャットダウンさせることにより、サーバ13aで消費する電力を削減できる。
【0053】
ところで、冷却ファンユニット12及び冷却ファン13bで消費する電力は、以下のように計算できる。
【0054】
図7は、冷却ファンユニット12の出力設定値と消費電力との関係を示す図である。この
図7に示す例では、冷却ファンユニット12の最低出力設定値は25%である。なお、最低出力設定値は出力設定範囲の下限値であり、出力設定値をそれ以下に設定しても冷却ファン12aは回転しない。以下、最低出力設定値における冷却ファンの回転数を最小回転数という。また、最大出力設定値(100%)における冷却ファンの回転数を最大回転数という。
【0055】
図7から、全ての冷却ファン12aが最小回転数で回転している場合、約820Wの電力が冷却ファンユニット12で消費されることがわかる。
【0056】
例えば各ラック13の上側6台のサーバ13aのみにジョブ又はタスクが投入されるものとする。そして、これらのサーバ13aに対応する6基の冷却ファン12aを最大回転数(出力設定値100%)で駆動し、残りの冷却ファン12aを最小回転数(出力設定値25%)で駆動するものとする。この場合、
図7から、冷却ファンユニット12の消費電力は約1.42kW(=4.44kW÷36基×6基+0.82kW÷36基×30基)となることがわかる。
【0057】
一方、各ラック13の上側に配置された6台のサーバ13aは冷却ファンユニット12の6基の冷却ファン12aにより冷却し、残りの冷却ファン12aは停止状態にするものとする。また、ラック13の上側に配置された各6台のサーバ13a以外のサーバ13a、すなわちシャットダウン状態のサーバ13aでは、ホットアイル23から暖気が逆流しない程度の速度で冷却ファン13bを回転させるものとする。
【0058】
ここで、サーバ13aに設けられた冷却ファン13bの1基当たりの消費電力を0.5Wとし、各サーバ13aにはそれぞれ6基の冷却ファン13bが設けられているとする。この場合、シャットダウン状態のサーバ13aの1台当たりの冷却ファン13bの消費電力は0.003kWとなる。
【0059】
従って、上記の条件で冷却ファンユニット12及び冷却ファン13bを駆動した場合、冷却ファンユニット12及び冷却ファン13bの合計の消費電力は、約1.05kW(=4.44kW÷36基×6基+0.003kW×(120基−18基))となる。
【0060】
このことから、シャットダウン状態のサーバ13aに対応する冷却ファンユニット12の冷却ファン12aを駆動するよりも、それらの冷却ファン12aを停止状態としてサーバ13aの冷却ファン13bを駆動するほうが、消費電力が小さいことがわかる。
【0061】
(第2の実施形態)
図8は第2の実施形態に係る電子機器冷却システムを適用するデータセンターの模式的側面図、
図9は同じくその電子機器冷却システムの制御系を示すブロック図である。
図8,
図9において、
図2,
図3と同一物には同一符号を付して、その詳細な説明は省略する。
【0062】
本実施形態では、
図8に示すように、冷却ファンユニット12とラック13との間の空間に仕切り板26を配置している。この仕切り板26はワイヤ27により吊り下げられており、ワイヤ27は仕切り板15の上に配置された仕切り板駆動装置25に接続されている。そして、制御部30により制御される仕切り板駆動装置25がワイヤ27を巻き取り又は巻き解くことにより、仕切り板26は水平状態を保ったまま上下方向に移動する。
【0063】
なお、本実施形態では仕切り板駆動装置25によりワイヤ27を巻き取り又は巻き解くことにより仕切り板26を上下方向に移動させているが、仕切り板26の上下方向の移動機構はこれに限定されるものではない。
【0064】
図10は、本実施形態に係る冷却システムの動作を示すフローチャートである。この
図10において、ステップS11からステップS15までの動作は第1の実施形態(
図4参照)と同様であるので、ここではその説明を省略する。
【0065】
本実施形態においては、ステップS15でシャットダウンしているサーバ13aに搭載された冷却ファン13bの駆動を開始した後、ステップS16に移行する。そして、制御部30は、仕切り板駆動装置25を駆動して仕切り板26を上下方向に移動し、稼働状態のサーバ13aとシャットダウン状態のサーバ13aとの境界部分に仕切り板26を配置する。その後、ステップS11に戻って処理を継続する。
【0066】
以下、本実施形態の効果について説明する。
【0067】
本実施形態では、冷却ファンユニット12とラック13との間の空間に仕切り板26が設けられており、この仕切り板26を稼働状態のサーバ13aとシャットダウン状態のサーバ13aとの境界部分に配置する。これにより、冷却ファン12aから送られるエアーを稼働中のサーバ13aに効率よく供給することができる。
【0068】
一方、第1の実施形態では、冷却ファンユニット12とラック13との間の空間に仕切り板がないので、冷却ファン12aにより供給されるエアーの一部がシャットダウン状態のサーバ13aに流れてしまう。このため、シャットダウン状態のサーバ13aに流れる分のエアーを見込んで冷却ファン12aを駆動することになる。
【0069】
例えば、3台のラック13に収納された120台のサーバ13aのうち、各ラック13の上側に配置された合計36台のサーバ13aをCPU使用率が70%の状態で稼働させ、残りのサーバ13aをシャットダウンしたとする。そして、冷却ファンユニット12に設けられた36基の冷却ファン12aのうち稼働状態のサーバ13aに対応する12基の冷却ファン12aを駆動し、他の冷却ファン12aを停止状態にしたとする。
【0070】
ここで、仕切り板26がある場合は冷却ファン12aを70%の出力設定値で駆動すればよいが、仕切り板26がない場合は冷却ファン12aの出力設定値を85%にしないと稼働状態のサーバ13aを十分に冷却できないとする。
【0071】
図7から、36基の冷却ファン12aを出力設定値が70%の条件で稼働させたときの消費電力は約1.77kWであることがわかる。従って、出力設定値を70%として12基の冷却ファン12aを駆動したときの消費電力は、約0.59kW(=1.77kW÷36基×12基)となる。
【0072】
一方、
図7から、36基の冷却ファン12aを出力設定値が85%の条件で稼働させたときの消費電力は約3.3kWであることがわかる。従って、出力設定値を85%として12基の冷却ファン12aを駆動したときの消費電力は、約1.1kW(=1.77kW÷36基×12基)となる。
【0073】
つまり、本実施形態では、上記の条件の場合に、第1の実施形態に比べて約0.5kWの電力を削減することができる。
【0074】
なお、本実施形態では3台のラック13内に収納されたサーバ13aを1台の大型冷却ファンユニット12で冷却する場合について説明している。しかし、ラック13毎に冷却ファンユニット12を設け、ラック13と冷却ファンユニット12との間の空間をラック13毎に仕切り板等により分離して、ラック13毎に冷却ファンユニット12の冷却ファン12aを制御するようにしてもよい。
【0075】
(その他の実施形態)
第1の実施形態及び第2の実施形態では、CPU稼働率が小さいサーバをシャットダウンするので、サーバに内蔵されているHDD又はSSDなどの記憶装置にアクセスできなくなる。そこで、
図11に示すように、ラック13の最上段に補助記憶装置17を収納し、他のサーバにより参照される可能性がある共有データ等を補助記憶装置17に記憶するようにしてもよい。
図11中符号17aは補助記憶装置17に設けられた冷却ファンである。
【0076】
なお、
図11に示す例では補助記憶装置17をラック13の上側に配置しているが、補助記憶装置17の発熱量が少ない場合は、補助記憶装置17をラック13の下側に配置してもよい。
【0077】
また、上述した各実施形態では稼働状態のサーバ13aをラック13の上側に配置しているが、稼働状態のサーバ13aをラック13の下側に配置してもよい。
【0078】
更に、上述した各実施形態ではアイドル状態のサーバ13aをシャットダウンするものとしている。しかし、アイドル状態におけるサーバ13aの消費電力及び発熱量がいずれも少ない場合は、サーバ13aをシャットダウンしなくてもよい、
更にまた、上述した各実施形態では冷却ファンユニット12がラック13の吸気面側に配置されている場合について説明したが、冷却ファンユニット12はラック13の排気面側に配置されていてもよい。
【0079】
更にまた、上述した各実施形態ではモジュール型データセンターにおける電子機器の冷却について説明したが、開示の技術はモジュール型データセンターにおける電子機器の冷却に限定されるものではなく、種々の電子機器の冷却に適用することが可能である。
【0080】
以上の諸実施形態に関し、更に以下の付記を開示する。
【0081】
(付記1)筐体と、
前記筐体内に収納された複数の電子機器と、
前記筐体から離隔して配置され、前記筐体内に収納された前記電子機器にエアーを供給する複数の冷却ファンが設けられた冷却ファンユニットと、
前記電子機器の稼働状態に応じて前記冷却ファンユニットの冷却ファンを個別に又はグループ毎に制御する制御部と
を有することを特徴とする電子機器冷却システム。
【0082】
(付記2)前記電子機器が電子計算機であり、前記筐体がラックであることを特徴とする付記1に記載の電子機器冷却システム。
【0083】
(付記3)前記制御部は、前記複数の電子機器の稼働率を取得し、その結果に応じて前記複数の電子機器の一部にジョブ又はタスクを集中し、前記冷却ファンユニットに設けられた複数の冷却ファンのうち前記ジョブ又はタスクを集中した電子機器に対応する冷却ファンを稼働させ、他の冷却ファンを停止状態にすることを特徴とする付記2に記載の電子機器冷却システム。
【0084】
(付記4)前記制御部は、前記複数の電子機器のうち前記筐体の上側に配置された電子機器に前記ジョブ又はタスクを優先的に投入することを特徴とする付記3に記載の電子機器冷却システム。
【0085】
(付記5)更に、前記複数の電子機器にそれぞれ設けられて前記制御部により制御される補助冷却ファンを有し、
前記制御部は前記ジョブ又はタスクを集中した電子機器に設けられた前記補助冷却ファンを停止状態とし、それ以外の電子機器の前記補助冷却ファンを稼働状態とすることを特徴とする付記3又は4に記載の電子機器冷却システム。
【0086】
(付記6)前記制御部は、前記ジョブ又はタスクを集中した電子機器以外の計算機をシャットダウンさせることを特徴とする付記5に記載の電子機器冷却システム。
【0087】
(付記7)更に、前記筐体と前記冷却ファンユニットとの間に前記制御部により制御されて上下方向に移動する仕切り板を有し、
前記制御部は前記仕切り板を前記ジョブ又はタスクを集中した電子機器とそれ以外の電子機器との境界に配置することを特徴とする付記3乃至6のいずれか1項に記載の電子機器冷却システム。
【0088】
(付記8)更に、前記筐体内に、前記複数の電子機器からアクセス可能な補助記憶装置が収納されていることを特徴とする付記3乃至7のいずれか1項に記載の電子機器冷却システム。
【0089】
(付記9)前記筐体及び前記冷却ファンユニットはモジュール化された構造物内に配置され、該構造物内には外気が導入されることを特徴とする付記3乃至8のいずれか1項に記載の電子機器冷却システム。