特許 6494773 液浸冷却用電子機器、及び液浸冷却用プロセッサモジュール

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6494773

(24)【登録日】2019年3月15日

(45)【発行日】2019年4月3日

(54)【発明の名称】液浸冷却用電子機器、及び液浸冷却用プロセッサモジュール

(51)【国際特許分類】

   G06F 1/20 20060101AFI20190325BHJP

   G06F 1/18 20060101ALI20190325BHJP

   H05K 7/20 20060101ALI20190325BHJP

   H05K 7/14 20060101ALI20190325BHJP

   H01L 23/44 20060101ALI20190325BHJP

【ＦＩ】

   G06F1/20 A

   G06F1/20 C

   G06F1/18 F

   H05K7/20 M

   H05K7/14 W

   H01L23/44

【請求項の数】4

【全頁数】19

(21)【出願番号】特願2017-541133(P2017-541133)

(86)(22)【出願日】2017年5月11日

(86)【国際出願番号】JP2017017837

【審査請求日】2017年8月3日

(73)【特許権者】

【識別番号】514215055

【氏名又は名称】株式会社ＥｘａＳｃａｌｅｒ

(74)【代理人】

【識別番号】100102406

【弁理士】

【氏名又は名称】黒田 健二

(74)【代理人】

【識別番号】100100240

【弁理士】

【氏名又は名称】松本 孝

(72)【発明者】

【氏名】齊藤 元章

【審査官】 征矢 崇

(56)【参考文献】

【文献】 米国特許第０９５９６７８７（ＵＳ，Ｂ１）

【文献】 特許第６０４２５９０（ＪＰ，Ｂ２）

【文献】 特開２００４−３０３８４２（ＪＰ，Ａ）

【文献】 特開２００５−２３６０８９（ＪＰ，Ａ）

【文献】 特開２００７−０６６４８０（ＪＰ，Ａ）

【文献】 特開２００８−２０５４０２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ１／１８；１／２０

Ｈ０５Ｋ７／１４；７／２０

Ｈ０５Ｋ１／１４；３／３６

Ｈ０１Ｌ２３／３４−２３／４６

(57)【特許請求の範囲】

【請求項1】

冷却装置内の冷却液中に浸漬されて直接冷却される電子機器であって、
前記電子機器用の直流電圧を供給する電圧入力端を備えるキャリア基板であって、前記電圧入力端は、電源ユニットの電圧出力端に電気的に接続される、キャリア基板と、
前記キャリア基板の一の面に配置された複数のモジュールコネクタと、
複数のプロセッサモジュールであって、前記複数のプロセッサモジュールの各々は、前記複数のモジュールコネクタの各々に電気的に結合されるモジュールコネクタプラグを有する、プロセッサモジュールと、
前記電子機器が前記電源ユニットと電気的に接続されたときに、前記冷却装置が備える冷却槽の底部に設置された前記電源ユニットの上部に位置するように前記キャリア基板を支持する支持部材であって、前記キャリア基板が一の面に固定されるバックボード又はフレーム構造を含み、かつ、前記バックボード又は前記フレーム構造は、前記冷却槽内に垂直に起立して固定された複数の支持柱によってスライド可能に支持される、支持部材と、
を含み、
前記プロセッサモジュールは、
第１の回路基板及び第２の回路基板であって、それぞれの基板の一の面にプロセッサ実装領域とメモリ実装領域とを有し、前記プロセッサ実装領域に少なくとも１つのプロセッサを実装し、前記メモリ実装領域に櫛状配列された複数のメモリモジュールを実装し、前記第１の回路基板の前記一の面と前記第２の回路基板の前記一の面とが向かい合わせに組み合わされた状態にある、第１の回路基板及び第２の回路基板と、
前記第１の回路基板と前記第２の回路基板との間を電気的に接続する第１のコネクタと、
前記第１の回路基板と前記第２の回路基板との間に配置される、第３の回路基板と、
前記第３の回路基板と前記第１の回路基板もしくは前記第２の回路基板との間を電気的に接続する第２のコネクタと、
を含み、
前記第１の回路基板と前記第２の回路基板とは、前記第１の回路基板の前記プロセッサ実装領域及び前記メモリ実装領域が前記第２の回路基板の前記プロセッサ実装領域及び前記メモリ実装領域とそれぞれ向かい合うように、かつ、前記第１の回路基板の前記櫛状配列された複数のメモリモジュールの先端部及び前記第２の回路基板の前記櫛状配列された複数のメモリモジュールの先端部が、隣り合うメモリモジュール間に隙間を作って互い違いに並ぶように、位置合わせされており、
前記第３の回路基板は、前記第１の回路基板及び前記第２の回路基板の前記プロセッサの上面が互いに向かい合ってできる空間内に配置されている、
電子機器。

【請求項2】

前記メモリ実装領域は、個々のメモリモジュールを固定する複数のメモリソケットを含み、
前記第１の回路基板の前記一の面と前記第２の回路基板の前記一の面との距離Ｈは、前記一の面からの前記メモリモジュールの高さｈ_１、前記メモリソケットの高さｈ_２に関して、（ｈ_１＋ｈ_２）＜Ｈ＜２ｈ_１を満たす、請求項１に記載の電子機器。

【請求項3】

前記メモリモジュールがStandard Heightのメモリモジュールであり、当該モジュールは、メモリモジュールの基板面が前記一の面に対し垂直にもしくは傾斜して、前記メモリソケットに差し込まれる、請求項２に記載の電子機器。

【請求項4】

前記第１の回路基板の前記プロセッサと前記第２の回路基板の前記プロセッサとが、プロセッサ間相互接続用インターフェースを介して接続されている、請求項１に記載の電子機器。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は電子機器に係り、特に、冷却装置内の冷却液中に浸漬されて直接冷却される電子機器に関するものである。また、本発明は、当該電子機器に好適に使用される、液浸冷却用プロセッサモジュールに関するものである。本明細書において電子機器とは、一般に、スーパーコンピュータやデータセンター等の超高性能動作や安定動作が要求され、かつ、それ自体からの発熱量が大きな電子機器をいうが、これに限定されるものではない。

【背景技術】

【0002】

近年のスーパーコンピュータの性能の限界を決定する最大の課題の一つは消費電力であり、スーパーコンピュータの省電力性に関する研究の重要性は、既に広く認識されている。すなわち、消費電力当たりの速度性能（Ｆｌｏｐｓ／Ｗ）が、スーパーコンピュータを評価する一つの指標となっている。また、データセンターにおいては、データセンター全体の消費電力の４５％程度を冷却に費やしているとされ、冷却効率の向上による消費電力の削減の要請が大きくなっている。

【0003】

スーパーコンピュータやデータセンターの冷却には、従来から空冷式と液冷式が用いられている。液冷式は、空気より格段に熱伝達性能の優れる液体を用いるため、一般的に冷却効率がよいとされている。特に、フッ化炭素系冷却液を用いる液浸冷却システムは、合成油を用いるものに比べて電子機器のメンテナンス（具体的には、例えば調整、点検、修理、交換、増設。以下同様）に優れる等の利点を有しており、近年注目されている。

【0004】

本発明者は、小規模液浸冷却スーパーコンピュータ向けの、小型で冷却効率の優れた液浸冷却装置をすでに開発している。当該装置は、高エネルギー加速器研究機構に設置されている小型スーパーコンピュータ「Ｓｕｉｒｅｎ（睡蓮）」に適用され、運用されている（非特許文献１）。

【0005】

また、本発明者は、液浸冷却される電子機器における実装密度を大幅に高めることのできる、種々の改良された液浸冷却装置を提案している（特許文献１、非特許文献２、非特許文献３、非特許文献４）。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】日本国特許第６０４２５８７号公報

【非特許文献】

【0007】

【非特許文献1】「液浸冷却小型スーパーコンピュータ「ExaScaler-1」が、25%を超える性能改善により最新のスパコン消費電力性能ランキング「Green500」の世界第一位相当の値を計測」、２０１５年３月３１日、プレスリリース、株式会社ExaScaler他、URL:http://www.exascaler.co.jp/wp-content/uploads/2015/03/20150331.pdf

【非特許文献2】「Exa級の高性能機を目指し、半導体・冷却・接続を刷新（上）」、日経エレクトロニクス２０１５年７月号、pp.９９−１０５、２０１５年６月２０日、株式会社日経ＢＰ発行

【非特許文献3】「高効率・高密度・低温運用による液浸冷却のメリットを最大限に活かしつつ、各種Brickの構成と規模を任意に変更可能な新世代の液浸冷却システム「ZettaScaler-1.5」をSC15で発表」、２０１５年１１月１７日、プレスリリース、株式会社ExaScaler、URL: http://www.exascaler.co.jp/wp-content/uploads/2015/11/20151117.pdf

【非特許文献4】「スーパーコンピュータ「Shoubu（菖蒲）」がスパコンの省エネランキングGreen500で３期連続の世界第１位を獲得−「Satsuki（皐月）」も２位を獲得 理研設置のスパコンが１，２位を占める−」、２０１６年６月２０日、プレスリリース、株式会社ExaScaler他、URL:http://www.exascaler.co.jp/wp-content/uploads/2016/06/20160620_1.pdf

【発明の概要】

【発明が解決しようとする課題】

【0008】

上記先行技術文献のうち非特許文献３は、１６個のXeonプロセッサ（「Xeon」はIntel Corporationの商標）を高密度に実装することができる、液浸冷却用電子機器「Multi-Xeon Server Brick」を開示する。この技術によれば、２個のXeonプロセッサをＱＰＩ（Intel CorporationのQuickPath Interconnect）に従い接続することにより、１つの電子機器が８台のMulti-Xeonサーバノードを含むよう構成されている。また、１個のプロセッサあたりのメモリに、超低背なメモリモジュールである、汎用の16GB又は32GB DDR4（Double-Data-Rate4） VLP DIMM（Very Low Profile Dual Inline Memory Module）を８個実装することができる。また、特許文献１は、非特許文献３が開示する液浸冷却用電子機器を実現する基板群の構成例を開示する。

【0009】

上記のとおり、非特許文献３が開示する液浸冷却用電子機器は、超低背なメモリモジュールである32GB DDR4 VLP DIMMを実装している。しかるに、プロセッサあたりのメモリ容量をさらに増やすことを要請されることがある。かかる要請に応えるための方法には、32GB DIMMのメモリモジュール数を増やすことや、より容量の大きいメモリモジュール、例えば64GB DIMMを実装することが考えられる。しかしながら、メモリモジュール数を増やす場合、メモリモジュールを実装するための基板上の実装領域を増やす必要があり、基板が大型化して基板群の結合体すなわちBrickの体積が大きくなってしまい、実装密度が低くなってしまうという問題がある。他方、より大容量な64GB DIMMを実装する場合、汎用の64GB DIMM が、VLPよりも背の高いStandard Heightを有するため、メモリモジュールが別の基板の面に干渉しないように、基板間の距離を離す必要が生じる。このため、Brickの体積が大きくなってしまい、実装密度が低くなってしまうという問題がある。

【0010】

よって、液浸冷却装置に適用される電子機器において、Standard Heightその他の比較的背の高いメモリモジュールを実装してもなお実装密度が低下しない、もしくは実装密度をより一層高めることのできる新構成の電子機器と、当該電子機器に好適に使用される新構成のプロセッサモジュールを開発することが望まれている。

【0011】

加えて、プロセッサモジュールにおいて、プロセッサモジュールの内部に作り出すことのできるスペースを活用する技術を開発することが望まれている。

【課題を解決するための手段】

【0012】

上記の課題を解決するために、本発明の一局面によれば、冷却装置内の冷却液中に浸漬されて直接冷却される電子機器に適用される、液浸冷却用プロセッサモジュールは、
第１の回路基板及び第２の回路基板であって、それぞれの基板の一の面にプロセッサ実装領域とメモリ実装領域とを有し、前記プロセッサ実装領域に少なくとも１つのプロセッサを実装し、前記メモリ実装領域に櫛状配列された複数のメモリモジュールを実装し、前記第１の回路基板の前記一の面と前記第２の回路基板の前記一の面とが向かい合わせに組み合わされた状態にある、第１の回路基板及び第２の回路基板と、
前記第１の回路基板と前記第２の回路基板との間を電気的に接続するコネクタと、
を含み、
前記第１の回路基板と前記第２の回路基板とは、前記第１の回路基板の前記プロセッサ実装領域及び前記メモリ実装領域が前記第２の回路基板の前記プロセッサ実装領域及び前記メモリ実装領域とそれぞれ向かい合うように、かつ、前記第１の回路基板の前記櫛状配列された複数のメモリモジュールの先端部及び前記第２の回路基板の前記櫛状配列された複数のメモリモジュールの先端部が、隣り合うメモリモジュール間に隙間を作って互い違いに並ぶように、位置合わせされている。

【0013】

本発明の一局面に係る液浸冷却用プロセッサモジュールの好ましい実施の形態において、前記メモリ実装領域は、個々のメモリモジュールを固定する複数のメモリソケットを含み、前記第１の回路基板の前記一の面と前記第２の回路基板の前記一の面との距離Ｈは、前記一の面からの前記メモリモジュールの高さｈ_１、前記メモリソケットの高さｈ_２に関して、（ｈ_１＋ｈ_２）＜Ｈ＜２ｈ_１を満たすとよい。

【0014】

また、本発明の一局面に係る液浸冷却用プロセッサモジュールの好ましい実施の形態において、前記メモリモジュールがStandard Heightのメモリモジュールであり、当該モジュールは、メモリモジュールの基板面が前記一の面に対し垂直にもしくは傾斜して、前記メモリソケットに差し込まれるとよい。

【0015】

また、本発明の一局面に係る液浸冷却用プロセッサモジュールの好ましい実施の形態において、前記第１の回路基板の前記プロセッサと前記第２の回路基板の前記プロセッサとが、プロセッサ間相互接続用インターフェースを介して接続されているとよい。

【0016】

本発明のもう一つの局面によれば、冷却装置内の冷却液中に浸漬されて直接冷却される電子機器は、前記電子機器用の直流電圧を供給する電圧入力端を備えるキャリア基板であって、前記電圧入力端は、電源ユニットの電圧出力端に電気的に接続される、キャリア基板と、
前記キャリア基板の一の面に配置された複数のモジュールコネクタと、
複数のプロセッサモジュールであって、前記複数のプロセッサモジュールの各々は、前記複数のモジュールコネクタの各々に電気的に結合されるモジュールコネクタプラグを有する、プロセッサモジュールと、
前記電子機器が前記電源ユニットと電気的に接続されたときに、前記冷却装置が備える冷却槽の底部に設置された前記電源ユニットの上部に位置するように前記キャリア基板を支持する支持部材と、
を含み、
前記プロセッサモジュールは、
第１の回路基板及び第２の回路基板であって、それぞれの基板の一の面にプロセッサ実装領域とメモリ実装領域とを有し、前記プロセッサ実装領域に少なくとも１つのプロセッサを実装し、前記メモリ実装領域に櫛状配列された複数のメモリモジュールを実装し、前記第１の回路基板の前記一の面と前記第２の回路基板の前記一の面とが向かい合わせに組み合わされた状態にある、第１の回路基板及び第２の回路基板と、
前記第１の回路基板と前記第２の回路基板との間を電気的に接続するコネクタと、
を含み、
前記第１の回路基板と前記第２の回路基板とは、前記第１の回路基板の前記プロセッサ実装領域及び前記メモリ実装領域が前記第２の回路基板の前記プロセッサ実装領域及び前記メモリ実装領域とそれぞれ向かい合うように、かつ、前記第１の回路基板の前記櫛状配列された複数のメモリモジュールの先端部及び前記第２の回路基板の前記櫛状配列された複数のメモリモジュールの先端部が、隣り合うメモリモジュール間に隙間を作って互い違いに並ぶように、位置合わせされている。

【0017】

本発明のもう一つの局面に係る電子機器の好ましい実施の形態において、前記支持部材は、前記キャリア基板が一の面に固定されるバックボード又はフレーム構造を含むとよい。

【0018】

また、本発明のもう一つの局面に係る電子機器の好ましい実施の形態において、前記バックボード又はフレーム構造は、前記冷却槽内に垂直に起立して固定された複数の支持柱によってスライド可能に支持されるとよい。

【0019】

また、本発明のさらにもう一つの局面によれば、冷却装置内の冷却液中に浸漬されて直接冷却される電子機器に適用される、液浸冷却用プロセッサモジュールは、
第１の回路基板及び第２の回路基板であって、それぞれの基板の一の面にプロセッサ実装領域とメモリ実装領域とを有し、前記プロセッサ実装領域に少なくとも１つのプロセッサを実装し、前記メモリ実装領域に櫛状配列された複数のメモリモジュールを実装し、前記第１の回路基板の前記一の面と前記第２の回路基板の前記一の面とが向かい合わせに組み合わされた状態にある、第１の回路基板及び第２の回路基板と、
前記第１の回路基板と前記第２の回路基板との間を電気的に接続する第１のコネクタと、
前記第１の回路基板と前記第２の回路基板との間に配置される、第３の回路基板と、
前記第３の回路基板と前記第１の回路基板もしくは前記第２の回路基板との間を電気的に接続する第２のコネクタと、
を含み、
前記第１の回路基板と前記第２の回路基板とは、前記第１の回路基板の前記プロセッサ実装領域及び前記メモリ実装領域が前記第２の回路基板の前記プロセッサ実装領域及び前記メモリ実装領域とそれぞれ向かい合うように、かつ、前記第１の回路基板の前記櫛状配列された複数のメモリモジュールの先端部及び前記第２の回路基板の前記櫛状配列された複数のメモリモジュールの先端部が、隣り合うメモリモジュール間に隙間を作って互い違いに並ぶように、位置合わせされており、
前記第３の回路基板は、前記第１の回路基板及び前記第２の回路基板の前記プロセッサの上面が互いに向かい合ってできる空間内に配置されている。

【0020】

本発明のさらにもう一つの局面に係る液浸冷却用プロセッサモジュールの好ましい実施の形態において、前記メモリ実装領域は、個々のメモリモジュールを固定する複数のメモリソケットを含み、前記第１の回路基板の前記一の面と前記第２の回路基板の前記一の面との距離Ｈは、前記一の面からの前記メモリモジュールの高さｈ_１、前記メモリソケットの高さｈ_２に関して、（ｈ_１＋ｈ_２）＜Ｈ＜２ｈ_１を満たすとよい。

【0021】

また、本発明のさらにもう一つの局面に係る液浸冷却用プロセッサモジュールの好ましい実施の形態において、前記メモリモジュールがStandard Heightのメモリモジュールであり、当該モジュールは、メモリモジュールの基板面が前記一の面に対し垂直にもしくは傾斜して、前記メモリソケットに差し込まれるとよい。

【0022】

また、本発明のさらにもう一つの局面に係る液浸冷却用プロセッサモジュールの好ましい実施の形態において、前記第１の回路基板の前記プロセッサと前記第２の回路基板の前記プロセッサとが、プロセッサ間相互接続用インターフェースを介して接続されているとよい。

【0023】

また、本発明のさらにもう一つの局面に係る液浸冷却用プロセッサモジュールの好ましい実施の形態において、前記第３の回路基板は、ストレージデバイス及び／又はＩ／Ｏ制御用チップセットを搭載した回路基板であるとよい。

【0024】

本発明のさらにもう一つの局面によれば、冷却装置内の冷却液中に浸漬されて直接冷却される電子機器は、
前記電子機器用の直流電圧を供給する電圧入力端を備えるキャリア基板であって、前記電圧入力端は、電源ユニットの電圧出力端に電気的に接続される、キャリア基板と、
前記キャリア基板の一の面に配置された複数のモジュールコネクタと、
複数のプロセッサモジュールであって、前記複数のプロセッサモジュールの各々は、前記複数のモジュールコネクタの各々に電気的に結合されるモジュールコネクタプラグを有する、プロセッサモジュールと、
前記電子機器が前記電源ユニットと電気的に接続されたときに、前記冷却装置が備える冷却槽の底部に設置された前記電源ユニットの上部に位置するように前記キャリア基板を支持する支持部材と、
を含み、
前記プロセッサモジュールは、
第１の回路基板及び第２の回路基板であって、それぞれの基板の一の面にプロセッサ実装領域とメモリ実装領域とを有し、前記プロセッサ実装領域に少なくとも１つのプロセッサを実装し、前記メモリ実装領域に櫛状配列された複数のメモリモジュールを実装し、前記第１の回路基板の前記一の面と前記第２の回路基板の前記一の面とが向かい合わせに組み合わされた状態にある、第１の回路基板及び第２の回路基板と、
前記第１の回路基板と前記第２の回路基板との間を電気的に接続する第１のコネクタと、
前記第１の回路基板と前記第２の回路基板との間に配置される、第３の回路基板と、
前記第３の回路基板と前記第１の回路基板もしくは前記第２の回路基板との間を電気的に接続する第２のコネクタと、
を含み、
前記第１の回路基板と前記第２の回路基板とは、前記第１の回路基板の前記プロセッサ実装領域及び前記メモリ実装領域が前記第２の回路基板の前記プロセッサ実装領域及び前記メモリ実装領域とそれぞれ向かい合うように、かつ、前記第１の回路基板の前記櫛状配列された複数のメモリモジュールの先端部及び前記第２の回路基板の前記櫛状配列された複数のメモリモジュールの先端部が、隣り合うメモリモジュール間に隙間を作って互い違いに並ぶように、位置合わせされており、
前記第３の回路基板は、前記第１の回路基板及び前記第２の回路基板の前記プロセッサの上面が互いに向かい合ってできる空間内に配置されている。

【0025】

第１の回路基板の一の面と第２の回路基板の一の面とが向かい合わせに組み合わされるようにするとき、メモリモジュールが互いに干渉するのを避けるためには、基板間の距離を、当該一の面からのメモリモジュールの高さｈ_１の２倍よりも長くとる必要があった。本発明によれば、第１の回路基板と第２の回路基板とは、第１の回路基板のプロセッサ実装領域及びメモリ実装領域が第２の回路基板のプロセッサ実装領域及びメモリ実装領域とそれぞれ向かい合うように、かつ、第１の回路基板の櫛状配列された複数のメモリモジュールの先端部及び第２の回路基板の櫛状配列された複数のメモリモジュールの先端部が、隣り合うメモリモジュール間に隙間を作って互い違いに並ぶように、位置合わせされているため、メモリモジュールが互いに干渉し合うという課題を解決し、より小さい体積内に超高密度にプロセッサ及びメモリモジュールを実装することができる。例えば、メモリ実装領域が、個々のメモリモジュールを差し込む複数のメモリソケットを含む場合、第１の回路基板の一の面と第２の回路基板の一の面との距離Ｈを、一の面からのメモリモジュールの高さｈ_１、メモリソケットの高さｈ_２に関して、（ｈ_１＋ｈ_２）＜Ｈ＜２ｈ_１を満たすように、短くすることができる。なお、複数のメモリモジュールの先端部は、隣り合うメモリモジュール間に隙間を作って互い違いに並んでいるため、冷却液が当該隙間を通ってメモリモジュールの表面から熱を奪う。メモリモジュールの発熱量は、プロセッサの発熱量に比べてはるかに小さいため、隣り合うメモリモジュール間の隙間が比較的狭くても、冷却液による奪熱作用が損なわれることはない。

【0026】

液浸冷却用のモジュールに実装されるプロセッサにおいては、一般的にプロセッサの上面にヒートスプレッダ（ヒートスプレッダが一体化されたプロセッサも市販されている。）及びヒートシンクを熱的に接続して、その上を流通する冷却液がプロセッサからの発熱を効率的に奪うことができるよう構成している。空冷のときには、比較的大きい放熱面積を得るためにヒートシンクのフィンを高くする必要があるのとは対象的に、液浸冷却によると、冷却液による奪熱効率が優れるため、ヒートシンクのフィンの高さが低くてもよい。したがって、第１の又は第２の回路基板の一の面から、ヒートスプレッダ及びヒートシンクを含めたプロセッサの上面までの高さは、当該一の面からのメモリモジュールの高さｈ_１よりも低くできる。本発明によれば、この高低差を利用し、第１の回路基板の一の面と第２の回路基板の一の面とが向かい合わせに組み合わされるときに、プロセッサの上面が互いに向かい合ってできる比較的大きなスペース内に、第３の回路基板を配置するようにした。これにより、プロセッサモジュールの内部に作り出すことのできるスペースを活用して、プロセッサモジュールの機能を拡張もしくは増強することができる。また、プロセッサモジュール内の余ったスペースに別の回路基板が配置されているので、より一層の超高密度実装を実現することができる。

【0027】

なお、本明細書における「開放空間」を有する冷却槽には、電子機器の保守性を損なわない程度の簡素な密閉構造を有する冷却槽も含まれるものである。例えば、冷却槽の開口部に、冷却槽の開放空間を閉じるための天板を置くことのできる構造や、パッキン等を介して天板を着脱可能に取り付けることのできる構造は、簡素な密閉構造といえる。

【0028】

上記した本発明の目的及び利点、並びに他の目的及び利点は、以下の実施の形態の説明を通じてより明確に理解される。もっとも、以下に記述する実施の形態は例示であって、本発明はこれに限定されるものではない。

【図面の簡単な説明】

【0029】

【図1】本発明の一実施形態に係る電子機器の斜視図である。

【図2】本発明の一実施形態に係る電子機器の部分組立図であり、バックボード又はフレーム構造、キャリア基板、及びプロセッサモジュールの組立図である。

【図3A】本発明の一実施形態に係る電子機器に含まれるプロセッサモジュールのうち、第１の回路基板の一例を示す平面図である。

【図3B】本発明の一実施形態に係る電子機器に含まれるプロセッサモジュールのうち、第２の回路基板の一例を示す平面図である。

【図3C】本発明の一実施形態に係る電子機器に含まれるプロセッサモジュールのうち、第３の回路基板の一例を示し、（Ａ）は平面図、（Ｂ）は側面図である。

【図4】プロセッサモジュールの一例を示す組立図であり、第１の回路基板、第２の回路基板、及び第３の回路基板の組立図である。

【図5A】プロセッサモジュールの一例を示す斜視図である。

【図5B】図５Ａに示すプロセッサモジュールのＡ−Ａ断面図である。

【図6】電源ユニットにおけるステージの一例を示す斜視図である。

【図7】電源ユニットのユニット基板をステージ上に取り付けた状態を示す斜視図である。

【図8】本発明の一実施形態に係る冷却システムにおける、冷却装置が備える冷却槽の斜視図である。

【図9】本発明の一実施形態に係る冷却システムにおける、冷却装置が備える冷却槽の平面図である。

【図10】本発明の一実施形態に係る冷却システムにおける、冷却装置の一部断面図である。

【図11】ユニット基板が取り付けられた４つのステージを冷却槽の底部に並べて設置する例を示す平面図である。

【発明を実施するための形態】

【0030】

以下、本発明に係る電子機器、及び当該電子機器に好適に使用される液浸冷却用プロセッサモジュールの好ましい実施の形態を、図面に基づいて詳細に説明する。
まず、図１及び図２を参照して、本発明の一実施形態に係る電子機器１００を説明する。図１は、本発明の一実施形態に係る電子機器１００の斜視図、図２は部分組立図である。電子機器１００は、後述する冷却装置内の冷却液中に浸漬されて直接冷却される電子機器である。電子機器１００は、バックボード又はフレーム構造１１０（以下、単に「バックボード１１０」と記載する。）と、複数のプロセッサモジュール１２０と、キャリア基板１２１と、ネットワークカード１２２を含んでいる。なお、図示のとおり、電子機器１００から、電源ユニットが廃されている。電源ユニットは、後述するように、冷却装置が備える冷却槽の底部に設置される。図２において、プロセッサモジュール１２０は１個のみ描かれており、ネットワークカードは描かれていない。

【0031】

バックボード１１０は、キャリア基板１２１を支持する支持部材を構成する。バックボード１１０は、図２に示すように、外枠部１１０ｂと、外枠部１１０ｂ内を幅方向に横断する梁部１１０ｃとから構成される。外枠１１０ｂの上部には、電子機器１００を冷却槽に入れ又は取り出す際に、吊り下げ具を通す吊り金具穴（図示せず）が形成されていてよい。また、バックボード１１０は、外枠部１１０ｂの下部から下に延びる一対の支持ピン又はガイドピン（以下、単に「支持ピン」と記載する。）を含んでよい。複数の支持板（図示せず）が、キャリア基板１２１を貫通するねじ等の留め具を介して、外枠部１１０ｂと梁部１１０ｃに取り付けられていてよい。これにより、キャリア基板１２１がバックボード１１０の一の面に固定されるとともに、複数の支持板（図示せず）が、キャリア基板１２１の長手方向に所定間隔で取り付けられる。支持板（図示せず）の各々には、複数の溝が形成されており、複数の溝の各々に、複数のプロセッサモジュール１２０の端部の各々が挿入されるとよい。このようにして、隣り合う支持板（図示せず）は、複数のプロセッサモジュール１２０の上下両端を保持するとよい。

【0032】

キャリア基板１２１の下部には、電子機器用の直流電圧を供給する直流電圧入力コネクタ１３１を備える。直流電圧入力コネクタ１３１は、キャリア基板１２１が備える電圧入力端に相当する。キャリア基板１２１の一の面には、複数のモジュールコネクタ１２８が配置されている。図３Ａ以下を参照して後述するように、複数のプロセッサモジュール１２０の各々は、複数のモジュールコネクタ１２８の各ペアに電気的に結合されるモジュールコネクタプラグ１２９のペアを有している。したがって、プロセッサモジュール１２０ごとに、キャリア基板１２１に差し込むこと、及びキャリア基板１２１から引き抜くことが可能である。なお、図示の例において、４枚のネットワークカード１２２がキャリア基板１２１に取り付けられている。また、１６個のプロセッサモジュール１２０がキャリア基板１２１に取り付けられているが、プロセッサモジュール１２０の個数は任意であり、特に限定されない。

【0033】

次に、図３Ａ−図５Ｂを参照して、プロセッサモジュール１２０を詳しく説明する。
プロセッサモジュール１２０は、第１の回路基板１２３Ａ、第２の回路基板１２３Ｂ、及び第１の回路基板１２３Ａと第２の回路基板１２３Ｂとの間を電気的に接続するコネクタ１２５Ａ、１２５Ｂを含んでいる。また、プロセッサモジュール１２０は、第３の回路基板１２３Ｃ、並びに、第３の回路基板１２３Ｃと第１の回路基板１２３Ａとの間を電気的に接続するコネクタ１２５Ｃ、１２５Ｄを含んでいるが、これらは必要に応じて省略してもよい。

【0034】

図３Ａに示すように、第１の回路基板１２３Ａは、その一の面に、当該基板の中央寄りに位置するプロセッサ実装領域ＰＡと、プロセッサ実装領域ＰＡの両側に位置する２つのメモリ実装領域ＭＡとを有する。プロセッサ実装領域ＰＡには、少なくとも１つのプロセッサ１２４Ａが実装されている。プロセッサ１２４Ａは、特に限定しないが、例えば、Intel Corporation製のXeonプロセッサ（「Xeon」はIntel Corporationの商標）であるとよい。プロセッサ１２４Ａは、バックプレート、ソケット、プロセッサ１２４Ａの上面に熱的に接続されたヒートスプレッダ（プロセッサ１２４Ａと一体化されていてよい。）、及びヒートシンクを有していてよい（図５Ｂ参照）。なお、図３Ａにおいて、ヒートシンクのフィンが描かれておらず、ヒートシンクの下にあるヒートスプレッダも描かれていない。ここで、冷却液のフロー方向に一致させるべく、ヒートシンクのフィンの配列方向を、後述するメモリモジュールの配列方向と同じにするとよい。

【0035】

２つのメモリ実装領域ＭＡのそれぞれに、櫛状配列された２個のメモリモジュール１２７Ａが実装されている。メモリ実装領域ＭＡに実装されるメモリモジュール１２７Ａの個数は、２つ以上であればよい。なお、メモリモジュール１２７Ａは、本発明の目的に従って、VLPのモジュールではなく、汎用のStandard Heightの64GB DIMMであるとよい。図示のように、基板上には汎用のメモリソケット１２６Ａを、所定の間隔を置いて必要本数取り付けて、メモリソケット１２６Ａの各々にメモリモジュール１２７Ａを差し込むとよい。また、第１の回路基板１２３Ａの一の面には、第２の回路基板１２３Ｂとの電気的接続のためのコネクタ１２５Ａ、第３の回路基板１２３Ｂとの電気的接続のためのコネクタ１２５Ｄ、並びに、キャリア基板１２１のモジュールコネクタ１２８のペアの一方と結合される、モジュールコネクタプラグ１２９のペアの一方を有している。なお、第１の回路基板１２３Ａの一の面上には、上記の構成部分以外に、種々の電子部品が搭載されるが、当該電子部品は描かれていない。以上のように構成されている第１の回路基板１２３とそれに実装される構成部分の全体を、以下、「Ａ基板１２０Ａ」と呼ぶことがある。

【0036】

図３Ｂに示すように、第２の回路基板１２３Ｂは、第１の回路基板１２３Ａと類似する構成を有している。具体的には、第２の回路基板１２３Ｂは、その一の面に、当該基板の中央寄りに位置するプロセッサ実装領域ＰＢと、プロセッサ実装領域ＰＢの両側に位置する２つのメモリ実装領域ＭＢとを有する。プロセッサ実装領域ＰＢには、少なくとも１つのプロセッサ１２４Ｂが実装されている。プロセッサ１２４Ｂは、プロセッサ１２４Ａと同様であるので、ここでの説明を省略する。

【0037】

２つのメモリ実装領域ＭＢのそれぞれに、櫛状配列された２個のメモリモジュール１２７Ｂを実装している。メモリ実装領域ＭＢに実装されるメモリモジュール１２７Ｂの個数は、２つ以上であればよい。なお、メモリモジュール１２７Ｂ、メモリソケット１２６Ｂは、メモリモジュール１２７Ａ、メモリソケット１２６Ａと同様であるので、ここでの説明を省略する。第２の回路基板１２３Ｂの一の面には、第１の回路基板１２３Ａとの電気的接続のためのコネクタ１２５Ｂ、並びに、キャリア基板１２１のモジュールコネクタ１２８のペアの他方と結合される、モジュールコネクタプラグ１２９のペアの他方を有している。なお、第２の回路基板１２３Ｂの一の面上には、上記の構成部分以外に、種々の電子部品が搭載されるが、当該電子部品は描かれていない。以上のように構成されている第２の回路基板１２３Ｂとそれに実装される構成部分の全体を、以下、「Ｂ基板１２０Ｂ」と呼ぶことがある。

【0038】

ここで、図３Ａと図３Ｂとを比較するとわかるように、第１の回路基板１２３Ａのサイズと、第２の回路基板１２３Ｂのサイズは同じであり、第１の回路基板１２３Ａのプロセッサ実装領域ＰＡ、メモリ実装領域ＭＡ、及びモジュールコネクタプラグ１２９の位置と、第２の回路基板１２３Ｂのプロセッサ実装領域ＰＢ、メモリ実装領域ＭＢ、及びモジュールコネクタプラグ１２９の位置とは、ほぼ上下対称の関係にある。ただし、第２の回路基板１２３Ｂのプロセッサ実装領域ＰＢ、及びメモリ実装領域ＭＢの全体が、少しだけ基板中央寄りに（下側に）シフトしている。これは、第１の回路基板１２３Ａの一の面と第２の回路基板１２３Ｂの一の面とが向かい合わせに組み合わされるときに、第１の回路基板１２３Ａの四隅と、第２の回路基板１２３Ｂの四隅とを一致させて、プロセッサ領域及びメモリ実装領域を互いに向かい合わせて近づけると、第１の回路基板１２３Ａの櫛状配列された複数のメモリモジュール１２７Ａの先端部、及び第２の回路基板１２３Ｂの櫛状配列された複数のメモリモジュール１２７Ｂの先端部が、隣り合うメモリモジュール間に隙間を作って互い違いに並ぶようにするため（図５Ｂ参照）であり、これにより、メモリモジュールが互いに干渉し合うのを避けることができる。

【0039】

次に、図３Ｃに示すように、第３の回路基板１２３Ｃは、基板の一の面に４枚のストレージデバイス１３０を実装し、基板の他の面に第１の回路基板１２３Ａとの電気的接続のためのコネクタ１２５Ｄを有している。第３の回路基板１２３Ｃは、代替的にもしくは追加的にＩ／Ｏ制御用チップセットを実装してよい。また、第３の回路基板１２３Ｃは、代替的にもしくは追加的にプログラマブルロジックデバイスを実装してよい。ストレージデバイス１３０に、フラッシュストレージ、例えばM.2 SSD（Solid State Drive）又はmSATA （mini Serial ATA） SSDを使用してよい。また、プログラマブルロジックデバイスに、FPGA（Field-Programmable Gate Array）を使用してよい。第３の回路基板１２３Ｃの一の面上には、上記の構成部分以外に、種々の電子部品が搭載されるが、当該電子部品は描かれていない。以上のように構成されている第３の回路基板１２３Ｃとそれに実装される構成部分の全体を、以下、「Ｃ基板１２０Ｃ」と呼ぶことがある。

【0040】

図４は、Ａ基板１２０Ａと、Ｂ基板１２０Ｂと、Ｃ基板１２０Ｃとを組み合わせてプロセッサモジュール１２０を構成するときの組立図、図５Ａは、組み立てられたプロセッサモジュール１２０の斜視図、図５Ｂは、図５Ａに示すプロセッサモジュール１２０のＡ−Ａ線断面図である。なお、図中、プロセッサ１２４Ａ、１２４Ｂの上面に熱的に接続されているヒートシンクのフィンは描かれていない。ここで、冷却液のフロー方向に一致させるべく、ヒートシンクのフィンの配列方向を、後述するメモリモジュールの配列方向と同じにするとよい。プロセッサモジュール１２０の組み立て方法は、図４に示すように、まず、Ｃ基板１２０Ｃのコネクタ１２５ＣをＡ基板１２０Ａのコネクタ１２５Ｄに結合し、次いで、Ｂ基板１２０Ｂの一の面がＡ基板１２０Ａの一の面と向かい合わせになるように、Ｂ基板１２０Ｂを裏返して、Ｂ基板１２０Ｂのコネクタ１２５ＢをＡ基板１２０Ａのコネクタ１２５Ａに結合する。コネクタ１２５Ａ、１２５Ｂは、互いに結合されたとき、Ａ基板１２０Ａの櫛状配列された複数のメモリモジュール１２７Ａの先端部、及びＢ基板１２０Ｂの櫛状配列された複数のメモリモジュール１２７Ｂの先端部が、隣り合うメモリモジュール間に隙間を作って互い違いに並ぶように、Ａ基板１２０ＡとＢ基板１２０Ｂと位置合わせをするのに役立つだけでなく、Ａ基板１２０Ａの一の面とＢ基板１２０Ｂの一の面との距離Ｈを所定の長さに保つのに役立つ。

【0041】

図５Ｂを参照して、上述のとおり、Ａ基板１２０Ａ及びＢ基板１２０Ｂは、Ａ基板１２０Ａの櫛状配列された複数のメモリモジュール１２７Ａの先端部及びＢ基板１２０Ｃの櫛状配列された複数のメモリモジュール１２７Ｂの先端部が、隣り合うメモリモジュール間に隙間を作って互い違いに並ぶように、位置合わせされている。例えば、メモリソケット１２６Ａは、中心線間距離が約８ｍｍになるような間隔に設置することができる。汎用のStandard Heightの64GB DIMMの高さは約３０ｍｍ、厚さは約３ｍｍであるので、メモリモジュール１２７Ａとメモリモジュール１２７Ｂが互い違いに並んでいるときの、隣り合うメモリモジュール間の隙間は約１ｍｍ（＝（８−３−１．５×２）／２）である。メモリモジュールの発熱量は、プロセッサの発熱量に比べてはるかに小さいため、隣り合うメモリモジュール間の隙間がこの程度に狭くても、冷却液による奪熱作用が損なわれることはない。

【0042】

図５Ｂに示すように、Ａ基板１２０Ａの一の面とＢ基板１２０Ｂの一の面との距離Ｈを、一の面からのメモリモジュール１２７Ａ、１２７Ｂの高さｈ_１、メモリソケット１２６Ａ、１２６Ｂの高さｈ_２に関して、（ｈ_１＋ｈ_２）＜Ｈ＜２ｈ_１を満たすように、短くすることができる。例えば、汎用のStandard Heightの64GB DIMM用のメモリソケット１２６Ａ、１２６Ｂの高さは、約５ｍｍであるので、距離Ｈを３６ｍｍ〜４０ｍｍまで短くすることができ、より一層の高密度実装を実現することができる。例えば、距離Ｈを約４０ｍｍに、基板の一の面からのプロセッサ（ヒートシンクのフィンを含む）の高さを約１５ｍｍに設計した場合、プロセッサ１２４Ａ、１２４Ｂの上面が互いに向かい合ってできるスペースは、約１０ｍｍ（＝４０−１５×２）の高さを持つ。この、プロセッサモジュール１２０内に作られる約１０ｍｍの高さのスペースは、プロセッサモジュールの機能を拡張もしくは増強するための種々の構成部品を、追加的に配置するために十分な大きさである（もし、その半分の約５ｍｍの高さのスペースであると、高さが低すぎてそこに構成部品を配置することが極めて困難である）。Ｃ基板１２０Ｃは、このスペースに配置される、機能拡張又は増大用の別の回路基板である。もちろん、この程度の高さがあると、Ａ基板１２０Ａのプロセッサ１２４Ａの上面とＣ基板１２０Ｃの裏面との隙間、並びに、Ｂ基板１２０Ｂのプロセッサ１２４Ｂの上面とＣ基板１２０Ｃの表面との隙間を、問題なく確保することができるので、そこを通る冷却液による所望の奪熱性能を達成するうえで問題は生じないものである。

【0043】

次に、図２に戻って、電子機器１００の構成をさらに詳しく説明すると、バックボード１１０の一の面と反対の面には、バックボード１１０の外枠部１１０ｂの長手方向に沿って、複数のスライダー（図示せず）が取り付けられていてよい。外枠部１１０ｂの左右両方に取り付けられた、一対のスライダーは、後述する冷却槽内に垂直に起立して固定された、隣り合う支持柱に設けられたレール溝に係合することにより、バックボード１１０は、スライド（垂直方向に上げ下げ）可能に支持されるとよい。

【0044】

以上のように構成されている電子機器１００が、バックボード１１０を複数の支持柱に対してスライドさせて、冷却装置内の冷却液中に浸漬されて直接冷却されるとき、電子機器内を流通する冷却液が、プロセッサモジュール１２０の内と外を通って、プロセッサモジュール１２０、及びキャリア基板１２１から熱を速やかに、かつ、効率よく奪い取るので、高密度に実装しても電子機器１００の安定した動作を確保できる。このとき、プロセッサモジュール１２０の内で、Ａ基板１２０ＡとＣ基板１２０Ｃとの隙間、Ｂ基板１２０ＢとＣ基板１２０Ｃとの隙間、隣り合うメモリモジュール間の隙間が、それぞれ確保されており、それらの隙間が、冷却液の通るフローチャネルを形成することは、上述したとおりである。また、各プロセッサモジュール１２０を、キャリア基板１２１に取り付け、加えて、キャリア基板１２１から取り外すことができる。これにより、プロセッサモジュール１２０ごとに、調整、点検、修理、交換、増設等を行うことができるので、メンテナンス性が格段に向上する。

【0045】

次に、図６−図７を参照して、冷却装置の下部に設置される電源ユニット２０を説明する。図６は、電源ユニット２０におけるステージ２２の一例を示す斜視図、図７は、電源ユニット２０におけるユニット基板２１をステージ２２上に取り付けた状態を示す斜視図である。

【0046】

前述のとおり、電源ユニット２０は、電子機器１００に含まれない構成部分であり、冷却装置が備える冷却槽の底部に設置される。電源ユニット２０は、ユニット基板２１と、ユニット基板２１に搭載される降圧デバイス２１５とを含んでいる。ユニット基板２１は、外部電源（図示せず）から電源ケーブル２１１を介して外部電源電圧を供給する電源電圧入力コネクタ２１２と、降圧デバイス２１５により降圧された直流電圧を出力する直流電圧出力コネクタ２１３とを備える。降圧デバイス２１５は、例えば、２００Ｖ−４２０Ｖの外部高圧直流電圧を、２４Ｖ−５２Ｖの直流電圧に降圧するコンバータモジュール、又は１００Ｖ−２５０Ｖの単相又は三相の外部高圧交流電圧を、２４Ｖ−５２Ｖの直流電圧に交直変換及び降圧するコンバータモジュールを含むとよい。前者のコンバータモジュールは、より具体的には、ＤＣ３８０ＶをＤＣ４８Ｖに降圧することができるとよく、後者のコンバータモジュールは、ＡＣ２００ＶをＤＣ４８Ｖに交直変換及び降圧することができるとよい。必要に応じて、降圧デバイス２１５は、力率改善回路、ノイズフィルタ、追加の整流器、及びサージ回路のうちのいずれか１つ又は２つ以上の周辺回路を含むとよい。降圧デバイス２１５の表面には、放熱用のヒートシンク２１６が熱的に接続されているとよい。また、ユニット基板２１には、故障時の保護を行う複数の入力ヒューズ２１７が含まれていてよい。ユニット基板２１は、図７に示すように、複数のスペーサ２１８を介して、ステージ２２に固定される。これにより、ユニット基板２１は、ユニット基板２１の一の面と、後述する冷却槽の底部との間に冷却液を通すフローチャネル２１９を形成するように、底部から離れて配置されている。なお、ユニット基板２１が、冷却液を通すフローチャネルを有するように構成してもよい。例えば、ユニット基板２１を、中間スペースを有する階層構造体もしくは中空構造体に形成し、構造体の内部に冷却液を通すとよい。

【0047】

ステージ２２は、図６に示すように、後述する冷却槽の底部に置かれる平板を含む。平板の幅方向中央寄りに、底部から流入する冷却液を通す複数の穴２３が、長手方向に間隔を隔てて、形成されている。また、平板の幅方向端部には、複数の切り欠き２４が、長手方向に間隔を隔てて形成されている。隣り合う切り欠き２４は、複数のステージ２２が並べて配置されるとき、隣り合う切り欠き２４同士が合わさって穴２３と実質同じ穴を形成するのに必要な長さと幅を有する。ステージ２２上には、Ｌ型ブラケット２６を使用して、複数の支持柱２５が垂直に取り付けられる。よって、ステージ２２が、冷却槽の底部に設置されるとき、複数の支持柱２５は、冷却槽内に垂直に起立することになる。また、ステージ２２上には、複数のブラケット２７が固定されている。ブラケット２７には、支持ピン挿入穴２８が形成されている。

【0048】

複数の支持柱２５の各々にはレール溝２５１が形成されている。電子機器１００のバックボード１１０が有する一対のスライダー（図示せず）が、隣り合う支持柱に設けられたレール溝２５１に係合することにより、バックボード１１０が、スライド（垂直方向に上げ下げ）可能に支持される。

【0049】

以上のように構成されている電源ユニット２０に対して、電子機器１００が、バックボード１１０を複数の支持柱２５に対してスライドさせて上昇させ、又は下降させることができる。そして、電子機器１００を下降させたとき、電子機器１００のバックボード１１０の外枠部１１０ｂの下部から下に延びる一対の支持ピン（図示せず）が、電源ユニット２０に固定された一対のブラケット２７の支持ピン挿入穴に挿入され、電源ユニット２０の直流電圧出力コネクタ２１３と、電子機器１００の直流電圧入力コネクタ１３１との正確な位置合わせが行われるとよい。さらに電子機器１００を下降させると、直流電圧出力コネクタ２１３と直流電圧入力コネクタ１３１とが電気的に接続される。このとき、一対の支持柱２５及び一対のブラケット２７が、１ユニットの電子機器１００の重量を支えている。

【0050】

電源ユニット２０は、直流電圧出力コネクタ２１３が電子機器１００の直流電圧入力コネクタ１３１と結合した状態を検出したとき、電子機器１００への直流電圧の供給を開始する第１のコントローラをさらに含むとよい。第１のコントローラは、付加回路又は電子的な機構として、ユニット基板２１に実装されるとよい。これにより、電子機器１００を冷却槽内に下降させ、電源ユニット２０と結合させるだけで、直ちに通電動作させる、電子機器１００のプラグイン動作が可能となる。

【0051】

また、電源ユニット２０は、冷却槽の冷却液の液面の上部、冷却槽の壁面構造部、又は冷却槽の近傍に設置された制御盤から操作可能なスイッチのＯＮ／ＯＦＦを検出して、電子機器１００への電圧の供給の開始／切断を切り替える第２のコントローラをさらに含むとよい。これにより、オペレータが、手動で、電子機器１００ごとのＯＮ／ＯＦＦを切り替えることができるので、メンテナンス性を向上させることができる。第２のコントローラもまた、付加回路又は電子的な機構として、ユニット基板２１に実装されるとよい。

【0052】

電子機器１００への電圧の供給の開始／切断を切り替える信号を、第２のコントローラに送るためのスイッチは、複数の支持柱２５の各々の上端、又は側面に設けられてよい。

【0053】

次に、以上説明した本発明の一実施形態に係る電子機器１００と、上述の電源ユニット２０を、冷却液中に浸漬して直接冷却するための液浸冷却装置の一例を、図面に基づいて説明する。以下の説明では、電子機器１００及び電源ユニット２０をそれぞれ合計２４ユニット、冷却槽の６×４の区画にそれぞれ収納して冷却する、高密度液浸冷却装置の構成を説明する。なお、これは例示であって、高密度液浸冷却装置における電子機器のユニット数は任意であり、本発明に使用可能な電子機器の構成を何ら限定するものではない。

【0054】

図８−図１１を参照して、一実施形態に係る液浸冷却装置１は冷却槽１０を有し、冷却槽１０の底壁１１及び側壁１２によって開放空間１０ａが形成されている。底壁１１には、冷却液が流入する複数の流入開口１５０が、９×３のパターンで形成されている。また、側壁１２には、電源ケーブル導入口１２ａと、ネットワークケーブル導入口１２ｂと、冷却液の液面近傍に形成された流出開口１７０が形成されている。

【0055】

液浸冷却装置１は、冷却槽１０の開放空間１０ａを閉じるための天板１０ｂを有する。液浸冷却装置１の保守作業時には、天板１０ｂを開口部から外して開放空間１０ａを開き、液浸冷却装置１の運用時には、天板１０ｂを冷却槽１０の開口部に置くことにより、開放空間１０ａを閉じることができる。

【0056】

冷却槽１０には、電子機器１００の全体を浸漬するのに十分な量の冷却液が図１０に示す液面まで入れられている（図１０参照）。冷却液としては、３Ｍ社の商品名「フロリナート（３Ｍ社の商標、以下同様）ＦＣ−７２」（沸点５６℃）、「フロリナートＦＣ−７７０」（沸点９５℃）、「フロリナートＦＣ−３２８３」（沸点１２８℃）、「フロリナートＦＣ−４０」（沸点１５５℃）、「フロリナートＦＣ−４３」（沸点１７４℃）として知られる、完全フッ素化物（パーフルオロカーボン化合物）からなるフッ素系不活性液体を好適に使用することができるが、これらに限定されるものではない。なお、フロリナートＦＣ−４０、ＦＣ−４３は、沸点が１５０℃よりも高く、極めて蒸発しにくいため、いずれかを冷却液に使用する場合、冷却槽１０内における液面の高さが長期間に亘って保たれ、有利である。

【0057】

冷却槽１０の底壁１１の下に、冷却液の入口１５を一端に有する複数の流入ヘッダ１６が設けられている。また、冷却槽１０の側壁１２の外側に、冷却液の出口１８を有する受部１７が設けられている。受部１７は、流出開口１７０を覆い、流出開口１７０から流出する冷却液を漏らさず受ける。

【0058】

図１１を参照して、冷却槽１０の底壁１１の上には、４枚の平板のステージ２２が並べて配置される。ステージ２２に形成された複数の穴２３、及び隣り合う切り欠き２４同士が合わさって形成される、穴２３と実質同じ穴のそれぞれは、底壁１１に形成された複数の流入開口１５０のそれぞれに一致する。したがって、流入開口１５０から流入する冷却液は、電源ユニット２０によって流入を阻害されることはない。また、電源ユニット２０のユニット基板２１とステージ２２（底壁１１）との間に冷却液が通るフローチャネルが確保されているので、冷却液がユニット基板２１の両面から熱を速やかに、かつ、効率よく奪い取る。したがって、電源ユニット２０の冷却効率に優れている。さらに、電源ユニット２０のユニット基板２１を、冷却槽１０の底壁１１と平行に置くことができるので、冷却槽１０の高さ（深さ）方向における、電源ユニット２０の高さを、従来に比べて低く抑えることができる。したがって、電子機器１００と電源ユニット２０を合わせた長さを短くできるので、冷却槽１０の高さを低く（深さを浅く）設計することが可能となる。

【0059】

加えて、流入開口１５０から流入する冷却液は、電子機器１００の下側から上側に、プロセッサモジュールの内と外を通って、プロセッサモジュール１２０、及びキャリア基板１２１から熱を速やかに、かつ、効率よく奪い取る。このようにして暖められた冷却液は、流出開口１７０、受け部１７を通って、出口１８に至る。出口１８には、熱交換器（図示せず）を通って入口１５に至る配管（図示せず）が接続されており、当該熱交換器において冷却液が冷やされ、冷えた冷却液が入口１５に供給される。

【産業上の利用可能性】

【0060】

本発明は、超高密度に実装された液浸冷却用のプロセッサモジュール及び電子機器に広く適用することができる。

【符号の説明】

【0061】

１ 液浸冷却装置
１０ 冷却槽
１０ａ 開放空間
１０ｂ 天板
１１ 底壁
１２ 側壁
１２ａ 電源ケーブル導入口
１２ｂ ネットワークケーブル導入口
１００ 電子機器
１１０ バックボード又はフレーム構造
１１０ａ 穴
１１０ｂ 外枠部
１１０ｃ 梁部
１２０ プロセッサモジュール
１２１ キャリア基板
１２２ ネットワークカード
１２３Ａ、１２３Ｂ、１２３Ｃ 回路基板
１２４Ａ、１２４Ｂ プロセッサ
１２５Ａ、１２５Ｂ、１２５Ｃ、１２５Ｄ コネクタ
１２６Ａ、１２６Ｂ メモリソケット
１２７Ａ、１２７Ｂ メモリモジュール
１２８ モジュールコネクタ
１２９ モジュールコネクタプラグ
１３０ ストレージデバイス
ＰＡ、ＰＢ プロセッサ実装領域
ＭＡ、ＭＢ メモリ実装領域

【要約】

比較的背の高いメモリモジュールを実装してもなお実装密度が低下しない、もしくは実装密度をより一層高めることのできる電子機器及びプロセッサモジュールを提供する。プロセッサモジュールは、それぞれの基板の一の面にプロセッサ実装領域とメモリ実装領域とを有する第１の回路基板及び第２の回路基板を含む。プロセッサ実装領域に少なくとも１つのプロセッサを実装し、メモリ実装領域に櫛状配列された複数のメモリモジュールを実装する。第１の回路基板の前記一の面と第２の回路基板の前記一の面とが向かい合わせに組み合わされる。第１の回路基板と第２の回路基板とは、第１の回路基板のプロセッサ実装領域及びメモリ実装領域が、第２の回路基板のプロセッサ実装領域及びメモリ実装領域とそれぞれ向かい合うように、かつ、第１の回路基板の櫛状配列された複数のメモリモジュールの先端部及び第２の回路基板の櫛状配列された複数のメモリモジュールの先端部が、隣り合うメモリモジュール間に隙間を作って互い違いに並ぶように、位置合わせされている。第３の回路基板は、第１の回路基板及び第２の回路基板におけるプロセッサの上面が互いに向かい合ってできる空間内に配置される。

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図4】

【図5A】

【図5B】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】