知財求人 - 知財ポータルサイト「IP Force」
▶ インテグラ ミッション クリティカル，エルエルシーの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2025-01-30
(54)【発明の名称】データセンタにおける冷却冗長性のためのデッキ構造
(51)【国際特許分類】
G06F 1/20 20060101AFI20250123BHJP
G06F 1/16 20060101ALI20250123BHJP
H05K 7/20 20060101ALI20250123BHJP
【ＦＩ】
G06F1/20 D
G06F1/20 A
G06F1/20 B
G06F1/20 C
G06F1/16 312
H05K7/20 U
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024543400
(86)(22)【出願日】2023-01-26
(85)【翻訳文提出日】2024-07-22
(86)【国際出願番号】 US2023061406
(87)【国際公開番号】W WO2023147441
(87)【国際公開日】2023-08-03
(31)【優先権主張番号】63/303,465
(32)【優先日】2022-01-26
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】523411134
【氏名又は名称】インテグラ ミッション クリティカル，エルエルシー
【氏名又は名称原語表記】Ｉｎｔｅｇｒａ Ｍｉｓｓｉｏｎ Ｃｒｉｔｉｃａｌ， ＬＬＣ
【住所又は居所原語表記】１７０００ Ｄａｌｌａｓ Ｐｋｗｙ， Ｓｔｅ ２００， Ｄａｌｌａｓ， Ｔｅｘａｓ ７５２４８， Ｕ．Ｓ．Ａ．
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】ニューマン、トーマス
(72)【発明者】
【氏名】ムシッリ、ジョン エー．ジュニア
【テーマコード（参考）】
5E322
【Ｆターム（参考）】
5E322AB10
5E322BA05
5E322BB03
5E322BB05
5E322DA01
5E322DA02
5E322DA04
5E322EA05
5E322EA11
5E322FA01
(57)【要約】
システムは、データホール（１１０）に直列に配置された複数のモジュール式ホットアイル冷却ユニット（ＭＨＡＣＵ）（１１４ａ～１１４ｃ）であって、各ＭＨＡＣＵは前記データホールの複数のサーバ（１１２）を冷却するように構成され、前記サーバは前記データホールの複数の格納モジュール（８０２ａ～８０２ｄ）に配置され、各格納モジュールはホットアイル（８０３）を含む、複数のＭＨＡＣＵを含む。システムは、また、複数のデッキ（８０４ａ～８０４ｂ）であって、各々は複数の前記格納モジュールのうちの少なくとも２つの前記ホットアイルに接続され、加熱空気が前記ホットアイルの間を流れることを可能にするように構成された、複数のデッキを含む。システムは、また、複数の前記ＭＨＡＣＵに冷却流体を供給するように構成されたポンプパッケージ（１２０）を含む。システムは、また、複数の前記ＭＨＡＣＵの各々において、空気スループット、放出空気温度、及び放出流体温度のうちの少なくとも１つを制御して、複数の前記格納モジュールのうちの異なる格納モジュールの冷却レベルをカスタマイズするように構成された、少なくとも１つのコンピューティングデバイス（１４０）を含む。
【特許請求の範囲】
【請求項1】
データホール（１１０）に直列に配置された複数のモジュール式ホットアイル冷却ユニット（ＭＨＡＣＵ）（１１４ａ～１１４ｃ）であって、各ＭＨＡＣＵは前記データホールの複数のサーバ（１１２）を冷却するように構成され、前記サーバは前記データホールの複数の格納モジュール（８０２ａ～８０２ｄ）に配置され、各格納モジュールはホットアイル（８０３）を含む、複数のＭＨＡＣＵと、複数のデッキ（８０４ａ～８０４ｂ）であって、各々は複数の前記格納モジュールのうちの少なくとも２つの前記ホットアイルに接続され、加熱空気が前記ホットアイルの間を流れることを可能にするように構成された、複数のデッキと、
複数の前記ＭＨＡＣＵに冷却流体を供給するように構成されたポンプパッケージ（１２０）と、
複数の前記ＭＨＡＣＵの各々において、空気スループット、放出空気温度、及び放出流体温度のうちの少なくとも１つを制御して、複数の前記格納モジュールのうちの異なる格納モジュールの冷却レベルをカスタマイズするように構成された、少なくとも１つのコンピューティングデバイス（１４０）と、
を含む、
システム（１００）。
【請求項2】
複数の前記デッキの各々は複数のメッシュ壁を含み、各メッシュ壁は前記デッキと少なくとも２つの前記格納モジュールのうちの１つ以上との間に配置され、
各メッシュ壁は前記加熱空気が前記メッシュ壁を通って流れることを可能にする一方で、前記メッシュ壁により人員の移動を制限するように構成される、
請求項１に記載のシステム。
【請求項3】
前記複数のデッキの各々は、少なくとも１つの中実壁と、少なくとも１つのドアとをさらに含む、請求項２に記載のシステム。
【請求項4】
複数の前記ＭＨＡＣＵのうちの第１ＭＨＡＣＵの前記冷却流体の温度を測定するように構成された第１温度センサ（３１１ａ）と、複数の前記ＭＨＡＣＵのうちの第２ＭＨＡＣＵの前記冷却流体の温度を測定するように構成された第２温度センサ（３１１ｂ）と、
をさらに含む、請求項１に記載のシステム。
【請求項5】
前記第１ＭＨＡＣＵに配置された少なくとも１つのコイル（２０６）であって、前記冷却流体が少なくとも１つの前記コイルを通って運ばれ、前記加熱空気が少なくとも１つの前記コイルを通過する間に、少なくとも１つの前記コイルは、前記加熱空気から前記冷却流体に熱エネルギを伝達するように構成されている、請求項４に記載のシステム。
【請求項6】
前記加熱空気は、複数の前記サーバによって加熱され、複数の前記サーバから前記第１ＭＨＡＣＵに流れる、請求項５に記載のシステム。
【請求項7】
複数の前記ＭＨＡＣＵの各々は、複数の前記サーバの上方、後方、または前方に配置される、請求項１に記載のシステム。
【請求項8】
複数の前記サーバのうちの少なくとも１つに近接して、またはその内部に配置され、少なくとも１つの前記コンピューティングデバイスに通信可能に接続された１つまたは複数の機器センサ（２１４）をさらに含み、１つまたは複数の前記機器センサは、複数の前記サーバの１つまたは複数の特性を測定するように構成され、
１つまたは複数の前記機器センサは、電力センサ、熱センサ、ファン速度センサ、及びＣＰＵセンサのうちの少なくとも１つを含む、
請求項１に記載のシステム。
【請求項9】
少なくとも１つの前記コンピューティングデバイスは、複数の前記ＭＨＡＣＵのうちの第１ＭＨＡＣＵ（１１４ａ）の前記冷却流体の温度が、所定の最高温度未満である第１温度まで上昇したことを判定し、
前記第１ＭＨＡＣＵの前記冷却流体の前記温度が前記第１温度まで上昇したという判定に応答して、複数の前記ＭＨＡＣＵのうちの第２ＭＨＡＣＵ（１１４ｂ）に前記冷却流体の少なくとも一部分を供給するように前記システムを制御し、
前記第２ＭＨＡＣＵの前記冷却流体の温度が、少なくとも前記所定の最高温度である第２温度まで上昇したことを判定し、
前記第２ＭＨＡＣＵの前記冷却流体の前記温度が前記第２温度まで上昇したという判定に応答して、前記ポンプパッケージに戻すために、前記冷却流体を流体戻りライン（３０４）に提供するように前記システムを制御する、
ようにさらに構成されている、請求項１に記載のシステム。
【請求項10】
少なくとも１つの前記コンピューティングデバイスは、複数の前記サーバの電力需要に基づいて熱負荷を計算し、
計算された前記熱負荷を使用して、前記データホールの異なる部分におけるカスタマイズされた前記冷却レベルを決定する、
ようにさらに構成されている、請求項９に記載のシステム。
【請求項11】
前記戻り流体ラインは、複数の前記ＭＨＡＣＵと前記ポンプパッケージとの間に流体的に結合された少なくとも１つの浸漬タンク（１４５）を含む、請求項９に記載のシステム。
【請求項12】
前記ポンプパッケージを介して複数の前記ＭＨＡＣＵから加熱流体を受け取り、前記加熱流体を冷却して冷却流体を形成し、
前記冷却流体を前記ポンプパッケージに出すように構成された、
流体冷却器（１３０）をさらに含む、請求項１に記載のシステム。
【請求項13】
流体供給ライン（３０２）を介して、データホール（１１０）に直列に配列された複数のモジュール式ホットアイル冷却ユニット（ＭＨＡＣＵ）（１１４ａ～１１４ｃ）の内の第１ＭＨＡＣＵ（１１４ａ）に、ポンプパッケージ（１２０）から、冷却流体を提供し（７３０）、各ＭＨＡＣＵが前記データホールの複数のサーバ（１１２）を冷却するように構成され、
前記サーバが前記データホールの複数の格納モジュール（８０２ａ～８０２ｄ）に配置され、
各格納モジュールがホットアイル（８０３）を含み、
前記ホットアイルの少なくともいくつかが、前記ホットアイルの少なくともいくつかの間を加熱空気が流れるように、複数のデッキ（８０４ａ～８０４ｂ）を介して接続され、
前記第１ＭＨＡＣＵの前記冷却流体の温度が、所定の最高温度未満である第１温度まで上昇したことを判定し（７０５）、
前記第１ＭＨＡＣＵの前記冷却流体の前記温度が前記第１温度まで上昇したとの判定に応答して、複数の前記ＭＨＡＣＵのうちの第２ＭＨＡＣＵに前記冷却流体の少なくとも一部分を提供し（７０７）、
前記第２ＭＨＡＣＵの前記冷却流体の前記温度が少なくとも前記所定の最高温度である第２温度まで上昇したことを判定し（７０９）、
前記第２ＭＨＡＣＵの前記冷却流体の前記温度が前記第２温度まで上昇したとの判定に応答して、前記ポンプパッケージに戻すために、前記冷却流体を流体戻りライン（３０４）に提供する（７１１）、
ことを含む、方法。
【請求項14】
複数の前記デッキの各々は複数のメッシュ壁を含み、各メッシュ壁は前記デッキと少なくともいくつかの前記ホットアイルのうちの１つまたは複数との間に配置され、
各メッシュ壁は、前記加熱空気が前記メッシュ壁を通って流れることを可能にする一方で、前記メッシュ壁を通る人員の移動を制限するように構成されている、
請求項１３に記載の方法。
【請求項15】
複数の前記デッキの各々が、少なくとも１つの中実壁および少なくとも１つのドアをさらに含む、請求項１４に記載の方法。【発明の詳細な説明】
【技術分野】
【0001】
本開示の実施形態は冷却システムに関し、特に、データセンタにおける冷却冗長性のためのデッキ（vestibule）構造に関する。
【背景技術】
【0002】
コロケーションデータセンタは通常、多様な顧客要求に対応するために、空間利用における柔軟性を必要とする。たとえば、一部のコロケーションデータセンタでは、ＡＳＨＲＡＥ（Ａｍｅｒｉｃａｎ Ｓｏｃｉｅｔｙ ｏｆ Ｈｅａｔｉｎｇ、Ｒｅｆｒｉｇｅｒａｔｉｎｇ、ａｎｄ Ａｉｒ－Ｃｏｎｄｉｔｉｏｎｉｎｇ Ｅｎｇｉｎｅｅｒｓ）の許容顧客とＡＳＨＲＡＥ推奨顧客の両方に空間を提供するための設備が必要である。多くのデータセンタプロバイダは、冷却のためにデータホールに直接の外気または液体が供給されない閉鎖システムを好む。
【発明の概要】
【発明が解決しようとする課題】
【0003】
本開示は、データセンタにおける冷却冗長性のためのデッキ（vestibule）構造を提供する。
【0004】
第１態様では、システムは、データホールに直列に配置された複数のモジュール式ホットアイル冷却ユニット（ＭＨＡＣＵ）であって、各ＭＨＡＣＵは前記データホールの複数のサーバを冷却するように構成され、前記サーバは前記データホールの複数の格納モジュールに配置され、各格納モジュールはホットアイル（８０３）を含む、複数のＭＨＡＣＵを含む。システムは、また、複数のデッキであって、各々は複数の前記格納モジュールのうちの少なくとも２つの前記ホットアイルに接続され、加熱空気が前記ホットアイルの間を流れることを可能にするように構成された、複数のデッキを含む。システムは、また、複数の前記ＭＨＡＣＵに冷却流体を供給するように構成されたポンプパッケージを含む。システムは、また、複数の前記ＭＨＡＣＵの各々において、空気スループット、放出空気温度、及び放出流体温度のうちの少なくとも１つを制御して、複数の前記格納モジュールのうちの異なる格納モジュールの冷却レベルをカスタマイズするように構成された、少なくとも１つのコンピューティングデバイスを含む。
【0005】
第２の実施形態では、方法は、流体供給ラインを介して、データホールに直列に配列された複数のＭＨＡＣＵの内の第１モジュール式ホットアイル冷却ユニット（ＭＨＡＣＵ）に、ポンプパッケージから、冷却流体を提供し、各ＭＨＡＣＵが前記データホールの複数のサーバを冷却するように構成され、前記サーバが前記データホールの複数の格納モジュールに配置され、各格納モジュールがホットアイルを含み、前記ホットアイルの少なくともいくつかが、前記ホットアイルの少なくともいくつかの間を加熱空気が流れるように、複数のデッキを介して接続されている。方法は、また、前記第１ＭＨＡＣＵの前記冷却流体の温度が、所定の最高温度未満である第１温度まで上昇したことを判定する。方法は、また、前記第１ＭＨＡＣＵの前記冷却流体の前記温度が前記第１温度まで上昇したとの判定に応答して、複数の前記ＭＨＡＣＵのうちの第２ＭＨＡＣＵに前記冷却流体の少なくとも一部分を提供する。方法は、また、前記第２ＭＨＡＣＵの前記冷却流体の前記温度が少なくとも前記所定の最高温度である第２温度まで上昇したことを判定する。方法は、また、前記第２ＭＨＡＣＵの前記冷却流体の前記温度が前記第２温度まで上昇したとの判定に応答して、前記ポンプパッケージに戻すために、前記冷却流体を流体戻りライン（３０４）に提供する。
【図面の簡単な説明】
【0006】
【発明を実施するための形態】
【0007】
他の技術的特徴は、以下の図面、説明、および特許請求の範囲から当業者には容易に明らかであり得る。
【0008】
以下に説明する図１～図１０、および本発明の原理を説明するために使用される様々な実施形態は単に例示のためのものであり、本発明の範囲を限定するものと決して解釈されるべきではない。当業者は、本開示の原理が任意の適切に配置されたシステムまたはデバイスにおいて実装され得ることを理解するのであろう。
【0009】
簡単かつ明確にするために、いくつかの特徴および構成要素は、他の図に関連して示されるものを含む、すべての図に明示的に示されていない。図面に示された全ての特徴は、記載された実施形態のいずれかにおいて使用されてもよいことが理解されるのであろう。特定の図からの特徴または構成要素の省略は簡略化および明瞭化の目的のためであり、特徴または構成要素が、その図に関連して説明される実施形態において使用され得ないことを暗示することを意味しない。本開示の実施形態は、本明細書に記載される特徴のうちの任意の１つ、２つ以上、またはすべてを含み得ることが理解されよう。また、本開示の実施形態は、追加または代替として、本明細書に列挙されていない他の特徴を含み得る。
【0010】
上述のように、コロケーションデータセンタは通常、多様な顧客要求に対応するために、空間利用における柔軟性を必要とする。例えば、ＡＳＨＲＡＥ許容顧客とＡＳＨＲＡＥ推奨顧客の両方に空間を提供するために、一部のコロケーションデータセンタを装備する必要がある。多くのデータセンタプロバイダは、冷却のためにデータホールに直接の外気または液体が供給されない閉鎖システムを好む。
【0011】
これらおよび他の問題に対処するために、本開示の実施形態は、コロケーションデータセンタと共に使用するための屋内冷却システムを提供する。開示された室内冷却システムは、広範囲の流体温度で動作するように設計されている。開示された実施形態はコンピューティングデバイスラック、コンピューティングデバイス列、コンピューティングデバイス室、又はコンピューティングデバイスシステムの一部又は全体のために、液冷のための流入液温（ＥＦＴ）、空冷のための所定の給気温度（ＳＡＴ）の電力及び熱密度に適合するように様々な形状及び高さに構成された冷却コイル及び浸漬装置を含む。このシステム効率は、従来のコロケーションデータセンタ設備で必要とされる長い空気流路を、計算装置から空気処理装置へ、または浸漬中の冷却流体との直接接触を除去することによって、熱負荷付近の熱収集を通して導出することができる。システム効率はまた、冷却コイルのカスタム構成、場所、サイズ、形状、および隆起を介して、空気から流体への伝達、および／または流体から流体への伝達によって収集される熱の量で表すことができる。追加の効率は、液浸冷却システム内で実行される流体から流体への熱伝達によって使用可能なコイルの高い放出流体温度（ＬＦＴ）、および遠隔熱回収ユーザまたはデータホールの外部の遠隔熱排除プラントに利用可能なより高品質の加熱流体によるさらなる効率に見出すことができる。
【0012】
図１は、本開示によるデータセンタを冷却するための例示的な冷却システム１００を示す。図１に示される冷却システム１００の実施形態は、単に例示のためのものである。本開示の範囲から逸脱することなく、冷却システム１００の他の実施形態を使用することができる。
【0013】
図１に示すように、冷却システム１００は、データホール１１０と、ポンプパッケージ１２０と、流体冷却器１３０と、コンピューティングデバイス１４０とを備える。
【0014】
データホール１１０はコロケーションデータセンタの少なくとも一部を表し、サーバラックに配置された複数のサーバ１１２を収容する密閉空間である。当技術分野で知られているように、サーバ１１２はデータホール１１０内の空間を加熱する傾向がある相当量の熱エネルギを生成し、それによって、サーバ１１２の適切な動作のために、およびデータホール１１０内の任意の人員の快適さのために、データホール１１０の温度を適切なレベルに維持するための冷却を必要とする。
【0015】
データホール１１０は、１つまたは複数のモジュール式ホットアイル冷却ユニット（ＭＨＡＣＵ）１１４を備える室内冷却システムを含む。ＭＨＡＣＵ１１４は、サーバ１１２の上方、後方、および／または前方に配置され、サーバ１１２を冷却するように動作可能である。特に、各ＭＨＡＣＵ１１４は、データホール１１０内のサーバラックの上方、後方、および／または前方に取り付けることができる。ＭＨＡＣＵ１１４は、異なる形状および大きさに構成され、異なる高さで、異なる配置および組合せで設置され、コンピューティングデバイスのラック、コンピューティングデバイスの列、ルーム、またはコンピューティングデバイス設備のための所定の給気温の電力および熱密度に部分的にまたは全体的に適合することができる。
【0016】
ＭＨＡＣＵ１１４はサーバ１１２から上昇する加熱空気（例えば、ＡＳＨＲＡＥが許容される場合は約１３０°Ｆ～１４０°Ｆ、またはＡＳＨＲＡＥが推奨される場合は約１００°Ｆ）を受け取り、加熱空気を冷却空気に冷却し（例えば、ＡＳＨＲＡＥが許容される場合は約９５°Ｆ、またはＡＳＨＲＡＥが推奨される場合は約８０°Ｆ）、冷却空気を出力してサーバ１１２を冷却することによってサーバ１１２を冷却する。いくつかの実施形態では、ＭＨＡＣＵ１１４によってデータホール１１０に送達される風量の量がデータホール１１０に送達される電力の量に依存する。たとえば、ＭＨＡＣＵ１１４はデータホール１１０に送達される１キロワット（１ｋＷ）の電力ごとに、８０°Ｆの温度で少なくとも８０立方フィート／分（ＣＦＭ）の空気（または９５°Ｆの温度で少なくとも１０８ＣＦＭの空気）を送達し得る。
【0017】
各ＭＨＡＣＵ１１４はモジュール式であり、サーバ１１２の１つ以上のラックの上方、後方、および／または前方に位置する。図１は３つのＭＨＡＣＵ１１４を示すが、実施形態に応じて、より多いまたはより少ないものがあってもよい。ＭＨＡＣＵ１１４の数は、応用のために容易にスケーリングされ、サーバ１１２の負荷密度、各ＭＨＡＣＵ１１４の冷却能力などに依存する。いくつかの実施形態では各ＭＨＡＣＵ１１４が約１５０ｋＷ～７００ｋＷの冷却能力を提供することができるが、他の実施形態では他の冷却能力を提供することができる。
【0018】
ＭＨＡＣＵ１１４は、熱負荷の近くで熱収集を取り扱うことによって、従来の技法よりもシステム効率を改善する。すなわち、ＭＨＡＣＵ１１４は、従来のコロケーションデータセンタ施設で必要とされる長い空気流路をコンピューティングデバイスから空気処理装置へと除去する。また、全体的なシステム効率は、冷却コイルのカスタム構成、場所、サイズ、形状、および隆起を通る空気－流体移送によって収集される熱の量においても対処することができる。さらなる効率は、データホール１１０の外部の遠隔熱除去プラントへのコイルの高い放出流体温度（ＬＦＴ）に見ることができる。
【0019】
ＭＨＡＣＵ１１４は、広範囲の流体温度で動作するように設計されている。各ＭＨＡＣＵ１１４はデータホール１１０の異なる部分においてリアルタイムで冷却レベルをカスタマイズするために、個別に制御され得る（空気スループット、放出空気温度、放出流体温度などを含む）。例えば、サーバ１１２のいくつかが、より大きな負荷を生成し、追加の冷却を必要とする場合、それらのサーバ１１２の近傍の１つまたは複数のＭＨＡＣＵ１１４を制御して、冷却容量を増加させることができる。
【0020】
いくつかの実施形態では、ＭＨＡＣＵ１１４が直列に接続され、ポンプパッケージ１２０に流体的に結合される。これは「シリアルトポロジ」と呼ぶことができ、他の実施形態ではＭＨＡＣＵ１１４が並列に接続することができる。ＭＨＡＣＵ１１４への接続点は意図された結果を生み出すために、例えば、空気－流体移動を通して最大量の熱を収集するために、個々に、または並列もしくは直列に、互いに任意の組み合わせで、または特定のグループとして形成され得る。ポンプパッケージ１２０から受け取った冷却流体（例えば、ＡＳＨＲＡＥ許容値については約９０°Ｆ、またはＡＳＨＲＡＥ推奨値については約７５°Ｆ）は各ＭＨＡＣＵ１１４に流入し、サーバ１１２からの加熱空気を冷却するために使用される。流体がデータホール１１０内の熱空気を冷却すると、加熱された流体はポンプパッケージ１２０に戻る。いくつかの実施形態では、加熱された流体の少なくとも一部が以下でより詳細に説明するように、１つまたは複数の浸漬タンク１４５に送ることができる。いくつかの実施形態では流体は水であるが、他の適切な流体が使用されてもよく、本開示の範囲内である。
【0021】
いくつかの実施形態では、システム１００はまた、１または複数の熱回収ユーザのニーズをサポートするために、下流熱回収で使用するための熱回収熱交換器１５０を含む。いくつかの実施形態では、浸漬タンク１４５はまた、下流の熱回収に適したより高品質の熱を生成することができる。この高品質の熱は熱回収熱交換器１５０に利用可能であり、熱回収ユーザのニーズをサポートする。
【0022】
図２は、本開示によるＭＨＡＣＵ１１４の一例のさらなる詳細を示す。図２に示すように、ＭＨＡＣＵ１１４は、１つ以上の可変速ファン２０２と、１つ以上の流体バルブ２０４と、加熱された空気から冷却された流体に熱エネルギを伝達するための少なくとも１つのコイル２０６とを含む。ＭＨＡＣＵ１１４はまた、ファン２０２の動作および速度、ならびにバルブ２０４の位置を制御するための少なくとも１つの制御システム２０８を含む。少なくとも１つの制御システム２０８は、１つまたは複数の圧力センサ２１０、温度計または他の温度センサ２１２、機器センサ２１４、流体流量センサ（図示せず）などを含む１つまたは複数のセンサに通信可能に結合される。いくつかの実施形態では、温度センサ２１２が例えば、供給および戻り通路内の空気温度、流入および戻り空気流内の空気温度、供給および戻りライン内の流体温度、コイル２０６内外の流体温度などを測定することができる。流体流量センサは、直接流体接触センサ、パイプ表面接触センサ、赤外線センサなどを含むことができる。センサのタイプおよび数は、特定の流体の流れ、空気の流れ、流体の圧力、空気の圧力、所定の流体の熱量、所定の空気量の熱量、相対湿度などを方向付けるようにカスタマイズすることができる。圧力センサ２１０は、供給空気通路と戻り空気通路との間の圧力差、コイル２０６への入出力における流体圧力などを測定することができる。他のセンサは、気流内の気流速度を測定するための１つ以上の風速計、または１つ以上の超音波流体流センサを含むことができる。
【0023】
バルブ２０４は、ＭＨＡＣＵ１１４内およびその周囲の流体の流れを制御するための任意の適切な組合せの任意の適切なバルブを含むことができる。バルブ２０４の例は、２方向制御バルブ、３方向制御バルブ、４方向制御バルブ、６方向制御バルブ、バランスバルブ、アクチュエータ制御バルブ、熱制御バルブ、流量制御バルブ、圧力制御バルブ、及び補償バルブを含むことができる（がこれらに限定されない）。
【0024】
いくつかの実施形態では、それぞれの送風機２０２が個別に、またはコンピューティングデバイスを支持する１つ以上の属性と組み合わされて、高温戻り空気通路と冷熱供給空気通路との間の適切な空気供給量、空気温、または静圧差を維持するために、特定の固定値に動的に制御または設定され得る。一般に、センサから制御システム２０８に送信されるデータは個々に、または任意の組み合わせで、データセンタの電力効率、冷却効率を改善するために、または個々のラック、列、ルーム、または現場の冷却負荷需要に対するリアルタイム応答を通して総水消費量を低減するために使用することができる。例えば、コンピューティングデバイス電力は、コンピューティングデバイスの電力需要から計算される実際の熱負荷に基づいて提供されるクーリング供給と一致させることができる。コンピューティングデバイスの発熱量のみを冷却することで、冷却効率を向上させることができる。総水消費量は、冷却塔または断熱冷却スプレー冷却溶液を介して過圧送せず、ドリフトおよび表面蒸発からの水損失を維持することによって低減することができる。コンピューティングデバイス流入気温（ＥＡＴ）の効果的な制御とコイル放出流体温度（ＬＦＴ）の制御は直近のラック、列、ルーム、または現場の正確な冷却要求に適合するように、センサインプットおよびプログラムされた演算によって構成される。
【0025】
いくつかの実施形態では、機器センサ２１４がコンピューティング機器の特性またはパラメータを検出または測定するために、データホール１１０内のコンピューティング機器（例えば、サーバ１１２）において、またはその周囲で使用される遠隔センサである。例えば、機器センサ２１４はコンピュータ機器によって使用される電力を測定するために、コンピューティングデバイス、サーバ、またはネットワーク機器に埋め込まれたオンボード電力センサを含むことができる。別の実施形態として、機器センサ２１４はコンピューティングデバイス、サーバ、またはネットワーク機器に埋め込まれたオンボード熱センサまたはファン速度センサを含むことができ、コンピュータ機器によって生成された熱または機器の現在のファン速度を測定する。さらに別の例として、機器センサ２１４は、サーバ１１２のＣＰＵまたはハッシュレート利用率を測定するためのオンボードセンサを含むことができる。これらの測定値は、冷却を制御するために制御システム２０８に提供することができる。いくつかの実施形態では、ルームレベルの熱センサを使用して、ローカルコイル制御を無効にして、グローバル（全体的なデータセンタ空間）の熱要件を満たすことができる。いくつかの実施形態では、室内レベルの静圧センサを使用して、局所コイル制御を無効にして、供給空気通路の全体的な正圧要件を満たすことができる。
【0026】
いくつかの実施形態では、機器センサ２１４によって収集された測定値を熱負荷プロキシとして使用することができる。以下で説明するように、電力出力および既知の場所のリアルタイム監視および収集を通じて、熱負荷値は、装置、ラック、列、ルーム、建物、またはサイトなどの個別の領域について計算することができる。
【0027】
以下は、熱負荷の代わりとして使用することができる電力測定の例である。
●デバイスレベル：ＰＯＣ（ｐｏｉｎｔ ｏｆ ｃｏｎｎｅｃｔｉｏｎ）センシング出力を持つ電源タップ。
●ラックレベル：単一ラック内のデバイスをサポートするローカル電源タップの電源センサ。
●ラックレベル：特定のラックを直接支持する、個別の電力計量されたまたは監視されたバスウェイ電気タップまたはサーキットブレーカ。
●列レベル：バスウェイ入力電力検知メータ、または列レベル電力分配をサポートする電気分岐回路の個々の計測。
●室内レベル：データセンタの配電盤、サーキットブレーカ、メータリングセンサ、またはパネルのサーキットボードメータリングからの電源センサ入力。
●建物レベル：データセンタ装置の重大な負荷をサポートするデータセンタ配電基板および／または配電回路遮断器からの電力センサ入力。
●現場レベル：コンピューティングデバイスがサポートされている個々のビルへの現場レベルのサブステーションアウトプットブレーカの電力センサ監視。
●デバイスレベル：ＰＯＣ（ｐｏｉｎｔ ｏｆ ｃｏｎｎｅｃｔｉｏｎ）センシング出力を持つ電源タップ。
●ラックレベル：単一ラック内のデバイスをサポートするローカル電源タップの電源センサ。
●ラックレベル：特定のラックを直接支持する、個別の電力計量されたまたは監視されたバスウェイ電気タップまたはサーキットブレーカ。
●列レベル：バスウェイ入力電力検知メータ、または列レベル電力分配をサポートする電気分岐回路の個々の計測。
●室内レベル：データセンタの配電盤、サーキットブレーカ、メータリングセンサ、またはパネルのサーキットボードメータリングからの電源センサ入力。
●建物レベル：データセンタ装置の重大な負荷をサポートするデータセンタ配電基板および／または配電回路遮断器からの電力センサ入力。
●現場レベル：コンピューティングデバイスがサポートされている個々のビルへの現場レベルのサブステーションアウトプットブレーカの電力センサ監視。
【0028】
いくつかの実施形態では、制御をデータセンタインフラストラクチャ管理（ＤＣＩＭ）技法を使用して容易にすることができる。当技術分野で知られているように、ＤＣＩＭは、コンピューティングデバイスまたはデータセンタインフラストラクチャの電力および冷却のマイクロコントローラおよびマクロ管理のための処理、プロシージャ、制御入力、および制御アウトプットを記述するために使用することができる。ＤＣＩＭ技法は、コンピューティングデバイスからの個々のまたは集合的なインプット、電力および／または冷却需要の計算機器ラックレベルの集約、列レベルで集約されたコンピューティングデバイス電力または冷却需要、ルームレベルでのデバイス電力または冷却需要の集約、デバイス電力または冷却需要のビルレベルの集約、デバイス電力および冷却の現場レベルの需要などを考慮に入れることができる。
【0029】
熱エネルギが空気から冷却された流体に伝達され、それによって流体が加熱されると、加熱された流体（例えば、ＡＳＨＲＡＥが許容される場合は約１２０°Ｆ、ＡＳＨＲＡＥが推奨される場合は約９０．３°Ｆ）が、各ＭＨＡＣＵ１１４からポンプパッケージ１２０に戻って出力され、流体に蓄えられた熱を排除するために流体冷却器１３０に送達される。コイル２０６からの放出流体温度（ＬＦＴ）は、バルブ２０４の位置、および／またはファン２０２の速度およびコイル２０６からの退出空気温度によって生じる空気量によって制御することができる。いくつかの実施形態では制御系２０８（コンピューティングデバイス１４０の一部であるか、またはそれを含むことができる）はファン空気容積および冷却流体流量の両方を変化させることによって、冷却空気の温度（ＭＨＡＣＵ１１４を出てコールドアイルに入る）および加熱流体の温度（ＭＨＡＣＵ１１４を出る）を同時に制御する。
【0030】
図３Ａは、本開示による、流体の熱含有量の増加を通じた排熱の効率を改善するための詳細を図示する。従来の産業の実践はデータセンタ内の計算作業負荷の矛盾した熱排除、冷却された供給流体の熱コンテンツの熱排除システムへの（例えば、異なる温度の流体の流れの組み合わせからの）熱希釈、および／またはエンドユーザまたはコンピューティング機器製造業者によって規定された混合供給空気温度に起因する低供給流体温度のために、比較的高い流体温度を熱排除システムで増加および／または、熱排除システムに戻すのに非効率的である。一般に、低い供給流体開始温度は、比較的低い戻り流体温度をもたらす。例えば、いくつかの従来のシステムは、約６０°Ｆ～７５°Ｆの温度で加熱された戻り流体を示す。システム設計が受け入れることができる最高流体温度（例えば、いくつかの空冷システムでは約１２０°Ｆ）で、排熱システムを出る加熱流体を戻すことができるとき、著しい熱伝達および電力効率の向上を実現することができる。すなわち、冷却された供給流体と加熱された戻り流体との間の温度差（デルタＴ）が大きいほど、排熱プラントおよび装置の効率は高くなる。図３Ａに示される詳細は、これらの問題に対する少なくとも１つの解決策を提供する。
【0031】
図３Ａに示すように、複数のＭＨＡＣＵ１１４（ここでは１１４ａ～１１４ｃで識別される）は、データホール１１０内で互いに流体結合される。図３Ａは３つのＭＨＡＣＵ１１４ａ～１１４ｃを示しているが、実施形態に応じて、より多いまたはより少ないものがあってもよい。ＭＨＡＣＵ１１４ａ～１１４ｃに供給される流体は、流体供給ライン３０２を介してポンプパッケージ１２０から受け取られる。ポンプパッケージ１２０に戻されるべき加熱された流体は、流体戻りライン３０４を介して運ばれる。各ＭＨＡＣＵ１１４ａ～１１４ｃは、温度センサ３１１ａ～３１１ｃおよび流体制御バルブ３２１ａ～３２１ｃに関連付けられる。
【0032】
最初に、ポンプパッケージ１２０からの冷却された供給流体の一部または全部が、第１のＭＨＡＣＵ１１４ａに入力される。流体はＭＨＡＣＵ１１４ａ内の１つまたは複数のコイル２０６を通って移動し、データホール１１０の空気から熱エネルギを吸収する。これは、（温度センサ３１１ａによって測定される）流体の温度上昇を引き起こす。流体温度が所定の最大値（例えば、１２０°Ｆ）まで上昇するほど多くの熱エネルギがＭＨＡＣＵ１１４ａによって吸収される場合、制御バルブ３２１ａは、全ての流体を流体戻りライン３０４に戻すように制御される。代替的に、より少ない熱エネルギ伝達があり、流体温度が最大値よりも低い温度（例えば、７５°Ｆ）まで上昇する場合、制御バルブ３２１ａは、流体の少なくとも一部を第２のＭＨＡＣＵ１１４ｂに供給するように制御される。
【0033】
第２のＭＨＡＣＵ１１４ｂでは、流体が１つまたは複数のコイル２０６を通って移動し、データホール１１０の空気から熱エネルギを吸収する。これは、（温度センサ３１１ｂによって測定される）流体の温度上昇を引き起こす。ＭＨＡＣＵ１１４ｂが流体温度を最大に上昇させるのに十分な熱エネルギを吸収する場合、制御バルブ３２１ｂは、すべての流体を流体戻りライン３０４に戻すように制御される。あるいはより少ない熱エネルギ伝達があり、流体温度がより低い温度（例えば、９０°Ｆ）まで上昇する場合、制御バルブ３２１ｂは流体の少なくとも一部を第３のＭＨＡＣＵ１１４ｃに提供するように制御される。このシリアルフロープロセスは、最大流体温度に達するまで、またはシリーズ内にそれ以上ＭＨＡＣＵがなくなるまで継続する。いくつかの実施形態では流体が流体戻りライン３０４を通って戻り、制御バルブ３２１ｄの位置に従って、１つまたは複数の浸漬タンク３５２に入るか、または迂回し、これは浸漬タンク３５２を通して流体の一部または全部をルーティングするか、またはポンプパッケージ１２０への途中で浸漬タンク３５２を迂回することができる。浸漬タンク３５２は、図１の浸漬タンク１４５を表す（または表す）ことができる。
【0034】
図３Ａに示されるような冷却流体の連続加熱は、上述の任意のまたはすべてのセンサの入力測定値を使用して可能にすることができる。センサ入力は以下を含む様々な構成要素を制御するために、所定の計算、アルゴリズム、および設計プロトコルとともに使用することができる。
●個々のコイル、列、ルーム、および／または部位における流体流量。
●個々のコイル、列、ルーム、および／または部位における流体熱放出制御点率。
●個々のコイル、列、および／またはルームでのファン速度。
●個々のコイル、列、および／またはルームのためのシステムまたは個々の流体圧力。
●列および／またはルームレベルでのシステムまたは個々の空気圧設定。
●列、ルーム、および／または現場レベルでのポンプ速度。
●コイル、列、および／またはルームレベルでの流体混合比。
●個々のコイル、列、ルーム、および／または部位における流体流量。
●個々のコイル、列、ルーム、および／または部位における流体熱放出制御点率。
●個々のコイル、列、および／またはルームでのファン速度。
●個々のコイル、列、および／またはルームのためのシステムまたは個々の流体圧力。
●列および／またはルームレベルでのシステムまたは個々の空気圧設定。
●列、ルーム、および／または現場レベルでのポンプ速度。
●コイル、列、および／またはルームレベルでの流体混合比。
【0035】
いくつかの実施形態では、図３Ａに示されるような冷却流体の連続加熱が例えば、浸漬タンク３５２を使用するデータセンタ浸漬冷却、データセンタ直接ラック液体冷却、地域加熱、熱回収熱交換器１５０を使用する１または複数の熱回収ユーザへの熱回収などのために、流入流体温度（ＥＦＴ）を直接支持することができる。
【0036】
図３Ｂは、本開示による、図３Ａの効率改善技法が使用されるデータホール３５０の平面図を図示する。データホール３５０は、図１のデータホール１１０を表すことができる。図３Ｂに示されるように、データホール３５０を横切って、流体に直列の熱利得がある（すなわち、流体の温度がより低温からより高温に上昇する）。これは、異なる冷却要件を有し得るデータホール３５０内の可能なゾーンに対応する。いくつかの実施形態では、データホール３５０が浸漬タンク３５２のうちの１つまたは複数を含む。浸漬タンク３５２は１２０°Ｆを超える高い流入流体温度（ＥＦＴ）を受け入れ、１５０°Ｆを超える流出流体温度（ＬＦＴ）を生成することができ、流体戻りライン３０４の構成要素の全体または一部であってもよい。
【0037】
いくつかの実施形態では、ＭＨＡＣＵ１１４のうちの１つまたは複数がいかなるエアフィルタも含まない。代わりに、ＭＨＡＣＵ１１４は空気を清浄にするために、専用の屋外空気システム（ＤＯＡＳ）加圧ユニットに依存することができる。
【0038】
データホール１１０におけるＭＨＡＣＵ１１４の使用は、既存のソリューションよりも多くの有利な利点を提供する。ＭＨＡＣＵは、サーバラックの上方および／または後方または前方に取り付けられるので、床面積はほとんどまたは全く必要とされない。また、床にダクト工事を必要とせず、床上げの必要性が軽減される。これにより、インフラストラクチャのコストが削減される。ＭＨＡＣＵ１１４は、ダクト仕事損失がなく、床下分配損失がなく、フィルタ圧力損失がないため、既存の解決策よりも少ないエネルギを使用する。ＭＨＡＣＵ１１４は、ラックと負荷密度の柔軟性を提供するモジュラデザインを提供する。各ＭＨＡＣＵ１１４の局所制御は、サーバラック空気入口に対して均一な温度で冷却された空気を確実にするのに役立つ。
【0039】
流体冷却器１３０は、ポンプパッケージ１２０を介してデータホール１１０内のＭＨＡＣＵ１１４から加熱された流体を受け取る。流体冷却器１３０はマルチコイル熱交換器システムを使用して加熱された流体を冷却し、冷却された流体をポンプパッケージ１２０に出力して、データホール１１０内のＭＨＡＣＵ１１４に送達する。流体冷却器１３０は限定されるものではないが、熱交換器を通ってルーティングされた開ループ蒸発冷却塔または表面水などの任意の適切な熱除去装置または特徴を含み、データホール冷却システムを外部汚染物、閉回路冷却塔、閉ループ断熱冷却、空冷式冷却装置、従来の冷却装置システムなどから隔離することができる。図１は１つの流体冷却器１３０を有する冷却システム１００を示しているが、これは一例に過ぎない。他の実施形態では、冷却システム１００が各々が隔離された流れを有する複数の流体冷却器１３０を含むことができる。さらなる実施形態では、冷却システム１００が冗長性のために組み合わされた流れを有する複数の流体冷却器１３０を含むことができる。さらに他の実施形態では、冷却システム１００が複数のデータホール１１０を冷却するための組み合わせ流を有する複数の流体冷却器１３０を含むことができ、したがって、より低いコストで冗長性を高めることができる。
【0040】
上述のように、冷却システム１００は、冷却システム１００の動作を制御するための１つ以上のコンピューティングデバイス１４０を含む。いくつかの実施形態では、それぞれのコンピューティングデバイス１４０が人物または企業などの第三者によって運営されるサービスであってもよい。それぞれのコンピューティングデバイス１４０は、冷却システム１００の残りの部分が位置する場所とは別の場所に収容され、操作されてもよい。すなわち、それぞれのコンピューティングデバイス１４０は、特定の位置にバインドされない。
【0041】
図４Ａ～図４Ｃは、本開示による、異なるレベルの冷却密度を有する例示的なデータホール１１０を示す。特に、図４Ａは低密度冷却（例えば、ラック当たり約３ｋＷ～９ｋＷ）を有するデータホール１１０を示し、図４Ｂは中密度冷却（例えば、ラック当たり約１５ｋＷ～２０ｋＷ）を有するデータホール１１０を示し、図４Ｃは高密度冷却（例えば、ラック当たり約３０ｋＷ～５０ｋＷ）を有するデータホール１１０を示す。図４Ａ～図４Ｃに示すように、各データホールの上方に配置されるＭＨＡＣＵ１１４の数を増やすことで、冷却密度を高めることができる。図４Ａ～図４Ｃでは、ＭＨＡＣＵ１１４が上下逆「Ｖ」に類似する形状を有するものとして示されている。しかしながら、これは一例に過ぎず、他の実施形態では、ＭＨＡＣＵ１１４が任意の他の適切な形状を有することができる。たとえば、ＭＨＡＣＵ１１４のうちの１つまたは複数は、右側が上向きの「Ｖ」形状、「Ｕ」または「Ｗ」形状（右側が上向きまたは上下が上向きのいずれか）、コーン形状（グレードに対して凹状または凸状のいずれか）、またはグレードに対して平行な平らなコイル面、またはグレードに対して垂直な平らなコイルを有し得る。平坦なコイル形状を有する実施形態では、コイルがグレードに対して垂直な位置にあり、データセンタ機器ラックのすぐ後ろまたは前にあり、空気から流体への転送を通してかなりの熱を収集する効率的かつ効果的な方法である。そのようなコイルは、独立して、またはオーバーヘッドコイルと組み合わせて使用することができる。
【0042】
上述のように、ＭＨＡＣＵ１１４は、異なる形状および大きさに構成され、異なる高さで、異なる配置および組合せで設置され、コンピューティングデバイスのラック、コンピューティングデバイス列、ルーム、またはコンピューティングデバイス設備のための所定の給気温の電力および熱密度に部分的にまたは全体的に適合することができる。例えば、ＭＨＡＣＵ１１４はホットアイルの中心を下る単一のファイル構成でラックの背面に平行に、ラックの背面に平行な二重経路で、ラックの背面に垂直に、通路の各側面上のラックのフットプリントの上部に侵入するように、またはこれらの任意の組み合わせで、頭上に設置することができる。いくつかの実施形態では、ＭＨＡＣＵ１１４がローリングまたは可動パネル構成として、ラックの背面に隣接する表面に取り付けられてもよい。加えて、ＭＨＡＣＵ１１４を取り付けるための取付フレームは、以下の特徴のうちの任意の１つまたは複数を含むことができる：高さ調整可能フレーム、フロアによって支持される支持フレーム、支持フレームヒンジ、支持フレームローラ、上から任意の適切な構造に吊り下げられた支持フレーム、取り付けツールバーを有するフレーム、プラグアンドプレイ照明を有するフレーム、プラグアンドプレイ制御およびセンサを有するフレーム、冷却剤および電力分配フレームマウント、冷却剤および電力分配プラグアンドプレイ接続、ならびに０．３３インチ水柱（ｗｃ）で例えば２％以下の空気バイパスで密閉されたフレームおよび筐体。
【0043】
図５Ａ～図５Ｅは、本開示によるＭＨＡＣＵ１１４として使用することができる冷却コイル５００の例示的な設置を示す。特に、図５Ａ～図５Ｅに示される実施形態では、コイル５００が頭上ではなく、機器ラックの後ろまたは前に配置される。図５Ｄに示されるように、コイル５００が機器ラックの後ろにあるとき、入ってくる空気は、冷却されている機器から直接来る。コイル５００が機器ラックの前にあるとき、入ってくる空気は、調整されず、ルームもしくは空間の内側のどこからでも、またはルームもしくは建物の外側の周囲空気から来ることができる。コイル５００はバイパス配置（例えば、図５Ｃ参照）、ヒンジ、または外向きに揺動（例えば、図５Ａ参照）、または機器ラックの背後で折り畳み（例えば、大折りまたはアコーディオンスタイル）（例えば、図５Ｂ参照）することができる。いくつかの実施形態では、コイル５００がＭＨＡＣＵ１１４と同じ供給流体制御および戻り流体特徴を使用することができる。
【0044】
いくつかの実施形態では、コイル５００が幅において１つのデータセンタ機器ラックより大きい。いくつかの実施形態ではコイル５００が任意のデータセンタ機器ラッキングの支持を必要としないが、設計またはユーザによって規定される場合、機器ラッキングに接触し得る。いくつかの実施形態では、コイル５００が床または床システムと接触するトラックおよび／またはローラ上に支持され得る。いくつかの実施形態では、コイル５００が頭上から建物構造物に吊るすことができる。いくつかの実施形態では、コイル５００がオーバヘッドまたはグレード（例えば、図５Ｅを参照）から支持されるカスタム取り付けフレームまたはブラケットによって支持され得る。これは、床面積があまりない領域において有用であり得る。
【0045】
機器ラックへのアクセスのために、コイル５００は、機器ラックに対して平行に移動または摺動するか、ヒンジに取り付けられたときにドアと同様に揺動するか、または頭上天井もしくは頭上空間内に上昇することができる。いくつかの実施形態では、コイル５００が空気に曝される表面積が大きくなるようにジグザグまたは重なり合うように構成することができる。
【0046】
可動コイル５００を収容するために、コイル流体ラインは、可撓性または剛性であってもよく、または剛性パイプフレックスジョイントを有する複合フレックスパイプを含んでもよい。いくつかの実施形態では、冷却コイルアセンブリがコイル５００に接続されたファンおよびセンサを有することができ、これらはまた、コイル５００を所定の範囲内で移動させて、デザイン要件またはユーザの必要性を満たすことを可能にする可撓性の連結部および導体を有することになる。いくつかの実施形態では流体ライン、電気経路、およびセンサのうちの１つまたは複数はデータセンタ機器へのアクセスを得るためにコイル５００の移動を可能にするように設計され得る。
【0047】
いくつかの実施形態では、コイル５００が能動外部送風機システムを有さず、コンピューティングデバイスによって生成されるすべての気流を有する受動コイルとして設計することができる。いくつかの実施形態では、コイル５００がコイル５００に直接的に取り付けられるか、またはコイル５００の近傍の任意の位置でコンピューティングデバイスの外部にファン２０２を備え、ダクトまたは他のエンクロージャを介して連通するか、または空気を送るように設計された迂回システムを有する能動システムとして設計され得る。外部ファンシステムの空気流は、制御された可変速度および可変圧力において一定であり得る。
【0048】
図１～図５Ｅは冷却システム１００の例および関連する詳細を示すが、図１～図５Ｅに様々な変更を加えることができる。例えば、冷却システム１００内の様々な構成要素は、組み合わされ、さらに細分化され、複製され、再配置され、または省略され得、追加の構成要素が特定の必要性に従って追加され得る。特定の例として、より大きなデータホール１１０を有するデータセンタでは、冷却システム１００がデータホール１１０内のすべての構成要素の共通の流体接続のために並列に接続された複数の流体冷却器１３０、複数のＭＨＡＣＵ１１４、および複数のポンプパッケージ１２０を含むことができる。別の例として、いくつかのデータホールでは、ＭＨＡＣＵ１１４のうちの１つまたは複数に加えて、またはその代わりに、１つまたは複数のコンピュータルームエアハンドラ（ＣＲＡＨ）ユニットが実装され得る。さらに、図１～図５Ｅはデータセンタと共に使用するための例示的な冷却システムを示しているが、説明される機能は任意の他の適切なデバイスまたはシステムにおいて使用され得る。
【0049】
図６は、本発明による冷却システムで使用するためのコンピューティングデバイス６００を例示する。コンピューティングデバイス６００は、図１で上述したコンピューティングデバイス１４０であってもよい。コンピューティングデバイス６００は、装置１００内の様々な構成要素における動作を制御するように構成することができる。例えば、コンピューティングデバイス６００は、ＭＨＡＣＵ１１４、ポンプパッケージ１２０、または流体クーラ１３０に関連する動作を制御または監視することができる。
【0050】
図６に示すように、コンピューティングデバイス６００は、プロセッサ６１０と、記憶デバイス６１５と、通信インターフェース６２０と、入出力（Ｉ／Ｏ）ユニット６２５との間の通信をサポートするバスシステム６０５を含む。プロセッサ６１０は、メモリ６３０にロードされ得る命令を実行する。プロセッサ６１０は、任意の適切な数およびタイプのプロセッサまたは任意の適切な構成の他のデバイスを含むことができる。プロセッサ６１０の例示的なタイプは、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ、フィールドプログラマブルゲートアレイ、特定用途向け集積回路、およびディスクリート回路を含む。
【0051】
メモリ６３０および永続ストレージ６３５は情報（データ、プログラムコード、および／または一時的または永続的な他の適切な情報など）を記憶し、検索を容易にすることができる任意の構造を表す記憶デバイス６１５の例である。メモリ６３０は、ランダムアクセスメモリ、または任意の他の適切な揮発性もしくは不揮発性記憶装置を表し得る。永続ストレージ６３５は、読み取り専用メモリ、ハードドライブ、フラッシュメモリ、または光ディスクなどの、データの長期記憶をサポートする１つまたは複数の構成要素またはデバイスを含み得る。例えば、永続ストレージ６３５は、データ、標準データ、結果、データ、クライアントアプリケーションなどの１つまたは複数のデータベースを記憶することができる。
【0052】
通信インターフェース６２０は、他のシステムとの通信をサポートする。例えば、通信インターフェース６２０は、システム１００を介した通信を容易にするネットワークトランシーバーまたはワイヤレストランシーバーを含むことができる。通信インターフェース６２０は、任意の好適な物理通信回線またはワイヤレス通信回線を介した通信を支援し得る。Ｉ／Ｏ部６２５は、データの入出力を行う。例えば、Ｉ／Ｏユニット６２５は、キーボード、マウス、キーパッド、タッチスクリーン、又は他の適切な入力デバイスを介してユーザ入力のための接続を提供することができる。Ｉ／Ｏユニット６２５はまた、ディスプレイ、プリンタ、または他の適切な出力デバイスに出力を送ることができる。
【0053】
図６はコンピューティングデバイス６００の一実施形態を示しているが、図６には様々な変更を加えることができる。例えば、図６の様々な構成要素は組み合わされ、さらに細分され、または省略され得、追加の構成要素は特定の必要性に従って追加され得る。特定の実例として、１つのシステムとして示されているが、コンピューティングデバイス６００は遠隔に配置され得る多数のコンピュータシステムを含み得る。別の例では、異なるコンピューティングシステムが本開示による処理、記憶、および／または通信リソースの一部または全部を提供することができる。
【0054】
図７は、本開示の様々な実施形態による、図１の冷却システム１００を使用する冷却プロセス７００の一例を示すフローチャートである。図７に示される冷却プロセス７００の実施形態は、単に例示のためのものである。本開示の範囲から逸脱することなく、冷却プロセス７００の他の実施形態を使用することができる。
【0055】
図７を参照すると、動作７０１において、ポンプパッケージ１２０からの冷却された供給流体が、流体供給ライン３０２を介してＭＨＡＣＵ１１４ａ～１１４ｃに供給される。動作７０３において、ポンプパッケージ１２０からの冷却された供給流体の一部または全部が、直列の最初のＭＨＡＣＵであるＭＨＡＣＵ１１４ａに入れられる。流体はＭＨＡＣＵ１１４ａ内の１つまたは複数のコイル２０６を通って移動し、データホール１１０の空気から熱エネルギを吸収する。動作７０５において、温度センサ３１１ａは、ＭＨＡＣＵ１１４ａ内の流体温度が所定の最大値未満の温度まで上昇することを測定する。動作７０７において、測定された温度に応答して、制御バルブ３２１ａは、流体の少なくとも一部を第２のＭＨＡＣＵ１１４ｂに供給するように制御される。流体はＭＨＡＣＵ１１４ｂ内の１つまたは複数のコイル２０６を通って移動し、データホール１１０の空気から熱エネルギを吸収する。動作７０９において、温度センサ３１１ｂは、ＭＨＡＣＵ１１４ｂ内の流体温度が少なくとも所定の最大値である温度まで上昇することを測定する。動作７１１において、測定された温度に応答して、制御バルブ３２１ｂは、流体を流体戻りライン３０４に提供するように制御される。動作７１３において、加熱された流体は、流体戻りライン３０４を介してポンプパッケージ１２０に戻される。
【0056】
上述のプロセス７００は本開示の原理に従って実施することができる例示的な動作を示しており、プロセス７００に様々な変更を加えることができる。例えば、一連のステップとして示されているが、プロセス７００における様々なステップは重複するか、並行して起こるか、異なる順序で起こるか、または複数回起こることができる。別の例では、ステップが省略されてもよく、または他のステップによって置き換えられてもよい。
【0057】
それらの重要性のために、データセンタは、非常に高い信頼性および稼働時間で動作するように設計される。信頼性および稼働時間の要件は、データセンタ設計および設計システムの主要な要素である。
【0058】
上述のように、データセンタが設計した冷却ソリューションは単純なトポロジから、日常的な保守を必要とし、警告なしに壊滅的な故障を有する可能性がある基本的な機械的および電気的構成要素から構成される複雑なトポロジにまで及ぶ。したがって、データセンタ冷却設計では、あるレベルの冗長性を提供する解決策を提供することが一般的である。この冗長性は予定されたメンテナンスウィンドウまたは予定外の停止中に、ラック、列、モジュール、空間、ルーム、コンテナまたは建物の完全な冷却要件を提供するために必要とされる。
【0059】
設計されたシステムの信頼性を達成するために、データセンタ設計者およびエンジニアはシステムの信頼性および稼働時間要件を満たすために、冗長な重要な個々の構成要素を提供することができる。いくつかの実施形態では、データセンタ設計者および技術者が信頼性および稼働時間の要求を提供するための代替手段および方法を提供することができる。
【0060】
最も単純な設計では最も低い信頼性で、機械システムは重要な構成要素の各々を１つずつ有する。クリティカル構成要素の容量は、ワークロードの需要に等しくなる。最も一般的な冗長シナリオであるＮｏｒｍａｌ Ｐｌｕｓ Ｏｎｅ（「Ｎ＋１」）では、システムが重要な機器の１つの追加部分または容量の増分を含む。ほとんどのクラウドデータセンタ設計は、設計の一部として冗長技術および構成要素を含む。冗長性は、コンピュータ装置の稼働時間の点で施設の信頼性を改善する。多くのシステムでは、稼働時間の期待値が重要な計算負荷の稼働時間の９９．９９９％である。これは、しばしば「ファイブ・ナインズ・アップタイム」と呼ばれる
【0061】
データセンタにおける最も効率的な設計は最良の結果を達成するために、空気分離（封じ込めとしても知られる）およびＭＨＡＣＵを使用する。この空気分離は、供給空気流および戻り空気流が浸入または混合を防止する物理的障壁の使用によって互いに隔離されることを必要とする。この分離は、ＭＨＡＣＵによって提供される工学的冷却経路を通して空気を強制する。一般に、最も費用効果が高く、エネルギ効率の良い設計および断熱を達成するためには、必要とされる冗長構成要素がより少なくなるように、より長く、より少ない封じ込め経路が使用されるべきである。
【0062】
データセンタ産業内では、ハイパースケーラおよびコロケーションサービスプロバイダがコンピューティング機器の数個のデータセンタラックからコンピューティング機器の数百個のラックに及ぶ顧客物理的空間要件を有する。一般的な要件は、２０～１００ラックである。ラックは、多くの場合、上述の高温及び低温通路構成に配置される。ハイパースケーラおよび他のインターネットサービスクライアントのために構築されるデータセンタは一般に、あるクライアントのラックを別のクライアントのラックから物理的に隔離するセキュリティ要件を有する。ほとんどのデザインでは、これはクライアントを隔離するケージ型の壁を有する大きなルームと同じくらい単純である。
【0063】
空気分離モジュールは典型的にはホットアイルを収容し、人が別の隔離された機器に接触またはアクセスすることを防止する中実状エンドキャップ壁を含む。このセキュリティ要件により、データセンタ設計者は小型コンピューティング機器ラック列（例えば、１０個未満のラックを含む）および小型展開を含む格納モジュールを使用し、ＭＨＡＣＵは冷却ソリューションを提供する。スタンドアロン空間としての各小型格納モジュールは冷却のために、数百のラックを有するはるかに大きいモジュールと同じ冗長要件を有する。例えば、小型格納モジュールは「Ｎ＋１」の最小冷却冗長設計を満たすために必要な数よりも１つのＭＨＡＣＵユニットを追加で使用するが、多くの短い格納モジュールを有するデータセンタではこれは不必要に大量の冗長ＭＨＡＣＵユニットを表す。
【0064】
これらおよび他の問題に対処するために、本開示の様々な実施形態は冷却冗長性の目的のために２つ以上の小型格納モジュールを連結し、一方、各短型格納モジュールのセキュリティを維持する、１つ以上のデッキを含むことができる。
【0065】
図８Ａ～図８Ｃは、本開示による１つまたは複数のデッキを含む例示的なデータホール１１０の異なる図を示す。特に、図８Ａはデータホール１１０の斜視図を示し、図８Ｂはデータホール１１０の上面図を示し、図８Ｃは明瞭さおよび理解を促進するために、特定の構成要素が除去されたデータホール１１０の斜視図を示す。図８Ａ～図８Ｃに示されるデータホール１１０の実施形態は、単に例示のためのものである。本開示の範囲から逸脱することなく、データホール１１０の他の実施形態を使用することができる。
【0066】
図８Ａ～図８Ｃに示されるように、データホール１１０は小さな格納モジュール８０２ａ～８０２ｄにグループ化されるデータ機器（例えば、サーバ１１２）の複数のラック８０１を含む。いくつかの実施形態では、各格納モジュール８０２ａ～８０２ｄが１のデータセンタ顧客のためのデータ機器を表す。格納モジュール８０２ａ～８０２ｄは数十または数百のラックを含むことができる「大型」格納モジュールと比較して、各格納モジュール８０２ａ～８０２ｄが数個のラック８０１（例えば、１０または２０未満のラック８０１）を含む点で「小型」である。各格納モジュール８０２ａ～８０２ｄはホットアイル８０３を含み、各格納モジュール８０２のラック８０１は、ホットアイル８０３の両側に配置される。１つまたは複数のＭＨＡＣＵ１１４は上述のように、各格納モジュール８０２ａ～８０２ｄ内のコンピューティング機器のための冷却を提供するために、各格納モジュール８０２ａ～８０２ｄのホットアイル８０３の上に配置される。
【0067】
従来のデータホールでは、各格納モジュールが一般に、空気の移動に関して分離される。すなわち、各格納モジュールのホットアイルは、格納モジュール間の空気の移動を制限する中実壁または中実ドアによって、他の格納モジュールのホットアイルから分離される。対照的に、データホール１１０は、２つ以上の格納モジュール８０２ａ～８０２ｄの間の空気の移動を可能にする複数のデッキ８０４ａ～８０４ｂを含む。すなわち、各デッキ８０４ａ～８０４ｂは、２つ以上の格納モジュール８０２ａ～８０２ｄの間の高温空気流のための接続された戻り空気共通プレナム経路を提供する。例えば、図８Ｂではデッキ８０４ａが空気流のために格納モジュール８０２ａおよび８０２ｂのホットアイル８０３を接続し、デッキ８０４ｂは空気流のために格納モジュール８０２ｃおよび８０２ｄのホットアイル８０３を接続する。各デッキ８０４ａ～８０４ｂは２つ以上の個々のホットアイル８０３と連通する共通の無指向性空気経路を提供するために、任意のサイズまたは形状に形成され得る。以下でより詳細に説明されるように、各デッキ８０４ａ～８０４ｂはまた、データ機器を固定するために、特定の場所でケージ型または開放気流型ドアを使用して、必要とされるまたは所望の物理的セキュリティを提供するが、各ホットアイル８０３内の高温空気流が、デッキ接続システム全体にわたって任意の方向に移動することを可能にする。
【0068】
複数の格納モジュール８０２ａ～８０２ｄの間の接続された空気経路はデッキ８０４ａ～８０４ｂによって提供されるように、「Ｎ＋１」冗長性の要件を依然として満たしながら、データホール１１０内の冗長ＭＨＡＣＵ１１４の数の低減を可能にする。例えば、デッキ８０４ａは、空気流のために格納モジュール８０２ａおよび８０２ｂのホットアイル８０３を接続するので、格納モジュール８０２ａおよび８０２ｂの各々がそれ自体の冗長なＭＨＡＣＵ１１４を有する必要はない。代わりに、１つの冗長ＭＨＡＣＵ１１４は、格納モジュール８０２ａおよび８０２ｂの両方に十分な冗長性を提供することができる。同様に、格納モジュール８０２ｃおよび８０２ｄの各々がそれ自体の冗長ＭＨＡＣＵ１１４を有するのではなく、代わりに、１つの冗長ＭＨＡＣＵ１１４が、格納モジュール８０２ｃおよび８０２ｄの両方に適切な冗長性を提供することができる。
【0069】
各デッキ８０４ａ～８０４ｂは、空気の流れを実質的にまたは完全に通さない堅固な壁と、壁を通る空気の流れを容易に許容するメッシュ壁の両方を含むことができる。各デッキ８０４ａ～８０４ｂのメッシュ壁はデッキ８０４ａ～８０４ｂと隣接する格納モジュール８０２ａ～８０２ｄとの間に物理的障壁を形成し、一方、メッシュ壁を通る双方向空気流を可能にする。例えば、熱風は格納モジュール８０２ａのホットアイル８０３から、ホットアイル８０３とデッキ８０４ａとの間のメッシュ壁を通り、デッキ８０４ａを通り、格納モジュール８０２ｂのホットアイル８０３の間の第２のメッシュ壁を通り、格納モジュール８０２ｂのホットアイル８０３に移動することができる。高温空気はまた、格納モジュール８０２ｂから、デッキ８０４ａを通って（およびそのメッシュ壁を通って）、格納モジュール８０２ａ内に、反対方向に移動することができる。各メッシュ壁は、スチールメッシュ、遮蔽材など、人の動きを制限しながらメッシュ壁を通る空気の動きを容易にする任意の適切な材料で形成することができる。
【0070】
ラック８０１の列に平行な天井、床、および壁を含むことができる各デッキ８０４ａ～８０４ｂの他の壁は、中実壁として形成することができる。中実壁は、剛性材料、柔らかい織物タイプの材料、ロール状のシート材料、材料の個々のストリップなどを含む、様々な空気不透過性材料から構築され得る。そのような材料は、透明、半透明、不透明、またはこれらの組み合わせであってもよい。各デッキ８０４ａ～８０４ｂの天井は、データホール１１０の天井材料と同じ材料で形成されてもよく、これには、しっくい、乾式壁、下がり天井パネルおよびフレーム、構造フレーム、建物または空間の床または屋根要素、鋼製コンテナまたはモジュールなどが含まれるが、これらに限定されない。
【0071】
各デッキ８０４ａ～８０４ｂの中実壁およびメッシュ壁を形成する材料は、任意の床構造（グレード上または上昇）、任意の頭上構造（天井グリッド構造、梁および桁、上記の床または屋根構造を含む）、格納システムの一部として設計されたデータセンタサブ構造、データセンタ機器ラッキング、１つまたは複数のケーブル（例えば、スチール、ワイヤ、ロープなど）、フレームシステム（金属、プラスチック、複合材などから形成）、１つまたは複数の垂直または水平グリッドまたはグリルなどであってよい。
【0072】
各デッキ８０４ａ～８０４ｂの内部は、１つまたは複数のポータルまたは通路からアクセスされ得る。例えば、各デッキ８０４ａ～８０４ｂは、供給空気通路上の１つ以上の中実状ドア８０５を通してアクセスされ得る。各中実状ドア８０５はホットアイル８０３を供給空気通路から隔離するために、空気流に対して不透過性である。各中実状ドア８０５は、透明、半透明、または不透明であってもよく、必要に応じて密閉されてもよい。各デッキ８０４ａ～８０４ｂはまた、メッシュまたは中実壁内に配置された中実またはメッシュケージ型ドア８０５を通して、ホットアイル８０３からアクセスされ得る。ドア８０５のいずれかは、緊急脱出のためのアラームドアであってもよい。ドア８０５のいずれかは、不正アクセスを防止するためのロック装置を有することができる。ドア８０５のいずれかは、建物または火災コードまたは好みによって必要とされる場合、パニックハードウェアを有することができる。
【0073】
具体的にはデッキ８０４ａ～８０４ｂの一部ではないが、１つまたは複数のセキュリティドア８０６は格納モジュール８０２ａ～８０２ｄ内の特定の顧客機器を隔離するために、１つまたは複数の格納モジュール８０２ａ～８０２ｄのホットアイル８０３内に配置され得る。
【0074】
図８Ａ～図８Ｃに示すように、デッキ８０４ａ～８０４ｂは、互いに直線的に整列された格納モジュール８０２ａ～８０２ｄを流体接続するように配置される。しかしながら、デッキは線形配置にない格納モジュールを接続するように、他の配置に構成することができる。
【0075】
図９Ａ～図９Ｃは、本開示による、異なる構成の１つまたは複数のデッキを含む別の例示的なデータホール１１０の異なる図を示す。具体的には、図９Ａはデータホール１１０の斜視図、図９Ｂはデータホール１１０の上面図、図９Ｃはデータホール１１０のヒートマップである。図９Ａ～図９Ｃに示されるデータホール１１０の実施形態は、単に例示のためのものである。本開示の範囲から逸脱することなく、データホール１１０の他の実施形態を使用することができる。
【0076】
図９Ａ～図９Ｃに示すように、データホール１１０は、各々がデータ機器の複数のラックに隣接するホットアイルを含む複数の小型格納モジュール９０２ａ～９０２ｄを含む。データホール１１０はまた、４つ全ての格納モジュール９０２ａ～９０２ｄのホットアイルを接続するデッキ９０４を含む。デッキ８０４ａ～８０４ｂと同様に、デッキ９０４は、各格納モジュール９０２ａ～９０２ｄのホットアイルと整列するメッシュ壁および／またはドアを含むことができる。デッキ９０４の他の壁および／またはドアは、データホール１１０の供給空気通路とデッキ９０４との間の空気の移動を防止するために中実であり得る。図９Ｂの小さな矢印によって示されるように、格納モジュール９０２ａ～９０２ｄのうちの１つからの熱風は、デッキ９０４を通って格納モジュール９０２ａ～９０２ｄのうちの任意の他のものに流れることができる。これは図９Ｃのヒートマップにも示されており、ここで、Ｈ字形領域９０６は４つ全ての格納モジュール９０２ａ～９０２ｄを通って分岐する単一の連続する「ホットアイル」を表す。したがって、デッキ９０４は、直線的にかつ平行にも配置された格納モジュール９０２ａ～９０２ｄを接続する。
【0077】
図１０は、本開示によるグリッド構成の複数のデッキを含む別の例示的なデータホール１１０を示す。図１０に示すデータホール１１０の実施形態は、単に例示のためのものである。本開示の範囲から逸脱することなく、データホール１１０の他の実施形態を使用することができる。
【0078】
図１０に示されるように、データホール１１０は、各々がデータ機器の複数のラックに隣接するホットアイルを含む、複数の小型格納モジュール１００２を含む。データホール１１０はまた、隣接する格納モジュール１００２の間の点に配置された複数のデッキ１００４を含む。また、デッキ１００４は、全ての格納モジュール１００２のホットアイルを単一の連続した「ホットアイル」グリッドに接続する。データホール１１０はまた、図１０に示すように、格納モジュール１００２の列の端部に配置された複数の拡張デッキ１００５を含む。データホール１１０を拡張するために、追加の格納モジュール１００２が、拡張デッキ１００５のうちの１つまたは複数の「開いた」端部上に設置され得る。追加の格納モジュール１００２は、その後、冷却冗長性のために「ホットアイル」グリッドに接続される。データホール１１０はまた、格納モジュール１００２の列の他端に配置された終端点１００６を含む。終端点１００６は、人員が格納モジュール１００２にアクセスできるようにするための中実ドアを含むことができる。
【0079】
図１０は「ホットアイル」グリッドを形成するデッキ１００４を備えて構成されたデータホール１１０を示すが、他の実施形態は格納モジュールを接続して円形またはリング構成、ハブおよびスポーク構成、または任意の他の適切な構成を形成するデッキを含むことができる。
【0080】
本特許文書全体を通して使用される特定の語句の定義を記載することが有利であり得る。用語「結合する」およびその派生語は、それらの要素が互いに物理的に接触しているかどうかにかかわらず、２つ以上の要素間の任意の直接的または間接的な通信を指す。用語「送信」、「受信」、および「通信」、ならびにそれらの派生語は、直接通信と間接通信の両方を包含する。用語「含む（ｉｎｃｌｕｄｅおよびｃｏｍｐｒｉｓｅ）」、ならびにそれらの派生語は、限定されない包含を意味する。「または」という用語は包括的であり、および／またはを意味する。「関連する」という語句、ならびにその派生語句は内部に含まれる、含有される、接続される、通信可能で協働する、インターリーブする、並置する、近接する、結合される、有する、関連性を有する、等の特性を有する、ことを意味する。用語の中で使用される場合、語句「など」は、後に列挙される用語が先に列挙される用語の例示であり、限定ではないことを意味する。語句「のうちの少なくとも１つ」はアイテムのリストとともに使用されるとき、リストされたアイテムのうちの１つまたは複数の様々な組合せが使用され得、リスト中の１つのアイテムのみが必要とされ得ることを意味する。例えば、「Ａ、Ｂ、およびＣのうちの少なくとも１つ」は、Ａ、Ｂ、Ｃ、ＡおよびＢ、ＡおよびＣ、ＢおよびＣ、ならびにＡおよびＢおよびＣのうちのいずれかを含む。
【0081】
さらに、本明細書で説明される様々な機能は１つまたは複数のコンピュータプログラムによって実装またはサポートされ得、その各々はコンピュータ可読プログラムコードから形成され、コンピュータ可読媒体中で実施される。「アプリケーション」および「プログラム」という用語は、１つまたは複数のコンピュータプログラム、ソフトウェア構成要素、命令のセット、プロシージャ、関数、オブジェクト、クラス、インスタンス、関連データ、または適切なコンピュータ可読プログラムコードにおける実装のために適合されたその一部分を指す。語句「コンピュータ可読プログラムコード」は、ソースコード、オブジェクトコード、および実行可能コードを含む、任意のタイプのコンピュータコードを含む。「コンピュータ可読媒体」という語句は、読取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ハードディスクドライブ、コンパクトディスク（ＣＤ）、デジタルビデオディスク（ＤＶＤ）、または任意の他のタイプのメモリなど、コンピュータによってアクセスされることが可能な任意のタイプの媒体を含む。「非一時的である」コンピュータ可読媒体は、一時的な電気信号または他の信号を伝送する有線、無線、光、または他の通信リンクを除外する。非一時的なコンピュータ可読媒体はデータが永続的に記憶され得る媒体と、データが記憶され、後で上書きされ得る媒体、例えば、書き換え可能な光ディスクまたは消去可能なメモリデバイスとを含む。
【0082】
他の特定の語句の定義は、本特許文書全体を通して提供される。当業者は、ほとんどではないが多くの場合、そのような定義がそのような定義された単語および語句の先行および将来の使用に適用されることを理解すべきである。本開示は例示的な実施形態を用いて説明されたが、様々な変更および修正が当業者に示唆され得る。本開示は、添付の特許請求の範囲内に入るような変更および修正を包含することが意図される。本出願における説明のいずれも、任意の特定の要素、ステップ、または機能が、特許請求の範囲に含まれなければならない必須の要素であることを暗示するものとして読まれるべきではない。特許対象の範囲は、特許請求の範囲によって定義される。
【図1】
【図2】
【図3A】
【図3B】
【図4A】
【図4B】
【図4C】
【図5A】
【図5B】
【図5C】
【図5D】
【図5E】
【図6】
【図7】
【図8A】
【図8B】
【図8C】
【図9A】
【図9B】
【図9C】
【図10】
【国際調査報告】