知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-03-27
(54)【発明の名称】高密度周辺カードシャーシ
(51)【国際特許分類】
G06F 1/16 20060101AFI20240319BHJP
G06F 1/18 20060101ALI20240319BHJP
【ＦＩ】
G06F1/16 312D
G06F1/16 312M
G06F1/16 312N
G06F1/18 F
G06F1/18 H
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023553389
(86)(22)【出願日】2022-02-18
(85)【翻訳文提出日】2023-10-31
(86)【国際出願番号】 US2022017004
(87)【国際公開番号】W WO2022186999
(87)【国際公開日】2022-09-09
(31)【優先権主張番号】63/156,749
(32)【優先日】2021-03-04
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】63/156,750
(32)【優先日】2021-03-04
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】63/156,751
(32)【優先日】2021-03-04
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/506,100
(32)【優先日】2021-10-20
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．３ＧＰＰ
(71)【出願人】
【識別番号】523220499
【氏名又は名称】リキッド インコーポレイテッド
(74)【代理人】
【識別番号】110000659
【氏名又は名称】弁理士法人広江アソシエイツ特許事務所
(72)【発明者】
【氏名】ロン，クリストファー
(72)【発明者】
【氏名】ヘイド，アンドリュー
(72)【発明者】
【氏名】ラスト，ブレンデン
(57)【要約】
本明細書では、複数のカードスロットを有するラックマウントシャーシの設計を提示する。一例では、装置は、複数の周辺カードスロットを含むサーバラックに装着するように構成されたシャーシと、関連するスロットの動作ステータスの表示を提供するように構成された複数のステータスライトと、を含む。シャーシは、スロットを結合するように構成された少なくとも３つのスイッチ素子を含むスイッチ回路をさらに含み、スイッチ素子の各々のポートの第１の部分は対応するスロットに結合され、スイッチ素子の各々のポートの第２の部分はシャーシの外部ポートに結合され、スイッチ素子の各々のポートの第３の部分はスイッチ素子のうちの少なくとも別のものに結合される。シャーシは、スイッチ回路を介してスロットに通信可能に結合されたシャーシ上の複数の外部ポートをさらに含むことができる。
【選択図】図１
【選択図】図１
【特許請求の範囲】
【請求項1】
サーバラックに装着されるシャーシを備える装置であって、前記シャーシは、複数のＰＣＩｅスロットと、
複数のステータスライトであって、各ステータスライトが前記複数のＰＣＩｅスロットのうちの１つに対応し、関連するＰＣＩｅスロットに挿入された周辺カードの動作ステータスの表示を提供するように構成された、複数のステータスライトと、
少なくとも３つのＰＣＩｅスイッチ素子を含むＰＣＩｅスイッチ回路であって、該ＰＣＩｅスイッチ回路が、前記ＰＣＩｅスロットを結合するように構成され、
前記３つのＰＣＩｅスイッチ素子の各々のＰＣＩｅポートの第１の部分が、対応するＰＣＩｅスロットに結合され、
前記３つのＰＣＩｅスイッチ素子の各々の前記ＰＣＩｅポートの第２の部分が、前記シャーシの外部ＰＣＩｅポートに結合され、
前記３つのＰＣＩｅスイッチ素子の各々の前記ＰＣＩｅポートの第３の部分が、前記３つのＰＣＩｅスイッチ素子のうちの少なくとも別のＰＣＩｅスイッチ素子に接続される、ＰＣＩｅスイッチ回路と、
前記ＰＣＩｅスイッチ回路を介して前記ＰＣＩｅスロットに通信可能に結合された前記シャーシ上の複数の外部ＰＣＩｅポートと、を含む、装置。
【請求項2】
ＰＣＩｅルートコンプレクスまたはホストデバイスを介してデータを転送することなく、前記ＰＣＩｅスロットに挿入された対応する周辺カード間のデータ転送を提供するために、前記ＰＣＩｅスロットのいずれかの間のピアツーピア配置を確立するように構成される前記ＰＣＩｅスイッチ回路をさらに備える、請求項１に記載の装置。
【請求項3】
前記ＰＣＩｅスイッチ回路に結合された第１のリンクを有する制御システムをさらに含む前記シャーシをさらに備え、前記制御システムが、前記ＰＣＩｅスイッチ素子の前記ＰＣＩｅポートの前記第１の部分、前記第２の部分、および前記第３の部分を介した前記ＰＣＩｅポートとの間の信号のルーティングを管理するために、前記ＰＣＩｅスイッチ素子を制御するように構成される、請求項１に記載の装置。
【請求項4】
前記制御システムが、外部制御ポートに結合された第２のリンクをさらに含み、前記制御システムが、前記第２のリンクを介して外部エージェントから受信したメッセージングに基づいて信号の前記ルーティングを管理するように構成される、請求項３に記載の装置。
【請求項5】
前記制御システムが、オンザフライで計算ユニットを論理的に定義するために信号の前記ルーティングを管理するようにさらに構成され、該計算ユニットが、前記複数のＰＣＩｅスロットのうちの選択されたものを備え、前記計算ユニットの前記ＰＣＩｅスロットが、前記計算ユニットに含まれないＰＣＩｅスロットから論理的に分離される、請求項３に記載の装置。
【請求項6】
前記シャーシが、前記複数のＰＣＩｅスロットに結合された電力制御回路をさらに含み、該電力制御回路が、前記複数のＰＣＩｅスロットの各々への電力分配を個別に制御するように構成され、前記電力制御回路が、第２のＰＣＩｅスロットへの電力を維持しつつ、第１のＰＣＩｅスロットへの電力を無効化することを含む、請求項１に記載の装置。
【請求項7】
前記電力制御回路が、スロット電力接続と、
補助電力接続と、を介して前記複数のＰＣＩｅスロットに結合され、
前記電力制御回路が、選択されたＰＣＩｅスロットに対する前記スロット電力接続および前記補助電力接続の両方を同時に有効または無効にすることによって、前記複数のＰＣＩｅスロットの各々への電力分配を個別に制御するように構成される、請求項６に記載の装置。
【請求項8】
テキストベースのステータスインジケータを提供するように構成された前記シャーシ上のフロント・ディスプレイ・パネルをさらに備える、請求項１に記載の装置。
【請求項9】
前記シャーシのフロントパネルに開口部を含む前記シャーシをさらに備え、前記複数のステータスライトが、前記シャーシの内部に位置し、前記開口部を通して前記シャーシの外部から視認可能である、請求項１に記載の装置。
【請求項10】
周辺カードの前記動作ステータスがエラーステータスを含む、請求項１に記載の装置。
【請求項11】
周辺カードの前記動作ステータスが、電力ステータスを含む、請求項１に記載の装置。
【請求項12】
シャーシ内に複数のＰＣＩｅスロットを設けるステップと、関連するＰＣＩｅスロットに挿入された周辺カードの動作ステータスの表示を提供するように構成された各スロットのステータスライトを提供するステップと、
少なくとも３つのＰＣＩｅスイッチ素子を含むＰＣＩｅスイッチ回路を介して前記複数のＰＣＩｅスロットを結合するステップであって、前記３つのＰＣＩｅスイッチ素子の各々のＰＣＩｅポートの第１の部分が、対応するＰＣＩｅスロットに結合され、前記３つのＰＣＩｅスイッチ素子の各々のＰＣＩｅポートの第２の部分が、前記シャーシの外部ＰＣＩｅポートに結合され、前記３つのＰＣＩｅスイッチ素子の各々のＰＣＩｅポートの第３の部分が、前記３つのＰＣＩｅスイッチ素子のうちの少なくとも別のＰＣＩｅスイッチ素子に結合される、ステップと、
前記ＰＣＩｅスイッチ回路を介して前記ＰＣＩｅスロットに通信可能に結合された前記シャーシ上に複数の外部ＰＣＩｅポートを設けるステップと、を含む方法。
【請求項13】
前記ＰＣＩｅスイッチ回路において、ＰＣＩｅルートコンプレクスまたはホストデバイスを介してデータを転送することなく、前記ＰＣＩｅスロットに挿入された対応する周辺カード間のデータ転送を提供するために、前記ＰＣＩｅスロットのいずれかの間のピアツーピア配置を確立するステップをさらに含む、請求項１２に記載の方法。
【請求項14】
前記ＰＣＩｅスイッチ回路に結合された第１のリンクと、外部制御ポートに結合された第２のリンクと、を有する制御システムを前記シャーシ内に設けるステップと、前記ＰＣＩｅスイッチ素子の前記ＰＣＩｅポートの前記第１の部分、前記第２の部分、および前記第３の部分を介した前記ＰＣＩｅポートとの間の信号のルーティングを管理するために、前記第２のリンクを介した外部エージェントからのメッセージングに基づく前記制御システムを介して、前記ＰＣＩｅスイッチ素子を制御するステップと、をさらに含む、請求項１２に記載の方法。
【請求項15】
前記制御システムを介して、オンザフライで計算ユニットを論理的に定義するために信号の前記ルーティングを管理するステップであって、該計算ユニットが、前記複数のＰＣＩｅスロットのうちの選択されたものを備え、前記計算ユニットの前記ＰＣＩｅスロットが、前記計算ユニットに含まれないＰＣＩｅスロットから論理的に分離される、ステップをさらに含む、請求項１４に記載の方法。
【請求項16】
前記複数のＰＣＩｅスロットに結合された前記シャーシ内に電力制御回路を設けるステップと、前記電力制御回路を介して、前記複数のＰＣＩｅスロットの各々への電力分配を個別に制御するステップであって、第２のＰＣＩｅスロットへの電力を維持しつつ、第１のＰＣＩｅスロットへの電力を無効化することを含む、ステップと、をさらに含む、請求項１２に記載の方法。
【請求項17】
前記電力制御回路を前記複数のＰＣＩｅスロットに、スロット電力接続と、
補助電力接続と、を介して結合するステップと、
前記電力制御回路を介して、選択されたＰＣＩｅスロットへの前記スロット電力接続および前記補助電力接続の両方を同時に有効または無効にすることによって、前記複数のＰＣＩｅスロットの各々への電力分配を個別に制御するステップと、をさらに含む、請求項１６に記載の方法。
【請求項18】
エラーステータスの表示および電源ステータスの表示を含む、前記関連するＰＣＩｅスロットに挿入された前記周辺カードの前記動作ステータスの表示を提供するために、前記電力制御回路を介して、前記ステータスライトを制御するステップをさらに含む、請求項１６に記載の方法。
【請求項19】
テキストベースのステータスインジケータを提供するように構成されたフロント・ディスプレイ・パネルを前記シャーシ上に設けるステップをさらに含む、請求項１２に記載の方法。
【請求項20】
前記シャーシのフロントパネルに開口部を設けるステップであって、前記複数のステータスライトが、前記シャーシの内部に位置し、前記開口部を通して前記シャーシの外部から視認可能である、ステップをさらに含む、請求項１２に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
［関連出願の相互参照］
本出願は、２０２１年３月４日に出願された「ＨＩＧＨ ＰＥＲＦＯＲＭＡＮＣＥ ＣＯＭＰＵＴＩＮＧ ＳＹＳＴＥＭ」と題する米国仮特許出願第６３／１５６，７５０号、２０２１年３月４日に出願された「ＰＯＷＥＲ ＣＯＮＴＲＯＬ ＦＯＲ ＰＣＩｅ ＳＬＯＴＳ」と題する米国仮特許出願第６３／１５６，７５１号、ならびに２０２１年３月４日に出願された「ＧＰＵ ＳＷＩＴＣＨ ＣＨＡＳＳＩＳ」と題する米国仮特許出願第６３／１５６，７４９号の利益および優先権を主張するものであり、これらの内容全体が参照により本明細書に組み込まれる。
本出願は、２０２１年３月４日に出願された「ＨＩＧＨ ＰＥＲＦＯＲＭＡＮＣＥ ＣＯＭＰＵＴＩＮＧ ＳＹＳＴＥＭ」と題する米国仮特許出願第６３／１５６，７５０号、２０２１年３月４日に出願された「ＰＯＷＥＲ ＣＯＮＴＲＯＬ ＦＯＲ ＰＣＩｅ ＳＬＯＴＳ」と題する米国仮特許出願第６３／１５６，７５１号、ならびに２０２１年３月４日に出願された「ＧＰＵ ＳＷＩＴＣＨ ＣＨＡＳＳＩＳ」と題する米国仮特許出願第６３／１５６，７４９号の利益および優先権を主張するものであり、これらの内容全体が参照により本明細書に組み込まれる。
【背景技術】
【0002】
クラスタ化された計算システムは、データストレージ、データ処理、および通信処理に対する需要が高まっているため、普及している。データセンタは、典型的には、大型ラックマウント型およびネットワーク結合型のデータストレージおよびデータ処理システムを含む。多くの場合、データセンタおよび関連する計算機器を使用して、複数の同時ユーザまたはアプリケーションのためのジョブを実行することができる。ジョブは、データセンタのリソースを利用して、中央処理装置（ＣＰＵ）またはグラフィックス処理装置（ＧＰＵ）を使用してデータを処理し、ならびにこれらのリソースに関連するデータを一時記憶装置と長期記憶装置との間で、または様々なネットワーク位置の間でルーティングすることができる実行ジョブを含む。ＧＰＵベースの処理は、人工知能（ＡＩ）および機械学習レジームで使用するために人気が高まっている。これらのレジームでは、ブレードサーバなどの計算システムは、大規模データセットを処理するための関連するＣＰＵと共に１つまたは複数のＧＰＵを含むことができる。複数のＧＰＵを有するブレードサーバは、ＪＢＯＧ（単にＧＰＵの束（またはボックス））と呼ばれることがある。
【0003】
多くの既存のＪＢＯＧは、いくつかの性能領域において不足している。ＧＰＵカードを挿入することができる周辺構成要素相互接続エクスプレス（ＰＣＩｅ）ポートなどの個々のスロットは、電力保護されていない。個々のＧＰＵまたは周辺カードは、ＪＢＯＧシャーシ内の残りのＧＰＵの電源がオンになって動作している間はライブサービスすることができず、故障したカードを交換またはサービスするためにユニットまたはシャーシ全体の電源を切る必要がある。ハードリセットは、ＯＯＢ（帯域外）シグナリングを介して利用可能である。ユニットは、カード障害から回復するための電源サイクルを可能にせず、いくつかの不良ＧＰＵは、システム全体を停止させる可能性がある。さらに、ユニットは、個々のカードが故障したことを示すインジケータを提供せず、故障したカードが発見されるまで一度に１つのカードを取り外す必要がある。
【発明の概要】
【0004】
本明細書では、複数のカードスロットを有するラックマウントシャーシの設計を提示する。一例では、装置は、複数のＰＣＩｅスロットと、複数のステータスライトと、を含むサーバラックに装着するように構成されたシャーシを含み、各ステータスライトは、複数のＰＣＩｅスロットのうちの１つに対応し、関連するＰＣＩｅスロットに挿入された周辺カードの動作ステータスの表示を提供するように構成される。シャーシは、少なくとも３つのＰＣＩｅスイッチ素子を含むＰＣＩｅスイッチ回路をさらに含み、ＰＣＩｅスイッチ回路は、ＰＣＩｅスロットを結合するように構成され、３つのＰＣＩｅスイッチ素子のそれぞれのＰＣＩｅポートの第１の部分は、対応するＰＣＩｅスロットに結合され、３つのＰＣＩｅスイッチ素子のそれぞれのＰＣＩｅポートの第２の部分は、シャーシの外部ＰＣＩｅポートに結合され、３つのＰＣＩｅスイッチ素子のそれぞれのＰＣＩｅポートの第３の部分は、３つのＰＣＩｅスイッチ素子のうちの少なくとも別のものに結合される。シャーシは、ＰＣＩｅスイッチ回路を介してＰＣＩｅスロットに通信可能に結合されたシャーシ上の複数の外部ＰＣＩｅポートをさらに含むことができる。
【0005】
一例では、方法は、シャーシ内に複数のＰＣＩｅスロットを設けるステップと、関連するＰＣＩｅスロットに挿入された周辺カードの動作ステータスの表示を提供するように構成された各スロットのステータスライトを提供するステップと、を含む。本方法は、少なくとも３つのＰＣＩｅスイッチ素子を含むＰＣＩｅスイッチ回路を介して複数のＰＣＩｅスロットを結合するステップであって、３つのＰＣＩｅスイッチ素子の各々のＰＣＩｅポートの第１の部分が、対応するＰＣＩｅスロットに結合され、３つのＰＣＩｅスイッチ素子の各々のＰＣＩｅポートの第２の部分が、シャーシの外部ＰＣＩｅポートに結合され、３つのＰＣＩｅスイッチ素子の各々のＰＣＩｅポートの第３の部分が、３つのＰＣＩｅスイッチ素子のうちの少なくとも別のＰＣＩｅスイッチ素子に結合される、ステップをさらに含む。本方法は、ＰＣＩｅスイッチ回路を介してＰＣＩｅスロットに通信可能に結合されたシャーシ上に複数の外部ＰＣＩｅポートを設けるステップをさらに含む。
【0006】
この概要は、本技術開示において以下でさらに説明される概念の選択を簡略化した形で紹介するために提供される。この概要は、特許請求される主題の重要な特徴または本質的な特徴を特定することを意図するものではなく、特許請求される主題の範囲を限定するために使用されるべきでもないことを理解されたい。
【図面の簡単な説明】
【0007】
本開示の多くの態様は、以下の図面を参照してよりよく理解することができる。図面の構成要素は必ずしも縮尺通りではなく、代わりに本開示の原理を明確に示すことに重点が置かれている。さらに、図面において、同様の符号は、いくつかの図面を通して対応する部分を示す。これらの図面に関連していくつかの実施形態が説明されているが、本開示は本明細書に開示した実施形態に限定されない。それどころか、意図は、すべての代替例、修正例、および均等例を網羅することである。
【0008】
【図1】一実施態様における高密度周辺カードシャーシの等角上面図を示す図である。
【0009】
【図2】一実施態様における高密度周辺カードシャーシの側面図を示す図である。
【0010】
【図3】一実施態様における高密度周辺カードシャーシの背面図である。
【0011】
【図4】一実施態様における高密度周辺カードシャーシの上面図である。
【0012】
【図5】一実施態様における高密度周辺カードシャーシのアセンブリ要素を示す図である。
【0013】
【図6】一実施態様における計算システムを示す図である。
【0014】
【図7】一実施態様における主回路アセンブリを示す図である。
【0015】
【図8】一実施態様におけるメザニン回路アセンブリを示す図である。
【0016】
【図9】一実施態様における通信ファブリックのための制御プレーンを示す図である。
【0017】
【図10】一実施態様における通信ファブリックのための制御プレーンを示す図である。
【0018】
【図11】一実施態様における制御システムを示す図である。
【発明を実施するための形態】
【0019】
データ処理は、人工知能（ＡＩ）および機械学習レジームを含む様々な分野で使用するために人気が高まっている。データ処理センタは、大規模データセットの処理のために、関連するＣＰＵと共に１つまたは複数のＧＰＵを含む計算システムを使用することができる。本明細書の例は、ＧＰＵなどの複数の周辺カードを保持するためのＰＣＩｅポートを提供するラックマウントシャーシを含む、改良された計算システムを提供する。シャーシは、ＰＣＩｅファブリックスイッチング機能を提供することができ、ＰＣＩｅルートコンプレクスまたはホストデバイスを介してデータを転送することなく直接周辺カード間の通信を可能にし、さらに、計算システム内の複数のカードがシャーシ上の外部ＰＣＩｅポートを介して外部ＰＣＩｅファブリックと統合されることを可能にする。さらに、改良された計算システムは、挿入された周辺カードの動作ステータスを提供するためにシャーシに統合されたステータスライトおよびインジケータを含むことができる。改良された計算システムは、シャーシ内の計算システムまたは他のカードを非接続または電源切断することなく、シャーシ内の周辺カードのライブスワップまたはホットスワップを可能にすることができる。
【0020】
ＰＣＩｅスイッチシャーシ計算システムの設計により、物理的計算構成要素のグループをアドホックまたはオンザフライ計算ユニットに動的に構成することが可能になる。物理的構成要素は、異なるシャーシ、異なるサーバラック、または異なるデータセンタに配置することができ、ＰＣＩｅスイッチングファブリックを介して編成および通信することができる。通信ファブリックを介して結合された物理的計算構成要素の配置は、シャーシ内の様々な周辺カードスロットに、そのような計算構成要素を収容するアドインカードを装着することによって達成することができる。さらなるシャーシおよび構成要素への結合を可能にする様々な拡張ポートも含まれる。これらのカードおよびポートは、通信ファブリックを介して、ベース基板上に別個の交差結合を有する複数のコプロセッシングユニット（ＣｏＰＵ）またはＧＰＵデバイスを収容するベース基板にさらに結合することができる。本明細書の様々な計算システムの構成要素は、棚またはラックユニットにさらに含めることができるラックマウント可能モジュールなどの１つまたは複数の物理的エンクロージャに含めることができる。特定のエンドユーザのニーズに応じてモジュールを挿入および取り外しできるモジュール式フレームワークなど、物理的な筐体またはシャーシに多数の構成要素を挿入または設置することができる。シャーシは、回路、プリント回路基板、半導体システム、および構造要素を含む物理的支持構造体およびエンクロージャを含むことができる。計算システムなどの構成要素を含むモジュールは、ラックマウント型またはラックユニット（Ｕ）タイプのエンクロージャに挿入可能かつ取り外し可能であってもよい。
【0021】
本明細書では、１つまたは複数の共有通信ファブリックを介して結合された様々な個々の物理的計算構成要素を収容することができる計算システムシャーシについて説明する。以下の例では、例示的な通信ファブリックタイプとしてＰＣＩｅを使用しているが、代わりに他のものを使用できることを理解されたい。ＰＣＩｅは、高速シリアルコンピュータ拡張バス規格であり、ホストおよび構成要素デバイス間、またはピアデバイス間のポイントツーポイント接続を可能にすることができる。ＰＣＩｅは、典型的には、すべてのデバイスをホストとも呼ばれるルートコンプレクスに接続する個々のシリアルリンクを有する。ＰＣＩｅ通信ファブリックは、本明細書に記載の様々なスイッチング回路および制御アーキテクチャを使用して確立することができる。ＰＣＩｅファブリックは、とりわけ３．０、４．０、または５．０などの様々な実装バージョンを含み得る。いくつかの追加のシグナリングまたはプロトコルタイプは、ＰＣＩｅ上に構築され、したがって、ＰＣＩｅインターフェースに追加の機能を追加することができる。
【0022】
ＰＣＩｅファブリックの代わりに、関連する物理層、電気シグナリング、プロトコル、および階層化された通信スタックを有する他のポイントツーポイント通信ファブリックまたは通信バスを使用することができる。これらは、とりわけ、Ｇｅｎ－Ｚ、イーサネット、ＩｎｆｉｎｉＢａｎｄ、ＮＶＭｅ、インターネットプロトコル（ＩＰ）、シリアル接続ＳＣＳＩ（ＳＡＳ）、ファイバチャネル、サンダーボルト、シリアル接続ＡＴＡエクスプレス（ＳＡＴＡ Ｅｘｐｒｅｓｓ）、キャッシュ・コヒーレント・インターコネクト・フォー・アクセラレータ（ＣＣＩＸ）、コンピュート・エクスプレス・リンク（ＣＸＬ）、オープン・コヒーレント・アクセラレータ・プロセッサ・インターフェース（ＯｐｅｎＣＡＰＩ）、ワイヤレス・イーサネットまたはＷｉ－Ｆｉ（８０２．１１ｘ）、またはセルラ無線技術を含むことができる。イーサネットは、１０ＢＡＳＥ－Ｔ、１００ＢＡＳＥ－ＴＸ、１０００ＢＡＳＥ－Ｔ、１０ＧＢＡＳＥ－Ｔ（１０ＧＢイーサネット）、４０ＧＢＡＳＥ－Ｔ（４０ＧＢイーサネット）、ギガビット（ＧｂＥ）、テラビット（ＴｂＥ）、２００ＧｂＥ、４００ＧｂＥ、８００ＧｂＥ、または他の様々な有線および無線イーサネットフォーマットおよび速度など、利用可能な様々なネットワーク通信プロトコル規格および帯域幅のいずれかを指すことができる。セルラ無線技術は、とりわけ、４Ｇロングタームエボリューション（ＬＴＥ）、５Ｇ ＮＲ（Ｎｅｗ Ｒａｄｉｏ）、および関連する５Ｇ規格を含む、第３世代パートナーシッププロジェクト（３ＧＰＰ）規格の周りに構築された様々な無線プロトコルおよびネットワークを含んでもよい。パラレル、シリアル、または組み合わせたパラレル／シリアルタイプのインターフェースも、本明細書の例に適用することができる。
【0023】
第１の例示的なシステムとして、図１が提示される。図１は、例示的な高密度周辺カードシャーシ計算システム１００の等角上面図を示す図である。システム１００は、サーバ・ラック・ユニットに挿入または装着するように構成することができるシャーシフレームまたはエンクロージャ１１０を含むことができる。シャーシフレーム１１０は、計算構成要素を挿入および取り外しすることができるモジュール式フレームワークを提供することができる。
【0024】
取り付けブラケットまたはスライドレール１１２は、シャーシ１１０に取り付けられてもよい。レール１１２は、シャーシ１１２をサーバラックまたは棚ユニットにしっかりと固定することを可能にするねじ穴または他の接合要素を含むことができる。さらに、ボールまたはローラスライドレール１１２を有する例では、シャーシ１１０をラックまたは棚ユニットから部分的に引き出すことを可能にして、シャーシ１１０をラックから完全に切断することなくシステム１００の構成要素に容易にアクセスできるようにすることができる。一致するスライドレール１１２は、シャーシ１１０をサーバラックの内外にスライドさせるときに追加の支持を提供するためにシャーシ１１０の両側に取り付けられてもよい。シャーシ１１０に取り付けられたハンドル１１３は、スライドレール１１２を使用してシャーシ１１０をラックから引き出すこと、またはサーバラックに挿入されていないときにシステム１００を運ぶことを容易にすることができる。
【0025】
シャーシ１１０は、取り外し可能な最上部または蓋１１４を含むことができ、これは、親指ねじまたは他のラッチ要素で閉位置に固定することができる。例えば、蓋は、ヒンジを介してシャーシ１１０に結合されてもよく、シャーシ１１０がスライドレール１１２上のサーバラックから引き出されるときに蓋１１４を開くことを可能にする。取り外し可能な最上部１１４が開かれると、ユーザは、シャーシ１１０に収容された周辺スロット、計算モジュール、および他の構成要素にアクセスすることができる。
【0026】
シャーシ１１０のフロントパネルは、システム１００の周辺カード区画への複数の凹部、ベイ、または開口部１１５を含むことができる。凹部１１５は、空気流を提供し、周辺カードのステータスのインジケータライトのビューを提供することができ、いくつかの例では、カードを凹部１１５を通して直接挿入または取り外すことを可能にすることができる。
【0027】
システム１００はまた、システム１００の構成要素のステータスについてのインジケータを提供することができるＯＬＥＤディスプレイなどのステータスディスプレイ１３０を含むことができる。ステータスディスプレイ１３０は、個々のカードスロットのステータスインジケータまたはＬＥＤをいつ内部（例えば、貫通開口部１１５または取り外し可能な最上部１１４）を見るべきかをオペレータに伝えることができ、あるいは個々のカードまたはスロットをいつ調査またはデバッグすべきかを指示することができる。いくつかの例では、ステータスディスプレイ１３０は、システム１００に交差結合された他のシャーシに関する問題を報告することができる。ステータスディスプレイ１３０は、カラーコード化されたエラーまたはステータスインジケータ（例えば、連続色または点滅光による）を提供することができ、あるいはディスプレイ１３０は、エラーコードを表示するなど、テキストベースのエラーまたはステータスインジケータを提供することができる。ステータスディスプレイ１３０はまた、ボタン、タッチスクリーン、スイッチ、ダイヤル、または同様の入力などの、１つまたは複数のユーザ入力構成要素を含んでもよい。ユーザ入力は、ステータスインジケータをクリアまたは循環させるなどの機能を可能にすることができる。いくつかの例では、ステータスディスプレイ１３０上のユーザ入力要素は、オペレータが、１つまたは複数の周辺カードスロットへの電力を遮断するなど、システム１００の他の機能を制御することを可能にすることができる。
【0028】
システム１００はまた、追加の要素および構成要素を有する、図１に部分的に見え、図３により詳細に示すバックパネルを含むことができる。バックパネルは、シャーシ１１０およびその構成要素を外部システムに通信可能に結合するための１つまたは複数のポート１１１を有することができる。バックパネルは、１つまたは複数のファンユニット１２０をさらに含んでもよい。ファンユニット１２０は、過熱を防止するためにシステム１００内の温度を制御することができ、ユーザ制御（例えば、ソフトウェア制御インターフェースまたは物理的制御による）、自動（例えば、システム１００の温度がしきい値を超えて上昇すると、ファンを作動させる温度センサを有する）、他の方法で制御、またはそれらの任意の組み合わせで常にオンにすることができる。ファンユニット１２０は、個別に取り外し可能かつ交換可能であってもよく、システム１００は、シャーシ１１０がラック内にある間にファンユニット１２０を交換することを可能にすることができる。図２は、例示的なシステム１００の追加の要素の詳細を示す。
【0029】
図２は、例示的な高密度周辺カードシャーシ計算システム２００の側面図を示す図である。システム２００は、図１のシステム１００と同じまたは異なるシステムの例であってもよい。システム２００は、シャーシまたはフレーム１１０、取り外し可能な蓋１１４、ハンドル１１３、ステータスディスプレイ１３０、およびファンユニット１２０など、図１に関して説明したものと同様の要素を含むことができる。図２は、シャーシまたはエンクロージャ１１０内の内部構成要素を表示するために、システム２００の断面図、または側面パネルが取り外されたシステム２００の図を提供することができる。
【0030】
システム２００は、４つの２４００ワット電源（２７７ＡＣボルト対応）などの、１つまたは複数の電源ユニット（ＰＳＵ）２２０を含むことができる。ＰＳＵ２２０は、電源ケーブル２２２を介して電力を受け取り、システム２００の構成要素に電力を分配することができる。例えば、ＰＳＵ２２０は、ファンコネクタ２２１を介してファン１２０に電力を供給し、配電盤（ＰＤＢ）２７０を介してカードポート２５１および補助電源ケーブル２７２などのシステム２００の他の構成要素に電力を供給することができる。
【0031】
周辺カード２４０は、コネクタ要素２４１を使用してカードスロット２５１に接続することができる。例えば、システム２００は、１０個のダブル幅ＰＣＩｅ ｘ１６（例えば１６レーン）カードスロット２５１を含むことができ、ＧＰＵ２４０は、ｘ１６コネクタ２４１を使用してスロット２５１に接続することができる。電力を大量消費するＧＰＵ構成要素などのいくつかの周辺カード２４０は、ＰＣＩｅカードスロットなどのカードポート２５１を介して提供されるよりも多くの電力を利用することができる。これらのカード２４０は、補助電源コネクタ２４２を有することができ、補助電源線２７２の接続を可能にする。
【0032】
ＰＤＢ２７０はまた、１つまたは複数のスロット・ステータス・インジケータ・ライトまたはＬＥＤ２７１を含んでもよい。ステータスライト２７１は、点滅シーケンス、異なる色のライト、または他の可視インジケータなどによって、どのカード２４０またはスロット２５１が適切または不適切に機能しているかの可視インジケータを提供することができる。インジケータライト２７１は、開口スロット１１５（図１に示す）を通して見ることができる。
【0033】
システム２００は、システム２００の構成要素を介しておよび構成要素間で電力信号およびデータ信号を供給するための回路を有する積み重ねられた、または積層された一組の基板を備えることができる。一例では、カードスロット２５１は、メザニン基板２５０に接続されてもよく、メザニン基板は、スーパーメザニン基板２９０に接続され得る主基板２６０の上に配置され、主基板に接続されてもよい。管理プロセッサまたはＰＣＩｅスイッチ回路２６１は、システム２００（例えば、主基板２６０に接続される）内に設けられてもよい。いくつかの例では、回路は、ファン制御、ステータスインジケータ２７１もしくはステータスディスプレイ１３０のエラー監視、電力分配および制御（例えば、対応するスロット２５１および補助コネクタ２７２のカード２４０の接続ステータスに基づいて、個々のポート２５１または補助ケーブル２７２に電力を供給するか、またはそれらから電力を遮断する）、または他の動作などのシステム２００の機能を管理することができる。回路２６１は、ＰＣＩｅファブリックまたは同様の信号切り替え構成の信号切り替えおよびルーティングを管理するように構成されてもよい。信号切り替えは、システム２００内の様々な計算モジュールまたはカード２４０が、スイッチングモジュールまたは回路を介して互いに直接通信すること、または外部データポートを介してシャーシ１１０の外側の計算システムと通信することを可能にすることができる。
【0034】
システム２００は、イーサネットポートまたはミニＳＡＳ（シリアル接続ＳＣＳＩ）ＨＤ（高密度）ポートなどの１つまたは複数のデータまたはケーブルポート２９１を含むことができる。イーサネットケーブルまたはｍｉｎｉ－ＳＡＳ ＨＤケーブルなどのデータケーブル２９２をポート２９１に接続することができ、システム２００の構成要素が外部計算システムとデータを通信および交換することを可能にする。図３は、図１および図２に示すような例示的なシステムの別の図を提供する。
【0035】
図３は、例示的な高密度周辺カードシャーシ計算システム３００の背面図を示す図である。システム３００は、図１および図２のシステム１００および２００と同じまたは異なるシステムの例であってもよい。システム３００は、シャーシまたはフレーム１１０、ファンユニット１２０、および電源ユニット２２０など、図１および図２に関して説明したものと同様の要素を含むことができる。電源ユニット２２０は各々、外部電源に接続することができる電源ケーブル（図示せず）に接続することができる。
【0036】
図２は、図２の例示的なデータおよび制御ポート２９１の別の図を提供する。例えば、図２はポート３９１，３９２，３９３および３９４を示す。ポート３９１および３９３はそれぞれ、２つのｘ１６ミニＳＡＳ ＨＤポート（または任意選択的に、８つのｘ４接続、または他の構成）を表すことができる。図示する例では、ケーブルは３９３個のポートに差し込まれてもよいが、３９１個のポートには差し込まれなくてもよい。ｘ１６ポートは、データ処理、記憶、または検索などの大規模なデータ転送に使用することができる。ポート３９２は、（接続されたケーブルを有する）２つのｘ４ ｍｉｎｉ－ＳＡＳ ＨＤポートを含むことができる。ポート３９２は、システム３００の制御回路と通信して、システム３００のデータ切り替えまたは他の動作を管理するために使用され得るような管理ポートの一例であってもよい。ポート３９４は、同様にデータ転送またはシステム管理に使用することができる２つのイーサネットポートを含むことができる。より多くのまたはより少ないポート、または異なるタイプのポートもシステム３００に含まれてもよい。
【0037】
ここで図４を参照すると、例示的な高密度周辺カードシャーシ計算システム４００の上面図を示す図が示されている。システム４００は、図１、図２、および図３のシステム１００，２００、および３００と同じまたは異なるシステムの例であってもよい。システム４００は、シャーシまたはフレーム１１０、ハンド１１３、ステータスディスプレイ１３０、ファンユニット１２０、メザニン基板２５０、カードスロット２５１、ＰＤＢ２７０、ステータス表示インジケータまたはライト２７１、および補助電源要素２７２など、図１、図２、および図３に関して説明したものと同様の要素を含むことができる。
【0038】
上面図に示すように、システム４００は、メザニン基板２５０に固定されたＰＣＩｅスロットなどの１０個の周辺カードスロットまたはポート２５１を含む。ＰＣＩｅカードは、スロット２５１に接続することができ、任意選択的に、補助電源要素２７２を介して追加的に補助電源を受け取ることができる。システム４００は、システムの電源がオンであり、他のカードがアクティブである間に、システム４００に出入りするカードのライブホットスワップを可能にするように構成されてもよい。システム４００は、スロット２５１および補助電源２７２の両方で安定した接続が検出されることを保証するように監視することができ、そうでなければ、カードの損傷を防止するためにそのスロットおよび補助ケーブルへの電力を遮断することができる。
【0039】
カードが正しく機能していない場合、このステータスは、システム４００の前面を通して見ることができる関連するステータス表示ＬＥＤ２７１を介して示すことができる。誤動作しているカードは、所定の位置で診断またはリセットを試みることができ、または本明細書に記載されているようにシステム４００の電源を切ることなく取り外すことができる。システム４００は、ＰＣＩｅカードをそれらのスロット２５１内にしっかりと保持するためのキャプティブサムスクリュー４１６を含むことができる。蝶ねじ４１６は、カードを取り外すときに緩められてもよく、カードが挿入されると締め付けられてもよい。図５は、システム内の層状回路基板を示す、例示的な高密度周辺カードシャーシを示す。
【0040】
図５は、一実施態様における高密度周辺カードシャーシ計算システム５００のアセンブリ要素を示す図である。特に、図５は、図５０１，５０２および図５０３を介して回路基板の一組の積層された層を示している。システム５００は、図１、図２、図３、および図４のシステム１００，２００，３００、および４００の一例を含むことができ、同様の番号が付けられた要素を共有することができる。
【0041】
図５０１は、シャーシ１１０の底部を備えるベースパネルを示す。第１の回路基板層は、スーパーメザニン基板５９０および２９０を含むことができる。スーパーメザニン基板２９０は、ｍｉｎｉ－ＳＡＳ ＨＤポートなどのデータポート３９１、およびスーパーメザニン基板２９０と主基板２６０とを接続するように構成された基板間コネクタ５９１に接続されてもよい。スーパーメザニン基板２９０は、ポート３９１と主基板２６０との間の接続を提供して、システム５００の外部の計算システムとシステム５００内の計算構成要素との間でデータ通信を転送することができる。同様に、スーパーメザニン基板５９０は、基板間コネクタ５９２を介してデータポート３９２および３９３と主基板２６０との間の導管に接続され、それらとして機能することができる。
【0042】
図５０２は、マザー基板または主基板２６０を含む追加の回路基板を示す。主基板２６０は、システム５００の構成要素間およびシステム５００と外部システムとの間の電力割り振りおよび通信を含む、システム５００の様々な動作を制御または促進することができる。いくつかの例では、基板間コネクタ５９１および５９２は、スーパーメザニン基板２９０および５９０を主基板２６０と通信可能に接続し、したがって主基板を外部ポート３９１，３９２および３９３に接続することができる。主基板２６０はまた、シャーシ１１０上の外部イーサネットポート３９４にケーブルを介して接続することができるイーサネットまたは同様のポートを含むことができるデータポート５９４を含むことができる。主基板２６０は、主基板２６０をメザニン基板２５０に接続することができる、１つまたは複数の基板間コネクタ回路５６１を含むことができる。
【0043】
図５０３は、メザニン基板２５０を含む回路基板の第３の層を示す。メザニン基板２５０は、例えばスイッチまたは接続回路５６１を介して主基板２６０に接続することができるドーター基板であってもよい。ＰＣＩｅスロットなどの複数の周辺カードスロットまたはポート２５１が、メザニン基板２５０に含まれてもよい。メザニン基板２５０はまた、配電盤（ＰＤＢ）２７０などのシステム５００の他の構成要素に接続することができるエッジコネクタ回路５５３を含むことができる。図６は、高密度周辺カードシャーシ計算システムの別の例示的な図である。
【0044】
図６は、例示的な高密度周辺カードシャーシ計算システム６００を示すシステム図である。システム６００は、図１、図２、図３、図４、および図５のシステム１００，２００，３００，４００、および５００に対応することができる。システム６００は、通信ファブリックを介して結合された物理的計算構成要素を有するシャーシ６０１を含むことができる。計算システム６００は、様々な構成要素、すなわちメザニン基板６２０、主基板６１０、および配電盤６３０を有するいくつかの回路基板を含むことができる。さらに、様々な支持回路、構造支持要素、筐体要素、および電源構成要素６４０がシャーシ６０１に含まれる。例えば、フロント・パネル・ディスプレイ６５０は、シャーシ６０１内または上に含まれてもよい。回路基板およびシャーシ部品の異なる構成または配置を採用することができることを理解されたい。シャーシ６０１は、エンクロージャと、エンクロージャの外部の他の機器に接続するための様々なポートとを有する、図６に示す様々な構成要素を含むラックマウント構造であってもよい。
【0045】
図６の通信ファブリックは、主基板６１０上のＰＣＩｅスイッチ回路６１２によって示される複数のＰＣＩｅスイッチング素子の中から形成される。図６はまた、一組のＰＣＩｅ周辺カードスロット６２２と、外部ホストへの接続を提供することができる一組のＰＣＩｅ拡張ポート６１５と、を含む。したがって、外部ＰＣＩｅポート６１５を介して結合された計算システム６００に含まれないＣＰＵなどの外部ホストは、特定のＰＣＩｅスロット６２２などの計算システム６００のリソースにアクセスすることができる。これらの外部ホストは、ネイティブＰＣＩｅ、ＰＣＩｅ上のＮＶＭｅプロトコルを使用して計算システム６００に結合するか、またはＰＣＩｅスロット６２２のうちの１つの拡張カードによって提供されるＩｎｆｉｎｉＢａｎｄ（ＩＢ）上に接続することができる。
【0046】
図６に含まれる様々な基板に関する説明に戻ると、メザニン基板６２０は、電気部品、相互接続、および複数のＰＣＩｅスロット６２２が実装された１つまたは複数の回路基板を備えることができる。一組のＰＣＩｅスロット６２２は、一組のＰＣＩｅスイッチと異なっていてもよい。この例では、合計１０（１０）個のＰＣＩｅスロットが提供され、それぞれがｘ１６のデータ幅を有する。メザニン基板６２０はまた、１０個のＰＣＩｅスロットの各々に対して電力フィルタリング、変換、分配、切り替え、および制御を提供する電力コントローラ６２１を備えてもよい。電力は、補助電源コネクタ６３１およびスロット固有のＬＥＤ６３２を含むことができる配電盤（ＰＤＢ）６３０を介していくつかの構成要素に供給または分配されることができる。電力コントローラ６２１によって管理される電力は、ＰＣＩｅスロット接続６２３（例えば３．３Ｖおよび１２Ｖ）を介して供給される電力、ならびに追加の電力を必要とする周辺カードに接続するように構成された補助電源コネクタ６３１（例えば１２Ｖ）へライン６２４を介して供給される電力を含むことができる。電力コントローラ６２１は、ＰＣＩｅスロット６２２および補助電力接続６３１の個別の電源オン／オフを提供することができ、それによって、他のカードは電源が供給され機能したままであるが、個々の周辺カードを取り外したり交換したりすることができる。このようにして、電源投入された「起動」システムは、１つまたは複数のＰＣＩｅカードを交換して、故障したカードの堅牢な障害回復を提供するか、または構成要素／容量のその場での拡張を実行することができる。インジケータライト６３２（例えば、ＬＥＤライト）は、各ＰＣＩｅスロット６２２のライン６２５を介して給電されてもよく、ステータス、障害、動作モード、電源ステータス、または他の情報の視覚的インジケータをオペレータに提供してもよい。電力コントローラ６２１はまた、ライン６１９を介してフロント・パネル・ディスプレイ６５０への電力を管理することができる。
【0047】
主基板６１０は、電気部品が実装された１つまたは複数の回路基板を備える。これらの構成要素は、ＰＣＩｅファブリックおよびシャーシ６０１の他の回路基板との様々な相互接続を形成することができる。ＰＣＩｅファブリックは、ＰＣＩｅスイッチ回路６１２によって示される複数のＰＣＩｅスイッチと、様々な制御要素とを備える。これらの制御要素の中には、ＰＣＩｅスイッチ回路６１２を制御し、外部エージェントへの制御アクセスを（例えば、制御リンク６１７を介して）制御システム６１１およびＰＣＩｅスイッチ回路６１２に提供し、ＰＣＩｅファブリック内の計算構成要素の論理的配置を構成／分解するための様々なファブリック管理機能も提供する制御システム６１１がある。制御システム６１１はまた、制御システム６１１と、１つまたは複数のＰＣＩｅリンクを含み得る関連する通信ファブリックに結合された任意の構成要素との間の通信リンクを含むファブリック制御インターフェースを含み得る。いくつかの例では、ファブリックインターフェースは、ＰＣＩｅリンクまたは他のリンクを介して転送されるイーサネットトラフィックを使用することができる。ファブリック制御インターフェースは、動作およびユーザがコントローラ要素とインターフェースし、ＰＣＩｅファブリックを制御することを可能にするために、それぞれ異なる通信アーキテクチャおよびプロトコルを有する１つまたは複数の制御プレーンに配置することができる。さらに、制御システム６１１は、テレメトリデータを取得し、外部エンティティに示すことができる。制御システム６１１はまた、ＰＣＩｅスイッチ回路６１２を介して、または直接リンクを介して、リンク６１６を介してメザニン基板６２０の電力機能を制御することができる。さらに、制御システム６１１は、どのインジケータを表示するかを制御すること、およびフロント・ディスプレイ・パネル６５０のインターフェース構成要素から任意の入力を受信することを含む、フロント・ディスプレイ・パネルまたはステータスパネル６５０の動作を制御することができる。
【0048】
制御システム６１１は、関連するストレージシステム（図示せず）から、ジョブインターフェースおよびファブリック管理ソフトウェアなどのソフトウェアを検索して実行する、１つまたは複数のマイクロプロセッサおよび他の処理回路を備えることができる。制御システム６１１は、単一の処理デバイス内に実装することができるが、プログラム命令を実行する際に協働する複数の処理デバイスまたはサブシステムにわたって分散させることもできる。制御システム６１１の例は、汎用中央処理装置、特定用途向けプロセッサ、および論理デバイス、ならびに任意の他の種類の処理デバイス、それらの組み合わせ、または変形を含むことができる。いくつかの例では、制御システム６１１は、Ｉｎｔｅｌ(登録商標)マイクロプロセッサ、Ａｐｐｌｅ(登録商標)マイクロプロセッサ、ＡＭＤ(登録商標)マイクロプロセッサ、ＡＲＭ(登録商標)マイクロプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向けプロセッサ、または他のマイクロプロセッサもしくは処理要素を含む。
【0049】
ステータスディスプレイまたはフロント・ディスプレイ・パネル６５０は、システム６００の構成要素のステータスのインジケータを提供することができるＯＬＥＤまたは同様のディスプレイを含むことができる。ステータスディスプレイ６５０は、制御システム６１１からの制御信号に基づいて、システム６００の電源ステータスまたは設定、１つまたは複数のカードまたはスロット６２２のステータス、または他のインジケータを示すことができる。ステータスディスプレイ６５０は、カラーコード化されたエラーまたはステータスインジケータ（例えば、連続色または点滅光による）を提供することができ、あるいはディスプレイ６５０は、エラーコードを表示するなど、テキストベースのエラーインジケータを提供することができる。フロント・パネル・ディスプレイ６５０はまた、ボタン、タッチスクリーン、スイッチ、ダイヤル、または同様の入力などの、１つまたは複数のユーザ入力構成要素を含んでもよい。ユーザ入力は、ライン６１８を介して制御システム６１１に提供されてもよい。フロント・パネル・ディスプレイ６５０は、ライン６１９を介して電力コントローラ６２１から電力または制御信号を受信することができる。
【0050】
電源構成要素６４０は、様々な電力変換、電力処理、フィルタリング、および調整回路を備える。電源構成要素６４０は、典型的には、入力電圧または電源電圧をシャーシ６０１内の構成要素の動作電圧レベルに変換し、サージ保護、短絡保護、極性保護、ならびに他の形態の保護および干渉緩和を提供する。さらに、電源構成要素６４０は、ファン、冷却ユニット、チラー、空調要素、または他の同様の構成要素など、シャーシ６０１から熱を除去するための熱処理構成要素を含むことができる。冗長性は、電源構成要素６４０内の機器の様々な故障にわたって連続動作および電源安定性を提供するために、電源構成要素６４０に含まれてもよい。
【0051】
シャーシ６０１で上述した各回路基板の構成要素に加えて、制御回路、テレメトリエージェントおよび構成要素、接着剤ロジック、相互接続、オン基板および基板間コネクタ、ソケット、電源および変換機器／回路、機械的構造要素および支持部材、加熱／冷却構成要素、ファン、サブエンクロージャ、ならびに他の装置および回路などのさらなる構成要素を含めることができる。
【0052】
ＣＰＵ要素、ネットワーク・インターフェース・カード（ＮＩＣ）、ＧＰＵ、ＦＰＧＡ、ストレージドライブ、さらなる共処理要素、または任意のＰＣＩｅ互換デバイスは、ＰＣＩｅスロット６２２内の周辺アドインカードに取り込むことができる。これらの物理的計算構成要素（ＣＰＵ、ＧＰＵ、ＮＩＣ、ストレージ、または他のデバイス）を使用して、ＰＣＩｅファブリック内で互いに分離された、本明細書では計算ユニットと呼ばれる計算構成を形成することができる。これらは、異なる物理的構成要素の配置または異なる数の物理的構成要素を有するようにオンザフライで再構成することができる個々のコンピュータまたはサーバを形成することができる。物理的計算構成要素のプールは、ＰＣＩｅスロット６２２内に投入された物理的計算構成要素から、ならびに外部ＰＣＩｅリンク６１５のうちの１つまたは複数を介して結合された他のシャーシまたはシステム内に形成することができる。
【0053】
ＰＣＩｅファブリックは、ＰＣＩｅスイッチ回路６１２に含まれる複数のＰＣＩｅスイッチから構成されてもよく、ＰＣＩｅクロスポイントスイッチと称されてもよい。ＰＣＩｅスイッチ回路は、少なくとも各ＰＣＩｅリンクによって搬送されるトラフィックに基づいて、様々なＰＣＩｅリンクを論理的に相互接続するように構成することができる。これらの例では、オペレータ定義のグループに従ってＰＣＩｅスイッチのＰＣＩｅポートの分離を可能にするドメインベースのＰＣＩｅシグナリング配信を含めることができる。オペレータ定義のグループは、制御システム６１１によって管理することができ、制御システムは、物理的計算構成要素を関連する計算ユニットに論理的に組み立て、異なる計算ユニット間で物理的計算構成要素を論理的に分離する。制御システム６１１は、ＰＣＩｅファブリックに結合されたファブリックインターフェース（例えば、リンク６１３）を介してＰＣＩｅスイッチ回路を制御し、ＰＣＩｅポート間の論理区分または分離を変更し、したがって、物理的構成要素のグループ化の構成を変更することができる。ドメインベースの分離に加えて、または代替として、各ＰＣＩｅスイッチポートは、非透過（ＮＴ）ポートまたは透過ポートとすることができる。ＮＴポートは、ブリッジのようにエンドポイント間の何らかの論理的分離を可能にすることができるが、トランスペアレントポートは論理的分離を可能にせず、純粋に切り替えられた構成でエンドポイントを接続する効果を有する。１つまたは複数のＮＴポートを介したアクセスは、特定のＮＴポートを選択するため、またはＮＴポートを介した可視性を可能にするために、ＰＣＩｅスイッチと開始エンドポイントとの間の追加のハンドシェイクを含むことができる。有利には、このドメインベースの分離（ＮＴポートベースの分離）は、物理的構成要素（例えば、ＣＰＵ、ＣｏＰＵ、ストレージユニット、ＦＰＧＡ、ＮＩＣ）を共有ファブリックまたは共通ファブリックに結合することを可能にするが、分離／仕切りを介して計算ユニットに含まれる構成要素に対する可視性のみを有することができる。したがって、ＰＣＩｅファブリック間の論理分割を用いて、複数の物理的構成要素間のグルーピングを実現することができる。この分割は本質的にスケーラブルであり、制御システム６１１または他の制御要素によって必要に応じて動的に変更することができる。
【0054】
本明細書で説明するシステムおよび動作は、ＣＰＵ、ＧＰＵ、ＮＩＣ、ＦＰＧＡ、またはストレージリソースなどの物理的計算構成要素の、計算ユニットを含む計算クラスタへの動的な割り当てを提供する。計算ユニットは、分解され、計算ユニットに割り当てられる（構成される）まで、未使用、未割り当て、または自由な構成要素のプール内に存在することができる。制御システム６１１などの管理エンティティは、計算ユニットの構成および構成解除を制御し、外部ユーザ、ジョブ管理ソフトウェア、またはオーケストレーションソフトウェアにインターフェースを提供することができる。物理的計算構成要素は、オンザフライで計算ユニットおよび関連するクラスタの内外で交換することができ、これらのリソースは他の計算ユニットまたはクラスタに割り当てることができる。一例では、リソースに障害、ハング、過負荷状態が発生した場合、追加のリソースを計算ユニットおよびクラスタに導入してリソースを補うことができる。
【0055】
形成後に計算ユニットを修正または変更するために、様々なトリガを使用することができる。第１のトリガでは、イベントベースのトリガが採用される。これらのイベントベースのトリガは、ジョブまたはジョブを含む作業ユニットをサポートするために、計算ユニットを変更もしくは修正するか、または追加の計算ユニットを追加することができる。ジョブによって示される動的イベントまたはパターンの制御システム６１１による観測に基づいて、制御システム６１１は、それに割り当てられた計算ユニットおよびリソースの構成に対する変更を開始することができる。そのようなイベントまたはパターンの例には、プロセスの観測されたリソース不足、機能によって識別される特定の文字列、インテリジェント・インフラストラクチャ・アルゴリズムによって識別される特定の信号、または制御システム６１１によって監視することができる他の要因が含まれる。実行中のジョブのテレメトリまたは実行前または実行中のジョブのプロパティの分析は、制御システム６１１に、計算ユニットの動的変更を開始するように通知することができる。したがって、制御システム６１１は、イベントまたはパターンに従って計算ユニットのリソース（例えば、物理的計算構成要素）を追加または削除するために計算ユニットの構成を変更することができる。有利には、計算ユニットは、各ジョブの現在のリソースニーズをサポートするためにより良好に最適化することができ、現在のジョブによって不要になったとき、または他の将来のジョブによる使用のために、リソースをプールにインテリジェントに戻すことができる。
【0056】
別の代替トリガは、機械学習タイプのアルゴリズムまたはユーザ定義の時間枠に基づく時間トリガを含む。この例では、特定の種類のジョブが特定の種類の挙動を示すように、構成された計算ユニットのパターンまたは挙動を経時的に決定または学習することができる。これらの挙動に基づいて、計算ユニットへの変更を動的に行い、ワークロードパターンをサポートすることができる。例えば、制御システム６１１は、特定の種類のジョブの実行の特定の段階において、より多くの／より少ないストレージリソースが必要であるか、またはより多くの／より少ないコプロセッシングリソースが必要であると判定することができる。制御システム６１１は、追加または除去またはリソースを含むことができる計算ユニットの構成を予測的またはプリエンプティブに変更して、作業ユニットがジョブによって実行されている状態で計算ユニットに割り当てられた現在のリソースをより良好に最適化することができる。時間特性は、明示的なユーザ入力に基づいて、または機械学習プロセスに基づいて制御システム６１１によって決定され、計算ユニットからリソースを追加または削除する時間枠を決定することができる。制御システム６１１は、どのリソース変更が必要であるか、およびこれらの変更が現在および将来のジョブのニーズをサポートするためにいつ必要とされるかを決定することができるリソーススケジューラ要素を含むことができる。本明細書で説明する計算ユニットへの変更は、いくつかの例では、特定の物理的構成要素またはリソースを追加または削除するときなどに、計算ユニットおよび関連するオペレーティングシステムの再構成および再起動を必要とする場合がある。しかしながら、ストレージまたはネットワーク・インターフェース・リソースの追加／削除などの他の変更は、特定の計算ユニットを再起動または再構成することなくオンザフライで達成され得る。
【0057】
ここで、主基板６１０の要素に関する説明に移ると、図７が提示される。図７は、構成７００における主基板６１０を示す。図６の主基板６１０は例示を目的として参照されているが、関連する回路の他の構成および配置を使用することができることを理解されたい。主基板６１０は、ＰＣＩｅスイッチ回路６１２、制御システム６１１、およびいくつかの外部ポート／リンクを含む。主基板６１０の要素は、ＰＣＩｅベースの通信ファブリックを備え、ＰＣＩｅスイッチ７１０は、ＰＣＩｅリンク／ポート間の様々な論理的分離またはパーティションを提供するために、リンク６１３を介して制御システム６１１によって制御される。いくつかの例では、ＰＣＩｅスイッチ７１０は、ＰＥＸ８７９６ ２４ポート、９６レーンＰＣＩｅスイッチチップ、ＰＥＸ８７２５ １０ポート、２４レーンＰＣＩｅスイッチチップ、ＰＥＸ９７ｘｘチップ、ＰＥＸ９７９７チップ、または他のＰＥＸ８７ｘｘ／ＰＥＸ９７ｘｘチップなどのＰＬＸ／Ｂｒｏａｄｃｏｍ／Ａｖａｇｏ ＰＥＸシリーズチップを備える。
【0058】
ＰＣＩｅスイッチ７１０は、ＰＣＩｅリンクまたはポート６１４および６１５を介して結合されたデバイスにリンクすることができる。ＰＣＩｅリンク６１４は、メザニン基板６２０上のＰＣＩｅ拡張スロット６２２に結合することができ、ＰＣＩｅリンク６１５は、シャーシ６０１の外部の他のＰＣＩｅデバイス、ホスト、または管理エンティティに結合するために、複数の外部ＰＣＩｅポート７１８に結合することができる。ＰＣＩｅスイッチ７１０は、リンクまたはポート７１４を介して他のＰＣＩｅスイッチ７１０に結合されてもよい。論理的配置は、任意の選択されたＰＣＩｅリンク６１４，６１５，７１４と、対応するデバイスとの間で形成することができ、対応するデバイスは、典型的には、ホストデバイス（例えば、ＣＰＵ）に関連付けられた１つのＰＣＩｅルートコンプレクスを含む。このＰＣＩｅホストデバイスは、メザニン基板６２０上のＰＣＩｅ拡張スロットに含めることができ、または外部ＰＣＩｅポート７１８のいずれかを介して結合することができる。ＰＣＩｅトラフィックレーンの幅または数の例は、図７（および本明細書の他の図）において、１６レーンＰＣＩｅリンクの場合はｘ１６、４レーンＰＣＩｅリンクの場合はｘ４、１レーンＰＣＩｅリンクの場合はｘ１で示されていることに留意されたい。他の幅および構成も可能である。
【0059】
ＰＣＩｅスロットに挿入された対応する周辺カード間のデータ転送を提供するために、ＰＣＩｅルートコンプレクスまたはホストデバイスを介してデータを転送することなく、ＰＣＩｅスロットのいずれかの間でピアツーピア配置を形成することができる。例えば、シャーシ６０１内のＰＣＩｅスロットは、リンク６１４、スイッチ７１０、およびリンク７１４を介して互いに通信することができる。あるいは、シャーシ６０１内のＰＣＩｅスロットは、リンク６１４、スイッチ７１０、およびリンク６１５を介してシャーシ６０１の外部のスロットと通信することができる。ピアツーピア通信は、制御システム６１１によって管理されてもよく、または制御システム６１１による制御なしにＰＣＩｅスロットに差し込まれた周辺カードに利用可能であってもよい。
【0060】
リンク／デバイス間の論理的配置を形成および解消するなど、ＰＣＩｅスイッチ７１０の動作を制御するために、制御システム６１１が本明細書で提供および説明される。図７は、制御システム６１１の例示的な構成要素を示しているが、さらなる構成が図９～図１１に示されている。制御システム６１１は、コントローラ７１１と、１つまたは複数のリンク７１３を介して結合された通信スイッチ７１２とを含む。リンク７１３は、イーサネットリンク、またはその変形／派生物を備えることができ、あるいは代わりに、シングルレーン（ｘ１）ＰＣＩｅリンクなどのＰＣＩｅリンクを備えることができる。通信スイッチ７１２は、ＰＣＩｅスイッチ回路６１２、ＰＣＩｅスイッチ７１０の各々、またはそれらの組み合わせに結合する１つまたは複数のファブリック制御リンク６１３のためのファンアウトまたはスイッチ多重化を提供する。制御システム６１１は、ファブリック制御リンク６１３を介してＰＣＩｅスイッチ７１０を制御し、ＰＣＩｅポート間の論理区分または分離を変更し、したがって、対応する物理的計算構成要素の計算ユニットグループの構成を変更することができる。ファブリック制御リンク６１３は、図９～図１０に詳述されているように、イーサネットスタイルリンク（例えば、シリアル・ギガビット・メディア非依存インターフェース（ＳＧＭＩＩ）または縮小ギガビット・メディア非依存インターフェース（ＲＧＭＩＩ））またはＰＣＩｅリンクのいずれかを含むことができるが、ファブリック制御リンク６１３はそのようなリンクタイプに限定されない。
【0061】
制御システム６１１は、メザニン基板６２０の電力機能を制御するためのリンク６１６を提供するが、メザニン基板６２０は、リンク６１６を介してコントローラ７１１と通信するさらなる制御システム、ロジック、およびコントローラを含むことができる。制御システム６１１はまた、フロント・パネル・ディスプレイ６５０を制御し、そこから入力を受信するためのリンク６１８を提供してもよい。リンク６１６および６１３は、集積回路間（Ｉ２Ｃ）インターフェース、システム管理バス（ＳＭＢｕｓ）インターフェース、電力管理バス（ＰＭＢｕｓ）インターフェース、ネットワークインターフェース、または本明細書で説明する他のシリアルまたはパラレルのポイントツーポイントまたはマルチポイントインターフェースなどの様々な通信リンクを含むことができる。コントローラ７１１はまた、１つまたは複数のファブリック制御または管理インターフェース６１７を提供する。制御インターフェース６１７は、イーサネットスタイルのインターフェース（例えば、ＳＧＭＩＩまたはＲＧＭＩＩ）またはＰＣＩｅ互換インターフェースを含むことができる。図７は、制御インターフェースまたは６１７、すなわち外部ＰＣＩｅポートに結合されたＰＣＩｅリンク７１７および外部Ｅｔｈｅｒｎｅｔ ＰＨＹ／ポートに結合されたＥｔｈｅｒｎｅｔリンク７１６の例を示す。リンク７１３，７１６，７１７の正確な配置および構成は、図９～図１０に示すように、ＰＣＩｅファブリックに使用される制御プレーンの種類に基づいて変化し得る。
【0062】
コントローラ７１１は、関連するストレージシステムから、管理オペレーティングシステム、ユーザインターフェース、およびジョブインターフェースなどのソフトウェアを検索および実行する、１つまたは複数のマイクロプロセッサおよび他の処理回路を備えることができる。コントローラ７１１は、単一の処理デバイス内に実装することができるが、プログラム命令を実行する際に協働する複数の処理デバイスまたはサブシステムにわたって分散させることもできる。コントローラ７１１の例は、汎用中央処理装置、特定用途向けプロセッサ、および論理デバイス、ならびに任意の他の種類の処理デバイス、それらの組み合わせ、または変形を含む。いくつかの例では、コントローラ７１１は、Ｉｎｔｅｌ(登録商標)もしくはＡＭＤ(登録商標)マイクロプロセッサ、Ａｐｐｌｅ(登録商標)マイクロプロセッサ、ＡＲＭ(登録商標)マイクロプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向けプロセッサ、または他のマイクロプロセッサもしくは処理要素を含む。
【0063】
次に、メザニン基板６２０の要素に関する説明に移ると、図８が提示される。図８は、構成８００のメザニン基板６２０を示す。図６のメザニン基板６２０は、例示を目的として図８で参照されているが、関連する回路の他の構成および配置を採用することができることを理解されたい。メザニン基板６２０は、リンク８１２，８１３および６２５を介して電力制御回路８１０のいくつかの例に結合された電力コントローラ６２１を含む。この例では、リンク８１２は、電力制御回路８１０の各々内の論理回路を制御するための個別リンクのいくつかの例を含む。リンク８１３は、電力制御回路８１０の各々内の論理回路と通信するＰＭＢｕｓまたは他のシリアルインターフェースを備える。電力コントローラ６２１はまた、ＰＭＢｕｓ８１７を介して電力入力回路８１５のいくつかのインスタンスに通信可能に結合される。電力コントローラ６２１は、個別の信号線または共有シリアル通信バス線を含むことができるリンク６２５を介してインジケータライト６３２のスロット・インジケータ・ライト制御装置に結合される。電力コントローラ６２１はまた、任意選択的に、リンク８１５および６１６を介して主基板６１０の制御システム６１１によって提供される制御プレーンに結合され、リンク８１５および６１９を介してフロント・ディスプレイ・パネル６５０に結合される。いくつかの例では、代わりに電力コントローラ６２１の１つまたは複数の機能を制御システム６１１内に含めることができる。
【0064】
電力入力回路８１５は、電源線または素子８８０を介して入力電力を受け取り、ＰＣＩｅスロット６２２が必要とする電圧／電流を生成するための昇圧または降圧変換などの、１つまたは複数の電力変換または電圧調整活動を実行する。電圧の例としては、とりわけ、３．３ＶＤＣおよび１２ＶＤＣが挙げられる。電力入力回路８１５は、リンク８１７を介して監視することができ、電力コントローラ６２１によってリンク８１７を介して有効化／無効化および構成することができる。電力入力回路８１５は、個々のＰＣＩｅスロット６２２への電力の分配および有効化／無効化を制御する電力制御回路８１０に、リンク８１６を介して１つまたは複数の出力電圧を提供する。ＰＣＩｅスロット６２２ごとに独立した電力制御を実現して、他のＰＣＩｅ拡張カードの電源状態とは無関係に、選択されたＰＣＩｅ拡張カードをその場で「ライブ」取り外しおよび挿入することを可能にすることができる。各スロット６２２のインジケータライト６３２として示されるステータスインジケータは、電源の現在のステータス、ならびにインジケータ色、オン／オフステータス、および選択された点滅状態／パターンに基づく他の情報を表示する。拡張カードが装着されている場合でも、現在使用されていないスロット６２２の電源を無効にすることができる。個々のスロット６２２の電力制御は、リンク６１６および８１５を介して制御システム６１１によって、またはそれらの組み合わせを含むリンク８１２～８１３を介して電力コントローラ６２１によって制御することができる。動作中、複数の電力リンクは、このような制御に従ってＰＣＩｅスロット６２２の個々のもののために通電される。
【0065】
電力制御回路８１０は、対応するＰＣＩｅスロット６２２に電力を供給し、この電力はＰＣＩｅスロットごとに個別に制御される。さらに、各スロットに対して電力を印加または除去することができるが、他のスロットはアクティブまたは電力供給される。この機能を提供するために、電力制御回路８１０は、３．３ＶＤＣおよび１２ＶＤＣ電源が同時に印加されるように、すべての電力入力を個々のスロットに同時に印加するための回路および論理を含む。これにより、スロットに挿入された実際の周辺カードの電源ドメインにわたる短絡および電力スニークの可能性を防止または低減することができる。例えば、ある電圧が印加され、別の電圧が印加されないままである場合、電流は、周辺カードに損傷を引き起こす、周辺カード上の回路または無関係な電源ドメインを通る経路を見つける可能性がある。この同時電力は、使用される場合、対応するＰＣＩｅスロット／ソケット用のスロットコネクタおよび補助電源コネクタを介して提供される１２ＶＤＣに印加される。補助電源コネクタは、多くの場合、大量の電力を消費し、スロットコネクタ自体を介して供給される１２ＶＤＣを補足する周辺カードに使用される。多くの場合、ＧＰＵ周辺カードは、他の周辺カードよりも大量の電力を消費し、したがって補助電力接続の使用を必要とする。電力制御回路８１０は、補助接続（例えば、補助電源６３１からのリンク６２４）およびＰＣＩｅスロット電力（例えば、リンク６２３）に１２ＶＤＣ電力を、そのスロットに適用可能なアクセサリ電力または３．３ＶＤＣ電力と共に同時に印加する論理／回路を含む。電力コントローラ６２１は、論理リンク８１２を介して、またはＰＭＢｕｓ８１３を介して電力オン／オフイベントを開始することができ、これはリンク６１６および８１５を介して提供される情報または制御信号を考慮に入れることができる。
【0066】
電流感知および制御は、電力制御回路８１０によっても提供される。電子ヒューズまたは電子ヒューズと呼ばれるこの電流感知は、各スロットの電流引き込みに制限を与える。この電流制限は、故障モードまたは短絡状態の間に過度の電流が引き込まれるのを防止することによって、周辺カードへの損傷を低減することができる。さらに、ｅ－ｆｕｓｅ機能はリセット可能であるため、電力制御回路８１０によってｅ－ｆｕｓｅリセットプロセスが実行された後に電力を再印加することができる。感知された電流はデジタル化され、ＰＭＢｕｓ８１３または他の手段を介して電力コントローラ６２１に提供され得る。
【0067】
スロット・ステータス・インジケータは、スロットＬＥＤ６３２として含まれ、リンク６２５を介して電力コントローラ６２１によって制御される。電力コントローラ６２１からの制御信号に基づいて、ＬＥＤ６３２は、点滅、点滅速度／遅延、色、および他の特徴の様々な組み合わせを使用して、現在の動作ステータス、電源ステータス、故障もしくはエラーステータス、または関連するスロットもしくは周辺カードの他のインジケータを示すことができる。さらに、ＬＥＤ６３２をオペレータが使用して、周辺カードを修理するときにスロットの知識を得ることができる。例えば、スロットのＬＥＤは、スロットの電源がいつ取り外され、周辺機器のカードを取り外すことができるかを示すことができる。各ＬＥＤ６３２は、どのスロット６２２に現在電力の問題または障害が発生しているかを示すことができるので、オペレータは、どの周辺カードをデバッグ、リセット、取り外し、または交換すべきかを迅速に判断することができる。
【0068】
例示的なスロットごとのステータスＬＥＤ６３２の光信号は、以下を含むことができる。
一例では、システムは、スロットに挿入されたカードのＰＣＩｅ生成を検出することができ、システムは、関連するＬＥＤを介してその情報を示すことができる。例えば、Ｇｅｎ４のカードは、スロットの電源が入っているときに障害なく連続点灯を維持することができるが、異なる点滅パターンを使用して、Ｇｅｎ３（例えば、オン１秒、オフ２５０ｍｓ）、Ｇｅｎ２（例えば、オン１秒、オフ５００ｍｓ）、またはＧｅｎ１（例えば、オン１秒、オフ１秒）のカードを示すことができる。様々なステータスを示すために固定された点滅パターンではなく、またはそれに加えて、ＬＥＤ６３２は、代替スタイルで情報を提供することもできる。例えば、「１」が５００ｍｓの光の持続時間で示され、０が２００ｍｓの光の持続時間で示され、１秒の間隔で、モールスコード型のバイナリ点滅パターンを使用することができる。
【表1】
【0069】
ＬＥＤ６３２はまた、スロット内に新しいカードをセットアップするためのガイダンスモード、カードを取り外すときのガイダンス、または他のプロセスに関連して使用されてもよい。例示的なセットアッププロセスでは、システムのソフトウェアまたはファームウェアは、どのスロット６２２を構成するか、および挿入されるカードの幅（例えば、ｘ１、ｘ４、ｘ８、またはｘ１６などの使用するレーンの数）の表示を要求または取得することができる。この情報は、リモートホストまたは他のデバイスのユーザインターフェースを介して、またはフロント・パネル・ディスプレイ１３０または６５０などのシャーシのインターフェースを介して取得することができる。選択されたスロット６２２は、それらの関連するＬＥＤ６３２を調整可能な期間、例えば１０秒間点滅させることができる。接続されるべき第１のポート６２２用のＬＥＤ６３２は点滅したまま（例えば、２００ｍｓオン／オフ）であってもよく、残りのポート用の他のＬＥＤ６３２はオフにされてもよい。挿入されたカードとの固体接続が第１のスロットで検出されると、関連するＬＥＤ６２は連続点灯になり、接続されるべき次のスロット６２２のＬＥＤが点滅を開始し、接続されるべき残りのすべてのスロット６２２について同様に繰り返すことができる。ＬＥＤ６３２は、挿入されたカードとの通信リンクが確立されている間、急速に連続して（例えば、２００ｍｓオン／オフ）点滅することができ、次いで、ＬＥＤ６３２は、例えば１秒間オフになり、次いで、現在のリンク状態を提示するステータスモードに入ることができる。
【0070】
電力制御回路８１０の他の特徴は、電力コントローラ６２１と組み合わせて、個々のスロット電力制御および電力ステータステレメトリ、スロット内の周辺カードのサービス中の個々のスロットの自動電源オフ、様々なリセット特徴、およびウェイクサポートを含む。リセット機能は、各スロット６２２の電力を個別にハードサイクルして、関連する周辺カードの再起動を実行する能力を含む。このハードサイクルは、スロット６２２へのすべての電力の除去、所定の遅延の待機、およびスロットへの電力の印加を含んでいた。この動作は、他のスロットが機能し、電力供給されたままである間に実行することができ、関連する計算システムの動作中に各スロット６２２の個々のデバッグおよびリセットを可能にする。
【0071】
物理的には、各ＰＣＩｅスロット６２２はｘ１６ ＰＣＩｅスロットコネクタを備える。スロット幅は、他の幅の中でも、それらの組み合わせを含む、シングル幅またはダブル幅ＰＣＩｅカードをサポートするように選択することができる。上述したように、各スロット／カードに追加の電力を供給するために、補助電源コネクタ／ケーブルがリンク６２４に使用される。また、互換性のあるＧＰＵカードが使用される場合、ＮＶｌｉｎｋは、ＰＣＩｅインターフェースとは別に、各ＧＰＵカード間のポイントツーポイント接続に使用することができる。
【0072】
動作中、ＣＰＵ、ＧＰＵ、ＮＩＣ、ＦＰＧＡ、またはストレージリソースなどの物理的計算構成要素は、周辺カードに含まれ、ＰＣＩｅスロット６２２のいずれかに挿入することができる。周辺カードの１つまたは複数の電源をオンまたはオフにし、個々のカードのホットスワップを可能にし、カードのその場での交換またはサービスを可能にするために、各スロットに対して個別に電源制御を達成することができる。選択された一組の周辺カードが投入されると、ＰＣＩｅスロット６２２は、ＰＣＩｅインターフェース６１４を介してＰＣＩｅファブリックにインターフェース接続し、物理的計算構成要素を計算クラスタに提供する。計算ユニットは、含まれる周辺カードのいずれかの間で任意に形成することができ、カード間のこの構成は、計算システムの現在のニーズに適合するように変更することができる。各周辺カードは分解され、計算ユニットに割り当てられる（構成される）まで、未使用、未割り当て、または空き構成要素のプールに存在し得る。制御システム６１１などの管理エンティティは、計算ユニットの構成および構成解除を制御し、外部ユーザ、ジョブ管理ソフトウェア、またはオーケストレーションソフトウェアにインターフェースを提供することができる。物理的計算構成要素は、オンザフライで計算ユニットおよび関連するクラスタの内外で交換することができ、これらのリソースは他の計算ユニットまたはクラスタに割り当てることができる。
【0073】
図９は、一実施態様における通信ファブリックのための制御プレーン９００を示す図である。制御プレーン９００は、ＰＣＩｅスイッチ７１０、したがって対応するＰＣＩｅファブリックの動作に対するサイドバンドまたは帯域外制御を提供する。制御プレーン９００は、ポート９１５を介したシャーシ６０１への、およびシャーシからのステータス／テレメトリおよびコマンド／制御シグナリングの安全で暗号化された転送を提供する。制御プレーン９００は、この例ではイーサネットベースの制御プレーンを含み、ＰＣＩｅベースの例が図１０に示されている。制御プレーン９００は、ＰＣＩｅスイッチ７１０を備えるものとして図７および図９に示すように、複数のＰＣＩｅスイッチから形成されたＰＣＩｅファブリックの動作および構成を制御することができる。制御プレーン９００は、制御リンク７１３を介してイーサネットスイッチ９１２およびリンク７１６（６１７）を介してイーサネット物理層回路（ＰＨＹ）９１４に通信するコントローラ７１１を備える。さらに、コントローラ７１１は、リンク６１６を介して電力制御要素（図９には図示せず）に通信することができる。イーサネットＰＨＹ９１４は、カテゴリ５、５ｅ、６、またはギガビット級以上の速度を提供する他の適切なタイプのイーサネットケーブル（導電性および光）などのイーサネットケーブルに結合するための少なくとも２つのイーサネットポート９１５を提供する。リンク７１３は、ケーブル配線または関連するＰＨＹ回路を使用せずにイーサネット互換性シグナリングを使用してオン基板チップツーチップ通信を提供する、シリアル・ギガビット・メディア独立インターフェース（ＳＧＭＩＩ）と呼ばれるイーサネットシグナリングのバージョンを使用して、コントローラ７１１をイーサネットスイッチ９１２に通信可能に結合する。
【0074】
イーサネットスイッチ９１２は、コントローラ７１１を、関連するリンク９１３（６１３）を介してＰＣＩｅスイッチ７１０の各々の管理インターフェースに通信可能に結合するためのマルチポートスイッチ構成を備える。リンク９１３は、この例では、ケーブル配線または関連するＰＨＹ回路を使用することなく、イーサネット互換性シグナリングを使用してオン基板チップツーチップ通信を提供する縮小ギガビット・メディア非依存インターフェース（ＲＧＭＩＩ）を備える。ＰＣＩｅスイッチ７１０は、ＲＧＭＩＩ通信に対応した管理ポートを備え、ＰＣＩｅスイッチ７１０の各種動作を制御することができる。例えば、ＰＣＩｅスイッチ７１０のポートの割り当ておよび割り当ては、リンク９１３を介して制御されて、グループ化された一組のポート６１４を形成し、物理的計算構成要素が接続された計算ユニットを形成することができる。図９に示すＰＣＩｅリンク６１４の各々は、ｘ１６のＰＣＩｅリンクを備えてもよいが、レーンの他の構成を採用することもできる。ＰＣＩｅスイッチ７１０のそのような動作を制御するための制御シグナリングは、コントローラ７１１への配信のためにイーサネットポート９１５を介して受信することができ、または他のソースの中でもコントローラ７１１によって発信することができる。コントローラ７１１は、リンク７１６を介して受信されたシグナリングまたはメッセージングを解釈し、リンク７１３，９１３を使用してＰＣＩｅスイッチ７１０に固有の制御シグナリングを決定して、ＰＣＩｅスイッチ７１０とインターフェースし、ＰＣＩｅスイッチの構成を制御することができる。さらに、ＰＣＩｅスイッチ７１０は、ステータス、テレメトリ、および他のメッセージングを、同様のインターフェース／リンクを介してコントローラ７１１に提供することができる。コントローラ７１１は、そのようなテレメトリ／メッセージングに作用するか、またはリンク７１６を介してさらなるシステムに渡すことができる。
【0075】
図１０は、一実施態様における通信ファブリックのための制御プレーン１０００を示す図である。制御プレーン１０００は、ＰＣＩｅスイッチ７１０、したがって対応するＰＣＩｅファブリックの動作に対するサイドバンドＰＣＩｅ制御を提供する。制御プレーン１０００は、ポート９１５を介したシャーシ６０１への、およびシャーシからのステータス／テレメトリおよびコマンド／制御シグナリングの安全で暗号化された転送を提供する。さらに、ポート９１５と同様の機能を提供することができる外部ＰＣＩｅポート／リンク１０１０が制御プレーン１０００に設けられる。制御プレーン１０００は、この例ではＰＣＩｅベースの制御プレーンを含む。制御プレーン１０００は、ＰＣＩｅスイッチ７１０を備えるものとして図７および図１０に示すように、複数のＰＣＩｅスイッチから形成されたＰＣＩｅファブリックの動作および構成を制御することができる。制御プレーン１０００は、制御リンク７１３を介してリンク７１６（６１７）を介して管理ＰＣＩｅスイッチ９１２およびイーサネット物理レイヤ回路（ＰＨＹ）９１４に通信するコントローラ７１１を備える。さらに、コントローラ７１１は、リンク６１６を介して電力制御要素（図１０には図示せず）に通信することができる。イーサネットＰＨＹ９１４は、カテゴリ５、５ｅ、６、またはギガビット級以上の速度を提供する他の適切なタイプのイーサネットケーブル（導電性および光）などのイーサネットケーブルに結合するための少なくとも２つのイーサネットポート９１５を提供する。リンク７１３は、ｘ１ ＰＣＩｅリンクを使用してコントローラ７１１を管理ＰＣＩｅスイッチ９１２に通信可能に結合するが、他のＰＣＩｅ幅も可能である。Ｍ．２ストレージユニット１０２０は、管理ＰＣＩｅスイッチ９１２に結合することができ、管理ＰＣＩｅスイッチを介して、リンク７１３を介してコントローラ７１１によってアクセスすることができる。一例では、Ｍ．２ストレージユニット１０２０は、管理またはテレメトリデータのためのローカルキャッシュまたはメモリを提供することができる。
【0076】
管理ＰＣＩｅスイッチ９１２は、ＰＣＩｅスイッチ７１０と同様の構成であるが、コントローラ７１１を関連するリンク１０１３（６１３）を介してＰＣＩｅスイッチ７１０の各々の管理インターフェースに通信可能に結合するようにｘ１リンク幅構成で構成された、マルチポートＰＣＩｅスイッチを備える。この例では、リンク１０１３はｘ１ ＰＣＩｅリンクを含む。ＰＣＩｅスイッチ７１０は、ＰＣＩｅ通信に対応した管理ポートを備え、ＰＣＩｅスイッチ７１０の各種動作を制御する。例えば、ＰＣＩｅスイッチ７１０のポートの割り当ておよび割り当ては、リンク１０１３を介して制御されて、グループ化された一組のポート６１４を形成し、物理的計算構成要素が接続された計算ユニットを形成することができる。図１０に示すＰＣＩｅリンク６１４の各々は、ｘ１６のＰＣＩｅリンクを備えてもよいが、レーンの他の構成を採用することもできる。ＰＣＩｅスイッチ７１０のそのような動作を制御するための制御シグナリングは、コントローラ７１１への配信のためにイーサネットポート９１５を介して受信することができ、または他のソースの中でもコントローラ７１１によって発信することができる。コントローラ７１１は、リンク７１６を介して受信されたシグナリングまたはメッセージングを解釈し、リンク７１３、１０１３を使用してＰＣＩｅスイッチ７１０に固有の制御シグナリングを決定して、ＰＣＩｅスイッチ７１０とインターフェースし、ＰＣＩｅスイッチの構成を制御することができる。さらに、ＰＣＩｅスイッチ７１０は、ステータス、テレメトリ、および他のメッセージングを、同様のインターフェース／リンクを介してコントローラ７１１に提供することができる。コントローラ７１１は、そのようなテレメトリ／メッセージングに作用するか、またはリンク７１６を介してさらなるシステムに渡すことができる。さらに、外部ＰＣＩｅポート／リンク１０１０は、ポート／リンク９１５と同様の特徴／機能を提供するが、イーサネットの代わりにＰＣＩｅスタイルのリンクを介して、制御プレーン１０００に設けられる。
【0077】
図１０に示す構成では、帯域外制御およびテレメトリは、リンク７１６を介してイーサネットシグナリングを介して搬送することができ、ＰＣＩｅスイッチ７１０のポート構成を介した計算ユニット形成のオーケストレーションは、リンク７１７を介して制御することができる。図１０のＰＣＩｅベースの制御プレーンは、コントローラ７１１（シャーシ６０１の内部）を介して、またはＰＣＩｅおよびリンク７１７を介して結合された外部管理ノードを介して、個々のＰＣＩｅスイッチ７１０を管理する柔軟性を可能にする。
【0078】
図１１は、制御システム１１００の実施態様を示すブロック図である。制御システム１１００は、図６の制御システム６１１、図７、図９、および図１０のコントローラ７１１、または図６および図８の電力コントローラ６２１など、本明細書で説明する制御システム、コントローラ、または管理プロセッサのいずれかの例を示す。制御システム１１００は、通信インターフェース１１０１、ユーザインターフェース１１０３、および処理システム１１１０を含む。処理システム１１１０は、処理回路１１１１と、ランダムアクセスメモリ（ＲＡＭ）１１１３を含むことができるデータストレージシステム１１１２と、を含むが、追加のまたは異なる構成の要素を含むことができる。
【0079】
処理回路１１１１は、単一の処理デバイス内に実装することができるが、プログラム命令を実行する際に協働する複数の処理デバイスまたはサブシステムにわたって分散させることもできる。処理回路１１１１の例は、汎用中央処理装置、マイクロプロセッサ、特定用途向けプロセッサ、および論理デバイス、ならびに任意の他の種類の処理デバイスを含む。いくつかの例では、処理回路１１１１は、クラウド計算システムなどの物理的に分散された処理デバイスを含む。
【0080】
通信インターフェース１１０１は、通信リンク、パケットネットワークなどのネットワーク、およびインターネットなどを介して通信するための１つまたは複数の通信およびネットワークインターフェースを含む。通信インターフェースは、ＰＣＩｅインターフェース、イーサネットインターフェース、シリアルインターフェース、シリアル・ペリフェラル・インターフェース（ＳＰＩ）リンク、Ｉ２Ｃインターフェース、ユニバーサル・シリアル・バス（ＵＳＢ）インターフェース、ＳＭＢｕｓインターフェース、ＰＭＢｕｓインターフェース、ＵＡＲＴインターフェース、無線インターフェース、またはイーサネット、イーサネットスタイル、もしくはインターネットプロトコル（ＩＰ）リンクを介して通信することができる１つもしくは複数のローカルもしくはワイドエリアネットワーク通信インターフェースを含むことができる。通信インターフェース１１０１は、異なるネットワークリンクに関連付けることができる１つまたは複数のネットワークアドレスを使用して通信するように構成されたネットワークインターフェースを含むことができる。通信インターフェース１１０１の例は、ネットワーク・インターフェース・カード機器、トランシーバ、モデム、および他の通信回路を含む。通信インターフェース１１０１は、ＰＣＩｅファブリックまたは他の通信ファブリックの要素と通信して、通信ファブリックの１つまたは複数の通信スイッチの管理インターフェースまたは制御インターフェースなどを介して、ファブリック内で論理分割を確立することができる。
【0081】
ユーザインターフェース１１０３は、タッチスクリーン、キー基板、マウス、音声入力デバイス、音声入力デバイス、またはユーザからの入力を受信するための他のタッチ入力デバイスを含むことができる。ディスプレイ、スピーカ、ウェブインターフェース、端末インターフェース、および他の種類の出力デバイスなどの出力デバイスもまた、ユーザインターフェース１１０３に含まれてもよい。ユーザインターフェース１１０３は、通信インターフェース１１０１などのネットワークインターフェースを介して出力を提供し、入力を受信することができる。ネットワークの例では、ユーザインターフェース１１０３は、１つまたは複数のネットワークインターフェースを介して結合されたディスプレイシステムまたは計算システムによって、リモートディスプレイ用のディスプレイまたはグラフィックスデータをパケット化することができる。ユーザインターフェース１１０３の物理的または論理的要素は、ユーザまたは他のオペレータに警告または視覚的出力を提供することができる。ユーザインターフェース１１０３はまた、上述した様々なユーザ入出力デバイスをサポートする、処理システム１１１０によって実行可能な関連するユーザインターフェースソフトウェア１１２１を含むことができる。別個に、または互いにおよび他のハードウェアおよびソフトウェア要素と共に、ユーザインターフェースソフトウェア１１２１およびユーザインターフェースデバイス１１０３は、グラフィカルユーザインターフェース、自然なユーザインターフェース、または任意の他の種類のユーザインターフェースをサポートすることができる。物理ユーザインターフェース１１０３の一例は、図１、図２、および図４のステータスディスプレイ１３０、または図６および図７のフロント・パネル・ディスプレイ６５０であってもよい。しかしながら、ユーザインターフェース１１０３は、シャーシ６０１に、またはリモートホストもしくはクライアントデバイスを介して提示することができるグラフィカルユーザインターフェース（ＧＵＩ）などのソフトウェアベースのインターフェースとして提示することもできる。
【0082】
ユーザインターフェース１１０３は、グラフィカルユーザインターフェース（ＧＵＩ）を一人または複数のユーザに提示することができる。ＧＵＩは、クラスタを確立し、アセット（計算ユニット／マシン）を各クラスタに割り当てるために、エンドユーザまたは管理者によって使用され得る。いくつかの例では、ＧＵＩまたはユーザインターフェース１１０３の他の部分は、エンドユーザが、計算ユニットの作成で使用するために使用またはカスタマイズするための１つまたは複数の計算ユニットテンプレートおよび動的調整ポリシーセットを決定することを可能にするインターフェースを提供する。ユーザインターフェース１１０３を使用して、マシンテンプレートを管理、選択、および変更したり、計算ユニットのポリシーを変更したりすることができる。ユーザインターフェース１１０３はまた、１つまたは複数のステータスインターフェースまたはステータスビューなどにおいて、テレメトリ情報を提供することができる。様々な構成要素または要素の状態は、とりわけ、プロセッサ／ＣＰＵ状態、ネットワーク状態、記憶装置状態、ＰＣＩｅ要素状態など、ユーザインターフェース１１０３を介して監視することができる。様々な性能測定基準、エラー状況は、ユーザインターフェース１１０３を使用して監視することができる。ユーザインターフェース１１０３は、コマンド・ライン・インターフェース（ＣＬＩ）、アプリケーション・プログラミング・インターフェース（ＡＰＩ）、または他のインターフェースなど、ＧＵＩ以外の他のユーザインターフェースを提供することができる。ユーザインターフェース１１０３の一部は、ＷｅｂＳｏｃｋｅｔベースのインターフェースを介して提供することができる。ユーザインターフェース１１０３は、本明細書で論じられているような物理的インジケータライトを提供または制御することができ、あるいはシャーシまたはエンクロージャに取り付けられたディスプレイ上の１つまたは複数のフロント・パネル・ディスプレイに対するステータス／情報／制御を提供することができる。
【0083】
ストレージシステム１１１２およびＲＡＭ１１１３は、共に非一時的データストレージシステムを備えることができるが、変形も可能である。ストレージシステム１１１２およびＲＡＭ１１１３はそれぞれ、処理回路１１１１によって読み取り可能であり、ソフトウェアおよびＯＳイメージを記憶することができる任意の記憶媒体を備えることができる。ＲＡＭ１１１３は、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータなどの情報を記憶するための任意の方法または技術で実装された揮発性および不揮発性、取り外し可能および固定の媒体を含むことができる。ストレージシステム１１１２は、それらの組み合わせを含む、固体記憶媒体、フラッシュメモリ、相変化メモリ、または磁気メモリなどの不揮発性記憶媒体を含むことができる。ストレージシステム１１１２およびＲＡＭ１１１３は各々、単一のストレージデバイスとして実装することができるが、複数のストレージデバイスまたはサブシステムにわたって実装することもできる。ストレージシステム１１１２およびＲＡＭ１１１３は各々、処理回路１１１１と通信することができるコントローラなどの追加の要素を備えることができる。
【0084】
ストレージシステム１１１２もしくはＲＡＭ１１１３に記憶されたソフトウェアまたはデータは、コンピュータプログラム命令、ファームウェア、または処理システムが実行されると本明細書に記載のように動作するように制御システム１１００に指示するプロセスを有する何らかの他の形態の機械可読処理命令を含むことができる。ソフトウェア１１２０は、ストレージ１１１２またはＲＡＭ１１１３の構成例の詳細図を示す。異なる構成が可能であることを理解されたい。ソフトウェア１１２０は、アプリケーション１１２５およびオペレーティングシステム（ＯＳ）１１２６を含む。ソフトウェアアプリケーションはそれぞれ、本明細書で説明する動作に従って計算システムもしくはクラスタコントローラを動作させるため、または他の回路を動作させるために制御システム１１００によって実行することができる実行可能命令を含む。
【0085】
例えば、ソフトウェア１１２０は、制御システム１１００を駆動して、他の構成要素の中でも、ＣＰＵ、ＧＰＵ、ＳＳＤ、およびＮＩＣを含む複数の分散された物理的計算構成要素間で計算ユニットを確立するためのユーザコマンドを受信することができる。これらの構成要素は、本明細書で説明するＰＣＩｅ周辺スロットまたはＰＣＩｅベースのストレージドライブコネクタに挿入された任意の構成要素を備える。ソフトウェア１１２０は、制御システム１１００を駆動して、テレメトリデータ、統計情報、動作データ、および他のデータを受信および監視して、テレメトリをユーザに提供し、テレメトリデータ、ポリシー、または他のデータおよび基準に従って計算ユニットの動作を変更することができる。ソフトウェア１１２０は、制御システム１１００を駆動して、とりわけ、クラスタリソースおよび計算ユニットリソースを管理し、通信ファブリック要素間のドメイン分割またはＮＴ分割を確立し、個々の通信スイッチとインターフェース接続してそのような通信スイッチの動作を制御することができる。ソフトウェア１１２０はまた、ユーザ・ソフトウェア・アプリケーション、アプリケーション・プログラミング・インターフェース（ＡＰＩ）、またはユーザインターフェース１１２１を含むことができる。ソフトウェア１１２０は、単一のアプリケーションまたは複数のアプリケーションとして実装することができる。一般に、ソフトウェア１１２０は、処理システム１１１０にロードされて実行されると、処理システムを汎用デバイスから本明細書で説明するようにカスタマイズされた専用デバイスに変換することができる。
【0086】
制御プレーンインターフェース１１２２は、Ｉ２Ｃ、ＳＭＢｕｓ、ＰＭＢｕｓ、個別論理シグナリング、イーサネット、エミュレートされたネットワークデバイス、またはＰＣＩｅインターフェースなどを介して、他の制御システム１１００要素間の通信を提供する。制御プレーンインターフェース１１２２は、制御システム１１００、制御プレーン回路、および電力制御回路、ならびに他の要素の間の通信を可能にする。ファブリックインターフェース１１２３は、ＰＣＩｅスイッチ回路の管理／制御インターフェースと通信し、ＰＣＩｅファブリックのＰＣＩｅスイッチ素子などの通信ファブリック回路素子間の様々な論理区分またはドメインを確立する。ファブリックインターフェース１１２３はまた、ファブリックスイッチ素子の動作を制御し、ファブリックスイッチ素子からテレメトリを受信する。ファブリックインターフェース１１２３はまた、通信ファブリック内にアドレストラップまたはアドレスリダイレクト機能を確立する。ファブリックインターフェース１１２３は、監視およびリダイレクトされるアドレス範囲を確立するために、１つまたは複数のファブリックスイッチ回路要素とインターフェースすることができ、したがって、通信ファブリック内にアドレストラップを形成する。
【0087】
ソフトウェア１１２０に加えて、他のデータ１１３０をストレージシステム１１１２およびＲＡＭ１１１３によって記憶することができる。データ１１３０は、テレメトリエージェント１１３４、テレメトリデータ１１３５、およびファブリックデータ１１３６を含むことができる。テレメトリエージェント１１３４は、計算ユニットの動作を監視するために計算ユニット内の構成要素に展開することができるソフトウェア要素を含むことができる。テレメトリエージェント１１３４は、ハードウェア／ソフトウェアパラメータ、テレメトリデバイスアドレス指定、または計算ユニットおよび通信ファブリックのＩＰＭＩ準拠ハードウェア／ソフトウェアなどの監視要素とのインターフェースに使用される他の情報を含むことができる。テレメトリデータ１１３５は、様々な計算ユニットのテレメトリ要素からの受信データのデータストアを含み、この受信データは、テレメトリデータまたは監視データを含むことができる。テレメトリデータ１１３５は、データを計算ユニット配置、通信ファブリック配置、または他の構造に編成することができる。テレメトリデータ１１３５は、データ１１３０としてキャッシュされ、その後に、計算システムの他の要素に転送されるか、またはユーザインターフェースを介した提示に使用され得る。ファブリックデータ１１３６は、ファブリックタイプ、プロトコルバージョン、技術記述子、ヘッダ要件、アドレス指定情報、および他のデータなどのリソースのプールまたは構成要素のプールを含む様々な通信ファブリックの情報およびプロパティを含む。ファブリックデータ１１３６は、構成要素と構成要素が接続する特定のファブリックとの間の関係を含むことができる。
【0088】
電力コントローラ６２１に見られるような制御システム１１００を用いて電力制御を達成することもできる。電力制御１１２４は、他の動作のうちで、とりわけ、ＰＣＩｅスロット電力の監視、ＰＣＩｅスロットおよび関連するシャーシに関連する様々なユーザインターフェース要素へのステータスインジケータの開始、およびスロット電力の制御を提供する制御アルゴリズムおよびスキームを提供する。電力テレメトリ１１３７は、電流消費、電源オン／オフステータス、およびカード挿入ステータスを示す、個々の周辺スロットのシャーシ電力およびスロット電力のステータスを格納することができる。このステータスに基づいて、電力制御１１２４は、個々の周辺スロットまたはシャーシ内部回路基板の電源オン／オフステータスを変更し、電力インジケータライト／ＬＥＤまたはフロント・パネル・ディスプレイ（使用される場合）の制御を提供することができる。さらに、ユーザインターフェース１１０３によって説明するように、電力ステータス／制御を外部システムに送信／受信するために、ウェブインターフェース、端末インターフェース、ＡＰＩ、またはコマンド・ライン・インターフェースを電力制御１１２４によって提供することができる。
【0089】
ソフトウェア１１２０は、制御システム１１００の実行および動作中にＲＡＭ１１１３に存在することができ、他の場所および状態の中でも電源オフ状態中にストレージシステム１１１２の不揮発性部分に存在することができる。ソフトウェア１１２０は、コンピュータ・オペレーティング・システムおよびアプリケーションについて説明したように、起動またはブート手順中にＲＡＭ１１１３にロードすることができる。ソフトウェア１１２０は、ユーザインターフェース１１０３を介してユーザ入力を受け取ることができる。このユーザ入力は、ユーザコマンド、ならびにそれらの組み合わせを含む他の入力を含むことができる。
【0090】
ストレージシステム１１１２は、他のソリッドステート記憶技術の中でも、ＮＡＮＤフラッシュまたはＮＯＲフラッシュメモリなどのフラッシュメモリ、相変化メモリ、磁気メモリを含むことができる。図１１に示すように、ストレージシステム１１１２はソフトウェア１１２０を含む。上述したように、ソフトウェア１１２０は、他のオペレーティングソフトウェアの中でも、制御システム１１００の電源が切られた状態の間、アプリケーションおよびＯＳのための不揮発性記憶空間内にあり得る。
【0091】
制御システム１１００は、一般に、本明細書に記載の動作をレンダリングまたは他の様態で実施するために、少なくともソフトウェア１１２０が展開および実行される計算システムを表すことを意図している。しかしながら、制御システム１１００はまた、少なくともソフトウェア１１２０をステージングすることができ、そこからソフトウェア１１２０を展開および実行、またはさらに追加の配布のためにさらに別の計算システムに配布、輸送、ダウンロード、または提供することができる任意の計算システムを表すこともできる。
【0092】
図で提供される機能ブロック図、動作シナリオおよびシーケンス、ならびにフロー図は、本開示の新規な態様を実行するための例示的なシステム、環境、および方法論を表す。説明を簡単にするために、本明細書に含まれる方法は、機能図、動作シナリオもしくはシーケンス、またはフロー図の形態であってもよく、一連の動作として説明されてもよいが、いくつかの動作は、それに従って、本明細書に示され説明されているものとは異なる順序で、および／または他の動作と同時に行われ得るため、方法は動作の順序によって限定されないことを理解および認識されたい。例えば、当業者は、方法が状態図などの一連の相互に関連する状態または事象として代替的に表され得ることを理解および認識するであろう。さらに、方法論において例示されたすべての動作が、新規な実施のために必要とされるわけではない。
【0093】
本明細書に含まれる説明および図は、最良の選択肢を作成および使用する方法を当業者に教示するための特定の実施態様を示す。本発明の原理を教示する目的で、いくつかの従来の態様は簡略化または省略されている。当業者は、本開示の範囲内に入るこれらの実施態様からの変形を理解するであろう。当業者はまた、上述の特徴を様々な方法で組み合わせて複数の実施態様を形成することができることを理解するであろう。結果として、本発明は、上述の特定の実施態様に限定されず、特許請求の範囲およびそれらの均等物によってのみ限定される。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【国際調査報告】