(58)【調査した分野】(Int.Cl.,DB名)
前記複数のI/Oグループのうちの少なくとも1つの第1のI/Oグループが、第1のスイッチ要素を有する少なくとも1つの第1のサブグループと第2のスイッチ要素を有する第2のサブグループとを有し、
前記第1のスイッチ要素は、前記第1のI/Oグループに割り当てられている第1のサーバーグループのサーバーモジュール各々にデータリンクを介して直接的に結合され、
前記第2のスイッチ要素は、前記第1のサーバーグループのサーバーモジュール各々にデータリンクを介して直接的に結合される、
請求項1に記載のモジュラサーバーシステム。
当該モジュラサーバーシステムは、バックプレーン又はミッドプレーンである少なくとも1つの共通印刷回路基板を更に有し、前記共通印刷回路基板は、複数の第1の電気接続部により、前記サーバーグループを各自割り当てられているI/Oグループにデータリンクを介して結合し、複数の別の電気接続部により、データリンクを介してスイッチ装置を互いに結合する、請求項1に記載のモジュラサーバーシステム。
1対1接続によるデータリンクを介した結合が、PCIエクスプレス規格に従って複数のデータラインとともに形成される、請求項1に記載のモジュラサーバーシステム。
前記複数のI/Oコンポーネントのうちの少なくとも1つの第1のI/Oコンポーネントが複数のサーバーモジュールにより共有されることが可能であり、前記第1のI/Oコンポーネントは複数の機能ユニットを有する電源コンポーネント及び大容量ストレージコンポーネントのうち何れかである、請求項1に記載のモジュラサーバーシステム。
前記複数のI/Oグループのうちの少なくとも1つの第1のI/Oグループに属する前記複数のI/Oコンポーネント、及び/又は前記複数のサーバーグループのうち少なくとも1つの割り当てられた第1のサーバーグループに属する前記複数のサーバーモジュールが、冗長システムを形成し、
前記第1のI/Oグループに属する何れかのI/Oコンポーネントに不具合が生じている場合、及び/又は、前記第1のサーバーグループに属する何れかのサーバーモジュールに不具合が生じている場合に、前記第1のI/Oグループのうち残りのI/Oコンポーネントと前記第1のサーバーグループのうち残りのサーバーモジュールとが、障害を起こしたコンポーネントの機能を保証することが可能である、
請求項1に記載のモジュラサーバーシステム。
前記サーバーグループの各々は、適切なプラグコネクタを介して、複数のサーバーモジュールを受けるように形成され、各々のサーバーモジュールはプロセッサ及びワーキングメモリを少なくとも有する、請求項1に記載のモジュラサーバーシステム。
前記I/Oモジュールは2つのPCIエクスプレス拡張カードを受けるための2つのPCIエクスプレススロットを有し、前記スイッチ要素は、前記2つのPCIエクスプレススロットに受け入れられる2つのPCIエクスプレス拡張カードを、少なくとも1つのプラグコネクタを介して選択的に接続することが可能である、請求項7に記載のI/Oモジュール。
前記第1のサブグループが第1のI/Oコンポーネントを有し、前記第2のサブグループが第2のI/Oコンポーネントを有し、前記第2のI/Oコンポーネントは前記第1のI/Oコンポーネントに機能的に対応する、請求項2に記載のモジュラサーバーシステム。
前記第1のサーバーグループの各サーバーモジュールが前記第1及び第2のスイッチ要素の双方に第1の接続により結合され、対応するサブグループ内の各スイッチ要素は第2の接続により前記I/Oコンポーネントに結合される、請求項14に記載のモジュラサーバーシステム。
前記第1の接続の各々は8個の異なるラインペアをそれぞれが有するPCIエクスプレスx8コネクションであり、前記第2の接続の各々は16個の異なるラインペアをそれぞれが有するPCIエクスプレスx16コネクションであり、各々のスイッチ要素は、8つの異なるラインペアをそれぞれが有するPCIエクスプレスx8コネクションの形式で第3の接続を2つ有する、請求項15に記載のモジュラサーバーシステム。
【背景技術】
【0002】
開示される技術は複数のサーバモジュール及び複数のI/Oコンポーネントを有するモジュラサーバーシステム等に関連する。開示される技術はそのようなモジュラサーバーシステムに関するI/Oモジュール及びスイッチング方法にも関連する。
【0003】
モジュラサーバーシステムが当該技術分野で知られている。例えば、ブレードサーバーシステム(blade server system)の複数のブレードサーバーモジュールでは、それら各々が少なくとも1つのプロセッサと関連するメインメモリとを有し、共通のインフラストラクチャ(特に、電源、ネットワークスイッチ及び/又は大容量ストレージコンポーネント等)にアクセスする。ブレードサーバーモジュールと共通のI/Oコンポーネントとの間に必要な接続は、ブレードサーバーシステムの受動的な共通印刷回路基板(ミッドプレーンと呼ばれる)により設定されるのが一般的である。
【0004】
他にも多少のモジュラサーバーシステムが当該技術分野で知られている。例えば、棚状又はラック状のサーバー形式によるサーバーモジュールが知られており、それらは共通のラックハウジングに挿入され、ケーブル接続部を介して共通のネットワークスイッチにアクセスする。
【0005】
複数のサーバモジュールが複数のI/Oコンポーネントに接続される場合、それらをデータリンクで結合する様々な選択肢が存在する。
【0006】
図9Aは複数のI/Oコンポーネントを複数のサーバーモジュールに接続するための第1の選択方式を示す。
図9Aに示すアーキテクチャでは、サーバーモジュール1a〜1cの各々が正確に1つのI/Oコンポーネント2a〜2cに直接的に割り振られている。サーバーモジュール1a〜1cと対応するI/Oコンポーネント2a〜2cとの間の割り振りは、サーバシステムの電気接続3a〜3cを介してなされる。I/Oコンポーネント2a〜2cをサーバーモジュール1a〜1cに直接的に割り振っていることに起因して、それらの間でなされる接続3a〜3cは比較的簡易に形成することが可能である。特に、特にそのような接続はバックプレーン上の導電性トラック(線路)、或いはその他の受動的な電気接続部とすることが可能である。
【0007】
図9Aに示すアーキテクチャは次のような欠点を有する、すなわちI/Oコンポーネント2a〜2c又は接続部3a〜3cのうちの何れかに不具合が生じた場合に、関連するサーバーモジュール1a〜1cは各自のタスクを最早実行できなくなり、従って最早利用可能でなくなってしまう。更に、
図9Aに示すアーキテクチャは比較的効率的ではなく、その理由は、たとえサーバーモジュール1a〜1cの各々が、全てのサーバーモジュール1a〜1cに対して単独のネットワークカードで同時に提供できる程度の僅かな帯域幅しか必要としない場合でさえ、例えばネットワークカードであるI/Oコンポーネント2a〜2cがサーバモジュール1a〜1cの各々に別々に設けられなければならないからである。
【0008】
図9Bは
図9Aと比較して融通が利くアーキテクチャを示す。
図9Bに示す実施の形態の場合、3つのサーバーモジュール1a〜1cが2つのI/Oコンポーネント2a及び2cを共有している。サーバーモジュール1a〜1cとI/Oコンポーネント2a、2bとの間の接続は、スイッチ素子4を介して行われる。スイッチ素子4は、選択的にサーバーモジュール1a〜1cとスイッチ要素4との間の第1のコネクション3a〜3cを、それぞれスイッチ要素4とI/Oコンポーネント2a、2cとの間の第2のコネクション8a、8bに接続する。例えば、やりとりされるデータのアドレス情報により制御されるこの方法によれば、任意のサーバモジュール1a〜1cと任意のI/Oコンポーネント2a又は2bとの間に最適な接続を設定することができる。
【0009】
上記のアーキテクチャは、I/Oコンポーネント2a、2bがサーバーモジュール1a〜1cにより共有可能であるという利点を有し、個々のI/Oコンポーネント2a、2bの活用度及びそれらの利用可能性の双方を増やす。例えば、単独のネットワークカードが3つ全てのサーバモジュール1a〜1cにより共有可能である。I/Oコンポーネント2a、2bが同等な素子である場合、例えば、同じタイプの2つのネットワークカードである場合において、2つのI/Oコンポーネント2a又は2bのうち一方に不具合が生じた場合でも、全てのサーバモジュール1a〜1cがネットワーク接続を適切に設定又は維持することができる。
【0010】
図9Bに示すアーキテクチャの欠点は、一方の側のサーバモジュール1a〜1cと他方の側のI/Oコンポーネント2a、2bとの間の接続(接続機構と言及される)が、比較的複雑になってしまうことである。先ず、接続3を設定するために、アクティブな素子が必要とされ、具体的にはスイッチ素子4が必要とされ、サーバーシステムの製造コスト及び複雑さの双方が増えてしまう。
図9Bに示されているように、1つのスイッチ素子4を使用して全ての接続を設定する場合、「一点不具合(single point of
failure)」と呼ばれる別の問題が生じ、この不具合は、全てのサーバモジュール1a〜1cの動作停止を引き起こしてしまう。更に、そのような素子4は、例えばバックプレーンやミッドプレーンのようなモジュラサーバーシステムの中心的な要素にしか設けることができず、それらのコストを大幅に上昇させてしまう。
【0011】
図9Bに示すアーキテクチャの別の深刻な問題は、特に、例えばPCIエクスプレス標準規格のハイパフォーマンスバスシステム等で使用されているようなマルチコア接続3a〜3c、8a、8bを使用する場合において、接続されるべきライン数が、使用されるサーバモジュール及びI/Oコンポーネントの数とともに非常に急速に増加してしまうことである。mのサーバーモジュール及びn個のI/Oコンポーネントを有するサーバーシステムの場合、例えば
図9Bに示すような3×2のスイッチ要素4はm×nスイッチ要素となり、これを製造することは容易ではない。サーバーモジュール1及びI/Oコンポーネント2に対するスイッチ接続の数が増えるにつれて、スイッチ要素4の実現の仕方は著しく困難になる。更に、上記のバスシステムの場合は特に、共通の印刷回路基板(特に、ミッドプレーン)において、必要な全てのラインを配置することは困難になる。このような理由から、そのようなアーキテクチャは、僅かな素子しか伴っていない比較的小規模なサーバーシステムや、1つ又は少数のラインの電気接続でしか実用的ではない。
【発明を実施するための形態】
【0015】
<実施の形態の概要>
本願の第1の形態によるモジュラサーバーシステムは、
複数のサーバーグループと複数のI/Oグループとを有するモジュラサーバーシステムであって、
前記複数のサーバーグループの各々は複数のサーバーモジュールを受けるように形成され、
前記I/Oグループの各々は、複数のI/Oコンポーネントを受けるように形成され、かつ少なくとも1つのスイッチ要素によるスイッチ装置を有し、
前記複数のI/Oグループの各々は前記複数のサーバーグループのうちの何れか1つに割り当てられ、
前記I/Oグループ各々の前記スイッチ装置は、前記I/Oグループの前記複数のI/Oコンポーネントの各々に、データリンクを介して直接的に結合され、
前記I/Oグループ各々の前記スイッチ装置は、前記I/Oグループに割り当てられている前記サーバーグループの前記複数のサーバーモジュールの各々に、データリンクを介して直接的に結合され、
前記I/Oグループ各々の前記スイッチ装置は、別のI/Oグループの少なくとも1つの他のスイッチ装置に、データリンクを介して結合される、モジュラサーバーシステムである。
【0016】
サーバーモジュール及びI/Oコンポーネントをサーバーグループ及びI/Oグループに分離し、かつI/Oグループを正確に1つのサーバーグループに直接的に割り当てることにより、モジュラサーバーシステムのためのモジュラ方式の分散切替アーキテクチャを実現できる。この場合において、I/OグループのうちのI/Oコンポーネントは、比較的短い経路を介するI/Oグループの少なくとも1つのスイッチ要素を有するスイッチ装置を介して、関連するサーバグループの関連するサーバーモジュールに接続され、比較的少数のサーバーモジュールが比較的少数のI/Oコンポーネントに、
広帯域低遅延でアクセスできる。別のI/Oグループに割り当てられているI/Oグループに属するI/Oコンポーネントに至る他の接続は、スイッチ要素ではなくスイッチ装置間の別の接続により形成される。
【0017】
本願の代替的な形態によるモジュラサーバーシステムは、
複数のサーバーグループと複数のI/Oグループとを有するモジュラサーバーシステムであって、
前記複数のサーバーグループの各々は、複数のサーバーモジュールを受けるように形成され、かつ少なくとも1つのスイッチ要素によるスイッチ装置を有し、
前記I/Oグループの各々は、複数のI/Oコンポーネントを受けるように形成され、
前記複数のサーバーモジュールの各々は前記複数のI/Oグループのうちの何れか1つに割り当てられ、
前記サーバーグ各々の前記スイッチ装置は、前記サーバーグループの前記複数のサーバーモジュールの各々に、データリンクを介して直接的に結合され、
前記サーバーグループ各々の前記スイッチ装置は、前記サーバーグループに割り当てられている前記I/Oグループの前記複数のI/Oコンポーネントの各々に、データリンクを介して直接的に結合され、
前記サーバーグループ各々の前記スイッチ装置は、別のサーバーグループの少なくとも1つの他のスイッチ装置に、データリンクを介して直接的に結合される、モジュラサーバーシステムである。
【0018】
代替例によるモジュラサーバーシステムは、第1の形態と実質的に同じ特徴を有し、一方の側のサーバグループと他方の側のI/Oグループとの間の論理的な割り振り方が逆になっている。
【0019】
これらの分散アーキテクチャの利点は、ラインの数、すなわち接続機構のコストが、システムのサイズとともに指数関数的には増加せず、使用されるサーバグループ及び/又はI/Oグループのサイズ(又は数)と共に増加するに過ぎない。従って、モジュラサーバーシステムの複雑さ及びコストを削減することが可能であり、その結果、パフォーマンス、利用可能性及び冗長性の大きな改善を保証できる。
【0020】
好ましい実施形態によれば、個々のコンポーネント間の接続が共通の印刷回路基板により設定可能であり、特に、モジュラサーバーシステムのバックプレーン又はミッドプレーンにより実現可能である。好ましくは、受動的なコンポーネントのみ、特に導電性トラックの形式による電気接続部が、共通印刷回路基板に使用され、個々のコンポーネントをデータリンクにより結合する。
【0021】
説明されるサーバーシステムは、1対1の接続形式で複数のデータラインにデータリンクを介して結合されることに適しており、例えば、PCIエクスプレス規格に従う接続に適している。
【0022】
好ましくは、I/Oコンポーネントは複数のサーバーモジュールにより共有されることが可能であり、例えば、複数の仮想的及び/又は物理的な機能ユニットを備えたネットワークコンポーネントや、ソリッドステートディスク(SDD)及びホストバスアダプタ(HBA)のような大容量ストレージコンポーネント等を共有することが可能である。
【0023】
本願の第2の形態によるI/Oモジュールは、
少なくとも1つのモジュール印刷回路基板と、
前記モジュール印刷回路基板に設けられ、第1のI/Oコンポーネントのための少なくとも1つの第1の端子と、
前記モジュール印刷回路基板に設けられ、第2のI/Oコンポーネントのための少なくとも1つの第2の端子と、
前記モジュール印刷回路基板に設けられ、前記I/Oモジュールを前記モジュラサーバーシステムの共通印刷回路基板にデータリンクを介して結合する少なくとも1つのプラグコネクタと、
前記モジュール印刷回路基板に設けられ、前記モジュラサーバーシステムのうちのサーバーモジュールの所定のグループであって前記I/Oモジュールに割り当てられている所定のグループと前記第1及び/又は第2のI/Oコンポーネントとの間に選択的にデータ接続を設定する少なくとも1つのスイッチ要素であって、前記モジュラサーバーシステムのうちのサーバーモジュールの前記所定のグループと同様なI/Oモジュールのスイッチ要素との間にデータ接続を設定するスイッチ要素と
を有するI/Oモジュールである。
【0024】
1つ以上の一体化されたスイッチ要素を有するそのようなI/Oモジュールは、共有される好ましくは受動的な印刷回路基板を備えたモジュラサーバーシステムを設定できるようにする。この場合、第1及び第2のI/OコンポーネントとI/Oモジュールに割り当てられたサーバーグループとの間の接続は、統合されたスイッチ要素を介して直接的に設定される。更に、他のI/Oモジュールとの間接的な接続は、I/Oモジュールのスイッチ要素及び類似する近隣のI/Oモジュールのスイッチ要素を介して設定できる。
【0025】
本願の第3の形態によるモジュラサーバーシステムのスイッチング方法は、
第1のタイプの第1のグループの類似するコンポーネントのうちの第1のコンポーネントである、第1のサーバーグループの複数のサーバーモジュールのうちのサーバーモジュールと、第2のタイプの第2のグループの類似するコンポーネントのうちの第2のコンポーネントである、第1のI/Oグループの複数のI/OコンポーネントのうちのI/Oコンポーネントとの間に、第1のデータ接続が第2のグループの第1のスイッチ要素を介して直接的に設定され、
第2のI/Oグループの複数のI/OコンポーネントのうちのI/Oコンポーネントである、前記第1のグループの前記第1のコンポーネントと前記第2のタイプの第3のコンポーネントとの間に、第2のデータ接続が、前記第3のグループの第2のスイッチ要素及び前記第1のスイッチ要素を介して間接的に設定される、モジュラサーバーシステムのためのスイッチング方法である。
【0026】
そのような分散された選択的に接続可能なスイッチング方法は、多数のサーバーモジュールを、必要な方向に簡易な形式で複数のI/Oコンポーネントに接続できるようにする。
【0027】
更なる有利な形態も本願の特許請求の範囲、明細書及び図面により実施の形態を通じて開示される。
【0028】
本願による技術は実施の形態に関する記述及び添付図面により詳細に説明される。図中、同じ参照符号が異なる実施形態における同一又は類似するコンポーネントについて使用される。更に、要素間の差異を明確化するため、複数の類似するコンポーネント各々は添え字を付加することにより区別される。同じタイプの全てのコンポーネントを参照する場合、添え字を使用せずに言及される。
【0029】
本願において、「コンポーネント」は、「要素」、「構成要素」、「素子」、「部品」等と言及されてもよい。
【0030】
<実施の形態の詳細な説明>
図1は第1の形態によるモジュラサーバーシステム5を示す。モジュラサーバーシステム5は、2つのサーバーグループ6a、6bの中に8つのサーバーモジュール1a〜1hを有する。各々のサーバーグループ6a、6bはそれぞれ4つのサーバーモジュール1a〜1d及び1e〜1hを有する。各々のサーバーモジュール1は少なくとも1つのプロセッサと典型的にはワーキングメモリとを有し、サーバーシステム5で動作する1つ以上のプログラムを実行する。
【0031】
モジュラサーバーシステム5は更に8つのI/Oコンポーネント2a〜2hを有し、これらも同様に2つのI/Oグループ7a、7bの中に配置されている。更に、各々のI/Oグループ7a、7bはそれぞれ関連するスイッチ要素4a、4bを有する。I/Oコンポーネント2は、例えば、ネットワークカード、大容量ストレージ手段又はその他の拡張要素(プログラムを実行する場合に、サーバーモジュール1がアクセスできるもの)であってよい。説明される実施の形態は、特に、PCIエクスプレスバスを介して1つ以上のサーバーモジュール1に接続するI/Oコンポーネントに関連する。好ましくは、I/Oコンポーネントは「PCIエクスプレスデバイスシェアリング(PCI Express device sharing)」と呼ばれる機能を発揮し、特定のサーバーモジュール(群)1のような複数のルート装置(群)による同時使用を可能にする。スイッチ要素4a、4bは、PCIエクスプレスレーンとしても知られる複数のPCIエクスプレスデータラインを接続するスイッチ要素である。「スイッチ要素」は「スイッチング要素」又は「切替要素」等と言及されてもよい。
【0032】
第1のサーバーグループ6aのサーバーモジュールの各々1a〜1dは、自身の第1のコネクション3a〜3dを介して、第1のI/Oグループ7aのスイッチ要素4aに直接的に接続されている。「コネクション」は「接続」等と言及されてもよい。更に、第1のI/Oグループ7aのI/Oコンポーネント2a〜2dの各々は、自身の第2のコネクション8a〜8dを介して、それぞれ第1のスイッチ要素4aに直接的に接続される。これに対応する方式により、サーバーモジュール1e〜1h及びI/Oコンポーネント2e〜2hは、第1のコネクション3e〜3h及び第2のコネクション8e〜8hを介して、それぞれ第2のI/Oグループ7bの第2のスイッチ要素4bに接続される。そして、第1のスイッチ要素4aは、第3のコネクション9を介して、第2のスイッチ要素4bに接続される。実施の形態において、全てのコネクション3、8、9はPCIエクスプレスx16標準規格に対応しており、何れの場合でもデータを並列的に送信及び受信するために16個の別々のラインを有する。また、コネクション3a〜3h、8a〜8h、9及びスイッチ要素4a、4bはモジュラサーバーシステム5の接続機構10を形成し、サーバーモジュール1の各々をI/Oコンポーネント2の各々に選択的に接続できるようにする。ここでは、サーバーグループ6及び関連するI/Oグループ7の中で切り替えられるコネクション各々に関し、PCIエクスプレスx16コネクションの全帯域幅が利用可能である。
【0033】
図1に示されているアーキテクチャは、アクセス周波数、アクセス頻度、アクセス期間、及び/又は、一方の側のサーバーモジュール1と他方の側のI/Oコンポーネント2との間のアクセス強度が不均一に分散されている実現手段に基づいている。好ましくは、ローカルなI/Oコンポーネント2、例えば、サーバーモジュール1のCPUのためのローカルワーキングデータを有する大容量ストレージコンポーネントが比較的頻繁にアクセスされる一方、他のI/Oコンポーネント2が比較的低頻度にしかアクセスされないように、システムは形成される。別のアプリケーションの状況では、例えば、サーバーモジュール1のプライマリI/Oコンポーネント2に比較的頻繁にアクセスする一方、プライマリI/Oコンポーネント2に不具合が生じている場合に限って、冗長的に設けられたセカンダリI/Oコンポーネント2にアクセスするように、システムが形成される。
【0034】
この観点によれば、
図1に示すアーキテクチャは、I/Oコンポーネント2及びサーバーモジュール1を関連付けて分散し、第1のサーバーグループ6aのサーバーモジュールの各々1a〜1dが、個別的なデータコネクションを介して、第1のI/Oグループ7aの全てのコンポーネント2a〜2dに広帯域幅低遅延でアクセスできる、という利点を有する。ここで、第1のサーバーグループ6aのサーバーモジュール1a〜1dと必要な第2のスイッチ要素4bとの間に別の専用のコネクションを必要とすることなく、コネクション9を介して第2のサーバーグループ7bの他のI/Oコンポーネント2e〜2hに至るアクセスは、例外的な状況のために確保しておくことが可能である。そのようなデータコネクションは例えば時間多重方式で単独又は数個の共有される第3のコネクション9を介して設定される。
【0035】
図2はモジュラサーバーシステム5の一部を示し、これはシステムの利用可能性を高める等の観点から特に適している。
図2に示す形態の場合、単独のサーバーグループ6の4つの同等なサーバーモジュール1a〜1dが、共有される4つのI/Oコンポーネント2a〜2dにアクセスする。I/Oコンポーネント2a〜2dの特に高い利用可能性を保証するため、これらはそれぞれ2つのサブグループI/Oコンポーネント11a、11bに分割される。ここで、第2のサブグループ11bの第2のI/Oコンポーネント2c、2dは、第1のサブグループ11aの第1のI/Oコンポーネント2a、2bに機能的に対応している。第1のI/OコンポーネントはプライマリI/Oコンポーネントと呼ばれてもよい。第2のI/OコンポーネントはセカンダリI/Oコンポーネントと呼ばれてもよい。サブグループ11a、11bは、共に、サーバーグループ6に割り当てられるI/Oグループ7を形成する。
【0036】
高い利用可能性を保証するため、サーバーモジュール1a〜1cの各々は、2つの別々の第1のコネクション3を介して、それぞれ第1のサブグループ11aの第1のスイッチ要素4aと第2のサブグループ11bの第2のスイッチ要素4bとに接続される。2つのスイッチ要素4a、4bは一緒にI/Oグループ7のスイッチ装置を形成する。第1のサブグループ11a及び第2のサブグループ11bの中で、第1のスイッチ要素4a及び第2のスイッチ要素4bは、各自の第2のコネクション8を介して、それぞれI/Oコンポーネント2a及び2b、2c及び2dに直接的に接続される。従って、例えば、サーバーモジュール1、I/Oコンポーネント2、スイッチ要素4又はコネクション3、8のうちの何れかのうちの何れの部分に不具合が生じたとしても、データ処理を係属することが可能である。
【0037】
第3のコネクションを介して、隣接するI/Oグループ7にアクセスすることは必須でない(
図2では一例として示されているに過ぎない)。例えば、第1のスイッチ要素4a又は第1のI/Oコンポーネント2が不具合を生じた場合、第1のサーバーモジュール1aは、第2のスイッチ要素4b及び同様なI/Oコンポーネント2cを利用して、現在実行中のプログラムを継続することが可能である。I/Oグループ7の相互に冗長的なコンポーネントに属する少なくとも2つが不具合を生じた場合に限り、第3のコネクションを介して、必要な隣接するI/Oグループのコンポーネントにアクセスし、この点については第3図を参照しながら後述する。
【0038】
図3は
図2に示すようなモジュラサーバーシステム5における複数のグループ7及びサブグループ11の接続の一例を示す。
図3に示す実施の形態では、全部で16個のサーバーモジュール1が、4つのサーバーモジュール1を含む均等な4つのサーバーグループ6a〜6dに分割され、全部で16個のI/Oコンポーネントにアクセスし、16個のI/Oコンポーネントも同様に4つのI/Oグループ7a〜7dに分割され、それら各々は4つのI/Oコンポーネント2を有する。I/Oグループ7a〜7dの各々は、
図2を参照しながら上述したように、第1のサブグループ11a及び第2のサブグループ11bに細分又は再分割されている。
【0039】
異なるI/Oグループ7の間のコネクションに関する冗長性を形成するため、例えば、2つの別個の第3のコネクション9a、9bが2つの隣接するI/Oグループ7の間に提供される。図示されている2つのコネクション9a、9bの代わりに、別の接続形態が使用されてもよい。例えば、モジュラサーバーシステム5のバックプレーン等のような共有される印刷回路基板を介して、コネクション9a、9bを提供することが可能である。
図3に示す実施形態においては、各々のI/Oグループ7の第1のサブグループ11a各々に関連するスイッチ要素4aは、ここでは、隣接する1つ又は複数のコネクション9aに結合され、各々のI/Oグループ7の第2のサブグループ11bに関連するスイッチ要素4bは、隣接する1つ又は複数のコネクション9bに結合される。その結果、完全に冗長的なモジュラサーバーシステム5が形成され、程度の高い利用可能性、パフォーマンス及び柔軟性を提供できる。
【0040】
図4Aは冗長的なI/Oグループ7の2つのスイッチ要素4a、4bを2つのサブグループ11a、11bに接続する別の可能な形態を示す。実施の形態では、スイッチ要素4a又は4bと、サーバーグループ6の合計4つのサーバーモジュール1a〜1dのうちの1つとが、それぞれPCIエクスプレスx8方式のコネクションを形成し、8個のラインペアにより送信及び受信を行う。スイッチ要素4a、4bと4つのI/Oコンポーネント2a〜2dとの間の第2のコネクション8a〜8dは一実施形態ではPCIエクスプレスx16コネクションとして形成され、それら各々は16個のラインのペアにより送信及び受信を行う。更に、スイッチ要素4a、4bの各々において、2つの第3のコネクション9a、9bがPCIエクスプレスx8コネクションの形式で形成され、それらの各々は8個のラインペアにより送信及び受信を行う。従って、例えば、81個の自由に設定可能なPCIエクスプレスレーンを有する既存のPCIエクスプレス方式のスイッチコンポーネントを適切に使用することができる。なお、コネクション3、8の終端又は端子はそれぞれエンドポイント(終端点)として形成されているが、コネクション9の終端又は端子はルーティングコネクションとして形成されている。残っている81番目の端子は、一形態では制御用に使用され、例えば、他のスイッチ要素に結合されてもよいし、システム管理コンポーネントに結合されてもよいし、或いはサーバーシステムの他の制御コンポーネントに結合されてもよい。
【0041】
コネクションに関する別の設計例は、コネクションのパフォーマンスを、モジュラサーバーシステム5に関する条件に適合できるようにする。例えば2つのサーバーモジュール1a、1bにより同時に使用される大容量ストレージシステムのような非常に効率的なI/Oコンポーネント2aは、サーバーモジュール1a、1bの2つの第1のコネクション3よりも高速なコネクションを有する第2のコネクション8aを介して、スイッチ要素4aに接続されることが可能である。第2のコネクションがI/Oグループ7の中でのみ非常に多数の導電性トラックと共に拡張される一方、第1のコネクション及び第3のコネクション9はより少ない数の導電性トラックしか必要としないようにできることは、有用である。
【0042】
サーバーグループ6のサーバーモジュール1a〜1dの各々はスイッチ要素4a及び4bに既に直接的に結合されているので、第1のスイッチ要素4a及び第2のスイッチ要素4bの間の直接的な相互接続(又はクロスコネクション)は省略可能である。むしろスイッチ要素4a、4bは接続機構10を形成するために別のI/Oグループ7のスイッチ要素4に接続され、例えば、
図4Bに示されているように16個のサーバーモジュール1及び16個のI/Oコンポーネント2とともにモジュラサーバーシステム5を実現するのに適している。
【0043】
分散された接続機構10を設定する可能性に加えて、説明されるモジュラサーバーアーキテクチャは、標準的なモジュラサーバーシステムにおいて異なる接続形態(コネクショントポロジ)の可能性を提案する。この点については例えば
図5及び
図6を参照しながら説明される。
【0044】
図5に示す構成、接続形態又はトポロジでは、スイッチ要素の代わりに、それぞれ8個のI/Oコンポーネント2を有する2つのI/Oグループ7a、7bに関してリタイマ装置(retimer device)12a、12bが使用されている。その結果、16個のサーバーモジュール1の各々はそれ故に1つのI/Oコンポーネント2(
図6に示す実施形態では例えばソリッドステートディスク(SSD)と呼ばれている)にしかアクセスできない。一方、隣接するI/Oコンポーネントに対するアクセスは、同じI/Oグループ7でも隣接するI/Oグループ7でも可能ではない。
【0045】
第1のコネクション3及び第2のコネクション8は、分散型モジュラスイッチアーキテクチャを形成するのに必要なコネクションに正確に対応している点に留意すべきである。これは、基本的に同じコンポーネントを利用して非常に簡易かつ安価な方法で様々なコンフィギュレーションを設定することを許容する。特に、異なるシステムアーキテクチャを実現するために、異なるサーバーモジュール1、I/Oコンポーネント2、バックプレーン又はミッドプレーンを用意する必要がない。従って、使用されるI/Oグループ7の内部接続マトリクス及びアクティブコンポーネントが必要に応じて使用されるに過ぎない。
【0046】
従って、クライアントの条件に応じて、モジュラサーバーシステム5の接続形態(コネクショントポロジ)は、I/Oグループ7の機能要素を含む使用されるI/Oモジュールを単に置換することによって変更可能である。例えば、I/Oコンポーネント2の高い利用可能性とともに実施することを希望するクライアントの場合、スイッチ要素4ではなく、比較的高価でないリタイマ装置12を使用することができる。
【0047】
図6に一例として示されているように、当然に、双方の接続形態を混合した動作も可能である。
図6に示されているモジュラサーバーシステム5は、2つのサーバーグループ6a、6b及び4つのI/Oグループ7a〜7dを有する。第1及び第4のI/Oグループ7a及び7dのI/Oコンポーネントは、それぞれリタイマ装置12a及び12bを介して、サーバーモジュール1の各々にそれぞれ直接的に接続される。
【0048】
例えば、分割されないリソースの例として、何れか1つのサーバーモジュール1のプロセッサに割り当てられる(複数の)コプロセッサカードが存在していてもよい。残りのI/Oコンポーネント2は、例えば、
図2及び
図3を参照しながら説明されたような複数の論理的又は物理的なネットワークインタフェースを伴うネットワークカードであり、そのような残りのI/Oコンポーネント2は、スイッチ要素4a〜4dを介して、モジュラサーバーシステム5の全てのサーバーモジュールに冗長的に接続される。その場合、上述したように、I/Oグループ7の中で2つの冗長的なサブグループ11a、11bに何れも分割される。
【0049】
この形態又はコンフィギュレーションについても、例えばバックプレーンに設定又は提供されるコネクションを変更する必要はない。一実施形態において、サーバーモジュール1とリタイマ装置12との間のコネクションはPCIエクスプレスx16コネクションを介して設定される。サーバーモジュール1と2つのスイッチ要素4のうちのそれぞれとの間のコネクションは、PCIエクスプレスx8コネクションにより直接的に接続される。その結果、各I/Oグループ及び個々の内部トポロジに関し、サーバーモジュール1毎に16個のPCIエクスプレスレーンとI/Oグループ7毎に64個のPCIエクスプレスレーンとが必要になる。
【0050】
図7はモジュラサーバーシステム5のハウジングに関する平面図を示す。例えばこれは複数のサーバーモジュール1を受けるように形成されたブレードサーバーシステムであってもよい。
【0051】
フロントハウジングセグメント13に収容されるサーバーモジュール1は、適切なプラグコネクタを介して、ミッドプレーン14に結合される。ミッドプレーン14は、多数の電気接続部を有する共通の印刷回路基板であり、一実施形態ではアクティブなコンポーネントを含んでいない。
【0052】
ミッドプレーン14の背面側には、ブレードサーバーシステムの別のコンポーネントを取り付けるためのプラグコネクタが、後部ハウジングセグメント15に設けられている。例えば特に電源やシステムファン等のような一般的なインフラストラクチャコンポーネントに加えて、I/Oコンポーネント2を受けるのに相応しい4つのI/Oモジュール16も、
図7に示すモジュラサーバーシステム5に設けられている。例えば、I/Oモジュール16の各々は、それぞれ2つのPCIエクスプレス拡張カード19を受けるのに適している。I/Oモジュール16の各々はモジュール印刷回路基板17を有し、モジュール印刷回路基板17に設けられたスイッチ要素4及びプラグコネクタ18により、I/Oモジュール16をミッド
プレーン14に電気的に結合する。
【0053】
更に、別のI/Oモジュール(選択的に、異なる形状因子を有するI/Oモジュール)が、ハウジング内の他の場所に配置されることが可能である。例えば、モジュラサーバーシステム5の複数の電源供給部の間又はその直下に、大容量ストレージ手段を受ける別のI/Oモジュールを配置することが可能であり、PCIエクスプレス拡張カード用の設置高さを有していなくてよい。
【0054】
図8A及び
図8Bは異なるI/Oモジュール16a及び16bの一例を示す。
【0055】
図8Aに示すI/Oモジュール16aは、例えば、2つのPCIエクスプレス拡張カード19a、18bを受けるために使用される。スイッチ要素4は、印刷回路基板17上に配置され、2つのPCIエクスプレスx16スロットにより受け入れた拡張カード19a、19bを、プラグコネクタ18aを介して様々なサーバーモジュール1に接続することが可能である。別のプラグコネクタ18bを利用して、ミッドプレーン14を介して、別のI/Oモジュール16に対する第3のコネクション9を設定することも可能である。
【0056】
図8Bに示すI/Oモジュール16bは、協働して大容量ストレージシステムを形成する多数の不揮発性メモリを受け入れるように機能する。
図8Bに示す例では、不揮発性メモリ装置がI/Oモジュール16bのモジュール印刷回路基板17に直接的に配置される。更に、スイッチ要素4も印刷回路基板17上に配置され、様々なサーバーモジュール1から不揮発性メモリ装置に至る様々なデータ接続が設定可能である。I/Oモジュール16bはプラグコネクタ18を有し、プラグコネクタ18は、サーバーモジュール1に至る第2のコネクション、及び他のI/Oモジュール16に至る第3のコネクションを設定する。更なるプラグコネクタや端子は必須ではなく、従ってこのI/Oモジュール16bはモジュラサーバーシステム5の手の届きにくい又はアクセスし難い場所に導入することに適している。
【0057】
説明されたアーキテクチャは、個々のサーバーモジュール1及びI/Oコンポーネント2の間で多数の様々な接続形態を達成できるように、モジュラサーバーシステム5を設定することを許容する。この場合、コネクション3、8、9のバス幅や、接続機構10に使用されるコンポーネントを適切に選択することにより、個々のサーバーモジュール1及び結合されるI/Oコンポーネント2の間で、様々なデータ伝送速度やモードを実現することが可能である。
【0058】
スイッチ装置のうちの1つ以上のスイッチ要素4の各々にI/Oグループ7を割り当てて形成されるアーキテクチャが様々なサーバーシステムを参照しながら説明されている。正確に1つのサーバーグループ6に対するI/Oグループ7の論理的な割当が維持されることが仮定されるならば、スイッチ装置の全部又は一部は、当然に、モジュラサーバーシステム5の様々な場所に配置されることが可能であり、例えば、バックプレーンやミッドプレーン14の上や他のコンポーネント(例えば、サーバーグループを受け入れるモジュール)の中に配置されてもよい。
【0059】
更に、アーキテクチャ全体を確保することも可能であり、すなわちサーバーグループを正確に1つのI/Oグループに割り振ることが可能である。その場合、対応するスイッチ要素及びスイッチ装置はサーバーグループに論理的に割り当てられ、好ましくは、サーバーモジュールに対して空間的に近接して配置される。その場合、スイッチ装置を介してサーバーグループに論理的に割り当てられたサーバーグループのサーバーモジュール同士の間で直接的な高速通信を促すことができるという追加的な利点も存在する。また、バックプレーンやミッドプレーンにおける装置又は他のコンポーネント(例えば、I/Oモジュール等)も代替例として可能である。
【0060】
動作モードは上記の実施形態におけるものに対応し、一般に、特定のサーバーグループ及びI/Oグループの機能及び接続(コネクション)は何れの場合も交換可能(又は置換可能)である。
図1ないし
図6に関する実施形態は、一方の側のサーバーグループ6と他方の側のI/Oグループ7との間における1:1の割当関係に基づいており、スイッチ装置とサーバーグループ6との間の論理的な割り振りを除いて、更なる変更は生じない。
【0061】
説明されるアーキテクチャは、サーバーモジュール1、スイッチ要素4、I/Oコンポーネント2及び使用されるコネクション3、8、9に関して冗長性を形成できるようにするだけでなく、冗長的に提供される置換コンポーネントへの変更を簡易にする。同時に、サーバーモジュール1の各々とI/Oコンポーネント2の各々との間の接続全体と比較して、必要な接続機構10は大幅に削減される。
【0062】
従って、説明されるアーキテクチャは特に以下の利点をもたらす:
_サーバーグループ6に属するサーバーモジュールが、論理I/Oグループ7に属するI/Oコンポーネント2に対して、最適化された共有アクセス(shared access)を実行できること。
【0063】
_ミッドプレーン14の複雑さを軽減できること。
【0064】
_リモートのI/Oグループ7に属するI/Oコンポーネント2をも利用できる選択肢を提供できること。
【0065】
_サーバーモジュール1及びI/Oコンポーネント2の間でコネクション3、8、9に関する冗長性を形成できること。
【0066】
_モジュラサーバーシステム5の構成による接続機構10の複雑さ及びコストが(急激にではなく)線形にしか増えないこと。
【0067】
_様々な接続形態を単独のモジュラサーバーシステム5に組み込む選択肢を提供できること。
【0068】
_使用されるI/Oモジュール16及び/又はI/Oコンポーネント2に対してホットプラグ(hotplug)機能を形成する選択肢を提供できること。
【0069】
_スイッチング機能及び冗長的機能をPCIエクスプレス接続機構10の側に移すことにより、サーバーモジュールで動作するプログラム及びオペレーティングシステムの観点から透明性を担保する選択肢を提供できること。
【0070】
上記の説明及び実施形態に示される詳細な事項は、それぞれの場合に説明される利点や効果を達成するための様々な形式で互いに組み合わせることが可能である。