(58)【調査した分野】(Int.Cl.,DB名)
前記キャッシュに置かれた前記VM−id、前記vHCAインスタンスID、前記vGUID、前記第1の関係、前記第2の関係、前記第3の関係、および前記P_Keyは、コピーである、請求項2に記載の方法。
【発明を実施するための形態】
【0006】
詳細な説明
本発明は、同様の参照番号が同様の要素を指している添付図面の図において、限定のためではなく例示のために説明されている。なお、この開示における「ある」または「1つの」または「いくつかの」実施形態への参照は必ずしも同じ実施形態に対するものではなく、そのような参照は少なくとも1つを意味する。特定の実現例が説明されるが、これらの特定の実現例が例示的な目的のためにのみ提供されることが理解される。当業者であれば、他の構成要素および構成が、この発明の範囲および精神から逸脱することなく使用され得ることを認識するであろう。
【0007】
図面および詳細な説明全体にわたって同様の要素を示すために、共通の参照番号が使用され得る。したがって、ある図で使用される参照番号は、要素が別のところで説明される場合、そのような図に特有の詳細な説明において参照される場合もあり、または参照されない場合もある。
【0008】
本明細書に記載されているのは、仮想マシンの仮想マシンファブリックプロファイルを規定するためのシステムおよび方法である。
【0009】
この発明の以下の説明は、高性能ネットワークの一例として、インフィニバンド
TM(IB)ネットワークを使用する。以下の説明全体にわたり、インフィニバンド
TMの仕様(インフィニバンド仕様、IB仕様、またはレガシーIB仕様など、さまざまな呼ばれ方がある)を引用することがある。このような引用は、2015年3月に発表され、http://www.inifinibandta.orgから入手可能な、本明細書にその全体を引用により援用するInfiniBand Trade Association Architecture Specification, Volume 1, Version 1.3を引用することであると理解される。他のタイプの高性能ネットワークが何ら限定されることなく使用され得ることが、当業者には明らかであるだろう。以下の説明ではまた、ファブリックトポロジーについての一例として、ファットツリートポロジーを使用する。他のタイプのファブリックトポロジーが何ら限定されることなく使用され得ることが当業者には明らかであるだろう。
【0010】
インフィニバンドTM
インフィニバンド
TM(IB)は、インフィニバンド
TM・トレード・アソシエーション(InfiniBand
TM Trade Association)によって開発されたオープン標準無損失ネットワーク技術である。この技術は、特に高性能コンピューティング(high-performance computing:HPC)アプリケーションおよびデータセンタを対象とする、高スループットおよび少ない待ち時間の通信を提供するシリアルポイントツーポイント全二重相互接続(serial point-to-point full-duplex interconnect)に基づいている。
【0011】
インフィニバンド
TM・アーキテクチャ(InfiniBand Architecture:IBA)は、2層トポロジー分割をサポートする。低層では、IBネットワークはサブネットと呼ばれ、1つのサブネットは、スイッチおよびポイントツーポイントリンクを使用して相互接続される一組のホストを含み得る。より高いレベルでは、1つのIBファブリックは、ルータを使用して相互接続され得る1つ以上のサブネットを構成する。
【0012】
1つのサブネット内で、ホストは、スイッチおよびポイントツーポイントリンクを使用して接続され得る。加えて、サブネットにおける指定されたデバイス上に存在する、1つのマスター管理エンティティ、すなわちサブネットマネージャ(subnet manager:SM)があり得る。サブネットマネージャは、IBサブネットを構成し、起動し、維持する役割を果たす。加えて、サブネットマネージャ(SM)は、IBファブリックにおいてルーティングテーブル計算を行なう役割を果たし得る。ここで、たとえば、IBネットワークのルーティングは、ローカルサブネットにおけるすべての送信元と宛先とのペア間の適正な負荷バランシングを目標とする。
【0013】
サブネット管理インターフェイスを通して、サブネットマネージャは、サブネット管理パケット(subnet management packet:SMP)と呼ばれる制御パケットを、サブネット管理エージェント(subnet management agent:SMA)と交換する。サブネット管理エージェントは、すべてのIBサブネットデバイス上に存在する。SMPを使用することにより、サブネットマネージャは、ファブリックを発見し、エンドノードおよびスイッチを構成し、SMAから通知を受信することができる。
【0014】
一実施形態に従うと、IBネットワークにおけるサブネット内のルーティングは、スイッチに格納されたリニアフォワーディングテーブル(linear forwarding table)(LFT)に基づき得る。LFTは、使用中のルーティングメカニズムに従って、SMによって計算される。サブネットでは、エンドノード上のホストチャネルアダプタ(Host Channel Adapter:HCA)ポートおよびスイッチが、ローカル識別子(LID)を使用してアドレス指定される。LFTにおける各エントリは、宛先LID(destination LID:DLID)と出力ポートとからなる。テーブルにおけるLIDごとに1つのエントリのみがサポートされる。パケットがあるスイッチに到着すると、その出力ポートは、そのスイッチのフォワーディングテーブルにおいてDLIDを検索することによって判断される。所与の送信元−宛先ペア(LIDペア)間のネットワークにおいてパケットは同じ経路を通るため、ルーティングは決定論的である。
【0015】
一般に、マスタサブネットマネージャを除く他のすべてのサブネットマネージャは、耐故障性のために待機モードで作動する。しかしながら、マスタサブネットマネージャが故障した状況では、待機中のサブネットマネージャによって、新しいマスタサブネットマネージャが取り決められる。マスタサブネットマネージャはまた、サブネットの周期的なスイープ(sweep)を行なってあらゆるトポロジー変化を検出し、それに応じてネットワークを再構成する。
【0016】
さらに、サブネット内のホストおよびスイッチは、ローカル識別子(LID)を用いてアドレス指定され得るとともに、単一のサブネットは49151個のユニキャストLIDに制限され得る。サブネット内で有効なローカルアドレスであるLIDの他に、各IBデバイスは、64ビットのグローバル一意識別子(global unique identifier:GUID)を有し得る。GUIDは、IBレイヤー3(L3)アドレスであるグローバル識別子(global identifier:GID)を形成するために使用され得る。
【0017】
SMは、ネットワーク初期化時間に、ルーティングテーブル(すなわち、サブネット内のノードの各ペア間の接続/ルート)を計算し得る。さらに、トポロジーが変化するたびに、ルーティングテーブルは、接続性および最適性能を確実にするために更新され得る。通常動作中、SMは、トポロジー変化をチェックするためにネットワークの周期的なライトスイープ(light sweep)を実行し得る。ライトスイープ中に変化が発見された場合、または、ネットワーク変化を信号で伝えるメッセージ(トラップ)をSMが受信した場合、SMは、発見された変化に従ってネットワークを再構成し得る。
【0018】
たとえば、SMは、リンクがダウンした場合、デバイスが追加された場合、またはリンクが除去された場合など、ネットワークトポロジーが変化する場合に、ネットワークを再構成し得る。再構成ステップは、ネットワーク初期化中に行なわれるステップを含み得る。さらに、再構成は、ネットワーク変化が生じたサブネットに制限されるローカルスコープを有し得る。また、ルータを用いる大規模ファブリックのセグメント化は、再構成スコープを制限し得る。
【0019】
一実施形態に従ったインフィニバンド
TM環境100の一例を示す
図1に、インフィニバンド
TMファブリックの一例を示す。
図1に示す例では、ノードA101〜E105は、インフィニバンド
TMファブリック120を使用して、それぞれのホストチャネルアダプタ111〜115を介して通信する。一実施形態に従うと、さまざまなノード(たとえばノードA101〜E105)はさまざまな物理デバイスによって表わすことができる。一実施形態に従うと、さまざまなノード(たとえばノードA101〜E105)は仮想マシンなどのさまざまな仮想デバイスによって表わすことができる。
【0020】
インフィニバンドTMにおけるデータパーティション
一実施形態に従うと、IBネットワークは、ネットワークファブリックを共有するシステムの論理グループを分離するためのセキュリティメカニズムとしてのパーティショニングをサポートし得る。ファブリックにおけるノード上の各HCAポートは、1つ以上のパーティションのメンバである可能性がある。一実施形態に従うと、本開示は、IBサブネット内に規定することができる2種類のパーティションとして、データパーティション(以下の段落でより詳細に説明する)と管理パーティション(本開示において後に詳細に説明する)とを提供する。
【0021】
データパーティションメンバーシップは、SMの一部であり得る集中型パーティションマネージャによって管理される。SMは、各ポートに関するデータパーティションメンバーシップ情報を、16ビットのパーティションキー(partition key:P_Key)のテーブルとして構成することができる。SMはまた、これらのポートを介してデータトラフィックを送信または受信するエンドノードに関連付けられたP_Key情報を含むデータパーティション実施テーブルを用いて、スイッチポートおよびルータポートを構成することができる。加えて、一般的な場合には、スイッチポートのデータパーティションメンバーシップは、(リンクに向かう)出口方向に向かってポートを介してルーティングされたLIDに間接的に関連付けられたすべてのメンバーシップの集合を表わし得る。
【0022】
一実施形態に従うと、データパーティションはポートの論理グループであり、あるグループのメンバは同じ論理グループの他のメンバとしか通信できない。ホストチャネルアダプタ(HCA)およびスイッチにおいて、データパーティションメンバーシップ情報を用いてパケットをフィルタリングすることにより、分離を実施することができる。無効なパーティショニング情報を有するパケットは、当該パケットが入口ポートに達すると直ちにドロップすることができる。パーティショニングされたIBシステムにおいて、データパーティションを用いることにより、テナントクラスタを作成できる。データパーティションを適所で実施すると、ノードは異なるテナントクラスタに属する他のノードと通信することができない。このようにして、欠陥があるまたは悪意があるテナントノードが存在していても、システムのセキュリティを保証することができる。
【0023】
一実施形態に従うと、ノード間の通信のために、マネージメントキューペア(QP0およびQP1)を除き、キューペア(Queue Pair:QP)およびエンドツーエンドコンテキスト(End-to-End context:EEC)を特定のデータパーティションに割当てることができる。次に、P_Key情報を、送信されたすべてのIBトランスポートパケットに追加することができる。パケットがHCAポートまたはスイッチに到着すると、そのP_Key値を、SMによって構成されたテーブルに対して確認することができる。無効のP_Key値が見つかった場合、そのパケットは直ちに廃棄される。このようにして、通信は、データパーティションを共有するポート間でのみ許可される。
【0024】
一実施形態に従い、データがパーティショニングされたクラスタ環境の一例を示す
図2に、IBパーティションの一例が示される。
図2に示す例では、ノードA101〜E105は、インフィニバンド
TMファブリック120を使用して、それぞれのホストチャネルアダプタ111〜115を介して通信する。ノードA〜Eは、データパーティション、すなわち、データパーティション1 130、データパーティション2 140、およびデータパーティション3 150に配置されている。データパーティション1はノードA 101とノードD 104とを含む。データパーティション2はノードA 101とノードB 102とノードC 103とを含む。データパーティション3はノードC 103とノードE 105とを含む。データパーティションのこの配置により、ノードD 104およびノードE 105は、1つのデータパーティションを共有していないので、通信することができない。一方、たとえばノードA 101およびノードC 103は、どちらもデータパーティション2 140のメンバなので、通信することができる。
【0025】
インフィニバンドTMにおける仮想マシン
過去10年の間に、ハードウェア仮想化サポートによってCPUオーバーヘッドが実質的に排除され、メモリ管理ユニットを仮想化することによってメモリオーバーヘッドが著しく削減され、高速SANストレージまたは分散型ネットワークファイルシステムの利用によってストレージオーバーヘッドが削減され、シングルルートI/O仮想化(Single Root Input/Output Virtualization:SR−IOV)のようなデバイス・パススルー技術を使用することによってネットワークI/Oオーバーヘッドが削減されてきたことに応じて、仮想化された高性能コンピューティング(High Performance Computing:HPC)環境の将来見通しが大幅に改善されてきた。現在では、クラウドが、高性能相互接続ソリューションを用いて仮想HPC(virtual HPC:vHPC)クラスタに対応し、必要な性能を提供することができる。
【0026】
しかしながら、インフィニバンド
TM(IB)などの無損失ネットワークと連結されたとき、仮想マシン(VM)のライブマイグレーションなどのいくつかのクラウド機能は、これらのソリューションにおいて用いられる複雑なアドレス指定およびルーティングスキームのせいで、依然として問題となる。IBは、高帯域および低レイテンシを提供する相互接続ネットワーク技術であり、このため、HPCおよび他の通信集約型の作業負荷に非常によく適している。
【0027】
IBデバイスをVMに接続するための従来のアプローチは直接割当てされたSR−IOVを利用することによるものである。しかしながら、SR−IOVを用いてIBホストチャネルアダプタ(HCA)に割当てられたVMのライブマイグレーションを実現することは難易度の高いものであることが判明した。各々のIBが接続されているノードは、3つの異なるアドレス(すなわちLID、GUIDおよびGID)を有する。ライブマイグレーションが発生すると、これらのアドレスのうち1つ以上が変化する。マイグレーション中のVM(VM-in-migration)と通信する他のノードは接続性を失う可能性がある。これが発生すると、IBサブネットマネージャ(Subnet Manager:SM)にサブネット管理(Subnet Administration:SA)経路記録クエリを送信することによって、再接続すべき仮想マシンの新しいアドレスを突きとめることにより、失われた接続を回復させるように試みることができる。
【0028】
IBは3つの異なるタイプのアドレスを用いる。第1のタイプのアドレスは16ビットのローカル識別子(LID)である。少なくとも1つの固有のLIDは、SMによって各々のHCAポートおよび各々のスイッチに割当てられる。LIDはサブネット内のトラフィックをルーティングために用いられる。LIDが16ビット長であるので、65536個の固有のアドレス組合せを構成することができ、そのうち49151個(0×0001−0×BFFF)だけをユニキャストアドレスとして用いることができる。結果として、入手可能なユニキャストアドレスの数は、IBサブネットの最大サイズを定義することとなる。第2のタイプのアドレスは、製造業者によって各々のデバイス(たとえば、HCAおよびスイッチ)ならびに各々のHCAポートに割当てられた64ビットのグローバル一意識別子(GUID)である。SMは、HCAポートに追加のサブネット固有GUIDを割当ててもよく、これは、SR−IOVが用いられる場合に有用となる。第3のタイプのアドレスは128ビットのグローバル識別子(GID)である。GIDは有効なIPv6ユニキャストアドレスであり、少なくとも1つが各々のHCAポートに割当てられている。GIDは、ファブリックアドミニストレータによって割当てられたグローバルに固有の64ビットプレフィックスと各々のHCAポートのGUIDアドレスとを組合わせることによって形成される。
【0029】
ファットツリー(Fat Tree:FTree)トポロジーおよびルーティング
一実施形態に従うと、IBベースのHPCシステムのいくつかは、ファットツリートポロジーを採用して、ファットツリーが提供する有用な特性を利用する。これらの特性は、各送信元宛先ペア間の複数経路の利用可能性に起因する、フルバイセクション帯域幅および固有の耐故障性を含む。ファットツリーの背後にある初期の概念は、ツリーがトポロジーのルート(root)に近づくにつれて、より利用可能な帯域幅を用いて、ノード間のより太いリンクを採用することであった。より太いリンクは、上位レベルのスイッチにおける輻輳を回避するのに役立てることができ、バイセクション帯域幅が維持される。
【0030】
図3は、一実施形態に従った、ネットワーク環境におけるツリートポロジーの例を示す。
図3に示すように、ネットワークファブリック200において、1つ以上のエンドノード201〜204が接続され得る。ネットワークファブリック200は、複数のリーフスイッチ211〜214と複数のスパインスイッチまたはルート(root)スイッチ231〜234とを含むファットツリートポロジーに基づき得る。加えて、ネットワークファブリック200は、スイッチ221〜224などの1つ以上の中間スイッチを含み得る。
【0031】
また、
図3に示すように、エンドノード201〜204の各々は、マルチホームノード、すなわち、複数のポートを介してネットワークファブリック200のうち2つ以上の部分に接続される単一のノードであり得る。たとえば、ノード201はポートH1およびH2を含み、ノード202はポートH3およびH4を含み、ノード203はポートH5およびH6を含み、ノード204はポートH7およびH8を含み得る。
【0032】
加えて、各スイッチは複数のスイッチポートを有し得る。たとえば、ルートスイッチ231はスイッチポート1〜2を有し、ルートスイッチ232はスイッチポート3〜4を有し、ルートスイッチ233はスイッチポート5〜6を有し、ルートスイッチ234はスイッチポート7〜8を有し得る。
【0033】
一実施形態に従うと、ファットツリールーティングメカニズムは、IBベースのファットツリートポロジーに関して最も人気のあるルーティングアルゴリズムのうちの1つである。ファットツリールーティングメカニズムはまた、OFED(Open Fabric Enterprise Distribution:IBベースのアプリケーションを構築しデプロイするための標準ソフトウェアスタック)サブネットマネージャ、すなわちOpenSMにおいて実現される。
【0034】
ファットツリールーティングメカニズムの目的は、ネットワークファブリックにおけるリンクにわたって最短経路ルートを均一に広げるLFTを生成することである。このメカニズムは、索引付け順序でファブリックを横断し、エンドノードの目標LID、ひいては対応するルートを各スイッチポートに割当てる。同じリーフスイッチに接続されたエンドノードについては、索引付け順序は、エンドノードが接続されるスイッチポートに依存し得る(すなわち、ポートナンバリングシーケンス)。各ポートについては、メカニズムはポート使用カウンタを維持することができ、新しいルートが追加されるたびに、ポート使用カウンタを使用して使用頻度が最小のポートを選択することができる。
【0035】
一実施形態に従うと、パーティショニングされたサブネットでは、共通のデータパーティションのメンバではないノードは通信することを許可されない。実際には、これは、ファットツリールーティングアルゴリズムによって割当てられたルートのうちのいくつかがユーザトラフィックのために使用されないことを意味する。ファットツリールーティングメカニズムが、それらのルートについてのLFTを、他の機能的経路と同じやり方で生成する場合、問題が生じる。この動作は、リンク上でバランシングを劣化させるおそれがある。なぜなら、ノードが索引付けの順序でルーティングされているからである。データパーティションに気づかずにルーティングが行なわれるため、ファットツリーでルーティングされたサブネットにより、概して、データパーティション間の分離が不良なものとなる。
【0036】
一実施形態に従うと、ファットツリーは、利用可能なネットワークリソースでスケーリングすることができる階層ネットワークトポロジーである。さらに、ファットツリーは、さまざまなレベルの階層に配置された商品スイッチを用いて容易に構築される。さらに、k−ary−n−tree、拡張された一般化ファットツリー(Extended Generalized Fat-Tree:XGFT)、パラレルポート一般化ファットツリー(Parallel Ports Generalized Fat-Tree:PGFT)およびリアルライフファットツリー(Real Life Fat-Tree:RLFT)を含むファットツリーのさまざまな変形例が、一般に利用可能である。
【0037】
また、k−ary−n−treeは、nレベルのファットツリーであって、k
nエンドノードと、n・k
n−1スイッチとを備え、各々が2kポートを備えている。各々のスイッチは、ツリーにおいて上下方向に同数の接続を有している。XGFTファットツリーは、スイッチのための異なる数の上下方向の接続と、ツリーにおける各レベルでの異なる数の接続とをともに可能にすることによって、k−ary−n−treeを拡張させる。PGFT定義はさらに、XGFTトポロジーを拡張して、スイッチ間の複数の接続を可能にする。多種多様なトポロジーはXGFTおよびPGFTを用いて定義することができる。しかしながら、実用化するために、現代のHPCクラスタにおいて一般に見出されるファットツリーを定義するために、PGFTの制限バージョンであるRLFTが導入されている。RLFTは、ファットツリーにおけるすべてのレベルに同じポートカウントスイッチを用いている。
【0038】
入出力(I/O)仮想化
一実施形態に従うと、I/O仮想化(I/O Virtualization:IOV)は、基礎をなす物理リソースに仮想マシン(VM)がアクセスすることを可能にすることによって、I/Oを利用可能にすることができる。ストレージトラフィックとサーバ間通信とを組合わせると、シングルサーバのI/Oリソースにとって抗し難い高い負荷が課され、結果として、データの待機中に、バックログが発生し、プロセッサがアイドル状態になる可能性がある。I/O要求の数が増えるにつれて、IOVにより利用可能性をもたらすことができ、最新のCPU仮想化において見られる性能レベルに匹敵するように、(仮想化された)I/Oリソースの性能、スケーラビリティおよび融通性を向上させることができる。
【0039】
一実施形態に従うと、I/Oリソースの共有を可能にして、VMからリソースへのアクセスが保護されることを可能にし得るようなIOVが所望される。IOVは、VMにエクスポーズされる論理装置を、その物理的な実装から分離する。現在、エミュレーション、準仮想化、直接的な割当て(direct assignment:DA)、およびシングルルートI/O仮想化(SR−IOV)などのさまざまなタイプのIOV技術が存在し得る。
【0040】
一実施形態に従うと、あるタイプのIOV技術としてソフトウェアエミュレーションがある。ソフトウェアエミュレーションは分離されたフロントエンド/バックエンド・ソフトウェアアーキテクチャを可能にし得る。フロントエンドはVMに配置されたデバイスドライバであり得、I/Oアクセスをもたらすためにハイパーバイザによって実現されるバックエンドと通信し得る。物理デバイス共有比率は高く、VMのライブマイグレーションはネットワークダウンタイムのわずか数ミリ秒で実現可能である。しかしながら、ソフトウェアエミュレーションはさらなる不所望な計算上のオーバーヘッドをもたらしてしまう。
【0041】
一実施形態に従うと、別のタイプのIOV技術として直接的なデバイスの割当てがある。直接的なデバイスの割当てでは、I/OデバイスをVMに連結する必要があるが、デバイスはVM間では共有されない。直接的な割当てまたはデバイス・パススルーは、最小限のオーバーヘッドでほぼ固有の性能を提供する。物理デバイスはハイパーバイザをバイパスし、直接、VMに取付けられている。しかしながら、このような直接的なデバイスの割当ての欠点は、仮想マシン間で共有がなされないため、1枚の物理ネットワークカードが1つのVMと連結されるといったように、スケーラビリティが制限されてしまうことである。
【0042】
一実施形態に従うと、シングルルートIOV(Single Root IOV:SR−IOV)は、ハードウェア仮想化によって、物理装置がその同じ装置の複数の独立した軽量のインスタンスとして現われることを可能にし得る。これらのインスタンスは、パススルー装置としてVMに割当てることができ、仮想機能(Virtual Function:VF)としてアクセスすることができる。ハイパーバイザは、(1つのデバイスごとに)固有の、十分な機能を有する物理機能(Physical Function:PF)によってデバイスにアクセスする。SR−IOVは、純粋に直接的に割当てする際のスケーラビリティの問題を軽減する。しかしながら、SR−IOVによって提示される問題は、それがVMマイグレーションを損なう可能性があることである。これらのIOV技術の中でも、SR−IOVは、ほぼ固有の性能を維持しながらも、複数のVMから単一の物理デバイスに直接アクセスすることを可能にする手段を用いてPCI Express(PCIe)規格を拡張することができる。これにより、SR−IOVは優れた性能およびスケーラビリティを提供することができる。
【0043】
SR−IOVは、PCIeデバイスが、各々のゲストに1つの仮想デバイスを割当てることによって複数のゲスト間で共有することができる複数の仮想デバイスをエクスポーズすることを可能にする。各々のSR−IOVデバイスは、少なくとも1つの物理機能(PF)と、1つ以上の関連付けられた仮想機能(VF)とを有する。PFは、仮想マシンモニタ(virtual machine monitor:VMM)またはハイパーバイザによって制御される通常のPCIe機能であるのに対して、VFは軽量のPCIe機能である。各々のVFはそれ自体のベースアドレス(base address:BAR)を有しており、固有のリクエスタIDが割当てられている。固有のリクエスタIDは、I/Oメモリ管理ユニット(I/O memory management unit:IOMMU)がさまざまなVFへの/からのトラフィックストリームを区別することを可能にする。IOMMUはまた、メモリを適用して、PFとVFとの間の変換を中断する。
【0044】
しかし、残念ながら、直接的デバイス割当て技術は、仮想マシンのトランスペアレントなライブマイグレーションがデータセンタ最適化のために所望されるような状況においては、クラウドプロバイダにとって障壁となる。ライブマイグレーションの本質は、VMのメモリ内容がリモートハイパーバイザにコピーされるという点である。さらに、VMがソースハイパーバイザにおいて中断され、VMの動作が宛先において再開される。ソフトウェアエミュレーション方法を用いる場合、ネットワークインターフェイスは、それらの内部状態がメモリに記憶され、さらにコピーされるように仮想的である。このため、ダウンタイムは数ミリ秒にまで減らされ得る。
【0045】
しかしながら、SR−IOVなどの直接的デバイス割当て技術が用いられる場合、マイグレーションはより困難になる。このような状況においては、ネットワークインターフェイスの内部状態全体は、それがハードウェアに結び付けられているのでコピーすることができない。代わりに、VMに割当てられたSR−IOV VFが分離され、ライブマイグレーションが実行されることとなり、新しいVFが宛先において付与されることとなる。インフィニバンド
TMおよびSR−IOVの場合、このプロセスがダウンタイムを数秒のオーダでもたらす可能性がある。さらに、SR−IOV共有型ポートモデルにおいては、VMのアドレスがマイグレーション後に変化することとなり、これにより、SMにオーバーヘッドが追加され、基礎をなすネットワークファブリックの性能に対して悪影響が及ぼされることとなる。
【0046】
インフィニバンドTMSR−IOVアーキテクチャ−共有ポート
さまざまなタイプのSR−IOVモデル(たとえば共有ポートモデル、仮想スイッチモデルおよび仮想ポートモデル)があり得る。
【0047】
図4は、一実施形態に従った例示的な共有ポートアーキテクチャを示す。図に示されるように、ホスト300(たとえばホストチャネルアダプタ)はハイパーバイザ310と対話し得る。ハイパーバイザ310は、さまざまな仮想機能330、340および350をいくつかの仮想マシンに割当て得る。同様に、物理機能はハイパーバイザ310によって処理することができる。
【0048】
一実施形態に従うと、
図4に示されるような共有ポートアーキテクチャを用いる場合、ホスト(たとえばHCA)は、物理機能320と仮想機能330、350、350との間において単一の共有LIDおよび共有キュー対(Queue Pair:QP)のスペースがあるネットワークにおいて単一のポートとして現われる。しかしながら、各々の機能(すなわち、物理機能および仮想機能)はそれら自体のGIDを有し得る。
【0049】
図4に示されるように、一実施形態に従うと、さまざまなGIDを仮想機能および物理機能に割当てることができ、特別のキュー対であるQP0およびQP1(すなわちインフィニバンド
TM管理パケットのために用いられる専用のキュー対)が物理機能によって所有される。これらのQPはVFにも同様にエクスポーズされるが、VFはQP0を使用することが許可されておらず(VFからQP0に向かって入来するすべてのSMPが廃棄され)、QP1は、PFが所有する実際のQP1のプロキシとして機能し得る。
【0050】
一実施形態に従うと、共有ポートアーキテクチャは、(仮想機能に割当てられることによってネットワークに付随する)VMの数によって制限されることのない高度にスケーラブルなデータセンタを可能にし得る。なぜなら、ネットワークにおける物理的なマシンおよびスイッチによってLIDスペースが消費されるだけであるからである。
【0051】
しかしながら、共有ポートアーキテクチャの欠点は、トランスペアレントなライブマイグレーションを提供することができない点であり、これにより、フレキシブルなVM配置についての可能性が妨害されてしまう。各々のLIDが特定のハイパーバイザに関連付けられており、かつハイパーバイザ上に常駐するすべてのVM間で共有されているので、マイグレートしているVM(すなわち、宛先ハイパーバイザにマイグレートする仮想マシン)は、そのLIDを宛先ハイパーバイザのLIDに変更させなければならない。さらに、QP0アクセスが制限された結果、サブネットマネージャはVMの内部で実行させることができなくなる。
【0052】
インフィニバンドTMSR−IOVアーキテクチャモデル−仮想スイッチ(vSwitch)
図5は、一実施形態に従った例示的なvSwitchアーキテクチャを示す。図に示されるように、ホスト400(たとえばホストチャネルアダプタ)はハイパーバイザ410と対話することができ、当該ハイパーバイザ410は、さまざまな仮想機能430、440および450をいくつかの仮想マシンに割当てることができる。同様に、物理機能はハイパーバイザ410によって処理することができる。仮想スイッチ415もハイパーバイザ401によって処理することができる。
【0053】
一実施形態に従うと、vSwitchアーキテクチャにおいては、各々の仮想機能430、440、450は完全な仮想ホストチャネルアダプタ(virtual Host Channel Adapter:vHCA)であり、これは、ハードウェアにおいて、VFに割当てられたVMに、IBアドレス一式(たとえばGID、GUID、LID)および専用のQPスペースが割当てられていることを意味する。残りのネットワークおよびSMについては、HCA400は、仮想スイッチ415を介して追加のノードが接続されているスイッチのように見えている。ハイパーバイザ410はPF420を用いることができ、(仮想機能に付与された)VMはVFを用いる。
【0054】
一実施形態に従うと、vSwitchアーキテクチャは、トランスペアレントな仮想化を提供する。しかしながら、各々の仮想機能には固有のLIDが割当てられているので、利用可能な数のLIDが速やかに消費される。同様に、多くのLIDアドレスが(すなわち、各々の物理機能および各々の仮想機能ごとに1つずつ)使用されている場合、より多くの通信経路をSMによって演算しなければならず、それらのLFTを更新するために、より多くのサブネット管理パケット(SMP)をスイッチに送信しなければならない。たとえば、通信経路の演算は大規模ネットワークにおいては数分かかる可能性がある。LIDスペースが49151個のユニキャストLIDに制限されており、(VFを介する)各々のVMとして、物理ノードおよびスイッチがLIDを1つずつ占有するので、ネットワークにおける物理ノードおよびスイッチの数によってアクティブなVMの数が制限されてしまい、逆の場合も同様に制限される。
【0055】
インフィニバンドTMSR−IOVアーキテクチャモデル−仮想ポート(vPort)
図6は、一実施形態に従った例示的なvPortの概念を示す。図に示されるように、ホスト300(たとえばホストチャネルアダプタ)は、さまざまな仮想機能330、340および350をいくつかの仮想マシンに割当てることができるハイパーバイザ410と対話することができる。同様に、物理機能はハイパーバイザ310によって処理することができる。
【0056】
一実施形態に従うと、ベンダーに実装の自由を与えるためにvPort概念は緩やかに定義されており(たとえば、当該定義では、実装がSRIOV専用とすべきであるとは規定されていない)、vPortの目的は、VMがサブネットにおいて処理される方法を標準化することである。vPort概念であれば、空間ドメインおよび性能ドメインの両方においてよりスケーラブルであり得る、SR−IOV共有のポートのようなアーキテクチャおよびvSwitchのようなアーキテクチャの両方、または、これらのアーキテクチャの組合せが規定され得る。また、vPortはオプションのLIDをサポートするとともに、共有のポートとは異なり、SMは、vPortが専用のLIDを用いていなくても、サブネットにおいて利用可能なすべてのvPortを認識する。
【0057】
インフィニバンドTMSR−IOVアーキテクチャモデル−LIDが予めポピュレートされたvSwitch
一実施形態に従うと、本開示は、LIDが予めポピュレートされたvSwitchアーキテクチャを提供するためのシステムおよび方法を提供する。
【0058】
図7は、一実施形態に従った、LIDが予めポピュレートされた例示的なvSwitchアーキテクチャを示す。図に示されるように、いくつかのスイッチ501〜504は、ネットワーク切替環境600(たとえばIBサブネット)内においてインフィニバンド
TMファブリックなどのファブリックのメンバ間で通信を確立することができる。ファブリックはホストチャネルアダプタ510、520、530などのいくつかのハードウェアデバイスを含み得る。さらに、ホストチャネルアダプタ510、520および530は、それぞれ、ハイパーバイザ511、521および531と対話することができる。各々のハイパーバイザは、さらに、ホストチャネルアダプタと共に、いくつかの仮想機能514、515、516、524、525、526、534、535および536と対話し、設定し、いくつかの仮想マシンに割当てることができる。たとえば、仮想マシン1 550はハイパーバイザ511によって仮想機能1 514に割当てることができる。ハイパーバイザ511は、加えて、仮想マシン2 551を仮想機能2 515に割当て、仮想マシン3 552を仮想機能3 516に割当てることができる。ハイパーバイザ531は、さらに、仮想マシン4 553を仮想機能1 534に割当てることができる。ハイパーバイザは、ホストチャネルアダプタの各々の上で十分な機能を有する物理機能513、523および533を介してホストチャネルアダプタにアクセスすることができる。
【0059】
一実施形態に従うと、スイッチ501〜504の各々はいくつかのポート(図示せず)を含み得る。いくつかのポートは、ネットワーク切替環境600内においてトラフィックを方向付けるためにリニアフォワーディングテーブルを設定するのに用いられる。
【0060】
一実施形態に従うと、仮想スイッチ512、522および532は、それぞれのハイパーバイザ511、521、531によって処理することができる。このようなvSwitchアーキテクチャにおいては、各々の仮想機能は完全な仮想ホストチャネルアダプタ(vHCA)であり、これは、ハードウェアにおいて、VFに割当てられたVMに、IBアドレス一式(たとえばGID、GUID、LID)および専用のQPスペースが割当てられていることを意味する。残りのネットワークおよびSM(図示せず)については、HCA510、520および530は、仮想スイッチを介して追加のノードが接続されているスイッチのように見えている。
【0061】
一実施形態に従うと、本開示は、LIDが予めポピュレートされたvSwitchアーキテクチャを提供するためのシステムおよび方法を提供する。
図7を参照すると、LIDは、さまざまな物理機能513、523および533に、さらには、仮想機能514〜516、524〜526、534〜536(その時点でアクティブな仮想マシンに関連付けられていない仮想機能であっても)にも、予めポピュレートされている。たとえば、物理機能513はLID1が予めポピュレートされており、仮想機能1 534はLID10が予めポピュレートされている。ネットワークがブートされているとき、LIDはSR−IOV vSwitch対応のサブネットにおいて予めポピュレートされている。VFのすべてがネットワークにおけるVMによって占有されていない場合であっても、ポピュレートされたVFには、
図7に示されるようにLIDが割当てられている。
【0062】
一実施形態に従うと、多くの同様の物理的なホストチャネルアダプタが2つ以上のポートを有することができ(冗長性のために2つのポートが共用となっている)、仮想HCAも2つのポートで表わされ、1つまたは2つ以上の仮想スイッチを介して外部IBサブネットに接続され得る。
【0063】
一実施形態に従うと、LIDが予めポピュレートされたvSwitchアーキテクチャにおいては、各々のハイパーバイザは、それ自体のための1つのLIDをPFを介して消費し、各々の追加のVFごとに1つ以上のLIDを消費することができる。IBサブネットにおけるすべてのハイパーバイザにおいて利用可能なすべてのVFを合計すると、サブネットにおいて実行することが可能なVMの最大量が得られる。たとえば、サブネット内の1ハイパーバイザごとに16個の仮想機能を備えたIBサブネットにおいては、各々のハイパーバイザは、サブネットにおいて17個のLID(16個の仮想機能ごとに1つのLIDと、物理機能のために1つのLID)を消費する。このようなIBサブネットにおいては、単一のサブネットについて理論上のハイパーバイザ限度は利用可能なユニキャストLIDの数によって規定されており、(49151個の利用可能なLIDをハイパーバイザごとに17個のLIDで割って得られる)2891であり、VMの総数(すなわち限度)は(ハイパーバイザごとに2891個のハイパーバイザに16のVFを掛けて得られる)46256である(実質的には、IBサブネットにおける各々のスイッチ、ルータまたは専用のSMノードが同様にLIDを消費するので、実際これらの数はより小さくなる)。なお、vSwitchが、LIDをPFと共有することができるので、付加的なLIDを占有する必要がないことに留意されたい。
【0064】
一実施形態に従うと、LIDが予めポピュレートされたvSwitchアーキテクチャにおいては、ネットワークが一旦ブートされると、すべてのLIDについて通信経路が計算される。新しいVMを始動させる必要がある場合、システムは、サブネットにおいて新しいLIDを追加する必要はない。それ以外の場合、経路の再計算を含め、ネットワークを完全に再構成させ得る動作は、最も時間を消費する要素となる。代わりに、VMのための利用可能なポートはハイパーバイザのうちの1つに位置し(すなわち利用可能な仮想機能)、仮想マシンは利用可能な仮想機能に付与されている。
【0065】
一実施形態に従うと、LIDが予めポピュレートされたvSwitchアーキテクチャはまた、同じハイパーバイザによってホストされているさまざまなVMに達するために、さまざまな経路を計算して用いる能力を可能にする。本質的には、これは、LIDを連続的にすることを必要とするLMCの制約によって拘束されることなく、1つの物理的なマシンに向かう代替的な経路を設けるために、このようなサブネットおよびネットワークがLIDマスク制御ライク(LID-Mask-Control-like:LMCライク)な特徴を用いることを可能にする。VMをマイグレートしてその関連するLIDを宛先に送達する必要がある場合、不連続なLIDを自由に使用できることは特に有用となる。
【0066】
一実施形態に従うと、LIDが予めポピュレートされたvSwitchアーキテクチャについての上述の利点と共に、いくつかの検討事項を考慮に入れることができる。たとえば、ネットワークがブートされているときに、SR−IOV vSwitch対応のサブネットにおいてLIDが予めポピュレートされているので、(たとえば起動時の)最初の経路演算はLIDが予めポピュレートされていなかった場合よりも時間が長くかかる可能性がある。
【0067】
インフィニバンドTMSR−IOVアーキテクチャモデル−動的LID割当てがなされたvSwitch
一実施形態に従うと、本開示は、動的LID割当てがなされたvSwitchアーキテクチャを提供するためのシステムおよび方法を提供する。
【0068】
図8は、一実施形態に従った、動的LID割当てがなされた例示的なvSwitchアーキテクチャを示す。図に示されるように、いくつかのスイッチ501〜504は、ネットワーク切替環境700(たとえばIBサブネット)内においてインフィニバンド
TMファブリックなどのファブリックのメンバ間で通信を確立することができる。ファブリックは、ホストチャネルアダプタ510、520、530などのいくつかのハードウェアデバイスを含み得る。ホストチャネルアダプタ510、520および530は、さらに、ハイパーバイザ511、521および531とそれぞれ対話することができる。各々のハイパーバイザは、さらに、ホストチャネルアダプタと共に、いくつかの仮想機能514、515、516、524、525、526、534、535および536と対話し、設定し、いくつかの仮想マシンに割当てることができる。たとえば、仮想マシン1 550はハイパーバイザ511によって仮想機能1 514に割当てることができる。ハイパーバイザ511は、加えて、仮想マシン2 551を仮想機能2 515に割当て、仮想マシン3 552を仮想機能3 516に割当てることができる。ハイパーバイザ531はさらに、仮想マシン4 553を仮想機能1 534に割当てることができる。ハイパーバイザは、ホストチャネルアダプタの各々の上において十分な機能を有する物理機能513、523および533を介してホストチャネルアダプタにアクセスすることができる。
【0069】
一実施形態に従うと、スイッチ501〜504の各々はいくつかのポート(図示せず)を含み得る。いくつかのポートは、ネットワーク切替環境700内においてトラフィックを方向付けるためにリニアフォワーディングテーブルを設定するのに用いられる。
【0070】
一実施形態に従うと、仮想スイッチ512、522および532は、それぞれのハイパーバイザ511、521および531によって処理することができる。このようなvSwitchアーキテクチャにおいては、各々の仮想機能は完全な仮想ホストチャネルアダプタ(vHCA)であり、これは、ハードウェアにおいて、VFに割当てられたVMに、IBアドレス一式(たとえばGID、GUID、LID)および専用のQPスペースが割当てられていることを意味する。残りのネットワークおよびSM(図示せず)については、HCA510、520および530は、仮想スイッチを介して、追加のノードが接続されているスイッチのように見えている。
【0071】
一実施形態に従うと、本開示は、動的LID割当てがなされたvSwitchアーキテクチャを提供するためのシステムおよび方法を提供する。
図8を参照すると、LIDには、さまざまな物理機能513、523および533が動的に割当てられており、物理機能513がLID1を受取り、物理機能523がLID2を受取り、物理機能533がLID3を受取る。アクティブな仮想マシンに関連付けられたそれらの仮想機能はまた、動的に割当てられたLIDを受取ることもできる。たとえば、仮想マシン1 550がアクティブであり、仮想機能1 514に関連付けられているので、仮想機能514にはLID5が割当てられ得る。同様に、仮想機能2 515、仮想機能3 516および仮想機能1 534は、各々、アクティブな仮想機能に関連付けられている。このため、これらの仮想機能にLIDが割当てられ、LID7が仮想機能2 515に割当てられ、LID11が仮想機能3 516に割当てられ、LID9が仮想機能1 534に割当てられている。LIDが予めポピュレートされたvSwitchとは異なり、アクティブな仮想マシンにその時点で関連付けられていない仮想機能はLIDの割当てを受けない。
【0072】
一実施形態に従うと、動的LID割当てがなされていれば、最初の経路演算を実質的に減らすことができる。ネットワークが初めてブートしており、VMが存在していない場合、比較的少数のLIDを最初の経路計算およびLFT分配のために用いることができる。
【0073】
一実施形態に従うと、多くの同様の物理的なホストチャネルアダプタが2つ以上のポートを有することができ(冗長性のために2つのポートが共用となっている)、仮想HCAも2つのポートで表わされ、1つまたは2つ以上の仮想スイッチを介して外部IBサブネットに接続され得る。
【0074】
一実施形態に従うと、動的LID割当てがなされたvSwitchを利用するシステムにおいて新しいVMが作成される場合、どのハイパーバイザ上で新しく追加されたVMをブートすべきであるかを決定するために、自由なVMスロットが発見され、固有の未使用のユニキャストLIDも同様に発見される。しかしながら、新しく追加されたLIDを処理するためのスイッチのLFTおよびネットワークに既知の経路が存在しない。新しく追加されたVMを処理するために新しいセットの経路を演算することは、いくつかのVMが毎分ごとにブートされ得る動的な環境においては望ましくない。大規模なIBサブネットにおいては、新しい1セットのルートの演算には数分かかる可能性があり、この手順は、新しいVMがブートされるたびに繰返されなければならないだろう。
【0075】
有利には、一実施形態に従うと、ハイパーバイザにおけるすべてのVFがPFと同じアップリンクを共有しているので、新しいセットのルートを演算する必要はない。ネットワークにおけるすべての物理スイッチのLFTを繰返し、(VMが作成されている)ハイパーバイザのPFに属するLIDエントリから新しく追加されたLIDにフォワーディングポートをコピーし、かつ、特定のスイッチの対応するLFTブロックを更新するために単一のSMPを送信するだけでよい。これにより、当該システムおよび方法では、新しいセットのルートを演算する必要がなくなる。
【0076】
一実施形態に従うと、動的LID割当てアーキテクチャを備えたvSwitchにおいて割当てられたLIDは連続的である必要はない。各々のハイパーバイザ上のVM上で割当てられたLIDをLIDが予めポピュレートされたvSwitchと動的LID割当てがなされたvSwitchとで比較すると、動的LID割当てアーキテクチャにおいて割当てられたLIDが不連続であり、そこに予めポピュレートされたLIDが本質的に連続的であることが分かるだろう。さらに、vSwitch動的LID割当てアーキテクチャにおいては、新しいVMが作成されると、次に利用可能なLIDが、VMの生存期間の間中ずっと用いられる。逆に、LIDが予めポピュレートされたvSwitchにおいては、各々のVMは、対応するVFに既に割当てられているLIDを引継ぎ、ライブマイグレーションのないネットワークにおいては、所与のVFに連続的に付与されたVMが同じLIDを得る。
【0077】
一実施形態に従うと、動的LID割当てアーキテクチャを備えたvSwitchは、いくらかの追加のネットワークおよびランタイムSMオーバーヘッドを犠牲にして、予めポピュレートされたLIDアーキテクチャモデルを備えたvSwitchの欠点を解決することができる。VMが作成されるたびに、作成されたVMに関連付けられた、新しく追加されたLIDで、サブネットにおける物理スイッチのLFTが更新される。この動作のために、1スイッチごとに1つのサブネット管理パケット(SMP)が送信される必要がある。各々のVMがそのホストハイパーバイザと同じ経路を用いているので、LMCのような機能も利用できなくなる。しかしながら、すべてのハイパーバイザに存在するVFの合計に対する制限はなく、VFの数は、ユニキャストLIDの限度を上回る可能性もある。このような場合、当然、アクティブなVM上でVFのすべてが必ずしも同時に付与されることが可能になるわけではなく、より多くの予備のハイパーバイザおよびVFを備えることにより、ユニキャストLID限度付近で動作する際に、断片化されたネットワークの障害を回復および最適化させるための融通性が追加される。
【0078】
インフィニバンドTMSR−IOVアーキテクチャモデル−動的LID割当てがなされかつLIDが予めポピュレートされたvSwitch
図9は、一実施形態に従った、動的LID割当てがなされてLIDが予めポピュレートされたvSwitchを備えた例示的なvSwitchアーキテクチャを示す。図に示されるように、いくつかのスイッチ501〜504は、ネットワーク切替環境800(たとえばIBサブネット)内においてインフィニバンド
TMファブリックなどのファブリックのメンバ間で通信を確立することができる。ファブリックはホストチャネルアダプタ510、520、530などのいくつかのハードウェアデバイスを含み得る。ホストチャネルアダプタ510、520および530は、それぞれ、さらに、ハイパーバイザ511、521および531と対話することができる。各々のハイパーバイザは、さらに、ホストチャネルアダプタと共に、いくつかの仮想機能514、515、516、524、525、526、534、535および536と対話し、設定し、いくつかの仮想マシンに割当てることができる。たとえば、仮想マシン1 550は、ハイパーバイザ511によって仮想機能1 514に割当てることができる。ハイパーバイザ511は、加えて、仮想マシン2 551を仮想機能2 515に割当てることができる。ハイパーバイザ521は、仮想マシン3 552を仮想機能3 526に割当てることができる。ハイパーバイザ531は、さらに、仮想マシン4 553を仮想機能2 535に割当てることができる。ハイパーバイザは、ホストチャネルアダプタの各々の上において十分な機能を有する物理機能513、523および533を介してホストチャネルアダプタにアクセスすることができる。
【0079】
一実施形態に従うと、スイッチ501〜504の各々はいくつかのポート(図示せず)を含み得る。これらいくつかのポートは、ネットワーク切替環境800内においてトラフィックを方向付けるためにリニアフォワーディングテーブルを設定するのに用いられる。
【0080】
一実施形態に従うと、仮想スイッチ512、522および532は、それぞれのハイパーバイザ511、521、531によって処理することができる。このようなvSwitchアーキテクチャにおいては、各々の仮想機能は、完全な仮想ホストチャネルアダプタ(vHCA)であり、これは、ハードウェアにおいて、VFに割当てられたVMに、IBアドレス一式(たとえばGID、GUID、LID)および専用のQPスペースが割当てられていることを意味する。残りのネットワークおよびSM(図示せず)については、HCA510、520および530は、仮想スイッチを介して、追加のノードが接続されているスイッチのように見えている。
【0081】
一実施形態に従うと、本開示は、動的LID割当てがなされLIDが予めポピュレートされたハイブリッドvSwitchアーキテクチャを提供するためのシステムおよび方法を提供する。
図9を参照すると、ハイパーバイザ511には、予めポピュレートされたLIDアーキテクチャを備えたvSwitchが配置され得るとともに、ハイパーバイザ521には、LIDが予めポピュレートされて動的LID割当てがなされたvSwitchが配置され得る。ハイパーバイザ531には、動的LID割当てがなされたvSwitchが配置され得る。このため、物理機能513および仮想機能514〜516には、それらのLIDが予めポピュレートされている(すなわち、アクティブな仮想マシンに付与されていない仮想機能であってもLIDが割当てられている)。物理機能523および仮想機能1 524にはそれらのLIDが予めポピュレートされ得るとともに、仮想機能2 525および仮想機能3 526にはそれらのLIDが動的に割当てられている(すなわち、仮想機能2 525は動的LID割当てのために利用可能であり、仮想機能3 526は、仮想マシン3 552が付与されているので、11というLIDが動的に割当てられている)。最後に、ハイパーバイザ3 531に関連付けられた機能(物理機能および仮想機能)にはそれらのLIDを動的に割当てることができる。これにより、結果として、仮想機能1 534および仮想機能3 536が動的LID割当てのために利用可能となるとともに、仮想機能2 535には、仮想マシン4 553が付与されているので、9というLIDが動的に割当てられている。
【0082】
LIDが予めポピュレートされたvSwitchおよび動的LID割当てがなされたvSwitchがともに(いずれかの所与のハイパーバイザ内で独立して、または組合わされて)利用されている、
図8に示されるような一実施形態に従うと、ホストチャネルアダプタごとの予めポピュレートされたLIDの数はファブリックアドミニストレータによって定義することができ、(ホストチャネルアダプタごとに)0<=予めポピュレートされたVF<=総VFの範囲内になり得る。動的LID割当てのために利用可能なVFは、(ホストチャネルアダプタごとに)VFの総数から予めポピュレートされたVFの数を減じることによって見出すことができる。
【0083】
一実施形態に従うと、多くの同様の物理的なホストチャネルアダプタが2つ以上のポートを有することができ(冗長性のために2つのポートが共用となっている)、仮想HCAも2つのポートで表わされ、1つまたは2つ以上の仮想スイッチを介して外部IBサブネットに接続され得る。
【0084】
インフィニバンドTM−サブネット間通信
一実施形態に従うと、1つのサブネット内にインフィニバンド
TMファブリックを提供することに加え、本開示の実施形態は、2つ以上のサブネットにまたがるインフィニバンド
TMファブリックを提供することもできる。
【0085】
図10は、一実施形態に従う例示的なマルチサブネットインフィニバンド
TMファブリックを示す。この図に示されるように、サブネットA 1000の内部の多数のスイッチ1001〜1004は、サブネットA 1000(たとえばIBサブネット)内におけるインフィニバンド
TMファブリックなどのファブリックのメンバ間の通信を提供することができる。このファブリックは、たとえばチャネルアダプタ1010などの多数のハードウェアデバイスを含み得る。ホストチャネルアダプタ1010は、ハイパーバイザ1011と対話することができる。ハイパーバイザは、対話の相手であるホストチャネルアダプタとともに、多数の仮想機能1014をセットアップすることができる。加えて、ハイパーバイザは、仮想マシンを仮想機能各々に割当てることができる。たとえば、仮想マシン1 1015は仮想機能1 1014に割当てられる。ハイパーバイザは、その対応付けられたホストチャネルアダプタに、各ホストチャネルアダプタ上の物理機能1013などの十分な機能を有する物理機能を通して、アクセスすることができる。
【0086】
さらに
図10を参照して、一実施形態に従うと、多数のスイッチ1021〜1024は、サブネットB 1040(たとえばIBサブネット)内におけるインフィニバンド
TMファブリックなどのファブリックのメンバ間の通信を提供することができる。このファブリックは、たとえばホストチャネルアダプタ1030などの多数のハードウェアデバイスを含み得る。ホストチャネルアダプタ1030は、ハイパーバイザ1031と対話することができる。ハイパーバイザは、対話の相手であるホストチャネルアダプタとともに、多数の仮想機能1034をセットアップすることができる。加えて、ハイパーバイザは、仮想マシンを仮想機能各々に割当てることができる。たとえば、仮想マシン2 1035は仮想機能2 1034に割当てられる。ハイパーバイザは、その対応付けられたホストチャネルアダプタに、各ホストチャネルアダプタ上の物理機能1033などの十分な機能を有する物理機能を通して、アクセスすることができる。なお、各サブネット(すなわちサブネットAおよびサブネットB)内に示されているホストチャネルアダプタは1つだけであるが、各サブネット内に複数のホストチャネルアダプタおよびそれらに対応するコンポーネントが含まれていてもよいことが、理解されるはずである。
【0087】
一実施形態に従うと、各ホストチャネルアダプタはさらに、仮想スイッチ1012および仮想スイッチ1032などの仮想スイッチに対応付けられていてもよく、上記のように各HCAは異なるアーキテクチャモデルでセットアップされてもよい。
図10のサブネットはどちらもLIDが予めポピュレートされているvSwitchのアーキテクチャモデルを使用するものとして示されているが、これは、このようなサブネット構成すべてが同様のアーキテクチャモデルに従う必要があることを示唆しようとしているのではない。
【0088】
一実施形態に従うと、各サブネット内の少なくとも1つのスイッチがルータに対応付けられていてもよい。たとえば、サブネットA 1000内のスイッチ1002はルータ1005に対応付けられ、サブネットB 1040内のスイッチ1021はルータ1006に対応付けられている。
【0089】
一実施形態に従うと、サブネットA内の仮想マシン1などの発信ソースにおけるトラッフィックを、サブネットB内の仮想マシン2などの異なるサブネットを宛先としてそれに向ける場合、トラフィックは、サブネットA内のルータ、すなわち、ルータ1005に向ければよく、そうすると、ルータ1005はこのトラッフィックをルータ1006とのリンクを介してサブネットBに送ることができる。
【0090】
ファブリックマネージャ
上述のように、インフィニバンド
TMファブリックなどのネットワークファブリックは、ファブリックの各サブネット内の相互接続されたルータを用いることで、複数のサブネットにまたがることができる。一実施形態に従うと、ファブリックマネージャ(図示せず)はホスト上で実現することができる。このホストは、ネットワークファブリックのメンバであり、ファブリック内で使用されることにより、ファブリックの一部である物理リソースおよび論理リソース双方を管理することができる。たとえば、特に、ファブリックリソースを発見すること、物理サーバ間の接続性を制御すること、リアルタイムのネットワーク統計を収集して観察すること、災害復旧(disaster recovery)、およびサービス品質(quality of service:QoS)設定を設定することなどの管理タスクを、ユーザは、ファブリックマネージャを通して実行することができる。一実施形態に従うと、ファブリックマネージャは、ファブリック内に規定されたすべてのサブネットにまたがっていてもよい。すなわち、ファブリックマネージャは、リソースがどのサブネットのメンバであるかに関係なく、ファブリックのメンバであるかまたは少なくともファブリックに対応付けられている物理リソースおよび論理リソースを管理することができる。
【0091】
一実施形態に従うと、ファブリックマネージャはグラフィカルユーザインターフェイス(graphical user interface:GUI)を含み得る。ユーザは、GUIを通して管理機能を実行することができる。ファブリックマネージャGUIは、ユーザがファブリックリソースをモニタリングし制御することを可能にする可視化ツールを取入れてもよい。たとえば、一実施形態において、ユーザは、ファブリック全体のサーバについて、サーバ接続、構成設定およびパフォーマンス統計を、ファブリックインターフェイスを通して見ることができる。ファブリックマネージャGUIを通してモニタリングおよび/または管理することができるファブリック機能のその他の例は、サブネット間ファブリックトポロジーを発見すること、これらのトポロジーの視覚表現を見ること、ファブリックプロファイル(たとえば仮想マシンファブリックプロファイル)を作成すること、および、ファブリックマネージャデータベースを構築し管理することを含む。ファブリックマネージャデータベースは、ネットワークファブリックが必要としネットワークファブリックに関連する、ファブリックプロファイル、メタデータ、構成設定、およびその他のデータを格納することができる。一実施形態に従うと、ファブリックマネージャデータベースはファブリックレベルデータベースである。
【0092】
加えて、ファブリックマネージャは、どのサブネットがどのルータポートを介してどのパーティション番号を用いて通信することを許可されるかについて、法的なサブネット間接続性を規定することができる。一実施形態に従うと、ファブリックマネージャは、集中型ファブリック管理ユーティリティである。上に挙げた例は限定を意図しているのではない。
【0093】
一実施形態に従うと、ファブリックマネージャの機能の一部はユーザによって開始されることができ、その他の機能はユーザから引き離されてもよくまたは自動化されてもよい(たとえば、機能の一部は、起動に応じてまたはその他所定のイベント時に、ファブリックマネージャによって実行されてもよい)。
【0094】
管理イベントの例示的な実施形態において、ユーザは、ファブリックマネージャインターフェイスで、ネットワークファブリックデバイス向けの構成変更を開始してもよい。構成変更要求を受けた後に、ファブリックマネージャは、この構成変更要求が適切に実行されることを保証してもよい。たとえば、ファブリックマネージャは、要求をデバイスに伝え構成変更がデバイスの構成に書込まれることを保証してもよい。一実施形態において、物理デバイスは、構成変更が無事に終了したことをファブリックマネージャに伝える。一実施形態に従うと、それに応じて、ファブリックマネージャはインターフェイスを更新し、要求が実行されたことを視覚的に確認できるようにしてもよい。さらに、ファブリックマネージャは、たとえば災害復旧のためまたはそれ以外の目的のために、デバイスの構成をファブリックマネージャデータベースに永続化(persist)してもよい。
【0095】
一実施形態に従うと、ファブリックマネージャは、GUIのいくつかの、すべての、またはより多くの機能を含む、コマンドラインインターフェイスなどのその他のインターフェイスを有し得る。
【0096】
ファブリックレベルリソースドメイン
上述のように、ファブリックマネージャは、ユーザがファブリックマネージャのインターフェイスを用いてネットワークファブリック全体にわたって管理タスクを実行できるようにする。一実施形態に従うと、ファブリックマネージャのその他の機能は、階層的なロール(role)ベースのアクセス制御を容易にすることである。一実施形態において、ロールベースのアクセス制御は、ファブリックレベルリソースドメインを通して実現される。
【0097】
一実施形態に従うと、ロールベースのアクセス制御は、ファブリックユーザという概念に基づく。人間であるアドミニストレータからのアクセスおよび外部管理アプリケーションからのアクセスはいずれも、ファブリックインフラストラクチャまたはファブリックリソースのすべてまたはサブセットに対する法的処理を定める認証されたコンテキストを表わすことができる。たとえば、ユーザは、ファブリックにおいて、ユーザプロファイルによって表わすことができる。すなわち、ファブリック内において、ユーザを、そのユーザのプロファイルを作成し属性をこのプロファイルに割当てることによって定義することができる。ユーザプロファイルには、ユーザ名属性およびパスワード属性を割当てることができ、ユーザ名は、ファブリック内で固有であるため、ユーザを一意に特定する。さらに、ユーザプロファイルは、ファブリック内のさまざまなリソースに特定のアクセスレベルを割当てる、ファブリック内に規定された特定の役割に、対応付けられてもよい。一実施形態に従うと、ユーザプロファイルのセットアップは、ファブリックマネージャインターフェイスを通して実現することができる。ユーザプロファイルのすべてまたは一部を、ファブリックマネージャデータベースに格納することができる。加えて、一実施形態において、ファブリックマネージャは、マイクロソフト(登録商標)のアクティブディレクトリまたはLDAPディレクトリなどの周知のユーザディレクトリと一体化してもよく、または、たとえば遠隔認証のためのRADIUSネットワーキングプロトコルと一体化してもよい。
【0098】
一実施形態に従うと、ファブリックマネージャは、ファブリックレベルリソースドメイン(本明細書では「リソースドメイン」または簡単に「ドメイン」と呼ぶ)を通して自身が発見したファブリックリソースを管理することができる。リソースドメインは、ファブリックレベルで規定されたファブリックリソースの論理的なグルーピングである。ファブリックリソースは、物理リソースおよび論理リソース双方を含む。リソースの例の一部は、特に、ファブリックデバイス(HCA、物理ノード、およびスイッチなど)、ファブリックプロファイル(仮想マシンファブリックプロファイル、およびユーザプロファイルなど)、仮想マシン、クラウド、および入出力モジュールを含む。
【0099】
一実施形態に従うと、ファブリックマネージャによって発見され管理されるすべてのファブリックリソースは、デフォルトでファブリック内に存在する(すなわちセットアップまたは構成する必要がない)デフォルトドメイン内にあり、これらのファブリックリソースには、ファブリックマネージャインターフェイスを通してアクセスすることができる。デフォルトドメインは、最高レベルのドメインである、すなわち、その他すべてのリソースドメインに対する親(parent)ドメインであり、その他すべてのリソースドメインはデフォルトドメイン内に存在する。デフォルトドメインはファブリックレベルアドミニストレータに対応付けられる。ファブリックレベルアドミニストレータもデフォルトで存在し、デフォルトでデフォルトドメイン内の管理上の権利を有するように構成される。
【0100】
一実施形態に従うと、リソースドメインは、階層形式のリソース管理を表わす。たとえば、デフォルトドメインを構成し管理するプロセスは、ファブリックレベルアドミニストレータしか利用できない。しかしながら、子(child)ドメインは、ファブリックレベルアドミニストレータが、デフォルトドメイン内に作成することができる。たとえば、ファブリックレベルアドミニストレータは、子ドメインを作成することができ、ドメインリソースを子ドメインに追加することができる。加えて、ファブリックレベルアドミニストレータは、ドメインレベルの「ドメイン管理」ユーザを作成することができ、ドメイン管理ユーザを子ドメインに追加する(すなわち対応付ける)ことができる。ドメイン管理ユーザをリソースドメインのメンバにすることにより、ドメイン管理ユーザが、子ドメインとそれに含まれるファブリックリソースのサブセットとを管理できるようにする。一実施形態に従うと、ドメイン管理ユーザは、子メインの外部にあるリソース(すなわちこのドメイン管理が対応付けられているレベルと同様のまたはそれよりも高いレベルのリソース)を管理することはできない。しかしながら、ドメイン管理は、リソースドメインの子ドメインとして作成されたリソースドメインに含まれているリソースを管理することができる。一実施形態に従うと、ファブリックマネージャは、リソースドメインの境界が厳密に守られることを保証するセキュリティを提供する役割を担う。
【0101】
図11は、リソースドメインの階層構造を示す。図示のように、デフォルトドメイン1102がネットワークファブリック1100内に存在する。ファブリックレベルアドミニストレータ1110は、ファブリックレベルリソース1112、1124、および1134の管理のためのアクセス権を有する。ファブリックレベルアドミニストレータ1110はまた、新たなリソースドメインをデフォルトドメイン1102内に作成し管理することができる。リソースドメイン1120および1130と、対応するドメインレベルドメイン管理ユーザ1122および1132とは、ファブリックレベルアドミニストレータ1110によって作成されたものである。ドメイン管理ユーザ1122は、(ファブリックレベルアドミニストレータ1110によりリソースドメイン1120に割当てられた)ファブリックリソース1124を管理するためのアクセス権を有するが、(より高いレベルの)ファブリックリソース1112または(同様のレベルの)ドメインリソース1134を管理するためのアクセス権は有しない。同様に、ドメイン管理ユーザ1132は、(ファブリックレベルアドミニストレータ1110によりリソースドメイン1130に割当てられた)ファブリックリソース1134を管理するためのアクセス権を有するが、(より高いレベルの)ファブリックリソース1112または(同様のレベルの)ドメインリソース1124を管理するためのアクセス権は有しない。
【0102】
管理パーティション
一実施形態に従うと、リソースドメインは、アドミニストレーションまたは(本明細書における呼称である)「管理」パーティションにより、サブネットレベルで表わすことができる。管理パーティションは、サブネットレベルでアクセス権をサブネットリソースに与えるグループメンバーシップを表わす。一実施形態に従うと、管理パーティションのメンバは、管理パーティションに対応付けられているいずれのサブネットリソースへのアクセス権も有するという点において、特権があると考えられる。ファブリックマネージャレベルにおいて、管理パーティションは、リソースドメインと対応するドメイン管理ユーザとに対応付けられる。このようにして、マルチテナント環境においてユーザとロールの分離をサブネットレベルで保証することができる。さらに、特定のリソースドメインに対応付けられている管理パーティションのメンバであるリソースがリソースドメインのメンバにもなるように、リソースドメインメンバーシップを管理パーティションメンバーシップに対応付けることができる。
【0103】
一実施形態に従うと、管理パーティションは、サブネットレベルにおいて、データパーティションの規定と同じやり方で規定することができるが、作成されたパーティションが管理パーティションであることを示す追加の属性を伴う。(先に詳述した)データパーティションと同様、管理パーティションは、一実施形態に従い、アドミニストレータにより、ファブリックマネージャインターフェイスを通して作成することができる。一実施形態において、ファブリックマネージャは、パーティションの作成中、「管理パーティション」フラグを任意のパラメータとしてサポートすることができる。作成したアドミニストレータによって選択される場合、ファブリックマネージャは、新たに作成されたパーティションが管理パーティションであることを示す追加の属性を含みかつファブリックマネージャおよびローカルマスタサブネットマネージャによって管理パーティションとして扱われるであろう。
【0104】
一実施形態に従うと、ファブリックマネージャは、作成されたリソースドメインごとに対応する管理パーティションを自動的に作成し、自動的に作成したパーティションを対応するリソースドメインに対応付けるように構成されてもよい。このような実施形態において、ファブリックレベルリソースがリソースドメインに追加されると、ファブリックマネージャはまた、これらを、自動的に作成されリソースドメインに対応付けられた管理パーティションに対応付ける。このように、リソースドメインに追加されたリソースは、アドミニストレータ(たとえばファブリックレベルアドミニストレータまたはドメイン管理)によるさらに他の動作を伴うことなく、リソースドメインに追加されると互いにサブネットレベルアクセス権を有することになる。
【0105】
加えて、一実施形態に従うと、ネットワークのサブネット全体は、トップレベルドメイン(たとえばデフォルトドメイン)を有するドメイン階層における特別なリソースドメインを表わすことができる。たとえば、ドメイン階層において、デフォルトドメインがトップレベルドメインを表わす場合、ネットワークファブリックの各サブネットは、ファブリックマネージャにより、デフォルトドメインの子ドメインとして認識されることができる。サブネット全体をトップレベルドメインの子ドメインとして認識することを、ファブリックマネージャのデフォルト挙動として構成してもよく、または、これらデフォルトドメインがアドミニストレータによって手作業で定められてもよい。ここでも、ユーザとロールを分離し、ドメイン境界を守り、サブネットレベルにおけるリソースの対応付けを実施するために、サブネットリソースドメイン全体に対応する管理パーティションを規定することができる。一実施形態に従うと、サブネット内に規定され当該サブネット内の各リソース(メンバであるかまたは管理パーティションに対応付けられている)を含む管理パーティションは、「ドメイングローバル」管理パーティションと名付けることができる。なぜなら、この構成の中で、サブネット内のすべてのリソースはその他すべてのリソースへのアクセス権を有するからである。
【0106】
一実施形態に従うと、管理パーティションは、ドメイン管理にとってトランスペアレントであってもよい。上述のように、ドメイングローバル管理パーティションは、ファブリックマネージャレベルでリソースドメインに対して自動的に作成することができ、その後、このドメインの範囲に割当てられたまたはこのドメインの範囲内に作成されたすべてのリソースを対応する管理パーティションに自動的に対応付けることができる。しかしながら、別の実施形態において、ドメイン管理は、関連するリソースドメイン内に種々の管理パーティションを明示的に作成することができ、その後、当該ドメイン内のリソースを、リソースドメインに対してデフォルトで作成された管理パーティションの代わりに明示的に作成された管理パーティションに対応付けることができる。
【0107】
一実施形態に従うと、ファブリックマネージャは、共有管理パーティションおよびプライベート管理パーティション双方の作成をサポートできる。デフォルトドメイン内のファブリックレベルアドミニストレータによって作成された管理パーティションは、個々のリソースドメインが利用できるようにすることができる共有パーティションであってもよい。ドメイン管理がメンバであるドメインによって作成された管理パーティションは、そのコンテキストに管理パーティションが作成されている特定のリソースドメインのみに対応付けられ当該特定のリソースドメインのみが利用できるプライベートパーティションであってもよい。
【0108】
一実施形態に従うと、HCAおよびvHCAのエンドポートは、データパーティションのメンバであってもよいのと同じく、管理パーティションのメンバであってもよい。しかしながら、一実施形態に従うと、管理パーティションはその他のサブネットリソースに対応付けることができるという点で、管理パーティションはデータパーティションと区別される。たとえば、データパーティションは管理パーティションに対応付けることができる。さらに、一実施形態に従うと、管理パーティションを子または親としての別の管理パーティションに対応付けることにより、これらの管理パーティションは階層的概念となり、対応付けられているリソースドメインの階層に対応させることができる。
【0109】
技術的な問題として、従来の専門用語では、HCA(およびvHCA)のエンドポートをパーティションの「メンバ」と呼ぶことができ、一実施形態に従うと、その他のリソースは管理パーティション「に対応付ける」ことができる。以下、これら2つの概念の技術的相違点について説明する。しかしながら、便宜上かつ読み易さのために、本文献では、管理パーティションについて、「メンバ」および「〜に対応付ける」という表現を区別なく使用する場合がある。これらの表現が区別なく使用されていても、それとは関係なく、管理パーティションへのエンドポート/HCAのメンバーシップと、管理パーティションに対応付けられたリソースとの間の技術的相違が読み手によって一貫して適用されることを意図していることが理解されるはずである。
【0110】
一実施形態に従うと、管理パーティションは、データパーティションの規定と同じく、P_Keyによって規定される。しかしながら、エンドポートは、自身がメンバであるデータパーティションを認識しているものの、エンドポートは自身がメンバであるのがどの管理パーティションなのかを認識している必要はない。よって、一実施形態において、管理パーティションを規定するP_Keyは、メンバのエンドポートのP_Keyテーブルに入力されない。このように、管理パーティションがIBパケットトラッフィック用に使用されなければ、管理パーティションの作成が、限りあるリソースであるP_Keyテーブルエントリを無駄に使うことはない。しかしながら、別の実施形態において、管理パーティションは管理パーティションとしてもデータパーティションとしても機能する場合がある。このような実施形態において、管理パーティションのメンバであるエンドポートのP_Keyテーブルすべてが、それぞれのP_Keyテーブルの管理パーティションのP_Keyエントリを有することができる。一実施形態に従うと、データパーティションは、管理パーティションではない何らかのパーティションであると定義してもよい。
【0111】
一実施形態に従うと、データパーティションは1つ以上の管理パーティションに対応付けることができる。たとえば、P_Key値によって規定されるデータパーティションは、自身の固有のP_Key値によって規定される管理パーティションに対応付けることができる。加えて、このデータパーティションは、別の固有のP_Key値によって規定される第2の管理パーティションに対応付けることができる。一実施形態に従うと、データパーティションを特定の管理パーティションに対応付けることにより、当該特定の管理パーティションのメンバであるエンドポートの最大メンバーシップレベルを規定することができる。
【0112】
上述の通り、管理パーティションは、サブネットリソースにアクセス権を与えるグループメンバーシップを表わす。一実施形態に従うと、管理パーティションのどのエンドポートメンバも、当該管理パーティションへのエンドポートのメンバーシップのみに基づいて、同じ管理パーティションに対応付けられているいずれのサブネットリソースへのアクセス権も有する。したがって、管理パーティションのメンバであるエンドポートはいずれも、同じ管理パーティションに対応付けられているいずれのデータパーティションへのアクセス権も有する。なお、これは、メンバエンドポートが、対応付けられたデータパーティションのメンバであることを必ずしも意味しておらず、対応付けられたデータパーティションへのアクセス権を有しそれ故にこのデータパーティションのメンバであり得ることを意味している。
【0113】
このような手法により、アドミニストレータが、たとえばデータパーティションへのアクセス権を、エンドポートに、データパーティションのP_KeyをこのエンドポートのP_Keyテーブルに手作業で含めることによって与える必要は、なくなる。一実施形態において、エンドポートがサブネット内で初期化されると、マスタサブネットマネージャは、管理パーティションの規定(たとえばP_Key)を保持するとともに規定された管理パーティションへのメンバーシップを規定しかつ規定された管理パーティションとの対応付けを規定する関係を保持するデータストア(たとえば以下で説明する管理パーティションレジストリ)にクエリすることによって、このエンドポートがメンバであるのはどの管理パーティションかを判断することができる。次に、サブネットマネージャはさらに、エンドポートがメンバである管理パーティションに対応付けられているデータパーティションがあるか否かを確かめるためにチェックすることができる。SMが、1)エンドポートが管理パーティションのメンバであること、および、2)当該管理パーティションがデータパーティションに対応付けられていることを見出した場合、SMは、対応付けられているデータパーティションのP_KeyをエンドポートのP_Keyテーブルに自動的に置くことにより、データパーティションへアクセス権をエンドポートの自動的に与える。このように、管理パーティションは、アドミニストレータによる手作業のパーティションマッピングと比較して、より簡単でよりスケーラブルな解決策を表わす。
【0114】
図12は、管理パーティションおよびデータパーティション双方を有する例示的なネットワークファブリックを示す。
図12に示されるように、管理パーティション1230、1240、および1250がファブリック内において規定されている。ノードA 1201〜E 1205が、それぞれのHCA1211〜1215によってファブリックに物理的に接続されている。加えて、各HCAは、少なくとも1つの管理パーティションのメンバである。HCA1211およびHCA1214は、管理パーティション1230のメンバである。HCA1211はまた、HCA1212および1213とともに管理パーティション1240のメンバである。HCA1213はさらに、HCA1215とともに管理パーティション1250のメンバである。
【0115】
さらに
図12を参照して、一実施形態に従うと、データパーティション1232、1242、および1252がファブリック内に規定されている。データパーティション1232は管理パーティション1230に対応付けられ、データパーティション1242は管理パーティション1240に対応付けられ、データパーティション1252は管理パーティション1250に対応付けられている。一実施形態に従うと、HCA1211およびHCA1214は、管理パーティション1230へのそれぞれのメンバーシップに基づく、データパーティション1232へのメンバーシップへのアクセス権を有する。同様に、HCA1211〜1213は、管理パーティション1240へのそれぞれのメンバーシップに基づく、データパーティション1242へのメンバーシップへのアクセス権を有する。加えて、HCA1213および1215は、管理パーティション1250へのそれぞれのメンバーシップに基づく、データパーティション1252へのメンバーシップへのアクセス権を有する。
【0116】
一実施形態に従うと、管理パーティションは、物理HCAの仮想機能をvHCAに登録できるか否かを判断するために使用することもできる。一実施形態に従うと、vHCAは、特定の仮想マシン(VM)のために計画され構成されたホストチャネルアダプタを表わす。vHCAはVMとともにマイグレートするのに対し、VFは物理アダプタとともに留まっているという点において、vHCAは仮想機能(VF)と異なる。しかしながら、上述のように、物理HCAもvHCAも(また、より低いレベルでは、これらの(v)HCAのエンドポートも)管理パーティションのメンバになり得る。よって、一実施形態に従うと、管理パーティションへのメンバーシップを、SMが使用することにより、物理HCAからの要求である、この要求を出している物理HCAの仮想機能をvHCAに登録することを求める要求が許可可能か否かを、判断することができる。
【0117】
図13は、HCAおよびvHCAを管理パーティションのメンバとして有する例示的なネットワークファブリックを示す。
図13に示されるように、サブネット1302はネットワークファブリック1300の一部である。HCA1310、1324、1332、および1344は、サブネット1302内でそれぞれのエンドポートを通してネットワークファブリック1300に物理的に接続されている物理HCAを表わす。HCA1310は、物理機能(PF)1312と仮想機能(VF)1314および1316とに対応付けられている。HCA1324は、PF1326とVF1328および1329とに対応付けられている。HCA1332は、PF1334とVF1336および1338とに対応付けられている。HCA1344は、PF1346とVF1348および1349とに対応付けられている。さらに、vHCA1320は、VF1314が登録され仮想マシン(VM)1318に対応付けられたものとして示されている(すなわち、VM1318は、ネットワークファブリック1300へのアクセス権を、vHCA1320を通して取得し、最終的には物理HCA1310を通して取得する)。vHCA1340は、VF1337が登録されVM1338に対応付けられている。
【0118】
引き続き
図13を参照して、図示の通り、HCA1310および1324ならびにvHCA1320は、管理パーティション1350のメンバである。加えて、HCA1332および1344ならびにvHCA1340は、管理パーティション1360のメンバである。結果として、HCA1310および1324ならびにvHCA1320は各々管理パーティション1350のメンバであるため、vHCA1320に、HCA1310のVF1314もしくは1316を、またはHCA1324のVF1328もしくは1329を正式に登録することができる。同様に、HCA1332および1324ならびにvHCA1340が各々管理パーティション1360のメンバであるため、vHCA1340に、HCA1330のVF1336もしくは1338を、またはHCA1344のVF1348もしくは1349を、正式に登録することができる。
【0119】
上述のように、ファブリックレベルのファブリックデータベースは、ファブリックおよびファブリックリソースに関連する情報を保持し、ファブリックマネージャによって管理される。一実施形態に従うと、ファブリックデータベースは、ファブリックリソースのインベントリーの「完全な知識」を有することができる(すなわち、ネットワークファブリックの一部であるすべてのリソースは、少なくともファブリックデータベースに保持されている記録によって表わされる)。さらに、ファブリック内の各リソースに対応付けられたアクセス権およびネームスペースは、ファブリックデータベースに格納されても、ファブリックデータベースに含まれる情報および関係から導出することも、可能である。
【0120】
たとえば、一実施形態に従うと、管理パーティションへのメンバーシップおよび/または管理パーティションに対するリソースの対応付けに関する情報は、ファブリックデータベースに格納できる。この情報を保持するテーブルと、これらのテーブルをまとめてリンクする関係とは、ファブリックデータベースのサブセットであってもよく、管理パーティションレジストリと呼ぶことができる。一実施形態に従うと、管理パーティションレジストリは、管理パーティショングループリソースを集めたものである。たとえば、管理パーティションレジストリ内の管理パーティショングループは、特定の管理パーティションのHCAメンバ(vHCAを含む)と、対応付けられたリソースとを集めたものであってもよく、このグループは、当該特定の管理パーティションを規定するP_Keyによってルックアップされる。加えて、管理パーティショングループのメンバおよび対応付けられたリソースを、メンバHCAもしくはvHCAそれぞれに対するGUIDもしくはvGUIDなどのキー、または、対応付けられたデータパーティションに対するP_Keyを用いて、レジストリ内でルックアップすることができる。管理パーティションのP_Keyと、メンバまたは対応付けられたリソースの固有識別子との間の関係はそれぞれ、管理パーティションへのメンバーシップまたは対応付けを規定し、管理パーティションレジストリによって維持され、より高いレベルではファブリックデータベースによって維持される。
【0121】
一実施形態に従うと、管理パーティションレジストリのすべてまたは一部は、記録としてSMのキャッシュに保持されていてもよい。たとえば、特定のサブネットのリソースに対応する管理パーティションレジストリの記録を、当該特定のサブネットのサブネットマネージャ(たとえばマスタサブネットマネージャ)の常駐メモリのキャッシュに複製することができる。管理パーティションレジストリの記録は、(たとえばSMがブートするときは)SMによってファブリックデータベースから取出され(すなわちコピーされ)てもよく、または、ファブリックデータベースに永続化される前にキャッシュに置かれてもよい。キャッシュは、揮発性または不揮発性メモリであってもよい。いつレジストリ記録がキャッシュに置かれるかには関係なく、管理パーティションレジストリのキャッシュされたコピーと、ファブリックレベルデータベースで発見された管理パーティションレジストリのコピーとの間には、同期が成立し得る。
【0122】
クエリを受けるたびに管理パーティション情報を永続化状態から(すなわちファブリックデータベースから)取出すのではなく、SM上の高速キャッシュ内の管理パーティションレジストリのうちのすべてまたはサブネット関連部分を保持することにより、管理パーティション情報のルックアップがSMに課すオーバーヘッドは最小になる。これは特に、サブネットリソース間でアクセス権が自動的に割当てられるときのサブネット初期化中において重要である。
【0123】
一実施形態に従うと、論理名または識別子は、リソースドメイン内のリソースに割当てることができる(たとえばファブリックレベルまたはドメインレベルの管理ユーザによって)。これらの論理名は、リソースドメインにとってプライベートなものであってもよい。ファブリックマネージャは、ファブリックデータベースを通して、ファブリック内で使用される固有の識別子(たとえばvGUIDおよびP_Key)をファブリック内のリソースに与えられた論理または識別名にマッピングする関係を作成することができる。
【0124】
たとえば、一実施形態に従うと、ファブリックデータベースは、リソースの記録、およびリソースのドメインメンバーシップおよび/または管理パーティションメンバーシップを格納することができる。論理名は、ファブリックマネージャによってリソースが発見されると、リソースに割当てることができる。これらの名称は、ファブリックデータベース内のファブリックリソースの固有識別子にリンクさせることができる。加えて、ファブリックマネージャは、ファブリックマネージャデータベース内の関係を通して、リソースドメインおよび管理パーティションへの各リソースのメンバーシップを追跡することができる。これらの記録および関係を用いて、ファブリックマネージャは、全く異なるリソースドメインおよび管理パーティションにおける同様の論理名を可能にする。一実施形態に従うと、論理ドメイン名スキームは、特定のドメインリソースがメンバである1つまたは複数のリソースドメインの階層を反映することができる。このような実施形態において、論理リソース名は、リソースがメンバである最高レベルのリソースドメインに固有であってもよい。
【0125】
一実施形態に従うと、ファブリックにおけるリソースの識別子は、この識別子が何であるかに関わらず、管理パーティションの範囲内で固有であってもよい。そうすると、リソース名を、対応する管理パーティションでプレフィックスすることにより、グローバルな固有性(すなわちファブリックレベルで)を得ることができる。
【0126】
図14は、一実施形態に従う、リソースドメインおよび管理ドメイン双方を有する例示的なネットワークファブリックを示す。
図14に示されるように、ファブリックマネージャ1402はネットワークファブリック1400上で実行している。一実施形態に従うと、ファブリックマネージャ1402は、ネットワークファブリック1400のノード(図示せず)から実行することができる。ファブリックマネージャ1402は、ファブリックレベルアドミニストレータ1404によって管理され、ファブリックマネージャデータベース1414を含む。管理パーティションレジストリ1416は、論理名テーブル1418と同様、ファブリックマネージャデータベース1414の一部である。
【0127】
引き続き
図14を参照すると、サブネット1420がネットワークファブリック1400内に規定されている。サブネットマネージャ1422は、サブネット1420に対応付けられており、一実施形態に従うと、ネットワークファブリック1400における動作のためにサブネット1420が必要とするセマンティックランタイム動作を実行する。サブネット1420が必要とするセットアップおよび管理タスクは、ファブリックレベルアドミニストレータ1404およびファブリックマネージャ1402によって実行されてもよい。
【0128】
ノード1444、1454、1474および1484は、 サブネット1420の一部である。HCA1446は、ノード1444に対応付けられ、PF1448とVF1450および1452とを含む。同様に、HCA1456は、ノード1454に対応付けられ、PF1458とVF1460および1462とを含む。HCA1476は、ノード1474に対応付けられ、PF1478とVF1480および1482とを含む。さらに、HCA1486は、ノード1484に対応付けられ、PF1488とVF1490および1492とを含む。VM1440はノード1444上で実行しており、VM1470はノード1474上で実行している。vHCA1442は、VM1440のために計画および構成されており、VM1440に対応付けられ、HCA1446の仮想機能1452が登録されている。vHCA1472は、VM1470のために計画および構成されており、VM1470に対応付けられ、HCA1476の仮想機能1482が登録されている。
【0129】
一実施形態に従うと、HCA1446、1456、1476、および1486はドメインリソースとみなされ、各々の記録はファブリックマネージャデータベース1414に格納される。この記録は、ファブリック内のHCAリソースを特定するために使用されるGUIDなどの識別子を含み得る。さらに、vHCA1442および1472も、ドメインリソースとみなされ、各々の記録はファブリックマネージャデータベース1414に格納される。この記録は、vHCAを特定するために使用されるGUIDなどの識別子を含み得る。
【0130】
さらに
図14を参照すると、一実施形態に従い、リソースドメイン1410およびリソースドメイン1412がファブリックマネージャ1402内に作成されている。一実施形態に従うと、ファブリックレベルアドミニストレータ1404は、リソースドメイン1410およびリソースドメイン1412を作成する役割を担う。加えて、ドメイン管理1406は、リソースドメイン1410に対応付けられたドメインレベルアドミニストレータである。同様に、ドメイン管理1408は、リソースドメイン1412に対応付けられたドメインレベルアドミニストレータである。一実施形態に従うと、ファブリックレベルアドミニストレータ1404は、リソースドメインの階層性に従う、それぞれのリソースドメインの管理として、ドメイン管理1406および1408を作成することができる。
【0131】
一実施形態に従うと、管理パーティション1424および管理パーティション1426は、サブネット1420内に規定されている。管理パーティション1424はリソースドメイン1410に対応付けられ、管理パーティション1426はリソースドメイン1412に対応付けられている。
【0132】
図14に示されるように、vHCA1442とHCA1446および1456とは、リソースドメイン1410のメンバである。一実施形態に従うと、管理パーティション1424はリソースドメイン1410に対応付けられているので、vHCA1442とHCA1446および1456とが、リソースドメイン1410のメンバとして追加されると、これらは管理パーティション1424のメンバにもなり、管理パーティション1424を規定するP_KeyとHCA1446、1456およびvHCA1442の識別子との間の関係が、管理パーティションレジストリ1416内に作成される。一実施形態に従うと、この関係は、HCA1446、1456およびvHCA1442を、管理パーティション1424のメンバとして定義する。
【0133】
同様に、vHCA1472とHCA1476および1486とは、リソースドメイン1412のメンバである。一実施形態に従うと、管理パーティション1426はリソースドメイン1410に対応付けられているので、vHCA1472とHCA1466および1486とが、リソースドメイン1412のメンバとして追加されると、これらは管理パーティション1426のメンバにもなり、管理パーティション1426を規定するP_Keyと、HCA1476、1486およびvHCA1472の識別子との間の関係が、管理パーティションレジストリ1416内に生成される。一実施形態に従うと、この関係は、HCA1476、1486およびvHCA1472を、管理パーティション1426のメンバとして定義する。
【0134】
上述のように、一実施形態に従うと、VM1440(vHCA1442を含む)、ノード1444(HCA1446を含む)およびノード1454(HCA1456を含む)は、リソースドメイン1410のメンバである。本発明の一実施形態において、ファブリックレベルアドミニストレータ1404は、ノード1444およびノード1454をリソースドメイン1410に追加する役割を担う。たとえば、ファブリックレベルアドミニストレータ1404は、ファブリックマネージャ1402のインターフェイスを通して、ノード1444および1454をリソースドメイン1410に追加することができる。ファブリックレベルアドミニストレータ1404がノード1444および1454をリソースドメイン1410に追加すると、ドメイン管理1406はノード1444および1454に対して管理タスクを実行することができる。しかしながら、リソースドメインの階層スキームに従うと、ドメイン管理1406は、ノード1444および1454に対して、これらがリソースドメイン1410に追加される前に(すなわちこれらがより高いレベルのデフォルトドメイン(図示せず)のメンバである間)、管理タスクを実行することはできない。さらに、一実施形態に従うと、ドメイン管理1408は、ノード1444および1454に対して管理タスクを実行できない。なぜなら、ノード1444および1454は、ドメイン管理1408が対応付けられていないパラレルレベルのリソースドメインのメンバであるからである。
【0135】
引き続き
図14を参照すると、一実施形態に従い、管理パーティション1424および1426がサブネット1420内に規定されている。リソースドメインの階層スキームに従い、一実施形態では、管理パーティション1424および1426はファブリックレベルアドミニストレータ1404によって規定されたものである。別の実施形態では、ドメイン管理1406が管理パーティション1424を規定し、ドメイン管理1408が管理パーティション1426を規定している。一実施形態に従うと、管理パーティション1424はリソースドメイン1410に対応付けられ、管理パーティション1426はリソースドメイン1412に対応付けられる。上述のように、一実施形態に従うと、管理パーティション1424および1426はそれぞれ、サブネットレベルにおいてリソースドメイン1410および1412を表わす。それぞれのリソースドメインに対応付けられることに加えて、管理パーティション1424および1426は、それぞれドメイン管理1406および1408(すなわち、管理パーティション各々が対応付けられているリソースドメインの対応する管理ユーザ)に対応付けられる。上述のように、一実施形態に従うと、管理パーティションとドメインレベル管理との間のこの対応付けによって、サブネットレベルにおけるマルチテナント環境内のユーザとロールの分離を保証することができる。
【0136】
一実施形態に従い、データパーティション1428および1430がサブネット1420内に規定されている。リソースドメインの階層スキームに従い、一実施形態では、データパーティション1428および1430がファブリックレベルアドミニストレータ1404によって規定されている。別の実施形態では、ドメイン管理1406がデータパーティション1428を規定し、ドメイン管理1408がデータパーティション1430を規定している。
図14に示されるように、データパーティション1428は管理パーティション1424に対応付けられ、データパーティション1430は管理パーティション1426に対応付けられている。加えて、先に説明し
図14に示しているように、HCA1446、1456およびvHCA1442は、管理パーティション1424のメンバである。結果として、一実施形態に従うと、HCA1446、1456およびvHCA1442は、データパーティション1428が対応付けられている管理パーティション(すなわち管理パーティション1424)のメンバであるため、データパーティション1428へのアクセス許可を有する。
【0137】
一実施形態に従い、データパーティション1428が管理パーティション1424に対応付けられると、データパーティション1428の識別子(たとえばデータパーティション1428のP_Key)と、管理パーティション1424のP_Keyとの間の関係が、管理パーティションレジストリ1416内に作成される。この関係は、データパーティション1428を、管理パーティション1424に対応付けられているものとして定義する。同様に、データパーティション1430が管理パーティション1426に対応付けられると、データパーティション1430の識別子(たとえばデータパーティション1430のP_Key)と管理パーティション1426のP_Keyとの間の関係が管理パーティションレジストリ1416内に作成される。この関係は、データパーティション1430を、管理パーティション1426に対応付けられているものとして定義する。
【0138】
一実施形態に従うと、データパーティション1428に加わることを求める要求をHCA1446および1456またはvHCA1442から受けた場合、SM1422は、管理パーティションレジストリ1416をチェックし、HCA1446および1456ならびにvHCA1442が管理パーティション1424のメンバであることと、データパーティション1428が管理パーティション1424に対応付けられていることとを見出すことができる。そうすると、SM1422は、HCA1446および1456ならびにvHCA1442が管理パーティション1424のメンバでありデータパーティション1428が管理パーティション1424に対応付けられていることに基づいて、HCA1446および1456ならびにvHCA1442が、データパーティション1428のメンバになることを許可することができる。HCA1446および1456ならびにvHCA1442をデータパーティション1428に加わらせるのに、ファブリックレベルアドミニストレータ1404またはドメインレベルアドミニストレータ1406からのマッピングは不要であろう。
【0139】
加えて、vHCA1442には、HCA1446のVF1452もしくは1450を、または、HCA1456のVF1462もしくは1460を登録することができる。なぜなら、HCA1446および1456ならびにvHCA1442は、管理パーティション1424のメンバであるからである(vHCA1442はVF1452が登録されたものとして示されている)。ここでもまた、SM1422は、管理パーティションレジストリ1416をチェックしてHCA1446および1456ならびにvHCA1442が管理パーティション1424のメンバであることを見出すことができる。HCA1446および1456ならびにvHCA1442が管理パーティション1424のメンバであることを発見すると、SM1422は、いかなるファブリックユーザからも介入されることなく、vHCA1442に、VF1452、1450、1462、および1460のうちのいずれかを登録することができる。
【0140】
仮想マシンファブリックプロファイル
上述のように、効率的なハードウェアリソースの利用およびスケーラビリティを改善するために、IBファブリック等のファブリックにおいて仮想マシン(VM)を用いることができる。しかしながら、仮想マシン(VM)のライブマイグレーションは、これらのソリューションにおいて用いられるアドレス指定およびルーティングスキームのせいで、依然として問題である。一実施形態に従う方法およびシステムは、このようなVMのマイグレーションの問題を克服することを目的とし、アドレス指定スキームをサポートすることが可能な、予め定められ、非常に入手し易く、かつ物理的な場所に左右されない仮想マシンファブリックプロファイルを、容易にする。一実施形態に従うと、VMファブリックプロファイルにより、ファブリック接続性を用いてVMの集中型セットアップおよび構成管理を可能にし、かつ、SR−IOVに基づいて、VMに対し、最適化されたVMマイグレーションをサポートする。一実施形態に従うと、VMファブリックプロファイルは、仮想マシンに関する、詳細なファブリック構成情報の、単一の集中型リポジトリを表わす。ファブリックマネージャに対応付けられたデータベース(たとえばファブリックデータベース)は、VMファブリックプロファイルを構成する情報を永続化することができる。
【0141】
一実施形態に従うと、VMファブリックプロファイルは、IBファブリック等のネットワークファブリックにおいて、仮想マシン識別子(VM−id)により、特定することができる。一実施形態において、VM−idは、ファブリック全体にわたって固有であってもよい、汎用一意識別子(universally unique identifier:UUID)である固有の128ビット数である。しかしながら、必要なVM−idの固有性は、異なる態様で管理される複数のVMマネージャドメインにわたる固有性のみである(たとえばVM−idは管理パーティション内で固有であってもよい)。したがって、他の実施形態において、VM−idは、少なくともこのようなドメインにわたって固有である何か他の適切なタイプのIDであってもよい。一実施形態に従うと、ファブリックレベルまたはサブネットレベルのすべての管理エンティティは、VMファブリックプロファイルのVM−idを参照することにより、VMファブリックプロファイルに関する情報をルックアップする。
【0142】
図15は、VMファブリックプロファイル情報を格納するための例示的なデータベース構造を示す。
図15は、従来のリレーショナルデータベース設計のいくつかのテーブルを示す。しかしながら、何らかの適切なデータ構造を用いて、VMファブリックプロファイルデータ(たとえばフラットファイルテーブル、または境界が定められた構造等)を格納することができる。
図15において、アスタリスク(*)はキー値を示す。
図15は、VMファブリックプロファイルデータを、より大きなファブリックデータベース1500の一部として示しているが、その他の実施形態において、VMプロファイルデータは自身のデータベースに含まれていてもよい、または、ファブリックデータベース1500にアクセスできる別のデータベースであってもよい。
【0143】
図15に示されるように、VMファブリックプロファイルのコンテンツは、ルックアップキーとして使用される仮想マシン識別子(VM−id)1502と、ファブリックの管理における使い易さのためおよび品質改善のための論理名1504と、たとえばVMファブリックプロファイルと、ファブリックに対して規定されたその他のプロファイルとを区別するために使用されるプロファイルタイプ1506と、ファブリックに対して規定されたすべてのプロファイルからなる組の中の固有idであるプロファイルID1508と、最高シーケンスが最も最近の更新を表わすプロファイルのシーケンス番号であってもよいコンテンツ更新エニュメレータ(CUE)1510とを含み得るが、これらに限定されない。
図15に示されるように、このVMファブリックプロファイルのコンテンツは、VMプロファイルテーブル1512に格納することができ、VM−idは、各VMファブリックプロファイルを特定するための固有のキーの働きをする。
【0144】
上述のように、仮想HCA(vHCA)を、物理HCAの仮想機能とともに使用することにより、VMへのネットワークアクセスを提供してもよい。一実施形態に従うと、各VMファブリックプロファイルは、少なくとも1つのvHCAにも対応付けられる。vHCAは、特定のVMに対して計画および構成することができ、この構成は、vHCAが構成されたVMのファブリックプロファイルとともに、含まれ格納されてもよい。そうすると、構成されたvHCAは、物理HCAによって規定することができ物理HCAとともに常駐できる仮想機能と異なり、仮想マシンとともにマイグレートすることができる。さらに
図15を参照すると、vHCAは、ファブリックマネージャデータベースにおいて、VM−id1502とvHCAインスタンスID1514との固有の組合わせとして表わすことができる。加えて、この組合わせは、VM−idキー1502を用いて、VMプロファイルテーブル1512に関連するvHCAテーブルに格納することができる。
【0145】
物理HCAと同様に、vHCAは複数の(仮想)ポートを有し得る。一実施形態に従うと、これらの仮想ポートは、物理ポートと全く同じように、ネットワーク環境におけるエンドポートとして働くことができる。一例として、vHCAポートを含むすべてのエンドポートに、GUID(たとえばIBネットワークで使用される64ビットGUID)を割当てることができる。このGUIDを用いて、SMのルーティングテーブルのLID宛先アドレスを要求することができる。一実施形態に従うと、仮想GUID(vGUID)は、各vHCAポートの現在のファブリックアドレスを表わし得る。一実施形態において、vGUIDは、上述のように、VMファブリックプロファイルに割当てられかつVMファブリックプロファイルとともに格納されるGUIDのリストからのvHCAポートに割当てることができる。vGUIDは、ファブリックマネージャGUIDポリシーに従ってファブリックマネージャにより所有され制御されるGUIDの専用プールからのファブリックプロファイルに割当てることができる。たとえば、フリーでファブリックの広さの固有vGUIDは、ファブリックプロファイルがファブリックマネージャに作成されたときにVMのために構成されたvHCAに割当てることができる。
【0146】
引き続き
図15を参照して、一実施形態に従うと、vHCAポートは、ファブリックマネージャデータベースにおいて、vHCAインスタンスID1514とvGUID1522との固有の組合わせとして表わすことができる。vHCA構成はまた、vHCAポート番号1520を含み得る。この構成は、vHCAインスタンスID
*1514キーによってvHCAテーブルに関連付けることができ最終的にはVM−idキー1502によってVMプロファイルテーブル1512に関連付けることができるvHCAポートテーブル1518に格納することができる。
【0147】
一実施形態に従うと、vHCAは、データパーティションおよび管理パーティション双方のメンバであってもよい。vHCAのパーティションメンバーシップは、VMファブリックプロファイルにおいて、vHCAがメンバであるパーティション(管理パーティションおよびデータパーティション双方)にvHCA記録をリンクするファブリックデータベース内の関係によって表わすことができる。一実施形態において、たとえばvGUIDキー1522は、データとネットワークファブリックにおいて規定された管理パーティションP_Keyとを含むテーブル(図示せず)に関連付けることができる。一実施形態において、vGUIDキーは、関係により、(上記)管理パーティションレジストリにリンクされる。一実施形態において、これに代えてまたはこれに加えて、管理パーティションレジストリをvHCAインスタンスID1514にリンクする関係があってもよい。これらの関係により、ファブリックコンポーネントは、vHCAがメンバであるのはどのデータパーティションおよび管理パーティションであるかを識別することができる。
【0148】
図15は、専ら例示を目的として提供されており、当業者は、VMファブリックプロファイルを構成するデータの記憶装置を設計および監理する数多くのやり方が存在することを理解するであろう。さらに、上記VMファブリックプロファイルコンテンツのリストは、限定ではなく例示を意図したものであり、仮想マシンファブリックプロファイルのその他の実施形態は、より多くのまたはより少ないその他のコンテンツを含み得る。一実施形態に従うと、
図15に示されるデータベースコンポーネントは、ファブリックについてその他の関連情報を保持するより大きなファブリックマネージャデータベースの一部であってもよく、その他のテーブルと相互に関連付けることにより、ファブリックマネージャおよびその他のファブリックコンポーネントの機能を向上させることができる。
【0149】
一実施形態において、ユーザは、ファブリックマネージャのインターフェイスを通して仮想マシンファブリックプロファイルと対話する。たとえば、ユーザは、ファブリックマネージャを通してVMファブリックプロファイルを作成、編集、および削除し得る。一実施形態に従うと、ファブリックプロファイル情報の一部は、VMファブリックプロファイル(たとえばVMファブリックプロファイルの論理名)を作成または編集するユーザによって提供され、この情報のその他の部分は、ファブリックマネージャによって、または、ファブリックマネージャが作成されているサブネットのローカルSMによって提供される(たとえばVM−id、vHCAインスタンスID、またはvGUID)。
【0150】
一実施形態に従うと、仮想マシンファブリックプロファイルの作成は、VMファブリックプロファイルが対応付けられているファブリックリソースの管理特権を表わす管理コンテキストにおいて行なわれてもよい。たとえば、ドメイン管理は、VMファブリックプロファイルに対して構成されているvHCAと同じリソースドメイン(および同じ管理パーティション)のメンバであるHCAを有するノードが使用するために、VMファブリックプロファイルを作成する。作成されたVMファブリックプロファイルは、(論理)リソースでありかつそれが作成されたリソースドメインのメンバであるとみなされる。このように、同じ管理パーティションのメンバであるおかげで、VMファブリックプロファイルのvHCAは、リソースドメインのメンバでもあるHCAのVFのうちいずれかとともに登録される許可を得る。こうして管理オーバーヘッドは緩和される。
【0151】
一実施形態に従うと、ファブリックレベルまたはドメインレベルアドミニストレータユーザは、「仮想マシンマネージャ」(Virtual Machine Manager:VMM)と名付けられたファブリックマネージャのコンポーネントを用いることにより、VMファブリックプロファイルをセットアップし構成することができる。VMMは、VMファブリックプロファイルの作成においてファブリックREST APIを使用することができる。ユーザは、たとえばファブリックマネージャのGUIを通してVMMにアクセスすることができる。一実施形態に従うと、管理ユーザは、VMファブリックプロファイルに関連する特定のパラメータ(プロファイルに対応付けられるvHCAの論理名、プロファイルタイプ、および数など)を提供することができ、その他のパラメータ(VM−id、vGUID、およびプロファイルに対応付けられた各vHCAのvHCAインスタンスIDなど)は、VMMによって自動的に生成し割当てることができる。VMファブリックプロファイルの更新および削除などのその他のCRUDアクションは、ファブリックマネージャ、具体的にはVMMを通して、アドミニストレータユーザが利用することもできる。
【0152】
一実施形態に従うと、VMファブリックプロファイルの構築に必要なパラメータすべてがVMMを介して供給されると、ファブリックマネージャは、アドミニストレータユーザおよびVMMによって指定された属性を有するVMファブリックプロファイルオブジェクトのインスタンスを作成し、このVMファブリックプロファイルオブジェクトをファブリックレベルデータベースに永続化することができる。
【0153】
一実施形態に従うと、オペレーショナルネットワークファブリックにおいて、VMファブリックプロファイルは、SMのキャッシュに、1つまたは複数の記録として保持することができる。VMファブリックプロファイルは、(たとえばSMが起動したときに)SMによってファブリックデータベースから取出され(すなわちコピーされ)てもよく、または、ファブリックデータベースに永続化される前にキャッシュに置かれてもよい。このキャッシュは、揮発性メモリであっても不揮発性メモリであってもよい。VM−idを、キャッシュにクエリするためのキーとして用いることにより、特定のVMファブリックプロファイルの属性を取出してもよい。
【0154】
クエリを受けるたびに、VMファブリックプロファイルを、永続化された状態から(すなわちファブリックデータベースから)取出すのではなく、SM上の高速キャッシュに保持することによって、VMファブリックプロファイル属性のルックアップがSMに対して課す可能性があるオーバーヘッドを最小にすることができる。これは、VMおよびホストの起動中に、どのHCA VMとペアにすることができどのHCA VMとペアにするかを確定するのにファブリックプロファイルデータが必要なときは、特に重要である。
【0155】
図16は、VMファブリックプロファイルをサブネットリソースが利用できるようにするためのフローチャートである。
【0156】
ステップ1610において、VMのセットアップパラメータおよび構成を含むVMファブリックプロファイルが規定される。
【0157】
ステップ1620において、VMファブリックプロファイルはファブリックレベルデータベースに格納される。
【0158】
ステップ1630において、VMファブリックプロファイルは、サブネットマネージャ上の高速メモリキャッシュを通して利用できるようにされる。
【0159】
ステップ1640において、VMファブリックプロファイルデータが、高速メモリキャッシュに向けられたVM−idルックアップ要求に基づいてサブネットマネージャから戻される。
【0160】
図17は、仮想マシンの仮想マシンファブリックプロファイルを作成するためのフローチャートである。
【0161】
ステップ1710において、仮想マシン識別子(VM−id)が生成される。
ステップ1720において、仮想ホストチャネルアダプタ(vHCA)を特定する仮想ホストチャネルアダプタインスタンスIDが生成される。
【0162】
ステップ1730において、仮想グローバル一意識別子(vGUID)が、グローバル一意識別子のプールから、vHCAの仮想ポートの現在のファブリックアドレスとして割当てられる。
【0163】
ステップ1740において、管理パーティションを規定するP_KeyとvGUIDとの間の第1の関係が作成される。このP_KeyとvGUIDとの間の関係は、vGUIDが現在のファブリックアドレスとして割当てられている仮想ポートを、P_Keyによって規定される管理パーティションのメンバとして規定する。
【0164】
ステップ1750において、VM−idとvHCAインスタンスIDとの間の第2の関係が作成される。この第2の関係により、vHCAインスタンスIDを、VM−idへのアクセスを通して取出すことができる。
【0165】
ステップ1760において、VM−idとvGUIDとの間の第3の関係が作成される。この第3の関係により、vGUIDを、VM−idへのアクセスを通して取出すことができる。
【0166】
ステップ1770において、VM−id、仮想ホストチャネルアダプタインスタンスID、vGUID、第1の関係、第2の関係、および第3の関係を、VM−id、仮想ホストチャネルアダプタ、vGUID、第1の関係、第2の関係、および第3の関係を保存するフォーマットで永続化する。
【0167】
本発明の多数の特徴は、ハードウェア、ソフトウェア、ファームウェア、またはこれらを組合わせたものにおいて、これを用いて、またはこれに支援されて、実施することができる。したがって、本発明の特徴は、処理システム(たとえば1つ以上のプロセッサを含む)を用いて実現し得る。
【0168】
この発明の特徴は、ここに提示された特徴のうちのいずれかを行なうように処理システムをプログラミングするために使用可能な命令を格納した記憶媒体またはコンピュータ読取可能媒体であるコンピュータプログラムプロダクトにおいて、それを使用して、またはその助けを借りて実現され得る。記憶媒体は、フロッピー(登録商標)ディスク、光ディスク、DVD、CD−ROM、マイクロドライブ、および光磁気ディスクを含む任意のタイプのディスク、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、フラッシュメモリ装置、磁気カードもしくは光カード、ナノシステム(分子メモリICを含む)、または、命令および/もしくはデータを格納するのに好適な任意のタイプの媒体もしくは装置を含み得るものの、それらに限定されない。
【0169】
この発明の特徴は、機械読取可能媒体のうちのいずれかに格納された状態で、処理システムのハードウェアを制御するために、および処理システムがこの発明の結果を利用する他の機構とやり取りすることを可能にするために、ソフトウェアおよび/またはファームウェアに取込まれ得る。そのようなソフトウェアまたはファームウェアは、アプリケーションコード、装置ドライバ、オペレーティングシステム、および実行環境/コンテナを含み得るものの、それらに限定されない。
【0170】
この発明の特徴はまた、たとえば、特定用途向け集積回路(application specific integrated circuit:ASIC)などのハードウェアコンポーネントを使用して、ハードウェアにおいて実現されてもよい。ここに説明された機能を行なうようにハードウェアステートマシンを実現することは、関連技術の当業者には明らかであろう。
【0171】
加えて、この発明は、この開示の教示に従ってプログラミングされた1つ以上のプロセッサ、メモリおよび/またはコンピュータ読取可能記憶媒体を含む、1つ以上の従来の汎用または特殊デジタルコンピュータ、コンピューティング装置、マシン、またはマイクロプロセッサを使用して都合よく実現され得る。ソフトウェア技術の当業者には明らかであるように、この開示の教示に基づいて、適切なソフトウェアコーディングが、熟練したプログラマによって容易に準備され得る。
【0172】
この発明のさまざまな実施形態が上述されてきたが、それらは限定のためではなく例示のために提示されたことが理解されるべきである。この発明の精神および範囲から逸脱することなく、形状および詳細のさまざまな変更を行なうことができることは、関連技術の当業者には明らかであろう。
【0173】
この発明は、特定された機能およびそれらの関係の実行を示す機能的構築ブロックの助けを借りて上述されてきた。説明の便宜上、これらの機能的構築ブロックの境界は、この明細書中ではしばしば任意に規定されてきた。特定された機能およびそれらの関係が適切に実行される限り、代替的な境界を規定することができる。このため、そのようないかなる代替的な境界も、この発明の範囲および精神に含まれる。
【0174】
この発明の前述の説明は、例示および説明のために提供されてきた。それは、網羅的であるよう、またはこの発明を開示された形態そのものに限定するよう意図されてはいない。この発明の幅および範囲は、上述の例示的な実施形態のいずれによっても限定されるべきでない。多くの変更および変形が、当業者には明らかになるだろう。これらの変更および変形は、開示された特徴の関連するあらゆる組合せを含む。実施形態は、この発明の原理およびその実用的応用を最良に説明するために選択され説明されたものであり、それにより、考えられる特定の使用に適したさまざまな実施形態についての、およびさまざまな変更例を有するこの発明を、当業者が理解できるようにする。この発明の範囲は、請求項およびそれらの同等例によって定義されるよう意図されている。