特許 7475491 仮想ポート識別子を使用するフロー処理オフロード

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-18

(45)【発行日】2024-04-26

(54)【発明の名称】仮想ポート識別子を使用するフロー処理オフロード

(51)【国際特許分類】

   H04L 49/60 20220101AFI20240419BHJP

   H04L 49/25 20220101ALI20240419BHJP

   H04L 49/35 20220101ALI20240419BHJP

   G06F 13/10 20060101ALI20240419BHJP

   G06F 13/12 20060101ALI20240419BHJP

【ＦＩ】

H04L49/60

H04L49/25

H04L49/35

G06F13/10 330C

G06F13/12 340C

【請求項の数】 23

(21)【出願番号】P 2022564064

(86)(22)【出願日】2021-07-17

(65)【公表番号】

(43)【公表日】2023-07-19

(86)【国際出願番号】 US2021042115

(87)【国際公開番号】W WO2022066267

(87)【国際公開日】2022-03-31

【審査請求日】2022-12-20

(31)【優先権主張番号】17/114,994

(32)【優先日】2020-12-08

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】63/084,436

(32)【優先日】2020-09-28

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/114,975

(32)【優先日】2020-12-08

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】514097912

【氏名又は名称】ヴィーエムウェア エルエルシー

【氏名又は名称原語表記】ＶＭｗａｒｅ ＬＬＣ

【住所又は居所原語表記】３４０１ Ｈｉｌｌｖｉｅｗ Ａｖｅ．， Ｐａｌｏ Ａｌｔｏ， ＣＡ ９４３０３， Ｕ．Ｓ．Ａ

(74)【代理人】

【識別番号】100087642

【弁理士】

【氏名又は名称】古谷 聡

(74)【代理人】

【識別番号】100082946

【弁理士】

【氏名又は名称】大西 昭広

(74)【代理人】

【識別番号】100195693

【弁理士】

【氏名又は名称】細井 玲

(74)【代理人】

【識別番号】100203242

【弁理士】

【氏名又は名称】河戸 春樹

(74)【代理人】

【識別番号】100212657

【弁理士】

【氏名又は名称】塚原 一久

(72)【発明者】

【氏名】アン， ブーン エス．

(72)【発明者】

【氏名】ジャン， ウェンイ

(72)【発明者】

【氏名】ヤン， グオリン

(72)【発明者】

【氏名】ヘオ， ジン

(72)【発明者】

【氏名】ムラーリ， スリヴィディヤ

【審査官】和平 悠希

(56)【参考文献】

【文献】特開２０１９－１６１３１９（ＪＰ，Ａ）

【文献】特開２０１５－０３９１６６（ＪＰ，Ａ）

【文献】特開２０１７－１４７５９７（ＪＰ，Ａ）

【文献】特表２０１５－５１５７９８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｌ １２／００－１２／６６

Ｈ０４Ｌ ４１／００－１０１／６９５

Ｇ０６Ｆ １３／１０

Ｇ０６Ｆ １３／１２

(57)【特許請求の範囲】

【請求項1】

ホスト・コンピュータに接続された物理ネットワーク・インタフェース・カード（ｐＮＩＣ）において前記ホスト・コンピュータのためにフロー処理オフロード（ＦＰＯ）を提供するための方法であって、前記方法は、
前記ｐＮＩＣの第１のインタフェースにおいて特定のデータ・メッセージ・フローのデータ・メッセージを受信することであって、前記ｐＮＩＣは、前記特定のデータ・メッセージ・フローのデータ・メッセージのための宛先として特定の仮想ポート識別子（ＶＰＩＤ）を指定するフロー・エントリを記憶する、ことと、
ＶＰＩＤの集合及び物理ポート識別子（ＰＰＩＤ）の対応する集合を記憶するマッピング・テーブルにおいてルックアップを実行することによって、前記特定のＶＰＩＤを使用して、前記受信されたデータ・メッセージの宛先としてＰＰＩＤを識別することと、
前記識別されたＰＰＩＤに関連付けられた前記ｐＮＩＣの第２のインタフェースへ前記データ・メッセージを転送することと、を有する方法。

【請求項2】

請求項１に記載の方法であって、
前記フロー・エントリは、前記特定のデータ・メッセージ・フロー内の第１のデータ・メッセージを、前記第１のデータ・メッセージの宛先を決定するために処理し、前記第１のデータ・メッセージの前記処理の結果に基づいて前記ｐＮＩＣに前記フロー・エントリを提供するフロー処理及びアクション・ジェネレータから受信され、
前記マッピング・テーブルは、前記フロー処理及びアクション・ジェネレータによって受信されたＶＰＩＤ及びＰＰＩＤに関する構成データに基づいてマッピングの前記集合を生成する前記フロー処理及びアクション・ジェネレータから前記ｐＮＩＣにおいて受信されたＶＰＩＤとＰＰＩＤとの間のマッピングを記憶する、方法。

【請求項3】

請求項２に記載の方法であって、データ・メッセージ・フローの集合ためのデータ・メッセージ処理に影響を与える変更の後に、前記ｐＮＩＣは、前記フロー処理及びアクション・ジェネレータから受信された更新に基づいて前記マッピング・テーブルを更新し、
データ・メッセージ処理に影響を与える前記変更は、（ｉ）前記ｐＮＩＣの前記インタフェースと、（ｉｉ）前記ホスト・コンピュータ上で実行されるマシンの前記インタフェースとのうちの少なくとも１つに関する変更を含む、方法。

【請求項4】

請求項３に記載の方法であって、前記変更は、前記ホスト・コンピュータ上で実行されるマシンの第１のｖＮＩＣと前記ｐＮＩＣの第１のインタフェースとの間の関連付けから、前記第１のｖＮＩＣと前記ｐＮＩＣの第２のインタフェースとの間の関連付けへの変更であり、前記第１のｖＮＩＣは第１のＶＰＩＤに関連付けられ、前記ｐＮＩＣの前記第１のインタフェースは第１のＰＰＩＤに関連付けられ、前記ｐＮＩＣの前記第２のインタフェースは第２のＰＰＩＤに関連付けられ、前記マッピング・テーブルへの前記更新は、前記第１のＰＰＩＤへの前記第１のＶＰＩＤのマッピングを、前記第２のＰＰＩＤへの前記第１のＶＰＩＤのマッピングに更新し、前記受信されたデータ・メッセージは第１のデータ・メッセージであり、前記識別されたＰＰＩＤは前記第１のＰＰＩＤであり、前記方法は、
前記マッピング・テーブルが更新された後に、前記特定のデータ・メッセージ・フローの第２のデータ・メッセージを受信することと、
（ｉ）前記特定のデータ・メッセージ・フローのデータ・メッセージのための前記宛先として前記第１のＶＰＩＤを指定する前記フロー・エントリと、（ｉｉ）前記第１のＶＰＩＤに関連付けられたＰＰＩＤについての前記更新されたマッピング・テーブルにおけるルックアップとに基づいて、前記受信されたデータ・メッセージの宛先として前記第２のＰＰＩＤを識別することと、
前記第２のＰＰＩＤに関連付けられた前記ｐＮＩＣの前記第２のインタフェースへ前記データ・メッセージを転送することと、をさらに有する、方法。

【請求項5】

請求項４に記載の方法であって、
前記第２のＰＰＩＤは複数のＶＰＩＤに関連付けられ、
前記第２のＰＰＩＤへの前記第１のＶＰＩＤの前記マッピングは、前記第１のＶＰＩＤへ宛てられたデータ・メッセージが、前記第２のＰＰＩＤに関連付けられた前記ｐＮＩＣの前記第２のインタフェースへ、前記第１のＶＰＩＤとともに転送されるべきであることのインジケーションを含み、
前記第２のデータ・メッセージを前記ｐＮＩＣの前記第２のインタフェースへ転送することは、前記第１のＶＰＩＤとともに前記データ・メッセージを転送することを含み、前記第１のＶＰＩＤは、前記第２のデータ・メッセージを前記第１のｖＮＩＣへ向かわせるために前記ホスト・コンピュータ上で実行されるソフトウェア・スイッチによって使用される、方法。

【請求項6】

請求項５に記載の方法であって、前記マッピング・テーブルを更新する前に、
前記第１のＰＰＩＤは前記第１のＶＰＩＤのみに関連付けられ、
前記第１のＶＰＩＤに宛てられたデータ・メッセージは、前記ソフトウェア・スイッチを横断することなく前記第１のｖＮＩＣに配信され、
前記ＶＰＩＤは、前記第１のＰＰＩＤに関連付けられた前記ｐＮＩＣの前記第２のインタフェースへデータ・メッセージとともに転送されていない、方法。

【請求項7】

請求項３に記載の方法であって、前記ホスト・コンピュータは、前記ｐＮＩＣに接続された複数のホスト・コンピュータにおける第１のホスト・コンピュータであり、前記ｐＮＩＣは、前記複数のホスト・コンピュータにおける各ホスト・コンピュータのためにＦＰＯを提供し、各ホスト・コンピュータは、前記複数のホスト・コンピュータにおける異なるホストに関連付けられていないＰＰＩＤの少なくとも１つの集合に関連付けられる、方法。

【請求項8】

請求項７に記載の方法であって、データ・メッセージ処理に影響を与える前記変更は、前記第１のホスト・コンピュータから前記複数のホスト・コンピュータにおける第２のホスト・コンピュータへマシンがマイグレーションすることを含み、前記フロー処理及びアクション・ジェネレータから受信される前記更新は、前記マシンに関連付けられたＶＰＩＤのための、前記第２のホスト・コンピュータに関連付けられたＰＰＩＤの前記集合内のＰＰＩＤへの新たなマッピングを含み、前記新たなマッピングは、前記マシンに関連付けられた前記ＶＰＩＤの、前記第１のホスト・コンピュータに関連付けられたＰＰＩＤの前記集合内のＰＰＩＤへの以前のマッピングに置き換わる、方法。

【請求項9】

請求項７に記載の方法であって、前記フロー処理及びアクション・ジェネレータは、前記ｐＮＩＣの処理ユニットの集合と、前記複数のホスト・コンピュータのうちの１つにおける処理ユニットの集合とのうちの少なくとも１つで実行される、方法。

【請求項10】

請求項３に記載の方法であって、
データ・メッセージ処理に影響を与える前記変更は、データ・メッセージの特定の集合を外部の宛先へ転送するために使用する物理アップリンク・ポートの選択への変更であり、
前記ｐＮＩＣは、第１のＰＰＩＤに関連付けられた第１の物理アップリンク・ポートと、第２のＰＰＩＤに関連付けられた第２の物理アップリンク・ポートとを含み、
第１のＶＰＩＤは、データ・メッセージの前記特定の集合に関連付けられたフロー・エントリにおける宛先ＶＰＩＤとして指定され、
前記マッピング・テーブルへの前記更新は、前記第１のＰＰＩＤへの前記第１のＶＰＩＤのマッピングを、前記第２のＰＰＩＤへの前記第１のＶＰＩＤのマッピングに更新する、方法。

【請求項11】

請求項１０に記載の方法であって、前記物理アップリンク・ポートの前記選択への前記変更は、前記第１の物理アップリンク・ポートの障害と、データ・メッセージの前記特定の集合のために使用する物理アップリンク・ポートを選択するために実行される負荷分散動作とのうちの少なくとも１つに基づく、方法。

【請求項12】

請求項１に記載の方法であって、前記特定のＶＰＩＤは第１のＶＰＩＤであり、前記特定のデータ・メッセージ・フローは第１のデータ・メッセージ・フローであり、前記データ・メッセージは第１のデータ・メッセージであり、前記フロー・エントリは第１のフロー・エントリであり、前記方法は、
前記ｐＮＩＣのインタフェースにおいて第２のデータ・メッセージ・フローの第２のデータ・メッセージを受信することであって、前記ｐＮＩＣは、前記第２のデータ・メッセージ・フローのデータ・メッセージのための宛先として第２のＶＰＩＤを指定する第２のフロー・エントリを記憶する、ことと、
前記第２のＶＰＩＤのためのマッピングが前記マッピング・テーブルに現れないことを判定することと、
フロー処理及びアクション・ジェネレータに関連付けられた前記ｐＮＩＣのインタフェースへ前記データ・メッセージを転送することと、
前記第２のデータ・メッセージ・フローのデータ・メッセージのための宛先として第３のＶＰＩＤと指定する第３のフロー・エントリを受信することであって、前記第３のＶＰＩＤは、対応するＰＰＩＤとともに前記マッピング・テーブルに現れる、ことと、
前記第２のフロー・エントリを削除することと、をさらに有する、方法。

【請求項13】

請求項１２に記載の方法であって、
前記ｐＮＩＣの前記インタフェースへ前記データ・メッセージを転送することは、前記転送されるデータ・メッセージとともに、前記第２のフロー・エントリの識別子を前記フロー処理及びアクション・ジェネレータへ送信することを含み、
前記第２のフロー・エントリを削除することは、前記フロー処理及びアクション・ジェネレータから受信された前記第２のフロー・エントリを削除することの命令に応じて前記フロー・エントリを削除することを含む、方法。

【請求項14】

請求項１に記載の方法であって、前記受信されるデータ・メッセージは、特定のＰＰＩＤに関連付けられている前記ｐＮＩＣの第３のインタフェースにおいて受信され、前記方法は、
前記特定のＰＰＩＤを、対応する変換されたＶＰＩＤに変換するために前記マッピング・テーブルを使用することと、
前記変換されたＶＰＩＤに基づいて前記特定のデータ・メッセージ・フローのための前記フロー・エントリを識別することと、をさらに有する、方法。

【請求項15】

請求項１に記載の方法であって、前記特定のＶＰＩＤは第１のＶＰＩＤであり、前記特定のデータ・メッセージ・フローは第１のデータ・メッセージ・フローであり、前記データ・メッセージは第１のデータ・メッセージであり、前記フロー・エントリは第１のフロー・エントリであり、前記識別されたＰＰＩＤは第１のＰＰＩＤであり、前記ｐＮＩＣは、複数のＶＰＩＤに関連付けられた第３のインタフェースを含み、前記方法は、
第２のデータ・メッセージに関連付けられた第２のＶＰＩＤとともに、前記ｐＮＩＣの前記第３のインタフェースにおいて第２のデータ・メッセージ・フローの前記第２のデータ・メッセージを受信することと、
前記第２のＶＰＩＤに基づいて前記第２のデータ・メッセージ・フローのデータ・メッセージのための宛先として第３のＶＰＩＤを指定する第２のフロー・エントリを識別することと、
前記マッピング・テーブルにおいてルックアップを実行することによって、前記第３のＶＰＩＤを使用して、前記第２のデータ・メッセージの宛先として第２のＰＰＩＤを識別することと、
前記第２のＰＰＩＤに関連付けられた前記ｐＮＩＣの第４のインタフェースへ前記データ・メッセージを転送することと、をさらに有する、方法。

【請求項16】

少なくとも１つの処理ユニットによって実行された場合に請求項１乃至１５の何れか１項に記載の方法を実施するプログラム。

【請求項17】

電子デバイスであって、
処理ユニットの集合と、
前記処理ユニットのうちの少なくとも１つによって実行された場合に請求項１乃至１５の何れか１項に記載の方法を実施するプログラムを記憶するマシン可読媒体と、を備える、電子デバイス。

【請求項18】

請求項１乃至１５の何れか１項に記載の方法を実施するための手段を備えるシステム。

【請求項19】

ホスト・コンピュータ上で実行されるマシンの集合のためのフロー処理オフロード（ＦＰＯ）を実行するために前記ホスト・コンピュータに接続された物理ネットワーク・インタフェース・カード（ｐＮＩＣ）であって、前記ｐＮＩＣは、
前記ホスト・コンピュータ上で実行されるマシンの前記集合のインタフェースの仮想ポート識別子（ＶＰＩＤ）と、前記ｐＮＩＣのインタフェースの物理ポート識別子（ＰＰＩＤ）との間のマッピングの集合を記憶するメモリ・ユニットの第１の集合と、
データ・メッセージ・フローの集合のためのフロー・エントリの集合を記憶するメモリ・ユニットの第２の集合であって、各フロー・エントリは、ＶＰＩＤを使用して宛先を指定する、メモリ・ユニットの第２の集合と、
受信されたデータ・メッセージについて、（１）前記データ・メッセージの宛先としてＶＰＩＤを指定するフロー・エントリを識別し、（２）前記受信されたデータ・メッセージのための出口インタフェースとして前記ｐＮＩＣのインタフェースを識別するために前記ＶＰＩＤ及びマッピングの前記集合を使用するＦＰＯハードウェアと、を備える、ｐＮＩＣ。

【請求項20】

請求項１９に記載のｐＮＩＣであって、
ＶＰＩＤとＰＰＩＤとの間のマッピングの前記集合は、フロー処理及びアクション・ジェネレータによって受信されたＶＰＩＤ及びＰＰＩＤに関する構成データに基づいてマッピングの前記集合を生成する前記フロー処理及びアクション・ジェネレータから前記ｐＮＩＣにおいて受信され、
フロー・エントリの前記集合は、第１のデータ・メッセージの宛先を決定するためにデータ・メッセージ・フローの前記集合における各データ・メッセージ・フローにおける前記第１のデータ・メッセージを処理し、前記データ・メッセージ・フローのための前記第１のデータ・メッセージの前記処理の結果に基づいてデータ・メッセージ・フローの前記集合における前記データ・メッセージ・フローのための前記フロー・エントリを前記ｐＮＩＣに提供する前記フロー処理及びアクション・ジェネレータから受信される、ｐＮＩＣ。

【請求項21】

請求項２０に記載のｐＮＩＣであって、前記フロー処理及びアクション・ジェネレータは、前記ｐＮＩＣの処理ユニットの集合と、前記ホスト・コンピュータの処理ユニットの集合との少なくとも一方で実行される、ｐＮＩＣ。

【請求項22】

請求項１９に記載のｐＮＩＣであって、メモリ・ユニットの前記第１及び第２の集合のうちの少なくとも１つは、コンテンツ・アドレス可能メモリ・ユニットである、ｐＮＩＣ。

【請求項23】

請求項１９に記載のｐＮＩＣであって、前記ｐＮＩＣは、（１）前記ホスト・コンピュータのソフトウェア・スイッチに接続するための物理機能と、（２）仮想機能とのうちの少なくとも１つとして構成された１つのインタフェースを備える、ｐＮＩＣ。

【発明の詳細な説明】

【技術分野】

【0001】

通常はサーバに関連付けられたより多くの動作が、プログラマブル・ネットワーク・インタフェース・コントローラ（ネットワーク・インタフェース・カード）にプッシュされている。プログラマブルＮＩＣにプッシュされる動作の一部は、仮想化計算ノードのためのフロー処理を含む。これらのプログラマブルＮＩＣがより普及し、仮想化ネットワークに代わってより多くのフロー処理を実行するため、フロー処理への最適化は、プログラマブルＮＩＣの機能を強化するだろう。したがって、プログラマブルＮＩＣにオフロードされたフロー処理を最適化することが望ましい。

【発明の概要】

【0002】

本発明のいくつかの実施形態は、物理ネットワーク・カード又は物理ネットワーク・コントローラ（ｐＮＩＣ）を構成して、ｐＮＩＣに接続されたホスト・コンピュータにフロー処理オフロード（ＦＰＯ）を提供するための方法を提供する。ホスト・コンピュータは、仮想ネットワーク内の計算ノード（例えば、仮想マシン、ポッド、コンテナなど）の集合をホストする。計算ノードの集合はそれぞれ、仮想ネットワーク・コントローラによってそれぞれローカルに一意の仮想ポート識別子（ＶＰＩＤ）を割り当てられたインタフェース（仮想ＮＩＣ、ポートなど）の集合に関連付けられる。ｐＮＩＣは、ｐＮＩＣによって物理ポート識別子（ＰＰＩＤ）が割り当てられたインタフェース（物理ネットワークに接続された物理ポート、ペリフェラル・コンポーネント・インタコネクト・エクスプレス（ＰＣＩｅ）ポート、物理機能（ＰＦ）、仮想機能（ＶＦ）など）の集合を含む。本方法は、ＶＰＩＤとＰＰＩＤとの間のマッピングの集合をｐＮＩＣに提供することを含む。本方法はまた、計算ノードを移行し、ｐＮＩＣの異なるインタフェースへ接続し、異なるＶＰＩＤが割り当てられる際にマッピングへの更新を送信することを含む。いくつかの実施形態の方法は、フロー処理及び動作ジェネレータによって実行される。いくつかの実施形態において、フロー処理及びアクション・ジェネレータはホスト・コンピュータの処理ユニット上で実行され、一方、他の実施形態において、フロー処理及びアクション・ジェネレータは、フロー処理ハードウェア及びプログラマブル処理ユニットの集合を含むｐＮＩＣの処理ユニットの集合上で実行される。

【0003】

本方法は、計算ノードの集合に関連付けられたデータ・メッセージ・フローの集合のためのフロー・エントリの集合をｐＮＩＣに提供することをさらに含む。いくつかの実施形態において、フロー・エントリの集合は、ＶＰＩＤを使用して、マッチング基準の集合及びアクションの一方又は両方を規定する。いくつかの実施形態において、アクションは宛先を指定する。いくつかの実施形態において、各宛先は、ＶＰＩＤに関して指定され、ｐＮＩＣは、マッピングの集合を使用して、ＶＰＩＤをＰＰＩＤ（すなわち、出口インタフェース）に解決する。いくつかの実施形態において、各フロー・エントリは、特定のデータ・メッセージ・フローのためのものであり、データ・メッセージ・フローにおいて受信された第１のデータ・メッセージに基づいて生成される。いくつかの実施形態において、フロー・エントリは、仮想（例えば、ソフトウェア）スイッチによって実行されるデータ・メッセージ処理の結果に基づいて生成され、ｐＮＩＣがデータ・メッセージ・フロー内の後続のデータ・メッセージを処理することを可能にするためにｐＮＩＣに提供される。

【0004】

いくつかの実施形態において、ｐＮＩＣは、接続されたホスト・コンピュータ上で実行される計算ノードの集合のためのフロー処理を実行するために、フロー・エントリの集合及びマッピングをネットワーク処理ハードウェアに記憶する。いくつかの実施形態において、フロー・エントリ及びマッピング・テーブルは、高速ルックアップを実行するために、別個のメモリ・キャッシュ（例えば、コンテンツ・アドレス可能メモリ（ＣＡＭ）、３値ＣＡＭ（ＴＣＡＭ）など）に記憶される。いくつかの実施形態において、ｐＮＩＣは、ｐＮＩＣのインタフェースにおいてデータ・メッセージを受信し、ネットワーク処理ハードウェアによって記憶されたフロー・エントリの集合においてルックアップを実行して、データ・メッセージに関連付けられたマッチング基準に基づいてデータ・メッセージのためのアクションを識別する。いくつかの実施形態において、フロー・エントリは、データ・メッセージ・フローを識別するための基準の集合と、ＶＰＩＤによって識別されるインタフェースへデータ・メッセージを転送することを指定するアクションとを含む。受信されたデータ・メッセージのための宛先としてＶＰＩＤを指定するフロー・エントリが存在するならば、ｐＮＩＣは、ＶＰＩＤ対ＰＰＩＤマッピングにおいてルックアップを実行して、ＶＰＩＤに関連付けられたｐＮＩＣのインタフェースを識別する。その後、ｐＮＩＣは、指定された宛先ＶＰＩＤにマッピングされたＰＰＩＤによって識別されるｐＮＩＣのインタフェースへデータ・メッセージを転送する。

【0005】

いくつかの実施形態において、ネットワーク処理ハードウェアはまた、他のフロー・エントリと一致しないデータ・メッセージの宛先としてｐＮＩＣのインタフェースを識別するデフォルト・フロー・エントリでプログラムされる。いくつかの実施形態において、識別されたインタフェースは、データ・メッセージをフロー処理及びアクション・ジェネレータの仮想（例えば、ソフトウェア）スイッチへ転送するために使用されるインタフェースである。いくつかの実施形態において、仮想スイッチは、第１のデータ・メッセージ処理（例えば、低速パス処理）を実行し、処理の結果に基づいて、データ・メッセージが属するデータ・メッセージ・フロー内の後続のデータ・メッセージを処理するために、フロー・エントリをネットワーク処理ハードウェアへ返す。

【0006】

いくつかの実施形態は、計算ノードがｐＮＩＣの異なるインタフェースに接続する場合に、ＶＰＩＤ対ＰＰＩＤマッピングを更新するための方法を提供する。いくつかの実施形態において、ｐＮＩＣの異なるインタフェースへ接続することは、計算ノードがｐＮＩＣの異なるインタフェースにマイグレーションされること、又はｐＮＩＣが複数のホスト・コンピュータのためにＦＰＯを提供する場合にはｐＮＩＣの異なるインタフェースに接続される異なるホスト・コンピュータにマイグレーションされることにさえ起因して生じる。いくつかの実施形態において、ｐＮＩＣの異なるインタフェースに接続することは、ＶＭが（例えば、ＶＦに接続された）パススルー・モードから（例えば、ＰＦに接続された）エミュレート・モードに、又はその逆に遷移することに基づく。そのような場合、計算ノード・インタフェースが現在異なるｐＮＩＣインタフェースに（すなわち、異なるＰＰＩＤで）接続されているにもかかわらず、宛先として計算ノード・インタフェースのＶＰＩＤを識別するフロー・エントリは、依然として有効である。これらのフロー・エントリに一致するデータ・メッセージは、現在接続されているｐＮＩＣインタフェースのＰＰＩＤへのＶＰＩＤの更新されたマッピングを識別するマッピング・テーブル内のルックアップに基づいて、計算ノード・インタフェースに現在接続されているｐＮＩＣインタフェースに向けられる。

【0007】

いくつかの実施形態において、本方法は、リンク・アグリゲーション（例えば、ＬＡＣＰ、トランキング、バンドリング、チーミングなど）が可能にされる物理ネットワークに接続された複数の物理ポート（ＰＰ）をｐＮＩＣが含む場合も扱う。いくつかの実施形態において、物理ネットワークに接続された第１のＰＰの第１のＰＰＩＤへの第１のＶＰＩＤのマッピングは、（１）第１のＰＰの障害の場合、又は（２）ＶＰＩＤに関連付けられたトラフィックを第１のＰＰの代わりに第２のＰＰへ向かわせるための更新された負荷分散決定の場合に、物理ネットワークに接続された第２のＰＰの第２のＰＰＩＤに第１のＶＰＩＤをマッピングするように更新される。

【0008】

いくつかの実施形態において、計算ノード・インタフェースの構成の変更後に新たなＶＰＩＤが割り当てられる計算ノード・インタフェースについて、ｖＮＩＣが依然としてｐＮＩＣの同じインタフェースに接続されている場合であっても、ＰＰＩＤに対する更新されたＶＰＩＤが必要とされる。いくつかの実施形態において、更新されたＶＰＩＤ対ＰＰＩＤマッピングの任意のものについて、フロー処理及びアクション・ジェネレータは、命令の集合（例えば、２つの別個の命令又は２つのアクションを実行するための単一の命令）を送信して、無効なＶＰＩＤ対ＰＰＩＤマッピングを削除し、ＶＰＩＤとＰＰＩＤとの間の更新された関連付けのための新たなＶＰＩＤ対ＰＰＩＤマッピングを作成する。計算ノード・インタフェースの構成が変わったため、いくつかの以前のデータ・メッセージ・フローもはや有効ではなく、それらのデータ・メッセージ・フローのフロー・エントリに一致する任意のデータ・メッセージは、計算ノード・インタフェースの新たな構成に基づいて評価するために、フロー処理及びアクション・ジェネレータの仮想スイッチにリダイレクトされる。いくつかの実施形態において、仮想スイッチへのリダイレクトは、「故障」（例えば、マッピング・テーブル内にＶＰＩＤについてのエントリがないことを示すヌル結果又は他の結果）を返すＶＰＩＤ対ＰＰＩＤマッピング・テーブル内のルックアップに基づく。いくつかの実施形態において、フロー・エントリに一致するがＶＰＩＤ対ＰＰＩＤマッピングとの一致に失敗したデータ・メッセージは、ネットワーク処理ハードウェアによって記憶されたフロー・エントリの集合から無効なフロー・エントリ（すなわち、もはや存在しないＶＰＩＤを指すフロー・エントリ）を削除するようにフロー処理及びアクション・ジェネレータがｐＮＩＣに命令することを可能にするために、データ・メッセージが一致したフロー・エントリの識別子とともにフロー処理及びアクション・ジェネレータへ転送される。

【0009】

いくつかの実施形態において、フロー処理及びアクション・ジェネレータは、ソース宛先ＶＰＩＤとして識別された各ＶＰＩＤについて生成されたフロー・エントリに関する情報を記憶する。特定の計算ノード・インタフェースのためのＶＰＩＤが（例えば、上述されたように）無効化され、新たな構成が有効になった場合に、フロー処理及びアクション・ジェネレータは、無効化されたＶＰＩＤに関連付けられたフロー・エントリを識別し、ネットワーク処理ハードウェアによって記憶されたフロー・エントリの集合から、識別されたフロー・エントリを削除するようにｐＮＩＣに指示できる。このプロセスは、構成変更が有効になる前に実行される必要はなく、処理能力が利用可能な場合にフロー処理及びアクション・ジェネレータ及びｐＮＩＣによってバックグラウンド・プロセスとして実行されうる。

【0010】

無効化されたＶＰＩＤを宛先として指定するフロー・エントリを削除することにより、ＶＰＩＤは、再利用されたＶＰＩＤに現在関連付けられている計算ノード・インタフェースに向けられている無効化されたＶＰＩＤに以前関連付けられていた計算ノード・インタフェースに関連付けられていた古いフローに関係なく再利用されることが可能になる。これに加えて、いくつかの実施形態において、ネットワーキング処理ハードウェアは、特定の時間量の間、使用されていない（すなわち、フロー・エントリに一致するデータ・メッセージが受信されていない）フロー・エントリをエイジングするためのプロセスを実行する。したがって、そのような実施形態において、ＶＰＩＤは、特定の時間量（例えば、特定の時間量に、無効化されたＶＰＩＤに向けられた以前にアクティブであったフローのためのタイムアウトを加えた量）に基づく時間量の後に、無効化されたフロー・エントリを削除するようにｐＮＩＣにフロー処理及びアクション・ジェネレータが命令しなくても、安全に再使用されうる。いくつかの実施形態において、ＶＰＩＤは、ＰＰＩＤよりも多くのビットを有し、ＶＰＩＤ対ＰＰＩＤマッピングがスパースである（すなわち、取りうるＰＰＩＤの個数と少なくとも同じ個数の未使用のＶＰＩＤが存在する）ように構成される。

【0011】

いくつかの実施形態において、マッピング・テーブルは、データ・メッセージが受信されるＰＰＩＤに関連付けられたＶＰＩＤを識別するためにも使用される。ＰＰＩＤにおいて受信されたデータ・メッセージは、ＰＰＩＤがマッピングするＶＰＩＤに関連付けられ、フロー・エントリの集合におけるルックアップはＶＰＩＤ並びに他のマッチング基準の集合に基づいて実行される。複数のＶＰＩＤに関連付けられたＰＰＩＤ、例えば、それぞれが異なるＶＰＩＤを有する複数の計算ノード・インタフェースに接続された仮想スイッチのインタフェースに接続されたｐＮＩＣの物理機能（ＰＦ）について、ＰＦにおいて受信されたデータ・メッセージは、異なるソースからのトラフィックを区別するためにＶＰＩＤにすでに関連付けられている。これに加えて、いくつかの実施形態は、仮想スイッチに接続されたＰＦを識別するＰＰＩＤにマッピングするＶＰＩＤについて、マッピング・テーブル内に、マッピング・エントリに一致する転送されたデータ・メッセージとともにＶＰＩＤが含まれるべきであるというインジケーション（例えば、マッピング・エントリに関連付けられたフラグ・ビット）を含む。

【0012】

いくつかの実施形態において、マッピング・テーブルは、仮想スイッチに接続するＶＰＩＤのマッピングでプログラムされず、ネットワーキング処理ハードウェアは、フロー・エントリに一致するがマッピング・テーブル内のエントリに一致しない任意のデータ・メッセージを、仮想スイッチに接続された（すなわち、フロー処理及びアクション・ジェネレータの）ｐＮＩＣインタフェースに、一致するフロー・エントリ内で指定された宛先ＶＰＩＤとともに送信するようにプログラムされる。その後、仮想スイッチは、宛先ＶＰＩＤ又はデータ・メッセージの他のマッチング基準に基づいてデータ・メッセージを転送できる。いくつかの実施形態において、仮想スイッチは、記憶されたフロー・エントリに基づく高速パス処理パイプラインと、仮想ネットワークの構成及び受信されたデータ・メッセージの特性に基づく低速パス処理パイプラインとを含む。

【0013】

上記の発明の概要は、本発明のいくつかの実施形態の簡単な紹介としての役割を果たすことを意図している。これは、本書に開示されるすべての発明の主題の導入又は概略であることを意味するものではない。以下の発明を実施するための形態、及び発明を実施するための形態において参照される図面は、発明の概要及び他の実施形態において説明される実施形態をさらに説明する。したがって、本書によって説明される実施形態のすべてを理解するために、発明の概要、詳細な説明、図面、及び特許請求の範囲の完全なレビューが必要とされる。さらに、特許請求の範囲の主題は主題の趣旨から逸脱することなく他の特定の形態で実施されうるため、特許請求の範囲の主題は、発明の概要、詳細な説明、及び図面における例示的な詳細によって限定されるべきではなく、むしろ添付の特許請求の範囲によって規定されるべきである。

【図面の簡単な説明】

【0014】

本発明の新規な特徴が添付の特許請求の範囲に記載されている。しかし、説明のために、本発明のいくつかの実施形態が以下の図に説明される。

【0015】

【図1】物理ＮＩＣにおいてホスト・コンピュータにＦＰＯを提供するように構成された例示的なシステムを示す。

【0016】

【図2】図１のｐＮＩＣを、図１のマッピング・テーブル及びフロー・エントリ・テーブルに投入するフロー処理及びアクション・ジェネレータ（ＦＰＡＧ）とともに示す。

【0017】

【図3】ＶＰＩＤ対ＰＰＩＤマッピング・エントリを生成するためのマッピング・ジェネレータと、ＳＤＮコントローラの集合及びＳＤＮマネージャの集合と対話するローカル・コントローラとを含むＦＰＡＧのより詳細な図を示す。

【0018】

【図4】ｐＮＩＣの汎用プロセッサの集合でＦＰＡＧが実行されるシステムを示す。

【0019】

【図5】ｐＮＩＣに接続されたすべてのサーバを代表して複数のサーバのうちの１つでＦＰＡＧが実行されるシステムを示す。

【0020】

【図6】フロー処理を実行するためにｐＮＩＣのマッピング・テーブルに記憶されるべきＶＰＩＤ対ＰＰＩＤマッピングを提供するためにいくつかの実施形態において実行されるプロセスを概念的に示す。

【0021】

【図7】フロー処理及びアクション・ジェネレータからＦＰＯハードウェアにフロー・エントリを提供するプロセスを概念的に示す。

【0022】

【図8】ｐＮＩＣで受信されたデータ・メッセージを処理するためのプロセスを概念的に示す。

【0023】

【図9】マッピング・テーブル及びフロー処理テーブルを記憶するｐＮＩＣのフロー処理ハードウェアを示す。

【0024】

【図10】ｐＮＩＣの１つの仮想機能からｐＮＩＣの別の仮想機能へのＶＭマイグレーションを示す。

【0025】

【図11】ｐＮＩＣの仮想機能に接続された１つのホスト・コンピュータから、ｐＮＩＣの仮想機能に接続された別のホスト・コンピュータへのＶＭマイグレーションを示す。

【0026】

【図12】時刻「Ｔ１」においてパススルー・モードからエミュレート・モードに遷移するＶＭを含むシステムを示す。

【0027】

【図13】ＶＭのｖＮＩＣの構成に対する変更がｖＮＩＣのＶＰＩＤを変更させるシステムの選択された要素を示す。

【0028】

【図14】リソースが利用可能である際に実行されうるバックグラウンド処理として無効なフロー・エントリを削除するための処理を概念的に示す。

【0029】

【図15】無効化されたＶＰＩＤを指定するフロー・エントリを削除するためにＦＰＯハードウェアによって実行されるプロセスを概念的に示す。

【0030】

【図16】物理ネットワーク・ポートのリンク・アグリゲーションが使用可能にされたシステムを示す。

【0031】

【図17】本発明のいくつかの実施形態が実施されるコンピュータ・システムを概念的に示す。

【発明を実施するための形態】

【0032】

本発明の以下の詳細な説明では、本発明の多数の詳細、例、及び実施形態が記載され、説明される。しかし、本発明は記載された実施形態に限定されず、議論される特定の詳細及び例のうちのいくつかがなくても本発明が実施されうることが当業者には明らかであり、明白であろう。

【0033】

本発明のいくつかの実施形態は、物理ネットワーク・カード又は物理ネットワーク・コントローラ（ｐＮＩＣ）を構成して、ｐＮＩＣに接続されたホスト・コンピュータのためにフロー処理オフロード（ＦＰＯ）を提供するための方法を提供する。ホスト・コンピュータは、仮想又は論理ネットワーク内の計算ノード（例えば、仮想マシン（ＶＭ）、ポッド、コンテナなど）の集合をホストする。計算ノードの集合はそれぞれ、フロー処理及びアクション・ジェネレータによってローカルに一意の仮想ポート識別子（ＶＰＩＤ）をそれぞれ割り当てられたインタフェース（仮想ＮＩＣ、ポートなど）の集合に関連付けられる。ｐＮＩＣは、ｐＮＩＣによって物理ポート識別子（ＰＰＩＤ）が割り当てられたインタフェース（物理ネットワークに接続された物理ポート、物理機能（ＰＦ）及び仮想機能（ＶＦ）を含むペリフェラル・コンポーネント・インタコネクト・エクスプレス（ＰＣＩｅ）ポートなど）の集合を含む。

【0034】

本書で使用されるように、物理機能（ＰＦ）及び仮想機能（ＶＦ）は、ＰＣＩｅインタフェースを使用してｐＮＩＣによって公開されるポートを指す。ＰＦは、別個に構成可能なＰＣＩｅインタフェース（例えば、同じｐＮＩＣ上の他のＰＦとは別個のもの）を有する一意のリソースとして認識されるｐＮＩＣのインタフェースを指す。ＶＦは、別個に構成可能ではなく、一意のＰＣＩｅリソースとして認識されない仮想化されたインタフェースを指す。いくつかの実施形態において、ホスト・コンピュータ上で実行される計算ノードがホスト・コンピュータの仮想スイッチを横断することなくｐＮＩＣからデータ・メッセージを受信することを可能にするパススルー・メカニズムを提供するためにＶＦが提供される。いくつかの実施形態において、ＶＦは、ｐＮＩＣ上で実行される仮想化ソフトウェアによって提供される。

【0035】

いくつかの実施形態において、仮想ネットワークは、論理スイッチ、ルータ、ゲートウェイなどのような１つ以上の論理転送要素を含む１つ以上の論理ネットワークを含む。いくつかの実施形態において、いくつかの物理転送要素（ＰＦＥ）を構成することによって論理転送要素（ＬＦＥ）が規定され、そのうちのいくつか又はすべては、デプロイされた計算ノード（例えば、ＶＭ、ポッド、コンテナなど）とともにホスト・コンピュータ上で実行される。いくつかの実施形態において、ＰＦＥは、デプロイされた計算ノードの異なる２つ以上の部分集合を接続するために２つ以上のＬＦＥを実装するように構成される。いくつかの実施形態において、仮想ネットワークは、ＮＳＸ－Ｔ（商標）によってデプロイされるもののようなソフトウェア定義ネットワーク（ＳＤＮ）であり、ＳＤＮマネージャ及びＳＤＮコントローラの集合を含む。いくつかの実施形態において、ＳＤＮマネージャの集合はネットワーク要素を管理し、ＳＤＮのための所望の転送挙動を実装するようにネットワーク要素を構成するようにＳＤＮコントローラの集合に指示する。いくつかの実施形態において、ＳＤＮコントローラの集合は、ネットワーク要素を構成するために、ホスト・コンピュータ上のローカル・コントローラと対話する。いくつかの実施形態において、これらのマネージャ及びコントローラは、ＶＭｗａｒｅ、Ｉｎｃ．によってライセンスされたＮＳＸ－Ｔマネージャ及びコントローラである。

【0036】

本書で使用されるように、データ・メッセージは、ネットワークを介して送信される特定のフォーマットのビットのコレクションを指す。当業者は、データ・メッセージという用語が、ネットワークを介して送信されるビットの様々なフォーマット化されたコレクションを指すために本文書において使用されることを認識するだろう。これらのビットのフォーマットは、標準化プロトコル又は非標準化プロトコルによって指定されうる。標準化プロトコルに従うデータ・メッセージの例は、イーサネット（登録商標）フレーム、ＩＰパケット、ＴＣＰセグメント、ＵＤＰデータグラムなどを含む。また、本書で使用されるように、Ｌ２、Ｌ３、Ｌ４、及びＬ７レイヤ（又はレイヤ２、レイヤ３、レイヤ４、及びレイヤ７）への参照は、それぞれ、ＯＳＩ（オープン・システム・インタコネクション）レイヤ・モデルの２番目のデータ・リンク・レイヤ、３番目のネットワーク・レイヤ、４番目のトランスポート・レイヤ、及び７番目のアプリケーション・レイヤへの参照である。

【0037】

図１は、物理ＮＩＣ１２０においてホスト・コンピュータ１１０のためにＦＰＯを提供するように構成された例示的なシステム１００を示す。ホスト・コンピュータ１１０は、パススルー・モードでｐＮＩＣ１２０に接続するホストされた仮想マシン（ＶＭ）１１１ａ～ｎの第１の集合を含む。図１に示される実施形態において、各ＶＭ１１１ａ～ｎは、ＰＣＩｅバス１３１を通じてｐＮＩＣ１２０の物理機能（ＰＦ）１３４ａの仮想機能（ＶＦ）１３３ａ～ｎに接続する仮想ＮＩＣ（例えば、ｖＮＩＣ１１２ａ～ｎ）を有する。仮想マシン（１１１ａ～ｎ及び１１３ａ～ｍ）及び仮想スイッチ１１５は、仮想化ソフトウェア１１４内で実行されるように示される。ＶＦ１３３ａ～ｎは、仮想化ソフトウェア１３５によって提供される。いくつかの実施形態において、仮想化ソフトウェア１３５は、計算ノード（例えば、ＶＭ１１１ａ～ｎ）間におけるＰＣＩｅ接続されたデバイスのリソースの効率的な共有を可能にするシングル・ルートＩ／Ｏ仮想化（ＳＲ－ＩＯＶ）を提供するための製造者仮想化ソフトウェアである。他の実施形態において、仮想化ソフトウェア１３５は、ハイパーバイザ・プログラム（例えば、スマートＮＩＣのリソースを仮想化するために特別に設計されたＥＳＸ（商標）又はＥＳＸｉｏ（商標））である。

【0038】

いくつかの実施形態において、ｖＮＩＣ１１２ａ～ｎとＶＦ１３３ａ～ｎとの間の接続は、ホスト・コンピュータ１１０上のＶＦドライバ１１８ａ～ｎによって使用可能にされる。ホスト・コンピュータ１１０はまた、ホスト・コンピュータ１１０の仮想スイッチ１１５に接続するＶＭ１１３ａ～ｍの第２の集合を含む。仮想スイッチ１１５は、ＰＣＩｅバス１３１を通じてＰＦ１３４ｍを通じてｐＮＩＣ１２０に接続する。いくつかの実施形態において、ＰＦ１３４ａ～ｍはまた、ホスト・コンピュータ１１０又は接続されたホスト・デバイスの集合に、別個のＰＣＩｅ接続されたデバイスとして現れるように、仮想化ソフトウェア１３５によって仮想化される。ＶＭ及びｖＮＩＣは、本発明の実施形態において実装されてもよい計算ノード及びインタフェースの単なる一例である。

【0039】

ｐＮＩＣ１２０はまた、ｐＮＩＣ１２０とＶＭ１１１ａ～ｎ及びｖＮＩＣ１１２ａ～ｎとを物理ネットワークに接続する物理ネットワーク・ポート１２１を含む。ＰＣＩｅバス１３１及び物理ネットワーク・ポート１２１は、ＶＭ１１１ａ～ｎ及びｖＮＩＣ１１２ａ～ｎのためのフロー処理を実行するために、フロー処理オフロード（ＦＰＯ）ハードウェア１４０に接続する。ＦＰＯハードウェア１４０は、フロー処理を行うためのフロー・エントリの集合を記憶するフロー・エントリ・テーブル１４３を含む。いくつかの実施形態において、フロー・エントリは、マッチング基準の集合と、マッチング基準に一致するデータ・メッセージに対して行うべきアクションとを指定する。マッチング基準の集合とアクションとの一方又は両方は、計算ノード・インタフェースを識別するためにＶＰＩＤを使用する。いくつかの実施形態において、追加のマッチング基準は、データ・メッセージのヘッダ値（例えば、Ｌ２、Ｌ３、Ｌ４などに関するヘッダ値）を含む。いくつかの実施形態において、行いうるアクションは、データ・メッセージを破棄すること、又はデータ・メッセージをＶＰＩＤへ転送することを含む。

【0040】

ＦＰＯハードウェア１４０はまた、マッピング・テーブル１４２を含む。マッピング・テーブル１４２は、ｐＮＩＣ１２０のインタフェースへのフロー・エントリにおいて指定されたＶＰＩＤを解決するために使用されるＶＰＩＤ対ＰＰＩＤマッピングの集合を含む。マッピング・テーブル１４２はＶＰＩＤをＰＰＩＤにマッピングし、ＰＰＩＤはｐＮＩＣ１２０のインタフェースを識別する。いくつかの実施形態において、ＰＰＩＤはｐＮＩＣ１２０によって割り当てられ、ＶＰＩＤはフロー処理及びアクション・ジェネレータ（図示せず）によってｐＮＩＣ１２０の特定のインタフェースに割り当てられ、関連付けられる。以下の例で説明されるように、ＶＰＩＤに関して宛先を指定し、マッピング・テーブルを使用してｐＮＩＣのインタフェースを識別することにより、計算ノードのインタフェースが、ｐＮＩＣの１つのインタフェースとの間の関連付けをｐＮＩＣの別のインタフェースとの関連付けに変更しても、フロー・エントリが有効なままであることが可能になる。

【0041】

図２は、図１のｐＮＩＣ１２０を、マッピング・テーブル１４２及びフロー・エントリ・テーブル１４３を投入するフロー処理及びアクション・ジェネレータ（ＦＰＡＧ）２６０とともに示す。いくつかの実施形態において、ＦＰＡＧ２６０は、図１の仮想スイッチ１１５に置き換わる（例えば、仮想スイッチ２６１及びローカル・キャッシュ２６２はホスト・コンピュータ１１０においてデータ・メッセージを転送するために使用される）。ＦＰＡＧ２６０は、生成されたフロー・エントリのすべてを記憶するローカル・キャッシュ２６２を含み、ＦＰＡＧ２６０において受信されたいくつかのデータ・メッセージについて、受信されたデータ・メッセージについて実行するためのアクションをｐＮＩＣ１２０に提供する。いくつかの実施形態において、ＦＰＡＧ２６０は、ホスト・コンピュータ（例えば、ホスト・コンピュータ１１０）上で実行され、ローカル・キャッシュ２６２は、ｐＮＩＣ１２０にオフロードされないデータ・メッセージ処理のための高速パスとして機能する。

【0042】

ＦＰＡＧ２６０はまた、仮想スイッチ２６１を含み、これは、次に、低速パス・プロセッサ２６３と、フロー・ジェネレータ２６４とを含む。低速パス・プロセッサ２６３は、ＦＰＯハードウェア１４０が有効なフロー・エントリを記憶しないデータ・メッセージに対して低速パス処理を実行する。低速パス処理の結果は、その後、フロー処理をＦＰＯハードウェア１４０にオフロードするためのフロー・エントリを生成するためにフロー・ジェネレータ２６４によって使用される。例えば、低速パス処理は、特定の転送ルールが、データ・メッセージ・フローに適用され、データ・メッセージが属するフローを一意に識別する基準の集合と、当該フローに属する将来のデータ・メッセージのために行うべきアクションとを供給することを示してもよい。いくつかの実施形態において、基準の低減された集合を使用する特定の転送ルールについて、生成されたフロー・エントリは、アクションを決定するために特定の転送ルールによって使用されないデータ・メッセージ特性についてフロー・エントリによって指定されたマッチング基準の集合内にワイルドカード値を含む。図９は、フロー・ジェネレータ２６４によって生成されるフロー・エントリにおいて指定されてもよい基準及びアクションのタイプをより詳細に説明する。

【0043】

いくつかの実施形態において、仮想ネットワークは、ＳＤＮマネージャの集合及びＳＤＮコントローラの集合を含むソフトウェア定義ネットワーク（ＳＤＮ）である。図３は、ＰＰＩＤ対ＶＰＩＤマッピング・エントリを生成するためのマッピング・ジェネレータ３６８と、ＳＤＮコントローラ３６６の集合及びＳＤＮマネージャ３６７の集合と対話するローカル・コントローラ３６５とを含むＦＰＡＧ２６０のより詳細な図を示す。いくつかの実施形態において、ローカル・コントローラ３６５は、ローカルにホストされた計算ノード及び管理されたスイッチング要素（例えば、仮想スイッチ２６１）のための構成情報を受信する。いくつかの実施形態において、ローカル・コントローラ３６５は、ＳＤＮコントローラ３６６の集合から計算ノード・インタフェースのためのＶＰＩＤを受信するか、又は計算ノード・インタフェースにＶＰＩＤをローカルに割り当てるかのいずれかである。さらに、いくつかの実施形態において、ローカル・コントローラ３６５は、ｐＮＩＣ１２０のインタフェースのＰＰＩＤを識別し、計算ノード・インタフェースとｐＮＩＣ１２０のインタフェースとの間の接続を構成するために、ｐＮＩＣ１２０と対話する。

【0044】

いくつかの実施形態において、ローカル・コントローラ３６５は、ＳＤＮ（又はＳＤＮの論理転送要素の集合）のために規定されたデータ・メッセージ処理パイプラインを実装するために必要な転送ルール及び追加ポリシー（例えば、ファイアウォール・ポリシー、暗号化ポリシーなど）で低速パス・プロセッサ２６３を構成する。いくつかの実施形態において、ローカル・コントローラ３６５はまた、異なるインタフェースのＶＰＩＤ及びＰＰＩＤと、ＶＰＩＤ対ＰＰＩＤマッピングを生成するためのインタフェース間の接続とを識別するために、ｐＮＩＣ１２０及びＳＤＮコントローラ３６６から受信された情報をマッピング・ジェネレータ３６８に提供する。さらに、ローカル・コントローラ３６５は、構成変更がＶＰＩＤ対ＰＰＩＤマッピングに影響を与える場合にマッピング・ジェネレータ３６８に通知し、マッピング・ジェネレータ３６８が新たな又は更新されたＶＰＩＤ対ＰＰＩＤマッピングを生成することを可能にし、適用可能な場合に、削除されなければならないマッピングを識別する。ＦＰＡＧ２６０はｐＮＩＣ１２０とは別個のものとして図２及び図３に示されているが、以下に説明するいくつかの実施形態において、ＦＰＡＧ２６０は、ｐＮＩＣ１２０の処理ユニット上に実装される。

【0045】

図４は、ＦＰＡＧ４６０がｐＮＩＣ４２０の汎用プロセッサ４５０の集合上で実行されるシステム４００を示す。図４はまた、ｐＮＩＣ４２０が、ＰＣＩｅバス４３２を介して物理機能の集合４３４ａ～ｉにおいて、それぞれ計算ノード（例えば、ＶＭ４１１ａ～ｘ）の集合をホストする複数のサーバ４１０ａ～ｎに接続する実施形態を示す。いくつかの実施形態において、ＰＣＩｅバス４３２は、ホスト・コンピュータ又は周辺デバイスのセットに接続するための別個のＰＣＩｅバスの集合であり、ＰＦ４３４ａ～ｉは、別個のＰＣＩｅバスのためのＰＦとして実装されても実装されなくてもよい物理的に別個のインタフェースである。ＦＰＡＧ４６０は、サーバ４１０ａ～ｎのそれぞれのためのフロー・エントリを生成し、別個の内部ＰＣＩｅバス４３１を使用して（いくつかの実施形態において、図示しない物理機能を通じて）、ｐＮＩＣ４２０の他の要素と通信する。

【0046】

図５は、ＦＰＡＧ５６０が、ｐＮＩＣ５２０に接続されたすべてのサーバ５１０ａ～ｎを代表して、複数のサーバ５１０ａ～ｎのうちの１つのサーバ５１０ａ上で実行されるシステム５００を示す。図５はまた、いくつかの実施形態において、ＦＰＡＧ５６０を実行しないサーバ（例えば、サーバ５１０ｎ）が仮想スイッチ５１５を実行することを示す。いくつかの実施形態において、仮想スイッチ５１５は、ＦＰＡＧ５６０によって行われる転送決定を実装し、完全なネットワーク・スタックを必要としない軽量仮想スイッチである。いくつかの実施形態において、仮想スイッチ５１５は、エミュレートされたＶＭ５１３ａ～ｍ（例えば、パススルー・モードで構成されていないｖＮＩＣを有するＶＭ）の集合に接続する。

【0047】

本方法は、ＶＰＩＤとＰＰＩＤとの間のマッピングの集合をｐＮＩＣに提供することを含む。図６は、フロー処理を実行するためにｐＮＩＣのマッピング・テーブルに記憶されるべきＶＰＩＤ対ＰＰＩＤマッピングを提供するためにいくつかの実施形態において実行されるプロセス６００を概念的に示す。いくつかの実施形態において、プロセス６００は、フロー処理及びアクション・ジェネレータ（例えば、マッピング・ジェネレータ３６８）及びフロー処理オフロード（ＦＰＯ）ハードウェア１４０によって実行される。いくつかの実施形態において、フロー処理及びアクション・ジェネレータはｐＮＩＣ上に実装されるが、他の実施形態において、フロー処理及びアクション・ジェネレータはｐＮＩＣに接続されたホスト・コンピュータ上に実装される。プロセス６００は、ｐＮＩＣに接続されている計算ノード（例えば、ＶＭ、ポッド、コンテナなど）に関連付けられたＶＰＩＤの集合を（６０５において）識別することによって始まる。いくつかの実施形態において、フロー処理及びアクション・ジェネレータは、計算ノードの集合と、計算ノードの集合に関連付けられたＶＰＩＤとを識別するために、仮想ネットワークを管理するネットワーク管理コンピュータの集合と通信する。

【0048】

プロセス６００はまた、識別された計算ノード・インタフェースに接続されたｐＮＩＣのインタフェース及びそれらのｐＮＩＣインタフェースに関連付けられたＰＰＩＤを（６１０において）識別する。いくつかの実施形態において、ＰＰＩＤは、ＰＰＩＤについてｐＮＩＣに問い合わせることによって、フロー処理及びアクション・ジェネレータによって識別される。いくつかの実施形態において、フロー処理及びアクション・ジェネレータは、ｐＮＩＣのすべてのインタフェース及びそれらのＰＰＩＤを認識し、各計算ノード・インタフェースが接続するｐＮＩＣのインタフェースを決定する。

【0049】

計算ノード・インタフェースのための識別されたＶＰＩＤ、及びそれらが接続するｐＮＩＣのインタフェースのＰＰＩＤに基づいて、フロー処理及びアクション・ジェネレータは、ＶＰＩＤとＰＰＩＤとの間のマッピングの集合を（６１５において）生成する。生成されたマッピングの集合は、ｐＮＩＣのＦＰＯハードウェアへ（６２０において）送信される。いくつかの実施形態において、生成されたマッピングの集合は、フロー処理及びアクション・ジェネレータを実行する処理ユニットとＦＰＯハードウェアとの間のＰＣＩｅ接続のＰＦを使用してＦＰＯハードウェアへ送信される。上述のように、フロー処理及びアクション・ジェネレータを実行する処理ユニットはホスト・コンピュータの処理ユニットであるが、他の実施形態において、ｐＮＩＣは、処理ユニットだけでなくＦＰＯハードウェアを含む統合ＮＩＣ（例えば、プログラマブルＮＩＣ、スマートＮＩＣなど）である。

【0050】

ＦＰＯハードウェアは、フロー処理及びアクション・ジェネレータから送信されたＶＰＩＤ対ＰＰＩＤマッピングを（６２５において）受信する。受信されたＶＰＩＤ対ＰＰＩＤマッピングは、ＦＰＯハードウェアのマッピング・テーブルに（６３０において）記憶される。いくつかの実施形態において、マッピング・テーブルは、ＶＰＩＤに基づいてＰＰＩＤを、又はＰＰＩＤに基づいてＶＰＩＤを識別するために使用されうるメモリ・キャッシュ（例えば、コンテンツ・アドレス可能メモリ（ＣＡＭ）、３値ＣＡＭ（ＴＣＡＭ）など）に記憶される。当業者は、プロセス６００がＶＰＩＤ対ＰＰＩＤの初期マッピングを記述し、特定の動作が様々な実施形態において、複数の動作を表すか、又は異なる順序で実行される（例えば、動作６０５の前に動作６１０があってもよい）こと、及びプロセス６００の記述が同じ結果を達成するための均等の処理を除外することを意味しないことを理解するだろう。

【0051】

本方法はまた、計算ノードがマイグレーションし、ｐＮＩＣの異なるインタフェースへ接続し、異なるＶＰＩＤに割り当てられるなどの際に、マッピングへ更新を送信することを含む。当業者は、いくつかの実施形態において、フロー処理及びアクション・ジェネレータがＶＰＩＤ又はＶＰＩＤとＰＰＩＤとの間の関連付けのいずれかへの変更を検出するごとに、特定のＶＰＩＤ対ＰＰＩＤマッピングのための変更されたプロセス６００が実行されることを理解するだろう。例えば、動作６０５は、仮想ネットワークの特定の構成変更によって追加、移動、又は無効化されるＶＰＩＤの特定の集合を識別し、動作６１０は、ｐＮＩＣのＰＰＩＤの集合に対するＶＰＩＤの追加又は移動された集合の現在の関連付けを識別する。（６１５において）マッピング・エントリを生成することは、識別されたＰＰＩＤの集合にマッピングされたＶＰＩＤの追加又は移動された集合に対してのみ実行される。さらに、いくつかの実施形態において、（６２０において）更新されたＶＰＩＤ対ＰＰＩＤマッピングのための生成されたマッピングを送信することは、検出された構成変更に基づいて無効である以前に送信されたＶＰＩＤ対ＰＰＩＤマッピングを削除することの命令を送信すること（ＶＰＩＤを無効にすること、又は異なるＰＰＩＤによって識別されるインタフェースに接続するようにＶＰＩＤを移動すること）を含む。

【0052】

本方法は、計算ノードの集合に関連付けられたデータ・メッセージ・フローの集合のためのフロー・エントリの集合をｐＮＩＣに提供することをさらに含む。いくつかの実施形態において、フロー・エントリの集合は、ＶＰＩＤを使用して、マッチング基準の集合及びアクションの一方又は両方を規定する。いくつかの実施形態において、アクションは宛先を指定する。いくつかの実施形態において、各宛先は、ＶＰＩＤに関して指定され、ｐＮＩＣはマッピングの集合を使用して、ＶＰＩＤをＰＰＩＤ（すなわち、出口インタフェース）に解決する。いくつかの実施形態において、各フロー・エントリは、特定のデータ・メッセージ・フローのためのものであり、データ・メッセージ・フローにおいて受信された第１のデータ・メッセージに基づいて生成される。いくつかの実施形態において、フロー・エントリは、仮想（例えば、ソフトウェア）スイッチによって実行されデータ・メッセージ処理の結果に基づいて生成され、ｐＮＩＣがデータ・メッセージ・フロー内の後続のデータ・メッセージを処理することを可能にするためにｐＮＩＣに提供される。

【0053】

図７は、フロー処理及びアクション・ジェネレータからＦＰＯハードウェアにフロー・エントリを提供するためのプロセス７００を概念的に示す。プロセス７００は、（１）データ・メッセージが属するデータ・メッセージ・フローのためのフロー・エントリと、（２）ＦＰＯハードウェアによって記憶されたＶＰＩＤ対ＰＰＩＤマッピングとの両方と一致しないデータ・メッセージをＦＰＯハードウェアで（７０５において）受信することによって始まる。これに代えて、データ・メッセージは、デフォルト・ルールに一致するデータ・メッセージのための宛先として、フロー処理及びアクション・ジェネレータに接続されたインタフェースを識別するデフォルト・ルールのみに一致してもよい。いくつかの実施形態において、受信されたデータ・メッセージは、データ・メッセージ・フローにおける第１のデータ・メッセージである。ＦＰＯハードウェアは、（７１０において）データ・メッセージを（例えば、低速パス処理のために）フロー処理及びアクション・ジェネレータへ転送する。

【0054】

フロー処理及びアクション・ジェネレータは、同じデータ・メッセージ・フロー内の後続のデータ・メッセージに対して行うアクションを決定するために、処理パイプラインを通じてデータ・メッセージを（７１５において）処理する。例えば、いくつかの実施形態において、処理パイプラインは、データ・メッセージ・フローのデータ・メッセージを破棄するか、又はデータ・メッセージ・フローのデータ・メッセージのための宛先を識別する（場合によっては転送前のカプセル化又はカプセル化解除を伴う）ことの決定をもたらす、他の動作（例えば、ファイアウォール、ミドルボックス・サービスなど）の集合とともに論理転送動作の集合を含む。いくつかの実施形態において、データ・メッセージ・フローのデータ・メッセージのための宛先を識別することは、データ・メッセージ・フローのデータ・メッセージの宛先である計算ノード・インタフェースのＶＰＩＤを識別することを含む。

【0055】

（１）属するデータ・メッセージ・フローを識別する受信されたデータ・メッセージの特性、及び（２）データ・メッセージを処理することに基づいて行うべきと決定されたアクションに基づいて、フロー処理及びアクション・ジェネレータは、（７２０において）ＦＰＯハードウェアがデータ・メッセージ・フローの後続のデータ・メッセージを処理するために使用するためのフロー・エントリを生成する。フロー処理及びアクション・ジェネレータは、（７２５において）生成されたフロー・エントリをＦＰＯハードウェアへ送信する。上述のように、いくつかの実施形態において、生成されたフロー・エントリは、フロー処理及びアクション・ジェネレータを実行する処理ユニットとＦＰＯハードウェアとの間のＰＣＩｅ接続のＰＦを使用してＦＰＯハードウェアへ送信される。

【0056】

ＦＰＯハードウェアは、フロー処理及びアクション・ジェネレータから送信されたフロー・エントリを（７３０において）受信する。受信されたフロー・エントリは、ＦＰＯハードウェアのフロー・エントリの集合（例えば、フロー・エントリ・テーブル）に（７３５において）記憶される。いくつかの実施形態において、フロー・エントリの集合は、受信されたデータ・メッセージに関連付けられたマッチング基準の集合を指定するフロー・エントリを識別するために使用されうるメモリ・キャッシュ（例えば、コンテンツ・アドレス可能メモリ（ＣＡＭ）、３値ＣＡＭ（ＴＣＡＭ）など）に記憶される。

【0057】

いくつかの実施形態において、ｐＮＩＣは、接続されたホスト・コンピュータ上で実行される計算ノードの集合のためのフロー処理を実行するために、フロー・エントリの集合及びマッピングをネットワーク処理ハードウェアに記憶する。いくつかの実施形態において、フロー・エントリ及びマッピング・テーブルは、高速ルックアップを実行するために別個のメモリ・キャッシュ（例えば、コンテンツ・アドレス可能メモリ（ＣＡＭ）、３値ＣＡＭ（ＴＣＡＭ）など）に記憶される。図８は、ｐＮＩＣにおいて受信されたデータ・メッセージを処理するためのプロセス８００を概念的に示す。いくつかの実施形態において、プロセス８００は、ｐＮＩＣのＦＰＯハードウェアによって実行される。プロセス８００は、ＦＰＯハードウェアによって処理されるべきｐＮＩＣのインタフェースにおいてデータ・メッセージを（８０５において）受信することによって始まる。いくつかの実施形態において、データ・メッセージは、物理ネットワークに接続されたｐＮＩＣの物理ポートで受信されるデータ・メッセージ、及びホスト・コンピュータに接続されたｐＮＩＣのインタフェースにおいて受信されるデータ・メッセージのうちの１つである。

【0058】

プロセス８００は、受信されたデータ・メッセージがＦＰＯハードウェアによって記憶されたフロー・エントリと一致するかどうかを（８１０において）判定する。いくつかの実施形態において、受信されたデータ・メッセージに一致するフロー・エントリをＦＰＯハードウェアが記憶するかどうかを決定することは、受信されたデータ・メッセージの特性（例えば、５タプル、ＯＳＩモデルの異なるレイヤにおけるヘッダ値、メタデータなど）に基づく、記憶されたフロー・エントリの集合におけるルックアップに基づく。受信されたデータ・メッセージがフロー・エントリと一致しないと（８１０において）判定されたならば、プロセス８００は、低速パス処理のためにデータ・メッセージをフロー処理及びアクション・ジェネレータへ（８１５において）転送し、受信されたデータ・メッセージが属するデータ・メッセージ・フローのためのフロー・エントリを（８２０において）受信し、データ・メッセージ・フローの後続のデータ・メッセージを処理するためのフロー・エントリを（８２５において）記憶することに進む。動作８１５～８２５は、動作８１５～８２５に対応する図７の動作７１０、７３０及び７３５の説明とともに、上記でより詳細に説明される。

【0059】

受信されたデータ・メッセージがフロー・エントリと一致すると判定されたならば、プロセス８００は、一致するフロー・エントリが、フロー・エントリに一致するデータ・メッセージが宛先ＶＰＩＤに転送されることを指定するかどうかを（８３０において）判定することに進む。データ・メッセージが宛先ＶＰＩＤに転送されることをフロー・エントリが指定するとプロセス８００が決定するならば、プロセス８００は、ＶＰＩＤのためのマッピングがマッピング・テーブル内に存在するかどうかを（８３５において）決定する。いくつかの実施形態において、ＶＰＩＤのためのマッピングがマッピング・テーブルに存在するかどうかを決定することは、ＶＰＩＤに基づいてコンテンツ・アドレス可能メモリ（ＣＡＭ）を検索することを含む。フロー・エントリが宛先ＶＰＩＤを指定しない（例えば、データ・メッセージが破棄されるべきであることをフロー・エントリが指定する）とプロセス８００が（８３０において）決定するか、又はＶＰＩＤのためのマッピングがマッピング・テーブル内に存在するとプロセス８００が（８３５において）決定するならば、フロー・エントリにおいて指定されたアクションが（８００において）実行され、処理が終了する。

【0060】

ＶＰＩＤがマッピング・テーブル内にないとプロセス８００が（８３５において）判定したならば、プロセス８００は動作８１５～８２５に戻る。いくつかの実施形態において、ＶＰＩＤがマッピング・テーブル１４２内にないと決定することは、（動作８１５～８２５に関連付けられた）低速パス処理に関連付けられたインタフェースにデータ・メッセージを向けるデフォルト結果を返すＶＰＩＤルックアップに基づく。他の実施形態において、マッピング・テーブル１４２にデフォルト・エントリを含める代わりに、いくつかの実施形態は「障害」を返すＶＰＩＤルックアップ（例えば、マッピング・テーブル内にＶＰＩＤのエントリがないことを示すヌル結果又は他の結果）に基づいて、ＶＰＩＤがマッピング・テーブル内にないと判定する。マッピング・テーブル１４２にデフォルト・エントリがないいくつかの実施形態において、ＦＰＯハードウェア１４０は、障害が返されるすべてのデータ・メッセージを仮想スイッチに向かわせるように構成される。以下の図９及び図１３を参照して以下で説明するように、フロー・エントリは、ＶＰＩＤに関連付けられた計算ノード・インタフェースが再構成され、新たなＶＰＩＤが割り当てられる場合にもはや有効ではないＶＰＩＤを識別してもよい。

【0061】

図９は、マッピング・テーブル９４２を記憶するｐＮＩＣのフロー処理オフロード・ハードウェア９４０と、フロー処理テーブル９４３とを示す。いくつかの実施形態において、フロー処理テーブル９４３は、ＣＡＭに記憶され、マッチング基準９５０の集合及びアクション９６０を指定するフロー・エントリ９５１～９５６の集合を含む。図示される実施形態において、マッチング基準９５０の集合は、ソースＩＰアドレス（ＳＩＰ）、ソースＭＡＣ（ＳＭＡＣ）アドレス、ソース・ポート（ＳＰｏｒｔ）、宛先ＩＰアドレス（ＤＩＰ）、宛先ＭＡＣ（ＤＭＡＣ）アドレス、宛先ポート（ＤＰｏｒｔ）、及びメタデータを含む。いくつかの実施形態において、メタデータはユーザによって構成可能であるか、又はメタデータのタイプと、当該タイプのメタデータに対する一致値とが、マッチング基準の集合において識別される。

【0062】

例えば、フロー・エントリ９５１及び９５２はマッチング基準９５０の集合内のＶＬＡＮ識別子を指定し、フロー・エントリ９５４はマッチング基準９５０の集合内のＶＸＬＡＮ識別子を指定する。いくつかの実施形態において、データ・メッセージが受信されるｐＮＩＣのインタフェースを識別するＰＰＩＤがＶＰＩＤに変換された後に、データ・メッセージに関連付けられるメタデータ基準（特性）としてＶＰＩＤの集合（すなわち、ＶＰＩＤ０００１～０００３）を指定するフロー・エントリ９５５のように、内部的に追加される追加のタイプのメタデータも指定される。いくつかの実施形態において、ＶＰＩＤ０００１～０００３は、フロー・エントリ９５５が物理ネットワークから受信されたデータ・メッセージにのみ適用されるように、物理ネットワークに接続するｐＮＩＣインタフェースに関連付けられる。

【0063】

いくつかの実施形態において、ＩＰアドレスは、ＩＰアドレスの範囲（例えば、ある他のアプリケーション又はユーザ・グループへのアクセスを許可されるべきである又は許可されるべきでない特定のアプリケーション又はユーザ・グループに割り当てられたＩＰアドレスの範囲）を表すＩＰプレフィックスを識別するためのクラスレス・ドメイン間ルーティング表記として指定される。例えば、フロー・エントリ９５３は、最初の２８ビットに一致する任意のＩＰアドレスが一致するように、ＩＰアドレス「ＩＰ４」及び２８ビットのマスク長を示すソースＩＰ範囲ＩＰ４／２８を指定する。同様に、フロー・エントリ９５３は、最初の３０ビットに一致する任意のＩＰアドレスが一致するように、ＩＰアドレス「ＩＰ５」及び３０ビットのマスク長を示す宛先ＩＰ範囲ＩＰ５／３０を指定する。さらに、いくつかの実施形態において、フロー・エントリは、受信されたデータ・メッセージの関連付けられた特性の任意の値に対する一致と見なされる（「＊」によって識別される）ワイルドカード値を使用する少なくとも１つの基準を含む。例えば、ルール９５２～９５６はすべて、ワイルドカード値を使用して少なくとも１つの基準（例えば、データ・メッセージ特性）を指定する。

【0064】

いくつかの実施形態において、フロー・エントリは、複数のフロー・エントリに一致するデータ・メッセージについて、最も高い優先度を有するフロー・エントリにおいて指定されたアクションがデータ・メッセージについて行われるように、優先度が割り当てられる。いくつかの実施形態において、優先度は、低速パス処理中にフロー・エントリを生成する場合のフロー・エントリのマッチング基準の特異性によって決定され、生成されたフロー・エントリに含まれる。いくつかの実施形態において、高い優先度のルールに一致しないデータ・メッセージを、低速パス処理に関連付けられたＶＰＩＤ（例えば、ＶＰＩＤ５０００）に（例えば、フロー処理及びアクション・ジェネレータの仮想スイッチに）向かわせるデフォルト・ルール９５６が指定される。

【0065】

いくつかの実施形態において、各フロー・エントリは、当該フロー・エントリに一致するデータ・メッセージに関連付けられたアクションを含む。いくつかの実施形態において、アクションは、転送動作（ＦＷＤ）と、転送されるべきでないパケットのＤＲＯＰと、パケットのヘッダの変更及び変更されたヘッダの集合と、（関連付けられた宛先の集合とともに）パケットの複製と、宛先への転送前にカプセル化解除を必要とするカプセル化されたパケットのカプセル化解除（ＤＥＣＡＰ）と、宛先への転送前にカプセル化を必要とするパケットのカプセル化（ＥＮＣＡＰ）とを含む。いくつかの実施形態において、いくつかのアクションは、一連のアクションを指定する。例えば、フロー・エントリ９５４は、ソースＩＰアドレス「ＩＰ６」と、任意のソースＭＡＣアドレスと、ソース・ポート「Ｐｏｒｔ６」と、宛先ＩＰアドレス「ＩＰ７」と、宛先ＭＡＣアドレス「ＭＡＣ７」と、ソース・ポート「４７８９」と、データ・メッセージがＶＸＬＡＮ「ＶＸＬＡＮ２」に関連付けられていることを示すメタデータとを有するデータ・メッセージがカプセル化解除され、ＶＰＩＤ「３１８９」へ転送されることを指定する。いくつかの実施形態において、識別されたＶＰＩＤは、ホスト・コンピュータ上で実行される計算ノードの特定のインタフェースに関連付けられたＶＰＩＤである。ＤＥＣＡＰアクションを指定するいくつかのフロー・エントリによって識別されるＶＰＩＤは、低速パス処理を介して、カプセル化解除されたデータ・メッセージを処理するためのフロー処理及びアクション・ジェネレータの仮想スイッチに接続する物理機能のためのＶＰＩＤである。ＤＥＣＡＰアクションを指定する他のフロー・エントリについて、インタフェース識別子（例えば、ＶＰＩＤ又はＰＰＩＤ）は、ＦＰＯハードウェアが内部データ・メッセージ（カプセル化解除されたデータ・メッセージ）を処理することを可能にするＦＰＯハードウェアのループバック・インタフェースのための識別子である。いくつかの実施形態において、ＤＥＣＡＰアクションを指定するフロー・エントリはまた、ＦＰＯハードウェアによるカプセル化解除されたデータ・メッセージのさらなる処理を明示的に指定する。

【0066】

いくつかの実施形態において、マッピング・テーブル９４２は、ＣＡＭに記憶され、「ＶＰＩＤ」フィールド９７０内のＶＰＩＤと、「ＰＰＩＤ」フィールド９８０内の対応するＰＰＩＤと、「ＶＰＩＤ付加」フィールド９９０内の、データ・メッセージに関連付けられたＶＰＩＤを、転送されるデータ・メッセージに付加すべきかどうかを示すフラグ・ビットとを指定する、ＶＰＩＤ対ＰＰＩＤマッピング９７１～９７５の集合を含む。マッピング・テーブルは、図１、図６、図７及び図８に関連して上述したように、フロー・エントリにおいて指定されたＶＰＩＤを、ｐＮＩＣのインタフェースに関連付けられたＰＰＩＤに解決するために、及び、ｐＮＩＣのインタフェースにおいて受信されたいくつかのデータ・メッセージについて、ＰＰＩＤをＶＰＩＤに解決するために使用される。図９は、フロー・エントリの集合において指定されたすべてのＶＰＩＤがマッピング・テーブル内にエントリを有するわけではないことを示す。例えば、（フロー・エントリ９５５において指定される）ＶＰＩＤ５４７２は、ＶＰＩＤフィールド９７０にエントリを有していない。

【0067】

マッピング・テーブル９４２内に発見されないＶＰＩＤについて、いくつかの実施形態は、ＶＰＩＤフィールド９７０内のワイルドカード９７６を指定するデフォルト・エントリ９７５を規定する。図９に示される実施形態において、無効なＶＰＩＤに関連付けられたデータ・メッセージを、特定のＰＰＩＤに関連付けられたｐＮＩＣのインタフェース、この場合に、フロー処理及びアクション・ジェネレータの仮想スイッチに接続されたインタフェースに関連付けられたＰＰＩＤ９８６（「１１１１」）に向かわせるために、デフォルト・エントリ９７５がマッピング・テーブル９４２に含まれる。いくつかの実施形態において、非デフォルト・フロー・エントリ（例えば、９５１～９５５）に一致したデフォルト・マッピング・テーブル・エントリ９７５に一致するデータ・メッセージは、無効なＶＰＩＤ及びフロー・エントリを示す。他の実施形態において、マッピング・テーブル９４２にデフォルト・エントリを含める代わりに、いくつかの実施形態は、「障害」（例えば、マッピング・テーブル内にＶＰＩＤのためのエントリがないことを示すヌル結果又は他の結果）を返すＶＰＩＤルックアップのためのアクションを規定する。例えば、アクションは、フロー・エントリに一致するが、ＶＰＩＤルックアップから障害を返すすべてのデータ・メッセージが仮想スイッチへ転送されることを指定し、いくつかの実施形態において、無効なＶＰＩＤを指定する一致フロー・エントリの識別子を（例えば、メタデータ内に）含む。

【0068】

そのような場合、いくつかの実施形態は、データ・メッセージをフロー処理及びアクション・ジェネレータの仮想スイッチへ転送する場合に、フロー・エントリ識別子を含む。フロー・エントリ識別子は、識別されたフロー・エントリがＦＰＯハードウェアによって記憶されたフロー・エントリの集合から除去されるべきであることをフロー処理及びアクション・ジェネレータが識別することを可能にするように、メタデータ・フィールドに記憶される又はデータ・メッセージに付加される。ＶＰＩＤは、関連付けられた計算ノード・インタフェースが構成を変更し、新たなＶＰＩＤが割り当てられたため、又は関連付けられた計算ノードがシャットダウンされたため、無効であってもよい。計算ノード・インタフェースに新たなＶＰＩＤが割り当てられているならば、新たに割り当てられたＶＰＩＤをｐＮＩＣの関連付けられたインタフェースのＰＰＩＤにマッピングするマッピング・エントリがマッピング・テーブルに提供され、無効なＶＰＩＤに関連付けられたフロー・エントリは、上述のように、及び図１４及び図１５に関連してさらに説明するように、最終的に削除される。

【0069】

いくつかの実施形態において、複数のＶＰＩＤが単一のＰＰＩＤに関連付けられる。例えば、マッピング・テーブル・エントリ９７２、９７４及び９７５はすべて、ＰＰＩＤ１１１１に関連付けられる。いくつかの実施形態において、ＶＰＩＤ付加フィールド９９０は、宛先ＶＰＩＤがデータ・メッセージとともに転送されるべきデータ・メッセージを識別するために使用される。上述したように、ＰＰＩＤ１１１１は、フロー処理・アクション・ジェネレータの仮想スイッチに接続されたｐＮＩＣのインタフェースに関連付けられている。いくつかの実施形態において、仮想スイッチは、複数のエミュレートされた計算ノードのためのｐＮＩＣへの単一の接続を提供し、ＶＰＩＤ（例えば、ＶＰＩＤ２２２５）を付加することによって、仮想スイッチが、ローカル高速パス処理又は他の形態の最小処理を使用して、ＶＰＩＤに関連付けられたデータ・メッセージをその宛先へ転送することができる。これに加えて、いくつかの実施形態において、リターン・パス上で、データ・メッセージは、ＶＰＩＤに関連付けられ、ＶＰＩＤ付加フラグは、データ・メッセージをＦＰＯハードウェア９４０に提供する前に、ＶＰＩＤが削除されるべきではないことを示す。他の実施形態において、（例えば、データ・メッセージのメタデータ・フィールドに記憶された）データ・メッセージに関連付けられたＶＰＩＤは、デフォルトで維持される。リターン・パスにＶＰＩＤを付加（又は維持）することにより、ＦＰＯハードウェア９４０が、同じインタフェースを使用して、ｐＮＩＣに接続された異なる計算ノードを区別することが可能となる。

【0070】

図１０～図１３は、異なるタイプのＶＭ構成変更と、ＶＭ構成変更に関連付けられたマッピング・テーブルへの更新とを示す。同様の符号（例えば、１０１０、１１１０及び１２１０）を有する要素は、同様の機能要素を表す。図１０は、ｐＮＩＣ１０２０の１つの仮想機能１０３３ａからｐＮＩＣ１０２０の別の仮想機能１０３３ｎへの時刻「Ｔ１」におけるＶＭ１０１１ａ「マイグレーション」を示す。いくつかの実施形態において、この「マイグレーション」は、仮想機能１０３３ａの障害、又は仮想ネットワークのコントローラによって決定される他の理由のために生じる。仮想機能１０３３ａはＰＰＩＤ９１２３によって識別され、仮想機能１０３３ｎはＰＰＩＤ９２３４によって識別される。時刻Ｔ１において、ＶＭ１０１１ａのｖＮＩＣ１０１２ａは、仮想機能１０３３ａから切断され、仮想機能１０３３ｎに接続する。また、時刻Ｔ１（又はほぼ時刻Ｔ１）において、ＦＰＡＧ１０６０は、ＰＰＩＤ９１２３の代わりにＰＰＩＤ９２３４に関連付けるために、更新されたＶＰＩＤ対ＰＰＩＤマッピングをＶＰＩＤ１０００へ送信する。他の実施形態において、ＶＰＩＤ１０００とＰＰＩＤ９１２３との間の以前の関連付けが削除され、ＶＰＩＤ１０００とＰＰＩＤ９２３４との間の新たなマッピングがＦＰＡＧ１０６０によって追加される。図示のように、フロー・エントリ・テーブル１０４３は、時刻Ｔ０（Ｔ１の前）と時刻Ｔ１とで同じであり、マッピング・テーブル１０４２は、時刻Ｔ０と時刻Ｔ１との間に更新される。

【0071】

図１１は、ｐＮＩＣ１１２０の仮想機能１１３３ａに接続された１つのホスト・コンピュータ１１１０ａから、ｐＮＩＣ１１２０の仮想機能１１３３ｎに接続された別のホスト・コンピュータ１１１Ｏｎへの時刻「Ｔ１」におけるＶＭ１１１１ａのマイグレーションを示す。仮想機能１１３３ａはＰＰＩＤ９１２３によって識別され、仮想機能１１３３ｎはＰＰＩＤ９２３４によって識別される。時刻Ｔ１において、ＶＭ１１１１ａはシャットダウンされ、仮想機能１１３３ａから切断され、ホスト・コンピュータ１１１Ｏｎにマイグレーションし、仮想機能１１３３ｎに接続する。また、時刻Ｔ１（又はほぼ時刻Ｔ１）において、ＦＰＡＧ１１６０は、（１）以前のＶＰＩＤ対ＰＰＩＤマッピングを削除し、（２）新たな接続のために新たなＶＰＩＤ対ＰＰＩＤマッピングを追加するための命令の集合を送信する。図示されるように、フロー・エントリ・テーブル１１４３は、時刻Ｔ０（Ｔ１の前）と時刻Ｔ１とで同じであり、マッピング・テーブル１１４２は、時刻Ｔ０とＴ１との間に更新される。

【0072】

図１２は、時刻「Ｔ１」においてパススルー・モードからエミュレート・モードに遷移するＶＭ１２１１ａを含むシステム１２００を示す。いくつかの実施形態において、パススルー・モードは、ｐＮＩＣ１２２０とＶＭ１２１１ａとの間の直接通信を可能にする仮想機能１２３３ａにｖＮＩＣ１２１２ａが接続されるモードであり、エミュレート・モードは、ｐＮＩＣ１２２０とＶＭ１２１１ａとの間の通信が仮想スイッチ１２１５を介するモードである。いくつかの実施形態において、仮想スイッチ１２１５は、低速パス処理を実行しないが、代わりに、ＦＰＯハードウェア又はＦＰＡＧ１２６０のいずれかによって提供されるフロー処理に依存する、軽量仮想スイッチである。仮想スイッチ１２１５は、図示される実施形態において、物理機能１２３４に接続する。いくつかの実施形態において、仮想スイッチは、複数の計算ノードに接続し、（１）仮想機能よりも大きい帯域幅を有し、（２）仮想機能よりも大きい構成可能性を有する物理機能を通じてｐＮＩＣに接続する。したがって、ＶＰＩＤ対ＰＰＩＤマッピングは、物理機能１２３４のＰＰＩＤ１１１１を複数のＶＰＩＤに関連付ける。時刻Ｔ１において、ＶＭ１２１１ａのｖＮＩＣ１２１２ａは、仮想機能１２３３ａから切断され、仮想スイッチ１２１５に接続する。また、時刻Ｔ１（又はほぼ時刻Ｔ１）において、ＦＰＡＧ１２６０は、ＰＰＩＤ９１２３の代わりにＰＰＩＤ１１１１に関連付けるために、更新されたＶＰＩＤ対ＰＰＩＤマッピングをＶＰＩＤ１０００へ送信する。他の実施形態において、ＶＰＩＤ１０００とＰＰＩＤ９１２３との間の以前の関連付けが削除され、ＶＰＩＤ１０００とＰＰＩＤ１１１１との間の新たなマッピングがＦＰＡＧ１２６０によって追加される。これに加えて、ＰＰＩＤ１１１１によって識別されるＰＦ１２３４へデータ・メッセージを転送する場合にｖＮＩＣ１２１２ａに関連付けられたＶＰＩＤが維持されるべきであることを示すために、関連付けられた「ＶＰＩＤ付加フィールド」内の値を時刻Ｔ０における「０」から時刻Ｔ１における「１」に変更するように、ＶＰＩＤ対ＰＰＩＤマッピングが更新又は置換される。図示されるように、フロー・エントリ・テーブル１２４３は時刻Ｔ０（Ｔ１の前）と時刻Ｔ１とで同じであり、マッピング・テーブル１２４２は時刻Ｔ０と時刻Ｔ１との間に更新される。

【0073】

図１３は、時刻「Ｔ１」におけるＶＭ１３１１ａのｖＮＩＣ１３１２ａの構成への変更がｖＮＩＣ１３１２ａのＶＰＩＤを変更させるシステム１３００の選択された要素を示す。ｖＮＩＣ１３１２ａは、構成変更の前後両方で、ＰＰＩＤ９１２３によって識別される仮想機能１３３３ａに接続される。時刻Ｔ１において、ｖＮＩＣ１３１２ａは、実質的に異なるｖＮＩＣであり、新たなＶＰＩＤ３０００が割り当てられるように再構成される。また、時刻Ｔ１（又はほぼ時刻Ｔ１）において、ＦＰＡＧ１３６０は、（１）以前のＶＰＩＤ対ＰＰＩＤマッピングを削除し、（２）新たなＶＰＩＤについて新たなＶＰＩＤ対ＰＰＩＤマッピングを追加するための命令の集合を送信する。図示されるように、マッピング・テーブル１３４２は、新たに割り当てられたＶＰＩＤを考慮するために、時刻Ｔ０と時刻Ｔ１との間に更新される。以前のＶＰＩＤ（すなわち、ＶＰＩＤ１０００）を宛先として指定するフロー・エントリに対するマッピング・テーブル・ルックアップは今や、障害を生成し（又は、デフォルト・マッピングにヒットし）、上記の図９に関連して説明されたように、ＦＰＡＧ１３６０に向けられる。

【0074】

図１０～図１２はすべて、特定の計算ノード・インタフェース（すなわち、ｖＮＩＣ１０１２ａ、１１１２ａ及び１２１２ａ）を識別するＶＰＩＤが、遷移又はマイグレーション全体にわたって同じままであるシナリオを示す。このような場合、ＦＰＯハードウェアに提供されるフロー・エントリは依然として有効であり、ＶＰＩＤ対ＰＰＩＤマッピング・テーブルの更新によって、既存のデータ・メッセージ・フローは、個々のフロー・エントリを更新することなく、又は変更が有効になる前に既存のフロー・エントリを無効にしなければならないことなく、現在のＰＰＩＤ（及び宛先計算ノード・インタフェース）に向けられる。しかし、図１３に示されるシナリオでは、既存のフローのためのフロー・エントリは無効である（存在しなくなった宛先ＶＰＩＤを指定する）。いくつかの実施形態において及びいくつかのデータ・メッセージ・フローについて、構成変更は特定の既存のデータ・メッセージ・フローを許可又はサポートせず、各データ・メッセージ・フローが再検証されなければならないため、システムはすべてのフロー・エントリを無効として扱う。しかし、図１０～図１２のシナリオと同様に、フロー・エントリを更新又は削除しなければならないことなく、計算ノード・インタフェース及びＶＰＩＤへの変更が有効になる。

【0075】

図１４は、リソースが利用可能である場合に実行されうるバックグラウンド・プロセスとして、無効なフロー・エントリを削除するためのプロセス１４００を概念的に示す。いくつかの実施形態において、プロセス１４００は、ＦＰＡＧによって実行される。いくつかの実施形態において、プロセス１４００は、各ＶＰＩＤについてＦＰＡＧによって生成されたフロー・エントリに関するＦＰＡＧにおいて記憶された情報に基づいて、これに加えて又はこれに代えて、ＦＰＯハードウェアから受信された情報に基づいて実行される。プロセス１４００は、無効化された（すなわち、もはや計算ノード・インタフェースに関連付けられていない）ＶＰＩＤを識別することによって始まる。いくつかの実施形態において、無効化されたＶＰＩＤを識別することは、ＶＰＩＤもはや計算ノード・インタフェースに関連付けられていない（例えば、以前はＶＰＩＤに関連付けられていた計算ノード・インタフェースが現在は異なるＶＰＩＤに関連付けられている）というローカル・コントローラからの通知に基づく。いくつかの実施形態において、無効化されたＶＰＩＤを識別することは、ＦＰＯハードウェアから、フロー・エントリに一致したが、ＶＰＩＤ対ＰＰＩＤマッピングとの一致に失敗したデータ・メッセージを受信することを含む。いくつかの実施形態において、ＦＰＯハードウェアから受信されたデータ・メッセージは、無効化されたＶＰＩＤをメタデータ内に含むか、又は無効化されたＶＰＩＤを識別するためにデータ・メッセージとともに制御メッセージを送信する。

【0076】

プロセス１４００は、その後、無効化されたＶＰＩＤに関連するフロー・エントリの集合を（１４１０において）識別する。いくつかの実施形態において、ＦＰＡＧは、ソース又は宛先のいずれかとしてＶＰＩＤを指定して生成された各フロー・エントリを記憶する。識別され、無効化されたＶＰＩＤに基づいて、ＦＰＡＧは、無効化されたＶＰＩＤを指定する各エントリをソース又は宛先のいずれかとして識別できる。いくつかの実施形態において、ＦＰＡＧは、無効化されたＶＰＩＤに関連付けられたフロー・エントリのすべてを識別するのではなく、その代わりに、ＦＰＯハードウェアから受信されたデータ・メッセージに基づいて、無効なＶＰＩＤに関連するフロー・エントリを識別する。いくつかの実施形態において、ＦＰＯハードウェアから受信されたデータ・メッセージは、（例えば、メタデータ内に、又は制御メッセージのコンテンツとして）、マッピング・テーブル内のルックアップから障害を生成した（又はデフォルト・ルールにヒットする）ＦＰＯハードウェアにおいて受信されたデータ・メッセージと一致するフロー・エントリのためのフロー・エントリ識別子を含む。いくつかの実施形態において、ＶＰＩＤルックアップから障害を生成した受信データ・メッセージのための新たなフロー・エントリを生成するために、（図７の）動作７１５～７２５も実行されることを当業者は理解するだろう。

【0077】

プロセス１４００は、その後、ＦＰＯハードウェアから、識別されたフロー・エントリを削除するための命令の集合を（１４１５において）生成する。いくつかの実施形態において、命令の集合は、複数のフロー・エントリを削除するための単一の命令として生成されるが、他の実施形態において、命令の集合は、識別された各フロー・エントリを削除するための別個の命令を含む。いくつかの実施形態において、命令の集合は、リソースが利用可能である場合に、バックグラウンド・プロセスとして生成される。

【0078】

命令の集合は、ＦＰＯハードウェアにそのストレージからフロー・エントリを削除させるために、ＦＰＯハードウェアへ（１４２０において）送信される。その後、ＦＰＯハードウェアは、無効化されたフロー・エントリを削除し、プロセス１４００は終了する。いくつかの実施形態において、ＦＰＯハードウェアはまた、他のより高い優先度のプロセスに必要とされるリソースを消費しないバックグラウンド・プロセスとして命令を処理するだけである。いくつかの実施形態において、ＦＰＯハードウェアは、無効化されたＶＰＩＤをＦＰＡＧが再利用することを可能にするために、フロー・エントリの識別された集合が削除されたことの確認を送信うる。無効なフロー・エントリが削除される前に、更新されたＶＰＩＤ対ＰＰＩＤマッピングに基づいて構成変更が有効になりうるので、プロセス１４００及びＦＰＯハードウェアにおける命令の処理は、バックグラウンド・プロセスとして実行されることが可能である。ＦＰＯハードウェアのリソースを節約し、ＶＰＩＤのために以前に生成されたフロー・エントリが削除された後に、無効化されたＶＰＩＤが再使用されることを可能にするために、フロー・エントリが削除される。

【0079】

図１５は、無効化されたＶＰＩＤを指定するフロー・エントリを削除するためにＦＰＯハードウェアによって実行されるプロセス１５００を概念的に示す。プロセス１５００は、無効化されたＶＰＩＤを宛先として指定するフロー・エントリに一致するデータ・メッセージを（１５０５において）受信することによって始まる。データ・メッセージは、ワイルドカード値又は値の範囲をマッチング基準として指定するフロー・エントリの基準に一致する、既存のフロー又は新たなフローのデータ・メッセージであってもよい。

【0080】

その後、プロセス１５００は、一致するフロー・エントリ内の宛先として指定されたＶＰＩＤに対してＶＰＩＤ対ＰＰＩＤマッピングが存在しないと（１５１０において）判定する。いくつかの実施形態において、判定は、障害を生成するマッピング・テーブル内のルックアップに基づくか、又はデフォルト・マッピングが返される唯一の一致であることに基づく。いくつかの実施形態において、非デフォルトの宛先が識別されるまで、データ・メッセージに一致したフロー・エントリの識別子が維持される（例えば、データ・メッセージとともに転送される）。

【0081】

その後、プロセス１５００は、ＦＰＯハードウェアからフロー・エントリを（１５１５において）削除する。いくつかの実施形態において、ＦＰＯハードウェアは、マッピング・テーブル内に非デフォルトの一致が見つからないならば、フロー・エントリが自動的に無効化（例えば、削除）されるべきかどうかを示すビットとともに、フロー・エントリを記憶する。いくつかの実施形態において、ＦＰＯハードウェアは、フロー・エントリとともに記憶されたビットに基づいて、又はフロー・エントリとともにフラグ・ビットを記憶することに基づかないデフォルト挙動として、データ・メッセージに一致したフロー・エントリを自動的に無効化し、プロセス１５００は終了する。いくつかの実施形態において、（１５１５において）フロー・エントリを無効化することは、宛先ＰＰＩＤに解決されなかった（すなわち、マッピング・テーブル内のルックアップから非デフォルトの一致を生成しなかった）フロー・エントリであるとフロー・エントリを識別するデータ・メッセージをＦＰＡＧに送信することを含む。その後、ＦＰＧＡは、フロー・エントリを無効化（又は削除）するためにＦＰＯハードウェアによって受信される命令を生成するためにプロセス１４００を実行する。受信された命令に基づいて、ＦＰＯハードウェアはフロー・エントリを無効化（又は削除）し、プロセス１５００は終了する。

【0082】

いくつかの実施形態において、ＦＰＯはまた、特定の時間量にわたってフロー・エントリが使用されていないことに基づいて、フロー・エントリを無効化する（例えば、エイジング・アウトする）ための内部プロセスを有する。いくつかのそのような実施形態において、ＦＰＯハードウェアは、フロー・エントリがデータ・メッセージに最後に一致した時刻に関するデータを記憶する。フロー・エントリがデータ・メッセージに最後に一致した時刻から経過した時間がエイジング・アウト閾値時間よりも大きいならば、フロー・エントリは削除される（又は無効化される）。したがって、少なくともエイジング・アウト閾値時間と同じ大きさの再使用閾値時間の後、無効化されたＶＰＩＤが再使用されうる。いくつかの実施形態において、エイジング・アウト閾値がＦＰＯハードウェア上で満たされたことを保証するために、再使用閾値時間は、平均データ・メッセージ・フローがタイムアウトする時間にエイジング・アウト時間を加えた時間以上に設定される。いくつかの実施形態において、ＶＰＩＤの再利用をさらに容易にするために、ＶＰＩＤは、ＰＰＩＤよりも多くのビットを有するように規定される。いくつかの実施形態において、ＰＰＩＤのビット数は、ｐＮＩＣが有するＰＦの数及び各ＰＦがサポートするＶＦの数に基づく。１６ビットのＰＰＩＤを仮定すると、いくつかの実施形態において、ＶＰＩＤ対ＰＰＩＤマッピングの所望のスパース性に応じて、ＶＰＩＤは１８又は２０ビットである。

【0083】

いくつかの実施形態において、マッピング・テーブルは、データ・メッセージが受信されるＰＰＩＤに関連付けられたＶＰＩＤを識別するための逆マッピングの集合を含む。一部の実施形態において、逆マッピングは、プロセス６００に類似するプロセスを使用して生成されるが、ＰＰＩＤへのＶＰＩＤ並びにＰＰＩＤへのＶＰＩＤのマッピングを（６１５において）生成する。いくつかの実施形態において、逆マッピングは、別個の逆マッピング・テーブルに記憶される。上述のように、特定のＰＰＩＤは、複数のＶＰＩＤに関連付けられてもよい。ホスト・コンピュータ上で実行される計算ノードから受信されるデータ・メッセージについて、ＦＰＯハードウェアにデータ・メッセージを提供する際に、ＶＰＩＤが付加される（又は維持される）。

【0084】

図１６は、物理ネットワーク・ポート１６２１ａ～ｎのリンク・アグリゲーションが有効にされるシステム１６００を示す。いくつかの実施形態において、各物理ネットワーク・ポート１６２１ａ～ｎは異なるＶＰＩＤに関連付けられる。図示されるように、すべての物理ポート１６２１ａ～ｎは、リンク・アグリゲーション・グループ１６９０に含まれる。物理ポート障害の場合に、ＶＰＩＤ対ＰＰＩＤマッピングは、障害が発生した物理ポートに関連付けられたＶＰＩＤが機能的物理ポートに関連付けられるように更新されうる。図１６は、物理ポート１６２１ｎの障害前後のマッピング・テーブル１６４２を示す。時刻Ｔ０における当初のマッピング・テーブル１６４２は、ＶＰＩＤ０００００ｎとＰＰＩＤ０００ｎとの間のマッピングを含み、物理ポート１６２１ｎの障害後、マッピング・テーブル１６４２は、時刻Ｔ１において、ＰＰＩＤ０００１へのＶＰＩＤ０００００ｎの新たなマッピングを含むように更新される。これにより、ＶＰＩＤ０００００ｎを宛先として指定するフロー・エントリを無効化し書き換えることなく、ｐＮＩＣ１６２０から向けられたデータ・メッセージを物理ポート１６２１ａから送出することができる。図１６のＴ１に示されるように、少なくとも１つの物理ポートが複数のＶＰＩＤに関連付けられている。ＰＰＩＤを特定のＶＰＩＤに解決するために、いくつかの実施形態は、（ＰＰＩＤからＶＰＩＤへの）逆マッピングが一貫した結果を生成するように、ＶＰＩＤ対ＰＰＩＤマッピングの集合に優先度を関連付ける。

【0085】

障害が発生したリンクに関連付けられたフロー・エントリを書き換える必要なしにリンク障害の場合に迅速にフェイル・オーバすることに加えて、マッピング・テーブルの使用は、関連付けられたフロー・エントリを書き換えることなく、更新されるべき複数の物理ポートにわたってデータ・メッセージを配布するために負荷分散決定が行われることも可能にする。例えば、リンク・アグリゲーション・グループ内の特定の物理ポートの帯域幅が変わるならば、特定の物理ポートに以前に送信されたデータ・メッセージの集合は、いくつかの実施形態において、特定の物理ポートに関連付けられたＶＰＩＤが現在、異なる物理ポートのＰＰＩＤにマッピングするようにＶＰＩＤ対ＰＰＩＤマッピングを更新することによって、異なる物理ポートにリダイレクトされる。いくつかの実施形態において、各物理ポートには、物理ポートのＰＰＩＤにマッピングされる複数のＶＰＩＤが割り当てられる（例えば、図１６の物理ポート１６２１ａは少なくとも２つのポートにマッピングされる）。いくつかの実施形態において、一次ＶＰＩＤは、逆ルックアップのために各特定の物理ポートに割り当てられ、二次ＶＰＩＤの集合は、ｐＮＩＣから出るために（例えば、リンク・アグリゲーション・プロトコルの負荷分散によって）分散されたデータ・メッセージ・トラフィックの一部にそれぞれ使用されるように割り当てられる。いくつかの実施形態において、割り当てられたＶＰＩＤは、フロー・エントリが特定の物理ポートを通じて出るために生成される際に、ラウンドロビン方式（又は何らかの他の選択メカニズム）で使用される。いくつかの実施形態において、各ポートに対して複数のＶＰＩＤを使用することにより、更新された負荷分散決定をより細かい粒度で行うことができる。例えば、１０個のＶＰＩＤが単一の物理ポートに関連付けられているならば、各ＶＰＩＤは、別々に再マッピングされてもよく、オール・オア・ナッシング・アプローチではなく、物理ポート上のデータ・メッセージ負荷の１０％の再バランスを可能にする。当業者は、１０という数が例としてのみ提供され、同じ宛先物理ポートのために複数のＶＰＩＤを指定するフロー・エントリを生成することと、複数のＶＰＩＤ対ＰＰＩＤマッピングを更新することとの複雑さで再バランスの粒度を調和させるために、より多い又はより少ないＶＰＩＤが割り当てられてもよいことを理解するだろう。

【0086】

上記の特徴及びアプリケーションの多くは、コンピュータ可読記憶媒体（コンピュータ可読媒体とも呼ばれる）に記録された命令の集合として指定されるソフトウェア・プロセスとして実装される。これらの命令が１つ以上の処理ユニット（例えば、１つ以上のプロセッサ、プロセッサのコア、又は他の処理ユニット）によって実行される場合に、それらは、処理ユニットに、命令に示されたアクションを実行させる。コンピュータ可読媒体の例は、ＣＤ－ＲＯＭ、フラッシュ・ドライブ、ＲＡＭチップ、ハード・ドライブ、ＥＰＲＯＭなどを含むが、これらに限定されない。コンピュータ可読媒体は、無線又は有線接続を介して通過する搬送波及び電気信号を含まない。

【0087】

本明細書において、「ソフトウェア」という用語は、リード・オンリ・メモリに常駐するファームウェア、又はプロセッサによって処理するためにメモリに読み込むことができる、磁気ストレージに記憶されたアプリケーションを含むことが意味される。また、いくつかの実施形態において、複数のソフトウェア発明は、別個のソフトウェア発明を残しながら、より大きなプログラムのサブパーツとして実装されうる。いくつかの実施形態において、複数のソフトウェア発明は、別個のプログラムとして実装されうる。最後に、本書に記載されるソフトウェア発明を一緒に実装する別個のプログラムの任意の組合せは、本発明の範囲内である。いくつかの実施形態において、ソフトウェア・プログラムは、１つ以上の電子システム上で動作するようにインストールされた場合に、ソフトウェア・プログラムの動作を実行（execute）及び実行（perform）する１つ以上の特定のマシン実装を規定する。

【0088】

図１７は、本発明のいくつかの実施形態が実施されるコンピュータ・システム１７００を概念的に示す。コンピュータ・システム１７００は、上述のホスト、コントローラ及びマネージャのいずれかを実装するために使用されうる。このように、上述のプロセスのいずれかを実行するために使用されうる。このコンピュータ・システムは、様々なタイプの非一時的機械可読媒体と、様々な他のタイプの機械可読媒体のためのインタフェースとを含む。コンピュータ・システム１７００は、バス１７０５と、処理ユニット１７１０と、システム・メモリ１７２５と、リード・オンリ・メモリ１７３０と、永久記憶デバイス１７３５と、入力デバイス１７４０と、出力デバイス１７４５とを含む。

【0089】

バス１７０５は、コンピュータ・システム１７００の多数の内部デバイスを通信可能に接続するすべてのシステム・バス、周辺バス及びチップセット・バスを集合的に表す。例えば、バス１７０５は、処理ユニット１７１０を、リード・オンリ・メモリ１７３０、システム・メモリ１７２５、及び永久記憶デバイス１７３５と通信可能に接続する。

【0090】

これらの様々なメモリ・ユニットから、処理ユニット１７１０は、本発明のプロセスを実行するために、実行すべき命令及び処理すべきデータを読み出す。処理ユニットは、様々な実施形態において、単一のプロセッサであってもよいし、マルチコア・プロセッサであってもよい。リード・オンリ・メモリ（ＲＯＭ）１７３０は、処理ユニット１７１０及びコンピュータ・システムの他のモジュールによって必要とされる静的データ及び命令を記憶する。一方、永久記憶装置１７３５は、読み書き可能なメモリ・デバイスである。このデバイスは、コンピュータ・システム１７００がオフであっても命令及びデータを記憶する不揮発性メモリ・ユニットである。本発明のいくつかの実施形態は、永久記憶デバイス１７３５として（磁気又は光ディスク及びその対応するディスク・ドライブのような）大容量記憶デバイスを使用する。

【0091】

他の実施形態は、取り外し可能な記憶デバイス（フロッピー・ディスク、フラッシュ・ドライブなど）を永久記憶デバイスとして使用する。永久記憶デバイス１７３５と同様に、システム・メモリ１７２５は、読み書きメモリ・デバイスである。しかし、記憶デバイス１７３５とは異なり、システム・メモリは、ランダム・アクセス・メモリのような揮発性の読み書きメモリである。システム・メモリは、プロセッサが実行時に必要とする命令及びデータの一部を記憶する。いくつかの実施形態において、本発明のプロセスは、システム・メモリ１７２５、永久記憶デバイス１７３５、及び／又はリード・オンリ・メモリ１７３０に記憶される。これらの様々なメモリ・ユニットから、処理ユニット１７１０はいくつかの実施形態のプロセスを実行するために、実行すべき命令及び処理すべきデータを読み出す。

【0092】

バス１７０５はまた、入力デバイス１７４０及び出力デバイス１７４５に接続する。入力デバイス１７４０は、ユーザが情報を通信し、要求をコンピュータ・システムに選択することを可能にする。入力デバイス１７４０は、英数字キーボード及びポインティング・デバイス（「カーソル制御デバイス」とも呼ばれる）を含む。出力デバイス１７４５は、コンピュータ・システム１７００によって生成された画像を表示する。出力デバイス１７４５は、プリンタ及び、陰極線管（ＣＲＴ）又は液晶ディスプレイ（ＬＣＤ）のような表示デバイスを含む。いくつかの実施形態は、入力デバイス及び出力デバイスの両方として機能するタッチスクリーンのようなデバイスを含む。

【0093】

最後に、図１７に示されるように、バス１７０５はまた、ネットワーク・アダプタ（図示せず）を介してコンピュータ・システム１７００をネットワーク１７６５に結合する。このようにして、コンピュータ１７００は、（ローカル・エリア・ネットワーク（「ＬＡＮ」）、ワイド・エリア・ネットワーク（「ＷＡＮ」）、又はイントラネットのような）コンピュータのネットワーク、又は（インターネットのような）ネットワークのネットワークの一部でありうる。コンピュータ・システム１７００の任意の又はすべての構成要素が本発明と併せて使用されてもよい。

【0094】

いくつかの実施形態は、機械可読又はコンピュータ可読媒体（代替的に、コンピュータ可読記憶媒体、機械可読媒体、又は機械可読記憶媒体と呼ばれる）にコンピュータ・プログラム命令を記憶するマイクロプロセッサのような電子コンポーネントを含む。そのようなコンピュータ可読媒体のいくつかの例は、ＲＡＭ、ＲＯＭ、リード・オンリ・コンパクト・ディスク（ＣＤ－ＲＯＭ）、記録可能コンパクト・ディスク（ＣＤ－Ｒ）、書き換え可能コンパクト・ディスク（ＣＤ－ＲＷ）、リード・オンリ・デジタル多用途ディスク（例えば、ＤＶＤ－ＲＯＭ、二重層ＤＶＤ－ＲＯＭ）、様々な記録可能／書き換え可能ＤＶＤ（例えば、ＤＶＤ－ＲＡＭ、ＤＶＤ－ＲＷ、ＤＶＤ＋ＲＷなど）、フラッシュメモリ（例えば、ＳＤカード、ミニＳＤカード、マイクロＳＤカードなど）、磁気及び／又はソリッド・ステート・ハード・ドライブ、リード・オンリ及び記録可能Ｂｌｕ－Ｒａｙ（登録商標）ディスク、超密度光ディスク、任意の他の光学又は磁気媒体、並びにフロッピー・ディスクを含む。コンピュータ可読媒体は、少なくとも１つの処理ユニットによって実行可能であり、様々な動作を実行するための命令の集合を含むコンピュータ・プログラムを記憶してもよい。コンピュータ・プログラム又はコンピュータ・コードの例は、コンパイラによって生成されるような機械コード、及びインタプリタを使用してコンピュータ、電子コンポーネント、又はマイクロプロセッサによって実行される高レベル・コードを含むファイルを含む。

【0095】

上記の説明は主に、ソフトウェアを実行するマイクロプロセッサ又はマルチコア・プロセッサに言及するが、いくつかの実施形態は特定用途向け集積回路（ＡＳＩＣ）又はフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）のような１つ以上の集積回路によって実行される。いくつかの実施形態において、そのような集積回路は、回路自体に記憶されている命令を実行する。

【0096】

本明細書で使用される場合、「コンピュータ」、「サーバ」、「プロセッサ」、及び「メモリ」という用語はすべて、電子デバイス又は他の技術のデバイスを指す。これらの用語は、人間又は人間のグループを除外する。本明細書のために、「表示する」又は「表示している」という用語は、電子デバイス上に表示することを意味する。この明細書で使用されるように、「コンピュータ可読媒体」、「コンピュータ可読媒体」、及び「機械可読媒体」という用語は、コンピュータによって可読である形態で情報を記憶する有形の物理オブジェクトに完全に限定される。これらの用語は、任意の無線信号、有線ダウンロード信号、及び任意の他の刹那の又は一時的な信号を除外する。

【0097】

本発明を多数の特定の詳細を参照して説明してきたが、当業者は本発明が本発明の精神から逸脱することなく他の特定の形態で実施されうることを認識するのであろう。また、上記のいくつかの例はコンテナ・ポッドを参照しているが、他の実施形態はポッドの外側のコンテナを使用する。したがって、当業者は、本発明が前述の例示的な詳細によって限定されるべきではなく、むしろ添付の特許請求の範囲によって定義されるべきであることを理解するだろう。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】