特許 6981367 ネットワークシステムおよびネットワーク帯域制御管理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6981367

(24)【登録日】2021年11月22日

(45)【発行日】2021年12月15日

(54)【発明の名称】ネットワークシステムおよびネットワーク帯域制御管理方法

(51)【国際特許分類】

   H04L 12/865 20130101AFI20211202BHJP

   H04L 12/873 20130101ALI20211202BHJP

   H04L 12/70 20130101ALI20211202BHJP

【ＦＩ】

   H04L12/865

   H04L12/873

   H04L12/70 D

【請求項の数】5

【全頁数】24

(21)【出願番号】特願2018-106838(P2018-106838)

(22)【出願日】2018年6月4日

(65)【公開番号】特開2019-213026(P2019-213026A)

(43)【公開日】2019年12月12日

【審査請求日】2020年10月12日

(73)【特許権者】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(74)【代理人】

【識別番号】110001807

【氏名又は名称】特許業務法人磯野国際特許商標事務所

(72)【発明者】

【氏名】秋山 貴之

【審査官】 安藤 一道

(56)【参考文献】

【文献】 特開２０１５−１４９５７７（ＪＰ，Ａ）

【文献】 特開２０１５−１３８４２５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｌ １２／８６５

Ｈ０４Ｌ １２／８７３

Ｈ０４Ｌ １２／７０

(57)【特許請求の範囲】

【請求項1】

仮想化基盤上に複数のサービスが搭載され、ＯＶＳ（Open Virtual Switch）に接続されるOpen Stackを構成するコンポーネントを有し、前記ＯＶＳは、外部ＮＷから流入したパケットが、サービス単位で設定された帯域幅の上限を超過した場合、当該パケットを廃棄するネットワークシステムであって、
前記仮想化基盤と前記外部ＮＷとの間に設置され、前記ＯＶＳへ流入するパケットの帯域量を制御する外部ＳＷと、
前記コンポーネントから取得した情報をもとに、前記仮想化基盤のサービス追加または削除をトリガとして前記外部ＳＷの帯域制御および優先制御の設定変更を行うＮＷ制御管理装置と、を備え、
前記ＮＷ制御管理装置は、
前記コンポーネントを構成するコントローラノードからＶＭ（Virtual Machine）の情報を取得するとともに、前記各サービスのＩＤ、ＩＰアドレス、ＭＡＣアドレス、ＶＬＡＮ、および帯域を含むＮＷ制御に関わる情報を管理するデータ管理部と、
前記仮想化基盤に装備されているCeilometerから情報を収集するとともに、前記外部ＳＷのＮＷ帯域量を監視し、帯域の上限設定をしていない場合、または空き帯域がある場合、ＶＭ単位の利用量に応じた帯域制限の解放または設定を行うＮＷ制御部と、
各サービスへ割り当てる帯域量を前記外部ＳＷへ設定するための設定情報を生成するとともに、前記外部ＳＷへ接続し、前記設定情報の投入を行う外部ＳＷ設定部と、を備える
ことを特徴とするネットワークシステム。

【請求項2】

仮想化基盤上に複数のサービスが搭載され、ＯＶＳ（Open Virtual Switch）に接続されるOpen Stackを構成するコンポーネントを有し、前記ＯＶＳは、外部ＮＷから流入したパケットが、サービス単位で設定された帯域幅の上限を超過した場合、当該パケットを廃棄するネットワークシステムであって、
前記仮想化基盤と前記外部ＮＷとの間に設置され、前記ＯＶＳへ流入するパケットの帯域量を制御する外部ＳＷと、
前記コンポーネントから取得した情報をもとに、前記仮想化基盤のサービス追加または削除をトリガとして前記外部ＳＷの帯域制御および優先制御の設定変更を行うＮＷ制御管理装置と、を備え、
前記ＮＷ制御管理装置は、
前記仮想化基盤のＯＶＳの処理可能な帯域量を把握し、その上限値を記憶するデータ記憶部を有し、
前記仮想化基盤に装備されているCeilometerから情報を収集するとともに、前記外部ＳＷのＮＷ帯域量を監視して各サービスのトラヒック情報を定期的に取得し、
各サービスがサービス単位に設定した上限帯域を超過しておらず、かつ、前記ＯＶＳの処理能力の上限値を超える前に、各サービスの優先度が高いサービスは帯域確保を行い、優先度の低いサービスは、上限帯域を絞るように設定情報を生成する
ことを特徴とするネットワークシステム。

【請求項3】

前記ＮＷ制御管理装置は、
各サービスのトラヒック量の最繁若しくは閑散の時間、月日または曜日のトレンドを把握し、
サービスが上限帯域を超過する傾向にあり、かつ、仮想化基盤全体のＮＷ帯域に余力がある場合、一時的に当該サービスの上限帯域を緩めるように設定情報を作成する
ことを特徴とする請求項２に記載のネットワークシステム。

【請求項4】

仮想化基盤上に複数のサービスが搭載され、ＯＶＳ（Open Virtual Switch）に接続されるOpenStackを構成するコンポーネントを有し、前記ＯＶＳは、外部ＮＷから流入したパケットが、サービス単位で設定された帯域幅の上限を超過した場合、当該パケットを破棄するネットワークシステムのネットワーク帯域制御管理方法であって、
前記ネットワークシステムは、ＮＷ制御を行うＮＷ制御管理装置と、前記ＯＶＳへ流入するパケットの帯域量を制御する外部ＳＷと、を備え、
前記ＮＷ制御管理装置は、
前記コンポーネントを構成するコントローラノードからＶＭ（Virtual Machine）の情報を取得するとともに、前記各サービスのＩＤ、ＩＰアドレス、ＭＡＣアドレス、ＶＬＡＮ、および帯域を含むＮＷ制御に関わる情報を管理するステップと、
前記仮想化基盤に装備されているCeilometerから情報を収集するとともに、前記外部ＳＷのＮＷ帯域量を監視し、帯域の上限設定をしていない場合、または空き帯域がある場合、ＶＭ単位の利用量に応じた帯域制限の解放または設定を行うステップと、
各サービスへ割り当てる帯域量を前記外部ＳＷへ設定するための設定情報を生成するとともに、前記外部ＳＷへ接続し、前記設定情報の投入を行うステップと、を実行する
ことを特徴とするネットワーク帯域制御管理方法。

【請求項5】

仮想化基盤上に複数のサービスが搭載され、ＯＶＳ（Open Virtual Switch）に接続されるOpenStackを構成するコンポーネントを有し、前記ＯＶＳは、外部ＮＷから流入したパケットが、サービス単位で設定された帯域幅の上限を超過した場合、当該パケットを破棄するネットワークシステムのネットワーク帯域制御管理方法であって、
前記ネットワークシステムは、ＮＷ制御を行うＮＷ制御管理装置と、前記ＯＶＳへ流入するパケットの帯域量を制御する外部ＳＷと、を備え、
前記ＮＷ制御管理装置は、
前記仮想化基盤のＯＶＳの処理可能な帯域量を把握し、その上限値を記憶するデータ記憶部を有し、
前記仮想化基盤に装備されているCeilometerから情報を収集するとともに、前記外部ＳＷのＮＷ帯域量を監視して各サービスのトラヒック情報を定期的に取得するステップと、
各サービスがサービス単位に設定した上限帯域を超過しておらず、かつ、前記ＯＶＳの処理能力の上限値を超える前に、各サービスの優先度が高いサービスは帯域確保を行い、優先度の低いサービスは、上限帯域を絞るように設定情報を生成するステップと、を実行する
ことを特徴とするネットワーク帯域制御管理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ネットワークシステムおよびネットワーク帯域制御管理方法に関する。

【背景技術】

【0002】

ネットワーク事業者においては、ネットワーク全体の資源を有効に利用し、転送品質の維持、ネットワークコストの低減を図ることが重要である。将来のサービスの多様化に伴うネットワークの突発的かつ不規則な変化に柔軟に対応し、ネットワーク資源の有効利用を実現する技術としてネットワーク仮想化技術が提案されている。

【0003】

また、ハイパーバイザと呼ばれるソフトウェアで、一台の物理サーバ上に複数の仮想的な計算機となる仮想マシン（以下、仮想マシンＶＭ（Virtual Machine）という）を実現する技術が知られている。この仮想マシンＶＭは、それぞれが独立にオペレーティングシステムを動作させることができる。複数の仮想マシンＶＭが動作する物理サーバは、ワークステーションやパーソナルコンピュータ等のコンピュータである。また、仮想マシンサーバがネットワークを介して複数台接続された環境においては、仮想マシンサーバ上に実現された仮想マシンＶＭもネットワークを介して通信することができる。

【0004】

Open Stackは、オープンソースで開発されているクラウド環境構築用のソフトウェア群である。Open Stackでは、仮想マシンとストレージ、ネットワーク等の一番低いレイヤーのリソースを提供するクラウド環境が構築できる。Open Stackの持つQoS（Quality of Service：サービス品質）ルール種別は、帯域幅制限、最小帯域幅、パケット優先度（DSCP：Differentiated Services Code Point）があり、帯域を制限できる（非特許文献１参照）。QoSは、帯域、遅延、ジッター、信頼性などのある種のネットワーク要件を保証する機能で、アプリケーションプロバイダーとユーザ間のサービスレベル合意（ＳＬＡ：Service Level Agreement）を満たすために使用される。スイッチやルータなどのネットワーク機器は、トラヒックに優先度のマークを付けることでＳＬＡにおいて合意された QoS 条件を達成できる。
Open Stackで一般的に利用されるＯＶＳ（Open Virtual Switch）のＱｏＳは、出力（egress）はシェーピング（Shaping）、入力（ingress）はポリシング（Policing）をサポートしている（非特許文献２参照）。

【0005】

ＯＶＳの入力は、ポリシングであり、サービス単位で帯域幅の上限設定を行えばその設定値を超過した場合にそのパケットを廃棄する。帯域幅の上限設定は、サービス単位であり、システムとしての運用管理が必要な場合、運用者が他サービスやＯＶＳの処理能力を考慮してネットワーク設計し、設定値を変更する必要がある。しかし、仮想化環境においては、サービス増減が頻繁に発生するため、ネットワークの再設計作業は煩雑になる。

【0006】

また、仮想化基盤全体ではＮＷのトラヒックが低い状態であって、あるサービスが帯域幅上限まで使用していた場合、その上限設定までの利用しかできない。ＮＷを有効活用するためには、一時的に帯域幅上限を変更する必要があるが、保守者の手動運用が必要である。
以下、従来の仮想化基盤におけるネットワーク帯域制御について説明する。

【0007】

図１５および図１６は、従来の仮想化基盤におけるネットワーク帯域制御を説明する図である。
図１５および図１６に示すように、従来技術に係るネットワークシステムは、物理サーバ内に存在するサービスＡを提供する仮想マシンＶＭ_１、サービスＢを提供する仮想マシンＶＭ_２、サービスＣを提供する仮想マシンＶＭ_３、仮想マシンＶＭ_４と、Open Stackを構成するコンポーネントであるCompute Node１〜３、Network Node６およびController Node７と、Ｌ２スイッチＬ２ＳＷ（以下Ｌ２ＳＷという）４と、を備える。

【0008】

仮想マシンＶＭ１〜仮想マシンＶＭ４は、Network Node６を経由してそれぞれ外部ネットワークＮＷ８に接続される。
仮想サーバＶＭ１〜ＶＭ４は、ソフトウェアにより実現される仮想的な情報処理装置である。仮想サーバＶＭ１〜ＶＭ４は、図示しない仮想スイッチを介して、Ｌ２ＳＷ４に接続される。Ｌ２ＳＷ４は、自己の仮想スイッチが含まれる物理サーバ上の仮想サーバＶＭ_１〜ＶＭ_４による通信を切り替えるハードウェアである。なお、各Computeを複数台接続するにはハードウェアのＬ２ＳＷが必要になり、その装置がＬ２ＳＷ４になる。

【0009】

Open Stackは、役割ごとにノード（物理もしくは仮想サーバ）を構成して利用する。図１５では、Open Stackは、Compute Node１〜３と、Network Node６と、Controller Node７とに分けられる。

【0010】

Compute Node１〜３は、仮想化基盤の構築や制御を行う。Compute Node１は、仮想マシンＶＭ_１が動作するノード、Compute Node２は、仮想マシンＶＭ_２，仮想マシンＶＭ_３が動作するノード、Compute Node３は、仮想マシンＶＭ_４が動作するノードである。

【0011】

Network Node６は、ネットワークの仮想化や管理を行う。Network Node６は、ＩＰ（Internet Protocol）転送やＤＨＣＰ（Dynamic Host Configuration Protocol）など、インスタンスに対するネットワークサービスを提供するサーバである。Network Node６は、Compute Node１〜３による仮想ルータ、ＤＨＣＰ等の機能を提供する。Network Node６は、ＯＶＳ５を有する。
Open Stackでは、サービス単位に帯域の上限設定ができる。ＯＶＳ５はその帯域の上限を超過した場合、入力はポリシングによりパケットを破棄する。

【0012】

Controller Node７は、各コンポーネントのうち、管理系のサービスすべての制御用のコンポーネントを配置する。Controller Node７は、ユーザや他のノードからの要求を処理し、Open Stack 全体の管理を行う管理サーバである。また、Controller Node７は、Network Node６のみ帯域の上限設定が可能である。

【0013】

図１５の例では、サービスＡ（優先度：高）、サービスＢ（優先度：低）、サービスＣ（優先度：低）にそれぞれ帯域上限設定を４Ｇbps、３Ｇbps、２Ｇbpsを設定している。
例えば、図１５の符号ａに示すように、サービスＣに３Ｇbpsの帯域が入力してきた場合、ポリシング制御により２Ｇbps分のパケットは通過し、残りの１Ｇbps分のパケットは破棄される（図１５の符号ｂ参照）。
ポリシングは、仮想化基盤のＮＷ全体のトラヒック量に関係なくそのサービスが上限帯域を超過した場合、パケットを破棄する。そのため、仮想化基盤のＮＷ全体のトラヒック量が少なく、かつあるサービスが帯域上限を超過した場合、ＮＷに余力があるものの上限設定をしたがためにパケット廃棄をしてしまう。すなわち、帯域上限設定したポリシングにより、超過分のパケットは廃棄される。

【0014】

一方、各サービスの帯域上限設定を超えていない場合、入力パケットに対して、ポリシングは働かずにＯＶＳ５へ流入する。しかし、全サービスのトラヒックの合計（以下、「総トラヒック量」という）がＯＶＳ５の処理能力を超えた場合、優先度の高いパケットの区別なくパケットを破棄することになり、仮想化基盤のサービス断、遅延が発生する。
例えば、図１６に示すＯＶＳ５の処理能力が８Ｇbpsしかない場合、入力パケットは、
４Ｇps＋３Ｇbps＋２Ｇbps＝９Ｇbps
である。
このため、ＯＶＳ５は、１Ｇbps分パケット破棄をするが、優先度の高いサービスＡも優先度の低いサービスＢ、Ｃと同様にパケット破棄してしまう（図４の符号ｃ参照）。すなわち、ＯＶＳ５は、ＯＶＳ処理能力＜総トラヒック量の場合、優先度を考慮せずにパケットを破棄する。

【先行技術文献】

【非特許文献】

【0015】

【非特許文献1】https://docs.openstack.org/ocata/ja/networking-guide/config-qos.html

【非特許文献2】https://docs.openvswitch.org/en/latest/faq/qos/

【発明の概要】

【発明が解決しようとする課題】

【0016】

Open Stackでは、仮想化基盤上に複数のサービスが搭載され、ＯＶＳ５に接続される。Open StackのＱｏＳでは、サービス単位の帯域幅の上限設定であるため、超過した場合はパケット廃棄するが、超過しない場合はポリシングが効かない。
特に、外部ＳＷから大量パケットが流入してくる場合、仮想化基盤のＮＷ全体からみると、各サービスで超過しなかったパケットがＯＶＳ５へ流入し、ＯＶＳ５の処理負荷が高くなり、ボトルネックとなる。つまり、各サービスの帯域幅の上限設定以下でもパケットロスが発生する。また、ＯＶＳ５はパケットをキューに入れないポリシングのため、優先したいパケットが外部ＮＷから流入してもパケット破棄され、仮想化基盤上に搭載されているサービスの通信断、パケット再送による遅延が発生する。例えば、一般的に電話等のような優先度が高いサービスでもパケット廃棄されるため、サービスとして成立しなくなることになる。

【0017】

その対応策の１つとして、Open Stack等仮想化基盤と外部ＮＷとの間に外部のＬ２ＳＷまたはＬ３ＳＷを設置し、あらかじめ帯域制御を手動で設定する手動設定方法がある。しかし、この手動設定方法は、運用者が全サービスの帯域を考慮して設計する必要がある。また、この手動設定方法は、運用者がサービスの増設／減設時にその都度設計の見直し、再設定をしなければならない。

【0018】

このような背景に鑑みて本発明がなされたのであり、本発明は、高負荷時に優先的に流す必要のあるパケットが破棄されるのを防ぐことができるネットワークシステムおよびネットワーク帯域制御管理方法を提供することを課題とする。

【課題を解決するための手段】

【0019】

前記した課題を解決するため、請求項１に記載の発明は、仮想化基盤上に複数のサービスが搭載され、ＯＶＳ（Open Virtual Switch）に接続されるOpen Stackを構成するコンポーネントを有し、前記ＯＶＳは、外部ＮＷから流入したパケットが、サービス単位で設定された帯域幅の上限を超過した場合、当該パケットを廃棄するネットワークシステムであって、前記仮想化基盤と前記外部ＮＷとの間に設置され、前記ＯＶＳへ流入するパケットの帯域量を制御する外部ＳＷと、前記コンポーネントから取得した情報をもとに、前記仮想化基盤のサービス追加または削除をトリガとして前記外部ＳＷの帯域制御および優先制御の設定変更を行うＮＷ制御管理装置と、を備え、前記ＮＷ制御管理装置は、前記コンポーネントを構成するコントローラノードからＶＭ（Virtual Machine）の情報を取得するとともに、前記各サービスのＩＤ、ＩＰアドレス、ＭＡＣアドレス、ＶＬＡＮ、および帯域を含むＮＷ制御に関わる情報を管理するデータ管理部と、前記仮想化基盤に装備されているCeilometerから情報を収集するとともに、前記外部ＳＷのＮＷ帯域量を監視し、帯域の上限設定をしていない場合、または空き帯域がある場合、ＶＭ単位の利用量に応じた帯域制限の解放または設定を行うＮＷ制御部と、各サービスへ割り当てる帯域量を前記外部ＳＷへ設定するための設定情報を生成するとともに、前記外部ＳＷへ接続し、前記設定情報の投入を行う外部ＳＷ設定部と、を備えることを特徴とするネットワークシステムとした。

【0021】

また、請求項４に記載の発明は、仮想化基盤上に複数のサービスが搭載され、ＯＶＳ（Open Virtual Switch）に接続されるOpenStackを構成するコンポーネントを有し、前記ＯＶＳは、外部ＮＷから流入したパケットが、サービス単位で設定された帯域幅の上限を超過した場合、当該パケットを破棄するネットワークシステムのネットワーク帯域制御管理方法であって、前記ネットワークシステムは、ＮＷ制御を行うＮＷ制御管理装置と、前記ＯＶＳへ流入するパケットの帯域量を制御する外部ＳＷと、を備え、前記ＮＷ制御管理装置は、前記コンポーネントを構成するコントローラノードからＶＭ（Virtual Machine）の情報を取得するとともに、前記各サービスのＩＤ、ＩＰアドレス、ＭＡＣアドレス、ＶＬＡＮ、および帯域を含むＮＷ制御に関わる情報を管理するステップと、前記仮想化基盤に装備されているCeilometerから情報を収集するとともに、前記外部ＳＷのＮＷ帯域量を監視し、帯域の上限設定をしていない場合、または空き帯域がある場合、ＶＭ単位の利用量に応じた帯域制限の解放または設定を行うステップと、各サービスへ割り当てる帯域量を前記外部ＳＷへ設定するための設定情報を生成するとともに、前記外部ＳＷへ接続し、前記設定情報の投入を行うステップと、を実行することを特徴とするネットワーク帯域制御管理方法とした。

【0022】

このようにすることで、仮想化基盤にあるＯＶＳのボトルネックを解消し、優先したいパケットを処理することができる。また、高負荷時に優先的に流す必要のあるパケットが破棄されたのを防ぐことができる。

【0025】

また、請求項２に記載の発明は、仮想化基盤上に複数のサービスが搭載され、ＯＶＳ（Open Virtual Switch）に接続されるOpen Stackを構成するコンポーネントを有し、前記ＯＶＳは、外部ＮＷから流入したパケットが、サービス単位で設定された帯域幅の上限を超過した場合、当該パケットを廃棄するネットワークシステムであって、前記仮想化基盤と前記外部ＮＷとの間に設置され、前記ＯＶＳへ流入するパケットの帯域量を制御する外部ＳＷと、前記コンポーネントから取得した情報をもとに、前記仮想化基盤のサービス追加または削除をトリガとして前記外部ＳＷの帯域制御および優先制御の設定変更を行うＮＷ制御管理装置と、を備え、前記ＮＷ制御管理装置は、前記仮想化基盤のＯＶＳの処理可能な帯域量を把握し、その上限値を記憶するデータ記憶部を有し、前記仮想化基盤に装備されているCeilometerから情報を収集するとともに、前記外部ＳＷのＮＷ帯域量を監視して各サービスのトラヒック情報を定期的に取得し、各サービスがサービス単位に設定した上限帯域を超過しておらず、かつ、前記ＯＶＳの処理能力の上限値を超える前に、各サービスの優先度が高いサービスは帯域確保を行い、優先度の低いサービスは、上限帯域を絞るように設定情報を生成することを特徴とするネットワークシステムとした。
また、請求項５に記載の発明は、仮想化基盤上に複数のサービスが搭載され、ＯＶＳ（Open Virtual Switch）に接続されるOpenStackを構成するコンポーネントを有し、前記ＯＶＳは、外部ＮＷから流入したパケットが、サービス単位で設定された帯域幅の上限を超過した場合、当該パケットを破棄するネットワークシステムのネットワーク帯域制御管理方法であって、前記ネットワークシステムは、ＮＷ制御を行うＮＷ制御管理装置と、前記ＯＶＳへ流入するパケットの帯域量を制御する外部ＳＷと、を備え、前記ＮＷ制御管理装置は、前記仮想化基盤のＯＶＳの処理可能な帯域量を把握し、その上限値を記憶するデータ記憶部を有し、前記仮想化基盤に装備されているCeilometerから情報を収集するとともに、前記外部ＳＷのＮＷ帯域量を監視して各サービスのトラヒック情報を定期的に取得するステップと、各サービスがサービス単位に設定した上限帯域を超過しておらず、かつ、前記ＯＶＳの処理能力の上限値を超える前に、各サービスの優先度が高いサービスは帯域確保を行い、優先度の低いサービスは、上限帯域を絞るように設定情報を生成するステップと、を実行することを特徴とするネットワーク帯域制御管理方法とした。

【0026】

このようにすることで、仮想化基盤ＮＷの利用状況を監視し、帯域上限まで利用し入るサービスと仮想化基盤ＮＷの空き状況を考慮して、帯域制御を自動変更することができ、仮想化基盤ＮＷの有効活用を図ることができる。特に、外部ＮＷで優先度の高いサービスから仮想化基盤へ流入させることができ、優先度の高いサービスのサービス断を回避することができる。

【0027】

また、請求項３に記載の発明は、前記ＮＷ制御管理装置が、各サービスのトラヒック量の最繁若しくは閑散の時間、月日または曜日のトレンドを把握し、サービスが上限帯域を超過する傾向にあり、かつ、仮想化基盤全体のＮＷ帯域に余力がある場合、一時的に当該サービスの上限帯域を緩めるように設定情報を作成することを特徴とする請求項２に記載のネットワークシステムとした。

【0028】

このようにすることで、帯域上限を一時的に仮想化基盤および外部ＳＷ２０の帯域制御を自動変更する機能を持たせることで、仮想化基盤ＮＷの有効活用を図ることができる。

【発明の効果】

【0029】

本発明によれば、高負荷時に優先的に流す必要のあるパケットが破棄されるのを防ぐことができるネットワークシステムおよびネットワーク帯域制御管理方法を提供することができる。

【図面の簡単な説明】

【0030】

【図1】本発明の実施形態に係るネットワークシステムの構成例を示す図である。

【図2】本実施形態に係るネットワークシステムのＮＷ制御管理装置の詳細構成を示す機能ブロック図である。

【図3A】本実施形態に係るネットワークシステムの各サービスの日時毎の利用帯域量を記憶するＤＢのレコードの一例を示す図である。

【図3B】本実施形態に係るネットワークシステムの各サービスのＩＤ、ＩＰアドレス、ＭＡＣアドレス、ＶＬＡＮ、帯域等ＮＷ制御に関わる情報を記憶するＤＢのレコードの一例を示す図である。

【図4】本実施形態に係るネットワークシステムのサービス登録時の動作例を示す図である。

【図5】本実施形態に係るネットワークシステムの運用中の動作例１を示す図である。

【図6】本実施形態に係るネットワークシステムの日常のトレンドのトラヒック量を示す図である。

【図7】本実施形態に係るネットワークシステムの運用中の動作例２を示す図である。

【図8】本実施形態に係るネットワークシステムの日常のトレンドのトラヒック量を示す図である。

【図9】本実施形態に係るネットワークシステムの運用中の動作例３を示す図である。

【図10】本実施形態に係るネットワークシステムの運用中の動作例４を示す図である。

【図11】本実施形態に係るネットワークシステムのＯＶＳ処理能力≧総トラヒック量、かつ、優先度が同一（すべて高または低）場合のパターン例１を示す図である。

【図12】本実施形態に係るネットワークシステムのＯＶＳ処理能力＜総トラヒック量、かつ、優先度が同一（すべて高または低）場合のパターン例２を示す図である。

【図13】本実施形態に係るネットワークシステムのＯＶＳ処理能力≧総トラヒック量、かつ、優先度が混在の場合のパターン例３を示す図である。

【図14】本実施形態に係るネットワークシステムのＯＶＳ処理能力＜総トラヒック量、かつ、優先度が混在の場合のパターン例４を示す図である。

【図15】従来の仮想化基盤におけるネットワーク帯域制御を説明する図である。

【図16】従来の仮想化基盤におけるネットワーク帯域制御を説明する図である。

【発明を実施するための形態】

【0031】

以下、図面を参照して本発明を実施するための形態（以下、「本実施形態」という）におけるネットワークシステム等について説明する。
（実施形態）
[ネットワークシステム１００の構成]
図１は、本発明の実施形態に係るネットワークシステムの構成例を示す図である。また、図１は、ネットワークシステムの動作例の初期状態を示している。図１５と同一構成部分には、同一符号を付している。
図１示すように、ネットワークシステム１００は、物理サーバ内に存在するサービスＡを提供する仮想マシンＶＭ_１、サービスＢを提供する仮想マシンＶＭ_２、サービスＣを提供する仮想マシンＶＭ_３、仮想マシンＶＭ_４と、仮想化基盤上に複数のサービスが搭載され、ＯＶＳ５に接続されるOpen Stackを構成するコンポーネントであるCompute Node１〜３、Network Node６およびController Node７と、Ｌ２ＳＷ４と、を備える。
ネットワークシステム１００は、Compute Node１〜３、Network Node６およびController Node７から取得した情報をもとに、仮想化基盤のサービス追加または削除をトリガとして外部ＳＷ２０の帯域制御および優先制御の設定変更を行うＮＷ制御管理装置１０と、仮想化基盤と外部ＮＷ２０との間に設置され、ＯＶＳ５へ流入するパケットの帯域量を制御する外部ＳＷ２０と、を備える。

【0032】

仮想マシンＶＭ_１〜仮想マシンＶＭ_４は、Network Node６を経由してそれぞれ外部ネットワークＮＷ８に接続される。
仮想サーバＶＭ_１〜ＶＭ_４は、ソフトウェアにより実現される仮想的な情報処理装置である。仮想サーバＶＭ_１〜ＶＭ_４は、図示しない仮想スイッチを介して、Ｌ２ＳＷ４に接続される。Ｌ２ＳＷ４は、自己の仮想スイッチが含まれる物理サーバ上の仮想サーバＶＭ_１〜ＶＭ_４による通信を切り替えるハードウェアである。

【0033】

Open Stackは、役割ごとにノード（物理もしくは仮想サーバ）を構成して利用する。図１では、Open Stackは、Compute Node１〜３と、Network Node６と、Controller Node７とに分けられる。

【0034】

Compute Node１〜３は、仮想化基盤の構築や制御を行う。Compute Node１は、仮想マシンＶＭ_１が動作するノード、Compute Node２は、仮想マシンＶＭ_２，仮想マシンＶＭ_３が動作するノード、Compute Node３は、仮想マシンＶＭ_４が動作するノードである。

【0035】

Network Node６は、ネットワークの仮想化や管理を行う。Network Node６は、ＩＰ転送やＤＨＣＰなど、インスタンスに対するネットワークサービスを提供するサーバである。Network Node６は、Compute Node１〜３による仮想ルータ、ＤＨＣＰ等の機能を提供する。Network Node６は、ＯＶＳ５を有する。
Open Stackでは、サービス単位に帯域の上限設定ができる。ＯＶＳ５はその帯域の上限を超過した場合、入力はポリシングによりパケットを破棄する。

【0036】

Controller Node７は、各コンポーネントのうち、管理系のサービスすべての制御用のコンポーネントを配置する。Controller Node７は、ユーザや他のノードからの要求を処理し、Open Stack 全体の管理を行う管理サーバである。また、Controller Node７は、Network Node６のみ帯域の上限設定が可能である。

【0037】

ＯＶＳ５は、外部ＮＷ２０から流入したパケットが、サービス単位で設定された帯域幅の上限を超過した場合、当該パケットをポリシングする。

【0038】

<ＮＷ制御管理装置１０>
ＮＷ制御管理装置１０は、Compute Node１〜３、Network Node６およびController Node７から取得した情報をもとに、サービスに括りつけられたＶＬＡＮ（Virtual LAN）、上限帯域、および優先度を含むＮＷに関する情報を外部ＳＷ２０に設定するためのConfig情報（設定情報）を生成するとともに、外部ＳＷ２０へ接続し、作成したConfig情報に従い、外部ＳＷ２０の設定変更を行う。

【0039】

ＮＷ制御管理装置１０は、仮想化基盤のＯＶＳ５の処理可能な帯域量を把握し、その上限値を記憶するデータ管理記憶部１１４（図２参照）を有し、仮想化基盤に装備されているCeilometerから情報を収集するとともに、外部ＳＷ２０のＮＷ帯域量を監視して各サービスのトラヒック情報を定期的に取得する。ＮＷ制御管理装置１０は、各サービスがサービス単位に設定した上限帯域を超過しておらず、かつ、ＯＶＳ５の処理能力の上限値を超える前に、各サービスの優先度が高いサービスは帯域確保を行い、優先度の低いサービスは、帯域を絞るようにConfig情報を生成する。

【0040】

ＮＷ制御管理装置１０は、各サービスのトラヒック量の最繁若しくは閑散の時間、月日または曜日のトレンドを把握し、サービスが上限帯域を超過する傾向にあり、かつ、仮想化基盤全体のＮＷ帯域に余力がある場合、一時的に当該サービスの上限帯域を変更するConfig情報を作成する。

【0041】

ＮＷ制御管理装置１０は、仮想化基盤のＮＷの利用状況を監視し、帯域上限まで利用し入るサービスと仮想化基盤のＮＷの空き状況を考慮し、仮想化基盤および外部ＳＷ２０の帯域制御の帯域上限を一時的に変更する。

【0042】

ＮＷ制御管理装置１０は、下記（１）〜（３）機能を有する。
（１）ＮＷ制御管理装置１０は、Controller Node７で管理している各サービスのデータ情報を管理する。各サービスのデータ情報は、例えば、
・VM_ID
・VLAN_ID、ＭＡＣアドレス（Ｌ２の場合）
・ＩＰアドレス、サブネット（Ｌ３の場合）
・上限帯域
がある。

【0043】

（２）ＮＷ制御管理装置１０は、Network Node６からCeilometer等で情報を収集する、および外部ＳＷ２０で収集するＮＷ収集・制御機能を有する。ＮＷ収集・制御機能には、例えば、
・定期的に収集した各サービスのトラヒック量
・現在の各サービスのトラヒック量
・帯域変動に応じた上限帯域の変更制御
がある。

【0044】

（３）ＮＷ制御管理装置１０は、外部ＳＷ２０の設定機能を有する。外部ＳＷ２０の設定機能には、例えば、
・サービスの追加／削除をトリガに上記(1)の設定情報を基に外部ＳＷ２０のConfig情報を生成する
・上記（２）の定期トラヒック量と現在のトラヒック量から帯域変動を考慮して一時的に設定情報を書き換えるためのConfig情報を生成する
・外部ＳＷ２０へ接続し、Config投入する
がある。

【0045】

<外部ＳＷ２０>
外部ＳＷ２０は、仮想化基盤と外部ＮＷ２０との間に設置され、ＯＶＳ５へ流入するパケットの帯域量を制御する。外部ＳＷ２０は、ＮＷ制御管理装置１０が操作可能なリーチャビリティを持つ。

【0046】

[ＮＷ制御管理装置１０の詳細構成]
図２は、ＮＷ制御管理装置１０の詳細構成を示す機能ブロック図である。
図２に示すように、ＮＷ制御管理装置１０は、Controller Node７からＶＭの情報を取得するとともに、各サービスのＩＤ、ＩＰアドレス、ＭＡＣアドレス、ＶＬＡＮ、および帯域を含むＮＷ制御に関わる情報を管理するデータ管理部１１０と、仮想化基盤に装備されているCeilometerから情報を収集するとともに、外部ＳＷ２０のＮＷ帯域量を監視し、帯域の上限設定をしていない場合、または空き帯域がある場合、ＶＭ単位の利用量に応じた帯域制限の解放または設定を行うＮＷ制御部１２０と、各サービスへ割り当てる帯域量を外部ＳＷ２０へ設定するためのConfig情報を生成するとともに、外部ＳＷ２０へ接続し、Config投入を行う外部ＳＷ設定部１３０と、を備える。

【0047】

<データ管理部１１０>
データ管理部１１０は、Open StackのController Node７から仮想化環境に生成されているＶＭの情報を管理する。
データ管理部１１０は、データ更新確認部１１１と、データ受信部１１２と、データ比較／データ更新部１１３と、データ管理記憶部１１４と、を有する。
データ更新確認部１１１は、Controller Node７にＶＭ情報の更新が無いかを周期的に確認する。
データ受信部１１２は、Controller Node７から取得したデータを受信する。
データ比較／データ更新部１１３は、データ受信した情報と当該のデータ管理情報を比較する。変更のあった場合、外部ＳＷ２０設定へ情報を転送するとともにデータ管理を更新する。
データ管理記憶部１１４は、ＯＶＳ５の処理能力値を記憶する。データ管理記憶部１１４は、各サービスの日時毎の利用帯域量を記憶する（図３Ａ参照）。データ管理記憶部１１４は、各サービスのＩＤ、ＩＰアドレス、ＭＡＣアドレス、ＶＬＡＮ、帯域等ＮＷ制御に関わる情報を記憶する（図３Ａ参照）。

【0048】

<ＮＷ制御部１２０>
ＮＷ制御部１２０は、帯域の上限設定をしていない場合、または空き帯域がある場合、Ceilometer／外部ＳＷ２０等のＮＷ帯域量を監視し、ＶＭ単位の利用量に応じた帯域制限の解放／設定を行う。
ＮＷ制御部１２０は、ＮＷ利用状況確認部１２１と、状況受信部１２２と、空き帯域量算出部１２３と、帯域量比較／割当可能帯域算出部１２４と、を有する。
ＮＷ利用状況確認部１２１は、Ceilometer ／外部ＳＷ２０等ＮＷ帯域を管理している機能に対し、ＮＷ帯域の利用状況を周期的に確認する。
状況受信部１２２は、Ceilometer等ＮＷ帯域を管理している機能から取得した状況を受信する。
空き帯域量算出部１２３は、取得した利用帯域量から空き帯域量を算出する。
帯域量比較／割当可能帯域算出部１２４は、データ管理の帯域情報と空き帯域量を比較する。各サービスに割り当てる帯域量を決定し、外部ＳＷ２０設定へ情報を転送するとともにデータ管理を更新する。

【0049】

<外部ＳＷ設定部１３０>
外部ＳＷ設定部１３０は、外部ＳＷ２０へアクセスし、データ管理情報を基にconfig設定を行う。
外部ＳＷ設定部１３０は、外部ＳＷ設定情報生成部１３１と、外部ＳＷ接続／設定部１３２と、を有する。
外部ＳＷ設定情報生成部１３１は、割り当てる帯域量を外部ＳＷ２０へ設定するためのConfigを生成する。
外部ＳＷ接続／設定部１３２は、外部ＳＷ２０へ接続し、Config投入を行う。

【0050】

図３Ａ−Ｂは、データ管理記憶部１１４がデータベース（ＤＢ）に格納する情報の一例を示す図であり、図３Ａは、各サービスの日時毎の利用帯域量を記憶するＤＢのレコードの一例を示し、図３Ｂは、各サービスのＩＤ、ＩＰアドレス、ＭＡＣアドレス、ＶＬＡＮ、帯域等ＮＷ制御に関わる情報のレコードの一例を示す。
図３Ａに示すように、データ管理記憶部１１４は、ＤＢに日時毎に各サービスの利用帯域量を格納する。
図３Ｂに示すように、データ管理記憶部１１４は、ＤＢに各サービスのＩＤ、ＩＰアドレス、ＭＡＣアドレス、ＶＬＡＮ ＩＤ、上限帯域、割当帯域等を格納する。

【0051】

以下、上述のように構成されたネットワークシステムのネットワーク帯域制御管理方法について説明する。
[サービス登録時の動作例]
図４は、サービス登録時の動作例を示す図である。
図４に示すように、ＮＷ制御管理装置１０は、仮想化基盤上にサービスを登録する際に優先度をつけて登録する。図４の例では、サービスＡ（優先度：高）、サービスＢ（優先度：低）、サービスＣ（優先度：低）にそれぞれ帯域上限設定を４Ｇbps、３Ｇbps、２Ｇbpsを設定している。このとき、ＮＷ制御管理装置１０は、サービスＤ（優先度：高）を登録する（図４の符号ｄ参照）。
具体的には、ＮＷ制御管理装置１０（図２参照）は、下記のステップを実行する。
<ステップＳ１：Controller Node７からの情報収集>
データ管理部１１０のデータ更新確認部１１１（図２参照）は、Controller Node７にＶＭ情報の更新が無いかを周期的に確認する。データ受信部１１２（図２参照）は、Controller Node７から取得したデータを受信する（図４の符号ｅ参照）。

【0052】

<ステップＳ２：情報をＤＢ格納>
データ比較／データ更新部１１３（図２参照）は、サービスの登録をトリガにController Node７に登録し、管理された当該サービスの情報を取得および優先度の情報をデータ管理記憶部１１４（図２参照）のＤＢに格納する。

【0053】

<ステップＳ３：Config情報生成>
データ比較／データ更新部１１３は、データ管理記憶部１１４のＤＢを参照して、ＮＷ制御管理装置１０において、取得データから当該サービスに括りつけられたＶＬＡＮ、上限帯域、優先度等のＮＷに関する情報を外部ＳＷ２０に設定するためのConfig情報を生成する。このとき、データ比較／データ更新部１１３は、ＯＶＳ処理能力を超過しないように外部ＳＷ２０の出力を設定する。

【0054】

<ステップＳ４：Config投入>
外部ＳＷ設定部１３０の外部ＳＷ設定情報生成部１３１（図２参照）は、生成されたConfig情報をもとに、外部ＳＷ２０の設定情報を設定する。

【0055】

<ステップＳ５：設定変更>
外部ＳＷ設定部１３０の外部ＳＷ接続／設定部１３２（図２参照）は、外部ＳＷ２０へ接続し、Config投入を行う（図４の符号ｆ参照）。

【0056】

<ステップＳ６：設定追加>
以上の登録動作により、図４に示すように、サービスＤ（優先度：高）が帯域上限１Ｇbpsで設定追加された。

【0057】

[運用中の動作例１]
図５は、運用中の動作例１を示す図である。
図５の例では、サービスＡ（優先度：高）、サービスＢ（優先度：低）、サービスＣ（優先度：低）、サービスＤ（優先度：高）にそれぞれ帯域上限設定を４Ｇbps、３Ｇbps、２Ｇbps、１Ｇbps、が設定されている。
ＮＷ制御管理装置１０（図２参照）は、運用中は下記のステップを実行する。
<ステップＳ１１：Ceilometer等でトラヒック情報収集>
ＮＷ制御部１２０のＮＷ利用状況確認部１２１（図２参照）は、Ceilometer等でＮＷ帯域を管理している機能に対し、ＮＷ帯域の利用状況を周期的に確認する。状況受信部１２２は、Ceilometer等でＮＷ帯域を管理している機能から取得した状況を受信する（図５の符号ｇ参照）。

【0058】

<ステップＳ１２：外部ＳＷ２０からトラヒック収集>
ＮＷ制御部１２０のＮＷ利用状況確認部１２１（図２参照）は、外部ＳＷ２０に対し、トラヒック情報を周期的に確認する。状況受信部１２２は、外部ＳＷ２０からトラヒック情報を受信する（図５の符号ｈ参照）。
このように、ＮＷ制御部１２０は、仮想化基盤に装備されているCeilometer等および外部ＳＷ２０からのＮＷ情報を取得する機能を利用し、定期的にトラヒック情報を取得する。また、ＮＷ制御部１２０は、仮想化基盤のＯＶＳの処理可能な帯域量を把握し、その上限値を持っている。

【0059】

<ステップＳ１３：ＯＶＳ能力オーバを検知、Config情報生成>
各サービスがサービス単位に設定した上限帯域を超過しておらず、かつＯＶＳの処理能力の上限値を超えるとパケットロスが発生する。それを回避するため、ＮＷ制御管理装置１０は、その上限値を超える前に各サービスの優先度を考慮し、優先度の高いサービスは帯域確保を行い、優先度の低いサービスは、帯域を絞るようにConfig情報を作成する。
具体的には、ＮＷ制御部１２０の空き帯域量算出部１２３（図２参照）は、取得した利用帯域量から空き帯域量を算出する。帯域量比較／割当可能帯域算出部１２４（図２参照）は、データ管理の帯域情報と空き帯域量を比較し、各サービスに割り当てる帯域量を決定する。
図５の例では、優先度の高いサービスＡとサービスＤは帯域確保を行い（サービスＡは４Ｇbps、サービスＤは１Ｇbpsで帯域を変えない）、優先度の低いサービスＢとサービスＣは、帯域を絞る（サービスＢは３Ｇbpsから１．７Ｇbpsに、またサービスＣは２Ｇbpsから１．３Ｇbpsに上限帯域を削減する）。

【0060】

<ステップＳ１４：設定変更>
ＮＷ制御部１２０の帯域量比較／割当可能帯域算出部１２４は、外部ＳＷ２０設定へ情報を転送するとともに（図５の符号ｉ参照）、データ管理記憶部１１４のＤＢを更新する。
また、外部ＳＷ設定部１３０の外部ＳＷ設定情報生成部１３１（図２参照）は、生成されたConfig情報をもとに、外部ＳＷ２０の設定情報を設定する。
外部ＳＷ設定部１３０の外部ＳＷ接続／設定部１３２（図２参照）は、外部ＳＷ２０へ接続し、Config投入を行う。

【0061】

以上の動作により、図５に示すように、優先度の高いサービスは、上限帯域を維持し、優先度の低いサービスは、上限帯域を絞るように制御される。
外部ＮＷ８では、優先度の高いサービスから仮想化基盤へ流入することにより、優先度の高いサービスのサービス断を回避することができる。

【0062】

[運用中の動作例２]
図６は、日常のトレンドのトラヒック量を示す図である。横軸に０時から２４時の時間帯のトラヒック量のトレンドを示し、縦軸に各サービスで使用した帯域を重ねて示す。なお、図中のハッチングの表記は、図４および図５の各サービスの表記に揃えられている。
図６に示すように、ＯＶＳ５の処理能力限界は、８Ｇbpsであるとする。図６に示す日常のトレンドでは、０時から２４時のどの時間帯であってもＯＶＳ５の処理能力を上回ることはない。ところで、図６の破線楕円囲みに示す時間帯（１８時−２１時）の場合、ＯＶＳ５の処理能力限界８Ｇbpsに対して、約３Ｇbpsの空き帯域がある。このため、図６の矢印ｊに示すサービスＤ（優先度：高 １Ｇbps）の上限帯域を一時的に３Ｇbpsまで増加可能である。このようにすれば、優先度の高いサービスＤについてよりサービスを向上させることができる。

【0063】

図７は、運用中の動作例２を示す図である。図６のトレンドのトラヒック量を把握して、運用中の動作に適用した例である。
図７の例では、図６の場合と同様に、サービスＡ（優先度：高）、サービスＢ（優先度：低）、サービスＣ（優先度：低）、サービスＤ（優先度：高）にそれぞれ帯域上限設定を４Ｇbps、３Ｇbps、２Ｇbps、１Ｇbps、が設定されている。

【0064】

<ステップＳ２１：Ceilometer等でトラヒック情報収集>
ＮＷ制御部１２０のＮＷ利用状況確認部１２１（図２参照）は、Ceilometer等でＮＷ帯域を管理している機能に対し、ＮＷ帯域の利用状況を周期的に確認する。状況受信部１２２は、Ceilometer等でＮＷ帯域を管理している機能から取得した状況を受信する（図７の符号ｋ参照）。

【0065】

<ステップＳ２２：外部ＳＷ２０からトラヒック収集>
ＮＷ制御部１２０のＮＷ利用状況確認部１２１（図２参照）は、外部ＳＷ２０に対し、トラヒック情報を周期的に確認する。状況受信部１２２は、外部ＳＷ２０からトラヒック情報を受信する（図７の符号ｌ参照）。
このように、ＮＷ制御部１２０は、仮想化基盤に装備されているCeilometer等および外部ＳＷ２０からのＮＷ情報を取得する機能を利用し、定期的にトラヒック情報を取得する。また、ＮＷ制御部１２０は、仮想化基盤のＯＶＳの処理可能な帯域量を把握し、その上限値を持っている。

【0066】

<ステップＳ２３：ＮＷに余力があることを検知、Config情報生成>
図６の破線楕円囲みに示す時間帯（１８時−２１時）のように、仮想化基盤全体のＮＷ帯域に余力がある場合、一時的にサービスＤ（優先度：高）の上限帯域を１Ｇbpsから３Ｇbpsに変更するConfig情報を作成する。
ＮＷ制御管理装置１０は、外部ＳＷ２０へ接続し、作成されたConfig情報に従い、外部ＳＷ２０の設定変更を行う。

【0067】

<ステップＳ２４：設定変更>
ＮＷ制御部１２０の帯域量比較／割当可能帯域算出部１２４は、外部ＳＷ２０設定へ情報を転送するとともに（図７の符号ｍ参照）、データ管理記憶部１１４の情報を更新する。
また、外部ＳＷ設定部１３０の外部ＳＷ設定情報生成部１３１（図２参照）は、生成されたConfig情報をもとに、外部ＳＷ２０の設定情報を設定する。
以上の動作により、仮想化基盤ＮＷに余力のある場合、上限帯域を超えるサービスへ一時的に割り当てることでＮＷの有効活用を実現する。

【0068】

[運用中の動作例３]
図８は、図６と同じ日常のトレンドのトラヒック量を示す図である。横軸に０時から２４時の時間帯のトラヒック量のトレンドを示し、縦軸に各サービスで使用した帯域を重ねて示す。
図８の破線楕円囲みに示す時間帯（２１時−２４時）では、時間帯（１８時−２１時）に存在した約３Ｇbpsの空き帯域が減少傾向にある。このため、図８の矢印ｎに示すように、一時的に増加させていたサービスＤ（優先度：高 １Ｇbps）の上限帯域を元に戻す制御を行う。

【0069】

図９は、運用中の動作例３を示す図である。図８のトレンドのトラヒック量を把握して、一時的に増加させていたサービスの上限帯域を元に戻す制御を行う例である。
図９の例では、サービスＤ（優先度：高）は、一時的に３Ｇbpsが設定されていた。

【0070】

<ステップＳ３１：Ceilometer等でトラヒック情報収集>
ＮＷ制御部１２０のＮＷ利用状況確認部１２１（図２参照）は、Ceilometer等でＮＷ帯域を管理している機能に対し、ＮＷ帯域の利用状況を周期的に確認する。状況受信部１２２は、Ceilometer等でＮＷ帯域を管理している機能から取得した状況を受信する（図９の符号ｏ参照）。

【0071】

<ステップＳ３２：外部ＳＷ２０からトラヒック収集>
ＮＷ制御部１２０のＮＷ利用状況確認部１２１（図２参照）は、外部ＳＷ２０に対し、トラヒック情報を周期的に確認する。状況受信部１２２は、外部ＳＷ２０からトラヒック情報を受信する（図９の符号ｐ参照）。

【0072】

<ステップＳ３３：ＮＷに余力がなくなってきていることを検知、Config情報生成>
図８の破線楕円囲みに示す時間帯（２１時−２４時）のように、仮想化基盤全体のＮＷ帯域の空き帯域が減少傾向にある場合、一時的に増加していたサービスＤ（優先度：高）の上限帯域３Ｇbpsを、元の上限帯域３Ｇbpsに変更するConfig情報を作成する。
ＮＷ制御管理装置１０は、外部ＳＷ２０へ接続し、作成されたConfig情報に従い、外部ＳＷ２０の設定変更を行う。

【0073】

<ステップＳ３４：設定変更>
ＮＷ制御部１２０の帯域量比較／割当可能帯域算出部１２４は、外部ＳＷ２０設定へ情報を転送するとともに（図９の符号ｑ参照）、データ管理記憶部１１４の情報を更新する。
また、外部ＳＷ設定部１３０の外部ＳＷ設定情報生成部１３１（図２参照）は、生成されたConfig情報をもとに、外部ＳＷ２０の設定情報を設定する。

【0074】

以上の動作により、仮想化基盤ＮＷに余力のある場合に上限帯域を超えるサービスへ一時的に割り当てていた上限帯域を元に戻すことで、ＯＶＳ５の処理能力限界に上限帯域を確実に収めることができる。上限帯域を超えるサービスへ一時的に割り当てたとしてもＯＶＳ５の処理能力限界に収められるので、仮想化基盤ＮＷの有効活用を図ることができる。

【0075】

[運用中の動作例４]
図１０は、運用中の動作例４を示す図であり、サービス削除時の例を示す。
図１０の例では、サービスＡ（優先度：高）、サービスＢ（優先度：低）、サービスＣ（優先度：低）、サービスＤ（優先度：高）にそれぞれ帯域上限設定を４Ｇbps、３Ｇbps、２Ｇbps、１Ｇbps、が設定されていた。このとき、サービスＣ（優先度：低）を削除しようとする（図１０の符号ｒ参照）。

【0076】

<ステップＳ４１：Ceilometer等でトラヒック情報収集>
ＮＷ制御部１２０のＮＷ利用状況確認部１２１（図２参照）は、Ceilometer等でＮＷ帯域を管理している機能に対し、ＮＷ帯域の利用状況を周期的に確認する。状況受信部１２２は、Ceilometer等でＮＷ帯域を管理している機能から取得した状況を受信する（図９の符号ｓ参照）。
ＮＷ利用状況確認部１２１は、ＮＷ仮想化基盤上からサービスの削除処理をトリガにControllerから削除されたサービスの情報を把握する。

【0077】

<ステップＳ４２：外部ＳＷ２０からトラヒック収集>
ＮＷ制御部１２０のＮＷ利用状況確認部１２１（図２参照）は、外部ＳＷ２０に対し、トラヒック情報を周期的に確認する。状況受信部１２２は、外部ＳＷ２０からトラヒック情報を受信する（図９の符号ｔ参照）。

【0078】

<ステップＳ４３：削除サービスの把握、Config情報生成>
ＮＷ利用状況確認部１２１は、ＮＷ仮想化基盤上からサービスの削除処理をトリガにControllerから削除されたサービスの情報を把握する。
ＮＷ制御部１２０（図２参照）は、削除されたサービスに括りつけられたＶＬＡＮ等のＮＷに関する情報を削除するためのConfig情報を生成する。

【0079】

<ステップＳ４４：設定変更>
ＮＷ制御部１２０の帯域量比較／割当可能帯域算出部１２４は、外部ＳＷ２０設定へ情報を転送するとともに（図９の符号ｕ参照）、データ管理記憶部１１４の情報を更新する。
また、外部ＳＷ設定部１３０の外部ＳＷ設定情報生成部１３１（図２参照）は、生成されたConfig情報をもとに、外部ＳＷ２０の設定情報を設定する。

【0080】

<ステップＳ４５：ＤＢから削除>
データ管理部１１０（図２参照）は、削除されたサービスの情報をデータ管理記憶部１１４のＤＢから削除する。

【0081】

[帯域制御の想定パターン例]
図１１〜図１４を参照して帯域制御の想定パターン例を説明する。
<パターン例１>
図１１は、ＯＶＳ処理能力≧総トラヒック量、かつ、優先度が同一（すべて高または低）場合の例である。
図１１の例では、サービスＡ（優先度：低）、サービスＢ（優先度：低）、サービスＣ（優先度：低）、サービスＤ（優先度：低）で、優先度がすべて同一で「低」の場合である。ＯＶＳ５の処理能力限界は、９Ｇbpsであり、総トラヒック量は、８Ｇbpsであるとする。
ＯＶＳ処理能力≧総トラヒック量、かつ、優先度が同一（すべて低）場合には、総上限流入量８ＧbpsはＯＶＳ５の処理能力限界９Ｇbpsに収まっており、帯域変更の必要がない。なお、ＮＷ帯域の余力があるとき、均等に上限値を増やすことも可能である。
また、ＯＶＳ処理能力≧総トラヒック量、かつ、優先度が同一（すべて高）場合には、総上限流入量８ＧbpsはＯＶＳ５の処理能力限界９Ｇbpsに収まっている。ＯＶＳ５の処理能力限界９Ｇbpsまで、１Ｇbpsの余裕があるが、優先度が同一（すべて高）のため優先順位は付けられない。なお、ＮＷ帯域の余力があるとき、均等に上限値を増やすことも可能である。

【0082】

<パターン例２>
図１２は、ＯＶＳ処理能力＜総トラヒック量、かつ、優先度が同一（すべて高または低）場合の例である。
図１２の例では、サービスＡ（優先度：高）、サービスＢ（優先度：高）、サービスＣ（優先度：高）、サービスＤ（優先度：高）で、優先度がすべて同一で「高」の場合である。ＯＶＳ５の処理能力限界は、９Ｇbpsであり、総上限流入量は、１０Ｇbpsである。
ＯＶＳ５の処理能力９Ｇbpsに対して、総上限流入量が１Ｇbps超過しているが、各サービスの優先度は同一である。この場合、ＮＷ制御部１２０（図２参照）は、総トラヒック量／ＯＶＳ処理能力×各サービス上限帯域とする。
図１２の例では、サービスＡ（優先度：高）、サービスＢ（優先度：高）、サービスＣ（優先度：高）、サービスＤ（優先度：高）にそれぞれ帯域上限設定を４Ｇbps、３Ｇbps、２Ｇbps、１Ｇbps、が設定されているが、各帯域上限設定をそれぞれ一律１０％削減し、それぞれ帯域上限設定を３．６Ｇbps、２．７Ｇbps、１．８Ｇbps、０．９Ｇbps、に設定する（図１２の符号ｗ参照）。これにより、一律１０％パケット廃棄または遅延となる。

【0083】

下記パターン例３およびパターン例４は、各サービスの優先度が同一でない場合の例である。
<パターン例３>
図１３は、ＯＶＳ処理能力≧総トラヒック量、かつ、優先度が混在の場合の例である。
図１３の例では、サービスＡ（優先度：高）、サービスＢ（優先度：低）、サービスＣ（優先度：低）、サービスＤ（優先度：高）である。ＯＶＳ５の処理能力限界は、９Ｇbpsであり、総トラヒック量は、８Ｇbpsである。
図１３に示すように、ＯＶＳ処理能力≧総トラヒック量、かつ、優先度が混在の場合には、総トラヒック量８ＧbpsはＯＶＳ５の処理能力限界９Ｇbpsに収まっているので帯域変更を行わない（図１３の符号ｘ参照）。
このように、ＯＶＳ処理能力≧総トラヒック量、かつ、優先度が混在の場合は、帯域変更せず、各サービス上限帯域とする。

【0084】

<パターン例４>
図１４は、ＯＶＳ処理能力＜総トラヒック量、かつ、優先度が混在の場合の例である。
図１４の例では、サービスＡ（優先度：高）、サービスＢ（優先度：低）、サービスＣ（優先度：低）、サービスＤ（優先度：高）である。ＯＶＳ５の処理能力限界は、９Ｇbpsであり、総トラヒック量は、１０Ｇbpsである。
ＯＶＳ処理能力＜総トラヒック量、かつ、優先度が混在している場合は、優先度が高いサービスについては帯域上限設定を削減せず、その分、優先度が低いサービスについて帯域上限設定を削減する。この場合、優先度が高いサービスは帯域変更なし、優先度が低いサービスは、「低」の総流入量／残りのＯＶＳ処理能力×各サービス上限帯域とする。

【0085】

図１４の例では、サービスＡ（優先度：高）、サービスＢ（優先度：低）、サービスＣ（優先度：低）、サービスＤ（優先度：高）にそれぞれ帯域上限設定を４Ｇbps、３Ｇbps、２Ｇbps、１Ｇbps、が設定されている。優先度が高いサービスは帯域変更なし、優先度が低いサービスは、下記により帯域上限設定を削減する。
優先度「低」に割当可能な帯域は、ＯＶＳ５の処理能力９Ｇbpsに対して優先度「高」の帯域変更なし分を差し引いた
９−（４＋１）＝４Ｇbps
とする。このため、ＮＷ制御部１２０（図２参照）は、サービスＢ（優先度：低）、サービスＣ（優先度：低）の帯域上限設定の３Ｇbps、２Ｇbpsを一律２０％削減し、それぞれ帯域上限設定を２．４Ｇbps、１．６Ｇbps、に設定する（図１４の符号ｙ参照）。これにより、優先度「低」に割当可能な帯域は、一律２０％パケット廃棄または遅延となる。

【0086】

以上説明したように、ネットワークシステム１００は、仮想化基盤と外部ＮＷ２０との間に設置され、ＯＶＳ５へ流入するパケットの帯域量を制御する外部ＳＷ２０と、Compute Node１〜３、Network Node６およびController Node７から取得した情報をもとに、仮想化基盤のサービス追加または削除をトリガとして外部ＳＷ２０の帯域制御および優先制御の設定変更を行うＮＷ制御管理装置１０と、を備える。

【0087】

また、ＮＷ制御管理装置１０は、Controller Node７からＶＭの情報を取得するとともに、各サービスのＩＤ、ＩＰアドレス、ＭＡＣアドレス、ＶＬＡＮ、および帯域を含むＮＷ制御に関わる情報を管理するデータ管理部１１０と、仮想化基盤に装備されているCeilometerから情報を収集するとともに、外部ＳＷ２０のＮＷ帯域量を監視し、帯域の上限設定をしていない場合、または空き帯域がある場合、ＶＭ単位の利用量に応じた帯域制限の解放または設定を行うＮＷ制御部１２０と、各サービスへ割り当てる帯域量を外部ＳＷ２０へ設定するためのConfig情報を生成するとともに、外部ＳＷ２０へ接続し、Config投入を行う外部ＳＷ設定部１３０を備える。

【0088】

また、ＮＷ制御管理装置１０において、Compute Node１〜３、Network Node６およびController Node７から取得した情報をもとに、仮想化基盤のサービス追加または削除をトリガとして外部ＳＷ２０の帯域制御および優先制御の設定変更を行うステップを実行する。外部ＳＷ２０において、ＯＶＳ５へ流入するパケットの帯域量を制御するステップを実行する。

【0089】

従来技術（図１５および図１６参照）では、特に外部ＳＷ２０から大量パケットが流入してくる場合、仮想化基盤全体からみると、各サービスで超過しなかったパケットがＯＶＳ５へ流入し、ＯＶＳ５の処理負荷が高くなり、ボトルネックとなる。つまり、各サービスの帯域幅の上限設定以下でもパケットロスが発生する。また、優先したいパケットが外部ＮＷから流入してもパケット破棄され、仮想化基盤上に搭載されているサービスの通信断、パケット再送による遅延が発生する。電話等のような優先度が高いサービスでもパケット廃棄されるため、サービスとして成立しなくなることになる。

【0090】

これに対して、本実施形態では、仮想化基盤のController Node７内にあるＶＭのＩＤ情報とＭＡＣアドレス情報またはＶＬＡＮ情報やＩＰアドレス情報を利用し、仮想化基盤のサービス追加／削除をトリガに連動して外部ＳＷ２０の帯域制御、優先制御の設定変更を行う。これにより、仮想化基盤にあるＯＶＳ５のボトルネックを解消し、優先したいパケットを処理することができる。また、高負荷時に優先的に流す必要のあるパケットが破棄されたのを防ぐことができる。

【0091】

また、仮想化基盤ＮＷの利用状況に応じて使用帯域を変更することで、ＮＷの有効活用を図ることができる。
しかも、本実施形態では、上記帯域制御は自動で設定される。すなわち、従来技術のように、運用者が帯域制御を手動で設定する方法では、全サービス（ＶＭ）の帯域を考慮して運用者が設計する必要がある。また、サービスの増設／減設時にその都度設計の見直し、再設定をしなければならない。これに対して、本実施形態では、運用者による設計の見直し等を不要にしつつ、使用帯域を自動で変更して、ＮＷの有効活用を図ることができる。

【0092】

本実施形態では、ＮＷ制御管理装置１０は、取得した情報をもとに、サービスに括りつけられたＶＬＡＮ、上限帯域、および優先度を含むＮＷに関する情報を外部ＳＷ２０に設定するためのConfig情報を生成するとともに、外部ＳＷ２０へ接続し、作成したConfig情報に従い、外部ＳＷ２０の設定変更を行う。これにより、ＮＷ制御管理装置１０は、外部ＳＷ２０と連動して帯域制御、優先制御の設定変更を行うことができる。

【0093】

本実施形態では、ＮＷ制御管理装置１０は、仮想化基盤のＯＶＳ５の処理可能な帯域量を把握し、その上限値を記憶するデータ記憶部１１４を有し、仮想化基盤に装備されているCeilometerから情報を収集するとともに、外部ＳＷ２０のＮＷ帯域量を監視して各サービスのトラヒック情報を定期的に取得し、各サービスがサービス単位に設定した上限帯域を超過しておらず、かつ、ＯＶＳ５の処理能力の上限値を超える前に、各サービスの優先度が高いサービスは帯域確保を行い、優先度の低いサービスは、帯域を絞るようにConfig情報を生成する。これにより、仮想化基盤ＮＷの利用状況を監視し、帯域上限まで利用し入るサービスと仮想化基盤ＮＷの空き状況を考慮して、帯域制御を自動変更することができ、仮想化基盤ＮＷの有効活用を図ることができる。特に、外部ＮＷで優先度の高いサービスから仮想化基盤へ流入させることができ、優先度の高いサービスのサービス断を回避することができる。

【0094】

本実施形態では、ＮＷ制御管理装置１０は、各サービスのトラヒック量の最繁若しくは閑散の時間、月日または曜日のトレンドを把握し、サービスが上限帯域を超過する傾向にあり、かつ、仮想化基盤全体のＮＷ帯域に余力がある場合、一時的に当該サービスの上限帯域を変更するConfig情報を作成する。これにより、帯域上限を一時的に仮想化基盤および外部ＳＷ２０の帯域制御を自動変更する機能を持たせることで、仮想化基盤ＮＷの有効活用を図ることができる。

【0095】

また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上述文書中や図面中に示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

【0096】

また、上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行するためのソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、または、ＩＣ（Integrated Circuit）カード、ＳＤ（Secure Digital）カード、光ディスク等の記録媒体に保持することができる。また、本明細書において、時系列的な処理を記述する処理ステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）をも含むものである。

【符号の説明】

【0097】

１〜３ Compute Node
４ Ｌ２スイッチＬ２ＳＷ（Ｌ２ＳＷ）
５ ＯＶＳ
６ Network Node
７ Controller Node
１０ ＮＷ制御管理装置
２０ 外部ＳＷ
１００ ネットワークシステム
１１０ データ管理部
１１１ データ更新確認部
１１２ データ受信部
１１３ データ比較／データ更新部
１１４ データ管理記憶部
１２０ ＮＷ制御部
１２１ ＮＷ利用状況確認部
１２２ 状況受信部
１２３ 空き帯域量算出部
１２４ 帯域量比較／割当可能帯域算出部
１３０ 外部ＳＷ設定部
１３１ 外部ＳＷ設定情報生成部
１３２ 外部ＳＷ接続／設定部
ＶＭ_１〜ＶＭ_４ 仮想マシン（Virtual Machine）

【図1】

【図2】

【図3A】

【図3B】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】