ホーム > 特許ランキング > 日本電信電話株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-30
(45)【発行日】2024-10-08
(54)【発明の名称】制御決定装置、制御決定方法及びプログラム
(51)【国際特許分類】
H04L 41/0895 20220101AFI20241001BHJP
【ＦＩ】
H04L41/0895
【請求項の数】
7
(21)【出願番号】P 2022581051
(86)(22)【出願日】2021-02-09
(86)【国際出願番号】 JP2021004783
(87)【国際公開番号】W WO2022172329
(87)【国際公開日】2022-08-18
【審査請求日】2023-06-09
(73)【特許権者】
【識別番号】000004226
【氏名又は名称】日本電信電話株式会社
(74)【代理人】
【識別番号】110004381
【氏名又は名称】弁理士法人ＩＴＯＨ
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100124844
【弁理士】
【氏名又は名称】石原 隆治
(72)【発明者】
【氏名】岩本 真尚
(72)【発明者】
【氏名】鈴木 晃人
(72)【発明者】
【氏名】小林 正裕
(72)【発明者】
【氏名】原田 薫明
【審査官】羽岡 さやか
(56)【参考文献】
【文献】特開２０２０－０４８１７４（ＪＰ，Ａ）
【文献】Takaya Miyazawa et al.，Autonomic Resource Arbitration and Service-continuable Network Function Migration along Service Function Chains，NOMS 2018 - 2018 IEEE/IFIP Network Operations and Management Symposium，2018年04月23日
【文献】平山 孝弘 Takahiro HIRAYAMA 他，エンコーダ・デコーダＲＮＮを用いたサービスファンクション移行スケジューリング手法の検討 Study on VNF migration Scheduling by using Encoder-Decoder Recurrent Neural Network，電子情報通信学会技術研究報告 Ｖｏｌ．１１８ Ｎｏ．４６６ ［ｏｎｌｉｎｅ］ IEICE Technical Report，日本，一般社団法人電子情報通信学会 The Institute of Ele，2019年02月25日，P.349-354
【文献】宮澤 高也 Takaya Miyazawa 他，仮想ネットワーク基盤構築制御における機械学習適用の取り組み，電子情報通信学会２０１８年通信ソサイエティ大会講演論文集２ PROCEEDINGS OF THE 2018 IEICE COMMUNICATIONS SOCIETY CONFERENCE，2018年08月28日，P.SS-90-SS-91，BI-4-6
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｌ １２／００－６９／４０
(57)【特許請求の範囲】
【請求項1】
複数の仮想ネットワーク機能を利用する１以上のサービスが提供されるネットワークから取得される情報に基づき、品質の劣化が所定の条件に合致するサービスである劣化サービスを検知する検知部と、前記劣化サービスについて、前記劣化を改善するための、前記劣化サービスが利用するリソースに関する制御、及びルーティング制御の１以上の候補を列挙する列挙部と、
前記制御の候補の中で、当該制御の実行中の前記劣化サービスの品質の劣化が最小となる制御及び当該制御の実行タイミングの組み合わせを決定する決定部と、
を有することを特徴とする制御決定装置。
【請求項2】
前記列挙部は、前記劣化サービスが利用する第１の仮想マシンとは別の第２の仮想マシンへの負荷分散、前記第１の仮想マシンに対するリソースの増強、前記第１の仮想マシンが動作するサーバとは別のサーバにおける前記第１の仮想マシンと同じ機能の仮想マシンの生成のいずれかを行う制御の１以上の候補を列挙する、ことを特徴とする請求項１記載の制御決定装置。
【請求項3】
前記決定部は、前記制御の候補と実行タイミングとの組み合わせのうち、当該制御の前記実行中の期間のタイムスロットごとの前記品質の劣化の程度の合計が最小となる組み合わせを決定する、ことを特徴とする請求項１又は２記載の制御決定装置。
【請求項4】
複数の仮想ネットワーク機能を利用する１以上のサービスが提供されるネットワークから取得される情報に基づき、品質の劣化が所定の条件に合致するサービスである劣化サービスを検知する検知手順と、前記劣化サービスについて、前記劣化を改善するための、前記劣化サービスが利用するリソースに関する制御、及びルーティング制御の１以上の候補を列挙する列挙手順と、
前記制御の候補の中で、当該制御の実行中の前記劣化サービスの品質の劣化が最小となる制御及び当該制御の実行タイミングの組み合わせを決定する決定手順と、
をコンピュータが実行することを特徴とする制御決定方法。
【請求項5】
前記列挙手順は、前記劣化サービスが利用する第１の仮想マシンとは別の第２の仮想マシンへの負荷分散、前記第１の仮想マシンに対するリソースの増強、前記第１の仮想マシンが動作するサーバとは別のサーバにおける前記第１の仮想マシンと同じ機能の仮想マシンの生成のいずれかを行う制御の１以上の候補を列挙する、ことを特徴とする請求項４記載の制御決定方法。
【請求項6】
前記決定手順は、前記制御の候補と実行タイミングとの組み合わせのうち、当該制御の前記実行中の期間のタイムスロットごとの前記品質の劣化の程度の合計が最小となる組み合わせを決定する、ことを特徴とする請求項４又は５記載の制御決定方法。
【請求項7】
請求項４乃至６いずれか一項記載の制御決定方法をコンピュータに実行させることを特徴とするプログラム。【発明の詳細な説明】
【技術分野】
【0001】
本発明は、制御決定装置、制御決定方法及びプログラムに関する。
【背景技術】
【0002】
ネットワーク仮想化技術において、ネットワーク機能（ＳＦ：Service Function）は、仮想マシンのインスタンス（ＳＦＩ：Service Function Instance）上で実行される。特に、ＳＦＩで実行されるＳＦを仮想ネットワーク機能と呼ぶ。
【0003】
サービスは、複数のＳＦの処理から成り、このＳＦの処理順序はＳＦＣ（Service Function Chain）で定義される。
【0004】
仮想ネットワーク制御は、サービスのＳＦＣに応じて、ＳＦＩにトラヒックをルーティングし、ＳＦＩに処理を実行させる。仮想ネットワーク制御は、主に、仮想ネットワーク機能の「リソース制御」と「ルーティング制御」に大別される。リソース制御は、ＳＦＩの新規生成、削除及びリソース量（ＣＰＵ、メモリ等）の変更を行う。ルーティング制御は、サービス毎の利用するＳＦＩの決定や、トラヒックが流れる経路の制御を行う。
【0005】
一般に、制御の種類によって実行可能タイミングや、実行開始から完了までに要する時間（制御実行時間）が異なる。
【0006】
実行可能タイミングについて、例えば、ＳＦＩを新規生成し、そのＳＦＩへトラヒックの負荷分散を行う場合は、ルーティング制御によるトラヒックの経路切り替えの実行開始よりも前に、リソース制御によるＳＦＩ新規生成の実行を完了させる必要がある。
【0007】
また、制御実行時間については、ルーティング制御によるトラヒックの経路切り替えには数秒程度を要し、リソース制御によるＳＦＩのリソース量の変更には１０分程度の時間を要する。
【0008】
仮想ネットワーク制御は、時変動するトラヒック需要に対し、サービスの品質（ＱｏＳ：Quality of Service）劣化が最小となるように動的なリソース割り当て、ルーティングを行う。
【0009】
そこで、仮想ネットワーク制御の既存手法として、制御完了時のＱｏＳの劣化度合いが最小となるリソース／ルーティングの制御を算出する手法（以下、「既存手法」という。）がある（非特許文献１）。
【先行技術文献】
【非特許文献】
【0010】
【文献】S. Agarwal, F. Malandrino, C. Chiasserini and S. De, "Joint VNF Placement and CPU Allocation in 5G," IEEE INFOCOM 2018 - IEEE Conference on Computer Communications, Honolulu, HI, 2018, pp. 1943-1951, doi: 10.1109/INFOCOM.2018.848594
【発明の概要】
【発明が解決しようとする課題】
【0011】
しかしながら、既存手法は、制御の実行可能タイミングや実行時間を考慮していない。そのため、既存手法に基づいて制御を実行した場合、完了時刻が遅くなり、ＱｏＳの劣化対処までに時間がかかる可能性がある。
【0012】
例えば、ＳＦＩａの負荷増加に伴い、ＱｏＳ劣化が生じた状況を考える。この劣化に対し、ＳＦＩａのリソースの増強、又はルーティング制御による他のＳＦＩへの負荷分散のいずれかによって当該ＱｏＳ劣化に対処可能であるとする。また、リソース増強は、ＱｏＳ劣化が最小化される一方で制御に時間がかかり、ルーティング制御は、リソース制御より実行時間が短いがＱｏＳ劣化の改善度合いが小さいとする。
【0013】
このような状況に対して、既存手法に基づいた制御を実行した場合、完了時刻に関わらず、制御完了時のＱｏＳ劣化が最小となる制御を行うため、完了の早い負荷分散でなく、完了の遅いリソース増強が行われる可能性がある。リソース増強が行われた場合、負荷分散を行った場合に対して、ＱｏＳ劣化の継続時間が長くなってしまう。
【0014】
また、ＱｏＳ劣化に対して複数の制御を実行する場合、各制御の完了順序により、制御完了までのＱｏＳの推移が異なる。しがしながら、既存手法は、リソース制御とルーティング制御の完了順序を考慮していない。そのため、既存手法に基づいて制御を実行した場合、制御実行中の各時刻のＱｏＳが大幅に劣化してしまう可能性がある。
【0015】
例えば、ＳＦＩａの負荷増加に伴い、ＱｏＳ劣化が生じた状況を考える。この状況において、既存手法は、ＳＦＩａの負荷を分散させるために、リソース制御による他のＳＦＩｂのリソース増強と、ルーティング制御によるＳＦＩｂへの負荷分散を同時に実行することがある。
【0016】
しかし、一般に、ルーティング制御の完了の方が早いため、リソース増強完了前にルーティング制御が完了し、十分な処理能力がないＳＦＩｂに負荷が流れてしまう。その結果、ＳＦＩｂにおいて一時的なＱｏＳ劣化が生じてしまう。
【0017】
本発明は、上記の点に鑑みてなされたものであって、サービスの品質劣化の継続時間を短縮化しつつ一時的な品質劣化の発生を抑制することを目的とする。
【課題を解決するための手段】
【0018】
そこで上記課題を解決するため、制御決定装置は、複数の仮想ネットワーク機能を利用する１以上のサービスが提供されるネットワークから取得される情報に基づき、品質の劣化が所定の条件に合致するサービスである劣化サービスを検知する検知部と、前記劣化サービスについて、前記劣化を改善するための、前記劣化サービスが利用するリソースに関する制御、及びルーティング制御の１以上の候補を列挙する列挙部と、前記制御の候補の中で、当該制御の実行中の前記劣化サービスの品質の劣化が最小となる制御及び当該制御の実行タイミングの組み合わせを決定する決定部と、を有する。
【発明の効果】
【0019】
サービスの品質劣化の継続時間を短縮化しつつ一時的な品質劣化の発生を抑制することができる。
【図面の簡単な説明】
【0020】
【図1】本発明の実施の形態におけるシステム構成例を示す図である。
【図2】本発明の実施の形態における制御決定装置１０のハードウェア構成例を示す図である。
【図3】本発明の実施の形態における制御決定装置１０の機能構成例を示す図である。
【図4】制御決定装置１０が実行する処理手順の一例を説明するためのフローチャートである。
【発明を実施するための形態】
【0021】
以下、図面に基づいて本発明の実施の形態を説明する。図１は、本発明の実施の形態におけるシステム構成例を示す図である。図１において、制御決定装置１０はネットワークを介してネットワーク制御機器２０に接続される。
【0022】
ネットワーク制御機器２０は、仮想ネットワークのコントローラー又はオーケストレータ等、仮想ネットワークを制御する機器である。
【0023】
制御決定装置１０は、ネットワーク仮想化技術を用いた仮想ネットワーク機能（ＳＦ：Service Function）の制御を決定する１以上のコンピュータである。制御決定装置１０は、定期的なネットワーク（ネットワーク制御機器２０の制御下にあるネットワーク）の観測情報に基づき、仮想ネットワークにおいて提供されるサービスの品質（ＱｏＳ（Quality of Service））の劣化を検知し、ＱｏＳ劣化を検知したサービスに対して、以下の（１）、（２）のような工夫を行い、ＱｏＳ劣化が最小化されるような制御を決定する。
（１）制御実行時間が推定可能であるという前提の下、制御完了時のＱｏＳだけでなく、制御実行中の各時刻のＱｏＳの推移も考慮し、制御実行中の全ての時間幅におけるＱｏＳ劣化の合計が最小化される制御を選択する。
（２）制御内容だけでなく、複数の制御を行う際に制御間の依存関係（例えば、あるＳＦＩのリソースを増強する制御を行う前に、そのＳＦＩに負荷を分散させるルーティング制御を行うと、そのＳＦＩが過負荷になる可能性があるため、後者の制御を先に完了させた方が良いという関係）を考慮し、制御実行中のＱｏＳ劣化を抑えるような制御の実行タイミングを決定する。
（１）制御実行時間が推定可能であるという前提の下、制御完了時のＱｏＳだけでなく、制御実行中の各時刻のＱｏＳの推移も考慮し、制御実行中の全ての時間幅におけるＱｏＳ劣化の合計が最小化される制御を選択する。
（２）制御内容だけでなく、複数の制御を行う際に制御間の依存関係（例えば、あるＳＦＩのリソースを増強する制御を行う前に、そのＳＦＩに負荷を分散させるルーティング制御を行うと、そのＳＦＩが過負荷になる可能性があるため、後者の制御を先に完了させた方が良いという関係）を考慮し、制御実行中のＱｏＳ劣化を抑えるような制御の実行タイミングを決定する。
【0024】
図２は、本発明の実施の形態における制御決定装置１０のハードウェア構成例を示す図である。図２の制御決定装置１０は、それぞれバスＢで相互に接続されているドライブ装置１００、補助記憶装置１０２、メモリ装置１０３、プロセッサ１０４、及びインタフェース装置１０５等を有する。
【0025】
制御決定装置１０での処理を実現するプログラムは、ＣＤ－ＲＯＭ等の記録媒体１０１によって提供される。プログラムを記憶した記録媒体１０１がドライブ装置１００にセットされると、プログラムが記録媒体１０１からドライブ装置１００を介して補助記憶装置１０２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１０１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１０２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。
【0026】
メモリ装置１０３は、プログラムの起動指示があった場合に、補助記憶装置１０２からプログラムを読み出して格納する。プロセッサ１０４は、ＣＰＵ若しくはＧＰＵ（Graphics Processing Unit）、又はＣＰＵ及びＧＰＵであり、メモリ装置１０３に格納されたプログラムに従って制御決定装置１０に係る機能を実行する。インタフェース装置１０５は、ネットワークに接続するためのインタフェースとして用いられる。
【0027】
図３は、本発明の実施の形態における制御決定装置１０の機能構成例を示す図である。図３において、制御決定装置１０は、入力情報取得部１１、ＱｏＳ推定部１２、ＱｏＳ劣化検知部１３、制御候補列挙部１４、制御決定部１５、受信部１６及び送信部１７等を有する。これら各部は、制御決定装置１０にインストールされた１以上のプログラムが、プロセッサ１０４に実行させる処理により実現される。制御決定装置１０は、また、制御実行時間ＤＢ１２１等のデータベース（記憶部）を利用する。制御実行時間ＤＢ１２１は、例えば、補助記憶装置１０２、又は制御決定装置１０にネットワークを介して接続可能な記憶装置等を用いて実現可能である。
【0028】
入力情報取得部１１は、「物理ネットワークの情報」、「仮想ネットワークの情報」及び「ネットワーク制御に関する情報」等の既定（又は固定）の情報を取得するとともに、時間の経過に応じて変化しうる「ネットワークの観測情報」を、受信部１６を介してネットワーク制御機器２０から定期的に取得する。
【0029】
「物理ネットワークの情報」は、以下の情報を含む。
・ネットワーク内のサーバと、その性能（ＣＰＵリソース量（コア数）、メモリ容量等）を示す情報
・ネットワーク内のリンクと、その情報（リンクの帯域、伝搬遅延）を示す情報
・ネットワークのトポロジー情報（サーバ間の接続関係等）
「仮想ネットワークの情報」は、以下の情報を含む。
・仮想ネットワーク機能（ＳＦ）の種類を示す情報
・ネットワークを利用するサービスの情報
・サービスが利用するＳＦとその順序（ＳＦＣ（Service Function Chain））
・サービス毎のＱｏＳ要件（許容する最大遅延時間（ｓ））
・各サービスが利用する仮想マシンのインスタンス（ＳＦＩ（Service Function Instance））及びリンクを示す情報
「ネットワーク制御に関する情報」は、以下の情報を含む。
・ＳＦＩの制御実行時間（ｓ）
－リソース割り当て変更に要する時間（減少させる場合、増加させる場合のそれぞれの所要時間（一般に減少は増加よりも短いことが想定される。））
－新しいＳＦＩの立ち上げに要する時間
－ルーティングの制御実行時間（ｓ）
・トラヒックのルーティング変更に掛かる時間（サービスが処理されるサーバの変更等）
「ネットワーク制御に関する情報」の各制御の実行時間は事前に計測済み、または推定可能であり、制御実行時間ＤＢ１２１に登録されている。
・ネットワーク内のサーバと、その性能（ＣＰＵリソース量（コア数）、メモリ容量等）を示す情報
・ネットワーク内のリンクと、その情報（リンクの帯域、伝搬遅延）を示す情報
・ネットワークのトポロジー情報（サーバ間の接続関係等）
「仮想ネットワークの情報」は、以下の情報を含む。
・仮想ネットワーク機能（ＳＦ）の種類を示す情報
・ネットワークを利用するサービスの情報
・サービスが利用するＳＦとその順序（ＳＦＣ（Service Function Chain））
・サービス毎のＱｏＳ要件（許容する最大遅延時間（ｓ））
・各サービスが利用する仮想マシンのインスタンス（ＳＦＩ（Service Function Instance））及びリンクを示す情報
「ネットワーク制御に関する情報」は、以下の情報を含む。
・ＳＦＩの制御実行時間（ｓ）
－リソース割り当て変更に要する時間（減少させる場合、増加させる場合のそれぞれの所要時間（一般に減少は増加よりも短いことが想定される。））
－新しいＳＦＩの立ち上げに要する時間
－ルーティングの制御実行時間（ｓ）
・トラヒックのルーティング変更に掛かる時間（サービスが処理されるサーバの変更等）
「ネットワーク制御に関する情報」の各制御の実行時間は事前に計測済み、または推定可能であり、制御実行時間ＤＢ１２１に登録されている。
【0030】
「ネットワークの観測情報」は、以下の情報を含む。
・サーバごとのトラヒック負荷（トラヒック到着レート（ＭＢ／ｓ））を示す情報
・ＳＦＩごとのトラヒック負荷（トラヒック到着レート（ＭＢ／ｓ））を示す情報
・サービスごとのトラヒック負荷（トラヒック到着レート（ＭＢ／ｓ））を示す情報
いずれのトラヒック負荷も受信部１６が，現在までの観測情報に基づいて推定し、入力情報取得部１１は推定されたトラヒック負荷を観測情報として受け取る。推定方法として，定期的な周期における平均値を用いる方法等がある。
・サーバごとのトラヒック負荷（トラヒック到着レート（ＭＢ／ｓ））を示す情報
・ＳＦＩごとのトラヒック負荷（トラヒック到着レート（ＭＢ／ｓ））を示す情報
・サービスごとのトラヒック負荷（トラヒック到着レート（ＭＢ／ｓ））を示す情報
いずれのトラヒック負荷も受信部１６が，現在までの観測情報に基づいて推定し、入力情報取得部１１は推定されたトラヒック負荷を観測情報として受け取る。推定方法として，定期的な周期における平均値を用いる方法等がある。
【0031】
ＱｏＳ推定部１２は、入力情報取得部１１が取得した情報に基づき、「仮想ネットワークの情報」の「ネットワークを利用するサービスの情報」が示す全てのサービスのそれぞれについて、現在のＱｏＳを推定する。ＱｏＳ推定部１２は、各サービスのＱｏＳの推定結果をＱｏＳ劣化検知部１３へ送信する。
【0032】
ＱｏＳ劣化検知部１３は、ＱｏＳ推定部１２による推定結果に基づき、サービス品質が劣化している（サービスの品質の劣化が所定の条件に合致する）サービス（以下、「ＱｏＳ劣化サービス」という。）を検知する。ＱｏＳ劣化検知部１３は、検知結果を制御候補列挙部１４へ送信する。
【0033】
制御候補列挙部１４は、ＱｏＳ劣化検知部１３が検知したＱｏＳ劣化サービスに対して、リソース制御／ルーティング制御の候補を算出する。制御候補列挙部１４は、算出結果を制御決定部１５へ送信する。なお、制御の候補は、リソース制御及びルーティング制御の双方を含んでもよいし、いずれ一方のみを含んでもよい。
【0034】
制御決定部１５は、制御候補列挙部１４が算出した制御の候補の中から、その制御の実行中のＱｏＳ劣化が最小となるような制御とその実行タイミングを決定する。
【0035】
送信部１７は、制御決定部１５による決定内容をネットワーク機器に送信する。
【0036】
【0037】
ステップＳ１０１において、入力情報取得部１１は、「物理ネットワークの情報」、「仮想ネットワークの情報」及び「ネットワーク制御に関する情報」等の既定（又は固定）の情報を、予め記憶されている場所から取得する。
【0038】
続いて、入力情報取得部１１は、一定時間待機した後、当該一定時間における「ネットワークの観測情報」を受信部１６から取得する（Ｓ１０２）。
【0039】
続いて、ＱｏＳ推定部１２は、入力情報取得部１１が取得した情報に基づき、「仮想ネットワークの情報」の「ネットワークを利用するサービスの情報」が示す全てのサービスのそれぞれについて、現在のＱｏＳ（の指標値）を推定する（Ｓ１０３）。
【0040】
本実施の形態では、サービスの処理開始から完了までに要した時間（処理時間）をＱｏＳの指標値の一例として説明する。ＱｏＳ推定部１２は、以下の方法で全サービスのそれぞれの現在のＱｏＳを推定する。
（Ｓ１０３－１）サービスが利用するリンク、及びＳＦＩを列挙する。斯かる列挙は、「仮想ネットワークの情報」の各サービスが利用するＳＦＩ及びリンクを示す情報に基づいて可能である。
（Ｓ１０３－２）列挙されたリンクで生じる遅延を取得するとともに、ＳＦＩの処理遅延の推定を行う。
（Ｓ１０３－１）サービスが利用するリンク、及びＳＦＩを列挙する。斯かる列挙は、「仮想ネットワークの情報」の各サービスが利用するＳＦＩ及びリンクを示す情報に基づいて可能である。
（Ｓ１０３－２）列挙されたリンクで生じる遅延を取得するとともに、ＳＦＩの処理遅延の推定を行う。
【0041】
リンクで生じる遅延は、リンクｌごとに事前に定義された一定の値Ｄｌ
Ｌとする。但し、リンクに流せるトラヒックレートは、リンクの通信容量を超えない範囲とする。
【0042】
ＳＦＩの処理遅延の推定は、ＳＦＩに割り当てられているＣＰＵリソース量とＳＦＩが処理するトラヒック到着レートに基づき、以下の（１）～（３）の計算をすることで行われる。
（１）サーバｉでＳＦｆを提供するＳＦＩｉ，ｆに割り当てられているＣＰＵリソース量ｚｉ，ｆ（コア数）と、事前に定義した１コアあたりのＳＦの処理レートＲｆ（ＭＢ／ｓ）を用いて、ＳＦＩｉ，ｆの処理レートμｉ，ｆを、μｉ，ｆ＝ｚｉ，ｆ×Ｒｆとする。
（２）「ネットワークの観測情報」の「ＳＦＩごとのトラヒック負荷」からＳＦＩｉ，ｆのトラヒック到着レートλｉ，ｆを取得する。
（３）これらを用いて、ＳＦＩｉ，ｆの処理遅延Ｄｉ，ｆ ＰをＤｉ，ｆ Ｐ＝μｉ，ｆ／（ｚｉ，ｆ（μｉ，ｆ－λｉ，ｆ））とする。
（１）サーバｉでＳＦｆを提供するＳＦＩｉ，ｆに割り当てられているＣＰＵリソース量ｚｉ，ｆ（コア数）と、事前に定義した１コアあたりのＳＦの処理レートＲｆ（ＭＢ／ｓ）を用いて、ＳＦＩｉ，ｆの処理レートμｉ，ｆを、μｉ，ｆ＝ｚｉ，ｆ×Ｒｆとする。
（２）「ネットワークの観測情報」の「ＳＦＩごとのトラヒック負荷」からＳＦＩｉ，ｆのトラヒック到着レートλｉ，ｆを取得する。
（３）これらを用いて、ＳＦＩｉ，ｆの処理遅延Ｄｉ，ｆ ＰをＤｉ，ｆ Ｐ＝μｉ，ｆ／（ｚｉ，ｆ（μｉ，ｆ－λｉ，ｆ））とする。
【0043】
リンクで生じる遅延及びＳＦＩの処理遅延は他の方法で推定されてもよいし、直接計測されてもよい。
【0044】
ＱｏＳ推定部１２は、リンクで生じる遅延及びＳＦＩの処理遅延の合計を、サービスｋの処理時間Ｄｋとして算出する。Ｄｋは、サービスｋのＱｏＳの推定値を示し、以下の式に基づいて算出可能である。
【0045】
【数1】
【0046】
続いて、ＱｏＳ劣化検知部１３は、ＱｏＳ推定部１２による推定結果に基づき、ＱｏＳ劣化サービスの有無を判定する（Ｓ１０４）。サービスｋがＱｏＳ劣化サービスであるか否かは、サービスｋの処理時間Ｄｋが閾値を下回っているか否かによって判定され、処理時間Ｄｋが閾値を下回る場合、サービスｋは、ＱｏＳ劣化サービスであると判定される。閾値として、サービスｋのＱｏＳ要件で定められた、許容する最大遅延時間Ｄｋ
ＱｏＳが用いられる。但し、他の値が閾値として用いられてもよい。
【0047】
なお、ステップＳ１０４において、ＱｏＳ劣化サービスであると判定されたサービスの集合（ＱｏＳ劣化サービスの集合）をＫｄとする。
【0048】
ＱｏＳ劣化サービスが無い場合（Ｋｄが空集合である場合）（Ｓ１０４でＮｏ）、ステップＳ１０５以降は実行されず、入力情報取得部１１による情報の取得が待機される。
【0049】
ＱｏＳ劣化サービスが有る場合（Ｓ１０４でＹｅｓ）、制御候補列挙部１４は、ＱｏＳ劣化サービスごとに、ＱｏＳ劣化を改善させるための制御（の組み合わせ）の候補を列挙する（Ｓ１０５）。より詳しくは、制御候補列挙部１４は、ＱｏＳ劣化サービスｋ∈Ｋｄについて、リソース制御によるサービスｋの利用ＳＦＩの新規生成、削除、リソース量（ＣＰＵ、メモリ等）の変更と、ルーティング制御によるサービスｋの利用リンクの変更、ＳＦＩの変更について、実行可能な制御を列挙する。この際、ＳＦＩのリソース増強に伴う他のＳＦＩのリソース削減や、利用リンクの変更又はＳＦＩの変更に伴う他のＳＦＩが利用するリンクの負荷増加によって、他サービスのＱｏＳ劣化が起こる可能性がある。制御候補列挙部１４は、これを考慮し、他サービスのＱｏＳが劣化しない範囲で、実行可能な制御を求める。
【0050】
具体的には、制御候補列挙部１４は、以下の「他ＳＦＩへの負荷分散」、「ＳＦＩのリソース増強」、「他サーバのＳＦＩ新規生成」を求める。なお、ステップＳ１０５では、ステップＳ１０６において実行する制御の組み合わせと、その実行タイミングとが決定される。
【0051】
［他ＳＦＩへの負荷分散］
制御候補列挙部１４は、サービスｋが利用するＳＦＩの集合Ｉｋの中から、処理遅延Ｄｉ，ｆ Ｐが最も大きいＳＦＩｉａ，ｆａを特定する。制御候補列挙部１４は、ＳＦＩｉａ，ｆａのトラヒック到着レートを他ＳＦＩに負荷分散させることで処理遅延を改善させ、ＱｏＳ劣化を最小化しようとする。この負荷分散にはルーティング制御による経路切り替えが用いられる。
制御候補列挙部１４は、サービスｋが利用するＳＦＩの集合Ｉｋの中から、処理遅延Ｄｉ，ｆ Ｐが最も大きいＳＦＩｉａ，ｆａを特定する。制御候補列挙部１４は、ＳＦＩｉａ，ｆａのトラヒック到着レートを他ＳＦＩに負荷分散させることで処理遅延を改善させ、ＱｏＳ劣化を最小化しようとする。この負荷分散にはルーティング制御による経路切り替えが用いられる。
【0052】
まず、制御候補列挙部１４は、Ｄｉ，ｆ
Ｐの計算式Ｄｉ，ｆ
Ｐ＝μｉ，ｆ／（ｚｉ，ｆ（μｉ，ｆ－λｉ，ｆ））、μｉ，ｆ＝ｚｉ，ｆ×Ｒｆから、ＱｏＳ劣化の解決のためにＳＦＩｉａ，ｆａから減少させる必要のあるトラヒック到着レートλａ
ｒｅｑを求める。具体的には、制御候補列挙部１４は、まず、サービスｋの処理時間Ｄｋと，サービスｋのＱｏＳ要件Ｄｋ
ＱｏＳから処理遅延の違反量を求める。続いて、Ｄｉ，ｆ
Ｐの計算式に基づき，Ｄｉ，ｆ
Ｐがこの違反量分だけ短くなるために必要なトラヒック到着レートを求め，当該トラヒック到着レートと現状のトラヒック到着レートとの差分をλａ
ｒｅｑとする。
【0053】
次に、制御候補列挙部１４は、ＳＦＩｉａ，ｆａと同じＳＦ（ｆａ）を提供するＳＦＩの集合をＩａ
ＬＢとし、Ｉａ
ＬＢの中から負荷分散先のＳＦＩを決定する。同じ種類のＳＦを提供するＳＦＩはサーバごとに高々１つであるとする。したがって、この負荷分散先は他のサーバのＳＦＩとなる。
【0054】
制御候補列挙部１４は、ＳＦＩｉ，ｆ∈Ｉａ
ＬＢについて、ＳＦＩｉ，ｆを利用するサービスのＱｏＳが劣化しない範囲で、増加が許容できるトラヒック到着レートλｉ，ｆ
ｉｎｃを計算する。ＱｏＳが劣化しない範囲は、トラヒック到着レートの増加に伴って増加するＤｋがＤｋ
ＱｏＳを越えない範囲に対応する。λｉ，ｆ
ｉｎｃは、Ｄｉ，ｆ
Ｐの計算式に基づいて算出することができる。
【0055】
そして、制御候補列挙部１４は、負荷分散のために利用ＳＦＩを変更させるサービスｋＬＢを以下のように決める。
【0056】
ＳＦＩｉ，ｆ∈Ｉａ
ＬＢのそれぞれのλｉ，ｆ
ｉｎｃの中での最大値をλＬＢとし、λＬＢに対応するＳＦＩをＳＦＩｉｂ，ｆｂとする。
【0057】
λＬＢ≦λａ
ｒｅｑの場合、制御候補列挙部１４は、ＳＦＩｉａ，ｆａへのトラヒック到着レートがλＬＢを下回るサービスの内、最も到着レートの高いサービスをｋＬＢとする。λＬＢを下回るサービスが存在しない場合、ＳＦＩｉａ，ｆａに関する負荷分散の制御を行わない。
【0058】
λａ
ｒｅｑ＜λＬＢの場合、制御候補列挙部１４は、ＳＦＩｉａ，ｆａへのトラヒック到着レートがλａ
ｒｅｑ以上で、λＬＢ以下を満たすサービスの内、最も到着レートの低いサービスをｋＬＢとする。条件を満たすサービスが存在しない場合、制御候補列挙部１４は、トラヒック到着レートがλａ
ｒｅｑ未満のサービスの内、トラヒック到着レートが最も高いサービスをｋＬＢとする。これをも満たすサービスも存在しない場合、ＳＦＩｉａ，ｆａに関する負荷分散の制御を行わない。
【0059】
制御候補列挙部１４は、「サービスｋＬＢの利用ＳＦＩをＳＦＩｉａ，ｆａからＳＦＩｉｂ，ｆｂへ変更」、「サービスｋＬＢの利用リンクを、ＳＦＩｉｂ，ｆｂを経由し、かつ、その中で処理時間ＤｋＬＢが最小となるように変更」を制御候補の制御内容とする。制御候補列挙部１４は、また、これらの制御候補のそれぞれについて、負荷分散の制御を元に戻す制御を含む制御の組み合わせも制御候補に追加する。
【0060】
［ＳＦＩのリソース増強］
制御候補列挙部１４は、サービスｋが利用するＳＦＩの集合Ｉｋの中から、処理遅延Ｄｉ，ｆ Ｐが最も大きいＳＦＩｉａ，ｆａを特定する。制御候補列挙部１４は、ＳＦＩｉａ，ｆａのＣＰＵリソース量を増強することで処理遅延を改善させ、ＱｏＳ劣化を最小化しようとする。
制御候補列挙部１４は、サービスｋが利用するＳＦＩの集合Ｉｋの中から、処理遅延Ｄｉ，ｆ Ｐが最も大きいＳＦＩｉａ，ｆａを特定する。制御候補列挙部１４は、ＳＦＩｉａ，ｆａのＣＰＵリソース量を増強することで処理遅延を改善させ、ＱｏＳ劣化を最小化しようとする。
【0061】
まず、制御候補列挙部１４は、Ｄｉ，ｆ
Ｐの計算式から、ＱｏＳ劣化解決のためにＳＦＩｉａ，ｆａ必要な追加ＣＰＵリソース量ｚａ
ｒｅｑを計算する。具体的には、制御候補列挙部１４は、まず、サービスｋの処理時間Ｄｋと，サービスｋのＱｏＳ要件Ｄｋ
ＱｏＳから処理遅延の違反量を求める。続いて、Ｄｉ，ｆ
Ｐの計算式に基づき，Ｄｉ，ｆ
Ｐがこの違反量分だけ短くなるために必要なＣＰＵリソース量を求め，当該ＣＰＵリソース量と現状のＣＰＵリソース量との差分をｚａ
ｒｅｑとする。
【0062】
次に、制御候補列挙部１４は、ＳＦＩｉａ，ｆａが稼働しているサーバ内の他ＳＦＩからＳＦＩｉａ，ｆａに割り当て可能なＣＰＵリソース量ｚ'ＲＲを求める。ｚ'ＲＲは、他ＳＦＩを利用するサービスのＱｏＳが劣化しない範囲で、サーバから削減可能なＣＰＵリソース量の総和とする。リソース削減が可能なＳＦＩの集合をＩＲＲ、ＳＦＩごとのリソース削減可能量をｚｉ，ｆ
ｄｅｃ（ＳＦＩｉ，ｆ∈ＩＲＲ）とすると、
【0063】
【数2】
【0064】
制御候補列挙部１４は、
ｚＲＲ＝ｍｉｎ（ｚ'ＲＲ，ｚａ ｒｅｑ）とする。
ｚＲＲ＝ｍｉｎ（ｚ'ＲＲ，ｚａ ｒｅｑ）とする。
【0065】
制御候補列挙部１４は、「同サーバ内のリソース増減が可能なＳＦＩｉ，ｆ∈ＩＲＲのリソース量をｚＲＲ×（ｚｉ，ｆ
ｄｅｃ／ｚ'ＲＲ）コア減少」、「ＳＦＩｉａ，ｆａのリソース量をｚＲＲコア増加」を制御候補の制御内容とする。
【0066】
［他サーバのＳＦＩ新規生成］
ＳＦＩｉａ，ｆａと同じＳＦ（ｆａ）を提供するＳＦＩを他のサーバ（ＳＦＩｉａ，ｆａが動作するサーバとは別のサーバ）に新規生成し、負荷分散先として用意する。この制御と「他ＳＦＩへの負荷分散」を組み合わせることで、ＱｏＳ劣化を最小化する。
ＳＦＩｉａ，ｆａと同じＳＦ（ｆａ）を提供するＳＦＩを他のサーバ（ＳＦＩｉａ，ｆａが動作するサーバとは別のサーバ）に新規生成し、負荷分散先として用意する。この制御と「他ＳＦＩへの負荷分散」を組み合わせることで、ＱｏＳ劣化を最小化する。
【0067】
制御候補列挙部１４は、ＳＦＩｉａ，ｆａが稼働しているサーバとは別のサーバそれぞれについて、削減可能なＣＰＵリソース量を求める。具体的には、制御候補列挙部１４は、或るサーバを利用する全てのサービスのＱｏＳが劣化しない範囲で、当該サーバから削減可能なＣＰＵリソース量の総和を、削減可能なＣＰＵリソース量とする。すなわち、制御候補列挙部１４は、削減可能なＣＰＵリソース量は「ＳＦＩのリソース増強」と同様に計算し、削減可能量が最大のサーバをｉｂとする。
【0068】
サーバｉｂにおいてリソース削減が可能なＳＦＩの集合をＩＬＳ、削減可能量をｚｉ，ｆ
ｄｅｃ（ＳＦＩｉ，ｆ∈ＩＬＳ）とする。この時、サーバ全体の削減可能なリソース量ｚＬＳは、
【0069】
【数3】
【0070】
制御候補列挙部１４は、これらを用いて、「サーバｉｂ内のリソース増減が可能なＳＦＩｉ，ｆ∈ＩＬＳのリソース量をｚＬＳ×（ｚｉ，ｆ
ｄｅｃ）／ｚＬＳコア減少」、「サーバｉｂ内にリソース量ｚＬＳの新規のＳＦＩｉｂ，ｆａを立ち上げる」を制御候補の制御内容とする。
【0071】
なお、上記では、一例として、処理遅延の最も大きいＳＦＩに注目して制御候補を求めたが、別のＳＦＩに注目した制御も、候補として追加されてもよい。例えば、前時刻の処理遅延に対する処理遅延の増加が大きいＳＦＩや、利用サービス数が多いＳＦＩ等が注目の対象として考えられる。
【0072】
なお、制御の候補の列挙に要する時間が制御実行時間に対して無視できない長さであるとき、制御完了までの時間に影響を及ぼしかねない。そこで、ステップＳ１０５の計算時間と列挙する制御の候補の数に閾値が設けられてもよい。当該計算時間又は制御の候補の数が閾値に達した時点で、制御候補列挙部１４は、制御の候補の列挙を終了し、ステップＳ１０６へ進んでもよい。例えば、計算時間の閾値をルーティング制御に要する時間の１０％に設定し、制御の候補数の閾値を３０に設定することが考えられる。
【0073】
続いて、制御決定部１５は、ステップＳ１０５において列挙された制御の候補の中から、その制御の実行中のＱｏＳ劣化が最小となるような制御とその実行タイミングを算出する（Ｓ１０６）。
【0074】
ここでは、制御実行中の時刻をタイムスロットとして離散的に考え、各タイムスロットｔにおける観測値や推定値はそのスロットにおける平均値とする。
【0075】
ＱｏＳが劣化したサービスの集合をＫｄとし、サービスｋ∈ＫｄのＱｏＳ劣化の最小化を考える。サービスｋのＱｏＳ要件で定められた、許容する最大の遅延時間（ｓ）をＤｋ
ＱｏＳ、タイムスロットｔにおけるサービスｋの処理時間（ｓ）をＤｋ（ｔ）とする。
【0076】
現在のタイムスロットｔｉから将来のタイムスロットｔｉ＋Ｎにおける、サービスｋの遅延時間の超過量（ｓ）であるＶｋ（ｔｉ）を、
【0077】
【数4】
但し、
【0078】
【数5】
【0079】
Ｄｋ（ｔ）は、リンク間で生じる遅延（ｓ）であるＤｌ
Ｌ（ｔ）と、ＳＦＩの処理遅延（ｓ）であるＤｉ，ｆ
Ｐ（ｔ）との合計で求められ、
【0080】
【数6】
【0081】
ステップＳ１０５で列挙された制御の候補の中から、いずれの制御をどのタイミングで実行するかにより、タイムスロットｔｉ～ｔｉ＋Ｎの各タイムスロットのＬｋ（ｔ）、Ｉｋ（ｔ）、Ｄｉ，ｆ
Ｐ（ｔ）、Ｄｋ（ｔ）が異なる。すなわち、実行する制御とタイミングによってＶｋ（ｔｉ）は異なる。これを用いて、制御の目的関数を、
【0082】
【数7】
【0083】
制御決定部１５は、ステップＳ１０５で列挙された制御とその実行タイミングの組み合わせの中から、目的関数が最小となるような制御と実行タイミングの組み合わせを決定する。
【0084】
組み合わせの決定方法については、例えば、全ての組み合わせに対して、目的関数の値を計算し、値が最小となる組み合わせを採用することができる。他に、遺伝子的アルゴリズムやランダムサーチなどのヒューリスティックな手法で組み合わせを求めてもよい。
【0085】
例えば、本制御によって以下のような制御スケジューリングが想定される。ここでは、或るサービスｓのＥ２Ｅ（end-to-end）遅延が閾値を上回った場合を考える。
【0086】
サービスｓが利用するＳＦＩのうち、処理遅延の最も大きいＳＦＩａに注目し、ＳＦＩａと同じＳＦを提供し、かつ、負荷に余裕のあるＳＦＩｂへの負荷分散を実行する。同時にＳＦＩａと同じサーバで稼働し、かつ、負荷に余裕のあるＳＦＩｃのリソースを奪い、ＳＦＩａのリソース増強を実行する。ここではリソース増強よりも先に負荷分散の実行が完了することを想定している。負荷に余裕のあるＳＦＩが存在しない場合は、負荷に余裕のあるサーバを探し、そのサーバにおいて、ＳＦＩａと同じＳＦを提供するＳＦＩを新規生成する。この場合においても、ＳＦＩの新規生成よりも負荷分散の実行が完了することを想定している。
【0087】
負荷分散及びリソース増強が共に完了すると、負荷分散のみ実行前の状態に戻す。つまり、ＳＦＩｂからＳＦＩａへ負荷分散しなおす。これによって、ＳＦＩａの負荷遅延、つまりサービスｓの遅延劣化の継続時間を抑えつつ、同時に他のＳＦＩの処理遅延の増加も抑えるような制御が可能となる。
【0088】
続いて、送信部１７は、制御決定部１５による決定内容（実行する制御及び実行タイミング）を示す情報をネットワーク制御機器２０へ送信することで、当該制御を実行する（Ｓ１０７）。当該決定内容の送信完了後は、再び入力情報取得部１１による情報の取得を待機する。ステップＳ１０２～Ｓ１０７は、ネットワークの運用を終了するまで繰り返される（Ｓ１０８）。
【0089】
上述したように，本実施の形態によれば、制御間で実行可能タイミングや実行時間が異なる状況で、サービスの品質劣化の継続時間を短縮化することができる。また、制御間で完了順序に関する依存関係が存在する状況で、一時的な品質劣化の発生を抑制することができる。
【0090】
なお、本実施の形態において、ＱｏＳ劣化検知部１３は、検知部の一例である。制御候補列挙部１４は、列挙部の一例である。制御決定部１５は、決定部の一例である。
【0091】
以上、本発明の実施の形態について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【符号の説明】
【0092】
１０ 制御決定装置
１１ 入力情報取得部
１２ ＱｏＳ推定部
１３ ＱｏＳ劣化検知部
１４ 制御候補列挙部
１５ 制御決定部
１６ 受信部
１７ 送信部
２０ ネットワーク制御機器
１００ ドライブ装置
１０１ 記録媒体
１０２ 補助記憶装置
１０３ メモリ装置
１０４ プロセッサ
１０５ インタフェース装置
１２１ 制御実行時間ＤＢ
Ｂ バス
１１ 入力情報取得部
１２ ＱｏＳ推定部
１３ ＱｏＳ劣化検知部
１４ 制御候補列挙部
１５ 制御決定部
１６ 受信部
１７ 送信部
２０ ネットワーク制御機器
１００ ドライブ装置
１０１ 記録媒体
１０２ 補助記憶装置
１０３ メモリ装置
１０４ プロセッサ
１０５ インタフェース装置
１２１ 制御実行時間ＤＢ
Ｂ バス
【図1】
【図2】
【図3】
【図4】