特許 6962295 ネットワーク管理装置、および、ネットワーク管理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6962295

(24)【登録日】2021年10月18日

(45)【発行日】2021年11月5日

(54)【発明の名称】ネットワーク管理装置、および、ネットワーク管理方法

(51)【国際特許分類】

   H04L 12/911 20130101AFI20211025BHJP

   H04L 12/717 20130101ALI20211025BHJP

   H04L 12/24 20060101ALI20211025BHJP

【ＦＩ】

   H04L12/911

   H04L12/717

   H04L12/24

【請求項の数】5

【全頁数】17

(21)【出願番号】特願2018-156428(P2018-156428)

(22)【出願日】2018年8月23日

(65)【公開番号】特開2020-31359(P2020-31359A)

(43)【公開日】2020年2月27日

【審査請求日】2020年12月4日

(73)【特許権者】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(74)【代理人】

【識別番号】110001807

【氏名又は名称】特許業務法人磯野国際特許商標事務所

(72)【発明者】

【氏名】齋藤 公利

(72)【発明者】

【氏名】中務 諭士

(72)【発明者】

【氏名】高橋 賢

【審査官】 宮島 郁美

(56)【参考文献】

【文献】 特開２００７−１３７５３（ＪＰ，Ａ）

【文献】 特開２００６−２７９２２１（ＪＰ，Ａ）

【文献】 特開２００５−３２８５０８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｌ１２／００−１２／２６，１２／５０−１２／９５５

(57)【特許請求の範囲】

【請求項1】

要求パラメータを用いた計算式である要求条件式と、その要求条件式を満たすときに起動される要求アクションとを対応付ける要求コンフィグの入力を受け付け、入力された前記要求コンフィグをコンフィグ管理部に記憶する要求入力部と、
前記要求パラメータとして指定されたデバイスの計測情報、または、１つ以上の前記デバイスを収容するサーバの計測情報を取得し、その取得した計測情報を計測管理データベースに記憶する計測情報処理部と、
前記計測管理データベースの計測情報が前記要求条件式を満たすか否かを判定し、前記要求条件式を満たすと判定したときに、対応する前記要求アクションを起動する計測制御部と、
起動された前記要求アクションに従った設定情報を前記デバイスまたは前記サーバに設定する装置設定部とを有することを特徴とする
ネットワーク管理装置。

【請求項2】

前記計測制御部は、前記要求アクションとして、前記サーバ間での負荷の平準化を行う平準化部を有しており、
前記要求入力部は、前記要求パラメータとして指定された計測情報が第１閾値を超過するときに、前記平準化部を呼び出す旨の前記要求コンフィグを前記コンフィグ管理部に記憶することを特徴とする
請求項１に記載のネットワーク管理装置。

【請求項3】

前記計測制御部は、前記要求アクションとして、新たな前記サーバの増設に対応するスケールアウト部を有しており、
前記要求入力部は、前記平準化部による負荷の平準化を行った後でも前記要求パラメータとして指定された計測情報が前記第１閾値を超過するときに、前記スケールアウト部を呼び出す旨の前記要求コンフィグを前記コンフィグ管理部に記憶することを特徴とする
請求項２に記載のネットワーク管理装置。

【請求項4】

前記計測制御部は、前記要求アクションとして、既存の前記サーバの減設に対応するスケールイン部を有しており、
前記要求入力部は、前記要求パラメータとして指定された計測情報が第２閾値を下回るときに、前記スケールイン部を呼び出す旨の前記要求コンフィグを前記コンフィグ管理部に記憶することを特徴とする
請求項２または請求項３に記載のネットワーク管理装置。

【請求項5】

ネットワーク管理装置は、要求入力部と、計測情報処理部と、計測制御部と、装置設定部とを有しており、
前記要求入力部は、要求パラメータを用いた計算式である要求条件式と、その要求条件式を満たすときに起動される要求アクションとを対応付ける要求コンフィグの入力を受け付け、入力された前記要求コンフィグをコンフィグ管理部に記憶し、
前記計測情報処理部は、前記要求パラメータとして指定されたデバイスの計測情報、または、１つ以上の前記デバイスを収容するサーバの計測情報を取得し、その取得した計測情報を計測管理データベースに記憶し、
前記計測制御部は、前記計測管理データベースの計測情報が前記要求条件式を満たすか否かを判定し、前記要求条件式を満たすと判定したときに、対応する前記要求アクションを起動し、
前記装置設定部は、起動された前記要求アクションに従った設定情報を前記デバイスまたは前記サーバに設定することを特徴とする
ネットワーク管理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ネットワーク管理装置、および、ネットワーク管理方法に関する。

【背景技術】

【0002】

ＳＤＮ（Software-Defined Network）などのネットワーク仮想化技術により、ネットワークのリソース割当を柔軟に変更することが容易になってきた。非特許文献１には、ＳＤＮにより、ネットワーク管理タスクがどのように改善されるかという概要が記載されている。

【0003】

特許文献１には、割当リソースと割当要求リソースとの間の差分が大きくなるほど大きくなるユーザ需要ペナルティを有するペナルティを最小にするように、数理最適化問題を解くことにより割当リソースを計算する計算手段が記載されている。これにより、ユーザ需要を満たすように、リソース割当を計算することができる。

【0004】

図１９は、計測管理システムの構成図である。計測管理システムは、コントローラ９１と、そのコントローラ９１が管理する計測対象ネットワークシステムとで構成される。
計測対象ネットワークシステムは、デバイスＤと、コレクタ９３と、データベース９２とが接続される。コレクタ９３およびデータベース９２は、同一の筐体であるサーバ９４内に収容される。
各デバイスＤは、Push型の情報通知機能（xflow, telemetryなど）により、コレクタ９３へトラヒック量などのデータを送信する。コレクタ９３は、各デバイスＤから送信されたデータを、データベース９２に格納する。

【0005】

コントローラ９１は、ＳＱＬ（Structured Query Language）などで記載されたクエリにより、データベース９２からデータを取得する。そして、コントローラ９１は、取得したデータを計測情報として可視化することで、保守者に計測対象ネットワークシステムの現状を把握させる。

【先行技術文献】

【非特許文献】

【0006】

【非特許文献1】Hyojoon Kim他著、「Improving Network Management with Software Defined Networking」、IEEE Communications Magazine、February 2013、p.114-119

【特許文献】

【0007】

【特許文献1】特開２０１７−１４７５１７号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

図２０は、計測対象ネットワークが大規模化したときの構成図である。このような大規模ネットワークの場合、多くのデバイスＤが地理的に分散しているので、遠方のデバイスＤからのデータがコレクタ９３に届くまで遅延することもある。
このような場合、デバイスＤからコレクタ９３までの遅延時間を改善するように、保守者はコントローラを操作して、デバイスＤの接続先となるコレクタ９３を変更する操作を行う。

【0009】

一方、別の保守者は、コントローラ９１からデータベース９２へクエリを送信してから、その応答までにかかる時間であるＴＡＴ（Turn Around Time）を短縮することを最優先にすることも考えられる。
このように、保守者ごとに重視するパラメータは様々であるので、コントローラ９１が可視化した計測情報を把握し、どのように計測対象ネットワークを改善していくかを判断し、デバイスＤにどのような制御コマンドを発行するかという具体的なネットワーク管理作業は、保守者ごとに手作業で行われていた。しかし、計測対象ネットワークが大規模化することに伴い、このネットワーク管理作業の負担が大きくなっていた。

【0010】

非特許文献１や特許文献１などの従来の技術では、各デバイスＤからコントローラ９１までの計測情報の収集についての記載はあるが、その後の集められた計測情報をもとにして具体的にどのようなネットワーク管理作業を行うかという情報活用面は論じられていない。

【0011】

そこで、本発明は、ユーザが重視するパラメータに即した柔軟性の高いネットワーク管理を実現することを、主な課題とする。

【課題を解決するための手段】

【0012】

前記課題を解決するために、本発明のネットワーク管理装置は、以下の特徴を有する。
本発明は、要求パラメータを用いた計算式である要求条件式と、その要求条件式を満たすときに起動される要求アクションとを対応付ける要求コンフィグの入力を受け付け、入力された前記要求コンフィグをコンフィグ管理部に記憶する要求入力部と、
前記要求パラメータとして指定されたデバイスの計測情報、または、１つ以上の前記デバイスを収容するサーバの計測情報を取得し、その取得した計測情報を計測管理データベースに記憶する計測情報処理部と、
前記計測管理データベースの計測情報が前記要求条件式を満たすか否かを判定し、前記要求条件式を満たすと判定したときに、対応する前記要求アクションを起動する計測制御部と、
起動された前記要求アクションに従った設定情報を前記デバイスまたは前記サーバに設定する装置設定部とを有することを特徴とする。

【0013】

これにより、要求パラメータである計測情報が要求条件式を満たす監視プロセスにより、要求アクションに従った設定情報が自動的にデバイスまたはサーバに設定される。よって、ユーザが重視する要求パラメータに即した柔軟性の高いネットワーク管理を実現することができる。

【0014】

本発明は、前記計測制御部が、前記要求アクションとして、前記サーバ間での負荷の平準化を行う平準化部を有しており、
前記要求入力部が、前記要求パラメータとして指定された計測情報が第１閾値を超過するときに、前記平準化部を呼び出す旨の前記要求コンフィグを前記コンフィグ管理部に記憶することを特徴とする。

【0015】

これにより、保守者が手作業でサーバ間での負荷の平準化を行う必要がなくなり、最新の計測情報と要求コンフィグとに応じて自動的に平準化処理が起動する。

【0016】

本発明は、前記計測制御部が、前記要求アクションとして、新たな前記サーバの増設に対応するスケールアウト部を有しており、
前記要求入力部が、前記平準化部による負荷の平準化を行った後でも前記要求パラメータとして指定された計測情報が前記第１閾値を超過するときに、前記スケールアウト部を呼び出す旨の前記要求コンフィグを前記コンフィグ管理部に記憶することを特徴とする。

【0017】

これにより、保守者が手作業でスケールアウトを設定する必要がなくなり、最新の計測情報と要求コンフィグとに応じて自動的にスケールアウト処理が起動する。

【0018】

本発明は、前記計測制御部が、前記要求アクションとして、既存の前記サーバの減設に対応するスケールイン部を有しており、
前記要求入力部が、前記要求パラメータとして指定された計測情報が第２閾値を下回るときに、前記スケールイン部を呼び出す旨の前記要求コンフィグを前記コンフィグ管理部に記憶することを特徴とする。

【0019】

これにより、保守者が手作業でスケールインを設定する必要がなくなり、最新の計測情報と要求コンフィグとに応じて自動的にスケールイン処理が起動する。

【発明の効果】

【0020】

本発明によれば、ユーザが重視するパラメータに即した柔軟性の高いネットワーク管理を実現することができる。

【図面の簡単な説明】

【0021】

【図1】本実施形態に係わる計測管理システムの構成図である。

【図2】本実施形態に係わるコンフィグ管理部が管理する要求コンフィグの一例を示すテーブルである。

【図3】本実施形態に係わる計測管理システムの管理対象となるネットワークシステムの構成図である。

【図4】本実施形態に係わる図３のネットワークシステムを対象とした計測管理データベースの構成図である。

【図5】本実施形態に係わるコントローラの初期設定処理を示すフローチャートである。

【図6】本実施形態に係わるコントローラによるネットワークシステムの監視処理を示すフローチャートである。

【図7】本実施形態に係わるサーバ間の平準化の概要を示す説明図である。

【図8】本実施形態に係わるデバイスとコレクタとの間の応答時間（Time）を、平準化により改善する処理を示す説明図である。

【図9】本実施形態に係わる図８の平準化による改善効果を示す計測管理データベースの構成図である。

【図10】本実施形態に係わる平準化部による平準化処理を示すフローチャートである。

【図11】本実施形態に係わるサーバのスケールアウト（増設）の概要を示す説明図である。

【図12】本実施形態に係わるデータベースとコントローラとの間のＴＡＴを、スケールアウトにより改善する処理を示す説明図である。

【図13】本実施形態に係わる図１２のスケールアウトによる改善効果を示す計測管理データベースの構成図である。

【図14】本実施形態に係わるスケールアウト部によるスケールアウト処理を示すフローチャートである。

【図15】本実施形態に係わるサーバのスケールイン（減設）の概要を示す説明図である。

【図16】本実施形態に係わるコレクタが故障したときに、スケールイン（減設）によりフェイルオーバ対応する処理を示す説明図である。

【図17】本実施形態に係わる図１６に続き、フェイルオーバ対応する処理を示す説明図である。

【図18】本実施形態に係わるスケールイン部によるスケールイン処理を示すフローチャートである。

【図19】計測管理システムの構成図である。

【図20】計測対象ネットワークが大規模化したときの構成図である。

【発明を実施するための形態】

【0022】

以下、本発明の一実施形態について、図面を参照して詳細に説明する。

【0023】

図１は、計測管理システムの構成図である。計測管理システムは、コントローラ（ネットワーク管理装置）１と、そのコントローラ１が管理するネットワークシステムとで構成される。管理対象となるネットワークシステムは、データベース２とコレクタ３とを備えるサーバ４と、ネットワーク機器であるデバイス５とで構成される。以下、個々のデバイス５には、「Ｄ１」などのデバイスＩＤが割り当てられているものとする。
図１のデータベース２と、コレクタ３と、サーバ４と、デバイス５とは、それぞれ、図１９のデータベース９２と、コレクタ９３と、サーバ９４と、デバイスＤと同じ機能を有する。また、データベース２と、コレクタ３と、サーバ４と、デバイス５とに対して、それぞれ、データベースＩＤと、コレクタＩＤと、サーバＩＤと、デバイスＩＤとが識別子として割り当てられる。

【0024】

コントローラ１は、ＣＰＵ（Central Processing Unit）と、メモリと、ハードディスク、不揮発メモリ、ＳＳＤ（solid state drive）などで例示される記憶手段（記憶部）と、ネットワークインタフェースとを有するコンピュータとして構成される。
このコンピュータは、ＣＰＵが、メモリ上に読み込んだプログラム（アプリケーションや、その略のアプリとも呼ばれる）を実行することにより、各処理部により構成される制御部（制御手段）を動作させる。

【0025】

コントローラ１は、計測情報入出力部１１と、要求入出力部（要求入力部）１２と、計測情報処理部１３と、計測管理データベース１４と、計測制御部１５と、装置設定部１６と、コンフィグ管理部１７とを有する。
計測情報入出力部１１は、サーバ４から計測情報の入力を受け、その計測情報を計測情報処理部１３に通知する。また、計測情報入出力部１１は、計測制御部１５からの指示に従い、サーバ４に対して計測情報の転送先を指定する信号を出力する。
要求入出力部１２は、保守者からの要求を受け、その要求を要求コンフィグとしてコンフィグ管理部１７に書き出す。

【0026】

図２は、コンフィグ管理部１７が管理する要求コンフィグの一例を示すテーブルである。
要求コンフィグは、要求条件式と要求アクションとの組み合わせが、１組以上優先順序づけられた設定情報である。
要求条件式は、要求パラメータの計測結果が予め設定された閾値を超えたか否かを判定する式である。または、要求条件式として、要求パラメータ以外の追加パラメータも含めた任意のロジックを定義してもよい。
要求パラメータは、保守者が監視対象として重視するパラメータである。なお、要求パラメータの種別だけでなく、その要求パラメータごとの監視周期を指定してもよい。要求アクションは、要求条件式を満たしたとき（閾値を超えたと判定されたとき）に、実行される計測制御部１５のアクション（処理）である。

【0027】

例えば、図２のコンフィグ管理部１７では、平準化、スケールアウト、スケールインの順に、３つの要求アクションがそれぞれの要求条件式に対応付けて登録されている。以下の（１）〜（３）の順に、各要求アクションが起動する。
（１）要求条件式「要求パラメータＡ＞第１閾値」を満たしたときに、平準化の要求アクションが起動する。
（２）要求条件式「平準化の要求アクションが失敗」を満たしたときに、スケールアウトの要求アクションが起動する。
（３）要求条件式「要求パラメータＡ＜第２閾値」を満たしたときに、スケールインの要求アクションが起動する。

【0028】

図１に戻り、本実施形態では、要求アクションを実行する処理部の一例として、平準化部１５ａと、スケールアウト部１５ｂと、スケールイン部１５ｃとをそれぞれ計測制御部１５に備える。
また、要求入出力部１２は、要求条件式を満たしたときに、その要求条件式に対応する要求アクションを保守者に通知し（レコメンドし）、保守者からのレコメンドへの了解を受けたときに、要求アクションを実行してもよい。

【0029】

例えば、コントローラ１とデータベース２との間のＴＡＴ（Turn Around Time）を要求パラメータとして、要求条件式としてＴＡＴが所定閾値以上となるときに、平準化部１５ａを呼び出す要求コンフィグを用いることで、コントローラ１は、欠落なくネットワーク情報が得られる。
または、サーバ４の使用リソース量を要求パラメータとして、要求条件式として使用リソース量が所定閾値以上となるときにスケールアウト部１５ｂを呼び出す一方で、使用リソース量が所定閾値以下となるときにスケールイン部１５ｃを呼び出す要求コンフィグを用いることで、必要最低限のリソースで情報収集が可能となる。

【0030】

計測情報処理部１３は、計測情報入出力部１１を介して、サーバ４から受信した計測情報を加工して、その加工結果を計測管理データベース１４に書き出す。加工処理は、例えば、計測情報のフォーマット統一化処理や、計測情報（デバイス５のIFカウンタ情報など）から要求パラメータ（トラヒック量など）の計算処理である。
計測管理データベース１４は、管理対象となるネットワークシステムのトポロジ情報（デバイス５とサーバ４との接続関係）に加え、ネットワークシステムの各装置についての要求パラメータの計測結果を「属性」として保持する。そのため、要求入出力部１２は、保守者から入力されたトポロジ情報を、計測管理データベース１４に登録しておく。

【0031】

計測制御部１５は、計測管理データベース１４に登録された各装置について、コンフィグ管理部１７から読み出した要求パラメータを監視する。そして、監視結果の要求パラメータが要求条件式を満たしたとき、計測制御部１５は、対応する要求アクションの種別に応じた処理部（平準化部１５ａと、スケールアウト部１５ｂと、スケールイン部１５ｃ）を呼び出す。この呼び出しにより、装置設定部１６は、CLI（Command Line Interface）やNetconfなどの各種設定ツールを介して、デバイス５やサーバ４にネットワーク制御を実行することで、要求パラメータの改善を試みる。
なお、この３種類の処理部は、計測制御部１５から呼び出すだけでなく、個々を独立に要求入出力部１２を介して保守者から直接操作可能としてもよい。これにより、監視プロセス外からのリソース制御を可能とする。

【0032】

図３は、計測管理システムの管理対象となるネットワークシステムの構成図である。
１台のコントローラ１が管理するネットワークシステムは、３台のデータベース２（２ａ〜２ｃ）と、４台のコレクタ３（３ａ〜３ｄ）とを備える３台のサーバ４（４ａ〜４ｃ）が、１０台のデバイス５（Ｄ１〜Ｄ１０）からそれぞれ計測情報を収集する。
コントローラ１と３台のデータベース２（２ａ〜２ｃ）それぞれとの間のＴＡＴは、図３に示したとおりである。

【0033】

図４は、図３のネットワークシステムを対象とした計測管理データベース１４の構成図である。
計測管理データベース１４には、図３のネットワークシステムのトポロジ情報が、レコード内の対応付けとして記載されている。例えば、データベース２ａと、コレクタ３ａと、デバイス５（Ｄ１，Ｄ２）とを収容するサーバ４ａの情報が、計測管理データベース１４の第１行に登録されている。なお、装置ごとの識別子として、ＩＤと併せて、装置のアドレス情報（A:Address）と、装置のポート番号（P:Port）とを「:」で区切った列を、「A:P」として計測管理データベース１４に設けている。
さらに、計測管理データベース１４には、データベース２ごとの属性と、コレクタ３ごとの属性と、デバイス５ごとの属性も要求パラメータとして格納される。

【0034】

図５は、コントローラ１の初期設定処理を示すフローチャートである。
Ｓ１０１として、要求入出力部１２は、要求パラメータと、要求条件式と、要求アクションとを対応付けた要求コンフィグの入力を受け付け、その要求コンフィグをコンフィグ管理部１７に登録する。
Ｓ１０２として、計測情報入出力部１１は、コンフィグ管理部１７から要求コンフィグを読み込み、要求コンフィグの順序に従って１つずつ選択するループを開始する。
Ｓ１０３として、計測情報入出力部１１は、データベース２にＳＱＬなどを用いて問い合わせることで、ループで選択中の要求コンフィグの要求パラメータに関する情報を取得する。
Ｓ１０４として、計測情報処理部１３は、Ｓ１０３で取得した情報からフォーマット統一化処理などにより計測情報を生成する。
Ｓ１０５として、計測情報処理部１３は、Ｓ１０４で生成した計測情報を、計測管理データベース１４の属性として格納する。
Ｓ１０６として、計測情報入出力部１１は、Ｓ１０２からの要求コンフィグのループを終了する。

【0035】

図６は、コントローラ１によるネットワークシステムの監視処理を示すフローチャートである。
Ｓ１１１として、要求入出力部１２は、Ｓ１０１で入力された要求コンフィグをコンフィグ管理部１７から読み込む。
Ｓ１１２として、計測制御部１５は、Ｓ１１１で読み込んだ要求コンフィグについて、所定の監視周期にて監視プロセスを動作させるループを開始する。
Ｓ１１３として、計測制御部１５は、ループ中の要求コンフィグの要求パラメータ（Ｓ１０５で格納された計測管理データベース１４の属性）が要求コンフィグの要求条件式を満たすか否かを判定する。Ｓ１１３でＹｅｓならＳ１１４に進み、ＮｏならＳ１１５に進む。
Ｓ１１４として、計測制御部１５は、要求条件式を満たした要求コンフィグについて、対応する要求アクションを実行する。
Ｓ１１５として、計測制御部１５は、Ｓ１１２からの要求コンフィグのループを終了する。

【0036】

以下、図７〜図１０を参照して、平準化部１５ａの詳細を説明する。
図７は、サーバ４間の平準化の概要を示す説明図である。
平準化の前では、２台のコレクタ３が存在するにもかかわらず、コレクタ３ａだけに２台のデバイス５（Ｄ１，Ｄ２）が収容されており、負荷が偏っている。
そして、平準化部１５ａによる宛先変更指示を契機に、デバイス５（Ｄ２）の収容先をコレクタ３ａからコレクタ３ｂに変更する。これにより、２台のコレクタ３それぞれに１台ずつのデバイス５が収容される状態となり、負荷が平準化された。このように、装置割当の平準化は特に、ＴＡＴの平準化やトラヒック量の平準化に寄与する。

【0037】

図８は、デバイス５とコレクタ３との間の応答時間（Time）を、平準化により改善する処理を示す説明図である。
図９は、図８の平準化による改善効果を示す計測管理データベース１４の構成図である。
まず、コンフィグ管理部１７には、要求条件式「Time≧３」→要求アクション「平準化」という要求コンフィグが登録されているとする。

【0038】

第１段階（図９では、計測管理データベース１４ａ１）では、４台のデバイス５（Ｄ１〜Ｄ４）とコレクタ３との間の応答時間が、順に、2,5,1,2となっており、要求条件式の閾値＝3を超過するデバイス５（Ｄ２）が存在する。Timeの計測方法は、例えば、デバイス５とコレクタ３との間でpingを実行する方法がある。

【0039】

第２段階（図９では、計測管理データベース１４ａ２）では、デバイス５（Ｄ２）の収容先がコレクタ３ｂからコレクタ３ａに変更されたことで、デバイス５（Ｄ２）のTimeが2に改善した。なお、「Timeが最低となるようなサーバ４を選択」という平準化ポリシが平準化部１５ａに設定されていることで、コレクタ３ａを含むサーバ４ａが平準化ポリシに適合する平準化先サーバとして選択された。これにより、全てのデバイス５が要求条件式「Time≧３」に抵触しない平準化された安定状態となる。

【0040】

図１０は、平準化部１５ａによる平準化処理を示すフローチャートである。
Ｓ２０１として、平準化部１５ａは、要求条件式を満たした（閾値を超過した）サーバＩＤのリストを抽出する。
Ｓ２０２として、平準化部１５ａは、Ｓ２０１のリストに含まれるサーバＩＤの平準化元サーバを順に選択するループを開始する。
Ｓ２０３として、平準化部１５ａは、平準化元サーバに対する平準化先サーバの候補を抽出する。候補選定アルゴリズムは、例えば、装置ＩＤ順などである。
Ｓ２０４として、平準化部１５ａは、Ｓ２０３の候補から所定の基準により、平準化先サーバを選択する。所定の基準とは、例えば、要求パラメータが要求条件式の閾値から最も遠いサーバなどである。
Ｓ２０５として、平準化部１５ａは、平準化元サーバから平準化先サーバにデバイス５の収容先を変更（再割り当て）する。

【0041】

Ｓ２０６として、平準化部１５ａは、平準化先サーバの要求パラメータを計測する。
Ｓ２０７として、平準化部１５ａは、Ｓ２０６の計測結果が要求条件式の閾値を超過しているか否かを判定する。Ｓ２０７でＹｅｓならＳ２０８に進み、ＮｏならＳ２０９に進む。
Ｓ２０８として、平準化部１５ａは、平準化先サーバなしと判断し、異常終了する。
Ｓ２０９として、平準化部１５ａは、平準化元サーバの要求パラメータを計測する。
Ｓ２１０として、平準化部１５ａは、Ｓ２０９の計測結果が要求条件式の閾値を超過しているか否かを判定する。つまり、平準化元サーバの要求パラメータが改善されているか否かがＳ２０７で判定される。Ｓ２１０でＹｅｓならＳ２０４に戻り、ＮｏならＳ２１１のループを抜けて、正常に終了する。
Ｓ２１１として、平準化部１５ａは、Ｓ２０２からの平準化元サーバのループを終了する。
なお、平準化部１５ａは、要求パラメータの計測処理（Ｓ２０６，Ｓ２０９）だけでなく、要求条件式の判断に必要な追加の情報計測も適宜行ってもよい。

【0042】

以下、図１１〜図１４を参照して、スケールアウト部１５ｂの詳細を説明する。
図１１は、サーバ４のスケールアウト（増設）の概要を示す説明図である。
コントローラ１は要求パラメータが要求条件式を満たすときに、データベース２ｂ、コレクタ３ｂ、または、サーバ４ｂの増設を保守者に通知（レコメンド）する。保守者からの指示（レコメンドに同意）を受けたコントローラ１は、スケールアウト部１５ｂを呼び出すことで、既存のサーバ４ａに対して新たに増設されたサーバ４ｂを活用する。
例えば、２台のデバイス５（Ｄ１，Ｄ２）を収容するサーバ４ａの負荷が高くなってしまった場合、コントローラ１は、新たにスケールアウトされたサーバ４ｂに１台のデバイス５（Ｄ２）を再割当（平準化）することで、負荷分散する。このように、スケールアウト部１５ｂは、どのサーバ４にも平準化できないほどサーバ４のリソースが枯渇しているときなどに呼び出される。

【0043】

図１２は、データベース２ａとコントローラ１との間のＴＡＴを、スケールアウトにより改善する処理を示す説明図である。
なお、ＴＡＴの計測処理はデータベース２ａへＳＱＬのクエリを投入する際に、オプション指定などで起動される。そのＴＡＴの計測結果は計測情報処理部１３を介して、計測管理データベース１４へ格納される。
まず、コンフィグ管理部１７には、以下の要求コンフィグが登録されているとする。
（第１優先順序）＝要求条件式「ＴＡＴ≧0.8」→要求アクション「平準化」
（第２優先順序）＝要求条件式「平準化結果=false」→要求アクション「スケールアウト」
つまり、ＴＡＴが0.8以上のデータベース２ａを対象に平準化を行い、その平準化が失敗したときには、スケールアウトを行うという２段階の要求コンフィグがコンフィグ管理部１７に登録される。要求パラメータ＝ＴＡＴであり、このＴＡＴの計測結果が計測管理データベース１４に属性として登録される。

【0044】

まず、（第１優先順序）により、ＴＡＴが１であるデータベース２ａが平準化元サーバとして選択されるが、その平準化先サーバが存在しない（図１０のＳ２０８）場合を想定する。このとき、（第２優先順序）により、スケールアウト部１５ｂが呼び出される。スケールアウト部１５ｂは、新たに増設されたサーバ４ｂ（データベース２ｂ、コレクタ３ｂ）を認識する。
そして、平準化部１５ａは、再度の（第１優先順序）により、ＴＡＴ≧0.8であったコレクタ３ａが収容していたデバイス５（Ｄ１）をコレクタ３ｂに変更することで、データベース２ａの負荷を緩和する。これにより、データベース２ａのＴＡＴが閾値未満（0.7）に改善し、かつ、データベース２ｂのＴＡＴも閾値未満（0.3）となる。

【0045】

図１３は、図１２のスケールアウトによる改善効果を示す計測管理データベース１４の構成図である。
第１段階（計測管理データベース１４ｂ１）では、図５の初期設定処理を終え、図６の監視処理を開始した状態である。計測制御部１５は、要求条件式を満たす（閾値0.8を超過する）データベース２（ＩＤ＝１）を発見する（Ｓ１１３，Ｙｅｓ）が、その平準化先サーバが存在しない。
第２段階（計測管理データベース１４ｂ２）では、スケールアウト部１５ｂがデータベース２（ＩＤ＝２）の増設を検知した状態である。増設直後ではＴＡＴは未測定のため、ＴＡＴの属性値には「null（未測定）」が格納される。
第３段階（計測管理データベース１４ｂ３）では、平準化部１５ａがデバイス５（ＩＤ＝Ｄ１）の再割当を行った状態である。
第４段階（計測管理データベース１４ｂ４）では、計測情報処理部１３が２台のデータベース２からそれぞれＴＡＴの再計測結果を受信し、計測管理データベース１４の属性を更新した状態である。これにより、データベース２ａのＴＡＴが閾値未満（0.7）に改善し、かつ、データベース２ｂのＴＡＴも閾値未満（0.3）となる。

【0046】

図１４は、スケールアウト部１５ｂによるスケールアウト処理を示すフローチャートである。
Ｓ３０１として、スケールアウト部１５ｂが保守者から手動で起動されたか否かを判定する。Ｓ１１４で計測制御部１５が要求アクションからスケールアウト部１５ｂを起動した場合には、Ｓ３０１でＮｏとなる。Ｓ３０１でＹｅｓならＳ３０３に進み、ＮｏならＳ３０２に進む。
Ｓ３０２として、要求入出力部１２は、要求コンフィグに従い、サーバ４の増設をレコメンドする旨を保守者に通知する。
Ｓ３０３として、要求入出力部１２は、保守者からサーバ４の増設完了が入力されたか否かを判定する。Ｓ３０３でＹｅｓならＳ３０４に進み、ＮｏならＳ３０３を繰り返す。
Ｓ３０４として、スケールアウト部１５ｂは、Ｓ３０３で入力された新規のサーバ４に関する情報（トポロジ情報、計測情報など）を、計測管理データベース１４に書き出す。これにより、計測制御部１５は、要求コンフィグに従った要求パラメータの監視処理を再開する。

【0047】

以下、図１５〜図１８を参照して、スケールイン部１５ｃの詳細を説明する。
図１５は、サーバ４のスケールイン（減設）の概要を示す説明図である。スケールイン部１５ｃは、２台のサーバ４がともに１台のデバイス５しか収容しておらず、負荷に余裕があることをもとに、１台のサーバ４を減設する旨のレコメンドを保守者に通知する。
スケールイン部１５ｃは、保守者からの指示（レコメンドへの同意）を得て、サーバ４ｂを縮退させ、サーバ４ａに統合する旨のスケールインを実行する。そのため、まず、サーバ４ｂが収容するデバイス５（Ｄ２）をサーバ４ａに変更する（宛先変更指示）。そして、サーバ４ｂが収容するデバイス５がなくなった時点で、計測制御部１５は、サーバ４ｂに関する情報を計測管理データベース１４から削除する。さらに、保守者は、サーバ４ｂを減設する。
これにより、１台のサーバ４ａが２台のデバイス５（Ｄ１，Ｄ２）を収容することで、サーバ４の余剰リソースを削除した効率的な構成に遷移することができる。

【0048】

図１６は、コレクタ３が故障したときに、スケールイン（減設）によりフェイルオーバ対応する処理を示す説明図である。
第１段階として、コレクタ３ａに故障が発生したとする。このとき、コレクタ３ａは４台のデバイス５（Ｄ１〜Ｄ４）を収容し、コレクタ３ｂは４台のデバイス５（Ｄ５〜Ｄ８）を収容していた。
第２段階として、スケールイン部１５ｃは、要求入出力部１２を介して得た保守者からの手動指示に従い、コレクタ３ａとデータベース２ａとを計測管理データベース１４から削除する。これにより、４台のデバイス５（Ｄ１〜Ｄ４）は、収容先が一時的になくなることで、平準化部１５ａを起動する。

【0049】

図１７は、図１６に続き、フェイルオーバ対応する処理を示す説明図である。
第３段階として、平準化部１５ａは、４台のデバイス５（Ｄ１〜Ｄ４）の新たな収容先（平準化先サーバ）を検索する。ここで、例えばサーバ４が収容するデバイス５の数を平準化するポリシに従い、サーバ４ｂが平準化先サーバとして選択される。サーバ４ｂには８台のデバイス５（Ｄ１〜Ｄ８）が収容され、それぞれ稼働を再開した。
第４段階として、保守者は、手動にてサーバ４ａを撤去する。

【0050】

図１８は、スケールイン部１５ｃによるスケールイン処理を示すフローチャートである。
Ｓ４０１として、スケールイン部１５ｃが保守者から手動で起動されたか否かを判定する。Ｓ１１４で計測制御部１５が要求アクションからスケールイン部１５ｃを起動した場合には、Ｓ４０１でＮｏとなる。Ｓ４０１でＹｅｓならＳ４０３に進み、ＮｏならＳ４０２に進む。
Ｓ４０２として、要求入出力部１２は、要求コンフィグに従い、サーバ４の減設をレコメンドする旨を保守者に通知する。
Ｓ４０３として、要求入出力部１２は、保守者からサーバ４の減設要求が入力されたか否かを判定する。なお、減設要求には、減設対象のサーバＩＤ（平準化元サーバ）に加えて、新たな収容先（平準化先サーバ）を選択するときのポリシも併せて含まれている。Ｓ４０３でＹｅｓならＳ４０４に進み、ＮｏならＳ４０３を繰り返す。
Ｓ４０４として、平準化部１５ａは、Ｓ４０３で入力されたポリシに従って、装置割当を平準化する（図１０を呼び出す）。
Ｓ４０５として、スケールイン部１５ｃは、Ｓ４０３で入力された減設要求に関する情報（平準化元サーバ→平準化先サーバへのトポロジ情報の変更や、平準化元サーバの削除など）を、計測管理データベース１４に書き出す。

【0051】

以上説明した本実施形態では、コントローラ１によるネットワーク計測管理技術を説明した。コントローラ１は、コンフィグ管理部１７にて保守者から入力された要求コンフィグを管理し、要求コンフィグに記載の要求パラメータを監視した結果を計測管理データベース１４の属性として書き出すことで、各種リソース（データベース２、コレクタ３、デバイス５）を管理する。
そして、計測管理データベース１４の属性が要求条件式を満たしたときに、要求アクションを起動させる。要求アクションとして、平準化部１５ａ、スケールアウト部１５ｂ、および、スケールイン部１５ｃをそれぞれ実行させることで、要求パラメータの改善を可能とする。この要求パラメータは、保守者から要求入出力部１２を介して適宜設定できるので、各保守者が重視する要求パラメータに対して柔軟に対応できる。

【0052】

なお、本実施形態においては、コントローラ１が管理するネットワークシステムとして、図３に示すような３台のデータベース２と、４台のコレクタ３と、１０台のデバイス５とに限定されず、任意の台数のリソースを扱ってもよい。
また、本実施形態においては、一般的なコンピュータのハードウェア資源を、コントローラ１の各手段として動作させるプログラムによって実現することができる。そして、このプログラムは、通信回線を介して配布したり、ＣＤ−ＲＯＭ等の記録媒体に記録して配布したりすることも可能である。

【符号の説明】

【0053】

１ コントローラ（ネットワーク管理装置）
２ データベース
３ コレクタ
４ サーバ
５ デバイス
１１ 計測情報入出力部
１２ 要求入出力部（要求入力部）
１３ 計測情報処理部
１４ 計測管理データベース
１５ 計測制御部
１５ａ 平準化部
１５ｂ スケールアウト部
１５ｃ スケールイン部
１６ 装置設定部
１７ コンフィグ管理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】