特許 6875702 ネットワーク評価方法、ネットワーク評価装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6875702

(24)【登録日】2021年4月27日

(45)【発行日】2021年5月26日

(54)【発明の名称】ネットワーク評価方法、ネットワーク評価装置及びプログラム

(51)【国際特許分類】

   G06F 11/07 20060101AFI20210517BHJP

   G06F 11/34 20060101ALI20210517BHJP

   G06F 11/30 20060101ALI20210517BHJP

【ＦＩ】

   G06F11/07 151

   G06F11/34 176

   G06F11/30 140A

   G06F11/07 140A

   G06F11/34 147

【請求項の数】5

【全頁数】14

(21)【出願番号】特願2017-180126(P2017-180126)

(22)【出願日】2017年9月20日

(65)【公開番号】特開2019-57028(P2019-57028A)

(43)【公開日】2019年4月11日

【審査請求日】2019年12月10日

(73)【特許権者】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(73)【特許権者】

【識別番号】504202472

【氏名又は名称】大学共同利用機関法人情報・システム研究機構

(74)【代理人】

【識別番号】100119677

【弁理士】

【氏名又は名称】岡田 賢治

(74)【代理人】

【識別番号】100115794

【弁理士】

【氏名又は名称】今下 勝博

(72)【発明者】

【氏名】川幡 太一

(72)【発明者】

【氏名】坂井田 規夫

(72)【発明者】

【氏名】谷口 篤

(72)【発明者】

【氏名】南 勇貴

(72)【発明者】

【氏名】栗本 崇

(72)【発明者】

【氏名】漆谷 重雄

(72)【発明者】

【氏名】山田 博司

【審査官】 渡部 博樹

(56)【参考文献】

【文献】 特開２０１７−０５０７１５（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１５／０２０５６９０（ＵＳ，Ａ１）

【文献】 MIYAZAWA Masanori, HAYASHI Michiaki, STADLER Rolf，"vNMF: Distributed Fault Detection using Clustering Approach for Network Function Virtualization"，2015 IFIP/IEEE International Symposium on Integrated Network Management，P.640-645

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ １１／０７

Ｇ０６Ｆ １１／３０

Ｇ０６Ｆ １１／３４

(57)【特許請求の範囲】

【請求項1】

オペレーティングシステム（ＯＳ）のカーネル空間において、
ネットワークのサービスを構成するネットワーク機能毎に、所定の計測間隔Ｔ_０で各ネットワーク資源ｉを計測した計測値を、前記ネットワーク資源ｉ毎に計測開始時刻から現在時刻までの計測カウンタ量ｔと時間を計測間隔Ｔ_０で規格化した周期Ｔ（Ｔ＝｛Ｔ_１，Ｔ_２，・・・，Ｔ_ｕ，・・・，Ｔ_ν｝、Ｔ_ｕはＴ_ｕ−１で割り切れる値、νは任意の自然数、ｕは１以上ν以下の自然数）に応じたメモリ位置に格納する計測蓄積手順と、
ｕ＝１の場合に、前記計測蓄積手順でそれぞれのメモリ位置に格納した前記計測値を取り出し、予め設定されたネットワーク資源ｉの性質ｊを算出する関数ｆ_ｉ^ｊを使って抽出資源量Ｒ_ｉ^ｊを計算し、ネットワーク資源ｉ、性質ｊ、計測カウンタ量ｔ、周期Ｔ_１および周期Ｔ_２に応じたメモリ位置に格納する第１段階圧縮ステップ、及び
ｕ＞１の場合に、第ｕ−１段階圧縮手順でそれぞれのメモリ位置に格納した前記抽出資源量Ｒ_ｉ^ｊを取り出し、予め設定されたネットワーク資源ｉの性質ｊの抽出資源量Ｒ_ｉ^ｊを束ねる関数Ｆ_ｉ^ｊを使って計算した値をネットワーク資源ｉ、性質ｊ、計測カウンタ量ｔ、周期Ｔ_ｕおよび周期Ｔ_ｕ＋１に応じたメモリ位置に格納する第ｕ段階圧縮ステップ、
を有し、ｕ＞１の場合にｕ＝νまで前記第ｕ段階圧縮ステップを繰り返すデータ形成手順と、
前記データ形成手順で各メモリ位置に格納した周期Ｔ_ｕにおける値からクラスタリング学習し、クラスタ座標を計算する座標作成手順と、
前記座標作成手順で計算したクラスタ座標とネットワーク機能の性能指標ｐとの比較を行う機能評価手順と、
を行うことを特徴とするネットワーク評価方法。

【請求項2】

全ての前記ネットワーク機能についての前記座標作成手順で計算した前記クラスタ座標を収集して多次元ベクトルを作成し、前記多次元ベクトルからクラスタリング学習し、サービス指標ｑとの比較を行うサービス評価手順をさらに行うことを特徴とする請求項１に記載のネットワーク評価方法。

【請求項3】

オペレーティングシステム（ＯＳ）のカーネル空間に、
ネットワークのサービスを構成するネットワーク機能毎に、所定の計測間隔Ｔ_０で各ネットワーク資源ｉを計測した計測値を、前記ネットワーク資源ｉ毎に計測開始時刻から現在時刻までの計測カウンタ量ｔと時間を計測間隔Ｔ_０で規格化した周期Ｔ（Ｔ＝｛Ｔ_１，Ｔ_２，・・・，Ｔ_ｕ，・・・，Ｔ_ν｝、Ｔ_ｕはＴ_ｕ−１で割り切れる値、νは任意の自然数、ｕは１以上ν以下の自然数）に応じたメモリ位置に格納する計測蓄積手段と、
ｕ＝１の場合に、前記計測蓄積手段がそれぞれのメモリ位置に格納した前記計測値を取り出し、予め設定されたネットワーク資源ｉの性質ｊを算出する関数ｆ_ｉ^ｊを使って抽出資源量Ｒ_ｉ^ｊを計算し、ネットワーク資源ｉ、性質ｊ、計測カウンタ量ｔ、周期Ｔ_１および周期Ｔ_２に応じたメモリ位置に格納する第１段階圧縮機能、及び
ｕ＞１の場合に、第ｕ−１段階圧縮機能がそれぞれのメモリ位置に格納した前記抽出資源量Ｒ_ｉ^ｊを取り出し、予め設定されたネットワーク資源ｉの性質ｊの抽出資源量Ｒ_ｉ^ｊを束ねる関数Ｆ_ｉ^ｊを使って計算した値をネットワーク資源ｉ、性質ｊ、計測カウンタ量ｔ、周期Ｔ_ｕおよび周期Ｔ_ｕ＋１に応じたメモリ位置に格納する圧縮を行う第ｕ段階圧縮機能、
を有し、ｕ＞１の場合に前記第ｕ段階圧縮機能がｕ＝νまで前記圧縮を繰り返すデータ形成手段と、
前記データ形成手段が各メモリ位置に格納した周期Ｔ_ｕにおける値からクラスタリング学習し、クラスタ座標を計算する座標作成手段と、
前記座標作成手段が計算したクラスタ座標とネットワーク機能の性能指標ｐとの比較を行う機能評価手段と、
を形成する制御部を備えるネットワーク評価装置。

【請求項4】

全ての前記ネットワーク機能についての前記座標作成手段が計算した前記クラスタ座標を収集して多次元ベクトルを作成する計測値収集手段と、
前記計測値収集手段が作成した前記多次元ベクトルからクラスタリング学習する学習手段と、
前記学習手段がクラスタリング学習した結果とサービス指標ｑとの比較を行うサービス評価手段と、
をさらに備えることを特徴とするネットワーク評価装置。

【請求項5】

請求項１又は２に記載のネットワーク評価方法をコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、ネットワークサービスの異常を検知するためのクラスタリング学習に関する。

【背景技術】

【0002】

近年、ネットワークサービスは、ＰａａＳ（Ｐｌａｔｆｏｒｍ ａｓ ａ Ｓｅｒｖｉｃｅ）・ＳａａＳ（Ｓｏｆｔｗａｒｅ ａｓ ａ Ｓｅｒｖｉｃｅ）等の発展を受け、様々なブラックボックス型のネットワーク機能を組み合わせて構成するようになってきている。そして、物理資源や仮想資源の組み合わせが複雑化し、異常発生時の原因究明が困難化し、異常の予兆検出がより重要になってきている。例えば、サービスの通信量や資源利用量の「バースト性」がサービスの異常検知の重要な要素である。

【0003】

オペレーティングシステム（ＯＳ）は、従来より細かい時間間隔、より少ない資源で、その上で動作する機能の資源利用量や性能をより自由な方法で計測が可能になり始めている。例えば、Ｌｉｎｕｘ（登録商標）では、従来はｐｅｒｆやｓｔｒａｃｅのような、固定的な性能測定しかできない機能しか無かった。しかし近年ではＢｅｒｋｅｌｅｙ Ｐａｃｋｅｔ Ｆｉｌｔｅｒ（ＢＰＦ）が性能の測定機能として注目されている。Ｂｅｒｋｅｌｅｙ Ｐａｃｋｅｔ Ｆｉｌｔｅｒは、当初、ｌｉｎｕｘ（登録商標）カーネル内において、自律的にパケットの内容を判断して破棄する機構であったが、近年、大幅に拡張され、カーネル内において様々な性能データを高い自由度で取得・計算できる機構として再整備された技術である。

【0004】

それとともに、サービスや機能の異常を学習、およびそれに基づく予測を迅速に行うための「クラスタリング学習による情報抽出」技術も発展してきている。クラスタリング学習は、機械学習技術の中でも、特に「短期・教師無し（半教師あり）」に好適な学習方法である。例えば、非特許文献１に記載されるクラスタリング学習は、サービスを構成するネットワーク機能の計測情報に対し、ＳＯＭ（自己組織化マップ）によるクラスタリング学習・情報抽出が異常検知に対して有用なことを示している。

【先行技術文献】

【非特許文献】

【0005】

【非特許文献1】Ｍ． Ｍｉｙａｚａｗａ， Ｍ． Ｈａｙａｓｈｉ， Ｒ． Ｓｔａｄｌｅｒ， “ｖＮＭＦ： Ｄｉｓｔｒｉｂｕｔｅｄ Ｆａｕｌｔ Ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ Ｃｌｕｓｔｅｒｉｎｇ Ａｐｐｒｏａｃｈ ｆｏｒ Ｎｅｔｗｏｒｋ Ｆｕｎｃｔｉｏｎ Ｖｉｒｔｕａｌｉｚａｔｉｏｎ”， ２０１５ ＩＦＩＰ／ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｉｎｔｅｇｒａｔｅｄ Ｎｅｔｗｏｒｋ Ｍａｎａｇｅｍｅｎｔ， ｐｐ． ６４０−６４５， ２０１５．

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかし、サービスの異常は、ハードウェア、ソフトウェア、ネットワーク、利用者及びそれらの複合などの様々な要因で起こる可能性があり、全てをサービス開始時から想定するのは困難である。さらに、サービスを構成する各ソフトウェアはプロプライエタリなものが主流になり、内部テストが困難なため外部からの計測でしか異常の検出できなくなってきている。

【0007】

サービスの異常を予知する外部計測データとして、上述した「バースト性（マイクロバースト）」が注目されているが、このバースト性を検知しようとすると細かい時間粒度の計測が必要となる。ところが、ネットワークの様々な資源量やその特徴量（バーストなど）を細かい時間粒度で計測しようとすると、膨大なデータを記憶空間に保存する必要があり、メモリが圧迫されるという課題がある。また、細粒度で計測データを加工するには通常、ＯＳのカーネル空間とユーザ空間との切替が頻繁に発生してＣＰＵコストがかかってしまい、サービス自体の資源（ＣＰＵやメモリ）を圧迫するという課題もある。

【0008】

そこで、本発明は、前記課題を解決するために、ネットワーク機能の短期的から長期的な特徴量をメモリを膨大に消費せずに抽出でき、ＯＳのカーネル空間とユーザ空間との切替を極力少なくしつつネットワークの長期的な特徴量を学習できるネットワーク評価方法、ネットワーク評価装置及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0009】

上記目的を達成するために、本発明に係るネットワーク評価方法及び装置は、資源量の計測データの特徴量に対してＯＳのカーネル空間で長周期に圧縮しクラスタリング学習を行い、その学習結果に対してさらに長周期に圧縮しクラスタリング学習を行い、以降、同様の処理を所定回数、繰り返し実行することとした。

【0010】

具体的には、本発明に係るネットワーク評価方法は、 オペレーティングシステム（ＯＳ）のカーネル空間において、
ネットワークのサービスを構成するネットワーク機能毎に、所定の計測間隔Ｔ_０で各ネットワーク資源ｉを計測した計測値を、前記ネットワーク資源ｉ毎に計測開始時刻から現在時刻までの計測カウンタ量ｔと時間を計測間隔Ｔ_０で規格化した周期Ｔ（Ｔ＝｛Ｔ_１，Ｔ_２，・・・，Ｔ_ｕ，・・・，Ｔ_ν｝、Ｔ_ｕはＴ_ｕ−１で割り切れる値、νは任意の自然数、ｕは１以上ν以下の自然数）に応じたメモリ位置に格納する計測蓄積手順と、
前記計測蓄積手順でそれぞれのメモリ位置に格納した前記計測値を取り出し、予め設定されたネットワーク資源ｉの性質ｊを算出する関数ｆ_ｉ^ｊを使って抽出資源量Ｒ_ｉ^ｊを計算し、ネットワーク資源ｉ、性質ｊ、計測カウンタ量ｔ、周期Ｔ_１および周期Ｔ_２に応じたメモリ位置に格納する第１段階圧縮ステップ、及び
ｕ＞１の場合に、第ｕ−１段階圧縮手順でそれぞれのメモリ位置に格納した前記抽出資源量Ｒ_ｉ^ｊを取り出し、予め設定されたネットワーク資源ｉの性質ｊの抽出資源量Ｒ_ｉ^ｊを束ねる関数Ｆ_ｉ^ｊを使って計算した値をネットワーク資源ｉ、性質ｊ、計測カウンタ量ｔ、周期Ｔ_ｕおよび周期Ｔ_ｕ＋１に応じたメモリ位置に格納する第ｕ段階圧縮ステップ、
を有し、ｕ＞１の場合にｕ＝νまで前記第ｕ段階圧縮ステップを繰り返すデータ形成手順と、
前記データ形成手順で各メモリ位置に格納した周期Ｔ_ｕにおける値からクラスタリング学習し、クラスタ座標を計算する座標作成手順と、
前記座標作成手順で計算したクラスタ座標とネットワーク機能の性能指標ｐとの比較を行う機能評価手順と、
を行うことを特徴とする。

【0011】

また、本発明に係るネットワーク評価装置は、 オペレーティングシステム（ＯＳ）のカーネル空間に、
ネットワークのサービスを構成するネットワーク機能毎に、所定の計測間隔Ｔ_０で各ネットワーク資源ｉを計測した計測値を、前記ネットワーク資源ｉ毎に計測開始時刻から現在時刻までの計測カウンタ量ｔと時間を計測間隔Ｔ_０で規格化した周期Ｔ（Ｔ＝｛Ｔ_１，Ｔ_２，・・・，Ｔ_ｕ，・・・，Ｔ_ν｝、Ｔ_ｕはＴ_ｕ−１で割り切れる値、νは任意の自然数、ｕは１以上ν以下の自然数）に応じたメモリ位置に格納する計測蓄積手段と、
前記計測蓄積手段がそれぞれのメモリ位置に格納した前記計測値を取り出し、予め設定されたネットワーク資源ｉの性質ｊを算出する関数ｆ_ｉ^ｊを使って抽出資源量Ｒ_ｉ^ｊを計算し、ネットワーク資源ｉ、性質ｊ、計測カウンタ量ｔ、周期Ｔ_１および周期Ｔ_２に応じたメモリ位置に格納する第１段階圧縮機能、及び
ｕ＞１の場合に、第ｕ−１段階圧縮機能がそれぞれのメモリ位置に格納した前記抽出資源量Ｒ_ｉ^ｊを取り出し、予め設定されたネットワーク資源ｉの性質ｊの抽出資源量Ｒ_ｉ^ｊを束ねる関数Ｆ_ｉ^ｊを使って計算した値をネットワーク資源ｉ、性質ｊ、計測カウンタ量ｔ、周期Ｔ_ｕおよび周期Ｔ_ｕ＋１に応じたメモリ位置に格納する圧縮を行う第ｕ段階圧縮機能、
を有し、ｕ＞１の場合に前記第ｕ段階圧縮機能がｕ＝νまで前記圧縮を繰り返すデータ形成手段と、
前記データ形成手段が各メモリ位置に格納した周期Ｔ_ｕにおける値からクラスタリング学習し、クラスタ座標を計算する座標作成手段と、
前記座標作成手段が計算したクラスタ座標とネットワーク機能の性能指標ｐとの比較を行う機能評価手段と、
を形成する制御部を備える。

【0012】

本発明に係るネットワーク評価方法及び装置は、ネットワークのサービスを構成する各「ネットワーク機能」に対し、その資源（ネットワーク、ＣＰＵ及びメモリ）を外部からオーバーヘッドを少ないままで計測し、計測値を全て蓄積せず、バースト性などの役立つ特徴量のみを様々な周期で蓄積してそれらのみで機械学習している。このため、メモリやＣＰＵに大きな負担を与えることなく、資源利用量のクラスタリング学習と異常検知を行うことができる。

【0013】

従って、本発明は、ネットワーク機能の短期的から長期的な特徴量をメモリを膨大に消費せずに抽出でき、ＯＳのカーネル空間とユーザ空間との切替を極力少なくしつつネットワークの長期的な特徴量を学習できるネットワーク評価方法及び装置を提供することができる。

【0014】

さらに、本発明に係るネットワーク評価方法は、全ての前記ネットワーク機能についての前記座標作成手順で計算した前記クラスタ座標を収集して多次元ベクトルを作成し、前記多次元ベクトルからクラスタリング学習し、サービス指標ｑとの比較を行うサービス評価手順をさらに行うことを特徴とする。

【0015】

また、本発明に係るネットワーク評価装置は、
全ての前記ネットワーク機能についての前記座標作成手段が計算した前記クラスタ座標を収集して多次元ベクトルを作成する計測値収集手段と、
前記計測値収集手段が作成した前記多次元ベクトルからクラスタリング学習する学習手段と、
前記学習手段がクラスタリング学習した結果とサービス指標ｑとの比較を行うサービス評価手段と、
をさらに備えることを特徴とする。

【0016】

本発明に係るネットワーク評価方法及び装置は、サービス全体の異常を予測・検知するためのクラスタリング学習も同様に行うことができる。

【0017】

本発明は、前記ネットワーク評価方法をコンピュータに実行させるためのプログラムである。

【発明の効果】

【0018】

本発明は、ネットワークの長期的な特徴量をメモリを消費せずに抽出でき、ＯＳのカーネル空間とユーザ空間との切替を極力少なくしつつネットワークの長期的な特徴量を学習できるネットワーク評価方法及び装置を提供することができる。

【図面の簡単な説明】

【0019】

【図1】本発明に係るネットワーク評価方法及び装置を説明する図である。

【図2】本発明に係るネットワーク評価方法及び装置を説明する図である。

【発明を実施するための形態】

【0020】

添付の図面を参照して本発明の実施形態を説明する。以下に説明する実施形態は本発明の実施例であり、本発明は、以下の実施形態に制限されるものではない。なお、本明細書及び図面において符号が同じ構成要素は、相互に同一のものを示すものとする。

【0021】

（実施形態１）
図１は、本実施形態のネットワーク評価装置であって、資源から特徴量を算出、様々な周期で蓄積し、資源の特徴量の様々な周期のデータをメモリを無駄に使わずに蓄積し、得られた特徴量を個々の機能を搭載するＯＳでクラスタリング学習及び評価（異常検知）させる手法を説明する図である。

【0022】

本ネットワーク評価装置は、制御部１１を備える。
制御部１１は、オペレーティングシステム（ＯＳ）のカーネル空間１２に、
ネットワークのサービスを構成するネットワーク機能１３毎に、所定の計測間隔Ｔ_０で各ネットワーク資源ｉを計測した計測値を、前記ネットワーク資源ｉ毎に計測開始時刻から現在時刻までの計測カウンタ量ｔと時間を計測間隔Ｔ_０で規格化した周期Ｔ（Ｔ＝｛Ｔ_１，Ｔ_２，・・・，Ｔ_ｕ，・・・，Ｔ_ν｝、Ｔ_ｕはＴ_ｕ−１で割り切れる値、νは任意の自然数、ｕは１以上ν以下の自然数）に応じたメモリ位置に格納する計測蓄積手段２１と、
計測蓄積手段２１がそれぞれのメモリ位置に格納した前記計測値を取り出し、予め設定されたネットワーク資源ｉの性質ｊを算出する関数ｆ_ｉ^ｊを使って抽出資源量Ｒ_ｉ^ｊを計算し、ネットワーク資源ｉ、性質ｊ、計測カウンタ量ｔ、周期Ｔ_１および周期Ｔ_２に応じたメモリ位置に格納する第１段階圧縮機能、及び
ｕ＞１の場合に、第ｕ−１段階圧縮機能がそれぞれのメモリ位置に格納した前記抽出資源量Ｒ_ｉ^ｊを取り出し、予め設定されたネットワーク資源ｉの性質ｊの抽出資源量Ｒ_ｉ^ｊを束ねる関数Ｆ_ｉ^ｊを使って計算した値をネットワーク資源ｉ、性質ｊ、計測カウンタ量ｔ、周期Ｔ_ｕおよび周期Ｔ_ｕ＋１に応じたメモリ位置に格納する圧縮を行う第ｕ段階圧縮機能、
を有し、ｕ＞１の場合に前記第ｕ段階圧縮機能がｕ＝νまで前記圧縮を繰り返すデータ形成手段２２と、
データ形成手段２２が各メモリ位置に格納した周期Ｔ_ｕにおける値からクラスタリング学習し、クラスタ座標を計算する座標作成手段２３と、
座標作成手段２３が計算したクラスタ座標とネットワーク機能の性能指標ｐとの比較を行う機能評価手段２４と、
を形成する。

【0023】

本ネットワーク評価装置は、非特許文献１の技術を一般化し、特に「バースト量」に着目してこれを機械学習可能としたものである。一般に、短期間のバースト量を計測しようとすると、計測時間間隔を極端に短くしなければならない。また、バースト量以外に、最大量、最小量及び平均量（相加、相乗及び調和）なども考慮すると、膨大なメモリが必要になる。これを避けるために、本ネットワーク評価装置は、計測値を一定期間毎に束ねて、次のレベルに送り込むことでメモリの利用量を削減している。例えば、第ｕ段階圧縮機能がより長い周期で繰り返し行うことで、マイクロ秒単位の計測を、秒単位の学習データに変換させることができる。また、本ネットワーク評価装置は、分析をカーネル空間で行うことでＣＰＵ使用量を削減している。

【0024】

本ネットワーク評価装置で使用する変数について説明する。
［計測時刻・時間に関する変数］
計測開始時刻Ｔ_ｓ：中立的な（システムのハイバネーションやスリープ等に影響されない）クロック供給システムにより提供される時刻
現在時刻Ｔ_ｃ：現在の計測時刻
計測時間間隔Ｔ_０：計測は、Ｔ_ｓからＴ_０毎に計測する。次元は時間。
計測時間周期Ｔ：Ｔ＝｛Ｔ_１，Ｔ_２，・・・，Ｔ_ｕ，・・・，Ｔ_ν｝：任意の計測周期Ｔ_ｕ（ｕ∈｛１，・・・，ν｝） は、Ｔ_ｕ−１で割り切れる、絶対時間をＴ_０で規格化した無次元量。
計測カウンタ量ｔ：現在時刻Ｔ_ｃと計測開始時刻Ｔ_ｓの差をＴ_０で割ったもの。

【0025】

例えば、Ｔ_ｓ＝１０：００、Ｔ_ｃ＝１１：００、Ｔ_０＝１００ナノ秒の場合、計測カウンタ量ｔは３６０億と大きな数になる。これだけの粒度でパフォーマンス量を計測及び保存するのは非現実的である。そこで、Ｔ＝｛１６，２５６，４０９６，・・・，１６７７７２１６｝のように長周期に圧縮する。本ネットワーク評価装置は、計測データを長周期に圧縮してもパフォーマンスに影響する値を喪失させず、また異常状態と同時に学習させることでメモリの圧迫を防ぐことができる。

【0026】

［資源量に関する変数］
「ｒ_ｉ」：
資源（メモリ、ネットワーク及びＣＰＵ稼動量など）の種類ｉ（ｉ∈｛１，・・・、ｌ｝）の正規化された資源量

【0027】

「ｒ_ｉ^ｊ」：
資源量ｒ_ｉの性質であり、資源量ｒ_ｉを関数ｆ_ｉ（平均値、最大値、バースト値などを求める関数）に適用した、機械学習の対象となる量である。ここで、ｊ∈｛１，・・・、ｍ｝である。

【0028】

「ｒ_ｉ^ｊ_ｋ」：
ネットワーク機能ｋにおけるｒ_ｉ^ｊの値。ここで、ｋ（ｋ∈｛１，・・・、ｎ｝）は、ネットワークサービスにおける個々のネットワーク機能の管理番号である。なお、ネットワーク機能ｋはプロセス上で動く場合もあれば、コンテナやハイパーバイザのような仮想化機構の上で動作する場合もある。

【0029】

「ｒ_ｉ^ｊ_ｋ（ｔ）」：
計測カウンタ量ｔにおけるｒ_ｉ^ｊ_ｋの値。もしｒ_ｉ^ｊ_ｋ（ｔ）の値が（エラーまたは計測装置そもそもの性能限界のために）取得できない場合は、ｒ_ｉ^ｊ_ｋ（ｔ−１）、ｒ_ｉ^ｊ_ｋ（ｔ−２）、ｒ_ｉ^ｊ_ｋ（ｔ−３）、・・・等の過去の測値から推定又は外挿する。

【0030】

「Ｍ_ｉ^ｊ_ｕ（ｐｏｓ）」：
ｒ_ｉ^ｊ_ｋ（ｔ）を計測カウンタ量ｔおよび計測周期Ｔ_ｕに基づいて算出される適切なメモリ位置ｐｏｓに格納するメモリ。メモリ位置は数１で計算される。

【数1】

なお、計測蓄積手段２１では、計測値をＭ_ｉ^ｊ₀（ｔ−１ ｍｏｄ ｂ_ｉ）に格納する。

【0031】

［特徴量（種類）抽出手段関数］
「関数（数２）」：

【数2】

ネットワーク機能ｋにおける種類ｉの資源の時間ｔ_１〜ｔ_ｂｉの間に計測された資源量（数３）から性質ｊの量（抽出資源量）Ｒ_ｉ^ｊを抽出計算する関数である。

【数3】

【0032】

「関数（数４）」：

【数4】

ネットワーク機能ｋにいて各計測期間Ｔ_ｕ（ｕ∈｛１，・・・，ν｝）で得られた種類ｉの性質ｊの流出資源量（数５）をさらに束ねて抽出（相加平均や最大値検出等）する関数である。

【数5】

【0033】

「計測ウィンドウｂ_ｉ」：
資源種類ｉにおける任意の性質の計測に必要な最小計測カウンタ量

【0034】

［性能指標変数］
「ネットワーク機能の性能指標ｐ^ｋ（ｔ）」：
ネットワーク機能ｋ（ｋ∈｛１，・・・，ｎ｝）の計測カウンタ量ｔにおける性能指標（ネットワーク機能の性能指標とは、各ネットワーク機能が自己診断して与える、機能の正常性を判断する指標となるスカラ値）

【0035】

［学習・評価に関する関数］
「クラスタ学習関数（数６）」：

【数6】

計測周期計測期間Ｔ_ｕ（ｕ∈｛１，・・・，ν−１｝）における、ネットワーク機能ｋ（ｋ∈｛１，・・・，ｎ｝）のクラスタ学習関数。クラスタ学習関数（数６）はネットワーク機能ｋにおけるｒ_ｉ^ｊ（ｉ∈（１，・・・，ｌ），ｊ∈（１，・・・，ｍ））を要素とする資源ベクトルを学習し、学習時点におけるクラスタ座標（数７）を返す。

【数7】

ただし、ｗは次元数である。

【0036】

「クラスタ学習関数（数８）」：

【数8】

クラスタ学習関数（数６）が返すクラスタ座標（数７）およびネットワーク機能ｋの性能指標ｐ^ｋから、異常状態を示す座標との近傍状況を評価する関数。

【0037】

［制御内容］
制御部１１が行う制御内容を説明する。
〔ステップＳ００；計測開始時の初期動作〕
計測開始時刻をＴ_ｓとする。計測開始時はすべてのメモリおよび計測カウンタ量ｔを０にリセットする。

【0038】

〔ステップＳ０１；各周期における計測〕
各計測カウンタ量ｔにおいて（計測時間間隔Ｔ_０毎に）、ネットワーク機能ｋ（計測・蓄積手段２１）は各種類の資源量性能ｒ_ｉをＯＳのカーネル空間で計測する。例えば、計測を行うタイミングとして、計測時間間隔Ｔ_０でタイマー割込でカーネル空間に入り、計測してもよい。また、計測を行うタイミングとして、ネットワーク機能がシステムコール等によりカーネル空間に入った時に、現在時刻Ｔ_ｃを測定し、（Ｔ_ｃ−Ｔ_ｓ）／Ｔ_０の丸め値が前回計測時の計測カウンタ量ｔよりも更新されていた場合に計測し、該丸め値を新たな計測カウンタ量ｔとしてもよい。

【0039】

〔ステップＳ０２；計測値格納〕
取得された各計測値は、ネットワーク機能内のメモリＭ_ｉ^０_０（ｔ−１ ｍｏｄ ｂ_ｉ）に格納される。このステップでは、対象となる各資源種類は未加工のままメモリに格納するため、性質による区分はなく、メモリの資源性質に関する添字ｊは０のみとなる。

【0040】

〔ステップＳ０３；圧縮〕
データ形成手段２２は、計測カウンタ量ｔがＴ_ｕ∈Ｔで割り切れる場合、各ネットワーク機能ｋ毎にステップＳ０２で格納した計測値を圧縮する。具体的には、ｔが任意のｔ_ｗ∈｛Ｔ_１，・・・，Ｔ_ν｝で割り切れる場合、ｔはＴ_ｕ∈｛Ｔ_１，・・・，Ｔ_ν｝（ｕ≦ｗ）で割り切れる。その場合は、以下の処理を、Ｔ_ｕの添字ｕが小さい順に次のステップを実行する。
〔ステップＳ０３−１；ｕ＝１（第１段階）〕
本ステップでは、収集した資源量から性質情報を数２の関数で計算し格納する。具体的には、各資源種類ｉにおいて、各性質ｊに対して、メモリＭ_ｉ^０_０（０）からＭ_ｉ^０_０（ｂ_ｉ−１）までの値で数９を計算して第１段階のメモリ（数１０）に格納する。

【数9】

【数10】

〔ステップＳ０３−ｕ；ν＞ｕ＞１（第２段階以降）〕
本ステップでは、以前の段階で格納した性質情報を次の段階に伝える数４の関数で計算し格納する。具体的には、各資源種類ｉにおいて、各性質ｊに対して、前段階のメモリＭ_ｉ^ｊ_ｕ−１（０）からＭ_ｉ^ｊ_ｕ−１（Ｔ_ｕ／Ｔ_ｕ−１−１）までの値で数１１を計算して、現段階のメモリ（数１２）に格納する。

【数11】

【数12】

【0041】

ステップＳ０３の具体例を説明する。ｂ_ｉ＝１０，Ｔ＝｛４，１６，６４，・・・｝で、ｔ＝１１２の場合のメモリ格納位置は次の通りである。
計測カウンタ量ｔの１１２は４と１６で割り切れ、６４で割り切れず、１０で割ると２余る。従って、ステップＳ０２において、メモリＭ_ｉ^０_０（1）に計測値が格納される（第０段階）。ステップＳ０３−１において、数９の関数についての値（数１３）が数１０のＭ_ｉ^ｊ_１（３）に格納される。

【数13】

さらに、ステップＳ０３−２において、数１１の関数についての値（数１４）が数１２のＭ_ｉ^ｊ_２（２）に格納される。

【数14】

【0042】

〔ステップＳ０４；特徴量算出〕
座標作成手段（学習装置２３）は、メモリＭ_ｉ^ｊ_ｕ（ｐｏｓ）の値を全ての資源種類ｉ∈｛１，・・・，ｌ｝、性質ｊ∈｛１，・・・，ｍ｝で並べ（ｌ×ｍマトリクス）、数６（数６は数１５のようになる）で学習を行い、数７のクラスタ座標を得る。

【数15】

【0043】

〔ステップＳ０５；評価〕
機能評価手段（評価装置２４）は、得られたクラスタ座標を、数８で性能指標ｐと比較して異常値との近傍状況を評価し、異常値に近づいた場合は警告を発する。

【0044】

（実施形態１の効果）
本実施形態のネットワーク評価装置は、個々のネットワーク機能のメモリやＣＰＵに大きな負担を与えずに、資源利用量の計測、評価、クラスタリング学習、並びに異常の検知を長周期で行うことができる。

【0045】

（実施形態２）
図２は、本実施形態のネットワーク評価装置であって、実施形態１で説明したネットワーク評価装置でクラスタリング学習させて得られた各ネットワーク機能の座標値を、サービス全体の計測装置で受信し、受信した座標値を連結して多次元ベクトルを作成し、それらに対してさらにクラスタリング学習及び評価（異常検知）させる手法を説明する図である。

【0046】

本実施形態のネットワーク評価装置は、実施形態１のネットワーク評価装置に、
全ての前記ネットワーク機能についての座標作成手段２３が計算した前記クラスタ座標を収集して多次元ベクトルを作成する計測値収集手段３１と、
計測値収集手段３１が作成した前記多次元ベクトルからクラスタリング学習する学習手段３２と、
学習手段３２がクラスタリング学習した結果とサービス指標ｑとの比較を行うサービス評価手段３３と、
をさらに備えることを特徴とする。

【0047】

本ネットワーク評価装置でさらに使用する変数について説明する。
［性能指標変数］
「サービスの性能指標ｑ（ｔ）」：
サービスの計測カウンタｔにおける性能指標
（サービスの性能指標とは、サービスを統合管理するＯＳ機能が算出する、サービス機能の正常性を判断する指標となるスカラ値）

【0048】

［学習・評価に関する関数］
「サービスクラスタ学習関数（数１６）」：

【数16】

計測周期計測期間Ｔ_ｕ（ｕ∈｛１，・・・，ν−１｝）における、各ネットワーク機能ｋ（ｋ∈｛１，・・・，ｎ｝）の学習で得た各クラスタ座標ｃ_ｘ^ｋをさらに学習し、所属クラスタ座標｛ｓｃ_１，ｓｃ_２，・・・，ｓｃ_ｘ｝（ｘは次元数）を返すサービスのクラスタ学習関数。

【0049】

「クラスタ学習関数（数１７）」：

【数17】

サービスのクラスタ学習関数（数１６）が返す所属クラスタ座標｛ｓｃ_１，ｓｃ_２，・・・，ｓｃ_ｘ｝およびサービスの性能指標ｑから、異常状態を示す座標との近傍状況を評価する関数。

【0050】

本ネットワーク評価装置の動作を説明する。
〔ステップＳ０６；データ転送〕
データ送出手段２５は、学習装置２３で得られたクラスタ座標をサービス全体のクラスタ学習を行う装置１００に送信する。装置１００の計測値収集手段３１は、各ネットワーク機能ｋ（∈｛１，・・・，ｎ｝）から、計測周期Ｔ_ｕのタイミングτ（τ ｍｏｄ Ｔ_ｕ＝０）で送信されるクラスタ座標｛ｓｃ_１，ｓｃ_２，・・・，ｓｃ_ｘ｝（τ）および各ネットワーク機能ｋの性能指標ｐ^ｋ（τ）を受信する。ただし、Ｔ_ｕが通信時間に比べて短すぎる場合は、クラスタ座標と性能指数の受信を省略して良い。計測値収集手段３１は、受信したクラスタ座標と性能指数から多次元ベクトルを作成する。

【0051】

〔ステップＳ０７；クラスタリング学習〕
装置１００の学習手段３２は、全多次元ベクトル群から、計測周期Ｔ_ｕで受信されるクラスタ座標を数１６で評価し、さらなるクラスタ座標｛ｓｃ_１，ｓｃ_２，・・・，ｓｃ_ｘ｝を得る。

【0052】

〔ステップＳ０８；評価〕
装置１００のサービス評価手段３３は、数１７を用いて学習手段３２で得られたクラスタ座標とサービスの性能指標ｑとから、異常値との近傍状況を評価し、異常値に近づいた場合は警告を発する。また、サービス評価手段３３は、各ネットワーク機能ｋの性能指標ｐ^ｋに悪化が見られる場合は、サービスの依存関係を示すグラフ（一般にＤＡＧ（有向非巡回グラフ））における、頂点ノードとなるネットワーク機能ｋ（∈｛１，・・・，ｎ｝）を求め、そのｋにおいて異常が発生している旨を警告する。

【0053】

（実施形態２の効果）
本実施形態のネットワーク評価装置は、サービス全体の異常を予測及び検知するためのクラスタリング学習も実施形態１と同様に行うことができる。

【実施例】

【0054】

実施形態で説明した変数や関数についての具体例を以下に述べる。
ネットワークサービスは、すべて互いに同じ種類の資源量を計測及び蓄積する計測蓄積手段２１を備えるｎ個のネットワーク機能ｋ（∈｛１，・・・，ｎ｝）から構成される。
ｒ_１：メモリ使用量
ｒ_１^１：メモリの平均値
ｒ_１^２：メモリのバースト利用量
ｒ_１^３：メモリの最大利用量
ｆ_１^１（・・・）：計測ウィンドウにあるメモリ使用量データの相加平均値を算出する関数
ｆ_１^２（・・・）：計測ウィンドウにあるメモリ使用量データのバースト量を算出する関数
Ｆ_１^１（・・・）：ｆ_１^１で得られた値の任意個数の引数の相加平均値を算出する関数
Ｆ_１^２（・・・）：ｆ_１^２で得られた値の任意個数の引数の最大値を選ぶ関数
ｒ_２：ネットワーク利用量
ｒ_３：ＣＰＵ利用量
Ｔ_０：１マイクロ秒
Ｔ_ｕ＝｛４，１６，６４，２５６，１０２４，４０９６，１６３８４，６５５３６，２６２１４４，１０４８５７６｝：４マイクロ秒から約１秒（１．０４８５７６秒）の１０段階の計測周期
ｂ_ｉ：ｉ＝１，２，３において、全て１０（Ｔ_０）分のメモリ量
Ｌ^ｕ（ｒ_１^１，ｒ_１^２，ｒ_１^３，ｒ_２，ｒ_３）（ｕ＝１，・・・，１０）：引数に対して、クラスタリング学習による情報抽出器（ＳＯＭ（自己組織化地図）やＰＣＡ（主成分分析）など、以下情報抽出器）に基づく１０段階分のクラスタリング学習を行い、クラスタ座標｛ｃ_１，ｃ_２｝を返す１０個の関数
Ｄ^ｕ（ｃ_１，ｃ_２，ｐ）（ｕ＝１，・・・，１０）：引数に対して、情報抽出器に基づくクラスタリングで、異常値を記憶し、近傍異常中心値との距離計測を行い、異常状態からの距離および移動ベクトルを計測する１０段階分の１０個の関数
ＳＬ^ｕ（ｃ_１，ｃ_２）（ｕ＝１，・・・，１０）：Ｌ^ｕと同様に情報抽出器によるクラスタリング学習を、ネットワーク機能で構成するサービス全体に対して行う１０段階分の１０個の関数。クラスタ座標｛ＳＣ_１，ＳＣ_２｝を返す。
ＳＤ^ｕ（ｓｃ_１，ｓｃ_２，ｑ）（ｕ＝１，・・・，１０）：Ｄ^ｕと同様に情報抽出器によるクラスタリングで、異常値の近傍評価を、ネットワーク機能で構成するサービス全体に対して行う１０段階分の１０個の関数。

【符号の説明】

【0055】

１１：制御部
１２：カーネル空間
１３：ネットワーク機能
２１：計測蓄積手段
２２：データ形成手段
２３：学習手段
２４：評価手段
２５：データ送出手段
３１：計測値収集手段
３２：学習手段
３３：評価手段
１００：装置

【図1】

【図2】