特許 7556199 監視装置，監視方法及び監視プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-17

(45)【発行日】2024-09-26

(54)【発明の名称】監視装置，監視方法及び監視プログラム

(51)【国際特許分類】

   G06F 11/07 20060101AFI20240918BHJP

【ＦＩ】

G06F11/07 151

【請求項の数】 6

(21)【出願番号】P 2020045064

(22)【出願日】2020-03-16

(65)【公開番号】P2021149132

(43)【公開日】2021-09-27

【審査請求日】2023-02-03

【前置審査】

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】小川 高星

【審査官】北川 純次

(56)【参考文献】

【文献】国際公開第２０１８／０２９７８１（ＷＯ，Ａ１）

【文献】国際公開第２０１８／１４６７１４（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１５／０２５４１７２（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １１／０７－１１／３６

(57)【特許請求の範囲】

【請求項1】

監視対象システムのソフトウェアの各バージョンの性能情報からバージョン毎に統計情報を算出する統計情報算出部と，
各バージョン毎に収集した性能値の平均、分散値を検証システム或いは監視対象システムに適用された最新バージョンで収集された性能値の平均，分散値と比較し類似度を算出する類似度算出部と，
前記統計情報及び前記類似度に基づいて，バージョンアップ後のソフトウェアの性能の異常を検知する性能異常検知部と，を備える監視装置であって，
算出された類似度から最上位のバージョンを選択し，選択したバージョンが持つ性能情報のデータ数を算出する監視情報生成部を備え，
前記データ数が所定の閾値を超えた場合に前記監視情報生成部は，監視情報を生成し，
前記性能異常検知部は，前記統計情報，前記類似度及び前記監視情報に基づいて，バージョンアップ後のソフトウェアの性能の異常を検知する監視装置。

【請求項2】

前記類似度算出部は，監視情報生成に選択できるバージョンが存在するか否か判断し，
監視情報生成に選択できるバージョンが存在しない場合，前記監視情報生成部は，監視情報を生成しない，請求項１に記載の監視装置。

【請求項3】

統計情報算出部は，前記統計情報として，監視対象システムのソフトウェアの各バージョンの性能情報からバージョン毎に統計上の特徴を示す平均と分散の数値を算出する請求項１または２に記載の監視装置。

【請求項4】

前記類似度算出部は，算出した平均，分散の類似度に予め設定された閾値を参照し，閾値を超過するバージョンは選択対象外とする請求項１から３のいずれかに記載の監視装置。

【請求項5】

コンピュータを備える監視装置が、監視対象システムのソフトウェアの各バージョンの性能情報からバージョン毎に統計情報を算出し，
前記監視装置が、各バージョン毎に収集した性能値の平均、分散値を，検証システム或いは監視対象システムに適用された最新バージョンで収集された性能値の平均，分散値と比較し類似度を算出し，算出された類似度から最上位のバージョンを選択し，選択したバージョンが持つ性能情報のデータ数を算出し，前記データ数が所定の閾値を超えた場合に，監視情報を生成し，
前記監視装置が、前記統計情報，前記類似度及び前記監視情報に基づいて，バージョンアップ後のソフトウェアの性能の異常を検知する監視方法。

【請求項6】

監視対象システムのソフトウェアの各バージョンの性能情報からバージョン毎に統計情報を算出する統計情報算出ステップと，
各バージョン毎に収集した性能値の平均、分散値を，検証システム或いは監視対象システムに適用された最新バージョンで収集された性能値の平均，分散値と比較し類似度を算出し，算出された類似度から最上位のバージョンを選択し，選択したバージョンが持つ性能情報のデータ数を算出し，前記データ数が所定の閾値を超えた場合に，監視情報を生成する類似度算出ステップと，
前記統計情報，前記類似度及び前記監視情報に基づいて，バージョンアップ後のソフトウェアの性能の異常を検知する性能異常検出ステップと，をコンピュータに実行させる監視プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は監視装置，監視方法及び監視プログラムに関する。

【背景技術】

【0002】

クラウドコンピューティングやDevOps，コンテナ型仮想化技術などの普及により，大規模なサービスや業務システムであっても，ユーザニーズを取り込んだ新しいバージョンのリリースが容易になり，以前よりもバージョンアップは高頻度で行われるようになってきている。

【0003】

サービスにスピード感が求められる中，アプリケーションの性能情報を監視することを目的としたソフトウェアは，監視対象となる業務システムなどのバージョンアップのスピードに追従していく必要がある。

【0004】

バージョンアップの頻度が高くなかった以前は，バージョンアップのたびにユーザがどのような情報を監視するかを改めて検討し定義するような対応が可能であったが，現在ではユーザ側がバージョンアップ時の作業を意識せず，ソフトウェア側で監視を自動継続できるような動作が求められる。

【0005】

システムの性能に関する監視を行う際，本番環境での十分な期間に収集した性能データを元に，アラートを出力するための監視設定(閾値やベースライン)を決め，精度の高い監視を実現する方法がある。

【0006】

この方法には，バージョンアップ直後は監視設定を決められないという課題がある。また，DevOpsの普及に伴い開発サイクルが短期化されており，各バージョンが動作する期間が短くなると，監視の設定値を決めるための性能データ数が不足して精度の高い監視が実現できない。

【0007】

例えば，特許文献１には同一のコンテナイメージから作成された，複数のインスタンスの情報を同じマシンのデータとして扱うことで，データ数の不足を補うことが記載されている。

【先行技術文献】

【特許文献】

【0008】

【文献】国際公開２０１７／１６８４８４号

【発明の概要】

【発明が解決しようとする課題】

【0009】

しかしながら，特許文献１では，バージョンアップ直後は監視設定が適用されない，複数インスタンスを動作できる環境に限定された方法であるといった課題がある。

【0010】

本開示の目的は，上述した課題を鑑み，ソフトウェアの開発において，バージョンアップ直後にも監視設定が適用でき，複数インスタンスを動作できる環境でなくても精度の高い性能監視を実現できる監視装置，監視方法及び監視プログラムを提供することにある。

【課題を解決するための手段】

【0011】

一実施形態の監視装置は，監視対象システムのソフトウェアの各バージョンの性能情報からバージョン毎に統計情報を算出する統計情報算出部と，各バージョンの統計情報から，検証システム或いは監視対象システムに適用された最新バージョンとの類似度を算出する類似度算出部と，前記統計情報及び前記類似度に基づいて，バージョンアップ後のソフトウェアの性能の異常を検知する性能異常検知部と，を備えるようにした。

【0012】

一実施形態の監視方法は，監視対象システムのソフトウェアの各バージョンの性能情報からバージョン毎に統計情報を算出し，各バージョンの統計情報から，検証システム或いは監視対象システムに適用された最新バージョンとの類似度を算出し，前記統計情報及び前記類似度に基づいて，バージョンアップ後のソフトウェアの性能の異常を検知するようにした。

【0013】

一実施形態の監視プログラムは，監視対象システムのソフトウェアの各バージョンの性能情報からバージョン毎に統計情報を算出する統計情報算出ステップと，各バージョンの統計情報から，検証システム或いは監視対象システムに適用された最新バージョンとの類似度を算出する類似度算出ステップと，前記統計情報及び前記類似度に基づいて，バージョンアップ後のソフトウェアの性能の異常を検知する性能異常検出ステップと，をコンピュータに実行させるようにした。

【発明の効果】

【0014】

本発明の監視装置，監視方法及び監視プログラムによれば，ソフトウェアの開発において，バージョンアップ直後にも監視設定が適用でき，複数インスタンスを動作できる環境でなくても精度の高い性能監視を実現できる。

【図面の簡単な説明】

【0015】

【図1】実施の形態１にかかる監視装置の概略構成を示すブロック図である。

【図2】実施の形態２にかかる監視システムの概略構成を示すブロック図である。

【図3】実施の形態２にかかる監視装置の概略構成を示すブロック図である。

【図4】実施の形態２の監視装置における類似バージョン検出の一例を示すフローチャートである。

【図5】実施の形態２の監視装置における類似バージョン再検出の一例を示すフローチャートである。

【図6】実施の形態２の監視装置における監視情報生成の一例を示すフローチャートである。

【図7】統計情報記憶部１０６に記憶される性能情報テーブルの一例を示す。

【発明を実施するための形態】

【0016】

実施の形態１
以下，図面を参照して本発明の実施の形態について説明する。図１は，実施の形態１にかかる監視装置の概略構成を示すブロック図である。図１において，監視装置１は，統計情報算出部２と，類似度算出部３と，性能異常検知部４とを備える。

【0017】

統計情報算出部２は，監視対象システムのソフトウェアの各バージョンの性能情報からバージョン毎に統計情報を算出する。

【0018】

類似度算出部３は，各バージョンの統計情報から，検証システム或いは監視対象システムに適用された最新バージョンとの類似度を算出する。

【0019】

性能異常検知部４は，当該統計情報及び当該類似度に基づいて，バージョンアップ後のソフトウェアの性能の異常を検知する。

【0020】

このように実施の形態１の監視装置によれば，ソフトウェアの開発において，バージョンアップ直後にも監視設定が適用でき，複数インスタンスを動作できる環境でなくても精度の高い性能監視を実現できる。

【0021】

実施の形態２
図２は実施の形態２にかかる監視システムの概略構成を示すブロック図である。図２において，監視システム１０は，監視装置１００と，バージョン管理システム２００と，検証システム２１０と，監視対象システム２２０と，監視端末２３０とを備える。

【0022】

監視装置１００は，監視対象システム２２０及び検証システム２１０から性能情報を定期的に収集して蓄積する機能を有する。そして，監視装置１００は，その性能情報を基に過去バージョンの類似度を算出する。監視装置１００は，過去バージョンの性能情報を用いて監視設定の生成を行う機能，監視設定で設定された正常と判断する範囲外の性能値が取得された場合に異常として運用管理者へ通知する機能を更に備える。また，監視装置１００は，および監視対象である情報システム及び検証システムに適用されたバージョン状況を把握するための情報を管理する機能を備える。

【0023】

監視端末２３０は，監視システムの提供するコンポーネントの一つである。監視端末２３０は，監視システムの外部に配置する。運用管理者など，監視システムの利用者はこの監視端末２３０を通じて監視システムに対する操作や，監視システムが収集した性能情報の参照，監視システムが検知した性能劣化の通知の受信などを行う。

【0024】

バージョン管理システム２００は，検証システム２１０や監視対象システム２２０に適用されたアプリケーションのバージョンを管理する機能を備える。

【0025】

検証システム２１０は，アプリケーションの監視システムへの適用の前に，動作検証を行う単一あるいは複数からなる装置である。検証システム２１０は，監視対象システム２２０に適用されるアプリケーションの性能情報を収集し，監視装置１００に通知する。

【0026】

監視対象システム２２０は，監視装置１００による監視対象となる単一あるいは複数からなる装置である。監視対象システム２２０は，アプリケーションの性能情報を収集し，監視装置１００に通知する。

【0027】

次に，監視装置１００の内部構成について説明する。図３は，実施の形態２にかかる監視装置の概略構成を示すブロック図である。図３において，監視装置１００は，性能情報受付部１０１と，性能情報処理部１０２と，性能情報記憶部１０３と，バージョン情報受付部１０４と，統計情報算出部１０５と，統計情報記憶部１０６と，類似度算出部１０７と，監視情報生成部１０８と，監視情報記憶部１０９と，性能異常検知部１１０を備える。

【0028】

性能情報受付部１０１は，一つまたは複数の検証システム２１０の性能情報収集部２１１，及び監視対象システム２２０の性能情報収集部２２１が収集した性能情報を受け付ける。そして，性能情報受付部１０１は，性能情報処理部１０２に性能情報を渡す。例えば，性能情報受付部１０１は，検証システム２１０及び監視対象システム２２０とネットワーク経由で通信可能なネットワークインターフェース回路で構成されてもよい。

【0029】

性能情報処理部１０２は，性能情報受付部１０１より性能情報を受け取る。そして，性能情報処理部１０２は，性能情報を性能情報テーブルのフォーマットに整形する。そして，性能情報処理部１０２は，整形された性能情報を性能情報記憶部１０３へ格納する。また，性能情報処理部１０２は，この性能情報を性能異常検知部１１０に渡す。

【0030】

性能情報記憶部１０３は，性能情報テーブルのフォーマットに整形された性能情報を記憶する。そして，性能情報記憶部１０３は，要求に対応する性能情報を出力する。例えば，性能情報記憶部１０３は，不揮発性の記憶回路で構成されてもよい。

【0031】

バージョン情報受付部１０４は，バージョン情報管理部２０１が保持する検証システム２１０と監視対象システム２２０に適用されたアプリケーションのバージョン情報を受付ける。例えば，バージョン情報受付部１０４は，バージョン管理システム２００とネットワーク経由で通信可能なネットワークインターフェース回路で構成されてもよい。

【0032】

統計情報算出部１０５は，性能情報記憶部１０３に蓄積された各バージョンの性能情報からバージョン毎に統計上の特徴を示す平均と分散等の数値を算出する。そして，統計情報算出部１０５は，算出した平均と分散等の数値を統計情報記憶部１０６に渡す。また，統計情報算出部１０５は，監視情報再作成判断部１１１からの統計情報算出部１０５を受けた場合，再び平均と分散等の数値を算出し，統計情報記憶部１０６に渡す。

【0033】

統計情報記憶部１０６は，バージョン毎に統計上の特徴を示す平均と分散等の数値を記憶する。そして，統計情報記憶部１０６は，類似度算出部１０７の要求に応じて，バージョン毎に統計上の特徴を示す平均と分散等の数値を出力する。例えば，統計情報記憶部１０６は，不揮発性の記憶回路で構成されてもよい。

【0034】

類似度算出部１０７は，統計情報記憶部１０６に格納された各バージョンの統計情報から，検証システム或いは監視対象システムに適用された最新バージョンとの類似度を算出する。そして，類似度算出部１０７は，算出された類似度を監視情報生成部１０８に渡す。

【0035】

監視情報生成部１０８は，類似度算出部１０７から渡された類似度から上位のバージョンを選出する。また，監視情報生成部１０８は，選出したバージョンの性能情報を性能情報記憶部１０３から取得する。そして，監視情報生成部１０８は，これらの類似度及び性能情報に基づいて平均・分散を算出する。そして，監視情報生成部１０８は，この平均・分散から監視設定となる閾値あるいはベースラインを生成する。そして，監視情報生成部１０８は，閾値あるいはベースラインを監視情報記憶部１０９に渡す。

【0036】

性能異常検知部１１０は，性能情報処理部１０２から受け取った性能情報に含まれる取得元のアプリケーションに対する監視設定（監視情報）を監視情報記憶部１０９から取得する。そして，性能異常検知部１１０は，性能情報が正常と判断する範囲内であるか否か判断する。性能情報が正常と判断する範囲外である場合，性能異常検知部１１０は，性能値が異常であることを監視端末２３０へ通知する。

【0037】

監視情報再作成判断部１１１は，性能情報記憶部１０３から監視対象システム２２０のデータ数を取得する。そして，監視情報再作成判断部１１１は，このデータ数が一定を超えたことを契機に，統計情報算出部１０５に再設定通知を出す。

【0038】

監視端末２３０は，運用管理者など監視装置１００の利用者がアクセス可能な端末である。そして，監視端末２３０，性能異常検知部１１０の通知を受信し，通知の内容を参照することが可能な機能を有する端末である。

【0039】

バージョン管理システム２００は，バージョン情報管理部２０１を備える。バージョン情報管理部２０１は，バージョン管理システム２００が持つ検証システム２１０や監視対象システム２２０に適用されたアプリケーションのバージョンを管理する。そして，バージョン情報管理部２０１は，バージョン情報を監視装置１００のバージョン情報受付部１０４に情報を渡す。

【0040】

性能情報収集部２１１は，検証システム２１０の性能情報を収集する。そして，性能情報収集部２１１は，性能情報を監視装置１００の性能情報受付部１０１に渡す。また，性能情報収集部２１１は，検証システムの性能情報収集完了時に，完了通知を監視装置１００の性能情報受付部１０１に渡す。

【0041】

監視対象システム２２０は，性能情報収集部２２１を備える。性能情報収集部２２１は，監視対象システム２２０の性能情報を収集する。そして，性能情報収集部２２１は，監視装置１００の性能情報受付部１０１に渡す。

【0042】

次に，図４～図７を用いて監視装置１００の動作を説明する。以下，図４を用いて，検証システムの性能情報を用いた類似バージョン検出フローを説明する。また，図５を用いて，本番環境の性能情報を用いた類似バージョン再検出フローを説明する。そして，図６を用いて検出した類似バージョンの性能情報を用いた監視情報生成フローを説明する。なお，図７では，統計情報記憶部１０６に記憶される性能情報テーブルの一例を示す。

【0043】

図４は，実施の形態２の監視装置における類似バージョン検出の一例を示すフローチャートである。図４の検証システムの性能情報を用いた類似バージョン検出フローは，検証システム２１０で，バージョンアップ後のアプリケーションの性能検証が終了したことを契機として開始される。

【0044】

ステップＳ４０１において，性能検証終了の動作が行われる。具体的には，ステップＳ４０１において，性能情報収集部２１１がバージョン情報管理部２０１に性能検証終了を通知する。そして，バージョン情報管理部２０１が監視システムにバージョン情報と検証終了を監視装置１００に通知する。更に，バージョン情報受付部１０４は，バージョン情報管理部２０１から受け取ったバージョンと収集完了通知を統計情報算出部１０５に渡す。そしてステップＳ４０２に進む。

【0045】

ステップＳ４０２において，統計情報の処理が行われる。具体的には，ステップＳ４０２において，統計情報算出部１０５は，バージョン情報受付部１０４から受け取ったバージョンと収集完了通知を契機に性能情報記憶部１０３に格納されたバージョンの性能情報を取得する。そして，統計情報算出部１０５は，取得した性能情報から，統計情報の平均，分散を算出する。更に統計情報算出部１０５は，対象システム，バージョン，統計情報を統計情報記憶部１０６のテーブルに格納する。そしてステップＳ４０３に進む。

【0046】

ステップＳ４０３において，過去バージョンの性能情報が存在するか否かの判断が行われる。具体的には，ステップＳ４０３において，統計情報算出部１０５は性能情報記憶部１０３から過去バージョンの性能情報の存在を確認する。

【0047】

ここで対象とするシステムは，検証システム２１０と監視対象システム２２０の物理及び仮想的なリソースの差分が無い場合，ステップＳ４０４に進み，監視対象システム２２０の性能情報を用いることとする。差分がある場合，ステップＳ４０５に進み，検証システム２１０で収集した性能情報を用いる。

【0048】

ステップＳ４０４において，監視情報生成に利用できる性能情報が無いため，統計情報算出部１０５は，類似バージョン無しを監視情報生成部１０８に通知し，処理を終了する。

【0049】

ステップＳ４０５において，類似度の算出が行われる。具体的には，ステップＳ４０５において，類似度算出部１０７は，統計情報算出部１０５から統計情報の算出が完了した対象システム，バージョンを受信後，そのバージョンに対する過去バージョンの類似度を算出する。例えば，類似度算出部１０７は，過去バージョンの統計情報の平均，分散からそのバージョンに対する過去バージョンの類似度を算出する。

【0050】

これらの情報は例えば，図７で示したテーブルに格納する。図７において，類似度（平均）は以下のように示される。

【数1】

【0051】

検証システムで取得した性能値の平均類似度（平均）は以下のように示される。

【数2】

【0052】

過去バージョンnの性能値の平均は以下のように示される。

【数3】

【0053】

類似度（分散）は以下のように示される。

【数4】

【0054】

検証システムの分散は以下のように示される。

【数5】

【0055】

過去バージョンｎの分散は以下のように示される。

【数6】

【0056】

そして，類似度（平均）は０への近さ，類似度（分散）は１への近さで評価を行い，順位付けを行う。２項目の順位の合計から類似度順位を決定する。そしてステップＳ４０６に進む。

【0057】

ステップＳ４０６において，類似度算出部１０７は算出した平均，分散の類似度に予め設定された閾値を参照し，閾値を超過するバージョンは選択対象外とする。

【0058】

例えば，平均の閾値の参照では以下の式の満たさない場合，選択対象外とする。

【数7】

上記式の例では平均の差分が，検証システムで収集した性能値の偏差の範囲内であることを示す。
また，分散の閾値の参照では以下の式の満たさない場合，選択対象外とする。

【数8】

ここで類似度（分散）

【数9】

は統計における分散比の値となっており，上記例では，その閾値は統計の分散分析の手法を用いたＦ境界値を用いた。（有意水準５％として算出）

【0059】

ステップＳ４０６の処理により，類似度が低いバージョンの性能情報が，監視情報作成に利用されない考慮を行い，監視情報の精度を高める。そしてステップＳ４０７に進む。

【0060】

ステップＳ４０７において，類似度算出部１０７はステップＳ４０６の処理後，監視情報生成に選択できるバージョンが存在するか否かを確認する。監視情報生成に選択できるバージョンが存在しない場合，ステップＳ４０８に進む。監視情報生成部１０８に選択できるバージョンが存在する場合，ステップＳ４０９に進む。

【0061】

ステップＳ４０８において，類似度算出部１０７は選択済のバージョンが存在するか否かを確認する。選択済のバージョンが存在しない場合，ステップＳ４０４に進む。選択済のバージョンが存在する場合，ステップＳ４１１に進む。この処理を経由した場合，データ数が閾値Ｎに達していないため，データ不足による精度の低下が発生する。

【0062】

ステップＳ４０９において，監視情報生成部１０８は，算出された類似度から最上位のバージョンを選択し，選択したバージョンが持つ性能情報のデータ数を算出する。そしてステップＳ４１０に進む。

【0063】

ステップＳ４１０において，監視情報生成部１０８により，ステップＳ４０９で算出された性能情報のデータ数の合計が，あらかじめ設定されたデータ数Ｎを超えるか，否か判断される。性能情報のデータ数の合計が，あらかじめ設定されたデータ数Ｎ以下である場合，ステップＳ４０７に戻る。性能情報のデータ数の合計が，あらかじめ設定されたデータ数Ｎを越える場合，ステップＳ４１１に進む。ステップＳ４１０の処理により，類似度が高いバージョンのデータを用いて，十分なデータ数を用いた監視情報の生成が実現できる。

【0064】

ステップＳ４１１において，類似度算出部１０７は，ステップＳ４１０で選択したバージョンを監視情報生成部１０８に通知し，処理を終了する。

【0065】

次に，本番環境の性能情報を用いた類似バージョン再検出フローについて説明する。図５は，実施の形態２の監視装置における類似バージョン再検出の一例を示すフローチャートである。本番環境の性能情報を用いた類似バージョン再検出フローは，監視対象システムに最新バージョンが適用されて，動作を開始したことを契機として，開始される。

【0066】

ステップＳ５０１において，監視情報再作成判断部１１１は性能情報記憶部を定期的に参照する。そして，監視情報再作成判断部１１１は監視対象システムで現在のバージョンの性能値のデータ数を取得する。そしてステップＳ５０２に進む。

【0067】

ステップＳ５０２において，現在のバージョンの性能情報のデータ数が，閾値を超えているか否か判断される。現在のバージョンの性能情報のデータ数が，閾値を超えている場合，ステップＳ５０３に進む。現在のバージョンの性能情報のデータ数が，閾値以下の場合，ステップＳ５０１に戻る。例えば，閾値は，十分なデータ数Ｎに対して，一定の割合（例：１０％）の整数倍としてもよい。そして現在のバージョンの性能情報のデータ数が，十分なデータ数Ｎに対して，一定の割合（例：１０％）の整数倍を超過することを検出するまでステップＳ５０１を繰り返すようにしてもよい。

【0068】

ステップＳ５０３において，再作成判断部１１１はステップＳ５０４における閾値の超過を検出したことを契機に統計情報算出部１０５に，監視情報再作成通知を渡す。そしてステップＳ５０３に進む。

【0069】

ステップＳ５０４において，再生成判断部１１１から監視情報再作成通知を契機に，統計情報算出部１０５は，性能情報記憶部１０３に現在のバージョンの性能情報を取得する。そして，統計情報算出部１０５は，取得した性能情報から，統計情報の平均，分散を算出する。そして統計情報算出部１０５は，これらの対象システム，バージョン，統計情報を統計情報記憶部１０６のテーブルに格納する。そしてステップＳ５０５に進む。

【0070】

ステップＳ５０５において，統計情報算出部１０５は，性能情報記憶部１０３から監視対象システムで収集した過去バージョンの性能情報が存在するか否か確認する。過去バージョンの性能情報が存在しない場合，ステップＳ５０６に進む。過去バージョンの性能情報が存在する場合，ステップＳ５０７に進む。

【0071】

ステップＳ５０６において，監視情報生成に利用できる情報が無いため，統計情報算出部１０５は，類似バージョン無しを監視情報生成部に通知し，処理を終了する。

【0072】

ステップＳ５０７において，類似度算出部１０７は，統計情報算出部１０５から統計情報の算出が完了した対象システム，バージョンを受信後，そのバージョンに対する過去バージョンの類似度を過去バージョンの統計情報の平均，分散から算出する。そして，類似度算出部１０７は，算出した類似度を図７で示したテーブルに格納する。この類似度の算出方法は図４のステップＳ４０５と同様の算出方法としてもよい。そして，ステップＳ５０８に進む。

【0073】

ステップＳ５０８において，類似度算出部１０７は算出した平均，分散の類似度に予め設定された閾値を参照し，閾値を超過するバージョンは選択対象外とする。閾値の算出例は，図４のステップＳ４０６と同様としてもよい。この処理により，類似度が低いバージョンの性能情報が，監視情報作成に利用されない考慮を行い，監視情報の精度を高める。そして，ステップＳ５０９に進む。

【0074】

ステップＳ５０９において，類似度算出部１０７はステップＳ４０６の処理後，監視情報生成に選択できるバージョンが存在するか否かを確認する。監視情報生成に選択できるバージョンが存在しない場合，ステップＳ５１０に進む。監視情報生成に選択できるバージョンが存在する場合，ステップＳ５１１に進む。

【0075】

ステップＳ５１０において，類似度算出部１０７は選択済のバージョンが存在するか否かを確認する。選択済のバージョンが存在しない場合，ステップＳ５０６に進む。選択済のバージョンが存在する場合，ステップＳ５１３に進む。この処理を経由した場合，データ数が閾値Ｎに達していないため，データ不足による精度の低下が発生する。

【0076】

ステップＳ５１１において，算出された類似度から最上位のバージョンを選択し，選択したバージョンが持つ性能情報のデータ数を算出する。そしてステップＳ５１２に進む。

【0077】

ステップＳ５１２において，ステップＳ５１１で算出された性能情報のデータ数の合計が，あらかじめ設定されたデータ数Ｎを超えるか，否か判断される。性能情報のデータ数の合計が，あらかじめ設定されたデータ数Ｎ以下である場合，ステップＳ５０９に戻る。性能情報のデータ数の合計が，あらかじめ設定されたデータ数Ｎを越える場合，ステップＳ５１３１に進む。ステップＳ５１２の処理により，類似度が高いバージョンのデータを用いて，十分なデータ数を用いた監視情報の生成が実現できる。

【0078】

ステップＳ５１３において，類似度算出部１０７は，ステップＳ５１２で選択したバージョンを監視情報生成部１０８に通知し，処理を終了する。

【0079】

次に検出した類似バージョンの性能情報を用いた監視情報生成フローについて説明する。図６は，実施の形態２の監視装置における監視情報生成の一例を示すフローチャートである。

【0080】

ステップＳ６０１において，選択された類似バーションが存在するか否か判断される。選択された類似バーションが存在する場合，ステップＳ６０１に進む。選択された類似バーションが存在しない場合ステップＳ６０５に進む。

【0081】

ステップＳ６０２において，監視情報生成部１０８は，類似度算出部１０７から受信したバージョン情報を元に，受診したバージョンの性能情報を性能情報記憶部１０３から取得する。そして，ステップＳ６０３に進む。

【0082】

ステップＳ６０３において，監視情報生成部１０８は性能情報記憶部１０３から取得した全バージョンの性能情報から，平均，分散を算出し，監視情報を生成する。

【0083】

監視情報の計算式は，平均

【数10】

，分散

【数11】

を用いて，

【数12】

【0084】

ステップＳ６０４において，生成した監視情報が監視情報記憶部１０９に格納され，処理を終了する。

【0085】

ステップＳ６０５において，監視情報無しが監視情報記憶部１０９に格納され，処理を終了する。

【0086】

このように実施の形態２の監視システムによれば，複数バージョンの性能情報を用いる事で，単一バージョンの動作期間が短い場合でも監視設定を決定するためのデータ不足を補うことができる。

【0087】

アプリケーションのバージョンアップが実施される情報システムと，アプリケーションの性能状況（CPU使用率，ディスクIO，メモリ使用量等）を監視する監視システムにおいて，バージョン毎に収集した性能値を元に統計情報を算出する。

【0088】

以上説明したように，実施の形態２の監視システムは，適用予定のバージョンのアプリケーションを検証システムで動作させ，収集した性能情報の統計情報と，バージョン毎の統計情報の振る舞いの近さを類似度として算出する。そして，実施の形態２の監視システムは，類似度の高いバージョンを選出すること，及び選出した複数バージョンの性能情報を元に監視設定を決定することで，適用予定のバージョンに対する監視設定を適用する。そして，実施の形態２の監視システムは，バージョン毎の性能情報のデータ数の不足を補うことで，精度の高い監視設定を生成する。

【0089】

また，実施の形態２の監視システムによれば，類似度の高いバージョンの性能情報を用いることで，監視設定の精度低下を軽減できる。また，実施の形態２の監視システムは，バージョンアップ直後から監視設定を適用できる。更に，実施の形態２の監視システムによれば，バージョンアップ後，一定時間の経過により，本番環境の性能情報を元に監視設定が再決定されることで，徐々に監視精度を上げることができる。

【0090】

なお，本発明は上記実施の形態に限られたものではなく，趣旨を逸脱しない範囲で適宜変更することが可能である。例えば，類似度の算出式は，異なる計算式を用いてもよい。また，コンテナ環境等の複数インスタンスを動作できる環境に限定されない。検証システム及び監視対象システムは，物理計算機環境，ハイパーバイザ型の仮想化環境，クラウドシステム，コンテナ型仮想化環境及びセンサを用いた物理環境でもよい。

【0091】

上述の実施の形態では，本発明を機能ブロックの構成として説明したが，本発明は，これに限定されるものではない。本発明は，機能ブロックの構成を電子回路として実現してもよい。また本発明は，任意の処理を，ＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。

【0092】

プログラムは，様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され，コンピュータに供給することができる。非一時的なコンピュータ可読媒体は，様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は，磁気記録媒体（例えばフレキシブルディスク，磁気テープ，ハードディスクドライブ），光磁気記録媒体（例えば光磁気ディスク），ＣＤ－ＲＯＭ（Read Only Memory），ＣＤ－Ｒ，ＣＤ－Ｒ／Ｗ，半導体メモリ（例えば，マスクＲＯＭ，ＰＲＯＭ（Programmable ROM），ＥＰＲＯＭ（Erasable PROM），フラッシュＲＯＭ，ＲＡＭ（random access memory））を含む。また，プログラムは，様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は，電気信号，光信号，及び電磁波を含む。一時的なコンピュータ可読媒体は，電線及び光ファイバ等の有線通信路，又は無線通信路を介して，プログラムをコンピュータに供給できる。

【0093】

なお実施の形態１及び実施の形態２の監視システムは，ＩＣＴシステムに限らず，センサを用いた物理情報など性能情報を取得し，監視するシステムであれば利用が可能である。実施の形態１及び実施の形態２の監視システムは，バージョンアップが頻繁におこわなれることを想定しているので，クラウド，コンテナ型仮想技術を利用したシステムへの適用が好適である。

【符号の説明】

【0094】

１，１００ 監視装置
１０１ 性能情報受付部
１０２ 性能情報処理部
１０３ 性能情報記憶部
１０４ バージョン情報受付部
２，１０５ 統計情報算出部
１０６ 統計情報記憶部
３，１０７ 類似度算出部
１０８ 監視情報生成部
１０９ 監視情報記憶部
１１０ 性能異常検知部
４，１１０ 性能異常検知部
１１１ 監視情報再作成判断部
１１１ 再作成判断部
１１１ 再生成判断部
２００ バージョン管理システム
２０１ バージョン情報管理部
２１０ 検証システム
２１１ 性能情報収集部
２２０ 監視対象システム
２２１ 性能情報収集部
２３０ 監視端末

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】