特開2023-121230運用管理システム、運用管理方法及び運用管理のためのコンピュータプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023121230
(43)【公開日】2023-08-31
(54)【発明の名称】運用管理システム、運用管理方法及び運用管理のためのコンピュータプログラム
(51)【国際特許分類】
G06F 11/34 20060101AFI20230824BHJP
G06F 11/07 20060101ALI20230824BHJP
【ＦＩ】
G06F11/34 147
G06F11/07 140A
G06F11/07 160
【審査請求】有
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2022024449
(22)【出願日】2022-02-21
(11)【特許番号】
(45)【特許公報発行日】2023-07-04
(71)【出願人】
【識別番号】000227205
【氏名又は名称】ＮＥＣプラットフォームズ株式会社
(74)【代理人】
【識別番号】100106909
【弁理士】
【氏名又は名称】棚井 澄雄
(74)【代理人】
【識別番号】100134544
【弁理士】
【氏名又は名称】森 隆一郎
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100162868
【弁理士】
【氏名又は名称】伊藤 英輔
(72)【発明者】
【氏名】鈴木 亮
(72)【発明者】
【氏名】戸成 健
【テーマコード（参考）】
5B042
【Ｆターム（参考）】
5B042MA08
5B042MA14
5B042MC35
5B042MC40
(57)【要約】
【課題】異常の可能性のあるイベント、すなわちインシデントの可能性の早期検出が可能な運用管理システムを提供する。
【解決手段】運用管理システム１０の学習部２００は、管理対象となる機器の性能情報とイベントログより、性能情報を用いて第1の異常発生期間を抽出し、第1の異常発生期間におけるイベントログを用いて作成した第1のTF-IDFベクトルを算出し、少なくとも第1のTF-IDFベクトルを学習モデルとして記憶させる。リコメンド部３００は、機器より新たに取得した性能情報とイベントログを用いて、第2の異常発生期間と第2のTF-IDFベクトルを算出し、学習モデル内の第1のTF-IDFベクトルと第2のTF-IDFベクトルとの第1の類似度を算出し、第1の類似度が所定値以下の場合、算出した第2の異常発生期間に関するリコメンド情報を出力する。
【選択図】図１
【解決手段】運用管理システム１０の学習部２００は、管理対象となる機器の性能情報とイベントログより、性能情報を用いて第1の異常発生期間を抽出し、第1の異常発生期間におけるイベントログを用いて作成した第1のTF-IDFベクトルを算出し、少なくとも第1のTF-IDFベクトルを学習モデルとして記憶させる。リコメンド部３００は、機器より新たに取得した性能情報とイベントログを用いて、第2の異常発生期間と第2のTF-IDFベクトルを算出し、学習モデル内の第1のTF-IDFベクトルと第2のTF-IDFベクトルとの第1の類似度を算出し、第1の類似度が所定値以下の場合、算出した第2の異常発生期間に関するリコメンド情報を出力する。
【選択図】図１
【特許請求の範囲】
【請求項1】
管理対象となる機器の性能情報とイベントログより、前記性能情報を用いて第1の異常発生期間を抽出し、前記第1の異常発生期間におけるイベントログを用いて作成した第1のTF-IDFベクトルを算出し、少なくとも前記第1のTF-IDFベクトルを学習モデルとして記憶させる学習手段と、
前記機器より新たに取得した性能情報とイベントログを用いて、第2の異常発生期間と第2のTF-IDFベクトルを算出し、前記学習モデル内の前記第1のTF-IDFベクトルと前記第2のTF-IDFベクトルとの第1の類似度を算出し、前記第1の類似度が所定値以下の場合、算出した前記第2の異常発生期間に関するリコメンド情報を出力するリコメンド手段と
を備える運用管理システム。
前記機器より新たに取得した性能情報とイベントログを用いて、第2の異常発生期間と第2のTF-IDFベクトルを算出し、前記学習モデル内の前記第1のTF-IDFベクトルと前記第2のTF-IDFベクトルとの第1の類似度を算出し、前記第1の類似度が所定値以下の場合、算出した前記第2の異常発生期間に関するリコメンド情報を出力するリコメンド手段と
を備える運用管理システム。
【請求項2】
前記リコメンド手段は、蓄積された前記機器の性能情報とイベントログより、異常の類似度が所定値以上の第3の異常発生期間を抽出し、前記第3の異常発生期間における定期性の乱れがある場合、前記定期性の乱れに対応する異常発生期間に関するリコメンド情報を出力する、ことをさらに行う
請求項１に記載の運用管理システム。
請求項１に記載の運用管理システム。
【請求項3】
前記学習手段は、前記機器の性能情報とイベントログに対して、前記性能情報を学習用データとして用いた性能情報の予測データを取得し、前記予測データの異常発生期間を抽出して第4の異常発生期間とし、前記第4の異常発生期間と前記第4の異常発生期間に対応するイベントログを蓄積する、ことをさらに行い、
前記リコメンド手段は、前記第2の異常発生期間と前記第4の異常発生期間の比較で所定の差があった場合、前記第4の異常発生期間に対応するイベントログより第4のTF-IDFベクトルを算出し、前記第2のTF-IDFベクトルと前記第4のTF-IDFベクトルとにおける第2の類似度を算出し、前記第2の類似度が所定の値以上の場合、前記第2の異常発生期間に関するリコメンド情報を出力する、ことをさらに行う
請求項１または２に記載の運用管理システム。
前記リコメンド手段は、前記第2の異常発生期間と前記第4の異常発生期間の比較で所定の差があった場合、前記第4の異常発生期間に対応するイベントログより第4のTF-IDFベクトルを算出し、前記第2のTF-IDFベクトルと前記第4のTF-IDFベクトルとにおける第2の類似度を算出し、前記第2の類似度が所定の値以上の場合、前記第2の異常発生期間に関するリコメンド情報を出力する、ことをさらに行う
請求項１または２に記載の運用管理システム。
【請求項4】
前記リコメンド手段は、前記第2の類似度が所定値以下の場合、前記第2の異常発生期間に関するリコメンド情報を出力する、ことをさらに行う
請求項３に記載の運用管理システム。
請求項３に記載の運用管理システム。
【請求項5】
前記学習手段は、前記リコメンド情報に関して問題/異常があるかのフィードバック情報を受信し、該フィードバック情報を前記学習モデルに記憶する、ことをさらに行う
請求項１から４のいずれか１項に記載の運用管理システム。
請求項１から４のいずれか１項に記載の運用管理システム。
【請求項6】
前記リコメンド手段は、前記第2の類似度が所定値以上かつ、前記フィードバック情報に異常と登録されている場合のみ、前記第2の異常発生期間に関するリコメンド情報を出力する、ことをさらに行う、請求項３に記載の運用管理システム。
【請求項7】
前記学習手段および前記リコメンド手段は、
前記機器の性能情報に時系列データ異常検知アルゴリズムを適用することで異常度指数を取得し、
前記異常度指数が所定値以上の場合、異常発生期間を抽出し、
前記異常発生期間のイベントログに対して形態素分析を提供して分割し、
前記分割を用いてTF-IDFベクトルを算出する
ことによりTF-IDFベクトルを求める
請求項１から６のいずれか１項に記載の運用管理システム。
前記機器の性能情報に時系列データ異常検知アルゴリズムを適用することで異常度指数を取得し、
前記異常度指数が所定値以上の場合、異常発生期間を抽出し、
前記異常発生期間のイベントログに対して形態素分析を提供して分割し、
前記分割を用いてTF-IDFベクトルを算出する
ことによりTF-IDFベクトルを求める
請求項１から６のいずれか１項に記載の運用管理システム。
【請求項8】
前記運用管理システムは、前記機器より性能情報やイベントログを収集する保守管理装置を含む、請求項１から７のいずれか１項に記載の運用管理システム。
【請求項9】
管理対象となる機器の性能情報とイベントログより、前記性能情報を用いて第1の異常発生期間を抽出し、前記第1の異常発生期間におけるイベントログを用いて作成した第1のTF-IDFベクトルを算出し、少なくとも前記第1のTF-IDFベクトルを学習モデルとして記憶させ、
前記機器より新たに取得した性能情報とイベントログを用いて、第2の異常発生期間と第2のTF-IDFベクトルを算出し、前記学習モデル内の前記第1のTF-IDFベクトルと前記第2のTF-IDFベクトルとの第1の類似度を算出し、前記第1の類似度が所定値以下の場合、算出した前記第2の異常発生期間に関するリコメンド情報を出力する
運用管理方法。
前記機器より新たに取得した性能情報とイベントログを用いて、第2の異常発生期間と第2のTF-IDFベクトルを算出し、前記学習モデル内の前記第1のTF-IDFベクトルと前記第2のTF-IDFベクトルとの第1の類似度を算出し、前記第1の類似度が所定値以下の場合、算出した前記第2の異常発生期間に関するリコメンド情報を出力する
運用管理方法。
【請求項10】
運用管理のためのコンピュータプログラムであって、
管理対象となる機器の性能情報とイベントログより、前記性能情報を用いて第1の異常発生期間を抽出し、前記第1の異常発生期間におけるイベントログを用いて作成した第1のTF-IDFベクトルを算出し、少なくとも前記第1のTF-IDFベクトルを学習モデルとして記憶させ、
前記機器より新たに取得した性能情報とイベントログを用いて、第2の異常発生期間と第2のTF-IDFベクトルを算出し、前記学習モデル内の前記第1のTF-IDFベクトルと前記第2のTF-IDFベクトルとの第1の類似度を算出し、前記第1の類似度が所定値以下の場合、算出した前記第2の異常発生期間に関するリコメンド情報を出力する
ことをコンピュータに実行させるための運用管理のためのコンピュータプログラム。
管理対象となる機器の性能情報とイベントログより、前記性能情報を用いて第1の異常発生期間を抽出し、前記第1の異常発生期間におけるイベントログを用いて作成した第1のTF-IDFベクトルを算出し、少なくとも前記第1のTF-IDFベクトルを学習モデルとして記憶させ、
前記機器より新たに取得した性能情報とイベントログを用いて、第2の異常発生期間と第2のTF-IDFベクトルを算出し、前記学習モデル内の前記第1のTF-IDFベクトルと前記第2のTF-IDFベクトルとの第1の類似度を算出し、前記第1の類似度が所定値以下の場合、算出した前記第2の異常発生期間に関するリコメンド情報を出力する
ことをコンピュータに実行させるための運用管理のためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、運用管理システム、運用管理方法及び運用管理のためのコンピュータプログラムに関する。
【背景技術】
【0002】
ユーザ側で運用しているシステムを監視し、システムに異常が発生したことを検知した場合に、ユーザ側のシステム管理者等に異常の発生を通知するサービスが行われている。システムでの異常発生を検知する方法として、システムで発生するイベントログの発生状況やイベントログの内容を解析して検知する方法がある。システムの異常が検知されると、システムの構成や性能等の情報に基づいて、異常の原因を推定することが行われている。
【0003】
特許文献１は、監視対象となるシステムの構成を示す情報、性能を示す情報、及びイベントログ等の異なる種類の情報を、処理装置で発生した異常に関連付けて抽出することで、システムの監視を行う装置を開示する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１６‐０１２１９３号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、ユーザ側で運用しているシステムを監視する際、それら情報処理システム、情報処理機器、ソフトウェア、あるいは、それらの構成要素のシステム運用管理において、単なる異常の抽出だけではなく、異常の可能性のあるイベント、すなわちインシデントの可能性の早期検出が望まれている。
【0006】
上記課題を解決するために、本発明は、運用管理システム、運用管理方法及び運用管理のためのコンピュータプログラムを提供することを目的としている。
【課題を解決するための手段】
【0007】
本発明の第１の態様によれば、運用管理システムは、管理対象となる機器の性能情報とイベントログより、前記性能情報を用いて第1の異常発生期間を抽出し、前記第1の異常発生期間におけるイベントログを用いて作成した第1のTF-IDFベクトルを算出し、少なくとも前記第1のTF-IDFベクトルを学習モデルとして記憶させる学習手段と、前記機器より新たに取得した性能情報とイベントログを用いて、第2の異常発生期間と第2のTF-IDFベクトルを算出し、前記学習モデル内の前記第1のTF-IDFベクトルと前記第2のTF-IDFベクトルとの第1の類似度を算出し、前記第1の類似度が所定値以下の場合、算出した前記第2の異常発生期間に関するリコメンド情報を出力するリコメンド手段とを備える。
【0008】
また本発明の第２の態様によれば、運用管理方法は、管理対象となる機器の性能情報とイベントログより、前記性能情報を用いて第1の異常発生期間を抽出し、前記第1の異常発生期間におけるイベントログを用いて作成した第1のTF-IDFベクトルを算出し、少なくとも前記第1のTF-IDFベクトルを学習モデルとして記憶させ、前記機器より新たに取得した性能情報とイベントログを用いて、第2の異常発生期間と第2のTF-IDFベクトルを算出し、前記学習モデル内の前記第1のTF-IDFベクトルと前記第2のTF-IDFベクトルとの第1の類似度を算出し、前記第1の類似度が所定値以下の場合、算出した前記第2の異常発生期間に関するリコメンド情報を出力する。
【0009】
また本発明の第２の態様によれば、運用管理のためのコンピュータプログラムは、管理対象となる機器の性能情報とイベントログより、前記性能情報を用いて第1の異常発生期間を抽出し、前記第1の異常発生期間におけるイベントログを用いて作成した第1のTF-IDFベクトルを算出し、少なくとも前記第1のTF-IDFベクトルを学習モデルとして記憶させ、前記機器より新たに取得した性能情報とイベントログを用いて、第2の異常発生期間と第2のTF-IDFベクトルを算出し、前記学習モデル内の前記第1のTF-IDFベクトルと前記第2のTF-IDFベクトルとの第1の類似度を算出し、前記第1の類似度が所定値以下の場合、算出した前記第2の異常発生期間に関するリコメンド情報を出力することをコンピュータに実行させる。
【発明の効果】
【0010】
本発明によれば、監視対象となる機器において、異常の可能性のあるイベント、すなわちインシデントの可能性の検出ができる、という効果が得られる。
【図面の簡単な説明】
【0011】
【図1】本発明の一実施形態による運用管理システムの構成を示すブロック図である。
【図2】本発明の一実施形態による運用管理システムを、プロセッサを含むコンピュータ装置で実現するハードウェア構成の一例を示す図である。
【図3】本発明の一実施形態による運用管理システムによる第１の学習方法における動作の一例を示すフローチャートである。
【図4】本発明の一実施形態による運用管理システムによる第２の学習方法における動作の一例を示すフローチャートである。
【図5】本発明の一実施形態による運用管理システムによるリコメンド情報の生成における動作の一例を示すフローチャートである。
【図6】本発明の一実施形態による運用管理システムによるリコメンドに対するフィードバック情報の処理に関する動作の一例を示すフローチャートである。
【図7】本発明の一実施形態による運用管理システムによる異常発生期間の抽出のイメージを示す図である。
【図8】本発明の一実施形態による運用管理システムによるTF-IDFベクトルの計算のイメージを示す図である。
【図9】本発明の一実施形態による運用管理システムによる運用変化点の候補の抽出のイメージを示す図である。
【図10】本発明の一実施形態による運用管理システムによる類似度算出のイメージを示す図である。
【図11】本発明の一実施形態による運用管理システムの他の構成を示すブロック図である。
【図12】本発明の一実施形態による運用管理システムの最小構成図を示す図である。
【発明を実施するための形態】
【0012】
以下、本発明の一実施形態による運用管理システムを、図面を参照して説明する。図１は運用管理システム１０の構成を示すブロック図である。図１では、運用管理システム１０のほか、運用監視対象となる機器のあるサイト２０が示されている。運用管理システム１０は、送受信部１００、学習部２００、リコメンド部３００を備える。また、サイト２０には、監視のために必要な情報の収集を行う保守管理装置２１が設けられ、保守管理装置２１は、情報収集部２２、ログ情報記憶部２３、送受信部２４を備える。
【0013】
はじめに、保守管理装置２１の各処理部の機能について説明する。情報収集部２２は監視のために必要な情報を監視対象の機器から定期的に収集する。ログ情報記憶部２３は情報収集部２２にて収集された情報を蓄積する。送受信部２４は、一定期間の蓄積後に収集した情報を運用管理システム１０に送信する。また、送受信部２４は、運用管理システム１０から監視結果となる情報であるリコメンド情報を受信する。なお、監視のために必要な情報とは、監視対象となる機器を構成する情報処理機器、ソフトウェア、あるいは、それらの構成要素から得られる性能情報やイベントログである。また、ログ情報記憶部２３は監視のために必要な情報を蓄積する例を記載したが、蓄積せずに送受信部２４より直接、運用管理システム１０に監視のために必要な情報を随時送信してもよい。運用管理システム１０は、送受信部２４（ないしはそのサイト２０）にリコメンド情報を送信するとしたが、サイト２０の運用管理者の端末４０にリコメンド情報を送信しても良い。この場合、端末４０の所有者である運用管理者は、リコメンド結果を如何なる場所でも確認することが可能となる。また、保守管理装置２１は独立した装置として説明しているが、各機能をプログラムとしてその機能を提供してよもよい。
【0014】
次に、運用管理システム１０を構成する各処理部の機能について説明する。運用管理システム１０の送受信部１００は、監視対象となる機器のあるサイト２０から送信された性能情報、イベントログ等の情報を受信する。また、送受信部１００は、監視結果となるリコメンド情報をサイト２０や端末４０に送信する。運用管理システム１０を構成する学習部２００は、ログ情報記憶部２１０、時系列異常検知部２１１、異常判定部212、前処理部２１３、特徴抽出部２１４、モデル生成部２１５、モデル記憶部２１７、時系列予測部２２０、時系列異常検知部２２１、異常判断部２２２、異常期間記憶部２２３から構成される。運用管理システム１０を構成するリコメンド部３００は、ログ読み込み部３０１、時系列異常検知部３０２、異常判定部３０３、前処理部３０４、特徴抽出部３０５、分析部３０６、分析結果出力部３０７から構成される。
【0015】
学習部２００は、送受信部１００にてサイト２０から受信した性能情報とイベントログをログ情報記憶部２１０に記録する。また学習部２００は、ログ情報記憶部２１０から記録した性能情報とイベントログを取得する。時系列異常検知部２１１は、取得した性能情報に対して、時系列データ異常検知アルゴリズムを適用し、異常度指数を取得する。異常判定部212は、異常度指数が異常度しきい値を超過したか否かを判定する。また、異常判定部212は、異常度しきい値を超過した場合、異常度指数が異常度しきい値を超過して発生した期間を含む開始時刻／終了時刻の間で異常発生期間を抽出し、異常発生期間に対してインデックスを付与する。ここでインデックスは抽出した異常発生期間を特定するデータであり、その異常発生期間の特徴を示したデータを含むことがある。前処理部２１３は、異常発生期間のイベントログを抽出し、抽出したイベントログに対して形態素分析を適用し、品詞ごとやエラーを表す番号ごとにボキャブラリーとして分割する。特徴抽出部２１４は、前述の分割の一部もしくは全部からTF-IDFベクトルを算出する。ここで「TF-IDF」（Term Frequency-Inverse Document Frequency）とは索引語頻度逆文書頻度と呼ばれ、ボキャブラリーとして分割された情報内の単語の頻度やその重要度を用いて求めた値であり、「TF-IDFベクトル」とはその値を用いてベクトル化したものである。モデル生成部２１５は、異常発生期間／インデックス／TF-IDFベクトルを学習モデル２１６としてモデル記憶部２１７へ記録する。
【0016】
時系列予測部２２０は、読み込んだ性能情報に対して、時系列データに対する時系列予測アルゴリズムを適用し、性能情報の変化に関する予測結果を取得する。時系列異常検知部２２１は、予測結果に対して、時系列データ異常検知アルゴリズムを適用し、異常度指数を取得する。異常判断部２２２は、異常度指数が異常度しきい値を超過したか否かを判定する。また、異常判断部２２２は、異常度しきい値を超過した場合、異常度指数が異常度しきい値を超過して発生した期間を含む期間の開始時刻／終了時刻として異常発生期間を抽出し、インデックスを付与して異常期間記憶部２２３に記録する。
【0017】
リコメンド部３００は、第１のリコメンド方法を実行する機能と、第２のリコメンド方法を実行する機能とを備える。リコメンド部３００は、２つのリコメンド方法を実現する機能を有しており、それぞれのリコメンド情報を組み合わせることで、検知した異常や異常の可能性に対するリコメンドを実現する。
【0018】
リコメンド部３００における第１のリコメンド方法に関する機能について説明する。リコメンド部３００のログ読み込み部３０１は、受信した新たな性能情報とイベントログを取得する。時系列異常検知部３０２、異常判定部３０３、前処理部３０４、特徴抽出部３０５は、学習部２００の時系列異常検知部２１１、異常判定部212、前処理部２１３、特徴抽出部２１４とそれぞれ同様の動作を行う。すなわち、これら処理部により、ログ読み込み部３０１で、新たに取得した性能情報とイベントログを用いて、異常検知と異常発生期間を算出し、新たな異常発生期間におけるイベントログのTF-IDFベクトルを算出する。具体的には、時系列異常検知部３０２は、新たに取得した性能情報に対して、時系列データ異常検知アルゴリズムを適用し、異常度指数を取得する。異常判定部３０３は、異常度指数が異常度しきい値を超過したか否かを判定する。また、異常判定部３０３は、異常度指数が異常度しきい値を超過した場合、異常度指数が異常度しきい値を超過して発生した期間を含む開始時刻／終了時刻として異常発生期間を抽出し、インデックスを付与する。前処理部３０４は、異常発生期間のイベントログを抽出し、抽出したイベントログに対して形態素分析を適用し、品詞ごとやエラーを表す番号ごとにボキャブラリーとして分割する。特徴抽出部３０５は、分割の一部もしくは全部からTF-IDFベクトルを算出する。
【0019】
次に、分析部３０６は、モデル記憶部２１７から学習時に作成した学習モデル２１６を読み出し、学習モデル２１６から読み出したTF-IDFベクトルと特徴抽出部３０５で求めた新たな異常発生期間におけるイベントログのTF-IDFベクトルとをcos類似度などの手法で類似度を計算する。また、分析部３０６は、学習モデル２１６との類似度が高いものからインデックス情報を取得し、類似結果をリコメンド情報として生成する。加えて、分析部３０６は、学習モデル２１６からのTF-IDFベクトルと特徴抽出部３０５で求めたTF-IDFベクトルの類似度が低い場合、異常判定部３０３で求めた異常発生期間に対応するイベントログを抽出し、新規事象が発生した可能性があるなどのリコメンド情報１として生成する。
【0020】
また、分析部３０６は、過去の類似度が高いインデックス情報の異常発生期間を抽出し、異常発生期間の時間差を算出する。分析部３０６は、各時間差に定期性があるかを判断し、定期性があるものは定期性の崩れがあるかを判定する。そして、分析部３０６は、定期性の崩れがあった場合、定期運用における実行漏れや処理遅延が生じ始めているなどのリコメンド情報１として追加更新する。
【0021】
リコメンド部３００における第２のリコメンド方法に関する機能について説明する。ログ読み込み部３０１、時系列異常検知部３０２、異常判定部３０３、前処理部３０４、特徴抽出部３０５の動作は、１つ目のリコメンド方法における動作と同じである。分析部３０６は、現在と予測のそれぞれにおけるイベントログのTF-IDFベクトルから類似度を算出する。なお、現在のイベントログのTF-IDFベクトルは特徴抽出部３０５により取得済みであることから、分析部３０６は、予測におけるイベントログのTF-IDFベクトルを取得して、現在と予測のそれぞれにおけるイベントログのTF-IDFベクトルから類似度を算出する。なお、分析部３０６は、予測における異常発生期間に対応するイベントログのTF-IDFベクトルの取得のために、前処理部３０４、特徴抽出部３０５を利用しても良い。分析部３０６は、類似度が高いものは類似結果と合わせて、該当するイベントログ情報を取得し、これらのイベントの実行タイミングに変化があったのではないかということを示唆するリコメンド情報２を生成する。また、分析部３０６は、求めた類似度が低い場合は、類似しないイベントログを抽出し、新規事象の発生により業務処理性能に何らかの影響が生じた可能性がある旨を示唆するリコメンド情報２を生成する。
【0022】
リコメンド部３００の分析結果出力部３０７は、リコメンド情報１とリコメンド情報２を合わせて、リコメンド結果として出力する。なお、運用管理システム１０は、出力されたリコメンド結果を、サイト２０ないしは端末４０に送信する。
【0023】
なお、送信されたリコメンド結果を受け取った運用管理者は、リコメンド結果を確認する。また、運用管理者は、リコメンド結果で表示される期間におけるシステム運用の何らかの影響や問題発生が有るか否かを判断し、その結果をフィードバック情報として、サイト２０の中の所定の端末または端末４０を介して運用管理システム１０に送信する。
【0024】
運用管理システム１０は、受信したフィードバック情報が何らかの影響や問題のあったことを示す場合、モデル記憶部２１７に記憶された学習モデルに対して「異常」という情報を登録する。一方、運用管理システム１０は、フィードバック情報が問題のなかったことを示す場合、モデル記憶部２１７に記憶された学習モデルに対して「正常」という情報を登録する。
【0025】
以上が、運用管理システム１０を構成する処理部の機能である。なお、運用管理システム１０は、物理的なサーバではなく、クラウド上の仮想サーバとして構成してもよい。
【0026】
図２は、本開示の運用管理システム１０を、プロセッサを含むコンピュータ装置４で実現するハードウェア構成の一例を示す図である。図２に示されるように、コンピュータ装置４は、ＣＰＵ(Central Processing Unit)４０１、ＲＯＭ（Read Only Memory）４０２、ＲＡＭ（Random Access Memory）４０３等のメモリ、プログラム４０４を格納するハードディスク等の記憶装置４０５を含む。さらに、コンピュータ装置４は、通信ネットワーク４１３への接続用の通信Ｉ／Ｆ（Interface）４０８、周辺機器４１４に対してデータの入出力を行う入出力インタフェース４１１を含む。また、コンピュータ装置４は、バス４１２を介して、コンピュータ装置４を構成する各デバイスと、コンピュータ装置４内部または外部に設けられる入力装置４０９および出力装置４１０とを接続する。
【0027】
ＣＰＵ４０１は、オペレーティングシステムを動作させて運用管理システム１０を実現するコンピュータ装置４の全体を制御する。また、ＣＰＵ４０１は、例えばドライブ装置４０７などに装着された記録媒体４０６からメモリにプログラムやデータを読み出す。また、ＣＰＵ４０１は、図１に示す学習部２００やリコメンド部３００として機能し、プログラムに基づいて後述する図３から図６に示すフローチャートにおける処理または命令を実行する。
【0028】
記録媒体４０６は、例えば光ディスク、フレキシブルディスク、磁気光ディスク、外付けハードディスク、または半導体メモリ等である。一部の記録媒体は、不揮発性記憶装置であり、そこにプログラムを記録する。また、プログラムは、通信網に接続されている図示しない外部コンピュータからダウンロードされてもよい。
【0029】
入力装置４０９は、例えば、マウスやキーボード、内蔵のキーボタンなどで実現され、入力操作に用いられる。入力装置４０９は、マウスやキーボード、内蔵のキーボタンに限らず、例えばタッチパネルでもよい。出力装置４１０は、例えばディスプレイで実現され、出力を確認するために用いられる。本実施形態において、運用管理システム１０は、利用者により入力装置４０９から製品の設計に関する必要な操作を受付したことを検知すると、処理を開始する。
【0030】
以上のように、図１に示す運用管理システム１０は、図２に示されるコンピュータ・ハードウェアによって実現される。ただし、図１の運用管理システム１０が備える各部の実現手段は、以上説明した構成に限定されない。また運用管理システム１０は、物理的に結合した一つの装置により実現されてもよいし、物理的に分離した二つ以上の装置を有線または無線で接続し、これら複数の装置により実現されてもよい。たとえば、入力装置４０９及び出力装置４１０は、コンピュータ装置４とネットワークを経由して接続されていてもよい。また、記憶装置４０５は、図１に示すログ情報記憶部２１０、モデル記憶部２１７、異常期間記憶部２２３として、設計支援のために必要となる各種情報を記憶する。
【0031】
次に、図３から～図１１を参照して、運用管理システム１０の動作ついて詳細に説明する。図１の保守管理装置２１は、サイト２０内の監視対象となる機器の性能情報、イベントログを定期的に収集する。また、保守管理装置２１は、定期的に収集した情報はネットワークを経由して運用管理システム１０に送信する。運用管理システム１０の送受信部１００は、送信された性能情報、イベントログを受信し、ログ情報記憶部２１０に記憶させる。
【0032】
運用管理システム１０により行われる第１の学習方法のための学習部２００の動作について、図３を用いて説明する。学習部２００は、保守管理装置２１から受信した性能情報とイベントログをログ情報記憶部２１０から取得する（Ｓ１００）。時系列異常検知部２１１は、取得した性能情報に対して、時系列データ異常検知アルゴリズムを適用し、時系列的に示される異常度指数を取得する（Ｓ１０１）。ここで、時系列データ異常検知アルゴリズムとしては、Change Finder、特異スペクトル変換、近傍法、One-Class SVMなどのアルゴリズムである。
【0033】
異常判定部212は、異常度指数が異常度しきい値を超過したか否かを判定する（Ｓ１０２）。異常度しきい値は予め設定された値とする。異常判定部212は、時系列的に示される異常度指数が異常度しきい値を超過した場合（Ｓ１０２のYes）、異常度しきい値を超過して異常度指数が発生している期間を含む期間を開始時刻／終了時刻として異常発生期間を抽出し、異常発生期間に対するインデックスを付与する（Ｓ１０３）。ここで、異常発生期間は、異常度しきい値を超過した異常度指数が発生している期間よりもやや広い期間、例えば、異常度指数が異常度しきい値を超過している期間の開始時刻と終了時刻に対してそれぞれαの幅を持った期間としてもよい。図７は、異常判定部212による異常発生期間を求める際の例を示す図である。
【0034】
前処理部２１３は、ステップS１００で取得したイベントログより、異常発生期間のイベントログを抽出する（Ｓ１０４）。また、前処理部２１３は、抽出したイベントログに対して形態素分析を適用し、品詞ごとやエラーを表す番号ごとにボキャブラリーとして分割する（Ｓ１０５）。特徴抽出部２１４は、分割の一部もしくは全部からTF-IDFベクトルを算出する（Ｓ１０６）。図８は、前処理部２１３による形態素分析から、特徴抽出部２１４によるTF-IDFベクトルの算出のイメージを示した図である。モデル生成部２１５は、異常発生期間／インデックス／TF-IDFベクトルを学習モデル２１６としてモデル記憶部２１７へ記録する(Ｓ１０７)。
【0035】
次に、運用管理システム１０により行われる第２の学習方法のための学習部２００の動作について、図４を用いて説明する。学習部２００は、ログ情報記憶部２１０から性能情報とイベントログを取得する（Ｓ２００）。時系列予測部２２０は、読み込んだ性能情報に対して、時系列データの時系列予測アルゴリズムを適用し、予測結果を取得する（Ｓ２０１）。時系列データの時系列予測アルゴリズムとしては、自己回帰、移動平均、自己回帰移動平均、季節性自己回帰和分移動平均、ベクトル自己回帰、状態空間、LSTMなどのニューラルネットワーク、各種アルゴリズムのアンサンブル手法などのいずれでもよい。例えば、図９の上段に示すように、時系列予測部２２０は、学習期間に対する性能情報を用いて図９の予測期間に対応する期間の性能情報の変化の予測結果を予測データ（符号９ａで示す破線）として取得する。
【0036】
時系列異常検知部２２１は、予測データで示される性能情報に対して、時系列データ異常検知アルゴリズムを適用し、異常度指数を取得する（Ｓ２０２）。異常判断部２２２は、異常度しきい値を用いて、予測データの異常度指数が異常度しきい値を超過したか否かを判定する（Ｓ２０３）。異常判断部２２２は、予測データの異常度指数が異常度しきい値を超過した場合（Ｓ２０３のYes）、予測データの異常度指数が異常度しきい値を超過した期間を含む異常発生期間（図９の９ｃ、９ｄで示す異常度指数に対応する異常発生期間）を抽出し、インデックスを付与して異常期間記憶部２２３に記録する(Ｓ２０５)。なお、異常発生期間は、第１の学習方法と同様に、異常度しきい値を超過して異常度指数が発生している期間よりもやや広い期間、例えば、異常度指数が異常度しきい値を超過している期間の開始時刻と終了時刻に対しておのおのαの幅を持った期間としてもよい。
【0037】
次に、運用管理システム１０におけるリコメンドを生成する処理について説明する。リコメンド部３００は、前述のように２つのリコメンド方法を有しており、それぞれのリコメンド情報を組み合わせることでリコメンドを実現している。
【0038】
運用管理システム１０により行われる第１のリコメンド方法のためのリコメンド部３００の動作について、図５のステップＳ５００、Ｓ１１０、Ｓ５１０からＳ５１６を参照して説明する。リコメンド部３００のログ読み込み部３０１は、受信した新たな性能情報とイベントログを取得する（Ｓ５００）。次に、図３のステップＳ１０１からＳ１０６に示す第１の学習方法と同様の手法で、時系列異常検知部３０２、異常判定部３０３、前処理部３０４、特徴抽出部３０５により、新たに取得した性能情報より異常検知と異常発生期間を算出し、新たな異常発生期間におけるイベントログよりTF-IDFベクトルを算出する（図５のＳ１１０）。図１０の符号１０ａ，１０ｂ，１０ｃは、新たに取得した性能情報、算出した異常度指数と異常発生期間の算出、および、TF-IDFベクトル化のイメージを示す。
【0039】
分析部３０６は、モデル記憶部２１７から学習時に作成した学習モデル２１６を読み出す（Ｓ５１０）。また、分析部３０６は、新たな性能情報から求めた異常発生期間におけるイベントログのTF-IDFベクトルと学習モデル２１６から読み出したTF-IDFベクトルとにおいて、cos類似度などの手法で類似度を計算する（Ｓ５１２）。分析部３０６は、学習モデル２１６との類似度が高いものからインデックス情報を取得し、類似結果を異常発生期間やその間のイベントに対するリコメンド情報として生成する（Ｓ５１３）。図１０の符号１０ｄは、新たな性能情報から求めた異常発生期間におけるイベントログのTF-IDFベクトルと学習モデル２１６から読み出したTF-IDFベクトルとの類似度算出のイメージの一例を示している。なお、類似度が高いか、低いかの判断は、例えば、類似度と所定のしきい値との比較により行う。なお、所定のしきい値は、類似度が高いと判断する場合と低いとする場合とで同じであてもよく、類似度が高いと判断する場合と低いとする場合とで異なるしきい値を設定しても良い。
【0040】
また、分析部３０６は、学習モデル２１６との類似度が低い場合、学習モデル２１６と類似しない新たに得られた異常発生期間に対応するイベントログを抽出し、新規事象が発生した可能性のあるイベントと関連付けてリコメンド情報１を生成する(Ｓ５１３)。
【0041】
加えて、分析部３０６は、新たに得られた性能情報によるインデックス情報に対して、過去の類似度が高いインデックス情報の異常発生期間を抽出し、得られた複数の異常発生期間の時間差を算出する（Ｓ５１４）。分析部３０６は、各時間差に定期性（たとえばおおよそ１日ごと、１週間ごとなど）があるかを判断し、定期性があるものは定期性の崩れがあるかを判定する（Ｓ５１５）。ここで定期性の崩れとは、各時間差において、一部の差が他と比べて大きい、あるいは、差が徐々に広まる等である。分析部３０６は、定期性の崩れがあったと判断する場合は（Ｓ５１５のYes）、定期運用における実行漏れや処理遅延が生じ始めているなどのインシデント可能性ありとして、リコメンド情報１を異常発生期間やそれに対応するイベントに関連付けて追加更新する(Ｓ５１６)。
【0042】
第２のリコメンド方法は図５のステップＳ５００、Ｓ１１０、Ｓ５０１からＳ５０６により実行される。ただし、図５のＳ５００、Ｓ１１０は第１のリコメンド方法における動作と同じであることから、ステップＳ５０１に示す動作より説明する。分析部３０６は、異常期間記憶部２２３から学習時の予測結果の異常発生期間とインデックスを取得する（Ｓ５０１）。この処理で、分析部３０６は、例えば、図９の符号９ｃ、９ｄに対応する異常発生期間とインデックスを取得する。分析部３０６は、新たに取得した性能情報における異常発生期間と同一時間帯における予測結果による異常発生期間とに差分があるかを判定する（Ｓ５０２）。例えば、図９における符号９ｅ、９ｆに示す新たに取得した性能情報における異常発生期間に対して、符号９ｃ、９ｄに対応する予測結果に基づく異常発生期間との比較により差分を求める。図９は、符号９ｅに示す新たに取得した性能情報における異常発生期間に対して、符号９ｃに対応する予測結果に基づく異常発生期間との比較では差があると判断された例と示している。一方、図９における符号９ｆに示す新たに取得した性能情報における異常発生期間に対して、符号９ｄに対応する予測結果に基づく異常発生期間との比較では差がないと判断された例と示している。なお、差があるか否かは、一例として、比較対象となる２つの異常発生期間に重複する期間があるか否か、あるいは、２つの異常発生期間の重なる全期間に対する重複期間の比を利用する等により判断する。なお、図９において符号９ｂは予測データに対する実際の性能情報の時系列的な変化を示す正解データを例示している。
【0043】
分析部３０６が新たに取得した性能情報における異常発生期間と同一時間帯における予測結果の異常発生期間との比較で差があると判断した場合（Ｓ５０２のＹｅｓ）、分析部３０６は、予測結果の異常発生期間におけるイベントログのTF-IDFベクトルをさらに算出する（Ｓ５０３）。なお、分析部３０６は、予測結果の異常発生期間におけるイベントログのTF-IDFベクトルの算出を前処理部３０４、特徴抽出部３０５を利用して算出しても良い。続いて、分析部３０６は、cos類似度などの手法で現在と予測それぞれにおけるイベントログのTF-IDFベクトルから類似度を計算する（Ｓ５０４）。分析部３０６は、類似度が高いものは類似結果と合わせて、該当するイベントログ情報を取得し、これらのイベントの実行タイミングに変化があったのではないかを示唆するリコメンド情報２を対象の異常発生期間やその間のイベントと関連付けて生成する（Ｓ５０６）。
【0044】
一方、類似度が低い場合と判断した場合、分析部３０６は、新たな性能情報における異常発生期間に対応するイベントログを抽出し、新規事象の発生により業務処理性能に何らかの影響が生じた可能性がある旨を示唆するリコメンド情報２を異常発生期間やその間のイベントと関連付けて生成する（Ｓ５０６）。
【0045】
第１および第２のリコメンド方法の実行の後、分析結果出力部３０７は、リコメンド情報１とリコメンド情報２を合わせて、インシデントのある可能性のある異常発生期間やその間のイベントであり、確認の必要性のありとして、リコメンド結果を出力する(Ｓ５２０)。また、運用管理システム１０は、リコメンド結果をサイト２０あるいは端末４０に送信する。
【0046】
続いて、運用管理システム１０による、リコメンド結果に対するサイト２０の運用管理者からのフィードバック情報の処理に関する動作について図６を用いて説明する。運用管理システム１０は、端末４０等を通じで管理者からのフィードバック情報を受信する（Ｓ３００）。フィードバック情報は、抽出した異常発生期間やその間のイベントに対するリコメンド結果に対して、運用管理者より確認された結果を示す情報であり、システム運用の何らかの影響や問題発生の有無を示す情報である。運用管理システム１０は、受信したフィードバック情報が問題ありを示す場合（Ｓ３０１のYes）、モデル記憶部２１７に記憶されたフィードバック情報に対応する学習モデルの異常発生期間等に関連付けて「異常」という情報を登録する。問題がなかった場合（Ｓ３０１のNo）、モデル記憶部２１７に記憶された対応する学習モデルの異常発生期間等に関連付けて「正常」という情報を登録する。運用管理システム１０を上述のシステム構成にて、学習とリコメンドを実行し、問題の有無を登録することで、インシデント予備軍を早期に提示することができるようになる。また、運用変化点の候補も提示することができるようになる。なお、運用管理システム１０は、過去に異常と判断された期間と類似する事象が発生したときのみ、リコメンド結果を送信するよう予め構成してもよい。あるいは、運用管理システム１０は、過去に異常と判断された期間と類似する事象が発生したときのみ、リコメンド結果を送信するよう運用管理者による設定が行えるようにしても良い。これにより、運用管理システム10のリコメンド部300は、図６のS303で「異常」という情報が登録された異常期間が図５のフローで類似と判定された場合はリコメンド結果を送信し、図６のS302で「正常」という情報が登録された異常期間が図５のフローで類似と判定された場合はリコメンドを行わない、とすることができる。これにより、運用管理者は、「異常」と考えられるリコメンド結果の確認のみとすることがき、結果として、コメンド結果の確認、フィードバック情報の処理の負担を軽減できる。
【0047】
なお、上記の説明において、学習部２００による学習は、ログ情報が蓄積されることに応答して、所定期間ごとに随時、行われる。
【0048】
また、リコメンド部３００は、抽出された異常発生期間等に関連付けて登録されたフィードバック情報を利用した処理をしても良い。例えば、リコメンド部３００は、抽出された異常発生期間に対応する学習モデルに「正常」との情報が登録されている場合、リコメンド対象から除く処理をしても良い。
【0049】
図５に関するリコメンド処理において、第１のリコメンド方法としてステップＳ５００、Ｓ１００および、ステップＳ５１０からＳ５１６、第２のリコメンド方法としてステップＳ５００、Ｓ１００および、ステップＳ５０２からＳ５０６として説明した。この処理において、ステップＳ５００、Ｓ１００は重複していることから、第１のリコメンド方法と第２のリコメンド方法のいずれかでステップＳ５００、Ｓ１００が実行された場合、他のリコメンド方法の実行の際は、ステップＳ５００、Ｓ１００を省略しても良い。また、運用管理システム１０は、第１のリコメンド方法と第２のリコメンド方法を実行する機能を備えるとして説明したが、いずれか一方のリコメンド方法を実行する機能のみを備えるようにしても良い。
【0050】
また、図１では、サイト２０に設置される保守管理装置２１と、サイト２０外に設置される運用管理システム１０とは、別の装置（システム）として説明したが、これに限るものではない。例えば、サイト２０に２つの装置を設置してもよく、あるいは、図１１に示すように、２つの装置（システム）の双方の機能を備えた１つの装置（システム）としてサイト２０に設置しても良い。
【0051】
また、運用管理システム１０は、学習後にログ情報記憶部２１０に記憶するログ情報を削除しても良い。これにより、運用管理システム１０は、ログ情報をすべて記憶することなく、異常発生期間／インデックス／TF-IDFベクトルと言ったログ特徴量のみで類似度解析を行うことができるため、運用センターで保持する情報量を削減することもできる。
【0052】
以上の通り、運用管理システム１０は、イベントログデータを使用して計算によりリコメンド情報を出力するようにすることで、主観や表記ゆれなどを排除することができ、特徴量抽出精度を向上させることができる。また、時系列データに異常検知アルゴリズムを用いることで、正常データの学習を不要にすることができる。
【0053】
また、リソース使用状況の時系列データに異常検知アルゴリズムにより、外れ値／変化点／異常部位を検知し、異常発生期間におけるイベントログ特徴量の類似度から過去の発生事象との同定判断を実施することで、リソース変動要因の問題有無の判定や新規事象の発生を容易に実現することができる。
【0054】
運用管理システム１０は、時系列データの予測を用いている。このため、予測に対する異常検知結果より、インシデント予備軍が発生する可能性を示唆することができる。また、予測と実際とに差があった場合、予測／実際のそれぞれのイベントログの差分から運用変化点の発生を示唆することができる。
【0055】
また、運用管理システム１０は、時系列データの異常検知アルゴリズムを適用しているため、正常データの学習などが不要であり、また、フィードバック情報を活用しつつ運用をしていくことで自律的にインシデント管理レベルを向上させることもできる。
【0056】
以上の通り、システム運用管理において、インシデント予備軍の早期検出、システム運用における運用変化点を検出することができ、システムを運用していくことで、インシデント管理レベルを学習／成熟させることができるため、コンピュータシステムの信頼性を自律的に向上させることが可能となる。
【0057】
図１２は、本発明の一実施形態による運用管理システムの最小構成図を示す図である。運用管理システム１０は少なくとも学習部２００とリコメンド部３００を備える。学習部２００は、管理対象となる機器の性能情報とイベントログより、前記性能情報を用いて第1の異常発生期間を抽出し、前記第1の異常発生期間におけるイベントログを用いて作成した第1のTF-IDFベクトルを算出し、少なくとも前記第1のTF-IDFベクトルを学習モデルとして記憶させる。リコメンド部３００は、前記機器より新たに取得した性能情報とイベントログを用いて、第2の異常発生期間と第2のTF-IDFベクトルを算出し、前記学習モデル内の前記第1のTF-IDFベクトルと前記第2のTF-IDFベクトルとの第1の類似度を算出し、前記第1の類似度が所定値以下の場合、算出した前記第2の異常発生期間に関するリコメンド情報を出力する。
【0058】
なお、図１における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより運用監視対象となる機器の運用管理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【0059】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【0060】
上記の実施の形態の一部または全部は、以下の付記のようにも記載され得るが、以下には限られない。
【0061】
（付記１）管理対象となる機器の性能情報とイベントログより、前記性能情報を用いて第1の異常発生期間を抽出し、前記第1の異常発生期間におけるイベントログを用いて作成した第1のTF-IDFベクトルを算出し、少なくとも前記第1のTF-IDFベクトルを学習モデルとして記憶させる学習手段と、
前記機器より新たに取得した性能情報とイベントログを用いて、第2の異常発生期間と第2のTF-IDFベクトルを算出し、前記学習モデル内の前記第1のTF-IDFベクトルと前記第2のTF-IDFベクトルとの第1の類似度を算出し、前記第1の類似度が所定値以下の場合、算出した前記第2の異常発生期間に関するリコメンド情報を出力するリコメンド手段と
を備える運用管理システム。
前記機器より新たに取得した性能情報とイベントログを用いて、第2の異常発生期間と第2のTF-IDFベクトルを算出し、前記学習モデル内の前記第1のTF-IDFベクトルと前記第2のTF-IDFベクトルとの第1の類似度を算出し、前記第1の類似度が所定値以下の場合、算出した前記第2の異常発生期間に関するリコメンド情報を出力するリコメンド手段と
を備える運用管理システム。
【0062】
（付記２）前記リコメンド手段は、蓄積された前記機器の性能情報とイベントログより、異常の類似度が所定値以上の第3の異常発生期間を抽出し、前記第3の異常発生期間における定期性の乱れがある場合、前記定期性の乱れに対応する異常発生期間に関するリコメンド情報を出力する、ことをさらに行う
付記１に記載の運用管理システム。
付記１に記載の運用管理システム。
【0063】
（付記３）前記学習手段は、前記機器の性能情報とイベントログに対して、前記性能情報を学習用データとして用いた性能情報の予測データを取得し、前記予測データの異常発生期間を抽出して第4の異常発生期間とし、前記第4の異常発生期間と前記第4の異常発生期間に対応するイベントログを蓄積する、ことをさらに行い、
前記リコメンド手段は、前記第2の異常発生期間と前記第4の異常発生期間の比較で所定の差があった場合、前記第4の異常発生期間に対応するイベントログより第4のTF-IDFベクトルを算出し、前記第2のTF-IDFベクトルと前記第4のTF-IDFベクトルとにおける第2の類似度を算出し、前記第2の類似度が所定の値以上の場合、前記第2の異常発生期間に関するリコメンド情報を出力する、ことをさらに行う
付記１または２に記載の運用管理システム。
前記リコメンド手段は、前記第2の異常発生期間と前記第4の異常発生期間の比較で所定の差があった場合、前記第4の異常発生期間に対応するイベントログより第4のTF-IDFベクトルを算出し、前記第2のTF-IDFベクトルと前記第4のTF-IDFベクトルとにおける第2の類似度を算出し、前記第2の類似度が所定の値以上の場合、前記第2の異常発生期間に関するリコメンド情報を出力する、ことをさらに行う
付記１または２に記載の運用管理システム。
【0064】
（付記４）前記リコメンド手段は、前記第2の類似度が所定値以下の場合、前記第2の異常発生期間に関するリコメンド情報を出力する、ことをさらに行う
付記３に記載の運用管理システム。
付記３に記載の運用管理システム。
【0065】
（付記５）前記学習手段は、前記リコメンド情報に関して問題/異常があるかのフィードバック情報を受信し、該フィードバック情報を前記学習モデルに記憶する、ことをさらに行う
付記１から４のいずれか１つに記載の運用管理システム。
付記１から４のいずれか１つに記載の運用管理システム。
【0066】
（付記６）前記リコメンド手段は、前記第2の類似度が所定値以上かつ、前記フィードバック情報に異常と登録されている場合のみ、前記第2の異常発生期間に関するリコメンド情報を出力する、ことをさらに行う、付記３に記載の運用管理システム。
【0067】
（付記７）前記学習手段および前記リコメンド手段は、
前記機器の性能情報に時系列データ異常検知アルゴリズムを適用することで異常度指数を取得し、
前記異常度指数が所定値以上の場合、異常発生期間を抽出し、
前記異常発生期間のイベントログに対して形態素分析を提供して分割し、
前記分割を用いてTF-IDFベクトルを算出する
ことによりTF-IDFベクトルを求める
付記１から６のいずれか１つに記載の運用管理システム。
前記機器の性能情報に時系列データ異常検知アルゴリズムを適用することで異常度指数を取得し、
前記異常度指数が所定値以上の場合、異常発生期間を抽出し、
前記異常発生期間のイベントログに対して形態素分析を提供して分割し、
前記分割を用いてTF-IDFベクトルを算出する
ことによりTF-IDFベクトルを求める
付記１から６のいずれか１つに記載の運用管理システム。
【0068】
（付記８）前記異常発生期間は、前記異常度指数が所定値以上の期間を含む期間とする、付記７に記載の運用管理システム。
【0069】
（付記９）前記運用管理システムは、前記機器より性能情報やイベントログを収集する保守管理装置を含む、付記１から８のいずれか１つに記載の運用管理システム。
【0070】
（付記１０）管理対象となる機器の性能情報とイベントログより、前記性能情報を用いて第1の異常発生期間を抽出し、前記第1の異常発生期間におけるイベントログを用いて作成した第1のTF-IDFベクトルを算出し、少なくとも前記第1のTF-IDFベクトルを学習モデルとして記憶させ、
前記機器より新たに取得した性能情報とイベントログを用いて、第2の異常発生期間と第2のTF-IDFベクトルを算出し、前記学習モデル内の前記第1のTF-IDFベクトルと前記第2のTF-IDFベクトルとの第1の類似度を算出し、前記第1の類似度が所定値以下の場合、算出した前記第2の異常発生期間に関するリコメンド情報を出力する
運用管理方法。
前記機器より新たに取得した性能情報とイベントログを用いて、第2の異常発生期間と第2のTF-IDFベクトルを算出し、前記学習モデル内の前記第1のTF-IDFベクトルと前記第2のTF-IDFベクトルとの第1の類似度を算出し、前記第1の類似度が所定値以下の場合、算出した前記第2の異常発生期間に関するリコメンド情報を出力する
運用管理方法。
【0071】
（付記１１）運用管理のためのコンピュータプログラムであって、
管理対象となる機器の性能情報とイベントログより、前記性能情報を用いて第1の異常発生期間を抽出し、前記第1の異常発生期間におけるイベントログを用いて作成した第1のTF-IDFベクトルを算出し、少なくとも前記第1のTF-IDFベクトルを学習モデルとして記憶させ、
前記機器より新たに取得した性能情報とイベントログを用いて、第2の異常発生期間と第2のTF-IDFベクトルを算出し、前記学習モデル内の前記第1のTF-IDFベクトルと前記第2のTF-IDFベクトルとの第1の類似度を算出し、前記第1の類似度が所定値以下の場合、算出した前記第2の異常発生期間に関するリコメンド情報を出力する
ことをコンピュータに実行させるためのコンピュータプログラム。
管理対象となる機器の性能情報とイベントログより、前記性能情報を用いて第1の異常発生期間を抽出し、前記第1の異常発生期間におけるイベントログを用いて作成した第1のTF-IDFベクトルを算出し、少なくとも前記第1のTF-IDFベクトルを学習モデルとして記憶させ、
前記機器より新たに取得した性能情報とイベントログを用いて、第2の異常発生期間と第2のTF-IDFベクトルを算出し、前記学習モデル内の前記第1のTF-IDFベクトルと前記第2のTF-IDFベクトルとの第1の類似度を算出し、前記第1の類似度が所定値以下の場合、算出した前記第2の異常発生期間に関するリコメンド情報を出力する
ことをコンピュータに実行させるためのコンピュータプログラム。
【符号の説明】
【0072】
１０ 運用管理システム
１００ 送受信部
２００ 学習部
２１０ ログ情報記憶部
２１１ 時系列異常検知部
２１２ 異常判定部
２１３ 前処理部
２１４ 特徴抽出部
２１５ モデル生成部
２１７ モデル記憶部
２２０ 時系列予測部
２２１ 時系列異常検知部
２２２ 異常判断部
２２３ 異常期間記憶部
３００ リコメンド部
３０１ ログ読み込み部
３０２ 時系列異常検知部
３０３ 異常判定部
３０４ 前処理部
３０５ 特徴抽出部
３０６ 分析部
３０７ 分析結果出力部
１００ 送受信部
２００ 学習部
２１０ ログ情報記憶部
２１１ 時系列異常検知部
２１２ 異常判定部
２１３ 前処理部
２１４ 特徴抽出部
２１５ モデル生成部
２１７ モデル記憶部
２２０ 時系列予測部
２２１ 時系列異常検知部
２２２ 異常判断部
２２３ 異常期間記憶部
３００ リコメンド部
３０１ ログ読み込み部
３０２ 時系列異常検知部
３０３ 異常判定部
３０４ 前処理部
３０５ 特徴抽出部
３０６ 分析部
３０７ 分析結果出力部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【手続補正書】
【提出日】2023-05-11
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
管理対象となる機器の性能情報とイベントログより、前記性能情報を用いて第1の異常発生期間を抽出し、前記第1の異常発生期間におけるイベントログを用いて作成した第1のTF-IDFベクトルを算出し、少なくとも前記第1のTF-IDFベクトルを学習モデルとして記憶させる学習手段と、
前記機器より新たに取得した性能情報とイベントログを用いて、第2の異常発生期間と第2のTF-IDFベクトルを算出し、前記学習モデル内の前記第1のTF-IDFベクトルと前記第2のTF-IDFベクトルとの第1の類似度を算出し、前記第1の類似度が所定値以下の場合、算出した前記第2の異常発生期間に関するリコメンド情報を出力するリコメンド手段と
を備え、
前記学習手段は、前記機器の性能情報とイベントログに対して、前記性能情報を学習用データとして用いた性能情報の予測データを取得し、前記予測データの異常発生期間を抽出して第4の異常発生期間とし、前記第4の異常発生期間と前記第4の異常発生期間に対応するイベントログを蓄積する、ことをさらに行い、
前記リコメンド手段は、前記第2の異常発生期間と前記第4の異常発生期間の比較で所定の差があった場合、前記第4の異常発生期間に対応するイベントログより第4のTF-IDFベクトルを算出し、前記第2のTF-IDFベクトルと前記第4のTF-IDFベクトルとにおける第2の類似度を算出し、前記第2の類似度が所定の値以上の場合、前記第2の異常発生期間に関するリコメンド情報を出力する、ことをさらに行う
運用管理システム。
前記機器より新たに取得した性能情報とイベントログを用いて、第2の異常発生期間と第2のTF-IDFベクトルを算出し、前記学習モデル内の前記第1のTF-IDFベクトルと前記第2のTF-IDFベクトルとの第1の類似度を算出し、前記第1の類似度が所定値以下の場合、算出した前記第2の異常発生期間に関するリコメンド情報を出力するリコメンド手段と
を備え、
前記学習手段は、前記機器の性能情報とイベントログに対して、前記性能情報を学習用データとして用いた性能情報の予測データを取得し、前記予測データの異常発生期間を抽出して第4の異常発生期間とし、前記第4の異常発生期間と前記第4の異常発生期間に対応するイベントログを蓄積する、ことをさらに行い、
前記リコメンド手段は、前記第2の異常発生期間と前記第4の異常発生期間の比較で所定の差があった場合、前記第4の異常発生期間に対応するイベントログより第4のTF-IDFベクトルを算出し、前記第2のTF-IDFベクトルと前記第4のTF-IDFベクトルとにおける第2の類似度を算出し、前記第2の類似度が所定の値以上の場合、前記第2の異常発生期間に関するリコメンド情報を出力する、ことをさらに行う
運用管理システム。
【請求項2】
前記リコメンド手段は、蓄積された前記機器の性能情報とイベントログより、異常の類似度が所定値以上の第3の異常発生期間を抽出し、前記第3の異常発生期間における定期性の乱れがある場合、前記定期性の乱れに対応する異常発生期間に関するリコメンド情報を出力する、ことをさらに行う
請求項１に記載の運用管理システム。
請求項１に記載の運用管理システム。
【請求項3】
前記リコメンド手段は、前記第2の類似度が所定値以下の場合、前記第2の異常発生期間に関するリコメンド情報を出力する、ことをさらに行う
請求項１に記載の運用管理システム。
請求項１に記載の運用管理システム。
【請求項4】
前記学習手段は、前記リコメンド情報に関して問題/異常があるかのフィードバック情報を受信し、該フィードバック情報を前記学習モデルに記憶する、ことをさらに行う
請求項１から３のいずれか１項に記載の運用管理システム。
請求項１から３のいずれか１項に記載の運用管理システム。
【請求項5】
前記リコメンド手段は、前記第2の類似度が所定値以上かつ、前記フィードバック情報に異常と登録されている場合のみ、前記第2の異常発生期間に関するリコメンド情報を出力する、ことをさらに行う、請求項４に記載の運用管理システム。
【請求項6】
前記学習手段および前記リコメンド手段は、
前記機器の性能情報に時系列データ異常検知アルゴリズムを適用することで異常度指数を取得し、
前記異常度指数が所定値以上の場合、異常発生期間を抽出し、
前記異常発生期間のイベントログに対して形態素分析を提供して分割し、
前記分割を用いてTF-IDFベクトルを算出する
ことによりTF-IDFベクトルを求める
請求項１から５のいずれか１項に記載の運用管理システム。
前記機器の性能情報に時系列データ異常検知アルゴリズムを適用することで異常度指数を取得し、
前記異常度指数が所定値以上の場合、異常発生期間を抽出し、
前記異常発生期間のイベントログに対して形態素分析を提供して分割し、
前記分割を用いてTF-IDFベクトルを算出する
ことによりTF-IDFベクトルを求める
請求項１から５のいずれか１項に記載の運用管理システム。
【請求項7】
前記運用管理システムは、前記機器より性能情報やイベントログを収集する保守管理装置を含む、請求項１から６のいずれか１項に記載の運用管理システム。
【請求項8】
管理対象となる機器の性能情報とイベントログより、前記性能情報を用いて第1の異常発生期間を抽出し、前記第1の異常発生期間におけるイベントログを用いて作成した第1のTF-IDFベクトルを算出し、少なくとも前記第1のTF-IDFベクトルを学習モデルとして記憶させ、
前記機器より新たに取得した性能情報とイベントログを用いて、第2の異常発生期間と第2のTF-IDFベクトルを算出し、前記学習モデル内の前記第1のTF-IDFベクトルと前記第2のTF-IDFベクトルとの第1の類似度を算出し、前記第1の類似度が所定値以下の場合、算出した前記第2の異常発生期間に関するリコメンド情報を出力し、
前記機器の性能情報とイベントログに対して、前記性能情報を学習用データとして用いた性能情報の予測データを取得し、前記予測データの異常発生期間を抽出して第4の異常発生期間とし、前記第4の異常発生期間と前記第4の異常発生期間に対応するイベントログを蓄積し、
前記第2の異常発生期間と前記第4の異常発生期間の比較で所定の差があった場合、前記第4の異常発生期間に対応するイベントログより第4のTF-IDFベクトルを算出し、前記第2のTF-IDFベクトルと前記第4のTF-IDFベクトルとにおける第2の類似度を算出し、前記第2の類似度が所定の値以上の場合、前記第2の異常発生期間に関するリコメンド情報を出力する、
運用管理方法。
前記機器より新たに取得した性能情報とイベントログを用いて、第2の異常発生期間と第2のTF-IDFベクトルを算出し、前記学習モデル内の前記第1のTF-IDFベクトルと前記第2のTF-IDFベクトルとの第1の類似度を算出し、前記第1の類似度が所定値以下の場合、算出した前記第2の異常発生期間に関するリコメンド情報を出力し、
前記機器の性能情報とイベントログに対して、前記性能情報を学習用データとして用いた性能情報の予測データを取得し、前記予測データの異常発生期間を抽出して第4の異常発生期間とし、前記第4の異常発生期間と前記第4の異常発生期間に対応するイベントログを蓄積し、
前記第2の異常発生期間と前記第4の異常発生期間の比較で所定の差があった場合、前記第4の異常発生期間に対応するイベントログより第4のTF-IDFベクトルを算出し、前記第2のTF-IDFベクトルと前記第4のTF-IDFベクトルとにおける第2の類似度を算出し、前記第2の類似度が所定の値以上の場合、前記第2の異常発生期間に関するリコメンド情報を出力する、
運用管理方法。
【請求項9】
運用管理のためのコンピュータプログラムであって、
管理対象となる機器の性能情報とイベントログより、前記性能情報を用いて第1の異常発生期間を抽出し、前記第1の異常発生期間におけるイベントログを用いて作成した第1のTF-IDFベクトルを算出し、少なくとも前記第1のTF-IDFベクトルを学習モデルとして記憶させ、
前記機器より新たに取得した性能情報とイベントログを用いて、第2の異常発生期間と第2のTF-IDFベクトルを算出し、前記学習モデル内の前記第1のTF-IDFベクトルと前記第2のTF-IDFベクトルとの第1の類似度を算出し、前記第1の類似度が所定値以下の場合、算出した前記第2の異常発生期間に関するリコメンド情報を出力し、
前記機器の性能情報とイベントログに対して、前記性能情報を学習用データとして用いた性能情報の予測データを取得し、前記予測データの異常発生期間を抽出して第4の異常発生期間とし、前記第4の異常発生期間と前記第4の異常発生期間に対応するイベントログを蓄積し、
前記第2の異常発生期間と前記第4の異常発生期間の比較で所定の差があった場合、前記第4の異常発生期間に対応するイベントログより第4のTF-IDFベクトルを算出し、前記第2のTF-IDFベクトルと前記第4のTF-IDFベクトルとにおける第2の類似度を算出し、前記第2の類似度が所定の値以上の場合、前記第2の異常発生期間に関するリコメンド情報をさらに出力する、
ことをコンピュータに実行させるための運用管理のためのコンピュータプログラム。
管理対象となる機器の性能情報とイベントログより、前記性能情報を用いて第1の異常発生期間を抽出し、前記第1の異常発生期間におけるイベントログを用いて作成した第1のTF-IDFベクトルを算出し、少なくとも前記第1のTF-IDFベクトルを学習モデルとして記憶させ、
前記機器より新たに取得した性能情報とイベントログを用いて、第2の異常発生期間と第2のTF-IDFベクトルを算出し、前記学習モデル内の前記第1のTF-IDFベクトルと前記第2のTF-IDFベクトルとの第1の類似度を算出し、前記第1の類似度が所定値以下の場合、算出した前記第2の異常発生期間に関するリコメンド情報を出力し、
前記機器の性能情報とイベントログに対して、前記性能情報を学習用データとして用いた性能情報の予測データを取得し、前記予測データの異常発生期間を抽出して第4の異常発生期間とし、前記第4の異常発生期間と前記第4の異常発生期間に対応するイベントログを蓄積し、
前記第2の異常発生期間と前記第4の異常発生期間の比較で所定の差があった場合、前記第4の異常発生期間に対応するイベントログより第4のTF-IDFベクトルを算出し、前記第2のTF-IDFベクトルと前記第4のTF-IDFベクトルとにおける第2の類似度を算出し、前記第2の類似度が所定の値以上の場合、前記第2の異常発生期間に関するリコメンド情報をさらに出力する、
ことをコンピュータに実行させるための運用管理のためのコンピュータプログラム。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【0007】
本発明の第１の態様によれば、運用管理システムは、管理対象となる機器の性能情報とイベントログより、前記性能情報を用いて第1の異常発生期間を抽出し、前記第1の異常発生期間におけるイベントログを用いて作成した第1のTF-IDFベクトルを算出し、少なくとも前記第1のTF-IDFベクトルを学習モデルとして記憶させる学習手段と、前記機器より新たに取得した性能情報とイベントログを用いて、第2の異常発生期間と第2のTF-IDFベクトルを算出し、前記学習モデル内の前記第1のTF-IDFベクトルと前記第2のTF-IDFベクトルとの第1の類似度を算出し、前記第1の類似度が所定値以下の場合、算出した前記第2の異常発生期間に関するリコメンド情報を出力するリコメンド手段とを備え、 前記学習手段は、前記機器の性能情報とイベントログに対して、前記性能情報を学習用データとして用いた性能情報の予測データを取得し、前記予測データの異常発生期間を抽出して第4の異常発生期間とし、前記第4の異常発生期間と前記第4の異常発生期間に対応するイベントログを蓄積する、ことをさらに行い、前記リコメンド手段は、前記第2の異常発生期間と前記第4の異常発生期間の比較で所定の差があった場合、前記第4の異常発生期間に対応するイベントログより第4のTF-IDFベクトルを算出し、前記第2のTF-IDFベクトルと前記第4のTF-IDFベクトルとにおける第2の類似度を算出し、前記第2の類似度が所定の値以上の場合、前記第2の異常発生期間に関するリコメンド情報を出力する、ことをさらに行う。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【0008】
また本発明の第２の態様によれば、運用管理方法は、管理対象となる機器の性能情報とイベントログより、前記性能情報を用いて第1の異常発生期間を抽出し、前記第1の異常発生期間におけるイベントログを用いて作成した第1のTF-IDFベクトルを算出し、少なくとも前記第1のTF-IDFベクトルを学習モデルとして記憶させ、前記機器より新たに取得した性能情報とイベントログを用いて、第2の異常発生期間と第2のTF-IDFベクトルを算出し、前記学習モデル内の前記第1のTF-IDFベクトルと前記第2のTF-IDFベクトルとの第1の類似度を算出し、前記第1の類似度が所定値以下の場合、算出した前記第2の異常発生期間に関するリコメンド情報を出力し、 前記機器の性能情報とイベントログに対して、前記性能情報を学習用データとして用いた性能情報の予測データを取得し、前記予測データの異常発生期間を抽出して第4の異常発生期間とし、前記第4の異常発生期間と前記第4の異常発生期間に対応するイベントログを蓄積し、前記第2の異常発生期間と前記第4の異常発生期間の比較で所定の差があった場合、前記第4の異常発生期間に対応するイベントログより第4のTF-IDFベクトルを算出し、前記第2のTF-IDFベクトルと前記第4のTF-IDFベクトルとにおける第2の類似度を算出し、前記第2の類似度が所定の値以上の場合、前記第2の異常発生期間に関するリコメンド情報を出力する。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【0009】
また本発明の第３の態様によれば、運用管理のためのコンピュータプログラムは、管理対象となる機器の性能情報とイベントログより、前記性能情報を用いて第1の異常発生期間を抽出し、前記第1の異常発生期間におけるイベントログを用いて作成した第1のTF-IDFベクトルを算出し、少なくとも前記第1のTF-IDFベクトルを学習モデルとして記憶させ、前記機器より新たに取得した性能情報とイベントログを用いて、第2の異常発生期間と第2のTF-IDFベクトルを算出し、前記学習モデル内の前記第1のTF-IDFベクトルと前記第2のTF-IDFベクトルとの第1の類似度を算出し、前記第1の類似度が所定値以下の場合、算出した前記第2の異常発生期間に関するリコメンド情報を出力し、前記機器の性能情報とイベントログに対して、前記性能情報を学習用データとして用いた性能情報の予測データを取得し、前記予測データの異常発生期間を抽出して第4の異常発生期間とし、前記第4の異常発生期間と前記第4の異常発生期間に対応するイベントログを蓄積し、前記第2の異常発生期間と前記第4の異常発生期間の比較で所定の差があった場合、前記第4の異常発生期間に対応するイベントログより第4のTF-IDFベクトルを算出し、前記第2のTF-IDFベクトルと前記第4のTF-IDFベクトルとにおける第2の類似度を算出し、前記第2の類似度が所定の値以上の場合、前記第2の異常発生期間に関するリコメンド情報をさらに出力する、ことをコンピュータに実行させる。