知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-09-12
(54)【発明の名称】異常検出方法および装置
(51)【国際特許分類】
G06N 20/00 20190101AFI20220905BHJP
【ＦＩ】
G06N20/00 130
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2021578200
(86)(22)【出願日】2020-05-19
(85)【翻訳文提出日】2021-12-30
(86)【国際出願番号】 CN2020090936
(87)【国際公開番号】W WO2021004161
(87)【国際公開日】2021-01-14
(31)【優先権主張番号】201910605053.9
(32)【優先日】2019-07-05
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】510020354
【氏名又は名称】中▲興▼通▲訊▼股▲ふぇん▼有限公司
【氏名又は名称原語表記】ＺＴＥ ＣＯＲＰＯＲＡＴＩＯＮ
【住所又は居所原語表記】ＺＴＥ Ｐｌａｚａ Ｋｅｊｉ Ｒｏａｄ Ｓｏｕｔｈ，Ｈｉ－Ｔｅｃｈ Ｉｎｄｕｓｔｒｉａｌ Ｐａｒｋ，Ｎａｎｓｈａｎ Ｄｉｓｔｒｉｃｔ Ｓｈｅｎｚｈｅｎ，Ｇｕａｎｇｄｏｎｇ ５１８０５７ Ｃｈｉｎａ
(74)【代理人】
【識別番号】100199819
【弁理士】
【氏名又は名称】大行 尚哉
(74)【代理人】
【識別番号】100087859
【弁理士】
【氏名又は名称】渡辺 秀治
(72)【発明者】
【氏名】杜永生
(72)【発明者】
【氏名】羅穎燕
(72)【発明者】
【氏名】潘春錦
(57)【要約】
【課題】本願は、異常検出方法及び装置を開示する。
【解決手段】前記方法は、異常検出アルゴリズムごとに、収集された第１データの第１特徴データを、前記異常検出アルゴリズムにより検出する（Ｎは１以上の整数）ことと、１種類以上の異常検出アルゴリズムの第１検出結果が異常である場合、前記第１データの第１特徴データに対して信頼度チェックを行って第１チェック結果を得ることと、第１検出結果が異常である異常検出アルゴリズムの信頼度が第１プリセット閾値以上であるか否かと、第１チェック結果とにより、第２検出結果を決定することと、を含む。
【選択図】図１
【解決手段】前記方法は、異常検出アルゴリズムごとに、収集された第１データの第１特徴データを、前記異常検出アルゴリズムにより検出する（Ｎは１以上の整数）ことと、１種類以上の異常検出アルゴリズムの第１検出結果が異常である場合、前記第１データの第１特徴データに対して信頼度チェックを行って第１チェック結果を得ることと、第１検出結果が異常である異常検出アルゴリズムの信頼度が第１プリセット閾値以上であるか否かと、第１チェック結果とにより、第２検出結果を決定することと、を含む。
【選択図】図１
【特許請求の範囲】
【請求項1】
Ｎ種類の異常検出アルゴリズムのそれぞれについて、収集された第１データの第１特徴データを、前記異常検出アルゴリズムにより検出して第１検出結果を得ることであって、そのうち、Ｎは１以上の整数であることと、１種類以上の異常検出アルゴリズムの第１検出結果が異常である場合、前記第１データの第１特徴データに対して信頼度チェックを行って第１チェック結果を得ることと、
第１検出結果が異常である異常検出アルゴリズムの信頼度が第１プリセット閾値以上であるか否かと、第１チェック結果とにより、第２検出結果を決定することと、
を含む、
ことを特徴とする異常検出方法。
【請求項2】
この方法は、さらに、以下のいずれか一つ又は複数を含み、前記第２検出結果が異常であり、かつ、ユーザの異常キャンセル情報を受信した場合、前記第１データを、正常とラベル付けされたサンプルとしてアノテーションサンプルライブラリーに追加することと、
前記第２検出結果が異常であり、かつ、ユーザの異常確認情報を受信した場合、前記第１データを、異常とラベル付けされたサンプルとしてアノテーションサンプルライブラリーに追加することであり、
そのうち、前記アノテーションサンプルライブラリーにおける、正常または異常とラベル付けされたサンプルは、前記異常検出アルゴリズムの教師あり学習モデルをトレーニングするために用いられ、前記異常検出アルゴリズムは、前記教師あり学習モデルに基づいて前記第１データの第１特徴データを検出して前記第１検出結果を得る、
ことを特徴とする請求項１に記載の方法。
【請求項3】
前記の第１データの第１特徴データに対して信頼度チェックを行うことは、前記第１データの第１特徴データに対して、データ有効性チェック、セキュリティ区間チェック、ネットワーク全体の寄与度チェック、異常継続性チェックの少なくとも一つを行うことを含む、
ことを特徴とする請求項１または２に記載の方法。
【請求項4】
前記の第１検出結果が異常である異常検出アルゴリズムの信頼度が第１プリセット閾値以上であるか否かと、第１チェック結果とにより、第２検出結果を決定することは、前記第１検出結果が異常である異常検出アルゴリズムのうちの１種類以上の異常検出アルゴリズムの信頼度が前記第１プリセット閾値以上である場合、前記第２検出結果が異常であると決定することと、
前記第１検出結果が異常である異常検出アルゴリズムの信頼度がいずれも前記第１プリセット閾値よりも小さい場合、前記第１チェック結果を前記第２検出結果とすることのいずれか一つまたは複数を含む、
ことを特徴とする請求項１または２に記載の方法。
【請求項5】
前記異常検出アルゴリズムの信頼度には、前記異常検出アルゴリズムの一致率が含まれる、ことを特徴とする請求項１または２に記載の方法。
【請求項6】
前記の第１検出結果が異常である異常検出アルゴリズムの信頼度が第１プリセット閾値以上であるか否かと、第１チェック結果とにより、第２検出結果を決定する前に、さらに、前記異常検出アルゴリズムごとに、前記異常検出アルゴリズムの一致率を算出することを含む、
ことを特徴とする請求項５に記載の方法。
【請求項7】
前記の異常検出アルゴリズムの一致率を算出することは、前記一致率として、第１数量と第２数量との比を決定することを含み、
そのうち、前記第１数量は、予め設定された時間内に収集された全ての第２データのうち、前記異常検出アルゴリズムを用いて前記第２データの第２特徴データを検出して得られた第３検出結果と、前記第２データの第２特徴データに対して信頼度チェックを行って得られた第２チェック結果とが同一となる第２データの数量であり、
前記第２数量は、予め設定された時間内に収集された全ての第２データのうち、前記異常検出アルゴリズムを用いて前記第２データの第２特徴データを検出して得られた第３検出結果が異常である第２データの数量である、
ことを特徴とする請求項６に記載の方法。
【請求項8】
プロセッサと、前記プロセッサによって実行されるときに、請求項１～７のいずれか１項に記載の異常検出方法を実現する命令が記憶されたコンピュータ読み取り可能な記憶媒体と、
を備える、
ことを特徴とする異常検出装置。
【請求項9】
プロセッサによって実行されるときに、請求項１～７のいずれか１項に記載の異常検出方法のステップを実現するコンピュータプログラムが記憶された、ことを特徴とするコンピュータ読み取り可能な記憶媒体。
【請求項10】
Ｎ種類の異常検出アルゴリズムのそれぞれについて、収集された第１データの第１特徴データを、前記異常検出アルゴリズムにより検出して第１検出結果を得、そのうち、Ｎは１以上の整数であり、１種類以上の異常検出アルゴリズムの第１検出結果が異常である場合、前記第１データの第１特徴データに対して信頼度チェックを行って第１チェック結果を得る検出モジュールと、第１検出結果が異常である異常検出アルゴリズムの信頼度が第１プリセット閾値以上であるか否かと、第１チェック結果とにより、第２検出結果を決定する決定モジュールと、
を備える、
ことを特徴とする異常検出装置。
【発明の詳細な説明】
【関連出願の相互参照】
【0001】
本願は、出願番号が２０１９１０６０５０５３．９であり、出願日が２０１９年７月５日である中国特許出願に基づいて提出され、この中国特許出願についての優先権を主張するものであり、この中国特許出願の開示全体は、援用により本願に組み込まれるものとする。
【技術分野】
【0002】
本願は、通信の運用および保守の分野に関するが、これらに限定されるものではなく、特に、異常検出方法および装置に関する。
【背景技術】
【0003】
通信の運用および保守の分野では、電気通信運営サービスのいくつかの重要業績評価指標（ＫＰＩ、Ｋｅｙ Ｐｅｒｆｏｒｍａｎｃｅ Ｉｎｄｅｘ）が検出され、例えば、無線接続率、パケット損失率、現在のユーザ数、トラフィックの増減などが検出される。ＫＰＩに異常（または劣化）が生じると、通信環境の変化やソフトハードウェア等の不具合による可能性が高くなる。運用および保守担当者は、問題をタイムリーに発見して解決することで、ユーザの満足度を効果的に向上させ、会社の評判を維持することができる。しかしながら、通信ネットワークではＫＰＩの数が多く、種類が千万でありながら、到来する５Ｇ通信技術は、ＫＰＩ数が倍増し、運用および保守担当者による人手でリアルタイムにネットワーク全体のＫＰＩデータをモニタリング・メンテナンスすることが困難になってきている。このため、通信ネットワークＫＰＩの異常検出と保守に対するインテリジェント化需要もますます強くなっている。
【0004】
かかるインテリジェント化異常検出システムは、機械学習技術に基づくことが多く、通信の運用および保守の分野では、機械学習を導入する初期段階で、確実なモデルをトレーニングして検出するために十分なアノテーションサンプルを蓄積することは基本的に困難である。それは、ラベリングのコストが高い、つまりＫＰＩ数が多いと同時に、手動ラベリングの敷居が高く、大量の業務知識に依存する必要があるからである。しかしながら、教師なし学習アルゴリズムに依存することや、教師あり学習アルゴリズムを比較的少ないサンプルでトレーニングすることは、検出結果の信頼度を確保することが難しい。
【発明の概要】
【0005】
本願実施例は、異常検出方法を提供し、この異常検出方法は、Ｎ（Ｎは１以上の整数）種類の異常検出アルゴリズムのそれぞれについて、収集された第１データの第１特徴データを、前記異常検出アルゴリズムにより検出して第１検出結果を得ることと、１種類以上の異常検出アルゴリズムの第１検出結果が異常である場合、前記第１データの第１特徴データに対して信頼度チェックを行って第１チェック結果を得ることと、第１検出結果が異常である異常検出アルゴリズムの信頼度が第１プリセット閾値以上であるか否かと、第１チェック結果とにより、第２検出結果を決定することと、を含む。
【0006】
本願実施例は、異常検出装置をさらに提供し、この異常検出装置は、プロセッサと、前記プロセッサによって実行されるときに、上記のいずれかの異常検出方法を実現する命令が記憶されたコンピュータ読み取り可能な記憶媒体と、を備える。
【0007】
本願実施例は、プロセッサによって実行されるときに、上記のいずれかの異常検出方法のステップを実現するコンピュータプログラムが記憶されたコンピュータ読み取り可能な記憶媒体をさらに提供する。
【0008】
本願実施例は、異常検出装置をさらに提供し、この異常検出装置は、Ｎ（Ｎは１以上の整数）種類の異常検出アルゴリズムのそれぞれについて、収集された第１データの第１特徴データを、前記異常検出アルゴリズムにより検出して第１検出結果を得、１種類以上の異常検出アルゴリズムの第１検出結果が異常である場合、前記第１データの第１特徴データに対して信頼度チェックを行って第１チェック結果を得る検出モジュールと、第１検出結果が異常である異常検出アルゴリズムの信頼度が第１プリセット閾値以上であるか否かと、第１チェック結果とにより、第２検出結果を決定する決定モジュールと、を備える。
【0009】
本願実施例の他の特徴および利点は、後述する明細書で述べられ、且つ、部分的に明細書から明らかになったり、本願実施例を実施することにより明らかになったりする。本願実施例の目的および他の利点は、明細書、特許請求の範囲および図面で特定される構成により実現および取得することができる。
【図面の簡単な説明】
【0010】
添付図面は、本願の技術案をさらに理解するために使用され、明細書の一部を構成し、本願の実施例とともに本願の技術案を解釈するためのものであり、本願の技術案に対する制限を構成するものではない。
【発明を実施するための形態】
【0011】
以下、図面を参照しながら、本願の実施例について詳細に説明する。なお、コンフリクトしない場合、本願における実施例及び実施例における特徴は、互いに任意に組み合わせることができる。
【0012】
添付図面のフローチャートに示されるステップは、例えば、一群のコンピュータが命令を実行可能なコンピュータシステムにおいて実行されてもよい。そして、フローチャートには、論理的な順序が示されているが、ある場合には、示されたステップや記述のステップが、これとは異なる順序で実行されてもよい。
【0013】
図１を参照して、本願の一実施例は異常検出方法を提案し、この方法は、Ｎ（Ｎは１以上の整数）種類の異常検出アルゴリズムのそれぞれについて、収集された第１データの第１特徴データを、前記異常検出アルゴリズムにより検出して第１検出結果を得るステップ１００を含む。
【0014】
本願実施例において、第１データは、異常検出を必要とする任意のデータ、例えばＫＰＩデータなどであってもよい。
【0015】
たとえば、セル１の無線リソース制御（ＲＲＣ、 Ｒａｄｉｏ Ｒｅｓｏｕｒｃｅ Ｃｏｎｔｒｏｌ）について、接続成功率指標が確立され、第１データは、時系列数ｄａｔａ１および相関データｄａｔａ２を含む。
【0016】
ここで、ｄａｔａ１は、｛（ｔ１、ｘ１）、・・・、（ｔｗ、ｘｗ）｝と表記され、ｔｗは、検出待ち時刻であり、ｘｗは、ｔｗに対応するＲＲＣ確立接続成功率の値であり、サンプリング時間粒度はＴであり、つまり、ｔｗ－ｔｗ－１＝Ｔであり、ｄａｔａ２は、［ｘｅｆｆ、ｘｒｅｆ、ｐｒｅ＿ｒｅｓ、ｏｂｊ＿ｉｄ、ＫＰＩ＿ｉｄ］と表記され、ｘｅｆｆは、ｔｗ時刻に対応するＲＲＣ確立接続要求数であり、ｘｒｅｆは、ＲＲＣ確立接続失敗回数であり、ｐｒｅ＿ｒｅｓは、ｔｗ－１時刻が異常であるか否かであり、ｏｂｊ＿ｉｄは、セルｉｄであり、ＫＰＩ＿ｉｄは、検出待ちＫＰＩのｉｄである。
【0017】
本願実施例において、第１データが収集された後に、第１データからＮ種類の異常検出アルゴリズムに必要な第１特徴データの全てを一度に抽出し、収集された第１データの第１特徴データを、各異常検出アルゴリズムにより検出して第１検出結果を得る際に、抽出した特徴データの中から、その異常検出アルゴリズムに必要な第１特徴データを選択するようにすることができる。あるいは、収集された第１データの第１特徴データを、各異常検出アルゴリズムにより検出して第１検出結果を得る際に、収集された第１データからその異常検出アルゴリズムに必要な第１特徴データを抽出するようにすることができる。
【0018】
もちろん、全ての第１データについて特徴抽出を行う必要もなく、特徴抽出を行う必要のない第１データについては、第１データをそのまま第１特徴データとすればよい。
【0019】
一つの例示的な実施例において、第１データの特徴データを抽出する前に、まず第１データをクリーニングし、クリーニングされた第１データから特徴データを抽出する。もちろん、全ての第１データについてクリーニングを行う必要もなく、一部の第１データについてクリーニングを行ってもよく、本願実施例はこれを限定するものではない。
【0020】
例えば、上記ｄａｔａ１とｄａｔａ２については、ｄａｔａ１をクリーニングするが、ｄａｔａ２をクリーニングしない。例えば、ｄａｔａ１に欠測値がある場合は、欠測したデータを、例えば線形補間、平均などの方法でパディングする。
【0021】
ｄａｔａ１をクリーニングした後、クリーニングされたｄａｔａ１の中から第１特徴データを抽出する。例えば、クリーニングされたｄａｔａ１に対して、特徴統計（例えば、最大値ｘｍａｘ、最小値ｘｍｉｎ、平均値ｘｍｅａｎ、中央値ｘｍｅｄｉａｎ、標準偏差ｘｓｔｄなど）、周期性判定、分類特徴の構築（例えば、ｔｗに対してワンホット（ｏｎｅ－ｈｏｔ）エンコーディングを行い、時間、曜日等を含む）、ｘｗの前年比・前月比（ＹｏＹ/ ＭｏＭ）、一階差分、二階差分などを算出する。
【0022】
ｄａｔａ２をそのまま第１特徴データに入れ、最終的に第１特徴データを得て、ｆｅａｔｕｒｅ ｄａｔａ＝［ｆ１、ｆ２、．．、ｆｎ］と記す。
【0023】
本願実施例において、異常検出アルゴリズムは、統計的学習アルゴリズム（例えば、３－ｓｉｇｍａ、指数加重移動平均法（ＥＷＭＡ、Ｅｘｐｏｎｅｎｔｉａｌｌｙ Ｗｅｉｇｈｔｅｄ Ｍｏｖｉｎｇ－Ａｖｅｒａｇｅ）、差分統合移動平均自己回帰モデル（ＡＲＩＭＡ、Ａｕｔｏｒｅｇｒｅｓｓｉｖｅ Ｉｎｔｅｇｒａｔｅｄ Ｍｏｖｉｎｇ Ａｖｅｒａｇｅ Ｍｏｄｅｌ）など）、教師なし分類アルゴリズム（例えば、アイソレーションフォレスト（Ｉｓｏｌａｔｉｏｎ Ｆｏｒｅｓｔ）、単一分類サポートベクターマシン（ＳＶＭ、Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）（ｏｎｅ－ｃｌａｓｓ ＳＶＭ）、変分自己符号化（Ｖａｒｉａｔｉｏｎａｌ Ａｕｔｏ－Ｅｎｃｏｄｅ）など）、教師あり学習アルゴリズム（例えば、ロジスティック回帰、極端勾配向上（ＸＧＢｏｏｓｔ、ｅｘｔｒｅｍｅ Ｇｒａｄｉｅｎｔ Ｂｏｏｓｔｉｎｇ）、ディープ・ニューラルネットワーク（ＤＮＮ、Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）など）によるものであってもよい。本願実施例は、可能な異常データを全て検出することを目的として、複数種の異常検出アルゴリズムを用いて異常検出を行うものである。例えば、上記ｄａｔａ１及びｄａｔａ２から抽出された第１特徴データについて、３－ｓｉｇｍａ、ＥＷＭＡ、Ｈｏｌｔ－Ｗｉｎｔｅｒｓ、及びＸＧＢｏｏｓｔアルゴリズムを用いて検出した第１検出結果は、それぞれ、ｒｅｓｌ＝１、ｒｅｓ２＝０、ｒｅｓ３＝０、ｒｅｓ４＝１であり、ここで、０は正常、１は異常を示す。
【0024】
ステップ１０１：１種類以上の異常検出アルゴリズムの第１検出結果が異常である場合、前記第１データの第１特徴データに対して信頼度チェックを行って第１チェック結果を得る。
【0025】
本願実施例において、ユーザはインタフェースを介して、信頼度チェックのチェック条件の設定、信頼度評価方法の選択、および、関連パラメータの設定を行うことができ、また、プロファイルを作成することで、チェック条件、信頼度評価方法および関連パラメータを導入することもできる。具体的な実現形態は、本願実施例に限定されない。
【0026】
一つの例示的な実施例において、第１データの第１特徴データに対して信頼度チェックを行うことは、前記第１データの第１特徴データに対して、データ有効性チェック、セキュリティ区間チェック、ネットワーク全体の寄与度チェック、異常継続性チェックの少なくとも一つを行うことを含む。
【0027】
上述の信頼度チェックを行う具体的なルールは、専門家が業務経験、分野知識に基づいて与え、ユーザがページに関連した設定を行ったり、プロファイルを導入したりすることができる。
【0028】
例えば、上記のｄａｔａ１及びｄａｔａ２から抽出された第１特徴データについて、第１特徴データに対するデータ有効性チェックは、つまり、ＲＲＣ確立接続要求数ｘｅｆｆが第２プリセット閾値ｘｅｆｆ＿ｔｈｒｅｓｈｏｌｄより大きいか否かを検出し、ＲＲＣ確立接続要求数が第２プリセット閾値よりも大きい場合、第１データが有効であるとして、第１特徴データに対するセキュリティ区間チェックを継続し、ＲＲＣ確立接続要求数が第２プリセット閾値以下である場合、第１データが無効であるとして、第１データは正常（即ち、第１チェック結果は正常）であり、チェックは終了する。ここで、ｘｅｆｆ＿ｔｈｒｅｓｈｏｌｄは、専門家が業務経験、分野知識に基づいて与え、具体的には、ユーザがページに関連した設定を行ったり、プロフィールを導入したりすることができる。
【0029】
第１特徴データに対するセキュリティ区間チェックは、つまり、ＲＲＣ確立接続成功率ｘｗがセキュリティ区間［ｘｍｉｎ、ｘｍａｘ］内にあるか否かを検出し、ＲＲＣ確立接続成功率がセキュリティ区間内にある場合、第１データが正常（即ち、第１チェック結果が正常）であるとして、チェックを終了し、ＲＲＣ確立接続成功率がセキュリティ区間内にない場合、第１特徴データに対するネットワーク全体の寄与度チェックを継続する。ここで、セキュリティ区間［ｘｍｉｎ、ｘｍａｘ］は、専門家が業務経験、分野知識に基づいて与え、具体的には、ユーザがページに関連した設定を行ったり、プロファイルを導入したりすることができる。
【0030】
第１特徴データに対するネットワーク全体の寄与度チェックは、つまり、ＲＲＣ確立接続失敗回数ｘｒｅｆが第３プリセット閾値ｘｒｅｆ＿ｔｈｒｅｓｈｏｌｄより大きいか否かを検出し、ＲＲＣ確立接続失敗回数が第３プリセット閾値よりも大きい場合、第１チェック結果が異常であると決定し、ＲＲＣ確立接続失敗回数が第３プリセット閾値以下である場合、第１特徴データに対する継続性チェックを継続する。ここで、ｘｒｅｆ＿ｔｈｒｅｓｈｏｌｄは、専門家が業務経験、分野知識に基づいて与え、具体的には、ユーザがページに関連した設定を行ったり、プロフィールを導入したりすることができる。
【0031】
第１特徴データに対する継続性チェックは、つまり、ｔｗ以前の期間のチェック結果ｐｒｅ＿ｒｅｓが異常であるか否か、及び二階差分の値によって継続的に劣化する傾向にあるか否かを判定し、ｔｗ以前の期間のチェック結果がいずれも異常であり、かつ劣化する傾向にある場合、第１チェック結果が異常であると決定し、ｔｗ以前の期間のチェック結果の少なくとも１つが正常、又は良化する傾向にある場合、第１チェック結果が正常であると決定し、チェックを終了する。
【0032】
ステップ１０２：第１検出結果が異常である異常検出アルゴリズムの信頼度が第１プリセット閾値以上であるか否かと、第１チェック結果とにより、第２検出結果を決定する。
【0033】
一つの例示的な実施例において、第１検出結果が異常である異常検出アルゴリズムの信頼度が第１プリセット閾値以上であるか否かと、第１チェック結果とにより、第２検出結果を決定することは、前記第１検出結果が異常である異常検出アルゴリズムのうちの１種類以上の異常検出アルゴリズムの信頼度が前記第１プリセット閾値以上である場合、前記第２検出結果が異常であると決定すること、及び、前記第１検出結果が異常である異常検出アルゴリズムの信頼度がいずれも前記第１プリセット閾値よりも小さい場合、前記第１チェック結果を前記第２検出結果とすることのいずれか一つまたは複数を含む。
【0034】
例えば、上記のｄａｔａ１及びｄａｔａ２から抽出された第１特徴データの検出において、異常検出アルゴリズムＸＧＢｏｏｓｔの信頼度が第１プリセット閾値以上であり、かつ、異常検出アルゴリズム３－ｓｉｇｍａの信頼度が第１プリセット閾値未満の場合、第２検出結果が異常であると決定し、異常検出アルゴリズムＸＧＢｏｏｓｔ及び３－ｓｉｇｍａの信頼度がいずれも第１プリセット閾値未満の場合、第１チェック結果を第２検出結果とする。
【0035】
一つの例示的な実施例において、異常検出アルゴリズムの信頼度には、異常検出アルゴリズムの類似度照合、統計検査などが含まれる。例えば、前記異常検出アルゴリズムの一致率（重複率）である。
【0036】
他の例示的な実施例において、この方法は、第１検出結果が異常である異常検出アルゴリズムの信頼度が第１プリセット閾値以上であるか否かと、第１チェック結果とにより、第２検出結果を決定する前に、前記異常検出アルゴリズムごとに、前記異常検出アルゴリズムの一致率を算出することをさらに含む。
【0037】
一つの例示的な実施例において、異常検出アルゴリズムの一致率を算出することは、前記一致率として、第１数量と第２数量との比を決定することを含む。そのうち、前記第１数量は、予め設定された時間内に収集された全ての第２データのうち、前記異常検出アルゴリズムを用いて第２データの第２特徴データを検出して得られた第３検出結果と、前記第２データの第２特徴データに対して信頼度チェックを行って得られた第２チェック結果とが同一となる第２データの数量であり、前記第２数量は、予め設定された時間内に収集された全ての第２データのうち、前記異常検出アルゴリズムを用いて第２データの第２特徴データを検出して得られた第３検出結果が異常である第２データの数量である。
【0038】
例えば、直近１ヶ月における、全てのセルの、ＲＲＣ確立接続成功率指標の検出結果である。すなわち、過去１ヶ月に、全てのセルの、ＲＣ確立接続成功率指標の全てのサンプルのうち、異常検出アルゴリズムによる検出結果が異常であるサンプルを用いて、合計でｍ個あると仮定し、かつ、各々の異常検出アルゴリズムによるサンプル毎の検出結果と、収集したデータに対する信頼度チェックによるチェック結果とを記録した上で、異常検出アルゴリズムｉの、チェック結果と一致するサンプル数ｃｉを算出すると、一致率はｃｉ／ｍとなる。
【0039】
本願の別の実施例において、この方法は、以下のいずれか一つ又は複数を更に含み、すなわち、前記第２検出結果が異常であり、かつ、ユーザの異常キャンセル情報を受信した場合、前記第１データを、正常とラベル付けされたサンプルとしてアノテーションサンプルライブラリーに追加することと、前記第２検出結果が異常であり、かつ、ユーザの異常確認情報を受信した場合、前記第１データを、異常とラベル付けされたサンプルとしてアノテーションサンプルライブラリーに追加することであり、そのうち、前記アノテーションサンプルライブラリーにおける、正常または異常とラベル付けされたサンプルは、前記異常検出アルゴリズムの教師あり学習モデルをトレーニングするために用いられ、前記異常検出アルゴリズムは、前記教師あり学習モデルに基づいて前記第１データの第１特徴データを検出して第１検出結果を得る。第１データをアノテーションサンプルとしてアノテーションサンプルライブラリーに追加し、時間の経過に伴ってアノテーションサンプルライブラリーに蓄積されるアノテーションサンプルの数が多くなるので、教師あり学習や半教師あり学習に基づく異常検出アルゴリズムは、新たに追加したアノテーションサンプルを適用して増分学習したり、教師あり学習モデルを定期的に再度トレーニングしたりすることで、教師あり学習モデルの信頼性が向上し、異常検出アルゴリズムの検出精度が向上する。
【0040】
すなわち、第２検出結果が異常である場合、異常情報が表示され、例えば、異常情報は、異常データ（すなわち、第１データ）に対応する対象名称「セル１」、発生時間ｔｗ、ＫＰＩ名称「ＲＲＣ確立接続成功率」、ＫＰＩ値ｘｗなどを含む。ユーザは、異常確認情報を入力して異常を確認したり、異常キャンセル情報を入力して異常を取消したり、何もしない操作を選択したりすることができる。ユーザが異常確認情報を入力する場合、第１データを、異常とラベル付けされたサンプルとしてアノテーションサンプルライブラリーに追加し、ユーザが異常キャンセル情報を入力する場合、第１データを、正常とラベル付けされたサンプルとしてアノテーションサンプルライブラリーに追加する。
【0041】
本願実施例は、複数種の異常検出アルゴリズムによる検出結果および信頼度のチェック結果に基づいて最終的な検出結果を決定するようにしたので、信頼度のチェックが専門家の業務経験や分野知識による信頼度のチェックとなるため、検出結果の信頼度が向上する。
【0042】
本願の別の実施例では、プロセッサと、前記プロセッサによって実行されるときに、上記のいずれかの異常検出方法を実現する命令が記憶されたコンピュータ読み取り可能な記憶媒体と、を備える異常検出装置が提案される。
【0043】
本願の別の実施例では、プロセッサによって実行されるときに、上記のいずれかの異常検出方法のステップを実現するコンピュータプログラムが記憶されたコンピュータ読み取り可能な記憶媒体が提案される。
【0044】
図２を参照して、本願の別の実施例では異常検出装置が提案され、Ｎ（Ｎは１以上の整数）種類の異常検出アルゴリズムのそれぞれについて、収集された第１データの第１特徴データを、前記異常検出アルゴリズムにより検出して第１検出結果を得、１種類以上の異常検出アルゴリズムの第１検出結果が異常である場合、前記第１データの第１特徴データに対して信頼度チェックを行って第１チェック結果を得る検出モジュール２０１と、第１検出結果が異常である異常検出アルゴリズムの信頼度が第１プリセット閾値以上であるか否かと、第１チェック結果とにより、第２検出結果を決定する決定モジュール２０２と、備える。
【0045】
本願実施例において、第１データは、異常検出を必要とする任意のデータ、例えばＫＰＩデータなどであってもよい。
【0046】
たとえば、セル１の無線リソース制御（ＲＲＣ、 Ｒａｄｉｏ Ｒｅｓｏｕｒｃｅ Ｃｏｎｔｒｏｌ）について、接続成功率指標が確立され、第１データは、時系列数ｄａｔａ１および相関データｄａｔａ２を含む。
【0047】
ここで、ｄａｔａ１は、｛（ｔ１、ｘ１）、・・・、（ｔｗ、ｘｗ）｝と表記され、ｔｗは、検出待ち時刻であり、ｘｗは、ｔｗに対応するＲＲＣ確立接続成功率の値であり、サンプリング時間粒度はＴであり、つまり、ｔｗ－ｔｗ－１＝Ｔであり、ｄａｔａ２は、［ｘｅｆｆ、ｘｒｅｆ、ｐｒｅ＿ｒｅｓ、ｏｂｊ＿ｉｄ、ＫＰＩ＿ｉｄ］と表記され、ｘｅｆｆは、ｔｗ時刻に対応するＲＲＣ確立接続要求数であり、ｘｒｅｆは、ＲＲＣ確立接続失敗回数であり、ｐｒｅ＿ｒｅｓは、ｔｗ－１時刻が異常であるか否かであり、ｏｂｊ＿ｉｄは、セルｉｄであり、ＫＰＩ＿ｉｄは、検出待ちＫＰＩのｉｄである。
【0048】
本願実施例において、検出モジュール２０１は、第１データを収集した後に、第１データからＮ種類の異常検出アルゴリズムに必要な第１特徴データの全てを一度に抽出し、収集された第１データの第１特徴データを、各異常検出アルゴリズムにより検出して第１検出結果を得る際に、抽出した特徴データの中から、その異常検出アルゴリズムに必要な第１特徴データを選択することができる。あるいは、検出モジュール２０１は、収集された第１データの第１特徴データを、各異常検出アルゴリズムにより検出して第１検出結果を得る際に、収集された第１データからその異常検出アルゴリズムに必要な第１特徴データを抽出する。
【0049】
もちろん、全ての第１データについて特徴抽出を行う必要もなく、特徴抽出を行う必要のない第１データについては、第１データをそのまま第１特徴データとすればよい。
【0050】
一つの例示的な実施例において、検出モジュール２０１は、第１データの特徴データを抽出する前に、まず第１データをクリーニングし、クリーニングされた第１データから特徴データを抽出する。もちろん、全ての第１データについてクリーニングを行う必要もなく、一部の第１データについてクリーニングを行ってもよく、本願実施例はこれを限定するものではない。
【0051】
例えば、上記ｄａｔａ１とｄａｔａ２については、ｄａｔａ１をクリーニングするが、ｄａｔａ２をクリーニングしない。例えば、ｄａｔａ１に欠測値がある場合は、欠測したデータを、例えば線形補間、平均などの方法でパディングする。
【0052】
ｄａｔａ１をクリーニングした後、クリーニングされたｄａｔａ１の中から第１特徴データを抽出する。例えば、クリーニングされたｄａｔａ１に対して、特徴統計（例えば、最大値ｘｍａｘ、最小値ｘｍｉｎ、平均値ｘｍｅａｎ、中央値ｘｍｅｄｉａｎ、標準偏差ｘｓｔｄなど）、周期性判定、分類特徴の構築（例えば、ｔｗに対してワンホット（ｏｎｅ－ｈｏｔ）エンコーディングを行い、時間、曜日等を含む）、ｘｗの前年比・前月比（ＹｏＹ/ ＭｏＭ）、一階差分、二階差分などを算出する。
【0053】
ｄａｔａ２をそのまま第１特徴データに入れ、最終的に第１特徴データを得て、ｆｅａｔｕｒｅ ｄａｔａ＝［ｆ１、ｆ２、．．、ｆｎ］と記す。
【0054】
本願実施例において、異常検出アルゴリズムは、統計的学習アルゴリズム（例えば、３－ｓｉｇｍａ、指数加重移動平均法（ＥＷＭＡ、Ｅｘｐｏｎｅｎｔｉａｌｌｙ Ｗｅｉｇｈｔｅｄ Ｍｏｖｉｎｇ－Ａｖｅｒａｇｅ）、差分統合移動平均自己回帰モデル（ＡＲＩＭＡ、Ａｕｔｏｒｅｇｒｅｓｓｉｖｅ Ｉｎｔｅｇｒａｔｅｄ Ｍｏｖｉｎｇ Ａｖｅｒａｇｅ Ｍｏｄｅｌ）など）、教師なし分類アルゴリズム（例えば、アイソレーションフォレスト（Ｉｓｏｌａｔｉｏｎ Ｆｏｒｅｓｔ）、単一分類サポートベクターマシン（ＳＶＭ、Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）（ｏｎｅ－ｃｌａｓｓ ＳＶＭ）、変分自己符号化（Ｖａｒｉａｔｉｏｎａｌ Ａｕｔｏ－Ｅｎｃｏｄｅ）など）、教師あり学習アルゴリズム（例えば、ロジスティック回帰、極端勾配向上（ＸＧＢｏｏｓｔ、ｅｘｔｒｅｍｅ Ｇｒａｄｉｅｎｔ Ｂｏｏｓｔｉｎｇ）、ディープ・ニューラルネットワーク（ＤＮＮ、Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）など）によるものであってもよい。本願実施例は、可能な異常データを全て検出することを目的として、複数種の異常検出アルゴリズムを用いて異常検出を行うものである。例えば、上記ｄａｔａ１及びｄａｔａ２から抽出された第１特徴データについて、３－ｓｉｇｍａ、ＥＷＭＡ、Ｈｏｌｔ－Ｗｉｎｔｅｒｓ、及びＸＧＢｏｏｓｔアルゴリズムを用いて検出した第１検出結果は、それぞれ、ｒｅｓｌ＝１、ｒｅｓ２＝０、ｒｅｓ３＝０、ｒｅｓ４＝１であり、ここで、０は正常、１は異常を示す。
【0055】
本願実施例において、ユーザはインタフェースを介して、信頼度チェックのチェック条件の設定、信頼度評価方法の選択、および、関連パラメータの設定を行うことができ、また、プロファイルを作成することで、チェック条件、信頼度評価方法および関連パラメータを導入することもできる。具体的な実現形態は、本願実施例に限定されない。
【0056】
一つの例示的な実施例において、検出モジュール２０１は、具体的には、前記第１データの第１特徴データに対して、データ有効性チェック、セキュリティ区間チェック、ネットワーク全体の寄与度チェック、異常継続性チェックの少なくとも一つを行うことにより、第１データの第１特徴データに対する信頼度チェックを実現する。
【0057】
上述の信頼度チェックを行う具体的なルールは、専門家が業務経験、分野知識に基づいて与え、ユーザがページに関連した設定を行ったり、プロファイルを導入したりすることができる。
【0058】
例えば、上記のｄａｔａ１及びｄａｔａ２から抽出された第１特徴データについて、第１特徴データに対するデータ有効性チェックは、つまり、ＲＲＣ確立接続要求数ｘｅｆｆが第２プリセット閾値ｘｅｆｆ＿ｔｈｒｅｓｈｏｌｄより大きいか否かを検出し、ＲＲＣ確立接続要求数が第２プリセット閾値よりも大きい場合、第１データが有効であるとして、第１特徴データに対するセキュリティ区間チェックを継続し、ＲＲＣ確立接続要求数が第２プリセット閾値以下である場合、第１データが無効であるとして、第１データは正常（即ち、第１チェック結果は正常）であり、チェックは終了する。ここで、ｘｅｆｆ＿ｔｈｒｅｓｈｏｌｄは、専門家が業務経験、分野知識に基づいて与え、具体的には、ユーザがページに関連した設定を行ったり、プロフィールを導入したりすることができる。
【0059】
第１特徴データに対するセキュリティ区間チェックは、つまり、ＲＲＣ確立接続成功率ｘｗがセキュリティ区間［ｘｍｉｎ、ｘｍａｘ］内にあるか否かを検出し、ＲＲＣ確立接続成功率がセキュリティ区間内にある場合、第１データが正常（即ち、第１チェック結果が正常）であるとして、チェックを終了し、ＲＲＣ確立接続成功率がセキュリティ区間内にない場合、第１特徴データに対するネットワーク全体の寄与度チェックを継続する。ここで、セキュリティ区間［ｘｍｉｎ、ｘｍａｘ］は、専門家が業務経験、分野知識に基づいて与え、具体的には、ユーザがページに関連した設定を行ったり、プロファイルを導入したりすることができる。
【0060】
第１特徴データに対するネットワーク全体の寄与度チェックは、つまり、ＲＲＣ確立接続失敗回数ｘｒｅｆが第３プリセット閾値ｘｒｅｆ＿ｔｈｒｅｓｈｏｌｄより大きいか否かを検出し、ＲＲＣ確立接続失敗回数が第３プリセット閾値よりも大きい場合、第１チェック結果が異常であると決定し、ＲＲＣ確立接続失敗回数が第３プリセット閾値以下である場合、第１特徴データに対する継続性チェックを継続する。ここで、ｘｒｅｆ＿ｔｈｒｅｓｈｏｌｄは、専門家が業務経験、分野知識に基づいて与え、具体的には、ユーザがページに関連した設定を行ったり、プロフィールを導入したりすることができる。
【0061】
第１特徴データに対する継続性チェックは、つまり、ｔｗ以前の期間のチェック結果ｐｒｅ＿ｒｅｓが異常であるか否か、及び二階差分の値によって継続的に劣化する傾向にあるか否かを判定し、ｔｗ以前の期間のチェック結果がいずれも異常であり、かつ劣化する傾向にある場合、第１チェック結果が異常であると決定し、ｔｗ以前の期間のチェック結果の少なくとも１つが正常、又は良化する傾向にある場合、第１チェック結果が正常であると決定し、チェックを終了する。
【0062】
一つの例示的な実施例において、決定モジュール２０２は、具体的には以下のいずれか一つまたは複数を実行する。すなわち、前記第１検出結果が異常である異常検出アルゴリズムのうちの１種類以上の異常検出アルゴリズムの信頼度が前記第１プリセット閾値以上である場合、前記第２検出結果が異常であると決定すること、及び、前記第１検出結果が異常である異常検出アルゴリズムの信頼度がいずれも前記第１プリセット閾値よりも小さい場合、前記第１チェック結果を前記第２検出結果とすることである。
【0063】
例えば、上記のｄａｔａ１及びｄａｔａ２から抽出された第１特徴データの検出において、異常検出アルゴリズムＸＧＢｏｏｓｔの信頼度が第１プリセット閾値以上であり、かつ、異常検出アルゴリズム３－ｓｉｇｍａの信頼度が第１プリセット閾値未満の場合、第２検出結果が異常であると決定し、異常検出アルゴリズムＸＧＢｏｏｓｔ及び３－ｓｉｇｍａの信頼度がいずれも第１プリセット閾値未満の場合、第１チェック結果を第２検出結果とする。
【0064】
一つの例示的な実施例において、異常検出アルゴリズムの信頼度には、異常検出アルゴリズムの類似度照合、統計検査などが含まれる。例えば、前記異常検出アルゴリズムの一致率（重複率）である。
【0065】
他の例示的な実施例において、決定モジュール２０２は、前記異常検出アルゴリズムごとに、前記異常検出アルゴリズムの一致率を算出することにも用いられる。
【0066】
一つの例示的な実施例において、決定モジュール２０２は、具体的には、以下の方法により異常検出アルゴリズムの一致率の算出を実現する。すなわち、前記一致率として、第１数量と第２数量との比を決定することであり、そのうち、前記第１数量は、予め設定された時間内に収集された全ての第２データのうち、前記異常検出アルゴリズムを用いて第２データの第２特徴データを検出して得られた第３検出結果と、前記第２データの第２特徴データに対して信頼度チェックを行って得られた第２チェック結果とが同一となる第２データの数量であり、前記第２数量は、予め設定された時間内に収集された全ての第２データのうち、前記異常検出アルゴリズムを用いて第２データの第２特徴データを検出して得られた第３検出結果が異常である第２データの数量である。
【0067】
例えば、直近１ヶ月における、全てのセルの、ＲＲＣ確立接続成功率指標の検出結果である。すなわち、過去１ヶ月に、全てのセルの、ＲＣ確立接続成功率指標の全てのサンプルのうち、異常検出アルゴリズムによる検出結果が異常であるサンプルを用いて、合計でｍ個あると仮定し、かつ、各々の異常検出アルゴリズムによるサンプル毎の検出結果と、収集したデータに対する信頼度チェックによるチェック結果とを記録した上で、異常検出アルゴリズムｉの、チェック結果と一致するサンプル数ｃｉを算出すると、一致率はｃｉ／ｍとなる。
【0068】
本願の別の実施例において、決定モジュール２０２は、以下のいずれか一つまたは複数を実行することにも用いられる。すなわち、前記第２検出結果が異常であり、かつ、ユーザの異常キャンセル情報を受信した場合、前記第１データを、正常とラベル付けされたサンプルとしてアノテーションサンプルライブラリーに追加することと、前記第２検出結果が異常であり、かつ、ユーザの異常確認情報を受信した場合、前記第１データを、異常とラベル付けされたサンプルとしてアノテーションサンプルライブラリーに追加することであり、そのうち、前記アノテーションサンプルライブラリーにおける、正常または異常とラベル付けされたサンプルは、前記異常検出アルゴリズムの教師あり学習モデルをトレーニングするために用いられ、前記異常検出アルゴリズムは、前記教師あり学習モデルに基づいて前記第１データの第１特徴データを検出して第１検出結果を得る。第１データをアノテーションサンプルとしてアノテーションサンプルライブラリーに追加し、時間の経過に伴ってアノテーションサンプルライブラリーに蓄積されるアノテーションサンプルの数が多くなるので、教師あり学習や半教師あり学習に基づく異常検出アルゴリズムは、新たに追加したアノテーションサンプルを適用して増分学習したり、教師あり学習モデルを定期的に再度トレーニングしたりすることで、教師あり学習モデルの信頼性が向上し、異常検出アルゴリズムの検出精度が向上する。
【0069】
すなわち、第２検出結果が異常である場合、異常情報が表示され、例えば、異常情報は、異常データ（すなわち、第１データ）に対応する対象名称「セル１」、発生時間ｔｗ、ＫＰＩ名称「ＲＲＣ確立接続成功率」、ＫＰＩ値ｘｗなどを含む。ユーザは、異常確認情報を入力して異常を確認したり、異常キャンセル情報を入力して異常を取消したり、何もしない操作を選択したりすることができる。ユーザが異常確認情報を入力する場合、第１データを、異常とラベル付けされたサンプルとしてアノテーションサンプルライブラリーに追加し、ユーザが異常キャンセル情報を入力する場合、第１データを、正常とラベル付けされたサンプルとしてアノテーションサンプルライブラリーに追加する。
【0070】
本願実施例は、複数種の異常検出アルゴリズムによる検出結果および信頼度のチェック結果に基づいて最終的な検出結果を決定するようにしたので、信頼度のチェックが専門家の業務経験や分野知識による信頼度のチェックとなるため、検出結果の信頼度が向上する。
【0071】
当業者であれば、上述した方法の全部または一部の手順、システム、装置における機能モジュール／ユニットは、ソフトウェア、ファームウェア、ハードウェア、及びこれらの組み合わせとして実施され得ることを理解できる。ハードウエア実施形態では、上記の説明で言及された機能モジュール／ユニット間の区分けは、必ずしも物理コンポーネントの区分けに対応するわけではない。例えば、一つの物理コンポーネントは複数の機能を有してもよく、あるいは、一つの機能又はステップは、複数の物理コンポーネントが協働して実行されてもよい。幾つかのコンポーネント又は全てのコンポーネントは、デジタルシグナルプロセッサまたはマイクロプロセッサなどのプロセッサによって実行されるソフトウェアとして、またはハードウェアとして、または特定用途向け集積回路などの集積回路として実施され得る。このようなソフトウェアは、コンピュータ読取可能な媒体に配布されてもよく、コンピュータ読取可能な媒体は、コンピュータ記憶媒体（または非一時的媒体）および通信媒体（または一時的媒体）を含むことができる。当業者にとって周知のように、コンピュータ記憶媒体という用語は、情報（コンピュータ読み取り可能な命令、データ構造、プログラムモジュール、その他のデータなど）を記憶するための任意の方法又は技術で実施される揮発性及び不揮発性、リムーバブルメディア、及び非リムーバブルメディアを含む。コンピュータ記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、その他のメモリ技術、ＣＤ－ＲＯＭ、デジタル多機能ディスク（ＤＶＤ）、その他の光ディスク格納、マガジン、磁気テープ、ディスク格納、その他の磁気格納装置、または所望の情報を格納し、コンピュータにアクセス可能な任意のその他のメディアを含むが、これらに限らない。また、当業者にとって周知のように、通信媒体は通常、コンピュータ読み取り可能な命令、データ構造、プログラムモジュール、あるいはキャリアやその他の伝送メカニズムなどの変調データ信号に含まれる他のデータを含み、かつ任意の情報配信媒体を含むことができる。
【0072】
本願実施例に開示された実施形態は、以上の通りであるが、上記内容は本願実施例の理解を容易にするためのものであり、本願実施例を限定するものではない。いずれの本願実施例に属する技術分野の当業者も、本願実施例に開示されている精神と範囲を逸脱することなく、実施の形態および細部において何らかの修正と変化を加えることができるが、本願の保護範囲は、特許の請求範囲に限定された範囲を基準にすべきである。
【図1】
【図2】
【国際調査報告】