特開 2018-93432 判定システム、判定方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2018-93432(P2018-93432A)

(43)【公開日】2018年6月14日

(54)【発明の名称】判定システム、判定方法、及びプログラム

(51)【国際特許分類】

   H04L 12/70 20130101AFI20180518BHJP

   H04L 12/28 20060101ALI20180518BHJP

【ＦＩ】

   H04L12/70 100Z

   H04L12/28 200M

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

【全頁数】22

(21)【出願番号】特願2016-237066(P2016-237066)

(22)【出願日】2016年12月6日

(71)【出願人】

【識別番号】397065480

【氏名又は名称】エヌ・ティ・ティ・コムウェア株式会社

(74)【代理人】

【識別番号】100064908

【弁理士】

【氏名又は名称】志賀 正武

(74)【代理人】

【識別番号】100108578

【弁理士】

【氏名又は名称】高橋 詔男

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(72)【発明者】

【氏名】垣下 卓也

(72)【発明者】

【氏名】長尾 啓一

(72)【発明者】

【氏名】柴田 修宏

(72)【発明者】

【氏名】飯塚 敏浩

(72)【発明者】

【氏名】宮村 幸祐

(72)【発明者】

【氏名】小杉 晃範

【テーマコード（参考）】

5K030

5K033

【Ｆターム（参考）】

5K030GA14

5K030HD03

5K030JA10

5K030LE16

5K030MB09

5K030MC08

5K033BA08

5K033DB18

5K033DB20

5K033EA06

(57)【要約】

【課題】異常状態であると誤って判定されるおそれを抑制すること。
【解決手段】過去の通信データのトラヒック量を機械学習することによって作成された学習モデルを取得する学習モデル取得部と、過去の通信データのトラヒック量に基づいて設定された通信データのトラヒック量の基準値であるトラヒック量基準値を取得するトラヒック量基準値取得部と、学習モデルに対するトラヒック量基準値の外れ値である異常判定閾値を取得する異常判定閾値取得部と、判定対象の通信データのトラヒック量である判定対象トラヒック量を取得する判定対象トラヒック量取得部と、学習モデルに対する判定対象トラヒック量の外れ値である異常判定対象値を取得する異常判定対象値取得部と、異常判定閾値と異常判定対象値とに基づいて異常状態であるか否かを判定する判定部と、を備える判定システム。
【選択図】図１

【特許請求の範囲】

【請求項1】

過去の通信データのトラヒック量を機械学習することによって作成された学習モデルを取得する学習モデル取得部と、
前記過去の通信データのトラヒック量に基づいて設定された通信データのトラヒック量の基準値であるトラヒック量基準値を取得するトラヒック量基準値取得部と、
前記学習モデルに対する前記トラヒック量基準値の外れ値である異常判定閾値を取得する異常判定閾値取得部と、
判定対象の通信データのトラヒック量である判定対象トラヒック量を取得する判定対象トラヒック量取得部と、
前記学習モデルに対する前記判定対象トラヒック量の外れ値である異常判定対象値を取得する異常判定対象値取得部と、
前記異常判定閾値と前記異常判定対象値とに基づいて異常状態であるか否かを判定する判定部と、
を備える判定システム。

【請求項2】

前記判定部は、前記異常判定対象値が前記異常判定閾値より大きい場合に前記異常状態であると判定する、
請求項１に記載の判定システム。

【請求項3】

前記過去の通信データのトラヒック量の統計値に基づいて前記トラヒック量基準値を算出するトラヒック量基準値算出部をさらに備え、
前記トラヒック量基準値取得部は、前記トラヒック量基準値算出部によって算出された前記トラヒック量基準値を取得する、
請求項１又は請求項２に記載の判定システム。

【請求項4】

前記トラヒック量基準値算出部は、第１の期間にわたる前記過去の通信データのトラヒック量の統計値に基づいて前記トラヒック量基準値を算出し、
前記学習モデルは、前記第１の期間よりも短い第２の期間にわたる前記過去の通信データのトラヒック量を機械学習することによって作成され、
前記トラヒック量基準値を算出するための前記過去の通信データのトラヒック量のサンプリング間隔によって、前記第１の期間を除した値である第１計算負荷は、
前記学習モデルを作成するための前記過去の通信データのトラヒック量のサンプリング間隔によって、前記第２の期間を除した値である第２計算負荷より小さい、
請求項３に記載の判定システム。

【請求項5】

前記トラヒック量基準値算出部は、前記学習モデルが作成される時間単位よりも長い時間単位で前記トラヒック量基準値を算出し、
前記トラヒック量基準値を算出するための所定時間当たりの計算回数は、前記学習モデルを作成するための前記所定時間当たりの計算回数より少ない、
請求項３又は請求項４に記載の判定システム。

【請求項6】

前記判定対象トラヒック量は、複数のＶＬＡＮ（Ｖｉｒｔｕａｌ Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）と、前記複数のＶＬＡＮを接続する接続装置とを含むネットワークシステム内における前記判定対象の通信データのトラヒック量であり、
前記異常状態の原因が、各ＶＬＡＮ内にあるか、あるいは、前記接続装置内にあるかを分析するネットワーク分析部をさらに備える
請求項１から請求項５のいずれか一項に記載の判定システム。

【請求項7】

前記判定対象トラヒック量は、前記ネットワークシステムに含まれる複数のポートのそれぞれにおける前記判定対象の通信データのトラヒック量であり、
前記判定部は、前記複数のポートのそれぞれにおける前記判定対象トラヒック量が前記異常状態であるか否かを判定する、
請求項６に記載の判定システム。

【請求項8】

前記判定対象トラヒック量取得部は、前記ネットワークシステムに含まれる集約スイッチから前記判定対象トラヒック量を取得し、
前記学習モデルは、前記集約スイッチから取得された前記過去の通信データのトラヒック量を機械学習することによって作成される、
請求項６又は請求項７に記載の判定システム。

【請求項9】

判定システムが、
過去の通信データのトラヒック量を機械学習することによって作成された学習モデルを取得する第１ステップと、
前記過去の通信データのトラヒック量に基づいて設定された通信データのトラヒック量の基準値であるトラヒック量基準値を取得する第２ステップと、
前記学習モデルに対する前記トラヒック量基準値の外れ値である異常判定閾値を取得する第３ステップと、
判定対象の通信データのトラヒック量である判定対象トラヒック量を取得する第４ステップと、
前記学習モデルに対する前記判定対象トラヒック量の外れ値である異常判定対象値を取得する第５ステップと、
前記異常判定閾値と前記異常判定対象値とに基づいて異常状態であるか否かを判定する第６ステップと、
を含む判定方法。

【請求項10】

コンピュータに、
過去の通信データのトラヒック量を機械学習することによって作成された学習モデルを取得する第１ステップと、
前記過去の通信データのトラヒック量に基づいて設定された通信データのトラヒック量の基準値であるトラヒック量基準値を取得する第２ステップと、
前記学習モデルに対する前記トラヒック量基準値の外れ値である異常判定閾値を取得する第３ステップと、
判定対象の通信データのトラヒック量である判定対象トラヒック量を取得する第４ステップと、
前記学習モデルに対する前記判定対象トラヒック量の外れ値である異常判定対象値を取得する第５ステップと、
前記異常判定閾値と前記異常判定対象値とに基づいて異常状態であるか否かを判定する第６ステップと、
を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、判定システム、判定方法、及びプログラムに関する。

【背景技術】

【0002】

例えば、特許文献１には、トラヒック量の測定箇所について設定された下限閾値に基づいて監視を行うトラヒック監視システムであって、測定箇所でのトラヒック量に関するトラヒック情報を定期的に取得するトラヒック情報取得手段と、トラヒック情報取得手段によって取得したトラヒック情報に基づいて算出される算出値が下限閾値より低下した場合に測定箇所について警報発生状態であるとみなす判定手段とを含むことを特徴とするトラヒック監視システムが記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００９−０１７３９３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、特許文献１のシステムでは、判定対象値としてのトラヒック変動率と、判定閾値とが対比され、トラヒック変動率が判定閾値より低下した場合に、異常状態であると判定される。
そのため、特許文献１のシステムでは、例えばユーザの利用方法の変化直後に、ユーザの利用方法の変化後のトラヒック変動率と、ユーザの利用方法の変化前に設定された判定閾値とが対比され、異常状態であるか否かが判定される。その結果、ユーザの利用方法の変化直後に、正常状態であるにもかかわらず、異常状態であると誤って判定されるおそれがある。
また、特許文献１のシステムでは、例えばネットワークシステム内における切り替え作業の実行直後に、切り替え作業の実行後のトラヒック変動率と、切り替え作業の実行前に設定された判定閾値とが対比され、異常状態であるか否かが判定される。その結果、切り替え作業の実行直後に、正常状態であるにもかかわらず、異常状態であると誤って判定されるおそれがある。

【0005】

本発明のいくつかの態様は、通信データのトラヒック量が異常状態であると誤って判定されるおそれを抑制することができる判定システム、判定方法、及びプログラムを提供することを目的の一つとする。

【0006】

また、本発明の他の態様は、後述する実施形態に記載した作用効果を奏することを可能にする判定システム、判定方法、及びプログラムを提供することを目的の一つとする。

【課題を解決するための手段】

【0007】

上述した課題を解決するために、本発明の一態様は、過去の通信データのトラヒック量を機械学習することによって作成された学習モデルを取得する学習モデル取得部と、前記過去の通信データのトラヒック量に基づいて設定された通信データのトラヒック量の基準値であるトラヒック量基準値を取得するトラヒック量基準値取得部と、前記学習モデルに対する前記トラヒック量基準値の外れ値である異常判定閾値を取得する異常判定閾値取得部と、判定対象の通信データのトラヒック量である判定対象トラヒック量を取得する判定対象トラヒック量取得部と、前記学習モデルに対する前記判定対象トラヒック量の外れ値である異常判定対象値を取得する異常判定対象値取得部と、前記異常判定閾値と前記異常判定対象値とに基づいて異常状態であるか否かを判定する判定部と、を備える判定システムである。
また、本発明の別の一態様は、判定システムが、過去の通信データのトラヒック量を機械学習することによって作成された学習モデルを取得する第１ステップと、前記過去の通信データのトラヒック量に基づいて設定された通信データのトラヒック量の基準値であるトラヒック量基準値を取得する第２ステップと、前記学習モデルに対する前記トラヒック量基準値の外れ値である異常判定閾値を取得する第３ステップと、判定対象の通信データのトラヒック量である判定対象トラヒック量を取得する第４ステップと、前記学習モデルに対する前記判定対象トラヒック量の外れ値である異常判定対象値を取得する第５ステップと、前記異常判定閾値と前記異常判定対象値とに基づいて異常状態であるか否かを判定する第６ステップと、を含む判定方法である。
また、本発明の別の一態様は、コンピュータに、過去の通信データのトラヒック量を機械学習することによって作成された学習モデルを取得する第１ステップと、前記過去の通信データのトラヒック量に基づいて設定された通信データのトラヒック量の基準値であるトラヒック量基準値を取得する第２ステップと、前記学習モデルに対する前記トラヒック量基準値の外れ値である異常判定閾値を取得する第３ステップと、判定対象の通信データのトラヒック量である判定対象トラヒック量を取得する第４ステップと、前記学習モデルに対する前記判定対象トラヒック量の外れ値である異常判定対象値を取得する第５ステップと、前記異常判定閾値と前記異常判定対象値とに基づいて異常状態であるか否かを判定する第６ステップと、を実行させるためのプログラムである。

【発明の効果】

【0008】

本発明の一実施形態によれば、通信データのトラヒック量が異常状態であると誤って判定されるおそれを抑制することができる。

【図面の簡単な説明】

【0009】

【図1】第１の実施形態の判定システムが適用されたネットワークシステムの一例を示す図。

【図2】第１の実施形態の判定システムを適用可能なネットワークシステムの一例を示す図。

【図3】第１の実施形態の判定システムにおける処理の流れなどを示す図。

【図4】接続装置とＶＬＡＮとポートとの関係の一例を示す図。

【図5】判定対象トラヒック量の一般的な異常判定手法を示す図。

【図6】誤判定の一例を示す図。

【図7】誤判定の他の例を示す図。

【図8】第１の実施形態の判定システムによる判定を示す図。

【図9】第１の実施形態の判定システムによる判定の他の例を示す図。

【図10】トラヒック量基準値を算出する計算負荷と学習モデルを作成する計算負荷とを示す図。

【図11】異常判定対象値を示す図。

【図12】異常判定対象値が異常であるか否かを判定する手法を示す図。

【図13】２つの異常判定閾値を比較した図。

【図14】トラヒック量基準値の算出手法の一例を示す図。

【図15】トラヒック量基準値の算出手法の他の例を示す図。

【図16】異常判定対象値と異常判定閾値との関係を示す図。

【図17】第１の実施形態の判定システムを適用可能なネットワークシステムの他の例を示す図。

【図18】判定システムによる全体的な処理の流れを示すフローチャート。

【図19】第２の実施形態の判定システムが適用されたネットワークシステムの一例を示す図。

【発明を実施するための形態】

【0010】

以下、本発明の一実施形態について、図面を参照して説明する。
[第１の実施形態]
本発明の第１の実施形態について説明する。
図１は、第１の実施形態の判定システム１００が適用されたネットワークシステム２００の一例を示す図である。
図１に示す例では、判定システム１００は、学習モデル取得部１０と、トラヒック量基準値取得部１１と、異常判定閾値取得部１２と、判定対象トラヒック量取得部１３と、異常判定対象値取得部１４と、トラヒック量基準値算出部２０と、判定部３０と、ネットワーク分析部４０と、アラーム分析部５０とを備える。
学習モデル取得部１０は、過去の通信データのトラヒック量を機械学習することによって作成された学習モデルを取得する。図１に示す例では、学習モデル作成部２１０が、判定システム１００の外部に設けられている。学習モデル作成部２１０は、過去の通信データのトラヒック量を機械学習することによって、学習モデルを作成する。学習モデル取得部１０は、学習モデル作成部２１０から学習モデルを取得する。

【0011】

トラヒック量基準値取得部１１は、過去の通信データのトラヒック量に基づいて設定された通信データのトラヒック量の基準値であるトラヒック量基準値を取得する。図１に示す例では、トラヒック量基準値算出部２０が、判定システム１００の内部に設けられている。トラヒック量基準値算出部２０は、過去の通信データのトラヒック量の統計値に基づいてトラヒック量基準値を算出する。トラヒック量基準値取得部１１は、トラヒック量基準値算出部２０からトラヒック量基準値を取得する。
異常判定閾値取得部１２は、学習モデルに対するトラヒック量基準値の外れ値である異常判定閾値を取得する。図１に示す例では、異常判定閾値算出部２２０が、判定システム１００の外部に設けられている。異常判定閾値算出部２２０は、異常判定閾値を算出する。異常判定閾値取得部１２は、異常判定閾値算出部２２０から異常判定閾値を取得する。

【0012】

判定対象トラヒック量取得部１３は、判定対象の通信データのトラヒック量である判定対象トラヒック量を取得する。
図１に示す例では、判定対象トラヒック量が、ネットワークシステム２００に含まれる複数のポート２７０−１、２７０−２、…、２７０−８のそれぞれにおいて測定される。ネットワークシステム２００には、集約スイッチ２８０が含まれている。複数のポート２７０−１、２７０−２、…、２７０−８のそれぞれの判定対象トラヒック量は、集約スイッチ２８０を介して、判定対象トラヒック量取得部１３によって取得される。トラヒック収集サーバ２９０は、複数のポート２７０−１、２７０−２、…、２７０−８のそれぞれの判定対象トラヒック量を保存する。
また、図１に示す例では、複数のポート２７０−１、２７０−２、…、２７０−８のそれぞれの過去の通信データのトラヒック量が、集約スイッチ２８０を介して、学習モデル作成部２１０によって取得される。学習モデル作成部２１０は、複数のポート２７０−１、２７０−２、…、２７０−８のそれぞれの過去の通信データのトラヒック量を機械学習することによって、複数のポート２７０−１、２７０−２、…、２７０−８のそれぞれの学習モデルを作成する。

【0013】

異常判定対象値取得部１４は、学習モデルに対する判定対象トラヒック量の外れ値である異常判定対象値を取得する。図１に示す例では、異常判定対象値算出部２３０が、判定システム１００の外部に設けられている。異常判定対象値算出部２３０は、異常判定対象値を算出する。異常判定対象値取得部１４は、異常判定対象値算出部２３０から異常判定対象値を取得する。
判定部３０は、異常判定閾値取得部１２によって取得された異常判定閾値と、異常判定対象値取得部１４によって取得された異常判定対象値とに基づいて、異常状態であるか否かを判定する。具体的には、判定部３０は、異常判定対象値が異常判定閾値より大きい場合に、異常状態であると判定する。
図１に示す例では、判定部３０は、複数のポート２７０−１、２７０−２、…、２７０−８のそれぞれの判定対象トラヒック量が異常状態であるか否かを判定する。

【0014】

ネットワーク分析部４０は、判定部３０によって異常状態であると判定されたポートの数、位置などを分析する。また、ネットワーク分析部４０は、異常状態である旨の判定結果を分析する。異常状態である旨の判定結果には、例えばユーザ起因の判定結果が含まれる。また、異常状態である旨の判定結果には、例えばネットワークシステム２００が起因する判定結果が含まれる。
異常状態である旨の判定結果が、ユーザ起因の判定結果である場合、ネットワーク分析部４０は、ユーザの利用方法が変化した、あるいは、ネットワークシステム２００内で切り替え作業などが実行された、と分析する。つまり、ネットワーク分析部４０は、ネットワークシステム２００自体が正常である、と分析する。
異常状態である旨の判定結果が、ネットワークシステム２００が起因する判定結果である場合、ネットワーク分析部４０は、ネットワークシステム２００に異常が発生したおそれがある、と分析する。また、ネットワーク分析部４０は、異常が発生した箇所（被疑箇所）を特定する。被疑箇所は、異常状態であると判定されたポートの位置、正常状態であると判定されたポートの位置、ネットワークシステム２００の構成、通信データのトラヒックの流れなどに基づいて特定される。

【0015】

アラーム分析部５０は、アラーム情報（出されたアラームの履歴）を突合する。故障には、アラームを出すことができないサイレント故障と、アラームを出すことができる通常の故障とが含まれる。アラーム分析部５０は、サイレント故障が原因の異常状態であると判定されたのか、あるいは、通常の故障が原因の異常状態であると判定されたのかを分析する。
図１に示す例では、ネットワーク分析部４０とアラーム分析部５０とが判定システム１００に設けられているが、他の例では、ネットワーク分析部４０とアラーム分析部５０とを省略したり、判定システム１００の外部に設けたりしてもよい。

【0016】

図２は、第１の実施形態の判定システム１００を適用可能なネットワークシステム２００の一例を示す図である。図２に示す例では、ネットワークシステム２００が、第１ネットワーク２００−１と、第２ネットワーク２００−２と、第３ネットワーク２００−３とによって構成されている。第１ネットワーク２００−１と、第２ネットワーク２００−２と、第３ネットワーク２００−３とは、相互に接続されている。第１ネットワーク２００−１は第１事業者のネットワークであり、第２ネットワーク２００−２は第２事業者のネットワークであり、第３ネットワーク２００−３は第３事業者のネットワークである。
第１ネットワーク２００−１には、複数のＶＬＡＮ（Ｖｉｒｔｕａｌ Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）と、それらを接続する接続装置２６０−１とが含まれている。第２ネットワーク２００−２および第３ネットワーク２００−３は、第１ネットワーク２００−１と同様に構成される。第２ネットワーク２００−２には、接続装置２６０−２が含まれ、第３ネットワーク２００−３には、接続装置２６０−３が含まれている。
図２に示すネットワークシステム２００に対して第１の実施形態の判定システム１００を適用することによって、判定部３０は、ネットワークシステム２００内の複数のポートのそれぞれの判定対象トラヒック量が異常状態であるか否かを判定することができる。

【0017】

図３は、第１の実施形態の判定システム１００における処理の流れなどを示す図である。図３に示す例では、接続装置２６０−１、２６０−２内の複数のポートのそれぞれの過去の通信データのトラヒック量が、トラヒック収集サーバ２９０に保存されている。また、接続装置２６０−１、２６０−２内の複数のポートでは、判定対象トラヒック量が測定される。
判定システム１００は、最初にトラヒック収集を実行する。具体的には、判定システム１００は、トラヒック収集サーバ２９０に保存されている過去の通信データのトラヒック量を収集する。また、判定システム１００は、ミラーポート２８０ａを有する集約スイッチ２８０を介して、接続装置２６０−１、２６０−２内の複数のポートの判定対象トラヒック量を収集する。
判定システム１００は、次いで、トラヒック分析を実行する。具体的には、判定システム１００は、過去の通信データのトラヒック量を機械学習することによって作成された学習モデルを取得する。また、判定システム１００は、過去の通信データのトラヒック量に基づいてトラヒック量基準値を算出する。また、判定システム１００は、学習モデルに対するトラヒック量基準値の外れ値である異常判定閾値を取得する。また、判定システム１００は、学習モデルに対する判定対象トラヒック量の外れ値である異常判定対象値を取得する。また、判定システム１００は、異常判定閾値と異常判定対象値とに基づいて、接続装置２６０−１、２６０−２内の複数のポートのそれぞれが異常状態であるか否かを判定する。

【0018】

図３に示す例では、判定システム１００は、次いで、アラーム分析を実行する。具体的には、判定システム１００は、サイレント故障が原因の異常状態であると判定されたのか、あるいは、通常の故障が原因の異常状態であると判定されたのかを分析する。
判定システム１００は、次いで、ネットワーク分析を実行する。具体的には、判定システム１００は、接続装置２６０−１、２６０−２内において異常が発生した箇所（被疑箇所）を特定する。図３に示す例では、判定システム１００は、次いで、サイレント故障を周知する処理を実行する。

【0019】

図４は、接続装置２６０と、接続装置２６０に接続された複数のＶＬＡＮ２５０−１、２５０−２、２５０−３と、接続装置２６０内の複数のポート２７０−１、２７０−２、２７０−３との関係の一例を示す図である。
図４に示す例では、ＶＬＡＮ２５０−１は、ポート２７０−１を介して接続装置２６０に接続されている。同様に、ＶＬＡＮ２５０−２、２５０−３は、それぞれ、ポート２７０−２、２７０−３を介して接続装置２６０に接続されている。ＶＬＡＮ２５０−１、ＶＬＡＮ２５０−２、ＶＬＡＮ２５０−３は、それぞれ、ユーザＵ１、Ｕ２、Ｕ３によって利用されている。
図４に示す例では、ＶＬＡＮ２５０−１内の判定対象トラヒック量は、ポート２７０−１において測定される。同様に、ＶＬＡＮ２５０−２、ＶＬＡＮ２５０−３内の判定対象トラヒック量は、それぞれ、ポート２７０−２、２７０−３において測定される。

【0020】

図５は判定対象トラヒック量の一般的な異常判定手法を示す図である。詳細には、図５（Ａ）は過去の通信データのトラヒック量と従来型判定用閾値との関係の一例を示す図である。図５（Ａ）の横軸は時刻を示している。同様に、後述する図５（Ｂ）、図５（Ｃ）、図５（Ｄ）、図６（Ａ）、図６（Ｂ）、図６（Ｃ）、図７（Ａ）、図７（Ｂ）、図８（Ａ）、図８（Ｂ）、図９（Ａ）、図９（Ｂ）、図１０（Ａ）、図１０（Ｂ）、図１０（Ｃ）、図１０（Ｄ）、図１１（Ｂ）、図１１（Ｃ）、図１２、図１３（Ａ）、図１３（Ｂ）、図１３（Ｃ）、図１４（Ａ）、図１５（Ａ）、図１５（Ｃ）および図１６の横軸も時刻を示している。
図５（Ａ）の縦軸はトラヒック量を示している。同様に、後述する図５（Ｂ）、図５（Ｃ）、図５（Ｄ）、図６（Ａ）、図６（Ｂ）、図６（Ｃ）、図７（Ａ）、図７（Ｂ）、図８（Ａ）、図８（Ｂ）、図９（Ａ）、図９（Ｂ）、図１０（Ａ）、図１０（Ｂ）、図１０（Ｃ）、図１０（Ｄ）、図１１（Ｂ）、図１１（Ｃ）、図１２、図１３（Ａ）、図１３（Ｂ）、図１３（Ｃ）、図１４（Ａ）、図１４（Ｂ）、図１５（Ａ）、図１５（Ｂ）および図１５（Ｃ）の縦軸もトラヒック量を示している。
図５（Ａ）に示す例では、図５（Ａ）に示すような「過去の通信データのトラヒック量」が得られた場合に、「過去の通信データのトラヒック量」に基づき、一般的な統計的手法によって「従来型判定用閾値」が算出される。ポートにおいて測定された判定対象トラヒック量（図示せず）と図５（Ａ）に示す「従来型判定用閾値」とが対比される。判定対象トラヒック量が図５（Ａ）に示す「従来型判定用閾値」よりも小さい場合に、判定対象トラヒック量が異常状態であると判定される。
図５（Ｂ）は図５（Ａ）に示す「従来型判定用閾値」を算出するために必要な「過去の通信データのトラヒック量」のデータ量を示す図である。

【0021】

図５（Ｃ）は過去の通信データのトラヒック量と従来型判定用閾値との関係の他の例を示す図である。図５（Ｃ）に示す例では、図５（Ｃ）に示す「過去の通信データのトラヒック量」に基づき、一般的な統計的手法によって図５（Ｃ）に示す「従来型判定用閾値」が算出される。判定対象トラヒック量が図５（Ｃ）に示す「従来型判定用閾値」よりも小さい場合に、判定対象トラヒック量が異常状態であると判定される。
図５（Ｄ）は図５（Ｃ）に示す「従来型判定用閾値」を算出するために必要な「過去の通信データのトラヒック量」のデータ量を示す図である。

【0022】

図５（Ａ）に示す例では、例えば１時間のような短い時間間隔で「従来型判定用閾値」の値が変更される。そのため、算出される「従来型判定用閾値」の値の数が多い。また、図５（Ａ）に示す「従来型判定用閾値」の算出に必要な「過去の通信データのトラヒック量」のデータ量が多い（図５（Ｂ）に示す例では、データ抽出期間ｔａ〜ｔｂが長い）。
一方、図５（Ｃ）に示す例では、例えば８時間のような長い時間間隔で「従来型判定用閾値」の値が変更される。そのため、算出される「従来型判定用閾値」の値の数が少ない。また、図５（Ｃ）に示す「従来型判定用閾値」の算出に必要な「過去の通信データのトラヒック量」のデータ量が少ない（図５（Ｄ）に示す例では、データ抽出期間ｔｃ〜ｔｄが短い）。

【0023】

図６は、図５（Ａ）および図５（Ｂ）に示す判定対象トラヒック量の一般的な異常判定手法において起こり得る誤判定の一例を示す図である。図６（Ａ）は図４に示すポート２７０−１において測定された判定対象トラヒック量を示す図である。同様に、図６（Ｂ）および図６（Ｃ）は、それぞれ、ポート２７０−２、２７０−３において測定された判定対象トラヒック量を示す図である。
図６（Ａ）に示す例では、図４に示すユーザＵ１の利用方法が、以前と比べて変化していない。そのため、「判定対象トラヒック量」が、「従来型判定用閾値」よりも小さくならない。その結果、一般的な判定システムによって、「異常状態ではない」と判定される。図６（Ｃ）に示す例においても、図４に示すユーザＵ３の利用方法が、以前と比べて変化していない。その結果、一般的な判定システムによって、「異常状態ではない」と判定される。

【0024】

一方、図６（Ｂ）に示す例では、図４に示すユーザＵ２の利用方法が以前と比べて変化している。また、ユーザＵ２の利用方法が変化した後にポート２７０−２において測定された「判定対象トラヒック量」と、ユーザＵ２の利用方法が変化する前に算出された「従来型判定用閾値」とが対比される。そのため、期間ｔ１〜ｔ２に、「判定対象トラヒック量」が、「従来型判定用閾値」よりも小さくなる。その結果、一般的な判定システムによって、期間ｔ１〜ｔ２に「異常状態である」と判定される。
図４および図６に示す例では、期間ｔ１〜ｔ２に、接続装置２６０自体には異常が発生していない。そのため、上述した期間ｔ１〜ｔ２の「異常状態である」旨の判定は、誤判定になる。
例えば昼休み期間中、ネットワークシステム内の夜間の切り替え作業の実行時など、判定対象トラヒック量が定期的または不定期に短時間で変動する場合にも、図６（Ｂ）に示す例と同様に、一般的な判定システムによって誤判定されるおそれがある。

【0025】

図７は、誤判定の他の例を示す図である。図７（Ａ）に示す例では、時刻２３：００にネットワークシステム内の切り替え作業が実行されない。
一方、図７（Ｂ）に示す例では、時刻２３：００にネットワークシステム内の切り替え作業が実行される。また、切り替え作業の実行中の「判定対象トラヒック量」と、切り替え作業が実行されない場合の過去の通信データのトラヒック量に基づいて算出された「従来型判定用閾値」とが対比される。そのため、時刻２３：００に「判定対象トラヒック量」が「従来型判定用閾値」よりも小さくなる。その結果、一般的な判定システムによって、時刻２３：００に「異常状態である」と判定される。
図７（Ｂ）に示す例では、時刻２３：００にネットワークシステム自体には異常が発生していない。そのため、上述した時刻２３：００の「異常状態である」旨の判定は、誤判定になる。
例えばユーザの利用方法が変化し、「判定対象トラヒック量」が短期的に変化する場合にも、図７（Ｂ）に示す例と同様に、一般的な判定システムによって誤判定されるおそれがある。

【0026】

図８は、第１の実施形態の判定システム１００による判定を示す図である。図８（Ａ）および図８（Ｂ）において、「学習モデル」は、ユーザの利用方法が変化した後の過去の通信データのトラヒック量に基づいて作成された学習モデルである。「トラヒック量基準値」は、ユーザの利用方法が変化する前の過去の通信データのトラヒック量に基づいて算出されたトラヒック量基準値である。「時刻ｔ０１の判定対象トラヒック量」は、ユーザの利用方法が変化した後に測定された判定対象トラヒック量である。「時刻ｔ０１の異常判定閾値」は、「時刻ｔ０１の学習モデル」に対する「トラヒック量基準値」の外れ値を示す。「時刻ｔ０１の異常判定対象値」は、「時刻ｔ０１の学習モデル」に対する「時刻ｔ０１の判定対象トラヒック量」の外れ値を示す。
図８（Ａ）に示す例では、「時刻ｔ０１の異常判定対象値」が「時刻ｔ０１の異常判定閾値」より小さいため、判定システム１００の判定部３０が「異常状態ではない」と判定する。

【0027】

上述したように、図６（Ｂ）に示す一般的な判定システムでは、ユーザの利用方法の変化に伴って「判定対象トラヒック量」の値が落ち込む期間ｔ１〜ｔ２に、「異常状態である」と誤判定されてしまう。
それに対し、第１の実施形態の判定システム１００では、図８（Ａ）に示すように、ユーザの利用方法の変化に伴って「判定対象トラヒック量」の値が落ち込む時刻ｔ０１においても、「異常状態ではない」と判定される。そのため、通信データのトラヒック量が異常状態であると誤って判定されるおそれを抑制することができる。

【0028】

図８（Ｂ）は、ユーザの利用方法が変化した後の時刻ｔ０２の判定対象トラヒック量が、ユーザの利用方法が変化する前と同様に大きい値になる例を示している。
ユーザの利用方法が変化した後、ネットワークシステムが正常であれば、「時刻ｔ０２の判定対象トラヒック量」の値は、「学習モデル」と同様に、落ち込む必要がある。ところが、図８（Ｂ）に示す例では、ユーザの利用方法が変化した後の「時刻ｔ０２の判定対象トラヒック量」の値が、ユーザの利用方法が変化する前と同様に大きい値になる。
詳細には、「時刻ｔ０２の異常判定対象値」が「時刻ｔ０２の異常判定閾値」より大きくなる。そのため、判定システム１００の判定部３０は「異常状態である」と判定する。

【0029】

図９は、第１の実施形態の判定システム１００による判定の他の例を示す図である。図９（Ａ）は時刻２３：００のネットワークシステム内の切り替え作業の実行前の例を示している。図９（Ｂ）は時刻２３：００のネットワークシステム内の切り替え作業の実行後の例を示している。
図９（Ａ）の「学習モデル」は、切り替え作業の実行前の過去の通信データのトラヒック量に基づいて作成された学習モデルである。図９（Ｂ）の「学習モデル」は、切り替え作業の実行後の過去の通信データのトラヒック量に基づいて作成された学習モデルである。図９（Ａ）および図９（Ｂ）の「トラヒック量基準値」は、切り替え作業の実行前の過去の通信データのトラヒック量に基づいて算出されたトラヒック量基準値である。
図９（Ａ）の「２３：００の判定対象トラヒック量」は、切り替え作業の実行前の時刻２３：００の判定対象トラヒック量である。図９（Ｂ）の「２３：００の判定対象トラヒック量」は、切り替え作業の実行後の時刻２３：００の判定対象トラヒック量である。
図９（Ａ）の「２３：００の異常判定閾値」は、図９（Ａ）の「２３：００の学習モデル」に対する図９（Ａ）および図９（Ｂ）の「トラヒック量基準値」の外れ値を示す。図９（Ｂ）の「２３：００の異常判定閾値」は、図９（Ｂ）の「２３：００の学習モデル」に対する図９（Ａ）および図９（Ｂ）の「トラヒック量基準値」の外れ値を示す。
図９（Ａ）の「２３：００の異常判定対象値」は、図９（Ａ）の「２３：００の学習モデル」に対する図９（Ａ）の「２３：００の判定対象トラヒック量」の外れ値を示す。図９（Ｂ）の「２３：００の異常判定対象値」は、図９（Ｂ）の「２３：００の学習モデル」に対する図９（Ｂ）の「２３：００の判定対象トラヒック量」の外れ値を示す。

【0030】

図９（Ａ）に示す例では、図９（Ａ）の「２３：００の異常判定対象値」が図９（Ａ）の「２３：００の異常判定閾値」より小さいため、判定システム１００の判定部３０が「異常状態ではない」と判定する。図９（Ｂ）に示す例では、図９（Ｂ）の「２３：００の異常判定対象値」が図９（Ｂ）の「２３：００の異常判定閾値」より小さいため、判定システム１００の判定部３０が「異常状態ではない」と判定する。
上述したように、図７（Ｂ）に示す一般的な判定システムでは、切り替え作業の実行に伴って「判定対象トラヒック量」の値が落ち込む時刻２３：００に、「異常状態である」と誤判定されてしまう。
それに対し、第１の実施形態の判定システム１００では、図９（Ｂ）に示すように、切り替え作業の実行に伴って「２３：００の判定対象トラヒック量」の値が落ち込む時刻２３：００においても、「異常状態ではない」と判定される。そのため、通信データのトラヒック量が異常状態であると誤って判定されるおそれを抑制することができる。

【0031】

図１０は、過去の通信データのトラヒック量に基づいてトラヒック量基準値を算出する計算負荷と、過去の通信データのトラヒック量を機械学習することによって学習モデルを作成する計算負荷とを示す図である。
第１の実施形態の判定システム１００が適用された図１０に示す例では、トラヒック量基準値算出部２０が、図１０（Ａ）の「過去の通信データのトラヒック量」の統計値に基づいて、図１０（Ａ）の「トラヒック量基準値」を算出する。具体的には、トラヒック量基準値算出部２０が、例えば１か月〜２か月のような、図１０（Ｂ）の「データ抽出期間ｔＡ〜ｔＢ」にわたる過去の通信データのトラヒック量の統計値に基づいて、図１０（Ａ）の「トラヒック量基準値」を算出する。
学習モデル作成部２１０は、図１０（Ｃ）の「過去の通信データのトラヒック量」を機械学習することによって、図１０（Ｃ）の「時刻ｔ００１の学習モデル」および「時刻ｔ００２の学習モデル」を作成する。具体的には、学習モデル作成部２１０が、例えば直近の２週間〜１か月のような、「期間ｔＡ〜ｔＢ」よりも短い図１０（Ｄ）の「データ抽出期間ｔＣ〜ｔＤ」にわたる過去の通信データのトラヒック量を機械学習することによって学習モデルを作成する。

【0032】

第１の実施形態の判定システム１００が適用された図１０に示す例では、トラヒック量基準値算出部２０の計算負荷（計算回数）が、図１０（Ａ）の「トラヒック量基準値」を算出するための過去の通信データのトラヒック量のサンプリング間隔によって、図１０（Ｂ）の「期間ｔＡ〜ｔＢ」を除した値である。学習モデル作成部２１０の計算負荷（計算回数）は、学習モデルを作成するための過去の通信データのトラヒック量のサンプリング間隔によって、図１０（Ｄ）の「期間ｔＣ〜ｔＤ」を除した値である。図１０（Ａ）の「トラヒック量基準値」を算出するための過去の通信データのトラヒック量のサンプリング間隔は、学習モデルを作成するための過去の通信データのトラヒック量のサンプリング間隔よりも、大きい値に設定される。そのため、トラヒック量基準値算出部２０の計算負荷（計算回数）は、学習モデル作成部２１０の計算負荷（計算回数）より小さくなる。その結果、トラヒック量基準値算出部２０の計算負荷を軽減することができる。つまり、判定システム１００の計算負荷を軽減することができる。
また、トラヒック量基準値算出部２０は、学習モデル作成部２１０が学習モデルを作成する時間単位（例えば、５分）よりも長い時間単位（例えば、８時間）で図１０（Ａ）の「トラヒック量基準値」を算出する。詳細には、通常、ユーザトラヒックは１日単位で周期性を持っているため、上述したように、トラヒック量基準値算出部２０は、長い時間単位で「トラヒック量基準値」を算出すればよい。
学習モデルの時間単位が５分に設定される場合、学習モデル作成部２１０によって作成される学習モデルの値は、５分の間、一定値になる。５分の間、一定値になる学習モデルを作成するために例えばＮ回の計算が必要な場合、学習モデルを作成するための単位時間当たりの計算回数は（Ｎ回／５分）になる。
一方、トラヒック量基準値の時間単位が８時間に設定される場合、トラヒック量基準値算出部２０によって算出されるトラヒック量基準値は、８時間の間、一定値になる。８時間の間、一定値になるトラヒック量基準値を算出するために例えばＮ回の計算が必要な場合、トラヒック量基準値を算出するための単位時間当たりの計算回数は（Ｎ回／８時間）になる。
すなわち、トラヒック量基準値を算出するための所定時間当たりの計算回数は、学習モデルを作成するための所定時間当たりの計算回数より少ない。そのため、トラヒック量基準値算出部２０の計算負荷を軽減することができる。つまり、判定システム１００の計算負荷を軽減することができる。

【0033】

図１１は、異常判定対象値を示す図である。図１１（Ａ）に示す例では、学習モデル作成部２１０が、過去の通信データのトラヒック量に関する例えば１４個〜３０個のデータを機械学習することによって、「学習モデル」を作成する。判定対象トラヒック量取得部１３は、例えばポートにおいて測定された「判定対象トラヒック量」を取得する。異常判定対象値算出部２３０は、「学習モデル」に対する「判定対象トラヒック量」の外れ値である「異常判定対象値」を算出する。
図１１（Ｂ）に示す例では、学習モデル作成部２１０が、例えば１４個〜３０個の過去の時刻１２：００の通信データのトラヒック量のデータを機械学習することによって、「１２：００の学習モデル」を作成する。学習モデル作成部２１０が、同様に「１３：００の学習モデル」を作成する。
図１１（Ｃ）に示す例では、異常判定対象値算出部２３０が、「１２：００の学習モデル」と、判定対象トラヒック量取得部１３によって取得された「１２：００の判定対象トラヒック量」とに基づいて「１２：００の異常判定対象値」を算出する。異常判定対象値算出部２３０は、同様に「１３：００の異常判定対象値」を算出する。異常判定対象値算出部２３０は、異常判定対象値を算出するが、その異常判定対象値が異常であるか否かを判定しない。

【0034】

図１２は、「１２：００の異常判定対象値」が異常であるか否かを判定する手法を示す図である。図１２に示す例では、トラヒック量基準値算出部２０が、例えば１４個未満の過去の通信データのトラヒック量のデータに基づいて、時刻１２：００を含む時間帯の「トラヒック量基準値」を算出する。「１２：００のトラヒック量基準値」は、時刻１２：００を含む時間帯の「トラヒック量基準値」と等しい。
異常判定閾値算出部２２０は、「１２：００のトラヒック量基準値」と「１２：００の学習モデル」とに基づいて「１２：００の異常判定閾値」を算出する。判定部３０は、「１２：００の異常判定対象値」と「１２：００の異常判定閾値」とを対比する。
図１２に示す例では、「１２：００の異常判定対象値」が「１２：００の異常判定閾値」以下であるため、判定部３０は、１２：００に異常状態はないと判定する。

【0035】

図１３は、「１２：００の異常判定閾値」と「１３：００の異常判定閾値」とを比較した図である。図１３（Ｂ）に示す例では、時刻１２：００と時刻１３：００とが、「トラヒック量基準値」が一定値の時間帯に含まれている。そのため、「１２：００のトラヒック量基準値」と「１３：００のトラヒック量基準値」とが等しい。
図１３（Ａ）に示す例では、「１３：００の学習モデル」の値（トラヒック量）が、「１２：００の学習モデル」の値より大きい。そのため、図１３（Ｃ）に示す例では、「１３：００の異常判定閾値」が「１２：００の異常判定閾値」より大きくなる。その結果、図１３に示す例では、時刻１３：００に、時刻１２：００よりも、異常状態であると判定されづらくなる。

【0036】

図１４は、トラヒック量基準値の算出手法の一例を示す図である。図１４（Ｂ）の横軸は分布を示している。同様に、図１５（Ｂ）の横軸も分布を示している。
図１４に示す例では、図１４（Ａ）に示す時間帯のトラヒック量基準値が一定値になるように、トラヒック量基準値が算出される。具体的には、図１４に示す例では、トラヒック量基準値算出部２０が、図１４（Ａ）に示す時間帯の「過去の通信データのトラヒック量」に基づいて、図１４（Ｂ）に示す分布を算出する。また、トラヒック量基準値算出部２０は、図１４（Ｂ）に示す分布のＡパーセンタイル（Ａは所定値）のトラヒック量を算出する。トラヒック量基準値算出部２０は、そのトラヒック量に係数Ｂ（Ｂは１より小さい値）を乗じることによって、「トラヒック量基準値」を算出する。

【0037】

図１５は、トラヒック量基準値の算出手法の他の例を示す図である。図１５に示す例では、図１５（Ａ）および図１５（Ｃ）に示す時間帯のトラヒック量基準値が一定値になるように、トラヒック量基準値が算出される。具体的には、図１５に示す例では、例えばポートのような判定対象トラヒック量の測定点において、図１５（Ａ）に示すような過去の通信データのトラヒック量が測定される。トラヒック量基準値算出部２０は、図１５（Ａ）に示す時間帯の「過去の通信データのトラヒック量（送信パケット数）」に基づいて、図１５（Ｂ）に示す分布を算出する。トラヒック量基準値算出部２０は、出現率が低くなる（例えば９９．５％以下）となる点を第１暫定値αとする。詳細には、トラヒック量基準値算出部２０が下記の（１）〜（６）の計算を実施する。
（１）トラヒック量基準値算出部２０は、送信パケット数の標準偏差σを算出する。
（２）トラヒック量基準値算出部２０は、例えば０．００１σを１階級として、図１５（Ｂ）に示すヒストグラムを算出する。
（３）トラヒック量基準値算出部２０は、１階級毎の出現確率を算出する。
（４）トラヒック量基準値算出部２０は、出現確率を送信パケット数の多いほうから順に加算し、例えば９９．５％を超えた階級の最大値（第１暫定値）αを算出する。
（５）グラフから異常値を除くため、トラヒック量基準値算出部２０は、０．４αを下回る送信パケットを除外し、再度（１）〜（４）の計算を実施する。
（６）トラヒック量基準値算出部２０は、再度算出された値を、図１５（Ｃ）に示す第２暫定値βとし、その第２暫定値βにｘ％（ｘ％は１より小さい値）を乗じることによって、図１５（Ｃ）に示す「トラヒック量基準値」を算出する。

【0038】

図１６は、異常判定対象値と異常判定閾値との関係を示す図である。図１６の縦軸は、異常判定対象値および異常判定閾値を示している。図１６に示す例では、判定部３０が、所定時間間隔で、異常判定対象値が異常判定閾値より大きいか否かを判定する。
図１６に示す例では、時刻ｔ１に、判定部３０は、異常判定対象値が異常判定閾値より大きいと最初に判定する。第１の実施形態の判定システム１００が適用されたネットワークシステム２００の異常報知部（図示せず）は、ワーニングを実行する。
Ｘａ回（例えば２回）後の判定が判定部３０によって実行される時刻ｔ３に、判定部３０は、アラートをログに出力する。同様に、判定部３０は、Ｘｂ回（例えば６回）の判定毎に、つまり、時刻ｔ９、ｔ１５に、アラートをログに出力する。
異常判定対象値が異常判定閾値以下であると判定部３０がＸｃ回（例えば５回）続けて判定する時刻ｔ２１に、異常報知部は、ネットワークシステム２００が復旧したと判定する。

【0039】

図１７は、第１の実施形態の判定システム１００を適用可能なネットワークシステム２００の他の例を示す図である。図１７に示す例では、ネットワークシステム２００は、接続装置２６０−１、２６０−２を有する。接続装置２６０−１はＶＬＡＮ２５０−１、２５０−２、２５０−３を接続し、接続装置２６０−２はＶＬＡＮ２５０−４、２５０−５、２５０−６を接続する。接続装置２６０−１はポート２７０−１、２７０−２、２７０−３、２７０−４を有し、接続装置２６０−２はポート２７０−５、２７０−６、２７０−７、２７０−８を有する。
図１７に示す例では、判定部３０が、ポート２７０−１の判定対象トラヒック量が異常状態であり、ポート２７０−２、２７０−３、２７０−４の判定対象トラヒック量が異常状態ではないと判定する。ネットワーク分析部４０は、ポート２７０−１の判定対象トラヒック量の異常状態がユーザＵ１に起因すると分析する。また、ネットワーク分析部４０は、接続装置２６０−１は正常状態であると分析する。
また、図１７に示す例では、判定部３０が、ポート２７０−５、２７０−６、２７０−７、２７０−８の判定対象トラヒック量が異常状態であると判定する。ネットワーク分析部４０は、接続装置２６０−２が異常状態であると分析する。
詳細には、接続装置２６０−１、２６０−２内でサイレント故障が発生した場合、接続装置２６０−１内のポート２７０−１〜２７０−４、および、接続装置２６０−２内のポート２７０−５〜２７０−８のそれぞれが異常状態であるか否かを判定部３０によって判定する。それにより、ネットワーク分析部４０は、どのポート２７０−１〜２７０−８が異常状態であるのかを分析することができる。また、アラーム分析部５０は、サイレント故障が原因となって異常状態であると判定されたのか、あるいは、通常の故障が原因となって異常状態であると判定されたのかを分析することができる。

【0040】

つまり、図１７に示す例では、判定対象トラヒック量が、複数のＶＬＡＮ２５０−１〜２５０−６と、それらを接続する接続装置２６０−１、２６０−２とを含むネットワークシステム２００内における判定対象の通信データのトラヒック量である。また、ネットワーク分析部４０は、異常状態の原因が、各ＶＬＡＮ２５０−１〜２５０−６内にあるか、あるいは、接続装置２６０−１、２６０−２内にあるかを分析する。
また、図１７に示す例では、判定対象トラヒック量が、ネットワークシステム２００に含まれる複数のポート２７０−１〜２７０−８のそれぞれにおける判定対象の通信データのトラヒック量である。また、判定部３０は、複数のポート２７０−１〜２７０−８のそれぞれにおける判定対象トラヒック量が異常状態であるか否かを判定する。

【0041】

図１８は、判定システム１００による全体的な処理の流れを示すフローチャートである。
（ステップＳ１０１）学習モデル取得部１０は、過去の通信データのトラヒック量を機械学習することによって作成された学習モデルを取得する。
（ステップＳ１０２）トラヒック量基準値取得部１１は、過去の通信データのトラヒック量に基づいて設定された通信データのトラヒック量の基準値であるトラヒック量基準値を取得する。
（ステップＳ１０３）異常判定閾値取得部１２は、学習モデルに対するトラヒック量基準値の外れ値である異常判定閾値を取得する。
（ステップＳ１０４）判定対象トラヒック量取得部１３は、判定対象の通信データのトラヒック量である判定対象トラヒック量を取得する。
（ステップＳ１０５）異常判定対象値取得部１４は、学習モデルに対する判定対象トラヒック量の外れ値である異常判定対象値を取得する。
（ステップＳ１０６、Ｓ１０７、Ｓ１０８）判定部３０は、異常判定閾値と異常判定対象値とに基づいて異常状態であるか否かを判定する。
詳細には、判定部３０は、異常判定対象値が異常判定閾値より大きいか否かを判定する（ステップＳ１０６）。異常判定対象値が異常判定閾値より大きい場合、判定部３０は、異常状態であると判定する（ステップＳ１０７）。異常判定対象値が異常判定閾値以下の場合、判定部３０は、異常状態ではないと判定する（ステップＳ１０８）。

【0042】

〔第１の実施形態のまとめ〕
以上説明したように、判定システム１００は、過去の通信データのトラヒック量を機械学習することによって作成された学習モデルを取得する学習モデル取得部１０と、過去の通信データのトラヒック量に基づいて設定された通信データのトラヒック量の基準値であるトラヒック量基準値を取得するトラヒック量基準値取得部１１と、学習モデルに対するトラヒック量基準値の外れ値である異常判定閾値を取得する異常判定閾値取得部１２と、判定対象の通信データのトラヒック量である判定対象トラヒック量を取得する判定対象トラヒック量取得部１３と、学習モデルに対する判定対象トラヒック量の外れ値である異常判定対象値を取得する異常判定対象値取得部１４と、異常判定閾値と異常判定対象値とに基づいて異常状態であるか否かを判定する判定部３０と、を備える。
また、判定システム１００において、判定部３０は、異常判定対象値が異常判定閾値より大きい場合に異常状態であると判定する。
また、判定システム１００は、過去の通信データのトラヒック量の統計値に基づいてトラヒック量基準値を算出するトラヒック量基準値算出部２０をさらに備え、トラヒック量基準値取得部１１は、トラヒック量基準値算出部２０によって算出されたトラヒック量基準値を取得する。
これにより、判定システム１００は、異常状態であると誤って判定されるおそれを抑制することができる。

【0043】

また、判定システム１００において、トラヒック量基準値算出部２０は、第１の期間ｔＡ〜ｔＢにわたる過去の通信データのトラヒック量の統計値に基づいてトラヒック量基準値を算出し、学習モデルは、第１の期間ｔＡ〜ｔＢよりも短い第２の期間ｔＣ〜ｔＤにわたる過去の通信データのトラヒック量を機械学習することによって作成され、トラヒック量基準値を算出するための過去の通信データのトラヒック量のサンプリング間隔によって、第１の期間ｔＡ〜ｔＢを除した値である第１計算負荷は、学習モデルを作成するための過去の通信データのトラヒック量のサンプリング間隔によって、第２の期間ｔＣ〜ｔＤを除した値である第２計算負荷より小さい。
また、判定システム１００において、トラヒック量基準値算出部２０は、学習モデルが作成される時間単位よりも長い時間単位でトラヒック量基準値を算出し、トラヒック量基準値を算出するための所定時間当たりの計算回数は、学習モデルを作成するための所定時間当たりの計算回数より少ない。
これにより、判定システム１００は、第１計算負荷が第２計算負荷より大きい場合よりも、トラヒック量基準値算出部２０の計算負荷を軽減することができる。

【0044】

また、判定システム１００において、判定対象トラヒック量は、複数のＶＬＡＮと、複数のＶＬＡＮを接続する接続装置とを含むネットワークシステム内における判定対象の通信データのトラヒック量であり、判定システム１００は、異常状態の原因が、各ＶＬＡＮ内にあるか、あるいは、接続装置内にあるかを分析するネットワーク分析部４０をさらに備える。
これにより、判定システム１００は、異常状態の原因が、各ＶＬＡＮ内にあるか、あるいは、接続装置内にあるかを正確に分析することができる。

【0045】

また、判定システム１００において、判定対象トラヒック量は、ネットワークシステムに含まれる複数のポートのそれぞれにおける判定対象の通信データのトラヒック量であり、判定部３０は、複数のポートのそれぞれにおける判定対象トラヒック量が異常状態であるか否かを判定する。
これにより、判定システム１００は、ネットワークシステム内のポートの判定対象トラヒック量が異常状態であるか否かを正確に判定することができる。

【0046】

また、判定システム１００において、判定対象トラヒック量取得部は、ネットワークシステムに含まれる集約スイッチから判定対象トラヒック量を取得し、学習モデルは、集約スイッチから取得された過去の通信データのトラヒック量を機械学習することによって作成される。
これにより、判定システム１００は、ネットワークシステム内の集約スイッチから取得される判定対象トラヒック量が異常状態であるか否かを正確に判定することができる。
以上が、第１の実施形態についての説明である。

【0047】

[第２の実施形態]
図１９は、第２の実施形態の判定システム１００が適用されたネットワークシステム２００の一例を示す図である。第２の実施形態の判定システム１００は、後述する点を除き、上述した第１の実施形態の判定システム１００と同様の効果を奏することができる。
第１の実施形態の判定システム１００が適用された図１に示す例では、トラヒック量基準値算出部２０が判定システム１００の内部に設けられている。一方、第２の実施形態の判定システム１００が適用された図１９に示す例では、図１に示すトラヒック量基準値算出部２０と同様の機能を有するトラヒック量基準値算出部２４０が、判定システム１００の外部に設けられている。
第２の実施形態の判定システム１００では、第１の実施形態の判定システム１００よりも、判定システム１００の計算負荷を軽減することができる。

【0048】

［変形例］
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成は上述の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。例えば、上述の第１〜２の実施形態において説明した各構成は、任意に組み合わせることができる。また、例えば、上述の第１〜２の実施形態において説明した各構成は、特定の機能を発揮するのに不要である場合には、省略することができる。また、例えば、上述の第１〜２の実施形態において説明した各構成は、任意に分離して別体の装置に備えることができる。

【0049】

また、上述の学習モデル取得部１０、トラヒック量基準値取得部１１、異常判定閾値取得部１２、判定対象トラヒック量取得部１３、異常判定対象値取得部１４、判定部３０の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより学習モデル取得部１０、トラヒック量基準値取得部１１、異常判定閾値取得部１２、判定対象トラヒック量取得部１３、異常判定対象値取得部１４、判定部３０としての処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、インターネットやＷＡＮ、ＬＡＮ、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、ＣＤ−ＲＯＭ等の非一過性の記録媒体であってもよい。また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部または外部に設けられた記録媒体も含まれる。配信サーバの記録媒体に記憶されるプログラムのコードは、端末装置で実行可能な形式のプログラムのコードと異なるものでもよい。すなわち、配信サーバからダウンロードされて端末装置で実行可能な形でインストールができるものであれば、配信サーバで記憶される形式は問わない。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後に端末装置で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

【符号の説明】

【0050】

１０…学習モデル取得部、１１…トラヒック量基準値取得部、１２…異常判定閾値取得部、１３…判定対象トラヒック量取得部、１４…異常判定対象値取得部、２０…トラヒック量基準値算出部、３０…判定部、４０…ネットワーク分析部、５０…アラーム分析部、１００…判定システム、２００…ネットワークシステム、２００−１、２００−２、２００−３…ネットワーク、２１０…学習モデル作成部、２２０…異常判定閾値算出部、２３０…異常判定対象値算出部、２４０…トラヒック量基準値算出部、２５０−１、２５０−２、２５０−３、２５０−４、２５０−５、２５０−６…ＶＬＡＮ、２６０、２６０−１、２６０−２、２６０−３…接続装置、２７０−１、２７０−２、２７０−３、２７０−４、２７０−５、２７０−６、２７０−７、２７０−８…ポート、２８０…集約スイッチ、２８０ａ…ミラーポート、２９０…トラヒック収集サーバ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】