特許 6675608 異常検出装置、異常検出方法及び異常検出プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6675608

(24)【登録日】2020年3月13日

(45)【発行日】2020年4月1日

(54)【発明の名称】異常検出装置、異常検出方法及び異常検出プログラム

(51)【国際特許分類】

   G06F 21/55 20130101AFI20200323BHJP

【ＦＩ】

   G06F21/55

【請求項の数】5

【全頁数】10

(21)【出願番号】特願2016-112486(P2016-112486)

(22)【出願日】2016年6月6日

(65)【公開番号】特開2017-219947(P2017-219947A)

(43)【公開日】2017年12月14日

【審査請求日】2018年7月20日

(73)【特許権者】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(73)【特許権者】

【識別番号】504176911

【氏名又は名称】国立大学法人大阪大学

(74)【代理人】

【識別番号】100119677

【弁理士】

【氏名又は名称】岡田 賢治

(74)【代理人】

【識別番号】100115794

【弁理士】

【氏名又は名称】今下 勝博

(72)【発明者】

【氏名】明石 修

(72)【発明者】

【氏名】間野 暢

(72)【発明者】

【氏名】松岡 茂登

【審査官】 平井 誠

(56)【参考文献】

【文献】 特開２０１０−２４４５４３（ＪＰ，Ａ）

【文献】 特開２０１３−１４３１２６（ＪＰ，Ａ）

【文献】 北田 和将 Kazumasa KITADA，数値流体解析と消費電力モデルを連携させたデータセンタの消費電力シミュレータの構築 Dynamic power simulator utilizing computational fluid dynamics and power consumption model for data center，電子情報通信学会技術研究報告 Ｖｏｌ．１１５ Ｎｏ．４８３ IEICE Technical Report，日本，一般社団法人電子情報通信学会 The Institute of Electronics,Information and Communication Engineers，２０１６年 ２月２５日，第115巻，p.291-296

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ２１／５５−５６

(57)【特許請求の範囲】

【請求項1】

熱源機器の稼働量に対する消費電力の変化を示す熱源機器消費電力モデルを保持し、熱源機器の稼働量及び第１の消費電力測定値を取得すると、前記熱源機器消費電力モデルを用いて導出した前記稼働量における前記熱源機器の消費電力の第１の予測値と前記第１の消費電力測定値の差を求め、当該差が設定値以上である状態が設定時間を経過した場合に前記熱源機器の異常を検出する検出部を備える、
異常検出装置。

【請求項2】

前記検出部は、熱源機器の配置されている空間における消費電力及び温度変化を示す空間消費電力モデルを保持し、前記空間における設定温度及び第２の消費電力測定値を取得すると、前記空間消費電力モデルを用いて導出した前記設定温度に設定時の前記空間の消費電力の第２の予測値と前記第２の消費電力測定値の差を求め、当該差を用いて前記空間の異常を検出する、
請求項１に記載の異常検出装置。

【請求項3】

異常検出装置が、熱源機器の稼働量に対する消費電力の変化を示す熱源機器消費電力モデルを保持し、熱源機器の稼働量及び第１の消費電力測定値を取得すると、前記熱源機器消費電力モデルを用いて導出した前記稼働量における前記熱源機器の消費電力の第１の予測値と前記第１の消費電力測定値の差を求め、当該差が設定値以上である状態が設定時間を経過した場合に前記熱源機器の異常を検出する検出手順を備える、
異常検出方法。

【請求項4】

前記検出手順において、前記異常検出装置が、さらに熱源機器の配置されている空間における消費電力及び温度変化を示す空間消費電力モデルを保持し、前記空間における設定温度及び第２の消費電力測定値を取得すると、前記空間消費電力モデルを用いて導出した前記設定温度に設定時の前記空間の消費電力の第２の予測値と前記第２の消費電力測定値の差を求め、当該差を用いて前記空間の異常を検出する、
請求項３に記載の異常検出方法。

【請求項5】

請求項３又は４に記載の異常検出方法が備える手順をコンピュータに実行させるための異常検出プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、異常検出装置、方法及びプログラムに関する。

【背景技術】

【0002】

データセンタや通信設備、あるいは企業等の種々のサーバへのネットワークを経由したＤＤｏＳ（Ｄｉｓｔｒｉｂｕｔｅｄ Ｄｅｎｉａｌ ｏｆ Ｓｅｒｖｉｃｅ ａｔｔａｃｋ）などの情報セキュリティに対する攻撃が大きな社会的な問題となっている。複数のネットワークに分散する大量のコンピュータが一斉に特定のネットワークやコンピュータへ接続要求を送出し、通信容量をあふれさせて機能を停止させてしまうＤＤｏＳ攻撃（Ｄｉｓｔｒｉｂｕｔｅｄ Ｄｅｎｉａｌ ｏｆ Ｓｅｒｖｉｃｅ ａｔｔａｃｋ）をはじめとする攻撃は、公開しているサーバであればどんなサーバであっても標的に成り得るため、社会的な損失は莫大である。そのため、外部とのネットワークログ管理やトラヒック監視によって大規模なトラヒックや挙動が不審な通信を検出して防護する事や、攻撃側の情報を事前に登録してその攻撃者からの通信を受付けない設定を行っておく、などの種々の対策がとられているところである（非特許文献１）。

【0003】

一方、一旦何らかの方法で、例えば、事前に攻撃者の情報がなく素通りさせてしまう場合や、ユーザがネットワークでなくメモリなどを接続することによってサーバ等を感染させてしまい、ネットワーク上の通信を発生させないで、サーバ内部の処理を異常に発生させてしまう結果、電源ダウンを発生させるパラサイトアタックが社会問題化している。この電源ダウンを発生させるパラサイトアタックは、通信を伴わない攻撃であることから、消費電力を監視することが必要であるが、この場合、あるタスク（正規の負荷）に対してどの電力値が正しい値なのか、アタックをかけられた電力なのか、異常として検知・判断することは不可能である。つまり、非特許文献１の方法では、パラサイトアタックは、通常のネットワークの監視や分析手法では検出できにくい、あるいは電力を監視しても検知できないという本質的な問題があった。

【0004】

通信機器やサーバなどへの通信を伴った攻撃は、通信を直接検出したり、あるいはログを解析したりすることで分析が可能である。これに対して、一旦侵入したウィルスなどが、外部との通信を伴わないで、機器の内部の稼働を異常に増大させることで電力ダウンさせるなどのパラサイトアタックの場合、外部との通信を伴わないため、通信の直接監視やログ分析では検出できないという問題ある。

【0005】

当然、ウィルス検知で一定の効果はあるものの、複数のデータセンタにまたがったマイグレーションの際などに乗じて侵入される場合があり、通常の検出では難しい場合が多い。そのため、機器ごとの電力の変化を高精度に分析することで、本来期待される以上の稼働が機器内部で実行されている状態を検出することが必要となる。

【先行技術文献】

【非特許文献】

【0006】

【非特許文献1】ｈｔｔｐ：／／ｗｗｗ．ｃｉｓｃｏ．ｃｏｍ／ｗｅｂ／ＪＰ／ｐｒｏｄｕｃｔ／ｈｓ／ｓｅｃｕｒｉｔｙ／ｔａｄ／ｐｒｏｄｌｉｔ／ｘｔ５６００＿ｄｓ．ｈｔｍｌ

【非特許文献2】北田和将，中村泰，松田和浩，松岡茂登，“数値流体解析と消費電力モデルを連携させたデータセンタの消費電力シミュレータの構築”，信学会ＮＳ・ＩＮ研究会，２０１６年２月２５日

【発明の概要】

【発明が解決しようとする課題】

【0007】

本開示は、ネットワークログ管理やトラヒック監視によって検出することができないパラサイトアタックを検出可能にすることを目的とする。

【課題を解決するための手段】

【0008】

本開示では、正常時の電力消費パターンを事前に学習しておき、消費電力を監視して比較することにより、「パラサイト」の有無を検出する。

【0009】

具体的には、本開示に係る異常検出装置は、熱源機器の稼働量に対する消費電力の変化を示す熱源機器消費電力モデルを保持し、熱源機器の稼働量及び第１の消費電力測定値を取得すると、前記熱源機器消費電力モデルを用いて導出した前記稼働量における前記熱源機器の消費電力の第１の予測値と前記第１の消費電力測定値の差を求め、当該差が設定値以上である状態が設定時間を経過した場合に前記熱源機器の異常を検出する検出部を備える。

【0010】

前記検出部は、熱源機器の配置されている空間における消費電力及び温度変化を示す空間消費電力モデルを保持し、前記空間における設定温度及び第２の消費電力測定値を取得すると、前記空間消費電力モデルを用いて導出した前記設定温度に設定時の前記空間の消費電力の第２の予測値と前記第２の消費電力測定値の差を求め、当該差を用いて前記空間の異常を検出してもよい。

【0011】

具体的には、本開示に係る異常検出方法は、異常検出装置が、熱源機器の稼働量に対する消費電力の変化を示す熱源機器消費電力モデルを保持し、熱源機器の稼働量及び第１の消費電力測定値を取得すると、前記熱源機器消費電力モデルを用いて導出した前記稼働量における前記熱源機器の消費電力の第１の予測値と前記第１の消費電力測定値の差を求め、当該差が設定値以上である状態が設定時間を経過した場合に前記熱源機器の異常を検出する検出手順を備える。

【0012】

前記検出手順において、熱源機器の配置されている空間における消費電力及び温度変化を示す空間消費電力モデルを保持し、前記空間における設定温度及び第２の消費電力測定値を取得すると、前記空間消費電力モデルを用いて導出した前記設定温度に設定時の前記空間の消費電力の第２の予測値と前記第２の消費電力測定値の差を求め、当該差を用いて前記空間の異常を検出してもよい。

【0013】

具体的には、本開示に係る異常検出プログラムは、本開示に係る異常検出装置に備わる各機能をコンピュータに実現させるためのプログラムであり、本開示に係る異常検出方法に備わる各手順をコンピュータに実行させるためのプログラムである。異常検出プログラムは、コンピュータ読み取り可能な記録媒体に記録されていてもよい。

【発明の効果】

【0014】

本開示によれば、正常時の電力消費パターンを事前に学習しておき、消費電力を監視して比較することにより、容易に「パラサイト」の有無を検出することができる。

【図面の簡単な説明】

【0015】

【図1】データセンタの構成例である。

【図2】実施形態に係る異常検出方法の一例を示す。

【図3】サーバ単体の電力モデルの一例を示す。

【図4】空調機器単体の電力モデルの一例を示す。

【図5】タスクを変化させた場合の全サーバの消費電力の推移の一例を示す。

【図6】タスクを変化させた場合の空調機器の消費電力の推移の一例を示す。

【図7】タスクを変化させない場合のデータセンタ全体及びサーバの消費電力の推移の一例を示す。

【図8】データセンタ全体の電力モデルの一例を示す。

【図9】正常時と異常時のデータセンタ全体の消費電力の推移の一例を示す。

【図10】正常時と異常時のサーバの消費電力の推移の一例を示す。

【図11】実施形態に係る異常検出装置の構成例を示す。

【図12】検出手順の具体例を示す。

【図13】検出手順の別形態の一例を示す。

【発明を実施するための形態】

【0016】

以下、本開示の実施形態について、図面を参照しながら詳細に説明する。なお、本開示は、以下に示す実施形態に限定されるものではない。これらの実施の例は例示に過ぎず、本開示は当業者の知識に基づいて種々の変更、改良を施した形態で実施することができる。なお、本明細書及び図面において符号が同じ構成要素は、相互に同一のものを示すものとする。

【0017】

実施形態に係る異常検出装置は、各構成要素（サーバ）毎の個別の電力モデルを事前に作っておき、あるタスクが与えられた際の消費電力を予測し、その予測値を上回る場合に、パラサイトアタックのような異常な稼働が機器内部に発生していると判断する。

【0018】

また、個別の電力モデルだけでなく、データセンタ全体の電力モデルを構築しておけば、タスクがデータセンタ内に分散された場合であっても、その予測値を大きく上回る場合に、パラサイトアタックのような異常な稼働が機器内部に発生していると判断することができる。

【0019】

図１にデータセンタの構成例を示す。データセンタ８１は、サーバやルータ等の熱源となるＩＣＴ（Ｉｎｆｏｒｍａｔｉｏｎ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ）機器の部分と、それを冷却する空調機器８２と、を備える。以下の実施形態においては、理解の容易のため、ＩＣＴ機器などの熱源機器がサーバ８３である場合について説明する。これに伴い、熱源機器消費電力モデルをサーバ消費電力モデルと称する。

【0020】

データセンタ８１全体の消費電力は、主に全サーバ８３の消費電力と空調機器８２の消費電力の和である。ただし、それぞれの構成要素の消費電力は、サーバ８３においてはＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）の稼働率や吸い込み温度や風量（空調の設定条件）、一方空調機器８２においては、設定温度や風量、あるいはサーバ８３が消費する電力（処理する熱量）や還帰温度等に大きく依存する。したがって、与えられたタスク量（処理量）におけるデータセンタ８１全体の消費電力を正確に予測するには、それらの動作条件を明確にして学習によって把握することが必要である（例えば、非特許文献２参照）。

【0021】

図２に、実施形態に係る異常検出方法の一例を示す。検出の手順は以下の通りである。
学習手順Ｓ１０１：異常検出装置が、機械学習を用いて、あるタスク（処理）が正常に与えられた際のデータセンタ８１全体の空間消費電力モデルを事前に把握する。
監視手順Ｓ１０２：異常検出装置が、運用時の消費電力の推移を常時監視し、処理が行われる際に、事前に把握した消費電力との違いを分析する。
検出手順Ｓ１０３：異常検出装置が、分析によって得られた違いを用いて、パラサイトアタックの有無を判定する。

【0022】

学習手順Ｓ１０１における把握は、以下の点を考慮することが好ましい。
・サーバ８３の消費電力は、サーバ８３の処理量及び空調による給気の温度や風量によって大きく変化する。サーバ８３の処理量は、例えば、ＣＰＵやメモリの動作状況である。
・空調機器８２の消費電力は、サーバ８３の消費電力（空調が処理する電力）、還帰温度又は給気温度、及び、風量によって大きく変化する。
・これらに基づき、サーバ８３単体のサーバ消費電力モデル、空調機器８２単体の空調消費電力モデル、データセンタ８１全体の空間消費電力モデルを、個別に把握する。

【0023】

学習手順Ｓ１０１では、異常検出装置に、事前にサーバ８３及び空調機器８２の稼働データが入力される。サーバの稼働データは、データセンタ８１に配置されるサーバ８３の消費電力に関する情報をサーバ８３ごとに収集したデータである。異常検出装置は、サーバ８３の稼働データを用いた機械学習によって、機種毎の消費電力モデル（サーバ消費電力モデル）を作成する。空調機器の稼働データは、データセンタ８１に配置される空調機器８２の消費電力に関する情報を空調機器８２ごとに収集したデータである。異常検出装置は、空調機器８２の稼働データを用いた機械学習によって、空調機器８２の機種毎の消費電力モデルである空調消費電力モデルを作成する。これらのモデルは、種々の条件で事前に動作させて電力を測定することによって得られる。

【0024】

図３に、サーバ８３単体のサーバ消費電力モデルの一例を示す。これは、サーバ消費電力モデルの一例であり、サーバ８３単体での、各種動作条件（ＣＰＵ利用率（％）、吸気温度（℃））における消費電力（Ｗ）の変化の例である。サーバ消費電力モデルは、サーバ８３を単体で動作させて構築する。サーバ８３の機種毎にサーバ消費電力モデルを作成すればよく、実際にデータセンタ８１に配置するサーバ８３を用いてモデルを作成する必要はない。

【0025】

図４に空調機器８２単体の空調消費電力モデルの一例を示す。これは、空調機器８２単体での、各種動作条件（設定風量（％）、設定温度（℃））における消費電力（ｋＷ）の変化の例である。ここで、図４では、空調機器８２の設定風量の一例として、ファンの最大回転数に対する割合（％）で示した。また温度は、空調機器８２がデータセンタ８１に供給する空気の給気温度である。空調機器８２の機種ごとに空調消費電力モデルを作成すればよく、実際にデータセンタ８１に配置する空調機器８２を用いてモデルを作成する必要はない。

【0026】

図５及び図６に、タスク（処理）を変化させた際の全サーバ及び空調機器の消費電力の一例を示す。これはタスク（処理の量）を変化させた場合の、消費電力（全サーバ、空調機器）の測定値と、機械学習によって予測した消費電力（全サーバ、空調機）の予測値の比較である。サーバ全体の消費電力については平均で５％の精度で予測できていることが分かる。

【0027】

図７に、タスクを一定とし、空調の吹き出し温度を変化させた場合のデータセンタの全消費電力の一例を示す。これは、図５及び図６とは違い、タスク（処理量）を一定にして、各種動作条件（空調の吹き出し温度）を変化させた場合のサーバ８３とデータセンタ８１全体の消費電力の推移の例である。同じ処理量でも、データセンタ８１全体の消費電力が変化していくことが分かる。

【0028】

図８に、データセンタ８１全体の消費電力モデルの一例を示す。これは、空間消費電力モデルの一例であり、種々の動作条件に対するデータセンタ８１の消費電力の変化の例である。ｗｉｎｄ−ｍａｘ、ｗｉｎｄ−ｍｉｎは空調機器８２の風量である。このように、すべての動作条件に対する消費電力を事前に学習によって把握することで、アタックを受けた場合の消費電力の増加に対して、アタックの有無を検出することが可能である。

【0029】

図９と図１０に、それぞれ、正常な消費電力の推移ＬＮとアタック時の消費電力の推移ＬＡの比較を示す。図９はデータセンタ８１の全体を示し、図１０はサーバ８３個別を示す。あるタスク（処理量）が与えられた際の消費電力ＬＮは、これまでの図に示した通り、事前に学習した電力モデル（サーバ単体、あるいはデータセンタ全電力）を基準に、正確に（サーバ単体では７％、データセンタ全体の電力では５％の精度で）予測することができる。このため、図１０に示す消費電力の推移ＬＡ１及びＬＡ２、図９に示す消費電力の推移ＬＡのような、その値から増加した消費電力については、パラサイトアタックと判断することができる。

【0030】

通常のパラサイトアタックにおいては、図１０に示す消費電力の推移ＬＡ１とＬＡ２に示す通り、定常的な負荷を与え続ける事が多いため、事前に学習した電力消費パターンを用いて、バースト的に発生する負荷（電力増大）を無視し、定常的に増大した消費電力値をもとにパラサイトアタックを容易に検出可能である。実施形態では、２０％以上の定常的な消費電力増の状態をパラサイトアタックと判断してそのサーバの消費電力を落としてネットワークから切り離す対応とした。

【0031】

図１１に、実施形態の異常検出装置の構成図を示す。異常検出装置は、検出部１１、情報処理部１２及び記憶部１３を備える。記憶部１３は、学習手順Ｓ１０１において学習した各電力モデルを記憶する。情報処理部１２は、サーバ８３及び空調機器８２の処理情報を取得して検出部１１に通知する。検出部１１は、情報処理部１２から得られる処理情報、各サーバ８３から得られるサーバ８３単体の電力情報、並びに、サーバ８３及び空調機器８２から得られるデータセンタ８１全体の電力情報を、記憶部１３に記憶されている電力モデルと比較し、パラサイトアタックを検出する。

【0032】

サーバ８３単体の電力情報は、サーバ消費電力モデルのパラメータであり、例えば、ＣＰＵ利用率及び吸気温度である。データセンタ８１全体の電力情報は、空間消費電力モデルのパラメータであり、例えば、サーバ数、空調機器８２の設定温度である。

【0033】

図１２に、検出手順Ｓ１０３における異常検出装置の動作を示す。監視手順Ｓ１０２において、検出部１１は、運用時の消費電力の推移を監視し、各サーバ８３において計算処理（タスク）が行われる際に、事前に把握した消費電力との違いを分析する。

【0034】

検出部１１は、データセンタ８１全体の消費電力の予測値と消費電力の測定値を比較し（Ｓ１１１）、予測値と測定値の違いが設定値を超えた場合（Ｓ１１１においてＹｅｓ）、ステップＳ１１２に移行する。

【0035】

検出部１１は、各サーバ８３の消費電力の予測値と消費電力の測定値を比較し（Ｓ１１２）、予測値と測定値の違いが設定値を超えた場合（Ｓ１１２においてＹｅｓ）、ステップＳ１１３に移行する。

【0036】

検出部１１は、各サーバ８３の消費電力の測定値の推移とサーバ消費電力モデルとを比較し、パラサイトアタックを検出する（Ｓ１１３）。例えば、あるサーバ８３の消費電力が設定値以上でありその状態が設定時間を経過した場合、当該サーバ８３がパラサイトアタックを受けていると判定する。検出部１１は、パラサイトアタックを検出した場合（ステップＳ１１３においてＹｅｓ）、パラサイトアタックを検出したサーバ８３の消費電力を落とす旨の制御情報を情報処理部１２に通知する。情報処理部１２は、この通知を受信すると、通知のあったサーバ８３の消費電力を落としてネットワークから切り離す（Ｓ１１４）。

【0037】

なお、図１３に示すように、検出手順Ｓ１０３において、ステップＳ１１１を省略してもよい。また、実施形態に係る異常検出装置は、コンピュータを検出部１１及び情報処理部１２として機能させることで自右舷してもよい。この場合、コンピュータが、記憶部１３に記憶されたコンピュータプログラムを実行することで、各構成を実現する。このように、実施形態の装置は、コンピュータとプログラムによっても実現でき、プログラムを記録媒体に記録することも、ネットワークを通して提供することも可能である。

【0038】

（実施形態の効果）
本実施形態では、外部とのネットワークログ管理やトラヒック監視によって大規模なトラヒックや挙動が不審な通信を検出することができない内部の「パラサイトアタック」に対して、データセンタや通信設備、あるいは企業などのサーバ等の機器毎の消費電力のパターンを事前に学習によって求めてさえおけば、容易に検出することができる。この手法では、消費電力の監視を行うだけで、「パラサイト」攻撃を検出でき、通信の詳細に関わる検出や分析が不要なため、運用セキュリティやプライバシー上もメリットがある。

【産業上の利用可能性】

【0039】

本開示は情報通信産業に適用することができる。

【符号の説明】

【0040】

１１：検出部
１２：情報処理部
１３：記憶部
８１：データセンタ
８２：空調機器
８３：サーバ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】