特許 6863969 低信頼度のセキュリティイベントによるセキュリティインシデントの検出

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6863969

(24)【登録日】2021年4月5日

(45)【発行日】2021年4月21日

(54)【発明の名称】低信頼度のセキュリティイベントによるセキュリティインシデントの検出

(51)【国際特許分類】

   G06F 21/55 20130101AFI20210412BHJP

【ＦＩ】

   G06F21/55 320

【請求項の数】13

【全頁数】23

(21)【出願番号】特願2018-514312(P2018-514312)

(86)(22)【出願日】2016年6月21日

(65)【公表番号】特表2018-530066(P2018-530066A)

(43)【公表日】2018年10月11日

(86)【国際出願番号】US2016038499

(87)【国際公開番号】WO2017058313

(87)【国際公開日】20170406

【審査請求日】2019年6月11日

(31)【優先権主張番号】14/871,643

(32)【優先日】2015年9月30日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】501113353

【氏名又は名称】ノートンライフロック インコーポレイテッド

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】100134119

【弁理士】

【氏名又は名称】奥町 哲行

(72)【発明者】

【氏名】ラウンディー・ケビン アレハンドロ

(72)【発明者】

【氏名】スパルタス・マイケル

【審査官】 吉田 歩

(56)【参考文献】

【文献】 米国特許出願公開第２００８／０１４１３３２（ＵＳ，Ａ１）

【文献】 国際公開第２０１４／１４２７９１（ＷＯ，Ａ１）

【文献】 特開２０１０−１５２７７３（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１４／０３５９７６１（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ２１／５５

(57)【特許請求の範囲】

【請求項1】

方法であって、
１台又は２台以上の装置が提供しているログから受信されたセキュリティイベントのコレクションをセキュリティ管理サーバによって集約することと、
異なるタイプのセキュリティイベントそれぞれに割り当てられた信頼度スコアに基づいて前記セキュリティイベントのコレクションを前記セキュリティ管理サーバによって評価することであって、異なるタイプのセキュリティイベントそれぞれの前記信頼度スコアが、セキュリティインシデントが発生した可能性を示すことと、
前記信頼度スコアに基づいて、前記セキュリティイベントのコレクションからセキュリティインシデントの発生を検出するための少なくとも１つの閾値を前記セキュリティ管理サーバによって決定することと、
前記コレクションの少なくとも第１のセキュリティイベントに関連するデータが、前記少なくとも１つの閾値を越えたと判断したときに、前記セキュリティインシデントの前記発生を前記セキュリティ管理サーバによって分析者に報告することと、
前記報告された発生に関する前記分析者からの無応答が、前記セキュリティインシデントが誤検出と印付けられていることを示すと、前記セキュリティ管理サーバによって判断することと、
前記分析者からの無応答が、前記セキュリティインシデントが誤検出と印付けられていることを示すという判断に基づいて前記少なくとも１つの閾値を前記セキュリティ管理サーバによって修正することと、
を含む、方法。

【請求項2】

前記コレクションの前記少なくとも第１のセキュリティイベントに関連する前記データが、前記少なくとも１つの閾値を越えたと判断したときに、前記方法が、
前記第１のセキュリティイベントに関連する１つ又は２つ以上の第２のセキュリティイベントのリストを含む証拠のセットを前記セキュリティ管理サーバによって生成して、前記分析者に対する前記セキュリティインシデントの前記発生の前記報告の妥当性を証明することであって、前記１つ又は２つ以上の第２のセキュリティイベントが、所定の期間内に前記第１のセキュリティイベントと共に発生することが観測されている、ことと、
前記第１のセキュリティイベント及び前記証拠のセットを前記セキュリティ管理サーバによって前記分析者に報告することと、を更に含む、請求項１に記載の方法。

【請求項3】

前記証拠のセットを生成するために使用される１つ又は２つ以上の基準に関する情報を前記セキュリティ管理サーバによって決定することであって、前記１つ又は２つ以上の基準が、前記信頼度スコアの少なくとも１つ、又は前記少なくとも１つの閾値を決定するために使用される１つ若しくは２つ以上のメトリックを含むことと、
前記１つ又は２つ以上の基準に関する前記情報を前記セキュリティ管理サーバによって前記分析者に報告することと、
前記分析者が前記信頼度スコアのうち１つ又は２つ以上に関する前記証拠のセットを明らかにすることを可能にする機構を前記セキュリティ管理サーバによって提供することであって、前記機構によって、前記分析者が、前記１つ又は２つ以上の第２のセキュリティイベントのうち少なくとも１つを選択して、前記選択された少なくとも１つの第２のセキュリティイベントが前記証拠のセットに属さないと示すことを可能にすることと、を更に含む、請求項２に記載の方法。

【請求項4】

前記１つ又は２つ以上の第２のセキュリティイベントのうち１つが前記証拠のセットに属さないという指摘を前記セキュリティ管理サーバによって受信することと、
前記分析者への前記セキュリティインシデントの発生の前記報告に対する、前記指摘された第２のセキュリティイベントの削除の推定される影響を前記セキュリティ管理サーバによって分析することと、
前記分析に基づいて、前記指摘された第２のセキュリティイベントを前記証拠のセットから削除するか否かを前記セキュリティ管理サーバによって決定することと、を更に含む、請求項２又は３に記載の方法。

【請求項5】

前記分析が、
前記分析者に報告された誤検出セキュリティインシデントの数の減少、又は
前記分析者によって解決される報告されたセキュリティインシデントの数の増加、のうち少なくとも１つを示す場合、前記指摘された第２のセキュリティイベントを、前記セキュリティ管理サーバによって前記証拠のセットから削除することを、更に含む、請求項４に記載の方法。

【請求項6】

前記分析が、
前記分析者に報告された誤検出セキュリティインシデントの数の増加、又は
前記分析者によって解決される報告されたセキュリティインシデントの数の減少、のうち少なくとも１つを示す場合、前記指摘された第２のセキュリティイベントを前記セキュリティ管理サーバによって前記証拠のセットから削除しないことを、更に含む、請求項４に記載の方法。

【請求項7】

１台又は２台以上の装置が提供しているログから受信されたセキュリティイベントのコレクションを集約する手段と、
異なるタイプのセキュリティイベントそれぞれに割り当てられた信頼度スコアに基づいて前記セキュリティイベントのコレクションを評価する手段であって、異なるタイプのセキュリティイベントそれぞれの前記信頼度スコアが、セキュリティインシデントが発生した可能性を示す、手段と、
前記信頼度スコアに基づいて、前記セキュリティイベントのコレクションからセキュリティインシデントの発生を検出するための少なくとも１つの閾値を決定する手段と、
前記コレクションの少なくとも第１のセキュリティイベントに関連するデータが、前記少なくとも１つの閾値を越えたと判断したときに、前記セキュリティインシデントの発生を分析者に報告する手段と、
前記報告された発生に関する前記分析者からの無応答が、前記セキュリティインシデントが誤検出と印付けられていることを示すと判断する手段と、
前記分析者からの無応答が、前記セキュリティインシデントが誤検出と印付けられていることを示すという判断に基づいて前記少なくとも１つの閾値を修正する手段と、
を含む機器。

【請求項8】

前記第１のセキュリティイベントに関連する１つ又は２つ以上の第２のセキュリティイベントのリストを含む証拠のセットを生成して、前記分析者に対する前記セキュリティインシデントの発生の前記報告の妥当性を証明する手段であって、前記１つ又は２つ以上の第２のセキュリティイベントが、所定の期間内に前記第１のセキュリティイベントと共に発生することが観測されている、手段と、
前記第１のセキュリティイベント及び前記証拠のセットを前記分析者に報告する手段と、を更に含む、請求項７に記載の機器。

【請求項9】

前記証拠のセットを生成するために使用される１つ又は２つ以上の基準に関する情報を決定する手段であって、前記１つ又は２つ以上の基準が、前記信頼度スコアの少なくとも１つ、又は前記少なくとも１つの閾値を決定するために使用される１つ若しくは２つ以上のメトリックを含む、手段と、
前記１つ又は２つ以上の基準に関する前記情報を前記分析者に報告する手段と、
前記分析者が前記信頼度スコアのうち１つ又は２つ以上に関する前記証拠のセットを明らかにすることを可能にする手段であって、前記可能にする手段によって、前記分析者が、前記１つ又は２つ以上の第２のセキュリティイベントのうち少なくとも１つを選択して、前記選択された少なくとも１つの第２のセキュリティイベントが前記証拠のセットに属さないと示すことを可能にする、手段と、を更に含む、請求項８に記載の機器。

【請求項10】

前記１つ又は２つ以上の第２のセキュリティイベントのうち１つが前記証拠のセットに属さないという指摘を受信する手段と、
前記分析者への前記セキュリティインシデントの発生の前記報告に対する、前記指摘された第２のセキュリティイベントの削除の推定される影響を分析する手段と、
前記分析に基づいて、前記指摘された第２のセキュリティイベントを前記証拠のセットから削除するか否かを決定する手段と、を更に含む、請求項８又は９に記載の機器。

【請求項11】

前記分析が、
前記分析者に報告された誤検出セキュリティインシデントの数の減少、又は
前記分析者によって解決される報告されたセキュリティインシデントの数の増加、のうち少なくとも１つを示す場合、前記指摘された第２のセキュリティイベントを前記証拠のセットから削除する手段を、更に含む、請求項１０に記載の機器。

【請求項12】

前記分析が、
前記分析者に報告された誤検出セキュリティインシデントの数の増加、又は
前記分析者によって解決される報告されたセキュリティインシデントの数の減少、のうち少なくとも１つを示す場合、前記指摘された第２のセキュリティイベントを前記証拠のセットから削除しない手段を、更に含む、請求項１０に記載の機器。

【請求項13】

プロセッサ上で実行されると動作を行う命令を記憶したコンピュータ読み取り可能な記憶媒体であって、前記動作が、
１台又は２台以上の装置が提供しているログから受信されたセキュリティイベントのコレクションをセキュリティ管理サーバによって集約することと、
異なるタイプのセキュリティイベントそれぞれに割り当てられた信頼度スコアに基づいて前記セキュリティイベントのコレクションを前記セキュリティ管理サーバによって評価することであって、異なるタイプのセキュリティイベントそれぞれの前記信頼度スコアが、セキュリティインシデントが発生した可能性を示すことと、
前記信頼度スコアに基づいて、前記セキュリティイベントのコレクションからセキュリティインシデントの発生を検出するための少なくとも１つの閾値を前記セキュリティ管理サーバによって決定することと、
前記コレクションの少なくとも１つのセキュリティイベントに関連するデータが、前記少なくとも１つの閾値を越えたと判断したときに、前記セキュリティインシデントの前記発生を前記セキュリティ管理サーバによって分析者に報告することと、
前記報告された発生に関する前記分析者からの無応答が、前記セキュリティインシデントが誤検出と印付けられていることを示すと、前記セキュリティ管理サーバによって判断することと、
前記分析者からの無応答が、前記セキュリティインシデントが誤検出と印付けられていることを示すという判断に基づいて前記少なくとも１つの閾値を前記セキュリティ管理サーバによって修正することと、
を含む、コンピュータ読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書で提示される実施形態は、概して、セキュリティイベントを管理するための技術、より具体的には、低信頼度のセキュリティイベントに基づいてセキュリティインシデントを検出するための技術に関する。

【背景技術】

【0002】

多くの企業（例えば、個人、組織、集団など）は、セキュリティ脅威への対抗及び／又はその防止に役立つネットワークセキュリティソリューションのいくつかの形態を使用する。場合によっては、例えば、企業は、専門のコンピュータ及びネットワークサービスを提供する外部セキュリティサービス（例えば、マネージドセキュリティサービスプロバイダ（ＭＳＳＰ）など）にますます依存し、及び／又は企業セキュリティオペレーションの管理を助けるためにセキュリティ管理ツール（例えば、セキュリティインシデント及びイベントマネージャ（ＳＩＥＭ）など）を使用する。ＭＳＳＰ及びＳＩＥＭの使用の増加は、一部において、大規模コンピューティングインフラストラクチャに関連したコストの増加、セキュリティ専門知識の不足、リソースの制約などに起因する。例えば、企業コンピューティングインフラストラクチャは、典型的には、多数のコンピューティングシステム、アプリケーション、ネットワーク、データストレージシステムなどを含み、これらは常に広範な種類のセキュリティ脅威及び脆弱性の対象になっている。更に、企業コンピューティングインフラストラクチャは、多くの場合、様々なセキュリティツール（例えば、ファイアウォール、アンチウイルスソフトウェア、侵入検出システム、侵入防止システムなど）を使用して、コンピューティングシステム及びインフラストラクチャを監視する。結果として、企業は、セキュリティ脅威の監視、検出及び防止を助けるために外部セキュリティサービス及び／又はセキュリティ管理ツールを使用する。

【0003】

外部セキュリティサービス（例えば、ＭＳＳＰなど）は、顧客のセキュリティ上のニーズの一部又は全てを提供することができる。外部セキュリティサービスによって実行される典型的な機能の例として、ネットワーク及びセキュリティ装置から集めた情報の収集、分析、並びに（分析者に対する）提示、ネットワークセキュリティ機器（例えば、ファイアウォール、侵入検出ソフトウェアなど）のインストール、管理、及び／又はアップグレード、脆弱性スキャンの実行、並びに他の同様のサービスが挙げられる。場合によっては、企業及び／又はＭＳＳＰは、ＳＩＥＭを使用して、これらの機能のうち１つ又は２つ以上を実行する助けとすることができる。ＳＩＥＭは、一般に、通常複数のベンダーから製品テレメトリーを共通フォーマットに統合してセキュリティ関連データを集中させ、検出ルールの作成を容易にするツールである。ほとんどのＳＩＥＭは、企業のインシデント対応者（例えば、セキュリティ分析者）によって管理され、インシデント対応者は、ルールを作成し、システム出力を監視してセキュリティインシデントを識別する。しかしながら、場合によっては、ＭＳＳＰはまた、ＳＩＥＭを使用してセキュリティインシデント検出を実行することもできる。例えば、これらの場合において、ＭＳＳＰは、ＳＩＥＭからの出力を検証し、次に企業のセキュリティ分析者にセキュリティインシデントを警告することができる。

【0004】

これらのネットワークサービスを実行するために、ＭＳＳＰ及び／又はＳＩＥＭは、典型的には大量の情報を収集し処理する必要がある。例えば、セキュリティインシデントを検出するには、ＭＳＳＰ及び／又はＳＩＥＭは通常、数十万ものタイプのセキュリティイベントを処理し、手動で作成されたルールに依存してセキュリティインシデントを検出する必要がある。これらのセキュリティインシデントは、次にセキュリティ管理者に提示され、セキュリティ管理者は、典型的にセキュリティインシデントを処理するか解決するかを決定する任務を負っている。しかしながら、この方法でセキュリティインシデント検出を実行することは、多くの場合、多数の誤検出インシデントにつながる。これらの誤検出インシデントは、セキュリティ管理者に提示されるとき、不要な、かつ役に立たない情報で管理者を圧倒し、本当のセキュリティ脅威から管理者の目をそらせる場合があり、それが今度は企業ネットワークシステムを攻撃に対して脆弱なままにし得る。

【発明の概要】

【0005】

本明細書で提示される一実施形態は、低信頼度のセキュリティイベントに基づいてセキュリティインシデントを検出するための方法について述べている。方法は、通常、１台又は２台以上の装置からセキュリティイベント受信ログのコレクションを集約することを含む。方法はまた、異なるタイプのセキュリティイベントそれぞれに割り当てられた信頼度スコアに基づいてセキュリティイベントのコレクションを評価することも含み、異なるタイプのセキュリティイベントそれぞれの信頼度は、セキュリティインシデントが発生した可能性を示す。方法は、信頼度スコアに基づいて、セキュリティイベントのコレクションからセキュリティインシデントの発生をいつ報告するかを決定するための少なくとも１つの閾値を決定することを更に含む。方法は、コレクションの少なくとも１つのセキュリティイベントが、少なくとも１つの閾値を越えたと判断したときに、セキュリティインシデントの発生を分析者に報告することを更にまた含む。

【0006】

別の実施形態は、プロセッサ及びプロセッサ上で実行されるときに、低信頼度のセキュリティイベントに基づいてセキュリティインシデントを検出するための動作を行うプログラムを記憶するメモリを有するシステムを含む。動作は、１台又は２台以上の装置からセキュリティイベント受信ログのコレクションを集約することを含む。動作はまた、異なるタイプのセキュリティイベントそれぞれに割り当てられた信頼度スコアに基づいてセキュリティイベントのコレクションを評価することも含み、異なるタイプのセキュリティイベントそれぞれの信頼度は、セキュリティインシデントが発生した可能性を示す。動作は、信頼度スコアに基づいて、セキュリティイベントのコレクションからセキュリティインシデントの発生をいつ報告するかを決定するための少なくとも１つの閾値を決定することを更に含む。動作は、コレクションの少なくとも１つのセキュリティイベントが、少なくとも１つの閾値を越えたと判断したときに、セキュリティインシデントの発生を分析者に報告することを更にまた含む。

【0007】

更に別の実施形態は、プロセッサ上で実行されると、低信頼度のセキュリティイベントに基づいてセキュリティインシデントを検出するための動作を行う命令を記憶したコンピュータ読み取り可能な記憶媒体を含む。動作は、１台又は２台以上の装置からセキュリティイベント受信ログのコレクションを集約することを含む。動作はまた、異なるタイプのセキュリティイベントそれぞれに割り当てられた信頼度スコアに基づいてセキュリティイベントのコレクションを評価することも含み、異なるタイプのセキュリティイベントそれぞれの信頼度は、セキュリティインシデントが発生した可能性を示す。動作は、信頼度スコアに基づいて、セキュリティイベントのコレクションからセキュリティインシデントの発生をいつ報告するかを決定するための少なくとも１つの閾値を決定することを更に含む。動作は、コレクションの少なくとも１つのセキュリティイベントが、少なくとも１つの閾値を越えたと判断したときに、セキュリティインシデントの発生を分析者に報告することを更にまた含む。

【図面の簡単な説明】

【0008】

本開示の前述した特徴を詳細に理解できるように、その概要を簡単に前述したような本開示について、図面に幾つかを例示している実施形態に関連して、以下より詳細に説明する。しかしながら、添付図面は、代表的な実施態様のみを例示しているのであり、その範囲を限定すると考えられるものではなく、その他の同様に効果のある実施形態を認めうることに注意されたい。

【0009】

【図1】一実施形態による、例示のコンピューティング環境を図示する。

【0010】

【図2】一実施形態による、低信頼度のセキュリティイベントに基づいてセキュリティインシデントを検出するように構成された例示のツールを図示する。

【0011】

【図3】一実施形態による、分析者フィードバックを組み込んだセキュリティインシデント検出ツールの例を図示する。

【0012】

【図4】一実施形態による、セキュリティイベントリスト及びセキュリティインシデントの証拠のセットを示す例示の報告を図示する。

【0013】

【図5】一実施形態による、低信頼度のセキュリティイベントを用いてセキュリティインシデントを検出するための方法を図示する。

【0014】

【図6】一実施形態による、低信頼度のセキュリティイベントを用いてセキュリティインシデントを検出するために分析者フィードバックを使用する方法を図示する。

【0015】

【図7】一実施形態による、低信頼度のセキュリティイベントを用いてセキュリティインシデントを検出するように構成された例示のコンピューティングシステムを図示する。

【発明を実施するための形態】

【0016】

今日、多くの組織が、セキュリティイベントを生成することができるシステムを使用している。これらのシステムの例として、ファイアウォール、認証システム、ネットワーク侵入検出及び防止システム、ホストベースの侵入検出システム、仮想プライベートネットワーク（ＶＰＮ）装置、無線セキュリティ装置、アンチウイルスシステム、アンチマルウェアシステムなどが挙げられる。本明細書で使用するとき、セキュリティイベントは、一般にセキュリティが破壊された若しくは含まれた恐れがある、セキュリティポリシが違反された恐れがある、及び／又はセキュリティ保護が失敗した恐れがあることを示すネットワーク、システム、又はサービスの動作における目に見える変化を指す。セキュリティインシデントは、一般にセキュリティを損なう及び／又はシステムの動作を悪くする可能性を有する１つ又は２つ以上の不要な又は予期されないセキュリティイベントからなる。

【0017】

組織のシステムの２４時間の監視は、セキュリティイベントのうち１つでもセキュリティインシデントを示すかどうかを判断するためにＭＳＳＰ、ＳＩＥＭ、及び他のセキュリティソリューションが処理する必要がある大量のセキュリティイベントをもたらし得る。しかしながら、これらのセキュリティイベントのほとんどは、本来ますます行動的かつ状況的になり、いくつかの危険性を伝え得るが、実際のセキュリティインシデントを示すという点では白黒はっきりしていない（例えば、脆弱性、感染したマシン、攻撃など）。

【0018】

本明細書で提示される実施形態は、低信頼度のセキュリティイベントに基づいて調査されるべきであるセキュリティインシデントを検出するための技術について述べている。低信頼度のセキュリティイベントとは、一般に、セキュリティインシデント（例えば、感染、脆弱性、攻撃など）の危険性が低いことを伝え、個々に調査する価値がないセキュリティイベントを指す。一実施形態において、セキュリティ管理サーバは、コンピューティングネットワーク内の装置からセキュリティログを受信する。例えば、セキュリティ管理サーバによって評価されるセキュリティログを生成することができる装置として、ネットワーク装置、セキュリティ装置、アプリケーション、データベースなどが挙げられる。各セキュリティログは、１つ又は２つ以上の異なるタイプのセキュリティイベントの異種コレクションと関連したデータを提供し得る。これらの異なるタイプのセキュリティイベントの例として、認証イベント、監査イベント、侵入イベント、アンチウイルスイベントなどが挙げられる。

【0019】

一実施形態において、セキュリティ管理サーバは、一定期間異なるタイプのセキュリティイベントを集約し、各セキュリティイベントに対する信頼度スコアを計算する。セキュリティ管理サーバは、機械学習法（例えば、インシデントに相関するグランドトルースイベントのセットによる）を使用して信頼度スコアを決定することができる。所与のセキュリティイベントに対する信頼度スコアは、一般に、所与のコンテキストにおけるそのイベントの発生がエンティティのセキュリティステータスに及ぼす影響を評価するために使用することができるデータのコレクションを表す。例えば、信頼度スコアは、正検出セキュリティインシデントのコンテキストにおいて特定のセキュリティイベントが発生した時間の割合を測る尺度を表し得る。信頼度スコア内のデータは、セキュリティ管理サーバが利用可能な任意のコンテキストを参照することができる。そのようなコンテキストとして、何のイベントがセキュリティイベント又はパッチに先行するか、脆弱性、監視されている装置の構成データ、イベントの分野についての機密データ（例えば、ＩＰ又はＵＲＬの評判など）などを挙げることができる。セキュリティ管理サーバは、次に信頼度スコアに基づいて、セキュリティイベントからセキュリティインシデントを検出するための閾値のセットを決定する。例えば、後述するように、セキュリティ管理サーバは、閾値を使用して、そのいずれも個々に調査する価値がないログからの所与のセキュリティイベントのセットを、調査されるべきであるセキュリティインシデントのレベルにエスカレートさせる時点を決定する。

【0020】

一実施形態において、セキュリティ管理サーバは、異なる多様性メトリック及び／又は機械学習法を使用して閾値を決定する。例えば、セキュリティ管理サーバは、多様性メトリックを使用して、異なる装置（又はシステム）から生成され得る異なるタイプの低信頼度のセキュリティイベントの組み合わせを評価する。多様性メトリックからの情報を、次に機械学習法と共に使用して閾値を生成することができ、セキュリティ管理サーバは、この閾値を使用して、異なる低信頼度のセキュリティイベントのセットを、（例えば、システム分析者によって）調査されるべきセキュリティインシデントのレベルに引き上げる（そうでなければ無視され得る）時点を決定する。一実施形態において、セキュリティ管理サーバはまた、検出されたセキュリティインシデントを裏付けるために使用され得る証拠のセットを開発することもできる。

【0021】

一実施形態において、ひとたびセキュリティインシデントが検出されると（例えば、閾値を使用してなど）、セキュリティ管理サーバは、システム分析者に、セキュリティインシデントに関連したセキュリティイベントのリストを、各セキュリティイベントを裏付ける証拠と共に提供する。ひとたびセキュリティ管理サーバが、フィードバックのタイプ（例えば、応答、無応答など）の指摘を分析者から受信すると、セキュリティ管理サーバは、分析者フィードバックのタイプに基づいて、閾値のセット又は証拠セットのうちの少なくとも１つを精査する。

【0022】

セキュリティインシデントを検出するための伝統的な技術は、一般に高信頼度セキュリティイベントに基づいて手動で作成されたルールに依存している一方で、低信頼度イベントは、一般にコンテキストを提示するために使用される。しかしながら、そのようなアプローチは、低信頼度である（したがって、セキュリティインシデントの危険性が低いことを伝える）セキュリティイベントに基づいてセキュリティインシデントを検出することができない。例えば、伝統的な技術を使用して、これらのタイプのセキュリティイベントは無害であるように思われ得るが（例えば、高信頼度イベントではないので）、しかしながら、これらの低信頼度セキュリティイベントが他のセキュリティイベント（高信頼度イベントであってもよく、高信頼度イベントでなくてもよい）と共にコンテキストに入れられると、それらは実際に正検出セキュリティインシデントを示す場合がある（例えば、感染したマシン）。

【0023】

更に、伝統的なセキュリティインシデント検出技術は、セキュリティイベントの常に変化する性質に対して柔軟性がなくかつ反応しない。例えば、ほとんどの伝統的な技術は、一般にシングルタイプの個々のイベントの異常レベルを測定することに着目しているが、いくつかの異なるタイプのマシンによってもたらされ得る異種のセキュリティイベントのコレクションを分析することはできない。加えて、ＳＩＥＭ、ＭＳＳＰなどは、一般に新しい脅威に対処するために常に更新されている数十万ものタイプのセキュリティイベントを処理する。新しく導入されたイベントは、高信頼度であり得るが、人手による労力に依存するルールベースのアプローチの結果、概してこれらの新しい高信頼度セキュリティイベントは、分析者が最終的にそれらをそのようなものとして認識し、それらを組み込むためのルールを作成するまで無視される。

【0024】

更に、多くの場合において、ＳＩＥＭ、ＭＳＳＰなどは、極めて低信頼度の、あまりにも多数のノイズを含むアラートに直面するため、低信頼度イベントのバックグラウンドレベルは、一般に実際のセキュリティインシデントの間のイベント数量より２０パーセント低いだけである。結果として、そのようなノイズを含む環境において、伝統的な技術の使用は、多数の誤検出セキュリティインシデントを生じさせがちであり、これが人間の分析者に提示されると、過度の負担をかけ、本当のセキュリティ脅威から分析者の目をそらせる場合がある。

【0025】

本明細書で提示される実施形態は、セキュリティイベント（又はアラート）に適用された信頼度ラベルを利用することによって、感染したマシン、脆弱性、攻撃、及びその他のセキュリティインシデントを自動的に検出することができる技術を提供する。信頼度ラベルは、多様なイベントのコレクションに信頼度スコアのラベルを付けることができる任意のシステムによって提供することができる。後述のように、本明細書で提示される技術を使用して、感染したマシンを検出する能力がほとんどない低信頼度アラートを除去することができる。観測された最も頻度の高いイベントは、ゼロに近い信頼度のものであるので、そうすることにより、大量のノイズを除去することができる。これらのイベントが処理された状態で、本明細書で提示される技術を使用して、一定の時間窓で発生するセキュリティイベントの多様性を測るほぼ全ての尺度に基づいて高信頼度イベントを検出することができる。

【0026】

加えて、本明細書で提示される技術は、閾値ベースの異常検出モデルに追加の信頼度ベースのメトリックを組み込むことによって（例えば、セキュリティインシデントの）分類精度を向上させることができる。更に、本明細書で提示される技術は、検出された各セキュリティインシデントの妥当性を（証拠によって）証明することができ、これにより分析者は、フィードバックループ機構を通じてシグニチャの信頼度スコアを調整することでシステムを（例えば、いくつかの例でリアルタイムに）微調整できるようになる。

【0027】

以下の説明において、以下の実施形態の多くは、本明細書に記載される技術と共に使用され得るいくつかの異なるタイプのシステムの参考例として、例えばファイアウォール、侵入検出システム、アンチウイルスシステムなどのセキュリティ装置から受信されたセキュリティイベントを使用して説明されることに留意されたい。しかしながら、当業者は、本明細書で提示される実施形態が、セキュリティ監視、通信、データストレージ、クラウドコンピューティングなどに使用されるものなどの様々なコンピューティング装置で動作するように調整され得ることを認識するだろう。

【0028】

図１は、一実施形態による例示のコンピューティング環境１００を図示する。示されるように、コンピューティング環境１００は、ネットワーク１２０を介してセキュリティ管理サーバ（ＳＭＳ）１３０に接続された企業ネットワーク１１０を含む。ネットワーク１２０は、一般に、広域ネットワーク（ＷＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、無線ＬＡＮ（ＷＬＡＮ）などであってもよい。特定の実施形態では、ネットワーク１２０は、インターネットである。

【0029】

示されるように、企業ネットワーク１１０は、１台又は２台以上のコンピューティング装置１０４Ａ〜Ｎ、セキュリティ監視システム１２０、及びストレージシステム１０２を含む。一実施形態において、ストレージシステム１０２は、データベースである。コンピューティング装置１０４Ａ〜Ｎのそれぞれは、デスクトップコンピュータ、ノートブックコンピュータ、モバイル装置、タブレットコンピュータ、サーバ（例えば、ウェブサーバ、認証サーバ、ＤＮＳサーバ、メールサーバなど）、顧客の構内機器（例えば、ルータ、スイッチ、ゲートウェイなど）などのようなネットワークインタフェースを有する任意の種類の物理的コンピューティングシステムであり得る。

【0030】

企業ネットワーク１１０内で、セキュリティ監視システム１２０は、セキュリティイベントに関してコンピューティング装置１０４Ａ〜Ｎ（及び企業ネットワーク１１０内の他のシステム）を監視するように構成されている。セキュリティ監視システム１２０は、侵入検出システム１２２、ファイアウォールシステム１２４、及び企業ネットワーク１１０内部のセキュリティイベントを検出するためのアンチウイルスシステム１２６などの複数のセキュリティ装置を含む。検出される各セキュリティイベントは、コンピューティング装置１０４Ａ〜Ｎの動作を攻撃する、包含する、ないしは別の方法で妨害する試みに関連した活動を示し得る。異なるタイプのセキュリティイベントの例として、認証イベント（例えば、パスワードファイルを読み取ろうとする試みなど）、（ホスト又はネットワークベースの）侵入イベント、ネットワークトラフィックイベント、アンチウイルスイベント（例えば、マルウェア感染の検出）などが挙げられるが、これらに限定されない。ひとたびセキュリティ監視システム１２０がセキュリティイベントを識別すると、セキュリティイベントは、ストレージシステム１０２内に任意の形式（例えば、システムログ、セキュリティログなど）で記憶され得る。

【0031】

上述したように、ほとんどの組織は、組織のコンピューティング装置／システム（例えば、企業ネットワーク１１０内のものなど）の２４時間の監視を実行する。結果として、任意の所与の期間において、セキュリティ監視システム１２０は、膨大な量のセキュリティイベントを生成することができる。任意の所与の期間に企業コンピューティングシステムで発生することがある多数のセキュリティイベントを考えると、ほとんどの組織は、通常、セキュリティイベントを監視、検出、及び／又は分析を助けるためにＭＳＳＰ、ＳＩＥＭなど（例えば、この例におけるＳＭＳ １３０など）を使用する。

【0032】

示されるように、ＳＭＳ １３０は、企業ネットワーク１１０内の装置及びシステムからログに格納されたセキュリティイベントを収集するように構成されているログ収集ツール１３２を含む。ログは、コンピューティング装置１０４Ａ〜Ｎ、ストレージシステム１０２、セキュリティ監視システム１２０内のセキュリティシステム（例えば、侵入検出システム１２２、ファイアウォールシステム１２４、及びアンチウイルスシステム１２６など）などのいずれかによってもたらされ得る。ＳＭＳ １３０はまた、本明細書で提示される技術を実行するように構成されているセキュリティインシデント検出（ＳＩＤ）ツール１３４も含む。例えば、ＳＭＳ １３０は、図５のオペレーション５００、図６のオペレーション６００、又は本明細書に記載された技術のいずれか（若しくは技術の組み合わせ）を実行することができる。例えば、後述のように、ＳＩＤツール１３４は、それぞれがセキュリティインシデントの低い標識（例えば、低信頼度）であり得る異なるタイプのセキュリティイベントの集合に基づいて、より高信頼度のセキュリティアラート（例えば、伝統的な技術と比較して）を提供することができる。

【0033】

特定の検出されたセキュリティインシデントが、本当のインシデントであること、及び分析者が対応策をとる必要があることを分析者に納得させるために、ＳＩＤツール１３４は、特定のインシデントに関して識別された各セキュリティイベントを裏付ける証拠のセット（又はリスト）を生成し報告することによってインシデントの妥当性を証明するように構成されている。例えば、図４を参照して記述されるように、ひとたびＳＩＤツール１３４がセキュリティインシデントを識別すると、ＳＩＤツール１３４は、そのセキュリティインシデントの間に発生し、かつそのセキュリティインシデントと関連しているセキュリティイベントのリストを表示する。セキュリティイベントのリストに加えて、ＳＩＤツール１３４はまた、インシデントにおいてセキュリティイベントと最も関連しているイベントのリストも提供する。この追加のリストのイベントは、セキュリティインシデントの間に発生しなかったが、感染が発生した可能性を示す活動と相関するイベントのセットである。いくつかの例では、証拠のセットは、１つ又は２つ以上のログイン試行、パスワードファイルアクセス試行、ファイルシステム更新、ローカルファイル破損、及び信頼度が疑わしい活動を示す及び／又は管理者がそれについて知りたいと考える他の情報を含み得る。いくつかの例では、証拠のセットはまた、成功した感染、脆弱性、又は攻撃と相関するイベントも含み得る。

【0034】

例えば、一事例では、識別されたインシデントにおける任意のセキュリティイベントに関して、証拠セットは、そのイベントがセキュリティインシデントのコンテキストで発生した時間の割合（例えば、８０％の割合でそのセキュリティイベントが活発になり、ＯＳ攻撃と関連している）、及び特定のセキュリティインシデントの名前を示し得る。一実施形態において、ＳＩＤツール１３４は、セキュリティイベントの、確実にインシデントの生成を誘発する他のセキュリティイベントとの相関を示す証拠セットを提供することができる。例えば、この場合、識別されたインシデントにおける任意のセキュリティイベントに関して、証拠セットは、そのイベントが別のセキュリティイベントのコンテキストで発生した時間の割合を示し得る（例えば、６０％の割合でそのセキュリティイベントがＡｐａｃｈｅウェブサーバのバッファオーバーフローと同時に発生する、３０％の割合でそのセキュリティイベントが「ｓｙｓｔｅｍ．ｉｎｆｅｃｔｅｄ．３２３４」と同時に発生する、１５％の割合でそのセキュリティイベントが「Ａｒｔｅｍｉｓ！２３８４９１７」と同時に発生する、５％の割合でそのセキュリティイベントが「ｏｕｔｂｏｕｎｄ ＺｅｒｏＡｃｃｅｓｓ ｔｒａｆｆｉｃ」と同時に発生する、など）。この方法でそうすることによって、人間の分析者がセキュリティインシデントを容易に理解できるようになり、その結果、人間の分析者は、そのインシデントが本当であるか否か、及びそのインシデントの対応策をとるか否かを容易に判断できる。更に、そのような情報の報告は、分析者に、どのエレメントが実際に証拠セットに属しているかに関してフィードバックを組み込む機会をもたらし、そのことによって、ＳＳＰがセキュリティインシデント検出を改善する、誤検出インシデントの数を減少させることなどを可能にする。

【0035】

例えば、一部の実施形態では、ＳＩＤツール１３４は、分析者フィードバック（又は場合によっては、フィードバックの不足）を組み込んで、証拠セットにリストされたイベントを修正するか否かを判断する、セキュリティインシデント検出技術を改善する、などを行うように構成されている。例えばまた、後述するように、ひとたびＳＩＤツール１３４が、所与のセキュリティインシデントによって分析者に警告を出し、インシデントと関連するセキュリティイベントのリストを提供し、リスト内のセキュリティイベントのそれぞれに関連する証拠セットを提供すると、ＳＩＤツール１３４は、分析者が応答するか否か（及びそうであれば、応答のタイプ）に基づいて証拠セットを修正するか否か（例えば、セット内の項目を追加／削除／修正する）を決定することができる。

【0036】

しかしながら、図１が単にコンピューティング環境１００の１つの可能な構成を例示していることに留意されたい。例えば、セキュリティシステムのいくつかは、コンピューティング装置１０４Ａ〜Ｎと別に図示されているが、一部の実施形態では、セキュリティシステムの１つ又は２つ以上は、コンピューティング装置１０４Ａ〜Ｎ内部にあり得る。より一般的には、当業者は、コンピューティング環境１００の他の実施形態もまた、低信頼度セキュリティイベントの集合に基づいて高信頼度のセキュリティインシデントの検出を提供するように構成され得ることを認識するだろう。

【0037】

図２は、一実施形態による、図１に対して記載されたＳＩＤツール１３４の例を更に図示する。示されるように、ＳＩＤツール１３４は、信頼度スコアコンポーネント２０２、学習コンポーネント２０４、正当化コンポーネント２０６、及びフィードバックコンポーネント２０８を含む。一実施形態において、ひとたびログ収集ツール１３２が、コンピューティング装置１０４Ａ〜Ｎからログを収集すると、信頼度スコアコンポーネント２０２は、一定の時間窓を通してセキュリティイベントを集約し（例えば、分、時間、日などの順で）、識別されたセキュリティイベントのそれぞれについて信頼度スコアを計算する。

【0038】

各信頼度スコアは、一般に、感染、攻撃、脆弱性などのコンテキストにおいてそれぞれのセキュリティイベントが発生した時間の割合を測る尺度である。１つのセキュリティイベントのタイプの参考例としてパスワードファイルの読み取りを使用して、仮にセキュリティシステムの１つがこのタイプのセキュリティイベントを記録したとすると、信頼度スコアコンポーネント２０２は、まず一定の時間窓の間に発生したパスワードファイル試行数を測定する。信頼度スコアコンポーネント２０２は、次に感染のコンテキストにおいて一定の時間窓の間にセキュリティイベントが発生した回数を測定する（例えば、一定時間前及び／又は後）。この情報に基づいて、信頼度スコアコンポーネント２０２は、次にパスワードファイルの読み取りに関する信頼度スコアを計算し得る。例えば、上記の例を使用して、パスワードファイルの読み取りが１日に１０，０００回発生し、それらの１０，０００回のうち、感染が存在したとアンチウイルスソフトウェア（ホスト装置上の）が示したときにセキュリティイベントが８，０００回発生した場合、信頼度スコアコンポーネント２０２は、０．８の信頼度スコアを計算することになる。この方法で、信頼度スコアコンポーネント２０２は、多様なセキュリティイベントのコレクションに関して信頼度スコアを計算することができる。

【0039】

一実施形態において、ひとたび信頼度スコアコンポーネント２０２が、各タイプのセキュリティイベントの信頼度スコアを計算すると、信頼度スコアコンポーネント２０２は、複数の多様性メトリックを使用してセキュリティイベント（及びそれぞれの信頼度スコア）を評価する。１つのそのようなタイプのメトリックは、信頼度スコアの合計に基づいている。例えば、一事例では、信頼度スコアコンポーネント２０２は、一定の時間窓の間に活発になった各セキュリティイベントタイプの信頼度スコアの合計を測定するメトリックを使用することができる。どのタイプのセキュリティイベントでも発生数に着目するのではなくて、このメトリックは、代わりに各タイプのセキュリティイベントを１回だけカウントする（一定の時間窓の間にセキュリティイベントが何回発生しても）。例えば、（０．０１の信頼度スコアで）タイプ１のセキュリティイベントが１００万回発生し、（０．５の信頼度スコアで）タイプ２のセキュリティイベントが１００回発生した場合、このメトリックは、０．５１の信頼度合計スコアを示すことになる。

【0040】

一例では、信頼度スコアコンポーネント２０２は、一定の時間窓の間に活発になった各イベントの各インスタンスの信頼度スコアの合計のログを測定するメトリックを使用することができる。（どの特定のセキュリティイベントタイプのインスタンス数を無視した）上記メトリックと比較して、このメトリックは、セキュリティイベントのインスタンスの数を考慮し、莫大な量のインスタンスに基づいてセキュリティインシデントが発生した確率を示すことができる。例えば、アラートの数量は、１日に何千万個ものセキュリティイベントにしばしば及ぶことがあるため、ログを使用する。

【0041】

別のタイプのメトリックは、セキュリティイベントのタイプに基づくメトリックを含む。例えば、一事例では、信頼度スコアコンポーネント２０２は、その期間の間に活発になった異なるイベントタイプの総数を測定するメトリックを使用することができる（例えば、特定のイベントタイプのインスタンスの数を度外視する）。一事例では、信頼度スコアコンポーネント２０２は、アンチウイルスセキュリティイベントの数のみを考慮するメトリックを使用することができる。単にアンチウイルスイベントに基づいたメトリックは、アンチウイルスイベントが、典型的にはより信頼できるセキュリティインシデントの標識であり、一般にネットワークイベントよりまれであるので（セキュリティインシデント検出に関して）有用であり得る。そのため、アンチウイルスイベントにより着目するメトリックは、セキュリティインシデント検出の閾値及び／又は証拠のセットを決定する際に信頼度スコアコンポーネント２０２により使用され得る。加えて、アンチウイルスイベントに基づくメトリックもまた、上述のメトリックと同様に信頼度スコアの合計、信頼度スコアの合計のログなどを組み込むことができる。

【0042】

信頼度スコアコンポーネントによって使用され得る他のメトリックのタイプとして、一定の時間窓の間に活発になったどれでもセキュリティイベントによって保持される最大の信頼度スコアに基づくメトリック、検出に寄与した異なるセキュリティ装置の数に基づくメトリック（例えば、アンチウイルス装置及びネットワーク装置を伴う場合、より広くより強いセキュリティインシデントの指摘が存在することになる）などが挙げられるが、これらに限定されない。上述の多様性メトリックが、異なる装置によってもたらされ得る異なるタイプのセキュリティイベントを評価するのに使用され得るメトリックの参考例として提供されることに留意されたい。しかしながら、一般に信頼度スコアコンポーネント２０２は、上記メトリック又は他の類似のメトリックのいずれか１つ（又は組み合わせ）を使用してセキュリティイベントを評価することができる。

【0043】

一実施形態において、ひとたび信頼度スコアコンポーネント２０２が、各セキュリティイベントの信頼度スコアを計算し、１つ又は２つ以上の多様性メトリックを使用してセキュリティイベントを評価すると、信頼度スコアコンポーネント２０２は、情報（例えば、セキュリティイベント、信頼度スコア、メトリックからの分析情報など）を人間の分析者に提供し、分析者は手動の閾値のセットを（例えば、グランドトルースセットがないイベントで）生成することができる。あるいは、別の実施形態において、利用可能なグランドトルースセットがある場合、信頼度スコアコンポーネント２０２は、情報を学習コンポーネント２０４に提供し、学習コンポーネント２０４は、セキュリティインシデント検出モデルを教育するために機械学習アルゴリズムにその情報を入力する。例えば、ある特定の実施形態において、学習コンポーネント２０４は、サポートベクターマシン（ＳＶＭ）を使用することができ、サポートベクターマシンは、誤検出アラート識別から既知のインシデントを最もよく区別する機能の線形結合を定義する。多くの場合において、ＳＶＭは、ＳＱＬのｗｈｅｒｅ句で表の列にわたる効率のよい演算機能として簡単に定義されるため、ＳＶＭモデルを使用することは、ビッグデータ環境にとって有益であり得る。しかしながら、一般に、学習コンポーネント２０４は、任意の教師あり機械学習アルゴリズムを使用して閾値及び／又は証拠のセットを開発できることに留意されたい。

【0044】

一実施形態において、ひとたび学習コンポーネント２０４が閾値のセットを開発すると、学習コンポーネント２０４は、閾値を使用してセキュリティインシデント検出を実行することができる。例えば、学習コンポーネント２０４は、閾値を使用して、所与の異なる低信頼度のセキュリティイベントタイプのセットをシステム分析者によって調査されるべきセキュリティインシデントのレベルに引き上げる（そうでなければ無視され得る）時点を決定することができる。ひとたび学習コンポーネント２０４が、所与のセキュリティインシデントを（例えば、閾値を越える少なくとも１つの低信頼度のセキュリティイベントに基づいて）検出すると、正当化コンポーネント２０６は、（例えば図４に示されるように）セキュリティインシデントの間に発生した全てのセキュリティイベントのリストを提供する。正当化コンポーネント２０６もまた、セキュリティイベントのそれぞれに関して証拠のセットを提供する。この証拠は、曖昧なイベントによってもたらされる高信頼度レベルの妥当性を証明し、システム分析者による迅速な対応を促すために使用される。例えば、証拠のセットは、典型的にはインシデントの間に実際に発生したセキュリティイベントより脅威を与える性質であり得る重大な悪意ある活動及び／又は疑わしい活動を表す。証拠のセットを分析者に報告することによって、分析者は、そのインシデントが本当であるか否か、及びそのインシデントの対応策をとるか否かを容易に判断できる。

【0045】

一実施形態において、フィードバックコンポーネント２０８は、セキュリティインシデントアラートに応じて分析者の（対応策をとるか否かの）決定についてフィードバックを受信するように構成されている。例えば、一実施形態において、分析者が、セキュリティインシデントを解決するために対応策をとることによってセキュリティインシデントアラートに応答する場合、その応答は、正当化コンポーネント２０６が証拠の正しいセットを提供したことを示し得る。別の実施形態において、分析者が、証拠セット内の１つ又は２つ以上のエレメントが修正される（例えば、追加される／削除される／変更される）べきであると示すことでセキュリティインシデントに応答する場合、次にその応答を使用して、分析者の情報に基づいて証拠セットを改良することができる。この実施形態において、分析者は、信頼度スコアを作成する方法について洞察が与えられ得て、それによって分析者は、より微妙なフィードバックを提供できるようになる。例えば、分析者は、信頼度スコア、多様性メトリック、閾値、及び／又は証拠セットを作成するか若しくはセキュリティインシデントを検出するために使用される他の情報のそれぞれに関する情報を受信し得る。この情報の報告は、証拠セットが検出されたセキュリティインシデントにどのように関与したかを、分析者が理解する際の助けとなり得、その結果分析者は、証拠セットを修正して、誤検出の指摘を更に減少させることができる。証拠セットに対して項目を直接削除又は追加することによって、信頼度スコアは、自動的に再調整されることになる。更に別の実施形態では、分析者がセキュリティインシデントアラートに応答しない場合、フィードバックコンポーネント２０８は、分析者が誤検出としてインシデントを処理したと推測できるので（例えば、分析者に対応策を取らせるほど十分な証拠がなかったためなど）、この無応答は更に、証拠セットを改良する必要があることを示し得る。

【0046】

したがって、分析者の行動からの情報に基づいて証拠のセット及び／又はセキュリティインシデント検出モデルを常に適応させること及び改良することによって、本明細書で提示される技術は、柔軟性の向上、精度の改善、及びインシデント検出の間に発生し得る誤検出インシデントの数量の低減を（例えば、伝統的な技術と比較して）提供することができる。

【0047】

図３は、一実施形態による、分析者フィードバックを組み込んだＳＩＤツール１３４の例を図示する。この特定の実施形態で示されるように、ＳＩＤツール１３４は、ファイアウォール３０２、侵入検出システム３０４、コンピューティングシステム３０６上のアンチウイルス３０８などのセキュリティ装置から（ログ収集ツール１３２を介して）複数の異なるログを受信する。ログのそれぞれは、いくつかの異なるタイプのセキュリティイベントを含んでもよく、そのそれぞれは、ある量のセキュリティインシデントと関連する危険性を伝え得る。

【0048】

ひとたびＳＩＤツール１３４が、セキュリティインシデントを受信すると、ＳＩＤツール１３４は、各セキュリティイベントについて（信頼度スコアコンポーネント２０２を介して）信頼度スコアを計算し、１つ又は２つ以上の多様性メトリックを使用してセキュリティイベントを評価する。ＳＩＤツール１３４は次に、この情報を使用して（学習コンポーネント２０４を介して、又は一部の実施形態では、人間の分析者によって）、誤検出アラート識別から既知のインシデントを区別し、証拠のセットを生成するために使用され得る閾値を決定する。

【0049】

ひとたびＳＩＤツール１３４が、セキュリティインシデントを検出すると、ＳＩＤツール１３４は、検出されたセキュリティインシデントと関連するセキュリティイベントのリスト、及びそれぞれリストされたセキュリティイベントの妥当性を証明する証拠のセットを１人又は２人以上の分析者３１０に（正当化コンポーネント２０６を介して）提供する。ひとたび分析者（複数可）３１０が、情報を受信すると、分析者（複数可）３１０は、セキュリティインシデントを解決しようと試みることによって応答し、証拠セット内の１つ又は２つ以上の項目を修正し、インシデントを誤／正検出として印付ける、又は全く応答しないことができる。ＳＩＤツール１３４は、分析者（複数可）３１０の応答を監視し、応答のタイプに基づいて証拠セット及び／又は閾値を改良することができる。

【0050】

図３に図示された状況は、３台の異なるセキュリティ装置からログを受信するＳＩＤツール１３４を示しているが、本明細書で提示される技術によってＳＩＤツール１３４は、任意の台数の装置について、かつ様々な異なるタイプのセキュリティイベントについて、ログを受信し、及び／又はセキュリティインシデント検出を実行することができるようになることに留意されたい。

【0051】

図４は、一実施形態による、セキュリティインシデントの一例を示す例示の監視インタフェース４００を図示する。示されるように、監視インタフェース４００は、セキュリティインシデントの間に発生した全てのセキュリティイベント（例えば、この例では９個）をリストするセキュリティイベントリスト４０２を含む。リストにおいて、各セキュリティイベントは、「イベントＩＤ」、「信頼度」スコア、及び「シグニチャ名」によって識別される。例えば、「ＨＴＴＰ ＩＩＳ ＩＳＡＰＩ Ｅｘｔｅｎｓｉｏｎ」は、通常、バッファオーバーフローの脆弱性を利用しようとする試みと関連しているセキュリティイベントである。この特定の実施形態において、セキュリティイベントリスト４０２は、インシデントに関与するセキュリティイベントを信頼度が減少する順序にソートする。しかしながら、他の実施形態において、セキュリティイベントは、任意のタイプの順序（例えば、増加するなど）及び／又は配列でリストされ得る。

【0052】

監視インタフェース４００はまた、証拠リスト４０４も含む。証拠リスト４０４は、セキュリティイベントリスト内のイベントと最も強く併発し、成功した感染と相関するか又は疑わしい活動（例えば、１回又は２回以上のログイン試行、繰り返されるパスワードファイル試行など）を示すイベントのリストを含む。明確さのために、この特定の実施形態において、証拠リスト４０４は、第１のセキュリティイベント（例えば、「ＨＴＴＰ ＩＩＳ ＩＳＡＰＩ Ｅｘｔｅｎｓｉｏｎ」）だけの証拠を含む。しかしながら、証拠リスト４０４は、所与のセキュリティインシデントの間に発生する各セキュリティイベントのための１つ又は２つ以上のイベントのセットを提供できることに留意されたい。証拠リスト４０４内の各イベントは、「イベントＩＤ」、「ＣｏｎｆＯｃｃｕｒＲａｔｅ」（信頼度発生率）、及び「シグニチャ名」によって識別される。証拠リスト４０４内にリストされているイベントは、特定のセキュリティインシデントの間に活発になったイベントではなく、むしろ同じタイプのセキュリティインシデントの間に高い頻度で発生するイベントである。分析者に対するこの情報の報告は、曖昧なイベントによってもたらされる高信頼度レベルの妥当性を証明する。例えば、証拠セットは、通常、イベントの間に実際に発生したインシデントより脅威を与えるように思われ得る重大な悪意ある活動を表す。このようにして、この実施形態において、分析者に「ＨＴＴＰ ＩＩＳ ＩＳＡＰＩ Ｅｘｔｅｎｓｉｏｎ」と関連がある「ＯＳ Ａｔｔａｃｋ」シグニチャを提示することは、これらのイベントがＯＳに対する成功した攻撃を表すので、分析者がセキュリティインシデントを解決するために対応策をとる可能性を高めるだろう。他の頻繁にある例（図示せず）として、キャリアボットネット（carrier botnets）と強く相関する証拠リスト内のアドウェアが挙げられる。

【0053】

ある実施形態によれば、セキュリティインシデント検出の裏付けとして証拠セットから証拠を報告することはまた、誤検出の検出が生じたときに分析者による微妙なフィードバックの提供も可能にする。場合によっては、分析者は、誤検出の原因を証拠セットに関連する問題に帰することができる。例えば、上述したように、証拠セットは、セキュリティイベントの信頼度スコアを確立するために使用され得るアラートからなる。このようにして、証拠セットのうち同時に発生するエレメントのリストを報告することによって、本明細書で提示される技術は、分析者による感染したシステムの１００％信頼できる標識ではないエレメントの証拠セットからの除去を可能にする。一般に、証拠セットにおいてその証拠セットに属さないアラートの存在は、誤検出の主要な原因の１つであり、部分的には、保守的なアラートの多様性閾値又は選択される手動の閾値によるものである。このようにして、証拠セット内のエラーの除去は、これらの場合において、自動的に信頼度スコアを修正することができ、検出精度の向上をもたらす。

【0054】

他の場合では、分析者は、誤検出の原因を十分な証拠の不足に帰することができる。例えば、誤検出に関する別の考えられる理由は、セキュリティイベントに関して一定の時間窓における集約されたセキュリティイベントデータに対する閾値が不十分に保守的であったことである。このようにして、本明細書で提示される技術を使用して、提示される証拠が感染を示唆するが、（感染の）結論には不十分な証拠を提示する場合、分析者は、セキュリティインシデントに誤検出として印付けることができ、セキュリティインシデント検出モデルの再教育及び正検出と誤検出との間で改良した境界の再選択という結果になる。

【0055】

例示の監視インタフェース４００は、セキュリティインシデントに関連するセキュリティイベント及び証拠のセットを提示するための情報フィールドの１つの考えられる表示を図示することに留意されたい。例えば、一部の実施形態では、監視インタフェース４００は、そのイベントが証拠セットに属していないことを示唆するためにユーザーが証拠セット内のイベントを選択（又はクリック）できるようにするフィールド、ボタンなどを含む。場合によっては、監視インタフェース４００は、ユーザーが証拠セットに含まれるべきイベントを選択できる、又は証拠セット内のイベントが正しいことを確認できるようにするフィールドを含む。より一般的には、当業者は、監視インタフェース４００が（例えば、同じ又は異なる情報で）分析者に提示される情報フィールドの異なる構成を含んでもよいことを認識するだろう。

【0056】

図５は、一実施形態による、低信頼度のセキュリティイベントを用いてセキュリティインシデントを検出するための方法５００を図示する。示されるように、方法５００は、ステップ５０２で開始し、ＳＩＤツール１３４は、１台又は２台以上の装置が提供しているログから受信されたセキュリティイベントのコレクションを集約する。一実施形態において、ＳＩＤツール１３４は、ある期間のセキュリティイベントを集約する（例えば、分、時間などの順で）。一実施形態において、セキュリティイベントのコレクションは、１台又は２台以上の異なる装置からのセキュリティイベントの異種コレクションを含む。

【0057】

ステップ５０４で、ＳＩＤツール１３４は、異なるセキュリティイベントのそれぞれについて信頼度スコアを計算する。各信頼度スコアは、セキュリティインシデントが発生した可能性を示す。ステップ５０６で、ＳＩＤツール１３４は、一部において信頼度スコアに基づいて、セキュリティインシデントを検出するための閾値を決定する。例えば、上述したように一実施形態において、閾値を決定するために、ＳＩＤツール１３４は、１つ又は２つ以上の多様性メトリックを使用してセキュリティイベントを評価し、信頼度スコア及び評価データを、情報に基づいて手動の閾値を作成する人間の分析者に転送する。別の実施形態において、ＳＩＤツール１３４は、閾値を生成するために情報を機械学習アルゴリズムに入力する。

【0058】

ステップ５０８で、ＳＩＤツール１３４は、証拠のセットを判定する（例えば、閾値、分析者フィードバックなどを使用して）。ステップ５１０で、ＳＩＤツール１３４は、（例えば、閾値、証拠セットなどを使用して）セキュリティインシデントが検出されたかどうかを判定する。されない場合、ＳＩＤツール１３４は、ステップ５１０にとどまる。ＳＩＤツール１３４が、（例えば、閾値及び証拠のセットを使用して）セキュリティインシデントを検出すると、次に、各検出されたセキュリティインシデントについて、ＳＩＤツール１３４は、セキュリティインシデントに関連するセキュリティイベントのリスト（ステップ５１２）、及び各セキュリティイベントに関する証拠のリストを分析者に提供する（ステップ５１４）。一実施形態において、ＳＩＤツール１３４はまた、任意の個々のシグニチャの信頼度スコアについての正当化理由を明らかにするために分析者用の機構も提供する。例えば、上述したように、イベントの信頼度スコアの正当化は、問題になっているセキュリティインシデントの任意のインスタンスの所定の期間内に（例えば、分、時間、日などの順で）共に発生することが観測されているセキュリティイベントのリスト（例えば、証拠のリスト）を提供することを含み得る。１つの特定の実施形態では、所定の期間は、２４時間である。リストは、頻度の減少によってソートされ得、証拠セット内の各イベントは、その名前によって記述され得る（例えば、図４に示されるように）。証拠セット内の各イベントは、証拠のセット内の任意のイベントと共に発生した（報告された）セキュリティイベントのインスタンスの総数に対してイベントが問題になっている報告されたセキュリティイベントの期間内に共に発生した時間の割合によって更に記載され得る。

【0059】

ステップ５１６で、ＳＩＤツール１３４は、セキュリティインシデントアラートに分析者が応答したかどうかを判定する。分析者が応答したか否かに関わらず、ＳＩＤツール１３４は、応答又は応答不足からの情報を使用して、閾値（ステップ５０６）及び証拠セット（ステップ５０８）を更新する。一実施形態において、証拠のセット内のイベントのうち１つが証拠セットに属さないという指摘を受信した際に、ＳＩＤツール１３４は、分析者へのセキュリティインシデントの報告に対する、指摘されたイベントの削除の推定される影響を分析する。例えば、ＳＩＤツール１３４は、イベントを削除するという分析者の推奨を、その他の以前に受信した又は決定した情報（例えば、閾値、信頼度スコア、以前の分析者フィードバックなど）と比較検討して、証拠セットからのイベントの削除がシステムの精度を向上させるかどうか決定することができる。ＳＩＤツール１３４が、証拠セットからイベントを削除することが（例えば、分析者によって）是正されるインシデントの数を減少させるか、又は分析者に報告される誤検出セキュリティインシデントの数を増加させることになると判断した場合は、ＳＩＤツール１３４は、分析者の推奨を無視することができる（即ち、証拠セットからイベントを削除しない）。ＳＩＤツール１３４が、証拠セットからイベントを削除することが是正されるインシデントの数を増加させるか、又は分析者に報告される誤検出セキュリティインシデントの数を減少させることになると判断した場合は、ＳＩＤツール１３４は、証拠セットからイベントを除去すると決定することができる。このように技術を使用して、セキュリティインシデントの検出の増加をもたらし、誤検出インシデントの数を減少させることができる。

【0060】

図６は、一実施形態による、セキュリティインシデントの検出を向上させるために分析者フィードバックを組み込むための方法６００を図示する。示されるように、方法６００は、ステップ６０２で開始し、ＳＩＤツール１３４は、分析者フィードバックが受信されたかどうかを判断する。そうであれば、ＳＩＤツール１３４は次にステップ６０４で、分析者がセキュリティインシデントに誤検出として印付けたかどうかを判断する。分析者がセキュリティインシデントに誤検出として印付けたとＳＩＤツール１３４が判断した場合、ＳＩＤツール１３４は、ステップ６０６で新しい閾値を決定する（例えば、機械学習法などを使用して）。

【0061】

しかしながら、ＳＩＤツール１３４が、ステップ６０４で、分析者がセキュリティインシデントに誤検出と印付けなかったと判断すると、ＳＩＤツール１３４はステップ６１０に進み、分析者が証拠セット内の任意のエレメントを修正（例えば、削除、追加など）したかどうかを判断する。そうであれば、ＳＩＤツール１３４は、ステップ６１２で、（例えば、分析者フィードバックに基づいて）証拠セットを修正し、ステップ６１４で、ＳＩＤツール１３４は自動的に信頼度スコアを再調節する（例えば、証拠セットに属さなかった証拠セット内のエレメントに基づいたなど）。

【0062】

ステップ６０２に戻って参照すると、ステップ６０２で、分析者がフィードバックを提供しなかったとＳＩＤツール１３４が判断すると、ＳＩＤツール１３４は、分析者がセキュリティインシデントを誤検出インシデントとして処理したと推測することができ、ステップ６２０で閾値を調節する（例えば、機械学習法などを使用して）。ひとたびＳＩＤツール１３４が、ステップ６０６、６１４、又は６２０のいずれかを実行すると、ＳＩＤツール１３４は、ステップ６１６に進み、別のセキュリティインシデントが検出されたかどうかを判断する。そうであれば、ＳＩＤツール１３４は、ステップ６１８で各セキュリティイベントに関してセキュリティイベントのリスト及び証拠セットを提供する（例えば、分析者フィードバックに基づいて）。ＳＩＤツール１３４は、次にステップ６０２に進んで、分析者が追加のフィードバックを有するかどうかを判断する。このように本明細書で提示される技術は、常にセキュリティインシデント検出の有効性を改善すること、誤検出の数を低減することなどができる。

【0063】

図７は、一実施形態による、低信頼度のセキュリティイベントに基づいてセキュリティインシデント検出を実行するように構成された例示のサーバコンピューティングシステム７００を図示する。示されるように、サーバコンピューティングシステム７００は、制限なしに、中央演算処理装置（ＣＰＵ）７０５、ネットワークインタフェース７１５、メモリ７２０、及びストレージ７３０を含み、それぞれバス７１７に接続されている。サーバコンピューティングシステム７００はまた、Ｉ／Ｏ装置７１２（例えば、キーボード、ディスプレイ、マウス装置など）をサーバコンピューティングシステム７００に接続するＩ／Ｏ装置インタフェース７１０も含んでもよい。更に、本開示の文脈において、サーバコンピューティングシステム７００内に示される演算器は、物理的なコンピューティングシステム（例えば、企業ネットワーク内のシステム）に対応してもよい。

【0064】

ＣＰＵ ７０５は、メモリ７２０内に記憶されたプログラム命令を取り出し、実行し、加えてストレージ７３０内に存在するアプリケーションデータを記憶し、取り出す。バス７１７を使用して、ＣＰＵ ７０５と、Ｉ／Ｏ装置インタフェース７１０と、ストレージ７３０と、ネットワークインタフェース７１５と、メモリ７２０との間でプログラム命令及びアプリケーションデータを送信する。ＣＰＵ ７０５が、単一ＣＰＵ、複数ＣＰＵ、複数のプロセシングコアを有する単一ＣＰＵなどを代表するように含まれていることに留意されたい。メモリ７２０は、一般にランダムアクセスメモリを代表するように含まれている。ストレージ７３０は、ディスクドライブストレージ装置であってもよい。ストレージ７３０は、セキュリティログ７３２及び構成ファイル７３４を含む。単一のユニットとして示されるが、ストレージ７３０は、固定ディスクドライブ、取り外し可能なメモリカード、若しくは光学式ストレージなどの、固定及び／若しくは取り外し可能なストレージ装置、ネットワークアタッチトストレージ（ＮＡＳ）、又はストレージエリアネットワーク（ＳＡＮ）の組み合わせであってもよい。

【0065】

例示的には、メモリ７２０は、ログ収集ツール７２２及びＳＩＤツール７４０を含む。ログ収集ツール７２２は、コンピューティングネットワーク（例えば、企業ネットワーク）のセキュリティ監視に関わるいくつかの異なるタイプからセキュリティログ７３２を収集する。セキュリティログ７３２は、異なるタイプのセキュリティイベントを含んでもよく、そのそれぞれは、ある量のセキュリティインシデントと関連する危険性を伝え得る。ひとたびＳＩＤツール７４０が、セキュリティイベントを受信すると、信頼度スコアコンポーネント７２４は、セキュリティイベントを集約し、各セキュリティイベントについて信頼度スコアを計算し、１つ又は２つ以上の多様性メトリックを使用して信頼度スコアを評価する。学習コンポーネント７２６は、この情報を使用して（例えば、機械学習法によって、手動で定義した、など）セキュリティインシデント検出のために使用され得る閾値を決定する。学習コンポーネントは、閾値を使用して証拠の初期セットを決定することもできる（例えば、現在使用できない場合）。

【0066】

ある実施形態では、ひとたびＳＩＤツール１３４がセキュリティインシデントを検出すると、正当化コンポーネント７２８は、検出されたセキュリティインシデントと関連するセキュリティイベントのリスト、及びそれぞれリストされたセキュリティイベントの妥当性を証明する証拠のセットを（分析者に）提供する。フィードバックコンポーネント７２０は、分析者の応答を監視し、応答に基づいて証拠セット及び／又は閾値を改良することができる。

【0067】

そのため、本明細書で提示される技術は、高信頼度イベントが分析者にもたらされるセキュリティインシデントという結果になるべきである状態を指定するのに、専門の分析者のルールに依存せずにセキュリティインシデント検出の改善を可能にする（例えば、顧客、管理者、ユーザーなど）。

【0068】

先行する議論は、様々な実施形態を提示している。しかしながら、本開示は、具体的に説明された実施形態に限定するものではない。むしろ、以下の機能及びエレメントの任意の組み合わせは、異なる実施形態に関連するかどうかに関わらず、本明細書で記載された技術を実装し実行することが想到される。更に、本開示の実施形態は、他の考えられる解決策、及び／又は先行技術に対して利点を実現し得るが、特定の利点が所与の実施形態によって実現されるか否かは、本開示に限定されない。このようにして、以下の態様、機能、実施形態、及び利点は、単なる例証であり、請求項（複数可）で明確に詳述される場合を除き、添付の「特許請求の範囲」のエレメント又は制限とは見なされない。

【0069】

態様は、システム、方法、又はコンピュータプログラム製品として具体化され得る。したがって、実施形態は、完全なハードウェア実施形態、完全なソフトウェア実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）、又は全て原則的に本明細書で「回路」、「モジュール」、若しくは「システム」と呼ばれ得るソフトウェア及びハードウェアの態様を組み合わせた実施形態の形態を取り得る。更に、実施形態は、そこに具体化されたコンピュータ読み取り可能なプログラムコードを有する１つ又は２つ以上のコンピュータ可読媒体（複数可）に具体化されたコンピュータプログラム製品の形態を取り得る。

【0070】

１つ又は２つ以上のコンピュータ可読媒体（複数可）の任意の組み合わせを利用してもよい。コンピュータ可読媒体は、コンピュータ読み取り可能な信号媒体又はコンピュータ読み取り可能な記憶媒体であってもよい。コンピュータ読み取り可能な記憶媒体は、例えば、電子、磁気、光学、電磁気、赤外線、若しくは半導体のシステム、機器、若しくは装置又は前述の任意の好適な組み合わせであり得るが、これらに限定されない。コンピュータ読み取り可能な記憶媒体のより具体的な例（完全に網羅されていないリスト）として、１本若しくは２本以上の導線を有する電気的接続、ポータブルフロッピーディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバー、ポータブルコンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）、光ストレージ装置、磁気ストレージ装置、又は前述の任意の好適な組み合わせが挙げられる。本文書の文脈において、コンピュータ読み取り可能な記憶媒体は、命令実行システム、機器、若しくは装置によって使用するため若しくはそれらと関連するプログラムを含む又は記憶することができる任意の具体的な媒体であってもよい。

【0071】

図中のフローチャート及びブロック図は、本明細書で提示される様々な実施形態によるシステム、方法、及びコンピュータプログラム製品の可能な実装のアーキテクチャ、機能、及び動作を図示している。この点に関して、フローチャート又はブロック図中の各ブロックは、指定の論理機能（複数可）を実装するための１つ又は２つ以上の実行可能命令を含むモジュール、セグメント又はコードの部分を表し得る。いくつかの代替の実装では、ブロック内に書かれた機能は、図中に書かれた順序から外れて発生してもよい。例えば、連続的に示された２つのブロックが、実際には、含まれる機能に応じて、実質的に同時に実行されてもよく、時としてそれらのブロックは、逆の順序で実行されてもよい。ブロック図及び／又はフローチャート図の各ブロックは、並びにブロック図及び／又はフローチャート図中のブロックの組み合わせは、指定の機能若しくは行為、又は専用ハードウェア及びコンピュータの命令の組み合わせを実行する専用ハードウェアベースのシステムによって実装され得る。

【0072】

先行する議論は、様々な実施形態を提示している。しかしながら、本開示は、具体的に説明された実施形態に限定するものではない。むしろ、以下の機能及びエレメントの任意の組み合わせは、異なる実施形態に関連するかどうかに関わらず、本明細書で記載された技術を実装し実行することが想到される。更に、本開示の実施形態は、他の考えられる解決策、及び／又は先行技術に対して利点を実現し得るが、特定の利点が所与の実施形態によって実現されるか否かは、本開示に限定されない。このようにして、以下の態様、機能、実施形態、及び利点は、単なる例証であり、請求項（複数可）で明確に詳述される場合を除き、添付の「特許請求の範囲」のエレメント又は制限とは見なされない。

【0073】

態様は、システム、方法、又はコンピュータプログラム製品として具体化され得る。したがって、実施形態は、完全なハードウェア実施形態、完全なソフトウェア実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）、又は全て原則的に本明細書で「回路」、「モジュール」、若しくは「システム」と呼ばれ得るソフトウェア及びハードウェアの態様を組み合わせた実施形態の形態を取り得る。更に、実施形態は、そこに具体化されたコンピュータ読み取り可能なプログラムコードを有する１つ又は２つ以上のコンピュータ可読媒体（複数可）に具体化されたコンピュータプログラム製品の形態を取り得る。

【0074】

１つ又は２つ以上のコンピュータ可読媒体（複数可）の任意の組み合わせを利用してもよい。コンピュータ可読媒体は、コンピュータ読み取り可能な信号媒体又はコンピュータ読み取り可能な記憶媒体であってもよい。コンピュータ読み取り可能な記憶媒体は、例えば、電子、磁気、光学、電磁気、赤外線、若しくは半導体のシステム、機器、若しくは装置又は前述の任意の好適な組み合わせであり得るが、これらに限定されない。コンピュータ読み取り可能な記憶媒体のより具体的な例（完全に網羅されていないリスト）として、１本若しくは２本以上の導線を有する電気的接続、ポータブルフロッピーディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバー、ポータブルコンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）、光ストレージ装置、磁気ストレージ装置、又は前述の任意の好適な組み合わせが挙げられる。本文書の文脈において、コンピュータ読み取り可能な記憶媒体は、命令実行システム、機器、若しくは装置によって使用するため若しくはそれらと関連するプログラムを含む又は記憶することができる任意の具体的な媒体であってもよい。

【0075】

図中のフローチャート及びブロック図は、本明細書で提示される様々な実施形態によるシステム、方法、及びコンピュータプログラム製品の可能な実装のアーキテクチャ、機能、及び動作を図示している。この点に関して、フローチャート又はブロック図中の各ブロックは、指定の論理機能（複数可）を実装するための１つ又は２つ以上の実行可能命令を含むモジュール、セグメント又はコードの部分を表し得る。いくつかの代替の実装では、ブロック内に書かれた機能は、図中に書かれた順序から外れて発生してもよい。例えば、連続的に示された２つのブロックが、実際には、含まれる機能に応じて、実質的に同時に実行されてもよく、時としてそれらのブロックは、逆の順序で実行されてもよい。ブロック図及び／又はフローチャート図の各ブロックは、並びにブロック図及び／又はフローチャート図中のブロックの組み合わせは、指定の機能若しくは行為、又は専用ハードウェア及びコンピュータの命令の組み合わせを実行する専用ハードウェアベースのシステムによって実装され得る。

【0076】

本明細書で使用するとき、項目のリスト「のうち少なくとも１つ」を指す表現は、単一の要素を含みそれらの項目の任意の組み合わせを指す。例として、「ａ、ｂ、又はｃのうち少なくとも１つ」は、ａ、ｂ、ｃ、ａ−ｂ、ａ−ｃ、ｂ−ｃ、及びａ−ｂ−ｃ、並びに同じエレメントの重複との任意の組み合わせ（例えば、ａ−ａ、ａ−ａ−ａ、ａ−ａ−ｂ、ａ−ａ−ｃ、ａ−ｂ−ｂ、ａ−ｃ−ｃ、ｂ−ｂ、ｂ−ｂ−ｂ、ｂ−ｂ−ｃ、ｃ−ｃ、及びｃ−ｃ−ｃ、又はａ、ｂ、及びｃの任意の他の順序）を対象とすることを目的とする。

【0077】

本開示の実施形態について前述してきたのであるが、本開示の基本的範囲から逸脱せずに、本開示の他の更なる実施形態を考えることができるものであり、本開示の範囲は、「特許請求の範囲」によって決定されるものである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】