特表 2024-506929 自動化された脅威検出のためのシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-02-15

(54)【発明の名称】自動化された脅威検出のためのシステムおよび方法

(51)【国際特許分類】

   G06F 21/55 20130101AFI20240207BHJP

【ＦＩ】

G06F21/55

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023549576

(86)(22)【出願日】2021-12-17

(85)【翻訳文提出日】2023-09-22

(86)【国際出願番号】 US2021063944

(87)【国際公開番号】W WO2022177633

(87)【国際公開日】2022-08-25

(31)【優先権主張番号】17/178,386

(32)【優先日】2021-02-18

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】521483559

【氏名又は名称】セキュアワークス コーポレーション

(74)【代理人】

【識別番号】100078282

【弁理士】

【氏名又は名称】山本 秀策

(74)【代理人】

【識別番号】100113413

【弁理士】

【氏名又は名称】森下 夏樹

(74)【代理人】

【識別番号】100181674

【弁理士】

【氏名又は名称】飯田 貴敏

(74)【代理人】

【識別番号】100181641

【弁理士】

【氏名又は名称】石川 大輔

(74)【代理人】

【識別番号】230113332

【弁護士】

【氏名又は名称】山本 健策

(72)【発明者】

【氏名】バルグニージー， ニコラス

(72)【発明者】

【氏名】ヴァースティーグ， スティーブ

(72)【発明者】

【氏名】サン， リー

(57)【要約】

脅威検出システムを動的に訓練するためのシステムおよび方法は、セキュリティログのスキャンを分析する、セキュリティアナリストからのセキュリティアナリストワークフローデータを監視することを含む。ワークフローデータは、セキュリティログスキャン結果に適用されるルール、さらなる分析のために選択されるルール結果、ルール結果に適用されるタグ、ルール結果に適用されるフィルタ、ルール結果に適用される順位付け、またはセキュリティアナリストによってピボットと関連付けられるアクションを含む。タグ付け分類子は、次いで、スキャン結果に割り当てられるタグに基づいて訓練される。精査分類子は、セキュリティアナリストによって先に精査されたスキャン結果に基づいて訓練される。

【特許請求の範囲】

【請求項1】

セキュリティ脅威検出システムを動的に訓練するための方法であって、
セキュリティログのスキャンを分析する１人またはそれを上回るセキュリティアナリストからのセキュリティアナリストワークフローデータを監視することであって、前記ワークフローデータは、セキュリティログスキャン結果に適用される１つまたはそれを上回るルール、さらなる分析のために選択されるルール結果、ルール結果に適用されるタグ、ルール結果に適用されるフィルタ、ルール結果に適用される順位付け、または前記１人またはそれを上回るセキュリティアナリストによってピボットと関連付けられる１つまたはそれを上回るアクション、および／またはそれらの組み合わせを含む、ことと、
前記ワークフローデータからのルール結果に割り当てられた前記タグに基づいて、タグ付け分類子を訓練することと、
前記さらなる分析のために選択されるルール結果に基づいて、精査分類子を訓練することと、
１人またはそれを上回るセキュリティアナリストからのルール結果に適用されるフィルタおよび順位付けに基づいて、フィルタおよび順位付け方法を訓練することと、
前記タグ付け分類子、前記精査分類子、および前記フィルタおよび順位付け方法を含む自動化された脅威ハンティングプレイブックを生成することと、
前記自動化された脅威ハンティングプレイブックを使用して、着信セキュリティデータを自動的に分析するための１つまたはそれを上回るスクリプトを生成することと
を含む、方法。

【請求項2】

前記１人またはそれを上回るセキュリティアナリストによって実行されるアクションに基づいて、ピボットシーケンスモデルを訓練することであって、前記自動化された脅威ハンティングプレイブックもまた、前記ピボットシーケンスモデルを含む、こと
をさらに含む、請求項１に記載の方法。

【請求項3】

前記タグ付け分類子、精査分類子、フィルタおよび順位付け方法、およびピボットシーケンスはそれぞれ、１人またはそれを上回るセキュリティアナリストの前記ワークフローデータに基づいて訓練される教師あり機械学習モデルである、請求項２に記載の方法。

【請求項4】

着信セキュリティデータを自動的に分析するための前記１つまたはそれを上回るスクリプトは、複数のタグを生成し、各タグは、コンピュータネットワーク内の侵害のインジケータである、請求項３に記載の方法。

【請求項5】

１人またはそれを上回るセキュリティアナリストからタグ更新を受信することと、
前記タグ更新に基づいて、前記タグ付け分類子を動的に更新することと
をさらに含む、請求項４に記載の方法。

【請求項6】

着信セキュリティデータを自動的に分析するための前記１つまたはそれを上回るスクリプトは、精査に関する結果の精選項目を生成する、請求項３に記載の方法。

【請求項7】

前記精査に関する結果の精選項目に関するアナリストフィードバックを受信することと、
前記精査に関する結果の精選項目に関する前記アナリストフィードバックに基づいて、前記精査分類子を動的に更新することと
をさらに含む、請求項６に記載の方法。

【請求項8】

着信セキュリティデータを自動的に分析するための前記１つまたはそれを上回るスクリプトは、優先順位付けされた結果の精選項目を生成する、請求項３に記載の方法。

【請求項9】

前記優先順位付けされた結果の精選項目に関するアナリストフィードバックを受信することと、
前記優先順位付けされた結果の精選項目に関する前記アナリストフィードバックに基づいて、前記フィルタおよび順位付け方法を動的に更新することと
をさらに含む、請求項８に記載の方法。

【請求項10】

着信セキュリティデータを自動的に分析するための前記１つまたはそれを上回るスクリプトは、１つまたはそれを上回るピボットチェーンを生成し、ピボットチェーンは、潜在的な攻撃を追跡する一連のルール結果である、請求項３に記載の方法。

【請求項11】

１人またはそれを上回るセキュリティアナリストからのピボットチェーンフィードバックを受信することと、
前記ピボットチェーンフィードバックに基づいて、前記ピボットシーケンスモデルを動的に更新することと
をさらに含む、請求項１０に記載の方法。

【請求項12】

動的に訓練された脅威検出システムであって、
セキュリティログのスキャンを分析する１人またはそれを上回るセキュリティアナリストからのセキュリティアナリストワークフローデータを監視および記憶するように構成される１つまたはそれを上回るコンピューティングシステムであって、前記ワークフローデータは、セキュリティログスキャン結果に適用されるルール、さらなる分析のために選択されるルール結果、ルール結果に適用されるタグ、ルール結果に適用されるフィルタ、ルール結果に適用される順位付け、または前記１人またはそれを上回るセキュリティアナリストによってピボットと関連付けられる１つまたはそれを上回るアクション、および／またはそれらの組み合わせを含む、１つまたはそれを上回るコンピューティングシステムと、
前記ワークフローデータからのルール結果に割り当てられた前記タグに基づいて訓練されるタグ付け分類子と、
前記さらなる分析のために選択されるルール結果に基づいて訓練される精査分類子と、
前記１人またはそれを上回るセキュリティアナリストからのルール結果に適用されるフィルタおよび順位付けに基づいて訓練されるフィルタおよび順位付け方法と、
前記タグ付け分類子、前記精査分類子、および前記フィルタおよび順位付け方法を含む自動化された脅威ハンティングプレイブックであって、前記自動化された脅威ハンティングプレイブックは、着信セキュリティデータを自動的に分析するための１つまたはそれを上回るスクリプトを生成するように構成される、自動化された脅威ハンティングプレイブックと
を備える、システム。

【請求項13】

１人またはそれを上回るセキュリティアナリストによって実行されるアクションに基づいたピボットシーケンスモデルであって、ピボットチェーンは、潜在的な攻撃を追跡する一連のルール結果であり、前記自動化された脅威ハンティングプレイブックもまた、前記ピボットシーケンスモデルを含む、ピボットシーケンスモデル
をさらに備える、請求項１２に記載のシステム。

【請求項14】

前記タグ付け分類子、精査分類子、フィルタおよび順位付け方法、およびピボットシーケンスはそれぞれ、１人またはそれを上回るセキュリティアナリストの前記ワークフローデータに基づいて訓練される教師あり機械学習モデルである、請求項１３に記載のシステム。

【請求項15】

前記ピボットシーケンスモデルは、セキュリティログからの未加工スキャンデータに適用されると、１つまたはそれを上回るピボットチェーンを生成するように構成される、請求項１３に記載のシステム。

【請求項16】

前記タグ付け分類子は、セキュリティログからの未加工スキャンデータに適用されると、複数のタグを生成するように構成され、各タグは、コンピュータネットワーク内の侵害のインジケータである、請求項１２に記載のシステム。

【請求項17】

前記精査分類子は、セキュリティログからの未加工スキャンデータに適用されると、精査に関する結果の精選項目を生成するように構成される、請求項１２に記載のシステム。

【請求項18】

前記フィルタおよび順位付け方法は、セキュリティログからの未加工スキャンデータに適用されると、優先順位付けされた結果の精選項目を生成するように構成される、請求項１２に記載のシステム。

【請求項19】

セキュリティ脅威検出システムを動的に訓練するためのシステムであって、
１つまたはそれを上回るプロセッサおよび少なくとも１つのメモリ
を備え、
前記少なくとも１つのメモリは、命令をその中に記憶しており、前記命令は、前記１つまたはそれを上回るプロセッサによって実行されると、前記システムに、
コンピュータネットワーク内のセキュリティログを分析する１人またはそれを上回るセキュリティアナリストからのワークフローデータを監視および記録することであって、前記ワークフローデータは、セキュリティログスキャン結果に適用されるルール、さらなる分析のために選択されるルール結果、ルール結果に適用されるタグ、ルール結果に適用されるフィルタ、ルール結果に適用される順位付け、または前記１人またはそれを上回るセキュリティアナリストによってピボットと関連付けられる１つまたはそれを上回るアクション、および／またはそれらの組み合わせを含む、ことと、
前記ワークフローデータからのルール結果に適用される前記タグに基づいて、タグ付け分類子を訓練することと、
前記１人またはそれを上回るセキュリティアナリストによって、さらなる分析のために選択されるルール結果に基づいて、精査分類子を訓練することと、
前記１人またはそれを上回るセキュリティアナリストからのルール結果に適用されるフィルタおよび順位付けに基づいて、フィルタおよび順位付け方法を訓練することと、
１人またはそれを上回るセキュリティアナリストによって実行されるアクションに基づいて、ピボットシーケンスモデルを訓練することであって、前記タグ付け分類子、精査分類子、フィルタおよび順位付け方法、およびピボットシーケンスはそれぞれ、１人またはそれを上回るセキュリティアナリストの前記ワークフローデータに基づいて訓練される教師あり機械学習モデルである、ことと、
前記タグ付け分類子、前記精査分類子、および前記フィルタおよび順位付け方法を含む自動化された脅威ハンティングプレイブックを生成することと
を行わせる、システム。

【請求項20】

前記命令はさらに、前記システムに、
前記１つまたはそれを上回るスクリプトを使用して、着信セキュリティデータを分析し、複数のタグ、精査に関する結果の精選項目、優先順位付けされた結果の精選項目、および１つまたはそれを上回るピボットチェーンを生成することであって、各タグは、コンピュータネットワーク内の侵害のインジケータであり、ピボットチェーンは、潜在的な攻撃を追跡する一連のルール結果である、ことと、
前記複数のタグ、前記精査に関する結果の精選項目、前記優先順位付けされた結果の精選項目、および前記１つまたはそれを上回るピボットチェーンに関するアナリストフィードバックを受信することと、
前記アナリストフィードバックに基づいて、前記タグ付け分類子、精査分類子、フィルタおよび順位付け方法、およびピボットシーケンスモデルを動的に更新することと
を行わせる、請求項１９に記載のシステム。

【発明の詳細な説明】

【背景技術】

【0001】

悪意のある行為者からの攻撃パターンおよび不審な活動を識別することは、コンピュータネットワークセキュリティの重要な側面である。高度に訓練されたセキュリティアナリストは、潜在的な侵害イベントを識別および調査するために、セキュリティログのスキャンを精査することに多くの時間を費やす。潜在的に精査され得る、莫大な量のセキュリティログは、セキュリティアナリストのリソースを対応不可能にし得る。悪意のある行為者が、より巧妙な状態になり、彼らの攻撃方略を調節するにつれて、攻撃パターンおよび不審な活動を識別することが、ますます困難な状態になり、訓練されたアナリストの限定されたリソースは、次第に、広範囲に分散されている。

【0002】

故に、潜在的な侵害イベントおよび不審な活動を自動的に検出するだけではなく、セキュリティアナリストによる、より効率的な精査のために、スキャン結果を整理し、優先順位を付けることができる、システムおよび方法に対する必要性が存在することが分かり得る。

【0003】

本開示は、関連技術分野における、前述および他の関連するか関連しないかを問わない問題または問題点を対象とする。

【発明の概要】

【課題を解決するための手段】

【0004】

簡潔に説明すると、種々の側面によると、本開示は、セキュリティ脅威検出システムを動的に訓練するためのシステムおよび方法を含む。一側面によると、セキュリティ脅威検出システムを動的に訓練するための方法が、開示される。本方法は、セキュリティログのスキャンを分析する、１人またはそれを上回るセキュリティアナリストからのセキュリティアナリストワークフローデータを監視することを含む。ワークフローデータは、セキュリティログスキャン結果に適用される１つまたはそれを上回るルール、さらなる分析のために選択されるルール結果、ルール結果に適用されるタグ、ルール結果に適用されるフィルタ、ルール結果に適用される順位付け、または１人またはそれを上回るセキュリティアナリストによってピボットと関連付けられる１つまたはそれを上回るアクション、および／またはそれらの組み合わせを含む。本方法はまた、ワークフローデータからのルール結果に割り当てられるタグに基づいて、タグ付け分類子を訓練することと、さらなる分析のために選択されるルール結果に基づいて、精査分類子を訓練することと、１人またはそれを上回るセキュリティアナリストからのルール結果に適用されるフィルタおよび順位付けに基づいて、フィルタおよび順位付け方法を訓練することと、タグ付け分類子、精査分類子、およびフィルタおよび順位付け方法を含む、自動化された脅威ハンティングプレイブックを生成することと、自動化された脅威ハンティングプレイブックを使用して、着信セキュリティデータを自動的に分析するための１つまたはそれを上回るスクリプトを生成することとを含む。一実施形態では、本方法はまた、１人またはそれを上回るセキュリティアナリストによって実行されるアクションに基づいて、ピボットシーケンスモデルを訓練することを含み、自動化された脅威ハンティングプレイブックもまた、ピボットシーケンスモデルを含む。一実施形態では、タグ付け分類子、精査分類子、フィルタおよび順位付け方法、およびピボットシーケンスはそれぞれ、１人またはそれを上回るセキュリティアナリストのワークフローデータに基づいて訓練される、教師あり機械学習モデルである。一実施形態では、着信セキュリティデータを自動的に分析するためのスクリプトは、いくつかのタグを生成し、各タグは、コンピュータネットワーク内の侵害のインジケータである。一実施形態では、本方法はまた、１人またはそれを上回るセキュリティアナリストからタグ更新を受信することと、タグ更新に基づいて、タグ付け分類子を動的に更新することとを含む。一実施形態では、着信セキュリティデータを自動的に分析するためのスクリプトは、精査に関する結果の精選項目を生成する。一実施形態では、本方法はまた、精査に関する結果の精選項目に関するアナリストフィードバックを受信することと、精査に関する結果の精選項目に関するアナリストフィードバックに基づいて、精査分類子を動的に更新することとを含む。一実施形態では、着信セキュリティデータを自動的に分析するためのスクリプトは、優先順位付けされた結果の精選項目を生成する。一実施形態では、本方法はまた、優先順位付けされた結果の精選項目に関するアナリストフィードバックを受信することと、アナリストフィードバックに基づいて、フィルタおよび順位付け方法を動的に更新することとを含む。一実施形態では、着信セキュリティデータを自動的に分析するためのスクリプトは、１つまたはそれを上回るピボットチェーンを生成し、ピボットチェーンは、潜在的な攻撃を追跡する一連のルール結果である。一実施形態では、方法はまた、１人またはそれを上回るセキュリティアナリストからのピボットチェーンフィードバックを受信することと、ピボットチェーンフィードバックに基づいて、ピボットシーケンスモデルを動的に更新することとを含む。

【0005】

別の側面によると、動的に訓練された脅威検出システムは、セキュリティログのスキャンを分析する、１人またはそれを上回るセキュリティアナリストからのセキュリティアナリストワークフローデータを監視および記憶するためのコンピューティングシステムを含む。ワークフローデータは、セキュリティログスキャン結果に適用されるルール、さらなる分析のために選択されるルール結果、ルール結果に適用されるタグ、ルール結果に適用されるフィルタ、ルール結果に適用される順位付け、または１人またはそれを上回るセキュリティアナリストによってピボットと関連付けられる１つまたはそれを上回るアクション、および／またはそれらの組み合わせを含む。本システムはまた、ワークフローデータからのルール結果に割り当てられるタグに基づいて訓練される、タグ付け分類子と、さらなる分析のために選択されるルール結果に基づいて訓練される、精査分類子と、１人またはそれを上回るセキュリティアナリストからのルール結果に適用されるフィルタおよび順位付けに基づいて訓練される、フィルタおよび順位付け方法と、タグ付け分類子、精査分類子、およびフィルタおよび順位付け方法を含む、自動化された脅威ハンティングプレイブックとを含む。自動化された脅威ハンティングプレイブックは、着信セキュリティデータを自動的に分析するための１つまたはそれを上回るスクリプトを生成するように構成される。一実施形態では、本システムはまた、１人またはそれを上回るセキュリティアナリストによって実行されるアクションに基づいた、ピボットシーケンスモデルを含み、ピボットチェーンは、潜在的な攻撃を追跡する一連のルール結果であり、自動化された脅威ハンティングプレイブックもまた、ピボットシーケンスモデルを含む。一実施形態では、タグ付け分類子、精査分類子、フィルタおよび順位付け方法、およびピボットシーケンスはそれぞれ、１人またはそれを上回るセキュリティアナリストのワークフローデータに基づいて訓練される、教師あり機械学習モデルである。一実施形態では、ピボットシーケンスモデルは、セキュリティログからの未加工スキャンデータに適用されると、ピボットチェーンを生成する。一実施形態では、タグ付け分類子は、セキュリティログからの未加工スキャンデータに適用されると、タグを生成し、各タグは、コンピュータネットワーク内の侵害のインジケータである。一実施形態では、セキュリティログから未加工スキャンデータに適用されるときに精査に関する結果の精選項目を生成させる。一実施形態では、フィルタおよび順位付け方法は、セキュリティログからの未加工スキャンデータに適用されると、優先順位付けされた結果の精選項目を生成する。

【0006】

別の側面によると、セキュリティ脅威検出システムを動的に訓練するためのシステムは、１つまたはそれを上回るプロセッサと、命令を記憶している、少なくとも１つのメモリとを含む。実行されると、命令は、本システムに、コンピュータネットワーク内のセキュリティログを分析する、１人またはそれを上回るセキュリティアナリストからのワークフローデータを監視および記録させる。ワークフローデータは、セキュリティログスキャン結果に適用されるルール、さらなる分析のために選択されるルール結果、ルール結果に適用されるタグ、ルール結果に適用されるフィルタ、ルール結果に適用される順位付け、または１人またはそれを上回るセキュリティアナリストによってピボットと関連付けられる１つまたはそれを上回るアクション、および／またはそれらの組み合わせを含む。命令はまた、本システムに、ワークフローデータからのルール結果に適用されるタグに基づいて、タグ付け分類子を訓練することと、１人またはそれを上回るセキュリティアナリストによって、さらなる分析のために選択されるルール結果に基づいて、精査分類子を訓練することと、セキュリティアナリストからのルール結果に適用されるフィルタおよび順位付けに基づいて、フィルタおよび順位付け方法を訓練することと、１人またはそれを上回るセキュリティアナリストによって実行されるアクションに基づいて、ピボットシーケンスモデルを訓練することとを行わせる。タグ付け分類子、精査分類子、フィルタおよび順位付け方法、およびピボットシーケンスはそれぞれ、１人またはそれを上回るセキュリティアナリストのワークフローデータに基づいて訓練される、教師あり機械学習モデルである。命令はまた、本システムに、タグ付け分類子、精査分類子、およびフィルタおよび順位付け方法を含む、自動化された脅威ハンティングプレイブックを生成させる。一実施形態では、命令はまた、本システムに、１つまたはそれを上回るスクリプトを使用して、着信セキュリティデータを分析し、いくつかのタグ、精査に関する結果の精選項目、優先順位付けされた結果の精選項目、および１つまたはそれを上回るピボットチェーンを生成させる。各タグは、コンピュータネットワーク内の侵害のインジケータであり、ピボットチェーンは、潜在的な攻撃を追跡する、一連のルール結果である。命令はまた、本システムに、タグ、精査に関する結果の精選項目、優先順位付けされた結果の精選項目、および１つまたはそれを上回るピボットチェーンに関するアナリストフィードバックを受信させ、アナリストフィードバックに基づいて、タグ付け分類子、精査分類子、フィルタおよび順位付け方法、およびピボットシーケンスモデルを動的に更新させる。

【0007】

例えば、いくつかの側面では、自動化された脅威検出システムの脅威検出および訓練のためのプロセスは、スキャンが起動される、第１のステップを含むことができる。例えば、１，０００個のコンピュータを伴う組織に関して、検出ルールは、全ての１，０００個のコンピュータ上で起動し、選択されたイベント、アクション、インジケータ等に関する証拠を収集するであろう。これらのログは、次いで、アナリストが精査するためにロードされることができる。いくつかの実施形態では、ログは、未加工ログ、複数のログから集約された情報、ファイルについての情報、またはホスト、システム、またはサービスから収集される任意の他の情報を含むことができる。しかしながら、その実質的な量を前提として、潜在的に数百万ものログが、アナリストが精査するために利用可能となり得る。アナリストは、次いで、彼らが、着信ログの全てを精査することができないため、彼らが実際に精査しようとするログを決定する必要がある。本システムは、選択されたルールの集合を１つまたはそれを上回るコンピューティングデバイス上で適用しながら、スキャンを開始し、関連するセキュリティログを収集することができる。そのような検出ルールは、ホストコンピュータまたはサーバによるセキュリティログの処理を開始し、次いで、結果を再送信してもよい。例えば、ルールのうちのいくつかは、既知のタイプのマルウェアをスキャンするように構成されることができ、他の検出ルールは、単に、ある時間または場所等に関するログオンイベントの全てを収集してもよい。アナリストは、検索クエリを作成し、またはスキャン検索を開始し、ログが、トリアージおよび／またはソートされ得るかどうかを評価し、より綿密に評価されるべきである、あるヒットまたは特定のスキャンまで、ログを絞り込み、攻撃が存在しているかどうかを確認することができる。

【0008】

一実施形態では、アナリストは、調査上で起動するための一連のルール、または侵害に関して調査されている組織を選択することによって、スキャンを開始または生成することに着手する。スキャンは、１０個のルール、２０個のルール、１００個のルール、１，０００個のルール等の集合であり得る。次いで、スキャンは、選択されたセットまたはネットワーク接続された群のそれらのコンピュータ上で起動し、アナリストが精査するために、結果を中央場所に返すことができる。したがって、アナリストは、ルール結果の集合を有する。いくつかの実施形態では、結果は、それらが由来したルール別に整理されることができる。例えば、アナリストは、２０個のルール結果を示されることができ、いったん承認されると、１つまたはそれを上回る特定のルール番号、例えば、ホスト上にインストールされている、全ての種々のサービスを収集、点検、および精査するためのルールが、選択されることができる。アナリストは、より多くの結果を提示されるため、彼らは、結果をフィルタにかけてもよい。したがって、彼らは、フィルタを適用することができる、例えば、彼らは、具体的なホスト、具体的なユーザ名、内部、外部ＩＰアドレスを探し得るか、または彼らは、希少性によって、または任意の注釈が存在するかどうかによって結果を順序付ける等のような基準に基づいてそれを順序付け得るかのいずれかである。ルールのうちのいくつかは、ホスト上で利用可能である、全てのファイルを返し得、これらのファイルは、ウイルススキャナの集合によってスキャンされ、任意の既知のマルウェアが存在するかどうか等の注釈を結果としてもたらすことができる。代替として、アナリストは、ルール結果のうちの１つまたはそれを上回るものにより詳細に焦点を当ててもよい。

【0009】

これらのルール結果は、アナリストが、さらなる詳細のために、ルール結果のうちの１つをクリックし、侵害の証拠が存在するかどうか、および結果にタグを付けるかどうかの決定を行うことを可能にするように整理されることができる。彼らが、それが侵害の証拠であることを見出した場合、彼らは、それにマルウェアタグを与えるであろう。彼らが、それが単なる商業用ソフトウェアであることを見出した場合、彼らは、それに関する適切なタグを適用することができる。加えて、アナリストが、侵害の証拠を見出した場合、彼らは、ピボットを実行してもよい。例えば、ルール結果が、特定のコンピュータに関連する場合、彼らは、そのコンピュータについてのさらなる情報を入手してもよい。他の実施形態では、アナリストは、時間別に、ユーザ名別に、関連するコンピュータに接続されていた、または接続されている異なるホストに向かって、または他の関連性のある結果に向かってピボットしてもよい。

【0010】

本システムは、ワークフローデータとしても説明される、アナリストのアクションを記録することができ、これらのアクションは、プレイブックまたは分析されたアクションの集合の中に整理されることができる。プレイブックは、スキャンのために選択される任意のルール、および１つまたはそれを上回るピボットシーケンスを含む、複数のルールから作り上げられることができる。プレイブックは、アナリストがタグを付けるときに観察される、彼らのアクションに基づいて訓練される、タグ付け分類子を含むことができる。一実施形態では、展開されたタグ付け分類子は、教師あり学習技法を使用して、ラベル付けまたはタグ付けされた結果の群とともに訓練されることができる。悪意のあるものと悪意がないものとを区別する、バイナリ分類から開始し、本システムは、悪意のあるものとしてタグを付けられた全てのルール結果、および感染していないものとしてタグを付けられた全てのルール結果に注目し、次いで、タグ付けされたルール結果を教師あり学習入力として提供することができる。未知のルール結果が与えられる場合、またはルール結果がタグを付けられていない場合、分類子は、それに自動的にタグを付けることができる。

【0011】

いくつかの実施形態では、プレイブックは、アナリストが着目する結果の数をフィルタをかけて減らすことができる。本フィルタリングは、アナリストがクリックする可能性が最も高いものによって順序付けされることができる。例えば、本システムは、アナリストがクリックした全てのルール結果、および彼らが実際には使用しなかった全てのものの一覧、および彼らが使用したフィルタの記録を有することができる。例えば、アナリストが、１００万個の結果を受信した場合、本システムは、どのフィルタが適用されたか、いずれかのタイプの任意の規則的な表現がフィルタリングの際に使用されたかどうか、いずれかの順位付けが適用されたかどうか、アナリストがどの結果上にピボットしたか、ピボットがホスト名またはユーザ名別であったかどうか、およびどのピボットシーケンスが追従されたかを監視することができる。

【0012】

プレイブックを実行するために、スキャンが、ルール結果のセットを入手するために起動されることができる。ルール結果は全て、スキャンから由来するログである。それらのルール結果は、プレイブック内に存在する、タグ付け分類子を通してフィードされ、タグの集合を与えることができる。その結果として生じるタグは、悪意のある結果の一覧と、侵害の証拠の一覧とを提供する。プレイブックの別の出力は、どのルール結果がアナリストによって着目される可能性が高いかを予測し得る、精査分類子である。例えば、１００万個のスキャン結果から、精査分類子は、着目される可能性が高い、１，０００個の結果を提供し得る。プレイブックのさらなる別の出力は、例えば、どのフィルタおよび順位付け方法が適用されたかに基づいて、アナリストが結果を精査することを望み得る、基準の順位付けであることができる。例えば、１００万個の結果が、アナリストにとって予測される重要度の順序において、順位を付けられることができる。プレイブックのさらなる別の出力は、ピボットシーケンスであり得、これは、結果上で起動されるとき、ピボットチェーンの一覧を提供することができる。したがって、プレイブックから、出力またはスキャンの一部は、侵害の証拠の集合に関して選択されたタグ分類子を通してルール結果を処理する等、完全に自動化される。

【0013】

いくつかの実施形態では、本明細書に説明される動作はそれぞれ、観察されたアナリストからの学習された挙動／アクションに基づいて、スクリプトを作成するために使用され得る、一連の結果を生成するために、並行して起動するように構成されることができ、これらのスクリプトは、脅威ハンティングプレイブックの一部またはセキュリティ脅威を早期の段階において検出するためのルールのセットとして使用され、将来的着信セキュリティ情報／データ／ログに適用されることができる。

【0014】

本開示の種々の目的、特徴、および利点は、付随の図面と併せて捉えられるとき、以下の詳細な説明の精査に応じて、当業者に明白な状態になるであろう。

【図面の簡単な説明】

【0015】

図示の単純性および明瞭性のために、図内に図示される要素は、必ずしも縮尺通りに描かれていないことが理解されるであろう。例えば、いくつかの要素の寸法は、他の要素に対して誇張され得る。本開示の教示を組み込む実施形態が、本明細書内で図面に対して示され、説明される。

【0016】

【図1】図１は、本開示の一側面による、攻撃パターンまたは不審な活動を識別するためのワークフローの概略図である。

【0017】

【図2】図２は、本開示の一側面による、脅威検出システムを訓練するための方法のブロック図である。

【0018】

【図3】図３は、本開示の一側面による、脅威検出システムを未加工スキャン結果に適用する方法のブロック図である。

【0019】

【図4】図４は、本開示の一側面による、脅威検出システムを動的に訓練するためのワークフローの概略図である。

【0020】

【図5】図５は、本開示の一実施例による、情報取扱システムのネットワーク接続されたシステムの概略図である。

【発明を実施するための形態】

【0021】

詳細な説明
図と組み合わせた以下の説明は、本明細書に開示される教示を理解することを支援するために提供される。本説明は、本教示の具体的な実装および実施形態に焦点を当てており、本教示を説明することを支援するために提供される。本焦点は、本教示の範囲または可用性への限定として解釈されるべきではない。

【0022】

一実施形態では、本開示は、脅威ハンティングの間、人間のセキュリティ専門家の挙動を分析することに基づいて、脅威ハンティングプレイブックまたは脅威検出シーケンスを学習する、自動化された脅威検出のためのシステムに関する。いくつかの実施形態では、本システムは、訓練されたセキュリティアナリストの挙動およびワークフロー上に訓練される、教師あり機械学習（ＭＬ）アルゴリズムを含むことができ、これは、悪意のある攻撃を自動的に発見することができる。そのような脅威検出システムはまた、アナリストが、彼らの時間を、悪意のある活動と関連付けられる可能性が最も高い情報に集中させることを可能にすることによって、または新たな攻撃技法または新たな不審な挙動を発見することによって、脅威ハンティングの間のアナリストの効率を増加させることもできる。

【0023】

本明細書に使用されるように、ホストは、脅威ハンティングの一部としてスキャンされる、組織または群内の１つまたはそれを上回るコンピュータを説明する。

【0024】

本明細書に使用されるように、脅威ハンティングは、悪意のある攻撃の証拠を検索するための犯罪科学的情報の吟味のためのプロセスを説明する。

【0025】

本明細書に使用されるように、ルールは、ホストマシン上に記憶される、および／またはその上で実行され得る、論理またはプログラミングを含む、検出ルールを説明し、これは、潜在的に悪意のある挙動と関連付けられるパターンを探す、または識別するように構成される。

【0026】

本明細書に使用されるように、ルール結果は、検出ルールが潜在的に悪意のある活動の少なくとも１つのインジケータを見出すときに、ホストマシンから収集される情報を説明する。

【0027】

本明細書に使用されるように、スキャンは、脅威ハンティングの一部として潜在的に悪意のある活動についての情報を収集するために、ホスト上での一連の検出ルールの実行を説明する。

【0028】

本明細書に使用されるように、誤検出は、悪意のある活動と関連付けられないと決定される、検出ルールからのルール結果を説明する。

【0029】

本明細書に使用されるように、正検出は、悪意のある活動の実際のインスタンスと関連付けられると立証される、検出ルールからのルール結果を説明する。

【0030】

脅威ハンティングは、セキュリティ破壊が生じたかどうか、その場所、およびその方法を決定するために、それによって１人またはそれを上回るセキュリティアナリストが、セキュリティログおよび脅威検出ルールの出力等の利用可能な証拠を精査する、プロセスである。脅威ハンティングは、多くの場合、高度に熟練されたセキュリティアナリストからの何時間もの注意を要求する。本開示の実施形態によると、自動化された脅威検出システムは、潜在的な侵害イベントを自動的に検出するために、およびまた、脅威検出プロセスを合理化するために、潜在的な不審な活動の優先順位付けされた一覧を生成するために、セキュリティ専門家の脅威ハンティング挙動から学習することができる。

【0031】

図１は、本開示の一側面による、攻撃パターンまたは不審な活動を識別するためのワークフロー１００の概略図を示す。本実施例によると、脅威ハンティングは、スキャン１０１に関するルールを選定し、スキャン１０３を起動することから開始する。検出ルールは、ホストコンピューティングシステム上で起動するように選択されることができ、例えば、具体的な種類の攻撃を検出するように設計される戦術的ルールと、一般化されたパターンを拾い上げるように設計される方略的ルールとを含むことができる。スキャン結果は、いくつかの実施形態では、データベースにアップロードされることができ、次いで、それらは、脅威ハンティングを行うアナリストによって評価されることができる。

【0032】

全てのルール結果が、悪意のある攻撃に関して正検出であるとは限らない。方略的ルールは、幅広いイベントまたはファイルアーチファクトを拾い上げ、悪意のある攻撃によって後に残される痕跡を見出すように設計され得るが、合法的な使用に関連する多数の結果もまた含み得る。大規模な組織に関して、スキャンは、数千万の結果を返し得る。攻撃を探すためのこれらの結果を通した検索は、概して、時間およびスキルの両方を要求する。

【0033】

ワークフロー１００は、ルール結果を選択することを伴う、動作１０５において継続し得る。ルール結果毎に、いくつかの実施形態では、列のベクトルが存在する。列は、異なるタイプのルール毎に異なる。例えば、インストールされたサービスを返すルールは、「サービス名」、「サービスタイプ」、「サービス開始タイプ」、「サービス経路」、「サービスアカウント」、「ホスト名」、「ＩＰアドレス」、「検出タイムスタンプ」、「インストールタイムスタンプ」、「ログ」、「記録番号」、「カテゴリ」、および「イベント説明」等の列を含んでもよい。ルール結果は、（どのくらいの数のホスト上で、およびどのくらいの数の組織内で）どのくらいの回数にわたって、類似する結果が以前に確認されたか等の付加的な情報を伴って注釈を付けられ得る。結果が、ファイルからのものである場合、それは、ウイルススキャン情報の注釈が付けられ得る。これらの注釈は、ルール結果に付加される、付加的な列として追加される。

【0034】

ある実施形態では、脅威ハンティングは、ルール結果を検索する、閲覧する、およびタグを付けるように設計される、プラットフォーム上で行われることができる。いったんルール結果が、選択されると、いくつかの異なるアクションが、動作１０７において選定されることができる。アナリストが脅威ハンティングプラットフォーム上で実施することができるアクションのタイプの非排他的一覧は、例えば、ソート基準を変更すること（１０９）、フィルタを適用すること（１１１）、および結果を閲覧すること（１１３）を含む。ルールを選択することは、返されたスキャン結果をブラウジングするためのルールの選択することを含むことができる。フィルタを適用することは、１つまたはそれを上回る列への規則的な表現を適用することを含むことができる。ソート基準を変更することは、特定の列に基づいて、結果をソートする、および／または順序付けることを含むことができる。ルール結果を閲覧することは、結果をより詳細に閲覧し、検出ルールによって返された元々のログ情報を確認することを含むことができる。

【0035】

ある実施形態では、動作１１３において結果を精査することに応じて、アナリストは、動作１１５において、結果にタグを適用することを決定し、その結果が、真に悪意のある攻撃を示すか、または誤検出を示すかどうかを記録することができる。タグが適用されることになる場合、ワークフロー１００は、結果にタグを付けること（１１７）を含むことができる。いくつかの実施形態では、タグ付けスキームは、バイナリ（例えば、「悪意のある」または「感染していない」）、またはカテゴリの一覧（例えば、「商業用」、「潜在的に望ましくない」、「アドウェア」、「潜在的に悪意のある」、「コモディティマルウェア」、「ＡＰＴマルウェア」）であることができる。タグが適用されないことになる場合、またはタグが正常に適用された後、ワークフロー１００は、他の結果に対するピボットすること（１１９）を継続し得る。例えば、脅威ハンティングは、動作１１９においてピボットし、ピボットルール結果を選定すること（１２０）を継続し、次いで、１１３において、再度、ルール結果を閲覧し得る。一実施形態では、脅威ハンティングは、ある属性（ホスト、ユーザ、またはソースＩＰアドレス等）に関する同一のまたは類似する値を有する、他のルールからの結果に対してピボットし得る。

【0036】

ワークフロー１００は、動作１２１において、現在のルール結果をブラウジングすることを継続するかどうかを決定することを継続することができる。「はい」の場合、ワークフロー１００は、１０７において異なるアクションを選定することに戻ることができる。「いいえ」の場合、ワークフロー１００は、動作１２３において、分析を継続するかどうかを決定することを継続することができる。「はい」の場合、ワークフロー１００は、動作１０５において異なるまたは新たなルール結果を選択することに戻ることができる。「いいえ」の場合、ワークフロー１００は、終了する。

【0037】

一実施形態では、本脅威ハンティングワークフロー１００は、１人またはそれを上回る訓練されたセキュリティアナリストによって実施されることができ、自動化された脅威検出システムを訓練するために使用され得る、ワークフローデータを生成することができる。ワークフローデータは、例えば、さらなる分析のために選択されたセキュリティログスキャン結果の一覧表を含むことができる。ワークフローデータはまた、異なるタイプの結果に適用される、フィルタのタイプ、順位付け、ソート基準、またはタグを含むこともできる。ワークフローデータは、１人またはそれを上回るセキュリティアナリストによってピボットと関連付けられた１つまたはそれを上回るセキュリティログアイテムまたはアクション、およびどのピボットシーケンスが実行されたかを含むこともできる。例えば、侵害イベントに関連し得るルール結果が、特定のコンピュータに関連する場合、ピボットは、そのコンピュータについてのさらなる情報を入手することを伴ってもよい。ピボットはまた、不審な活動が生じた時間、または特定のコンピュータに接続されたはユーザ名または異なるホストについての付加的な情報を回収することも含んでもよい。

【0038】

図２は、本開示の一側面による、脅威検出システムを訓練するための方法のブロック図である。一実施形態では、脅威検出システムは、自動化された脅威ハンティングプレイブック２０１を実行することができる。本脅威ハンティングプレイブック２０１は、いくつかの実施形態では、ピボットシーケンスモデル２０５およびルール２０３、およびタグ付け分類子２０７、精査分類子２０９、フィルタ２１１、および順位付け方法２１３を含む、いくつかの訓練された要素を含むことができる。本プレイブック２０１は、図１を参照して上記に説明されるアクション等の、訓練されたセキュリティアナリストのアクションを監視することによって集められたワークフローデータに基づいて、構築または教示されることができる。

【0039】

図２に示される実施形態によると、自動化された脅威ハンティングプレイブック２０１は、ルールセット２０３と、タグ付け分類子２０７と、精査分類子２０９と、フィルタ２１１と、順位付け方法２１３と、ピボットシーケンスモデル２０５とを含む。

【0040】

ルールセット２０３は、スキャンにおいて起動されることになる、検出ルールの集合を含むことができる。一実施形態では、クラスタ化アルゴリズムが、セキュリティアナリストが脅威ハンティングに際して選択する、ルールセットを入手するために適用されてもよい。このように、ルールのセットが、上記に議論されるワークフローデータに基づいて、自動的に維持されることができる。

【0041】

タグ付け分類子２０７は、ルール結果を分析し、結果が悪意のあるもの（正検出）であるか、または誤検出であるかどうかにかかわらず、自動的にタグを付ける、分類子を含むことができる。各ルールは、１つの関連付けられたタグ付け分類子を有することができる。一実施形態では、ルール毎に、タグ付け結果のセットが、自動化されたタグ付け分類子２０７を訓練するために使用されることができる。これは、例えば、教師ありＭＬアルゴリズムを使用して達成されてもよい。ルールの列の値に注釈列を加えたものは、そのようなアルゴリズムに関する入力特徴ベクトルとして使用されることができる。タグは、分類標識として使用されることができる。使用され得る例示的分類アルゴリズムは、限定ではないが、インスタンスベースの分類子、決定木、決定フォレスト、サポートベクタマシン、またはニューラルネットワークを含む。分類子が過剰適合されないことを確実にするために、それらは、いくつかの実施形態では、複数の組織から取得されたデータ上で訓練されてもよい。いくつかの実施形態では、タグは、コンピュータネットワーク内の侵害のインジケータであることができる。

【0042】

精査分類子２０７は、セキュリティアナリストによって手動で精査されるべき結果のサブセットを推奨するために、ルール結果をフィルタにかける分類子を含むことができる。各ルールは、１つの関連付けられた精査分類子を有することができる。いくつかの実施形態では、ルール毎に、精査分類子２０９は、アナリストにとって関心が高く、手動で精査されるべき結果を自動的に識別するために訓練されることができる。アナリストは、ルール結果の全セットの小さなサブセットを閲覧するためのみの時間を有するため、どの結果がアナリストによって閲覧されたかについて記録されたログは、精査分類子２０９に関する訓練セットとして使用されることができる。一実施形態では、訓練セットに関する特徴ベクトルは、ルール列データおよび注釈であることができる。分類標識は、バイナリであり、結果がアナリストによって閲覧されたかどうかを示すことができる。任意の分類ベースの教師あり学習アルゴリズムが、タグ付け分類子２０７を訓練することを参照して、上記に列挙されるそれらのアルゴリズム等の精査分類子２０９を訓練するために使用されることができる。

【0043】

フィルタ２１１は、精査されることになる結果のセットを低減させるために、ルール結果に自動的に適用される、フィルタを含むことができる。ルールは、種々の実施形態では、０個または複数のフィルタを有してもよい。複数のフィルタは、（全てのフィルタを充足する結果のみが、留保される）ＡＮＤの組み合わせ、または（任意のフィルタを充足する結果が、留保される）ＯＲの組み合わせにおいて適用されることができる。順位付け方法２１３は、最も高い優先度の結果から最も低い優先度のものへの順序において、ルール結果が閲覧されるべき順序を含むことができる。各ルールは、１つの関連付けられた順位付け方法を有することができる。一実施形態では、フィルタおよび順位付け方法は、訓練セットとして、記録されたフィルタおよびソート方法、およびセキュリティアナリストのワークフローデータからの列を使用するルールと関連付けることができる。

【0044】

ピボットシーケンスモデル２０５は、可能性として考えられる攻撃を追跡する、閲覧されることになる結果の自動化されたシーケンスを含むことができる。一実施形態では、ピボットシーケンスモデルが、訓練セットとして、脅威ハンティングの際に、アナリストのアクションを使用して、構築および訓練されることができる。ピボットシーケンスは、上記に議論されるワークフローデータ内に記録されるような潜在的な侵害イベントを調査する際に講じられる一連のアクションを含むことができる。

【0045】

図３は、本開示の一側面による、脅威検出システムを未加工スキャン結果に適用する方法のブロック図である。本実施形態では、未加工スキャン結果３０１は、訓練されたタグ付け分類子３０３、精査分類子３０５、フィルタ３０７、および順位付け方法３０９、およびピボットシーケンスモデル３１１に適用されることができる。タグ付け分類子３０３、精査分類子３０５、フィルタ３０７、および順位付け方法３０９、およびピボットシーケンスモデル３１１は、１つまたはそれを上回るＭＬアルゴリズムを使用して、かつ訓練されたセキュリティアナリストの記録されたアクションおよびワークフローデータに基づいて、図２を参照して上記に議論されるように訓練されることができる。脅威検出システムの出力は、例えば、自動化されたタグ３１３と、手動精査に関する結果３１５と、優先順位付けされた結果３１７と、ピボットチェーン３１９とを含むことができる。

【0046】

一実施形態では、自動化された脅威検出システムを実行することは、未加工結果３０１（すなわち、図１を参照して説明される、スキャン１０３からの結果）を訓練されたタグ付け分類子３０３の中に入力し、自動化されたタグ３１３を生成することを含むことができる。これらの自動化されたタグ３１３は、タグ付け分類子３０３を使用して、割り当てられた悪意レベルに従って自動的に生成されることができる。一実施形態では、タグ付け分類子は、１，０００万個の結果を精査し得、２０個の悪意のあるタグを自動的に生成し得る。そのような実施例では、これは、精査された１，０００万個の結果から、限定された数の潜在的な侵害イベントを提供する。

【0047】

一実施形態では、自動化された脅威検出システムを実行することはまた、未加工結果３０１を精査分類子３０５の中に入力し、精査３１５に関する結果の精選項目を生成することを含むこともできる。これらの結果は、完全なスキャン結果のサブセットであることができ、これらの結果が、悪意のある攻撃に関連する可能性が高いため、セキュリティアナリストが手動で精査されるべきである、一連の結果を含むことができる。一実施形態では、精査分類子は、１，０００万個の結果を自動的に分析し、さらなる手動精査のために選択される、１万個の結果の一覧を提供してもよい。そのような実施例では、これらの１万個の結果は、精査分類子３０５が予測するものであり、アナリストが精査するために最も重要である。

【0048】

一実施形態では、自動化された脅威検出システムを実行することはまた、未加工結果３０１をフィルタ３０７および順位付け方法３０９の中に入力し、優先順位付けされた結果３１７の一覧を生成することを含むこともできる。いくつかの実施形態では、優先順位付けされた結果３１７の本一覧は、セキュリティアナリストが、結果を手動で検査することを所望する場合、フィルタをかけられ、順位付けされるスキャン結果の完全なセットを含むことができる。

【0049】

一実施形態では、自動化された脅威検出システムを実行することはまた、未加工結果３０１をピボットシーケンスモデル３１１の中に入力し、ピボットチェーンを生成することを含むこともできる。ピボットチェーン３１９は、潜在的な攻撃を追跡する、一連のルール結果を含むことができる。いくつかの実施形態では、これらの結果は、自動化されたソリューションのために使用される、またはセキュリティアナリストによって手動で精査されてもよい。

【0050】

本明細書に議論されるように、アナリストの記録されたアクションは、自動化された脅威ハンティングスクリプトを作成し、種々のモデルおよび分類子を訓練するための基盤として使用されることができる。いくつかの実施形態では、図３に説明されるこれらのプロセスはそれぞれ、並行して起動しており、タグ３１３、手動精査に関する結果３１５、優先順位付けされた結果３１７、およびピボットチェーン３１９を生成することができる。

【0051】

図４は、本開示の一側面による、脅威検出システムを動的に訓練するためのワークフロー４００の概略図である。いくつかの実施形態では、自動化された脅威検出システムの正確度は、アナリストが結果を精査および補正する方法に従って、モデルを再訓練することによって、継続的に改良されることができる。

【0052】

一実施形態では、ワークフロー４００は、監視ワークフローデータ４０１から開始する。上記に議論されるように、ワークフローデータは、例えば、さらなる分析のために選択されたセキュリティログスキャン結果の一覧表を含むことができる。ワークフローデータはまた、異なるタイプの結果に適用される、フィルタのタイプ、順位付け、ソート基準、またはタグを含むこともできる。ワークフローデータはまた、セキュリティアナリストによってピボットと関連付けられた１つまたはそれを上回るセキュリティログアイテムまたはピボットチェーン、およびセキュリティアナリストによって実行されたアクションを含むこともできる。いくつかの実施形態では、ピボットチェーンは、潜在的な攻撃を追跡する、一連のルール結果を含む。

【0053】

本ワークフローデータは、次いで、タグ付け分類子、精査分類子、フィルタおよび順位付け方法、およびピボットシーケンスモデルを含む、上記に議論されるＭＬモデル４０３を訓練するために使用されることができる。これらのＭＬモデルの訓練は、図２を参照して、より詳細に議論される。

【0054】

いったんモデルが、４０３において訓練されると、タグ付け分類子、精査分類子、フィルタおよび順位付け方法を含む、自動化された脅威ハンティングプレイブックが、４０５において生成されることができる。プレイブックはまた、上記に議論されるように、ピボットシーケンスモデルを含むこともできる。

【0055】

ワークフロー４００は、４０７において、自動化された脅威ハンティングプレイブックを使用して、着信セキュリティデータを自動的に分析するための１つまたはそれを上回るスクリプトを生成することを継続する。いったんプレイブックが、生成されると、プレイブック内の訓練されたモデルは、４０９において、未加工スキャンデータに適用され、タグ、精査に関する結果の精選項目、優先順位付けされた結果、および／またはピボットチェーンを生成することができる。これらの動作、およびＭＬモデルの出力の生成は、図３を参照して、詳細に議論される。

【0056】

ワークフロー４００は、４１１において、４０９において生成されたＭＬモデルの出力についてのアナリストフィードバックを受信することを継続する。いくつかの実施形態では、アナリストフィードバックは、タグ付け分類子によって生成される、自動化されたタグに対する編集または変更を含むことができる。例えば、アナリストがタグを補正する、または他の結果を見出し、タグを割り当てるとき、本情報は、タグ付け分類子をさらに訓練するために使用されることができる。

【0057】

アナリストフィードバックはまた、精査分類子によって生成される、精査に関する結果からアナリストによって精査された実際の結果の一覧を含むこともできる。例えば、精査分類子が、精査に関する２，０００個の結果の焦点を当てられた、またはキュレートされた一覧を生成し、アナリストが、８００個の結果のサブセットのみを精査した場合、本情報は、精査分類子のさらなる訓練のために記憶されることができる。

【0058】

いくつかの実施形態では、アナリストフィードバックは、フィルタおよび順位付け方法によって生成される、優先順位付けされた結果からアナリストによって精査された結果の一覧を含むことができる。例えば、フィルタおよび順位付け方法が、特定の順位付けにおいて結果を整理し、または特定のフィルタを適用し、アナリストが、自動的に生成された順位付けとは異なる順序において結果を精査した場合、本情報は、フィルタおよび順位付け方法のさらなる訓練のために記憶されることができる。

【0059】

いくつかの実施形態では、アナリストフィードバックは、ピボットシーケンスモデルによって生成されるピボットチェーンとは異なる、アナリストによって実行される代替ピボットシーケンスを含むことができる。アナリストが、ピボットシーケンスモデルによって推奨されるものとは異なるピボットを実行した場合、これは、ピボットシーケンスモデルのさらなる訓練のための付加的な入力として使用されることができる。

【0060】

ワークフローは、モデルを動的に更新し、自動化された脅威検出システムの正確度を増加させるために、４０３において、アナリストフィードバックをＭＬ方法の訓練に適用することによって継続することができる。

【0061】

本開示の目的のために、情報取扱システム８０（図５）は、商取引、科学、制御、または他の目的のために、任意の形態の情報、インテリジェンス、またはデータを算出する、計算する、決定する、分類する、処理する、伝送する、受信する、読み出す、考案する、切り替える、記憶する、表示する、通信する、顕現させる、検出する、記録する、複製する、取り扱う、または利用するように動作可能な任意の手段または手段の集約体を含んでもよい。例えば、情報取扱システムは、パーソナルコンピュータ（例えば、デスクトップまたはラップトップ）、タブレットコンピュータ、モバイルデバイス（例えば、パーソナルデジタルアシスタント（ＰＤＡ）またはスマートフォン）、サーバ（例えば、ブレードサーバまたはラックサーバ）、ネットワーク記憶デバイス、または任意の他の好適なデバイスであってもよく、サイズ、形状、性能、機能性、および価格において変動し得る。情報取扱システムは、ランダムアクセスメモリ（ＲＡＭ）、中央処理ユニット（ＣＰＵ）またはハードウェアまたはソフトウェア制御論理等の１つまたはそれを上回る処理リソース、読取専用メモリ（ＲＯＭ）、および／または他のタイプの不揮発性メモリを含んでもよい。情報取扱システムの付加的なコンポーネントは、１つまたはそれを上回るディスクドライブ、外部デバイスと通信するための１つまたはそれを上回るネットワークポート、およびキーボード、マウス、タッチスクリーン、および／または映像ディスプレイ等の種々の入力および出力（Ｉ／Ｏ）デバイスを含んでもよい。情報取扱システムはまた、種々のハードウェアコンポーネント間の通信を伝送するように動作可能な１つまたはそれを上回るバスを含んでもよい。

【0062】

図５に示されるように、いくつかの実施形態では、クライアント１２は、情報取扱システム／デバイス８０または他の通信可能なシステム／デバイスの１つまたはそれを上回るネットワーク接続されたシステム８２を管理する、または別様に含むことができる。ネットワーク８４は、情報取扱システム／デバイス８０間のデータ通信を提供し得、これは、ワークステーション、パーソナルコンピュータ、スマート携帯電話、パーソナルデジタルアシスタント、ラップトップコンピュータ、サーバ、および他の好適なデバイスを含むことができる。ネットワーク８４は、ローカルエリアネットワーク等のプライベートまたはパブリックネットワーク、またはインターネットまたは別のワイドエリアネットワーク、仮想パーソナルネットワーク、ピアツーピアファイリング共有システム、等の他の好適なネットワーク、および／または他の好適な通信回線、またはそれらの組み合わせを含むことができる。図５はまた、リンクされた、またはネットワーク接続された情報取扱システム８０が、ネットワーク８４に通信可能に結合される、１つまたはそれを上回る監視デバイス８６を含み得ることを示す。監視デバイス８６は、管理されたセキュリティサービスプロバイダ（ＭＳＳＰ）によって管理されることができる。

【0063】

一実施形態では、監視デバイス８６は、サーバまたはシーケンスアナライザ、またはプロセッサおよびメモリまたは他の好適な記憶装置を有する、他のクライアントにとって好適なコンピューティングデバイスを含んでもよい。メモリは、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、および／または他の非一過性コンピュータ可読媒体を含むことができる。監視デバイス８６はさらに、典型的には、コンピュータ可読命令を記憶および実行するように動作可能であり、リアルタイムで、各ネットワーク接続されたシステムにおいて、活動、例えば、ネットワーク８４に接続された情報取扱システム８０の活動を継続的に監視するであろう。監視デバイス８６は、本明細書に説明される自動化された脅威検出システムによって、情報取扱システム８０の活動に関連する情報またはデータログを取り込むまたは集約することができ、これらの取り込まれた／集約されたデータログまたは情報、またはそれに関連する情報を提供することができる。加えて、または代替として、本明細書に説明される自動化された脅威検出システムは、例えば、少なくとも１つのメモリ９２と、システム８２の情報取扱システム８０の活動に関連する情報またはデータログを受信するための１つまたはそれを上回るプロセッサ９４とを伴う、１つまたはそれを上回るサーバ９０を含む、複数のネットワーク接続された情報取扱システム８０を伴う、ＭＳＳＰによって管理されるデータセンタ８８等のデータセンタ８８を含むことができる。これらの情報／データログは、本明細書に説明される自動化された脅威検出システムに提供される、未加工ログ１４の一部であることができる。

【0064】

本明細書に説明されるシステムの１つまたはそれを上回るコンポーネントは、デバイス８０、サーバ９０、またはそれと通信している他のデバイスまたは情報取扱システム上に常駐している、またはそれらによってアクセスされることができる。１つまたはそれを上回るプロセッサ９４のデバイス８０のうちの１つまたはそれを上回るプロセッサは、少なくとも１つのメモリ（例えば、デバイス９０のメモリまたはメモリ９２）内に記憶された命令、ワークフロー等を処理または実行し、本明細書に説明される自動化された脅威検出システムの種々のプロセス、機能等の性能を促進することができる。

【0065】

前述の説明は、概して、本開示の種々の実施形態を例証および説明する。しかしながら、種々の変更および修正が、本明細書に開示されるような本開示の精神および範囲から逸脱することなく、本開示の上記に議論された構築に対して行われ得ることが、当業者によって理解され、上記の説明内に含有される、または付随の図面内に示される全ての事柄が、例証的なものとして解釈されるべきであり、限定する意味合いにおいて捉えられるべきではないことが意図される。さらに、本開示の範囲は、上記の種々の修正、組み合わせ、追加、改変等を網羅するように解釈されるべきであり、上記に説明される実施形態に対して、これは、本開示の範囲内にあるように見なされるべきである。故に、本明細書に議論されるような本開示の種々の特徴および特性は、選択的に交換され、本開示の他の例証される、および例証されない実施形態に適用されてもよく、多数の変形例、修正、および追加がさらに、添付の請求項内に記述されるような本発明の精神および範囲から逸脱することなく、それに対して行われることができる。

【図1】

【図2】

【図3】

【図4】

【図5】

【国際調査報告】