知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-05-08
(45)【発行日】2023-05-16
(54)【発明の名称】ネットワークデータ特性評価のシステムと方法
(51)【国際特許分類】
G06F 21/55 20130101AFI20230509BHJP
H04L 12/22 20060101ALI20230509BHJP
H04L 12/66 20060101ALI20230509BHJP
【ＦＩ】
G06F21/55 340
H04L12/22
H04L12/66
【請求項の数】
15
(21)【出願番号】P 2021117274
(22)【出願日】2021-07-15
(62)【分割の表示】P 2017545854の分割
【原出願日】2015-11-16
(65)【公開番号】P2021182412
(43)【公開日】2021-11-25
【審査請求日】2021-07-15
(31)【優先権主張番号】62/083,090
(32)【優先日】2014-11-21
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】517177246
【氏名又は名称】ブルヴェクター，インコーポレーテッド
【氏名又は名称原語表記】ＢＬＵＶＥＣＴＯＲ， ＩＮＣ．
【住所又は居所原語表記】４５０１ Ｎｏｒｔｈ Ｆａｉｒｆａｘ Ｄｒｉｖｅ， Ｓｕｉｔｅ １２０， Ａｒｌｉｎｇｔｏｎ， ＶＡ， ＶＡ ２２２０３， Ｕ．Ｓ．Ａ．
(74)【代理人】
【識別番号】100065248
【弁理士】
【氏名又は名称】野河 信太郎
(74)【代理人】
【識別番号】100159385
【弁理士】
【氏名又は名称】甲斐 伸二
(74)【代理人】
【識別番号】100163407
【弁理士】
【氏名又は名称】金子 裕輔
(74)【代理人】
【識別番号】100166936
【弁理士】
【氏名又は名称】稲本 潔
(74)【代理人】
【識別番号】100174883
【弁理士】
【氏名又は名称】冨田 雅己
(72)【発明者】
【氏名】カロルマキス，ピーター イー．
(72)【発明者】
【氏名】ボイル，マイケル ピー．
(72)【発明者】
【氏名】ヴァレンティノ，クリストファー シー．
【審査官】岸野 徹
(56)【参考文献】
【文献】特表２００８－５２９１０５（ＪＰ，Ａ）
【文献】特開２０１４－１０６８５６（ＪＰ，Ａ）
【文献】特開２０１１－０４４０６４（ＪＰ，Ａ）
【文献】特表２０１４－５０４３９９（ＪＰ，Ａ）
【文献】国際公開第２０１４／１２２６６２（ＷＯ，Ａ１）
【文献】特開２００３－０６７３９９（ＪＰ，Ａ）
【文献】特表２００６－５０６８５３（ＪＰ，Ａ）
【文献】国際公開第２０１３／０７３５０４（ＷＯ，Ａ１）
【文献】特開２０１０－２８７１３５（ＪＰ，Ａ）
【文献】特開２０１２－１１４７１９（ＪＰ，Ａ）
【文献】米国特許出願公開第２００７／０１６９１９４（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ ２１／５５
Ｈ０４Ｌ １２／２２
Ｈ０４Ｌ １２／６６
(57)【特許請求の範囲】
【請求項1】
コンピュータデバイスが、
受信したコンテンツに関係付けられたメタデータに基づいて、前記受信したコンテンツに関係付けられたタイプを決定し、
悪意のある又は安全であるとして前記受信したコンテンツのタイプを分類するように構成されたマシン学習分析器を決定し、
前記マシン学習分析器に基づいて、前記受信したコンテンツが悪意のある又は安全であるという表示を決定し、および
前記決定された表示と１つ以上の基準とに基づいて、実行すべき行動を決定することを実行する方法。
【請求項2】
前記受信したコンテンツが、１つ以上のネットワークデータ供給装置から受信され、前記１つ以上のネットワークデータ供給装置が、ハイパーテキスト転送プロトコル（ＨＴＴＰ）データ供給装置、ファイル転送プロトコル（ＦＴＰ）データ供給装置、又はシンプルメール転送プロトコル（ＳＭＴＰ）データ供給装置のうちの少なくとも１つからなり、または、アップロードされた前記受信コンテンツが、コマンドラインインタフェースまたはグラフィカル・ユーザ・インタフェースから受信されることをさらに含む請求項１の方法。
【請求項3】
前記受信したコンテンツが、１つ以上のファイルを含む請求項１の方法。【請求項4】
前記表示を決定することが、前記マシン学習分析器から特性評価の結果を結合することを含み、前記表示が、前記受信したコンテンツと前記特性評価の結果とを記述した特性評価メタデータを含む請求項１の方法。
【請求項5】
前記表示を決定することが、前記受信したコンテンツが、悪意があるか、疑わしいか、安全か、未知であるか、あるいは、さらにレビューを必要とするものであるかを示すタグを、前記受信したコンテンツに、付けることを含む請求項１の方法。【請求項6】
前記行動が、前記表示を保存すること、
前記受信したコンテンツに関連するネットワークトラフィックを修正すること、
前記受信したコンテンツを外部の分析器に転送すること、
悪意のあるコンテンツの検出の警告表示を送信すること、
前記受信したコンテンツに関連するソースからネットワークトラフィックを妨げること、前記表示の視覚化を生成すること、または
悪意があるか、疑わしいか、安全か、未知であるか、あるいは、さらにレビューを必要とするものであるかのいずれかに、前記受信したコンテンツを分類すること、
のうちの少なくとも１つを含む請求項１の方法。
【請求項7】
前記視覚化は、前記１つ以上の基準に関連する１つ以上の閾値に基づいて決定され、前記１つ以上の閾値は、疑わしくてかつ注意が必要であると分類されたイベントの数を決定する請求項６の方法。【請求項8】
前記１つ以上の閾値または前記１つ以上の基準を変更するために、入力を受信することをさらに備えた請求項７の方法。【請求項9】
前記１つ以上の閾値または前記１つ以上の基準の変化に基づいて、将来の予測の表示を引き起こすことを、さらに備えた請求項８の方法。【請求項10】
前記マシン学習分析器が、他のマシン学習分析器と同じタイプのコンテンツ、または他のマシン学習分析器とは異なるタイプのコンテンツを分析する請求項１の方法。【請求項11】
前記メタデータが、ファイルタイプ、イベントソース、またはイベント宛先を表示する請求項１の方法。【請求項12】
前記マシン学習分析器が、前記受信したコンテンツの特徴の比較に基づいて、前記表示に関連する確信度パーセンテージを決定するために、特徴ベースのプロセスを使用し、既知の悪意のあるファイルと既知の安全なファイルとの特徴を使って造られた分類器を使用する請求項１の方法。【請求項13】
請求項１から請求項１２のいずれか１つに記載の方法を実行させる命令を記憶した非一時的なコンピュータ読み取り可能な媒体。【請求項14】
１つ以上のプロセッサと、前記１つ以上のプロセッサによって、請求項１から請求項１２のいずれか１つに記載の方法が実行された場合に、前記いずれか１つの方法を実行させる命令を記憶しているメモリとからなる装置。
【請求項15】
請求項１から請求項１２のいずれか１つに記載の方法を実行するように構成された第１のコンピュータデバイスと、前記行動を実行するように構成された第２のコンピュータデバイスとからなるシステム。
【発明の詳細な説明】
【技術分野】
【0001】
関連した出願
この出願は、米国仮出願番号No.62/083,090「ネットワーク特性評価のシステムと方法」の優先権を主張し、ここに、それを参照することにより、そっくりそのまま、組み入れられる。
この出願は、米国仮出願番号No.62/083,090「ネットワーク特性評価のシステムと方法」の優先権を主張し、ここに、それを参照することにより、そっくりそのまま、組み入れられる。
【背景技術】
【0002】
背景
2014年に、50の世界的組織のサンプルが、63,437を超えるネットワークセキュリティ事件の内で、1,367のデータ漏洩イベントを報告した。
これらのデータ漏洩は、ネットワークセキュリティのハードウェアとソフトウェアでの重要な既存の投資を持つ組織によって、回避され、侵入され、または気づかれない別の方法で行われた、成功したサイバー攻撃を表している。
ほとんどは、マルウェア（malware）を使うこと、あるいは、ハッキング技術を使うことによって、外部のパーティーにより被害者組織に対して行われ、発見するために数ヶ月を要し、一般に、サード・パーティーから犠牲者に報告される。
会社は、「攻撃されやすい標的（soft targets）」ではなかった。
会社は、共通のネットワークセキュリティ機器と、最もよい管理手法を使用していた。
2014年に、50の世界的組織のサンプルが、63,437を超えるネットワークセキュリティ事件の内で、1,367のデータ漏洩イベントを報告した。
これらのデータ漏洩は、ネットワークセキュリティのハードウェアとソフトウェアでの重要な既存の投資を持つ組織によって、回避され、侵入され、または気づかれない別の方法で行われた、成功したサイバー攻撃を表している。
ほとんどは、マルウェア（malware）を使うこと、あるいは、ハッキング技術を使うことによって、外部のパーティーにより被害者組織に対して行われ、発見するために数ヶ月を要し、一般に、サード・パーティーから犠牲者に報告される。
会社は、「攻撃されやすい標的（soft targets）」ではなかった。
会社は、共通のネットワークセキュリティ機器と、最もよい管理手法を使用していた。
【0003】
ファイアウォール、侵入防止システム（IPS）、アンチウィルスソフトウェア、ポリシー（policy）施行（enforcement）ツール、構成（コンフィグレーション）管理ツール、データ損失防止（DLP）システムなどの現在の一式のネットワークセキュリティ製品は、ネットワークセキュリティに徹底した防御アプローチを実装することに、極めて重要な役割を果たす。
そのようなセキュリティ製品は、適切に使われた場合は、出回っている下等で悪意に満ちた活動の多くを妨げることができる。
実際には、いったんマルウェアが発見されてマルウェアの指紋が採られたら、これらのセキュリティ製品は、マルウェアを、影響を受けたシステムから取り除くために、既存の枠組を提供することによって、漏洩改善に、重要な役割を果たす。
それにもかかわらず、これらの製品／ツールは、2つの基本的なエリアを欠いている：
そのようなセキュリティ製品は、適切に使われた場合は、出回っている下等で悪意に満ちた活動の多くを妨げることができる。
実際には、いったんマルウェアが発見されてマルウェアの指紋が採られたら、これらのセキュリティ製品は、マルウェアを、影響を受けたシステムから取り除くために、既存の枠組を提供することによって、漏洩改善に、重要な役割を果たす。
それにもかかわらず、これらの製品／ツールは、2つの基本的なエリアを欠いている：
【発明の概要】
【発明が解決しようとする課題】
【0004】
1. 個々のツールは、ハードウェア資源とソフトウェア資源の追加と、システムオーバーラップ（重複）のため入手可能な効率を無効にするカスタムの統合を必要とする。
2. 検出は、遅すぎて、以前に観察されたマルウェア／脅威の主体に制限されすぎて、そのために、そのようなツールは、より最新の脅威に対して無効である。
2. 検出は、遅すぎて、以前に観察されたマルウェア／脅威の主体に制限されすぎて、そのために、そのようなツールは、より最新の脅威に対して無効である。
【0005】
１番目のエリアでは、伝統的な防御ツール（例えば、IPS/IDS、ポリシー施行、CM、DLPなど）と、より高度な情報分析ツールとが、ストリームアセンブリ、コンテンツ抽出、データのタグ付け、関連付け、およびワークフロー統合のための中心的な機能でオーバーラップ（重複）している。
しかし、このオーバーラップ（重複）をてこ入れする支援が得られない場合は、データ統合は、カスタムのインプリメンテーション（実行）資源を必要とする。
シームレス統合に、脅威知能供給装置と、スタンドアロンのコンポーネントと、SIEMツールとを提供するとともに、これらの中心的な機能をてこ入れする多面的な分析を可能にするために、プラットフォームが必要である。
しかし、このオーバーラップ（重複）をてこ入れする支援が得られない場合は、データ統合は、カスタムのインプリメンテーション（実行）資源を必要とする。
シームレス統合に、脅威知能供給装置と、スタンドアロンのコンポーネントと、SIEMツールとを提供するとともに、これらの中心的な機能をてこ入れする多面的な分析を可能にするために、プラットフォームが必要である。
【0006】
2番目のエリアでは、今日のマルウェア検出エンジンは、確実性のために調整される。
署名は、特に、それらが設計されている悪意のあるソフトウェアにヒットするように、記載される。
署名ベースのシステムの欠点に対処するために、防護者（ディフェンダー）は、現在、サンドボックス（sandbox）－疑わしいファイルの行動を実行し、調査するための注意深く制御された仮想環境－を、使っている。
署名に関連するマルウェアには変化に対してより大きな回復力があるので、サンドボックスは、簡単に言うと、遅すぎて、膨大な量の企業ネットワークのトラフィックについていくことができない。
個々のファイルは、調査するために、数分かかるかもしれないので、これらのシステムは、残りが無調査で通過することを可能にするとともに、どのファイルを見るかを決めるために、前置フィルタ（pre-filters）を用いなければならない。
一般的に、それは、高価すぎるので、すべてのトラフィックを調査するために十分に大きなサンドボックスを形成することはできない。
前置フィルタは、ほとんど、ネットワーク環境において、署名が、ファイルメタデータまたは行動パターンと関連する署名ベースの検出メカニズムよりも大きくはない。
前置フィルタは、ファイルにリンクしているURLによって、企業の外の誰かから、電子メールによって送信されたファイルを探すことができる。これらの行動パターンは、ちょうど署名と同じくらい脆弱で、以前に繰り返された行動監視を必要とする。
潜在的なマルウェアの小さいサブセットだけが検査されて、多くの潜在的な脅威は手つかずであり続けている。
署名は、特に、それらが設計されている悪意のあるソフトウェアにヒットするように、記載される。
署名ベースのシステムの欠点に対処するために、防護者（ディフェンダー）は、現在、サンドボックス（sandbox）－疑わしいファイルの行動を実行し、調査するための注意深く制御された仮想環境－を、使っている。
署名に関連するマルウェアには変化に対してより大きな回復力があるので、サンドボックスは、簡単に言うと、遅すぎて、膨大な量の企業ネットワークのトラフィックについていくことができない。
個々のファイルは、調査するために、数分かかるかもしれないので、これらのシステムは、残りが無調査で通過することを可能にするとともに、どのファイルを見るかを決めるために、前置フィルタ（pre-filters）を用いなければならない。
一般的に、それは、高価すぎるので、すべてのトラフィックを調査するために十分に大きなサンドボックスを形成することはできない。
前置フィルタは、ほとんど、ネットワーク環境において、署名が、ファイルメタデータまたは行動パターンと関連する署名ベースの検出メカニズムよりも大きくはない。
前置フィルタは、ファイルにリンクしているURLによって、企業の外の誰かから、電子メールによって送信されたファイルを探すことができる。これらの行動パターンは、ちょうど署名と同じくらい脆弱で、以前に繰り返された行動監視を必要とする。
潜在的なマルウェアの小さいサブセットだけが検査されて、多くの潜在的な脅威は手つかずであり続けている。
【0007】
たとえ新しいマルウェアが分析のために選ばれるべきであったとしても、ほとんどのサンドボックス環境は、Windowsレジストリーへの変化のように、以前に観察された悪意のある活動を探すだけである。
新しいマルウェアの作者は、サンドボックス検出器を理解しており、また、マルウェアを実行し、サンドボックネットワーク設定を検出し、安全な実行を模倣し、サンドボックスが複製されない非常に特有な計算機構成（コンピューティングコンフィギュレーション）を設計する前に、マルウェアを数分の間眠らせることを含む検出を回避する簡単な方法を持っている。
両方のアプローチが、悪意のある署名の広域的な報告と共有によって、それらの脆弱な設計を軽減させるために試みられる。
これらの技術は、防護者に脅威を追わせておくようにし、先を見越した防御や予言的な防御に、道筋を全然提供しない。 既存の解決策は、最新の脅威に対して、遅すぎて、役に立たない。
新しいマルウェアの作者は、サンドボックス検出器を理解しており、また、マルウェアを実行し、サンドボックネットワーク設定を検出し、安全な実行を模倣し、サンドボックスが複製されない非常に特有な計算機構成（コンピューティングコンフィギュレーション）を設計する前に、マルウェアを数分の間眠らせることを含む検出を回避する簡単な方法を持っている。
両方のアプローチが、悪意のある署名の広域的な報告と共有によって、それらの脆弱な設計を軽減させるために試みられる。
これらの技術は、防護者に脅威を追わせておくようにし、先を見越した防御や予言的な防御に、道筋を全然提供しない。 既存の解決策は、最新の脅威に対して、遅すぎて、役に立たない。
【0008】
パラダイム・シフト（革命的な変化）が必要である。
リアルタイムで無署名に基づく技術を用いた先を見越した脅威の検索と発見が、時代遅れの署名と行動に基づいた技術を補うにちがいない。
自動化された脅威の識別は、発見年表を、月から分に、減少させるに違いない。
防御の組織の外部の誰かが、漏洩の防護者に警報を出すことを待つというよりも、攻撃が起こる前に、防護者は、攻撃の進行を阻止しなければならない。
リアルタイムで無署名に基づく技術を用いた先を見越した脅威の検索と発見が、時代遅れの署名と行動に基づいた技術を補うにちがいない。
自動化された脅威の識別は、発見年表を、月から分に、減少させるに違いない。
防御の組織の外部の誰かが、漏洩の防護者に警報を出すことを待つというよりも、攻撃が起こる前に、防護者は、攻撃の進行を阻止しなければならない。
【0009】
要約
従来技術の欠点を克服する、ネットワークデータの特性評価および／または分類のためのシステムと方法の実施形態が、ここに記載される。
これらおよび他の利点は、ネットワークデータ特性評価ための方法と、対応したシステムとによって達成される。
その方法は、ネットワークイベントのうちの少なくともいくつかのイベントがコンテンツを含むネットワークイベントを受信し、データメッセージのうちの少なくともいくつかが、前記コンテンツと、イベントおよび前記コンテンツを記述しているメタデータとを含むデータメッセージに、前記受信したコンテンツを変換し、個々の分析器が署名する特定のメッセージ基準に基づいて、前記データメッセージを複数の分析器に転送（ルーティング）し、前記1つ以上の分析器のうちのそれぞれが、前記コンテンツを特徴付けるために、データメッセージ内のコンテンツを分析する前記転送されたデータメッセージを受信し、前記1つ以上の分析器が、コンテンツが悪意のあるものという可能性、あるいは、コンテンツが悪意のあるものという予測が正しいという確実性を示す確信度パーセンテージによってコンテンツを分類する少なくとも1つのマシン学習分析器を含み、前記1つ以上の分析器の特性評価の結果を出力し、前記特性評価の結果に基づいて取るべきその後の行動を決定するために、前記出力された特性評価の結果と、複数の基準とを比較することを含む。
従来技術の欠点を克服する、ネットワークデータの特性評価および／または分類のためのシステムと方法の実施形態が、ここに記載される。
これらおよび他の利点は、ネットワークデータ特性評価ための方法と、対応したシステムとによって達成される。
その方法は、ネットワークイベントのうちの少なくともいくつかのイベントがコンテンツを含むネットワークイベントを受信し、データメッセージのうちの少なくともいくつかが、前記コンテンツと、イベントおよび前記コンテンツを記述しているメタデータとを含むデータメッセージに、前記受信したコンテンツを変換し、個々の分析器が署名する特定のメッセージ基準に基づいて、前記データメッセージを複数の分析器に転送（ルーティング）し、前記1つ以上の分析器のうちのそれぞれが、前記コンテンツを特徴付けるために、データメッセージ内のコンテンツを分析する前記転送されたデータメッセージを受信し、前記1つ以上の分析器が、コンテンツが悪意のあるものという可能性、あるいは、コンテンツが悪意のあるものという予測が正しいという確実性を示す確信度パーセンテージによってコンテンツを分類する少なくとも1つのマシン学習分析器を含み、前記1つ以上の分析器の特性評価の結果を出力し、前記特性評価の結果に基づいて取るべきその後の行動を決定するために、前記出力された特性評価の結果と、複数の基準とを比較することを含む。
【0010】
これらおよび他の利点は、また、ネットワークデータ特性評価ためのシステムにより達成される。
そのシステムは、1つ以上のプロセッサとメモリを含む1つ以上の特性評価センサーを備え、前記メモリは、1つ以上のプロセッサによる以下の処理の実行のための命令を含み、実行される処理は、ネットワークイベントのうちの少なくともいくつかのイベントがコンテンツを含むネットワークイベントを受信し、データメッセージのうちの少なくともいくつかが、前記コンテンツと、イベントおよび前記コンテンツを記述しているメタデータとを含むデータメッセージに、前記受信したコンテンツを変換し、個々の分析器が署名する特定のメッセージ基準に基づいて、前記データメッセージを複数の分析器に転送（ルーティング）し、1つ以上のマシン学習分析器のそれぞれが、前記コンテンツを特徴付けるために、データメッセージ内のコンテンツを分析する前記転送されたデータメッセージを受信し、前記1つ以上のマシン学習分析器が、コンテンツが悪意のあるものという可能性、あるいは、コンテンツが悪意のあるものという予測が正しいという確実性を示す確信度パーセンテージによってコンテンツを分類する少なくとも1つのマシン学習分析器を含み、前記1つ以上のマシン学習分析器の特性評価の結果を出力し、前記特性評価の結果に基づいて取るべきその後の行動を決定するために、前記出力された特性評価の結果と、複数の基準とを比較することである。
特性評価センサーは、記述されたタスクを実行することに特殊化された特別にプログラムされたコンピュータでもよい。
そのシステムは、1つ以上のプロセッサとメモリを含む1つ以上の特性評価センサーを備え、前記メモリは、1つ以上のプロセッサによる以下の処理の実行のための命令を含み、実行される処理は、ネットワークイベントのうちの少なくともいくつかのイベントがコンテンツを含むネットワークイベントを受信し、データメッセージのうちの少なくともいくつかが、前記コンテンツと、イベントおよび前記コンテンツを記述しているメタデータとを含むデータメッセージに、前記受信したコンテンツを変換し、個々の分析器が署名する特定のメッセージ基準に基づいて、前記データメッセージを複数の分析器に転送（ルーティング）し、1つ以上のマシン学習分析器のそれぞれが、前記コンテンツを特徴付けるために、データメッセージ内のコンテンツを分析する前記転送されたデータメッセージを受信し、前記1つ以上のマシン学習分析器が、コンテンツが悪意のあるものという可能性、あるいは、コンテンツが悪意のあるものという予測が正しいという確実性を示す確信度パーセンテージによってコンテンツを分類する少なくとも1つのマシン学習分析器を含み、前記1つ以上のマシン学習分析器の特性評価の結果を出力し、前記特性評価の結果に基づいて取るべきその後の行動を決定するために、前記出力された特性評価の結果と、複数の基準とを比較することである。
特性評価センサーは、記述されたタスクを実行することに特殊化された特別にプログラムされたコンピュータでもよい。
【図面の簡単な説明】
【0011】
図面の簡単な説明
ネットワークデータの特性評価および／または分類のシステムと方法の実施形態は、以下の図面と連携して、理解され、記載される：
ネットワークデータの特性評価および／または分類のシステムと方法の実施形態は、以下の図面と連携して、理解され、記載される：
【図9A】図９Ａは、ネットワークデータ特性評価のシステムと方法の実施形態における正確に示され（ピンポイントされ）かつフィルタをかけられた特性評価の結果を示すピンポイントツールを持つ分類されたイベントリストのスクリーンショットである。
【図9B】図９Ｂは、ネットワークデータ特性評価のシステムと方法の実施形態における正確に示されかつフィルタをかけられた特性評価の結果を示すピンポイントツールを持つ分類されたイベントリストのスクリーンショットである。
【図9C】図９Ｃは、ネットワークデータ特性評価のシステムと方法の実施形態における正確に示されかつフィルタをかけられた特性評価の結果を示すピンポイントツールを持つ分類されたイベントリストのスクリーンショットである。
【図9D】図９Ｄは、ネットワークデータ特性評価のシステムと方法の実施形態における正確に示されかつフィルタをかけられた特性評価の結果を示すピンポイントツールを持つ分類されたイベントリストのスクリーンショットである。
【発明を実施するための形態】
【0012】
詳細な説明
ここでは、ネットワークデータ特性評価および／または分類のシステムと方法の実施形態が、記載される。
実施形態は、コンテンツが悪意のあるものか、疑わしいものか、あるいは、安全／信頼されるものかどうかを含み、受信されたネットワークコンテンツを特性化あるいは分類するために、考慮される。
実施形態は、高機能で開かれたサイバー知能プラットフォームであって、高度な脅威への反応を、自動的に検出し、分析し、促進するサイバー知能プラットフォームを含む。
プラットフォームは、最もきびしいネットワーク環境を取り扱うことができ、大量のデータをふるいにかけることができ、既存のネットワークセキュリティツールが見つけ損なったマルウェアを見つけるために、高精度で、脆弱でなく、回復力のある分析を利用することができる。
プラットフォームの実施形態は、企業資産を保護し、既存のサイバーセキュリティツールと容易に調和させるために、マシン学習テクニックを実装する。
プラットフォームは、余分なハードウェアを必要とせずに、大企業を防御するように拡張（スケール）することができる。
実施形態は、リアルタイムに近いライン速度で実行される。
分析者が、個々のイベントを検査し、より大きいイベントの状況のために、個々のイベントと、統合されたリアルタイムの知能プロバイダーとを関係づけるようにするとともに、サイバー知能プラットフォームは、サイバーセキュリティ管理者が、動的に、分析者の作業負荷と、脅威検出の閾値を調整することができるようにする。
ここでは、ネットワークデータ特性評価および／または分類のシステムと方法の実施形態が、記載される。
実施形態は、コンテンツが悪意のあるものか、疑わしいものか、あるいは、安全／信頼されるものかどうかを含み、受信されたネットワークコンテンツを特性化あるいは分類するために、考慮される。
実施形態は、高機能で開かれたサイバー知能プラットフォームであって、高度な脅威への反応を、自動的に検出し、分析し、促進するサイバー知能プラットフォームを含む。
プラットフォームは、最もきびしいネットワーク環境を取り扱うことができ、大量のデータをふるいにかけることができ、既存のネットワークセキュリティツールが見つけ損なったマルウェアを見つけるために、高精度で、脆弱でなく、回復力のある分析を利用することができる。
プラットフォームの実施形態は、企業資産を保護し、既存のサイバーセキュリティツールと容易に調和させるために、マシン学習テクニックを実装する。
プラットフォームは、余分なハードウェアを必要とせずに、大企業を防御するように拡張（スケール）することができる。
実施形態は、リアルタイムに近いライン速度で実行される。
分析者が、個々のイベントを検査し、より大きいイベントの状況のために、個々のイベントと、統合されたリアルタイムの知能プロバイダーとを関係づけるようにするとともに、サイバー知能プラットフォームは、サイバーセキュリティ管理者が、動的に、分析者の作業負荷と、脅威検出の閾値を調整することができるようにする。
【0013】
ネットワークデータ特性評価のシステムと方法の実施形態は、非常に小さい待ち時間を持つ単一の2Uサイズの電気器具（アプライアンス）上で、最大１０Gbpsまでのラインスピードで、高いマルウェア検出精度を達成するために、新しく先を見越したアプローチを用いる。
実施形態は、単に、署名または他の静的な脅威特性だけに依存してはいない。
むしろ、ここでは、マシン学習と実装された他の高度なテクニックを使用することが、最新で急速に変化する脅威に対して、効果的であることを記載した。
サイバー知能プラットフォームは、ファイル分析の枠組、リアルタイムに近いワークフロー統合のためのストリーミング分析（「サイバー時間」）、リアルタイムの知能相互関係、付加的なコンテンツ処理のためのポスト分析器、および、システム統合のために転送（ルーティング）されるユーザー定義可能なアウトプットイベントを提供する。
実施形態は、他のテクノロジーと協力して動作し、知能供給装置、分析ツール、およびSIEMコンソールと容易に結合（インタフェース）させることによって、知能分析を強化する。
実施形態は、単に、署名または他の静的な脅威特性だけに依存してはいない。
むしろ、ここでは、マシン学習と実装された他の高度なテクニックを使用することが、最新で急速に変化する脅威に対して、効果的であることを記載した。
サイバー知能プラットフォームは、ファイル分析の枠組、リアルタイムに近いワークフロー統合のためのストリーミング分析（「サイバー時間」）、リアルタイムの知能相互関係、付加的なコンテンツ処理のためのポスト分析器、および、システム統合のために転送（ルーティング）されるユーザー定義可能なアウトプットイベントを提供する。
実施形態は、他のテクノロジーと協力して動作し、知能供給装置、分析ツール、およびSIEMコンソールと容易に結合（インタフェース）させることによって、知能分析を強化する。
【0014】
ネットワークデータ特性評価のシステムと方法の実施形態の新しい技術の可能性は、次のものを含む：
１. ライン速度のファイル分析の枠組、リアルタイムの脅威と知能の供給相互関係、付加的なコンテンツ処理のためのポスト分析器、および、システム統合のために転送（ルーティング）されるユーザー定義可能なアウトプットを持つサイバー知能プラットフォーム；および
2. 分析に基づく革新的なマシン学習を含み、回復力があり、強固で、正確で、高速なマルウェア検出を提供する１組のプラットフォームをホストとする分析。
１. ライン速度のファイル分析の枠組、リアルタイムの脅威と知能の供給相互関係、付加的なコンテンツ処理のためのポスト分析器、および、システム統合のために転送（ルーティング）されるユーザー定義可能なアウトプットを持つサイバー知能プラットフォーム；および
2. 分析に基づく革新的なマシン学習を含み、回復力があり、強固で、正確で、高速なマルウェア検出を提供する１組のプラットフォームをホストとする分析。
【0015】
図1Aを参照して、ネットワークデータ特性評価システム１０の実施形態を示す。
システム10によって提供される特性評価または分類センサー12のソフトウェアアーキテクチャが図示される。
特性評価センサー12では、コレクターサブシステム104は、データエントリ（入力）ポイントであり、インタフェース102を通して、外部ネットワーク14および内部ネットワーク16からネットワークイベントを受信する。
インタフェース102は、さまざまなスピードを持つ種々のネットワークインタフェースのうちのいずれでもよい（例えば、1Gまたは10Gインタフェース）。
ネットワークイベントは、コンテンツ、例えばファイルを含んでもよい。
コレクター104は、供給装置（例えば、SMTP、HTMP、およびFTP供給装置）からのデータを、イベントとコンテンツ（例えばファイル）に、再構成するリアセンブラでもよい。
実施形態において、コレクター104は、コンテンツがスケーラブル（拡張可能）ファイル分析器106に引き出されたイベントに関して、コンテンツとメタデータを提供するために、深いパケット検査フレームワークを利用してもよい。
実施形態において、コレクター104は、コンテンツとメタデータからメッセージを作成し、そのメッセージをスケーラブルファイル分析器（アナライザ）106に転送する。
他の実施形態において、スケーラブルファイル分析器106は、コレクター104から転送されたコンテンツとメタデータから、メッセージを作成する。
実施形態は、グラフィックユーザーインタフェース（GUI）を含み、および／または、マニュアルでのファイルアップロードと分析のためのコマンドライン・インタフェース（CLI）に基づくコレクターと、外部のファイル分析のためのファイルベースのAPIコレクターとを含んでもよい。
システム10によって提供される特性評価または分類センサー12のソフトウェアアーキテクチャが図示される。
特性評価センサー12では、コレクターサブシステム104は、データエントリ（入力）ポイントであり、インタフェース102を通して、外部ネットワーク14および内部ネットワーク16からネットワークイベントを受信する。
インタフェース102は、さまざまなスピードを持つ種々のネットワークインタフェースのうちのいずれでもよい（例えば、1Gまたは10Gインタフェース）。
ネットワークイベントは、コンテンツ、例えばファイルを含んでもよい。
コレクター104は、供給装置（例えば、SMTP、HTMP、およびFTP供給装置）からのデータを、イベントとコンテンツ（例えばファイル）に、再構成するリアセンブラでもよい。
実施形態において、コレクター104は、コンテンツがスケーラブル（拡張可能）ファイル分析器106に引き出されたイベントに関して、コンテンツとメタデータを提供するために、深いパケット検査フレームワークを利用してもよい。
実施形態において、コレクター104は、コンテンツとメタデータからメッセージを作成し、そのメッセージをスケーラブルファイル分析器（アナライザ）106に転送する。
他の実施形態において、スケーラブルファイル分析器106は、コレクター104から転送されたコンテンツとメタデータから、メッセージを作成する。
実施形態は、グラフィックユーザーインタフェース（GUI）を含み、および／または、マニュアルでのファイルアップロードと分析のためのコマンドライン・インタフェース（CLI）に基づくコレクターと、外部のファイル分析のためのファイルベースのAPIコレクターとを含んでもよい。
【0016】
実施形態において、コレクターサブシステム104は、一組のメモリー間分析器（分析ツール）をホストするファイル分析フレームワーク（スケーラブルファイル分析器106）に供給する。
実施形態において、スケーラブルファイル分析器106は、複数のイベントとファイルの分析器108を含む。
例えば、図示された実装（インプリメンテーション）において、スケーラブルファイル分析器106は、７つのタイプのイベントとファイルの分析器108をホストする。
いくつかの分析器108はイベント分析器であり、いくつかはファイル分析器であり、いくつかはイベントとファイルの両方の分析器と考えられてもよい。
負荷および他の要因に基づき、実施形態は、個々のタイプの1つ以上のイベントおよびファイルの分析器を含んでもよい。
実施形態において、分析器108は、（コレクター104またはスケーラブルファイル分析器106がメッセージを作成するかどうかに依存して）署名基準に基づいて、スケーラブルファイル分析器106に転送されたメッセージを受信し、又は、スケーラブルファイル分析器106によって転送されたメッセージを受信する。
例えば、個々の分析器108は、コンテンツの一定のタイプ（例えば、ファイルの一定のタイプ、一定のタイプのソースから受信したコンテンツの一定のタイプ、または、一定のタイプのネットワークを超えて受信されたコンテンツの一定のタイプ）にだけ署名することができる。
分析器108と、分析器108によって実行される分析は、以下に、詳細に記載される。
実施形態において、スケーラブルファイル分析器106は、複数のイベントとファイルの分析器108を含む。
例えば、図示された実装（インプリメンテーション）において、スケーラブルファイル分析器106は、７つのタイプのイベントとファイルの分析器108をホストする。
いくつかの分析器108はイベント分析器であり、いくつかはファイル分析器であり、いくつかはイベントとファイルの両方の分析器と考えられてもよい。
負荷および他の要因に基づき、実施形態は、個々のタイプの1つ以上のイベントおよびファイルの分析器を含んでもよい。
実施形態において、分析器108は、（コレクター104またはスケーラブルファイル分析器106がメッセージを作成するかどうかに依存して）署名基準に基づいて、スケーラブルファイル分析器106に転送されたメッセージを受信し、又は、スケーラブルファイル分析器106によって転送されたメッセージを受信する。
例えば、個々の分析器108は、コンテンツの一定のタイプ（例えば、ファイルの一定のタイプ、一定のタイプのソースから受信したコンテンツの一定のタイプ、または、一定のタイプのネットワークを超えて受信されたコンテンツの一定のタイプ）にだけ署名することができる。
分析器108と、分析器108によって実行される分析は、以下に、詳細に記載される。
【0017】
コレクター104からメッセージを受信する時に、スケーラブルファイル分析器106は、どの分析器108が個々のメッセージのコンテンツに署名するかを決定し、署名分析器108に、署名されたコンテンツを有するメッセージを経路制御（ルーティング）するだけである。言いかえれば、メッセージがどのイベントに対するコンテンツを含んでいるか、あるいは、どのファイル分析器108が署名するかに基づいて、メッセージ（コンテンツとメタデータ）は、分析器108に経路制御（ルーティング）される。
例えば、以下に説明されるヘクター分析器などのいくつかの分析器は、PE32s、PDF、MS-DOS実行ファイル、MS Word、PowerPoint、Excel、CDF/MSI、アンドロイドAPK、JAR、ELF、WindowsインストーラXML、ビットマップ、およびGIFファイルを含むコンテンツに、署名することができる。
他の分析器は、このコンテンツのサブセットに、署名できるだけである（例えば、PE32およびMS-DOSファイルだけ）。
スケーラブルファイル分析器106は、メッセージの中のコンテンツが、メッセージ内に含まれているメタデータにより署名されるかどうかを決定できる。
同様に、スケーラブルファイル分析器106は、個々の分析器108の署名を持つファイルまたは他のデータを維持できる。
あるいは、そのようなファイルまたはデータは、分析器108によって維持されて、スケーラブルファイル分析器106によって検査することができる。
複数の分析器108が同じタイプのコンテンツに署名することができるが、一方、いくつかのコンテンツは単一の分析器108によって署名されるだけであることは注目すべきである；その結果、1つ以上の分析器108の署名は、1つ以上の他の分析器108の署名と重複（オーバーラップ）することができる。
例えば、以下に説明されるヘクター分析器などのいくつかの分析器は、PE32s、PDF、MS-DOS実行ファイル、MS Word、PowerPoint、Excel、CDF/MSI、アンドロイドAPK、JAR、ELF、WindowsインストーラXML、ビットマップ、およびGIFファイルを含むコンテンツに、署名することができる。
他の分析器は、このコンテンツのサブセットに、署名できるだけである（例えば、PE32およびMS-DOSファイルだけ）。
スケーラブルファイル分析器106は、メッセージの中のコンテンツが、メッセージ内に含まれているメタデータにより署名されるかどうかを決定できる。
同様に、スケーラブルファイル分析器106は、個々の分析器108の署名を持つファイルまたは他のデータを維持できる。
あるいは、そのようなファイルまたはデータは、分析器108によって維持されて、スケーラブルファイル分析器106によって検査することができる。
複数の分析器108が同じタイプのコンテンツに署名することができるが、一方、いくつかのコンテンツは単一の分析器108によって署名されるだけであることは注目すべきである；その結果、1つ以上の分析器108の署名は、1つ以上の他の分析器108の署名と重複（オーバーラップ）することができる。
【0018】
図1Aの継続的参照によれば、スケーラブルファイル分析器106から出力された結果は、ディスク110と、データベース112に保存することができる。
たとえば、分析器106は、タグ付けされ分類されたファイルを出力でき、分類された（たとえば、悪意のあるものとして分類されるか、または、設定されたしきい値パーセンテージを超えて悪意のあることの確信度を持って分類された）ファイルは、ディスク110に保存されることができ、一方、分析器106からの分析結果を記述したメタデータは、データベース112に保存されることができる。
分析器106の結果として生じるディスク110は、コンテンツとセッションメタデータの大きなセットにおいて、カスタムフィルタリングをすることを許すGUIビューア114によって見ることができる。
GUIイベントビューア114は、検出閾値の構成（コンフィギュレーション）（例えば、最初から組み込むか、またはユーザ定義される）に基づいてファイルを見出し、以下に詳細に説明されるように、協力的な分析グループのために、アイテムに、UNKNOWN（未知）、TRUSTED（安全）、SUSPICIOUS（疑わしい）、またはMALICIOUS（悪意がある）というタグを付けるように、ワークフローを提供できる分析器108を、ユーザーに通知することができる。
たとえば、分析器106は、タグ付けされ分類されたファイルを出力でき、分類された（たとえば、悪意のあるものとして分類されるか、または、設定されたしきい値パーセンテージを超えて悪意のあることの確信度を持って分類された）ファイルは、ディスク110に保存されることができ、一方、分析器106からの分析結果を記述したメタデータは、データベース112に保存されることができる。
分析器106の結果として生じるディスク110は、コンテンツとセッションメタデータの大きなセットにおいて、カスタムフィルタリングをすることを許すGUIビューア114によって見ることができる。
GUIイベントビューア114は、検出閾値の構成（コンフィギュレーション）（例えば、最初から組み込むか、またはユーザ定義される）に基づいてファイルを見出し、以下に詳細に説明されるように、協力的な分析グループのために、アイテムに、UNKNOWN（未知）、TRUSTED（安全）、SUSPICIOUS（疑わしい）、またはMALICIOUS（悪意がある）というタグを付けるように、ワークフローを提供できる分析器108を、ユーザーに通知することができる。
【0019】
また、スケーラブルファイル分析器106の結果は、脅威知能供給装置と関連付けられるように構成され、相互運用性と拡張性のためにユーザー定義可能なシステムに出力されるように構成してもよく、あるいは、ワークフローは、付加的な分析のために、ポスト分析器18に、ファイルを転送（ルーティング）できる。
ポスト分析サブシステム116は、ディスク112から、タグ付けされて分類されたファイルを検索し、インタフェース118を通って、ポスト分析器18に出力できる。
インタフェース118は、さまざまなスピードを持つ各種のネットワークインタフェースのうちのいずれでもよい（例えば、1G MGMTインタフェース）。
分析器106からのメタデータ出力は、また、アウトプットサブシステム120により検索されることができ、インタフェース118を通して、セキュリティ情報とイベントの管理（SIEM）ツール19などの他のツールに、外部に出力できる。
オープンなアプローチとテクノロジーは、情報コミュニティの統合に適用できる。
システム10の実施形態は、仕事量によって重み付けられたデータの経路制御（ルーティング）、全体の分析ステータス、流行しているファイル、ホスト、およびヒットのスナップショットを示すダッシュボードも提供する。
ポスト分析サブシステム116は、ディスク112から、タグ付けされて分類されたファイルを検索し、インタフェース118を通って、ポスト分析器18に出力できる。
インタフェース118は、さまざまなスピードを持つ各種のネットワークインタフェースのうちのいずれでもよい（例えば、1G MGMTインタフェース）。
分析器106からのメタデータ出力は、また、アウトプットサブシステム120により検索されることができ、インタフェース118を通して、セキュリティ情報とイベントの管理（SIEM）ツール19などの他のツールに、外部に出力できる。
オープンなアプローチとテクノロジーは、情報コミュニティの統合に適用できる。
システム10の実施形態は、仕事量によって重み付けられたデータの経路制御（ルーティング）、全体の分析ステータス、流行しているファイル、ホスト、およびヒットのスナップショットを示すダッシュボードも提供する。
【0020】
分析的なアプローチまたは実施形態は、次のことをすることである：
1. アナリストが好むツールを利用し（防止しないか、または再実行しない）、より早い識別とメタ分析的な認知のために、ネットワークゲートウェイで、それらが、協力的に動作できるようにすること。
2. 回復力があり、正確で、高速なマルウェア検出を提供することによって、現在の能力が賞賛されるように、いままでにない新しい分析を配信すること。
1. アナリストが好むツールを利用し（防止しないか、または再実行しない）、より早い識別とメタ分析的な認知のために、ネットワークゲートウェイで、それらが、協力的に動作できるようにすること。
2. 回復力があり、正確で、高速なマルウェア検出を提供することによって、現在の能力が賞賛されるように、いままでにない新しい分析を配信すること。
【0021】
図1Aの継続的参照によれば、ネットワークデータ特性評価のためのシステム10の実施形態は、７つのユーザー設定可能な分析器108をホストする。
以下の表１は、システム10の実施形態においてホストされた分析器108のリストを提供している。
以下の表１は、システム10の実施形態においてホストされた分析器108のリストを提供している。
【0022】
【表1】
Hector ヘクター ： 以前に非可視であったマルウェアの検出のための分析器に基づいて学習する高度に構成（コンフィギュレーション）可能なマシン
hURI ： 疑わしいURL特性評価に対するマシン学習アプローチ
ClamAV ： マルウェア検出のための署名に基づく分析器
Extractor ： 暗号化されたアーカイブファイルのためのパスワードクラッカー分析器
PEScanner ： PE32とMS-DOSのためのポータブルな実行可能分析器
YARA ： マルウェア検出のためのルールに基づくパターンマッチング分析器
Intel Lookup インテルルックアップ ： 署名されたプロセスのためのインテル相関分析器
【0023】
ヘクター（Hector）は、以前に非可視であったマルウェアを検出する高度に構成（コンフィギュレーション）可能なマシン学習予言テクニックを利用する予言的でマシン学習する私有の分析器であり、コンテンツが悪意に満ちている可能性を示すパーセンテージ（すなわち、ファイルが悪意に満ちているという確信度を示している確信度パーセンテージ）を用いて、マルウェアを検出し、コンテンツを分類するかまたは特徴付けるために、特徴ベースの分析と特性評価を利用する。
ヘクターの実施形態と、ヘクターの実施形態によって使われたプロセスは、「自動化されたマシン学習、ゼロデイマルウェア検出のための改善されたシステムおよび方法」という表題の出願中の米国特許出願番号14/038,682において、説明されており、従って、それは参照することにより、そっくりそのまま組み入れられる。
ヘクター分析器の実施形態は、特徴ベースのアルゴリズムを使うか、またはファイルから引き出された特徴の比較に基づいて、ファイルが悪意に満ちているかの確信度パーセンテージを出力して、コンテンツが悪意のあるものかどうかを決定するためのプロセスを使うことができ、既知の悪意のあるファイルおよび既知の安全なファイルの特徴から造られた分類器を使うことができる。
実施形態は、また、たとえば、URLを、疑わしい、きれい、あるいは汚いに分類するための高度に構成（コンフィギュレーション）可能なマシン学習テクニックを利用するhURIの私有の分析器をホストしてもよい。
hURIセンサーは、ドメイン名の意味解析に基づいて、URLを分類できる。
ヘクターの実施形態と、ヘクターの実施形態によって使われたプロセスは、「自動化されたマシン学習、ゼロデイマルウェア検出のための改善されたシステムおよび方法」という表題の出願中の米国特許出願番号14/038,682において、説明されており、従って、それは参照することにより、そっくりそのまま組み入れられる。
ヘクター分析器の実施形態は、特徴ベースのアルゴリズムを使うか、またはファイルから引き出された特徴の比較に基づいて、ファイルが悪意に満ちているかの確信度パーセンテージを出力して、コンテンツが悪意のあるものかどうかを決定するためのプロセスを使うことができ、既知の悪意のあるファイルおよび既知の安全なファイルの特徴から造られた分類器を使うことができる。
実施形態は、また、たとえば、URLを、疑わしい、きれい、あるいは汚いに分類するための高度に構成（コンフィギュレーション）可能なマシン学習テクニックを利用するhURIの私有の分析器をホストしてもよい。
hURIセンサーは、ドメイン名の意味解析に基づいて、URLを分類できる。
【0024】
実施形態は、ネットワークデータ特性評価のためのサードパーティまたはオープンソースツールを、ホストしてもよい。
たとえば、システム10の実施形態は、ClamAVなどのマルウェア検出のための署名ベースの分析器をホストしてもよい。システム10の実施形態は、抽出器（Extractor）などの暗号化されたアーカイブファイル分析と特性評価のためのパスワードクラッカー分析器をホストしてもよい。
システム10の実施形態は、PEScannerなどのPE32とMS-DOS実行ファイルの分析と特性評価のためのポータブルな実行可能分析器をホストしてもよい。
システム10の実施形態は、YARAなどのマルウェア検出と特性評価のためのルールベースのパターンマッチング分析器をホストしてもよい。
同様に、システム10の実施形態は、インテルルックアップ（Intel Lookup）などの署名されたプロセスのためのインテル相関分析器をホストしてもよい。
これらおよび他の分析器は、システム10の実施形態によってホストしてもよい。
たとえば、システム10の実施形態は、ClamAVなどのマルウェア検出のための署名ベースの分析器をホストしてもよい。システム10の実施形態は、抽出器（Extractor）などの暗号化されたアーカイブファイル分析と特性評価のためのパスワードクラッカー分析器をホストしてもよい。
システム10の実施形態は、PEScannerなどのPE32とMS-DOS実行ファイルの分析と特性評価のためのポータブルな実行可能分析器をホストしてもよい。
システム10の実施形態は、YARAなどのマルウェア検出と特性評価のためのルールベースのパターンマッチング分析器をホストしてもよい。
同様に、システム10の実施形態は、インテルルックアップ（Intel Lookup）などの署名されたプロセスのためのインテル相関分析器をホストしてもよい。
これらおよび他の分析器は、システム10の実施形態によってホストしてもよい。
【0025】
マシン学習：自動化された検索（サーチ）と発見
図1Aと表1の継続的参照によれば、ヘクターとhURIにより使われるようなマシン学習は、様々なオブジェクト例への露出を介して、異なるタイプまたはクラスのオブジェクトを区別するために、コンピュータを訓練するのに使われ、顔の認識、音声認識、画像処理などの多くの分野で、うまく適用されている。
重要なステップは、クラスの違いを学習するのに使われるオブジェクト特徴の選択である。
学習プロセスの結果は、分類器（classifier）と呼ばれる。
分類器は、コンピュータが前に一度も見たことがなく、従って同様なタイプのオブジェクトをサーチするために使用できるオブジェクトのクラスを、コンピュータが予測できるようにする。
マシン学習アルゴリズムの自動化によって、全体のオブジェクトスペースを調査するのに必要な時間を大きく削減する。
図1Aと表1の継続的参照によれば、ヘクターとhURIにより使われるようなマシン学習は、様々なオブジェクト例への露出を介して、異なるタイプまたはクラスのオブジェクトを区別するために、コンピュータを訓練するのに使われ、顔の認識、音声認識、画像処理などの多くの分野で、うまく適用されている。
重要なステップは、クラスの違いを学習するのに使われるオブジェクト特徴の選択である。
学習プロセスの結果は、分類器（classifier）と呼ばれる。
分類器は、コンピュータが前に一度も見たことがなく、従って同様なタイプのオブジェクトをサーチするために使用できるオブジェクトのクラスを、コンピュータが予測できるようにする。
マシン学習アルゴリズムの自動化によって、全体のオブジェクトスペースを調査するのに必要な時間を大きく削減する。
【0026】
例えば、ネットワークデータ特性評価のシステムと方法の実施形態において使われたヘクターの実施形態において、マシン学習は、マルウェアを安全なソフトウェアと区別するために、特徴の複雑な組み合わせに基づいて、ソフトウェア分類器を造るように適用され、大量のトラフィックをサーチするように適用される。
ネットワークデータ特性評価のシステムと方法の実施形態は、ネットワークトラフィックを検査し、人間の分析者は、起こる可能性の高いイベントを検査することに傾注する。
このアプローチは、署名とサンドボックスに基づくアプローチとは違った利点を持ってる。第一に、ヘクターにおいて、ここで記載された実施形態によって利用されたアプローチは、すべてのもの、すなわち、全部のまたは事実上全部のネットワークトラフィックが検査できるように、非常に高いトラフィック量にまで、拡張される。
前置フィルタまたは上流間引きの他の形態は、必要ではない。第二に、署名あるいは行動と違って、ヘクター分類器は、変化するマルウェアと戦術に対して、回復力がある。
脅威が変化した何年も後でも、分類器が脅威を発見できることは示された。
このことは、検出の可能性と精度を増大させる。
ヘクターの実施形態は、以下のファイルのタイプの分析を支援する：PE32s、PDF、MS-DOS実行ファイル、MS Word、PowerPoint、Excel、CDF/MSI、アンドロイドAPK、JAR、ELF、WindowsインストーラXML、ビットマップ、およびGIF。
ネットワークデータ特性評価のシステムと方法の実施形態は、ネットワークトラフィックを検査し、人間の分析者は、起こる可能性の高いイベントを検査することに傾注する。
このアプローチは、署名とサンドボックスに基づくアプローチとは違った利点を持ってる。第一に、ヘクターにおいて、ここで記載された実施形態によって利用されたアプローチは、すべてのもの、すなわち、全部のまたは事実上全部のネットワークトラフィックが検査できるように、非常に高いトラフィック量にまで、拡張される。
前置フィルタまたは上流間引きの他の形態は、必要ではない。第二に、署名あるいは行動と違って、ヘクター分類器は、変化するマルウェアと戦術に対して、回復力がある。
脅威が変化した何年も後でも、分類器が脅威を発見できることは示された。
このことは、検出の可能性と精度を増大させる。
ヘクターの実施形態は、以下のファイルのタイプの分析を支援する：PE32s、PDF、MS-DOS実行ファイル、MS Word、PowerPoint、Excel、CDF/MSI、アンドロイドAPK、JAR、ELF、WindowsインストーラXML、ビットマップ、およびGIF。
【0027】
競争相手のマルウェア検出ツールは、以前に検出されたマルウェアを示す情報に依存していることに注目すべきである。
これらのツールは、ファイルが、以前に検出されたマルウェアであるかどうかを示すハッシュ（hash）を作成し、アップデートする。
このパラダイム（枠組）についての問題は、それが、マルウェア検出ツールに報告されているマルウェアの以前の検出に依存していることである。
従って、マルウェアが検出されて検出ツールに含められる前に、数日、数週、数ヶ月かかるかもしれない。
また、そのようなツールは、それらのハッシュとマッチするファイルを分析するだけであり、以前に検出されなかったマルウェアを、必ず、通過させる。
ヘクターと他のマシン学習テクニックを利用するここに記載された実施形態は、ハッシュを気にすることなく、ほとんどリアルタイムで、マルウェアを検出する。
ここに記載された実施形態は、ハッシュとマッチするファイルだけでなく、受信したすべてのファイルも分析する。
さらに、実施形態は、受信したすべてのファイル、現在のサンドボックスツールで実用的に処置できないものでも分析できる。
これらのツールは、ファイルが、以前に検出されたマルウェアであるかどうかを示すハッシュ（hash）を作成し、アップデートする。
このパラダイム（枠組）についての問題は、それが、マルウェア検出ツールに報告されているマルウェアの以前の検出に依存していることである。
従って、マルウェアが検出されて検出ツールに含められる前に、数日、数週、数ヶ月かかるかもしれない。
また、そのようなツールは、それらのハッシュとマッチするファイルを分析するだけであり、以前に検出されなかったマルウェアを、必ず、通過させる。
ヘクターと他のマシン学習テクニックを利用するここに記載された実施形態は、ハッシュを気にすることなく、ほとんどリアルタイムで、マルウェアを検出する。
ここに記載された実施形態は、ハッシュとマッチするファイルだけでなく、受信したすべてのファイルも分析する。
さらに、実施形態は、受信したすべてのファイル、現在のサンドボックスツールで実用的に処置できないものでも分析できる。
【0028】
図1Aの継続的参照によれば、特性評価センサー12は、単一のコンテナ物理的器具（アプライアンス）として実装できる（すなわち、１つのボックス）。特性評価センサー12は、256GBメモリーを持つ2U x86-ベースの器具（アプライアンス）として実装できる。
実施形態において、特性評価センサー12は、２つの1Gbps RJ45管理ネットワークインタフェースカード（NICs）と、２つから６つの10Gbps SFP+ハイエンドデータ処理NICsを持っている。
特性評価センサー12は、強化されたCentOS上で動作させることができ、暗号化されたおよび署名されたRPMsを使って管理される。
特性評価センサーは、複数のx86-ベースの器具、他のプロセッサベースの器具、例えば、ブレードがあるサーバのスタック上に実装できる。
実施形態において、特性評価センサー12は、２つの1Gbps RJ45管理ネットワークインタフェースカード（NICs）と、２つから６つの10Gbps SFP+ハイエンドデータ処理NICsを持っている。
特性評価センサー12は、強化されたCentOS上で動作させることができ、暗号化されたおよび署名されたRPMsを使って管理される。
特性評価センサーは、複数のx86-ベースの器具、他のプロセッサベースの器具、例えば、ブレードがあるサーバのスタック上に実装できる。
【0029】
相互運用性：ここで記載された実施形態の相互運用性は、オープンな標準ベースのインタフェースを通して提供できる。
例えば、実施形態は、RESTful APIサービスを提供し、syslog、共通イベントフォーマット（CEF）、JSON、XML、および他の標準で、データを露呈させる。
実施形態は、インジケータ情報の信頼され自動化されたeXchange(Trusted Automated eXchange of Indicator Information TAXII)と、他の構造化処理情報交換(Structured Treat Information Exchange STIX)標準の消費を、実装する。
抽出されたファイルは、より広い分析エコシステムで、相互運用するために公開できる。
例えば、実施形態は、RESTful APIサービスを提供し、syslog、共通イベントフォーマット（CEF）、JSON、XML、および他の標準で、データを露呈させる。
実施形態は、インジケータ情報の信頼され自動化されたeXchange(Trusted Automated eXchange of Indicator Information TAXII)と、他の構造化処理情報交換(Structured Treat Information Exchange STIX)標準の消費を、実装する。
抽出されたファイルは、より広い分析エコシステムで、相互運用するために公開できる。
【0030】
拡張性（スケーラビリティ）：実施形態は、標準の負荷平衡化テクニックによって、10Gbpsデータ転送速度よりも高く拡張（スケール）できる。
マシン学習アプローチに必要な処理を縮小させるために、サンドボックスベースのアプローチを拡張するよりもずっと少ないハードウェアが必要である。
次に、図1Bの参照によって、ネットワークデータ特性評価のシステム10の別の実施形態が示される。
図示されるように、システム10の実施形態は、特性評価センサー12がピアツーピアメッシュ(peer-to-peer mesh)に配置される複数の特性評価センサー12を含む管理へのデータグリッド(data grid)アプローチを実装できる。
図示されたデータグリッドにおいて、個々の特性評価センサー12は、頑強でトランザクション(transactional)の方式で、不揮発性の状態を共有し、それによって、中心的な管理者を取り除き、データと構成（コンフィギュレーション）の冗長性を提供し、全体の管理とアーキテクチャを簡素化する。
この方法では、多数の特性評価センサー12は、データグリッドと呼ばれるピアツーピアメッシュで、お互いに接続され、各特性評価センサー12は、他のセンサー12に対し、回復力と冗長性を提供する。
そのような配置において、特性評価センサー12は、ディスク110とデータベース112を共有できる。
あるいは、個々の特性評価センサー12は、内部のディスク110とデータベース112の二重の保存場所を、内部的に維持できる（図1Bに図示しない）。
この方法では、特性評価センサー12の小型のクラウドが、もし１つの特性評価センサー12が、オフライン動作である場合に、冗長な設定とデータを持つ他の特性評価センサー12に基づいて置き換えられるように、実装される。
マシン学習アプローチに必要な処理を縮小させるために、サンドボックスベースのアプローチを拡張するよりもずっと少ないハードウェアが必要である。
次に、図1Bの参照によって、ネットワークデータ特性評価のシステム10の別の実施形態が示される。
図示されるように、システム10の実施形態は、特性評価センサー12がピアツーピアメッシュ(peer-to-peer mesh)に配置される複数の特性評価センサー12を含む管理へのデータグリッド(data grid)アプローチを実装できる。
図示されたデータグリッドにおいて、個々の特性評価センサー12は、頑強でトランザクション(transactional)の方式で、不揮発性の状態を共有し、それによって、中心的な管理者を取り除き、データと構成（コンフィギュレーション）の冗長性を提供し、全体の管理とアーキテクチャを簡素化する。
この方法では、多数の特性評価センサー12は、データグリッドと呼ばれるピアツーピアメッシュで、お互いに接続され、各特性評価センサー12は、他のセンサー12に対し、回復力と冗長性を提供する。
そのような配置において、特性評価センサー12は、ディスク110とデータベース112を共有できる。
あるいは、個々の特性評価センサー12は、内部のディスク110とデータベース112の二重の保存場所を、内部的に維持できる（図1Bに図示しない）。
この方法では、特性評価センサー12の小型のクラウドが、もし１つの特性評価センサー12が、オフライン動作である場合に、冗長な設定とデータを持つ他の特性評価センサー12に基づいて置き換えられるように、実装される。
【0031】
性能：実施形態は、1および10Gbpsネットワークリンクで、動作するように設計される。
実施形態は、多様なプロトコルと、高速ゲートウェイリンク上の多量のウェブトラフィックとを、メモリー内分析するために、造られることを目的としてもよい。
このことは、1秒あたり最高1000のオブジェクトの収集と、ウェブとEメールプロトコルのための企業ゲートウェイの典型的な量のトラフィックとを可能にする。
実施形態は、多様なプロトコルと、高速ゲートウェイリンク上の多量のウェブトラフィックとを、メモリー内分析するために、造られることを目的としてもよい。
このことは、1秒あたり最高1000のオブジェクトの収集と、ウェブとEメールプロトコルのための企業ゲートウェイの典型的な量のトラフィックとを可能にする。
【0032】
セキュリティ：実施形態は、ハードディスク暗号化を支援する信頼されたプラットフォームモジュール（trusted platform module TPM）をてこ入れした強化されたCentOSプラットフォーム上で、暗号化されたRPMパッケージマネジャー（RPMs）として、管理してもよい。
【0033】
次に、図２の参照によって、ネットワークデータ特性評価の方法２０の実施形態が示される。
方法20は、ここに記載されたように、例えば図1A-1Bを参照して、特性評価センサーを含むシステムによって実装してもよい。
方法20は、ネットワークデータを受信する（ブロック202）。
上記に記載されたように、特性評価センサー12は、外部ネットワーク14および／または内部ネットワーク16と接続するインタフェースを通して、ネットワークデータ（例えばイベント）を受信することができる。
データコレクターは、データ供給装置として、例えばSMTP、HTTP、およびFTP供給装置として、ネットワークデータを受信することができる。
データコレクターは、受信されたネットワークデータから、イベントとコンテンツをアセンブルすることができる（ブロック204）。
上記で言及したように、イベントはコンテンツを含んでもよい（例えばファイル）。さらに、実施形態は、たとえば、マニュアルでのファイルアップロードのためのGUI/CLI-ベースのコレクターか、あるいは、ファイルベースのAPIコレクターによって、コンテンツ（例えばファイル）のアップロードを許すものであってもよい（ブロック206）。
イベントとコンテンツは、データメッセージに変換される（ブロック208）。
メッセージは、その中に含まれているイベントとコンテンツを特定するメタデータを含んでもよい。
メッセージは、個々の分析器の1つ以上の署名に基づいて、特性評価センサー12の中の複数の分析器のうちの1つ以上に転送（ルーティング）される、ブロック210。
分析器の署名は、特定のメッセージ基準によって定義されてもよい。
もし与えられたメッセージが、分析器の署名の特定のメッセージ基準を満たしている場合、例えば、特定の基準を、メッセージに含まれているメタデータと比較することによって、メッセージが決定される場合、そのメッセージは分析器に転送（ルーティング）される。
上記で言及したように、個々の分析器は、メッセージの１以上のタイプに署名することができ、方法20の実施形態では、多数の分析器が、同じタイプのメッセージに署名することができる。
方法20は、ここに記載されたように、例えば図1A-1Bを参照して、特性評価センサーを含むシステムによって実装してもよい。
方法20は、ネットワークデータを受信する（ブロック202）。
上記に記載されたように、特性評価センサー12は、外部ネットワーク14および／または内部ネットワーク16と接続するインタフェースを通して、ネットワークデータ（例えばイベント）を受信することができる。
データコレクターは、データ供給装置として、例えばSMTP、HTTP、およびFTP供給装置として、ネットワークデータを受信することができる。
データコレクターは、受信されたネットワークデータから、イベントとコンテンツをアセンブルすることができる（ブロック204）。
上記で言及したように、イベントはコンテンツを含んでもよい（例えばファイル）。さらに、実施形態は、たとえば、マニュアルでのファイルアップロードのためのGUI/CLI-ベースのコレクターか、あるいは、ファイルベースのAPIコレクターによって、コンテンツ（例えばファイル）のアップロードを許すものであってもよい（ブロック206）。
イベントとコンテンツは、データメッセージに変換される（ブロック208）。
メッセージは、その中に含まれているイベントとコンテンツを特定するメタデータを含んでもよい。
メッセージは、個々の分析器の1つ以上の署名に基づいて、特性評価センサー12の中の複数の分析器のうちの1つ以上に転送（ルーティング）される、ブロック210。
分析器の署名は、特定のメッセージ基準によって定義されてもよい。
もし与えられたメッセージが、分析器の署名の特定のメッセージ基準を満たしている場合、例えば、特定の基準を、メッセージに含まれているメタデータと比較することによって、メッセージが決定される場合、そのメッセージは分析器に転送（ルーティング）される。
上記で言及したように、個々の分析器は、メッセージの１以上のタイプに署名することができ、方法20の実施形態では、多数の分析器が、同じタイプのメッセージに署名することができる。
【0034】
また、メッセージを転送（ルーティング）すること（210）は、時間と負荷を処理して
、資源割り当てに基づくものとすることができる。
例えば、実施形態は、以下に記載されるように、ピアツーピアグリッドの複数の特性評価センサー12を構成してもよい。
そのようなものとして、転送（ルーティング、210）は、与えられた特性評価センサーの
現在の負荷を考慮してもよく、処理される負荷をよりよく平衡させるために、メッセージを、異なる特性評価センサーに、転送（ルーティング）してもよい210。
、資源割り当てに基づくものとすることができる。
例えば、実施形態は、以下に記載されるように、ピアツーピアグリッドの複数の特性評価センサー12を構成してもよい。
そのようなものとして、転送（ルーティング、210）は、与えられた特性評価センサーの
現在の負荷を考慮してもよく、処理される負荷をよりよく平衡させるために、メッセージを、異なる特性評価センサーに、転送（ルーティング）してもよい210。
【0035】
分析器が、署名され転送（ルーティング）されたデータメッセージを受信するとき、分析器は、特定の分析アルゴリズムとテクニックによって、データメッセージ内に含まれているコンテンツを分析し、その分析に基づいて、特性評価の結果を生成する（ブロック212）。
特性評価の結果は、分析と、特性評価の結果と、分析されたコンテンツ（例えばファイル）とを記述しているメタデータを含んでもよい。
分析されたファイルは、例えば、メタデータおよび、ファイルが悪意のあるものか、ファイルが安全であるか、または、ファイルが悪意のあることの可能性を示しているパーセンテージの表示で、タグ付けしてもよい。
上記で言及したように、実施形態は、専有の分析器、サードパーティの分析器、および／またはオープンソース分析器を含む複数の分析器を含む。
実施形態は、上記に記載したように、ヘクターやhURIなどのマシン学習分析器を含む。
複数の分析器の特性評価の結果は、収集され、結合され、システムGUIでの視覚化、また
は基準と閾値に基づく他のその後の行動のために、例えばスケーラブルファイル分析器から出力することができる（ブロック214）。
特性評価の結果は、例えば、フラグまたは、分析器が、ファイルが悪意のあるものであると考えるか、またはファイルが悪意のあるものである可能性のパーセンテージを考慮した他の表示を含むことができる。
出力すること（214）は、特性評価メタデータをデータベースに保存することと、分類されたファイルをディスクスペースに保存することを含んでもよい。
出力すること（214）は、結合された特性評価の結果が、ユーザーに有益な方法で（例えばここで説明されたGUIを通じて）、提供されるように、特性評価データの結果の付加的な処理を含んでもよい。
特性評価の結果は、分析と、特性評価の結果と、分析されたコンテンツ（例えばファイル）とを記述しているメタデータを含んでもよい。
分析されたファイルは、例えば、メタデータおよび、ファイルが悪意のあるものか、ファイルが安全であるか、または、ファイルが悪意のあることの可能性を示しているパーセンテージの表示で、タグ付けしてもよい。
上記で言及したように、実施形態は、専有の分析器、サードパーティの分析器、および／またはオープンソース分析器を含む複数の分析器を含む。
実施形態は、上記に記載したように、ヘクターやhURIなどのマシン学習分析器を含む。
複数の分析器の特性評価の結果は、収集され、結合され、システムGUIでの視覚化、また
は基準と閾値に基づく他のその後の行動のために、例えばスケーラブルファイル分析器から出力することができる（ブロック214）。
特性評価の結果は、例えば、フラグまたは、分析器が、ファイルが悪意のあるものであると考えるか、またはファイルが悪意のあるものである可能性のパーセンテージを考慮した他の表示を含むことができる。
出力すること（214）は、特性評価メタデータをデータベースに保存することと、分類されたファイルをディスクスペースに保存することを含んでもよい。
出力すること（214）は、結合された特性評価の結果が、ユーザーに有益な方法で（例えばここで説明されたGUIを通じて）、提供されるように、特性評価データの結果の付加的な処理を含んでもよい。
【0036】
図２の継続的参照によれば、特性評価の結果は、基準および閾値と比較できる（ブロック216）。
基準および閾値は、企業の必要性と要求に基づいて、またはシステムの他のユーザーに基づいて、修正され、設定してもよい。
基準は、もし満たしていたら、採るべきその後の行動を指令することができ、一方、閾値は、分析されたコンテンツが悪意があるとみなすべき閾値を満たすかどうかを指令することができる。
例えば、もし、特性評価の結果が、ヘクターがファイルを65パーセント（65%）程度悪意があるものとみなし、企業ユーザーが閾値として50パーセント（50%）を設定しファイルを悪意があるものとしてフラグを付ける基準を設定すること、企業により一層のレビュー結果リストを含めるためにファイルにフラグを付けること、システムのGUI視覚化にファイルを含めること、より一層の行動を指示することなどを示している場合には、そのとき、システムは、表示された行動を取る。
その結果、方法20は、視覚化され、および／または、比較（216）に基づいて、他の行動を取る（ブロック218）。
基準および閾値は、企業の必要性と要求に基づいて、またはシステムの他のユーザーに基づいて、修正され、設定してもよい。
基準は、もし満たしていたら、採るべきその後の行動を指令することができ、一方、閾値は、分析されたコンテンツが悪意があるとみなすべき閾値を満たすかどうかを指令することができる。
例えば、もし、特性評価の結果が、ヘクターがファイルを65パーセント（65%）程度悪意があるものとみなし、企業ユーザーが閾値として50パーセント（50%）を設定しファイルを悪意があるものとしてフラグを付ける基準を設定すること、企業により一層のレビュー結果リストを含めるためにファイルにフラグを付けること、システムのGUI視覚化にファイルを含めること、より一層の行動を指示することなどを示している場合には、そのとき、システムは、表示された行動を取る。
その結果、方法20は、視覚化され、および／または、比較（216）に基づいて、他の行動を取る（ブロック218）。
【0037】
言及したように、視覚化のための基準と閾値は、調整できる。
すなわち、基準と閾値は、ユーザーによって、修正されて、設定できる。
特性評価センサーの実施形態において、基準と閾値は、例えば企業または他のユーザーのセキュリティ感度の理解に基づいて、既定値レベル（default level）に設定してもよい。
例えば、企業に不利なリスクがますます増加するのであれば、ファイルを、悪意があるものとして、フラグ付けし、リスト化し、視覚化するように、閾値をより低く設定すればよい。
企業および他のユーザーは、それらの初期の設定またはその後の設定の結果に基づいて、これらの設定を適合させるか、または調整できる。
例えば、効果的なその後のレビューのために、非常に多くのファイルが、フラグ付けされ、視覚化された場合、そのようなフラグ付けと視覚化のための基準と閾値は、高くすればよい。
その結果、方法20は、ユーザーが、基準および／または閾値に、変化を設定しているかどうかを決定できる（ブロック220）。
もし変化が設定されるならば、方法20は、基準および／または閾値への変化を受け入れ（ブロック222）、これらの変化を処理する（ブロック224）。
処理224は、変化を引き起こし、システムに、特性評価の結果を、基準および閾値と再度比較させ（216）、その再比較に基づいて、視覚化、および／または、他の行動を取らせるようにすることができる（218）。
もし、基準および／または閾値に変化が起こらなければ、上記に記載したように、方法20は、ネットワークデータを受信し（202）、特性評価または分類を継続しつづける。
すなわち、基準と閾値は、ユーザーによって、修正されて、設定できる。
特性評価センサーの実施形態において、基準と閾値は、例えば企業または他のユーザーのセキュリティ感度の理解に基づいて、既定値レベル（default level）に設定してもよい。
例えば、企業に不利なリスクがますます増加するのであれば、ファイルを、悪意があるものとして、フラグ付けし、リスト化し、視覚化するように、閾値をより低く設定すればよい。
企業および他のユーザーは、それらの初期の設定またはその後の設定の結果に基づいて、これらの設定を適合させるか、または調整できる。
例えば、効果的なその後のレビューのために、非常に多くのファイルが、フラグ付けされ、視覚化された場合、そのようなフラグ付けと視覚化のための基準と閾値は、高くすればよい。
その結果、方法20は、ユーザーが、基準および／または閾値に、変化を設定しているかどうかを決定できる（ブロック220）。
もし変化が設定されるならば、方法20は、基準および／または閾値への変化を受け入れ（ブロック222）、これらの変化を処理する（ブロック224）。
処理224は、変化を引き起こし、システムに、特性評価の結果を、基準および閾値と再度比較させ（216）、その再比較に基づいて、視覚化、および／または、他の行動を取らせるようにすることができる（218）。
もし、基準および／または閾値に変化が起こらなければ、上記に記載したように、方法20は、ネットワークデータを受信し（202）、特性評価または分類を継続しつづける。
【0038】
次に、図３の参照によって、ネットワークデータ特性評価の方法３０の実施形態が、どのように特性評価の結果を処理するかを、もっと詳しく説明したプロセスを示す。
示されたプロセスは、どのように、方法30の実施形態が、特性評価の結果を、基準および閾値と比較し（例えばブロック216を参照）、視覚化し、および／または、比較に基づいて他の行動を取ることができるかを示す（例えばブロック218を参照）。
方法30は、分析器から（例えば、スケーラブルファイル分析器から）、特性評価の結果を受信することができる（ブロック302）。現在の基準と閾値の設定が、検索される（ブロック304）。
方法30は、例えば、特性評価の結果のメタデータと、基準および／または閾値を比較することによって、どの基準と閾値が満たされているかを、決定する（ブロック306）。
方法30は、その後、決定306に基づいて、各種の行動のうちのいずれか1つ以上の行動を取ることができる（ブロック308）。
図 3は、実施形態が取ることのできる行動の例を記載している（308）。
より一層の分析が、外部の分析器により実施できることに注目せよ。
示されたプロセスは、どのように、方法30の実施形態が、特性評価の結果を、基準および閾値と比較し（例えばブロック216を参照）、視覚化し、および／または、比較に基づいて他の行動を取ることができるかを示す（例えばブロック218を参照）。
方法30は、分析器から（例えば、スケーラブルファイル分析器から）、特性評価の結果を受信することができる（ブロック302）。現在の基準と閾値の設定が、検索される（ブロック304）。
方法30は、例えば、特性評価の結果のメタデータと、基準および／または閾値を比較することによって、どの基準と閾値が満たされているかを、決定する（ブロック306）。
方法30は、その後、決定306に基づいて、各種の行動のうちのいずれか1つ以上の行動を取ることができる（ブロック308）。
図 3は、実施形態が取ることのできる行動の例を記載している（308）。
より一層の分析が、外部の分析器により実施できることに注目せよ。
【0039】
次に、図4Aと図 4Bの参照によって、ネットワークデータの特性評価のためのシステムと方法の実施形態によって、生成された特性評価の結果の視覚化を描写しているダッシュボード視覚化GUI40のスクリーンショット（画面コピー）が示される。
図4Aに示すように、ダッシュボード視覚化GUI40は、一定の期間（たとえば、直前の１時間）内に受信されたイベントの特性評価のステータスの表示を提供できる。
例えば、特性評価ステータスとは、未知、信頼、悪意、疑わしい、あるいは、さらにレビュー必要とのことである。
ダッシュボード視覚化GUI40は、一定の期間（たとえば、直前の１時間）内のファイルデータフローの描写も含んでもよい。
ファイルデータフローは、例えばHTTP、SMTP、FTP、CLI注入ファイル、およびGUIアップロードファイルのある期間内に受信したファイルソースタイプの量を図示している。
フローでは、受信されたコンテンツと、署名され受信され個々の分析器により分析されたファイルの量を分析した分析器も図示している。
ダッシュボード視覚化GUI40は、様々な分析器によって、悪意のあるもの、あるいは、悪意がありそうなもの（例えば、フラグがつけられた）として、分類された分析ファイルの量も、図示している。
図4Aに示すように、ダッシュボード視覚化GUI40は、一定の期間（たとえば、直前の１時間）内に受信されたイベントの特性評価のステータスの表示を提供できる。
例えば、特性評価ステータスとは、未知、信頼、悪意、疑わしい、あるいは、さらにレビュー必要とのことである。
ダッシュボード視覚化GUI40は、一定の期間（たとえば、直前の１時間）内のファイルデータフローの描写も含んでもよい。
ファイルデータフローは、例えばHTTP、SMTP、FTP、CLI注入ファイル、およびGUIアップロードファイルのある期間内に受信したファイルソースタイプの量を図示している。
フローでは、受信されたコンテンツと、署名され受信され個々の分析器により分析されたファイルの量を分析した分析器も図示している。
ダッシュボード視覚化GUI40は、様々な分析器によって、悪意のあるもの、あるいは、悪意がありそうなもの（例えば、フラグがつけられた）として、分類された分析ファイルの量も、図示している。
【0040】
次に、図4Bの参照によって、ダッシュボードGUI40は、一定の期間内に、悪意のあるもの、あるいは、悪意がありそうなもの（例えば、フラグがつけられた）と考えられるファイルの数を、ファイルのタイプによって、図示している。
さらに、ダッシュボードGUI40は、一定の期間内に、悪意のあるイベント、あるいは、悪意がありそうなイベントのソース（ここでは、ホストとして参照される）のランク付けされたリスト（例えば、疑わしいホスト）を提供している。
ランク付けされたリストは、ホストまたはソースから受信された悪意のあるイベント、あるいは、悪意がありそうなイベントの数によってランク付けされる。
さらに、ダッシュボードGUI40は、分析器（例えば、Yara、ClamAV、ヘクターなど）またはすべての分析器によって、悪意のあるもの、あるいは、悪意がありそうなものとしてフラグが付けられたファイルのランク付けされたリストなどの他のランク付けされたリストを提供してもよい。
特性評価の結果と、ダッシュボードGUIに描かれた他のデータは、上記のように設定された基準と閾値によって決定され、企業または他のユーザーによって構成することが可能である。
さらに、ダッシュボードGUI40は、一定の期間内に、悪意のあるイベント、あるいは、悪意がありそうなイベントのソース（ここでは、ホストとして参照される）のランク付けされたリスト（例えば、疑わしいホスト）を提供している。
ランク付けされたリストは、ホストまたはソースから受信された悪意のあるイベント、あるいは、悪意がありそうなイベントの数によってランク付けされる。
さらに、ダッシュボードGUI40は、分析器（例えば、Yara、ClamAV、ヘクターなど）またはすべての分析器によって、悪意のあるもの、あるいは、悪意がありそうなものとしてフラグが付けられたファイルのランク付けされたリストなどの他のランク付けされたリストを提供してもよい。
特性評価の結果と、ダッシュボードGUIに描かれた他のデータは、上記のように設定された基準と閾値によって決定され、企業または他のユーザーによって構成することが可能である。
【0041】
次に、図５の参照によって、ネットワークデータ特性評価のシステムと方法の実施形態によって、（悪意、疑わしい、または、より一層のレビューが必要なコンテンツを含むものとして）分類されたイベントを一覧表にする特性評価の結果視覚化GUI50が示される。
特性評価結果視覚化GUI50は、そのように分類された個々のファイルのために、分類された時の日付とタイム・スタンプ、ソースIPアドレス、受信者またはターゲットのIPアドレス、ホストの名前（またはIPアドレス）、悪意のあるもの（例えば、赤いX）、疑わしいもの（例えば、オレンジ色の感嘆符）、あるいは一層のレビューを必要とするもの（例えば、青色のフラグ）であるかどうかのグラフィカルな表示、および、分析／特性評価の結果のグラフィカルな表示（例えば、ファイルのタイプ（例えば、Windows、Word、MS-DOSなど）のグラフィカルな表示と、コンテンツを悪意または疑わしいと分類したのはどの１つまたは複数の分析器であるか（例えば、分析器を示しているアイコン）と、もし知られているならば、マルウェアファイル名）を含んでもよい。
実装において、特性評価結果視覚化GUI50にリスト化されて表示されたコンテンツは、企業または他のユーザーによってさらに考慮されるか、または分析されるように意図されている。その結果、ユーザーは、さらに結果にフィルタをかけたいかもしれない。
特性評価結果視覚化GUI50は、そのように分類された個々のファイルのために、分類された時の日付とタイム・スタンプ、ソースIPアドレス、受信者またはターゲットのIPアドレス、ホストの名前（またはIPアドレス）、悪意のあるもの（例えば、赤いX）、疑わしいもの（例えば、オレンジ色の感嘆符）、あるいは一層のレビューを必要とするもの（例えば、青色のフラグ）であるかどうかのグラフィカルな表示、および、分析／特性評価の結果のグラフィカルな表示（例えば、ファイルのタイプ（例えば、Windows、Word、MS-DOSなど）のグラフィカルな表示と、コンテンツを悪意または疑わしいと分類したのはどの１つまたは複数の分析器であるか（例えば、分析器を示しているアイコン）と、もし知られているならば、マルウェアファイル名）を含んでもよい。
実装において、特性評価結果視覚化GUI50にリスト化されて表示されたコンテンツは、企業または他のユーザーによってさらに考慮されるか、または分析されるように意図されている。その結果、ユーザーは、さらに結果にフィルタをかけたいかもしれない。
【0042】
ここに説明されたネットワークデータ特性評価のシステムと方法と、ヘクターなど利用された分析器の実施形態の利点のうちの1つは、偽の否定（false negative）のリスクが最小化されることである。
偽の否定（false negative）とは、悪意のあるイベントまたはファイルが、誤って、安全であるとして分類されることを意味する。
不運にも、ここに記載されたヘクターを含む実施形態は、非常に有効であるので、ときどき、非常に多くの検出されたイベントが生成される。
ユーザーは、これらの結果を効果的にレビューすることができるように、結果を管理するためのツールを持っている必要がある。
示されたように、特性評価結果視覚化GUI50は、ユーザーが、特性評価結果視覚化GUI50によって表示された結果にフィルタをかけることを可能にするフィルタツールに、さまざまなフィルタを提供できる。
例えば、特性評価結果視覚化GUI50は、ファイル名、ファイルの種類、ソースのIPアドレス、ホストの名前、ターゲットのIPアドレス、分類された時間、分析器の特性評価または分類、ファイル名の暗号法のハッシュ機能（例えば、ファイル名の安全なハッシュアルゴリズム（SHA）-256ハッシュ）、ファイルサイズなどによって、結果にフィルタをかけることができる。
これらのフィルタによって、ユーザーは、結果をよりよく管理することができる。
偽の否定（false negative）とは、悪意のあるイベントまたはファイルが、誤って、安全であるとして分類されることを意味する。
不運にも、ここに記載されたヘクターを含む実施形態は、非常に有効であるので、ときどき、非常に多くの検出されたイベントが生成される。
ユーザーは、これらの結果を効果的にレビューすることができるように、結果を管理するためのツールを持っている必要がある。
示されたように、特性評価結果視覚化GUI50は、ユーザーが、特性評価結果視覚化GUI50によって表示された結果にフィルタをかけることを可能にするフィルタツールに、さまざまなフィルタを提供できる。
例えば、特性評価結果視覚化GUI50は、ファイル名、ファイルの種類、ソースのIPアドレス、ホストの名前、ターゲットのIPアドレス、分類された時間、分析器の特性評価または分類、ファイル名の暗号法のハッシュ機能（例えば、ファイル名の安全なハッシュアルゴリズム（SHA）-256ハッシュ）、ファイルサイズなどによって、結果にフィルタをかけることができる。
これらのフィルタによって、ユーザーは、結果をよりよく管理することができる。
【0043】
次に、図６の参照によって、特性評価または分類の結果視覚化GUI60が、フィルタをかけられた結果とともに、示される。
示された特性評価の結果は、ファイル名のSHA-256ハッシュによって、フィルタがかけられている。
言いかえれば、同じSHA-256ハッシュを持つそれらの特性評価結果だけがリストされる。
図示されるように、時間／日付スタンプ、宛先またはターゲットのIPアドレス、宛先ポート、ソースのIPアドレス、ソースポート、ホスト名（ホスト名は、未加工のネットワークデータパケットから引き出されうるソースのための名前である）がリストされ、ファイルに関する追加の研究知能が利用できるかどうか、ステータス(悪意、疑わしい、さらなるレビューが必要)、分析／特性評価の結果のグラフィカルな表示を示す。
特性評価の結果は、これらのカテゴリーのすべてによって、ソートできる。
示された特性評価の結果は、ファイル名のSHA-256ハッシュによって、フィルタがかけられている。
言いかえれば、同じSHA-256ハッシュを持つそれらの特性評価結果だけがリストされる。
図示されるように、時間／日付スタンプ、宛先またはターゲットのIPアドレス、宛先ポート、ソースのIPアドレス、ソースポート、ホスト名（ホスト名は、未加工のネットワークデータパケットから引き出されうるソースのための名前である）がリストされ、ファイルに関する追加の研究知能が利用できるかどうか、ステータス(悪意、疑わしい、さらなるレビューが必要)、分析／特性評価の結果のグラフィカルな表示を示す。
特性評価の結果は、これらのカテゴリーのすべてによって、ソートできる。
【0044】
次に、図7A-7Bの参照によって、分類されたまたは特徴付けられたファイルの詳細視覚化GUI70が、示される。
分類されたファイルの詳細視覚化GUI70を見るために、特性評価結果視覚化GUI60に示した結果のうちのいずれかが選ばれる。
特徴付けられたファイルの詳細視覚化GUI70は、分類されたファイルの追加の詳細を描写し、ユーザーによって選ばれるより一層の行動のオプションを提供する。
例えば、詳細は、次のことを含んでもよい。
ファイルを悪意のあるものかまたは疑わしいものとして分類する分析器、ヘクター確信度パーセンテージ（例えば、企業または他のユーザーによって設定された確信度の閾値の表示を持つ棒グラフを示す）、ファイルメタデータ（例えば、ファイル名、ファイルの種類、関連した詳細の文字列（魔法のストリング“Magic String”）、ファイルサイズ、ファイルの暗号法のハッシュ（例えば、MD5およびSHA-256ハッシュ）、分類されたファイルが最も最近見られた時と最初に見られた時を含む）、最近の数日間を通して検出されているファイルの頻度を表示した棒グラフ、たとえば、ファイルのさらなるレビュー（内部、または外部に）、ファイルの隔離、ファイルの削除などの提案のような行動選択、ファイル詳細のダウンロード、（ユーザによるファイルレビューの）ステータスの設定、適用可能な分析器（すなわち、分類されたファイルを含んでいるメッセージに署名した分析器）を示す分析結果の概要とそれらの特性評価の結果（たとえば、無し（Yara）、マルウェア名の識別（ClamAV）、または確信度パーセンテージ（ヘクター））、次の分析におけるデータおよび他の知能、および、もしあれば分類されたファイルを含む最近のイベントのリスト。
分類されたファイルの詳細視覚化GUI70を見るために、特性評価結果視覚化GUI60に示した結果のうちのいずれかが選ばれる。
特徴付けられたファイルの詳細視覚化GUI70は、分類されたファイルの追加の詳細を描写し、ユーザーによって選ばれるより一層の行動のオプションを提供する。
例えば、詳細は、次のことを含んでもよい。
ファイルを悪意のあるものかまたは疑わしいものとして分類する分析器、ヘクター確信度パーセンテージ（例えば、企業または他のユーザーによって設定された確信度の閾値の表示を持つ棒グラフを示す）、ファイルメタデータ（例えば、ファイル名、ファイルの種類、関連した詳細の文字列（魔法のストリング“Magic String”）、ファイルサイズ、ファイルの暗号法のハッシュ（例えば、MD5およびSHA-256ハッシュ）、分類されたファイルが最も最近見られた時と最初に見られた時を含む）、最近の数日間を通して検出されているファイルの頻度を表示した棒グラフ、たとえば、ファイルのさらなるレビュー（内部、または外部に）、ファイルの隔離、ファイルの削除などの提案のような行動選択、ファイル詳細のダウンロード、（ユーザによるファイルレビューの）ステータスの設定、適用可能な分析器（すなわち、分類されたファイルを含んでいるメッセージに署名した分析器）を示す分析結果の概要とそれらの特性評価の結果（たとえば、無し（Yara）、マルウェア名の識別（ClamAV）、または確信度パーセンテージ（ヘクター））、次の分析におけるデータおよび他の知能、および、もしあれば分類されたファイルを含む最近のイベントのリスト。
【0045】
図８の参照によって、ルール設定GUI80が示される。
ルールは、特性評価または分類の結果を管理するために、ユーザーが使用できる別のツールである。
例えば、図5と図6に示されたルールタブを選択することによって、どんな行動が取られるかを含めて、一定の特性評価の結果がどのように扱われるかを規定するルールを、ユーザーが定義することができる。
例えば、ユーザーは、例えば一定のホストまたはソースIPアドレスから、分類されたイベントのいずれかに適用するように、一定のパーセント以上のヘクターの確信度レベルを持ち、一定のファイル名を含み、一定のターゲットIPアドレスにアドレスを付与するルールのクエリ文字列を入力できる。
ユーザーは、クエリにマッチしているイベントを取り下げる（drop）こと、または、イベントのステータスを、信頼、未知、疑わしい、悪意、あるいは、さらなるレビューが必要として設定するように、取るべき行動の一定のタイプを定義することができる。
また、実施形態は、ユーザーがルールの即時の効果（impact）を見ることができるように、直ちにルールを処理し、ルール設定GUI80において、一定の期間の間（たとえば、以前の５日間）、新しいルールがマッチしていたであろうイベントの数を表示する。
ルールは、特性評価または分類の結果を管理するために、ユーザーが使用できる別のツールである。
例えば、図5と図6に示されたルールタブを選択することによって、どんな行動が取られるかを含めて、一定の特性評価の結果がどのように扱われるかを規定するルールを、ユーザーが定義することができる。
例えば、ユーザーは、例えば一定のホストまたはソースIPアドレスから、分類されたイベントのいずれかに適用するように、一定のパーセント以上のヘクターの確信度レベルを持ち、一定のファイル名を含み、一定のターゲットIPアドレスにアドレスを付与するルールのクエリ文字列を入力できる。
ユーザーは、クエリにマッチしているイベントを取り下げる（drop）こと、または、イベントのステータスを、信頼、未知、疑わしい、悪意、あるいは、さらなるレビューが必要として設定するように、取るべき行動の一定のタイプを定義することができる。
また、実施形態は、ユーザーがルールの即時の効果（impact）を見ることができるように、直ちにルールを処理し、ルール設定GUI80において、一定の期間の間（たとえば、以前の５日間）、新しいルールがマッチしていたであろうイベントの数を表示する。
【0046】
ネットワークデータ特性評価のための方法とシステムの実施形態が提供する別のツールとしては、結果を正確に示す（ピンポイントする）能力である。
次に、図9A-9Eの参照によって、ピンポイントツールを持つ特性評価結果視覚化GUI90が示される。
ピンポイントツールは、ユーザーが、表示のために分類されたイベントの時間枠(time frame)（例えば、時間と日付の範囲）を選び、降順／昇順の分類方法によって、結果をソートし、表示された結果を制限し、様々なメタデータで結果にフィルタをかけ（上記参照）、たとえば、ホスト、インプットソースタイプ、ファイルタイプ、アプリケーションタイプ、分類方法（フラグ）、ドメインネーム、位置、時間、ファイルが「サインされた」（すなわち、証明書で、「信頼されている」機関からサインされた）ファイルか否かなどによって、結果をグループ化し、または、すべてのメタデータ、あるいは、特性評価の結果の特徴付け、あるいは、特性評価の結果に含まれることによって、結果をグループ化することを可能にする。
文字どおりに、ピンポイントツールは、特性評価の結果のメタデータの数百の選択と、結果をピンポイントし、結果をグループ化し、結果をソートするために使われる分類されたイベントとコンテンツの特徴付けとを提供する。
実際には、ピンポイントツール90は、分析器の結果ワークフローを示すためのツールである。
次に、図9A-9Eの参照によって、ピンポイントツールを持つ特性評価結果視覚化GUI90が示される。
ピンポイントツールは、ユーザーが、表示のために分類されたイベントの時間枠(time frame)（例えば、時間と日付の範囲）を選び、降順／昇順の分類方法によって、結果をソートし、表示された結果を制限し、様々なメタデータで結果にフィルタをかけ（上記参照）、たとえば、ホスト、インプットソースタイプ、ファイルタイプ、アプリケーションタイプ、分類方法（フラグ）、ドメインネーム、位置、時間、ファイルが「サインされた」（すなわち、証明書で、「信頼されている」機関からサインされた）ファイルか否かなどによって、結果をグループ化し、または、すべてのメタデータ、あるいは、特性評価の結果の特徴付け、あるいは、特性評価の結果に含まれることによって、結果をグループ化することを可能にする。
文字どおりに、ピンポイントツールは、特性評価の結果のメタデータの数百の選択と、結果をピンポイントし、結果をグループ化し、結果をソートするために使われる分類されたイベントとコンテンツの特徴付けとを提供する。
実際には、ピンポイントツール90は、分析器の結果ワークフローを示すためのツールである。
【0047】
特性評価結果視覚化GUIにリストされたイベント特性評価の結果は、フィルタをかけられて、ピンポイントツール90の選択に基づいてリストされる。
さらに、ピンポイントツール90は、動作されたとき、ピンポイントの選択の結果をリストする。
例えば、図9Bに示すように、ピンポイントのツールは、ホストにより検出されて分類されたイベントの数をリストし、どのようにそれらのイベントが分類されたかを示す（適切なフラグによって）。
図示された例では、最も多くの特性評価の結果を持つホストは、bluvector.cli.injectである。
そのホストは、安全としてフラグが付けられた551個のイベントを持ち、未知としてフラグが付けられた4401個のイベントを持ち、疑わしいとしてフラグが付けられた31個のイベントを持ち、悪意があるとしてフラグが付けられた275個のイベントを持つ。
ユーザーは、フラグが付けられたイベントのインプットソースタイプ、たとえば、HTTP、CLI_INJECT、SMTP、およびFTPを示すために、例えば与えられたホストの下に示すように、ピンポイントの結果リストを展開することができる。
同様に、図9Cに示すように、ユーザーは、ファイルのタイプ（たとえば、画像ファイル、cdf、html、jar、elf、pe32、pdf、dos、apkなど）を示すために、例えば与えられたインプットソースタイプの下に、ピンポイントの結果リストを展開することができる。
同様に、示すように、ユーザーは、ファイルを分類した分析器（たとえば、ClamAV、Hector、Yaraなど）を示すために、例えば与えられたファイルタイプの下に、ピンポイントの結果リストを展開することができる。
図9Dに示すように、ピンポイントツールは、異なるカテゴリーが最初のグループ分けとして使われるように、ユーザーが、グループ分けの順序を変更することを可能にする。
例えば、インプットソースタイプ（例えばmeta.app）が、最初のグループ分けとして使われて、インプットソースタイプ（例えば、http、null、cli_inject、gui_upload、smtp、ftp）が、他の情報を得るために展開される。
さらに、ピンポイントツール90は、動作されたとき、ピンポイントの選択の結果をリストする。
例えば、図9Bに示すように、ピンポイントのツールは、ホストにより検出されて分類されたイベントの数をリストし、どのようにそれらのイベントが分類されたかを示す（適切なフラグによって）。
図示された例では、最も多くの特性評価の結果を持つホストは、bluvector.cli.injectである。
そのホストは、安全としてフラグが付けられた551個のイベントを持ち、未知としてフラグが付けられた4401個のイベントを持ち、疑わしいとしてフラグが付けられた31個のイベントを持ち、悪意があるとしてフラグが付けられた275個のイベントを持つ。
ユーザーは、フラグが付けられたイベントのインプットソースタイプ、たとえば、HTTP、CLI_INJECT、SMTP、およびFTPを示すために、例えば与えられたホストの下に示すように、ピンポイントの結果リストを展開することができる。
同様に、図9Cに示すように、ユーザーは、ファイルのタイプ（たとえば、画像ファイル、cdf、html、jar、elf、pe32、pdf、dos、apkなど）を示すために、例えば与えられたインプットソースタイプの下に、ピンポイントの結果リストを展開することができる。
同様に、示すように、ユーザーは、ファイルを分類した分析器（たとえば、ClamAV、Hector、Yaraなど）を示すために、例えば与えられたファイルタイプの下に、ピンポイントの結果リストを展開することができる。
図9Dに示すように、ピンポイントツールは、異なるカテゴリーが最初のグループ分けとして使われるように、ユーザーが、グループ分けの順序を変更することを可能にする。
例えば、インプットソースタイプ（例えばmeta.app）が、最初のグループ分けとして使われて、インプットソースタイプ（例えば、http、null、cli_inject、gui_upload、smtp、ftp）が、他の情報を得るために展開される。
【0048】
上記したように、ピンポイントツール90は、分析器による特性評価の結果を提供したメタデータのいずれかに基づいて、結果を正確に示す（ピンポイントする）ことができる。図9Eの参照によって、ファイルで使われた言語に基づいて、結果をグループ分けするために設定されたピンポイントツール90が示される。
分析器が、いつも使用された言語を決定することができるわけではないが、もし言語が決定できる場合は、ネットワークデータ特性評価のための方法とシステムの実施形態は、言語に基づいて、結果にフィルターをかけ、結果のグループ分けができる。
例えば、図示されるように、英語、ロシア語、または中国語を使っている結果が表示できる。 未知の言語の結果は、ニュートラル（neutral）としてグループ化してもよい。
これは、特に、企業が、一定の国または領域に端を発する脅威に気づいているか、または第一に一定の国または領域に端を発する脅威に関係する時に、有益である。
また、ピンポイントツールは、一定の署名（すなわち、例えばPEScannerによって検出されて以前に確認されたマルウェア署名）を含む結果によって、または、一定の分析器だけにより検出された結果によって、フィルターをかけ、グループ分けをしてもよい。
分析器が、いつも使用された言語を決定することができるわけではないが、もし言語が決定できる場合は、ネットワークデータ特性評価のための方法とシステムの実施形態は、言語に基づいて、結果にフィルターをかけ、結果のグループ分けができる。
例えば、図示されるように、英語、ロシア語、または中国語を使っている結果が表示できる。 未知の言語の結果は、ニュートラル（neutral）としてグループ化してもよい。
これは、特に、企業が、一定の国または領域に端を発する脅威に気づいているか、または第一に一定の国または領域に端を発する脅威に関係する時に、有益である。
また、ピンポイントツールは、一定の署名（すなわち、例えばPEScannerによって検出されて以前に確認されたマルウェア署名）を含む結果によって、または、一定の分析器だけにより検出された結果によって、フィルターをかけ、グループ分けをしてもよい。
【0049】
ネットワークデータ特性評価のための方法とシステムの実施形態の最も強力な面のうちの1つは、それらがマシン学習分析器（例えばヘクターなど）の結果の有用性と有効性を大いに増加させることである。
図１０の参照によって、ファイルのタイプによって分類されたファイルをソートし、マシン学習分析器により様々な特性評価確信度パーセンテージの範囲に分類されたそのタイプのファイルの数を示しているヒストグラムを表示する特性評価信頼GUI100が示される。
新しくする（リフレッシュする）ために、確信度パーセンテージとは、マシン学習分析器によって決定されるように、ファイルが悪意のあるものであるという百分率の確信度のことである。
また、信頼GUI100は、個々のファイルタイプのために設定された閾値と、その閾値を超える確信度パーセンテージを持つそのファイルタイプのファイル数と、ヒット率パーセンテージ（ファイルタイプのファイル数を、ファイルの全数によって除算した確信度パーセンテージを超えるファイルのパーセンテージ）とを表示している。
信頼GUI100は、ユーザーが、結果の数とパーセンテージを視覚化し、かつ、閾値が高すぎるかまたは低すぎるかどうかを決定するのに、役立つ。
図１０の参照によって、ファイルのタイプによって分類されたファイルをソートし、マシン学習分析器により様々な特性評価確信度パーセンテージの範囲に分類されたそのタイプのファイルの数を示しているヒストグラムを表示する特性評価信頼GUI100が示される。
新しくする（リフレッシュする）ために、確信度パーセンテージとは、マシン学習分析器によって決定されるように、ファイルが悪意のあるものであるという百分率の確信度のことである。
また、信頼GUI100は、個々のファイルタイプのために設定された閾値と、その閾値を超える確信度パーセンテージを持つそのファイルタイプのファイル数と、ヒット率パーセンテージ（ファイルタイプのファイル数を、ファイルの全数によって除算した確信度パーセンテージを超えるファイルのパーセンテージ）とを表示している。
信頼GUI100は、ユーザーが、結果の数とパーセンテージを視覚化し、かつ、閾値が高すぎるかまたは低すぎるかどうかを決定するのに、役立つ。
【0050】
次に、図11A-11Bの参照によって、確信度パーセンテージの閾値を設定するためのコンフィギュレーションGUI110が、ファイルのタイプ別に、示される。
図示されるように、閾値は、スライダーバー(slider bar)上に、設定できる。
実施形態は、ファイルタイプごとに、1つの推奨された閾値の設定を提供している。
この推奨された閾値設定は、マシン学習分析器によって決定できる。
例えば、ポスト分析結果は、後に、別々に確認されたマルウェアの確信度パーセンテージを示すマシン学習分析器にフィードバックすることができる。
これらの結果は、推奨された閾値を設定するために、実施形態によって用いられうる。
異なる構成（コンフィギュレーション）、閾値を設定し、分析器の結果の視覚化を別の方法で行うこの能力は、システムを、アナリストの仕事量の能力に合わせることを非常に容易にする。
図11Aに示すように、コンフィギュレーションGUI110は、閾値パーセンテージを超えてフラグが付けられ与えられたタイプのファイルのパーセンテージだけでなく、現在の閾値設定（コンフィギュレーション）を使ってフラグが付けられた１日当たりのファイルの数を示すことができる。
もし、閾値パーセンテージの設定が変更されるならば、コンフィギュレーションGUI110は、図11Bに示すように、新しい閾値パーセンテージを超えてフラグが付けられ与えられたタイプのファイルのパーセンテージだけでなく、新しい閾値設定を使ってフラグが付けられるであろう１日当たりのファイルの予測された数を示すことができる。
この情報は、ユーザーが、どんな閾値パーセンテージがユーザーの企業に有益であるかを決定することを可能にすることができる。
また、図11A-11B において見ることができるように、ユーザーは、コンフィギュレーションGUI110において、分析器が署名するファイルタイプを、選択(select)するか、または選択解除(deselect)をすることもできる。
これらの選択により、どのファイルタイプが、そのタイプの分析器に転送（ルーティング）されるかを決定する（上記した図1-2を参照）。
図示されるように、閾値は、スライダーバー(slider bar)上に、設定できる。
実施形態は、ファイルタイプごとに、1つの推奨された閾値の設定を提供している。
この推奨された閾値設定は、マシン学習分析器によって決定できる。
例えば、ポスト分析結果は、後に、別々に確認されたマルウェアの確信度パーセンテージを示すマシン学習分析器にフィードバックすることができる。
これらの結果は、推奨された閾値を設定するために、実施形態によって用いられうる。
異なる構成（コンフィギュレーション）、閾値を設定し、分析器の結果の視覚化を別の方法で行うこの能力は、システムを、アナリストの仕事量の能力に合わせることを非常に容易にする。
図11Aに示すように、コンフィギュレーションGUI110は、閾値パーセンテージを超えてフラグが付けられ与えられたタイプのファイルのパーセンテージだけでなく、現在の閾値設定（コンフィギュレーション）を使ってフラグが付けられた１日当たりのファイルの数を示すことができる。
もし、閾値パーセンテージの設定が変更されるならば、コンフィギュレーションGUI110は、図11Bに示すように、新しい閾値パーセンテージを超えてフラグが付けられ与えられたタイプのファイルのパーセンテージだけでなく、新しい閾値設定を使ってフラグが付けられるであろう１日当たりのファイルの予測された数を示すことができる。
この情報は、ユーザーが、どんな閾値パーセンテージがユーザーの企業に有益であるかを決定することを可能にすることができる。
また、図11A-11B において見ることができるように、ユーザーは、コンフィギュレーションGUI110において、分析器が署名するファイルタイプを、選択(select)するか、または選択解除(deselect)をすることもできる。
これらの選択により、どのファイルタイプが、そのタイプの分析器に転送（ルーティング）されるかを決定する（上記した図1-2を参照）。
【0051】
当該技術分野における通常の技術を有する者は、この発明の精神と範囲を逸脱することなく、様々な修正と変更が、上記に記載された実施形態になし得ることを認識するであろう。
従って、この発明は、上記に開示された特定の実施形態に制限されず、以下のクレームにより定義されるような修正と変形を包含することを意図していることを理解するべきである。
従って、この発明は、上記に開示された特定の実施形態に制限されず、以下のクレームにより定義されるような修正と変形を包含することを意図していることを理解するべきである。
【図1A】
【図1B】
【図2】
【図3】
【図4A】
【図4B】
【図5】
【図6】
【図7A】
【図7B】
【図8】
【図9A】
【図9B】
【図9C】
【図9D】
【図9E】
【図10】
【図11A】
【図11B】
