▶ アクロニス・インターナショナル・ゲーエムベーハーの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023007478
(43)【公開日】2023-01-18
(54)【発明の名称】マルウェア検出の品質管理
(51)【国際特許分類】
G06F 21/57 20130101AFI20230111BHJP
【ＦＩ】
G06F21/57 370
【審査請求】未請求
【請求項の数】20
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2022102112
(22)【出願日】2022-06-24
(31)【優先権主張番号】17/304,943
(32)【優先日】2021-06-29
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】313015247
【氏名又は名称】アクロニス・インターナショナル・ゲーエムベーハー
(74)【代理人】
【識別番号】100105957
【弁理士】
【氏名又は名称】恩田 誠
(74)【代理人】
【識別番号】100068755
【弁理士】
【氏名又は名称】恩田 博宣
(74)【代理人】
【識別番号】100142907
【弁理士】
【氏名又は名称】本田 淳
(72)【発明者】
【氏名】セルゲイ ベロウソフ
(72)【発明者】
【氏名】スタニスラフ プロタソフ
(72)【発明者】
【氏名】ニコライ グレベンニコフ
(72)【発明者】
【氏名】アンドレイ クラーガ
(72)【発明者】
【氏名】ニコライ バラキン
(57)【要約】 （修正有）
【課題】反復的な品質評価に基づいて内部脅威スキャンエンジンを継続的に開発する方法及びシステムを提供する。
【解決手段】オブジェクトのコレクション内の複数のオブジェクトの各々について定義された頻度で脅威検出の品質の動的評価を反復的に実行する方法あって、複数のオブジェクトの内部スキャン結果及び外部スキャン結果とそれらの一致判定とを含む動的評価を反復的に実行すること、一致判定に基づいて、複数のオブジェクトのスキャンの反復の頻度を変更すること、動的評価の結果に基づいて複数のオブジェクトを分類すること及び複数のオブジェクトの内部スキャン結果と外部スキャン結果との不一致を解消するソフトウェアを開発するための複数の詳細内容を提供するために、複数のオブジェクトの内部スキャン結果及び外部スキャン結果と、複数のオブジェクトのメタデータと、複数の自動化されたテストの結果と、を含む開発タスクを作成することを含む。
【選択図】図１
【解決手段】オブジェクトのコレクション内の複数のオブジェクトの各々について定義された頻度で脅威検出の品質の動的評価を反復的に実行する方法あって、複数のオブジェクトの内部スキャン結果及び外部スキャン結果とそれらの一致判定とを含む動的評価を反復的に実行すること、一致判定に基づいて、複数のオブジェクトのスキャンの反復の頻度を変更すること、動的評価の結果に基づいて複数のオブジェクトを分類すること及び複数のオブジェクトの内部スキャン結果と外部スキャン結果との不一致を解消するソフトウェアを開発するための複数の詳細内容を提供するために、複数のオブジェクトの内部スキャン結果及び外部スキャン結果と、複数のオブジェクトのメタデータと、複数の自動化されたテストの結果と、を含む開発タスクを作成することを含む。
【選択図】図１
【特許請求の範囲】
【請求項1】
反復的な品質評価に基づいて内部脅威スキャンエンジンを継続的に開発するための方法であって、
オブジェクトコレクション内の複数のオブジェクトの各々について定義された頻度で脅威検出の品質の動的評価を反復的に実行することであって、前記動的評価の結果は、前記複数のオブジェクトの内部スキャン結果および外部スキャン結果と、前記複数のオブジェクトの前記内部スキャン結果と前記外部スキャン結果との一致判定と、を含む、前記動的評価を反復的に実行すること、
前記複数のオブジェクトの前記外部スキャン結果と前記内部スキャン結果との前記一致判定に基づいて、前記複数のオブジェクトのスキャンの反復の頻度を変更すること、
前記動的評価の結果に基づいて前記複数のオブジェクトを分類すること、
前記複数のオブジェクトの前記内部スキャン結果と前記外部スキャン結果との不一致を解消するソフトウェアを開発するための複数の詳細内容を提供するために、前記複数のオブジェクトの前記内部スキャン結果および前記外部スキャン結果と、前記複数のオブジェクトのメタデータと、複数の自動化されたテストの結果と、を含む開発タスクを作成すること、
前記開発タスクの動的な実施に従って前記動的評価を制御すること、
制御された前記動的評価および前記開発タスクの優先度に基づいて、所与のレベルで脅威検出の品質を維持すること、を備える方法。
オブジェクトコレクション内の複数のオブジェクトの各々について定義された頻度で脅威検出の品質の動的評価を反復的に実行することであって、前記動的評価の結果は、前記複数のオブジェクトの内部スキャン結果および外部スキャン結果と、前記複数のオブジェクトの前記内部スキャン結果と前記外部スキャン結果との一致判定と、を含む、前記動的評価を反復的に実行すること、
前記複数のオブジェクトの前記外部スキャン結果と前記内部スキャン結果との前記一致判定に基づいて、前記複数のオブジェクトのスキャンの反復の頻度を変更すること、
前記動的評価の結果に基づいて前記複数のオブジェクトを分類すること、
前記複数のオブジェクトの前記内部スキャン結果と前記外部スキャン結果との不一致を解消するソフトウェアを開発するための複数の詳細内容を提供するために、前記複数のオブジェクトの前記内部スキャン結果および前記外部スキャン結果と、前記複数のオブジェクトのメタデータと、複数の自動化されたテストの結果と、を含む開発タスクを作成すること、
前記開発タスクの動的な実施に従って前記動的評価を制御すること、
制御された前記動的評価および前記開発タスクの優先度に基づいて、所与のレベルで脅威検出の品質を維持すること、を備える方法。
【請求項2】
前記複数のオブジェクトが複数の新しいファイルを含む場合、前記複数のオブジェクトのスキャンの反復の頻度が変更される、請求項１に記載の方法。
【請求項3】
前記複数のオブジェクトの前記内部スキャン結果と前記外部スキャン結果とが異なる場合、前記複数のオブジェクトのスキャンの反復の頻度がさらに変更される、請求項２に記載の方法。
【請求項4】
前記複数のオブジェクトの前記スキャンの反復の頻度を変更する際に、前記複数のオブジェクトが複数の新しいファイルであり且つ前記複数のオブジェクトの内部スキャン結果と外部スキャン結果とが異なる場合、前記複数のオブジェクトの前記スキャンの反復の頻度が増加する、請求項１に記載の方法。
【請求項5】
前記複数のオブジェクトの前記内部スキャン結果と前記外部スキャン結果とが異なる場合、前記複数のオブジェクトの前記スキャンの反復の頻度は、前記複数のオブジェクトの前記内部スキャン結果と前記外部スキャン結果とが一致する場合の前記複数のオブジェクトの前記スキャンの反復の頻度よりも大きい、請求項１に記載の方法。
【請求項6】
前記複数のオブジェクトの前記スキャンの反復の頻度を変更する前に、複数のソースから悪意のあるファイル及びクリーンなファイルについての前記複数のオブジェクトに関する情報を受信すること、をさらに備える請求項１に記載の方法。
【請求項7】
前記複数のオブジェクトの前記内部スキャン結果および前記外部スキャン結果は、ファイルの出現、最終スキャン日、データセット、および履歴情報を含む、請求項１に記載の方法。
【請求項8】
前記複数のオブジェクトは、サポートされた製品およびスキャンエンジンによる様々なソースの複数のコレクションからのものである、請求項１に記載の方法。
【請求項9】
前記複数のオブジェクトを分類することは、
前記複数のオブジェクトの前記内部スキャン結果および前記外部スキャン結果の判定を、前記複数のオブジェクトに関する複数のサードパーティスキャンサービスの情報と比較することを含む、請求項１に記載の方法。
前記複数のオブジェクトの前記内部スキャン結果および前記外部スキャン結果の判定を、前記複数のオブジェクトに関する複数のサードパーティスキャンサービスの情報と比較することを含む、請求項１に記載の方法。
【請求項10】
前記動的評価を反復的に実行することは、前記脅威検出の品質についての予め設定された値を達成するために繰り返して継続される、請求項１に記載の方法。
【請求項11】
反復的な品質評価に基づいて内部脅威スキャンエンジンを継続的に開発するシステムであって、
複数の命令を記憶するメモリに結合されたプロセッサであって、前記プロセッサは、
オブジェクトコレクション内の複数のオブジェクトの各々について定義された頻度で脅威検出の品質の動的評価を反復的に実行することであって、前記動的評価の結果は、前記複数のオブジェクトの内部スキャン結果および外部スキャン結果と、前記複数のオブジェクトの前記内部スキャン結果と前記外部スキャン結果との一致判定と、を含む、前記動的評価を反復的に実行すること、
前記複数のオブジェクトの前記外部スキャン結果と前記内部スキャン結果との前記一致判定に基づいて、前記複数のオブジェクトのスキャンの反復の頻度を変更すること、
前記動的評価の結果に基づいて前記複数のオブジェクトを分類すること、
前記複数のオブジェクトの前記内部スキャン結果と前記外部スキャン結果との不一致を解消するソフトウェアを開発するための複数の詳細内容を提供するために、前記複数のオブジェクトの前記内部スキャン結果および前記外部スキャン結果と、前記複数のオブジェクトのメタデータと、複数の自動化されたテストの結果と、を含む開発タスクを作成すること、
前記開発タスクの動的な実施に従って前記動的評価を制御すること、
制御された前記動的評価および前記開発タスクの優先度に基づいて、所与のレベルで脅威検出の品質を維持すること、を実行するように構成されている、システム。
複数の命令を記憶するメモリに結合されたプロセッサであって、前記プロセッサは、
オブジェクトコレクション内の複数のオブジェクトの各々について定義された頻度で脅威検出の品質の動的評価を反復的に実行することであって、前記動的評価の結果は、前記複数のオブジェクトの内部スキャン結果および外部スキャン結果と、前記複数のオブジェクトの前記内部スキャン結果と前記外部スキャン結果との一致判定と、を含む、前記動的評価を反復的に実行すること、
前記複数のオブジェクトの前記外部スキャン結果と前記内部スキャン結果との前記一致判定に基づいて、前記複数のオブジェクトのスキャンの反復の頻度を変更すること、
前記動的評価の結果に基づいて前記複数のオブジェクトを分類すること、
前記複数のオブジェクトの前記内部スキャン結果と前記外部スキャン結果との不一致を解消するソフトウェアを開発するための複数の詳細内容を提供するために、前記複数のオブジェクトの前記内部スキャン結果および前記外部スキャン結果と、前記複数のオブジェクトのメタデータと、複数の自動化されたテストの結果と、を含む開発タスクを作成すること、
前記開発タスクの動的な実施に従って前記動的評価を制御すること、
制御された前記動的評価および前記開発タスクの優先度に基づいて、所与のレベルで脅威検出の品質を維持すること、を実行するように構成されている、システム。
【請求項12】
前記複数のオブジェクトが複数の新しいファイルを含む場合、前記プロセッサは、前記複数のオブジェクトのスキャンの反復の頻度を変更する、請求項１１に記載のシステム。
【請求項13】
前記複数のオブジェクトの前記内部スキャン結果と前記外部スキャン結果とが異なる場合、前記プロセッサは、前記複数のオブジェクトのスキャンの反復の頻度をさらに変更する、請求項１２に記載のシステム。
【請求項14】
前記複数のオブジェクトの前記スキャンの反復の頻度を変更する際に、前記複数のオブジェクトが複数の新しいファイルであり且つ前記複数のオブジェクトの内部スキャン結果と外部スキャン結果とが異なる場合、前記プロセッサは、前記複数のオブジェクトの前記スキャンの反復の頻度を増加する、請求項１１に記載のシステム。
【請求項15】
前記複数のオブジェクトの前記内部スキャン結果と前記外部スキャン結果とが異なる場合、前記複数のオブジェクトの前記スキャンの反復の頻度は、前記複数のオブジェクトの前記内部スキャン結果と前記外部スキャン結果とが一致する場合の前記複数のオブジェクトの前記スキャンの反復の頻度よりも大きい、請求項１１に記載のシステム。
【請求項16】
前記複数のオブジェクトの前記スキャンの反復の頻度を変更する前に、前記プロセッサは、複数のソースから悪意のあるファイル及びクリーンなファイルについての前記複数のオブジェクトに関する情報を受信する、請求項１１に記載のシステム。
【請求項17】
前記複数のオブジェクトの前記内部スキャン結果および前記外部スキャン結果は、ファイルの出現、最終スキャン日、データセット、および履歴情報を含む、請求項１１に記載のシステム。
【請求項18】
前記複数のオブジェクトは、サポートされた製品およびスキャンエンジンによる様々なソースの複数のコレクションからのものである、請求項１１に記載のシステム。
【請求項19】
前記複数のオブジェクトを分類することは、
前記複数のオブジェクトの前記内部スキャン結果および前記外部スキャン結果の判定を、前記複数のオブジェクトに関する複数のサードパーティスキャンサービスの情報と比較することを含む、請求項１１に記載のシステム。
前記複数のオブジェクトの前記内部スキャン結果および前記外部スキャン結果の判定を、前記複数のオブジェクトに関する複数のサードパーティスキャンサービスの情報と比較することを含む、請求項１１に記載のシステム。
【請求項20】
前記プロセッサは、前記脅威検出の品質についての予め設定された値を達成するために繰り返して前記動的評価を反復的に継続する、請求項１１に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ウイルス対策エンジンのための品質管理システムおよび方法を含むコンピュータセキュリティに関する。
【背景技術】
【0002】
セキュリティ製品の品質の重要な指標は、脅威検出のレベルであり、従来では、検出エンジンの種類に応じて、ファイルおよびハイパーリンクなどのオブジェクトの特定のテストコレクションを使用して評価される。
【0003】
テストはセキュリティアプリケーションのリリースサイクルの一部であり、アプリケーションのリリースの特定の段階で実施される。アプリケーションをリリースした後では、製品は、テスト機関によってベンチマークテストを実施するか、または製品のパフォーマンスに影響する誤検出またはエラーがないように、検出データベースの新しいバージョンをリリースするときにエラーをチェックするためにテストされる。
【0004】
このアプローチは、特定の時点でのみ製品の品質を管理し、リアルタイムで検出の品質を監視することはできない。
製品のテスト手順に加えて、検出の品質は、脅威ファイル及びクリーンファイルのデータベースに追加するために使用されるファイルのソース、ＵＲＬ、およびその他のオブジェクトによっても影響を受ける。これらのコレクションの品質（すなわち、コレクション内のオブジェクトの分類の信頼度、コレクションのサイズ、およびコレクション内の以前は知られていなかった新しいファイルの数）は、ユーザーのエンドマシン上のオブジェクトの動的分析のための時間のかかる処理を低減できる検出器のフィルタリング技法の処理を最適化することにより、誤検出のレベル、検出のレベル、及びシステム性能を直接的に決定する。
製品のテスト手順に加えて、検出の品質は、脅威ファイル及びクリーンファイルのデータベースに追加するために使用されるファイルのソース、ＵＲＬ、およびその他のオブジェクトによっても影響を受ける。これらのコレクションの品質（すなわち、コレクション内のオブジェクトの分類の信頼度、コレクションのサイズ、およびコレクション内の以前は知られていなかった新しいファイルの数）は、ユーザーのエンドマシン上のオブジェクトの動的分析のための時間のかかる処理を低減できる検出器のフィルタリング技法の処理を最適化することにより、誤検出のレベル、検出のレベル、及びシステム性能を直接的に決定する。
【0005】
従来の方法およびシステムでは、エンジンによる脅威の検出の品質のテストは、サードパーティのソリューションおよびサービスと比較して品質指標のダイナミクス（dynamics）を評価することなく実行されており、検出の品質の相対的な評価を将来的に実行することおよび改善する領域を特定することはできない。
【0006】
このようなシステムおよび方法では、手動で、オブジェクトの様々なコレクションを取得してオブジェクトに対してテストを実行する必要があるが、必ずしも客観的な評価及び結果を提供して追加の分析なしに製品を改善することができない。
【0007】
したがって、検出データベースに追加するプロセスを管理するため、及び検出メカニズムの修正に伴う製品の更新を実施するため、様々なバージョンの製品、デコーディングエンジン（decoding engine）、およびファイルコレクションソース（file collection source）の複数の検出メトリック（detection metrics）の動的分析の問題を解決する必要がある。
【発明の概要】
【0008】
本発明の例示的な特徴は、様々なソースの複数のコレクション（collections of various sources）からの複数のオブジェクトを、サポートされた製品および／またはスキャンエンジンのそれぞれにより定期的にスキャンし、複数の判定（verdicts）を複数のサードパーティスキャンサービスの前記複数の判定と比較することによって、検出の品質の反復的な動的評価（iterative dynamic assessment）を提供することである。
【0009】
評価の複数の結果に基づいて、複数のコレクションの複数のソースの信頼度を決定し、複数のサービスのサポーター（supporter）よりも低い品質レベルの複数の製品および複数のエンジンによって検出された複数のオブジェクトの複数のクラスを割り振り、複数の検出エンジンおよび複数の製品についての複数のルールを調整するためのタスクを作成する。このプロセスが周期的に繰り返されて、指定された品質の脅威検出（threat detection）を実現する。
【0010】
例示的な発明は、反復的な品質評価に基づいて内部脅威スキャンエンジンを継続的に開発するための方法を提供する。
該方法は、オブジェクトのコレクション内の複数のオブジェクトの各々について定義された頻度で脅威検出の品質の動的評価を反復的に実行することであって、動的評価の結果は、複数のオブジェクトの内部スキャン結果および外部スキャン結果と、複数のオブジェクトの内部スキャン結果と外部スキャン結果との一致判定と、を含む、動的評価を反復的に実行すること、複数のオブジェクトの外部スキャン結果および内部スキャン結果の一致判定に基づいて、複数のオブジェクトのスキャンの反復の頻度を変更すること、動的評価の結果に基づいて複数のオブジェクトを分類すること、複数のオブジェクトの内部スキャン結果と外部スキャン結果との不一致を解消するソフトウェアを開発するための複数の詳細内容を提供するために、複数のオブジェクトの内部スキャン結果および外部スキャン結果と、複数のオブジェクトのメタデータと、複数の自動化されたテストの結果と、を含む開発タスクを作成すること、開発タスクの動的な実施に従って動的評価を制御すること、制御された動的評価および開発タスクの優先度に基づいて、所与のレベルで脅威検出の品質を維持すること、を備える。
該方法は、オブジェクトのコレクション内の複数のオブジェクトの各々について定義された頻度で脅威検出の品質の動的評価を反復的に実行することであって、動的評価の結果は、複数のオブジェクトの内部スキャン結果および外部スキャン結果と、複数のオブジェクトの内部スキャン結果と外部スキャン結果との一致判定と、を含む、動的評価を反復的に実行すること、複数のオブジェクトの外部スキャン結果および内部スキャン結果の一致判定に基づいて、複数のオブジェクトのスキャンの反復の頻度を変更すること、動的評価の結果に基づいて複数のオブジェクトを分類すること、複数のオブジェクトの内部スキャン結果と外部スキャン結果との不一致を解消するソフトウェアを開発するための複数の詳細内容を提供するために、複数のオブジェクトの内部スキャン結果および外部スキャン結果と、複数のオブジェクトのメタデータと、複数の自動化されたテストの結果と、を含む開発タスクを作成すること、開発タスクの動的な実施に従って動的評価を制御すること、制御された動的評価および開発タスクの優先度に基づいて、所与のレベルで脅威検出の品質を維持すること、を備える。
【0011】
例示的な発明はまた、反復的な品質評価に基づく内部脅威スキャンエンジンを継続的に開発するシステムを提供する。
このシステムは、複数の命令を記憶するメモリに結合されたプロセッサを含む。該プロセッサは、オブジェクトのコレクション内の複数のオブジェクトの各々について定義された頻度で脅威検出の品質の動的評価を反復的に実行することであって、動的評価の結果は、複数のオブジェクトの内部スキャン結果および外部スキャン結果と、複数のオブジェクトの内部スキャン結果と外部スキャン結果との一致判定と、を含む、動的評価を反復的に実行すること、複数のオブジェクトの外部スキャン結果および内部スキャン結果の一致判定に基づいて、複数のオブジェクトのスキャンの反復の頻度を変更すること、動的評価の結果に基づいて複数のオブジェクトを分類すること、複数のオブジェクトの内部スキャン結果と外部スキャン結果との不一致を解消するソフトウェアを開発するための複数の詳細内容を提供するために、複数のオブジェクトの内部スキャン結果および外部スキャン結果と、複数のオブジェクトのメタデータと、複数の自動化されたテストの結果と、を含む開発タスクを作成すること、開発タスクの動的な実施に従って動的評価を制御すること、制御された動的評価および開発タスクの優先度に基づいて、所与のレベルで脅威検出の品質を維持すること、を実行するように構成されている。
このシステムは、複数の命令を記憶するメモリに結合されたプロセッサを含む。該プロセッサは、オブジェクトのコレクション内の複数のオブジェクトの各々について定義された頻度で脅威検出の品質の動的評価を反復的に実行することであって、動的評価の結果は、複数のオブジェクトの内部スキャン結果および外部スキャン結果と、複数のオブジェクトの内部スキャン結果と外部スキャン結果との一致判定と、を含む、動的評価を反復的に実行すること、複数のオブジェクトの外部スキャン結果および内部スキャン結果の一致判定に基づいて、複数のオブジェクトのスキャンの反復の頻度を変更すること、動的評価の結果に基づいて複数のオブジェクトを分類すること、複数のオブジェクトの内部スキャン結果と外部スキャン結果との不一致を解消するソフトウェアを開発するための複数の詳細内容を提供するために、複数のオブジェクトの内部スキャン結果および外部スキャン結果と、複数のオブジェクトのメタデータと、複数の自動化されたテストの結果と、を含む開発タスクを作成すること、開発タスクの動的な実施に従って動的評価を制御すること、制御された動的評価および開発タスクの優先度に基づいて、所与のレベルで脅威検出の品質を維持すること、を実行するように構成されている。
【0012】
例示的なシステムは、より悪い品質で検出された複数のオブジェクトを分類すること、及び品質を反復的に改善することの速度を上げ且つそのことを優先させることができる。さらに、複数の個別ソースからの複数のオブジェクトの複数のコレクションおよび複数のオブジェクトの複数の個別クラスに対する信頼度を考慮に入れて、検出するデータベース及びエンジンをテストすることが可能である。
【図面の簡単な説明】
【0013】
本発明の例示的な複数の態様は、複数の図面を参照して本発明の例示的な複数の実施形態の以下の詳細な説明からよりよく理解されるであろう。
【発明を実施するための形態】
【0014】
次に、本発明の例示的な複数の実施形態を、複数の図面を参照して説明する。
図１において例示的に示されるように、検出品質評価（detection quality assessment）の反復（イテレーション：iteration）のためのプロセス１０１は、ステップ１０２において示されるように、オブジェクトコレクション（object collection）からオブジェクトを受け取ることを含む。オブジェクトは、ステップ１０４において内部スキャンエンジン（internal scan engine）によってスキャンされ、ステップ１０３において外部スキャンエンジン（external scan engine）によってスキャンされる。
図１において例示的に示されるように、検出品質評価（detection quality assessment）の反復（イテレーション：iteration）のためのプロセス１０１は、ステップ１０２において示されるように、オブジェクトコレクション（object collection）からオブジェクトを受け取ることを含む。オブジェクトは、ステップ１０４において内部スキャンエンジン（internal scan engine）によってスキャンされ、ステップ１０３において外部スキャンエンジン（external scan engine）によってスキャンされる。
【0015】
ステップ１０５において、外部スキャン結果および少なくとも第１時刻のオブジェクト検出（first time object detection）の時刻を含むオブジェクトメタデータ（object metadata）が取得され、ステップ１０６において、内部スキャン結果およびオブジェクトメタデータが取得される。
【0016】
メタデータは、例えば、ＶｉｒｕｓＴｏｔａｌに関連しており、使用されているエンジンの完全なリスト、既存の権限（privileges）のリストなどを含む。メタデータはスキャン結果に完全にまたは部分的に含まれているため、メタデータをオブジェクトの分類（object classification）に使用できる。
【0017】
ステップ１０７では、内部スキャンエンジンおよび外部スキャンエンジンからの内部スキャン結果および外部スキャン結果とオブジェクトメタデータとを含む複合判定（composite verdict）が取得される。
【0018】
ステップ１０８は、反復の複合判定を用いてオブジェクト履歴情報（object history information）を更新することを含み、複合判定は、ステップ１０９において評価される。
ステップ１１０において複合判定が一致していると判定された場合、ステップ１１２において、タスク「Ａ」が次の反復処理のためにスケジュールされ、ステップ１１８において、オブジェクトを提供したオブジェクトソース（object source）のリストが取得され、ステップ１１９において、完了した反復処理に基づいて、オブジェクトソースの信頼度が更新される。
ステップ１１０において複合判定が一致していると判定された場合、ステップ１１２において、タスク「Ａ」が次の反復処理のためにスケジュールされ、ステップ１１８において、オブジェクトを提供したオブジェクトソース（object source）のリストが取得され、ステップ１１９において、完了した反復処理に基づいて、オブジェクトソースの信頼度が更新される。
【0019】
複合判定は、判定属性（verdict attribute）の幾つかのペアが等しくない場合に不一致であると判定される。たとえば、スキャンの判定（例えば、悪意のある（マリシャス：malicious）または黒（black）、疑わしい（suspicious）、またはグレー（grey）及び白（white））が異なる、セキュリティ評価（security rating）（数値）が異なる、脅威のクラス（トロイの木馬（trojan）、ウイルス、ランサムウェア）が異なる、またはメタデータに追加データが含まれているなどである。
【0020】
ステップ１１０において複合判定が不一致であると判定された場合、ステップ１１１において、オブジェクトは、複合判定に基づいてコレクション内の他のオブジェクトと分類され、ステップ１１３において、オブジェクトのクラスについての結果の不一致を検証する複数の自動化されたテストが実行され、ステップ１１４において、複数の自動されたテスト結果でオブジェクト履歴情報が更新される。
【0021】
ステップ１１５において内部判定が正しいと判定された場合に、プロセスはステップ１１２に進み、次の反復処理のためにタスク「Ｂ」がスケジュールされる。スケジュールされる時刻、外部エンジンおよび内部エンジンの範囲（scope）、およびオブジェクトコレクションは、タスク「Ａ」および「Ｂ」に対して個別に設定される。
【0022】
ステップ１１５において内部判定が不正確であると判定された場合に、ステップ１１６において、複合判定および複数の自動されたテスト結果によりスキャンエンジン開発タスクが作成され、ステップ１１８においてオブジェクトを提供したオブジェクトソースのリストを取得することによって、ステップ１１７においてタスクが次の反復処理のためにスケジュールされる。
【0023】
図２は、検出品質評価の反復の例示的なシステムを示す。
図２に示すように、複合判定分析器（composite verdict analyzer）２０５は、オブジェクト２０９を受け取り、開発オペレーションシステム（development operation system）２１０に提供されるタスク２０８を生成することによって、反復処理スケジューラ（iteration scheduler）２０６、外部スキャンマネージャ２０３、内部スキャンマネージャ２０４、およびオブジェクト履歴（object history）２０７と情報を交換する。
図２に示すように、複合判定分析器（composite verdict analyzer）２０５は、オブジェクト２０９を受け取り、開発オペレーションシステム（development operation system）２１０に提供されるタスク２０８を生成することによって、反復処理スケジューラ（iteration scheduler）２０６、外部スキャンマネージャ２０３、内部スキャンマネージャ２０４、およびオブジェクト履歴（object history）２０７と情報を交換する。
【0024】
反復処理スケジューラ２０６は、外部スキャンマネージャ２０３、内部スキャンマネージャ２０４、および複数の自動化されたテスト２１９とインタラクションする（interact）。
【0025】
より具体的には、反復処理スケジューラ２０６は、反復処理中のスキャンのフローを制御し、複合判定に基づいて次の反復処理をスケジュールする。
内部スキャンマネージャ２０４は、ＡＰＩ、コマンドライン（command line）、または他のインタフェースを使用して、複数のコマンドまたはオブジェクトを複数の内部スキャンエンジンまたは製品に送信して現在の複数のスキャン結果を取得することによって、セキュリティアプリケーション２１６，２１７、ならびに内部スキャンエンジン２１８と通信する。
内部スキャンマネージャ２０４は、ＡＰＩ、コマンドライン（command line）、または他のインタフェースを使用して、複数のコマンドまたはオブジェクトを複数の内部スキャンエンジンまたは製品に送信して現在の複数のスキャン結果を取得することによって、セキュリティアプリケーション２１６，２１７、ならびに内部スキャンエンジン２１８と通信する。
【0026】
外部スキャンマネージャ２０３は、ＡＰＩ、コマンドライン、または他のインタフェースを使用して、複数のコマンドまたはオブジェクトを複数のサードパーティのツールおよびエンジンに送信して現在の複数のスキャン結果を取得することによって、外部スキャンエンジン２０１，２０２と通信する。
【0027】
オブジェクト２０９は、オブジェクトソース２１４，２１５と通信するオブジェクトコレクション２１２，２１３を含む複数のオブジェクトコレクション２１１から供給される。オブジェクト２０９は、複数のファイル（例えば、スクリプト、ｅｘｅファイル、ドキュメント、ウェブページなど）、ＵＲＬ、ＩＰアドレス、ドメイン名などを含み得る。
【0028】
例示的な態様では、図２に示されるシステムは、複数の命令を記憶するメモリに接続されたコンピュータのプロセッサを含む。プロセッサは、複数のオブジェクトコレクション２１１内の複数のオブジェクト２０９の各々について定義された頻度で脅威検出の品質の動的評価を繰り返し実行するように構成されている。
【0029】
動的評価の結果は、内部スキャンエンジン１および外部スキャンエンジン２のそれぞれによる複数のオブジェクトの内部スキャン結果および外部スキャン結果と、複数のオブジェクト２０９の内部スキャン結果と外部スキャン結果との一致判定（consistency verdict）とを含む。
【0030】
システムは、複合判定分析器２０５によって評価された複数のオブジェクトの外部スキャン結果と内部スキャン結果との一致判定に基づいて、複数のオブジェクト２０９のスキャンの反復の頻度を変更する。
【0031】
システムは、動的評価の結果に基づいて複数のオブジェクト２０９をさらに分類し、複数のオブジェクトの内部スキャン結果と外部スキャン結果との不一致を解消する（fix）ソフトウェアを開発するための複数の詳細内容（details）を提供するために、オブジェクト２０９の内部スキャン結果および外部スキャン結果、複数のオブジェクトのメタデータ、および複数の自動化されたテストの結果を含む開発タスク２０８を作成する。
【0032】
システムはまた、開発タスク２０８の動的な実施（dynamic of implementation）に従って動的評価を制御し、制御された動的評価および開発タスク２０８の優先度に基づいて、所与のレベルで脅威検出の品質を維持する。
【0033】
図３は、ウイルス対策エンジン（アンチウィルスエンジン：antivirus engine）のための例示的な悪意のあるコードの検出品質管理システムの例示的なエンティティ関連図を示している。
【0034】
本発明の例示的な態様では、システムは、悪意のあるファイル及びクリーンなファイル（clean file）に関する情報を、様々なソース（例えば、VirusTotal feed、MalaShare、ワークステーション（workstations）など）から自動的に受信する。システムは、複数のファイルを複数のカテゴリ、例えば黒、白、グレーに自動的に分類し、異なる複数のデータセットに関する複数の判定プロバイダー（verdict providers）についての混同行列（confusion matrix）とその時間依存性を取得することを可能にする。
【0035】
ファイルの出現（ファイルアピアランス：file appearance）と最終スキャン日との集合、データセット、およびこれらのパラメータの任意の組み合わせが利用可能であり、（たとえば、スキャン結果として）すべての履歴情報のコレクション及び保存が提供される。このシステムはメトリックの視覚化を可能にし、リアルタイムで動作する（すなわち、分類に要する時間だけ遅れる）。
【0036】
上記のプロセスでは、例示的な図３に示されるように、データソースは、好ましくは複数の新しいファイルを含む悪意のあるファイルおよびクリーンなファイルに関する情報を受信することを可能にするリソースまたはオブジェクトを含む。データセットは特定のデータソースから取得され、判定プロバイダーは、ＶｉｒｕｓＴｏｔａｌ、ＢｉｔＤｅｆｅｎｄｅｒ、ＣｌｅａｎＳｅｔ、またはファイルに関する有用な情報を提供する別のソースにインストールされたウイルス対策エンジンを含む。このタスクは、新しいファイルの受信、スキャン、判定の受信、データベースへの結果の保存などを含むいくつかの処理を実行するプログラムを含み、検出品質は混同行列の値を含む。
【0037】
例示的な図３に示される複数のエンティティは、データソース、ファイル、判定プロバイダー、および判定を含む。
データソースは、「id」および「name」の２つの属性を有する。複数のファイルを生成し（たとえば、ハッシュのみが使用される）、すべての必須フィールドに入力する（fill）ことができる。特定のデータソースによって多くのファイルが生成される。同時に、特定のファイルが、異なる複数のデータソースによって生成され得る（つまり、ＩＤは異なる）。
データソースは、「id」および「name」の２つの属性を有する。複数のファイルを生成し（たとえば、ハッシュのみが使用される）、すべての必須フィールドに入力する（fill）ことができる。特定のデータソースによって多くのファイルが生成される。同時に、特定のファイルが、異なる複数のデータソースによって生成され得る（つまり、ＩＤは異なる）。
【0038】
ファイルは、複数のプロパティ（properties）を有する。すべての必須フィールドはデータソースによって入力され、任意選択的なフィールドは判定によって更新され得る。ファイルは、異なる複数の判定プロバイダーによってスキャンされ得る。
【0039】
判定プロバイダーは、「id」および「name」の２つの属性を有しており、判定を提供する。判定の時間的依存性を考慮し、特定のファイルは、複数の判定を取得するために、複数回スキャンされることができる。
【0040】
判定は、判定プロバイダーによって入力される「id」、「file_id」、「scan_date（スキャンした日）」、および「result（結果）」を含む４つの属性を有する。
タスクはすべてのシステムを制御する。まず、新しい複数のファイルは、複数のデータソースによって生成される。次に、すべてのファイルの中から、関心のある複数のファイルが選択される（例えば、最近受信した新しい複数のファイル）。その後、選択された複数のファイルが複数の判定プロバイダーによって再スキャンされ、新しい複数の判定が受信される。
タスクはすべてのシステムを制御する。まず、新しい複数のファイルは、複数のデータソースによって生成される。次に、すべてのファイルの中から、関心のある複数のファイルが選択される（例えば、最近受信した新しい複数のファイル）。その後、選択された複数のファイルが複数の判定プロバイダーによって再スキャンされ、新しい複数の判定が受信される。
【0041】
図３に示されているエンティティ関連図は、図４のデータベース概略図をより明確に示している。
図４は、既存のテーブルとそのフィールドを示しており、このテーブルには、データソース、ファイル、判定プロバイダー、および判定の以下の態様が提供されることができる。
図４は、既存のテーブルとそのフィールドを示しており、このテーブルには、データソース、ファイル、判定プロバイダー、および判定の以下の態様が提供されることができる。
【0042】
データソース
データソースの属性が含まれる。
データソースの属性が含まれる。
【0043】
【表1】
データソースの属性が含まれる。
【0044】
【表2】
判定プロバイダーの属性が含まれる。
【0045】
【表3】
判定の属性が含まれる。
【0046】
【表4】
【0047】
コンポーネントモデルに関して、ＭＤＱＣＳは以下のコンポーネントを含む：
１．DataSources（データソース）
２．VerdictProviders（判定プロバイダー）
３．DetectDB（検出ＤＢ）
４．Tasks（タスク）。
１．DataSources（データソース）
２．VerdictProviders（判定プロバイダー）
３．DetectDB（検出ＤＢ）
４．Tasks（タスク）。
【0048】
以下の複数のテーブルは、各コンポーネントの役割を説明する。
【0049】
【表5】
【0050】
【表6】
【0051】
【表7】
【0052】
【表8】
【0053】
すべてのメトリックは、以下のよう算出される：
様々なデータセットについて {dataset='dataset_name'}
全てのデータセットの平均について {dataset='average'}
全てのデータセットの重み付けされた平均 {dataset='weighted'}。
様々なデータセットについて {dataset='dataset_name'}
全てのデータセットの平均について {dataset='average'}
全てのデータセットの重み付けされた平均 {dataset='weighted'}。
【0054】
検出品質の時間依存性について、検出品質は、設定された日限まで、ファイルが出現した日、次の日などについて計算される。
指定された期間の以前の経時的なメトリックの平均化に関しては、ゼロデイ（0 day）のファイル、翌日のファイルなどについて検出品質を平均化することが考えられる。
指定された期間の以前の経時的なメトリックの平均化に関しては、ゼロデイ（0 day）のファイル、翌日のファイルなどについて検出品質を平均化することが考えられる。
【0055】
複数のファイルについての平均検出品質は、指定された期間において受信される。特定のソースからのファイルの数は別のソースに認識されており、それらがどれくらいで出現するかは、以下に依存する：
ローカル（白）ファイル（Local (white) files）及びBD cleanset;
MalShare及びVT;及び
ローカルファイル及びVT。
ローカル（白）ファイル（Local (white) files）及びBD cleanset;
MalShare及びVT;及び
ローカルファイル及びVT。
【0056】
本発明の種々の例示的な実施形態の説明は、例示の目的のために提示されているが、開示された実施形態を網羅することまたは限定することも意図していない。多くの変更例および変形例が、説明された実施形態の範囲および趣旨から逸脱することなく、当業者には明らかとなるであろう。本明細書で使用される用語は、実施形態の原理、市場で見出される技術に対する実用的な適用または技術的改良を最も良好に説明するため、または当業者が本明細書において開示される実施形態を理解できるようにするために選択された。
【0057】
さらに、出願人の意図は、特許請求の範囲の全ての要素の均等物を包含することであり、本出願の何れかの請求項に対する補正は、補正された請求項の何れかの要素又は特徴の均等物に対する利益又は権利の放棄と解釈されるべきではない。
【図1】
【図2】
【図3】
【図4】
【外国語明細書】