特許 7470645 オブジェクト検出モデルを組み合わせるための方法、デバイス、およびシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-10

(45)【発行日】2024-04-18

(54)【発明の名称】オブジェクト検出モデルを組み合わせるための方法、デバイス、およびシステム

(51)【国際特許分類】

   G06V 10/82 20220101AFI20240411BHJP

   G06T 7/00 20170101ALI20240411BHJP

   G06V 10/762 20220101ALI20240411BHJP

【ＦＩ】

G06V10/82

G06T7/00 350C

G06V10/762

【請求項の数】 38

(21)【出願番号】P 2020562695

(86)(22)【出願日】2019-12-13

(65)【公表番号】

(43)【公表日】2023-03-27

(86)【国際出願番号】 US2019066388

(87)【国際公開番号】W WO2021118606

(87)【国際公開日】2021-06-17

【審査請求日】2022-11-30

(31)【優先権主張番号】16/712,713

(32)【優先日】2019-12-12

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】519077355

【氏名又は名称】ベイド ユーエスエー インコーポレイテッド

【氏名又は名称原語表記】Ｖａｄｅ ＵＳＡ， Ｉｎｃ．

(74)【代理人】

【識別番号】100115738

【弁理士】

【氏名又は名称】鷲頭 光宏

(74)【代理人】

【識別番号】100121681

【弁理士】

【氏名又は名称】緒方 和文

(72)【発明者】

【氏名】レジーナ マフディー

(72)【発明者】

【氏名】マイヤー マキシム マーク

(72)【発明者】

【氏名】グタール セバスチャン

【審査官】高野 美帆子

(56)【参考文献】

【文献】特開２０１４－０５９８７５（ＪＰ，Ａ）

【文献】“Logo Recognition by Combining Deep Convolutional Models in a Parallel Structure”，2019 4th International Conference on Pattern Recognition and Image Analysis (IPRIA)，2019年，Karimi, Mohammad、Behrad, Alireza，p.216-221，DOI: 10.1109/PRIA.2019.8786032

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｖ １０／８２

Ｇ０６Ｔ ７／００

Ｇ０６Ｖ １０／７６２

(57)【特許請求の範囲】

【請求項1】

グラフィックレンダリングにおいてロゴを検出するコンピュータ実施方法であって、
第１のトレーニング済みオブジェクト検出器を使用して前記グラフィックレンダリングにおいてロゴを検出し、かつ検出の第１のリストを出力することと、
第２のトレーニング済みオブジェクト検出器を使用して前記グラフィックレンダリングにおいてロゴを検出し、かつ検出の第２のリストを出力することと、
第１の事前性能ベースフィルターおよび第２の事前性能ベースフィルターを使用して、受信した前記検出の第１のリストおよび前記検出の第２のリストを、維持される検出の第１のグループ、廃棄される検出の第２のグループ、および検出の第３のグループにフィルタリングすることと、
ある場合、前記検出の第３のグループにおける検出を、同じクラスのものであり、かつ一般的に電子画像内に共同設置される検出を含む少なくとも１つのクラスターにおいてクラスター化することと、
クラスタースコアをそれぞれのクラスターに割り当てることと、
前記グラフィックレンダリングにおけるロゴの検出のセットを出力することであって、前記セットは前記第１のグループにおける検出、および割り当てられたクラスタースコアが対応する閾値より大きいクラスターのそれぞれからの検出を含む、ロゴの検出のセットを出力することと、を含む、コンピュータ実施方法。

【請求項2】

前記第１のトレーニング済みオブジェクト検出器および前記第２のトレーニング済みオブジェクト検出器のうちの少なくとも１つは、畳み込みニューラルネットワーク（ＣＮＮ）ベース検出器を含む、請求項１に記載のコンピュータ実施方法。

【請求項3】

前記ＣＮＮベース検出器は、ＳＳＤ ＲｅｓＮｅｔ－５０およびＳＳＤ ＶＧＧ－１６のうちの１つを含む、請求項２に記載のコンピュータ実施方法。

【請求項4】

前記検出の第１～第３のグループにおけるそれぞれの検出は、予測クラス、クラス信頼度スコア、および前記グラフィックレンダリングにおける検出済みロゴの境界ボックスの座標を含むタプルを含む、請求項１に記載のコンピュータ実施方法。

【請求項5】

フィルタリングは、第１の注釈付きオブジェクト検出データセットにおいて前記第１のトレーニング済みオブジェクト検出器をテストすることによって前記第１の事前性能ベースフィルターを生成することと、第２の注釈付きオブジェクト検出データセットにおいて前記第２のトレーニング済みオブジェクト検出器をテストすることによって前記第２の事前性能ベースフィルターを生成することと、をさらに含む、請求項１に記載のコンピュータ実施方法。

【請求項6】

前記第１の注釈付きオブジェクト検出データセットおよび前記第２の注釈付きオブジェクト検出データセットは同じである、請求項５に記載のコンピュータ実施方法。

【請求項7】

フィルタリングは、前記第１のトレーニング済みオブジェクト検出器、および前記検出の第１のリストにおけるそれぞれの検出と関連付けられた第１の信頼度スコアに固有の第１の事前知識値、および、前記第２のトレーニング済みオブジェクト検出器、および前記検出の第２のリストにおけるそれぞれの検出と関連付けられた第２の信頼度スコアに固有の第２の事前知識値に基づく、請求項１に記載のコンピュータ実施方法。

【請求項8】

前記維持される検出の第１のグループは、ロゴの検出の出力された前記セットに含まれる検出を含み、前記廃棄される検出の第２のグループは、廃棄され、かつ前記ロゴの検出の出力されたセットに含まれない検出を含み、前記第３のグループは、検出が、前記第２のグループに廃棄されるまたは前記第１のグループに含まれるかどうかを判断するためのさらなる処理を必要とする検出を含む、請求項１に記載のコンピュータ実施方法。

【請求項9】

一般的に前記電子画像内に共同設置される前記検出の第３のグループにおける検出をクラスター化することは、前記電子画像内に重複する境界ボックスを有する検出をクラスター化することを含む、請求項１に記載のコンピュータ実施方法。

【請求項10】

前記電子画像内で重複する境界ボックスを有する検出をクラスター化することは、Ｉｎｔｅｒｓｅｃｔｉｏｎ Ｏｖｅｒ Ｕｎｉｏｎ（ＩｏＵ）が重複閾値より大きい境界ボックスを有する検出をクラスター化することを含む、請求項９に記載のコンピュータ実施方法。

【請求項11】

クラスタースコアをそれぞれのクラスターに割り当てることは、前記クラスタースコアが算出されている前記クラスターにおける検出の信頼度スコアに基づいて前記クラスタースコアを算出することを含む、請求項１に記載のコンピュータ実施方法。

【請求項12】

前記クラスタースコアを算出することはアグリゲーション関数を使用することを含む、請求項１１に記載のコンピュータ実施方法。

【請求項13】

それぞれのクラスターについて、前記クラスタースコアは前記クラスターにおける前記検出の前記信頼度スコアの平均を含む、請求項１２に記載のコンピュータ実施方法。

【請求項14】

それぞれの閾値は、前記第１のトレーニング済みオブジェクト検出器および前記第２のトレーニング済みオブジェクト検出器の１つまたは複数のセットに固有である、請求項１に記載のコンピュータ実施方法。

【請求項15】

注釈付きオブジェクト検出データセットに対してハイパーパラメータ最適化方法を使用してそれぞれの閾値を判断することをさらに含む、請求項１４に記載のコンピュータ実施方法。

【請求項16】

前記ハイパーパラメータ最適化方法はランダム検索方法を含む、請求項１５に記載のコンピュータ実施方法。

【請求項17】

前記クラスターを表す１つの検出に関連している関係するクラスターとして所定のクラスター閾値より大きいクラスタースコアを有するそれぞれのクラスターを示すことをさらに含む、請求項１に記載のコンピュータ実施方法。

【請求項18】

前記クラスターを表す前記１つの検出は前記クラスターに含有される前記検出のうちの１つである、請求項１７に記載のコンピュータ実施方法。

【請求項19】

前記関係するクラスターを前記維持される検出の第１のグループに追加することをさらに含む、請求項１７に記載のコンピュータ実施方法。

【請求項20】

少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサに結合される少なくとも１つのデータストレージデバイスと、
前記少なくとも１つのプロセッサおよびコンピュータネットワークに結合されるネットワークインターフェースと、
グラフィックレンダリングにおいてロゴを検出するために前記少なくとも１つのプロセッサによって生成される複数のプロセスと、を含む、コンピューティングデバイスであって、
前記プロセスは、
第１のトレーニング済みオブジェクト検出器を使用して前記グラフィックレンダリングにおいてロゴを検出し、かつ検出の第１のリストを出力することと、
第２のトレーニング済みオブジェクト検出器を使用して前記グラフィックレンダリングにおいてロゴを検出し、かつ検出の第２のリストを出力することと、
第１の事前性能ベースフィルターおよび第２の事前性能ベースフィルターを使用して、受信した前記検出の第１のリストおよび前記検出の第２のリストを、維持される検出の第１のグループ、廃棄される検出の第２のグループ、および検出の第３のグループにフィルタリングすることと、
ある場合、前記検出の第３のグループにおける検出を、同じクラスのものであり、かつ一般的に電子画像内に共同設置される検出を含む少なくとも１つのクラスターにおいてクラスター化することと、
クラスタースコアをそれぞれのクラスターに割り当てることと、
前記グラフィックレンダリングにおけるロゴの検出のセットを出力することであって、前記セットは前記第１のグループにおける前記検出、および割り当てられたクラスタースコアが対応する閾値より大きい前記クラスターのそれぞれからの検出を含む、ロゴの検出のセットを出力することと、を行うための処理ロジックを含む、コンピューティングデバイス。

【請求項21】

前記第１のトレーニング済みオブジェクト検出器および前記第２のトレーニング済みオブジェクト検出器のうちの少なくとも１つは、畳み込みニューラルネットワーク（ＣＮＮ）ベース検出器を含む、請求項２０に記載のコンピューティングデバイス。

【請求項22】

前記ＣＮＮベース検出器は、ＳＳＤ ＲｅｓＮｅｔ－５０およびＳＳＤ ＶＧＧ－１６のうちの１つを含む、請求項２１に記載のコンピューティングデバイス。

【請求項23】

前記検出の第１～第３のグループにおけるそれぞれの検出は、予測クラス、クラス信頼度スコア、および前記グラフィックレンダリングにおける検出済みロゴの境界ボックスの座標を含むタプルを含む、請求項２０に記載のコンピューティングデバイス。

【請求項24】

フィルタリングのための前記処理ロジックは、第１の注釈付きオブジェクト検出データセットにおいて前記第１のトレーニング済みオブジェクト検出器をテストすることによって前記第１の事前性能ベースフィルターを生成することと、第２の注釈付きオブジェクト検出データセットにおいて前記第２のトレーニング済みオブジェクト検出器をテストすることによって前記第２の事前性能ベースフィルターを生成することと、を行うための処理ロジックをさらに含む、請求項２０に記載のコンピューティングデバイス。

【請求項25】

前記第１の注釈付きオブジェクト検出データセットおよび前記第２の注釈付きオブジェクト検出データセットは同じである、請求項２４に記載のコンピューティングデバイス。

【請求項26】

フィルタリングは、前記第１のトレーニング済みオブジェクト検出器、および前記検出の第１のリストにおけるそれぞれの検出と関連付けられた第１の信頼度スコアに固有の第１の事前知識値、および、前記第２のトレーニング済みオブジェクト検出器、および前記検出の第２のリストにおけるそれぞれの検出と関連付けられた第２の信頼度スコアに固有の第２の事前知識値に基づく、請求項２０に記載のコンピューティングデバイス。

【請求項27】

前記維持される検出の第１のグループは、ロゴの検出の出力された前記セットに含まれる検出を含み、前記廃棄される検出の第２のグループは、廃棄され、かつ前記ロゴの検出の出力されたセットに含まれない検出を含み、前記第３のグループは、検出が、前記第２のグループに廃棄されるまたは前記第１のグループに含まれるかどうかを判断するためのさらなる処理を必要とする検出を含む、請求項２０に記載のコンピューティングデバイス。

【請求項28】

一般的に前記電子画像内に共同設置される前記検出の第３のグループにおける検出をクラスター化するための前記処理ロジックは、前記電子画像内に重複する境界ボックスを有する検出をクラスター化するための処理ロジックを含む、請求項２０に記載のコンピューティングデバイス。

【請求項29】

前記電子画像内で重複する境界ボックスを有する検出をクラスター化するための前記処理ロジックは、Ｉｎｔｅｒｓｅｃｔｉｏｎ Ｏｖｅｒ Ｕｎｉｏｎ（ＩｏＵ）が重複閾値より大きい境界ボックスを有する検出をクラスター化するための処理ロジックを含む、請求項２８に記載のコンピューティングデバイス。

【請求項30】

クラスタースコアをそれぞれのクラスターに割り当てるための前記処理ロジックは、前記クラスタースコアが算出されている前記クラスターにおける前記検出の信頼度スコアに基づいて前記クラスタースコアを算出するための処理ロジックを含む、請求項２０に記載のコンピューティングデバイス。

【請求項31】

前記クラスタースコアを算出するための前記処理ロジックはアグリゲーション関数を使用するための処理ロジックを含む、請求項３０に記載のコンピューティングデバイス。

【請求項32】

それぞれのクラスターについて、前記クラスタースコアは前記クラスターにおける前記検出の前記信頼度スコアの平均を含む、請求項３１に記載のコンピューティングデバイス。

【請求項33】

それぞれの閾値は、前記第１のトレーニング済みオブジェクト検出器および前記第２のトレーニング済みオブジェクト検出器の１つまたは複数のセットに固有である、請求項２０に記載のコンピューティングデバイス。

【請求項34】

注釈付きオブジェクト検出データセットに対してハイパーパラメータ最適化方法を使用してそれぞれの閾値を判断するための処理ロジックをさらに含む、請求項３３に記載のコンピューティングデバイス。

【請求項35】

前記ハイパーパラメータ最適化方法はランダム検索方法を含む、請求項３４に記載のコンピューティングデバイス。

【請求項36】

前記クラスターを表す１つの検出に関連している関係するクラスターとして所定のクラスター閾値より大きいクラスタースコアを有するそれぞれのクラスターを示すための処理ロジックをさらに含む、請求項２０に記載のコンピューティングデバイス。

【請求項37】

前記クラスターを表す前記１つの検出は前記クラスターに含有される前記検出のうちの１つである、請求項３６に記載のコンピューティングデバイス。

【請求項38】

前記関係するクラスターを前記維持される検出の第１のグループに追加するための処理ロジックをさらに含む、請求項３６に記載のコンピューティングデバイス。

【発明の詳細な説明】

【背景技術】

【0001】

フィッシング攻撃には一般的に、合法的なブランドウェブページを偽装する詐欺的なウェブページを使用して機密情報を盗もうとする攻撃者が関与している。そのように、合法的なページに存在する偽装したブランドの１つまたは複数のロゴを含むこれらの詐欺的なウェブページは、合法的なウェブページを模倣している。フィッシャーの作業成果物の品質が向上しているため、詐欺的なウェブページを合法的なウェブページから検出することはますます困難になっている。

【図面の簡単な説明】

【0002】

【図1】一実施形態による、オブジェクト検出器の入力および出力を示す表である。

【0003】

【図2】１つの実施形態による、グラフィックレンダリングにおいてロゴを検出するコンピュータ実施方法のブロック図である。

【0004】

【図3】予測時間におけるフィルタリングを示す、１つの実施形態による、グラフィックレンダリングにおいてロゴを検出するコンピュータ実施方法のさらなる態様のブロック図である。

【0005】

【図4A】１つの実施形態による、予測時間におけるフィルタリングの態様を示す、グラフィックレンダリングにおいてロゴを検出するコンピュータ実施方法のさらなる態様のブロック図である。

【0006】

【図4B】１つの実施形態による、予測時間におけるフィルタリングのさらなる態様を示す、グラフィックレンダリングにおいてロゴを検出するコンピュータ実施方法のさらなる態様のブロック図である。

【0007】

【図5】１つの実施形態による、例示のＡＯＬ（登録商標）ログインページ上の検出クラスターの視覚化を示す図である。

【0008】

【図6】１つの実施形態による、フィッシングウェブページのグラフィックレンダリングにおけるロゴ検出の本発明のコンピュータ実施方法の態様を示すブロック図である。

【0009】

【図7】フィッシングウェブページのグラフィックレンダリングを示す図である。

【0010】

【図8】一実施形態、および一実施形態に従って構成されるコンピューティングデバイスによるコンピュータ実施方法を実行するのに適したコンピューティングデバイスのブロック図である。

【発明を実施するための形態】

【0011】

実施形態は、オブジェクト検出モデルを組み合わせるためのコンピュータ実施方法およびシステムに関し、より具体的には、入力画像が与えられたとすると、より良く組み合わせられた検出を出力するためのロゴ検出モデルの組み合わせに関する。これらのコンピュータ実施方法およびシステムは、画像におけるブランドロゴを検出し、かつ合法的なブランドウェブページを偽装する詐欺的なウェブページを使用して攻撃者が機密情報を盗もうとするフィッシング攻撃の検出および特徴付けに役立つように使用することができる。合法的なページに存在する偽装したブランドの１つまたは複数のロゴを含むこれらの詐欺的なウェブページは、合法的なウェブページを模倣している。ウェブページ、電子メール、または任意の他の種類の電子文書を表す画像にロゴ検出を適用することによって、フィッシング試行のより良い特徴付けを引き出すことが可能であり、フィッシング対象ブランドは向上した確度で検出可能である。本明細書で使用されるような「ロゴ」という用語は、この範囲内で、一般的な識別および認識を支援しかつ促進するために使用される任意の図形標識、エンブレム、または記号を含み、抽象設計または具象設計のものであってよい、または、ワードマークにあるようにロゴが表す名称のテキストを含んでよい。用語「ロゴ」はまた、本明細書で言及されるオブジェクト検出器がほとんどいずれの種類の注釈付きトレーニング画像によってもトレーニング可能であるため、ほぼいかなるものの、ほぼいかなる図形表現（およびこれらのわずかな変形）をも含む。

【0012】

オブジェクト検出は、推定器（ここではオブジェクト検出器という）が、注釈付き画像が与えられたとすると、画像上で検出されるそれぞれのオブジェクトが、オブジェクトクラス（典型的には、オブジェクトタイプ）、信頼度スコア（典型的には、［０、１］の範囲の浮動小数）、および画像におけるこの位置（例えば、画素の空間における境界ボックスの座標）に関連しているように、新しい画像上のオブジェクトを検出するように学習する機械学習タスクである。

【0013】

多大な研究努力によって、特定の画像処理タスクに対する単一の推定器の精度が改善されている。同様に、複数の推定器が性能を改善するために組み合わせ可能であるやり方を判断するための研究が行われており、それによって、「ランダムフォレスト」など、決定木の組み合わせである新しいモデル「群」がもたらされる。実施形態は従って、オブジェクト検出の文脈でいくつかの推定器の予測を組み合わせるためのコンピュータ実施方法およびシステムに関する。

【0014】

推定器の組み合わせおよびロゴ検出
ロゴ検出はオブジェクト検出の特定の事例である。コンピュータビジョンにおけるオブジェクト検出は、分類および回帰両方の問題である。実際は、入力画像が与えられるとすると、この目的は、検出を出力すること、すなわち、対象オブジェクトおよびこれらの対応するクラスを含有する境界ボックスの位置を予測することである。検出は、注釈方法およびアルゴリズムの損失関数によって引き起こされる制約に基づく。検出の境界ボックスは、矩形であってよく、１つのオブジェクトのみを含有してよく、含有するオブジェクトと同様のサイズのものであってよい。オブジェクト検出アルゴリズムの入力および出力は以下の表に詳述される。

【表1】

【0015】

同様に、他のコンピュータビジョンタスクに対して、オブジェクト検出タスクは一般的に、畳み込みニューラルネットワーク（ＣＮＮ）に頼っている。ＣＮＮは、最も一般的には、視覚イメージの解析に適用されるディープニューラルネットワークのクラスである。例えば、ＣＮＮは、ＲｅｓＮｅｔ－５０およびＶＧＧ－１６アルゴリズムのＳＳＤビジョンを含んでよい。１つの実施形態によると、ＣＮＮはロゴを検出するために使用可能である。Ｐｉｘｍ社は、例えば、この製品パイプラインにおいて、疑わしいウェブサイトまたは電子メールにフラグを立てるためにロゴおよびアイコンを検出するためのＣＮＮを含む。この分野における研究はまた、進行中であり、ＣＮＮに基づく複数の方法は、オブジェクト検出性能を改善するために近年提案されている。

【0016】

所与のタスクに関する性能を改善するための機械学習における周知のアプローチは、種々の推定器（例えば、ＳＶＭ、ＣＮＮ）を組み合わせることである。実際は、推定器を組み合わせることによって汎化誤差を低減することが可能である。経験的に、推定器群は、推定器の間に著しい多様性がある時に（すなわち、推定器誤差が相互に関連していない時に）より良い結果を生み出す傾向がある。推定器間の多様性は、トレーニングデータ（例えば、データ増強、バギング）、推定器アルゴリズム（例えば、ＳＶＭ、ロジスティック回帰）、または、ニューラルネットワークによるアーキテクチャおよびトレーニングパラメータなどのさまざまな手段を使用して高めることが可能である。例えば、多様なＣＮＮのセットを作成して、これらを組み合わせ、かつオブジェクトを精確に分類するための提案が行われている。

【0017】

推定器の多様性の他に、組み合わせ方法は推定器群の性能にも影響を与える。投票、デンプスター・シェーファー理論、および他の機械学習アルゴリズムなどの推定器を組み合わせるための種々の方法が提案されている。ブースティングなどの他の方法は、推定器の多様性および組み合わせ両方に取り組んでいる。

【0018】

それぞれの推定器（オブジェクト検出器）が、それぞれがこれら自体の位置を有するいくつかの候補検出を行うことができるオブジェクト検出の文脈において（表１－オブジェクト検出器の入力および出力の定義）、種々のオブジェクト検出器からの検出間の重複を利用する特定の組み合わせ方法が提案されている。例えば、機械学習アルゴリズムを使用する検出は、それぞれの画像に対する候補検出をランク付けするために組み合わせられてよい。ランク付けアルゴリズムの特徴は、それぞれの検出がその他と重複する程度、およびオブジェクト間の関連の可能性に関する情報を含む。低ランク検出の重複は廃棄される。

【0019】

検出をクラスター化するための他の方法は重複に基づき、スコアはそれぞれのクラスターに対して計算される。クラスターのスコアを計算するために、このような方法によって、例えば、デンプスター・シェーファー理論を使用してクラスター内の検出によって与えられるスコアを組み合わせる。それぞれのクラスターにスコアが割り当てられると、これらはフィルタリングされてよく、ある基準（例えば、非最大抑制）に従って冗長な検出は除去されてよい。

【0020】

１つの実施形態は、組み合わせた検出の最適なセットを出力するために連続するフィルタリング演算による複数のオブジェクト検出器からの検出を組み合わせるように構成される。結果として生じた組み合わせた検出のセットは、個々に採用されるオブジェクト検出器によって出力されるいずれのセットよりも良好に行われる。実際は、本発明のコンピュータ実施方法の１つの実施形態は、検出の最適なセットが第２のステップの終わりに生成されるように、２つのフィルタリングステップを含んでよい。これらのステップは、事前性能ベースフィルタリングの第１のステップ（ここではステップ１）、およびスコア融合フィルタリングの第２のステップ（ここではステップ２）を含む。

【0021】

図２は、オブジェクト検出モデルを組み合わせるためのコンピュータ実施方法２０００の一実施形態のフローチャートである。ここに示されるように、ブロック２００２は、参照符号２００４のｎのトレーニング済みオブジェクト検出器Ｐ_ｉ…Ｐ_ｎの群（例えば、複数）への入力として提供される入力画像Ｉｍ ２００２を求める。ｎのオブジェクト検出器からの各検出は、さらにまた、２００６で示される事前性能ベースフィルタリングを使用する前述のステップ１においてフィルタリングされてよい。１つの実施形態によると、事前性能フィルタリングの１つの結果は、２００８で示されるように、検出の１つまたは複数がステップ１の後に廃棄されることを含んでよい。事前性能ベースフィルタリングの１つまたは複数の結果は、ステップ２におけるいずれのさらなるフィルタリングもなく、２０１０で示されるように、１つまたは複数の検出がステップ１の後に維持されることを含んでよい。１つの実施形態によると、ステップ１の事前性能ベースフィルタリングの結果として、２００８で即時に廃棄もされず、２０１０で維持もされない残りの検出は、２０１２で示されるように、ステップ２のスコア融合フィルタリングに入力されてよい。ステップ２におけるスコア融合フィルタリング２０１２後に残るこれらの検出はさらにまた、２０１０において維持される検出に追加されてよく、かつ、２０１４に示されるように、最適な組み合わせ済み検出のセットＯ_Ｉｍに寄与し得る。２００８に示されるように、その他は廃棄されたセットに追加される。

【0022】

定義
以下のデータが定められる。

【表2】

【0023】

【0024】

以下の２つの位相が定められる。

【0025】

事前性能ベースフィルタリング
１つの実施形態によると、図２における２００６に示されるステップ１は、それぞれのオブジェクト検出器の性能、およびこれらの各検出の相互の重複に基づいて入力画像Ｉｍに対してなされる検出をフィルタリングすることを含んでよい。事前性能ベースフィルタリングにおいて検出をフィルタリングするために使用される閾値およびパラメータは、以下を含むことができる。

【0026】

【0027】

ここで、重複基準を通してフィルタリングする境界ボックスについて説明し、また、事前知識データベース３０１０がどのようにビルト可能であるかについてのさらなる詳細が示される。

【0028】

重複ベース規則
検出フィルタリングの第１の段階の目的は、冗長なまたは不正確な検出を、維持される検出セット２０１０に追加されている検出、すなわち、正確であることが予想される検出（繰り返しになるが、このセットは最初空である）との重複に基づいて廃棄することである。

【0029】

（ｃｌｓ_１、ｓ_１、ｂ_１）によって定められる検出Ｄ_１は、この境界ボックスが、ｆ^{ｏｖｅｒｌａｐ}（ｂ_１、ｂ_２）＞ｏｖｅｒｌａｐ^＊になるように（維持される検出セット２０１０に存在する）正確であることが予想される（ｃｌｓ_２、ｓ_２、ｂ_２）によって定められる検出Ｄ_２の境界ボックスと大幅に重複する場合、および２つの検出が同じオブジェクトクラス、すなわち、ｃｌｓ_１＝ｃｌｓ_２を予測する場合、冗長である。このような条件下では、Ｄ_１およびＤ_２は同じオブジェクトを検出する可能性が高い。

【0030】

（ｃｌｓ_１、ｓ_１、ｂ_１）として定められる検出Ｄ_１は、この境界ボックスが、ｆ^{ｏｖｅｒｌａｐ}（ｂ_１、ｂ_２）＞ｏｖｅｒｌａｐ^＊になるように（維持される検出セット２０１０に存在する）正確であることが予想される（ｃｌｓ_２、ｓ_２、ｂ_２）によって定められる検出Ｄ_２の境界ボックスと大幅に重複する場合、および２つの検出が異なるオブジェクトクラス、すなわち、ｃｌｓ_１≠ｃｌｓ_２を認識する場合、不正確である。実際は、この場合、Ｄ_１およびＤ_２は、画像上の同じ空間位置におけるオブジェクトを検出しているが、オブジェクトクラスの予測が異なっている。Ｄ_２が正確である（維持される検出セット２０１０に既に存在する）ことが予想されるため、Ｄ_１は、廃棄されなければならない、例えば、廃棄される検出ストア２００８に追加されなければならない。重複メトリックｆ^{ｏｖｅｒｌａｐ}（例えば、ＩｏＵ）および重複閾値ｏｖｅｒｌａｐ^＊（例えば、ＩｏＵ＝０．５）は、専門家によって判断されてよい。とりわけ、ｆ^{ｏｖｅｒｌａｐ}が選定されると、重複閾値ｏｖｅｒｌａｐ^＊は、例えば、ｏｖｅｒｌａｐ^＊の値に対する自明な反復プロセスを使用して判断されてよい。

【0031】

事前知識構成
図３における事前知識データベース３０１０をビルトするために、クラス信頼度スコアに応じた検証データセットＶに対するそれぞれの検出器Ｐ_ｉの性能が検討される。この画像のセットはグランドトゥルースであるべきである、すなわち、このデータセットＶにおけるそれぞれの画像は信頼できる（例えば、専門家によってなされる）注釈を有する。

【0032】

【0033】

【0034】

【0035】

【0036】

【0037】

【0038】

スコア融合フィルタリング
フィルタリングの第２のステップ（すなわち、図２における２０１２のステップ２）は、ステップ１の規則、すなわち、ステップ１のフィルタリングされていない検出２００６によって維持も廃棄もされなかったフィルタリングされていない検出のセットを入力として受け取る。

【0039】

以下の注釈が定められる。

【0040】

図４Ａおよび図４Ｂは、入力されたフィルタリングされていない検出が同じ画像Ｉｍから生じると考慮する予測時間におけるステップ２の応用を示す。種々の動作は、１つの実施形態による、予測時間でのステップ２のフィルタリング中に行われてよい。

【0041】

第１部：検出をクラスター化する
ステップ１のフィルタリング後に拒否も維持もされなかった検出４００２をフィルタリングするために、検出は、図４Ａにおける４００４で示されるように、単一のクラスターにおける同じオブジェクトに対応する検出全てをグループ化するためにこれらのクラスおよびこれらの境界ボックスに基づいてクラスター化されてよい。１つの実施形態による、このようなクラスターを出力するように構成される例示のクラスター化アルゴリズムが提示される。他のクラスター化アルゴリズムは本開示の範囲内で利用可能である。検出をクラスター化するために、このアルゴリズムでは類似性マトリックスが計算され、クラスター化方法が適用される。以下の要素が定められる。

【0042】

関数ｆ^{ｓｉｍｉｌａｒｉｔｙ}、ｆ^{ｃｌｕｓｔｅｒ}、ｆ^{ｃｌｅａｎｉｎｇ}はパラメータ設定時間で定められるものとする。最初に、類似性マトリックスＭ_Ｉｍは、画像Ｉｍにおいてステップ１からもたらされるフィルタリングされていない検出のセットに対して類似性メトリックスｆ^{ｓｉｍｉｌａｒｉｔｙ}を使用して計算されてよい。次いで、選定されたクラスター化アルゴリズムｆ^{ｃｌｕｓｔｅｒ}はクラスターＣ'_Ｉｍのセットを出力するために適用されてよい。最後に、設定されたＣ'_Ｉｍのそれぞれのクラスターに対してｆ^{ｃｌｅａｎｉｎｇ}を適用後、新しく設定されたＣ_Ｉｍは、Ｃ_Ｉｍ４００６からのそれぞれのクラスターがそれぞれのオブジェクト検出器からのせいぜい１つの検出を含有するように出力されてよい。

【0043】

第２部：クラスターをスコアリングする
クラスターがもたらされると、４００８で図４Ａにおいて示唆されるように、クラスターは、クラスターに存在する検出のみならず、これらの検出を行ったオブジェクト検出器の性能に基づいてスコアリングされてよい。下記は、それぞれのクラスターをスコアリングするように構成される例示のスコアリングアルゴリズムである。本開示の範囲内で、他のアルゴリズムが利用可能である。それぞれのクラスターのスコアを計算するために、以下の関数が定められてよい。

ｆ^{ａｇｇｒｅｇａｔｅ}はパラメータ設定時間で定められるものとする。設定されたＣ_Ｉｍのそれぞれのクラスターに対してｆ^{ａｇｇｒｅｇａｔｅ}が適用され、それぞれのクラスターは、クラスターをフィルタリングする動作の前にこのスコアに関連付けられる。

【0044】

第３部：クラスターをフィルタリングする
ｆ^{ｃｌｅａｎｉｎｇ}を適用後、それぞれのクラスターはそれぞれのオブジェクト検出器からせいぜい１つの検出を含有する。クラスターはさらにまた、４０１２および図４Ｂに示されるように、これらのスコア、およびこれらが関連するオブジェクト検出器に基づいてフィルタリングされてよい。

【0045】

【0046】

クラスター構成閾値４０２２は、パラメータ設定時間で判断されるものとする。例えば、他の要素全てが固定されると、Ｖにおける組み合わせアルゴリズムは、クラスター構成閾値の異なる値によって数回反復されてよい。定められた性能メトリックに従ってＶに対する最高の検出組み合わせを与える値のセットは、予測時間で維持されることになる。１つの実施形態によると、それぞれの閾値は、注釈付きオブジェクト検出データセットに対してハイパーパラメータ最適化方法を使用して判断されてよい。１つの実施形態では、ハイパーパラメータ最適化はランダム検索方法を含んでよい。ランダム検索は、ハイパーパラメータ最適化を行うための方法、すなわち、所与のモデル、性能メトリック、およびテストデータセットに対して、ハイパーパラメータの最適に近い組み合わせを見つけるための方法である。

【0047】

図５を参照して、ＡＯＬ（登録商標）ログインページの画像Ｉｍ_ａｏｌのなりすましを行おうする例示のフィッシングメッセージを示す、予測時間でフィルタリングするクラスターの一例が以下に示される。この例では、２つのオブジェクト検出器（Ｐ＝｛Ｐ_１、Ｐ_２｝）が文書上のロゴ検出に対してトレーニングされている事例が考慮されている。

【0048】

オブジェクト検出器からの検出を区別するために、以下のマーキング規約が採用可能である。
・検出器Ｐ_１からの検出は実線の境界ボックスで表される。
・検出器Ｐ_２からの検出は点線の境界ボックスで表される。
・クラスターは点線の円で表される。
・検出またはクラスターに対応するテキストは境界ボックスに付随する。

【0049】

【0050】

以下の表では、図５に示されるクラスター、これらのスコア、これらの構成、および対応する構成スコアが要約されている（これらはＶに基づくパラメータ設定時間で固定されている）。

【0051】

【0052】

第４部：検出を選択する
最後に、先のフィルタリング演算の後に維持されるそれぞれのクラスター４０２４について、そのクラスターからの検出によって予測されるオブジェクトを表す１つの検出が出力可能である。そうするために、下記の関数４０２６が定められてよい。

【0053】

関数ｆ^{ｓｅｌｅｃｔ}４０２６はパラメータ設定時間で定められる。ｆ^{ｓｅｌｅｃｔ}は、クラスターをフィルタリングする演算によって返されたそれぞれの維持されるクラスターに対して適用される。ｆ^{ｓｅｌｅｃｔ}を適用後、全ての検出は、フィルタリングされ、すなわち、維持され２０１０または廃棄され２００８、フィルタリングされていない検出は残されていない。維持される検出２０１０は返され、かつ検出２０１４の最適なセットを形成する。

【0054】

例示の使用事例
この使用事例では、ロゴ検出を使用して、Ｕｎｉｖｅｒｓａｌ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ（ＵＲＬ）走査サービスの文脈でフィッシングＵＲＬを検出する。１つの実施形態による図６を参照されたい。この使用事例では、イベントの時系列は下記になる。
１．スパムボット６００１は、６００２で示されるように、フィッシングＵＲＬ：ｈｔｔｐ：／／ｐｈｉｓｈｉｎｇｄｏｍａｉｎ．ｃｏｍ／ｉｎｄｅｘ．ｐｈｐを含有するフィッシングメールを生成する。フィッシングメールの受信者は、６０２０で示されるように、[e-mail]である。
２．フィッシングメールを[e-mail] ６０２０に送るために、スパムボット６００１は、ｄｏｍａｉｎ．ｃｏｍに関連しているＤｏｍａｉｎ Ｎａｍｉｎｇ Ｓｅｒｖｅｒ Ｍａｉｌ ｅｘｃｈａｎｇｅｒ（ＤＮＳ ＭＸ）レコードをルックアップする。ＤＮＳ ＭＸレコードは、ドメイン名の代わりにメッセージを受けることを担うメール転送エージェント（ＭＴＡ）６００４を指定する。
３．簡易メール転送プロトコル（ＳＭＴＰ）を使用して、スパムボット６００１は、ルックアップしたＤＮＳ ＭＸにおいて指定されたＭＴＡ６００４に接続後、フィッシングメールのコンテンツを送る。
４．ＭＴＡ６００４は、電子メールを受信する時、最初にスパムフィルター６００６を適用して、スパム、フィッシングなどの迷惑メールを検出しかつブロックする。迷惑メールトラフィックの大部分は通常検出されかつブロックされるが、検出されずかつブロックされない多くの迷惑メールもあり、ステップ１で述べられたフィッシングメールが検出されずかつブロックされないことが考えられる。ブロックされなかった電子メールについて、ＭＴＡ６００４はさらにまた、クリックの時点でエンドユーザを保護するためにＵＲＬ書き換え機構６００８を適用可能であり、フィッシングメールにおけるＵＲＬは書き換えられることで、エンドユーザが書き換えられたＵＲＬをクリックする時、元のＵＲＬを解析することになるＵＲＬ走査サービス６０１０を示すようにする。この例では、ｈｔｔｐ：／／ｕｒｌｓｃａｎｎｉｎｇｓｅｒｖｉｃｅ．ｃｏｍはＵＲＬ走査サービスを明示し、ｈｔｔｐ：／／ｕｒｌｓｃａｎｎｉｎｇｓｅｒｖｉｃｅ．ｃｏｍ／ｕｒｌ／ａＨＲ０ｃＤｏｖＬ３ＢｏａＸＮｏａＷ５ｎＺＧ９ｔＹＷｌｕＬｍＮｖｂＳ９ｐｂｍＲｌｅＣ５ｗａＨＡ＝は、ａＨＲ０ｃＤｏｖＬ３ＢｏａＸＮｏａＷ５ｎＺＧ９ｔＹＷｌｕＬｍＮｖｂＳ９ｐｂｍＲｌｅＣ５ｗａＨＡ＝がＢａｓｅ６４におけるｈｔｔｐ：//ｐｈｉｓｈｉｎｇｄｏｍａｉｎ.ｃｏｍ/ｉｎｄｅｘ.ｐｈｐの符号化であるｈｔｔｐ：//ｐｈｉｓｈｉｎｇｄｏｍａｉｎ.ｃｏｍ/ｉｎｄｅｘ.ｐｈｐ ＵＲＬの書き換えである。
５．ＳＭＴＰを使用して、ＭＴＡはさらにまた、電子メールをメール配送エージェント（ＭＤＡ）６０１２に送る。
６．ＭＤＡ６０１２は、電子メールをメールストア６０１４に格納する。
７．エンドユーザ[e-mail] ６０２０は、メールユーザエージェント（ＭＵＡ）６０１６としても既知の、自身のメールクライアントソフトウェアを開始する。ＭＵＡ６０１６は、典型的には、ＰＯＰ３またはＩＭＡＰプロトコルによってメールストア６０１４から新しい電子メールをフェッチする。ＭＤＡ６０１２は通常、ＰＯＰ３および／またはＩＭＡＰサーバの機能を果たす。ＭＵＡ６０１６は、書き換えられたフィッシングＵＲＬを含有するフィッシングメールをフェッチする。
８．エンドユーザは、フィッシングメールを開き、かつｈｔｔｐ：//ｕｒｌｓｃａｎｎｉｎｇｓｅｒｖｉｃｅ.ｃｏｍ/ｕｒｌ/ａＨＲ０ｃＤｏｖＬ３ＢｏａＸＮｏａＷ５ｎＺＧ９ｔＹＷｌｕＬｍＮｖｂＳ９ｐｂｍＲｌｅＣ５ｗａＨＡ＝をクリックする。
９．ＵＲＬ走査サービス６０１０は、ａＨＲ０ｃＤｏｖＬ３ＢｏａＸＮｏａＷ５ｎＺＧ９ｔＹＷｌｕＬｍＮｖｂＳ９ｐｂｍＲｌｅＣ５ｗａＨＡ＝ Ｂａｓｅ６４符号化値を復号する。ＵＲＬ走査サービス６０１０はさらにまた、ｈｔｔｐ：//ｐｈｉｓｈｉｎｇｄｏｍａｉｎ.ｃｏｍ/ｉｎｄｅｘ.ｐｈｐ ＵＲＬを解析する。この目的のために、ＵＲＬ走査サービス６０１０は、ＵＲＬドメインＤＮＳ情報、ＵＲＬドメインＷＨＯＩＳ情報、ウェブページのＨＴＭＬコンテンツ、ウェブページのグラフィックレンダリングなど、ＵＲＬおよび関連ウェブページから特徴を抽出する。ＵＲＬ走査サービスはさらにまた、特徴に対して１つまたはいくつかのアルゴリズムを適用して、ＵＲＬがフィッシングＵＲＬであるかどうかを判断する。このようなアルゴリズムの例は、いくつかある検出技術の中で特に、指紋アルゴリズム、決定木、教師付き学習アルゴリズム（ＳＶＭおよびランダムフォレストなど）である。この使用事例では、ＵＲＬ走査サービスが、解析されたＵＲＬに関連しているウェブページのグラフィックレンダリングから１つまたはいくつかのロゴを抽出することが考えられる（図７は、グラフィックレンダリングが２つのＰａｙＰａｌ（登録商標）ロゴ７００２および１つのＢａｎｋ Ｏｆ Ａｍｅｒｉｃａ（登録商標）ロゴ７００４を含有するフィッシングウェブページグラフィックレンダリングの一例を示す）。そのように、ウェブページのグラフィックレンダリングは、ウェブページグラフィックレンダラーコンポーネント６０１８によって行われる。ウェブページのグラフィックレンダリングはその後、ＵＲＬ走査サービス６０１０によって、一実施形態によるロゴ検出コンポーネント６０２４のＨＴＴＰを介したアプリケーションプログラムインターフェース（ＡＰＩ）６０２２に送られる。
１０．ロゴ検出ＡＰＩ６０２２は、ロゴ検出関数６０２４を表すＲＥＳＴ ＡＰＩである。ロゴ検出関数６０２４は、本明細書に示されかつ説明されるように、ウェブページのグラフィックレンダリングを解析後、本発明のコンピュータ実施方法の一実施形態を使用して１つまたはいくつかのブランドロゴを抽出する。その結果はＵＲＬ走査サービス６０１０に返される。
１１．ＵＲＬ走査サービス６０１０は、ウェブページのグラフィックレンダリングが、潜在的なフィッシングを指示する１つまたはいくつかの既知のブランドロゴを含有するという事実を含んで、ＵＲＬおよび関連ウェブページから全ての特徴を抽出している。ＵＲＬ走査サービス６０１０はさらにまた、特徴に対して１つまたはいくつかのアルゴリズムを適用し、そのように、ＵＲＬが実際はフィッシングＵＲＬであると判断する。
１２．その結果として、ＵＲＬ走査サービスは、エンドユーザを、ＵＲＬがフィッシングＵＲＬであることを指示する安全なウェブページにリダイレクトする。

【0055】

物理ハードウェア
図８は、実施形態が実施可能であるコンピューティングデバイスのブロック図である。図８のコンピューティングデバイスは、情報を通信するためのバス８０１または他の通信機構、および情報を処理するためにバス８０１に結合される１つまたは複数のプロセッサ８０２を含んでよい。コンピューティングデバイスは、情報、およびプロセッサ（複数可）８０２によって実行される命令を格納するためにバス８０１に結合される、ランダムアクセスメモリ（ＲＡＭ）または他の動的ストレージデバイス８０４（メインメモリという）をさらに含んでよい。メインメモリ（本明細書で称される、有形であるおよび非一時的であることは、信号自体および波形を除外する）８０４はまた、プロセッサ８０２による命令の実行中に一時的な変数または他の中間情報を格納するために使用されてよい。図８のコンピューティングデバイスは、静的情報およびプロセッサ（複数可）８０２に対する命令を格納するためにバス８０１に結合される、読み出し専用メモリ（ＲＯＭ）および／または他の静的ストレージデバイス８０６も含んでよい。磁気ディスクおよび／またはソリッドステートデータストレージデバイスなどのデータストレージデバイス８０７は、図１～図６に対して示されかつ開示される機能性を実行することを必要とすることが考えられるような、情報および命令を格納するためにバス８０１に結合されてよい。コンピューティングデバイスはまた、バス８０１を介してコンピュータユーザに情報を表示するためのディスプレイデバイス８２１に結合されてよい。英数字キーおよびその他のキーを含む英数字入力デバイス８２２は、情報およびコマンド選択をプロセッサ（複数可）８０２に通信するためにバス８０１に結合されてよい。別のタイプのユーザ入力デバイスは、方向情報およびコマンド選択をプロセッサ（複数可）８０２に通信し、かつディスプレイ８２１上のカーソル移動を制御するための、マウス、トラックボール、またはカーソル方向キーなどのカーソル制御８２３である。図８のコンピューティングデバイスは、通信インターフェース（例えば、モデム、ネットワークインターフェースカード、またはＮＩＣ）８０８を介してネットワーク８２６に結合されてよい。

【0056】

示されるように、ストレージデバイス８０７は、磁気ディスク８３０、不揮発性半導体メモリ（ＥＥＰＲＯＭ、フラッシュなど）８３２、８３１で示唆されるように磁気ディスクおよび不揮発性半導体メモリ両方を含むハイブリッドデータストレージデバイスなどの直接アクセスデータストレージデバイスを含んでよい。参照符号８０４、８０６、および８０７は、１つまたは複数のコンピューティングデバイスによって実行される時、本明細書に説明されかつ示される実施形態の態様を実施する一連の命令を表す、データが格納されている有形の非一時的なコンピュータ可読媒体の例である。これらの命令のいくつかは、クライアントコンピューティングデバイスにローカルに格納されてよく、これらの命令のその他は、リモートに格納（および／または実行）され、かつネットワーク８２６上でクライアントコンピューティングに通信されてよい。他の実施形態では、これらの命令の全ては、クライアントまたは他のスタンドアロンのコンピューティングデバイスにローカルに格納されてよく、さらに他の実施形態では、これらの命令の全てはリモートに（例えば、１つまたは複数のリモートサーバに）格納されかつ実行され、その結果はクライアントコンピューティングデバイスに通信される。なお別の実施形態では、命令（処理ロジック）は、８２８で示されるような、別の形態の有形の非一時的なコンピュータ可読媒体に格納されてよい。例えば、参照符号８２８は、格納されている命令を１つまたは複数のコンピューティングデバイスにロードするための適したデータキャリアを構成可能であることによって、コンピューティングデバイス（複数可）を本明細書に説明されかつ示される実施形態の１つまたは複数に再構成することができる光（または何らかの他の格納技術）ディスクとして実装可能である。他の実装形態では、参照符号８２８は暗号化されたソリッドステートドライブとして具現化されてよい。他の実装形態が可能である。

【0057】

本発明の実施形態は、本明細書に示されかつ説明されるように、検出モデルを組み合わせるためのコンピューティングデバイスの使用に関連する。１つの実施形態によると、本明細書に説明される方法、デバイス、およびシステムは、メモリ８０４に含有される、本明細書に示されかつ説明されるコンピュータ実施方法の態様を具現化する一連の命令を実行するプロセッサ（複数可）８０２に応じて１つまたは複数のコンピューティングデバイスによって提供されてよい。このような命令は、８２８で示されるような、データストレージデバイス８０７または別の（光、磁気など）データキャリアなどの別のコンピュータ可読媒体からメモリ８０４に読み取られてよい。メモリ８０４に含有される一連の命令の実行によって、プロセッサ（複数可）８０２はステップを行い、かつ本明細書に説明される機能性を有する。代替的な実施形態では、ハードワイヤード回路網は、説明した実施形態を実施するためにソフトウェア命令の代わりにまたはこれと組み合わせて使用されてよい。よって、実施形態は、ハードウェア回路網およびソフトウェアの任意の特定の組み合わせに限定されない。実際は、任意の適したコンピュータシステムが本明細書に説明される機能性を実装してよいことは、当業者によって理解されるべきである。コンピューティングデバイスは、所望される機能を実行するために作用する１つまたは複数のマイクロプロセッサを含んでよい。１つの実施形態では、マイクロプロセッサ（単数または複数）によって実行される命令は、マイクロプロセッサ（複数可）に本明細書に説明されるステップを実行させるように動作可能である。命令は任意のコンピュータ可読媒体に格納されてよい。１つの実施形態では、該命令は、マイクロプロセッサに外付けのまたはマイクロプロセッサと一体化された不揮発性半導体メモリに格納されてよい。別の実施形態では、命令は、ディスクに格納され、かつ、マイクロプロセッサによる実行の前に揮発性半導体メモリに読み取られてよい。

【0058】

それ故に、１つの実施形態は、グラフィックレンダリングにおいてロゴを検出するコンピュータ実施方法であって、第１のトレーニング済みオブジェクト検出器を使用してグラフィックレンダリングにおいてロゴを検出し、かつ検出の第１のリストを出力することと、第２のトレーニング済みオブジェクト検出器を使用してグラフィックレンダリングにおいてロゴを検出し、かつ検出の第２のリストを出力することと、第１の事前性能ベースフィルターおよび第２の事前性能ベースフィルターを使用して、受信した検出の第１のリストおよび検出の第２のリストを、維持される検出の第１のグループ、廃棄される検出の第２のグループ、および検出の第３のグループにフィルタリングすることと、ある場合、検出の第３のグループにおける検出を、同じクラスのものであり、かつ一般的に電子画像内に共同設置される検出を含む少なくとも１つのクラスターにおいてクラスター化することと、クラスタースコアをそれぞれのクラスターに割り当てることと、グラフィックレンダリングにおけるロゴの検出のセットを出力することであって、該セットは第１のグループにおける検出、および割り当てられたクラスタースコアが対応する閾値より大きいクラスターのそれぞれからの検出を含む、ロゴの検出のセットを出力することと、を含む、コンピュータ実施方法である。それぞれの閾値は、第１のトレーニング済みオブジェクト検出器および第２のトレーニング済みオブジェクト検出器の１つまたは複数のセットに固有であってよい。

【0059】

さらなる実施形態によると、第１のトレーニング済みオブジェクト検出器および／または第２のトレーニング済みオブジェクト検出器は、畳み込みニューラルネットワーク（ＣＮＮ）ベース検出器を含んでよい。ＣＮＮベース検出器は、例えば、ＳＳＤ ＲｅｓＮｅｔ－５０およびＳＳＤ ＶＧＧ－１６のうちの１つを含んでよい。検出の第１～第３のグループにおけるそれぞれの検出は、予測クラス、クラス信頼度スコア、およびグラフィックレンダリングにおける検出済みロゴの境界ボックスの座標を含むタプルを含んでよい。１つの実施形態によると、フィルタリングは、第１の注釈付きオブジェクト検出データセットにおいて第１のトレーニング済みオブジェクト検出器をテストすることによって第１の事前性能ベースフィルターを生成することと、第２の注釈付きオブジェクト検出データセットにおいて第２のトレーニング済みオブジェクト検出器をテストすることによって第２の事前性能ベースフィルターを生成することと、をさらに含んでよい。

【0060】

第１の注釈付きオブジェクト検出データセットおよび第２の注釈付きオブジェクト検出データセットは同じであってよい。１つの実施形態では、フィルタリングは、第１のトレーニング済みオブジェクト検出器、および検出の第１のリストにおけるそれぞれの検出と関連付けられた第１の信頼度スコアに固有の第１の事前知識値、および、第２のトレーニング済みオブジェクト検出器、および検出の第２のリストにおけるそれぞれの検出と関連付けられた第２の信頼度スコアに固有の第２の事前知識値に基づいてよい。維持される検出の第１のグループは、ロゴの検出の出力されたセットに含まれる検出を含んでよく、廃棄される検出の第２のグループは、廃棄され、かつロゴの検出の出力されたセットに含まれない検出を含んでよく、第３のグループは、検出が、第２のグループに廃棄されるまたは第１のグループに含まれるかどうかを判断するためのさらなる処理を必要とする検出を含んでよい。１つの実施形態では、一般的に電子画像内に共同設置される検出の第３のグループにおける検出をクラスター化することは、電子画像内に重複する境界ボックスを有する検出をクラスター化することを含んでよい。電子画像内で重複する境界ボックスを有する検出をクラスター化することは、Ｉｎｔｅｒｓｅｃｔｉｏｎ Ｏｖｅｒ Ｕｎｉｏｎ（ＩｏＵ）が重複閾値より大きい境界ボックスを有する検出をクラスター化することを含んでよい。１つの実施形態によると、クラスタースコアをそれぞれのクラスターに割り当てることは、クラスタースコアが算出されているクラスターにおける検出の信頼度スコアに基づいてクラスタースコアを算出することを含んでよい。クラスタースコアを算出することはアグリゲーション関数を使用することを含んでよい。それぞれのクラスターについて、クラスタースコアは、クラスターにおける検出の信頼度スコアの平均を含んでよい。

【0061】

１つの実施形態では、コンピュータ実施方法はさらに、注釈付きオブジェクト検出データセットに対してハイパーパラメータ最適化方法を使用してそれぞれの閾値を判断することを含んでよい。ハイパーパラメータ最適化方法は、例えば、ランダム検索方法を含んでよい。コンピュータ実施方法は、クラスターを表す１つの検出に関連している関係するクラスターとして所定のクラスター閾値より大きいクラスタースコアを有するそれぞれのクラスターを示すことをさらに含んでよい。１つの実施形態では、クラスターを表す１つの検出はクラスターに含有される検出のうちの１つである。コンピュータ実施方法は、関係するクラスターを維持される検出の第１のグループに追加することをさらに含んでよい。

【0062】

別の実施形態は、少なくとも１つのプロセッサと、少なくとも１つのプロセッサに結合される少なくとも１つのデータストレージデバイスと、少なくとも１つのプロセッサおよびコンピュータネットワークに結合されるネットワークインターフェースと、グラフィックレンダリングにおいてロゴを検出するために少なくとも１つのプロセッサによって生成される複数のプロセスと、を含むことができるコンピューティングデバイスである。プロセスは、第１のトレーニング済みオブジェクト検出器を使用してグラフィックレンダリングにおいてロゴを検出し、かつ検出の第１のリストを出力することと、第２のトレーニング済みオブジェクト検出器を使用してグラフィックレンダリングにおいてロゴを検出し、かつ検出の第２のリストを出力することと、第１の事前性能ベースフィルターおよび第２の事前性能ベースフィルターを使用して、受信した検出の第１のリストおよび検出の第２のリストを、維持される検出の第１のグループ、廃棄される検出の第２のグループ、および検出の第３のグループにフィルタリングすることと、ある場合、検出の第３のグループにおける検出を、同じクラスのものであり、かつ一般的に電子画像内に共同設置される検出を含む少なくとも１つのクラスターにおいてクラスター化することと、クラスタースコアをそれぞれのクラスターに割り当てることと、グラフィックレンダリングにおけるロゴの検出のセットを出力することであって、該セットは第１のグループにおける検出、および割り当てられたクラスタースコアが対応する閾値より大きいクラスターのそれぞれからの検出を含む、ロゴの検出のセットを出力することと、を行うための処理ロジックを含んでよい。

【0063】

１つの実施形態によると、第１のトレーニング済みオブジェクト検出器および第２のトレーニング済みオブジェクト検出器のうちの少なくとも１つは、畳み込みニューラルネットワーク（ＣＮＮ）ベース検出器を含んでよい。ＣＮＮベース検出器は、例えば、ＳＳＤ ＲｅｓＮｅｔ－５０およびＳＳＤ ＶＧＧ－１６のうちの１つを含んでよい。検出の第１～第３のグループにおけるそれぞれの検出は、予測クラス、クラス信頼度スコア、およびグラフィックレンダリングにおける検出済みロゴの境界ボックスの座標を含むタプルを含んでよい。フィルタリングのための処理ロジックは、第１の注釈付きオブジェクト検出データセットにおいて第１のトレーニング済みオブジェクト検出器をテストすることによって第１の事前性能ベースフィルターを生成することと、第２の注釈付きオブジェクト検出データセットにおいて第２のトレーニング済みオブジェクト検出器をテストすることによって第２の事前性能ベースフィルターを生成することと、を行うための処理ロジックをさらに含んでよい。１つの実施形態において、第１の注釈付きオブジェクト検出データセットおよび第２の注釈付きオブジェクト検出データセットは同じである。

【0064】

１つの実施形態によると、フィルタリングは、第１のトレーニング済みオブジェクト検出器、および検出の第１のリストにおけるそれぞれの検出と関連付けられた第１の信頼度スコアに固有の第１の事前知識値、および、第２のトレーニング済みオブジェクト検出器、および検出の第２のリストにおけるそれぞれの検出と関連付けられた第２の信頼度スコアに固有の第２の事前知識値に基づいてよい。維持される検出の第１のグループは、ロゴの検出の出力されたセットに含まれる検出を含んでよく、廃棄される検出の第２のグループは、廃棄され、かつロゴの検出の出力されたセットに含まれない検出を含んでよく、第３のグループは、検出が、第２のグループに廃棄されるまたは第１のグループに含まれるかどうかを判断するためのさらなる処理を必要とする検出を含んでよい。一般的に電子画像内に共同設置される検出の第３のグループにおける検出をクラスター化するための処理ロジックは、電子画像内に重複する境界ボックスを有する検出をクラスター化するための処理ロジックを含んでよい。電子画像内で重複する境界ボックスを有する検出をクラスター化するための処理ロジックは、Ｉｎｔｅｒｓｅｃｔｉｏｎ Ｏｖｅｒ Ｕｎｉｏｎ（ＩｏＵ）が重複閾値より大きい場合がある境界ボックスを有する検出をクラスター化するための処理ロジックを含んでよい。

【0065】

１つの実施形態では、クラスタースコアをそれぞれのクラスターに割り当てるための処理ロジックは、クラスタースコアが算出されている場合があるクラスターにおける検出の信頼度スコアに基づいてクラスタースコアを算出するための処理ロジックを含んでよい。クラスタースコアを算出するための処理ロジックはアグリゲーション関数を使用するための処理ロジックを含んでよい。それぞれのクラスターについて、クラスタースコアは、クラスターにおける検出の信頼度スコアの平均を含んでよい。それぞれの閾値は、第１のトレーニング済みオブジェクト検出器および第２のトレーニング済みオブジェクト検出器の１つまたは複数のセットに固有であってよい。

【0066】

コンピューティングデバイスは、一実施形態によると、注釈付きオブジェクト検出データセットに対してハイパーパラメータ最適化方法を使用してそれぞれの閾値を判断するための処理ロジックをさらに含んでよい。ハイパーパラメータ最適化方法はランダム検索方法を含んでよい。クラスターを表す１つの検出に関連している関係するクラスターとして所定のクラスター閾値より大きいクラスタースコアを有するそれぞれのクラスターを示すための処理ロジックも提供されてよい。クラスターを表す１つの検出はクラスターに含有される検出のうちの１つであってよい。関係するクラスターを維持される検出の第１のグループに追加するための処理ロジックが提供されてよい。

【0067】

上記の詳細な説明の一部分では、ローカル処理ユニット、ローカル処理ユニットのためのメモリストレージデバイス、ディスプレイデバイス、および入力デバイスを含むコンピュータコンポーネントを含んでよいコンピューティングデバイスによる動作のプロセスおよび象徴的表象について説明している。さらに、このようなプロセスおよび動作は、例えば、リモートファイルサーバ、コンピュータサーバ、およびメモリストレージデバイスを含む異種分散型コンピューティング環境におけるコンピュータコンポーネントを利用してよい。これらの分散コンピューティングコンポーネントは、通信ネットワークによってローカル処理ユニットにアクセス可能であってよい。

【0068】

コンピュータによって行われるプロセスおよび動作は、ローカル処理ユニットおよび／またはリモートサーバによるデータビットの操作、およびローカルまたはリモートメモリストレージデバイスの１つまたは複数に常駐するデータ構造内のこれらのビットのメンテナンスを含む。これらのデータ構造は、メモリストレージデバイス内に格納されたデータビットコレクションに物理編成を与え、かつ電磁スペクトル要素を表す。さらに、本明細書に開示されるコンピュータ実施方法は、提供側のファイルシステムから受け取り側のファイルシステムまでのファイルシステムの移行を可能にすることによってコンピュータの機能性を改善し、メタデータおよびこのデータを変更するためにコマンドが発行されかつ実行される。このようなコンピュータ実施方法は、人間の心理過程によって効率的に実行できるものではない。

【0069】

本明細書に説明されかつ示されるコンピュータ実施方法などのプロセスは、一般的に、所望の結果をもたらす一連のコンピュータ実行ステップであると定められ得る。これらのステップは一般的に、物理量の物理的な操作を必要とする。通常、必ずしもというわけではないが、これらの量は、格納、転送、組み合わせ、比較、あるいは操作が可能である電気、磁気、または光信号の形をとってよい。当業者にとって、これらの信号が、ビットもしくはバイト（二値論理レベルを有する時）、画素値、仕事量、値、要素、記号、文字、期間、数、点、記録、オブジェクト、画像、ファイル、ディレクトリ、サブディレクトリなどを指すことは、慣例的である。しかしながら、これらのおよび同様の用語が、コンピュータ動作に対する適切な物理量と関連付けられるものとし、かつこれらの用語が単に、コンピュータの動作内および動作中に存在する物理量に適用される従来の標示であることは留意されるべきである。

【0070】

コンピュータ内の操作が通常、追加、比較、移動、位置付け、設置、照射、除去、改変などの用語に言及することも、理解されるべきである。本明細書に説明される動作は、コンピュータと対話する人間または人工知能エージェントオペレータもしくはユーザによって提供されるさまざまな入力と併せて行われる機械動作である。本明細書に説明される動作を行うために使用される機械は、ローカルまたはリモートの汎用デジタルコンピュータもしくは他の同様のコンピューティングデバイスを含む。

【0071】

さらに、本明細書に説明されるプログラム、プロセス、方法などが、いずれの特定のコンピュータまたは装置に関連または限定もされないし、いずれの特定の通信ネットワークアーキテクチャに関連または限定もされないことは、理解されるべきである。もっと正確に言えば、さまざまなタイプの汎用ハードウェア機械は、本明細書に説明される教示に従って構築されるプログラムモジュールで使用可能である。同様に、読み出し専用メモリなど、不揮発性メモリに格納されるハードワイヤードロジックまたはプログラムによる特定のネットワークアーキテクチャにおける専用コンピュータシステムによって本明細書に説明される方法ステップを実行するように特殊装置を構築することは、有利であると示し得る。

【0072】

ある特定の例示の実施形態が説明されているが、これらの実施形態は単に例として提示されており、本明細書に開示される実施形態の範囲を限定することを意図するものではない。よって、前述の説明において、いずれの特定の特徴、特性、ステップ、モジュールまたはブロックも必要であるまたは必須であることを含意することを意図していない。実際は、本明細書に説明される新規な方法およびシステムは、さまざまな他の形態で具現化されてよく、さらに、本明細書に説明される方法およびシステムの形態のさまざまな省略、置き換え、および変更は、本明細書に開示される実施形態の趣旨から逸脱することなくなされてよい。

【0073】

本開示のある特定の実施形態が説明されているが、これらの実施形態は単に例として提示されており、本開示の範囲を限定することを意図するものではない。実際は、本明細書に説明される新規な方法、デバイス、およびシステムは、さまざまな他の形態で具現化されてよい。さらに、本明細書に説明される方法およびシステムの形態のさまざまな省略、置き換え、および変更は、本開示の趣旨から逸脱することなくなされてよい。添付の特許請求の範囲およびこれらの等価物は、本開示の範囲および趣旨の範囲内にあるような形態または修正を包含することが意図される。例えば、さまざまな実施形態において、実際の物理構造および論理構造が図に示されるものと異なる場合があることを、当業者は理解するであろう。実施形態に応じて、上の例に説明されるある特定のステップは除去される場合があり、その他が追加される場合がある。また、上に開示される特定の実施形態の特徴および属性は、追加の実施形態を、この全てが本開示の範囲内にあるように形成するために種々のやり方で組み合わせ可能である。本開示はある特定の好ましい実施形態および応用を提供するが、本明細書に示される特徴および利点の全てを提供しない実施形態を含む、当業者には明らかである他の実施形態も、本開示の範囲内にある。それ故に、本開示の範囲は添付の特許請求の範囲に言及することによってのみ定められることが意図される。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6-1】

【図6-2】

【図7】

【図8】