特開 2024-45078 ニューラルネットワークベースの分類器、分類方法および記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024045078

(43)【公開日】2024-04-02

(54)【発明の名称】ニューラルネットワークベースの分類器、分類方法および記憶媒体

(51)【国際特許分類】

   G06V 10/82 20220101AFI20240326BHJP

   G06T 7/00 20170101ALI20240326BHJP

【ＦＩ】

G06V10/82

G06T7/00 350C

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023152920

(22)【出願日】2023-09-20

(31)【優先権主張番号】202211146369.4

(32)【優先日】2022-09-20

(33)【優先権主張国・地域又は機関】CN

(71)【出願人】

【識別番号】392026693

【氏名又は名称】株式会社ＮＴＴドコモ

(74)【代理人】

【識別番号】110004185

【氏名又は名称】インフォート弁理士法人

(72)【発明者】

【氏名】リャン シャオ

(72)【発明者】

【氏名】ユウ ウェン

(72)【発明者】

【氏名】中村 一成

(72)【発明者】

【氏名】川波 稜

(72)【発明者】

【氏名】福島 悠介

(72)【発明者】

【氏名】リ アンシン

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096EA35

5L096EA39

5L096FA18

5L096FA59

5L096FA69

5L096GA30

5L096HA11

5L096JA11

5L096JA13

5L096JA16

5L096KA04

5L096KA15

(57)【要約】      （修正有）

【課題】背景情報からの干渉が大幅に低減され、正確な分類を行うニューラルネットワークベースの分類器及び方法を提供する。
【解決手段】ニューラルネットワークベースの分類器は、ターゲットオブジェクトを含む第１画像を取得するサンプル取得ユニットと、第１画像内でターゲットオブジェクトを取り囲むバウンディングボックスを決定するターゲットオブジェクトフレーム選択ユニットと、決定されたターゲットオブジェクトのバウンディングボックスに基づいて、ターゲットオブジェクトを分類する分類ユニットと、を含み、ターゲットオブジェクトフレーム選択ユニットは、第１画像の深層特徴を抽出する深層特徴抽出部と、第１画像の浅層特徴を抽出する浅層特徴抽出部と、深層特徴と浅層特徴とを重み付けして融合し、クラス活性化マップを取得する融合部と、を含み、クラス活性化マップに基づいて、ターゲットオブジェクトのバウンディングボックスを決定する。
【選択図】図１

【特許請求の範囲】

【請求項1】

ニューラルネットワークベースの分類器であって、
ターゲットオブジェクトを含む第１画像を取得するように構成されているサンプル取得ユニットと、
前記第１画像内で前記ターゲットオブジェクトを取り囲むバウンディングボックスを決定するように構成されているターゲットオブジェクトフレーム選択ユニットと、
決定された前記ターゲットオブジェクトのバウンディングボックスに基づいて、前記ターゲットオブジェクトを分類するように構成されている分類ユニットと、を含み、
前記ターゲットオブジェクトフレーム選択ユニットは、
前記第１画像の深層特徴を抽出するように構成されている深層特徴抽出部と、
前記第１画像の浅層特徴を抽出するように構成されている浅層特徴抽出部と、
前記ターゲットオブジェクトフレーム選択ユニットがクラス活性化マップに基づいて、前記ターゲットオブジェクトを取り囲むバウンディングボックスを決定するように、前記深層特徴と浅層特徴とを重み付けして融合することによって、前記クラス活性化マップを取得するように構成されている融合部と、を含むニューラルネットワークベースの分類器。

【請求項2】

前記ターゲットオブジェクトフレーム選択ユニットは、
前記第１画像のグローバル特徴を抽出するように構成されているグローバル特徴抽出部をさらに含み、
前記融合部は、前記深層特徴、前記浅層特徴および前記グローバル特徴を重み付けして融合することによって、前記クラス活性化マップを取得するようにさらに構成されている、請求項１に記載のニューラルネットワークベースの分類器。

【請求項3】

前記ターゲットオブジェクトフレーム選択ユニットは、
前記クラス活性化マップを二値化して、複数の候補バウンディングボックスを生成するように構成されている候補バウンディングボックス生成部をさらに含む、請求項１または２に記載のニューラルネットワークベースの分類器。

【請求項4】

前記候補バウンディングボックス生成部は、
前記クラス活性化マップに基づいて、第１閾値を決定し、
前記第１閾値に従って、前記クラス活性化マップを二値化し、
二値化された後の前記クラス活性化マップにおける複数の連通領域の複数のバウンディングボックスを、前記複数の候補バウンディングボックスとして決定するようにさらに構成されている、請求項３に記載のニューラルネットワークベースの分類器。

【請求項5】

前記候補バウンディングボックス生成部は、
前記クラス活性化マップに基づいて、自己適応アルゴリズムによって前記第１閾値を決定するようにさらに構成されている、請求項４に記載のニューラルネットワークベースの分類器。

【請求項6】

前記ターゲットオブジェクトフレーム選択ユニットは、投票部をさらに含み、
前記投票部は、
前記複数の候補バウンディングボックスのうちの、面積が第２閾値よりも小さい候補バウンディングボックスを廃棄し、
前記複数の候補バウンディングボックスの特徴値、面積および位置に基づいて、前記複数の候補バウンディングボックスのうちの１つを、前記ターゲットオブジェクトを取り囲むバウンディングボックスとして決定するように構成されている、請求項５に記載のニューラルネットワークベースの分類器。

【請求項7】

前記複数の候補バウンディングボックスの特徴値、面積および位置に基づいて、前記複数の候補バウンディングボックスのうちの１つを、前記ターゲットオブジェクトを取り囲むバウンディングボックスとして決定するステップは、
前記複数の候補バウンディングボックスの各候補バウンディングボックスの確率スコア、面積スコアおよび位置スコアを算出するステップと、
前記複数の候補バウンディングボックスの各候補バウンディングボックスの確率スコア、面積スコアおよび位置スコアに基づいて、前記ターゲットオブジェクトを取り囲むバウンディングボックスを決定するステップとを含む、請求項６に記載のニューラルネットワークベースの分類器。

【請求項8】

前記複数の候補バウンディングボックスの各候補バウンディングボックスの確率スコア、面積スコアおよび位置スコアに基づいて、前記ターゲットオブジェクトを取り囲むバウンディングボックスを決定するステップは、
前記確率スコア、面積スコアおよび位置スコアについて、前記複数の候補バウンディングボックスをそれぞれ３回の順位付けするステップと、
前記３回の順位付けにおいて、他の候補バウンディングボックスよりも上位に順位付けされた候補バウンディングボックスを、前記ターゲットオブジェクトを取り囲むバウンディングボックスとして決定するか、または、
前記複数の候補バウンディングボックスのうちのそれぞれについて、前記確率スコア、面積スコアおよび位置スコアの合計を算出し、前記確率スコア、面積スコアおよび位置スコアの合計が最も大きい候補バウンディングボックスを、前記ターゲットオブジェクトを取り囲むバウンディングボックスとして決定するステップとを含む、請求項７に記載のニューラルネットワークベースの分類器。

【請求項9】

ニューラルネットワークベースの分類方法であって、
ターゲットオブジェクトを含む第１画像を取得するステップと、
前記第１画像内で前記ターゲットオブジェクトを取り囲むバウンディングボックスを決定するステップと、
決定された前記ターゲットオブジェクトのバウンディングボックスに基づいて、前記ターゲットオブジェクトを分類するステップとを含み、
前記第１画像内で前記ターゲットオブジェクトを取り囲むバウンディングボックスを決定するステップは、
前記第１画像の深層特徴を抽出するステップと、
前記第１画像の浅層特徴を抽出するステップと、
前記深層特徴と浅層特徴とを重み付けして融合することによって、クラス活性化マップを取得するステップと、
前記クラス活性化マップに基づいて、前記ターゲットオブジェクトを取り囲むバウンディングボックスを決定するステップとを含む、ニューラルネットワークベースの分類方法。

【請求項10】

コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体であって、前記コンピュータ命令がプロセッサによって実行されると、前記プロセッサに請求項１に記載の、ニューラルネットワークベースの分類器によるターゲットオブジェクトの分類方法を実行させる、非一時的なコンピュータ読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、人工知能の分野に関し、特に、ニューラルネットワークベースの分類器、分類方法、および記憶媒体に関する。

【背景技術】

【0002】

ニューラルネットワークベースの分類技術において、通常、背景情報の存在が分類モデルの精度に影響を与える。したがって、分類モデルをトレーニングする前に背景情報が除外されることが望ましい。背景情報を除外するには、まず、ターゲットオブジェクトの位置を正確に特定すること、つまり画像内でターゲットオブジェクトをフレームに収めることが必要となる。従来技術では、通常、画像内で予め設定された閾値を超える最大の連通領域のバウンディングボックスがターゲットオブジェクトのバウンディングボックスとみなされる。この方法において特定されたターゲットオブジェクトのバウンディングボックスは、通常、不正確である。例えば、ターゲットオブジェクトの一部がバウンディングボックスとして特定される場合がある。他の場合には、特定されたバウンディングボックスに含まれる背景情報が多すぎる状況もある。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本願は、上記の問題点に鑑みてなされたものである。例示的な態様において、本開示は、ターゲットオブジェクトを含む第１画像を取得するように構成されているサンプル取得ユニットと、前記第１画像内で前記ターゲットオブジェクトを取り囲むバウンディングボックスを決定するように構成されているターゲットオブジェクトフレーム選択ユニットと、決定された前記ターゲットオブジェクトのバウンディングボックスに基づいて、前記ターゲットオブジェクトを分類するように構成されている分類ユニットとを含む、ニューラルネットワークベースの分類器を提供する。前記ターゲットオブジェクトフレーム選択ユニットは、前記第１画像の深層特徴を抽出するように構成されている深層特徴抽出部と、前記第１画像の浅層特徴を抽出するように構成されている浅層特徴抽出部と、前記ターゲットオブジェクトフレーム選択ユニットがクラス活性化マップに基づいて、前記ターゲットオブジェクトを取り囲むバウンディングボックスを決定するように、前記深層特徴と浅層特徴とを重み付けして融合することによって、前記クラス活性化マップを取得するように構成されている融合部と、を含む。

【0004】

いくつかの実施例において、前記ターゲットオブジェクトフレーム選択ユニットは、前記第１画像のグローバル特徴を抽出するように構成されているグローバル特徴抽出部をさらに含み、前記融合部は、前記深層特徴、浅層特徴および前記グローバル特徴を重み付けして融合することによって、前記クラス活性化マップを取得するようにさらに構成されている。

【0005】

いくつかの実施例において、前記ターゲットオブジェクトフレーム選択ユニットは、前記クラス活性化マップを二値化して、複数の候補バウンディングボックスを生成するように構成されている候補バウンディングボックス生成部をさらに含む。

【0006】

いくつかの実施例において、前記候補バウンディングボックス生成部は、前記クラス活性化マップに基づいて、第１閾値を決定し、前記第１閾値に従って、前記クラス活性化マップを二値化し、二値化された前記クラス活性化マップにおける複数の連通領域の複数のバウンディングボックスを、前記複数の候補バウンディングボックスとして決定するようにさらに構成されている。

【0007】

いくつかの実施例において、前記候補バウンディングボックス生成部は、前記クラス活性化マップに基づいて、自己適応アルゴリズムによって前記第１閾値を決定するようにさらに構成されている。

【0008】

いくつかの実施例において、前記ターゲットオブジェクトフレーム選択ユニットは、前記複数の候補バウンディングボックスの特徴値、面積および位置に基づいて、前記複数の候補バウンディングボックスのうちの１つを、前記ターゲットオブジェクトを取り囲むバウンディングボックスとして決定するように構成されている投票部をさらに含む。

【0009】

いくつかの実施例において、前記投票部は、前記複数の候補バウンディングボックスのうちの、面積が第２閾値よりも小さい候補バウンディングボックスを廃棄するようにさらに構成されている。

【0010】

いくつかの実施例において、前記複数の候補バウンディングボックスの特徴値、面積および位置に基づいて、前記複数の候補バウンディングボックスのうちの１つを、前記ターゲットオブジェクトを取り囲むバウンディングボックスとして決定するステップは、前記複数の候補バウンディングボックスの各候補バウンディングボックスの確率スコア、面積スコアおよび位置スコアを算出するステップと、前記複数の候補バウンディングボックスの各候補バウンディングボックスの確率スコア、面積スコアおよび位置スコアに基づいて、前記ターゲットオブジェクトを取り囲むバウンディングボックスを決定するステップとを含む。

【0011】

いくつかの実施例において、前記複数の候補バウンディングボックスの各候補バウンディングボックスの確率スコア、面積スコアおよび位置スコアに基づいて、前記ターゲットオブジェクトを取り囲むバウンディングボックスを決定するステップは、前記確率スコア、面積スコアおよび位置スコアについて、前記複数の候補バウンディングボックスをそれぞれ３回の順位付けをするステップと、前記３回の順位付けにおいて、他の候補バウンディングボックスよりも上位に順位付けされた候補バウンディングボックスを、前記ターゲットオブジェクトを取り囲むバウンディングボックスとして決定するステップとを含む。

【0012】

いくつかの実施例において、前記複数の候補バウンディングボックスの各候補バウンディングボックスの確率スコア、面積スコアおよび位置スコアに基づいて、前記ターゲットオブジェクトを取り囲むバウンディングボックスを決定するステップは、前記複数の候補バウンディングボックスのそれぞれについて、前記確率スコア、面積スコアおよび位置スコアの合計を算出するステップと、前記確率スコア、面積スコアおよび位置スコアの合計が最も大きい候補バウンディングボックスを、前記ターゲットオブジェクトを取り囲むバウンディングボックスとして決定するステップとを含む。

【0013】

別の例示的な態様において、本開示は、ターゲットオブジェクトを含む第１画像を取得するステップと、前記第１画像内で前記ターゲットオブジェクトを取り囲むバウンディングボックスを決定するステップと、決定された前記ターゲットオブジェクトのバウンディングボックスに基づいて、前記ターゲットオブジェクトを分類するステップとを含む、ニューラルネットワークベースの分類方法を提供する。前記第１画像内で前記ターゲットオブジェクトを取り囲むバウンディングボックスを決定するステップは、前記第１画像の深層特徴を抽出するステップと、前記第１画像の浅層特徴を抽出するステップと、前記深層特徴と浅層特徴とを重み付けして融合することによって、クラス活性化マップを取得するステップと、前記クラス活性化マップに基づいて、前記ターゲットオブジェクトを取り囲むバウンディングボックスを決定するステップとを含む。

【0014】

更なる例示的な態様において、本開示は、コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体を提供し、前記コンピュータ命令がプロセッサによって実行されると、前記プロセッサに、前述したニューラルネットワークベースの分類器によるターゲットオブジェクトの分類方法を実行させる。

【図面の簡単な説明】

【0015】

【図1】図１は、本開示の原理の実施例による、ニューラルネットワークベースの分類器の一例の機能ブロック図を示す。

【図2】図２は、図１に示したニューラルネットワークベースの分類器を使用して分類を行うプロセスの一例の概略図を示す。

【図3】図３は、本開示の原理の実施例による、ニューラルネットワークベースの分類器におけるターゲットオブジェクトフレーム選択ユニットの一例のブロック図を示す。

【図4】図４は、本開示の原理の実施例による、ニューラルネットワークベースの分類器によって分類を行うプロセスの別の例の概略図を示す。

【図5】図５は、本開示の原理の実施例による、ニューラルネットワークベースの分類器の別の例の機能ブロック図を示す。

【図6A】図６Ａは、本開示の原理の実施例による、ニューラルネットワークベースの分類器における投票部によって最良なバウンディングボックスを選択する概略図を示す。

【図6B】図６Ｂは、本開示の原理の実施例による、ニューラルネットワークベースの分類器における投票部によって最良なバウンディングボックスを選択するフローチャートを示す。

【図7】図７は、本開示の原理の実施例によるニューラルネットワークベースの分類方法の一例のフローチャートを示す。

【図8】図８は、本開示の原理の実施例による、非一時的なコンピュータ読み取り可能な記憶媒体の概略図を示す。

【発明を実施するための形態】

【0016】

以下、本開示の実施例について、図面を参照しながら詳細に説明する。本開示のいくつかの実施例が図面に示されているが、本開示は、様々な形態で実現することができ、本明細書に記載の実施例に限定されるものとして解釈されるべきではなく、むしろ、これらの実施例は、本開示を徹底的かつ完全的に理解するために提供されていることを理解されたい。本開示の図面および実施例は、例示のみを目的としており、本開示の保護範囲を限定するものではないことを理解されたい。

【0017】

本開示の方法の実施形態において説明される様々なステップは、異なる順序で実行されてもよく、および／または並行して実行されてもよいことを理解されたい。また、方法に関する実施例は、他のステップを含んでもよく、および／または特定のステップを省略してもよい。

【0018】

本明細書で使用される「含む」という用語およびその変形は、包括的であり、即ち、「含むがそれに限定されない」である。「に基づく」という用語は、「少なくとも部分的に基づく」である。「一実施例」という用語は、「少なくとも一つの実施例」を意味し、「別の実施例」という用語は、「少なくとも一つの別の実施例」を意味し、「いくつかの実施例」という用語は、「少なくともいくつかの実施例」を意味する。他の用語の関連する定義は、以下の説明で与えられる。

【0019】

本開示で言及される「第１」および「第２」などの概念は、異なる装置、モジュールまたはユニットを区別するためにのみ使用され、これらの装置、モジュールまたはユニットによって実行される機能の順序または相互依存関係を制限するために使用されるものではないことを理解されたい。

【0020】

なお、本開示で言及される「１つ」および「複数の」の修飾は、例示的であり、限定的なものではなく、当業者は、文脈から明確に別段の指示がない限り、「１つまたは複数の」として理解されることを理解すべきである。

【0021】

図１は、本開示の原理の実施例によるニューラルネットワークベースの分類器１０００の機能ブロック図を示す。図２は、図１に示したニューラルネットワークベースの分類器１０００を使用して分類を行うプロセスの一例の概略図を示す。本開示のいくつかの好ましい実施例について、図１と図２を併せて以下に説明する。

【0022】

図１に示すように、ニューラルネットワークベースの分類器１０００は、サンプル取得ユニット１１００、ターゲットオブジェクトフレーム選択ユニット１２００および分類ユニット１３００を含む。

【0023】

サンプル取得ユニット１１００は、ターゲットオブジェクトを含む第１画像を取得するように構成されている。例えば、サンプル取得ユニット１１００は、カメラ、ウェブカメラ、赤外線カメラなどを含むがこれらに限定されない、ターゲットオブジェクトを取得するために使用できる任意の画像捕捉装置であってもよい。サンプル取得ユニット１１００は、人、動物、草花、乗り物、および他の種類の識別可能なオブジェクトを含むがこれらに限定されない、様々なターゲットオブジェクトの画像を取得するために使用することができる。図２に示すように、サンプル取得ユニット１１００によって取得される第１画像は、図に示すようなターゲットオブジェクト「鳥」を含む画像Ｐ１であってもよい。

【0024】

ターゲットオブジェクトフレーム選択ユニット１２００は、サンプル取得ユニット１１００によって取得された第１画像内でターゲットオブジェクト（例えば、人、動物など）を取り囲むバウンディングボックスを決定するように構成される。例えば、ターゲットオブジェクトを取り囲むバウンディングボックスは、例えば、第１画像内の人物を取り囲む長方形のボックス、楕円形のボックス、不規則な多角形のボックスなどであってもよく、本開示は、バウンディングボックスの具体的な形状を限定するものではない。

【0025】

分類ユニット１３００は、決定された前記ターゲットオブジェクトのバウンディングボックスに基づいて、前記ターゲットオブジェクトを分類するように構成されている。つまり、分類ユニット１３００に入力された画像は、背景情報を多く含む元の第１画像ではなく、ターゲットオブジェクトフレーム選択ユニット１２００によりターゲットオブジェクトをフレーム選択して得られた部分画像である。ターゲットオブジェクトの位置を特定することにより、背景情報からの干渉が大幅に低減され、それにより、分類ユニット１３００がより正確な分類を行うことが可能になる。

【0026】

いくつかの実施例において、例えば、図１に示したターゲットオブジェクトフレーム選択ユニット１２００は、深層特徴抽出部１２１０－ａ、浅層特徴抽出部１２１０－ｂおよび融合部１２２０を含んでもよい。

【0027】

図１に示した深層特徴抽出部１２１０－ａは、ターゲットオブジェクトを含む第１画像の深層特徴を抽出するように構成されている。例えば、深層特徴抽出部１２１０－ａは、畳み込みニューラルネットワーク（ＣＮＮ）によって実現することができる。

【0028】

いくつかの実施例において、例えば、ＣＮＮは、１８層のＲｅｓＮｅｔネットワーク構造であってもよく、例えば、ｒｅｓｎｅｔ１８＿ｌａｙｅｒ４を使用して、ターゲットオブジェクトフレーム選択ユニット１２００内の深層特徴抽出部１２１０－ａを実現することができる。例えば、図２に示した深層特徴抽出部１２１０－ａに対応する深層特徴抽出器ｆ１は、例えば、ｒｅｓｎｅｔ１８＿ｌａｙｅｒ４であってもよい。

【0029】

図１に示した浅層特徴抽出部１２１０－ｂは、ターゲットオブジェクトを含む第１画像の浅層特徴を抽出するように構成されている。例えば、浅層特徴抽出部１２１０－ｂも、畳み込みニューラルネットワーク（ＣＮＮ）によって実現することができる。

【0030】

いくつかの実施例において、例えば、ｒｅｓｎｅｔ１８＿ｌａｙｅｒ３を使用して、ターゲットオブジェクトフレーム選択ユニット１２００における浅層特徴抽出部１２１０－ｂを実現することができる。例えば、図２に示される浅層特徴抽出部１２１０－ｂに対応する浅層特徴抽出器ｆ２は、例えば、ｒｅｓｎｅｔ１８＿ｌａｙｅｒ３であってもよい。

【0031】

一般に、画像の浅層特徴は入力に近いため、より多くのピクセルポイントの詳細情報が含まれる。これは、浅層ネットワークの受容野が小さく、受容野の重複領域も小さいため、それにより、ネットワークがより多くの詳細を確実に捕捉できる。ただし、畳み込まれるのが少ないため、セマンティックが少なく、ノイズが多い。例えば、図２に示すように、浅層特徴抽出器ｆ２で抽出される浅層特徴には、「鳥」の輪郭やテクスチャなどの細粒度情報が含まれており、背景のテクスチャなどの詳細な情報も多く混在している。

【0032】

これに対して、画像の深層特徴は出力に近いため、より多くの粗粒度情報、つまりより抽象的なセマンティック情報が含まれる。これは、ディープネットワークの受容野が大きくなり、受容野間の重複領域が増加し、画像の全体情報を取得するように画像情報が圧縮されたためである。例えば、図２に示すように、深層特徴抽出器ｆ１によって抽出された深層特徴には、より粗粒度の情報が含まれ、例えば、鳥の輪郭がはっきりと見えるが、背景に関連するその他の詳細が薄められている。

【0033】

浅層特徴と深層特徴を融合することで、詳細情報と全体情報の両方を考慮することができ、ターゲットオブジェクトに対するフレーム選択の精度が向上する。図１から図２に示すように、融合部１２２０は、深層特徴抽出部１２１０－ａによって抽出された深層特徴と浅層特徴抽出部１２１０－ｂによって抽出された浅層特徴とをそれぞれ重み付けして融合することで、クラス活性化マップ（ＣＡＭ）を取得するように構成されている。これにより、ターゲットオブジェクトフレーム選択ユニット１２００は、前記クラス活性化マップに基づいて、ターゲットオブジェクトを取り囲むバウンディングボックスをさらに決定することができる。

【0034】

いくつかの実施例において、例えば、グリッドサーチアルゴリズムに基づいて、ループトラバーサル方法により、深層特徴および浅層特徴に対して、それぞれの重みａおよびｂを選択することができる。他の実施例において、深層特徴と浅層特徴の重みａおよびｂに対して経験値を設定することもでき、例えば、ａ＝０．４、ｂ＝０．６の重みを設定することができ、ここで、ａ＋ｂ＝１である。本開示における深層特徴と浅層特徴の重みの設定方法は、上述の実施例に限定されない。

【0035】

重みａ、ｂを決定した後、図２に示したクラス活性化マップＣＡＭ＝ａ・ｒｆ１＋ｂ・ｆ２となる。そして、ターゲットオブジェクトフレーム選択ユニット１２００は、クラス活性化マップＣＡＭに基づいて、ターゲットオブジェクトを取り囲むバウンディングボックスをさらに決定することができる。

【0036】

上述したニューラルネットワークベースの分類器１０００において、ターゲットオブジェクトフレーム選択ユニット１２００は、全体情報を抽出するための深層特徴抽出部１２１０－ａと詳細情報を抽出するための浅層特徴抽出部１２１０－ａの２つの特徴抽出部のみを含む。他の実施例において、ターゲットオブジェクトフレーム選択ユニットは、他の種類の特徴を抽出するための他の特徴抽出部をさらに含むことができる。

【0037】

図３は、本開示の原理の実施例による、ニューラルネットワークベースの分類器におけるターゲットオブジェクトフレーム選択ユニットの一例のブロック図を示す。図４は、本開示の原理の実施例による、ニューラルネットワークベースの分類器によって分類を行うプロセスの別の例の概略図を示す。

【0038】

図示したように、ターゲットオブジェクトフレーム選択ユニット３２００は、図１に示した深層特徴抽出部１２１０－ａおよび浅層特徴抽出部１２１０－ｂと類似する深層特徴抽出部３２１０－ａおよび浅層特徴抽出部３２１０－ｂに加えて、グローバル特徴抽出部３２１０－ｃを含むことができる。グローバル特徴抽出部３２１０－ｃは、画像のグローバル特徴を抽出するように構成されている。

【0039】

畳み込み操作は、ローカルな特徴情報しか考慮できないため、例えば、ＣＮＮを使用して深層特徴抽出部３２１０－ａおよび浅層特徴抽出部３２１０－ｂを実現する場合、画像のグローバル特徴をうまく抽出することができない。この場合、例えば、グローバル特徴抽出部３２１０－ｃを実現するように、例えば、アテンションメカニズムベースのビジョントランスフォーマー（ＶｉＴ）を使用することを付加的に考慮することができる。いくつかの実施例において、例えば、ＶｉＴ＿ｂｌｏｃｋ１２を使用して、グローバル特徴抽出部３２１０－ｃを実現することができる。

【0040】

図４に示したように、深層特徴抽出部３２１０－ａ、浅層特徴抽出部３２１０－ｂおよびグローバル特徴抽出部３２１０－ｃにそれぞれ対応する深層特徴抽出器ｆ１、浅層特徴抽出器ｆ２およびグローバル特徴抽出器ｆ３はそれぞれ、図示した画像Ｐ２に関する異なる特徴を抽出する。例えば、深層特徴抽出器ｆ１によって抽出されるのは、Ｐ２の「鳥」の全体情報に密接に関連している深層特徴である。浅層特徴抽出器ｆ２によって抽出されるのは、Ｐ２の「鳥」の詳細情報に密接に関連している浅層特徴である。これに対して、グローバル特徴抽出器ｆ３によって抽出されるのは、Ｐ２の「鳥」および他の領域のグローバル情報により関連性の高いグローバル特徴である。

【0041】

図３に示したように、深層特徴抽出部３２１０－ａおよび浅層特徴抽出部３２１０－ｂを使用して、画像の深層特徴および浅層特徴をそれぞれ抽出し、かつグローバル特徴抽出部３２１０－ｃを使用して、画像のグローバル特徴を抽出した後、図１と類似する融合部３２２０は、抽出された深層特徴、浅層特徴およびグローバル特徴を重み付けして融合することで、クラス活性化マップを取得することができる。

【0042】

なお、同様に、図１及び図２に関して説明した方法と同様の方法を使用して、深層特徴、浅層特徴、およびグローバル特徴のそれぞれに対する重みを決定することができる。例えば、浅層特徴、深層特徴およびグローバル特徴のそれぞれの重みａ、ｂ、ｃを、グリッドサーチアルゴリズムに基づいて、ループトラバーサルによって選択することができる。他の実施例において、浅層特徴、深層特徴およびグローバル特徴の重みａ、ｂ、およびｃに対して、例えばａ＝０．２５、ｂ＝０．３、ｃ＝０．４５の経験値を設定することもでき、ここで、ａ＋ｂ＋ｃ＝１である。本開示における深層特徴、浅層特徴およびグローバル特徴の重みの設定方法は、上述の実施例に限定されない。例えば、重みａ、ｂ、ｃを決定した後、図４に示したクラス活性化マップＣＡＭ＝ａ・ｆ１＋ｂ・ｆ２＋ｃ・ｆ３が得られる。

【0043】

上記においては、本開示の原理の実施例によるニューラルネットワークベースの分類器の様々な実施例について、図１乃至図４を参照して説明した。いくつかの実施例において、それぞれ深層特徴抽出部および浅層特徴抽出部を使用して、画像の深層特徴および浅層特徴を抽出することにより、ターゲットオブジェクトに対するフレーム選択の精度が向上する。いくつかの実施例において、さらにグローバル特徴抽出部を導入することによって、画像のグローバル特徴を抽出することもでき、それにより、深層特徴抽出部および浅層特徴抽出部などのローカル特徴抽出器の不足を補い、ターゲットオブジェクトに対するフレーム選択の精度をさらに向上させることができる。

【0044】

以下の説明において、図５、図６Ａおよび６Ｂに基づいて、ターゲットオブジェクトフレーム選択ユニットが、融合部により生成されたクラス活性化マップを利用して、ターゲットオブジェクトを取り囲むバウンディングボックスをどのように生成するかの実施例について説明する。

【0045】

図５は、本開示の原理の実施例による、ニューラルネットワークベースの分類器５０００の別の例の機能ブロック図を示す。図６Ａは、本開示の原理の実施例による、ニューラルネットワークベースの分類器における投票部によって最良なバウンディングボックスを選択する概略図を示す。図６Ｂは、本開示の原理の実施例による、ニューラルネットワークベースの分類器における投票部によって最良なバウンディングボックスを選択するフローチャートを示す。

【0046】

図５に示したように、ニューラルネットワークベースの分類器５０００は、サンプル取得ユニット５１００、ターゲットオブジェクト取得ユニット５２００、及び分類ユニット５３００を含む。サンプル取得ユニット５１００および分類ユニット５３００は、図１に示したサンプル取得ユニット１１００および分類ユニット１３００と同様であるため、ここでは繰り返しの説明を省略する。

【0047】

図５に示したターゲットオブジェクトフレーム選択ユニット５２００は、図１における深層特徴抽出部１２１０－ａ、浅層特徴抽出部１２１０－ｂおよび融合部１２２０と類似する深層特徴抽出部５２１０－ａ、浅層特徴抽出部５２１０－ｂおよび融合部５２２０に加えて、候補バウンディングボックス生成部５２３０および投票部５２４０をさらに含む。

【0048】

候補バウンディングボックス生成部５２３０は、融合部５２２０によって生成されたクラス活性化マップを二値化して、複数の候補バウンディングボックスを生成するように構成されている。融合部５２２０によるクラス活性化マップの生成プロセスは、図１乃至図４で説明した実施例と同様であるため、ここでは繰り返市の説明を省略する。

【0049】

具体的には、候補バウンディングボックス生成部５２３０は、以下のステップに従って複数の候補バウンディングボックスを生成することができる。

【0050】

まず、融合部５２２０により生成されたクラス活性化マップに基づいて、クラス活性化マップを二値化するための第１閾値Ｔを決定する。

【0051】

いくつかの実施例において、自己適応アルゴリズムを使用して、上述した第１閾値Ｔを生成することができる。

【0052】

融合部５２２０によって生成されるクラス活性化マップＣＡＭのグレースケール値を１乃至ｍ（ｍは１以上の整数）とし、グレースケール値ｉのピクセル数をｎｉとすると、まず、ピクセル総数

【数1】

各グレーレベルの確率

【数2】

が得られ、
そして、第１閾値Ｔでそれを２つのグループＣ０＝｜１～Ｔ｜およびＣ１＝｜Ｔ＋１～ｍ｜に分ける。

【0053】

Ｃ０の確率

【数3】

Ｃ１の確率

【数4】

Ｃ０の平均値

【数5】

Ｃ１の平均値

【数6】

が得られ、
ただし、μは、クラス活性化マップＣＡＭ全体のグレースケールの平均値であり、μ＝ｗ０μ０＋ｗ１μ１である。
２つのグループ間の分散は、

【数7】

である。
分散δ２を最大化するように上式を解くことにより、第１閾値Ｔの最適解を得ることができる。

【0054】

第１閾値Ｔの最適解を計算する上記のアルゴリズムは、最大クラス間分散法と呼ばれてもよい。当該方法により決定される最適な閾値は、クラス間分散を最大化するようにし、第１閾値Ｔが決定された後、第１閾値Ｔを通じて、クラス活性化マップＣＡＭに対して、画像の二値化を実行し、例えば、第１閾値Ｔよりも小さいグレースケール値を有するピクセルを黒に二値化する（例えば、グレー値を０に設定する）、または、グレースケール値が第１閾値Ｔ以上である速度制限値を白に二値化する（例えば、グレースケール値を２５５に設定する）。

【0055】

図６Ａに示したように、上記で取得した第１閾値Ｔを使用して、例えば、図２で生成されたクラス活性化マップＣＡＭを二値化し、二値化されたクラス活性化マップの、複数の連通領域のそれぞれを取り囲む複数のバウンディングボックスを、複数の候補バウンディングボックスとして決定する。図６Ａは、２つのより大きな長方形のバウンディングボックス、いくつかのより小さな長方形のバウンディングボックス、例えば、図６Ａに示した面積のより大きなＢｏｘ１、Ｂｏｘ２、およびＢｏｘ１、Ｂｏｘ２の内部の面積がより小さな複数の候補バウンディングボックスを示す。

【0056】

図示した複数の候補バウンディングボックスを決定した後、ターゲットオブジェクトフレーム選択ユニット５２００における投票部５２４０は、複数の候補バウンディングボックスに投票して、図６Ａに示した最良なバウンディングボックスを決定する。

【0057】

いくつかの実施例において、投票部５２４０は、複数の候補バウンディングボックスに対応する特徴値、面積および位置に基づいて、複数の候補バウンディングボックスのうちの１つを、ターゲットオブジェクトを取り囲むバウンディングボックス、即ち、上述した最良または最適なバウンディングボックスとして決定することができる。

【0058】

投票部５２４０は、図６Ｂに示されるステップに基づいて、投票して最良なバウンディングボックスを選択することができる。

【0059】

まず、各候補バウンディングボックスについて、当該候補バウンディングボックスの面積が所定の閾値Ｓ（例えば、Ｓは、第１画像全体の面積の４パーセント、６パーセントなどに等しい）よりも小さいか否かを判断する。「はい」の場合、現在の候補ボックスは、面積が小さすぎてターゲットオブジェクトの最良な候補ボックスとする可能性が低いことを意味し、当該候補バウンディングボックスを廃棄してもよい（Ｓ６０２）。「いいえ」の場合、現在の候補ボックスは、ターゲットオブジェクトの最良な候補ボックスとする可能性が高いことを意味し、ステップＳ６０３のスコアリング段階に進むことができる。

【0060】

ステップＳ６０１を通じて、まず、面積が小さすぎる候補バウンディングボックスが廃棄され、より大きな面積を有する候補バウンディングボックスがフィルタリングされ、このことは、さらなるスコアリングおよび投票操作の実行に役立つ。

【0061】

次に、ステップＳ６０３およびＳ６０４において、最良なバウンディングボックスを選択するように、より大きな面積を有するほかの複数の候補ボックスに対して、さらなるスコアリングおよび投票操作を実行する。

【0062】

例えば、ほかの複数の候補バウンディングボックスの特徴値、面積、位置に基づいて、最良なバウンディングボックスを選択することができる。

【0063】

例えば、複数の候補バウンディングボックスのそれぞれの確率スコアＰ＿ｓｃｏｒｅ、面積スコアＡ＿ｓｃｏｒｅおよび位置スコアＤ＿ｓｃｏｒｅを算出し、複数の候補バウンディングボックスのそれぞれの確率スコアＰ＿ｓｃｏｒｅ、面積スコアＡ＿ｓｃｏｒｅおよび位置スコアＤ＿ｓｃｏｒｅに基づいて、ターゲットオブジェクトを取り囲む最良なバウンディングボックスを決定してもよい。

【0064】

例えば、候補バウンディングボックスの確率スコアＰ＿ｓｃｏｒｅは、当該候補バウンディングボックス内の連通領域に対応する、二値化される前の融合特徴の平均値であってもよい。

【0065】

図６Ａにおける面積の最も大きい候補バウンディングボックスＢｏｘ１を例として、Ｂｏｘ１について、取り囲まれた連通領域の輪郭がｃ１であり、二値化される前のクラス活性化マップＣＡＭの内輪郭ｃ１に取り囲まれたすべてのピクセルポイントのグレースケール値の合計を算出してｓｕｍ（ｃ１）とし、同時に輪郭ｃ１に取り囲まれた面積をａｒｅａ（ｃ１）（例えば、ピクセルポイント総数）とすると、バウンディングボックスＢｏｘ１に対応する確率スコアＰ＿ｓｃｏｒｅ（Ｂｏｘ１）＝ｓｕｍ（ｃ１）／ａｒｅａ（ｃ１）を算出することができる。

【0066】

また、例えば、バウンディングボックスの面積スコアは、Ａ＿ｓｃｏｒｅ（Ｂｏｘ１）＝ａｒｅａ（Ｂｏｘ１）／ａｒｅａ（ｉｍａｇｅ）である。ここで、ａｒｅａ（Ｂｏｘ１）は、バウンディングボックスＢｏｘ１の面積であり、ａｒｅａ（ｉｍａｇｅ）は、第１画像（例えば、図２に示される画像Ｐ１）の面積である。つまり、面積スコアＡ＿ｓｃｏｒｅは、入力画像の面積に対する候補バウンディングボックスの比率を表す。ａｒｅａ（Ｂｏｘ１）およびａｒｅａ（ｉｍａｇｅ）は、ピクセルポイント数で表してもよい。

【0067】

また、候補バウンディングボックスの位置スコアＤ＿ｓｃｏｒｅは、候補バウンディングボックスの中心位置が入力画像全体の中心位置にどれだけ近いかを示す。例えば、バウンディングボックスＢｏｘ１の位置スコアは、Ｄ＿ｓｃｏｒｅ（Ｂｏｘ１）＝１－Ｄｉｓｔａｎｃｅ（Ｂｏｘ１）／Ｄｉｓｔａｎｃｅ（ｉｍａｇｅ）であり、ここで、Ｄｉｓｔａｎｃｅ（Ｂｏｘ１）が、入力画像の対角線方向における、Ｂｏｘ１の中心位置と入力画像の中心位置との間の距離を示し、Ｄｉｓｔａｎｃｅ（ｉｍａｇｅ）が、入力画像の中心位置と入力画像の頂点との間の距離（即ち、対角線距離の半分）を示す。候補ボックスＢｏｘ１は、図像の中心位置に近いほど、Ｄｉｓｔａｎｃｅ（Ｂｏｘ１）が小さくなり、かつＤ＿ｓｃｏｒｅ（Ｂｏｘ１）が大きくなる。

【0068】

上記の方法により、各候補バウンディングボックスの確率スコアＰ＿ｓｃｏｒｅ、面積スコアＡ＿ｓｃｏｒｅ、および位置スコアＤ＿ｓｃｏｒｅを算出した後、各候補バウンディングボックスの確率スコアＰ＿ｓｃｏｒｅ、面積スコアＡ＿ｓｃｏｒｅ、および位置スコアＤ＿ｓｃｏｒｅを３回順位付けして、３回の順位付けにおいて、他の候補バウンディングボックスより上位に順位付けされた候補バウンディングボックスを、ターゲットオブジェクトを取り囲むバウンディングボックスとして決定することができる。

【0069】

例えば、候補バウンディングボックスＢｏｘ１乃至Ｂｏｘ４の４つがあると仮定し、候補バウンディングボックスＢｏｘ１については、例えば、確率スコアＰ＿ｓｃｏｒｅ、面積スコアＡ＿ｓｃｏｒｅ、および位置スコアＤ＿ｓｃｏｒｅの計算値は、次のようになると仮定する。
Ｐ＿ｓｃｏｒｅ（Ｂｏｘ１）＝１２５
Ａ＿ｓｃｏｒｅ（Ｂｏｘ１）＝０．８
Ｄ＿ｓｃｏｒｅ（Ｂｏｘ１）＝０．９５
さらに、候補バウンディングボックスＢｏｘ２について、確率スコアＰ＿ｓｃｏｒｅ、面積スコアＡ＿ｓｃｏｒｅおよび位置スコアＤ＿ｓｃｏｒｅの計算値は、次のようになると仮定する。
Ｐ＿ｓｃｏｒｅ（Ｂｏｘ２）＝１３９
Ａ＿ｓｃｏｒｅ（Ｂｏｘ２）＝０．４
Ｄ＿ｓｃｏｒｅ（Ｂｏｘ２）＝０．６５
候補バウンディングボックスＢｏｘ３について、確率スコアＰ＿ｓｃｏｒｅ、面積スコアＡ＿ｓｃｏｒｅ、および位置スコアＤ＿ｓｃｏｒｅの計算値は、次のようになると仮定する。
Ｐ＿ｓｃｏｒｅ（Ｂｏｘ３）＝２０５
Ａ＿ｓｃｏｒｅ（Ｂｏｘ３）＝０．３
Ｄ＿ｓｃｏｒｅ（Ｂｏｘ３）＝０．９
候補バウンディングボックスＢｏｘ４について、確率スコアＰ＿ｓｃｏｒｅ、面積スコアＡ＿ｓｃｏｒｅ、および位置スコアＤ＿ｓｃｏｒｅの計算値は、次のようになると仮定する。
Ｐ＿ｓｃｏｒｅ（Ｂｏｘ４）＝１０３
Ａ＿ｓｃｏｒｅ（Ｂｏｘ４）＝０．８５
Ｄ＿ｓｃｏｒｅ（Ｂｏｘ４）＝０．４
Ｐ＿Ｓｃｏｒｅについて、Ｂｏｘ１乃至Ｂｏｘ４の順位は、以下のとおりであり、
３、２、１、４、
Ａ＿Ｓｃｏｒｅについて、Ｂｏｘ１乃至Ｂｏｘ４の順位は、以下のとおりであり、
４、１、２、３、
Ｄ＿Ｓｃｏｒｅについて、Ｂｏｘ１乃至Ｂｏｘ４の順位は、以下のとおりであり、
１、３、２、４。

【0070】

順位１、２、３、４をそれぞれ１点とすると、Ｂｏｘ１の合計スコアは、３＋２＋１＝６点であり、Ｂｏｘ２の合計スコアは、２＋３＋３＝８点であり、Ｂｏｘ３の合計スコアは１＋４＋２＝７点であり、Ｂｏｘ４の合計スコアは、４＋１＋４＝９点である。Ｂｏｘ１の合計スコアが最も小さくて相対的に上位にあることがわかり、Ｂｏｘ１をターゲットオブジェクトの最適なバウンディングボックスとして選択できる。

【0071】

いくつかの実施例において、他のアルゴリズムを使用して、複数の候補ボックスからターゲットオブジェクトの最良なバウンディングボックスを選択することも可能である。例えば、複数の候補バウンディングボックスのそれぞれについて、確率スコアＰ＿ｓｃｏｒｅ、面積スコアＡ＿ｓｃｏｒｅおよび位置スコアＤ＿ｓｃｏｒｅの合計を計算でき、確率スコアＰ＿ｓｃｏｒｅ、面積スコアＡ＿ｓｃｏｒｅおよび位置スコアＤ＿ｓｃｏｒｅの合計が最も大きい候補バウンディングボックスを、ターゲットオブジェクトを取り囲むバウンディングボックスとして決定する。

【0072】

この場合、上述の確率スコアＰ＿ｓｃｏｒｅは実際には各ピクセルのグレースケール値の平均値であり、グレースケール値が０乃至２５５の場合、Ｐ＿ｓｃｏｒｅも０乃至２５５の範囲内にあるため、まず、確率スコアＰ＿ｓｃｏｒｅの値を正規化する必要があることが好ましい。ただし、面積スコアＡ＿ｓｃｏｒｅと位置スコアＤ＿ｓｃｏｒｅは１未満の比率値であるため、直接加算すると誤った計算結果が得られる。例えば、正規化された確率スコア値として、Ｐ’＿ｓｃｏｒｅ＝Ｐ＿ｓｃｏｒｅ／２５５で計算することができる。

【0073】

上述した候補バウンディングボックスＢｏｘ１乃至Ｂｏｘ４については、以下に示すようなスコア値がある。
Ｂｏｘ１：
Ｐ’＿ｓｃｏｒｅ（Ｂｏｘ１）＝１２５／２５５＝０．４９
Ａ＿ｓｃｏｒｅ（Ｂｏｘ１）＝０．８
Ｄ＿ｓｃｏｒｅ（Ｂｏｘ１）＝０．９５
Ｂｏｘ２：
Ｐ’＿ｓｃｏｒｅ（Ｂｏｘ２）＝１３９／２５５＝０．５５
Ａ＿ｓｃｏｒｅ（Ｂｏｘ２）＝０．４
Ｄ＿ｓｃｏｒｅ（Ｂｏｘ２）＝０．６５
Ｂｏｘ３：
Ｐ’＿ｓｃｏｒｅ（Ｂｏｘ３）＝２０５／２５５＝０．８
Ａ＿ｓｃｏｒｅ（Ｂｏｘ３）＝０．３
Ｄ＿ｓｃｏｒｅ（Ｂｏｘ３）＝０．９
Ｂｏｘ４：
Ｐ’＿ｓｃｏｒｅ（Ｂｏｘ４）＝１０３／２５５＝０．４
Ａ＿ｓｃｏｒｅ（Ｂｏｘ４）＝０．８５
Ｄ＿ｓｃｏｒｅ（Ｂｏｘ４）＝０．４

【0074】

候補バウンディングボックスＢｏｘ１乃至Ｂｏｘ４について、その確率スコアＰ’＿ｓｃｏｒｅ、面積スコアＡ＿ｓｃｏｒｅ、および位置スコアＤ＿ｓｃｏｒｅの合計ＳＵＭは、それぞれＳＵＭ１＝２．２４、ＳＵＭ２＝１．６、ＳＵＭ３＝２、およびＳＵＭ４＝１．６５である。この場合、スコアの合計が最も大きいものを最良な候補ボックスとして選択し、つまり、Ｂｏｘ１をターゲットオブジェクトの最良な候補ボックスとして選択することができる。

【0075】

上記では、クラス活性化マップＣＡＭに基づいて候補バウンディングボックスを生成し、投票アルゴリズムを通じて最良な候補ボックスを選択する実施例について説明した。図５に示した、深層特徴抽出部５２１０－ａおよび浅層特徴抽出部５２１０－ｂを含むターゲットオブジェクトフレーム選択ユニット５２００は、例示に過ぎないことを理解されたい。いくつかの実施例において、ターゲットオブジェクトフレーム選択ユニット５２００は、図３に示したグローバル特徴抽出部３２１０－ｃおよび類似するグローバル特徴抽出器を含んでもよい。

【0076】

図７は、本開示の原理の実施例によるニューラルネットワークベースの分類方法７０００の一例のフローチャートを示す。

【0077】

図に示すように、方法７０００は、
Ｓ７１００、ターゲットオブジェクトを含む第１画像を取得するステップと、
Ｓ７２００、前記第１画像内で前記ターゲットオブジェクトを取り囲むバウンディングボックスを決定するステップと、
Ｓ７３００、決定された前記ターゲットオブジェクトのバウンディングボックスに基づいて、前記ターゲットオブジェクトを分類するステップとを含む。

【0078】

いくつかの実施例において、前記第１画像内で前記ターゲットオブジェクトを取り囲むバウンディングボックスを決定するステップは、前記第１画像の深層特徴を抽出するステップと、前記第１画像の浅層特徴を抽出するステップと、前記深層特徴と浅層特徴とを重み付けして融合することで、クラス活性化マップを取得するステップと、前記クラス活性化マップに基づいて、前記ターゲットオブジェクトを取り囲むバウンディングボックスを決定するステップと、をさらに含む。

【0079】

なお、図１乃至図６に関して上で説明したニューラルネットワークベースの分類器によって実行される様々な動作は、文脈が明らかに反対のことを表現しているか、明らかに不適切でない限り、方法７０００にも適用されるが、ここでは説明は省略する。

【0080】

例えば、方法７０００は、図３に示したグローバル特徴抽出部を使用して、第１画像のグローバル特徴をさらに抽出し、得られたグローバル特徴を、抽出された深層特徴および浅層特徴とともに重み付けして融合することで、クラス活性化マップを取得する追加のステップを含んでもよい。

【0081】

例えば、上述のグリッドサーチアルゴリズムを使用して、各種類の特徴の重みを計算してもよく、または各種類の特徴の重みとして経験値を選択してもよい。

【0082】

例えば、クラス活性化マップに基づいて複数の候補バウンディングボックスがさらに生成されてもよく、上述の投票アルゴリズムのいずれかを使用することによって、ターゲットオブジェクトの最良なバウンディングボックスが選択されてもよい。

【0083】

本開示の実施例は、非一時的なコンピュータ読み取り可能な記憶媒体をさらに提供する。図８は、本開示の原理の実施例による、コンピュータ読み取り可能な記憶媒体８０００の概略図を示す。ここで、コンピュータ読み取り可能な記憶媒体８０００には、コンピュータプログラム命令８１００が記憶され、コンピュータプログラム命令８１００がプロセッサによって実行されると、本開示の実施例によって提供される、図１乃至図６について記載のニューラルネットワークベースの分類器による様々な操作を実行する。

【0084】

以上、実施例に基づいて本発明を説明した。本実施例は、単なる説明のためのものであり、本実施例の構成要素や処理の組み合わせに種々の変形が可能であり、それらも本発明の範囲に含まれることは当業者には理解されるところである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図7】

【図8】