特許 7612781 オブジェクト検出のための方法及び電子装置、コンピュータが読み込み可能なストレージ媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-27

(45)【発行日】2025-01-14

(54)【発明の名称】オブジェクト検出のための方法及び電子装置、コンピュータが読み込み可能なストレージ媒体

(51)【国際特許分類】

   G06T 7/00 20170101AFI20250106BHJP

【ＦＩ】

G06T7/00 300F

【請求項の数】 15

【外国語出願】

(21)【出願番号】P 2023132575

(22)【出願日】2023-08-16

(65)【公開番号】P2024028201

(43)【公開日】2024-03-01

【審査請求日】2023-11-17

(31)【優先権主張番号】111131021

(32)【優先日】2022-08-17

(33)【優先権主張国・地域又は機関】TW

(73)【特許権者】

【識別番号】520461440

【氏名又は名称】所羅門股▲分▼有限公司

(74)【代理人】

【識別番号】110001416

【氏名又は名称】弁理士法人信栄事務所

(72)【発明者】

【氏名】チェン チョン ロン

(72)【発明者】

【氏名】ヤオ イン

(72)【発明者】

【氏名】スアン ロック グエン

(72)【発明者】

【氏名】ハ チュン ファム

(72)【発明者】

【氏名】タフジラ ヌグラハ ブリリアン

【審査官】松永 隆志

(56)【参考文献】

【文献】特開２０１２－２１２９６８（ＪＰ，Ａ）

【文献】特開２０１１－０９６１３６（ＪＰ，Ａ）

【文献】特開２０１３－０９７４６７（ＪＰ，Ａ）

【文献】特開２０２０－０３０４８０（ＪＰ，Ａ）

【文献】中国特許出願公開第１０７９０８６８５（ＣＮ，Ａ）

【文献】米国特許出願公開第２０１１／０１０３６９４（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００－１９／２０

(57)【特許請求の範囲】

【請求項1】

電子装置が有するプロセッサにより実行されるオブジェクト検出のための方法であって、
いずれも同一のターゲットオブジェクトに関連して前記ターゲットオブジェクトの１つのインスタンスを含む複数のレファレンス画像に対し特徴抽出処理を実行して、前記複数のレファレンス画像から複数の識別用特徴を抽出するステップａと、
前記識別用特徴から、数量が前記識別用特徴の数量より少ない複数の選出識別用特徴を選出する分類処理を実行して、前記選出識別用特徴により示される前記ターゲットオブジェクトの前記インスタンスに関連する第１の特徴データセットを取得し、前記第１の特徴データセットをストレージユニットに保存するステップｂと、
検知対象画像の受信に応じて、前記検知対象画像に対して特徴抽出処理を実行して第２の特徴データセットを取得するステップｃと、
前記ストレージユニットにアクセスして前記第１の特徴データセットを取得すると共に、前記第１の特徴データセットと前記第２の特徴データセットに基づいて、前記検知対象画像について類似性判定処理を実行することにより、前記検知対象画像が前記ターゲットオブジェクトの少なくとも１つのインスタンスを含むか否かを判定するステップｄと、
前記検知対象画像が前記ターゲットオブジェクトの少なくとも１つのインスタンスを含むと判定される場合、前記検知対象画像における前記ターゲットオブジェクトのインスタンスの数量を計算するステップｅと、を含む方法。

【請求項2】

追加の画像を他のレファレンス画像として受信した場合、上記ステップａと上記ステップｂとを実行して前記第１の特徴データセットをアップデートすることをさらに含む、請求項１に記載の方法。

【請求項3】

前記追加の画像は、前記検知対象画像からクロップされ、前記ターゲットオブジェクトの１つのインスタンスを含む、請求項２に記載の方法。

【請求項4】

前記ステップａの前に、
１つまたは１つ以上の前記レファレンス画像に対してデータ拡大処理を実行して、少なくとも１つの拡大画像を生成して他のレファレンス画像とすることをさらに含み、
前記データ拡大処理は、垂直反転処理と、水平反転処理と、回転処理と、クロップ処理と、サイズ変更処理との１つまたは1つ以上の処理を含む、請求項１に記載の方法。

【請求項5】

前記ステップａにおいて、各前記識別用特徴はいずれも前記ターゲットオブジェクトの外観関連特徴に関連しており、
前記ステップｂにおいて、各前記選出識別用特徴は、それぞれ前記ターゲットオブジェクトの１つの独自の外観関連特徴に関連する、請求項１に記載の方法。

【請求項6】

前記ステップｂにおいては、
各前記識別用特徴について、前記識別用特徴により示される前記ターゲットオブジェクトの前記インスタンスの外観関連特徴に基づいて、前記識別用特徴を複数のグループにおける１つに割り当てることと、
各前記グループから１つの前記識別用特徴を選択して複数の前記選出識別用特徴における１つとすることと、が含まれる、請求項１に記載の方法。

【請求項7】

前記ステップｅにおいては、前記検知対象画像に基づいてマーク付けされた画像を生成し、前記マーク付けされた画像は、マークされた前記ターゲットオブジェクトの前記少なくとも１つのインスタンスのそれぞれを有することと、前記マーク付けされた画像に基づいて、前記検知対象画像における前記ターゲットオブジェクトのインスタンスの数量を計算することと、が含まれる、請求項１に記載の方法。

【請求項8】

いずれも同一のターゲットオブジェクトに関連すると共に前記ターゲットオブジェクトのインスタンスを含む複数のレファレンス画像を保存するストレージユニットと、
前記レファレンス画像に対して特徴抽出処理を実行して前記ターゲットオブジェクトに関連する複数の識別用特徴を取得する第１の特徴抽出モジュールと、
前記複数の識別用特徴から数量が前記複数の識別用特徴の数量より少ない複数の選出識別用特徴を選出することで、前記ターゲットオブジェクトに関連すると共に前記ストレージユニットに保存される第１の特徴データセットを取得する分類モジュールと、
検知対象画像の受信に応じて前記検知対象画像に対して特徴抽出処理を実行して第２の特徴データセットを取得する第２の特徴抽出モジュールと、
前記ストレージユニットにアクセスして前記第１の特徴データセットを取得し、且つ、前記第２の特徴抽出モジュールから前記第２の特徴データセットを受信し、前記第１の特徴データセットと前記第２の特徴データセットに基づいて、前記検知対象画像について類似性判定処理を実行することにより、前記検知対象画像が前記ターゲットオブジェクトの少なくとも１つのインスタンスを含むか否かを判定する類似性判定モジュールと、
前記検知対象画像が前記ターゲットオブジェクトの少なくとも１つのインスタンスを含む場合、前記検知対象画像における前記ターゲットオブジェクトのインスタンスの数量を計算する計算モジュールと、を備える電子装置。

【請求項9】

追加の画像を他のレファレンス画像として受信した場合、前記第１の特徴抽出モジュールは前記他のレファレンス画像に対して特徴抽出処理を実行して他の識別用特徴を取得し、そして前記分類モジュールは前記他の識別用特徴に基づいて前記第１の特徴データセットをアップデートしてからアップデートした前記第１の特徴データセットを前記ストレージユニットに保存する、請求項８に記載の電子装置。

【請求項10】

前記追加の画像は、前記計算モジュールにより前記検知対象画像からクロップされたものであり、且つ前記ターゲットオブジェクトの１つのインスタンスを含む、請求項９に記載の電子装置。

【請求項11】

１つまたは１つ以上の前記レファレンス画像に対してデータ拡大処理を実行して、少なくとも１つの拡大画像を生成して他のレファレンス画像とするプロセッサを更に備え、
前記データ拡大処理は、垂直反転処理と、水平反転処理と、回転処理と、クロップ処理と、サイズ変更処理との１つまたは1つ以上の処理を含む、請求項８に記載の電子装置。

【請求項12】

前記第１の特徴抽出モジュールは、各前記識別用特徴をいずれも前記ターゲットオブジェクトの外観関連特徴に関連するものとして抽出し、前記分類モジュールは、各前記選出識別用特徴をそれぞれ前記ターゲットオブジェクトの１つの独自の外観関連特徴に関連するものとして選出する、請求項８に記載の電子装置。

【請求項13】

前記分類モジュールは、
各前記識別用特徴について、前記識別用特徴により示される前記ターゲットオブジェクトの前記インスタンスの外観関連特徴に基づいて、前記識別用特徴を複数のグループにおける１つに割り当て、
各前記グループから１つの前記識別用特徴を選択して複数の前記選出識別用特徴における１つとする、請求項１２に記載の電子装置。

【請求項14】

前記検知対象画像が前記ターゲットオブジェクトの少なくとも１つのインスタンスを含む場合、前記類似性判定モジュールは前記検知対象画像に基づいてマーク付けされた画像を生成し、前記マーク付けされた画像は、マークされた前記ターゲットオブジェクトの前記少なくとも１つのインスタンスのそれぞれを有し、
前記計算モジュールは、前記マーク付けされた画像に基づいて、前記検知対象画像における前記ターゲットオブジェクトのインスタンスの数量を計算する、請求項１３に記載の電子装置。

【請求項15】

電子装置のプロセッサにより実行されると、請求項１に記載される方法における各ステップを前記プロセッサに実施させる指令を含むコンピュータが読み込み可能な非一時的ストレージ媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示はオブジェクト検出のための方法及び電子装置に関し、且つ、コンピュータが読み込み可能なストレージ媒体に関する。

【背景技術】

【0002】

図１に画像におけるターゲットオブジェクトのインスタンスの数量の検出に用いられる従来のプロセスが示されている。使用上、検知対象画像（Ｐ）を処理してそれに含まれるターゲットオブジェクトのインスタンスの数量を検出することが求められる際、第１の特徴抽出モジュール２１（コンピュータ装置に含まれ得る）が各レファレンス画像（Ｒ）（前記コンピュータ装置に予め保存されているものであり得、且つ、いずれもターゲットオブジェクトに関連する）に対して第１の抽出アクションを実行することで、前記レファレンス画像（Ｒ）におけるターゲットオブジェクトのインスタンスに関連付けられる第１の特徴データセットを取得する。それから、第２の特徴抽出モジュール２２（前記コンピュータ装置に含まれ得る）が前記検知対象画像（Ｐ）（前記コンピュータ装置により受信されたものであり得る）に対して第２の抽出アクションを実行することで、前記検知対象画像（Ｐ）における前記ターゲットオブジェクトの１つもしくは１つ以上のインスタンスに関連付けられる第２の特徴データセットを取得する。それから、類似性検知モジュール２３（前記コンピュータ装置に含まれ得る）が前記第１の特徴データセットと前記第２の特徴データセットに基づいて検知アクションを実行し、且つ、前記検知対象画像（Ｐ）から、検知したすべての前記ターゲットオブジェクトのインスタンスにマークが付けられた検知画像（Ｐ’）を生成する。それから、計算モジュール２４（前記コンピュータ装置に含まれ得る）が計算アクションを実行して前記検知画像（Ｐ’）における前記ターゲットオブジェクトのインスタンスの数量を判定して結果を出力する。このようにして、画像に含まれるターゲットオブジェクトにおけるインスタンスの数量の検出が完了する。

【0003】

なお、上記従来のプロセスが実行される度、各レファレンス画像（Ｒ）に対して前記第１の抽出アクションが実行される必要がある。これには多くの時間がかかり、このため従来のプロセスの全体の効率が落ちる。更に、場合によっては、一部のレファレンス画像（Ｒ）に含まれるターゲットオブジェクトのインスタンスはほぼ同一もしくは類似した見た目を有する。従って、各レファレンス画像（Ｒ）に対して行われる第１の抽出アクションは、オブジェクトに関する追加情報を得られない可能性があり、そのために関連の作業も余計となりかねない。

【発明の概要】

【発明が解決しようとする課題】

【0004】

従って、本発明は従来技術の少なくとも１つの欠点を解決できる方法の提供を目的とする。

【課題を解決するための手段】

【0005】

本開示の１つの実施例に基づけば、この方法は電子装置が有するプロセッサにより実行され、且つ、
いずれも同一のターゲットオブジェクトに関連して前記ターゲットオブジェクトの１つのインスタンスを含む複数のレファレンス画像に対し特徴抽出処理を実行して、前記複数のレファレンス画像から複数の識別用特徴を抽出するステップａと、
前記識別用特徴から、数量が前記識別用特徴の数量より少ない複数の選出識別用特徴を選出する分類処理を実行して、前記選出識別用特徴により示される前記ターゲットオブジェクトの前記インスタンスに関連する第１の特徴データセットを取得し、前記第１の特徴データセットをストレージユニットに保存するステップｂと、
検知対象画像の受信に応じて、前記検知対象画像に対して特徴抽出処理を実行して第２の特徴データセットを取得するステップｃと、
前記ストレージユニットにアクセスして前記第１の特徴データセットを取得すると共に、前記第１の特徴データセットと前記第２の特徴データセットに基づいて、前記検知対象画像について類似性判定処理を実行することにより、前記検知対象画像が前記ターゲットオブジェクトの少なくとも１つのインスタンスを含むか否かを判定するステップｄと、
前記検知対象画像が前記ターゲットオブジェクトの少なくとも１つのインスタンスを含むと判定される場合、前記検知対象画像における前記ターゲットオブジェクトのインスタンスの数量を計算するステップｅと、を含む。

【0006】

本開示の他の１つの目的は、上記方法を実行するために構成される電子装置を提供する。

【0007】

本開示の１つの実施例に基づいて、上記オブジェクトを検知するための電子装置は、
いずれも同一のターゲットオブジェクトに関連すると共に前記ターゲットオブジェクトのインスタンスを含む複数のレファレンス画像を保存するストレージユニットと、
前記レファレンス画像に対して特徴抽出処理を実行して前記ターゲットオブジェクトに関連する複数の識別用特徴を取得する第１の特徴抽出モジュールと、
前記複数の識別用特徴から数量が前記複数の識別用特徴の数量より少ない複数の選出識別用特徴を選出することで、前記ターゲットオブジェクトに関連すると共に前記ストレージユニットに保存される第１の特徴データセットを取得する分類モジュールと、
検知対象画像の受信に応じて前記検知対象画像に対して特徴抽出処理を実行して第２の特徴データセットを取得する第２の特徴抽出モジュールと、
前記ストレージユニットにアクセスして前記第１の特徴データセットを取得し、且つ、前記第２の特徴抽出モジュールから前記第２の特徴データセットを受信し、前記第１の特徴データセットと前記第２の特徴データセットに基づいて、前記検知対象画像について類似性判定処理を実行することにより、前記検知対象画像が前記ターゲットオブジェクトの少なくとも１つのインスタンスを含むか否かを判定する類似性判定モジュールと、
前記検知対象画像が前記ターゲットオブジェクトの少なくとも１つのインスタンスを含む場合、前記検知対象画像における前記ターゲットオブジェクトのインスタンスの数量を計算する計算モジュールと、を備える。

【0008】

本開示の他の１つの目的は、プロセッサに上記方法を実施させる指令を含むコンピュータが読み込み可能な非一時的ストレージ媒体を提供する。

【図面の簡単な説明】

【0009】

本開示の他の特徴および利点は、添付の図面を参照した以下の実施形態の詳細な説明から明らかになるであろう。さまざまな特徴が正確な縮尺で描かれていない場合があることに留意されたい。

【図1】図１は画像におけるターゲットオブジェクトのインスタンスの数量を検知する従来のプロセスが示される模式図である。

【図2】図２は本開示の１つの実施例に基づくオブジェクト検出のための方法の各ステップが示されるフローチャートである。

【図3】図３は本開示の１つの実施例に基づくオブジェクト検出に用いられる例示的な電子装置の構成が示されるブロック図である。

【図4】図４には複数のレファレンス画像の取得に用いられるソース画像が示されている。

【図5】図５にはターゲットオブジェクトに関連する第１の特徴データセットを取得するステップに含まれる例示的な処理の流れが示される。

【図6】図６には本開示の１つの実施例に基づく検知プロセスに含まれる例示的な処理の流れが示される。

【発明を実施するための形態】

【0010】

本開示についてより詳しく説明する前に、適切と考えられる場合、参照符号もしくは参照符号の末尾部分が、対応するまたは類似の要素を示すために図面間で繰り返され、これらは類似する特徴を選択的に有する可能性があることに留意されたい。

【0011】

本開示全体を通して、「に結合される」または「に接続される」という用語は、導電性材料（例えば、電線）を介した複数の電気装置／デバイス／機器間の直接接続、もしくは他の１つ以上の装置／デバイス／機器または無線通信を介した２つの電気装置／デバイス／機器間の間接接続を指す場合がある。

【0012】

図２は本開示の１つの実施例のオブジェクト検出のための方法の各ステップが示されるフローチャートである。この実施例において、この方法は電子装置を使用して実行される。

【0013】

図３は本開示の１つの実施例においてオブジェクト検出に用いられる電子装置１の構成例が示されるブロック図である。この実施例において、電子装置１として例えばサーバー、コンピュータ、ノートパソコン、タブレット、モバイル装置などが挙げられ、ストレージユニット１１と、プロセッサ１２と、コミュニケーションユニット１３とを有する。

【0014】

ストレージユニット１１としては例えばランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、プログラマブルＲＯＭ（ＰＲＯＭ）、ファームウェア、もしくはフラッシュメモリなどを用いて実施することができる。このストレージユニット１１にソフトウエアアプリケーションと複数のレファレンス画像Ｐ１とが保存される。

【0015】

プロセッサ１２はストレージユニット１１に接続され、且つ、シングルコアプロセッサと、マルチコアプロセッサと、デュアルコアモバイルプロセッサと、マイクロプロセッサと、マイクロコントローラーと、デジタルシグナルプロセッサ（ＤＳＰ）と、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）と、特定用途向け集積回路（ＡＳＩＣ）と、無線周波数集積回路（ＲＦＩＣ）などを含むことが可能であるがこれらに限らない。上記ソフトウエアアプリケーションに、プロセッサ１２により実行される際、プロセッサ１２に下記の処理を実施させる指令が含まれている。図３に示される実施例において、上記ソフトウエアアプリケーションにおける異なる部分を実行するプロセッサ１２は、分類モジュール１２１と、第１の特徴抽出モジュール１２２と、第２の特徴抽出モジュール１２３と、類似性判定モジュール１２４と、計算モジュール１２５とを含む様々なモジュールとして稼働することができる。

【0016】

なお、他の実施例において、プロセッサ１２に含まれるモジュールは、一つもしくは複数の特定用途向け集積回路（ＡＳＩＣ）チップ、一つもしくは複数のプログラマブルロジックデバイス（ＰＬＤＳ）、あるいは、ファームウェアがそれぞれ組み込まれている一つもしくは複数のマイクロコントローラーを用いて実施することができる。プロセッサ１２に含まれる各モジュールは、関連の処理を実行するようにニューラルネットワークモデルにより構成されることができる。例えば、一部の実施例において、第１の特徴抽出モジュール１２２と第２の特徴抽出モジュール１２３とはいずれもＹＯＬＯ（You Only Look Once）ニューラルネットワークモデルを用いて実施することが可能であり、畳み込みニューラルネットワーク（ＣＮＮ）構造をバックボーンとして使用する。この第１の特徴抽出モジュール１２２を構成するＹＯＬＯニューラルネットワークモデルの構造（レイヤー、ニューロン、そして関連のパラメータ）は、第２の特徴抽出モジュール１２３を構成するそれと類似もしくは同一であることができ、従って一部の実施例においては第１の特徴抽出モジュール１２２と第２の特徴抽出モジュール１２３とは、２つの同一のモジュールを用いて実施されることができる。なお、異なる応用において、第１の特徴抽出モジュール１２２と第２の特徴抽出モジュール１２３とは異なる構造を有する異なるニューラルネットワークを含むことができる。

【0017】

コミュニケーションユニット１３はプロセッサ１２に接続され、且つ、無線周波数集積回路（ＲＦＩＣ）、ブルートゥース（登録商標）やＷｉ－Ｆｉなどの無線技術を用いて短距離無線コミュニケーションネットワークをサポートする短距離無線コミュニケーションモジュール、ロング・ターム・エヴォリューション（ＬＴＥ）や第３世代（３Ｇ）や第４世代（４Ｇ）や第５世代（Ｇ）といった無線モバイル遠距離電気通信技術技術を用いて遠距離電気通信をサポートするモバイルコミュニケーションモジュール、またはこれらに類似するものとにおける１つもしくは１つ以上を含むことができる。

【0018】

複数のレファレンス画像Ｐ１はいずれも同一のターゲットオブジェクトに関連する。ソース画像（Ａ）にイチゴだけが含まれている図４に示される例において、ターゲットオブジェクトはイチゴである。しかし本開示はこのような例に限られない。この実施例において、複数のレファレンス画像Ｐ１はプロセッサ１２によって（予めにストレージ手段１１に保存され、あるいはコミュニケーションユニット１３によって取得された）ソース画像（Ａ）から予めに取得されることができる。具体的に言うと、ソース画像（Ａ）における複数の異なるエリアはいずれも前記ターゲットオブジェクトの１つの認識可能なインスタンスが含まれるため、これを特定しクロップアウトしてレファレンス画像Ｐ１とすることができる。一部の実施例において、ターゲットオブジェクトは人手により特定されるが、他の一部の実施例においては、ターゲットオブジェクトはオブジェクトを特定するアルゴリズムによって自動的に特定され、そして人手による特定結果と異なる可能性がある。

【0019】

一部の実施例においては、上記方法が実行される前に、プロセッサ１２が１つもしくは１つ以上のレファレンス画像Ｐ１に対してデータ拡大処理を実行することによって、少なくとも１つの拡大画像を生成して追加のレファレンス画像Ｐ１とする。このデータ拡大処理は、反転処理（垂直もしくは水平）と、回転処理と、クロップ処理と、サイズ変更処理（拡大もしくは縮小）との１つまたは1つ以上の処理を含み得る。ちなみに、このデータ拡大処理は関連の技術分野において周知されているので、簡潔性の観点から詳しい説明を省略する。

【0020】

使用に際しては、検知オブジェクト画像Ｐ３に対してオブジェクト検知処理を実行してターゲットオブジェクトのインスタンスとして認識される検知オブジェクト画像Ｐ３に含まれるターゲットオブジェクトの数量を判定することが求められる際、図３に示される電子装置１を用いて図２に示される方法を実行することが考えられる。

【0021】

ステップＳ１では、プロセッサ１２は複数のレファレンス画像Ｐ１から複数の識別用特徴を抽出する。一部の実施例において、各識別用特徴はそれぞれ前記ターゲットオブジェクトの１つの独自の外観関連特徴（例えば形状、材質など）に関連するが、これに限られない。

【0022】

具体的に言うと、これらレファレンス画像Ｐ１はプロセッサ１２の第１の特徴抽出モジュール１２２に入力される。これに応じて、第１の特徴抽出モジュール１２２はレファレンス画像Ｐ１に対して特徴抽出処理を実行して複数の識別用特徴を出力する。これらの識別用特徴は次の処理のために分類モジュール１２１に転送される。

【0023】

ステップＳ２では、分類モジュール１２１はこれら識別用特徴の受信に応じて、第１の特徴抽出モジュール１２２から受信した識別用特徴から複数の選出識別用特徴Ｐ２を選出する分類処理を実行して、これらの選出識別用特徴を用いて第１の特徴データセットを生成するように構成される。なお、選出識別用特徴Ｐ２の数は識別用特徴の数より少ない。

【0024】

具体的には、一部の実施例において、第１の特徴抽出モジュール１２２は、各識別用特徴のそれぞれについて、その識別用特徴が関連する前記ターゲットオブジェクトのインスタンスの外観関連特徴に基づいて、その識別用特徴を複数のグループにおける１つに割り当てるように構成される。各グループは前記ターゲットオブジェクトが有する１つの外観関連特徴に関連することができるが、これに限られない。分類モジュール１２１は、各識別用特徴について、その識別用特徴に基づいて前記ターゲットオブジェクトのインスタンスの外観関連特徴を判定して、このように判定された外観関連特徴に基づいてその識別用特徴を１つのグループに割り当てるように構成される。したがって、同一のグループに振り分けられる識別用特徴により示される前記ターゲットオブジェクトのインスタンスは、いずれも類似する外観を有する。なお、この分類処理は関連の技術分野において周知されているので、簡潔性の観点から詳しい説明を省略する。

【0025】

次いで、分類モジュール１２１は各グループから１つの識別用特徴を選択して選出識別用特徴Ｐ２とするように構成される。従って、複数の選出識別用特徴Ｐ２は複数のグループからそれぞれ選出される。このため、その後の処理は、レファレンス画像Ｐ１から抽出されたすべての識別用特徴の代わりに、選出識別用特徴Ｐ２に対して行われることができ、したがってこの方法においては、レファレンス画像Ｐ１に含まれる情報の多様性を犠牲にすることなく、必要とされる計算の数を減らせることができる。結果として、各選出識別用特徴Ｐ２はターゲットオブジェクトの異なる外観関連特徴にそれぞれ関連する。言い換えれば、各レファレンス画像Ｐ１において、各選出識別用特徴Ｐ２における１つにより示されるターゲットオブジェクトのそれと同一の外観関連特徴を示す識別用特徴は破棄されるため、選出識別用特徴Ｐ２の数は第１の特徴抽出モジュール１２２により抽出される識別用特徴の数より少なくなる。なお、他の実施例においては、異なる方法で選出識別用特徴Ｐ２を選出することができるため、上記に限られない。分類モジュール１２１により取得される選出識別用特徴Ｐ２は、ストレージユニット１１に保存される第１の特徴データセットを構成する。

【0026】

図５にステップＳ１及びステップＳ２に含まれる処理の例示的なフローチャートが示される。一部の実施例において、第１の特徴データセットの中身には、選出識別用特徴Ｐ２に示される前記ターゲットオブジェクトの多くのインスタンスの例えば外観関連特徴（例えば形状、材質など）が含まれることができる。従って、レファレンス画像Ｐ１からのデータの情報の多様性を損なうことなく第１の特徴データセットのサイズを削減することができる。

【0027】

更に、図６に示されるように、第１の特徴データセットが生成されて保存された後、ストレージ手段１１からもしくはネットワーク（例えばインターネット）を経由してリモート装置から取得した検知対象画像Ｐ３は第２の特徴抽出モジュール１２３に入力される。プロセッサ１２は、検知対象画像Ｐ３の受信に応じて、ステップＳ３からＳ５を含む検知プロセスを実行するように構成される。
具体的には、ステップＳ３において、検知対象画像Ｐ３において検出された各オブジェクト（以下、「検出されたオブジェクト」と称す）について、第２の特徴抽出モジュール１２３はそのオブジェクトに対して特徴抽出処理を実行してその検出されたオブジェクトに関連する第２の特徴データセットを取得してから、取得した第２の特徴データセットを類似性判定モジュール１２４に転送する。

【0028】

ステップＳ４において、類似性判定モジュール１２４はストレージユニット１１にアクセスして第１の特徴データセットを取得し、第１の特徴データセットと第２の特徴データセットとに基づいて検知対象画像Ｐ３に対する類似性判定処理を実行することで、検知対象画像Ｐ３にターゲットオブジェクトの少なくとも１つのインスタンスが含まれるかを判定する。具体的に言うと、この類似性判定処理は、第１の特徴データセットに含まれる各選出識別用特徴（例えば、それぞれターゲットオブジェクトの独自の外観関連特徴を表現する）に対して、第２の特徴データセットにより表現されるオブジェクト（例えば、検知対象画像Ｐ３に含まれる１つの検出されたオブジェクト）と、第１の特徴データセットにより表現されるオブジェクトとの間の類似性スコアを計算する。なお、この類似性スコアを計算する処理は、関連の技術分野において周知されているので、簡潔性の観点から詳しい説明を省略する。

【0029】

所定の閾値を超えた類似性スコアが取得された場合、類似性判定モジュール１２４は、検知対象画像Ｐ３に含まれるオブジェクトは前記ターゲットオブジェクトのインスタンスであると判定する。

【0030】

実践的には、類似性判定モジュール１２４は一つもしくは複数の検出されたオブジェクトを前記ターゲットオブジェクトのインスタンスとして判定することができる（以下ではこれらの検出されたオブジェクトを特定されたオブジェクトと称する）。

【0031】

一部の実施例においては、類似性判定処理の前に、類似性判定モジュール１２４はまず第２の特徴データセットに対してノーマライゼーション処理を実行する。これは異なる検知オブジェクト画像は異なるサイズを有する可能性があるためであり、よって第１の特徴データセットと比較される第２の特徴データセットはノーマライズされる。

【0032】

一部の実施例において、類似性判定モジュール１２４は更に検知対象画像Ｐ３における各特定されたオブジェクトに対してマークを付けてマーク付けされた画像Ｐ４を生成するように構成される。一部の実施例において、このマークは比較的に明るい色を有するドットであることができる。

【0033】

一方、所定の閾値を超えた類似性スコアが判定されなかった場合、検知対象画像Ｐ３に前記オブジェクトのインスタンスが含まれていない（すなわち、検知対象画像Ｐ３における検出されたオブジェクトはいずれも前記ターゲットオブジェクトではない）と推定でき、そして類似性判定モジュール１２４はターゲットオブジェクトが検出されなかったことを示す信号を出力することができる。なお、ターゲットオブジェクトが検出されなかった場合、この方法は即時終了される。

【0034】

もしそうでなく、検知対象画像Ｐ３における少なくとも１つの検出されたオブジェクトが前記ターゲットオブジェクトのインスタンスと判定された場合、検知対象画像Ｐ３に基づいてマーク付けされた画像Ｐ４が生成されて計算モジュール１２５に転送される。

【0035】

ステップＳ５において、計算モジュール１２５はマーク付けされた画像Ｐ４に基づいて検知対象画像Ｐ３における特定されたオブジェクトの数量を計算し（すなわち、検知対象画像Ｐ３における前記ターゲットオブジェクトのインスタンスの数量を計算する）、そして結果を出力する。具体的には、計算モジュール１２５はピーク検出アルゴリズム（例えば、「peak_local_max」関数機能）を含むことができ、マーク付けされた画像Ｐ４に適用してマーク付けされた画像Ｐ４において類似性判定モジュール１２４により付けられたマークを特定する。このように、計算モジュール１２５は、検知対象画像Ｐ３における特定されたオブジェクトの数と同じとなるマーク付けされた画像Ｐ４において見つけられたマークの数を記録するように構成される。それから、検知対象画像Ｐ３における特定されたオブジェクトの数が、検知対象画像Ｐ３におけるターゲットオブジェクトのインスタンスの数量の結果として記録されまたは出力されることができ、そして上記方法は完了される。

【0036】

なお、この実施例において、検知対象画像Ｐ３における特定されたオブジェクトの数量の計算は、まずマーク付けされた画像Ｐ４を生成してからマーク付けされた画像Ｐ４に対して処理を行うことで特定されたオブジェクトの数量を集計することになっているが、他の実施例においては、特定されたオブジェクトの数量の集計は、他の方法で行うことも可能であり（例えば、ヒートマップを使用する）、上記実施例に限定されない。

【0037】

なお、上記方法は従来のプロセスと比べて以下の利点を有し得る。まず、プロセッサ１２はレファレンス画像Ｐ１からプロセッサ１２により抽出された複数の識別用特徴から複数の選出識別用特徴Ｐ２を選出するように構成され、且つこの選出は選出識別用特徴Ｐ２の数がプロセッサ１２により抽出される識別用特徴より少なく、そして選出識別用特徴Ｐ２がなおターゲットオブジェクトの多様なインスタンスを保持するように行われるので、比較的に少ない画像に対して処理を行うことができ、効率を高めることができると共に、第１の特徴データセットに含まれるその後の処理に使われる情報の多様性を犠牲にしなくて済む。更に、ターゲットオブジェクトに関連する第１の特徴データセットを取得した後、第１の特徴データセットはデータストレージ１１に保存され、ある画像に対して同一のオブジェクトを検知する処理を行いたい時にアクセスすることができる。言い換えれば、同一のターゲットオブジェクトに対する上記方法が後に実行される場合は、ステップＳ１とＳ２を省略することができ、実行される必要があるのは検知プロセスにおけるＳ３～Ｓ５のみである。従って、その後の同一のターゲットオブジェクトに対する上記方法が後に実行される場合、計算は大幅に縮減することができる。

【0038】

一部の実施例において、上記方法の１回の実行が完成した後に、（第１の特徴データセットに追加情報を提供するために）前記ターゲットオブジェクトの追加の画像をレファレンス画像Ｐ１として提供したい場合、ステップＳ１とＳ２の処理もしくはステップＳ１とＳ２に類似する処理が、（一つもしくは複数の追加レファレンス画像Ｐ１としての）一つもしくは複数の追加の画像を受信した後に実行されることで、第１の特徴データセットをアップデートし、そしてアップデートされた第１の特徴データセットをストレージユニット１１に保存することができる。すなわち、第１の特徴抽出モジュール１２２は該追加されたレファレンス画像に対して特徴抽出処理を実行することで他の識別用特徴を取得し、そして分類モジュール１２１はこの（他の識別用特徴として選出され得るあるいは選出されない）他の識別用特徴に基づいて第１の特徴データセットをアップデートしてアップデートされた第１の特徴データセットをストレージユニット１１に保存することができる。

【0039】

一部の実施例において、この追加の画像は計算モジュール１２５により検知対象画像Ｐ３からクロップされた画像であることができ、各追加の画像は前記ターゲットオブジェクトの一つの認識可能なインスタンスを含む。例えば、上記方法を１回実行した後、検知対象画像Ｐ３は人手による検査により、それぞれ前記ターゲットオブジェクトの一つの認識可能なインスタンスを含む複数のクロップされた画像がクロップにより取得される。あるいは、プロセッサ１２は類似性スコアが所定の閾値を超えたオブジェクトを含む検知対象画像Ｐ３の一部をクロップしてクロップされた画像を取得するように構成されることができる。

【0040】

以上をまとめると、本開示の実施例は、オブジェクトの検知を実行する方法及び電子装置を提供する。この方法において、いずれもターゲットオブジェクトの認識可能なインスタンスを含む複数のレファレンス画像が処理され、各レファレンス画像は該レファレンス画像に含まれる前記ターゲットオブジェクトのインスタンスの外観関連特徴に基づいて１つのグループに割り当てられる。それから、レファレンス画像から複数の選出された画像が選出されることで、選出された画像に含まれる前記ターゲットオブジェクトのインスタンスの外観関連特徴の多様性を確保すると共に、選出された画像の数がレファレンス画像の数より少ない。それから、選出された画像を処理することにより第１の特徴データセットが取得され、この第１の特徴データセットはターゲットオブジェクトに関連し、且つ、ある検知対象画像に対して処理を行うことで該検知対象画像における前記ターゲットオブジェクトのインスタンスの数量を判定したい時に使用される。従って、前記ターゲットオブジェクトに関連する第１の特徴データセットを取得する処理は、少ない画像に対する処理によって達成されることができるため、処理されるデータの多様性を損なうことなく処理の効率を向上させることができる。一部の場合においては、処理される画像の数が減るので、特徴の抽出に用いられるニューラルネットワークモデルの構造は、各選出された画像からより多くの特徴を抽出できるように変更されることができるようになり、従って最終的にはオブジェクトを検出する精度を向上させることができる。

【0041】

この開示の１つの実施例によれば、上記オブジェクトを検知する方法を実行するコンピュータが読み込み可能な非一時的ストレージ媒体を提供する。このコンピュータが読み込み可能な非一時的ストレージ媒体には、電子装置のプロセッサにより実行されると、プロセッサに図２の方法の各ステップに書かれている処理を実施させる指令を含むソフトウエアアプリケーションが保存される。一部の実施例において、このコンピュータが読み込み可能な非一時的ストレージ媒体は電子装置１におけるデータストレージ１１に類似する形であることができる。

【0042】

上記の説明では、説明のために、実施形態の完全な理解を提供するために、多数の特定の詳細が設定されている。しかしながら、当業者には、これらの具体的な詳細のいくつかがなくても、1つまたは複数の他の実施形態が実践され得ることが明らかであろう。また、本明細書全体を通して、「一実施形態」、「一実施形態」、序数の表示を伴う実施形態等への言及は、特定の特徴、構造、または特性が、本開示の実施に含まれ得ることを意味することを理解すべきである。本明細書では、本開示を合理化し、様々な発明的側面の理解を助ける目的で、様々な特徴が単一の実施形態、図、またはその説明にまとめられていることがあり、1つの実施形態からの1つまたは複数の特徴または特定の詳細が、本開示の実施において、必要に応じて別の実施形態からの1つまたは複数の特徴または特定の詳細とともに実施され得ることをさらに理解すべきである。

【0043】

本開示は、例示的な実施形態と考えられるものに関連して説明されてきたが、本開示は、開示された実施形態に限定されるものではなく、そのような修正および同等の配置をすべて包含するように最も広い解釈の精神および範囲内に含まれる種々の配置を網羅することが意図されていることが理解される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】