特許7093427 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

青山学院大学 (神奈川県相模原市中央区淵野辺)

▶ 北京市商▲湯▼科技▲開▼▲發▼有限公司の特許一覧

特許7093427オブジェクト追跡方法および装置、電子設備並びに記憶媒体

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4A
4B
4C
4D
4E
5
6
7

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-06-21

(45)【発行日】2022-06-29

(54)【発明の名称】オブジェクト追跡方法および装置、電子設備並びに記憶媒体

(51)【国際特許分類】

G06T 7/246 20170101AFI20220622BHJP

G06T 7/00 20170101ALI20220622BHJP

H04N 7/18 20060101ALI20220622BHJP

【ＦＩ】

G06T7/246

G06T7/00 350C

H04N7/18 G

H04N7/18 K

【請求項の数】 17

(21)【出願番号】P 2020567591

(86)(22)【出願日】2019-08-02

(65)【公表番号】

(43)【公表日】2021-09-30

(86)【国際出願番号】 CN2019099001

(87)【国際公開番号】W WO2020029874

(87)【国際公開日】2020-02-13

【審査請求日】2020-12-03

(31)【優先権主張番号】201810893022.3

(32)【優先日】2018-08-07

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】520291939

【氏名又は名称】北京市商▲湯▼科技▲開▼▲發▼有限公司

【氏名又は名称原語表記】ＢＥＩＪＩＮＧＳＥＮＳＥＴＩＭＥＴＥＣＨＮＯＬＯＧＹＤＥＶＥＬＯＰＭＥＮＴＣＯ．，ＬＴＤ．

【住所又は居所原語表記】Ｒｏｏｍ１１０１－１１１７，１１ｔｈＦｌｏｏｒＮｏ．５８Ｎｏｒｔｈｗｅｓｔ４ｔｈＲｉｎｇＲｏａｄ，ＨａｉｄｉａｎＤｉｓｔｒｉｃｔＢｅｉｊｉｎｇ１０００８０Ｃｈｉｎａ

(74)【代理人】

【識別番号】110000729

【氏名又は名称】特許業務法人ユニアス国際特許事務所

(72)【発明者】

【氏名】王 ▲強▼

(72)【発明者】

【氏名】朱政

(72)【発明者】

【氏名】李搏

(72)【発明者】

【氏名】武 ▲偉▼

【審査官】真木健彦

(56)【参考文献】

【文献】特開２００２－３４２７６２（ＪＰ，Ａ）

【文献】特開２００６－１７２０２３（ＪＰ，Ａ）

【文献】特開２００６－３３１３４７（ＪＰ，Ａ）

【文献】特開２０１３－０１２９４０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ７／２４６

Ｇ０６Ｔ７／００

Ｇ０６Ｔ１／００

Ｈ０４Ｎ７／１８

(57)【特許請求の範囲】

【請求項1】

オブジェクト追跡方法であって、
ビデオ中の参考フレーム画像における目標オブジェクトに基づいて、前記ビデオ中の現在フレーム画像における少なくとも１つの候補オブジェクトを検出することと、
予め設定された干渉オブジェクトセットに基づいて、前記ビデオ中の少なくとも１つの前のフレーム画像における干渉オブジェクトを取得することと、
取得された干渉オブジェクトに基づいて、前記少なくとも１つの候補オブジェクトの選別情報を調整することと、
前記現在フレーム画像における目標オブジェクトとして、選別情報が所定の条件を満たす候補オブジェクトを確定することと、を含み、
前記方法は、
前記現在フレーム画像における干渉オブジェクトとして、前記少なくとも１つの候補オブジェクトのうちの目標オブジェクトに確定されなかった１つまたは複数の候補オブジェクトを確定して、前記干渉オブジェクトセットに入れることをさらに含む
ことを特徴とするオブジェクト追跡方法である。

【請求項2】

前記ビデオ中の前記現在フレーム画像は、前記参考フレーム画像の後に位置しており、
前記前のフレーム画像は、前記参考フレーム画像、及び／又は、前記参考フレーム画像と前記現在フレーム画像との間に位置する少なくとも１つの中間フレーム画像を含む
ことを特徴とする請求項１に記載の前記オブジェクト追跡方法。

【請求項3】

前記取得された干渉オブジェクトに基づいて前記少なくとも１つの候補オブジェクトの選別情報を調整することは、
前記少なくとも１つの候補オブジェクトと取得された干渉オブジェクトとの間の第１類似度を確定することと、
前記第１類似度に基づいて、前記少なくとも１つの候補オブジェクトの選別情報を調整することと、を含み、
前記少なくとも１つの候補オブジェクトと取得された干渉オブジェクトとの間の第１類似度を確定することは、
前記少なくとも１つの候補オブジェクトの特徴および取得された干渉オブジェクトの特徴に基づいて、前記第１類似度を確定することを含む
ことを特徴とする請求項１乃至２のいずれか１項に記載の前記オブジェクト追跡方法。

【請求項4】

前記ビデオ中の前記参考フレーム画像と前記現在フレーム画像との間の少なくとも１つの中間フレーム画像における目標オブジェクトを取得することと、
前記少なくとも１つの中間フレーム画像における目標オブジェクトに基づいて、前記少なくとも１つの候補オブジェクトの選別情報を最適化することと、をさらに含む
ことを特徴とする請求項１ないし３のいずれか１項に記載の前記オブジェクト追跡方法。

【請求項5】

前記少なくとも１つの中間フレーム画像における目標オブジェクトに基づいて前記少なくとも１つの候補オブジェクトの選別情報を最適化することは、
前記少なくとも１つの候補オブジェクトと前記少なくとも１つの中間フレーム画像における目標オブジェクトとの間の第２類似度を確定することと、
前記第２類似度に基づいて、前記少なくとも１つの候補オブジェクトの選別情報を最適化することと、を含む
ことを特徴とする請求項４に記載の前記オブジェクト追跡方法。

【請求項6】

前記少なくとも１つの候補オブジェクトと前記少なくとも１つの中間フレーム画像における目標オブジェクトとの間の第２類似度を確定することは、
前記少なくとも１つの候補オブジェクトの特徴および前記少なくとも１つの中間フレーム画像における目標オブジェクトの特徴に基づいて、前記第２類似度を確定することを含む
ことを特徴とする請求項５に記載の前記オブジェクト追跡方法。

【請求項7】

ビデオ中の参考フレーム画像における目標オブジェクトに基づいて前記ビデオ中の現在フレーム画像における少なくとも１つの候補オブジェクトを検出することは、
前記参考フレーム画像における目標オブジェクトの画像と前記現在フレーム画像との相関性を確定することと、
前記相関性に基づいて、前記現在フレーム画像における少なくとも１つの候補オブジェクトの検出枠および前記選別情報を取得することと、を含み、
前記参考フレーム画像における目標オブジェクトの画像と前記現在フレーム画像との相関性を確定することは、
前記参考フレーム画像における目標オブジェクトの画像の第１特徴および前記現在フレーム画像の第２特徴に基づいて、前記相関性を確定することを含む
ことを特徴とする請求項１ないし６のいずれか１項に記載の前記オブジェクト追跡方法。

【請求項8】

前記現在フレーム画像における目標オブジェクトとして選別情報が所定の条件を満たす候補オブジェクトを確定することは、
前記現在フレーム画像の目標オブジェクトの検出枠として、選別情報が所定の条件を満たす候補オブジェクトの検出枠を確定することを含み、
前記現在フレーム画像の目標オブジェクトの検出枠として選別情報が所定の条件を満たす候補オブジェクトの検出枠を確定することの後に、
前記現在フレーム画像において前記目標オブジェクトの検出枠を表示することをさらに含む
ことを特徴とする請求項７に記載の前記オブジェクト追跡方法。

【請求項9】

ビデオ中の参考フレーム画像における目標オブジェクトに基づいて前記ビデオ中の現在フレーム画像における少なくとも１つの候補オブジェクトを検出することの前に、
前記現在フレーム画像における検索領域を取得することをさらに含み、
前記ビデオ中の参考フレーム画像における目標オブジェクトに基づいて、前記ビデオ中の現在フレーム画像における少なくとも１つの候補オブジェクトを検出することは、
前記現在フレーム画像における検索領域において、ビデオ中の参考フレーム画像における目標オブジェクトに基づいて、前記ビデオ中の現在フレーム画像における少なくとも１つの候補オブジェクトを検出することを含む
ことを特徴とする請求項１ないし８のいずれか１項に記載の前記オブジェクト追跡方法。

【請求項10】

現在フレーム画像の目標オブジェクトとして前記選別情報が所定の条件を満たす候補オブジェクトを確定することの後に、
前記現在フレーム画像における目標オブジェクトの選別情報に基づいて、前記ビデオ中の前記現在フレーム画像の次の１フレーム画像における検索領域を確定することをさらに含む
ことを特徴とする請求項１ないし９のいずれか１項に記載の前記オブジェクト追跡方法。

【請求項11】

前記現在フレーム画像における目標オブジェクトの選別情報に基づいて前記ビデオ中の前記現在フレーム画像の次の１フレーム画像における検索領域を確定することは、
前記目標オブジェクトの選別情報が第１所定閾値未満であるか否かを検出することと、
前記目標オブジェクトの選別情報が第１所定閾値未満である場合、予め設定されたステップ幅に基づいて、前記検索領域を、前記検索領域が前記現在フレーム画像を覆うまで次第に拡張し、前記拡張された検索領域を前記現在フレーム画像の次の１フレーム画像における検索領域とすること、及び／又は、
前記目標オブジェクトの選別情報が第１所定閾値以上である場合、前記ビデオ中の前記現在フレーム画像の次の１フレーム画像を現在フレーム画像として、前記現在フレーム画像における検索領域を取得することと、を含む
ことを特徴とする請求項１０に記載の前記オブジェクト追跡方法。

【請求項12】

予め設定されたステップ幅に基づいて前記検索領域を前記検索領域が前記現在フレーム画像を覆うまで次第に拡張することの後に、
前記ビデオ中の前記現在フレーム画像の次の１フレーム画像を現在フレーム画像とすることと、
前記拡張された検索領域において当該現在フレーム画像の目標オブジェクトを確定することと、
前記目標オブジェクトの選別情報が、前記第１所定閾値よりも大きい第２所定閾値より大きいか否かを検出することと、
前記目標オブジェクトの選別情報が第２所定閾値より大きい場合、当該現在フレーム画像における検索領域を取得すること、及び／又は、
前記目標オブジェクトの選別情報が第２所定閾値以下である場合、前記ビデオ中の前記現在フレーム画像の次の１フレーム画像を現在フレーム画像として、当該現在フレーム画像における検索領域として前記拡張された検索領域を取得することと、をさらに含む
ことを特徴とする請求項１１に記載の前記オブジェクト追跡方法。

【請求項13】

現在フレーム画像の目標オブジェクトとして前記選別情報が所定の条件を満たす候補オブジェクトを確定することの後に、
前記現在フレーム画像における目標オブジェクトの種類を認識することをさらに含む
ことを特徴とする請求項１ないし１２のいずれか１項に記載の前記オブジェクト追跡方法。

【請求項14】

オブジェクト追跡装置であって、
ビデオ中の参考フレーム画像における目標オブジェクトに基づいて、前記ビデオ中の現在フレーム画像における少なくとも１つの候補オブジェクトを検出するための検出ユニットと、
予め設定された干渉オブジェクトセットに基づいて、前記ビデオ中の少なくとも１つの前のフレーム画像における干渉オブジェクトを取得するための取得ユニットと、
取得された干渉オブジェクトに基づいて、前記少なくとも１つの候補オブジェクトの選別情報を調整するための調整ユニットと、
前記現在フレーム画像の目標オブジェクトとして、選別情報が所定の条件を満たす候補オブジェクトを確定するための確定ユニットと、を備え、
前記取得ユニットは、さらに、
前記現在フレーム画像における干渉オブジェクトとして、前記少なくとも１つの候補オブジェクトのうちの目標オブジェクトに確定されなかった１つまたは複数の候補オブジェクトを確定して、前記干渉オブジェクトセットに入れる
ことを特徴とするオブジェクト追跡装置である。

【請求項15】

電子設備であって、
実行可能命令を記憶するメモリと、
前記実行可能命令を実行して、請求項１ないし１３のいずれかの前記方法を実現するためのプロセッサとを含む
ことを特徴とする前記電子設備。

【請求項16】

コンピュータ可読命令を記憶するコンピュータ記憶媒体であって、
前記命令が実行されて、請求項１ないし１３のいずれかの前記方法が実現される
ことを特徴とする前記コンピュータ記憶媒体。

【請求項17】

コンピュータ可読コードを含むコンピュータプログラムであって、
前記コンピュータ可読コードが設備によって実行されて、請求項１ないし１３のいずれかの前記方法を実現するための命令が前記設備におけるプロセッサによって実行される
ことを特徴とする前記コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、コンピュータビジョン技術に関し、特に、オブジェクト追跡方法および装置、電子設備並びに記憶媒体に関する。

【0002】

＜関連出願の相互引用＞
本発明は、２０１８年０８月０７日に中国専利局に提出した中国特許出願号が第ＣＮ２０１８１０８９３０２２．３号であり、発明の名称が「オブジェクト追跡方法および装置、電子設備並びに記憶媒体」の優先権を主張するものであり、当該出願の内容を全て取り込んで本文に結合させる。

【背景技術】

【0003】

目標追跡は、コンピュータビジョンの分野においてよく検討される技術であり、多くの分野で幅広い用途がある。例えば、カメラにおける追跡焦点合わせ、ドローンにおける目標自動追跡、人体の追跡、交通監視システムにおける車両追跡、顔の追跡、インテリジェントなインタラクティブシステムにおけるジェスチャー追跡などが挙げられる。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明の実施例は、オブジェクト追跡技術を提供する。

【課題を解決するための手段】

【0005】

本発明の実施例の一態様によると、オブジェクト追跡方法を提供し、上記オブジェクト追跡方法は、ビデオ中の参考フレーム画像における目標オブジェクトに基づいて、前記ビデオ中の現在フレーム画像における少なくとも１つの候補オブジェクトを検出することと、前記ビデオ中の少なくとも１つの前のフレーム画像における干渉オブジェクトを取得することと、取得された干渉オブジェクトに基づいて、前記少なくとも１つの候補オブジェクトの選別情報を調整することと、前記現在フレーム画像における目標オブジェクトとして、選別情報が所定の条件を満たす候補オブジェクトを確定することと、含む。

【0006】

本発明の実施例の他の一態様によると、オブジェクト追跡装置を提供し、上記オブジェクト追跡装置は、ビデオ中の参考フレーム画像における目標オブジェクトに基づいて、前記ビデオ中の現在フレーム画像における少なくとも１つの候補オブジェクトを検出するための検出ユニットと、前記ビデオ中の少なくとも１つの前のフレーム画像における干渉オブジェクトを取得するための取得ユニットと、取得された干渉オブジェクトに基づいて、前記少なくとも１つの候補オブジェクトの選別情報を調整するための調整ユニットと、前記現在フレーム画像の目標オブジェクトとして、選別情報が所定の条件を満たす候補オブジェクトを確定するための確定ユニットと、を備える。

【0007】

本発明の実施例の他の一態様によると、上記の実施例のいずれかの前記装置を備える電子設備を提供する。

【0008】

本発明の実施例の他の一態様によると、電子設備を提供し、上記電子設備は、実行可能命令を記憶するためのメモリと、前記実行可能命令を実行して上記の実施例のいずれかの前記方法を実現するためのプロセッサと、を備える。

【0009】

本発明の実施例の他の一態様によると、コンピュータ可読コードを含むコンピュータプログラムであって、前記コンピュータ可読コードが設備により実行されて上記の実施例のいずれかの前記方法を実現するための命令が前記設備のプロセッサにより実行されるコンピュータプログラムを提供する。

【0010】

本発明の実施例の他の一態様によると、コンピュータ可読な命令を記憶するコンピュータ記憶媒体を提供し、上記コンピュータ記憶媒体は、前記命令が実行されて上記の実施例のいずれかの前記方法が実現される。

【発明の効果】

【0011】

本発明の上記の実施例に提供されるオブジェクト追跡方法および装置、電子設備、コンピュータプログラム並びに記憶媒体によれば、ビデオ中の参考フレーム画像における目標オブジェクトに基づいて、ビデオ中の現在フレーム画像における少なくとも１つの候補オブジェクトを検出し、ビデオ中の少なくとも１つの前のフレーム画像における干渉オブジェクトを取得し、取得された干渉オブジェクトに基づいて少なくとも１つの候補オブジェクトの選別情報を調整し、現在フレーム画像の目標オブジェクトとして選別情報が所定の条件を満たす候補オブジェクトを確定することによって、本発明の実施例のオブジェクト追跡の過程において、現在フレーム画像の前のフレーム画像における干渉オブジェクトを用いて候補オブジェクトの選別情報を調整することによって、候補オブジェクトの選別情報を用いて現在フレーム画像における目標オブジェクトを確定する場合、候補オブジェクトにおける干渉オブジェクトを効果的に抑制でき、候補オブジェクトから目標オブジェクトを取得することによって、現在フレーム画像における目標オブジェクトを確定する過程において、目標オブジェクトの周囲の干渉オブジェクトによる判別結果に対する影響を効果的に抑制でき、目標オブジェクト追跡の判別能力を向上させることができる。

【0012】

以下、本発明の技術について、図面および実施例を参考して、詳しく説明する。

【図面の簡単な説明】

【0013】

添付の図面は、明細書の一部を構成し、本発明の実施例を示しつつ、記載内容とともに本発明の原理を説明するものである。

【0014】

添付の図面を参考しながら、以下の詳しい説明に従ってより明確に理解することができる。

【図1】本発明の一部の実施例のオブジェクト追跡方法のフローチャートである。

【図2】本発明の他の実施例のオブジェクト追跡方法のフローチャートである。

【図3】本発明の又の実施例のオブジェクト追跡方法のフローチャートである。

【図4A-4C】本発明の一部の実施例のオブジェクト追跡方法の一適用例の概念図である。

【図4D-4E】本発明の一部の実施例のオブジェクト追跡方法の他の適用例の概念図である。

【図5】本発明の一部の実施例のオブジェクト追跡装置の構成を示す概念図である。

【図6】本発明の他の実施例のオブジェクト追跡装置の構成を示す概念図である。

【図7】本発明の一部の実施例によって提供される電子設備の構成を示す概念図である。

【発明を実施するための形態】

【0015】

以下、添付の図面を参照しながら、本発明の例示的な各実施例を詳細に説明する。特に明記しない限り、これらの実施例に記載される構成要素およびステップの相対的な配置、数式および値は、本発明の範囲を限定しないことに留意されたい。

【0016】

また、本発明の実施例では、「複数」は２つ以上を意味し、「少なくとも１つ」は１つ、２つ、または２つ以上を意味することを理解すべきである。

【0017】

当業者は、本発明の実施例における「第１」および「第２」などの用語が、異なるステップ、設備またはモジュールなどを区別するためにのみ使用され、特定の技術的な意味を表さず、これらの間の必要な論理的順序を表さないことを理解すべきである。

【0018】

また、本発明の実施例で言及される任意の部品、データまたは構造は、明確に定義されていないか、または前後の内容に反対する示唆が与えられない限り、一般的に１つまたは複数として理解してよいことをさらに理解すべきである。

【0019】

また、本発明における各実施例の説明は、各実施例間の相違点を強調し、等価または類似の部分は互いに参考することができ、簡潔化のために、繰り返して説明しないことをさらに理解すべきである。

【0020】

そして、説明を簡単にするために、添付の図面に示される各部品の大きさは、実際の比例関係に従って描かれているものではないことを了解すべきである。

【0021】

以下、少なくとも１つの例示的な実施例に関する説明は、実際には単なる説明的なものであり、決して本発明およびその適用または使用に対して限定するものではない。

【0022】

関連分野の当業者に知られている技術、方法、設備について詳細に説明されない場合があるが、適切な場合には、それらの技術、方法、設備を、本発明の一部として見なすべきである。

【0023】

以下、添付の図面で類似な符号と文字は類似な項目を示しているため、ある項目を添付の図面で定義した後に、以降の図面でさらに説明する必要がないことに留意されたい。

【0024】

また、本発明における「および／または」という用語は、ただ、関連オブジェクトの関連関係を表すものであり、例えば、「Ａおよび／またはＢ」が、「Ａだけがあり、ＡとＢの両方があり、Ｂだけがあり」という３つの状況を表す。また、本発明において、「／」は、一般的に、前後の関連オブジェクトが「或は」の関係であることを表す。

【0025】

本発明の実施例は、多数の他の汎用または専用コンピュータシステム環境または構成と一并動作するコンピュータシステム／サーバーに適用できる。コンピュータシステム／サーバーと一并使用される既知のココンピュータシステム、環境、構成の例として、パソコンシステム、サーバーコンピューターシステム、シンクライアント、ファットクライアント、ハンドヘルドまたはラップトップデバイス、マイクロプロセッサによるシステム、セットトップボックス、プログラマブル家庭用電化製品、ネットワークパソコン、小型コンピュータシステム、大型コンピュータシステム、および、上記の任意のシステムを含む分散型クラウドコンピュータ環境などを、含むが、これらに限定されない。

【0026】

コンピュータシステム／サーバーは、コンピュータシステムによって実行されるコンピュータシステム実行可能命令（たとえばプログラムモジュールなど）の一般的なコンテキストで説明することができる。一般的に、プログラムモジュールには、特定のタスクを実行したり特定の抽象データ型を実現したりするルーチン、プログラム、オブジェクトプログラム、コンポーネント、ロジック、データ構造などが含まれる。コンピュータシステム／サーバーは、分散型クラウドコンピュータ環境で実現でき、分散型クラウドコンピュータ環境では、通信ネットワークを介してリンクされたリモート処理装置によってタスクが実行される。分散型クラウドコンピュータ環境で、プログラムモジュールは、ストレージデバイスを含むローカルまたはリモートコンピュータシステムの記憶媒体に配置されてもよい。

【0027】

図１は、本発明の一部の実施例のオブジェクト追跡方法のフローチャートである。図１に示すように、当該方法は、以下の操作を含む。

【0028】

１０２：ビデオ中の参考フレーム画像における目標オブジェクトに基づいて、ビデオ中の現在フレーム画像における少なくとも１つの候補オブジェクトを検出する。

【0029】

本実施例において、オブジェクト追跡が実行されるビデオは、たとえばビデオカメラおよびカメラなどを含むビデオ収集設備により取得された１くだりのビデオであってもよいし、たとえば光ディスク、ハードディスク、および、ＵＳＢフラッシュディスクなどを含むストレージデバイスから取得された１くだりのビデオであってもよいし、ネットワークサーバーから取得された１くだりのビデオであってもよい。本実施例では、処理待ちのビデオの取得方法に対して限定しない。参考フレーム画像は、ビデオ中の最初のフレーム画像であってもよいし、ビデオに対しオブジェクト追跡処理が実行される最初のフレーム画像であってもよいし、ビデオ中の中間フレーム画像のいずれかであってもよい。本実施例では、参考フレーム画像の選別に対して限定しない。現在フレーム画像は、ビデオ中の参考フレーム画像を除く他の１フレーム画像であってもよいし、参考フレーム画像の前に位置してもよいし、参考フレーム画像の後に位置してもよい。本実施例では、それらに対して限定しない。オプションの一例において、ビデオ中の現在フレーム画像は、参考フレーム画像の後に位置する。

【0030】

オプションとして、参考フレーム画像における目標オブジェクトの画像と現在フレーム画像との相関性を確定して、相関性に基づいて現在フレーム画像における少なくとも１つの候補オブジェクトの検出枠および選別情報を取得してもよい。オプションの一例において、参考フレーム画像における目標オブジェクトの画像の第１特徴および現在フレーム画像の第２特徴に基づいて、参考フレーム画像における目標オブジェクトの画像と現在フレーム画像との相関性を確定してもよい。例えば、畳み込み処理によって、その相関性を取得する。本実施例では、参考フレーム画像における目標オブジェクトの画像と現在フレーム画像との相関性の確定方法に対して限定しない。ただし、例えば、非最大抑制（ｎｏｎｍａｘｉｍｕｍｓｕｐｐｒｅｓｓｉｏｎ、ＮＭＳ）の方法により候補オブジェクトの検出枠が取得され、候補オブジェクトの選別情報は、例えば、候補オブジェクトの検出枠の点数、選択される確率など情報であってもよい。本実施例では、相関性に基づいて候補オブジェクトの検出枠および選別情報を取得する方法に対して限定しない。

【0031】

オプションの一例において、当該操作１０２は、メモリに格納された該当する命令を呼び出すプロセッサによって実行されてもよいし、プロセッサで実行される検出ユニットによって実行されてもよい。

【0032】

１０４：ビデオ中の少なくとも１つの前のフレーム画像における干渉オブジェクトを取得する。

【0033】

本実施例において、前のフレーム画像には、参考フレーム画像、及び／又は、参考フレーム画像と現在フレーム画像との間に位置する少なくとも１つの中間フレーム画像が含まれる。

【0034】

オプションとして、予め設定された干渉オブジェクトセットに基づいて、ビデオ中の少なくとも１つの前のフレーム画像における干渉オブジェクトを取得してもよく、予め設定された干渉オブジェクト集合によりビデオ中の各フレーム画像をオブジェクト追跡処理する場合、現在フレーム画像における干渉オブジェクトとして、少なくとも１つの候補オブジェクトのうちの目標オブジェクトに確定されなかった１つまたは複数の候補オブジェクトを確定して、干渉オブジェクトセットに入れてもよい。オプションの一例において、干渉オブジェクトとして、目標オブジェクトに確定されなかった少なくとも１つの候補オブジェクトのうち、選別情報が干渉オブジェクトの所定の条件を満たす候補オブジェクトを確定して、干渉オブジェクトセットに入れてもよい。例えば、選別情報は、検出枠の点数であり、干渉オブジェクトの所定の条件は、検出枠の点数が所定閾値より大きいことであってもよい。

【0035】

オプションの一例において、ビデオ中の全ての前のフレーム画像における干渉オブジェクトを取得する。

【0036】

オプションの一例において、当該操作１０４は、メモリに格納された該当する命令を呼び出すプロセッサによって実行されてもよいし、プロセッサで実行される取得ユニットによって実行されてもよい。

【0037】

１０６：取得された干渉オブジェクトに基づいて、少なくとも１つの候補オブジェクトの選別情報を調整する。

【0038】

オプションとして、少なくとも１つの候補オブジェクトと取得された干渉オブジェクトとの間の第１類似度を確定して、第１類似度に基づいて少なくとも１つの候補オブジェクトの選別情報を調整してもよい。オプションの一例において、少なくとも１つの候補オブジェクトの特徴および取得された干渉オブジェクトの特徴に基づいて、少なくとも１つの候補オブジェクトと取得された干渉オブジェクトとの間の第１類似度を確定してもよい。オプションの一例において、選別情報は検出枠の点数であり、候補オブジェクトと取得された干渉オブジェクトとの間の第１類似度がより高い場合、当該候補オブジェクトの検出枠の点数を下げる調整をしてもよく、逆に、候補オブジェクトと取得された干渉オブジェクトとの間の第１類似度がより低い場合、当該候補オブジェクトの検出枠の点数を上げる調整をするか、または、点数をそのまま維持してもよい。

【0039】

オプションとして、取得された干渉オブジェクトの数が１つではない場合、候補オブジェクトと取得された全ての干渉オブジェクトとの類似度の加重平均値を算出して、当該加重平均値を用いて当該候補オブジェクトの選別情報を調整してもよい。ただし、加重平均値中の各干渉オブジェクトの重みは、目標オブジェクトの選別に対する当該干渉オブジェクトの干渉度合に関連されている。例えば、目標オブジェクトの選別に対する干渉が大きいほど、干渉オブジェクトの重みの値が大きくなる。オプションの一例において、選別情報は検出枠の点数であり、候補オブジェクトと取得された干渉オブジェクトとの相関性係数で候補オブジェクトと取得された干渉オブジェクトとの間の第１類似度を表し、参考フレーム画像における目標オブジェクトと候補オブジェクトとの相関性係数と、候補オブジェクトと取得された干渉オブジェクトとの第１類似度と、の加重平均値の差分値によって、当該候補オブジェクトの検出枠の点数を調整してもよい。

【0040】

オプションの一例において、当該操作１０６は、メモリに格納された該当する命令を呼び出すプロセッサによって実行されてもよいし、プロセッサで実行される調整ユニットによって実行されてもよい。

【0041】

１０８：現在フレーム画像の目標オブジェクトとして、選別情報が所定の条件を満たす候補オブジェクトを確定する。

【0042】

オプションとして、現在フレーム画像の目標オブジェクトの検出枠として、選別情報が所定の条件を満たす候補オブジェクトの検出枠を確定してもよい。オプションの一例において、選別情報は検出枠の点数であり、候補オブジェクトの検出枠の点数に基づいて候補オブジェクトをソートして、点数が一番高い候補オブジェクトの検出枠を現在フレーム画像の目標オブジェクトの検出枠として、現在フレーム画像における目標オブジェクトを確定してもよい。

【0043】

オプションとして、さらに、候補オブジェクトの検出枠の位置および形状を、ビデオ中の現在フレーム画像の一つ前の１フレーム画像における目標オブジェクトの検出枠の位置および形状と比較して、比較結果に基づいて現在フレーム画像における候補オブジェクトの検出枠の点数を調整し、調整された現在フレーム画像における候補オブジェクトの検出枠の点数を再度ソートして、再度ソートされた後に点数が一番高い候補オブジェクトの検出枠を現在フレーム画像における目標オブジェクトの検出枠としてもよい。例えば、一つ前の１フレーム画像と比べて、位置の移動量が大きいし、形状の変化量が大きい候補オブジェクトの検出枠に対し、点数を下げる調整を行う。

【0044】

オプションとして、現在フレーム画像の目標オブジェクトの検出枠として、選別情報が所定の条件を満たす候補オブジェクトの検出枠を確定した後に、さらに、現在フレーム画像において目標オブジェクトの位置をマークするように、現在フレーム画像に目標オブジェクトの検出枠を表示してもよい。

【0045】

オプションの一例において、当該操作１０８は、メモリに格納された該当する命令を呼び出すプロセッサによって実行されてもよいし、プロセッサで実行される確定ユニットによって実行されてもよい。

【0046】

本実施例に係るオブジェクト追跡方法によれば、ビデオ中の参考フレーム画像における目標オブジェクトに基づいて、ビデオ中の現在フレーム画像における少なくとも１つの候補オブジェクトを検出し、ビデオ中の少なくとも１つの前のフレーム画像における干渉オブジェクトを取得し、取得された干渉オブジェクトに基づいて、少なくとも１つの候補オブジェクトの選別情報を調整し、現在フレーム画像の目標オブジェクトとして、選別情報が所定の条件を満たす候補オブジェクトを確定し、オブジェクト追跡の過程において、現在フレーム画像の前のフレーム画像における干渉オブジェクトを用いて候補オブジェクトの選別情報を調整することによって、候補オブジェクトの選別情報を用いて現在フレーム画像における目標オブジェクトを確定する場合、候補オブジェクトにおける干渉オブジェクトを効果的に抑制でき、候補オブジェクトから目標オブジェクトを取得することによって、現在フレーム画像における目標オブジェクトを確定する過程において、目標オブジェクトの周囲の干渉オブジェクトによる判別結果に対する影響を効果的に抑制でき、オブジェクト追跡の判別能力を向上させることができる。

【0047】

図４Ａ～図４Ｃは、本発明の一部の実施例のオブジェクト追跡方法の一適用例の概念図である。図４Ａ～図４Ｃに示すように、ここで、図４Ａは、オブジェクト追跡を処理待ちビデオの現在フレーム画像を示し、図４Ａにおいて、四角枠ａ、ｂ、ｄ、ｅ、ｆ、ｇは現在フレーム画像における候補オブジェクトの検出枠であり、四角枠ｃは現在フレーム画像における目標オブジェクトの検出枠であり、図４Ｂは、従来のオブジェクト追跡方法を用いて取得された現在フレーム画像における候補オブジェクトの検出枠の点数の概念図であり、図４Ｂにより、一番高い点数を取得すると予想される目標オブジェクト、即ち、四角枠ｃに対応する目標オブジェクトは、干渉オブジェクトの影響により一番高い点数が取得されなかったことが分かり、図４Ｃは、本発明の一部の実施例のオブジェクト追跡方法を用いて取得された現在フレーム画像における候補オブジェクトの検出枠の点数の概念図であり、図４Ｃにより、一番高い点数を取得すると予想される目標オブジェクト、即ち、四角枠ｃに対応する目標オブジェクトは、一番高い点数が取得され、その周囲の干渉オブジェクトの点数が抑制されたことが分かる。

【0048】

一部の実施例において、オブジェクト追跡方法は、さらに、ビデオ中の参考フレーム画像と現在フレーム画像との間の少なくとも１つの中間フレーム画像における目標オブジェクトを取得し、取得された少なくとも１つの中間フレーム画像における目標オブジェクトに基づいて、少なくとも１つの候補オブジェクトの選別情報を最適化してもよい。オプションの一例において、少なくとも１つの候補オブジェクトと取得された少なくとも１つの中間フレーム画像における目標オブジェクトとの間の第２類似度を確定した後に、第２類似度に基づいて、少なくとも１つの候補オブジェクトの選別情報を最適化してもよい。例えば、少なくとも１つの候補オブジェクトの特徴および取得された少なくとも１つの中間フレーム画像における目標オブジェクトの特徴に基づいて、少なくとも１つの候補オブジェクトと取得された少なくとも１つの中間フレーム画像における目標オブジェクトとの間の第２類似度を確定してもよい。

【0049】

オプションとして、ビデオ中の参考フレーム画像と現在フレーム画像との間の、既に目標オブジェクトが確定された少なくとも１つの中間フレーム画像から、目標オブジェクトを取得してもよい。オプションの一例において、ビデオ中の参考フレーム画像と現在フレーム画像との間の、既に目標オブジェクトが確定された全ての中間フレーム画像における目標オブジェクトを取得してもよい。

【0050】

オプションとして、取得された目標オブジェクトの数は１つではない場合、候補オブジェクトと取得された全ての目標オブジェクトとの類似度の加重平均値を算出して、当該加重平均値を用いて当該候補オブジェクトの選別情報を最適化してもよく、ここで、加重平均値中の各目標オブジェクトの重みは、現在フレーム画像における目標オブジェクトの選別に対する当該目標オブジェクトの影響度合に関連されている。例えば、１フレーム画像の時点が現在フレーム画像の時点に接近するほど、目標オブジェクトの重みの値が大くなる。オプションの一例において、選別情報は検出枠の点数であり、候補オブジェクトと取得された干渉オブジェクトとの相関性係数で候補オブジェクトと取得された干渉オブジェクトとの間の第１類似度を表し、参考フレーム画像における目標オブジェクトと候補オブジェクトの相関性係数および候補オブジェクトと取得された目標オブジェクトの第２類似度との加重平均値と、候補オブジェクトと取得された干渉オブジェクトとの第１類似度の加重平均値と、の差分値によって、当該候補オブジェクトの検出枠の点数を調整してもよい。

【0051】

本実施例によれば、ビデオ中の参考フレーム画像と現在フレーム画像との間から１つの中間フレーム画像の目標オブジェクトを取得して、候補オブジェクトの選別情報を最適化することによって、取得された現在フレーム画像における候補オブジェクトの選別情報が各候補オブジェクトの属性をより正しく反映できるため、処理待ちのビデオ中の現在フレーム画像における目標オブジェクトの位置を確定する際に、より正確な判別結果を取得できる。

【0052】

一部の実施例において、操作１０２では、ビデオ中の参考フレーム画像における目標オブジェクトに基づいて、ビデオ中の現在フレーム画像における少なくとも１つの候補オブジェクトを検出する前に、さらに、演算スピードを向上させるように、現在フレーム画像における検索領域を取得してもよい。操作１０２では、現在フレーム画像における検索領域において、ビデオ中の参考フレーム画像における目標オブジェクトに基づいて、ビデオ中の現在フレーム画像における少なくとも１つの候補オブジェクトを検出してもよい。ただし、現在フレーム画像における検索領域を取得する操作では、予め設定されたの検索アルゴリズムにより、現在フレーム画像における目標オブジェクトの出現する可能性のある領域を推定および仮定してもよい。

【0053】

オプションとして、操作１０８では、現在フレーム画像の目標オブジェクトとして選別情報が所定の条件を満たす候補オブジェクトを確定した後に、さらに、現在フレーム画像における目標オブジェクトの選別情報に基づいて、ビデオ中の現在フレーム画像の次の１フレーム画像における検索領域を確定してもよい。以下、図２に参考して、現在フレーム画像における目標オブジェクトの選別情報に基づいて、ビデオ中の現在フレーム画像の次の１フレーム画像における検索領域を確定するフローについて、詳しく説明する。図２に示すように、当該方法は、以下の操作を含む。

【0054】

２０２：目標オブジェクトの選別情報が第１所定閾値未満であるか否かを検出する。

【0055】

オプションとして、第１所定閾値は、目標オブジェクトの選別情報および目標オブジェクトが遮れた状態、または、視野から離れた状態に基づいて、統計して確定されてもよい。オプションの一例において、選別情報は、目標オブジェクトの検出枠の点数である。

【0056】

目標オブジェクトの選別情報が第１所定閾値未満である場合、操作２０４を実行し、及び／又は、目標オブジェクトの選別情報が第１所定閾値以上である場合、操作２０６を実行する。

【0057】

２０４：予め設定されたステップ幅に基づいて、検索領域を、当該検索領域が現在フレーム画像を覆うまで次第に拡張し、拡張された検索領域を現在フレーム画像の次の１フレーム画像における検索領域とする。

【0058】

オプションとして、操作２０４の後に、さらに、ビデオ中の現在フレーム画像の次の１フレーム画像を現在フレーム画像とし、拡張された検索領域において現在フレーム画像の目標オブジェクトを確定してもよい。

【0059】

２０６：ビデオ中の現在フレーム画像の次の１フレーム画像を現在フレーム画像とし、現在フレーム画像における検索領域を取得する。

【0060】

オプションとして、ビデオ中の現在フレーム画像の次の１フレーム画像を現在フレーム画像とし、現在フレーム画像における検索領域を取得した後に、さらに、現在フレーム画像における検索領域において現在フレーム画像の目標オブジェクトを確定してもよい。

【0061】

オプションの一例において、これら操作２０２～２０６は、メモリに格納された該当する命令を呼び出すプロセッサによって実行されてもよいし、プロセッサで実行される検索ユニットによって実行されてもよい。

【0062】

本実施例によれば、現在フレーム画像における目標オブジェクトの選別情報と第１所定閾値とを比較して、現在フレーム画像における目標オブジェクトの選別情報が第１所定閾値未満である場合、検索領域を、当該検索領域が前記現在フレーム画像を覆うまで拡張することによって、オブジェクトを追跡する現在フレーム画像において、目標オブジェクトが遮れた場合、または、目標オブジェクトが視野から離れる場合、現在フレーム画像と同一な拡張された検索領域を用いて現在フレーム画像全体を覆って、次の１フレーム画像に対してオブジェクト追跡を実行する際に、拡張された検索領域が次の１フレーム画像全体を覆い、目標オブジェクトが次の１フレーム画像に出現された場合、拡張された検索領域が次の１フレーム画像全体を覆うため、目標オブジェクトが検索領域以外の領域に出現されて目標オブジェクトを追跡できない状況が発生されなくなり、目標オブジェクトの長期間追跡を実現できる。

【0063】

一部の実施例において、操作２０４では、予め設定されたステップ幅に基づいて前記検索領域を次第に拡張して、拡張された検索領域が前記現在フレーム画像を覆った後に、さらに、ビデオ中の現在フレーム画像の次の１フレーム画像を現在フレーム画像とし、現在フレーム画像における検索領域として、拡張された検索領域を取得し、拡張された検索領域において現在フレーム画像の目標オブジェクトを確定してもよく、また、さらに、現在フレーム画像における目標オブジェクトの選別情報に基づいて、現在フレーム画像における検索領域を復元する必要があるか否かを確定してもよい。以下、図３に参考して、現在フレーム画像における目標オブジェクトの選別情報に基づいて現在フレーム画像における検索領域の復元を確定するフローについて、詳しく説明する。図３に示すように、当該方法は、以下の操作を含む。

【0064】

３０２：目標オブジェクトの選別情報が第２所定閾値より大きいか否かを検出する。

【0065】

ここで、第２所定閾値は、第１所定閾値より大きいし、第２所定閾値は、目標オブジェクトの選別情報と目標オブジェクトが遮れない状態および視野から離れない状態に基づいて、統計して確定されてもよい。

【0066】

目標オブジェクトの選別情報が第２所定閾値より大きい場合、操作３０４を実行し、及び／又は、目標オブジェクトの選別情報が第２所定閾値以下である場合、操作３０６を実行する。

【0067】

３０４：現在フレーム画像における検索領域を取得する。

【0068】

オプションとして、操作３０４の後、現在フレーム画像における検索領域において現在フレーム画像の目標オブジェクトを確定する。

【0069】

３０６：ビデオ中の現在フレーム画像の次の１フレーム画像を現在フレーム画像とし、現在フレーム画像における検索領域として拡張された検索領域を取得する。

【0070】

ただし、ビデオ中の現在フレーム画像の次の１フレーム画像を現在フレーム画像とし、現在フレーム画像における検索領域像として拡張された検索領域を取得した後に、さらに、拡張された検索領域において現在フレーム画像の目標オブジェクトを確定してもよい。

【0071】

オプションの一例において、当該操作３０２～３０６は、メモリに格納された該当する命令を呼び出すプロセッサによって実行されてもよいし、プロセッサで実行される検索ユニットによって実行されてもよい。

【0072】

本実施例において、現在フレーム画像における目標オブジェクトの選別情報に基づいて検索領域が拡張された次の１フレーム画像に対してオブジェクト追跡を実行する場合、次の１フレーム画像を現在フレーム画像とした後に、現在フレーム画像における目標オブジェクトの選別情報と第２所定閾値とを比較する。現在フレーム画像における目標オブジェクトの選別情報が第２所定閾値より大きい場合、現在フレーム画像における検索領域を取得し、検索領域において現在フレーム画像の目標オブジェクトを確定して、オブジェクト追跡の現在フレーム画像における目標オブジェクトが遮れない場合および目標オブジェクトが視野から離れない場合、元のオブジェクト追跡方法に復元し、すなわち、予め設定された検索アルゴリズムを用いて現在フレーム画像における検索領域を取得してオブジェクト追跡を実行してもよい。このように、データの処理量を減少でき、演算スピードを向上させることができる。

【0073】

図４Ｄおよび図４Ｅは、本発明の一部の実施例のオブジェクト追跡方法の他の適用例の概念図である。図４Ｄおよび図４Ｅに示すように、ここで、図４Ｄは、オブジェクト追跡のビデオの４フレーム画像であり、図４Ｄにおいて、４フレーム画像の番号はそれぞれ６９２、６９７、７２２、および、７２７であり、四角枠ａは、現在フレーム画像の検索領域を確定する検索枠であり、四角枠ｂは、目標オブジェクトの真の輪郭を表す四角枠であり、ｃ四角枠は、目標追跡の検出枠であり、図４Ｄにより、６９７と７２２の２フレーム画像の目標オブジェクトが両方とも視野範囲内にいないことが分かり、そのため、検索領域を拡張したところ、６９２と７２７の２フレーム画像の目標オブジェクトが両方とも再び視野範囲内に戻るため、検索領域を再び正常の検索領域に復元する。図４Ｅは、図４Ｄにおける目標オブジェクトの点数の変化状況、および、目標オブジェクトと検出枠との重なり状況の変化を示す概念図である。そのうち、ｄ線は目標オブジェクトの点数の変化状況を表し、ｅ線は目標オブジェクトと検出枠との重なり状況を表し、図４Ｅにより、目標オブジェクトの点数が６９７で急に減少されつつ、目標オブジェクトと検出枠との重なり状況も６９７で急に減少され、目標オブジェクトの点数が７２２で既に大きい値に復元され、目標オブジェクトと検出枠との重なり状況も７２２で急に増加されることが分かり、そのため、目標オブジェクトの点数の判断を用いて、目標オブジェクトが視野範囲にいない場合または遮れたオブジェクトの追跡する場合に存在する問題を改善できる。

【0074】

一部の実施例において、操作１０８では、現在フレーム画像の目標オブジェクトとして選別情報が所定の条件を満たす候補オブジェクトを確定した後に、さらに、現在フレーム画像における目標オブジェクトの種類を認識して、オブジェクト追跡の機能を補強し、オブジェクト追跡の適用シナリオを拡張できる。

【0075】

一部の実施例において、上記の各実施例のオブジェクト追跡方法は、ニューラルネットワークによって実行できる。

【0076】

オプションとして、オブジェクト追跡方法を実行する前に、サンブル画像に基づいて、ニューラルネットワークを訓練してもよい。ただし、ニューラルネットワークを訓練するためのサンブル画像は、ポジティブサンプルおよびネガティブサンプルを含み、そのうち、ポジティブサンプルは、予め設定された訓練データセット中のポジティブサンプル画像および予め設定されたテストデータセット中のポジティブサンプル画像を含む。例えば、予め設定された訓練データセットは、ＹｏｕｔｕｂｅＢＢおよびＶＩＤからのビデオシーケンスを使用してもよく、予め設定されたテストデータセットは、ＩｍａｇｅＮｅｔおよびＣＯＣＯからの検出データを使用してもよい。本実施例によれば、テストデータセット中のポジティブサンプル画像を使用して、ニューラルネットワークを訓練して、ポジティブサンプルの種類を増加させ、ニューラルネットワークの汎化性能を確保でき、オブジェクト追跡の判別能力を向上させることができる。

【0077】

オプションとして、ポジティブサンプルには、予め設定された訓練データセット中のポジティブサンプル画像および予め設定されたテストデータセット中のポジティブサンプル画像に加え、予め設定されたテストデータセット中のポジティブサンプル画像のデータ強調処理によって取得されたポジティブサンプル画像がさらに含まれてもよい。例えば、平行移動、スケール変化、光線変化などの通常のデータ強調処理に加え、動きぼけなどの特定運動モードに対するデータ強調処理を使用してもよい。本実施例では、データ強調処理方法に対して限定しない。本実施例において、テストデータセット中のポジティブサンプル画像に対しデータ強調処理を実行して、ポジティブサンプル画像を取得し、ポジティブサンプル画像でニューラルネットワークを訓練して、ポジティブサンプル画像の多様性を増加し、ニューラルネットワークのロバスト性を向上させて、オーバーフィッティングを避けることができる。

【0078】

オプションとして、ネガティブサンプルには、目標オブジェクトと同じ種類のオブジェクトを有するネガティブサンプル画像、及び／又は、目標オブジェクトと異なる種類のオブジェクトを有するネガティブサンプル画像が含まれてもよい。例えば、予め設定されたテストデータセット中のポジティブサンプル画像に基づいて取得されたネガティブサンプル画像は、予め設定されたテストデータセット中のポジティブサンプル画像における目標オブジェクトの周囲の背景から選択した画像であってもよい。それら２種類のネガティブサンプル画像は、一般的に、セマンティックを有さない画像である。一方、目標オブジェクトと同じ種類のオブジェクトを有するネガティブサンプル画像は、他のビデオまたは画像からランダムに抽出された１フレーム画像であってもよく、当該画像におけるオブジェクトは、ポジティブサンプル画像における目標オブジェクトと同じ種類である。目標オブジェクトと異なる種類のオブジェクトを有するネガティブサンプル画像は、他のビデオまたは画像からランダムに抽出された１フレーム画像であってもよく、当該画像におけるオブジェクトは、ポジティブサンプル画像における目標オブジェクトと異なる種類であり、これら２種類のネガティブサンプル画像は、一般的に、セマンティックを有する画像である。本実施例において、目標オブジェクトと同じ種類のオブジェクトを有するネガティブサンプル画像、及び／又は、目標オブジェクトと異なる種類のオブジェクトを有するネガティブサンプル画像を使用してニューラルネットワークを訓練して、ポジティブ・ネガティブサンプル画像の分布バランスを確保でき、ニューラルネットワークの性能を改善して、オブジェクト追跡の判別能力を向上させることができる。

【0079】

本発明の実施例に係る任意のオブジェクト追跡方法は、データ処理能力を有する任意の適宜な設備によって実行されてもよく、当該設備は端末設備およびサーバーなどを含むが、これらに限定されない。あるいは、本発明の実施例によって提供されるオブジェクト追跡方法は、プロセッサによって実行されてもよく、例えば、プロセッサは、メモリに記憶された該当する命令呼び出して、本発明の実施例に言及された任意のオブジェクト追跡方法を実行する。以下、繰り返して説明しない。

【0080】

当業者は、プログラム命令に関連するハードウェアによって上記の方法の実施例の全てのステップ或いは一部のステップが実現されることでき、前述したプログラムは、コンピュータ可読記憶媒体に記憶され、当該プログラムが実行されると、上記の方法の実施例のステップが実行され、前述した記憶媒体には、ＲＯＭ、ＲＡＭ、磁気ディスク、または光ディスクなどの各種類の、プログラムコードを記憶する媒体が含まれることを理解できる。

【0081】

図５は、本発明の一部の実施例のオブジェクト追跡装置を示すブロック図である。図５に示すように、当該装置は、検出ユニット５１０と、取得ユニット５２０と、調整ユニット５３０と、確定ユニット５４０とを含む。そのうち、
検出ユニット５１０は、ビデオ中の参考フレーム画像における目標オブジェクトに基づいて、ビデオ中の現在フレーム画像における少なくとも１つの候補オブジェクトを検出する。

【0082】

【0083】

オプションとして、検出ユニット５１０は、参考フレーム画像における目標オブジェクトの画像と現在フレーム画像との相関性を確定し、相関性に基づいて現在フレーム画像における少なくとも１つの候補オブジェクトの検出枠および選別情報を取得してもよい。オプションの一例において、検出ユニット５１０は、参考フレーム画像における目標オブジェクトの第１特徴および現在フレーム画像の第２特徴に基づいて、参考フレーム画像における目標オブジェクトの画像と現在フレーム画像との相関性を確定する。例えば、畳み込み処理によって、その相関性を取得する。本実施例では、参考フレーム画像における目標オブジェクトの画像と現在フレーム画像との相関性の確定方法に対して限定しない。ここで、候補オブジェクトの検出枠は、例えば、非最大抑制（ｎｏｎｍａｘｉｍｕｍｓｕｐｐｒｅｓｓｉｏｎ、ＮＭＳ）の方法によって取得され、候補オブジェクトの選別情報は、候補オブジェクト自身の性質と関連がある情報であってもよく、これら情報に基づいて当該候補オブジェクトを他の候補オブジェクトと区別してもよい。例えば、これら情報は、候補オブジェクトの検出枠の点数、選択される確率などの情報であってもよく、ここで、検出枠の点数、選択される確率は、相関性に基づいて取得された候補オブジェクトの相関性係数であってもよい。本実施例では、相関性に基づいて候補オブジェクトの検出枠および選別情報を取得する方法に対して限定しない。

【0084】

取得ユニット５２０は、ビデオ中の少なくとも１つの前のフレーム画像における干渉オブジェクトを取得する。

【0085】

本実施例において、前のフレーム画像は、参考フレーム画像、及び／又は、参考フレーム画像と現在フレーム画像との間に位置する少なくとも１つの中間フレーム画像を含む。

【0086】

オプションとして、取得ユニット５２０は、予め設定された干渉オブジェクトセットに基づいて、ビデオ中の少なくとも１つの前のフレーム画像における干渉オブジェクトを取得して、予め設定された干渉オブジェクトセットによりビデオ中の各フレーム画像をオブジェクト追跡処理する場合、現在フレーム画像における干渉オブジェクトとして、少なくとも１つの候補オブジェクトのうちの目標オブジェクトに確定されなかった１つまたは複数の候補オブジェクトを確定して、干渉オブジェクトセットに入れてもよい。オプションの一例において、干渉オブジェクトとして、目標オブジェクトに確定されなかった少なくとも１つの候補オブジェクトのうち選別情報が干渉オブジェクトの所定の条件を満たす候補オブジェクトを確定して、干渉オブジェクトセットに入れてもよい。例えば、選別情報は、検出枠の点数であり、干渉オブジェクトの所定の条件は、検出枠の点数が所定閾値より大きいことであってもよい。

【0087】

オプションの一例において、取得ユニット５２０は、ビデオ中の全ての前のフレーム画像における干渉オブジェクトを取得する。

【0088】

調整ユニット５３０は、取得された干渉オブジェクトに基づいて、少なくとも１つの候補オブジェクトの選別情報を調整する。

【0089】

オプションとして、調整ユニット５３０は、さらに、少なくとも１つの候補オブジェクトと取得された干渉オブジェクトとの間の第１類似度を確定して、第１類似度に基づいて、少なくとも１つの候補オブジェクトの選別情報を調整してもよい。オプションの一例において、調整ユニット５３０は、少なくとも１つの候補オブジェクトの特徴および取得された干渉オブジェクトの特徴に基づいて、少なくとも１つの候補オブジェクトと取得された干渉オブジェクトとの間の第１類似度を確定してもよい。オプションの一例において、選別情報は検出枠の点数であり、候補オブジェクトと取得された干渉オブジェクトとの間の第１類似度がより高い場合、当該候補オブジェクトの検出枠の点数を下げる調整をしてもよく、逆に、候補オブジェクトと取得された干渉オブジェクトとの間の第１類似度がより低い場合、当該候補オブジェクトの検出枠の点数を上げる調整をするか、または、点数をそのまま維持してもよい。

【0090】

【0091】

確定ユニット５４０は、現在フレーム画像の目標オブジェクトとして、選別情報が所定の条件を満たす候補オブジェクトを確定する。

【0092】

オプションとして、確定ユニット５４０は、現在フレーム画像の目標オブジェクトの検出枠として、選別情報が所定の条件を満たす候補オブジェクトの検出枠を確定してもよい。オプションの一例において、選別情報は検出枠の点数であり、候補オブジェクトの検出枠の点数に基づいて候補オブジェクトをソートして、点数が一番高い候補オブジェクトの検出枠を現在フレーム画像の目標オブジェクトの検出枠として、現在フレーム画像における目標オブジェクトを確定してもよい。

【0093】

オプションとして、さらに、候補オブジェクトの検出枠の位置および形状を、ビデオ中の現在フレーム画像の一つ前の１フレーム画像における目標オブジェクトの検出枠の位置および形状と比較して、比較結果に基づいて現在フレーム画像における候補オブジェクトの検出枠の点数を調整し、調整された現在フレーム画像における候補オブジェクトの検出枠の点数を再度ソートして、再度ソートされた点数が一番高い候補オブジェクトの検出枠を現在フレーム画像における目標オブジェクトの検出枠としてもよい。例えば、一つ前の１フレーム画像と比べて、位置の移動量が大きいし、形状の変化量が大きい候補オブジェクトの検出枠に対し、点数を下げる調整を行う。

【0094】

オプションとして、当該装置は、表示ユニットをさらに備えてもよく、現在フレーム画像の目標オブジェクトの検出枠として選別情報が所定の条件を満たす候補オブジェクトの検出枠を確定した後に、表示ユニットは、さらに、現在フレーム画像において目標オブジェクトの位置をマークするように、現在フレーム画像に目標オブジェクトの検出枠を表示してもよい。

【0095】

本実施例に係るオブジェクト追跡装置によれば、ビデオ中の参考フレーム画像における目標オブジェクトに基づいて、ビデオ中の現在フレーム画像における少なくとも１つの候補オブジェクトを検出し、ビデオ中の少なくとも１つの前のフレーム画像における干渉オブジェクトを取得し、取得された干渉オブジェクトに基づいて、少なくとも１つの候補オブジェクトの選別情報を調整し、現在フレーム画像の目標オブジェクトとして、選別情報が所定の条件を満たす候補オブジェクトを確定し、オブジェクト追跡の過程において、現在フレーム画像の前のフレーム画像における干渉オブジェクトを用いて候補オブジェクトの選別情報を調整することによって、候補オブジェクトの選別情報を用いて現在フレーム画像における目標オブジェクトを確定する場合、候補オブジェクトにおける干渉オブジェクトを効果的に抑制でき、候補オブジェクトから目標オブジェクトを取得することによって、現在フレーム画像における目標オブジェクトを確定する過程において、目標オブジェクトの周囲の干渉オブジェクトによる判別結果に対する影響を効果的に抑制でき、オブジェクト追跡の判別能力を向上させることができる。

【0096】

一部の実施例において、ユニット５２０は、さらに、ビデオ中の参考フレーム画像と現在フレーム画像との間の少なくとも１つの中間フレーム画像における目標オブジェクトを取得してもよく、当該装置は、取得された少なくとも１つの中間フレーム画像における目標オブジェクトに基づいて、少なくとも１つの候補オブジェクトの選別情報を最適化するための最適化ユニットをさらに備えてもよい。オプションの一例において、最適化ユニットは、少なくとも１つの候補オブジェクトと取得された少なくとも１つの中間フレーム画像における目標オブジェクトとの間の第２類似度を確定した後に、第２類似度に基づいて少なくとも１つの候補オブジェクトの選別情報を最適化してもよい。例えば、最適化ユニットは、少なくとも１つの候補オブジェクトの特徴および取得された少なくとも１つの中間フレーム画像における目標オブジェクトの特徴に基づいて、少なくとも１つの候補オブジェクトと取得された少なくとも１つの中間フレーム画像における目標オブジェクトとの間の第２類似度を確定してもよい。

【0097】

オプションとして、取得ユニット５２０は、ビデオ中の参考フレーム画像と現在フレーム画像との間の、既に目標オブジェクトが確定された少なくとも１つの中間フレーム画像から目標オブジェクトを取得してもよい。オプションの一例において、取得ユニット５２０は、ビデオ中の参考フレーム画像と現在フレーム画像との間の、既に目標オブジェクトが確定された全ての中間フレーム画像における目標オブジェクトを取得する。

【0098】

【0099】

【0100】

図６は、本発明の他の実施例のオブジェクト追跡装置を示すブロック図である。図６に示すように、当該装置は、図５に示す実施例と比較すると、検出ユニット６１０と、取得ユニット６２０と、調整ユニット６３０と、確定ユニット６４０に加え、検索ユニット６５０をさらに含む。検索ユニット６５０は、現在フレーム画像における検索領域を取得し、検出ユニット６１０は、ビデオ中の参考フレーム画像における目標オブジェクトに基づいて、検索領域においてビデオ中の現在フレーム画像における少なくとも１つの候補オブジェクトを検出する。ただし、現在フレーム画像における検索領域を取得する操作では、予め設定されたの検索アルゴリズムにより、現在フレーム画像における目標オブジェクトの出現する可能性のある領域を推定および仮定してもよい。

【0101】

オプションとして、検索ユニット６５０は、さらに、現在フレーム画像における目標オブジェクトの選別情報に基づいて、検索領域を確定する。

【0102】

一部の実施例において、検索ユニット６５０は、目標オブジェクトの選別情報が第１所定閾値未満であるか否かを検出し、目標オブジェクトの選別情報が第１所定閾値未満である場合、予め設定されたステップ幅に基づいて、検索領域を、当該検索領域が現在フレーム画像を覆うまで次第に拡張し、及び／又は、目標オブジェクトの選別情報が第１所定閾値以上である場合、ビデオ中の現在フレーム画像の次の１フレーム画像を現在フレーム画像として、現在フレーム画像における検索領域を取得する。

【0103】

【0104】

一部の実施例において、検索ユニット６５０は、さらに、拡張された検索領域において現在フレーム画像の目標オブジェクトを確定した後、目標オブジェクトの選別情報が第１所定閾値よりも大きい第２所定閾値より大きいか否かを検出し、目標オブジェクトの選別情報が第２所定閾値より大きい場合、現在フレーム画像における検索領域を取得し、及び／又は、目標オブジェクトの選別情報が第２所定閾値以下である場合、ビデオ中の現在フレーム画像の次の１フレーム画像を現在フレーム画像として、現在フレーム画像における検索領域として拡張された検索領域を取得する。

【0105】

【0106】

一部の実施例において、オブジェクト追跡装置は、現在フレーム画像の目標オブジェクトとして選別情報が所定の条件を満たす候補オブジェクトを確定した後に、さらに、現在フレーム画像における目標オブジェクトの種類を認識して、オブジェクト追跡の機能を補強し、オブジェクト追跡の適用シナリオを拡張できる。

【0107】

一部の実施例において、オブジェクト追跡装置は、オブジェクト追跡方法を実行するニューラルネットワークを含む。

【0108】

【0109】

【0110】

【0111】

オプションの一例において、他の方法を使用して取得された訓練データの「ラベル付きデータ」が比較的スパースであり、すなわち、デプスマップにおける有效ピクセル値が比較的少ないため、訓練データの「ラベル付きデータ」として、両眼画像のステレオマッチングによって取得されたデプスマップを使用する。

【0112】

また、本発明の実施例は、例えば、モバイル端末、パソコン（ＰＣ）、タブレット、サーバーなどの電子設備をさらに提供する。図７は、本発明の実施例の端末設備、または、サーバーを実現するための電子設備７００の構成を示す概念図である。以下、図７を参考しながら、説明する。図７に示すように、電子設備７００は、１つまたは複数のプロセッサ、通信部などを含み、前記１つまたは複数のプロセッサは、例えば、１つまたは複数の中央処理ユニット（ＣＰＵ）７０１、及び／又は、１つまたは複数の画像プロセッサ（ＧＰＵ）７１３などであり、プロセッサは、読み取り専用メモリ（ＲＯＭ）７０２に記憶された実行可能命令、または、記憶部７０８からランダムアクセスメモリ（ＲＡＭ）７０３にロードされた実行可能命令に基づいて、各種類の適宜な動作および処理を実行する。通信部７１２は、ネットワークカードを含むが、これに限定されない。前記ネットワークカードは、ＩＢ（Ｉｎｆｉｎｉｂａｎｄ）ネットワークカードを含むが、これに限定されない。プロセッサは、読み取り専用メモリ７０２、及び／又は、ランダムアクセスメモリ７３０と通信して、実行可能命令を実行し、バス７０４を介して通信部７１２に接続され、通信部７１２を介して他の目標設備と通信して、本発明の実施例によって提供される任意の方法に対応する操作を完成する。例えば、ビデオ中の参考フレーム画像における目標オブジェクトに基づいて、前記ビデオ中の現在フレーム画像における少なくとも１つの候補オブジェクトを検出し、前記ビデオ中の少なくとも１つの前のフレーム画像における干渉オブジェクトを取得し、取得された干渉オブジェクトに基づいて前記少なくとも１つの候補オブジェクトの選別情報を調整し、前記現在フレーム画像の目標オブジェクトとして前記選別情報が所定の条件を満たす候補オブジェクトを確定する。

【0113】

なお、ＲＡＭ７０３には、装置の操作に必要な各種類のプログラムおよびデータが記憶されてもよい。ＣＰＵ７０１、ＲＯＭ７０２、ＲＡＭ７０３は、バス７０４を介して、互いに接続される。ＲＡＭ７０３がある場合には、ＲＯＭ７０２がオプションの候補モジュールである。ＲＡＭ７０３は、中央処理ユニット７０１に上記オブジェクト追跡方法に対応する操作を実行させる実行可能命令を記憶したり、稼働中にＲＯＭ７０２に書き込んだりする。入出力（Ｉ／Ｏ）インターフェース７０５も、バス７０４に接続される。通信部７１２は、統合設置されるものであってもよいし、複数のサブモジュール（例えば、複数のＩＢネットワークカード）を有し、且つバスに接続されるように設置されるものであってもよい。

【0114】

Ｉ／Ｏインターフェース７０５には、キーボード、マウスなどを含む入力部７０６と、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）など、および、スピーカーなどを含む出力部７０７と、ハードディスクなどを含む記憶部７０８と、ＬＡＮカード、モデムなどを含むネットワークインターフェースカードの通信部７０９と、が接続される。通信部７０９は、インターネットなどのネットワークを介して、通信処理を実行する。ドライバ７１０も、必要に応じて、Ｉ／Ｏインターフェース７０５に接続される。リムーバブル媒体７１１は、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどであり、ドライバ７１０から読み取られたコンピュータプログラムを必要に応じて記憶部７０８にインストールするように、必要に応じてドライバ７１０に取り付ける。

【0115】

図７に示す構成は、オプションの一実現形態に過ぎず、実現する過程において、必要に応じて、上記の図７の部品の数や種類を、選択、削除、追加、置換してもよいし、異なる機能を持つ部品の配置には、分離設置または統合設置など実現形態を使用してもよいし、例えば、ＧＰＵ７１３とＣＰＵ７０１とは分離設置してもよいし、または、ＧＰＵ７１３をＣＰＵ７０１に整合してもよいし、通信部を分離設置してもよく、ＣＰＵ７０１またはＧＰＵ７１３に整合するように設置してもよい。これらの置換可能な実施形態はすべて、本発明の保護範囲に入ることを説明する必要がある。

【0116】

特に、本発明の実施例によれば、上記でフローチャートを参考して説明された過程は、コンピュータソフトウェアプログラムとして実現されてもよい。例えば、本発明の実施例は、コンピュータプログラム製品を含み、当該コンピュータプログラム製品は、コンピュータ可読媒体に有形に含まれたコンピュータプログラムを含み、前記コンピュータプログラムは、フローチャートに示される方法を実現するためのプログラムコードを含み、前記プログラムコードは、本発明の実施例によって提供される方法のステップに対応する命令を含んでもよく、前記方法のステップは、例えば、ビデオ中の参考フレーム画像における目標オブジェクトに基づいて前記ビデオ中の現在フレーム画像における少なくとも１つの候補オブジェクトを検出することと、前記ビデオ中の少なくとも１つの前のフレーム画像における干渉オブジェクトを取得することと、取得された干渉オブジェクトに基づいて、前記少なくとも１つの候補オブジェクトの選別情報を調整することと、前記現在フレーム画像の目標オブジェクトとして、選別情報が所定の条件を満たす候補オブジェクトを確定することと、を含む。このような実施例では、当該コンピュータプログラムが通信部７０９を介してネットワークからダウンロードしてインストールされ、及び／又は、リムーバブル記憶媒体７１１からインストールされてもよい。当該コンピュータプログラムは、中央処理ユニット（ＣＰＵ）７０１によって実行されると、本発明の方法の上記機能が実現される。

【0117】

１つまたは複数の好適な実施例において、本発明の実施例は、コンピュータ可読な命令を記憶するためのコンピュータプログラム製品をさらに提供し、当該命令が実行されると、コンピュータが上記のいずれかの実施態様の画像復元方法を実現するようにする。

【0118】

当該コンピュータプログラム製品は、ハードウェア、ソフトウェア、または、これらの組み合わせによって、実現される。オプションの一例において、当該コンピュータプログラム製品は、コンピュータ記憶媒体によって体現され、他のオプションの一例において、当該コンピュータプログラム製品は、フトウェア開発キット（ＳｏｆｔｗａｒｅＤｅｖｅｌｏｐｍｅｎｔＫｉｔ、ＳＤＫ）などのソフトウェア製品によって体現される。

【0119】

１つまたは複数の好適な実施例において、本発明の実施例は、オブジェクト追跡方法および対応する装置、電子設備、コンピュータ記憶媒体、コンピュータプログラム並びにコンピュータプログラム製品を提供し、ここで、当該方法は、第２装置が上記のいずれかの実施例のオブジェクト追跡方法を実行するようにするオブジェクト追跡指令を、第１装置から第２装置へ送信することと、第１装置が第２装置から送信されたオブジェクト追跡の結果を受信することと、を含む。

【0120】

一部の実施例において、当該オブジェクト追跡指令は、呼出命令であり、第１装置は、呼出の形式によって、第２装置がオブジェクト追跡を実行するように指示する。これに応じて、第２装置は、呼出命令の受信に応答して、上記オブジェクト追跡方法中の任意の実施例中のステップ、及び／又は、フローを実行する。

【0121】

本発明の実施例中の「第１」および「第２」などの用語は、ただ区別するためのものであり、本発明の実施形態を限定するものとして理解してはいけないことを理解すべきである。

【0122】

また、本発明では、「複数」は２つ以上を意味し、「少なくとも１つ」は１つ、２つ、または２つ以上を意味することをさらに理解すべきである。

【0123】

【0124】

【0125】

本発明の各実施例は、いずれも漸進的に説明されたが、各実施例で強調して説明したのはいずれもその他の実施例との相違点であり、各実施例間の同一または類似な部分については、相互的に参考すればよい。システム実施例の場合は、基本的に方法実施例に対応されるため、関連箇所は、方法実施例の部分の説明を参考すれば良い。

【0126】

本発明の方法および装置は、多くの形式で実現されてもよい。例えば、本発明の方法および装置は、ソフトウェア、ハードウェア、ファームウェア、または、これらの任意の組み合わせによって実現されてもよい。上記の方法のステップの順序は、ただ、例示のためのものであり、本発明の方法のステップは、特に別の記載がない限り、上記の順序に限定されない。なお、一部の実施例で、本発明は、記憶媒体に記憶されたプログラムとして実現されてもよく、これらのプログラムは、本発明による方法を実現するためのコンピュータ可読命令を含んでもよい。したがって、本発明は、本発明の方法を実行するためのプログラムを記憶する記録媒体を、さらに含む。

【0127】

本発明の説明は、例示と説明のためのものであり、全面的なものではなく、開示された形態に限定するものではない。当業者にとって、多くの変化および変更は明らかである。実施例の選択および説明は、本発明の原理および実際の応用をよりよく説明し、当業者が本発明を理解して特定の用途に適した様々な変更を伴う様々な実施形態を設計するようにするものである。

【図1】