特許 7603166 目標追跡方法、コンピュータ読み取り可能な記憶媒体及びコンピュータデバイス

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-11

(45)【発行日】2024-12-19

(54)【発明の名称】目標追跡方法、コンピュータ読み取り可能な記憶媒体及びコンピュータデバイス

(51)【国際特許分類】

   G06T 7/20 20170101AFI20241212BHJP

   H04N 7/18 20060101ALI20241212BHJP

【ＦＩ】

G06T7/20 300Z

H04N7/18 G

【請求項の数】 12

(21)【出願番号】P 2023536153

(86)(22)【出願日】2021-12-16

(65)【公表番号】

(43)【公表日】2023-12-25

(86)【国際出願番号】 CN2021138913

(87)【国際公開番号】W WO2022127876

(87)【国際公開日】2022-06-23

【審査請求日】2023-08-14

(31)【優先権主張番号】202011488167.9

(32)【優先日】2020-12-16

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】520159673

【氏名又は名称】影石創新科技股▲ふん▼有限公司

【氏名又は名称原語表記】ＡＲＡＳＨＩ ＶＩＳＩＯＮ ＩＮＣ．

【住所又は居所原語表記】Ｒｏｏｍ １１０１， １１０２， １１０３， １１ｔｈ Ｆｌｏｏｒ， Ｂｕｉｌｄｉｎｇ ２， Ｊｉｎｌｉｔｏｎｇ Ｆｉｎａｎｃｉａｌ Ｃｅｎｔｅｒ， １１００ Ｘｉｎｇｙｅ Ｒｏａｄ， Ｈａｉｗａｎｇ Ｃｏｍｍｕｎｉｔｙ， Ｘｉｎ’ａｎ Ｓｔｒｅｅｔ， Ｂａｏ’ａｎ Ｄｉｓｔｒｉｃｔ， Ｓｈｅｎｚｈｅｎ， Ｇｕａｎｇｄｏｎｇ ５１８０００， Ｃｈｉｎａ

(74)【代理人】

【識別番号】110002262

【氏名又は名称】ＴＲＹ国際弁理士法人

(74)【代理人】

【識別番号】110001139

【氏名又は名称】ＳＫ弁理士法人

(74)【代理人】

【識別番号】100130328

【弁理士】

【氏名又は名称】奥野 彰彦

(74)【代理人】

【識別番号】100130672

【弁理士】

【氏名又は名称】伊藤 寛之

(72)【発明者】

【氏名】姜文杰

(72)【発明者】

【氏名】許睿

【審査官】山田 辰美

(56)【参考文献】

【文献】特開２０１６－１２６６２４（ＪＰ，Ａ）

【文献】中国特許出願公開第１１１９８６２３１（ＣＮ，Ａ）

【文献】米国特許出願公開第２０１１／００８５７０２（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

Ｓ１０１．追跡器を用いてビデオでの目標を追跡することにより前記目標に対する目標追跡を行うことで現在のビデオフレームにおける追跡される目標追跡枠を取得し、検出器を用いて現在のビデオフレームで検出された目標候補枠を取得することと、
Ｓ１０２．前記目標追跡枠と前記目標候補枠をマッチングし、前記目標追跡枠に最もマッチングする目標候補枠を決定することと、
Ｓ１０３．前記目標候補枠のうち前記最もマッチングする目標候補枠を除く１つ又は複数の残りの目標候補枠と前回で検出されたビデオフレームで検出された第２の目標候補枠をマッチングし、対応するマッチング関係を決定することと、
Ｓ１０４．前記最もマッチングする目標候補枠と前記対応するマッチング関係に応じて、前記最もマッチングする目標候補枠と前記１つ又は複数の残りの目標候補枠、前記第２の目標候補枠のそれぞれとの間の距離及び重ね合わせ関係を得て、前記最もマッチングする目標候補枠に前記目標が位置し、前記１つ又は複数の残りの目標候補枠に他の物体が位置しているとみなし、前記目標が前記他の物体に遮蔽されていないこと、前記他の物体が前記目標から離れていくこと、前記他の物体が前記目標に近づいていくこと、及び前記目標が前記他の物体に遮蔽されることを含む、現在のビデオフレームにおける前記目標と前記他の物体との遮蔽関係を決定することと、
Ｓ１０５．前記目標と他の物体との遮蔽関係に応じて、前記目標追跡を継続するか、前記目標が前記他の物体に遮蔽されると決定した後に前記目標追跡を再開するかどうかを決定することとを含むことを特徴とする目標追跡方法。

【請求項2】

前記現在のビデオフレームで検出された目標候補枠は、具体的には、
所定のフレーム間隔ごとに１回の検出を行って、現在のビデオフレームで検出された目標候補枠であることを特徴とする、請求項１に記載の目標追跡方法。

【請求項3】

前記Ｓ１０２は、具体的には、
交差比ＩｏＵを用いて前記目標追跡枠と前記目標候補枠をそれぞれマッチングし、各目標候補枠に対応するＩｏＵ値を得ることと、
対応するＩｏＵ値が最大で、予め設定された閾値を満たす目標候補枠を、前記目標追跡枠に最もマッチングする目標候補枠とすることとを含むことを特徴とする、請求項１に記載の目標追跡方法。

【請求項4】

前記Ｓ１０３は、具体的には、
交差比ＩｏＵを用いて前記目標候補枠のうち前記最もマッチングする目標候補枠を除く１つ又は複数の残りの目標候補枠と前回で検出されたビデオフレームで検出された第２の目標候補枠をそれぞれマッチングし、ハンガリーのマッチングアルゴリズムを用いて前記１つ又は複数の残りの目標候補枠と前記第２の目標候補枠との対応するマッチング関係を決定することであることを特徴とする、請求項１に記載の目標追跡方法。

【請求項5】

前記Ｓ１０３は、具体的には、
前記目標追跡枠を中心として、所定の割合で拡大されたエリアを興味のあるエリアとし、交差比ＩｏＵを用いて前記目標候補枠のうち興味のあるエリアに位置する前記最もマッチングする目標候補枠を除く１つ又は複数の残りの目標候補枠と前回で検出されたビデオフレームで検出された第２の目標候補枠をそれぞれマッチングし、ハンガリーのマッチングアルゴリズムを用いて前記１つ又は複数の残りの目標候補枠と前記第２の目標候補枠との対応するマッチング関係を決定することであることを特徴とする、請求項１に記載の目標追跡方法。

【請求項6】

前記Ｓ１０５は、具体的には、
前記目標が前記他の物体に遮蔽されていないか、又は前記他の物体が前記目標から離れていくと、前記目標追跡を継続することと、
前記目標が前記他の物体に遮蔽されると、前記目標追跡を再開し、前記目標に対する目標追跡を恢復することとを含むことを特徴とする、請求項１に記載の目標追跡方法。

【請求項7】

前記追跡器は、ビデオフレームとビデオフレームとの間の目標の移動方向を観察することで、ビデオでの目標を追跡するものであり、前記検出器は、各フレームのビデオフレームを独立したものと見なし、目標の位置決めを行うことで、目標候補枠を検出するものであることを特徴とする、請求項１に記載の目標追跡方法。

【請求項8】

追跡器を用いてビデオでの目標を追跡することにより前記目標に対する目標追跡を行うことで現在のビデオフレームにおける追跡される目標追跡枠を取得し、検出器を用いて現在のビデオフレームで検出された目標候補枠を取得するための取得モジュールと、
前記目標追跡枠と前記目標候補枠をマッチングし、前記目標追跡枠に最もマッチングする目標候補枠を決定するための目標候補枠決定モジュールと、
前記目標候補枠のうち前記最もマッチングする目標候補枠を除く１つ又は複数の残りの目標候補枠と前回で検出されたビデオフレームで検出された第２の目標候補枠をマッチングし、対応するマッチング関係を決定するためのマッチング関係決定モジュールと、
前記最もマッチングする目標候補枠と前記対応するマッチング関係に応じて、前記最もマッチングする目標候補枠と前記１つ又は複数の残りの目標候補枠、前記第２の目標候補枠のそれぞれとの間の距離及び重ね合わせ関係を得て、前記最もマッチングする目標候補枠に前記目標が位置し、前記１つ又は複数の残りの目標候補枠に他の物体が位置しているとみなし、前記目標が前記他の物体に遮蔽されていないこと、前記他の物体が前記目標から離れていくこと、前記他の物体が前記目標に近づいていくこと、及び前記目標が前記他の物体に遮蔽されることを含む、現在のビデオフレームにおける前記目標と前記他の物体との遮蔽関係を決定するための遮蔽関係決定モジュールと、
前記目標と他の物体との遮蔽関係に応じて、前記目標追跡を継続するか、前記目標が前記他の物体に遮蔽されると決定した後に前記目標追跡を再開するかどうかを決定するための決定モジュールとを備えることを特徴とする目標追跡装置。

【請求項9】

前記追跡器は、ビデオフレームとビデオフレームとの間の目標の移動方向を観察することで、ビデオでの目標を追跡するものであり、前記検出器は、各フレームのビデオフレームを独立したものと見なし、目標の位置決めを行うことで、目標候補枠を検出するものであることを特徴とする、請求項８に記載の目標追跡装置。

【請求項10】

コンピュータプログラムを記憶するコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムがプロセッサによって実行されるとき、請求項１～７のいずれか１項に記載の目標追跡方法のステップを実現することを特徴とするコンピュータ読み取り可能な記憶媒体。

【請求項11】

１つ又は複数のプロセッサと；
メモリと；
１つ又は複数のコンピュータプログラムを含むコンピュータデバイスであって、
前記プロセッサと前記メモリとはバスで接続され、前記１つ又は複数のコンピュータプログラムが前記メモリに記憶され、前記１つ又は複数のプロセッサによって実行されるように配置され、前記プロセッサは前記コンピュータプログラムを実行するとき、請求項１～７のいずれか１項に記載の目標追跡方法のステップを実現することを特徴とするコンピュータデバイス。

【請求項12】

１つ又は複数のプロセッサと；
メモリと；
１つ又は複数のコンピュータプログラムを含むカメラであって、
前記プロセッサと前記メモリとはバスで接続され、前記１つ又は複数のコンピュータプログラムが前記メモリに記憶され、前記１つ又は複数のプロセッサによって実行されるように配置され、前記プロセッサは前記コンピュータプログラムを実行するとき、請求項１～７のいずれか１項に記載の目標追跡方法のステップを実現することを特徴とするカメラ。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、ビデオ処理の分野に属し、特に目標追跡方法、コンピュータ読み取り可能な記憶媒体及びコンピュータデバイスに関する。

【背景技術】

【0002】

遮蔽問題は、目標追跡において非常に深刻な問題であり、現在、多くの目標追跡アルゴリズムはいずれも遮蔽問題を処理するためのいくつかの方案を提案する。例えば、ＴＬＤアルゴリズム（Ｔｒａｃｋｉｎｇ－Ｌｅａｒｎｉｎｇ－Ｄｅｔｅｃｔｉｏｎ；追跡－学習－検出）は、ビデオでの未知の物体に対して長期的に追跡するためのアーキテクチャであり、ＴＬＤアルゴリズムは、追跡器、検出器、及び学習器の３つの部分から構成される。追跡器は、ビデオフレームとビデオフレームとの間の目標の移動方向を観察するためのものであり；検出器は、各フレームのビデオフレームを独立したものと見なし、位置決めを行っており；学習器は、追跡器の結果に応じて検出器のエラーを評価し、訓練サンプルを生成して検出器の目標モデルを更新し、今後類似なエラーが現れないようにする。

【発明の概要】

【発明が解決しようとする課題】

【0003】

しかし、従来技術の目標追跡アルゴリズムは、単一目標の追跡中に目標が他の物体（例えば、人、動物、車両など）に遮蔽されるシーンに適用される場合に、目標を正確的に追跡することができない。

【課題を解決するための手段】

【0004】

本出願の実施例は、上記の問題の一つを解決するために、目標追跡方法、装置、コンピュータ読み取り可能な記憶媒体、コンピュータデバイス及びカメラを提供する。

【0005】

第１の側面では、本出願の実施例は、目標追跡方法を提供しており、前記方法は、

【0006】

Ｓ１０１．現在のビデオフレームで追跡された目標追跡枠と、現在のビデオフレームで検出された目標候補枠とを取得することと；

【0007】

Ｓ１０２．前記目標追跡枠と前記目標候補枠をマッチングし、前記目標追跡枠に最もマッチングする目標候補枠を決定することと；

【0008】

Ｓ１０３．前記目標候補枠のうち前記最もマッチングする目標候補枠を除く１つ又は複数の残りの目標候補枠と前回で検出されたビデオフレームで検出された第２の目標候補枠をマッチングし、対応するマッチング関係を決定することと；

【0009】

Ｓ１０４．前記最もマッチングする目標候補枠と前記対応するマッチング関係に応じて、前記最もマッチングする目標候補枠と前記１つ又は複数の残りの目標候補枠、前記第２の目標候補枠のそれぞれとの間の距離及び重ね合わせ関係を得て、現在のビデオフレームにおける目標と他の物体との遮蔽関係を決定することと；

【0010】

Ｓ１０５．前記目標と他の物体との遮蔽関係に応じて、目標追跡を再開するかどうかを決定することを含む。

【0011】

第２の側面では、本出願は、目標追跡装置を提供しており、前記装置は、

【0012】

現在のビデオフレームで追跡された目標追跡枠と、現在のビデオフレームで検出された目標候補枠とを取得するための取得モジュールと；

【0013】

前記目標追跡枠と前記目標候補枠をマッチングし、前記目標追跡枠に最もマッチングする目標候補枠を決定するための目標候補枠決定モジュールと；

【0014】

前記目標候補枠のうち前記最もマッチングする目標候補枠を除く１つ又は複数の残りの目標候補枠と前回で検出されたビデオフレームで検出された第２の目標候補枠をマッチングし、対応するマッチング関係を決定するためのマッチング関係決定モジュールと；

【0015】

前記最もマッチングする目標候補枠と前記対応するマッチング関係に応じて、前記最もマッチングする目標候補枠と前記１つ又は複数の残りの目標候補枠、前記第２の目標候補枠のそれぞれとの間の距離及び重ね合わせ関係を得て、現在のビデオフレームにおける目標と他の物体との遮蔽関係を決定するための遮蔽関係決定モジュールと；

【0016】

前記目標と他の物体との遮蔽関係に応じて、目標追跡を再開するかどうかを決定するための決定モジュールを備える。

【0017】

第３の側面では、本出願は、コンピュータ読み取り可能な記憶媒体を提供しており、前記コンピュータ読み取り可能な記憶媒体にはコンピュータプログラムを記憶し、前記コンピュータプログラムがプロセッサによって実行されるとき、上記のような目標追跡方法のステップを実現する。

【0018】

第４の側面では、本出願は、コンピュータデバイスを提供しており、前記コンピュータデバイスは、

【0019】

１つ又は複数のプロセッサと；

【0020】

メモリと；

【0021】

１つ又は複数のコンピュータプログラムを含み、前記プロセッサと前記メモリとはバスで接続され、前記１つ又は複数のコンピュータプログラムが前記メモリに記憶され、前記１つ又は複数のプロセッサによって実行されるように配置され、前記プロセッサは前記コンピュータプログラムを実行するとき、上記のような目標追跡方法のステップを実現する。

【0022】

第５の側面では、本出願は、カメラを提供しており、前記カメラは、

【0023】

１つ又は複数のプロセッサと；

【0024】

メモリと；

【0025】

１つ又は複数のコンピュータプログラムを含み、前記プロセッサと前記メモリとはバスで接続され、前記１つ又は複数のコンピュータプログラムが前記メモリに記憶され、前記１つ又は複数のプロセッサによって実行されるように配置され、前記プロセッサは前記コンピュータプログラムを実行するとき、上記のような目標追跡方法のステップを実現する。

【発明の効果】

【0026】

本出願の実施例では、目標候補枠のうち最もマッチングする目標候補枠を除く１つ又は複数の残りの目標候補枠と前回で検出されたビデオフレームで検出された第２の目標候補枠をマッチングし、対応するマッチング関係を決定しており；前記最もマッチングする目標候補枠と前記対応するマッチング関係に応じて、前記最もマッチングする目標候補枠と前記１つ又は複数の残りの目標候補枠、前記第２の目標候補枠のそれぞれとの間の距離及び重ね合わせ関係を得て、現在のビデオフレームにおける目標と他の物体との遮蔽関係を決定しており；前記目標と他の物体との遮蔽関係に応じて、目標追跡を再開するかどうかを決定するため、単一目標の長時間追跡のロバスト性を高め、追跡目標が他の物体に干渉されることによる誤った結果を回避し、もし目標が他の物体に遮蔽されたら、追跡を再開し、追跡目標に対する追跡を恢復するので、追跡目標の正確性を確保し、誤検出が現れないようにすることができる。

【図面の簡単な説明】

【0027】

【図1】本出願の一実施例で提供される目標追跡方法の応用シーンの模式図である。

【0028】

【図2】本出願の一実施例で提供される目標追跡方法のフローチャートである。

【0029】

【図3】現在のビデオフレームで追跡された目標追跡枠の模式図である。

【0030】

【図4】現在のビデオフレームで検出された目標候補枠の模式図である。

【0031】

【図5】興味のあるエリアの模式図である。

【0032】

【図6】他の物体が目標に近づいていくことを示す模式図である。

【0033】

【図7】目標が他の物体に遮蔽されることを示す模式図である。

【0034】

【図8】前記目標追跡枠に最もマッチングする目標候補枠の模式図である。

【0035】

【図9】現在のビデオフレームの次のビデオフレームの模式図である。

【0036】

【図10】本出願の一実施例で提供される目標追跡装置の模式図である。

【0037】

【図11】本出願の一実施例で提供されるコンピュータデバイスの具体的な構成ブロック図である。

【0038】

【図12】本出願の一実施例で提供されるカメラの具体的な構成ブロック図である。

【発明を実施するための形態】

【0039】

本出願の目的、技術方案及び発明の効果をより明確にするために、以下では、図面及び実施例に基づいて、本出願をさらに詳細に説明する。ここで説明される具体的な実施例は、本出願を解釈するためだけのものであり、本出願を限定するためのものではないことが理解されるべきである。

【0040】

本出願に記載の技術方案を説明するために、以下では、具体的な実施例により説明する。

【0041】

本出願の一実施例で提供される目標追跡方法の応用シーンは、コンピュータデバイス又はカメラであってもよく、コンピュータデバイス又はカメラは、本出願の一実施例で提供される目標追跡方法を実行してビデオでの目標を追跡する。本出願の一実施例で提供される目標追跡方法の応用シーンは、互いに接続するコンピュータデバイス１００とカメラ２００を含んでもよい（図１に示す通り）。コンピュータデバイス１００及びカメラ２００では、少なくとも１つのアプリケーションプログラムが実行されることができる。コンピュータデバイス１００は、サーバ、デスクトップコンピュータ、携帯端末などであってもよく、携帯端末は携帯電話、タブレットコンピューター、ノートパソコン、携帯情報端末などを含む。カメラ２００は、通常のカメラやパノラマカメラなどであってもよい。普通のカメラとは、平面画像や平面ビデオを撮影するための撮影装置である。コンピュータデバイス１００又はカメラ２００は、本出願の一実施例で提供される目標追跡方法を実行してビデオでの目標を追跡する。

【0042】

図２を参照して、図２は、本出願の一実施例で提供される目標追跡方法のフローチャートであり、本実施例では、主にこの目標追跡方法をコンピュータデバイス又はカメラに適用することを例にとって説明し、本出願の一実施例で提供される目標追跡方法は、以下のステップを含む。

【0043】

Ｓ１０１．現在のビデオフレームで追跡された目標追跡枠と、現在のビデオフレームで検出された目標候補枠とを取得する。

【0044】

目標追跡枠は、図３の矩形枠ようになり；目標候補枠は、図４の矩形枠ようになる。

【0045】

本出願の一実施例では、前記現在のビデオフレームで追跡された目標追跡枠は、具体的には、追跡器を用いてビデオでの目標を追跡することにより得られるものであってもよい。

【0046】

前記現在のビデオフレームで検出された目標候補枠は、具体的には、検出器を呼び出して現在のビデオフレームで検出された目標候補枠であってもよい。

【0047】

本出願の一実施例では、前記現在のビデオフレームで検出された目標候補枠は、具体的には、

【0048】

所定のフレーム間隔ごとに１回の検出を行って、現在のビデオフレームで検出された目標候補枠であってもよい。所定のフレーム間隔ごとに１回の検出を行うことで、検出アルゴリズムの処理時間を節約できる。もちろん、検出の正確性を高めるために、ビデオフレームの各フレームにいずれも１回の検出を行うように設定してもよく、本出願では、具体的な限定はしない。

【0049】

本出願の一実施例では、ビデオは、パノラマビデオ又は平面ビデオであってもよく、他のビデオ形式であってもよいが、本出願では、具体的な限定はしない。

【0050】

図３に示すように、現在のビデオフレームで追跡された目標追跡枠は、図３の目標追跡枠３１であり、現在のビデオフレームで検出された目標候補枠は、図４の目標候補枠４１、４２、４３、４４、及び４５の５つの目標候補枠であり、前記目標候補枠の数は複数であってもよい。

【0051】

Ｓ１０２、前記目標追跡枠と前記目標候補枠をマッチングし、前記目標追跡枠に最もマッチングする目標候補枠を決定する。

【0052】

本出願の一実施例では、Ｓ１０２は、具体的には、以下のようにしてもよい：

【0053】

前記目標追跡枠と前記目標候補枠をそれぞれマッチングし、具体的には、ＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ；交差比）を用いてマッチングし、各目標候補枠に対応するＩｏＵ値を得ることができ；ＩｏＵは、特定のデータセットで対応する物体を検出する正確度を計測するための基準の一つであり、ＩｏＵは、簡単な計測基準であり、出力の中で予測範囲が得られるタスクであれば、いずれもＩｏＵで計測することができ；

【0054】

具体的には、対応するＩｏＵ値が最大で、予め設定された閾値を満たす目標候補枠を、前記目標追跡枠に最もマッチングする目標候補枠とすることができる。

【0055】

Ｓ１０３．前記目標候補枠のうち前記最もマッチングする目標候補枠を除く１つ又は複数の残りの目標候補枠（例えば、残りの目標候補枠の全部又は一部）と前回で検出されたビデオフレームで検出された第２の目標候補枠をマッチングし、対応するマッチング関係を決定する。

【0056】

本出願の一実施例では、Ｓ１０３は、具体的には、以下のようにしてもよい：

【0057】

前記目標候補枠のうち前記最もマッチングする目標候補枠を除く１つ又は複数の残りの目標候補枠と前回で検出されたビデオフレームで検出された第２の目標候補枠をそれぞれマッチングし、具体的には、ＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ；交差比）を用いてマッチングし、ハンガリーのマッチングアルゴリズム（Ｍｕｎｋｒｅｓ Ａｓｓｉｇｎｍｅｎｔ Ａｌｇｏｒｉｔｈｍ；Ｍｕｎｋｒｅｓ割当アルゴリズム）を用いて前記１つ又は複数の残りの目標候補枠と前記第２の目標候補枠との対応するマッチング関係を決定することができる。

【0058】

例えば、現在のビデオフレーム（第ｔのビデオフレーム）内の複数の残りの目標候補枠は、Ａ１、Ａ２、Ａ３、Ａ４である。

【0059】

前回で検出されたビデオフレーム（例えば、第ｔ－１のビデオフレームや第ｔ－３のビデオフレームなどであり、具体的には、検出を行う時の所定のフレーム間隔に応じて決定し、所定のフレーム間隔が１であれば、前のビデオフレームは第ｔ－１のビデオフレームであり、所定のフレーム間隔が３であれば、前のビデオフレームは第ｔ－３のビデオフレームである）で検出された目標候補枠は、Ｂ１、Ｂ２、Ｂ３、Ｂ４である。

【0060】

対応するマッチング関係は、Ａ１－Ｂ１、Ａ２－Ｂ２、Ａ３－Ｂ３、Ａ４－Ｂ４である。この２つのビデオフレームに４つの目標が同時に現れ、２つのビデオフレームの目標候補枠を関連付ける。

【0061】

本出願の一実施例において、Ｓ１０３は、具体的には、以下のようにしてもよい：

【0062】

前記目標追跡枠を中心として、所定の割合で拡大されたエリアを興味のあるエリア（例えば、図５のブロックエリア３２）とし、前記目標候補枠のうち興味のあるエリアに位置する前記最もマッチングする目標候補枠を除く１つ又は複数の残りの目標候補枠と前回で検出されたビデオフレームで検出された第２の目標候補枠をそれぞれマッチングし、具体的には、ＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ；交差比）を用いてマッチングし、ハンガリーのマッチングアルゴリズム（Ｍｕｎｋｒｅｓ Ａｓｓｉｇｎｍｅｎｔ Ａｌｇｏｒｉｔｈｍ；Ｍｕｎｋｒｅｓ割当アルゴリズム）を用いて前記１つ又は複数の残りの目標候補枠と前記第２の目標候補枠との対応するマッチング関係を決定することができる。興味のあるエリアに位置する残りの目標候補枠のみをマッチングするため、アルゴリズムの演算量を減らすことができる。

【0063】

例えば、現在のビデオフレーム（第ｔのビデオフレーム）内の興味のあるエリアでの複数の残りの目標候補枠は、Ａ１、Ａ２、Ａ３、Ａ４である。

【0064】

前回で検出されたビデオフレーム（例えば、第ｔ－１のビデオフレームや第ｔ－３のビデオフレームなどであり、具体的には、検出を行う時の所定のフレーム間隔に応じて決定し、所定のフレーム間隔が１であれば、前のビデオフレームは第ｔ－１のビデオフレームであり、所定のフレーム間隔が３であれば、前のビデオフレームは第ｔ－３のビデオフレームである）で検出された第２の目標候補枠は、Ｂ１、Ｂ２、Ｂ３、Ｂ４である。

【0065】

対応するマッチング関係は、Ａ１－Ｂ１、Ａ２－Ｂ２、Ａ３－Ｂ３、Ａ４－Ｂ４である。この２つのビデオフレームに４つの目標が同時に現れ、２つのビデオフレームの目標候補枠を関連付ける。

【0066】

Ｓ１０４．前記最もマッチングする目標候補枠と前記対応するマッチング関係に応じて、前記最もマッチングする目標候補枠と前記１つ又は複数の残りの目標候補枠、前記第２の目標候補枠のそれぞれとの間の距離及び重ね合わせ関係を得て、現在のビデオフレームにおける目標と他の物体との遮蔽関係を決定する。

【0067】

遮蔽関係は、目標が他の物体に遮蔽されていないこと、他の物体が目標から離れていくこと、他の物体が目標に近づいていくこと、及び目標が他の物体に遮蔽されることを含んでも良い。たとえば、図６は、他の物体が目標に近づいていくことを示し、図７は、目標が他の物体に遮蔽されることを示す。他の物体が目標に近づいていく状態が現れることは、次の検出時点に目標が他の物体に遮蔽される状態になる確率が高いことを示す。

【0068】

本出願の一実施例では、現在のビデオフレームにおける目標と他の物体との遮蔽関係は、他の物体が目標に近づいていくか、又は目標が他の物体に遮蔽されることであると、Ｓ１０４の後に、前記方法は、以下のステップをさらに含む：

【0069】

目標追跡の信頼度に応じて目標が他の物体に遮蔽されているかどうかを決定しており、例えば、目標追跡の信頼度が予め設定された閾値より小さい場合（例えば、３０％、４０％など）に、目標が他の物体に遮蔽されると決定する。

【0070】

Ｓ１０５、前記目標と他の物体との遮蔽関係に応じて、目標追跡を再開するかどうかを決定する。

【0071】

本出願の一実施例では、Ｓ１０５は、具体的には、以下のようにしてもよい：

【0072】

目標が他の物体に遮蔽されていないか、又は他の物体が目標から離れていくと、追跡を継続しており；目標が他の物体に遮蔽されると、追跡を再開し、追跡目標に対する追跡を恢復する。

【0073】

本出願の一実施例では、上記した追跡を再開し、追跡目標に対する追跡を恢復することは、具体的にはＲｅＩＤ（Ｐｅｒｓｏｎ Ｒｅ－ｉｄｅｎｔｉｆｉｃａｔｉｏｎ；歩行者再認識）ネットワーク又は画像の類似度マッチングアルゴリズムを用いて、追跡を再開し、追跡目標に対する追跡を恢復する。

【0074】

ＲｅＩＤ（Ｐｅｒｓｏｎ Ｒｅ－ｉｄｅｎｔｉｆｉｃａｔｉｏｎ；歩行者再認識）ネットワークは、コンピュータビジョン技術を用いて画像又はビデオシーケンスに特定の歩行者が存在するかどうかを判断する技術である。

【0075】

本出願の別の実施例では、上記した追跡を再開し、追跡目標に対する追跡を恢復することは、具体的には以下のステップを含んでも良い：

【0076】

現在のビデオフレームの次のビデオフレームで、目標候補枠を検出し、前記次のビデオフレームが検出器によって次回で検出されるビデオフレームであり；

【0077】

前記次のビデオフレームで検出された目標候補枠と前記最もマッチングする目標候補枠との間の寸法及び距離の関係に応じて、候補結果枠を決定しており；具体的には、ｎ個以下の候補結果枠であってもよく、ｎ＞＝２、例えばｎ＝５；（例えば、次のビデオフレームで検出された２つの目標候補枠の寸法はいずれも５＊４ｃｍであり、前記最もマッチングする目標候補枠の寸法も５＊４ｃｍであり、次のビデオフレームで検出された２つの目標候補枠の一方と前記最もマッチングする目標候補枠との間の距離は３０ｃｍであり、他方と前記最もマッチングする目標候補枠との間の距離は２０ｃｍである場合、これらの２つの目標候補枠をいずれも候補結果枠とすることができる）。

【0078】

現在のビデオフレームの次のビデオフレームと前記候補結果枠をＲｅＩＤネットワークに入力し前向き推論を行って追跡目標を再取得し、追跡目標を取得すると、追跡を再開しており；そうでなければ、最大試行回数を超えて恢復に失敗するまで、上記した追跡を再開し、追跡目標に対する追跡を恢復するステップを続けて実行する。

【0079】

本出願の一実施例では、前記前向き推論は、具体的には、図８及び図９に示すようになり、図８では現在のビデオフレームであり、図８の矩形枠が前記最もマッチングする目標候補枠であり、図９では現在のビデオフレームの次のビデオフレームであり、図９の矩形枠が候補結果枠であり；現在のビデオフレームの次のビデオフレームと候補結果枠をＲｅＩＤネットワークに入力し前記最もマッチングする目標候補枠との類似性行列を取得しており；入力された候補結果枠から最小類似距離の候補結果枠を選択し、前記最小類似距離の候補結果枠が閾値制約を満たしているかどうかを判断し、満たしていれば、追跡目標が得られるとみなし、前記最小類似距離の候補結果枠を目標追跡枠として追跡を再開し、これにより、追跡目標に対する追跡を恢復するプロセスが完了する。

【0080】

本出願の実施例では、目標候補枠のうち最もマッチングする目標候補枠を除く１つ又は複数の残りの目標候補枠と前回で検出されたビデオフレームで検出された第２の目標候補枠をマッチングし、対応するマッチング関係を決定しており；前記最もマッチングする目標候補枠と前記対応するマッチング関係に応じて、前記最もマッチングする目標候補枠と前記１つ又は複数の残りの目標候補枠、前記第２の目標候補枠のそれぞれとの間の距離及び重ね合わせ関係を得て、現在のビデオフレームにおける目標と他の物体との遮蔽関係を決定しており；前記目標と他の物体との遮蔽関係に応じて、目標追跡を再開するかどうかを決定するため、単一目標の長時間追跡のロバスト性を高め、追跡目標が他の物体に干渉されることによる誤った結果を回避し、もし目標が他の物体に遮蔽されたら、追跡を再開し、追跡目標に対する追跡を恢復するので、追跡目標の正確性を確保し、誤検出が現れないようにすることができる。

【0081】

図１０を参照して、本出願の一実施例で提供される目標追跡装置は、コンピュータデバイス又はカメラで動作されるコンピュータプログラム又はプログラムコードであってもよく、例えば、この目標追跡装置はアプリケーションソフトウェアであり；この目標追跡装置は、本出願の実施例で提供される目標追跡方法における対応するステップを実行するために用いることができる。本出願の一実施例で提供される目標追跡装置は、

【0082】

現在のビデオフレームで追跡された目標追跡枠と、現在のビデオフレームで検出された目標候補枠とを取得するための取得モジュール１１と；

【0083】

前記目標追跡枠と前記目標候補枠をマッチングし、前記目標追跡枠に最もマッチングする目標候補枠を決定するための目標候補枠決定モジュール１２と；

【0084】

前記目標候補枠のうち前記最もマッチングする目標候補枠を除く１つ又は複数の残りの目標候補枠と前回で検出されたビデオフレームで検出された第２の目標候補枠をマッチングし、対応するマッチング関係を決定するためのマッチング関係決定モジュール１３と；

【0085】

前記最もマッチングする目標候補枠と前記対応するマッチング関係に応じて、前記最もマッチングする目標候補枠と前記１つ又は複数の残りの目標候補枠、前記第２の目標候補枠のそれぞれとの間の距離及び重ね合わせ関係を得て、現在のビデオフレームにおける目標と他の物体との遮蔽関係を決定するための遮蔽関係決定モジュール１４と；

【0086】

前記目標と他の物体との遮蔽関係に応じて、目標追跡を再開するかどうかを決定するための決定モジュール１５を備える。

【0087】

本出願の一実施例で提供される目標追跡装置は、本出願の一実施例で提供される目標追跡方法と同じ構想に属し、その具体的な実現過程の詳細については、明細書の全体を参照できるので、ここでは贅言しない。

【0088】

本出願の一実施例では、コンピュータ読み取り可能な記憶媒体をさらに提供しており、前記コンピュータ読み取り可能な記憶媒体にはコンピュータプログラムを記憶し、前記コンピュータプログラムがプロセッサによって実行されるとき、本出願の一実施例で提供されるような目標追跡方法のステップを実現する。

【0089】

図１１には、本出願の一実施例で提供されるコンピュータデバイスの具体的な構成ブロック図を示しており、このコンピュータデバイスは、図１に示すコンピュータデバイスであってもよく、コンピュータデバイス１００は、１つ又は複数のプロセッサ１０１と；メモリ１０２と；１つ又は複数のコンピュータプログラムを含み、前記プロセッサ１０１と前記メモリ１０２とはバスで接続され、前記１つ又は複数のコンピュータプログラムが前記メモリ１０２に記憶され、前記１つ又は複数のプロセッサ１０１によって実行されるように配置され、前記プロセッサ１０１は前記コンピュータプログラムを実行するとき、本出願の一実施例で提供されるような目標追跡方法のステップを実現する。

【0090】

コンピュータデバイスは、デスクトップコンピュータ、携帯端末などであってもよく、携帯端末は携帯電話、タブレットコンピューター、ノートパソコン、携帯情報端末などを含む。

【0091】

図１２には、本出願の一実施例で提供されるカメラの具体的な構成ブロック図を示しており、このカメラは、図１に示すカメラであってもよく、カメラ２００は、１つ又は複数のプロセッサ２０１と；メモリ２０２と；１つ又は複数のコンピュータプログラムを含み、前記プロセッサ２０１と前記メモリ２０２とはバスで接続され、前記１つ又は複数のコンピュータプログラムが前記メモリ２０２に記憶され、前記１つ又は複数のプロセッサ２０１によって実行されるように配置され、前記プロセッサ２０１は前記コンピュータプログラムを実行するとき、本出願の一実施例で提供されるような目標追跡方法のステップを実現する。

【0092】

理解すべきのは、本出願の各実施例における各ステップは、必ずしもステップ番号で示された順序に従って順次実行する必要はない。本明細書に明確に記載されていない限り、これらのステップの実行には厳密な順序制限はなく、これらのステップは他の順序で実行されてもよい。さらに、各実施例において、ステップの少なくとも一部は、複数のサブステップ又は複数の段階を含んでいてもよく、これらのサブステップ又は段階は、必ずしも同じ時点で実行や完成される必要はなく、異なる時点で実行されてもよく、これらのサブステップ又は段階の実行順序も必ずしも順次に行う必要はなく、他のステップ又は他のステップのサブステップ又は段階の少なくとも一部と順番に又は交互に実行されてもよい。

【0093】

当業者には理解されるように、前記実施例を実現する方法のフローの全部又は一部が、コンピュータプログラムによって関連するハードウェアに命令することによって達成され得るものであり、前記プログラムは、コンピュータ読み取り可能な不揮発性記憶媒体に記憶されてもよく、このプログラムを実行する時に、上記の各方法の実施例のフローを含んでも良い。ここで、本出願で提供される各実施例に使用される、メモリ、記憶、データベース又は他の媒体についての任意の援用は、いずれも不揮発性及び／又は揮発性メモリを含んでも良い。不揮発性メモリは、リードオンリーメモリ（ＲＯＭ）、プログラマブルＲＯＭ（ＰＲＯＭ）、電気的プログラマブルＲＯＭ（ＥＰＲＯＭ）、電気的消去可能なプログラマブルＲＯＭ（ＥＥＰＲＯＭ）、又はフラッシュメモリを含んでも良い。揮発性メモリは、ランダムアクセスメモリ（ＲＡＭ）又は外部キャッシュメモリを含んでも良い。ＲＡＭは、スタティックＲＡＭ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）、デュアルデータレートＳＤＲＡＭ（ＤＤＲＳＤＲＡＭ）、拡張ＳＤＲＡＭ（ＥＳＤＲＡＭ）、同期リンク（Ｓｙｎｃｈｌｉｎｋ）ＤＲＡＭ（ＳＬＤＲＡＭ）、メモリバス（Ｒａｍｂｕｓ）ダイレクトＲＡＭ（ＲＤＲＡＭ）、ダイレクトメモリバスダイナミックＲＡＭ（ＤＲＤＲＡＭ）、及びメモリバスダイナミックＲＡＭ（ＲＤＲＡＭ）等の様々な形で得られるが、これらに限定されない。

【0094】

以上の実施例の各技術特徴は、任意に組み合わせることが可能であるが、説明を簡潔にするために、上記の実施例における各技術特徴の可能な組み合わせの全てについては説明しておらず、しかし、これらの技術特徴の組み合わせは、矛盾しない限り、本明細書に記載の範囲であるとみなされるべきである。

【0095】

以上の実施例は、本出願のいくつかの実施形態を示しているものに過ぎず、それらが比較的に具体的かつ詳細に説明されているが、それによって特許請求の範囲を制限するものとして理解されることはできない。当業者であれば、本出願の構想から逸脱することなくいくつかの変形および改良を行うこともでき、それらのすべてが本出願による保護範囲に含まれることに留意されたい。したがって、本特許出願による保護範囲は、添付の特許請求の範囲に準じるものとすべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】