特許 6944598 目標追跡方法及び装置、記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6944598

(24)【登録日】2021年9月14日

(45)【発行日】2021年10月6日

(54)【発明の名称】目標追跡方法及び装置、記憶媒体

(51)【国際特許分類】

   G06T 7/20 20170101AFI20210927BHJP

   G06T 7/00 20170101ALI20210927BHJP

【ＦＩ】

   G06T7/20

   G06T7/00 350C

【請求項の数】16

【全頁数】22

(21)【出願番号】特願2020-533117(P2020-533117)

(86)(22)【出願日】2019年10月14日

(65)【公表番号】特表2021-514498(P2021-514498A)

(43)【公表日】2021年6月10日

(86)【国際出願番号】CN2019111038

(87)【国際公開番号】WO2020147348

(87)【国際公開日】20200723

【審査請求日】2020年6月16日

(31)【優先権主張番号】201910045247.8

(32)【優先日】2019年1月17日

(33)【優先権主張国】CN

(73)【特許権者】

【識別番号】516158932

【氏名又は名称】ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド

(74)【代理人】

【識別番号】100078282

【弁理士】

【氏名又は名称】山本 秀策

(74)【代理人】

【識別番号】100113413

【弁理士】

【氏名又は名称】森下 夏樹

(74)【代理人】

【識別番号】100181674

【弁理士】

【氏名又は名称】飯田 貴敏

(74)【代理人】

【識別番号】100181641

【弁理士】

【氏名又は名称】石川 大輔

(74)【代理人】

【識別番号】230113332

【弁護士】

【氏名又は名称】山本 健策

(72)【発明者】

【氏名】▲馮▼▲うぇい▼▲韜▼

(72)【発明者】

【氏名】胡智昊

(72)【発明者】

【氏名】武▲偉▼

【審査官】 堀井 啓明

(56)【参考文献】

【文献】 特開２０１７−１９９８４０（ＪＰ，Ａ）

【文献】 特開２０１５−１９８５９２（ＪＰ，Ａ）

【文献】 特開２０１８−５８３９（ＪＰ，Ａ）

【文献】 特開２０１７−１８２２９５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／２０

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

現在画像フレームに隣接する履歴画像フレームに基づいて、第１目標対象に対応する予測目標位置情報、及び遮断対象に対応する予測遮断対象位置情報を決定するステップであって、前記遮断対象は前記第１目標対象に最も近い目標であるステップと、
前記現在画像フレームの前の履歴画像フレームシーケンスに基づいて、前記第１目標対象に対応する履歴目標外観特徴シーケンス及び遮断対象に対応する履歴遮断対象外観特徴シーケンスを決定するステップと、
前記現在画像フレームに基づいて、第２目標対象に対応する現在目標位置情報及び現在目標外観特徴を決定するステップと、
前記予測目標位置情報、前記履歴目標外観特徴シーケンス、前記現在目標位置情報及び前記現在目標外観特徴に基づいて、前記第１目標対象と前記第２目標対象との間の目標類似度情報を決定するステップと、
前記予測遮断対象位置情報、前記履歴遮断対象外観特徴シーケンス、前記現在目標位置情報及び前記現在目標外観特徴に基づいて、遮断対象類似度情報を決定するステップと、
前記目標類似度情報及び前記遮断対象類似度情報に基づいて、前記第１目標対象の追跡軌跡を決定するステップと、を含む目標追跡方法。

【請求項2】

前記予測目標位置情報、前記履歴目標外観特徴シーケンス、前記現在目標位置情報及び前記現在目標外観特徴に基づいて、前記第１目標対象と前記第２目標対象との間の目標類似度情報を決定する前記ステップは、
前記予測目標位置情報及び前記現在目標位置情報に基づいて、前記目標位置類似度を決定するステップと、
前記履歴目標外観特徴シーケンス及び前記現在目標外観特徴に基づいて、前記目標外観類似度シーケンスを決定するステップと、
前記目標位置類似度及び前記目標外観類似度シーケンスを前記目標類似度情報として決定するステップと、を含む請求項１に記載の方法。

【請求項3】

前記予測遮断対象位置情報、前記履歴遮断対象外観特徴シーケンス、前記現在目標位置情報及び前記現在目標外観特徴に基づいて、遮断対象類似度情報を決定する前記ステップは、
前記予測遮断対象位置情報及び前記現在目標位置情報に基づいて、前記遮断対象位置類似度を決定するステップと、
前記履歴遮断対象外観特徴シーケンス及び前記現在目標外観特徴に基づいて、前記遮断対象外観類似度を決定するステップと、
前記遮断対象位置類似度及び前記遮断対象外観類似度を前記遮断対象類似度情報として決定するステップと、を含む請求項１に記載の方法。

【請求項4】

第１目標対象に対応する予測目標位置情報及び遮断対象に対応する予測遮断対象位置情報を決定する前記ステップは、
単一目標追跡を実現可能なニューラルネットワークを用いて、前記予測目標位置情報及び前記予測遮断対象位置情報を決定するステップを含む請求項１に記載の方法。

【請求項5】

前記第１目標対象に対応する履歴目標外観特徴シーケンス及び遮断対象に対応する履歴遮断対象外観特徴シーケンスを決定する前記ステップは、
歩行者再識別を実現可能なニューラルネットワークを用いて、前記履歴目標外観特徴シーケンス及び前記履歴遮断対象外観特徴シーケンスを決定するステップを含む請求項１に記載の方法。

【請求項6】

前記目標類似度情報及び前記遮断対象類似度情報に基づいて、前記第１目標対象の追跡軌跡を決定する前記ステップは、
前記目標類似度情報及び前記遮断対象類似度情報に基づいて、前記第１目標対象と前記第２目標対象との間の目標軌跡関連関係を決定するステップと、
前記目標軌跡関連関係によって、前記第２目標対象から前記第１目標対象に関連する目標を検索して、前記第１目標対象の追跡軌跡を決定するステップと、を含む請求項１に記載の方法。

【請求項7】

前記目標類似度情報及び前記遮断対象類似度情報に基づいて、前記第１目標対象と前記第２目標対象との間の目標軌跡関連関係を決定する前記ステップは、
前記目標類似度情報及び前記遮断対象類似度情報を事前設定された分類器に入力するステップと、
前記事前設定された分類器を用いて、前記第１目標対象と前記第２目標対象に対して軌跡を関連付けて得られた多種の軌跡関連関係の複数の判定得点を決定するステップと、
前記多種の軌跡関連関係から判定得点が最も高い軌跡関連関係を決定して、前記目標軌跡関連関係とするステップと、を含む請求項６に記載の方法。

【請求項8】

前記目標類似度情報及び前記遮断対象類似度情報に基づいて、前記第１目標対象と前記第２目標対象との間の目標軌跡関連関係を決定する前記ステップの後、
前記目標関連関係の前記第１目標対象から前記第２目標対象と関連しない第３目標対象が決定された場合に、前記第３目標対象の信頼度値に基づいて、前記予測目標位置情報を取得するステップと、
前記目標関連関係及び前記予測目標位置情報によって、前記第１目標対象の追跡軌跡を決定するステップと、を更に含む請求項６に記載の方法。

【請求項9】

前記目標類似度情報及び前記遮断対象類似度情報に基づいて、前記第１目標対象と前記第２目標対象との間の目標軌跡関連関係を決定する前記ステップの後、
前記目標関連関係の前記第２目標対象から前記第１目標対象と関連しない第４目標対象が決定された場合に、次のラウンドの関連関係に前記第４目標対象を加えるステップであって、前記次のラウンドの関連関係は前記現在画像フレームを履歴画像フレームとして生成される関連関係であるステップと、を更に含む請求項６に記載の方法。

【請求項10】

前記単一目標追跡を実現可能なニューラルネットワークを用いて、前記第１目標対象に対応する信頼度値を決定するステップを更に含む請求項４に記載の方法。

【請求項11】

前記第３目標対象の信頼度値に基づいて、前記予測目標位置情報を取得する前記ステップは、
前記第３目標対象の信頼度値が所定の信頼度値を満たした場合に、前記予測目標位置情報を取得するステップを含む請求項８に記載の方法。

【請求項12】

前記第１目標対象の個数及び前記第２目標対象の個数はいずれも複数である請求項１〜１１のいずれか一項に記載の方法。

【請求項13】

現在画像フレームに隣接する履歴画像フレームに基づいて、第１目標対象に対応する予測目標位置情報、及び遮断対象に対応する予測遮断対象位置情報を決定し、前記遮断対象は前記第１目標対象に最も近い目標であり、前記現在画像フレームの前の履歴画像フレームシーケンスに基づいて、前記第１目標対象に対応する履歴目標外観特徴シーケンス及び遮断対象に対応する履歴遮断対象外観特徴シーケンスを決定し、前記現在画像フレームに基づいて、第２目標対象に対応する現在目標位置情報及び現在目標外観特徴を決定するように構成される第１決定モジュールと、
前記予測目標位置情報、前記履歴目標外観特徴シーケンス、前記現在目標位置情報及び前記現在目標外観特徴に基づいて、前記第１目標対象と前記第２目標対象との間の目標類似度情報を決定し、前記予測遮断対象位置情報、前記履歴遮断対象外観特徴シーケンス、前記現在目標位置情報及び前記現在目標外観特徴に基づいて、遮断対象類似度情報を決定するための第２決定モジュールと、
前記目標類似度情報及び前記遮断対象類似度情報に基づいて、前記第１目標対象の追跡軌跡を決定するための軌跡追跡モジュールと、を含む目標追跡装置。

【請求項14】

プロセッサ、メモリ及び通信バスを含み、前記プロセッサが前記メモリに記憶された動作プログラムを実行する時に請求項１〜１２のいずれか一項に記載の方法を実現する目標追跡装置。

【請求項15】

プロセッサにより実行される時に請求項１〜１２のいずれか一項に記載の方法を実現するコンピュータプログラムが記憶されており、目標追跡装置に用いられるコンピュータ読取可能記憶媒体。

【請求項16】

プロセッサに、請求項１〜１２のいずれか一項に記載の方法を実行させるコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本願は、出願番号が２０１９１００４５２４７．８で、出願日が２０１９年１月１７日である中国特許出願に基づいて提出され、且つこの中国特許出願の優先権を主張し、その開示の全てが参照によって本願に組み込まれる。

【0002】

本開示は、画像処理に関するが、それに限定されなく、特に、目標追跡方法及び装置、記憶媒体に関する。

【背景技術】

【0003】

マルチ対象追跡（ＭＯＴ：Ｍｕｌｔｉ−Ｏｂｊｅｃｔ−Ｔｒａｃｋｉｎｇ）は、映像監視システムや自動運転自動車のような映像分析システムの重要な構成部分となっている。従来のマルチ対象追跡アルゴリズムは、多種の特徴を直接利用して軌跡関係を処理するもの、単一目標追跡を行ってから軌跡関連関係を処理するものという２種類に大別されているが、以上の２種の追跡アルゴリズムは、いずれも目標を正確に追跡することができない。

【発明の概要】

【課題を解決するための手段】

【0004】

本実施例は、目標追跡方法及び装置、記憶媒体を提供する。

【0005】

本開示の技術的解決手段は、以下のように実現される。

【0006】

本実施例は目標追跡方法を提供し、前記方法は、
現在画像フレームに隣接する履歴画像フレームに基づいて、第１目標対象に対応する予測目標位置情報、及びび遮断対象に対応する予測遮断対象位置情報を決定するステップであって、前記遮断対象は前記第１目標対象に最も近い目標であるステップと、
前記現在画像フレームの前の履歴画像フレームシーケンスに基づいて、前記第１目標対象に対応する履歴目標外観特徴シーケンス及び遮断対象に対応する履歴遮断対象外観特徴シーケンスを決定するステップと、
前記現在画像フレームに基づいて、第２目標対象に対応する現在目標位置情報及び現在目標外観特徴を決定するステップと、
前記予測目標位置情報、前記履歴目標外観特徴シーケンス、前記現在目標位置情報及び前記現在目標外観特徴に基づいて、前記第１目標対象と前記第２目標対象との間の目標類似度情報を決定するステップと、
前記予測遮断対象位置情報、前記履歴遮断対象外観特徴シーケンス、前記現在目標位置情報及び前記現在目標外観特徴に基づいて、遮断対象類似度情報を決定するステップと、
前記目標類似度情報及び前記遮断対象類似度情報に基づいて、前記第１目標対象の追跡軌跡を決定するステップと、を含む。

【0007】

上記方法において、前記予測目標位置情報、前記履歴目標外観特徴シーケンス、前記現在目標位置情報及び前記現在目標外観特徴に基づいて、前記第１目標対象と前記第２目標対象との間の目標類似度情報を決定する前記ステップは、
前記予測目標位置情報及び前記現在目標位置情報に基づいて、前記目標位置類似度を決定するステップと、
前記履歴目標外観特徴シーケンス及び前記現在目標外観特徴に基づいて、前記目標外観類似度シーケンスを決定するステップと、
前記目標位置類似度及び前記目標外観類似度シーケンスを前記目標類似度情報として決定するステップと、を含む。

【0008】

上記方法において、前記予測遮断対象位置情報、前記履歴遮断対象外観特徴シーケンス、前記現在目標位置情報及び前記現在目標外観特徴に基づいて、遮断対象類似度情報を決定する前記ステップは、
前記予測遮断対象位置情報及び前記現在目標位置情報に基づいて、前記遮断対象位置類似度を決定するステップと、
前記履歴遮断対象外観特徴シーケンス及び前記現在目標外観特徴に基づいて、前記遮断対象外観類似度を決定するステップと、
前記遮断対象位置類似度及び前記遮断対象外観類似度を前記遮断対象類似度情報として決定するステップと、を含む。

【0009】

上記方法において、第１目標対象に対応する予測目標位置情報及び遮断対象に対応する予測遮断対象位置情報を決定する前記ステップは、
単一目標追跡を実現可能なニューラルネットワークを用いて、前記予測目標位置情報及び前記予測遮断対象位置情報を決定するステップを含む。

【0010】

上記方法において、前記第１目標対象に対応する履歴目標外観特徴シーケンス及び遮断対象に対応する履歴遮断対象外観特徴シーケンスを決定する前記ステップは、
歩行者再識別を実現可能なニューラルネットワークを用いて、前記履歴目標外観特徴シーケンス及び前記履歴遮断対象外観特徴シーケンスを決定するステップを含む。

【0011】

上記方法において、前記目標類似度情報及び前記遮断対象類似度情報に基づいて、前記第１目標対象の追跡軌跡を決定する前記ステップは、
前記目標類似度情報及び前記遮断対象類似度情報に基づいて、前記第１目標対象と前記第２目標対象との間の目標軌跡関連関係を決定するステップと、
前記目標軌跡関連関係によって、前記第２目標対象から前記第１目標対象に関連する目標を検索して、前記第１目標対象の追跡軌跡を決定するステップと、を含む。

【0012】

上記方法において、前記目標類似度情報及び前記遮断対象類似度情報に基づいて、前記第１目標対象と前記第２目標対象との間の目標軌跡関連関係を決定する前記ステップは、
前記目標類似度情報及び前記遮断対象類似度情報を事前設定された分類器に入力するステップと、
前記事前設定された分類器を用いて、前記第１目標対象と前記第２目標対象に対して軌跡を関連付けて得られた多種の軌跡関連関係の複数の判定得点を決定するステップと、
前記多種の軌跡関連関係から判定得点が最も高い軌跡関連関係を決定して、前記目標軌跡関連関係とするステップと、を含む。

【0013】

上記方法において、前記目標類似度情報及び前記遮断対象類似度情報に基づいて、前記第１目標対象と前記第２目標対象との間の目標軌跡関連関係を決定する前記ステップの後、前記方法は、
前記目標関連関係の前記第１目標対象から前記第２目標対象と関連しない第３目標対象が決定された時に、前記第３目標対象の信頼度値に基づいて、前記予測目標位置情報を取得するステップと、
前記目標関連関係及び前記予測目標位置情報によって、前記第１目標対象の追跡軌跡を決定するステップと、を更に含む。

【0014】

上記方法において、前記目標類似度情報及び前記遮断対象類似度情報に基づいて、前記第１目標対象と前記第２目標対象との間の目標軌跡関連関係を決定する前記ステップの後、前記方法は、
前記目標関連関係の前記第２目標対象から前記第１目標対象と関連しない第４目標対象が決定された時に、次のラウンドの関連関係に前記第４目標対象を加えるステップを更に含み、前記次のラウンドの関連関係は前記現在画像フレームを履歴画像フレームとして生成される関連関係である。

【0015】

上記方法において、前記方法は、
前記単一目標追跡を実現可能なニューラルネットワークを用いて、前記第１目標対象に対応する信頼度値を決定するステップを更に含む。

【0016】

上記方法において、前記第３目標対象の信頼度値に基づいて、前記予測目標位置情報を取得する前記ステップは、
前記第３目標対象の信頼度値が所定の信頼度値を満たした時に、前記予測目標位置情報を取得するステップを含む。

【0017】

上記方法において、前記第１目標対象の個数及び前記第２目標対象の個数はいずれも複数である。

【0018】

本実施例は目標追跡装置を提供し、前記装置は、
現在画像フレームに隣接する履歴画像フレームに基づいて、第１目標対象に対応する予測目標位置情報、及び遮断対象に対応する予測遮断対象位置情報を決定し、前記遮断対象は前記第１目標対象に最も近い目標であり、前記現在画像フレームの前の履歴画像フレームシーケンスに基づいて、前記第１目標対象に対応する履歴目標外観特徴シーケンス及び遮断対象に対応する履歴遮断対象外観特徴シーケンスを決定し、前記現在画像フレームに基づいて、第２目標対象に対応する現在目標位置情報及び現在目標外観特徴を決定するように構成される第１決定モジュールと、
前記予測目標位置情報、前記履歴目標外観特徴シーケンス、前記現在目標位置情報及び前記現在目標外観特徴に基づいて、前記第１目標対象と前記第２目標対象との間の目標類似度情報を決定し、前記予測遮断対象位置情報、前記履歴遮断対象外観特徴シーケンス、前記現在目標位置情報及び前記現在目標外観特徴に基づいて、遮断対象類似度情報を決定するように構成される第２決定モジュールと、
前記目標類似度情報及び前記遮断対象類似度情報に基づいて、前記第１目標対象の追跡軌跡を決定するように構成される軌跡追跡モジュールと、を含む。

【0019】

上記装置において、前記第１決定モジュールは、更に、前記予測目標位置情報及び前記現在目標位置情報に基づいて前記目標位置類似度を決定し、前記履歴目標外観特徴シーケンス及び前記現在目標外観特徴に基づいて前記目標外観類似度シーケンスを決定し、前記目標位置類似度及び前記目標外観類似度シーケンスを前記目標類似度情報として決定するように構成される。

【0020】

上記装置において、前記第１決定モジュールは、更に、前記予測遮断対象位置情報及び前記現在目標位置情報に基づいて前記遮断対象位置類似度を決定し、前記履歴遮断対象外観特徴シーケンス及び前記現在目標外観特徴に基づいて前記遮断対象外観類似度を決定し、前記遮断対象位置類似度及び前記遮断対象外観類似度を前記遮断対象類似度情報として決定するように構成される。

【0021】

上記装置において、前記第１決定モジュールは、更に、単一目標追跡を実現可能なニューラルネットワークを用いて、前記予測目標位置情報及び前記予測遮断対象位置情報を決定するように構成される。

【0022】

上記装置において、前記第１決定モジュールは、更に、歩行者再識別を実現可能なニューラルネットワークを用いて、前記履歴目標外観特徴シーケンス及び前記履歴遮断対象外観特徴シーケンスを決定するように構成される。

【0023】

上記装置において、前記軌跡追跡モジュールは、更に、前記目標類似度情報及び前記遮断対象類似度情報に基づいて前記第１目標対象と前記第２目標対象との間の目標軌跡関連関係を決定し、前記目標軌跡関連関係によって前記第２目標対象から前記第１目標対象に関連する目標を検索して前記第１目標対象の追跡軌跡を決定するように構成される。

【0024】

上記装置において、前記軌跡追跡モジュールは、
前記目標類似度情報及び前記遮断対象類似度情報を事前設定された分類器に入力するように構成される入力サブモジュールと、
更に、前記事前設定された分類器を用いて、前記第１目標対象と前記第２目標対象に対して軌跡を関連付けて得られた多種の軌跡関連関係の複数の判定得点を決定し、前記多種の軌跡関連関係から判定得点が最も高い軌跡関連関係を決定して前記目標軌跡関連関係とするように構成される第３決定サブモジュールと、を含む。

【0025】

上記装置において、前記軌跡追跡モジュールは、
更に、前記目標関連関係の前記第１目標対象から前記第２目標対象と関連しない第３目標対象が決定された時に、前記第３目標対象の信頼度値に基づいて、前記予測目標位置情報を取得するように構成される取得サブモジュールを更に含み、
前記第３決定サブモジュールは、更に、前記目標関連関係及び前記予測目標位置情報によって、前記第１目標対象の追跡軌跡を決定するように構成される。

【0026】

上記装置において、前記装置は、
更に、前記目標関連関係の前記第２目標対象から前記第１目標対象と関連しない第４目標対象が決定された時に、次のラウンドの関連関係に前記第４目標対象を加えるように構成される添加モジュールを更に含み、前記次のラウンドの関連関係は前記現在画像フレームを履歴画像フレームとして生成される関連関係である。

【0027】

上記装置において、前記第２決定モジュールは、更に、前記単一目標追跡を実現可能なニューラルネットワークを用いて、前記第１目標対象に対応する信頼度値を決定するように構成される。

【0028】

上記装置において、前記取得サブモジュールは、更に、前記第３目標対象の信頼度値が所定の信頼度値を満たした時に、前記予測目標位置情報を取得するように構成される。

【0029】

上記装置において、前記第１目標対象の個数及び前記第２目標対象の個数はいずれも複数である。

【0030】

本実施例は、プロセッサ、メモリ及び通信バスを含み、前記プロセッサが前記メモリに記憶された動作プログラムを実行する時に上記のいずれか一項に記載の目標追跡方法を実現する目標追跡装置を提供する。

【0031】

本実施例は、プロセッサにより実行される時に上記のいずれか一項に記載の目標追跡方法を実現するコンピュータプログラムが記憶されており、目標追跡装置に用いられるコンピュータ読取可能記憶媒体を提供する。

【0032】

本実施例は、プロセッサにより実行される時に、上記の目標追跡方法を実現できるコンピュータプログラム製品を更に提供する。

【0033】

本実施例は目標追跡方法及び装置、記憶媒体を開示する。前記方法は、現在画像フレームに隣接する履歴画像フレームに基づいて、第１目標対象に対応する予測目標位置情報及び遮断対象に対応する予測遮断対象位置情報を決定するステップと、現在画像フレームの前の履歴画像フレームシーケンスに基づいて、第１目標対象に対応する履歴目標外観特徴シーケンス及び遮断対象に対応する履歴遮断対象外観特徴シーケンスを決定するステップと、現在画像フレームに基づいて、第２目標対象に対応する現在目標位置情報及び現在目標外観特徴を決定するステップと、予測目標位置情報、履歴目標外観特徴シーケンス、現在目標位置情報及び現在目標外観特徴に基づいて、第１目標対象と第２目標対象との間の目標類似度情報を決定するステップと、予測遮断対象位置情報、履歴遮断対象外観特徴シーケンス、現在目標位置情報及び現在目標外観特徴に基づいて、遮断対象類似度情報を決定するステップと、目標類似度情報及び遮断対象類似度情報に基づいて、第１目標対象の追跡軌跡を決定するステップと、を含んでよい。上記方法の解決手段を採用することによって、目標追跡装置は、現在画像フレームに隣接する履歴画像フレームに基づいて遮断対象の予測遮断対象位置情報を決定し、現在画像フレームの前の履歴画像フレームシーケンスに基づいて遮断対象の履歴遮断対象外観特徴シーケンスを決定し、遮断対象の予測遮断対象位置情報と履歴遮断対象外観特徴シーケンスを融合し、履歴画像フレーム中の第１目標対象の追跡軌跡を決定する。それによって、目標を追跡する時に、遮断対象の予測遮断対象位置情報及び履歴遮断対象外観特徴シーケンスが利用されたので、遮断対象が目標追跡に与える影響が低減され、目標追跡の正確性が高くなった。
例えば、本願は以下の項目を提供する。
（項目１）
現在画像フレームに隣接する履歴画像フレームに基づいて、第１目標対象に対応する予測目標位置情報、及び遮断対象に対応する予測遮断対象位置情報を決定するステップであって、前記遮断対象は前記第１目標対象に最も近い目標であるステップと、
前記現在画像フレームの前の履歴画像フレームシーケンスに基づいて、前記第１目標対象に対応する履歴目標外観特徴シーケンス及び遮断対象に対応する履歴遮断対象外観特徴シーケンスを決定するステップと、
前記現在画像フレームに基づいて、第２目標対象に対応する現在目標位置情報及び現在目標外観特徴を決定するステップと、
前記予測目標位置情報、前記履歴目標外観特徴シーケンス、前記現在目標位置情報及び前記現在目標外観特徴に基づいて、前記第１目標対象と前記第２目標対象との間の目標類似度情報を決定するステップと、
前記予測遮断対象位置情報、前記履歴遮断対象外観特徴シーケンス、前記現在目標位置情報及び前記現在目標外観特徴に基づいて、遮断対象類似度情報を決定するステップと、
前記目標類似度情報及び前記遮断対象類似度情報に基づいて、前記第１目標対象の追跡軌跡を決定するステップと、を含む目標追跡方法。
（項目２）
前記予測目標位置情報、前記履歴目標外観特徴シーケンス、前記現在目標位置情報及び前記現在目標外観特徴に基づいて、前記第１目標対象と前記第２目標対象との間の目標類似度情報を決定する前記ステップは、
前記予測目標位置情報及び前記現在目標位置情報に基づいて、前記目標位置類似度を決定するステップと、
前記履歴目標外観特徴シーケンス及び前記現在目標外観特徴に基づいて、前記目標外観類似度シーケンスを決定するステップと、
前記目標位置類似度及び前記目標外観類似度シーケンスを前記目標類似度情報として決定するステップと、を含む項目１に記載の方法。
（項目３）
前記予測遮断対象位置情報、前記履歴遮断対象外観特徴シーケンス、前記現在目標位置情報及び前記現在目標外観特徴に基づいて、遮断対象類似度情報を決定する前記ステップは、
前記予測遮断対象位置情報及び前記現在目標位置情報に基づいて、前記遮断対象位置類似度を決定するステップと、
前記履歴遮断対象外観特徴シーケンス及び前記現在目標外観特徴に基づいて、前記遮断対象外観類似度を決定するステップと、
前記遮断対象位置類似度及び前記遮断対象外観類似度を前記遮断対象類似度情報として決定するステップと、を含む項目１に記載の方法。
（項目４）
第１目標対象に対応する予測目標位置情報及び遮断対象に対応する予測遮断対象位置情報を決定する前記ステップは、
単一目標追跡を実現可能なニューラルネットワークを用いて、前記予測目標位置情報及び前記予測遮断対象位置情報を決定するステップを含む項目１に記載の方法。
（項目５）
前記第１目標対象に対応する履歴目標外観特徴シーケンス及び遮断対象に対応する履歴遮断対象外観特徴シーケンスを決定する前記ステップは、
歩行者再識別を実現可能なニューラルネットワークを用いて、前記履歴目標外観特徴シーケンス及び前記履歴遮断対象外観特徴シーケンスを決定するステップを含む項目１に記載の方法。
（項目６）
前記目標類似度情報及び前記遮断対象類似度情報に基づいて、前記第１目標対象の追跡軌跡を決定する前記ステップは、
前記目標類似度情報及び前記遮断対象類似度情報に基づいて、前記第１目標対象と前記第２目標対象との間の目標軌跡関連関係を決定するステップと、
前記目標軌跡関連関係によって、前記第２目標対象から前記第１目標対象に関連する目標を検索して、前記第１目標対象の追跡軌跡を決定するステップと、を含む項目１に記載の方法。
（項目７）
前記目標類似度情報及び前記遮断対象類似度情報に基づいて、前記第１目標対象と前記第２目標対象との間の目標軌跡関連関係を決定する前記ステップは、
前記目標類似度情報及び前記遮断対象類似度情報を事前設定された分類器に入力するステップと、
前記事前設定された分類器を用いて、前記第１目標対象と前記第２目標対象に対して軌跡を関連付けて得られた多種の軌跡関連関係の複数の判定得点を決定するステップと、
前記多種の軌跡関連関係から判定得点が最も高い軌跡関連関係を決定して、前記目標軌跡関連関係とするステップと、を含む項目６に記載の方法。
（項目８）
前記目標類似度情報及び前記遮断対象類似度情報に基づいて、前記第１目標対象と前記第２目標対象との間の目標軌跡関連関係を決定する前記ステップの後、
前記目標関連関係の前記第１目標対象から前記第２目標対象と関連しない第３目標対象が決定された場合に、前記第３目標対象の信頼度値に基づいて、前記予測目標位置情報を取得するステップと、
前記目標関連関係及び前記予測目標位置情報によって、前記第１目標対象の追跡軌跡を決定するステップと、を更に含む項目６に記載の方法。
（項目９）
前記目標類似度情報及び前記遮断対象類似度情報に基づいて、前記第１目標対象と前記第２目標対象との間の目標軌跡関連関係を決定する前記ステップの後、
前記目標関連関係の前記第２目標対象から前記第１目標対象と関連しない第４目標対象が決定された場合に、次のラウンドの関連関係に前記第４目標対象を加えるステップであって、前記次のラウンドの関連関係は前記現在画像フレームを履歴画像フレームとして生成される関連関係であるステップと、を更に含む項目６に記載の方法。
（項目１０）
前記単一目標追跡を実現可能なニューラルネットワークを用いて、前記第１目標対象に対応する信頼度値を決定するステップを更に含む項目４に記載の方法。
（項目１１）
前記第３目標対象の信頼度値に基づいて、前記予測目標位置情報を取得する前記ステップは、
前記第３目標対象の信頼度値が所定の信頼度値を満たした場合に、前記予測目標位置情報を取得するステップを含む項目８に記載の方法。
（項目１２）
前記第１目標対象の個数及び前記第２目標対象の個数はいずれも複数である項目１〜１１のいずれか一項に記載の方法。
（項目１３）
現在画像フレームに隣接する履歴画像フレームに基づいて、第１目標対象に対応する予測目標位置情報、及び遮断対象に対応する予測遮断対象位置情報を決定し、前記遮断対象は前記第１目標対象に最も近い目標であり、前記現在画像フレームの前の履歴画像フレームシーケンスに基づいて、前記第１目標対象に対応する履歴目標外観特徴シーケンス及び遮断対象に対応する履歴遮断対象外観特徴シーケンスを決定し、前記現在画像フレームに基づいて、第２目標対象に対応する現在目標位置情報及び現在目標外観特徴を決定するように構成される第１決定モジュールと、
前記予測目標位置情報、前記履歴目標外観特徴シーケンス、前記現在目標位置情報及び前記現在目標外観特徴に基づいて、前記第１目標対象と前記第２目標対象との間の目標類似度情報を決定し、前記予測遮断対象位置情報、前記履歴遮断対象外観特徴シーケンス、前記現在目標位置情報及び前記現在目標外観特徴に基づいて、遮断対象類似度情報を決定するための第２決定モジュールと、
前記目標類似度情報及び前記遮断対象類似度情報に基づいて、前記第１目標対象の追跡軌跡を決定するための軌跡追跡モジュールと、を含む目標追跡装置。
（項目１４）
前記第１決定モジュールは、更に、前記予測目標位置情報及び前記現在目標位置情報に基づいて、前記目標位置類似度を決定し、前記履歴目標外観特徴シーケンス及び前記現在目標外観特徴に基づいて、前記目標外観類似度シーケンスを決定し、前記目標位置類似度及び前記目標外観類似度シーケンスを前記目標類似度情報として決定するために用いられる項目１３に記載の装置。
（項目１５）
前記第１決定モジュールは、更に、前記予測遮断対象位置情報及び前記現在目標位置情報に基づいて、前記遮断対象位置類似度を決定し、前記履歴遮断対象外観特徴シーケンス及び前記現在目標外観特徴に基づいて、前記遮断対象外観類似度を決定し、前記遮断対象位置類似度及び前記遮断対象外観類似度を前記遮断対象類似度情報として決定するために用いられる項目１３に記載の装置。
（項目１６）
前記第１決定モジュールは、更に、単一目標追跡を実現可能なニューラルネットワークを用いて、前記予測目標位置情報及び前記予測遮断対象位置情報を決定するために用いられる項目１３に記載の装置。
（項目１７）
前記第１決定モジュールは、更に、歩行者再識別を実現可能なニューラルネットワークを用いて、前記履歴目標外観特徴シーケンス及び前記履歴遮断対象外観特徴シーケンスを決定するために用いられる項目１３に記載の装置。
（項目１８）
前記軌跡追跡モジュールは、更に、前記目標類似度情報及び前記遮断対象類似度情報に基づいて前記第１目標対象と前記第２目標対象との間の目標軌跡関連関係を決定し、前記目標軌跡関連関係によって前記第２目標対象から前記第１目標対象に関連する目標を検索して前記第１目標対象の追跡軌跡を決定するために用いられる項目１３に記載の装置。
（項目１９）
前記軌跡追跡モジュールは、
前記目標類似度情報及び前記遮断対象類似度情報を事前設定された分類器に入力するための入力サブモジュールと、
更に、前記事前設定された分類器を用いて、前記第１目標対象と前記第２目標対象に対して軌跡を関連付けて得られた多種の軌跡関連関係の複数の判定得点を決定し、前記多種の軌跡関連関係から判定得点が最も高い軌跡関連関係を決定して前記目標軌跡関連関係とするための第３決定サブモジュールと、を含む項目１８に記載の装置。
（項目２０）
前記軌跡追跡モジュールは、
更に、前記目標関連関係の前記第１目標対象から前記第２目標対象と関連しない第３目標対象が決定された時に、前記第３目標対象の信頼度値に基づいて、前記予測目標位置情報を取得するための取得サブモジュールを更に含み、
前記第３決定サブモジュールは、更に、前記目標関連関係及び前記予測目標位置情報によって、前記第１目標対象の追跡軌跡を決定するために用いられる項目１９に記載の装置。
（項目２１）
更に、前記目標関連関係の前記第２目標対象から前記第１目標対象と関連しない第４目標対象が決定された時に、次のラウンドの関連関係に前記第４目標対象を加えるための添加モジュールを更に含み、前記次のラウンドの関連関係は前記現在画像フレームを履歴画像フレームとして生成される関連関係である項目１８に記載の装置。
（項目２２）
前記第２決定モジュールは、更に、前記単一目標追跡を実現可能なニューラルネットワークを用いて、前記第１目標対象に対応する信頼度値を決定するために用いられる項目１６に記載の装置。
（項目２３）
前記取得サブモジュールは、更に、前記第３目標対象の信頼度値が所定の信頼度値を満たした時に、前記予測目標位置情報を取得するために用いられる項目２０に記載の装置。
（項目２４）
前記第１目標対象の個数及び前記第２目標対象の個数はいずれも複数である項目１３〜２３のいずれか一項に記載の装置。
（項目２５）
プロセッサ、メモリ及び通信バスを含み、前記プロセッサが前記メモリに記憶された動作プログラムを実行する時に項目１〜１２のいずれか一項に記載の方法を実現する目標追跡装置。
（項目２６）
プロセッサにより実行される時に項目１〜１２のいずれか一項に記載の方法を実現するコンピュータプログラムが記憶されており、目標追跡装置に用いられるコンピュータ読取可能記憶媒体。
（項目２７）
プロセッサにより実行される時に、項目１〜１２のいずれか一項に記載の方法を実現できるコンピュータプログラム製品。

【図面の簡単な説明】

【0034】

【図1】本実施例で提供される目標追跡方法のフローチャートである。

【図2】本実施例で提供される例示的な目標追跡方法のフローチャートである。

【図3】本実施例で提供される目標追跡装置の構造模式図１である。

【図4】本実施例で提供される目標追跡装置の構造模式図２である。

【発明を実施するための形態】

【0035】

ここの図面は明細書に組み込まれて明細書の一部を構成し、これらの図面は本開示に合致する実施例を示し、明細書と共に本開示の技術的手段を説明するために用いられる。

【0036】

ここで説明される具体的な実施例は、本開示を解釈するためのものに過ぎないことを理解すべきである。本開示を限定するためのものではない。

【0037】

本実施例は、目標追跡方法を開示し、図１に示すように、この方法は、各種の追跡装置に利用可能であり、以下のステップを含んでよい。

【0038】

Ｓ１０１において、現在画像フレームに隣接する履歴画像フレームに基づいて、第１目標対象に対応する予測目標位置情報、及び遮断対象に対応する予測遮断対象位置情報を決定し、前記遮断対象は前記第１目標対象に最も近い目標である。

【0039】

前記追跡装置は、追跡端末及び／又は追跡サーバを含んでよい。

【0040】

前記追跡装置は、画像を処理可能な画像処理装置を含んでよい。例えば、この画像処理装置は、画像フレームを取得して、プロセッサによって画像フレームを処理して目標を追跡することができる画像取得モジュール（例えば、単眼又は複眼カメラ）を含んでよい。更に例えば、この画像処理装置は、画像を自ら取得せず、画像取得装置から画像フレームを受信して、画像取得装置から受信された画像フレームに対して画像処理を行って目標追跡を実現してもよい。

【0041】

前記追跡サーバはネットワーク側に位置してよく、画像取得装置は取得した画像フレームを前記追跡サーバにアップロードしてよく、追跡サーバは画像フレームを受信した後目標を追跡する。

【0042】

前記目標追跡方法は様々な適用シーンに用いてよく、例えば、前記目標追跡方法が安全保護分野に利用される時に、前記追跡装置は安全保護装置であってよい。工場内の区域又は住宅区域に入場する人及び／又は車両を監視するために、工場、商業ビル又は住宅区域の出入り口には一般的に各種のセキュリティ管理のための装置が設置されており、この時に、前記追跡装置は取得された映像に基づいて映像に含まれる画像フレームを分析して、人及び／又は車両の追跡を実現する。

【0043】

前記目標追跡方法は更に道路交通の分野に用いてよく、道路両側に前記画像フレームを取得する画像取得装置が設置されており、追跡装置はこれらの画像フレームを取得した後画像を分析して目標を追跡し、それによって道路交通法に違反した人又は車両を追跡する。

【0044】

ある実施例では、前記現在画像フレームは現時点で処理されている画像フレームであり、前記履歴画像フレームは現在画像フレームの前に取得された画像フレームである。例えば、現在画像フレームが第１時刻で取得された画像フレームであり、前記履歴画像フレームが第２時刻で取得された画像フレームであるとすれば、前記第２時刻が前記第１時刻より早い。

【0045】

本実施例で提供される目標追跡方法は、動画の中で複数の目標を追跡するシーンに適用される。

【0046】

本実施例では、前記第１目標対象は追跡される目標であり、例えば、履歴画像フレーム中の目標は歩行者、車両等であってよく、具体的に実際に応じて選択可能であり、本実施例は具体的に限定するものではない。前記第１目標対象は追跡される複数の目標中の１つであってよい。

【0047】

本実施例では、目標追跡装置は、履歴画像フレームから第１目標対象及び第１目標対象に最も近い遮断対象を決定した後、単一目標追跡を実現可能なニューラルネットワークを用いて、第１目標対象の予測目標位置情報及び遮断対象の予測遮断対象位置情報を決定する。

【0048】

本実施例では、単一目標追跡を実現可能なニューラルネットワークとしては、単一目標追跡アルゴリズムで構成されたネットワークを用いてよい。

【0049】

本実施例では、目標追跡装置は、履歴画像フレームから第１目標対象を含む目標外接矩形を画定した後、いずれか２つの目標外接矩形の共通部分を求めて得られた共通面積を、対応する２つの目標外接矩形の合併部分を求めて得られた合併面積で除算した値が最も大きい１つの別の目標対象を、第１目標対象に最も近い遮断対象とする。

【0050】

本実施例では、目標追跡装置は、現在画像フレームの前の１フレームの隣接画像を取得して履歴画像フレームとし、且つ単一目標追跡アルゴリズムを用いて、第１目標対象の現在画像フレームでの予測目標位置情報及び遮断対象の現在画像フレームでの予測遮断対象位置情報を決定する。

【0051】

ある実施例では、単一目標追跡アルゴリズムは、シャム領域候補ネットワーク（Ｓｉａｍｅｓｅ Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ）方法、シャム完全畳み込みネットワーク（Ｓｉａｍｅｓｅ Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ）方法等を含み、具体的には実際に応じて選択可能であり、本実施例は具体的に限定しない。

【0052】

本実施例では、位置情報は、座標情報又は経度緯度情報を含んでよく、具体的には実際に応じて選択可能であり、本実施例は具体的に限定しない。

【0053】

Ｓ１０２において、現在画像フレームの前の履歴画像フレームシーケンスに基づいて、第１目標対象に対応する履歴目標外観特徴シーケンス及び遮断対象に対応する履歴遮断対象外観特徴シーケンスを決定する。

【0054】

本実施例では、目標追跡装置は、現在画像フレームの前の履歴画像フレームシーケンスに基づいて、第１目標対象及び第１目標対象に最も近い遮断対象を決定した、歩行者再識別アルゴリズムを用いて第１目標対象の履歴目標外観特徴シーケンス及び遮断対象の履歴遮断対象外観特徴シーケンスを決定する。

【0055】

本実施例では、目標追跡装置は、履歴画像フレームシーケンスとして現在画像フレームの前の連続した複数フレームの画像を取得し、歩行者再識別を実現可能なニューラルネットワークを用いて第１目標対象の履歴目標外観特徴シーケンス及び遮断対象の履歴遮断対象外観特徴シーケンスを決定する。

【0056】

本実施例では、履歴目標外観特徴シーケンス中の特徴個数及び履歴遮断対象外観特徴シーケンス中の特徴個数は、履歴画像フレームシーケンスのフレーム数に一対一に対応し、具体的には実際に応じて選択可能であり、本実施例は具体的に限定しない。

【0057】

本実施例では、歩行者再識別を実現可能なニューラルネットワークとしては、歩行者再識別アルゴリズムで構成されたネットワークを用いてよい。

【0058】

本実施例では、歩行者再識別アルゴリズムは、Ｉｎｃｅｐｔｉｏｎ−ｖ４モデルを含む。

【0059】

本実施例では、第１目標対象の個数は複数である。

【0060】

Ｓ１０１とＳ１０２がＳ１０３の前の２つの並列ステップであり、Ｓ１０１とＳ１０２が絶対な時系列関係にならなく、具体的には実際に応じて選択可能であり、両者の実行順序が本実施例により限定されないことを説明する必要がある。

【0061】

Ｓ１０３において、現在画像フレームに基づいて、第２目標対象に対応する現在目標位置情報及び現在目標外観特徴を決定する。

【0062】

目標追跡装置は、第１目標対象に対応する予測目標位置情報及び履歴目標外観特徴シーケンス、遮断対象に対応する予測遮断対象位置情報及び履歴遮断対象外観特徴シーケンスを決定した後、現在画像フレームに基づいて、第２目標対象に対応する現在目標位置情報及び現在目標外観特徴を決定する。

【0063】

本実施例では、目標追跡装置は、現在画像フレームに基づいて、第２目標対象及び第２目標対象に対応する現在目標位置情報及び現在目標外観特徴を決定する。

【0064】

本実施例では、第１目標対象は第２目標対象に対して少なくとも一部がマッチング可能であり、即ち、第１目標対象中の少なくとも一部の目標が第２目標対象中の少なくとも一部の目標とマッチング可能である。

【0065】

本実施例では、第２目標対象の対象は複数である。

【0066】

Ｓ１０４において、予測目標位置情報、履歴目標外観特徴シーケンス、現在目標位置情報及び現在目標外観特徴に基づいて、第１目標対象と第２目標対象との間の目標類似度情報を決定する。

【0067】

目標追跡装置は、現在画像フレームから、第２目標対象に対応する現在目標位置情報及び現在目標外観特徴を決定した後、予測目標位置情報、履歴目標外観特徴シーケンス、現在目標位置情報及び現在目標外観特徴に基づいて、第１目標対象と第２目標対象との間の目標類似度情報を決定する。

【0068】

本実施例では、目標追跡装置は、予測目標位置情報及び現在目標位置情報に基づいて目標位置類似度を決定し、履歴目標外観特徴シーケンス及び現在目標外観特徴に基づいて目標外観類似度シーケンスを決定し、次に、目標位置類似度及び目標外観類似度シーケンスを第１目標対象及び第２目標対象との間の目標類似度情報として決定する。

【0069】

本実施例では、目標追跡装置は、予測目標位置情報と現在目標位置情報に対して類似度計算を行って目標位置類似度を得、履歴目標外観特徴シーケンスと現在目標外観特徴に対して類似度計算を行って目標外観類似度シーケンスを得る。

【0070】

Ｓ１０５において、予測遮断対象位置情報、履歴遮断対象外観特徴シーケンス、現在目標位置情報及び現在目標外観特徴に基づいて、遮断対象類似度情報を決定する。

【0071】

目標追跡装置は、現在画像フレームから、第２目標対象に対応する現在目標位置情報及び現在目標外観特徴を決定した後、予測遮断対象位置情報、履歴遮断対象外観特徴シーケンス、現在目標位置情報及び現在目標外観特徴に基づいて、遮断対象類似度情報を決定する。

【0072】

本実施例では、目標追跡装置は、予測遮断対象位置情報及び現在目標位置情報に基づいて遮断対象位置類似度を決定し、履歴遮断対象外観特徴シーケンス及び現在目標外観特徴に基づいて遮断対象外観類似度を決定し、続いて、遮断対象位置類似度及び遮断対象外観類似度を遮断対象類似度情報として決定する。

【0073】

本実施例では、目標追跡装置は、予測遮断対象位置情報及び現在目標位置情報に対して類似度計算を行って遮断対象位置類似度を得、履歴遮断対象外観特徴シーケンスと現在目標外観特徴に対して類似度計算を行って遮断対象外観類似度を得る。

【0074】

本実施例では、目標位置類似度は、目標外接矩形の共通面積を合併面積で除算した値であり、目標外観類似度シーケンスは、外観特徴のコサイン夾角である。

【0075】

遮断対象位置類似度の計算過程と目標位置類似度の計算過程が同様であり、遮断対象外観類似度と目標外観類似度シーケンスの計算過程が同様であることを説明する必要があり、ここで詳しい説明を省略する。

【0076】

Ｓ１０４とＳ１０５がＳ１０３の後且つＳ１０６の前の２つの並列ステップであり、Ｓ１０４とＳ１０５が絶対な時系列関係にならなく、具体的には実際に応じて選択可能であり、両者の実行順序が本実施例により限定されないことを説明する必要がある。

【0077】

Ｓ１０６において、目標類似度情報及び遮断対象類似度情報に基づいて、第１目標対象の追跡軌跡を決定する。

【0078】

目標追跡装置は、目標類似度情報及び遮断対象類似度情報を決定した後、目標類似度情報及び遮断対象類似度情報に基づいて第１目標対象の追跡軌跡を決定する。

【0079】

本実施例では、目標追跡装置は、目標類似度情報及び遮断対象類似度情報に基づいて第１目標対象と第２目標対象との間の目標軌跡関連関係を決定し、目標軌跡関連関係によって第２目標対象から第１目標対象に関連する目標を検索して第１目標対象の追跡軌跡を決定する。

【0080】

本実施例では、目標追跡装置は、目標類似度情報及び遮断対象類似度情報を事前設定された分類器に入力し、続いて、事前設定された分類器を用いて、第１目標対象と第２目標対象に対して軌跡を関連付けて得られた多種の軌跡関連関係の複数の判定得点を決定し、多種の軌跡関連関係から判定得点が最も高い軌跡関連関係を決定して目標軌跡関連関係とする。

【0081】

本実施例では、事前設定された分類器は、多種の軌跡関連関係中のそれぞれの関連目標の間の判定得点を出力した後、それぞれの軌跡関連関係中の判定得点を重ね、この軌跡関連関係に対応する判定得点を得、それで多種の軌跡関連関係の複数の判定得点が得られた。

【0082】

本実施例では、目標追跡装置は、特定の軌跡関連アルゴリズムを用いて履歴画像フレームにおける第１目標対象と現在画像フレーム中の第２目標対象に対して軌跡を関連付けて、第１目標対象と第２目標対象との間の多種の軌跡関連関係を得る。

【0083】

本実施例では、分類器としては勾配ブースティング決定木（Ｇｒａｄｉｅｎｔ Ｂｏｏｓｔｉｎｇ Ｄｅｃｉｓｉｏｎ Ｔｒｅｅ）モデルを採用する。

【0084】

本実施例では、特定の軌跡関連アルゴリズムは二部グラフの最大重みマッチングアルゴリズム、即ち最小費用最大流アルゴリズムである。

【0085】

ある実施例では、目標追跡装置は、目標軌跡関連関係を決定した後、目標関連関係中の第１目標対象から第２目標対象に関連する目標を決定することになり、目標関連関係中の第１目標対象から第２目標対象と関連しない第３目標対象を決定した時に、第３目標対象の信頼度値に基づいて、予測目標位置情報を取得し、続いて、目標関連関係及び予測目標位置情報によって第１目標対象の追跡軌跡を決定する。

【0086】

一例として、目標追跡装置は、第１目標対象から第２目標対象と関連しない第３目標対象を決定した時に、履歴画像フレーム中の第３目標対象が現在画像フレームで現れなかったと判断する。この時に、目標追跡装置は、第３目標対象の信頼度値が所定の信頼度閾値を満たさないことから、第３目標対象が現在画像フレームで現れなかったと決定する。第３目標対象の信頼度値が所定の信頼度閾値を満たした時に、第３目標対象が現在画像フレーム中で遮断対象に遮断されたと決定する。この時に、目標追跡装置は第３目標対象に対応する予測目標位置情報に基づいて、第３目標対象の現在画像フレームでの位置を予測する。

【0087】

ある実施例では、目標追跡装置は、目標関連関係中の第２目標対象から第１目標対象に関連する目標を決定することになり、目標関連関係中の第２目標対象から第１目標対象と関連しない第４目標対象を決定した時に、次のラウンドの関連関係に第４目標対象を加え、前記次のラウンドの関連関係は前記現在画像フレームを履歴画像フレームとして生成される関連関係である。

【0088】

一例として、目標追跡装置は、第２目標対象から第１目標対象と関連しない第４目標対象を決定出した時に、第４目標対象が新しく増加した目標対象であることを示し、この時に、第４目標対象に対して目標追跡を行う。

【0089】

本実施例では、目標関連関係において、第１目標対象と第２目標対象の中のマッチング可能な目標対象が二次元組を構成し、第１目標対象と第２目標対象の中のマッチング不可能な目標対象が一次元組を構成し、目標追跡装置は一次元組から第２目標対象中の目標対象を検索して、第１目標対象と関連しない第４目標対象とし、一次元組から第１目標対象中の目標対象を検索して、第２目標対象と関連しない第３目標対象とする。

【0090】

本実施例では、目標追跡装置は、単一目標追跡アルゴリズムを用いて、第１目標対象に対応する信頼度値及び予測目標位置情報をそれぞれ計算する。

【0091】

本実施例では、目標追跡装置は、第３目標対象に対応する信頼度値と所定の信頼度値を比較し、第３目標対象に対応する信頼度値が所定の信頼度値を満たした時に、予測目標位置情報を取得する。

【0092】

本実施例中の単一目標追跡アルゴリズム、歩行者再識別アルゴリズム、事前設定された分類器及び特定の軌跡関連アルゴリズムがいずれも置換可能アルゴリズムであり、具体的には実際に応じて選択可能であり、具体的に本実施例によって限定されないことを説明する必要がある。

【0093】

本実施例では、目標追跡装置は目標関連関係から映像中の異なる目標対象の移動軌跡を決定し、更に目標対象を追跡することができる。

【0094】

一例として、図２に示すように、短期トレールにおいて、Ｅｘテンプレートを単一目標追跡アルゴリズム（ＳＯＴ：Ｓｉｎｇｌｅ Ｏｂｊｅｃｔ Ｔｒａｃｋｉｎｇ）サブネットワークに入力してｔ＋１時刻の予測目標位置情報

【0095】

【化1】

【0096】

及び信頼度（Ｓｃｏｒｅ ｍａｐ）を取得し、続いて、検出されたｔ＋１時刻の現在目標位置情報

【0097】

【化2】

【0098】

に対して類似度計算を行って目標位置類似度

【0099】

【化3】

【0100】

を取得し、また、長期トレールにおいて、

【0101】

【化4】

【0102】

に対応する現在画像領域Ｉ_ｔ＋１，

【0103】

【化5】

【0104】

を歩行者再識別（ＲｅＩＤ、Ｐｅｒｓｏｎ Ｒｅ−ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）サブネットワークに入力して現在目標外観特徴

【0105】

【化6】

【0106】

を取得し、現在目標の履歴画像フレームでの履歴画像領域

【0107】

【化7】

【0108】

を取得し、履歴画像領域をＲｅＩＤサブネットワークに入力して履歴目標外観特徴シーケンス

【0109】

【化8】

【0110】

を取得し、続いて、現在目標外観特徴と履歴目標外観特徴シーケンスとの間の類似度を順に計算し、目標外観類似度シーケンス

【0111】

【化9】

【0112】

を取得し、続いて、目標位置類似度及び目標外観類似度シーケンスを遮断対象感受性分類器（ＳＡＣ：Ｓｗｉｔｃｈｅｒ−Ａｗａｒｅ Ｃｌａｓｓｉｆｉｅｒ）中に入力して多種の軌跡関連関係の複数の判定得点を取得し、続いて、多種の軌跡関連関係から判定得点が最も高い軌跡関連関係を決定して目標軌跡関連関係とする。

【0113】

目標追跡装置は、現在画像フレームに隣接する履歴画像フレームに基づいて遮断対象の予測遮断対象位置情報を決定し、現在画像フレームの前の履歴画像フレームシーケンスに基づいて遮断対象の履歴遮断対象外観特徴シーケンスを決定し、遮断対象の予測遮断対象位置情報と履歴遮断対象外観特徴シーケンスを融合し、履歴画像フレーム中の第１目標対象の追跡軌跡を決定することになり、それによって、目標を追跡する時に、遮断対象の予測遮断対象位置情報及び履歴遮断対象外観特徴シーケンスが利用されたので、遮断対象が目標追跡に与える影響が低減され、目標追跡の正確性が高くなったことが理解可能である。

【0114】

本実施例は、図３に示すように、第１決定モジュール１０、第２決定モジュール１１及び軌跡追跡モジュール１２を含んでよい目標追跡装置１を提供する。

【0115】

第１決定モジュール１０は、現在画像フレームに隣接する履歴画像フレームに基づいて、第１目標対象に対応する予測目標位置情報、及び遮断対象に対応する予測遮断対象位置情報を決定し、前記遮断対象は前記第１目標対象に最も近い目標であり、前記現在画像フレームの前の履歴画像フレームシーケンスに基づいて、前記第１目標対象に対応する履歴目標外観特徴シーケンス及び遮断対象に対応する履歴遮断対象外観特徴シーケンスを決定し、前記現在画像フレームに基づいて、第２目標対象に対応する現在目標位置情報及び現在目標外観特徴を決定するように構成される。

【0116】

第２決定モジュール１１は、前記予測目標位置情報、前記履歴目標外観特徴シーケンス、前記現在目標位置情報及び前記現在目標外観特徴に基づいて、前記第１目標対象と前記第２目標対象との間の目標類似度情報を決定し、前記予測遮断対象位置情報、前記履歴遮断対象外観特徴シーケンス、前記現在目標位置情報及び前記現在目標外観特徴に基づいて、遮断対象類似度情報を決定するように構成される。

【0117】

軌跡追跡モジュール１２は、前記目標類似度情報及び前記遮断対象類似度情報に基づいて、前記第１目標対象の追跡軌跡を決定するように構成される。

【0118】

ある実施例では、前記第１決定モジュール１０は、更に、前記予測目標位置情報及び前記現在目標位置情報に基づいて前記目標位置類似度を決定し、前記履歴目標外観特徴シーケンス及び前記現在目標外観特徴に基づいて前記目標外観類似度シーケンスを決定し、前記目標位置類似度及び前記目標外観類似度シーケンスを前記目標類似度情報として決定するように構成される。

【0119】

ある実施例では、前記第１決定モジュール１０は、更に、前記予測遮断対象位置情報及び前記現在目標位置情報に基づいて前記遮断対象位置類似度を決定し、前記履歴遮断対象外観特徴シーケンス及び前記現在目標外観特徴に基づいて前記遮断対象外観類似度を決定し、前記遮断対象位置類似度及び前記遮断対象外観類似度を前記遮断対象類似度情報として決定するように構成される。

【0120】

ある実施例では、前記第１決定モジュール１０は、更に、単一目標追跡を実現可能なニューラルネットワークを用いて、前記予測目標位置情報及び前記予測遮断対象位置情報を決定するように構成される。

【0121】

ある実施例では、前記第１決定モジュール１０は、更に、歩行者再識別を実現可能なニューラルネットワークを用いて、前記履歴目標外観特徴シーケンス及び前記履歴遮断対象外観特徴シーケンスを決定するように構成される。

【0122】

ある実施例では、前記軌跡追跡モジュール１２は、更に、前記目標類似度情報及び前記遮断対象類似度情報に基づいて前記第１目標対象と前記第２目標対象との間の目標軌跡関連関係を決定し、前記目標軌跡関連関係によって前記第２目標対象から前記第１目標対象に関連する目標を検索して前記第１目標対象の追跡軌跡を決定するように構成される。

【0123】

ある実施例では、前記軌跡追跡モジュール１２は、
前記目標類似度情報及び前記遮断対象類似度情報を事前設定された分類器に入力するように構成される入力サブモジュール１２０と、
更に、前記事前設定された分類器を用いて、前記第１目標対象と前記第２目標対象に対して軌跡を関連付けて得られた多種の軌跡関連関係の複数の判定得点を決定し、前記多種の軌跡関連関係から判定得点が最も高い軌跡関連関係を決定して前記目標軌跡関連関係とするように構成される第３決定サブモジュール１２１と、を含む。

【0124】

ある実施例では、前記軌跡追跡モジュール１２は、
更に、前記目標関連関係の前記第１目標対象から前記第２目標対象と関連しない第３目標対象が決定された時に、前記第３目標対象の信頼度値に基づいて、前記予測目標位置情報を取得するように構成される取得サブモジュール１２２を更に含み、
前記第３決定サブモジュール１２１は、更に、前記目標関連関係及び前記予測目標位置情報によって、前記第１目標対象の追跡軌跡を決定するように構成される。

【0125】

ある実施例では、前記装置は、
更に、前記目標関連関係の前記第２目標対象から前記第１目標対象と関連しない第４目標対象が決定された時に、次のラウンドの関連関係に前記第４目標対象を加えるように構成される添加モジュール１３であって、前記次のラウンドの関連関係は前記現在画像フレームを履歴画像フレームとして生成される関連関係である添加モジュール１３を更に含む。

【0126】

ある実施例では、前記第２決定モジュール１１は、更に、前記単一目標追跡を実現可能なニューラルネットワークを用いて、前記第１目標対象に対応する信頼度値を決定するように構成される。

【0127】

ある実施例では、前記取得サブモジュール１２２は、更に、前記第３目標対象の信頼度値が所定の信頼度値を満たした時に、前記予測目標位置情報を取得するように構成される。

【0128】

ある実施例では、前記第１目標対象の個数及び前記第２目標対象の個数はいずれも複数である。

【0129】

図４は本実施例で提供される目標追跡装置１の構造模式図１であり、実際に適用する際に、上記実施例に基づく同一開示の構想によれば、図４に示すように、本実施例の目標追跡装置１は、プロセッサ１４、メモリ１５及び通信バス１６を含む。前記第１決定モジュール１０、前記第２決定モジュール１１、前記軌跡追跡モジュール１２、前記入力サブモジュール１２０、前記第３決定サブモジュール１２１、取得サブモジュール１２２及び添加モジュール１３は、プロセッサ１によって実現される。

【0130】

具体的な実施例の過程で、上記プロセッサ１４は、専用集積回路（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ディジタル信号プロセッサ（ＤＳＰ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ディジタル信号処理画像表示装置（ＤＳＰＤ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｖｉｃｅ）、プログラム可能論理デバイス（ＰＬＤ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＣＰＵ、制御器、マイクロコントローラ、マイクロプロセッサの中の少なくとも１種のものであってよい。異なる装置によっては、上記プロセッサ機能を実現するための電子デバイスが他のものであってよく、本実施例により具体的に限定されないことが理解可能である。

【0131】

本開示の実施例では、上記通信バス１６はプロセッサ１４とメモリ１５との間の接続通信を実現するためのものであり、上記プロセッサ１４はメモリ１５に記憶された動作プログラムを実行して上記実施例の方法を実現するためのものである。

【0132】

本実施例は、プロセッサにより実行される時に上記実施例の方法を実現する、１つ又は複数のプロセッサによって実行可能な１つ又は複数のプログラムが記憶されており、目標追跡装置に用いられるコンピュータ読取可能記憶媒体を提供する。

【0133】

本実施例は、プロセッサにより実行される時に、上記のいずれか１つの技術的解決手段の目標追跡方法を実現できるコンピュータプログラム製品を更に提供する。

【0134】

本明細書において、用語「含む」、「からなる」またはその他のあらゆる変形は非排他的包含を含むように意図され、それにより一連の要素を含むプロセス、方法、物品または装置は、それらの要素のみならず、明示されていない他の要素、またはこのようなプロセス、方法、物品または装置に固有の要素をも含むことを説明する必要がある。特に断らない限り、語句「一つの……を含む」により限定される要素は、該要素を含むプロセス、方法、物品または装置に別の同じ要素がさらに存在することを排除するものではない。

【0135】

以上の実施形態に対する説明によって、当業者であれば上記実施例の方法はソフトウェアと必要な共通ハードウェアプラットフォームとの組み合わせという形態で実現できることを明らかに理解可能であり、当然ながら、ハードウェアによって実現してもよいが、多くの場合において前者はより好ましい実施形態である。このような見解をもとに、本開示の技術的解決手段は実質的にまたは関連技術に寄与する部分はソフトウェアの形で実施することができ、該コンピュータソフトウェア製品は記憶媒体（例えばＲＯＭ／ＲＡＭ、磁気ディスク、光ディスク）に記憶され、画像表示装置（携帯電話、コンピュータ、サーバ、エアコン、またはネットワーク機器などであってもよい）に本開示の各実施例に記載の方法を実行させる複数の命令を含む。

【0136】

上述したものは、本開示の保護範囲を限定するためのものではなく、本開示の好ましい実施例に過ぎない。

【図1】

【図2】

【図3】

【図4】