特開2022-117464 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

青山学院大学 (神奈川県相模原市中央区淵野辺)

▶ 北京図森智途科技有限公司の特許一覧

特開2022-117464マルチターゲット追跡モデルのトレーニング方法及びマルチターゲット追跡方法

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1A
1B
2A
2B
3
4A
4B
5
6
7
8

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022117464

(43)【公開日】2022-08-10

(54)【発明の名称】マルチターゲット追跡モデルのトレーニング方法及びマルチターゲット追跡方法

(51)【国際特許分類】

G06T 7/20 20170101AFI20220803BHJP

G06T 7/00 20170101ALI20220803BHJP

【ＦＩ】

G06T7/20 300Z

G06T7/00 350C

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2022009793

(22)【出願日】2022-01-26

(31)【優先権主張番号】202110130055.4

(32)【優先日】2021-01-29

(33)【優先権主張国・地域又は機関】CN

(71)【出願人】

【識別番号】521254764

【氏名又は名称】北京図森智途科技有限公司

(74)【代理人】

【識別番号】100134832

【弁理士】

【氏名又は名称】瀧野文雄

(74)【代理人】

【識別番号】100165308

【弁理士】

【氏名又は名称】津田俊明

(74)【代理人】

【識別番号】100115048

【弁理士】

【氏名又は名称】福田康弘

(72)【発明者】

【氏名】何嘉▲偉▼

(72)【発明者】

【氏名】黄 ▲澤▼昊

(72)【発明者】

【氏名】王乃岩

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096CA04

5L096DA02

5L096FA02

5L096FA16

5L096FA32

5L096FA62

5L096FA69

5L096FA73

5L096FA77

5L096GA51

5L096HA05

5L096HA11

5L096JA11

5L096JA16

5L096KA04

(57)【要約】（修正有）

【課題】ロバスト性を向上させたマルチターゲット追跡モデルのトレーニング方法及びマルチターゲット追跡方法を提供すること。
【解決手段】マルチターゲット追跡方法は、現在のビデオフレームにおける追跡されるターゲットに基づいてターゲットグラフを構築することと、ターゲットグラフと既存の軌跡グラフに対してグラフマッチングを行うことにより、追跡されるターゲットと軌跡グラフにおける追跡された軌跡の間のマッチングスコアを計算することと、マッチングスコアに従って追跡されるターゲットのマッチング軌跡を決定することと、を含む。ターゲットグラフは、追跡されるターゲットに対応する頂点及び頂点を結ぶ辺を含む。前記辺の辺特徴は、２つの頂点の間の属性関係を含む。軌跡グラフは、既存の追跡された軌跡に対応に対応する頂点及び頂点を結ぶ辺を含む。前記辺の辺特徴は２つの頂点の間の属性関係を含む。
【選択図】図３

【特許請求の範囲】

【請求項1】

現在のビデオフレームにおける追跡されるターゲットに基づいてターゲットグラフを構築することと、
前記ターゲットグラフと既存の軌跡グラフに対してグラフマッチングを行うことにより、前記追跡されるターゲットと前記軌跡グラフにおける追跡された軌跡の間のマッチングスコアを計算することと、
前記マッチングスコアに従って前記追跡されるターゲットのマッチング軌跡を決定することと、を含み、
前記ターゲットグラフは頂点及び頂点を結ぶ辺を含み、前記ターゲットグラフの頂点は前記追跡されるターゲットに対応し、前記ターゲットグラフにおける２つの頂点の間の辺の辺特徴は２つの頂点の間の属性関係を含み、前記軌跡グラフは頂点及び頂点を結ぶ辺を含み、前記軌跡グラフの頂点は既存の追跡された軌跡に対応し、前記軌跡グラフにおける２つの頂点の間の辺の辺特徴は２つの頂点の間の属性関係を含む、ことを特徴とするマルチターゲット追跡方法。

【請求項2】

前記頂点は頂点特徴を有し、前記ターゲットグラフにおける頂点の頂点特徴は当該頂点に対応する追跡されるターゲットの属性特徴であり、前記軌跡グラフにおける頂点の頂点特徴は当該頂点に対応する追跡された軌跡の属性特徴であり、前記ターゲットグラフと前記軌跡グラフにおける２つの頂点の間の属性関係は２つの頂点の属性特徴の間の関係である、ことを特徴とする請求項１に記載の方法。

【請求項3】

前記ターゲットグラフと既存の軌跡グラフに対してグラフマッチングを行うことにより、前記ターゲットグラフにおける追跡されるターゲットと前記軌跡グラフにおける追跡された軌跡の間のマッチングスコアを計算することは、
前記ターゲットグラフと前記軌跡グラフにおける頂点特徴と辺特徴に基づいて、前記ターゲットグラフと前記軌跡グラフの間の頂点類似度と辺類似度を計算することと、
前記頂点類似度と前記辺類似度に基づいて、前記ターゲットグラフにおける追跡されるターゲットと前記軌跡グラフにおける追跡された軌跡の間のマッチングスコアを計算することと、を含む、ことを特徴とする請求項２に記載の方法。

【請求項4】

前記ターゲットグラフと前記軌跡グラフにおける頂点特徴と辺特徴に基づいて、前記ターゲットグラフと前記軌跡グラフの間の頂点類似度と辺類似度を計算することは、
前記ターゲットグラフと前記軌跡グラフにおける頂点特徴と辺特徴を予め構築された特徴強化ネットワークに入力し、前記ターゲットグラフと前記軌跡グラフにおける頂点特徴と辺特徴に対して特徴強化を行うことと、
前記ターゲットグラフと前記軌跡グラフにおける強化後の頂点特徴と辺特徴に基づいて、前記ターゲットグラフと前記軌跡グラフの間の頂点類似度と辺類似度を計算することと、を含む、ことを特徴とする請求項３に記載の方法。

【請求項5】

現在のビデオフレームにおける追跡されるターゲットに基づいてターゲットグラフを構築する前、
過去のビデオフレームにおける追跡された軌跡に基づいて前記軌跡グラフを構築することをさらに含み、過去のビデオフレームにおける追跡された軌跡に基づいて前記軌跡グラフを構築することは、
各追跡された軌跡に対して、各過去のビデオフレームにおける当該追跡された軌跡の関連ターゲットを決定することと、
各過去のビデオフレームにおける当該追跡された軌跡の関連ターゲットの属性サブ特徴を抽出し、当該追跡された軌跡の属性特徴として対応する属性サブ特徴の平均値を計算することと、
各追跡された軌跡を頂点とし、前記軌跡グラフを構築し、前記軌跡グラフの各頂点の頂点特徴を得ることと、を含む、ことを特徴とする請求項１に記載の方法。

【請求項6】

対応する属性サブ特徴の平均値を計算することは、
移動平均法を用いて、各過去のビデオフレームにおける追跡された軌跡の関連ターゲットの属性サブ特徴に基づいて、対応する属性サブ特徴の平均値を計算することを含む、ことを特徴とする請求項５に記載の方法。

【請求項7】

前記マッチングスコアに従って前記追跡されるターゲットのマッチング軌跡を決定することは、
各追跡されるターゲットに対して、当該追跡されるターゲットと各追跡された軌跡の間のマッチングスコアから、最高マッチングスコアをスクリーニングすることと、
各追跡されるターゲットの最高マッチングスコアと予め設定されたフレームにおけるターゲット追加条件に基づいて、各追跡されるターゲットのマッチング軌跡を決定することと、を含む、ことを特徴とする請求項１に記載の方法。

【請求項8】

各追跡されるターゲットの最高マッチングスコアと予め設定されたフレームにおけるターゲット追加条件に基づいて、各追跡されるターゲットのマッチング軌跡を決定することは、
各追跡されるターゲットに対して、当該追跡されるターゲットと各追跡された軌跡の間のマッチングスコアのうちの最高マッチングスコアを切り上げ、他のマッチングスコアを切り捨て、対応する最適マッチングスコアを構成し、前記最適マッチングスコアと予め設定されたフレームにおけるターゲット追加条件に従って、各追跡されるターゲットのマッチング軌跡を決定すること、
又は、
前記現在のビデオフレームの追跡されるターゲットのうち前記フレームにおけるターゲット追加条件を満たす追跡されるターゲットを新規追加ターゲットとして決定し、前記現在のビデオフレームにおける前記新規追加ターゲットの位置を前記新規追加ターゲットのマッチング軌跡とし、前記現在のビデオフレームにおける前記新規追加ターゲットを除いた各残りの追跡されるターゲットに対して、当該残りの追跡されるターゲットの最高マッチングスコアが指す追跡された軌跡を当該残りの追跡されるターゲットのマッチング軌跡とすることを含む、ことを特徴とする請求項７に記載の方法。

【請求項9】

前記フレームにおけるターゲット追加条件は、
前記追跡されるターゲットと前記軌跡グラフにおける各追跡された軌跡の間の頂点類似度がいずれも予め設定された類似度閾値より小さいという条件、
現在のビデオフレームにおける前記追跡されるターゲットの中心位置と前記軌跡グラフにおける各追跡された軌跡におけるターゲットの中心位置の間の位置差がいずれも予め設定された位置差より大きいという条件、
現在のビデオフレームにおける前記追跡されるターゲットのターゲット検出枠と前記軌跡グラフにおける各追跡された軌跡のターゲット検出枠の間に共通部分がないという条件、のうちの少なくとも１つを含む、ことを特徴とする請求項７に記載の方法。

【請求項10】

現在のビデオフレームにおける追跡されるターゲットに基づいてターゲットグラフを構築することは、
前記現在のビデオフレームにおける各追跡されるターゲットの属性特徴を抽出することと、
各追跡されるターゲットを頂点とし、前記ターゲットグラフを構築し、前記ターゲットグラフの各頂点の頂点特徴を得ることと、を含む、ことを特徴とする請求項１～９のいずれか１項に記載の方法。

【請求項11】

現在のビデオフレームにおける追跡されるターゲットに基づいてターゲットグラフを構築するためのターゲットグラフ抽出ネットワークと、過去のビデオフレームにおける追跡された軌跡に基づいて軌跡グラフを構築するための軌跡グラフ抽出ネットワークと、前記追跡されるターゲットのマッチング軌跡を予測するために、前記ターゲットグラフと軌跡グラフに対してグラフマッチングを行うためのグラフマッチングネットワークと、を含む初期のマルチターゲット追跡モデルを構築することと、
前記マルチターゲット追跡モデルの予め設定された損失関数を用いて、トレーニングサンプルにおける追跡されるターゲットの実際のマッチング軌跡と予測されたマッチング軌跡に基づいて、前記マルチターゲット追跡モデルにおける各ネットワークに対して共同トレーニングを行い、トレーニング後のマルチターゲット追跡モデルを得ることと、を含み、
前記ターゲットグラフと軌跡グラフはいずれも頂点及び頂点を結ぶ辺を含み、前記ターゲットグラフの頂点は前記追跡されるターゲットにそれぞれ対応し、前記軌跡グラフの頂点は前記追跡された軌跡に対応し、前記ターゲットグラフと前記軌跡グラフにおける２つの頂点の辺の辺特徴は２つの頂点の間の属性関係を含む、
ことを特徴とするマルチターゲット追跡モデルのトレーニング方法。

【請求項12】

前記頂点は頂点特徴を有し、前記ターゲットグラフにおける頂点の頂点特徴は当該頂点に対応する追跡されるターゲットの属性特徴であり、前記軌跡グラフにおける頂点の頂点特徴は当該頂点に対応する追跡された軌跡の属性特徴であり、前記ターゲットグラフと前記軌跡グラフにおける２つの頂点の辺の辺特徴のうち２つの頂点の間の属性関係は２つの頂点の属性特徴の間の関係である、ことを特徴とする請求項１１に記載の方法。

【請求項13】

前記マルチターゲット追跡モデルは、前記グラフマッチングネットワークが前記ターゲットグラフと前記軌跡グラフにおける強化後の頂点特徴と辺特徴に基づいて前記ターゲットグラフと前記軌跡グラフに対してグラフマッチングを行うために、前記ターゲットグラフと前記軌跡グラフにおける頂点特徴と辺特徴に対して特徴強化を行うための特徴強化ネットワークをさらに含む、ことを特徴とする請求項１２に記載の方法。

【請求項14】

１つ又は複数のプロセッサと、
１つ又は複数のプログラムを記憶するための記憶装置と、を含み、
前記１つ又は複数のプログラムが前記１つ又は複数のプロセッサにより実行される時、前記１つ又は複数のプロセッサが請求項１１～１３のいずれか１項に記載のマルチターゲット追跡モデルのトレーニング方法を実現するか、又は請求項１～１０のいずれか１項に記載のマルチターゲット追跡方法を実現する、
ことを特徴とするコンピューティングデバイス。

【請求項15】

コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体において、当該プログラムがプロセッサにより実行される時、請求項１１～１３のいずれか１項に記載のマルチターゲット追跡モデルのトレーニング方法を実現するか、又は請求項１～１０のいずれか１項に記載のマルチターゲット追跡方法を実現する、ことを特徴とするコンピュータ読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施例は、ビデオデータ処理の技術分野に関し、特にマルチターゲット追跡モデルのトレーニング方法及びマルチターゲット追跡方法に関する。

【背景技術】

【0002】

コンピュータビジョンとディープラーニングの急速な発展に伴い、時間の経過に伴うビデオでの各ターゲットオブジェクトの移動軌跡を研究するために、ビデオマルチターゲット追跡アルゴリズムは、インテリジェント監視、ロボットビジョンシステム及び仮想現実（ＶｉｒｔｕａｌＲｅａｌｉｔｙ、ＶＲと略称）等の分野で広く使用されている。

【0003】

現在、従来のマルチターゲット追跡アルゴリズムは、主にターゲット検出とターゲット追跡の２つの段階に分けられている。ターゲット検出段階では、フレームごとに各ビデオフレームにおける各ターゲットを検出し、ターゲット追跡段階では、ビデオの各ターゲットの移動軌跡を得るために、ニューラルネットワークモデルによって各ビデオフレームにおける各ターゲットの特徴を抽出し、２分割グラフマッチングアルゴリズムを用いて各隣接するビデオフレームの前のビデオフレームにおけるターゲットと次のビデオフレームにおけるターゲットとの間の特徴類似度に基づいて、連続的なビデオフレームにおける同一のターゲットを関連付ける。

【0004】

ところが、この方法では、特定のターゲットが遮蔽されたか、又はターゲットが非常に多い場合、ターゲットオブジェクトの軌跡のマッチングを正確に行うことができないため、ビデオマルチターゲット追跡に一定の制限があり、ビデオマルチターゲット追跡アルゴリズムのロバスト性が低くなる。従って、ロバスト性により優れるマルチターゲット追跡方法を提供する必要がある。

【発明の概要】

【0005】

これを鑑み、本発明の実施例は、ビデオにおけるマルチターゲットの正確な追跡を実現し、ビデオマルチターゲット追跡の制限を回避し、ビデオマルチターゲット追跡のロバスト性を向上させるための、マルチターゲット追跡モデルのトレーニング方法及びマルチターゲット追跡方法を提供する。

【0006】

第１態様では、本発明の実施例はマルチターゲット追跡モデルのトレーニング方法を提供する。当該方法は、現在のビデオフレームにおける追跡されるターゲットに基づいてターゲットグラフを構築するためのターゲットグラフ抽出ネットワークと、過去のビデオフレームにおける追跡された軌跡に基づいて軌跡グラフを構築するための軌跡グラフ抽出ネットワークと、追跡されるターゲットのマッチング軌跡を予測するために、前記ターゲットグラフと軌跡グラフに対してグラフマッチングを行うためのグラフマッチングネットワークと、を含む初期のマルチターゲット追跡モデルを構築することと、マルチターゲット追跡モデルの予め設定された損失関数を用いて、トレーニングサンプルにおける追跡されるターゲットの実際のマッチング軌跡と予測されたマッチング軌跡に基づいて、マルチターゲット追跡モデルにおける各ネットワークに対して共同トレーニングを行い、トレーニング後のマルチターゲット追跡モデルを得ることと、を含み、ターゲットグラフと軌跡グラフはいずれも頂点及び頂点を結ぶ辺を含み、ターゲットグラフの頂点は前記追跡されるターゲットにそれぞれ対応し、軌跡グラフの頂点は追跡された軌跡に対応し、ターゲットグラフと前記軌跡グラフにおける２つの頂点の辺の辺特徴は２つの頂点の間の属性関係を含む。

【0007】

第２態様では、本発明の実施例はマルチターゲット追跡方法を提供する。当該方法は、現在のビデオフレームにおける追跡されるターゲットに基づいてターゲットグラフを構築することと、ターゲットグラフと既存の軌跡グラフに対してグラフマッチングを行うことにより、追跡されるターゲットと前記軌跡グラフにおける追跡された軌跡の間のマッチングスコアを計算することと、マッチングスコアに従って前記追跡されるターゲットのマッチング軌跡を決定することと、を含み、ターゲットグラフは頂点及び頂点を結ぶ辺を含み、ターゲットグラフの頂点は追跡されるターゲットに対応し、ターゲットグラフにおける２つの頂点の間の辺の辺特徴は２つの頂点の間の属性関係を含み、軌跡グラフは頂点及び頂点を結ぶ辺を含み、軌跡グラフの頂点は既存の追跡された軌跡に対応し、軌跡グラフにおける２つの頂点の間の辺の辺特徴は２つの頂点の間の属性関係を含む。

【0008】

第３態様では、本発明の実施例はマルチターゲット追跡モデルのトレーニング装置を提供する。当該装置は、現在のビデオフレームにおける追跡されるターゲットに基づいてターゲットグラフを構築するためのターゲットグラフ抽出ネットワークと、過去のビデオフレームにおける追跡された軌跡に基づいて軌跡グラフを構築するための軌跡グラフ抽出ネットワークと、追跡されるターゲットのマッチング軌跡を予測するために、前記ターゲットグラフと軌跡グラフに対してグラフマッチングを行うためのグラフマッチングネットワークと、を含む初期のマルチターゲット追跡モデルを構築するためのモデル構築モジュールと、マルチターゲット追跡モデルの予め設定された損失関数を用いて、トレーニングサンプルにおける追跡されるターゲットの実際のマッチング軌跡と予測されたマッチング軌跡に基づいて、マルチターゲット追跡モデルにおける各ネットワークに対して共同トレーニングを行い、トレーニング後のマルチターゲット追跡モデルを得るためのモデルトレーニングモジュールと、を含み、ターゲットグラフと軌跡グラフはいずれも頂点及び頂点を結ぶ辺を含み、ターゲットグラフの頂点は前記追跡されるターゲットにそれぞれ対応し、前記軌跡グラフの頂点は前記追跡された軌跡に対応し、前記ターゲットグラフと前記軌跡グラフにおける２つの頂点の辺の辺特徴は２つの頂点の間の属性関係を含む。

【0009】

第４態様では、本発明の実施例はマルチターゲット追跡装置を提供する。当該装置は、現在のビデオフレームにおける追跡されるターゲットに基づいてターゲットグラフを構築するためのターゲットグラフ構築モジュールと、前記ターゲットグラフと既存の軌跡グラフに対してグラフマッチングを行うことにより、追跡されるターゲットと前記軌跡グラフにおける追跡された軌跡の間のマッチングスコアを計算するためのグラフマッチングモジュールと、マッチングスコアに従って前記追跡されるターゲットのマッチング軌跡を決定するための軌跡決定モジュールと、を含み、ターゲットグラフは頂点及び頂点を結ぶ辺を含み、ターゲットグラフの頂点は前記追跡されるターゲットに対応し、ターゲットグラフにおける２つの頂点の間の辺の辺特徴は２つの頂点の間の属性関係を含み、軌跡グラフは頂点及び頂点を結ぶ辺を含み、軌跡グラフの頂点は既存の追跡された軌跡に対応し、軌跡グラフにおける２つの頂点の間の辺の辺特徴は２つの頂点の間の属性関係を含む。

【0010】

第５態様では、本発明の実施例はコンピューティングデバイスを提供する。当該コンピューティングデバイスは、１つ又は複数のプロセッサと、１つ又は複数のプログラムを記憶するための記憶装置と、を含み、前記１つ又は複数のプログラムが１つ又は複数のプロセッサにより実行される時、１つ又は複数のプロセッサが上記第１態様におけるマルチターゲット追跡モデルのトレーニング方法を実現するか、又は、上記第２態様におけるマルチターゲット追跡方法を実現する。

【0011】

第６態様では、本発明の実施例はコンピュータ読み取り可能な記憶媒体を提供する。当該コンピュータ読み取り可能な記憶媒体にコンピュータプログラムが記憶されており、当該プログラムがプロセッサにより実行される時、上記第１態様におけるマルチターゲット追跡モデルのトレーニング方法を実現するか、又は、上記第２態様におけるマルチターゲット追跡方法を実現する。

【0012】

本発明の実施例により提供されるマルチターゲット追跡モデルのトレーニング方法及びマルチターゲット追跡方法は、現在のビデオフレームにおける各追跡されるターゲットの軌跡を追跡する時、既に過去のビデオフレームに対して各追跡された軌跡を決定し、対応する軌跡グラフを構築しており、当該軌跡グラフの各頂点は既存の各追跡された軌跡に対応し、２つの頂点の間の辺の辺特徴は２つの頂点の間の属性関係を含み、この時に現在のビデオフレームにおける各追跡されるターゲットに基づいてターゲットグラフを構築し、当該ターゲットグラフの各頂点は各追跡されるターゲットに対応し、２つの頂点の間の辺の辺特徴は２つの頂点の間の属性関係を含み、次に、ターゲットグラフと軌跡グラフに対してグラフマッチングを行うことにより、各追跡されるターゲットと軌跡グラフにおける各追跡された軌跡の間のマッチングスコアを計算し、それにより各追跡されるターゲットのマッチング軌跡を決定し、ビデオマルチターゲットの正確な追跡を実現する。

【0013】

特定のターゲットが遮蔽された時に追跡に失敗する問題を防止し、ビデオマルチターゲット追跡の制限を回避し、ビデオマルチターゲット追跡のロバスト性を向上させるために、グラフマッチング時にターゲットグラフと軌跡グラフにおける辺特徴を全面的に参照する。同時に、マルチターゲット追跡モデルによってマルチターゲット追跡を実現する場合、まず当該マルチターゲット追跡モデルをトレーニングする必要があり、この時に、初期に構築されたマルチターゲット追跡モデルには、ターゲットグラフ抽出ネットワーク、軌跡グラフ抽出ネットワーク及びグラフマッチングネットワークが含まれ、それぞれマルチターゲット追跡プロセスにおけるターゲットグラフ構築、軌跡グラフ構築及びグラフマッチングステップの実行に用いられ、且つ、当該マルチターゲット追跡モデルのために対応する予め設定された損失関数を設定し、さらに、当該予め設定された損失関数を用いて、トレーニングサンプルにおける各追跡されるターゲットの実際のマッチング軌跡とマルチターゲット追跡モデルにより予測されたマッチング軌跡に基づいて、当該マルチターゲット追跡モデルにおける各ネットワークに対して共同トレーニングを行い、トレーニング後のマルチターゲット追跡モデルを得る。マルチターゲット追跡モデルにおける各ネットワークを個別にトレーニングする必要がなく、マルチターゲット追跡モデルにおける各ネットワークの間の関連性及びマルチターゲット追跡の正確性が向上する。

【図面の簡単な説明】

【0014】

【図1A】本発明の実施例１により提供されるマルチターゲット追跡モデルのトレーニング方法のフローチャートである。

【図1B】本発明の実施例１により提供されるマルチターゲット追跡モデルのトレーニングプロセスの原理模式図である。

【図2A】本発明の実施例２により提供されるマルチターゲット追跡モデルのトレーニング方法のフローチャートである。

【図2B】本発明の実施例２により提供される方法におけるマルチターゲット追跡モデルの具体的なトレーニングプロセスの原理模式図である。

【図3】本発明の実施例３により提供されるマルチターゲット追跡方法のフローチャートである。

【図4A】本発明の実施例４により提供されるマルチターゲット追跡方法のフローチャートである。

【図4B】本発明の実施例４により提供される方法におけるグラフマッチングプロセスの原理模式図である。

【図5】本発明の実施例５により提供されるマルチターゲット追跡方法のフローチャートである。

【図6】本発明の実施例６により提供されるマルチターゲット追跡モデルのトレーニング装置の構造模式図である。

【図7】本発明の実施例７により提供されるマルチターゲット追跡装置の構造模式図である。

【図8】本発明の実施例８により提供されるコンピューティングデバイスの構造模式図である。

【発明を実施するための形態】

【0015】

以下、図面と実施例に合わせて本発明をより詳細に説明する。ここで記述される具体的な実施例は本発明を解釈するためのものに過ぎず、本発明を限定するものではないことを理解すべきである。なお、記述しやすくするために、図面には、本発明に関連する部分のみが示されており、全ての構造が示されているわけではない。また、衝突しない限り、本発明における実施例及び実施例における特徴は、互いに組み合わせることができる。

【0016】

実施例１
図１Ａは、本発明の実施例１により提供されるマルチターゲット追跡モデルのトレーニング方法のフローチャートである。本実施例は任意のビデオに対してマルチターゲット追跡を実行する場合に適用される。本実施例により提供されるマルチターゲット追跡モデルのトレーニング方法は、本発明の実施例により提供されるマルチターゲット追跡モデルのトレーニング装置により実行可能であり、当該装置は、ソフトウェア及び／又はハードウェアの形態により実現可能であり、本方法を実行するコンピューティングデバイスに集積されている。

【0017】

具体的には、図１Ａを参照すると、当該方法は以下のステップを含んでもよい。

【0018】

Ｓ１１０、初期のマルチターゲット追跡モデルを構築する。

【0019】

具体的には、ビデオマルチターゲットの正確な追跡を実現するために、一般的には、ニューラルネットワークモデルをトレーニングすることによって各ビデオフレームに対して対応するマルチターゲット追跡操作を絶えず実行することで、トレーニング後のニューラルネットワークモデルが任意のビデオフレームにおける各ターゲットの追跡後のマッチング軌跡を正確に出力することができる。この場合、特定のビデオの任意のビデオフレームに対してマルチターゲット追跡を行う時、マルチターゲット追跡を必要とする現在のビデオフレーム及びマルチターゲット追跡を完了した過去のビデオフレームに分けることができ、即ち、現在のビデオフレームには、追跡を必要とする複数の追跡されるターゲットがあり、異なる過去のビデオフレームにおける各ターゲットの位置を分析することによって、過去のビデオフレームにおける当該ターゲットに対する追跡を実現することができ、それにより複数の追跡された軌跡を決定し、この時に、現在のビデオフレームに対してマルチターゲット追跡を行うことは、現在のビデオフレームにおける各追跡されるターゲットと過去のビデオフレームにおける各追跡された軌跡に対してマッチングを行うことであり、それにより各追跡された軌跡から各追跡されるターゲットのマッチング軌跡を決定する。

【0020】

本実施例において、現在のビデオフレームにおける追跡されるターゲットに対して、各追跡されるターゲットを対応する頂点とし、次に各頂点を結ぶことによって、対応するターゲットグラフを構築し、この時に、当該ターゲットグラフは頂点及び頂点を結ぶ辺を含み、ターゲットグラフにおける各頂点は現在のビデオフレームにおける各追跡されるターゲットに対応し、各頂点の頂点特徴は当該頂点に対応する追跡されるターゲットの属性特徴である。当該属性特徴は、追跡されるターゲットの外観特徴、幾何学的形状の特徴及び軌跡速度等の、現在のビデオフレームにおける追跡されるターゲットに固有の特徴を説明できる様々な特徴を含んでもよく、同時に当該ターゲットグラフにおいて２つの頂点を結ぶ辺の辺特徴は、２つの頂点の間の属性関係、即ち当該２つの頂点の属性特徴の間の関係を含んでもよい。

【0021】

同時に、過去のビデオフレームにおける追跡された軌跡についても、各追跡された軌跡を対応する頂点とし、次に各頂点を結ぶことによって、対応する軌跡グラフを構築し、この時に、当該軌跡グラフも頂点及び頂点を結ぶ辺を含み、軌跡グラフにおける各頂点は過去のビデオフレームにおける追跡を完了した各追跡された軌跡に対応し、当該追跡された軌跡は異なる過去のビデオフレームにおける同一のターゲットの位置を結んでなり、当該軌跡グラフにおける各頂点の頂点特徴は当該頂点に対応する追跡された軌跡の属性特徴であり、追跡された軌跡の属性特徴は、異なる過去のビデオフレームにおける当該追跡された軌跡に対応する各ターゲットの属性特徴を融合して得られる。例えば、異なる過去のビデオフレームにおける各追跡された軌跡に対応する各ターゲットの属性特徴の平均値を求めることで当該追跡された軌跡の属性特徴を得ることができ、軌跡グラフにおいて２つの頂点を結ぶ辺の辺特徴も２つの頂点の間の属性関係、即ち当該２つの頂点の属性特徴の間の関係を含んでもよい。

【0022】

この場合、ターゲットグラフにおける頂点特徴と辺特徴によって現在のビデオフレームにおける各追跡されるターゲットを全面的に説明することができ、軌跡グラフにおける頂点特徴と辺特徴によって過去のビデオフレームにおける各追跡された軌跡を全面的に説明することもできる。従って、ターゲットグラフと軌跡グラフに対してグラフマッチングを行うことによって、各追跡された軌跡から各追跡されるターゲットのマッチング軌跡を決定することができる。

【0023】

言い換えると、本実施例においてビデオマルチターゲット追跡の実行ステップは、主に、現在のビデオフレームにおける追跡されるターゲットのターゲットグラフを構築するステップと、過去のビデオフレームにおける追跡された軌跡の軌跡グラフを構築するステップと、ターゲットグラフと軌跡グラフに対してグラフマッチングを行うステップとの３つのステップに分けることができる。従って、ビデオマルチターゲット追跡において各ステップを実行する場合の正確性を保証するために、本実施例は、初期のマルチターゲット追跡モデルを構築する時、当該マルチターゲット追跡モデルにおいて対応するターゲットグラフ抽出ネットワーク、軌跡グラフ抽出ネットワーク及びグラフマッチングネットワークをそれぞれ設定しておくことができる。ここで、ターゲットグラフ抽出ネットワークは、現在のビデオフレームにおける追跡されるターゲットに基づいてターゲットグラフを構築することに用いられ、軌跡グラフ抽出ネットワークは、過去のビデオフレームにおける追跡された軌跡に基づいて軌跡グラフを構築することに用いられ、グラフマッチングネットワークは、各追跡された軌跡から各追跡されるターゲットのマッチング軌跡を予測するために、構築されたターゲットグラフと軌跡グラフに対してグラフマッチングを行うことに用いられ、それによりマルチターゲット追跡モデルにおける各ネットワークがビデオマルチターゲット追跡プロセスにおける対応する特定のステップを専門的に実行することができ、ビデオマルチターゲット追跡の正確性が保証される。

【0024】

なお、本実施例における追跡されるターゲットは特定のビデオの異なるビデオフレームにおいて位置が絶えず変化するターゲットオブジェクトであってもよく、例えば、軌跡追跡を必要とする歩行者、車両、動物等であってもよく、これに対して限定しない。特定のターゲット検出アルゴリズムによって現在のビデオフレームから各追跡されるターゲットを認識することができる。同時に、ターゲットグラフと軌跡グラフにおける頂点特徴と辺特徴を、後述のグラフマッチングプロセスにおいて効率的且つ容易に使用できることを保証するために、本実施例において、ターゲットグラフと軌跡グラフの頂点の属性特徴はいずれもベクトル特徴として示されてもよく、２つの頂点の辺の辺特徴も２つの頂点に対応するベクトル特徴のステッチベクトル又は加重ベクトルとして示されてもよい。

【0025】

また、ターゲットグラフと軌跡グラフに対してグラフマッチングを行う時の参照特徴の全面性を保証するために、本実施例においてターゲットグラフと軌跡グラフをいずれも完全グラフに設定してもよい。即ち、ターゲットグラフと軌跡グラフの２つずつの頂点の間に辺を結ぶことにより、ターゲットグラフにおける２つずつの頂点に対応する追跡されるターゲット又は軌跡グラフにおける２つずつの頂点に対応する追跡された軌跡を関連付け、後続のターゲットグラフと軌跡グラフに対してグラフマッチングを正確に行いやすくなる。当然ながら、当業者は、必要に応じて、ターゲットグラフと軌跡グラフを非完全グラフに設定してもよく、即ち一部の頂点の間に辺が結ばれていないことが許容される。

【0026】

Ｓ１２０、マルチターゲット追跡モデルの予め設定された損失関数を用いて、トレーニングサンプルにおける追跡されるターゲットの実際のマッチング軌跡と予測されたマッチング軌跡に基づいて、マルチターゲット追跡モデルにおける各ネットワークに対して共同トレーニングを行い、トレーニング後のマルチターゲット追跡モデルを得る。

【0027】

選択的に、初期のマルチターゲット追跡モデルを構築した後、当該マルチターゲット追跡モデルが任意のビデオにおける追跡されるターゲットに対して軌跡追跡を行うことができるように、当該マルチターゲット追跡モデルに対してマルチターゲット追跡のトレーニングを行う必要がある。この場合、構築されたマルチターゲット追跡モデルをトレーニングする時、まず当該マルチターゲット追跡モデルのために対応する予め設定された損失関数を設定し、当該予め設定された損失関数によって、現在のトレーニングプロセスでは、マルチターゲット追跡後の予測結果と実際の結果の間の違いを判定し、それによりマルチターゲット追跡モデルにおける様々なモデルパラメータを絶えず調整する。

【0028】

具体的には、まずマルチターゲット追跡モデルのトレーニングサンプルとしてマルチターゲット追跡内容を含む大量の過去のビデオを取得し、この時に、各トレーニングサンプルに対して、当該トレーニングサンプルの各ビデオフレームにおける各追跡されるターゲットの実際のマッチング軌跡を標識し、モデルトレーニングプロセスにおいて当該トレーニングサンプルの各ビデオフレームにおける追跡されるターゲットのマッチング軌跡を絶えず予測した後、予め設定された損失関数によって各追跡されるターゲットの実際のマッチング軌跡と予測されたマッチング軌跡の間の違いを判定することにより、マルチターゲット追跡モデルを調整する。即ち、当該過去のビデオにはビデオフレームにおいて各ターゲットにより構成した追跡された軌跡があり、過去のビデオにおける各フレームはいずれも現在のフレームとすることができ、各現在のフレームのいずれにもターゲットと過去のビデオの追跡された軌跡のマッチング軌跡が標識されている。

【0029】

この場合、トレーニングサンプルにおける現在のビデオフレームを構築されたマルチターゲット追跡モデルにおけるターゲットグラフ抽出ネットワークに入力し、当該ターゲットグラフ抽出ネットワークによって現在のビデオフレームにおける各追跡されるターゲットを認識し、各追跡されるターゲットの属性特徴を検出し、次に、各追跡されるターゲットを頂点とし、各頂点を結び、対応するターゲットグラフを構築し、同時に当該ターゲットグラフにおける各頂点の頂点特徴を決定し、２つの頂点の間の属性関係に従ってこの２つの頂点を結ぶ辺の辺特徴を決定し、後続のグラフマッチングプロセスに使用する。

【0030】

同時に、当該トレーニングサンプルにおける過去のビデオフレームを構築されたマルチターゲット追跡モデルにおける軌跡グラフ抽出ネットワークに入力する。この時に、各過去のビデオフレームにおいてはマルチターゲット追跡が既に完了されており、即ち軌跡グラフ抽出ネットワークによって異なる過去のビデオフレームにおいて複数の同一のターゲットを追跡した後に形成した各追跡された軌跡を認識することができ、各過去のビデオフレームにおける同一のターゲットの属性特徴に対して特徴融合（例えば、特徴平均化処理等）を行うことにより、当該ターゲットに対応する追跡された軌跡の属性特徴を得る。次に、各追跡された軌跡を頂点とし、各頂点を結び、対応する軌跡グラフを構築し、同時に軌跡グラフにおける各頂点の頂点特徴を決定し、２つの頂点の間の属性関係に従ってこの２つの頂点を結ぶ辺の辺特徴を決定し後続のグラフマッチングプロセスに使用する。

【0031】

次に、ターゲットグラフと軌跡グラフを構築されたマルチターゲット追跡モデルにおけるグラフマッチングネットワークに入力し、当該グラフマッチングネットワークにより、ターゲットグラフと軌跡グラフにおける各頂点の頂点特徴と各辺の辺特徴に基づいて、ターゲットグラフと軌跡グラフの間の頂点類似度と辺類似度を計算する。ターゲットグラフにおける頂点が各追跡されるターゲットに対応し、軌跡グラフにおける頂点が各追跡された軌跡に対応するため、各追跡された軌跡から各追跡されるターゲットのマッチング軌跡を決定することは、ターゲットグラフと軌跡グラフにおける各頂点に対してマッチングを行うことになる。従って、ターゲットグラフにおける各頂点に対して、グラフマッチングネットワークはターゲットグラフにおける当該頂点の頂点特徴及び当該頂点に関連する各辺の辺特徴、軌跡グラフにおける各頂点の頂点特徴及び軌跡グラフにおける各頂点に関連する各辺の辺特徴に基づいて、当該頂点と軌跡グラフにおける各頂点の間の全体的なマッチング度を全面的に分析し、ターゲットグラフにおける特定の頂点が部分的に遮蔽されたとしても、関連する辺特徴によって軌跡グラフにおける各頂点との間のマッチング度を分析することができ、それにより特定のターゲットが遮蔽された時に追跡に失敗する問題を防止し、ビデオマルチターゲット追跡の制限を回避する。

【0032】

即ち、グラフマッチングネットワークは、トレーニングサンプル内の過去のビデオフレームにおける各追跡された軌跡からトレーニングサンプルの現在のビデオフレームにおける各追跡されるターゲットのマッチング軌跡を予測することができる。さらに、トレーニングサンプルにおける各追跡されるターゲットの実際のマッチング軌跡と当該追跡されるターゲットの予測されたマッチング軌跡をマルチターゲット追跡モデルの予め設定された損失関数に代入し、当該予め設定された損失関数によって現在のトレーニングプロセスにおいて予測されたマッチング軌跡と実際のマッチング軌跡の間の違いを分析し、さらにマルチターゲット追跡プロセスの逆プロセスに従って、マルチターゲット追跡モデルにおけるグラフマッチングネットワーク、軌跡グラフ抽出ネットワーク及びターゲットグラフ抽出ネットワークにおいて当該違いを逆伝播することにより、グラフマッチングネットワーク、軌跡グラフ抽出ネットワーク及びターゲットグラフ抽出ネットワークにおける様々なネットワークパラメータを同期補正し、現在のトレーニングプロセスにおいて予測されたマッチング軌跡と実際のマッチング軌跡の間の違いを絶えず収束させ、それによりマルチターゲット追跡モデルにおける各ネットワークに対して共同トレーニングを行い、最終的にトレーニング後のマルチターゲット追跡モデルを得て、マルチターゲット追跡モデルにおける各ネットワークの間の関連性及びマルチターゲット追跡の正確性を向上させる。

【0033】

本実施例により提供される技術的解決手段によれば、マルチターゲット追跡モデルによってマルチターゲット追跡を実現する場合、まず当該マルチターゲット追跡モデルをトレーニングする必要があり、この時に、初期に構築されたマルチターゲット追跡モデルには、ターゲットグラフ抽出ネットワーク、軌跡グラフ抽出ネットワーク及びグラフマッチングネットワークが含まれ、それぞれマルチターゲット追跡プロセスにおけるターゲットグラフ構築、軌跡グラフ構築及びグラフマッチングステップの実行に用いられ、且つ、当該マルチターゲット追跡モデルのために対応する予め設定された損失関数を設定し、さらに、当該予め設定された損失関数を用いて、トレーニングサンプルにおける各追跡されるターゲットの実際のマッチング軌跡とマルチターゲット追跡モデルにより予測されたマッチング軌跡に基づいて、当該マルチターゲット追跡モデルにおける各ネットワークに対して共同トレーニングを行い、トレーニング後のマルチターゲット追跡モデルを得る。マルチターゲット追跡モデルにおける各ネットワークを個別にトレーニングする必要がなく、マルチターゲット追跡モデルにおける各ネットワークの間の関連性及びマルチターゲット追跡の正確性が向上する。

【0034】

実施例２
図２Ａは本発明の実施例２により提供されるマルチターゲット追跡モデルのトレーニング方法のフローチャートであり、図２Ｂは本発明の実施例２により提供される方法のマルチターゲット追跡モデルの具体的なトレーニングプロセスの原理模式図である。本実施例は上記実施例を基に最適化したものである。具体的には、図２Ｂに示すように、上記技術的解決手段を基に、グラフマッチングネットワークによりターゲットグラフと軌跡グラフの間の頂点類似度と辺類似度に従ってターゲットグラフと軌跡グラフに対してグラフマッチングを行う場合の正確性を向上させるために、本実施例において、さらに初期のマルチターゲット追跡モデルを構築する時、当該マルチターゲット追跡モデルにおいて特徴強化ネットワークを別途設定する。当該特徴強化ネットワークは、ターゲットグラフ抽出ネットワークによって現在のビデオフレームにおける追跡されるターゲットのターゲットグラフを構築し、軌跡グラフ抽出ネットワークによって過去のビデオフレームにおける追跡された軌跡の軌跡グラフを構築した後、グラフマッチングネットワークがターゲットグラフと軌跡グラフの強化後の頂点特徴と辺特徴に基づいてターゲットグラフと軌跡グラフに対してグラフマッチングを行うために、構築されたターゲットグラフと軌跡グラフにおける頂点特徴と辺特徴に対して特徴強化を行うことに用いられる。

【0035】

具体的には、図２Ｂに示すように、本実施例において以下のステップを含んでもよい。

【0036】

Ｓ２１０、初期のマルチターゲット追跡モデルを構築する。

【0037】

Ｓ２２０、マルチターゲット追跡モデルにおけるターゲットグラフ抽出ネットワークを用いてトレーニングサンプル内の現在のビデオフレームにおける追跡されるターゲットのターゲットグラフを構築する。

【0038】

選択的に、トレーニングサンプルにおける現在のビデオフレームを構築されたマルチターゲット追跡モデルにおけるターゲットグラフ抽出ネットワークに入力し、当該ターゲットグラフ抽出ネットワークによって現在のビデオフレームにおける各追跡されるターゲットを認識し、各追跡されるターゲットの属性特徴を検出し、次に、各追跡されるターゲットを頂点とし、各頂点を結び、対応するターゲットグラフを構築し、同時に当該ターゲットグラフにおける各頂点の頂点特徴を決定し、２つの頂点の間の属性関係に従ってこの２つの頂点を結ぶ辺の辺特徴を決定する。

【0039】

Ｓ２３０、マルチターゲット追跡モデルにおける軌跡グラフ抽出ネットワークを用いてトレーニングサンプル内の過去のビデオフレームにおける追跡された軌跡の軌跡グラフを構築する。

【0040】

選択的に、当該トレーニングサンプルにおける過去のビデオフレームを構築されたマルチターゲット追跡モデルにおける軌跡グラフ抽出ネットワークに入力し、当該ターゲットに対応する追跡された軌跡の属性特徴を得て、次に、各追跡された軌跡を頂点とし、各頂点を結び、対応する軌跡グラフを構築し、同時に軌跡グラフにおける各頂点の頂点特徴を決定し、２つの頂点の間の属性関係に従ってこの２つの頂点を結ぶ辺の辺特徴を決定する。

【0041】

Ｓ２４０、マルチターゲット追跡モデルにおける特徴強化ネットワークを用いてターゲットグラフと軌跡グラフにおける頂点特徴と辺特徴に対して特徴強化を行い、ターゲットグラフと軌跡グラフにおける強化後の頂点特徴と辺特徴をマルチターゲット追跡モデルにおけるグラフマッチングネットワークに入力し、追跡されるターゲットのマッチング軌跡を予測する。

【0042】

本実施例において、ターゲットグラフと軌跡グラフにおける各頂点の間のマッチングの正確性をさらに向上させるために、まずターゲットグラフと軌跡グラフにおける各頂点の頂点特徴と２つの頂点を結ぶ辺の辺特徴をマルチターゲット追跡モデルにおける特徴強化ネットワークにそれぞれ入力し、当該特徴強化ネットワークはターゲットグラフにおける各頂点の頂点特徴に対して、当該頂点と軌跡グラフにおける各頂点の間の特徴類似度を分析する。次に、特徴類似度をそれぞれ当該頂点と軌跡グラフにおける各頂点の間の重みとし、当該頂点と軌跡グラフにおける各頂点の間の重みを用いて、軌跡グラフにおける各頂点の頂点特徴を加重して当該頂点の頂点特徴に融合することにより、特徴強化後の当該頂点の頂点特徴を得る。

【0043】

例えば、ターゲットグラフにおける特定の頂点の頂点特徴がｈ_ｉであり、軌跡グラフにおける各頂点の頂点特徴がｈ_ｊ，１、ｈ_{ｊ，２、・・・}ｈ_ｊ，ｎであり、ここでｎが軌跡グラフにおける頂点の数である場合、軌跡グラフにおける各頂点の頂点特徴とターゲットグラフにおける当該頂点の頂点特徴の間の特徴類似度ｗ_ｉ，ｊ１、ｗ_{ｉ，ｊ２、・・・、}ｗ_ｉ，ｊｎを算出することができる。この時に、ターゲットグラフにおける特徴強化後の当該頂点の頂点特徴はｈ’_ｉ＝ｈ_ｉ＋ｗ_ｉ，ｊ１・ｈ_ｊ，１＋ｗ_ｉ，ｊ２・ｈ_ｊ，２＋Ｌ＋ｗ_ｉ，ｊｎ・ｈ_ｊ，ｎであってもよい。それにより特定の頂点の特徴強化後の頂点特徴は軌跡グラフにおける類似する頂点の頂点特徴とより類似し、軌跡グラフにおける類似しない頂点の頂点特徴とより容易に区別しやすくなる。上記と同じステップに従って、ターゲットグラフにおける各頂点と軌跡グラフにおける各頂点の間の特徴類似度を計算することによって、軌跡グラフにおける各頂点の特徴の加重結果を用いてターゲットグラフにおける各頂点の頂点特徴に対して特徴強化を行うことができる。同時に、軌跡グラフにおける各頂点の頂点特徴に対して、上記ターゲットグラフにおける頂点特徴の強化方法を用いて、当該頂点とターゲットグラフにおける各頂点の間の特徴類似度を分析して対応する重みとし、当該頂点とターゲットグラフにおける各頂点の間の重みを用いて、ターゲットグラフにおける各頂点の頂点特徴を加重して当該頂点の頂点特徴に融合することにより、軌跡グラフにおける当該頂点の特徴強化後の頂点特徴を得てもよい。

【0044】

一実施形態において、強化後の頂点特徴を直接ステッチ又は加重した後、強化後の辺特徴としてもよい。

【0045】

別の実施形態において、ターゲットグラフと軌跡グラフにおける各辺の辺特徴に対して、上記により提供された頂点特徴強化と同じ方法を用いて、ターゲットグラフにおける各辺の辺特徴と軌跡グラフにおける各辺の辺特徴の間の特徴類似度をそれぞれ計算し、ターゲットグラフにおける各辺と軌跡グラフにおける各辺の間の重みとしてもよい。次に、当該重みを用いて軌跡グラフにおける各辺の辺特徴を加重してターゲットグラフの当該辺の辺特徴に融合するか、又はターゲットグラフにおける各辺の辺特徴を加重して軌跡グラフの当該辺の辺特徴に融合することによって、ターゲットグラフと軌跡グラフにおける各辺の辺特徴に対して特徴強化を行い、ターゲットグラフと軌跡グラフにおける各辺の特徴強化後の辺特徴を得る。後続でグラフマッチングネットワークによってターゲットグラフと軌跡グラフにおける特徴強化後の頂点特徴と辺特徴を用いてターゲットグラフと軌跡グラフの間の頂点類似度と辺類似度を計算した後、各追跡されるターゲットのマッチング軌跡をより正確に予測することができる。

【0046】

上記方法における重み計算の選択可能な方法として、本実施例は、下記式によりターゲットグラフにおける各頂点と軌跡グラフにおける各頂点の間の重みを計算するか、又はターゲットグラフにおける各辺と軌跡グラフにおける各辺の間の重みを計算することができる：ｗ_ｉ，ｊ＝ｃｏｓ（ｈ_ｉ，ｈ_ｊ）＋ＩｏＵ（ｇ_ｉ，ｇ_ｊ）。但し、ターゲットグラフと軌跡グラフにおける頂点の間の重みを計算する場合、ｈ_ｉはターゲットグラフにおける特定の頂点の頂点特徴であり、ｈ_ｊは軌跡グラフにおける特定の頂点の頂点特徴であり、ｇ_ｉはターゲットグラフにおける当該頂点に対応する追跡されるターゲットの現在のビデオフレームでの検出枠の大きさであり、ｇ_ｊは軌跡グラフにおける当該頂点に対応する追跡された軌跡の過去のビデオフレームでの関連ターゲットの検出枠の大きさであり、ｃｏｓ（ｈ_ｉ，ｈ_ｊ）はターゲットグラフにおける当該頂点と軌跡グラフの頂点の間の特徴類似度を示し、ＩｏＵ（ｇ_ｉ，ｇ_ｊ）はターゲットグラフと軌跡グラフにおける頂点の間の検出枠の重なり割合、即ち検出枠の共通部分と全体との比率を示す。ターゲットグラフと軌跡グラフにおける辺の間の重みを計算する場合、ｈ_ｉはターゲットグラフにおける特定の辺の辺特徴であり、ｈ_ｊは軌跡グラフにおける特定の辺の辺特徴であり、ｇ_ｉはターゲットグラフにおける当該辺に結ばれる２つの頂点に対応する追跡されるターゲットの現在のビデオフレームでの検出枠の大きさであり、ｇ_ｊは軌跡グラフにおける当該辺に結ばれる２つの頂点に対応する追跡された軌跡の過去のビデオフレームでの関連ターゲットの検出枠の大きさであり、ｃｏｓ（ｈ_ｉ，ｈ_ｊ）はターゲットグラフにおける当該辺と軌跡グラフの当該辺の間の特徴類似度を示し、ＩｏＵ（ｇ_ｉ，ｇ_ｊ）はターゲットグラフと軌跡グラフにおける辺に結ばれる２つの頂点の間の検出枠の重なり割合、即ち２つの検出枠の共通部分と全体との比率を示す。それにより特徴強化時に選択された重みの正確性を保証し、さらにターゲットグラフと軌跡グラフにおける頂点特徴と辺特徴の特徴強化の正確性を向上させる。

【0047】

なお、本実施例における特徴強化ネットワークは、グラフ間のグラフ畳み込みネットワーク又は情報伝達ネットワーク等の、特徴集約と特徴強化機能を有するグラフニューラルネットワークであってもよい。

【0048】

さらに、ターゲットグラフと軌跡グラフにおける強化後の頂点特徴と辺特徴をマルチターゲット追跡モデルにおけるグラフマッチングネットワークに入力した後、グラフマッチングネットワークはターゲットグラフと軌跡グラフにおける強化後の頂点特徴と辺特徴に基づいてターゲットグラフと軌跡グラフの間の頂点類似度と辺類似度を計算し、頂点類似度と辺類似度に基づいてターゲットグラフにおける追跡されるターゲットと軌跡グラフにおける追跡された軌跡の間のマッチングスコアを計算し、マッチングスコアに基づいて追跡されるターゲットのマッチング軌跡を予測することができる。具体的には、グラフマッチングネットワークは、まずターゲットグラフにおける各頂点と各辺に対して、それぞれ対応する強化後の頂点特徴と辺特徴、及び、軌跡グラフにおける各頂点の頂点特徴と各辺の辺特徴を用いて、ターゲットグラフにおける各頂点と軌跡グラフにおける各頂点の間の頂点類似度、及び、ターゲットグラフにおける各辺と軌跡グラフにおける各辺の間の辺類似度を計算する。次に、ターゲットグラフにおける各追跡されるターゲットの対応する頂点に対して、当該頂点と軌跡グラフにおける各頂点の間の頂点類似度、及び、ターゲットグラフにおける当該頂点を結ぶ各辺と軌跡グラフにおける各辺の間の辺類似度を分析することによって、ターゲットグラフにおける各頂点と軌跡グラフにおける各頂点の間のマッチング度を全体的に判定し、それによりターゲットグラフにおける追跡されるターゲットと軌跡グラフにおける追跡された軌跡の間のマッチングスコアを得る。次に、各追跡されるターゲットと各追跡された軌跡の間の最高マッチングスコアを検索することによって、各追跡された軌跡から各追跡されるターゲットのマッチング軌跡を予測する。

【0049】

上記技術的解決手段を基に、図２Ｂに示すように、本実施例におけるグラフマッチングネットワークは、頂点類似変換層、辺類似変換層及び二次計画層で構成されてもよい。当該頂点類似変換層は、ターゲットグラフと軌跡グラフの間の頂点類似度を計算し、次元変換を行うことに用いられ、辺類似変換層は、ターゲットグラフと軌跡グラフの間の辺類似度を計算し、次元変換を行うことに用いられ、二次計画層は、二次計画問題に基づいて、次元変換後の頂点類似度と辺類似度を用いてマッチングスコアを計算することに用いられる。

【0050】

具体的には、ターゲットグラフにおける各頂点の頂点特徴と各辺の辺特徴、及び、軌跡グラフにおける各頂点の頂点特徴と各辺の辺特徴をそれぞれグラフマッチングネットワークに入力した後、当該グラフマッチングネットワークにおける頂点類似変換層は、ターゲットグラフにおける各頂点と軌跡グラフにおける各頂点の間の特徴類似度を分析することによって、ターゲットグラフと軌跡グラフの間の頂点類似度を算出する。この時に、当該頂点類似度はｍ_１×ｎ_１のマトリックスであり、但し、ｍ_１はターゲットグラフにおける頂点の数であり、ｎ_１は軌跡グラフにおける頂点の数である。グラフマッチングネットワークにおける辺類似変換層は、ターゲットグラフにおける各辺と軌跡グラフにおける各辺の間の特徴類似度を分析することによって、ターゲットグラフと軌跡グラフの間の辺類似度を算出し、この時に、当該辺類似度はｍ_２×ｎ_２のマトリックスであり、但し、ｍ_２はターゲットグラフにおける辺の数であり、ｎ_２は軌跡グラフにおける辺の数である。ターゲットグラフと軌跡グラフの間の頂点類似度と辺類似度の次元が異なるため、後続で頂点類似度と辺類似度に基づいてターゲットグラフと軌跡グラフの間のマッチングスコアを計算する時、頂点類似度と辺類似度を迅速に融合することができない。従って、本実施例において、さらに、頂点類似変換層によってターゲットグラフと軌跡グラフの間の頂点類似度に対して次元変換を行い、辺類似変換層によってターゲットグラフと軌跡グラフの間の辺類似度に対して次元変換を行うことで、次元変換後の頂点類似度と辺類似度の間を正確且つ効率的に統合することができる。また、ターゲットグラフと軌跡グラフにおける辺の数は具体的にターゲットグラフと軌跡グラフにおける頂点の数により決定されるため、頂点類似変換層と辺類似変換層はターゲットグラフと軌跡グラフにおける頂点の数に従って対応する変換次元をそれぞれ設定する。

【0051】

さらに、二次計画層は、元のグラフマッチングプロセスで使用された二次配分問題における離散配分ターゲットを対応する連続的な計画ターゲットに予め緩和調整し、次に調整後の二次配分問題に対して対応する変換を行い、対応する二次計画問題を得て、それにより二次計画層が微分可能及び学習可能な機能を備えるようになり、後続でニューラルネットワークのトレーニングを行いやすくなる。例示的には、二次計画層の二次計画問題は

【数1】

であってもよい。ここで、Ｄ’は緩和調整後の連続的な計画ターゲットであり、Ｍは次元変換後の辺類似度であり、ｂは次元変換後の頂点類似度であり、Ｘ^＊はターゲットグラフにおける追跡されるターゲットと軌跡グラフにおける追跡された軌跡の間のマッチングスコアである。この時に、二次計画層は次元変換後の頂点類似度と辺類似度を当該二次計画問題に代入すると、ターゲットグラフにおける各追跡されるターゲットと軌跡グラフにおける各追跡された軌跡の間のマッチングスコアを算出することができ、当該マッチングスコアによって各追跡された軌跡から各追跡されるターゲットのマッチング軌跡を予測する。

【0052】

Ｓ２５０、マルチターゲット追跡ネットワークの予め設定された損失関数を用いて、トレーニングサンプル内の現在のビデオフレームにおける各追跡されるターゲットの、過去のビデオフレームでの実際のマッチング軌跡と予測されたマッチング軌跡に基づいて、グラフマッチングネットワーク、特徴強化ネットワーク、軌跡グラフ抽出ネットワーク及びターゲットグラフ抽出ネットワークに対して勾配的に逆伝播を行い、マルチターゲット追跡モデルにおける各ネットワークを共同トレーニングする。

【0053】

選択的に、各追跡されるターゲットのマッチング軌跡を予測した後、トレーニングサンプルにおける各追跡されるターゲットの実際のマッチング軌跡を検索し、次に各追跡されるターゲットの実際のマッチング軌跡と予測されたマッチング軌跡をマルチターゲット追跡モデルの予め設定された損失関数に代入し、現在のトレーニングにより予測されたマッチング軌跡と実際のマッチング軌跡の間の違いを分析する。本実施例における予め設定された損失関数は加重バイナリクロスエントロピーの損失関数であってもよく、予め設定された損失関数の重みはターゲットグラフと軌跡グラフにおける頂点の数に従って設定され、例えば、

【数2】

であり、但し、ｋは予め設定された損失関数の重みであり、ｙ_ｉ，ｊは追跡されるターゲットの実際のマッチングスコアであり、ｙ’_ｉ，ｊは追跡されるターゲットの予測マッチングスコアである。当該予め設定された損失関数によって追跡されるターゲットの予測されたマッチング軌跡と実際のマッチング軌跡の間の違いを算出した後、マルチターゲット追跡プロセスの逆追跡プロセスに従って、マルチターゲット追跡モデルにおけるグラフマッチングネットワーク、特徴強化ネットワーク、軌跡グラフ抽出ネットワーク及びターゲットグラフ抽出ネットワークにおいて当該違いを勾配的に逆伝播することにより、グラフマッチングネットワーク、特徴強化ネットワーク、軌跡グラフ抽出ネットワーク及びターゲットグラフ抽出ネットワークにおける各ネットワークパラメータを同期補正し、それによりマルチターゲット追跡モデルにおける各ネットワークに対して共同トレーニングを行い、マルチターゲット追跡モデルが各追跡されるターゲットのマッチング軌跡を正確に予測できるようになる。

【0054】

本実施例により提供される技術的解決手段によれば、元のグラフマッチングプロセスで使用された二次配分問題を二次計画問題に変換し、グラフマッチングネットワークが微分可能及び学習可能な機能を備えるようになり、マルチターゲット追跡モデルにおける各ネットワークに対して共同トレーニングを行い、マルチターゲット追跡モデルにおける各ネットワークの間の関連性及びマルチターゲット追跡の正確性を向上させる。

【0055】

実施例３
図３は本発明の実施例３により提供されるマルチターゲット追跡方法のフローチャートである。本実施例は任意のビデオに対するマルチターゲット追跡を実行する場合に適用される。本実施例により提供されるマルチターゲット追跡方法は本発明の実施例により提供されるマルチターゲット追跡装置により実行可能であり、当該装置は、ソフトウェア及び／又はハードウェアの形態により実現可能であり、本方法を実行するコンピューティングデバイスに集積されている。

【0056】

具体的には、図３を参照すると、当該方法は以下のステップを含んでもよい。

【0057】

Ｓ３１０、現在のビデオフレームにおける追跡されるターゲットに基づいてターゲットグラフを構築する。

【0058】

具体的には、ビデオマルチターゲット追跡のシーンで、ビデオの各ビデオフレームにおける各ターゲットに対して軌跡追跡を順に行い、この時に、当該ビデオはマルチターゲット追跡を行っている現在のビデオフレーム及びマルチターゲット追跡を完了した過去のビデオフレームに分けることができ、過去のビデオフレームにおいて完了したマルチターゲット追跡を分析することにより、各過去のビデオフレームにおける同一のターゲットの追跡位置に従って、複数の追跡された軌跡を決定することができる。この時に、現在のビデオフレームに対してマルチターゲット追跡を行うことは、現在のビデオフレームにおける各追跡されるターゲットと過去のビデオフレームにおける各追跡された軌跡に対してマッチングを行うことであり、それにより各追跡された軌跡から各追跡されるターゲットのマッチング軌跡を決定する。

【0059】

本実施例において、予め設定されたターゲット検出アルゴリズムによって現在のビデオフレームから追跡を必要とする各追跡されるターゲットを認識し、次に、各追跡されるターゲットを対応する頂点とし、各頂点を結ぶことによって、対応するターゲットグラフを構築することができる。ここで、当該ターゲットグラフは頂点及び頂点を結ぶ辺を含み、ターゲットグラフの各頂点は各追跡されるターゲットにそれぞれ対応し、ターゲットグラフにおける各頂点の頂点特徴は当該頂点に対応する追跡されるターゲットの属性特徴であり、同時に、当該ターゲットグラフにおける２つの頂点の間の辺の辺特徴は２つの頂点の間の属性関係、即ち当該２つの頂点の属性特徴の間の関係、例えば、現在のビデオフレームにおける２つの頂点に対応する追跡されるターゲットの距離、外観の違い又は相対軌跡速度等を含んでもよい。

【0060】

例示的には、本実施例において、現在のビデオフレームにおける追跡されるターゲットに基づいてターゲットグラフを構築することは、具体的に、現在のビデオフレームにおける各追跡されるターゲットの属性特徴を抽出すること、各追跡されるターゲットを頂点とし、ターゲットグラフを構築し、ターゲットグラフの各頂点の頂点特徴を得ることであってもよい。即ち、現在のビデオフレームにおける各追跡されるターゲットの外観特徴、幾何学的形状の特徴及び軌跡速度等の、現在のビデオフレームにおける追跡されるターゲットに固有の特徴を説明できる様々な特徴を分析し、当該追跡されるターゲットの属性特徴を得て、次に、各追跡されるターゲットを頂点とし、各頂点を結ぶことによって、ターゲットグラフを構築し、この時に、ターゲットグラフの各頂点の頂点特徴は当該頂点に対応する追跡されるターゲットの属性特徴である。

【0061】

Ｓ３２０、ターゲットグラフと既存の軌跡グラフに対してグラフマッチングを行うことにより、追跡されるターゲットと軌跡グラフにおける追跡された軌跡の間のマッチングスコアを計算する。

【0062】

現在のビデオフレームに対してマルチターゲット追跡を行う時、過去のビデオフレームにおいてはマルチターゲット追跡が既に完了されたため、この時に、各過去のビデオフレームにおける同一のターゲットの追跡位置に従って、複数の追跡された軌跡を決定することができる。従って、過去のビデオフレームのマルチターゲット追跡を完了した後も、過去のビデオフレームにおける各追跡された軌跡を対応する頂点とし、各頂点を結ぶことによって、対応する軌跡グラフを構築する。この時に、当該軌跡グラフも頂点及び頂点を結ぶ辺を含み、軌跡グラフの各頂点は既存の各追跡された軌跡に対応し、当該追跡された軌跡は異なる過去のビデオフレームにおける同一のターゲットの位置を結んでなり、当該軌跡グラフにおける各頂点の頂点特徴は当該頂点に対応する追跡された軌跡の属性特徴であり、当該属性特徴は各過去のビデオフレームにおける追跡された軌跡に対応するターゲットの属性特徴により融合されたものであり、同時に、軌跡グラフにおける２つの頂点の間の辺の辺特徴も２つの頂点の間の属性関係、即ち２つの頂点の属性特徴の間の関係を含んでもよい。

【0063】

なお、本実施例において、ターゲットグラフと軌跡グラフが非完全グラフに設定しても、完全グラフに設定してもよい。後者はターゲットグラフと軌跡グラフの２つずつの頂点の間に辺を結び、ターゲットグラフにおける２つずつの頂点に対応する追跡されるターゲット又は軌跡グラフにおける２つずつの頂点に対応する追跡された軌跡を関連付け、後続でターゲットグラフと軌跡グラフに対して正確にグラフマッチングを行いやすくなる。

【0064】

具体的には、ターゲットグラフと軌跡グラフに対してグラフマッチングを行うことによって、ターゲットグラフにおける各頂点と軌跡グラフの各頂点の間のマッチング度を分析することができ、それによりターゲットグラフにおける各追跡されるターゲット（即ちターゲットグラフにおける各頂点）と軌跡グラフにおける各追跡された軌跡（即ち軌跡グラフにおける各頂点）の間のマッチングスコアを算出し、後続で当該マッチングスコアに従って各追跡された軌跡から各追跡されるターゲットのマッチング軌跡を予測する。

【0065】

Ｓ３３０、マッチングスコアに従って追跡されるターゲットのマッチング軌跡を決定する。

【0066】

選択的に、ターゲットグラフにおける各追跡されるターゲットと軌跡グラフにおける各追跡された軌跡の間のマッチングスコアを算出した後、各追跡されるターゲットに対して、当該追跡されるターゲットとのマッチングスコアが最も高い追跡された軌跡を検索することができ、さらに当該追跡された軌跡を当該追跡されるターゲットのマッチング軌跡とする。上記方法によって、各追跡されるターゲットのマッチング軌跡を決定することができる。

【0067】

さらに、後続のマルチターゲット追跡の正確性を保証するために、マッチングスコアに基づいて現在のビデオフレームにおける各追跡されるターゲットのマッチング軌跡を決定した後、さらに現在のビデオフレームにおける追跡されるターゲットのマッチング軌跡に基づいて軌跡グラフを更新し、且つ、現在のビデオフレームにおける各追跡されるターゲットのマッチング軌跡の属性特徴に基づいて軌跡グラフにおける各頂点の頂点特徴を更新する。即ち、現在のビデオフレームにおいてマルチターゲット追跡を完了した後に改めて決定された各追跡された軌跡を頂点とし、対応する軌跡グラフを改めて構築し、現在のビデオフレームにおける各追跡されるターゲットの属性特徴を分析することによって、現在のビデオフレームにおける各追跡されるターゲットのマッチング軌跡により決定される各追跡された軌跡の属性特徴を改めて決定し、それに応じて軌跡グラフにおける各頂点の頂点特徴を更新し、後続のビデオフレームのマルチターゲット追跡時の正確性を保証する。

【0068】

本実施例により提供される技術的解決手段によれば、現在のビデオフレームにおける各追跡されるターゲットの軌跡を追跡する時、既に過去のビデオフレームに対して各追跡された軌跡を決定し、対応する軌跡グラフを構築しており、当該軌跡グラフの各頂点は既存の各追跡された軌跡に対応し、２つの頂点の間の辺の辺特徴は２つの頂点の間の属性関係を含む。この時に現在のビデオフレームにおける各追跡されるターゲットに基づいてターゲットグラフを構築し、次に、ターゲットグラフと軌跡グラフに対してグラフマッチングを行うことにより、各追跡されるターゲットと軌跡グラフにおける各追跡された軌跡の間のマッチングスコアを計算し、それにより各追跡されるターゲットのマッチング軌跡を決定し、ビデオマルチターゲットの正確な追跡を実現する。

【0069】

実施例４
図４Ａは本発明の実施例４により提供されるマルチターゲット追跡方法のフローチャートであり、図４Ｂは本発明の実施例４により提供される方法のグラフマッチングプロセスの原理模式図である。本実施例は上記実施例を基に最適化したものである。具体的には、図４Ｂに示すように、本実施例は上記実施例により提供されるマルチターゲット追跡モデルのトレーニング方法によりトレーニングされたマルチターゲット追跡モデルを用いて具体的なマルチターゲット追跡プロセスを実行可能である。

【0070】

選択的に、図４Ａに示すように、本実施例において以下のステップを含んでもよい。

【0071】

Ｓ４１０、過去のビデオフレームにおける追跡された軌跡に基づいて軌跡グラフを構築する。

【0072】

選択的に、ビデオマルチターゲット追跡のシーンで、現在のビデオフレームに対してマルチターゲット追跡を行う時、まずマルチターゲット追跡を完了した各過去のビデオフレームにおけるマルチターゲット追跡の状況に応じて、各過去のビデオフレームにおける同一のターゲットの追跡位置を分析する必要があり、さらに過去のビデオフレームにおける各追跡された軌跡を決定し、各追跡された軌跡を対応する頂点とし、各頂点を結ぶことによって、対応する軌跡グラフを構築する。この場合、図４Ｂに示すように、当該過去のビデオフレームを予めトレーニングされたマルチターゲット追跡モデルにおける軌跡グラフ抽出ネットワークに入力し、当該軌跡グラフ抽出ネットワークによって過去のビデオフレームにおける追跡された軌跡の軌跡グラフを構築することができる。

【0073】

例示的には、軌跡グラフにおける各頂点の頂点特徴を正確に取得するために、本実施例において、軌跡グラフを構築する時、各追跡された軌跡に対して、各過去のビデオフレームにおける当該追跡された軌跡の関連ターゲットを決定し、各過去のビデオフレームにおける当該追跡された軌跡の関連ターゲットの属性サブ特徴を抽出し、当該追跡された軌跡の属性特徴として対応する属性サブ特徴の平均値を計算し、各追跡された軌跡を頂点とし、軌跡グラフを構築し、軌跡グラフの各頂点の頂点特徴を得る。

【0074】

ここで、各過去のビデオフレームにおける各追跡された軌跡の関連ターゲットは同一のターゲットであり、各過去のビデオフレームにおける当該同一のターゲットの位置を当該追跡された軌跡に結ぶことができる。この場合、予め設定された特徴抽出アルゴリズムを用いることで各過去のビデオフレームにおける当該追跡された軌跡の指す各関連ターゲットの属性サブ特徴を正確に抽出することができる。次に、各追跡された軌跡の指す各関連ターゲットの属性サブ特徴に対して平均化処理を行うことによって、当該追跡された軌跡の属性特徴を得ることができる。例えば、本実施例において、移動平均法を用いて、各過去のビデオフレームにおける各追跡された軌跡の関連ターゲットの属性サブ特徴に基づいて、対応する属性サブ特徴の平均値を計算し、さらに、当該属性サブ特徴の平均値を当該追跡された軌跡の属性特徴とし、追跡された軌跡の属性特徴の正確性と完全性を保証する。次に、各追跡された軌跡の属性特徴を得た後、各追跡された軌跡を対応する頂点とし、各頂点を結ぶことによって、対応する軌跡グラフを構築し、各追跡された軌跡の属性特徴に基づいて軌跡グラフにおける各頂点の頂点特徴を決定することができる。

【0075】

また、現在のビデオフレームにおける追跡されるターゲットのターゲットグラフを構築する時、当該現在のビデオフレームを予めトレーニングされたマルチターゲット追跡モデルにおけるターゲットグラフ抽出ネットワークに入力し、当該ターゲットグラフ抽出ネットワークにより現在のビデオフレームにおける追跡されるターゲットのターゲットグラフを構築してもよい。

【0076】

Ｓ４２０、現在のビデオフレームにおける追跡されるターゲットに基づいてターゲットグラフを構築する。

【0077】

Ｓ４３０、ターゲットグラフと軌跡グラフにおける頂点特徴と辺特徴に基づいて、ターゲットグラフと軌跡グラフの間の頂点類似度と辺類似度を計算する。

【0078】

選択的に、追跡されるターゲットのターゲットグラフと追跡された軌跡の軌跡グラフを構築した後、ターゲットグラフと軌跡グラフにおける各頂点の頂点特徴と各辺の辺特徴を、トレーニングされたマルチターゲット追跡モデルにおけるグラフマッチングネットワークに共同入力し、当該グラフマッチングネットワークにおける頂点類似変換層によってターゲットグラフにおける各頂点と軌跡グラフにおける各頂点の間の特徴類似度を分析し、ターゲットグラフと軌跡グラフの間の頂点類似度を算出する。同時に、グラフマッチングネットワークにおける辺類似変換層によってターゲットグラフにおける各辺と軌跡グラフにおける各辺の間の特徴類似度を分析し、ターゲットグラフと軌跡グラフの間の辺類似度を算出する。この場合、ターゲットグラフと軌跡グラフの間の頂点類似度と辺類似度は、ターゲットグラフと軌跡グラフにおける２つずつの頂点の間の類似度及び２つずつの辺の間の類似度を正確に説明することができ、後続でターゲットグラフと軌跡グラフの間の頂点類似度と辺類似度を分析することによって、ターゲットグラフにおける各追跡されるターゲットと軌跡グラフにおける各追跡された軌跡の間のマッチング度を全面的に分析する。

【0079】

また、ターゲットグラフと軌跡グラフにおける各頂点の間のマッチングの正確性をさらに向上させ、ターゲットグラフと軌跡グラフにおける各頂点の頂点特徴によってマッチングしない頂点をより容易に区別するために、本実施例において、さらに、マルチターゲット追跡モデルにおける特徴強化ネットワークによって算出されたターゲットグラフと軌跡グラフにおける各頂点の頂点特徴と各辺の辺特徴に対して特徴強化を行う。具体的には、ターゲットグラフと軌跡グラフを構築した後、図４Ｂに示すように、ターゲットグラフと軌跡グラフにおける頂点特徴と辺特徴を予め構築された特徴強化ネットワークに入力し、ターゲットグラフと軌跡グラフにおける頂点特徴と辺特徴に対して特徴強化を行い、ターゲットグラフと軌跡グラフにおける強化後の頂点特徴と辺特徴を用いてターゲットグラフと軌跡グラフの間の頂点類似度と辺類似度を計算する。

【0080】

具体的には、上記実施例により提供されるマルチターゲット追跡モデルのトレーニング方法において特徴強化ネットワークに対して要求した特徴強化方法によって、ターゲットグラフにおける各頂点と軌跡グラフにおける各頂点の間の特徴類似度を対応する重みとして用い、次に、対応する重みを用いて、それぞれ軌跡グラフにおける各頂点の頂点特徴を加重してターゲットグラフにおける各頂点の頂点特徴に融合し、且つターゲットグラフにおける各頂点の頂点特徴を加重して軌跡グラフにおける各頂点の頂点特徴に融合することで、ターゲットグラフと軌跡グラフにおける各頂点の頂点特徴に対して特徴強化を行う。強化後の頂点特徴をステッチして強化後の辺特徴を得て、又は上記特徴強化方法に従って、ターゲットグラフにおける各辺と軌跡グラフにおける各辺の間の特徴類似度を対応する重みとして用い、次に、対応する重みを用いて、それぞれ軌跡グラフにおける各辺の辺特徴を加重してターゲットグラフにおける各辺の辺特徴に融合し、且つターゲットグラフにおける各辺の辺特徴を加重して軌跡グラフにおける各辺の辺特徴に融合することで、ターゲットグラフと軌跡グラフにおける各辺の辺特徴に対して特徴強化を行い、後続で特徴強化後の頂点特徴と辺特徴を用いてターゲットグラフと軌跡グラフの間の頂点類似度と辺類似度を計算する。

【0081】

Ｓ４４０、頂点類似度と辺類似度に基づいて、ターゲットグラフにおける追跡されるターゲットと軌跡グラフにおける追跡された軌跡の間のマッチングスコアを計算する。

【0082】

選択的に、ターゲットグラフと軌跡グラフの間の頂点類似度と辺類似度を算出した後、ターゲットグラフと軌跡グラフにおける頂点の数と辺の数が異なる可能性があるため、ターゲットグラフと軌跡グラフの間の頂点類似度と辺類似度の次元が異なることを招く。頂点類似度と辺類似度に対する融合と分析によって対応するマッチングスコアを計算する場合の効率性と正確性を保証するために、本実施例において、さらに、ターゲットグラフと軌跡グラフにおける頂点の数に基づいて、頂点類似度と辺類似度のためにそれぞれ対応する変換次元を設定し、グラフマッチングネットワークにおける頂点類似変換層によって最初に算出された頂点類似度に対して次元変換を行い、グラフマッチングネットワークにおける辺類似変換層によって最初に算出された辺類似度に対して次元変換を行うことで、次元変換後の頂点類似度と辺類似度の間を正確且つ効率的に統合することができる。次に、グラフマッチングネットワークにおける二次計画層によって、次元変換後の頂点類似度と辺類似度を予め緩和設定された二次計画問題に直接代入し、ターゲットグラフにおける各追跡されるターゲットと軌跡グラフにおける各追跡された軌跡の間のマッチングスコアを算出する。

【0083】

例示的には、図４Ｂに示すように、現在のビデオフレームに４つの追跡されるターゲットがあり、過去のビデオフレームに５つの追跡された軌跡がある場合、構築されたターゲットグラフに４つの頂点と６本の辺があり、軌跡グラフに５つの頂点と１０本の辺がある。この場合、ターゲットグラフと軌跡グラフを特徴強化ネットワークに入力し、ターゲットグラフと軌跡グラフにおける頂点特徴と辺特徴のいずれに対しても特徴強化を行った後、特徴強化後の頂点特徴と辺特徴に基づいてターゲットグラフと軌跡グラフの間の頂点類似度と辺類似度を算出することができる。１本の辺がＡ点とＢ点の２つの頂点を含むと仮定すると、当該辺を２つの辺とみなして計算し、一方はＡ点からＢ点までのＡＢ辺で、他方はＢ点からＡ点までのＢＡ辺である。対応する当該辺の辺特徴は、Ａ点からＢ点までの頂点特徴のステッチ及びＢ点からＡ点までの頂点特徴のステッチを含む。対応する辺類似度も当該同一方向の辺の間の類似度を含む。この場合、頂点類似度は４×５のマトリックスで、辺類似度は１２×２０のマトリックスである。この場合、頂点類似度と辺類似度の間を正確且つ効率的に統合できることを保証するために、頂点類似変換層によって頂点類似度に対して次元変換を行い、辺類似変換層によって辺類似度に対して次元変換を行い、例えば、頂点類似度を１×２０のマトリックスに直接伸ばし、辺類似度に対して類似度拡張充填を行い、２０×２０のマトリックスに変換することで、次元変換後の頂点類似度と辺類似度の間に正確且つ効率的なマトリックス統合を行うことができる。この場合、二次計画層によって、次元変換後の頂点類似度と辺類似度を予め緩和設定された二次計画問題に直接代入した後、算出された各追跡されるターゲットと軌跡グラフにおける各追跡された軌跡の間のマッチングスコアは４×５のマトリックスであり、ターゲットグラフにおける各頂点と軌跡グラフにおける各頂点の間のマッチング度を示し、後続で当該マッチングスコアに従って各追跡されるターゲットのマッチング軌跡を決定しやすくなる。

【0084】

Ｓ４５０、マッチングスコアに従って追跡されるターゲットのマッチング軌跡を決定する。

【0085】

本実施例により提供される技術的解決手段によれば、予めトレーニングされたマルチターゲット追跡モデルにおける軌跡グラフ抽出ネットワークによって過去のビデオフレームにおける追跡された軌跡の軌跡グラフを構築し、マルチターゲット追跡モデルにおけるターゲットグラフ抽出ネットワークによって現在のビデオフレームにおける追跡されるターゲットのターゲットグラフを構築し、次に、グラフマッチングネットワークによってターゲットグラフと軌跡グラフにおける頂点特徴と辺特徴を全面的に参照して、各追跡されるターゲットと軌跡グラフにおける各追跡された軌跡の間のマッチングスコアを計算することで、各追跡されるターゲットのマッチング軌跡を決定し、ビデオマルチターゲットの正確な追跡を実現し、特定のターゲットが遮蔽された時に追跡に失敗する問題を防止し、ビデオマルチターゲット追跡の制限を回避し、ビデオマルチターゲット追跡のロバスト性を向上させる。

【0086】

実施例５
図５は本発明の実施例５により提供されるマルチターゲット追跡方法のフローチャートである。本実施例は上記実施例を基に最適化したものである。具体的には、図５に示すように、本実施例は、主に、マッチングスコアに従って追跡された軌跡から各追跡されるターゲットのマッチング軌跡を決定する場合の具体的なマッチングプロセスを詳しく解釈して説明する。

【0087】

選択的に、図５に示すように、本実施例において以下のステップを含んでもよい。

【0088】

Ｓ５１０、現在のビデオフレームにおける追跡されるターゲットに基づいてターゲットグラフを構築する。

【0089】

Ｓ５２０、ターゲットグラフと既存の軌跡グラフに対してグラフマッチングを行うことにより、追跡されるターゲットと軌跡グラフにおける追跡された軌跡の間のマッチングスコアを計算する。

【0090】

Ｓ５３０、各追跡されるターゲットに対して、当該追跡されるターゲットと各追跡された軌跡の間のマッチングスコアから、最高マッチングスコアをスクリーニングする。

【0091】

選択的に、ターゲットグラフにおける各追跡されるターゲットと軌跡グラフにおける各追跡された軌跡の間のマッチングスコアを算出した後、各追跡されるターゲットに対して、当該追跡されるターゲットと各追跡された軌跡の間に具体的なマッチングスコアがある。従って、当該追跡されるターゲットと最もマッチングする追跡された軌跡を検索する時、まず当該追跡されるターゲットと各追跡された軌跡の間のマッチングスコアから、最高マッチングスコアをスクリーニングする必要があり、この場合、当該最高マッチングスコアの指す追跡された軌跡は各追跡された軌跡のうち当該追跡されるターゲットと最もマッチングする軌跡であると考えられ、後続で当該最高マッチングスコアの指す追跡された軌跡が当該追跡される軌跡の実際のマッチング軌跡であるか否かをさらに判定することができる。

【0092】

Ｓ５４０、各追跡されるターゲットの最高マッチングスコアと予め設定されたフレームにおけるターゲット追加条件に基づいて、各追跡されるターゲットのマッチング軌跡を決定する。

【0093】

選択的に、現在のビデオフレームにおける特定の追跡されるターゲットが新規追加されたものであり、過去のビデオフレームに現れたことがないため、過去のビデオフレームにおける各追跡された軌跡には、新規追加された追跡されるターゲットのマッチング軌跡がない場合がある。そのため、各追跡される軌跡のマッチング軌跡を予測する時、まず各追跡されるターゲットが現在のビデオフレームに新規追加されたターゲットであるか否かを判定する必要がある。本実施例において、新規追加ターゲットの特徴に対して、フレームにおけるターゲット追加条件を予め設定し、当該フレームにおけるターゲット追加条件は、具体的に、１）追跡されるターゲットと軌跡グラフにおける各追跡された軌跡の間の頂点類似度がいずれも予め設定された類似度閾値より小さいという条件、２）現在のビデオフレームにおける追跡されるターゲットの中心位置と軌跡グラフにおける各追跡された軌跡におけるターゲットの中心位置の間の位置差がいずれも予め設定された位置差より大きいという条件、３）現在のビデオフレームにおける追跡されるターゲットのターゲット検出枠と軌跡グラフにおける各追跡された軌跡のターゲット検出枠の間に共通部分がないという条件、のうちの少なくとも１つを含むことができる。

【0094】

ここで、１）について、特定の追跡されるターゲットと軌跡グラフにおける各追跡された軌跡の間の頂点類似度がいずれも予め設定された類似度閾値より小さい場合、当該追跡されるターゲットと軌跡グラフにおける各追跡された軌跡の間のマッチング度がいずれも低いことを示すため、当該追跡されるターゲットを現在のビデオフレームの新規追加ターゲットとする。２）について、各過去のビデオフレームにおいて軌跡グラフにおける各追跡された軌跡が指す関連ターゲットの中心位置の座標の平均値を計算することによって、当該追跡された軌跡のターゲットの中心位置の座標を得ることができる。この時に、現在のビデオフレームにおける特定の追跡されるターゲットの中心位置の座標と軌跡グラフにおける各追跡された軌跡のターゲットの中心位置の座標の間の位置差がいずれも予め設定された位置差より大きい場合、当該追跡されるターゲットと各追跡された軌跡の位置差がいずれも大きいことを示すため、当該追跡されるターゲットを現在のビデオフレームの新規追加ターゲットとする。３）について、現在のビデオフレームから各追跡されるターゲットを認識する時、各追跡されるターゲットのターゲット検出枠を標識するため、過去のビデオフレームにおける追跡された軌跡の関連ターゲットにもターゲット検出枠があり、関連ターゲットのターゲット検出枠に対して平均化処理を行うことによって、各追跡された軌跡のターゲット検出枠を得ることもできる。この時に、現在のビデオフレームにおける特定の追跡されるターゲットのターゲット検出枠と軌跡グラフにおける各追跡された軌跡のターゲット検出枠の間に共通部分がない場合、当該追跡されるターゲットと各追跡された軌跡の位置差が大きいことを示すため、当該追跡されるターゲットを現在のビデオフレームの新規追加ターゲットとする。

【0095】

この場合、各追跡されるターゲットと追跡された軌跡の最高マッチングスコアをスクリーニングした後、まず各追跡されるターゲットが予め設定されたフレームにおけるターゲット追加条件を満たすか否かを判定する。特定の追跡されるターゲットが上記フレームにおけるターゲット追加条件の少なくとも１つを満たす場合、当該追跡されるターゲットを現在のビデオフレームにおける新規追加ターゲットとして決定することができ、当該追跡されるターゲットが過去のビデオフレームに現れたことがないことを示し、当該追跡されるターゲットの軌跡が現在のビデオフレームから開始するため、直接、現在のビデオフレームにおける当該新規追加ターゲットの位置を新規追加ターゲットのマッチング軌跡とすることができる。ところが、現在のビデオフレームにおける新規追加ターゲットを除いた各残りの追跡されるターゲットに対して、当該残りの追跡されるターゲットは過去のビデオフレームに現れたことがあり、即ち、過去のビデオフレームにおける各追跡された軌跡には当該残りの追跡されるターゲットの軌跡がある。従って、過去のビデオフレームにおける各追跡された軌跡から当該残りの追跡されるターゲットの最高マッチングスコアの指す追跡された軌跡を直接検索し、検索された追跡された軌跡を当該残りの追跡されるターゲットのマッチング軌跡とすることができる。

【0096】

また、マルチターゲット追跡の正確性を保証するために、本実施例において、各追跡されるターゲットの最高マッチングスコアと予め設定されたフレームにおけるターゲット追加条件に基づいて、各追跡されるターゲットのマッチング軌跡を決定する時、各追跡されるターゲットに対して、まず当該追跡されるターゲットと各追跡された軌跡の間のマッチングスコアの最高マッチングスコアを切り上げ、他のマッチングスコアを切り捨て、それによりターゲットグラフにおける追跡されるターゲットと軌跡グラフにおける追跡された軌跡の間のマッチングスコアに対して貪欲法に基づく丸めを行い、対応する最適マッチングスコアを構成し、当該最適マッチングスコアは通常のスコアマトリックスを変換した後の０～１のマトリックスであり、後続で上記ステップにより当該最適マッチングスコアと予め設定されたフレームにおけるターゲット追加条件に従って、各追跡されるターゲットのマッチング軌跡を直接決定することができる。

【0097】

本実施例により提供される技術的解決手段によれば、ターゲットグラフにおける追跡されるターゲットと軌跡グラフにおける追跡された軌跡の間のマッチングスコアを算出した後、各追跡されるターゲットに対して、当該追跡されるターゲットと各追跡された軌跡の間のマッチングスコアから、最高マッチングスコアをスクリーニングすることができる。次に、各追跡されるターゲットの最高マッチングスコアと予め設定されたフレームにおけるターゲット追加条件に基づいて、各追跡されるターゲットのマッチング軌跡を決定し、それにより現在のビデオフレームにおける新規追加ターゲットをスクリーニングし、ビデオマルチターゲットの正確な追跡を実現し、ビデオマルチターゲット追跡のロバスト性を向上させる。

【0098】

実施例６
図６は本発明の実施例６により提供されるマルチターゲット追跡モデルのトレーニング装置の構造模式図であり、図６に示すように、当該装置は、モデル構築モジュール６１０と、モデルトレーニングモジュール６２０とを含んでもよい。

【0099】

モデル構築モジュール６１０は、初期のマルチターゲット追跡モデルを構築することに用いられる。当該マルチターゲット追跡モデルは、現在のビデオフレームにおける追跡されるターゲットに基づいてターゲットグラフを構築するためのターゲットグラフ抽出ネットワークと、過去のビデオフレームにおける追跡された軌跡に基づいて軌跡グラフを構築するための軌跡グラフ抽出ネットワークと、追跡されるターゲットのマッチング軌跡を予測するために、ターゲットグラフと軌跡グラフに対してグラフマッチングを行うためのグラフマッチングネットワークと、を含む。ここで、ターゲットグラフと軌跡グラフはいずれも頂点及び頂点を結ぶ辺を含み、ターゲットグラフの頂点は追跡されるターゲットにそれぞれ対応し、軌跡グラフの頂点は追跡された軌跡に対応し、ターゲットグラフと軌跡グラフにおける２つの頂点の辺の辺特徴は２つの頂点の間の属性関係を含む。

【0100】

モデルトレーニングモジュール６２０は、マルチターゲット追跡モデルの予め設定された損失関数を用いて、トレーニングサンプルにおける追跡されるターゲットの実際のマッチング軌跡と予測されたマッチング軌跡に基づいて、マルチターゲット追跡モデルにおける各ネットワークに対して共同トレーニングを行い、トレーニング後のマルチターゲット追跡モデルを得ることに用いられる。

【0101】

【0102】

さらに、上記頂点は頂点特徴を有し、ターゲットグラフにおける頂点の頂点特徴は当該頂点に対応する追跡されるターゲットの属性特徴であり、軌跡グラフにおける頂点の頂点特徴は当該頂点に対応する追跡された軌跡の属性特徴であり、ターゲットグラフと軌跡グラフにおける２つの頂点の辺の辺特徴のうち２つの頂点の間の属性関係は２つの頂点の属性特徴の間の関係である。

【0103】

さらに、上記マルチターゲット追跡モデルは、グラフマッチングネットワークがターゲットグラフと軌跡グラフにおける強化後の頂点特徴と辺特徴に基づいてターゲットグラフと軌跡グラフに対してグラフマッチングを行うために、ターゲットグラフと軌跡グラフにおける頂点特徴と辺特徴に対して特徴強化を行うための特徴強化ネットワークをさらに含んでもよい。

【0104】

さらに、上記グラフマッチングネットワークは、具体的に、ターゲットグラフと軌跡グラフにおける強化後の頂点特徴と辺特徴に基づいてターゲットグラフと軌跡グラフの間の頂点類似度と辺類似度を計算し、頂点類似度と辺類似度に基づいてターゲットグラフにおける追跡されるターゲットと軌跡グラフにおける追跡された軌跡の間のマッチングスコアを計算し、マッチングスコアに基づいて追跡されるターゲットのマッチング軌跡を予測することに用いられる。

【0105】

さらに、上記トレーニングサンプルは、過去のビデオフレームにおける各現在のビデオフレームの追跡されるターゲットの実際のマッチング軌跡を含んでもよい。上記モデルトレーニングモジュール６２０は、具体的に、
マルチターゲット追跡モデルにおけるターゲットグラフ抽出ネットワークを用いてトレーニングサンプル内の現在のビデオフレームにおける追跡されるターゲットのターゲットグラフを構築すること、
マルチターゲット追跡モデルにおける軌跡グラフ抽出ネットワークを用いてトレーニングサンプル内の過去のビデオフレームにおける追跡された軌跡の軌跡グラフを構築すること、
マルチターゲット追跡モデルにおける特徴強化ネットワークを用いてターゲットグラフと軌跡グラフにおける頂点特徴と辺特徴に対して特徴強化を行い、ターゲットグラフと軌跡グラフにおける強化後の頂点特徴と辺特徴をマルチターゲット追跡モデルにおけるグラフマッチングネットワークに入力し、追跡されるターゲットのマッチング軌跡を予測すること、
マルチターゲット追跡ネットワークの予め設定された損失関数を用いて、トレーニングサンプル内の現在のビデオフレームにおける各追跡されるターゲットの、過去のビデオフレームでの実際のマッチング軌跡と予測されたマッチング軌跡に基づいて、グラフマッチングネットワーク、特徴強化ネットワーク、軌跡グラフ抽出ネットワーク及びターゲットグラフ抽出ネットワークに対して勾配的に逆伝播を行い、マルチターゲット追跡モデルにおける各ネットワークを共同トレーニングすること、に用いられる。
さらに、上記予め設定された損失関数は加重バイナリクロスエントロピーの損失関数であってもよく、予め設定された損失関数の重みはターゲットグラフと軌跡グラフにおける頂点の数に従って設定され、特徴強化ネットワークはクロスグラフ畳み込みネットワークである。

【0106】

さらに、上記グラフマッチングネットワークは、頂点類似変換層、辺類似変換層及び二次計画層で構成されてもよい。頂点類似変換層は、ターゲットグラフと軌跡グラフの間の頂点類似度を計算し、次元変換を行うことに用いられ、辺類似変換層は、ターゲットグラフと軌跡グラフの間の辺類似度を計算し、次元変換を行うことに用いられ、二次計画層は、二次計画問題に基づいて、次元変換後の頂点類似度と辺類似度を用いてマッチングスコアを計算することに用いられる。

【0107】

さらに、上記二次計画問題は二次配分問題の離散配分ターゲットを対応する連続的な計画ターゲットに調整した後、二次配分問題に対して対応する変換を行った後に得られる。

【0108】

さらに、上記頂点類似変換層と辺類似変換層は、ターゲットグラフと軌跡グラフにおける頂点の数に従って対応する変換次元を設定してもよい。

【0109】

さらに、上記頂点の属性特徴はベクトル特徴として示されてもよく、２つの頂点の辺の辺特徴は２つの頂点に対応するベクトル特徴のステッチベクトル又は加重ベクトルとして示されてもよい。

【0110】

本実施例により提供されるマルチターゲット追跡モデルのトレーニング装置は、上記任意の実施例により提供されるマルチターゲット追跡モデルのトレーニング方法に適用可能であり、対応する機能と有益な効果を有する。

【0111】

実施例７
図７は本発明の実施例７により提供されるマルチターゲット追跡装置の構造模式図であり、図７に示すように、当該装置は、ターゲットグラフ構築モジュール７１０と、グラフマッチングモジュール７２０と、軌跡決定モジュール７３０とを含んでもよい。

【0112】

ターゲットグラフ構築モジュール７１０は、現在のビデオフレームにおける追跡されるターゲットに基づいてターゲットグラフを構築することに用いられる。ターゲットグラフは頂点及び頂点を結ぶ辺を含み、ターゲットグラフの頂点は追跡されるターゲットに対応し、２つの頂点の間の辺の辺特徴は２つの頂点の間の属性関係を含む。

【0113】

グラフマッチングモジュール７２０は、ターゲットグラフと既存の軌跡グラフに対してグラフマッチングを行うことにより、追跡されるターゲットと軌跡グラフにおける追跡された軌跡の間のマッチングスコアを計算することに用いられる。軌跡グラフは頂点及び頂点を結ぶ辺を含み、軌跡グラフの頂点は既存の追跡された軌跡に対応し、２つの頂点の間の辺の辺特徴は２つの頂点の間の属性関係を含む。

【0114】

軌跡決定モジュール７３０は、マッチングスコアに従って追跡されるターゲットのマッチング軌跡を決定することに用いられる。

【0115】

本実施例により提供される技術的解決手段によれば、現在のビデオフレームにおける各追跡されるターゲットの軌跡を追跡する時、既に過去のビデオフレームに対して各追跡された軌跡を決定し、対応する軌跡グラフを構築しており、当該軌跡グラフの各頂点は既存の各追跡された軌跡に対応し、２つの頂点の間の辺の辺特徴は２つの頂点の間の属性関係を含み、この時に現在のビデオフレームにおける各追跡されるターゲットに基づいてターゲットグラフを構築し、当該ターゲットグラフの各頂点は各追跡されるターゲットに対応し、２つの頂点の間の辺の辺特徴は２つの頂点の間の属性関係を含み、次に、ターゲットグラフと軌跡グラフに対してグラフマッチングを行うことにより、各追跡されるターゲットと軌跡グラフにおける各追跡された軌跡の間のマッチングスコアを計算し、それにより各追跡されるターゲットのマッチング軌跡を決定し、ビデオマルチターゲットの正確な追跡を実現し、特定のターゲットが遮蔽された時に追跡に失敗する問題を防止し、ビデオマルチターゲット追跡の制限を回避し、ビデオマルチターゲット追跡のロバスト性を向上させるために、グラフマッチング時にターゲットグラフと軌跡グラフにおける辺特徴を全面的に参照する。

【0116】

さらに、上記グラフマッチングモジュール７２０は、
ターゲットグラフと軌跡グラフにおける頂点特徴と辺特徴に基づいて、ターゲットグラフと軌跡グラフの間の頂点類似度と辺類似度を計算するための類似度計算ユニットと、
頂点類似度と辺類似度に基づいて、ターゲットグラフにおける追跡されるターゲットと軌跡グラフにおける追跡された軌跡の間のマッチングスコアを計算するためのマッチングスコア計算ユニットと、を含んでもよい。

【0117】

さらに、上記類似度計算ユニットは、具体的に、ターゲットグラフと軌跡グラフにおける頂点特徴と辺特徴を予め構築された特徴強化ネットワークに入力し、ターゲットグラフと軌跡グラフにおける頂点特徴と辺特徴に対して特徴強化を行い、ターゲットグラフと軌跡グラフにおける強化後の頂点特徴と辺特徴を用いてターゲットグラフと軌跡グラフの間の頂点類似度と辺類似度を計算することに用いられてもよい。

【0118】

さらに、上記マルチターゲット追跡装置は、過去のビデオフレームにおける追跡された軌跡に基づいて軌跡グラフを構築するための軌跡グラフ構築モジュールをさらに含んでもよい。

【0119】

さらに、上記軌跡グラフ構築モジュールは、
各追跡された軌跡に対して、各過去のビデオフレームにおける当該追跡された軌跡の関連ターゲットを決定するための関連ターゲット決定ユニットと、
各過去のビデオフレームにおける当該追跡された軌跡の関連ターゲットの属性サブ特徴を抽出し、当該追跡された軌跡の属性特徴として対応する属性サブ特徴の平均値を計算するための属性特徴計算ユニットと、
各追跡された軌跡を頂点とし、軌跡グラフを構築し、軌跡グラフの各頂点の頂点特徴を得るための軌跡グラフ構築ユニットと、を含んでもよい。

【0120】

さらに、上記属性特徴計算ユニットは、具体的に、移動平均法を用いて、各過去のビデオフレームにおける追跡された軌跡の関連ターゲットの属性サブ特徴に基づいて、対応する属性サブ特徴の平均値を計算することに用いられてもよい。

【0121】

さらに、上記軌跡決定モジュール７３０は、
各追跡されるターゲットに対して、当該追跡されるターゲットと各追跡された軌跡の間のマッチングスコアから、最高マッチングスコアをスクリーニングするためのマッチングスコアスクリーニングユニットと、
各追跡されるターゲットの最高マッチングスコアと予め設定されたフレームにおけるターゲット追加条件に基づいて、各追跡されるターゲットのマッチング軌跡を決定するための軌跡決定ユニットと、を含んでもよい。

【0122】

さらに、上記軌跡決定ユニットは、具体的に、各追跡されるターゲットに対して、当該追跡されるターゲットと各追跡された軌跡の間のマッチングスコアのうちの最高マッチングスコアを切り上げ、他のマッチングスコアを切り捨て、対応する最適マッチングスコアを構成し、最適マッチングスコアと予め設定されたフレームにおけるターゲット追加条件に従って、各追跡されるターゲットのマッチング軌跡を決定することに用いられてもよい。

【0123】

さらに、上記軌跡決定ユニットは、具体的に、現在のビデオフレームの追跡されるターゲットのうちフレームにおけるターゲット追加条件を満たす追跡されるターゲットを新規追加ターゲットとし、現在のビデオフレームにおける新規追加ターゲットの位置を新規追加ターゲットのマッチング軌跡とし、現在のビデオフレームにおける新規追加ターゲットを除いた各残りの追跡されるターゲットに対して、当該残りの追跡されるターゲットの最高マッチングスコアが指す追跡された軌跡を当該残りの追跡されるターゲットのマッチング軌跡とすることに用いられてもよい。

【0124】

上記フレームにおけるターゲット追加条件は、追跡されるターゲットと軌跡グラフにおける各追跡された軌跡の間の頂点類似度がいずれも予め設定された類似度閾値より小さいという条件、現在のビデオフレームにおける追跡されるターゲットの中心位置と軌跡グラフにおける各追跡された軌跡におけるターゲットの中心位置の間の位置差がいずれも予め設定された位置差より大きいという条件、現在のビデオフレームにおける追跡されるターゲットのターゲット検出枠と軌跡グラフにおける各追跡された軌跡のターゲット検出枠の間に共通部分がないという条件、のうちの少なくとも１つを含むことができる。

【0125】

さらに、上記ターゲットグラフ構築モジュール７１０は、具体的に、現在のビデオフレームにおける各追跡されるターゲットの属性特徴を抽出し、各追跡されるターゲットを頂点とし、ターゲットグラフを構築し、ターゲットグラフの各頂点の頂点特徴を得ることに用いられてもよい。

【0126】

さらに、上記マルチターゲット追跡装置は、現在のビデオフレームにおける追跡されるターゲットのマッチング軌跡に基づいて軌跡グラフを更新し、且つ、現在のビデオフレームにおける各追跡されるターゲットのマッチング軌跡の属性特徴に基づいて軌跡グラフにおける各頂点の頂点特徴を更新するための軌跡グラフ更新モジュールをさらに含んでもよい。

【0127】

本実施例により提供されるマルチターゲット追跡装置は、上記任意の実施例により提供されるマルチターゲット追跡方法に適用可能であり、対応する機能と有益な効果を有する。

【0128】

実施例８
図８は本発明の実施例８により提供されるコンピューティングデバイスの構造模式図である。図８に示すように、当該コンピューティングデバイスは、プロセッサ８１０、記憶装置８２０及び通信装置８３０を含む。コンピューティングデバイスにおいて、プロセッサ８１０の数は１つであってもよく複数であってもよく、図８において、１つのプロセッサ８１０を例とし、コンピューティングデバイスのプロセッサ８１０、記憶装置８２０及び通信装置８３０はバス又は他の方法により接続されてもよく、図８においてバスによる接続を例とする。

【0129】

記憶装置８２０は、コンピュータ読み取り可能な記憶媒体として、ソフトウェアプログラム、コンピュータ実行可能なプログラム及びモジュールを記憶することに用いられる。プロセッサ８１０は、記憶装置８２０に記憶されたソフトウェアプログラム、命令及びモジュールを実行することによって、コンピューティングデバイスの様々な機能アプリケーション及びデータ処理を実現し、即ち上記マルチターゲット追跡モデルのトレーニング方法又はマルチターゲット追跡方法を実現する。

【0130】

記憶装置８２０は、主に、オペレーティングシステム、少なくとも１つの機能に必要なアプリケーションを記憶可能なプログラム記憶エリアと、端末の使用によって作成されたデータ等を記憶可能なデータ記憶エリアと、を含んでもよい。また、記憶装置８２０は、高速ランダムアクセスメモリを含んでもよく、また、少なくとも１つの磁気ディスクメモリデバイス、フラッシュメモリデバイス又はその他の不揮発性ソリッドステートメモリデバイス等の不揮発性メモリを含んでもよい。幾つかの実施例において、記憶装置８２０は、多機能コントローラに対して遠隔に設けられたメモリをさらに含んでもよい。これらの遠隔メモリはネットワークを介して車両に接続することができる。上記ネットワークの例は、インタネット、イントラネット、ローカルエリアネットワーク、移動体通信ネットワーク及びその組み合わせを含むが、これらに限定されない。

【0131】

通信装置８３０は、コンピューティングデバイス間のネットワーク接続又はモバイルデータ接続の実装に用いられる。

【0132】

本実施例により提供されるコンピューティングデバイスは、上記任意の実施例により提供されるマルチターゲット追跡モデルのトレーニング方法又はマルチターゲット追跡方法を実行し、対応する機能と有益な効果を有する。

【0133】

実施例９
本発明の実施例９は、コンピュータ読み取り可能な記憶媒体をさらに提供する。コンピュータ読み取り可能な記憶媒体にコンピュータプログラムが記憶されており、当該プログラムがプロセッサにより実行される時、上記任意の実施例におけるマルチターゲット追跡モデルのトレーニング方法又はマルチターゲット追跡方法を実現することができる。当然ながら、本発明の実施例により提供されるコンピュータ実行可能な命令を含む記憶媒体において、そのコンピュータ実行可能な命令が上記のような方法操作に限定されず、本発明の任意の実施例により提供されるマルチターゲット追跡モデルのトレーニング方法又はマルチターゲット追跡方法に関連する操作を実行してもよい。

【0134】

上記実施形態の説明を通じて、当業者は、本発明がソフトウェア及び必要な汎用ハードウェアによって実現することができ、当然ながら、ハードウェアによって実現されてもよいことを明確に理解することができるが、多くの場合、前者はより好ましい実施形態である。このような理解に基づいて、本発明の技術的解決手段は、実質的に、又は、従来技術に寄与する部分がソフトウェア製品の形で具体化することができる。このコンピュータソフトウェア製品は、例えば、コンピュータのフロッピーディスク、読み取り専用メモリ（Ｒｅａｄ－ＯｎｌｙＭｅｍｏｒｙ、ＲＯＭ）、ランダムアクセスメモリ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ、ＲＡＭ）、フラッシュメモリ（ＦＬＡＳＨ）、ハードディスク又は光ディスク等のコンピュータ読み取り可能な記憶媒体に記憶されてもよく、コンピュータデバイス（パーソナルコンピュータ、サーバー又はネットワークデバイス等）に本発明の各実施例に記載の方法を実行させるための複数の命令を含む。

【0135】

注意すべきであることは、上記マルチターゲット追跡モデルのトレーニング装置又はマルチターゲット追跡装置の実施例において、含まれる各ユニット及びモジュールは、単に機能ロジックに従って分割されたものであるが、上記分割に限定されず、対応する機能を実現できればよい。また、各機能ユニットの具体的な名称は、互いに区別しやすくするためのものに過ぎず、本発明の請求範囲を制限するものではない。

【0136】

本開示の幾つかの例は以下を含む。

【0137】

例１、現在のビデオフレームにおける追跡されるターゲットに基づいてターゲットグラフを構築するためのターゲットグラフ抽出ネットワークと、過去のビデオフレームにおける追跡された軌跡に基づいて軌跡グラフを構築するための軌跡グラフ抽出ネットワークと、前記追跡されるターゲットのマッチング軌跡を予測するために、前記ターゲットグラフと軌跡グラフに対してグラフマッチングを行うためのグラフマッチングネットワークと、を含む初期のマルチターゲット追跡モデルを構築することと、
前記マルチターゲット追跡モデルの予め設定された損失関数を用いて、トレーニングサンプルにおける追跡されるターゲットの実際のマッチング軌跡と予測されたマッチング軌跡に基づいて、前記マルチターゲット追跡モデルにおける各ネットワークに対して共同トレーニングを行い、トレーニング後のマルチターゲット追跡モデルを得ることと、を含み、
前記ターゲットグラフと軌跡グラフはいずれも頂点及び頂点を結ぶ辺を含み、前記ターゲットグラフの頂点は前記追跡されるターゲットにそれぞれ対応し、前記軌跡グラフの頂点は前記追跡された軌跡に対応し、前記ターゲットグラフと前記軌跡グラフにおける２つの頂点の辺の辺特徴は２つの頂点の間の属性関係を含む、ことを特徴とするマルチターゲット追跡モデルのトレーニング方法。

【0138】

例２、前記頂点は頂点特徴を有し、前記ターゲットグラフにおける頂点の頂点特徴は当該頂点に対応する追跡されるターゲットの属性特徴であり、前記軌跡グラフにおける頂点の頂点特徴は当該頂点に対応する追跡された軌跡の属性特徴であり、前記ターゲットグラフと前記軌跡グラフにおける２つの頂点の辺の辺特徴のうち２つの頂点の間の属性関係は２つの頂点の属性特徴の間の関係である、ことを特徴とする例１に記載の方法。

【0139】

例３、前記マルチターゲット追跡モデルは、前記グラフマッチングネットワークが前記ターゲットグラフと前記軌跡グラフにおける強化後の頂点特徴と辺特徴に基づいて前記ターゲットグラフと前記軌跡グラフに対してグラフマッチングを行うために、前記ターゲットグラフと前記軌跡グラフにおける頂点特徴と辺特徴に対して特徴強化を行うための特徴強化ネットワークをさらに含む、ことを特徴とする例２に記載の方法。

【0140】

例４、前記グラフマッチングネットワークは、具体的に、前記ターゲットグラフと前記軌跡グラフにおける強化後の頂点特徴と辺特徴に基づいて前記ターゲットグラフと前記軌跡グラフの間の頂点類似度と辺類似度を計算し、前記頂点類似度と前記辺類似度に基づいて前記ターゲットグラフにおける追跡されるターゲットと前記軌跡グラフにおける追跡された軌跡の間のマッチングスコアを計算し、前記マッチングスコアに基づいて前記追跡されるターゲットのマッチング軌跡を予測することに用いられる、ことを特徴とする例３に記載の方法。

【0141】

例５、前記トレーニングサンプルは、過去のビデオフレームにおける各現在のビデオフレームの追跡されるターゲットの実際のマッチング軌跡を含み、前記マルチターゲット追跡モデルの予め設定された損失関数を用いて、トレーニングサンプルにおける追跡されるターゲットの実際のマッチング軌跡と予測されたマッチング軌跡に基づいて、前記マルチターゲット追跡モデルにおける各ネットワークに対して共同トレーニングを行うことは、
前記マルチターゲット追跡モデルにおけるターゲットグラフ抽出ネットワークを用いて前記トレーニングサンプル内の現在のトレーニングフレームにおける追跡されるターゲットのターゲットグラフを構築することと、
前記マルチターゲット追跡モデルにおける軌跡グラフ抽出ネットワークを用いて前記トレーニングサンプル内の過去のトレーニングフレームにおける追跡された軌跡の軌跡グラフを構築することと、
前記マルチターゲット追跡モデルにおける特徴強化ネットワークを用いて前記ターゲットグラフと前記軌跡グラフにおける頂点特徴と辺特徴に対して特徴強化を行い、前記ターゲットグラフと前記軌跡グラフにおける強化後の頂点特徴と辺特徴を前記マルチターゲット追跡モデルにおけるグラフマッチングネットワークに入力し、前記追跡されるターゲットのマッチング軌跡を予測することと、
前記マルチターゲット追跡ネットワークの予め設定された損失関数を用いて、トレーニングサンプル内の現在のビデオフレームにおける各追跡されるターゲットの、過去のビデオフレームでの実際のマッチング軌跡と予測されたマッチング軌跡に基づいて、グラフマッチングネットワーク、特徴強化ネットワーク、軌跡グラフ抽出ネットワーク及びターゲットグラフ抽出ネットワークに対して勾配的に逆伝播を行い、前記マルチターゲット追跡モデルにおける各ネットワークを共同トレーニングすることと、を含む、ことを特徴とする例４に記載の方法。

【0142】

例６、前記予め設定された損失関数は加重バイナリクロスエントロピーの損失関数であり、前記予め設定された損失関数の重みは前記ターゲットグラフと前記軌跡グラフにおける頂点の数に従って設定され、前記特徴強化ネットワークはクロスグラフ畳み込みネットワークである、ことを特徴とする例５に記載の方法。

【0143】

例７、前記グラフマッチングネットワークは、前記ターゲットグラフと前記軌跡グラフの間の頂点類似度を計算し、次元変換を行うための頂点類似変換層と、前記ターゲットグラフと前記軌跡グラフの間の辺類似度を計算し、次元変換を行うための辺類似変換層と、二次計画問題に基づいて、次元変換後の頂点類似度と辺類似度を用いて前記マッチングスコアを計算するための二次計画層で構成される、ことを特徴とする例４に記載の方法。

【0144】

例８、前記二次計画問題は二次配分問題の離散配分ターゲットを対応する連続的な計画ターゲットに調整した後、前記二次配分問題に対して対応する変換を行った後に得られる、ことを特徴とする例７に記載の方法。

【0145】

例９、前記頂点類似変換層と前記辺類似変換層は、前記ターゲットグラフと前記軌跡グラフにおける頂点の数に従って対応する変換次元を設定する、ことを特徴とする例７に記載の方法。

【0146】

例１０、前記頂点の属性特徴はベクトル特徴として示され、２つの頂点の辺の辺特徴は２つの頂点に対応するベクトル特徴のステッチベクトル又は加重ベクトルとして示される、ことを特徴とする例１に記載の方法。

【0147】

例１１、現在のビデオフレームにおける追跡されるターゲットに基づいてターゲットグラフを構築することと、
前記ターゲットグラフと既存の軌跡グラフに対してグラフマッチングを行うことにより、前記追跡されるターゲットと前記軌跡グラフにおける追跡された軌跡の間のマッチングスコアを計算することと、
前記マッチングスコアに従って前記追跡されるターゲットのマッチング軌跡を決定することと、を含み、
前記ターゲットグラフは頂点及び頂点を結ぶ辺を含み、前記ターゲットグラフの頂点は前記追跡されるターゲットに対応し、前記ターゲットグラフにおける２つの頂点の間の辺の辺特徴は２つの頂点の間の属性関係を含み、前記軌跡グラフは頂点及び頂点を結ぶ辺を含み、前記軌跡グラフの頂点は既存の追跡された軌跡に対応し、前記軌跡グラフにおける２つの頂点の間の辺の辺特徴は２つの頂点の間の属性関係を含む、ことを特徴とするマルチターゲット追跡方法。

【0148】

例１２、前記ターゲットグラフと前記軌跡グラフは完全グラフである、ことを特徴とする例１１に記載の方法。

【0149】

例１３、前記マッチングスコアに従って前記追跡されるターゲットのマッチング軌跡を決定した後、さらに、
前記現在のビデオフレームにおける追跡されるターゲットのマッチング軌跡に基づいて前記軌跡グラフを更新し、且つ、前記現在のビデオフレームにおける各追跡されるターゲットのマッチング軌跡の属性特徴に基づいて前記軌跡グラフにおける各頂点の頂点特徴を更新することを含む、ことを特徴とする例１１又は１２に記載の方法。

【0150】

上記は本発明の好ましい実施例及び適用される技術原理に過ぎないことに留意されたい。当業者であれば、本発明は本明細書に記載の特定の実施例に限定されないことを理解できる。当業者にとって、本発明の保護範囲から逸脱することなく、各種の明らかな変更、再調整及び置換を行うことができる。従って、上記実施例によって、本発明を詳しく説明したが、本発明は上記実施例に限定されず、本発明の思想から逸脱することなく、より多くの他の同等の実施例を含んでもよい。本発明の範囲は、添付された特許請求の範囲によって決定される。

【図1A】