知財求人 - 知財ポータルサイト「IP Force」
特開2024-8869マルチターゲット・マルチカメラヘッド追跡のための方法及び装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024008869
(43)【公開日】2024-01-19
(54)【発明の名称】マルチターゲット・マルチカメラヘッド追跡のための方法及び装置
(51)【国際特許分類】
G06T 7/20 20170101AFI20240112BHJP
H04N 7/18 20060101ALI20240112BHJP
【ＦＩ】
G06T7/20 300Z
H04N7/18 G
H04N7/18 K
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2023106535
(22)【出願日】2023-06-28
(31)【優先権主張番号】202210793867.1
(32)【優先日】2022-07-07
(33)【優先権主張国・地域又は機関】CN
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＪＡＶＡ
２．ＳＭＡＬＬＴＡＬＫ
(71)【出願人】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】汪 留安
(72)【発明者】
【氏名】ジャン・ホォイガン
(72)【発明者】
【氏名】王 平
(72)【発明者】
【氏名】孫 俊
【テーマコード（参考）】
5C054
5L096
【Ｆターム（参考）】
5C054CA04
5C054CC02
5C054FE09
5C054FE13
5C054HA19
5C054HA31
5L096CA04
5L096CA05
5L096FA69
5L096GA51
5L096HA05
5L096HA11
5L096JA03
5L096MA07
(57)【要約】
【課題】本発明は、マルチターゲット・マルチカメラヘッド追跡のための方法及び装置を提供する。
【解決手段】マルチターゲット・マルチカメラヘッド追跡のための方法は、複数のカメラヘッドのうちの各カメラヘッドにより提供される、対応する画像シーケンスに対してシングルカメラヘッド・マルチターゲット追跡を行うことで総ローカル目標軌跡集合を決定し；及び、総ローカル目標軌跡集合に対してマルチカメラヘッド・マルチターゲット・マッチングを行うことで複数のカメラヘッドについてのグローバル目標軌跡集合を決定することを含む。
【選択図】図１
【解決手段】マルチターゲット・マルチカメラヘッド追跡のための方法は、複数のカメラヘッドのうちの各カメラヘッドにより提供される、対応する画像シーケンスに対してシングルカメラヘッド・マルチターゲット追跡を行うことで総ローカル目標軌跡集合を決定し；及び、総ローカル目標軌跡集合に対してマルチカメラヘッド・マルチターゲット・マッチングを行うことで複数のカメラヘッドについてのグローバル目標軌跡集合を決定することを含む。
【選択図】図１
【特許請求の範囲】
【請求項1】
コンピュータが実行する、マルチターゲット・マルチカメラヘッド追跡のための方法であって、
複数のカメラヘッドのうちの各カメラヘッドにより提供される、対応する画像シーケンスに対してシングルカメラヘッド・マルチターゲット追跡を行うことで各カメラヘッドのローカル目標軌跡集合を含む総ローカル目標軌跡集合を決定し；及び
前記総ローカル目標軌跡集合に対してマルチカメラヘッド・マルチターゲット・マッチングを行うことで前記複数のカメラヘッドについてのグローバル目標軌跡集合を決定することを含み、
前記複数のカメラヘッドについての前記グローバル目標軌跡集合の決定は、
前記総ローカル目標軌跡集合におけるローカル目標軌跡に対してクラスタリングを行うことでクラスタリング・マッチング・グローバル軌跡集合を決定し；
前記クラスタリング・マッチング・グローバル軌跡集合における各軌跡を頂点として構築される有向グラフに対して最小コスト経路アルゴリズムを適用することで最小コスト経路集合を決定し；及び
前記最小コスト経路集合に基づいて前記クラスタリング・マッチング・グローバル軌跡集合の中の対応する軌跡を合併することを含む、方法。
複数のカメラヘッドのうちの各カメラヘッドにより提供される、対応する画像シーケンスに対してシングルカメラヘッド・マルチターゲット追跡を行うことで各カメラヘッドのローカル目標軌跡集合を含む総ローカル目標軌跡集合を決定し；及び
前記総ローカル目標軌跡集合に対してマルチカメラヘッド・マルチターゲット・マッチングを行うことで前記複数のカメラヘッドについてのグローバル目標軌跡集合を決定することを含み、
前記複数のカメラヘッドについての前記グローバル目標軌跡集合の決定は、
前記総ローカル目標軌跡集合におけるローカル目標軌跡に対してクラスタリングを行うことでクラスタリング・マッチング・グローバル軌跡集合を決定し；
前記クラスタリング・マッチング・グローバル軌跡集合における各軌跡を頂点として構築される有向グラフに対して最小コスト経路アルゴリズムを適用することで最小コスト経路集合を決定し；及び
前記最小コスト経路集合に基づいて前記クラスタリング・マッチング・グローバル軌跡集合の中の対応する軌跡を合併することを含む、方法。
【請求項2】
請求項１に記載の方法であって、
各カメラヘッドのローカル目標軌跡集合を含む総ローカル目標軌跡集合の決定は、
前記複数のカメラヘッドのうちの各カメラヘッドについて、前のローカル目標軌跡集合及び前記対応する画像シーケンスにおける現在の画像に基づいて現在のローカル目標軌跡集合を決定することを含み、
現在のローカル軌跡集合の決定は、
目標検出ネットワークを使用して前記現在の画像中の所定類型の目標の検出バウンディングボックス及びバウンディングボックスの信頼度を決定し；及び
前記現在の画像中の各検出バウンディングボックス、各バウンディングボックスの信頼度及び前の画像に基づいてシングルカメラヘッド目標マッチングを行うことで前記前のローカル目標軌跡集合を更新して前記現在のローカル目標軌跡集合とすることを含み、
前記前の画像は前記前のローカル目標軌跡集合の対応する画像シーケンスにおける末尾の画像である、方法。
各カメラヘッドのローカル目標軌跡集合を含む総ローカル目標軌跡集合の決定は、
前記複数のカメラヘッドのうちの各カメラヘッドについて、前のローカル目標軌跡集合及び前記対応する画像シーケンスにおける現在の画像に基づいて現在のローカル目標軌跡集合を決定することを含み、
現在のローカル軌跡集合の決定は、
目標検出ネットワークを使用して前記現在の画像中の所定類型の目標の検出バウンディングボックス及びバウンディングボックスの信頼度を決定し；及び
前記現在の画像中の各検出バウンディングボックス、各バウンディングボックスの信頼度及び前の画像に基づいてシングルカメラヘッド目標マッチングを行うことで前記前のローカル目標軌跡集合を更新して前記現在のローカル目標軌跡集合とすることを含み、
前記前の画像は前記前のローカル目標軌跡集合の対応する画像シーケンスにおける末尾の画像である、方法。
【請求項3】
請求項２に記載の方法であって、
前記現在の画像中の各検出バウンディングボックス、各バウンディングボックスの信頼度及び前の画像に基づいてシングルカメラヘッド目標マッチングを行うことで前記前のローカル目標軌跡集合を更新することは、
前記検出バウンディングボックスのうち、バウンディングボックスの信頼度がバウンディングボックスの信頼度閾値よりも大きい、信頼できるバウンディングボックス、及び前記前のローカル目標軌跡集合の中の各検出済み目標軌跡に対して第一追跡マッチングを行うことで前記信頼できるバウンディングボックスの目標標識を決定し；
前記前のローカル目標軌跡集合における検出済み目標軌跡のうちの未マッチングの軌跡に対して、残りの検出バウンディングボックスのうちのものとの第二追跡マッチングを行うことで前記残りの検出バウンディングボックスの目標標識を決定し；及び
前記検出バウンディングボックスのうち、バウンディングボックスの信頼度が前記バウンディングボックスの信頼度閾値よりも大きく、かつ前記前のローカル目標軌跡集合の中の検出済み目標軌跡とマッチングしないバウンディングボックスについて、新しい目標標識を生成することを含む、方法。
前記現在の画像中の各検出バウンディングボックス、各バウンディングボックスの信頼度及び前の画像に基づいてシングルカメラヘッド目標マッチングを行うことで前記前のローカル目標軌跡集合を更新することは、
前記検出バウンディングボックスのうち、バウンディングボックスの信頼度がバウンディングボックスの信頼度閾値よりも大きい、信頼できるバウンディングボックス、及び前記前のローカル目標軌跡集合の中の各検出済み目標軌跡に対して第一追跡マッチングを行うことで前記信頼できるバウンディングボックスの目標標識を決定し；
前記前のローカル目標軌跡集合における検出済み目標軌跡のうちの未マッチングの軌跡に対して、残りの検出バウンディングボックスのうちのものとの第二追跡マッチングを行うことで前記残りの検出バウンディングボックスの目標標識を決定し；及び
前記検出バウンディングボックスのうち、バウンディングボックスの信頼度が前記バウンディングボックスの信頼度閾値よりも大きく、かつ前記前のローカル目標軌跡集合の中の検出済み目標軌跡とマッチングしないバウンディングボックスについて、新しい目標標識を生成することを含む、方法。
【請求項4】
請求項３に記載の方法であって、
前記前の画像中の検出バウンディングボックスに基づいて前記現在の画像についての予測バウンディングボックスを予測し；及び
前記現在の画像の検出バウンディングボックス及び前記予測バウンディングボックスと関連付けられる面積オーバーラップコスト関数及び頂点オーバーラップコスト関数に基づいて前記現在の画像中の検出バウンディングボックスの目標標識を決定する
ことで、前記第一追跡マッチング及び前記第二追跡マッチングのうちの少なくとも１つを行う、方法。
前記前の画像中の検出バウンディングボックスに基づいて前記現在の画像についての予測バウンディングボックスを予測し；及び
前記現在の画像の検出バウンディングボックス及び前記予測バウンディングボックスと関連付けられる面積オーバーラップコスト関数及び頂点オーバーラップコスト関数に基づいて前記現在の画像中の検出バウンディングボックスの目標標識を決定する
ことで、前記第一追跡マッチング及び前記第二追跡マッチングのうちの少なくとも１つを行う、方法。
【請求項5】
請求項２に記載の方法であって、
現在のローカル軌跡集合の決定は、
前記現在のローカル軌跡集合に対して後処理を行うことで現在のローカル目標軌跡集合を更新することをさらに含み、
前記現在のローカル軌跡集合に対して後処理を行うことは、
前記現在のローカル目標軌跡集合における軌跡の移動特徴に基づいて、新しい軌跡を生成するかを決定することを含む、方法。
現在のローカル軌跡集合の決定は、
前記現在のローカル軌跡集合に対して後処理を行うことで現在のローカル目標軌跡集合を更新することをさらに含み、
前記現在のローカル軌跡集合に対して後処理を行うことは、
前記現在のローカル目標軌跡集合における軌跡の移動特徴に基づいて、新しい軌跡を生成するかを決定することを含む、方法。
【請求項6】
請求項２に記載の方法であって、
現在のローカル軌跡集合の決定は、
前記現在のローカル軌跡集合に対して後処理を行うことで現在のローカル目標軌跡集合を更新することをさらに含み、
前記現在のローカル軌跡集合に対して後処理を行うことは、
前記現在のローカル目標軌跡集合において新しい目標に対応する新しい軌跡点について、前記現在の画像において、前記新しい軌跡点の対応するバウンディングボックスとのオーバーラップ率が最大のオーバーラップバウンディングボックスを決定し；
前記対応するバウンディングボックス及び前記オーバーラップバウンディングボックスについて、
Ｓｉｍ（Ｆｒｅｉｄ＿ｘ′ｔ，Ｆｒｅｉｄ＿ｘｔ′）－Ｓｉｍ（Ｆｒｅｉｄ＿ｘｔ，Ｆｒｅｉｄ＿ｘｔ′）＞ｓＴｈ２
という第一類似度条件を満たすかを決定し；及び
前記第一類似度条件を満たしたと決定している場合、前記対応するバウンディングボックスと前記オーバーラップバウンディングボックスの目標標識を交換することを含み、
Ｓｉｍ（Ｆｒｅｉｄ＿ｘ′ｔ，Ｆｒｅｉｄ＿ｘｔ′）は前記対応するバウンディングボックスに対応する目標標識の前記現在の画像内の画像ブロックの再認識特徴Ｆｒｅｉｄ＿ｘ′ｔと、前記オーバーラップバウンディングボックスに対応する目標標識の前記前の画像内の画像ブロックの再認識特徴Ｆｒｅｉｄ＿ｘｔ′との間の類似度であり、
Ｓｉｍ（Ｆｒｅｉｄ＿ｘｔ，Ｆｒｅｉｄ＿ｘｔ′）は前記オーバーラップバウンディングボックスに対応する目標標識の前記現在の画像及び前記前の画像の中の画像ブロックの再認識特徴Ｆｒｅｉｄ＿ｘｔとＦｒｅｉｄ＿ｘｔ′との間の類似度であり、
ｓＴｈ２は第二類似度閾値である、方法。
現在のローカル軌跡集合の決定は、
前記現在のローカル軌跡集合に対して後処理を行うことで現在のローカル目標軌跡集合を更新することをさらに含み、
前記現在のローカル軌跡集合に対して後処理を行うことは、
前記現在のローカル目標軌跡集合において新しい目標に対応する新しい軌跡点について、前記現在の画像において、前記新しい軌跡点の対応するバウンディングボックスとのオーバーラップ率が最大のオーバーラップバウンディングボックスを決定し；
前記対応するバウンディングボックス及び前記オーバーラップバウンディングボックスについて、
Ｓｉｍ（Ｆｒｅｉｄ＿ｘ′ｔ，Ｆｒｅｉｄ＿ｘｔ′）－Ｓｉｍ（Ｆｒｅｉｄ＿ｘｔ，Ｆｒｅｉｄ＿ｘｔ′）＞ｓＴｈ２
という第一類似度条件を満たすかを決定し；及び
前記第一類似度条件を満たしたと決定している場合、前記対応するバウンディングボックスと前記オーバーラップバウンディングボックスの目標標識を交換することを含み、
Ｓｉｍ（Ｆｒｅｉｄ＿ｘ′ｔ，Ｆｒｅｉｄ＿ｘｔ′）は前記対応するバウンディングボックスに対応する目標標識の前記現在の画像内の画像ブロックの再認識特徴Ｆｒｅｉｄ＿ｘ′ｔと、前記オーバーラップバウンディングボックスに対応する目標標識の前記前の画像内の画像ブロックの再認識特徴Ｆｒｅｉｄ＿ｘｔ′との間の類似度であり、
Ｓｉｍ（Ｆｒｅｉｄ＿ｘｔ，Ｆｒｅｉｄ＿ｘｔ′）は前記オーバーラップバウンディングボックスに対応する目標標識の前記現在の画像及び前記前の画像の中の画像ブロックの再認識特徴Ｆｒｅｉｄ＿ｘｔとＦｒｅｉｄ＿ｘｔ′との間の類似度であり、
ｓＴｈ２は第二類似度閾値である、方法。
【請求項7】
請求項２に記載の方法であって、
現在のローカル軌跡集合の決定は、
前記現在のローカル軌跡集合に対して後処理を行うことで現在のローカル目標軌跡集合を更新することをさらに含み、
前記現在のローカル軌跡集合に対して後処理を行うことは、
前記現在のローカル軌跡集合に、
前記第一軌跡の対応する画像ブロックシーケンスにおける現在の時間ｔの前の時間ｔ′における第一画像ブロックと、前記第二軌跡の対応する画像ブロックシーケンスにおける前記時間ｔ′における第二画像ブロックがオーバーラップしており、
前記第一軌跡の対応する画像ブロックシーケンスにおける前記現在の時間ｔにおける第三画像ブロックと、前記第二軌跡の対応する画像ブロックシーケンスにおける前記現在の時間ｔにおける第四画像ブロックがオーバーラップせず、及び
前記第一軌跡の対応する画像ブロックシーケンスにおける前記時間ｔ′よりも前の時間ｔ′′における第五画像ブロックと、前記第二軌跡の対応する画像ブロックシーケンスにおける前記時間ｔ′′における第六画像ブロックがオーバーラップしない
というオーバーラップ条件を満たす第一軌跡及び第二軌跡が存在するかを決定し；
前記オーバーラップ条件を満たした前記第一軌跡及び前記第二軌跡について、
Ｓｉｍ（Ｆｒｅｉｄ＿ｘｔ′′、Ｆｒｅｉｄ＿ｘ′ｔ）＋Ｓｉｍ（Ｆｒｅｉｄ＿ｘ′ｔ′′、Ｆｒｅｉｄ＿ｘｔ）－Ｓｉｍ（Ｆｒｅｉｄ＿ｘｔ、Ｆｒｅｉｄ＿ｘｔ′′）＋Ｓｉｍ（Ｆｒｅｉｄ＿ｘ′ｔ′′、Ｆｒｅｉｄ＿ｘ′ｔ）＞ｓＴｈ３
という第二類似度条件を満たすかを決定し；及び
前記第二類似度条件を満たしたと決定している場合、前記第四画像ブロックと前記第三画像ブロックの目標標識を交換することをさらに含み、
Ｓｉｍ（Ｆｒｅｉｄ＿ｘｔ′′，Ｆｒｅｉｄ＿ｘ′ｔ）は前記第五画像ブロックの再認識特徴Ｆｒｅｉｄ＿ｘｔ′′と前記第四画像ブロックの再認識特徴Ｆｒｅｉｄ＿ｘ′ｔとの間の類似度であり、
Ｓｉｍ（Ｆｒｅｉｄ＿ｘ′ｔ′′，Ｆｒｅｉｄ＿ｘｔ）は前記第六画像ブロックの再認識特徴Ｆｒｅｉｄ＿ｘ′ｔ′′と前記第三画像ブロックの再認識特徴Ｆｒｅｉｄ＿ｘｔとの間の類似度であり、
Ｓｉｍ（Ｆｒｅｉｄ＿ｘｔ，Ｆｒｅｉｄ＿ｘｔ′′）は前記第五画像ブロックの再認識特徴Ｆｒｅｉｄ＿ｘｔ′′と前記第三画像ブロックの再認識特徴Ｆｒｅｉｄ＿ｘｔとの間の類似度であり、
Ｓｉｍ（Ｆｒｅｉｄ＿ｘ′ｔ′′，Ｆｒｅｉｄ＿ｘ′ｔ）は前記第六画像ブロックの再認識特徴Ｆｒｅｉｄ＿ｘ′ｔ′′と前記第四画像ブロックの再認識特徴Ｆｒｅｉｄ＿ｘ′ｔとの間の類似度であり、
ｓＴｈ３は第三類似度閾値である、方法。
現在のローカル軌跡集合の決定は、
前記現在のローカル軌跡集合に対して後処理を行うことで現在のローカル目標軌跡集合を更新することをさらに含み、
前記現在のローカル軌跡集合に対して後処理を行うことは、
前記現在のローカル軌跡集合に、
前記第一軌跡の対応する画像ブロックシーケンスにおける現在の時間ｔの前の時間ｔ′における第一画像ブロックと、前記第二軌跡の対応する画像ブロックシーケンスにおける前記時間ｔ′における第二画像ブロックがオーバーラップしており、
前記第一軌跡の対応する画像ブロックシーケンスにおける前記現在の時間ｔにおける第三画像ブロックと、前記第二軌跡の対応する画像ブロックシーケンスにおける前記現在の時間ｔにおける第四画像ブロックがオーバーラップせず、及び
前記第一軌跡の対応する画像ブロックシーケンスにおける前記時間ｔ′よりも前の時間ｔ′′における第五画像ブロックと、前記第二軌跡の対応する画像ブロックシーケンスにおける前記時間ｔ′′における第六画像ブロックがオーバーラップしない
というオーバーラップ条件を満たす第一軌跡及び第二軌跡が存在するかを決定し；
前記オーバーラップ条件を満たした前記第一軌跡及び前記第二軌跡について、
Ｓｉｍ（Ｆｒｅｉｄ＿ｘｔ′′、Ｆｒｅｉｄ＿ｘ′ｔ）＋Ｓｉｍ（Ｆｒｅｉｄ＿ｘ′ｔ′′、Ｆｒｅｉｄ＿ｘｔ）－Ｓｉｍ（Ｆｒｅｉｄ＿ｘｔ、Ｆｒｅｉｄ＿ｘｔ′′）＋Ｓｉｍ（Ｆｒｅｉｄ＿ｘ′ｔ′′、Ｆｒｅｉｄ＿ｘ′ｔ）＞ｓＴｈ３
という第二類似度条件を満たすかを決定し；及び
前記第二類似度条件を満たしたと決定している場合、前記第四画像ブロックと前記第三画像ブロックの目標標識を交換することをさらに含み、
Ｓｉｍ（Ｆｒｅｉｄ＿ｘｔ′′，Ｆｒｅｉｄ＿ｘ′ｔ）は前記第五画像ブロックの再認識特徴Ｆｒｅｉｄ＿ｘｔ′′と前記第四画像ブロックの再認識特徴Ｆｒｅｉｄ＿ｘ′ｔとの間の類似度であり、
Ｓｉｍ（Ｆｒｅｉｄ＿ｘ′ｔ′′，Ｆｒｅｉｄ＿ｘｔ）は前記第六画像ブロックの再認識特徴Ｆｒｅｉｄ＿ｘ′ｔ′′と前記第三画像ブロックの再認識特徴Ｆｒｅｉｄ＿ｘｔとの間の類似度であり、
Ｓｉｍ（Ｆｒｅｉｄ＿ｘｔ，Ｆｒｅｉｄ＿ｘｔ′′）は前記第五画像ブロックの再認識特徴Ｆｒｅｉｄ＿ｘｔ′′と前記第三画像ブロックの再認識特徴Ｆｒｅｉｄ＿ｘｔとの間の類似度であり、
Ｓｉｍ（Ｆｒｅｉｄ＿ｘ′ｔ′′，Ｆｒｅｉｄ＿ｘ′ｔ）は前記第六画像ブロックの再認識特徴Ｆｒｅｉｄ＿ｘ′ｔ′′と前記第四画像ブロックの再認識特徴Ｆｒｅｉｄ＿ｘ′ｔとの間の類似度であり、
ｓＴｈ３は第三類似度閾値である、方法。
【請求項8】
請求項１に記載の方法であって、
前記有向グラフを、
各対の頂点の間の有向辺のコストを無限大に初期化し；及び
前記クラスタリング・マッチング・グローバル軌跡集合の中の第一軌跡及び第二軌跡について、前記第二軌跡の開始時間と、前記第一軌跡の終了時間との間の差がゼロよりも大きく、かつ所定時間閾値よりも小さい場合、前記第一軌跡及び前記第二軌跡と関連付けられる軌跡類似度コスト関数、時間コスト関数及び空間距離コスト関数のうちの少なくとも１つに基づいて、前記第一軌跡及び前記第二軌跡と関連付けられる２つの頂点間の有向辺のコストを調整する
ことで構築し、
前記軌跡類似度コスト関数は前記第一軌跡と前記第二軌跡との軌跡類似度に関連付けられ、
前記時間コスト関数は前記第二軌跡の開始時間と前記第一軌跡の終了時間との差に関連付けられ、
前記空間距離コスト関数は前記第一軌跡の終了位置と前記第二軌跡の開始位置との間のワールド座標系での空間距離に関連付けられる、方法。
前記有向グラフを、
各対の頂点の間の有向辺のコストを無限大に初期化し；及び
前記クラスタリング・マッチング・グローバル軌跡集合の中の第一軌跡及び第二軌跡について、前記第二軌跡の開始時間と、前記第一軌跡の終了時間との間の差がゼロよりも大きく、かつ所定時間閾値よりも小さい場合、前記第一軌跡及び前記第二軌跡と関連付けられる軌跡類似度コスト関数、時間コスト関数及び空間距離コスト関数のうちの少なくとも１つに基づいて、前記第一軌跡及び前記第二軌跡と関連付けられる２つの頂点間の有向辺のコストを調整する
ことで構築し、
前記軌跡類似度コスト関数は前記第一軌跡と前記第二軌跡との軌跡類似度に関連付けられ、
前記時間コスト関数は前記第二軌跡の開始時間と前記第一軌跡の終了時間との差に関連付けられ、
前記空間距離コスト関数は前記第一軌跡の終了位置と前記第二軌跡の開始位置との間のワールド座標系での空間距離に関連付けられる、方法。
【請求項9】
マルチターゲット・マルチカメラヘッド追跡のための装置であって、
命令を記憶している記憶器；及び
前記記憶器に接続される少なくとも１つの処理器を含み、
前記処理器は前記命令を実行することで請求項１乃至８のうちの何れか１項に記載の方法を実現するように構成される、装置。
命令を記憶している記憶器；及び
前記記憶器に接続される少なくとも１つの処理器を含み、
前記処理器は前記命令を実行することで請求項１乃至８のうちの何れか１項に記載の方法を実現するように構成される、装置。
【請求項10】
コンピュータに、請求項１乃至８のうちの何れか１項に記載の方法を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理及びコンピュータビジョンに関し、特に、マルチターゲット・マルチカメラヘッド追跡のため方法、装置及びコンピュータプログラムに関する。
【背景技術】
【0002】
コンピュータ科学及び人工知能の発展に伴い、コンピュータを使用して人工知能モデルを実行して情報処理を実現することはますます一般的かつ効果的になっている。コンピュータビジョンは人工知能モデルの重要な応用分野の１つである。
【0003】
コンピュータビジョン技術のホットスポットの１つはマルチターゲット（目標）追跡である。マルチターゲット追跡は一般に、ＭＴＴ（Ｍｕｌｔｉｐｌｅ Ｔａｒｇｅｔ Ｔｒａｃｋｉｎｇ）と略称され、ＭＯＴ（Ｍｕｌｔｉｐｌｅ Ｏｂｊｅｃｔ Ｔｒａｃｋｉｎｇ）と略称される場合もある。それは目標の数が事前に分からない場合、ビデオ内の例えば歩行者、車及び／又は動物のような、関心のある複数の類型の目標に対して検出を行って標識（ＩＤ）を与えることで軌跡の追跡を行うために用いられる。期待される追跡結果は次のとおりであり、即ち、異なる目標が異なるＩＤを有することで、正確な追跡や検索などのワーキングを実現する。ＭＴＴはコンピュータビジョンの分野における重要な技術であり、自動運転、インテリジェント監視、行動認識などの面において幅広く利用されている。
【0004】
マルチターゲット追跡では、入力ビデオについて、目標の追跡結果を出力する。追跡結果の画像では各目標は例えば、対応するＩＤを持つ長方形の境界ボックス（外接枠）によって示される。ビデオの複数のフレームの画像シーケンスでは、同一のＩＤのバウンディングボックス（外接枠）の移動軌跡は該ＩＤの目標の軌跡と見なすことができる。これらのフレームでは、該ＩＤのバウンディングボックスで示される複数の画像ブロックの画像ブロックシーケンスは追跡タックレット（ｔａｃｋｌｅｔ）（スモールセグメント（ｓｍａｌｌ ｓｅｇｍｅｎｔ）ともいう）と呼ばれる。１つの追跡タックレットにおける各画像ブロックは該追跡タックレットの１つのフレームの画像とみ見なすことができ、各々のフレームの画像には目標軌跡の時間情報及び空間位置情報を表す情報を割り当てることができる。
【0005】
入力ビデオを提供するカメラヘッドの監視空間が限られていることを考慮すると、実際のビデオ監視（追跡）の応用では複数のカメラヘッドを用いてより大きな空間に対して監視及び目標追跡を行うことができる。これはマルチカメラヘッド・マルチターゲット追跡（Ｍｕｌｔｉ－Ｔａｒｇｅｔ Ｍｕｌｔｉ－Ｃａｍｅｒａ Ｔｒａｃｋｉｎｇ、ＭＴＭＣＴ）を必要とする。ＭＴＭＣＴは例えば、入力される複数のカメラヘッドの画像シーケンスを処理し、標識済みの画像シーケンスを出力し、そのうち、同じＩＤの目標が異なるカメラヘッドの画像シーケンスに現れる場合、クロスカメラヘッドであるかどうかにもかかわらず、同一の目標ＩＤのバウンディングボックスによって該目標の画像ブロックを標識することが望まれる。同一の目標ＩＤのバウンディングボックスに対応するこれらの画像ブロックは該目標ＩＤの目標のクロスカメラヘッド追跡タックレットを構成する。即ち、１つの追跡タックレットにおける２つのレームの画像は異なるカメラヘッドに由来し得る。
【0006】
今のところ、マルチカメラヘッド・マルチターゲット追跡技術には主にシングルカメラヘッド目標追跡及びマルチカメラヘッド間マッチングの２つの段階が含まれる。
【0007】
マルチカメラヘッド・マルチターゲット追跡の結果の正確さに影響する不利なファクターはオクルージョン、照明、姿勢変化などを含む。マルチカメラヘッド・マルチターゲット追跡の結果の正確さを向上されるのは困難である。
【発明の概要】
【発明が解決しようとする課題】
【0008】
本発明が解決しようとする課題は、誤ったクロスカメラヘッド目標軌跡を減少させること、標識切り替えを減少させること、及び誤った目標標識割り当てを減少させること、のうちの少なくとも１つを含むが、これらに限られない。
【課題を解決するための手段】
【0009】
本発明の１つの側面によれば、マルチターゲット・マルチカメラヘッド追跡のための方法が提供される。該方法は、
複数のカメラヘッドのうちの各カメラヘッドにより提供される、対応する画像シーケンスに対してシングルカメラヘッド・マルチターゲット追跡を行うことで各カメラヘッドのローカル目標軌跡集合を含む総ローカル目標軌跡集合を決定し；及び
総ローカル目標軌跡集合に対してマルチカメラヘッド・マルチターゲット・マッチングを行うことで複数のカメラヘッドについてのグローバル目標軌跡集合を決定することを含み、
そのうち、グローバル目標軌跡集合の決定は、
総ローカル目標軌跡集合におけるローカル目標軌跡に対してクラスタリングを行うことでクラスタリング・マッチング・グローバル軌跡集合を決定し；
クラスタリング・マッチング・グローバル軌跡集合における各軌跡を頂点として構築される有向グラフに対して最小コスト経路アルゴリズムを施すことで最小コスト経路集合を決定し；及び
最小コスト経路集合に基づいてクラスタリング・マッチング・グローバル軌跡集合の中の対応する軌跡を合併することを含む。
複数のカメラヘッドのうちの各カメラヘッドにより提供される、対応する画像シーケンスに対してシングルカメラヘッド・マルチターゲット追跡を行うことで各カメラヘッドのローカル目標軌跡集合を含む総ローカル目標軌跡集合を決定し；及び
総ローカル目標軌跡集合に対してマルチカメラヘッド・マルチターゲット・マッチングを行うことで複数のカメラヘッドについてのグローバル目標軌跡集合を決定することを含み、
そのうち、グローバル目標軌跡集合の決定は、
総ローカル目標軌跡集合におけるローカル目標軌跡に対してクラスタリングを行うことでクラスタリング・マッチング・グローバル軌跡集合を決定し；
クラスタリング・マッチング・グローバル軌跡集合における各軌跡を頂点として構築される有向グラフに対して最小コスト経路アルゴリズムを施すことで最小コスト経路集合を決定し；及び
最小コスト経路集合に基づいてクラスタリング・マッチング・グローバル軌跡集合の中の対応する軌跡を合併することを含む。
【0010】
本発明のもう１つの側面によれば、マルチターゲット・マルチカメラヘッド追跡のための装置が提供される。該装置は命令を記憶している記憶器；及び、少なくとも１つの処理器を含み、該処理器は命令を実行して次のことを行うように構成され、即ち、
複数のカメラヘッドのうちの各カメラヘッドにより提供される、対応する画像シーケンスに対してシングルカメラヘッド・マルチターゲット追跡を行うことで各カメラヘッドのローカル目標軌跡集合を含む総ローカル目標軌跡集合を決定し；及び
総ローカル目標軌跡集合に対してマルチカメラヘッド・マルチターゲット・マッチングを行うことで複数のカメラヘッドについてのグローバル目標軌跡集合を決定することであり、
そのうち、グローバル目標軌跡集合の決定は、
総ローカル目標軌跡集合におけるローカル目標軌跡に対してクラスタリングを行うことでクラスタリング・マッチング・グローバル軌跡集合を決定し；
クラスタリング・マッチング・グローバル軌跡集合における各軌跡を頂点として構築される有向グラフに対して最小コスト経路アルゴリズムを施すことで最小コスト経路集合を決定し；及び
最小コスト経路集合に基づいてクラスタリング・マッチング・グローバル軌跡集合の中の対応する軌跡を合併することを含む。
複数のカメラヘッドのうちの各カメラヘッドにより提供される、対応する画像シーケンスに対してシングルカメラヘッド・マルチターゲット追跡を行うことで各カメラヘッドのローカル目標軌跡集合を含む総ローカル目標軌跡集合を決定し；及び
総ローカル目標軌跡集合に対してマルチカメラヘッド・マルチターゲット・マッチングを行うことで複数のカメラヘッドについてのグローバル目標軌跡集合を決定することであり、
そのうち、グローバル目標軌跡集合の決定は、
総ローカル目標軌跡集合におけるローカル目標軌跡に対してクラスタリングを行うことでクラスタリング・マッチング・グローバル軌跡集合を決定し；
クラスタリング・マッチング・グローバル軌跡集合における各軌跡を頂点として構築される有向グラフに対して最小コスト経路アルゴリズムを施すことで最小コスト経路集合を決定し；及び
最小コスト経路集合に基づいてクラスタリング・マッチング・グローバル軌跡集合の中の対応する軌跡を合併することを含む。
【0011】
本発明のまたもう１つの側面によれば、プログラムを記憶しているコンピュータ可読記憶媒体が提供される。プログラムはコンピュータにより実行されるときに、コンピュータは次の処理を実現し、即ち、
複数のカメラヘッドのうちの各カメラヘッドにより提供される、対応する画像シーケンスに対してシングルカメラヘッド・マルチターゲット追跡を行うことで各カメラヘッドのローカル目標軌跡集合を含む総ローカル目標軌跡集合を決定し；及び
総ローカル目標軌跡集合に対してマルチカメラヘッド・マルチターゲット・マッチングを行うことで複数のカメラヘッドについてのグローバル目標軌跡集合を決定する処理であり、
そのうち、グローバル目標軌跡集合の決定は、
総ローカル目標軌跡集合におけるローカル目標軌跡に対してクラスタリングを行うことでクラスタリング・マッチング・グローバル軌跡集合を決定し；
クラスタリング・マッチング・グローバル軌跡集合における各軌跡を頂点として構築される有向グラフに対して最小コスト経路アルゴリズムを施すことで最小コスト経路集合を決定し；及び
最小コスト経路集合に基づいてクラスタリング・マッチング・グローバル軌跡集合の中の対応する軌跡を合併することを含む。
複数のカメラヘッドのうちの各カメラヘッドにより提供される、対応する画像シーケンスに対してシングルカメラヘッド・マルチターゲット追跡を行うことで各カメラヘッドのローカル目標軌跡集合を含む総ローカル目標軌跡集合を決定し；及び
総ローカル目標軌跡集合に対してマルチカメラヘッド・マルチターゲット・マッチングを行うことで複数のカメラヘッドについてのグローバル目標軌跡集合を決定する処理であり、
そのうち、グローバル目標軌跡集合の決定は、
総ローカル目標軌跡集合におけるローカル目標軌跡に対してクラスタリングを行うことでクラスタリング・マッチング・グローバル軌跡集合を決定し；
クラスタリング・マッチング・グローバル軌跡集合における各軌跡を頂点として構築される有向グラフに対して最小コスト経路アルゴリズムを施すことで最小コスト経路集合を決定し；及び
最小コスト経路集合に基づいてクラスタリング・マッチング・グローバル軌跡集合の中の対応する軌跡を合併することを含む。
【発明の効果】
【0012】
本発明の方法、装置及び記憶媒体の有利な効果は、マルチカメラヘッド・マルチターゲット追跡の結果の正確さを向上させることができること、及び、標識切り替えを減少させることができることのうちの少なくとも１つを含む。
【図面の簡単な説明】
【0013】
【図1】本発明の１つの実施例に係るマルチターゲット・マルチカメラヘッド追跡のための方法の例示的なフローチャートである。
【図2】本発明の１つの実施例に係るマルチターゲット・マルチカメラヘッド追跡のための方法の例示的なデータ変換を示す図である。
【図3】本発明の１つの実施例に係るシングルカメラヘッド・マルチターゲット追跡を示す図である。
【図4】本発明の１つの実施例に係る例示的なローカル目標軌跡を示す図である。
【図5】本発明の１つの実施例に係る２つの例示的なローカル目標軌跡を示す図である。
【図6】本発明の１つの実施例に係る２つの例示的なローカル目標軌跡を示す図である。
【図7】本発明の１つの実施例に係るクラスタリング処理のための方法の例示的なフローチャートである。
【図8】本発明の１つの実施例に係るマルチターゲット・マルチカメラヘッド追跡のための方法の例示的なフローチャートである。
【図9】本発明の１つの実施例に係るマルチターゲット・マルチカメラヘッド追跡のための装置の例示的なブロック図である。
【図10】本発明のもう１つの実施例に係るマルチターゲット・マルチカメラヘッド追跡のための装置の例示的なブロック図である。
【図11】本発明の１つの実施例に係る情報処理機器の例示的なブロック図である。
【発明を実施するための形態】
【0014】
以下、添付した図面を参照しながら、本発明を実施するための好適な実施例を詳細に説明する。なお、以下の実施例は例示に過ぎず、本発明を限定するものではない。
【0015】
本発明の実施例の各側面における処理を実行するためのコンピュータプログラムコードは１つ又は複数のプログラム設計言語の任意の組み合わせによって書かれても良く、前記プログラム設計言語はオブジェクト指向型プログラム設計言語、例えば、ＪａｖａやＳｍａｌｌｔａｌｋ、Ｃ＋＋を含んでも良く、通常の手続き型プログラム設計言語、例えば、Ｃプログラム設計言語又は類似したプログラム設計言語をさらに含んでも良い。
【0016】
本発明の方法は対応する機能の構成を持つ回路により実現されても良い。前記回路は処理器のための回路を含んでも良い。
【0017】
本発明の１つの側面ではマルチターゲット・マルチカメラヘッド追跡（ＭＴＭＣＴ）のための方法が提供される。該方法はコンピュータにより実現されても良い。図１は本発明の１つの実施例に係るマルチターゲット・マルチカメラヘッド追跡のための方法１００の例示的なフローチャートである。図２は本発明の１つの実施例に係るマルチターゲット・マルチカメラヘッド追跡のための方法の例示的なデータ変換を示す図である。図３は本発明の１つの実施例に係るシングルカメラヘッド・マルチターゲット追跡を示す図である。以下、図１、図２及び図３を参照しながら、本発明によるＭＴＭＣＴ方法について例示的に説明する。なお、分かりやすくするために、図３では１つのみの目標Ｔｇ［ｘ］が示されている。
【0018】
ステップＳ１０１では、複数のカメラヘッドのうちの各カメラヘッドにより提供される、対応する画像シーケンスに対してシングルカメラヘッド・マルチターゲット追跡を行うことで各カメラヘッドのローカル目標軌跡集合を含む総ローカル目標軌跡集合を決定する。このステップの操作は“シングルカメラヘッド・マルチターゲット追跡操作Ｏｐ＿ｍｔｔ”と記される。
【0019】
図２を参照するに、複数のカメラヘッドＣａｍ［ｃＳｔａｒｔ］乃至Ｃａｍ［ｃＥｎｄ］のうちの各カメラヘッド（一般にＣａｍ［ｃ］と表される）により提供される、対応する画像シーケンス（ＳｑＩｍ［ｃ］）が示されている。シングルカメラヘッドのためのマルチターゲット追跡モデルＭｍｔｔがマルチターゲット追跡を実行することで、各カメラヘッドのローカル目標軌跡集合ＴＪｓ［ｃ］を決定する。総ローカル目標軌跡集合ＬＴＪｓは複数のローカル目標軌跡集合ＴＪｓ［ｃＳｔａｒｔ］乃至ＴＪｓ［ｃＳｔａｒｔ］の和集合である。図３（ａ）及び図３（ｂ）に示すように、カメラヘッドＣａｍ［ｃ］が提供する画像シーケンスＳｑＩｍ［ｃ］は現在の時間ｔの画像Ｉｍ＠ｔ及び前の時刻（時間）ｔ′の画像Ｉｍ＠ｔ′を含み、例示として、画像には複数の目標のうちの１つの目標が示されており、目標Ｔｇ［ｘ］と記される。図３（ａ）及び図３（ｂ）に示すように、時間ｔからｔ′の期間内で目標Ｔｇ［ｘ］はリアル空間（ワールド座標系の空間に対応する）内で移動しており、また、キャプチャされた画像において、目標Ｔｇ［ｘ］に対応する画像ブロックの位置も画像座標系ＸＯＹで移動している（図３（ｆ）参照）。
【0020】
複数のカメラヘッドは例えば、第一ローカル空間（例えば、第一部屋）を監視する第一カメラヘッドＣａｍ［１］及び第一ローカル空間に隣接する第二ローカル空間（例えば、第二部屋）を監視する第二カメラヘッドＣａｍ［２］を含む。理解できるように、複数のカメラヘッドには監視領域がオーバーラップするカメラヘッドが含まれても良い。
【0021】
図２を参照するに、画像シーケンスＳｑＩｍ［ｃ］はカメラヘッドＣａｍ［ｃ］が提供する所定期間のビデオにおける時間順に配列される複数の画像（フレーム）、即ち、Ｉｍ［ｃ］［ｉＣｓｔａｒｔ］乃至Ｉｍ［ｃ］［ｉＣｅｎｄ］を含み、ｃはｃＳｔａｒｔ乃至ｃＥｎｄのうちの任意の１つの整数であっても良い。画像Ｉｍ［ｃ］［ｉｃ］には関心のある類型の１つ又は複数の目標（例えば、複数の顧客）の画像が含まれても良く、そのうち、時間の経過に伴って目標はカメラヘッドの監視範囲に入ったり、カメラヘッドの監視範囲から出たりする可能性があるため、画像における目標の数は変化する場合がある。
【0022】
図２に示すように、シングルカメラヘッドのためのマルチターゲット追跡モデルＭｍｔｔを使用して画像シーケンスＳｑＩｍ［ｃ］を処理することでカメラヘッドＣａｍ［ｃ］の目標軌跡集合ＴＪｓ［ｃ］を得ることができる。目標軌跡集合ＴＪｓ［ｃ］はシングルカメラヘッドＣａｍ［ｃ］が監視するローカル空間における目標の軌跡の集合に対応するので、目標軌跡集合ＴＪｓ［ｃ］もシングルカメラヘッド目標軌跡集合又はローカル目標軌跡集合と称されても良い。
【0023】
ローカル目標軌跡集合ＴＪｓ［ｃ］には例えば、複数のローカル目標軌跡ＴＪ［ｃ］［ｊＣｓｔａｒｔ］乃至ＴＪ［ｊＣｅｎｄ］、１つのローカル軌跡（対応する画像シーケンスＳｑＩｍ［ｃ］には１つのみの関心のある類型の目標が現れる）、及び０個のローカル軌跡（空集合であり、対応する画像シーケンスＳｑＩｍ［ｃ］には関心のある類型の目標が現れない）が含まれる。図２では、ローカル目標軌跡集合ＴＪｓ［ｃ］には複数のローカル目標軌跡ＴＪ［ｃ］［ｊＣｓｔａｒｔ］乃至ＴＪ［ｊＣｅｎｄ］が含まれていることが示されている。
【0024】
図２を参照するに、１つのローカル目標軌跡ＴＪ［ｃ］［ｊｃ］は例えば、軌跡点ＰＴＪ［ｃ］［ｊｃ］［ｋＪＣｓｔａｒｔ］乃至ＰＴＪ［ｃ］［ｊｃ］［ｋＪＣｅｎｄ］を持つ。各軌跡点ＰＴＪは例えば、次の位置属性のうちのの少なくとも１つを有し、即ち、画像位置属性ＰｏｓＩ及び空間位置属性ＰｏｓＳである。画像位置属性ＰｏｓＩの値は該軌跡点について、目標画像が画像座標系に所在する位置を表す。空間位置属性ＰｏｓＳの値は該軌跡点について、目標がワールド座標系に所在する位置を表す。各軌跡点は時間属性ｔｉｍｅをさらに含み、時間属性ｔｉｍｅの値は目標が対応する空間位置にあるときに対応する時間を表す。図３（ｆ）ではカメラヘッドＣａｍ［ｃ］により提供される画像シーケンスＳｑＩｍ［ｃ］に基づいて決定される目標Ｔｇ［ｘ］のローカル目標軌跡ＴＪ［ｃ］［ｘ］が示されており、そのうち、特に、画像座標系での前の時間ｔ′の軌跡点ＰＴＪ［ｃ］［ｘ］［ｋｔ′］（その座標は（Ｘ１，Ｙ１）である）及び画像座標系での現在の時間ｔの軌跡点ＰＴＪ［ｃ］［ｘ］［ｋｔ］（その座標は（Ｘ２，Ｙ２）である）が示されている。
【0025】
１つのローカル目標軌跡ＴＪ［ｃ］［ｊｃ］は１つの追跡タックレットＴｒｋ［ｃ］［ｊｃ］に対応する。図２に示すように、追跡タックレットＴｒｋ［ｃ］［ｊｃ］は画像ブロックシーケンス、即ち、Ｐａｔｃｈ［ｃ］［ｊｃ］［ｋＪＣｓｔａｒｔ］乃至Ｐａｔｃｈ［ｃ］［ｋｊｃ］［ｋＪＣｅｎｄ］であり、そのうち、各画像ブロックはカメラヘッドＣａｍ［ｃ］の１つのフレームの画像における画像ブロックであり、該画像ブロックには目標の画像（即ち、ビデオフレームにおいて目標検出によって決定される目標の矩形バウンディングボックスで示される画像ブロック）が含まれ、各画像ブロックには目標軌跡に関する時間情報及び空間位置情報を示す時間属性、画像位置属性及び空間位置属性が設定されても良い。時間属性の値は対応するフレームの画像のキャプチャ時間であっても良く、画像位置属性の値は例えば、対応する画像ブロック（矩形バウンディングボックス）の中心が対応する画像に所在する位置であっても良い。空間位置属性の値は対応する画像ブロック（矩形バウンディングボックス）の中心に対応する点のワールド座標系での座標であっても良い（それは対応するカメラヘッドの内部パラメータに基づいて画像位置に対して座標変換を行うことで得られても良い）。各画像ブロックＰａｔｃｈ［ｊｃ］［ｋＪＣ］は軌跡ＴＪ［ｊｃ］上の１つの対応する軌跡点ＰＴＪ［ｊｃ］［ｋＪＣ］に対応する。ローカル目標軌跡ＴＪ［ｊｃ］は追跡タックレットＴｒｋ［ｊｃ］によって記述し又は表すことができる。目標検出操作（処理）は検出したバウンディングボックスの位置情報やサイズ情報を提供でき、そのうち、位置情報はバウンディングボックスの１つの対角線の２つの端点の座標であっても良く、サイズ情報はバウンディングボックスの高さであっても良い。図３（ｃ）では、目標検出で決定される、前の時間ｔ′においてバウンディングボックスＢｏｘ［ｃ］［ｘ］［ｋｔ′］により示される画像ブロックＰａｔｃｈ［ｃ］［ｘ］［ｋｔ′］が示されており、それは矩形バウンディングボックスＢｏｘ［ｃ］［ｘ］［ｋｔ′］により定義される画像ブロックであり、図３（ｄ）では、目標検出で決定される、現在の時間ｔにおいてバウンディングボックスＢｏｘ［ｃ］［ｘ］［ｋｔ］により示される画像ブロックＰａｔｃｈ［ｃ］［ｘ］［ｋｔ］が示されており、それは矩形バウンディングボックスＢｏｘ［ｃ］［ｘ］［ｋｔ］により定義される画像ブロックである。図３（ｅ）では、時間順に相列される画像ブロックシーケンス、即ち、……、Ｐａｔｃｈ［ｃ］［ｘ］［ｋｔ′］、Ｐａｔｃｈ［ｃ］［ｘ］［ｋｔ］が示されており、それはカメラヘッドＣａｍ［ｘ］に関する目標Ｔｇ［ｘ］の追跡タックレットＴｒｋ［ｃ］［ｘ］を構成する。
【0026】
総ローカル目標軌跡集合ＬＴＪｓはシングルカメラヘッド目標軌跡集合ＴＪｓ［ｃＳｔａｒｔ］乃至ＴＪｓ［ｃＥｎｄ］の和集合である。クロスカメラヘッドのマルチカメラヘッド・マルチターゲット・マッチング（即ち、クロスカメラヘッド軌跡マッチング）が行われていないため、特定の目標Ｔｇ［ｘ］が第一、第二カメラヘッドの両方のビデオに現れた場合、総ローカル目標軌跡集合ＬＴＪｓでは第一、第二カメラヘッドに対応する目標Ｔｇ［ｘ］の２つのローカル目標軌跡が同じＩＤによって標識されていない。望ましくは、この２つのローカル目標軌跡はその後の操作において両者がマッチングすると判明した（即ち、同一の目標に対応すると決定された）ことに応じて同じＩＤによって標識され、かつ同じＩＤによって標識される１つの目標軌跡として合併できる。このように複数のカメラヘッドの目標軌跡を合併することで得られる１つの目標軌跡は“クロスカメラヘッド目標軌跡”と称されても良い。例を挙げて言えば、２つのカメラヘッドにより提供される２つの画像シーケンスに対してシングルカメラヘッド・マルチターゲット追跡処理を行うことで１２個のローカル目標軌跡を得る場合、２つの目標が２つのカメラヘッドの両方の監視空間に出現したことがあるので、理想的なときに、後続の処理を経た後に、最終的に得られるグローバル目標軌跡集合には１０個のみのグローバル目標軌跡が含まれる。換言すれば、複数のカメラヘッドのビデオがシングルカメラヘッド・マルチターゲット追跡のみを経ているが、マルチカメラヘッド・マルチターゲット・マッチングを経る前に、目標標識が追加されたビデオ（例えば、各目標画像ブロックには対応標識を持つバウンディングボックスが追加されている）を再生する場合、異なるカメラヘッドのビデオの中の異なる目標標識が対応するのは同一の目標である可能性がある（例えば、ビデオ１における１＃バウンディングボックスとビデオ２における３＃は同じ人物に対応する可能性がある）。即ち、このときの目標標識はローカルであり、同一のビデオにおいて目標を区別できるが、異なるカメラヘッドのビデオにおいて目標を区別するために用いることができる。
【0027】
シングルカメラヘッド・マルチターゲット追跡によってカメラヘッドＣａｍ［ｃ］の画像シーケンスＳｑＩｍ［ｃ］を処理した後に、該画像シーケンスにおける各画像内の目標はポジショニング及び標識される。該画像シーケンス（ビデオ）を再生するときに、ポジショニング済みの各目標のバウンディングボックスを画像に重ね合わせて表示でき、異なる目標のバウンディングボックスは例えば、異なる色で区別でき、このようにして、所定の色で標識される目標の対応する期間内の移動軌跡をはっきりと見ることができ、もちろん、再生時に目標の唯一の標識を画像に重ね合わせて表示することもできる。準リアルタイムで追跡結果を表示でき、即ち、１フレームの画像をキャプチャした後に、シングルカメラヘッド目標マッチングを行い、新画像における目標に対して前の軌跡とのマッチングを行って標識を割り当てることで、決定された標識を持つバウンディングボックスが重ね合わせられている新画像を表示する。マルチカメラヘッド・マルチターゲット・マッチングを行った後に、複数のカメラヘッドによって共有される共通の目標標識集合を利用して前述の表示方式と類似した方式で表示を行うことができ、共通の目標標識はグローバルであり、理想的な場合、どのカメラヘッドであっても、同じ目標には唯一の目標標識が割り当てられ、異なるカメラヘッドビデオにおいて同じ目標標識を有するバウンディングボックスは同一の目標を示す。
【0028】
図１及び図２を参照するに、ステップＳ１０３では、総ローカル目標軌跡集合ＬＴＪｓに対してマルチカメラヘッド・マルチターゲット・マッチングを行うことで、複数のカメラヘッドＣａｍ［ｃＳｔａｒｔ］乃至Ｃａｍ［ｃＥｎｄ］についてのグローバル目標軌跡集合ＧＴＪｓを決定する。このステップの操作は“マルチカメラヘッド・マルチターゲット・マッチング操作Ｏｐ＿ｍａｔ”と記される。グローバル目標軌跡は全部のローカル領域を監視する１つのグローバルカメラヘッドが“見た”目標の軌跡に相当する。操作Ｏｐ＿ｍａｔは、ステップＳ１０３１において、総ローカル目標軌跡集合ＬＴＪｓの中のローカル目標軌跡に対してクラスタリングを行うことでクラスタリング・マッチング・グローバル軌跡集合ＧＴＪｃｍｓを決定し（“クラスタリング処理Ｏｐ＿ｃｌｕｓｔｅｒ”と略称する）；ステップＳ１０３３において、クラスタリング・マッチング・グローバル軌跡集合ＧＴＪｃｍｓの中の各軌跡を頂点として構築される有向グラフＧに対して最小コスト経路アルゴリズムを施すことで最小コスト経路集合Ｐｍｉｎｓを決定し（“最小コスト操作Ｏｐ＿ｃｍｉｎｐ”と略称する）；及び、ステップＳ１０３５において、最小コスト経路集合Ｐｍｉｎｓに基づいてクラスタリング・マッチング・グローバル軌跡集合ＧＴＪｃｍｓの中の対応する軌跡を合併する（“合併操作Ｏｐ＿ｍｅｒｇｅ”と略称する）ことを含む。クラスタリング・マッチング・グローバル軌跡集合ＧＴＪｃｍｓについて、最小経路集合Ｐｍｉｎｓにおいて指示されるすべての合併可能な軌跡の合併を完了した後に得られる軌跡集合は“グローバル目標軌跡集合ＧＴＪｓ”である。グローバル目標軌跡集合ＧＴＪｓにおける軌跡は、複数のカメラヘッドによってシェアされる共通の目標標識集合からの目標標識を用いて区別され、軌跡上の軌跡点がどのカメラヘッドからのものであるかにもかかわらず、同一の目標の軌跡点には、共通の目標標識集合における１つの目標標識が割り当てられる。
【0029】
総ローカル目標軌跡集合ＬＴＪｓの中のローカル目標軌跡に対してクラスタリングを行うときに、２つのローカル目標軌跡が１つの類型にクラスタリングされるときに、この２つのローカル目標軌跡が同一の目標に対応する（即ち、２つのローカル目標軌跡が互いにマッチングしている）と見なす。よって、この２つのローカル目標軌跡は１つの軌跡として合併でき、軌跡集合における軌跡の数は減少する。クラスタリング処理Ｏｐ＿ｃｌｕｓｔｅｒに軌跡の合併があり得るので、得られるクラスタリング・マッチング・グローバル軌跡集合ＧＴＪｃｍｓの中の軌跡の数は総ローカル目標軌跡集合ＬＴＪｓにおける軌跡の数よりも少なくなる可能性がある。
【0030】
合併操作Ｏｐ＿ｍｅｒｇｅに軌跡の合併（即ち、軌跡のマッチング）が同様に生じ得るので、グローバル目標軌跡集合ＧＴＪｓにおける軌跡の数はクラスタリング・マッチング・グローバル軌跡集合ＧＴＪｃｍｓの中の軌跡の数よりも少なくなる可能性がある。例えば、目標Ｔｇ［ｘ］が時間ｔ１からｔ２の間に軌跡ＴＪ１，２を有し、目標Ｔｇ［ｘ′］が時間ｔ３からｔ４の間に軌跡ＴＪ３，４を有し、軌跡ＴＪ１，２が軌跡ＴＪ３，４にマッチングしていると決定した（即ち、目標Ｔｇ［ｘ］と目標Ｔｇ［ｘ′］が同一の目標Ｔｇ［Ｘ］であると見なした）ときに、軌跡ＴＪ１，２と軌跡ＴＪ３，４は目標Ｔｇ［Ｘ］の時間ｔ１からｔ４の間の軌跡を示す１つの軌跡として合併（接続）される。
【0031】
以下、方法１００の更なる細部について例示的に説明する。
【0032】
１つの実施例において、シングルカメラヘッド・マルチターゲット追跡操作Ｏｐ＿ｍｔｔは目標検出操作Ｏｐ＿ｄｅｔＢ、再認識特徴抽出操作Ｏｐ＿ｅｘｔＦ、シングルカメラヘッド目標マッチング操作Ｏｐ＿ｍａｔＳ、及びローカル目標軌跡後処理操作Ｏｐ＿ｐｏｓｔＰを含む。シングルカメラヘッド・マルチターゲット追跡操作Ｏｐ＿ｍｔｔは入力される複数の画像のうちの各画像内の目標を検出でき、各目標は矩形バウンディングボックスによって示される画像ブロックで表され、異なる時間における画像ブロックのマッチングにより、各画像ブロックにシングルカメラヘッド内目標標識を割り当てることができ、同一のシングルカメラヘッド内目標標識の画像ブロックの時間シーケンスはローカル目標軌跡集合内の１つのローカル目標軌跡を表す。
【0033】
目標検出操作Ｏｐ＿ｄｅｔＢについて、目標検出ネットワークＮｗＴａｇ（例えば、ＹｏｌｏＸ）を使用して、カメラヘッドにより提供される、対応する画像シーケンスの中の画像内の目標を検出し、そして、検出した目標の矩形バウンディングボックス（検出バウンディングボックスと略称する）の情報（例えば、位置、サイズなど）及びバウンディングボックスの信頼度を出力できる。このような目標検出ネットワークは通常の技術であり、ここではその詳しい説明を省略する。
【0034】
再認識特徴抽出操作Ｏｐ＿ｅｘｔＦについて、画像において検出された各バウンディングボックスによって指示される画像ブロックの、目標に関する再認識特徴Ｆｒｅｉｄは再認識ネットワークＮｗＲｅＩＤによって提供され得る。このような再認識ネットワークは通常の技術であり、ここではその詳しい説明を省略する。
【0035】
１つの実施例において、総ローカル目標軌跡集合ＬＴＪｓの決定は、複数のカメラヘッドのうちの各カメラヘッドについて、シングルカメラヘッド目標マッチング操作Ｏｐ＿ｍａｔＳを実行することを含む。シングルカメラヘッド目標マッチングＯｐ＿ｍａｔＳは、前のローカル目標軌跡集合ＴＪｓｔ′（即ち、軌跡が検出された集合）及び対応する画像シーケンスにおける現在の画像Ｉｍｔに基づいて、現在のローカル目標軌跡集合ＴＪｓｔを決定することを含む。対応する画像シーケンスには隣接する画像、即ち、前の画像Ｉｍｔ′及び現在の画像Ｉｍｔが含まれ、ｔ′は前の時間であり、ｔは現在の時間であり、さらには、時間ｔ′の前にキャプチャされた画像も含まれ得る（Ｉｍｔ′が画像シーケンスの開始フレームでないとき）。現在のローカル目標軌跡集合ＴＪｓｔの決定は、目標検出ネットワークＮｗＴａｇを使用して現在の画像Ｉｍｔ内の所定類型の目標の検出バウンディングボックスＢｏｘ［ｂＳｔａｒｔ］乃至Ｂｏｘ［ｂＥｎｄ］及びバウンディングボックスの信頼度ｃｆｄ［ｂＳｔａｒｔ］乃至ｃｆｄ［ｂＥｎｄ］を決定し；及び、現在の画像Ｉｍｔにおける各検出バウンディングボックス、各バウンディングボックスの信頼度及び前の画像Ｉｍｔ′に基づいてシングルカメラヘッド目標マッチングを行うことで、前のローカル目標軌跡集合ＴＪｓｔ′を現在のローカル目標軌跡集合ＴＪｓｔとして更新することを含む。前の画像Ｉｍｔ′は前のローカル目標軌跡集合ＴＪｓｔ′の対応する画像シーケンスの中の最後（最末尾／末尾）の画像（即ち、最新の画像）である。
【0036】
１つの実施例において、現在の画像における各検出バウンディングボックス、各バウンディングボックスの信頼度及び前の画像に基づいてシングルカメラヘッド目標マッチングを行うことで前記前のローカル目標軌跡集合を更新することは、検出バウンディングボックスのうち、バウンディングボックスの信頼度がバウンディングボックスの信頼度閾値よりも大きい、信頼できるバウンディングボックスと、前のローカル目標軌跡集合の中の各検出済み目標軌跡との第一追跡マッチングを行うことで、信頼できるバウンディングボックスの目標標識を決定し；前のローカル目標軌跡集合における検出済み目標軌跡のうちの未マッチングの軌跡に対して、残りの検出バウンディングボックスのうちのものとの第二追跡マッチングを行うことで、残りの検出バウンディングボックスの目標標識を決定し；及び、検出バウンディングボックスのうち、バウンディングボックスの信頼度がバウンディングボックスの信頼度閾値よりも大きく、かつ前のローカル目標軌跡集合における検出済み目標軌跡にマッチングしないバウンディングボックスについて、新しい目標標識を生成することを含む。
【0037】
例示として、シングルカメラヘッド目標マッチング操作Ｏｐ＿ｍａｔＳは次のステップを含んでも良く、即ち、（１）現在の時間ｔにおいてカルマンフィルターを使用してｔ′時間におけるバウンディングボックスに基づいて、現在の時間ｔにおけるバウンディングボックスの位置を予測し；（２）バウンディングボックスの信頼度が所定のバウンディングボックスの信頼度閾値（例えば、０．５）よりも大きい検出バウンディングボックス、及び、前のローカル目標軌跡集合ＴＪｓｔ′における各検出済み軌跡に対して、ｉｄマッチング（第一追跡マッチング）を行い；（３）未マッチングの軌跡に対して、残りの検出バウンディングボックスのうちのものとのマッチング（第二追跡マッチング）を行い；（４）バウンディングボックスの信頼度が所定のバウンディングボックスの信頼度閾値よりも大きく、かつ前のローカル目標軌跡集合ＴＪｓｔ′の中の検出済み軌跡にマッチングしない検出バウンディングボックスについて、新しい軌跡を生成し；及び、（５）現在の軌跡点に対応する最新バウンディングボックス集合に基づいて、カルマンフィルターのパラメータを更新することを含む。１つの例において、１つのカメラヘッドについてのシングルカメラヘッド・マルチターゲット追跡操作Ｏｐ＿ｍｔｔにおいて、画像シーケンスにおける１番目の画像に対して、シングルカメラヘッド目標マッチング操作Ｏｐ＿ｍａｔＳを実行せず、目標検出操作Ｏｐ＿ｄｅｔＢのみを実行しても良く、そのうち、操作Ｏｐ＿ｄｅｔＢは１番目の画像内の目標を検出し、そのバウンディングボックスを決定し、目標数に対応するｎ個の軌跡点（即ち、ｎ個の軌跡）を取得し、各軌跡点は対応するバウンディングボックスに対応し、ｎ個の軌跡はローカル目標軌跡集合を構成する。後続の画像について、シングルカメラヘッド目標マッチング操作Ｏｐ＿ｍａｔＳを実行しても良く、現在の画像から検出された目標と、前のローカル目標軌跡集合の中の軌跡とのマッチングを行うことで、現在のローカル目標軌跡集合を決定する（即ち、ローカル目標軌跡集合を更新する）ことができる。画像シーケンスの中の画像の順序に従って、各画像に基づいて、次第にローカル目標軌跡集合を反復して更新することで、最終的には画像シーケンス全体についてのローカル目標軌跡集合を取得する。
【0038】
１つの実施例において、次の方式で第一追跡マッチング及び第二追跡マッチングのうちの少なくとも１つを行っても良く、即ち、前の画像（即ち、前の時間ｔ′における画像）内の検出バウンディングボックスに基づいて、現在の画像（即ち、現在の時間ｔにおける画像）の予測バウンディングボックスを予測し；及び、現在の画像の検出バウンディングボックス及び予測バウンディングボックスと関連付けられる面積オーバーラップコスト関数及び頂点オーバーラップコスト関数に基づいて、現在の画像におけるバウンディングボックスの目標標識を決定する。
【0039】
１つの実施例において、カメラヘッドＣａｍ［ｃ］により提供される画像シーケンスについて、シングルカメラヘッド目標マッチングによって、前の１フレームの画像（時間ｔ′に対応する）から検出された目標のバウンディングボックスに基づいて、現在の時間ｔにおける画像の中の検出目標のバウンディングボックスの目標標識を決定し、そして、例えば、前のローカル目標軌跡集合に新しい軌跡又は軌跡点を追加することで前のローカル目標軌跡集合を現在のローカル目標軌跡集合として更新することができる。シングルカメラヘッド目標マッチング操作Ｏｐ＿ｍａｔＳは例示的に以下の操作を含み得る。
【0040】
（１）予測バウンディングボックスと検出バウンディングボックスとの間のオーバーラップコスト関数Ｉｏｕｃｏｓｔを次のように計算する。
【0041】
Ｉｏｕｃｏｓｔ＝２＊ｓｏｖｅｒｌａｐ／（ｓｐｒｅｄｉｃｔｅｄ＋ｓｄｅｔｅｃｔｅｄ） （１）
そのうち、ｓｏｖｅｒｌａｐは予測バウンディングボックスと検出バウンディングボックスのオーバーラップ面積であり、ｓｐｒｅｄｉｃｔｅｄは予測バウンディングボックスの面積であり、ｓｄｅｔｅｃｔｅｄは検出バウンディングボックスの面積である。
そのうち、ｓｏｖｅｒｌａｐは予測バウンディングボックスと検出バウンディングボックスのオーバーラップ面積であり、ｓｐｒｅｄｉｃｔｅｄは予測バウンディングボックスの面積であり、ｓｄｅｔｅｃｔｅｄは検出バウンディングボックスの面積である。
【0042】
（２）予測バウンディングボックスの頂点と検出バウンディングボックス頂点とのオーバーラップコスト関数ｙｃｏｓｔを次のように計算する。
【0043】
Ｙｃｏｓｔ＝２＊｜Ｙ０ｐｒｅｄｉｃｅｔｄ－Ｙ０ｄｅｔｅｃｔｅｄ｜／（ｈｐｒｅｄｉｃｔｅｄ＋ｈｄｅｔｅｃｔｅｄ）＊ｓｃａｌｅ （２）
そのうち、Ｙ０ｐｒｅｄｉｃｔｅｄは予測バウンディングボックスの右上隅の縦座標であり、Ｙ０ｄｅｔｅｃｔｅｄは検出バウンディングボックスの右上隅の縦座標であり、ｈｐｒｅｄｉｃｔｅｄは予測バウンディングボックスの高さであり、ｈｄｅｔｅｃｔｅｄは検出バウンディングボックスの高さであり、ｓｃａｌｅは拡大縮小率であり、ここでは例示として１０をとっても良い。
そのうち、Ｙ０ｐｒｅｄｉｃｔｅｄは予測バウンディングボックスの右上隅の縦座標であり、Ｙ０ｄｅｔｅｃｔｅｄは検出バウンディングボックスの右上隅の縦座標であり、ｈｐｒｅｄｉｃｔｅｄは予測バウンディングボックスの高さであり、ｈｄｅｔｅｃｔｅｄは検出バウンディングボックスの高さであり、ｓｃａｌｅは拡大縮小率であり、ここでは例示として１０をとっても良い。
【0044】
（３）総コスト関数ｍｃｏｓｔを次のように計算する。
【0045】
ｍｃｏｓｔ＝λ＊Ｉｏｕｃｏｓｔ＋（１－λ）＊Ｙｃｏｓｔ （３）
そのうち、λは所定の加重定数（係数）であり、例示として、０．８をとっても良い。
そのうち、λは所定の加重定数（係数）であり、例示として、０．８をとっても良い。
【0046】
（４）総コスト関数に対してハンガリーアルゴリズムを適用してマッチングを行うことでマッチング結果を得る。マッチング結果は次のとおりであり、即ち、現在の画像の検出バウンディングボックスＢｏｘ［ｂ］を１つの前のローカル目標軌跡ＴＪ［ｘ］とマッピングさせ、該検出バウンディングボックスに該前のローカル目標軌跡の目標標識ｘを割り当て、バウンディングボックスＢｏｘ［ｂ］に対応する軌跡点をローカル目標軌跡ＴＪ［ｘ］に追加してローカル目標軌跡ＴＪ［ｘ］上の新軌跡点とし、又は、前のローカル軌跡集合に現在の画像の検出バウンディングボックスＢｏｘ［ｂ］とのマッチング軌跡がない場合、検出バウンディングボックスＢｏｘ［ｂ］の対応する軌跡点に新目標標識を割り当てて１つの新軌跡を生成し、前のローカル軌跡集合に追加し、そして、更新後の前のローカル軌跡集合を現在のローカル軌跡集合とする。
【0047】
ローカル軌跡集合における軌跡を決定する正確さを向上させ、同一の軌跡に異なる目標が現れることを抑え、標識切り替え（目標ｘ′の画像ブロックを誤って既存の目標ｘの軌跡とマッチングさせる）を抑制するために、現在のローカル軌跡集合の決定はさらに、現在のローカル軌跡集合に対して後処理を行うことで現在のローカル目標軌跡集合を更新することを含む。
【0048】
１つの実施例において、現在のローカル軌跡集合に対する後処理は次の処理（“第一後処理操作Ｏｐ＿ｐｏｓＰ１”と略称する）を含み、即ち、現在のローカル目標軌跡集合の中の軌跡の動き（移動）特徴に基づいて、新軌跡を生成するかを決定する。図４は本発明の１つの実施例に係る例示的なローカル目標軌跡ＴＪ［ｃ］［ｘ］を示す図であり、そのうち、図４（ａ）は現在のローカル軌跡集合ＴＪｓｔにおいて目標Ｔｇ［ｘ］に関する１つの軌跡ＴＪ［ｃ］［ｘ］を示しており、それは現在の軌跡点ＰＴＪｔ及び前の軌跡点ＰＴＪｔ′を含む。（Ｘｐｒｅ，Ｙｐｒｅ）は前のデータｔ′の軌跡点ＰＴＪｔ′の画像座標であり、（Ｘｃｕｒ，Ｙｃｕｒ）は現在のデータｔの軌跡点ＰＴＪｔの画像座標である。１つの例において、現在のローカル目標軌跡集合ＴＪｓｔにおける軌跡の動き特徴に基づいて、新軌跡を生成するかを決定することは、現在のローカル目標軌跡集合ＴＪｓｔの中の１つの軌跡ＴＪ［ｃ］［ｘ］について、軌跡ＴＪ［ｃ］［ｘ］の現在の軌跡点ＰＴＪｔの動き方向ｄｉｒｔを決定し；現在の軌跡点ＰＴＪｔが動き方向ｄｉｒｔにおいて現在の軌跡点ＰＴＪｔの軌跡ＴＪ［ｃ］［ｘ］上の前の軌跡点ＰＴＪｔ′に対して移動する移動距離ｄｉｓを決定し；及び、移動距離ｄｉｓが所定距離閾値ｄｉｓＴｈよりも大きく、現在の軌跡点ＰＴＪｔの動き方向ｄｉｒｔが前の軌跡点ＰＴＪｔ′の動き方向ｄｉｒｔ′と逆であり、かつ現在の軌跡点ＰＴＪｔの対応する画像ブロックの再認識特徴Ｆｒｅｉｄｔと、前の軌跡点ＰＴＪｔ′の対応する画像ブロックの再認識特徴Ｆｒｅｉｄｔ′との類似度Ｓｉｍ（Ｆｒｅｉｄｔ，Ｆｒｅｉｄｔ′）が第一類似度閾値ｓＴｈ１よりも小さい場合、現在の軌跡点の対応する画像ブロックと関連付けられる新軌跡を生成する。類似度Ｓｉｍ（Ｆｒｅｉｄｔ，Ｆｒｅｉｄｔ′）は特徴ＦｒｅｉｄｔとＦｒｅｉｄｔ′との間のコサイン類似度であっても良い。図４（ｂ）は軌跡ＴＪ［ｃ］［ｘ］に対して第一後処理操作Ｏｐ＿ｐｏｓＰ１を行った後に、目標Ｔｇ［ｘ］の軌跡が軌跡点ＰＴＪｔを含まないように更新され、かつ軌跡点ＰＴＪｔと関連付けられる新軌跡（例えば、軌跡点ＰＴＪｔを新目標Ｔｇ［ｘ′］の軌跡点と記す）を生成することを示している。
【0049】
１つの例において、動き方向ｄｉｒは正のＸ方向（Ｘ軸方向）、負のＸ方向、正のＹ方向（Ｙ軸方向）及び負のＹ方向のうちの１つのであり、正のＸ方向は正のＹ方向に垂直である。図４に示すように、目標Ｔｇ［ｘ］の軌跡ＴＪ［ｃ］［ｘ］は２つの末端の軌跡点、即ち、前の時間ｔ′の軌跡点ＰＴＪｔ′及び現在の時間ｔの軌跡点ＰＴＪｔを含む。動き方向は以下の式（４）に基づいて決定され得る。
【0050】
【数1】
【0051】
現在の軌跡点ＰＴＪｔが動き方向ｄｉｒｔにおいて現在の軌跡点ＰＴＪｔの軌跡ＴＪ［ｃ］［ｘ］上の前の軌跡点ＰＴＪｔ′に対して移動する移動距離ｄｉｓは以下の式（５）によって決定され得る。即ち、移動距離は画像内の真の移動距離の移動方向上の成分であっても良い。
【0052】
【数2】
【0053】
画像シーケンスにおける１つの画像において、複数の目標の画像ブロックがオーバーラップすることが生じる可能性がある。このときに、標識切り替えが発生しやすい。よって、発明者はこのようなことの発生を抑えるために“第二後処理操作Ｏｐ＿ｐｏｓＰ２”に関する実施例を以下のように考案している。
【0054】
図５は本発明の１つの実施例に係る２つの例示的なローカル目標軌跡を示しており、そのうち、軌跡点及び例示的な対応する画像ブロックをも示している。図５（ａ）は後処理操作前の軌跡であり、図５（ｂ）は後処理操作後の軌跡である。１つの実施例において、現在のローカル軌跡集合に対する後処理は次のことを含み、即ち、図５（ａ）に示すように、現在のローカル目標軌跡集合の中の対応する新目標Ｔｇ［ｘ′］の新軌跡点ＰＴＪｘ′ｔ（“軌跡点Ｂ”と略称し、それは現在、１つのみの軌跡点を含む軌跡に対応し、即ち、目標Ｔｇ［ｘ′］の画像ブロックは現在の時間ｔの現在の画像Ｉｍｔに新しく出現する画像ブロックであり、前の画像（画像Ｉｍｔに隣接する前の時間ｔ′における前の画像Ｉｍｔ′を含む）には目標Ｔｇ［ｘ′］が出現したことがない）について、現在の画像Ｉｍｔにおいて該新軌跡点ＰＴＪｘ′ｔの対応するバウンディングボックスＢｏｘｘ′ｔとのオーバーラップ度（率）が最大のオーバーラップバウンディングボックスＢｏｘｘｔ（オーバーラップが発生した場合、それは現在のローカル軌跡集合ＴＪｓ［ｃ］［ｘ］の中の軌跡点ＰＴＪｘｔに対応し、“軌跡点Ａ”と略称される）を決定し；及び、該対応するバウンディングボックスＢｏｘｘ′ｔ及び該オーバーラップバウンディングボックスＢｏｘｘｔについて、以下の第一類似度条件Ｃ１を満足するかを決定することである。
【0055】
Ｓｉｍ（Ｆｒｅｉｄ＿ｘ′ｔ，Ｆｒｅｉｄ＿ｘｔ′）－Ｓｉｍ（Ｆｒｅｉｄ＿ｘｔ，Ｆｒｅｉｄ＿ｘｔ′）＞ｓＴｈ２ （６）
第一類似度条件Ｃ１を満足したと決定した場合、対応するバウンディングボックスＢｏｘｘ′ｔとオーバーラップバウンディングボックスＢｏｘｘｔの目標標識を交換する。Ｓｉｍ（Ｆｒｅｉｄ＿ｘ′ｔ，Ｆｒｅｉｄ＿ｘｔ′）は対応するバウンディングボックスＢｏｘｘ′ｔに対応する目標標識ｘ′の現在の画像Ｉｍｔ内の画像ブロックの再認識特徴Ｆｒｅｉｄ＿ｘ′ｔと、オーバーラップバウンディングボックスに対応する目標標識ｘの前の画像Ｉｍｔ′内の画像ブロックの再認識特徴Ｆｒｅｉｄ＿ｘｔ′との間の類似度であり、Ｓｉｍ（Ｆｒｅｉｄ＿ｘｔ，Ｆｒｅｉｄ＿ｘｔ′）はオーバーラップバウンディングボックスＢｏｘｘｔに対応する目標標識ｘの現在の画像Ｉｍｔ及び前の画像Ｉｍｔ′内の画像ブロックの再認識特徴Ｆｒｅｉｄ＿ｘｔとＦｒｅｉｄ＿ｘｔ′との間の類似度であり；また、ｓＴｈ２は第二類似度閾値である。例示として、ｓＴｈ２は０．１をとる。類似度は特徴向量の間のコサイン類似度であっても良い。例を挙げて言えば、図５（ａ）を参照するに、現在のローカル目標集ＴＪｓの中の目標Ｔｇ［ｘ］の軌跡ＴＪ［ｃ］［ｘ］及び目標Ｔｇ［ｘ′］の軌跡ＴＪ［ｃ］［ｘ′］（それは新軌跡であり、１つのみの軌跡点ＰＴＪｘ′ｔを含み、軌跡ＴＪ［ｃ］［ｘ］は複数の軌跡点ＰＴＪｘｔ、ＰＴＪｘｔ′などを含む）について、本実施例に記載の後処理を経た後に、軌跡更新が発生する可能性があり、オーバーラップバウンディングボックスの目標標識の交換の前に、類似度が条件Ｃ１を満足し、この場合、図５（ｂ）に示すように、目標Ｔｇ［ｘ］の軌跡ＴＪ［ｃ］［ｘ］の末端軌跡点を軌跡点Ｂとして更新し、軌跡点Ａは目標標識がｘ′として更新され、即ち、新軌跡点になる。
第一類似度条件Ｃ１を満足したと決定した場合、対応するバウンディングボックスＢｏｘｘ′ｔとオーバーラップバウンディングボックスＢｏｘｘｔの目標標識を交換する。Ｓｉｍ（Ｆｒｅｉｄ＿ｘ′ｔ，Ｆｒｅｉｄ＿ｘｔ′）は対応するバウンディングボックスＢｏｘｘ′ｔに対応する目標標識ｘ′の現在の画像Ｉｍｔ内の画像ブロックの再認識特徴Ｆｒｅｉｄ＿ｘ′ｔと、オーバーラップバウンディングボックスに対応する目標標識ｘの前の画像Ｉｍｔ′内の画像ブロックの再認識特徴Ｆｒｅｉｄ＿ｘｔ′との間の類似度であり、Ｓｉｍ（Ｆｒｅｉｄ＿ｘｔ，Ｆｒｅｉｄ＿ｘｔ′）はオーバーラップバウンディングボックスＢｏｘｘｔに対応する目標標識ｘの現在の画像Ｉｍｔ及び前の画像Ｉｍｔ′内の画像ブロックの再認識特徴Ｆｒｅｉｄ＿ｘｔとＦｒｅｉｄ＿ｘｔ′との間の類似度であり；また、ｓＴｈ２は第二類似度閾値である。例示として、ｓＴｈ２は０．１をとる。類似度は特徴向量の間のコサイン類似度であっても良い。例を挙げて言えば、図５（ａ）を参照するに、現在のローカル目標集ＴＪｓの中の目標Ｔｇ［ｘ］の軌跡ＴＪ［ｃ］［ｘ］及び目標Ｔｇ［ｘ′］の軌跡ＴＪ［ｃ］［ｘ′］（それは新軌跡であり、１つのみの軌跡点ＰＴＪｘ′ｔを含み、軌跡ＴＪ［ｃ］［ｘ］は複数の軌跡点ＰＴＪｘｔ、ＰＴＪｘｔ′などを含む）について、本実施例に記載の後処理を経た後に、軌跡更新が発生する可能性があり、オーバーラップバウンディングボックスの目標標識の交換の前に、類似度が条件Ｃ１を満足し、この場合、図５（ｂ）に示すように、目標Ｔｇ［ｘ］の軌跡ＴＪ［ｃ］［ｘ］の末端軌跡点を軌跡点Ｂとして更新し、軌跡点Ａは目標標識がｘ′として更新され、即ち、新軌跡点になる。
【0056】
２つの目標がオーバーラップしてから分離した場合、オクルージョンが発生しており、このような場合、分離後の軌跡点には誤った目標標識が割り当てられる可能性がある。よって、発明者はこのようなことの発生を抑制するために“第三後処理操作Ｏｐ＿ｐｏｓＰ３”に関する実施例を以下のように考案している。
【0057】
１つの実施例において、第三後処理操作Ｏｐ＿ｐｏｓＰ３は、現在のローカル軌跡集合ＴＪｓｔに、次のオーバーラップ条件を満足した第一軌跡及び第二軌跡が存在するかを決定することを含み、即ち、第一軌跡の対応する画像ブロックシーケンス中の現在の時間ｔの前の時間ｔ′における第一画像ブロックと、第二軌跡の対応する画像ブロックシーケンス中の前の時間ｔ′における第二画像ブロックとのオーバーラップが発生しており；第一軌跡の対応する画像ブロックシーケンス中の現在の時間ｔにおける第三画像ブロックと、第二軌跡の対応する画像ブロックシーケンス中の現在の時間ｔにおける第四画像ブロックとの間にオーバーラップがなく；かつ、第一軌跡の対応する画像ブロックシーケンス中の前の時間ｔ′よりも前の時間ｔ′′における第五画像ブロックと、第二軌跡の対応する画像ブロックシーケンス中の前の時間ｔ′よりも前の時間ｔ′′における第六画像ブロックとの間にオーバーラップがない。図６は本発明の１つの実施例に係る２つの例示的なローカル目標軌跡を示しており、また、軌跡点及び例示的な対応する画像ブロックをも示しており、そのうち、図６（ａ）は前述のオーバーラップ条件を満足した第一軌跡ＴＪ［ｃ］［ｘ］及び第二軌跡ＴＪ［ｃ］［ｘ′］を示している。図６（ａ）に示すように、現在のローカル軌跡集合ＴＪｓｔの中の第一軌跡ＴＪ［ｃ］［ｘ］及び第二軌跡ＴＪ［ｃ］［ｘ′］について、第一軌跡ＴＪ［ｃ］［ｘ］は現在の時間ｔにおける軌跡点ＰＴＪｘｔ（その対応する画像ブロックを“第三画像ブロックＰａｔｃｈ３”と記し、該点も“軌跡点Ａ”と称されても良い）、前の時間のｔ′における軌跡点ＰＴＪｘｔ′（その対応する画像ブロックを“第一画像ブロックＰａｔｃｈ１”と記す）、及び、それよりも前の時間ｔ′′における軌跡点ＰＴＪｘｔ′′（その対応する画像ブロックを“第五画像ブロックＰａｔｃｈ１”と記す）を含み、第二軌跡ＴＪ［ｃ］［ｘ′］は現在の時間ｔにおける軌跡点ＰＴＪｘ′ｔ（その対応する画像ブロックを“第四画像ブロックＰａｔｃｈ４”と記し、該点も“軌跡点Ｂ”と呼ばれて良い）、前の時間のｔ′における軌跡点ＰＴＪｘ′ｔ′（その対応する画像ブロックを“第二画像ブロックＰａｔｃｈ２”と記す）、及び、それよりも前の時間ｔ′′における軌跡点ＰＴＪｘ′ｔ′′（その対応する画像ブロックを“第六画像ブロックＰａｔｃｈ６”と記す）を含む。
【0058】
第三後処理操作Ｏｐ＿ｐｏｓＰ３はさらに、上述のオーバーラップ条件を満足した第一軌跡ＴＪ［ｃ］［ｘ］及び第二軌跡ＴＪ［ｃ］［ｘ′］について、以下の第二類似度条件Ｃ２を満足したかを決定することを含む。
【0059】
Ｓｉｍ（Ｆｒｅｉｄ＿ｘｔ′′，Ｆｒｅｉｄ＿ｘ′ｔ）＋Ｓｉｍ（Ｆｒｅｉｄ＿ｘ′ｔ′′，Ｆｒｅｉｄ＿ｘｔ）－Ｓｉｍ（Ｆｒｅｉｄ＿ｘｔ，Ｆｒｅｉｄ＿ｘｔ′′）＋Ｓｉｍ（Ｆｒｅｉｄ＿ｘ′ｔ′′，Ｆｒｅｉｄ＿ｘ′ｔ）＞ｓＴｈ３ （７）
Ｓｉｍ（Ｆｒｅｉｄ＿ｘｔ′′，Ｆｒｅｉｄ＿ｘ′ｔ）は第五画像ブロックの再認識特徴Ｆｒｅｉｄ＿ｘｔ′′と第四画像ブロックの再認識特徴Ｆｒｅｉｄ＿ｘ′ｔとの間の類似度である。
Ｓｉｍ（Ｆｒｅｉｄ＿ｘｔ′′，Ｆｒｅｉｄ＿ｘ′ｔ）は第五画像ブロックの再認識特徴Ｆｒｅｉｄ＿ｘｔ′′と第四画像ブロックの再認識特徴Ｆｒｅｉｄ＿ｘ′ｔとの間の類似度である。
【0060】
Ｓｉｍ（Ｆｒｅｉｄ＿ｘ′ｔ′′，Ｆｒｅｉｄ＿ｘｔ）は第六画像ブロックの再認識特徴Ｆｒｅｉｄ＿ｘ′ｔ′′と第三画像ブロックの再認識特徴Ｆｒｅｉｄ＿ｘｔとの間の類似度である。
【0061】
Ｓｉｍ（Ｆｒｅｉｄ＿ｘｔ，Ｆｒｅｉｄ＿ｘｔ′′）は第五画像ブロックの再認識特徴Ｆｒｅｉｄ＿ｘｔ′′と第三画像ブロックの再認識特徴Ｆｒｅｉｄ＿ｘｔとの間の類似度である。
【0062】
Ｓｉｍ（Ｆｒｅｉｄ＿ｘ′ｔ′′，Ｆｒｅｉｄ＿ｘ′ｔ）は第六画像ブロックの再認識特徴Ｆｒｅｉｄ＿ｘ′ｔ′′と第四画像ブロックの再認識特徴Ｆｒｅｉｄ＿ｘ′ｔとの間の類似度である。
【0063】
ｓＴｈ３は第三類似度閾値である。
【0064】
第三後処理操作Ｏｐ＿ｐｏｓＰ３はさらに、第二類似度条件Ｃ２を満足したと決定した場合、第四画像ブロックと第三画像ブロックの目標標識を交換することを含む。図６（ｂ）は第二類似度条件Ｃ２を満足した場合、目標標識交換後の更新された第一軌跡及び第二軌跡を示しており、そのうち、軌跡点Ａ、Ｂは目標標識が交換されている。
【0065】
以下、方法１００におけるクラスタリング処理Ｏｐ＿ｃｌｕｓｔｅｒについてさらに例示的に説明する。
【0066】
図７は本発明の１つの実施例に係るクラスタリング処理Ｏｐ＿ｃｌｕｓｔｅｒのための方法７００の例示的なフローチャートである。クラスタリング処理Ｏｐ＿ｃｌｕｓｔｅｒは総ローカル目標軌跡集合ＧＴＪｓの中のローカル目標軌跡に対してクラスタリングを行うことでクラスタリング・マッチング・グローバル軌跡集合ＧＴＪｃｍｓを決定する。
【0067】
ステップＳ７０１では、ローカル目標軌跡集合ＧＴＪｓの中の各カメラヘッド間軌跡対（ペア）の複数の対応するクロスカメラヘッド画像ブロック対の再認識特徴対に基づいて、該カメラヘッド間軌跡対の軌跡類似度を決定する。例えば、第一カメラヘッドＣａｍ［ｃ１］により提供される画像シーケンスから得られるローカル目標軌跡が第一軌跡ＴＪ［ｃ１］［ｊ１］を含み、ＴＪ［ｃ１］［ｊ１］はＫ１個の画像ブロックに対応し、そのうち、任意の１つの画像ブロックは第一画像ブロックＰａｔｃｈ［ｃ１］［ｊ１］［ｋ１］と記され、第二カメラヘッドＣａｍ［ｃ２］により提供される画像シーケンスから得られるローカル目標軌跡が第二軌跡ＴＪ［ｃ２］［ｊ２］を含み、ＴＪ［ｃ２］［ｊ２］はＫ２個の画像ブロックに対応し、そのうち、任意の１つの画像ブロックは第二画像ブロックＰａｔｃｈ［ｃ２］［ｊ２］［ｋ２］と記されるとし、この場合、Ｋ１個の第一画像ブロックとＫ２個の第二画像ブロックからなるＫ１＊Ｋ２個のクロスカメラヘッド画像ブロック対の再認識特徴対（Ｆｒｅｉｄ［ｃ１］［ｊ１］［ｋ１］，Ｆｒｅｉｄ［ｃ２］［ｊ２］［ｋ２］）に基づいて、第一、第二軌跡からなるカメラヘッド間軌跡対（第一軌跡ＴＪ［ｃ１］［ｊ１］，第二軌跡ＴＪ［ｃ２］［ｊ２］）の軌跡類似度ＳｉｍＴｂＣ（ＴＪ［ｃ１］［ｊ１］，ＴＪ［ｃ２］［ｊ２］）（“カメラヘッド間軌跡類似度”ともいう）を決定できる。
【0068】
１つの例において、画像ブロックの類似度の平均値を計算することで軌跡類似度を決定し、これは“平均計算操作Ｏｐ＿ｍｅａｎ”と記される。軌跡類似度ＳｉｍＴｂＣ（ＴＪ［ｃ１］［ｊ１］，ＴＪ［ｃ２］［ｊ２］）の決定は、ステップＳ７０１１において、該カメラヘッド間軌跡対の２つの対応する追跡タックレットの、クロスカメラヘッド画像ブロック対（Ｐａｔｃｈ［ｃ１］［ｊ１］［ｋ１］，Ｐａｔｃｈ［ｃ２］［ｊ２］［ｋ２］）としての追跡タックレット間画像ブロック対の再認識特徴対に基づいて、該追跡タックレット間画像ブロック対の画像ブロック類似度ＳｉｍＰｂＴ（Ｐａｔｃｈ［ｃ１］［ｊ１］［ｋ１］，Ｐａｔｃｈ［ｃ２］［ｊ２］［ｋ２］）を計算し；及び、ステップＳ７０１３において、該カメラヘッド間軌跡対の２つの対応する追跡タックレットの複数の追跡タックレット間画像ブロック対の画像ブロック類似度のうち、前のｎ個の最大画像ブロック類似度の平均値を軌跡類似度ＳｉｍＴｂＣ（ＴＪ［ｃ１］［ｊ１］，ＴＪ［ｃ２］［ｊ２］）として計算することを含む。ｎは整数であり、例えば、ｎ＝５である。例えば、画像ブロック類似度は２つの画像ブロックの再認識特徴のコサイン類似度であり得る。例えば、Ｋ１個の軌跡点を持つ第一軌跡ＴＪ［ｃ１］［ｊ１］及びＫ２個の軌跡点を持つ第二軌跡ＴＪ［ｃ２］［ｊ２］について、Ｋ１＊Ｋ２個の画像ブロック類似度ＳｉｍＰｂＴを得ることができ、これらの画像ブロック類似度ＳｉｍＰｂＴのうち、前のｎ個の最大画像ブロック類似度の平均値を、第一軌跡及び第二軌跡からなる軌跡対の類似度ＳｉｍＴｂＣとしてとる。例示として、２つのカメラヘッドがあり、第一カメラヘッドの画像からＪ１個の軌跡を取得し、第二カメラヘッドの画像からＪ２個の軌跡を取得するとし、この場合、得られる軌跡類似度の数はＪ１＊Ｊ２である。
【0069】
ステップＳ７０３では、ローカル目標軌跡集合の中の複数のカメラヘッド間軌跡対の軌跡類似度に基づいて、ローカル目標軌跡集合の中の複数の目標軌跡に対してクラスタリングを行うことで、クラスタリング・マッチング・グローバル軌跡集合ＧＴＪｃｍｓを決定する。１つの例において、Ａｇｇｌｏｍｅｒａｔｉｖｅクラスタリングアルゴリズムを使用して、比較的低い閾値（０．５）の場合、ローカル目標軌跡集合における複数の目標軌跡に対してクラスタリングを行う。総ローカル目標軌跡集合ＬＴＪｓにおける軌跡数と比較して、クラスタリング・マッチング・グローバル軌跡集合ＧＴＪｃｍｓにおける軌跡数は減少し得る。
【0070】
以下、方法１００における合併操作Ｏｐ＿ｍｅｒｇｅについてさらに例示的に説明する。
【0071】
クラスタリング・マッチング・グローバル軌跡集合ＧＴＪｃｍｓの中の各軌跡を頂点として構築される有向グラフは“Ｇ（Ｖ、Ｅ）”と記され、ｖｉを用いて有向グラフの中の１つの頂点を表し、ｅｉ，ｊは頂点ｖｉと頂点ｖｊとの間の有向辺（エッジ）である。構築時に、先に、各対の頂点の間の有向辺のコストを無限大に初期化する。その後、軌跡対の端点に対応する時間に基づいて、対応する有向辺のコストを調整し、以下、軌跡ＴＪａとＴＪｂからなる軌跡対を例にして説明する。クラスタリング・マッチング・グローバル軌跡集合ＧＴＪｃｍｓの中の第一軌跡ＴＪａ及び第二軌跡ＴＪｂについて、第二軌跡ＴＪｂの開始時間と第一軌跡ＴＪａの終了時間との間の差がゼロよりも大きく、かつ所定時間閾値ｔＴｈ（例えば、１秒）よりも小さい場合、第一軌跡ＴＪａ及び第二軌跡ＴＪｂと関連付けられる軌跡類似度コスト関数ｃｏｓｔ＿ｒｅｉｄ、時間コスト関数ｃｏｓｔ＿ｔｉｍｅ及び空間距離コスト関数ｃｏｓｔ＿ｓｐａｔｉａｌのうちの少なくとも１つに基づいて、第一軌跡ＴＪａ及び第二軌跡ＴＪｂと関連付けられる２つの頂点の間の有向辺のコストを調整する。
【0072】
式（８）に示すように、軌跡類似度コスト関数ｃｏｓｔ＿ｒｅｉｄは第一軌跡ＴＪａと第二軌跡ＴＪｂとの軌跡類似度Ｓｉｍ（ＴＪａ，ＴＪｂ）と関連付けられる。
【0073】
ｃｏｓｔ＿ｒｅｉｄ＝ｌｏｇ（１－Ｓｉｍ（ＴＪａ，ＴＪｂ）） （８）
軌跡類似度Ｓｉｍ（ＴＪａ，ＴＪｂ）の決定方式はクラスタリング処理時に用いられる軌跡類似度の決定方式と同じであっても良い。軌跡ＴＪａ及びＴＪｂの画像ブロックシーケンスからの再認識特徴Ｆｒｅｉｄ＿ａ及びＦｒｅｉｄ＿ｂの再認識特徴類似度をＳｉｍ（ＴＪａ，ＴＪｂ）として使用しても良く、そのうち、特徴Ｆｒｅｉｄ＿ａ及びＦｒｅｉｄ＿ｂはそれぞれ、第一軌跡ＴＪａ及び第二軌跡ＴＪｂの対応する画像ブロックシーケンスにおける、認識度が所定認識度閾値よりも高いキー画像ブロックの再認識特徴である。認識度はバウンディングボックスの信頼度、オーバーラップ率及び画像ブロックの相対高さ（画像ブロックの高さと画像の高さとの比率）のうちの少なくとも１つに基づいて決定されても良く、これによって、画像ブロックの認識度に基づいて対応する画像ブロックシーケンスのうちからキー画像ブロックを選択してＳｉｍ（ＴＪａ，ＴＪｂ）を計算できる。好ましくは、最高認識度を持つ画像ブロックを選択する。
軌跡類似度Ｓｉｍ（ＴＪａ，ＴＪｂ）の決定方式はクラスタリング処理時に用いられる軌跡類似度の決定方式と同じであっても良い。軌跡ＴＪａ及びＴＪｂの画像ブロックシーケンスからの再認識特徴Ｆｒｅｉｄ＿ａ及びＦｒｅｉｄ＿ｂの再認識特徴類似度をＳｉｍ（ＴＪａ，ＴＪｂ）として使用しても良く、そのうち、特徴Ｆｒｅｉｄ＿ａ及びＦｒｅｉｄ＿ｂはそれぞれ、第一軌跡ＴＪａ及び第二軌跡ＴＪｂの対応する画像ブロックシーケンスにおける、認識度が所定認識度閾値よりも高いキー画像ブロックの再認識特徴である。認識度はバウンディングボックスの信頼度、オーバーラップ率及び画像ブロックの相対高さ（画像ブロックの高さと画像の高さとの比率）のうちの少なくとも１つに基づいて決定されても良く、これによって、画像ブロックの認識度に基づいて対応する画像ブロックシーケンスのうちからキー画像ブロックを選択してＳｉｍ（ＴＪａ，ＴＪｂ）を計算できる。好ましくは、最高認識度を持つ画像ブロックを選択する。
【0074】
式（９）に示すように、時間コスト関数ｃｏｓｔ＿ｔｉｍｅは第二軌跡の開始時間と第一軌跡の終了時間との差ｄｉｆｆＴｉｍｅに関連付けられる。
【0075】
ｃｏｓｔ＿ｔｉｍｅ＝ｌｏｇ（｜ｄｉｆｆＴｉｍｅ｜） （９）
式（１０）に示すように、空間距離コスト関数ｃｏｓｔ＿ｓｐａｔｉａｌは第一軌跡の終了位置と第二軌跡の開始位置との間のワールド座標系での空間距離ｄｉｓＳｐａｔｉａｌに関連付けられる。
式（１０）に示すように、空間距離コスト関数ｃｏｓｔ＿ｓｐａｔｉａｌは第一軌跡の終了位置と第二軌跡の開始位置との間のワールド座標系での空間距離ｄｉｓＳｐａｔｉａｌに関連付けられる。
【0076】
ｃｏｓｔ＿ｓｐａｔｉａｌ＝ｌｏｇ（ｄｉｓＳｐａｔｉａｌ） （１０）
２つの頂点の間の有向辺のコストｃｏｓｔは上述の３種類のコストのうちの少なくとも２種類の加重和の総コストであっても良い。例えば、式（１１）に示す総コストである。
２つの頂点の間の有向辺のコストｃｏｓｔは上述の３種類のコストのうちの少なくとも２種類の加重和の総コストであっても良い。例えば、式（１１）に示す総コストである。
【0077】
ｃｏｓｔ＝αｃｏｓｔ＿ｒｅｉｄ＋βｃｏｓｔ＿ｔｉｍｅ＋γｃｏｓｔ＿ｓｐａｔｉａｌ （１１）
ここで、α、β、γは加重係数（重み）であり、α＋β＋γ＝１である。
ここで、α、β、γは加重係数（重み）であり、α＋β＋γ＝１である。
【0078】
向グラフＧにおける最小コスト経路を決定するために、最小コスト経路アルゴリズムを施すときに仮想開始点を有向グラフの１つの頂点として設定し、該頂点から他の任意の頂点までのコストを０に設定しても良い。
【0079】
ｂｅｌｌｍａｎ－ｆｏｒｄアルゴリズムにより、コストグラフにおける単一ソースの最短経路問題を解決できる。該アルゴリズムでは、辺の重みは負の値であっても良く、該アルゴリズムは、重みを負にできないＤｉｊｋｓｔｒａ最短経路アルゴリズムを改良したものである。本発明の１つの例では、ｂｅｌｌｍａｎ－ｆｏｒｄアルゴリズムを使用して仮想頂点から他の頂点までの最小コスト経路を計算し、最小コスト経路におけるすべての軌跡頂点はマルチカメラヘッド・マルチターゲットの追跡結果である。最終的には最小コスト経路集合に基づいて、クラスタリング・マッチング・グローバル軌跡集合の中の対応する軌跡を合併することで、グローバル目標軌跡集合ＧＴＪｓを得ることができる。
【0080】
図８は本発明の１つの実施例に係るマルチターゲット・マルチカメラヘッド追跡のための方法８００の例示的なフローチャートである。便宜のため、複数のカメラヘッドは第一カメラヘッドＣａｍ［１］及び第二カメラヘッドＣａｍ［２］であり、かつそれらの監視領域は隣接するが、オーバーラップしない。
【0081】
図８に示すように、カメラヘッドＣａｍ［１］は画像シーケンスＳｑＩｍ［１］：Ｉｍ［１］［１］、…、Ｉｍ［１］［ｉ１ｅｎｄ］を提供し、カメラヘッドＣａｍ［２］は画像シーケンスＳｑＩｍ［１］：Ｉｍ［１］［１］、…、Ｉｍ［１］［ｉ１ｅｎｄ］を提供する。
【0082】
それぞれ、画像シーケンスＳｑＩｍ［１］及びＳｑＩｍ［２］に対してシングルカメラヘッド・マルチターゲット追跡操作Ｏｐ＿ｍｔｔを行うことで総ローカル目標軌跡集合ＬＴＪｓを得ることができ、そのうち、操作Ｏｐ＿ｍｔｔは目標検出操作Ｏｐ＿ｄｅｔＢ、再認識特徴抽出操作Ｏｐ＿ｅｘｔＦ、シングルカメラヘッド目標マッチング操作Ｏｐ＿ｍａｔＳ及びローカル目標軌跡後処理操作Ｏｐ＿ｐｏｓｔＰを含み得る。例示として、図８に示す総ローカル目標軌跡集合ＬＴＪｓは第一カメラヘッドに対応するローカル目標軌跡集合ＴＪｓ［１］及び第二カメラヘッドに対応するローカル目標軌跡集合ＴＪｓ［２］からなり、トータルで９つの軌跡があり、そのうち、ローカル目標軌跡集合ＴＪｓ［１］は４つの軌跡、即ち、ＴＪ１，１、ＴＪ１，２、ＴＪ１，３、ＴＪ１，４を含み、ローカル目標軌跡集合ＴＪｓ［２］は５つの軌跡、即ち、ＴＪ２，１、ＴＪ２，２、ＴＪ２，３、ＴＪ２，４、ＴＪ２，５を含む。図８ではさらに、黒丸で各軌跡の開始点及び終点を示している。また、図８ではさらに、再認識特徴抽出操作Ｏｐ＿ｅｘｔＦによって決定される、第一カメラヘッドについての再認識特徴集Ｆｒｅｉｄｓ［１］、及び第二カメラヘッドについての再認識特徴集Ｆｒｅｉｄｓ［２］をも示している。再認識特徴集Ｆｒｅｉｄｓ［１］は各軌跡に対応する再認識特徴集｛Ｆｒｅｉｄ［１］［１］［ｊ１］｝、｛Ｆｒｅｉｄ［１］［２］［ｊ２］｝、｛Ｆｒｅｉｄ［１］［３］［ｊ３］｝及び｛Ｆｒｅｉｄ［１］［４］［ｊ４］｝を含み、再認識特徴集Ｆｒｅｉｄｓ［２］は各軌跡に対応する再認識特徴集｛Ｆｒｅｉｄ［２］［１］［ｋ１］｝、｛Ｆｒｅｉｄ［２］［２］［ｋ２］｝、｛Ｆｒｅｉｄ［２］［３］［ｋ３］｝、｛Ｆｒｅｉｄ［２］［４］［ｋ４］｝、｛Ｆｒｅｉｄ［２］［５］［ｊ５］｝を含み、そのうち、便宜のため、集合記号“｛｝”には、代表的な要素を１つだけ示しており、全ての要素を示していない。
【0083】
再認識特徴に基づいて平均計算操作Ｏｐ＿ｍｅａｎを行うことで軌跡類似度ＳｉｍＴｂＣを決定できる。この例では、４＊５個のカメラヘッド間軌跡類似度ＳｉｍＴｂＣを決定できる。
【0084】
決定された複数のカメラヘッド間軌跡類似度に基づいてクラスタリング処理Ｏｐ＿ｃｌｕｓｔｅｒを行うことでクラスタリング・マッチング・グローバル軌跡集合ＧＴＪｃｍｓを決定できる。図８に示すように、この例では、クラスタリング処理によってＬＴＪｓにおける軌跡ＴＪ１，２及びＴＪ２，１を1つの類型にクラスタリングすることで、この２つの軌跡を合併して軌跡集合ＧＴＪｃｍｓにおける軌跡ＴＪｃ２を取得する。よって、軌跡集合ＧＴＪｃｍｓの軌跡数は８である。なお、図８では、軌跡集合ＬＴＪｓに対して、軌跡集合ＧＴＪｃｍｓにおける軌跡は番号が付け直されており、それぞれ、ＴＪｃ１、ＴＪｃ２、ＴＪｃ３、ＴＪｃ４、ＴＪｃ５、ＴＪｃ６、ＴＪｃ７、ＴＪｃ８である。
【0085】
クラスタリング・マッチング・グローバル軌跡集合ＧＴＪｃｍｓに対して最小コスト操作Ｏｐ＿ｃｍｉｎｐを行うことで最小コスト経路集合Ｐｍｉｎｓを決定する。
【0086】
クラスタリング・マッチング・グローバル軌跡集合ＧＴＪｃｍｓに対して合併操作Ｏｐ＿ｍｅｒｇｅを行い、最小コスト経路集合Ｐｍｉｎｓに基づいてクラスタリング・マッチング・グローバル軌跡集合ＧＴＪｃｍｓにおける対応する軌跡を合併することで軌跡集合ＧＴＪｃｍｓを更新してグローバル目標軌跡集合ＧＴＪｓとする。図８に示すように、この例では、最小コスト経路集合Ｐｍｉｎｓの中の、ＧＴＪｃｍｓにおける軌跡ＴＪｃ４とＴＪｃ５とを接続する最小コスト経路に基づいて、ＧＴＪｃｍｓにおける軌跡ＴＪｃ４とＴＪｃ５とを合併して新軌跡ＴＪｇ４とする。よって、軌跡集合ＧＴＪｓの軌跡数は７である。なお、図８では、軌跡集合ＧＴＪｃｍｓに対して、軌跡集合ＧＴＪｓにおける軌跡は番号が付け直されており、それぞれ、ＴＪｇ１、ＴＪｇ２、ＴＪｇ３、ＴＪｇ４、ＴＪｇ５、ＴＪｇ６、ＴＪｇ７であり、軌跡集合ＧＴＪｓにおける軌跡ＴＪｇ２、ＴＪｇ４は、２つの異なる目標が連続して２つのカメラヘッドの監視領域に出現し、２つのクロスカメラヘッド軌跡を形成していることを示す。
【0087】
また、本発明の１つの実施例では、マルチターゲット・マルチカメラヘッド追跡のための装置が提供される。以下、図９を参照しながら例示的な説明を行う。図９は本発明の１つの実施例に係るマルチターゲット・マルチカメラヘッド追跡のための装置９００の例示的なブロック図である。装置９００はシングルカメラヘッド・マルチターゲット追跡ユニット９０１及びマルチカメラヘッド・マルチターゲット・マッチングユニット９０３を含む。シングルカメラヘッド・マルチターゲット追跡ユニット９０１は次のことを行うように構成され、即ち、複数のカメラヘッドのうちの各カメラヘッドにより提供される、対応する画像シーケンスに対してシングルカメラヘッド・マルチターゲット追跡を行うことで各カメラヘッドのローカル目標軌跡集合を含む総ローカル目標軌跡集合を決定することである。マルチカメラヘッド・マルチターゲット・マッチングユニット９０３は次のことを行うように構成され、即ち、総ローカル目標軌跡集合に対してマルチカメラヘッド・マルチターゲット・マッチングを行うことで複数のカメラヘッドについてのグローバル目標軌跡集合を決定することである。マルチカメラヘッド・マルチターゲット・マッチングユニット９０３は、クラスタリングユニット９０３１、最小コスト経路決定ユニット９０３３及び合併ユニット９０３５を含む。クラスタリングユニット９０３１は次のことを行うように構成され、即ち、総ローカル目標軌跡集合におけるローカル目標軌跡に対してクラスタリングを行うことでクラスタリング・マッチング・グローバル軌跡集合を決定することである。最小コスト経路決定ユニット９０３３は次のことを行うように構成され、即ち、クラスタリング・マッチング・グローバル軌跡集合における各軌跡を頂点として構築される有向グラフに対して最小コスト経路アルゴリズムを施すことで最小コスト経路集合を決定することである。合併ユニット９０３５は次のことを行うように構成され、即ち、最小コスト経路集合に基づいてクラスタリング・マッチング・グローバル軌跡集合の中の対応する軌跡を合併することである。装置９００は方法１００に対応する。装置９００の更なる構成については上述の方法１００についての説明を参照できる。
【0088】
また、本発明の１つの実施例では、もう１つのマルチターゲット・マルチカメラヘッド追跡のための装置が提供される。以下、図１０を参照しながら例示的な説明を行う。図１０は本発明の１つの実施例に係るマルチターゲット・マルチカメラヘッド追跡のための装置１０００の例示的なブロック図である。装置１０００は命令を記憶している記憶器１００１、及び、記憶器１００１に接続される少なくとも１つの処理器１００３を含み、処理器１００３は記憶器１００１における命令を実行することで次のことを行うように構成され、即ち、複数のカメラヘッドのうちの各カメラヘッドにより提供される、対応する画像シーケンスに対してシングルカメラヘッド・マルチターゲット追跡を行うことで各カメラヘッドのローカル目標軌跡集合を含む総ローカル目標軌跡集合を決定し；及び、総ローカル目標軌跡集合に対してマルチカメラヘッド・マルチターゲット・マッチングを行うことで複数のカメラヘッドについてのグローバル目標軌跡集合を決定することであり、そのうち、グローバル目標軌跡集合の決定は、総ローカル目標軌跡集合におけるローカル目標軌跡に対してクラスタリングを行うことでクラスタリング・マッチング・グローバル軌跡集合を決定し；クラスタリング・マッチング・グローバル軌跡集合における各軌跡を頂点として構築される有向グラフに対して最小コスト経路アルゴリズムを施すことで最小コスト経路集合を決定し；及び、最小コスト経路集合に基づいてクラスタリング・マッチング・グローバル軌跡集合の中の対応する軌跡を合併することを含む。命令は方法１００に対応する。装置１０００の更なる構成については上述の方法１００についての説明を参照できる。
【0089】
また、本発明の１つの側面では、プログラムを記憶しているコンピュータ可読記憶媒体が提供され、該プログラムはコンピュータにより実行されるときに次のことを行うことができ、即ち、複数のカメラヘッドのうちの各カメラヘッドにより提供される、対応する画像シーケンスに対してシングルカメラヘッド・マルチターゲット追跡を行うことで各カメラヘッドのローカル目標軌跡集合を含む総ローカル目標軌跡集合を決定し；及び、総ローカル目標軌跡集合に対してマルチカメラヘッド・マルチターゲット・マッチングを行うことで複数のカメラヘッドについてのグローバル目標軌跡集合を決定することであり、そのうち、グローバル目標軌跡集合の決定は、総ローカル目標軌跡集合におけるローカル目標軌跡に対してクラスタリングを行うことでクラスタリング・マッチング・グローバル軌跡集合を決定し；クラスタリング・マッチング・グローバル軌跡集合における各軌跡を頂点として構築される有向グラフに対して最小コスト経路アルゴリズムを施すことで最小コスト経路集合を決定し；及び、最小コスト経路集合に基づいてクラスタリング・マッチング・グローバル軌跡集合の中の対応する軌跡を合併することである。プログラムは方法１００に対応する。プログラムの更なる構成については上述の方法１００についての説明を参照できる。
【0090】
さらに、本発明の１つの側面では情報処理機器が提供される。
【0091】
図１１は本発明の実施例における情報処理機器１１００を示す図である。情報処理機器１１００は、例えば、コンピュータシステムであっても良い。なお、情報処理機器１１００は例示に過ぎず、本発明による方法及び装置の適用範囲又は機能について限定しない。また、情報処理機器１１００は、上述の方法及び装置における任意のモジュールやアセンブリなど又はその組み合わせにも依存しない。
【0092】
図１１では、中央処理装置（ＣＰＵ）１１０１は、ＲＯＭ１１０２に記憶されているプログラム又は記憶部１１０８からＲＡＭ１１０３にロッドされているプログラムに基づいて各種の処理を行う。ＲＡＭ１１０３では、ニーズに応じて、ＣＰＵ１１０１が各種の処理を行うときに必要なデータなどを記憶することもできる。ＣＰＵ１１０１、ＲＯＭ１１０２及びＲＡＭ１１０３は、バス１１０４を経由して互いに接続される。入力／出力インターフェース１１０５もバス１１０４に接続される。
【0093】
また、入力／出力インターフェース１１０５には、さらに、次のような部品が接続され、即ち、キーボードなどを含む入力部１１０６、液晶表す器（ＬＣＤ）などのような表示器及びスピーカーなどを含む出力部１１０７、ハードディスクなどを含む記憶部１１０８、ネットワーク・インターフェース・カード、例えば、ＬＡＮカード、モデムなどを含む通信部１１０９である。通信部１１０９は、例えば、インターネット、ＬＡＮなどのネットワークを経由して通信処理を行う。ドライブ１１１０は、ニーズに応じて、入力／出力インターフェース１１０５に接続されても良い。取り外し可能な媒体１１１１、例えば、半導体メモリなどは、必要に応じて、ドライブ１１１０にセットされることにより、その中から読み取られたコンピュータプログラムを記憶部１１０８にインストールすることができる。
【0094】
また、本発明は、さらに、マシン可読命令コードを含むプログラムプロダクトを提供する。このような命令コードは、マシンにより読み取られて実行されるときに、上述の本発明の実施形態における方法を実行することができる。それ相応に、このようなプログラムプロダクトをキャリー（ｃａｒｒｙ）する、例えば、磁気ディスク（フロッピーディスク（登録商標）を含む）、光ディスク（ＣＤ－ＲＯＭ及びＤＶＤを含む）、光磁気ディスク（ＭＤ（登録商標）を含む）、及び半導体記憶器などの各種記憶媒体も、本発明に含まれる。
【0095】
上述の記憶媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体記憶器などを含んでも良いが、これらに限定されない。
【0096】
また、上述の方法における各操作（処理）は、各種のマシン可読記憶媒体に記憶されているコンピュータ実行可能なプログラムの方式で実現することもできる。
【0097】
さらに、本発明の目的は次のような方式で実現されても良く、即ち、実行可能なプログラムコードを記憶している記憶媒体をシステム又は装置に直接又は間接的に提供し、該システム又は装置におけるコンピュータ又は中央処理ユニット（ＣＰＵ）により上述のプログラムコードを読み取って実行する。このときに、該システム又は装置がプログラム実行可能な機能を有すれば、本発明の実施例はプログラムに限定されず、また、該プログラムは任意の形式のもの、例えば、オブジェクト指向プログラム、インタープリター実行のプログラム、ＯＳに提供するスクリプトプログラムなどであっても良い。
【0098】
上述のようなマシン可読記憶媒体は、各種の記憶器及び記憶ユニット、半導体デバイス、磁気、光磁気ディスクなどの磁気ディスク装置、及び情報を格納するのに適した他の媒体が含まれるが、これらに限定されない。
【0099】
また、コンピュータはインターネット上の対応するウェブサイトに接続し、本発明によるコンピュータプログラムコードをダウンロードしてコンピュータにインストールした後に該プログラムを実行することで、本発明の技術案を実現することもできる。
【0100】
本発明の実施例では、シングルカメラヘッド・マルチターゲット追跡に外接矩形枠情報、動き情報及び再認識特徴を融合することで、シングルカメラヘッドの下でのマルチターゲット追跡パフォーマンスを最適化し、ｉｄ切り替えを効果的に減少させることができる。マルチカメラヘッドマッチングでは、有向グラフに基づく最小コスト経路アルゴリズムを利用して軌跡類似度（再認識特徴類似度）、時間及び空間に基づいて目標マッチングを全体的に最適化することでパフォーマンスを向上させることができる。また、有向グラフに基づく最小コスト経路アルゴリズムを使用することで、オクルージョン、照明及び姿勢変化によるマルチカメラヘッド・マルチターゲット追跡への不利な影響を低減することもできる。
【0101】
本発明の方法、装置及び記憶媒体の有利な効果は、マルチカメラヘッド・マルチターゲット追跡の結果の正確さを向上させることができること、及び、標識切り替えを減少させることができることのうちの少なくとも１つを含む。
【0102】
また、以上の実施例などに関し、さらに以下のように付記として開示する。
【0103】
（付記１）
コンピュータが実行する、マルチターゲット・マルチカメラヘッド追跡のための方法であって、
複数のカメラヘッドのうちの各カメラヘッドにより提供される、対応する画像シーケンスに対してシングルカメラヘッド・マルチターゲット追跡を行うことで各カメラヘッドのローカル目標軌跡集合を含む総ローカル目標軌跡集合を決定し；及び
前記総ローカル目標軌跡集合に対してマルチカメラヘッド・マルチターゲット・マッチングを行うことで前記複数のカメラヘッドについてのグローバル目標軌跡集合を決定することを含み、
そのうち、前記複数のカメラヘッドについての前記グローバル目標軌跡集合の決定は、
前記総ローカル目標軌跡集合におけるローカル目標軌跡に対してクラスタリングを行うことでクラスタリング・マッチング・グローバル軌跡集合を決定し；
前記クラスタリング・マッチング・グローバル軌跡集合における各軌跡を頂点として構築される有向グラフに対して最小コスト経路アルゴリズムを適用することで最小コスト経路集合を決定し；及び
前記最小コスト経路集合に基づいて前記クラスタリング・マッチング・グローバル軌跡集合の中の対応する軌跡を合併することを含む、方法。
コンピュータが実行する、マルチターゲット・マルチカメラヘッド追跡のための方法であって、
複数のカメラヘッドのうちの各カメラヘッドにより提供される、対応する画像シーケンスに対してシングルカメラヘッド・マルチターゲット追跡を行うことで各カメラヘッドのローカル目標軌跡集合を含む総ローカル目標軌跡集合を決定し；及び
前記総ローカル目標軌跡集合に対してマルチカメラヘッド・マルチターゲット・マッチングを行うことで前記複数のカメラヘッドについてのグローバル目標軌跡集合を決定することを含み、
そのうち、前記複数のカメラヘッドについての前記グローバル目標軌跡集合の決定は、
前記総ローカル目標軌跡集合におけるローカル目標軌跡に対してクラスタリングを行うことでクラスタリング・マッチング・グローバル軌跡集合を決定し；
前記クラスタリング・マッチング・グローバル軌跡集合における各軌跡を頂点として構築される有向グラフに対して最小コスト経路アルゴリズムを適用することで最小コスト経路集合を決定し；及び
前記最小コスト経路集合に基づいて前記クラスタリング・マッチング・グローバル軌跡集合の中の対応する軌跡を合併することを含む、方法。
【0104】
（付記２）
付記１に記載の方法であって、
前記総ローカル目標軌跡集合の決定は、前記複数のカメラヘッドのうちの各カメラヘッドについて、前のローカル目標軌跡集合及び前記対応する画像シーケンスにおける現在の画像に基づいて現在のローカル目標軌跡集合を決定することを含み、
現在のローカル軌跡集合の決定は、
目標検出ネットワークを使用して前記現在の画像中の所定類型の目標の検出バウンディングボックス及びバウンディングボックスの信頼度を決定し；及び
前記現在の画像中の各検出バウンディングボックス、各バウンディングボックスの信頼度及び前の画像に基づいてシングルカメラヘッド目標マッチングを行うことで前記前のローカル目標軌跡集合を更新して前記現在のローカル目標軌跡集合とすることを含み、
そのうち、前記前の画像は前記前のローカル目標軌跡集合の対応する画像シーケンスにおける最末尾の画像である、方法。
付記１に記載の方法であって、
前記総ローカル目標軌跡集合の決定は、前記複数のカメラヘッドのうちの各カメラヘッドについて、前のローカル目標軌跡集合及び前記対応する画像シーケンスにおける現在の画像に基づいて現在のローカル目標軌跡集合を決定することを含み、
現在のローカル軌跡集合の決定は、
目標検出ネットワークを使用して前記現在の画像中の所定類型の目標の検出バウンディングボックス及びバウンディングボックスの信頼度を決定し；及び
前記現在の画像中の各検出バウンディングボックス、各バウンディングボックスの信頼度及び前の画像に基づいてシングルカメラヘッド目標マッチングを行うことで前記前のローカル目標軌跡集合を更新して前記現在のローカル目標軌跡集合とすることを含み、
そのうち、前記前の画像は前記前のローカル目標軌跡集合の対応する画像シーケンスにおける最末尾の画像である、方法。
【0105】
（付記３）
付記２に記載の方法であって、
前記現在の画像中の各検出バウンディングボックス、各バウンディングボックスの信頼度及び前の画像に基づいてシングルカメラヘッド目標マッチングを行うことで前記前のローカル目標軌跡集合を更新することは、
前記検出バウンディングボックスのうち、バウンディングボックスの信頼度がバウンディングボックスの信頼度閾値よりも大きい、信頼できるバウンディングボックス、及び前記前のローカル目標軌跡集合の中の各検出済み目標軌跡に対して第一追跡マッチングを行うことで前記信頼できるバウンディングボックスの目標標識を決定し；
前記前のローカル目標軌跡集合における検出済み目標軌跡のうちの未マッチングの軌跡に対して、残りの検出バウンディングボックスのうちのものとの第二追跡マッチングを行うことで前記残りの検出バウンディングボックスの目標標識を決定し；及び
前記検出バウンディングボックスのうち、バウンディングボックスの信頼度が前記バウンディングボックスの信頼度閾値よりも大きく、かつ前記前のローカル目標軌跡集合の中の検出済み目標軌跡とマッチングしないバウンディングボックスについて、新しい目標標識を生成することを含む、方法。
付記２に記載の方法であって、
前記現在の画像中の各検出バウンディングボックス、各バウンディングボックスの信頼度及び前の画像に基づいてシングルカメラヘッド目標マッチングを行うことで前記前のローカル目標軌跡集合を更新することは、
前記検出バウンディングボックスのうち、バウンディングボックスの信頼度がバウンディングボックスの信頼度閾値よりも大きい、信頼できるバウンディングボックス、及び前記前のローカル目標軌跡集合の中の各検出済み目標軌跡に対して第一追跡マッチングを行うことで前記信頼できるバウンディングボックスの目標標識を決定し；
前記前のローカル目標軌跡集合における検出済み目標軌跡のうちの未マッチングの軌跡に対して、残りの検出バウンディングボックスのうちのものとの第二追跡マッチングを行うことで前記残りの検出バウンディングボックスの目標標識を決定し；及び
前記検出バウンディングボックスのうち、バウンディングボックスの信頼度が前記バウンディングボックスの信頼度閾値よりも大きく、かつ前記前のローカル目標軌跡集合の中の検出済み目標軌跡とマッチングしないバウンディングボックスについて、新しい目標標識を生成することを含む、方法。
【0106】
（付記４）
付記３に記載の方法であって、
以下の方式で前記第一追跡マッチング及び前記第二追跡マッチングのうちの少なくとも１つを行い、即ち、
前記前の画像中の検出バウンディングボックスに基づいて前記現在の画像についての予測バウンディングボックスを予測し；及び
前記現在の画像の検出バウンディングボックス及び前記予測バウンディングボックスと関連付けられる面積オーバーラップコスト関数及び頂点オーバーラップコスト関数に基づいて前記現在の画像中の検出バウンディングボックスの目標標識を決定する、方法。
付記３に記載の方法であって、
以下の方式で前記第一追跡マッチング及び前記第二追跡マッチングのうちの少なくとも１つを行い、即ち、
前記前の画像中の検出バウンディングボックスに基づいて前記現在の画像についての予測バウンディングボックスを予測し；及び
前記現在の画像の検出バウンディングボックス及び前記予測バウンディングボックスと関連付けられる面積オーバーラップコスト関数及び頂点オーバーラップコスト関数に基づいて前記現在の画像中の検出バウンディングボックスの目標標識を決定する、方法。
【0107】
（付記５）
付記２に記載の方法であって、
現在のローカル軌跡集合の決定は、さらに、
前記現在のローカル軌跡集合に対して後処理を行うことで現在のローカル目標軌跡集合を更新することを含む、方法。
付記２に記載の方法であって、
現在のローカル軌跡集合の決定は、さらに、
前記現在のローカル軌跡集合に対して後処理を行うことで現在のローカル目標軌跡集合を更新することを含む、方法。
【0108】
（付記６）
付記５に記載の方法であって、
前記現在のローカル軌跡集合に対して後処理を行うことは、
前記現在のローカル目標軌跡集合における軌跡の移動特徴に基づいて、新しい軌跡を生成するかを決定することを含む、方法。
付記５に記載の方法であって、
前記現在のローカル軌跡集合に対して後処理を行うことは、
前記現在のローカル目標軌跡集合における軌跡の移動特徴に基づいて、新しい軌跡を生成するかを決定することを含む、方法。
【0109】
（付記７）
付記６に記載の方法であって、
前記現在のローカル目標軌跡集合における軌跡の移動特徴に基づいて、新しい軌跡を生成するかを決定することは、
前記現在のローカル目標軌跡集合の中の１つの軌跡について、
該軌跡の現在の軌跡点の移動方向を決定し；
前記現在の軌跡点が前記移動方向において該現在の軌跡点の該軌跡上の前の軌跡点に対して移動する移動距離を決定し；及び
前記移動距離が所定距離閾値よりも大きく、前記現在の軌跡点の移動方向が前記前の軌跡点の移動方向とは逆であり、かつ前記現在の軌跡点の対応する画像ブロックの再認識特徴と、前記前の軌跡点の対応する画像ブロックの再認識特徴との類似度が第一類似度閾値よりも小さい場合、前記現在の軌跡点の対応する画像ブロックと関連付けられる新しい軌跡を生成することを含む、方法。
付記６に記載の方法であって、
前記現在のローカル目標軌跡集合における軌跡の移動特徴に基づいて、新しい軌跡を生成するかを決定することは、
前記現在のローカル目標軌跡集合の中の１つの軌跡について、
該軌跡の現在の軌跡点の移動方向を決定し；
前記現在の軌跡点が前記移動方向において該現在の軌跡点の該軌跡上の前の軌跡点に対して移動する移動距離を決定し；及び
前記移動距離が所定距離閾値よりも大きく、前記現在の軌跡点の移動方向が前記前の軌跡点の移動方向とは逆であり、かつ前記現在の軌跡点の対応する画像ブロックの再認識特徴と、前記前の軌跡点の対応する画像ブロックの再認識特徴との類似度が第一類似度閾値よりも小さい場合、前記現在の軌跡点の対応する画像ブロックと関連付けられる新しい軌跡を生成することを含む、方法。
【0110】
（付記８）
付記７に記載の方法であって、
前記移動方向は正のＸ方向、負のＸ方向、正のＹ方向及び負のＹ方向のうちの１つであり、前記正のＸ方向は前記正のＹ方向に垂直である、方法。
付記７に記載の方法であって、
前記移動方向は正のＸ方向、負のＸ方向、正のＹ方向及び負のＹ方向のうちの１つであり、前記正のＸ方向は前記正のＹ方向に垂直である、方法。
【0111】
（付記９）
付記５に記載の方法であって、
前記現在のローカル軌跡集合に対して後処理を行うことは、
前記現在のローカル目標軌跡集合において新しい目標に対応する新しい軌跡点について、前記現在の画像において、該新しい軌跡点の対応するバウンディングボックスとのオーバーラップ度が最大のオーバーラップバウンディングボックスを決定し；
該対応するバウンディングボックス及び該オーバーラップバウンディングボックスについて、以下の第一類似度条件を満たすかを決定し、即ち、
Ｓｉｍ（Ｆｒｅｉｄ＿ｘ′ｔ，Ｆｒｅｉｄ＿ｘｔ′）－Ｓｉｍ（Ｆｒｅｉｄ＿ｘｔ，Ｆｒｅｉｄ＿ｘｔ′）＞ｓＴｈ２；及び
前記第一類似度条件を満たしたと決定している場合、該対応するバウンディングボックスと該オーバーラップバウンディングボックスの目標標識を交換することを含み、
そのうち、Ｓｉｍ（Ｆｒｅｉｄ＿ｘ′ｔ，Ｆｒｅｉｄ＿ｘｔ′）は該対応するバウンディングボックスに対応する目標標識の前記現在の画像内の画像ブロックの再認識特徴Ｆｒｅｉｄ＿ｘ′ｔと、該オーバーラップバウンディングボックスに対応する目標標識の前記前の画像内の画像ブロックの再認識特徴Ｆｒｅｉｄ＿ｘｔ′との間の類似度であり、
Ｓｉｍ（Ｆｒｅｉｄ＿ｘｔ，Ｆｒｅｉｄ＿ｘｔ′）は該オーバーラップバウンディングボックスに対応する目標標識の前記現在の画像及び前記前の画像の中の画像ブロックの再認識特徴Ｆｒｅｉｄ＿ｘｔとＦｒｅｉｄ＿ｘｔ′との間の類似度であり、
ｓＴｈ２は第二類似度閾値である、方法。
付記５に記載の方法であって、
前記現在のローカル軌跡集合に対して後処理を行うことは、
前記現在のローカル目標軌跡集合において新しい目標に対応する新しい軌跡点について、前記現在の画像において、該新しい軌跡点の対応するバウンディングボックスとのオーバーラップ度が最大のオーバーラップバウンディングボックスを決定し；
該対応するバウンディングボックス及び該オーバーラップバウンディングボックスについて、以下の第一類似度条件を満たすかを決定し、即ち、
Ｓｉｍ（Ｆｒｅｉｄ＿ｘ′ｔ，Ｆｒｅｉｄ＿ｘｔ′）－Ｓｉｍ（Ｆｒｅｉｄ＿ｘｔ，Ｆｒｅｉｄ＿ｘｔ′）＞ｓＴｈ２；及び
前記第一類似度条件を満たしたと決定している場合、該対応するバウンディングボックスと該オーバーラップバウンディングボックスの目標標識を交換することを含み、
そのうち、Ｓｉｍ（Ｆｒｅｉｄ＿ｘ′ｔ，Ｆｒｅｉｄ＿ｘｔ′）は該対応するバウンディングボックスに対応する目標標識の前記現在の画像内の画像ブロックの再認識特徴Ｆｒｅｉｄ＿ｘ′ｔと、該オーバーラップバウンディングボックスに対応する目標標識の前記前の画像内の画像ブロックの再認識特徴Ｆｒｅｉｄ＿ｘｔ′との間の類似度であり、
Ｓｉｍ（Ｆｒｅｉｄ＿ｘｔ，Ｆｒｅｉｄ＿ｘｔ′）は該オーバーラップバウンディングボックスに対応する目標標識の前記現在の画像及び前記前の画像の中の画像ブロックの再認識特徴Ｆｒｅｉｄ＿ｘｔとＦｒｅｉｄ＿ｘｔ′との間の類似度であり、
ｓＴｈ２は第二類似度閾値である、方法。
【0112】
（付記１０）
付記５に記載の方法であって、
前記現在のローカル軌跡集合に対して後処理を行うことは、
前記現在のローカル軌跡集合に、以下のオーバーラップ条件を満たす第一軌跡及び第二軌跡が存在するかを決定し、即ち、
前記第一軌跡の対応する画像ブロックシーケンス中の現在の時間ｔの前の時間ｔ′における第一画像ブロックと、前記第二軌跡の対応する画像ブロックシーケンス中の前記時間ｔ′における第二画像ブロックがオーバーラップしており、
前記第一軌跡の対応する画像ブロックシーケンス中の前記現在の時間ｔにおける第三画像ブロックと、前記第二軌跡の対応する画像ブロックシーケンス中の前記現在の時間ｔにおける第四画像ブロックがオーバーラップせず、及び
前記第一軌跡の対応する画像ブロックシーケンス中の前記時間ｔ′よりも前の時間ｔ′′における第五画像ブロックと、前記第二軌跡の対応する画像ブロックシーケンス中の前記時間ｔ′′における第六画像ブロックがオーバーラップせず；
前記オーバーラップ条件を満たした前記第一軌跡及び前記第二軌跡について、以下の第二類似度条件を満たすかを決定し、即ち、
Ｓｉｍ（Ｆｒｅｉｄ＿ｘｔ′′，Ｆｒｅｉｄ＿ｘ′ｔ）＋Ｓｉｍ（Ｆｒｅｉｄ＿ｘ′ｔ′′，Ｆｒｅｉｄ＿ｘｔ）－Ｓｉｍ（Ｆｒｅｉｄ＿ｘｔ，Ｆｒｅｉｄ＿ｘｔ′′）＋Ｓｉｍ（Ｆｒｅｉｄ＿ｘ′ｔ′′，Ｆｒｅｉｄ＿ｘ′ｔ）＞ｓＴｈ３；及び
前記第二類似度条件を満たしたと決定している場合、前記第四画像ブロックと前記第三画像ブロックの目標標識を交換することを含み、
そのうち、Ｓｉｍ（Ｆｒｅｉｄ＿ｘｔ′′，Ｆｒｅｉｄ＿ｘ′ｔ）は前記第五画像ブロックの再認識特徴Ｆｒｅｉｄ＿ｘｔ′′と前記第四画像ブロックの再認識特徴Ｆｒｅｉｄ＿ｘ′ｔとの間の類似度であり、
Ｓｉｍ（Ｆｒｅｉｄ＿ｘ′ｔ′′，Ｆｒｅｉｄ＿ｘｔ）は前記第六画像ブロックの再認識特徴Ｆｒｅｉｄ＿ｘ′ｔ′′と前記第三画像ブロックの再認識特徴Ｆｒｅｉｄ＿ｘｔとの間の類似度であり、
Ｓｉｍ（Ｆｒｅｉｄ＿ｘｔ，Ｆｒｅｉｄ＿ｘｔ′′）は前記第五画像ブロックの再認識特徴Ｆｒｅｉｄ＿ｘｔ′′と前記第三画像ブロックの再認識特徴Ｆｒｅｉｄ＿ｘｔとの間の類似度であり、
Ｓｉｍ（Ｆｒｅｉｄ＿ｘ′ｔ′′，Ｆｒｅｉｄ＿ｘ′ｔ）は前記第六画像ブロックの再認識特徴Ｆｒｅｉｄ＿ｘ′ｔ′′と前記第四画像ブロックの再認識特徴Ｆｒｅｉｄ＿ｘ′ｔとの間の類似度であり、
ｓＴｈ３は第三類似度閾値である、方法。
付記５に記載の方法であって、
前記現在のローカル軌跡集合に対して後処理を行うことは、
前記現在のローカル軌跡集合に、以下のオーバーラップ条件を満たす第一軌跡及び第二軌跡が存在するかを決定し、即ち、
前記第一軌跡の対応する画像ブロックシーケンス中の現在の時間ｔの前の時間ｔ′における第一画像ブロックと、前記第二軌跡の対応する画像ブロックシーケンス中の前記時間ｔ′における第二画像ブロックがオーバーラップしており、
前記第一軌跡の対応する画像ブロックシーケンス中の前記現在の時間ｔにおける第三画像ブロックと、前記第二軌跡の対応する画像ブロックシーケンス中の前記現在の時間ｔにおける第四画像ブロックがオーバーラップせず、及び
前記第一軌跡の対応する画像ブロックシーケンス中の前記時間ｔ′よりも前の時間ｔ′′における第五画像ブロックと、前記第二軌跡の対応する画像ブロックシーケンス中の前記時間ｔ′′における第六画像ブロックがオーバーラップせず；
前記オーバーラップ条件を満たした前記第一軌跡及び前記第二軌跡について、以下の第二類似度条件を満たすかを決定し、即ち、
Ｓｉｍ（Ｆｒｅｉｄ＿ｘｔ′′，Ｆｒｅｉｄ＿ｘ′ｔ）＋Ｓｉｍ（Ｆｒｅｉｄ＿ｘ′ｔ′′，Ｆｒｅｉｄ＿ｘｔ）－Ｓｉｍ（Ｆｒｅｉｄ＿ｘｔ，Ｆｒｅｉｄ＿ｘｔ′′）＋Ｓｉｍ（Ｆｒｅｉｄ＿ｘ′ｔ′′，Ｆｒｅｉｄ＿ｘ′ｔ）＞ｓＴｈ３；及び
前記第二類似度条件を満たしたと決定している場合、前記第四画像ブロックと前記第三画像ブロックの目標標識を交換することを含み、
そのうち、Ｓｉｍ（Ｆｒｅｉｄ＿ｘｔ′′，Ｆｒｅｉｄ＿ｘ′ｔ）は前記第五画像ブロックの再認識特徴Ｆｒｅｉｄ＿ｘｔ′′と前記第四画像ブロックの再認識特徴Ｆｒｅｉｄ＿ｘ′ｔとの間の類似度であり、
Ｓｉｍ（Ｆｒｅｉｄ＿ｘ′ｔ′′，Ｆｒｅｉｄ＿ｘｔ）は前記第六画像ブロックの再認識特徴Ｆｒｅｉｄ＿ｘ′ｔ′′と前記第三画像ブロックの再認識特徴Ｆｒｅｉｄ＿ｘｔとの間の類似度であり、
Ｓｉｍ（Ｆｒｅｉｄ＿ｘｔ，Ｆｒｅｉｄ＿ｘｔ′′）は前記第五画像ブロックの再認識特徴Ｆｒｅｉｄ＿ｘｔ′′と前記第三画像ブロックの再認識特徴Ｆｒｅｉｄ＿ｘｔとの間の類似度であり、
Ｓｉｍ（Ｆｒｅｉｄ＿ｘ′ｔ′′，Ｆｒｅｉｄ＿ｘ′ｔ）は前記第六画像ブロックの再認識特徴Ｆｒｅｉｄ＿ｘ′ｔ′′と前記第四画像ブロックの再認識特徴Ｆｒｅｉｄ＿ｘ′ｔとの間の類似度であり、
ｓＴｈ３は第三類似度閾値である、方法。
【0113】
（付記１１）
付記１に記載の方法であって、
前記総ローカル目標軌跡集合におけるローカル目標軌跡に対してクラスタリングを行うことでクラスタリング・マッチング・グローバル軌跡集合を決定することは、
前記ローカル目標軌跡集合における各カメラヘッド間軌跡対の複数の対応するクロスカメラヘッド画像ブロック対の再認識特徴対に基づいて、該カメラヘッド間軌跡対の軌跡類似度を決定し；及び
前記ローカル目標軌跡集合における複数のカメラヘッド間軌跡対の軌跡類似度に基づいて、前記ローカル目標軌跡集合における複数の目標軌跡に対してクラスタリングを行うことで前記クラスタリング・マッチング・グローバル軌跡集合を決定することを含む、方法。
付記１に記載の方法であって、
前記総ローカル目標軌跡集合におけるローカル目標軌跡に対してクラスタリングを行うことでクラスタリング・マッチング・グローバル軌跡集合を決定することは、
前記ローカル目標軌跡集合における各カメラヘッド間軌跡対の複数の対応するクロスカメラヘッド画像ブロック対の再認識特徴対に基づいて、該カメラヘッド間軌跡対の軌跡類似度を決定し；及び
前記ローカル目標軌跡集合における複数のカメラヘッド間軌跡対の軌跡類似度に基づいて、前記ローカル目標軌跡集合における複数の目標軌跡に対してクラスタリングを行うことで前記クラスタリング・マッチング・グローバル軌跡集合を決定することを含む、方法。
【0114】
（付記１２）
付記１１に記載の方法であって、
該カメラヘッド間軌跡対の軌跡類似度は該カメラヘッド間軌跡対の２つの対応する追跡タックレットの複数の追跡タックレット間画像ブロック対の画像ブロック類似度のうちの前のｎ個の最大画像ブロック類似度の平均値である、方法。
付記１１に記載の方法であって、
該カメラヘッド間軌跡対の軌跡類似度は該カメラヘッド間軌跡対の２つの対応する追跡タックレットの複数の追跡タックレット間画像ブロック対の画像ブロック類似度のうちの前のｎ個の最大画像ブロック類似度の平均値である、方法。
【0115】
（付記１３）
付記１２に記載の方法であって、
前記２つの対応する追跡タックレットの、クロスカメラヘッド画像ブロック対としての追跡タックレット間画像ブロック対の再認識特徴対に基づいて、前記追跡タックレット間画像ブロック対の画像ブロック類似度を決定する、方法。
付記１２に記載の方法であって、
前記２つの対応する追跡タックレットの、クロスカメラヘッド画像ブロック対としての追跡タックレット間画像ブロック対の再認識特徴対に基づいて、前記追跡タックレット間画像ブロック対の画像ブロック類似度を決定する、方法。
【0116】
（付記１４）
付記１に記載の方法であって、
以下の方式で前記有向グラフを構築し、即ち、
各対の頂点間の有向辺のコストを無限大に初期化し；及び
前記クラスタリング・マッチング・グローバル軌跡集合における第一軌跡及び第二軌跡について、前記第二軌跡の開始時間と前記第一軌跡の終了時間との間の差がゼロよりも大きく、かつ所定時間閾値よりも小さい場合、前記第一軌跡及び前記第二軌跡と関連付けられる軌跡類似度コスト関数、時間コスト関数及び空間距離コスト関数のうちの少なくとも１つに基づいて、前記第一軌跡及び前記第二軌跡と関連付けられる２つの頂点間の有向辺のコストを調整することを含み、
そのうち、前記軌跡類似度コスト関数は前記第一軌跡と前記第二軌跡との軌跡類似度に関連付けられ、
前記時間コスト関数は前記第二軌跡の開始時間と前記第一軌跡の終了時間との差に関連付けられ、
前記空間距離コスト関数は前記第一軌跡の終了位置と前記第二軌跡の開始位置との間のワールド座標系での空間距離に関連付けられる、方法。
付記１に記載の方法であって、
以下の方式で前記有向グラフを構築し、即ち、
各対の頂点間の有向辺のコストを無限大に初期化し；及び
前記クラスタリング・マッチング・グローバル軌跡集合における第一軌跡及び第二軌跡について、前記第二軌跡の開始時間と前記第一軌跡の終了時間との間の差がゼロよりも大きく、かつ所定時間閾値よりも小さい場合、前記第一軌跡及び前記第二軌跡と関連付けられる軌跡類似度コスト関数、時間コスト関数及び空間距離コスト関数のうちの少なくとも１つに基づいて、前記第一軌跡及び前記第二軌跡と関連付けられる２つの頂点間の有向辺のコストを調整することを含み、
そのうち、前記軌跡類似度コスト関数は前記第一軌跡と前記第二軌跡との軌跡類似度に関連付けられ、
前記時間コスト関数は前記第二軌跡の開始時間と前記第一軌跡の終了時間との差に関連付けられ、
前記空間距離コスト関数は前記第一軌跡の終了位置と前記第二軌跡の開始位置との間のワールド座標系での空間距離に関連付けられる、方法。
【0117】
（付記１５）
マルチターゲット・マルチカメラヘッド追跡のための装置であって、
命令を記憶している記憶器；及び
前記記憶器に接続される少なくとも１つの処理器を含み、
前記処理器は前記命令を実行して以下のことを実行するように構成され、即ち、
複数のカメラヘッドのうちの各カメラヘッドにより提供される、対応する画像シーケンスに対してシングルカメラヘッド・マルチターゲット追跡を行うことで各カメラヘッドのローカル目標軌跡集合を含む総ローカル目標軌跡集合を決定し；及び
前記総ローカル目標軌跡集合に対してマルチカメラヘッド・マルチターゲット・マッチングを行うことで前記複数のカメラヘッドについてのグローバル目標軌跡集合を決定することであり、
そのうち、前記複数のカメラヘッドについての前記グローバル目標軌跡集合の決定は、
前記総ローカル目標軌跡集合におけるローカル目標軌跡に対してクラスタリングを行うことでクラスタリング・マッチング・グローバル軌跡集合を決定し；
前記クラスタリング・マッチング・グローバル軌跡集合における各軌跡を頂点として構築される有向グラフに対して最小コスト経路アルゴリズムを適用することで最小コスト経路集合を決定し；及び
前記最小コスト経路集合に基づいて前記クラスタリング・マッチング・グローバル軌跡集合の中の対応する軌跡を合併することを含む、装置。
マルチターゲット・マルチカメラヘッド追跡のための装置であって、
命令を記憶している記憶器；及び
前記記憶器に接続される少なくとも１つの処理器を含み、
前記処理器は前記命令を実行して以下のことを実行するように構成され、即ち、
複数のカメラヘッドのうちの各カメラヘッドにより提供される、対応する画像シーケンスに対してシングルカメラヘッド・マルチターゲット追跡を行うことで各カメラヘッドのローカル目標軌跡集合を含む総ローカル目標軌跡集合を決定し；及び
前記総ローカル目標軌跡集合に対してマルチカメラヘッド・マルチターゲット・マッチングを行うことで前記複数のカメラヘッドについてのグローバル目標軌跡集合を決定することであり、
そのうち、前記複数のカメラヘッドについての前記グローバル目標軌跡集合の決定は、
前記総ローカル目標軌跡集合におけるローカル目標軌跡に対してクラスタリングを行うことでクラスタリング・マッチング・グローバル軌跡集合を決定し；
前記クラスタリング・マッチング・グローバル軌跡集合における各軌跡を頂点として構築される有向グラフに対して最小コスト経路アルゴリズムを適用することで最小コスト経路集合を決定し；及び
前記最小コスト経路集合に基づいて前記クラスタリング・マッチング・グローバル軌跡集合の中の対応する軌跡を合併することを含む、装置。
【0118】
（付記１６）
付記１５に記載の装置であって、
前記総ローカル目標軌跡集合の決定は、前記複数のカメラヘッドのうちの各カメラヘッドについて、前のローカル目標軌跡集合及び前記対応する画像シーケンスにおける現在の画像に基づいて現在のローカル目標軌跡集合を決定することを含み、
現在のローカル軌跡集合の決定は、
目標検出ネットワークを使用して前記現在の画像中の所定類型の目標の検出バウンディングボックス及びバウンディングボックスの信頼度を決定し；及び
前記現在の画像中の各検出バウンディングボックス、各バウンディングボックスの信頼度及び前の画像に基づいてシングルカメラヘッド目標マッチングを行うことで前記前のローカル目標軌跡集合を更新して前記現在のローカル目標軌跡集合とすることを含み、
そのうち、前記前の画像は前記前のローカル目標軌跡集合の対応する画像シーケンスにおける最末尾の画像である、装置。
付記１５に記載の装置であって、
前記総ローカル目標軌跡集合の決定は、前記複数のカメラヘッドのうちの各カメラヘッドについて、前のローカル目標軌跡集合及び前記対応する画像シーケンスにおける現在の画像に基づいて現在のローカル目標軌跡集合を決定することを含み、
現在のローカル軌跡集合の決定は、
目標検出ネットワークを使用して前記現在の画像中の所定類型の目標の検出バウンディングボックス及びバウンディングボックスの信頼度を決定し；及び
前記現在の画像中の各検出バウンディングボックス、各バウンディングボックスの信頼度及び前の画像に基づいてシングルカメラヘッド目標マッチングを行うことで前記前のローカル目標軌跡集合を更新して前記現在のローカル目標軌跡集合とすることを含み、
そのうち、前記前の画像は前記前のローカル目標軌跡集合の対応する画像シーケンスにおける最末尾の画像である、装置。
【0119】
（付記１７）
付記１７に記載の装置であって、
前記現在の画像中の各検出バウンディングボックス、各バウンディングボックスの信頼度及び前の画像に基づいてシングルカメラヘッド目標マッチングを行うことで前記前のローカル目標軌跡集合を更新することは、
前記検出バウンディングボックスのうち、バウンディングボックスの信頼度がバウンディングボックスの信頼度閾値よりも大きい、信頼できるバウンディングボックス、及び前記前のローカル目標軌跡集合の中の各検出済み目標軌跡に対して第一追跡マッチングを行うことで前記信頼できるバウンディングボックスの目標標識を決定し；
前記前のローカル目標軌跡集合における検出済み目標軌跡のうちの未マッチングの軌跡に対して、残りの検出バウンディングボックスのうちのものとの第二追跡マッチングを行うことで前記残りの検出バウンディングボックスの目標標識を決定し；及び
記検出バウンディングボックスのうち、バウンディングボックスの信頼度が前記バウンディングボックスの信頼度閾値よりも大きく、かつ前記前のローカル目標軌跡集合の中の検出済み目標軌跡とマッチングしないバウンディングボックスについて、新しい目標標識を生成することを含む、装置。
付記１７に記載の装置であって、
前記現在の画像中の各検出バウンディングボックス、各バウンディングボックスの信頼度及び前の画像に基づいてシングルカメラヘッド目標マッチングを行うことで前記前のローカル目標軌跡集合を更新することは、
前記検出バウンディングボックスのうち、バウンディングボックスの信頼度がバウンディングボックスの信頼度閾値よりも大きい、信頼できるバウンディングボックス、及び前記前のローカル目標軌跡集合の中の各検出済み目標軌跡に対して第一追跡マッチングを行うことで前記信頼できるバウンディングボックスの目標標識を決定し；
前記前のローカル目標軌跡集合における検出済み目標軌跡のうちの未マッチングの軌跡に対して、残りの検出バウンディングボックスのうちのものとの第二追跡マッチングを行うことで前記残りの検出バウンディングボックスの目標標識を決定し；及び
記検出バウンディングボックスのうち、バウンディングボックスの信頼度が前記バウンディングボックスの信頼度閾値よりも大きく、かつ前記前のローカル目標軌跡集合の中の検出済み目標軌跡とマッチングしないバウンディングボックスについて、新しい目標標識を生成することを含む、装置。
【0120】
（付記１８）
付記１７に記載の装置であって、
以下の方式で前記第一追跡マッチング及び前記第二追跡マッチングのうちの少なくとも１つを行い、即ち、
前記前の画像中の検出バウンディングボックスに基づいて前記現在の画像についての予測バウンディングボックスを予測し；及び
前記現在の画像の検出バウンディングボックス及び前記予測バウンディングボックスと関連付けられる面積オーバーラップコスト関数及び頂点オーバーラップコスト関数に基づいて前記現在の画像中の検出バウンディングボックスの目標標識を決定する、装置。
付記１７に記載の装置であって、
以下の方式で前記第一追跡マッチング及び前記第二追跡マッチングのうちの少なくとも１つを行い、即ち、
前記前の画像中の検出バウンディングボックスに基づいて前記現在の画像についての予測バウンディングボックスを予測し；及び
前記現在の画像の検出バウンディングボックス及び前記予測バウンディングボックスと関連付けられる面積オーバーラップコスト関数及び頂点オーバーラップコスト関数に基づいて前記現在の画像中の検出バウンディングボックスの目標標識を決定する、装置。
【0121】
（付記１９）
付記１６に記載の装置であって、
現在のローカル軌跡集合の決定は、さらに、
前記現在のローカル軌跡集合に対して後処理を行うことで現在のローカル目標軌跡集合を更新することを含む、装置。
付記１６に記載の装置であって、
現在のローカル軌跡集合の決定は、さらに、
前記現在のローカル軌跡集合に対して後処理を行うことで現在のローカル目標軌跡集合を更新することを含む、装置。
【0122】
（付記２０）
プログラムを記憶しているコンピュータ可読記憶媒体であって、
前記プログラムはコンピュータにより実行されるときに、前記コンピュータに、以下のことを実行させ、即ち、
複数のカメラヘッドのうちの各カメラヘッドにより提供される、対応する画像シーケンスに対してシングルカメラヘッド・マルチターゲット追跡を行うことで各カメラヘッドのローカル目標軌跡集合を含む総ローカル目標軌跡集合を決定し；及び
前記総ローカル目標軌跡集合に対してマルチカメラヘッド・マルチターゲット・マッチングを行うことで前記複数のカメラヘッドについてのグローバル目標軌跡集合を決定することであり、
そのうち、前記複数のカメラヘッドについての前記グローバル目標軌跡集合の決定は、
前記総ローカル目標軌跡集合におけるローカル目標軌跡に対してクラスタリングを行うことでクラスタリング・マッチング・グローバル軌跡集合を決定し、
前記クラスタリング・マッチング・グローバル軌跡集合における各軌跡を頂点として構築される有向グラフに対して最小コスト経路アルゴリズムを適用することで最小コスト経路集合を決定し、
前記最小コスト経路集合に基づいて前記クラスタリング・マッチング・グローバル軌跡集合の中の対応する軌跡を合併することである、記憶媒体。
プログラムを記憶しているコンピュータ可読記憶媒体であって、
前記プログラムはコンピュータにより実行されるときに、前記コンピュータに、以下のことを実行させ、即ち、
複数のカメラヘッドのうちの各カメラヘッドにより提供される、対応する画像シーケンスに対してシングルカメラヘッド・マルチターゲット追跡を行うことで各カメラヘッドのローカル目標軌跡集合を含む総ローカル目標軌跡集合を決定し；及び
前記総ローカル目標軌跡集合に対してマルチカメラヘッド・マルチターゲット・マッチングを行うことで前記複数のカメラヘッドについてのグローバル目標軌跡集合を決定することであり、
そのうち、前記複数のカメラヘッドについての前記グローバル目標軌跡集合の決定は、
前記総ローカル目標軌跡集合におけるローカル目標軌跡に対してクラスタリングを行うことでクラスタリング・マッチング・グローバル軌跡集合を決定し、
前記クラスタリング・マッチング・グローバル軌跡集合における各軌跡を頂点として構築される有向グラフに対して最小コスト経路アルゴリズムを適用することで最小コスト経路集合を決定し、
前記最小コスト経路集合に基づいて前記クラスタリング・マッチング・グローバル軌跡集合の中の対応する軌跡を合併することである、記憶媒体。
【0123】
以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は、本発明の技術的範囲に属する。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】